CN115880632A - 超时停留检测方法、监控设备、计算机可读存储介质和芯片 - Google Patents

Abstract

本申请提出了一种超时停留检测方法、监控设备、计算机可读存储介质和芯片，其中，超时停留检测方法包括：确定图像信息；基于图像信息确定至少一个物体的类别信息；获取与类别信息对应的存放区域以及停留时长；确定物体的位置信息以及停留时长；在位置信息位于存放区域外，且物体在位置信息的停留时长超过告警时长的情况下，根据与类别信息对应的告警规则向目标终端发出告警信息。通过本申请的技术方案，通过对图像信息进行分析，可极大提高物体分辨的准确性。

Description

超时停留检测方法、监控设备、计算机可读存储介质和芯片

技术领域

本申请涉及监控技术领域，具体而言，涉及一种超时停留检测方法、一种监控设备、一种计算机可读存储介质和一种芯片。

背景技术

目前，现有的车辆检测主要针对公共道路的机动车进行违停检测，无法兼容园区通用车辆违停及非常规车辆、箱体等目标超时停留道路区域，同时对于无法检测、识别到车牌的时候无法进行超时停留的准确识别。

发明内容

本申请旨在至少解决现有技术或相关技术中存在的技术问题之一。

有鉴于此，本申请的一个目的在于提供一种超时停留检测方法。

本申请的另一个目的在于提供一种监控设备。

本申请的另一个目的在于提供一种计算机可读存储介质。

本申请的另一个目的在于提供一种芯片。

为了实现上述目的，本申请第一方面的技术方案提供了一种超时停留检测方法，包括：确定图像信息；基于图像信息确定至少一个物体的类别信息；获取与类别信息对应的存放区域以及告警时长；确定物体的位置信息以及停留时长；在位置信息位于存放区域外，且物体在位置信息的停留时长超过告警时长的情况下，根据与类别信息对应的告警规则向目标终端发出告警信息。

本申请提供的超时停留检测方法，先利用摄像头或其他设备获取到不同的图像信息，通过对图像信息进行分析，从而可确定出一个或多个物体以及与每个物体相对应的类别信息，即可确定出每个物体所归属的类别信息，从而根据类别信息可确定出该类物品应该存放的存放区域，以及将该类物体存放在存放区域内的时间，也即停留时长时长，在物体的位置位于指定的存放区域以外时，即位置信息位于存放区域外，且停留时长较长，即停留时间超过告警时长时，会认为当前属于停留异常的情况，此时需要获取该类物体所对应的告警规则，从而向目标终端发出告警信息，以便于后续对出现停留异常的物体进行处理。

需要说明的是，若是位置信息位于存放区域内，则可认为并不会存在违规停留或者侵占道路的情况，故而无需对停留时长进行判断。

其中，图像信息可以为视频信息，也可以为图片信息，使用的摄像头可以为红外摄像头，宽动态摄像头、强光抑制摄像头或道路监控摄像头等不同的类别，只要能够对特定区域进行拍摄即可。

可以理解，通过摄像头获取到的图像信息进行分析，可确定出不同的外观信息，外观信息的分辨准确性较大，在出现同一类型的车辆时，可根据不同的细节差别区分是否属于同一车辆，例如同种型号的机动车，当前一车辆停留在存放区域外，但停留时长并未超过告警时长的情况下，驶出了存放区域，但随之又有一辆同型号的机动车驶入同一存放区域，此时，本方案会直接通过对两个车辆的外观信息进行细节比对，例如两个车辆的车牌号不同、车身漆色不同、中控台面的摆件不同、甚至可以通过对驾驶员进行识别从而确定不同之处，进而实现区分，此时无需对前一车辆进行告警信息的发送，而是重新对后一驶入的车辆进行计时，在其超过告警时长时，则可向对应的车主发送告警信息，通过上述方案可有效避免产生误发告警信息的情况。

在上述技术方案中，还包括：当类别信息对应为机动车类别时，获取物体的车牌信息，车牌信息用于标识唯一的机动车；根据与类别信息对应的告警规则向目标终端发出告警信息，具体包括：确定与车牌信息绑定的车主信息；向车主信息发送告警信息。

在该技术方案中，主要是对物体的类别信息是否属于机动车类别进行判断，即判断类别信息是否为机动车类别，当属于机动车类别时，会直接获取到对应的车牌信息，可以理解，车牌信息即标识唯一的机动车，在该情况下，若是需要向外发出告警信息，则会调取提前关联好的车牌信息和车主信息，从而找到对应于超时停留的机动车的车主信息，可通过直接向车主信息发送告警信息，以起到提醒的作用。

在上述技术方案中，还包括：当未获取到物体的车牌信息时，基于图像信息获取物体的外观信息，外观信息用于标识唯一的机动车；基于外观信息确定物体的在对应区域的停留时长；根据与类别信息对应的告警规则向目标终端发出告警信息，具体包括将物体的类别信息和位置信息发送至目标终端。

在该技术方案中，如果该类型属于机动车类别，但并未获取到车牌信息，则会根据图像信息对物体进行外观扫描，得到外观信息，此时可通过将外观信息对该物体进行绑定，即外观信息标识唯一的机动车，此时若是需要向外发出告警信息，一般并不会提前关联存储车主信息，则会将物体所属类别和所处位置一同发给目标终端，即类别信息和位置信息进行发送，一般为管理人员的系统上，再由系统分配给特定的人员进行相应处理。

在上述技术方案中，当所述类别信息对应为非机动车类别时，获取物体的外观信息，外观信息用于标识唯一的非机动车；基于外观信息确定物体的在对应区域的停留时长；根据与所述类别信息对应的告警规则向目标终端发出告警信息，具体包括：将物体的类别信息和位置信息发送至目标终端。

在该技术方案中，若判断物体不属于机动车类别，即非机动车类别，包括非机动车、货物、叉车等，一般并不会提前关联存储车主信息，则会根据图像信息对物体进行外观扫描，得到外观信息，此时可通过将外观信息对该物体进行绑定，即外观信息标识唯一的非机动车，此时则需要将物体所述类别和所处位置一同发给目标终端，即类别信息和位置信息进行发送，一般为管理人员的系统上，再由系统分配给特定的人员进行相应处理。

在上述技术方案中，获取与所述类别信息对应的停留时长，具体包括：在预设时间内，确定任意两个相邻时间帧的两个外观信息；确定两个外观信息的第一相似度；在第一相似度大于第一相似阈值的情况下，确定两个外观信息对应同一物体；基于所述相邻时间帧对应的时间确定类别信息对应的停留时长。

在该技术方案中，在对停留时长进行获取时，会通过在一段时间内，判断每两个相邻的时间帧的画面，确定出两个图像信息的外观信息，先确定出两个外观信息的第一相似度，若第一相似度较高，大于第一相似阈值时，可认为相邻两个时间帧中的外观信息属于同一物体，通过对相邻时间帧对应的时间即可对停留时长进行判断。通过上述方案，可极大的提高对相似物体的超时停留的判断准确性，引入了相似度的概念，对于不同车辆相继停留可能造成误判的情况，本方案会有极大的改善。

在上述技术方案中，在基于图像信息确定至少一个物体的类别信息，包括：预先采集每个类别信息的至少一个预存外观信息；确定对应于同一物体的外观信息与每个预存外观信息之间的第二相似度；在任一第二相似度大于第二相似阈值的情况下，确定物体属于预存外观信息的类别信息。

在该技术方案中，在确定至少一个物体的类别信息时，还需要进行预采集操作，从而可形成对应的数据库，具体地，对于多个类别信息而言，会预先采集每个类别信息的一个或多个预存外观信息，通过将摄像头识别出来的外观信息在所有的预存外观信息中进行遍览对比，从而可根据第二相似度的大小，判断摄像头识别出来的物体的类别，即在进行多次对比时，某一个对比出来的第二相似度大于第二相似阈值时，会认为当前拍摄的物体与第二相似阈值对应的预存外观信息是属于同一类的，故而可确定物体的类别信息即为预存外观信息的类别信息。

在上述技术方案中，确定对应于同一物体的外观信息与每个预存外观信息之间的第二相似度，具体包括：根据图像信息确定物体的轮廓；将轮廓进行截取，并放大至预设尺寸；根据预设算法提取多个特征向量；根据特征向量与历史特征向量库确定第二相似度。

在该技术方案中，在确定第二相似度时，主要是先对图像信息进行特征对比，具体地，先根据图像信息对物体的轮廓进行扫描，获取到对应的轮廓后，即可将该轮廓截取出来，并按照预设尺寸进行放大，再通过预设算法对放大出来的轮廓中的特征向量进行提取，最后通过将特征向量在历史特征向量库进行搜索，即可确定出对应的第二相似度。

更具体的，历史特征向量库中保存有一定时间段内检测到的目标物体外观的特征向量信息，对于新检测到的目标物体，则对检测到的目标物体框选并截取出来，resize到固定尺寸(128，128)，使用SiamesNet对比算法模型提取128维的表征向量并保存，此时会提取128维特征向量并与历史特征向量库进行比对，相似度大于阈值则认为属于同一目标物体。

本申请第二方面的技术方案提供了一种监控设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现上述第一方面超时停留检测方法的步骤。

根据本申请提供的监控设备，主要包括处理器和存储器，通过处理器执行计算机程序时实现如上述第一方面中任一项技术方案的超时停留检测方法的步骤，从而具有了上述超时停留检测方法的技术方案的全部有益效果，在此不再赘述。

本申请第三方面的技术方案提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面中任一项技术方案的超时停留检测方法的步骤。

根据本申请提供的计算机可读存储介质，通过存在于计算机可读存储介质上的计算机程序被处理器执行时，可以实现上述第一方面中任一项技术方案的超时停留检测方法的步骤，从而具有了上述超时停留检测方法的技术方案的全部有益效果，在此不再赘述。

本申请第四方面的技术方案提供了一种芯片，包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如上述第一方面中任一项技术方案的超时停留检测方法的步骤。

根据本申请提供的芯片，主要包括有处理器和通信接口，通过将通信接口与处理器耦合，可运行对应的程序或指令，从而实现如上述第一方面中任一项技术方案的超时停留检测方法的步骤。

本申请的附加方面和优点将在下面的描述部分中变得明显，或通过本申请的实践了解到。

附图说明

图1是本申请的一个实施例的超时停留检测方法的流程示意图；

图2是本申请的另一个实施例的超时停留检测方法的流程示意图；

图3是本申请的又一个实施例的超时停留检测方法的流程示意图；

图4是本申请的一个实施例的监控设备的结构示意框图。

具体实施方式

为了可以更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

在本申请实施例的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例提供的超时停留检测方法的执行主体可以是服务器、计算机设备，例如手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等。

下面参照图1至图4描述根据本申请的一些实施例。

在一些实施例中，如图1所示，根据本申请提出的一个实施例的超时停留检测方法，包括：步骤S102：确定图像信息；步骤S104：基于图像信息确定至少一个物体的类别信息；步骤S106：获取与类别信息对应的存放区域以及告警时长；步骤S108：确定物体的位置信息以及停留时长；步骤S110：在位置信息位于存放区域外，且物体在位置信息的停留时长超过告警时长的情况下，根据与类别信息对应的告警规则向目标终端发出告警信息。

在一些实施例中，利用摄像头或其他设备获取到不同的图像信息，通过对图像信息进行分析，从而可确定出一个或多个物体以及与每个物体相对应的类别信息，即可确定出每个物体所归属的类别信息，从而根据类别信息可确定出该类物品应该存放的存放区域，以及将该类物体存放在存放区域内的时间，也即停留时长时长。在物体的位置位于指定的存放区域以外时，即位置信息位于存放区域外，且停留时长较长，即停留时间超过告警时长时，会认为当前属于停留异常的情况，此时需要获取该类物体所对应的告警规则，从而向目标终端发出告警信息，以便于后续对出现停留异常的物体进行处理。

需要说明的是，若是位置信息位于存放区域内，则可认为并不会存在违规停留或者侵占道路的情况，故而无需对停留时长进行判断。

其中，图像信息可以为视频信息，也可以为图片信息，使用的摄像头可以为红外摄像头，宽动态摄像头、强光抑制摄像头或道路监控摄像头等不同的类别，只要能够对特定区域进行拍摄即可。

在一些实施例中，可以预先在待监控区域布置图像采集设备例如摄像头，通过图像采集设备定时或者实时采集预设区域范围内的图像信息，然后基于预先存储的算法对获取到的图像信息进行处理，得到图像信息中包括的物体、物体的类别信息，及基于物体的停留区域及停留时间判断物体的停留位置及停留时间是否合规，进而对不合规的物体停留事件进行预警。

需要说明的是，在本申请中可以预先对预设区域范围内的停留位置进行标定，例如可以标定某个区域范围只能用于停留机动车，某个区域范围只能停留非机动车，某个区域范围只能在某个时间段停留车辆，或者某个区域范围在某个时间段不能停留任何物体。在实际实施中可以基于需求自定义设置，通过本申请提供的方法可以实现对上述任务场景中车辆停留的合规性检测。

在一些实施例中，可能存在不能对预设区域内所有区域的停留信息进行标记，或者由于预设区域的场景发生了变化，导致预先标记的车辆停留信息不在适用时还可以包括通过算法对场景内容进行自动识别，这样可以自动得到预设区域中适合不同位置的车辆停留信息。

在其他实施例中，还可以通过算法进行场景自动识别。例如，通过算法对场景进行内容识别，得到场景中的某些区域是否适合停留物体、适合停留物体的类别，及适合停留物体的时间。然后将场景自动内容识别后得到的信息与场景中实际的物体停留信息进行比对，若存在出入，则及时进行预警。这样，通过对场景内容的自动识别算法，提高了对预设区域范围内车辆停留信息是否合规性的判别灵活性。

可以理解，通过摄像头获取到的图像信息进行分析，可确定出不同的外观信息，外观信息的分辨准确性较大，在出现同一类型的车辆时，可根据不同的细节差别区分是否属于同一车辆，例如同种型号的机动车，当前一车辆停留在存放区域外，但停留时长并未超过告警时长的情况下，驶出了存放区域，但随之又有一辆同型号的机动车驶入同一存放区域，此时，本方案会直接通过对两个车辆的外观信息进行细节比对，例如两个车辆的车牌号不同、车身漆色不同、中控台面的摆件不同、甚至可以通过对驾驶员进行识别从而确定不同之处，进而实现区分，此时无需对前一车辆进行告警信息的发送，而是重新对后一驶入的车辆进行计时，在其超过告警时长时，则可向对应的车主发送告警信息，通过上述方案可有效避免产生误发告警信息的情况。

物体的类别有多种，通过预先训练的算法实现对多种类别物体的停留是否合规事件进行识别，提高对预设区域范围内多种车辆停留事件的监控。在一些实施例中，在检测时，主要关注如下几个类型的物体，即类别信息包括有小轿车、货车、堆叠货物、叉车、单个纸箱、自行车、摩托车和电动车、三轮车和快递车，采集包含以上物体的图像数据，标注以上8类目标物体，采用基于目标检测的深度学习算法，如yolo系列，centernet系列等算法，训练一个目标检测器。检测的输出为目标框的坐标、索引及置信度(x,y,w,h,index,confidence)。在另一些实施例中，还可以通过无监督算法实现对未预先训练的物体的停留事件进行监控，这样不仅可以实现对重点关注物体的停留合规性进行监控，同时还可以兼顾新的未在训练样本中的物体的停留合规性进行监控。

在另一些实施例中，可以对不同类别的物体进行粗粒度分类，例如同一个物体类别中可能包括多种更加细致类型的物体，例如，对于货物类别的物体而言，可能包括纸箱、包裹、小推车、杂物等物体，皆可归类为物体类别。这样，通过对不同类别的物体进行不同粗粒度的划分，可以提高对不同物体类别识别的鲁棒性，尽量使得多种类型的物体皆可以被划分至一个物体类别中，减少或者避免存在一个物体无法被划分至一个具体的物体类别中的状况，导致算法的适用范围降低。

在另一些实施例中，对于不能识别或者识别结果不确定的物体类别还可以通过人工进行干预，通过人工交互输入物体类别的信息，这样使得物体类别的识别准确度更高，同时算法还可以基于人工输入的信息，进一步进行学习优化，使得当后续再识别到类似的物体时，通过算法就可以自动识别到对应的物体类别等信息。例如，可以适用于当预设区域内出现新的类型物体时，算法并没有见过该类型的物体，导致第一次不能进行识别其类别，故而第一次可以通过人工干预输入物体类别，这样算法之后再识别到对应类型的物体时，就可以自动进行识别。或者，当算法识别错误时，也可以通过人工纠正，这样算法可以自动进行优化，后续可以提高识别的准确性。在进行超时停留检测时，需要对同一目标和是否超时两个角度进行检测。

在一些实施例中，对于同一目标的确定而言，机动车主要是通过车牌信息，在车牌信息无法检测时，会进行外观信息的检测，而对于车牌检测而言，基于深度学习采用top-down的方法先进行车辆检测，检测到机动车辆，再进行车牌四个角点的检测，然后对检测到的车牌区域进行校正和文本识别。需要说明的是，本申请中对车牌信息识别的算法不做限定。

这样，通过双重检测算法对物体进行识别定位，进一步提高了对物体识别的准确性，特别是对于确定物体停留时间时，通过双重检测算法能够使得前后确定的物体属于同一个物体的概率更大，这样提高对物体停留时间的计算的准确性，避免了对车辆违规停留的误预警。

在一些实施例中，非机动车可以通过目标物体的外观信息进行检测。

进一步地，在进行是否为同一目标物体的检测时，主要是通过特征表征算法和特征比对实现的，首先对检测到的目标框截取出来，resize到固定尺寸(128，128)，使用SiamesNet对比算法模型提取128维的表征向量并保存，再将一定时间段内检测到的目标物体外观特征向量信息保存到历史库，对于新检测到的目标提取128维特征向量并与历史特征向量库进行比对，相似度大于阈值则认为属于同一目标物体。

最终，系统检测到机动车违停的时候，通过获取到的车牌及联系方式，通知车主及时挪车，对于检测到的非机动车目标超时停留，及时通知园区管理员处理。这样，通过对机动车类型的车辆停留状况进行监测，可以及时发现违规停留的车辆，并及时针对性预警，提高对园区的管理效果，及园区的安全性。

如图2所示，根据本申请提出的一个实施例的超时停留检测方法，包括：步骤S202：确定图像信息；步骤S204：基于图像信息确定至少一个物体的类别信息；步骤S206：获取与类别信息对应的存放区域以及告警时长；S2072：当类别信息对应为机动车类别时，获取物体的车牌信息；步骤S208：确定物体的位置信息以及停留时长；步骤S210：在位置信息位于存放区域外，且物体在位置信息的停留时长超过告警时长的情况下，确定与车牌信息绑定的车主信息；步骤S212：向车主信息发送告警信息。

在该实施例中，在对存放区域和告警时长进行获取时，在此之前需要对物体所属类别进行分辨，具体地，主要是对是否属于机动车类别进行判断，即判断类别信息是否为机动车类别。

如果该类型属于机动车类别，但并未获取到车牌信息，则会根据图像信息对物体进行外观扫描，得到外观信息，此时可通过将外观信息对该物体进行绑定，即外观信息标识唯一的机动车，此时若是需要向外发出告警信息，一般并不会提前关联存储车主信息，则会将物体所属类别和所处位置一同发给目标终端，即类别信息和位置信息进行发送，一般为管理人员的系统上，再由系统分配给特定的人员进行相应处理。

进一步地，当类别信息对应为非机动车类别时，获取物体的外观信息；基于外观信息确定所述物体的在对应区域的停留时长；在位置信息位于存放区域外，且停留时长超过告警时长的情况下，将物体的类别信息和位置信息发送至目标终端。

若判断物体不属于机动车类别，即非机动车类别，包括非机动车、货物、叉车等，一般并不会提前关联存储车主信息，则会根据图像信息对物体进行外观扫描，得到外观信息，此时可通过将外观信息对该物体进行绑定，即外观信息标识唯一的非机动车，此时则需要将物体所述类别和所处位置一同发给目标终端，即类别信息和位置信息进行发送，一般为管理人员的系统上，再由系统分配给特定的人员进行相应处理。

如图3所示，根据本申请提出的一个实施例的超时停留检测方法，包括：步骤S302：确定图像信息；步骤S3042：通过图像信息确定物体的外观信息；步骤S3044：根据外观信息确定物体的数量；步骤S3046：确定每个物体的类别信息；步骤S306：获取与类别信息对应的存放区域以及告警时长；步骤S3082：在预设时间内，确定任意两个相邻时间帧的两个外观信息；步骤S3084：确定两个外观信息的第一相似度；步骤S3086：在第一相似度大于第一相似阈值的情况下，确定两个外观信息对应同一物体；步骤S3088：基于相邻时间帧对应的时间确定类别信息对应的停留时长；步骤S310：在位置信息位于存放区域外，且停留时长超过告警时长的情况下，根据与类别信息对应的告警规则向目标终端发出告警信息。

在该实施例中，当需要根据图像信息确定出外观信息和类别信息时，首先会通过图像信息进行图像识别，先将外观信息识别出来，再根据外观信息确定图像信息中存在几个物体，可分别对每个物体的类别信息进行确定。通过上述方案，在同一图像信息中存在多个物体时，可有效避免出现类别信息判断错误的情况，极大的提高对多物体超时停留的判断准确性。

在一些实施例中，不仅可以对一个物体停留合规性进行监测，还可以包括对不同物体之间的停留状况进行检测。例如，当第一物体的停留位置及停留时间皆合规，第二物体的停留时间及停留位置也合规，但是第一物体与第二物体之间的停留位置关系存在问题，此时也可以触发车辆停留不合规的预警信息。

在对停留时长进行获取时，会通过在一段时间内，判断每两个相邻的时间帧的画面，确定出两个图像信息的外观信息，先确定出两个外观信息的第一相似度，若第一相似度较高，大于第一相似阈值时，可认为相邻两个时间帧中的外观信息属于同一物体，通过对相邻时间帧对应的时间即可对停留时长进行判断。通过上述方案，可极大的提高对相似物体的超时停留的判断准确性，引入了相似度的概念，对于不同车辆相继停留可能造成误判的情况，本方案会有极大的改善。

进一步地，在根据图像信息分析出外观信息和类别信息之前，还需要进行预采集操作，从而可形成对应的数据库，具体地，对于多个类别信息而言，会预先采集每个类别信息的一个或多个预存外观信息，通过将摄像头识别出来的外观信息在所有的预存外观信息中进行遍览对比，从而可根据第二相似度的大小，判断摄像头识别出来的物体的类别，即在进行多次对比时，某一个对比出来的第二相似度大于第二相似阈值时，会认为当前拍摄的物体与第二相似阈值对应的预存外观信息是属于同一类的，故而可确定物体的类别信息即为预存外观信息的类别信息。

当然，在确定第二相似度时，主要是先对图像信息进行特征对比，具体地，先根据图像信息对物体的轮廓进行扫描，获取到对应的轮廓后，即可将该轮廓截取出来，并按照预设尺寸进行放大，再通过预设算法对放大出来的轮廓中的特征向量进行提取，最后通过将特征向量在历史特征向量库进行搜索，即可确定出对应的第二相似度。

更具体的，历史特征向量库中保存有一定时间段内检测到的目标物体外观的特征向量信息，对于新检测到的目标物体，则对检测到的目标物体框选并截取出来，resize到固定尺寸(128，128)，使用SiamesNet对比算法模型提取128维的表征向量并保存，此时会提取128维特征向量并与历史特征向量库进行比对，相似度大于阈值则认为属于同一目标物体。

如图4所示，根据本申请提出的一个实施例的监控设备100，包括处理器104、存储器102及存储在存储器102上并可在处理器104上运行的程序或指令，程序或指令被处理器104执行时实现如上述任一实施例中超时停留检测方法的步骤。

根据本申请提供的监控设备，主要包括处理器104和存储器102，通过处理器104执行计算机程序时实现如上述任一实施例中超时停留检测方法的步骤，从而具有了上述超时停留检测方法的实施例的全部有益效果，在此不再赘述。

根据本申请提出的一个实施例的计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时从而实现如上述任一实施例中超时停留检测方法的步骤。

根据本申请提供的计算机可读存储介质，通过存在于计算机可读存储介质上的计算机程序被处理器执行时，可以实现上述任一实施例中超时停留检测方法的步骤，从而具有了上述超时停留检测方法的技术方案的全部有益效果，在此不再赘述。

另一方面，本申请实施例提供了一种芯片，包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如上述第一方面中任一项技术方案的超时停留检测方法的步骤。

根据本申请提供的芯片，主要包括有处理器和通信接口，通过将通信接口与处理器耦合，可运行对应的程序或指令，从而实现如上述任一实施例中超时停留检测方法的步骤。

另一方面，本申请实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的超时停留检测方法的步骤。

以上结合附图详细说明了本申请的技术方案，通过本申请的技术方案，通过对图像信息进行分析，根据确定出的外观信息进行对比，可极大提高物体分辨的准确性。

进一步地，可以理解的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种超时停留检测方法，其特征在于，包括：

确定图像信息；

基于所述图像信息确定至少一个物体的类别信息；

获取与所述类别信息对应的存放区域以及停留时长；

确定所述物体的位置信息以及告警时长；

在所述位置信息位于所述存放区域外，且所述物体在所述位置信息的所述停留时长超过所述告警时长的情况下，根据与所述类别信息对应的告警规则向目标终端发出告警信息。

2.根据权利要求1所述的超时停留检测方法，其特征在于，所述方法还包括：

当所述类别信息对应为机动车类别时，获取所述物体的车牌信息，所述车牌信息用于标识唯一的所述机动车；

所述根据与所述类别信息对应的告警规则向目标终端发出告警信息，具体包括：

确定与所述车牌信息绑定的车主信息；

向所述车主信息发送所述告警信息。

3.根据权利要求2所述的超时停留检测方法，其特征在于，所述方法还包括：

当未获取到所述物体的车牌信息时，基于所述图像信息获取所述机动车的外观信息，所述外观信息用于标识唯一的所述机动车；

基于所述外观信息确定所述物体的在对应区域的停留时长；

所述根据与所述类别信息对应的告警规则向目标终端发出告警信息，具体包括：

将所述物体的类别信息和位置信息发送至所述目标终端。

4.根据权利要求1所述的超时停留检测方法，其特征在于，所述方法还包括：

当所述类别信息对应为非机动车类别时，获取所述物体的外观信息，所述外观信息用于标识唯一的非机动车；

基于所述外观信息确定所述物体的在对应区域的停留时长；

所述根据与所述类别信息对应的告警规则向目标终端发出告警信息，具体包括：

将所述物体的类别信息和位置信息发送至所述目标终端。

5.根据权利要求3所述的超时停留检测方法，其特征在于，所述获取与所述类别信息对应的停留时长，包括：

在预设时间内，确定任意两个相邻时间帧的两个所述外观信息；

确定两个所述外观信息的第一相似度；

在所述第一相似度大于第一相似阈值的情况下，确定两个所述外观信息对应同一物体；

基于所述相邻时间帧对应的时间确定所述类别信息对应的停留时长。

6.根据权利要求1所述的超时停留检测方法，其特征在于，所述基于所述图像信息确定至少一个物体的类别信息，包括：

预先采集每个类别信息的至少一个预存外观信息；

确定对应于同一所述物体的外观信息与每个所述预存外观信息之间的第二相似度；

在任一所述第二相似度大于第二相似阈值的情况下，确定所述物体属于所述预存外观信息的类别信息。

7.根据权利要求6所述的超时停留检测方法，其特征在于，所述确定对应于同一所述物体的外观信息与每个所述预存外观信息之间的第二相似度，具体包括：

根据所述图像信息确定所述物体的轮廓；

将所述轮廓进行截取，并放大至预设尺寸；

根据预设算法提取多个特征向量；

根据所述特征向量与历史特征向量库确定所述第二相似度。

8.一种监控设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的超时停留检测方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的超时停留检测方法的步骤。

10.一种芯片，其特征在于，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如权利要求1至7中任一项所述的超时停留检测方法的步骤。

Images