CN113887445A

CN113887445A - 一种视频中驻足和徘徊行为识别方法及系统

Info

Publication number: CN113887445A
Application number: CN202111171916.XA
Authority: CN
Inventors: 张辉; 杨金勇; 曹文倩; 李治; 邱朝晖; 马亮; 姚智
Original assignee: Shandong Zhongyun Education Technology Co ltd; Shandong Trusted Cloud Information Technology Research Institute
Current assignee: Shandong Zhongyun Education Technology Co ltd; Shandong Trusted Cloud Information Technology Research Institute
Priority date: 2021-10-08
Filing date: 2021-10-08
Publication date: 2022-01-04

Abstract

本发明提供了一种视频中驻足和徘徊行为识别方法及系统，获取采集的视频，对视频中的人员进行人脸识别，确定目标人员；检测目标人员进入设定区域、离开设定区域的时间，计算目标人员通过设定区域的总时间；计算目标人员在所述总时间内，目标人员在设定区域内移动的总距离；结合所述总时间和总距离，判定目标人员是否存在驻足或徘徊行为，如果判定结果为是，计算目标人员在当前帧位置与进入设定区域时位置的距离变化情况，对目标人员进行跟踪预警。能够时间全天候可靠监控，大大降低人的劳动强度。

Description

一种视频中驻足和徘徊行为识别方法及系统

技术领域

本发明属于智能识别及行为分析技术领域，具体涉及一种视频中驻足和徘徊行为识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着互联网技术的不断发展，视频监控技术的普遍应用，视频监控成为了很多区域安防建设主要手段。

以校园为例进行说明，人脸识别技术普遍应用到了校园，学校学生使用人脸识别技术进出学校大门，学校食堂使用人脸识别技术为学生打饭等。有了人脸识别技术，使检测校园周边的人为驻足和徘徊成为了可能，而准确的驻足和徘徊的检测可以有效制止校园威胁安全事件的发生。

显示市面上大多数智能摄像头设备对驻足和徘徊的检测普遍能力较弱，厂商要么不提供驻足或徘徊的检测行为，要么只提供其中的一种切上报的数据经常不正确。

发明内容

本发明为了解决上述问题，提出一种视频中驻足和徘徊行为识别方法及系统，本发明可以根据视频分析，精确计算驻足的时长和徘徊的次数，有助于保证设定区域的安全性。

根据一些实施例，本发明采用如下技术方案：

一种视频中驻足和徘徊行为识别方法，包括以下步骤：

获取采集的视频，对视频中的人员进行人脸识别，确定目标人员；

检测目标人员进入设定区域、离开设定区域的时间，计算目标人员通过设定区域的总时间；

计算目标人员在所述总时间内，目标人员在设定区域内移动的总距离；

结合所述总时间和总距离，判定目标人员是否存在驻足或徘徊行为，如果判定结果为是，计算目标人员在当前帧位置与进入设定区域时位置的距离变化情况，对目标人员进行跟踪预警。

作为可选择的实施方式，所述设定区域为监控设备采集的监控区域中的至少一部分。

作为可选择的实施方式，对视频中的人员进行人脸识别，并将识别结果作为目标人员的唯一标记，以检测到设定区域内出现所述标记时为目标人员进入设定区域的时间，以检测到设定区域内所述标记消失时为目标人员离开设定区域的时间。

作为可选择的实施方式，计算目标人员在设定区域内移动的总距离的具体过程包括：目标人员在所述总时间内，每帧图像目标轮廓矩形框的质心间距离累加和。

作为可选择的实施方式，结合所述总时间和总距离，判定目标人员是否存在驻足或徘徊行为的过程包括：设置总距离最大阈值和总时间最大阈值，当所述总时间和总距离中总距离和总时间数值超过对应最大阈值，则认为有徘徊行为，当仅有所述总时间数值超过对应最大阈值，则认为有驻足行为。

作为进一步限定的实施方式，所述总距离最大阈值的设置时，根据监控视频图像的大小，确定目标人员允许在设定区域内移动的总距离最大阈值。

作为进一步限定的实施方式，所述总时间最大阈值的设置时，将进入设定区域的人员行走速度作为衡量，以正常的行走速度通过设定区域的总时间为基准值设置总时间最大阈值。

作为可选择的实施方式，对目标人员进行跟踪预警的具体过程包括：当目标人员运动时，利用背景差方法检测目标人员，对其进行跟踪；当目标人员静止时，采用实时船体背景差分方法提取的目标人员的轮廓信息到Cameshift算法中，采用Camshift算法继续跟踪目标人员。

一种视频中驻足和徘徊行为识别系统，包括：

识别模块，被配置为获取采集的视频，对视频中的人员进行人脸识别；

总时间计算模块，被配置为检测目标人员进入设定区域、离开设定区域的时间，计算目标人员通过设定区域的总时间；

总距离计算模块，被配置为计算目标人员在所述总时间内，目标人员在设定区域内移动的总距离；

行为识别模块，被配置为结合所述总时间和总距离，判定目标人员是否存在驻足或徘徊行为，如果判定结果为是，计算目标人员在当前帧位置与进入设定区域时位置的距离变化情况，对目标人员进行跟踪预警。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述方法的步骤。

与现有技术相比，本发明的有益效果为：

本发明徘徊目标检测与跟踪技术能够时间全天候可靠监控，大大降低人的劳动强度。徘徊目标检测与跟踪技术拥有强大的图像处理能力，可以更加精确地提高报警和图像分析能力。

本发明具有强大的智能性，能够识别可疑的徘徊活动，能够在危险发生前做好准备。大大简化数据分析和存储的难度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明至少一个实施例的流程示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本实施例中的检测设备可以选用以下：

网络摄像机(IP Camera，简称IPC)，网络摄像机是一种结合传统摄像机和网络技术而产生的新一代摄像机，它可以将一端的影像通过网络传输到另一端。用户通过网络远程连接到网络摄像机进行配置和管理。

网络视频录像机(Network Video Recorder，简称NVR)，网络视频录像机是现在网络视频监控系统中不可分割的一部分，网络视频录像机主要功能是视频的存储与转发，与视频解码器和网络摄像机协同工作，存储有网络摄像机传输过来的视频流。

本实施例通过检测设备存储的图像/视频，分析是否存在驻足和徘徊行为，以及确定驻足的时长和徘徊的次数。

在摄像头设备中设置区域进行入侵行为的监测，该区域称为设定区域或防区，并设置方向，以表明进出防区。

如图1所示，先进行人脸识别，在本实施例中，可以使用现有的人脸识别技术进行面部识别，确定进入防区的人员是否是人脸库中已经存在的目标人员。

如果检测用户存在于人脸库中时，对目标人员标注唯一标识，当防区内出现此标识时，则认定有区域入侵事件，开始计时，当用户标识消失时，结束计时。

若目标人员离开防区时，上报的视频或图像内并无标识，根据上传的人脸照片，用以图搜图的方式从监控视频中搜索相似度最高且最接近当前时间的一帧为开始时间。

计算目标人员在防区内出现到离开的时长，即开始计时到结束计时的总时间。

计算目标人员在开始计时到结束计时的这段总时间内，目标人员在设定区域内移动的总距离；

判断存在驻足的原则是，目标人员移动的总距离不大，小于设定值，但是，其在防区内的总时间却较大，超过设定阈值。

判断存在徘徊的原则是，目标人员在一个地方停留超过一段时间或者运动轨迹出现异常(在一个地方来回反复的走)。即目标人员移动的总距离不大，小于设定值，在防区内的总时间却较大，超过设定阈值，或者目标人员移动的总距离和在防区内的总时间均超过相应的最大阈值。

下面详细介绍下涉及的参数：

目标通过防区所使用的的时间：

目标在防区内徘徊运动所消耗的时间通常要比正常情况下通过这段防区所用的时间要长，通过这一点也可以作为判定目标徘徊行为的条件，可以把正常目标进入防区的速度看成恒量V，以正常恒量通过防区的规定时间值T为基准，可以在基准上合理扩大一些时间，以最终时间值为最大阈值，通过目标人员的总时间和最大阈值对比，确定是否存在徘徊。

目标防区内移动的总距离：

目标在防区内移动的总距离等于从目标进入防区范围内开始到目标离开这段时间内，每帧图像目标轮廓矩形框的质心间距离累加和。

根据监控视频图像的大小，设定出目标允许在防区内移动的总距离，然后把目标在每帧图像中移动的路程加起来，当这个累加值超过预设值时就判定满足徘徊条件。

检测目标进入防区的坐标位置，以及目标在防区内的任一移动坐标位置，利用背景差检测运动目标，实现目标徘徊的检测；如果目标在检测防区内静止，则采用实时船体背景差分方法提取的目标轮廓信息到Cameshift算法中，在判定目标静止后，采用Camshift算法继续跟踪目标，最终实现了徘徊目标自动检测与跟踪报警。

本发明可以借助检测设备处理器的计算能力，在前端进行计算，并将结果推送至客户端。不增加额外的设备，充分利用现有的设备，即保证了原有的用户不用增加额外的开支又保证了计算的准确性。

本实施例还提供以下产品实施例：

一种视频中驻足和徘徊行为识别系统，包括：

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种视频中驻足和徘徊行为识别方法，其特征是：包括以下步骤：

2.如权利要求1所述的一种视频中驻足和徘徊行为识别方法，其特征是：所述设定区域为监控设备采集的监控区域中的至少一部分。

3.如权利要求1所述的一种视频中驻足和徘徊行为识别方法，其特征是：对视频中的人员进行人脸识别，并将识别结果作为目标人员的唯一标记，以检测到设定区域内出现所述标记时为目标人员进入设定区域的时间，以检测到设定区域内所述标记消失时为目标人员离开设定区域的时间。

4.如权利要求1所述的一种视频中驻足和徘徊行为识别方法，其特征是：计算目标人员在设定区域内移动的总距离的具体过程包括：目标人员在所述总时间内，每帧图像目标轮廓矩形框的质心间距离累加和。

5.如权利要求1所述的一种视频中驻足和徘徊行为识别方法，其特征是：结合所述总时间和总距离，判定目标人员是否存在驻足或徘徊行为的过程包括：设置总距离最大阈值和总时间最大阈值，当所述总时间和总距离中总距离和总时间数值超过对应最大阈值，则认为有徘徊行为，当仅有所述总时间数值超过对应最大阈值，则认为有驻足行为。

6.如权利要求5所述的一种视频中驻足和徘徊行为识别方法，其特征是：所述总距离最大阈值的设置时，根据监控视频图像的大小，确定目标人员允许在设定区域内移动的总距离最大阈值。

7.如权利要求5所述的一种视频中驻足和徘徊行为识别方法，其特征是：所述总时间最大阈值的设置时，将进入设定区域的人员行走速度作为衡量，以正常的行走速度通过设定区域的总时间为基准值设置总时间最大阈值。

8.如权利要求1所述的一种视频中驻足和徘徊行为识别方法，其特征是：对目标人员进行跟踪预警的具体过程包括：当目标人员运动时，利用背景差方法检测目标人员，对其进行跟踪；当目标人员静止时，采用实时船体背景差分方法提取的目标人员的轮廓信息到Cameshift算法中，采用Camshift算法继续跟踪目标人员。

9.一种视频中驻足和徘徊行为识别系统，其特征是：包括：

10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-8中任一项所述的方法的步骤。