CN115527158A - 一种基于视频监控的人员异常行为检测方法及装置 - Google Patents

Abstract

本发明提供一种基于视频监控的人员异常行为检测方法及装置。所述方法包括：实时获取由摄像机拍摄的监控区域的视频图像；基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框；基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。本发明通过基于视频图像进行人体检测与跟踪，并根据异常行为时人体检测框的几何尺寸特征和运动状态特征相对人员正常行为时的差别，能够对人员的异常行为进行检测并及时报警，有利于保障视频监控区域的安全。

Description

一种基于视频监控的人员异常行为检测方法及装置

技术领域

本发明属于视频监控技术领域，具体涉及一种基于视频监控的人员异常行为检测方法及装置。

背景技术

随着国民经济的发展，各类场所的安防需求不断加大，而对视频监控系统的需求也在爆发式增长。在机场、地铁站、商场、居民区等公共场所内往往安装有成千上万的摄像头，而国内的一些城市正在实施的“平安城市”计划至少包含几十万个摄像头。面对如此多的摄像头，如果采用传统的人工值守的方法，由专人24小时全天候盯守监控场景，需要投入大量的人力物力。同时我国的社会老龄化的趋势导致劳动力成本逐年增加，导致系统的运行维护成本高，并且在一些特殊情况下(如监视人员情绪不稳定、身体不适等因素的影响)，不可避免的会产生漏报和误报等情况。同时传统的视频监控系统主要功能是对监控区域进行录像和显示，缺乏分析功能，即使监控场景发生异常行为，也只能作为事后分析取证的工具。因此，采用智能化的方式分析处理监控视频是十分必要的。

近年来，智能视频监控技术得到了快速发展。智能视频监控中的人体检测、目标跟踪和人员异常行为检测已成为计算机视觉领域研究的一个重要方向。对于安全性要求比较高的监控场景，对人员进行异常行为检测显得尤为重要。为此，本发明提出一种基于视频监控的人员异常行为检测方法及装置，通过对进入监控区域的人员进行检测、跟踪，并按照一定的规则进行异常行为检测，如果检测到所述人员存在异常行为，立即报警，提醒工作人员采取相应的措施。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于视频监控的人员异常行为检测方法及装置。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种基于视频监控的人员异常行为检测方法，包括以下步骤：

实时获取由摄像机拍摄的监控区域的视频图像；

基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框；

基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。

进一步地，所述异常行为检测包括携带异物检测，方法如下：

构建异物检测模型，并对所述模型进行训练；

将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；

计算人体检测框和异物检测框交集的面积与异物检测框的面积的比值K：

式中，S_A∩B为人体检测框和异物检测框交集的面积，S_B为异物检测框的面积；

若K大于设定的阈值，则认为所述存在携带异物行为。

进一步地，所述异常行为检测包括徘徊检测，方法如下：

基于人体检测框估算人体的运动速度V；

计算所述人体通过指定区域所用的时间T；

若T大于设定的阈值，则认为存在徘徊行为，所述阈值与V负相关，即V越大所述阈值越小。

进一步地，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)；

当人体检测框中心离开所述区域后，基于(x_i,y_i)计算人体检测框中心通过的距离S和最大位移P，公式如下：

式中，(x₁,y₁)、(x_n,y_n)分别为人体检测框中心进入和离开所述区域时的坐标；

若S≥k*P，则认为存在徘徊行为，k>1。

进一步地，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围：x_A≤x≤x_B，y_A≤y≤y_B，x、y分别为平面直角坐标系的横纵坐标变量；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)，按下式计算行走方向余弦Z_i及变化量ΔZ_i：

ΔZ_i＝Z_i-Z_i-1

当人体检测框中心离开所述区域后，统计满足ΔZ_i*ΔZ_i+1<0的i的个数M，若M超过设定的阈值，则认为存在徘徊行为。

第二方面，本发明提供一种基于视频监控的人员异常行为检测装置，包括：

视频图像获取模块，用于实时获取由摄像机拍摄的监控区域的视频图像；

人体检测跟踪模块，用于基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框；

异常行为检测模块，用于基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。

进一步地，所述异常行为检测包括携带异物检测，方法如下：

构建异物检测模型，并对所述模型进行训练；

将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；

计算人体检测框和异物检测框交集的面积与异物检测框的面积的比值K：

式中，S_A⌒B为人体检测框和异物检测框交集的面积，S_B为异物检测框的面积；

若K大于设定的阈值，则认为所述存在携带异物行为。

进一步地，所述异常行为检测包括徘徊检测，方法如下：

基于人体检测框估算人体的运动速度V；

计算所述人体通过指定区域所用的时间T；

若T大于设定的阈值，则认为存在徘徊行为，所述阈值与V负相关，即V越大所述阈值越小。

进一步地，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)；

当人体检测框中心离开所述区域后，基于(x_i,y_i)计算人体检测框中心通过的距离S和最大位移P，公式如下：

式中，(x₁,y₁)、(x_n,y_n)分别为人体检测框中心进入和离开所述区域时的坐标；

若S≥k*P，则认为存在徘徊行为，k>1。

进一步地，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围：x_A≤x≤x_B，y_A≤y≤y_B，x、y分别为平面直角坐标系的横纵坐标变量；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)，按下式计算行走方向余弦Z_i及变化量ΔZ_i：

ΔZ_i＝Z_i-Z_i-1

当人体检测框中心离开所述区域后，统计满足ΔZ_i*ΔZ_i+1<0的i的个数M，若M超过设定的阈值，则认为存在徘徊行为。

与现有技术相比，本发明具有以下有益效果。

本发明通过实时获取由摄像机拍摄的监控区域的视频图像，基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框，基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警，实现了人员异常行为的自动检测。本发明通过基于视频图像进行人体检测与跟踪，并根据异常行为时人体检测框的几何尺寸特征和运动状态特征相对人员正常行为时的差别，能够对人员的异常行为进行检测并及时报警，有利于保障视频监控区域的安全。

附图说明

图1为本发明实施例一种基于视频监控的人员异常行为检测方法的流程图。

图2为携带异物检测示意图。

图3为徘徊检测原理示意图。

图4为本发明实施例一种基于视频监控的人员异常行为检测装置的方框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种基于视频监控的人员异常行为检测方法的流程图，包括以下步骤：

步骤101，实时获取由摄像机拍摄的监控区域的视频图像；

步骤102，基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框；

步骤103，基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。

本实施例中，步骤101主要用于实时获取视频图像。本实施例通过架设摄像机实时获取监控区域的视频图像，所述摄像机一般选取IP网络摄像机。IP网络摄像机是基于网络传输的数字化设备，网络摄像机除了具有普通复合视频信号输出接口BNC外，还有网络输出接口，可直接将摄像机接入本地局域网，每一个IP网络摄像机都有自己的IP网址。比如，可以选用华为的D3220P摄像机，分辨率可达1080P，帧率最高可为32FPS，传输带宽可达5M_Z，传统方式采用云端传输。

本实施例中，步骤102主要用于进行人体检测与跟踪。由于本实施例的人体是运动的，因此本实施例的人体检测属于运动目标检测。运动目标检测技术是智能视频监控技术的重要组成部分之一，是一种将前景与背景分离，把运动目标从视频图像中提取出来的技术。动目标检测方法很多，常用的有3种，分别是背景差分法、帧间差分法和光流法。随着人工智能的快速发展，卷积神经网络CNN技术日益成熟，CNN越来越多地应用于目标检测领域。基于CNN构建目标检测模型，将实时获取的视频图像输入训练好的所述模型，便可实现人体检测与跟踪。所述模型输出一个包围人体图像的最小外接矩形即人体检测框，所述检测框的大小及位置即反映了人体的大小与位置。由于本实施例对实时性要求较高，为了兼顾检测的精度和实时性，可采用目前运行效率较高的目标检测算法YOLOv4-Tiny模型。YOLOv4-Tiny是YOLOv4算法的轻量化版本，相较于其他目标检测算法，该模型运行速度较高，可满足对实时性要求较为严格的应用场景。

本实施例中，步骤103主要用于异常行为检测。人员异常行为的界定与实际的监控环境有关，也就是说不同的监控环境和目的对异常行为的定义不同。比如，应用于养老院的视频监控，如果有人跌倒，发现后须及时救助，因此跌倒就可视为异常行为；应用于燃气设施的视频监控，目的是保证燃气设施安全，因此异常行为的定义与是否可能对燃气设施构成威胁有关，如果有人员携带异物进入所述区域，该人员可能会对燃气设施造成破坏，因此可以将人员携带异物进入燃气设施区域视认异常行为。还有，踢打行为和徘徊行为在很多应用场景也都视为异常行为。人员的异常行为与正常行为相比，其图像的几何特征和运动状态会有比较明显的区别，比如跌倒时人体图像的最小外接矩形(检测框)的长宽比与正常时相比会有明显不同，据此可进行跌倒检测。本实施例对异常行为具体的定义和检测方法不作限定，后面的实施例将给出几种具体的异常行为的检测方法。

作为一可选实施例，所述异常行为检测包括携带异物检测，方法如下：

构建异物检测模型，并对所述模型进行训练；

将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；

计算人体检测框和异物检测框交集的面积与异物检测框的面积的比值K：

式中，S_A∩B为人体检测框和异物检测框交集的面积，S_B为异物检测框的面积；

若K大于设定的阈值，则认为所述存在携带异物行为。

本实施例给出了携带异物检测的一种技术方案。本实施例首先通过建立异物检测模型，将实时获取的视频图像输入到训练好的模型中，得到异物检测框，如图2所示；然后计算人员检测框和异物检测框的重合部分面积，即两个检测框交集的面积S_A∩B，并计算S_A∩B与异物检测框的面积S_B的比值K。K的大小反映了人员和异物的接近程度，K越大，人员和异物越接近；最后根据K值与设定的阈值的相对大小进行判定，若K大于设定的阈值，则认为所述人员携带异物。所述阈值的大小对检测结果有直接影响，因此阈值选取一定要慎重，一般根据行业经验或反复实验设定。

作为一可选实施例，所述异常行为检测包括徘徊检测，方法如下：

基于人体检测框估算人体的运动速度V；

计算所述人体通过指定区域所用的时间T；

若T大于设定的阈值，则认为存在徘徊行为，所述阈值与V负相关，即V越大所述阈值越小。

本实施例给出了徘徊检测的一种技术方案。徘徊的表现包括左顾右盼、时快时慢、走走停停、频繁改变行走方向等。对于进入监控区域的人员来说，一直(或大部分时间)沿着某一方向通过所述区域属于正常行为，而具有上述特征的徘徊行为，则可认为是一种异常行为。徘徊检测的方法很多，包含基于运动时间、运动轨迹和运动方向的检测。本实施例采用第一种方法，其技术原理是：徘徊通过监控区域的时间大于正常行走通过所述区域的时间。因此可通过计算人员通过监控区域所用的时间T，并与设定的阈值进行比较，判定是否存在徘徊行为。由于T的大小与行走速度有关(速度越大，T越小)，为了提高徘徊检测的精度，本实施例设计了动态检测阈值，即根据人员的行走速度动态调整检测阈值的大小，速度越大，设定的检测阈值越小。行走速度可通过计算一小段时间内人员检测框中心点移动的距离获得。

作为一可选实施例，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)；

当人体检测框中心离开所述区域后，基于(x_i,y_i)计算人体检测框中心通过的距离S和最大位移P，公式如下：

式中，(x₁,y₁)、(x_n,y_n)分别为人体检测框中心进入和离开所述区域时的坐标；

若S≥k*P，则认为存在徘徊行为，k>1。

本实施例给出了徘徊检测的另一种技术方案。本实施例基于运动轨迹进行徘徊检测，其检测原理是：正常行走时，人员通过监控区域走过的距离与最大位移近似相等；徘徊行走时，人员通过监控区域走过的距离明显大于最大位移。具体检测方法是：先设定一个检测区域，为了便于计算，一般将所述区域设定为一个矩形区域；然后分别计算人员通过所述区域走过的距离S和最大位移P；最后根据是否满足S≥k*P判定是否存在徘徊行为。k的值根据经验确定，一般取一个较大的整数值，如k＝20。值得说明的是，为了简化计算，也可以用设定的矩形区域的长或宽或长+宽代替最大位移P。

作为一可选实施例，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围：x_A≤x≤x_B，y_A≤y≤y_B，x、y分别为平面直角坐标系的横纵坐标变量；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)，按下式计算行走方向余弦Z_i及变化量ΔZ_i：

ΔZ_i＝Z_i-Z_i-1

当人体检测框中心离开所述区域后，统计满足ΔZ_i*ΔZ_i+1<0的i的个数M，若M超过设定的阈值，则认为存在徘徊行为。

本实施例给出了徘徊检测的又一种技术方案。本实施例基于运动方向的改变进行徘徊检测，其检测原理是：正常行走时，人员一直沿着某一方向通过监控区域；徘徊行走时，人员通过监控区域时频繁地改变行走方向。参见图3，图中的大矩形框为设定的矩形检测区域，小矩形框为人体检测框；假设有人从左边进入检测区域后向右行走，如果是正常行走，图中的ɑ角(人体检测框中心与矩形检测区域左上角顶点的连线与矩形检测区域左边界的夹角)将逐渐从小到大变化，但始终小于90度，因此ɑ角的余弦cosɑ将始终按单调减变化；如果是徘徊行走，当改变方向时，比如改为从右向左行走时，ɑ角将开始从大到小变化，cosɑ将按单调增变化。因此可根据cosɑ变化趋势改变(由单调减变为单调增或反之)的次数识别行走方向改变的次数M，如果M超过设定的阈值，则认为存在徘徊行为。本实施例中的行走方向余弦Z_i即为cosɑ，不等式ΔZ_i*ΔZ_i+1<0用来判定cosɑ变化趋势的改变，满足该不等式的i的个数即为行走方向改变的次数M。

图4为本发明实施例一种基于视频监控的人员异常行为检测装置的组成示意图，所述装置包括：

视频图像获取模块11，用于实时获取由摄像机拍摄的监控区域的视频图像；

人体检测跟踪模块12，用于基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框；

异常行为检测模块13，用于基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。

作为一可选实施例，所述异常行为检测包括携带异物检测，方法如下：

构建异物检测模型，并对所述模型进行训练；

将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；

计算人体检测框和异物检测框交集的面积与异物检测框的面积的比值K：

式中，S_A⌒B为人体检测框和异物检测框交集的面积，S_B为异物检测框的面积；

若K大于设定的阈值，则认为所述存在携带异物行为。

作为一可选实施例，所述异常行为检测包括徘徊检测，方法如下：

基于人体检测框估算人体的运动速度V；

计算所述人体通过指定区域所用的时间T；

若T大于设定的阈值，则认为存在徘徊行为，所述阈值与V负相关，即V越大所述阈值越小。

作为一可选实施例，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)；

当人体检测框中心离开所述区域后，基于(x_i,y_i)计算人体检测框中心通过的距离S和最大位移P，公式如下：

式中，(x₁,y₁)、(x_n,y_n)分别为人体检测框中心进入和离开所述区域时的坐标；

若S≥k*P，则认为存在徘徊行为，k>1。

作为一可选实施例，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围：x_A≤x≤x_B，y_A≤y≤y_B，x、y分别为平面直角坐标系的横纵坐标变量；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)，按下式计算行走方向余弦Z_i及变化量ΔZ_i：

ΔZ_i＝Z_i-Z_i-1

当人体检测框中心离开所述区域后，统计满足ΔZ_i*ΔZ_i+1<0的i的个数M，若M超过设定的阈值，则认为存在徘徊行为。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于视频监控的人员异常行为检测方法，其特征在于，包括以下步骤：

实时获取由摄像机拍摄的监控区域的视频图像；

基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框；

基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。

2.根据权利要求1所述的基于视频监控的人员异常行为检测方法，其特征在于，所述异常行为检测包括携带异物检测，方法如下：

构建异物检测模型，并对所述模型进行训练；

将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；

计算人体检测框和异物检测框交集的面积与异物检测框的面积的比值K：

式中，S_A∩B为人体检测框和异物检测框交集的面积，S_B为异物检测框的面积；

若K大于设定的阈值，则认为所述存在携带异物行为。

3.根据权利要求1所述的基于视频监控的人员异常行为检测方法，其特征在于，所述异常行为检测包括徘徊检测，方法如下：

基于人体检测框估算人体的运动速度V；

计算所述人体通过指定区域所用的时间T；

若T大于设定的阈值，则认为存在徘徊行为，所述阈值与V负相关，即V越大所述阈值越小。

4.根据权利要求1所述的基于视频监控的人员异常行为检测方法，其特征在于，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)；

当人体检测框中心离开所述区域后，基于(x_i,y_i)计算人体检测框中心通过的距离S和最大位移P，公式如下：

式中，(x₁,y₁)、(x_n,y_n)分别为人体检测框中心进入和离开所述区域时的坐标；

若S≥k*P，则认为存在徘徊行为，k>1。

5.根据权利要求1所述的基于视频监控的人员异常行为检测方法，其特征在于，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围：x_A≤x≤xB，yA≤y≤y_B，x、y分别为平面直角坐标系的横纵坐标变量；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)，按下式计算行走方向余弦Z_i及变化量ΔZ_i：

ΔZ_i＝Z_i-Z_i-1

当人体检测框中心离开所述区域后，统计满足ΔZ_i*ΔZ_i+1<0的i的个数M，若M超过设定的阈值，则认为存在徘徊行为。

6.一种基于视频监控的人员异常行为检测装置，其特征在于，包括：

视频图像获取模块，用于实时获取由摄像机拍摄的监控区域的视频图像；

人体检测跟踪模块，用于基于所述视频图像进行人体检测与跟踪，得到实时变化的人体检测框；

异常行为检测模块，用于基于所述人体检测框的几何尺寸特征和运动状态特征，进行异常行为检测；若存在异常行为，则进行报警。

7.根据权利要求6所述的基于视频监控的人员异常行为检测装置，其特征在于，所述异常行为检测包括携带异物检测，方法如下：

构建异物检测模型，并对所述模型进行训练；

将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；

计算人体检测框和异物检测框交集的面积与异物检测框的面积的比值K：

式中，S_A∩B为人体检测框和异物检测框交集的面积，S_B为异物检测框的面积；

若K大于设定的阈值，则认为所述存在携带异物行为。

8.根据权利要求6所述的基于视频监控的人员异常行为检测装置，其特征在于，所述异常行为检测包括徘徊检测，方法如下：

基于人体检测框估算人体的运动速度V；

计算所述人体通过指定区域所用的时间T；

若T大于设定的阈值，则认为存在徘徊行为，所述阈值与V负相关，即V越大所述阈值越小。

9.根据权利要求6所述的基于视频监控的人员异常行为检测装置，其特征在于，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)；

当人体检测框中心离开所述区域后，基于(x_i,y_i)计算人体检测框中心通过的距离S和最大位移P，公式如下：

式中，(x₁,y₁)、(x_n,y_n)分别为人体检测框中心进入和离开所述区域时的坐标；

若S≥k*P，则认为存在徘徊行为，k>1。

10.根据权利要求6所述的基于视频监控的人员异常行为检测装置，其特征在于，所述异常行为检测包括徘徊检测，方法如下：

确定检测区域范围：x_A≤x≤x_B，y_A≤y≤y_B，x、y分别为平面直角坐标系的横纵坐标变量；

当人体检测框中心进入所述区域后，开始记录每帧图像中人体检测框中心的坐标(x_i,y_i)，按下式计算行走方向余弦Z_i及变化量ΔZ_i：

ΔZ_i＝Z_i-Z_i-1

当人体检测框中心离开所述区域后，统计满足ΔZ_i*ΔZ_i+1<0的i的个数M，若M超过设定的阈值，则认为存在徘徊行为。

Images