CN104866827B - 基于视频监控平台的人员翻越行为的检测方法 - Google Patents

Abstract

本发明涉及一种基于视频监控平台的人员翻越行为的检测方法，包括：输入视频帧，将墙体位置用一条直线标记出来，这条直线称为警戒线；对于一帧图像，根据标出的墙体位置对视频画面进行裁剪；并提取运动前景图像；对前景图像进行二值化处理以及形态学滤波，再通过边界链码提取的方法实现连通域的提取，得到一系列可能包含人体的矩形区域；筛选出满足位置条件的矩形区域；进行图像跟踪，记录记录每一帧被跟踪的矩形的顶部的位置，得到运动轨迹。本发明不依赖于图像中的色彩信息，尤其适合晚上的检测(翻越围墙的事件一般在晚上发生)；同时，计算效率很高，可以节约服务器配置，降低使用成本。

Description

基于视频监控平台的人员翻越行为的检测方法

技术领域

本发明属于智能视频监控领域。具体来说属于一种基于普通单目摄像头，单摄相机(即一般的现有视频监控平台)的周界安防系统。

背景技术

传统的周界安防有很多种解决方案，如红外对射方案、微波对射方案、泄漏电缆方案、振动电缆方案、电子围栏、电网等。但受一些客观条件因素所限，它们也都存在着很多不足：红外等传统方案，防护等级较低，对于蓄意侵入者而言，很容易跨越或规避；同时易受地形条件的高低、曲折、转弯、折弯等环境限制，而且它们不适合恶劣气候，容易受高温、低温、强光、灰尘、雨、雪、雾、霜等自然气候的影响，误报率高；泄露电缆和振动电缆属于电缆传感，传感部分都是有源的，系统功耗很大；而电子围栏、电网等方案又有一定危害性。总的来说，上述方案可监测的距离较短，需要专用设备，单位距离成本高，在需要进行长距离监测的情况下，系统造价高昂。且传感器单元的寿命较短，长时间连续使用，维护成本较高；干扰机会增多(电磁干扰、信号干扰、串扰等)，灵敏性下降，误报率、漏报率上升等。并且，对于大范围监控，以上传统方案本身没有定位功能，遇上侵入行为，无法定位。这意味着无法及时、准确地确定危险地点，无法及时采取制止措施阻止侵入行为。

总之，以上方法成本高、误报率高，无法立刻判断报警是否为误报，需要立刻派遣人员前往实地查看。对于大范围的入侵监控，人力成本相当高。

随着研究的深入，图像模式识别，机器计算机视觉等技术在近年来有了长足的发展，各种智能算法的提出为解决实际工程问题提供了理论保障；而随着我国安全社区、安全校园、安全家居等理念的提出，相应的监控摄像系统遍布了生产生活中的许多角落，这就为本发明提出的人员翻越围墙的检测系统提供了硬件基础和实现条件。如果能够在现有的摄像监控系统中融入相应的检测软件，不仅充分利用了现有的硬件资源，节约设施开销，而且能够有效弥补上述探测器的不足，具有广阔的应用空间。

现有的基于计算机视觉的周界安防系统，不能准确的解决人员翻越围墙这一问题。有的如专利201410447901中描述的，使用DSP和ARM等嵌入式设备进行开发，这需要很大的硬件成本，需要对现有的监控系统进行大量改造。专利201210424052只能实现对进入某个区域的任何运动物体都进行报警，这实在过于粗糙，在实际应用中也受到很大局限。专利201210207773中也描述了一种用于周界防范的多目标跟踪方法。但这种方法中使用了均值漂移法，需要物体具有色彩信息。这就意味着该方法在夜间红外摄像头下难以使用。而翻越围墙的行为是很有可能出现在夜间的。这就很大程度上限制了该专利的应用范围。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种基于现有视频监控平台可以有效地识别人员翻越围墙的行为的检测方法，技术方案如下：

一种基于视频监控平台的人员翻越行为的检测方法，包括下列的步骤：

1)输入视频帧，将墙体位置用一条直线标记出来，这条直线称为警戒线；

2)对于一帧图像，根据标出的墙体位置对视频画面进行裁剪；并提取运动前景图像；

3)对前景图像进行二值化处理以及形态学滤波，再通过边界链码提取的方法实现连通域的提取，并对每一个连通域求取外接矩形。然后对于每个连通域的外接矩形，按照长和宽的反线性关系计算扩大比例系数，越小的矩形扩大的比例越大，扩大最大的情况下将矩形长度扩大20％，宽度扩大10％，然后将扩大后的矩形区域合并成更大的矩形；对于合并的结果，依照运动区域大小，长宽比等条件进行分类，舍去不包含运动人体的矩形，得到一系列可能包含人体的矩形区域；

4)对上面得到的可能包含人体的矩形区域与警戒线的相对位置关系进行分析，对于砖墙，当矩形底边与警戒线交点在矩形底边中点附近30％区域时，认为矩形区域满足位置条件，进行下一步的计算，否则，返回步骤2)；对于栅栏墙，当矩形垂直等分线近似被警戒线分割得到的上半部分占整个矩形高度的20％～60％时，认为矩形区域满足位置条件，此时进行下一步的计算，否则，返回步骤2)；

5)对前面4)筛选出的矩形区域使用Canny边缘算子提取边缘，并进行Hough变换，如果能够检测出圆形的头部，则认为这个矩形区域中确实含有人，将此矩形区域包含的图片称为子图片，并将其复制到跟踪队列中进行跟踪；

6)对于放入跟踪队列中的子图片，用harris角点法寻找子图片中的特征点并保存；

7)对于下一帧图像，重复步骤2)至3)的处理，获得可能包含人体的矩形区域；

8)对于6)中保存的特征点使用KLT光流法进行跟踪，得到这些特征点在该帧图片中的位置，在7)步得到的所有的矩形区域中，根据特征点的位置，找到包含跟踪得到的特征点的数目最多的那一个矩形；如果这个矩形中包含的特征点总数有进行跟踪计算的特征点的数目的一半以上，认为此次跟踪是成功的，更新跟踪队列中的子图片并返回步骤7)继续跟踪；否则认为跟踪失败，将子图片从跟踪队列中移除并退出跟踪；

9)记录每一帧被跟踪的矩形的顶部的位置，得到运动轨迹；

10)判断轨迹是否满足以下条件：首先，轨迹有一定长度，并且轨迹最后的部分要与警戒线相交。其次，轨迹应该中间高，两边低；再次，轨迹要有一定的跨度，如果这些条件都满足，则认为跟踪到的人做出了翻越围墙的动作，记录这时的图片；返回2)。

本发明不依赖于图像中的色彩信息，尤其适合晚上的检测(翻越围墙的事件一般在晚上发生)；同时，计算效率很高，可以节约服务器配置，降低使用成本。

附图说明

图1为本发明所搭载的视频监控系统框图。

图2为本发明的流程图。

具体实施方式

现有视频监控系统的一般架构为：由模拟摄像机拍摄的画面经过线缆一部分直接传给监视器显示，另一部分传给硬盘录像机。进入硬盘录像机的模拟信号转变为数字码流，一方面进行编码，以文件形式存储在硬盘录像机内；另一方面，可通过网络随时连接硬盘录像机，提取码流并进行显示、分析。具体如图1所示。基于本发明提出的方法所形成的人员翻越围墙检测软件，可以通过网络连接硬盘录像，采集视频数据并进行实时分析，如有人员翻越围墙则进行报警。

本发明方法具体如图2所示。

下面对各个部分进行详细说明：

1.码流转换

由于模拟摄像机传输的是模拟信号，需要先经过硬盘录像机转成数字信号，而转换成的数字信号时YUV信号的存储格式，为了后续方法的方便处理，我们将此种信号格式转换为RGB信号，其转换公式为：

R＝Y+1.14V

G＝Y-0.39U-0.58V

B＝Y+0.23U

由于视频监控画面是实时刷新，相当于不小于25帧/秒的刷新速度，而将YUV信号转为待处理的RGB信号以及后续算法的总耗时无法满足程序实时性要求，故采用关键帧提取技术，每隔10帧提取一帧进行处理。经测验，这种提取方式完全能够满足在周界检测中可靠性方面的需求。

2.图片的裁剪与缩放

将墙体的位置用一条直线标记出来，这条直线称为警戒线。然后根据标出的墙体位置对视频画面进行裁剪，并按照设定的缩放比例，用最临近插值算法，对画面进行缩放。这样得到的需要处理的视频的面积远远小于原图像的面积，可以大大的减小计算量，提高计算速度。

3.运动前景的提取

方法中运动前景的提取有多种方法，本实施例采用混合高斯模型实现，参照了论文Improved adaptive Gaussian mixture model for background subtraction(Zivkovic,Z.(Intell.&Autonomous Syst.Group,Amsterdam Univ.,Amsterdam,Netherlands)Source:Proceedings of the 17th International Conference onPattern Recognition,p 28-31vol.2,2004)。

4.对运动像素进行连通域提取

通过对得到的运动前景进行形态学滤波，去除一些小的干扰。再使用膨胀算法，使紧邻的区域融合在一起。最后利用freeman链码的方式描述检测出的各个前景区域的轮廓。

5.运动区域的合并与分类

由于各种因素的影响，一个运动物体往往被分成几块，这就需要对这些区域进行合并。首先对得到的轮廓求取外接矩形，按照矩形的长宽的反线性关系计算扩大系数，越小的矩形扩大的比例越大。最大将矩形长度扩大20％，宽度扩大10％。然后对得到的矩形区域进行合并，并求出它们的外接矩形。并依照运动区域大小，长宽比等条件，粗略的对运动区域进行分类，舍去不包含运动人体的矩形，得到一系列可能包含人体的矩形区域。

6.人物跟踪与运动轨迹的获取

依如下方法检测并对人物进行跟踪，以得到物体运动的轨迹：

第一步：对上面得到的矩形区域与标记墙体位置的警戒线的相对位置关系进行分析。这其中墙体又按照围墙和栅栏两种情况进行讨论。对于围墙，只能露出人头,当矩形底边与警戒线交点在矩形底边中点附近30％区域时，进行下一步的计算；对于栅栏墙，人物露出身体,当矩形垂直等分线近似被警戒线分割得到的上半部分占整个矩形高度的20％～60％时，进行下一步的计算。

第二步：由于人在翻墙过程中，最先露出墙体的一定是头部。如果使用复杂的分类器对其进行分类，固然能够得到更好的结果，但也会消耗更多的时间，所以本方法中简单的采用了Canny算子提取边缘并结合Hough变换检测可能包含人体的矩形区域中的圆形成分，并结合头部位置的先验知识，也可以起到一定的检测效果。如果能够检测出圆形的头部，则认为这个矩形区域中确实含有人，将此矩形区域包含的图片称为子图片，并将其复制到跟踪队列中进行跟踪.

第三步：对于放入跟踪队列中的子图片，用harris角点法寻找子图片中的特征点并保存；然后对于下一帧图像，重复步骤1)至5)的处理，获得可能包含人体的矩形区域；然后对保存的子图片中的特征点使用KLT光流法进行跟踪，得到这些特征点在该帧图片中的位置，在得到的所有的矩形区域中，根据特征点的位置，找到包含跟踪得到的特征点的数目最多的那一个矩形；如果这个矩形中包含的特征点总数有进行跟踪计算的特征点的数目的一半以上，认为此次跟踪是成功的，更新跟踪队列中的子图片并继续跟踪；否则认为跟踪失败，将子图片从跟踪队列中移除并退出跟踪；记录每一帧被跟踪的矩形的顶部的位置，得到运动轨迹。记录每一帧被跟踪的矩形的位置，就得到了运动的轨迹。这种跟踪方法，与一般其它专利的实现相比，不依赖于图像中的色彩信息，尤其适合晚上的检测(翻越围墙的事件一般在晚上发生)；同时，计算效率很高，普通PC也能同时处理8路以上视频，这就节约了服务器配置，降低了使用成本。

7.轨迹分析

在跟踪物体的同时对得到的轨迹进行分析，着重分析轨迹与标出墙体位置的直线的相交情况，轨迹的长度，轨迹形状等。当这些因素均能满足一定条件时，认为跟踪物体发生了翻越围墙的运动。这时进行报警，记录图片，并绘制其轨迹，作为证据保存。

Claims (1)

1.一种基于视频监控平台的人员翻越行为的检测方法，包括下列的步骤：

1)输入视频帧，将墙体位置用一条直线标记出来，这条直线称为警戒线；

2)对于一帧图像，根据标出的墙体位置对视频画面进行裁剪；并提取运动前景图像；

3)对运动前景图像进行二值化处理以及形态学滤波，再通过边界链码提取的方法实现连通域的提取，并对每一个连通域求取外接矩形；然后对于每个连通域的外接矩形，按照长和宽的反线性关系计算扩大比例系数，越小的矩形扩大的比例越大，扩大最大的情况下将矩形长度扩大20％，宽度扩大10％，然后将扩大后的矩形区域合并成更大的矩形；对于合并的结果，依照运动区域大小，长宽比条件进行分类，舍去明显不包含运动人体的矩形，得到一系列可能包含人体的矩形区域；

4)对上面得到的可能包含人体的矩形区域与警戒线的相对位置关系进行分析，对于砖墙，当矩形底边与警戒线交点在矩形底边中点附近30％区域时，认为矩形区域满足位置条件，进行下一步的计算，否则，返回步骤2)；对于栅栏墙，当矩形垂直等分线被警戒线分割得到的上半部分占整个矩形高度的20％～60％时，认为矩形区域满足位置条件，此时进行下一步的计算，否则，返回步骤2)；

5)对前面步骤4)筛选出的矩形区域使用Canny边缘算子提取边缘，并进行Hough变换，如果能够检测出圆形的头部，则认为这个矩形区域中确实含有人，将此矩形区域包含的图片称为子图片，并将其复制到跟踪队列中进行跟踪；

6)对于放入跟踪队列中的子图片，用harris角点法寻找子图片中的特征点并保存；

7)对于下一帧图像，重复步骤2)至3)的处理，获得可能包含人体的矩形区域；

8)对于步骤6)中保存的特征点使用KLT光流法进行跟踪，得到这些特征点在该帧图片中的位置，在步骤7)步得到的所有的矩形区域中，根据特征点的位置，找到包含跟踪得到的特征点的数目最多的那一个矩形；如果这个矩形中包含的特征点总数有进行跟踪计算的特征点的数目的一半以上，认为此次跟踪是成功的，更新跟踪队列中的子图片并返回步骤7)继续跟踪；否则认为跟踪失败，将子图片从跟踪队列中移除并退出跟踪；

9)记录每一帧被跟踪的矩形的顶部的位置，得到运动轨迹；

10)判断轨迹是否满足以下条件：首先，轨迹有一定长度，并且轨迹最后的部分要与警戒线相交；其次，轨迹应该中间高，两边低；再次，轨迹要有一定的跨度，如果这些条件都满足，则认为跟踪到的人做出了翻越围墙的动作，记录这时的图片；返回步骤2)。