CN104394361A - 行人越界智能监控装置与检测方法 - Google Patents

Abstract

行人越界智能监控装置与检测方法。行人越界智能监控装置与检测方法包括视频采集模块、嵌入式处理模块、视频显示模块和报警模块。视频采集模块将采集到的彩色视频图像通过网线同时传输到嵌入式处理模块和视频显示模块，视频显示模块实时显示视频监控实况，嵌入式处理模块接收到视频图像的相关电信号信息，通过越界算法检测，得到越界行人的信息，显示在视频显示模块，并将报警信号发送给报警模块，进而报警，保护特定区域的安全，防止外来物的侵扰。本发明所述的越界检测装置以及检测方法不仅在很大程度上避免了漏报和误报现象，同时为监控人员处理危机提供了便利。

Description

行人越界智能监控装置与检测方法

技术领域

本发明属于智能视频分析监控领域，涉及图像处理、视频分析、模式识别、智能监控、视频跟踪等技术。

背景技术

在生活工作中，公司、商场、单行道路或者小区的出入口等需要单方向通行控制，逆行违规检测、流量监测等情景，都需要对越界信息进行检测，越界检测已经成为安防领域一个重要的方面。目前常用的越界检测手段主要有地感线圈检测、微波检测、激光检测和视频检测等方法。其中，地感线圈检测方法工程量大，需要切割道路，维护不方便；微波检测和激光检测成本较高，应用也不广泛；视频检测方法能够直接得到入侵人或者车辆等的信息，但是需要消耗大量的人力进行监控分析，一名监控人员在同一时间所能管理的最佳监控点数不超过4个，如果安装有超过100个摄像头，意味着某一时刻单人人工覆盖率仅为4%，而且由于人眼的易疲劳性与监控界面之多，无法可靠筛选出异常信息并及时进行处理。随着国家和人们安防意识的增强，商场、小区以及企业都逐渐大规模安装监控系统，因此，智能监控设备与技术迫切需要开发来替代人眼进行监控，来确保人身财产安全。智能监控设备不仅能节约成本，还能实现24小时不间断实时智能监控。智能检测装置与技术对国家以及公司企业、社区安全等具有重要的意义。然而，目前智能检测越界设备与技术还有很多缺陷，如处理速度慢、实时性差，误报、漏报比较严重，对环境的鲁棒性较差等。

发明内容

为解决上述问题，本发明的目的在于提供行人越界智能监控装置与检测方法。本装置处理速度快、实时性好，对误报和漏报现象控制良好、检测精度高、对环境中的突发情况具有良好的鲁棒性。

本发明采用的技术方案是：

该智能越界检测装置包括视频采集器、嵌入式处理系统、视频显示器和报警模块。

所述的视频采集模块主要包括摄像模块、外壳保护模块、供电模块和通讯模块。其中，摄像模块主要是智能摄像机，采集到的是彩色图像。外壳保护模块采用不锈钢304制成的长方体中空保护壳，主要是保护内部摄像模块、供电模块和通讯模块，防水防烟尘等。外壳保护模块前端安装有视窗玻璃，一方面保护摄像模块，另一方面用于摄像模块可以采集周围环境信息。外壳保护模块两侧安装有两个红外灯，用于在夜间给摄像模块提供照明，使得摄像模块在夜间能采集到视频图像。外壳保护模块在尾部，即远离摄像模块的一侧，开有三个接线孔，接线孔上分别安装有防水接头，连接孔中引出的两条线分别是通讯模块与嵌入式处理模块、视频显示模块的连接线，另一条线是通讯模块给红外灯供电连接线。供电模块提供工作电源，主要是为了保证摄像模块正常采集图像信息和通讯模块正常传输视频信息，并给两个红外灯供电。通讯模块将视频采集模块采集到的视频图像通过千兆网线实时传输视频数据到嵌入式处理模块、视频显示模块和终端数据库。

所述的嵌入式处理模块主要是算法处理单元，采用的是美国TI公司的DM6467系列ARM/DSP双核芯片进行算法处理。主要接收视频采集模块传输过来的视频信号，通过ARM/DSP双核芯片经过智能越界算法处理后，输出越界异常检测结果并到显示模块，同时输出I/O开关量报警信号到报警模块。

所述的视频显示模块主要是LED显示器或者DLP大屏幕，主要是显示实时视频监控信息和异常越界信息。可以同时显示多路视频信息。

所述的报警模块主要有警铃和各类报警探头。接收嵌入式处理模块发出的I/O开关量报警信号并响应报警信息。

利用上述智能越界检测系统监控步骤为：

（1）    通过视频采集模块采集视频信息传输到嵌入式处理模块和显示模块，同时，视频信息通过网络传输到数据库终端，进行保存备份。

（2）    显示模块实时显示采集的视频信息。嵌入式处理模块将接收到的视频信息进行进一步处理，通过背景建模、前景检测、监控区域的设定、前景匹配更新、越界事件判断等步骤识别出异常信息。

（3）    嵌入式处理模块将处理的异常信息同时传给报警模块发出报警信息，同时将异常信息传输到显示模块，框选出异常的前景，协助安防监控人员进行危机事件处理。

本装置采用的越界行为智能视频监控方法主要包括背景建模、前景检测、监控区域的设定、前景匹配更新、越界事件判断。

所述的背景建模是指对视频采集模块输入的CIF 352×288 YUV420 格式的视频图像进行背景建模，本发明中建模点为2×2大小的区域，四个像素点依照从左到右，从上到下的顺序依次标记为pixel00，pixel01，pixel10，pixel11，利用像素点的Y、U、V分量，分别给每个建模区域建立背景高斯模型。高斯模型参数信息包括模型均值、模型权重、模型梯度、模型方差信息。为适用于嵌入式系统，本发明采用的是全整型的参数类型。对采集到的第一帧图像进行高斯建模，模型参数信息存入高斯模型数组中，[avgY avgU avgV weight grad theta]。

其中，、、、、、、、、、、、分别对应四个像素点的Y、U、V分量。

对于后续依次采集的图像，要进行高斯建模，对背景模型进行训练更新。模型均值更新学习过程为：

其中，、、分别为对新一帧图像的模型均值训练结果，、、分别表示建模点当前的高斯模型均值，、、分别为新一帧图像的模型均，为模型均值更新因子。

模型方差学习过程为：

其中，表示对新一帧图像的模型方差训练结果，表示当前背景的模型方差， 表示模型方差更新因子，、、分别表示当前背景的模型Y、U、V分量均值。、、分别表示当前帧图像的建模点的模型Y、U、V分量均值。

模型权重记录的是背景建模点建模成功数。当背景建模点建模总数达到2/5时，背景建模成功。

所述的前景检测的检测对象包括场景中运动的物体和新出现在场景中的物体。本发明采用的前景检测利用当前帧图像的高斯模型与背景高斯模型进行对比，当前景高斯模型均值、模型梯度、模型方差与背景高斯模型的均值、模型梯度、模型方差的差值大于阈值时，那么说明建模点为疑似前景点。再利用疑似前景点建模点高斯模型与背景模型的八邻域高斯模型进行对比匹配，若模型差值也大于阈值时，说明建模点为前景点。建模点与背景八邻域进行比较的目的在于排除光线变化、树叶摆动等造成的虚假前景。当前帧图像的所有建模点匹配完毕后，需要对前景点做进一步处理筛选。对建模点进行依次搜索，当前景点之间满足建模点中心距离小于阈值时，说明建模点属于同一个前景，对前景进行升序标号，并记录每个前景的颜色、重心、面积、边框、周长等信息。

所述的监控区域的设定是指根据监控场景的需求，自行设定越界区域线以及越界方向，并设定越界报警的灵敏度、监视越界事件中前景的最大最小边框范围。设置完成后，将背景学习完毕后的第一帧图像中的前景数据进行初步筛选，通过前景的周长、面积大小及边缘梯度特征等进行筛选，将有效前景存入前景历史信息库，以便后续检测过程中的匹配越界判断等操作。

所述的前景匹配更新过程主要有新的前景检测和历史前景信息匹配。新的前景检测过程同前景检测所述，主要目的是检测场景中新出现的物体信息，并将新的前景信息存入前景信息库。历史前景信息匹配指的是实时记录更新前景移动的信息，通过当前前景信息与前景历史信息库中的前景信息做对比，如果前景的颜色、重心、面积、边框、周长变化信息小于阈值，那么说明匹配，说明是同一个前景，则更新前景历史信息库中的信息，由重心位置变化可以得到前景运动方向信息。

所述的越界事件判断主要是判断前景是否跨越越界线并且越界方向是否满足要求。判断过程是依次遍历历史前景信息库中的前景信息，如果重心变化量由越界线一侧移动到越界线另一侧，则为可疑前景点，并进一步依据设置的越界线方向信息，对前景点重心移动的方向做进一步判断。如果满足设定的方向变化信息，进一步判断越界灵敏度是否满足要求。如果越界灵敏度满足要求，则有越界事件发生，在发出报警信息的同时，将前景信息框选出来并显示在显示屏幕上。

本发明的有益效果是：智能视频监控装置可以24小时无间断工作，可以代替监控人员进行工作，监控人员只需要在报警提示的时候进行异常状况处理即可。有效地节省了人力资源，避免了监控人员工作疲劳引起的异常事件的遗漏。该装置简单灵活，适用于现场多变的因素，如人一样，智能监控周边环境，识别异常信息，保卫人身财产安全，防患于未然。智能越界检测方法采用的背景建模与前景检测方法简单易操作，算法执行速率高，每秒处理5帧图像。背景、前景建模过程减少了噪声点对模型的影响，并且实时学习更新背景，具有较高的智能性，大大提高了越界检测过程的准确性与可靠程度。

 

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1 是本发明装置示意图。

图2是本发明越界检测算法流程图。

图3是本发明越界情况说明图。

 

具体实施方式

下面结合具体实例来说明本发明技术方案所涉及到的各个细节问题。应指出的是，所描述的实例仅旨在便于对本发明的理解，并不因此而限定本发明的保护范围。

越界行为智能视频监控装置如图1示，该智能越界检测装置包括视频采集模块2、嵌入式处理模块7、视频显示模块6和报警模块8。

所述的视频采集模块2主要包括摄像模块1、外壳保护模块5、供电模块3和通讯模块4。其中，摄像模块1主要是智能摄像机，采集到的是彩色图像。外壳保护模块5采用不锈钢304制成的长方体中空保护壳，主要是保护内部摄像模块1、供电模块3和通讯模块4，防水防烟尘等。外壳保护模块5前端安装有视窗玻璃，一方面保护摄像模块1，另一方面用于摄像模块1可以采集周围环境信息。外壳保护模块5两侧安装有两个红外灯9、10，用于在夜间给摄像模块1提供照明，使得摄像模块1在夜间能采集到视频图像。外壳保护模块5在尾部，即远离摄像模块1的一侧，开有三个接线孔，接线孔上分别安装有防水接头，连接孔中引出的两条线分别是通讯模块4与嵌入式处理模块7、视频显示模块6的连接线，另一条线是通讯模块4给红外灯9、10供电连接线。供电模块3提供工作电源，主要是为了保证摄像模块1正常采集图像信息和通讯模块4正常传输视频信息，并给两个红外灯9、10供电。通讯模块4将视频采集模块2采集到的视频图像通过千兆网线实时传输视频数据到嵌入式处理模块7、视频显示模块6和终端数据库。

所述的嵌入式处理模块7主要是算法处理单元，采用的是美国TI公司的DM6467系列ARM/DSP双核芯片进行算法处理。主要接收视频采集模块2传输过来的视频信号，通过ARM/DSP双核芯片经过智能越界算法处理后，输出越界异常检测结果并到显示模块6，同时输出I/O开关量报警信号到报警模块8。

所述的视频显示模块6主要是LED显示器或者DLP大屏幕，接收视频采集模块2传输过来的视频信息，显示实时视频监控信息和异常越界信息。可以同时显示多路视频信息。

所述的报警模块8主要有警铃和各类报警探头。接收嵌入式处理模块7发出的I/O开关量报警信号并响应报警信息。

利用上述智能越界检测系统监控步骤为：

（1）      通过视频采集模块2采集视频信息传输到嵌入式处理模块7和显示模块6，同时，视频信息通过网络传输到数据库终端，进行保存备份。

（2）      显示模块6实时显示采集的视频信息。嵌入式处理模块7将接收到的视频信息进行进一步处理，通过背景建模、前景检测、监控区域的设定、前景匹配更新、越界事件判断等步骤识别出异常信息。

（3）      嵌入式处理模块7将处理的异常信息同时传给报警模块8发出报警信息，同时将异常信息传输到显示模块6，框选出异常的前景，协助安防监控人员进行危机事件处理。

越界行为智能视频监控方法处理流程如图2示，本实例的具体实施分为五部分：背景建模、前景检测、监控区域的设定、前景匹配更新、越界事件判断。

所述的背景建模是指对视频采集模块2输入的CIF 352×288 YUV420 格式的视频图像进行背景建模，本发明中建模点为2×2大小的区域，四个像素点依照从左到右，从上到下的顺序依次标记为pixel00，pixel01，pixel10，pixel11，利用像素点的Y、U、V分量，分别给每个建模区域建立背景高斯模型。高斯模型参数信息包括模型均值、模型权重、模型梯度、模型方差信息。为适用于嵌入式处理模块7，本发明采用的是全整型的参数类型。对采集到的第一帧图像进行高斯建模，模型参数信息存入高斯模型数组中，[avgY avgU avgV weight grad theta]。

其中，、、、、、、、、、、、分别对应四个像素点的Y、U、V分量。

对于后续依次采集的图像，要进行高斯建模，对背景模型进行训练更新。模型均值更新学习过程为：

其中，、、分别为对新一帧图像的模型均值训练结果，、、分别表示建模点当前的高斯模型均值，、、分别为新一帧图像的模型均，为模型均值更新因子。

模型方差学习过程为：

其中，表示对新一帧图像的模型方差训练结果，表示当前背景的模型方差， 表示模型方差更新因子，、、分别表示当前背景的模型Y、U、V分量均值。、、分别表示当前帧图像的建模点的模型Y、U、V分量均值。

模型权重记录的是背景建模点建模成功比例。图像总的建模点数目为176×144个，当背景建模点建模总数达到2/5时，背景建模成功，反之继续学习，直到权重满足阈值。如果建模点在背景建模阶段没有建模成功，则说明为疑似前景，并进入前景检测阶段。前景点和背景点分别以不同的速率更新背景模型，提高了背景模型的适应性。

所述的前景检测的检测对象包括场景中运动的物体和新出现在场景中的物体。本发明采用的前景检测利用当前帧图像的高斯模型与背景高斯模型进行对比，当前景高斯模型均值、模型梯度、模型方差与背景高斯模型均值、模型梯度、模型方差的差值大于阈值时，那么说明建模点为疑似前景点。再利用疑似前景点建模点高斯模型与背景模型的八邻域高斯模型进行对比匹配，若前、背景高斯模型均值、模型梯度、模型方差的差值也大于阈值时，说明建模点为前景点，反之，说明该点可能是由于光线变化、树叶摆动等情况造成的虚假前景。建模点与背景八邻域进行比较提高了前景提取的准确度与可靠性。当前帧图像的所有建模点匹配完毕后，需要对前景点做进一步处理筛选。对建模点进行依次搜索，当前景点之间满足建模点中心距离小于阈值时，说明建模点属于同一个前景，并进行标记联通，标记结束后对属于同一个前景的建模点进行升序标号，并记录每个前景的颜色、重心、面积、边缘梯度、边框、周长等信息。

所述的监控区域的设定是指根据监控场景的需求，自行设定越界区域线以及越界方向，并设定越界报警的灵敏度、监视越界事件中前景的最大最小边框范围。设置完成后，采集的图像会经过前背景建模过程，依据设定前景块的大小，输出有效前景信息，标记在显示界面上。在越界事件检测过程中，将背景学习完毕后的第一帧图像中的前景数据进行初步筛选，通过前景的周长、面积大小及边缘梯度特征等进行筛选，将有效前景存入前景历史信息库，以便后续检测过程中的匹配越界判断等操作。

所述的前景匹配更新过程主要有新的前景检测和历史前景信息匹配。新的前景检测过程同前景检测所述，主要目的是检测场景中新出现的物体信息，并将新的前景信息存入前景信息库。历史前景信息匹配指的是实时记录更新前景移动的信息，通过当前前景信息与前景历史信息库中的前景信息做对比，如果前景的颜色、重心、面积、边框、周长变化信息小于阈值，那么说明匹配，说明是同一个前景，则更新前景历史信息库中的信息，由重心位置变化可以得到前景运动方向信息。

所述的越界事件判断主要是判断前景是否跨越越界线并且越界方向是否满足要求。判断过程是依次遍历历史前景信息库中的前景信息，如果重心变化量由越界线一侧移动到越界线另一侧，则为可疑前景点，并进一步依据设置的越界线方向信息，对前景点重心移动的方向做进一步判断。如果满足设定的方向变化信息，进一步判断越界灵敏度思否满足要求。如果越界灵敏度满足要求，则有越界事件发生，在发出报警信息的同时，将前景信息框选出来并显示在显示屏幕上。

如图3所示为越界报警情况说明，直线为设定的越界位置，箭头代表设置的越界的方向性，当前景行人从A区域越过越界线到达B区域时，发生越界报警响应；当前景行人从B区域越过越界线到达A区域时，不满足规定的越界方向信息，因此不会报警。

任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (11)

1.行人越界智能监控装置与检测方法，其特征在于：所述行人越界智能监控装置包括视频采集器、嵌入式处理系统、视频显示器和报警模块。

2.根据权利要求1所述的装置与方法，其特征在于：所述的视频采集模块主要包括摄像模块、供电模块、通讯模块和外壳保护模块；其中，摄像模块主要是智能摄像机，采集到的是彩色图像；供电模块提供工作电源，主要是为了保证摄像模块正常采集图像信息和通讯模块正常传输视频信息，并给两个红外灯供电；通讯模块将视频采集模块采集到的视频图像通过千兆网线实时传输视频数据到嵌入式处理模块、视频显示模块和终端数据库。

3.根据权利要求1所述的装置与方法，其特征在于：所述的视频采集模块中的外壳保护模块内部保护摄像模块、供电模块、通讯模块；外壳保护模块采用不锈钢304制成的长方体中空保护壳，主要是保护内部摄像模块、供电模块和通讯模块，防水防烟尘等；外壳保护模块前端安装有视窗玻璃，一方面保护摄像模块，另一方面用于摄像模块可以采集周围环境信息；外壳保护模块两侧安装有两个红外灯，用于在夜间给摄像模块提供照明，使得摄像模块在夜间能采集到视频图像；外壳保护模块在尾部，即远离摄像模块的一侧，开有三个接线孔，接线孔上分别安装有防水接头，连接孔中引出的两条线分别是通讯模块与嵌入式处理模块、视频显示模块的连接线，另一条线是通讯模块给红外灯供电连接线。

4.根据权利要求1所述的装置与方法，其特征在于：所述的嵌入式处理模块主要是算法处理单元，采用的是美国TI公司的DM6467系列ARM/DSP双核芯片进行算法处理，主要接收视频采集模块传输过来的视频信号，通过ARM/DSP双核芯片经过智能越界算法处理后，输出越界异常检测结果并到显示模块，同时输出报警信息到报警模块。

5.根据权利要求1所述的装置与方法，其特征在于：所述的视频显示模块主要是LED显示器或者DLP大屏幕，主要是显示实时视频监控信息和异常越界信息，可以同时显示多路视频信息。

6.根据权利要求1所述的装置与方法，其特征在于：监控步骤为：

（1）通过视频采集模块采集视频信息传输到嵌入式处理模块和显示模块，同时，视频信息通过网络传输到数据库终端，进行保存备份；

（2）显示模块实时显示采集的视频信息，嵌入式处理模块将接收到的视频信息进行进一步处理，通过背景建模、前景检测、监控区域的设定、前景匹配更新、越界事件判断等步骤识别出异常信息；

（3）嵌入式处理模块将处理的异常信息同时传给报警模块发出报警信息，同时将异常信息传输到显示模块，框选出异常的前景，协助安防监控人员进行危机事件处理。

7.根据权利要求1所述的装置与方法，其特征在于：行人越界智能监控检测方法主要包括背景建模、前景检测、监控区域的设定、前景匹配更新、越界事件判断。

8.根据权利要求1所述的装置与方法，其特征在于：行人越界智能监控检测方法背景建模点为2×2大小的区域，四个像素点依照从左到右，从上到下的顺序依次标记为pixel00，pixel01，pixel10，pixel11，利用像素点的Y、U、V分量，分别给每个建模区域建立背景高斯模型；高斯模型参数信息包括模型均值、模型权重、模型梯度、模型方差信息；为适用于嵌入式处理模块，本发明采用的是全整型的参数类型；对采集到的第一帧图像进行高斯建模，模型参数信息存入高斯模型数组[avgY avgU avgV weight grad theta]中；

其中，、、、、、、、、、、、分别对应四个像素点的Y、U、V分量；

对于后续依次采集的图像，要进行高斯建模，对背景模型进行训练更新，模型均值更新学习过程为：

其中，、、分别为对新一帧图像的模型均值训练结果，、、分别表示建模点当前的高斯模型均值，、、分别为新一帧图像的模型均，为模型均值更新因子；

模型方差学习过程为：

其中，表示对新一帧图像的模型方差训练结果，表示当前背景的模型方差，表示模型方差更新因子，、、分别表示当前背景的模型Y、U、V分量均值，、、分别表示当前帧图像的建模点的模型Y、U、V分量均值。

9.根据权利要求1所述的装置与方法，其特征在于：行人越界智能监控检测方法监控区域的设定是指根据监控场景的需求，自行设定越界区域线以及越界方向，并设定越界报警的灵敏度、监视越界事件中前景的最大最小边框范围；设置完成后，将背景学习完毕后的第一帧图像中的前景数据进行初步筛选，通过前景的周长、面积大小及边缘梯度特征等进行筛选，将有效前景存入前景历史信息库。

10.根据权利要求1所述的装置与方法，其特征在于：行人越界智能监控检测方法所述的前景匹配更新过程主要有新的前景检测和历史前景信息匹配；新的前景检测过程同前景检测所述，主要目的是检测场景中新出现的物体信息，并将新的前景信息存入前景信息库；历史前景信息匹配指的是实时记录更新前景移动的信息，通过当前前景信息与前景历史信息库中的前景信息做对比，如果前景的颜色、重心、面积、边框、周长变化信息小于阈值，那么说明匹配，说明是同一个前景，则更新前景历史信息库中的信息，由重心位置变化可以得到前景运动方向信息。

11.根据权利要求1所述的装置与方法，其特征在于：行人越界智能监控检测方法所述越界事件判断主要是判断前景是否跨越越界线并且越界方向是否满足要求；判断过程是依次遍历历史前景信息库中的前景信息，如果重心变化量由越界线一侧移动到越界线另一侧，则为可疑前景点，并进一步依据设置的越界线方向信息，对前景点重心移动的方向做进一步判断；如果满足设定的方向变化信息，进一步判断越界灵敏度是否满足要求；如果越界灵敏度满足要求，则有越界事件发生，在发出报警信息的同时，将前景信息框选出来并显示在显示屏幕上。