CN104021570B - 一种视频中有方向的越界和拌线检测方法 - Google Patents

Abstract

本发明公开了一种视频中有方向的越界和拌线检测方法，它包括以下步骤：S1：输入监控视频；S2：视频初始化，在视频中设置拌线和感兴趣区域，根据输入检测视频的分辨率选择最小过滤运动目标面积；S3：前景检测，检测运动目标并进行跟踪，过滤出需要检测的运动目标；S4：进行拌线检测或越界检测，越界检测包括入侵检测和逃离检测两种情况；S5：对于之后每一个新进的运动目标，重复步骤S3和S4。本发明能够对运动目标进行过滤，排除飞鸟和小动物等不需要检测的目标，提高检测精度，在现有拌线检测和入侵检测的基础上，还能进行离开以及运动目标运动方向的检测，检测功能完善，更能适应实际应用需求。

Description

一种视频中有方向的越界和拌线检测方法

技术领域

本发明属于智能监控视频结合计算机视觉和模式识别领域，特别涉及一种视频中有方向的越界和拌线检测方法。

背景技术

智能监控视频是利用计算机视觉技术对数字监控视频进行处理以达到可以自动实时地检测异常并报警的目的。它可以替代人工定点定时巡查或者人工长时间观看监控视频的工作方式，可以避免错过巡查或人工长时间监看监控视频而导致疲劳，由计算机自动实时检测异常，在公共和私人场所的安防方面有巨大的应用前景。

目前智能监控视频技术越来越成熟，已经出现了一些实时监控视频分析技术，常用的方法是在视频中设置拌线或感兴趣区域替代人工的观测点，对感兴趣区域进行区域入侵检测、行人异常检测、局部人流统计、局部人群密度检测和车辆或行人拌线等，当监控视频中异常满足某种条件时自动输出报警。处理的主要是视频中的运动目标，包括人和车等。设置拌线是在视频中画一条直线或曲线替代门禁的作用，当运动目标从任意方向经过或单方面逆行时则报警。设置感兴趣区域是在视频中画定一个禁区或以整个监控视频区域为禁区，当有运动目标闯入或离开时则报警。

现有的检测方法一般是直接根据视频中的运动目标和感兴趣区域的简单关系进行判断，情形比较简单，检测异常比较单一。例如公开号为101835035A的专利公开了一种“实时区域入侵检测方法”，该方法包括以下几个步骤：1)根据视频帧数据建立监控场景并实时更新监控场景；2)使用运动目标检测算法得到运动目标；3)使用目标跟踪算法对运动目标进行跟踪，得到运动目标的位置坐标；4)使用区域检测算法对运动目标进行入侵判断。该方法只是简单地检测和跟踪运动目标，得到运动目标区域参数并和警戒区匹配，并没有判断运动目标的类别和运动方向，而且只有区域入侵检测，并且需要对全区域、警戒区和运动目标的状态进行分类和敏感参数匹配，算法分析比较复杂，检测功能过于简单，实用中会有很多限制。

公开号为103279943A的专利公开了一种“目标入侵检测方法及装置、监控视频系统”，该发明公开了一种目标入侵检测方法，该方法通过设置拌线和设置最大面积和最小面积来对视频中入侵目标进行过滤，能够把不需要进行检测的目标排除，但该方法并没有方向判断和检测，没有运动目标的跟踪，也没有离开禁区的检测，仅根据与拌线线段重合时的状态来判断，并且过滤面积的设定也不好把握，当处理视频分辨率不一样时，绘制过滤面积需要经过试验验证，在封闭区域设置时每条线段均设置最大最小过滤面积，比较繁琐，且算法分析起来比较冗余和复杂。

因此，现有的方法主要存在以下三个问题：1)简单地设置拌线，并没有方向的设定，但很多场景需要检测的是逆行的目标，允许单方向的通过，比如城市单行道等；2)感兴趣区域的设置只有入侵的检测，但很多场景要检测是否有目标离开，对进入的目标不产生异常，该区域是只进不出的，比如上课中的学校等；3)运动目标没有进行过滤，公共场合的猫狗或飞鸟类动物有时并不需要检测，需要把该类异常排除。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够对运动目标进行过滤，排除飞鸟和小动物等不需要检测的目标，具有拌线检测、入侵检测和逃离检测功能的视频中有方向的越界和拌线检测方法。

本发明的目的是通过以下技术方案来实现的：一种视频中有方向的越界和拌线检测方法，它包括以下步骤：

S1：输入监控视频；

S2：视频初始化：在视频中设置拌线和感兴趣区域，根据输入检测视频的分辨率选择最小过滤运动目标面积；拌线设置方法为：在监控视频中设置一条拌线和拌线禁止方向向量，该向量指向的方向为拌线禁止通过方向，逆向则为拌线允许通过方向，若未设置拌线禁止方向向量则为双向拌线检测，即拌线的双向都禁止通过；感兴趣区域的设置方法为：在视频中标注一个矩形禁区并设置越界禁止方向向量，该向量指向矩形内侧则为入侵检测，禁止运动目标进入感兴趣区域，该向量指向矩形外侧则为逃离检测，禁止感兴趣区域内的运动目标离开感兴趣区域，一直在感兴趣区域外的运动目标不做检测，若未设置感兴趣区域则默认为对整个监控视频区域进行全局检测；

S3：过滤出需要检测的运动目标：对检测的监控视频进行前景检测，检测出监控视频中的运动目标并对其进行跟踪，得到该运动目标的矩形团块列表信息，包括每一个矩形团块的团块ID号、质心坐标和团块的宽高，根据团块的宽高计算运动目标的面积，若面积小于最小过滤运动目标面积，则不需要检测该运动目标，删除该运动目标团块；

S4：进行拌线检测或越界检测，所述的拌线检测包括以下子步骤：

S4101：判断是否设置了拌线禁止方向向量，若未设置拌线禁止方向向量则直接判断每一个运动目标是否与拌线相交，若设置了拌线禁止方向向量，则检测运动目标的运行方向是否与拌线禁止方向向量一致；

S4102：若运动目标的运行方向与拌线禁止方向向量一致则进一步检测该运动目标是否与拌线相交，若不一致则不动作；

S4103：若运动目标与拌线相交则输出警报信息，若不相交则不动作；

所述的越界检测包括入侵检测和逃离检测两种情况，所述的入侵检测方法为：对于设置了感兴趣区域的监控视频，判断运动目标是否在感兴趣区域内，如果是则输出警报信息，对于没有设置感兴趣区域的监控视频则对视频中所有的运动目标均输出警报信息；

所述的逃离检测包括以下子步骤：

S4201：判断是否设置了感兴趣区域，若设置了感兴趣区域则对感兴趣区域内的所有运动目标用一个数组变量和一个整型计数变量分别记录其团块ID和运动目标的个数，若未设置感兴趣区域则对监控视频中的所有运动目标均记录其团块ID和运动目标个数；

S4202：对于没有设置感兴趣区域的监控视频，通过遍历查询数组变量来判断运动目标的团块ID是否记录在数组变量内，若没有则进行记录，并且整型计数变量加1，若有记录则继续对下一个运动目标执行上述操作，每一次遍历查询之后比较整型计数变量和当前的团块列表个数的大小，如果整型计数变量大于团块列表个数，则输出警报信息，并重新初始化数组变量和整型计数变量，对于设置了感兴趣区域的监控视频则判断需要检测的运动目标是否在感兴趣区域内；

S4203：若需要检测的运动目标在感兴趣区域内，则通过遍历查询数组变量来判断该运动目标的团块ID是否记录在数组变量内，若没有则进行记录，并且整型计数变量加1；若需要检测的运动目标在感兴趣区域外，则通过遍历查询数组变量判断该运动目标的团块ID是否在数组变量内有记录，若有记录则输出警报，并重新初始化数组变量和整型计数变量；

S5：对于之后每一个新进的运动目标，重复步骤S3和S4。

所述的步骤S3中检测监控视频中的运动目标采用帧间差分法、背景减除法或光流法。

所述的步骤S3中对检测到的运动目标进行跟踪采用卡尔曼滤波算法或CAMShift等算法。

进一步地，所述的步骤S4101中判断运动目标的运行方向是否与拌线禁止方向向量一致的方法为：对每一个需要检测的运动目标，在最近的11帧中，间隔取出6帧运动目标的质心坐标，后帧和前帧的质心坐标分别相减得到5个向量坐标全部向量坐标相加得到运动目标的运动方向向量，判断此运动方向向量和拌线禁止方向向量两个向量的夹角是否为锐角，判断方法为计算两个向量的乘积，乘积大于零则为锐角，特别地当两向量平行时，夹角为零，但乘积仍大于零，因此用乘积来判断运动目标运动的方向是否与设置的拌线禁止方向向量的方向一致：乘积小于或等于零，方向不一致，不检测该运动目标，乘积大于零，方向一致，检测该运动目标是否与拌线相交。

进一步地，所述的步骤S4102中检测运动目标是否与拌线相交的方法为：判断拌线是 否与运动目标的团块相交，并且交点在团块内部，团块和拌线分别用一条直线表示，团块用过质心并且平行于团块矩形底部的一条直线表示，根据团块上两个点的坐标(x₁，y₁)和(x₂，y₂)，由公式k₁=(y₁-y₂)/(x₁-x₂)和b₁=y₁-k₁*x₁分别求出团块直线的斜率k₁和截距b₁两个参数，若x₁=x₂，则b₁=x₁，拌线则根据视频初始化的时候在视频中设置的两个点的坐标采用同样的方法计算斜率k₂和b₂，分别得到两条直线的参数后，由公x₀=(b₁-b₂)/(k₂-k₁)，求出两直线的交点的x轴坐标x₀，若k₁=k₂则两直线平行，直接判断为不相交，最后判断x₀是否在矩形团块内部，若在团块内部，则判断运动目标和拌线相交。

本发明的有益效果是：

1、设置了拌线禁止方向向量，只有当运动目标的运动方向与拌线禁止方向向量一致且与拌线相交时才发出警报信息，对于只允许单方向通过的单行道等地方具有很好的检测效果，而且通过不设置拌线禁止方向向量即可实现传统的拌线穿越检测，扩大了拌线检测的功能和使用范围；

2、设置了感兴趣区域和越界禁止方向向量，该向量指向矩形内侧则禁止运动目标进入感兴趣区域，该向量指向矩形外侧则止感兴趣区域内的运动目标离开感兴趣区域，具有入侵和逃离两种检测功能，用户能够根据实际需要进行调整和设置，，更能适应实际应用需求；

2、设置了最小过滤运动目标面积，能够对运动目标进行过滤，排除飞鸟和小动物等不需要检测的目标，提高检测精度；

3、采用成熟算法实现运动目标的检测和跟踪，拌线检测和越界检测也采用常用简单的算法，减少了分析计算的复杂度。

附图说明

图1为本发明的越界和拌线检测方法总体流程图；

图2为本发明的拌线检测流程图；

图3为本发明的越界检测流程图。

具体实施方式

下面结合附图进一步说明本发明的技术方案，但本发明所保护的内容不局限于以下所述。

如图1所示，一种视频中有方向的越界和拌线检测方法，其特征在于：它包括以下步 骤：

S1：输入监控视频；

S2：视频初始化：在视频中设置拌线和感兴趣区域，根据输入检测视频的分辨率选择最小过滤运动目标面积；拌线设置方法为：在监控视频中设置一条拌线和拌线禁止方向向量，该向量指向的方向为拌线禁止通过方向，逆向则为拌线允许通过方向，若未设置拌线禁止方向向量则为双向拌线检测，即拌线的双向都禁止通过；感兴趣区域的设置方法为：在视频中标注一个矩形禁区并设置越界禁止方向向量，该向量指向矩形内侧则为入侵检测，禁止运动目标进入感兴趣区域，该向量指向矩形外侧则为逃离检测，禁止感兴趣区域内的运动目标离开感兴趣区域，一直在感兴趣区域外的运动目标不做检测，若未设置感兴趣区域则默认为对整个监控视频区域进行全局检测；

S3：过滤出需要检测的运动目标：对检测的监控视频进行前景检测，检测出监控视频中的运动目标并对其进行跟踪，得到该运动目标的矩形团块列表信息，包括每一个矩形团块的团块ID号、质心坐标和团块的宽高，根据团块的宽高计算运动目标的面积，若面积小于最小过滤运动目标面积，则不需要检测该运动目标，删除该运动目标团块；

S4：进行拌线检测或越界检测，如图2所示，所述的拌线检测包括以下子步骤：

S4101：判断是否设置了拌线禁止方向向量，若未设置拌线禁止方向向量则直接判断每一个运动目标是否与拌线相交，若设置了拌线禁止方向向量，则检测运动目标的运行方向是否与拌线禁止方向向量一致；

S4102：若运动目标的运行方向与拌线禁止方向向量一致则进一步检测该运动目标是否与拌线相交，若不一致则不动作；

S4103：若运动目标与拌线相交则输出警报信息，若不相交则不动作；

如图3所示，所述的越界检测包括入侵检测和逃离检测两种情况，所述的入侵检测方法为：对于设置了感兴趣区域的监控视频，判断运动目标是否在感兴趣区域内，如果是则输出警报信息，对于没有设置感兴趣区域的监控视频则对视频中所有的运动目标均输出警报信息；

所述的逃离检测包括以下子步骤：

S4201：判断是否设置了感兴趣区域，若设置了感兴趣区域则对感兴趣区域内的所有运动目标用一个数组变量Blob_number[i]和一个整型计数变量count分别记录其团块ID和运动目标的个数，若未设置感兴趣区域则对监控视频中的所有运动目标均记录其团块ID和运动目标个数；

S4202：对于没有设置感兴趣区域的监控视频，通过遍历查询数组变量Blob_number[i] 来判断运动目标的团块ID是否记录在数组变量Blob_number[i]内，若没有则进行记录，并且整型计数变量count加1，若有记录则继续对下一个运动目标执行上述操作，每一次遍历查询之后比较整型计数变量count和当前的团块列表个数的大小，如果整型计数变量count大于团块列表个数，则输出警报信息，并重新初始化数组变量Blob_number[i]和整型计数变量count，对于设置了感兴趣区域的监控视频则判断需要检测的运动目标是否在感兴趣区域内；

S4203：若需要检测的运动目标在感兴趣区域内，则通过遍历查询数组变量Blob_number[i]来判断该运动目标的团块ID是否记录在数组变量Blob_number[i]内，若没有则进行记录，并且整型计数变量count加1；若需要检测的运动目标在感兴趣区域外，则通过遍历查询数组变量Blob_number[i]判断该运动目标的团块ID是否在数组变量Blob_number[i]内有记录，若有记录则输出警报，并重新初始化数组变量Blob_number[i]和整型计数变量count；

S5：对于之后每一个新进的运动目标，重复步骤S3和S4。

所述的步骤S3中检测监控视频中的运动目标采用帧间差分法、背景减除法或光流法。

所述的步骤S3中对检测到的运动目标进行跟踪采用卡尔曼滤波算法或CAMShift等算法。

进一步地，所述的步骤S4101中判断运动目标的运行方向是否与拌线禁止方向向量一致的方法为：对每一个需要检测的运动目标，在最近的11帧中，间隔取出6帧运动目标的质心坐标，后帧和前帧的质心坐标分别相减得到5个向量坐标即 $\stackrel{\→}{a}=(x_1-x_2,y_1-y_2)$

全部向量坐标相加得到运动目标的运动方向向量，判断此运动方向向量和拌线禁止方向向量两个向量的夹角是否为锐角，判断方法为计算两个向量的乘积sum，即

sum＝(x₁*x₂+y₁*y₂)

乘积sum大于零则为锐角，特别地当两向量平行时，夹角为零，但乘积sum仍大于零，因此用乘积sum来判断运动目标运动的方向是否与设置的拌线禁止方向向量的方向一致：乘积sum小于或等于零，方向不一致，不检测该运动目标，乘积sum大于零，方向一致，检测该运动目标是否与拌线相交。

进一步地，所述的步骤S4102中检测运动目标是否与拌线相交的方法为：判断拌线是否与运动目标的团块相交，并且交点在团块内部，团块和拌线分别用一条直线表示，团块用过质心并且平行于团块矩形底部的一条直线表示，根据团块上两个点的坐标(x₁，y₁)和(x₂，y₂)，由公式k₁=(y₁-y₂)/(x₁-x₂)和b₁=y₁-k₁*x₁分别求出团块直线的斜率k₁和截距b₁两个参数，若x₁=x₂，则b₁=x₁，拌线则根据视频初始化的时候在视频中设置的两个点的坐标采用同样的访求计算斜率k₂和b₂，分别得到两条直线的参数后，由公x₀=(b₁-b₂)/(k₂-k₁)，求出两直线的交点的x轴坐标，若k₁=k₂则两直线平行，直接判断为不相交，最后判断x₀是否在矩形团块内部，若在团块内部，则判断运动目标和拌线相交。

本发明可以根据监控视频的分辨率设置最小过滤运动目标的大小，例如，对于分辨率为528*432的视频，可以选择最小过滤运动目标位宽高小于20，对于分辨率为352*288的视频，可以选择最小过滤运动目标位宽高小于30，最小过滤运动目标的大小还可以根据需要自行调整。设置最小过滤运动目标的大小，可以过滤掉飞鸟、小动物等团块面积较小的运动目标，提高检测的精度。

Claims (3)

1.一种视频中有方向的越界和拌线检测方法，其特征在于：它包括以下步骤：

S1：输入监控视频；

S2：视频初始化：在视频中设置拌线和感兴趣区域，根据输入检测视频的分辨率选择最小过滤运动目标面积；拌线设置方法为：在监控视频中设置一条拌线和拌线禁止方向向量，该向量指向的方向为拌线禁止通过方向，逆向则为拌线允许通过方向，若未设置拌线禁止方向向量则为双向拌线检测，即拌线的双向都禁止通过；感兴趣区域的设置方法为：在视频中标注一个矩形禁区并设置越界禁止方向向量，该向量指向矩形内侧则为入侵检测，禁止运动目标进入感兴趣区域，该向量指向矩形外侧则为逃离检测，禁止感兴趣区域内的运动目标离开感兴趣区域，一直在感兴趣区域外的运动目标不做检测，若未设置感兴趣区域则默认为对整个监控视频区域进行全局检测；

S3：过滤出需要检测的运动目标：对检测的监控视频进行前景检测，检测出监控视频中的运动目标并对其进行跟踪，得到该运动目标的矩形团块列表信息，包括每一个矩形团块的团块ID号、质心坐标和团块的宽高，根据团块的宽高计算运动目标的面积，若面积小于最小过滤运动目标面积，则不需要检测该运动目标，删除该运动目标团块；

S4：进行拌线检测或越界检测，所述的拌线检测包括以下子步骤：

S4101：判断是否设置了拌线禁止方向向量，若未设置拌线禁止方向向量则直接判断每一个运动目标是否与拌线相交，若设置了拌线禁止方向向量，则检测运动目标的运行方向是否与拌线禁止方向向量一致；判断运动目标的运行方向是否与拌线禁止方向向量一致的方法为：对每一个需要检测的运动目标，在最近的11帧中，间隔取出6帧运动目标的质心坐标，后帧和前帧的质心坐标分别相减得到5个向量坐标全部向量坐标相加得到运动目标的运动方向向量，判断此运动方向向量和拌线禁止方向向量两个向量的夹角是否为锐角，判断方法为计算两个向量的乘积，乘积大于零则为锐角，当两向量平行时，夹角为零，但乘积仍大于零，因此用乘积来判断运动目标运动的方向是否与设置的拌线禁止方向向量的方向一致：乘积小于或等于零，方向不一致，不检测该运动目标，乘积大于零，方向一致，检测该运动目标是否与拌线相交；

S4102：若运动目标的运行方向与拌线禁止方向向量一致则进一步检测该运动目标是否与拌线相交，若不一致则不动作；检测运动目标是否与拌线相交的方法为：判断拌线是否与运动目标的团块相交，并且交点在团块内部，团块和拌线分别用一条直线表示，团块用过质心并且平行于团块矩形底部的一条直线表示，根据团块上两个点的坐标(x₁,y₁)和(x₂,y₂)，由公式k₁＝(y₁-y₂)/(x₁-x₂)和b₁＝y₁-k₁*x₁分别求出团块直线的斜率k₁和截距b₁两个参数，若x₁＝x₂，则b₁＝x₁，拌线则根据视频初始化的时候在视频中设置的两个点的坐标采用同样的方法计算斜率k₂和b₂，分别得到两条直线的参数后，由公x₀＝(b₁-b₂)/(k₂-k₁)，求出两直线的交点的x轴坐标x₀，若k₁＝k₂则两直线平行，直接判断为不相交，最后判断x₀是否在矩形团块内部，若在团块内部，则判断运动目标和拌线相交；

S4103：若运动目标与拌线相交则输出警报信息，若不相交则不动作；

所述的越界检测包括入侵检测和逃离检测两种情况，所述的入侵检测方法为：对于设置了感兴趣区域的监控视频，判断运动目标是否在感兴趣区域内，如果是则输出警报信息，对于没有设置感兴趣区域的监控视频则对视频中所有的运动目标均输出警报信息；

所述的逃离检测包括以下子步骤：

S4201：判断是否设置了感兴趣区域，若设置了感兴趣区域则对感兴趣区域内的所有运动目标用一个数组变量和一个整型计数变量分别记录其团块ID和运动目标的个数，若未设置感兴趣区域则对监控视频中的所有运动目标均记录其团块ID和运动目标个数；

S4202：对于没有设置感兴趣区域的监控视频，通过遍历查询数组变量来判断运动目标的团块ID是否记录在数组变量内，若没有则进行记录，并且整型计数变量加1，若有记录则继续对下一个运动目标通过遍历查询数组变量来判断该运动目标的团块ID是否记录在数组变量内，每一次遍历查询之后比较整型计数变量和当前的团块列表个数的大小，如果整型计数变量大于团块列表个数，则输出警报信息，并重新初始化数组变量和整型计数变量，对于设置了感兴趣区域的监控视频则判断需要检测的运动目标是否在感兴趣区域内；

S4203：若需要检测的运动目标在感兴趣区域内，则通过遍历查询数组变量来判断该运动目标的团块ID是否记录在数组变量内，若没有则进行记录，并且整型计数变量加1；若需要检测的运动目标在感兴趣区域外，则通过遍历查询数组变量判断该运动目标的团块ID是否在数组变量内有记录，若有记录则输出警报，并重新初始化数组变量和整型计数变量；

S5：对于之后每一个新进的运动目标，重复步骤S3和S4。

2.根据权利要求1所述的一种视频中有方向的越界和拌线检测方法，其特征在于：所述的步骤S3中检测监控视频中的运动目标采用帧间差分法、背景减除法或光流法。

3.根据权利要求1所述的一种视频中有方向的越界和拌线检测方法，其特征在于：所述的步骤S3中对检测到的运动目标进行跟踪采用卡尔曼滤波算法或CAMShift算法。