CN105678811A

CN105678811A - 一种基于运动检测的人体异常行为检测方法

Info

Publication number: CN105678811A
Application number: CN201610104559.8A
Authority: CN
Inventors: 郑嘉杰; 滕国伟; 安平
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2016-02-25
Filing date: 2016-02-25
Publication date: 2016-06-15
Anticipated expiration: 2036-02-25
Also published as: CN105678811B

Abstract

本发明涉及一种基于运动检测的人体异常行为检测方法。本方法针对固定摄像头的场景检测，首先运用背景相减法和运动历史图像相结合的方式来进行运动检测，提取出运动前景并运用帧差法得到的掩膜来进行背景更新，接着进行后处理操作并过滤出为人体的前景。然后运用视频帧之间基于上下文信息匹配的方法，来对前后两帧中出现的人体进行匹配。之后，结合原先所设定的异常条件，利用矩形框和质心的几何特征进行系统判决，来判定运动人体是否发生异常行为并确定入侵方向。最后需要进行异常人数的计数和发生异常行为之后的人体轨迹标示，从而达到视频分析的目的。本发明算法复杂度低，移植性强，在保证实时性的同时，又能兼顾检测率的准确度。

Description

一种基于运动检测的人体异常行为检测方法

技术领域

本发明涉及一种基于运动检测的人体异常行为检测的方法，用于电站、监狱等安防监控领域以及视频数字图像分析与理解。属于计算机视觉和人工智能技术领域。

背景技术

智能视频监控技术是计算机视觉的一个重要的应用领域，主要应用于银行、机场等对安全性要求比较高的场合，智能监控系统的主要目标是，通过一定的算法，能够自己分析和运算由摄像头所采集得到的视频数据，从而可以自动判断是否有异常行为发生，是否需要报警，并告知相关人员，这样的做法大大减少了人力成本，同时又保证了监控场所的安全性。

异常行为检测大体来看主要分为两类，一类是基于运动检测和目标跟踪的，由于环境的复杂多样性，目前还没有一种算法可以适用于各种不同的环境，当前很多研究也都在着重改进检测与跟踪算法的准确率和鲁棒性，算法的耗时往往也会因此而增加，因此就需要基于智能监控视频的特点对现有的算法进行改进和选择。另一类是基于统计思想的检测方法，用机器学习的方法，建立异常行为的数据库，从而对视频进行匹配，判断是否发生异常行为，该方法的缺点是，由于异常行为的多样性，检测结果的准确性很大程度上取决于样本的数量和质量。再加上训练学习过程需要耗费大量的时间，在实际应用中较难满足要求。

发明内容

本发明的目的是为了克服当前技术在漏检率、误检率与实时性难以同时满足的情况下，提供一种基于运动检测的人体异常行为检测的方法，使之不仅能满足智能监控系统的实时性检测，还能够满足系统对漏检率和误检率的要求。适用于人流量非密集并且摄像头固定的场景。

为达到上述目的，本发明的构思是：

首先运用背景相减法与运动历史图像相结合的方式来进行运动检测，提取出运动前景并运用帧差法得到的掩膜来判断是否需要更新背景，然后运用一定的过滤条件，过滤出为人体的前景。同时考虑到运动场景是变化的，因此固定的阈值适应性比较差并且容易受到光线和噪声等因素的干扰，从而在本方法中采用自适应阈值进行分割，从而得到比较满意的分割效果。在提取出人体轮廓和质心的基础上，然后运用视频帧之间基于上下文信息匹配的方法，来判断前后两帧中出现的人体是否为同一个人体。在前面两步的基础上，进行异常行为判决，比如拌线检测、区域闯入检测等，进行系统判决时，采用矩形框和质心的几何特征进行共同判别的方法。最后基于先前的判决结果，如果发生了异常情况，需要进行异常人数的计数和发生异常行为之后人体的轨迹标示，从而达到视频分析的目的。

根据上述构思，本发明采用如下技术方案：

一种基于运动检测的人体异常行为检测方法，操作步骤如下：

步骤(1)、运动检测：采用背景相减法和运动历史图像相结合进行运动检测，运用帧差法得到的掩膜来控制背景的更新，同时运用自适应动态阈值分割，从而得到运动前景图像。

步骤(2)、后处理部分：对由步骤(1)中得到的二值图像进行中值滤波、连通域、膨胀腐蚀等形态学操作，然后将得到的运动前景按预设的条件进行分类，从而得到人体的特征，如轮廓、矩形框、质心等。

步骤(3)、基于上下文信息的匹配：通过判断当前帧的运动人体矩形框与上一帧的运动人体矩形框的面积重叠覆盖率，并且利用前后两帧的质心是否在所设定的范围之内，若满足条件则将前后两帧的检测结果匹配起来，否则，则认为前后两帧所检测到的人体的结果并不属于同一个人体。

步骤(4)、视频分析：根据步骤(3)得到的结果，将检测到的人体与预先设定好的异常行为做判断逻辑，即判断视频帧中的人体是否出现异常行为并确定入侵方向。

步骤(5)、轨迹标示与计数：根据步骤(4)得到的结果，如果判定发生了异常行为，则发出相应的警报信息、计数并标识出人体在发生异常行为后的运动轨迹；反之则进行下一帧的检测判断。

上述步骤(1)中的背景的更新运用Surendra背景更新算法，基于帧差法得到的掩膜R_n(x,y)，其计算式如下：

R_{n} (x, y) = \{\begin{matrix} 1 & | F_{n} (x, y) - F_{n - 1} (x, y) | > T \\ 0 & | F_{n} (x, y) - F_{n - 1} (x, y) | \leq T \end{matrix}

用二值图像R_n(x,y)控制更新背景图像B_n(x,y)，其计算式如下：

B_{n} (x, y) = \{\begin{matrix} B_{n - 1} (x, y) & R_{n} (x, y) = 1 \\ {αF}_{n} (x, y) + (1 - α) B_{n - 1} (x, y) & R_{n} (x, y) = 0 \end{matrix}

上式中：B_n(x,y)，R_n(x,y)分别为背景图像和差分二值图像在(x,y)处的灰度值；F_n(x,y)为输入的第n帧图像在(x,y)处的灰度值；α为迭代速度系数。

上述的背景相减法受到α系数的影响较大，若α值过小，则背景更新过慢，而α值过大，则会使检测到的前景有拖尾现象产生。而运动历史图像具有较好分割运动目标的特点，而其每帧图像由于包含了先前的轮廓从而会使分割目标扩大，不够准确。因此将这两种方法互相结合，设置稍大的α值，可以较好的得到运动目标，同时需要满足MHI_n＞0，从而最终得到前景图像，其计算式如下：

上式中：MHI_n(x,y)为更新后的运动历史图像，BI_n(x,y)为背景相减法得到的二值图像，FI_n(x,y)为前景图像。由上式可以看到，首先根据帧差得到的结果更新运动历史函数MHI_n(x,y)，然后根据该值与背景相减法得到的值的结果相结合，确定最后的前景图像。

上述步骤(2)中的后处理，主要是针对步骤(1)中得到的前景图像进行滤波、连通域、膨胀腐蚀等处理，然后通过对运动前景进行分类从而得到人体，考虑到摄像机是静止的，因而在分类出人体的前景过程中可以主要依据以下3个标准：前景连通域像素所占的面积、前景外接矩形框的长宽比、前后相邻两帧的质心位移，从而可以有效准确地从运动前景中得到人体的前景。

上述步骤(3)中的基于上下文信息的匹配，是指由于1s的视频通常有15-25帧图像，因而在相邻两帧图像中，同一个人的位置移动很小，因此可以利用帧与帧之间的这一特点，通过将前后两帧人体的外接矩形框重叠部分所占的面积比与预先人为所设定的值进行比较，或者通过前后两帧所检测到的人体的质心是否在预先所设定的半径范围内，从而可以判断出前后两帧的检测结果是否可以匹配为同一人体。

上述步骤(4)中的视频分析，这里主要针对的异常行为是拌线检测和区域入侵检测。在固定摄像机监视的场景范围内，根据监控需要和目的可任意设置1条拌线或者设置一块警戒区域。由于本方法以人体为研究对象，因此采用几何特征来进行对人体的描述，在本方法中主要选择人体轮廓的外接矩形和人体的质心。所采用的具体判断逻辑是：由预先所设定的拌线，可以得到该直线的方程：y＝kx+b，根据定理：两点(x₁,y₁)和(x₂,y₂)若位于一条直线的同侧时，则将两点代入该直线的乘积大于零，反之，两点若位于一条直线的异侧，则将两点代入该直线的乘积小于零。由此可知，如果外接矩形位于拌线的两侧，则将位于拌线两侧的矩形的两个顶点代入直线方程中，若乘积小于零，则判定为发生了异常情况。然后再结合跨线前后质心坐标的变化可以确定入侵的方向。区域入侵检测相较于拌线检测的差别，在于是由多条拌线所构成的一个封闭区域，判别方法与拌线检测类似，只是需要将外接矩形与所有的拌线逐一进行判断，随后利用质心进行入侵方向的判断，从而得出结论。

上述步骤(5)中的轨迹标示，是指当检测到的人体发生了异常行为之后，发出警告信息，并用轨迹标示出该人体的走向，这里的轨迹实际上是用一系列的质心点来代替。同时当发生异常行为之后，就通过一个全局变量进行计数统计。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

本发明在运动检测方面提出了背景相减法(Backgroundsubtraction)、运动历史图像(Motionhistoryimage)和Surendra背景更新算法相结合的BGS-MHI-Surendra检测方法，可以较好的分离出运动的人体，解决初始背景帧就含有人体、分割目标含有较长拖影等问题，同时采用自适应阈值分割人体，利用滤波、连通域、数字形态学方法进行后处理，这样可以较好的抑制噪声得到二值前景图像，之后运用基于上下文信息的方法，进行匹配，然后提取稳定的几何特征。在异常行为判定方面，利用外接矩形框和质心的几何特征相结合来进行异常行为的判定和入侵方向的确定。在发生异常行为之后，用轨迹标示同时进行计数统计。本发明实用性强，算法复杂度较低，易于移植，在满足实时性要求的同时，又能满足误检率和漏检率的指标。

附图说明

图1是本发明方法的操作程序框图。

图2是本发明运动检测方法的流程框图。

图3是本发明一个实施例的原始某帧图像。

图4是图3示例所对应的一帧后处理后的前景图像。

图5是图4示例所对应的外接矩形和质心标示人体前景图像

图6是本发明一个实施例的一帧异常行为(拌线)检测结果图像。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例的具体步骤如图1流程图所示。在计算机平台上编程实现本发明的方法。首先对读入的每一帧视频序列进行运动检测，之后对运动检测的图像进行后处理，得到人体的前景，然后运用基于上下文信息的方法，进行匹配，接着进行异常行为的判断，最后进行轨迹标示和计数。

一种基于运动检测的人体异常行为检测方法，其步骤是：

步骤(1)、运动检测：采用背景相减法和运动历史图像相结合进行运动检测，运用帧差法得到的掩膜来控制背景的更新，同时运用自适应动态阈值分割，从而得到运动前景图像。如图2所示。

步骤(2)、后处理部分：对由步骤(1)中得到的二值图像进行中值滤波、连通域、膨胀腐蚀等形态学操作，如图4所示。然后将得到的运动前景按预设的条件进行分类，从而得到人体的特征，如轮廓、矩形框、质心等，如图5所示。

步骤(3)、基于上下文信息的匹配：通过判断当前帧的运动人体矩形框与上一帧的运动人体矩形框的面积重叠覆盖率，或者利用前后两帧的质心是否在所设定的范围之内，若满足条件则将前后两帧的检测结果匹配起来，否则，则认为前后两帧所检测到的人体的结果并不属于同一个人体。

步骤(5)、轨迹标示与计数：根据步骤(4)得到的结果，如果判定发生了异常行为，则发出相应的警报信息、计数并标识出人体在发生异常行为后的运动轨迹；反之则进行下一帧的检测判断，如图6所示，红色直线则是所预先设定的拌线，而绿色的曲线则是人体跨越拌线之后的轨迹标示。

上述步骤(1)中的背景更新算法运用Surendra背景更新算法，基于帧差法得到的掩膜R_n(x,y)，其计算式如下：

R_{n} (x, y) = \{\begin{matrix} 1 & | F_{n} (x, y) - F_{n - 1} (x, y) | > T \\ 0 & | F_{n} (x, y) - F_{n - 1} (x, y) | \leq T \end{matrix}

用二值图像R_n(x,y)控制更新背景图像B_n(x,y)，其计算式如下：

B_{n} (x, y) = \{\begin{matrix} B_{n - 1} (x, y) & R_{n} (x, y) = 1 \\ {αF}_{n} (x, y) + (1 - α) B_{n - 1} (x, y) & R_{n} (x, y) = 0 \end{matrix}

上述步骤(4)中的视频分析，这里主要针对的异常行为是拌线检测和区域入侵检测。在固定摄像机监视的场景范围内，根据监控需要和目的可任意设置1条拌线或者设置一块警戒区域。由于本方法以人体为研究对象，因此采用几何特征来进行对人体的描述，在本方法中主要选择人体轮廓的外接矩形和人体的质心。如果外接矩形位于拌线的两侧，则将位于拌线两侧的矩形的两个顶点代入直线方程中，若乘积小于零，则判定为发生了异常情况。然后再结合跨线前后质心坐标的变化可以确定入侵的方向。区域入侵检测相较于拌线检测的差别，在于是由多条拌线所构成的一个封闭区域，判别方法与拌线检测类似，只是需要将外接矩形与所有的拌线逐一进行判断，随后利用质心进行入侵方向的判断，从而得出结论。

Claims

1.一种基于运动检测的人体异常行为检测方法，其特征在于，操作步骤如下：

(1)运动检测：采用背景相减法和运动历史图像相结合进行运动检测，运用帧差法得到的掩膜来控制背景的更新，同时运用自适应动态阈值分割，从而得到运动前景图像；

(2)后处理部分：对由步骤(1)中得到的二值图像进行中值滤波、连通域、膨胀腐蚀的形态学操作，然后将得到的运动前景按预设的条件进行分类，从而得到人体的特征：轮廓、矩形框、质心；

(3)基于上下文信息的匹配：通过判断当前帧的运动人体矩形框与上一帧的运动人体矩形框的面积重叠覆盖率，并且利用前后两帧的质心是否在所设定的范围之内，若满足条件则将前后两帧的检测结果匹配起来，否则，则认为前后两帧所检测到的人体的结果并不属于同一个人体；

(4)视频分析：根据步骤(3)得到的结果，将检测到的人体与预先设定好的异常行为做判断逻辑，即判断视频帧中的人体是否出现异常行为；

(5)轨迹标示与计数：根据步骤(4)得到的结果，如果判定发生了异常行为，则发出相应的警报信息、计数并标识出人体在发生异常行为后的运动轨迹；反之则进行下一帧的检测判断。

2.根据权利要求1所述的基于运动检测的人体异常行为检测方法，其特征在于：所述步骤(1)中，背景的更新运用Surendra背景更新算法，基于帧差法得到的掩膜R_n(x,y)，其计算式如下：

R_{n} (x, y) = \{\begin{matrix} 1 & | F_{n} (x, y) - F_{n - 1} (x, y) | > T \\ 0 & | F_{n} (x, y) - F_{n - 1} (x, y) | \leq T \end{matrix}

用二值图像R_n(x,y)控制更新背景图像B_n(x,y)，其计算式如下：

B_{n} (x, y) = \{\begin{matrix} B_{n - 1} (x, y) & R_{n} (x, y) = 1 \\ {αF}_{n} (x, y) + (1 - α) B_{n - 1} (x, y) & R_{n} (x, y) = 0 \end{matrix}

上式中：B_n(x,y)，R_n(x,y)分别为背景图像和差分二值图像在(x,y)处的灰度值；F_n(x,y)为输入的第n帧图像在(x,y)处的灰度值；α为迭代速度系数；

上述的背景相减法受到α系数的影响较大，若α值过小，则背景更新过慢，而α值过大，则会使检测到的前景有拖尾现象产生；而运动历史图像具有较好分割运动目标的特点，而其每帧图像由于包含了先前的轮廓从而会使分割目标扩大，不够准确；因此将这两种方法互相结合，设置稍大的α值，能够较好的得到运动目标，同时需要足MHI_n＞0，从而最终得到前景图像，其计算式如下：

上式中：MHI_n(x,y)为更新后的运动历史图像，BI_n(x,y)为背景相减法得到的二值图像，FI_n(x,y)为前景图像；由上式看到，首先根据帧差得到的结果更新运动历史函数MHI_n(x,y)，然后根据该值与背景相减法得到的值的结果相结合，确定最后的前景图像。

3.根据权利要求1所述的基于运动检测的人体异常行为检测方法，其特征在于：所述步骤(2)中，针对步骤(1)中得到的前景图像进行滤波、连通域、膨胀腐蚀处理，然后通过对运动前景进行分类从而得到人体，考虑到摄像机是静止的，因而在分类出人体的前景过程中主要依据以下3个标准：前景连通域像素所占的面积、前景外接矩形框的长宽比、前后相邻两帧的质心位移，从而有效准确地从运动前景中得到人体的前景。

4.根据权利要求1所述的基于运动检测的人体异常行为检测方法，其特征在于：所述步骤(3)中，由于1s的视频通常有15-25帧图像，因而在相邻两帧图像中，同一个人的位置移动很小，因此利用帧与帧之间的这一特点，通过将前后两帧人体的外接矩形框重叠部分所占的面积比与预先人为所设定的值进行比较，或者通过前后两帧所检测到的人体的质心是否在预先所设定的半径范围内，从而判断出前后两帧的检测结果是否匹配为同一人体。

5.根据权利要求1所述的基于运动检测的人体异常行为检测方法，其特征在于：所述步骤(4)中，针对的异常行为是拌线检测和区域入侵检测；在固定摄像机监视的场景范围内，根据监控需要和目的任意设置1条拌线或者设置一块警戒区域；由于本方法以人体为研究对象，因此采用几何特征来进行对人体的描述，在本方法中主要选择人体轮廓的外接矩形和人体的质心；所采用的具体判断逻辑是：由预先所设定的拌线，得到该直线的方程：y＝kx+b，根据定理：两点(x₁,y₁)和(x₂,y₂)若位于一条直线的同侧时，则将两点代入该直线的乘积大于零，反之，两点若位于一条直线的异侧，则将两点代入该直线的乘积小于零；由此得知，如果外接矩形位于拌线的两侧，则将位于拌线两侧的矩形的两个顶点代入直线方程中，若乘积小于零，则判定为发生了异常情况；然后再结合跨线前后质心坐标的变化确定入侵的方向；区域入侵检测相较于拌线检测的差别，在于是由多条拌线所构成的一个封闭区域，判别方法与拌线检测类似，只是需要将外接矩形与所有的拌线逐一进行判断，随后利用质心进行入侵方向的判断，从而得出结论。

6.根据权利要求1所述的基于运动检测的人体异常行为检测方法，其特征在于：所述步骤(5)中，是指当检测到的人体发生了异常行为之后，发出警告信息，并用轨迹标示出该人体的走向，这里的轨迹实际上是用一系列的质心点来代替；同时当发生异常行为之后，就通过一个全局变量进行计数统计。