CN108537829A - 一种监控视频人员状态识别方法 - Google Patents

Abstract

本发明公开了一种监控视频人员状态识别方法。通过现有目标检测算法和目标跟踪算法的综合模块，建立视频图像中人员目标的轨迹信息；基于图像像素时序灰度分布特性构建视频场景的背景模型，通过背景模型对目标边界信息进行精确定位；通过轨迹的帧间位置移动量判断人员目标的状态。本发明解决了单一检测和跟踪算法无法判断人员状态缺点，同时解决了检测算法存在的漏检、虚检问题以及跟踪算法存在跟踪失败、定位不准的问题，其结果可给出室内监控视频中人员目标的静止和运动两种状态。

Description

一种监控视频人员状态识别方法

技术领域

本发明涉及视频图像智能处理领域，具体的说是一种目标状态判别的方法。

背景技术

针对由平台固定、探测器的视场与焦距固定拍摄得到室内监控视频图像，图像中场景复杂并且人员目标存在较大的姿态和形状的变化，依靠人力对室内监控视频内容进行分析进而识别出其中人员目标的状态是非常乏味而且成本高的工作。因此建立一套自动的智能监控系统，能够准确地从室内监控视频中自动提取出人员目标并且判别其状态是目前非常有潜力的发展方向。

目前，针对室内监控视频图像的算法设计，大都集中在序列图像中人员目标的检测及跟踪研究上。其中，基于Faster RCNN卷积神经网络的检测算法是目标较好的人员目标检测算法，该算法通过离线训练好的网络模型，可以从复杂的场景中检测不同姿态的人员目标，但是存在一定的漏检和虚检的情况，并且该检测算法输出的目标区域不够精确的；针对监控视频中人员目标的跟踪算法，由于序列图像中目标的姿态、形状等会发生较大的变化，基于统计模型的均值移位算跟踪法能较好的适应此种情况，但是该跟踪算法在跟踪失败时，无法自适应调节调节，并且该跟踪算法的定位不够精确；同时，单一的检测和跟踪算法都无法实现复杂室内场景下人员的状态的判别。

发明内容

为解决上述现有算法存在的定位不精确、跟踪失败时无法自适应调节、无法实现复杂室内场景下人员的状态的判别等问题，本发明提供一种监控视频人员状态识别方法，技术方案如下：

(1)在目标检测算法和目标跟踪算法的基础上，设计综合模块，完成检测与跟踪算法的结合与相互监督，建立视频图像中人员目标的轨迹信息；

(2)基于图像像素时序灰度分布特性构建视频场景的背景模型，通过背景模型对目标边界信息进行精确定位；

(3)通过轨迹的帧间位置移动量判断人员目标的状态。

较佳地，步骤(1)所述目标检测算法为基于帧间差分、基于卡尔曼滤波、基于背景建模或基于深度学习的目标检测算法。

较佳地，步骤(1)所述目标跟踪算法为基于角点、基于粒子滤波、基于相关滤波或基于均值移位的目标跟踪算法。

基于多策略的检测区域和跟踪区域关联及分配方法的综合模块完成检测和跟踪算法的结合与相互监督，建立目标轨迹，轨迹信息包括帧序号、目标编号、目标位置、目标框尺寸以及目标的状态信息。

较佳地，利用综合模块完成检测和跟踪算法的结合与相互监督，该综合模块处理包括以下步骤：

1)若检测算法首次检出目标，则直接以检测输出的位置信息建立目标轨迹，并且以该位置信息初始化跟踪算法，若非首次检出目标，则计算当前帧图像中所有检测区域与所有跟踪区域的重叠率，计算公式如下式(1)所示，

式中，S_D为检测区域的目标区域面积，S_T为跟踪区域的目标区域面积。

2)对于某一检测区域，取和其重叠率最大的跟踪区域，若该重叠率大于阈值thres1，则认为该检测区域与该跟踪区域关联成功，得到关联成功的目标区域。

3)对所有的检测区域重复步骤2)，得到所有关联成功的目标区域，未关联的跟踪区域和未关联的检测区域。

4)对于关联成功的目标区域，计算该检测区域与跟踪区域重叠率次大值，若重叠率最大值和次大值之差小于阈值thres2，则以该重叠率最大的跟踪区域位置信息作为当前帧的对应目标轨迹的位置信息，若重叠率最大值和次大值之差大于阈值thres2，则以该检测区域的位置信息作为当前帧的对应目标轨迹的位置信息，同时以该检测区域位置代替相对应的跟踪算法当前帧目标的位置，并且以新的目标位置代替跟踪算法中当前帧的目标位置。

5)对于未关联的检测区域，计算该检测区域与轨迹信息中所有目标区域的包含关系系数，计算公式如下式(2)所示

式(2)中，为轨迹信息中第i个目标区域面积，i＝1,2…m(m为当前帧中目标编号最大值)，若max(R_i)≥thres3，则不进行任何处理，若max(R_i)＜thres3，则以该检测区域位置信息建立新的目标轨迹，同时以该位置信息初始化跟踪算法；6)对于未关联的跟踪区域，以跟踪区域位置信息作为当前帧的对应目标轨迹的位置信息，并且记录该目标连续未检出的帧数，若帧数大于阈值thres4，则删除该目标轨迹信息。

较佳地，步骤(2)具体为：

1)计算当前帧的背景模型，公式如式(3)所示：

式中：k为帧序号，k为正整数，(x,y)为像素点的位置，N_k(x,y)为第k帧(x,y)像素点计数次数，S_k(x,y)为前k帧(x,y)像素点像素值的求和，I_k(x,y)为第k帧图像的像素值，B_k(x,y)为第k帧帧图像的背景模型。

2)目标区域和背景模型进行差分获得残差图像，对残差图像进行阈值分割获得二值图像，对二值图像进行数学形态操作获得精确的目标边界。

较佳地，步骤2)所述阈值分割采用的公式为：

thres＝mean(img)-0.2*std(img)

式中mean(img)为残差图像的均值，std(img)为残差图像的均方差。

较佳地，对二值图像所采用的数学形态学操作有：膨胀、腐蚀和连通，取最大的连通区域即可得到目标边界。

较佳地，步骤(3)具体为：

由目标的轨迹信息，计算帧间目标质心位置的移动量，以前后帧间质心位置的欧式距离作为移动量的数值；

若移动量大于阈值thres5并且上一帧该目标状态为移动时，则当前帧该目标的状态为移动；

若移动量大于阈值thres5并且上一帧该目标状态为静止时，则当前帧该目标的状态为静止，并且记录连续帧间移动量大于该阈值的帧数，当帧数大于阈值thres6时，当前帧目标的状态由静止转为移动；

若移动量小于阈值thres5并且上一帧该目标状态为静止时，则当前帧该目标的状态为静止；

若移动量小于阈值thres5并且上一帧该目标状态为移动时，则当前帧该目标的状态为移动，并且记录连续帧间移动量小于该阈值的帧数，当帧数大于阈值thres6时，当前帧目标的状态由移动转为静止；

把当前帧目标的状态信息保存到目标的轨迹信息中。

本发明具有以下优点：

本发明面向重点监控室工作人员工作状态自动判别的需求，提出来目标检测算法与目标跟踪算法相结合的人员状态判别方法。该方法针对现有检测和跟踪算法存在的漏检、虚检、跟踪失败以及定位不精确等问题作了相应改进与处理，同时能够给出人员目标的状态信息。

附图、附表说明

图1为本发明提供的监控视频人员状态判别方法的原理流程图；

图2 Faster RCNN卷积神经网络的目标检测算法原理流程图；

图3为均值移位目标跟踪算法原理流程图；

图4为本发明综合模块原理流程图；

图5为本发明目标边界定位原理流程图；

图6为单一检测算法处理结果；

图7为单一跟踪算法处理结果；

图8为本发明的目标轨迹的位置及尺寸信息；

图9为本发明利用背景模型精确定位结果。

具体实施方式

下面将结合附图和实例对本发明作进行一步说明。本发明的原理流程如图1所示。针对实际的室内监控视频，利用本发明建立视频图像中人员目标的轨迹信息并且给出目标每帧的状态信息。所测试视频共200帧，目标在17帧时出现。

本发明的实例采用基于Faster RCNN卷积神经网络的目标检测算法，该算法是目前较好的人员目标检测算法，其算法流程如图2所示；本发明的实例采用均值移位目标跟踪算法，由于该算法的目标模型是加权图像直方图的统计模型，因此可以有效地适应目标姿态、形状的变化，其算法流程如图3所示。

图6为单一检测算法处理后的检测结果，从中可以看出检测算法存在虚假检测(24帧和56帧)以及漏检(118帧和125帧)的情况，所有200帧视频图像中，该检测算法存在虚假检测情况的帧数共8帧，存在漏检情况帧数共18帧。并且检测算法对目标边界信息的定位不够精准(76帧)。

图7为单一跟踪算法的处理后的跟踪结果，从中可以看出60帧时，跟踪算法输出的目标位置已经较多的偏离真实目标位置，62帧是已经完全偏离目标，即跟踪失败。当跟踪失败时传统的跟踪均值移位算法不具备自适应调节的能力。

实施例

一种监控视频人员状态识别方法，其特征在于：包括以下步骤：

(1)利用目标检测算法(基于Faster RCNN卷积神经网络的目标检测算法)和目标跟踪算法(均值移位目标跟踪算法)建立综合模块，其流程如图4所示，利用建立的综合模块建立视频图像中人员目标的轨迹信息；

(2)基于图像像素时序灰度分布特性构建视频场景的背景模型，通过背景模型对目标边界信息进行精确定位；

(3)通过轨迹的帧间位置移动量判断人员目标的状态。

所述综合模块，基于多策略的检测区域和跟踪区域关联及分配方法，完成检测和跟踪算法的结合与相互监督，建立目标轨迹，所述轨迹信息包括帧序号、目标编号、目标位置、目标框尺寸以及目标的状态信息。

所述综合模块处理包括以下步骤(图4为本发明综合模块原理流程图)：

1)若检测算法首次检出目标，则直接以检测输出的位置信息建立目标轨迹，并且以该位置信息初始化均值移位跟踪，若非首次检出目标，则计算当前帧图像中所有检测区域与所有跟踪区域的重叠率，计算公式如下式(1)所示，

式中，S_D为检测区域的目标区域面积，S_T为跟踪区域的目标区域面积。

2)对于某一检测区域，取和其重叠率最大的跟踪区域，若该重叠率大于阈值thres1，则认为该检测区域与该跟踪区域关联成功，得到关联成功的目标区域。

3)对所有的检测区域重复步骤2)，得到所有关联成功的目标区域，未关联的跟踪区域和未关联的检测区域。

4)对于关联成功的目标区域，计算该检测区域与跟踪区域重叠率次大值，若重叠率最大值和次大值之差小于阈值thres2，则以该重叠率最大的跟踪区域位置信息作为当前帧的对应目标轨迹的位置信息，若重叠率最大值和次大值之差大于阈值thres2，则以该检测区域的位置信息作为当前帧的对应目标轨迹的位置信息，同时以该检测区域位置代替相对应的跟踪算法当前帧目标的位置，并且以新的目标位置代替跟踪算法中当前帧的目标位置。

5)对于未关联的检测区域，计算该检测区域与轨迹信息中所有目标区域的包含关系系数，计算公式如下式(2)所示

式(2)中，为轨迹信息中第i个目标区域面积，i＝1,2…m(m为当前帧中目标编号最大值)，若max(R_i)≥thres3，则不进行任何处理，若max(R_i)＜thres3，则以该检测区域位置信息建立新的目标轨迹，同时以该位置信息初始化均值移位跟踪；

6)对于未关联的跟踪区域，以跟踪区域位置信息作为当前帧的对应目标轨迹的位置信息，并且记录该目标连续未检出的帧数，若帧数大于阈值thres4，则删除该目标轨迹信息。

取thres1＝0.6，thres2＝0.1，thres3＝0.6,thres4＝10。

图8为通过综合模块处理后目标轨迹信息中的位置及尺寸结果。通过对比图6、图7和图8，可见单一的检测算法存在虚警和漏检的情况，单一的跟踪算法对于姿态变化较大的关节目标(如人)不能长时间稳定跟踪，而本发明综合检测算法与跟踪算法的结果实现了低虚警、高稳定性的监控视频图像人员目标跟踪。

表1为现有技术算法与本发明的处理结果比较，可见本发明可降低现有检测算法的漏检率、虚警率以及提高现有跟踪算法的准确率。

表1不同算法处理结果比较

所述步骤(2)具体为：

1)计算当前帧的背景模型，公式如式(3)所示：

式中：k为帧序号，k为正整数，(x,y)为像素点的位置，N_k(x,y)为第k帧(x,y)像素点计数次数，S_k(x,y)为前k帧(x,y)像素点像素值的求和，I_k(x,y)为第k帧图像的像素值，B_k(x,y)为第k帧帧图像的背景模型。

2)目标区域和背景模型进行差分获得残差图像，对残差图像进行阈值分割获得二值图像，对二值图像进行数学形态操作获得精确的目标边界。

其中，阈值分割采用的公式为：

thres＝mean(img)-0.2*std(img)

式中mean(img)为残差图像的均值，std(img)为残差图像的均方差。

对二值图像所采用的数学形态学操作有：膨胀、腐蚀和连通，取最大的连通区域即可得到目标边界(图5为本发明目标边界定位原理流程图)。

图9为经过背景模型精确定位处理后的目标边界信息结果，可见本发明可以有效的改善Faster RCNN算法检测结果以及均值移位目标跟踪结果，使轨迹信息中的目标边界更加准确。

所述步骤(3)具体为：

由目标的轨迹信息，计算帧间目标质心位置的移动量，以前后帧间质心位置的欧式距离作为移动量的数值；

若移动量大于阈值thres5并且上一帧该目标状态为移动时，则当前帧该目标的状态为移动；

若移动量大于阈值thres5并且上一帧该目标状态为静止时，则当前帧该目标的状态为静止，并且记录连续帧间移动量大于该阈值的帧数，当该帧数大于阈值thres6时，当前帧目标的状态由静止转为移动；

若移动量小于阈值thres5并且上一帧该目标状态为静止时，则当前帧该目标的状态为静止；

若移动量小于阈值thres5并且上一帧该目标状态为移动时，则当前帧该目标的状态为移动，并且记录连续帧间移动量小于该阈值的帧数，当该帧数大于阈值thres6时，当前帧目标的状态由移动转为静止；

并把当前帧目标的状态信息保存到目标的轨迹信息中。

其中，thres5＝5，thres6＝10。

表2目标轨迹及状态信息

表2为本发明给出的目标轨迹信息以及状态识别结果，从表2可以看出本发明可给出每帧图像中目标的状态信息。

上述方法针对现有检测和跟踪算法存在的漏检、虚检、跟踪失败以及定位不精确等问题作了相应改进与处理，最终给出人员目标的状态信息。

Claims (9)

1.一种监控视频人员状态识别方法，其特征在于：包括以下步骤：

(1)利用目标检测算法和目标跟踪算法建立综合模块，利用建立的综合模块建立视频图像中人员目标的轨迹信息；

(2)基于图像像素时序灰度分布特性构建视频场景的背景模型，通过背景模型对目标边界信息进行精确定位；

(3)通过轨迹的帧间位置移动量判断人员目标的状态。

2.根据权利要求1所述的方法，其特征在于：步骤(1)所述目标检测算法为基于帧间差分、基于卡尔曼滤波、基于背景建模或基于深度学习的目标检测算法。

3.根据权利要求1所述的方法，其特征在于：步骤(1)所述目标跟踪算法为基于角点、基于粒子滤波、基于相关滤波或基于均值移位的目标跟踪算法。

4.根据权利要求1所述的方法，其特征在于：步骤(1)所述综合模块，基于多策略的检测区域和跟踪区域关联及分配方法，完成检测和跟踪算法的结合与相互监督，建立目标轨迹，所述轨迹信息包括帧序号、目标编号、目标位置、目标框尺寸以及目标的状态信息。

5.根据权利要求1或4所述方法，其特征在于：步骤(1)所述综合模块的处理流程包括以下步骤：

1)若检测算法首次检出目标，则直接以检测输出的位置信息建立目标轨迹，并且以该位置信息初始化跟踪算法，若非首次检出目标，则计算当前帧图像中所有检测区域与所有跟踪区域的重叠率，计算公式如下式(1)所示，

式中，S_D为检测区域的目标区域面积，S_T为跟踪区域的目标区域面积

2)对于某一检测区域，取和其重叠率最大的跟踪区域，若该重叠率大于阈值thres1，则认为该检测区域与该跟踪区域关联成功，得到关联成功的目标区域

3)对所有的检测区域重复步骤2)，得到所有关联成功的目标区域、未关联的跟踪区域和未关联的检测区域

4)对于关联成功的目标区域，计算该检测区域与跟踪区域重叠率次大值，若重叠率最大值和次大值之差小于阈值thres2，则以该重叠率最大的跟踪区域位置信息作为当前帧的对应目标轨迹的位置信息，若重叠率最大值和次大值之差大于阈值thres2，则以该检测区域的位置信息作为当前帧的对应目标轨迹的位置信息，同时以该检测区域位置代替相对应的跟踪算法当前帧目标的位置

5)对于未关联的检测区域，计算该检测区域与轨迹信息中所有目标区域的包含关系系数，计算公式如下式(2)所示

式(2)中，为轨迹信息中第i个目标区域面积，i＝1,2…m，其中m为当前帧中目标编号最大值，若max(R_i)≥thres3，则不进行任何处理，若max(R_i)＜thres3，则以该检测区域位置信息建立新的目标轨迹，同时以该位置信息初始化跟踪算法；

6)对于未关联的跟踪区域，以跟踪区域位置信息作为当前帧的对应目标轨迹的位置信息，并且记录该目标连续未检出的帧数，若帧数大于阈值thres4，则删除该目标轨迹信息。

6.根据权利要求1所述方法，其特征在于：步骤(2)具体为：

1)计算当前帧的背景模型，公式如式(3)所示：

式中：k为帧序号，k为正整数，(x,y)为像素点的位置，N_k(x,y)为第k帧(x,y)像素点计数次数，S_k(x,y)为前k帧(x,y)像素点像素值的求和，I_k(x,y)为第k帧帧图像的像素值，B_k(x,y)为第k帧图像的背景模型；

2)目标区域和背景模型进行差分获得残差图像，对残差图像进行阈值分割获得二值图像，对二值图像进行数学形态操作获得精确的目标边界。

7.根据权利要求6所述方法，其特征在于：步骤2)所述阈值分割采用的公式为：

thres＝mean(img)-0.2*std(img)

式中mean(img)为残差图像的均值，std(img)为残差图像的均方差。

8.根据权利要求6所述方法，其特征在于：对二值图像所采用的数学形态学操作有：膨胀、腐蚀和连通，取最大的连通区域即可得到目标边界。

9.根据权利要求1所述方法，其特征在于：步骤(3)具体为：

由目标的轨迹信息，计算帧间目标质心位置的移动量，以前后帧间质心位置的欧式距离作为移动量的数值；

若移动量大于阈值thres5并且上一帧该目标状态为移动时，则当前帧该目标的状态为移动；

若移动量大于阈值thres5并且上一帧该目标状态为静止时，则当前帧该目标的状态为静止，并且记录连续帧间移动量大于该阈值的帧数，当帧数大于阈值thres6时，当前帧目标的状态由静止转为移动；

若移动量小于阈值thres5并且上一帧该目标状态为静止时，则当前帧该目标的状态为静止；

若移动量小于阈值thres5并且上一帧该目标状态为移动时，则当前帧该目标的状态为移动，并且记录连续帧间移动量小于该阈值的帧数，当帧数大于阈值thres6时，当前帧目标的状态由移动转为静止；

把当前帧目标的状态信息保存到目标的轨迹信息中。