CN105184812B - 一种基于目标跟踪的行人徘徊检测方法 - Google Patents

Abstract

本发明属于数字图像处理及模式识别技术领域，具体为一种基于目标跟踪的行人徘徊检测算法。本发明分为三个阶段，在目标提取阶段，通过Vibe背景差分的方法提取图像中的运动目标，具有较高的时间性能和召回率；在目标跟踪阶段，对提取出的运动目标计算颜色直方图特征，然后利用粒子滤波算法对连续帧进行跟踪以获取目标运动轨迹，在实际场景中拥有较高的鲁棒性和实时性；最后在徘徊判定阶段，使用目标运动轨迹的几何特征进行徘徊判定。本发明具有高实时性和高易实施性，可满足教室、车间、车站、广场等不同场景的检测要求。

Description

一种基于目标跟踪的行人徘徊检测方法

技术领域

本发明属于数字图像处理及模式识别技术领域，具体涉及基于目标跟踪的行人徘徊检测方法。

背景技术

智能视频监控技术与传统的监控方法相比具有明显的优点：可以全天候监控，不存在疲劳的问题；拥有强大的处理能力，可以同时监控多个目标；拥有较高的自主性，能够自动识别目标并进行报警。

行人徘徊检测分析是智能视频监控领域的重要组成部分。当行人持续地、往复地在监控区域内运动时，可认为该行人处于徘徊状态。徘徊检测可以对监控区域内的行人行为进行评估，及时发出警告。徘徊检测可以应用在众多场景中，例如，在池塘、水库等场景内徘徊的行人可能会有危险；在教室、车间等场景内徘徊的行人可能会有不法举动。

目前对于行人徘徊检测的研究较少。刘晓明[4][5]提出基于静态场景下的单目标徘徊检测及跟踪方法，该方法利用背景差分获取目标位置，通过camshift对目标进行跟踪获取目标的运动轨迹。该方法局限较大，由于背景差分使用固定的背景模板，只能运用在静态场景下。而当背景较为复杂，或者有许多与目标颜色相似像素干扰的情况下，camshift跟踪效果不理想。刘强[6]提出基于离散曲率熵的徘徊行为检测，该方法同样采用camshift对目标进行跟踪，同时使用Kalman预测对跟踪算法进行修正。此方法存在同样的问题，且kalman滤波器对非线性场景下的预测效果较差。

中国专利CN101770648A[1]提出了“一种基于视频监控的徘徊检测系统及方法”。该专利提出的方法通过检测目标的运动轨迹，当轨迹长度超过设定阈值时判定为徘徊。此方法涉及的目标检测算法为传统的背景差分法，需要进行背景建模、背景更新及前景检测。该背景差分方法需要存储大量的背景数据，同时在背景扰动、阴影抑制以及实时性方面存在不足，不利于实际场景的应用。中国专利CN102810206A[2]提出了“一种基于动态规划的实时徘徊检测算法”。该专利提出的方法通过提取特征点进行SSDA匹配，检测匹配特征点，然后利用动态规划进行轨迹跟踪，对轨迹进行评价判断是否为徘徊。此方法设计的特征对光照变化较为敏感，在光照变化明显的场景中匹配效果会急剧下降；SSDA匹配对于刚性物体具有良好的效果，但是对于非刚性物体如行人等鲁棒性较差。

发明内容

本发明的目的在于提供一种基于目标跟踪的行人徘徊检测算法，应用于智能视频监控系统中，以满足系统实时性和准确性的要求。

本发明提出的基于目标跟踪的行人徘徊检测算法，依次分为三个阶段：目标提取阶段，目标跟踪阶段，徘徊判定阶段。主框架如图1所示。

在目标提取阶段，通过Vibe背景差分的方法提取图像中的运动目标，具有较高的时间性能和召回率；在目标跟踪阶段，对提取出的运动目标计算颜色直方图特征，然后利用粒子滤波算法对连续帧进行跟踪以获取目标运动轨迹，在实际场景中拥有较高的鲁棒性和实时性。最后在徘徊判定阶段，使用目标运动轨迹的几何特征进行徘徊判定。具体说明如下：

一、目标提取阶段，具体步骤为：

（1）缩放图像，即对输入的第k帧图像进行预处理。

对于分辨率大于1280 * 720的输入图像，使用双线性差值算法将图像等比例缩放至宽度为720，对分辨率小于等1280 * 720的输入图像不进行缩放处理。所用的转换公式为：

其中，表示原图像中处的像素值，i、j分别表示x、y的整数部分，u、v表示小数部分。

（2）利用Vibe模型对第k帧图像进行背景差分

为图像中的每一个像素点建立包含N个样本的样本集：对于每一个像素点，随机选取其相邻点像素值作为样本值对样本集进行填充。其中N的取值与硬件处理性能相关，性能越好N的取值可以适当取较大值。

对于第k帧图像中每个像素点，分别计算其与对应样本集中所有样本的距离D，距离计算公式为：

其中，r、g、b分别为该像素点红色、绿色、蓝色通道的值，r_k、g_k、b_k分别为样本点红色、绿色、蓝色通道的值。

统计其样本集中与其距离D大于的样本点个数n。若n大于，则标记当前点为背景点，否则标记为前景点。其中、是阈值，由实验确定给出的经验值，使得算法在耗时和效果之间能够平衡。

对标记为背景的像素点，以的概率去更新样本集，同时以的概率去更新其相邻像素点的样本集，更新时采用随机的方法选取要替换的样本值。其中的值由实验统计给出。

（3）计算第k帧图像中的行人区域

初始时将图像中的所有像素点标记为未访问，初始化区域标记C=0。

对于图像中的某个前景点，若其未被访问：令C=C+1，将前景点标记为已访问、并且属于区域C。递归访问该点周围的四个相邻点，做同样的标记。

遍历图像中所有未访问过的前景点，重复上述步骤，直到没有未访问的前景点。最终得到C个行人区域。

（4）合并行人区域

遍历所有区域，若区域中一点到另一个区域中一点的距离小于L_th，则将这两个区域合并为一个区域。距离计算公式为：

其中，和分别表示一个像素点。L_th是阈值，根据图像大小确定，使得属于同一个行人目标的像素点成为一个联通区域。

二、目标跟踪阶段，具体步骤为：

（1）初始化行人的粒子滤波模型

对提取到的新的行人区域建立粒子滤波模型并进行初始化。

将行人目标区域子图像从RGB（红、绿、蓝）色彩空间转换为HSV（色调、饱和度、亮度）色彩空间，公式如下：

其中，r、g、b分别为RGB色彩空间中三个通道的值，h、s、v分别为HSV色彩空间中三个通道的值；

计算行人目标区域子图像的颜色直方图Hist，公式如下：

其中，h、s、v分别为HSV色彩空间中三个通道的值，N为子图像的大小，P为概率密度函数。

为该行人初始化N个粒子，公式如下：

其中，(x,y)为当前图像中行人区域中心点坐标，(xp,yp)为前一帧图像中行人区域中心点坐标，w为行人区域宽度，h为行人区域高度，s为缩放尺度，sp为前一帧的缩放尺度，Hist为行人区域(x, y, w, h)的颜色直方图。

（2）对第k帧图像进行粒子转移

对第k帧图像中每个行人目标区域，更新所有的N个粒子，公式如下：

其中，C由均值为0的高斯函数采样得到，Hist为粒子更新后图像(x_is_i, y_is_i,w_is_i, h_is_i)区域的HSV颜色直方图，*表示前一帧图像中相应的值。

计算每个粒子的权重，公式如下：

其中，K为归一化系数，λ为常数，Hist为粒子初始化时的颜色直方图。

（3）更新第k帧行人目标的状态

计算第k帧行人的位置，公式如下：

对权重π_i从大到小进行排序，若π_i<π_th，则丢弃对应的粒子。π_th是阈值，由实验给出的经验值，用以抑制粒子的退化。

若粒子总数小于N，则用最大权重对应的粒子填充。

三、徘徊判定阶段，具体步骤为：

（1）计算行人运动区域和运动轨迹

对第k帧中出现的所有行人，计算其从初始至今的运动区域和运动轨迹。

获取行人在0到k帧的轨迹点，计算其运动区域，计算公式为：

其中，为行人在第k帧中的位置。

由于计算得到的行人轨迹有一定的噪声，因此需要对轨迹进行平滑，计算公式为：

计算新轨迹点各点的曲率。

（2）判断运动轨迹与运动区域

计算行人运动轨迹长度与运动区域所在矩形对角线长度的比值，计算公式为：

其中，L为行人运动轨迹长度。

计算行人运动区域与监控区域面积的比值，计算公式为：

其中，W、H分别为监控区域的宽度和高度。

若α大于且β大于，则判断行人行为属于徘徊。、为阈值，是由实验统计出的经验值，使得算法准确性保持在一定水平的同时降低误判率。

否则，继续计算运动轨迹的离散曲率熵E，计算公式为：

其中，为离散曲率的直方图。

若E大于，则判断行人行为属于徘徊。为阈值，是由实验统计出的经验值，使得算法准确性保持在一定水平的同时降低误判率。

本发明使用Vibe模型对背景进行差分以获取目标，使用基于颜色的粒子滤波跟踪方法对目标进行跟踪，利用目标移动轨迹的几何特征进行徘徊检测。对比现有技术，本发明所使用的方法能够对复杂非线性的场景进行处理，无需存储大量背景数据；能够有效应对背景扰动，对光照有较强的鲁棒性；能够有效跟踪监测非刚性物体，如行人；能够满足实时性要求。

附图说明

图1是本发明的流程图。

图2是本发明应用场景示意图。

图3是背景差分结果图。

图4是基于颜色的粒子滤波跟踪示意图。

图5是行人运动轨迹图。

具体实施方式

以下结合附图解释基于行人跟踪的徘徊检测算法的具体实施方式，应该指出，本发明的实施不限于以下的实施方式。

图1给出了基于目标跟踪的行人徘徊检测算法的流程图，具体步骤是：

1、首先在需要监控的场景中架设监控摄像头以获取监控视频。如图2所示，在场景上方架设摄像头，以便获取整个场景的信息。

2、对摄像头捕获到的图像序列做预处理，使其分辨率适应处理的要求。此例中图像大小为640x480，无需进行缩放。

3、利用Vibe模型对预处理后的图像进行背景差分，计算前景图。为图像中每一个像素点建立大小N=20的样本集，统计样本集中D>D_th的个数n，若n>N_th则标记为背景点，否则标记为前景点；若是背景点则以1/的概率更新样本集和相邻像素点的样本集。此例根据实验统计取D_th=20，N_th=2，=16效果较好。如图3所示，图中白色区域即为对应图像中的前景图。

4、计算步骤3处理后的前景图中的行人区域。如图5所示，图中绿色矩形框表示计算出的行人区域。

5、对步骤4中得到的行人区域进行处理，合并属于同一个行人的区域。此例根据图像的大小取L_th=5，计算得到的行人区域的初始参数(x,y,w,h)=(317, 48, 134, 81)。

6、将目标区域子图像从RGB色彩空间转换为HSV色彩空间。

7、对图像中首次出现的行人区域建立粒子滤波模型。此例中仅有一个行人目标，为其初始化N个粒子，根据硬件性能此例取N=10：

。

8、对行人区域的所有粒子进行转移。

9、更新行人在当前帧的位置。对粒子进行筛选，权值π_i<π_th的粒子全部由权值最大的粒子进行填充，此例取π_th=0.1。如图4所示，图中黄色十字表示各个粒子，红色十字表示当前行人所在位置。

10、计算行人的运动轨迹和运动区域，此例中(x_min, y_min)=(318, 48)，(x_max,y_max)=(487, 454)。对轨迹进行种植滤波。如图5所示，图中红色实心点表示行人在每一帧中的位置，蓝色折线表示行人的运动轨迹。

11、判断行人是否是徘徊。计算行人运动轨迹长度与运动区域所在去腥对角线长度的比值：

计算行人运动区域与监控区域面积的比值：

根据实验统计，此例取=3，=0.2，因此该行人当前处于徘徊状态中。

参考文献

[1]北京中星微电子有限公司一种基于视频监控的徘徊检测系统及方法:中国,CN2009100760460[P]2010-7-7

[2]南京理工大学一种基于动态规划的实时徘徊检测算法:中国,CN2011101485218[P]2012-12-5

[3]三星泰科威株式会社用于对象跟踪和徘徊检测的方法和设备:中国,CN2010105521350[P]2011-10-12

[4]刘晓明基于视频序列的徘徊检测跟踪算法的研究与实现[D]太原理工大学,2011DOI:107666/dd198591

[5]刘晓明,张起贵基于静态场景下的单目标徘徊检测及跟踪方法[J]微型机与应用,2010,(13):26-29

[6]刘强,罗斌,翟素兰等基于离散曲率熵的徘徊行为检测[J]计算机工程与应用,2013,(18):164-166。

Claims (1)

1.一种基于目标跟踪的行人徘徊检测方法，其特征在于依次分为3个阶段：目标提取阶段，目标跟踪阶段，徘徊判断阶段；其中：

一、目标提取阶段的具体步骤为：

(1)缩放图像

对于输入图像，其分辨率小于等于1280x720时不进行缩放处理；分辨率大于1280x720时，使用双线性差值算法将图像等比例缩放至宽度为720；所用的转换公式为：

f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)

其中，f(x,y)表示原图像中(x,y)处的像素值，i、j分别表示x、y的整数部分，u、v表示小数部分；

(2)背景差分

(a)为图像中的每一个像素点建立包含N个样本的样本集：对于每一个像素点，随机选取其相邻点像素值作为样本值对样本集进行填充；

(b)计算图像中每个像素点与对应样本集中所有样本的距离D，距离D计算公式为：

其中，r、g、b分别为该像素点红色、绿色、蓝色通道的值，r_k、g_k、b_k分别为样本点红色、绿色、蓝色通道的值；

(c)统计每个像素点样本集中，满足D>D_th的样本点个数，记为n，若n大于N_th，则标记该像素点为背景点，否则标记为前景点；其中D_th、N_th为给定阈值；

(d)对标记为背景的像素点，以的概率去更新样本集，同时以的概率去更新其相邻像素点的样本集，更新时采用随机的方法选取要替换的样本值；

(3)计算行人目标区域

(a)将图像中的所有像素点标记为未访问；初始化区域标记C为0；

(b)对于图像中的某个前景点，若其未被访问，则令C＝C+1，将前景点标记为已访问，并且属于区域C；

(c)递归访问该点周围的四个相邻点，同样标记为已访问，且属于区域C；

(d)遍历图像中所有未访问过的前景点，重复步骤(b)、步骤(c)，直到没有未访问过的前景点；

(4)合并行人目标区域

遍历所有区域，若区域中一点到另一个区域中一点的距离l小于L_th，则将这两个区域合并为一个区域；距离l计算公式为：

其中，(x₁,y₁)和(x₂,y₂)分别表示一个像素点在图像中的坐标，L_th为给定阈值；

二、目标跟踪阶段的具体步骤为：

(1)初始化粒子滤波模型

(a)将目标区域子图像从RGB色彩空间转换为HSV色彩空间，公式如下：

v＝max(r,g,b)

其中，r、g、b分别为RGB色彩空间中三个通道的值，h、s、v分别为HSV色彩空间中三个通道的值；

(b)计算行人目标区域子图像的颜色直方图Hist，其公式如下：

Hist(h，s，v)＝N×P(h，s，v)

其中，h、s、v分别为HSV色彩空间中三个通道的值，N为子图像的大小，P(h，s，v)为概率密度函数；

(c)初始化N个粒子，公式如下：

i＝1...N

其中，(x,y)为当前图像中行人区域中心点坐标，w为行人区域宽度，h为行人区域高度，Hist为行人区域(x,y,w,h)的颜色直方图；

(2)粒子转移

(a)更新所有的粒子，公式如下：

i＝1...N

其中，C由均值为0的高斯函数采样得到，Hist′为更新后当前帧图像(x_i,y_i,w_i,h_i)区域的HSV颜色直方图，*表示前一帧图像中相应的值；

(b)计算每个粒子的权重，公式如下：

其中，δ为归一化系数，λ为常数，Hist为粒子初始化时的颜色直方图；

(3)状态更新

(a)计算第k帧行人的位置，公式如下：

(b)对权重π_i从大到小进行排序，若π_i<π_th，则丢弃π_i对应的粒子，其中π_th为给定阈值；

(c)若粒子总数小于N，则缺少的粒子用最大权重π_i对应的粒子填充；

三、徘徊判断阶段的具体步骤为：

(1)计算行人运动轨迹

(a)获取行人在每一帧的轨迹点，计算其运动区域((x_min,y_min),(x_max,y_max))，计算公式为：

其中，(x^k,y^k)为行人在第k帧中的位置；

(b)对行人的轨迹点进行中值滤波，平滑轨迹点所连成的轨迹曲线，计算公式为：

(c)计算新轨迹点各点的曲率Ωⁱ；

(2)判定徘徊行为

(a)计算行人运动轨迹长度与运动区域所在矩形对角线长度的比值，该比值计算公式为：

其中，L为行人运动轨迹长度；

(b)计算行人运动区域与监控区域面积的比值，该比值计算公式为：

其中，W、H分别为监控区域的宽度和高度；

(c)若α大于α_th且β大于β_th，则判断行人行为属于徘徊，否则执行步骤(d)；其中α_th为给定的轨迹长度阈值，β_th为给定的运动区域面积阈值；

(d)计算运动轨迹的离散曲率熵E，计算公式为：

其中，H(Ωⁱ)为离散曲率的直方图，K为轨迹点的总数；

(e)若E大于给定的曲率熵阈值E_th，则判断行人行为属于徘徊行为。