CN104239865A

CN104239865A - 一种基于多级检测的行人检测与跟踪方法

Info

Publication number: CN104239865A
Application number: CN201410471167.6A
Authority: CN
Inventors: 张标标; 王亚沛; 李仁旺; 宋海龙; 吴斌; 陈跃鸣; 杜克林
Original assignee: NINGBO XONLINK INFORMATION TECHNOLOGY Co Ltd
Current assignee: Hangzhou Entropy Technology Co., Ltd.
Priority date: 2014-09-16
Filing date: 2014-09-16
Publication date: 2014-12-24
Anticipated expiration: 2034-09-16
Also published as: CN104239865B

Abstract

一种基于多级处理的行人检测与跟踪方法，包括如下步骤：1)提取背景帧并预处理；2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，将差分图像灰度值与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；3)利用行人的外形特征对目标区域进行初步的判断；4)对于判定为似目标区域的矩形区域Rn个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪。本发明计算速度较快、实时性良好、实用性较强。

Description

一种基于多级检测的行人检测与跟踪方法

技术领域

本发明涉及视频识别领域，尤其涉及一种行人检测与跟踪方法。

背景技术

现有的光流法实现目标跟踪的流程：1)对于得到的视频帧序列，利用一定的目标检测方法(传统为光流检测)，检测可能出现的前景目标；2)如果某一帧出现了前景目标，找到其具有代表性的关键特征点(可以随机产生，也可以利用角点来做特征点)；3)对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标。

光流法可以对图像中的每个像素点赋予一个速度矢量，然后根据各个像素点的速度矢量特征对图像进行动态分析，通过检测运动物体与背景所形成的速度矢量来识别和跟踪运动物体，是一种有效的运动跟踪算法，但是由于视频序列中风吹、树叶摆动、摄像机抖动等因素以及非目标运动信息的干扰，使得光流法在进行行人检测跟踪时需要额外检测大量的无用信息，严重影响计算速度，无法保证实时性和实用性。

发明内容

为了克服已有光流法实现的行人检测与跟踪方法的计算速度较慢、实时性较差、实用性较差的不足，本发明提供了一种计算速度较快、实时性良好、实用性较强的基于多级处理的行人检测与跟踪方法。

本发明解决其技术问题所采用的技术方案是：

一种基于多级处理的行人检测与跟踪方法，所述检测与跟踪方法包括如下步骤：

1)提取背景帧并预处理，将输入的第一帧视频作为初始化背景图像帧，并对输入的每一帧原始图像帧进行图像预处理，对于不同尺寸的视频要进行归一化处理；

2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，矩形区域用R_n表示，其尺寸信息包括长度H_n、宽度W_n、角度为λ_n；前景提取公式：

Δd_t(x,y)＝|I_t(x,y)-B_t(x,y)|

其中Δd_t(x,y)、I_t(x,y)、B_t(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值d_t(x,y)与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；

d_{t} (x, y) = \{\begin{matrix} 0, & d_{t} (x, y) < T \\ 1, & d_{t} (x, y) &GreaterEqual; T \end{matrix}

3)目标区域的初步判定，利用行人的外形特征对目标区域进行初步的判断，包括设置矩形长轴与短轴长度比例的阀值L₁、L₂，长轴与地面夹角的阀值A，对于在阀值范围内的矩形区域划初步分为似目标区域，其他矩形区域划分为非目标区域丢弃；

R_{n} = \{\begin{matrix} 1, & \begin{matrix} if & L_{1} < \frac{H_{n}}{W_{n}} < L_{2} and λ_{n} < A \end{matrix} \\ 0, & otherwise \end{matrix}

其中L₁、L₂、A为设定值，R_n表示是否为目标区域，1表示为目标区域，0表示非目标区域；

4)目标区域的最终判定，对于判定为似目标区域的矩形区域R_n个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪。

进一步，所述步骤4)中，HOG特征检测只检测初步判断为似行人区域的图像区域，并结合SVM行人分类器对目标区域进行分类，将每个似行人区域转化为一幅独立图像帧，经过归一化尺寸特征提取，依次输入SVM分类器，最终判别是否是行人。

再进一步，所述步骤4)中，基于HOG特征的行人检测算法将样本库图片和待测图片大小归一化为64×32，块大小为16×16，每个块分为4个8×8像素的单元，步长为8个像素。

更进一步，所述步骤4)中，采用改进的Lucas-Kanade算法进行光流估计，设上一帧为F_n，当前帧为F_n+1，上一帧中含有X个目标区域，当前帧中含有Y个目标区域，分别以这些区域的矩形框为边界将目标区域转换成目标图像帧，分别为F_n＝{F_n,1,F_n,2…F_n,X}和F_n+1＝{F_n+1,1,F_n+1,2…F_n+1,Y}，根据矩形框大小计算出中心点分别为C_n＝{C_n,1,C_n,2…C_n,X}和C_n+1＝{C_n+1,1,C_n+1,2…C_n+1,Y}，然后以C_n中的点集作为光流特征点集，分别对C_n+1中的目标位置点集进行光流金字塔计算，最终从C_n+1中找出与C_n中各点相对应的特征点进行匹配，匹配成功后映射到F_n+1对应位置并以F_n+1中目标区域的中心点集为光流特征点集对下一帧进行匹配，如此迭代下去。

所述步骤4)中，利用Lucas-Kanade算法进行跟踪的流程如下：

4.1)初始化需要跟踪的特征点，本文中即为C_n；

4.2)计算两帧的光流金字塔，根据两帧之间的光流来计算初始化特征点所对应的目标点，即需要跟踪的点。

4.3)显示特征点和运动轨迹，把输入输出点进行互换，上一帧与目前帧互换以及上一帧与当前帧金字塔互换，进行下一次跟踪；

其中，光流金字塔的计算采用OpenCV提供的函数cvCalcOpticalFlowPyrLK()实现。

采用多个目标区域代替整体图像帧的方式，对每个目标区域分别进行光流计算跟踪，将最终跟踪的结果映射到原图像帧上，用F_n代替函数中的上一帧参数prev，用F_n+1代替当前帧参数curr，用C_n作为特征点参数prev_features，用C_n+1作为目标位置点集进行光流金字塔计算。

所述步骤1)中，采用每隔设定时间将与背景差分结果小于阀值的图像帧作为新的背景帧进行动态更新。

所述步骤2)中，当采用背景减除法获得前景时，采用中心点距离小于阀值的轮廓区域合并，并用包裹轮廓边缘的矩形框进行标注，作为运动区域。

本发明的有益效果主要表现在：计算速度较快、实时性良好、实用性较强。

附图说明

图1是本发明的方法步骤流程图；

图2是行人跟踪的步骤流程图；

图3是本发明实施例中行人检测和跟踪的效果图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于多级检测的行人检测与跟踪方法，包括以下步骤：

1)提取第一帧视频作为初始化背景图像帧，并对输入的每一帧原始图像帧进行高斯滤波、噪声过滤等图像预处理；

为优化处理速度和保证图像质量，对于不同尺寸的视频要进行归一化处理，将大于320×240的视频帧统一归一化为320×240，将小于320×240的视频帧保持原始尺寸，以免分辨率过小；

为减小算法复杂度，本发明不采用混合高斯模型进行背景自适应更新，而采用每隔一定时间将与背景差分结果小于阀值的图像帧作为新的背景帧进行动态更新；

2)用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，矩形区域用R_n表示，其尺寸信息包括长度H_n、宽度W_n、角度为λ_n；前景提取算法如下：

Δd_t(x,y)＝|I_t(x,y)-B_t(x,y)|

其中Δd_t(x,y)、I_t(x,y)、B_t(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分。

d_{t} (x, y) = \{\begin{matrix} 0, & d_{t} (x, y) < T \\ 1, & d_{t} (x, y) &GreaterEqual; T \end{matrix}

当采用背景减除法获得前景时，在前景和背景的灰度值差别不大的地方容易出现不连通的空洞，所以本发明采用将相邻较近(中心点距离小于阀值)的轮廓区域合并，并用包裹轮廓边缘的矩形框进行标注，作为运动区域。

3)利用行人的外形特征对目标区域进行初步的判断，包括设置矩形长轴与短轴长度比例的阀值L₁、L₂，长轴与地面夹角的阀值A，对于在阀值范围内的矩形区域划初步分为似目标区域，其他矩形区域划分为非目标区域丢弃。其中阀值设定及公示如下：

L₁＝2，L₂＝10，A＝75°

R_{n} = \{\begin{matrix} 1, & \begin{matrix} if & L_{1} < \frac{H_{n}}{W_{n}} < L_{2} and λ_{n} < A \end{matrix} \\ 0, & otherwise \end{matrix}

其中L₁、L₂、A的设定值时根据实验效果设定，实际应用中可以根据具体情况进行调节；

4)对于判定为似目标区域的矩形区域R_n个数进行统计，并先采用基于HOG(方向梯度直方图)特征的行人检测算法进一步排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪。

HOG特征检测只检测初步判断为似行人区域的图像区域，并结合SVM行人分类器对目标区域进行分类，将每个似行人区域转化为一幅独立图像帧，经过归一化尺寸特征提取，依次输入SVM分类器，最终判别是否是行人；

为了降低算法复杂度，将样本库图片和待测图片大小归一化为64×32，块大小为16×16，每个块分为4个8×8像素的单元，步长为8个像素，这样得到的HOG特征维数就从常规的3781维降为757维，从而大大降低了算法复杂度，使得HOG检测不至于影响系统的实时性；另外，因为步骤3中已对行人目标区域进行了初步的判定，所以一定程度地牺牲特征维数并不会对精度带来太大的影响。

本发明采用改进的Lucas-Kanade算法进行光流估计，经过以上3、4步骤的目标区域判定，已可以基本锁定目标区域，设上一帧为F_n，当前帧为F_n+1，上一帧中含有X个目标区域，当前帧中含有Y个目标区域，分别以这些区域的矩形框为边界将目标区域转换成目标图像帧，分别为F_n＝{F_n,1,F_n,2…F_n,X}和F_n+1＝{F_n+1,1，F_n+1,2…F_n+1,Y}，根据矩形框大小计算出中心点分别为C_n＝{C_n,1,C_n,2…C_n,X}和C_n+1＝{C_n+1,1,C_n+1,2…C_n+1,Y}，然后以C_n中的点集作为光流特征点集，分别对C_n+1中的目标位置点集进行光流金字塔计算，最终从C_n+1中找出与C_n中各点相对应的特征点进行匹配，匹配成功后映射到F_n+1对应位置并以F_n+1中目标区域的中心点集为光流特征点集对下一帧进行匹配，如此迭代下去。

利用Lucas-Kanade算法进行跟踪的流程如下：

4.1)初始化需要跟踪的特征点，本文中即为C_n；

其中，光流金字塔的计算可以利用opencv提供的函数

cvCalcOpticalFlowPyrLK(const CvArr*prev,const CvArr*curr,CvArr*prev_pyr,CvArr*curr_pyr,const CvPoint2D32f*prev_features,CvPoint2D32f*curr_features,int count,CvSize win_size,int level,char*status,float*track_error,CvTermCriteria criteria,int flags)实现，本发明采用用多个目标区域代替整体图像帧的方式，对每个目标区域分别进行光流计算跟踪，将最终跟踪的结果映射到原图像帧上，这样做可以减少无用跟踪及误跟踪，精确快速的对目标进行跟踪，本发明分别用F_n代替函数中的上一帧参数prev，用F_n+1代替当前帧参数curr，用C_n作为特征点参数prev_features，用C_n+1作为目标位置点集进行光流金字塔计算。

本实施例的光流法目标检测原理：给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。

本实施例中，选取了一段室内的监控视频，原视频大小为640×480，开发平台为Win7，开发环境为QT+OpenCV，图3为行人检测与跟踪的效果图，其中图3a为未出现行人的背景帧图像，图3b为初步提取前景后的前景轮廓及外界矩形图，图3c为利用行人的形体特征初步过滤后的似目标区域，图3d为经HOG特征检测后的识别到的行人区域，图3e为采用光流法对矩形框区域进行跟踪的效果图，图3f为去矩形框后的行人跟踪效果图。

Claims

1.一种基于多级处理的行人检测与跟踪方法，其特征在于：所述检测与跟踪方法包括如下步骤：

Δd_t(x,y)＝|I_t(x,y)-B_t(x,y)|

d_{t} (x, y) = \{\begin{matrix} 0, & d_{t} (x, y) < T \\ 1, & d_{t} (x, y) &GreaterEqual; T \end{matrix}

R_{n} = \{\begin{matrix} 1, & \begin{matrix} if & L_{1} < \frac{H_{n}}{W_{n}} < L_{2} and λ_{n} < A \end{matrix} \\ 0, & otherwise \end{matrix}

2.如权利要求1所述的一种基于多级处理的行人检测与跟踪方法，其特征在于：所述步骤4)中，HOG特征检测只检测初步判断为似行人区域的图像区域，并结合SVM行人分类器对目标区域进行分类，将每个似行人区域转化为一幅独立图像帧，经过归一化尺寸特征提取，依次输入SVM分类器，最终判别是否是行人。

3.如权利要求1或2所述的一种基于多级处理的行人检测与跟踪方法，其特征在于：所述步骤4)中，基于HOG特征的行人检测算法将样本库图片和待测图片大小归一化为64×32，块大小为16×16，每个块分为4个8×8像素的单元，步长为8个像素。

4.如权利要求1或2所述的一种基于多级处理的行人检测与跟踪方法，其特征在于：所述步骤4)中，采用改进的Lucas-Kanade算法进行光流估计，设上一帧为F_n，当前帧为F_n+1，上一帧中含有X个目标区域，当前帧中含有Y个目标区域，分别以这些区域的矩形框为边界将目标区域转换成目标图像帧，分别为F_n＝{F_n,1,F_n,2,…F_n,X}和F_n+1＝{F_n+1,1,F_n+1,2,…F_n+1,Y}，根据矩形框大小计算出中心点分别为C_n＝{C_n,1,C_n,2,…C_n,X}和C_n+1＝{C_n+1,1,C_n+1,2…C_n+1,Y}，然后以C_n中的点集作为光流特征点集，分别对C_n+1中的目标位置点集进行光流金字塔计算，最终从C_n+1中找出与C_n中各点相对应的特征点进行匹配，匹配成功后映射到F_n+1对应位置并以F_n+1中目标区域的中心点集为光流特征点集对下一帧进行匹配，如此迭代下去。

5.如权利要求4所述的一种基于多级处理的行人检测与跟踪方法，其特征在于：所述步骤4)中，利用Lucas-Kanade算法进行跟踪的流程如下：

4.1)初始化需要跟踪的特征点，本文中即为C_n；

6.如权利要求5所述的一种基于多级处理的行人检测与跟踪方法，其特征在于：采用多个目标区域代替整体图像帧的方式，对每个目标区域分别进行光流计算跟踪，将最终跟踪的结果映射到原图像帧上，用F_n代替函数中的上一帧参数prev，用F_n+1代替当前帧参数curr，用C_n作为特征点参数prev_features，用C_n+1作为目标位置点集进行光流金字塔计算。

7.如权利要求1或2所述的一种基于多级处理的行人检测与跟踪方法，其特征在于：所述步骤1)中，采用每隔设定时间将与背景差分结果小于阀值的图像帧作为新的背景帧进行动态更新。

8.如权利要求1或2所述的一种基于多级处理的行人检测与跟踪方法，其特征在于：所述步骤2)中，当采用背景减除法获得前景时，采用中心点距离小于阀值的轮廓区域合并，并用包裹轮廓边缘的矩形框进行标注，作为运动区域。