CN103336965B - 基于轮廓差异及区块主方向直方图的前景与特征提取方法 - Google Patents

Abstract

本发明公开了一种基于轮廓差异及区块主方向直方图的前景与特征提取方法，它是用原视频与背景建模得到的背景图像两者的轮廓差异来定位运动物体，保留运动物体轮廓，并利用去除背景的梯度信息和区块主梯度方向结合提取基于区块主方向的梯度直方图特征，弥补其过分依赖局部细节特征的缺点。此方法可以有效解决复杂背景下的目标提取问题，且可以使得提取的目标特征更加明显。实例分类结果利用本发明的前景提取和特征进行分类准确率可以达到94.04%。

Description

基于轮廓差异及区块主方向直方图的前景与特征提取方法

技术领域

本发明涉及一种可用于视频的目标检测与分类技术，尤其涉及一种基于轮廓差异及区块主方向直方图的前景与特征提取方法。

背景技术

基于视频的目标前景信息提取与识别分类技术是自动将视频中的目标进行提取并分析分类的技术，如物体分类，行人识别等。该技术是智能视频分析、视频监控、目标自动检测识别等应用的关键技术，有着广泛且深远的应用前景。

运动目标检测分类主要通过以下两个步骤进行：首先是提出精确的前景以定位运动目标；之后是对运动目标进行有效的特征提取，并以此特征为基础进行目标分类。

在前景提取方面，经过对现有技术的文献检索发现，在2003年，Cucchiara等人在《IEEE Transactions on Pattern Analysis and Machine Intelligence》(IEEE模式分析与机器智能期刊)25期第10卷第1337页到第1342页发表的论文“Detecting MovingObjects,Ghosts,and Shadows in Video Streams”(检测视频流中的运动目标，重影及阴影)提出利用帧间差来提取运动前景目标，然而，该方法使得运动物体的前景比实际的物体要大，而且运动目标的完整性不能保证。此外，2001年，Kaewtrakulpong等人在《Proceedings of the Second European Workshop on Advanced Video-basedSurveillance Systems》(第二届欧洲高性能视频监控系统会议集)第1页到第8页上发表的论文”An improved adaptive background mixture model for real-time trackingwith shadow detection”(一种能进行阴影检测实时跟踪的改进背景混合模型)中提出利用高斯混合模型进行前景提取，取得了比较好的效果并随之诞生了大量改进算法，但是当大量运动物体在视频中出现，特别是包含大型运动目标的视频，该类方法会引入大量噪声，造成前景混乱，无法提取运动物体。

在特征提取方面，经过对现有技术的文献检索发现，2005年Dalal等人在《Proceedings of the 2005International Conference on Computer Vision andPattern Recognition》(IEEE 2005年计算机视觉与模式识别会议集)上发表的论文“Histograms of Oriented Gradients for Human Detection”(用于人检测的梯度直方图)中提出了HOG(Histogram of Orientation Gradient，梯度直方图)特征，但是该HOG特征仅仅关注了局部细节的梯度信息，较大范围的主梯度走向则被忽略，此外，HOG不仅会提取运动物体本身的梯度信息，环境信息的梯度也会提取出来，当背景复杂时，背景噪声会对最后的识别造成干扰。此外，在2009年，Kong等人在《Proceedings of the 2009IEEEInternational Youth Conference on Information,Computing andTelecommunications》(2009IEEE信息、计算和电信青年会议集)第212页到第215页上发表的论文“On-Road Vehicle Detection Using Histograms of Multi-ScaleOrientations”(用多尺度方向直方图进行路上车辆检测)一文中提到了哈尔类(Harr-like)特征，用该特征检测保留了不同维度的梯度信息，但是对于细节的梯度信息提取不足。

发明内容

本发明的目的在于提供一种基于轮廓差异及区块主方向直方图的前景与特征提取方法，它利用当前帧与背景轮廓差异信息进行前景提取的方法以及基于区块主方向梯度直方图的视频运动物体特征信息，最终用该信息进行目标检测与分类，它可以有效提升运动目标前景提取的精度和对运动目标特征描述的有效性、从而最终有效提升检测的准确率。

本发明的目的是这样实现的：

一种基于轮廓差异及区块主方向直方图的前景与特征提取方法，特征是：具体步骤如下：

A：获取一副干净的，没有运动目标的背景图像，提取其轮廓梯度信息；同时，对于当前视频帧，用相同的方法提取其轮廓梯度信息；

所述的提取轮廓梯度过程为利用索贝尔(Sobel)算子等梯度操作算子与图像进行卷积操作，得到的结果即为轮廓梯度图；

B、将第一步中得到的当前帧与背景图像的轮廓梯度图有条件相减，即可以得到保留前景运动目标轮廓梯度的信息，而背景轮廓信息被有效去除；

所述的有条件相减指的是比较当前帧轮廓梯度图与背景图像轮廓梯度图之间对应像素梯度值的差异，如果差异很小则认为是背景并去除轮廓梯度信息(即设轮廓梯度值为0)，反之则作为前景运动目标轮廓梯度予以保留；

C、对第二步中得到的前景目标轮廓进行归类处理，连通在一起的轮廓像素归为同一类，并用方框分别框出，这样每个框即对应一个前景目标。后续步骤将分别对每个框计算其基于区块主方向的梯度直方图特征；

D、对每个框，将其分成多个区块，对每个区块分别计算其主梯度方向；

所述的区块的主梯度方向由(x_m,y_m)表示，x_m表示区块横轴方向主梯度强度，y_m表示区块纵轴方向主梯度强度。具体计算方法如下：其中x_m方向主梯度可以通过区块右边一半像素灰度值之和与区块左边一半像素灰度值之和的差得到。类似的，区块y_m方向主梯度信息计算可以通过区块下边一半像素灰度值之和减去区块上边一半像素灰度值之和得到；

E、进一步对第四步中的每个区块分成多个更小的方格(cell)，对每个方格中的每一个像素，提取其去背景梯度信息(即当前帧对应像素点位置与背景图片对应像素点位置的梯度值之差)；

F、在每个方格中，利用像素点的去背景梯度信息建立梯度直方图。其中，每个像素点在直方图中的权重由其去背景梯度与该像素点所在的区块的主梯度差异决定。将不同方格的直方图级联起来，即可得到描述运动目标的基于区块主方向的梯度直方图特征；

所述的像素点在直方图中的权重计算可由下式表示：

$w(i,j)=\frac{1}{|x_m-x_c(i,j)|+|y_m-y_c(i,j)|+1}$

其中，w(i,j)是当前小方格中(i,j)像素点在直方图中的权重值。(x_m,y_m)是小方格所在区块的主梯度方向并由第四步计算得到。(x_c(i,j),y_c(i,j))是当前小方格中(i,j)像素点对应的梯度方向。由上式可知，(x_m,y_m)与(x_c(i,j),y_c(i,j))差距越小，权重越大。

本发明采用原视频与背景建模得到的背景图像两者的轮廓差异，并以此为基础在较大的局部范围所提取的区块主要梯度特征来获得去除冗余信息以后的特征信息，最终用该信息进行目标检测与分类。

与现有技术相比，本发明具有如下优点：

1、本发明利用当前视频帧与背景图像的轮廓差异提取运动目标的前景轮廓信息。由于轮廓信息不容易受光照变化等影响，因此得到的前景信息具有更强的稳定性，无须像高斯混合模型方法一样由于经常更新背景模型而引入噪声，因而提取出的前景轮廓信息更加清晰准确。

2、本发明是对Dalal的方法的一个重要扩展。首先，本方法利用像素的去背景梯度，而不是当前帧像素的直接梯度建立直方图，这样可以有效去除背景像素对最终梯度直方图特征的干扰。其次，本方法利用每个小方格所在的局部区块的主梯度方向对每个像素在梯度直方图中的权重进行修正，这样，和局部区块主梯度方向一致的像素点会在梯度直方图中体现更大的作用，因而可以进一步去除噪声点像素的干扰。(比如，利用本发明的方法，可以加强与车辆车窗的直线走向一致的主方向梯度，而减小车窗上由光照阴影引起的边缘纹路等细节梯度的影响)。

3、利用本发明提出的基于区块主方向的梯度直方图特征能有效去除冗余信息并保留和目标有关的关健特征信息，基于本发明特征的目标识别相比其他方法有着更好的性能和准确率，因而具有很好的实用性。

附图说明

图1是本发明的流程图；

图2是保留前景运动目标轮廓梯度示意图。其中(a)是当前帧的轮廓梯度图，(b)是背景图像轮廓梯度图，(c)是当前帧轮廓梯度图与背景图像轮廓梯度图有条件相减得到的保留前景运动目标轮廓梯度；

图3是区块和小方格的关系示意图，其中实线框为区块，虚线框为小方格；

图4(a)为根据Dalal文章方法得到的前景目标HOG特征，(b)为根据本发明得到的基于区块主方向的梯度直方图特征。

具体实施方式

下面结合实施例并对照附图对本发明进行进一步的说明。

一种基于轮廓差异及区块主方向直方图的前景与特征提取方法，具体步骤如下：

A、获取一副干净的，没有运动目标的背景图像，提取其轮廓梯度信息；同时，对于当前视频，用相同的方法提取其轮廓梯度信息。

所述的获取一副干净的，没有运动目标的背景图像，可以通过滑动平均背景建模法来恢复一个干净的街道模型，其中，滑动平均背景建模法是指：

B_t＝(1-α)·B_t-1+α·I_t

其中B_t表示t时刻的背景图像，B_t-1表示上一时刻的背景图像，I_t表示t时刻的输入视频帧的灰度图像，α是权值，在本实例中α取0.003。

所述的提取其边缘梯度，可以采用和Dalal文章中提到的索贝尔(Sobel)算子进行。

B、将第一步中得到的当前帧与背景图像轮廓梯度信息图有条件相减，即可以得到保留前景运动目标轮廓梯度的信息，而背景轮廓信息被有效去除(即对应梯度值设为0)。

在本实施例中，采用如下方式进行有条件相减以去除背景边缘信息：

其中C_diff是有条件相减以后只保留前景运动目标轮廓的梯度图，C_cur和C_back分别是第一步中得到当前帧以及背景图像的梯度图，C(i,j)为梯度图C上像素(i,j)的梯度值。T为一个预设的阈值，该阈值的是为了抵抗光照变化引起的梯度微小变化而设定的。在本实施例中，T取为5。

C、对第二步中得到的前景目标轮廓梯度图C_diff进行归类处理，即将C_diff中互相连通在一起的非零轮廓像素归为一类。本实施例中，采用对前景运动物体的梯度图上的轮廓像素进行连通区提取的方法进行归类处理，即先对轮廓图C_diff中非零像素进行膨胀和腐蚀的操作，然后把在膨胀腐蚀后的轮廓图中连通在一起的非零像素归为一类。在经过去除面积较小的连通区操作以后，即可得到对应前景目标的轮廓类。用方框分别框出每一个轮廓类，这样每个框即对应一个前景目标。

D、对每个框，将其分成多个区块，对每个区块分别计算其主梯度信息。

所述的分成多个区块如图3中的实线块所示。

所述的区块的主梯度方向由(x_m,y_m)表示，x_m表示区块横轴方向主梯度强度，y_m表示区块纵轴方向主梯度强度。具体计算方法如下：其中x_m方向主梯度可以通过区块右边一半像素灰度值之和与区块左边一半像素灰度值之和的差得到。类似的，区块y_m方向主梯度信息计算可以通过区块下边一半像素灰度值之和减去区块上边一半像素灰度值之和得到。

E、进一步对每个区块分成多个更小的方格(cell)，对每个方格中的每一个像素，提取其去背景梯度信息(即当前帧对应像素点位置与背景图片对应像素点位置的梯度值之差)。

所述的分成多个更小的方格如图3中的虚线块所示。

所述的去除背景后的梯度信息可以通过如下两步得到：

(1)首先第二步中得到的前景目标轮廓梯度图C_diff作为像素点初步的去背景梯度值。

(2)其次，利用C_diff中梯度值的相邻像素关系，进一步保留有用信息点。即如下式所示：

其中，C_db(i,j)是第(i,j)个像素点的最终去背景梯度值，C_diff(i,j)是第二步得到的第(i,j)个像素点初步的去背景梯度值，C_cur(i,j)是当前帧在第(i,j)个像素点的梯度值，l为邻域范围，在本实例中，l取为1，即领域范围为当前像素的8个相邻点。由上式可见，当第(i,j)个像素点的初步的去背景梯度值C_diff(i,j)为0时，本发明将要判断其周围相邻点的初步的去背景梯度值，如果他们全为0，则让第(i,j)个像素点的最终去背景梯度值也为0。否则，认为该像素点仍然是重要的像素点，保留其原始的当前帧梯度值。通过上式，可以避免一些在运动物体轮廓上的点因其灰度值与在背景图像上同一位置的点的灰度值相近而被舍弃掉的情况，从而避免造成运动物体断断续续。

F、在每个小方格中，利用像素点的去背景梯度信息建立梯度直方图。其中，每个像素点在直方图中的权重由其去背景梯度与该像素点所在的区块的主梯度之间的差异决定。将不同方格的直方图级联起来，既可得到描述运动目标的基于区块主方向的梯度直方图特征。

所述的每个像素点在直方图中的权重计算方法可以由下式得到：

$w(i,j)=\frac{1}{|x_m-x_c(i,j)|+|y_m-y_c(i,j)|+1}$

其中，w(i,j)是当前小方格中(i,j)像素点在直方图中的权重值。(x_m,y_m)是小方格所在区块的主梯度方向并由第四步计算得到。(x_c(i,j),y_c(i,j))是当前小方格中(i,j)像素点对应的梯度方向。由上式可知，(x_m,y_m)与(x_c(i,j),y_c(i,j))差距越小，权重越大。

所述的基于区块主方向建立的当前小方格梯度直方图可由下式得到：

$h\left(k\right)=\underset{\arctan \left(y_c\right(i,j)/x_c(i,j\left)\right)\∈A\left(k\right)}{\Σ}w(i,j)\×C_{db}(i,j)$

其中，h(k)是方格直方图中第k个槽(bin)的值，w(i,j)是前一公式得到的当前小方格中第(i,j)个像素的重要性权值。A(k)是直方图中属于第k个槽(bin)的梯度方向范围。arc tan(y_c(i,j)/x_c(i,j))是(i,j)像素点对应的梯度方向角。C_db(i,j)是第五步中得到的(i,j)点的去除背景后的梯度值。在本实施例中，我们采用16个槽的直方图，即k∈{1,2,3,...,16}，同时，将360度方向平分为16个槽的范围，其中A(k)＝{θ|22.5·(k-1)≤θ<22.5·k}。

从步骤A到步骤C所描述的内容单独使用用于提取目标前景。

从步骤D到步骤F所描述的基于区块主方向的梯度直方图特征提取单独使用，并与高斯混合模型(GMM)结合，即基于高斯混合模型(GMM)的结果进行基于区块主方向的梯度直方图的特征提取；

步骤F得到的基于区块主方向的梯度直方图特征用于对目标的描述，并与支持向量机(SVM)结合，实现对不同目标的分类识别任务。

Claims (1)

1.一种基于轮廓差异及区块主方向直方图的前景与特征提取方法，其特征在于：具体步骤如下：

A：获取一副干净的，没有运动目标的背景图像，提取其轮廓梯度信息；同时，对于当前视频帧，用相同的方法提取其轮廓梯度信息；

B、将第一步中得到的当前帧与背景图像的轮廓梯度图有条件相减，即得到保留前景运动目标轮廓梯度的信息，而背景轮廓信息被有效去除；

C、对第二步中得到的前景目标轮廓进行归类处理，连通在一起的轮廓像素归为同一类，并用方框分别框出，这样每个框即对应一个前景目标；后续步骤将分别对每个框计算其基于区块主方向的梯度直方图特征；

D、对每个框，将其分成多个区块，对每个区块分别计算其主梯度方向；

E、进一步对第四步中的每个区块分成多个更小的方格，对每个方格中的每一个像素，提取其去背景梯度信息，即当前帧对应像素点位置与背景图片对应像素点位置的梯度值之差；

F、在每个方格中，利用像素点的去背景梯度信息建立梯度直方图；其中，每个像素点在直方图中的权重由其去背景梯度与该像素点所在的区块的主梯度差异决定；将不同方格的直方图级联起来，即可得到描述运动目标的基于区块主方向的梯度直方图特征；

在步骤A中，获取一副干净的、没有运动目标的背景图像步骤通过从视频中直接取一幅没有前景运动目标的背景图得到，或通过滑动平均背景建模法来恢复一个干净的街道模型；其中，滑动平均背景建模法是指：

B_t＝(1-α)·B_t--1+α·I_t

其中B_t表示t时刻的背景图像，B_t--1表示上一时刻的背景图像，I_t表示t时刻的输入视频帧的灰度图像，α是权值；

在步骤B中，所述的当前帧与背景图像轮廓梯度信息图有条件相减的具体过程由下式定义：

其中C_diff是有条件相减以后只保留前景运动目标轮廓的梯度图，C_cur和C_back分别是当前帧以及背景图像的梯度图，C(i,j)为梯度图C上像素(i,j)的梯度值；T为一个预设的阈值；

在步骤C中，对步骤B得到的前景目标轮廓进行归类处理，是指采用对前景运动物体的梯度图上的轮廓像素进行连通区提取的方法进行归类处理，即先对轮廓图进行膨胀和腐蚀的操作，然后把在膨胀腐蚀后的轮廓图中连通在一起的像素归为一类；同时，去除面积较小的连通区以去除可能的噪声连通区；

在步骤D中，所述的区块主梯度信息进行如下计算：假设主梯度方向由(x_m,y_m)表示，x_m表示区块横轴方向主梯度强度，y_m表示区块纵轴方向主梯度强度；具体计算方法如下：其中x_m方向主梯度通过区块右边一半像素灰度值之和与区块左边一半像素灰度值之和的差得到；区块y_m方向主梯度信息计算通过区块下边一半像素灰度值之和与区块上边一半像素灰度值之和的差得到；

在步骤E中，所述的去除背景后的梯度信息通过下式所计算：

其中，C_db(i,j)是第(i,j)个像素点的最终去背景梯度值，C_diff(i,j)是步骤B得到的第(i,j)个像素点初步的去背景梯度值，C_cur(i,j)是当前帧在第(i,j)个像素点的梯度值，l为邻域范围；

在步骤F中，所述的基于区块主方向建立的当前小方格梯度直方图可由下式得到：

$h\left(k\right)=\underset{\arctan \left(y_c\right(i,j)/x_c(i,j\left)\right)\&Element;A\left(k\right)}{\mathrm{\&Sigma;}}w(i,j)\&times;C_{db}(i,j)$

其中，h(k)是方格直方图中第k个槽(bin)的值，A(k)是直方图中属于第k个槽(bin)的梯度方向范围；arc tan(y_c(i,j)/x_c(i,j))是(i,j)像素点对应的梯度方向角；C_db(i,j)是第五步中得到的(i,j)点的去除背景后的梯度值；w(i,j)是当前小方格中第(i,j)个像素的重要性权值，w(i,j)由下式得到；

$w(i,j)=\frac{1}{|x_m-x_c(i,j)|+|y_m-y_c(i,j)|+1}$

其中，w(i,j)是当前小方格中(i,j)像素点在直方图中的权重值；(x_m,y_m)是小方格所在区块的主梯度方向并由在步骤D计算得到；(x_c(i,j),y_c(i,j))是当前小方格中(i,j)像素点对应的梯度方向；

从步骤A到步骤C所描述的内容单独使用用于提取目标前景；

从步骤D到步骤F所描述的基于区块主方向的梯度直方图特征提取单独使用，并与高斯混合模型结合，即基于高斯混合模型的结果进行基于区块主方向的梯度直方图的特征提取；

步骤F得到的基于区块主方向的梯度直方图特征用于对目标的描述，并与支持向量机结合，实现对不同目标的分类识别任务。