CN107451574B - 一种基于类Haar视觉特征感知的运动估计方法 - Google Patents

Abstract

本发明涉及一种基于类Haar视觉特征感知的运动估计方法，与现有技术相比解决了视觉特征感知的普适性低、时间复杂度高的缺陷。本发明包括以下步骤：视频图像的获取和预处理；生成N维的类Haar特征提取模板；提取类Haar特征；度量特征距离；获得运动估计结果，根据特征距离最小化准则搜索两帧之间的匹配块，并根据匹配块的位移测算运动矢量。本发明在块匹配的技术框架下，采用一种多维随机采样策略对影像块进行类Haar视觉特征提取，保证了视觉特征感知的有效性和普适性。

Description

一种基于类Haar视觉特征感知的运动估计方法

技术领域

本发明涉及图像处理技术领域，具体来说是一种基于类Haar视觉特征感知的运动估计方法。

背景技术

随着科技进步和社会发展，智能视频监控技术已经在工农业生产、国防建设、商业、交通以及家庭安防等领域得到了广泛的应用，作为传输与存储的载体。

智能视频监控序列图像中运动目标的检测与跟踪的难点在于图像是从三维空间到二维平面的投影，本身存在信息损失，而且运动目标并不是一个确定不变的信号，它在跟踪的过程中会发生旋转、缩放、位移等多种复杂的变化，同时背景图像的嘈杂、目标自身的频繁出现和消失、不同目标之间具有相似的外表、多目标的相互遮挡以及光照的突然变化等，这些都是视频目标检测识别中经常遇到的难点，也是学者一直努力研究的热点。

经典Haar特征(Haar-like features)是用于物体识别的一种数字图像特征。历史上，提取Haar特征时直接使用图像的强度(就是图像每一个像素点的RGB值)进行统计计算，使得特征的计算强度很大。对此，帕帕乔治奥等人提出可以使用基于Haar小波的特征而不是图像强度计算特征。在此基础上，维奥拉和琼斯进而提出了Haar特征。

Haar特征使用检测窗口中指定位置的相邻矩形，计算每一个矩形的像素和并取其差值，然后用这些差值来对图像的子区域进行分类。一个与目标物体同样尺寸的检测窗口将在输入图像上滑动，在图像的每一个子区域都计算一个Haar特征。然后，这个差值会与一个预先计算好的阈值进行比较，将目标和非目标区分开来。

以上方法获取的Haar特征仅能支撑一个弱分类器(它的检测正确率仅仅比随机猜测强一点点)，为了达到一个可信的判断，就需要一大群这样的特征。当前技术背景下的Haar特征其最主要的优势是它的计算非常快速。通过使用积分图加速，任意尺寸的Haar特征可以在常数时间内进行计算。

一个矩形Haar特征可以定义为矩形中几个区域的像素和的差值，可以具有任意的位置和尺寸。这种特质也被称为2矩形特征。维奥拉和琼斯也定义了3矩形特征和4矩形特征，这个值表明了图像的特定区域的某些特性。每一个特征可以描述图像上特定特性的存在或不存在，比如边缘或者纹理的变化。兰哈切和梅迪提出了倾斜的(45°)Haar特征，这种对特征维度的扩充是为了提升对物体的检测。由于这些特征对一些物体的描述更为适合，这种扩充是有效的。

中国专利文献CN105447511A提出了一种结合上述传统Haar-like特征与支持向量机的目标检测方法，该方法通过训练正负样本，按照经典的Adaboost Haar-like方法训练出完整的级联强特征分类器，再把每个训练样本对应特征分类器中的特征值组成按一定顺序组成特征向量后去训练支持向量机分类器。但该方法存在一些问题：由于该方法采用多重训练学习的运算结构，算法的时间复杂度较高，难以满足实际应用中实时性要求；该方法的分类器采用描述能力较弱的经典Haar特征作为上游特征提取策略，检测方法的准确性与分类器的训练效果强相关，不具有多场景下效果的稳定性。

中国专利文献CN102637257A提出了一种视频中的动目标检测方法并将其应用于车辆检测与识别中，该动目标检测方法的核心在于在图像预处理后组合使用Haar边缘特征、Haar线性特征、Haar中心特征、Haar对角线特征、积分特征与梯度特征形成特征模板，然后进行基于Adaboost算法模式识别和SVM算法模式识别的特征匹配来进行识别被检测目标。该方法在车辆识别上取得了较好的效果。但该方法存在的问题是：采用特征种类较多，算法结构复杂，时间复杂度和空间复杂度较高，难以满足实时要求；特征模板是经典特征组合而成，模板描述目标特征的能力主要取决于目标特征与模板选择的匹配度，对于一些具有模板中包含的经典特征提取方法难以有效描述的特征的目标，此方法的识别准确率下降，因而此方法仅适用于车辆的检测识别，不具备迁移能力；此方法处理视频帧序列时的输入信息只与当前处理帧相关，对于视频信息的利用并不充分，因而其对目标的检测识别的快速性较差。

在传统的此类运动估计方法中，对图像块的特征描述具有方向限制，因此特征描述能力不强。此外，传统的帧间快速匹配策略一般采用全局逐节点搜索或者速度方向预估的方式，前者搜索可靠性高但计算量大、速度慢，不能满足实时性要求；后者虽然速度快，但搜索可靠性差。综上所述，现有的运动估计传统方法具有两方面的不足：(1)为增强普适性，视觉特征冗余度较高，且匹配算法的时间复杂度较高；(2)为提升效率，视觉特征与特定的预期目标物具有较强关联，因而不能有效检测其它类型的运动物体。因此如何利用Haar特征设计出一种用于图像处理中运动矢量计算(运动估计)的方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中视觉特征感知的普适性低、时间复杂度高的缺陷，提供一种基于类Haar视觉特征感知的运动估计方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于类Haar视觉特征感知的运动估计方法，包括以下步骤：

视频图像的获取和预处理，获取视频图像，将视频参考帧I_t和对比帧I_t+1均转化为灰度图，并均进行羽化处理；

生成N维的类Haar特征提取模板，使用N组参数来刻画一个图像块的类Haar特征提取模板；

提取类Haar特征，将视频参考帧I_t和对比帧I_t+1网格化为一系列等尺度的图像块，对视频参考帧I_t上的图像块、对比帧I_t+1上的图像块分别根据类Haar特征提取模板提取类Haar特征；

度量特征距离，通过距离度量函数计算视频参考帧I_t和对比帧I_t+1上两个网格区域的类Haar特征向量之间距离；

假设I_t上区域A与I_t+1上区域B的类Haar特征向量分别为V_a、V_b，特征向量V_a、V_b之间的距离度量函数定义如下：

dist(V_a，V_b)＝1-(V_a ^TV_b)/(||V_a||·||V_b||)；

获得运动估计结果，根据特征距离最小化准则搜索两帧之间的匹配块，并根据匹配块的位移测算运动矢量。

所述的生成N维类Haar特征提取模板包括以下步骤：

对于一个宽度范围为[X₀，X_f]、高度范围为[Y₀，Y_f]的矩形区域R，预定义两个常数L、H，

在值域[L，H]内取N个随机整数P_j，其中：j＝1、2、3、…、N；

对于随机整数P_j，在R内取P_j个位置和尺寸都随机产生的子区域{r_k|x_k，y_k，w_k，h_k}，k＝1、2、3…、P_j，其中(x_k，y_k)为子区域左上角的坐标，w_k为子区域的宽度，h_k为其高度，x_k、y_k、w_k、h_k分别为服从约束X₀<x_k<X_f、Y₀<y_k<Y_f、0<w_k<X_f-x_k、0<h_k<Y_f-y_k的随机整数；

得到N组描述子区域集合

的参数作为N维的类Haar特征提取模板。

所述的对视频参考帧I_t上的图像块根据类Haar特征提取模板提取类Haar特征包括以下步骤：

对于视频参考帧I_t上的图像块R_(i,t)内的子区域r_k，其中k＝1、2、3、…、p_j，设该子区域内所有像素点的灰度值总和B_k；

随机取c_k＝1或-1，并计算W_k＝c_k/p_j ^1/2,其中k＝1、2、3、…、p_j，将W_k作为权重序列，则R_(i,t)对于的类Haar特征向量为：

V_(i,t)＝sum(B_k×W_k)。

所述的获得运动估计结果包括以下步骤：

设视频参考帧I_t上的区域R_(i,t)的尺寸为W×H像素，依据目标背景复杂度取整数d倍矩形尺度作为步长建立平行网格，其中d<0.2×min(W,H)；

视频参考帧I_t与对比帧I_t+1进行帧间比对，在对比帧I_t+1上以R_(i,t)原始位置为中心，以a×W为长、以b×H为宽建立的矩形目标疑区，其中a、b为预定义的整数常量；

针对矩形目标疑似区内的各个网格区域以d为步长分别提取类Haar特征向量V_(j,t+1)，并按照度量函数计算V_(i,t)与V_(j,t+1)之间的特征距离dist_ij；

匹配点搜索，通过特征距离的比较找到极小值min(dist_ij)，则极小值min(dist_ij)对应的对比帧I_t+1网格顶点坐标为匹配位置；

在视频参考帧I_t与对比帧I_t+1的各个匹配位置间求取空间位移以测算出对应坐标的运动矢量，

假设对于I_t上某个网格的坐标为(x_i,y_i)并且其在I_t+1上的匹配位置为(x_j,y_j)，则(x_i,y_i)位置的运动矢量S_(i,j)的计算公式如下：

S_(i,j)＝(x_j-x_i,y_j-y_i)。

有益效果

本发明的一种基于类Haar视觉特征感知的运动估计方法，与现有技术相比在块匹配(Block Matching)的技术框架下，采用一种多维随机采样策略对影像块(Image Block)进行类Haar视觉特征提取，保证了视觉特征感知的有效性和普适性。在完成对视觉特征的提取与表达后，本发明以固定邻域形态搜索的策略降低了帧间比对的时间代价，使得能以较低的时间复杂度和空间复杂度来实现运动估计，可以满足实际应用中对运动目标检测算法实时性的需求。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于类Haar视觉特征感知的运动估计方法，将视频参考帧I_t和对比帧I_t+1转化为灰度图并进行羽化处理以消减成像噪声，从而抑制杂乱的误匹配。再将I_t和I_t+1网格化为一系列等尺度的块(Image Batch)，并对各个图像块分别以多维随机采样策略提取类Haar特征；采取固定邻域形态搜索策略，对分别属于I_t和I_t+1的类Haar特征向量进行距离计算，并根据特征向量间的距离衡量I_t和I_t+1上的两个图像块是否匹配；根据成对匹配的图像块之间的帧间位移量定义运动矢量。其包括以下步骤：

第一步，视频图像的获取和预处理。获取视频图像，将视频参考帧I_t和对比帧I_t+1均转化为灰度图，并均进行羽化处理。视频图像转化为灰度图可以降低帧间细微色彩带来的消极作用。羽化处理是用以消减成像噪声，抑制杂乱的误匹配。

第二步，生成N维的类Haar特征提取模板。使用N组参数来刻画一个图像块的类Haar特征提取模板。其具体步骤如下：

(1)对于一个宽度范围为[X₀，X_f]、高度范围为[Y₀，Y_f]的矩形区域R，预定义两个常数L、H，

在值域[L，H]内取N个随机整数P_j，其中：j＝1、2、3、…、N。

(2)对于随机整数P_j，在R内取P_j个位置和尺寸都随机产生的子区域{r_k|x_k，y_k，w_k，h_k}，k＝1、2、3…、P_j，

其中(x_k，y_k)为子区域左上角的坐标，w_k为子区域的宽度，h_k为其高度，x_k、y_k、w_k、h_k分别为服从约束X₀<x_k<X_f、Y₀<y_k<Y_f、0<w_k<X_f-x_k、0<h_k<Y_f-y_k的随机整数。

(3)得到N组描述子区域集合

的参数作为N维的类Haar特征提取模板。

第三步，提取类Haar特征。将视频参考帧I_t和对比帧I_t+1网格化为一系列等尺度的图像块，对视频参考帧I_t上的图像块、对比帧I_t+1上的图像块分别根据类Haar特征提取模板提取类Haar特征。通过将I_t和I_t+1网格化为一系列等尺度的块(Image Batch)，并对各个图像块分别以多维随机采样策略提取类Haar特征，保证了视觉特征感知的有效性和普适性。

其中，对视频参考帧I_t上的图像块根据类Haar特征提取模板提取类Haar特征的步骤如下：

(1)对于视频参考帧I_t上的图像块R_(i,t)内的子区域r_k，其中k＝1、2、3、…、p_j，设该子区域内所有像素点的灰度值总和B_k。

(2)随机取c_k＝1或-1，并计算W_k＝c_k/p_j ^1/2,其中k＝1、2、3、…、p_j，将W_k作为权重序列，则R_(i,t)对于的类Haar特征向量为：

V_(i,t)＝sum(B_k×W_k)。

在对比帧I_t+1上的图像块根据类Haar特征提取模板提取类Haar特征的步骤与此同理。

第四步，度量特征距离。根据余弦距离度量函数计算视频参考帧I_t和对比帧I_t+1上两个网格区域的类Haar特征向量之间的距离；

假设I_t上区域A与I_t+1上区域B的类Haar特征向量分别为V_a、V_b，特征向量V_a、V_b之间的距离度量函数定义如下：

dist(V_a，V_b)＝1-(V_a ^TV_b)/(||V_a||·||V_b||)。

第五步，获得运动估计结果。根据特征距离最小化准则搜索两帧之间的匹配块，并根据匹配块的位移测算运动矢量。在此，采取固定邻域形态搜索策略，对于属于I_t的图像块将在I_t+1上确定一个目标疑区，并对目标疑区内的图像块分别提取类Haar特征向量，并根据特征向量间的距离衡量I_t和I_t+1上的两个图像块是否匹配，再根据成对匹配的图像块之间的帧间位移量定义运动矢量。这样，以固定邻域形态搜索的策略降低了帧间比对的时间代价，使得方法能以较低的时间复杂度和空间复杂度来实现运动估计，可以满足实际应用中对运动目标检测算法实时性的需求。其具体步骤如下：

(1)设视频参考帧I_t上的区域R_(i,t)的尺寸为W×H像素，依据目标背景复杂度取整数d倍矩形尺度作为步长建立平行网格，其中d<0.2×min(W,H)。

(2)视频参考帧I_t与对比帧I_t+1进行帧间比对，在对比帧I_t+1上以R_(i,t)原始位置为中心，以a×W为长、以b×H为宽建立的矩形目标疑区，其中a、b为预定义的整数常量。a、b值域建议为[1，4]。

(3)针对矩形目标疑似区内的各个网格区域以d为步长分别提取类Haar特征向量V_(j,t+1)，并按照度量函数计算V_(i,t)与V_(j,t+1)之间的特征距离dist_ij。

(4)匹配点搜索，通过特征距离的比较找到极小值min(dist_ij)，则极小值min(dist_ij)对应的对比帧I_t+1网格顶点坐标为匹配位置。

(5)在视频参考帧I_t与对比帧I_t+1的各个匹配位置间求取空间位移以测算出对应坐标的运动矢量。

假设对于I_t上某个网格的坐标为(x_i,y_i)并且其在I_t+1上的匹配位置为(x_j,y_j)，则(x_i,y_i)位置的运动矢量S_(i,j)的计算公式如下：

S_(i,j)＝(x_j-x_i,y_j-y_i)。

本发明所采用的类Haar视觉特征感知方法与帧间快速匹配策略相结合，很好地克服了传统方法所存在的缺点。由于在类Haar特征计算模板中采用随机采样，由多处分块决定向量元素的方法，有效地提高了描述复杂视觉结构的能力。同时，本发明中提出的帧间快速匹配策略采用对固定形态邻域进行遍历方法，很好的兼顾了搜索的可靠性与快速性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于类Haar视觉特征感知的运动估计方法，其特征在于,包括以下步骤：

11)视频图像的获取和预处理，获取视频图像，将视频参考帧I_t和对比帧I_t+1均转化为灰度图，并均进行羽化处理；

12)生成N维的类Haar特征提取模板，使用N组参数来刻画一个图像块的类Haar特征提取模板；

13)提取类Haar特征，将视频参考帧I_t和对比帧I_t+1网格化为一系列等尺度的图像块，对视频参考帧I_t上的图像块、对比帧I_t+1上的图像块分别根据类Haar特征提取模板提取类Haar特征；

14)度量特征距离，通过距离度量函数计算视频参考帧I_t和对比帧I_t+1上两个网格区域的类Haar特征向量之间距离；

假设I_t上区域A与I_t+1上区域B的类Haar特征向量分别为V_a、V_b，特征向量V_a、V_b之间的距离度量函数定义如下：

dist(V_a，V_b)＝1-(V_a ^TV_b)/(||V_a||·||V_b||)；

15)获得运动估计结果，根据特征距离最小化准则搜索两帧之间的匹配块，并根据匹配块的位移测算运动矢量；所述的获得运动估计结果包括以下步骤：

151)设视频参考帧I_t上的区域R_(i,t)的尺寸为W×H像素，依据目标背景复杂度取整数d倍矩形尺度作为步长建立平行网格，其中d<0.2×min(W,H)；

152)视频参考帧I_t与对比帧I_t+1进行帧间比对，在对比帧I_t+1上以R_(i,t)原始位置为中心，以a×W为长、以b×H为宽建立的矩形目标疑区，其中a、b为预定义的整数常量；

153)针对矩形目标疑似区内的各个网格区域以d为步长分别提取类Haar特征向量V_(j,t+1)，并按照度量函数计算V_(i,t)与V_(j,t+1)之间的特征距离dist_ij；

154)匹配点搜索，通过特征距离的比较找到极小值min(dist_ij)，则极小值min(dist_ij)对应的对比帧I_t+1网格顶点坐标为匹配位置；

155)在视频参考帧I_t与对比帧I_t+1的各个匹配位置间求取空间位移以测算出对应坐标的运动矢量，

假设对于I_t上某个网格的坐标为(x_i,y_i)并且其在I_t+1上的匹配位置为(x_j,y_j)，则(x_i,y_i)位置的运动矢量S_(i,j)的计算公式如下：

S_(i,j)＝(x_j-x_i,y_j-y_i)。

2.根据权利要求1所述的一种基于类Haar视觉特征感知的运动估计方法，其特征在于，所述的生成N维类Haar特征提取模板包括以下步骤：

21)对于一个宽度范围为[X₀，X_f]、高度范围为[Y₀，Y_f]的矩形区域R，预定义两个常数L、H，

在值域[L，H]内取N个随机整数P_j，其中：j＝1、2、3、…、N；

22)对于随机整数P_j，在R内取P_j个位置和尺寸都随机产生的子区域{r_k|x_k，y_k，w_k，h_k}，k＝1、2、3…、P_j，其中(x_k，y_k)为子区域左上角的坐标，w_k为子区域的宽度，h_k为其高度，x_k、y_k、w_k、h_k分别为服从约束X₀<x_k<X_f、Y₀<y_k<Y_f、0<w_k<X_f-x_k、0<h_k<Y_f-y_k的随机整数；

23)得到N组描述子区域集合{{r_k}^pj}^N的参数作为N维的类Haar特征提取模板。

3.根据权利要求1所述的一种基于类Haar视觉特征感知的运动估计方法，其特征在于，所述的对视频参考帧I_t上的图像块根据类Haar特征提取模板提取类Haar特征包括以下步骤：

31)对于视频参考帧I_t上的图像块R_(i,t)内的子区域r_k，其中k＝1、2、3、…、p_j，设该子区域内所有像素点的灰度值总和B_k；

32)随机取c_k＝1或-1，并计算W_k＝c_k/p_j ^1/2,其中k＝1、2、3、…、p_j，将W_k作为权重序列，则R_(i,t)对于的类Haar特征向量为：

V_(i,t)＝sum(B_k×W_k)。

Images