CN109102013B - 一种适于隧道环境特性的改进freak特征点匹配稳像方法 - Google Patents

Abstract

本发明涉及交通图像处理技术领域，公开了一种适于隧道环境特性的改进FREAK特征点匹配稳像方法，包括如下步骤：1)获取视频图像并建立参考帧；2)对视频图像进行多尺度高斯拟合；3)将拟合后的视频图像划分为多个子区域窗口；4)对各个个子区域窗口进行LPQ特征加权的灰度投影，获得多个行投影曲线与列投影曲线；5)根据步骤4)获得的行投影曲线与列投影曲线，估计抖动矢量，并利用抖动矢量修正当前图像帧。本发明从高速公路隧道实际环境出发，利用模糊鲁棒的LPQ特征加权增大了模糊图像像素间的灰度差值，并通过多尺度高斯估计修正了当前帧并改变了当前帧和背景帧投影曲线的局部差异，再基于多子区域窗口的思想提高了全局抖动矢量估计的准确性，最终形成一种适于隧道环境特性的改进FREAK特征点匹配稳像方法。

Description

一种适于隧道环境特性的改进FREAK特征点匹配稳像方法

技术领域

本发明涉及交通图像处理技术领域，具体涉及一种用于高速公路隧道视频的稳像处理方法。

背景技术

隧道内交通目标的准确提取，是隧道异常事件检测的关键。而在隧道场景中监控设备存在抖动，使得提取的车辆目标畸形、行人目标与背景连通，严重干扰了交通目标的有效提取。同时隧道图像存在画质模糊、车辆灯光等干扰也加大了隧道抖动视频稳像的难度，导致传统的稳像方法效果一般、针对性不强。因此，研究针对隧道环境特性的抖动视频稳像方法，对提高隧道内车辆、行人等交通目标的检测精度，具有重要的理论和实际意义。

阅读现有专利和论文，发现基于特征点匹配的视频稳像方法按选择特征点不同主要分为四类，即基于边缘类特征匹配的稳像方法、基于角点类特征匹配的稳像方法、基于浮点类特征匹配的稳像方法和基于二进制特征匹配的稳像方法。其中，对于基于边缘类特征匹配的稳像方法，如北京环境特性研究所申请的“基于海天分界线检测的舰载稳像方法”(CN：103514587B)，该类基于Canny算子检测边缘线，该类方法需要清晰的边缘线作为稳像基准，而模糊的隧道图像无法提取出连续的边缘线，难以应用该类方法实现稳像；对于基于角点类特征匹配的稳像方法，如大连理工大学申请的“一种嵌入式雾天实时视频稳像方法”(CN：105976330A)，该类方法的特征描述方式一般选用特征点本身或者邻域内像素灰度值来表示，缺乏对模糊图像和光照干扰的适应性，受干扰情况下稳像精度较低；对于基于浮点类特征匹配的稳像方法，如武汉工程大学申请的“一种基于SIFT特征匹配和VFC算法的电子稳像方法及系统”(CN：105306785A)和江南大学申请的“基于SURF与模糊聚类的视频稳像方法”(CN：106550173A)，这类方法按相应尺度划分邻域，通过各邻域块的八方向梯度直方图或水平垂直方向的一阶微分和、一阶绝对微分和组成的向量来描述特征，相比于前两类特征的描述方式，该类特征对尺度缩放、旋转、模糊以及光照变化等具有一定的鲁棒性，尽管如此，基于该类特征稳像方法耗时较大，实时性难以保证；对于基于二进制特征匹配的稳像方法，如北京理工大学申请的“基于特征匹配的全帧电子稳像方法”(CN：105872345A)和中国科学院上海技术物理研究所申请的“一种基于鲁棒性特征点的视频相机电子稳像方法”(CN：107343145A)，这类特征比较采样模板上像素点对的灰度值大小来获得0-1二进制特征描述子，在参考帧与当前帧的特征匹配环节中，0-1二进制特征仅需要简单的Hamming(汉明距离)距离计算即可快速完成特征配对过程，这些二进制特征在获得小于SIFT(ScaleInvariant Feature Transform)和SURF(Speeded-Up RobustFeatures)稳像精度的前提下可将速度提升十至百倍。

针对隧道环境下的视频图像存在多噪声、画质模糊、光照等干扰问题，本发明以实时性较高的基于二进制特征匹配的稳像方法为基础进行改进，二进制特征选择FREAK(FastRetina Keypoint)。首先针对模糊图像或车辆灯光干扰造成的FEEAK特征点误匹配率高的问题，本发明利用具有模糊和光照不变性的重组Hu不变矩过滤了部分满足FREAK特征四级匹配但邻域矩相似度较低的匹配对；在此基础上，针对融合重组Hu不变矩后计算量增加、实时性变差的问题，本发明基于距离约束的思想降低了特征点的聚集度，减少了重组Hu不变矩的计算数目；同时，针对因FREAK特征以及重组Hu不变矩自身局限性而无法剔除的误匹配对，本发明最后基于Hamming距离的最近邻与次近邻比值给特征匹配对排序，并采用顺序抽样一致性算法进一步筛选内点集以提高抖动矢量估计的准确性。

综合上面所述，本发明从高速公路隧道实际环境出发，利用模糊鲁棒和光照鲁棒重组Hu不变矩剔除相似度较低的FREAK误匹配对，并通过距离约束的方式限制特征点数量以降低计算量，再基于顺序抽样一致性算法和Hamming距离比的方式进一步提高了抖动矢量估计的准确性，最终形成一种适于隧道环境特性的改进FREAK特征点匹配稳像方法。该方法能有效稳定隧道视频流，合理抑制画质模糊、光照等干扰造成的抖动矢量估计误差，实现交通目标的准确提取，提高现有高速公路隧道交通目标提取的准确率。

发明内容

有鉴于此，本发明提供一种适于隧道环境特性的改进FREAK特征点匹配稳像方法。

本发明的目的是通过以下技术方案来实现的：

一种适于隧道环境特性的改进FREAK特征点匹配稳像方法，该方法包括以下步骤：

1)获取视频图像并建立参考帧；

2)对视频图像进行基于距离约束的FREAK特征提取；

3)对步骤2)获得的FREAK特征进行基于重组Hu不变矩的FREAK特征点匹配，获得特征匹配对集合；

4)基于Hamming距离比的顺序一致性抽样；

5)抖动矢量的估计及当前帧的修正，获得稳定当前帧。

进一步，所述步骤5)之后还有如下步骤：

6)背景图像及参考帧的更新，具体包括如下步骤：

61)利用步骤五中获取的稳定当前帧，建立背景模型；

62)对背景模型实时更新，并重新拷贝作为当前参考帧Img_bkg，并循环执行步骤2-5)。

进一步，所述步骤1)中还包括标定感兴趣区域的步骤；其余步骤均为对感兴趣区域进行处理。

进一步，所述步骤1)具体包括如下步骤：

11)从高速公路隧道摄像头获取视频图像，并标定感兴趣区域；

12)以视频流第一帧图像记为背景帧，并拷贝背景帧作为参考帧Img_bkg。

进一步，所述步骤2)具体包括如下步骤：

21)以参考帧Img_bkg的下一帧图像作为当前帧Img_cur；

22)在参考帧Img_bkg和当前帧Img_cur上分别提取FREAK特征点，记录FREAK特征点提取过程中的Harris角点响应值Res_harris，得到参考帧Img_bkg和当前帧Img_cur的FREAK特征点集合

和FREAK特征点集合

23)分别遍历参考帧Img_bkg和当前帧Img_cur对应的FREAK特征点集合

和FREAK特征点集合

剔除邻域距离为d范围内的非极大Harris响应值所对应的FREAK特征点，得到距离约束后的FREAK特征点集合

和FREAK特征点集合

进一步，所述步骤3)具体包括如下步骤：

31)分别计算FREAK特征点集合

和FREAK特征点集合

中所有特征点的四级描述符；

32)依据步骤31)获得的特征点的四级描述符，分级匹配FREAK特征点集合

和FREAK特征点集合

得到特征匹配对集合S_orig，并记录特征匹配对集合S_orig中各个匹配对匹配过程中的最近和次近Hamming距离；

33)分别计算特征匹配对集合S_orig中匹配对的重组Hu不变矩，并依据重组矩的相似度度量函数重新检验集合S_orig的特征配对情况，得到重组矩过滤后的特征匹配对集合S_m。

进一步，所述步骤4)具体包括如下步骤：

41)遍历重组矩过滤后的特征匹配对集合S_m，依据最近和次近Hamming距离的比值并从大到小对集合中匹配对排序，选择前n_p个特征匹配对重新组成新集合S'_m；

42)通过随机抽样一致性算法，迭代构造均属于内点且点数量超过阈值N_thre的集合C_k。

进一步，所述步骤5)具体包括如下步骤：

51)将集合C_k的特征匹配对代入仿射变换模型，基于最小二乘法估计抖动矢量参数向量

52)将上述估计的抖动矢量参数代入仿射变换模型，反向修正当前帧Img_cur，获得稳定后的当前帧。

由于采用了上述技术方案，本发明具有如下的优点：

针对隧道环境下的视频图像存在多噪声、画质模糊、光照等干扰问题，本发明以实时性较高的基于二进制特征匹配的稳像方法为基础进行改进，二进制特征选择FREAK。首先针对模糊图像或车辆灯光干扰造成的FEEAK特征点误匹配率高的问题，本发明利用具有模糊和光照不变性的重组Hu不变矩过滤了部分满足FREAK特征四级匹配但邻域矩相似度较低的匹配对；在此基础上，针对融合重组Hu不变矩后计算量增加、实时性变差的问题，本发明基于距离约束的思想降低了特征点的聚集度，减少了重组Hu不变矩的计算数目；同时，针对因FREAK特征以及重组Hu不变矩自身局限性而无法剔除的误匹配对，本发明最后基于Hamming距离的最近邻与次近邻比值给特征匹配对排序，并采用顺序抽样一致性算法进一步筛选内点集以提高抖动矢量估计的准确性。

综合上面所述，本发明从高速公路隧道实际环境出发，利用模糊鲁棒和光照鲁棒重组Hu不变矩剔除相似度较低的FREAK误匹配对，并通过距离约束的方式限制特征点数量以降低计算量，再基于顺序抽样一致性算法和Hamming距离比的方式进一步提高了抖动矢量估计的准确性，最终形成一种适于隧道环境特性的改进FREAK特征点匹配稳像方法。该方法能有效稳定隧道视频流，合理抑制画质模糊、光照等干扰造成的抖动矢量估计误差，实现交通目标的准确提取，提高现有高速公路隧道交通目标提取的准确率。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述：

图1是适于隧道环境特性的改进FREAK特征点匹配稳像方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

参见图1，本发明提供一种适于隧道环境特性的改进FREAK特征点匹配稳像方法，该方法包括以下步骤：

1)获取视频图像并建立参考帧；具体包括如下步骤：

11)从高速公路隧道摄像头获取视频图像，并手工标定图像中未包含隧道文字信息和时间文字信息的矩形区域为感兴趣区域，这能避免隧道文字信息和时间文字信息对抖动矢量估计的干扰，提高抖动矢量估计的准确性，同时也可有效减少FREAK特征点提取的数量，提高稳像方法时效性；

12)背景帧以视频流第一帧为基础，考虑第一帧图像为未发生抖动的图像。为了避免以前一稳定帧作为参考帧可能导致抖动矢量估计误差累计的问题，本发明以背景帧作为参考帧来估计当前帧与参考帧之间的相对位移，基于此，拷贝背景帧为参考帧Img_bkg。

2)对视频图像进行基于距离约束的FREAK特征提取；具体包括如下步骤：

21)以参考帧Img_bkg的下一帧图像作为当前帧Img_cur；

22)在参考帧Img_bkg和当前帧Img_cur上分别提取FREAK特征点，记录FREAK特征点提取过程中的Harris角点响应值Res_harris，得到参考帧Img_bkg和当前帧Img_cur的FREAK特征点集合

和FREAK特征点集合

23)分别遍历参考帧Img_bkg和当前帧Img_cur对应的FREAK特征点集合

和FREAK特征点集合

寻找该特征点d像素邻域内其余特征点{feat_j|,dis(i,j)≤d}，考虑该范围内Harris响应值最大的特征点最具有代表性，则只保留极大响应值特征点，剔除邻域距离为d范围内的非极大Harris响应值所对应的FREAK特征点，得到距离约束后的FREAK特征点集合

和FREAK特征点集合

3)对步骤2)获得的FREAK特征进行基于重组Hu不变矩的FREAK特征点匹配，获得特征匹配对集合；具体包括如下步骤：

31)分别计算FREAK特征点集合

和FREAK特征点集合

中所有特征点的四级描述符；

32)依据步骤31)获得的特征点的四级描述符，分级匹配FREAK特征点集合

和FREAK特征点集合

得到特征匹配对集合S_orig，并记录特征匹配对集合S_orig中各个匹配对匹配过程中的最近和次近Hamming距离；

33)分别计算特征匹配对集合S_orig中匹配对的重组Hu不变矩ζ_i’＝(ln|ψ₃|,ln|ψ₄|,ln|ψ₆|)和ζ_j'＝(ln|ψ₃|,ln|ψ₄|,ln|ψ₆|)，并依据重组矩的相似度度量函数重新检验集合S_orig的特征配对情况，得到重组矩过滤后的特征匹配对集合S_m；

其中ψ₃,ψ₄,ψ₆公式如下：

其中，φ₃,φ₄,φ₅,φ₇分别为Hu不变矩的分量，公式如下：

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₀₃+η₂₁)²

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₀₃+η₂₁)²]

+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₁₂+η₃₀)²-(η₂₁+η₀₃)²]

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₀₃+η₂₁)²]

-(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₀₃+η₂₁)²]

其中，η_pq表示归一化后的局部p+q中心矩，公式如下：

其中，μ_pq表示局部p+q阶中心矩，公式如下：

其中，colx和rowy分别表示局部区域的宽度和高度，I(x,y)表示二维离散图像中左边为(x,y)像素点的灰度值，坐标点

表示局部区域内的灰度质心，

m_pq表示为局部p+q阶原点矩，公式如下：

其中，colx和rowy分别表示局部区域的宽度和高度，I(x,y)表示二维离散图像中左边为(x,y)像素点的灰度值，p和q分别表示原点矩阶数；

34)依据重组矩的相似度度量函数重新检验集合S_orig的特征配对情况，遍历集合S_orig中所有匹配对，计算重组Hu不变矩的相似度，度量方式如下：

C(I_b,I_c)＝exp(-λ||ζ_b'-ζ_c'||₂)

若相似度C(I_b,I_c)小于阈值C_thre，则将匹配对加入过滤后的特征匹配对集合S_m。

4)基于Hamming距离比的顺序一致性抽样；具体包括如下步骤：

41)遍历重组矩过滤后的特征匹配对集合S_m，依据最近和次近Hamming距离的比值并从大到小对集合中匹配对排序，选择前n_p个特征匹配对重新组成新集合S'_m；

距离的比值R衡量特征匹配对的质量，比值R的公式如下：

其中，

与

分别为当前帧中特征点

的最近邻匹配与次近邻匹配，S_bkg为背景帧中待匹配特征点的集合，n_bkg为该集合中特征点的数目，

表示特征点间的Hamming距离，在此基础上按比值R由从大到小的顺序对集合中匹配对排序，并选择前n_p个特征匹配对重新组成新匹配对集合S'_m；

42)通过随机抽样一致性算法，迭代构造均属于内点且点数量超过阈值N_thre的集合C_k。具体步骤如下：

421)在新匹配对集合

中均匀随机地选择λ个匹配对，其中

和

均为特征点坐标向量，λ≥3；

422)将λ个匹配对代入仿射变换模型，通过最小二乘法求出6个待求模型参数向量

对于Ax＝b，最小二乘解为x＝(A^TA)^-1A^Tb，其中，仿射变换模型如下：

其中，(x_r,y_r)^T表示参考帧Img_bkg上某一像素点，(x_c,y_c)^T表示当前帧Img_cur上对应像素点，(b₁,b₂)^T表示当前帧相对于参考帧在水平和垂直方向需要平移的像素值，

为旋转参数；

423)设定误差阈值d_T，遍历匹配对集合S'_m，找出满足下式的匹配对：

其中，||·||表示欧几里得距离，k表示第k次的随机采样过程，满足误差阈值的匹配对放置在C_k集合中；

424)若集合C_k中所包含的特征匹配对数|C_k|大于阈值N_thre，则停止迭代过程，认为此时集合C_k中的匹配对均属于内点，否则继续按照a)至c)过程迭代至多L次；

425)若L次迭代后仍无法满足集合容量的阈值要求，可考虑采用前q大容量集合求取参量的均值

5)抖动矢量的估计及当前帧的修正，获得稳定当前帧；具体包括如下步骤：

51)将集合C_k的特征匹配对代入仿射变换模型，基于最小二乘法估计抖动矢量参数向量

52)将上述估计的抖动矢量参数

代入仿射变换模型，反向修正当前帧Img_cur，对于修正后出现的未定义边缘区域则可采用黑色块进行补偿，获得稳定后的当前帧。

6)背景图像及参考帧的更新，具体包括如下步骤：

61)利用步骤五中获取的稳定当前帧，建立背景模型；

62)对背景模型实时更新，采用基于像素变化率的背景更新方法，即连续三帧图像中变化率小于某一阈值的像素点以一定的更新率实时更新，并重新拷贝作为当前参考帧Img_bkg，并循环执行步骤2-5)。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (3)

1.一种适于隧道环境特性的改进FREAK特征点匹配稳像方法，其特征在于，该方法包括以下步骤：

1)获取视频图像并建立参考帧；

所述步骤1)中还包括标定感兴趣区域的步骤；其余步骤均为对感兴趣区域进行处理；

所述步骤1)具体包括如下步骤：

11)从高速公路隧道摄像头获取视频图像，并标定感兴趣区域；

12)以视频流第一帧图像记为背景帧，并拷贝背景帧作为参考帧Img_bkg；

2)对视频图像进行基于距离约束的FREAK特征提取；

所述步骤2)具体包括如下步骤：

21)以参考帧Img_bkg的下一帧图像作为当前帧Img_cur；

22)在参考帧Img_bkg和当前帧Img_cur上分别提取FREAK特征点，记录FREAK特征点提取过程中的Harris角点响应值Res harris，得到参考帧Img_bkg和当前帧Img_cur的FREAK特征点集合

和FREAK特征点集合

23)分别遍历参考帧Img_bkg和当前帧Img_cur对应的FREAK特征点集合

和FREAK特征点集合

剔除邻域距离为d范围内的非极大Harris响应值所对应的FREAK特征点，得到距离约束后的FREAK特征点集合

和FREAK特征点集合

3)对步骤2)获得的FREAK特征进行基于重组Hu不变矩的FREAK特征点匹配，获得特征匹配对集合；

所述步骤3)具体包括如下步骤：

31)分别计算FREAK特征点集合

和FREAK特征点集合

中所有特征点的四级描述符；

32)依据步骤31)获得的特征点的四级描述符，分级匹配FREAK特征点集合

和FREAK特征点集合

得到特征匹配对集合Sorig，并记录特征匹配对集合Sorig中各个匹配对匹配过程中的最近和次近Hamming距离；

33)分别计算特征匹配对集合Sorig中匹配对的重组Hu不变矩，并依据重组矩的相似度度量函数重新检验集合Sorig的特征配对情况，得到重组矩过滤后的特征匹配对集合Sm；

其中ψ3,ψ4,ψ6公式如下：

其中，φ3,φ4,φ5,φ7分别为Hu不变矩的分量，公式如下：

φ3＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ4＝(η₃₀+η₁₂)²+(η₀₃+η₂₁)²

φ5＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₀₃+₂₁)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₁₂+η₃₀)²-(η₂₁+η₀₃)²]

φ7＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₀₃+η₂₁)²]-(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₀₃+η₂₁)²]；

4)基于Hamming距离比的顺序一致性抽样；

5)抖动矢量的估计及当前帧的修正，获得稳定当前帧；

6)背景图像及参考帧的更新，具体包括如下步骤：

61)利用步骤5)中获取的稳定当前帧，建立背景模型；

62)对背景模型实时更新，并重新拷贝作为当前参考帧Img_bkg，并循环执行步骤2)-5)。

2.根据权利要求1所述的一种适于隧道环境特性的改进FREAK特征点匹配稳像方法，其特征在于，所述步骤4)具体包括如下步骤：

41)遍历重组矩过滤后的特征匹配对集合Sm，依据最近和次近Hamming距离的比值并从大到小对集合中匹配对排序，选择前n_p个特征匹配对重新组成新集合S'm；

42)通过随机抽样一致性算法，迭代构造均属于内点且点数量超过阈值Nthre的集合Ck。

3.根据权利要求2所述的一种适于隧道环境特性的改进FREAK特征点匹配稳像方法，其特征在于，所述步骤5)具体包括如下步骤：

51)将集合Ck的特征匹配对代入仿射变换模型，基于最小二乘法估计抖动矢量参数向量

52)将上述估计的抖动矢量参数代入仿射变换模型，反向修正当前帧Img_cur，获得稳定后的当前帧。

Images