CN103428408B - 一种适用于帧间的图像稳像方法 - Google Patents

Abstract

本发明公开了一种适用于帧间的图像稳像方法，该稳像方法是基于人眼视觉特性的感兴趣区域分块思想以及图像块的思想，图像分割成较少图像块的同时保留了全面的图像信息，减小了运算量并增强对图像变化敏感性，降低局部运动误判为全局运动的概率，从而改善图像质量；采用透视变换模型，准确的描述了运动变化情况，使稳像算法有了更广泛的适用性。

Description

一种适用于帧间的图像稳像方法

技术领域

本发明涉及图像稳像技术领域，具体涉及一种适用于帧间的图像稳像方法。

背景技术

电子稳像是集电子学、计算机、图像识别等技术于一体，确定图像序列帧间映射关系并进行补偿的新一代序列图像稳定技术，旨在消除视频序列中的随机运动。电子稳像技术的研究始于20世纪80年代中期。目前，稳像技术广泛应用于机器人远程遥控系统、无人车辆导航系统、视频侦察系统、导弹电视制导系统以及车载火控系统中的观瞄系统等，是电视精确制导、目标检测与跟踪的关键预处理技术，是移动成像系统不可缺少的一种重要视频增强技术。

电子稳像关键技术包括运动估计和运动校正。运动估计是提取由摄像机引起的场景背景的视在运动，即全局运动；而运动校正对全局运动区分为意向运动分量和随机运动分量，运用运动滤波算法消除随机运动分量的影响，计算补偿分量并进行补偿。

电子稳像运动估计技术目前研究最多的是基于图像块的方法和基于图像特征的方法。传统的基于图像块的方法基于全匹配搜索算法，计算量大，效率较低，一般来说，很难做到实时地稳像处理，在此基础上发展而成的图像代表点匹配算法在一定程度上减少了运算量，但是由于代表点是确定的,并非图像上有明显特征的点，因此对图像的变化不敏感，而且这两种方法存在共同的缺点，即只能针对平移运动。传统的基于图像特征的方法需要选取具有明显特征的点，受图像变化影响小，可以实现帧间的平移和旋转运动补偿，但是当特征过于集中于局部区域时,特征误匹配率高；且容易把局部物体的运动当成全局运动造成错误补偿。

此外，目前电子稳像的运动估计模型大多针对平移运动，而实际应用环境往往较为复杂，包含平移、水平扫动、垂直扫动、旋转、缩放等多种情况，平移运动模型不能完整地描述摄像机的运动特征。

综上所述，现有的电子稳像技术存在以下缺点：

(1)具有代表性的两大运动估计算法分别存在计算复杂、对图像变化不敏感和误匹配率高、易造成错误补偿的不足。

(2)运动模型简单，不能准确描述实际运动情况，适用性较差。

发明内容

有鉴于此，本发明提供了一种适用于帧间的图像稳像方法，能够有效消除视频序列中的图像帧间晃动，改善图像质量，同时具有更广泛的适用性。

本发明的一种适用于帧间的图像稳像方法，包括如下步骤：

步骤一：对当前帧图像提取视觉敏感点，基于视觉敏感点将图像划分为若干个感兴趣的区域，具体方法如下：

S101：将当前帧图像划分成7×7大小的区域，并计算每个区域的平均灰度值；

S102：搜索局部最大值点：

针对S101中划分的每一个区域，选取该区域的中心点作为邻域中心点，以3×3为邻域范围，判断该区域的平均灰度值是否大于或者等于邻域范围内的平均灰度值：如果是，则该区域中心点为局部最大值点，如果否，则该区域中心点不是局部最大值点；最后得到的N个局部最大值点定义为视觉敏感点；

S103：对感兴趣特征区域的标记及区域划分：

对S102中搜索到的每一个视觉敏感点按顺序进行标记；然后将当前帧图像划分为N个感兴趣区域，并确保每个感兴趣区域有且只有一个视觉敏感点；

步骤二：针对步骤一对当前帧图像划分的每一个感兴趣区域，采用SURF算法提取该感兴趣区域内的特征点，然后与参考帧图像中对应感兴趣区域内的特征点进行匹配，计算得到该感兴趣区域的对应特征点的运动参数，采用上述方法遍历当前帧图像的所有感兴趣区域，得到每个感兴趣区域的局部运动量；所述局部运动量包括8个当前帧相对于参考帧的运动参数，即为m₀～m₇：其中m₀表示尺度、m₁,m₃,m₄表示旋转量，m₂和m₅分别表示水平方向和垂直方向的平移量，m₆和m₇分别表示水平和垂直方向的变形量；

步骤三：针对步骤二获得的N组局部运动量中的每一个运动参数分别求均值，得到表征全局运动量的运动参数

步骤四：采用步骤一至步骤三的方法对获得的原始视频序列中的多个图像进行处理，分别得到全局运动量，然后采用递归Kalman滤波方法对全局运动量按照到达的时间顺序进行序贯滤波处理，得到经过滤波处理的八个参数后组成图像帧间透射变换关系矩阵，然后将该矩阵进行逆变换，得到逆矩阵将该逆矩阵与原图像做乘积运算，得到稳定的图像。

在所述步骤一的S102中搜索局部最大值点时，针对得到的N个局部最大值点，再判断局部最大值点个数N是否大于7：

如果N小于或等于7，停止搜索；

如果N大于7，将邻域范围以一个像素点为步进依次扩大，按照所述S102方法确定每个邻域范围内的局部最大值点，累计每个邻域范围对应的局部最大值点数N，并将该点数N与7进行比较，直到N小于或者等于7时，停止搜索，最终获得的局部最大值点为视觉敏感点。

本发明具有如下有益效果：

本发明的稳像方法是基于人眼视觉特性的感兴趣区域分块思想以及图像块的思想，图像分割成较少图像块的同时保留了全面的图像信息，减小了运算量并增强对图像变化敏感性，降低局部运动误判为全局运动的概率，从而改善图像质量；采用透视变换模型，准确的描述了运动变化情况，使稳像算法有了更广泛的适用性。

附图说明

图1为本发明的帧间图像稳像方法的流程图。

图2为本发明中划分的7个感兴趣区域示意图。

图3为本发明中对感兴趣区域采用SURF算法进行特征提取的流程图；

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种适用于帧间的图像稳像方法，该方法具体实现的步骤如下：

步骤一：基于人眼视觉特性，对当前帧图像提取视觉敏感点，基于视觉敏感点将图像划分为若干个感兴趣的区域：

传统的基于图像分块的方法，固然易于硬件实现且能够避免信息过于集中于某一局部图像区域，但是计算量大，难以实时处理，且对于存在大幅度旋转等情况下较难适用；而基于特征点的方法，当特征过于集中于局部区域时,特征误匹配率高。由于电子稳像的目的是便于人的观测，因此本发明中采用基于人眼视觉特性将图像划分为感兴趣区域块的思想，能够保证将图像分割成较少图像块的同时，保留最全面的图像信息。

S101：计算图像矩阵每个7×7区域的平均灰度值，计算公式如下：

u(m，n)＝[ΣΣ(f(m，n))]/49

其中，f(m,n)为点(m，n)的灰度值；u(m，n)为7×7区域内的灰度均值。

S102：搜索局部最大值点：

针对S101中划分的每一个区域，选取该区域的中心点作为邻域中心点，以3×3为邻域范围，判断该区域中心点是否为局部最大值点：

如果该区域的平均灰度值大于或者等于初始邻域范围内的灰度平均值则认为该区域的中心点为局部最大值点，局部最大值点个数N累计一次；否则局部最大值点个数N不累计；

按照上述方法对所有区域是否为局部最大值点判断完毕后，再判断局部最大值点个数N是否大于7：

如果N小于或等于7，停止搜索；

如果N大于7，将邻域范围以一个像素点为步进依次扩大，即邻域范围扩大为4×4、5×5、6×6……等，按照上述方法确定每个邻域范围内的局部最大值点，即先在4×4邻域范围内搜索，累计该邻域范围对应的局部最大值点数N，并将该点数N与7进行比较，如果N小于等于7，停止搜索；如果大于7，继续在5×5邻域范围内搜索，直到N小于或者等于7时，才停止搜索；

上述方法确定的N个局部最大值点定义为视觉敏感点；

需要说明的是，根据人的视觉敏感特性，一般只能注意到一幅图像中小于或等于7个敏感点，因此本发明的局部最大值点也要求小于或等于7个。

S103：对感兴趣特征区域的标记及区域划分：

对S102中搜索到的每一个视觉敏感点按顺序进行标记；然后将当前帧图像划分为N个感兴趣区域，并确保每个感兴趣区域有且只有一个视觉敏感点；

步骤二：针对当前帧图像中的每一个感兴趣区域，采用SURF算法提取该感兴趣区域内的特征点，然后与参考帧图像中对应感兴趣区域内的特征点进行匹配，计算得到该感兴趣区域的对应特征点的运动参数，采用上述方法遍历当前帧图像的所有感兴趣区域，得到每个感兴趣区域的局部运动量；所述局部运动量包括8个当前帧相对于参考帧的运动参数，即为m₀～m₇：其中m₀表示尺度、m₁,m₃,m₄表示旋转量，m₂和m₅分别表示水平方向和垂直方向的平移量，m₆和m₇分别表示水平和垂直方向的变形量；

则当前帧图像与参考帧图像的透视变换关系表示为：其中：表示参考帧的像素坐标，表示当前帧对应点的像素坐标；

为了提高计算速度，这里采用具有较好仿射不变性的SURF算法进行特征量的提取和匹配，得到各个区域的特征量的运动变化值，它反映了图像各有效区域的局部运动量。

利用SURF算法进行特征点的提取，步骤如下：

S201、利用下式计算选取的特征区域积分图像：

$I_{\mathrm{\Σ}}(x,y)=\underset{i=0}{\overset{i\≤x}{\Σ}}\underset{j=0}{\overset{j\≤y}{\Σ}}I(x,y)$

S202、构造尺度空间：

传统尺度空间变换，图像大小一直处于变换状态，相当于同一个高斯滤波器对不同大小的图像做卷积，而SURF算法中采用方框滤波器来近似高斯拉普拉斯算子，在构造尺度空间时，图像不变，只是改变方框滤波器的大小。

S203、获得候选关键点：

在极值检测时，需要把尺度空间中间层(除顶层和底层)中的每个点与同一尺度的周围邻域的8个像素和上下相邻尺度对应位置及其周围邻域的共9+9个像素，总共26个像素进行比较，如果该点为极大值或极小值，则确定为关键点，所有关键点的集合即为候选关键点。

S204、精确定位关键点：

对关键点的3D邻域进行采样，并利用采样点进行三维二次拟合的方法来实现精确定位。

空间尺度函数H(x,y,σ)在局部极值点(x₀,y₀,σ)处的泰勒展开式如下：

$H\left(x\right)=H+\frac{\∂H^T}{\∂x}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}H}{\∂x^2}X$

对上式求导，并令其为0，得到精确极值点对应的偏差

$X_{\max }=-{\frac{{\∂}^{2}H}{\∂x^2}}^{-1}\frac{\∂H}{\∂x}$

因此，可以得到精确的极值点位置为x₀+x_max，根据精确的极值点位置再剔除低对比度点和不稳定点。

S205、特征描述子生成：

在特征点选取一个与尺度相应的邻域，求出主方向，SURF选择圆形邻域，并且使用活动扇形的方法求出特征点主方向，以主方向对齐即完成旋转不变。以主方向为轴可以在每个特征点建立坐标，在特征点选择一块大小与尺度相应的方形区域分成64块，统计每一块的dx，dy，|dx|，|dy|的累积和，形成128维向量，再进行归一化则完成了对比度不变与强度不变。

S206、与参考帧进行特征点匹配，获得区域的特征点对集合：

(1)特征点匹配

(2)消除误匹配点。采用欧氏距离作为度量，当待匹配点与其最近邻及次紧邻的关键点的距离之比大于0.8时，我们认为是误匹配，剔除误匹配点后，共得到N(感兴趣区域数)组m对特征点对集合,用以求取局部运动量参数。

步骤三：针对步骤二获得的N组局部运动量中的每一个运动参数分别求均值，得到表征全局运动量的运动参数最终组成全局运动量参数矩阵：

$M=\left[\begin{array}{ccc}\stackrel{\‾}{m_0}& \stackrel{\‾}{m_1}& \stackrel{\‾}{m_2}\\ \stackrel{\‾}{m_3}& \stackrel{\‾}{m_4}& \stackrel{\‾}{m_5}\\ \stackrel{\‾}{m_6}& \stackrel{\‾}{m_7}& 1\end{array}\right];$

步骤四：采用步骤一至步骤三的方法对获得的原始视频序列中的多个图像进行处理，分别得到全局运动量，然后采用递归Kalman滤波方法对全局运动量按照到达的时间顺序进行序贯滤波处理，得到经过滤波处理的八个参数后组成图像帧间透射变换关系矩阵，然后将该矩阵进行逆变换，实现帧间稳像目的。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种适用于帧间的图像稳像方法，其特征在于，包括如下步骤：

步骤一：对当前帧图像提取视觉敏感点，基于视觉敏感点将图像划分为若干个感兴趣的区域，具体方法如下：

S101：将当前帧图像划分成7×7大小的区域，并计算每个区域的平均灰度值；

S102：搜索局部最大值点：

针对S101中划分的每一个区域，选取该区域的中心点作为邻域中心点，以3×3为邻域范围，判断该区域的平均灰度值是否大于或者等于邻域范围内的平均灰度值：如果是，则该区域中心点为局部最大值点，如果否，则该区域中心点不是局部最大值点；最后得到的N个局部最大值点定义为视觉敏感点；

S103：对感兴趣特征区域的标记及区域划分：

对S102中搜索到的每一个视觉敏感点按顺序进行标记；然后将当前帧图像划分为N个感兴趣区域，并确保每个感兴趣区域有且只有一个视觉敏感点；

步骤二：针对步骤一对当前帧图像划分的每一个感兴趣区域，采用SURF算法提取该感兴趣区域内的特征点，然后与参考帧图像中对应感兴趣区域内的特征点进行匹配，计算得到该感兴趣区域的对应特征点的运动参数，采用上述方法遍历当前帧图像的所有感兴趣区域，得到每个感兴趣区域的局部运动量；所述局部运动量包括8个当前帧图像相对于参考帧图像的运动参数，即为m₀～m₇：其中m₀表示尺度、m₁,m₃,m₄表示旋转量，m₂和m₅分别表示水平方向和垂直方向的平移量，m₆和m₇分别表示水平和垂直方向的变形量；

步骤三：针对步骤二获得的N组局部运动量中的每一个运动参数分别求均值，得到表征全局运动量的运动参数

步骤四：采用步骤一至步骤三的方法对获得的原始视频序列中的多个图像进行处理，分别得到全局运动量，然后采用递归Kalman滤波方法对全局运动量按照到达的时间顺序进行序贯滤波处理，得到经过滤波处理的八个参数后组成图像帧间透射变换关系矩阵:

然后将该矩阵进行逆变换，得到逆矩阵将该逆矩阵与原图像做乘积运算，得到稳定的图像。

2.根据权利要求1所述的一种适用于帧间的图像稳像方法，其特征在于，在所述步骤一的S102中搜索局部最大值点时，针对得到的N个局部最大值点，再判断局部最大值点个数N是否大于7：

如果N小于或等于7，停止搜索；

如果N大于7，将邻域范围以一个像素点为步进依次扩大，按照所述S102方法确定每个邻域范围内的局部最大值点，累计每个邻域范围对应的局部最大值点数N，并将该点数N与7进行比较，直到N小于或者等于7时，停止搜索，最终获得的局部最大值点为视觉敏感点。