CN103402045A - 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法 - Google Patents

Abstract

本发明公开了一种基于分区匹配和仿射模型相结合的图像去旋稳像方法，第一步，参考帧、当前帧的图像直方图均衡化处理；第二步，选择十字分布的四个区域和图像中心区域作为运动估计的匹配区域,不但运算量小、速度快，而且在图像同时存在平移和旋转运动时，具有良好的运动估计能力，帧间估计误差小于1个像素；第三步，建立仿射变换模型，求解当前帧运动矢量；第四步，建立kalman滤波模型，实现当前帧位移矢量的运动补偿；可高精度去除视频图像随机运动量，保留平台或载荷固有的扫描运动，增强动态图像序列的平稳性。本发明可有效地增强视频图像，抑制随机噪声。

Description

一种基于分区匹配和仿射模型相结合的图像去旋稳像方法

技术领域

本发明属于视频图像处理领域，特别是一种基于分区匹配和仿射模型相结合的机载图像的去旋转和电子稳像方法。

背景技术

飞机、汽车或者舰船等载体在运动过程中，姿态会不断发生变化，这些载体上的视频成像系统相对于拍摄的景物是振动的，获取的光学图像序列存在帧间抖动和旋转，从而导致图像信息不稳定、模糊，造成图像视觉质量的下降。这种不稳定的光学图像序列大大降低了图像监视、图像分析等视频应用的效能，因此稳定运动载体上拍摄的光学图像序列是必须解决的问题。

国外在电子稳像技术方面的研究已有30多年的历史，进入上世纪90年代以后，随着图像处理技术和计算机技术的迅猛发展，以美国和加拿大为首的一些西方国家率先采用稳定算法和图像重组的方法实现图像的稳定，如：加拿大DREV研究机构根据国防需求，研制成功了安装在侦察车10米高桅杆上实时监视系统中的电子稳像装置，其稳像速度达30帧/秒，稳像精度达到1个像元。由美军军事研究实验室ARL研制的应用于无人驾驶越野车上的稳像系统，其稳像精度优于1个像元。此外，日本、韩国在家用摄录机图像稳定技术上已进行了深入研究和开发。可以说，无论是在军事还是民用方面，电子稳像技术已越来越引起人们的重视。国内电子稳像技术的研究起步较晚，但是发展速度较快。1999年中国科学院长春光机所开始对电子稳像算法技术的原理和应用范围进行了研究，之后，国内自行研制的电子稳像设备开始应用于视频监控和机载侦察等领域。

电子稳像主要包括运动估计和运动补偿两个步骤，其中运动估计是关键，运动估计方法一般分为灰度匹配法和特征匹配法两类。边缘匹配、特征量跟踪和特征点匹配都属于特征匹配法，该方法匹配精度高，但计算量大，且在图像对比度较低，图像细节不明显时，容易出现失配现象。灰度匹配法运算量小、速度快、容易实现，但只能估计出图像帧间平移运动矢量，不能计算出图像旋转量。

为了实现运动载体上高精度视频稳像，应充分挖掘和利用视频序列图像中的各类信息。在机载或者车载快速运动平台上，帧间图像一般存在较明显的旋转运动，这种运动一般可以采用帧间图像的仿射变换进行描述。由目前公开发表的技术文献，综合利用图像局部运动特性和仿射变换模型进行电子稳像去旋的方法非常少，而基于分区投影匹配和仿射模型实现旋转图像的稳像方法未见公开技术报道。

发明内容

本发明的目的在于提供一种基于分区匹配和仿射模型相结合的图像去旋稳像方法，该方法通过对运动平台上视频图像旋转矢量和全局平移矢量进行求解，解决了存在旋转运动状态时的视频图像的电子稳像等技术问题。

为实现上述目的，本发明提供如下技术方案：

一种基于分区匹配和仿射模型相结合的图像去旋稳像方法，在摄像机平台运动过程中，基于光学传感器进行光学图像序列获取，同时还包括以下四步：

第一步，参考帧、当前帧的图像直方图均衡化处理：首先计算参考帧、当前帧的图像直方图，分别对参考帧、当前帧的图像直方图进行均衡化处理，把已知灰度概率分布的参考帧、当前帧图像，变换成具有均匀灰度概率分布的新图像；

第二步，分区匹配的区域选择：选择十字分布的四个区域和图像中心区域作为运动估计的匹配区域；

第三步，建立仿射变换模型，求解当前帧运动矢量

(1)构建图像仿射运动模型

    图像在二维坐标平面内点（x_i,y_i)绕原点旋转θ角，得到点（x_i,y_i)的变换公式如下

；

如果原点还有平移运动则用下面的变换公式来描述，假设△x和△y分别为该点在水平和垂直方向的位移量；则：

；

在旋转角度较小的时候化简为式

；

其中：θ≈sinθ,cosθ≈1；θ为正数，表示逆时针旋转；θ为负数，则是顺时针旋转；

(2) 区域图像灰度投影与相关匹配计算

对每一帧待处理的二维区域图像进行处理，映射成两个独立的一维矢量；采用归一化行投影和列投影两种方式；

归一化列投影算法如下： 

；

式中

为第k帧图像第m区域中第j列的灰度值，m=0,1,2,3,4,5；

是第k帧图像第m区域上（i,j)位置处的像素值；M、N分别为图像行数和列数；

 同理，归一化行投影算法为： 

；

式中

为第k帧图像第m区域中第i行的灰度值，m=0,1,2,3,4,5；是第k帧图像第m区域上（i,j)位置处的像素值；M、N分别为图像行数和列数；

 相关匹配计算：将当前帧待处理图像区域的列投影与参考帧对应图像区域的列投影作互相关运算，根据相关值曲线的唯一波峰所在位置，确定当前图像相对参考帧图像的行偏移量；同理，将当前帧待处理图像区域的行投影与参考帧对应图像区域的行投影作互相关运算，根据相关值曲线的波峰所在位置，确定当前图像相对参考帧图像的列偏移量；

（3）计算当前帧运动矢量

基于运动载体的光学图像序列，连续两帧间旋转角度θ及平移矢量较小，且帧间图像灰度变化也不大，因此为了满足实时要求，做如下合理假设：匹配区域的长和宽远大于旋转和平移量，图像中在垂直方向上的匹配区域忽略Y方向的平移运动，在水平方向上的匹配区域忽略X方向上的平移运动；因此，对上下两个匹配区域只做列投影以及列投影相关，计算出两个匹配块在水平方向的运动矢量；对左右两个匹配区域只做行投影以及行投影相关，计算出两个匹配区域在垂直方向的运动矢量；根据这四个运动矢量估计图像的运动参数；利用图像中心匹配区域的平移运动矢量代表整幅图像的平移运动矢量，并修正上述四个运动矢量，经补偿后只剩下旋转矢量，并且旋转中心在图像中心；最后，根据公式3计算当前帧图像旋转角度值；

第四步，建立kalman滤波模型，实现当前帧位移矢量的运动补偿

光学图像序列的运动矢量包含期望的主观运动和不期望的随机抖动，根据运动估计系统产生的运动参数对当前帧进行处理以去除随机抖动，同时保留图像的真实运动，输出稳定的图像序列；运动补偿方法是：通过对当前帧位移信号X(k),Y(k),θ(k)进行Kalman滤波，滤除随机运动，保留图像的真实运动；如果X(k),Y(k),θ(k)的Kalman滤波结果记为

则当前帧图像的运动补偿参数为：

；

根据对当前帧图像进行变换，实现当前帧图像的运动补偿。

作为本发明进一步的方案：第三步对上下两个匹配块做列投影，及列投影相关，计算出两个匹配块的水平方向的运动矢量△x_a、△x_c；对左右两个匹配块只做行投影，及行投影相关，计算出两个匹配块的垂直方向的运动矢量△y_b、△y_d；根据这四个运动矢量即可估计图像的旋转及平移矢量，假设五个匹配块的初始中心位置为(0,y_a)(x_b,0)(0,y_c)(x_d,0)(0,0)，因此，相对于参考帧的平移运动矢量可表示为

；

比较帧相对于参考帧的旋转运动矢量为

；                

此时相当于匹配块A和匹配块B经平移补偿后只剩下旋转运动，并且运动的中心在图像的中心；匹配块A和匹配块B旋转后的中心坐标为(△cx,y_a),(x_b,-△cy)，根据公式3，可计算两个匹配块的旋转角度θ_a、θ_b，因此，全局旋转角度为

。

作为本发明进一步的方案：第四步中建立kalman滤波模型的方法是：对水平和垂直方向的运动矢量，以及旋转矢量分别进行滤波，以水平方向绝对帧位移矢量X构建如下kalman滤波模型：

。

作为本发明进一步的方案：第四步中基于kalman滤波的运动补偿方法的实现步骤

预测

   

（2）计算预测误差方差阵

       

            

（3）计算Kalman滤波增益

     

（4）滤波处理

 

（5）计算滤波误差方差阵

（6）判断程序是否结束；否则，k=k+1，转到（1）。

本发明利用的基本原理是：针对运动载体上获取的光学图像序列，每隔一定帧（假设为n帧）选取一帧作为参考帧，然后求出后续每一帧（记为“当前帧”）相对于参考帧的分区匹配投影运动参数。选择参考帧和n取值大小的原则是图像清晰稳定，且参考帧与当前帧场景相似度大于50％。然后将上述分区运动参数代入仿射变换模型，解算出包含旋转信息的全局运动矢量。基于求得的全局运动矢量，利用kalman滤波模型进行逆向映射，从而实现图像序列的平移和旋转运动补偿。

与现有技术相比，本发明的有益效果是：

该方法在机载/车载光学成像应用系统中，一般采用的是长焦距成像，在高速运动时，成像过程不仅有平移运动，还包含旋转运动，特别是旋转运动对图像序列的稳定有着很大的影响，必须考虑对旋转运动的补偿。利用本发明可实现在高速车载/机载平台下高精度的图像增强和电子稳像，具体有益效果如下：

（1）本发明对图像序列进行直方图均衡，可有效地增强视频图像，抑制随机噪声。

（2）本发明选择图像十字分布四个区域匹配块分别估计每个局部匹配区域的运动矢量。不但运算量小、速度快，而且在图像同时存在平移和旋转运动时，具有良好的运动估计能力，帧间估计误差小于1个像素。

（3）基于kalman滤波模型进行当前帧位移矢量的运动补偿，可高精度去除视频图像随机运动量，保留平台或载荷固有的扫描运动，增强动态图像序列的平稳性。

附图说明

图1为基于分区匹配和仿射模型相结合的图像去旋稳像方法的流程示意图。

图2为参考帧图像匹配区域中心示意图。

图3为参考帧图像匹配区域示意图。

图4为当前帧图像匹配区域中心示意图。

图5为当前帧帧图像匹配区域示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中，一种基于分区匹配和仿射模型相结合的图像去旋稳像方法，在摄像机平台运动过程中，基于光学传感器进行光学图像序列获取，同时还包括以下四步：

第一步，计算图像直方图，分别对参考帧、当前帧图像直方图进行均衡化处理

数字图像中灰度级为r_k的像素出现的频率

；

式中N为一幅图像的总像素数，n_k是第k级灰度出现的次数，r_k表示第k个灰度级，P(r_k)表示r_k灰度出现的相对频数；

对该数字图像进行直方图均衡化时，对应的离散形式为：

；

对于灰度值分布范围窄的图像序列，灰度投影算法很难得到精确的匹配；而直方图均衡化把一已知灰度概率分布的图像，经过变换，使之演变成一幅具有均匀灰度概率分布的新图像；经过直方图均衡化的图像，其灰度级出现的相对概率相同，此时图像的熵最大，图像所包含的信息量也最大；有利于灰度投影匹配。

第二步，分区匹配的区域选择

全局图像匹配方法计算量很大，很难满足图像稳像设备实时处理的要求。本发明提出的分区投影匹配方法，主要目的是保证图像运动估计精度的基础上，减少运算量。同一帧图像内外侧局部图像区域相对于图像中心来说具有更大的线速度，基于此，本发明在进行运动估计时，请参阅图2-5，选择十字分布的四个区域（A区域、B区域、C区域、D区域）和图像中心区域（O区域）作为运动估计的匹配区域。

第三步，建立仿射变换模型，求解当前帧运动矢量

(2)构建图像仿射运动模型

    图像在二维坐标平面内点（x_i,y_i)绕原点旋转θ角，得到点（x_i,y_i)的变换公式如下

； 

如果原点还有平移运动则用下面的变换公式来描述，假设△x和△y分别为该点在水平和垂直方向的位移量。则：

；                              

在旋转角度较小的时候化简为式

；

其中：θ≈sinθ,cosθ≈1；θ为正数，表示逆时针旋转；θ为负数，则是顺时针旋转。

(2) 区域图像灰度投影与相关匹配计算

对每一帧待处理的二维区域图像进行处理，映射成两个独立的一维矢量；采用归一化行投影和列投影两种方式。

归一化列投影算法如下： 

；

式中

为第k帧图像第m区域中第j列的灰度值，m=0,1,2,3,4,5；

是第k帧图像第m区域上（i,j)位置处的像素值；M、N分别为图像行数和列数；

同理，归一化行投影算法为： 

；

式中

为第k帧图像第m区域中第i行的灰度值，m=0,1,2,3,4,5；

是第k帧图像第m区域上（i,j)位置处的像素值；M、N分别为图像行数和列数。

相关匹配计算：将当前帧待处理图像区域的列投影与参考帧对应图像区域的列投影作互相关运算，根据相关值曲线的唯一波峰所在位置，确定当前图像相对参考帧图像的行偏移量；同理，将当前帧待处理图像区域的行投影与参考帧对应图像区域的行投影作互相关运算，根据相关值曲线的波峰所在位置，确定当前图像相对参考帧图像的列偏移量。

（3）计算当前帧运动矢量

基于运动载体的光学图像序列，连续两帧间旋转角度θ及平移矢量较小，且帧间图像灰度变化也不大，因此为了满足实时要求，做如下合理假设：当匹配区域的长和宽远大于旋转和平移量时，图像中在垂直方向上的匹配区域忽略Y方向的平移运动，在水平方向上的匹配区域忽略X方向上的平移运动；因此，对上下两个匹配区域（A区域、C区域）只做列投影以及列投影相关，计算出两个匹配块在水平方向的运动矢量；对左右两个匹配区域（B区域、D区域）只做行投影以及行投影相关，计算出两个匹配区域在垂直方向的运动矢量；根据这四个运动矢量估计图像的运动参数。

利用图像中心匹配区域（O区域）的平移运动矢量代表整幅图像的平移运动矢量，并修正上述四个运动矢量，经补偿后只剩下旋转矢量，并且旋转中心在图像中心；最后，根据公式3计算当前帧图像旋转角度值。

实施例：机载/车载视频序列的连续两帧间旋转角度θ及平移矢量都很小，它给整个图像灰度带来的变化不大，而灰度投影算法又对平移运动具有很好的估计精度，因此在匹配块的长和宽远大于旋转和平移量时，其中包含的图像信息足以精确估计匹配块的局部位移量。在垂直方向上的匹配块可忽略Y方向的平移运动，在水平方向上的匹配块可忽略X方向上的平移运动。

请参阅图2-5，对上下两个匹配块（A区域、C区域）做列投影，及列投影相关，计算出两个匹配块的水平方向的运动矢量△x_a、△x_c；对左右两个匹配块只做行投影，及行投影相关，计算出两个匹配块的垂直方向的运动矢量△y_b、△y_d；根据这四个运动矢量即可估计图像的旋转及平移矢量，假设五个匹配块的初始中心位置为(0,y_a)(x_b,0)(0,y_c)(x_d,0)(0,0)，因此，相对于参考帧的平移运动矢量可表示为

；

比较帧相对于参考帧的旋转运动矢量为

；                   

此时相当于匹配块A和匹配块B经平移补偿后只剩下旋转运动，并且运动的中心在图像的中心；匹配块A和匹配块B旋转后的中心坐标为(△cx,y_a),(x_b,-△cy)，根据公式3，可计算两个匹配块的旋转角度θ_a、θ_b，因此，全局旋转角度为

；

第四步，建立kalman滤波模型，实现当前帧位移矢量的运动补偿

光学图像序列的运动矢量包含期望的主观运动和不期望的随机抖动，运动补偿的目的就是要根据运动估计系统产生的运动参数对当前帧进行处理以去除随机抖动，同时保留图像的真实运动，输出稳定的图像序列。

本发明提供的运动补偿方法是：通过对当前帧（第k帧）位移信号X(k),Y(k),θ(k)进行Kalman滤波，滤除随机运动，保留图像的真实运动；如果X(k),Y(k),θ(k)的Kalman滤波结果记为

;则当前帧图像的运动补偿参数为：

根据对当前帧图像进行变换，实现当前帧图像的运动补偿。

运动补偿方法的具体步骤如下：

（A）构建kalman滤波模型

对水平和垂直方向的运动矢量，以及旋转矢量分别进行滤波，以水平方向绝对帧位移矢量X为例构建如下kalman滤波模型：

；                         

（B）基于kalman滤波的运动补偿技术实现步骤

（1）预测

       

     

（2）计算预测误差方差阵

                   

（3）计算Kalman滤波增益

     

（4）滤波处理

 

（5）计算滤波误差方差阵

；

（6）判断程序是否结束；否则，k=k+1，转到（1）。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。 

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于分区匹配和仿射模型相结合的图像去旋稳像方法，其特征在于，在摄像机平台运动过程中，基于光学传感器进行光学图像序列获取，同时还包括以下四步：

第一步，参考帧、当前帧的图像直方图均衡化处理：首先计算参考帧、当前帧的图像直方图，分别对参考帧、当前帧的图像直方图进行均衡化处理，把已知灰度概率分布的参考帧、当前帧图像，变换成具有均匀灰度概率分布的新图像；

第二步，分区匹配的区域选择：选择十字分布的四个区域和图像中心区域作为运动估计的匹配区域；

第三步，建立仿射变换模型，求解当前帧运动矢量

(1)构建图像仿射运动模型

    图像在二维坐标平面内点（x_i,y_i)绕原点旋转θ角，得到点（x_i,y_i)的变换公式如下

；

如果原点还有平移运动则用下面的变换公式来描述，假设△x和△y分别为该点在水平和垂直方向的位移量；则：

；

在旋转角度较小的时候化简为式

；

其中：θ≈sinθ,cosθ≈1；θ为正数，表示逆时针旋转；θ为负数，则是顺时针旋转；

(2) 区域图像灰度投影与相关匹配计算

对每一帧待处理的二维区域图像进行处理，映射成两个独立的一维矢量；采用归一化行投影和列投影两种方式；

归一化列投影算法如下： 

；

式中

为第k帧图像第m区域中第j列的灰度值，m=0,1,2,3,4,5；

是第k帧图像第m区域上（i,j)位置处的像素值；M、N分别为图像行数和列数；

 同理，归一化行投影算法为： 

；

式中

为第k帧图像第m区域中第i行的灰度值，m=0,1,2,3,4,5；

是第k帧图像第m区域上（i,j)位置处的像素值；M、N分别为图像行数和列数；

 相关匹配计算：将当前帧待处理图像区域的列投影与参考帧对应图像区域的列投影作互相关运算，根据相关值曲线的唯一波峰所在位置，确定当前图像相对参考帧图像的行偏移量；同理，将当前帧待处理图像区域的行投影与参考帧对应图像区域的行投影作互相关运算，根据相关值曲线的波峰所在位置，确定当前图像相对参考帧图像的列偏移量；

（3）计算当前帧运动矢量

基于运动载体的光学图像序列，连续两帧间旋转角度θ及平移矢量较小，且帧间图像灰度变化也不大，因此为了满足实时要求，做如下合理假设：匹配区域的长和宽远大于旋转和平移量，图像中在垂直方向上的匹配区域忽略Y方向的平移运动，在水平方向上的匹配区域忽略X方向上的平移运动；因此，对上下两个匹配区域只做列投影以及列投影相关，计算出两个匹配块在水平方向的运动矢量；对左右两个匹配区域只做行投影以及行投影相关，计算出两个匹配区域在垂直方向的运动矢量；根据这四个运动矢量估计图像的运动参数；利用图像中心匹配区域的平移运动矢量代表整幅图像的平移运动矢量，并修正上述四个运动矢量，经补偿后只剩下旋转矢量，并且旋转中心在图像中心；最后，根据公式3计算当前帧图像旋转角度值；

第四步，建立kalman滤波模型，实现当前帧位移矢量的运动补偿

光学图像序列的运动矢量包含期望的主观运动和不期望的随机抖动，根据运动估计系统产生的运动参数对当前帧进行处理以去除随机抖动，同时保留图像的真实运动，输出稳定的图像序列；运动补偿方法是：通过对当前帧位移信号X(k),Y(k),θ(k)进行Kalman滤波，滤除随机运动，保留图像的真实运动；如果X(k),Y(k),θ(k)的Kalman滤波结果记为

则当前帧图像的运动补偿参数为：

；

根据

对当前帧图像进行变换，实现当前帧图像的运动补偿。

2.根据权利要求1所述的基于分区匹配和仿射模型相结合的图像去旋稳像方法，其特征在于，第三步对上下两个匹配块做列投影，及列投影相关，计算出两个匹配块的水平方向的运动矢量△x_a、△x_c；对左右两个匹配块只做行投影，及行投影相关，计算出两个匹配块的垂直方向的运动矢量△y_b、△y_d；根据这四个运动矢量即可估计图像的旋转及平移矢量，假设五个匹配块的初始中心位置为(0,y_a)(x_b,0)(0,y_c)(x_d,0)(0,0)，因此，相对于参考帧的平移运动矢量可表示为

；

比较帧相对于参考帧的旋转运动矢量为

；                

此时相当于匹配块A和匹配块B经平移补偿后只剩下旋转运动，并且运动的中心在图像的中心；匹配块A和匹配块B旋转后的中心坐标为(△cx,y_a),(x_b,-△cy)，根据公式3，可计算两个匹配块的旋转角度θ_a、θ_b，因此，全局旋转角度为

。

3.根据权利要求1所述的基于分区匹配和仿射模型相结合的图像去旋稳像方法，其特征在于，第四步中建立kalman滤波模型的方法是：对水平和垂直方向的运动矢量，以及旋转矢量分别进行滤波，以水平方向绝对帧位移矢量X构建如下kalman滤波模型：

。

4.根据权利要求1所述的基于分区匹配和仿射模型相结合的图像去旋稳像方法，其特征在于，第四步中基于kalman滤波的运动补偿方法的实现步骤

预测

   

（2）计算预测误差方差阵

       

            

（3）计算Kalman滤波增益

     

（4）滤波处理

 

（5）计算滤波误差方差阵

（6）判断程序是否结束；否则，k=k+1，转到（1）。

Images