CN103024247A - 一种基于改进块匹配的电子稳像方法 - Google Patents

Abstract

本发明属于光电技术领域，具体公开一种基于改进块匹配的电子稳像方法，包括以下步骤：(1)图像预处理；(2)建立运动估计模型；(3)匹配准则；(4)搜索图像；(5)对搜索到的图像进行匹配图像块选择；(6)运动补偿，实现稳像。本发明的方法的稳像精度可以达到亚像素级别，同时具有很高的可靠性、稳定性和很强的适应性，可以处理几乎任何情况下的序列图像，包括旋转、轻微畸变、背景有大面积变化以及剧烈的无规则抖动。

Description

一种基于改进块匹配的电子稳像方法

技术领域

本发明属于光电技术领域，具体涉及一种基于改进块匹配的电子稳像方法。 

背景技术

电子稳像是一种利用高性能的图像信号处理器，对摄像机输入的图像信号直接处理，利用帧间图像内容的差异估计摄像机平台的运动矢量，并进行运动补偿以稳定序列图像的技术。与传统的机械稳像和光学稳像相比，电子稳像的优点是易于操作，硬件少、体积小、精度高、灵活性强、智能化程度高，一旦其关键技术得到突破，形成的实用装置或产品，将广泛用于各种成像平台，包括车载、机载和空载成像系统，并且在民用方面有着十分广阔的应用前景，如机器人、家用摄录机、电影制作等。 

电子稳像系统主要是由图像预处理、运动估计和运动补偿三部分组成，重点和难点在于运动估计。目前运动估计算法归纳起来主要有：灰度投影法块匹配法、梯度法和块匹配法。灰度投影法的缺点是要求图像灰度变化丰富，不能处理具有旋转的图像序列。梯度法的缺点是在帧间位移大于5个像素的情况下匹配正确率严重下降。块匹配法简单使用，稳定性很高，它的精度和复杂度与块的大小、布局及搜索范围、搜索方法有关。 

目前的块匹配法广泛用于视频编码领域，图像帧间运动矢量较小，可检测运动矢量约为7个像素，而电子稳像系统的相邻帧图像间的运动矢量可达40个像素，块匹配算法显然无能为力，同时图像块大小选择也不适合电子稳像算法。 

发明内容

本发明的目的在于提供一种基于改进块匹配的电子稳像方法，该方法的稳 像精度可以达到亚像素级别，同时具有很高的可靠性、稳定性和很强的适应性。 

实现本发明目的的技术方案：一种基于改进块匹配的电子稳像方法，包括以下步骤： 

(1)图像预处理； 

(2)建立运动估计模型； 

(3)匹配准则； 

(4)搜索图像； 

(5)对搜索到的图像进行匹配图像块选择； 

(6)运动补偿，实现稳像。 

所述的步骤(1)包括以下步骤： 

(1.1)检测环境明暗的瞬时变化引起相邻帧图像像素强度的变化； 

(1.2)消除环境明暗的瞬时变化引起相邻帧图像像素强度的变化。 

所述的步骤(2)包括以下步骤： 

(2.1)建立局部运动矢量时的平移模型； 

(2.2)建立全局运动矢量时的仿射变换模型。 

所述的步骤(3)中的匹配准则采用最小平均绝对差准则。 

所述的步骤(4)中图像搜索的步骤具体如下： 

(4.1)以中心点为起始点，按步长4或5依次检测各个搜索点，用步骤(3)中的匹配准则做检测判据，最小平均绝对差最小的点为第一步搜索的匹配点。 

(4.2)以第一步搜索的匹配点为中心点，以3为步长，依次比较与中心点临近的8个点最小平均绝对差值，最小的为第二步搜索的匹配点。 

(4.3)以第二步搜索的匹配点为中心点，以1为步长，依次比较与中心点临近的8个点最小平均绝对差值，最小的点即为最佳匹配点。 

所述的步骤(5)中进行匹配图像块选择的具体步骤如下： 

(5.1)选择图像块的大小； 

(5.2)选择匹配准确的图像块。 

所述的步骤(5.2)中确定匹配准确的图像块的具体步骤如下： 

(5.2.1)在上述匹配图像块的选取偏移矢量相等的点：当图像旋转角度a小于等于10°，同一水平线/或垂直线上的点在水平/或垂直方向的偏移矢量相等； 

(5.2.2)对上述步骤(5.2.1)中选取的偏移矢量相等的点进行数据处理，找到好的匹配点：用中心数据保留法处理得到的每一行和每一列的数据，挑出在行和列上好的匹配点，只有在行和列方向匹配都准确的点才是好的匹配点； 

(5.2.3)将上述步骤(5.2.2)得到的好的匹配点的坐标带入仿射变换模型，用正交约化的方法求解方程组的最小二乘解，再用中心数据处理法处理，得到全局运动矢量，则稳像精度达到亚像素级别。 

所述的步骤(5.2.2)中的中心数据保留法的具体步骤如下： 

对一组数值应该相同的数据a_i，求取均值 

和方差d，满足 

数值给予保留；此方法循环进行，直至方差小于某一值，此时保留下来的数据称为好的数据，即这些点为好的匹配点； 

若最后保留下来的数据个数少于总数的1/3，则判定这一组数据全部是坏的数据。 

所述的步骤(6)的运动补偿的具体步骤如下： 

(6.1)获取偏移矢量p₀； 

(6.2)获取当前帧图像I₀(m，n)的补偿参数 

其中，i＝1，2，...9， 

p_n为第n帧图像相对于第n-1帧图像的偏移矢 量。 

(6.3)重排图像像素，实现稳像。 

本发明的有益技术效果：本发明在块匹配的基础上，通过合理选择图像块的大小、位置，改进搜索方法，优化数据处理方案：在参考帧图像中提取若干小块，在当前帧图像中搜索每一小块的最佳匹配位置，获得每一小块的局部运动矢量，再根据局部运动矢量求得全局运动矢量，从而得到补偿参数以稳定图像。该方法的稳像精度可以达到亚像素级别，最大可检测偏移量达到±30个像素，同时具有很高的可靠性、稳定性和很强的适应性，可以处理几乎任何情况下的序列图像，包括旋转、轻微畸变、背景有大面积变化以及剧烈的无规则抖动等。本发明的方法主要应用于不稳定的摄像机平台，如车载、船载和吊舱摄像机平台的稳像；主要目的是处理有抖动、旋转、轻微畸变、背景有变化的电视序列图像，输出适合人眼观看的稳定视频图像。 

附图说明

图1为本发明所提供的三步搜索法第一步搜索点模板的示意图； 

图1中：临近中心的八个搜索点的步长为4，其余搜索点的步长为5，搜索范围可随意扩展； 

图2为本发明所提供的中心数据保留法的示意图； 

图3为本发明所提供的双线性内插法重排图像像素法的坐标示意图。 

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。 

一种基于改进块匹配的电子稳像方法，包括以下步骤： 

(1)图像预处理 

电子稳像的对象是清晰的序列图像。对于清晰的图像，环境明暗的瞬时变化将引起相邻帧图像像素强度的变化，这将引起块匹配算法稳定性的下降，所以有必要检测环境明暗的瞬时变化引起相邻帧图像像素强度的变化并消除它。 具体步骤如下： 

(1.1)检测环境明暗的瞬时变化引起相邻帧图像像素强度的变化 

先求出前后两帧图像的像素均值a₁和a₂： 

$a_1=\left(\underset{m=1}{\overset{M/2}{\mathrm{\Σ}}}\underset{n=1}{\overset{N/2}{\mathrm{\Σ}}}I(2m,2n)\right)/(\mathrm{MN}/4)---\left(1\right)$

$a_2=\left(\underset{m=1}{\overset{M/2}{\mathrm{\Σ}}}\underset{n=1}{\overset{N/2}{\mathrm{\Σ}}}J(2m,2n)\right)/(\mathrm{MN}/4)---\left(2\right)$

其中M和N分别为图像的长度和宽度，I(2m，2n)为前帧图像坐标(2m，2n)处的像素值，J(2m，2n)为后帧图像坐标(2m，2n)处的像素值。如果若|a₁-a₂|＞10，则认为环境明暗变化明显，需要消除这种变化。 

(1.2)消除环境明暗的瞬时变化引起相邻帧图像像素强度的变化 

若|a₁-a₂|＞10，则需要做如下处理：J(m，n)＝J(m，n)*a₁/a₂。其中J(m，n)为后帧图像(m，n)处的像素值。 

(2)建立运动估计模型 

首先求出局部运动矢量，然后根据局部运动矢量求取全局运动矢量。 

块匹配算法假定同一图像块内的像素具有一致的运动矢量，所以在求局部运动矢量时采用简单的平移模型，平移模型如下式(3)、(4)、(5)所示： 

I(m，n)＝J(m′，n′)    (3) 

其中I(m，n)当前帧图像像素值，J(m′，n′)为参考帧图像像素值。 

$\left[\begin{array}{c}{m}^{\′}\\ n^{\′}\end{array}\right]=\left[\begin{array}{c}m+d_1\\ n+d_2\end{array}\right]---\left(4\right)$

其中m′和n′为参考帧J(m′，n′)的位置坐标，与当前帧I(m，n)图像(m+d₁，n+d₂)处的像素值相等。 

p＝(d₁，d₂)    (5) 

其中，p为平移矢量，d₁和d₁从分别为水平和垂直方向上的运动矢量。 

求取全局运动矢量时采用仿射变换模型，仿射变换模型如下式(6)、(7)所示： 

$\left[\begin{array}{c}{m}^{\′}\\ n^{\′}\end{array}\right]\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}m\\ n\end{array}\right]+\left[\begin{array}{c}e\\ f\end{array}\right]---\left(6\right)$

其中m′和n′为参考帧J(m′，n′)的位置坐标，与当前帧I(m，n)图像  $\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}m\\ n\end{array}\right]+\left[\begin{array}{c}e\\ f\end{array}\right]$ 处的像素值相等。 

p＝(a，b，c，d，e，f)    (7) 

其中，p为变换参数，a，b，c，d，e，f分别为全局运动矢量的六个分量。 

先利用平移模型估计处局部运动矢量。得到局部运动矢量后再利用仿射变换模型估计处全局运动矢量。 

(3)匹配准则 

块匹配准则是判断块相似程度的依据，匹配准则的好坏直接影响了运动估计的精度，同时，匹配运算的速度也很大程度上取决于所采取的块匹配准则，因此选择合理的块匹配准则极为重要。 

匹配准则采用最小平均绝对差准则，其公式如下式(8)所示： 

$\mathrm{MAD}(d_1,d_2)=\frac{1}{\mathrm{MN}}\underset{(m,n)\∋B}{\mathrm{\Σ}}|I(m,n)-I(m+d_1,n+d_2)|---\left(8\right)$

其中，B表示块的大小M×N，I(m，n)为参考帧图像像素，I(m+d₁，n+d₂)为当前帧图像像素。 

运动矢量估计如下式(9)所示： 

$({\stackrel{\‾}{d}}_1,{\stackrel{\‾}{d}}_2)=\arg \min \mathrm{MAD}(d_1,d_2)---\left(9\right)$

得到不同图像块的MAD值后，选取最小的MAD值对应的图像块，该图像块的局部运动矢量即为 

(4)搜索图像 

本发明采用改进的三步搜索法进行图像搜索，它与传统三步搜索法区别只在第一步。传统三步搜索法第一步步长不固定，搜索范围大于±7个像素，步长过大，搜索容易陷入局部最小，使匹配的鲁棒性变差。如图1所示，改进后的三步搜索法第一步采用一固定模式，可以满足任意大小的搜索范围，且稳定性不变。 

如图1所示，图像搜索方法的三个步骤具体如下： 

(4.1)以中心点为起始点，按步长4或5依次检测各个搜索点，用步骤(3)中的匹配准则做检测判据，最小平均绝对差最小的点为第一步搜索的匹配点。 

(4.2)以第一步搜索的匹配点为中心点，以3为步长，依次比较与中心点临近的8个点最小平均绝对差值，最小的为第二步搜索的匹配点。 

(4.3)以第二步搜索的匹配点为中心点，以1为步长，依次比较与中心点临近的8个点最小平均绝对差值，最小的点即为最佳匹配点。 

(5)对上述步骤(4)中搜索到的图像进行匹配图像块选择，具体步骤如下： 

(5.1)选择图像块的大小 

图像块的形状使用正方形是比较自然的选择，这样既便于图像块的划分，又有利于块匹配准则函数的计算。关于图像块的大小，显然块越小，块内像素的一致性越高，但包含的有效信息量就少，容易造成误匹配；而块越大，匹配正确率越高，但会增加运算量，造成效率的降低。如何选择图像块的大小，成为一个难题。实验发现，三步搜索第一步采用13×13的匹配块效果比较好。第二步和第三步采用5×5的匹配块即可。 

(5.2)确定匹配准确的图像块 

在每帧图像上选取256个均匀分布的图像块，图像块的中心呈均匀网格状分布。本方法一共选择16×16个图像块，其中只要有50个位置匹配准确即可满足要求。而图像块的匹配准确率一般在50％-70％之间，关键是如何找到准确匹配的位置。如图2所示，确定匹配准确的图像块的方法的具体步骤如下： 

(5.2.1)在上述匹配图像块的选取偏移矢量相等的点 

应充分利用所选用的16×16个图像块的中心呈均匀网格状分布的特性，下面称匹配准确的图像块的中心为好的匹配点。如图2所示，当图像旋转角度a不很大(≤10°)时且有轻微畸变时，同一水平线(或垂直线)上的点在水平(或垂直)方向的偏移矢量近似相等，且这些点的误差要小于0.5个像素，可以认为这些点的偏移矢量相等。 

如图2所示，在图像旋转角度为a的情况下，A点和B点的水平偏移矢量近似相等，也就是说直线L上所有点的水平偏移矢量近似相等。当图像平移时，各个点的水平或垂直偏移矢量当然也相同。图2中C点为直径与圆周的交汇点。 

(5.2.2)对上述步骤(5.2.1)中选取的偏移矢量相等的点进行数据处理，利用中心数据处理法处理找到好的匹配点，具体步骤如下： 

用中心数据保留法处理得到的每一行和每一列的数据，挑出在行和列上好的匹配点，只有在行和列方向匹配都准确的点才是好的匹配点。中心数据保留法的具体步骤如下： 

对一组(例如16个点)数值应该相同的数据a_i(如何确定a_i)，求取均值 和方差d，满足 

数值给予保留。此方法循环进行，直至方差d小于某一值(例如1.2)，此时保留下来的数据称为好的数据。即这些数据对应的点为好的匹配点。 

若最后保留下来的数据个数少于总数的1/3，则判定这一组数据全部是坏的数 据；例如，当一组数据为16个时，数据个数少于6个，则判定这一组数据全部是坏的数据。 

(5.2.3)将上述步骤(5.2.2)得到的好的匹配点的坐标带入仿射变换模型，求解方程组，再用中心数据处理法处理，得到全局运动矢量 

得到好的对匹配点之后，将对应点坐标带入仿射变换模型(上述公式(6))，每六对对应点组成一个方程组，求解方程组，方程组的解即为全局运动矢量。 

为达到一定的稳像精度，本发明要求最少需要60个好是对应点。这样可以得到至少10个方程解，再用步骤(5.2)的中心数据处理法处理，就可以得到一个精确度很高的全局运动矢量，使稳像精度达到亚像素级别。 

(6)运动补偿，实现稳像 

为了在监视器上输出稳定视频图像，需要进行运动补偿，具体步骤如下： 

(6.1)获取偏移矢量p₀

从步骤(5.2.3)中得到的全局运动矢量即为当前帧图像I₀(m，n)相对于前一帧图像I_-1(m，n)的偏移矢量p₀。 

(6.2)获取当前帧图像I₀(m，n)的补偿参数，具体步骤如下： 

以I_-5(m，n)帧图像为参考帧，求出I_-4(m，n)到I₄(m，n)帧图像相对参考帧图像的偏移矢量t_i如下式所示： 

$t_i=\underset{n=-4}{\overset{i-4}{\mathrm{\Σ}}}{p}_n---\left(10\right)$

其中，i＝1，2，...9，p_n为第n帧图像相对于第n-1帧图像的偏移矢量。 

则当前帧图像I₀(m，n)的补偿参数为 

(6.3)用双线性内插法重排图像像素，就可以实现稳像的目的。 

如图3所示，(x′，y′)为补偿后得到的坐标值，(x，y)，(x+1，y)，(x，y+1)和(x+1，y+1)是(x′，y′)周围的四个坐标值，对应的灰度值分别是I(x，y)，I(x+1，y)，I(x，y+1)和I(x+1，y+1)。F1和F2代表了自身位置处的灰度值。我们的目的是求(x′，y′)处的灰度值I(x′，y′)。方便起见，记α＝x′-x，β＝y′-y，双线性插值法是先计算F1， 

为 

F1＝I(x，y)+β[I(x，y+1)-I(x，y)] 

  ＝(1-β)I(x，y)+βI(x，y+1) 

再计算F2，得 

F2＝I(x+1，y)+β[I(x+1，y+1)-I(x+1，y)] 

  ＝(1-β)I(x+1，y)+βI(x+1，y+1) 

最后计算I(x′，y′)，有 

I(x′，y′)＝F1+α(F2-F1) 

           ＝(1-α)F1+αF2 

           ＝(1-α)(1-β)I(x，y)+β(1-α)I(x，y+1) 

             +α(1-β)I(X+1，y)+αβI(x+1，y+1)    (11) 

公式(11)就是估计坐标灰度值的双线性插值法公式，双线性插值法计算量较大，但所得结果令人满意，重组精度为亚像素级别，没有灰度不连续的缺点，这也保证了稳像的精度。根据得到的补偿参数对图像进行双线性插值后，图像像素得到了重组，输出后即可得到稳定的视频图像。 

本发明的具体应用对象——车载电子稳像系统，其图像信号处理器硬件平台采用TI公司生产的TMS320C6416DSP构建。 

上面结合附图和实施例对本发明作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。本发明说明书中未作详细描述的内容均可以采用现有技术。 

Claims (9)

1.一种基于改进块匹配的电子稳像方法，包括以下步骤：

(1)图像预处理；

(2)建立运动估计模型；

(3)匹配准则；

(4)搜索图像；

(5)对搜索到的图像进行匹配图像块选择；

(6)运动补偿，实现稳像。

2.根据权利要求1所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(1)包括以下步骤：

(1.1)检测环境明暗的瞬时变化引起相邻帧图像像素强度的变化；

(1.2)消除环境明暗的瞬时变化引起相邻帧图像像素强度的变化。

3.根据权利要求2所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(2)包括以下步骤：

(2.1)建立局部运动矢量时的平移模型；

(2.2)建立全局运动矢量时的仿射变换模型。

4.根据权利要求3所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(3)中的匹配准则采用最小平均绝对差准则。

5.根据权利要求4所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(4)中图像搜索的步骤具体如下：

(4.1)以中心点为起始点，按步长4或5依次检测各个搜索点，用步骤(3)中的匹配准则做检测判据，最小平均绝对差最小的点为第一步搜索的匹配点。

(4.2)以第一步搜索的匹配点为中心点，以3为步长，依次比较与中心点临近的8个点最小平均绝对差值，最小的为第二步搜索的匹配点。

(4.3)以第二步搜索的匹配点为中心点，以1为步长，依次比较与中心点临近的8个点最小平均绝对差值，最小的点即为最佳匹配点。

6.根据权利要求5所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(5)中进行匹配图像块选择的具体步骤如下：

(5.1)选择图像块的大小；

(5.2)选择匹配准确的图像块。

7.根据权利要求6所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(5.2)中确定匹配准确的图像块的具体步骤如下：

(5.2.1)在上述匹配图像块的选取偏移矢量相等的点：当图像旋转角度a小于等于10°，同一水平线/或垂直线上的点在水平/或垂直方向的偏移矢量相等；

(5.2.2)对上述步骤(5.2.1)中选取的偏移矢量相等的点进行数据处理，找到好的匹配点：用中心数据保留法处理得到的每一行和每一列的数据，挑出在行和列上好的匹配点，只有在行和列方向匹配都准确的点才是好的匹配点；

(5.2.3)将上述步骤(5.2.2)得到的好的匹配点的坐标带入仿射变换模型，用正交约化的方法求解方程组的最小二乘解，再用中心数据处理法处理，得到全局运动矢量，则稳像精度达到亚像素级别。

8.根据权利要求7所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(5.2.2)中的中心数据保留法的具体步骤如下：

对一组数值应该相同的数据a_i，求取均值

和方差d，满足

数值给予保留；此方法循环进行，直至方差小于某一值，此时保留下来的数据称为好的数据，即这些点为好的匹配点；

若最后保留下来的数据个数少于总数的1/3，则判定这一组数据全部是坏的数据。

9.根据权利要求8所述的一种基于改进块匹配的电子稳像方法，其特征在于：所述的步骤(6)的运动补偿的具体步骤如下：

(6.1)获取偏移矢量p₀；

(6.2)获取当前帧图像I₀(m，n)的补偿参数

其中，i＝1，2，...9，

p_n为第n帧图像相对于第n-1帧图像的偏移矢量。

(6.3)重排图像像素，实现稳像。

Images