CN103841296A - 一种具有大范围旋转及平移运动估计的实时电子稳像方法 - Google Patents

Abstract

一种具有大范围旋转及平移运动估计的实时电子稳像方法，它涉及具有大范围旋转及平移运动估计的实时电子稳像方法。本发明是为解决现有基于灰度信息的实时电子稳像方法无法对图像的大范围旋转运动进行准确估计，块匹配搜索算法无法准确对大范围的图像帧间旋转及平移运动进行估计，对灰度色调单一的抖动视频只采用块匹配稳像一种方法稳像效果不佳，鲁棒性弱的问题。稳像方法采用图像位平面金字塔中间层进行块匹配解算帧间旋转运动角度，采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，采用改进的六边形搜索算法进行搜索。本发明用于需进行大范围旋转及平移运动估计的实时电子稳像场合。

Description

一种具有大范围旋转及平移运动估计的实时电子稳像方法

技术领域

本发明涉及具有大范围旋转及平移运动估计的实时电子稳像方法，属于数字图像处理技术。

背景技术

安装在不稳定载体上的成像设备，载体的晃动会导致拍摄的视频图像出现抖动，严重影响观赏者的观看体验，在诸如机器人视觉、成像制导等场合，视频图像抖动会直接影响视频信息的后续处理。因此，抑制图像抖动，获得稳定的视频图像是高质量视频最基本的要求。

常用的视频图像抖动抑制方法有：光学稳像、机械稳像和电子稳像。前两种方法是基于传感器件对摄像机运动的测量，直接对镜头或CCD传感器进行运动补偿以抵消一部分载体抖动。而电子稳像是基于数字图像处理技术的一种视频稳定方案，较前两种方法，采用软件算法代替了运动测量元件和运动补偿装置，因此在成本、稳定性、体积方面均有明显优势。同时，移动处理芯片处理能力的大幅度提高也加速了电子稳像方法的应用。

电子稳像技术的主要结构流程包括图像运动估计、运动滤波和图像抖动补偿。在上述结构框架下，近些年来，许多研究者又提出了一些电子稳像新理论，或者从某些方面对现有稳像算法进行了改进。但总体而言，电子稳像方法按照图像运动估计方法的不同分为基于图像特征的电子稳像方法、基于光流信息的电子稳像方法和基于灰度信息的电子稳像方法。

基于图像特征或基于光流信息的电子稳像方法在进行运动估计时，需对图像的特征进行提取或者对灰度像素的运动进行微分求解，而基于灰度信息的电子稳像方法仅涉及到灰度信息的相关性计算。相比于前述两种电子稳像技术，基于灰度信息的电子稳像技术在算法的时间复杂度和空间复杂度上有明显优势，更有利于实时稳像场合下的应用。

块匹配电子稳像是一种常用的基于灰度信息的电子稳像方法，其主要原理是在待进行运动估计的图像上选择一定数量的灰度宏块，并通过一定的搜索策略在参考帧图像上找出最佳匹配位置，进而确定出待估计图像相对于参考帧图像的运动参数。上述过程中，灰度宏块的大小和数目是块匹配稳像速度的决定因素。为了减小上述因素的限制，一些学者又提出了一种基于图像位平面（Bit面）的运动估计方法，即利用图像在数字存储器中二进制存储的特点，构建图像位平面再进行块匹配。该基于图像位平面的运动估计过程由于仅涉及二值运算，算法的执行效率进一步得到了提高，而算法时间复杂度主要决定于最佳块匹配位置的搜索策略，常用的搜索策略为菱形搜索法。近些年又有学者提出一种六边形搜索算法，并且相同条件下六边形搜索算法具有更高的搜索效率，搜索时间是菱形搜索法的一半。

基于块匹配的稳像方法在运动估计过程中，无论采用上述何种搜索算法，常见的问题是搜索范围的局限性。具体体现为当图像帧间的运动量过大时，搜索过程常陷入局部最优，无法准确进行运动估计，所以限制了稳像算法的运动估计范围。上述问题主要是由于匹配块在离最佳匹配中心位置较远时相关程度低所导致的，即当图像帧间存在较大的运动时，待估计图像上的某一匹配块的取块位置也就是搜索的起始位置距离最佳匹配中心较远，这样在搜索过程中就容易进入局部最优匹配区域。对于位平面上的块进行最佳匹配位置搜索时，由于位平面本身包含图像信息量少，所以更容易出现上述问题。例如实验表明，采用大小为40X40的匹配块在位平面上进行六边形搜索，有效的搜索半径仅为5像素，所以当帧间存在大于5像素的抖动量时，这种方法就不在胜任。

采用块匹配进行图像运动估计，如何在所有块运动结果中剔除错误估计值决定了最终图像运动估计结果的准确性。出现错误块运动估计结果的主要原因是匹配块自身的位置选择不当，即这些取块位置常落在前景运动物体上或落于图像灰度色调单一区域，导致对应块运动估计错误。为了解决上述问题，本专利申请者曾在论文《大运动前景和旋转抖动视频快速数字稳定》中提出了一种基于图像位平面金字塔的自适应取块稳像方案，即首先在图像位平面金字塔顶层确定一种最佳的匹配块位置选择模式，利用此模式确定顶层位平面的运动，然后逐层传递以估计图像的最终运动参数。其中，在顶层确定最佳取块模式时，首先采用预设的取块模式1进行取块并进行块匹配，统计块匹配结果的一致性，若一致性指标超过某一阈值，则将此模式作为顶层最佳取块模式。否则换用预设取块模式2进行运动估计，同样对块运动结果进行统计分析。上述方法在一定程度上可以保证取块的合理性，能够避免图像某一区域中的大运动前景和单一色调块对于最终运动结果的不利影响。但是当单一色调灰度信息占视频图像大部分面积时，无论怎样进行取块，最终的块运动估计结果都无法满足良好的一致性，所以上述方案无法进行解决。

诸如上述基于块匹配的图像运动估计方法，其基本前提是假设块内像素运动的一致性，所以现有块匹配方法只能针对图像的平移运动进行估计，而没有给出确定的图像大范围旋转运动的估计方法。对于其它基于图像灰度信息的运动估计方法，如论文《ACircular-Projection Based Digital Image Stabilization Algorithm and Its Implementation forRotating Image Sequences》给出了一种采用圆周投影进行帧间旋转运动估计的新方法，即首先将图像进行极坐标转换，使图像的旋转运动转换为极坐标系下的平移运动。在此基础之上，将图像像素向极角轴上进行投影，采用投影相关匹配估计出图像的旋转角度。但是实际上，图像帧间的运动不仅包含旋转运动，同时还包括平移运动以及微小的放缩和切变。因此在进行圆周投影之后，投影曲线会发生畸变，不再是简单的平移关系，相关性变差，甚至出现不相关的情况。这样采用上述方法进行旋转运动估计，可能会产生错误的估计结果。

综上所述，对于现有基于灰度信息的实时电子稳像方法，主要存在以下问题：一、现有灰度处理算法无法对图像的大范围旋转运动进行准确估计；二、现有块匹配搜索算法无法适用于图像帧间存在大范围旋转或平移运动的情形；三、对灰度色调单一的抖动视频，只采用块匹配稳像一种方法，会使稳像效果不佳，鲁棒性弱。

发明内容

本发明是为解决现有基于灰度信息的实时电子稳像方法无法对图像的大范围旋转运动进行准确估计，块匹配搜索算法无法准确对大范围的图像帧间旋转及平移运动进行估计，对灰度色调单一的抖动视频只采用块匹配稳像一种方法稳像效果不佳，鲁棒性弱的问题，而提出一种具有大范围旋转及平移运动估计的实时电子稳像方法。

一种具有大范围旋转及平移运动估计的实时电子稳像方法按以下步骤实现：

步骤一、运动估计和运动滤波参数初始化；

步骤二、将实时获取的待处理视频图像存入输入视频帧缓冲区，更新输入视频帧缓冲区中的视频图像；

步骤三、将步骤二中存入输入视频帧缓冲区中的待处理视频的当前帧图像和与当前帧相邻的前一帧图像取出；

步骤四、将步骤三中获得的当前帧图像和与当前帧相邻的前一帧图像，采用图像位平面金字塔中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度，将得到的帧间旋转运动角度进行累加求取当前帧图像相对于视频首帧图像的绝对旋转运动角度，即：

${\mathrm{\Θ}}_k^{\mathrm{abs}}=\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\Θ}}_j$

公式中：

为当前帧设为第k帧的绝对旋转运动角度，ΔΘ_k为当前帧设为第k帧和与当前帧相邻的前一帧即第k-1帧的帧间旋转运动角度；

其中采用的图像位平面金字塔块中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度，其具体方法如下：

步骤四一、分别取当前帧和与当前帧相邻的前一帧图像的位平面金字塔中间层，其中，当前帧和与当前帧相邻的前一帧位平面金字塔中间层取对应图像灰度金字塔中间层的第7位平面；

步骤四二、对步骤四一中得到的当前帧图像位平面金字塔中间层，在平面中心位置对称选择m×m个匹配块，块的大小为N×N像素，其中N的具体数值根据图像分辨率确定；

步骤四三、对步骤四二中得到的m²个匹配块，采用改进的六边形搜索法将每一匹配块在与当前帧相邻的前一帧图像位平面金字塔中间层上进行匹配，得到m²个块位移估计矢量，即(Δx_i,Δy_i)(i=1,2,...,m²)；每一匹配块的位移矢量可以分解为由图像旋转运动引起的块位移矢量旋转分量，和由图像平移运动引起的块位移矢量平移分量即：

$({\mathrm{\Δx}}_i,{\mathrm{\Δy}}_i)=({\mathrm{\Δx}}_i^T+{\mathrm{\Δx}}_i^R,{\mathrm{\Δy}}_i^T+{\mathrm{\Δy}}_i^R)$

其中，(Δx_i,Δy_i)表示第i个匹配块的块位移估计矢量，

表示第i个匹配块的块位移矢量平移分量，

表示第i个匹配块的块位移矢量旋转分量；

步骤四三中采用的改进的六边形搜索算法进行搜索，具体步骤如下：

(1)、在取块位置即块搜索起始位置附近对称设置n×n个待搜索点，其中n的值是3、5或7，相邻搜索点之间的距离为l像素，其中l是大于4小于8的正整数，对于图像第7位平面上的搜索，实验得l取6时效果最好；

(2)、匹配块在(1)中得到的待搜索点上逐一计算相关匹配值，确定相关值最大时对应的待搜索点位置，相关匹配值的计算公式如下：

$\begin{array}{cc}C({\mathrm{\ΔX}}_i,{\mathrm{\ΔY}}_i)=-\frac{1}{\mathrm{WH}}\underset{w=1}{\overset{W}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{B}^{\mathrm{pre}}(w,h)\⊕B^{\mathrm{adj}}(w+\mathrm{\Δ}{X}_i,h+{\mathrm{\ΔY}}_i)& (i=\mathrm{1,2,3}...n^2)\end{array}$

公式中，(Δx_i,Δy_i)表示第i个待搜索点相对于搜索起点位置的相对坐标，B^pre(w,h)和B^adj(w+ΔX_i,h+ΔY_i)分别为当前帧图像上的匹配块和移动到第i个待搜索点处对应相邻帧上的匹配块；w、h分别表示匹配块的宽度和高度；

(3)、将(2)中得到的最大相关匹配值对应的待搜索点位置作为进行传统六边形搜索的初始位置，进行传统六边形搜索，即首先采用大六边形搜索模板进行搜索，直到大六边形搜索模板中心处的相关匹配值最大，然后在该大六边形模板中心位置附近采用小六边形搜索模板进行进一步搜索，最终确定匹配块的最佳匹配位置；

(2)和(3)中匹配块的总移动量作为一个块平移运动估计矢量；

步骤四四、将步骤四三中得到的m²个块位移估计矢量中的垂直分量和水平分量分别求和，由于图像旋转引起的块位移矢量旋转分量相互抵消，因此得到水平分量之和与垂直分量之和是仅由图像平移运动引起的块位移矢量平移分量之和，即：

$(\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δx}}_i,\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δy}}_i)=(\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{x}_i^T,\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{y}_i^T)$

公式中，

是m²个块位移矢量水平分量之和，

是m²个块位移矢量垂直分量之和，

为仅由图像平移运动引起的块位移矢量水平平移分量之和，

为仅由图像平移运动引起的块位移矢量垂直平移分量之和；

对上述块位移矢量水平分量之和与垂直分量之和求平均得到图像的平移运动矢量，即图像的平移运动矢量为：

$(\mathrm{\ΔMOVX},\mathrm{\ΔMOVY})=(\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δx}}_i}{m^2},\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δy}}_i}{m^2})$

公式中，(△MOVX,△MOVY)表示图像的平移运动矢量；

步骤四五、将步骤四三中得到的m²个块位移估计矢量分别减去步骤四四中得到的图像平移运动矢量，得到仅由图像旋转运动引起的块位移矢量旋转分量，即：

$({\mathrm{\Δx}}_i^R,\mathrm{\Δ}{y}_i^R)=({\mathrm{\Δx}}_i-\mathrm{\ΔMOVX},\mathrm{\Δ}{y}_i-\mathrm{\ΔMOVY})$

公式中，

表示第i个匹配块的仅由图像旋转运动引起的块位移矢量旋转分量；

步骤四六、将步骤四五中得到的m²个块位移矢量旋转分量，分别进行反三角函数运算得到m²个旋转估计角度，即：

${\mathrm{\θ}}_i=\arctan \left(\frac{(y_i+{\mathrm{\Δy}}_i^R)-y_0}{(x_i+{\mathrm{\Δx}}_i^R)-x_0}\right)-\arctan \left(\frac{y_i-y_0}{x_i-x_0}\right)$

公式中：(x_i,y_i)为第i个匹配块的取块位置；(x₀,y₀)图像的旋转中心，也就是图像中心；

将此m²个旋转估计角度的均值作为当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度

$\mathrm{\Δ\Θ}=\left(\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\θ}}_i}{m^2}\right);$

公式中：ΔΘ表示当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度；

步骤五、将步骤四中获得的绝对旋转运动角度，用Kalman滤波进行最优估计得到待保留的绝对旋转运动角度，并算出当前帧图像待补偿的抖动旋转运动角度，即：

Θ^comp=Θ^intent-Θ^abs

公式中：Θ^comp表示当前帧图像待补偿的抖动旋转运动角度，Θ^intent表示当前帧图像的待保留的绝对旋转运动角度，Θ^abs表示当前帧图像的绝对旋转运动角度；

步骤六、用步骤五获得的待补偿的抖动旋转运动角度，对当前帧图像进行抖动旋转运动补偿，并将旋转补偿后的当前帧存入中间视频帧缓冲区，更新中间视频帧缓冲区中的视频图像；

步骤七、从步骤六更新后的中间视频帧缓冲区中，取出经过旋转补偿后的当前帧和与经过旋转补偿后的当前帧相邻的前一帧图像；

步骤八、对步骤七获得的经过旋转补偿后的当前帧图像和与经过旋转补偿后的当前帧相邻的前一帧图像，采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，并对得到的帧间平移运动矢量进行累加，求取经过旋转运动补偿后的当前帧相对于视频首帧的绝对平移运动矢量，即：

$({\mathrm{MOVX}}_k^{\mathrm{abs}},\mathrm{MOV}{Y}_k^{\mathrm{abs}})=(\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\ΔMOV}{X}_j,\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\ΔMOV}{Y}_j)$

公式中：

为经过旋转补偿后的当前帧设为第k帧的绝对平移运动矢量，(△MOVX_k,△MOVY_k)经过旋转补偿后的当前帧设为第k帧和与经过旋转补偿后的当前帧相邻的前一帧即第k-1帧的帧间平移运动矢量；

其中采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，具体方法如下：

步骤八一、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式1进行取块；

步骤八二、对于步骤八一得到匹配块，采用改进后的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计所有块运动估计结果的一致性；如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的1/t，其中2≤t≤3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式1估计中间层和底层运动参数，否则，转入步骤八三；

步骤八三、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式2进行取块，并采用改进的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计估计结果的一致性，如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的1/t，其中2≤t≤3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式2估计中间层和底层运动参数；否则，转入步骤八四；

步骤八四、经过旋转补偿后的当前帧图像和与当前帧相邻的前一帧图像的位平面金字塔分别提取对应灰度金字塔顶层、中间层和底层的第8、第6和第5位平面；

步骤八五、对步骤八四得到的经过旋转运动补偿后的当前帧和与当前帧相邻的前一帧图像位平面金字塔的顶层，在水平和垂直方向上进行投影，得到当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层在水平和垂直方向上的投影向量；

步骤八六、对步骤八五得到的当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层的水平方向和垂直方向的投影向量分别进行相关匹配，得到当前帧图像相对于与当前帧相邻的前一帧图像的顶层位移矢量；其中投影向量相关匹配方法为：首先，当前帧图像投影向量在相邻帧投影向量上移动，进行粗相关匹配，此时移动步长为4像素，确定粗相关匹配移动过程中的最佳匹配位置；然后，以粗相关过程得到的最佳匹配位置为初始位置，进行步长为1像素的精相关匹配，确定最终最佳相关位置，整个过程中，当前帧投影向量的总移动量即相应方向上的图像的平移运动分量；

步骤八七、对步骤八六得到的当前帧图像相对于与当前帧相邻的前一帧图像在位平面金字塔顶层的位移矢量进行传递，并在位平面金字塔中间层和底层采用投影法进行运动估计，将底层运动估计结果作为最终经过旋转运动补偿后的当前帧图像相对于与当前帧相邻的前一帧图像的帧间平移运动矢量；

步骤九、对步骤八得到的绝对平移运动矢量，用Kalman滤波进行最优估计得到待保留的绝对平移运动矢量，并算出经过旋转运动补偿后的当前帧图像的待补偿抖动平移运动矢量，即：

(MOVX^comp,MOVY^comp)=(MOVX^intent,MOVY^intent)-(MOVX^abs,MOVY^abs)

公式中：(MOVX^comp,MOVY^comp)表示经过旋转运动补偿后的当前帧图像的待补偿抖动平移运动矢量，(MOVX^intent,MOVY^intent)表示经过旋转运动补偿后的当前帧图像的待保留的绝对平移运动矢量，(MOVX^abs,MOVY^abs)表示经过旋转运动补偿后的当前帧图像的绝对平移运动矢量；

步骤十、用步骤九得到的待补偿抖动平移运动矢量，对经过旋转运动补偿后的当前帧图像进行平移抖动补偿，并将补偿结果存入输出视频帧缓冲区，并进行视频输出；

步骤十一、循环步骤二至步骤十，进行下一帧图像的操作。

本发明的有益效果是：在保证稳像算法实时性的前提下，不仅能够对图像的旋转运动进行准确估计与稳定，而且能够稳定包含大范围旋转抖动和大范围平移抖动的视频。同时对于诸如灰度色调单调，采用单一稳像方法时稳像效果不佳的抖动视频具有更强的鲁棒性。本发明提出的一种具有大范围旋转及平移运动估计的实时电子稳像方法的稳像效果，旋转稳像精度小于0.5度，可准确估计的最大帧间旋转运动范围大于10度，平移稳像精度小于1像素，可准确估计的最大帧间平移运动范围大于60像素，在处理器为Pentium(R)CPU B960，主频为2.2GHz的PC上，对于分辨率为720X1280的视频图像，平均每秒的处理速度大于30帧，符合实时性的要求。

附图说明

图1是本发明工作流程图；

图2是图像旋转运动估计时的取块示意图，其中A表示匹配块大小，即N×N像素；

图3是块匹配估计结果解算图像的旋转角度的原理示意图；

图4是采用位平面金字塔自适应取块时取块模式1的示意图；

图5是采用位平面金字塔自适应取块时取块模式2的示意图；

图6是投影法估计平移运动时图像位平面金字塔的构建过程；其中a是图像灰度金字塔，b是图像位平面金字塔；

图7是改进的六边形搜索算法在进行粗搜索是的待搜索点位置示意图；

图8是传统六边形搜索算法的搜索模板，图8a是传统六边形搜索算法的大六边形搜索板，O点为大六边形搜索模板中心位置，图8b传统六边形搜索算法的小六边形搜索模板，O点为小六边形搜索模板中心位置。

具体实施方式

具体实施方式一：下面结合图1说明本具体实施方式，本实施方式所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法按以下步骤实现：

步骤一、运动估计和运动滤波参数初始化；

步骤二、将实时获取的待处理视频图像存入输入视频帧缓冲区，更新输入视频帧缓冲区中的视频图像；

步骤三、将步骤二中存入输入视频帧缓冲区中的待处理视频的当前帧图像和与当前帧相邻的前一帧图像取出；

步骤四、将步骤三中获得的当前帧图像和与当前帧相邻的前一帧图像，采用图像位平面金字塔中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度，将得到的帧间旋转运动角度进行累加求取当前帧图像相对于视频首帧图像的绝对旋转运动角度，即：

${\mathrm{\Θ}}_k^{\mathrm{abs}}=\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\Θ}}_j$

公式中：

为当前帧设为第k帧的绝对旋转运动角度，△Θ_k为当前帧设为第k帧和与当前帧相邻的前一帧即第k-1帧的帧间旋转运动角度；

步骤五、将步骤四中获得的绝对旋转运动角度，用Kalman滤波进行最优估计得到待保留的绝对旋转运动角度，并算出当前帧图像待补偿的抖动旋转运动角度，即：

Θ^comp=Θ^intent-Θ^abs

公式中：Θ^comp表示当前帧图像待补偿的抖动旋转运动角度，Θ^intent表示当前帧图像的待保留的绝对旋转运动角度，Θ^abs表示当前帧图像的绝对旋转运动角度；

步骤六、用步骤五获得的待补偿的抖动旋转运动角度，对当前帧图像进行抖动旋转运动补偿，并将旋转补偿后的当前帧存入中间视频帧缓冲区，更新中间视频帧缓冲区中的视频图像；

步骤七、从步骤六更新后的中间视频帧缓冲区中，取出经过旋转补偿后的当前帧和与经过旋转补偿后的当前帧相邻的前一帧图像；

步骤八、对步骤七获得的经过旋转补偿后的当前帧图像和与经过旋转补偿后的当前帧相邻的前一帧图像，采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，并对得到的帧间平移运动矢量进行累加，求取经过旋转运动补偿后的当前帧相对于视频首帧的绝对平移运动矢量，即：

$({\mathrm{MOVX}}_k^{\mathrm{abs}},\mathrm{MOV}{Y}_k^{\mathrm{abs}})=(\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\ΔMOV}{X}_j,\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\ΔMOV}{Y}_j)$

公式中：为经过旋转补偿后的当前帧设为第k帧的绝对平移运动矢量，(△MOVX_k,△MOVY_k)经过旋转补偿后的当前帧设为第k帧和与经过旋转补偿后的当前帧相邻的前一帧即第k-1帧的帧间平移运动矢量；

步骤九、对步骤八得到的绝对平移运动矢量，用Kalman滤波进行最优估计得到待保留的绝对平移运动矢量，并算出经过旋转运动补偿后的当前帧图像的待补偿抖动平移运动矢量，即：

(MOVX^comp,MOVY^comp)=(MOVX^intent,MOVY^intent)-(MOVX^abs,MOVY^abs)

公式中：(MOVX^comp,MOVY^comp)表示经过旋转运动补偿后的当前帧图像的待补偿抖动平移运动矢量，(MOVX^intent,MOVY^intent)表示经过旋转运动补偿后的当前帧图像的待保留的绝对平移运动矢量，(MOVX^abs,MOVY^abs)表示经过旋转运动补偿后的当前帧图像的绝对平移运动矢量；

步骤十、用步骤九得到的待补偿抖动平移运动矢量，对经过旋转运动补偿后的当前帧图像进行平移抖动补偿，并将补偿结果存入输出视频帧缓冲区，并进行视频输出；

步骤十一、循环步骤二至步骤十，进行下一帧图像的操作。

具体实施方式二：下面结合图2和图3说明本具体实施方式，本实施方式是对具体实施方式一的进一步说明，在步骤四中所述的采用图像位平面金字塔块中间层进行匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度具体方法如下：

步骤四一、分别取当前帧和与当前帧相邻的前一帧图像的位平面金字塔中间层，其中，当前帧和与当前帧相邻的前一帧位平面金字塔中间层取对应图像灰度金字塔中间层的第7位平面；

步骤四二、对步骤四一中得到的当前帧图像位平面金字塔中间层，在平面中心位置对称选择m×m个匹配块，块的大小为N×N像素，其中N的具体数值根据图像分辨率确定；

步骤四三、对步骤四二中得到的m²个匹配块，采用改进的六边形搜索法将每一匹配块在与当前帧相邻的前一帧图像位平面金字塔中间层上进行匹配，得到m²个块位移估计矢量，即(Δx_i,Δy_i)(i=1,2,...,m²)；每一匹配块的位移矢量可以分解为由图像旋转运动引起的块位移矢量旋转分量，和由图像平移运动引起的块位移矢量平移分量即：

$({\mathrm{\Δx}}_i,{\mathrm{\Δy}}_i)=({\mathrm{\Δx}}_i^T+{\mathrm{\Δx}}_i^R,{\mathrm{\Δy}}_i^T+{\mathrm{\Δy}}_i^R)$

其中，(Δx_i,Δy_i)表示第i个匹配块的块位移估计矢量，

表示第i个匹配块的块位移矢量平移分量，

表示第i个匹配块的块位移矢量旋转分量；

步骤四四、将步骤四三中得到的m²个块位移估计矢量中的垂直分量和水平分量分别求和，由于图像旋转引起的块位移矢量旋转分量相互抵消，因此得到水平分量之和与垂直分量之和是仅由图像平移运动引起的块位移矢量平移分量之和，即：

$(\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δx}}_i,\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δy}}_i)=(\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{x}_i^T,\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{y}_i^T)$

公式中，

是m²个块位移矢量水平分量之和，是m²个块位移矢量垂直分量之和，

为仅由图像平移运动引起的块位移矢量水平平移分量之和，为仅由图像平移运动引起的块位移矢量垂直平移分量之和；

对上述块位移矢量水平分量之和与垂直分量之和求平均得到图像的平移运动矢量，即图像的平移运动矢量为：

$(\mathrm{\ΔMOVX},\mathrm{\ΔMOVY})=(\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δx}}_i}{m^2},\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δy}}_i}{m^2})$

公式中，(ΔMOVX,ΔMOVY)表示图像的平移运动矢量；

步骤四五、将步骤四三中得到的m²个块位移估计矢量分别减去步骤四三中得到的图像平移运动矢量，得到仅由图像旋转运动引起的块位移矢量旋转分量，即：

$({\mathrm{\Δx}}_i^R,\mathrm{\Δ}{y}_i^R)=({\mathrm{\Δx}}_i-\mathrm{\ΔMOVX},\mathrm{\Δ}{y}_i-\mathrm{\ΔMOVY})$

公式中，表示第i个匹配块的仅由图像旋转运动引起的块位移矢量旋转分量；

步骤四六、将步骤四五中得到的m²个块位移矢量旋转分量，分别进行反三角函数运算得到m²个旋转估计角度，即：

${\mathrm{\θ}}_i=\arctan \left(\frac{(y_i+{\mathrm{\Δy}}_i^R)-y_0}{(x_i+{\mathrm{\Δx}}_i^R)-x_0}\right)-\arctan \left(\frac{y_i-y_0}{x_i-x_0}\right)$

公式中：(x_i,y_i)为第i个匹配块的取块位置；(x₀,y₀)图像的旋转中心，也就是图像中心；

将此m²个旋转估计角度的均值作为当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度

$\mathrm{\Δ\Θ}=\left(\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\θ}}_i}{m^2}\right);$

公式中：ΔΘ表示当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度。

具体实施方式三：下面结合图4,、图5和图6说明本具体实施方式，本实施方式是对具体实施方式一的进一步说明，在步骤八中所述的采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，具体方法如下：

步骤八一、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式1进行取块；

步骤八二、对于步骤八一得到匹配块，采用改进后的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计所有块运动估计结果的一致性；如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的1/t，其中2≤t≤3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式1估计中间层和底层运动参数，否则，转入步骤八三；

步骤八三、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式2进行取块，并采用改进的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计估计结果的一致性，如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的1/t，其中2≤t≤3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式2估计中间层和底层运动参数；否则，转入步骤八四；

步骤八四、经过旋转补偿后的当前帧图像和与当前帧相邻的前一帧图像的位平面金字塔分别提取对应灰度金字塔顶层、中间层和底层的第8、第6和第5位平面；

步骤八五、对步骤八四得到的经过旋转运动补偿后的当前帧和与当前帧相邻的前一帧图像位平面金字塔的顶层，在水平和垂直方向上进行投影，得到当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层在水平和垂直方向上的投影向量；

步骤八六、对步骤八五得到的当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层的水平方向和垂直方向的投影向量分别进行相关匹配，得到当前帧图像相对于与当前帧相邻的前一帧图像的顶层位移矢量；其中投影向量相关匹配方法为：首先，当前帧图像投影向量在相邻帧投影向量上移动，进行粗相关匹配，此时移动步长为4像素，确定粗相关匹配移动过程中的最佳匹配位置；然后，以粗相关过程得到的最佳匹配位置为初始位置，进行步长为1像素的精相关匹配，确定最终最佳相关位置，整个过程中，当前帧投影向量的总移动量即相应方向上的图像的平移运动分量；

步骤八七、对步骤八六得到的当前帧图像相对于与当前帧相邻的前一帧图像在位平面金字塔顶层的位移矢量进行传递，并在位平面金字塔中间层和底层采用投影法进行运动估计，将底层运动估计结果作为最终经过旋转运动补偿后的当前帧图像相对于与当前帧相邻的前一帧图像的帧间平移运动矢量。

具体实施方式四：下面结合图7和图8说明本具体实施方式，本实施方式是对具体实施方式二和具体实施方式三的进一步说明，所述的采用改进的六边形搜索算法进行搜索，具体步骤如下：

(1)、在取块位置即块搜索起始位置附近对称设置n×n个待搜索点，其中n的值是3、5或7，相邻搜索点之间的距离为l像素，其中l是大于4小于8的正整数；

(2)、匹配块在(1)中得到的待搜索点上逐一计算相关匹配值，确定相关值最大时对应的待搜索点位置，相关匹配值的计算公式如下：

$\begin{array}{cc}C({\mathrm{\ΔX}}_i,{\mathrm{\ΔY}}_i)=-\frac{1}{\mathrm{WH}}\underset{w=1}{\overset{W}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{B}^{\mathrm{pre}}(w,h)\⊕B^{\mathrm{adj}}(w+\mathrm{\Δ}{X}_i,h+{\mathrm{\ΔY}}_i)& (i=\mathrm{1,2,3}...n^2)\end{array}$

公式中，(Δx_i,Δy_i)表示第i个待搜索点相对于搜索起点位置的相对坐标，B^pre(w,h)和B^adj(w+ΔX_i,h+ΔY_i)分别为当前帧图像上的匹配块和移动到第i个待搜索点处对应相邻帧上的匹配块；w、h分别表示匹配块的宽度和高度；

(3)、将(2)中得到的最大相关匹配值对应的待搜索点位置作为进行传统六边形搜索的初始位置，进行传统六边形搜索，即首先采用大六边形搜索模板进行搜索，直到大六边形搜索模板中心处的相关匹配值最大，然后在该大六边形模板中心位置附近采用小六边形搜索模板进行进一步搜索，最终确定匹配块的最佳匹配位置；

(2)和(3)中匹配块的总移动量作为一个块平移运动估计矢量。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：改进的六边形搜索算法中n取值是5，l的取值是6，其它步骤及参数与具体实施方式一至四之一相同。

Claims (5)

1.一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于：所述方法按以下步骤实现：

步骤一、运动估计和运动滤波参数初始化；

步骤二、将实时获取的待处理视频图像存入输入视频帧缓冲区，更新输入视频帧缓冲区中的视频图像；

步骤三、将步骤二中存入输入视频帧缓冲区中的待处理视频的当前帧图像和与当前帧相邻的前一帧图像取出；

步骤四、将步骤三中获得的当前帧图像和与当前帧相邻的前一帧图像，采用图像位平面金字塔中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度，将得到的帧间旋转运动角度进行累加求取当前帧图像相对于视频首帧图像的绝对旋转运动角度，即：

${\mathrm{\Θ}}_k^{\mathrm{abs}}=\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\Θ}}_j$

公式中：

为当前帧设为第k帧的绝对旋转运动角度，ΔΘ_k为当前帧设为第k帧和与当前帧相邻的前一帧即第k-1帧的帧间旋转运动角度；

步骤五、将步骤四中获得的绝对旋转运动角度，用Kalman滤波进行最优估计得到待保留的绝对旋转运动角度，并算出当前帧图像待补偿的抖动旋转运动角度，即：

Θ^comp=Θ^intent-Θ^abs

公式中：Θ^comp表示当前帧图像待补偿的抖动旋转运动角度，Θ^intent表示当前帧图像的待保留的绝对旋转运动角度，Θ^abs表示当前帧图像的绝对旋转运动角度；

步骤六、用步骤五获得的待补偿的抖动旋转运动角度，对当前帧图像进行抖动旋转运动补偿，并将旋转补偿后的当前帧存入中间视频帧缓冲区，更新中间视频帧缓冲区中的视频图像；

步骤七、从步骤六更新后的中间视频帧缓冲区中，取出经过旋转补偿后的当前帧和与经过旋转补偿后的当前帧相邻的前一帧图像；

步骤八、对步骤七获得的经过旋转补偿后的当前帧图像和与经过旋转补偿后的当前帧相邻的前一帧图像，采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，并对得到的帧间平移运动矢量进行累加，求取经过旋转运动补偿后的当前帧相对于视频首帧的绝对平移运动矢量，即：

$({\mathrm{MOVX}}_k^{\mathrm{abs}},\mathrm{MOV}{Y}_k^{\mathrm{abs}})=(\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\ΔMOV}{X}_j,\underset{j=2}{\overset{k}{\mathrm{\Σ}}}\mathrm{\ΔMOV}{Y}_j)$

公式中：为经过旋转补偿后的当前帧设为第k帧的绝对平移运动矢量，(△MOVX_k,△MOVY_k)经过旋转补偿后的当前帧设为第k帧和与经过旋转补偿后的当前帧相邻的前一帧即第k-1帧的帧间平移运动矢量；

步骤九、对步骤八得到的绝对平移运动矢量，用Kalman滤波进行最优估计得到待保留的绝对平移运动矢量，并算出经过旋转运动补偿后的当前帧图像的待补偿抖动平移运动矢量，即：(MOVX^comp,MOVY^comp)=(MOVX^intent,MOVY^intent)-(MOVX^abs,MOVY^abs)

公式中：(MOVX^comp,MOVY^comp)表示经过旋转运动补偿后的当前帧图像的待补偿抖动平移运动矢量，(MOVX^intent,MOVY^intent)表示经过旋转运动补偿后的当前帧图像的待保留的绝对平移运动矢量，(MOVX^abs,MOVY^abs)表示经过旋转运动补偿后的当前帧图像的绝对平移运动矢量；

步骤十、用步骤九得到的待补偿抖动平移运动矢量，对经过旋转运动补偿后的当前帧图像进行平移抖动补偿，并将补偿结果存入输出视频帧缓冲区，并进行视频输出；

步骤十一、循环步骤二至步骤十，进行下一帧图像的操作。

2.根据权利要求1所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于：在步骤四中所述的采用图像位平面金字塔中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度具体方法如下：

步骤四一、分别取当前帧和与当前帧相邻的前一帧图像的位平面金字塔中间层，其中，当前帧和与当前帧相邻的前一帧位平面金字塔中间层取对应图像灰度金字塔中间层的第7位平面；

步骤四二、对步骤四一中得到的当前帧图像位平面金字塔中间层，在平面中心位置对称选择m×m个匹配块，块的大小为N×N像素，其中N的具体数值根据图像分辨率确定；

步骤四三、对步骤四三中得到的m²个匹配块，采用改进的六边形搜索法将每一匹配块在与当前帧相邻的前一帧图像位平面金字塔中间层上进行匹配，得到m²个块位移估计矢量，即(△x_i,△y_i)(i=1,2,...,m²)；每一匹配块的位移矢量可以分解为由图像旋转运动引起的块位移矢量旋转分量，和由图像平移运动引起的块位移矢量平移分量即：

$({\mathrm{\Δx}}_i,{\mathrm{\Δy}}_i)=({\mathrm{\Δx}}_i^T+{\mathrm{\Δx}}_i^R,{\mathrm{\Δy}}_i^T+{\mathrm{\Δy}}_i^R)$

其中，(Δx_i,Δy_i)表示第i个匹配块的块位移估计矢量，

表示第i个匹配块的块位移矢量平移分量，

表示第i个匹配块的块位移矢量旋转分量；

步骤四四、将步骤四三中得到的m²个块位移估计矢量中的垂直分量和水平分量分别求和，由于图像旋转引起的块位移矢量旋转分量相互抵消，因此得到水平分量之和与垂直分量之和是仅由图像平移运动引起的块位移矢量平移分量之和，即：

$(\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δx}}_i,\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δy}}_i)=(\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{x}_i^T,\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{y}_i^T)$

公式中，

是m²个块位移矢量水平分量之和，

是m²个块位移矢量垂直分量之和，

为仅由图像平移运动引起的块位移矢量水平平移分量之和，

为仅由图像平移运动引起的块位移矢量垂直平移分量之和；

对上述块位移矢量水平分量之和与垂直分量之和求平均得到图像的平移运动矢量，即图像的平移运动矢量为：

$(\mathrm{\ΔMOVX},\mathrm{\ΔMOVY})=(\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δx}}_i}{m^2},\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}{\mathrm{\Δy}}_i}{m^2})$

公式中，(ΔMOVX,ΔMOVY)表示图像的平移运动矢量；

步骤四五、将步骤四三中得到的m²个块位移估计矢量分别减去步骤四四中得到的图像平移运动矢量，得到仅由图像旋转运动引起的块位移矢量旋转分量，即：

$({\mathrm{\Δx}}_i^R,\mathrm{\Δ}{y}_i^R)=({\mathrm{\Δx}}_i-\mathrm{\ΔMOVX},\mathrm{\Δ}{y}_i-\mathrm{\ΔMOVY})$

公式中，表示第i个匹配块的仅由图像旋转运动引起的块位移矢量旋转分量；

步骤四六、将步骤四五中得到的m²个块位移矢量旋转分量，分别进行反三角函数运算得到m²个旋转估计角度，即：

${\mathrm{\θ}}_i=\arctan \left(\frac{(y_i+{\mathrm{\Δy}}_i^R)-y_0}{(x_i+{\mathrm{\Δx}}_i^R)-x_0}\right)-\arctan \left(\frac{y_i-y_0}{x_i-x_0}\right)$

公式中：(x_i,y_i)为第i个匹配块的取块位置；(x₀,y₀)图像的旋转中心，也就是图像中心；

将此m²个旋转估计角度的均值作为当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度

$\mathrm{\Δ\Θ}=\left(\frac{\underset{i=1}{\overset{m^2}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\θ}}_i}{m^2}\right);$

公式中：ΔΘ表示当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度。

3.根据权利要求1所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于：在步骤八中所述的采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，具体方法如下：

步骤八一、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式1进行取块；

步骤八二、对于步骤八一得到匹配块，采用改进后的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计所有块运动估计结果的一致性；如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的1/t，其中2≤t≤3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式1估计中间层和底层运动参数，否则，转入步骤八三；

步骤八三、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式2进行取块，并采用改进的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计估计结果的一致性，如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的1/t，其中2≤t≤3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式2估计中间层和底层运动参数；否则，转入步骤八四；

步骤八四、经过旋转补偿后的当前帧图像和与当前帧相邻的前一帧图像的位平面金字塔分别提取对应灰度金字塔顶层、中间层和底层的第8、第6和第5位平面；

步骤八五、对步骤八四得到的经过旋转运动补偿后的当前帧和与当前帧相邻的前一帧图像位平面金字塔的顶层，在水平和垂直方向上进行投影，得到当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层在水平和垂直方向上的投影向量；

步骤八六、对步骤八五得到的当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层的水平方向和垂直方向的投影向量分别进行相关匹配，得到当前帧图像相对于与当前帧相邻的前一帧图像的顶层位移矢量；其中投影向量相关匹配方法为：首先，当前帧图像投影向量在相邻帧投影向量上移动，进行粗相关匹配，此时移动步长为4像素，确定粗相关匹配移动过程中的最佳匹配位置；然后，以粗相关过程得到的最佳匹配位置为初始位置，进行步长为1像素的精相关匹配，确定最终最佳相关位置，整个过程中，当前帧投影向量的总移动量即相应方向上的图像的平移运动分量；

步骤八七、对步骤八六得到的当前帧图像相对于与当前帧相邻的前一帧图像在位平面金字塔顶层的位移矢量进行传递，并在位平面金字塔中间层和底层采用投影法进行运动估计，将底层运动估计结果作为最终经过旋转运动补偿后的当前帧图像相对于与当前帧相邻的前一帧图像的帧间平移运动矢量。

4.根据权利要求2或3所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于：在权利要求2或3中所述的采用改进的六边形搜索算法进行搜索，具体步骤如下：

(1)、在取块位置即块搜索起始位置附近对称设置n×n个待搜索点，其中n的值是3、5或7，相邻搜索点之间的距离为l像素，其中l是大于4小于8的正整数；

(2)、匹配块在(1)中得到的待搜索点上逐一计算相关匹配值，确定相关值最大时对应的待搜索点位置，相关匹配值的计算公式如下：

$\begin{array}{cc}C({\mathrm{\ΔX}}_i,{\mathrm{\ΔY}}_i)=-\frac{1}{\mathrm{WH}}\underset{w=1}{\overset{W}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{B}^{\mathrm{pre}}(w,h)\⊕B^{\mathrm{adj}}(w+\mathrm{\Δ}{X}_i,h+{\mathrm{\ΔY}}_i)& (i=\mathrm{1,2,3}...n^2)\end{array}$

公式中，(ΔX_i,ΔY_i)表示第i个待搜索点相对于搜索起点位置的相对坐标，B^pre(w,h)和B^adj(w+ΔX_i,h+ΔY_i)分别为当前帧图像上的匹配块和移动到第i个待搜索点处对应相邻帧上的匹配块；w、h分别表示匹配块的宽度和高度；

(3)、将(2)中得到的最大相关匹配值对应的待搜索点位置作为进行传统六边形搜索的初始位置，进行传统六边形搜索，即首先采用大六边形搜索模板进行搜索，直到大六边形搜索模板中心处的相关匹配值最大，然后在该大六边形模板中心位置附近采用小六边形搜索模板进行进一步搜索，最终确定匹配块的最佳匹配位置；

(2)和(3)中匹配块的总移动量作为一个块平移运动估计矢量。

5.根据权利要求4所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于：所述改进的六边形搜索算法中n取值是5，l的取值是6。

Images