CN103237156B - 应用于电子稳像的改进块匹配算法 - Google Patents

Abstract

本发明涉及一种应用于电子稳像的改进块匹配算法，如下：用块匹配进行运动估计，主要包括匹配块大小的确定、有效块的判断、匹配的准则，采用中心扩展搜索算法及全局运动向量的计算。中心扩展搜索算法，根据帧间实际偏移大小调整搜索范围，快速准确定位块的偏移。由每个块偏移情况得到各块局部运动向量，经随机抽样一致性处理，筛选出最可靠的一部分局部运动向量，再由最小二乘法确定帧间相似变换模型参数。本发明减小了计算量，提高了搜索速度。相比基于最小中心偏置特性的快速搜索法，能处理更大范围的帧间偏移。本发明可应用于摄像机、计算机视频播放以及车载稳像装置等应用电子稳像技术的场合，具有精度高、速度快、适应性强的优点。

Description

应用于电子稳像的改进块匹配算法

技术领域

本发明属于图像处理领域，具体涉及一种应用于电子稳像的改进块匹配算法。

背景技术

电子稳像是一种利用图像处理手段实现视频去抖的技术。经典电子稳像过程主要包含三部分：运动估计、运动分离和运动补偿。其中，运动估计用来检测视频帧之间的全局运动矢量，作为稳像过程的第一步，其计算的准确性和速度对后续处理有重要影响。块匹配(BMA)是电子稳像中常用的运动估计算法，其原理在参考帧中选择一定大小的图像块，在当前帧中查找各块的最佳匹配位置，得到各块的局部运动向量，再由此进一步计算出帧间全局运动向量。块匹配搜索策略主要分为窗口内全局搜索和基于最小中心偏置特性的快速搜索两种类型。全局搜索的精度最高，但计算量通常很大，快速搜索算法速度快，却只能处理帧间小偏移情况。

通常实际中处理的抖动视频，帧间偏移大小不定，应用全局搜索会进行很多不必要的计算，最小中心偏置特性的快速搜索不能保证大偏移时运动向量检测的准确性。

发明内容

基于以上不足之处，本发明提供一种应用于电子稳像的改进块匹配算法，用于快速准确计算帧间全局偏移参数。

本发明所采用的技术如下：一种应用于电子稳像的改进块匹配算法，如下：

(一)、采用相机运动相似变换模型：

$M=\left[\begin{array}{ccc}s\cos \mathrm{\α}& s\sin \mathrm{\α}& \mathrm{dx}\\ -s\sin \mathrm{\α}& s\cos \mathrm{\α}& \mathrm{dy}\\ 0& 0& 1\end{array}\right]$

其中α为图像沿光轴的旋转角度，s为镜头缩放倍数，dx和dy为平移量；

(二)、根据视频的分辨率确定子块尺寸，由先验知识预先设定不同分辨率下的子块尺寸；

(三)、计算每个子块B沿四个方向的梯度值，l₁、l₂、l₃和l₄分别代表水平、左斜对角、竖直、右斜对角的方向矢量的导数，只保留同时满足 和的初选块B；

其中I(x，y)为(x，y)点处的像素灰度值，B为所选块，T为预设阈值；

(四)、采用最小绝对值误差(SAD)准则作为搜索的匹配的判断条件；(i，j)表示搜索位置相对于起始点(x，y)的水平和竖直偏移量；

(五)、搜索方式采用中心扩展搜索算法，本发明针对传统全局搜索算法计算复杂，快速搜索算法通用性差的问题，公开了一种中心扩展搜索算法，此算法能根据实际帧间偏移情况，调整搜索区域大小，以较快的速度准确检测出帧间全局运动矢量，克服传统块匹配搜索在帧间偏移大小不一情况下的不足。

参数定义：

P₀为当前帧中起始搜索位置，其坐标与相应子块在参考帧中坐标相同；

圆环C_k表示第k次搜索所考察的位置，其与P₀相距长度为r_k；

P_k代表第k次搜索所得最佳匹配位置；

LV_k表示第k-1次搜索的最佳位置指向第k次最佳位置的向量；

具体步骤：

1)以与子块在参考帧中相同坐标处起始点P₀为圆心，找到半径r₁的圆环C₁上的最小SAD值SAD(P₁)，P₁为最小SAD值所在位置，并记圆心到P₁的向量为LV₁＝P₁-P₀；

2)令r₂＝r₁+Δr，得到半径r₂的圆环C₂上最小SAD值SAD(P₂)及位置P₂，并得到向量LV₂＝P₂-P₁，其中Δr＝2；

3)用相同的计算方式在半径为r_k＝r₁+(k-1)Δr的圆环C_k上最小SAD值SAD(P_k)及位置P_k，并得到向量LV_k＝P_k-P_k-1；

4)当k＞3时，若有 且SAD(P_k)＞SAD(P_k-1)。则认为P_k、P_k-1、P_k-2、P_k-3位于最佳匹配点最小中心偏置区域内，P_k-1离最佳匹配点最近。考察P_k-1相邻位置的SAD值，最小的SAD所在位置则为匹配块在当前帧中坐标；

5)若不满足步骤(4)中条件，则继续执行第(3)步，直到半径扩大到搜索窗口的边界为止；

随机抽样一致性筛选各块局部运动向量，设局部向量总数为n，符合实际偏移模型的局部向量个数为m，计算模型参数最少向量个数为s，则表示一次计算所用数据都符合真实模型的概率。设至少有一次所选的s个向量全部符合真实模型的概率为p，则选择次数

设w＝0.75，取p＝0.99，得到k＝16，即取16组数据分别计算偏移模型，至少有一个模型描述真实偏移情况的概率不小于0.99；比较所有数据符合模型的数目，最多的那组为最接近真实模型，再经最小二乘法重新计算后得到的帧间全局运动向量参数。

以上步骤(四)中所述的圆形环或用方形环代替。

本发明相比传统的全局搜索算法，减小了计算量，提高了搜索速度。相比基于最小中心偏置特性的快速搜索法，能处理更大范围的帧间偏移。对于视频抖动大小不一的情况，具有良好的适应性。本发明是对电子稳像技术搜索算法的改进，可应用于摄像机、计算机视频播放以及车载稳像装置等应用电子稳像技术的场合，相比传统的固定窗口全局搜所和基于最小中心偏置特性的搜索算法，具有精度高、速度快、适应性强的优点。

附图说明

图1为本发明基于的经典电子稳像及块匹配过程示意图；

图2为本发明在选择块时的梯度阈值块筛选原理图；

图3为本发明中心扩展搜索算法原理图。

具体实施方式

本发明所采用的技术方案是：用块匹配进行运动估计，主要包括匹配块大小的确定、有效块的判断、匹配的准则、搜索算法及全局运动向量的计算。

块匹配基于块内各像素点做相同运动的原则，希望选取的块能在匹配帧中完整的重现。块选的太大，内部像素运动的不一致性可能增加，且计算量增大；太小，匹配特征不显著，易受噪声干扰出现错误。根据视频分辨率选择适当大小的块，并在离各边界约为边长10％长度的区域内均匀选取，防止因帧间偏移过大造成参考帧中的块不能在当前帧中完整重现。

由于帧图像的纹理各异，而块的选择模式较为固定，可能出现块选在图像中平坦区域或边缘区域的情况。这些块的特征与周围背景相近，不能显著区分其中差异，在匹配过程中难以精确定位。采用梯度阈值进行预处理，剔除不可靠的块。

目前针对块匹配已有多种匹配准则，如归一化互相关函数(NCCF)、最小均方误差(MSE)、最小平均绝对值误差(MSD)及最小绝对值误差(SAD)等。这些算法的形式不同，但本质相同，都是计算块的整体像素值误差，搜索误差最小的位置，将其确定为最佳匹配。为了计算的快速性，选择算法复杂性最低的最小绝对值误差(SAD)作为匹配准则。

搜索算法是决定块匹配性能的核心要素。全局搜索算法采用穷举搜索策略，遍历搜索区域内所有位置，虽然精度高，但计算量大，难以实时处理。基于最小中心偏置特性的各种搜索算法(如三步法、四步法、菱形搜索法等)处理帧间较大偏移情况时，容易陷入局部最优。采用中心扩展搜索算法，根据帧间实际偏移大小调整搜索范围，快速准确定位块的偏移。

考虑帧间具有旋转、缩放情况下，位于图像不同位置处的块的运动向量不同，但所有块的运动符合图像帧间相似变换模型。由每个块偏移情况得到各块局部运动向量，经随机抽一致性(RANSAC)处理，筛选出最可靠的一部分局部运动向量，再由最小二乘法确定帧间相似变换模型参数。

本发明的原理：在块匹配搜索算法中，经典的全局搜索计算复杂度只与搜索窗口大小有关，搜索范围确定后，无论帧间实际偏移大小如何，都将具有相同的计算量；最小中心偏置特性的快速搜索法，只在最佳匹配位置位于搜索起始点附近时起作用，若起始搜索点位于中心偏置区域外，此类算法很容易找错搜索方向，陷入局部最优。针对以上两类算法的缺陷，提出一种中心扩展搜索算法，以起始点为中心，逐层向外扩展搜索最佳匹配点，在搜索进入最小中心偏置作用区域后，快速定位最终匹配位置。最小中心偏置的特性是，越接近最佳匹配位置，匹配误差越小，因此在偏置区域内，每一层的最小误差的梯度方向指向最佳匹配方向。考察连续多层的梯度指向，若方向一致，则认为搜索进入最小中心偏置区域。

下面结合具体实施方式及附图对本发明做进一步详细说明。

实施例1

1.本发明主要针对图1中运动估计模块，并按照图1中所示块匹配过程，提出一种改进块匹配算法，准确快速估计出不同情况下帧间偏移参数。

2.本发明采用相机运动相似变换模型，考虑平移运动、绕光轴的旋转运动和镜头的缩放：

$M=\left[\begin{array}{ccc}s\cos \mathrm{\α}& s\sin \mathrm{\α}& \mathrm{dx}\\ -s\sin \mathrm{\α}& s\cos \mathrm{\α}& \mathrm{dy}\\ 0& 0& 1\end{array}\right]$

其中α为图像沿光轴的旋转角度，s为镜头缩放倍数，dx和dy为平移量。

3.根据视频的分辨率确定子块尺寸，可由先验知识预先设定不同分辨率下的子块尺寸，例如对640×360大小的视频帧图像，在有效区域内等间隔选取16×16尺寸的子块。

4.计算每个子块沿四个方向的梯度值，如图2所示，B沿l₁、l₂、l₃和l₄方向导数，只保留同时满足 和的初选块B。

其中I(x，y)为(x，y)点处的像素灰度值，B为所选块，T为预设阈值。

5.采用最小绝对值误差(SAD)准则作为搜索的匹配的判断条件。

6.搜索方式采用中心扩展搜索算法，如图3所示。

参数定义：

P₀为当前帧中起始搜索位置，其坐标与相应子块在参考帧中坐标相同；

圆环C_k表示第k次搜索所考察的位置，其与P₀相距长度为r_k；

P_k代表第K次搜索所得最佳匹配位置；

LV_k表示第k-1次搜索的最佳位置指向第k次最佳位置的向量；

具体步骤：

6.1、以与子块在参考帧中相同坐标处起始点P₀为圆心，找到半径r₁的圆环C₁上的最小SAD值SAD(P₁)，P₁为最小SAD值所在位置，并记圆心到P₁的向量为LV₁＝P₁-P₀。

6.2、令r₂＝r₁+Δr，得到半径r₂的圆环C₂上最小SAD值SAD(P₂)及位置P₂，并得到向量LV₂＝P₂-P₁，其中Δr＝2；

6.3、用相同的计算方式在半径为r_k＝r₁+(k-1)Δr的圆环C_k上最小SAD值SAD(P_k)及位置P_k，并得到向量LV_k＝P_k-P_k-1。

6.4、当k＞3时，若有 且SAD(P_k)＞SAD(P_k-1)。则认为P_k、P_k-1、P_k-2、P_k-3位于最佳匹配点最小中心偏置区域内，P_k-1离最佳匹配点最近。考察P_k-1相邻位置的SAD值，最小的SAD所在位置则为匹配块在当前帧中坐标。

6.5、若不满足步骤4中条件，则继续执行第3步，直到半径扩大到搜索窗口的边界为止。

实际中为了计算方便，用方形环代替圆形环，得到很好的近似。

随机抽样一致性筛选各块局部运动向量，设一次计算所用数据都符合真实模型的概率为w，至少有一次所选向量符合真实模型的概率为p，则选择次数设w＝0.75，取p＝0.99，得到k＝16。即取16组数据分别计算偏移模型，至少有一个模型描述真实偏移情况的概率不小于0.99。比较所有数据符合模型的数目，最多的那组认为最接近真实模型，再经最小二乘法重新计算后得到的帧间全局运动向量参数。

Claims (2)

1.一种应用于电子稳像的改进块匹配算法，其特征在于，方法如下：

(一)、采用相机运动相似变换模型：

$M=\left[\begin{array}{ccc}scos\mathrm{\α}& ssin\mathrm{\α}& dx\\ -ssin\mathrm{\α}& scos\mathrm{\α}& dy\\ 0& 0& 1\end{array}\right]$

其中α为图像沿光轴的旋转角度，s为镜头缩放倍数，dx和dy为平移量；

(二)、根据视频的分辨率确定子块尺寸，由先验知识预先设定不同分辨率下的子块尺寸；

(三)、计算每个子块B沿四个方向的梯度值，l_k、l₂、l₃和l₄分别代表沿水平、左斜对角、竖直、右斜对角的方向矢量的导数，只保留同时满足 $\underset{B}{\Σ}\left|\frac{\∂I(x,y)}{\∂l_2}\right|>T,$ $\underset{B}{\Σ}\left|\frac{\∂I(x,y)}{\∂l_3}\right|>T$ 和 $\underset{B}{\Σ}\left|\frac{\∂I(x,y)}{\∂l_4}\right|>T$ 的初选块B；

其中I(x，y)为(x，y)点处的像素灰度值，B为所选块，T为预设阈值；

(四)、采用最小绝对值误差SAD准则作为搜索的匹配的判断条件；(i，j)表示搜索位置相对于起始点(x，y)的水平和竖直偏移量；

(五)、搜索方式采用中心扩展搜索算法，

参数定义：

P₀为当前帧中起始搜索位置，其坐标与相应子块在参考帧中坐标相同；

圆环C_k表示第k次搜索所考察的位置，其与P₀相距长度为r_k；

P_k代表第k次搜索所得最佳匹配位置；

LV_k表示第k-1次搜索的最佳位置指向第k次最佳位置的向量；

具体步骤：

(1)以与子块在参考帧中相同坐标处起始点P₀为圆心，找到半径r₁的圆环

C₁上的最小SAD值SAD(P₁)，P₁为最小SAD值所在位置，并记圆心到P₁的向量为LV₁＝P₁-P₀；

(2)令r₂＝r₁+Δr，得到半径r₂的圆环C₂上最小SAD值SAD(P₂)及位置P₂，并得到向量LV₂＝P₂-P₁，其中Δr＝2；

(3)用相同的计算方式在半径为r_k＝r₁+(k-1)Δr的圆环C_k上最小SAD值SAD(P_k)及位置P_k，并得到向量LV_k＝P_k-P_k-1；

(4)当k＞3时，若有 $<{\mathrm{LV}}_{k-1},{\mathrm{LV}}_{k-2}><\frac{\mathrm{\&pi;}}{2},<{\mathrm{LV}}_{k-1},{\mathrm{LV}}_{k-3}><\frac{\mathrm{\&pi;}}{2},$ $<{\mathrm{LV}}_{k-2},{\mathrm{LV}}_{k-3}><\frac{\mathrm{\&pi;}}{2},$ 且SAD(P_k)＞SAD(P_k-1)，则认为P_k、P_k-1、P_k-2、P_k-3位于最佳匹配点最小中心偏置区域内，P_k-1离最佳匹配点最近，考察P_k-1相邻位置的SAD值，最小的SAD所在位置则为匹配块在当前帧中坐标；

(5)若不满足步骤(4)中条件，则继续执行第(3)步，直到半径扩大到搜索窗口的边界为止；

随机抽样一致性筛选各块局部运动向量，w为一次计算所选向量符合实际模型的概率，p为至少有一次所选向量符合真实模型的概率，则选择次数 $k=\frac{log(1-p)}{log(1-w)};$

设w＝0.75，取p＝0.99，得到k＝16，即取16组数据分别计算偏移模型，至少有一个模型描述真实偏移情况的概率不小于0.99；比较所有数据符合模型的数目，最多的那组为最接近真实模型，再经最小二乘法重新计算后得到的帧间全局运动向量参数。

2.根据权利要求1所述的一种应用于电子稳像的改进块匹配算法，其特征在于：步骤(五)中所述的圆环用方形环代替。