CN102231792B - 基于特征匹配的电子稳像方法 - Google Patents

Abstract

基于特征匹配的电子稳像方法，包括以下步骤：1)运动估计，估算出当前帧与前一帧间的运动参数，得到全局运动矢量和局部运动矢量；2)运动滤波，采用Kalman滤波器对全局运动参数进行滤波，得出有意扫描矢量，到需要补偿的抖动参数；3)运动补偿，利用滤波得到的补偿参数对视频序列进行逐帧补偿；4)视频修复，利用视频的时空冗余信息，采用运动修复的方法对局部运动矢量进行修复，并以此引导像素点的填充。为解决运动载体抖动对视频拍摄效果的影响，本发明提出一种基于特征匹配的电子稳像方法，具有准确性高、抗噪性好、跟踪性能强、边界一致性好等优点。

Description

基于特征匹配的电子稳像方法

技术领域

本发明属于图像处理技术领域，涉及视频图像处理，为一种基于特征匹配的电子稳像方法。

背景技术

近年来，随着数字多媒体技术的发展及人们生活水平的不断提高，基于视频的安全、娱乐、环保等方面的应用越来越多地出现在日常生活中。就环保领域而言，2007年夏的太湖蓝藻大暴发导致无锡全市断水，引起国务院的高度重视，目前，国家科技重大专项水体污染控制与治理专项将太湖列为八大重点领域之首。在“太湖蓝藻视频监控”国家重大专项实施过程中，发现实际船载视频监控系统不可避免地受到船体的晃动的影响，摄像机载体产生无规律的随机运动，导致视频序列帧间运动过大，出现旋转、平移、缩放、甚至畸变等情况，监控效果受到严重干扰，为后期的各种视频应用如蓝藻识别、蓝藻浓度计算、分布图绘制、蓝藻暴发预警等造成一定的障碍。

表1现有稳像方法的比较

现有的稳像方法对比如表1，从表中可以看出，传统的稳像方法如机械稳像、光学稳像虽然在精度上可以做到满足具体的应用场合，但是也很难做的很高。它们最大的不足就是体积大、成本高、功耗大，无法适应对体积、成本和功耗严格要求的场合。相反，电子稳像不依赖任何支撑系统，应用数字图像处理的方法实现稳定，门槛较低，应用十分广泛。

但现有技术中的电子稳像方法仍存在一些问题。

CN201010179280.9运动估计中采用块匹配的方式，虽然搜索算法为钻石搜索法，但仍难以在精度和复杂度之间做到很好的权衡，尤其是在本发明所针对的实时视频稳像场合，难以实时应用。此外，异常块区分策略是比较当前运动均值与上一次均值的差值，不适用于尺度较大的运动，适应性不强。

CN201010179282.8采用粒子滤波PF(Particle Filter)法对运动参数进行滤波，但是该算法需要大量的样本数才能很好地逼近系统的后验概率密度，不能有效地区分“有意运动”和“随机抖动”。此外，稳像后的空洞填补采用多幅图像拼接(Mosaic)的方法，拼接痕迹明显，不能保持拼接处的纹理连续性。

CN200710036817.4采用SIFT算法获得全局运动参数，虽然匹配精度较高，但是该算法的时、空复杂度高，实时性较差。此外，运动滤波中采用高斯滤波和曲线拟合相结合的方法，虽然可以通过参数调整避免“过稳”和“欠稳”，但是延时和拖尾问题没有解决。

上述基于像素的电子稳像算法如灰度投影法、位平面匹配法等，利用各像素灰度值间的关系，估计运动参数，最大的特点是处理速度快，较容易实现实时处理，但是，这类算法有一定的局限性，首先它要求图像的纹理丰富，对比度明显，其次是假设相邻两帧间的旋转角度较小，只考虑平移运动，不考虑旋转运动。基于运动修复的稳像后视频修复算法首先对局部运动场进行修复，再通过完整的运动场引导像素修复，但是，部分靠近边界的待修复点可能被“跳过”而无法进行光流矢量估计，从而形成“盲点”而影响到像素的修复。本发明在运动修复算法的基础上，采用快速推进算法FMM(Fast MarchingMethod)遍历待修复区域，对于一次遍历无法修复的点，用全局运动矢量代替局部运动矢量，这样可以获得完整的局部运动场。

发明内容

本发明要解决的问题是：现有的稳像方法中，电子稳像方法具有良好的应用前景，在此基础上提出一种针对抖动载体拍摄视频去抖动的稳像方法。

本发明的技术方案为：基于特征匹配的电子稳像方法，用于监控视频的前期处理，获取稳定图像供后期应用，包括以下步骤：

1)运动估计

首先提取监控视频参考帧中的特征点，所述参考帧为当前帧的前一帧，特征点为图像中的角点，接着在当前帧中进行搜索，提取当前帧中与前一帧的特征点对应的点，根据找到的特征点对，估算出两帧间的运动参数，即得到全局运动矢量和局部运动矢量；

2)运动滤波

采用Kalman滤波器对全局运动矢量行滤波，利用统计学方法构造状态空间模型，描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1)所得全局运动矢量进行滤波，得出有意运动参数，抖动分量为全局运动参数和对应的有意运动参数之差，所述差即为需要补偿的抖动参数；

3)运动补偿

由步骤2)滤波得到的需要补偿的抖动参数，得到当前帧与前一帧的变换关系，对视频当前帧进行补偿，将当前帧上的点变换到补偿后的坐标位置；

4)视频修复

利用视频的时空冗余信息，采用快速推进FMM算法修复补偿后的图像中，未定义区域的局部运动矢量，由此得到未定义区域的完整局部运动场，再利用局部运动矢量在参考帧中搜索，得到未定义区域所有像素点的亮度信息并进行填充，由此完成未定义区域的重建；

通过以上步骤对视频序列逐帧处理，获得稳定的稳像视频输出，步骤4)完成稳像视频边界未定义区域的重建，避免视频图像四周出现黑色的空洞。

步骤1)的运动估计采用分散式Harris角点提取算法，具体为：

1)在视频图像的窗口中构造一个屏蔽窗口

2)设置角点的临界距离d_c，在d_c为半径的圆周内不再取其它角点；

在当前帧中提取与前一帧的角点匹配的点，采用多分辨率L-K光流算法。

采用随机抽样一致RANSAC算法对匹配后的特征点对进行精匹配。

步骤2)中Kalman递归方程包括状态方程、观测方程和更新方程，建立主动运动的完整状态空间模型，滤波时首先初始化Kalman滤波器的各参数，然后用Kalman滤波器的递归方程对运动状态进行有意扫描分量的预测，确定需要补偿的抖动参数。

初始化Kalman滤波器时，根据抖动的剧烈程度，设置系统参数，包括观测噪声R和过程噪声，以动态调节滤波器对运动的跟踪能力；定义Kalman滤波器的状态矢量为S(k)＝[θ，dx，dv_x，dy，dv_y]，各分量分别为旋转角θ、水平运动分量dx、水平运动速率dv_x、垂直运动分量dy和垂直运动速率dv_y；观测矢量定义为Z(k)＝[θ，dx，dy]，滤波前分别对状态矢量和观测矢量进行初始化。

步骤3)的运动补偿采用仿射模型，根据步骤2)的需要补偿的抖动参数，得到当前帧相对于前一帧的变换关系。

步骤4)的稳像视频修复采用基于运动修复的视频修复算法，对步骤3)所得的稳像视频进行原分辨率修复：利用时空冗余信息对当前帧受损区域进行修复，先在时间轴上与当前帧相邻的帧中搜索，利用邻帧中同一区域的局部运动矢量估计当前帧相应未定义区域的局部运动，再通过局部运动场引导像素亮度值的修复；对通过时间轴搜索无法修复的点采用帧内搜索，用静态图像修复的方法进行修复，完成所有未定义区域的重建。

本发明结合电子稳像的四项主要内容，运动估计、运动滤波、运动补偿和视频修复设计出完整的电子稳像方案，它首先利用分散式Harris角点匹配获得匹配特征点对，代入六参数仿射模型利用RANSAC算法计算全局运动参数；然后进行Kalman运动滤波，滤除随机抖动，保留有意扫描运动；最后，对稳像后视频采用运动修复算法进行全帧修复。

稳像视频修复是本发明的重要特点，现有其它的稳像方案多采用图像拼接Mosaic的方法，修复痕迹明显，而本发明采用运动修复后可保持修复处纹理的连续性。

本发明的有益效果为：

1)采用L-K光流算法对提取到的分散式Harris角点进行跟踪，不仅减小前景运动物体的干扰，提高了特征匹配的准确率，而且大幅降低了算法的时、空复杂度，单帧处理从150ms降低到20ms；

2)采用递归Kalman滤波算法，对全局运动矢量进行滤波，有效区分随机抖动和有意扫描运动，并可通过系统参数设置，动态调节滤波器的滤波能力，提高对不同剧烈程度运动场景的适应力；

3)采用基于运动修复的视频修复算法对稳像视频进行全帧修复，重建其边界缺失部分，和以往稳像视频的修复相比，本发明不直接对未完义区像素的亮度值进行修复，而是先修复局部运动场，再利用完整的局部运动场引导像素点的修复，这样可减小修复痕迹，提高修复效果。

附图说明

图1为本发明电子稳像方法的流程图。

图2为本发明运动估计步骤中分散式Harris角点匹配的示意图。

图3为本发明运动估计步骤中基于RANSAC的特征点对精匹配的算法流程图。

图4为本发明视频修复步骤的修复示意图，图(a)是局部运动场修复示意图，图(b)是修复源块搜索结果示意图。

图5为本发明视频修复中采用的FMM算法流程图。

图6为本发明运动估计中的多分辨率金字塔跟踪匹配示意图。

图7为本发明中滤波器跟踪性能测试结果图，图7(a)为过程噪声方差σ(Q)＝1e-5，观测噪声方差σ(R)＝1e-1，图7(b)为过程噪声方差σ(Q)＝1e-2，观测噪声方差σ(R)＝1e-3。

具体实施方式

为解决运动载体(机、船、车、人)抖动对视频拍摄效果的影响，本发明提出一种基于特征匹配的电子稳像EIS(Electronic Image Stabilization)方法：利用分散式Harris角点匹配估计全局运动，经过Kalman滤波滤除随机抖动，保留有意扫描分量，再对当前帧进行反向运动补偿，为了消除补偿所致的边界空洞，采用基于快速推进FMM(FastMarching Method)算法对空洞处进行运动修复，进而引导像素修复，最终完成视频的稳像。实验表明，这种稳像解决方案具有准确性高、抗噪性好、跟踪性能强、边界一致性好等优点。

本发明方法直接用于监控视频的前期处理中，以获得稳定的图像供后期应用。稳像方案共分为四个部分：运动估计、运动滤波、运动补偿、视频修复。

1)运动估计

首先提取监控视频参考帧中的特征点，所述参考帧为当前帧的前一帧，特征点为图像中的角点，接着在当前帧中进行搜索，提取当前帧中与前一帧的特征点对应的点，根据找到的特征点对，估算出两帧间的运动参数，即得到全局运动矢量和局部运动矢量；

2)运动滤波

采用Kalman滤波器对全局运动矢量行滤波，利用统计学方法构造状态空间模型，描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1)所得全局运动矢量进行滤波，得出有意运动参数，抖动分量为全局运动参数和对应的有意运动参数之差，所述差即为需要补偿的抖动参数；

3)运动补偿

由步骤2)滤波得到的需要补偿的抖动参数，得到当前帧与前一帧的变换关系，对视频当前帧进行补偿，将当前帧上的点变换到补偿后的坐标位置；

4)视频修复

利用视频的时空冗余信息，采用快速推进FMM算法修复补偿后的图像中，未定义区域的局部运动矢量，由此得到未定义区域的完整局部运动场，再利用局部运动矢量在参考帧中搜索，得到未定义区域所有像素点的亮度信息并进行填充，由此完成未定义区域的重建；

通过以上步骤对视频序列逐帧处理，获得稳定的稳像视频输出，步骤4)完成稳像视频边界未定义区域的重建，避免视频图像四周出现黑色的空洞。

本发明的流程如图1，最后提供两种输出，连同原始的输入视频，可用于三者的效果对比。下面具体说明本发明。

1、运动估计

为了估计准确同时做到实时，选用代表整个图像的特征量作为估计的依据。通常，好的特征量具有独特性、普遍性和分散性的特点。而在计算机视觉领域中，角点是一类比较特殊的点，使用最为广泛。角点一般包含的信息量十分丰富，且便于检测，能够适应光照条件的变化。通常，角点被定义为在图像边界上曲率足够高的点，在实际图像中，轮廓的拐角、线段的末端等都是角点。

本发明中采用Harris点提取算法(C.Harris，M.Stephens，“A combined corner andedge detector”，Fourth Alvey Vision Conference，1988.)，为了使提取出的特征在整幅图像中尽可能地分布均匀，避免特征和特征窗口在图像中分布过于集中，本发明设计了基于Harris的分散式角点提取算法，具体做法如下：

1)构造一个屏蔽窗口

由于主体窗口中出现前景目标和运动物体的概率较高，不宜在此选取特征点，所以直接屏蔽；

2)设置角点的临界距离d_c，在d_c为半径的圆周内不得再取其它角点。

这两个原则能够有效的使角点的分布出现在背景区域，且尽可能均匀，如图2所示。

为了减轻噪声的影响并避免光流计算陷入局部最小，角点的区配采用多分辨率L-K光流算法(H.C.Chang，S.H.Lai，etc.，“A robust and efficient video stabilization algorithm”，IEEE ICME′04，2004)，它是从金字塔的最顶层开始计算，用得到的运动估计结果作为下一层的起点，直至底层，如图6所示。算法具体如下：

(1)分别将两帧图像做k(3～4)层Gaussian金字塔分解；

(2)计算第k-1层的L-K光流[u，v]^T；

(3)将[u，v]^T双线性插值并倍乘2后作为次高层光流的预估值[u^*，v^*]^T；

(4)利用[u^*，v^*]^T对次高层进行运动补偿，并计算出补偿后的次高层光流[u′，v′]^T；

(5)次高层的光流等于[u^*+u′，v^*+v′]^T；

(6)依此类推，直至得到第0层的光流场。

为进一步降低误匹配对，又采用了随机抽样一致RANSAC算法对匹配后的特征点对进行精匹配。整个运动估计的技术路线如图3所示。

现有技术中，US7440008B2对图像块采用L-K光流法估计局部运动矢量，再通过最小二乘法进行运动滤波，这种算法假设每个图像块内的各像素运动一致，所以块大小的选择和分布决定了运动估计的复杂度和精度。而本发明中采用分散式Harris角点光流跟踪匹配的方法，精度不受图像旋转、仿射变换的影响，抗噪性和场景适应性得到了保障。除此之外，本发明还对稳像后视频出现的空洞区域进行原分辨率重建修复，提高了视频的质量。

2、运动滤波

运动估计采用Kalman滤波法。首先利用统计学方法构造状态空间模型(Litvin A，Konrad J，Karl W.“Probabilistic video stabilization using Kalman filtering and mosaicking”，SPIE Conference on Electronic Imaging，Santa Clara，2003.)，描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1)所得全局运动矢量进行滤波。统计学方法最终是通过基本滤波方程体现的，Kalman递归方程就是统计方法的数学表现。Kalman滤波器能够很好地通过递归估计出最合适的有意运动参数，从而跟踪摄像机平滑的扫描运动。下面介绍Kalman滤波器的数学模型，状态方程和观测方程如下：

X(k)＝AX(k-1)+BU(k)+W(k).......(1)

Z(k)＝HX(k)+V(k).......(2)

其中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量，W(k)表示系统的过程噪声，A和B是系统参数；Z(k)是k时刻的测量值，V(k)测量的噪声，H是测量系统参数。假设噪声都是高斯白噪声，它们的协方差分别是Q、R。

Kalman滤波方程为：

X(k|k-1)＝AX(k-1|k-1)+BU(k).......(3)

式(3)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。

P(k|k-1)＝AP(k-1|k-1)A^T+Q.......(4)

式(4)中，P(k|k-1)是X(k|k-1)对应的协方差，P(k-1|k-1)是X(k-1|k-1)对应的协方差。

X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1)).......(5)

式(5)中，Kg为卡尔曼增益。

Kg(k)＝P(k|k-1)H^T/(HP(k|k-1)H^T+R).......(6)

P(k|k)＝(1-Kg(k))H)P(k|k-1).......(7)

以上便是Kalman滤波器的几个基本方程，包括状态方程、观测方程和递归滤波方程。利用上述方程，建立有意扫描运动分量的完整状态空间模型为：

$\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\Δx}\\ \mathrm{\Δ}{v}_x\\ \mathrm{\Δy}\\ \mathrm{\Δ}{v}_y\end{array}\right]=\left[\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0& 1& 1& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 1& 1& 0\\ 0& 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\Δx}\\ \mathrm{\Δ}{v}_x\\ \mathrm{\Δy}\\ \mathrm{\Δ}{v}_y\end{array}\right]\left[\begin{array}{c}N(0,{\mathrm{\σ}}_{\mathrm{\θ}})\\ 0\\ N(0,{\mathrm{\σ}}_x)\\ 0\\ N(0,{\mathrm{\σ}}_y)\end{array}\right]........\left(8\right)$

滤波时首先初始化Kalman滤波器的各参数，然后用Kalman滤波器的递归方程对运动状态进行有意扫描分量的预测，确定需要补偿的抖动参数。

初始化Kalman滤波器时，根据抖动的剧烈程度，设置系统参数，包括观测噪声R和过程噪声，以动态调节滤波器对运动的跟踪能力；定义Kalman滤波器的状态矢量为S(k)＝[θ，dx，dv_x，dy，dv_y]，各分量分别为旋转角θ、水平运动分量dx、水平运动速率dv_x、垂直运动分量dy和垂直运动速率dv_y；观测矢量定义为Z(k)＝[θ，dx，dy]，滤波前分别对状态矢量和观测矢量进行初始化。

初始化完成后，用上述Kalman滤波方程对摄像机的有意扫描运动状态进行预测，抖动分量即为全局运动和对应的有意运动之差。

3、运动补偿

以当前帧k为例，设原始运动矢量为Z_raw(k)，而Kalman滤波后的结果为Z_kal(k)，则待补偿的抖动量为

相应地，用同样的方法可获得旋转角度

水平和垂直方向的补偿参数

以及补偿的比例因子

由此，可以确定反向补偿矩阵，该反向补偿矩阵各分量计算如下：

${\stackrel{\‾}{m}}_0\left(k\right)=\stackrel{\‾}{s}\left(k\right)\×\cos \stackrel{\‾}{\mathrm{\θ}}\left(k\right),$ ${\stackrel{\‾}{m}}_1\left(k\right)=\stackrel{\‾}{s}\left(k\right)\×(-\sin \stackrel{\‾}{\mathrm{\θ}}\left(k\right)),$ ${\stackrel{\‾}{m}}_2\left(k\right)=d\stackrel{\‾}{x}\left(k\right)$

${\stackrel{\‾}{m}}_3\left(k\right)=\stackrel{\‾}{s}\left(k\right)\×\sin \stackrel{\‾}{\mathrm{\θ}}\left(k\right),$ ${\stackrel{\‾}{m}}_4\left(k\right)=\stackrel{\‾}{s}\left(k\right)\×\cos \stackrel{\‾}{\mathrm{\θ}}\left(k\right),$ ${\stackrel{\‾}{m}}_5\left(k\right)=d\stackrel{\‾}{y}\left(k\right)$

.......(9)

其中，

分别表示补偿后的旋转角度、水平、垂直、缩放系数，式(9)得到的反向补偿矩阵简记为

最后，采用仿射模型，得到当前帧k相对于前一帧k-1的变换关系为：

$\left[\begin{array}{c}{x}_k\\ y_k\end{array}\right]=\left[\begin{array}{cc}{m}_0(k,k-1)& m1(k,k-1)\\ m_2(k,k-1)& m4(k,k-1)\end{array}\right]\left[\begin{array}{c}{x}_{k-1}\\ y_{k-1}\end{array}\right]+\left[\begin{array}{c}{m}_2(k,k-1)\\ m_5(k,k-1)\end{array}\right].......\left(10\right)$

式(10)简记为p_k＝T_kp_k-1+D_k，则补偿帧k′相对于前一帧k-1的关系如式(11)所示：

${p^{\′}}_k=\stackrel{\‾}{T_k}{T}_k{p}_{k-1}+\stackrel{\‾}{T_k}{D}_k+{\stackrel{\‾}{D}}_k.......\left(11\right)$

这样就完成了将参考帧上一点p_k变换到补偿后的坐标系上的p′_k。

对补偿的准确性进行测试，用三幅图对准确性进行测试，表2为相应的测试结果。

表2准确度测试结果

4、视频修复

相比于图像修复，视频数据量庞大，但是很多信息量是重复的，冗余信息十分多。静态图像的修复是利用图像的空间冗余信息，而视频修复最大的特点是除了空间冗余外，视频序列中还有大量的时间冗余信息，因此，本发明中充分利用时空冗余信息对受损区域进行修复：首先，优先在时间轴上相邻几帧中搜索，利用邻帧中同一区域的局部运动矢量估计当前帧相应未定义区域的局部运动，再通过局部运动场引导像素亮度值的修复；对无法修复的点采用帧内搜索，由于图像灰度的空间连续性要求，所以可以对前面利用时间轴修复的“盲点”采用静态图像修复的方法，典型的方法如Criminisi算法(A.Criminisi，etc.，“Object Removal by Exemplar-Based Inpainting，”IEEE CVPR，2003.)。视频修复对所得的稳像视频进行原分辨率修复，即分辨率保持不变，无裁剪过程，完成稳像视频边缘未定义区域的重建，推进策略采用快速推进FMM算法。现有其它的稳像方案多采用图像拼接Mosaic的方法，修复痕迹明显，而本发明采用运动修复后可保持修复处纹理的连续性。

1)基于运动修复的视频修复算法数学模型

基于运动修复的视频修复方法在Y.Matsushita，Eyal Ofek，etc.，“Full-Frame VideoStabilization with Motion Inpainting”，IEEE TPAMI，2006中也有提及，在本发明中如图4所示，p_t点灰度值未知，位于当前帧受损区域边界上，q_i光流矢量已知，为p_t的ε_p邻域内的一个像素点，当然，这个已知点的光流矢量可以是初始时刻已知区的光流矢量，也可以是通过FMM算法推断过程得到的。设光流场的局部变化很小，由泰勒展开式可知，p_t点的光流矢量估算如下：

$\left[\begin{array}{c}{u_{p_t}}^{q_i}\\ {v_{p_t}}^{q_i}\end{array}\right]=\left[\begin{array}{c}{u}_{q_i}\\ v_{q_i}\end{array}\right]+\left[\begin{array}{cc}\frac{\∂u_{q_i}}{\∂x}& \frac{\∂u_{q_i}}{\∂y}\\ \frac{\∂v_{q_i}}{\∂x}& \frac{\∂v_{q_i}}{\∂y}\end{array}\right]\left[\begin{array}{c}{x}_{p_t}-x_{q_i}\\ y_{p_t}-y_{q_i}\end{array}\right].......\left(12\right)$

式(12)中，

表示光流矢量已知像素q_i的局部运动矢量，

表示q_i对未知像素点p_t的光流矢量推测值，x、y表示已知像素点和未知像素点两点的坐标值。

令

$\▿F\left(q_i\right)=\left[\begin{array}{cc}\frac{\∂u_{q_i}}{\∂x}& \frac{\∂u_{q_i}}{\∂y}\\ \frac{\∂v_{q_i}}{\∂x}& \frac{\∂v_{q_i}}{\∂y}\end{array}\right]$ 表示q_i的运动场梯度，则上式表示为：

$F(p_t;q_i)=F\left(q_i\right)+\▿F\left(q_i\right)(p_t-q_i).......\left(13\right)$

未知像素点p_t的光流矢量通过对邻域ε_p中所有已知像素的光流矢量采用加权平均的方法获得的，如式(14)所示：

$F\left(p_t\right)=\frac{{\mathrm{\Σ}}_{q_i\∈{\mathrm{\ϵ}}_p}w(p_t,q_i)F(p_t;q_i)}{{\mathrm{\Σ}}_{q_i\∈{\mathrm{\ϵ}}_p}w(p_t,q_i)}.......\left(14\right)$

其中，加权因子w(p_t，q_i)由两像素点间的欧拉距离和其色彩相似性两方面因素决定(聂栋栋，《数字图像和视频修复理论及其算法研究》，上海交大博士论文，2007.)，见式(15)～(17)：

w(p_t，q_i)＝w_g(p_t，q_i)w_c(p_t，q_i).......(15)

$w_g(p_t,q_i)=\frac{1}{|p_t-q_i|}.......\left(16\right)$

$w_c(p_t,q_i)=\frac{1}{|I_{t^{\′}}(p_t+F\left(q_i\right))-I_{t^{\′}}(q_i+F\left(q_i\right))|+\mathrm{\ϵ}}.......\left(17\right)$

以上3式中，w_g表示距离因子，w_c表示色彩因子。若p′_t＝p_t+F(q_i)和q′_i＝q_i+F(q_i)都位于参考帧未知区域M中时，就跳过点p_t的局部运动估计，采用帧内搜索，用静态图像修复的方法来求取此处的运动矢量。结合运动修复和静态图象修复，得到局部运动矢量。

2)FMM算法

上面的数学模型是边界上某点运动修复的基础，可以完成未知点p_t的局部运动矢量估计。然而要从边界

推进到整个未知区域M，需要选择合适的遍历策略，这实际上是一个边界值扩散的过程，满足边界值程函方程。

$\▿T\left(x\right)=0(x\∈M,T{|}_{x\∈\∂\mathrm{\Ω}}=0)......\left(18\right)$

其中，M表示未知区域，

表示其边界，T表示距离值参数。为了解决上述方程，J.A.Sethian提出了基于数值计算的快速推进算法FMM(Fast Marching Method)(J.Sethian，Level Set Methods：Evolving Interfaces in Geometry，Fluid Mechanics，Computer Vision andMaterials Sciences.Cambridge Univ.Press，1996；A.Telea，“An Image Inpainting TechniqueBased on the Fast Marching Method，”J.Graphics Tools，2004.)，利用FMM算法，可以保证从未知区域边界向整个未知区域推进且所有待修复点只遍历一次。

3)像素点修复

经过上述运动修复后，可以得到完整的局部运动场，即由基于运动修复的视频修复算法数学模型获得未知区域边界的点运动矢量，再有FMM算法推进得到整个未知区域的局部运动矢量，它其实就是每个待修复块相应的修复源块的索引表，利用此局部运动场，来引导缺失像素的填充。对当前稳定帧I′_t中的未知像素点p_t的色彩值，利用前一帧I_t-1的信息进行如下估计：

I′_t(p_t)←I_t-1(p_t+F(p_t)).......(19)

算出未知像素点的色彩值I′_t(p_t)，完成修复。对未知区域的每一点重复式(19)的操作，这样，未知像素点可以完成RGB色彩重建。对重建修复发抗噪性进行测试，表3为相应的测试结果。

表3抗噪性测试结果

图7为本发明中滤波器跟踪性能测试结果图，图7(a)为过程噪声方差σ(Q)＝1e-5，观测噪声方差σ(R)＝1e-1，图7(b)为过程噪声方差σ(Q)＝1e-2，观测噪声方差σ(R)＝1e-3：(a)中过程噪声Q较小，而观测噪声R相对较大，滤波后曲线的运动越平滑，需要补偿的抖动分量越大；(b)中过程噪声Q较大，观测噪声R相对较小，滤波后的结果显示对有意运动的跟踪性较强，几乎可以跟上位移的变化，相应的需要补偿的分量越小。可以根据不同的要求设置不同的滤波参数，以满足系统对跟踪性和平稳性的要求。

本发明深入研究如何实现抖动载体，包括机载、车载、船载和人载，所拍视频的去抖动，并提出稳像方案，相对于现有的稳像方法，本发明的创新点如下：

1)提出了视频稳像整体方案，并予以技术实现。该方案在准确性、抗噪性方面均有良好的表现，应用性很强；

2)提出了基于分散式Harris角点匹配的稳像算法。该算法结合实际视频序列的特点，不仅保证了全局运动矢量的全局性，而且降低了运动量，取得了良好的实时性。

3)给出了Kalman滤波器滤波性能与参数的关系。解决了运动滤波的场景适应性问题，改进了基于运动修复的视频修复算法。算法采用快速推进FMM算法对补偿后的空洞进行修复，修复后边缘的连续性得到了保证。

Claims (1)

1.基于特征匹配的电子稳像方法，其特征是用于监控视频的前期处理，获取稳定图像供后期应用，包括以下步骤：

1）运动估计

首先提取监控视频参考帧中的特征点，所述参考帧为当前帧的前一帧，特征点为图像中的角点，接着在当前帧中进行搜索，提取当前帧中与前一帧的特征点对应的点，根据找到的特征点对，估算出两帧间的运动参数，即得到全局运动矢量和局部运动矢量；

2）运动滤波

采用Kalman滤波器对全局运动矢量行滤波，利用统计学方法构造状态空间模型，描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1）所得全局运动矢量进行滤波，得出有意运动参数，抖动分量为全局运动参数和对应的有意运动参数之差，所述差即为需要补偿的抖动参数；

3）运动补偿

由步骤2）滤波得到的需要补偿的抖动参数，得到当前帧与前一帧的变换关系，对视频当前帧进行补偿，将当前帧上的点变换到补偿后的坐标位置；

4）视频修复

利用视频的时空冗余信息，采用快速推进FMM算法修复补偿后的图像中未定义区域的局部运动矢量，由此得到未定义区域的完整局部运动场，再利用局部运动矢量在参考帧中搜索，得到未定义区域所有像素点的亮度信息并进行填充，由此完成未定义区域的重建；

通过以上步骤对视频序列逐帧处理，获得稳定的稳像视频输出，步骤4）完成稳像视频边界未定义区域的重建，避免视频图像四周出现黑色的空洞；

步骤1）的运动估计采用分散式Harris角点提取算法，具体为：

11）在视频图像的窗口中构造一个屏蔽窗口 

12）设置角点的临界距离d_c，在d_c为半径的圆周内不再取其它角点；

在当前帧中提取与前一帧的角点匹配的点时，采用多分辨率L-K光流算法，采用随机抽样一致RANSAC算法对匹配后的特征点对进行精匹配；

步骤2）中Kalman递归方程包括状态方程、观测方程和更新方程，建立主动运动的完整状态空间模型，滤波时首先初始化Kalman滤波器的各参数，然后用Kalman滤波器的递归方程对运动状态进行有意扫描分量的预测，确定需要补偿的抖动参数；

初始化Kalman滤波器时，根据抖动的剧烈程度，设置系统参数，包括观测噪声R 和过程噪声，以动态调节滤波器对运动的跟踪能力；定义Kalman滤波器的状态矢量为S(k)＝[θ，dx,dv_x,dy,dv_y]，各分量分别为旋转角θ、水平运动分量dx、水平运动速率dv_x、垂直运动分量dy和垂直运动速率dv_y；观测矢量定义为Z(k)＝[θ，dx,dy]，滤波前分别对状态矢量和观测矢量进行初始化；

步骤3）的运动补偿采用仿射模型，根据步骤2）的需要补偿的抖动参数，得到当前帧相对于前一帧的变换关系；

步骤4）的稳像视频修复采用基于运动修复的视频修复算法，对步骤3）所得的稳像视频进行原分辨率修复：利用时空冗余信息对当前帧受损区域进行修复，先在时间轴上与当前帧相邻的帧中搜索，利用邻帧中同一区域的局部运动矢量估计当前帧相应未定义区域的局部运动，再通过局部运动场引导像素亮度值的修复；对通过时间轴搜索无法修复的点采用帧内搜索，用静态图像修复的方法进行修复，完成所有未定义区域的重建。 

Images