CN102685371A - 基于多分辨率块匹配和pi控制的数字视频稳像方法 - Google Patents

Abstract

本发明公开了一种基于多分辨率块匹配和PI控制的数字视频稳像方法，通过改进的菱形搜索算法得到选定块的运动矢量，并用最小二乘估计得到全局运动向量的运动参数，然后将运动向量代入比例积分控制器为核心的补偿单元，得到运动补偿向量，进而对抖动视频序列进行运动补偿。本发明将含抖的视频序列进行去抖，提高了传统菱形快速搜索算法的准确性，也提高了视频的观看质量；根据追拍运动的加速度，基于比例积分控制器提出了新的运动补偿方法，该方法能够更好地保留主观运动的追拍分量和拍摄者主观的追拍运动，可以估计得到更准确的运动矢量，产生较小的稳态误差，并可以根据要求补偿包括平移、旋转、缩放等抖动现象。

Description

基于多分辨率块匹配和PI控制的数字视频稳像方法

技术领域

本发明特别涉及一种基于多分辨率块匹配和PI控制的数字视频稳像方法。

背景技术

数字稳像技术（Digital Image Stabilization, DIS）是一项综合电子学、光学、计算机和图像处理等为一体、能稳定视频图像序列的新技术。它具有精度高、实时性强、体积小、价格便宜和功耗低等优点，有着广泛的应用前景。随着视频设备的普及以及视频技术的广泛应用，对数字稳像技术的研究已成为图像处理领域研究的热点之一。

典型的数字稳像系统包括运动估计单元和运动补偿单元。运动估计单元的功能是获得正确的摄像机运动参数，并保留其中人为的追拍分量，分离得到抖动的运动分量；常用的运动估计方法主要有块匹配法、灰度投影法、特征匹配法等。其中，块匹配法具有高效快速、易于硬件实现的优点，得到了广泛的研究和应用。常见的块匹配搜索方法包括：全搜索(Full Search, FS)法、二维对数(Two dimensional Logarithmic, TDL)法、三步搜索(Three Step Search, TSS)法、菱形搜索(Diamond Search, DS)法等快速算法。其中，菱形快速搜索算法因具有快速性和较优异的性能而得到了广泛的应用。但传统意义上的快速块匹配方法，都存在容易陷入局部极小值点的不足。此外，对于不同分辨率的图像或者稳像视频质量不高的情况，现有的运动估计方法很难获得较为理想的估计效果。

发明内容

发明目的：为解决上述背景技术中的技术问题，基于 Similarity运动模型，在传统的菱形搜索块匹配算法的基础上，提供一种基于多分辨率块匹配和PI控制的数字视频稳像方法。

采用的技术方案：提供了一种基于多分辨率块匹配和PI控制的数字视频稳像方法，包括以下步骤：

步骤100：建立帧间运动模型：选用Similarity 运动模型对图像序列的运动进行描述，以反映图像序列帧间的平移、绕光轴旋转和变焦运动，其运动模型为：

                  (1)

其中，(x,y)和(x’, y’)分别表示每个像素点在参考帧和当前帧(前一帧和后一帧)的坐标，s代表摄像机的变焦系数，

代表帧间图像的旋转角度，d_x、d_y分别代表水平和垂直方向的偏移量；

对于安防监控或手持成像小幅抖动的情况下，图像序列帧间的偏转角

很小，认为

1，

；同时，变焦系数s保持不变，设为1，这样，式(1)的简化模型为：

                     (2)

步骤200：对图像进行分块：设视频图像的大小为M×N，将每帧图像水平和垂直方向五等分，则每一个图像块的大小为[M/5]×[N/5]；这样图像的外围有16个图像块，将相邻5个字块进行组合，以形成四个“L”形区域；

按照同样方法，将外围的16个图像块在水平和垂直方向继续五等分，此时，每个子块的大小为[M/25]×[N/25]；经过两次划分，每个子块的尺寸相对图像的尺寸而言已经很小，这样每个子块的旋转运动就变得不明显，此时，每个子块的局部运动可以近似认为只存在平移运动，即近似认为块内所有像素具有相同的运动形式；

步骤210：特征块的选取：不是所有的背景子块都适合进行块匹配搜索；有些子块特征明显，细节丰富，图像变化剧烈，用于估计运动矢量会比较准确；而有些子块特征不明显，图像比较单调，和周围子块相近，用于运动矢量估计得到的参数则不可信，因此，为了提高运动矢量估计的准确性和鲁棒性，需要对参加运动估计的子块进行筛选；

对16个背景图像块中的每一个子块按照式(3)计算其SAD值：

其中，m , n表示选定子块内像素坐标；

表示第k帧图像m , n位置像素的灰度值；用h, w分别表示每个子块的长和宽，则(

)分别取{(0,w), (0,-w), (h,0), (-h,0)}中的一个；式(3)表示选定子块与四邻域子块对应位置像素值差的绝对值和；显然，如果该子块与周围子块的差异越大，则该值越大，即认为该子块的特征越明显；反之，则特征越不明显；选定SAD值最大的若干个子块为特征子块，用于后续的运动矢量估计；

步骤300：多分辨率自适应分级块匹配：对选定的特征块进行多分辨率自适应分级块匹配；首先确定自适应分级的初始级数，然后在各级中进行传统的菱形搜索算法，将级别自减并循环调用传统的菱形搜索算法，直到级别小于0停止；具体包括子步骤310,320,330；

步骤310：自适应分级：确定自适应分级的初始级数，令R_L=[M/5]，R_W=[N/5]，则初始级数n定义为满足式(4)所示条件的最大整数：

n=[]                      (4)

步骤320：进行级别n下的传统菱形快速块匹配：按照绝对平均误差函数准则或绝对差分和函数准则进行匹配；选取以当前帧选定子块为中心的8×8个间距为2ⁿ的像素点，进行对应上一帧的相同位置和周围8个方向的搜索，使用菱形搜索算法大模板，搜索的单位步长为2ⁿ；

步骤321：如果匹配后，最小位置为9个位置中的中心位置，进行对应上一帧的相同位置和周围4个方向的搜索，使用菱形搜索算法小模板，搜索的单位步长为2ⁿ；

如果不为中心位置，则跳转到步骤320执行；

步骤330：如果当前级数不为0，则以上一步骤得到的最小MAD值的位置为初始位置，级数减1，跳转到320执行；如果级数为0，则当前得到的最小MAD值即为最佳匹配位置；

步骤400：基于最小二乘的全局运动估计：对式(1)进行整理，可以得到的矩阵方程：

                    (5)

根据每个“L”型区域得到的运动矢量，以及式(5)对参数

进行最小二乘估计；

若采取简化后的运动模型，则根据式(6)进行运动估计，表达式如下：

                (6)

利用最小二乘估计，每个“L”型区域都估计出一组全局运动参数，最后再利用取中位数的方法从四组参数以及上一帧的运动参数共五组参数中选出一组，作为当前帧相对于上一帧的全局运动参数；

步骤500：利用基于比例积分控制器的自适应运动补偿方法对图像序列进行补偿，包括子步骤510,520,530,540；

步骤510；如果当前帧为第一帧，运动补偿向量CMV赋初值0；如果为第二帧，由上一步骤求出的全局运动矢量GMV，和上一帧的运动补偿向量CMV，赋值为第二帧的全局运动矢量减去上一帧的运动补偿向量，即CMV[2]=GMV[2]+CMV[1]，跳转到步骤530，否则执行步骤520；

步骤520；计算追拍分量PMV和追拍运动的加速度分量▽PMV：对于第三帧和以后的每帧图像，由之前计算得到的全局运动分量和运动补偿向量，根据式(7)和式(8)计算追拍分量PMV和追拍运动的加速度分量▽PMV：

PMV[i]= GMV[i]- CMV[i]+CMV[i-1]               (7)

▽PMV[i]=GMV[i]-GMV[i-1]-CMV[i]+2CMV[i-1]-CMV[i-2] (8)

步骤521：引入PI控制器，将▽PMV的实际值和0进行比较，把误差作为PI控制器的输入，记为EMV，▽PMV[i]一般在0附近；但是，每当处理新的一帧图像时，在没有计算CMV[i]之前，CMV[i]未知，一般令CMV[i]=0，如果真实的CMV[i]不为0，既需要补偿时，平衡被破坏，此时计算得到的▽PMV[i](非真实的▽PMV[i])不在0附近，即产生了误差，也可以认为真实的▽PMV[i]受到了+CMV[i]的扰动，EMV[i]表示如下：

EMV[i]=▽PMV[i]+CMV[i]=GMV[i]-GMV[i-1]+2CMV[i-1]-CMV[i-2] (9)

步骤522：根据PI控制器的输入EMV，可得到PI控制器的输出U为：

其中，为PI调节的比例系数，为PI调节的积分系数；考虑到PI调节后，▽PMV[i]又重新趋于0，既有

▽PMV[i]+U+CMV[i]

0                  (11)

考虑到受扰动前▽PMV[i]近似为0，可以按下式求得需要的运动补偿向量CMV：

步骤530：对含抖的图像序列进行补偿：将运动补偿得到的运动补偿向量的各个参量

以及原图像的像素位置代入下式，进行补偿：

                  (13)

并将像素赋给新的坐标位置(x’,y’)，即完成了稳像；同样的，如果采取简化后的模型，应用下式进行补偿：

                    (14)

有益效果：本发明将含抖的视频序列进行去抖，提高了传统菱形快速搜索算法的准确性，也提高了视频的观看质量；根据追拍运动的加速度，基于比例积分控制器提出了新的运动补偿方法，该方法能够更好地保留主观运动的追拍分量和拍摄者主观的追拍运动，可以估计得到更准确的运动矢量，产生较小的稳态误差，并可以根据要求补偿包括平移、旋转、缩放等抖动现象。

附图说明

图1是图像块的划分的示意图。

图2是8×8子块的选取示意图。

图3是菱形搜索(大模板)的示意图。

图4是菱形搜索(小模板)的示意图。

图5是运动补偿单元系统的框图。

图6是基于多分辨率块匹配和PI控制的数字视频稳像方法的系统框图。

图7是原始视频参考帧图像。

图8是用本文方法处理后第12帧图像。

图9是用传统DS方法处理后第12帧图像。

图10是用本文方法处理后第26帧图像。

图11是用传统DS方法处理后第26帧图像。

图12是原始视频的第一帧图像。

图13是用原始视频的第95帧图像。

图14是用本文方法处理后第95帧图像。

图15是利用MPI和本方法存在追拍时的补偿效果对比图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

本发明的基于多分辨率块匹配和比例积分控制的数字视频稳像方法，包括以下步骤：

步骤100：建立帧间运动模型：选用Similarity 运动模型对图像序列的运动进行描述，以反映图像序列帧间的平移、绕光轴旋转和变焦运动，其运动模型为：

                  (1)

其中，s代表摄像机的变焦系数，代表帧间图像的旋转角度，d_x、d_y分别代表水平和垂直方向的偏移量；

对于安防监控或手持成像小幅抖动的情况下，图像序列帧间的偏转角很小，可以近似认为

1，

；同时，变焦系数s 大部分时间都保持不变，设为1，这样，式(1)的简化模型为：

                     (2)

步骤200：对图像进行分块：设视频图像的大小为M×N，将每帧图像水平和垂直方向五等分，则每一个图像块的大小为[M/5]×[N/5]。这样图像的外围有16个图像块，这些图像块能够较好地代表图像序列的背景运动，可以避免前景运动对运动估计的影响；将相邻5个字块进行组合，以形成四个“L”形区域。

按照同样方法，将外围的16个图像块在水平和垂直方向继续五等分，此时，每个子块的大小为[M/25]×[N/25]，经过两次划分，每个子块的尺寸相对图像的尺寸而言已经很小，这样每个子块的旋转运动就变得不明显，此时，每个子块的局部运动可以近似认为只存在平移运动，即近似认为块内所有像素具有相同的运动形式；

步骤210：特征块的选取：不是所有的背景子块都适合进行块匹配搜索；有些子块特征明显，细节丰富，图像变化剧烈，用于估计运动矢量会比较准确；而有些子块特征不明显，图像比较单调，和周围子块相近，用于运动矢量估计得到的参数则不可信，因此，为了提高运动矢量估计的准确性和鲁棒性，需要对参加运动估计的子块进行筛选；

对16个背景图像块中的每一个子块按照式(3)计算其SAD值：

其中，m , n表示选定子块内像素坐标；

表示第k帧图像m , n位置像素的灰度值；用h, w分别表示每个子块的长和宽，则(

)分别取{(0,w), (0,-w), (h,0), (-h,0)}中的一个；式(3)表示选定子块与四邻域子块对应位置像素值差的绝对值和；显然，如果该子块与周围子块的差异越大，则该值越大，即认为该子块的特征越明显；反之，则特征越不明显；选定SAD值最大的若干个子块为特征子块，用于后续的运动矢量估计；

步骤300：多分辨率自适应分级块匹配：对选定的特征块进行多分辨率自适应分级块匹配；首先确定自适应分级的初始级数，然后在各级中进行传统的菱形搜索算法，将级别自减并循环调用传统的菱形搜索算法，直到级别小于0停止；具体包括子步骤310,320,330；

步骤310：自适应分级：确定自适应分级的初始级数，令R_L=[M/5]，R_W=[N/5]，则初始级数n定义为满足式(4)所示条件的最大整数：

n=[

]                      (4)

步骤320：进行级别n下的传统菱形快速块匹配：按照绝对平均误差函数（Mean Absolute Difference, MAD）准则或绝对差分和函数（Sums of Absolute Difference, SAD）准则进行匹配；选取以当前帧选定子块为中心的8×8个间距为2ⁿ的像素点，进行对应上一帧的相同位置和周围8个方向的搜索(菱形搜索算法大模板)，搜索的单位步长为2ⁿ；

步骤321：如果匹配后，最小位置为9个位置中的中心位置，进行对应上一帧的相同位置和周围4个方向的搜索(菱形搜索算法小模板)，搜索的单位步长为2ⁿ；

如果不为中心位置，则跳转到步骤320执行；

步骤330：如果当前级数不为0，则以上一步骤得到的最小MAD值的位置为初始位置，级数减1，跳转到320执行；如果级数为0，则当前得到的最小MAD值即为最佳匹配位置；

步骤400：基于最小二乘的全局运动估计：对式(1)进行整理，可以得到的矩阵方程：

                    (5)

根据每个“L”型区域得到的运动矢量，以及式(5)对参数

进行最小二乘估计；

若采取简化后的运动模型，则根据式(6)进行运动估计，表达式如下：

                (6)

利用最小二乘估计，每个“L”型区域都估计出一组全局运动参数，最后再利用取中位数的方法从四组参数以及上一帧的运动参数共五组参数中选出一组，作为当前帧相对于上一帧的全局运动参数；

步骤500：利用基于比例积分控制器的自适应运动补偿方法对图像序列进行补偿，包括子步骤510,520,530,540；

步骤510；如果当前帧为第一帧，运动补偿向量CMV赋初值0；如果为第二帧，由上一步骤求出的全局运动矢量GMV，和上一帧的运动补偿向量CMV，赋值为第二帧的全局运动矢量减去上一帧的运动补偿向量，即CMV[2]=GMV[2]+CMV[1]，跳转到步骤530，否则执行步骤520。

步骤520；计算追拍分量PMV和追拍运动的加速度分量▽PMV：对于第三帧和以后的每帧图像，由之前计算得到的全局运动分量和运动补偿向量，根据式(7)和式(8)计算追拍分量PMV和追拍运动的加速度分量▽PMV：

PMV[i]= GMV[i]- CMV[i]+CMV[i-1]               (7)

▽PMV[i]=GMV[i]-GMV[i-1]-CMV[i]+2CMV[i-1]-CMV[i-2] (8)

步骤521：引入PI控制器，将▽PMV的实际值和0进行比较，把误差作为PI控制器的输入，记为EMV，▽PMV[i]一般在0附近。但是，每当处理新的一帧图像时，在没有计算CMV[i]之前，CMV[i]未知，一般令CMV[i]=0，如果真实的CMV[i]不为0，既需要补偿时，平衡被破坏，此时计算得到的▽PMV[i](非真实的▽PMV[i])不在0附近，即产生了误差，也可以认为真实的▽PMV[i]受到了+CMV[i]的扰动，EMV[i]表示如下：

EMV[i]=▽PMV[i]+CMV[i]=GMV[i]-GMV[i-1]+2CMV[i-1]-CMV[i-2] (9)

步骤522：根据PI控制器的输入EMV，可得到PI控制器的输出U为：

其中，

为PI调节的比例系数，

为PI调节的积分系数。考虑到PI调节后，▽PMV[i]又重新趋于0，既有

▽PMV[i]+U+CMV[i]

0                  (11)

考虑到受扰动前▽PMV[i]近似为0，可以按下式求得需要的运动补偿向量CMV：

步骤530：对含抖的图像序列进行补偿：将运动补偿得到的运动补偿向量的各个参量

以及原图像的像素位置代入下式，进行补偿：

                  (13)

并将像素赋给新的坐标位置(x’,y’)，即完成了稳像。同样的，如果采取简化后的模型，应用下式进行补偿：

                    (14)。

Claims (1)

1.基于多分辨率块匹配和PI控制的数字视频稳像方法，包括以下步骤：

步骤100：建立帧间运动模型：选用Similarity 运动模型对图像序列的运动进行描述，以反映图像序列帧间的平移、绕光轴旋转和变焦运动，其运动模型为：

                  (1)

其中，(x,y)和(x’, y’)分别表示每个像素点在参考帧和当前帧(前一帧和后一帧)的坐标，s代表摄像机的变焦系数，

代表帧间图像的旋转角度，d_x、d_y分别代表水平和垂直方向的偏移量；

对于安防监控或手持成像小幅抖动的情况下，图像序列帧间的偏转角

很小，认为

1，

；同时，变焦系数s保持不变，设为1，这样，式(1)的简化模型为：

                     (2)

步骤200：对图像进行分块：设视频图像的大小为M×N，将每帧图像水平和垂直方向五等分，则每一个图像块的大小为[M/5]×[N/5]；这样图像的外围有16个图像块，将相邻5个字块进行组合，以形成四个“L”形区域；

按照同样方法，将外围的16个图像块在水平和垂直方向继续五等分，每个子块的大小为[M/25]×[N/25]；

步骤210：特征块的选取：

对16个背景图像块中的每一个子块按照式(3)计算其SAD值：

其中，m , n表示选定子块内像素坐标；

表示第k帧图像m , n位置像素的灰度值；用h, w分别表示每个子块的长和宽，则(

)分别取{(0,w), (0,-w), (h,0), (-h,0)}中的一个；式(3)表示选定子块与四邻域子块对应位置像素值差的绝对值和；选定SAD值最大的若干个子块为特征子块，用于后续的运动矢量估计；

步骤300：多分辨率自适应分级块匹配：对选定的特征块进行多分辨率自适应分级块匹配；确定自适应分级的初始级数，在各级中进行传统的菱形搜索算法，将级别自减并循环调用传统的菱形搜索算法，直到级别小于0停止；具体包括子步骤310,320,330；

步骤310：自适应分级：确定自适应分级的初始级数，令R_L=[M/5]，R_W=[N/5]，则初始级数n定义为满足式(4)所示条件的最大整数：

n=[

]                                   (4)

步骤320：进行级别n下的传统菱形快速块匹配：选取以当前帧选定子块为中心的8×8个间距为2ⁿ的像素点，进行对应上一帧的相同位置和周围8个方向的搜索，使用菱形搜索算法大模板，搜索的单位步长为2ⁿ；

步骤321：如果匹配后，最小位置为9个位置中的中心位置，进行对应上一帧的相同位置和周围4个方向的搜索，使用菱形搜索算法小模板，搜索的单位步长为2ⁿ；

如果不为中心位置，则跳转到步骤320执行；

步骤330：如果当前级数不为0，则以上一步骤得到的最小MAD值的位置为初始位置，级数减1，跳转到320执行；如果级数为0，则当前得到的最小MAD值即为最佳匹配位置；

步骤400：基于最小二乘的全局运动估计：对式(1)进行整理，得到的矩阵方程：

                                   (5)

根据每个“L”型区域得到的运动矢量，以及式(5)对参数

进行最小二乘估计；

若采取简化后的运动模型，则根据式(6)进行运动估计，表达式如下：

                             (6)

利用最小二乘估计，每个“L”型区域都估计出一组全局运动参数，再利用取中位数的方法从四组参数以及上一帧的运动参数共五组参数中选出一组，作为当前帧相对于上一帧的全局运动参数；

步骤500：利用基于比例积分控制器的自适应运动补偿方法对图像序列进行补偿，包括子步骤510,520,530,540；

步骤510；如果当前帧为第一帧，运动补偿向量CMV赋初值0；如果为第二帧，由上一步骤求出的全局运动矢量GMV，和上一帧的运动补偿向量CMV，赋值为第二帧的全局运动矢量减去上一帧的运动补偿向量，即CMV[2]=GMV[2]+CMV[1]，跳转到步骤530，否则执行步骤520；

步骤520；计算追拍分量PMV和追拍运动的加速度分量▽PMV：对于第三帧和以后的每帧图像，由之前计算得到的全局运动分量和运动补偿向量，根据式(7)和式(8)计算追拍分量PMV和追拍运动的加速度分量▽PMV：

PMV[i]= GMV[i]- CMV[i]+CMV[i-1]               (7)

▽PMV[i]=GMV[i]-GMV[i-1]-CMV[i]+2CMV[i-1]-CMV[i-2] (8)

步骤521：引入PI控制器，将▽PMV的实际值和0进行比较，把误差作为PI控制器的输入，记为EMV，▽PMV[i]一般在0附近；每当处理新的一帧图像时，在没有计算CMV[i]之前，CMV[i]未知，令CMV[i]=0，如果真实的CMV[i]不为0，既需要补偿时，平衡被破坏，此时计算得到的▽PMV[i](非真实的▽PMV[i])不在0附近，即产生了误差，认为真实的▽PMV[i]受到了+CMV[i]的扰动，EMV[i]表示如下：

EMV[i]=▽PMV[i]+CMV[i]=GMV[i]-GMV[i-1]+2CMV[i-1]-CMV[i-2] (9)

步骤522：根据PI控制器的输入EMV，得到PI控制器的输出U为：

其中，

为PI调节的比例系数，

为PI调节的积分系数；考虑到PI调节后，▽PMV[i]又重新趋于0，既有

▽PMV[i]+U+CMV[i]

0                  (11)

考虑到受扰动前▽PMV[i]近似为0，按下式求得需要的运动补偿向量CMV：

步骤530：对含抖的图像序列进行补偿：将运动补偿得到的运动补偿向量的各个参量

以及原图像的像素位置代入下式，进行补偿：

                  (13)

并将像素赋给新的坐标位置(x’,y’)，即完成了稳像；同样的，如果采取简化后的模型，应用下式进行补偿：

                                   (14)。

Images