CN103139568A - 基于稀疏度和保真度约束的视频稳像方法 - Google Patents

Abstract

本发明公开一种基于稀疏度和保真度约束的视频稳像方法，包括：第一步，把视频帧分段，段与段之间有一定数目重合的帧；第二步，选取当前段相邻帧之间的特征点对；第三步，对特征点对进行全局局外点去除；第四步，用得到的特征点对拟合二维线性运动模型；第五步，估计原始摄像机路径；第六步，确定平滑路径的目标函数和限制原始摄像机路径变化的约束条件；第七步，根据线性规划的求解得到截取窗口变换矩阵；第八步，去除视频中的非线性效应；第九步，用截取窗口变换矩阵对原始帧进行变换。本发明在减小视频抖动的同时，能够根据用户需要减小视频内容失真的程度，并对长视频的稳像有较好的效果。

Description

基于稀疏度和保真度约束的视频稳像方法

技术领域

本发明涉及的是一种可广泛用于手机、数码相机、摄像机等消费类电子产品，同时也可用于无人机、舰船等所装备的摄像和监控系统中的视频稳像方法，具体是一种基于稀疏度和保真度约束的视频稳像方法。

背景技术

视频稳像是指利用相关设备或算法，使得视频设备采集的原始视频序列较为稳定或者对原始序列进行稳定处理，去除其中的抖动。视频稳像的目的，一方面是为了改善用户的观感舒适度，另一个方面是作为其他视频处理任务的预处理步骤，如目标跟踪、目标检测和视频压缩等，可以提高这些处理任务的精度与鲁棒性。无论从哪个方面来看，视频稳像都有重要意义。

现有的大多数视频稳像方法分为三个步骤：全局运动估计、运动补偿和稳定运动图像生成。每个步骤有不同的实现方法。全局运动估计的方法主要有光流法、特征点对应法和块匹配法等。光流法不需要预先获取图像背景、不受复杂环境的影响，但计算时可靠性评价因子选择困难、对光流计算误差敏感；特征点对应法能够通过迭代法估计出较大的运动，但运动参数的估计精度在很大程度上依赖于特征点提取和匹配的精度；块匹配法简单快速、易于用硬件实现，但图像匹配的鲁棒性不是很好。运动补偿分为参数滤波法和轨迹平滑法。参数滤波法是指把运动模型的参数看成主观运动与加性抖动的叠加，用滤波的方法去除或抑制加性噪声，比较常见的低通滤波有Kalman滤波。轨迹平滑则是将摄像机的运动轨迹看成带噪声的运动轨迹，采用相应的平滑方法来去除高频噪声。图像生成则涉及到图形学相关知识，如融合、拼接、图像修补等，最简单的处理方式是直接对原帧进行变换，得到输出帧。

在目前众多视频稳像算法中，效果较好的是Grundmann M.,Kwatra Vand Essa I等人2011年在IEEE Conference on Computer Vision and PatternRecognition(电子与电气工程师协会计算机视觉与模式识别会议)发表的“Auto-directedvideo stabilization with robust l1optimal camera paths”(基于L1范数最优路径的视频稳像)一文中提出的方法，该方法通过基于电影摄影原理的L1范数约束来优化摄像机的运动轨迹，把最优摄像机路径分为三个组成部分：代表静态摄像机的路径，代表匀速运动摄像机的路径已经在这两者间平滑过渡的路径，从而到达消除抖动的目的。然而，该方法会丢失原始视频帧的不少信息，尤其是边缘信息，失真度较大；并且随着视频长度的增加，处理效率也会下降。K.Y.Lee,Y.Y.Chuang,B.Y.Chen and M.Ouhyoung等人2009年在Proc.IEEE Int.Conf.ComputerVision(电子与电气工程师协会计算机视觉会议)发表的“Video stabilization using robustfeature trajectories”(基于稳健特征轨迹的视频稳像)一文中提出用L2范数优化的方法平滑特征轨迹，以恢复真实的主观运动，从而得到稳定的视频。该方法在稳像的同时考虑了失真度的控制，但经验参数过多，不适于实际应用。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于稀疏度和保真度约束的视频稳像方法，它在减小视频抖动的同时，能够根据用户需要减小视频内容失真的程度，并对长视频的稳像有较好的效果。

为实现上述目的，本发明提供的一种基于稀疏度和保真度约束的视频稳像方法，包括如下步骤：

第一步，把视频帧分段，段与段之间有重合的帧；

第二步，选取当前段相邻帧之间的特征点对；

第三步，对第二步得到的特征点对进行全局局外点去除；

第四步，用第三步得到的特征点对拟合二维线性运动模型；

第五步，用第四步得到的线性运动模型估计原始摄像机路径；

第六步，确定平滑路径的目标函数和限制原始摄像机路径变化的约束条件；

第七步，对第六步得到的最优化问题求解，得到截取窗口变换矩阵；

第八步，用第四步得到的线性运动模型和第七步得到的变换矩阵去除视频中的非线性效应，得到新的变换矩阵；

第九步，用第八步得到的截取窗口变换矩阵对原始帧进行变换。

所述第二步特征点对的获取中，每隔10帧重新选点进行跟踪，并且特征点的间距要大于最小间距。

所述第六步平滑路径的目标函数由两部分组成，一是代表路径平滑度的L1范数项，一是代表视频内容保真度的L2范数项，两者由一个调节参数来控制稳像的程度和保真度的大小。

所述第八步中由自由度较高的单应变换代替部分相似变换，以更准确的刻画非线性运动。

本发明首先将视频分为有重叠部分的各个视频段，对每段视频依次进行稳像处理，以提高长视频的处理效率。在特征点提取与跟踪时，采取每隔10帧重新选点以及控制特征点间距的方法来减小估计全局运动时的误差。然后，本发明结合了L1范数的稀疏性和L2范数的最小二乘特性，在求解最优摄像机路径的目标函数中同时包含L1范数项和L2范数项，其中L1范数项包括所求最优路径的一阶、二阶和三阶导数，分别对应电影摄影中摄像机的静止、匀速以及匀加速的情况，以达到消除抖动的目的；而L2范数项则是最优路径与原始摄像机路径的差，目的是使得所求最优路径尽量接近于原始路径，提高视频的保真度。同时，在这两项中加入一个调节光滑度与保真度的参数，以供不同用户根据需要自行设定。该方法不仅能够达到较好的稳像效果，还能尽可能地保留原始视频的信息。另外，本发明采用模型替换的方式尽量减小视频帧间的非线性运动，在计算原始路径的时候采用相似变换以保证刚性变换，此后用更高自由度的单应变换替换非关键帧，从而得到更好的稳像效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提出的一种基于稀疏度和保真度约束的视频稳像方法的总体流程图。

图2为本发明中分段处理视频的示意图。

图3为本发明中特征点提取与跟踪的流程图。

图4为本发明中一实施例的原始摄像机路径与最优摄像机路径图，其中图(a)为水平方向摄像机路径，图(b)为竖直方向摄像机路径。

图5为本发明中的截取窗口约束示意图。

图6为本发明中一实施例的参数λ不同取值下所得最优摄像机路径结果比较图，其中图(a)为λ=0.1时的结果，图(b)为λ=0.5时的结果，图(c)为λ=1.0时的结果，图(d)为λ=2.0时的结果。

图7为本发明中非线性效应抑制示意图。

图8为本发明中视频稳像效果图与对比图，其中图8(a)为原始视频序列，图8(b)为稳像后序列，图8(c)为Grundmann等人论文中方法的稳像后序列。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种基于稀疏度和保真度约束的视频稳像方法，具体实施细节如下，以下实施例没有详细说明的部分参照发明内容进行：

图2为分段处理视频的示意图。

长视频可以被分为各个小段进行处理，以提高稳像的效率，相邻的两段视频必须有重叠的部分。把每一段视频长度设为N，重叠部分的长度为K，则当稳像开始时，先处理前N段视频，求出最优路径

此时只对前N-K帧进行帧变换。接着处理第二段视频时，同样求出其最优路径

对于第二段视频前K帧，它们的最优路径通过前后两段视频所求最优路径取加权平均得到，即：

$P_t={\mathrm{\υ}}_i{P}_t^{\left(1\right)}+(1-{\mathrm{\υ}}_i)P_t^{\left(2\right)}---\left(1\right)$

其中t=N-K+1,…,N，而υ_i,i＝1,2,…,K则是权重，它们的数值为：υ_i=i/K。接着对第二段视频的前N-K帧进行帧变换。依次类推知道整个视频处理完即可。

图3为特征点提取与跟踪的流程图。

在对视频帧进行特征点提取与跟踪时，通常是在第一帧上提取一定数量的特征点，然后在后面的帧中对这些特征点进行跟踪。若视频中存在运动着的前景物体，按照上述处理会产生一定的问题：当运动的前景物体扫过背景时，背景特征点可能会变为前景特征点，因而导致跟踪错误，从而产生误差。为了解决该问题，在选取特征点时，让特征点之间的间距尽量大一点，在整个图像上分布较均匀。这样某一块区域特征点的数目不会很多，即使出现上述误跟踪情况，也只是很少一部分特征点的跟踪出现差错，对后面全局运动估计的影响不会很大。若要选取的特征点数目定为100，备选设为200左右，则特征点最小间距可以为：

$\min \_\mathrm{dist}=\min (\frac{\mathrm{height}}{15},\frac{\mathrm{width}}{15})---\left(2\right)$

此外，每隔10帧重新选取特征点进行跟踪，使得跟踪时的累计误差不至于过大。

获得特征点对后，本发明用线性规划的方法计算帧间运动模型。把视频的每一帧依次记为I₁,I₂,…I_n，用F_t表示从I_t到I_t-1的运动模型，

表示I_t和I_t-1的p对特征点中的第k对，则F_t的估计误差为：

$\mathrm{error}=\underset{k=1}{\overset{p}{\mathrm{\Σ}}}|f_k^{t-1}-F_t{f}_k^t|---\left(3\right)$

以式（3）为目标函数，当其取最小值时，F_t即为所求运动模型。

图4为一实施例的原始摄像机的路径与最优摄像机路径。其中图(a)为水平方向摄像机路径，图(b)为竖直方向摄像机路径。

摄像机的路径表示的是摄像机在空间的移动路径。这里只考虑摄像机在与图像平面平行的二维平面上的移动路径。设帧I_t时的原始摄像机路径表示为C_t，则C_t的计算由以下公式得到：

C_t=F₁F₂…F_t    （4）

最优摄像机路径P_t通过求解最优化问题得到。为达到消除高频抖动的目的，本发明借鉴Matthias Grundmann等人论文中的思想，把最优路径分为三部分：1）摄像机静止不动，即DP(t)=0，相当于摄像机固定在三脚架上；2）摄像机匀速运动，即D²P(t)=0，相当于摄像机在移动摄影车上；3）摄像机匀加速运动，即D³P(t)=0，相当于摄像机在上述两种状态之间的转换过程，这样就不会产生突然的抖动。另外，考虑到L2范数的特性，为减小视频的失真度，要求最优路径尽量接近原始路径，在目标函数中加入原始摄像机路径与最优摄像机路径差的L2范数项，由此得目标函数为：

设从原始路径C_t到最优路径P_t的变换矩阵为B_t，则有：

P_t=C_tB_t    （6）

式(5)中三个L1范数项可分解为：

${\left|\right|D\left(P\right)\left|\right|}_1=\underset{t=1}{\overset{n-1}{\mathrm{\Σ}}}|P_{t+1}-P_t|=\underset{t=1}{\overset{n-1}{\mathrm{\Σ}}}|C_{t+1}{B}_{t+1}-C_t{B}_t|---\left(7\right)$

${\left|\right|D^2\left(P\right)\left|\right|}_1=\underset{t=1}{\overset{n-2}{\mathrm{\Σ}}}|P_{t+2}-{2P}_{t+1}+P_t|=\underset{t=1}{\overset{n-2}{\mathrm{\Σ}}}|C_{t+2}{B}_{t+2}-{2C}_{t+1}{B}_{t+1}+C_t{B}_t|---\left(8\right)$

${\left|\right|D^3\left(P\right)\left|\right|}_1=\underset{t=1}{\overset{n-3}{\mathrm{\Σ}}}|C_{t+3}{B}_{t+3}-{3C}_{t+2}{B}_{t+2}+3C_{t+1}{B}_{t+1}-C_t{B}_t|---\left(9\right)$

变换矩阵B_t采用相似模型，即

参数化表示为p_t=(a_t,b_t,dx_t,dy_t)^T，于是|C_t+1B_t+1-C_tB_t|可表示为：

|C_t+1B_t+1-C_tB_t|=|M(C_t+1)p_t+1-M(C_t)p_t|    （10）

其中M(C_t)表示C_t的线性变换，使得M(C_t)p_t可以表示C_tB_t。为求解方便，引入松弛变量。以||D(P)||₁为例，设 $e_t^1={(e_t^a,e_t^b,e_t^x,e_t^y)}^T(e_t^a\≥0,e_t^b\≥0,e_t^x\≥0,e_t^y\≥0)$ 为4个松弛变量的向量形式，则有：

$-e_t^1\≤M\left(C_{t+1}\right)p_{t+1}-M\left(C_t\right)p_t\≤e_t^1---\left(11\right)$

同理，||D²(P)||₁、||D³(P)||₁也做以上变换，得：

$-e_t^2\≤M\left(C_{t+2}\right)p_{t+2}-2M\left(C_{t+1}\right)p_{t+1}+M\left(C_t\right)p_t\≤e_t^2---\left(12\right)$

$-e_t^3\≤M\left(C_{t+3}\right)p_{t+3}-3M\left(C_{t+2}\right)p_{t+2}+3M\left(C_{t+1}\right)p_{t+1}+M\left(C_t\right)p_t\≤e_t^3---\left(13\right)$

此时，目标函数变为：

其中 $e={({\left(e_1^1\right)}^T,{\left(e_2^1\right)}^T,\·\·\·,{\left(e_{n-1}^1\right)}^T,{\left(e_1^2\right)}^T,\·\·\·{\left(e_{n-2}^2\right)}^T,{\left(e_1^3\right)}^T,\·\·\·{\left(e_{n-3}^3\right)}^T)}^T,$ 而式(11)~(13)成为该最优化问题保证路径光滑性的约束条件。

图5为截取窗口约束示意图。

图中内框为截取窗口，帧变换后只保留窗口内的内容，因此窗口的四个顶点c₁~c₄经过B变换后的位置c₁′~c₄′应不超过帧的范围，从而约束条件为：

$\left(\begin{array}{c}0\\ 0\end{array}\right)\≤\left(\begin{array}{cccc}{c}_i^x& -c_i^y& 1& 0\\ c_i^y& c_i^x& 0& 1\end{array}\right)p_t\text{\≤}\left(\begin{array}{c}w\\ h\end{array}\right)---\left(15\right)$

其中w和h分别为帧宽度和帧高度。

除此之外，对变换矩阵B_t的参数范围也有一定约束：

0.9≤a_t≤1.1,-0.1≤b_t≤0.1    （16）

图6为一实施例的参数不同取值下所得最优摄像机路径结果比较图。其中图(a)为λ=0.1时的结果，图(b)为λ=0.5时的结果，图(c)为λ=1.0时的结果，图(d)为λ=2.0时的结果。

通过以上最优化问题的求解，可以得到最优路径。式(14)中参数λ取值对结果有很大影响。如图6中(a)所示，当λ过小时，所得的最优摄像机路径在匀速运动片段和静止片段的转换不够光滑；而当λ过大时，如图6中(d)所示，所得摄像机路径过于接近原始路径，一些低频抖动无法去除，稳像效果不够好，但此时视频保真度较高。正因如此，可通过调节参数λ的取值来控制稳像的程度，以符合不同用户的需求。当视频边缘信息不重要时，可适当减小λ的值以达到更好的稳像效果；当视频边缘有较重要信息时（如监控视频、无人机视频等），可适当增大λ的值，在去除一定抖动的情况下，还能尽可能减小失真度，保留边缘信息。

图7为非线性效应抑制的示意图。

为进一步增强稳像效果，在得到最优摄像机路径和变换矩阵后还要进行非线性效应抑制。本发明用自由度更高单应变换模型来替代相似变换模型，步骤如下：

步骤1：每隔k=30帧设置一关键帧，关键帧的P_t，B_t不变，以保证刚性变换，两个关键帧之间的中间帧做以下处理：

步骤2：把相邻帧的最优路径误差

记为残余项T_t，并分解成以下形式：

$P_{t-1}^{-1}{P}_t=T_t=B_{t-1}^{-1}{S}_t{B}_t---\left(17\right)$

步骤3：把相似变换矩阵F_t换成更多参数的单应变换矩阵H_t，即有

$P_{t-1}^{-1}{P}_t=T_t=B_{t-1}^{-1}{H}_t{B}_t---\left(18\right)$

从而有

$B_t=H_t^{-1}{B}_{t-1}{T}_t,B_{t-1}=H_t{B}_t{T}_t^{-1}---\left(19\right)$

步骤4：从两个方向进行替换。根据式（19），从当前帧的前一关键帧计算出一个B_t，记为

从当前帧的后一关键帧计算出一个B_t，记为

步骤5：将和

的相应参数进行线性混合，得到新的B_t。

图8为视频稳像效果图与对比图。其中图(a)为原始视频序列，图(b)为本发明中稳像后序列，图(c)为Grundmann等人论文中方法的稳像后序列。该视频序列是一个监控视频序列，在视频帧的底部有监控时间的信息。从结果图中可以看出，本发明中的视频稳像方法有较好的效果。

为了体现本发明的进步性，本发明方法与Matthias Grundmann等人论文中方法进行了比较。从图8中可以看到，本发明的稳像后序列中包含大部分时间信息，而MatthiasGrundmann等人论文中方法得到的稳像后序列中则丢失了该信息。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于稀疏度和保真度约束的视频稳像方法，其特征在于所述方法包括如下步骤：

第一步，把视频帧分段，段与段之间有重合的帧；

第二步，选取当前段相邻帧之间的特征点对；

第三步，对第二步得到的特征点对进行全局局外点去除；

第四步，用第三步得到的特征点对拟合二维线性运动模型；

第五步，用第四步得到的线性运动模型估计原始摄像机路径；

第六步，确定平滑路径的目标函数和限制原始摄像机路径变化的约束条件；

第七步，对第六步得到的最优化问题求解，得到截取窗口变换矩阵；

第八步，用第四步得到的线性运动模型和第七步得到的变换矩阵去除视频中的非线性效应，得到新的变换矩阵；

第九步，用第八步得到的截取窗口变换矩阵对原始帧进行变换。

2.根据权利要求1所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第二步特征点对的获取中，每隔10帧重新选点进行跟踪，并且特征点的间距要大于最小间距，最小间距由以下公式得到：

$\min \_\mathrm{dist}=\min (\frac{\mathrm{height}}{15},\frac{\mathrm{width}}{15})$

其中，min_dist为最小间距，height,width分别为视频帧的高度和宽度。

3.根据权利要求1所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第四步二维线性运动模型包括相似变换模型和单应变换模型。

4.根据权利要求1或3所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第五步原始摄像机路径的估计由以下公式得到：

C_t=F₁F₂…F_t

其中，C_t为第t帧的原始摄像机路径矩阵，F_t为第t帧到第t-1的二维相似运动模型。

5.根据权利要求1所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第六步平滑路径的目标函数由两部分组成，一是代表路径平滑度的L1范数项，一是代表视频内容保真度的L2范数项，表示为：

其中||·||₁和||·||₂分别表示矢量的1-范数和2-范数，D表示导数，λ表示调节系数，控制稳像及保真度的程度，P则表示最优摄像机路径，其与原始路径的关系为：

P_t=C_tB_t

其中B_t表示第t帧的截取窗口变换矩阵；

所述的约束条件包括变换矩阵参数范围约束和截取窗口位置约束。

6.根据权利要求1或5所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第七步求解时，相邻片段重合的帧所对应的最优路径由前后两个片段求得的最优路径取加权平均得到，公式如下：

$P_t={\mathrm{\υ}}_i{P}_t^{\left(1\right)}+(1-{\mathrm{\υ}}_i)P_t^{\left(2\right)}$

其中，

和

分别表示前一段和当前段重合帧的最优路径，而υ_i表示权重，计算方法为：

${\mathrm{\υ}}_i=\frac{i}{k},i=\mathrm{1,2},\·\·\·,K$

K是重合帧的数目。

7.根据权利要求1或3所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第八步去除视频中的非线性效应包括以下步骤：

步骤1：每隔k=30帧设置一关键帧，关键帧的P_t，B_t不变，以保证刚性变换，两个关键帧之间的中间帧做以下处理：

步骤2：把相邻帧的最优路径误差

记为残余项T_t，并分解成以下形式：

$P_{t-1}^{-1}{P}_t=T_t=B_{t-1}^{-1}{S}_t{B}_t$

步骤3：把相似变换矩阵F_t换成更多参数的单应变换矩阵H_t，即有

$P_{t-1}^{-1}{P}_t=T_t=B_{t-1}^{-1}{H}_t{B}_t$

从而有

$B_t=H_t^{-1}{B}_{t-1}{T}_t,B_{t-1}=H_t{B}_t{T}_t^{-1}$

步骤4：从两个方向进行替换，根据步骤3最终得到的公式，从当前帧的前一关键帧计算出一个B_t，记为

从当前帧的后一关键帧计算出一个B_t，记为

步骤5：将

和

的相应参数进行线性混合，得到新的B_t。

Images