CN109905565B - 基于运动模式分离的视频去抖动方法 - Google Patents

Abstract

本发明公开了一种基于运动模式分离的视频去抖动方法，包括如下步骤：1)运动估计矩阵计算；2)自适应滑动窗口计算；3)局部运动矢量矩阵计算；4)构造局部自回归项、加权核范数项以及稀疏性项；5)构造运动模式形态多约束优化模型；6)运动片段模式分类和正则化参数估计；7)迭代优化求解当前运动平滑矩阵；8)稳定化视频生成。本发明利用帧间运动的平稳性，阶跃运动的稀疏性以及平滑运动的低秩性，同时实现模型中正则化参数的自适应估计；与传统方法相比具有更好的鲁棒性与抗噪性，较好地克服了视频去抖过程中的过平滑与欠平滑问题，能够广泛应用于手机拍摄、无人机拍摄、航拍等多种类型的视频去抖动。

Description

基于运动模式分离的视频去抖动方法

技术领域

本发明属于视频处理与显示技术领域，具体涉及一种基于运动模式分离的视频去抖动方法。

背景技术

在视频处理与显示领域，通过车载摄像平台、无人机或者舰船摄影系统、手持摄像设备等拍摄到的视频信号，往往会因为摄像机受到不规则的扰动而造成视频抖动。一方面，这种抖动极易引起视频观测者的视觉疲劳并且影响视频图像的观察效果和准确分析,导致观察者的误判或者漏判；另一方面，这种抖动通常会妨碍人们对这些视频的后续处理，例如识别、跟踪和超分辨等。

目前，已有许多针对视频稳像中低频运动平滑的方法提出。如子空间稳像方法[F.Liu,M.Gleicher,J.Wang,H.Jin,and A.Agarwala,“Subspace video stabilization,”ACM Trans.Graph.,vol.30,no.1,Jan.2011,Art.no.4.]与L1最优化方法[M.Grundmann,V.Kwatra,and I.Essa,“Auto-directed video stabilization with robust L1optimalcamera paths,”in Proc.CVPR,Providence,RI,USA,2011,pp.225-232.]

然而，无论是传统的高斯平滑方法，还是L1最优化方法或子空间方法，都仅仅针对一种运动类型，很难做到对含有多种抖动的视频序列做到自适应的去抖动。

发明内容

本发明的目的在于针对不同抖动类型的视频提出一种鲁棒的视频去抖动方法，通过对运动模式的分离，既能处理含有低频平缓抖动的视频，又能处理含有高频阶跃抖动的视频。

实现本发明的技术解决方案为：一种基于运动模式分离的视频去抖动方法，包括以下步骤：1)运动估计矩阵计算；2)自适应滑动窗口计算；3)局部运动矢量矩阵计算；4)构造局部自回归项、加权核范数项以及稀疏性项；5)构造运动模式形态多约束优化模型；6)运动片段模式分类和正则化参数估计；7)迭代优化求解运动平滑矩阵；8)稳定化视频生成。

本发明与现有技术相比，其显著优点为：本发明将引起抖动效果的局部运动分解为低频平滑运动与阶跃补偿运动，有效分解了视频抖动的形态信息；依据低频平滑运动与阶跃补偿运动，自适应选择合适的正则化参数，使得最优化模型针对不同抖动视频能够自适应调整，提高了视频去抖动对多种抖动视频的鲁棒性，此发明对含有多种运动类型的视频去抖动效果较好。

下面结合附图对本发明作进一步描述。

附图说明

图1是本发明基于运动模式分离的视频去抖动方法的总流程图。

图2(a)是本发明提出的方法得到的效果图。

图2(b)是采用GS方法得到的效果图。

图2(c)是采用过平滑方法得到的效果图。

图2(d)是采用子空间方法得到的效果图。

图2(e)是采用L1最优化方法的效果图。

图2(f)是采用空域信息最优化方法的效果图。

图2(g)是采用捆绑多路径方法的效果图。

图3(a)～图3(j)是仿真实验采用的10个测试视频图。

图4是多种方法与本发明方法依据三种评价指标得到的结果图。

图5(a)是输入视频的第一帧及部分特征点轨迹图。

图5(b)是测地线视频稳定方法得到的部分特征点轨迹图。

图5(c)是鲁棒网格修复方法得到的部分特征点轨迹图。

图5(d)是对极几何方法得到的部分特征点轨迹图。

图5(e)是子空间方法得到的部分特征点轨迹图。

图5(f)是L1最优化方法得到的部分特征点轨迹图。

图5(g)是空频最优化方法得到的部分特征点轨迹图。

图5(h)是捆绑多路径方法得到的部分特征点轨迹图。

图5(i)是本发明提出的方法得到的部分特征点轨迹图。

具体实施方式

结合图1，本发明的一种基于运动模式分离的视频去抖动方法，包括以下步骤：

步骤1：运动估计矩阵计算：输入一串视频序列{I_t|t∈[1,N]}，N表示视频序列的帧数，通过检测运动的特征点得到运动估计矩阵。

将视频序列中两两相邻帧应用特征点检测得到稠密的运动特征点，利用随机抽样一致性方法计算每一帧视频图像的单应性矩阵，单应性矩阵可以表示为：{F_i|i∈[1,N-1]}，其中F_i表示第i帧视频图像I_i与第i+1帧视频图像I_i+1间的运动，F_i为3×3的矩阵。

将F_i拉成一个9个元素的列向量，定义为vec(F_i)。

步骤2：自适应滑动窗口计算：根据步骤1中得到的相邻帧的运动估计矩阵{F_i|i∈[1,N-1]}，对这N-1个数据采用窗口化处理，窗口大小设置为r，r的取值范围为[0,30]的整数。

步骤3：局部运动矢量矩阵计算：根据滑动窗口原理，设计以第i帧为中心的局部运动矢量矩阵为：F＝[vec(F_i-r),...,vec(F_i),...,vec(F_i+r)]_9×(2r+1)。

步骤4：构造局部自回归项、加权核范数项以及稀疏性项：将局部运动矩阵F分解为低频平滑运动矩阵L、阶跃运动补偿矩阵S和抖动噪声N，表示为：F＝L+S+N；

依据平滑后运动矩阵与原运动矩阵具有相似性，构造约束项

依据低频平滑运动矩阵的低秩特性，构造加权核范数约束项Q₂({L})＝||L||_ω,*＝∑_iω_iσ_i(L)，σ_i(L)表示矩阵L的第i个奇异值，ω_i表示第i个奇异值的权重；

依据低频平滑运动矩阵在相邻帧具有的相似性，构造局部自回归约束项

矩阵W为高斯核函数的矩阵形式；

依据阶跃运动补偿矩阵与高斯平滑矩阵同低频平滑运动矩阵的残差矩阵具有相似性，构造约束项

矩阵A为高斯平滑矩阵；

依据阶跃运动的稀疏特性，构造稀疏约束项Q₅({S})＝||S||₁。

步骤4.1构造加权核范数定义为||X||_*＝∑_iω_iσ_i(X)，其中σ_i(X)表示矩阵X的第i个特征值，ω_i表示第i个特征值的权重。在设计核范数的权重时，矩阵较大的特征值表示矩阵的主要变换信息，因此较大奇异值应收缩较少，较小奇异值应更大收缩，故设计权重ω＝[ω₁,...,ω_n]^T为一个非负非递减序列。

步骤4.2设计局部自回归约束项时，该约束项由此低频平滑运动相邻帧的运动加权平均的差异构造，设计为

其中c(c≤r)为局部窗口的长度，w_j,i为标准化的权重。将高斯核函数作为标准化权重，模型转换为

权重矩阵W可以表示为

W中每一列为标准化后的权值，它们的和为1。

步骤5：构造运动模式形态多约束优化模型：依据步骤4构造的约束项，建立运动形态多约束优化模型，

其中，正则化参数β＞0，λ＞0，θ≥0。通过调节正则化参数β，λ，θ可以处理多种运动引起的视频抖动。

步骤6：运动片段模式分类和正则化参数估计：根据运动片段判别规则对窗口内的运动进行模式分类，通过已经分类的运动模式，分别选择合适的正则化参数。

运动片段模式主要分为阶跃运动与平缓运动，由于视频序列存在放缩与位移，主要影响三个参数：水平位移tx，垂直位移ty与放缩变量zp。运动片段模式分离主要目的是分离出视频中存在的阶跃运动。

运动片段判别规则分三步进行：

第一步：若tx,ty∈[-5,5]且zp∈[0.9,1.1]，判定此运动是平缓运动，否则认为是阶跃运动，初步得到若干阶跃运动。

第二步：当两段阶跃运动片段的间隔帧数不足一定帧数时(如5帧)，认为它们为同一阶跃运动，需要进行合并操作，得到合并删减后的若干段运动片段。

第三步：当某一阶跃运动的持续时间不足一定帧数时(如20帧)，认为该阶跃运动为平缓运动，从第二步得到的若干阶跃运动片段中删去此运动片段，最终，得到剩下若干满足条件的阶跃运动片段。

正则化参数的选择将会由于滑动窗口中是否存在阶跃运动而自适应设置。将分为两种情况：

(1)滑动窗口中的视频片段不存在阶跃运动。

若不存在阶跃运动，可以设置λ＝0，θ＝θ_max，其中θ_max≥9。

(2)滑动窗口中的视频片段存在阶跃运动。

若存在阶跃运动，固定λ的值为10，将通过如下三个参数自适应调整θ的值。

1)阶跃运动总数s。如果阶跃运动的数量较大，需要选择较小的θ值以避免

过平滑问题。设计如下参数：

2)到中心距离d。如果含有阶跃运动的帧距离该窗口中心较远，认为阶跃运动对该窗口内的运动影响较小，则θ的值应较大。设计如下参数：

3)最大振幅x。局部窗口中运动的振幅越大，认为阶跃运动对窗口内运动的影响较大，则θ的值应当越小以避免过平滑问题。设计如下参数：

由于s与d的值受到窗口大小的影响(设窗口大小为r，则s与d的取值范围分别为[1,2r+1]与[0,r])，在得到上面提及的三个参数后，通过设计一个阈值(例如0.5)，如果δ₁,δ₂与δ₃的和不大于该阈值，则认为该窗口内的运动属于阶跃运动范畴，为了避免过平滑问题，设置θ＝0；否则，θ值由如下公式计算：

步骤7：迭代优化求解运动平滑矩阵：根据选择的正则化参数，带入运动形态多约束优化模型，通过交替方向优化算法迭代计算出低频平滑运动矩阵L^*与阶跃运动补偿矩阵S^*，并得到运动平滑矩阵H＝L^*+S^*，平滑后第i帧

与第i+1帧

间的运动平滑矩阵记为H_i，1≤i≤N，N为序列总数。

局部视频稳定化求解中，求解模型

引入新的变量B，可以得到

进一步引入增广拉格朗日乘子，则模型转化为：

其中C为拉格朗日乘子矩阵，<·,·>为矩阵内积运算。上述模型可通过交替方向优化算法不断地更新每一个变量，直到算法收敛，最终可以求出低频平滑运动矩阵和阶跃运动补偿矩阵。

步骤8：稳定化视频生成：依据关系

计算变换矩阵：

其中，F_i表示第i帧I_i与第i+1帧I_i+1间的运动估计矩阵，H_i表示平滑后第i帧

与第i+1帧

间的运动平滑矩阵，C_i表示第i帧I_i的变换矩阵，1≤i≤N，N为序列总数；依据变换矩阵，对每一帧视频图像进行重新绘制，最终生成稳定的视频图像序列。

下面结合实施例对本发明进行详细说明。

实施例

本发明的效果可通过以下仿真实验进一步说明：

(1)仿真条件

仿真实验采用十组含有抖动的视频数据，本仿真实验均在Windows 7操作系统下采用Matlab R2012完成。处理器为Xeon W3520CPU(2.66GHz)，内存为4GB。仿真实验中各个参数的初始化值为：权重向量ω＝[0；0.5；1；1.5；2；2.5；3；3.5；4]；β，δ₁，δ₂，δ₃,ρ的值分别为1000,20,10,5,1.05；a的初始值为1；θ_max＝10；窗口大小r设置为30。

为了客观的评估视频去抖动的结果，本发明采用国际通用的三种评价指标：裁剪率(Cropping)、失真度(Distortion)、稳定性(Stability)。

(2)仿真内容

本发明采用真实抖动视频数据检验算法的去抖动性能，测试视频包括含有阶跃运动的抖动视频以及不含有阶跃运动的抖动视频。为测试本发明算法的性能，将提出的基于运动模式分离的视频去抖动算法与目前国际上主流的去抖动算法对比。对比方法包括：测地线视频稳定方法，鲁棒性网格修复方法，对极几何方法，子空间方法，L1最优化方法，空频最优化方法和捆绑多路径方法。

(3)仿真实验结果分析

图2(a)～图2(g)为第一个仿真视频在不同去抖动算法下的对比结果，图3(a)～图3(j)为十个测试视频，图4为不同去抖动算法对十个抖动视频复原结果的评价，图5(a)～图5(i)为不同去抖动算法得到的部分特征点轨迹。

图2(a)为本发明提出的方法得到的效果(Ours)，图2(b)为高斯平滑方法(GS)，图2(c)为过平滑的方法(OS)，图2(d)为子空间方法(AE)，图2(e)为L1最优化方法(L1)，图2(f)为空频最优化方法(TVCG)，图2(g)为捆绑多路径方法方法(BP)。可以观察到，本发明提出的方法结合了高斯平滑方法与过平滑方法的优势，不仅对平缓运动具有良好的平滑效果，也对阶跃运动具有良好的鲁棒性，不会产生过平滑的结果。

图4中，直方图从左向右依次为：测地线视频稳像方法、鲁棒性网格修复方法、对极几何方法、子空间方法、L1最优化方法、空频最优化方法、捆绑多路径方法和本发明方法在三种评价标准下的结果。可以看出，本发明提出的方法能够在裁剪率、失真度方面，达到其他方法同一水平，同时在稳定性方面较其他方法具有较大优势。

图5(a)是输入视频的第一帧及部分特征点轨迹，图5(b)是测地线视频稳定方法得到的部分特征点轨迹，该方法可以很好地平滑视频的每一个片段，但也可以看出在相邻片段的过渡点出现了明显的不连续性；图5(c)是鲁棒网格修复方法得到的部分特征点轨迹，该方法可以大幅度减少高频运动引起的抖动，但对低频运动引起的抖动修复效果较差；图5(d)是对极几何方法得到的部分特征点轨迹，图5(e)是子空间方法得到的部分特征点轨迹，图5(f)是L1最优化方法得到的部分特征点轨迹，图5(g)是空频最优化方法得到的部分特征点轨迹，图5(h)捆绑多路径方法方法得到的部分特征点轨迹，图5(i)是本发明提出的方法得到的部分特征点轨迹。图5(d)、图5(e)、图5(f)、图5(g)、图5(h)五种算法都对高频阶跃抖动具有良好效果，但对低频平缓抖动鲁棒性较差。由图5(i)可以看出，本发明提出的方法得到的特征点轨迹在低频抖动部分也具有良好的平滑效果，据此可以得出，本发明的方法不仅对高频抖动平滑效果较好，同时对低频抖动也具有良好的鲁棒性。本发明提出的基于运动模式分离的视频去抖动算法对多种视频去抖动效果显著，可以应用到含有多种运动模式的抖动视频稳像问题中。

Claims (6)

1.一种基于运动模式分离的视频去抖动方法，其特征在于，包括以下步骤：1)运动估计矩阵计算；2)自适应滑动窗口计算；3)局部运动矢量矩阵计算；4)构造局部自回归项、加权核范数项以及稀疏性项；5)构造运动模式形态多约束优化模型；6)运动片段模式分类和正则化参数估计；7)迭代优化求解运动平滑矩阵；8)稳定化视频生成；

步骤1运动估计矩阵计算的具体方法为：

输入一串视频序列{I_t|t∈[1，N]}，N表示视频序列的帧数，通过检测运动的特征点得到运动估计矩阵；

将视频序列中两两相邻帧应用特征点检测得到稠密的运动特征点，利用随机抽样一致性方法计算每一帧视频图像的单应性矩阵，单应性矩阵表示为：{F_i|i∈[1，N-1]}，其中F_i表示第i帧视频图像I_i与第i+1帧视频图像I_i+1间的运动，F_i为3×3的矩阵；

将F_i拉成一个9个元素的列向量，定义为vec(F_i)；

步骤2自适应滑动窗口计算的具体方法为：根据步骤1中得到的相邻帧的运动估计矩阵{F_i|i∈[1，N-1]}，对这N-1个数据采用窗口化处理，窗口大小设置为r，r的取值范围为[0，30]的整数；

步骤3局部运动矢量矩阵计算的具体方法为：根据滑动窗口原理，设计以第i帧为中心的局部运动矢量矩阵为：F＝[vec(F_i-r)，...，vec(F_i)，...，vec(F_i+r)]_9×(2r+1)；

步骤4构造局部自回归项、加权核范数项以及稀疏性项的具体方法为：将局部运动矩阵F分解为低频平滑运动矩阵L、阶跃运动补偿矩阵S和抖动噪声N，表示为：F＝L+S+N；

依据平滑后运动矩阵与原运动矩阵具有相似性，构造约束项

依据低频平滑运动矩阵的低秩特性，构造加权核范数约束项Q₂({L})＝||L||_ω，*＝∑_iω_iσ_i(L)，σ_i(L)表示矩阵L的第i个奇异值，ω_i表示第i个奇异值的权重；

依据低频平滑运动矩阵在相邻帧具有的相似性，构造局部自回归约束项

矩阵W为高斯核函数的矩阵形式；

依据阶跃运动补偿矩阵与高斯平滑矩阵同低频平滑运动矩阵的残差矩阵具有相似性，构造约束项

矩阵A为高斯平滑矩阵；

依据阶跃运动的稀疏特性，构造稀疏约束项Q₅({s})＝||s||₁。

2.根据权利要求1所述的基于运动模式分离的视频去抖动方法，其特征在于：步骤4中加权核范数定义为||X||_*＝∑_iω_iσ_i(X)，其中σ_i(X)表示矩阵X的第i个奇异值，ω_i表示第i个奇异值的权重，设计权重ω＝[ω₁，...，ω_n]^T为一个非负非递减序列；

设计局部自回归约束项时，该约束项由此低频平滑运动相邻帧的运动加权平均的差异构造，设计为

其中c为局部窗口的长度，c≤r，w_j，i为标准化的权重；将高斯核函数作为标准化权重，模型转换为

权重矩阵W可以表示为

W中每一列为标准化后的权值，它们的和为1。

3.根据权利要求2所述的基于运动模式分离的视频去抖动方法，其特征在于，步骤5构造运动模式形态多约束优化模型的具体方法为：依据步骤4构造的约束项，建立运动形态多约束优化模型：

其中，正则化参数β＞0，λ＞0，θ≥0。

4.根据权利要求3所述的基于运动模式分离的视频去抖动方法，其特征在于，步骤6运动片段模式分类和正则化参数估计的具体方法为：根据运动片段判别规则对窗口内的运动进行模式分类，通过已经分类的运动模式，选择正则化参数；运动片段模式分为阶跃运动与平缓运动，由于视频序列存在放缩与位移，影响三个参数：水平位移tx，垂直位移ty与放缩变量zp；运动片段模式分离是分离出视频中存在的阶跃运动；

运动片段判别规则分三步进行：

第一步：若tx，ty∈[-5，5]且zp∈[0.9，1.1]，判定此运动是平缓运动，否则认为是阶跃运动，初步得到若干阶跃运动；

第二步：当两段阶跃运动片段的间隔帧数不足一定帧数时，认为它们为同一阶跃运动，需要进行合并操作，得到合并删减后的若干段运动片段；

第三步：当某一阶跃运动的持续时间不足一定帧数时，认为该阶跃运动为平缓运动，从第二步得到的若干阶跃运动片段中删去此运动片段，最终，得到剩下若干满足条件的阶跃运动片段。

5.根据权利要求4所述的基于运动模式分离的视频去抖动方法，其特征在于，步骤7迭代优化求解运动平滑矩阵的具体方法为：根据选择的正则化参数，带入运动形态多约束优化模型，通过交替方向优化算法迭代计算出低频平滑运动矩阵L^*与阶跃运动补偿矩阵S^*，并得到运动平滑矩阵H＝L^*+S^*，平滑后第i帧

与第i+1帧

间的运动平滑矩阵记为H_i，1≤i≤N，N为序列总数；

局部视频稳定化求解中，求解模型为：

引入新的变量B，得到

s.t.B＝L

进一步引入增广拉格朗日乘子，则模型转化为：

其中C为拉格朗日乘子矩阵，<·，·>为矩阵内积运算；上述模型可通过交替方向优化算法不断地更新每一个变量，直到算法收敛，最终可以求出低频平滑运动矩阵和阶跃运动补偿矩阵。

6.根据权利要求5所述的基于运动模式分离的视频去抖动方法，其特征在于，步骤8稳定化视频生成方法具体步骤为：

依据关系

计算变换矩阵：

其中，F_i表示第i帧I_i与第i+1帧I_i+1间的运动估计矩阵，H_i表示平滑后第i帧

与第i+1帧

间的运动平滑矩阵，C_i表示第i帧I_i的变换矩阵，1≤i≤N，N为序列总数；依据变换矩阵，对每一帧视频图像进行重新绘制，最终生成稳定的视频图像序列。

Images