CN109729263A - 基于融合运动模型的视频除抖方法 - Google Patents

Abstract

本发明公开了一种基于融合运动模型的视频除抖方法，该方法包括以下步骤：(1)在视频的相邻帧之间计算光流，提取特征点并计算匹配结果；(2)根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；(3)由光流建立基于网格的二维运动模型，描述两帧之间的变形关系；(4)平滑三维运动模型运动估计，求解网格模型的运动补偿；(5)平滑基于网格模型运动轨迹，求解运动补偿；(6)根据求得的运动补偿绘制稳定的图像帧。本方法融合了三维运动模型和二维运动模型，提升了视频除抖算法的视觉效果和鲁棒性，使用优化方法平滑运动轨迹，求解运动补偿，稳定视频内容，优化观看体验。

Description

基于融合运动模型的视频除抖方法

技术领域

本发明涉及数字图像处理与计算机视觉领域，具体是一种通过平滑运动轨迹求解对图像帧的运动补偿，重绘制视频帧得到稳定平滑的视觉效果的一种基于融合运动模型的视频除抖方法。

背景技术

随着互联网和消费电子产品的发展，视频已经成为记录和分享信息的主要载体，使用移动设备随时随地拍摄的视频内容数量激增，而手持设备拍摄的视频通常无法像专业设备拍摄效果一样有平滑的镜头轨迹，这导致观看体验下降。所以如何解决视频抖动问题成为了研究热点。

数字防抖方案通过算法处理视频内容，由视频运动估计和运动平滑两部分组成。运动估计得到视频内容的运动轨迹，运动平滑将抖动的运动轨迹处理为理想的平滑运动轨迹。其中运动估计部分主要分为二维运动模型估计方法和三维运动估计方法。二维运动模型通过特征点匹配、光流法等二维运动估计方法建立运动模型，描述相邻帧之间的几何变形如仿射变换、单应性变换或基于网格的变形。估计过程速度快，效果鲁棒，但是存在场景景深描述能力不强的问题，所估计的运动误差较大。三维运动模型通过运动恢复结构等三维重建方法对视频内容进行三维结构重建，恢复相机位姿和场景深度，对场景和相机运动描述较为准确全面。但三维运动模型估计依赖的三维重建方法存在重建失败的情况，会导致视频除抖方法运行失败。

发明内容

发明目的：为了解决现有技术的不足，本发明所述的一种基于融合运动模型的视频除抖方法，该方法结合二维运动模型方法和三维运动模型方法，解决三维重建可能失败时，基于三维运动模型方法的视频稳定算法运动失败的问题，同时利用了三维信息改善了只参考二维运动的视频稳定方法的稳定效果。

技术方案：为了实现上述目的，本发明所述的一种基于融合运动模型的视频除抖方法，该方法包括以下步骤：

一、在视频的相邻帧之间计算光流，提取特征点并计算匹配结果；

二、根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；

三、由光流建立基于网格的二维运动模型，描述两帧之间变形关系，得到视频内容运动轨迹；

四、平滑三维运动模型运动轨迹，求解基于网格模型的运动补偿，初步稳定步骤三中得到的运动轨迹：

五、平滑二维运动模型运动轨迹，求解运动补偿，对步骤四中所述的运动轨迹进行补充稳定：

六、根据求得的运动补偿绘制稳定的图像帧。

作为本发明的进一步优选，所述的步骤一中，所述的计算光流是通过对视频的相邻帧提取异构的匹配结果来估计场景运动。

作为本发明的进一步优选，所述的步骤二中，特征点匹配用于建立三维运动模型，估计相机在三维空间中的位姿变化。

作为本发明的进一步优选，所述的步骤三中，光流用于建立二维运动模型，估计视频相邻帧之间基于网格的变形。

作为本发明的进一步优选，所述的步骤四中，所述的平滑三维运动模型运动轨迹通过使用线性规划方法平滑相机位姿的各运动分量，求解相机位姿的运动补偿变换，根据变换与点云深度可以求解成像平面上的二维运动，根据此运动视为光流重复步骤三建立基于网格的二维运动模型，作为运动补偿稳定步骤三建立的二维运动模型运动轨迹。

作为本发明的进一步优选，所述的步骤五中，所述的平滑二维运动模型运动轨迹是在对基于网格的运动模型进行平滑时，对网格顶点的运动进行子空间分解，分解为基向量运动轨迹，使用线性规划方法平滑各基向量运动轨迹，求得对步骤四的补充运动补偿；

作为本发明的进一步优选，所述的步骤六中，最终用于绘制稳定视频帧的运动补偿，由步骤四平滑三维运动模型轨迹求解的运动补偿和由步骤五平滑二维运动模型轨迹求解的运动补偿相加得到。

作为本发明的进一步优选，该方法融合了三维运动模型和二维运动模型的运动补偿进行视频除抖。

有益效果：本发明所述的一种基于融合运动模型的视频除抖方法，使用三维运动模型和二维运动模型融合的方法建立参数化模型稳定视频相邻帧之中场景的运动，其中使用线性规划优化方法平滑运动轨迹，求解稳定视频内容需要的运动补偿，使原本抖动的视频变为稳定的视频，优化观看体验。

附图说明

图1为使用线性规划方法平滑运动分量轨迹示意图；

图2为网格运动模型示意图；

图3为网格顶点之间角度保护的几何关系示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案作进一步的详细说明，但并不局限于此，凡是对本发明技术方案进行修改或者同等替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

实施例

基于融合运动模型的视频除抖方法，按以下步骤实现：

一、获取相邻视频帧之间的特征点匹配和光流：

将图像转为灰度图像，提取SIFT特征点，使用k近邻方法为每个特征点在相邻帧中寻找在描述子欧式空间上最相近的两个特征点。计算这两个特征点与原图特征点描述子距离的差异，如果大于某阈值则认为是正确的匹配，保留匹配结果。

使用Lucas-Kanade光流算法估计每个像素在视频相邻帧之间的运动情况m＝(u，v)，u为图像x轴坐标的移动，v为图像y轴坐标的移动。

二、根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；

使用已有的由运动恢复结构的算法根据特征点的匹配结果求解相机位姿和场景的稀疏点云。相机位姿为相机外参矩阵任一稀疏点云的三维空间齐次坐标为每个稀疏点云在像平面上投影的坐标为相机内参矩阵为根据相机模型得到C＝K[R|t]P，根据此关系构造最小二乘优化问题最小化三维空间点云投影到像平面的投影误差，其中K[R|t]P取非齐次部分。最终求解稀疏点云和相机位姿。

三、根据光流建立基于网格的二维运动模型，描述两帧之间的变形关系：

将每个图像帧用同样尺寸的网格等分，每个网格都存在四个顶点，对步骤一中估计的光流进行等间隔采样，采样到的光流m_k所在的网格的四个顶点的位置为V_k，为了约束光流m_k的图像坐标P_k与网格顶点坐标V_k的关系最小化 根据P_k在网格中的位置对四个网格顶点进行坐标的加权，此约束保证网格模型的运动拟合图像内容的运动，除此之外，网格模型还要保护本身的拓扑结构不变，对任意三个相邻的网格顶点之间建立保角几何约束，设V₁V₂V₃为任意三个相邻的网格顶点，其坐标符合V₁＝V₂+u(V₃-V₂)+vR₉₀(V₃-V₂)几何关系，最小化E_s(V₁)＝w_s｜|V₁-(V₂+u(V₃-V₂)+vR₉₀(V₃-V₂))｜|²保护任意三个相邻网格顶点的夹角关系，网格的形状就得到了保护。使用最小二乘法求解arg min∑_iE_d(V_i)+E_s(V_i)，求得网格顶点的运动。

四、平滑三维运动模型运动轨迹，求解基于网格模型的运动补偿：

线性规划平滑相机位姿轨迹的各运动分量，x、y、z轴的旋转、平移。设某运动分量的数据为T＝[t₁，......，设线性规划稳定的目标为最小化，

为各阶残差的权重，e为代表各阶残差的优化变量。设一阶残差r_n＝t_n-，R_n(p_n-1，p_n)＝r_n+p_n-1由此建立问题约束：

|p_n|＜h

最终求解每个运动分量的运动补偿P＝(p₁，......，p_n)

任意一帧的各运动分量的运动补偿可以计算相机位姿的变换矩阵[R|t]，将在此帧可视范围内的点云P带入K[R|t]P计算，取非齐次部分得到一组稀疏的二维运动。将其视作光流使用与步骤三相同的方法计算每一帧基于网格的运动补偿。与步骤三求得的基于网格的运动相加，得到由三维运动模型初步稳定的基于网格的运动模型轨迹。

五、平滑基于网格模型运动轨迹，求解运动补偿：

三维运动模型方法可能会出现失败，还有部分网格运动没有被稳定过。在二维的基于网格的模型上再做第二次运动补偿，提升方法的鲁棒性。基于网格的运动模型在时间维度上需要优化每个顶点的运动轨迹，在空间维度上需要保护顶点之间的结构不变不出现扭曲。这样导致随着视频帧数量的增加，优化项迅速增加，使优化变得困难。本发明使用矩阵分解，首先建立基于网格的运动模型的运动轨迹矩阵。

矩阵描述了n个网格顶点的x轴y轴的运动分量，通过SVD分解。分解为M_2n×t＝C_{2n× r}E_r×t，其中E_r×t为运动在子空间的分解轨迹，其中r为9，将E_r×t中每行视作运动分量轨迹用步骤四中方法平滑。得到和平滑后的网格顶点运动轨迹求得第二次运动补偿结果与三维运动模型方法求解的运动补偿相加，得到总的运动补偿。

六、根据求得的运动补偿绘制稳定的图像帧；

根据初始的网格顶点坐标和运动补偿可以求得新的网格顶点坐标，对网格顶点坐标加权可得到网格内每个像素的新坐标将像素值复制到新的坐标即完成稳定帧的绘制。

Claims (8)

1.一种基于融合运动模型的视频除抖方法，其特征在于：该方法包括以下步骤：

一、在视频的相邻帧之间计算光流，提取特征点并计算匹配结果；

二、根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；

三、由光流建立基于网格的二维运动模型，描述两帧之间变形关系，得到视频内容运动轨迹；

四、平滑三维运动模型运动轨迹，求解基于网格模型的运动补偿，初步稳定步骤三中得到的运动轨迹：

五、平滑二维运动模型运动轨迹，求解运动补偿，对步骤四中所述的运动轨迹进行补充稳定：

六、根据求得的运动补偿绘制稳定的图像帧。

2.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于所述的步骤一中，所述的计算光流是通过对视频的相邻帧提取异构的匹配结果来估计场景运动。

3.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于所述的步骤二中，特征点匹配用于建立三维运动模型，估计相机在三维空间中的位姿变化。

4.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于所述的步骤三中，光流用于建立二维运动模型，估计视频相邻帧之间基于网格的变形。

5.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于所述的步骤四中，所述的平滑三维运动模型运动轨迹通过使用线性规划方法平滑相机位姿的各运动分量，求解相机位姿的运动补偿变换，根据变换与点云深度可以求解成像平面上的二维运动，根据此运动视为光流重复步骤三建立基于网格的二维运动模型，作为运动补偿稳定步骤三建立的二维运动模型运动轨迹。

6.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于所述的步骤五中，所述的平滑二维运动模型运动轨迹是在对基于网格的运动模型进行平滑时，对网格顶点的运动进行子空间分解，分解为基向量运动轨迹，使用线性规划方法平滑各基向量运动轨迹，求得对步骤四的补充运动补偿。

7.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于所述的步骤六中，最终用于绘制稳定视频帧的运动补偿，由步骤四平滑三维运动模型轨迹求解的运动补偿和由步骤五平滑二维运动模型轨迹求解的运动补偿相加得到。

8.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于：该方法融合了三维运动模型和二维运动模型的运动补偿进行视频除抖。