CN105163046B - 一种基于网格吸点非参数化运动模型的视频防抖方法 - Google Patents

Abstract

本发明公开了一种基于网格吸点非参数化运动模型的视频防抖方法，解决了现有视频防抖技术受环境限制大，效果欠佳等问题。该视频防抖方法包括以下步骤：步骤1对相邻帧进行特征点的检测和匹配，获取特征点的运动向量；步骤2用均匀分配的16x16的网格套住视频中的每一帧；步骤3将特征点的运动向量转化到网格格点上；步骤4对视频中的每一帧重复步骤3的操作；步骤5.对对应位置的网格格点组成的运动向量集合作低通滤波；步骤6通过更新向量产生一个扭曲的网格；步骤7将每一帧的图像内容变换到扭曲网格的位置产生出最后的输出视频。本发明相比于传统的参数化方法，能更准确的估计帧间运动，提升视频的防抖效果。

Description

一种基于网格吸点非参数化运动模型的视频防抖方法

背景技术

本发明涉及移动端设备拍摄的图像处理方法，具体的说，是涉及一种移动端拍摄的视频的防抖方法。

技术领域

移动端拍摄的视频，因为拍摄过程中摄像头在晃动，不规律的晃动会照成拍摄出的画面晃动，从而降低视频的观看质量,因此，为了提供移动端拍摄视频的观看质量，视频防抖处理显得尤为重要。

视频防抖致力于降低视频拍摄过程中的抖动，产生出稳定的视频，从而提升视频的观看质量。现有的方法在运动估计中通常用到参数化的模型，如相似变换(similaritytransform),仿射变换(affine transform),或者是单应性变换(homography transform)来描述帧间运动。

然而，相似变换只能描述帧间的各向同性缩放与平移，仿射变换能将各向同性缩放升级为各向非同性缩放，单应性变换在仿射变换的基础上再引入了透视投影，虽然这些变换的自由度在逐级提升，但当达到单应性变换以后则无法进一步提升。单应性变换能描述空间中平面的变换，但是在真实的场景中，往往空间是非平面的，相机拍摄到的场景很难满足所有物体都在同一个平面上。从原理上来讲，参数化的模型只能描述线性运动，不能描述非线性运动，因而利用这些参数化的变换模型，很难准确描述帧间的运动，不能准确的描述帧间运动，则会降低防抖的质量，如场景出现较大的景深变化，或用手机拍摄带来了果冻效应，防抖后结果会有残留的抖动存在。果冻效应也称之为卷帘快门现象(RollingShutter),该效应来自于一些使用低功耗CMOS原件作为相机原件的摄像头，其曝光时间不是一个准确的时间，而是一小段时间内的积分，其采用逐行扫描进行曝光，直至所有的像素点都被曝光，由此带来的结果是画面中的直线变为曲线，使用参数化的模型很难对扭曲的画面进行描述。

发明内容

为了克服上述问题，本发明提供一种基于网格吸点非参数化运动模型的视频防抖方法。

为了实现上述目的，本发明采用的技术方案如下：

一种基于网格吸点非参数化运动模型的视频防抖方法，包括以下步骤：

(1)对相邻特征点进行特征点的检测与匹配，获取特征点的运动向量：

V＝a–b＝(x-x’,y-y’)

式中，a表示第t帧图像中的坐标点，b表示在第t-1帧图像中与a点对应的坐标点，x表示坐标点a的行坐标，y表示坐标点a的列坐标，x’表示坐标点b的行坐标，y’表示坐标点b的列坐标；

(2)将图像分隔成16x 16的均匀网格，为每一帧图像套上网格；

(3)网格吸点：将特征点的运动向量转移成网格格点的运动向量；

(4)对视频中每一帧执行步骤(1)～(3)，使得每一个网格的每一个格点上都有运动向量的存在；

(5)在空间中，对对应位置的网格格点组成的运动向量集合作低通滤波，为每一帧每一个网格格点产生一个更新向量；

(6)将每一帧的图像内容变换到扭曲网格的位置产生出最后的输出视频。

进一步的，所述步骤(3)的具体方式如下：

(31)对每一个网格格点，搜索固定半径内，所有存在的特征点，并收集这些特征点的运动向量；

(32)记录第i个网格格点为M_i,其收集到的一组运动向量记录为{V₁,V₂,…V_n},对这一组运动向量作中值滤波，产生出一个唯一运动向量，记录该唯一运动向量为V(M_i)＝Median({V₁,V₂,…V_n})，式中，n表示总的向量个数。

进一步的，如果某个网格点周围没有特征向量，进而无法收集到运动向量，则该网格点的运动向量数记为0，其运动向量的值由周围格点的运动向量插值获得。

进一步的，所述步骤(5)的具体方式如下：

(51)收集每个网格的每一个格点上的唯一运动向量，用集合表示,其中，i描述第i个空间位置，t描述时间；一个网格有很多格点位置(如图2)，该位置用i索引。即表示该格点处于网格空间内的什么地方；

(52)对每一个空间位置i收集到的时间区域上的向量集合作低通平滑滤波，滤波后，对应每一个空间位置和每一个时间位置，产生一个运动更新向量将网格的格点带到一个新的位置，产生扭曲的稳定网格。

进一步的，所述步骤(6)中需将扭曲的稳定网格图像的像素内容依次插值，插值的具体方式如下：根据一个格子的四个格点在变化前的规整位置到变化后的非规整位置提供的变化映射，对格子内的图像像素值做二次线性插值。在步骤(5)结束后，每一帧每一个网格格点产生一个运动更新向量，使用该向量，可将一个规整网格，变换成为一个扭曲网格(扭曲网格对应该帧稳定后的位置)，但此时扭曲网格中没有该帧图像内容，因此，本步骤将该帧图像内容变换到其扭曲网格所表示的位置上，获得稳定的一帧。每一帧都如法炮制，即获得最终稳定视频。

本发明与现有技术相比，具有以下优点：

(1)本发明使用非参数化的网格模型描述帧间运动，其不局限于利用参数来表征运动，更自由，更灵活，运动描述更准确，能更有效的描述大景深的场景，更能有效的描述帧间的果冻效应带来的非线性变换。采用本发明，运动描述得更准确，带来防抖质量的提升。

(2)本发明使用网格模型，并提出了基于图像特征点检测、匹配，获取特征点运动向量并将运动向量转移到网格格点的方法；同时，提出了基于网格格点运动向量的平滑方法，有效的将网格模型运用于视频防抖之中，克服了因现有参数化模型不能有效描述帧间运动的局限，从而提升了视频防抖的质量。

附图说明

图1为本发明-实施例中初始的相机运动位置和稳定后相机的运动位置之间的关系图。

图2为本发明-实施例中低通高斯滤波示意图。

图3为本发明-实施例中帧内容的留存度计算示意图。

图4为本发明的流程示意图。

具体实施方式

实施例

如图1所示，本实施例提供了一种基于网格吸点非参数化运动模型的视频防抖方法，与现有采用参数来表征帧间运动不同的是，该防抖方法使用非参数化的网格模型描述帧间运动，更自由、灵活，运动描述更准确，能更有效的描述大景深的场景，更能有效的描述帧间的果冻效应带来的非线性变换。

参考图4所示，本实施例中，基于网格吸点非参数化运动模型的视频防抖方法主要包括以下步骤：步骤1.对相邻帧进行特征点的检测和匹配，获取特征点的运动向量；步骤2.用均匀分配的16x16的网格套住视频中的每一帧；步骤3.将特征点的运动向量转化到网格格点上；步骤4.对视频中的每一帧重复步骤3的操作；步骤5.在空间中，对对应位置的网格格点组成的运动向量集合作低通滤波，为每一帧每一个网格格点产生一个更新向量；步骤6.通过更新向量产生一个扭曲的网格；步骤7.将每一帧的图像内容变换到扭曲网格的位置产生出最后的输出视频。与现有技术相比，本方法是基于网格模型的非参数化方法，相比于传统的参数化方法，能更准确的估计帧间运动，更能有效描述视频中广泛存在的果冻效应，准确的运动估计带来视频防抖效果的提升。

为了便于本领域技术人员理解，下面对每一步骤进行详细介绍：

1.对相邻帧进行特征点的检测和匹配，获取特征点的运动向量

用第t帧往第t-1帧作特征点的检测和匹配，匹配好的特征点可以提供运动信息，记录第t帧第i个特征点的坐标a(x,y),其中x表示第t帧图像中的行坐标，y表示第t帧图像中的列坐标。与a点在第t-1帧中相匹配的坐标点记录为b(x’,y’),其中x’表示第t-1帧图像中的行坐标，y’表示第t-1帧图像中的列坐标，特征点的运动向量记为V＝a–b＝(x-x’,y-y’)，如图1中箭头所示。

2.用均匀分配的16x16的网格套住视频中的每一帧

将图像分隔成16x 16的均匀网格，为每一帧图像套上网格，如图2所示，需要说明的是，图2中网格并非16x 16的均匀网格，再此画出用以示意。

3.网格吸点：将特征点的运动向量转移成网格格点的运动向量

对每一个网格格点，搜索固定半径内，所有存在的特征点，并收集这些特征点的运动向量。每一个网格格点都会收集到周围若干的运动向量，如果某个网格点周围没有特征向量，进而无法收集到运动向量，该网格点的运动向量数记为0。

记录第i个网格格点为M_i,其收集到的一组运动向量记录为{V₁,V₂,…V_n},对这一组运动向量作中值滤波(Median Filter),产生出一个唯一的运动向量，记录该运动向量为V(M_i)＝Median({V₁,V₂,…V_n})，式中，n表示总的向量个数。图3展示了将特征点运动向量转移成网格格点的运动向量。对于某些格点周围没有特征点运动向量的，进而该格点的运动向量为0，不能进行中值滤波，但该格点依然需要有一个运动向量的值，该值由周围格点的运动向量插值获得。

4.对视频中的每一帧重复步骤3的操作，通过该步骤使得使得每一个网格的每一个格点上都有运动向量的存在。

5.在空间中，对对应位置的网格格点组成的运动向量集合作低通滤波，为每一帧每一个网格格点产生一个更新向量

在完成前述步骤的操作后，每一个网格的每一个格点上都有运动向量的存在，将这些运动向量在空间中对应的位置收集起来，收集起来的运动向量集合表示为其中i描述第i个空间位置，t描述时间。

对每一个空间位置i收集到的时间区域上的向量集合作低通平滑滤波，滤波后，对应每一个空间位置和每一个时间位置，产生一个运动更新向量，该更新向量会将网格的格点带到一个新的位置。

6.通过更新向量产生一个扭曲的网格

在变换前，网格为规整网格，即图2所示的网格结构，更新向量将网格的个点到底一个新的位置后，网格由规整网格转换为非规整网格，该非规整网格为扭曲网格，用于表征视频稳定之后网格的位置。

7.将每一帧的图像内容变换到扭曲网格的位置产生出最后的输出视频，该步骤是基于网格的图像渲染，通过规整网格变换到扭曲稳定网格之后，需要将图像的像素内容依次插值，具体做法为根据一个格子的四个格点在变化前的规整位置到变化后的非规整位置提供的变化映射，对格子内的图像像素值做二次线性插值。对每一帧图像执行上述步骤，完成所有帧图像的上述步骤操作后，即输出稳定的视频图像。

按照上述实施例，便可很好地实现本发明。值得说明的是，在上述技术方案的前提下，为解决同样的技术问题，即使在本发明上做出一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。

Claims (4)

1.一种基于网格吸点非参数化运动模型的视频防抖方法，其特征在于，包括以下步骤：

(1)对相邻特征点进行特征点的检测与匹配，获取特征点的运动向量：

V＝a–b＝(x-x’,y-y’)

式中，a表示第t帧图像中的坐标点，b表示在第t-1帧图像中与a点对应的坐标点，x表示坐标点a的行坐标，y表示坐标点a的列坐标，x’表示坐标点b的行坐标，y’表示坐标点b的列坐标；

(2)将图像分隔成16x 16的均匀网格，为每一帧图像套上网格；

(3)网格吸点：将特征点的运动向量转移成网格格点的运动向量；

(4)对视频中每一帧执行步骤(1)～(3)，使得每一个网格的每一个格点上都有运动向量的存在；

(5)在时序上，对对应位置的网格格点组成的运动向量集合作低通滤波，为每一帧每一个网格格点产生一个运动更新向量，该步骤的具体方式如下：

(51)收集每个网格的每一个格点上的唯一运动向量，用集合表示,其中，i描述第i个空间位置，t描述时间；

(52)对每一个空间位置i收集到的时间区域上的向量集合作低通平滑滤波，滤波后，对应每一个空间位置和每一个时间位置，产生一个运动更新向量将网格的格点带到一个新的位置，产生扭曲的稳定网格；

(6)将每一帧的图像内容变换到扭曲网格的位置产生出最后的输出视频。

2.根据权利要求1所述的一种基于网格吸点非参数化运动模型的视频防抖方法，其特征在于，所述步骤(3)的具体方式如下：

(31)对每一个网格格点，搜索固定半径内，所有存在的特征点，并收集这些特征点的运动向量；

(32)记录第i个网格格点为M_i,其收集到的一组运动向量记录为{V₁,V₂,…V_n},对这一组运动向量作中值滤波，产生出一个唯一运动向量，记录该唯一运动向量为V(M_i)＝Median({V₁,V₂,…V_n})，式中，n表示总的向量个数。

3.根据权利要求2所述的一种基于网格吸点非参数化运动模型的视频防抖方法，其特征在于，如果某个网格点周围没有特征向量，进而无法收集到运动向量，则该网格点的运动向量数记为0，其运动向量的值由周围格点的运动向量插值获得。

4.根据权利要求3所述的一种基于网格吸点非参数化运动模型的视频防抖方法，其特征在于，所述步骤(6)中需将扭曲的稳定网格图像的像素内容依次插值，插值的具体方式如下：根据一个格子的四个格点在变化前的规整位置到变化后的非规整位置提供的变化映射，对格子内的图像像素值做二次线性插值。