CN111476715A - 一种基于图像变形技术的拉格朗日视频运动放大方法 - Google Patents

Abstract

本发明提供了一种基于图像变形技术的拉格朗日视频运动放大方法，通过光流法估计视频中感兴趣区域特征点的运动信息并将运动位移放大，然后以放大前后的特征点坐标为牵引点，使用保持图像内容的图像变形技术来实现图像的运动放大。该方法比当前的运动放大技术具有更少的模糊和振铃伪影，只要少量人工干预即可处理每一帧图像。输入的图片序列来自静止的相机，可以人为选取放大区域和设定放大倍数，整个系统能够自动检测和追踪特征点，重新估计运动后通过图像变形技术对目标区域进行变形，最后重建前景背景得到放大后的视频序列，使得视频中目标的物理运动得到放大。

Description

一种基于图像变形技术的拉格朗日视频运动放大方法

技术领域

本发明涉及计算机技术应用领域，具体涉及一种基于图像变形技术的拉格朗日视频运动放大方法。

背景技术

在现实世界中，每时每刻都有一些人眼难以察觉的轻微运动。视频微小运动放大技术可以显示出这些运动，这项技术被广泛应用于医学健康,科学分析和建筑物监测领域，因此运用运动放大技术解决难以察觉的微小运动观测问题非常有必要。然而这是一项非常艰巨的任务，因为原视频中的运动过于微弱以至于很难将它们与噪声区分。当前这项技术可以分成两类：基于欧拉的方法和基于拉格朗日的方法。

基于欧拉的方法不区分运动与静止区域，通常将整个视频帧分解成允许放大运动的表示形式，这种分解通常依赖于滤波器，例如复杂的可操纵滤波器；然后在感兴趣的时域频带上对每个像素的时间序列信号进行滤波和放大；最后重建图像时间和空间部分来生成放大后的每一帧。这种方法在放大倍数较小时能够取得预期的效果，当放大系数设置的过大时，这种方法就会带来难以忍受的噪声；同时滤波器范围选取不当也会使图像产生振铃现象和细节丢失；这些严重影响了视频的质量。

基于拉格朗日的方法显式地估计运动，需要跟踪视频帧中每一个像素点在当前帧和前一帧的位置差异，重构放大运动后再合成视频中的动作。这不仅需要昂贵的光流计算时间，并且在视频的每一帧中还需要应用运动分割技术和纹理填充技术，对于遮挡边界和复杂运动区域，更是需要人为干预，这些处理大大增加了算法的复杂性。

发明内容

发明目的：为解决背景技术中存在的技术问题，本发明提供了一种基于图像变形技术的拉格朗日视频运动放大方法，包括如下步骤：

步骤1，输入有待运动放大处理的视频；

步骤2，进行帧对齐；

步骤3，选取目标区域；

步骤4，重新检测和跟踪特征点；

步骤5，对视频图像进行保持内容的图像变形；

步骤6，合成前景背景；

步骤7，输出运动放大视频。

步骤2包括：在第一帧视频中检测FAST特征角点(Machine learning forhighspeed corner detection.In European conference on computer vision,pages430–443.Springer,2006.)，并在随后的帧序列中跟踪所述FAST特征角点，根据特征点运动的距离大小将所述FAST特征角点分为两类：运动较大的点和运动较小的点，判定方法为：后一帧中特征点的坐标减去前一帧点的坐标得到坐标差，将坐标差的横、纵坐标值加起来得到距离值，最后将距离值与阈值(阈值设置为10像素)比较，距离值大于阈值的点为运动较大的点，距离值小于阈值的点为运动较小的点。为一般来说，背景静止物体在拍摄视频序列中的运动较小，能够代表相机的移动。通过运动较小点的坐标变化来得到相机整体的位置改变，最后将后续帧通过仿射变换与第一帧对齐，得到背景静止的视频序列。

所述仿射变换是一种二维坐标到二维坐标之间的线性变换，变换公式如下：

其中(x',y')是变换后的点坐标，(x,y)是变换前的点坐标，a_i(i＝1,2,3,4)是旋转参数，(t_x,t_y)使平移参数。

步骤3包括：

选取感兴趣区域：在所需区域周围选取N个点，N一般取32，然后将所选N个点连接起来形成多边形区域，即为感兴趣区域，最后将所述感兴趣区域抠出，用作下一步处理。

步骤4包括：

以视频第一帧为参考帧，检测第一帧中的FAST特征角点，并在后续帧序列中用KLT算法(In Computer Vision and Pattern Recognition,pages 593–600,1994.)对其进行跟踪，跟踪时采用Forward-Backward Error方法(Forward-backward error:Automaticdetection of tracking failures.In 2010 20th International Conference onPattern Recognition,pages 2756–2759.IEEE,2010.)做跟踪负反馈，将跟踪失败的结果丢弃。

步骤4中，所述采用Forward-Backward Error方法做跟踪负反馈，具体包括：

先计算出两个相邻帧中对应FAST特征角点的位移，再将位移乘以放大因子，并重新计算特征点放大后的位置坐标，如公式(1)、(2)所示：

Δp_i ^t(x,y)＝p_i ^t(x,y)-p_i ^t-1(x,y) (1)

其中，factor是放大因子，p_i ^t(x,y)是当前帧中的特征点坐标，p_i ^t-1(x,y)是前一帧中的特征点坐标，

是重新计算后的坐标，Δp_i ^t(x,y)表示p_i ^t(x,y)和p_i ^t-1(x,y)的位移；

步骤5包括：

采用Content-Preseving Warp方法(Contentpreserving warps for 3d videostabilization.In ACM Transactions on Graphics(TOG),volume 28,page 44.ACM,2009.)，将视频的每一帧划分为m×n的网格，运动由网格中的对应的特征点来引导变形，先求解数据项：

被定义为当前帧中运动放大前后的特征点对，运动放大前的点p_i＝V_iω_i，其中V_i为封闭网格顶点的向量，V_i＝[V_i ¹,V_i ²,V_i ³,V_i ⁴]，V_i ¹,V_i ²,V_i ³,V_i ⁴分别为封闭网格四个顶点的向量ω_i，是权重,ω_i＝[ω_i ¹,ω_i ²,ω_i ³,ω_i ⁴]^T,且ω_i的四项插值之和为1；运动放大后的特征点

用向量

表示，此时p_i和

具有相同的权重ω_i；数据项

定义为：

其中ω_i和p_i已知；

再求解相似项：每个网格被划分为两个三角形，三角形的顶点坐标用其相对边的局部坐标系表示，每个形变后的三角形顶点分别表示为

相似项

要求形变前的三角形顶点V,V₀,V₁遵循以下相似变换：

其中参数S＝||V-V₁||/||V₀-V₁||，由初始网格计算得出；

为90度方向的旋转子；

将数据项和相似项进行线性组合得到最后能量约束公式

使用线性求解器来求解公式(5)，得到变形后的所有网格顶点坐标，根据变形前后网格顶点的位置对每一个网格里的图像做仿射变换，得到变形后的图像。

步骤6包括：

将图像前景区域和背景区域直接叠加，在两部分的交界处会有像素的错位，采用泊松融合技术(Video acceleration magnification.In Computer Vision and PatternRecognition,2017.)消除前景背景图像交界处的差异：具体使用opencv中的seamlessClone()函数实现消除前景背景图像交界处的差异，函数公式如下：

cv:seamless Clone(InputArray src,InputArray dst,InputArray mask,

Point p,OutputArray blsrcend,Int flags)

其中，各参数解释如下：

src：源图像；

dst：目标图像；

mask：掩膜；

p:ROI区域在dst上摆放的位置；

blsrcend:输出图像；

flags：融合方式。

有益效果：本文提出了一种基于图像变形的视频微小运动放大方法。假设视频中的微小运动等效于每一帧图像的合理变形，因此只需要跟踪少量特征点，对图像帧进行可控的扭曲，便可实现运动放大效果。此方法由于不需要对视频图像帧进行分解，可以节省大量计算时间；并且不需要设计滤波器，能够保留视频中的大量细节。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1a是源图；

图1b是掩模图；

图1c是目标区域图；

图2是Forward-Backward Error方法示意图；

图3是运动特征点的x坐标随时间变化的坐标曲线图；

图4a是对网格进行保留内容变形示意图；

图4b是三角形的顶点坐标用其相对边的局部坐标系表示示意图；

图5是时间序列切片变化曲线图；

图6是图像质量效果图；

图7是本发明方法流程图。

具体实施方式

本发明公开了基于图像变形的视频微小运动放大方法，具体流程如图7所示，

本实施例具体步骤如下：

步骤1，输入一段baby视频，图像帧的分辨率为1280×720，如图1a所示；

步骤2，帧对齐，在第一帧中检测特征点，并在随后的帧序列中跟踪它们。通过估计运动较小点的坐标变化来得到相机整体的位置改变，最后将后续帧通过仿射变换与第一帧对齐，得到背景静止的视频序列；

步骤3,目标区域选取，首先手动在baby周围选出若干点，然后连接这些点形成一个多边形，多边形内便是感兴趣区域，本实例称作为目标区域，如图1b，图1c所示；

步骤4，特征点跟踪和运动重新估计，以第一帧为参考帧，检测第一帧中的FAST特征角点，并在后续帧序列中用KLT法对其进行跟踪采用。如图2所示，最后采用Forward-Backward Error方法做跟踪负反馈，将跟踪失败的结果丢弃。如图3所示，是运动放大前后特征点的x坐标随时间变化的坐标曲线，其中横坐标t frame index表示时间切片，纵坐标x:coordinate表示特征点的x坐标变化值，图中before magnification为放大前，aftermagnification为放大后；

步骤5，采用Content-Preseving Warp方法。将图像帧划分为16×16的网格，运动由网格中的对应的特征点来引导变形，相关处理后得到变形后的图像。如图4a所示，对网格进行保留内容变形，其中一对匹配特征点对

通过其四个封闭顶点的相同双线性插值来表示，如图4b所示，用三角形相对边的局部坐标表示三角形的顶点坐标；

步骤6，合成前景背景，采用泊松融合技术实现前后背景的融合；

步骤7，输出运动放大视频，baby胸口位置处的时间序列切片变化曲线如图5所示，时间序列切片变化曲线近乎一致；图像质量效果如图6所示，较好的保留了图像细节，并且没有放大噪声。

本发明提供了一种基于图像变形技术的拉格朗日视频运动放大方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于图像变形技术的拉格朗日视频运动放大方法，其特征在于，包括如下步骤：

步骤1，输入有待运动放大处理的视频；

步骤2，进行帧对齐；

步骤3，选取目标区域；

步骤4，重新检测和跟踪特征点；

步骤5，对视频图像进行保持内容的图像变形；

步骤6，合成前景背景；

步骤7，输出运动放大视频。

2.如权利要求1所述的方法，其特征在于，步骤2包括：在第一帧视频中检测FAST特征角点，并在随后的帧序列中跟踪所述FAST特征角点，根据特征点运动的距离大小将所述FAST特征角点分为两类：运动较大的点和运动较小的点，判定方法为：后一帧中特征点的坐标减去前一帧点的坐标得到坐标差，将坐标差的横、纵坐标值加起来得到距离值，最后将距离值与阈值(阈值设置为10像素)比较，距离值大于阈值的点为运动较大的点，距离值小于阈值的点为运动较小的点，通过运动较小点的坐标变化来得到相机整体的位置改变，最后将后续帧通过仿射变换与第一帧对齐，得到背景静止的视频序列；

所述仿射变换是一种二维坐标到二维坐标之间的线性变换，变换公式如下：

其中(x',y')是变换后的点坐标，(x,y)是变换前的点坐标，a_i(i＝1,2,3,4)是旋转参数，(t_x,t_y)是平移参数。

3.如权利要求2所述的方法，其特征在于，步骤3包括：

选取感兴趣区域：在所需区域周围选取N个点，然后将所选N个点连接起来形成多边形区域，即为感兴趣区域，最后将所述感兴趣区域抠出，用作下一步处理。

4.如权利要求3所述的方法，其特征在于，步骤4包括：

以视频第一帧为参考帧，检测第一帧中的FAST特征角点，并在后续帧序列中用KLT算法对其进行跟踪，跟踪时采用Forward-Backward Error方法做跟踪负反馈，将跟踪失败的结果丢弃；

所述采用Forward-Backward Error方法做跟踪负反馈，具体包括：

先计算出两个相邻帧中对应FAST特征角点的位移，再将位移乘以放大因子，并重新计算特征点放大后的位置坐标，如公式(1)、(2)所示：

Δp_i ^t(x,y)＝p_i ^t(x,y)-p_i ^t-1(x,y) (1)

其中，factor是放大因子，p_i ^t(x,y)是当前帧中的特征点坐标，p_i ^t-1(x,y)是前一帧中的特征点坐标，

是重新计算后的坐标，Δp_i ^t(x,y)表示p_i ^t(x,y)和p_i ^t-1(x,y)的位移。

5.如权利要求4所述的方法，其特征在于，步骤5包括：

采用Content-Preseving Warp方法，将视频的每一帧划分为m×n的网格，运动由网格中的对应的特征点来引导变形，先求解数据项：{p_i，

}被定义为当前帧中运动放大前后的特征点对，运动放大前的点p_i＝V_iω_i，其中V_i为封闭网格顶点的向量，V_i＝[V_i ¹,V_i ²,V_i ³,V_i ⁴]，V_i ¹,V_i ²,V_i ³,V_i ⁴分别为封闭网格四个顶点的向量，ω_i是权重，ω_i＝[ω_i ¹,ω_i ²,ω_i ³,ω_i ⁴]^T，且ω_i的四项插值之和为1；运动放大后的特征点

用向量

表示，此时p_i和

具有相同的权重ω_i；数据项

定义为：

其中ω_i和p_i已知；

再求解相似项：每个网格被划分为两个三角形，三角形的顶点坐标用其相对边的局部坐标系表示，每个形变后的三角形顶点分别表示为

相似项

要求形变前的三角形顶点V,V₀,V₁遵循以下相似变换：

其中参数S＝||V-V₁||/||V₀-V₁||，由初始网格计算得出；

为90度方向的旋转子；

将数据项和相似项进行线性组合得到最后能量约束公式

使用线性求解器来求解公式(5)，得到变形后的所有网格顶点坐标，根据变形前后网格顶点的位置对每一个网格里的图像做仿射变换，得到变形后的图像。

6.如权利要求5所述的方法，其特征在于，步骤6包括：

将图像前景区域和背景区域直接叠加，在两部分的交界处会有像素的错位，采用泊松融合技术消除前景背景图像交界处的差异：具体使用opencv中的seamless Clone()函数实现消除前景背景图像交界处的差异。

Images