CN110536142A - 一种针对非刚性图像序列的帧间插值方法 - Google Patents

Abstract

本发明公开了一种针对非刚性图像序列的帧间插值方法，所述方法包括：利用鲁棒性局部光流对由运动边缘上的特征点、均匀网格点组成的稀疏特征点进行初始匹配；通过前后一致性检测准则去除误匹配特征点，得到稀疏匹配点，进而获取稀疏矢量场；对稀疏矢量场进行建模插值，获取稠密的运动矢量场；利用样条插值法对各连续帧之间的稠密矢量场进行估计，根据稠密矢量场对浮动图像进行纠正，从而由少数帧插值出较多连续帧。本发明基于少量稀疏的非均匀向量场实现稠密矢量场的建模，不局限于稀疏光流场的不精确性，不仅可以实现较大位移的非刚性图像的全像素配准，也能基于少量非刚性图像插值出多幅连续的图像序列。

Description

一种针对非刚性图像序列的帧间插值方法

技术领域

本发明涉及计算机视觉帧间插值领域，尤其涉及一种针对非刚性图像序列的帧间插值方法，可用于非刚性形变图像的配准，以及基于少量图像获得多幅连续的图像序列。

背景技术

非刚性图像序列的帧间插值在计算机视觉领域是一个具有挑战性的问题。由于非刚性图像序列之间存在着广泛的局部大位移形变和严重的非线性形变，很难准确地获得任意两幅图像间的稠密位移矢量场，获取连续帧的帧间稠密位移矢量场更加困难。序列的帧间插值主要是通过估计帧间的稠密矢量场来实现的，目的是在任意两个连续的原始帧之间生成未知的中间帧，帧间插值可应用于将低帧率视频转换为高帧率视频，基于少量静态图像序列获取动态视频，预测目标物体的运动变化、运动补偿等方面。

目前，常用矢量场插值方法主要有边缘保护插值算法(Edge-PreservingInterpolation of Correspondences，EpicFlow)、鲁棒性插值算法(RobustInterpolation method of Correspondences，RicFlow)、主成分分析插值算法(PrincipalComponent Analysis Interpolation，PCA-Flow)。

现有的插值方法几乎都是针对仅有少量数据缺失的光流场进行插值，对于只有少量稀疏数据的矢量场不适用。并且非刚性图像中普遍存在着较大的局部位移和严重的非线性形变，很难获得准确光流场。

因此，上述方法不可避免地会受到光流场不精确性的限制，插值后难以获得准确的稠密矢量场，导致帧间插值存在较大的误差。

发明内容

本发明提供了一种针对非刚性图像序列的帧间插值方法，本发明基于少量稀疏的非均匀向量场实现稠密矢量场的建模，不局限于稀疏光流场的不精确性，不仅可以实现较大位移的非刚性图像的全像素配准，也能基于少量非刚性图像插值出多幅连续的图像序列，详见下文描述：

一种针对非刚性图像序列的帧间插值方法，所述方法包括：

利用鲁棒性局部光流对由运动边缘上的特征点、均匀网格点组成的稀疏特征点进行初始匹配；

通过前后一致性检测准则去除误匹配特征点，得到稀疏匹配点，进而获取稀疏矢量场；

对稀疏矢量场进行建模插值，获取稠密的运动矢量场；

利用样条插值法对各连续帧之间的稠密矢量场进行估计，根据稠密矢量场对浮动图像进行纠正，从而由少数帧插值出较多连续帧。

其中，所述运动边缘上的特征点具体为：

利用结构化边缘检测算子提取图像边缘，对边缘点降采样作为待匹配特征点。

进一步地，所述对稀疏矢量场进行建模插值，获取稠密的运动矢量场具体为：

计算稀疏匹配点中每两个匹配点之间的径向距离，得到径向距离矩阵A；

根据稀疏位移矢量场构建位移矢量矩阵V；

通过A×C＝V求解出参数矩阵C；

计算待插值区域中任意点到每个稀疏匹配点的径向距离，并建立矩阵B_p；

根据矩阵B_p与参数矩阵C计算待插值区域任意点的矢量，进而获得稠密位移矢量场。

本发明提供的技术方案的有益效果是：

1、本发明先利用鲁棒性局部光流算法得到特征点间的稀疏匹配，再利用前后一致性检测去除误匹配，得到准确的稀疏矢量场。在此基础上，提出一种矢量场插值模型，借助径向基函数对矢量场进行建模，计算出能描述矢量场变化的参数矩阵，从而计算出待插值点的矢量场。由此可以实现较大位移非刚性图像的全像素配准。

2、本发明利用两帧之间估计出的稠密位移矢量场，对x和y方向的位移分别做样条插值，可以插值出帧间的位移矢量场。因此，基于少量非刚性图像序列可以实现多幅连续图像的帧间插值。

3、本发明可以基于少量的稀疏匹配点进行插值，不受限光流估计的不准确性以及初始矢量的数量。

4、实验结果表明，本发明所公布的稠密位移矢量插值方法既能配准较大位移的非刚性图像，又能基于少量非刚性图像序列实现帧间插值，与当前先进算法相比准确度更高。

附图说明

图1为本发明提供的一种针对非刚性图像序列的帧间插值方法；

图2为误匹配去除的效果图；

其中(a)为初始稀疏匹配图，(b)为去除误匹配之后的匹配图。

图3为连续帧之间样条插值的示意图；

图4为样条插值的过程图；

其中(a)为模板图像，(b)为浮动图像，(c)为两图之间的稠密矢量场，(d)-(f)分别为插值得到的中间帧矢量场。

图5为稠密矢量插值的过程图；

其中(a)为模板图像，(b)为浮动图像，(c)为稀疏矢量场，(d)为稠密矢量场。

图6为非刚性图像配准效果图；

其中(a)为模板图像，(b)为浮动图像，(c)为原始模板图像与浮动图像之间的差值图像，(d)为配准结果与原始模板图像之间的差值图像。

图7为不同算法针在公开数据集上的对比示意图；

图8为非刚性图像序列的帧间插值图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决上述问题，本发明公开了一种针对非刚性图像序列的帧间插值方法，不仅可以实现非刚性图像的全像素配准，也能基于少量图像序列实现连续帧的帧间插值。

实施例1

本发明实施例提供了一种基于稀疏矢量场建模的插值方法，该方法主要由5部分组成：稀疏特征点的选择和匹配；前后一致性检测去除误匹配；稀疏矢量场的建模插值；利用样条插值估计帧间稠密矢量场；根据稠密矢量场纠正浮动图像。

本发明实施例基于少量稀疏的非均匀向量场实现稠密矢量场的建模，不局限于稀疏光流场的不精确性。不仅可以实现存在较大位移的非刚性图像的全像素配准，也能基于少量非刚性图像序列实现帧间插值。如图1所示，具体步骤及原理如下：

101：利用鲁棒性局部光流对稀疏特征点进行初始匹配；

为保证稠密位移矢量场建模的精确性，本发明实施例选取两类特征点：

1)运动边缘上的特征点：

其中，运动目标的边界点是矢量场插值的关键点，本发明实施例假设图像的边缘是运动边界的超集合，并利用结构化边缘检测算子提取图像边缘，对边缘点降采样作为待匹配特征点。

2)均匀网格点：

根据图像大小设置一定的步长，均匀选取图像中的网格点作为待匹配特征点，这类特征点的优点在于特征均匀分布且计算简单。

其中，运动边缘上的特征点、均匀网格点组成了稀疏特征点，稀疏特征点的匹配采用局部鲁棒性光流算法，获得初始稀疏匹配。初始匹配图如图2(a)所示，为便于观察，对匹配数目做了35倍降采样。由图2可见，初始匹配中含有一定的误匹配特征点。

102：利用前后一致性检测准则去除误匹配特征点，得到稀疏匹配点，进而得到准确的稀疏矢量场；

对于图像I₁中的每个特征点p，计算正向光流F_f，对应于图像I₂中的匹配点为q＝(p+F_f)。将q作为I₂中的特征点，计算I₂到I₁的反向光流F_b，得到在I₁中的反向匹配点p'＝(q+F_b)，若满足||p–p’||<θ，则认为p与q是正确的匹配点对，即满足该条件的正向流计算正确。其中阈值θ取值为0.3。

经过前后一致性检测，保留正确的匹配点对，形成精确的稀疏位移矢量场。误匹配去除后的匹配效果如图2(b)所示，保留下来的匹配更加准确。为便于观察，对匹配数目做了3.5倍降采样。

103：对稀疏矢量场进行建模插值，得到稠密的运动矢量场；

根据传统的Kansa基本模型可知，对于一个光滑的表面或光滑的能量场，任意位置p的亮度值可以近似的表示为该位置与N个测试点之间径向距离的线性组合，具体公式如下：

其中，c₁,c₂,…,c_N表示相对参数，表示任意点p与第k个测试点之间的径向距离。在本发明假设位移矢量场满足光滑性条件，则稠密矢量场插值应满足如下公式：

A×C＝V (2)

其中，A表示径向距离矩阵，C表示参数矩阵，V表示位移矢量矩阵。

传统的Kansa模型是一种基于径向基函数的无网格非对称配置动态模型，在光流分析、能量分布和平滑三维表面等领域问题上有着广泛的应用。本发明对该动态模型加以改进并应用于稀疏矢量场插值，以获得全像素的位移矢量场。在传统的Kansa模型中，为保证较低的条件数，选取了均匀分布的测试点。然而，在绝对均匀的位置上获取精确的稀疏矢量十分困难。为解决这个问题，本发明选取两张图像中正确匹配的特征点作为测试点，以保证了测试点处矢量场的准确性。此外，选取的大部分特征点位于图像的运动边缘处和物体的结构关键处，有利于提高图像边缘的建模准确性，保证稠密矢量场的插值效果。

该步骤103具体为：

(1)计算稀疏匹配点中每两个匹配点之间的径向距离，得到径向距离矩阵A：

其中，表示任意点p和k之间的径向距离，N表示稀疏匹配点对的个数。径向距离矩阵计算公式具体为：

其中，||·||表示欧氏距离，X_p,X_k分别表示任意两个特征点，为取得更好的插值效果，添加形状参数c，取值为0.1。

(2)根据稀疏位移矢量场构建位移矢量矩阵V：

其中，分别表示第k个特征点在x和y方向上的位移，N表示稀疏匹配点对的个数。

(3)根据公式A×C＝V求解出参数矩阵C：

其中，c_ui,c_vi(i＝1,2,…,N)是计算出的相对参数，N表示稀疏匹配点对的个数。

(4)计算待插值区域中任意点到每个稀疏特征点的径向距离，并建立矩阵B_p：

其中，表示任意待插值点到第k(1≤k≤N)个特征点的径向距离。

(5)计算待插值区域任意点的矢量U_p，获得稠密位移矢量场。

U_p＝B_p×C (8)

104：利用样条插值法对各连续帧之间的稠密矢量场进行估计；

基于步骤103中得到的两帧之间的稠密位移矢量场，设定插值间隔，对x和y方向的位移分别做样条插值，得到帧间的位移矢量场。

任意两个连续帧之间的样条插值示意图如图3所示，表示原始花卉图像中对应的匹配点矢量，表示任意两个连续帧之间的矢量。本实施例中对图4(a)和图4(b)两幅图像做了稠密矢量场估计和间隔大小为3的帧间插值，稠密矢量场如图4(c)所示，图4(d)、图4(e)和图4(f)分别为插值得到的中间帧。

105：根据稠密矢量场对浮动图像进行纠正，从而由少数帧插值出较多连续帧。

本发明插值得到的稠密位移矢量场是全像素的，即图像I₁到图像I₂中每个像素的位移矢量，可根据位移矢量对图像I₂中每个像素点的位置做变换。由于变换后的坐标位置不是整数，可采用双线性插值得到整数坐标。

综上所述，本发明实施例通过上述步骤101-步骤105建立准确的稀疏矢量场，并采用密集矢量场插值算法得到稠密位移矢量场，最终实现非刚性图像序列的帧间插值。

实施例2

下面结合具体的实例对实施例1中的方案做进一步详细描述，详见下文描述：

图5(a)与图5(b)的花卉图之间存在较大位移的非刚性形变，经过初始匹配和前后一致性检测之后，可以利用正确匹配点建立精确的稀疏矢量场如图5(c)所示，其中箭头表示特征点从图5(a)位置指向图5(b)位置的矢量。利用本方法插值得到的稠密矢量场如图5(d)所示，为方便观察，稠密位移矢量场做了15倍降采样。由图5(d)可见，本方法可以根据稀疏矢量场有效地得到稠密矢量场。

图6(a)、(b)分别为模板图像和浮动图像，两幅图像之间存在非刚性形变。图6(c)展示了两张原始图像之间的差值图像，可以看出在猞猁的耳朵、嘴巴及眼睛处有较大的非刚性形变。图6(d)为配准后的图像与模板图像的差值图像，配准后的图像与原始的模板图像相差非常小。说明利用本方法可以较为准确估计出稠密矢量场，从而使得浮动图像能较好地与模板图像对齐。

为了进一步验证本发明对大位移图像配准的效果，在Middlebury^[4]公开数据集上对本发明提出的方法和现有的DeepFlow算法^[5]、Full-Flow算法^[6]、PCA-Flow算法^[7]进行评估。Middlebury数据集是评估光流估计效果的公用数据集，包含24组图像序列，每组序列提供从frame07到frame14的8帧连续形变图像，各组图像序列发生了不同程度的非刚性形变。本实验将每组图像中的frame07设置为模板图像，frame08至frame12分别设置为浮动图像。显然，随着帧间间距的增大，浮动图像与模板图像之间的形变程度越来越严重，局部位移越来越大。采用四种方法分别对每组图像做图像配准，并计算出不同形变程度下，配准结果与模板图像的平均峰值信噪比(PSNR)，如图7所示。

从图7可以看出，严重的非刚性变形导致PCA-Flow和Full-Flow配准精度相对较低，对于形变较大的浮动图像，这两种算法几乎失去了效果。相比之下，DeepFlow取得了较好的配准效果，但PSNR值仍然很低，尤其是对于帧间间隔较大的图像。虽然随着形变程度的增加，各种方法的性能都逐渐变差，但本文算法的性能始终优于其他方法。原因在于，本发明提出的方法只需要少数精确的稀疏矢量即可插值出稠密矢量场，并且稀疏矢量场是通过特征匹配得到的，对大位移形变有较好的鲁棒性。而其他方法需要基于半稠密矢量场进行插值，对初始矢量场数量的要求更高，受大位移和非刚性形变影响较大。这也证明了本发明在处理大位移形变方面的优越性。

图8为4组非刚性图像序列的帧间插值图，在每一组中，最左侧和最右侧为原始图像，中间三帧为插值帧。虽然图中仅列出三帧，本发明可以通过设置插值间隔得到任意帧。从图8中可以看出，这5组图像均存在复杂的非刚性形变以及局部大位移形变。尽管如此，本发明仍能获得具有良好视觉插值效果的图像序列，插值帧较好地展现了图像序列的非刚性运动过程。

参考文献

[1]P.Dollár and C.L.Zitnick,“Fast Edge Detection Using StructuredForests,”IEEE Trans PatternAnal.Mach.Intell.,vol.37,no.8,pp.1558-1570,Aug.2015.

[2]J.Geistert,T.Senst and T.Sikora,“Robust local optical flow:Densemotion vector field interpolation,”in2016 Picture Coding Symposium(PCS),Nuremberg,2016,pp.1-5.

[3]J.Nam and A.H.Tewfik,“Detection of gradual transitions in videosequences using B-spline interpolation,”IEEE Trans Multimedia,vol.7,no.4,pp.667-679,Aug.2005.

[4]S.Baker,S.Roth,D.Scharstein,M.J.Black,J.P.Lewis and R.Szeliski,"ADatabase and EvaluationMethodology for OpticalFlow,"in Proc.IEEE Int.Conf.onComput.Vis.,Rio de Janeiro,2007,pp.1-8.

[5]P.Weinzaepfel,J.Revaud,Z.Harchaoui and C.Schmid,"DeepFlow:LargeDisplacement Optical Flow with Deep Matching,"in Proc.IEEE Int.Conf.onComput.Vis.,Sydney,NSW,2013,pp.1385-1392.

[6]Q.Chen and V.Koltun,“Full Flow:Optical Flow Estimation By GlobalOptimization over Regular Grids,”in Proc.IEEE Conf.Comput.Vis.PatternRecognit.(CVPR),Las Vegas,NV,2016,pp.4706-4714.

[7]J.Wulff and M.J.Black,“Efficient sparse-to-dense optical flowestimation using a learned basis and layers,”in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),Boston,MA,2015,pp.120-130.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种针对非刚性图像序列的帧间插值方法，其特征在于，所述方法包括：

利用鲁棒性局部光流对由运动边缘上的特征点、均匀网格点组成的稀疏特征点进行初始匹配；

通过前后一致性检测准则去除误匹配特征点，得到稀疏匹配点，进而获取稀疏矢量场；

对稀疏矢量场进行建模插值，获取稠密的运动矢量场；

利用样条插值法对各连续帧之间的稠密矢量场进行估计，根据稠密矢量场对浮动图像进行纠正，从而由少数帧插值出较多连续帧。

2.根据权利要求1所述的一种针对非刚性图像序列的帧间插值方法，其特征在于，所述运动边缘上的特征点具体为：

利用结构化边缘检测算子提取图像边缘，对边缘点降采样作为待匹配特征点。

3.根据权利要求1所述的一种针对非刚性图像序列的帧间插值方法，其特征在于，所述对稀疏矢量场进行建模插值，获取稠密的运动矢量场具体为：

计算稀疏匹配点中每两个匹配点之间的径向距离，得到径向距离矩阵A；

根据稀疏位移矢量场构建位移矢量矩阵V；

通过A×C＝V求解出参数矩阵C；

计算待插值区域中任意点到每个稀疏匹配点的径向距离，并建立矩阵B_p；

根据矩阵B_p与参数矩阵C计算待插值区域任意点的矢量，进而获得稠密位移矢量场。