CN101945223B - 视频一致性融合处理方法 - Google Patents

Abstract

本发明涉及一种对不同来源的视频图像进行一致性融合的处理方法。该方法的主要特点是在视频融合过程中不仅保证考虑边界附近的无缝自然，而且综合考虑目标场景全局的光照和色调信息，该信息可以由简单的人工交互从目标场景中提取出来，并通过生成对应的参考图像来表示，进而以图像融合的方式扩散到待融合对象中，最终将生成一段具有高度真实感的新视频。本发明可以应用于影视作品后期制作，游戏场景特效设计、广告制作、新闻传媒以及多媒体教育技术等多个领域，为其快速发展提供强大的理论和技术支持，并能减少其制作成本，从而取得较大的经济效益。

Description

视频一致性融合处理方法

技术领域：

本发明涉及一种对视频图像进行一致性融合的方法，具体说来，涉及视频前景对象的交互式选择和自动提取，不同源视频之间的无缝融合，不同视频场景光照、色调的一致性处理等技术和方法。

背景技术：

从静态图像或视频序列中提取出前景目标是视频图像编辑的一项非常重要的应用。其中静态图像的提取是视频对象提取的基础，一般说来，需要用户交互地指定部分前景和背景区域，然后利用统计学的方法由已知信息估计出未知区域前、背景的分类。或者采用简单的边界跟踪方法，然后利用统计学的方法对透明值抠图结果alpha matte进行优化。目前静态图像的透明值抠图(alpha matting)技术的研究已经比较成熟了，并能够在复杂环境中取得比较好的结果。然而在视频序列中，无法为每帧手动指定三分图(Trimap)，需要根据关键帧的计算结果预测出后续帧的对象边界，为了在复杂环境中得到较好的分割结果，则需要综合采用多种特征，比如颜色、纹理、形状以及运动特征，并对这些特征进行局部和整体上的综合评估。当前的视频对象提取方法需要比较多的人工交互，并且运行速度较慢，降低了用户的体验效果，没有很好的实用性，本发明需要改进这一状况。

视频图像融合是指将提取出的视频对象“无缝”、“自然”地融合到新的场景中，从而生成高质量的新视频图像场景。当前主要的融合方法是alpha matte和基于梯度域的融合方法，两种方法各有其适用范围。基于梯度域的方法是近年来发展起来的一种常用且有效的图像编辑方法，它较好地解决了当融合对象之间的颜色和亮度相差较大的问题，将该差异从边界上逐步地扩散到融合图像块的内部，从而实现平滑过渡。然而现有的融合技术仅仅在融合对象和场景的颜色和纹理相似时才能取得较好的结果，对于存在较大颜色和纹理差异的场景以及存在不同光照条件的场景无法取得较好的结果，这也是本发明需要重点解决的问题。

不同视频场景的光照一致性处理是指当目标场景具有某种明显的光照时，需要对待融合的图像进行重光照处理，重光照问题一直是图形图像领域的重要研究内容。当前重光照的主要方法有两类：基于传统几何模型的绘制和基于图像的重光照。当前提出的基于几何和图像的重光照理论和方法很难在可视媒体融合中进行应用，传统的基于图像的重光照方法需要提供光照图像库，且人工交互复杂、难以实现，对于场景光照的条件表示和传播的研究较少。基于以上问题，本发明在前人研究的基础上，从新的视角提出基于图像的光照改变方法，使该方法能有效地增强图像融合的真实感。

发明内容：

本发明针对现有视频融合技术存在的不足，提出一种新的视频一致性融合技术，该技术提高了现有视频对象提取方法的效率，并重点解决了在源、目标场景光照条件不一致条件下的融合问题，使得被融合对象与目标场景高度和谐自然。最终综合以上提出的视频对象提取和融合技术生成一段有高度真实感的新视频场景。

为实现上述目标，本发明采用以下技术方案：一种视频图像一致性融合的处理方法，其特征在于该方法包括以下步骤：

(1)源视频对象的交互选择和自动提取；

(2)使用人工交互的方式提取目标场景的光照方向和色调特征并按以下步骤(2.1)至(2.3)创建参考图像来表示该特征：

(2.1)场景特征通过构造一个参考图像来表示，该图像与待融合的前景对象包围盒大小一致，其构造在Lab颜色空间进行：首先，将目标场景图像转换到Lab颜色空间，然后在场景中人工选取最能代表场景色调特征的区域，并计算出该区域内所有点的色调值(a，b)的均值，从而作为参考图像中每个点的色调值；

(22)通过人工交互指定场景中主要的光照方向，并根据在光照方向上离光源距离越近光照强度越大的原理来构造出参考图像上每个点的亮度值；

(2.3)将以上在Lab颜色空间中构造的参考图像转换到RGB颜色空间；

(3)源视频前景对象和步骤(2)所创建的参考图像进行一致性融合；

(4)视频融合系统的集成：首先提取出视频对象序列，然后分析并提取目标场景的光照条件，最后利用以上提出的一致性融合方法将前景对象逐帧地融合到目标场景中，生成具有真实感的新视频场景。

在本发明的技术方案中，首先对输入的源视频进行前景对象提取，通过在关键帧上指定部分前景和背景区域，利用现有的前景分割方法提取出单帧的前景对象边界。然后通过改进现有的视频抠图技术，使得关键帧的前景对象边界能够快速且准确地传播到后继帧。最后将生成的二值掩码前景通过透明值抠图(alphamatting)技术，生成精确的透明值抠图结果(alpha matte)。在视频融合之前，需要对源、目标场景进行分析，当二者的光照和色调之间的差异较大时，需要提取出目标场景的光照和色调信息，并生成一个参考图像来表示该信息。然后在融合过程中，综合考虑场景的全局光照以及局部边界处的无缝融合。

本发明主要包括以下步骤：

1.视频前景对象提取：首先在关键帧中，通过简单笔划指定部分前景和背景区域，然后利用已有比较成熟的图像前景分割技术如Lazy Snapping来提取该帧的前景。得到关键帧的前景后，通过改进的视频抠图方法将关键帧的前景边界传播到后继帧，为了提高其效率以及用户的交互性，本发明对该算法流程和关键步骤进行了改进。最终能方便快速地得到相应的前景的alpha matte序列。

2.目标场景光照和色调信息的提取与表示：对于源、目标场景的光照和色调差异较大的情况，由人工交互指定目标场景的光照方向以及主要的色调，然后通过构造一个参考图像来表示场景中的光照在融合目标上的分布情况。其中，参考图像在Lab颜色空间上进行构造，沿光照方向上，离光源越近的像素点的亮度越大。对于每个点的色调值a，b，由前面人工交互得到的色调值决定。

3.视频的一致性融合：通过对源、目标场景的光照和色调等信息的分析，选取合适的方式进行视频的一致性融合。对于二者的场景光照等条件比较一致，而融合边界的颜色、纹理差异较大的情况，采用选择性融合方式，该方式通过引入alpha matte来控制融合过程。对于二者的场景光照等条件差异很大的情况，利用上一步得到的参考图像，将它与前景对象进行融合，使得融合后的前景对象与目标场景保持和谐、自然。为保证边界处的无缝自然，同时将前景对象与目标场景进行融合，并通过alpha matte控制这两个融合过程，使得前景对象的重要区域被参考图像所影响，而边界附近与目标场景进行无缝融合。

4.视频融合系统的集成及新视频的生成

将以上几个步骤集成到视频一致性融合系统中，从而能够利用以上方法进行视频图像的融合，生成高质量的融合结果。首先，利用改进后的视频抠图方法提取出视频前景对象的序列；然后分析目标场景中关键帧的光照条件；最后，根据对源、目标场景的分析，选择相应的一致性融合方法将前景对象逐帧于融合到目标场景中，从而生成高质量的新视频场景。

与传统的视频融合方法相比，本发明中的视频一致性融合技术有如下优点：

1.与场景的一致性融合。根据目标场景的色调、光照等信息，将源视频对象无缝自然地融合到目标场景中。

2.用户交互简单。只需要用户在关键帧上用简单笔划指定部分前景和背景，然后系统将自动生成对应的前景对象序列，最后利用Closed-form matting抠图技术自动生成alpha matte用于融合过程的控制。

3.具有较快的执行速度。本发明中的视频对象提取和融合算法比较适合进行多核和GPU加速提高其运行速度，从而使得该算法具有一定的交互性和实时性。

4.光照效果的简单添加。可以将目标场景中的光照效果方便地施加到待融合的视频对象中，使最终的融合效果更加自然、逼真。

附图说明：

图1为本发明所使用方法的流程图。

图2为视频前景对象自动提取的流程图。

图3为用于图像融合中的均值坐标(Mean-Value Coordinates(MVC)示意图。

图4为生成参考图像过程中距离函数的定义方法示意图。

具体实施方式：

下面根据本发明的流程图对各个部分进行详细说明：

1.视频对象的交互选择和自动提取

为了提高复杂场景下视频对象提取的精度，需要综合考虑多种特征来指导视频对象的提取：(1)前景的提取应该综合考虑多种特征，比如颜色、纹理、形状以及运动特征。其中，形状作为对象识别的重要特征，在对象提取中有较大的作用。(2)这些特征应该同时在局部和整体上进行评估，从而提高对象提取的精度。在视频对象提取过程中，系统首先通过人工交互的方式提取出关键帧的前景轮廓，然后采用基于关键帧的前向传播方式自动生成其余各帧的前景轮廓，该过程的主要步骤如下(如图2所示)：

●步骤一：初始化重叠分类器

通过人工交互方式在关键帧上指定部分前景和背景区域，关键帧上前景物体的轮廓由Lazy Snapping技术处理得到。局部分类器由最初给定的前景物体轮廓线周围生成的窗口中计算得到的。窗口是相互重叠的，其大小由30*30到80*80像素不等。

●步骤二：高斯混合模型聚类

分类器能够基于局部统计信息，计算出窗口中每一个像素的前景概率。其中，通过高斯混合模型(Gaussian Mixture Model，GMM)对前景以及背景在Lab颜色空间进行聚类，求得颜色概率值，为建立颜色模型做准备。

●步骤三：建立局部模型

窗口中的局部分类器包含了颜色模型、颜色模型的置信度以及局部形状模型。颜色模型的建立基于前景和背景的GMM概率值。颜色模型的置信度是由颜色模型与边界信息以及空间信息(像素与边界的距离)综合起来求得。

●步骤四：特征点全局仿射变换

采用尺度不变特征转换(Scale-invariant feature transform，SIFT)的特征点用来估计全局仿射变换。

●步骤五：光流法估测局部变形

边界上窗口的面积与前景物体的相交的区域内的像素点的平均光流向量与仿射变化后的点坐标相加，即新的像素点的位置。采用局部光流向量，可以有效避免边界上光流不稳定的缺点，尤其是在有边界遮挡的情况下，能够估测相邻帧之间对象的局部变形。

●步骤六：更新局部模型

当窗口传播到下一帧的时候，颜色模型以及形状模型都需要被更新。因为前景和背景往往有不同的运动，因此更新颜色模型需要建立新的GMM前景和背景颜色模型。但是，新的颜色模型是否需要被采用，应该基于到运动估测的准确性。

●步骤七：更新分类器

局部分类器集成更新后的颜色与形状模型用于前景分割。其主要的思想是：若前景和背景的颜色相近，则主要信赖形状模型，否则采用颜色模型。

●步骤八：对象提取与迭代优化

多个局部分类器共同作用于前景对象的提取。由于窗口的重叠性，则某个像素的前景概率需要对所有覆盖这个像素的窗口进行加权。对于动作幅度比较大的运动对象，这一过程可以通过迭代来得到更加精确的分割。

●步骤九：透明值抠图(alpha matting)

为了使分割出来的对象能够很好地用于融合，需要计算出所提取前景对象序列的alpha matte。

●流程优化

通过分析以上算法流程可知：在每一帧的对象提取过程中，透明值抠图(alpha matting)这一步消耗的时间最长，用户若对每帧的分割结果进行修改需要等待大量时间。为了提高用户交互性，本发明提出在每一帧的对象提取中，只提取出前景对象的二值掩码，由于该过程消耗的时间较短，用户可以方便地对结果进行修改。然后对前景对象的二值掩码进行透明值抠图(alpha matting)操作，该过程无需用户交互。这样从总体上提高了对象提取的效率和用户交互性。

此外，在特征点全局仿射变换(SIFT)这一步，对于运动幅度不是很大的物体，其仿射变换可以省去仿射特征点匹配的步骤。因此，通过改进上面两个主要流程，视频对象提取的流程如图2所示。其中虚线框代表的是经过流程优化的alpha视频的生成。

2.目标场景的光照和色调信息提取与表示

本发明提出的一致性融合，主要是基于对目标场景全局特征的分析而进行的。若目标场景和待融合对象二者的光照条件相似，则不需要进行特别处理，若二者不一致，则需要对目标场景的光照和色调信息进行分析和处理。否则，单纯的基于MVC的融合方法无法得到一致性的融合效果。当前还没有比较有效的方法自动提取出场景的光照信息，且该信息与人的主观视觉感受有关。为此，本发明提出了由人工交互指定场景中主要的光照方向，如图4所示，L_t即为人工指定的光照方向。对于色调信息的提取，首先将图像转换到Lab颜色空间，然后在场景中选取最能代表场景色调的区域，将该区域中所有像素点的色调分量a和b的均值来表示场景的色调值。

利用人工交互得到的场景光照和色调信息，本发明提出了构造一个参考图像ξ来表示该信息，然后通过待融合对象和图像ξ的完全融合，达到与场景的一致性融合。参考图像ξ的构造在Lab颜色空间进行，因为该颜色空间能够有效地将色调和亮度进行分离。其中，每个像素的色调值a，b由上面提取出的色调值来确定，而亮度值L采用公式1进行计算，其主要原理是离光源越近的像素点对应的亮度越大，公式中的dist(.)表示像素点与光源之间的距离，(w，h)分别表示参考图像中像素点的横，纵坐标，d_M，V_M分别表示像素点与光源之间的最大距离和最大亮度(100～255)，图4表示了该公式含义，L_t表示场景中的主要光照方向。

${\mathrm{\ξ}}_L(w,h)={\left(\frac{\mathrm{dis}(w,h,L_t)}{d_M}\right)}^{\mathrm{\τ}}*V_M---\left(1\right)$

3.视频的一致性融合

本发明采用基于梯度域和alpha matte相结合的方法进行视频图像融合，其中基于梯度域的方法就是著名的泊松Poisson图像融合方法。该算法的核心是：将图像融合问题转换为求解满足狄利特雷(Dirichlet)边界条件的Poisson方程的问题。然而，该算法需要求解大规模的线性方程组，这将消耗大量的运算时间和内存。为了提高效率，本发明采用基于MVC的方法实现图像的融合。融合区域中的像素点的值的变化是由边界点上的权值决定的，该方法的在速度、内存使用量和并行性方面都优于前者。

MVC源于产生平滑过渡方程的均值(Mean-Value)理论，它通过构造平滑的插值项(membrane)来解决边界上的差值问题。

在本发明中，融合边界无需手动选择，可以直接将源视频对象对应的三分图(Trimap)的外边界作为融合边界。此时，融合区域内中任意点

相对于融合边界

的MVC为

${\mathrm{\λ}}_i\left(x\right)=\frac{w_i}{{\mathrm{\Σ}}_{j=0}^{n-1}{w}_i},i=0,...,n-1---\left(2\right)$

其中

$w_i=\frac{\tan ({\mathrm{\α}}_{i-1}/2)+\tan ({\mathrm{\α}}_i/2)}{\left|\right|P_i-x\left|\right|}---\left(3\right)$

α_i是∠P_ixP_i+1(如图3所示).根据区域Ω内每个点的MVC，源图像块和目标场景图像在边界上的差异可以通过插值项r(x)平滑地扩散到整个区域Ω内，计算公式如下：

$r\left(x\right)={\mathrm{\Σ}}_{i=0}^{n-1}{\mathrm{\λ}}_i\left(x\right)(f^{*}\left(P_i\right)-g\left(P_i\right))---\left(4\right)$

输出的融合结果为：

f(x)＝g(x)+r(x)

(5)

其中，g，f分别表示待融合的图像块和输出的融合结果。

上述融合方法只是简单地将融合图像块与目标场景边界上的差异平滑地扩散到整个融合区域内部，一般情况下，当二者的背景颜色和纹理类似时可以获得比较好的融合结果。然而，大多数情况下，由于场景的复杂性，无法满足上述条件，本发明将针对两种典型的情况来解决上述问题。

●选择性融合

若待融合对象与目标场景的光照和色调基本一致，而二者的背景颜色和纹理的差异较大，那么在融合过程中就需要保持对象的本真颜色。本发明引入视频对象提取过程中生成的alpha matte来控制融合程度，这样既能很好地将融合边界上的差异扩散到融合区域内，又能保持融合对象的本真颜色，增强其真实感。具体实现方法为：

f(x)＝g(x)+[(1-α(x))]r(x)

(6)

其中，α(x)为融合区域内任意一点

的alpha值。此外，该方法不要求提取精确的alpha matte，并且可以让用户在得到对象轮廓的基础上自定义对象的alpha图(如PhotoShop CS4中的羽化操作)，从而能够满足不同的融合需求。

●一致性融合

若待融合对象与目标场景的光照和色调差别较大，则需要在融合过程中考虑目标场景的全局光照条件。为了解决该问题，本发明提出了一种新的图像一致性融合方法，该方法在融合过程中综合考虑场景的全局光照信息以及融合边界附近的无缝合成。前面通过人工交互已经根据目标场景的光照特征条件构造出了参考图像ξ，此时源图像块需要分别与ξ和目标场景进行融合，从而使得融合后的图像块的光照和色调与目标场景基本一致，并且在边界部分与目标场景无缝自然地融合。在融合过程中，利用alpha matte来控制融合过程，对源图像块中的重要区域，将目标场景的光照和色调信息融合到源图像块中，而对于边界附近的部分，将源/目标图像在边界上的差异平滑地扩散进去。以上的融合过程可以由公式7表示，其中，一致性融合的插值项由上述两个融合过程中产生的插值项的线性组合构成。

$f\left(x\right)=g\left(x\right)+{\mathrm{\Σ}}_{i=0}^{n-1}{\mathrm{\λ}}_i\left(x\right)(\mathrm{\α}\left(x\right)(\mathrm{\ξ}\left(P_i\right)-g\left(P_i\right))+(1-\mathrm{\α}\left(x\right))(f^{*}\left(P_i\right)-g\left(P_i\right)))---\left(7\right)$

经过整理，公式7可以进一步地表示为

$f\left(x\right)=g\left(x\right)+{\mathrm{\Σ}}_{i=0}^{n-1}{\mathrm{\λ}}_i\left(x\right)(\mathrm{\α}\left(x\right)\mathrm{\ξ}\left(P_i\right)+(1-\mathrm{\α}\left(x\right))f^{*}\left(P_i\right)-g\left(P_i\right))---\left(8\right)$

●一致性融合方法的一般性推广

公式8将复杂的融合过程表达为类似MVC的融合方法，其中目标图像边界由目标场景f^*和新生成的参考图像ξ通过α(x)进行加权组合而成。本发明提出的公式8可以作为图像一致性融合的统一框架，通过改变其中的参数，可以将其表达为不同的形式。例如，当对于融合区域内每个点α(x)＝1或0时，方程8退化为常规的基于MVC的融合，并分别以新生成的参考图像或目标场景为融合时的目标边界。而当ξ＝g时，方程8退化为前面提出的选择性融合方法，此时融合对象与目标场景的光照条件基本一致，无需构造新的参考图像来表示场景的全局光照，因此可以简单地将ξ设为源图像块g。因此，本发明提出的图像一致性融合框架将前面提出的选择性融合和一致融合有机地统一在一个公式中，它是现有图像融合方法的改进与发展。

4.视频融合系统的集成及新视频场景的生成

将以上视频对象的自动提取、目标场景光照和色调的提取、一致性融合方法集成到一个系统中。该系统将以上三个步骤所对应的方法结合在一起，最终生成一段具有高度真实感的新视频。首先，选定源、目标视频，通过简单的人工交互指定关键帧的部分前景和背景，进而自动提取出视频对象前景的序列，然后分析并提取出目标场景的光照和色调信息，最后根据目标场景的不同特点选择相应的融合方法将视频对象序列逐帧地融合到目标视频中。当目标场景和待融合对象的光照条件不一致时，只需在关键帧建立目标场景的参考图像用于一致性融合，其原因在于目标场景的光照条件在连续的视频帧中变化不大。

应该理解到的是：上述实施例只是对本发明的说明，而不是对本发明的限制，任何不超出本发明实质精神范围内的发明创造，均落入本发明的保护范围之内。

Claims (6)

1.一种视频图像一致性融合的处理方法，其特征在于该方法包括以下步骤：

(1)源视频对象的交互选择和自动提取；

(2)使用人工交互的方式提取目标场景的光照方向和色调特征并按以下步骤(2.1)至(2.3)创建参考图像来表示该特征：

(2.1)场景特征通过构造一个参考图像来表示，该图像与待融合的前景对象包围盒大小一致，其构造在Lab颜色空间进行：首先，将目标场景图像转换到Lab颜色空间，然后在场景中人工选取最能代表场景色调特征的区域，并计算出该区域内所有点的色调值(a，b)的均值，从而作为参考图像中每个点的色调值；

(22)通过人工交互指定场景中主要的光照方向，并根据在光照方向上离光源距离越近光照强度越大的原理来构造出参考图像上每个点的亮度值；

(2.3)将以上在Lab颜色空间中构造的参考图像转换到RGB颜色空间；

(3)源视频前景对象和步骤(2)所创建的参考图像进行一致性融合；

(4)视频融合系统的集成：首先提取出视频对象序列，然后分析并提取目标场景的光照条件，最后利用以上提出的一致性融合方法将前景对象逐帧地融合到目标场景中，生成具有真实感的新视频场景。

2.根据权利要求1所述的视频图像一致性融合的处理方法，其特征在于所述的视频对象的交互选择采用基于人工交互的方式在关键帧上用简单笔划指明部分前景和背景区域。

3.根据权利要求1所述的视频图像一致性融合的处理方法，其特征在于所述的视频对象的自动提取采用经过优化的视频抠图方法预测并计算出后续帧的前景对象序列，然后利用Closed-form matting抠图技术生成高质量的基于透明值的抠图结果。

4.根据权利要求1所述的视频图像一致性融合的处理方法，其特征在于所述的一致性融合，在场景和融合对象的光照条件不一致时，将目标场景的光照方向和色调特征通过构造的对应的参考图像扩展到待融合的对象中去。

5.根据权利要求4所述的视频图像一致性融合的处理方法，其特征在于所述的场景的光照方向和色调特征的融合，采用泊松融合方法分别将场景的全局光照效果和边界附近区域的局部特征无缝扩展到融合对象中，并采用基于透明值的抠图结果来控制融合过程。

6.根据权利要求1所述的视频图像一致性融合的处理方法，其特征在于所述的一致性融合，在场景和融合对象的光照条件一致时，需要综合采用基于透明值的抠图结果和泊松融合方法，从而在边界附近区域无缝融合的前提下，保持融合对象重要区域的颜色特征不被改变。

Images