CN101551904B - 基于混合梯度场和混合边界条件的图像合成方法和装置 - Google Patents

Abstract

本发明公开了一种基于混合梯度场和混合边界条件的图像合成方法和装置，该方法包括：获取源图像和目标图像及源图像中物体合成到目标图像的位置；获取源图像中的待合成物体的轮廓；通过膨胀该轮廓得到融合区域；将融合区域按照源图像和目标图像在纹理和颜色上的差异分为两类；对两类区域选取不同的梯度场和边界条件，通过求解混合边界条件的泊松方程，求得中间结果；对一类区域进行中间结果和目标图像的透明度融合，其余区域采用泊松方程求解的结果，得到最终合成图像。本发明既能够利用合成物体的精确边界减少合成错误，又能够利用梯度场传递和求解泊松方程达到合成图像在光照和色彩上的一致性，通过简单的用户交互，生成具有真实感的合成图像。

Description

基于混合梯度场和混合边界条件的图像合成方法和装置 

技术领域

本发明涉及图像合成技术领域，特别是涉及一种基于混合梯度场和混合边界条件的图像合成方法和装置。 

背景技术

随着多媒体技术和网络技术的发展，互联网上丰富的图像资源得到广泛的应用，各种图像处理技术成为计算机学科研究的热门领域。其中，图像合成技术可以让用户通过多张照片拼合成一张以假乱真的照片，并且满足用户对照片内容的要求。一些图像处理相关的商业软件，如Adobe Photoshop和Pixel image editor可以通过复杂的用户交互实现这一目的。但是这些需要用户有较强的美术专业知识以及对软件的熟练掌握，既便如此，还需要用户付出长时间的枯燥劳动。近年来，由于这种技术可以广泛应用于传媒、娱乐、教育、军事国防等诸多领域，国内外研究人员都对其进行了大量深入研究。这些研究致力于在提升图像合成的真实效果的同时大大降低人工交互的复杂度。比较有代表性的工作有基于图像抠图(Matting)技术的透明度融合(alpha-blending)技术，以及基于梯度场的泊松融合(Poisson-blending)技术。前者可以抠取出精确的物体边界，但是在要合成的物体与目标背景图像光照和色彩差别较大时，合成的图像缺乏真实感。后者可以很好的保持一致的图像光照和色彩，但是在融合物体的边缘会产生纹理的错误，合成的物体有时会产生明显的色彩迁移。 

发明内容

本发明实施例要解决的问题是提供一种基于混合梯度场和混合边界条件的图像合成方法和装置，以克服现有技术中不能实现既保持 图像光照色彩一致，又减少图像合成错误的缺陷。 

为达到上述目的，本发明实施例的技术方案提供一种基于混合梯度场和混合边界条件的图像合成方法，所述方法包括以下步骤：S1，获取源图像和目标图像，及源图像中物体合成到目标图像的位置；S2，获取源图像中的待合成物体的轮廓；S3，通过膨胀所述待合成物体的轮廓，得到所述待合成物体周围一圈的融合区域；S4，将所述融合区域按照源图像和目标图像在纹理和颜色上的差异分为M₀和M₁两类区域；S5，对两类区域选取不同的梯度场和边界条件，通过求解混合边界条件的泊松方程，求得图像合成的中间结果；S6，对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。 

其中，所述步骤S2具体包括：S21，选择源图像中的待合成物体；S22，通过Grab-cut技术抠取出所述待合成物体的轮廓。 

其中，所述步骤S4具体包括：S41，对融合区域上的源图像和目标图像进行超像素分割；S42，根据Gabor特征向量确定纹理差异；S43，根据LUV空间向量确定颜色差异；S44，将分割区域按照所述纹理差异和颜色差异的加权和进行分类，所述差异加权和大于预先设定的阈值T的区域为M₀区域，所述差异加权和小于或等于T的区域为M₁区域。 

其中，所述差异加权和为W₁×ΔG+W₂×ΔU，其中ΔG为Gabor特征向量确定纹理差异，ΔU为LUV空间向量确定颜色差异，W₁和W₂由用户预先设定。 

其中，所述步骤S5具体包括：S51，对M₀区域作透明度抠图，计算前景图像梯度场，并在M₀区域计算合成边界，使用Neumann边界条件；S52，对M₁区域和源图像物体区域，计算源图像梯度场，并在M1区域计算合成边界，使用Dirichlet边界条件；S53，根据公式 

$\underset{f^{\′}}{\min }{\∫}_{p\∈\mathrm{\Ω}}{|\mathrm{\Δ}{f}^{\′}-v|}^2\mathrm{dp}$

获取合成图像的中间结果f′，其中，初始梯度场为： 

$\mathrm{\υ}\left(p\right)=\left\{\begin{array}{ccc}\▿f_f^s& \mathrm{if}& p\∈M_0\\ \▿f^s& \mathrm{if}& p\∈M_1\end{array}\right.$

边界条件为： 

和 

$f^{\′}{|}_{\∂\mathrm{\Ω}\∩M_1}=f^t{|}_{\∂\mathrm{\Ω}\∩M_1}.$

其中，所述步骤S6具体为：根据公式 

$f\left(p\right)=\left\{\begin{array}{ccc}\mathrm{\α}{f}^{\′}\left(p\right)+(1-\mathrm{\α})f^t\left(p\right)& \mathrm{if}& p\∈M_0\\ f^{\′}& \mathrm{if}& p\∈M_1(\mathrm{\α}=1)\end{array}\right.$

获取图像合成的最终结果。 

本发明实施例的技术方案还提供一种基于混合梯度场和混合边界条件的图像合成装置，所述装置包括：输入单元，用于获取源图像和目标图像，及源图像中物体合成到目标图像的位置；轮廓获取单元，用于获取源图像中的待合成物体的轮廓；融合区域获取单元，用于通过膨胀所述待合成物体的轮廓，得到所述待合成物体周围一圈的融合区域；区域分类单元，用于将所述融合区域按照源图像和目标图像在纹理和颜色上的差异分为M₀和M₁两类区域；合成单元，用于对两类区域选取不同的梯度场和边界条件，通过求解混合边界条件的泊松方程，求得图像合成的中间结果，并对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。 

其中，所述区域分类单元包括：超像素分割子单元，用于对融合区域上的源图像和目标图像进行超像素分割；纹理差异确定子单元，用于根据Gabor特征向量确定纹理差异；颜色差异确定子单元，用于根据LUV空间向量确定颜色差异；阈值存储子单元，用于存储预先设定的阈值T；分类子单元，用于将分割区域按照所述纹理差异和颜 色差异的加权和进行分类，所述差异加权和大于T的区域为M₀区域，所述差异加权和小于或等于T的区域为M₁区域。 

其中，所述合成单元包括：M₀区域梯度场和边界条件选取子单元，用于对M₀区域作透明度抠图，计算前景图像梯度场，并在M₀区域计算合成边界，使用Neumann边界条件；M₁区域梯度场和边界条件选取子单元，用于对M₁区域和源图像物体区域，计算源图像梯度场，并在M1区域计算合成边界，使用Dirichlet边界条件；中间结果获取子单元，用于通过求解混合边界条件的泊松方程，求得图像合成的中间结果；图像合成子单元，用于对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。 

与现有技术相比，本发明的技术方案具有如下优点： 

本发明既能够利用合成物体的精确边界减少合成错误，又能够利用梯度场传递和求解泊松方程达到合成图像在光照和色彩上的一致性，通过简单的用户交互，生成具有真实感的合成图像。 

附图说明

图1为本发明实施例的一种基于混合梯度场和混合边界条件的图像合成方法的流程图； 

图2为本发明实施例的一种建立和求解混合条件泊松方程的示意图； 

图3为本发明实施例的一种基于混合梯度场和混合边界条件的图像合成装置的结构图。 

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。 

本发明实施例的一种基于混合梯度场和混合边界条件的图像合成方法如图1所示，包括以下步骤： 

步骤s101，获取源图像和目标图像，及源图像中物体合成到目标图像的位置。即用户输入合成的源图像(含有待合成物体的图像，如一只熊的照片)和目标图像(待合成的背景图像，如雪山场景的照片，用户的目的是将熊合成到雪山场景中)，以及源图像中物体合成到目标图像的位置。 

步骤s102，获取源图像中的待合成物体的轮廓。本实施例中首先选择源图像中的待合成物体，用户可以使用鼠标框选源图像中的待合成物体；然后通过Grab-cut技术抠取出所述待合成物体的轮廓。 

步骤s103，通过膨胀所述待合成物体的轮廓，得到所述待合成物体周围一圈的融合区域。本实施例中对步骤s102中抠取出的轮廓进行形态学中的膨胀操作，一般膨胀20个像素，在膨胀区域和物体轮廓之间的区域就是融合区域。 

步骤s104，将所述融合区域按照源图像和目标图像在纹理和颜色上的差异分为M₀和M₁两类区域。本实施例中首先对融合区域上的源图像和目标图像进行超像素分割(Superpixel Segmentation)。然后，对于每一对源图像和目标图像对应的分割区域，计算纹理和颜色的差异；其中根据Gabor特征向量确定纹理差异，根据LUV空间向量确定颜色差异。最后将分割区域按照所述纹理差异和颜色差异的加权和进行分类，所述差异加权和大于预先设定的阈值T的区域为M₀区域，所述差异加权和小于或等于T的区域为M₁区域。其中阈值T由用户指定，所述差异加权和为W₁×ΔG+W₂×ΔU，其中ΔG为Gabor特征向量确定纹理差异，ΔU为LUV空间向量确定颜色差异，W₁和W₂由用户预先设定。 

步骤s105，对两类区域选取不同的梯度场和边界条件，通过求解混合边界条件的泊松方程，求得图像合成的中间结果。本发明实施例的一种建立和求解混合条件泊松方程的示意图如图2所示。参照图2，对于M₀区域(a)，使用透明度抠图(alpha-matting)的方法，计算出 源图像的待合成物体的前景图f_f ^s以及前景透明度α，并计算前景图像的梯度场 

梯度场的边界 

在M₀区域即为α不等于0的区域的边界(d)；对于M₁区域(b)和物体区域(c)，直接计算源图像的梯度场 

梯度场的边界 

在M₁区域为一条在该区域内源图像和目标图像颜色差变化最小的路径，可由动态规划算法求得该最短路径(e)。在确定了 

包围的求解区域Ω后，合成图像的中间结果f′可由优化下式得到： 

$\underset{f^{\′}}{\min }{\∫}_{p\∈\mathrm{\Ω}}{|\mathrm{\Δ}{f}^{\′}-v|}^2\mathrm{dp}$

其中p为像素。该优化过程相当于求解一个混合边界条件的泊松方程。其中初始梯度场为： 

$v\left(p\right)=\left\{\begin{array}{ccc}\▿f_f^s& \mathrm{if}& p\∈M_0\\ \▿f^s& \mathrm{if}& p\∈M_1\end{array}\right.$

边界条件为 

$\▿f^{\′}{|}_{\∂\mathrm{\Ω}\∩M_0}=\▿f_f^s{|}_{\∂\mathrm{\Ω}\∩M_0}$ 和 $f^{\′}{|}_{\∂\mathrm{\Ω}\∩M_1}=f^t{|}_{\∂\mathrm{\Ω}\∩M_1}$

即在M₀区域采用Neumann(第二类)边界条件，在M₁区域采用Dirichlet(第一类)边界条件。求解这一混合边界条件的泊松方程后，即得到合成图像的中间结果f′。本实施例通过对两类融合区域分别采用一阶边界条件和零阶边界条件作为求解泊松方程的混合边界条件，使得泊松图像融合对物体亮度和色彩的修正传递到应用透明度抠图的区域。 

步骤s106，对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。本实施例中，具体根据公式 

$f\left(p\right)=\left\{\begin{array}{ccc}\mathrm{\α}{f}^{\′}\left(p\right)+(1-\mathrm{\α})f^t\left(p\right)& \mathrm{if}& p\∈M_0\\ f^{\′}& \mathrm{if}& p\∈M_1(\mathrm{\α}=1)\end{array}\right..$

获取图像合成的最终结果。 

本发明实施例的一种基于混合梯度场和混合边界条件的图像合成装置如图3所示，包括输入单元31、轮廓获取单元32、融合区域获取单元33、区域分类单元34和合成单元35，其中轮廓获取单元32分别与输入单元31和融合区域获取单元33连接，区域分类单元34分别与融合区域获取单元33和合成单元35连接。 

输入单元31用于获取源图像和目标图像，及源图像中物体合成到目标图像的位置；轮廓获取单元32用于获取源图像中的待合成物体的轮廓；融合区域获取单元33用于通过膨胀所述待合成物体的轮廓，得到所述待合成物体周围一圈的融合区域；区域分类单元34用于将所述融合区域按照源图像和目标图像在纹理和颜色上的差异分为M₀和M₁两类区域；合成单元35用于对两类区域选取不同的梯度场和边界条件，通过求解混合边界条件的泊松方程，求得图像合成的中间结果，并对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。 

区域分类单元34包括超像素分割子单元341、纹理差异确定子单元342、颜色差异确定子单元343、分类子单元344和阈值存储子单元345，其中超像素分割子单元341分别与纹理差异确定子单元342和颜色差异确定子单元343连接，分类子单元344分别与纹理差异确定子单元342、颜色差异确定子单元343和阈值存储子单元345连接。 

超像素分割子单元341用于对融合区域上的源图像和目标图像进行超像素分割；纹理差异确定子单元342用于根据Gabor特征向量确定纹理差异；颜色差异确定子单元343用于根据LUV空间向量确定颜色差异；分类子单元344用于将分割区域按照所述纹理差异和颜色差异的加权和进行分类，所述差异加权和大于T的区域为M₀区域，所述差异加权和小于或等于T的区域为M₁区域；阈值存储子单元345用于存储预先设定的阈值T。 

合成单元35包括M₀区域梯度场和边界条件选取子单元351、M₁区域梯度场和边界条件选取子单元352、中间结果获取子单元353和图像合成子单元354，其中中间结果获取子单元353分别与M₀区域梯度场和边界条件选取子单元351、M₁区域梯度场和边界条件选取子单元352和图像合成子单元354连接。 

M₀区域梯度场和边界条件选取子单元351用于对M₀区域作透明度抠图，计算前景图像梯度场，并在M₀区域计算合成边界，使用Neumann边界条件；M₁区域梯度场和边界条件选取子单元352用于对M₁区域和源图像物体区域，计算源图像梯度场，并在M1区域计算合成边界，使用Dirichlet边界条件；中间结果获取子单元353用于通过求解混合边界条件的泊松方程，求得图像合成的中间结果；图像合成子单元354用于对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。 

本发明既能够利用合成物体的精确边界减少合成错误，又能够利用梯度场传递和求解泊松方程达到合成图像在光照和色彩上的一致性，通过简单的用户交互，生成具有真实感的合成图像。 

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 

Claims (9)

1.一种基于混合梯度场和混合边界条件的图像合成方法，其特征在于，所述方法包括以下步骤：

S1，获取源图像和目标图像，及源图像中物体合成到目标图像的位置；

S2，获取源图像中的待合成物体的轮廓；

S3，通过膨胀所述待合成物体的轮廓，得到所述待合成物体周围一圈的融合区域；

S4，将所述融合区域按照源图像和目标图像在纹理和颜色上的差异分为M₀和M₁两类区域；

S5，对两类区域选取不同的梯度场和边界条件，通过求解混合边界条件的泊松方程，求得图像合成的中间结果；

S6，对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。

2.如权利要求1所述的基于混合梯度场和混合边界条件的图像合成方法，其特征在于，所述步骤S2具体包括：

S21，选择源图像中的待合成物体；

S22，通过Grab-cut技术抠取出所述待合成物体的轮廓。

3.如权利要求1所述的基于混合梯度场和混合边界条件的图像合成方法，其特征在于，所述步骤S4具体包括：

S41，对融合区域上的源图像和目标图像进行超像素分割；

S42，根据Gabor特征向量确定纹理差异；

S43，根据LUV空间向量确定颜色差异；

S44，将分割区域按照所述纹理差异和颜色差异的加权和进行分类，所述差异加权和大于预先设定的阈值T的区域为M₀区域，所述差异加权和小于或等于T的区域为M₁区域。

4.如权利要求3所述的基于混合梯度场和混合边界条件的图像合成方法，其特征在于，所述差异加权和为W₁×ΔG+W₂×ΔU，其中ΔG为Gabor特征向量确定纹理差异，ΔU为LUV空间向量确定颜色差异，W₁和W₂由用户预先设定。

5.如权利要求1至4任一项所述的基于混合梯度场和混合边界条件的图像合成方法，其特征在于，所述步骤S5具体包括：

S51，对M₀区域作透明度抠图，计算前景图像梯度场，并在M₀区域计算合成边界，使用Neumann边界条件；

S52，对M₁区域和源图像物体区域，计算源图像梯度场，并在M1区域计算合成边界，使用Dirichlet边界条件；

S53，根据公式

$\underset{f^{\′}}{\min }{\∫}_{p\∈\mathrm{\Ω}}{|\▿f^{\′}-\mathrm{\υ}|}^2\mathrm{dp}$

获取合成图像的中间结果f′，其中，初始梯度场为：

$\mathrm{\υ}\left(p\right)=\left\{\begin{array}{ccc}\▿f_f^s& \mathrm{if}& p\∈M_0\\ \▿f^s& \mathrm{if}& p\∈M_1\end{array}\right.$

边界条件为：

和

$f^{\′}{|}_{\∂\mathrm{\Ω}\∩M_1}=f^t{|}_{\∂\mathrm{\Ω}\∩M_1}.$

6.如权利要求5所述的基于混合梯度场和混合边界条件的图像合成方法，其特征在于，所述步骤S6具体为：

根据公式

$f\left(p\right)=\left\{\begin{array}{ccc}\mathrm{\α}{f}^{\′}\left(p\right)+(1-\mathrm{\α})f^t\left(p\right)& \mathrm{if}& p\∈M_0\\ f^{\′}& \mathrm{if}& p\∈M_1(\mathrm{\α}=1)\end{array}\right.$

获取图像合成的最终结果。

7.一种基于混合梯度场和混合边界条件的图像合成装置，其特征在于，所述装置包括：

输入单元，用于获取源图像和目标图像，及源图像中物体合成到目标图像的位置；

轮廓获取单元，用于获取源图像中的待合成物体的轮廓；

融合区域获取单元，用于通过膨胀所述待合成物体的轮廓，得到所述待合成物体周围一圈的融合区域；

区域分类单元，用于将所述融合区域按照源图像和目标图像在纹理和颜色上的差异分为M₀和M₁两类区域；

合成单元，用于对两类区域选取不同的梯度场和边界条件，通过求解混合边界条件的泊松方程，求得图像合成的中间结果，并对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。

8.如权利要求7所述的基于混合梯度场和混合边界条件的图像合成装置，其特征在于，所述区域分类单元包括：

超像素分割子单元，用于对融合区域上的源图像和目标图像进行超像素分割；

纹理差异确定子单元，用于根据Gabor特征向量确定纹理差异；

颜色差异确定子单元，用于根据LUV空间向量确定颜色差异；

阈值存储子单元，用于存储预先设定的阈值T；

分类子单元，用于将分割区域按照所述纹理差异和颜色差异的加权和进行分类，所述差异加权和大于T的区域为M₀区域，所述差异加权和小于或等于T的区域为M₁区域。

9.如权利要求7或8所述的基于混合梯度场和混合边界条件的图像合成装置，其特征在于，所述合成单元包括：

M₀区域梯度场和边界条件选取子单元，用于对M₀区域作透明度抠图，计算前景图像梯度场，并在M₀区域计算合成边界，使用Neumann边界条件；

M₁区域梯度场和边界条件选取子单元，用于对M₁区域和源图像物体区域，计算源图像梯度场，并在M1区域计算合成边界，使用Dirichlet边界条件；

中间结果获取子单元，用于通过求解混合边界条件的泊松方程，求得图像合成的中间结果；

图像合成子单元，用于对M₀区域进行中间结果和目标图像的透明度融合，对M₁和源图像物体区域直接采用泊松方程求解的结果，得到最终合成图像。

Images