CN101228535A - 图像混合 - Google Patents

Abstract

在以前，泊松混合已被用于图像混合，这些图像混合包括将对象复制到目标背景以及将源图像对混合在一起。这种泊松混合在许多场合中表现良好。然而，虽然这种方式总是可操作的，但是已发现有时会发生变色(discoloration)。已经认识到，当在过于强求维持源图像的梯度从而牺牲了对象和背景色彩的维持时，会发生这种变色。在某些情形中，对象轮廓变成拖影或模糊。开发了色彩维持项和脆性度量来解决这些问题。这向用户提供了用以获得平滑合成和减小变色痕迹的附加控制。

Description

图像混合

技术领域

本说明书一般涉及图像编辑，尤其涉及对图像进行混合。

背景

诸如微软数字图像套件(Digital Image Suite)(商标)、Adobe(阿道伯)Photoshop(商标)和Illustrator(商标)的图像处理工具是众所周知的，并且在家庭和专业市场中对这些工具的需求持续增长。使用这些工具的所执行的一项常见任务是将一图像的一块粘贴到另一图像或者粘贴到同一图像的其它位置中。这种类型的操作对于修正、修补或更改诸如数字照片的数字图像、以及对于创建照片蒙太奇(montage)是有益的。然而，产生了一些问题，包括常在经编辑的区域与原始图像的剩余部分之间引入接缝的这样一种事实。因此，为了最小化这些接缝的外观，需要进行图像混合。另外，需要简化用户用以操作图像处理工具所需的动作以及提供一种操作快且有效的工具。

概述

以下呈现了本公开的简要概述以向阅读者提供基本理解。此概述并非本公开的详尽概观，并且也不标识本发明的主要/关键要素或刻划本发明的范围。其唯一目的是以简化方式呈现本文所公开的某些概念作为在以下呈现的更详细描述的序言。

以前，泊松(Poisson)混合已被用于图像混合，包括将一对象复制到目标背景上以及将源图像对混合在一起。这些泊松混合在许多场合中表现良好。然而，虽然这种方式总是可操作的，但是已发现有时会发生变色(discoloration)。已经认识到，当在过于强求维持源图像的梯度从而牺牲了对象和背景颜色的维持时，会发生这种变色。在某些情形中，对象轮廓变成拖影或模糊。开发了色彩维持项(color preservation term)和脆性度量以解决这些问题。这向用户提供了用以获得平滑合成并减小变色痕迹的附加控制。

将更容易地理解许多附带特征，并且通过结合附图参照以下详细描述将更好地理解这些特征。

附图描述

考虑附图来阅读以下详细描述将更好地理解本发明，其中：

图1是图像混合系统的高层示意图；

图2是用于图像混合的方法的高层流程图；

图3a示出了用于复制的对象的源图像；

图3b示出了使用现有技术的混合方法将图3a的对象复制到目标背景上的结果；

图3c示出了使用结合色彩维持项的混合方法将图3a的对象复制到关于图3b的同一目标背景的结果；

图3d示出了使用结合图3c的色彩维持项和源图像中的对比度测量的混合方法将图3a的对象复制到关于图3b的同一目标背景的结果；

图4示出了要混合在一起的两个源图像；

图5a示出了第一源图像；

图5b示出了第二源图像；

图5c示出了从图5a和5b的第一和第二源图像形成的构造图像，并且其中此构造图像已使用预分割算法进行过处理；

图5d示出了对图5c的图像的双边梯度处理的结果；

图5e示出了对图5c的经改进图像混合处理的结果；

图6示出了通过使用本发明的方法混合六个源图像形成的合成图像。

类似的附图标记用于表示附图中的类似部件。

详细描述

以下结合附图所提供的详细描述旨在作为本示例的描述，而并非旨在表示构建或使用本示例的仅有形式。该描述阐明了示例的功能以及用于构建和操作该示例的步骤的次序。然而，相同或等效的功能及次序可通过不同的示例来实现。

在之前于2003年4月16日提交的、公开为US 2004/0165788 A1以及也转让给微软公司的美国专利申请10/417,937中描述了一种在本文中称为泊松混合(也称为泊松编辑)的图像混合方法。这种泊松混合方法在许多场合中表现良好。然而，虽然这种方式总是可操作的，但是已发现可能存在变色。已认识到，当在过于强求维持源图像的梯度从而牺牲了对象和背景颜色的维持时，会发生这种变色。另一个问题是，在许多情形中，对象轮廓变成拖影或模糊。本发明试图通过对泊松混合技术进行扩展或构建来解决这些问题。另外，试图消除或最小化沿合成图像中的各图像部分之间的拼接边界的不自然接缝。

在以上所引用的在先专利申请以及Perez等人在ACM Trans.Graph.22，3，313-318的“Poisson image editing(泊松图像编辑)”中描述了泊松编辑。现在也在此进行描述。

泊松编辑被简单表示为对构造图像u(r)(r∈S)的最优化，该最优化使得在服从构造图像与目标图像I_T(r)在S的边界上匹配的条件下构造图像的梯度u最接近地匹配到源梯度I_S。这可写成函数

E(u)＝∫_r∈S‖u-I_S‖²

的最小化，该函数服从u连续这一条件，以及服从对于S上的r有u(r)＝I_T(r)这一边界条件。

梯度匹配术语近似于一物理“膜(membrane)”，就好像该重建图像u是通过将膜在源图像I_S上拉伸但是在边界S上被强制与目标图像相一致而生成的。该最小化可通过变分法给出服从狄利克雷条件(Dirichlet condition)条件的泊松方程²u＝²I_S来精确求解，由此得到了术语“泊松”混合。

虽然泊松混合通常是有效的，但是已发现了一些失败的情况。例如，考虑图3a中包括要被复制到目标图像的对象的源图像。该源图像包括相对于黑色背景31站立的人物30的肖像。已围绕该人物粗略地画出线条32，以便指示源图像的该区域将被复制。术语“复制”用于指其中需要将对象、或对象的一部分从源图像粘贴到目的图像的情形。线条32是例如由用户使用图像处理应用中的绘制工具或套索工具来插入的。该线条被绘制成源图像的黑色背景的一部分被包括在要复制的区域中。在不通过用户费力工作或不通过自动分割算法的情况下，难以避免包括此背景。然而，这些分割算法是复杂且耗时的，并且难以由初学者来使用。

图3b示出了使用前述在先专利申请中示教的现有技术泊松编辑方法将源图像(图3a)中所选择的区域复制到目标图像的结果。目标图像比源图像(图3a)中的背景要亮得多，并且可看到，所复制的源材料不恰当地褪色或发亮。另外，所构建图像中对象的轮廓或边缘存在拖影的问题。

图1是用于图像混合的装置的高层示意图。它包括用于接收一个或多个输入图像的输入10和用于输出混合图像的输出15。该装置包括设计成组合输入图像(或这些图像的至少一部分)以创建合成图像的图像组合器。处理器12自动地确定合成图像中的边界或使用接收到的用户输入14来辅助标识此边界。该边界存在于合成图像中形成自源图像之一的区域与合成图像中形成自源图像当中的另一个之间。还提供了图像处理器13，该处理器被设计成根据本文所述的经过修正的泊松编辑方法来修正合成图像。处理器12、图像组合器11和图像处理器13可以是单独的实体或可组合于单个计算系统中。

图2是使用图1的装置来混合第一图像和第二图像以形成构造图像的方法的高层流程图。方法包括以下步骤：

●组合第一图形的至少一部分和第二图像的至少一部分以形成构造图像(参见图2的框20)；

●标识该构建图像中存在于该构造图像中形成自第一图像的区域与该构造图像中形成自第二图像的区域之间的边界(参见图2的框21)；

●基于第一和第二图像的任一个的至少一部分的梯度来修正该构造图像(参见图2的框22)；以及其中所述修正还基于以下的一个或多个来执行：色彩维持项以及第一和第二图像的至少之一中的对比度指标。

为了解决变色问题，已开发了如现在将更详细描述的色彩维持项。另外，还开发了对第一和第二图像的至少之一中的对比度指标的使用，以减小对象轮廓的拖影。

因此，将用在如上所述的纯泊松编辑中的函数E(u)修正成包括色彩维持项。则函数E(u)变成：

E(u)＝∫_S(u-I_S)²+λ²‖u-I_S‖²，

然后，关于服从上述边界条件的连续u(r)对此函数进行最小化，其中r∈S。色彩维持项的作用是引入复制材料保持源色彩的趋向(tendency)，并且这种趋向对抗对源梯度一致的偏向。

在上述等式中引入加权参数λ。这在趋向于保持源色彩与趋向于源梯度一致之间进行权衡控制。实际上，此加权参数的有益值通常在5个像素与200个像素之间的范围内。

图3c示出了针对图3a和b的同一源和目标图像使用色彩维持项来修正泊松编辑方法的结果。对象色彩现在趋于得以维持，这是一显著改善。虽然这种方法是完全可使用的，并且在许多情形中存在优点，但是发现在某些情形中仍存在背景变色。例如，参见图3c。认识到，即使新的目标背景需要对比变化，但由于函数E(u)的梯度项在对象轮廓附近操作以维持与源图像相同的对比度而产生这种背景的变色。在本发明的另一个实施例中，通过源图像中的对比度的测量来解决这个问题。

将“脆性”项引入到成本E中以禁用对象轮廓上的梯度约束。此项可认为在源图像中存在高对比的情形下减小膜中的张力。这用作边缘的隐式或“软(soft)”检测。现在函数E(u)具有修正梯度项：

E(u)＝∫S(u-I_S)²+λ²∫_Sw_S(I_S)‖u-I_S‖²

其中脆性w_s为：

$w_S(\▿I_S)=\mathrm{\ϵ}+\exp -{\frac{1}{{2g}_S}\left|\right|\▿I_S\left|\right|}^2$

并且g_S＝<‖I_D‖²>_S

服从如前所述的边界条件。这里<...>表示域S上的平均值；ε是较小的常数，其值并不重要，但是通常ε＝0.02，仅为了防止边缘偶然的过度锐化。方法具有这样的效果：无论是否存在异常高水平的梯度‖I_S‖，w_S(...)都落于1到一较低值内。这趋于使得泊松编辑不趋向于维持图像梯度，即使在对象轮廓处也是如此。这样，对象边界处的图像对比被鼓励恰当地适应新的目标。

与泊松编辑相比，前景和背景颜色往往更加如实地进行再现，如图3d中所示，它示出了针对与图3b和3c相同的源和目标图像使用以上刚提到的函数进行图像混合的结果。另一个优点是，通过使用参数λ，可能控制目标背景被允许扩散到被复制区中的程度。此参数可被关联到用户输入，从而用户能够指定该参数的精确值，或者例如使用滑动输入控制以增大或减小所用参数的当前值。这样，用户能够使用反复试验在色彩的平滑度与忠实度之间寻找他或她的个人偏好的平衡。用户可按如下更详细描述来实时的调节λ。

在以上参照图3所述的示例中，人物的图像被复制到背景目标图像上。本发明还包括用两个或多个图像形成合成图像的图像混合。例如，图6示出了使用本发明的实施例从六个源图像生成的合成图像。

图像拼接旨在以尽可能无缝的方式将原本已经相似的多个源图像对混合在一起。例如，用于图像蒙太奇、图像纤维艺术(tapestry)或形成任何合适类型的合成图像。如Kwatra等人在2003年的ACM Trans.Graph.22，3，227-286的“Graph cut textures；image and video synthesis using graph cuts(图形剪切纹理；使用图形剪切的图像和视频合成)”所描述的，这可通过将失配函数沿拼接边界最小化来优雅地实现。然而，在许多情形中，仍需要混合整体极为迥异且沿边界不能实现良好匹配的两个图像。诸如由Kwatra(以上所提到的)所提出的图形剪切方法无法处理这类情形。在此情况中，公知的方法是将接缝放置于靠近对观看者而言不易看到的高对比边界。即，在此情况中，标识边界的步骤(参见图2的框21)包括在可能的情况下将边界放置于靠近高对比边界。这可通过用户输入或通过计算来实现。例如，在以上所提到的Kwatra的论文中示教了针对此问题的修正函数。它引入了倾向于控制接缝靠近高对比边界的梯度量级依存性。然而，这种方法的缺点在于，通常接缝无法完全沿着高对比的线条前行，并且沿其长度的剩余部分将明显可见。认识到此问题，并且已标识了一种解决它的方法。为了基于源图像中的对比度指标修正构造图像而在函数E(u)中引入的那一项使得能够禁止沿高对比的线条混合。即，本混合过程使得待应用的混合具备特定属性：沿接缝的突出部分混合，并且禁止沿高对比的线条的混合。色彩维持项的使用并非是此方法所必需的；即，并不需要色彩维持项来禁止沿高对比的线条的混合虽然它允许混合在沿接缝或边界的其它位置处进行。

图4示出了待混合在一起以形成合成图像的两个部分重叠的源图像区域S0和S₁。上述混合方法现在被“双边地(bilaterally)”应用，因为该问题在源图像域中是对称的。即，在图像复制的情况中，仅合成图像的被复制部分需要在混合过程中进行修正(尽管也可能按需修正图像的其它部分)。然而，在诸如图4的图像混合的情况中，合成图像中来自每个源图像的部分都被修正。术语“双边”在这里用于表示这种区别。图4中示出了重叠区域中的边界或接缝40，另外示出了源区域的子域S′₀和S′₁。边界或接缝以诸如通过用户输入或自动计算的任何合适的方式来标识。在使用自动计算的情况中，可使用任何合适的算法来标识源图像中的对象边缘或轮廓，并将边界尽可能地靠近这些边缘或轮廓放置。

在一个实施例中，确定尽可能远离地跟随对象轮廓的预分割边界。假设域S₀和S₁上的部分重叠的图像I₀(r)和I₁(r)，则经混合图像对的目标域为T＝S₀∪S₁。首先，定义互斥(S′₀∩S₁＝)且完备(T＝S′₀∪S′₁)的源区域S′₀S₀和S′₁S₁，在其上应用该方法。然后，例如可通过最小化任何合适的对比依存函数来构造S′₀和S′₁的公共边界40。例如，这可通过使用上述的图形剪切方法来计算。例如，图5c示出了典型结果。图5a示出了第一源图像，而图5b示出了第二源图像。图5c示出了通过诸如上述那些的曲线切割方法来混合两个源图像的结果。由于合成图像中存在显著的失配接缝，因此该结果较差。如果将“双边”泊松混合应用到两个源图像之间的重叠区域，则出现如图5d中所示的对象轮廓的变色和拖影。

通过使用如下所示的函数E(u)的“双边”形式来解决这些问题：

$E\left(u\right)={\&Integral;}_{S_0\backslash S_1^{\&prime;}}{(u-I_0)}^2+{\mathrm{\&lambda;}}^2{w}_{S_0}(\&dtri;I_0){\left|\right|\&dtri;u-\&dtri;I_0\left|\right|}^2$

$+{\&Integral;}_{S_1\backslash S_0^{\&prime;}}{(u-I_1)}^2+{\mathrm{\&lambda;}}^2{w}_{S_1}(\&dtri;I_1){\left|\right|\&dtri;u-\&dtri;I_1\left|\right|}^2$

权重ws₀和ws₁如前进行定义，但是现在分别在它们各自的域中进行定义。然后，该方法包括关于u来最小化E(u)，该u服从u(r)(r∈T)的连续性，并且服从边界条件

u(r)＝I₀(r)，r∈T\S₁以及u(r)＝I₁(r)，r∈T\S₀

结果如实地维持了前景和背景颜色，如图5e中所示。

出于简便的起见，已在以上连续域中给出了函数E(u)的详细说明，但是应当注意，也可使用任何合适的公知方法来在离散像素阵列上数值地执行此函数的最小化。例如，梯度的有限差分逼近，假设了如下单边和双边方法的离散形式：

$E=\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}(u_p-v_p)+{\mathrm{\&lambda;}}^2\underset{(p,q)\&Element;N}{\mathrm{\&Sigma;}}{w}_{\mathrm{pq}}{(u_p-u_q-v_{\mathrm{pq}})}^2$

其中p∈Ω是E的域中的像素的索引，并且N是Ω中的相邻像素对的集合。在单边情况中，vp仅是I_S的像素，并且v_pq＝v_p-v_q。在双边情况中，域被分割成S₀∪S₁并且像素位于域S₀或S₁中，从而v_p为I₀或I₁的对应像素。类似地，在I₀或I₁上计算出梯度v_pq，并且仅有的问题是如何定义v_pq和w_pq，其中pq跨越分割边界。在这些情况中，可估算两个图像上的对比|I_p-I_q|，并且使用具有较高对比的图像来定义v_pq和w_pq。最后，关于每个u_p对以上刚才所述的等式求微分给出了最佳的联立线性等式系统：

$u_p=v_p-{\mathrm{\&lambda;}}^2\underset{q:(p,q)\&Element;N}{\mathrm{\&Sigma;}}{w}_{\mathrm{pq}}(u_p-u_p-v_{\mathrm{pq}}),p\&Element;\mathrm{\&Omega;}$

该系统是稀疏的。通过稀疏高斯消去法(矩阵左除)来获得结果，对于约30,000个像素带，这通常运行几秒钟。为了更高的效率，可使用本领域中众所周知的多栅连续超松弛(successive over-relaxation)(SOR)。注意：在使用SOR的情况下，对于与针对梯度参数的某个值λ＝λ₀计算该方法时类似(实际上略小)的计算代价，可获得整个值范围0≤λ≤λ₀的结果。这可通过随着SOR的进度稳定地递增λ来实现。这是重要的，因为它使得用户能够针对λ来实时地操作图形用户界面。

本文所用的术语‘计算机’指具有能够执行指令的处理能力的任何设备。本领域技术人员应当认识到，这些处理能力被集成到许多不同的设备，因此该术语‘计算机’包括PC、服务器、移动电话、个人数字助理和许多其它设备。

尽管本文将本示例描述并说明为在图像混合系统中实现，但是所述系统仅提供作为示例而非限制。本领域技术人员应当理解，本发明适于应用在各种不同类型的图像处理系统中。

本领域技术人员应当认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程设备可存储描述为软件的进程的示例。本地或终端计算机可访问远程计算机和下载用以运行该程序的软件的一部分或全部。或者，本地计算机可按需下载软件的一部分，或者在本地终端上执行某一部分，而在远程计算机(或计算机网络)上执行某一部分。本领域技术人员还应当认识到，通过使用对于本领域技术人员公知的常规技术，软件指令的一部分或全部可通过诸如DSP、可编程序逻辑阵列等的专用电路来实现。

本文所述的方法可由存储介质上的计算机可读形式的软件来执行。这认为软件可以是有价值的可独立购买的物品。这旨在包括运行在“基本型(dumb)”或标准硬件上或控制它们以执行期望功能的软件(因此软件基本上定义了图像混合器的功能，并且因此可称为图像混合器，即使在之前与其标准硬件相组合也是如此)。出于类似理由，这还旨在包括诸如HDL(硬件描述语言)软件的“描述”或定义硬件配置的软件，该软件用于设计硅片或者用于配置通用可编程芯片，以执行期望功能。

本文所给定的任何范围或设备值可被扩展或更改而不丧失所寻求的效果，这对于技术人员是显而易见的。

应当理解，优选实施例的以上描述仅作为示例给出，并且可由本领域技术人员作出各种更改。上述说明书、示例和数据提供了对本发明的示例性实施例的结构和用途的完整描述。尽管以上已就某一具体程度或参照一个或多个独立实施例描述了本发明的各种实施例，但是本领域技术人员可对所公开的实施例作出各种更改而不背离本发明的精神和范围。

Claims (20)

1.一种将第一图像和第二图像混合以形成构造图像的方法，所述方法包括以下步骤：

(i)将所述第一图像的至少一部分和所述第二图像的至少一部分组合以形成所述构造图像；

(ii)标识在所述构造图像中处于所述构造图像中形成自所述第一图像的区域与所述构造图像中形成自所述第二图像的区域之间的边界；

(iii)基于所述第一图像和第二图像中任一个的至少一部分的梯度来修正所述构造图像；

(iv)其中所述修正还基于以下的一个或多个来执行：色彩维持项和所述第一与第二图像的至少之一中的对比度指标。

2.如权利要求1所述的方法，其特征在于，所述第一图像的至少一部分被复制到所述第二图像上以形成所述构造图像，并且其中所述修正所述构造图像的步骤包括仅对所述构造图像中从所述第一图像复制来的那部分作修正。

3.如权利要求1所述的方法，其特征在于，所述第一图像是源图像以及所述第二图像是源图像，并且这些源图像将被混合在一起以形成合成图像。

4.如权利要求1所述的方法，其特征在于，所述修正基本上等效于服从边界条件的函数E(u)＝∫_S(u-I_S)²+λ²‖u-I_S‖²的最小化，并且其中u表示所述构造图像，I_S表示源图像，而λ是加权参数。

5.如权利要求1所述的方法，其特征在于，所述色彩维持项可用于控制所述第一和第二图像之间的混合度。

6.如权利要求1所述的方法，其特征在于，加权参数用于控制所述基于色彩维持项的修正与所述基于梯度的修正之间的权衡。

7.如权利要求6所述的方法，其特征在于，还包括接收为所述加权参数指定一值的用户输入。

8.如权利要求7所述的方法，其特征在于，还包括接收为所述加权参数指定有序值序列的用户输入。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

(i)基于所述加权参数的所述有序值序列来重算所述构造图像；以及

(ii)将所述重算出的构造图像实时地输出到显示器。

10.如权利要求8所述的方法，其特征在于，所述用户输入是经由包括滑动图形输入工具的图形用户界面来接收的。

11.如权利要求1所述的方法，其特征在于，所述源图像中的所述对比度指标用于检测边缘的不存在，从而在使用中，所述修正被设置成维持所述构造图像中边缘的不存在。

12.如权利要求1所述的方法，其特征在于，所述基于对比度指标的修正包括使用脆性项。

13.如权利要求1所述的方法，其特征在于，所述边界是作为用户输入的结果被标识的。

14.如权利要求1所述的方法，其特征在于，所述边界是作为自动分割计算的结果被标识的。

15.如权利要求14所述的方法，其特征在于，所述自动分割计算包括图形剪切方法。

16.如权利要求3所述的方法，其特征在于，所述源图像被设置成部分地重叠，并且其中所述边界落在这些图像之间的重叠区域内。

17.如权利要求4所述的方法，其特征在于，所述最小化是使用基于梯度的有限差分逼近的数值方法来执行的。

18.一种存储在计算机可读介质上并设置成执行如权利要求1所述的方法的计算机程序。

19.一种用于将第一图像和第二图像混合以形成构造图像的装置，所述装置包括：

(i)图像组合器，设置成将所述第一图像的至少一部分和所述第二图像的至少一部分组合以形成所述构造图像；

(ii)处理器，设置成标识在所述构造图像中处于所述构造图像中形成自所述第一图像的区域与所述构造图像中形成自所述第二图像的区域之间的边界；

(iii)图像处理器，设置成基于所述第一图像和第二图像中任一个的至少一部分的梯度来修正所述构造；并且其中所述图像处理器还被设置成基于以下的一个或多个来修正所述构造图像：色彩维持项和所述第一和第二图像的至少之一中的对比度指标。

20.如权利要求19所述的装置，其特征在于，所述处理器被配置成接收标识所述边界的用户输入。

Images