CN106339997B - 图像融合方法、设备和系统 - Google Patents

Abstract

一种图像融合方法、设备和系统，该方法包括如下步骤：对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域；在该融合区域上定义具有合成系数的基于物体梯度的权重函数的模型，其中，该模型包括平滑项，且当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大；求解该模型以得到使得该模型的值最小的合成系数；根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

Description

图像融合方法、设备和系统

技术领域

本申请一般涉及图像处理和视频处理领域，且更具体地，涉及一种图像融合方法、设备和系统。

背景技术

随着多媒体技术的发展以及互联网上丰富的图像资源的广泛传播，各种图像相关的处理技术逐渐成为计算机技术领域的热门研究领域。出现各种图像无缝融合技术，使得用户把多张图像中的图像元素合成到一张图像之中，并使得合成后的图像在视觉上更加自然真实。现有很多商业技术已经能使得用户通过复杂的操作来实现图像的无缝融合，比如Photoshop软件采用的无缝融合技术。但是这些需要用户具有较为熟练的操作技术和美感领域的专业知识。怎么使用简单的用户操作和尽量自动生成的图像合成技术是当前技术人员的目标。

希望提供一种基于简单操作的自动合成无缝图像的图像融合技术。

发明内容

图像的无缝融合是指把来自多个不同场景的物体合并成一张在视觉上自然地图像。期望合成的新图像在物体边界处没有明显的人工痕迹，在颜色上也和背景具有一致性。图像的无缝融合主要有几个挑战性的问题：源图像的物体掩模的准确性；合成物体的边界和背景图像的平滑过渡；合成物体保持自体颜色不被背景影响太大而失真。

本申请提出了基于细化的物体掩模并且在泊松方程中加入了权重函数的方法来进行图像的无缝融合。本申请把图像的融合看作为线性合并问题。在求解出的线性合并系数阿尔法α之后进行合并得到融合入图像。现有的传统的方法的融合结果会造成物体的颜色变化太大而造成失真。为了避免将要融合的物体的失真问题，本申请只在物体的边界附近区域进行融合入操作。本申请认为现实世界映射到图像中是采用层层叠加的方式进行组合的，因此物体的本身的颜色是不受背景颜色的影响的。

根据本发明的一个方面，提供一种图像融合方法，包括如下步骤：对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域；在该融合区域上定义具有合成系数的基于物体梯度的权重函数的模型，其中，该模型包括平滑项，且当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大；求解该模型以得到使得该模型的值最小的合成系数；根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

根据本发明的另一方面，提供一种图像融合设备，包括：融合区域得到装置，被配置为对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域；模型定义装置，被配置为在该融合区域上定义具有合成系数的基于物体梯度的权重函数的模型，其中，该模型包括平滑项，且当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大；模型求解装置，被配置为求解该模型以得到使得该模型的值最小的合成系数；合成装置，被配置为根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

根据本发明的另一方面，提供一种图像融合系统，包括：处理器，耦合于存储器；所述存储器包括指令，其当由所述处理器执行时实施如更加本发明的一个方面所述的方法。

根据本发明的各个实施例的图像融合技术能够使得物体自然地融合在背景图像中且不会发生颜色失真。

根据本发明的各个实施例的图像融合技术可用于例如场景合成数字蒙太奇等领域。

附图说明

图1示出了适于用来实现本发明的实施例的示例性计算机系统/服务器12的框图。

图2示出了根据本发明的各个实施例的图像融合技术所应用的应用场景示意图。

图3示出了根据本发明的一个实施例的图像融合方法的流程图。

图4示出了根据本发明的一个实施例的获得细化的物体掩模的方法的流程图。

图5A-5C示出了根据本发明的一个实施例的获得细化的物体掩模的示例示意图。

图6示出了生成融合区域的示例具体过程。

图7示出了生成融合区域的示例示意图。

图8示出了根据本发明的一个实施例的图像融合设备的方框图。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1示出了适于用来实现本发明的实施例的示例性计算机系统/服务器12的框图。图1显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图1所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元或微处理器16、存储器28、连接不同组件的总线18。

总线18可以包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可得介质，包括易失性和非易失性介质、可移除的和不可移除的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移除/不可移除的、易失性/非易失性计算机系统存储介质。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器、以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个接口与总线18相连。存储器28可以包括至少一个指令，在由处理器执行时实施本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40也可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。

应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

图2示出了根据本发明的各个实施例的图像融合技术所应用的应用场景示意图。

在根据本发明的各个实施例的图像融合技术中，可以由用户指定源图像中的包含要融合到目标图像中的物体的一个区域，或者由边缘识别软件在源图像上自动识别要融合到目标图像中的物体的区域，然后输入到根据本发明的各个实施例的图像融合技术的模块、设备或系统中，可以输出在视觉上比较自然地无缝融合图像。

图3示出了根据本发明的一个实施例的图像融合方法的流程图。

图3所示的一种图像融合方法300包括如下步骤：步骤301，对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域；步骤302，在该融合区域上定义具有合成系数的基于物体梯度的权重函数的模型，其中，该模型包括平滑项，且当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大；步骤303，求解该模型以得到使得该模型的值最小的合成系数；步骤304，根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

如此，通过具有当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大的特性的具有合成系数的基于物体梯度的权重函数的模型，可以求解出使得该模型的值最小的最佳合成系数，以便通过该最佳合成系数来自然地合成物体掩模中的物体和目标图像，使得物体到背景的过渡平滑自然，以生成更加真实自然、无颜色失真的无缝融合的图像。

在一个实施例中，所述在该融合区域上定义具有合成系数的基于物体梯度的权重函数的模型的步骤302可以包括：定义基于物体梯度的权重函数的模型为：

……公式(1)

满足以及

其中，m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，p是像素点。

上述公式(1)是一个积分公式，也是对泊松方程的一个改进。其在域s上进行积分，p是像素点，且是积分单元。

其中，定义权重函数为：

……公式(2)

其中，γ和β是调整参数，γ＞0，σ是在融合区域上的源图像的颜色梯度的均值，且是源图像在p点处的颜色梯度。权重函数的作用是为保持物体原有的结构信息。此权重函数能使得在物体结构信息丰富(梯度大)的点使得平滑项的权重较小；在物体纹理不丰富(梯度小)的点使得合并系数的平滑项的权重较大。

当然，上述公式(1)仅是基于物体梯度的权重函数的模型的一个示例，还可以采取具有相同特性(即，当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大)的其他公式来实现相同的目的。例如，可以定义基于物体梯度的权重函数的模型为：如下公式(3)

……公式(3)

满足以及

其中，m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，p是像素点。

其中，定义权重函数为：

……公式(2)，

其中，γ和β是调整参数，γ＞0，σ是在融合区域上的源图像的颜色梯度的均值，且是源图像在p点处的颜色梯度。权重函数的作用是为保持物体原有的结构信息。此权重函数能使得在物体结构信息丰富(梯度大)的点使得平滑项的权重较小；在物体纹理不丰富(梯度小)的点使得合并系数的平滑项的权重较大。

上述公式(3)是一个求和公式，也是对泊松方程的一个改进。

当然，还可以采取具有相同特性(即，当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大)的其他公式来实现相同的目的。在此不一一举例。

如此设计基于物体梯度的权重函数的模型，使得要融合的物体(源图像)与背景(目标图像)的颜色变化越大(即，颜色梯度越大)，平滑项的权重越小，即物体与背景融合的边界越不平滑，即越锐利；而要融合的物体(源图像)与背景(目标图像)的颜色变化越小(即，颜色梯度越小)，平滑项的权重越大，即物体与背景融合的边界越平滑，即越不锐利。这样，避免了融合过程中物体的真实颜色发生太大变化，更符合真实世界映射到图像的原理。

图4示出了根据本发明的一个实施例的获得细化的物体掩模的方法的流程图。

在一个实施例中，如图4所示可以通过以下步骤来获得源图像中的物体掩模：步骤401，从源图像中获得物体的初步掩模；步骤402，对源图像进行超像素分割；步骤403，根据物体的初步掩模，将分割的超像素划分为前景确定区域、背景确定区域、以及不确定区域；步骤404，在源图像上定义基于图割的能量函数；步骤405，最小化该基于图割的能量函数，以确定所述不确定区域的超像素是前景还是背景；步骤406，通过超像素是前景还是背景的信息来最终确定所述物体掩模。

在此，物体的初步掩模可以通过现有技术的物体分割或对象检测方法来实现，也可以通过用户手动划出物体的大概轮廓来得到，在此不详细描述。

其中，超像素分割(Super Pixel Segmentation)是计算机视觉领域的常用技术，指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素有一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。在此，对超像素分割的具体过程不详细描述。

如此，通过用超像素(super pixel)分割和图割来进一步细化物体的初步掩模，以得到更准确的最终物体掩模。从而能够从源图像中更准确地剪切出物体的真实区域，只在物体边界附近实施融合操作，这样更符合真实世界映射到图像的原理，以便在融合到背景图像中时能够更加自然，以减少物体周围的白边、物体边界不准确等现象。

图割(graph cuts)是一种十分有用和流行的能量优化算法，在计算机视觉领域普遍应用于前背景分割(Image segmentation)、立体视觉(stereo vision)、抠图(Imagematting)等。图割(graph cuts)的目的是用来确定网络流的最小分割，即寻找一个容量最小的边的集合，去掉这个集合中的所有边就可以阻挡这个网络了。普通顶点由图像每个像素组成，然后每两个邻域像素之间存在一条边，它的权值由上面说的“边界平滑能量项”来决定。图割的图是在普通图的基础上多了2个顶点，这2个顶点分别用符号“S”和“T”表示，统称为终端顶点。其它所有的顶点都必须和这2个顶点相连形成边集合中的一部分。所有图割中的边也分为两种，一种是普通顶点与相邻点或者与之有关联的点之间的连线，一种是普通顶点和2个终端顶点之间的连线。图割中的割Cuts是指这样一个边的集合，很显然这些边集合包括了上面2种边，该集合中边的断开会导致残留“S”和“T”图的分开，且这些边的集合中所有权值之和是最小的。因此也称为最小割。

本申请设计了一种基于图割的能量函数，使得能够结合超像素分割以及超像素的标签及相邻标签的相关性，来找到上述最小割。

在一个实施例中，所述在源图像上定义基于图割的能量函数的步骤404可以包括：定义基于图割的能量函数

……公式(4)

其中，超像素的标签L_p被定义为前景、背景和不确定中的一个，L_Q为标签L_p的相邻超像素的标签，I表示源图像，N表示是邻域，{P,Q}∈N表示P、Q同属一个邻域N。

其中，标签间的关系函数被定义如下：

其中，在对源图像采用超像素分割后的超像素的初始化标签的规则如下：

当然，上述公式仅是示例，还可以基于图割(graph cuts)构造其他公式，来确定所述不确定区域的超像素是前景还是背景，以通过超像素是前景还是背景的信息来最终确定所述物体掩模。即，在此，可以利用超像素之间的边界来细化最终的物体掩模。

在一个实施例中，所述根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像R的步骤304可以包括：

在融合区域中，采用合并公式：

R＝αF+(1-α)B,α∈[0,1] ……公式(5)

对源图像中的物体掩模中的物体和目标图像进行线性合并，

其中，α是合成系数，F表示作为前景的、源图像中的物体掩模中的物体，B表示作为背景的目标图像。

如此，根据之前计算的合成系数α来线性地合并物体和目标图像，在融合区域上直接粘贴要合成物体相对应的部分，使得合成过程简单且计算量小。

在一个实施例中，所述对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域的步骤301可以包括：对源图像中的物体掩模进行缩小处理，以得到缩小区域；对源图像中的物体掩模进行扩展处理，以得到扩展区域；从所述扩展区域中减去所述缩小区域以得到所述具有外边界和内边界的融合区域。

因此，在细化处理后的物体掩模的边界附近生成融合区域，在此融合区域中进行融合操作，而不是在整个物体区域中进行。这样也能避免泊松方程融合带来的颜色迁移。

综上，利用细化的物体掩模，使得利用细化的物体掩模从源图像中剪切的物体区域更符合物体的真实轮廓，且通过具有当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大的特性的具有合成系数的基于物体梯度的权重函数的泊松方程的模型，可以求解出使得该模型的值最小的最佳合成系数α，以便通过该最佳合成系数α来线性地合成细化的物体掩模中的物体和目标图像，使得物体到背景的过渡平滑自然，以生成更加真实自然、无颜色失真的无缝融合的图像。

图5A-5C示出了根据本发明的一个实施例的获得细化的物体掩模的示例示意图。

由于初步的掩模不一定是准确的，因此，在初步的掩模周围的区域中，有些部分可能是真实的背景，而有些部分可能是真实的前景，因此，为了进一步确定哪些是真实的背景、哪些是真实的前景，可以对初步的掩模进行进一步的细化。本技术设计了一种根据超像素分割以及基于图割的超像素的标签和相邻标签的相关性的能量函数，来找到最适合作为前景和背景的分割。

具体地，为了在步骤403中根据物体的初步掩模，将分割的超像素划分为前景确定区域、背景确定区域以及不确定区域，首先，从物体的初步掩模获得扩大的掩模和缩小的掩模(如图5A所示)。图5A示出了从物体的初步掩模获得扩大的掩模和缩小的掩模的过程。如图5A所示，左图的掩模是初步掩模。右上图的掩模是从物体的初步掩模膨胀扩大以获得的扩大的掩模，而右下图的掩模是从物体的初步掩模腐蚀缩小以获得的缩小的掩模。在此，扩大和缩小的各自的量可以任意地设定，可以基于经验值或者其他算法，在此不限定。当然，膨胀扩大和腐蚀缩小的量越大，越能确定背景确定区域和前景确定区域。

然后，将扩大的掩模之外的区域设置为背景确定区域。因为，初步的掩模之外可能存在背景，而对初步的掩模进行扩大之后，该扩大的掩模之外就更可能都是真实的背景。将缩小的掩模之内的区域设置为前景确定区域。因为，初步的掩模之内可能存在背景，而对初步的掩模进行缩小之后，该缩小的掩模之外就更可能都是真实的前景。于是，除了前景确定区域、背景确定区域以外的区域都被设置为不确定区域，即不确定是前景还是背景。

接下来，通过本技术设计的超像素分割和基于图割的超像素的标签的能量函数来进一步确定该不确定区域中是前景还是背景。

图5B示出了前景确定区域、背景确定区域、不确定区域以及超像素分割的原理图。如图5B的左侧图(a)所示，背景确定部分为浅灰色的B，前景确定部分为中等灰色的F，而不确定部分为深灰色的U。而对源图像进行超像素分割后得到的超像素的块如图5B的左侧图(a)的实线所示。

在一个实施例中，所述在源图像上定义基于图割的能量函数的步骤404可以包括：定义基于图割的能量函数

……公式(4)

其中，超像素的标签L_p被定义为前景、背景和不确定中的一个，L_Q为标签L_p的相邻超像素的标签，I表示源图像，N表示是邻域，{P,Q}∈N表示P、Q同属一个邻域N。

其中，标签间的关系函数被定义如下：

其中，在对源图像采用超像素分割后的超像素的初始化标签的规则如下：

对该基于图割的能量函数最小化，即能够用在不确定区域中的超像素分割的边界来定义作为细化的物体掩模的边界，即将不确定区域所相关的超像素的标签确定为是背景还是前景。如图5B的右图(b)所示。

如图5C的右图所示，示出了经过了超像素分割和设计的基于图割的能量函数的求解之后，获得了细化的物体掩模的边界，其更加接近真实的物体的轮廓。如此，在从源图像中用物体掩模剪切物体时，可以剪切出更准确的物体边界，而减少过多或过少剪切物体的概率。

图6示出了生成融合区域的示例具体过程。

在步骤601中，对源图像中的物体掩模进行缩小处理，以得到缩小区域。在步骤602中，源图像中的物体掩模进行扩展处理，以得到扩展区域。在步骤603中，从所述扩展区域中减去所述缩小区域以得到所述具有外边界和内边界的融合区域。

在此，该物体的掩模可以是先前得到的细化的物体掩膜M、也可以是其他方式得到的物体掩模(也包括初步的物体掩模)。

图7示出了生成融合区域的示例示意图。

为了使得融合结果更加真实自然，首先可以会对用输入包含物体的区域的掩膜进行细化处理使得细化之后的掩膜接近物体的真实边界。得到细化处理后的物体掩膜M之后，基于M得出扩展区域M₂和缩小区域M₁,M₂和M₁之间的区域就是具有外边界Ω₁和内边界Ω₂的融合区域。如图7所示。

然后，在该融合区域上定义具有合成系数的基于物体梯度的权重函数的模型，其中，该模型包括平滑项，且当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大。

在一个实施例中，可以定义基于物体梯度的权重函数的模型为：

……公式(1)

满足以及

其中，m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，p是像素点。

其中，定义权重函数为：

……公式(2)

其中，γ和β是调整参数，γ＞0，σ是在融合区域上的源图像的颜色梯度的均值，且是源图像在p点处的颜色梯度。权重函数的作用是为保持物体原有的结构信息。此权重函数能使得在物体结构信息丰富(梯度大)的点使得平滑项的权重较小；在物体纹理不丰富(梯度小)的点使得合并系数的平滑项的权重较大。

当然，在另一实施例中，也可以定义基于物体梯度的权重函数的模型为：如下公式(3)

……公式(3)

满足以及

其中，m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，p是像素点。

然后，求解该模型以得到使得该模型的值最小的合成系数。然后，根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

在一个实施例中，在融合区域中可以采用合并公式：

R＝αF+(1-α)B,α∈[0,1] ……公式(5)

对源图像中的物体掩模中的物体和目标图像进行线性合并，

其中，α是合成系数，F表示作为前景的、源图像中的物体掩模中的物体，B表示作为背景的目标图像。

综上，利用细化的物体掩模，使得利用细化的物体掩模从源图像中剪切的物体区域更符合物体的真实轮廓，且通过具有当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大的特性的具有合成系数的基于物体梯度的权重函数的泊松方程的模型，可以求解出使得该模型的值最小的最佳合成系数，以便通过该最佳合成系数来线性地合成细化的物体掩模中的物体和目标图像，使得物体到背景的过渡平滑自然，以生成更加真实自然、无颜色失真的无缝融合的图像。

图8示出了根据本发明的一个实施例的图像融合设备的方框图。

图8所示的一种图像融合设备800包括：融合区域得到装置801，被配置为对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域；模型定义装置802，被配置为在该融合区域上定义具有合成系数的基于物体梯度的权重函数的模型，其中，该模型包括平滑项，且当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大；模型求解装置803，被配置为求解该模型以得到使得该模型的值最小的合成系数；合成装置804，被配置为根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

如此，通过具有当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大的特性的具有合成系数的基于物体梯度的权重函数的模型，可以求解出使得该模型的值最小的最佳合成系数，以便通过该最佳合成系数来自然地合成物体掩模中的物体和目标图像，使得物体到背景的过渡平滑自然，以生成更加真实自然、无颜色失真的无缝融合的图像。

在一个实施例中，模型定义装置802可以被配置为：定义基于物体梯度的权重函数的模型为：

……公式(1)

满足以及

其中，m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，p是像素点。

上述公式(1)是一个积分公式，也是对泊松方程的一个改进。其在域s上进行积分，p是像素点，且是积分单元。

其中，定义权重函数为：

……公式(2)

其中，γ和β是调整参数，γ＞0，σ是在融合区域上的源图像的颜色梯度的均值，且是源图像在p点处的颜色梯度。权重函数的作用是为保持物体原有的结构信息。此权重函数能使得在物体结构信息丰富(梯度大)的点使得平滑项的权重较小；在物体纹理不丰富(梯度小)的点使得合并系数的平滑项的权重较大。

当然，上述公式(1)仅是基于物体梯度的权重函数的模型的一个示例，还可以采取具有相同特性(即，当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大)的其他公式来实现相同的目的。例如，模型定义装置802可以被配置为定义基于物体梯度的权重函数的模型为：如下公式(3)

……公式(3)

满足以及

其中，m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，p是像素点。

其中，定义权重函数为：

……公式(2)，

其中，γ和β是调整参数，γ＞0，σ是在融合区域上的源图像的颜色梯度的均值，且是源图像在p点处的颜色梯度。权重函数的作用是为保持物体原有的结构信息。此权重函数能使得在物体结构信息丰富(梯度大)的点使得平滑项的权重较小；在物体纹理不丰富(梯度小)的点使得合并系数的平滑项的权重较大。

上述公式(3)是一个求和公式，也是对泊松方程的一个改进。

当然，还可以采取具有相同特性(即，当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大)的其他公式来实现相同的目的。在此不一一举例。

如此设计基于物体梯度的权重函数的模型，使得要融合的物体(源图像)与背景(目标图像)的颜色变化越大(即，颜色梯度越大)，平滑项的权重越小，即物体与背景融合的边界越不平滑，即越锐利；而要融合的物体(源图像)与背景(目标图像)的颜色变化越小(即，颜色梯度越小)，平滑项的权重越大，即物体与背景融合的边界越平滑，即越不锐利。这样，避免了融合过程中物体的真实颜色发生太大变化，更符合真实世界映射到图像的原理。

在一个实施例中，融合区域得到装置801可以被配置为进行以下步骤来获得源图像中的细化的物体掩模：从源图像中获得物体的初步掩模；步骤402，对源图像进行超像素分割；根据物体的初步掩模，将分割的超像素划分为前景确定区域、背景确定区域、以及不确定区域；在源图像上定义基于图割的能量函数；最小化该基于图割的能量函数，以确定所述不确定区域的超像素是前景还是背景；通过超像素是前景还是背景的信息来最终确定所述物体掩模。

如此，通过用超像素(super pixel)分割和图割来进一步细化物体的初步掩模，以得到更准确的最终物体掩模。从而能够从源图像中更准确地剪切出物体的真实区域，只在物体边界附近实施融合操作，这样更符合真实世界映射到图像的原理，以便在融合到背景图像中时能够更加自然，以减少物体周围的白边、物体边界不准确等现象。

本申请设计了一种基于图割的能量函数，使得能够结合超像素分割以及超像素的标签及相邻标签的相关性，来找到最小割。

在一个实施例中，融合区域得到装置801可以定义基于图割的能量函数

……公式(4)

其中，超像素的标签L_p被定义为前景、背景和不确定中的一个，L_Q为标签L_p的相邻超像素的标签，I表示源图像，N表示是邻域，{P,Q}∈N表示P、Q同属一个邻域N。

其中，标签间的关系函数被定义如下：

其中，在对源图像采用超像素分割后的超像素的初始化标签的规则如下：

当然，上述公式仅是示例，还可以基于图割(graph cuts)构造其他公式，来确定所述不确定区域的超像素是前景还是背景，以通过超像素是前景还是背景的信息来最终确定所述物体掩模。即，在此，可以利用超像素之间的边界来细化最终的物体掩模。

在一个实施例中，合成装置804可以被配置为：在融合区域中，采用合并公式：

R＝αF+(1-α)B,α∈[0,1] ……公式(5)

对源图像中的物体掩模中的物体和目标图像进行线性合并，

其中，α是合成系数，F表示作为前景的、源图像中的物体掩模中的物体，B表示作为背景的目标图像。R表示合并后的结果图像。

如此，根据之前计算的合成系数α来线性地合并物体和目标图像，在融合区域上直接粘贴要合成物体相对应的部分，使得合成过程简单且计算量小。

在一个实施例中，融合区域得到装置801可以被配置为：对源图像中的物体掩模进行缩小处理，以得到缩小区域；对源图像中的物体掩模进行扩展处理，以得到扩展区域；从所述扩展区域中减去所述缩小区域以得到所述具有外边界和内边界的融合区域。

因此，在细化处理后的物体掩模的边界附近生成融合区域，在此融合区域中进行融合操作，而不是在整个物体区域中进行。这样也能避免泊松方程融合带来的颜色迁移。

综上，利用细化的物体掩模，使得利用细化的物体掩模从源图像中剪切的物体区域更符合物体的真实轮廓，且通过具有当源图像的颜色梯度越大时、平滑项的权重越小、且当源图像的颜色梯度越小时、平滑项的权重越大的特性的具有合成系数的基于物体梯度的权重函数的泊松方程的模型，可以求解出使得该模型的值最小的最佳合成系数α，以便通过该最佳合成系数α来线性地合成细化的物体掩模中的物体和目标图像，使得物体到背景的过渡平滑自然，以生成更加真实自然、无颜色失真的无缝融合的图像。

当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。

注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于硬件的电路、专用集成电路(ASIC)或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (7)

1.一种图像融合方法，包括如下步骤：

对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域；

在该融合区域上定义基于物体梯度的权重函数的模型为：

m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，是平滑项的权重，p是像素点，

其中，定义所述平滑项的权重函数为：

其中，γ和β是调整参数，γ>0，σ是在融合区域上的源图像的颜色梯度的均值，且是源图像在p点处的颜色梯度；

其中，当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大；

求解该模型以得到使得该模型的值最小的合成系数；

根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

2.根据权利要求1的方法，其中，通过以下步骤来获得源图像中的物体掩模：

从源图像中获得物体的初步掩模；

对源图像进行超像素分割；

根据物体的初步掩模，将分割的超像素划分为前景确定区域、背景确定区域、以及不确定区域；

在源图像上定义基于图割的能量函数；

最小化该基于图割的能量函数，以确定所述不确定区域的超像素是前景还是背景；

通过超像素是前景还是背景的信息来最终确定所述物体掩模。

3.根据权利要求2所述的方法，其中，所述在源图像上定义基于图割的能量函数的步骤包括：

定义基于图割的能量函数其中，超像素的标签L_p被定义为前景、背景和不确定中的一个，L_Q为标签L_p的相邻超像素的标签，I表示源图像，N表示是邻域，{P,Q}∈N表示P、Q同属一个邻域N，

其中，标签间的关系函数被定义如下：

其中，在对源图像采用超像素分割后的超像素的初始化标签的规则如下：

4.根据权利要求1所述的方法，其中，所述根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像R的步骤包括：

在融合区域中，采用合并公式R＝αF+(1-α)B,α∈[0,1]，对源图像中的物体掩模中的物体和目标图像进行线性合并，

其中，α是合成系数，F表示作为前景的、源图像中的物体掩模中的物体，B表示作为背景的目标图像。

5.根据权利要求1所述的方法，其中，所述对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域的步骤包括：

对源图像中的物体掩模进行缩小处理，以得到缩小区域；

对源图像中的物体掩模进行扩展处理，以得到扩展区域；

从所述扩展区域中减去所述缩小区域以得到所述具有外边界和内边界的融合区域。

6.一种图像融合设备，包括：

融合区域得到装置，被配置为对源图像中的物体掩模进行缩小和扩展处理以得到具有外边界和内边界的融合区域；

模型定义装置，被配置为在该融合区域上定义定义基于物体梯度的权重函数的模型为：

m是物体掩模；α是要求解的合成系数；w是基于源图像的颜色梯度的权重函数；s是融合区域，其中，在融合区域的外边界Ω₁处α＝1；在融合区域的内边界Ω₂处α＝0，是平滑项，p是像素点，

其中，定义所述平滑项的权重函数为：

其中，γ和β是调整参数，γ>0，σ是在融合区域上的源图像的颜色梯度的均值，且是源图像在p点处的颜色梯度；

其中，当源图像的颜色梯度越大时，平滑项的权重越小，且当源图像的颜色梯度越小时，平滑项的权重越大；

模型求解装置，被配置为求解该模型以得到使得该模型的值最小的合成系数；

合成装置，被配置为根据合成系数来合成物体掩模中的物体和目标图像，以生成合成的结果图像。

7.一种图像融合系统，包括：

处理器，耦合于存储器；

所述存储器包括指令，其当由所述处理器执行时实施如权利要求1所述的方法。