CN106530265B - 一种基于色度坐标的自适应图像融合方法 - Google Patents

Abstract

本发明公开了一种基于色度坐标的自适应图像融合方法，其实现过程是：首先，求前景和背景图像的色度坐标均值；其次，根据前景和背景色度坐标均值，修改前景图像每个像素的R、G、B值；然后，对前景图像边缘利用高斯模糊算法得到加权系数，并与背景图像在前景边缘处进行梯度加权融合。本发明给出的算法能够根据背景图像，自适应调节前景图像的亮度和色度，在前景和背景色彩、亮度相差较大的情况下，保持合成图像清晰、前景颜色和亮度无失真；利用高斯模糊方法获得前景图像边缘的加权系数，利用梯度加权融合处理，能够保证前景图像边缘合成过度自然；相对泊松融合算法，其具有更低的计算复杂度，能够在一些硬件资源局限的移动终端程序中广泛应用。

Description

一种基于色度坐标的自适应图像融合方法

技术领域

本发明涉及一种基于色度坐标的自适应图像融合方法，属于图像处理技术领域。

背景技术

随着计算机图形学的飞速发展，数字图像处理技术得到了极大的提高，使得对不同图像的无缝融合成为我们获得新图像的重要方法。该方法在重复使用现有图像的基础上，极大地提高了获取图像的效率。无缝图像编辑的要求是将一个或多个来自不同的图像的部分无缝融入到另一个背景图像中，得到一幅新的没有明显人工痕迹的图像。如今，图像融合已成为一种十分重要的图像分析与计算机视觉技术。图像融合在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有之广泛的应用。图像融合是综合两个或多个源图像的信息，以获取对同一场景的更为精确、全面、可靠的图像描述。图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息，使融合图像更符合人或机器的视觉特性，以利于对图像的进一步分析，目标检测、识别或跟踪。

图像融合过程其实并不复杂：首先从源图中取得需要融合的部分，把它放入目标图中，进行计算处理后重新显示在相应的位置。而图像融合的关键在于确定融合区域内每个像素点如何取值，才可以实现像素间的平滑过渡和无缝拼接。图像融合可通过加权平均算法或基于梯度域的融合方法来实现。

图像的无缝融合技术的发展比较缓慢，现存的主流技术有以下3种：一种是AdobePhotoshop中使用的技术，此外还有两种主流的公开算法。其中一种是通过构造拉普拉斯金字塔进行插值运算来融合两幅图像。另一种是泊松图像编辑技术，其已成为了近几年诸多融合算法的基础，它是通过解带有狄利克雷边界条件的泊松方程来实现颜色的无缝融合。该融合方法是先使用拉普拉斯有限差分公式把泊松方程离散化，再利用高斯塞德尔迭代求解其最优值。这样不同的初始值、迭代次数以及引导梯度域就可以产生不同的融合效果。

虽然泊松算法和金字塔算法等常规主流图像融合算法在图像融合处理上有着其他方法不可比拟的优势，但是也存在一些弱点：

1)常规图像融合算法在前景和背景色彩、亮度相差较大的情况下，会存在合成图像模糊、前景图像边缘模糊、前景颜色失真以及亮度偏差较大等问题。

2)常规图像融合算法的计算复杂度仍然很高，一些硬件资源局限的应用情况下，比如手机客户端程序中，无法直接应用。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于色度坐标的自适应图像融合方法，通过本方法可以获得更高的融合质量以及多样的融合效果。

为了实现上述目标，本发明采用如下的技术方案：

一种基于色度坐标的自适应图像融合方法，其特征是，包括如下步骤：

1)采集前景图像和背景图像；

2)分别求取前景图像和背景图像的色度坐标均值，其中前景图像的色度坐标均值表示为背景图像的色度坐标均值表示为

3)根据图像前景色度坐标均值和背景图像的色度坐标均值修改前景图像每个像素的RGB值，得到修正后的R1′、G1′、B1′；

修改方式如下： 其中，R1_i、G1_i、B1_i表示原始前景图像中第i个像素点的RGB值，R1′_i、G1′_i、B1′_i表示修改后的前景图像中第i个像素点的RGB的值，ΔR、ΔG、ΔB分别为依据经验值给定的修正范围；

4)对前景图像边缘利用高斯模糊算法得到加权系数α_i、β_i，其中，α_i为前景图像像素的加权系数，β_i为背景图像像素的加权系数，且α_i+β_i＝1，i＝1，2，...，N，N为前景图像的总像素数；

5)根据加权系数，将前景图像与前景图像覆盖区域的背景图像，进行加权融合：R3_i＝R1′_i×α_i+R2_i×β_i，G3_i＝G1′_i×α_i+G2_i×β_i，B3_i＝B1′_i×α_i+B2_i×β_i，其中，R2_i，G2_i，B2_i分别为前景图像覆盖区域内背景图像中第i个像素点的RGB值，R3_i，G3_i，B3_i分别为在前景图像覆盖区域内，融合图像中第i个像素点的RGB值。

进一步地，所述步骤2)中色度坐标均值的计算步骤如下：根据图像三种基色的色度坐标定义，定义图像的色度坐标均值为：

其中，分别为图像的色度坐标均值，M表示对应图像的总像素数，R_i、G_i、B_i分别为第i个像素的三基色数值。

进一步地，所述步骤3)中修改后前景图像中第i个像素点的RGB的取值范围有如下限定条件：0≤R1′_i≤255、0≤G1′_i≤255、0≤B1′_i≤255。

进一步地，所述步骤4)具体步骤如下：

401)将一幅前景图像的掩膜mask中像素值为1的点变为像素值为255，得到mask1；

402)利用高斯滤波对mask1进行模糊处理得mask2，在mask2中像素值为0和255的边界处出现梯度；

403)根据mask2矩阵的像素值，获取前景图像与背景图像在融合时的加权系数：其中，x_i(i＝1...N)为mask2掩膜矩阵中元素的像素值，x_i取值范围0≤x_i≤255。

本发明所达到的有益效果：1)本发明能够根据背景图像，自适应调节前景图像的亮度和色度，在前景和背景色彩、亮度相差较大的情况下，能够保持合成图像清晰、前景颜色和亮度无失真；2)本发明利用高斯模糊方法获得前景图像边缘的加权系数，利用梯度加权融合处理，能够保证前景图像边缘合成过度自然；3)本发明相对泊松融合算法，具有更低的计算复杂度，能够在一些硬件资源局限的移动终端程序中广泛应用。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本方法的步骤中，首先，求前景图像和背景图像的色度坐标均值；其次，根据图像前景和背景色度坐标均值，修改前景图像每个像素的R、G、B值，实现前景图像相对于背景图像的亮度和色度自适应调节；然后，对前景图像边缘利用高斯模糊算法得到加权系数，并与背景图像在前景边缘处进行梯度加权融合。

结合附图1，本发明具体实施过程如下：

步骤1，采集前景图像和背景图像。

步骤2，求前景图像和背景图像的色度坐标均值，：

彩色图像三种基色分别为红(R)、绿(G)、蓝(B)。为了表示像素中RGB三基色各自在R+G+B总量中的相对比例，引入色度坐标，定义如下：

r＝R/(R+G+B)

g＝G/(R+G+B)

b＝B/(R+G+B)

其中，r、g、b分别是三种基色的色度坐标，R、G、B分别表示某一个像素的三种基色的数值。

定义图像的色度坐标均值为： 其中，分别为图像的色度坐标均值，N表示图像的总像素数，R_i、G_i、B_i分别为第i个像素的三基色数值。

根据以上公式，分别计算出前景图像的色度坐标均值和背景图像的色度坐标均值

步骤3，根据图像前景色度坐标均值和背景图像的色度坐标均值修改前景图像每个像素的RGB值，得到修正后的R1′、G1′、B1′：

其中，R1_i、G1_i、B1_i表示原始前景图像中第i个像素点的RGB值，R1′_i、G1′_i、B1′_i表示修改后的前景图像中第i个像素点的RGB的值，ΔR、ΔG、ΔB分别为给定的前景RGB修正范围值。

同时对修改后前景图像中第i个像素点的RGB的取值范围做门限界定：0≤R1′_i≤255、0≤G1′_i≤255、0≤B1′_i≤255。修正后的前景像素RGB值能够在亮度和色度上趋近于背景的亮度与色度，为后续的图像融合提供了自适应的视觉效果调整。

步骤4，对前景图像边缘利用高斯模糊算法得到加权系数：

401)将一幅前景图像的掩膜mask中像素值为1的点变为像素值为255得到mask1。

402)利用高斯滤波对mask1进行模糊处理得mask2，则在mask2中像素值为0和255的边界处就出现了梯度。

403)根据mask2矩阵的像素值，获取前景与背景在融合时的加权系数：

其中，x_i(i＝1...N)为mask2掩膜矩阵中元素的像素值，x_i取值范围(0≤x_i≤255)，N为前景图像的总像素数。α_i为前景像素的加权系数，β_i为背景像素的加权系数，且α_i+β_i＝1。

步骤5，根据加权系数，将前景与前景覆盖区域的背景图像，进行加权融合：R3_i＝R1′_i×α_i+R2_i×β_i，G3_i＝G1′_i×α_i+G2_i×β_i，B3_i＝B1′_i×α_i+B2_i×β_i，其中，R2_i，G2_i，B2_i分别为前景覆盖区域内背景图像中第i个像素点的RGB值。R3_i，G3_i，B3_i分别在前景覆盖区域内，融合图像中第i个像素点的RGB值。

本发明的执行效率通过以下实验进一步说明：

1、实验条件和内容：

实验仿真环境为：Visual Studio 2013+opencv 3.0，CPU intel CORE i5，内存4.0G，64位操作系统，Window7 Professional。

实验内容包括：使用前景图像尺寸大小为400×400，600×600，800×800，1000×1000，1200×1200，1600×1600的lena图像，背景图像尺寸大小与相应的前景图像尺寸大小相同。该实验是分别利用基于色度坐标的自适应图像融合算法与泊松融合算法同时对不同尺寸的图像进行图像融合处理。

2、实验结果：本发明是一种基于色度坐标的自适应图像融合的算法对不同尺寸的图像进行图像融合处理的时间开销如表1所示。

表1给出了对于处理相同分辨率的图像，基于色度坐标的自适应图像融合的算法与常规Poisson算法所用时间。从表1中可知，本发明对图像进行融合处理的效率比常规Poisson算法相比运行速度有明显的提高。

序号	图像尺寸大小	改进算法用时(s)	Poisson算法用时(s)
				1	400×400	0.182	0.348
2	600×600	0.424	0.892
				3	800×800	0.681	1.571
4	1000×1000	1.384	2.307
				5	1200×1200	1.490	3.709
6	1600×1600	2.798	5.794

表1算法处理时间比较

综上，本发明提出的一种基于色度坐标的自适应图像融合的算法，对于高分辨率的图像，在获得与常规Poisson算法相近的图像融合质量的情况下，具有更高的计算效率，且随着图像总像素数的增加，本发明算法的执行效率优势越大。

以上是本方法的具体内容，它能够根据背景图像，自适应调节前景图像的亮度和色度，在前景和背景色彩、亮度相差较大的情况下，能够保持合成图像清晰、前景颜色和亮度无失真。其利用高斯模糊方法获得前景图像边缘的加权系数，利用梯度加权融合处理，能够保证前景图像边缘合成过度自然。该算法相对泊松融合算法，具有更低的计算复杂度，能够在一些硬件资源局限的移动终端程序中广泛应用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于色度坐标的自适应图像融合方法，其特征是，包括如下步骤：

1)采集前景图像和背景图像；

2)分别求取前景图像和背景图像的色度坐标均值，其中前景图像的色度坐标均值表示为背景图像的色度坐标均值表示为

3)根据图像前景色度坐标均值和背景图像的色度坐标均值修改前景图像每个像素的RGB值，得到修正后的R1′、G1′、B1′；

修改方式如下： 其中，R1_i、G1_i、B1_i表示原始前景图像中第i个像素点的RGB值，R1′_i、G1′_i、B1′_i表示修改后的前景图像中第i个像素点的RGB的值，ΔR、ΔG、ΔB分别为依据经验值给定的修正范围；

4)对前景图像边缘利用高斯模糊算法得到加权系数α_i、β_i，其中，α_i为前景图像像素的加权系数，β_i为背景图像像素的加权系数，且α_i+β_i＝1，i＝1，2，...，N，N为前景图像的总像素数；

5)根据加权系数，将前景图像与前景图像覆盖区域的背景图像，进行加权融合：R3_i＝R1′_i×α_i+R2_i×β_i，G3_i＝G1′_i×α_i+G2_i×β_i，B3_i＝B1′_i×α_i+B2_i×β_i，其中，R2_i，G2_i，B2_i分别为前景图像覆盖区域内背景图像中第i个像素点的RGB值，R3_i，G3_i，B3_i分别为在前景图像覆盖区域内，融合图像中第i个像素点的RGB值。

2.根据权利要求1所述的一种基于色度坐标的自适应图像融合方法，其特征是，所述步骤2)中色度坐标均值的计算步骤如下：根据图像三种基色的色度坐标定义，定义图像的色度坐标均值为： 其中，分别为图像的色度坐标均值，M表示对应图像的总像素数，R_i、G_i、B_i分别为第i个像素的三基色数值。

3.根据权利要求1所述的一种基于色度坐标的自适应图像融合方法，其特征是，所述步骤3)中修改后前景图像中第i个像素点的RGB的取值范围有如下限定条件：0≤R1′_i≤255、0≤G1′_i≤255、0≤B1′_i≤255。

4.根据权利要求1所述的一种基于色度坐标的自适应图像融合方法，其特征是，所述步骤4)具体步骤如下：

401)将一幅前景图像的掩膜mask中像素值为1的点变为像素值为255，得到mask1；

402)利用高斯滤波对mask1进行模糊处理得mask2，在mask2中像素值为0和255的边界处出现梯度；

403)根据mask2矩阵的像素值，获取前景图像与背景图像在融合时的加权系数：其中，x_i为mask2掩膜矩阵中元素的像素值，其中i＝1...N，x_i取值范围0≤x_i≤255。