CN105096287A - 一种改进的多次泊松图像融合方法 - Google Patents

Abstract

本发明公开了一种改进的多次泊松图像融合方法。目的是解决较大的目标图像区域与背景图像融合时，目标区域的色彩信息随着背景融合而失真，且在融合边缘处因为色彩相差太大导致的色彩不一致的问题。该方法包括如下方面：将目标图像与背景图像转换至HSV色彩空间；对每个通道进行首次泊松图像融合；提取目标图像区域边缘梯度信息并计算目标内部子区域；对目标内部子图像区域和初次融合的图像再次进行泊松融合操作而最终得到结果。实验结果表明，在较大图像块与背景图像融合时，本方法可以有效保持目标图像区域原始的色彩信息并提高边缘连接带的视觉质量。

Description

一种改进的多次泊松图像融合方法

技术领域

本发明属于图像处理领域，特别涉及一种在图像拼接中的改进多次泊松图像融合方法。

背景技术

图像拼接技术一直是图像处理领域的研究热点，是获得大视角图像的主要技术手段之一，通过数幅甚至数十幅以上小视角，小分辨率图像，配准拼接合成出一幅保留原来所有图像信息的高分辨广角图像，广泛应用在航天，医学，军事领域。图像拼接技术不仅能有效避免广角镜头因为物理原因造成的图像边缘畸变，还具有成本低，效果好，视觉质量高的巨大优势。

图像融合是图像拼接技术中的关键技术，其原理是通过对拼接图像中重合带的像素进行重新定义计算，实现拼接图像之间的平滑过渡和无缝拼接，提高拼接过渡带的视觉效果。因此，该步骤是图像拼接中的关键步骤，对于整个图像拼接过程，起着至关重要的作用。

图像融合领域主要的技术方法有很多，如使用较广的加权因子方法，多分辨率样条融合方法，以及动态最佳缝合线融合方法等等。加权因子方法是在图像重叠区域进行加权平均，其加权因子是根据该位置离重合区域的距离来决定，因此，很难消除掉融合时产生的鬼影问题。多分辨率样条插值法是将拼接图像分解成多幅不同尺度图像再进行合成融合，可在征服图像范围内实现平滑融合过渡，并显著降低对配准误差的敏感性。但是由于在产生多尺幅图像时要对图像进行多次高斯滤波，会造成图像信号部分丢失和减弱，导致整体图像模糊和变暗。基于动态规划的最佳缝合线融合是依据最优化原则，在重叠区域内根据相位误差最小准则，寻找一条最优的拼接缝合线，达到消除重影目的，但是其对配准要求高，且计算复杂。

PatrickP等人提出了基于泊松方程的图像融合方法，该方法利用两幅图像的梯度场，对重合区域进行引导差值，将图像融合问题变成求解目标图像块梯度场与背景指导梯度场差值的最小化问题，取得了良好的图像融合效果。但是当目标图像块较大且色彩与背景图像差异巨大时，该方法往往无法保证目标图像块的原来色彩且边缘区域视觉效果并不理想。

发明内容

本发明的发明目的在于：针对泊松图像融合中存在的较大目标图像区域色彩失真与融合图像边缘连接带色彩不一致的问题，提出了一种改进的多次泊松图像融合方法，以提高融合图像的视觉质量。

本发明所述方法包含以下步骤：

步骤1：获取待融合的目标图像区域与背景图像，确定图像融合位置。

步骤2：将待融合目标图像与背景图像转换到HSV颜色空间。

步骤3:求解目标图像区域边界条件下的泊松方程，与背景图像进行初次融合：将已经转换到HSV颜色空间的目标图像块与背景图像3个颜色通道分离，分别在每个通道上求解在该边界条件下的泊松方程，进行图像初次融合；初次融合所涉及的泊松方程求解过程为：

其中，Ω为融合区域，f为定义在Ω上的未知函数，f^*为定义在Ω边界已知标量函数，为梯度算子，(x,y)为图像像素点坐标，v为背景图像指导场。

上式的解可以用如下式子表示：

$\mathrm{\Δ}f=divv,f\left|\∂\mathrm{\Ω}=f*\right|\∂\mathrm{\Ω}.$

其中，divv为v＝(u,v)的散度。对上式离散化后，我们得到了上式的离散化差分解：

$\left|N_p\right|f_p-\underset{q\∈N_p\∩\mathrm{\Ω}}{\Σ}{f}_p=\underset{q\∈N_p\∩\∂\mathrm{\Ω}}{\Σ}{f}_q^{*}+\underset{q\∈N_p}{\Σ}{v}_{pq}$

其中，N_p为上限邻域，v_pq是在导向边界〈p,q〉上的投影。基于上式，应用超松弛高斯-赛德尔迭代方法进行求解，即可完成初次的泊松像融合过程。

步骤4：计算目标图像区域边界梯度信息，计算提取目标子区域：首先提取目标图像区域的边缘像素点集；计算提取目标图像区域的几何重心位置，以该点为原点，将目标图像区域边缘点集按照30度区域来进行划分，共分成12个边缘像素点集合Q₁,Q₂,Q₃…Q₁₂；依次计算每个边缘像素点集合中的像素点边缘梯度，选择该区间内具有最大的梯度模值的关键边缘点，共提取出12个关键边缘点；在关键边缘点的基础上，沿其梯度延长线方向，以梯度模值为距离，选取内部子图像的关键边缘确定点；依次提取12个目标内部子图像关键边缘确定点，连接成为区域，提取该内部子区域。

步骤5：对目标内部子区域和已经初次融合的图像再次进行泊松融合，得到最终融合图像；

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明在基于HSV颜色空间的基础上，采用一种改进的多次泊松图像融合方法，可以有效保持目标图像块原本的色彩信息并提高边缘连接带的视觉质量。

附图说明

图1是本发明具体实施方式的处理流程图；

图2是本发明具体实施方式中，提取边缘关键点示意图；

图3是本发明具体实施方式中，提取目标子区域示意图。

具体实施

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

实施例

参见图1，基于本发明的改进泊松融合方法对待融合图像(img1，img2)进行图像融合操作处理的具体过程为：

S100:输入待融合的两幅图像img1,img2.其中img1为目标图像，img2为背景图像，并确定两幅图像的融合位置。

S200:将img1,img2由RGB颜色空间转换到HSV颜色空间。

S300：对img1和img2进行初次泊松图像融合，本步骤可以采用现有的任何泊松融合方式实现，本实施例中，具体处理为：

泊松融合希望f和v拥有一样的变换场，所以对下式进行最小化：

$\left\{\begin{array}{c}\underset{f}{\min }\∫{\∫}_{\mathrm{\Ω}}{\left|\▿f-v\right|}^2\\ f\left|\∂\mathrm{\Ω}=f*\right|\∂\mathrm{\Ω}\end{array}\right.$

其中，Ω为融合区域，f为定义在Ω上的未知函数，f^*为定义在Ω边界已知标量函数，为梯度算子，(x,y)为图像像素点坐标，v为背景图像指导场。上式的解向量可以用下式来表示：

$\left\{\begin{array}{c}\mathrm{\Δ}f=divv\\ f\left|\∂\mathrm{\Ω}=f*\right|\∂\mathrm{\Ω}\end{array}\right.$

上式中，是v＝(u,v)的散度。

对公式进行离散化，S与Ω式定义在无限离散网格上的有限点集。对于有限集S中的每个像素p，N_p代表S中的四联通邻居集合，且〈p,q〉代表一对像素对，并且满足q∈N_p.f_p表示目标图像融合之后f在p点上的值。亮度值集合为f|_Ω＝{f_p,p∈Ω}.

上式有限差分离散化的解向量最终满足如下方程组：

$\left|N_p\right|f_p-\underset{q\∈N_p\∩\mathrm{\Ω}}{\Σ}{f}_p=\underset{q\∈N_p\∩\∂\mathrm{\Ω}}{\Σ}{f}_q^{*}+\underset{q\∈N_p}{\Σ}{v}_{pq}$

v_pq是在导向边界〈p,q〉上的投影，即

利用超松弛高斯赛德尔迭代法计算上式汇总的线性方程组，求解出的f_p为该点新的值。遍历所有Ω区域的点，完成插值计算，得到初次泊松融合的图像img3.

S400：针对目标图像区域，提取边缘梯度信息，计算目标子图像。如图2所示

寻找目标图像区域的几何重心，以该中心为原点，将目标图像区域的边缘按照每30度分成12个边缘点集合Q₁,Q₂,Q₃…Q₁₂，计算提取每个集合中所有元素的梯度信息。例如：在某集合Q_i(0<i≤12)中，计算所有边缘点元素的梯度信息g，得到该集合Q_i的对应的梯度信息集合G＝{g₁,g₂,g₃…g_n}，在梯度信息集合G中选取具有最大模值的梯度g_f(若集合中具有最大值模值的梯度元素有多个，取其中任意一个最大值即可)，该梯度对应的目标图像块边缘点为F，这样，在集合Q_i中我们选择了具有最大的梯度模值的关键边缘点F。

在取得关键边缘点F坐标的基础上，按照其梯度g_f方向，向目标图像块几何重心的方向选取一点F′，使得该点F′即为要求取的目标子图像边缘关键点。

依次对所有几何Q进行上述操作，可计算出目标子图像区域关键点集合{F₁，F₂，F₃…F₁₂}，其具有12个元素。如图3所示，依次按照最近原则连接每个关键点，即可提取出目标子图像块img4。

S500:将目标子图像块img4与初次泊松图像img3再次按照S200步骤进行再次泊松融合，得到最终的结果。

通过对目标图像和背景图像进行两次泊松融合操作，可以很好的保留目标图像块原始的色彩信息，并且可以有效的提高边缘区域的视觉质量。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (5)

1.一种改进的多次泊松图像融合方法，其特征在于，包括下列步骤：

步骤1：获取待融合的目标图像与背景图像，确定图像融合位置；

步骤2：将待融合目标图像与背景图像转换到HSV颜色空间；

步骤3:求解目标图像区域边界条件下的泊松方程，与背景图像进行初次融合；

步骤4：计算目标图像区域边界梯度信息，计算提取目标内部子区域；

步骤5：对目标内部子图像和已经初次融合的图像再次进行泊松融合，得到最终融合图像。

2.如权利要求1所述的方法，其特征在于，所述步骤2中，将待融合目标图像与背景图像均转换到HSV颜色空间中，在HSV三个通道上分别进行相应的图像融合操作。

3.如权利要求1或2所述的方法，其特征在于，所述步骤4中，计算目标图像区域边界信息，采用角度集合的方式，首先提取目标图像块的边缘像素点集；将目标图像区域边缘点集按照每30度区域来进行划分，共分成12个边缘像素点集合；依次计算每个边缘像素点集合中的边缘像素点梯度，选取该区间内具有最大的梯度模值的关键边缘点，共提取出12个具有最大梯度模值的关键边缘点。

4.如权利要求1或2所述的方法，其特征在于，所述步骤4中，在提取到12个模值最大的关键边缘点的基础上，沿梯度延长线方向，以梯度模值为距离，求取目标内部子图像的边缘确定点；依次提取12个内部子图像关键边缘确定点，连接成为目标内部子区域，提取该区域。

5.如权利要求1、2、3或4所述的方法，其特征在于，所述步骤5中，将提取到的目标子区域和初次泊松融合后的图像再次进行泊松图像融合操作。