CN103559721B - 一种基于图像梯度的三角剖分快速图像融合方法 - Google Patents

Abstract

本发明公开了一种基于图像梯度的三角剖分快速图像融合方法。该方法包括：在源图像中勾勒出需要复制到目标图像中的图像块(Source？patch)，根据图像块的梯度对图像块进行聚类分块，计算每块的聚类中心点；根据源图像和目标图像在图像块边界线处的梯度差，计算边界线的采样点，形成对图像块的三角剖分，根据边界采样点的颜色差值来计算图像块中三角形顶点的颜色差值，通过硬件插值的方式计算三角型内部各个像素点的颜色差值，从而得到融合后的图像颜色值。本发明能快速地将图像块与目标图像融合，减弱颜色差异。

Description

一种基于图像梯度的三角剖分快速图像融合方法

技术领域

本发明属于计算机应用技术中的图像编辑领域，尤其涉及一种基于图像梯度的三角剖分快速图像融合方法。

背景技术

图像融合(imagecloning)是计算机图形学图像编辑领域的一个具有挑战性的问题。目前市面上有多种软件工具提供图像融合功能，知名的有商业软件AdobePhotoshop以及开源软件GIMP等，然而这些软件工具的图像融合功能往往需要用户提供较为精确的图像边界并通过手动地调节图像对比度与亮度等图像参数来实现融合效果，除去需要大量的人工交互外，融合结果的视觉效果也往往不能达到与原始图像一致。经典的自动图像融合算法Poissonimageediting(PIE)[PatrickPérez,MichelGangnet,andAndrewBlake.2003.Poissonimageediting.ACMTrans.Graph.22,3(July2003),313-318.DOI＝10.1145/882262.882269]通过在梯度域中求解poisson方程来解决边界颜色差异带来的颜色改变，然而该方法需要进行大量的矩阵计算，计算复杂度较高。Coordinatesforinstantimagecloning(CIC)[ZeevFarbman,GilHoffer,YaronLipman,DanielCohen-Or,andDaniLischinski.2009.Coordinatesforinstantimagecloning.ACMTrans.Graph.28,3,Article67(July2009),9pages.DOI＝10.1145/1531326.1531373]采用了建立一种Adaptivemesh的方式对图像区域进行三角剖分，降低了计算复杂度，然而源图像的梯度信息不会得到很好的保留，对于图像中内容复杂，梯度变化明显的融合效果往往不佳。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题在降低图像融合计算复杂度加速图像融合计算的基础上更好得保持原始图像的梯度信息，自动得进行图像融合，得到更好的视觉效果。本发明主要应用于数字娱乐、文化创意和建模设计等方面。

(二)技术方案

为解决上述技术问题，本发明提出一种基于图像梯度的三角剖分快速图像融合方法，其包括：

步骤1、确定源图像中需要融合到目标图像中的图像块P_s和其在目标图像中的位置，计算图像块P_s的所有像素在目标图像上的坐标向量；

步骤2、计算图像块P_s的梯度，根据梯度对图像块P_s进行联通区域聚类，并计算得到K个聚类中心；

步骤3、计算图像块P_s的边界线上的每个像素点在目标图像中内指定区域的梯度均值，以该梯度均值等比例地对边界线进行采样，得到边界采样点；

步骤4、将步骤2得来的聚类中心和步骤3得到的边界采样点对图像块P_s进行三角剖分；

步骤5、计算边界采样点在源图像和目标图像上的像素颜色差值，使用平均值坐标(MVC，MeanValueCoordinate)算法计算K个聚类中心的颜色差值；

步骤6、使用步骤5得到的三角形顶点的颜色差值，进行线性插值得到三角形内部各个像素的颜色差值，将颜色差值与图像块P_s对应位置的像素相加，得到融合结果。

根据本发明的一种具体实施方式，所述步骤2的联通区域聚类步骤为使用图像梯度作为聚类的度量信息，使用基于区域生长的图像分割方法把图像块P_s分割成K个分块区域，每个区域取所有像素的中间值计算一个中心点。

根据本发明的一种具体实施方式，在所述步骤3中，在计算边界点在指定尺寸邻域的梯度均值时，在计算梯度时边界线右侧使用源图像的颜色值，左侧使用目标图像的颜色值，生成一个边界线的有序梯度向量队列。

根据本发明的一种具体实施方式，所述步骤3中的以该梯度均值等比例地对边界线进行采样是指：预先指定边界采样点的数量N，梯度向量队列的梯度和为G，从队尾开始计算采样点位置，在与队尾之间梯度和最接近G/N的位置标记为新采样点，同时将该采样点标记为队尾，直至所有N个采样点标记完毕。

根据本发明的一种具体实施方式，在步骤4中，对以K个聚类中心点为采样点，N个采样边界点顺序链接的闭合区域进行Delaunay三角化。

根据本发明的一种具体实施方式，由步骤5计算得到三角化后三角形各顶点的颜色差值，使用GPU的图形管线指定三角形顶点的颜色后由GPU硬件完成三角形内部像素的差值计算。

(三)有益效果

本发明采用基于梯度信息来对待融合图像进行三角剖分，选取位置更优的内部采样点以及边界采样点，同时利用图形硬件进行内部点的快速插值计算，可以得到速度更快质量更优的图像融合方法，降低编辑成本。

附图说明

图1示出了本发明中基于图像梯度的三角剖分快速图像融合方法的流程图；

图2A显示了本发明的一个实施例的原图像中勾勒选取的待融合部分；

图2B显示了本发明的一个实施例的目标图像；

图2C显示了本发明的一个实施例所计算的三角剖分结果；

图2D显示了本发明的一个实施例所得到的融合结果；

图2E为使用PIE方法的融合结果；

图2F为使用CIC方法生成的自适应网格；

图2G为使用CIC方法的融合结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1示出了本发明中基于图像梯度的三角剖分快速图像融合方法的流程图。如图1所示，本发明的基于图像梯度的三角剖分快速图像融合方法包括如下步骤：

步骤1：确定源图像中需要融合到目标图像中的图像块P_s和其在目标图像中的位置，计算图像块P_s的所有像素在目标图像上的坐标向量。

例如，可以在源图像中以顺时针方向勾勒出需要融合到目标图像中的图像块(Sourcepatch，记为P_s)，将勾勒过的边界线像素点在源图像中的二维坐标记录到一个向量V_bs中。通过将P_s拖拽到目标图像中来指定其在目标图像中的位置，根据P_s的外接矩形左上角顶点在源图像与目标图像中的坐标偏移量delta，计算V_bs在目标图像上的坐标向量V_bt：

$V_{bt}=\left\{p_t\right|p_t=p_s+delta,\∀p_s\∈V_{bs}\}$

图2A显示了本发明的一个实施例的原图像中勾勒选取的待融合部分，图2B显示了该实施例的目标图像。

步骤2：计算所述图像块中每个像素的图像梯度，根据梯度对图像块P_s进行联通区域聚类，并计算得到K个聚类中心。

可以使用分水岭分割法将图像块P_s分割成K个子区域，计算每个子区域的中心点坐标。

对于图像块P_s中的点p在源图像S上为第i行第j列，点p的梯度g(i,j)的计算方式为：

I(i,j)＝S(i+1,j)–S(i,j)+S(i,j+1)-S(i,j)

g(i,j)＝(I(i,j)-Imin)/(Imax-Imin)

其中：

$Imax=max\left(I\right(i,j\left)\right),\∀I(i,j)\∈P_s$

$Imin=min\left(I\right(i,j\left)\right),\∀I(i,j)\∈P_s$

得到图像梯度后我们使用分水岭分割算法将图像进行成联通的K个子区域。对每个子区域，我们计算子区域多边形的中心点坐标。每个子区域是由M个顶点(x_i,y_i)组成的闭合多边形。多边形的面积Area为：

$Are\mathrm{\α}=\frac{1}{2}\underset{i=1}{\overset{M}{\Σ}}(x_i{y}_{i+1}-x_{i+1}{y}_i)$

多边形的中心K(x,y)为：

$K_x=\frac{1}{6Area}\underset{i=1}{\overset{M}{\Σ}}(x_i+x_{i+1})(x_i{y}_{i+1}-x_{i+1}{y}_i)$

$K_y=\frac{1}{6Area}\underset{i=1}{\overset{M}{\Σ}}(y_i+y_{i+1})(x_i{y}_{i+1}-x_{i+1}{y}_i)$

步骤3：计算所述图像块的边界线中的每个像素点在目标图像中内指定区域(例如3×3像素)的梯度均值，以该梯度均值等比例地对边界线进行采样，得到边界采样点。

其中，在计算梯度时边界线右侧使用P_s的颜色值，左侧使用目标图像的颜色值，由此生成一个边界线的有序梯度队列。其中，对于左右侧的判定采用如下的方式：

以有向线段AB为例，两端点A(x_a,y_a),B(x_b,y_b)，像素点C位置坐标为(x_c,y_c)。计算：

f＝(x_b-x_a)*(y_c-y_a)-(x_c-x_a)*(y_b-y_a)

若f>0则点C位于有向线段AB的左侧，否则点C位于有向线段AB的右侧。

预先指定边界采样点的数量N，梯度队列的梯度和为G，从队尾开始计算采样点位置，在与队尾之间梯度和最接近G/N的位置标记为新采样点，同时将该采样点标记为队尾，直至所有N个采样点标记完毕。

步骤4：将步骤2得来的聚类中心和步骤3得到的边界采样点对图像块P_s进行三角剖分。

可以采用“计算几何算法库”(CGAL，ComputationalGeometryAlgorithmsLibrary)对以K个聚类中心点为采样点，N个采样边界点顺序链接的闭合区域P_s进行Delaunay三角剖分，生成以N个采样点为边界，K个聚类点为中间点的三角网格，如图2C所示，剖分后得到的三角形均匀的分布于图像块P_s的内部，便于进行平滑的颜色差值。

步骤5：计算边界采样点在源图像和目标图像上的像素颜色差值，使用平均值坐标(MVC，MeanValueCoordinate)算法计算K个聚类中心的颜色差值。

具体计算方法如下，记N个边界点为p₁,p₂,…,p_N，任意一个三角形顶点为c，点p_i-1cp_i形成的夹角为α_i-1，点p_icp_i+1形成的夹角为α_i。计算权重w_i：

$w_i=\frac{tan\left(\frac{{\mathrm{\α}}_{i-1}}{2}\right)+tan\left(\frac{{\mathrm{\α}}_i}{2}\right)}{\left|\right|c-p_i\left|\right|}$

则c在p_i处的MVC为：

$f_i\left(c\right)=\frac{w_i}{{\mathrm{\Σ}}_{i=1}^N{w}_i}$

顶点c的颜色差值为：

$delta\left(c\right)=\underset{i=1}{\overset{N}{\Σ}}{f}_i\left(c\right)delta\left(p_i\right)$

其中delta(p_i)为目标图像和源图像在p_i点上的RGB颜色差值。

步骤6：使用步骤5得到的三角形顶点的颜色差值，进行线性插值得到三角形内部各个像素的颜色差值，将颜色差值与图像块P_s对应位置的像素相加，得到融合结果。

即，三角形内部各个像素的颜色差值计算采用由步骤5计算得到三角化后三角形各顶点的颜色差值，在一个实施例中，使用显卡(GPU)的图形管线指定三角形顶点的颜色后由GPU硬件完成三角形内部像素的差值来完成，将该差值与源图像的像素值相加得到融合后的图像像素值。融合结果如图2D所示，如图2D所示，像素值的差异平滑的过度到图像块P_s中。在一台Corei72.67GHz的CPU、8GB内存、NvidiaGeForceGTX560GPU的台式机上，计算该张融合结果耗时0.067秒。

图2E至图2G展示了本发明方法与传统的PIE和CIC在中间结果和最终融合结果的对比。图2E为采用与本发明的上述实施例相同的源图像和目标图像使用PIE方法的融合结果，由于该方法是在梯度域中求解poisson方程来解决边界颜色差异，进行大量的矩阵计算，计算该张融合结果耗时10.014秒；图2F为采用与本发明的上述实施例相同的源图像和目标图像使用CIC方法生成的自适应网格(Adaptivemesh)；图2G为使用CIC方法的融合结果，虽然保持了图像块P_s的像素间的对比度，但是边界线V_bt处的颜色变化较为剧烈。

本发明提出的方案利用在图像的梯度域中对图像进行分块，分别计算三角剖分的内部和边界采样点，同时利用图形硬件进行内部点的快速插值计算。减少了传统图像融合方法的计算复杂度，从而提高了图像融合方法的效率，降低了图像编辑成本。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像梯度的三角剖分快速图像融合方法，其包括：

步骤1、确定源图像中需要融合到目标图像中的图像块P_s和其在目标图像中的位置，计算图像块P_s的所有像素在目标图像上的坐标向量；

步骤2、计算图像块P_s的梯度，根据梯度对图像块P_s进行联通区域聚类，并计算得到K个聚类中心；

步骤3、计算图像块P_s的边界线上的每个像素点在目标图像中内指定区域的梯度均值，以该梯度均值等比例地对边界线进行采样，得到边界采样点，其中，在计算边界点在指定尺寸邻域的梯度均值时，在计算梯度时边界线右侧使用源图像的颜色值，左侧使用目标图像的颜色值，生成一个边界线的有序梯度向量队列；以该梯度均值等比例地对边界线进行采样是指：预先指定边界采样点的数量N，梯度向量队列的梯度和为G，从队尾开始计算采样点位置，在与队尾之间梯度和最接近G/N的位置标记为新采样点，同时将该采样点标记为队尾，直至所有N个采样点标记完毕；

步骤4、将步骤2得来的聚类中心和步骤3得到的边界采样点对图像块P_s进行三角剖分；

步骤5、计算边界采样点在源图像和目标图像上的像素颜色差值，使用平均值坐标算法计算K个聚类中心的颜色差值；

步骤6、使用步骤5得到的三角形顶点的颜色差值，进行线性插值得到三角形内部各个像素的颜色差值，将颜色差值与图像块P_s对应位置的像素相加，得到融合结果。

2.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法，其特征在于，所述步骤2的联通区域聚类步骤为使用图像梯度作为聚类的度量信息，使用基于区域生长的图像分割方法把图像块P_s分割成K个分块区域，每个区域取所有像素的中间值计算一个中心点。

3.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法，其特征在于，在步骤4中，对以K个聚类中心点为采样点，N个采样边界点顺序链接的闭合区域进行Delaunay三角化。

4.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法，其特征在于，由步骤5计算得到三角化后三角形各顶点的颜色差值，使用GPU的图形管线指定三角形顶点的颜色后由GPU硬件完成三角形内部像素的差值计算。