CN103559721A - 一种基于图像梯度的三角剖分快速图像融合方法 - Google Patents
一种基于图像梯度的三角剖分快速图像融合方法 Download PDFInfo
- Publication number
- CN103559721A CN103559721A CN201310601251.0A CN201310601251A CN103559721A CN 103559721 A CN103559721 A CN 103559721A CN 201310601251 A CN201310601251 A CN 201310601251A CN 103559721 A CN103559721 A CN 103559721A
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- triangulation
- point
- color difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000010367 cloning Methods 0.000 title abstract description 7
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 238000007500 overflow downdraw method Methods 0.000 claims description 13
- 238000013459 approach Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像梯度的三角剖分快速图像融合方法。该方法包括:在源图像中勾勒出需要复制到目标图像中的图像块(Source patch),根据图像块的梯度对图像块进行聚类分块,计算每块的聚类中心点;根据源图像和目标图像在图像块边界线处的梯度差,计算边界线的采样点,形成对图像块的三角剖分,根据边界采样点的颜色差值来计算图像块中三角形顶点的颜色差值,通过硬件插值的方式计算三角型内部各个像素点的颜色差值,从而得到融合后的图像颜色值。本发明能快速地将图像块与目标图像融合,减弱颜色差异。
Description
技术领域
本发明属于计算机应用技术中的图像编辑领域,尤其涉及一种基于图像梯度的三角剖分快速图像融合方法。
背景技术
图像融合(image cloning)是计算机图形学图像编辑领域的一个具有挑战性的问题。目前市面上有多种软件工具提供图像融合功能,知名的有商业软件Adobe Photoshop以及开源软件GIMP等,然而这些软件工具的图像融合功能往往需要用户提供较为精确的图像边界并通过手动地调节图像对比度与亮度等图像参数来实现融合效果,除去需要大量的人工交互外,融合结果的视觉效果也往往不能达到与原始图像一致。经典的自动图像融合算法Poisson image editing(PIE)[Patrick Pérez,Michel Gangnet,andAndrew Blake.2003.Poisson image editing.ACM Trans.Graph.22,3(July2003),313-318.DOI=10.1145/882262.882269]通过在梯度域中求解poisson方程来解决边界颜色差异带来的颜色改变,然而该方法需要进行大量的矩阵计算,计算复杂度较高。Coordinates for instant image cloning(CIC)[ZeevFarbman,Gil Hoffer,Yaron Lipman,Daniel Cohen-Or,and Dani Lischinski.2009.Coordinates for instant image cloning.ACM Trans.Graph.28,3,Article67(July2009),9pages.DOI=10.1145/1531326.1531373]采用了建立一种Adaptive mesh的方式对图像区域进行三角剖分,降低了计算复杂度,然而源图像的梯度信息不会得到很好的保留,对于图像中内容复杂,梯度变化明显的融合效果往往不佳。
发明内容
(一)要解决的技术问题
本发明所要解决的技术问题在降低图像融合计算复杂度加速图像融合计算的基础上更好得保持原始图像的梯度信息,自动得进行图像融合,得到更好的视觉效果。本发明主要应用于数字娱乐、文化创意和建模设计等方面。
(二)技术方案
为解决上述技术问题,本发明提出一种基于图像梯度的三角剖分快速图像融合方法,其包括:
步骤1、确定源图像中需要融合到目标图像中的图像块Ps和其在目标图像中的位置,计算图像块Ps的所有像素在目标图像上的坐标向量;
步骤2、计算图像块Ps的梯度,根据梯度对图像块Ps进行联通区域聚类,并计算得到K个聚类中心;
步骤3、计算图像块Ps的边界线上的每个像素点在目标图像中内指定区域的梯度均值,以该梯度均值等比例地对边界线进行采样,得到边界采样点;
步骤4、将步骤2得来的聚类中心和步骤3得到的边界采样点对图像块Ps进行三角剖分;
步骤5、计算边界采样点在源图像和目标图像上的像素颜色差值,使用MVC算法计算K个聚类中心的颜色差值;
步骤6、使用步骤5得到的三角形顶点的颜色差值,进行线性插值得到三角形内部各个像素的颜色差值,将颜色差值与图像块Ps对应位置的像素相加,得到融合结果。
根据本发明的一种具体实施方式,所述步骤2的联通区域聚类步骤为使用图像梯度作为聚类的度量信息,使用基于区域生长的图像分割方法把图像块Ps分割成K个分块区域,每个区域取所有像素的中间值计算一个中心点。
根据本发明的一种具体实施方式,在所述步骤3中,在计算边界点在指定尺寸邻域的梯度均值时,在计算梯度时边界线右侧使用源图像的颜色值,左侧使用目标图像的颜色值,生成一个边界线的有序梯度向量队列。
根据本发明的一种具体实施方式,所述步骤3中的以该梯度均值等比例地对边界线进行采样是指:预先指定边界采样点的数量N,梯度向量队列的梯度和为G,从队尾开始计算采样点位置,在与队尾之间梯度和最接近G/N的位置标记为新采样点,同时将该采样点标记为队尾,直至所有N个采样点标记完毕。
根据本发明的一种具体实施方式,在步骤4中,对以K个聚类中心点为采样点,N个采样边界点顺序链接的闭合区域进行Delaunay三角化。
根据本发明的一种具体实施方式,由步骤5计算得到三角化后三角形各顶点的颜色差值,使用GPU的图形管线指定三角形顶点的颜色后由GPU硬件完成三角形内部像素的差值计算。
(三)有益效果
本发明采用基于梯度信息来对待融合图像进行三角剖分,选取位置更优的内部采样点以及边界采样点,同时利用图形硬件进行内部点的快速插值计算,可以得到速度更快质量更优的图像融合方法,降低编辑成本。
附图说明
图1示出了本发明中基于图像梯度的三角剖分快速图像融合方法的流程图;
图2A显示了本发明的一个实施例的原图像中勾勒选取的待融合部分;
图2B显示了本发明的一个实施例的目标图像;
图2C显示了本发明的一个实施例所计算的三角剖分结果;
图2D显示了本发明的一个实施例所得到的融合结果;
图2E为使用PIE方法的融合结果;
图2F为使用CIC方法生成的自适应网格;
图2G为使用CIC方法的融合结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
图1示出了本发明中基于图像梯度的三角剖分快速图像融合方法的流程图。如图1所示,本发明的基于图像梯度的三角剖分快速图像融合方法包括如下步骤:
步骤1:确定源图像中需要融合到目标图像中的图像块Ps和其在目标图像中的位置,计算图像块Ps的所有像素在目标图像上的坐标向量。
例如,可以在源图像中以顺时针方向勾勒出需要融合到目标图像中的图像块(Source patch,记为Ps),将勾勒过的边界线像素点在源图像中的二维坐标记录到一个向量Vbs中。通过将Ps拖拽到目标图像中来指定其在目标图像中的位置,根据Ps的外接矩形左上角顶点在源图像与目标图像中的坐标偏移量delta,计算Vbs在目标图像上的坐标向量Vbt:
图2A显示了本发明的一个实施例的原图像中勾勒选取的待融合部分,图2B显示了该实施例的目标图像。
步骤2:计算所述图像块中每个像素的图像梯度,根据梯度对图像块Ps进行联通区域聚类,并计算得到K个聚类中心。
可以使用分水岭分割法将图像块Ps分割成K个子区域,计算每个子区域的中心点坐标。
对于图像块Ps中的点p在源图像S上为第i行第j列,点p的梯度g(i,j)的计算方式为:
I(i,j)=S(i+1,j)-S(i,j)+S(i,j+1)-S(i,j)
g(i,j)=(I(i,j)-Imin)/(Imax-Imin)
其中:
得到图像梯度后我们使用分水岭分割算法将图像进行成联通的K个子区域。对每个子区域,我们计算子区域多边形的中心点坐标。每个子区域是由M个顶点(xi,yi)组成的闭合多边形。多边形的面积Area为:
多边形的中心K(x,y)为:
步骤3:计算所述图像块的边界线中的每个像素点在目标图像中内指定区域(例如3×3像素)的梯度均值,以该梯度均值等比例地对边界线进行采样,得到边界采样点。
其中,在计算梯度时边界线右侧使用Ps的颜色值,左侧使用目标图像的颜色值,由此生成一个边界线的有序梯度队列。其中,对于左右侧的判定采用如下的方式:
以有向线段AB为例,两端点A(xa,ya),B(xb,yb),像素点C位置坐标为(xc,yc)。计算:
f=(xb-xa)*(yc-ya)-(xc-xa)*(yb-ya)
若f>0则点C位于有向线段AB的左侧,否则点C位于有向线段AB的右侧。
预先指定边界采样点的数量N,梯度队列的梯度和为G,从队尾开始计算采样点位置,在与队尾之间梯度和最接近G/N的位置标记为新采样点,同时将该采样点标记为队尾,直至所有N个采样点标记完毕。
步骤4:将步骤2得来的聚类中心和步骤3得到的边界采样点对图像块Ps进行三角剖分。
可以采用“计算几何算法库”(CGAL,Computational GeometryAlgorithms Library)对以K个聚类中心点为采样点,N个采样边界点顺序链接的闭合区域Ps进行Delaunay三角剖分,生成以N个采样点为边界,K个聚类点为中间点的三角网格,如图2C所示,剖分后得到的三角形均匀的分布于图像块Ps的内部,便于进行平滑的颜色差值。
步骤5:计算边界采样点在源图像和目标图像上的像素颜色差值,使用MVC(Mean Value Coordinate)算法计算K个聚类中心的颜色差值。
具体计算方法如下,记N个边界点为p1,p2,...,pN,任意一个三角形顶点为c,点pi-1cpi形成的夹角为αi-1,点pi cpi+1形成的夹角为αi。计算权重wi:
则c在pi处的MVC为:
顶点c的颜色差值为:
其中delta(pi)为目标图像和源图像在pi点上的RGB颜色差值。
步骤6:使用步骤5得到的三角形顶点的颜色差值,进行线性插值得到三角形内部各个像素的颜色差值,将颜色差值与图像块Ps对应位置的像素相加,得到融合结果。
即,三角形内部各个像素的颜色差值计算采用由步骤5计算得到三角化后三角形各顶点的颜色差值,在一个实施例中,使用显卡(GPU)的图形管线指定三角形顶点的颜色后由GPU硬件完成三角形内部像素的差值来完成,将该差值与源图像的像素值相加得到融合后的图像像素值。融合结果如图2D所示,如图2D所示,像素值的差异平滑的过度到图像块Ps中。在一台Core i72.67GHz的CPU、8GB内存、Nvidia GeForce GTX560GPU的台式机上,计算该张融合结果耗时0.067秒。
图2E至图2G展示了本发明方法与传统的PIE和CIC在中间结果和最终融合结果的对比。图2E为采用与本发明的上述实施例相同的源图像和目标图像使用PIE方法的融合结果,由于该方法是在梯度域中求解poisson方程来解决边界颜色差异,进行大量的矩阵计算,计算该张融合结果耗时10.014秒;图2F为采用与本发明的上述实施例相同的源图像和目标图像使用CIC方法生成的自适应网格(Adaptive mesh);图2G为使用CIC方法的融合结果,虽然保持了图像块Ps的像素间的对比度,但是边界线Vbt处的颜色变化较为剧烈。
本发明提出的方案利用在图像的梯度域中对图像进行分块,分别计算三角剖分的内部和边界采样点,同时利用图形硬件进行内部点的快速插值计算。减少了传统图像融合方法的计算复杂度,从而提高了图像融合方法的效率,降低了图像编辑成本。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于图像梯度的三角剖分快速图像融合方法,其包括:
步骤1、确定源图像中需要融合到目标图像中的图像块Ps和其在目标图像中的位置,计算图像块Ps的所有像素在目标图像上的坐标向量;
步骤2、计算图像块Ps的梯度,根据梯度对图像块Ps进行联通区域聚类,并计算得到K个聚类中心;
步骤3、计算图像块Ps的边界线上的每个像素点在目标图像中内指定区域的梯度均值,以该梯度均值等比例地对边界线进行采样,得到边界采样点;
步骤4、将步骤2得来的聚类中心和步骤3得到的边界采样点对图像块Ps进行三角剖分;
步骤5、计算边界采样点在源图像和目标图像上的像素颜色差值,使用MVC算法计算K个聚类中心的颜色差值;
步骤6、使用步骤5得到的三角形顶点的颜色差值,进行线性插值得到三角形内部各个像素的颜色差值,将颜色差值与图像块Ps对应位置的像素相加,得到融合结果。
2.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法,其特征在于,所述步骤2的联通区域聚类步骤为使用图像梯度作为聚类的度量信息,使用基于区域生长的图像分割方法把图像块Ps分割成K个分块区域,每个区域取所有像素的中间值计算一个中心点。
3.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法,其特征在于,在所述步骤3中,在计算边界点在指定尺寸邻域的梯度均值时,在计算梯度时边界线右侧使用源图像的颜色值,左侧使用目标图像的颜色值,生成一个边界线的有序梯度向量队列。
4.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法,其特征在于,所述步骤3中的以该梯度均值等比例地对边界线进行采样是指:预先指定边界采样点的数量N,梯度向量队列的梯度和为G,从队尾开始计算采样点位置,在与队尾之间梯度和最接近G/N的位置标记为新采样点,同时将该采样点标记为队尾,直至所有N个采样点标记完毕。
5.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法,其特征在于,在步骤4中,对以K个聚类中心点为采样点,N个采样边界点顺序链接的闭合区域进行Delaunay三角化。
6.如权利要求1所述的基于图像梯度的三角剖分快速图像融合方法,其特征在于,由步骤5计算得到三角化后三角形各顶点的颜色差值,使用GPU的图形管线指定三角形顶点的颜色后由GPU硬件完成三角形内部像素的差值计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310601251.0A CN103559721B (zh) | 2013-11-25 | 2013-11-25 | 一种基于图像梯度的三角剖分快速图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310601251.0A CN103559721B (zh) | 2013-11-25 | 2013-11-25 | 一种基于图像梯度的三角剖分快速图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103559721A true CN103559721A (zh) | 2014-02-05 |
CN103559721B CN103559721B (zh) | 2016-02-03 |
Family
ID=50013960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310601251.0A Active CN103559721B (zh) | 2013-11-25 | 2013-11-25 | 一种基于图像梯度的三角剖分快速图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103559721B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103970932A (zh) * | 2014-02-28 | 2014-08-06 | 杭州师范大学 | 一种高分辨率的建筑物和背景分离的永久散射体建模方法 |
CN104484900A (zh) * | 2014-09-22 | 2015-04-01 | 南京信息工程大学 | 基于Delaunay三角网的气象要素插值评估方法 |
CN112308896A (zh) * | 2020-11-06 | 2021-02-02 | 上海肇观电子科技有限公司 | 图像处理方法、芯片电路、装置、电子设备及存储介质 |
CN113706638A (zh) * | 2021-10-28 | 2021-11-26 | 迈步医疗科技(江苏)有限公司 | 基于智能物联网制药搅拌机智能控制方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5548667A (en) * | 1991-05-24 | 1996-08-20 | Sony Corporation | Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data |
CN101702235A (zh) * | 2009-11-25 | 2010-05-05 | 上海电力学院 | 基于三角剖分的图像配准方法 |
CN102129676A (zh) * | 2010-01-19 | 2011-07-20 | 中国科学院空间科学与应用研究中心 | 一种基于二维经验模态分解的显微图像融合方法 |
-
2013
- 2013-11-25 CN CN201310601251.0A patent/CN103559721B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5548667A (en) * | 1991-05-24 | 1996-08-20 | Sony Corporation | Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data |
CN101702235A (zh) * | 2009-11-25 | 2010-05-05 | 上海电力学院 | 基于三角剖分的图像配准方法 |
CN102129676A (zh) * | 2010-01-19 | 2011-07-20 | 中国科学院空间科学与应用研究中心 | 一种基于二维经验模态分解的显微图像融合方法 |
Non-Patent Citations (2)
Title |
---|
HUIDONG JIN, WING-HO SHUM ET AL.: "Expanding Self-Organizing Map for data visualization and cluster analysis", 《INFORMATION SCIENCES》 * |
陈超,江涛等: "基于平均梯度的多聚焦图像融合方法研究", 《山东建筑大学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103970932A (zh) * | 2014-02-28 | 2014-08-06 | 杭州师范大学 | 一种高分辨率的建筑物和背景分离的永久散射体建模方法 |
CN104484900A (zh) * | 2014-09-22 | 2015-04-01 | 南京信息工程大学 | 基于Delaunay三角网的气象要素插值评估方法 |
CN112308896A (zh) * | 2020-11-06 | 2021-02-02 | 上海肇观电子科技有限公司 | 图像处理方法、芯片电路、装置、电子设备及存储介质 |
CN113706638A (zh) * | 2021-10-28 | 2021-11-26 | 迈步医疗科技(江苏)有限公司 | 基于智能物联网制药搅拌机智能控制方法及系统 |
CN113706638B (zh) * | 2021-10-28 | 2022-02-25 | 迈步医疗科技(江苏)有限公司 | 基于智能物联网制药搅拌机智能控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103559721B (zh) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020228385A1 (zh) | 虚拟对象的变形处理方法、装置、设备及存储介质 | |
JP7084686B2 (ja) | 三次元モデル化オブジェクトの圧縮 | |
US11144679B2 (en) | Engraving a 2D image on a subdivision surface | |
EP3703015A2 (en) | Tessellation method | |
US20160358375A1 (en) | Tessellation method using recursive sub-division of triangles | |
US10489946B1 (en) | Generalized primitives for smooth coloring of vector graphics artwork in constant time | |
CN111462030A (zh) | 多图像融合的立体布景视觉新角度构建绘制方法 | |
CN103559721A (zh) | 一种基于图像梯度的三角剖分快速图像融合方法 | |
CN106530379B (zh) | 用于执行路径描边的方法和设备 | |
CN101984465B (zh) | 一种图像无缝复制的方法 | |
CN111127649A (zh) | 构建三维体块模型的方法及装置、服务器 | |
CN107292946B (zh) | 一种基于brdf函数线性过滤的图像渲染方法 | |
CN106960469B (zh) | 一种快速分割三角形的光滑自由变形方法 | |
US9019303B2 (en) | Method of processing image and apparatus for the same | |
WO2016040717A2 (en) | Text realization | |
JP2015158737A (ja) | 画像処理装置及び画像処理方法 | |
US7734118B2 (en) | Automatic image feature embedding | |
Baldacci et al. | GPU-based approaches for shape diameter function computation and its applications focused on skeleton extraction | |
KR101098830B1 (ko) | 서피스 텍스처 매핑 장치 및 그 방법 | |
EP2372659B1 (en) | Method and system for rapidly vectorizing image by gradient meshes based on parameterization | |
Cui et al. | GPU-based smooth free-form deformation with sharp feature awareness | |
Kang et al. | Animation for ancient tile mosaics | |
Xu et al. | Using isophotes and shadows to interactively model normal and height fields | |
KR100914844B1 (ko) | 샘플 텍스처 합성에 의한 서피스 텍스처 맵핑 시스템 | |
Chen et al. | Mesh Completion with Virtual Scans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |