CN102298776A - 一种基于Random Walk的图像融合方法 - Google Patents

一种基于Random Walk的图像融合方法 Download PDF

Info

Publication number
CN102298776A
CN102298776A CN2011102359161A CN201110235916A CN102298776A CN 102298776 A CN102298776 A CN 102298776A CN 2011102359161 A CN2011102359161 A CN 2011102359161A CN 201110235916 A CN201110235916 A CN 201110235916A CN 102298776 A CN102298776 A CN 102298776A
Authority
CN
China
Prior art keywords
image
random walk
patch
summit
source images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102359161A
Other languages
English (en)
Other versions
CN102298776B (zh
Inventor
成可立
童若峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN 201110235916 priority Critical patent/CN102298776B/zh
Publication of CN102298776A publication Critical patent/CN102298776A/zh
Application granted granted Critical
Publication of CN102298776B publication Critical patent/CN102298776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种基于RandomWalk的图像融合方法，它包括以下步骤：(1)在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置；(2)为所述含有待复制图像的图像构造图结构，(3)使用RandomWalk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果；(4)将步骤(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到步骤(1)中指定的拷贝到目标图像上的位置，生成图像融合结果。本发明只需用户提供含有“显著物体”的图像patch并指定在目标图上的拷贝位置，本方法将自动地消除patch的边界不一致，并保证“显著物体”的颜色不发生改变。

Description

一种基于Random Walk的图像融合方法
技术领域
本发明涉及一种基于Random Walk的图像融合方法。
背景技术
图像融合是图像编辑中的一个重要的环节，其目的是将源图像中的物体拷贝到目标图像中，并使新生成的图像在视觉上自然、真实。PhotoShop等商业图像编辑工具提供的alpha blend图像融合功能需要用户将源图像中的“显著物体”完整地分割出来，再将其粘贴到目标图像中。其中的图像分割阶段需要大量的用户交互，不但耗时，而且微小的分割失误也会极大地影响图像融合的视觉效果。Poisson image editing方法将源图像中含有“显著物体”的图像patch完整地拷贝到目标图像中，并使用梯度域的方法消除了被拷贝patch与目标图像在patch边界上的不一致性。Poisson image editing方法无需事先分割出源图像中的“显著物体”，因此克服了alpha belnd方法的缺陷。但是梯度域方法在消除patch边界上的不一致性的同时会导致整个patch内部的颜色会向着目标图像在patch边界上的颜色改变。因此，当源图像与目标图像在patch边界上的差异过大时，Poisson image editing方法会造成patch内部“显著区域”的颜色失真，形成不良的视觉效果。
发明内容
本发明所要解决的技术方案是提供一种基于Random Walk的图像融合方法，它无需复杂用户交互、无需事先对源图像中的“显著物体（待复制图像）”进行分割，用户只需提供含有“显著物体”的图像patch并指定在目标图上的拷贝位置，本方法将自动地消除patch的边界不一致，并保证“显著物体”的颜色不发生改变。为此本发明采用以下技术方案，它包括以下步骤：
(1)、在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置；
(2)、为所述含有待复制图像的图像构造图结构，
将所述含有待复制图像的图像中的像素作为“顶点”，通过度量图像中像素间颜色的相似性构造连接“顶点”的“边”，进而为图像构造出所述“图结构”，并以此为依据构造Laplacian矩阵；
(3)、根据图像融合问题的需要重新确定边界条件，结合步骤(2)中生成的Laplacian矩阵，使用Random Walk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果；
(4)、将步骤(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到步骤(1)中指定的拷贝到目标图像上的位置，生成图像融合结果。
在采用上述技术方案的基础上，本发明还可采用以下进一步的技术方案： 
它采用基于人工交互的方式在源图像中勾勒出所述含有待复制图像的图像patch，并以这个粗略截取的图像patch作为后续步骤中要进行融合的对象。与需要进行预先分割“显著区域”的方法相比，使用这种整块patch拷贝的方法，更容易保证融合内容的完整性。
它使用简单比划方式在源图像中指示计算RandomWalk的边界条件。
在步骤(1)中，计算包含图像patch的正矩形包围盒，将后续步骤的运算范围限制在包含图像patch的正矩形包围盒内。这样不但可以更加充分的利用本地信息，而且能够加快算法速度。
它为所述正矩形包围盒所对应的子图构造一个关于半径参数                                                的拓扑连接关系，将间距超过指定半径的顶点判定为相互无关的顶点。由于利用了图像本身具有“内容连续”的特性，可以生成更加“紧凑”的像素间相似性表示。
它为所述正矩形包围盒所对应的子图，按照所构造的拓扑关系构造邻接矩阵
Figure 990442DEST_PATH_IMAGE002
，使用邻接矩阵
Figure 463012DEST_PATH_IMAGE002
作为子图像素间相似性的描述符。其中使用了带参数的高斯核度量顶点之间的相似性，这种距离度量方式使本发明提供的方法具有非线性特性。
本发明改造传统Random Walk方法中的边界条件，使Random Walk方法的计算结果满足图像融合问题的“中间结果”的需要。利用了Random Walk的特性，直接生成了“内容相关”的图像融合问题所需要的“中间结果”，从而省略了传统算法中“显著区域”分割的步骤，提高了算法的执行效率。同时，Random Walk的各向异性扩散性质使得本方法具有很强的抵抗patch边界颜色突变的能力，与现存的“内容相关”的图像融合方法相比，可以得到更加自然，真实的图像融合效果。
由于本发明的技术方案，本发明同时还具有以下有益效果：
(1) 提供了一种全新的图像融合方法，由于本发明方法无需事先分割出“显著内容”，因此比现有的基于内容的图像融合方法更加高效。同时，使用了整块patch拷贝的方法，因此保证了融合内容的完整性。
(2) 从融合效果角度讲，由于本发明使用了Random Walk算法生成融合图像，Random Walk的各向异性扩散性质使得本方法具有很强的抵抗patch边界颜色突变的能力，与现存的“内容相关”的图像融合方法相比，如图4所示，可以得到更加自然，真实的图像融合效果。
附图说明
图1为本发明所提供的方法的整体流程图。
图2a为使用Random Walk方法求解Dirichlet问题得到的图像融合中间结果示意图。
图2b为图2a所述中间结果沿着图2a中所示的切线构成的剖面图。
图3为3个不同的实验中，Poisson image editing方法与本发明提供的方法的图像融合效果对比图。
其中，(a)列为直接将图像patch拷贝到目标图像上的结果；(b)、(d)列分别表示使用Poisson image editing方法与本发明提供方法的图像融合效果比较，其中，(b)列使用Poisson image editing方法，(d)列使用本发明提供方法；(c)、(e)列分别表示使用两种方法得到的各自的图像融合中间结果，其中，(c)列使用Poisson image editing方法，(e)列使用本发明提供方法。
图4为2个不同的实验中，传统的基于内容的图像融合方法与本发明提供的方法的图像融合效果对比图。
(a)、(c)、(e)、(g)为2个实验中，传统的基于内容的图像融合方法与本发明提供的方法的图像融合效果，其中，(c)、(g)表示使用Poisson image editing方法得到的图像融合结果，(a)、(e)表示本发明提供方法的图像融合结果，(b)、(d)、(f)、(h) 为2个实验中，传统的基于内容的图像融合方法与本发明提供的方法的图像融合中间结果，其中，(d)、(h)表示使用Poisson image editing方法得到的图像融合中间结果，(b)、(f)表示本发明提供方法的图像融合中间结果。
具体实施方式
首先定义接下来说明中所要用到的缩写： 
Figure 2011102359161100002DEST_PATH_IMAGE003
：目标图像上的像素的颜色深度；
Figure 638778DEST_PATH_IMAGE004
： 源图像上的像素的颜色深度；
： 从源图上截取的patch区域；
Figure 626326DEST_PATH_IMAGE006
： patch拷贝到目标图上的区域；
Figure 2011102359161100002DEST_PATH_IMAGE007
：源图上patch的轮廓的位置；
Figure 414415DEST_PATH_IMAGE008
：拷贝到目标图上的上patch的轮廓的位置。
图1是本发明的基本流程图，发明通过在源图像中进行简单的用户交互作为输入，得到一张源图像patch与目标图像谐融合的输出图片，下面对本发明的各个流程进行详细说明：
1、简单用户交互
本步骤在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置。具体为：
用户需要手动指定从源图像中截取的图像patch，其中对patch的形状并没有具体要求，只需完整地包括用户想融合到目标图上的“显著物体”即可，以这个粗略截取的图像patch作为后续步骤中要进行融合的对象。另外，用户需要使用画笔粗略地标注“显著物体”的所在，与目前的方法的区别是：这些标注并不是用来分割“显著物体”的标注，而是作为计算RandomWalk的边界条件，进而避免了类似alpha blend等方法的预分割步骤，因此提高了算法的效率。
为了更加充分的利用本地信息，而且能够进一步加快算法速度，计算包含以上用户交互截取的图像patch边界的正矩形包围盒，将后续步骤的运算范围限制在包含patch的正矩形包围盒内。
2、为图像建立图结构
本步骤将所述含有待复制图像的图像中的像素作为“顶点”，通过度量图像中像素间颜色的相似性构造连接“顶点”的“边”，进而为图像构造出所述“图结构”，并以此为依据构造Laplacian矩阵。具体为：
将图像中的每个像素点看作一个顶点
Figure 2011102359161100002DEST_PATH_IMAGE009
，并将和
Figure 2011102359161100002DEST_PATH_IMAGE011
两个顶点间的连接看作边
Figure 822580DEST_PATH_IMAGE012
，这样可以对步骤1中的正矩形包围盒所指定的图像构造出一个图结构
Figure 2011102359161100002DEST_PATH_IMAGE013
。本步骤为了令图的边
Figure 325423DEST_PATH_IMAGE012
上的权重
Figure 2011102359161100002DEST_PATH_IMAGE015
描述图像的像素之间的相似性，采用了以下方案：
(1) 为正矩形包围盒所对应的子图构造一个关于半径参数
Figure 507005DEST_PATH_IMAGE001
的拓扑连接关系，将间距超过指定半径
Figure 758995DEST_PATH_IMAGE001
的顶点判定为相互无关的顶点。由于图像本身具有“内容连续”的特性，因此间距超过指定半径的顶点之间可以认为是无关的，对应的权重
Figure 658818DEST_PATH_IMAGE016
数值为0。本发明使用8连接拓扑结构表示某个像素点与其周围点的连接关系，并提供了灵活的接口，用户可以根据需要自行调整半径参数，得到期望的视觉效果。
(2) 本发明使用相连顶点间的颜色特征的相似程度度量对应边的权重，它为所述正矩形包围盒所对应的子图，按照所构造的拓扑关系构造邻接矩阵
Figure 785780DEST_PATH_IMAGE002
，使用邻接矩阵
Figure 87449DEST_PATH_IMAGE002
作为子图像素间相似性的描述符。边
Figure 448023DEST_PATH_IMAGE012
上的权重计算公式为：
Figure 2011102359161100002DEST_PATH_IMAGE017
其中
Figure 897459DEST_PATH_IMAGE018
表示当前像素点的颜色特征，本发明中使用该像素点对应的rgb通道上的灰度值表示，
Figure 2011102359161100002DEST_PATH_IMAGE019
是用户指定的参数，决定了随着颜色特征增大，权重数值的下降速度。
Figure 329577DEST_PATH_IMAGE015
表示连接顶点
Figure 220173DEST_PATH_IMAGE010
和
Figure 17228DEST_PATH_IMAGE011
的边
Figure 626063DEST_PATH_IMAGE012
上的权重，其数值在
Figure 861873DEST_PATH_IMAGE020
之间，两顶点间越相似，权重数值越接近1。
使用上述方法完成对正矩形包围盒内的所有像素点建立连接关系并描述其两两间的相似性后，可以得到权重矩阵
Figure 872554DEST_PATH_IMAGE002
，由于使用(1)中指定的拓扑结构，是一个对称的稀疏矩阵。使用
Figure 500424DEST_PATH_IMAGE002
构造Laplacian矩阵，具体公式如下：
Figure 2011102359161100002DEST_PATH_IMAGE021
其中，，为所在行在
Figure 139533DEST_PATH_IMAGE002
矩阵的对应行的非对角线元素之和。
3、使用修改的Random Walk方法计算理想的图像融合所需要的中间结果
本步骤根据图像融合问题的需要重新确定边界条件，结合步骤2中生成的Laplacian矩阵，使用Random Walk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果。具体为：
通过求解图上的Dirichlet问题：
，
Figure 278390DEST_PATH_IMAGE024
满足特定边界条件
获得图像融合所需要的中间结果
Figure 924135DEST_PATH_IMAGE024
。因此需要解决的问题为：边界条件的确定以及使用Random Walk方法对图上的偏微分方程求解。
(1) 边界条件的确定
本步骤中需要确定的边界条件可以分为2部分。首先，正矩形包围盒内对应的patch轮廓
Figure 2011102359161100002DEST_PATH_IMAGE025
上的数值为：
Figure 173851DEST_PATH_IMAGE026
即源图上的patch轮廓
Figure 221441DEST_PATH_IMAGE007
与目标图上对应的patch轮廓
Figure 531200DEST_PATH_IMAGE008
上的颜色差。另一个边界条件是将在交互阶段，用户粗略标注为“显著区域”的位置上的数值设为0。
(2) 使用Random Walk方法对图上偏微分方程求解
将图上的Laplacian方程转化成泛函的形式：
Figure 2011102359161100002DEST_PATH_IMAGE027
目的是将图上的偏微分方程求解问题转化为求
Figure 168635DEST_PATH_IMAGE028
的变分问题，将以上泛函离散化得到：
Figure 2011102359161100002DEST_PATH_IMAGE029
其中，表示(1)中确定的边界条件的数值，表示待求的融合中间结果，矩阵
Figure 124139DEST_PATH_IMAGE032
表示按照
Figure 604799DEST_PATH_IMAGE030
和的对应关系重新排序的Laplacian矩阵。即表示
Figure 816654DEST_PATH_IMAGE030
对应的顶点构成的Laplacian矩阵，
Figure 573258DEST_PATH_IMAGE034
表示
Figure 224819DEST_PATH_IMAGE031
对应的顶点构成的Laplacian矩阵，
Figure 2011102359161100002DEST_PATH_IMAGE035
为对Laplacian矩阵重新排序的余项。对这个二次型针对
Figure 270135DEST_PATH_IMAGE031
进行优化得到：
Figure 229126DEST_PATH_IMAGE036
求解这个线性系统得到即为本步骤期望得到的融合中间结果，一个典型的如图2所示。
最后，将(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到(1)中指定的拷贝到目标图像上的位置，生成图像融合结果。图3展示了使用本发明提供的方法生成的图像融合结果。

Claims (7)

1.一种基于Random Walk的图像融合方法，其特征在于它包括以下步骤：
(1)、在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置；
(2)、为所述含有待复制图像的图像构造图结构，将所述含有待复制图像的图像中的像素作为“顶点”，通过度量图像中像素间颜色的相似性构造连接“顶点”的“边”，进而为图像构造出所述“图结构”，并以此为依据构造Laplacian矩阵；
(3)、根据图像融合问题的需要重新确定边界条件，结合步骤(2)中生成的Laplacian矩阵，使用Random Walk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果；
(4)、将步骤(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到步骤(1)中指定的拷贝到目标图像上的位置，生成图像融合结果。
2.如权利要求1所述的一种基于Random Walk的图像融合方法，其特征在于它采用基于人工交互的方式在源图像中勾勒出所述含有待复制图像的图像patch，并以这个粗略截取的图像patch作为后续步骤中要进行融合的对象。
3.如权利要求1所述的一种基于Random Walk的图像融合方法，其特征在于它使用简单比划方式在源图像中指示计算RandomWalk的边界条件。
4.如权利要求1所述的一种基于Random Walk的图像融合方法，其特征在于在步骤(1)中，计算包含图像patch的正矩形包围盒，将后续步骤的运算范围限制在包含图像patch的正矩形包围盒内。
5.如权利要求4所述的一种基于Random Walk的图像融合方法，其特征在于它为所述正矩形包围盒所对应的子图构造一个关于半径参数                                                
Figure 758565DEST_PATH_IMAGE001
的拓扑连接关系，将间距超过指定半径的顶点判定为相互无关的顶点。
6.如权利要求5所述的一种基于Random Walk的图像融合方法，其特征在于它为所述正矩形包围盒所对应的子图，按照所构造的拓扑关系构造邻接矩阵，使用邻接矩阵
Figure 874791DEST_PATH_IMAGE002
作为子图像素间相似性的描述符。
7.如权利要求1所述的一种基于Random Walk的图像融合方法，其特征在于它改造传统Random Walk方法中的边界条件，使其能够应用于图像融合问题，进而提高了传统图像融合方法的效率。
CN 201110235916 2011-08-17 2011-08-17 一种基于Random Walk的图像融合方法 Active CN102298776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110235916 CN102298776B (zh) 2011-08-17 2011-08-17 一种基于Random Walk的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110235916 CN102298776B (zh) 2011-08-17 2011-08-17 一种基于Random Walk的图像融合方法

Publications (2)

Publication Number Publication Date
CN102298776A true CN102298776A (zh) 2011-12-28
CN102298776B CN102298776B (zh) 2013-03-13

Family

ID=45359174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110235916 Active CN102298776B (zh) 2011-08-17 2011-08-17 一种基于Random Walk的图像融合方法

Country Status (1)

Country Link
CN (1) CN102298776B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658481A (zh) * 2018-12-24 2019-04-19 北京旷视科技有限公司 图像标注方法及装置、特征图生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101310A1 (en) * 2004-04-09 2005-10-27 Siemens Medical Solutions Usa, Inc. Gpu multi-label image segmentation
EP1750226A2 (en) * 2005-08-01 2007-02-07 Siemens Medical Solutions USA, Inc. Editing of presegmented images/volumes with the multilabel random walker or graph cut segmentations
CN101673396A (zh) * 2009-09-07 2010-03-17 南京理工大学 基于动态目标检测的图像融合方法
CN101714251A (zh) * 2009-12-22 2010-05-26 上海电力学院 一种红外与可见光伪彩色图像融合及增强方法
CN101916436A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度空间投影遥感影像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101310A1 (en) * 2004-04-09 2005-10-27 Siemens Medical Solutions Usa, Inc. Gpu multi-label image segmentation
EP1750226A2 (en) * 2005-08-01 2007-02-07 Siemens Medical Solutions USA, Inc. Editing of presegmented images/volumes with the multilabel random walker or graph cut segmentations
CN101673396A (zh) * 2009-09-07 2010-03-17 南京理工大学 基于动态目标检测的图像融合方法
CN101714251A (zh) * 2009-12-22 2010-05-26 上海电力学院 一种红外与可见光伪彩色图像融合及增强方法
CN101916436A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度空间投影遥感影像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何贵青等: "基于各类各向异性的EM-MAP-HMRF多源遥感图像融合算法", 《光子学报》, vol. 39, no. 7, 31 July 2010 (2010-07-31), pages 1289 - 1296 *
王宁等: "一种新的交互式图像分割算法", 《海军工程大学学报》, vol. 23, no. 2, 30 April 2011 (2011-04-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658481A (zh) * 2018-12-24 2019-04-19 北京旷视科技有限公司 图像标注方法及装置、特征图生成方法及装置
CN109658481B (zh) * 2018-12-24 2023-12-26 北京旷视科技有限公司 图像标注方法及装置、特征图生成方法及装置

Also Published As

Publication number Publication date
CN102298776B (zh) 2013-03-13

Similar Documents

Publication Publication Date Title
Dey et al. Defining and computing curve-skeletons with medial geodesic function
CN102136218B (zh) 一种计算机地图制图中的地图注记自动配置方法
CN109145713A (zh) 一种结合目标检测的小目标语义分割方法
CN101763429B (zh) 一种基于颜色和形状特征的图像检索方法
CN103578085B (zh) 基于可变块的图像空洞区域修补方法
CN110059697A (zh) 一种基于深度学习的肺结节自动分割方法
CN103544697B (zh) 一种基于超图谱分析的图像分割方法
CN104134234A (zh) 一种全自动的基于单幅图像的三维场景构建方法
US9367737B2 (en) Floor plan space detection
CN102903128A (zh) 基于局部特征结构保持的视频图像内容编辑传播方法
CN110263794B (zh) 基于数据增强的目标识别模型的训练方法
CN103985133A (zh) 基于图割能量优化的影像间最优拼接线寻找方法及系统
CN103198479A (zh) 基于语义信息分类的sar图像分割方法
CN101833668B (zh) 一种基于轮廓带图的相似单元的检测方法
CN106096592A (zh) 一种数字图书的版面分析方法
CN109272467A (zh) 一种基于多尺度边缘线索的层次化图像分割方法
CN101299277A (zh) 一种黑白图像彩色化处理的方法和系统
CN107886512A (zh) 一种确定训练样本的方法
CN103971338A (zh) 一种基于显著图的可变块图像修复方法
CN108921120A (zh) 一种适应广泛零售场景下的香烟识别方法
EP3971829A1 (en) Cutting method, apparatus and system for point cloud model
CN102982524A (zh) 玉米果穗有序图像的拼接方法
CN107423689A (zh) 智能交互式人脸关键点标注方法
CN107507202A (zh) 一种面向高分辨率遥感影像的植被环岛自动化提取方法
Hu et al. Geometric feature enhanced line segment extraction from large-scale point clouds with hierarchical topological optimization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant