CN101661613A - 一种基于图像分割的图像修复方法及系统 - Google Patents

一种基于图像分割的图像修复方法及系统 Download PDF

Info

Publication number
CN101661613A
CN101661613A CN200910091756A CN200910091756A CN101661613A CN 101661613 A CN101661613 A CN 101661613A CN 200910091756 A CN200910091756 A CN 200910091756A CN 200910091756 A CN200910091756 A CN 200910091756A CN 101661613 A CN101661613 A CN 101661613A
Authority
CN
China
Prior art keywords
image
area
region segmentation
known pixels
match block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910091756A
Other languages
English (en)
Other versions
CN101661613B (zh
Inventor
苗振江
张如
唐振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN2009100917560A priority Critical patent/CN101661613B/zh
Publication of CN101661613A publication Critical patent/CN101661613A/zh
Application granted granted Critical
Publication of CN101661613B publication Critical patent/CN101661613B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像分割的图像修复方法及系统,包括:首先,由用户手动选择并标识图像中待修复的区域;然后,用均值漂移算法进行图像区域分割,将图像分割为N个区域;最后,对待修复区域进行重复迭代,直至待修复区域内所有像素被填满。本发明方法优化了图像修复算法中优先权的计算,从而有效地防止了经修复后图像高纹理区域向低纹理区域过度扩张,并在此基础上制定了基于图像区域分割的匹配块搜索准则,以避免错误块的引入。较之原有基于样例的图像修复方法,本发明方法的效果更加符合人类的视觉期望,目前本发明方法已成功应用于各种具有复杂纹理和结构特征的图像的大尺寸区域修复,也可应用于文字的去除、目标物的移除等方面。

Description

一种基于图像分割的图像修复方法及系统
技术领域
本发明涉及一种大尺度区域的图像修复方法,属于数字图像处理和计算机视觉领域。
背景技术
数字图像修复技术属于图像复原的研究领域,其目的是为了研究和解决如何更好地实现检测图像的受损部分,然后根据图像受损部分周围的有效信息用图像修补算法对图像的受损部分自动进行恢复。近年来,数字图像修复技术在印前图像处理、文物图像恢复、影视特技制作、虚拟现实、生物医学、障碍物去除(如:视频图像中删除部分物体、文字、标题等)等方面有着广泛的应用前景。
根据待修复区域的大小和形状的不同,图像修复方法可以分成两类,即基于偏微分方程的方法和基于纹理合成的方法。早期的图像修复技术大多基于偏微分方程,其用于图像修复的主要优点是:对待修复区域没有拓扑限制,而且插值由合适的PDE数值格式自动完成。这就免去了进行边缘检测、T形交汇(T-junction)检测和连接或者目标分割等工作。但是需要指出的是,因为(1)该类算法是在有界变分空间对图像建模,且把图像视为分段平滑函数,不包含任何纹理信息;(2)该类算法本质上是一种扩散过程,也就是将破损区域周边的信息扩散到破损区域中,因此一旦修复大面积缺损图像,特别是具有丰富纹理的图像时会产生模糊现象,很难与周围的图像信息保持一致。
基于纹理合成的图像修复技术主要用于去除图像中的目标物体或大的区域,然后再填充这些丢失的数据,以解决相关应用中的关键问题。其主要思想是,从待修补区域的边界上选取一个像素点,以该点为中心,根据图像的纹理特征,选取大小合适的纹理块,然后在待修补区域的周围寻找与之最相近的纹理匹配块,来替代该纹理块。Harrison在文献A nonhierarchical procedure forresynthesis of complex texture中首先提出一种基于模板的算法来去除不想要的目标,但这种算法对噪声的鲁棒性能不好,常常使图像的线结构变得模糊不清。Drori I等在文献Fragment-based image completion中提出一种基于碎片(Fragment-Based)的图像补全算法,它利用已知图像区域的纹理信息作为训练集去推导待修复图像区域内的信息,并通过在平滑估计值的引导下进行迭代,逐步更新其中的信息。尽管该算法取得了较好的修复效果,但由于其利用全搜索过程寻找相似碎片,速度十分慢,处理一幅大小384×223的图像大概需要83min到158min(视修补区域的大小而定),大大地影响了它的实用范围。Criminisi A等在文献Region filling and object removal by exemplar-based imageinpainting中提出了一种基于样例的图像修复技术,其实质是结合了纹理合成和扩散修补方法二者的优点,通过抽取纹理样本块并按照一定的优先顺序向修补区域复制。该图像修复技术的图像填充算法在填充一个块时完成一次迭代,循环执行以下三个步骤:
(1)计算填充的优先权:为了使那些具有较强的连续边缘纹理块和需要填充的块里有较多的已知信息的纹理块优先被修补,因此如何计算填充顺序很重要。Criminisi的区域填充算法的核心思想是考虑了目标区域的填充优先顺序问题,即填充目标区域时,计算轮廓上的所有目标块的优先级,具有高优先级的目标块优先填充并获得更新。
(2)搜索最佳匹配块:一旦确定了待填充的目标块,就可以在源区域中直接采样,依据某种相似性度量来寻找最相似的源块。此处选取与当前目标块已知像素在颜色空间欧氏距离最小的源块作为匹配块。
(3)将所选择的匹配块复制到目标区域内的适当位置,即把寻找到的匹配块中的相应像素点复制到当前目标块中的未知点,完成一次填充。
基于样例的图像修复方法将丰富的纹理信息复制到破损区域,因此可以处理大面积的图像破损,相比其他技术,能获得较好的视觉效果,但也存在一些不足之处:(1)边界像素优先权的计算过于简单,对较为平坦的低纹理区域的修复顺序明显滞后,容易造成修复后图像高纹理区域向低纹理区域过度扩张;(2)该算法在寻找匹配块时,大多采用的是一种全局搜索方法。这种搜索方法在图像包含较多噪声时,纹理合成阶段往往不能找到合适的匹配纹理块,从而容易导致匹配错误,且随着填充过程的进行,还会扩展到后面的传播过程中,导致修复结果不理想。
结合以上分析可知,基于样例的图像修复算法仍然存在两个关键问题:一是修补前缘如何确定优先权顺序;二是寻找避免引入错误块的搜索匹配算法。
发明内容
本发明的目的在于克服现有基于样例的图像修复技术中存在的不足,提供一种鲁棒性高、修复效果好的图像修复方法,利用该方法用户只需简单地选择需修复的区域,计算机就会自动完成图像修复工作,还原具有复杂纹理和结构特征的各种大面积缺损图像。本发明解决其技术问题所采用的技术方案是:
一种基于图像区域分割的图像修复方法,其步骤如下:
步骤1标识待修复区域:用户手动选择并标识图像中待修复的区域,标识完成后,得到初始填充前缘δΩ0
步骤2进行图像区域分割:用均值漂移算法将已标识的待修复图像分割为多个区域,生成一张填充前缘与初始填充前缘相同的区域分割图;
步骤3重复迭代,对待修复区域进行重复迭代,直至待修复区域内所有像素被填满,即当前填充区域
Figure G2009100917560D00041
所述重复迭代步骤如下:
第一步,计算当前填充边缘所有目标块的优先级;
第二步,搜索匹配块,其根据基于图像区域分割的匹配块搜索准则,在图像的已知区域内寻找本次迭代的匹配块;
第三步,填充当前块,即依照寻找到的匹配块填充当前目标块内的未知像素;
第四步,更新置信度与区域分割图,即更新本次迭代处理的目标块内被填充像素的置信度值,更新区域分割图中被填充像素的所属图像区域信息。
步骤2中所述区域分割图是指,大小与待修复图像大小相同并标明每个像素所属区域标号的图,当一个图像被分割为N个区域时,区域分割图的像素存储值为从1到N,标识好的整个待修补区域属于其中的一个区域。
步骤3中第一步,计算当前填充边缘所有目标块的优先级方法如下:
对于待填充区域边缘δΩ上的某点p,定义模板窗口Ψp的优先权P(p)计算公式:
P(p)=[C(p)+λD(p)]×n2
其中,n为当前目标块内已知像素的所属区域个数,当n≥3时,计算中一律取n=3,C(p)被称为置信度项,D(p)被称为数据项,分别定义如下:
C ( p ) = Σ q ∈ Ψ p ∩ Φ C ( q ) | Ψ p |
D ( p ) = | ▿ I p ⊥ · n p | α
其中,|Ψp|是Ψp的面积,α为归一化因子(若图像各分量值为255级,则取α=255),np是在边缘点p在轮廓δΩ的单位外法向量,
Figure G2009100917560D00053
表示点p处的等辐照线的方向和强度,该
Figure G2009100917560D00054
与p点图像梯度矢量大小相同,方向垂直:
▿ I p ⊥ = ( - I y , I x ) I x 2 + I y 2
其中,Ix、Iy分别代表像素点p分别在x和y方向上的偏微分。
在上述优先权P(p)计算公式中,调整数据项D(p)在优先权计算时所占的权重,从而避免优先权曲线的形状跟随着置信度值下降的缺陷;所述当前目标块已知像素所属的区域数是指,当目标块属于n个区域时,表明该目标块在强结构边缘处,此时应该被优先填充,否则会引起某一个区域的过度繁殖,无法保持边界结构的完整;此外,n取平方以便提高已知像素的所属区域个数这一参数在计算优先权中的影响力。
优选地,在所述搜索匹配块中,对具有最大优先权的待修补块,在整个图像已知区域内寻找一个最佳的匹配块。所述搜索匹配块模块的匹配块搜索准则如下:
(1)首先,根据当前目标块内已知像素点的位置,确定该已知像素点的所属区域,所述所属区域是指图像所分割的n个区域:n1,n2,n3,......n;
(2)其次,依次计算源域中各个块内像素点的所属区域情况,其与目标块内已知像素点的所属区域相比较,分为以下三种情况:
情况一,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全相同;
情况二,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别有交叉,仅部分相同;
情况三,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全不相同。
(3)最后,在进行相似点匹配时以情况一为最优,如果在源域的所有块中有与当前目标块已知像素类别完全相同的一些匹配块,那么,在这些匹配块中再选取颜色空间欧氏距离最小的作为最终匹配结果;若无满足情况一的匹配块,考虑情况二和情况三。
所述颜色空间欧式距离最小用公式表示为:
Ψ q ^ = arg min Ψ q ∈ Φ d ( Ψ p ^ , Ψ q )
其中,
Figure G2009100917560D00062
定义为2个块中已经填充的像素的平方误差的和,定义为:
d ( Ψ p ^ , Ψ q ^ ) = Σ [ ( I R - I R ′ ) 2 + ( I G - I G ′ ) 2 + ( I B - I B ′ ) 2 ]
I、I′分别对应于邻域窗口Ψp和匹配邻域窗口Ψq中的已知像素点。
一种基于图像区域分割的图像修复系统,其包括:
标识待修复区域模块,其实现用户手动选择和标识图像中待修复的区域,标识完成后,得到初始填充前缘δΩ0
图像区域分割模块,其用均值漂移算法将已标识的待修复图像分割为多个区域,生成一张填充前缘与初始填充前缘相同的区域分割图;以及,重复迭代模块,其对待修复区域重复迭代,直至待修复区域内所有像素被填满,即当前填充区域
Figure G2009100917560D00071
所述重复迭代模块包括:
计算填充优先级模块,其负责计算当前填充边缘所有目标块的优先级;
搜索匹配块模块,其根据基于图像区域分割的匹配块搜索准则,在图像的已知区域内寻找本次迭代的匹配块;
填充当前块模块,其依照寻找到的匹配块填充当前目标块内的未知像素;以及,
更新置信度与区域分割图模块,其负责更新本次迭代处理的目标块内被填充像素的置信度值,更新区域分割图中被填充像素的所属图像区域信息。
优选地,在所述搜索匹配块模块中,对具有最大优先权的块,在整个图像已知区域内寻找一个最佳的匹配块;所述搜索匹配块模块的匹配块搜索准则如下:
(1)首先,根据当前目标块内已知像素点的位置,确定该已知像素点的所属区域,所述所属区域是指图像所分割成的n个区域:n1,n2,n3,......n;
(2)其次,依次计算源域中各个块内像素点的所属区域,其与目标块内已知像素点的所属区域相比较,分为以下三种情况:
情况一,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全相同;
情况二,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别有交叉,仅部分相同;
情况三,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全不相同。
(3)最后,在进行相似点匹配时以情况一为最优,即如果在源域的所有块中有与当前目标块已知像素类别完全相同的一个或多个匹配块,在它们之中再选取颜色空间欧氏距离最小的作为最终匹配结果;若无满足情况一的匹配块,才去考虑情况二、情况三。
本发明的有益效果
(1)本发明所采用的基于图像区域分割的匹配块搜索准则,首先把图像划分为不同的纹理区域,然后根据当前目标块的已知像素所属区域类别搜索在源域中搜索匹配块进行修复,这种新的搜索匹配准则有效地克服了现有技术中仅仅计算颜色空间欧氏距离所带来的错误块匹配现象。
(2)对于通常情况下的各种不同图像,其纹理和结构特征的相对重要性总在不断变化当中。本发明所采用的优先权计算公式将置信度项与数据项进行加权,可以针对不同图像待填补情况调整数据项在优先权中的权重。同时,本发明的优先权计算公式采用一种与当前块已知像素所属区域类别数相关的优先权计算方法,这样保证了区域块边界的优先修补顺序,解决了高纹理区域向低纹理区域的扩张的问题。
综上,本发明的图像修复方法较之原有基于样例的图像修复方法效果更加符合人类的视觉期望,更接近于手工修复过程,鲁棒性高,从而有效地防止了错误匹配块的出现。本发明的方法已成功应用于各种具有复杂纹理和结构特征的图像的大尺度区域修复,也可应用于文字的去除、目标物的移除等方面。
附图说明
图1为根据本发明的图像修复方法的工作流程图;
图2为根据本发明的图像修复系统的模块结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细描述:
实施例1:
本发明的图像修复方法的主要工作流程如图1所示,该图像修复方法的步骤为:
(1)标识待修复区域:用户手动选择和标识图像中待修复的区域,标识完成后,得到初始填充前缘δΩ0
(2)图像区域分割:用均值漂移算法将图像分割为多个区域,生成一张填充前缘与初始填充前缘相同的区域分割图;
(3)迭代填充待修复区域:进行重复迭代,直至待修复区域内所有像素被填满,即当前填充区域重复迭代步骤如下:
第一步,计算填充优先级,即计算当前填充边缘所有目标块的优先级。
假设图像I为待修补的图像,用户要填充的目标区域为Ω,其轮廓记为δΩ,定义填充的源域(已知区域)Φ为整个图像I减去目标区域Ω,即Φ=I-Ω,源域在整个填充的过程中提供样本。根据图像的纹理特征,首先确定用于计算优先权的模板窗口Ψp(以p点为中心的邻域窗口),窗口的大小应比图像中最大纹元稍大一些,而对任意边缘点p∈δΩ,定义模板窗口Ψp的优先权P(p)为
P(p)=[C(p)+λ·D(p)]×n2
其中,n为当前目标块内已知像素所属区域数,C(p)被称为置信度项,D(p)被称为数据项,Criminisi等在文献Region filling and object removal byexemplar-based image inpainting中对它们分别定义如下:
C ( p ) = Σ q ∈ Ψ p ∩ Φ C ( q ) | Ψ p |
D ( p ) = | ▿ I p ⊥ · n p | α
其中|Ψp|是Ψp的面积,α为归一化因子(若图像各分量值为255级,则取α=255),np是在边缘点p在轮廓δΩ的单位外法向量,
Figure G2009100917560D00103
表示点p处的等辐照线的方向和强度,
Figure G2009100917560D00104
与p点图像梯度矢量大小相同,方向垂直:
▿ I p ⊥ = ( - I y , I x ) I x 2 + I y 2
其中,Ix、Iy分别代表像素点p分别在x和y方向上的偏微分。初始化时,像素点q的置信度项:
C ( q ) = 0 q ∈ Ω 1 q ∈ I - Ω
在本发明中定义的优先权计算公式中,调整数据项D(p)在优先权计算时所占的权重,从而避免优先权曲线的形状跟随着置信度值下降的缺陷;公式中还用到了当前目标块已知像素所属的区域个数,也就是说当目标块属于几个区域时,表明该目标块在强结构边缘处,此时应该被优先填充,否则会引起某一个区域的过度繁殖,无法保持边界结构的完整。另外,取n的平方主要是为了提高已知像素的“所属区域个数”这一参数在计算优先权中的影响力。
第二步,搜索匹配块,即根据基于图像区域分割的匹配块搜索准则,在图像的已知区域内寻找本次迭代的匹配块。
此时已确定边缘点中具有最大优先权的块
Figure G2009100917560D00107
接下来在整个图像区域内寻找一个最佳的匹配块 Ψ q ^ ∈ Φ . 本发明制定了基于图像区域分割的匹配块搜索准则,其步骤为:
(1)首先,得到当前目标块内已知像素点的所属区域情况,即确定这些已知像素点所在的n个区域:n1,n2,n3,......n;
(2)其次,依次计算源域中各个块内像素点的所属区域情况,该结果与上一步中得到的当前目标块内已知像素点的所属区域情况进行比较判断,可能的情况分为三种:
情况一:它们的类别个数,大小完全相等,即当前目标块已知像素所属的区域类别与某个匹配块已知像素所属的区域类别相同;
情况二:它们的类别有部分相等,交叉;
情况三:它们的类别完全不相等。
此处的颜色空间欧式距离最小用公式表示为:
Ψ q ^ = arg min Ψ q ∈ Φ d ( Ψ p ^ , Ψ q )
其中,
Figure G2009100917560D00112
定义为2个块中已经填充的像素的平方误差的和,定义为:
d ( Ψ p ^ , Ψ q ^ ) = Σ [ ( I R - I R ′ ) 2 + ( I G - I G ′ ) 2 + ( I B - I B ′ ) 2 ]
其中,I、I′分别对应于邻域窗口Ψp和匹配邻域窗口Ψq中的已知像素点。
第三步,依照寻找到的匹配块填充当前目标块内待修复位置的未知像素值。把寻找到的中的相应像素点复制到
Figure G2009100917560D00115
中的未知点,完成一次填充。
第四步,更新本次迭代处理的目标块内被填充像素的置信度值,更新区域分割图中被填充像素的所属图像区域信息,把用来填充的匹配块像素点的所属区域信息复制到区域分割图内相应的被填充像素中,从而完成一次迭代过程。
实施例2
如图2所示的根据本发明的一种基于图像区域分割的图像修复系统,其包括以下模块:
标识待修复区域模块,其实现用户手动选择和标识图像中待修复的区域,标识完成后,得到初始填充前缘δΩ0
图像区域分割模块,其用均值漂移算法将已标识的待修复图像分割为多个区域,生成一张填充前缘与初始填充前缘相同的区域分割图;以及,
重复迭代模块,其对待修复区域重复迭代,直至待修复区域内所有像素被填满,即当前填充区域
Figure G2009100917560D00121
在本实施例中,重复迭代模块包括:
计算填充优先级模块,其负责计算当前填充边缘所有目标块的优先级;
搜索匹配块模块,其根据基于图像区域分割的匹配块搜索准则,在图像的已知区域内寻找本次迭代的匹配块;
填充当前块模块,其依照寻找到的匹配块填充当前目标块内的未知像素;以及,
更新置信度与区域分割图模块,其负责更新本次迭代处理的目标块内被填充像素的置信度值,更新区域分割图中被填充像素的所属图像区域信息。
在本实施例的优选方案中,在搜索匹配块模块中,对具有最大优先权的块,在整个图像已知区域内寻找一个最佳的匹配块;所述搜索匹配块模块的匹配块搜索准则如下:
(1)首先,根据当前目标块内已知像素点的位置,确定该已知像素点的所属区域,所述所属区域是指图像所分割成的n个区域:n1,n2,n3,......n;
(2)其次,依次计算源域中各个块内像素点的所属区域,其与目标块内已知像素点的所属区域相比较,分为以下三种情况:
情况一,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全相同;
情况二,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别有交叉,仅部分相同;
情况三,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全不相同。
(3)最后,在进行相似点匹配时以情况一为最优,即如果在源域的所有块中有与当前目标块已知像素类别完全相同的一些匹配块,在在这些完全相同的一些匹配块之中再选取颜色空间欧氏距离最小的作为最终匹配结果;若无满足情况一的匹配块,才去考虑情况二、情况三。
以上仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于图像区域分割的图像修复方法,其特征在于,包括以下步骤:
步骤1标识待修复区域:用户手动选择并标识图像中待修复的区域,标识完成后,得到初始填充前缘δΩ0
步骤2进行图像区域分割:用均值漂移算法将已标识的待修复图像分割为多个区域,生成一张填充前缘与初始填充前缘相同的区域分割图;
步骤3对待修复区域进行重复迭代,直至待修复区域内所有像素被填满,即当前填充区域
Figure A2009100917560002C1
所述重复迭代步骤如下:
第一步,计算当前填充边缘所有目标块的优先级;
第二步,搜索匹配块,其根据基于图像区域分割的匹配块搜索准则,在图像的已知区域内寻找本次迭代的匹配块;
第三步,填充当前块,即依照寻找到的匹配块填充当前目标块内的未知像素;
第四步,更新置信度与区域分割图,即更新本次迭代处理的目标块内被填充像素的置信度值,更新区域分割图中被填充像素的所属图像区域信息。
2.根据权利要求1所述的基于图像区域分割的图像修复方法,其特征在于,步骤2中所述区域分割图是指,大小与待修复图像大小相同且标明每个像素所属区域标号的图,当一个图像被分割为N个区域时,区域分割图的像素存储值为从1到N,标识好的整个待修补区域属于其中的一个区域。
3.根据权利要求1所述的基于图像区域分割的图像修复方法,其特征在于,步骤3中,第一步所述计算当前填充边缘所有目标块的优先级方法是指,对于待填充区域边缘δΩ上的某点p,定义模板窗口Ψp的优先权P(p)计算公式:
P(p)=[C(p)+λD(p)]×n2
其中,n为当前迭代目标块内已知像素的所属区域个数,当n≥3时,计算中一律取n=3,C(p)为置信度项,D(p)为数据项,分别定义如下:
C ( p ) = Σ q ∈ Ψ p ∩ Φ C ( q ) | Ψ p | D ( p ) = | ▿ I p ⊥ · n p | α
其中,|Ψp|是Ψp的面积,α为归一化因子,若图像各分量值为255级,则取α=255,np是在边缘点p在轮廓δΩ的单位外法向量,
Figure A2009100917560003C2
表示点p处的等辐照线的方向和强度,该
Figure A2009100917560003C3
与p点图像梯度矢量大小相同,方向垂直:
▿ I p ⊥ = ( - I y , I x ) I x 2 + I y 2
其中,Ix、Iy分别代表像素点p分别在x和y方向上的偏微分。
4.根据权利要求3所述的基于图像区域分割的图像修复方法,其特征在于,所述优先权的计算公式中,通过调整数据项D(p)在优先权计算时所占的权重,避免优先权曲线的形状跟随着置信度值下降的缺陷;所述当前目标块内已知像素所属区域个数是指,当目标块属于n个区域时,表明该目标块在强结构边缘处,此时应该被优先填充,否则会引起某一个区域的过度繁殖,无法保持边界结构的完整,此外,n取平方的目的在于提高已知像素的所属区域个数在计算优先权中的影响力。
5.根据权利要求1所述的基于图像区域分割的图像修复方法,其特征在于,步骤3中,第二步在所述搜索匹配块模块中,对具有最大优先权的块,在整个图像区域内寻找一个最佳的匹配块,所述搜索匹配块模块的匹配块搜索准则如下:
(1)首先,根据当前目标块内已知像素点的位置,确定该已知像素点的所属区域,所述所属区域是指图像所分割的n个区域:n1,n2,n3,……n;
(2)其次,依次计算源域中各个块内像素点的所属区域情况,其与目标块内已知像素点的所属区域相比较,分为以下三种情况:
情况一,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全相同;
情况二,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别有交叉,仅部分相同;
情况三,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全不相同;
(3)最后,在进行相似点匹配时以情况一为最优,如果在源域的所有块中有与当前目标块已知像素类别完全相同的一个或多个匹配块,在所述一个或多个匹配块中再选取颜色空间欧氏距离最小的作为最终匹配结果;若无满足情况一的匹配块,才去考虑情况二、情况三;所述颜色空间欧式距离最小用公式表示为:
Ψ q ^ = arg min Ψ q ∈ Φ d ( Ψ p ^ , Ψ q )
其中,
Figure A2009100917560004C2
定义为2个块中已经填充的像素的平方误差的和,定义为:
d ( Ψ p ^ , Ψ q ^ ) = Σ [ ( I R - I R ′ ) 2 + ( I G - I G ′ ) 2 + ( I B - I B ′ ) 2 ]
I、I′分别对应于邻域窗口Ψp和匹配邻域窗口Ψq中的已知像素点。
6.根据权利要求1所述的基于图像区域分割的图像修复方法,其特征在于,步骤3中,第四步所述区域分割图中被填充像素的所属图像区域信息的更新是指,在每一轮迭代结束时,把用来填充的匹配块像素点的所属区域信息复制到区域分割图内相应的被填充像素中。
7.一种基于图像区域分割的图像修复系统,其特征在于,包括:
标识待修复区域模块,其实现用户手动选择和标识图像中待修复的区域,标识完成后,得到初始填充前缘δΩ0
图像区域分割模块,其用均值漂移算法将已标识的待修复图像分割为多个区域,生成一张填充前缘与初始填充前缘相同的区域分割图;以及,
重复迭代模块,其对待修复区域重复迭代,直至待修复区域内所有像素被填满,即当前填充区域
8.根据权利要求7所述的基于图像区域分割的图像修复系统,其特征在于,所述重复迭代模块包括:
计算填充优先级模块,其负责计算当前填充边缘所有目标块的优先级;
搜索匹配块模块,其根据基于图像区域分割的匹配块搜索准则,在图像的已知区域内寻找本次迭代的匹配块;
填充当前块模块,其依照寻找到的匹配块填充当前目标块内的未知像素;以及,
更新置信度与区域分割图模块,其负责更新本次迭代处理的目标块内被填充像素的置信度值,更新区域分割图中被填充像素的所属图像区域信息。
9.根据权利要求8所述的基于图像区域分割的图像修复系统,其特征在于,在所述搜索匹配块模块中,对具有最大优先权的块,在整个图像区域内寻找一个最佳的匹配块;所述搜索匹配块模块的匹配块搜索准则如下:
(1)首先,根据当前目标块内已知像素点的位置,确定该已知像素点的所属区域,所述所属区域是指图像所分割成的n个区域:n1,n2,n3,……n;
(2)其次,依次计算源域中各个块内像素点的所属区域,其与目标块内已知像素点的所属区域相比较,分为以下三种情况:
情况一,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全相同;
情况二,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别有交叉,仅部分相同;
情况三,当前目标块已知像素所属的区域与某个匹配块已知像素所属的区域类别完全不相同;
(3)最后,在进行相似点匹配时以情况一为最优,即如果在源域的所有块中有与当前目标块已知像素类别完全相同的一个或多个匹配块,那么,在所述一个或多个匹配块中再选取颜色空间欧氏距离最小的作为最终匹配结果;若无满足情况一的匹配块,那么考虑情况二、情况三。
CN2009100917560A 2009-08-27 2009-08-27 一种基于图像分割的图像修复方法及系统 Expired - Fee Related CN101661613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100917560A CN101661613B (zh) 2009-08-27 2009-08-27 一种基于图像分割的图像修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100917560A CN101661613B (zh) 2009-08-27 2009-08-27 一种基于图像分割的图像修复方法及系统

Publications (2)

Publication Number Publication Date
CN101661613A true CN101661613A (zh) 2010-03-03
CN101661613B CN101661613B (zh) 2011-11-09

Family

ID=41789618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100917560A Expired - Fee Related CN101661613B (zh) 2009-08-27 2009-08-27 一种基于图像分割的图像修复方法及系统

Country Status (1)

Country Link
CN (1) CN101661613B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980285A (zh) * 2010-11-09 2011-02-23 西安电子科技大学 结合gmrf先验的非局部图像修复方法
CN102063705A (zh) * 2010-12-02 2011-05-18 天津大学 一种大区域非均匀纹理合成方法
CN102117481A (zh) * 2011-03-17 2011-07-06 西安交通大学 一种破损图像自动数字化修复的方法
CN102142132A (zh) * 2011-03-31 2011-08-03 北京交通大学 基于模块的图像修复方法
CN102201111A (zh) * 2011-05-26 2011-09-28 重庆大学 自适应图像修复方法
CN102999887A (zh) * 2012-11-12 2013-03-27 中国科学院研究生院 一种基于样本的图像修复方法
CN103761708A (zh) * 2013-12-30 2014-04-30 浙江大学 基于轮廓匹配的图像修复方法
CN103824259A (zh) * 2013-11-01 2014-05-28 华南理工大学 一种基于视觉区域比重平衡法则的图像构图美化方法和系统
CN103955890A (zh) * 2014-05-29 2014-07-30 浙江工商大学 一种立体图像修复方法
CN104715490A (zh) * 2015-04-09 2015-06-17 江西理工大学 一种基于自适应步长和声搜索算法的脐橙图像分割方法
CN104735364A (zh) * 2013-12-19 2015-06-24 中兴通讯股份有限公司 一种照片拍摄处理方法和设备
CN106228519A (zh) * 2016-07-18 2016-12-14 广东欧珀移动通信有限公司 一种图像修复方法及终端
CN104077765B (zh) * 2013-03-26 2017-03-01 富士通株式会社 图像分割装置、图像分割方法
CN107316283A (zh) * 2017-07-14 2017-11-03 天津大学 基于多窗口融合的数字图像修复算法
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置
CN107967673A (zh) * 2017-12-03 2018-04-27 天津大学 一种自适应样本块图像修复方法
CN109829867A (zh) * 2019-02-12 2019-05-31 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法
CN110147816A (zh) * 2019-04-10 2019-08-20 中国科学院深圳先进技术研究院 一种彩色深度图像的获取方法、设备、计算机存储介质
CN110349091A (zh) * 2018-04-08 2019-10-18 北京大学 基于图信号处理的点云修复方法、装置及终端
CN110599511A (zh) * 2019-08-20 2019-12-20 中山市奥珀金属制品有限公司 一种保留图像边缘的图像滤波方法、装置及存储介质
WO2020108358A1 (zh) * 2018-11-29 2020-06-04 腾讯科技(深圳)有限公司 图像修复方法、装置、计算机设备和存储介质
CN111353956A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111937029A (zh) * 2018-09-18 2020-11-13 富士施乐株式会社 图像处理装置、图像处理方法、图像处理程序和存储介质
CN112184569A (zh) * 2020-09-08 2021-01-05 杭州三坛医疗科技有限公司 图像修复方法和图像修复装置
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980285A (zh) * 2010-11-09 2011-02-23 西安电子科技大学 结合gmrf先验的非局部图像修复方法
CN101980285B (zh) * 2010-11-09 2013-04-17 西安电子科技大学 结合gmrf先验的非局部图像修复方法
CN102063705A (zh) * 2010-12-02 2011-05-18 天津大学 一种大区域非均匀纹理合成方法
CN102117481A (zh) * 2011-03-17 2011-07-06 西安交通大学 一种破损图像自动数字化修复的方法
CN102117481B (zh) * 2011-03-17 2012-11-28 西安交通大学 一种破损图像自动数字化修复的方法
CN102142132A (zh) * 2011-03-31 2011-08-03 北京交通大学 基于模块的图像修复方法
CN102201111B (zh) * 2011-05-26 2013-04-17 重庆大学 自适应图像修复方法
CN102201111A (zh) * 2011-05-26 2011-09-28 重庆大学 自适应图像修复方法
CN102999887A (zh) * 2012-11-12 2013-03-27 中国科学院研究生院 一种基于样本的图像修复方法
CN102999887B (zh) * 2012-11-12 2015-07-01 中国科学院研究生院 一种基于样本的图像修复方法
CN104077765B (zh) * 2013-03-26 2017-03-01 富士通株式会社 图像分割装置、图像分割方法
CN103824259A (zh) * 2013-11-01 2014-05-28 华南理工大学 一种基于视觉区域比重平衡法则的图像构图美化方法和系统
CN103824259B (zh) * 2013-11-01 2016-08-17 华南理工大学 一种基于视觉区域比重平衡法则的图像构图美化方法和系统
CN104735364A (zh) * 2013-12-19 2015-06-24 中兴通讯股份有限公司 一种照片拍摄处理方法和设备
CN103761708B (zh) * 2013-12-30 2016-09-07 浙江大学 基于轮廓匹配的图像修复方法
CN103761708A (zh) * 2013-12-30 2014-04-30 浙江大学 基于轮廓匹配的图像修复方法
CN103955890A (zh) * 2014-05-29 2014-07-30 浙江工商大学 一种立体图像修复方法
CN103955890B (zh) * 2014-05-29 2017-01-11 浙江工商大学 一种立体图像修复方法
CN104715490B (zh) * 2015-04-09 2017-05-03 江西理工大学 一种基于自适应步长和声搜索算法的脐橙图像分割方法
CN104715490A (zh) * 2015-04-09 2015-06-17 江西理工大学 一种基于自适应步长和声搜索算法的脐橙图像分割方法
CN106228519A (zh) * 2016-07-18 2016-12-14 广东欧珀移动通信有限公司 一种图像修复方法及终端
CN106228519B (zh) * 2016-07-18 2019-08-30 Oppo广东移动通信有限公司 一种图像修复方法及终端
CN107316283A (zh) * 2017-07-14 2017-11-03 天津大学 基于多窗口融合的数字图像修复算法
CN107316283B (zh) * 2017-07-14 2020-08-14 天津大学 基于多窗口融合的数字图像修复方法
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置
CN107967673B (zh) * 2017-12-03 2019-12-17 天津大学 一种自适应样本块图像修复方法
CN107967673A (zh) * 2017-12-03 2018-04-27 天津大学 一种自适应样本块图像修复方法
CN110349091A (zh) * 2018-04-08 2019-10-18 北京大学 基于图信号处理的点云修复方法、装置及终端
CN110349091B (zh) * 2018-04-08 2021-07-02 北京大学 点云修复方法、装置及终端
CN111937029B (zh) * 2018-09-18 2024-05-24 富士胶片商业创新有限公司 图像处理装置、图像处理方法、图像处理程序和存储介质
CN111937029A (zh) * 2018-09-18 2020-11-13 富士施乐株式会社 图像处理装置、图像处理方法、图像处理程序和存储介质
WO2020108358A1 (zh) * 2018-11-29 2020-06-04 腾讯科技(深圳)有限公司 图像修复方法、装置、计算机设备和存储介质
CN109829867A (zh) * 2019-02-12 2019-05-31 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法
CN110147816A (zh) * 2019-04-10 2019-08-20 中国科学院深圳先进技术研究院 一种彩色深度图像的获取方法、设备、计算机存储介质
CN110147816B (zh) * 2019-04-10 2023-04-07 中国科学院深圳先进技术研究院 一种彩色深度图像的获取方法、设备、计算机存储介质
CN110599511A (zh) * 2019-08-20 2019-12-20 中山市奥珀金属制品有限公司 一种保留图像边缘的图像滤波方法、装置及存储介质
CN110599511B (zh) * 2019-08-20 2023-09-01 广东奥珀智慧家居股份有限公司 一种保留图像边缘的图像滤波方法、装置及存储介质
CN111353956B (zh) * 2020-02-28 2022-11-15 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111353956A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN112184569A (zh) * 2020-09-08 2021-01-05 杭州三坛医疗科技有限公司 图像修复方法和图像修复装置
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法

Also Published As

Publication number Publication date
CN101661613B (zh) 2011-11-09

Similar Documents

Publication Publication Date Title
CN101661613B (zh) 一种基于图像分割的图像修复方法及系统
CN101777178B (zh) 一种图像修复方法
CN103971338B (zh) 一种基于显著图的可变块图像修复方法
CN103578085B (zh) 基于可变块的图像空洞区域修补方法
CN102117481B (zh) 一种破损图像自动数字化修复的方法
CN110853026B (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
CN106204503B (zh) 基于改进置信度更新函数及匹配准则的图像修复算法
CN100448271C (zh) 基于全景图拼接的视频编辑方法
BRPI0613102A2 (pt) recortar e colar objeto de vìdeo
CN103473780A (zh) 一种人像背景抠图的方法
CN103886561B (zh) 基于数学形态学的Criminisi图像修复方法
CN102831584B (zh) 一种数据驱动的物体图像修复系统及方法
CN102999887A (zh) 一种基于样本的图像修复方法
CN102693534A (zh) 一种基于图像修补技术的快速去除图像污点的方法
CN103295199A (zh) 古壁画的裂缝智能修复辅助系统
CN104200444A (zh) 基于对称样本块的图像修复方法
CN101833668B (zh) 一种基于轮廓带图的相似单元的检测方法
CN107369204A (zh) 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法
CN101459843B (zh) 一种精确提取视频序列中损坏内容区域的方法
CN107240073A (zh) 一种基于梯度融合与聚类的三维视频图像修复方法
CN104282000A (zh) 一种基于旋转及尺度变换的图像修复方法
CN104952102A (zh) 面向延迟着色的统一反走样方法
CN102005061B (zh) 基于分层-补洞的卡通动画再利用方法
CN104778673A (zh) 一种改进的高斯混合模型深度图像增强算法
CN104599253A (zh) 一种自然图像阴影消除方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111109

Termination date: 20120827