CN106056546B - 一种基于样本块匹配的图像修复方法和装置 - Google Patents

一种基于样本块匹配的图像修复方法和装置 Download PDF

Info

Publication number
CN106056546B
CN106056546B CN201610356009.5A CN201610356009A CN106056546B CN 106056546 B CN106056546 B CN 106056546B CN 201610356009 A CN201610356009 A CN 201610356009A CN 106056546 B CN106056546 B CN 106056546B
Authority
CN
China
Prior art keywords
repaired
block
image
module
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610356009.5A
Other languages
English (en)
Other versions
CN106056546A (zh
Inventor
蔡述庭
胡导林
陈平
翁少佳
罗斌玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201610356009.5A priority Critical patent/CN106056546B/zh
Publication of CN106056546A publication Critical patent/CN106056546A/zh
Application granted granted Critical
Publication of CN106056546B publication Critical patent/CN106056546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于样本块匹配的图像修复方法，用于解决现有图像修复算法容易出现块状效应的问题。本发明实施例方法包括：S1：定位待修复图像的源区域、目标区域以及边界像素点；S2：计算所述边界像素点的权值；S3：选取权值最大的边界像素点作为中心点，并以所述中心点定位一个小块作为最先修复块；S4：在所述最先修复块的满足预设条件的邻域内寻找与所述最先修复块最佳匹配的最佳匹配块；S5：采用所述最佳匹配块中对应的像素点修复所述最先修复块中待修复的像素点；S6：判断所述待修复图像是否修复完成，若否，则跳转至步骤S2；其中，在每次跳转至步骤S2之前，更新边界像素点。本发明实施例还提供一种基于样本块匹配的图像修复装置。

Description

一种基于样本块匹配的图像修复方法和装置
技术领域
本发明涉及图像修复领域，尤其涉及一种基于样本块匹配的图像修复方法和装置。
背景技术
图像修复最早被Bertalmio等人应用于图像处理领域。图像修复指在图像有破损或希望移除图像上某一对象时，利用已知图像信息按照一定规律对信息缺损区域进行信息填充的过程，最终使填充后图像达到或尽可能接近原图的视觉效果。
在互联网飞速发展的今天，日常生活中人们接触到的图片越来越多，图像在传播的过程中难免遭到破坏，还有一些承载着古人智慧的图画在保存的过程中经过时间的吞噬会渐渐破损，在这样的背景下图像修复应运而生，成为近年来研究者们越来越关注的一个问题。
基于纹理合成的图像修复算法最早是由Efros等[2]于1999年提出的，基本思想就是试图从图像的已知区域寻找到与丢失部分最为相似的图像块，并以此来填补缺失的像素，达到图像修复的目的。基于纹理合成的图像修复算法主要针对大面积区域修复。Criminisi图像修复算法[3]是由Criminisi提出的一种沿着等照度线扩散的基于样例的图像修复方法，
Criminisi图像修复算法虽然能够有效地修复破损区域比较大的图像，既保留了图像的结构信息，又保留了图像的纹理信息，但是容易出现块状效应。因此提出一种既保留图像信息又消除块状效应的方法成为本领域技术人员亟需解决的问题。
发明内容
本发明实施例提供了一种基于样本块匹配的图像修复方法和装置，能够解决现有图像修复算法容易出现块状效应的问题。
本发明实施例提供的一种基于样本块匹配的图像修复方法，包括：
S1：定位待修复图像的源区域、目标区域以及边界像素点，所述边界像素点为所述源区域与所述目标区域的相交区域的像素点；
S2：计算所述边界像素点的权值；
S3：选取权值最大的边界像素点作为中心点，并以所述中心点定位一个小块作为最先修复块；
S4：在所述最先修复块的满足预设条件的邻域内寻找与所述最先修复块最佳匹配的最佳匹配块；
S5：采用所述最佳匹配块中对应的像素点修复所述最先修复块中待修复的像素点；
S6：判断所述待修复图像是否修复完成，若否，则跳转至步骤S2；
其中，在每次跳转至步骤S2之前，更新所述边界像素点。
可选地，在步骤S1中通过如下步骤定位所述边界像素点：
采用高斯拉普拉斯算子模板与欲修复图像二值模板相卷积，将卷积值大于0的像素点定位为边界像素点。
可选地，步骤S2中通过如下公式计算所述边界像素点的权值P(p)：
P(p)＝C(p)*D(p)；
其中，C(p)为像素点的置信度，D(p)为像素点的数据项；ψ表示所述源区域，p∈Ω，Ω表示所述目标区域中的待修复区域；
为中心点的等照度线，np为中心点在边界线的法线，α为归一化参数，Δ表示高斯拉普拉斯算子。
可选地，步骤S4中通过如下公式寻找所述最佳匹配块：
其中表示块和块ψp之间的差距。
可选地，步骤S6具体包括：
计算当前所述待修复图像对应的二值图像；
判断所述二值图像的值是否全部为0，若否，则跳转至步骤S2。
本发明实施例提供的一种基于样本块匹配的图像修复装置，包括：
定位模块，用于定位待修复图像的源区域、目标区域以及边界像素点，所述边界像素点为所述源区域与所述目标区域的相交区域的像素点；
权值计算模块，用于计算所述边界像素点的权值；
中心点选取模块，用于选取权值最大的边界像素点作为中心点，并以所述中心点定位一个小块作为最先修复块；
匹配块寻找模块，用于在所述最先修复块的满足预设条件的邻域内寻找与所述最先修复块最佳匹配的最佳匹配块；
修复模块，用于采用所述最佳匹配块中对应的像素点修复所述最先修复块中待修复的像素点；
判断模块，用于判断所述待修复图像是否修复完成，若否，则再次依次触发所述权值计算模块、所述中心点选取模块、所述匹配块寻找模块、所述修复模块和所述判断模块；
其中，所述图像修复装置还包括：更新模块，用于在每次再次触发所述权值计算模块之前，更新所述边界像素点。
可选地，所述定位模块通过卷积单元定位所述边界像素点：
所述卷积单元，用于采用高斯拉普拉斯算子模板与欲修复图像二值模板相卷积，将卷积值大于0的像素点定位为边界像素点。
可选地，所述权值计算模块通过如下公式计算所述边界像素点的权值P(p)：
P(p)＝C(p)*D(p)；
其中，C(p)为像素点的置信度，D(p)为像素点的数据项；ψ表示所述源区域，p∈Ω，Ω表示所述目标区域中的待修复区域；
为中心点的等照度线，np为中心点在边界线的法线，α为归一化参数，Δ表示高斯拉普拉斯算子。
可选地，所述匹配块寻找模块通过如下公式寻找所述最佳匹配块：
其中表示块和块ψp之间的差距。
可选地，所述判断模块具体包括：
二值图像计算单元，用于计算当前所述待修复图像对应的二值图像；
图像判断单元，用于判断所述二值图像的值是否全部为0，若否，则再次依次触发所述权值计算模块、所述中心点选取模块、所述匹配块寻找模块、所述修复模块和所述判断模块。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，S1：定位待修复图像的源区域、目标区域以及边界像素点，所述边界像素点为所述源区域与所述目标区域的相交区域的像素点；S2：计算所述边界像素点的权值；S3：选取权值最大的边界像素点作为中心点，并以所述中心点定位一个小块作为最先修复块；S4：在所述最先修复块的满足预设条件的邻域内寻找与所述最先修复块最佳匹配的最佳匹配块；S5：采用所述最佳匹配块中对应的像素点修复所述最先修复块中待修复的像素点；S6：判断所述待修复图像是否修复完成，若否，则跳转至步骤S2；其中，在每次跳转至步骤S2之前，更新所述边界像素点。与现有技术相比，本发明的基于样本块匹配的图像修复方法将图像修复过程看成是从图像边界区域逐渐向里进行，直至修复完成；合理的修复顺序通过边界像素点的权值计算来保证，既保留了图像的结构信息，又保留了图像的纹理信息；另外，本发明在寻找最佳匹配块时寻找的区域不再是整个图像区域而是以当前修复块为中心的一块邻域，这样，可使图像修复效果满足在一定邻域内的像素变化是平缓的，符合自然。
附图说明
图1为本发明实施例中一种基于样本块匹配的图像修复方法一个实施例流程图；
图2为本发明实施例中一种基于样本块匹配的图像修复方法另一个实施例流程图；
图3为本发明实施例中一种基于样本块匹配的图像修复装置一个实施例结构图。
具体实施方式
本发明实施例提供了一种基于样本块匹配的图像修复方法和装置，使图像修复效果更加逼近原图。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种基于样本块匹配的图像修复方法一个实施例包括：
101、定位待修复图像的源区域、目标区域以及边界像素点；
首先，可以定位待修复图像的源区域、目标区域以及边界像素点，该边界像素点为该源区域与该目标区域的相交区域的像素点。
102、计算该边界像素点的权值；
在定位待修复图像的源区域、目标区域以及边界像素点之后，可以计算该边界像素点的权值。
103、选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块；
在计算该边界像素点的权值之后，可以选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块。
104、在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块；
在选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块之后，可以在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块。
105、采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点；
在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块之后，可以采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点。
106、判断该待修复图像是否修复完成，若否，则跳转至步骤102；
在采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点之后，可以判断该待修复图像是否修复完成，若否，则跳转至步骤102。
107、在每次跳转至步骤102之前，更新该边界像素点。
其中，在每次跳转至步骤102之前，更新该边界像素点。
与现有技术相比，本实施例中的基于样本块匹配的图像修复方法将图像修复过程看成是从图像边界区域逐渐向里进行，直至修复完成；合理的修复顺序通过边界像素点的权值计算来保证，既保留了图像的结构信息，又保留了图像的纹理信息；另外，本实施例中的在寻找最佳匹配块时寻找的区域不再是整个图像区域而是以当前修复块为中心的一块邻域，这样，可使图像修复效果满足在一定邻域内的像素变化是平缓的，符合自然。
为便于理解，下面对本发明实施例中的一种基于样本块匹配的图像修复方法进行详细描述，请参阅图2，本发明实施例中一种基于样本块匹配的图像修复方法另一个实施例包括：
201、定位待修复图像的源区域、目标区域以及边界像素点；
首先，可以定位待修复图像的源区域、目标区域以及边界像素点，该边界像素点为该源区域与该目标区域的相交区域的像素点。具体地，可以采用高斯拉普拉斯算子模板与欲修复图像二值模板相卷积，将卷积值大于0的像素点定位为边界像素点。此处的待修复图像二值模板是由0代表已知的像素点，1代表未知的像素点构成。
202、计算该边界像素点的权值；
在定位待修复图像的源区域、目标区域以及边界像素点之后，可以计算该边界像素点的权值。可以理解的是，对边界像素点的权值计算尤为重要，因为不同的计算方法代表着不同的图像修复顺序，对整个图像修复效果的影响至关重大，具体方法是当前边界点p的权值由两部分合成，具体可以通过如下公式计算该边界像素点的权值P(p)：
P(p)＝C(p)*D(p)；
其中，C(p)为像素点的置信度，表示当前块中已知像素点所占的比重；，D(p)为像素点的数据项，表示图像的结构信息。其中，在初始化时C(p)＝1，p∈ψ，C(p)＝0，p∈Ω，ψ表示该源区域，Ω表示该目标区域中的待修复区域。
为中心点的等照度线，np为中心点在边界线的法线，α为归一化参数，Δ表示高斯拉普拉斯算子。
由最初的权值计算方法修复的图像容易出现块状效应，正是基于此缺陷的考虑，为避免置信度C(p)随着修复过程的不断进行逐渐趋向于0，而导致P(p)趋向于0，在数据项计算时引进高斯拉普拉斯算子以抵消C(p)快速趋于0变化的影响。
203、选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块；
在计算该边界像素点的权值之后，可以选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块，当前修复块的大小的选取因不同图像而有所不同，不过一般选取9*9。
204、在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块；
在选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块之后，可以在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块。
需要说明的是，考虑图像修复后的效果满足在一定邻域内更加和谐自然符合人类审美的连续性，在寻找最佳匹配块时采用的不再是整个图像区域而是把范围缩小在一定的邻域内，可以通过如下公式寻找该最佳匹配块：
其中表示块和块ψp之间的差距。
通常以SSD(Sum of Squared Differences)计算块之间的差距；若修复图像是彩色图像，SSD表示两图像块的R、G、B三通道的相应分量之差的平方和；若是灰度图像则SSD对应的是相应像素点的灰度值之差的平方和。
205、采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点；
在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块之后，可以采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点。
可以理解的是，在最佳匹配块中把对应当前修复块中的破损的像素点的值复制到待修复图像对应的点，这样就完成了待修复图像中当前修复块中对应的破损区域。
206、计算当前该待修复图像对应的二值图像；
在采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点之后，可以计算当前该待修复图像对应的二值图像。
207、判断该二值图像的值是否全部为0，若是，则执行步骤208，若否，则跳转至步骤202；
在计算当前该待修复图像对应的二值图像之后，可以判断该二值图像的值是否全部为0，若是，则执行步骤208，若否，则跳转至步骤202。可以理解的是，当该二值图像的值全部为0时，说明该待修复图像已不存在破损区域，待修复图像已被修复完成，因此执行步骤208；反之，该二值图像的值并非全部为0时，说明该待修复图像还存在破损区域，应当跳转至步骤202进行再一次的修复。
208、输出当前该待修复图像作为修复完成的图像；
当该二值图像的值全部为0时，可以输出当前该待修复图像作为修复完成的图像。
209、在每次跳转至步骤202之前，更新该边界像素点。
在每次跳转至步骤202之前，需要更新该边界像素点。
上面主要描述一种基于样本块匹配的图像修复方法，下面将对一种基于样本块匹配的图像修复装置进行详细描述，请参阅图3，本发明实施例中一种基于样本块匹配的图像修复装置一个实施例包括：
定位模块301，用于定位待修复图像的源区域、目标区域以及边界像素点，该边界像素点为该源区域与该目标区域的相交区域的像素点；
权值计算模块302，用于计算该边界像素点的权值；
中心点选取模块303，用于选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块；
匹配块寻找模块304，用于在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块；
修复模块305，用于采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点；
判断模块306，用于判断该待修复图像是否修复完成，若否，则再次依次触发该权值计算模块302、该中心点选取模块303、该匹配块寻找模块304、该修复模块305和该判断模块306；
其中，该图像修复装置还包括：更新模块307，用于在每次再次触发该权值计算模块302之前，更新该边界像素点。
本实施例中，该定位模块301可以通过卷积单元定位该边界像素点：
该卷积单元，用于采用高斯拉普拉斯算子模板与欲修复图像二值模板相卷积，将卷积值大于0的像素点定位为边界像素点。
本实施例中，该权值计算模块302通过如下公式计算该边界像素点的权值P(p)：
P(p)＝C(p)*D(p)；
其中，C(p)为像素点的置信度，D(p)为像素点的数据项；ψ表示该源区域，p∈Ω，Ω表示该目标区域中的待修复区域；
为中心点的等照度线，np为中心点在边界线的法线，α为归一化参数，Δ表示高斯拉普拉斯算子。
本实施例中，该匹配块寻找模块304通过如下公式寻找该最佳匹配块：
其中表示块和块ψp之间的差距。
本实施例中，该判断模块306具体包括：
二值图像计算单元，用于计算当前该待修复图像对应的二值图像；
图像判断单元，用于判断该二值图像的值是否全部为0，若否，则再次依次触发该权值计算模块、该中心点选取模块、该匹配块寻找模块、该修复模块和该判断模块。
本实施例中，定位模块301定位待修复图像的源区域、目标区域以及边界像素点，该边界像素点为该源区域与该目标区域的相交区域的像素点；权值计算模块302计算该边界像素点的权值；中心点选取模块303选取权值最大的边界像素点作为中心点，并以该中心点定位一个小块作为最先修复块；匹配块寻找模块304在该最先修复块的满足预设条件的邻域内寻找与该最先修复块最佳匹配的最佳匹配块；修复模块305采用该最佳匹配块中对应的像素点修复该最先修复块中待修复的像素点；判断模块306判断该待修复图像是否修复完成，若否，则再次依次触发该权值计算模块302、该中心点选取模块303、该匹配块寻找模块304、该修复模块305和该判断模块306；其中，在每次再次触发该权值计算模块302之前，更新模块307更新该边界像素点。与现有技术相比，本实施例中的基于样本块匹配的图像修复装置将图像修复过程看成是从图像边界区域逐渐向里进行，直至修复完成；合理的修复顺序通过边界像素点的权值计算来保证，既保留了图像的结构信息，又保留了图像的纹理信息；另外，本实施例中的在寻找最佳匹配块时寻找的区域不再是整个图像区域而是以当前修复块为中心的一块邻域，这样，可使图像修复效果满足在一定邻域内的像素变化是平缓的，符合自然。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于样本块匹配的图像修复方法，其特征在于，包括：
S1：定位待修复图像的源区域、目标区域以及边界像素点，所述边界像素点为所述源区域与所述目标区域的相交区域的像素点；
S2：计算所述边界像素点的权值；
S3：选取权值最大的边界像素点作为中心点，并以所述中心点定位一个小块作为最先修复块；
S4：在所述最先修复块的满足预设条件的邻域内寻找与所述最先修复块最佳匹配的最佳匹配块；
S5：采用所述最佳匹配块中对应的像素点修复所述最先修复块中待修复的像素点；
S6：判断所述待修复图像是否修复完成，若否，则跳转至步骤S2；
其中，在每次跳转至步骤S2之前，更新所述边界像素点；
步骤S2中通过如下公式计算所述边界像素点的权值P(p)：
P(p)＝C(p)*D(p)；
其中，C(p)为像素点的置信度，D(p)为像素点的数据项；ψ表示所述源区域，p∈Ω，Ω表示所述目标区域中的待修复区域；
为中心点的等照度线，np为中心点在边界线的法线，α为归一化参数，ΔI表示高斯拉普拉斯算子。
2.根据权利要求1所述的图像修复方法，其特征在于，在步骤S1中通过如下步骤定位所述边界像素点：
采用高斯拉普拉斯算子模板与欲修复图像二值模板相卷积，将卷积值大于0的像素点定位为边界像素点。
3.根据权利要求1所述的图像修复方法，其特征在于，步骤S4中通过如下公式寻找所述最佳匹配块：
其中表示块和块ψp之间的差距。
4.根据权利要求1至3中任一项所述的图像修复方法，其特征在于，步骤S6具体包括：
计算当前所述待修复图像对应的二值图像；
判断所述二值图像的值是否全部为0，若否，则跳转至步骤S2。
5.一种基于样本块匹配的图像修复装置，其特征在于，包括：
定位模块，用于定位待修复图像的源区域、目标区域以及边界像素点，所述边界像素点为所述源区域与所述目标区域的相交区域的像素点；
权值计算模块，用于计算所述边界像素点的权值；
中心点选取模块，用于选取权值最大的边界像素点作为中心点，并以所述中心点定位一个小块作为最先修复块；
匹配块寻找模块，用于在所述最先修复块的满足预设条件的邻域内寻找与所述最先修复块最佳匹配的最佳匹配块；
修复模块，用于采用所述最佳匹配块中对应的像素点修复所述最先修复块中待修复的像素点；
判断模块，用于判断所述待修复图像是否修复完成，若否，则再次依次触发所述权值计算模块、所述中心点选取模块、所述匹配块寻找模块、所述修复模块和所述判断模块；
其中，所述图像修复装置还包括：更新模块，用于在每次再次触发所述权值计算模块之前，更新所述边界像素点；
所述权值计算模块通过如下公式计算所述边界像素点的权值P(p)：
P(p)＝C(p)*D(p)；
其中，C(p)为像素点的置信度，D(p)为像素点的数据项；ψ表示所述源区域，p∈Ω，Ω表示所述目标区域中的待修复区域；
为中心点的等照度线，np为中心点在边界线的法线，α为归一化参数，ΔI表示高斯拉普拉斯算子。
6.根据权利要求5所述的图像修复装置，其特征在于，所述定位模块通过卷积单元定位所述边界像素点：
所述卷积单元，用于采用高斯拉普拉斯算子模板与欲修复图像二值模板相卷积，将卷积值大于0的像素点定位为边界像素点。
7.根据权利要求5所述的图像修复装置，其特征在于，所述匹配块寻找模块通过如下公式寻找所述最佳匹配块：
其中表示块和块ψp之间的差距。
8.根据权利要求5至7中任一项所述的图像修复装置，其特征在于，所述判断模块具体包括：
二值图像计算单元，用于计算当前所述待修复图像对应的二值图像；
图像判断单元，用于判断所述二值图像的值是否全部为0，若否，则再次依次触发所述权值计算模块、所述中心点选取模块、所述匹配块寻找模块、所述修复模块和所述判断模块。
CN201610356009.5A 2016-05-25 2016-05-25 一种基于样本块匹配的图像修复方法和装置 Active CN106056546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610356009.5A CN106056546B (zh) 2016-05-25 2016-05-25 一种基于样本块匹配的图像修复方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610356009.5A CN106056546B (zh) 2016-05-25 2016-05-25 一种基于样本块匹配的图像修复方法和装置

Publications (2)

Publication Number Publication Date
CN106056546A CN106056546A (zh) 2016-10-26
CN106056546B true CN106056546B (zh) 2019-02-22

Family

ID=57175376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610356009.5A Active CN106056546B (zh) 2016-05-25 2016-05-25 一种基于样本块匹配的图像修复方法和装置

Country Status (1)

Country Link
CN (1) CN106056546B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325930B (zh) * 2018-09-12 2021-09-28 苏州优纳科技有限公司 边界缺陷的检测方法、装置及检测设备
CN110246095B (zh) * 2019-05-21 2022-04-12 深圳壹账通智能科技有限公司 一种图像修复方法、装置、存储介质及终端设备
CN110276289B (zh) * 2019-06-17 2021-09-07 厦门美图之家科技有限公司 生成匹配模型的方法和人脸特征点追踪方法
CN110570382B (zh) * 2019-09-19 2022-11-11 北京达佳互联信息技术有限公司 一种图像修复方法、装置、电子设备及存储介质
CN110992282A (zh) * 2019-11-29 2020-04-10 忻州师范学院 一种寺观壁画病害自动标定与虚拟修复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999887A (zh) * 2012-11-12 2013-03-27 中国科学院研究生院 一种基于样本的图像修复方法
CN104376535A (zh) * 2014-11-04 2015-02-25 徐州工程学院 一种基于样本的快速图像修复方法
CN104574317A (zh) * 2015-01-19 2015-04-29 天津大学 一种基于等照度线的图像修复方法
EP2966613A1 (en) * 2014-07-10 2016-01-13 Thomson Licensing Method and apparatus for generating a super-resolved image from an input image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999887A (zh) * 2012-11-12 2013-03-27 中国科学院研究生院 一种基于样本的图像修复方法
EP2966613A1 (en) * 2014-07-10 2016-01-13 Thomson Licensing Method and apparatus for generating a super-resolved image from an input image
CN104376535A (zh) * 2014-11-04 2015-02-25 徐州工程学院 一种基于样本的快速图像修复方法
CN104574317A (zh) * 2015-01-19 2015-04-29 天津大学 一种基于等照度线的图像修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Object Removal by Exemplar-Based Inpainting;A. Criminisi等;《Computer Vision and Pattern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on》;20030715;第2页右栏至第4页左栏 *
Region Filling and Object Removal by Exemplar-Based Image Inpainting;Antonio Criminisi等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20040930;第13卷(第9期);全文 *
一种改进的Criminisi 图像修复算法;常晨等;《计算机应用与软件》;20120930;第29卷(第9期);全文 *
一种改进的基于样例的图像修复算法;张绚等;《计算机应用与软件》;20141031;第31卷(第10期);全文 *

Also Published As

Publication number Publication date
CN106056546A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106056546B (zh) 一种基于样本块匹配的图像修复方法和装置
US11188739B2 (en) Processing uncertain content in a computer graphics system
JP7362044B2 (ja) 修正されたシェイプフロムシェーディング（ｓｆｓ）スキームを使用した三角形３次元メッシュの形状改善
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
Shih et al. Exemplar-based video inpainting without ghost shadow artifacts by maintaining temporal continuity
WO2020165557A1 (en) 3d face reconstruction system and method
CN107610202B (zh) 人脸图像替换方法、设备及存储介质
US20130293686A1 (en) 3d reconstruction of human subject using a mobile device
CN107220997A (zh) 一种立体匹配方法及系统
US9437034B1 (en) Multiview texturing for three-dimensional models
CN106791773B (zh) 一种基于深度图像的新视点合成方法
CN114820905B (zh) 虚拟形象生成方法、装置、电子设备及可读存储介质
CN115409933B (zh) 多风格纹理贴图生成方法及其装置
CN105608699B (zh) 一种图像处理方法及电子设备
JP7244810B2 (ja) 単色画像及び深度情報を使用した顔テクスチャマップ生成
CN113724368A (zh) 图像采集系统、三维重建方法、装置、设备以及存储介质
CN109584355A (zh) 基于手机gpu的三维模型快速重建方法
CN113160420A (zh) 一种三维点云重建的方法、装置、电子设备及存储介质
JP6450287B2 (ja) 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム
CN114067051A (zh) 三维重建处理方法、装置、电子设备以及存储介质
US8525846B1 (en) Shader and material layers for rendering three-dimensional (3D) object data models
CN106023089A (zh) 一种基于块匹配的图像修复方法
KR101593316B1 (ko) 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
CN115439615B (zh) 一种基于三维bim的分布式综合管理系统
CN113379932A (zh) 人体三维模型的生成方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant