CN106504203A - 一种应用筛选策略的块匹配图像修复方法 - Google Patents

一种应用筛选策略的块匹配图像修复方法 Download PDF

Info

Publication number
CN106504203A
CN106504203A CN201610860150.9A CN201610860150A CN106504203A CN 106504203 A CN106504203 A CN 106504203A CN 201610860150 A CN201610860150 A CN 201610860150A CN 106504203 A CN106504203 A CN 106504203A
Authority
CN
China
Prior art keywords
block
filled
candidate blocks
similarity
image repair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610860150.9A
Other languages
English (en)
Other versions
CN106504203B (zh
Inventor
王静
李旭峰
刘红敏
王志衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201610860150.9A priority Critical patent/CN106504203B/zh
Publication of CN106504203A publication Critical patent/CN106504203A/zh
Application granted granted Critical
Publication of CN106504203B publication Critical patent/CN106504203B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于块匹配的图像修复方法，包括以下步骤:1）计算待修复区域边缘点的优先权，并引入点的梯度量和常数因子来改进优先权。2）根据优先权最高的点建立待填充块；3）以待填充块中已知信息为依据在图像已知区域中搜索最佳样本块。4）提取最佳样本块的像素值，并计算最佳样本块中心像素点的置信度值；5）将最佳样本块对应的像素值复制到待填充块的相应位置，并将点的置信度更新成最佳样本块中心像素点的置信度值，形成新的待修复区域；6）执行上述步骤1）～5），直到待修复区域全部填充完毕。以上发明取得了很好的修复效果，适用于各种图像修复工作。

Description

一种应用筛选策略的块匹配图像修复方法
技术领域
本发明涉及一种图像修复方法，特别是关于一种以样本例为基础，通过筛选策略搜索匹配块的图像修复方法。
背景技术
随着计算机技术的飞速发展，通过计算机进行数字图像修复受到人们越来越多的关注。同时，数字图像修复技术也得到了发展和广泛的应用，在修复图片中丢失的信息，移除图片或视频中多余的文字、物体等方面给人们带来很大的便利。图像修复技术就是通过将未受损区域的像素通过一定方法传递到未知区域，使图像整体看起来完整，符合人的视觉心理要求。
目前图像修复技术分为两类：一类以像素点为操作对象，以物理学和数学知识为基础通过扩散的方式修复未知区域，此方法对小范围图像修复十分适用，但大范围的图像修复结果无法令人满意；另一类以像素块为操作对象，通过对像素块进行全局或局部的匹配将已知区域的像素信息传递到未知区域实现修复，该方法对大、小范围的图像修复都能取得很好的效果，但基于该方法的修复成功率很低。
现有技术中，基于样本例的图像修复方法因修复顺序的不同分为两种，一种通过计算待填充区域边缘点的优先级，根据优先级大小确定修复顺序；另一种直接以行扫描的修复顺序，从左往右从上到下依次修复待修复区域。确定修复顺序后，通过将填充块中已知像素的点和已知区域内样本块内的像素点通过SSD算法进行匹配，匹配成功后将该样本块复制到待填充块内，实现图像信息的传递，完成图像修复。以行扫描顺序进行图像修复的方法，虽然已经提高了图像的修复成功率，但是其依然存在着匹配错误率太高的缺陷，这使得用该方法进行图像修复依然无法满足我们对修复成功率的要求。
发明内容
针对上述问题，本发明的目的是提供一种以样本例为基础，通过筛选策略来降低错误匹配率进而提升块算法修复成功率的行扫描图像修复方法。
为实现上述目的，本发明采取以下技术方案：一种应用筛选策略的块匹配图像修复方法，包括以下步骤：
1）建立扫描块模板，使用该模板以行扫描的方式对图像进行扫描，寻找待填充块；
2）计算待填充块和匹配块的差方和距离公式（Sum of Squared Differences，SSD），将小于最小平方差距离1.2倍的匹配块筛选出来，作为下一步的候选块；
3）选取待填充块内填充区域上边或者左边相邻的块作为标准块，计算标准块和各个候选块待填充区域块的相似度，将所有相似度值相加求出平均相似度值，将相似度小于平均相似度值的候选块作为下一步的候选块；
4）计算待填充块中心点和候选块中心点的直线距离，选择距离最小的块作为填充块填充到待填充区域；
5）重复执行以上步骤，直到待修复区域全部填充完毕。
所述步骤1）中模板大小为N*N（N为奇数），分为基础填充区域和基础匹配区域。
所述基础填充区域和基础匹配区域不是实际填充区域和实际匹配区域。
所述基础填充区域大小为n*n（n为奇数，n<N），位于模板右下方，其余为基础匹配区域。
所述步骤1）中待填充块为模板遇到待修复区域时，模板所在位置的块。
所述步骤2）中匹配块为在图像已知区域内以任一像素点为中心，边长为N的像素块。
所述步骤2）中SSD距离计算公式为：
公式所述，、、分别表示待填充块中实际匹配区域和匹配块中对应位置各个像素点中不同颜色通道亮度的均值。
所述步骤3）中标准块的选取方法为：计算两个相邻块的平均梯度和传播距离的乘积作为平衡值，平衡值大的块作为标准块。
所述平均梯度是将块中所有像素点的梯度相加，除以像素点的个数。
所述像素点的梯度为图像每个颜色通道中的梯度值相加除以3。
所述步骤3)中的相似度通过SSD距离公式计算，距离值大的相似度小，距离值小的相似度大。
所述步骤4）中的直线距离通过两个点的坐标进行计算。
所述步骤2）、步骤3）、步骤4）分别为筛选策略中的三次筛选。
本发明由于采取以上技术方案，其具有以下优点：本发明采用的筛选策略可以根据不同条件排除掉容易产生错误匹配的候选块；同时在选择标准块时加入了平均梯度和传播距离信息，促进了结构传播的同时也保证了原图像中已知区域信息的高优先级，使结构不会无限制传播，保证了图像修复的均衡性。使用筛选策略后使图像修复的鲁棒性得到明显提高，提高了图像修复的质量和应用性。
附图说明
图1为图像修复原理示意图。
图2位本发明扫描模板示意图。
图3为本发明待填充块和候选块说明书示意图。
图4为本发明的图像修复方法的流程示意图。
图5为本发明标准块匹配示意图。
图6为本发明计算传播距离的示意图。
图7是本发明实施例的修复过程示意图。
图8为证明本发明鲁棒性的实施例修复效果图。
图9为证明本发明结构传播能力的实施例修复效果图。
图10为本发明实施例在筛选过程中对候选块的筛选过程图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
目标去除是数字图像修复技术领域的一个常见应用，其目标是将图像中选定的目标去除，并用图像中其它区域的图像信息覆盖在去除的区域，使去除目标后的图像看起来完整，自然，真实，符合人的视觉心理要求。
如图1所示，其中I为整个图像, 代表已知区域, 代表未知区域，图像修复就是利用已知区域的信息修复未知区域的信息。
本实施例采用行扫描的方式搜索图像，其中扫描块模板如图2所示，为一个边长9个像素的正方形块，为基础匹配区域，为基础填充区域。
如图3所示，当扫描块和待修复区域尽可能多的重叠且基础匹配区域与待修复区域不重叠，即时，称其为待填充块，位于已知区域的图像块为候选块，为候选块中和对应的位置。
所述修复过程示意图如图4，包括以下步骤：
1、建立扫描模板，以行扫描的方式，从上到下，从左到右依次对待修复图像进行扫描，寻找；
2、以为待填充块，对图像中所有候选块进行第一次筛选，筛选方法为：计算待填充块和候选块的差方和(SSD)距离d，将小于最小平方差距离1.2倍的匹配块筛选出来，作为下一步的候选块，公式如下： ；
所述SSD距离的计算公式为：
3、第二次筛选，如图,5所示，在待填充块的基础填充区域的左边和上边分别有两个块、，分别计算这两个块的均衡因子B，取B大的块作为标准块；计算标准块和候选块中部分的SSD距离，并平均距离ave，所有SSD距离小于ave的候选块被筛选出来作为下一步的候选块；
上述计算标准块的公式为：，，公式中为块的平均梯度的绝对值，为传播距离，为块从上到下的传播距离，为块从左到右的传播距离，，，，如图6所示，为到各个原边缘的距离。
上述平均距离ave的计算公式为：，公式中n为候选块数量，为a或者b，为标准块和候选块中部分的SSD距离；
4、第三次筛选通过计算待填充块中心点和候选块中心点的直线距离，选择距离最小的块作为填充块填充到待填充区域；
5、重复执行以上步骤，直到待修复区域全部填充完毕（如图7）。
如图8所示，为本发明的修复实例，例子中各种边缘不同的待修复图像是由于人在选择待修复区域时会出现边缘不同的情况，针对这种情况的修复就需要修复算法具有一定的鲁棒性才能使结果保持一致。修复结果显示我们的算法针对边缘出现些许变化的待修复图像都能很好的修复，并保持修复结果一致，这体现了本算法的实际应用性。
如图9所示，为本发明针对结构明显图像的修复，图中台阶被修复完整，体现了本算法在结构传播方面的能力。
如图10所示，显示了本发明中的筛选过程，图中蓝色、白色和红色的十字标志代表第一次筛选过后的候选块，第二次筛选吧蓝色的过滤掉，第三次筛选把白色的过滤掉，最后剩下红色标志的候选块，就是最佳候选块。

Claims (5)

1.一种应用筛选策略的块匹配图像修复方法，包括以下步骤：
1）建立扫描块模板，使用该模板以行扫描的方式对图像进行扫描，寻找待填充块；
2）计算待填充块和匹配块的差方和距离公式（Sum of Squared Differences，SSD），将小于最小差方和距离1.2倍的匹配块筛选出来，作为下一步的候选块；
3）选取待填充块内填充区域上边或者左边相邻的块作为标准块，计算标准块和各个候选块待填充区域块的相似度，将所有相似度值相加求出平均相似度值，将相似度小于平均相似度值的候选块作为下一步的候选块；
4）计算待填充块中心点和候选块中心点的直线距离，选择距离最小的块作为最佳候选块填充到待填充区域；
5）重复执行以上步骤，直到待修复区域全部填充完毕。
2.如权利要求1所述的一种应用筛选策略的块匹配图像修复方法，其特征在于：步骤2）为第一次筛选，将小于最小差方和的1.2倍的匹配块筛选出来作为下一次筛选的匹配块。
3.如权利要求1所述的一种应用筛选策略的块匹配图像修复方法，其特征在于：步骤3）为第二次筛选，选择标准块，计算标准块和候选块对应位置的相似度，将相似度小于平均相似度的候选块作为下一步的候选块。
4.如权利要求3所述的标准块选择方法，其特征在于：将块传播距离和块平均梯度的乘积作为平衡因子，平衡因子大的作为标准块。
5.如权利要求1所述的一种应用筛选策略的块匹配图像修复方法，其特征在于：步骤4）为第三次筛选，通过计算待填充块中心点和候选块中心点的直线距离，选择距离最小的块作为最佳候选块。
CN201610860150.9A 2016-09-29 2016-09-29 一种应用筛选策略的块匹配图像修复方法 Expired - Fee Related CN106504203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610860150.9A CN106504203B (zh) 2016-09-29 2016-09-29 一种应用筛选策略的块匹配图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610860150.9A CN106504203B (zh) 2016-09-29 2016-09-29 一种应用筛选策略的块匹配图像修复方法

Publications (2)

Publication Number Publication Date
CN106504203A true CN106504203A (zh) 2017-03-15
CN106504203B CN106504203B (zh) 2019-12-24

Family

ID=58291192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610860150.9A Expired - Fee Related CN106504203B (zh) 2016-09-29 2016-09-29 一种应用筛选策略的块匹配图像修复方法

Country Status (1)

Country Link
CN (1) CN106504203B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194897A (zh) * 2017-06-12 2017-09-22 大连海事大学 一种基于结构差异与待修复边缘结构系数的优先权算法及图像修复方法
CN112200749A (zh) * 2020-10-21 2021-01-08 河南理工大学 一种基于结构张量的图像修复方法
CN113222843A (zh) * 2021-05-10 2021-08-06 北京有竹居网络技术有限公司 一种图像修复方法及其相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7755645B2 (en) * 2007-03-29 2010-07-13 Microsoft Corporation Object-based image inpainting
CN102999887A (zh) * 2012-11-12 2013-03-27 中国科学院研究生院 一种基于样本的图像修复方法
CN105809635A (zh) * 2016-01-22 2016-07-27 河南理工大学 一种基于行扫描的图像块匹配修复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7755645B2 (en) * 2007-03-29 2010-07-13 Microsoft Corporation Object-based image inpainting
CN102999887A (zh) * 2012-11-12 2013-03-27 中国科学院研究生院 一种基于样本的图像修复方法
CN105809635A (zh) * 2016-01-22 2016-07-27 河南理工大学 一种基于行扫描的图像块匹配修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIE LIU ET,AL.: "A Fast Image Inpainting Method Based on Hybrid Similarity-distance", 《2010 INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194897A (zh) * 2017-06-12 2017-09-22 大连海事大学 一种基于结构差异与待修复边缘结构系数的优先权算法及图像修复方法
CN107194897B (zh) * 2017-06-12 2019-07-23 大连海事大学 一种基于结构差异与待修复边缘结构系数的优先权算法及图像修复方法
CN112200749A (zh) * 2020-10-21 2021-01-08 河南理工大学 一种基于结构张量的图像修复方法
CN113222843A (zh) * 2021-05-10 2021-08-06 北京有竹居网络技术有限公司 一种图像修复方法及其相关设备
CN113222843B (zh) * 2021-05-10 2023-11-10 北京有竹居网络技术有限公司 一种图像修复方法及其相关设备

Also Published As

Publication number Publication date
CN106504203B (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN102113015B (zh) 使用修补技术进行图像校正
CN105513064B (zh) 一种基于图像分割和自适应权重的立体匹配方法
TWI380234B (en) A method for organizing regions identified in image data, and an apparatus for processing regions of image data
CN100379255C (zh) 图像处理装置及图像处理方法
CN111369660B (zh) 一种三维模型的无接缝纹理映射方法
CN107346427A (zh) 一种身份证号码识别方法及装置
CN109194888B (zh) 一种针对低质量深度图的dibr自由视点合成方法
CN106504203A (zh) 一种应用筛选策略的块匹配图像修复方法
CN113038102B (zh) 用于多投影拼接的全自动几何校正方法
CN106447602A (zh) 一种图像拼接方法及装置
CN102883175A (zh) 深度图提取、判断视频场景切换及深度图边缘优化方法
CN107749986A (zh) 教学视频生成方法、装置、存储介质和计算机设备
CN112258429B (zh) 显示屏子像素的图像位置标记方法、设备以及存储介质
CN108921942A (zh) 对图像进行2d转制3d的方法及装置
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN106028020B (zh) 一种基于多方向预测的虚拟视角图像空洞填补方法
JP4915166B2 (ja) ぼかしフィルタ設計方法
JP4296617B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
TWI478095B (zh) Check the depth of mismatch and compensation depth error of the perspective synthesis method
CN105528769B (zh) 图像修补方法及系统
CN109741377A (zh) 一种图像差异检测方法
JP2008092447A (ja) 画像処理装置、画像出力装置、および画像処理方法
CN108154848A (zh) 像素排列的显示方法、装置及显示设备
CN110288533A (zh) 一种非旋转图像的快速拼接方法
CN112634169B (zh) 一种遥感图像的匀色方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191224

Termination date: 20210929