CN109493272A - 一种基于HSV色彩空间下的Criminisi图像修复方法 - Google Patents

一种基于HSV色彩空间下的Criminisi图像修复方法 Download PDF

Info

Publication number
CN109493272A
CN109493272A CN201811155228.2A CN201811155228A CN109493272A CN 109493272 A CN109493272 A CN 109493272A CN 201811155228 A CN201811155228 A CN 201811155228A CN 109493272 A CN109493272 A CN 109493272A
Authority
CN
China
Prior art keywords
image
value
confidence
block
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811155228.2A
Other languages
English (en)
Other versions
CN109493272B (zh
Inventor
周先春
吴静
黄金
王咏
陆传荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201811155228.2A priority Critical patent/CN109493272B/zh
Publication of CN109493272A publication Critical patent/CN109493272A/zh
Application granted granted Critical
Publication of CN109493272B publication Critical patent/CN109493272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于HSV色彩空间下的Criminisi图像修复方法,包括如下步骤:1、判断是否存在待修复的图像破损区;2、取破损边缘像素点p,根据以点p为中心的9*9的正方形区域内的像素值计算出置信值C,并判断其大小,若大于阈值K,则根据优先权函数计算出正方形区域块的优先权值P;3、根据匹配原则,利用HSV颜色空间中色调H与亮度V的差值比较寻找未受损区域中最佳匹配块;4、将搜索到的最佳匹配块填充至待修复像素块中,并让其中心像素点重合;5、更新修复区的边界信息,同时更新修复完成区域的像素点的置信值;6、重复以上步骤,直至所有像素块修复完成。本发明弥补了Criminisi修复算法中优先权函数不准确性以及修复后图像质量下降的缺陷,性能优异。

Description

一种基于HSV色彩空间下的Criminisi图像修复方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于HSV(Hue,Saturation,Value,六角锥体模型)色彩空间下的Criminisi图像修复方法。
背景技术
图像及复原的研究在边缘检测、图像分割、机器视觉、模式识别等图像分析领域已成为重要的研究课题。图像的边缘结构纹理信息能够反映图像内容的基本特征及重要信息,然而在图像的获取、压缩或是传输过程中极易造成图像受损,从而影响后续的工作。图像修复技术即根据对当前图像结构信息的估计,将存在部分缺失或者有遮挡物问题的受损图像进行合理的复原,具有相当大的应用价值。由于先验信息的缺乏,修复问题常具有病态性,因此需要使用如偏微分方程(PDE)的数学方法,但对于受损较大的图像而言,修复效果并不理想。基于纹理合成的Criminisi图像修复算法中的数据项会随着破损区域的逐渐修补最终趋向于零,导致置信值与数据项出现一大一小的情况,会使得后期在计算像素优先权时会产生误差,这种误差会随着修复的进行而逐渐放大,从而影响最终的修复效果。
目前,对于图像修复的研究有很多,但是对于一些内部纹理特征及边缘角点信息仅靠梯度算子来扩散并不能完全达到理想的修复效果。所以急需对相关的内容进行研究,得到完善的结论,能够有效地为保证图像修复后的特征信息的完整性提供有效方法。
发明内容
为了解决上述问题,本发明提供一种基于HSV色彩空间下的Criminisi图像修复方法,使得在对图像进行修复处理的过程中,既能确保Criminisi算法优先权函数的确定性,又能减少修复误差。
一种基于HSV色彩空间下的Criminisi图像修复方法,包括如下步骤:
S1:将待处理图像中破损区和完好区交界处的所有像素点的置信值进行初始化,如果像素点落在完好区,置信值置为1,无需修复;如果像素点落在受损区,置信值置为0,需要修复;
S2:取图像破损边缘像素点p,根据以点p为中心的9*9的正方形区域块内的像素值计算出置信值,并判断其大小,若大于阈值K,则根据优先权函数计算出优先权值P,否则优先权值取0.001,该正方形区域块最后修复;计算当前图像破损边缘中所有9*9的正方形区域块的优先权,找出优先权最大的区域块作为最先修复的目标块;
S3:根据匹配原则,利用HSV颜色空间中色调H与亮度V的差值比较寻找未受损区域中最佳匹配块;
S4:将搜索到的最佳匹配块填充至待修复的像素块中,并让其中心像素点重合;
S5:更新修复区的边界信息,同时更新修复完成的区域的像素点的置信值,然后对下一个要修复的像素点进行修复;
S6:重复以上步骤,直至所有像素块修补完成。
进一步地,步骤S2的优先权函数为P(p)=C(p)·D(p)+λ·D(p),其中,C(p)为以点p为中心的正方形区域ψp中所有像素平均置信值,D(p)为数据项,代表的是正方形区域ψp中的结构特征,λ为常数值10。
计算优先权是为了决定要修补的顺序,优先权模型主要由两部分决定:一是由破损区域边缘的连续性,用等照度线与边缘法向的向量乘积表示,二是由周围像素的可信度决定,完好区域像素可信度最大,为1,随着修复的进行,修复的像素置信值将通过一定公式计算得到。为了保证待修复图像结构的完整性,在修复过程中首先修复破损边缘,而破损边缘像素的修复顺序则要根据像素周围的纹理与置信值来确定。
进一步地,所述像素的置信值计算公式为其中,|ψp|为ψp的面积,C(i)表示ψp∩Φ区域的像素点的置信度,Φ表示完好区域,像素的数据项的计算公式为其中,α是归一化因子,由于一般的灰度图像每个像素点的值由8bit即1byte数据来表示,那么最大的灰度值为255,因此取α=255,是p点附近完好图像域的等照度线方向,即边界梯度向量的垂直向量,是p点附近完好图像域的等照度方向,是边界线在点p处的法向量,方向指向破损区域Ω。
进一步地,步骤S3中的匹配公式为:
ψq′=arg min[SSDallpq)],
其中,SSDall为待修复图像块与匹配图像块中所有参数点的颜色参数差值,ψp为待修复图像块,ψq为待匹配的样本图像块,ψq'为与ψp最佳匹配的图像块。
进一步地,步骤S5中置信值更新公式为:C(p')=C(p),其中,C(p')为新复制的样本块中以点p'为中心的正方形区域中所有像素平均置信值,C(p)为以点p为中心的正方形区域ψp中所有像素平均置信值,ψp为待修复图像块,Φ表示完好区域。
更新置信值也就是在匹配最佳样本块之后,将找到的样本块填充到破损区域内完成图像的修复,此时新复制的样本块的置信值相较于修补之前的样本块有所下降,所以要对其进行更新。
与现有技术相比,本发明的有益效果在于既能确保优先权函数的确定性,又能减少图像块匹配的误差,达到理想的修复效果。
附图说明
图1是本发明的流程图;
图2是Criminisi修复算法示意图;
图3是本发明的实验图像(Car)原始图像;
图4是本发明的实验图像(Car)的受损图像;
图5是本发明的实验图像(Car)受损图像经过Criminisi算法修复后的效果图;
图6是本发明的实验图像(Car)受损图像经过本发明算法修复后的效果图;
图7是本发明的实验图像(Wall)原始图像;
图8是本发明的实验图像(Wall)的受损图像;
图9是本发明的实验图像(Wall)受损图像经过Criminisi算法修复后的效果图;
图10是本发明的实验图像(Wall)受损图像经过本发明算法修复后的效果图。
具体实施方式
下面结合附图进行详细说明。
如图1所示,一种基于HSV色彩空间下的Criminisi图像修复方法,包括如下步骤:
步骤一:利用式(1)对待处理的图像的所有像素点的置信值进行初始化。其中p为受损区域Ω与完好区域Φ的交界处的像素点。
步骤二:取破损边缘像素点p,并根据以点p为中心的9*9的正方形区域内的像素值计算出置信值,并判断其大小。而在当置信值小于一定数值之后,再通过与数据项的乘积来决定优先权已经没有太大的意义,由于置信值随着修复的进行,必然会减小,如果在修复过程中修复的块不合理,错误块的边缘与周围图像会形成明显的边界,计算等照度时,很容易受到该边界的影响。再利用置信值与数据项的乘积进行优先权判断只会导致优先修复错误块周围的图像,使错误加大。与其错上加错,不如抛开优先权,按照某一特定顺序继续进行修复。最简单的方法就是按照图像的索引顺序来修复。因此在计算优先权前加入对置信值的判断,若大于阈值K,则根据优先权函数计算出优先权值P;否则优先权值取0.001,该像素点无需修复,阈值K是经过多次试验数据总结而得。
根据优先权值P(p)寻找所对应的像素点p,优先权值的设置会极大地影响图像修复后的质量和效果,D(p)作为数据项,会随着破损区域的逐渐修补使其值最终趋向于零,由于乘积的形式无法正确描述置信值与数据项一大一小的情况,会使得后期在计算像素优先权值时出现误差,这种误差会随着修复的进行而逐渐放大,影响最终的修复效果。因此提出在函数中增加梯度参数,增加结构信息的量,构造优先权函数模型如式(2)所示:
P(p)=C(p)·D(p)+λ·D(p) (2)
其中,C(p)为以点p为中心的正方形区域ψp中所有像素平均置信值,置信值越大,ψp中信息准确性越大,即该样本块中包含的有用信息越多,应该优先修补,D(p)为数据项,代表的是ψp块内的结构特征,同样数值越大线性结构也越强,优先权越高,应该优先修补。λ为常数值10。所述像素的置信值计算如式(3),数据项的计算如式(4)
其中,式(3)中,|ψp|为ψp的面积,C(i)表示ψp∩Φ区域的像素点的置信度,Φ表示完好区域;式(4)中,α是归一化因子,由于一般的灰度图像每个像素点的值由8bit即1byte数据来表示,那么最大的灰度值为255,因此取α=255,是p点附近完好图像域的等照度线方向,即边界梯度向量的垂直向量。是有图像破损区域的边界线在点p处的法向量,方向指向破损区域Ω。具体的模型示意图如图2所示。
步骤三:根据匹配原则,利用多个参数寻找未受损区域中最佳匹配块;为弥补单从灰度差值的平方和来匹配样本块比较适合灰度图像的修复的局限性,考虑在匹配样本块时加入HSV颜色空间中相关参数进行样本块比较。在HSV模型中,色调H是对颜色的主要判断,亮度V对图像的视觉连续性影响较大。因此在匹样本块时加入色调H与亮度V的差值比较可增加匹配的准确性。定义待修复图像块ψp与待匹配的样本块ψq之间的色调差值平方和为:
式中,Spij,Sqij分别表示(i,j)处像素点待修复图像块与匹配图像块的HSV模型中的色调。
同理,定义待修复图像块ψp与待匹配的样本块与ψq之间的亮度差值平方和为:
式中,Vpij,Vqij分别表示(i,j)处像素点待修复图像块与匹配图像块的HSV模型中的亮度。
在比较色调与亮度前,需要通过相应的公式将图片转化到HSV颜色空间之后,接下来就要在完好区域进行样本块的搜索和匹配,通过计算对应像素参数差值平方来判断相似度,因此待修复图像块与匹配图像块中所有参数点的颜色参数差值公式如下:
式中:β1,β2为比例参数值,这里可以根据实际效果进行更改,预先取β1=0.5,β2=0.5。最后可以得到改进后的匹配原则:
其中,SSDall为待修复图像块与匹配图像块中所有参数点的颜色参数差值,ψp为待修复图像块,ψq为待匹配的样本图像块,ψq'为与ψp最佳匹配的图像块。
步骤四:将搜索到的最佳匹配块填充至待修复的像素块中,并让其中心像素点重合;
步骤五:将找到的样本块填充到破损区域内完成图像的修复,ψp为步骤三中待修复图像块,也就是修复完成的新的样本块,此时新修复的样本块的置信值相较于修补之前的样本块有所下降,所以要对其进行更新,更新公式如下:
其中,C(p')为新复制的样本块中以点p'为中心的正方形区域中所有像素平均置信值,C(p)为以点p为中心的正方形区域ψp中所有像素平均置信值,ψp为待修复图像块,Φ表示完好区域。
步骤六:重复以上步骤,直至所有像素块修补完成。
以下举例说明基于HSV色彩空间下的Criminisi图像修复新方法与Criminisi算法图像修复的优劣。
图3是本发明的试验图像(Car)的原始图像,由于采集到的图像并无损坏,故需人为对其损坏,如图4所示。图4经过Criminisi算法修复后的效果图如图5所示;图6为实验图像(Car)受损图像经过本发明算法修复后的效果图;观察图5和图6,图中对汽车进行去除,原算法所修复的楼梯纹理有些许的不合理,楼梯线条出现不平行。而新算法修复的图像中,修复的楼梯纹理效果较好。其余破损的修复基本看不出明显痕迹。
图7为本发明的另外一个试验图像(Wall),待修复图像如图8所示,对原图墙上的窗户进行去除,对比经过Criminisi算法修复后的效果图图9和经过本发明算法修复后的效果图图10,可以观察到原算法去除窗户时,在修复区域内部靠中心位置,样本块的选取出现了错误,导致大块不合理的纹理引入。可以得知在修复后期由于优先权的不合理导致匹配的出错。而新算法相比于原算法效果较好,虽然也能看到边缘效应,但是总体效果较好。
由以上的结果可以清晰、有效地看出基于HSV色彩空间下的Criminisi图像修复算法改进处理后得到的效果图可视性效果更好,通过构建新的数学模型,引入HSV颜色空间相关参数进行匹配,减少修复误差,最终完成图像修复任务。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于HSV色彩空间下的Criminisi图像修复方法,其特征在于,包括如下步骤:
S1:将待处理图像中破损区和完好区交界处的所有像素点的置信值进行初始化,如果像素点落在完好区,置信值置为1,无需修复;如果像素点落在受损区,置信值置为0,需要修复;
S2:取图像破损边缘像素点p,根据以点p为中心的9*9的正方形区域块内的像素值计算出置信值,并判断其大小,若大于阈值K,则根据优先权函数计算出优先权值P,否则优先权值取0.001,该正方形区域块最后修复;计算当前图像破损边缘中所有9*9的正方形区域块的优先权,找出优先权最大的区域块作为最先修复的目标块;
S3:根据匹配原则,利用HSV颜色空间中色调H与亮度V的差值比较寻找未受损区域中最佳匹配块;
S4:将搜索到的最佳匹配块填充至待修复的像素块中,并让其中心像素点重合;
S5:更新修复区的边界信息,同时更新修复完成的区域的像素点的置信值,然后对下一个要修复的像素点进行修复;
S6:重复以上步骤,直至所有像素块修补完成。
2.根据权利要求1所述的一种基于HSV色彩空间下的Criminisi图像修复方法,其特征在于,所述步骤S2的优先权函数为P(p)=C(p)·D(p)+λ·D(p),其中,C(p)为以点p为中心的正方形区域ψp中所有像素平均置信值,D(p)为数据项,代表的是正方形区域ψp中的结构特征,λ为常数值10。
3.根据权利要求2所述的一种基于HSV色彩空间下的Criminisi图像修复方法,其特征在于,所述置信值计算公式为其中,|ψp|为ψp的面积,C(i)表示ψp∩Φ区域的像素点的置信度,Φ表示完好区域;数据项的计算公式为其中,α是归一化因子,α=255,是p点附近完好图像域的等照度方向,是有图像破损的区域的边界线在点p处的法向量,方向指向破损区域Ω。
4.根据权利要求1所述的一种基于HSV色彩空间下的Criminisi图像修复方法,其特征在于,在所述步骤S3中的匹配公式为:
ψq′=argmin[SSDallpq)],
其中,SSDall为待修复图像块与匹配图像块中所有参数点的颜色参数差值,ψp为待修复图像块,ψq为待匹配的样本图像块,ψq'为与ψp最佳匹配的图像块。
5.根据权利要求1所述的一种基于HSV色彩空间下的Criminisi图像修复方法,其特征在于,在所述步骤S5中置信值更新公式为:
其中,C(p')为新复制的样本块中以点p'为中心的正方形区域中所有像素平均置信值,C(p)为以点p为中心的正方形区域ψp中所有像素平均置信值,ψp为待修复图像块,Φ表示完好区域。
CN201811155228.2A 2018-09-30 2018-09-30 一种基于HSV色彩空间下的Criminisi图像修复方法 Active CN109493272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811155228.2A CN109493272B (zh) 2018-09-30 2018-09-30 一种基于HSV色彩空间下的Criminisi图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811155228.2A CN109493272B (zh) 2018-09-30 2018-09-30 一种基于HSV色彩空间下的Criminisi图像修复方法

Publications (2)

Publication Number Publication Date
CN109493272A true CN109493272A (zh) 2019-03-19
CN109493272B CN109493272B (zh) 2023-03-28

Family

ID=65689347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811155228.2A Active CN109493272B (zh) 2018-09-30 2018-09-30 一种基于HSV色彩空间下的Criminisi图像修复方法

Country Status (1)

Country Link
CN (1) CN109493272B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179190A (zh) * 2019-12-16 2020-05-19 郑州轻工业大学 一种基于Criminisi的图像复原方法
CN111768357A (zh) * 2019-03-29 2020-10-13 银河水滴科技(北京)有限公司 一种图像检测的方法及装置
CN111861996A (zh) * 2020-06-23 2020-10-30 西安工程大学 一种印花织物疵点检测方法
CN111915507A (zh) * 2020-06-19 2020-11-10 西安理工大学 一种壁画脱落的修复方法
CN112330643A (zh) * 2020-11-10 2021-02-05 国网湖北省电力有限公司宜昌供电公司 基于稀疏表示图像修复的二次设备状态识别方法
CN115188304A (zh) * 2022-09-07 2022-10-14 苏州佳智彩光电科技有限公司 一种lcd和oled屏幕缺陷检测、修复方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833191A (zh) * 2017-11-03 2018-03-23 天津大学 基于图像局部信息的改进Criminisi算法
CN108346135A (zh) * 2018-03-12 2018-07-31 湖南理工学院 一种改进的Criminisi图像修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833191A (zh) * 2017-11-03 2018-03-23 天津大学 基于图像局部信息的改进Criminisi算法
CN108346135A (zh) * 2018-03-12 2018-07-31 湖南理工学院 一种改进的Criminisi图像修复方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768357A (zh) * 2019-03-29 2020-10-13 银河水滴科技(北京)有限公司 一种图像检测的方法及装置
CN111768357B (zh) * 2019-03-29 2024-03-01 银河水滴科技(北京)有限公司 一种图像检测的方法及装置
CN111179190A (zh) * 2019-12-16 2020-05-19 郑州轻工业大学 一种基于Criminisi的图像复原方法
CN111915507A (zh) * 2020-06-19 2020-11-10 西安理工大学 一种壁画脱落的修复方法
CN111915507B (zh) * 2020-06-19 2023-10-17 西安理工大学 一种壁画脱落的修复方法
CN111861996A (zh) * 2020-06-23 2020-10-30 西安工程大学 一种印花织物疵点检测方法
CN111861996B (zh) * 2020-06-23 2023-11-03 西安工程大学 一种印花织物疵点检测方法
CN112330643A (zh) * 2020-11-10 2021-02-05 国网湖北省电力有限公司宜昌供电公司 基于稀疏表示图像修复的二次设备状态识别方法
CN112330643B (zh) * 2020-11-10 2023-02-07 国网湖北省电力有限公司宜昌供电公司 基于稀疏表示图像修复的二次设备状态识别方法
CN115188304A (zh) * 2022-09-07 2022-10-14 苏州佳智彩光电科技有限公司 一种lcd和oled屏幕缺陷检测、修复方法及装置
CN115188304B (zh) * 2022-09-07 2023-01-03 苏州佳智彩光电科技有限公司 一种lcd和oled屏幕缺陷修复方法及装置

Also Published As

Publication number Publication date
CN109493272B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN109493272A (zh) 一种基于HSV色彩空间下的Criminisi图像修复方法
CN107967673B (zh) 一种自适应样本块图像修复方法
CN106023089B (zh) 一种基于块匹配的图像修复方法
CN109785250B (zh) 一种基于Criminisi算法的图像修复方法
CN110264459A (zh) 一种土壤裂缝特征信息提取方法
CN108346135B (zh) 一种改进的Criminisi图像修复方法
CN108022251B (zh) 一种管状结构的中心线的提取方法及系统
CN104091339B (zh) 一种图像快速立体匹配方法及装置
CN110246100A (zh) 一种基于角度感知块匹配的图像修复方法和系统
CN104680492B (zh) 基于样本结构一致性的图像修复方法
CN112258470B (zh) 基于缺陷检测的工业图像临界压缩率智能分析系统及方法
CN104966279A (zh) 一种基于局部结构特征的图像合成修复方法
CN103886561A (zh) 基于数学形态学的Criminisi图像修复方法
CN110895795A (zh) 改进的语义图像修补模型方法
CN107909085A (zh) 一种基于Harris算子的图像特征角点提取方法
CN104134195A (zh) 基于块几何稀疏的图像修复方法
CN105844583A (zh) 一种画像石裂缝智能提取及虚拟修复方法
Nan et al. An improved Criminisi algorithm based on a new priority function and updating confidence
CN102800077B (zh) 贝叶斯非局部均值图像修复方法
CN114565563A (zh) 基于人工智能的彩钢板表面异常检测方法
CN111967595B (zh) 候选框标注方法及系统及模型训练方法及目标检测方法
CN102313740A (zh) 太阳能电池板裂痕检测方法
CN106023102A (zh) 一种基于多尺度结构块的图像修复方法
CN107492073B (zh) 基于权重引导滤波的数字图像修复方法
Guo et al. Damaged image restoration based on improved Criminisi algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210032 No. 219 Ning six road, Jiangbei new district, Nanjing, Jiangsu

Applicant after: Nanjing University of Information Science and Technology

Address before: 211500 Yuting Square, 59 Wangqiao Road, Liuhe District, Nanjing City, Jiangsu Province

Applicant before: Nanjing University of Information Science and Technology

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant