CN101980285A - 结合gmrf先验的非局部图像修复方法 - Google Patents
结合gmrf先验的非局部图像修复方法 Download PDFInfo
- Publication number
- CN101980285A CN101980285A CN 201010536253 CN201010536253A CN101980285A CN 101980285 A CN101980285 A CN 101980285A CN 201010536253 CN201010536253 CN 201010536253 CN 201010536253 A CN201010536253 A CN 201010536253A CN 101980285 A CN101980285 A CN 101980285A
- Authority
- CN
- China
- Prior art keywords
- repaired
- restored
- image
- area
- psi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种结合GMRF先验的非局部图像修复方法,它属于图像处理技术领域,主要解决现有基于样本的非局部均值修复方法中相似性权值计算不准确的问题,其实现过程是:(1)对待修复图像I,确定待修复区域Ω及其边界δ;(2)计算中心点在边界上的待修复块的优先级P(p),找出优先级最高的修复块,并对使用GMRF建模;(3)在搜寻区内搜索与待修复块最相似的n个样本块,使用基于GMRF的非局部均值方法得到作为填充待修复块的填充块ψp′;(4)更新置信度项及待修复区域,重复步骤(1)-(4)直至待修复区域内的所有点被修复。本发明能够更好的连接图像纹理信息,并能使修复结果在亮度上更接近于原图,可用于修复图像破损区域及图像中目标物的移除。
Description
技术领域
本发明属于图像处理技术领域,涉及图像修复,可用于复原照片破损区域及图像中目标物的移除。
背景技术
图像修复是图像复原研究中的一个重要内容,它的目的是利用图像中现有的已知信息,通过一定的规则来修复图像中破损的部分,使修复后的图像能够接近原图。
现有的图像修复方法大致可以分为基于结构的修复方法和基于纹理的修复方法两大类。其中基于结构的修复方法本质上都是一种基于偏微分方程的修复方法,最早由Bertalmio等人提出,参见M.Bertalmil,G.Sapiro,V.Caselles,and C.Ballester,《Image Inpainting》,Proceddings of Internatioanl Conferemce on Computer Graphics and Interactive Techniques,July 2000,p417-424。随后由Chan等人提出的基于总体变分TV模型的修复方法,以及由TV修复模型启发产生的曲率驱动扩散CDD模型修复方法都属于基于结构的修复方法。这些方法都是通过信息的扩散的来实现的,仅适用于非纹理图像以及小尺度破损的图像修复。
Criminisi等人提出的基于样本的修复方法是一种基于纹理的修复方法,该方法借鉴了纹理合成方法中的思想来寻找样本块并匹配复制,同时充分利用了基于结构的修复方法中的扩散方式来定义修复块的优先级,使得处在具有较多结构信息的边缘附近的修复块具有较高的修复优先级,从而在修复纹理信息的同时对结构信息也有一定的保持。参见A.Criminisi,P.Perez,K.Toyama,《Region Filling and Object Removal by Exemplar-Based Image Inpainting》,IEEE Trans.Image Processing,vol.13,No.9,Sep.2004,p1200-1212.该方法采用单个样本块直接填充待修复区域,由于实际中很难使样本块与待修复块达到最优匹配,因此在填充待修复块时会存在一定的误差,随着修复过程的进行,这种做法会造成误差的累积。
Alexander Wong和Jeff Orchar提出了一种基于样本的非局部均值修复算法,采用多个样本块的加权均值来合成用于填充待修复区域的填充块,在一定程度上改善了基于样本修复方法的缺陷。参见Alexander Wong,JeffOrchar,《ANonlocal-Means Approach to Exemplar-Based Inpainting》,15th IEEEInternational Conference on Image Processing,2008,p2600-2603.该方法由于使用一个衰减系数为常数的负指数函数来计算样本块与待修复块的相似性权值,而不同的待修复块中所包含的信息是不同的,这样做势必会造成相似性权值的计算不够准确,进而导致修复结果不能很好的连接图像中的细节纹理。
发明内容
本发明的目的在于克服基于样本的非局部均值修复方法的不足,提出了一种基于GMRF的非局部均值图像修复方法,该方法在基于样本的非局部均值修复方法的基础上结合了高斯随机场GMRF模型,构造一个自适应的权值计算公式,以更准确的估计不同样本块对于合成填充块的贡献,使图像修复结果中的细节纹理清晰,从而改善修复效果。
为实现上述目的,本发明的实现方法包括如下步骤:
(1)对于输入的待修复图像I,定义待修复区域为Ω,已知区域为源区Φ,确定待修复区域的边界为δ;
(2)对于中心点p在边界δ上的修复块ψp,计算其修复优先级P(p),找出优先级最高的修复块并对使用高斯随机场GMRF建模,ψp的修复优先级定义为P(p)=C(p)D(p),其中C(p)为置信度项,D(p)为数据项,分别定义为:
q为修复块ψp中像素值已知的点,C(q)为点q的置信度,|ψp|为修复块ψp的面积,α为标准化参数,对于灰度图像α=255,np为在p处与待修复区域边界垂直的单位向量,为与p点处的梯度垂直的单位向量,即p点处等照度线方向的单位向量,C(p)初始化为C(p)=0,C(p)=1,
(4)使用如下基于GMRF模型的自适应权值公式,分别计算前n个样本块ψi和待修复块的相似性权值:
(6)更新置信度项及待修复区域,当具有最高优先级的修复块被修复后,将已修复点的置信度更新为当前修复块中心点的置信度值,即
(7)重复步骤(1)~(6),直至待修复区域内的所有点被修复。
本发明与现有技术相比有以下优点:
1.本发明结合GMRF模型,构造一个自适应的权值计算公式,能够很好的利用图像本身的信息,更准确的估计不同样本块对于合成填充块的贡献,使图像修复结果中的细节纹理清晰,从而改善修复效果。
2.本发明使用自适应的权值计算公式,不需要对不同的图像设置不同的参数,易于实现。
附图说明
图1是本发明的流程图;
图2是本发明修复优先级的示意图;
图3是本发明修复图像破损区域实验使用的图像;
图4是对图3修复结果的局部放大图;
图5是本发明去除图像中文本实验使用的图像;
图6是对图5的修复结果;
图7是对图5修复结果的局部放大图;
图8是本发明去除图像中目标物实验使用的图像;
图9是对图8的修复结果;
图10是对图8修复结果的局部放大图。
具体实施方式
参照附图1,本发明的实现步骤如下:
步骤1,对待修复图像I,确定待修复区域Ω及其边界δ,将图像中已知的区域定义为源区Φ,即Φ=I-Ω,本发明使用的待修复图像I如图3(b),图5(b),图8(b)所示。
2.1)将待修复块ψp的修复优先级定义为:
P(p)=C(p)D(p) 1)
其中,C(p)为置信度项,
D(p)为数据项,
q为修复块ψp中像素值已知的点,C(q)为点q的置信度,|ψp|为修复块ψp的面积,α为标准化参数,对于灰度图像α=255,np为在p处与待修复区域边界垂直的单位向量,为p点处与梯度垂直的单位向量,即等照度线方向,C(p)初始化为C(p)=0,C(p)=1,
2.2)找出具有最高优先级的待修复块对其使用GMRF建模,计算它的方差计算待修复块内所有像素值已知点(x,y)的灰度值fx,y与其四邻域点(x+i,y+j)的灰度值fx+i,y+j之差:Δf=fx,y-fx+i,y+j,将这些差值的方差作为待修复块的方差
3.3)根据权值公式2)得到的相似性权值计算这n个样本块的加权均值ψp′:
其中ψi为取出的前n个样本块;
本发明效果可以通过以下实验进一步证实:
一、实验条件和内容
实验条件:实验所使用的图像如图3,图5,图8所示。其中图3(a)为修复图像中破损区域实验的原图,图3(b)为待修复图像,图5(a)为去除文本实验的原图,图5(b)为待修复图,图8(a)为目标物移除实验的原图,图8(b)为对要移除目标物的标记图,实验中各种对比方法都是使用MATLAB语言编程实现。
实验内容:
在上述实验条件下,分别使用Criminisi方法,基于样本的非局部均值修复方法和本发明进行实验,其中修复块大小取9×9,搜寻区域大小为M×M,M=41,取15个样本块进行加权平均。
进行修复图像中破损区域实验,其实验结果如图4,其中图4(a)为原图的局部放大图,图4(b)为使用Criminisi方法结果的局部放大图,图4(c)为使用基于样本的非局部均值修复方法结果的局部放大图,图4(d)为使用本发明结果的局部放大图。
进行去除文本实验,其实验结果如图6,其中图6(a)为使用Criminisi方法的结果图,图6(b)为使用基于样本的非局部均值方法的结果图,图6(c)为使用本发明的结果图。为了进一步说明实验效果,对图6的结果进行局部放大,如图7,其中图7(a)为原图的局部放大图,图7(b)为Criminisi方法的局部放大图,图7(c)为基于样本的非局部均值方法的局部放大图,图7(d)为本发明修复方法结果的局部放大图。
进行图像中目标物移除实验,其实验结果如图9,其中图9(a)是Criminisi方法结果,图9(b)为基于样本的非局部均值方法结果,图9(c)为本发明方法的修复结果。对图9的结果进行局部放大,如图10,其中图10(a)是Criminisi方法修复结果的局部放大图,图10(b)是基于样本的非局部均值方法修复结果的局部放大图,图10(c)是使用本发明得到的修复结果的局部放大图。
表1列出了使用三种不同方法得到的修复破损区域实验及文本去除实验结果的峰值信噪比PSNR值。
表1使用不同方法修复结果的PSNR值对比
二、实验结果
从图4及图7中可以看出,与现有的前两种修复方法相比,使用本发明方法能更好的连接图像的纹理信息,得到的修复结果纹理细节更加清晰自然,在边界区域以及纹理区域都更接近与原图。
从表1中也可看出,本发明方法的修复结果较Criminisi方法和基于样本的非局部均值方法得到修复结果的PSNR值都有所提高。
从图10中可以看出,使用本发明方法得到的修复结果在海浪和海面的边界区域以及海面区域都具有更好的效果。
以上实验结果表明,本发明相对于现有两种基于样本的修复方法具有更好的性能,克服了基于样本的非局部均值修复方法对权值估计不够准确的缺点。
Claims (3)
1.一种结合GMRF先验的非局部图像修复方法,包括如下步骤:
(1)对于输入的待修复图像I,定义待修复区域为Ω,已知区域为源区Φ,确定待修复区域的边界为δ;
(2)对于中心点p在边界δ上的修复块ψp,计算其修复优先级P(p),找出优先级最高的修复块并对使用高斯随机场GMRF建模,ψp的修复优先级定义为P(p)=C(p)D(p),其中C(p)为置信度项,D(p)为数据项,分别定义为:
q为修复块ψp中像素值已知的点,C(q)为点q的置信度,|ψp|为修复块ψp的面积,α为标准化参数,对于灰度图像α=255,np为在p处与待修复区域边界垂直的单位向量,为与p点处的梯度垂直的单位向量,即p点处等照度线方向的单位向量,C(p)初始化为C(p)=0,C(p)=1,
(6)更新置信度项及待修复区域,当具有最高优先级的修复块被修复后,将已修复点的置信度更新为当前修复块中心点的置信度值,即
(7)重复步骤(1)~(6),直至待修复区域内的所有点被修复。
3.根据权利要求书1所述的基于GMRF模型的非局部均值图像修复方法,其特征在于步骤(5)所述的根据得到的相似性权值计算前n个样本块的加权均值,是通过如下加权均值公式计算:
其中ψi为取出的前n个样本块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010536253 CN101980285B (zh) | 2010-11-09 | 2010-11-09 | 结合gmrf先验的非局部图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010536253 CN101980285B (zh) | 2010-11-09 | 2010-11-09 | 结合gmrf先验的非局部图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101980285A true CN101980285A (zh) | 2011-02-23 |
CN101980285B CN101980285B (zh) | 2013-04-17 |
Family
ID=43600786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010536253 Expired - Fee Related CN101980285B (zh) | 2010-11-09 | 2010-11-09 | 结合gmrf先验的非局部图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101980285B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142132A (zh) * | 2011-03-31 | 2011-08-03 | 北京交通大学 | 基于模块的图像修复方法 |
CN102324102A (zh) * | 2011-10-08 | 2012-01-18 | 北京航空航天大学 | 一种图像场景空洞区域结构和纹理信息自动填补方法 |
CN102800078A (zh) * | 2012-07-20 | 2012-11-28 | 西安电子科技大学 | 非局部均值图像细节修复方法 |
CN104484866A (zh) * | 2014-12-15 | 2015-04-01 | 天津大学 | 一种基于旋转及尺度空间拓展的图像修复方法 |
CN104601972A (zh) * | 2014-12-17 | 2015-05-06 | 清华大学深圳研究生院 | 一种利用图像修补的自由视点合成方法 |
CN105678712A (zh) * | 2016-01-29 | 2016-06-15 | 陕西师范大学 | 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 |
CN105957027A (zh) * | 2016-04-22 | 2016-09-21 | 西南石油大学 | 一种基于所需方向结构特征统计的mrf样图像修复方法 |
CN106228519A (zh) * | 2016-07-18 | 2016-12-14 | 广东欧珀移动通信有限公司 | 一种图像修复方法及终端 |
CN104021529B (zh) * | 2014-06-17 | 2017-01-11 | 中国电子科技集团公司第二十八研究所 | 一种模糊图像非盲复原方法 |
CN106650794A (zh) * | 2016-11-24 | 2017-05-10 | 北京理工大学 | 一种受物体表面高光反射影响的图像高光消除方法及系统 |
CN106897970A (zh) * | 2015-12-21 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种图像修复方法及装置 |
CN113487613A (zh) * | 2021-09-08 | 2021-10-08 | 广东省农业科学院动物科学研究所 | 一种猪肠上皮损伤修复图像识别方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1542155A1 (en) * | 2003-12-11 | 2005-06-15 | Sony United Kingdom Limited | Object detection |
CN101571950A (zh) * | 2009-03-25 | 2009-11-04 | 湖南大学 | 基于各向同性扩散和稀疏表示的图像修复方法 |
CN101661613A (zh) * | 2009-08-27 | 2010-03-03 | 北京交通大学 | 一种基于图像分割的图像修复方法及系统 |
CN101777178A (zh) * | 2010-01-28 | 2010-07-14 | 南京大学 | 一种图像修复方法 |
-
2010
- 2010-11-09 CN CN 201010536253 patent/CN101980285B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1542155A1 (en) * | 2003-12-11 | 2005-06-15 | Sony United Kingdom Limited | Object detection |
CN101571950A (zh) * | 2009-03-25 | 2009-11-04 | 湖南大学 | 基于各向同性扩散和稀疏表示的图像修复方法 |
CN101661613A (zh) * | 2009-08-27 | 2010-03-03 | 北京交通大学 | 一种基于图像分割的图像修复方法及系统 |
CN101777178A (zh) * | 2010-01-28 | 2010-07-14 | 南京大学 | 一种图像修复方法 |
Non-Patent Citations (3)
Title |
---|
《电子学报》 20090430 陈阳 基于一种新的非局部二次MRF 先验模型的Bayesian 图像重建 744-749 1-3 第37卷, 第4期 * |
《电子学报》 20100531 毕一鸣; 马建华; 路利军; 刘楠; 黄静; 陈武凡 基于标准剂量CT 图像非局部权值先验的低剂量图像恢复 1146-1151 1-3 第38卷, 第5期 * |
《自动化学报》 20080831 李波 基于Lp 范数的局部自适应偏微分方程图像恢复 849-853 1-3 第34卷, 第8期 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142132A (zh) * | 2011-03-31 | 2011-08-03 | 北京交通大学 | 基于模块的图像修复方法 |
CN102324102A (zh) * | 2011-10-08 | 2012-01-18 | 北京航空航天大学 | 一种图像场景空洞区域结构和纹理信息自动填补方法 |
CN102324102B (zh) * | 2011-10-08 | 2014-04-16 | 北京航空航天大学 | 一种图像场景空洞区域结构和纹理信息自动填补方法 |
CN102800078A (zh) * | 2012-07-20 | 2012-11-28 | 西安电子科技大学 | 非局部均值图像细节修复方法 |
CN104021529B (zh) * | 2014-06-17 | 2017-01-11 | 中国电子科技集团公司第二十八研究所 | 一种模糊图像非盲复原方法 |
CN104484866A (zh) * | 2014-12-15 | 2015-04-01 | 天津大学 | 一种基于旋转及尺度空间拓展的图像修复方法 |
CN104601972A (zh) * | 2014-12-17 | 2015-05-06 | 清华大学深圳研究生院 | 一种利用图像修补的自由视点合成方法 |
CN104601972B (zh) * | 2014-12-17 | 2016-09-21 | 清华大学深圳研究生院 | 一种利用图像修补的自由视点合成方法 |
CN106897970A (zh) * | 2015-12-21 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种图像修复方法及装置 |
CN105678712A (zh) * | 2016-01-29 | 2016-06-15 | 陕西师范大学 | 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 |
CN105678712B (zh) * | 2016-01-29 | 2018-08-24 | 陕西师范大学 | 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 |
CN105957027A (zh) * | 2016-04-22 | 2016-09-21 | 西南石油大学 | 一种基于所需方向结构特征统计的mrf样图像修复方法 |
CN105957027B (zh) * | 2016-04-22 | 2018-09-21 | 西南石油大学 | 一种基于所需方向结构特征统计的mrf样本块图像修复方法 |
CN106228519A (zh) * | 2016-07-18 | 2016-12-14 | 广东欧珀移动通信有限公司 | 一种图像修复方法及终端 |
CN106228519B (zh) * | 2016-07-18 | 2019-08-30 | Oppo广东移动通信有限公司 | 一种图像修复方法及终端 |
CN106650794A (zh) * | 2016-11-24 | 2017-05-10 | 北京理工大学 | 一种受物体表面高光反射影响的图像高光消除方法及系统 |
CN106650794B (zh) * | 2016-11-24 | 2019-10-01 | 北京理工大学 | 一种受物体表面高光反射影响的图像高光消除方法及系统 |
CN113487613A (zh) * | 2021-09-08 | 2021-10-08 | 广东省农业科学院动物科学研究所 | 一种猪肠上皮损伤修复图像识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101980285B (zh) | 2013-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101980285B (zh) | 结合gmrf先验的非局部图像修复方法 | |
CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
Wang et al. | Dehazing for images with large sky region | |
EP2118854B1 (en) | Exemplar/pde-based technique to fill null regions and corresponding accuracy assessment | |
Lee et al. | Robust exemplar-based inpainting algorithm using region segmentation | |
CN111160085A (zh) | 一种人体图像关键点姿态估计方法 | |
CN101571950B (zh) | 基于各向同性扩散和稀疏表示的图像修复方法 | |
CN106204503B (zh) | 基于改进置信度更新函数及匹配准则的图像修复算法 | |
Zhang et al. | Exemplar-based image inpainting using color distribution analysis | |
CN103020918B (zh) | 基于形状自适应邻域均值的非局部均值去噪方法 | |
CN102142132A (zh) | 基于模块的图像修复方法 | |
CN104376535A (zh) | 一种基于样本的快速图像修复方法 | |
US12008779B2 (en) | Disparity estimation optimization method based on upsampling and exact rematching | |
CN109920021B (zh) | 一种基于正则化宽度学习网络的人脸素描合成方法 | |
CN102999887A (zh) | 一种基于样本的图像修复方法 | |
CN103578085A (zh) | 基于可变块的图像空洞区域修补方法 | |
CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
Kanaeva et al. | Road pavement crack detection using deep learning with synthetic data | |
CN104091339A (zh) | 一种图像快速立体匹配方法及装置 | |
CN110322403A (zh) | 一种基于生成对抗网络的多监督图像超分辨重建方法 | |
CN115272306B (zh) | 利用梯度运算的太阳能电池板栅线增强方法 | |
CN103886561A (zh) | 基于数学形态学的Criminisi图像修复方法 | |
CN102800077B (zh) | 贝叶斯非局部均值图像修复方法 | |
CN104134195A (zh) | 基于块几何稀疏的图像修复方法 | |
CN102800078A (zh) | 非局部均值图像细节修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130417 Termination date: 20181109 |