CN102201111B - 自适应图像修复方法 - Google Patents

自适应图像修复方法 Download PDF

Info

Publication number
CN102201111B
CN102201111B CN 201110137704 CN201110137704A CN102201111B CN 102201111 B CN102201111 B CN 102201111B CN 201110137704 CN201110137704 CN 201110137704 CN 201110137704 A CN201110137704 A CN 201110137704A CN 102201111 B CN102201111 B CN 102201111B
Authority
CN
China
Prior art keywords
image
damaged area
curvature
mean
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110137704
Other languages
English (en)
Other versions
CN102201111A (zh
Inventor
印勇
李丁
殷强
胡琳昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Picohood Technology Co ltd
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN 201110137704 priority Critical patent/CN102201111B/zh
Publication of CN102201111A publication Critical patent/CN102201111A/zh
Application granted granted Critical
Publication of CN102201111B publication Critical patent/CN102201111B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种自适应图像修复方法，其特征在于：包括如下步骤：A.读入破损图像，并根据破损图像进行参数设置；A1.根据破损区域图像断裂面积的大小设置曲率自适应系数的阈值；其中，
Figure DEST_PATH_IMAGE002
；A2.根据破损区域图像中所包含的边缘或细节设置梯度自适应系数
Figure 717279DEST_PATH_IMAGE003
；其中，
Figure DEST_PATH_IMAGE004
；A3.根据对破损图像所需要保护的梯度范围，设置常数；A4.设定迭代次数和迭代步长
Figure DEST_PATH_IMAGE006
；B.对破损图像制作掩膜图像，即将图像的破损区域与非破损区域分开来；C.根据掩膜图像确定破损区域的位置；D.逐一计算破损区域各个点的半点梯度
Figure 116085DEST_PATH_IMAGE007
和半点梯度模值
Figure DEST_PATH_IMAGE008
；E.逐一计算破损区域各个点的半点曲率
Figure 13634DEST_PATH_IMAGE009
；本发明不仅图像修复效果好，而且修复时间短，适用于对所有破损图像进行自动修复。

Description

自适应图像修复方法
技术领域
本发明涉及图像修复方法，具体涉及自适应图像修复方法。
技术背景
在图像处理中，图像修复是一项重要的基础性研究课题。数字图像修复(Digital Image Inpainting)是根据图像中残留的信息，自动地恢复图像中遗失或损坏的信息，使修复后的图像接近或达到原始图像的视觉效果。
目前进行图像修复一般采用全变分（Total Variation，TV）图像修复模型（RUDIN L, OSHER S. FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica D，1992, 60(1~4)：259-268.）和曲率驱动扩散 (Curvature Driven Diffusion，CDD) 图像修复模型（CHAN T, SHEN J. Non-texture inpainting by curvature driven diffusions (CDD)[J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436-496.），其中，TV图像修复模型采用TV图像修复模型虽然修复时间较少，但TV模型的最大缺陷就是不满足人类视觉中的“连接性”原则，因为TV模型的本质就是将断裂的等照度线连接起来，这是一种直线连接，而求极值后，又要求连接的直线要最短，所以当在修复图像破损的宽度大于图像本身的宽度时，TV模型不能正确修补图像； CDD图像修复模型在TV模型的基础上引入了扩散引子曲率k，CDD模型在TV模型的基础上从以前的二阶偏微分上升成三阶偏微分，虽然能修补破损较大的图像，但由于一次修复迭代运算都要对每个点进行三阶偏微分的计算，所以修复时间很长。
发明内容
本发明所要解决的技术问题是提供一种图像修复的自适应方法。
根据本发明的技术方案，一种自适应图像修复方法，其特征在于：包括如下步骤：
A.读入破损图像，并根据破损图像进行参数设置；
A1.根据破损区域图像断裂面积的大小设置曲率自适应系数的阈值                                                
Figure 730587DEST_PATH_IMAGE001
；其中，
Figure 669593DEST_PATH_IMAGE002
；
A2.根据破损区域图像中所包含的边缘或细节设置梯度自适应系数
Figure 679006DEST_PATH_IMAGE003
；其中，
Figure 70674DEST_PATH_IMAGE004
；
A3.根据对破损图像所需要保护的梯度范围，设置常数
Figure 394207DEST_PATH_IMAGE005
；常数
Figure 250037DEST_PATH_IMAGE005
用于控制所需要保护的梯度的范围，
Figure 362175DEST_PATH_IMAGE005
越大，梯度函数衰减越慢，图像修复的扩散性度就会减缓，这样可达到保护特定梯度的目的；
A4.设定迭代次数和迭代步长
Figure 241138DEST_PATH_IMAGE006
；
B.对破损图像制作掩膜图像，即将图像的破损区域与非破损区域分开来，以便于破损区域修复；
C.根据掩膜图像确定破损区域的位置；
D. 逐一计算破损区域各个点的半点梯度
Figure 165101DEST_PATH_IMAGE007
和半点梯度模值；
E.逐一计算破损区域各个点的半点曲率
Figure 429915DEST_PATH_IMAGE009
；
F. 计算曲率自适应系数，其中：
Figure 195931DEST_PATH_IMAGE011
，并将曲率自适应系数
Figure 969896DEST_PATH_IMAGE010
与在A1步骤中设定的阈值
Figure 429696DEST_PATH_IMAGE012
进行比较，得到最终的曲率自适应系数
Figure 283251DEST_PATH_IMAGE013
的值，所述最终的曲率自适应系数
Figure 486699DEST_PATH_IMAGE013
与阈值
Figure 109311DEST_PATH_IMAGE012
的关系为：
Figure 5591DEST_PATH_IMAGE014
；
在破损区域中逐点计算各点的曲率自适应系数，与事先给定的阈值进行比较，将大于的
Figure 524697DEST_PATH_IMAGE017
设定为
Figure 87266DEST_PATH_IMAGE018
，说明此处几乎不存在大曲率的情况，即破损断裂面积较小，则不需要曲率来加强扩散，于是修复模型变为二阶偏微分方程，加快了修复速度；反之，将
Figure 694834DEST_PATH_IMAGE010
设定为
Figure 292037DEST_PATH_IMAGE019
，表明此处有大曲率的存在，即破损断裂面积很大，需要保留曲率扩散项来加强扩散以达到连接大的断裂破损区域的目的；
G.计算矢量j ：
Figure 530120DEST_PATH_IMAGE020
；
其中：
Figure 579985DEST_PATH_IMAGE021
，
Figure 934786DEST_PATH_IMAGE022
是用于平衡去噪和平滑的参数， 
Figure 120917DEST_PATH_IMAGE023
表示Lagrange乘子，
Figure 529901DEST_PATH_IMAGE024
表示图像破损区域，
Figure 67062DEST_PATH_IMAGE025
表示非破损区域。
Figure 219694DEST_PATH_IMAGE026
分别表示现有破损图像和原始图像，k表示半点曲率， f(|k|) 表示曲率传导系数，f(|k|)是以k为自变量的增函数，
Figure 525911DEST_PATH_IMAGE027
表示半点梯度，
Figure 840217DEST_PATH_IMAGE008
表示半点梯度模值，
Figure 864674DEST_PATH_IMAGE028
，
Figure 549559DEST_PATH_IMAGE029
表示梯度传导系数，
Figure 38178DEST_PATH_IMAGE029
是以
Figure 523386DEST_PATH_IMAGE007
为半点梯度的增函数， 
Figure 35139DEST_PATH_IMAGE005
是常数； 
Figure 529574DEST_PATH_IMAGE003
是梯度自适应系数；
这样便可以在图像不同的破损区域自动的选择不同的修复模型，达到最好的图像修复的效果；
H.计算修复增量  ；
I. 得到第n+1次迭代后的修复结果：
Figure 466492DEST_PATH_IMAGE031
               
其中，
Figure 205821DEST_PATH_IMAGE032
表示第n+1次的修复结果，
Figure 566264DEST_PATH_IMAGE033
表示第n次的修复结果,
Figure 701579DEST_PATH_IMAGE006
表示迭代步长，
Figure 794169DEST_PATH_IMAGE034
表示第n次的修复增量；
J.判断第n次的修复增量
Figure 14935DEST_PATH_IMAGE035
是否小于或等于设定值，当第n次的修复增量
Figure 851173DEST_PATH_IMAGE035
大于设定值，进入步骤K, 当第n次的修复增量
Figure 840994DEST_PATH_IMAGE035
小于或等于设定值，修复完成；
K.判断迭代次数是否等于设定的次数，当迭代次数不等于设定的次数，进入步骤C, 当迭代次数等于设定的次数，修复完成。
根据本发明所述的自适应图像修复方法的一个优选方案，曲率传导系数
Figure 830125DEST_PATH_IMAGE037
表示数学常量，
Figure 204475DEST_PATH_IMAGE009
是半点曲率。
根据本发明所述的自适应图像修复方法的一个优选方案，梯度自适应系数
Figure 376699DEST_PATH_IMAGE038
采用与破损区域中包含的边缘或细节成反比的原则进行设置；即：当破损区域中包含的边缘或细节越多时，
Figure 748775DEST_PATH_IMAGE038
的取值越接近1，当破损区域中包含的边缘或细节越少时，
Figure 6450DEST_PATH_IMAGE038
的取值越接近2。采用该原则进行设置的效果是：在图像修复时，只在较大曲率时使用CCD模型，有效减少修复时间，同时，只在较大梯度使用各向异性扩散，而平坦区域使用各向同性扩散，比全局使用各项异性扩散效果更优，修复时间更少，采用该方法进行图像修复不仅效果好，而且修复时间大大减少。
根据本发明所述的自适应图像修复方法的一个优选方案， 阈值
Figure 184490DEST_PATH_IMAGE039
采用与破损区域中包含的断裂面积成正比的原则进行设置；即：当破损区域中包含的断裂面积越大，阈值
Figure 148904DEST_PATH_IMAGE039
的取值越接近2，当破损区域中包含的断裂面积越小，阈值
Figure 760057DEST_PATH_IMAGE039
的取值越接近1。采用该原则进行设置的效果是：当破损区域中包含的断裂面积越大，将阈值
Figure 177132DEST_PATH_IMAGE039
的值提高，让传导系数曲率保留下来，这样便可以让曲率这个传导系数在更多的地方发挥作用，加强传播；反之，就应该降低阈值
Figure 158863DEST_PATH_IMAGE039
的取值。
本发明所述的自适应图像修复方法的有益效果是：本发明根据不同的图像特点选择不同的梯度自适应系数
Figure 977783DEST_PATH_IMAGE040
，不仅提高了修复的速度，还增强了图像修复的效果；并跟据破损区域中的曲率，计算曲率自适应系数，在大曲率时保留曲率扩散项，在小曲率时去掉曲率扩散项，使得大大提高了图像修复的速度，本发明不仅图像修复效果好，而且修复时间短，适用于对所有破损的图像进行自动的修复。
附图说明
图1  是本发明所述的自适应图像修复方法的流程图；
图2 是 扩散系数
Figure 986245DEST_PATH_IMAGE041
函数的比较；
图3  是扩散系数
Figure 506088DEST_PATH_IMAGE042
函数的比较；
图4（a）是实施例1的原始图像；
图4（b）是 图4（a）的破损图像；
图4（c）是4（b）的掩膜图像；
图4（d） 是图4（b）的修复图像；
图5（a）是实施例2的原始图像；
图5（b）是 图5（a）的Lena破损图像；
图5（c）是5（b）的掩膜图像；
图5（d） 是图5（b）的修复图像。
具体实施方式
参见图1，一种自适应图像修复方法，按如下步骤进行：
A.读入破损图像，并根据破损图像进行参数设置；
A1.根据破损区域图像断裂面积的大小设置曲率自适应系数的阈值
Figure 179515DEST_PATH_IMAGE039
；其中，
Figure 386331DEST_PATH_IMAGE043
；
在具体实施例中，阈值采用与破损区域中包含的断裂面积成正比的原则进行设置，即当破损区域中包含的断裂面积越大，阈值
Figure 163849DEST_PATH_IMAGE039
的取值越接近2，当破损区域中包含的断裂面积越小，阈值
Figure 691783DEST_PATH_IMAGE039
的取值越接近1；采用该原则进行设置的效果是：当破损区域中包含的断裂面积越大，将阈值
Figure 75359DEST_PATH_IMAGE039
的值提高，让传导系数曲率保留下来，这样便可以让曲率这个传导系数在更多的地方发挥作用，加强传播；反之，就应该降低阈值的取值；
A2.根据破损区域图像中所包含的边缘或细节设置梯度自适应系数；其中，
Figure 469847DEST_PATH_IMAGE044
；
在具体实施例中，梯度自适应系数
Figure 24325DEST_PATH_IMAGE038
采用与破损区域中包含的边缘或细节成反比的原则进行设置，即当破损区域中包含的边缘或细节越多时，
Figure 125005DEST_PATH_IMAGE038
的取值越接近1，当破损区域中包含的边缘或细节越少时，
Figure 790341DEST_PATH_IMAGE038
的取值越接近2；采用该原则进行设置的效果是：在图像修复时，只在较大曲率时使用CCD模型，有效减少修复时间。同时，只在较大梯度使用各向异性扩散，而平坦区域使用各向同性扩散，比全局使用各项异性扩散效果更优，同时时间更少。该方法的图像修复不仅效果好，而且修复时间大大减少；
A3.根据对破损图像所需要保护的梯度范围，设置常数；常数
Figure 18246DEST_PATH_IMAGE045
一般设置为0~20；
A4.设定迭代次数和迭代步长
Figure 871802DEST_PATH_IMAGE046
；一般以 200次为起始数，迭代步长
Figure 75250DEST_PATH_IMAGE046
以50次递增，直到峰值信噪比达到较稳定为止；
B.对破损图像制作掩膜图像，即将图像的破损区域与非破损区域分开来，以便于破损区域修复；一般来说图像中破损的区域为全白或全黑的区域，而这两个像素值在正常图像中很难出现，所以只要将图像中像素值大于250（破损区为白色），或像素值小于5（破损区为黑色）的部分视为破损区，将该处标记像素值为1（或0），将其他完好的地方标记像素值为0（或1），那么掩膜图像就制作完成；
C.根据掩膜图像确定破损区域的位置；
D. 逐一计算破损区域各个点的半点梯度和半点梯度模值
Figure 346141DEST_PATH_IMAGE008
； 
例如：半点梯度
Figure 749309DEST_PATH_IMAGE047
为：  
Figure 756448DEST_PATH_IMAGE048
Figure 233566DEST_PATH_IMAGE049
Figure 363065DEST_PATH_IMAGE050
  （11）
其中， 表示对x的偏微分，
Figure 476743DEST_PATH_IMAGE052
表示对y的偏微分；
半点梯度模值
Figure 73947DEST_PATH_IMAGE053
为：
Figure 108768DEST_PATH_IMAGE054
E.逐一计算破损区域各个点的半点曲率；
例如：计算 
Figure 507574DEST_PATH_IMAGE056
为：
Figure 959284DEST_PATH_IMAGE057
 ；
其中， 
Figure 368269DEST_PATH_IMAGE058
表示x对I的偏导数， 
Figure 905429DEST_PATH_IMAGE059
表示y对I的偏导数； 和
Figure 155157DEST_PATH_IMAGE061
的求法与式(11)相同，计算时，
Figure 735042DEST_PATH_IMAGE062
和采用中心差分法，同时，半点曲率也采用中心差分法计算；
 F. 计算曲率自适应系数，其中：，并将曲率自适应系数
Figure 879366DEST_PATH_IMAGE010
与在A1步骤中设定的阈值进行比较，得到最终的曲率自适应系数
Figure 451347DEST_PATH_IMAGE013
的值，所述最终的曲率自适应系数与阈值
Figure 106505DEST_PATH_IMAGE012
的关系为：
Figure 404632DEST_PATH_IMAGE014
；
在破损区域中逐点计算各点的曲率自适应系数
Figure 539947DEST_PATH_IMAGE015
，与事先给定的阈值
Figure 632537DEST_PATH_IMAGE012
进行比较，将大于
Figure 933197DEST_PATH_IMAGE012
的设定为
Figure 759257DEST_PATH_IMAGE018
，说明此处几乎不存在大曲率的情况，即破损断裂面积较小，则不需要曲率来加强扩散，于是修复模型变为二阶偏微分方程，加快了修复速度；反之，将设定为1，表明此处有大曲率的存在，即破损断裂面积很大，需要保留曲率扩散项来加强扩散以达到连接大的断裂破损区域的目的；
G.计算矢量j ：
Figure 793127DEST_PATH_IMAGE020
  ；                       （1）
其中（1）式是由4个半点梯度和4个半点曲率的加权平均得来的：
  
Figure 167476DEST_PATH_IMAGE066
                       （2）
其中，z表示一个半像素点，
Figure 277384DEST_PATH_IMAGE067
表示全部的4个半像素点，即一个领域；
（1）式和（2）式中， 
Figure 779952DEST_PATH_IMAGE021
，
Figure 975310DEST_PATH_IMAGE022
是用于平衡去噪和平滑的参数， 
Figure 153351DEST_PATH_IMAGE023
表示Lagrange乘子，
Figure 117764DEST_PATH_IMAGE024
表示图像破损区域，
Figure 785375DEST_PATH_IMAGE025
表示非破损区域。
Figure 202450DEST_PATH_IMAGE026
分别表示现有破损图像和原始图像，k表示半点曲率，f(|k|) 表示曲率传导系数，f(|k|)是以k为自变量的增函数，
Figure 184181DEST_PATH_IMAGE027
表示梯度，
Figure 997242DEST_PATH_IMAGE008
表示梯度模值，，
Figure 5704DEST_PATH_IMAGE029
代表梯度传导系数，
Figure 525547DEST_PATH_IMAGE029
是以
Figure 198974DEST_PATH_IMAGE007
为梯度的增函数， 是常数； 
Figure 803317DEST_PATH_IMAGE003
是梯度自适应系数；其中，
Figure 929448DEST_PATH_IMAGE036
；
Figure 722960DEST_PATH_IMAGE068
e为数学常量，e约等于2.7，
Figure 106537DEST_PATH_IMAGE009
是半点曲率。
根据（1）式，修复分成两种情况，一种是破损图像有噪声的情况，一种是破损图像无噪声的情况，有噪声的修复模型如（3）式：
  
Figure 719921DEST_PATH_IMAGE069
            （3）
无噪声的修复模型如（4）式：
                                 （4）
这样便可以在图像不同的破损区域自动的选择不同的修复模型，达到最好的图像修复的效果；
H.计算修补增量  
Figure 495165DEST_PATH_IMAGE071
：
若将j写成j=(j 1,j 2)，则：
Figure 784064DEST_PATH_IMAGE072
；
其中：j 1为水平分量，j 2为垂直分量，d为网格长度，h为两个网格点之间的距离；
若以当前计算点为中心点(0 ,0)，则在半点方案时：
Figure 150323DEST_PATH_IMAGE073
；
I. 得到第n次迭代后的修复结果：
Figure 833238DEST_PATH_IMAGE074
                 （5）
其中，
Figure 335763DEST_PATH_IMAGE032
表示第n+1次的修复结果，表示第n次的修复结果,表示迭代步长，
Figure 180463DEST_PATH_IMAGE034
表示第n次的修复增量；
 J.判断修补增量 
Figure 803074DEST_PATH_IMAGE071
是否小于或等于设定值，当修补增量 
Figure 433776DEST_PATH_IMAGE071
不小于设定值，进入步骤K, 当修补增量 
Figure 842804DEST_PATH_IMAGE071
小于或等于设定值，修复完成；设定值规定为约等于0的数，如0.1、0.01等等，设定值越小，修复时间可能越长。
K.判断迭代次数是否等于设定的次数，当迭代次数不等于设定的次数，进入步骤C, 当迭代次数等于设定的次数，修复完成。
    修复图像的流程如图1所示。p（
Figure 849943DEST_PATH_IMAGE075
）是根据图像的平坦陡峭程度来选择的，图像变化越平缓，p越接近2，否则越接近1；a是曲率自适应系数的一个阈值，
Figure 327060DEST_PATH_IMAGE076
，当图像破损处的大曲率比较多时，将阈值a的值提高。图5表示，当
Figure 190980DEST_PATH_IMAGE077
时，传导系数为
Figure 753548DEST_PATH_IMAGE078
，即p-laplace算子CCD模型；反之，传导系数为
Figure 564378DEST_PATH_IMAGE079
，即p-laplace算子TV模型。由此看出，这样分成两部分的原因是，当曲率较小时，不直接使用因子k，降阶为二阶，可大大减少运算时间。
在CDD模型中，传导率
Figure 896003DEST_PATH_IMAGE080
受梯度和曲率的共同控制，即CDD 模型在梯度大的地方扩散较弱, 在曲率绝对值大的地方扩散较强。所以对
Figure 128227DEST_PATH_IMAGE081
和选择适当的函数，这样在和
Figure 41060DEST_PATH_IMAGE082
的共同作用下，图像中强烈并且光顺的边缘将得到最好的保护，即使不太强(
Figure 387727DEST_PATH_IMAGE082
较小)，但足够光顺的等照度线也能持续足够长的时间。反之，如果任何等照度线的局部具有大曲率，即使其梯度模值较大，也将迅速扩散。
所以，选择
Figure 721626DEST_PATH_IMAGE083
，与
Figure 874258DEST_PATH_IMAGE084
相比，它更强调了大曲率，如图2中虚线曲线所示。
选择
Figure 180475DEST_PATH_IMAGE085
，参数K可以用来控制受保护梯度模值的范围。分别选择K=1和K=3，函数如图3所示。可见，当K=3时，函数随着梯度的增加衰减的更慢，即可以通过控制K来保护不同的梯度。如图3中虚线曲线所示。
由于大曲率时需扩散强，而CDD模型中的曲率因子能加强扩散，所以在大曲率时使用CDD模型较好；而小曲率的时候使用TV模型即可；在大梯度时，为了保护边缘使用TV模型较好；小梯度时，即平坦区域使用热扩散模型较好。因此，本发明引入了根据曲率大小选择曲率扩散模型的自适应系数q和根据图像变化大小选择扩散模型的自适应系数p。其Euler-Lagrange方程和梯度下降公式为：
 
Figure 703903DEST_PATH_IMAGE086
                 （6）
式（6）中
Figure 790677DEST_PATH_IMAGE022
是用于平衡去噪和平滑的参数（若修复图像时有噪声的，
Figure 481421DEST_PATH_IMAGE022
取得越小，图像平滑模糊的越严重），
Figure 642144DEST_PATH_IMAGE087
，表示Lagrange乘子，
Figure 701422DEST_PATH_IMAGE024
表示图像破损区域，
Figure 195857DEST_PATH_IMAGE025
表示非破损区域。
Figure 494244DEST_PATH_IMAGE026
分别表示现有破损图像和原始图像，k表示半点曲率， ，f(|k|)是以k为自变量的增函数，表示曲率传导系数；
Figure 149402DEST_PATH_IMAGE007
表示半点梯度，表示半点梯度模值，
Figure 317264DEST_PATH_IMAGE028
，
Figure 472170DEST_PATH_IMAGE029
表示的是以为半点梯度的增函数，表示梯度传导系数；div表示散度，
Figure 529174DEST_PATH_IMAGE089
表示图像随修复时间的变化值。
由式（6）可知，
Figure 790434DEST_PATH_IMAGE014
，
Figure 53925DEST_PATH_IMAGE090
。
Figure 496408DEST_PATH_IMAGE065
的取值与图像的曲率有关，在图像变化大处曲率k就大，当时，
Figure 308561DEST_PATH_IMAGE019
，即保留了曲率扩散项这一项；在图像变化不明显处曲率k小，当
Figure 742953DEST_PATH_IMAGE092
时，，即曲率扩散项为0，此时就简化为TV模型。
Figure 844913DEST_PATH_IMAGE093
的取值与图像的梯度有关，破损区图像边缘较多的话，p的取值越小，反之越大。
    下面，在不考虑噪声的情况下，用极限法来分析上面的自适应模型。p和q的极限值分别取1和2，那么，可以组合成四种不同的情况：
当取p=2，
Figure 809327DEST_PATH_IMAGE018
时：
这时表示该破损点处的曲率值很小，表示没有什么太大的破损或者断裂的存在；同时，原始的破损区域中的图像包含的大多是接近于平坦的区域，所以破损区域的梯度值也很小，那么这时的修补模型演变为：
Figure 414621DEST_PATH_IMAGE094
                                   （7）
其中，
Figure 97275DEST_PATH_IMAGE095
表示拉普拉斯算子，
Figure 813427DEST_PATH_IMAGE096
表示梯度。式（7）中的模型为著名的调和模型，也称作热扩散模型，即各项同性扩散模型。它表示在修复该破损区域的时候，各个方向都是以相同速度和系数进行扩散的，速度快于各向异性扩散。调和模型是一个二阶偏微分方程，它适合修复破损区是很平坦的区域的图像。由于调和模型在所有方向都可以以一个较快的速度进行修复，所以不像各向异性扩散，不同方向上的修复程度不同，所以收敛速度较快，即完成修复的时间较少；同时，在平坦区域使用调和模型的效果是优于各向异性扩散的，因为平坦区域意味着没有什么边缘或细节部分，那么要是用各向异性扩散就会使一些方向的像素值增强，一些方向的像素值减弱，造成虚假边缘，即我们所说的阶梯效应。所以，通过上面的分析，在平坦区域使用调和修补模型无论是在修复效果上还是修复速度上都是最优的。
当p=1，
Figure 960243DEST_PATH_IMAGE018
时：
这时表示该破损点处的曲率值很小，表示没有什么太大的破损或者断裂的存在；而破损区域中包含的边缘或细节是比较多的，所以其梯度值是很大的。这样的情况表示了破损区域包含了较多的边缘，但破损的边缘都很光滑且断裂面积不大的区域，这时的修补模型演变为：
                
Figure 736438DEST_PATH_IMAGE097
              （8）
其中，
Figure 640809DEST_PATH_IMAGE007
表示半点梯度，
Figure 166512DEST_PATH_IMAGE098
。根据式子（8）可知，现在的修复模型演变成了TV模型。TV模型是一个二阶偏微分方程，同时也是各向异性扩散的，在速度上是优于三阶的CDD修复模型的。由于是各向异性扩散的，所以在修复时其扩散只发生在破损图像的边缘处，所以该模型能很好的保护边缘和细节部分。并且由于破损处的曲率小，表示断裂面积不大，所以用TV模型修复完全不会对修复效果造成影响，由于在此略去了曲率部分的计算，使得CDD模型的三阶偏微分方程降阶成了二阶的TV模型，使得修复时间大大的减少了。所以，在这种破损面积不大的广顺边缘区域，使用TV模型在修复速度上是较快的。
    我们上面分析的两个模型就是p-laplace算子扩散模型中的两个特例，而之所以p-laplace算子可以达到一个很好的修复效果，就是因为它实质上就是一个各项异性扩散的方程，如果用等照度线的切线和垂直方向来表示，有下面的式子：
 
Figure 167835DEST_PATH_IMAGE099
其中，
Figure 114931DEST_PATH_IMAGE007
表示半点梯度，p（）表示梯度自适应系数，
Figure 830132DEST_PATH_IMAGE100
表示等照度线的切线方向，扩散系数
Figure 623645DEST_PATH_IMAGE101
表示切线方向的扩散速度，而
Figure 741642DEST_PATH_IMAGE102
表示等照度线的垂直方向，扩散系数
Figure 638183DEST_PATH_IMAGE103
表示垂直方向的扩散速度。这两个系数控制着不同方向上的扩散行为，所以只要合理的选择
Figure 765408DEST_PATH_IMAGE104
的值，就能达到某种扩散目的，最终达到满意的图像修复的效果，而上面所分析的只是两种极限情况。
当取p=2，
Figure 475744DEST_PATH_IMAGE019
时：
这时表示破损处的曲率是很大的，表示这里有破损面积较大或者断裂处较宽的情况存在，但是破损区域所包含的边缘很细节又较少，接近于平坦区域，即梯度值是很小的。当破损图像是这种破损面积较大，但图像又很平坦时，修补模型就演变为：
Figure 764643DEST_PATH_IMAGE105
                  （9）
其中，
Figure 130902DEST_PATH_IMAGE007
表示半点梯度，
Figure 858556DEST_PATH_IMAGE106
。式子（9）所表示的模型就是QCDD修复模型。QCDD修复模型是直接建立在热扩散模型的基础上的，此时的扩散强度不在依赖于梯度模值了，而仅仅依赖于等照线的几何信息——曲率
Figure 361081DEST_PATH_IMAGE009
。即在破损处的曲率较大时，扩散就会加快，以此来填补破损面积较大的区域。由于曲率
Figure 92320DEST_PATH_IMAGE009
的引入，使得该模型满足了人类视觉中的“连接整体性准则”，表明在面对较大破损的时候修复效果还是不错的。由于QCDD修复模型是建立在热扩散的基础上的，所以去除了梯度值对扩散速度的负面影响，因此其修复速度必然会加快。
当取p=1，
Figure 680296DEST_PATH_IMAGE019
时：
这时表示破损处的曲率很大，表示这里有破损面积较大或者断裂处较宽的情况存在；同时，破损区域中包含了大量的边缘和细节部分，即破损区域的梯度值都很大。那么这种破损面积大且破损区域含有大量的边缘或细节信息的区域，修补模型演变为：
Figure 149324DEST_PATH_IMAGE107
                （10）
其中，表示半点梯度，
Figure 464953DEST_PATH_IMAGE028
，
Figure 540226DEST_PATH_IMAGE009
表示半点曲率，
Figure 609682DEST_PATH_IMAGE106
。式子（10）表示的就是一个典型的CDD模型。因为破损的图像中的断裂面积很大同时破损区域还含有大量的边缘信息，所以要用曲率
Figure 80940DEST_PATH_IMAGE009
加强其扩散，达到修断裂面积的目的，同时还要应用各向异性扩散来保护边缘和细节部分。所以在这种破损大且边缘多的区域使用CDD模型是最合适的，虽然CDD模型的修复速度较慢，但其修复效果是最好的，能够满足要求。
通过以上分析可以看出，一幅破损的图像并不是所有地方都使用的一种修复模型，在不合适的地方用错误的模型不仅会导致修复速度很慢，同时可能造成修复质量下降的情况出现。所以只要根据不同的图像、不同位置的情况选取适当的的值，修复模型就可以近似趋近于以上的四个模型中的一个或几个，这就达到了自适应的目的，使得最终的修复效果达到最佳。所以通过上面的分析可以知道，该自适应模型在修复质量和修复速度上都表现的很不错。
实施例1：采用本发明的方法对带有划痕和特殊图案的Lena破损图像进行图像修复，其中，原始图像见图4（a）,图4（a）的破损图像见图4（b），图4（b）的掩膜图像见图4（c），图4（b）的修复图像见图4（d）；在修复时，设置p=1.5，a=1.55, K=0.8，迭代次数为300次，迭代步长
Figure 710690DEST_PATH_IMAGE006
取1。
实施例2：采用本发明的方法对带有汉字的Lena破损图像进行图像修复，其中，原始图像见图5（a）, 图5（a）的破损图像见图5（b），图5（b）的掩膜图像见图5（c），图5（b）的修复图像见图5（d）；在修复时，设置p=0.35，a=0.8, K=0.9，迭代次数为300次，迭代步长
Figure 521520DEST_PATH_IMAGE006
取1。
综上所述，本发明的自适应图像修复方法可以针对不同的图像、在不同的破损区域自适应的使用不同的图像修复模型，其图像修复效果好，而且修复时间短。

Claims (4)

1.一种自适应图像修复方法，其特征在于：包括如下步骤：
A.读入破损图像，并根据破损图像进行参数设置；
A1.根据破损区域图像断裂面积的大小设置曲率自适应系数的阈值                                                
Figure 201110137704X100001DEST_PATH_IMAGE001
；其中，
Figure 209409DEST_PATH_IMAGE002
；
A2.根据破损区域图像中所包含的边缘或细节设置梯度自适应系数
Figure DEST_PATH_IMAGE003
；其中，
Figure 968112DEST_PATH_IMAGE004
；
A3.根据对破损图像所需要保护的梯度范围，设置常数
Figure DEST_PATH_IMAGE005
； 
A4.设定迭代次数和迭代步长
Figure 937074DEST_PATH_IMAGE006
；
B.对破损图像制作掩膜图像，即将图像的破损区域与非破损区域分开来；
C.根据掩膜图像确定破损区域的位置；
D. 逐一计算破损区域各个点的半点梯度
Figure DEST_PATH_IMAGE007
和半点梯度模值
Figure 496101DEST_PATH_IMAGE008
；
E.逐一计算破损区域各个点的半点曲率
Figure DEST_PATH_IMAGE009
；
 F.计算曲率自适应系数
Figure 816092DEST_PATH_IMAGE010
，其中：，并将曲率自适应系数
Figure 124626DEST_PATH_IMAGE010
与在A1步骤中设定的阈值
Figure 89040DEST_PATH_IMAGE012
进行比较，得到最终的曲率自适应系数
Figure DEST_PATH_IMAGE013
的值，所述最终的曲率自适应系数
Figure 818967DEST_PATH_IMAGE013
与阈值
Figure 563938DEST_PATH_IMAGE012
的关系为：
Figure 280090DEST_PATH_IMAGE014
；
G.计算矢量j ：
Figure DEST_PATH_IMAGE015
；其中：
Figure 365307DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE017
是用于平衡去噪和平滑的参数， 
Figure 531715DEST_PATH_IMAGE018
表示Lagrange乘子，
Figure DEST_PATH_IMAGE019
表示图像破损区域，
Figure 560720DEST_PATH_IMAGE020
表示非破损区域；
Figure DEST_PATH_IMAGE021
分别表示现有破损图像和原始图像，k表示半点曲率， f(|k|) 表示曲率传导系数，且f(|k|)是以k为自变量的增函数， 
Figure 211056DEST_PATH_IMAGE007
表示半点梯度，
Figure 150062DEST_PATH_IMAGE008
表示半点梯度模值，
Figure 97158DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
代表梯度传导系数，是以
Figure 936993DEST_PATH_IMAGE007
为半点梯度的增函数， 
Figure 730506DEST_PATH_IMAGE005
是常数； 
Figure 842644DEST_PATH_IMAGE003
是梯度自适应系数；
H.计算修复增量 
Figure 721607DEST_PATH_IMAGE024
；
I. 得到第n+1次迭代后的修复结果：
                 
其中，
Figure 707886DEST_PATH_IMAGE026
表示第n+1次的修复结果，
Figure DEST_PATH_IMAGE027
表示第n次的修复结果,
Figure 480539DEST_PATH_IMAGE006
表示迭代步长，
Figure 35017DEST_PATH_IMAGE028
表示第n次的修复增量；
J.判断第n次的修复增量
Figure DEST_PATH_IMAGE029
是否小于或等于设定值，当第n次的修复增量
Figure 531770DEST_PATH_IMAGE029
大于设定值，进入步骤K, 当第n次的修复增量
Figure 931527DEST_PATH_IMAGE029
小于或等于设定值，修复完成；
K.判断迭代次数是否等于设定的次数，当迭代次数不等于设定的次数，进入步骤C, 当迭代次数等于设定的次数，修复完成。
2.根据权利要求1所述的自适应图像修复方法，其特征在于：曲率传导系数
Figure 699632DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
是数学常量，
Figure 284066DEST_PATH_IMAGE009
表示半点曲率。
3.根据权利要求1所述的自适应图像修复方法，其特征在于：梯度自适应系数
Figure 137621DEST_PATH_IMAGE003
采用与破损区域中包含的边缘或细节成反比的原则进行设置。
4.根据权利要求1或3所述的自适应图像修复方法，其特征在于：阈值采用与破损区域中包含的断裂面积成正比的原则进行设置。
CN 201110137704 2011-05-26 2011-05-26 自适应图像修复方法 Expired - Fee Related CN102201111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110137704 CN102201111B (zh) 2011-05-26 2011-05-26 自适应图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110137704 CN102201111B (zh) 2011-05-26 2011-05-26 自适应图像修复方法

Publications (2)

Publication Number Publication Date
CN102201111A CN102201111A (zh) 2011-09-28
CN102201111B true CN102201111B (zh) 2013-04-17

Family

ID=44661763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110137704 Expired - Fee Related CN102201111B (zh) 2011-05-26 2011-05-26 自适应图像修复方法

Country Status (1)

Country Link
CN (1) CN102201111B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521786B (zh) * 2011-12-01 2013-12-18 中国科学院自动化研究所 一种基于颜色检测和快速匹配法的照片水印去除方法
CN103198454A (zh) * 2012-12-26 2013-07-10 辽宁师范大学 基于曲率驱动扩散的图像修复方法
CN104581386B (zh) * 2014-12-23 2017-11-07 深圳市九洲电器有限公司 一种电视节目播放方法及系统
CN107369139B (zh) * 2017-06-27 2020-08-14 五邑大学 一种基于混合数据拟合与加权全变差的噪声图像去模糊方法
CN113447915B (zh) * 2021-07-08 2022-11-01 电子科技大学 一种适用于复杂多径环境下的超宽带层析成像方法
CN113808150B (zh) * 2021-08-31 2023-09-01 西安理工大学 一种可自适应修复的边缘检测新方法
CN116630205B (zh) * 2023-07-19 2024-03-12 深圳佳弟子科技有限公司 一种图像处理方法、智能终端及存储介质
CN117350231B (zh) * 2023-12-05 2024-02-20 武汉宇微光学软件有限公司 一种逆光刻掩模优化边缘移动步长调节方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571950A (zh) * 2009-03-25 2009-11-04 湖南大学 基于各向同性扩散和稀疏表示的图像修复方法
CN101661613A (zh) * 2009-08-27 2010-03-03 北京交通大学 一种基于图像分割的图像修复方法及系统
CN101674397A (zh) * 2009-09-27 2010-03-17 上海大学 视频序列中划痕的修复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571950A (zh) * 2009-03-25 2009-11-04 湖南大学 基于各向同性扩散和稀疏表示的图像修复方法
CN101661613A (zh) * 2009-08-27 2010-03-03 北京交通大学 一种基于图像分割的图像修复方法及系统
CN101674397A (zh) * 2009-09-27 2010-03-17 上海大学 视频序列中划痕的修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Leonid I. Rudin, et al.Nonlinear total variation based noise removal algorithms.《Physica D》.1992,第60卷259-268.
Nonlinear total variation based noise removal algorithms;Leonid I. Rudin, et al;《Physica D》;19921231;第60卷;259-268 *
Nontexture Inpainting by Curvature-Driven Diffusions;Tony F. Chan, et al;《Journal of Visual Communication and Image Representation》;20011231;第12卷(第4期);436-449 *
Tony F. Chan, et al.Nontexture Inpainting by Curvature-Driven Diffusions.《Journal of Visual Communication and Image Representation》.2001,第12卷(第4期),436-449.

Also Published As

Publication number Publication date
CN102201111A (zh) 2011-09-28

Similar Documents

Publication Publication Date Title
CN102201111B (zh) 自适应图像修复方法
WO2015010451A1 (zh) 一种从单幅图像检测道路的方法
CN101807292B (zh) 一种图像去噪方法
CN104966286A (zh) 一种3d视频显著性检测方法
CN103745468B (zh) 一种基于图结构和边界先验的显著性物体检测方法
CN103578085B (zh) 基于可变块的图像空洞区域修补方法
CN107067372B (zh) 一种基于四阶偏微分方程的图像去噪方法
CN106997478B (zh) 基于显著中心先验的rgb-d图像显著目标检测方法
CN104915946B (zh) 一种适用于严重退化图像的基于显著性的对象分割方法
US8433153B2 (en) Image correction apparatus and image correction method
US9578312B2 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
CN101673401A (zh) 图像处理设备、图像处理方法和程序
CN106504294B (zh) 基于扩散曲线的rgbd图像矢量化方法
CN106898048B (zh) 一种可适应复杂场景的无畸变集成成像三维显示方法
CN106777114A (zh) 一种视频分类方法及系统
CN104574328A (zh) 一种基于直方图分割的彩色图像增强方法
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
WO2011075164A1 (en) Method and system for factoring an illumination image
CN108389170A (zh) 多广角摄像机重叠区域的图像增强及去噪方法和装置
WO2011075165A1 (en) Method and system for generating intrinsic images using a single reflectance technique
CN103218771B (zh) 基于自回归模型深度恢复的参数自适应选取方法
CN103729828A (zh) 视频去雨方法
CN109345609A (zh) 基于卷积神经网络进行壁画图像去噪和线描画生成的方法
CN106611406B (zh) 图像校正方法和图像校正设备
CN108898611A (zh) 基于显著感知先验的模糊区域活动轮廓分割模型

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: BEIJING MIAOWEI TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: CHONGQING UNIVERSITY

Effective date: 20140121

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 400030 SHAPINGBA, CHONGQING TO: 100102 CHAOYANG, BEIJING

TR01 Transfer of patent right

Effective date of registration: 20140121

Address after: 100102 Beijing city in Chaoyang District Lize Park 106 Building 5 layer 505C

Patentee after: BEIJING PICOHOOD TECHNOLOGY Co.,Ltd.

Address before: 400030 Shapingba District, Sha Sha Street, No. 174, Chongqing

Patentee before: Chongqing University

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130417

CF01 Termination of patent right due to non-payment of annual fee