CN109859111A - 一种基于map方法的单幅图像盲去模糊方法 - Google Patents
一种基于map方法的单幅图像盲去模糊方法 Download PDFInfo
- Publication number
- CN109859111A CN109859111A CN201811384103.7A CN201811384103A CN109859111A CN 109859111 A CN109859111 A CN 109859111A CN 201811384103 A CN201811384103 A CN 201811384103A CN 109859111 A CN109859111 A CN 109859111A
- Authority
- CN
- China
- Prior art keywords
- image
- priori
- gradient
- formula
- blind
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000000926 separation method Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种基于MAP方法的单幅图像盲去模糊方法，属于数字图像复原领域。本发明包括：将彩色图像转化为灰度图像；把的先验知识如暗通道，强度和梯度先验加入到的目标函数上；采用了半二次分离的方法解决求解目标函数中的非凸问题；对于得到的模糊核采用了非盲的方法去复原清晰图像。本发明方法提出了结合暗通道先验，强度先验和梯度先验知识的结合来有效的解决自然图像上的盲去模糊问题，应为对于自然图像来说，暗通道先验有很好的稀疏效果。而对于自然图像的一些边缘，强度先验又能很好的保留这些边缘。梯度先验对于在去模糊过程中的伪迹问题又能很好的去抑制。所以结合这些先验可以很好的复原自然图像，得到更好的清晰图像。
Description
技术领域
本发明涉及一种基于MAP方法的单幅图像盲去模糊方法，属于数字图像复原领域。
背景技术
盲图像去模糊是图像处理和计算机视觉领域中的一个经典问题，它的目标是将模糊图像中隐藏的图像进行恢复。当模糊形状满足空间不变性的时候，模糊过程可以用以下的方式进行建模：
y＝x*k+n (15)
其中*代表的是卷积算子，y,x,k和n分别代表模糊图像，干净图像，模糊核以及噪声。上式中的问题是不适定性，因为核k都是未知的，存在无穷多个解。为了解决这个问题，关于模糊核和图像的额外约束和先验知识都是必需的。
最近的去模糊方法的成功主要是来自于有效的图像先验知识和边缘检测策略方面的研究进展。然而基于边缘的预测方法常常会涉及到启发式的边缘选择步骤，当边缘不可预测时候，这种方法表现不佳。为了避免启发式的边缘选择步骤，人们提出了基于自然图像先验的算法，包括稀疏归一化，L0梯度和暗通道先验。这些算法在一般的自然图像上表现的良好，但是在一些特定领域例如：文本，人脸以及低照度的图像等等。并不能够很好的适应，反而有可能得到很差的结果。所以，开发出能够广泛处理模糊的模型是很有必要的。
发明内容
本发明要解决的问题是目前的相关的盲的单幅图像复原方法存在的一些不足，例如相关算法泛化能力弱，局限性特别大，不能很好的用在其他的场景下。本发明的解决办法就是使用了许多的先验知识，暗通道先验，梯度先验和强度先验，通过分配不同的权重，以达到好的泛化能力。本发明的框架是基于MAP的方法，在估计模糊核的过程中采用了从粗到细的方法，不同尺度的模糊核是从粗到细的上采样得到的。最后通过模糊核估计值k，进行非盲的去模糊(采用了TV算法)得到最终的复原图像。
本发明采用的技术方案是：一种基于MAP方法的单幅图像盲去模糊方法，具体地：包括以下步骤：
步骤一：将需要进行图像复原的模糊图像转换成灰度图，之后将其转换为double类型，得到处理后的模糊图像y；
步骤二：初始化模糊核k及干净图像x，并把选取的先验P(x)、初始化k、初始化x及步骤一得到的y，一起代入能量方程中求解出迭代后的解x；
步骤三：将得到的x代入到一个最小二乘法中，用FFT方法求解出模糊核k；
步骤四：判断是否达到最大迭代次数nmax，如果满足迭代中止条件，则输出最终的模糊核k；如果不满足迭代中止条件，则更新x和k(模糊核k按照设定规则放大)，并顺序执行步骤二，步骤三和步骤四；
步骤五：将得到的最终模糊核k代入非盲图像复原方法求出最终的清晰图像。
具体地，步骤一中，选用的图像为彩色图像。
具体地，步骤二中选取的先验P(x)包括以下几个先验
1)强度先验，采用L0强度先验，则得到如方程(1)。
2)梯度先验，采用L0梯度先验，则得到如方程(2)。
3)暗通道先验，灰度图像的暗通道先验可以表示如方程(3)。
4)对1)-3)的先验信息做一个权重组合，则目标函数的先验知识就可以表示为以下方程(4)。
5)把上述先验代入基于MAP盲去模糊的能量方程(5)中。
具体地，求解包含先验P(x)的基于MAP的能量方程(5)时，可以把其分解成两个子问题，关于x的子问题(6)和关于k的子问题(7)。
具体地，求解关于x的子问题，采取半二次分离来解决方程(6)的非凸性问题，引入中间变量u,g,d，其中u,g,d分别表示为(8)(9)(10)。则式(6)就变成(11)式，可以通过对(11)式的x和(u，g，d)交替求解得到想要的解x，具体方法：把u,g,d都初始化为0，则(11)式变成如下形式(12)，解式(12)得到关于x的方程(13)。
具体地，所述的步骤二中求解出最优的解x的具体步骤如下：
Step2.1：初始化干净图像x和模糊核k，并把y赋值给x，同时初始化相关参数μ，和ω；
Step2.2：通过将x代入(8)(9)(10)式得到的u，g，d；
Step2.3：将得到的u，g，d，y和k带入到求解x的方程(13)中得到x；
Step2.4：判断是否满足迭代中止条件：μ≥μmax，和ω≥ωmax，如果满足，则输出x；如果不满足，则更新x，同时更新μ←3.4μ，和ω←2ω，并顺序执行Step2.2，Step2.3和Step2.4；其中：μmax为μ的最大值，为的最大值，ωmax为ω的最大值。
具体地，求解关于k的子问题，在给定x的情况下，(7)式就是一个最小二乘法的问题，在梯度空间去计算这个最小二乘问题，则(7)就可以变为如下方程(14)。通过FFTs来解决，在得到k矩阵后，把k矩阵中负的值设为0，并进行归一化，使k矩阵的所有值加起来是1，得到最终的模糊核k。
具体地，α＝0.005，β＝0.0005，γ＝0.004。
具体地，μmax＝23，和ωmax＝22。
具体地，步骤五中通过非盲的TV算法得到清晰图像。
本发明的有益效果是：本发明的思想是通过不同的先验知识，得到不同的潜在清晰图像的多种先验知识，从而有利于对模糊核的估计。例如：暗通道先验有助于自然图像的复原，强度先验有助于得到显著边缘，梯度先验对于图像去模糊过程的伪迹抑制非常有效。从而在还原过程中能够更好的倾向于潜在的清晰图像。在本发明使用的方法就是通过给暗通道先验，强度先验和梯度先验给定一个权值，然后在将它们放在MAP的框架中，通过迭代得到满足了先验的模糊核估计。在本实验中采用了L0正则项先验，为了更快的得到结果，采用了基于半二次分离的高效数值算法。这个算法在实际使用中可以快速的收敛，并且可以泛化到很多的场景中去。
附图说明
图1为本发明方法的算法流程图；
图2为自然环境下拍摄的模糊图像；
图3为本方法处理得到的潜在干净图像；
图4为本方法与其他方法的比较结果，框标注的是最明显的差别区域。
具体实施方式
下面将结合本发明实例中的附图，对本发明实例中的技术方案进行清楚，完整地描述，显然所描述的实例仅仅是本发明一部分实例，而不是全部的实例。基于本发明中的实例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实例，都属于本发明保护的范围。
实施例1：如图1-4所示，本实施例实验数据包括23幅模糊图像，其中里面有低照度图像，人脸和自然图像，模糊核都是用同一个方法生成的。其中的参数设置如下：α＝0.005，β＝0.0005，γ＝0.004，μmax＝23，和ωmax＝22。以其中一幅图像作为例子。
具体步骤如下：
Step1：先把要复原的图像转化成灰度图像，之后再将得到的灰度图像转化double类型的图像y，方便后面计算。
Step2：初始化相关参数(k，x)。
Step3：通过x求解出u，g，d。
Step3.1将x代入到方程：中，并初始化μ←2α(赋值操作，只在赋初值时进行)，得到u的值。
Step3.1将x代入到方程：中，并初始化(赋值操作，只在赋初值时进行)，得到g的值。
Step3.1将x代入到方程：中，并初始化ω←2γ(赋值操作，只在赋初值时进行)，得到d的值。
Step4：将y，k，u，g和d代入到方程：中，得到x。
Step5：判断终止条件μ≥μmax，和ω≥ωmax，如果都满足则输出x；如果不满足则更新μ←3.4μ，ω←2ω和x，并重复Step3，Step4和Step5。
Step6：把x带入到方程：中，上式可以通过FFTs来高效的求解，在得到k后，把k中负的值设为0，并进行归一化，使k的所有值加起来是1，得到求解出的模糊核k。
Step7：判断n≤nmax(n代表当前迭代次数)，如果不满足则更新k(模糊核k按照规则放大)和，并重复式Step3,Step4,Step5，Step6和Step7；如果满足迭代条件则直接输出最终的模糊核k。
Step8：已知了模糊核的估计值k和模糊图像，通过TV算法得到最后的干净图像。
其中主要的算法过程如下：
输出：模糊核k和中间的潜在图像x。
图4中第二幅图即图(b)的图像是依据下面论文中的方法获得的最终图像：Pan J,Sun D,Pfister H,et al.Blind Image Deblurring Using Dark Channel Prior[C]//Computer Vision and Pattern Recognition.IEEE,2016:1628-1636.
图4中第三幅图即图(c)的图像是依据下面论文中的方法获得的最终图像：Xu L,Zheng S,Jia J.Unnatural L0Sparse Representation for Natural Image Deblurring[J].2013,9(4):1107-1114。
图4中第四幅图即图(d)的图像是依据本发明的方法获得的最终图像，从图4的对比结果可见本发明的发明处理后的图像更加清楚，效果更好。
本发明方法提出了结合暗通道先验，强度先验和梯度先验知识的结合来有效的解决自然图像上的盲去模糊问题，应为对于自然图像来说，暗通道先验有很好的稀疏效果。而对于自然图像的一些边缘，强度先验又能很好的保留这些边缘。梯度先验对于在去模糊过程中的伪迹问题又能很好的去抑制。所以结合这些先验可以很好的复原自然图像，得到更好的清晰图像。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：包括以下步骤：
步骤一：将需要进行图像复原的模糊图像转换成灰度图，之后将其转换为double类型，得到处理后的模糊图像y；
步骤二：初始化模糊核k及干净图像x，并把选取的先验P(x)、初始化k、初始化x及步骤一得到的y，一起代入能量方程中求解出迭代后的解x；
步骤三：将得到的x代入到一个最小二乘法中，用FFT方法求解出模糊核k；
步骤四：判断是否达到最大迭代次数nmax，如果满足迭代中止条件，则输出最终的模糊核k；如果不满足迭代中止条件，则更新x和k，模糊核k按照设定规则放大，并顺序执行步骤二，步骤三和步骤四；
步骤五：将得到的最终模糊核k代入非盲图像复原方法求出最终的清晰图像。
2.根据权利要求1所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：步骤一中，选用的图像为彩色图像。
3.根据权利要求1所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：步骤二中选取的先验P(x)包括以下几个先验
1)强度先验，采用L0强度先验，则得到如下方程：
PI(x)＝||x||0 (1)
上式的PI(x)表示图像x的强度先验，||x||0表示图像像素值的非零值个数，I表示强度；
2)梯度先验，采用L0梯度先验，则得到如下方程：
上式的表示图像x的梯度先验，表示分别对水平方向h和垂直方向v求偏导，xp表示图像x在p位置的像素，p表示像素位置，G表示梯度；
3)暗通道先验，灰度图像的暗通道先验公式可以表示如下：
上式的min(·)表示求·的最小值，z表示的就是像素的位置，o表示N(z)里的像素位置，N(z)表示的是中心是z的图像块；
4)对1)-3)的先验信息做一个权重组合，则目标函数的先验知识就可以表示为以下式子：
上式的表示图像x的梯度先验，PI(x)表示强度先验，D(x)表示暗通道先验，α，β，γ表示权重，表示x在梯度空间的干净图像；
5)把上述先验代入基于MAP盲去模糊的能量方程中：
公式中的min(·)表示求·的最小值，x和y分别表示干净图像和模糊图像，k是模糊核，*是卷积符号，δ是参数权重，是L2正则项。
4.根据权利要求3所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：求解包含先验P(x)的基于MAP的能量方程(5)时，可以把其分解成两个子问题，关于x的子问题：
和关于k的子问题：
5.根据权利要求4所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：求解关于x的子问题，采取半二次分离来解决方程(6)的非凸性问题，引入中间变量u，g，d，其中：
则式(6)就变成如下形式：
上式的μ，ω，α，β，γ都是超参数，||·||0表示关于·的L0范数，可以通过对(11)式的x和(u，g，d)交替求解得到想要的解x，具体方法如下：
把u，g，d都初始化为0，则(11)式变成如下形式：
解得式(12)：
上式的F-1(·)和F(·)分别代表了逆的FFT和FFT，表示FFT的复共轭，表示梯度，上式的其中和分别表示水平和垂直梯度。
6.根据权利要求5所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：所述的步骤二中求解出最优的解x的具体步骤如下：
Step2.1：初始化干净图像x和模糊核k，并把y赋值给x，同时初始化相关参数μ，和ω；
Step2.2：通过将x代入(8)(9)(10)式得到的u，g，d；
Step2.3：将得到的u，g，d，y和k带入到求解x的方程(13)中得到x；
Step2.4：判断是否满足迭代中止条件：μ≥μmax，和ω≥ωmax，如果满足，则输出x；如果不满足，则更新x，同时更新μ←3.4μ，和ω←2ω，并顺序执行Step2.2，Step2.3和Step2.4；其中：μmax为μ的最大值，为的最大值，ωmax为ω的最大值。
7.根据权利要求4所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：求解关于k的子问题，在给定x的情况下，(7)式就是一个最小二乘法的问题，在梯度空间去计算这个最小二乘问题，则(7)就可以变为如下方程：
上式的表示x在梯度空间的干净图像，表示y在梯度空间的模糊图像，δ表示权重参数，式(14)通过FFTs来解决，在得到k矩阵后，把k矩阵中负的值设为0，并进行归一化，使k矩阵的所有值加起来是1，得到求解出的模糊核k。
8.根据权利要求3所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：α＝0.005，β＝0.0005，γ＝0.004。
9.根据权利要求6所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：μmax＝23，和ωmax＝22。
10.根据权利要求书1所述的一种基于MAP方法的单幅图像盲去模糊方法，其特征在于：步骤五中通过非盲的TV算法得到清晰图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811384103.7A CN109859111A (zh) | 2018-11-20 | 2018-11-20 | 一种基于map方法的单幅图像盲去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811384103.7A CN109859111A (zh) | 2018-11-20 | 2018-11-20 | 一种基于map方法的单幅图像盲去模糊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109859111A true CN109859111A (zh) | 2019-06-07 |
Family
ID=66890163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811384103.7A Pending CN109859111A (zh) | 2018-11-20 | 2018-11-20 | 一种基于map方法的单幅图像盲去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109859111A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502949A (zh) * | 2019-08-09 | 2019-11-26 | 广东技术师范大学 | 一种基于自适应尺度控制的qr码图像快速盲去模糊方法 |
| CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN113177890A (zh) * | 2021-04-27 | 2021-07-27 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345728A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种显微图像的清晰度获取方法 |
| CN104240192A (zh) * | 2013-07-04 | 2014-12-24 | 西南科技大学 | 一种快速的单幅图像去雾算法 |
| CN107451971A (zh) * | 2017-07-30 | 2017-12-08 | 湖南鸣腾智能科技有限公司 | 基于暗通道和高斯组合先验的低照度盲卷积图像复原法 |
| CN108629741A (zh) * | 2018-03-26 | 2018-10-09 | 中南大学 | 一种基于l0和l1正则项的模糊核估计方法 |
-
2018
- 2018-11-20 CN CN201811384103.7A patent/CN109859111A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345728A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种显微图像的清晰度获取方法 |
| CN104240192A (zh) * | 2013-07-04 | 2014-12-24 | 西南科技大学 | 一种快速的单幅图像去雾算法 |
| CN107451971A (zh) * | 2017-07-30 | 2017-12-08 | 湖南鸣腾智能科技有限公司 | 基于暗通道和高斯组合先验的低照度盲卷积图像复原法 |
| CN108629741A (zh) * | 2018-03-26 | 2018-10-09 | 中南大学 | 一种基于l0和l1正则项的模糊核估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| JINSHAN PAN 等: "Blind Image Deblurring Using Dark Channel Prior", 《PUBLISHED IN: 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| JINSHAN PAN 等: "Deblurring Text Images via L0-Regularized Intensity and Gradient Prior", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 仇翔 等: "基于L0稀疏先验的相机抖动模糊图像盲复原", 《光学精密工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502949A (zh) * | 2019-08-09 | 2019-11-26 | 广东技术师范大学 | 一种基于自适应尺度控制的qr码图像快速盲去模糊方法 |
| CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN111681188B (zh) * | 2020-06-15 | 2022-06-17 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN113177890A (zh) * | 2021-04-27 | 2021-07-27 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097519B (zh) | 基于深度学习的双监督图像去雾方法、系统、介质和设备 | |
| Pan et al. | Physics-based generative adversarial models for image restoration and beyond | |
| Yang et al. | Proximal dehaze-net: A prior learning-based deep network for single image dehazing | |
| Chen et al. | Robust image and video dehazing with visual artifact suppression via gradient residual minimization | |
| CN109410127B (zh) | 一种基于深度学习与多尺度图像增强的图像去噪方法 | |
| CN106920220B (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
| Tappen et al. | Estimating intrinsic component images using non-linear regression | |
| CN102326379B (zh) | 从图像中去除模糊的方法 | |
| US10198801B2 (en) | Image enhancement using self-examples and external examples | |
| Mao et al. | Non rigid geometric distortions correction-application to atmospheric turbulence stabilization | |
| CN106204472B (zh) | 基于稀疏特性的视频图像去模糊方法 | |
| CN110210524B (zh) | 一种图像增强模型的训练方法、图像增强方法及装置 | |
| Sánchez-Ferreira et al. | Bio-inspired optimization algorithms for real underwater image restoration | |
| CN109859111A (zh) | 一种基于map方法的单幅图像盲去模糊方法 | |
| CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
| CN107464217A (zh) | 一种图像处理方法及装置 | |
| CN105427259A (zh) | 多方向加权tv和非局部自相似性正则化图像去模糊方法 | |
| Jo et al. | HDR image generation based on intensity clustering and local feature analysis | |
| CN111179196A (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| Yap et al. | A recursive soft-decision approach to blind image deconvolution | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Zhu et al. | Generative adversarial network-based atmospheric scattering model for image dehazing | |
| CN103295205A (zh) | 一种基于Retinex的微光图像快速增强方法和装置 | |
| Ali et al. | Boundary-constrained robust regularization for single image dehazing | |
| CN113450282A (zh) | 美化图像的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |
|
| RJ01 | Rejection of invention patent application after publication |