CN108257096A - 一种基于多先验协同的盲去模糊方法 - Google Patents
一种基于多先验协同的盲去模糊方法 Download PDFInfo
- Publication number
- CN108257096A CN108257096A CN201711459593.8A CN201711459593A CN108257096A CN 108257096 A CN108257096 A CN 108257096A CN 201711459593 A CN201711459593 A CN 201711459593A CN 108257096 A CN108257096 A CN 108257096A
- Authority
- CN
- China
- Prior art keywords
- image
- priori
- blind deblurring
- deblurring
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 238000000465 moulding Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于多先验协同的盲去模糊方法,包括如下步骤:步骤(1)结合图像梯度稀疏性、模糊核稀疏性和连续性、模糊核归一化先验建立多先验协同的盲去模糊模型估计模糊核,采用交替迭代方法估计模糊核;步骤(2)分别结合超拉普拉斯先验与全变分先验采用非盲去模糊方法获得两幅清晰图像,然后取两者平均得到最终的去模糊后的图像。本发明采用多先验协同用于图像盲去模糊,提高了模糊核估计精度,还原了图像的细节,从而获得较好的去模糊效果。
Description
技术领域
本发明属于图像处理技术领域,涉及一种图像盲去模糊方法,具体是一种基于多先验协 同的盲去模糊方法。
背景技术
在图像的获取过程中,成像设备与拍摄场景发生了相对位移,导致获取的实际图像存在 信息丢失、模糊退化的现象,这极大地影响了图像的质量和人们的视觉体验,也影响了图像 的后续处理。盲去模糊旨在从观测图像中估计模糊核并获得清晰图像。
图像运动模糊可表示为:
式中,表示卷积操作,ξ表示加性高斯白噪声,L和B分别表示清晰图像和观测得到 的模糊图像。单幅图像盲去模糊就是由B中同时估计出L和模糊核k,这是一个极具挑战性 的不适定反问题。
为了减轻盲反卷积的病态性,往往需要将图像先验与模糊核先验作为正则项加入图像盲 去模糊模型中,提高模糊核估计精度,从而获得较好的盲去模糊效果。
发明内容
本发明目的是提供一种有效的图像盲去模糊方法,基于多先验协同的盲去模糊方法,整 体上分为两个阶段:估计模糊核阶段和图像非盲去模糊阶段。估计模糊核阶段,结合图像梯 度稀疏性,采用自适应l0范数约束待估计图像梯度的强边缘;针对模糊核稀疏性和连续性, 以l0范数、l2范数分别约束模糊核的像素和梯度,同时把模糊核归一化先验作为正则项引 入模型中,以强边缘指导模糊核估计。在去模糊阶段,分别用全变分先验正则化方法与超拉 普拉斯先验正则化方法获得复原图像,将两者取平均作为最终盲去模糊结果。
一种基于多先验协同的图像盲去模糊方法,包括如下步骤:
步骤(1):建立多先验协同的盲去模糊模型估计模糊核,具体是:
已知观测到的图像B,以l0-范数约束图像梯度和模糊核,以l2-范数约束模糊核梯度, 结合模糊核元素的归一化特性,建立多先验协同盲去模糊模型,如式(1)所示。
对B作水平方向h的梯度运算和垂直方向v上的梯度运算,得到采用交替迭代的策略优化模型(1)优化x、k,其中μx=0,γ=1e-2,γx=1e-2, x0=y,ρx=2.25,ε=10-6;按表2模糊核求解过程获得k,其中η1=5e-4,η2=1e-2,δ1=1e-3, δ2=1e-5,k0取高斯模糊。
步骤(2):图像非盲去模糊,具体是:
分别采用超拉普拉斯先验正则化方法与全变分先验正则化方法,获得两幅清晰图像 L1、L2,然后取两者平均得到最终的清晰图像。
L1按式(19)模型获得,L2按式(20)模型获得,最终的清晰图像L通过式(22)获得。
L=(L1+L2)/2 (22)
本发明结合图像和模糊核的多先验,对模糊图像进行协同盲去模糊。多先验包括模糊核 估计阶段的图像梯度稀疏性、模糊核稀疏性和连续性、模糊核归一化,以及非盲去模糊阶段 的全变分先验与超拉普拉斯先验。本发明提高了模糊核估计精度,还原了图像的细节,从而 获得较好的去模糊效果。
附图说明
图1本发明图像盲去模糊过程图;
图2本发明与其他几种盲去模糊方法比较图;(从上到下、从左到右:已知模糊核下的模糊 图像、利用已知模糊核非盲去模糊后的图像、Fergus等方法去模糊结果、Cho andLee方法 去模糊结果、Levin等方法去模糊结果、Krishnan等方法去模糊结果、Zuo等方法去模糊结 果、Xu and Jia方法去模糊结果、本发明去模糊结果。右下角为估计获得的模糊核)
图3本发明车牌图像去模糊实验结果图;(从上到下:模糊图像、去模糊图像。右下角为估 计获得的模糊核)
具体实施方式
以下结合实施实例对本发明加以详细说明。
该发明技术方案中各个细节详细说明如下:
步骤(1)建立多先验协同的盲去模糊模型估计模糊核,具体是:
以l0-范数约束图像梯度和模糊核,以l2-范数约束模糊核梯度,结合模糊核元素的归一 化特性,建立多先验协同盲去模糊模型:
式(1)中, 分别表示水平方向h的梯度算子和垂直方 向v上的梯度算子,T表示转置操作;ki表示模糊核k中第i个元素;γ,η1,η2表示正则化系数。0范数定义 κ为自适应权值,κ(p)=exp(-|r(p)|0.8),r(p)的表 达式定义如下:
式(2)中,r(p)是r在p处的一个元素值;Nh(p)是以像素点p为中心边长为h的正方形窗口。
采用交替迭代的策略优化模型(1)优化x、k,模型(1)等价于两个交替优化的子问题:
在模型(3)中固定k优化x,求解得到x后固定x再优化模型(4),交替优化模型(3)和模型(4) 直到收敛,求得模型(1)的解。
问题(3)转换为下面的等式约束的最小化问题:
式(5)中,K是模糊核k的卷积矩阵;使用增广拉格朗日法将等式约束最小化 问题转换为无约束最小化问题:
式(6)中,γx是拉格朗日惩罚参数,μx是等式约束条件w=x的拉格朗日乘子。
式(6)转换为两个优化问题间的交替迭代:
式(7)经整理后得:
式(9)通过硬阈值方法求解:
式(10)中,ΘHard定义为迭代结束时。
式(8)的解通过对其求导并令导数等于0得到:
(KTK+γxI)xl+1=KTy+γx(wl+1-μx/γx) (11)
式(11)中,I表示单位矩阵,通过快速傅立叶变换在频域求解:
式(12)中,F()和F-1()分别表示傅立叶正变换和傅立叶反变换,表示取F()的 共轭操作,“·”表示点乘。交替迭代求解式(7)和式(8)直到x收敛。然后,固定x优化式(4) 估计模糊核k。收敛条件1中l∞-范数表示向量中各元素分量绝对值的最大值。x求解过程 如下:
步骤1:输入:模糊图像B和模糊核k并设置l=0,及μx,γ,γx,maxγx,x0,ρx,ε的初始值
步骤2:迭代:
步骤201:按式(10)更新辅助变量wl+1
步骤202:按式(12)更新中间清晰图像xl+1
步骤203:更新拉格朗日乘子:μx=μx+γx(xl+1-wl+1)
步骤204:更新拉格朗日惩罚参数γx=ρx×γx,ρx>1
步骤205:检查算法收敛条件:
条件1:与||wt+1-xl+1||∞<ε
条件2:
两个条件都不满足,执行步骤(6);至少满足其中一个条件,迭代结束,执行步骤203;
步骤206:迭代次数加1;l=l+1
步骤3:输出:x
式(4)采用半二次函数法求解,引入辅助变量g将约束最小化问题转换为无约束最小化 问题:
式(13)中,d∈Λ@{h,v},Xd是d方向梯度算子对图像L运算后的卷积矩阵;yd是观测图像 B在d方向的梯度;δ1,δ2是正则化参数。
采用交替迭代的方式求解式(13)。首先将其转化为两个子问题:
式(14)可以使用硬阈值方法求得:
式(15)是一个二次函数优化问题,它具有闭合形式的解:
式(18)中11T是M×M的分块循环矩阵,1表示元素全为1的列向量。交替求解式(16)和式(18)直到k收敛。δ1值取逐渐增大,达到数值后迭代停止,δ2取定值。模糊核求 解过程列于表2。
表2模糊核求解过程
步骤(2)图像非盲去模糊,具体是:
分别采用超拉普拉斯先验正则化方法与全变分先验正则化方法,获得两幅清晰图像 L1、L2,然后取两者平均得到最终的清晰图像。
L1由最小化超拉普拉斯先验约束能量泛函式(19)获得
式(19)中,Is表示模糊图像使用冲击滤波器增强图像后的图像。0.5≤α≤0.8,ρ是权重(求 解过程参考国际会议论文:Krishnan D,Fergus R.Fast image deconvolutionusing hyper-Laplacian priors[C].Advances in Neural Information ProcessingSystems.2009: 1033-1041.)。
L2可以通过式(20)获得:
式(20)中,μ是正则参数,是各向同性全变分范数(求解过程参考期刊论文:Chan S H,Khoshabeh R,Gibson K B,et al.An augmented Lagrangian method forvideo restoration[J].IEEE Transactions on Image Processing,2011,20(11):941-944.)。
最终的清晰图像L通过下式求得:
L=(L1+L2)/2 (22)
最后需要说明的是,以上实施例仅用于说明本发明的技术方案,而非对其限制。本领域 的相关技术人员根据本方案对以上实施例的修改或者对部分功能单元的等同替换,均不脱离 本发明的保护范围。
Claims (1)
1.一种基于多先验协同的图像盲去模糊方法,其特征在于,所述图像盲去模糊方法包括如下步骤:
步骤(1):建立多先验协同的盲去模糊模型估计模糊核,具体是:
已知观测到的图像B,以l0-范数约束图像梯度和模糊核,以l2-范数约束模糊核梯度,结合模糊核元素的归一化特性,建立多先验协同盲去模糊模型,如式(1)所示;
式(1)中, 分别表示水平方向h的梯度算子和垂直方向v上的梯度算子,T表示转置操作;ki表示模糊核k中第i个元素;γ,η1,η2表示正则化系数,κ为自适应权值;
步骤(2):图像非盲去模糊,具体是:分别采用超拉普拉斯先验正则化方法与全变分先验正则化方法,获得两幅清晰图像L1、L2,然后取两者平均得到最终的清晰图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711459593.8A CN108257096A (zh) | 2017-12-28 | 2017-12-28 | 一种基于多先验协同的盲去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711459593.8A CN108257096A (zh) | 2017-12-28 | 2017-12-28 | 一种基于多先验协同的盲去模糊方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108257096A true CN108257096A (zh) | 2018-07-06 |
Family
ID=62724255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711459593.8A Withdrawn CN108257096A (zh) | 2017-12-28 | 2017-12-28 | 一种基于多先验协同的盲去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108257096A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360161A (zh) * | 2018-09-11 | 2019-02-19 | 北京理工大学 | 一种基于梯度域先验的多光谱图像去模糊方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105493140A (zh) * | 2015-05-15 | 2016-04-13 | 北京大学深圳研究生院 | 图像去模糊方法及系统 |
CN105894463A (zh) * | 2016-03-24 | 2016-08-24 | 重庆信科设计有限公司 | 一种区域信息分离的全变分图像盲去模糊方法 |
CN106339996A (zh) * | 2016-09-09 | 2017-01-18 | 江南大学 | 一种基于超拉普拉斯先验的图像盲去模糊方法 |
CN107146202A (zh) * | 2017-03-17 | 2017-09-08 | 中山大学 | 基于l0正则化和模糊核后处理的图像盲去模糊的方法 |
-
2017
- 2017-12-28 CN CN201711459593.8A patent/CN108257096A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105493140A (zh) * | 2015-05-15 | 2016-04-13 | 北京大学深圳研究生院 | 图像去模糊方法及系统 |
CN105894463A (zh) * | 2016-03-24 | 2016-08-24 | 重庆信科设计有限公司 | 一种区域信息分离的全变分图像盲去模糊方法 |
CN106339996A (zh) * | 2016-09-09 | 2017-01-18 | 江南大学 | 一种基于超拉普拉斯先验的图像盲去模糊方法 |
CN107146202A (zh) * | 2017-03-17 | 2017-09-08 | 中山大学 | 基于l0正则化和模糊核后处理的图像盲去模糊的方法 |
Non-Patent Citations (1)
Title |
---|
陈华华 等: "强边缘导向的盲去模糊算法", 《中国图象图形学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360161A (zh) * | 2018-09-11 | 2019-02-19 | 北京理工大学 | 一种基于梯度域先验的多光谱图像去模糊方法 |
CN109360161B (zh) * | 2018-09-11 | 2021-04-27 | 北京理工大学 | 一种基于梯度域先验的多光谱图像去模糊方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Simon et al. | Rethinking the CSC model for natural images | |
Chan et al. | An augmented Lagrangian method for total variation video restoration | |
CN108921800B (zh) | 基于形状自适应搜索窗口的非局部均值去噪方法 | |
Dong et al. | Centralized sparse representation for image restoration | |
US10235571B2 (en) | Method for video matting via sparse and low-rank representation | |
DE102020201787A1 (de) | Erzeugen von blickkorrigierten bildern unter verwendung eines bidirektional trainierten netzwerks | |
CN107292842B (zh) | 基于先验约束和离群值抑制的图像去模糊方法 | |
CN108280804B (zh) | 一种多帧图像超分辨率重建方法 | |
CN103854262A (zh) | 基于结构聚类与稀疏字典学习的医学图像降噪方法 | |
CN106251297A (zh) | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 | |
CN107133923A (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
CN111614965B (zh) | 基于图像网格光流滤波的无人机视频稳像方法及系统 | |
CN110599402A (zh) | 一种基于多特征稀疏表示的图像超分辨率重建方法 | |
CN106157268A (zh) | 一种基于l0凸近似的退化图像复原方法 | |
CN108648162A (zh) | 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法 | |
Mandal et al. | Edge preserving single image super resolution in sparse environment | |
Xu et al. | Image deblurring with blur kernel estimation in RGB channels | |
CN112184549A (zh) | 基于时空变换技术的超分辨图像重建方法 | |
Zhang et al. | Attention mechanism enhanced kernel prediction networks for denoising of burst images | |
Zuo et al. | Video denoising based on a spatiotemporal Kalman-bilateral mixture model | |
CN107590781B (zh) | 基于原始对偶算法的自适应加权tgv图像去模糊方法 | |
CN108257096A (zh) | 一种基于多先验协同的盲去模糊方法 | |
Yang et al. | Weighted-l1-method-noise regularization for image deblurring | |
CN111353982A (zh) | 一种深度相机图像序列筛选方法及装置 | |
Wang et al. | Super resolution reconstruction via multiple frames joint learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180706 |
|
WW01 | Invention patent application withdrawn after publication |