CN107492077A - 基于自适应多方向总变分的图像去模糊方法 - Google Patents

基于自适应多方向总变分的图像去模糊方法 Download PDF

Info

Publication number
CN107492077A
CN107492077A CN201710656466.0A CN201710656466A CN107492077A CN 107492077 A CN107492077 A CN 107492077A CN 201710656466 A CN201710656466 A CN 201710656466A CN 107492077 A CN107492077 A CN 107492077A
Authority
CN
China
Prior art keywords
image
total variation
adaptive
deblurring
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710656466.0A
Other languages
English (en)
Other versions
CN107492077B (zh
Inventor
何娟
万蕾
刘蛟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201710656466.0A priority Critical patent/CN107492077B/zh
Publication of CN107492077A publication Critical patent/CN107492077A/zh
Application granted granted Critical
Publication of CN107492077B publication Critical patent/CN107492077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于自适应多方向总变分的图像去模糊方法，主要是利用多方向梯度去除原本总变分模型(Total Variation,TV)中的阶梯效应，并运用基于梯度的自适应权重控制各像素处的约束强度，最终将提出的总变分模型(Total Variation,TV)用于约束未知的清晰图像，最后利用迭代求解的方法对未知清晰图像进行估计。

Description

基于自适应多方向总变分的图像去模糊方法
技术领域
本发明涉及图像处理领域中的去模糊技术领域，具体涉及一种基于自适应多方向总变分的图像去模糊方法。
背景技术
近年来，随着信息技术的发展，图像已经广泛地应用于社会中的各个领域。目前，虽然智能相机硬件水平已经比几年前有了极大的提高，但是并不能完全解决实际应用中的问题。在特殊情况下，仍然会得到模糊的照片：1)由于拍照时手机抖动，存在运动模糊；2)由于拍照时焦距未调节到位，会存在图片散焦模糊问题。而清晰的图像是许多实际应用的基础工作，例如：目标检测、视频监督、医学成像处理等。。
发明内容
本发明提供了一种基于自适应多方向总变分的图像去模糊方法，主要是利用多方向梯度去除原本总变分模型(Total Variation,TV)中的阶梯效应，并运用基于梯度的自适应权重控制各像素处的约束强度，最终将提出的总变分模型(Total Variation,TV)用于约束未知的清晰图像，最后利用迭代求解的方法对未知清晰图像进行估计。
为实现上述目的，本发明采用以下技术方案：
一种基于自适应多方向总变分的图像去模糊方法，它包括以下步骤：
步骤1，对原始输入模糊图像进行模糊核估计；
步骤2，对原始输入模糊图像进行噪声估计，并根据噪声程度进行相应的去噪处理；
步骤3，调节正则化参数λ；
步骤4，利用去噪后的图像估计自适应多变量总变分模型中的所有权重
步骤5，构建图像去模糊代价函数；
步骤6，利用Split Bregman Iteration技术来最优化重建代价函数，得到估计的清晰图像；
步骤7，重复步骤4至6直到迭代次数到达预设值。
更进一步的技术方案是，所述步骤2具体为，预先测试好去噪参数组，当估计得到噪声级别后，选取出最接近的一组去噪参数组。
更进一步的技术方案是，所述步骤3具体为，预先测试好M类的典型的模糊核以及N类的典型的噪声级，构成M×N类组合，在采用自适应调节或手动调节测试得到所有组合下的最佳正则化参数λ。
更进一步的技术方案是，所述自适应调节中，找到与实际估计得到的模糊核与噪声级组合最接近的测试组合，在直接将该测试组合对应的正则化参数的值，用于去模糊中；所述手动调节中，用户自行定义正则化参数的值，用于去模糊。
更进一步的技术方案是，所述步骤4具体为，将自适应多变量总变分模型定义如下：
其中，权重定义为
其中，ξi表示关于i位置梯度强度的变量，α表示正整数，表示一阶差分， X表示原始输入模糊图像。
与现有技术相比，本发明的有益效果是：
本发明方法能获得较好的去模糊效果，明显优于经典的TV先验。而且本方法的实质是提出了一个有效的图像先验信息，能够很容易地扩展到别的图像视频处理领域，例如图像超分辨率、图像修复、视频超分辨率等。
附图说明
图1为本发明一种实施例的基于自适应多方向总变分的图像去模糊方法的流程图。
图2为本发明一种实施例的基于自适应多方向总变分的图像去模糊方法中八个相邻方向的示意图。
具体实施方式
下面结合附图对本发明作进一步阐述。
如图1所示一种基于自适应多方向总变分的图像去模糊方法，它包括以下步骤：
S1，对原始输入模糊图像进行模糊核估计；
S2，对原始输入模糊图像进行噪声估计，并根据噪声程度进行相应的去噪处理；
S3，调节正则化参数λ；
S4，利用去噪后的图像估计自适应多变量总变分模型中的所有权重
步骤5，构建图像去模糊代价函数；
S6，利用Split Bregman Iteration技术来最优化重建代价函数，得到估计的清晰图像；
S7，重复步骤4至6直到迭代次数到达预设值。
优选的所述步骤S2中，预先测试好去噪参数组，例如，对非局部均值去噪，事先对典型的N类(如20类)不同噪声分别测试得到最佳的去噪参数组，进行存储，当估计得到噪声级别后，选取出最接近的一组去噪参数组。
优选的所述步骤S3中，预先测试好M类的典型的模糊核以及N类的典型的噪声级，构成M×N类组合，在采用自适应调节或手动调节测试得到所有组合下的最佳正则化参数λ。所述自适应调节中，找到与实际估计得到的模糊核与噪声级组合最接近的测试组合，在直接将该测试组合对应的正则化参数的值，用于去模糊中；所述手动调节中，用户自行定义正则化参数的值，用于去模糊。
优选的所述步骤S4中，提出了一个自适应多变量总变分模型(Adaptive Multi-Directional Total Variation,AMDTV)修改来显著提升原本总变分模型(TotalVariation,TV)的性能，对原始输入模糊图像X，原本总变分模型 (Total Variation,TV)定义如下：
其中，与分别对应水平与垂直方向的一阶差分。
虽然，原本总变分模型(Total Variation,TV)广泛地应用与图像处理，但是它的表现性能有限，原本总变分模型(Total Variation,TV)仅仅在水平、垂直方向上强加平滑约束，这会在水平与垂直两个方向强加像素精度的连续性，因此导致强烈的阶梯效应。另外，总变分模型(Total Variation,TV)不能够自适应调节约束强度，使得边缘过于平滑。为了克服传统总变分模型(Total Variation,TV)的缺陷，我们提出了如下自适应的版本：
首先，为了更好地抑制阶梯效应，在修改策略中采用8个邻域方向来构建总变分模型，而不是简单地利用两个方向(水平与垂直)。我们称此修改为基于多方向总变分模型(Multi-Directional Total Variation,MDTV)。8个邻域方向的示意图在图2中给出，其中中心点代表参考像素，而周围8个点为其对应的 8个邻域像素点，对应方向一次标记为1至8。基于多方向总变分模型对应公式如下：
其中，至分别对应8个一阶差分。
接下来，通过梯度强度自适应地控制每个像素处的约束强度。因为直接从X 计算得到的梯度在某些情况下不稳定，我们可以用对原始输入模糊图像X去噪 (例如：高斯滤波、中值去噪、小波去噪、非局部均值去噪或者BM3D去噪)后的图来计算梯度。最终自适应多变量总变分模型对应的公式如下：
其中，权重定义为
其中，ξi表示关于i位置梯度强度的变量，α表示正整数，表示一阶差分， X表示原始输入模糊图像，本实施例中，ξi直接定义为梯度强度(其中表示对原始输入模糊图像X进行去噪后的图像)，α设为1，在求得所有的之后，采用一个尺寸为5×5、标准差为2的高斯核来滤波所有的以进一步提升权重的稳定性。
优选的所述步骤S5中，构建如下去模糊重建代价函数，来估计未知清晰图像：
其中Y为模糊输入，X为未知的清晰图，H为模糊矩阵。
本发明方法能获得较好的去模糊效果，明显优于经典的TV先验。而且本方法的实质是提出了一个有效的图像先验信息，能够很容易地扩展到别的图像视频处理领域，例如图像超分辨率、图像修复、视频超分辨率等。
以上具体实施方式对本发明的实质进行详细说明，但并不能对本发明的保护范围进行限制，显而易见地，在本发明的启示下，本技术领域普通技术人员还可以进行许多改进和修饰，需要注意的是，这些改进和修饰都落在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于自适应多方向总变分的图像去模糊方法，其特征在于，它包括以下步骤：
步骤1，对原始输入模糊图像进行模糊核估计；
步骤2，对原始输入模糊图像进行噪声估计，并根据噪声程度进行相应的去噪处理；
步骤3，调节正则化参数λ；
步骤4，利用去噪后的图像估计自适应多变量总变分模型中的所有权重
步骤5，构建图像去模糊代价函数；
步骤6，利用Split Bregman Iteration技术来最优化重建代价函数，得到估计的清晰图像；
步骤7，重复步骤4至6直到迭代次数到达预设值。
2.根据权利要求1所述的基于自适应多方向总变分的图像去模糊方法，其特征在于，所述步骤2具体为，预先测试好去噪参数组，当估计得到噪声级别后，选取出最接近的一组去噪参数组。
3.根据权利要求1所述的基于自适应多方向总变分的图像去模糊方法，其特征在于，所述步骤3具体为，预先测试好M类的典型的模糊核以及N类的典型的噪声级，构成M×N类组合，在采用自适应调节或手动调节测试得到所有组合下的最佳正则化参数λ；。
4.根据权利要求3所述的基于自适应多方向总变分的图像去模糊方法，其特征在于，所述自适应调节中，找到与实际估计得到的模糊核与噪声级组合最接近的测试组合，在直接将该测试组合对应的正则化参数的值，用于去模糊中；所述手动调节中，用户自行定义正则化参数的值，用于去模糊。
5.根据权利要求1所述的基于自适应多方向总变分的图像去模糊方法，其特征在于，所述步骤4具体为，将多变量总变分模型定义如下：
其中，权重定义为
其中，ξi表示关于i位置梯度强度的变量，α表示正整数，表示一阶差分，X表示原始输入模糊图像。
CN201710656466.0A 2017-08-03 2017-08-03 基于自适应多方向总变分的图像去模糊方法 Active CN107492077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710656466.0A CN107492077B (zh) 2017-08-03 2017-08-03 基于自适应多方向总变分的图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710656466.0A CN107492077B (zh) 2017-08-03 2017-08-03 基于自适应多方向总变分的图像去模糊方法

Publications (2)

Publication Number Publication Date
CN107492077A true CN107492077A (zh) 2017-12-19
CN107492077B CN107492077B (zh) 2020-12-15

Family

ID=60643644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710656466.0A Active CN107492077B (zh) 2017-08-03 2017-08-03 基于自适应多方向总变分的图像去模糊方法

Country Status (1)

Country Link
CN (1) CN107492077B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520515A (zh) * 2018-04-08 2018-09-11 新疆大学 基于rof模型半隐式去噪的sar图像检测方法、系统及装置
CN108629751A (zh) * 2018-05-08 2018-10-09 深圳市唯特视科技有限公司 一种基于重加权图总变异的图像去模糊方法
CN108765304A (zh) * 2018-04-08 2018-11-06 西安电子科技大学 基于自适应梯度增益控制的高动态红外图像增强方法
CN110930331A (zh) * 2019-11-22 2020-03-27 南京信息职业技术学院 一种噪声模糊图像非盲复原方法、系统及存储介质
CN111738924A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN112184567A (zh) * 2020-08-28 2021-01-05 江苏海洋大学 一种基于交替最小化的多通道盲识别自适应光学图像复原方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473752A (zh) * 2013-08-22 2013-12-25 杨勇 一种基于耦合偏微分方程模型的超分辨率图像重建方法
WO2014078985A1 (en) * 2012-11-20 2014-05-30 Thomson Licensing Method and apparatus for image regularization
US9143687B2 (en) * 2012-03-14 2015-09-22 University Of Dayton Method of analyzing motion blur using double discrete wavelet transform
CN105427259A (zh) * 2015-11-26 2016-03-23 天津大学 多方向加权tv和非局部自相似性正则化图像去模糊方法
CN106204472A (zh) * 2016-06-30 2016-12-07 北京大学 基于稀疏特性的视频图像去模糊方法
CN106485671A (zh) * 2016-09-10 2017-03-08 天津大学 基于边缘的多方向加权tv和自相似性约束图像去模糊方法
CN106846427A (zh) * 2017-01-25 2017-06-13 浙江大学 一种基于重加权各向异性全变分的有限角度ct重建方法
CN106981052A (zh) * 2017-01-12 2017-07-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于变分框架的自适应亮度不均变分校正方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143687B2 (en) * 2012-03-14 2015-09-22 University Of Dayton Method of analyzing motion blur using double discrete wavelet transform
WO2014078985A1 (en) * 2012-11-20 2014-05-30 Thomson Licensing Method and apparatus for image regularization
CN103473752A (zh) * 2013-08-22 2013-12-25 杨勇 一种基于耦合偏微分方程模型的超分辨率图像重建方法
CN105427259A (zh) * 2015-11-26 2016-03-23 天津大学 多方向加权tv和非局部自相似性正则化图像去模糊方法
CN106204472A (zh) * 2016-06-30 2016-12-07 北京大学 基于稀疏特性的视频图像去模糊方法
CN106485671A (zh) * 2016-09-10 2017-03-08 天津大学 基于边缘的多方向加权tv和自相似性约束图像去模糊方法
CN106981052A (zh) * 2017-01-12 2017-07-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于变分框架的自适应亮度不均变分校正方法
CN106846427A (zh) * 2017-01-25 2017-06-13 浙江大学 一种基于重加权各向异性全变分的有限角度ct重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
劳小敏等: "基于邻域总变分和边缘检测的遥感影像道路提取", 《浙江大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520515A (zh) * 2018-04-08 2018-09-11 新疆大学 基于rof模型半隐式去噪的sar图像检测方法、系统及装置
CN108765304A (zh) * 2018-04-08 2018-11-06 西安电子科技大学 基于自适应梯度增益控制的高动态红外图像增强方法
CN108765304B (zh) * 2018-04-08 2022-06-17 西安电子科技大学 基于自适应梯度增益控制的高动态红外图像增强方法
CN108629751A (zh) * 2018-05-08 2018-10-09 深圳市唯特视科技有限公司 一种基于重加权图总变异的图像去模糊方法
CN110930331A (zh) * 2019-11-22 2020-03-27 南京信息职业技术学院 一种噪声模糊图像非盲复原方法、系统及存储介质
CN110930331B (zh) * 2019-11-22 2023-03-03 南京信息职业技术学院 一种噪声模糊图像非盲复原方法、系统及存储介质
CN111738924A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN112184567A (zh) * 2020-08-28 2021-01-05 江苏海洋大学 一种基于交替最小化的多通道盲识别自适应光学图像复原方法

Also Published As

Publication number Publication date
CN107492077B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN107492077B (zh) 基于自适应多方向总变分的图像去模糊方法
EP2535864B1 (en) Image processing device and method
CN109993712B (zh) 图像处理模型的训练方法、图像处理方法及相关设备
US9723197B2 (en) Depth estimation from image defocus using multiple resolution Gaussian difference
WO2011145297A1 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
WO2019186407A1 (en) Systems and methods for generative ensemble networks
US11615510B2 (en) Kernel-aware super resolution
KR101341099B1 (ko) 노이즈 저감 방법 및 장치
JP2011159159A (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
Kwon et al. Controllable image restoration for under-display camera in smartphones
JP4490430B2 (ja) 高速なレティネックス型処理のための強靭な再帰エンベロープ演算子
CN111242860B (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
US11830173B2 (en) Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium
CN111325692A (zh) 画质增强方法、装置、电子设备和可读存储介质
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
US9202265B2 (en) Point spread function cost function with non-uniform weights
CN108122218B (zh) 基于颜色空间的图像融合方法与装置
CN106296608A (zh) 一种基于映射表的鱼眼图像处理方法及系统
CN113379609A (zh) 一种图像处理方法、存储介质及终端设备
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
Sadaka et al. Efficient super-resolution driven by saliency selectivity
Leitao et al. Content-adaptive video up-scaling for high definition displays
RU2661537C2 (ru) Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации
Yu et al. Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant