CN110942436B - 一种基于图像质量评价的图像去模糊方法 - Google Patents

一种基于图像质量评价的图像去模糊方法 Download PDF

Info

Publication number
CN110942436B
CN110942436B CN201911195567.8A CN201911195567A CN110942436B CN 110942436 B CN110942436 B CN 110942436B CN 201911195567 A CN201911195567 A CN 201911195567A CN 110942436 B CN110942436 B CN 110942436B
Authority
CN
China
Prior art keywords
image
network
deblurring
quality evaluation
deblurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911195567.8A
Other languages
English (en)
Other versions
CN110942436A (zh
Inventor
颜波
李昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911195567.8A priority Critical patent/CN110942436B/zh
Publication of CN110942436A publication Critical patent/CN110942436A/zh
Application granted granted Critical
Publication of CN110942436B publication Critical patent/CN110942436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于数字图像智能处理技术领域，具体为一种基于图像质量评价的图像去模糊方法。图像去模糊算法用于恢复图像质量，使得图像边缘尽可能锐利。本发明方法包括以下步骤：构建、预训练针对去模糊图像的质量评价网络；构建去模糊网络，并和质量评价网络级联；在图像质量评价任务的驱动下，训练去模糊网络；模糊图像通过质量评价指导的去模糊网络处理后得到去模糊结果。实验结果表明，本发明能够使去模糊结果获得更锐利的边缘以及更高的主观质量。

Description

一种基于图像质量评价的图像去模糊方法
技术领域
本发明属于数字图像智能处理技术领域，具体涉及一种图像去模糊修复方法，更具体的说，涉及一种基于图像质量评价的图像去模糊方法。
背景技术
随着移动设备的普及，拍照已经成了日常生活中最为常见的一种行为。但是，拍照极其容易受外在因素的影响，其中最为常见的一种就是运动模糊。导致运动模糊的两个主要原因是：物体的快速运动以及相机的抖动。
B＝K*S+n
其中B表示模糊图片，K表示模糊核，S表示清晰图片，*表示卷积，n表示高斯噪声。运动模糊一般分为均匀模糊(uniform blur)和非均匀模糊(non-uniform blur)，均匀模糊意味着对于整张图片，K都是不变的。非均匀模糊意味着，图片中的每个像素，K都是不同的。
近年来，基于深度学习的方法，以端到端的方式，输入模糊图片，直接输出去模糊图片。其中比较成功的就是multi-scale算法，[2]在将multi-scale的思想应用到了deblur领域。因为在deblur领域有着一个特性：对于一个N x N的图片，它的模糊核大小为k x k,如果把它缩小2倍，那么图片变成N/2x N/2，模糊核也会变成k/2x k/2，处理小的模糊核要比处理大的模糊核简单的多。基于这个假说，[2]将图像以2倍,4倍缩小，然后将去模糊后的缩小图片传递给后续网络继续处理。但是对于每个尺度的图像，都是使用不同的参数进行训练，这样一个很大的缺点就是三个尺度的网络需要三倍的网络参数，网络太深难以训练。[3] 改进了这一点，将三个尺度的网络参数共享，这样做一方面大大减少了参数量，另一方面三个尺度的训练都能对网络进行更新。[4]继续进行改进，根据模糊的性质，选择部分参数共享，部分参数不共享。
因为模糊是位移的平均，所以直接的PSNR评价去模糊结果就会出现误差。因为PSNR更偏向于平滑的图片，不能衡量图片的锐利程度。并且，对于去模糊的结果，如果去模糊后的图片变得锐利，但是位置恢复的不好；相比于图片不锐利但是位置恢复的好，是更受人眼青睐的，PSNR并不能解决这个问题。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于图像质量评价的图像去模糊方法，它主要利用图像质量评价的结果，去指导去模糊网络的收敛，从而使去模糊的结果不仅有不错的客观质量(PSNR),也有很好的主观质量。
本发明提供的基于图像质量评价的图像去模糊方法，具体步骤如下。
(1)构建、预训练针对去模糊图像的质量评价网络
搭建针对去模糊图像的质量评价网络。本发明提出了第一个基于深度学习的针对去模糊图像的质量评价网络。根据图像模糊的性质，模糊的边缘在缩放后会变得锐利。因为去模糊图像中残余着未被去除的模糊，因此本发明考虑了多尺度的去模糊图像。利用卷积网络抽取不同尺度的图像的特征，然后使用一个全连接层去拟合主观分数。图像质量评价网络的特性：考虑模糊的多尺度性质，利用图像金字塔构建图像质量评价网络。
用[1]数据集训练质量评价网络，其中，/>是去模糊图像，作为质量评价网络的输入，scorei是去模糊图像的质量分数，作为训练过程的标签。但是，该数据集数目有限，并且图像尺度不同。因此将去模糊图像切patch，用整体图像的标签score作为patch的score。针对数据量有限的图像质量评价任务，可以按照此方法构建图像质量评价任务的数据集。
(2)构建去模糊网络，并和质量评价网络级联
本发明首先提出了一个高效的单图去模糊网络。当前的多尺度去模糊方法运行缓慢，因为单尺度模型参数过多，速度很慢。去模糊网络，如图3所示，介绍了基本模块残差空洞单元，该模块结合了残差学习和空洞卷积以扩大感受野。我们利用三个3x3卷积层，空洞率分别是1,2,1获得与[3]相同的感受野；而后者使用两个5x 5卷积层，因此节省了46％的参数。
去模糊网络将模糊图像映射为去模糊图像/>其中θDEBLUR为去模糊网络的参数；去模糊网络的输出/>作为质量评价网络的输入，获得去模糊图像的主观质量分数，构成级联的网络结构。
(3)在图像质量评价任务的驱动下，训练去模糊网络
训练网络时，去模糊网络的参数使用随机初始化，质量评价网络的参数由预训练好的模型参数初始化，并且在后续训练中参数被固定，用于衡量主观差异，为去模糊网络的参数更新提供正确的指导。训练去模糊网络的过程中使用常用的去模糊任务的数据集。
其中，所述的常用去模糊任务的数据集为GORPO数据集，包括2013对模糊清晰图片训练集，1111对模糊清晰图片测试集。
其中，使用基于去模糊图像和清晰图像之间的均方误差损失函数(MSE)和质量评价损失函数结合作为整体损失函数。因为质量评价分数过于离散，所以直接作为损失函数收敛不稳定，所以本发明选择特征差异作为质量评价损失函数。在整体损失函数的驱动下，固定质量评价网络，更新去模糊网络。
基于去模糊图像和清晰图像之间的均方误差损失函数(MSE)为：
其中N为图像数目，ISHARP为清晰图像。
质量评价损失函数：
其中fIQA为质量评价网络。
将去模糊网络的损失函数与质量评价网络的损失函数结合，作为最终的损失函数，所以参数更新的目标函数为：
其中α和β用于平衡两种损失函数的贡献。通常α取1，β取0.1。
(4)模糊图像通过质量评价指导的去模糊网络处理后得到去模糊结果
将模糊图像输入去模糊网络，直接得到去模糊图片Ideblur＝fDEBLUR(Iblur；θDEBLUR)。
因为去模糊网络的参数更新中已经涉及到了质量评价网络的指导，所以去模糊的图片拥有很好的主观质量。
附图说明
图1为本发明的整体架构图。
图2为本发明提出的质量评价网络。
图3为本发明使用的残差空洞单元与[3]的架构的对比。
图4为本发明使用的去模糊网络。
图5为去模糊的结果的对比。
具体实施方式
下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
具体实施方法是：
(1)搭建如图2所示的网络结构，使用[1]数据集来训练网络。将图像切成32x32的不重合的patch，然后将对应的整张图片的主观分数作为patch的分数。然后使用学习率1e-4, Adam随机梯度下降的方法，最小化MAE损失函数。Batch的大小设为64；
(2)搭建起如图1和图4所示的网络结构，使用GOPRO数据集来训练网络。训练中随机将模糊和清晰图片裁剪256x256大小的patch。训练时固定住质量评价网络的参数，最小化整体损失函数；
(3)测试时，直接将模糊图片输入去模糊网络，因为去模糊网络在训练的过程中已经经过质量评价的指导，因此去模糊的结果拥有较高的主观质量。
图5为本发明的实例，其中图5(a)为模糊图片，图5(b)为[3]的去模糊结果，图5(c)为 [4]的去模糊结果；图5(d)为我们的去模糊结果，图5(e)为清晰图片。可以看出，本发明的结果恢复的图像更加锐利，边缘更加清晰。
参考文献
[1]Liu,Yiming,et al."A no-reference metric for evaluating the qualityof motion deblurring."ACM Trans.Graph.32.6(2013):175-1.
[2]Nah,Seungjun,Tae Hyun Kim,and Kyoung Mu Lee."Deep multi-scaleconvolutional neural network for dynamic scene deblurring."Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2017.
[3]Tao,Xin,et al."Scale-recurrent network for deep image deblurring."Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018.
[4]Gao,Hongyun,et al."Dynamic scene deblurring with parameterselective sharing and nested skip connections."Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2019。

Claims (5)

1.一种基于图像质量评价的图像去模糊方法，其特征在于，具体步骤如下：
(1)构建、预训练针对去模糊图像的质量评价网络
根据图像模糊的多尺度性质，利用图像金字塔构建图像质量评价网络，表示为fIQA；其中，利用卷积网络抽取不同尺度的图像的特征，然后使用一个全连接层去拟合主观分数；
用数据集预训练质量评价网络，其中，N为图像数目，/>是去模糊图像，作为质量评价网络的输入，scorei是去模糊图像的质量分数，作为训练过程的标签；
(2)构建去模糊网络，并和质量评价网络级联
采用基本模块残差空洞单元，该基本模块结合残差学习和空洞卷积以扩大感受野；采用三个3x3卷积层，空洞率分别是1,2,1；
去模糊网络将模糊图像映射为去模糊图像/>其中θDEBLUR为去模糊网络的参数；去模糊网络的输出/>作为质量评价网络的输入，获得去模糊图像的主观质量分数，构成级联的网络结构；
(3)在图像质量评价任务的驱动下，训练去模糊网络
训练去模糊网络时，去模糊网络的参数使用随机初始化，质量评价网络的参数由预训练好的模型参数初始化，并且在后续训练中参数被固定，用于衡量主观差异，为去模糊网络的参数更新提供正确的指导；训练去模糊网络的过程中使用去模糊任务的数据集；
(4)模糊图像通过质量评价指导的去模糊网络处理后得到去模糊结果
将模糊图像输入去模糊网络，直接得到去模糊图片Ideblur＝fDEBLUR(Iblur；θDEBLUR)。
2.根据权利要求1所述的基于图像质量评价的图像去模糊方法，其特征在于，步骤(1)中，由于数据集数目有限，并且图像尺度不同，将去模糊图像切patch，用整体图像的标签score作为patch的score；针对数据量有限的图像质量评价任务，按照此方法构建图像质量评价任务的数据集。
3.根据权利要求2所述的基于图像质量评价的图像去模糊方法，其特征在于，步骤(3)中，训练去模糊网络使用去模糊任务的数据集，具体采用GORPO数据集，包括2013对模糊清晰图片训练集，1111对模糊清晰图片测试集。
4.根据权利要求3所述的基于图像质量评价的图像去模糊方法，其特征在于，步骤(3)中，采用基于去模糊图像和清晰图像之间的均方误差损失函数和质量评价损失函数结合作为整体损失函数；在整体损失函数的驱动下，固定质量评价网络，更新去模糊网络；
基于去模糊图像和清晰图像之间的均方误差损失函数为：
其中，ISHARP为清晰图像；
质量评价损失函数：
其中，fIQA为质量评价网络；
将去模糊网络的损失函数与质量评价网络的损失函数结合，作为最终的损失函数，所以参数更新的目标函数为：
其中，α和β用于平衡两种损失函数的贡献。
5.根据权利要求4所述的基于图像质量评价的图像去模糊方法，其特征在于，α取1，β取0.1。
CN201911195567.8A 2019-11-29 2019-11-29 一种基于图像质量评价的图像去模糊方法 Active CN110942436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911195567.8A CN110942436B (zh) 2019-11-29 2019-11-29 一种基于图像质量评价的图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911195567.8A CN110942436B (zh) 2019-11-29 2019-11-29 一种基于图像质量评价的图像去模糊方法

Publications (2)

Publication Number Publication Date
CN110942436A CN110942436A (zh) 2020-03-31
CN110942436B true CN110942436B (zh) 2023-09-29

Family

ID=69908294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911195567.8A Active CN110942436B (zh) 2019-11-29 2019-11-29 一种基于图像质量评价的图像去模糊方法

Country Status (1)

Country Link
CN (1) CN110942436B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808026A (zh) * 2020-06-12 2021-12-17 华为技术有限公司 图像处理方法及装置
CN112419177B (zh) * 2020-11-10 2023-04-07 中国人民解放军陆军炮兵防空兵学院 一种面向单幅图像去运动模糊的感知质量盲评价方法
US11741579B2 (en) * 2020-11-16 2023-08-29 Huawei Technologies Co., Ltd. Methods and systems for deblurring blurry images
CN112614073A (zh) * 2020-12-29 2021-04-06 北京大学 基于视觉质量评价反馈的图像去雨方法及电子装置
CN118134893B (zh) * 2024-03-26 2024-09-03 上海全景医学影像诊断中心有限公司 基于人工智能的pet-ct肺癌影像数据库适应性扩展方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN109903237A (zh) * 2019-01-23 2019-06-18 复旦大学 一种基于分离低高频的多尺度人脸图像去模糊算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8086007B2 (en) * 2007-10-18 2011-12-27 Siemens Aktiengesellschaft Method and system for human vision model guided medical image quality assessment
US9430817B2 (en) * 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN109903237A (zh) * 2019-01-23 2019-06-18 复旦大学 一种基于分离低高频的多尺度人脸图像去模糊算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于光纹特征的激光主动照明图像去模糊;王灿进;石宁宁;孙涛;王锐;;光学精密工程;第24卷(第05期);1159-1167 *

Also Published As

Publication number Publication date
CN110942436A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110942436B (zh) 一种基于图像质量评价的图像去模糊方法
Li et al. Efficient and interpretable deep blind image deblurring via algorithm unrolling
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
CN108549892B (zh) 一种基于卷积神经网络的车牌图像清晰化方法
Bigdeli et al. Image restoration using autoencoding priors
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
Yu et al. A unified learning framework for single image super-resolution
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN107464217B (zh) 一种图像处理方法及装置
Kim et al. Multiple level feature-based universal blind image quality assessment model
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN109949234B (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
CN111047544A (zh) 一种基于非线性退化模型的饱和图像去模糊方法
Nah et al. Clean images are hard to reblur: Exploiting the ill-posed inverse task for dynamic scene deblurring
CN114331913B (zh) 基于残差注意力块的运动模糊图像复原方法
US11928799B2 (en) Electronic device and controlling method of electronic device
Xue Blind image deblurring: a review
CN113409353A (zh) 运动前景检测方法、装置、终端设备及存储介质
CN111862026A (zh) 一种基于深度学习的内窥医学图片去模糊方法
CN112132756A (zh) 一种基于注意力机制的单幅雨滴图像增强方法
CN114119377B (zh) 一种图像处理方法及装置
CN113935910A (zh) 一种基于深度学习的图像模糊长度测量方法
Pan et al. A two-stage network for image deblurring
Zhang et al. Self-supervised multi-scale neural network for blind deblurring
Gupta et al. A fast approach for video deblurring using multi-scale deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant