CN110111288A - 基于深度辅助学习的图像增强及盲图质量评价网络 - Google Patents

基于深度辅助学习的图像增强及盲图质量评价网络 Download PDF

Info

Publication number
CN110111288A
CN110111288A CN201910299604.3A CN201910299604A CN110111288A CN 110111288 A CN110111288 A CN 110111288A CN 201910299604 A CN201910299604 A CN 201910299604A CN 110111288 A CN110111288 A CN 110111288A
Authority
CN
China
Prior art keywords
network
image
sub
generator
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910299604.3A
Other languages
English (en)
Other versions
CN110111288B (zh
Inventor
吴庆波
马瑞
王雷
李辉
魏浩冉
吴晨豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910299604.3A priority Critical patent/CN110111288B/zh
Publication of CN110111288A publication Critical patent/CN110111288A/zh
Application granted granted Critical
Publication of CN110111288B publication Critical patent/CN110111288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度辅助学习的图像增强及盲图质量评价子网络，包括图像增强子网络以及质量评价子网络；同时对图像增强及盲图质量评价进行训练，旨在利用两个任务之间的补充信息提高它们的性能。一方面，图像增强网络将作为原始图像的模糊图像分离为清晰图像和差异图像，清晰图像作为伪参考图像，差异图像作为失真信息，提高盲图质量评价的准确度。另一方面，通过将质量分数的排序信息反馈给增强网络，可以有效的避免过度增强，提升图像增强的性能。经验证结果表明，本发明盲图质量评价的准确度高，图像增强的性能好。

Description

基于深度辅助学习的图像增强及盲图质量评价网络
技术领域
本发明属于图像处理领域。
技术背景
近年来图像相关的智能应用蓬勃发展，包括图像检测、目标识别、图像分割等，这些技术都相当依赖于清晰的输入图像。然而，在我们的日常生活中，由于各种设备缺陷或人为因素造成的模糊失真却随处可见。因此，迫切需要一种可以用来去除图像模糊失真的方法。
传统的去除图像模糊的方法总是假设模糊图像是通过将清晰图像与模糊核卷积之后的结果，通过明确参数的卷积操作来改善图像质量。然而，在现实情况中，失真类型及失真程度在大多数情况下都是未知的。导致这种方法对核估计及卷积参数的选择很敏感，极大地限制了其在实际应用中的鲁棒性及可用性。
图像质量评价(Image Quality Assessment,IQA)是图像处理中的基本技术之一，主要通过对图像进行特性分析研究，然后评估出图像优劣(图像失真程度)。图像质量评价在图像处理系统中，对于算法分析比较、系统性能评估等方面有着重要的作用。近年来，随着对数字图像领域的广泛研究，图像质量评价的研究也越来越受到研究者的关注，提出并完善了许多图像质量评价的指标和方法。
图像质量评价(IQA)方法分为三种，包括全参考图像质量评价(Full Reference-IQA,FR-IQA)、半参考(Reduced Reference-IQA,RR-IQA)和无参考(No Reference-IQA,NR-IQA)，无参考也叫盲参考(Blind IQA,BIQA)。FR-IQA同时有参考图像和失真图像，难度较低，核心是对比两幅图像之间的特征相似程度，是研究比较成熟的方向。NR-IQA只有失真图像，难度较高，是近些年的研究热点，也是IQA中最有挑战的问题。RR-IQA只有原始图像的部分信息或从参考图像中提取的部分特征，此类方法介于FR-IQA和NR-IQA之间，且任何FR-IQA和NR-IQA方法经过适当加工都可以转换成RR-IQA方法。一般在实际应用中无法提供参考图像，所以NR-IQA最有实用价值，也有着广泛的应用。现有的盲图质量评价方法仅利用模糊图像来得到质量分数。然而，人类对图像质量的感知受到视觉内容和失真分布的影响。一方面，视觉内容决定了我们对失真的容忍程度，它与清晰图像的结构和纹理高度相关。另一方面，失真分布确定了可以从差异图像上获取失真程度和密度。模糊图像仅仅包含二者融合的结果，其可以由清晰图像和差异图像不同的组合生成。这为现有的图像质量评价方法带来了巨大的挑战。
发明内容
本发明所要解决的技术问题是，提出了一种既可以去除图像中的模糊噪声，还可以通过网络得到模糊图像的质量分数的深度学习网络。
本发明为解决上述技术问题所采用的技术方案是，基于深度辅助学习的图像增强及盲图质量评价子网络，包括图像增强子网络以及质量评价子网络；
图像增强子网络包括判别器、生成器与加法器，原始图像一方面输入至生成器的输入端，另一方面输入至加法器的一个输入端；生成器用于提取输入图像的失真信息后再进行卷积上采样输出与原始图像大小一致的失真谱，将失真信息输出至质量评价子网络，将失真谱输出至加法器的一个输入端；加法器将原始图像与失真谱进行相加取均值得到增加图像；图像增强子网络的训练阶段中，输入生成器的为基于参考图像的模糊图像，生成器根据判别器输出的相似度判别结果以及接收到的来自于质量评价子网络的质量分数来调整生成器参数使得增强图像逼近参考图像；判别器用于在图像增强子网络的训练阶段中，接收输入的参考图像以及生成器输出的参考图像并进行相似度判别，并输出相似度判别结果至生成器；
质量评价子网络包括原始图像特征提取支路、失真信息特征提取支路、增强图像特征提取支路、特征级联模块、混合池化模块、全连接层、Sigmoid激活函数；原始图像作为原始图像特征提取支路的输入，生成器输出的失真信息作为失真信息特征提取支路的输入，加法器输出的增强图像作为增强图像特征提取支路的支路，三个特征提取支路的输出至特征级联模块，特征级联模块输出级联后的特征至混合池化模块进行最大、最小和平均池化，再将混合池化后的级联特征输入至全连接层后再进入Sigmoid激活函数后，Sigmoid激活函数输出该原始图像的质量分数；质量评价子网络的训练阶段中，还将质量分数反馈回图像增强子网络的生成器。
本发明提出了一种深度辅助学习网络，同时对图像增强及盲图质量评价进行训练，旨在利用两个任务之间的补充信息提高它们的性能。一方面，图像增强网络将作为原始图像的模糊图像分离为清晰图像(增强图像)和差异图像(失真信息)，清晰图像作为伪参考图像，差异图像作为失真信息，提高盲图质量评价的准确度。另一方面，通过将质量分数的排序信息反馈给增强网络，可以有效的避免过度增强，提升图像增强的性能。
本发明的有益效果是，经验证结果表明，本发明盲图质量评价的准确度高，图像增强的性能好。
附图说明
图1为系统网络结构图。
图2为生成器网络结构。
具体实施方式
当整个网络训练完成后，给定一张失真图像，首先将其作为原始图像输入图像增强子网络，在增强网络的主体部分，我们采用了一个全局跳过连接结构，目的是将模糊图像分离为差异特征图像和清晰图像。然后，我们将增强子网络的三个输出馈送到质量评价子网络。清晰图像包含估计的视觉内容信息；增强子网络的中间层为模糊图像和清晰图像之间的差异特征图，包含了失真信息；模糊图像包含视觉内容和模糊失真的融合信息。通过连接从所有三个信息中提取的特征，最后将它们映射为预测质量分数Qp。
下面分别介绍增强子网络和质量评价子网络的详细结构和工作原理：
A.增强子网络
图像增强子网络为图1左侧桔色部分，采用当下较为流行的生成对抗网络(Generative Adversarial Network,GAN)作为网络的主体结构。网络包括生成器和判别器，判别器采用具有梯度惩罚的Wasserstein GAN。
生成器的网络结构如图2所示。IB为模糊的输入图像；CB表示卷积块，由卷积层，Batch Normalization(BN)层和Leaky ReLU三层组成；RB表示九个级联的残差模块；UP表示上采样操作；fD是传递给质量评价网络的差异特征图(失真信息)，@表示通道数，Conv是卷积层，用于提取特征；tanh是激活函数，用于加入非线性因素。容易发现，网络包含三个连接，其中，全局跳过连接(Skip connection)可以提取主网络中的差异信息，其余两个连接主要用来将网络前层的特征级联到网络的后层，这样可以使底层的特征图包含高分辨率的图像细节，避免特征减弱和丢失，通过加法器进行相加后取均值的操作来融合不同卷积层的信息，可以进一步提升增强子网络的性能。网络的最后输出经图像增强处理后的一幅清晰图像。
在训练阶段，生成每组训练图像为两幅图，即参考图像以及基于该参考图像的模糊图像。先将模糊图像输入图像增强子网络的生成器进行图像增强处理得到清晰图像，再将清晰图像与对应的参考图像输入判别器，通过判别器得到两幅图像的相似度，将判别器的判别结果输入至生成器，生成器可以据此调整参数使得清晰图像逼近参考图像。
B.图像质量评价子网络
图像质量评价子网络为图1右侧部分。网络有三个特征提取支路输入，包括原始图像(模糊图像)特征提取支路、失真信息特征提取支路、增强图像(去模糊图像)特征提取支路。原始图像特征提取支路与增强图像特征提取支路中包括1个密级连接式卷积网络DenseNet和1个用于改变通道数的1*1卷积块，失真信息特征提取支路中包括1个高层失真信息特征提取网络；去模糊图像，包含视觉内容信息；失真信息是增强子网络的中间层输出；模糊图像，包含视觉内容和模糊失真的融合信息。我们将这三个输入特征级联，进行混合池化，即最大、最小和平均池化。然后将池化之后的级联特征馈入全连接层再经过1个1*1卷积块，网络最后是Sigmoid激活函数，输出图像的质量分数QP。
在训练阶段，质量分数QP还将反馈至图像增强子网络的生成器。
C.损失函数
(1)增强子网络损失
生成器损失定义如下：
LG＝LS+α·LC
其中LG是生成网络损失；LS是语义相似性损失；LC是内容损失，定义为两幅图像像素级的相似性，即L1损失；α用来权衡两种损失，LS定义如下：
其中IE和IS分别为增强后的清晰图像和参考图像，是VGG-19的特征图，Nf是特征向量的维度。
增强子网络的总损失定义如下：
LSE＝LD+β·LG
其中，LD是判别网络的损失，LG即生成网络损失，β为权重参数。
(2)质量评价子网络损失
质量评价子网络损失定义如下：
其中，Qp代表质量评价子网络输出的分数，Qgt代表真实的MOS/DMOS分数。
(3)总损失
其中，λ1和λ2是权衡两种损失之间重要性的参数，LSE(i)和LSA(i)分别代表第i个训练样本的增强损失和评估损失。

Claims (3)

1.基于深度辅助学习的图像增强及盲图质量评价网络，其特征在于，包括图像增强子网络以及质量评价子网络；
图像增强子网络包括判别器、生成器与加法器，原始图像一方面输入至生成器的输入端，另一方面输入至加法器的一个输入端；生成器用于提取输入图像的失真信息后再进行卷积上采样输出与原始图像大小一致的失真谱，将失真信息输出至质量评价子网络，将失真谱输出至加法器的一个输入端；加法器将原始图像与失真谱进行相加取均值得到增加图像；图像增强子网络的训练阶段中，输入生成器的为基于参考图像的模糊图像，生成器根据判别器输出的相似度判别结果以及接收到的来自于质量评价子网络的质量分数来调整生成器参数使得增强图像逼近参考图像；判别器用于在图像增强子网络的训练阶段中，接收输入的参考图像以及生成器输出的参考图像并进行相似度判别，并输出相似度判别结果至生成器；
质量评价子网络包括原始图像特征提取支路、失真信息特征提取支路、增强图像特征提取支路、特征级联模块、混合池化模块、全连接层、Sigmoid激活函数；原始图像作为原始图像特征提取支路的输入，生成器输出的失真信息作为失真信息特征提取支路的输入，加法器输出的增强图像作为增强图像特征提取支路的支路，三个特征提取支路的输出至特征级联模块，特征级联模块输出级联后的特征至混合池化模块进行最大、最小和平均池化，再将混合池化后的级联特征输入至全连接层后再进入Sigmoid激活函数后，Sigmoid激活函数输出该原始图像的质量分数；质量评价子网络的训练阶段中，还将质量分数反馈回图像增强子网络的生成器。
2.如权利要求1所述评价网络，其特征在于，增强子网络损失函数LSE为：
LSE＝LD+β·LG
其中，LD是判别器的损失；LG为生成器损失，LG＝LS+α·LC，α为权衡参数，LS是语义相似性损失，||||2为2范数，IE和IS分别为增强图像和参考图像，是VGG-19模型函数，Nf是特征向量的维度；LC是内容损失；β为权重参数；
质量评价子网络损失函数LSA为：
其中，Qp代表质量评价子网络输出的分数，Qgt代表原始图片实际的MOS/DMOS分数。
3.如权利要求1所述评价网络，其特征在于，网络总损失：
其中，LSE(i)和LSA(i)分别代表第i个训练样本的增强损失和评估损失，λ1和λ2是权衡两种损失之间重要性的参数，N为训练样本总数。
CN201910299604.3A 2019-04-15 2019-04-15 基于深度辅助学习的图像增强及盲图质量评价网络系统 Active CN110111288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910299604.3A CN110111288B (zh) 2019-04-15 2019-04-15 基于深度辅助学习的图像增强及盲图质量评价网络系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910299604.3A CN110111288B (zh) 2019-04-15 2019-04-15 基于深度辅助学习的图像增强及盲图质量评价网络系统

Publications (2)

Publication Number Publication Date
CN110111288A true CN110111288A (zh) 2019-08-09
CN110111288B CN110111288B (zh) 2022-11-08

Family

ID=67483879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910299604.3A Active CN110111288B (zh) 2019-04-15 2019-04-15 基于深度辅助学习的图像增强及盲图质量评价网络系统

Country Status (1)

Country Link
CN (1) CN110111288B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915511A (zh) * 2020-07-06 2020-11-10 中兴飞流信息科技有限公司 一种图像增强模型在线更新系统
CN112614073A (zh) * 2020-12-29 2021-04-06 北京大学 基于视觉质量评价反馈的图像去雨方法及电子装置
CN112767277A (zh) * 2021-01-27 2021-05-07 同济大学 一种基于参考图像的深度特征排序去模糊方法
CN113436112A (zh) * 2021-07-21 2021-09-24 杭州海康威视数字技术股份有限公司 一种图像增强方法、装置及设备
WO2023098251A1 (zh) * 2021-12-03 2023-06-08 腾讯音乐娱乐科技（深圳）有限公司 图像处理方法、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142865A1 (en) * 1998-03-18 2003-07-31 Yoshihiko Hirota Image processor including processing for image data between edge or boundary portions of image data
CA2850933A1 (en) * 2011-10-14 2013-04-18 Glimmerglass Networks, Inc. Method and system for managing optical distribution network
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142865A1 (en) * 1998-03-18 2003-07-31 Yoshihiko Hirota Image processor including processing for image data between edge or boundary portions of image data
CA2850933A1 (en) * 2011-10-14 2013-04-18 Glimmerglass Networks, Inc. Method and system for managing optical distribution network
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI HUA 等: "Low-Light Image Enhancement Based on Joint Generative Adversarial Network and Image Quality Assessment", 《2018 11TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI)》 *
张云飞: "基于生成对抗网络的模糊图像复原研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
谢志峰 等: "基于生成对抗网络的HDR图像风格迁移技术", 《上海大学学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915511A (zh) * 2020-07-06 2020-11-10 中兴飞流信息科技有限公司 一种图像增强模型在线更新系统
CN112614073A (zh) * 2020-12-29 2021-04-06 北京大学 基于视觉质量评价反馈的图像去雨方法及电子装置
CN112767277A (zh) * 2021-01-27 2021-05-07 同济大学 一种基于参考图像的深度特征排序去模糊方法
CN112767277B (zh) * 2021-01-27 2022-06-07 同济大学 一种基于参考图像的深度特征排序去模糊方法
CN113436112A (zh) * 2021-07-21 2021-09-24 杭州海康威视数字技术股份有限公司 一种图像增强方法、装置及设备
WO2023098251A1 (zh) * 2021-12-03 2023-06-08 腾讯音乐娱乐科技（深圳）有限公司 图像处理方法、设备及可读存储介质

Also Published As

Publication number Publication date
CN110111288B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN110111288A (zh) 基于深度辅助学习的图像增强及盲图质量评价网络
CN111325155B (zh) 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN109409435B (zh) 一种基于卷积神经网络的深度感知显著性检测方法
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
Li et al. Depth-wise asymmetric bottleneck with point-wise aggregation decoder for real-time semantic segmentation in urban scenes
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN109886922A (zh) 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN111914617B (zh) 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN109902809A (zh) 一种利用生成对抗网络辅助语义分割模型
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN111242181A (zh) 基于图像语义和细节的rgb-d显著性物体检测器
CN116229077A (zh) 一种基于改进的Mask-R-CNN网络的数学函数图像实例分割方法
CN115410078A (zh) 一种低质量水下图像鱼类目标检测方法
Tang et al. Deep saliency quality assessment network with joint metric
CN114550308A (zh) 基于时空图的人体骨骼动作识别方法
Simon et al. DeepLumina: A method based on deep features and luminance information for color texture classification
Lin et al. Full-scale selective transformer for semantic segmentation
CN112884773A (zh) 基于背景变换下目标注意力一致性的目标分割模型
CN117115411A (zh) 一种多频双分支水下图像增强方法
CN109840924B (zh) 一种基于串联对抗网络的产品图像快速生成方法
CN114187265A (zh) 基于双路径和空洞空间金字塔池化的血液白细胞分割方法
CN112818926B (zh) 一种基于多层残差学习的草图识别方法及系统
Tang et al. Ethnic costume grayscale image coloring method with improved Pix2Pix

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant