CN113450275A - 基于元学习的画质增强系统及方法、存储介质 - Google Patents
基于元学习的画质增强系统及方法、存储介质 Download PDFInfo
- Publication number
- CN113450275A CN113450275A CN202110721819.7A CN202110721819A CN113450275A CN 113450275 A CN113450275 A CN 113450275A CN 202110721819 A CN202110721819 A CN 202110721819A CN 113450275 A CN113450275 A CN 113450275A
- Authority
- CN
- China
- Prior art keywords
- network
- processing
- deblurring
- layer
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000010606 normalization Methods 0.000 claims description 19
- 238000013508 migration Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 230000007787 long-term memory Effects 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 25
- 230000000694 effects Effects 0.000 abstract description 23
- 238000004422 calculation algorithm Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013526 transfer learning Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 101100455978 Arabidopsis thaliana MAM1 gene Proteins 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于元学习的画质增强系统及方法、存储介质，该系统包括依次连接的去噪处理网络、去模糊处理网络和超分处理网络；所述去噪处理网络，用于对输入图像进行去噪处理；所述去模糊处理网络，用于对输入图像进行去模糊处理；所述超分处理网络，用于对输入图像进行超分辨处理。本系统整合了图像增强技术，实现了去噪，去模糊和超分辨的联合任务，并且通过元迁移学习去模糊算法，加快了去模糊网络的训练速度，降低了训练复杂性，使得图像增强网络有了更好的普适性。该方法指根据特定的需要突出图像中的重要信息，同时减弱或去除不需要的信息，通过元学习使网络训练的效率提高，同时也能提高网络的效果。
Description
技术领域
本发明涉及图像处理技术领域，特别是一种基于元学习的画质增强方法及系统、存储介质。
背景技术
因为手抖或焦点选择等问题，相机拍摄的图像中常常存在模糊状况。同时低分辨率是安全视频和老视频容易发现的问题，图片噪声是图片运输过程中常见的图片质量下降的问题。这些都是计算机视觉和图像处理的基本问题，这些问题影响着对图片有着高质量需求的各行业，例如，清晰的医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率无噪声的卫星图像就很容易从相似物中区别相似的对象；如果能够提供更加清晰的图像，图像中包含的信息就更加多，计算机视觉中的模式识别的性能就会大大提高。
为了得到高质量的清晰的图像，画质增强是不可缺少的方案。画质增强主要从三个方面对图像进行处理，分别是图像去模糊(deblur)、图像去噪(denoise)以及图像的超分操作(super-resolution)。而传统的图像画质增强办法，比如滤波去噪，对图像的处理效果有限，而且传统算法对时间的开销较大。现阶段的技术主要靠向基于元学习的画质增强操作，已经有不少的优秀的算法可以实现画质增强中的单一任务，而且也有使用一个网络来同时实现去模糊和超分操作。但是去噪任务和其他任务的融合并没有优秀的算法，融合三个任务的一些算法的结果也不尽人意。
因此，需要一种基于元学习的画质增强系统及方法。
发明内容
有鉴于此，本发明的目的在于提供一种基于元学习的画质增强系统及方法，该方法整合了现有的图像增强技术，通过联合采取去噪，去模糊和超分辨处理实现了图像画质增强。
为达到上述目的，本发明提供如下技术方案：
本发明提供的基于元学习的画质增强系统，包括依次连接的去噪处理网络、去模糊处理网络和超分处理网络；
所述去噪处理网络，用于对输入图像进行去噪处理；
所述去模糊处理网络，用于对输入图像进行去模糊处理；
所述超分处理网络，用于对输入图像进行超分辨处理。
进一步，所述去噪处理网络采用DNCNN网络；所述DNCNN网络依次包括卷积层和线性整流层、卷积层加批归一化层和线性整流层、卷积层；
所述卷积层和线性整流层作为去噪处理网络的第一层，经过第一层的处理输出特征图；
由若干所述卷积层加批归一化层和线性整流层构成去噪处理网络的第二层，用于对第一层输出数据依次进行卷积处理、批归一化处理和线性整流处理；
所述卷积层作为去噪处理网络的输出层，采用卷积处理实现残差输出。
进一步，所述去模糊处理网络采用多重尺度的去模糊网络，所述多重尺度的去模糊网络为SRN-DeblurNet网络；所述SRN-DeblurNet网络依次包括输入端、编码器、编码器、长短期记忆网络、去模糊单元、解码器、输出端；所述SRN-DeblurNet网络各组成部分构成一个对称的U型网络，用于对输入图像进行多次的特征提取和重建复原。
进一步，所述超分处理网络采用MZSR网络；所述MZSR网络为基于元迁移学习的Zero-Shot超分辨网络；所述Zero-Shot超分辨网络包括依次连接的若干个卷积层加线性整流层。
本发明提供的基于元学习的画质增强方法，包括以下步骤：
获取待处理的原始图像；
对原始图像进行去噪处理；
对去噪后的图像进行去模糊处理；
对去模糊后的图像进行超分辨处理。
进一步，所述去噪处理是通过DNCNN网络进行去噪处理的；所述DNCNN网络依次通过卷积处理和线性整流处理、卷积加批归一化处理和线性整流处理、卷积处理。
进一步，所述去模糊处理网络是通过多重尺度去模糊网络进行处理的，所述多重尺度去模糊网络为SRN-DeblurNet网络；所述SRN-DeblurNet网络依次包括输入端、编码器、编码器、长短期记忆网络、去模糊单元、解码器、输出端；所述SRN-DeblurNet网络各组成部分构成一个对称的U型网络，用于对输入图像进行多次的特征提取和重建复原。
进一步，所述超分处理网络是通过MZSR网络进行处理的；所述MZSR网络为基于元迁移学习的Zero-Shot超分辨网络；所述Zero-Shot超分辨网络包括依次连接的若干个卷积层加线性整流层。
本发明提供的存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求5-8中任一项所述方法的步骤。
本发明的有益效果在于：
本发明提供的基于元学习的画质增强系统及方法，整合了现有的图像增强技术，实现了去噪，去模糊和超分辨的联合任务，并且通过元迁移学习去模糊算法，加快了去模糊网络的训练速度，降低了训练复杂性，使得图像增强网络有了更好的普适性。该方法指根据特定的需要突出图像中的重要信息，同时减弱或去除不需要的信息。广泛应用于医学诊断，航空航天，军事侦察，指纹识别等领域，通过元学习使网络训练的效率提高，同时也能提高网络的效果。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为系统整体框架。
图2为ZSSR超分处理网络结构。
图3为Residual Network Structure。
图4为DNCNN去噪处理网络结构。
图5为SRN-DeblurNet去模糊网络结构。
图6为MZSR+DNCNN结合操作结构。
图7为SRN-DeblurNet+MZSR结合操作结构。
图8为ZSSR网络超分实验结果示例。
图9为DNCNN去模糊实验结果示例。
图10为先去噪后超分处理效果。
图11为先超分后去噪示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例1
本实施例涉及的元学习的基本原理如下：元学习或者叫做学会学习(Learn toLearn)已经成为继增强学习(Reinforcement Learning)之后又一个重要的研究分支。良好的机器学习模型通常需要使用大量样本进行训练。相比之下，人类能够更快，更有效地学习新的概念和技能。通过一些训练少量样本快速设计出具有类似属性的机器学习模型，这就是元学习旨在解决的问题。元学习的方法是多样的，有基于梯度预测的方法，也有基于记忆的方法，还有基于注意力机制的方法。
如图1所示，图1为系统整体框架结构，本实施例提供的系统包括依次连接的去噪处理网络、去模糊处理网络、超分处理网络；
所述去噪处理网络，用于对输入图像进行去噪处理；
所述去模糊处理网络，用于对输入图像进行去模糊处理；
所述超分处理网络，用于对输入图像进行超分辨处理。
所述去噪处理网络采用DNCNN网络；所述DNCNN网络依次包括卷积层和线性整流层、卷积层加批归一化层和线性整流层、卷积层；
所述卷积层和线性整流层作为网络的第一层，经过第一层的处理输出64张特征图；
由若干所述卷积层加批归一化层和线性整流层构成网络的第二层，用于对第一层输出数据依次进行卷积处理、批归一化处理和线性整流处理；
所述网络的输出层作为最后一层，采用了单纯的卷积层实现残差输出。
所述去模糊处理网络采用多重尺度的去模糊网络，所述多重尺度的去模糊网络为SRN-DeblurNet网络；所述SRN-DeblurNet网络依次包括输入端、编码器、编码器、长短期记忆网络、去模糊单元、解码器、输出端；所述SRN-DeblurNet网络各部分构成一个对称的U型网络，用于对输入图像进行多次的特征提取和重建复原；
所述超分处理网络采用MZSR网络；所述MZSR网络为基于元迁移学习的Zero-Shot超分辨网络；包括依次连接的若干个卷积层加线性整流层。
对于元学习图像去模糊的算法，本实施例采用MAML算法和MZSR算法的思路来实现，通过对不同task进行元训练和元测试，每次更新固定次数的参数。
具体的网络结构和SRN-DeblurNet类似，如图5所示。
其中，ZSSR表示基于Zero-Shot的超分辨网络，有监督的CNN超分方法都是基于大量外部数据在已知降质模型下进行训练，而对真实图片超分时，LR图片的模糊和噪声未知且复杂，所以目前的有监督类方法无法很好地解决问题。
如图2所示，图2为ZSSR网络结构，为了解决有监督方法的局限性问题，构建了ZeroShotSR算法，ZeroShotSR是一种利用单张图片的内部重复信息在测试期间训练的一个小型针对特定图片的CNN。它既不需要先验的图像样本，也不需要先验的训练，实现了极好的超分辨效果。
ZeroShotSR的网络结构由卷积层和线性整流单元(ReLu)堆叠而成，输入网络的数据采用的是目标图片的下采样图片，利用了单张图片内部的重复信息。简单的网络结构和简易的数据获取，让ZeroShotSR在实际应用中十分方便。
DNCNN前馈降噪网络：该网络是在传统的去噪神经上进行改良而形成，采用了批归一化(batch normalization)和残差学习(residual learning)的方法，在去噪效果上取得了显著的进步。
批归一化是一种对每一批数据进行归一化的方法，处理的数据包括了网络中间某一层的输出。在批归一化出现前，训练网络时通常只是把数据输入层通过求均值和方差进行归一化，而批归一化打破了这一规定，让网络可以在中间某一层使用归一化操作，为某些网络的设计提供了方便。
如图3所示，图3为Residual Network Structure；图中x表示神经网络输入，F(x)表示残差网络，ReLU表示激活函数；identity表示恒等映射；weight layer代表着卷积操作，残差网络是一种卷积神经网络，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。因此有了残差网络作为基础，网络设计的时候就能够考虑更加深层的网络，这也是DNCNN实现的重要依据。
如图4所示，图4为DNCNN网络结构，DNCNN的网络结构主要由卷积层,线性整流层(ReLu)和批归一化层(BN层)构成，第一层采用的卷积层加上ReLu层的形式输出64张特征图。第二层到倒数第二层采用的是卷积层加上BN层再加上ReLu层的结构。最后一层作为输出层，采用了单纯的卷积层实现残差输出。实验给定了17层和20层两种深度不同的网络，实现了不同的任务且表现良好。
MZSR：基于元学习的Zero-Shot超分辨网络,由于有监督的CNN超分方法都是基于大量外部数据在已知降质模型下进行训练，而对真实图片超分时，LR图片的模糊和噪声未知且复杂，所以目前的有监督类方法无法很好地解决问题。
本实施例利用元迁移学习的Zero-Shot超分方法来解决未知模糊核的超分问题。
针对ZeroShotSR训练速度比较缓慢的问题，提出了基于元迁移学习的解决方案。对ZeroShotSR来说，每一张图片的超分辨任务都可以作为元迁移学习的一个task，因此可以通过适量的task训练出合理的初始化参数，以此来减少训练时梯度下降的次数和时间，从而加快模型的训练。
SRN-DeblurNet：基于多重尺度的去模糊网络；
图像的去模糊是图像处理和计算机视觉中一个重要问题，同时单图像去模糊在数学上是一个高度病态(ill-posed)问题。腾讯优图采用Scale-recurrent Network很好地解决了单张图像的去模糊问题。Scale-recurrent Network是一种用于多尺度图像去模糊的更有效的网络结构，主要利用了多尺度训练的方法和编码器解码器网络。
寻常的基于多尺度的训练方法的求解器的相关参数基本是一致的，采用不同的参数会引入不稳定性，而且图片分辨率和运动尺度通常不同容易产生过拟合。将多尺度训练方法应用于基于CNN的方法，达成了显著降低训练复杂度和增加网络稳定性的效果。
编码器解码器结构是计算机视觉中的常用结构，本实施例提供的编码器-解码器ResBlock网络。该网络不仅放大各种CNN结构的优势并实现训练的可行性，而且可以增大感受野，是一种极其有效率的网络。
如图5所示，图5为SRN-DeblurNet的网络结构，包括ResBlock，编码器，解码器和lstm记忆单元构成，整体上是一个对称的U型网络。它通过对图像进行多次的特征提取和重建复原，来得到较好的去模糊效果。
综上所述，是对图像的去噪、去模糊和超分辨三个单个任务的算法进行阐述。
本实施例提供的方法需要同时进行图像的去噪、去模糊和超分辨三个任务，以及如何利用元迁移学习进行图像去模糊的问题，本实施例提供的基于元学习的画质增强方法，包括以下步骤：
获取待处理的原始图像；
对原始图像进行去噪处理；所述去噪处理是通过DNCNN网络进行去噪处理的；所述DNCNN网络依次通过卷积处理和线性整流处理、卷积加批归一化处理和线性整流处理、卷积处理；
对去噪后的图像进行去模糊处理；所述去模糊处理网络是通过多重尺度去模糊网络进行处理的，所述多重尺度去模糊网络为SRN-DeblurNet网络；所述SRN-DeblurNet网络依次包括输入端、编码器、编码器、长短期记忆网络、去模糊单元、解码器、输出端；所述SRN-DeblurNet网络各组成部分构成一个对称的U型网络，用于对输入图像进行多次的特征提取和重建复原；
对去模糊后的图像进行超分辨处理，所述超分处理网络是通过MZSR网络进行处理的；所述MZSR网络为基于元迁移学习的Zero-Shot超分辨网络；所述Zero-Shot超分辨网络包括依次连接的若干个卷积层加线性整流层。
同时本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求5-8中任一项所述方法的步骤。
本实施例提供的基于元学习的画质增强方法，具体步骤如下：
首先，本实施例基于pytorch的深度学习框架对MZSR，DNCNN和SRN-DeblurNet进行了代码复现，并且进行了相关的测试。对MZSR，本实施例采用Set12和Set68数据集。
对DNCNN，使用了自备的包含100张128×128的图片数据集，并给图片加上随机等级的高斯噪声，以此来测定去噪的结果。对SRN-DeblurNet，使用了经典的GoPro数据集，并按照6:2:2的比例划分了训练集，验证集和测试集。
然后，去噪，去模糊和超分辨的多任务结合，必定需要探究三个任务执行的先后顺序对图像处理效果的影响。为了探究去噪，去模糊和超分辨三个工作同时进行的合理顺序，本实施例进行了多次实验。为了验证超分辨和去噪的先后顺序对图像处理效果的影响，本实施例进行了先用MZSR进行图像的超分辨再用DNCNN进行去噪，先用DNCNN进行去噪，再用MZSR进行超分辨的两个实验，前者的网络结构如图6所示，图6为MZSR+DNCNN Structure；得出了去噪后超分的效果优于超分后去噪的效果，原因是MZSR利用图片内部信息的重复性导致在训练时将噪声作为内部信息进行训练，引入了新的噪声。为了验证去模糊和超分辨的先后顺序对图像处理效果的影响，本实施例进行了先用SRN-DeblurNet进行去模糊再用MZSR进行超分辨，先用MZSR进行超分辨再用SRN-DeblurNet进行去模糊的实验，其结果与DNCNN类似，同样是因为MZSR是利用的图像的内部重复信息，引入新的运动模糊等问题，前者的网络结构如图7所示，图7为SRN-DeblurNet+MZSR Structure。
综上所述，是对图像的去噪、去模糊和超分辨三个认为中的两个任务合并来完成的描述，通过用PSNR/SSIM的指标来衡量图片处理的结果；分析实验的结果，以此来检验三个任务结合的可行性和合理性，并为三任务结合的网络结构和算法提供基础。
以下是对三个任务结合的图像增强效果进行实验和分析。
在进行了去模糊，去噪和超分辨三个任务的结合实验后，本实施例基本确定了三任务结合的执行顺序和不同顺序带来的效果影响。接下来，本实施例着力于探究如何利用元迁移学习进行图像的去模糊。
MZSR是参考MAML算法对ZSSR的初始化参数进行不同task的训练的过程。受到MZSR和ZSSR的启发，元迁移学习去模糊类似于将去模糊网络的相关参数进行一个预训练的过程。问题的关键来到了如何进行去模糊任务的划分上。由于MZSR和ZSSR都利用的图像内部信息的重复性，实现的是Zero Shot的算法，因此每张图片的超分辨对网络而言就是一个独特的task，从而使task的划分变得十分的容易，但是对基于大量数据样本训练的去模糊网络，却难以实现类似的任务划分。本实施例采用按照数据集划分任务的方法，因为去模糊的网络在不同的数据集上训练得到参数差异较大，可以作为不同的task。划分了task后，即可根据MAML算法进行相关参数的训练，然后进行meta test。
实验结果与分析：
评价指标：选择CV领域最常用的图像质量评价指标PSNR和SSIM作为实验结果的定量分析指标。
PSNR全称是峰值信噪比(Peak Signal-to-Noise Ratio)，常用作图像压缩等领域中信号重建质量的测量方法。其数值定义如下：
给定一个大小为m×n的干净图像I和噪声图像K，首先定义其均方误差(MSE)：
然后将PSNR定义为：
其中,
为图片可能的最大像素值。如果每个像素都由8位二进制来表示，那么就为255。上述公式是针对灰度图像的计算方法，如果是彩色图像，通常还有三种方法来计算：分别计算RGB三个通道的PSNR，然后取平均值；计算RGB三通道的MSE，然后再除以3；将图片转化为YCbCr格式，然后只计算Y分量也就是亮度分量的PSNR。一般常用的是第二和第三种方法。PSNR的值越大表示图像质量越好。
SSIM全称结构相似性(Structural Similarity)，是一种衡量两幅图像相似度的指标。给定原图X和失真图像Y，SSIM分别从亮度(l)、对比度(c)和结构(s)三方面度量二者的相似度，l、c、s分别定义为：
其中,μX、μY分别表示图像X和Y的均值，σX、σY分别表示图像X和Y的方差，σXY表示图像X和Y的协方差。C1、C2、C3为常数。因此SSIM的定义为：
SSIM＝l(X，Y)·c(X，Y)·s(X，Y) (3.1)
SSIM取值范围[0,1]，值越大，表示图像失真越小。
实验结果：超分辨实验中，12张低分辨率图像经过ZSSR网络处理后的指标如下：
表1超分辨实验处理结果
| 图片序号 | PSNR | SSIM |
| 1 | 26.0444 | 0.8763 |
| 2 | 31.3580 | 0.8833 |
| 3 | 27.7682 | 0.9140 |
| 4 | 27.7252 | 0.8993 |
| 5 | 28.4855 | 0.9261 |
| 6 | 25.5302 | 0.8801 |
| 7 | 26.9377 | 0.8998 |
| 8 | 33.0570 | 0.9138 |
| 9 | 23.2830 | 0.8103 |
| 10 | 29.1384 | 0.8533 |
| 11 | 30.1258 | 0.8858 |
| 12 | 28.4648 | 0.8484 |
如图8所示，图8为ZSSR网络超分实验结果示例，其中(a)Ground Truth，(b)低分辨率图片，(c)网络输出图片，实际效果如下：
从实验数据和实际效果来看，ZSSR很好地完成了图像超分辨的任务，输出图像的清晰度有了明显增强，且平均SSIM达到了0.88，平均PSNR为28.16。
去噪实验中，12张有噪图像经过DNCNN网络处理后的指标如下：
表2去噪实验处理结果
如图9所示，图9为DNCNN去模糊实验结果示例。其中，(a)Ground Truth，(b)含噪图片，(c)网络输出图片。实际效果如下：
与Ground Truth相比，DNCNN的输出图像无明显噪声，PSNR和SSIM两项指标也相当出色。平均PSNR达到了24.6，平均SSIM达到0.89。
接下来是去噪和超分辨两项任务联合完成的实验结果。
首先是先去噪后超分的实验结果：
表3先去噪后超分处理结果
上表中括号后注LR的两列表示用DNCNN+双三次插值的处理结果，后注SR的两列表示DNCNN+ZSSR的处理结果。可以看到采用两种不同的超分辨方法处理结果基本相同，ZSSR在指标上略优于双三次插值。图9中的(a)Ground Truth，图9中的(b)有噪低分辨率图像，图9中的(c)DNCNN+ZSSR网络输出图像。
图10为先去噪后超分处理效果：其中，(a)Ground Truth，(b)有噪低分辨率图像，(c)DNCNN+ZSSR网络输出图像。从实际效果来看，DNCNN+ZSSR能够较好地完成去噪和超分辨的联合任务，虽然最终效果与单独使用各网络处理的效果略有差距，但与低质量的输入图像相比已经有了明显的提升。最后是先超分后去噪的实验结果：
表4先超分后去噪处理结果
如图11所示，图11为先超分后去噪示意图，其中，(a)Ground Truth，(b)有噪低分辨率图像，(c)网络输出图片。可以看到，无论是定量指标还是实际效果，先超分后去噪的方法都不尽如人意，说明这不是一种有效的联合任务处理方式。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (9)
1.基于元学习的画质增强系统，其特征在于：包括依次连接的去噪处理网络、去模糊处理网络和超分处理网络；
所述去噪处理网络，用于对输入图像进行去噪处理；
所述去模糊处理网络，用于对输入图像进行去模糊处理；
所述超分处理网络，用于对输入图像进行超分辨处理。
2.如权利要求1所述的基于元学习的画质增强系统，其特征在于：所述去噪处理网络采用DNCNN网络；所述DNCNN网络依次包括卷积层和线性整流层、卷积层加批归一化层和线性整流层、卷积层；
所述卷积层和线性整流层作为去噪处理网络的第一层，经过第一层的处理输出特征图；
由若干所述卷积层加批归一化层和线性整流层构成去噪处理网络的第二层，用于对第一层输出数据依次进行卷积处理、批归一化处理和线性整流处理；
所述卷积层作为去噪处理网络的输出层，采用卷积处理实现残差输出。
3.如权利要求1所述的基于元学习的画质增强系统，其特征在于：所述去模糊处理网络采用多重尺度的去模糊网络，所述多重尺度的去模糊网络为SRN-DeblurNet网络；所述SRN-DeblurNet网络依次包括输入端、编码器、编码器、长短期记忆网络、去模糊单元、解码器、输出端；所述SRN-DeblurNet网络各组成部分构成一个对称的U型网络，用于对输入图像进行多次的特征提取和重建复原。
4.如权利要求1所述的基于元学习的画质增强系统，其特征在于：所述超分处理网络采用MZSR网络；所述MZSR网络为基于元迁移学习的Zero-Shot超分辨网络；所述Zero-Shot超分辨网络包括依次连接的若干个卷积层加线性整流层。
5.基于元学习的画质增强方法，其特征在于：包括以下步骤：
获取待处理的原始图像；
对原始图像进行去噪处理；
对去噪后的图像进行去模糊处理；
对去模糊后的图像进行超分辨处理。
6.如权利要求5所述的基于元学习的画质增强方法，其特征在于：所述去噪处理是通过DNCNN网络进行去噪处理的；所述DNCNN网络依次通过卷积处理和线性整流处理、卷积加批归一化处理和线性整流处理、卷积处理。
7.如权利要求5所述的基于元学习的画质增强方法，其特征在于：所述去模糊处理网络是通过多重尺度去模糊网络进行处理的，所述多重尺度去模糊网络为SRN-DeblurNet网络；所述SRN-DeblurNet网络依次包括输入端、编码器、编码器、长短期记忆网络、去模糊单元、解码器、输出端；所述SRN-DeblurNet网络各组成部分构成一个对称的U型网络，用于对输入图像进行多次的特征提取和重建复原。
8.如权利要求5所述的基于元学习的画质增强方法，其特征在于：所述超分处理网络是通过MZSR网络进行处理的；所述MZSR网络为基于元迁移学习的Zero-Shot超分辨网络；所述Zero-Shot超分辨网络包括依次连接的若干个卷积层加线性整流层。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求5-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721819.7A CN113450275A (zh) | 2021-06-28 | 2021-06-28 | 基于元学习的画质增强系统及方法、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721819.7A CN113450275A (zh) | 2021-06-28 | 2021-06-28 | 基于元学习的画质增强系统及方法、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113450275A true CN113450275A (zh) | 2021-09-28 |
Family
ID=77813692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110721819.7A Pending CN113450275A (zh) | 2021-06-28 | 2021-06-28 | 基于元学习的画质增强系统及方法、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450275A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114501139A (zh) * | 2022-03-31 | 2022-05-13 | 深圳思谋信息科技有限公司 | 一种视频处理方法、装置、计算机设备和存储介质 |
| CN116051428A (zh) * | 2023-03-31 | 2023-05-02 | 南京大学 | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913392A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 复杂环境下退化图像综合质量提升方法 |
| CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN112927144A (zh) * | 2019-12-05 | 2021-06-08 | 北京迈格威科技有限公司 | 图像增强方法、图像增强装置、介质和电子设备 |
-
2021
- 2021-06-28 CN CN202110721819.7A patent/CN113450275A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913392A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 复杂环境下退化图像综合质量提升方法 |
| CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN112927144A (zh) * | 2019-12-05 | 2021-06-08 | 北京迈格威科技有限公司 | 图像增强方法、图像增强装置、介质和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 康睿文: "基于联合先验的图像去噪研究", 《中国优秀硕博士学位论文全文数据库(硕士) 信息科技辑》 * |
| 焦丽娟: "单幅图运动模糊盲复原算法研究", 《中国优秀硕博士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114501139A (zh) * | 2022-03-31 | 2022-05-13 | 深圳思谋信息科技有限公司 | 一种视频处理方法、装置、计算机设备和存储介质 |
| CN116051428A (zh) * | 2023-03-31 | 2023-05-02 | 南京大学 | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian et al. | Deep learning on image denoising: An overview | |
| Cai et al. | Blind inpainting using the fully convolutional neural network | |
| Liu et al. | Cross-SRN: Structure-preserving super-resolution network with cross convolution | |
| Zhang et al. | Adaptive residual networks for high-quality image restoration | |
| CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
| CN111340716B (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| Zuo et al. | Convolutional neural networks for image denoising and restoration | |
| CN113450275A (zh) | 基于元学习的画质增强系统及方法、存储介质 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| Gong et al. | Combining sparse representation and local rank constraint for single image super resolution | |
| CN113139904B (zh) | 一种图像盲超分辨率方法及系统 | |
| Al-Ameen et al. | Enhancing the contrast of CT medical images by employing a novel image size dependent normalization technique | |
| CN111814682A (zh) | 人脸活体检测方法及装置 | |
| CN115170410A (zh) | 融合小波变换和注意力机制的图像增强方法及装置 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN115601299A (zh) | 基于图像的肝硬化状态智能评估系统及其方法 | |
| Liu et al. | Blind image deblurring via local maximum difference prior | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN112801899A (zh) | 基于互补结构感知的内外循环驱动图像盲去模糊方法和装置 | |
| Kim et al. | Hybrid deep learning framework for reduction of mixed noise via low rank noise estimation | |
| Li et al. | Deep image quality assessment driven single image deblurring | |
| Zhuge et al. | Single image denoising with a feature-enhanced network | |
| CN113689336A (zh) | 一种电力设备红外图像非盲超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210928 |