CN115511733A - 一种图像退化建模方法、神经网络训练方法和装置 - Google Patents
一种图像退化建模方法、神经网络训练方法和装置 Download PDFInfo
- Publication number
- CN115511733A CN115511733A CN202211118291.5A CN202211118291A CN115511733A CN 115511733 A CN115511733 A CN 115511733A CN 202211118291 A CN202211118291 A CN 202211118291A CN 115511733 A CN115511733 A CN 115511733A
- Authority
- CN
- China
- Prior art keywords
- degradation
- image
- noise
- neural network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 287
- 230000015556 catabolic process Effects 0.000 title claims abstract description 249
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 title claims abstract description 58
- 239000002131 composite material Substances 0.000 claims abstract description 39
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000006835 compression Effects 0.000 claims description 36
- 238000007906 compression Methods 0.000 claims description 36
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 230000007850 degeneration Effects 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000722363 Piper Species 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
一种图像退化建模方法、神经网络训练方法和装置，所述图像退化建模方法包括：构建复合退化模型，所述复合退化模型中的退化池包括模糊退化、噪声退化和下采样退化；建立门控机制，所述门控机制包括多个局部子门，并为模糊退化、噪声退化和下采样退化中的每种子退化类型分别添加所述局部子门，其中，所述局部子门根据预设概率选择添加对应的子退化类型。本申请的图像退化建模方法可以对退化种类和退化等级合理建模，提升图像退化模型的性能。
Description
技术领域
本申请涉及图像处理技术领域，并且更具体地，涉及一种图像退化建模方法、神经网络训练方法和装置。
背景技术
图像作为计算机感知世界的载体之一，在计算机视觉任务中发挥着重要的作用。然而受技术和成本限制，图像在成像时会不可避免地受到噪声、模糊、低分辨率等干扰，这不仅影响美观，也会对后续计算机视觉任务造成极大压力。因此研究如何从低质量(LowQuality，LQ)图像恢复出高质量(High Quality，HQ)图像(即盲图像复原)，具有重要意义。
随着深度学习技术的飞速发展，基于神经网络(Neural Network，NN)的图像复原方法大放异彩，构建更接近真实分布的训练数据可以提高算法对未知数据的泛化性，提高模型在真实场景的图像复原表现。现有技术中的经典图像退化模型和复杂图像退化模型在一定程度上可以模拟图像的退化过程，然而真实场景中的退化种类大多是未知分布的，而且退化等级通常也跨度极大。
因此，如何对退化种类和退化等级合理建模，提升图像退化模型的性能，是一项亟待解决的技术问题。
发明内容
本申请实施例第一方面提供的图像退化建模方法，所述图像退化建模方法包括：构建复合退化模型，所述复合退化模型中的退化池包括模糊退化、噪声退化和下采样退化；建立门控机制，所述门控机制包括多个局部子门，并为所述模糊退化、所述噪声退化和所述下采样退化中的每种子退化类型分别添加所述局部子门，其中，所述局部子门根据预设概率选择添加对应的子退化类型。
在一种可能的实施方式中，所述门控机制还包括全局门，所述全局门的选择支路包括所述复合退化模型支路和恒等映射模型支路，所述恒等映射模型支路用于对于输入的高质量真值标签图像保持原样输出。
在一种可能的实施方式中，所述全局门选择所述复合退化模型支路和恒等映射模型支路的概率之和为1；所述全局门选择所述复合退化模型支路的概率为0.8～0.9；所述全局门选择所述恒等映射模型支路的概率为0.1～0.2。
在一种可能的实施方式中，所述复合退化模型包括至少一个所述退化池，当所述复合退化模型包括多个所述退化池时，所述复合退化模型为高阶退化模型。
在一种可能的实施方式中，所述噪声退化的子退化类型包括高斯噪声、泊松噪声、斑点噪声、椒盐噪声、压缩噪声，且所述压缩噪声是所述退化池中排序最后的子退化类型。
在一种可能的实施方式中，所述模糊退化的子退化类型包括各向同性高斯模糊、各向异性高斯模糊。
在一种可能的实施方式中，所述下采样退化的子退化类型包括双三次插值、双线性插值和最近邻插值。
在一种可能的实施方式中，除所述压缩噪声以外其他子退化类型的顺序被随机打乱。
在一种可能的实施方式中，所述压缩噪声为JPEG压缩噪声、BMP压缩噪声或PNG压缩噪声。
在一种可能的实施方式中，所述模糊退化的子退化类型包括Sinc滤波退化。
在一种可能的实施方式中，所述局部子门选择添加所述高斯噪声退化类型的概率为0.7～0.8；所述局部子门选择添加除所述高斯噪声退化类型之外其他子退化类型的概率为0.4～0.6。
本申请实施例第二方面提供的神经网络训练方法，所述神经网络训练方法包括：根据第一方面或者第一方面中任一种可能的实施方式中的图像退化建模方法形成图像退化模型，给输入的高质量真值标签图像添加退化，得到合成降质图像，将所述合成降质图像和所述高质量真值标签图像作为一组训练样本对；重复上述添加退化的步骤，构建训练样本对集合；根据所述训练样本对集合更新神经网络的权重参数。
在一种可能的实施方式中，所述根据所述训练样本对集合更新神经网络的权重参数包括：将所述合成降质图像输入到所述神经网络中进行训练，得到重建高质量图像；计算所述重建高质量图像和所述高质量真值标签图像的平均绝对误差；根据所述平均绝对误差更新所述神经网络的权重参数。
在一种可能的实施方式中，所述将所述合成降质图像输入到所述神经网络中进行训练，得到重建高质量图像包括：对所述合成降质图像进行特征提取，得到所述合成降质图像的图像特征；将所述合成降质图像的图像特征转化为对应的重建高质量图像的图像特征；将所述重建高质量图像的图像特征进行可视化处理，得到重建高质量图像。
本申请实施例第三方面提供的一种装置，包括存储器和处理器，其特征在于，所述存储器中存有计算机程序；所述处理器用于执行所述计算机程序，以实现如第一方面或者第一方面中任一种可能的实施方式中的图像退化建模方法或第二方面或者第二方面中任一种可能的实施方式中的神经网络训练方法。
本申请实施例提供了图像退化建模方法，通过构建复合退化模型丰富退化类型，有效扩大图像退化模型的表达空间，并建立门控机制实现对简单退化和复杂退化的统一建模，增强图像退化模型对不同跨度的退化等级的适应性。所述图像退化建模方法可以对退化种类和退化等级合理建模，提升图像退化模型的性能。
本申请实施例还提供的神经网络训练方法，利用所述图像退化建模方法构建的图像退化模型得到的训练样本对集合对神经网络进行训练和优化，提升所述神经网络图像复原的效果，使其适用于真实场景的图像复原任务。
本申请实施例还提供了的装置，可以在所述装置上运行上述图像退化方法与神经网络训练方法，从而提升所述装置进行图像退化和图像复原处理的性能。
附图说明
图1是本申请实施例提供的一种图像退化建模方法的流程图。
图2是用图1的方法构建的一种图像退化模型框图。
图3是本申请实施例提供的一种神经网络训练方法的流程图。
图4是用图3的方法生成的训练样本对。
图5是本申请实施例提供的另一种神经网络训练方法流程图。
图6是本申请实施例提供的又一种神经网络训练方法流程图。
图7是图3的方法对应的一种神经网络的结构示意图。
图8是使用不同图像退化模型训练出的神经网络的图像复原结果。
图9是本申请实施例提供的一种装置的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述。
本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
另外，“第一”、“第二”等术语仅用于区别类似的对象，而不能理解为指示或暗示相对重要性，或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。
如图1所示，本申请实施例提供的一种图像退化建模方法，所述建模方法200包括步骤S210～S220：
S210、构建复合退化模型，所述复合退化模型中的退化池包括模糊退化、噪声退化和下采样退化；
S220、建立门控机制，所述门控机制包括多个局部子门，并为所述模糊退化、所述噪声退化和所述下采样退化中的每种子退化类型分别添加所述局部子门，其中，所述局部子门根据预设概率选择添加对应的子退化类型。
其中，步骤S220中所述每种子退化类型包括噪声退化的子退化类型、模糊退化的子退化类型和下采样退化的子退化类型。
本申请实施例中，所述图像退化建模方法通过构建复合退化模型丰富退化类型，有效扩大图像退化模型的表达空间，并建立门控机制控制每个子退化类型的退化程度来对不同退化等级进行建模，提升图像退化模型的性能。
作为一种可选的实施例，请一并参见图2，所述门控机制还包括全局门310，所述全局门310的选择支路包括所述复合退化模型支路340和恒等映射模型支路330，所述恒等映射模型支路330用于对于输入的高质量真值标签图像GTHQ保持原样输出。
本申请实施例中，所述门控机制的恒等映射支路330是为了避免图像退化模型300过拟合于退化分布，提升所述图像退化模型300对简单退化的建模能力，实现对简单退化和复杂退化的统一建模。
作为一种可选的实施例，所述全局门310选择所述复合退化模型支路340和恒等映射模型支路330的概率之和为1；所述全局门310选择所述复合退化模型支路340的概率为0.8～0.9；所述全局门310选择所述恒等映射模型支路330的概率为0.1～0.2。
具体地，请参见图2，给所述图像退化模型300输入一张高质量真值标签图像GTHQ，所述全局门310根据预设概率判断是否选择所述复合退化模型支路340，是则进入所述复合退化模型支路340，给所述高质量真值标签图像GT HQ添加复合退化后输出合成降质图像Syn LQ；否则进入所述恒等映射模型支路330，将高质量真值标签图像GT HQ直接输出作为合成降质图像Syn LQ。
在本实施例中，所述全局门310根据预设概率选择对应的模型支路，以对应真实场景中复杂退化的发生概率要高于简单退化的状况。所述全局门310的预设概率可以有效扩展退化空间以接近真实场景的未知分布，从而提升所述图像退化模型300的性能。
可以理解的是，在其他实施例中，所述复合退化模型340包括至少一个所述退化池341，当所述复合退化模型340包括多个所述退化池341时，所述复合退化模型340为高阶退化模型。从而进一步扩充退化空间，实现对严重退化进行建模。
作为一种可选的实施例，所述噪声退化的子退化类型包括高斯噪声、泊松噪声、斑点噪声、椒盐噪声、压缩噪声，且所述压缩噪声是所述退化池341中排序最后的子退化类型。
在本实施例中，所述高质量真值标签图像GT HQ输入到所述图像退化模型300后，会以一定的预设概率被所述退化池341中的不同子退化类型进行退化处理，而所述压缩噪声是所述退化池341中排序最后的子退化类型。所述高质量真值标签图像GT HQ优先被除所述压缩噪声以外的其他子退化类型进行退化处理，也就是说其他子退化类型的排序都在所述压缩噪声的前面，并且除所述压缩噪声以外的其他子退化类型的顺序是随机打乱的。
进一步的，作为一种可选的实施例，每一张高质量真值标签图像GT HQ输入到所述图像退化模型300后，除所述压缩噪声以外的其他子退化类型的顺序都会被随机打乱一次。
所述高斯噪声、泊松噪声、斑点噪声、椒盐噪声都是真实生活中常见的噪声类型，可以用来模拟电子噪声、传输噪声。所述压缩噪声是图片压缩后，图片的频率空间减少不重要信息(特别是高频率信息)而导致的，图片压缩率越高，损失的信息就越多，压缩噪声就越严重。现实生活中，图片压缩是图像处理的最后一步，为和真实生活场景对应，所述压缩噪声应该放在所述退化池341排序最靠后的位置。
作为一种可选的实施例，所述压缩噪声为JPEG压缩噪声、BMP压缩噪声或PNG压缩噪声。
现实生活中最常用的图片压缩格式有JPEG、BMP和PNG，所述JPEG压缩噪声、BMP压缩噪声或PNG压缩噪声可以模拟真实生活中大部分由于图片压缩引起的噪声，生成更接近真实退化分布的合成降质图像Syn LQ。
作为一种可选的实施例，所述模糊退化的子退化类型包括各向同性高斯模糊、各向异性高斯模糊。所述各向同性高斯模糊和各向异性高斯模糊可以用来模拟传感器和目标相对运动导致的运动模糊。
可以理解的是，在其他实施例中，所述模糊退化的子退化类型包括Sinc滤波退化。所述Sinc滤波退化能够模拟现实生活中图片的振铃伪影和超调伪影，增加所述Sinc滤波退化可以拓展所述图像退化模型300的退化空间。
作为一种可选的实施例，所述下采样退化的子退化类型包括双三次插值(Bicubic)、双线性插值(Bilinear)和最近邻插值(Nearest)。所述双三次插值、双线性插值和最近邻插值可以用来模拟图像的尺度放缩。
在本实施例中，合理选择所述模糊退化、噪声退化和下采样退化的子退化类型，有助于扩大图像退化模型300的表达空间，生成更接近真实退化分布的合成降质图像SynLQ。
作为一种可选的实施例，除所述压缩噪声以外其他子退化类型的顺序被随机打乱。
在本实施例中，所述复合退化模型支路340随机打乱除所述压缩噪声以外其他子退化类型的顺序，可以拓展图像退化模型300的退化空间，以达到对复杂退化进行建模的目的。所述复合退化模型支路340和恒等映射模型支路330从两个不同的角度提升所述图像退化模型300的建模能力，从而拓宽所述图像退化模型300的上限(对应复杂退化)和下限(对应简单退化)，提升图像复原网络对真实退化的泛化性。
作为一种可选的实施例，所述局部子门320选择添加所述高斯噪声退化类型的概率为0.7～0.8；所述局部子门320选择添加除所述高斯噪声退化类型之外其他子退化类型的概率为0.4～0.6。
所述局部子门320的预设概率可以对应真实场景中所述高斯噪声的出现概率要高于其他噪声类型的状况。所述局部子门320根据预设概率选择子退化类型，可以对不同退化等级进行建模，有效扩大所述图像退化模型300的表达空间，也进一步提升所述图像退化模型300对不同退化等级的建模能力。
在本申请实施例中，所述图像退化建模方法可以通过构建复合退化模型丰富退化类型，有效扩大图像退化模型的表达空间，并建立门控机制实现对简单退化和复杂退化的统一建模，增强图像退化模型对不同跨度的退化等级的适应性。所述图像退化建模方法可以对退化种类和退化等级合理建模，提升图像退化模型的性能。
本申请实施例提供的一种神经网络训练方法400，请一并参见图3，所述神经网络训练方法400包括步骤S410～S430：
S410、根据本申请中的图像退化建模方法形成图像退化模型，给输入的高质量真值标签图像GTHQ添加退化，得到合成降质图像SynLQ，将所述合成降质图像SynLQ和所述高质量真值标签图像GTHQ作为一组训练样本对。
S420、重复上述添加退化的步骤，构建训练样本对集合。
S430、根据所述训练样本对集合更新神经网络的权重参数。
其中，所述神经网络由神经元和神经连接组成，所述神经连接负责连接同层或两层之间的神经元，每个神经连接都有一个权重参数。
请一并参见图4，给所述输入的高质量真值标签图像GTHQ添加退化后，得到所述合成降质图像SynLQ，每一张所述合成降质图像SynLQ和所述输入的高质量真值标签图像GTHQ都可以作为一组训练样本对。再重复所述添加退化的过程，就可以得到具有不同退化种类和退化等级的所述合成降质图像SynLQ和相应的训练样本对集合。最后用所述训练样本对集合对神经网络进行训练优化，就可以更新所述神经网络的权重参数。
在本实施例中，利用所述图像退化建模方法构建的图像退化模型得到的训练样本对集合对神经网络进行训练和优化，提升所述神经网络图像复原的效果，使其适用于真实场景的图像复原任务。
作为一种可选的实施例，请一并参见图5，所述根据所述训练样本对集合更新神经网络的权重参数的步骤S430包括步骤S431～S433：
S431、将所述合成降质图像SynLQ输入到所述神经网络中进行训练，得到重建高质量图像Rec HQ。
S432、计算所述重建高质量图像Rec HQ和所述高质量真值标签图像GTHQ的平均绝对误差。
S433、根据所述平均绝对误差更新所述神经网络的权重参数。
具体地，步骤S431首先随机从所述训练样本对集合中抽取训练样本对{Y,X}，其中Y为待恢复的所述合成降质图像SynLQ，X为对应的所述输入的高质量真值标签图像GTHQ。然后将Y输入到所述神经网络中，得到所述神经网络的输出
即重建高质量图像Rec HQ。
其中，所述重建高质量图像Rec HQ与所述输入的高质量真值标签图像GTHQ的平均绝对误差(Mean Absolute Error，MAE)的计算方式如下：
其中，‖·‖1代表L1范数。
在本实施例中，所述步骤S433根据所述平均绝对误差更新所述神经网络的权重参数，所述权重参数决定了所述神经网络的图像复原的效果，合适的权重参数将提高所述神经网络图像复原处理的能力。
作为一种可选的实施例，请一并参见图6，所述步骤S431将所述合成降质图像SynLQ输入到所述神经网络中进行训练，得到重建高质量图像Rec HQ包括步骤S4311～S4313：
S4311、对所述合成降质图像SynLQ进行特征提取，得到所述合成降质图像SynLQ的图像特征。
S4312、将所述合成降质图像SynLQ的图像特征转化为对应的重建高质量图像RecHQ的图像特征。
S4313、将所述重建高质量图像Rec HQ的图像特征进行可视化处理，得到重建高质量图像Rec HQ。
其中，所述图像特征包括颜色特征、形状特征、纹理特征和空间关系特征，所述图像特征可以反映图像的本质结构，并具有更高的识别率。
在本实施例中，所述步骤S4311～S4313描述了一种神经网络从输入单张合成降质图像SynLQ，到输出对应的重建高质量图像Rec HQ的训练流程。先进行特征提取，可以方便所述神经网络对图像特征的识别与处理，最后进行可视化处理，又可以方便后续步骤对图像作进一步处理。
请一并参见图7，在本实施例中，所述神经网络可以是一种卷积神经网络，所述卷积神经网络的结构包括特征提取模块、特征转换模块和图像重建模块。所述特征提取模块输入所述合成降质图像SynLQ，所述图像重建模块输出所述重建高质量图像Rec HQ，所述特征转换模块的两端分别与所述特征提取模块以及图像重建模块连接。所述特征提取模块和所述图像重建模块，二者均由三组卷积和三组激活函数顺序组成。所述特征转换模块由三组且步长为2卷积，三组亚像素上采样层以及十四组残差模块组成。
在本实施例中，所述卷积神经网络输入单张合成降质图像SynLQ，输出对应的重建高质量图像Rec HQ。所述卷积神经网络由三部分组成：
(1)第一部分为特征提取模块，对输入图像进行特征提取，得到所述合成降质图像SynLQ的图像特征；
(2)第二部分为特征转换模块，在特征域对所述合成降质图像SynLQ的图像特征进行转换，将所述合成降质图像SynLQ的图像特征转换为对应的重建高质量图像Rec HQ的图像特征；
(3)第三部分为图像重建模块，将转换后的重建高质量图像Rec HQ的图像特征进行可视化处理，得到所述重建高质量图像Rec HQ。
在本实施例中，所述卷积神经网络整体为严格对称结构，遵循UNet网络范式。具体地，对于所述特征提取和图像重建模块，二者均由三组卷积(Conv3)和三组激活函数(ReLU)顺序组成。对于所述特征转换模块，该部分由三组且步长为2卷积(Conv3_s2)，三组亚像素上采样层(Subpixel)以及十四组残差模块(ResBlock)组成。所述特征转换模块在多个分辨率上对合成降质图像SynLQ的图像特征进行处理，并经过Subpixel层逐级上采样至原始分辨率进行多尺度特征融合，得到最终转换后重建高质量图像Rec HQ的图像特征。进一步地，残差模块ResBlock由三组卷积(Conv3)和三组激活函数(ReLU)组成，其中第二、三组“Conv3-ReLU”之间的
表示逐像素加法，用以实现残差操作，可以缓解梯度消失并提升最终模型性能。
在本实施例中，可以用上述申请实施例中的神经网络训练方法对图7搭建的卷积神经网络进行训练和优化，所述卷积神经网络训练完成后，可直接应用于真实场景的图像复原任务。将真实场景的退化图像直接输入到所述卷积神经网络中，即可得到对应的复原图像。
可以理解的是，在其他实施例中，还可根据实际计算资源选择复杂卷积神经网络模型或轻量化卷积神经网络模型，以适配高性能或低功耗场景。
请一并参见图8，比较不同图像退化模型训练出的神经网络的图像复原结果，可以直观的验证不同图像退化模型的对真实退化场景的拟合能力和对不同退化等级和退化种类的建模能力。
在本实施例中，分别用从经典图像退化模型、复杂图像退化模型、本申请实施例的一种图像退化模型得到的训练样本对集合对一种卷积神经网络进行训练，分别得到三种具有不同参数的卷积神经网络。
第一卷积神经网络是用从经典图像退化模型得到的训练样本对集合训练得到的，第二卷积神经网络是用从复杂图像退化模型得到的训练样本对集合训练得到的，第三卷积神经网络是用从本申请实施例的一种图像退化模型得到的训练样本对集合训练得到的。
如图8所示，轻微退化图像和严重退化图像都是现实生活中的传感器输出的真实原始图像。将所述轻微退化图像和严重退化图像分别输入到所述三种不同参数的卷积神经网络中，就可以得到对应的复原图像。
其中，所述第一卷积神经网络的复原图像中存在明显噪声残留，特别是所述严重退化图像的复原图像有严重的噪声残留。这说明所述经典图像退化模型的退化表达能力有限，无法模拟复杂退化种类，因此用所述经典图像退化模型训练出来的所述第一卷积神经网络的复原图像中可能仍然残留噪声干扰。
所述第二卷积神经网络的复原图像可以有效去除所述严重退化图像的噪声，但是所述轻微退化图像的复原图像会产生过度锐化导致的伪影。这说明所述复杂图像退化模型未对简单退化类型进行建模，用所述复杂图像退化模型训练出来的所述第二卷积神经网络复原噪声或模糊较轻的退化图像时，复原图像可能会过度平滑或过度锐化。
所述第三卷积神经网络的复原图像则表现出明显的退化自适应性，对轻微退化和严重退化图像均可重建出视觉良好的复原图像。这说明所述本申请实施例的一种图像退化模型可以同时对简单退化和复杂退化进行建模，有效避免了经典图像退化模型和复杂图像退化模型中的潜在问题，用所述本申请实施例的一种图像退化模型训练出来的所述第三卷积神经网络可以更好地自适应处理不同退化种类和退化等级的退化图像，提升真实场景中的图像复原表现。
在本实施例中，为了定量评估复原图像，可以采用无参考图像质量评估指标(NIQE)进行定量评估，该数值越小，说明图像质量越高。下述表一给出了所述三种卷积神经网络对所述轻微退化图像和严重退化图像的复原图像的NIEQ指标。所述第三卷积神经网络对于两种退化复原图像的NIEQ指标数值均最小，表示复原出来的两种图像质量均最好，与图8的轻微退化图像和严重退化图像的复原图像可视化结果一致。同时也说明本申请实施例的一种图像退化模型的效果显著，所述图像退化模型添加退化后的合成降质图像SynLQ更接近真实退化图像，用所述图像退化模型生成的训练样本对集合训练出来的神经网络的图像复原效果更好。
表一
本申请实施例还提供一种装置700，该装置700的结构示意图可以参见图9。所述装置700包括存储器701和处理器702，所述存储器701可用于存储计算机程序，所述处理器702用于执行所述计算机程序，以实现上述申请实施例中的图像退化建模方法或神经网络训练方法。
在本实施例中，所述处理器702是所述装置700的控制中心，利用接口和线路连接所述存储器701和所述装置700的其他部分，通过运行或调用存储在所述存储器701内的计算机程序，以及调用存储在所述存储器701内的数据，执行所述装置700的各种功能和处理数据。
在本实施例中，所述装置700中的所述处理器702会按照上述申请实施例中的图像退化建模方法或神经网络训练方法的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到所述存储器701中，并由所述处理器702来运行存储在所述存储器701中的计算机程序，实现上述申请实施例中的图像退化建模或神经网络训练，从而提升所述装置700进行图像退化和图像复原处理的性能。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。
Claims (15)
1.一种图像退化建模方法，其特征在于，所述图像退化建模方法包括：
构建复合退化模型，所述复合退化模型中的退化池包括模糊退化、噪声退化和下采样退化；
建立门控机制，所述门控机制包括多个局部子门，并为所述模糊退化、所述噪声退化和所述下采样退化中的每种子退化类型分别添加所述局部子门，其中，所述局部子门根据预设概率选择添加对应的子退化类型。
2.根据权利要求1所述的图像退化建模方法，其特征在于，所述门控机制还包括全局门，所述全局门的选择支路包括所述复合退化模型支路和恒等映射模型支路，所述恒等映射模型支路用于对于输入的高质量真值标签图像保持原样输出。
3.根据权利要求2所述的图像退化建模方法，其特征在于，所述全局门选择所述复合退化模型支路和恒等映射模型支路的概率之和为1；
所述全局门选择所述复合退化模型支路的概率为0.8～0.9；
所述全局门选择所述恒等映射模型支路的概率为0.1～0.2。
4.根据权利要求1所述的图像退化建模方法，其特征在于，所述复合退化模型包括至少一个所述退化池，当所述复合退化模型包括多个所述退化池时，所述复合退化模型为高阶退化模型。
5.根据权利要求1所述的图像退化建模方法，其特征在于，所述噪声退化的子退化类型包括高斯噪声、泊松噪声、斑点噪声、椒盐噪声、压缩噪声，且所述压缩噪声是所述退化池中排序最后的子退化类型。
6.根据权利要求5所述的图像退化建模方法，其特征在于，所述模糊退化的子退化类型包括各向同性高斯模糊、各向异性高斯模糊。
7.根据权利要求6所述的图像退化建模方法，其特征在于，所述下采样退化的子退化类型包括双三次插值、双线性插值和最近邻插值。
8.根据权利要求5至7任一项所述的图像退化建模方法，其特征在于，除所述压缩噪声以外其他子退化类型的顺序被随机打乱。
9.根据权利要求5所述的图像退化建模方法，其特征在于，所述压缩噪声为JPEG压缩噪声、BMP压缩噪声或PNG压缩噪声。
10.根据权利要求1或6所述的图像退化建模方法，其特征在于，所述模糊退化的子退化类型包括Sinc滤波退化。
11.根据权利要求5至7中任一项所述的图像退化建模方法，其特征在于，所述局部子门选择添加所述高斯噪声退化类型的概率为0.7～0.8；
所述局部子门选择添加除所述高斯噪声退化类型之外其他子退化类型的概率为0.4～0.6。
12.一种神经网络训练方法，其特征在于，所述神经网络训练方法包括：
根据权利要求1至11中任一项所述的图像退化建模方法形成图像退化模型，给输入的高质量真值标签图像添加退化，得到合成降质图像，将所述合成降质图像和所述高质量真值标签图像作为一组训练样本对；
重复上述添加退化的步骤，构建训练样本对集合；
根据所述训练样本对集合更新神经网络的权重参数。
13.根据权利要求12所述的神经网络训练方法，其特征在于，所述根据所述训练样本对集合更新神经网络的权重参数包括：
将所述合成降质图像输入到所述神经网络中进行训练，得到重建高质量图像；
计算所述重建高质量图像和所述高质量真值标签图像的平均绝对误差；
根据所述平均绝对误差更新所述神经网络的权重参数。
14.根据权利要求13所述的神经网络训练方法，其特征在于，所述将所述合成降质图像输入到所述神经网络中进行训练，得到重建高质量图像包括：
对所述合成降质图像进行特征提取，得到所述合成降质图像的图像特征；
将所述合成降质图像的图像特征转化为对应的重建高质量图像的图像特征；
将所述重建高质量图像的图像特征进行可视化处理，得到重建高质量图像。
15.一种装置，包括存储器和处理器，其特征在于，
所述存储器中存有计算机程序；
所述处理器用于执行所述计算机程序，以实现如权利要求1至11中任一项所述的图像退化建模方法或权利要求12至14中任一项所述的神经网络训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211118291.5A CN115511733A (zh) | 2022-09-13 | 2022-09-13 | 一种图像退化建模方法、神经网络训练方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211118291.5A CN115511733A (zh) | 2022-09-13 | 2022-09-13 | 一种图像退化建模方法、神经网络训练方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115511733A true CN115511733A (zh) | 2022-12-23 |
Family
ID=84504600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211118291.5A Pending CN115511733A (zh) | 2022-09-13 | 2022-09-13 | 一种图像退化建模方法、神经网络训练方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115511733A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197627A (zh) * | 2023-09-13 | 2023-12-08 | 长春理工大学 | 一种基于高阶退化模型的多模态图像融合方法 |
-
2022
- 2022-09-13 CN CN202211118291.5A patent/CN115511733A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197627A (zh) * | 2023-09-13 | 2023-12-08 | 长春理工大学 | 一种基于高阶退化模型的多模态图像融合方法 |
| CN117197627B (zh) * | 2023-09-13 | 2024-03-01 | 长春理工大学 | 一种基于高阶退化模型的多模态图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113139907B (zh) | 视觉分辨率增强的生成方法、系统、装置及存储介质 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN114549308B (zh) | 面向感知的具有大感受野的图像超分辨率重建方法及系统 | |
| CN112288632A (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN116029902A (zh) | 一种基于知识蒸馏的无监督真实世界图像超分辨方法 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
| CN114972024A (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN115526777A (zh) | 一种盲超分网络建立方法、盲超分方法及存储介质 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
| CN114862699B (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| CN116188265A (zh) | 一种基于真实退化的空间可变核感知盲超分重建方法 | |
| CN115797181A (zh) | 一种面向矿井模糊环境的图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |