CN112734649A - 一种基于轻量级神经网络的图像退化方法及退化系统 - Google Patents
一种基于轻量级神经网络的图像退化方法及退化系统 Download PDFInfo
- Publication number
- CN112734649A CN112734649A CN202110012919.2A CN202110012919A CN112734649A CN 112734649 A CN112734649 A CN 112734649A CN 202110012919 A CN202110012919 A CN 202110012919A CN 112734649 A CN112734649 A CN 112734649A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- loss function
- model
- image degradation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 101
- 230000015556 catabolic process Effects 0.000 title claims abstract description 94
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006870 function Effects 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000001609 comparable effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于轻量级神经网络的图像退化方法，包括以下步骤：获取数据集并进行预处理，得到输入图像；构建轻量级神经网络图像退化模型；将输入图像输入到轻量级神经网络图像退化模型得到退化图像，计算得到内容损失函数；将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；结合得到损失函数，根据损失函数训练该模型，得到训练后的轻量级神经网络图像退化模型；输入待退化的图像得到最终的退化图像；本发明提出了包括残差块的神经网络模型，在避免生成伪造纹理信息的同时减少了网络的参数量，使得生成的图像避免了主观因素的干预，不用人为去预测模型和参数，更加接近真实的图像退化效果。
Description
技术领域
本发明涉及图像退化处理的研究领域，特别涉及一种基于轻量级神经网络的图像退化方法及退化系统。
背景技术
由于环境和设备因素，图像在形成、记录和处理的过程中，图像因为介质的干扰、成像设备处理方式的不完善以及存储方式的不同，导致最终生成的图像与真实情况产生差异，造成图像退化。而退化图像在图像处理领域至关重要，所以图像退化的方法研究具有非常重要的意义和目的。
Park等人提出的一般成像退化模型，这种模型是来自于传统的图像处理领域，它对成像过程进行建模，建立了一个图像的观测模型，图像复原则可以看成是求解图像观测模型的逆问题。进行图像处理时，可以用下列公式表示成像退化过程：
I(x)＝D*B*M*J(x)+N(x)
其中I(x)为低品质的退化图像，通过观测获得，J(x)是指需要复原的高清图像，D代表降采样，B代表模糊，M代表形变或运动矩阵，N(x)则是加性噪声。
另一种则是雾天成像的图像退化模型，在雾霾天气中，现实中的光线到达成像设备之前，会因为大气的散射作用而发生一定程度的衰减，并且，空气中的颗粒物的反射光，在雾霾天气下会更容易干扰成像设备的成像。Narasimhan和Nayar等则提出了单色大气散射模型，这个模型常常被用于描述雾天成像的退化过程，
I(x)＝t(x)J(x)+A(1-t(x))
其中I是有雾图像的颜色值，J是场景无雾情况下的颜色值，A是大气光强，而t是场景色彩在各个区通过程度的描述称作传输图。
Adrian Bulat等人在处理超分问题的时候，提出使用一个高到低生成的对抗网络(GAN)来学习图像退化过程，而不是试图对其进行建模。通过神经网络可以消除主观影响和环境因素。
而需要利用到图像退化领域的最常见的方式是图像超分辨率处理，可以说两个过程是可逆的，通过对超分辨率重建技术上，我们也可以找到思路。卷积神经元网络CNN被广泛应用到了各种图像处理技术上面，SRCNN将CNN应用在单张图像超分辨率重建上，是深度学习超分辨率的开山之作，使用了双三次插值作为预处理过程，网络结构十分简单，只用了三个卷积层，但得到了极好的结果。而VDSR模型则将残差结构引入到了图像超分辨率上。DRCN模型将递归结构引入超分辨率重建，而ESPCN模型则提出了亚像素卷积层，亚像素卷积层在之后的各种研究中被广泛使用。
现有的方法无论是一般成像退化模型，还是雾天成像的退化模型，都是基于人们已有的先验知识，通过假设而得出的，其实际效果和真实图像退化相差比较大。而基于对抗网络的GAN模型，容易产生伪影等效果，对后续的超分或者去雾等功能产生了一定的影响，基于深度学习的GAN算法会出现下面两个问题。一、生成的纹理信息并不和现实中的纹理相符，甚至生成一些假的边缘信息。二、生成对抗网络需要生成网络和对抗网络共同去约束图片生成，因此需要的参数量大，耗费资源。本发明通过对超分辨率技术等作为参考，提出相应的图像退化的算法。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于轻量级神经网络的图像退化方法，过自主地学习图像数据集的统计规律，减少人为主观因素的干预，通过模型训练模拟现实图像退化过程，生成任意图像的退化图像，为超分辨率重建和图像复原等任务提供更真实更丰富的数据集。
本发明的另一目的在于提供一种基于轻量级神经网络的图像退化系统。
本发明的目的通过以下的技术方案实现：
一种基于轻量级神经网络的图像退化方法，其特征在于，包括以下步骤：
获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像；
构建轻量级神经网络图像退化模型，所述轻量级神经网络图像退化模型包含残差密集块；
将输入图像输入到轻量级神经网络图像退化模型得到退化图像，计算得到内容损失函数；
将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；
通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；
将待退化的图像输入轻量级神经网络的图像退化模型，得到最终的退化图像。
进一步地，所述获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像，具体为：获取计算机视觉和模式识别图集作为训练的数据集，并将该数据集的图像裁剪为相同大小的图像。
进一步地，所述构建轻量级神经网络图像退化模型，具体为：包括若干个残差密集块和若干个卷积层叠加，其中每个残差密集块由K个密集块构成，每个密集块有L个卷积层构成。残差密集块：分为两个模块，一个残差模块，一个密集模块；
残差块通过跳跃连接将数据处理后传给后续的模块，可以使低层的特征保存到后续的模块，能使整体的特征保存下来，同时残差块也能有效抑制梯度消失和梯度爆炸等情况；
密集块在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来。为了能够保证前馈的特性，每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层；
激活函数选择的是LeakyReLU，比传统的ReLU函数更加稳定，传统的ReLU函数在处理负数的时候，统一设置为0，减慢了训练速度，同时使整个网络计算更加快速。
进一步地，所述每个卷积层的卷积核个数为3×3，卷积步长为1；其输入特征和输出特征如下：第一个卷积层的输入的特征通道为nf，输出的特征通道为gc；接着第二个卷积层输入的特征通道为nf+gc，即将第一层的输入也加到了第二层的输入当中，输出的特征通道为gc；同理，第三个卷积层输入的特征通道为nf+2×gc，即将前两层的输入加到了第三层。以此类推，直到最后一层即第五层，输出不再为gc，而恢复成原有的nf，以便于连接下一个残差密集块。
进一步地，所述残差密集块的输入端和输出端分别添加了卷积层。
进一步地，所述将输入图像输入到轻量级神经网络图像退化模型，通过内容损失函数进行训练，得到退化图像；具体为：将输入图像输入到轻量级神经网络图像退化模型进行训练，批大小设为a，将残差密集块的数量设为b，初始学习率设为c，训练的迭代次数设为d万次；其中，内容损失函数为：
其中，ImageHR为高清线度输入图像，ImageLR为与I对应的低清晰度退化图像，Net为图像退化网络模型，W为高清晰度图像的宽，H为高清晰度的高。
进一步地，所述将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；具体为：将输入图像和退化图像通过特征提取能力强的神经网络模型提取特征值，高清晰度输入图像、退化图像和低清晰度图像共同经过该神经网络模型，得到第b+1个池化层之前的第b个卷积层的特征图，其中，感知损失函数为：
其中，ImageHR为高清线度输入图像，Y为与ImageHR对应的低清晰度图像，Net为需要训练的图像退化网络模型，为神经网络模型，X,Y,C分别为高清晰度图像的宽、高、通道数。
进一步地，所述通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；具体为：按照比例λ结合感知损失函数和内容损失函数，得到损失函数：
Ltotal＝Lp+λLm
其中，Lp为感知损失函数，Lm为内容损失函数。
采用反向传播算法计算隐含层的误差，采用梯度下降算法更新图像退化网络模型的参数。
进一步地，高清晰度图像输入到图像退化网络模型得到退化的低清晰度图像。
进一步地，将退化图像应用到相应的图像处理领域。例如后续可以将生成的图像应用到超分辨率图像处理领域，进行退化效果验证。
用真实的退化图像，双三次插值退化的图像，还有经过本发明网络生成的退化图像去训练超分辨网络ESRGAN。
用低清晰度图像分别进行评价，进行对比，得出结果是经过本发明网络生成的退化图像比传统的双三次插值退化的图像效果更好。
进一步地，采用后向传播算法计算隐含层误差和梯度下降法更新网络参数，具体为：对于卷积层的参数wi和偏差bi每次迭代的更新公式如下：
其中α为学习率。
本发明的另一目的通过以下的技术方案实现：
一种基于轻量级神经网络的图像退化系统，包括高清晰度输入图像获取模块、图像退化网络模型构建模块和图像退化网络模型训练模块；通过高清晰度输入图像获取模块获取系统所需要的数据，通过图像退化网路模型构建模块构建好网络，将数据和网络结合，进行图像退化网络模型训练得到最终的网络模型。
本发明与现有技术相比，具有如下优点和有益效果：
本发明提出了包括卷积块，残差块和密集连接的神经网络模型，在避免生成伪造纹理信息的同时减少了网络的参数量，使得生成的图像避免了主观因素的干预，不用人为去预测模型和参数，更加接近真实的图像退化效果；这样产生的退化图像使后续的图像处理过程有更接近真实的数据集。
附图说明
图1是本发明所述一种基于轻量级神经网络的图像退化方法的流程图；
图2是本发明所述实施例中一种基于轻量级神经网络的图像退化系统结构图；
图3是本发明所述实施例中图像退化神经网络模型的结构框图；
图4是本发明所述实施例中残差密集块的结构框图；
图5是本发明所述实施例中各算法图像效果比对图；
图6是本发明所示实施例中各算法模拟退化图像比对图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
一种基于轻量级神经网络的图像退化方法，如图1所示，包括以下步骤：
获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像；
构建轻量级神经网络图像退化模型，所述轻量级神经网络图像退化模型包含残差密集块；
将输入图像输入到轻量级神经网络图像退化模型得到退化图像，计算得到内容损失函数；
将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；
通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；
将待退化的图像输入轻量级神经网络的图像退化模型，得到最终的退化图像。
一种基于轻量级神经网络的图像退化系统结构图如图2所示，包括高清晰度输入图像获取模块、图像退化网络模型构建模块和图像退化网络模型训练模块；通过高清晰度输入图像获取模块获取系统所需要的数据，通过图像退化网路模型构建模块构建好网络，将数据和网络结合，进行图像退化网络模型训练得到最终的网络模型。
具体如下：
1)训练的准备工作主要是进行数据集的预处理，选用2019年计算机视觉和模式识别国际会议(CVPR2019)的比赛图集作为训练的数据集。对于训练集，首先将训练集的图像裁剪为64×64的相同大小的图像。
一来扩充训练集，二来可以在GPU配置较低的情况下进行训练。为了加快I/O处理速度，本申请还使用了LMDB(LightningMemory-Mapped Database)数据库的格式对训练集进行保存。
2)将训练图像输入到图像退化网络进行训练，批大小(batch_size)设为1，将残差密集块的数量设为4，初始学习率设为1×10-4，训练的迭代次数设为10万次；每经过5000次迭代，进行一次校验并保存一次模型，可以通过查看损失函数提前终止实验，选择效果最好的模型。
训练过程主要使用的损失函数是：内容损失函数Lm为：
ImageHR为高清晰度输入图像，ImageLR为与I对应的低清晰度退化图像，Net为图像退化网络模型，W、H分别为高清晰度图像的宽、高。
3)将退化图像和低清晰度图像共同经过VGG19-54计算感知损失Lp；
VGG19模型是一个具有很强的特征提取能力的模型，图像退化神经网络模型的结构框图如图3所示，残差密集块的结构框图如图4所示。高清晰度输入图像经过网络的到的退化图像和低清晰度图像共同经过VGG19得到第5个池化层之前的第4个卷积层的特征图，他们的特征细节得到的损失能够使本模型更具有对高层特征信息的生成能力。其中，损失函数为：
ImageHR为高清晰度输入图像，Y为与ImageHR对应的低清晰度图像，Net为需要训练的图像退化网络模型，VGG19为VGG19神经网络模型，X,Y和C分别为高清晰度图像I的宽、高和通道数。
4)最后按照一定比例结合感知损失和内容损失，得到在梯度下降法中所使用的损失函数为：
Ltotal＝Lp+λLm， (4-4)
在训练过程中，可以明显的看到Ltotal的值总体趋势来说是下降的，证明网络学习到退化规律，通过网络生成的低清晰度的退化图像更加接近真实的退化过程中的退化图像，在后续的实验中，也对结果的退化图像和真实的退化图像，主流方法的双三次插值退化图像进行了对比，通过结果可以看出，网络所产生的低清晰度图像确实更加接近真实图像。后续也将本文网络生成的图像进行了图像超分辨重建，和传统的双三次插值进行比较，得出的结论是，本文网络生成的退化图像更加接近真实的退化图像，本发明网络生成的退化图像更接近真实图像，对后续的工作，如图像去雾，图像超分辨率重建都提供了有益的效果。
实验结论，本发明通过使用深度学习网络，并且避免了使用在图像处理领域大放异彩的生成对抗网(GAN)算法，生成对抗网(GAN)算法是一个参数量非常大的网络，计算量大，同时在生成图片的时候，会产生一些伪影，这在后续的图像处理任务是致命的，所以我们使用传统的卷积网络。数据集使用成对的数据训练，使生成的图片更加接近真实效果。本发明与主流算法有一个可比的效果。从下面的效果图可以看出，传统的双三次插值图像退化过程仍然保持了图像的主要特征，和真实的退化图像过程相差比较大，从图片可以看出真的退化过程也是会丧失特征。而本申请网络产生的图像无论从视觉效果还是从指标来说都是更加接近真实图像，如图5所示，第一个数字为峰值信噪比(Peak Signal to NoiseRatio)，数字越高越好。第二个数字为结果相似性(Structural SIMilarity)，数字范围为0-1，越接近1越好。
网络质量评估表如下：
网络质量评估表
| 退化方法 | 双三次插值 | 本文网络 |
| PSNR | 37.081 | 40.009 |
| SSIM | 0.9645 | 0.9756 |
本发明的最终目的是利用退化的图像数据进行其他的图像处理任务，本文将产生的数据集应用到超分辨率图像生成任务，以性能比较好的ESRGAN作为评价标准。用网络生成的数据，真实拍摄的退化图像和使用双三次插值退化的图像去训练ESRGAN。通过实验我们可以看出，用真实退化图像效果是最好的，其次就是本发明构建的网络生成的退化图像训练网络，最后才是双三次插值退化的图像训练的网络。如图6所示，第一个数字为峰值信噪比(Peak Signal to Noise Ratio)，数字越高越好。第二个数字为结果相似性(Structural SIMilarity)，数字范围为0-1，越接近1越好，从视觉效果来看，基于退化网络生成的数据训练的超分辨率重建结果和用真实退化图像训练的超分辨率重建结果更为接近，清晰度更高，特征更明显；从量化指标上看，基于本发明建模生成的退化图像训练的超分辨率重建结果，更接近真实拍摄的低分辨率图像，优于传统的双三次插值的退化方法。正是因为获取同一场景成对的高清图像和退化图像是困难和耗时耗资源的，所以本发明的网络的价值就得以体现，可以更好的去模拟退化图像，为其他图像处理任务提供充足的训练数据。
对比表
| 退化方法 | 双三次插值 | 真实退化图像 | 本文网络 |
| PSNR | 28.334 | 29.031 | 28.650 |
| SSIM | 0.8803 | 0.8878 | 0.8770 |
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.一种基于轻量级神经网络的图像退化方法，其特征在于，包括以下步骤：
获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像；
构建轻量级神经网络图像退化模型，所述轻量级神经网络图像退化模型包含残差密集块；
将输入图像输入到轻量级神经网络图像退化模型得到退化图像，计算得到内容损失函数；
将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；
通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；
将待退化的图像输入轻量级神经网络的图像退化模型，得到最终的退化图像，最终的退化图像应用到图像处理的其他领域。
2.根据权利要求1所述的一种基于轻量级神经网络的图像退化方法，其特征在于，所述获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像，具体为：获取计算机视觉和模式识别图集作为训练的数据集，并将该数据集的图像裁剪为相同大小的图像。
3.根据权利要求2所述的一种基于轻量级神经网络的图像退化方法，其特征在于，所述构建轻量级神经网络图像退化模型，具体为：包括若干个残差密集块和若干个卷积层叠加，其中每个残差密集块由K个密集块和残差块构成，每个密集块有L个卷积层构成。
4.根据权利要求3所述的一种基于轻量级神经网络的图像退化方法，其特征在于，所述每个卷积层的卷积核个数为3×3，卷积步长为1；其输入特征和输出特征如下：第一个卷积层的输入的特征通道为nf，输出的特征通道为gc；接着第二个卷积层输入的特征通道为nf+gc，即将第一层的输入也加到了第二层的输入当中，输出的特征通道为gc；同理，第三个卷积层输入的特征通道为nf+2×gc，即将前两层的输入加到了第三层，以此类推，直到最后一层即第五层，输出不再为gc，而恢复成原有的nf，以便于连接下一个残差密集块。
5.根据权利要求3所述的一种基于轻量级神经网络的图像退化方法，其特征在于，所述残差密集块的输入端和输出端分别添加了卷积层。
6.根据权利要求1所述的一种基于轻量级神经网络的图像退化方法，其特征在于，所述将输入图像输入到轻量级神经网络图像退化模型，通过内容损失函数进行训练，得到退化图像；具体为：将输入图像输入到轻量级神经网络图像退化模型进行训练，批大小设为a，将残差密集块的数量设为b，初始学习率设为c，训练的迭代次数设为d万次；其中，内容损失函数为：
其中，ImageHR为高清线度输入图像，ImageLR为与I对应的低清晰度退化图像，Net为图像退化网络模型，W为高清晰度图像的宽，H为高清晰度的高。
7.根据权利要求6所述的一种基于轻量级神经网络的图像退化方法，其特征在于，所述将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；具体为：将输入图像和退化图像通过特征提取能力强的神经网络模型提取特征值，高清晰度输入图像、退化图像和低清晰度图像共同经过该神经网络模型，得到第b+1个池化层之前的第b个卷积层的特征图，其中，感知损失函数为：
其中，ImageHR为高清线度输入图像，Y为与ImageHR对应的低清晰度图像，Net为需要训练的图像退化网络模型，为神经网络模型，X,Y,C分别为高清晰度图像的宽、高、通道数。
8.根据权利要求7所述的一种基于轻量级神经网络的图像退化方法，其特征在于，所述通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；具体为：按照比例λ结合感知损失函数和内容损失函数，得到损失函数：
Ltotal＝Lp+λLm
其中，Lp为感知损失函数，Lm为内容损失函数；
采用反向传播算法计算隐含层的误差，采用梯度下降算法更新图像退化网络模型的参数。
9.一种用于实现权利要求1-8任一权利要求所述基于轻量级神经网络的图像退化方法的图像退化系统，其特征在于，包括高清晰度输入图像获取模块、图像退化网络模型构建模块和图像退化网络模型训练模块；通过高清晰度输入图像获取模块获取系统所需要的数据，通过图像退化网路模型构建模块构建好网络，将数据和网络结合，进行图像退化网络模型训练得到最终的网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110012919.2A CN112734649A (zh) | 2021-01-06 | 2021-01-06 | 一种基于轻量级神经网络的图像退化方法及退化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110012919.2A CN112734649A (zh) | 2021-01-06 | 2021-01-06 | 一种基于轻量级神经网络的图像退化方法及退化系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112734649A true CN112734649A (zh) | 2021-04-30 |
Family
ID=75590427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110012919.2A Pending CN112734649A (zh) | 2021-01-06 | 2021-01-06 | 一种基于轻量级神经网络的图像退化方法及退化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734649A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658076A (zh) * | 2021-08-18 | 2021-11-16 | 中科天网（广东）科技有限公司 | 基于特征纠缠调制的图像复原方法、装置、设备和介质 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN112037131A (zh) * | 2020-08-31 | 2020-12-04 | 上海电力大学 | 一种基于生成对抗网络的单图像超分辨率重建方法 |
| CN112082915A (zh) * | 2020-08-28 | 2020-12-15 | 西安科技大学 | 一种即插即用型大气颗粒物浓度检测装置及检测方法 |
-
2021
- 2021-01-06 CN CN202110012919.2A patent/CN112734649A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN112082915A (zh) * | 2020-08-28 | 2020-12-15 | 西安科技大学 | 一种即插即用型大气颗粒物浓度检测装置及检测方法 |
| CN112037131A (zh) * | 2020-08-31 | 2020-12-04 | 上海电力大学 | 一种基于生成对抗网络的单图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| ADRIAN BULAT ET AL: "To learn image super-resolution, use a GAN to learn how to do image degradation first", 《ECCV-2018》 * |
| YULUN ZHANG ET AL: "Residual Dense Network for Image Super-Resolution", 《CVPR-2018》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658076A (zh) * | 2021-08-18 | 2021-11-16 | 中科天网（广东）科技有限公司 | 基于特征纠缠调制的图像复原方法、装置、设备和介质 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN114494569B (zh) * | 2022-01-27 | 2023-09-19 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| CN108537746B (zh) | 一种基于深度卷积网络的模糊可变图像盲复原方法 | |
| CN109003282B (zh) | 一种图像处理的方法、装置及计算机存储介质 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| CN112381897B (zh) | 基于自编码网络结构的低照度图像增强方法 | |
| CN111932471B (zh) | 用于低照度图像增强的双路曝光度融合网络模型及方法 | |
| CN113689517B (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及系统 | |
| CN110415280B (zh) | 多任务cnn模型下的遥感影像与建筑物矢量配准方法及系统 | |
| CN112734649A (zh) | 一种基于轻量级神经网络的图像退化方法及退化系统 | |
| Ma et al. | RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| Chaurasiya et al. | Deep dilated CNN based image denoising | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN116563101A (zh) | 一种基于频域残差的无人机图像盲超分辨率重建方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN112070703B (zh) | 一种仿生机器鱼水下视觉图像增强方法及系统 | |
| CN111667401B (zh) | 多层次渐变图像风格迁移方法及系统 | |
| CN107301629A (zh) | 一种基于变换域联合稀疏表示的图像重构方法 | |
| CN117197627A (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN116863053A (zh) | 一种基于知识蒸馏的点云渲染增强方法 | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| CN116228986A (zh) | 一种基于局部到全局补全策略的室内场景光照估计方法 | |
| CN106934344B (zh) | 一种基于神经网络的快速行人检测方法 | |
| CN114529463A (zh) | 一种图像去噪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |