CN112614061A - 基于双路编解码器的低照度图像亮度增强及超分辨率方法 - Google Patents
基于双路编解码器的低照度图像亮度增强及超分辨率方法 Download PDFInfo
- Publication number
- CN112614061A CN112614061A CN202011443876.5A CN202011443876A CN112614061A CN 112614061 A CN112614061 A CN 112614061A CN 202011443876 A CN202011443876 A CN 202011443876A CN 112614061 A CN112614061 A CN 112614061A
- Authority
- CN
- China
- Prior art keywords
- super
- resolution
- convolution
- feature map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000010586 diagram Methods 0.000 claims abstract description 29
- 238000011176 pooling Methods 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 19
- 230000009467 reduction Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 230000001965 increasing effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 230000017105 transposition Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012805 post-processing Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于双路编解码器的低照度图像亮度增强及超分辨率方法，属于计算机视觉图像技术领域。第一步，通过共享参数的编码器对暗光图像进行特征提取，得到一组特征图；第二步，将特征图送入超分辨率解码器进行解码，得到超分辨率特征图；第三步，对第一步中编码器输出的特征图和第二步的超分辨率特征图分别进行池化得到两个特征向量，并使用注意力机制对其加权融合，然后送入低照度解码器进行解码。最后，对两个解码器的输出进行后处理，得到超分辨率后的对应图像。本发明设计合理，针对目前低照度增强方法的缺陷，将低照度增强和图像超分辨率任务相结合，提高了重建图像的视觉效果，整体在低照度增强和超分综合任务上取得了较好的效果。
Description
技术领域
本发明属于计算机视觉图像技术领域，尤其是一种基于双路编解码器的低照度图像亮度增强及超分辨率方法。
背景技术
随着科学技术的进步，移动设备日益普及，图像的获取越来越便捷。但在图像采集的过程中，受限于拍照设备、拍摄环境及光照条件，往往会拍摄出难以看清的暗光图像，并且暗光图像的质量通常都较低。例如，监控摄像头拍摄出的图像虽然标出的分辨率较高，但其实质量很低，噪声严重，特别是夜晚情况下；手机拍摄时，环境光线不充足，拍摄出的图像太暗，甚至会导致图像中出现噪声、模糊和细节失真。这些问题不仅会影响图像的视觉效果，更会为后续的应用带来困难，因此常常需要一些后处理来进行图像增强，在恢复图像亮度的同时提高图像质量。但是现有的低照度增强方法往往只关注对图像亮度的恢复，而忽略了对图像质量的提升，包括细节的增强等。而现有的超分辨率方法大多数都是基于这样的一个前提，输入图像是高质量高分辨率的真值图像经过某种已知或未知的下采样方式得到的。这表示绝大多数超分辨率方法针对的输入图像都是正常光照下的图像，同时也是没有噪声的较高质量的图像。因此，当我们需要从暗光图像中恢复出高质量、高分辨率的亮光图像时，仅仅简单地将目前的低照度方法和超分辨率方法级联起来是不够的。因此，如何在恢复图像亮度的同时提升图像的分辨率，进一步提升图像质量，是计算机视觉领域的一个重要但又具挑战性的研究课题。
低照度图像增强技术(Low-Light Image Enhancement)是针对照明不足的图像存在的低亮度、低对比度和噪声等问题进行处理，恢复图像亮度，提升视觉效果。低照度图像增强为计算机更好地观察、分析、处理图片提供重要的技术支持，在医学影像和监控系统等很多领域都具有非常重要的应用价值。
传统的低照度图像增强方法主要表现为提高图像对比度。直方图均衡化(HE)及其变体通过调整图像的直方图来扩大其有限的动态范围；视网膜理论(Retinex Theory)将图像看作反射层和光照层的乘积，通过估计并调整光照层以增强图像亮度。这些方法只能在一定程度上恢复图像的亮度，而对暗光图像中模糊的细节无能为力。
受益于深度学习的发展，越来越多的研究人员将神经网络应用于低照度增强问题。例如，用随机伽马矫正模拟的数据训练卷积神经网络的低照度增强技术(LLNet)，使用非成对数据训练生成式对抗网络的低照度增强技术(EnlightenGAN)，通过卷积神经网络学习从图像到曲线的映射，并将曲线应用于原图以调整图像像素值的低照度增强技术(Zero-DCE)，通过卷积神经网络估计图像到光照图映射的低照度增强技术(DeepUPE)，使用卷积神经网络将图像分解为反射层和光照层，在反射层进行去噪，在光照层通过比例系数进行亮度调节的低照度增强技术(KinD)，通过卷积网络学习代表用户喜好的偏好向量，用于指导亮度增强过程的低照度增强技术(PieNet)。同样的，现有的这些基于深度学习的方法也是只能恢复图像的亮度，而无法对图像的质量和细节做出改善，更无法提升图像的分辨率。
发明内容
本发明的目的在于克服现有技术的不足，针对目前低照度增强方法的缺陷——恢复出的亮光图像质量不高、缺少细节以及主观视觉效果较差，巧妙地将低照度增强和图像超分辨率任务相结合，提出一种设计合理、恢复出的亮光图像质量较高且相对较为轻量的基于双路编解码器的低照度图像亮度增强及超分辨率方法。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于双路编解码器的低照度图像亮度增强及超分辨率方法，包括以下步骤：
步骤1、在图像输入阶段，随机采用数据增强技术，变换样本内容；
步骤2、将经过步骤1数据增强后的原始暗光图像输入网络，通过共享所有参数的编码器对输入暗光图像进行特征提取，编码器包括卷积、下采样等操作，其中卷积核的大小都是3×3，但是卷积的输出通道数分别为32、64、128、256和512。编码器输出一组特征图；
步骤3、将步骤2的输出特征图先送入超分辨率解码器进行解码，该解码器包括卷积、转置卷积、上采样、特征图级联等操作；将四次上采样和卷积之后的特征图送入细节增强模块处理，同时采用跳连结构，及时补充低层次信息，得到超分辨率的特征图；
步骤4、将步骤2中编码器输出的特征图和步骤3中得到的超分辨率特征图送入低照度解码器进行解码。首先分别进行池化操作得到低照度特征向量和超分辨率特征向量，再对两个特征向量使用注意力机制进行加权融合，然后对其进行四次上采样和卷积，最终输出低照度的特征图；
步骤5、对步骤3和步骤4中得到的超分辨率特征图和低照度特征图分别进行上采样和降维卷积，其中上采样使用亚像素卷积，降维卷积的输出通道数和输入原始图像的通道数一致，分别得到超分辨率后的亮光图像和暗光图像。
进一步，所述步骤1的数据增强的具体方法包括以下步骤：
(1)若处于测试阶段，则直接进入权利要求1所述步骤2；若处于训练阶段，则进行以下操作；
(2)对输入的暗光图像以1/8的概率决定其数据增强方式，包括不翻转、垂直翻转、逆时针旋转90°、逆时针旋转90°并垂直翻转、旋转180°、旋转180°并垂直翻转、逆时针旋转270°、逆时针旋转270°并垂直翻转；
(3)在数据增强后的输入图像中，随机定位一个尺寸为128×128的图像块，将其输入网络模型中。
进一步，所述步骤2的具体细节包括以下内容：
(1)该编码器的网络结构形如字母V，共包含10层卷积层，每两个卷积层之后进行一次下采样，形成逐步下采样的结构，对输入暗光图像进行特征提取；
(2)每个卷积层的卷积核尺寸都为3×3，不改变特征图尺寸，但改变输出通道数分别至32、64、128、256和512，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；
(3)将五组卷积输出的所有特征图作为该阶段的输出。
进一步，所述步骤3的具体细节包括以下内容：
(1)超分辨率的解码器接收编码器输出的所有特征图作为输入，逐步卷积和上采样，共有四次上采样，与步骤2中的下采样一一对应；
(2)首先将第四次下采样后的特征图通过全局平均池化变为512维的特征向量，提炼出全局信息，再通过维度复制将其扩展为特征图，该特征图具有与第四次下采样前的特征图相同的尺寸和通道数；
(3)每一次上采样首先使用转置卷积，对特征图进行2倍上采样，并和编码器中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
(4)对级联后的特征图进行两次3×3的卷积，通道数维持不变，进一步重建图像信息，如此重复四次；
(5)将第四次上采样后的特征图送入细节增强模块，并将编码器第一组卷积层输出的特征图(未经下采样)跳连到细节增强模块的输出上，补充全局信息，得到超分辨率特征图。
进一步，所述步骤(2)的具体细节包括以下内容：
①对得到的512维特征向量，通过一次全连接层，将通道数改变为256；
②将256维特征向量进行扩维，变为1×1×256的特征图；
③将②中得到的特征图通过维度复制得到H×W×256的特征图，其中，H和W分别为编码器第四次下采样前的特征图的高和宽。
进一步，所述步骤(5)的具体细节包括以下内容：
①将输入的特征图通过3×3卷积、激活函数、3×3卷积得到增强的细节信息；
②将输入的特征图通过1×1卷积进行降维，得到全局残差信息；
③将①和②中得到的特征图逐像素相加，得到增强后的特征图，作为细节增强模块的输出。
进一步，所述步骤4的具体细节包括以下内容：
(1)对步骤2中最后一组卷积得到的特征图进行全局平均池化，得到低照度特征向量；
(2)对步骤3中得到的超分辨率特征图也进行全局平均池化，得到超分辨率特征向量；
(3)对两个特征向量使用注意力机制进行加权融合；
(4)对融合后的特征向量逐步卷积和上采样，共有四次上采样，与步骤2中的下采样一一对应；
(5)首先将加权融合后的特征向量通过维度复制将其扩展为特征图，该特征图具有与第四次下采样前的特征图相同的尺寸和通道数；
(6)每一次上采样首先使用转置卷积，对特征图进行2倍上采样，并和编码器中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
(7)对级联后的特征图进行两次3×3的卷积，通道数维持不变，进一步重建图像信息，如此重复四次，得到低照度增强的特征图。
进一步，所述步骤(3)的具体细节包括以下内容：
①通过一个可学习的参数α对两个特征向量进行加权求和，α为低照度特征向量的权重，(1-α)为超分辨率特征向量的权重，两者之和即为融合后的特征向量。
进一步，所述步骤5的具体细节包括以下内容：
(1)若处于推理和测试阶段，则直接对低照度特征图进行亚像素卷积和降维卷积，得到超分辨率后的亮光图像；
(2)若处于训练阶段，则对超分辨率特征图和低照度特征图分别都进行亚像素卷积和降维卷积，得到超分辨率后的暗光图像和亮光图像。
进一步，所述步骤(1)、(2)的具体细节包括以下内容：
①将输入的特征图通过3×3卷积进行升维，由于是2倍超分辨率，像素数量为原来的4倍，因此特征图的通道数也上升为原来的4倍；
②将升维后的特征图在通道维度上多出的像素排列到原先的通道上，使特征图的宽和高分别变为2倍，通道数降低，与初始通道数相同；
③最后通过一个3×3卷积，输出三通道的超分辨率后的暗光或亮光图像。
本发明的优点和积极效果是：
1、本发明设计合理，针对目前低照度增强方法的缺陷——恢复出的亮光图像质量不高、缺少细节以及主观视觉效果较差，巧妙地将低照度增强和图像超分辨率任务相结合，提出一种设计合理、恢复出的亮光图像质量较高且相对较为轻量的基于双路编解码器的低照度图像亮度增强及超分辨率方法。
2、本发明将基于双路编解码器的低照度图像亮度增强及超分辨率增强过程分为四个阶段。第一阶段，通过共享参数的编码器对输入暗光图像进行特征提取，得到一组特征图；第二阶段，将得到的特征图先送入超分辨率解码器进行解码，对解码出的特征图做池化操作，得到超分辨率的特征向量；第三阶段，对第一阶段中编码器输出的特征图进行池化操作得到低照度特征向量，并与第二阶段中得到的超分辨率特征向量使用注意力机制进行加权融合，然后送入低照度解码器进行解码；第四阶段，对两个解码器的输出分别进行上采样和卷积，得到超分辨率后的亮光图像和暗光图像，并与相对应的真值图像计算损失，对网络模型进行约束。本发明在推断过程中不需要对超分辨率编码器的输出进行进一步处理，因此模型复杂度较低，在取得较好低照度增强和超分效果的同时，保持了较快的推理速度，整体在低照度增强和超分综合任务上取得了较好的效果。
附图说明
图1是本发明的低照度图像亮度增强及超分辨率增强网络的整体流程图；
图2是本发明的编码器部分的结构图；
图3是本发明的超分辨率解码器部分的结构图；
图4是本发明的低照度增强解码器部分的结构图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于双路编解码器的低照度图像亮度增强及超分辨率方法，如图1至图4所示，包括以下步骤：
步骤S1、在图像输入阶段，随机采用数据增强技术，变换样本内容；
步骤S2、将经过步骤S1数据增强后的原始暗光图像输入网络，通过共享所有参数的编码器对输入暗光图像进行特征提取，编码器包括卷积、下采样等操作，其中卷积核的大小都是3×3，但是卷积的输出通道数分别为32、64、128、256和512。编码器输出一组特征图；
步骤S3、将步骤2的输出特征图先送入超分辨率解码器进行解码，该解码器包括卷积、转置卷积、上采样、特征图级联等操作；将四次上采样和卷积之后的特征图送入细节增强模块处理，同时采用跳连结构，及时补充低层次信息，得到超分辨率的特征图；
步骤S4、将步骤2中编码器输出的特征图和步骤3中得到的超分辨率特征图送入低照度解码器进行解码。首先分别进行池化操作得到低照度特征向量和超分辨率特征向量，再对两个特征向量使用注意力机制进行加权融合，然后对其进行四次上采样和卷积，最终输出低照度的特征图；
步骤S5、对步骤S3和步骤S4中得到的超分辨率特征图和低照度特征图分别进行上采样和降维卷积，其中上采样使用亚像素卷积，降维卷积的输出通道数和输入原始图像的通道数一致，分别得到超分辨率后的亮光图像和暗光图像。
步骤S2的具体实现方法如下：
步骤S2.1、该编码器的网络结构形如字母V，共包含10层卷积层，每两个卷积层之后进行一次下采样，形成逐步下采样的结构，对输入暗光图像进行特征提取；
步骤S2.2、每个卷积层的卷积核尺寸都为3×3，不改变特征图尺寸，但改变输出通道数分别至32、64、128、256和512，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；
步骤S2.3、将五组卷积输出的所有特征图作为该阶段的输出。
步骤S3的具体实现方法如下：
步骤S3.1、超分辨率的解码器接收编码器输出的所有特征图作为输入，逐步卷积和上采样，共有四次上采样，与步骤S2中的下采样一一对应；
步骤S3.2、首先将第四次下采样后的特征图通过全局平均池化变为512维的特征向量，提炼出全局信息，再通过维度复制将其扩展为特征图，该特征图具有与第四次下采样前的特征图相同的尺寸和通道数；
步骤S3.3、每一次上采样首先使用转置卷积，对特征图进行2倍上采样，并和编码器中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
步骤S3.4、对级联后的特征图进行两次3×3的卷积，通道数维持不变，进一步重建图像信息，如此重复四次；
步骤S3.5、将第四次上采样并卷积后的特征图送入细节增强模块，并将编码器第一组卷积层输出的特征图(未经下采样)跳连到细节增强模块的输出上，补充全局信息，得到超分辨率特征图。
步骤S3.2的具体实现方法如下：
S3.2.1、对得到的512维特征向量，通过一次全连接层，将通道数改变为256；
S3.2.2、将256维特征向量进行扩维，变为1×1×256的特征图；
S3.2.3、将S3.2.2中得到的特征图通过维度复制得到H×W×256的特征图，其中，H和W分别为编码器第四次下采样前的特征图的高和宽。
步骤S3.5的具体实现方法如下：
S3.5.1、将输入的特征图通过3×3卷积、激活函数、3×3卷积得到增强的细节信息；
S3.5.2、将输入的特征图通过1×1卷积进行降维，得到全局残差信息；
S3.5.3、将S3.5.1和S3.5.2中得到的特征图逐像素相加，得到增强后的特征图，作为细节增强模块的输出。
步骤S4的具体实现方法如下：
步骤S4.1、对步骤S2中最后一组卷积得到的特征图进行全局平均池化，得到低照度特征向量；
步骤S4.2、对步骤S3中得到的超分辨率特征图也进行全局平均池化，得到超分辨率特征向量；
步骤S4.3、对两个特征向量使用注意力机制进行加权融合；
步骤S4.4、对融合后的特征向量逐步卷积和上采样，共有四次上采样，与步骤S2中的下采样一一对应；
步骤S4.5、首先将加权融合后的特征向量通过维度复制将其扩展为特征图，该特征图具有与第四次下采样前的特征图相同的尺寸和通道数；
步骤S4.6、每一次上采样首先使用转置卷积，对特征图进行2倍上采样，并和编码器中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
步骤S4.7、对级联后的特征图进行两次3×3的卷积，通道数维持不变，进一步重建图像信息，如此重复四次，得到低照度增强的特征图。
步骤S4.3的具体实现方法如下：
步骤S4.3.1、通过一个可学习的参数α对两个特征向量进行加权求和，α为低照度特征向量的权重，(1-α)为超分辨率特征向量的权重，两者之和即为融合后的特征向量。
步骤S5的具体实现方法如下：
步骤S5.1、若处于推理和测试阶段，则直接对低照度特征图进行亚像素卷积和降维卷积，得到超分辨率后的亮光图像；
步骤S5.2、若处于训练阶段，则对超分辨率特征图和低照度特征图分别都进行亚像素卷积和降维卷积，得到超分辨率后的暗光图像和亮光图像。
步骤S5.2的具体实现方法如下：
步骤S5.2.1、将输入的特征图通过3×3卷积进行升维，由于是2倍超分辨率，像素数量为原来的4倍，因此特征图的通道数也上升为原来的4倍；
步骤S5.2.2、将升维后的特征图在通道维度上多出的像素排列到原先的通道上，使特征图的宽和高分别变为2倍，通道数降低，与初始通道数相同；
步骤S5.2.3、最后通过一个3×3卷积，输出三通道的超分辨率后的暗光和亮光图像。
通过以上步骤即可得到超分辨率后的正常亮度图像。
最后，我们以最小化绝对误差损失函数(L1损失函数)、均方误差损失函数(L2损失函数)为目标训练网络，使用PSNR(Peak Signal to Noise Ratio，峰值信噪比)定量评价网络性能，通过视觉效果定性评价网络性能。方法如下：
测试环境：Python 3.7；TensorFlow框架；Ubuntu16.04系统；NVIDIA GTX 2080tiGPU
测试序列：所选数据集是用于低照度增强的低光数据集(Low-Light dataset，LOL)，包含500对低光-正常光图像对；用于图像增强的高质量数据集(MIT-Adobe FiveK)，包含5组(A/B/C/D/E)5000对低光-正常光图像对。
测试方法：在LOL中选取15对图像对，在MIT-Adobe FiveK中选取C组中500对图像对，定量和定性地评价网络效果。
测试指标：本发明使用PSNR指标进行评测，对当今流行的不同算法计算指标数据然后进行结果对比，另外对相同图像应用于不同方法增强后的结果进行视觉效果的比较，证明本发明在低照度增强与超分辨率相结合的任务中能够得到较好的结果。
本发明未述及之处适用于现有技术。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (10)
1.基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于包括以下步骤：
步骤1、在图像输入阶段，随机采用数据增强技术，变换样本内容；
步骤2、将经过步骤1数据增强后的暗光图像输入网络，通过共享所有参数的编码器对输入暗光图像进行特征提取，编码器包括卷积、下采样等操作，其中卷积核的大小都是3×3，但是卷积的输出通道数分别为32、64、128、256和512。编码器输出一组特征图；
步骤3、将步骤2的输出特征图先送入超分辨率解码器进行解码，该解码器包括卷积、转置卷积、上采样、特征图级联等操作；将四次上采样和卷积之后的特征图送入细节增强模块处理，同时采用跳连结构，及时补充低层次信息，得到超分辨率的特征图；
步骤4、将步骤2中编码器输出的特征图和步骤3中得到的超分辨率特征图送入低照度解码器进行解码。首先分别进行池化操作得到低照度特征向量和超分辨率特征向量，再对两个特征向量使用注意力机制进行加权融合，然后对其进行四次上采样和卷积，最终输出低照度的特征图；
步骤5、对步骤3和步骤4中得到的超分辨率特征图和低照度特征图分别进行上采样和降维卷积，其中上采样使用亚像素卷积，降维卷积的输出通道数和输入原始图像的通道数一致，分别得到超分辨率后的亮光图像和暗光图像。
2.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤1的数据增强的具体方法包括以下步骤：
(1)若处于测试阶段，则直接进入权利要求1所述步骤2；若处于训练阶段，则进行以下操作；
(2)对输入的暗光图像以1/8的概率决定其数据增强方式，包括不翻转、垂直翻转、逆时针旋转90°、逆时针旋转90°并垂直翻转、旋转180°、旋转180°并垂直翻转、逆时针旋转270°、逆时针旋转270°并垂直翻转；
(3)在数据增强后的输入图像中，随机定位一个尺寸为128×128的图像块，将其输入网络模型中。
3.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤2的具体细节包括以下内容：
(1)该编码器的网络结构形如字母V，共包含10层卷积层，每两个卷积层之后进行一次下采样，形成逐步下采样的结构，对输入暗光图像进行特征提取；
(2)每个卷积层的卷积核尺寸都为3×3，不改变特征图尺寸，但改变输出通道数分别至32、64、128、256和512，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；
(3)将五组卷积输出的所有特征图作为该阶段的输出。
4.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤3的具体细节包括以下内容：
(1)超分辨率的解码器接收编码器输出的所有特征图作为输入，逐步卷积和上采样，共有四次上采样，与步骤2中的下采样一一对应；
(2)首先将第四次下采样后的特征图通过全局平均池化变为512维的特征向量，提炼出全局信息，再通过维度复制将其扩展为特征图，该特征图具有与第四次下采样前的特征图相同的尺寸和通道数；
(3)每一次上采样首先使用转置卷积，对特征图进行2倍上采样，并和编码器中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
(4)对级联后的特征图进行两次3×3的卷积，通道数维持不变，进一步重建图像信息，如此重复四次；
(5)将第四次上采样并卷积后的特征图送入细节增强模块，并将编码器第一组卷积层输出的特征图(未经下采样)跳连到细节增强模块的输出上，补充全局信息，得到超分辨率特征图。
5.根据权利要求4所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤(2)的具体细节包括以下内容：
①对得到的512维特征向量，通过一次全连接层，将通道数改变为256；
②将256维特征向量进行扩维，变为1×1×256的特征图；
③将②中得到的特征图通过维度复制得到H×W×256的特征图，其中，H和W分别为编码器第四次下采样前的特征图的高和宽。
6.根据权利要求4所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤(5)的细节增强模块包括以下内容：
①将输入的特征图通过3×3卷积、激活函数、3×3卷积得到增强的细节信息；
②将输入的特征图通过1×1卷积进行降维，得到全局残差信息；
③将①和②中得到的特征图逐像素相加，得到增强后的特征图，作为细节增强模块的输出。
7.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤4的具体细节包括以下内容：
(1)对步骤2中最后一组卷积得到的特征图进行全局平均池化，得到低照度特征向量；
(2)对步骤3中得到的超分辨率特征图也进行全局平均池化，得到超分辨率特征向量；
(3)对两个特征向量使用注意力机制进行加权融合；
(4)对融合后的特征向量逐步卷积和上采样，共有四次上采样，与步骤2中的下采样一一对应；
(5)首先将加权融合后的特征向量通过维度复制将其扩展为特征图，该特征图具有与第四次下采样前的特征图相同的尺寸和通道数；
(6)每一次上采样首先使用转置卷积，对特征图进行2倍上采样，并和编码器中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
(7)对级联后的特征图进行两次3×3的卷积，通道数维持不变，进一步重建图像信息，如此重复四次，得到低照度增强的特征图。
8.根据权利要求8所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤(3)的注意力机制包括以下内容：
①通过一个可学习的参数α对两个特征向量进行加权求和，α为低照度特征向量的权重，(1-α)为超分辨率特征向量的权重，两者之和即为融合后的特征向量。
9.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤5的具体细节包括以下内容：
(1)若处于推理和测试阶段，则直接对低照度特征图进行亚像素卷积和降维卷积，得到超分辨率后的亮光图像；
(2)若处于训练阶段，则对超分辨率特征图和低照度特征图分别都进行亚像素卷积和降维卷积，得到超分辨率后的暗光图像和亮光图像。
10.根据权利要求9所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤(1)、(2)的亚像素卷积和降维卷积包括以下内容：
①将输入的特征图通过3×3卷积进行升维，由于是2倍超分辨率，像素数量为原来的4倍，因此特征图的通道数也上升为原来的4倍；
②将升维后的特征图在通道维度上多出的像素排列到原先的通道上，使特征图的宽和高分别变为2倍，通道数降低，与初始通道数相同；
③最后通过一个3×3卷积，输出三通道的超分辨率后的暗光或亮光图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011443876.5A CN112614061A (zh) | 2020-12-08 | 2020-12-08 | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011443876.5A CN112614061A (zh) | 2020-12-08 | 2020-12-08 | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614061A true CN112614061A (zh) | 2021-04-06 |
Family
ID=75233272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011443876.5A Pending CN112614061A (zh) | 2020-12-08 | 2020-12-08 | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614061A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610031A (zh) * | 2021-08-14 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频处理方法和视频处理装置 |
| CN113989174A (zh) * | 2021-10-29 | 2022-01-28 | 北京百度网讯科技有限公司 | 图像融合方法和图像融合模型的训练方法、装置 |
| CN115115544A (zh) * | 2022-06-22 | 2022-09-27 | 哈尔滨理工大学 | 一种基于注意力机制gan的辐照环境图像降噪方法 |
| CN115456903A (zh) * | 2022-09-23 | 2022-12-09 | 南京大学 | 一种基于深度学习的全彩夜视增强方法和系统 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
-
2020
- 2020-12-08 CN CN202011443876.5A patent/CN112614061A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610031A (zh) * | 2021-08-14 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频处理方法和视频处理装置 |
| CN113989174A (zh) * | 2021-10-29 | 2022-01-28 | 北京百度网讯科技有限公司 | 图像融合方法和图像融合模型的训练方法、装置 |
| CN113989174B (zh) * | 2021-10-29 | 2023-11-10 | 北京百度网讯科技有限公司 | 图像融合方法和图像融合模型的训练方法、装置 |
| CN115115544A (zh) * | 2022-06-22 | 2022-09-27 | 哈尔滨理工大学 | 一种基于注意力机制gan的辐照环境图像降噪方法 |
| CN115456903A (zh) * | 2022-09-23 | 2022-12-09 | 南京大学 | 一种基于深度学习的全彩夜视增强方法和系统 |
| CN115456903B (zh) * | 2022-09-23 | 2023-05-09 | 南京大学 | 一种基于深度学习的全彩夜视增强方法和系统 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN112614061A (zh) | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN116051428B (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
| CN111080522A (zh) | 一种基于双向对抗网络的图像超分辨率重建方法 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN112465726A (zh) | 基于参考亮度指标指导的低照度可调节亮度增强方法 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
| Cui et al. | Exploring resolution and degradation clues as self-supervised signal for low quality object detection | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN115880516A (zh) | 图像分类方法、图像分类模型训练方法及相关设备 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| CN116091337B (zh) | 一种基于事件信号神经编码方式的图像增强方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |