CN114359073A - 一种低光照图像增强方法、系统、装置及介质 - Google Patents
一种低光照图像增强方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN114359073A CN114359073A CN202111544055.5A CN202111544055A CN114359073A CN 114359073 A CN114359073 A CN 114359073A CN 202111544055 A CN202111544055 A CN 202111544055A CN 114359073 A CN114359073 A CN 114359073A
- Authority
- CN
- China
- Prior art keywords
- low
- image
- attention
- feature map
- illumination image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 8
- 230000002708 enhancing effect Effects 0.000 abstract description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种低光照图像增强方法、系统、装置及介质，其中方法包括：获取训练集；搭建基于分组自注意力的低光照图像增强模型；采用训练集对低光照图像增强模型进行训练；获取待增强的低光照图像，将低光照图像输入训练后的低光照图像增强模型进行处理，输出增强后的图像；低光照图像增强模型对输入的低光照图像进行以下操作：对低光照图像进行下采样后，对特征图进行一次分组自注意力操作，再进行上采样，输出初步增强图，对初步增强图进行去噪和色彩调整得到最终的增强图。本发明提出的分组自注意力模块与原始非局部注意力模块相比，降低了时间复杂度和空间复杂度，更利于模型部署到嵌入式端。本发明可广泛应用于图像数据处理技术领域。
Description
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种低光照图像增强方法、系统、装置及介质。
背景技术
在光照条件不足的环境下拍摄的图像通常存在细节信息丢失、噪声大、颜色失真等退化问题。这不仅影响人的视觉体验，也不利于高级视觉任务(如分类、检测、分割等)。
现有的低光照图像增强方法根据原理不同，可大致分为以下三类：
基于直方图的方法。该类方法粗略地认为正常光照图像的灰度值在直方图上均匀分布，通过对图像的非线性拉伸，使得图像的直方图均匀分布，从而得到增强图像。这类方法简单易行，但得到的增强图像通常存在噪声大、细节丢失、增强不足或过度增强等问题。
基于Retinex理论的方法。该方法理论认为图像可以分解为反射分量和光照分量。反射分量反映图像的本质，光照分量反映图像受光照的影响。基于此，该类方法通过先验估计图像的光照分量，再根据Retinex理论求出反射分量作为增强图像。尽管这类方法克服了基于直方图方法适用范围小的缺点，但是得到的增强图像仍然存在噪声大、色彩失真等问题。
基于深度学习的方法。该类方法主要利用神经网络强大的建模能力学习低光照图像到正常光照图像的映射。现有的比较有代表性的深度学习的图像增强算法有LLNet、RetinexNet、KinD、MIRNet等。尽管这类方法在运行速度、去噪、色彩恢复等方面都优于传统图像增强方法，但仍无法同时处理低光照图像中的噪声、颜色失真、细节丢失等退化问题，从而限制了其灵活性和有效性。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于分组自注意力的低光照图像增强方法、系统、装置及介质。
本发明所采用的技术方案是：
一种低光照图像增强方法，包括以下步骤：
获取训练集；
搭建基于分组自注意力的低光照图像增强模型；
采用所述训练集对所述低光照图像增强模型进行训练；
获取待增强的低光照图像，将所述低光照图像输入训练后的所述低光照图像增强模型进行处理，输出增强后的图像；
其中，所述低光照图像增强模型对输入的所述低光照图像进行以下操作：
对所述低光照图像进行下采样后，对特征图进行一次分组自注意力操作，再进行上采样，输出初步增强图，最后，对初步增强图进行去噪和色彩调整得到最终的增强图。
进一步，所述低光照图像增强模型包括自编码器、分组自注意力模块和若干个去噪调色模块；
所述自编码器包括一个编码器和一个解码器，且解码端和编码端采用相对称的结构；所述编码端包含三个下采样层，每个所述下采样层由一个卷积和三个带通道注意力的残差块(即图1中的SE-ResNet block)组成，用于提取图像的语义特征；
所述分组自注意力模块设置在所述编码端和解码端之间，用于扩大网络的感受野；
所述去噪调色模块连接在所述解码器的末端，用于对解码器输出的初步增强图进行去噪和色彩调整。
进一步，在编码端和解码端之间采用跳接操作，以融合不同层次的信息。
进一步，所述带通道注意力的残差块对输入特征图X进行以下操作：
将输入特征图X通过两次卷积操作，获得特征图X1；
对特征图X1进行全局平均池化，以提取每个通道的全局信息；
经过两个带激活函数的全连接层进行通道的全局信息交互，其中，第一个全连接层采用ReLU激活函数，第二个全连接层采用Sigmoid激活函数；
将归一化后的权重加权到特征图X1每个通道的特征上，再将加权后的特征图和输入特征图X相加，获得输出的特征图。
进一步，所述分组自注意力模块对输入特征图F进行以下操作：
对输入特征图F进行分组，获得G组特征图；
对不同组的特征图按照预设规律进行空间位置打乱，对打乱后的特征图重新分组，获得G组新的特征图(F1，F2，...，FG)；
对每一组新的特征图进行一次原始非局部注意力操作，获得G组输出特征图(R1，R2，...，RG)；
其中，输出特征图的每个空间位置都包含有输入特征图F所有空间位置特征向量的信息。
进一步，所述原始非局部注意力操作，包括：
对输入特征图F进行三个线性变换，获得特征图Q、特征图K和特征图V；
将特征图Q中每个空间位置的特征向量与特征图K中的特征向量进行相关运算，利用Softmax函数归一化后获得一个注意力图S；
将注意力图S与特征图V相乘后，再与输入特征图F相加，获得输出特征图R。
进一步，所述去噪调色模块包括去噪子模块和色彩调整子模块；
所述去噪子模块对初步增强图R′进行以下操作：
将输入的初步增强图R′进行三次卷积操作转换到变换域，获得特征图L；
对所述特征图L进行两次卷积操作，生成软注意力图W；
将所述软注意力图W和所述特征图L相加，以自适应滤除特征图中的噪声；
将相加获得的特征图通过三次卷积操作进行逆变换后，再与初步增强图R′相加，输出滤除噪声的图像Rd；
所述色彩调整子模块对图像Rd进行以下操作：
将输入的特征图Rd进行三次卷积操作转换到变换域，获得特征图T；
对所述特征图T进行两次卷积操作，生成软注意力图Z；
将所述软注意力图Z、所述特征图T和自学习参数α三者相乘，以自适应调整特征图的色彩；
将相乘获得的特征图通过三次卷积操作进行逆变换后，再与图像Rd相加，输出色彩调整后的图像Ra；本发明所采用的另一技术方案是：
一种低光照图像增强系统，包括：
数据获取模块，用于获取训练集；
模型搭建模块，用于搭建基于分组自注意力的低光照图像增强模型；
模型训练模块，用于采用所述训练集对所述低光照图像增强模型进行训练；
图像增强模块，用于获取待增强的低光照图像，将所述低光照图像输入训练后的所述低光照图像增强模型进行处理，输出增强后的图像；
其中，所述低光照图像增强模型对输入的所述低光照图像进行以下操作：
对所述低光照图像进行下采样后，对特征图进行一次分组自注意力操作，再进行上采样，输出初步增强图，最后，对初步增强图进行去噪和色彩调整得到最终的增强图。
本发明所采用的另一技术方案是：
一种低光照图像增强装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明提出一种基于分组自注意力的低光照图像增强的方案，通过单一模型同时解决了噪声、色彩失真、细节丢失等退化问题。其中，提出的分组自注意力模块与原始非局部注意力模块相比，时间复杂度从
降到了
空间复杂度从
降到了
更利于模型部署到嵌入式端。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中低光照图像增强模型的网络整体框架示意图；
图2是本发明实施例中分组自注意力模块的结构图；
图3是本发明实施例中去噪调色模块的结构图；
图4是本发明实施例中一种低光照图像增强方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图4所示，本实施例提供一种低光照图像增强方法，包括以下步骤：
S1、获取训练集。
在本实施例中，采用LOL数据集作为训练集，该数据集包含真实场景拍摄得到的500对图片。其中，利用485对图片作为训练集，15对图片作为验证集。
S2、搭建基于分组自注意力的低光照图像增强模型。
如图1所示，图1为该低光照图像增强模型的网络整体框架，该模型先采用自编码器架构得到初步的增强图像。然后在自编码器后引入3个去噪调色模块(Denoising andColor Adjustment，缩写为DeCA，以下简称为DeCA模块)解决初步增强图像存在的噪声过大和色彩失真问题。
其中，自编码器包含一个编码器和一个解码器。编码端包含三个下采样层，每层由一个卷积和3个带通道注意力的残差块(即图1中的SE-ResNet block)组成，用来更好地提取语义特征，减少细节丢失和颜色失真。解码端采用和编码端相对称的结构。为保留更多信息，解码端采用转置卷积进行上采样。
在编码端和解码端采用了跳接操作(相加)来帮助网络融合不同层次的信息，解决在编码过程中细节信息丢失的问题。并且，在编码端和解码端之间，加入一个分组自注意力模块(Group Self-Attention,GSA)来扩大网络的感受野，减少颜色失真问题。
带通道注意力的残差块：由于网络的加深会造成细节信息的丢失，并且不同通道的特征图对整个网络有不同的贡献。所以，本实施例提出的网络模型采用了大量带通道注意力的残差块。该带通道注意力的残差块首先对输入特征图X通过两次卷积操作得到特征图X1。然后对特征图X1进行全局平均池化来单独提取每个通道的全局信息，接着经过两个带激活函数的全连接层进行通道信息交互。其中，第一个全连接层采用ReLU激活函数，第二个全连接层采用Sigmoid激活函数。再通过一个Scale操作将归一化后的权重加权到特征图X1每个通道的特征上。最后，将加权后的特征图和输入特征图X相加。
分组自注意力模块：该分组自注意力模块的结构如图2所示。大量研究表明，更大的感受野可以有效地减少色彩失真；而卷积神经网络中的卷积操作只能提取到局部的信息，感受野有限。当前主流的做法是采用非局部注意力模块。但是该模块的时间复杂度和空间复杂度对硬件设备要求比较高，不利于实际应用。针对这个问题，本实施例提出一个分组自注意力模块，巧妙地引入分组的思想。在原始非局部注意力操作中，首先对输入特征图F进行3个线性变换，得到三个特征图Q、K和V，然后将特征图Q中每个空间位置的特征向量与K中的特征向量进行相关运算，再利用Softmax归一化后得到一个注意力图S。接着将注意力图S与V相乘(即根据不同空间位置特征向量与当前特征向量的相关程度进行加权求和)得到输出特征图R。本发明对该模块进行优化，首先对输入特征图F分组。假设分成G组(F1，F2，...，FG)，对每一组特征图单独进行一次原始非局部注意力操作，得到G组输出特征图(R1，R2，...，RG)。其中，每一组输出特征图的每个空间位置都有该组其他位置的信息，但不同组之间的信息仍无交互。为了实现跨组信息交互，对不同组的特征图按一定规律进行空间位置打乱(具体可参照图2)。接着对该特征图进行分组，再对每一组特征进行一次原始非局部注意力操作。最后，得到的输出特征图每个空间位置都包含有输入特征图F所有空间位置特征向量的信息。该模块在保持原始非局部注意力模块性能的同时大大减少原始非局部注意力的时间复杂度和空间复杂度。假设输入特征图F的尺寸为H×W×C，其中H为特征图F的高，W为特征图F的宽，C为特征图F的通道个数。那么，该模块与原始非局部注意力模块相比，时间复杂度从
降到了
空间复杂度从
降到了
极大地降低了原始非局部注意力模块的时间复杂度和空间复杂度，更利于模型部署到嵌入式端。
DeCA模块：该DeCA模块的结构如图3所示。其包含去噪子模块和色彩调整子模块两个子模块，分别用来进一步滤去初步增强图像中的噪声并调整其色彩。
去噪子模块：该去噪子模块用来在保留细节的前提下，有效滤除图像中的噪声。该去噪子模块首先将输入的初步增强图R′进行三次卷积操作转换到变换域，得到特征图L。接着对该特征图L进行两次卷积操作生成软注意力图W，再将软注意力图W和特征图L相加来自适应滤除特征图中的噪声。然后对得到的特征通过三次卷积操作进行逆变换，输出滤除无用信息的特征。最后，为加速网络收敛，在该模块中引入残差学习，最终得到去噪后的结果图Rd。
色彩调整子模块：去噪之后的结果图Rd在色彩上与真实图像还存在一定的偏差，因此提出色彩调整模块来进一步改善结果图Rd的质量。该模块和去噪模块整体结构类似，区别在于软注意力图的作用不同。现有方法通常采用人为设定的单一放大因子在图像域调整图像色彩，而本发明则选择在鲁棒性更强的特征域进行色彩调整。首先通过一个可学习的参数α来对特征进行粗粒度的调整，然后通过软注意力模块生成的软注意力图对特征进行细粒度自适应调整，从而得到更加准确的变换域特征，最终复原具有更加真实色彩的图像。
S3、采用训练集对低光照图像增强模型进行训练。
利用整理好的数据集对网络模型进行训练，在本实施例中，网络训练采用的损失函数为Charbonnier loss，优化算法为Adam Optimizer，学习率设为0.0001。训练过程中，Batch size设为32，Patch size为128×128。
S4、获取待增强的低光照图像，将低光照图像输入训练后的低光照图像增强模型进行处理，输出增强后的图像。
用训练好的基于分组自注意力模块的低光照图像增强模型对低光照图像进行增强，得到优于现有算法的结果图像。
综上所述，本实施例方法相对于现有技术，其有益效果为：本发明提出一种基于分组自注意力的低光照图像增强的方案，通过单一模型同时解决了噪声、色彩失真、细节丢失等退化问题。其中，提出的分组自注意力模块与原始非局部注意力模块相比，时间复杂度从
降到了
空间复杂度从
降到了
更利于模型部署到嵌入式端。
本实施例还提供一种低光照图像增强系统，包括：
数据获取模块，用于获取训练集；
模型搭建模块，用于搭建基于分组自注意力的低光照图像增强模型；
模型训练模块，用于采用所述训练集对所述低光照图像增强模型进行训练；
图像增强模块，用于获取待增强的低光照图像，将所述低光照图像输入训练后的所述低光照图像增强模型进行处理，输出增强后的图像；
其中，所述低光照图像增强模型对输入的所述低光照图像进行以下操作：
对所述低光照图像进行下采样后，对特征图进行一次分组自注意力操作，再进行上采样，输出初步增强图，最后，对初步增强图进行去噪和色彩调整得到最终的增强图。
本实施例的一种低光照图像增强系统，可执行本发明方法实施例所提供的一种低光照图像增强方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种低光照图像增强装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如图4所示的方法。
本实施例的一种低光照图像增强装置，可执行本发明方法实施例所提供的一种低光照图像增强方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图4所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种低光照图像增强方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种低光照图像增强方法，其特征在于，包括以下步骤：
获取训练集；
搭建基于分组自注意力的低光照图像增强模型；
采用所述训练集对所述低光照图像增强模型进行训练；
获取待增强的低光照图像，将所述低光照图像输入训练后的所述低光照图像增强模型进行处理，输出增强后的图像；
其中，所述低光照图像增强模型对输入的所述低光照图像进行以下操作：
对所述低光照图像进行下采样，然后对特征图进行一次分组自注意力操作，再进行上采样，输出初步增强图，最后，对初步增强图进行去噪和色彩调整得到最终的增强图。
2.根据权利要求1所述的一种低光照图像增强方法，其特征在于，所述低光照图像增强模型包括自编码器、分组自注意力模块和若干个去噪调色模块；
所述自编码器包括一个编码器和一个解码器，且解码端和编码端采用相对称的结构；所述编码端包含三个下采样层，每个所述下采样层由一个卷积和三个带通道注意力的残差块组成，用于提取图像的语义特征；
所述分组自注意力模块设置在所述编码端和解码端之间，用于扩大网络的感受野；
所述去噪调色模块连接在所述解码器的末端，用于对解码器输出的初步增强图进行去噪和色彩调整。
3.根据权利要求2所述的一种低光照图像增强方法，其特征在于，在编码端和解码端之间采用跳接操作，以融合不同层次的信息。
4.根据权利要求2所述的一种低光照图像增强方法，其特征在于，所述带通道注意力的残差块对输入特征图X进行以下操作：
将输入特征图X通过两次卷积操作，获得特征图X1；
对特征图X1进行全局平均池化，以提取每个通道的全局信息；
经过两个带激活函数的全连接层进行通道的全局信息交互，其中，第一个全连接层采用ReLU激活函数，第二个全连接层采用Sigmoid激活函数；
将归一化后的权重加权到特征图X1每个通道的特征上，再将加权后的特征图和输入特征图X相加，获得输出的特征图。
5.根据权利要求2所述的一种低光照图像增强方法，其特征在于，所述分组自注意力模块对输入特征图F进行以下操作：
对输入特征图F进行分组，获得G组特征图；
对不同组的特征图按照预设规律进行空间位置打乱，对打乱后的特征图重新分组，获得G组新的特征图(F1，F2，...，FG)；
对每一组新的特征图再进行一次原始非局部注意力操作，获得G组输出特征图(R1，R2，...，RG)；
其中，输出特征图的每个空间位置都包含有输入特征图F所有空间位置特征向量的信息。
6.根据权利要求5所述的一种低光照图像增强方法，其特征在于，所述原始非局部注意力操作，包括：
对输入特征图F进行三个线性变换，获得特征图Q、特征图K和特征图V；
将特征图Q中每个空间位置的特征向量与特征图K中的特征向量进行相关运算，利用Softmax函数归一化后获得一个注意力图S；
将注意力图S与特征图V相乘后，再与输入特征图F相加，获得输出特征图R。
7.根据权利要求2所述的一种低光照图像增强方法，其特征在于，所述去噪调色模块包括去噪子模块和色彩调整子模块；
所述去噪子模块对初步增强图R′进行以下操作：
将输入的初步增强图R′进行三次卷积操作转换到变换域，获得特征图L；
对所述特征图L进行两次卷积操作，生成软注意力图W；
将所述软注意力图W和所述特征图L相加，以自适应滤除特征图中的噪声；
将相加获得的特征图通过三次卷积操作进行逆变换后，再与初步增强图R′相加，输出滤除噪声的图像Rd；
所述色彩调整子模块对图像Rd进行以下操作：
将输入的特征图Rd进行三次卷积操作转换到变换域，获得特征图T；
对所述特征图T进行两次卷积操作，生成软注意力图Z；
将所述软注意力图Z、所述特征图T和自学习参数α三者相乘，以自适应调整特征图的色彩；
将相乘获得的特征图通过三次卷积操作进行逆变换后，再与图像Rd相加，输出色彩调整后的图像Ra。
8.一种低光照图像增强系统，其特征在于，包括：
数据获取模块，用于获取训练集；
模型搭建模块，用于搭建基于分组自注意力的低光照图像增强模型；
模型训练模块，用于采用所述训练集对所述低光照图像增强模型进行训练；
图像增强模块，用于获取待增强的低光照图像，将所述低光照图像输入训练后的所述低光照图像增强模型进行处理，输出增强后的图像；
其中，所述低光照图像增强模型对输入的所述低光照图像进行以下操作：
对所述低光照图像进行下采样后，对特征图进行一次分组自注意力操作，再进行上采样，输出初步增强图，最后，对初步增强图进行去噪和色彩调整得到最终的增强图。
9.一种低光照图像增强装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111544055.5A CN114359073A (zh) | 2021-12-16 | 2021-12-16 | 一种低光照图像增强方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111544055.5A CN114359073A (zh) | 2021-12-16 | 2021-12-16 | 一种低光照图像增强方法、系统、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359073A true CN114359073A (zh) | 2022-04-15 |
Family
ID=81098851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111544055.5A Pending CN114359073A (zh) | 2021-12-16 | 2021-12-16 | 一种低光照图像增强方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359073A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115829868A (zh) * | 2022-11-28 | 2023-03-21 | 三亚学院 | 基于光照与噪声残差图的水下暗光图像增强方法 |
| CN116137023A (zh) * | 2023-04-20 | 2023-05-19 | 中国民用航空飞行学院 | 基于背景建模和细节增强的低照度图像增强方法 |
| CN117635478A (zh) * | 2024-01-23 | 2024-03-01 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968188A (zh) * | 2020-07-08 | 2020-11-20 | 华南理工大学 | 一种低光照图像增强处理方法、系统、装置和存储介质 |
| CN113160198A (zh) * | 2021-04-29 | 2021-07-23 | 杭州电子科技大学 | 一种基于通道注意力机制的图像质量增强方法 |
-
2021
- 2021-12-16 CN CN202111544055.5A patent/CN114359073A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968188A (zh) * | 2020-07-08 | 2020-11-20 | 华南理工大学 | 一种低光照图像增强处理方法、系统、装置和存储介质 |
| CN113160198A (zh) * | 2021-04-29 | 2021-07-23 | 杭州电子科技大学 | 一种基于通道注意力机制的图像质量增强方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115829868A (zh) * | 2022-11-28 | 2023-03-21 | 三亚学院 | 基于光照与噪声残差图的水下暗光图像增强方法 |
| CN115829868B (zh) * | 2022-11-28 | 2023-10-03 | 三亚学院 | 基于光照与噪声残差图的水下暗光图像增强方法 |
| CN116137023A (zh) * | 2023-04-20 | 2023-05-19 | 中国民用航空飞行学院 | 基于背景建模和细节增强的低照度图像增强方法 |
| CN117635478A (zh) * | 2024-01-23 | 2024-03-01 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
| CN117635478B (zh) * | 2024-01-23 | 2024-05-17 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian et al. | Deep learning on image denoising: An overview | |
| CN109711481B (zh) | 用于画作多标签识别的神经网络、相关方法、介质和设备 | |
| CN111275637B (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
| CN114359073A (zh) | 一种低光照图像增强方法、系统、装置及介质 | |
| CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| Zhang et al. | Adaptive residual networks for high-quality image restoration | |
| CN111127336A (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN116664450A (zh) | 基于扩散模型的图像增强方法、装置、设备及存储介质 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| US20230325982A1 (en) | Methods, systems and computer programs for processing image data for generating a filter | |
| CN117058160B (zh) | 基于自适应特征融合网络的三维医学图像分割方法及系统 | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN116188325A (zh) | 一种基于深度学习和图像颜色空间特性的图像去噪方法 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| CN116863320A (zh) | 基于物理模型的水下图像增强方法及系统 | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| CN117391920A (zh) | 基于rgb通道差分平面的大容量隐写方法及系统 | |
| CN116433509A (zh) | 一种基于cnn和卷积lstm网络的递进式图像去雾方法及系统 | |
| CN115688234A (zh) | 一种基于条件卷积的建筑布局生成方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |