CN118279180A - 基于双通道网络的低照度图像增强方法及相关设备 - Google Patents
基于双通道网络的低照度图像增强方法及相关设备 Download PDFInfo
- Publication number
- CN118279180A CN118279180A CN202410695327.9A CN202410695327A CN118279180A CN 118279180 A CN118279180 A CN 118279180A CN 202410695327 A CN202410695327 A CN 202410695327A CN 118279180 A CN118279180 A CN 118279180A
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- low
- normal light
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000007246 mechanism Effects 0.000 claims abstract description 68
- 238000005457 optimization Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 56
- 238000010586 diagram Methods 0.000 claims description 40
- 238000000354 decomposition reaction Methods 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 17
- 230000009977 dual effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Abstract
本申请提供一种基于双通道网络的低照度图像增强方法及相关设备；方法包括：将正常光图像和低照度图像分别进行分解，得到正常光反射图和低照度光照图；对正常光反射图进行亮通道变换得到亮通道图，通过小波变换后融合并提取特征，得到第一融合图像特征，利用混合注意力机制对第一融合图像特征去噪得到去噪图像，利用低照度光照图确定出对应的暗通道图，通过小波变换后融合，得到第二小波融合图像并提取特征，得到第二融合图像特征，利用混合注意力机制对第二融合图像特征进行光照度增强得到增强特征，利用增强图像特征确定增强图像，利用去噪图像和增强图像生成目标图像，并利用混合损失函数完成优化模型的训练。
Description
技术领域
本申请的实施例涉及图像处理的技术领域，尤其涉及一种基于双通道网络的低照度图像增强方法及相关设备。
背景技术
低照度图像的增强算法会出现曝光现象，也就是说，在一些情况中，在增强图像亮度同时，会出现过增强问题，并且相关的低照度图像的优化中，往往依赖图像先验模型和环境假设，且需手动调参，在增强图像的同时易出现失真和光晕等现象。
在另一些情况中，在优化低照度图像时，图像增强的效果局限在亮度的提升，易出现噪声、伪影和色差等过增强问题，增强后的图像存在油画感和过增强问题，通过先验模型优化，在抑制图像噪声的同时，还会出现曝光问题，例如，RetinexNet模型。
发明内容
有鉴于此，本申请的目的在于提出一种基于双通道网络的低照度图像增强方法及相关设备。
基于上述目的，本申请提供了基于双通道网络的低照度图像增强方法，包括：
将预设的正常光图像和低照度图像输入至待训练的优化模型，对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图；
对所述正常光反射图进行亮通道变换，得到亮通道图，对所述正常光反射图和所述亮通道图进行小波变换后融合，得到第一小波融合图像并提取特征，得到第一融合图像特征，利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，所述混合注意力机制由多个注意力机制组成；
利用所述低照度光照图确定出对应的暗通道图，对所述低照度光照图和所述暗通道图进行小波变换后融合，得到第二小波融合图像并提取特征，得到第二融合图像特征，利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，利用所述增强特征和所述暗通道图确定出折射率，对所述折射率和所述增强特征进行卷积操作后得到增强图像；
利用所述去噪图像和所述增强图像生成目标图像，使用混合损失函数约束所述优化模型的训练，响应于完成所述优化模型的训练，将待优化的图像输入至完成训练的优化模型，并输出优化后的目标图像。
进一步地，对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图，包括：
对所述正常光图像进行特征提取，得到正常光浅层特征；
将所述正常光浅层特征输入至反射分量网络进行分解，得到正常光反射分量特征，对所述正常光反射分量特征进行归一化得到所述正常光反射图，所述反射分量网络包括多个卷积层和多个反卷积层；
对所述低照度图像进行特征提取，得到低照度浅层特征；
将所述低照度浅层特征输入至反射分量网络进行分解，得到低照度反射分量特征；
将所述低照度反射分量特征输入至光照分量网络进行分解，得到所述低照度光照图，所述光照分量网络包括多个卷积层。
进一步地，多个注意力机制中依次设置通道注意力机制、空间注意力机制和像素注意力机制；
所述利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，包括：
对所述第一融合图像进行卷积运算，将该卷积运算后的特征输入至所述混合注意力机制；
利用所述通道注意力机制对所述卷积运算后的特征进行如下所示的最大池化和平均池化操作，得到通道维度权重：
其中，F表示输入所述卷积运算后的特征，AvgPool表示平均池化的操作 ，MaxPool表示最大池化的操作，MLP表示多层感知机制运算，表示第一MLP权重，表示第二MLP权重，Mc(F)表示所述通道维度权重，
按照如下所示的公式，利用所述通道维度权重确定出用于输入空间注意力机制的空间注意力输入图，
其中，F1表示所述空间注意力输入图；
利用所述空间注意力机制对所述空间注意力输入图进行如下所示的最大池化和平均池化操作，得到空间维度权重，
其中，Ms(F)表示所述空间维度权重；
按照如下所示的公式，利用所述通空间维度权重确定出用于输入像素注意力机制的像素注意力输入图，
其中，F2表示所述像素注意力输入图；
对所述像素注意力输入图进行所述像素注意力机制的运算，得到像素维度权重；
根据所述通道维度权重、所述空间维度权重和所述像素维度权重确定出所述去噪图像。
进一步地，利用所述低照度光照图确定出对应的暗通道图，包括：
利用暗通道先验算法，按照如下所示的公式对所述低照度光照图进行计算，得到所述暗通道图：
其中，表示超参数，A表示大气光值，Ic(X)表示所述低照度光照图中的像素，c表示颜色参量。
进一步地，利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，包括：
对所述第二融合图像特征进行下采样，得到下采样图；
对所述下采样图依次进行通道注意力机制、空间注意力机制和像素注意力机制的运算，并对运算结果进行上采样，得到上采样图；
利用所述上采样图计算折射率确定出增强图像。
进一步地，使用混合损失函数约束所述优化模型的训练，包括：
利用所述目标图像计算如下所示的混合损失函数：
其中，Ltotal表示所述混合损失函数，Le表示曝光损失函数，Li表示图像平滑度损失函数，Ld表示对比度损失函数，Lc表示颜色损失函数，Ln表示噪声函数，Ls表示反射分量相似性损失函数，表示第一系数，表示第二系数，表示第三系数；
在对所述优化模型的训练中，利用所述混合损失函数对所述目标图像的峰值信噪比进行约束，以使所述目标图像与预设的标准图像的峰值信噪比差距达到预定的误差范围。
进一步地，利用所述混合损失函数约束所述目标图像与预设的标准图像在反向传播时的差距，包括：
响应于确定所述目标图像与预设的标准图像的差距在预定的误差范围内时，则确定完成优化模型的训练；
响应于确定所述目标图像与所述标准图像的差距超出所述误差范围时，则再次对优化模型进行训练。
基于同一发明构思，本申请还提供了一种基于双通道网络的低照度图像增强系统，包括：分解模块、去噪模块、增强模块和输出模块；
其中，所述分解模块，被配置为，将预设的正常光图像和低照度图像输入至待训练的优化模型，对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图；
所述去噪模块，被配置为，对所述正常光反射图进行亮通道变换，得到亮通道图，对所述正常光反射图和所述亮通道图进行小波变换后融合，得到第一小波融合图像并提取特征，得到第一融合图像特征，利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，所述混合注意力机制由多个注意力机制组成；
增强模块，被配置为，利用所述低照度光照图确定出对应的暗通道图，对所述低照度光照图和所述暗通道图进行小波变换后融合，得到第二小波融合图像并提取特征，得到第二融合图像特征，利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，利用所述增强特征和所述暗通道图确定出折射率，对所述折射率和所述增强特征进行卷积操作后得到增强图像；
输出模块，被配置为，利用所述去噪图像和所述增强图像生成目标图像，使用混合损失函数约束所述优化模型的训练，响应于完成所述优化模型的训练，将待优化的图像输入至完成训练的优化模型，并输出优化后的目标图像。
基于同一发明构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的基于双通道网络的低照度图像增强方法。
基于同一发明构思，本申请还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述基于双通道网络的低照度图像增强方法。
基于同一构思，与上述任意实施例方法相对应的，本申请还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得所述计算机执行如上任一项所述的基于双通道网络的低照度图像增强方法。
从上面所述可以看出，本申请提供的基于双通道网络的低照度图像增强方法及相关设备，基于对正常光图像和低照度图像分别进行反射分量和光照分量的分解，从而得到正常光反射图和低照度光照图，并基于在优化模型中设置的亮通道和暗通道两个通道，来对优化模型进行训练，在训练中，利用亮通道变化，得到对应正常光反射图的亮通道图，并利用混合注意力机制来对亮通道图与正常光反射图融合后的第一融合图像特征进行去噪，从而获得去噪图像；同时，利用卷积操作来确定出暗通道图，并利用混合注意力机制来对暗通道图与低照度光照图融合后的第二融合图像特征进行增强，从而获得增强图像；基于此，通过设置的混合损失函数，实现对增强图像和去噪图像生成的目标图像进行损失值的计算，从而根据损失值实现对优化模型的训练。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的基于双通道网络的第一框架图；
图2为本申请实施例的基于双通道网络的低照度图像增强方法的流程图；
图3为本申请实施例的基于双通道网络的第二框架图；
图4为本申请实施例的基于双通道网络的第三框架图；
图5为本申请实施例的基于双通道网络的第四框架图；
图6为本申请实施例的基于双通道网络的第无框架图；
图7为本申请实施例的基于双通道网络的低照度图像增强系统结构示意图；
图8为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请的实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，相关的基于双通道网络的低照度图像增强方法还难以满足图像优化的实际需要。
申请人在实现本申请的过程中发现，相关的图像优化的方法存在的主要问题在于：低照度图像的增强算法会出现曝光现象，也就是说，在一些情况中，在增强图像亮度同时，会出现过增强问题，并且相关的低照度图像的优化中，往往依赖图像先验模型和环境假设，且需手动调参，在增强图像的同时易出现失真和光晕等现象。
在另一些情况中，在优化低照度图像时，图像增强的效果局限在亮度的提升，易出现噪声、伪影和色差等过增强问题，增强后的图像存在油画感和过增强问题，通过先验模型优化，在抑制图像噪声的同时，还会出现曝光问题，例如，RetinexNet模型。
基于此，本申请中的一个或多个实施例提供了基于双通道网络的低照度图像增强方法。
以下结合附图详细说明本申请的实施例。
在本申请的实施例中，构建用于优化低照度图像的优化模型，该优化模型可以是如图1所示的DBCRNet（双分支通道光照增强网络），该DBCRNet中包括分解模块、去燥模块和增强模块。
其中，分解模块用于对图像进行分解，从而输出对应该图像的反射分量和光照分量。
进一步地，去噪模块用于对分解出的反射分量进行去噪，从而输出去噪图像，增强模块用于对分解出的光照分量进行光照度增强，从而输出增强图像。
进一步地，在将去噪图像和增强图像进行结合可以得到优化后的目标图像。
在本实施例中，在利用上述的优化模型对图像进行优化之前，还需要对优化模型进行训练，并在完成训练后，利用训练好的优化模型对图像进行优化。
其中，在对上述的DBCRNet进行训练时，利用正常光图像和低照度图像构建训练数据集，从而完成训练。
参考图2，本申请一个实施例的基于双通道网络的低照度图像增强方法，包括以下步骤：
步骤S201、将预设的正常光图像和低照度图像输入至待训练的优化模型，对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图。
在本申请的实施例中，如图1所示，将训练集中的正常光图像和低照度图像分别输入至分解模块，并通过分别分解得到对应的反射分量和光照分量。
其中，分解模块具体如图3所示，包括有反射分量网络和光照分量网络。
以正常光图像为例，将正常光图像先输入至分解模块中的ConvBlock，也即卷积块，利用卷积块可以提取正常光图像的颜色和纹理等浅层特征，得到正常光浅层特征。
进一步地，如图3所示，将正常光浅层特征输入至反射分量网络中，其中，如图3所示，反射分量网络包括5层U-Net（图像分割的卷积神经网络）和1个NormBlock（归一化子块）。
其中，如图3所示，卷积块中包括有3个3×3的卷积层，归一化子块中依次设置卷积层、归一化层、卷积层和归一化层。
具体地，如图3所示，5层U-Net的结构中依次设置有Conv&ReLU（带有激活函数的卷积层）、MaxPooling（最大池化层）、卷积层、最大池化层、卷积层、Deconv（反卷积层）、Contact（全连接层）、卷积层、反卷积层、全连接层和卷积层。
其中，利用5层U-Net对正常光浅层特征生成正常光反射分量特征。
进一步地，将正常光反射分量特征输入至归一化子块，利用归一化子块将正常光反射分量特征约束在0至1之间，以使得训练过程中不出现拟合，并减轻计算负担，据此，归一化子块输出正常光反射分量，也即正常光反射图。
进一步地，如图3所示，在将正常光图像输入至分解模块后，在将正常光浅层特征反射分量的同时，正常光浅层特征也会输入至光照分量网络。
具体地，如图3所示，光照分量网络中依次设置有5层卷积层和1个归一化子块，其中，第5个卷积层与反射分量网络连接，以从反射分量网络获取正常光反射分量特征。
进一步地，将正常光浅层特征输输入至光照分量网络后，依次经过4个卷积层的运算后，在第5个卷积层中利用从反射分量网络获取的正常光反射分量特征来提取出正常光光照分量，也即正常光光照图。
基于此，可以在清除图像中光照分量纹理特征的同时保留图像亮度的相关信息，利用图像的反射分量相似性损失和图像平滑度损失来实现图像的反射分量和光照分量的提取。
进一步地，如图1所示，在利用分解模块分解低照度图像时，采取用于分解的正常光图像相同的分解模块权重，将低照度图像输入至分解模块后，按照与前述实施例相同的方式，分解出对应低照度图像的低照度反射分量和低照度光照分量，也即低照度反射图和低照度光照图。
步骤S202、对所述正常光反射图进行亮通道变换，得到亮通道图，对所述正常光反射图和所述亮通道图进行小波变换后融合，得到第一小波融合图像并提取特征，得到第一融合图像特征，利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，所述混合注意力机制由多个注意力机制组成。
在本申请的实施例中，基于前述步骤中得到正常光反射图，图4示出去噪模块的结构，利用该去噪模块来对其进行去噪。
具体地，对正常光反射图进行小波变换，得到亮通道图Ibright。
进一步地，将亮通道图与正常光反射图进行融合，得到第一小波融合图像。
进一步地，将第一小波融合图像依次经过3个3×3的卷积层，再依次经过3个BCPF（亮通道先验特征子模块），在经过归一化子块的运算，得到去噪图像。
其中，如图4所示，去噪模块中的3个卷积层分别对应一个BCPF。
进一步地，BCPF中依次设置2个3×3的卷积层，1个PBAM（混合注意力机制子模块）和1个3×3的卷积层。
在本实施例中，将第二小波融合图像先通过上述3个3×3的卷积层运算，在依次进行3个BCPF的运算，并将BCPF的运算结果输入至归一化子模块以进行归一化，从而得到去噪图像。
其中，3×3的卷积用于提取第一小波融合图像的特征，并将该特征加入到对称的BCPF模块中，以实现丰富图像特征作用；BCPF模块用于消除图像噪声，使整个去噪模块的网络学习关注点聚集在高亮度区域，也即图像的噪声区和曝光区，以进行图像去噪处理。
在本实施例中， PBAM的结构如图5所示，包括CAM（通道注意力机制）、SAM（空间注意力机制）和PAM（像素注意力机制）。
其中，在每个BCPF中，将经过2个3×3的卷积层运算的结果输入至CAM，通过平均池化、最大池化和多层感知的运算，并利用下述的Sigmoid激活函数，可以确定出通道维度权重，从而将该网络的注意力集中到最重要的通道上。
具体地，CAM按照如下所示的公式进行通道维度权重的运算：
其中，F表示输入卷积运算后的特征，AvgPool表示平均池化的操作 ，MaxPool表示最大池化的操作，MLP表示多层感知机制运算，表示第一MLP权重，表示第二MLP权重，Mc(F)表示通道维度权重，通过 CAM 的运算，该网络可以根据通道维度权重来确定出2个3×3的卷积层运算的结果中有意义的部分。
进一步地，如图5所示，CAM和SAM连接，其连接公式如下所示：
其中，F1表示空间注意力输入图。
据此，利用所述通道维度权重可以确定出用于输入空间注意力机制的空间注意力输入图。
进一步地，利用所述空间注意力机制对空间注意力输入图进行如下所示的最大池化和平均池化操作，并利用下述的Sigmoid激活函数，得到空间维度权重，以得到网络中关注度最高的空间信息：
其中，Ms(F)表示空间维度权重。
进一步地，如图5所示，SAM和PAM连接，其连接公式如下所示：
其中，F2表示像素注意力输入图。
进一步地， 将F2输入至PAM以此来确定出像素维度权重，以使得网络学习时将特征集中在感兴趣的区域。
可以看出，PBAM使网络能够自适应地提升重要区域的权重，快速寻找到最需关注的通道和空间，进而定位到最需关注的像素点区域，从而提高图像亮度和清晰度，并作为反射分量的去噪过程和光照分量的增强过程的基础。
步骤S203、利用所述低照度光照图确定出对应的暗通道图，对所述低照度光照图和所述暗通道图进行小波变换后融合，得到第二小波融合图像并提取特征，得到第二融合图像特征，利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，利用所述增强特征和所述暗通道图确定出折射率，对所述折射率和所述增强特征进行卷积操作后得到增强图像。
在本申请的实施例中，基于前述步骤中得到低照度光照图，图6示出增强模块的结构，利用该增强模块来对其进行增强。
具体地，增强模块的前半部分结构与去噪模块结构相似，先通过对低照度光照图来进行卷积运算来确定出暗通道图Idark。
其中，暗通道图的卷积运算为如下所示：
其中，g表示卷积核，d表示输入的特征，G表示卷积核变换矩阵，BT表示输入变换矩阵，AT表示输出变换矩阵。
进一步地，将暗通道图Idark与低照度光照图进行小波融合，得到第二小波融合图像。
进一步地，将第二小波融合图像通过1个3×3卷积和1个Down子模块（下采样子模块），以将第二小波融合图像变为原尺寸一半的大小，并同时加大卷积核感受野，其中，Down子模块包括2个3×3卷积。
进一步地，进行下采样后，由3个3×3卷积和DCPF（暗通道先验特征子模块）组成的对称卷积进行运算。
其中，DCPF与BCPF类似，DCPF中包括与前述步骤中相同的BPAM，该PBAM用于引导该网络能够针对性地发现图像中光照不均的区域，经过3个DCPF后完成图像整体亮度的提升。
进一步地，考虑到低照度光照图整体的对比度和亮度低，容易产生局部光照不均和细节丢失的现象，因此，为了对图像的特征做近一步精细化增强，可以将前半部分获得的特征经过UP子模块（上采样子模块）来进行尺度恢复。
其中，UP子模块中先进行1个反卷积层来进行上采样，再进行1个1×1卷积层，并在1×1卷积层之后进行归一化子模块的归一化操作，来进行特征整合。
进一步地，在最后一个DCPF后，设置DT子模块（暗通道先验折射子模块），用于估算Idark的折射率T，其中，折射率T求解目的是为与UP子模块输出的F1特征相除，相除后可将图像增强后剩余暗光区的特征放大数倍，提升暗光区亮度后放大局部特征。
其中，T的计算式为
其中，表示超参数，A表示大气光值，Ic(X)表示低照度光照图中的像素，c表示颜色参量。
在本实施例中，利用暗通道先验算法来确定出暗通道图。
具体地，前述计算暗通道图Idark时，可以将上述公式中的后半部分估算为图像RGB中3通道最小值，并作为如下所示的Idark的公式：
进一步地，如图6中的DT子模块结构所示，将Idark与超参数相乘并取负数后加1，据此，T计算式改变为如下所示：
据此，T可以进一步地确定为：T≈1-Wingrad_Conv3×3(Idark) ，其中，Wingrad_Conv表示一种卷积加速算法。
进一步地，在DT子模块中，最后通过Sigmoid函数将折射率T的数值约束在(0,1)范围之内。
因此，经过对称卷积增强后得到特征F1与折射率T相除后即可达到图像整体亮度扩大作用，放大了图像增强后细节特征。
其中，在DT子模块后，为保留图像局部特征，通过1个3×3卷积后与F1的特征相加，以保留图像边缘处特征，据此，输出增强图像，其中增强图像的特征F的公式如下所示：
步骤S204、利用所述去噪图像和所述增强图像生成目标图像，使用混合损失函数约束所述优化模型的训练，响应于完成所述优化模型的训练，将待优化的图像输入至完成训练的优化模型，并输出优化后的目标图像。
在本申请的实施例中，如图1所示，将前述步骤中得到的去噪图像和增强图像进行融合得到目标图像。
基于此，为更好地恢复图像亮度，消除噪声和色差，以及控制曝光，可以判断目标图像是否满足预先设置的混合损失函数，并据此进行参数的调整。
具体地，混合损失函数由颜色损失函数Lc、图像平滑度损失函数Li、对比度损失函数Ld、曝光损失函数Le、噪声损失函数Ln和反射分量相似性损失函数Ls的损失混合组成。
其中，颜色损失函数可以避免图像增强后颜色特征的失衡和丢失；图像平滑度损失平滑度损失函数和对比度损失平滑度损失函数可以使增强后的增强图像的亮度值更加均衡；噪声损失函数可约束增强后增强图像的噪声值与图像理想的噪声值的距离差；曝光损失函数可约束增强后增强图像的曝光值与图像理想的曝光值的距离差；反射分量相似性损失函数可约束图像增强前后的亮度信息、轮廓信息和语义信息的一致性。
基于此，总损失函数设置为如下所示：
其中，表示第一系数，表示第二系数，表示第三系数。
在本实施例中，基于同一场景的图像在不同光照条件下反射分量相同，与光照环境无关，因此，反射分量相似性损失函数可以表示为如下所示：
其中，Rl表示低照度图像在分解后的反射分量，Rh代表正常光照图像在分解后的反射分量。
进一步地，基于光照分量尽可能只反映光照信息，因此，图像平滑度损失函数可以表示为如下所示：
其中，表示低照度图像的边缘区域损失，分别表示正常光图像的边缘区域损失。
在本实施例中，基于上述构建的混合损失函数，在对优化模型进行每轮训练时，利用去噪图像和增强图像生成本轮训练的目标图像，并进行反向传播，在反向传播中，利用前述计算出的本轮的损失函数来约束该目标图像与预设的标准图像的差距。
其中，目标图像与预设的标准图像的差距可以是例如，关于PSNR（峰值信噪比）的差距。
进一步地， 当PSNR的差距在预定的误差范围内时，则将优化模型中的参数固定，并确定完成优化模型的训练；当PSNR的差距超出该误差范围时，则对该优化模型中的各个参数进行调整后，再次对优化模型进行训练。
可以看出，在优化模型的训练中，通过利用损失函数来对目标图像的PSNR进行约束，从而提高目标图像的PSNR，得到与预设的标准图像接近的高质量目标图像。
进一步地，在完成优化模型的训练之后，可以将待增强的低照度图像输入至优化模块中，以对该低照度图像进行优化。
可见，本申请的实施例的基于双通道网络的低照度图像增强方法，基于对正常光图像和低照度图像分别进行反射分量和光照分量的分解，从而得到正常光反射图和低照度光照图，并基于在优化模型中设置的亮通道和暗通道两个通道，来对优化模型进行训练，在训练中，利用亮通道变化，得到对应正常光反射图的亮通道图，并利用混合注意力机制来对亮通道图与正常光反射图融合后的第一融合图像特征进行去噪，从而获得去噪图像；同时，利用卷积操作来确定出暗通道图，并利用混合注意力机制来对暗通道图与低照度光照图融合后的第二融合图像特征进行增强，从而获得增强图像；基于此，通过设置的混合损失函数，实现对增强图像和去噪图像生成的目标图像进行损失值的计算，从而根据损失值实现对优化模型的训练。
需要说明的是，本申请的实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请的实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在本申请所要求的范围内。在一些情况下，在本申请中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种基于双通道网络的低照度图像增强系统。
参考图7，所述基于双通道网络的低照度图像增强系统，包括：分解模块701、去噪模块702、增强模块703和输出模块704；
其中，所述分解模块701，被配置为，将预设的正常光图像和低照度图像输入至待训练的优化模型，对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图；
所述去噪模块702，被配置为，对所述正常光反射图进行亮通道变换，得到亮通道图，对所述正常光反射图和所述亮通道图进行小波变换后融合，得到第一小波融合图像并提取特征，得到第一融合图像特征，利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，所述混合注意力机制由多个注意力机制组成；
增强模块703，被配置为，利用所述低照度光照图确定出对应的暗通道图，对所述低照度光照图和所述暗通道图进行小波变换后融合，得到第二小波融合图像并提取特征，得到第二融合图像特征，利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，利用所述增强特征和所述暗通道图确定出折射率，对所述折射率和所述增强特征进行卷积操作后得到增强图像；
输出模块704，被配置为，利用所述去噪图像和所述增强图像生成目标图像，使用混合损失函数约束所述优化模型的训练，响应于完成所述优化模型的训练，将待优化的图像输入至完成训练的优化模型，并输出优化后的目标图像。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请的实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于双通道网络的低照度图像增强方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的基于双通道网络的低照度图像增强方法。
图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备、动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本申请实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的装置用于实现前述任一实施例中相应的基于双通道网络的低照度图像增强方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于双通道网络的低照度图像增强方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于双通道网络的低照度图像增强方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一构思，与上述任意实施例方法相对应的，本申请还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得所述计算机执行如上任一实施例所述的基于双通道网络的低照度图像增强方法，具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请的实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请的实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请的实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请的实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本申请的实施例旨在涵盖落入本申请所要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请的实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于双通道网络的低照度图像增强方法，其特征在于，包括：
将预设的正常光图像和低照度图像输入至待训练的优化模型，对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图；
对所述正常光反射图进行亮通道变换，得到亮通道图，对所述正常光反射图和所述亮通道图进行小波变换后融合，得到第一小波融合图像并提取特征，得到第一融合图像特征，利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，所述混合注意力机制由多个注意力机制组成；
利用所述低照度光照图确定出对应的暗通道图，对所述低照度光照图和所述暗通道图进行小波变换后融合，得到第二小波融合图像并提取特征，得到第二融合图像特征，利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，利用所述增强特征和所述暗通道图确定出折射率，对所述折射率和所述增强特征进行卷积操作后得到增强图像；
利用所述去噪图像和所述增强图像生成目标图像，使用混合损失函数约束所述优化模型的训练，响应于完成所述优化模型的训练，将待优化的图像输入至完成训练的优化模型，并输出优化后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图，包括：
对所述正常光图像进行特征提取，得到正常光浅层特征；
将所述正常光浅层特征输入至反射分量网络进行分解，得到正常光反射分量特征，对所述正常光反射分量特征进行归一化得到所述正常光反射图，所述反射分量网络包括多个卷积层和多个反卷积层；
对所述低照度图像进行特征提取，得到低照度浅层特征；
将所述低照度浅层特征输入至反射分量网络进行分解，得到低照度反射分量特征；
将所述低照度反射分量特征输入至光照分量网络进行分解，得到所述低照度光照图，所述光照分量网络包括多个卷积层。
3.根据权利要求1所述的方法，其特征在于，所述多个注意力机制中依次设置通道注意力机制、空间注意力机制和像素注意力机制；
所述利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，包括：
对所述第一融合图像进行卷积运算，将该卷积运算后的特征输入至所述混合注意力机制；
利用所述通道注意力机制对所述卷积运算后的特征进行如下所示的最大池化和平均池化操作，得到通道维度权重：
其中，F表示输入所述卷积运算后的特征，AvgPool表示平均池化的操作 ，MaxPool表示最大池化的操作，MLP表示多层感知机制运算，表示第一MLP权重，表示第二MLP权重，Mc(F)表示所述通道维度权重；
按照如下所示的公式，利用所述通道维度权重确定出用于输入空间注意力机制的空间注意力输入图，
其中，F1表示所述空间注意力输入图；
利用所述空间注意力机制对所述空间注意力输入图进行如下所示的最大池化和平均池化操作，得到空间维度权重，
其中，Ms(F)表示所述空间维度权重；
按照如下所示的公式，利用所述空间维度权重确定出用于输入像素注意力机制的像素注意力输入图，
其中，F2表示所述像素注意力输入图；
对所述像素注意力输入图进行所述像素注意力机制的运算，得到像素维度权重；
根据所述通道维度权重、所述空间维度权重和所述像素维度权重确定出所述去噪图像。
4.根据权利要求1所述的方法，其特征在于，所述利用所述低照度光照图确定出对应的暗通道图，包括：
利用暗通道先验算法，按照如下所示的公式对所述低照度光照图进行计算，得到所述暗通道图：
其中，表示超参数，A表示大气光值，Ic(X)表示所述低照度光照图中的像素，c表示颜色参量。
5.根据权利要求3所述的方法，其特征在于，所述利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，包括：
对所述第二融合图像特征进行下采样，得到下采样图；
对所述下采样图依次进行通道注意力机制、空间注意力机制和像素注意力机制的运算，并对运算结果进行上采样，得到上采样图；
利用所述上采样图计算折射率确定出增强图像。
6.根据权利要求1所述的方法，其特征在于，使用混合损失函数约束所述优化模型的训练，包括：
利用所述目标图像计算如下所示的混合损失函数：
其中，Ltotal表示所述混合损失函数，Le表示曝光损失函数，Li表示图像平滑度损失函数，Ld表示对比度损失函数，Lc表示颜色损失函数，Ln表示噪声函数，Ls表示反射分量相似性损失函数，表示第一系数，表示第二系数，表示第三系数；
在对所述优化模型的训练中，利用所述混合损失函数对所述目标图像的峰值信噪比进行约束，以使所述目标图像与预设的标准图像的峰值信噪比差距达到预定的误差范围。
7.根据权利要求6所述的方法，其特征在于，所述利用所述混合损失函数约束所述目标图像与预设的标准图像在反向传播时的差距，包括：
响应于确定所述目标图像与预设的标准图像的差距在预定的误差范围内时，则确定完成优化模型的训练；
响应于确定所述目标图像与所述标准图像的差距超出所述误差范围时，则再次对优化模型进行训练。
8.一种基于双通道网络的低照度图像增强系统，其特征在于，包括：分解模块、去噪模块、增强模块和输出模块；
其中，所述分解模块，被配置为，将预设的正常光图像和低照度图像输入至待训练的优化模型，对所述正常光图像和所述低照度图像分别进行分解，得到对应所述正常光图像的正常光反射图和对应所述低照度图像的低照度光照图；
所述去噪模块，被配置为，对所述正常光反射图进行亮通道变换，得到亮通道图，对所述正常光反射图和所述亮通道图进行小波变换后融合，得到第一小波融合图像并提取特征，得到第一融合图像特征，利用混合注意力机制对所述第一融合图像特征进行去噪得到去噪图像，所述混合注意力机制由多个注意力机制组成；
增强模块，被配置为，利用所述低照度光照图确定出对应的暗通道图，对所述低照度光照图和所述暗通道图进行小波变换后融合，得到第二小波融合图像并提取特征，得到第二融合图像特征，利用所述混合注意力机制对所述第二融合图像特征进行光照度增强得到增强特征，利用所述增强特征和所述暗通道图确定出折射率，对所述折射率和所述增强特征进行卷积操作后得到增强图像；
输出模块，被配置为，利用所述去噪图像和所述增强图像生成目标图像，使用混合损失函数约束所述优化模型的训练，响应于完成所述优化模型的训练，将待优化的图像输入至完成训练的优化模型，并输出优化后的目标图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至7中任意一项所述的方法。
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118279180A true CN118279180A (zh) | 2024-07-02 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103854259B (zh) | 图像处理设备以及处理图像的方法 | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| Rahman et al. | Structure revealing of low-light images using wavelet transform based on fractional-order denoising and multiscale decomposition | |
| US20220351333A1 (en) | Image reconstruction method, electronic device and computer-readable storage medium | |
| CN112991197B (zh) | 一种基于暗通道的细节保留的低照度视频增强方法及装置 | |
| CN111260580A (zh) | 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质 | |
| CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113724151B (zh) | 一种图像增强方法、电子设备和计算机可读存储介质 | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| KR102083166B1 (ko) | 이미지 처리 방법 및 장치 | |
| CN116682076A (zh) | 面向船舶安全监管的多尺度目标检测方法、系统及设备 | |
| CN115511754B (zh) | 基于改进的Zero-DCE网络的低照度图像增强方法 | |
| CN111383299B (zh) | 图像的处理方法、装置及计算机可读存储介质 | |
| CN117496990A (zh) | 语音去噪方法、装置、计算机设备及存储介质 | |
| CN118279180A (zh) | 基于双通道网络的低照度图像增强方法及相关设备 | |
| CN112801883A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN116645305A (zh) | 基于多注意力机制与Retinex的低光照图像增强方法 | |
| CN111754412A (zh) | 构建数据对的方法、装置及终端设备 | |
| CN115375909A (zh) | 一种图像处理方法及装置 | |
| CN115760658A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN114902237A (zh) | 图像处理方法、装置和电子设备 | |
| Bae et al. | Non-iterative tone mapping with high efficiency and robustness | |
| CN116843578A (zh) | 一种低照度图像增强方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |