CN114581318B - 一种低照明度图像增强方法及系统 - Google Patents
一种低照明度图像增强方法及系统 Download PDFInfo
- Publication number
- CN114581318B CN114581318B CN202210083810.2A CN202210083810A CN114581318B CN 114581318 B CN114581318 B CN 114581318B CN 202210083810 A CN202210083810 A CN 202210083810A CN 114581318 B CN114581318 B CN 114581318B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- map
- channel
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种低照明度图像增强方法及系统，所述低照明度图像增强方法，包括：基于多个卷积核对低照度图像进行多尺度特征提取并对多尺度特征进行拼接得到多尺寸特征图；利用空间注意力机制对特征图进行特征筛选得到空间注意力特征图；基于串联三个残差块对空间注意力特征图进行映射得到高维特征；对高维特征进行权重处理得到通道注意力特征图；对通道注意力特征进行降通及取对数运算得到输入图像环境光照分量估计；根据Retinex理论对图像处理得到增强图像。本发明通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深网络的深度，将图像特征映射到高维，网络中使用空间和通道注意力来提升网络对显著信息的提取能力。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种低照明度图像增强方法及系统。
背景技术
高质量图像获取对于计算机视觉视觉任务，如目标检测、图像分割、文字识别、目标跟踪等领域尤为重要，只有提供准确的图像信息，才能确保视觉任务的顺利完成。然而，开放环境下拍摄角度变化、早晚的弱光照以及一些特殊的应用场景都会使相机视野存在亮度低、色彩饱和度差、细节信息难以辨认等问题。通过图像增强来改善弱光照图像对后续的计算机视觉任务具有重要的意义。
低照度图像广泛存在于各类计算机视觉任务中，通过图像处理技术来对低照度图像进行增强具有重要的意义。然而现有的增强方法往往存在色彩失真、细节处理能力弱以及泛化性不强等问题。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种低照明度图像增强方法及系统，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升网络对显著信息的提取能力。
为了解决上述技术问题，本发明实施例提供了一种低照明度图像增强方法，所述低照明度图像增强方法，包括：
将低照度图像输入卷积神经网络；
基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图；
利用空间注意力机制对特征图进行特征筛选，得到空间注意力特征图；
基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
对高维特征进行权重处理，得到通道注意力特征图；
对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
根据Retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
优选的，所述根据Retinex理论结合输入图像环境光照分量估计对图像处理，之后包括：
根据误差损失函数和SSIM对增强图像进行增强图像误差计算，判断增强图像是否达标。
优选的，所述基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，包括：
将多个不同尺寸和形状的卷积核对输入的低照度图像进行多尺度特征提取，采用、/>、/>三种不同尺度卷积核的卷积层对输入的低照度图像进行非线性映射处理，得到多尺度特征图，多尺度卷积层将多尺度特征图通过最大池化转变成相同大小的统一特征图，在通道维度上对统一特征图进行拼接，得到多尺寸特征图。
优选的，所述利用空间注意力机制对特征图进行特征筛选，包括：
将特征图基于平均池化转换成平均特征图，将平均特征图和统一特征图在通道维度上进行串联，采用的卷积层将通道减半，利用Sigmoid激活函数将结果映射到(0,1)，得到与多尺度特征图尺寸相同的权重图，将得到的权重图与多尺度特征图逐元素相乘，得到空间注意力特征图。
优选的，所述三个残差块中的每个残差块由卷积核大小为、/>、/>的卷积层组成，每个卷积层之后连接归一化层和Relu层。
优选的，所述对高维特征进行权重处理，包括：
基于平均池化对高维特征图进行空间压缩，得到的特征向量，采用两个卷积核为/>的卷积层对特征向量进行权重学习，采用Sigmoid激活函数将结果映射到(0,1)得到权重向量，将得到的基于通道的权重向量与高维特征图的各个通道层进行相乘，得到通道注意力特征图。
优选的，所述对通道注意力特征进行降通处理及取对数运算，包括：
用卷积层将特征通道降为三通道，通道注意力特征图通过三通道得到三通道特征图，三通道特征图进行取对数运算，得到输入图像环境光照分量估计。
优选的，所述Retinex理论将物体亮度分解为物体本身的反射分量和环境光照。
相应的，本发明还提供了一种低照明度图像增强系统，所述低照明度图像增强系统用于实现上述的低照明度图像增强方法，所述低照明度图像增强系统包括输入模块、多尺寸模块、空间注意模块、高维模块、注意力模块、光照估计模块和增强模块；
所述输入模块将低照度图像输入卷积神经网络；
所述多尺寸模块基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图；
所述空间注意模块利用空间注意力机制对特征图进行特征筛选得到空间注意力特征图；
所述高维模块基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
所述注意力模块对高维特征进行权重处理，得到通道注意力特征图；
所述光照估计模块对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
所述增强模块根据Retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
本发明实施例提供额低照明度图像增强方法及系统，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升卷积神经网络对显著信息的提取能力。多尺度卷积层以及注意力机制的使用可以有效提升卷积神经网络对图像细节信息的提取能力，同时在卷积神经网络浅层和深层搭配使用两种注意力机制，给每个像素和通道赋予不同的权重可以显著改善图像增强时的色彩失真问题。除此之外，卷积神经网络结合高效的特征提取方式可以大大提升模型的泛化性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中低照明度图像增强方法的流程示意图。
图2是本发明实施例中低照明度图像增强系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
图1示出了本发明实施例中低照明度图像增强方法的流程示意图，所述低照明度图像增强方法，包括：
S1：将低照度图像输入卷积神经网络；
将低照度图像输入卷积神经网络，利用卷积神经网络的输入层、输出层、卷积层、池化层和全连接层等一些功能对低照度图像进行处理来增强图像。依据Retinex理论将物体亮度分解为物体本身的反射分量和环境光照；由于视觉感知到的物体颜色仅仅取决于物体对该波长光的反射能力,而与该环境光无关，因此，估计出采集图像时所处环境的光照强度分量 ,就可以根据Retinex理论将环境光照对成像的影响去除。借助卷积神经网络能够很好地学习数据特征的特性,用于估计环境光照分量，通过估计环境光照分量来增强图像。
S2：基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图；
将多个不同尺寸和形状的卷积核对输入的低照度图像进行多尺度特征提取，采用、/>、/>三种不同尺度卷积核的卷积层对输入的低照度图像进行非线性映射处理，得到多尺度特征图，多尺度卷积层将多尺度特征图通过最大池化转变成相同大小的统一特征图，在通道维度上对统一特征图进行拼接，得到多尺寸特征图P。非线性映射定义为一个卷积运算和ReLU激活函数的组合。三个多尺度卷积层的参数为：
输入图像经过三个不同尺度的卷积层映射，得到三个16通道的特征图，通过全局最大池化将特征图尺度映射为相同大小，在通道维度上进行拼接，这一过程可以表示为：
，
上式中，C代表特征图通道维度的串联，Max代表最大池化，x代表输入图像，W表示非线性映射层的权重，b表示非线性映射层的偏置，k×k表示卷积核的尺寸。
S3：利用空间注意力机制对特征图进行特征筛选，得到空间注意力特征图；
将特征图基于平均池化转换成平均特征图，将平均特征图和统一特征图在通道维度上进行串联，采用的卷积层将通道减半，利用Sigmoid激活函数将结果映射到(0，1)，得到与多尺度特征图P尺寸相同的权重图，将得到的权重图与多尺度特征图P逐元素相乘，得到空间注意力特征图PA。该过程可以表示为：
，
上式中，Max代表最大池化，Avg代表平均池化，Sigmoid表示Sigmoid函数，PA代表空间注意力特征图。
采用空间注意力机制对多尺度卷积层提取到的特征图赋予不同的权重，让网络关注到图像中光照变化剧烈的位置。
S4：基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
残差块通过跳跃连接来缓解深度神经网络中深度增加带来的梯度消失问题，易于优化，所述三个残差块中的每个残差块由卷积核大小为、/>、/>的卷积层组成，每个卷积层之后连接归一化层(BN)和Relu层。将空间注意力图PA通过三个残差块映射得到高维特征F。
S5：对高维特征进行权重处理，得到通道注意力特征图；
基于平均池化对高维特征图进行空间压缩，得到的特征向量，采用两个卷积核为/>的卷积层对特征向量进行权重学习，采用Sigmoid激活函数将结果映射到(0，1)得到权重向量，将得到的基于通道的权重向量与高维特征图的各个通道层进行相乘，得到通道注意力特征图。该过程可以表示为：
，
上式中，F代表高维特征，Conv代表卷积层，CA代表高维通道注意力特征图。
S6：对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
用卷积层将特征通道降为三通道，通道注意力特征图通过三通道得到三通道特征图，三通道特征图进行取对数运算，得到输入图像环境光照分量估计。输入图像环境光照分量估计计算过程可以表示为：
S7：根据Retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
Retinex理论将物体亮度分解为物体本身的反射分量和环境光照。
Retinex理论公式为：
，
其中，I(x，y)表示采集图像对应(x，y)坐标的像素，R(x，y)表示图像(x,y)坐标像素的反射分量,E(x,y)表示该位置的环境光照分量。
由于视觉感知到的物体颜色仅仅取决于物体对该波长光的反射能力，而与该环境光无关，因此，估计出采集图像时所处环境的光照强度分量,就可以根据Retinex理论将环境光照对成像的影响去除。Retinex理论结合输入图像环境光照分量估计对低照明度图像进行图像增强，该过程可以表示为：
，
上式中，r（x，y）为去除光照分量之后的输出图像的对数域表示，log表示对图像进行以自然对数或10为底的对数运算,I(x,y)则表示输入的低照度图像，*表示两张图像之间进行卷积运算。
S8：根据误差损失函数和SSIM对增强图像进行增强图像误差计算，判断增强图像是否达标；
输入正常照明图像，通过误差损失函数和SSIM计算增强图像误差，增强图像误差能够直观的观察正常照明图像与增强图像的之间的差别，判断增强图像误差是否大于预设值；若增强图像误差大于预设值，表示图像增强失败，传输至S1，重新对低照明度图像进行图像增强；若增强图像误差小于等于预设值，表示图像增强成功，对增强图像输出。SSIM全称是structural similarity index measurement，为结构相似度。
误差损失函数为：
；
上式中，Y表示网络输出的增强图像，S表示正常光照图像；
SSIM的损失函数为：
；
上式中，表示图像S的像素平均值，/>表示图像Y的像素平均值，/>对应于图像S的方差，/>对应于图像Y的方差，/>为两幅图像的协方差，C1、C2是两个用于维持函数稳定的常数，防止分母出现零的情况。
增强图像误差的损失函数为：
。
本发明实施例提供额低照明度图像增强方法，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升卷积神经网络对显著信息的提取能力。多尺度卷积层以及注意力机制的使用可以有效提升卷积神经网络对图像细节信息的提取能力，同时在卷积神经网络浅层和深层搭配使用两种注意力机制，给每个像素和通道赋予不同的权重可以显著改善图像增强时的色彩失真问题。除此之外，卷积神经网络结合高效的特征提取方式可以大大提升模型的泛化性。
图2示出了本发明实施例中低照明度图像增强系统的结构示意图，所述低照明度图像增强系统用于实现上述的低照明度图像增强方法，所述低照明度图像增强系统包括输入模块201、多尺寸模块202、空间注意模块203、高维模块204、注意力模块205、光照估计模块206和增强模块207；
输入模块201将低照度图像输入卷积神经网络；
多尺寸模块202基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图；
空间注意模块203利用空间注意力机制对特征图进行特征筛选得到空间注意力特征图；
高维模块204基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
注意力模块205对高维特征进行权重处理，得到通道注意力特征图；
光照估计模块206对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
增强模块207根据Retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
本发明实施例提供额低照明度图像增强方法及系统，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升卷积神经网络对显著信息的提取能力。多尺度卷积层以及注意力机制的使用可以有效提升卷积神经网络对图像细节信息的提取能力，同时在卷积神经网络浅层和深层搭配使用两种注意力机制，给每个像素和通道赋予不同的权重可以显著改善图像增强时的色彩失真问题。除此之外，卷积神经网络结合高效的特征提取方式可以大大提升模型的泛化性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或光盘等。
另外，以上对本发明实施例进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种低照明度图像增强方法，其特征在于，所述低照明度图像增强方法，包括：
将低照度图像输入卷积神经网络；
基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图，所述基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，包括：将多个不同尺寸和形状的卷积核对输入的低照度图像进行多尺度特征提取，采用、/>、/>三种不同尺度卷积核的卷积层对输入的低照度图像进行非线性映射处理，得到多尺度特征图，多尺度卷积层将多尺度特征图通过最大池化转变成相同大小的统一特征图，在通道维度上对统一特征图进行拼接，得到多尺寸特征图；
利用空间注意力机制对特征图进行特征筛选，得到空间注意力特征图，所述利用空间注意力机制对特征图进行特征筛选，包括：将特征图基于平均池化转换成平均特征图，将平均特征图和统一特征图在通道维度上进行串联，采用的卷积层将通道减半，利用Sigmoid激活函数将结果映射到(0，1)，得到与多尺度特征图尺寸相同的权重图，将得到的权重图与多尺度特征图逐元素相乘，得到空间注意力特征图；
基于串联三个残差块对空间注意力特征图进行映射，得到高维特征，所述三个残差块中的每个残差块由卷积核大小为、/>、/>的卷积层组成，每个卷积层之后连接归一化层和Relu层；
对高维特征进行权重处理，得到通道注意力特征图，所述对高维特征进行权重处理，包括：基于平均池化对高维特征图进行空间压缩，得到的特征向量，采用两个卷积核为/>的卷积层对特征向量进行权重学习，采用Sigmoid激活函数将结果映射到(0,1)得到权重向量，将得到的基于通道的权重向量与高维特征图的各个通道层进行相乘，得到通道注意力特征图；
对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计，所述对通道注意力特征进行降通处理及取对数运算，包括：用1×1卷积层将特征通道降为三通道，通道注意力特征图通过三通道得到三通道特征图，三通道特征图进行取对数运算，得到输入图像环境光照分量估计；
根据Retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
2.根据权利要求1所述的低照明度图像增强方法，其特征在于，所述根据Retinex理论结合输入图像环境光照分量估计对图像处理，之后包括：
根据误差损失函数和SSIM对增强图像进行增强图像误差计算，判断增强图像是否达标。
3.根据权利要求1所述的低照明度图像增强方法，其特征在于，所述Retinex理论将物体亮度分解为物体本身的反射分量和环境光照。
4.一种低照明度图像增强系统，其特征在于，所述低照明度图像增强系统用于实现权利要求1至3任意一项所述的低照明度图像增强方法，所述低照明度图像增强系统包括输入模块、多尺寸模块、空间注意模块、高维模块、注意力模块、光照估计模块和增强模块；
所述输入模块将低照度图像输入卷积神经网络；
所述多尺寸模块基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图，所述基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，包括：将多个不同尺寸和形状的卷积核对输入的低照度图像进行多尺度特征提取，采用、/>、/>三种不同尺度卷积核的卷积层对输入的低照度图像进行非线性映射处理，得到多尺度特征图，多尺度卷积层将多尺度特征图通过最大池化转变成相同大小的统一特征图，在通道维度上对统一特征图进行拼接，得到多尺寸特征图；
所述空间注意模块利用空间注意力机制对特征图进行特征筛选得到空间注意力特征图，所述利用空间注意力机制对特征图进行特征筛选，包括：将特征图基于平均池化转换成平均特征图，将平均特征图和统一特征图在通道维度上进行串联，采用的卷积层将通道减半，利用Sigmoid激活函数将结果映射到(0，1)，得到与多尺度特征图尺寸相同的权重图，将得到的权重图与多尺度特征图逐元素相乘，得到空间注意力特征图；
所述高维模块基于串联三个残差块对空间注意力特征图进行映射，得到高维特征，所述三个残差块中的每个残差块由卷积核大小为、/>、/>的卷积层组成，每个卷积层之后连接归一化层和Relu层；
所述注意力模块对高维特征进行权重处理，得到通道注意力特征图，所述对高维特征进行权重处理，包括：基于平均池化对高维特征图进行空间压缩，得到的特征向量，采用两个卷积核为/>的卷积层对特征向量进行权重学习，采用Sigmoid激活函数将结果映射到(0,1)得到权重向量，将得到的基于通道的权重向量与高维特征图的各个通道层进行相乘，得到通道注意力特征图；
所述光照估计模块对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计，所述对通道注意力特征进行降通处理及取对数运算，包括：用1×1卷积层将特征通道降为三通道，通道注意力特征图通过三通道得到三通道特征图，三通道特征图进行取对数运算，得到输入图像环境光照分量估计；
所述增强模块根据Retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210083810.2A CN114581318B (zh) | 2022-01-24 | 2022-01-24 | 一种低照明度图像增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210083810.2A CN114581318B (zh) | 2022-01-24 | 2022-01-24 | 一种低照明度图像增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114581318A CN114581318A (zh) | 2022-06-03 |
| CN114581318B true CN114581318B (zh) | 2024-06-14 |
Family
ID=81772313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210083810.2A Active CN114581318B (zh) | 2022-01-24 | 2022-01-24 | 一种低照明度图像增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581318B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861380B (zh) * | 2023-02-16 | 2023-06-06 | 深圳市瓴鹰智能科技有限公司 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
| CN117252787B (zh) * | 2023-11-17 | 2024-02-02 | 北京渲光科技有限公司 | 图像重新照明方法、模型训练方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927162A (zh) * | 2021-03-17 | 2021-06-08 | 长春理工大学 | 一种面向低照度图像的增强方法及系统 |
| CN113052814A (zh) * | 2021-03-23 | 2021-06-29 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738344B (zh) * | 2020-06-24 | 2024-02-02 | 上海应用技术大学 | 一种基于多尺度融合的快速目标检测方法 |
| CN112233038B (zh) * | 2020-10-23 | 2021-06-01 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112348766B (zh) * | 2020-11-06 | 2023-04-18 | 天津大学 | 一种用于监控视频增强的渐进式特征流深度融合网络 |
| CN112381897B (zh) * | 2020-11-16 | 2023-04-07 | 西安电子科技大学 | 基于自编码网络结构的低照度图像增强方法 |
| CN112561838B (zh) * | 2020-12-02 | 2024-01-30 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN113567984B (zh) * | 2021-07-30 | 2023-08-22 | 长沙理工大学 | 一种sar图像中人造小目标的检测方法及系统 |
| CN113673590B (zh) * | 2021-08-13 | 2022-12-23 | 广东工业大学 | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 |
| CN113780296B (zh) * | 2021-09-13 | 2024-02-02 | 山东大学 | 基于多尺度信息融合的遥感图像语义分割方法及系统 |
-
2022
- 2022-01-24 CN CN202210083810.2A patent/CN114581318B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927162A (zh) * | 2021-03-17 | 2021-06-08 | 长春理工大学 | 一种面向低照度图像的增强方法及系统 |
| CN113052814A (zh) * | 2021-03-23 | 2021-06-29 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581318A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| US11882357B2 (en) | Image display method and device | |
| WO2021164234A1 (zh) | 图像处理方法以及图像处理装置 | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| CN114581318B (zh) | 一种低照明度图像增强方法及系统 | |
| EP3438929B1 (en) | Foreground and background detection method | |
| US20240062530A1 (en) | Deep perceptual image enhancement | |
| US20230177641A1 (en) | Neural network training method, image processing method, and apparatus | |
| CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| Zhou et al. | Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN112614136A (zh) | 一种红外小目标实时实例分割方法及装置 | |
| WO2023065665A1 (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
| Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
| CN117649694A (zh) | 一种基于图像增强的人脸检测方法、系统及装置 | |
| CN117392036A (zh) | 基于照明幅度的低光图像增强方法 | |
| CN114926348B (zh) | 一种去除低照度视频噪声的装置和方法 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| Srigowri | Enhancing unpaired underwater images with cycle consistent network | |
| Ji et al. | A deep retinex network for underwater low-light image enhancement | |
| CN116917954A (zh) | 图像检测方法、装置和电子设备 | |
| Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
| CN117058062B (zh) | 一种基于逐层训练金字塔型网络的图像质量改善方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |