CN113379861B - 基于色彩恢复块的彩色微光图像重建方法 - Google Patents
基于色彩恢复块的彩色微光图像重建方法 Download PDFInfo
- Publication number
- CN113379861B CN113379861B CN202110566534.0A CN202110566534A CN113379861B CN 113379861 B CN113379861 B CN 113379861B CN 202110566534 A CN202110566534 A CN 202110566534A CN 113379861 B CN113379861 B CN 113379861B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- image
- multiplied
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000011084 recovery Methods 0.000 title claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 49
- 238000011176 pooling Methods 0.000 claims abstract description 32
- 230000004913 activation Effects 0.000 claims description 30
- 238000005286 illumination Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 11
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 abstract description 2
- 230000014759 maintenance of location Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 31
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000004297 night vision Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 3
- 235000011941 Tilia x europaea Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000004571 lime Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于色彩恢复块的彩色微光图像重建方法,属于数字图像处理领域。本发明用色彩恢复块代替自我校正卷积里的池化和上采样等处理机制形成通道校正卷积,然后将通道校正卷积代替U‑Net网络中的传统卷积,用以颜色恢复和保留更多图像信息;同时增加Sobel损失函数旨在抑制噪声并保护图像细节。本发明不仅能够提高亮度、对比度、抑制噪声和避免颜色失真,还能减少运行时间。
Description
技术领域
本发明属于图像处理技术领域,具体为一种基于色彩恢复块的彩色微光图像重建方法。
背景技术
夜视技术是通过光电成像器件来探测夜间目标的技术,它能通过光探测器和成像设备的采集、处理和显示等过程将肉眼在夜间无法辨别的目标转换成可视目标。传统的夜视技术包括了微光夜视和红外夜视,其成像均为单色图像,由于人眼能分辨的颜色等级是灰度等级的几百倍,随着夜视技术的发展和传感器成本的降低,人们致力于将单色夜视图像彩色化,以利用人眼视觉特性,更有效获取目标场景信息。
以往的彩色夜视是利用不同波段的信号产生的图像融合成彩色图像或者通过颜色传递的方法,产生的彩色图像不自然,不能反映景物在白天所呈现的真实颜色信息。现如今真彩色夜视技术得到的图像与白天看到物体的颜色相一致,更加接近物体的真实颜色,与人眼的主观视觉相一致,能够提高目标的识别率,具有很高的应用价值。因此,真彩色微光图像一直都是夜视领域的重点研究对象。
低照度图像增强方法大致分成两大类:传统的方法和基于深度学习的方法。传统的增强方法有基于直方图均衡化(HE)的方法。该方法通过拉伸图像的灰度值分布来提高图像的对比度。随着HE的发展,基于不同的额外的先验和限制的HE方法被提出。受到早期视觉系统的启发,另一种策略就是基于Retinex理论的方法。该理论认为一个图像是由反射图和光照图组成的。经典的算法有单尺度Retinex(SSR)、多尺度Retinex(MSR)使用光照图来进行低照度图像增强。Dong等人则是采用去雾的方法。最近基于深度学习的方法在图像去模糊,图像增强,图像去噪等图像处理方面获得了巨大的成功。基于深度学习的可以分成监督学习和无监督学习。监督学习则是在训练过程中需要成对的低照度图像和参考图像;而无监督学习则只需要低照度图像。但是为了抑制低照度图像的噪声,一些方法是在低照度图像增强后进行降噪,这样降噪之前的增强会使噪声放大;还有的方法是在增强前进行降噪,这样会将一些图像细节信息进行消除,导致图像模糊。此外,分两步进行还会增加处理时间,影响实时性。
发明内容
本发明的目的在于提出了一种基于色彩恢复块的彩色微光图像重建方法,以解决现有的低照度图像增强方法中存在的噪声、颜色恢复和实时性等问题。
实现本发明目的的技术方案为:一种基于色彩恢复块的彩色微光图像重建方法,具体步骤为:
步骤1:在室内和室外采集低照度图像和正常光图像,由低照度图像和对应的正常光图像生成校园数据集;
步骤2:构建用于端对端训练的卷积神经网络模型,所述卷积神经网络模型包括输入层、隐藏层、输出层,所述输入层用于输入目标低照度图像,所述隐藏层用于对输入图像进行卷积计算及反卷积计算,输出层用于输出结果,输入层、隐藏层、输出层之间通过激活函数连接在一起;
步骤3:确定优化器和损失函数,使用校园数据集对卷积神经网络模型进行训练;
步骤4:将待重建图像输入训练好的卷积神经网络模型获得清晰图像。
优选地,在正常光图像采集场景中,将透射率为10%的中性滤光片放在镜头前采集的图像为低照度图像。
优选地,所述隐藏层包括编码器和解码器,具体结构为:
卷积层1:卷积核大小3×3,卷积核个数为32,卷积步长为1,填充为相同;通道校正卷积1:输出通道数为32;池化层1:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层2:卷积核大小3×3,卷积核个数为64,卷积步长为1,填充为相同;通道校正卷积2:输出通道数为64;池化层2:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层3:卷积核大小3×3,卷积核个数为128,卷积步长为1,填充为相同;通道校正卷积3:输出通道数为128;池化层3:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层4:卷积核大小3×3,卷积核个数为256,卷积步长为1,填充为相同;通道校正卷积层4:输出通道数为256;池化层4:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层5:卷积核大小3×3,卷积核个数为512,卷积步长为1,填充为相同;通道校正卷积5:输出通道数为512;上采样及级联层5:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层4级联,输出通道数为512,并作为下一个卷积层的输入;
卷积层6:卷积核大小3×3,卷积核个数为256,卷积步长为1,填充为相同;通道校正卷积6:输出通道数为256;上采样及级联层6:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层3级联,输出通道数为256,并作为下一个卷积层的输入;
卷积层7:卷积核大小3×3,卷积核个数为128,卷积步长为1,填充为相同;通道校正卷积7:输出通道数为128;上采样及级联层7:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层2级联,输出通道数为128,并作为下一个卷积层的输入;
卷积层8:卷积核大小3×3,卷积核个数为64,卷积步长为1,填充为相同;通道校正卷积8:输出通道数为64;上采样及级联层8:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层1级联,输出通道数为64,并作为下一个卷积层的输入;
卷积层9:卷积核大小3×3,卷积核个数为32,卷积步长为1,填充为相同;通道校正卷积9:输出通道数为32;卷积层10:卷积核大小3×3,卷积核个数为3,卷积步长为1,填充为相同,并作为下一个卷积层的输入。
优选地,通道校正卷积的具体过程为:将输入通过带有激活函数的1×1卷积后分别通过两个分支,每个分支上的通道数为输入的一半;其中一条分支包括色彩恢复块以及带有激活函数的3×3卷积;另外一条分支包括带有激活函数的3×3卷积,两条分支的输出相级联,并通过1×1卷积形成特征图,特征图与输入相加。
优选地,所述色彩恢复块将输入通过带有激活函数的3×3卷积,然后并行通过全局平均池化和全局最大池化,分别经过多层感知器生成特征向量,相加后通过sigmoid激活函数获得通道注意力特征图;同时将输入通过带有激活函数的1×1卷积后与通道注意力特征图相乘;通过带有激活函数的1×1卷积恢复为输入时的通道数。
优选地,3×3卷积的通道数为输入的一半。
优选地,1×1卷积通道数为输入的一半。
优选地,所述多层感知器由两个全连接层组成,第一个为带有激活函数的全连接层,输出通道数为输入的八分之一,第二个全连接层输出通道恢复到输入通道数。
优选地,构建的损失函数为:
L=l1+λlSobel,
其中,λ为0.1;
l1损失为:
l1=||IEn-I||1,
IEn表示增强的图像,I表示原始图像;
Sobel损失函数lSobel:
Gx和Gy分别代表着水平和垂直的算子,IgEn和Ig分别代表着增强的图像IEn和原始图像I的灰度图像。
本发明与现有技术相比,其显著优点为:本发明真实采集了低照度图像数据对,采用基于Sobel算子的损失函数,有效抑制了噪声;本发明中色彩恢复块用来恢复图像的颜色信息,用色彩恢复块代替自我校正卷积里的池化和上采样等处理机制形成通道校正卷积,并将通道校正卷积代替U-Net网络中的传统卷积,能够更好呈现细节特征,保留丰富的信息;本发明增强和降噪同时处理,既能有效处理低照度图像的亮度、对比度、颜色等问题,又能减少处理的时间。
附图说明
图1为卷积神经网络结构示意图。
图2为通道校正卷积示意图。
图3为色彩恢复块示意图。
图4为不同方法处理后的可视化效果对比图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于色彩恢复块的彩色微光图像重建方法,具体步骤为:
步骤1:在室内和室外采集低照度图像和正常光图像,由低照度图像和对应的正常光图像生成校园数据集。
采集校园数据集的步骤包括:
首先选取拍摄场景,固定相机保持不动,用电脑控制相机的采集程序;
然后先采集正常光的参考图像;再将透射率为10%的中性滤光片放在镜头前采集低照度图像;
在室内和室外选取不同的场景进行图像的采集,得到校园数据集;
在某些实施例中,对校园数据集的进行筛选和整理后,选取了585张图像用来训练,18张用来验证,拍摄图像的分辨率为1280×1024。
步骤2:构建用于端对端训练的卷积神经网络模型,所述卷积神经网络模型包括输入层、隐藏层、输出层。输入层用于输入目标低照度图像,隐藏层用于对输入图像进行卷积计算及反卷积计算,输出层用于输出结果,输入层、隐藏层、输出层之间通过激活函数连接在一起。
进一步地,所述输入层用于接收3通道的低照度图像;
进一步地,所述隐藏层包括编码器和解码器,具体结构为:卷积层1:卷积核大小3×3,卷积核个数为32,卷积步长为1,填充为相同。通道校正卷积1:输出通道数为32;池化层1:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层2:卷积核大小3×3,卷积核个数为64,卷积步长为1,填充为相同;通道校正卷积2:输出通道数为64;池化层2:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层3:卷积核大小3×3,卷积核个数为128,卷积步长为1,填充为相同;通道校正卷积3:输出通道数为128;池化层3:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层4:卷积核大小3×3,卷积核个数为256,卷积步长为1,填充为相同;通道校正卷积层4:输出通道数为256;池化层4:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层5:卷积核大小3×3,卷积核个数为512,卷积步长为1,填充为相同;通道校正卷积5:输出通道数为512;上采样及级联层5:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层4级联,输出通道数为512,并作为下一个卷积层的输入;
卷积层6:卷积核大小3×3,卷积核个数为256,卷积步长为1,填充为相同;通道校正卷积6:输出通道数为256;上采样及级联层6:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层3级联,输出通道数为256,并作为下一个卷积层的输入;
卷积层7:卷积核大小3×3,卷积核个数为128,卷积步长为1,填充为相同;通道校正卷积7:输出通道数为128;上采样及级联层7:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层2级联,输出通道数为128,并作为下一个卷积层的输入;
卷积层8:卷积核大小3×3,卷积核个数为64,卷积步长为1,填充为相同;通道校正卷积8:输出通道数为64;上采样及级联层8:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层1级联,输出通道数为64,并作为下一个卷积层的输入;
卷积层9:卷积核大小3×3,卷积核个数为32,卷积步长为1,填充为相同;通道校正卷积9:输出通道数为32;卷积层10:卷积核大小3×3,卷积核个数为3,卷积步长为1,填充为相同,并作为下一个卷积层的输入;
所述输出层包括:卷积层10:卷积核大小3×3,卷积核个数为3,卷积步长为1,填充为相同;Sigmoid激活函数连接输出层,输出结果。
所述通道校正卷积是先将输入通过带有激活函数的1×1卷积分成两个分支,每个分支上的通道数为输入的一半;上分支通过色彩恢复块然后再通过带有激活函数的3×3卷积;然后与下分支通过带有激活函数的3×3卷积的特征图相级联,最后再通过1×1卷积形成特征图。为了加速训练的速度,使用残差即与原来输入相加。
色彩恢复块是将输入图先通过带有激活函数的3×3卷积,通道数为输入的一半,并行通过全局平均池化和全局最大池化,然后经过多层感知器生成特征向量,相加后通过sigmoid激活函数获得通道注意力特征图;然后将输入通过带有激活函数的1×1卷积,通道数还是为输入的一半,与通道注意力特征图相乘;最后再通过带有激活函数的1×1卷积恢复为输入时的通道数;上述多层感知器为两个全连接层组成,第一个为带有激活函数的全连接层,输出通道数为原来的八分之一,第二个全连接层输出通道恢复到原来的通道数。
步骤3:确定优化器和损失函数,使用步骤1的校园数据集对步骤2中的网络模型进行训练,将数据集中的低照度图像输入到网络模型中,用正常光图像监督其训练:
1)本发明的激活函数都采用Leaky Relu函数,其表达式为f(x)=max(0.2x,x)式中x为自然数。该激活函数可以避免梯度消失。
2)构建损失函数:
本发明中的损失函数如下:
L=l1+λlSobel, (1)
其中λ为0.1。
l1损失如下所示
l1=||IEn-I||1, (2)
IEn代表着增强的图像,I代表着原始图像。
为了抑制噪声并且突出输出图像的纹理结构,因此基于Sobel损失函数如下:
Gx和Gy分别代表着水平和垂直的算子,IgEn和Ig分别代表着增强的图像IEn和原始图像I的灰度图像。
3)使用ADAM优化器处理损失函数,将训练的次数设置为2000次,学习率初始化为1e-4,在训练次数为1000时,学习率为1e-5。为了防止过拟合,将训练集随机裁剪,翻转和旋转以进行数据增强。设置的批量的大小为32,任意裁剪补丁的大小为256×256×3。输入图像被缩放到[0,1]。
步骤4:将待检测的低照度图像输入已经训练好的网络模型中,得到清晰的图像。
实施例
本发明的效果可以通过以下仿真实验进一步说明:
一、实验条件:
硬件平台:处理器英特尔Core i9-9900K@3.6GHz和NvidiaRTX2080Ti;
软件仿真平台:Ubuntu18.0464位操作系统,Vscode开发平台;
软件仿真语言:Python;
深度学习框架:Tensorflow;
二、仿真对比实验:
为了验证本发明的有效性,与Dong方法、LIME方法、RetinexNet方法进行对比试验。图4为效果图。(a)为低照度图像,(b)为正常光的参考图像,(c)为Dong方法的结果,(d)为LIME方法的结果,(e)为RetinexNet方法的结果,(f)为本发明的结果。如图所示可以看出本发明的方法能够获得更好的视觉效果,提高了低照度图像的亮度、对比度,恢复了图像的颜色和细节,避免了颜色失真,噪声明显减少,更加接近参考图像。从(c)可以看出,Dong方法不能有效提高图像的亮度,并且自行车上的细节和车篮不能够有效恢复。从(d)可以看出,LIME方法会使图像整体偏亮,容易出现过度增强的现象,同时也放大了噪声。从(e)可以看出,RetinexNet产生了曝光过度的伪影,出现了严重的颜色失真的现象,成像效果较差。尽管大部分的算法能够恢复图像的亮度,但是还是无法抑制噪声,出现颜色失真的情况。
采用峰值信噪比(PSNR),结构相似性(SSIM),无参考评价指标信息熵(InEn),自然图像质量评估器(NIQE)进行客观评价。从表2中可以看出,本发明的方法在PSNR、SSIM都优于其他的算法,说明该算法更加接近参考图像,能够有效恢复图像细节和颜色,验证了该算法的有效性。在InEn指标上,所提算法对比之下最优,恢复的图像信息更多。在无参考评价指标NIQE下,所提算法获得的指标最小,恢复得更加自然。从表3中可以看出,对于处理320×256和640×512分辨率的图像,本发明具有实时性,但处理1280×1024分辨率的图像时,本发明与RetinexNet处理的速度一样,一张图像需要0.10s,优于其他算法。
表2不同算法在测试图上的定量对比
表3各算法的运行时间(单位:秒)
Claims (6)
1.一种基于色彩恢复块的彩色微光图像重建方法,其特征在于,具体步骤为:
步骤1:在室内和室外采集低照度图像和正常光图像,由低照度图像和对应的正常光图像生成校园数据集;
步骤2:构建用于端对端训练的卷积神经网络模型,所述卷积神经网络模型包括输入层、隐藏层、输出层,所述输入层用于输入目标低照度图像,所述隐藏层用于对输入图像进行卷积计算及反卷积计算,输出层用于输出结果,输入层、隐藏层、输出层之间通过激活函数连接在一起,所述隐藏层包括编码器和解码器,具体结构为:
卷积层1:卷积核大小3×3,卷积核个数为32,卷积步长为1,填充为相同;通道校正卷积1:输出通道数为32;池化层1:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层2:卷积核大小3×3,卷积核个数为64,卷积步长为1,填充为相同;通道校正卷积2:输出通道数为64;池化层2:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层3:卷积核大小3×3,卷积核个数为128,卷积步长为1,填充为相同;通道校正卷积3:输出通道数为128;池化层3:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层4:卷积核大小3×3,卷积核个数为256,卷积步长为1,填充为相同;通道校正卷积层4:输出通道数为256;池化层4:选择最大池化,大小为2×2,步长为2,填充为相同;
卷积层5:卷积核大小3×3,卷积核个数为512,卷积步长为1,填充为相同;通道校正卷积5:输出通道数为512;上采样及级联层5:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层4级联,输出通道数为512,并作为下一个卷积层的输入;
卷积层6:卷积核大小3×3,卷积核个数为256,卷积步长为1,填充为相同;通道校正卷积6:输出通道数为256;上采样及级联层6:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层3级联,输出通道数为256,并作为下一个卷积层的输入;
卷积层7:卷积核大小3×3,卷积核个数为128,卷积步长为1,填充为相同;通道校正卷积7:输出通道数为128;上采样及级联层7:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层2级联,输出通道数为128,并作为下一个卷积层的输入;
卷积层8:卷积核大小3×3,卷积核个数为64,卷积步长为1,填充为相同;通道校正卷积8:输出通道数为64;上采样及级联层8:卷积核大小为2×2,对图像的行列进行两倍翻倍,并与通道校正卷积层1级联,输出通道数为64,并作为下一个卷积层的输入;
卷积层9:卷积核大小3×3,卷积核个数为32,卷积步长为1,填充为相同;通道校正卷积9:输出通道数为32;卷积层10:卷积核大小3×3,卷积核个数为3,卷积步长为1,填充为相同,并作为下一个卷积层的输入;
通道校正卷积的具体过程为:将输入通过带有激活函数的1×1卷积后分别通过两个分支,每个分支上的通道数为输入的一半;其中一条分支包括色彩恢复块以及带有激活函数的3×3卷积;另外一条分支包括带有激活函数的3×3卷积,两条分支的输出相级联,并通过1×1卷积形成特征图,特征图与输入相加;
所述色彩恢复块将输入通过带有激活函数的3×3卷积,然后并行通过全局平均池化和全局最大池化,分别经过多层感知器生成特征向量,相加后通过sigmoid激活函数获得通道注意力特征图;同时将输入通过带有激活函数的1×1卷积后与通道注意力特征图相乘;通过带有激活函数的1×1卷积恢复为输入时的通道数;
步骤3:确定优化器和损失函数,使用校园数据集对卷积神经网络模型进行训练,构建的损失函数为:
L=l1+λlSobel,
其中,λ为0.1;
l1损失为:
l1=||IEn-I||1,
IEn表示增强的图像,I表示原始图像;
Sobel损失函数lSobel:
Gx和Gy分别代表着水平和垂直的算子,IgEn和Ig分别代表着增强的图像IEn和原始图像I的灰度图像;
步骤4:将待重建图像输入训练好的卷积神经网络模型获得清晰图像。
2.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法,其特征在于,在正常光图像采集场景中,将透射率为10%的中性滤光片放在镜头前采集的图像为低照度图像。
3.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法,其特征在于,3×3卷积的通道数为输入的一半。
4.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法,其特征在于,1×1卷积通道数为输入的一半。
5.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法,其特征在于,所述多层感知器由两个全连接层组成,第一个为带有激活函数的全连接层,输出通道数为输入的八分之一,第二个全连接层输出通道恢复到输入通道数。
6.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法,其特征在于,使用ADAM优化器处理损失函数,训练的次数设置为2000次。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110566534.0A CN113379861B (zh) | 2021-05-24 | 2021-05-24 | 基于色彩恢复块的彩色微光图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110566534.0A CN113379861B (zh) | 2021-05-24 | 2021-05-24 | 基于色彩恢复块的彩色微光图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113379861A CN113379861A (zh) | 2021-09-10 |
CN113379861B true CN113379861B (zh) | 2023-05-09 |
Family
ID=77571743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110566534.0A Active CN113379861B (zh) | 2021-05-24 | 2021-05-24 | 基于色彩恢复块的彩色微光图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113379861B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114757854B (zh) * | 2022-06-15 | 2022-09-02 | 深圳市安星数字系统有限公司 | 基于多光谱分析的夜视图像质量提升方法、装置、设备 |
CN115587950B (zh) * | 2022-11-03 | 2023-09-26 | 昆山腾云达信息咨询技术服务中心(有限合伙) | 一种微光增强色彩恢复方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079764B (zh) * | 2019-12-06 | 2023-04-07 | 深圳久凌软件技术有限公司 | 一种基于深度学习的低照度车牌图像识别方法及装置 |
CN111612722B (zh) * | 2020-05-26 | 2023-04-18 | 星际(重庆)智能装备技术研究院有限公司 | 基于简化Unet全卷积神经网络的低照度图像处理方法 |
CN112258563A (zh) * | 2020-09-23 | 2021-01-22 | 成都旷视金智科技有限公司 | 图像对齐方法、装置、电子设备及存储介质 |
-
2021
- 2021-05-24 CN CN202110566534.0A patent/CN113379861B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113379861A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
Xu et al. | Structure-texture aware network for low-light image enhancement | |
CN114119378A (zh) | 图像融合方法、图像融合模型的训练方法和装置 | |
CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
CN113379861B (zh) | 基于色彩恢复块的彩色微光图像重建方法 | |
CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
CN115880225A (zh) | 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法 | |
CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
CN117391981A (zh) | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 | |
Ke et al. | Edllie-net: Enhanced deep convolutional networks for low-light image enhancement | |
CN117974459A (zh) | 一种融合物理模型和先验的低照度图像增强方法 | |
Zhu et al. | Near-infrared and visible fusion for image enhancement based on multi-scale decomposition with rolling WLSF | |
CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
Wang et al. | PMSNet: Parallel multi-scale network for accurate low-light light-field image enhancement | |
CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
CN114897718B (zh) | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 | |
CN116229081A (zh) | 基于注意力机制的无人机全景图像去噪方法 | |
Yan et al. | Highly dynamic X-ray image enhancement based on generative adversarial network | |
CN106952243A (zh) | Uuv近海面红外图像自适应归并直方图拉伸增强方法 | |
Bennur et al. | Lca-net: Light convolutional autoencoder for image dehazing | |
CN112487947A (zh) | 基于图像融合与目标检测网络的低照度图像目标检测方法 | |
Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |