CN113379861A - 基于色彩恢复块的彩色微光图像重建方法 - Google Patents

基于色彩恢复块的彩色微光图像重建方法 Download PDF

Info

Publication number
CN113379861A
CN113379861A CN202110566534.0A CN202110566534A CN113379861A CN 113379861 A CN113379861 A CN 113379861A CN 202110566534 A CN202110566534 A CN 202110566534A CN 113379861 A CN113379861 A CN 113379861A
Authority
CN
China
Prior art keywords
convolution
layer
multiplied
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110566534.0A
Other languages
English (en)
Other versions
CN113379861B (zh
Inventor
张闻文
何锦成
何伟基
陈钱
顾国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110566534.0A priority Critical patent/CN113379861B/zh
Publication of CN113379861A publication Critical patent/CN113379861A/zh
Application granted granted Critical
Publication of CN113379861B publication Critical patent/CN113379861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于色彩恢复块的彩色微光图像重建方法，属于数字图像处理领域。本发明用色彩恢复块代替自我校正卷积里的池化和上采样等处理机制形成通道校正卷积，然后将通道校正卷积代替U‑Net网络中的传统卷积，用以颜色恢复和保留更多图像信息；同时增加Sobel损失函数旨在抑制噪声并保护图像细节。本发明不仅能够提高亮度、对比度、抑制噪声和避免颜色失真，还能减少运行时间。

Description

基于色彩恢复块的彩色微光图像重建方法
技术领域
本发明属于图像处理技术领域，具体为一种基于色彩恢复块的彩色微光图像重建方法。
背景技术
夜视技术是通过光电成像器件来探测夜间目标的技术，它能通过光探测器和成像设备的采集、处理和显示等过程将肉眼在夜间无法辨别的目标转换成可视目标。传统的夜视技术包括了微光夜视和红外夜视，其成像均为单色图像，由于人眼能分辨的颜色等级是灰度等级的几百倍，随着夜视技术的发展和传感器成本的降低，人们致力于将单色夜视图像彩色化，以利用人眼视觉特性，更有效获取目标场景信息。
以往的彩色夜视是利用不同波段的信号产生的图像融合成彩色图像或者通过颜色传递的方法，产生的彩色图像不自然，不能反映景物在白天所呈现的真实颜色信息。现如今真彩色夜视技术得到的图像与白天看到物体的颜色相一致，更加接近物体的真实颜色，与人眼的主观视觉相一致，能够提高目标的识别率，具有很高的应用价值。因此，真彩色微光图像一直都是夜视领域的重点研究对象。
低照度图像增强方法大致分成两大类：传统的方法和基于深度学习的方法。传统的增强方法有基于直方图均衡化(HE)的方法。该方法通过拉伸图像的灰度值分布来提高图像的对比度。随着HE的发展，基于不同的额外的先验和限制的HE方法被提出。受到早期视觉系统的启发，另一种策略就是基于Retinex理论的方法。该理论认为一个图像是由反射图和光照图组成的。经典的算法有单尺度Retinex(SSR)、多尺度Retinex(MSR)使用光照图来进行低照度图像增强。Dong等人则是采用去雾的方法。最近基于深度学习的方法在图像去模糊，图像增强，图像去噪等图像处理方面获得了巨大的成功。基于深度学习的可以分成监督学习和无监督学习。监督学习则是在训练过程中需要成对的低照度图像和参考图像；而无监督学习则只需要低照度图像。但是为了抑制低照度图像的噪声，一些方法是在低照度图像增强后进行降噪，这样降噪之前的增强会使噪声放大；还有的方法是在增强前进行降噪，这样会将一些图像细节信息进行消除，导致图像模糊。此外，分两步进行还会增加处理时间，影响实时性。
发明内容
本发明的目的在于提出了一种基于色彩恢复块的彩色微光图像重建方法，以解决现有的低照度图像增强方法中存在的噪声、颜色恢复和实时性等问题。
实现本发明目的的技术方案为：一种基于色彩恢复块的彩色微光图像重建方法，具体步骤为：
步骤1：在室内和室外采集低照度图像和正常光图像，由低照度图像和对应的正常光图像生成校园数据集；
步骤2：构建用于端对端训练的卷积神经网络模型，所述卷积神经网络模型包括输入层、隐藏层、输出层，所述输入层用于输入目标低照度图像，所述隐藏层用于对输入图像进行卷积计算及反卷积计算，输出层用于输出结果，输入层、隐藏层、输出层之间通过激活函数连接在一起；
步骤3：确定优化器和损失函数，使用校园数据集对卷积神经网络模型进行训练；
步骤4：将待重建图像输入训练好的卷积神经网络模型获得清晰图像。
优选地，在正常光图像采集场景中，将透射率为10％的中性滤光片放在镜头前采集的图像为低照度图像。
优选地，所述隐藏层包括编码器和解码器，具体结构为：
卷积层1：卷积核大小3×3，卷积核个数为32，卷积步长为1，填充为相同；通道校正卷积1：输出通道数为32；池化层1：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层2：卷积核大小3×3，卷积核个数为64，卷积步长为1，填充为相同；通道校正卷积2：输出通道数为64；池化层2：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层3：卷积核大小3×3，卷积核个数为128，卷积步长为1，填充为相同；通道校正卷积3：输出通道数为128；池化层3：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层4：卷积核大小3×3，卷积核个数为256，卷积步长为1，填充为相同；通道校正卷积层4：输出通道数为256；池化层4：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层5：卷积核大小3×3，卷积核个数为512，卷积步长为1，填充为相同；通道校正卷积5：输出通道数为512；上采样及级联层5：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层4级联，输出通道数为512，并作为下一个卷积层的输入；
卷积层6：卷积核大小3×3，卷积核个数为256，卷积步长为1，填充为相同；通道校正卷积6：输出通道数为256；上采样及级联层6：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层3级联，输出通道数为256，并作为下一个卷积层的输入；
卷积层7：卷积核大小3×3，卷积核个数为128，卷积步长为1，填充为相同；通道校正卷积7：输出通道数为128；上采样及级联层7：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层2级联，输出通道数为128，并作为下一个卷积层的输入；
卷积层8：卷积核大小3×3，卷积核个数为64，卷积步长为1，填充为相同；通道校正卷积8：输出通道数为64；上采样及级联层8：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层1级联，输出通道数为64，并作为下一个卷积层的输入；
卷积层9：卷积核大小3×3，卷积核个数为32，卷积步长为1，填充为相同；通道校正卷积9：输出通道数为32；卷积层10：卷积核大小3×3，卷积核个数为3，卷积步长为1，填充为相同，并作为下一个卷积层的输入。
优选地，通道校正卷积的具体过程为：将输入通过带有激活函数的1×1卷积后分别通过两个分支，每个分支上的通道数为输入的一半；其中一条分支包括色彩恢复块以及带有激活函数的3×3卷积；另外一条分支包括带有激活函数的3×3卷积，两条分支的输出相级联，并通过1×1卷积形成特征图，特征图与输入相加。
优选地，所述色彩恢复块将输入通过带有激活函数的3×3卷积，然后并行通过全局平均池化和全局最大池化，分别经过多层感知器生成特征向量，相加后通过sigmoid激活函数获得通道注意特征图；同时将输入通过带有激活函数的1×1卷积后与通道注意特征图相乘；通过带有激活函数的1×1卷积恢复为输入时的通道数。
优选地，3×3卷积的通道数为输入的一半。
优选地，1×1卷积通道数为输入的一半。
优选地，所述多层感知器由两个全连接层组成，第一个为带有激活函数的全连接层，输出通道数为输入的八分之一，第二个全连接层输出通道恢复到输入通道数。
优选地，构建的损失函数为：
L＝l1+λlSobel,
其中，λ为0.1；
l1损失为：
l1＝||IEn-I||1,
IEn表示增强的图像，I表示原始图像；
Sobel损失函数lSobel：
Figure BDA0003080933730000041
Figure BDA0003080933730000042
Figure BDA0003080933730000043
Gx和Gy分别代表着水平和垂直的算子，IgEn和Ig分别代表着增强的图像IEn和原始图像I的灰度图像。
本发明与现有技术相比，其显著优点为：本发明真实采集了低照度图像数据对，采用基于Sobel算子的损失函数，有效抑制了噪声；本发明中色彩恢复块用来恢复图像的颜色信息，用色彩恢复块代替自我校正卷积里的池化和上采样等处理机制形成通道校正卷积，并将通道校正卷积代替U-Net网络中的传统卷积，能够更好呈现细节特征，保留丰富的信息；本发明增强和降噪同时处理，既能有效处理低照度图像的亮度、对比度、颜色等问题，又能减少处理的时间。
附图说明
图1为卷积神经网络结构示意图。
图2为通道校正卷积示意图。
图3为色彩恢复块示意图。
图4为不同方法处理后的可视化效果对比图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于色彩恢复块的彩色微光图像重建方法，具体步骤为：
步骤1：在室内和室外采集低照度图像和正常光图像，由低照度图像和对应的正常光图像生成校园数据集。
采集校园数据集的步骤包括：
首先选取拍摄场景，固定相机保持不动，用电脑控制相机的采集程序；
然后先采集正常光的参考图像；再将透射率为10％的中性滤光片放在镜头前采集低照度图像；
在室内和室外选取不同的场景进行图像的采集，得到校园数据集；
在某些实施例中，对校园数据集的进行筛选和整理后，选取了585张图像用来训练，18张用来验证，拍摄图像的分辨率为1280×1024。
步骤2：构建用于端对端训练的卷积神经网络模型，所述卷积神经网络模型包括输入层、隐藏层、输出层。输入层用于输入目标低照度图像，隐藏层用于对输入图像进行卷积计算及反卷积计算，输出层用于输出结果，输入层、隐藏层、输出层之间通过激活函数连接在一起。
进一步地，所述输入层用于接收3通道的低照度图像；
进一步地，所述隐藏层包括编码器和解码器，具体结构为：卷积层1：卷积核大小3×3，卷积核个数为32，卷积步长为1，填充为相同。通道校正卷积1：输出通道数为32；池化层1：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层2：卷积核大小3×3，卷积核个数为64，卷积步长为1，填充为相同；通道校正卷积2：输出通道数为64；池化层2：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层3：卷积核大小3×3，卷积核个数为128，卷积步长为1，填充为相同；通道校正卷积3：输出通道数为128；池化层3：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层4：卷积核大小3×3，卷积核个数为256，卷积步长为1，填充为相同；通道校正卷积层4：输出通道数为256；池化层4：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层5：卷积核大小3×3，卷积核个数为512，卷积步长为1，填充为相同；通道校正卷积5：输出通道数为512；上采样及级联层5：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层4级联，输出通道数为512，并作为下一个卷积层的输入；
卷积层6：卷积核大小3×3，卷积核个数为256，卷积步长为1，填充为相同；通道校正卷积6：输出通道数为256；上采样及级联层6：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层3级联，输出通道数为256，并作为下一个卷积层的输入；
卷积层7：卷积核大小3×3，卷积核个数为128，卷积步长为1，填充为相同；通道校正卷积7：输出通道数为128；上采样及级联层7：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层2级联，输出通道数为128，并作为下一个卷积层的输入；
卷积层8：卷积核大小3×3，卷积核个数为64，卷积步长为1，填充为相同；通道校正卷积8：输出通道数为64；上采样及级联层8：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层1级联，输出通道数为64，并作为下一个卷积层的输入；
卷积层9：卷积核大小3×3，卷积核个数为32，卷积步长为1，填充为相同；通道校正卷积9：输出通道数为32；卷积层10：卷积核大小3×3，卷积核个数为3，卷积步长为1，填充为相同，并作为下一个卷积层的输入；
所述输出层包括：卷积层10：卷积核大小3×3，卷积核个数为3，卷积步长为1，填充为相同；Sigmoid激活函数连接输出层，输出结果。
所述通道校正卷积是先将输入通过带有激活函数的1×1卷积分成两个分支，每个分支上的通道数为输入的一半；上分支通过色彩恢复块然后再通过带有激活函数的3×3卷积；然后与下分支通过带有激活函数的3×3卷积的特征图相级联，最后再通过1×1卷积形成特征图。为了加速训练的速度，使用残差即与原来输入相加。
色彩恢复块是将输入图先通过带有激活函数的3×3卷积，通道数为输入的一半，并行通过全局平均池化和全局最大池化，然后经过多层感知器生成特征向量，相加后通过sigmoid激活函数获得通道注意特征图；然后将输入通过带有激活函数的1×1卷积，通道数还是为输入的一半，与通道注意特征图相乘；最后再通过带有激活函数的1×1卷积恢复为输入时的通道数；上述多层感知器为两个全连接层组成，第一个为带有激活函数的全连接层，输出通道数为原来的八分之一，第二个全连接层输出通道恢复到原来的通道数。
步骤3：确定优化器和损失函数，使用步骤1的校园数据集对步骤2中的网络模型进行训练，将数据集中的低照度图像输入到网络模型中，用正常光图像监督其训练：
1)本发明的激活函数都采用Leaky Relu函数，其表达式为f(x)＝max(0.2x,x)式中x为自然数。该激活函数可以避免梯度消失。
2)构建损失函数：
本发明中的损失函数如下：
L＝l1+λlSobel, (1)
其中λ为0.1。
l1损失如下所示
l1＝||IEn-I||1, (2)
IEn代表着增强的图像，I代表着原始图像。
为了抑制噪声并且突出输出图像的纹理结构，因此基于Sobel损失函数如下：
Figure BDA0003080933730000071
Figure BDA0003080933730000072
Figure BDA0003080933730000081
Gx和Gy分别代表着水平和垂直的算子，IgEn和Ig分别代表着增强的图像IEn和原始图像I的灰度图像。
3)使用ADAM优化器处理损失函数，将训练的次数设置为2000次，学习率初始化为1e-4，在训练次数为1000时，学习率为1e-5。为了防止过拟合，将训练集随机裁剪，翻转和旋转以进行数据增强。设置的批量的大小为32，任意裁剪补丁的大小为256×256×3。输入图像被缩放到[0,1]。
步骤4：将待检测的低照度图像输入已经训练好的网络模型中，得到清晰的图像。
实施例
本发明的效果可以通过以下仿真实验进一步说明：
一、实验条件：
硬件平台：处理器英特尔Core i9-9900K@3.6GHz和NvidiaRTX2080Ti；
软件仿真平台：Ubuntu18.0464位操作系统，Vscode开发平台；
软件仿真语言：Python；
深度学习框架：Tensorflow；
二、仿真对比实验：
为了验证本发明的有效性，与Dong方法、LIME方法、RetinexNet方法进行对比试验。图4为效果图。图(a)为低照度图像，图(b)为正常光的参考图像，图(c)为Dong方法的结果，图(d)为LIME方法的结果，图(e)为RetinexNet方法的结果，图(f)为本发明的结果。如图所示可以看出本发明的方法能够获得更好的视觉效果，提高了低照度图像的亮度、对比度，恢复了图像的颜色和细节，避免了颜色失真，噪声明显减少，更加接近参考图像。从图(c)可以看出，Dong方法不能有效提高图像的亮度，并且自行车上的细节和车篮不能够有效恢复。从图(d)可以看出，LIME方法会使图像整体偏亮，容易出现过度增强的现象，同时也放大了噪声。从图(e)可以看出，RetinexNet产生了曝光过度的伪影，出现了严重的颜色失真的现象，成像效果较差。尽管大部分的算法能够恢复图像的亮度，但是还是无法抑制噪声，出现颜色失真的情况。
采用峰值信噪比(PSNR)，结构相似性(SSIM)，无参考评价指标信息熵(InEn)，自然图像质量评估器(NIQE)进行客观评价。从表2中可以看出，本发明的方法在PSNR、SSIM都优于其他的算法，说明该算法更加接近参考图像，能够有效恢复图像细节和颜色，验证了该算法的有效性。在InEn指标上，所提算法对比之下最优，恢复的图像信息更多。在无参考评价指标NIQE下，所提算法获得的指标最小，恢复得更加自然。从表3中可以看出，对于处理320×256和640×512分辨率的图像，本发明具有实时性，但处理1280×1024分辨率的图像时，本发明与RetinexNet处理的速度一样，一张图像需要0.10s，优于其他算法。
表2不同算法在测试图上的定量对比
Figure BDA0003080933730000091
表3各算法的运行时间(单位：秒)
Figure BDA0003080933730000092

Claims (10)

1.一种基于色彩恢复块的彩色微光图像重建方法，其特征在于，具体步骤为：
步骤1：在室内和室外采集低照度图像和正常光图像，由低照度图像和对应的正常光图像生成校园数据集；
步骤2：构建用于端对端训练的卷积神经网络模型，所述卷积神经网络模型包括输入层、隐藏层、输出层，所述输入层用于输入目标低照度图像，所述隐藏层用于对输入图像进行卷积计算及反卷积计算，输出层用于输出结果，输入层、隐藏层、输出层之间通过激活函数连接在一起；
步骤3：确定优化器和损失函数，使用校园数据集对卷积神经网络模型进行训练；
步骤4：将待重建图像输入训练好的卷积神经网络模型获得清晰图像。
2.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，在正常光图像采集场景中，将透射率为10％的中性滤光片放在镜头前采集的图像为低照度图像。
3.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，所述隐藏层包括编码器和解码器，具体结构为：
卷积层1：卷积核大小3×3，卷积核个数为32，卷积步长为1，填充为相同；通道校正卷积1：输出通道数为32；池化层1：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层2：卷积核大小3×3，卷积核个数为64，卷积步长为1，填充为相同；通道校正卷积2：输出通道数为64；池化层2：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层3：卷积核大小3×3，卷积核个数为128，卷积步长为1，填充为相同；通道校正卷积3：输出通道数为128；池化层3：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层4：卷积核大小3×3，卷积核个数为256，卷积步长为1，填充为相同；通道校正卷积层4：输出通道数为256；池化层4：选择最大池化，大小为2×2，步长为2，填充为相同；
卷积层5：卷积核大小3×3，卷积核个数为512，卷积步长为1，填充为相同；通道校正卷积5：输出通道数为512；上采样及级联层5：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层4级联，输出通道数为512，并作为下一个卷积层的输入；
卷积层6：卷积核大小3×3，卷积核个数为256，卷积步长为1，填充为相同；通道校正卷积6：输出通道数为256；上采样及级联层6：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层3级联，输出通道数为256，并作为下一个卷积层的输入；
卷积层7：卷积核大小3×3，卷积核个数为128，卷积步长为1，填充为相同；通道校正卷积7：输出通道数为128；上采样及级联层7：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层2级联，输出通道数为128，并作为下一个卷积层的输入；
卷积层8：卷积核大小3×3，卷积核个数为64，卷积步长为1，填充为相同；通道校正卷积8：输出通道数为64；上采样及级联层8：卷积核大小为2×2，对图像的行列进行两倍翻倍，并与通道校正卷积层1级联，输出通道数为64，并作为下一个卷积层的输入；
卷积层9：卷积核大小3×3，卷积核个数为32，卷积步长为1，填充为相同；通道校正卷积9：输出通道数为32；卷积层10：卷积核大小3×3，卷积核个数为3，卷积步长为1，填充为相同，并作为下一个卷积层的输入。
4.根据权利要求3所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，通道校正卷积的具体过程为：将输入通过带有激活函数的1×1卷积后分别通过两个分支，每个分支上的通道数为输入的一半；其中一条分支包括色彩恢复块以及带有激活函数的3×3卷积；另外一条分支包括带有激活函数的3×3卷积，两条分支的输出相级联，并通过1×1卷积形成特征图，特征图与输入相加。
5.根据权利要求4所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，所述色彩恢复块将输入通过带有激活函数的3×3卷积，然后并行通过全局平均池化和全局最大池化，分别经过多层感知器生成特征向量，相加后通过sigmoid激活函数获得通道注意特征图；同时将输入通过带有激活函数的1×1卷积后与通道注意特征图相乘；通过带有激活函数的1×1卷积恢复为输入时的通道数。
6.根据权利要求5所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，3×3卷积的通道数为输入的一半。
7.根据权利要求5所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，1×1卷积通道数为输入的一半。
8.根据权利要求5所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，所述多层感知器由两个全连接层组成，第一个为带有激活函数的全连接层，输出通道数为输入的八分之一，第二个全连接层输出通道恢复到输入通道数。
9.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，构建的损失函数为：
L＝l1+λlSobel,
其中，λ为0.1；
l1损失为：
l1＝||IEn-I||1,
IEn表示增强的图像，I表示原始图像；
Sobel损失函数lSobel：
Figure FDA0003080933720000031
Figure FDA0003080933720000032
Figure FDA0003080933720000033
Gx和Gy分别代表着水平和垂直的算子，IgEn和Ig分别代表着增强的图像IEn和原始图像I的灰度图像。
10.根据权利要求1所述的基于色彩恢复块的彩色微光图像重建方法，其特征在于，使用ADAM优化器处理损失函数，训练的次数设置为2000次。
CN202110566534.0A 2021-05-24 2021-05-24 基于色彩恢复块的彩色微光图像重建方法 Active CN113379861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110566534.0A CN113379861B (zh) 2021-05-24 2021-05-24 基于色彩恢复块的彩色微光图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110566534.0A CN113379861B (zh) 2021-05-24 2021-05-24 基于色彩恢复块的彩色微光图像重建方法

Publications (2)

Publication Number Publication Date
CN113379861A true CN113379861A (zh) 2021-09-10
CN113379861B CN113379861B (zh) 2023-05-09

Family

ID=77571743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110566534.0A Active CN113379861B (zh) 2021-05-24 2021-05-24 基于色彩恢复块的彩色微光图像重建方法

Country Status (1)

Country Link
CN (1) CN113379861B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757854A (zh) * 2022-06-15 2022-07-15 深圳市安星数字系统有限公司 基于多光谱分析的夜视图像质量提升方法、装置、设备
CN115587950A (zh) * 2022-11-03 2023-01-10 昆山腾云达信息咨询技术服务中心(有限合伙) 一种微光增强色彩恢复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置
CN111612722A (zh) * 2020-05-26 2020-09-01 星际（重庆）智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN112258563A (zh) * 2020-09-23 2021-01-22 成都旷视金智科技有限公司 图像对齐方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置
CN111612722A (zh) * 2020-05-26 2020-09-01 星际（重庆）智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN112258563A (zh) * 2020-09-23 2021-01-22 成都旷视金智科技有限公司 图像对齐方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757854A (zh) * 2022-06-15 2022-07-15 深圳市安星数字系统有限公司 基于多光谱分析的夜视图像质量提升方法、装置、设备
CN114757854B (zh) * 2022-06-15 2022-09-02 深圳市安星数字系统有限公司 基于多光谱分析的夜视图像质量提升方法、装置、设备
CN115587950A (zh) * 2022-11-03 2023-01-10 昆山腾云达信息咨询技术服务中心(有限合伙) 一种微光增强色彩恢复方法
CN115587950B (zh) * 2022-11-03 2023-09-26 昆山腾云达信息咨询技术服务中心(有限合伙) 一种微光增强色彩恢复方法

Also Published As

Publication number Publication date
CN113379861B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Liu et al. End-to-end single image fog removal using enhanced cycle consistent adversarial networks
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111402146B (zh) 图像处理方法以及图像处理装置
Xu et al. Structure-texture aware network for low-light image enhancement
CN114119378A (zh) 图像融合方法、图像融合模型的训练方法和装置
CN112184604B (zh) 一种基于图像融合的彩色图像增强方法
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法
CN115880225A (zh) 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法
CN113450290A (zh) 基于图像修补技术的低照度图像增强方法及系统
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN115063331A (zh) 基于多尺度块lbp算子无鬼影多曝光图像融合算法
Li et al. Adaptive weighted multiscale retinex for underwater image enhancement
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
US20230325974A1 (en) Image processing method, apparatus, and non-transitory computer-readable medium
CN116229081A (zh) 基于注意力机制的无人机全景图像去噪方法
CN115760640A (zh) 基于含噪Retinex模型的煤矿低光照图像增强方法
Wang et al. Nighttime image dehazing using color cast removal and dual path multi-scale fusion strategy
CN115018717A (zh) 一种改进Retinex-Net低照度及暗视觉图像增强方法
Bhattacharya et al. D2bgan: A dark to bright image conversion model for quality enhancement and analysis tasks without paired supervision
CN113935910A (zh) 一种基于深度学习的图像模糊长度测量方法
CN112487947A (zh) 基于图像融合与目标检测网络的低照度图像目标检测方法
CN115457265B (zh) 基于生成对抗网络和多尺度融合的图像去雾方法及系统
Kim Improvement of low-light image by convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant