CN111242868A - 暗视觉环境下基于卷积神经网络的图像增强方法 - Google Patents

暗视觉环境下基于卷积神经网络的图像增强方法 Download PDF

Info

Publication number
CN111242868A
CN111242868A CN202010049736.3A CN202010049736A CN111242868A CN 111242868 A CN111242868 A CN 111242868A CN 202010049736 A CN202010049736 A CN 202010049736A CN 111242868 A CN111242868 A CN 111242868A
Authority
CN
China
Prior art keywords
image
layer
function
convolution
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010049736.3A
Other languages
English (en)
Other versions
CN111242868B (zh
Inventor
赵志强
赵颖
向丽娟
张琴
祝政
钱鹰
崔一辉
吴勇
赵春泽
叶顺安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010049736.3A priority Critical patent/CN111242868B/zh
Publication of CN111242868A publication Critical patent/CN111242868A/zh
Application granted granted Critical
Publication of CN111242868B publication Critical patent/CN111242868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉、深度学习领域，具体设涉及一种暗视觉环境下基于卷积神经网络的图像增强方法，该方法包括：获取原始图像数据和暗视觉环境下的图像数据；将获取的数据分为训练集和测试集，采用训练集的数据训练改进的卷积神经网络模型；采用测试集的数据进行网络性能测试；将暗视觉环境下的图像数据输入图像分解网络中，得到分解出的亮度通道图像；将暗视觉环境下的图像数据和亮度通道图像输入到改进的卷积神经网络模型中，得到暗视觉环境下采集图像的增强图像；通过本发明，能够对暗视觉环境下获取的图像进行增强；增强后的图像清晰，便于人们可以明确辨认图像中的细节内容。

Description

暗视觉环境下基于卷积神经网络的图像增强方法
技术领域
本发明涉及计算机视觉、深度学习领域，具体设涉及一种暗视觉环境下基于卷积神经网络的图像增强方法。
背景技术
在生活中，为了出行安全或是交通安全，人们在住宅小区和交通枢纽处安装了视频监控设备，捕捉图像，获得信息。但是在恶劣天气或是在暗视觉环境下，拍摄及捕捉到的图像大多具有模糊、噪声和对比度较低等特点，这不仅影响人的视觉系统对所需信息的正常获取，给生活带来诸多不便，同时也会影响后续的图像处理效果，如特征提取、图像分割和图像识别等。因此在暗视觉环境下进行图像增强有很大的实际意义。这可以提升图像的对比度，来使图像实现清晰化，满足人们肉眼观看的要求。使图像中重要的信息凸显出来，而削弱或消除人们不需要或是不关心的信息，来增大原始图像中不同物体特征之间的差异，改善人眼对原始图像的视觉效果，以便于进行后续的相关图像处理。
近年来，人们对暗视觉图像的增强方法进行了大量的研究，现有的图像增强算法主要分为两类，一类是基于图像处理技术的非物理模型算法，例如：直方图均衡化、基于Retinex理论的图像增强以及基于人类视觉系统的图像复原算法的方法。另一类是基于物理模型(主要是大气散射模型)的算法。这些方法在许多方面都取得了很好的效果，但是仍然存在不足，例如处理后的图像中存在点光源时，并且算法效率低，无法用于实时处理中，颜色失真严重，计算量过大等问题。
发明内容
为解决以上现有技术的问题，发明了一种暗视觉环境下基于卷积神经网络的图像增强方法，该方法包括：
S1：获取原始图像数据和暗视觉环境下的图像数据；
S2：将获取的数据分为训练集和测试集，采用训练集的数据训练改进的卷积神经网络模型；采用测试集的数据进行卷积神经网络性能测试；
S3：将暗视觉环境下的图像数据输入图像分解网络中，得到分解出的亮度通道图像；
S4：将暗视觉环境下的图像数据和亮度通道图像输入到改进的卷积神经网络模型中，得到暗视觉环境下采集图像的增强图像。
优选的，改进的卷积神经网络包括：图像生成网络以及判别器网络；
图像生成网络采用自编码网络结构，包括编码器和解码器两个部分，共十二个卷积层，编码器和解码器各包含六个卷积层；
判别器网络的结构为卷积层和全连接层相结合的结构；判别器网络包括五个卷积层和四个BN层和一个全连接层。
优选的，编码器的结构包括：编码器第一层为一个卷积层，卷积核个数为3，卷积窗口的大小为9*9，激活函数为relu函数，步长为1；第二层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五、六层卷积核的个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1，其中每个卷积层后均设置有一个BN层。
优选的，解码器的结构包括：解码器的第一、二层卷积核个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第六层卷积层的个数为3个，卷积窗口的大小为1*1，激活函数为relu 函数，步长为1，其中每个卷积层后均有一个BN层。
优选的，判别器网络的第一层为卷积层，卷积核个数为48，卷积窗口的大小为11*11，激活函数为lrelu函数；第二层为卷积层，卷积核个数为128，卷积窗口的大小为5*5，激活函数为lrelu函数；第三层为BN层；第四层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第五层为 BN层；第六层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第七层为BN层；第八层为卷积层，卷积核个数为128，卷积窗口的大小为3*3，激活函数为lrelu函数；第九层为BN层；第十层为全连接层，激活函数为lrelu函数，输出一个概率值。
优选的，图像生成网络的输入包括获取的暗视觉环境下的图像和提取出的亮通道图像构成，两张图像进行连接后输入到图像生成网络中，其中，由图像生成网络生成的增强图像和正常光照下的图像分别进行高斯模糊操作，构建颜色损失函数；将增强图像与正常光照下的图像转换为灰度图，再输入判别器网络，构建纹理损失函数；将正常光照下的图像和增强图像输入VGG-19网络中，构建内容损失函数；在图像生成网络构建了总体损失函数，加强图像的空间平滑性；整个卷积神经网络的损失函数为上述的损失函数的权重之和，通过求取卷积神经网络的整体损失函数得到暗视觉环境下图像的增强图像。
进一步的，卷积神经网络的整体损失函数的表达式为：
Ltotal＝β1Lcolor+β2Lcontent+β3Ltexture+β4Ltv
本发明通过对卷积神经网络中的图像生成网络进行改进，优化了暗视觉环境下图像处理的过程，得到更好的暗视觉环境下的图像信息；本发明通过针对图像的不同特征，分别构建不同的损失函数，对图像进行更全面细致的描述和训练。
附图说明
图1为本发明的流程示意图；
图2为本发明的逻辑示意图；
图3为本发明整体模型结构图；
图4为本发明在暗视觉环境下采集到的图像；
图5为本发明进行图像增强后的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种暗视觉环境下基于卷积神经网络的图像增强方法，如图1所示，该方法包括：
S1：获取原始图像数据和暗视觉环境下的图像数据；
S2：将获取的数据分为训练集和测试集，采用训练集的数据训练改进的卷积神经网络模型；采用测试集的数据进行卷积神经网络性能测试；
S3：将暗视觉环境下的图像数据输入图像分解网络中，得到分解出的亮度通道图像；
S4：将暗视觉环境下的图像数据和亮度通道图像输入到改进的卷积神经网络模型中，得到暗视觉环境下采集图像的增强图像。
如图2所示，用图像采集设备分别采集正常光照下的图像和暗视觉环境下的图像，再将暗视觉环境下的图像与它的亮度通道图像输入到生成网络中，最后对输出结果进行保存。
获取原始图像数据和暗视觉环境下的图像数据包括：在夜晚，选择一间避免外界光照干扰的房间，通过开关灯操作模拟正常光照下场景和暗视觉场景，获取相匹配的图像对作为本发明中所需要的图像训练数据集(正常光照下的图像与暗视觉环境下的图像是同一场景下的图像对)；
或者通过图像采集设备获取不同曝光程度的图像对，然后应用图像融合的方法对不同曝光程度的图像进行融合，获取正常光照下的图像，而低曝光的图像用于模拟暗视觉环境下的图像。
对获取的数据进行预处理。所述获取的原始图像数据类型为RGB，将原始图像的像素值归一化到[0,1]之间。
其中，RGB表示彩色图像的类型。
所述卷积神经网络由图像生成网络以及判别器网络组成。
图像生成网络采用自编码网络结构，包括编码器和解码器两个部分，共十二个卷积层，编码器和解码器各包含六个卷积层。
编码器第一层为一个卷积层，卷积核个数为3，卷积窗口的大小为9*9，激活函数为relu函数，步长为1；第二层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为256 个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五、六层卷积核的个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1，其中每个卷积层后均有一个BN层。
其中，relu表示线性整流函数(Rectuified Linear Unit)，BN表示批量归一化(Batch Normalization)。
解码器的第一、二层卷积核个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为256个，卷积窗口的大小为 3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五层卷积层的个数为64 个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第六层卷积层的个数为3个，卷积窗口的大小为1*1，激活函数为relu函数，步长为1，其中每个卷积层后均设置有一个BN层。
解码器的第二、三、四、五、六层分别和编码器的第五、四、三、二、一层连接。
判别器网络的结构为卷积层和全连接层相结合的结构；判别器网络包括五个卷积层和四个BN层和一个全连接层：第一层为卷积层，卷积核个数为48，卷积窗口的大小为11*11，激活函数为lrelu函数；第二层为卷积层，卷积核个数为128，卷积窗口的大小为5*5，激活函数为lrelu函数；第三层为BN层；第四层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu 函数；第五层为BN层；第六层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第七层为BN层；第八层为卷积层，卷积核个数为128，卷积窗口的大小为3*3，激活函数为lrelu函数；第九层为BN层；第十层为全连接层，激活函数为lrelu函数，输出一个概率值，通过概率值判断输入的图像是增强后的图像还是真实的图像(真实的图像是指正常光照下拍摄的图像)。
其中，lrelu表示表示带泄露线性整流函数(Leaky Rectuified Linear Unit)。
针对暗视觉环境下的图像特点，结合Retinex算法理论，在图像进行增强处理之前，将图像数据分解出亮度通道作为照明(illumination)图像，作为暗视觉图像的亮度通道图像。
如图3所示，将模拟暗视觉环境下的图像和提取出的亮通道图像连接后输入到图像生成网络中，通过图像生成网络生成增强图像；由判别器网络区分出输入图像是增强图像还是正常光照下的的图像。
图像生成网络的输入包括获取的暗视觉环境下的图像和提取出的亮通道图像，两张图像进行连接后输入到图像生成网络中，其中，由图像生成网络生成的增强图像和正常光照下的图像分别进行高斯模糊操作，构建颜色损失函数；将增强图像与正常光照下的图像转换为灰度图，再输入判别器网络，构建纹理损失函数；将正常光照下的图像和增强图像输入VGG-19网络中，构建内容损失函数；在图像生成网络构建总体损失函数，加强图像的空间平滑性；整个卷积神经网络的损失函数为上述的损失函数的权重之和；通过求取卷积神经网络的整体损失函数得到暗视觉环境下图像的增强图像。
其中，VGG-19表示深度卷积神经网络。
在卷积神经网络构建四个损失函数，包括颜色损失函数Lcolor、内容损失函数Lcontent、纹理损失函数Ltexture和总体变化损失函数Ltv。
Lcolor是分别对增强图像和正常光照下的图像进行高斯模糊，再由两幅图的颜色直方图构建出损失函数，其表达式为：
Figure BDA0002370710440000071
其中，FW(Ib)′和It′分别是增强图像和正常光照下的图像的高斯模糊后的图像，FW(Ib)表示将暗视觉环境下的图像输入到生成网络中得到的图像，It表示正常光照下的图像。
Lcontent是利用VGG-19网络的特征提取和图像识别功能构建出的内容损失函数，其表达式为：
Figure BDA0002370710440000072
其中，Fw是图像生成网络函数，C、H、W分别是‘conv5_4’的特征映射尺寸，con5_4表示第五个卷积模块的第四个卷积层，Tj表示权重。
纹理损失函数Ltexture的表达式为：
Figure BDA0002370710440000073
其中，D是鉴别网络，Ib是暗视觉图像，It是正常光照下的图像。
总体变化损失函数Ltv的表达式为：
Figure BDA0002370710440000074
其中，
Figure BDA0002370710440000075
表示x方向梯度，
Figure BDA0002370710440000076
表示y方向梯度。
根据颜色损失函数Lcolor、内容损失函数Lcontent、纹理损失函数Ltexture和总体变化损失函数Ltv计算卷积神经网络的整体损失函数为：
Ltotal＝β1Lcolor+β2Lcontent+β3Ltexture+β4Ltv
其中，β1表示颜色损失函数的权重，β2表示内容损失函数的权重，β3表示纹理损失函数的权重，β4表示总体变化损失函数的权重。
鉴别网络的损失函数的表达式为：
Figure BDA0002370710440000081
其中，IH表示正常光照下的图像，IL表示暗视觉环境下的图像，
Figure BDA0002370710440000082
(·)表示表示判别器网络。
如图4所示，图为模拟暗视觉环境下的图像，图中的内容用肉眼已经看不清楚图像的部分细节，也不能辨认图像中部分物体的颜色。
如图5所示，为图4的暗视觉环境下的图像，将图像通过本发明处理后，图中反映出了图4中的图像信息，达到了图像增强的效果。区别于传统的图像增强方法，本方法采用机器学习的方法，通过图像采集设备获取拍摄图像的原始图像数据和暗视觉环境下图像；将获取的暗视觉图像输入到卷积神经网络框架中。其中，网络框架包括图像生成网络和判别器网络，互相训练学习，以达到图像增强的目的，使图像清晰化，满足人们肉眼观看的要求，得到最优的图像。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，包括：
S1：获取原始图像数据和暗视觉环境下的图像数据；
S2：将获取的数据分为训练集和测试集；采用训练集的数据训练改进的卷积神经网络模型；采用测试集的数据进行卷积神经网络性能测试；
S3：将暗视觉环境下的图像数据输入图像分解网络中，得到分解出的亮度通道图像；
S4：将暗视觉环境下的图像数据和亮度通道图像输入到改进的卷积神经网络模型中，得到暗视觉环境下采集图像的增强图像。
2.根据权利要求1所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述改进的卷积神经网络包括：图像生成网络以及判别器网络；
图像生成网络采用自编码网络结构，包括编码器和解码器，共十二个卷积层，编码器和解码器各包含六个卷积层；
判别器网络为卷积层和全连接层相结合的结构；判别器网络包括五个卷积层、四个BN层以及一个全连接层；
其中，BN表示批量归一化。
3.根据权利要求2所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述编码器的结构包括：
编码器第一层为一个卷积层，卷积核个数为3，卷积窗口的大小为9*9，激活函数为relu函数，步长为1；第二层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五、六层卷积核的个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1，其中每个卷积层后均有一个BN层；
其中，relu表示线性整流函数。
4.根据权利要求2所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述解码器的结构包括：
解码器的第一、二层卷积核个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第六层卷积层的个数为3个，卷积窗口的大小为1*1，激活函数为relu函数，步长为1，其中每个卷积层后均设置有一个BN层；
其中，relu表示线性整流函数。
5.根据权利要求2所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述判别器网络的结构包括：
判别器网络的第一层为卷积层，卷积核个数为48，卷积窗口的大小为11*11，激活函数为lrelu函数；第二层为卷积层，卷积核个数为128，卷积窗口的大小为5*5，激活函数为lrelu函数；第三层为BN层；第四层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第五层为BN层；第六层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第七层为BN层；第八层为卷积层，卷积核个数为128，卷积窗口的大小为3*3，激活函数为lrelu函数；第九层为BN层；第十层为全连接层，激活函数为lrelu函数，输出一个概率值；
其中，lrelu表示带泄露线性整流函数。
6.根据权利要求1所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述图像生成网络的输入包括获取的暗视觉环境下的图像和提取出的亮通道图像，两张图像进行连接后输入到图像生成网络中，其中，由图像生成网络生成的增强图像和正常光照下的图像分别进行高斯模糊操作，构建颜色损失函数；将增强图像与正常光照下的图像转换为灰度图，再输入判别器网络，构建纹理损失函数；将正常光照下的图像和增强图像输入VGG-19网络中，构建内容损失函数；在图像生成网络构建总体损失函数，加强图像的空间平滑性；整个卷积神经网络的损失函数为上述的损失函数的权重之和；通过求取卷积神经网络的整体损失函数得到暗视觉环境下图像的增强图像；
其中，VGG-19表示深度卷积神经网络。
7.根据权利要求6所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，卷积神经网络的整体损失函数的表达式为：
Ltotal＝β1Lcolor+β2Lcontent+β3Ltexture+β4Ltv
其中，β1表示颜色损失函数的权重，β2表示内容损失函数的权重，β3表示纹理损失函数的权重，β4表示总体变化损失函数的权重，Lcolor表示颜色损失函数，Lcontent表示内容损失函数，Ltexture表示纹理损失函数，Ltv表示总体变化损失函数。
8.根据权利要求1所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，判别网络的损失函数的表达式为：
Figure FDA0002370710430000031
其中，IH表示正常光照下的图像，IL表示暗视觉环境下的图像，
Figure FDA0002370710430000032
表示判别器网络。
CN202010049736.3A 2020-01-16 2020-01-16 暗视觉环境下基于卷积神经网络的图像增强方法 Active CN111242868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010049736.3A CN111242868B (zh) 2020-01-16 2020-01-16 暗视觉环境下基于卷积神经网络的图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010049736.3A CN111242868B (zh) 2020-01-16 2020-01-16 暗视觉环境下基于卷积神经网络的图像增强方法

Publications (2)

Publication Number Publication Date
CN111242868A true CN111242868A (zh) 2020-06-05
CN111242868B CN111242868B (zh) 2023-05-02

Family

ID=70865039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010049736.3A Active CN111242868B (zh) 2020-01-16 2020-01-16 暗视觉环境下基于卷积神经网络的图像增强方法

Country Status (1)

Country Link
CN (1) CN111242868B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034353A (zh) * 2021-04-09 2021-06-25 西安建筑科技大学 一种基于交叉卷积神经网络的本质图像分解方法及系统
CN113628130A (zh) * 2021-07-22 2021-11-09 上海交通大学 基于深度学习的视障辅助的图像增强方法、设备和介质
CN114022394A (zh) * 2022-01-04 2022-02-08 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
CN116777810A (zh) * 2023-08-21 2023-09-19 广东南方电信规划咨询设计院有限公司 图像增强的智能化实现方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180504A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Image de-noising using an equalized gradient space
CN109410129A (zh) * 2018-09-28 2019-03-01 大连理工大学 一种低光照图像场景理解的方法
US20190087648A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for facial recognition
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN110163815A (zh) * 2019-04-22 2019-08-23 桂林电子科技大学 基于多阶段变分自编码器的低照度还原方法
CN110675336A (zh) * 2019-08-29 2020-01-10 苏州千视通视觉科技股份有限公司 一种低照度图像增强方法及装置
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180504A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Image de-noising using an equalized gradient space
US20190087648A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for facial recognition
CN109410129A (zh) * 2018-09-28 2019-03-01 大连理工大学 一种低光照图像场景理解的方法
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN110163815A (zh) * 2019-04-22 2019-08-23 桂林电子科技大学 基于多阶段变分自编码器的低照度还原方法
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置
CN110675336A (zh) * 2019-08-29 2020-01-10 苏州千视通视觉科技股份有限公司 一种低照度图像增强方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDREY IGNATOV，NIKOLAY KOBYSHEV，ET.AL.: "DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
MANBAE KIM: "Improvement of Low-Light Image by", 《2019 IEEE 62ND INTERNATIONAL MIDWEST SYMPOSIUM ON CIRCUITS AND SYSTEMS (MWSCAS)》 *
王志杰: "基于图像增强的语义分割方法研究与实现", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *
陈清江，屈梅: "基于级联残差生成对抗网络的低照度图像增强", 《激光与光电子学进展》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034353A (zh) * 2021-04-09 2021-06-25 西安建筑科技大学 一种基于交叉卷积神经网络的本质图像分解方法及系统
CN113628130A (zh) * 2021-07-22 2021-11-09 上海交通大学 基于深度学习的视障辅助的图像增强方法、设备和介质
CN113628130B (zh) * 2021-07-22 2023-10-27 上海交通大学 基于深度学习的视障辅助的图像增强方法、设备和介质
CN114022394A (zh) * 2022-01-04 2022-02-08 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
CN114022394B (zh) * 2022-01-04 2022-04-19 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
WO2023130650A1 (zh) * 2022-01-04 2023-07-13 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
CN116777810A (zh) * 2023-08-21 2023-09-19 广东南方电信规划咨询设计院有限公司 图像增强的智能化实现方法及装置
CN116777810B (zh) * 2023-08-21 2023-11-17 广东南方电信规划咨询设计院有限公司 图像增强的智能化实现方法及装置

Also Published As

Publication number Publication date
CN111242868B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN111242868B (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
Jia et al. A two-step approach to see-through bad weather for surveillance video quality enhancement
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN110675328A (zh) 基于条件生成对抗网络的低照度图像增强方法及装置
CN111582095B (zh) 一种轻量级行人异常行为快速检测方法
CN109886153B (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN109993804A (zh) 一种基于条件生成对抗网络的道路场景去雾方法
CN111179202B (zh) 一种基于生成对抗网络的单幅图像去雾增强方法和系统
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
Zhang et al. AIDEDNet: Anti-interference and detail enhancement dehazing network for real-world scenes
CN111709888B (zh) 一种基于改进的生成对抗网络的航拍图像去雾方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN112131975A (zh) 基于Retinex分解和生成对抗网络的人脸光照处理方法
CN113034417A (zh) 基于生成对抗网络的图像增强系统和图像增强方法
CN111861949B (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN115457249A (zh) 红外图像与可见光图像融合匹配的方法及系统
CN113627504B (zh) 基于生成对抗网络的多模态多尺度特征融合目标检测方法
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
Zhuang et al. Image enhancement by deep learning network based on derived image and retinex
CN116452469B (zh) 一种基于深度学习的图像去雾处理方法及装置
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant