CN116012255A - 一种基于循环一致性生成对抗网络的低光图像增强方法 - Google Patents

一种基于循环一致性生成对抗网络的低光图像增强方法 Download PDF

Info

Publication number
CN116012255A
CN116012255A CN202310084625.XA CN202310084625A CN116012255A CN 116012255 A CN116012255 A CN 116012255A CN 202310084625 A CN202310084625 A CN 202310084625A CN 116012255 A CN116012255 A CN 116012255A
Authority
CN
China
Prior art keywords
image
low
light image
consistency
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310084625.XA
Other languages
English (en)
Inventor
倪建军
唐广翼
曹卫东
史朋飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202310084625.XA priority Critical patent/CN116012255A/zh
Publication of CN116012255A publication Critical patent/CN116012255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于循环一致性生成对抗网络的低光图像增强方法，该方法利用循环一致性对抗生成网络对低光图像进行修复，并添加了多尺度特征提取与自适应实例归一化方法，显著提高了增强图像的质量和视觉愉悦度；本发明还引入身份损失和结构一致性作为损失函数的一部分，可以确保增强图像与原始图像的一致性，从而使生成的图像保持空间结构，能更好的满足真实低光场景下图像增强的需求。本发明采用了深度学习技术和图像处理技术，具有良好的灵活性和适用性，较其他低光图像增强的方法各方面指标都得到了极大的提高，并且具有最佳的颜色增强效果与边缘细节保留。

Description

一种基于循环一致性生成对抗网络的低光图像增强方法
技术领域
本发明涉及一种基于循环一致性生成对抗网络的低光图像增强方法，属于计算机视觉技术领域。
背景技术
人类获取的绝大多数信息来自视觉。作为视觉信息的主要载体，图像在语义分割、3D重建、自动驾驶、目标检测等方面发挥着重要作用。随着光学和计算机技术的快速发展，图像采集设备不断更新，图像中有许多有价值的信息等待人类发现和获取。然而，在可见光成像过程中，环境光强度往往会影响图像的质量。当环境光较低时，例如在夜间或在黑暗的房间中，采集到的图像具有低对比度、低亮度、缺乏可用性和细节模糊等缺点，这将给目标检测、图像识别和分割等后续任务带来极大的困难。传统的图像增强算法难以直接降低或抑制噪声，甚至可能放大噪声或导致颜色失真。近年来，基于深度学习的方法开始发战，有监督的深度学习方法依赖于成对数据，但是收集具有相同内容和细节但具有不同照明条件的同一场景的两幅图像是不切实际的。无监督的深度学习方法增强图像的对比度差异大，并且通常存在颜色失真和不一致的问题。
发明内容
本发明的目的在于提供一种基于循环一致性生成对抗网络的低光图像增强方法，利用循环一致性对抗生成网络对低光图像进行修复，在生成器中添加了多尺度特征提取与自适应实例归一化，显著提高了增强图像的质量和视觉愉悦度。
为达到上述目的，本发明采用以下技术方案：
本发明提供一种基于循环一致性生成对抗网络的低光图像增强方法，包括：
采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型；
将待处理的低光图像输入训练好的微光增强模型，得到增强后的图像。
进一步的，基于U-Net网络构造所述循环一致性生成对抗网络中的生成器，包括：
多尺度卷积模块，提取输入图像的特征图；
编码器，将提取的特征图进行压缩；
转码器，将压缩后的特征图转换为普通光图像；
解码器，将得到的普通光图像恢复为与输入图像相同分辨率。
进一步的，采用1×1、3×3、5×5和7×7卷积核构造所述多尺度卷积模块，每个卷积模块具有16个通道。
进一步的，所述编码器包括三个下采样模块，每个下采样模块包括3×3卷积块、自适应实例归一化层和激活函数ReLU；其中卷积步长为2。
进一步的，所述转码器采用六个残差块。
进一步的，所述解码器由跳层连接和上采样模块组成；
所述上采样模块包括3×3卷积块、自适应实例归一化层和用于将图像大小恢复为与输入相同大小的激活函数ReLU；其中卷积步长为2。
进一步的，所述采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型，包括：
获取训练数据集，所述训练数据集包括具有信息相关性的低光图像数据集X和正常光图像数据集Y；
使用低光图像数据集X和正常光图像数据集Y作为初始数据，分批次向所述循环一致性生成对抗网络中输入一对低光图像和正常光图像；
构造总损失函数如下：
L(G,DA,X,Y)＝LGAN(G,DA,X,Y)+LCYC(G,DA,X,Y)+λLidentity(G)+τLMSSIM(G)；
其中，L(G,DA,X,Y)为总损失，LGAN(G,DA,X,Y)为对抗损失，LCYC(G,DA,X,Y)为循环一致性损失，Lidentity(G)为身份损失，LMSSIM(G)为结构一致性损失，λ和τ表示身份损失和结构一致性损失的加权参数；
身份损失和结构一致性损失表示如下：
Figure BDA0004068600080000021
Figure BDA0004068600080000022
Figure BDA0004068600080000023
其中，x表示低光图像数据集X中的样本，y表示正常光图像数据集Y中的样本，pdata(x)和pdata(y)分别表示图像域x和y的样本分布，G(x)表示向生成器G输入低光图像x生成的增强图像，G(y)表示向生成器G输入正常光图像y后得到的增强图像，F(x)表示向生成器F输入低光图像x后得到的增强图像，F(G(x))表示向生成器G输入低光图像x生成增强图像，再输入生成器F得到的低光图像，DA是0-1鉴别器，xj和yj分别是图像x和y的第j个局部块，N是局部块的数量；
以以下函数为目标进行训练：
Figure BDA0004068600080000031
训练过程中，鉴别器被训练为最大化总损失，生成器被训练为最小化总损失；生成器和鉴别器交替更新以进行对抗训练。
进一步的，训练过程中，将生成的增强图像G(x)进行基于多尺度引导滤波和结构张量的细节增强，包括：
将增强图像通过圆形均值滤波进行平滑得到基础层：
W1＝G(x)k×dr；
其中，W1是多尺度引导滤波细节图像的基础层，G(x)k是输入图像，dr是半径为r的圆形平均滤波器；
从要融合的图像中减去基础层，得到中间层：
W2＝G(x)k-G(x)k×dr；
其中，W2是多尺度引导滤波细节图像的中间层；
基于圆形平均滤波器减去平滑的中间层，得到细节层：
W3＝W2-W2×dr；
其中，W3是多尺度引导滤波细节图像的细节层；
将三个图像W1、W2和W3进行加权融合得到多尺度引导滤波细节图像W：
W＝(1-ω1×sgn(W1))×W1+ω2×W2+ω3×W3；
其中，ω1、ω2和ω3是调节参数；
将多尺度引导滤波细节图像W添加到增强图像G(x)中。
进一步的，
所述鉴别器的输出被映射到N×N的矩阵；
所述鉴别器前四个卷积块包含卷积层、实例归一化层和非线性激活函数LeakyReLU，步长为2；
所述鉴别器的最后一级，通过将通道数量减少到1来获得输出，并且矩阵上的每个值表示用于判断所生成的图像是真还是假的感受野区域的概率值。
本发明具有以下优点：
(1)、本发明通过多尺度卷积和残差卷积构造了基于U-Net结构的生成器，并引入了自适应实例归一化(AdaIN)来学习普通光图像的风格，具有良好的灵活性和适用性。
(2)、本发明将循环一致性损失和结构相似性损失相结合，以确保增强图像与原始图像的一致性，从而使生成的图像保持空间结构。
(3)、本发明考虑到图像细节集中在高频部分，通过向生成的图像添加高频分量来扩展动态范围还原了细节纹理并提高了局部可见性。
(4)、本发明采用了深度学习技术和图像处理技术，具有良好的灵活性和适用性，较其他低光图像增强的方法各方面指标都得到了极大的提高，并且具有最佳的颜色增强效果与边缘细节保留。本发明在目前以及将来的图像处理领域具有极大的现实意义和应用价值。
附图说明
图1为本发明实施例提供的循环一致性生成对抗网络结构图；
图2为本发明实施例提供的基于U-Net网络的生成器结构图；
图3为本发明实施例提供的基于多尺度引导滤波和结构张量的细节增强示意图；
图4为本发明实施例提供的鉴别器结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于循环一致性生成对抗网络的低光图像增强方法，该方法通过多尺度卷积和残差卷积构造基于U-Net结构的微光增强模型，然后设计了自适应实例归一化(AdaIN)来学习普通光图像的风格。同时将循环一致性损失和结构相似性损失相结合，以确保增强图像与原始图像的一致性，从而使生成的图像保持空间结构。最后，考虑到图像细节集中在高频部分，通过向生成的图像添加高频分量来扩展动态范围以提高局部可见性。
基于上述发明构思，本发明提供的基于循环一致性生成对抗网络的低光图像增强方法，包括：
采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型；
将待处理的低光图像输入训练好的微光增强模型，得到增强后的图像。
循环一致性生成对抗网络如图1所示，包括两个生成器G、F和两个鉴别器DA、DB，
分支一采用生成器G将图像样本X转换为近似于图像样本Y的G(X)，以及使用鉴别器DA来判断G(X)是否是真实图像；然后将生成的图像G(X)通过生成器F转换成与图像样本X类似的F(G(X))；
分支二采用生成器F将图像样本Y转换为近似于图像样本X的F(Y)，以及使用鉴别器DB来判断F(Y)是否是真实图像；然后将生成的图像F(Y)通过生成器G转换成与图像样本Y类似的G(F(Y))。
如图2所示，本发明的一个实施例中基于U-Net网络构造循环一致性生成对抗网络中的生成器，其结构如下：
多尺度卷积模块，提取输入图像的特征图；
编码器，进行下采样，将提取的特征图进行压缩；
转码器，将压缩后的特征图转换为普通光图像；
解码器，将得到的普通光图像恢复为与输入图像相同分辨率。
需要说明的是，预先将输入图像修改为256×256×3大小。
优选的，本实施例中，采用1×1、3×3、5×5和7×7卷积核来构造多尺度卷积模块，每个卷积模块具有16个通道。本实施例中，采用该结构的多尺度卷积模块提取输入图像的256×256的特征图。
优选的，本实施例中，编码器采用三个下采样模块将提取的256×256的特征图压缩到32×32的大小。
优选的，每个下采样模块由3×3卷积(步长为2)、自适应实例归一化(AdaIN)和激活函数ReLU组成。AdaIN可以基于输入样式图像自适应地生成一组参数，其公式如下：
Figure BDA0004068600080000051
其中，x和y分别是低光图像和正常光图像提取的特征图；μx和μy表示x和y图像的平均值；σx和σy表示x和y图像的标准差。
优选的，本实施例中，转码器采用六个残差块将低光图像的特征转换为普通光图像。
优选的，本实施例中，解码器由跳层连接和上采样模块组成。跳过连接通过级联将基础位置信息与更深的特征信息融合。上采样模块由3×3卷积(步长为2)、自适应实例归一化(AdaIN)和用于将图像大小恢复为与输入相同大小的激活函数ReLU组成。
本实施例中采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型，具体实现过程如下：
S1、获取训练数据集，所述训练数据集包括具有信息相关性的低光图像数据集X和正常光图像数据集Y；
S2、使用低光图像数据集X和正常光图像数据集Y作为初始数据，分批次向循环一致性生成对抗网络中输入一对低光图像和正常光图像；
S3、将低光图像数据集X输入生成器G中，获得生成的增强图片，并计算对抗损失：
Figure BDA0004068600080000061
其中，x表示低光图像数据集X中的样本，y表示正常光图像数据集Y中的样本；pdata(x)和pdata(y)分别表示图像域x和y的样本分布；G(x)表示生成的增强图像，DA是0-1鉴别器，用于将生成的增强图像与普通光图像区分开来。生成器G试图最小化这个损失函数，DA试图最大化它。
当低光图像X通过生成器G到达目标域，然后通过生成器F返回源域时，使用循环一致性损失来约束源域的原始图像与重建图像之间的相似度，从而使重建图像接近原始输入图像，循环一致性损失为：
Figure BDA0004068600080000062
其中，F(G(x))和G(F(y))是重建图像，||·||1是L1范数。L1范数具有良好的鲁棒性和对输入值的稳定梯度，可以避免梯度爆炸的问题。
应该知道，生成器G的功能是生成Y型域图像。因此，当输入Y域图像时，G也应该生成Y样式的域图像。在这种情况下，要求G(y)尽可能接近y，并且要求F(x)尽可能靠近x，使得增强图像和输入图像具有相同的颜色。F(x)表示向生成器F输入低光图像x后得到的增强图像，G(y)表示向生成器G输入正常光图像y后得到的增强图像。在添加身份损失函数之后，生成器G将图像y的输入添加到原始输入，并且生成器F将图像x的输入添加至原始输入，这意味着生成器比较生成的图像和原始图像之间的差异以进行反馈优化。身份损失的定义如下：
Figure BDA0004068600080000071
在最终损失函数中使用SSIM损失来生成更接近目标图像的图像，同时考虑了细节、纹理和颜色信息。两幅图像之间的SSIM可以定义为：
Figure BDA0004068600080000072
其中，μx和μy表示x和y图像的平均值；σx和σy表示x和y图像的标准差；σ2 x和σ2 y表示两个图像的方差图像；σxy表示x和y图像的协方差；C1和C2是被设置为避免分母为零的常数。
低光图像x通过生成器G生成增强图像，然后再通过生成器F得到低光图像表示为F(G(x))，F(G(x))和原始输入图像X之间的SSIM损失可以定义为：
Figure BDA0004068600080000075
其中，MSSIM是图像x和y中每个局部块的SSIM的平均值：
Figure BDA0004068600080000073
其中，xj和yj分别是图像x和y的第j个局部块，N是局部块的数量。
综上，循环一致性生成对抗网络的总损失函数如下：
L(G,DA,X,Y)＝LGAN(G,DA,X,Y)+LCYC(G,DA,X,Y)+λLidentity(G)+τLMSSIM(G)  (8)
其中，λ和τ是表示身份损失和结构一致性损失的加权参数。
S4、基于循环一致性生成对抗网络的微光增强模型的训练通过解决以下最小-最大问题来完成：
Figure BDA0004068600080000074
其中，鉴别器被训练为最大化总损失，而生成器被训练为最小化总损失。生成器和鉴别器交替更新以进行对抗训练。
本发明的另一个实施例中，还包括：
在模型的训练过程中，将生成的增强图像G(x)进行基于多尺度引导滤波和结构张量的细节增强，来扩展动态范围以提高局部可见性，其具体流程如图3所示，包含如下步骤：
(a)将生成的增强图像分解为基础层W1、中间层W2和细节层W3。对于要融合的第k个图像，输入图像在基础层中通过圆形均值滤波进行平滑：
W1＝G(x)k×dr      (10)
其中W1是图像的基础层，G(x)k是输入图像，dr是半径为r的圆形平均滤波器；
(b)通过从要融合的图像中减去基础层，获得三尺度融合图像中的第二层，即中间层：
W2＝G(x)k-G(x)k×dr    (11)
(c)基于圆形均值滤波器减去平滑的中间层以获得第三层，即细节层：
W3＝W2-W2×dr    (12)
(d)通过三个细节图像W1、W2和W3的加权融合来获得多尺度引导滤波器细节图像W：
W＝(1-ω1×sgn(W1))×W1+ω2×W2+ω3×W3     (13)
其中ω1、ω2和ω3是调节参数，(1-ω1×sgn(W1))通过减少W1的正分量来避免过度增强；
(e)将整体细节W添加到全局增强图像G(x)中。
优选的，本实施例中，鉴别器的网络结构如图4所示，鉴别器的输出被映射到N×N的矩阵，其中矩阵的每个值表示其所属的感受野区域的真实概率。与传统的鉴别器相比，使用矩阵作为输出可以更充分地考虑图像特征的不同区域的细节。此外，小规模的特征图计算还可以加快网络的收敛速度，并使网络更易于训练。
鉴别器前四个卷积块包含卷积层、实例归一化层(IN)和非线性激活函数LeakyReLU，步长为2。在最后一级，通过将通道数量减少到1来获得输出，并且矩阵上的每个值表示用于判断所生成的图像是真还是假的感受野区域的概率值。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，包括：
采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型；
将待处理的低光图像输入训练好的微光增强模型，得到增强后的图像。
2.根据权利要求1所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，基于U-Net网络构造所述循环一致性生成对抗网络中的生成器，包括：
多尺度卷积模块，提取输入图像的特征图；
编码器，将提取的特征图进行压缩；
转码器，将压缩后的特征图转换为普通光图像；
解码器，将得到的普通光图像恢复为与输入图像相同分辨率。
3.根据权利要求2所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，采用1×1、3×3、5×5和7×7卷积核构造所述多尺度卷积模块，每个卷积模块具有16个通道。
4.根据权利要求3所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述编码器包括三个下采样模块，每个下采样模块包括3×3卷积块、自适应实例归一化层和激活函数ReLU；其中卷积步长为2。
5.根据权利要求4所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述转码器采用六个残差块。
6.根据权利要求5所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述解码器由跳层连接和上采样模块组成；
所述上采样模块包括3×3卷积块、自适应实例归一化层和用于将图像大小恢复为与输入相同大小的激活函数ReLU；其中卷积步长为2。
7.根据权利要求2所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型，包括：
获取训练数据集，所述训练数据集包括具有信息相关性的低光图像数据集X和正常光图像数据集Y；
使用低光图像数据集X和正常光图像数据集Y作为初始数据，分批次向所述循环一致性生成对抗网络中输入一对低光图像和正常光图像；
构造总损失函数如下：
L(G,DA,X,Y)＝LGAN(G,DA,X,Y)+LCYC(G,DA,X,Y)+λLidentity(G)+τLMSSIM(G)；
其中，L(G,DA,X,Y)为总损失，LGAN(G,DA,X,Y)为对抗损失，LCYC(G,DA,X,Y)为循环一致性损失，Lidentity(G)为身份损失，LMSSIM(G)为结构一致性损失，λ和τ表示身份损失和结构一致性损失的加权参数；
身份损失和结构一致性损失表示如下：
Figure FDA0004068600070000021
Figure FDA0004068600070000022
Figure FDA0004068600070000023
其中，x表示低光图像数据集X中的样本，y表示正常光图像数据集Y中的样本，pdata(x)和pdata(y)分别表示图像域x和y的样本分布，G(x)表示向生成器G输入低光图像x生成的增强图像，G(y)表示向生成器G输入正常光图像y后得到的增强图像，F(x)表示向生成器F输入低光图像x后得到的增强图像，F(G(x))表示向生成器G输入低光图像x生成增强图像，再输入生成器F得到的低光图像，DA是0-1鉴别器，xj和yj分别是图像x和y的第j个局部块，N是局部块的数量；
以以下函数为目标进行训练：
Figure FDA0004068600070000024
训练过程中，鉴别器被训练为最大化总损失，生成器被训练为最小化总损失；生成器和鉴别器交替更新以进行对抗训练。
8.根据权利要求7所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，训练过程中，将生成的增强图像G(x)进行基于多尺度引导滤波和结构张量的细节增强，包括：
将增强图像通过圆形均值滤波进行平滑得到基础层：
W1＝G(x)k×dr；
其中，W1是多尺度引导滤波细节图像的基础层，G(x)k是输入图像，dr是半径为r的圆形平均滤波器；
从要融合的图像中减去基础层，得到中间层：
W2＝G(x)k-G(x)k×dr；
其中，W2是多尺度引导滤波细节图像的中间层；
基于圆形平均滤波器减去平滑的中间层，得到细节层：
W3＝W2-W2×dr；
其中，W3是多尺度引导滤波细节图像的细节层；
将三个图像W1、W2和W3进行加权融合得到多尺度引导滤波细节图像W：
W＝(1-ω1×sgn(W1))×W1+ω2×W2+ω3×W3；
其中，ω1、ω2和ω3是调节参数；
将多尺度引导滤波细节图像W添加到增强图像G(x)中。
9.根据权利要求7所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，
所述鉴别器的输出被映射到N×N的矩阵；
所述鉴别器前四个卷积块包含卷积层、实例归一化层和非线性激活函数LeakyReLU，步长为2；
所述鉴别器的最后一级，通过将通道数量减少到1来获得输出，并且矩阵上的每个值表示用于判断所生成的图像是真还是假的感受野区域的概率值。
CN202310084625.XA 2023-02-08 2023-02-08 一种基于循环一致性生成对抗网络的低光图像增强方法 Pending CN116012255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310084625.XA CN116012255A (zh) 2023-02-08 2023-02-08 一种基于循环一致性生成对抗网络的低光图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310084625.XA CN116012255A (zh) 2023-02-08 2023-02-08 一种基于循环一致性生成对抗网络的低光图像增强方法

Publications (1)

Publication Number Publication Date
CN116012255A true CN116012255A (zh) 2023-04-25

Family

ID=86028204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310084625.XA Pending CN116012255A (zh) 2023-02-08 2023-02-08 一种基于循环一致性生成对抗网络的低光图像增强方法

Country Status (1)

Country Link
CN (1) CN116012255A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563169A (zh) * 2023-07-07 2023-08-08 成都理工大学 基于混合监督学习的探地雷达图像异常区域增强方法
CN117408893A (zh) * 2023-12-15 2024-01-16 青岛科技大学 一种基于浅层神经网络的水下图像增强方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563169A (zh) * 2023-07-07 2023-08-08 成都理工大学 基于混合监督学习的探地雷达图像异常区域增强方法
CN116563169B (zh) * 2023-07-07 2023-09-05 成都理工大学 基于混合监督学习的探地雷达图像异常区域增强方法
CN117408893A (zh) * 2023-12-15 2024-01-16 青岛科技大学 一种基于浅层神经网络的水下图像增强方法
CN117408893B (zh) * 2023-12-15 2024-04-05 青岛科技大学 一种基于浅层神经网络的水下图像增强方法

Similar Documents

Publication Publication Date Title
Li et al. Single image dehazing via conditional generative adversarial network
CN109919830B (zh) 一种基于美学评价的带参考人眼图像修复方法
CN116012255A (zh) 一种基于循环一致性生成对抗网络的低光图像增强方法
CN111861945B (zh) 一种文本引导的图像修复方法和系统
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN111445496B (zh) 一种水下图像识别跟踪系统及方法
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN114120389A (zh) 网络训练及视频帧处理的方法、装置、设备及存储介质
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
Liu et al. Deep image inpainting with enhanced normalization and contextual attention
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
Zhang et al. X-Net: A binocular summation network for foreground segmentation
CN111144374B (zh) 人脸表情识别方法及装置、存储介质和电子设备
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
Teng et al. Unimodal face classification with multimodal training
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training
Zhang et al. Face deblurring based on separable normalization and adaptive denormalization
Chen et al. Learning Physical-Spatio-Temporal Features for Video Shadow Removal
Zhu et al. HDRD-Net: High-resolution detail-recovering image deraining network
Li et al. A review of image colourisation
CN114266713A (zh) 基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统
CN114333062A (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN114698398A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
Zhang et al. Pluralistic face inpainting with transformation of attribute information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination