CN111798400A - 基于生成对抗网络的无参考低光照图像增强方法及系统 - Google Patents
基于生成对抗网络的无参考低光照图像增强方法及系统 Download PDFInfo
- Publication number
- CN111798400A CN111798400A CN202010700648.5A CN202010700648A CN111798400A CN 111798400 A CN111798400 A CN 111798400A CN 202010700648 A CN202010700648 A CN 202010700648A CN 111798400 A CN111798400 A CN 111798400A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- network
- illumination image
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Abstract
本发明涉及一种基于生成对抗网络的无参考低光照图像增强方法及系统，该方法包括以下步骤：分别对原始分辨率的低光照图像和正常光照图像进行预处理，得到用于训练的不成对的低光照图像块和正常光照图像块；构建用于低光照增强的生成器网络和用于进行对抗训练的判别器网络；使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡；将用于测试的原始低光照图像输入训练好的生成器网络预测其增强后的图像。该方法及系统有利于提高低光照图像增强的质量。
Description
技术领域
本发明属于图像和视频处理技术领域，特别涉及一种基于生成对抗网络的无参考低光照图像增强方法及系统。
背景技术
随着拍摄设备越来越普及且便携，人们可以拍摄到视觉效果好的图像。但是在光线不足的场景下，如夜景或昏暗的室内，要得到视觉效果良好的摄影图像仍然是十分困难的。由于场景光线不足或背光拍摄，捕获到的图像会呈现曝光不足，这类图像被称作低光照图像。低光照图像中的某些区域几乎看不到图像细节。低光照图像不仅呈现较低视觉效果，而且会影响许多基本的计算机视觉和图像处理方法的性能，如图像分类、图像显著性检测、对象检测和识别等。
目前，基于深度学习的图像增强方法通常能获得比其它方法更好的结果。但是基于深度学习的图像增强方法，普遍需要使用成对的图像对进行训练。然而，在低光照图像增强问题上，获得可用于深度学习模型训练的成对数据集是很困难的。现有的低光照图像增强方法大多使用合成的成对低光照图像数据集，由于合成数据集于真实图像存在差异，导致使用合成数据集训练的方法在真实场景下图像增强能力无法得到保证。
发明内容
本发明的目的在于提供一种基于生成对抗网络的无参考低光照图像增强方法及系统，该方法及系统有利于提高低光照图像增强的质量。
为实现上述目的，本发明采用的技术方案是：一种基于生成对抗网络的无参考低光照图像增强方法，包括以下步骤：
分别对原始分辨率的低光照图像和正常光照图像进行预处理，得到用于训练的不成对的低光照图像块和正常光照图像块；
构建用于低光照增强的生成器网络和用于进行对抗训练的判别器网络；
使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡；
将用于测试的原始低光照图像输入训练好的生成器网络预测其增强后的图像。
进一步地，对原始分辨率的低光照图像和正常光照图像进行预处理的具体方法为：
分别将原始分辨率的低光照图像、正常光照图像在随机位置上进行切块，其中切块大小随机选取128×128到320×320之间的正方形尺寸，然后将得到的切块统一缩小到128×128大小，作为训练用的低光照图像块和正常光照图像块；
分别将得到的低光照图像块和正常光照图像块进行随机的旋转和翻转，并且使用如下公式缩放图像的像素范围，得到用于训练的不成对的低光照图像块和正常光照图像块数据集；
其中，Iori为像素值范围处于[0，255]的原始图像，I是经过缩放后像素范围处于[-1，1]的图像。
进一步地，构建用于低光照增强的生成器网络的具体方法为：
生成器网络采用U-Net结构，包含编码器和解码器两部分，分别包含3次下采样提取图像特征和3次上采样还原输出图像，并将各尺度的编码器输出特征跳连到解码器部分对应层的输入中；其中编码器的下采样由步长为2、卷积核大小为3×3的卷积操作完成，解码器的上采样由最近邻插值的方式进行；在编码器部分，使用卷积、批归一化和带泄漏修正线性单元Leaky ReLU激活进行图像特征提取；在解码器部分，使用卷积、层归一化、LeakyReLU激活和上采样操作来还原增强图像；
通过卷积子网络将输入的低光照图像编码成具有全局语义信息的潜在编码，使用潜在编码对编码器部分最后的输出特征进行自适应实例归一化，以实现适应不同亮度的输入低光照图像的特征调整；
分别将多尺度权重图与解码器的每层输出特征进行自注意力融合，通过将权重图融合到解码器特征中，以强化低光照区域的特征表达。
进一步地，通过卷积子网络将输入的低光照图像编码成具有全局语义信息的潜在编码，使用潜在编码对编码器部分最后的输出特征进行自适应实例归一化，其具体方法为：
用一个由五个串联的步长为2、卷积核大小为4×4的卷积层、Leaky ReLU激活函数和一个全连接层组成子网络f(.)，将输入的低光照图像I转换为一维的潜在编码，使用通过潜在编码学习到的特征变换系数对归一化后的特征进行变换，如以下公式：
其中，I为输入的低光照图像，x为图像I经过编码器部分输出的最后一个特征图，x′表示特征图x经过自适应实例归一化后的结果，σ(x)和μ(x)分别是特征图x在宽、高维度上的均值和标准差，f(I)是利用子网络从图像I计算得到一维的潜在编码，σf(f(I))和μf(f(I))分别是由一个全连接层从潜在编码学习出的特征变化系数，用于对归一化后的特征图x进行变换。
进一步地，分别将多尺度权重图与解码器的每层输出特征进行自注意力融合，具体包括以下步骤：
分别对解码器的每一层计算对应的权重图，然后使用权重图对每一层解码器特征进行自注意力融合；在解码器的每一层，首先使用双线性插值将输入图像I的宽、高缩小到对应解码器层中特征图的大小，再将每个RGB像素视为三维向量并计算其欧几里德范数，得到一张权重图M；
然后对权重图M使用卷积操作，为原始的解码器输出特征fc的每个通道学习空间权重图，得到Mc，将解码器特征fc和空间权重图Mc进行点乘得到f′c，完成空间注意力计算，再将f′c进行全局平均池化得到一维向量，对池化后的一维向量使用全连接层进行压缩和扩张，得到通道注意力向量Vc，将通道注意力向量Vc点乘f′c完成通道注意力计算，得到的输出特征作为该层最终的解码器输出特征。
进一步地，构建的判别器网络包括全局判别器网络和局部判别器网络，所述全局判别器含有1层步长为1、卷积核大小为1×1的卷积层和五层串联的步长为2、卷积核大小为4×4的卷积层，卷积层后使用LeakyReLU函数激活，将输入图像的空间大小从128×128降到4×4，再经过展平后使用串联的全连接层和LeakyReLU层合并全局图像信息，最后使用一个全连接层预测判别结果；判别结果分为两类，即真实的正常光照图像和生成的正常光照图像；
所述局部判别器含有1层步长为1、卷积核大小为1×1的卷积层和五层串联的步长为2，卷积核大小为4×4的卷积层，卷积层后使用LeakyReLU函数激活，将输入图像转变成特征矩阵，最后使用全连接层将该特征矩阵变换为输出的预测矩阵；局部判别器的预测矩阵中每个位置的值对应于原始输入中94×94大小的像素块，故预测矩阵中的每个值表示对输入图中对应位置块的判别结果。
进一步地，使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡，具体包括以下步骤：
将低光照图像块随机划分为多个批次，每个批次包含N个图像块；
将正常光照图像块随机划分为多个批次，每个批次包含N个图像块；
将低光照图像块按批次输入生成器网络得到增强图像块，将增强图像块和正常光照图像块按批次分别输入全局判别器网络和局部判别器网络得到判别结果；
根据生成器网络的总目标损失函数，使用反向传播方法计算生成器网络中各参数的梯度，并利用随机梯度下降方法更新生成器网络的参数；
根据判别器网络的总目标损失函数，使用反向传播方法计算全局判别器网络和局部判别器网络中各参数的梯度，并利用随机梯度下降方法更新全局判别器网络和局部判别器网络的参数；
以批次为单位重复进行上述步骤，直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成器和判别器网络训练过程。
进一步地，所述生成器网络的总目标损失函数计算如下：
其中，
和
分别是全局判别器对生成器的损失、局部判别器对生成器的损失、自颜色损失和总变分损失，λ1、λ2、λ3和λ4是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：
其中，z表示低光照图像，Q为低光照图像分布，
为计算每个批次内图像对应的均值，Dglobal和Dlocal分别是全局判别器和局部判别器，G表示生成器网络；
为了计算自颜色损失
首先对输入的低光照图像I进行处理得到颜色图Ic，该处理公式如下：
其中，I为像素范围处于[-1，1]的输入图像，μl(I)和σl(I)分别是在输入图像I的宽、高和通道数三个维度上的均值和标准差，Ic是图像I对应的颜色图；然后使用如下公式计算
其中，Ii′为该批次内第i张低光照图像Ii经生成器输出的增强结果，
是该批次内第i张低光照图像Ii对应的颜色图，M是每一张图像内的像素数量，
和I′i(j)分别是图像
和Ii′对应于j位置的RGB像素组成的一维向量，||.||2表示欧几里得范数，||.||1表示绝对值范数，·和×分别代表实数点乘和向量点积运算符，
表示计算图像空间维度的梯度，
和
分别表示梯度图
和
中位置j上的值，λsc是权重系数；
其中，Ii″为该批次内第i张低光照图像Ii经生成器输出的增强结果，N为该批次内低光照图像的数量，H、W分别表示每一张图像的高和宽，I′i(w，h，c)表示生成器输出的增强结果图像I′i中(w，h，c)位置的像素值，|·|为取绝对值操作，·为实数的点乘操作。
进一步地，所述判别器网络的总目标损失函数计算如下：
其中，
和
分别为全局判别器和局部判别器的损失函数，λ5和λ6分别为两个损失函数的系数，·为实数的点乘操作，其中各项损失具体的计算公式如下：
其中，x和z分别表示正常光照图像和低光照图像，P和Q分别表示正常光照图像分布和低光照图像分布，max表示取最大值操作，
为计算每个批次内图像对应的均值，Dglobal和Dlocal分别是全局判别器和局部判别器，G表示生成器网络。
本发明还提供了一种基于生成对抗网络的无参考低光照图像增强系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-9任一项所述的方法步骤。
与现有技术相比，本发明具有以下有益效果：本发明使用生成对抗网络的训练方式，能够不依赖于成对的低光照图像和正常光照图像，结合低光照图像全局信息的自适应实例归一化能够对不同程度的低光照图像进行合适的增强，并且通过基于空间和通道的自注意力融合提高恢复图像的结构和细节信息，再使用自颜色损失还原低光照图像的颜色，进一步提升了低光照图像增强的性能，具有很强的实用性和广阔的应用前景。
附图说明
图1为本发明实施例的方法实现流程图。
图2为本发明实施例中生成器网络结构示意图。
图3为本发明实施例中自注意力融合操作示意图。
图4为本发明实施例中判别器网络结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本发明提供了一种基于生成对抗网络的无参考低光照图像增强方法，包括以下步骤：
S1、分别对原始分辨率的低光照图像和正常光照图像进行预处理，得到用于训练的不成对的低光照图像块和正常光照图像块。
S2、构建用于低光照增强的生成器网络和用于进行对抗训练的判别器网络。
S3、使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡。
S4、将用于测试的原始低光照图像输入训练好的生成器网络预测其增强后的图像。
在步骤S1中，对原始分辨率的低光照图像和正常光照图像进行预处理的具体方法为：
分别将原始分辨率的低光照图像、正常光照图像在随机位置上进行切块，其中切块大小随机选取128×128到320×320之间的正方形尺寸，然后将得到的切块统一缩小到128×128大小，作为训练用的低光照图像块和正常光照图像块；
分别将得到的低光照图像块和正常光照图像块进行随机的旋转和翻转，并且使用如下公式缩放图像的像素范围，得到用于训练的不成对的低光照图像块和正常光照图像块数据集；
其中，Iori为像素值范围处于[0，255]的原始图像，I是经过缩放后像素范围处于[-1，1]的图像。
在步骤S2中，构建用于低光照增强的生成器网络的具体方法为：
生成器网络采用U-Net结构(U-Net:Convolutional Networks for BiomedicalImage Segmentaion,arXiv:1505.04597)，如图2所示，包含编码器和解码器两部分，分别包含3次下采样提取图像特征和3次上采样还原输出图像，并将各尺度的编码器输出特征跳连到解码器部分对应层的输入中；其中编码器的下采样由步长为2、卷积核大小为3×3的卷积操作完成，解码器的上采样由最近邻插值的方式进行；在编码器部分，使用卷积、批归一化和带泄漏修正线性单元Leaky ReLU(Leaky Rectified Linear Unit，Leaky ReLU)激活进行图像特征提取；在解码器部分，使用卷积、层归一化、Leaky ReLU激活和上采样操作来还原增强图像。
通过卷积子网络将输入的低光照图像编码成具有全局语义信息的潜在编码，使用潜在编码对编码器部分最后的输出特征进行自适应实例归一化，其具体方法为：
如图2所示，用一个由五个串联的步长为2、卷积核大小为4×4的卷积层、LeakyReLU激活函数和一个全连接层组成子网络f(.)，将输入的低光照图像I转换为一维的潜在编码，使用通过潜在编码学习到的特征变换系数对归一化后的特征进行变换，如以下公式：
其中，I为输入的低光照图像，x为图像I经过编码器部分输出的最后一个特征图，x′表示特征图x经过自适应实例归一化后的结果，σ(x)和μ(x)分别是特征图x在宽、高维度上的均值和标准差，f(I)是利用子网络从图像I计算得到一维的潜在编码，σf(f(I))和μf(f(I))分别是由一个全连接层从潜在编码学习出的特征变化系数，用于对归一化后的特征图x进行变换。
分别将多尺度权重图与解码器的每层输出特征进行自注意力融合，其具体包括以下步骤：
如图3所示，分别对解码器的每一层计算对应的权重图，然后使用权重图对每一层解码器特征进行自注意力融合；在解码器的每一层，首先使用双线性插值将输入图像I的宽、高缩小到对应解码器层中特征图的大小，再将每个RGB像素视为三维向量并计算其欧几里德范数(Euclidean norm)，得到一张权重图M；
然后对权重图M使用卷积操作，为原始的解码器输入特征fc的每个通道学习空间权重图，得到Mc，将解码器特征fc和空间权重图Mc进行点乘得到f′c，完成空间注意力计算，再将f′c进行全局平均池化得到一维向量，对池化后的一维向量使用全连接层进行压缩和扩张，得到通道注意力向量Vc，将通道注意力向量Vc点乘f′c完成通道注意力计算，得到的输出特征作为该层最终的解码器输出特征。
如图4所示，在步骤S2中，构建的判别器网络包括全局判别器网络和局部判别器网络，所述全局判别器含有1层步长为1、卷积核大小为1×1的卷积层和五层串联的步长为2、卷积核大小为4×4的卷积层，卷积层后使用Leaky ReLU函数激活，将输入图像的空间大小从128×128降到4×4，再经过展平后使用串联的全连接层和Leaky ReLU层合并全局图像信息，最后使用一个全连接层预测判别结果；判别结果分为两类，即真实的正常光照图像和生成的正常光照图像。
所述局部判别器含有1层步长为1、卷积核大小为1×1的卷积层和五层串联的步长为2、卷积核大小为4×4的卷积层，卷积层后使用Leaky ReLU函数激活，将输入图像转变成特征矩阵，最后使用全连接层将该特征矩阵变换为输出的预测矩阵；局部判别器的预测矩阵中每个位置的值对应于原始输入中94×94大小的像素块，故预测矩阵中的每个值表示对输入图中对应位置块的判别结果。
在步骤S3中，使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡，具体包括以下步骤：
将低光照图像块随机划分为多个批次，每个批次包含N个图像块；
将正常光照图像块随机划分为多个批次，每个批次包含N个图像块；
将低光照图像块按批次输入生成器网络得到增强图像块，将增强图像块和正常光照图像块按批次分别输入全局判别器网络和局部判别器网络得到判别结果；
根据生成器网络的总目标损失函数，使用反向传播方法计算生成器网络中各参数的梯度，并利用随机梯度下降方法更新生成器网络的参数；
根据判别器网络的总目标损失函数，使用反向传播方法计算全局判别器网络和局部判别器网络中各参数的梯度，并利用随机梯度下降方法更新全局判别器网络和局部判别器网络的参数；
以批次为单位重复进行上述步骤，直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成器和判别器网络训练过程。
其中，所述生成器网络的总目标损失函数计算如下：
其中，
和
分别是全局判别器对生成器的损失、局部判别器对生成器的损失、自颜色损失和总变分损失，λ1、λ2、λ3和λ4是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：
其中，z表示低光照图像，Q为低光照图像分布，
为计算每个批次内图像对应的均值，Dglobal和Dlocal分别是全局判别器和局部判别器，G表示生成器网络；
为了计算自颜色损失
首先对输入的低光照图像I进行处理得到颜色图Ic，该处理公式如下：
其中，I为像素范围处于[-1，1]的输入图像，μl(I)和σl(I)分别是在输入图像I的宽、高和通道数三个维度上的均值和标准差，Ic是图像I对应的颜色图；然后使用如下公式计算
其中，Ii′为该批次内第i张低光照图像Ii经生成器输出的增强结果，
是该批次内第i张低光照图像Ii对应的颜色图，M是每一张图像内的像素数量，
和I′i(j)分别是图像
和Ii′对应于j位置的RGB像素组成的一维向量，||.||2表示欧几里得范数，||.||1表示绝对值范数，·和×分别代表实数点乘和向量点积运算符，
表示计算图像空间维度的梯度，
和
分别表示梯度图
和
中位置j上的值，λsc是权重系数；
其中，Ii′为该批次内第i张低光照图像Ii经生成器输出的增强结果，N为该批次内低光照图像的数量，H、W分别表示每一张图像的高和宽，I′i(w，h，c)表示生成器输出的增强结果图像I′i中(w，h，c)位置的像素值，|．|为取绝对值操作，·为实数的点乘操作。
所述判别器网络的总目标损失函数计算如下：
其中，
和
分别为全局判别器和局部判别器的损失函数，λ5和λ6分别为两个损失函数的系数，·为实数的点乘操作，其中各项损失具体的计算公式如下：
其中，x和z分别表示正常光照图像和低光照图像，P和Q分别表示正常光照图像分布和低光照图像分布，max表示取最大值操作，
为计算每个批次内图像对应的均值，Dglobal和Dlocal分别是全局判别器和局部判别器，G表示生成器网络。
本发明还提供了一种基于生成对抗网络的无参考低光照图像增强系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现上述的方法步骤。
本发明使用不成对的低光照图像和正常光照图像，将低光照图像的编码器特征使用基于空间和通道的自注意力融合操作和结合低光照图像全局信息的自适应实例归一化操作来恢复图像的结构和细节信息，再使用生成对抗思想和自颜色损失还原低光照图像的颜色，进一步提升了低光照图像增强的性能，对比现有的无参考低光照图像增强方法，该方法能显著提高低光照图像的增强效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (10)
1.一种基于生成对抗网络的无参考低光照图像增强方法，其特征在于，包括以下步骤：
分别对原始分辨率的低光照图像和正常光照图像进行预处理，得到用于训练的不成对的低光照图像块和正常光照图像块；
构建用于低光照增强的生成器网络和用于进行对抗训练的判别器网络；
使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡；
将用于测试的原始低光照图像输入训练好的生成器网络预测其增强后的图像。
2.根据权利要求1所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，对原始分辨率的低光照图像和正常光照图像进行预处理的具体方法为：
分别将原始分辨率的低光照图像、正常光照图像在随机位置上进行切块，其中切块大小随机选取128×128到320×320之间的正方形尺寸，然后将得到的切块统一缩小到128×128大小，作为训练用的低光照图像块和正常光照图像块；
分别将得到的低光照图像块和正常光照图像块进行随机的旋转和翻转，并且使用如下公式缩放图像的像素范围，得到用于训练的不成对的低光照图像块和正常光照图像块数据集；
其中，Iori为像素值范围处于[0，255]的原始图像，I是经过缩放后像素范围处于[-1，1]的图像。
3.根据权利要求2所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，构建用于低光照增强的生成器网络的具体方法为：
生成器网络采用U-Net结构，包含编码器和解码器两部分，分别包含3次下采样提取图像特征和3次上采样还原输出图像，并将各尺度的编码器输出特征跳连到解码器部分对应层的输入中；其中编码器的下采样由步长为2、卷积核大小为3×3的卷积操作完成，解码器的上采样由最近邻插值的方式进行；在编码器部分，使用卷积、批归一化和带泄漏修正线性单元Leaky ReLU激活进行图像特征提取；在解码器部分，使用卷积、层归一化、Leaky ReLU激活和上采样操作来还原增强图像；
通过卷积子网络将输入的低光照图像编码成具有全局语义信息的潜在编码，使用潜在编码对编码器部分最后的输出特征进行自适应实例归一化，以实现适应不同亮度的输入低光照图像的特征调整；
分别将多尺度权重图与解码器的每层输出特征进行自注意力融合，通过将权重图融合到解码器特征中，以实现强化低光照区域的特征表达。
4.根据权利要求3所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，通过卷积子网络将输入的低光照图像编码成具有全局语义信息的潜在编码，使用潜在编码对编码器部分最后的输出特征进行自适应实例归一化，其具体方法为：
用一个由五个串联的步长为2、卷积核大小为4×4的卷积层、Leaky ReLU激活函数和一个全连接层组成子网络f(.)，将输入的低光照图像I转换为一维的潜在编码，使用通过潜在编码学习到的特征变换系数对归一化后的特征进行变换，如以下公式：
其中，I为输入的低光照图像，x为图像I经过编码器部分输出的最后一个特征图，x′表示特征图x经过自适应实例归一化后的结果，σ(x)和μ(x)分别是特征图x在宽、高维度上的均值和标准差，f(I)是利用子网络从图像I计算得到一维的潜在编码，σf(f(I))和μf(f(I))分别是由一个全连接层从潜在编码学习出的特征变化系数，用于对归一化后的特征图x进行变换。
5.根据权利要求3所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，分别将多尺度权重图与解码器的每层输出特征进行自注意力融合，具体包括以下步骤：
分别对解码器的每一层计算对应的权重图，然后使用权重图对每一层解码器特征进行自注意力融合；在解码器的每一层，首先使用双线性插值将输入图像I的宽、高缩小到对应解码器层中特征图的大小，再将每个RGB像素视为三维向量并计算其欧几里德范数，得到一张权重图M；
然后对权重图M使用卷积操作，为原始的解码器输出特征fc的每个通道学习空间权重图，得到Mc，将解码器特征fc和空间权重图Mc进行点乘得到f′c，完成空间注意力计算，再将f′c进行全局平均池化得到一维向量，对池化后的一维向量使用全连接层进行压缩和扩张，得到通道注意力向量Vc，将通道注意力向量Vc点乘f′c完成通道注意力计算，得到的输出特征作为该层最终的解码器输出特征。
6.根据权利要求3所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，构建的判别器网络包括全局判别器网络和局部判别器网络，所述全局判别器含有1层步长为1、卷积核大小为1×1的卷积层和五层串联的步长为2、卷积核大小为4×4的卷积层，卷积层后使用Leaky ReLU函数激活，将输入图像的空间大小从128×128降到4×4，再经过展平后使用串联的全连接层和Leaky ReLU层合并全局图像信息，最后使用一个全连接层预测判别结果；判别结果分为两类，即真实的正常光照图像和生成的正常光照图像；
所述局部判别器含有1层步长为1、卷积核大小为1×1的卷积层和五层串联的步长为2、卷积核大小为4×4的卷积层，卷积层后使用Leaky ReLU函数激活，将输入图像转变成特征矩阵，最后使用全连接层将该特征矩阵变换为输出的预测矩阵；局部判别器的预测矩阵中每个位置的值对应于原始输入中94×94大小的像素块，故预测矩阵中的每个值表示对输入图中对应位置块的判别结果。
7.根据权利要求6所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡，具体包括以下步骤：
将低光照图像块随机划分为多个批次，每个批次包含N个图像块；
将正常光照图像块随机划分为多个批次，每个批次包含N个图像块；
将低光照图像块按批次输入生成器网络得到增强图像块，将增强图像块和正常光照图像块按批次分别输入全局判别器网络和局部判别器网络得到判别结果；
根据生成器网络的总目标损失函数，使用反向传播方法计算生成器网络中各参数的梯度，并利用随机梯度下降方法更新生成器网络的参数；
根据判别器网络的总目标损失函数，使用反向传播方法计算全局判别器网络和局部判别器网络中各参数的梯度，并利用随机梯度下降方法更新全局判别器网络和局部判别器网络的参数；
以批次为单位重复进行上述步骤，直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成器和判别器网络训练过程。
8.根据权利要求7所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，所述生成器网络的总目标损失函数计算如下：
其中，
和
分别是全局判别器对生成器的损失、局部判别器对生成器的损失、自颜色损失和总变分损失，λ1、λ2、λ3和λ4是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：
其中，z表示低光照图像，Q为低光照图像分布，
为计算每个批次内图像对应的均值，Dglobal和Dlocal分别是全局判别器和局部判别器，G表示生成器网络；
为了计算自颜色损失
首先对输入的低光照图像I进行处理得到颜色图Ic，该处理公式如下：
其中，I为像素范围处于[-1，1]的输入图像，μl(I)和σl(I)分别是在输入图像I的宽、高和通道数三个维度上的均值和标准差，Ic是图像I对应的颜色图；然后使用如下公式计算
其中，Ii′为该批次内第i张低光照图像Ii经生成器输出的增强结果，
是该批次内第i张低光照图像Ii对应的颜色图，M是每一张图像内的像素数量，
和I′i(j)分别是图像
和Ii′对应于j位置的RGB像素组成的一维向量，||.||2表示欧几里得范数，||.||1表示绝对值范数，·和×分别代表实数点乘和向量点积运算符，
表示计算图像空间维度的梯度，
和
分别表示梯度图
和
中位置j上的值，λsc是权重系数；
其中，Ii′为该批次内第i张低光照图像Ii经生成器输出的增强结果，N为该批次内低光照图像的数量，H、W分别表示每一张图像的高和宽，I′i(w，h，c)表示生成器输出的增强结果图像I′i中(w，h，c)位置的像素值，|.|为取绝对值操作，·为实数的点乘操作。
9.根据权利要求7所述的基于生成对抗网络的无参考低光照图像增强方法，其特征在于，所述判别器网络的总目标损失函数计算如下：
其中，
和
分别为全局判别器和局部判别器的损失函数，λ5和λ6分别为两个损失函数的系数，·为实数的点乘操作，其中各项损失具体的计算公式如下：
其中，x和z分别表示正常光照图像和低光照图像，P和Q分别表示正常光照图像分布和低光照图像分布，max表示取最大值操作，
为计算每个批次内图像对应的均值，Dglobal和Dlocal分别是全局判别器和局部判别器，G表示生成器网络。
10.一种基于生成对抗网络的无参考低光照图像增强系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-9任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010700648.5A CN111798400B (zh) | 2020-07-20 | 2020-07-20 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010700648.5A CN111798400B (zh) | 2020-07-20 | 2020-07-20 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111798400A true CN111798400A (zh) | 2020-10-20 |
| CN111798400B CN111798400B (zh) | 2022-10-11 |
Family
ID=72807956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010700648.5A Active CN111798400B (zh) | 2020-07-20 | 2020-07-20 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798400B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348806A (zh) * | 2020-11-14 | 2021-02-09 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价算法 |
| CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN112767279A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
| CN112801902A (zh) * | 2021-01-29 | 2021-05-14 | 福州大学 | 一种基于改进生成对抗网络的交通图像去雾方法 |
| CN113033567A (zh) * | 2021-03-22 | 2021-06-25 | 安阳师范学院 | 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法 |
| CN113222032A (zh) * | 2021-05-19 | 2021-08-06 | 西安电子科技大学 | 基于自注意图像编码的无参考图像质量评价方法 |
| CN113240605A (zh) * | 2021-05-21 | 2021-08-10 | 南开大学 | 基于对称神经网络进行正反双向学习的图像增强方法 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
| CN113344793A (zh) * | 2021-08-04 | 2021-09-03 | 深圳市安软科技股份有限公司 | 图像超分辨率重建方法、装置、设备及存储介质 |
| CN113592752A (zh) * | 2021-07-12 | 2021-11-02 | 四川大学 | 一种基于对抗网络的道路交通光污损图像增强方法及装置 |
| CN114065838A (zh) * | 2021-10-22 | 2022-02-18 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
| CN114913085A (zh) * | 2022-05-05 | 2022-08-16 | 福州大学 | 基于灰度提升的双路卷积低光照图像增强方法 |
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN115588039A (zh) * | 2022-12-12 | 2023-01-10 | 易斯德(福建)智能科技有限公司 | 基于光线自适应对抗学习的光度立体图生成方法及装置 |
| CN115661820A (zh) * | 2022-11-15 | 2023-01-31 | 广东工业大学 | 一种基于密集特征反向融合的图像语义分割方法及系统 |
| CN116029947A (zh) * | 2023-03-30 | 2023-04-28 | 之江实验室 | 一种用于恶劣环境的复杂光学图像增强方法、装置和介质 |
| CN116109496A (zh) * | 2022-11-15 | 2023-05-12 | 济南大学 | 基于双流结构保护网络的x光片增强方法及系统 |
| WO2023236445A1 (zh) * | 2022-06-09 | 2023-12-14 | 北京大学 | 一种使用长曝光补偿的低光照图像增强方法 |
| CN117541969A (zh) * | 2024-01-09 | 2024-02-09 | 四川大学 | 一种基于语义和图像增强的色情视频检测方法 |
| CN117745595A (zh) * | 2024-02-18 | 2024-03-22 | 珠海金山办公软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110074813A (zh) * | 2019-04-26 | 2019-08-02 | 深圳大学 | 一种超声图像重建方法及系统 |
| WO2019238560A1 (en) * | 2018-06-12 | 2019-12-19 | Tomtom Global Content B.V. | Generative adversarial networks for image segmentation |
| CN111161178A (zh) * | 2019-12-25 | 2020-05-15 | 湖南大学 | 基于生成式对抗网络的单幅低光图像增强方法 |
-
2020
- 2020-07-20 CN CN202010700648.5A patent/CN111798400B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019238560A1 (en) * | 2018-06-12 | 2019-12-19 | Tomtom Global Content B.V. | Generative adversarial networks for image segmentation |
| CN110074813A (zh) * | 2019-04-26 | 2019-08-02 | 深圳大学 | 一种超声图像重建方法及系统 |
| CN111161178A (zh) * | 2019-12-25 | 2020-05-15 | 湖南大学 | 基于生成式对抗网络的单幅低光图像增强方法 |
Non-Patent Citations (5)
| Title |
|---|
| IAN J. GOODFELLOW等: "Generative adversarial nets", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 * |
| YIFAN JIANG等: "EnlightenGAN: Deep Light Enhancement Without Paired Supervision", 《RESEARCHGATE》 * |
| 李英等: "基于生成对抗网络的多用途图像增强鲁棒算法", 《计算机应用与软件》 * |
| 谢志峰等: "基于生成对抗网络的HDR图像风格迁移技术", 《上海大学学报(自然科学版)》 * |
| 陈佛计等: "基于生成对抗网络的红外图像数据增强", 《计算机应用》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348806A (zh) * | 2020-11-14 | 2021-02-09 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价算法 |
| CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112381716B (zh) * | 2020-11-18 | 2023-08-18 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN112614077B (zh) * | 2020-12-30 | 2022-08-19 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN112801902A (zh) * | 2021-01-29 | 2021-05-14 | 福州大学 | 一种基于改进生成对抗网络的交通图像去雾方法 |
| CN112801902B (zh) * | 2021-01-29 | 2022-06-21 | 福州大学 | 一种基于改进生成对抗网络的交通图像去雾方法 |
| CN112767279B (zh) * | 2021-02-01 | 2022-06-14 | 福州大学 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
| CN112767279A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
| CN113033567A (zh) * | 2021-03-22 | 2021-06-25 | 安阳师范学院 | 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法 |
| CN113222032A (zh) * | 2021-05-19 | 2021-08-06 | 西安电子科技大学 | 基于自注意图像编码的无参考图像质量评价方法 |
| CN113222032B (zh) * | 2021-05-19 | 2023-03-10 | 西安电子科技大学 | 基于自注意图像编码的无参考图像质量评价方法 |
| CN113240605A (zh) * | 2021-05-21 | 2021-08-10 | 南开大学 | 基于对称神经网络进行正反双向学习的图像增强方法 |
| CN113592752A (zh) * | 2021-07-12 | 2021-11-02 | 四川大学 | 一种基于对抗网络的道路交通光污损图像增强方法及装置 |
| CN113313657B (zh) * | 2021-07-29 | 2021-12-21 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
| CN113344793A (zh) * | 2021-08-04 | 2021-09-03 | 深圳市安软科技股份有限公司 | 图像超分辨率重建方法、装置、设备及存储介质 |
| CN114065838A (zh) * | 2021-10-22 | 2022-02-18 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
| CN114913085A (zh) * | 2022-05-05 | 2022-08-16 | 福州大学 | 基于灰度提升的双路卷积低光照图像增强方法 |
| WO2023236445A1 (zh) * | 2022-06-09 | 2023-12-14 | 北京大学 | 一种使用长曝光补偿的低光照图像增强方法 |
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN115661820B (zh) * | 2022-11-15 | 2023-08-04 | 广东工业大学 | 一种基于密集特征反向融合的图像语义分割方法及系统 |
| CN116109496A (zh) * | 2022-11-15 | 2023-05-12 | 济南大学 | 基于双流结构保护网络的x光片增强方法及系统 |
| CN115661820A (zh) * | 2022-11-15 | 2023-01-31 | 广东工业大学 | 一种基于密集特征反向融合的图像语义分割方法及系统 |
| CN115588039B (zh) * | 2022-12-12 | 2023-05-30 | 易斯德(福建)智能科技有限公司 | 基于光线自适应对抗学习的光度立体图生成方法及装置 |
| CN115588039A (zh) * | 2022-12-12 | 2023-01-10 | 易斯德(福建)智能科技有限公司 | 基于光线自适应对抗学习的光度立体图生成方法及装置 |
| CN116029947B (zh) * | 2023-03-30 | 2023-06-23 | 之江实验室 | 一种用于恶劣环境的复杂光学图像增强方法、装置和介质 |
| CN116029947A (zh) * | 2023-03-30 | 2023-04-28 | 之江实验室 | 一种用于恶劣环境的复杂光学图像增强方法、装置和介质 |
| CN117541969A (zh) * | 2024-01-09 | 2024-02-09 | 四川大学 | 一种基于语义和图像增强的色情视频检测方法 |
| CN117541969B (zh) * | 2024-01-09 | 2024-04-16 | 四川大学 | 一种基于语义和图像增强的色情视频检测方法 |
| CN117745595A (zh) * | 2024-02-18 | 2024-03-22 | 珠海金山办公软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111798400B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798400B (zh) | 基于生成对抗网络的无参考低光照图像增强方法及系统 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN112329658B (zh) | 一种对于yolov3网络的检测算法改进方法 | |
| CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN110689599B (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN110351511A (zh) | 基于场景深度估计的视频帧率上变换系统及方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
| CN111583340A (zh) | 基于卷积神经网络降低单目相机位姿估计误差率的方法 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN115546505A (zh) | 一种基于深度学习的无监督单目图像深度估计方法 | |
| CN115272437A (zh) | 一种基于全局与局部特征的图像深度估计方法及装置 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN111311698A (zh) | 一种用于多尺度目标的图像压缩方法及系统 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111429363A (zh) | 一种基于视频编码的视频降噪方法 | |
| CN117635478B (zh) | 一种基于空间通道注意力的低光照图像增强方法 | |
| CN112927136B (zh) | 一种基于卷积神经网络域适应的图像缩小方法及系统 | |
| Wu et al. | Semantic image inpainting based on generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |