CN110163815A - 基于多阶段变分自编码器的低照度还原方法 - Google Patents
基于多阶段变分自编码器的低照度还原方法 Download PDFInfo
- Publication number
- CN110163815A CN110163815A CN201910321753.5A CN201910321753A CN110163815A CN 110163815 A CN110163815 A CN 110163815A CN 201910321753 A CN201910321753 A CN 201910321753A CN 110163815 A CN110163815 A CN 110163815A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- level
- low
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000005286 illumination Methods 0.000 claims abstract description 40
- 230000009467 reduction Effects 0.000 claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract 2
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 28
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000002790 cross-validation Methods 0.000 claims description 16
- 230000017105 transposition Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 241001269238 Data Species 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000008034 disappearance Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000013016 learning Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多阶段变分自编码器的低照度还原方法，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：（一）采集数据源，制作数据集：（二）进行MUVAE网络第一阶段训练：（三）进行MUVAE网络第二阶段训练：（四）进行Fine tuning操作：（五）进行低照度图像还原。本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。
Description
技术领域
本发明涉及深度学习、图像增强技术领域，尤其涉及一种基于多阶段变分自编码器的低照度还原方法。
背景技术
由于受到物体接收的入射辐射不足，在低光环境下拍摄的图像易于从低能见度中获得，例如对比度降低，颜色模糊，场景细节模糊。另外，在低光环境下拍摄的图像通常会受到低动态范围和噪声的影响，丢失许多细节信息，从而降低图像的质量。如何能在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图像一直是深度学习、图像增强技术领域研究的方向。
变分自编码器(VAE)作为深度生成模型的一种形式，是由Kingma等人于2014年提出的基于变分贝叶斯(Variational Bayes，VB)推断的生成式网络结构。VAE利用两个神经网络建立两个概率密度分布模型：一个用于原始输入数据的变分推断，生成隐变量的变分概率分布，称为推断网络；另一个根据生成的隐变量变分概率分布，还原生成原始数据的近似概率分布，称为生成网络。VAE近年在数据生成方面有较多的应用，尤其是在图像生成方面，其结构如图1所示。
U-Net是由Olaf Ronneberger等人在2015提出的一种分割网络，能够适应很小的训练集，其网络的主体结构和自编码器类似，主要包括两部分：编码结构和解码结构。编码结构类似于特征提取器，通过一系列的卷积和下采样操作捕获输入图像的特征信息；解码结构是在与编码结构对称的基础上扩展的，以编码结构提取的特征为基础，通过一系列的转置卷积和上采样操作逐步生成新的图像。U-Net解码结构的特点是将对应编码结构层的输出结果作为解码层输入的一部分，这个操作能够有效的克服编码过程中信息丢失的问题，提高了生成图像的质量。由于编码、解码的网络结构呈“U”型，所以取名为“U-Net”，其网络结构如图2所示。
卷积网络(Convolutional Neural Networks，CNN)，是由LeCun于1989年提出的特殊神经网络，也叫卷积神经网络，主要用于处理具有类似网络结构的数据的神经网了，如时间序列数据(可看成是在时间轴上有规律地采样形成地一维网格)、图像数据(可看成是二维的像素网格)等，CNN中的“卷积”是一种特殊的线性运算。CNN近年来被广泛的用于深度学习的各项领域，如图像处理、语音处理和自然语言处理等。
在上述理论基础上，本发明提出了利用变分自编码器，结合U-Net网络结构，并引入多阶段训练的方法对低照度图像进行照度还原。
发明内容
针对现有技术的不足，本发明所解决的技术问题是如何能在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图像。
为解决上述技术问题，本发明采用的技术方案是一种基于多阶段变分自编码器的低照度还原方法，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：
(一)采集数据源，制作数据集：根据光照强度分别采集正常光照条件下的图像数据集与低照度条件下的图像数据集，所述低照度为：0.04～0.004lux，将图像数据按照度分为2个大数据集，分别为：
正常光照下的可见光图像集包含训练样本标签集、交叉验证样本标签集；
低照度下的弱可见光图像集包含训练数据集、交叉验证数据集、测试数据集；
其中，正常光照下的可见光图像集作为网络的训练标签低照度下的弱可见光图像集的训练数据集作为网络的训练样本，弱可见光图像集的交叉验证数据集作为网络的Finetuning样本，弱可见光图像集的测试数据集作为网络的测试样本；
采集数据源，制作数据集具体过程如下：
1)正常光照下的可见光图像集采集
采集的是正常照度条件下的图像数据，采集后，以6∶2∶2的图像数量比例分成训练样本标签集、交叉验证样本标签集和备用三个数据集；
2)低照度下的弱可见光图像集采集
在采集正常照度条件下图像数据后，保持相机角度不变，依照调节照度的原则获取低照度图像数据。
低照度下的弱可见光图像集采集完成后，以6∶2∶2的图像数量比例，分别组成训练数据集、交叉验证数据集、测试数据集三个子数据集；
3)图像尺寸归一化操作
对所有图像数据进行尺寸归一化处理，通过裁切将所有图像大小固定为WxH大小；
4)图像像素值归一化操作
对所有图像数据进行像素值归一化处理，将像素值映射到[0，1]的范围内；像素值归一化计算表达式如公式(1)所示。
其中，x为原始的像素值，min为像素值的最小值，max为像素值的最大值，X*为归一化后的像素值。
(二)进行MUVAE网络第一阶段训练：将正常光照下的可见光图像集、低照度下的弱可见光图像集分别作为网络训练的图像标签和训练样本送入MUVAE网络进行训练；MUVAE对训练样本进行编码、解码操作后输出重构的图像，计算重构图像与其标签之间的误差，通过优化器不断最小化误差，在最小化误差过程中逐步调整MUVAE网络第一阶段网络结构的权重、偏移项参数；其具体过程如下：
1)输入：低照度下的弱可见光图像集的训练数据集的低照度图像；
2)输出：经过MUVAE第一阶段重新生成的图像；
3)建立MUVAE第一阶段模型结构；
MUVAE第一阶段模型主要包含三部分：编码、重采样和解码；
a)编码，通过一系列的卷积和下采样逐步计算出样本的均值、方差，编码部分由4层构成，每层由卷积核为3x3、步长为2的卷积实现，卷积的计算表达式如公式4所示。
conv＝kernel*input (4)
其中，conv为卷积输出，kernek为卷积核，input为卷积输入，*为卷积操作。
b)重采样，利用编码阶段求出的均值、方差计算出样本的高斯分布，并从高斯分布中采样，得到复合高斯分布的隐变量；
c)解码，将重采样后的隐变量通过上采样逐步映射成新的图像，解码部分由4层构成，每层由卷积核3x3、步长为2的转置卷积实现，转置卷积的计算表达式如公式5所示；
input＝kernelT*conv (5)
其中，input为转置卷积输出即卷积的输入，kernelT为卷积核的转置， conv为转置卷积输入即卷积的输出，*为卷积操作；
U-Net跳跃结构能够将编码层的输入送到对应编码层，通过concat的方法将其作为编码层输入的一部分，U-Net跳跃操作能够有效减少VAE编码过程特征信息的丢失量，保留更多的细节信息，有助于生成更清晰的图像，同时能够有效减缓随着网络深度增加而产生的梯度消失问题；
4)计算MUVAE第一阶段训练的损失函数
MUVAE第一阶段训练主要包括两个损失函数，分别是K-L散度损失、均方误差损失；
a)K-L散度损失
K-L散度用来描述两个概率分布P、Q差别的非对称的度量，P表述数据的真实分布，Q表示数据的近似分布；K-L值越小，P、Q概率分布越接近；使用到的K-L散度计算表达式如公式(6)所示。
b)MSE
MSE是指参数估计值与参数真值之差的平方，MSE值越小，说明预测数据越接近实际数据；MSE具有函数连续可导，便于使用梯度下降算法；MSE 值减小的同时，梯度也在减小，这样的变化有利于加快函数收敛速度；用于图像生成时，能够获得很高的峰值信噪比；其计算表达式如公式(7)所示。
其中，n为样本总数，y(i)为第i个实际样本值，y′(t)为第i个预测样本值。
(三)进行MUVAE网络第二阶段训练：输出低照度图像初步还原的图像，并将该图像作为MUVAE第二阶段训练的输入，进行二次还原，此还原侧重于优化图像细节、去除环境噪声以及调整色差，通过最小化输出图像与图像标签之间的误差，不断地优化整个网络结构的参数，逐步将网络训练至最优结构，其具体过程如下：
1)输入：MUVAR第一阶段的输出；
2)输出：低照度还原后的图像；
3)建立MUVAE第二阶段模型结构；
a)共使用5个残差块，每个残差块由两个卷积核为3x3、步长为1的卷积层构成，使用3x3的卷积核一方面能够减小计算量，另一方面能够增强对细节特征的还原；
b)卷积的输出与残差块的输入通过“元素级别相加”的方法进行组合后，送入ReLU激活函数中，进行非线性的映射。“元素级别相加”的计算表达式如公式(8)所示；
y＝H(x)+x (8)
其中H(x)为残差块中的卷积输出，x为残差块的输入，y为残差块最终输出，‘+’表示元素级别相加；
c)5个残差块后，添加了两个卷积，分别是卷积核3x3，步长为1，该层卷积主要用于对残差块处理后的特征进行整合；卷积核1x1，步长为1，该层用于整合特征图通道之间的特征，并调整通道数；
4)计算MUVAE第二阶段的损失函数
MUVAE第二阶段的损失函数为平均绝对值损失，其计算表达式如公式(9) 所示。
其中，n为样本总数，y(i)为第i个实际样本值，y′(i)为第i个预测样本值。
(四)进行Fine tuning操作：MUVAE网络的训练阶段主要以低照度下的弱可见光图像集的训练数据集中的图像作为训练样本，对低照度下的弱可见光图像集的训练数据集中的图像以外的低照度图像还原的性能不够好即泛化性可能较差，鲁棒性较弱；为了增强MUVAE网络的泛化性和鲁棒性，使用低照度下的弱可见光图像集的交叉验证数据集对训练好的MUVAE网络Fine tuing操作，其具体过程如下：
1)导入训练好的网络模型和网络参数；
2)使用低照度下的弱可见光图像集的交叉验证数据集对网络进行训练，
即Fine tuning；
3)将Fune tuning后的MUVAE网络结构及参数作为最终用于低照度还原的结构及参数。
(五)进行低照度图像还原：将低照度下的弱可见光图像集的测试数据集送入Finetuning之后的MUVAE网络中，得到照度还原后的可见光图像，完成对低照度图像的还原操作，其具体过程如下：
通过计算低照度图像还原结果与正常照度图像的峰值信噪比PSNR、结构相似度SSIM和均方误差MSE三个评价标准，衡量还原效果，其计算表达式分别如公式(10)、(11)、(9)所示：
其中，公式(10)中，MAXI表示图像点颜色的最大数值，如果每个采样点用8位表示，那么就是255；
SSIM(x，y)＝[l(x，y)]α[c(x，y)]β[s(x，y)]γ (11)
其中，l(x，y)比较x 和y的亮度，c(x，y)比较x和y的对比度，s(x，y)比较x和y的结构structure，α＞0，β＞0，γ＞0，为调整l(x，y)、c(x，y)、s(x，y)相对重要性的参数，μx及μy、σx及σy分别为x和y的平均值和标准差，σxy为x和y的协方差，C1、C2、C3皆为常数，用以维持l(x，y)、c(x，y)、s(x，y)的稳定；结构相似性指标的值越大，代表两个信号的相似性越高；
MSE为均方误差，如公式(9)所示，MSE值越小，低照度还原图像越接近于正常照度下的图像。
与现有技术相比，本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。
附图说明
图1为变分自编码器结构示意图；
图2为U-Net网络结构示意图；
图3为MUVAE网络结构图；
图4为本发明流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。
本发明方法采用图3所示的网络结构及图4所示的训练流程。
首先，组织人员采取各个类别的图像数据，制作数据集；其次，分别对 MUVAE网络进行第一阶段、第二阶段的训练；然后，对训练好的MUVAE网络进行Fine tuning操作；最后，将低照度图像数据送入MUVAE网络，完成对低照度图像还原的操作。
本方法提出的MUVAE网络结构主要有两阶段构成，分别是由变分自编码器(VAE)和U-Net结构构成的第一阶段和由5个残差块、2个卷积层构成的第二阶段构成。
第一阶段的结构：变分自编码器通过编码过程提取低照度图像特征，并利用提取的特征重新生成图像，用于第二阶段的输入；由于VAE编码是一个下采样的过程，而U-Net结构主要作用是通过将编码阶段下采样之前的卷积输出跳跃连接到相应的解码层，作为解码层输入的一部分，能够有效减少VAE 编码过程特征信息的丢失量，保留更多的细节信息，有助于生成更清晰的图像。第一阶段网络结构细节如表3所示。
第二阶段的结构：因为第一阶段生成的图像是比较粗糙的，细节生成的不够好，所以第二阶段的训练相当于一个提高分辨率的过程，侧重于优化图像细节、去除环境噪声以及调整色差等，在第一阶段训练的基础上进行的更细粒度的处理，以达到更好的还原效果。第二阶段网络结构细节如表4所示。
图4示出了本发明具体实施步骤：
(一)采集数据源，制作数据集：
按照光照条件的不同，需要成对的采集正常光照条件的图像数据和低照度光照条件的图像数据。初步采集图像后，将图像数据按照度分为2个大数据集(或按训练需求分为5个小数据集)，分别为：
正常光照下的可见光图像集(Nor_dataset)，Nor_dataset包含训练样本标签集(Normal Ligth Training Dataset，Nor_dataset_train)、交叉验证样本标签集(NormalLigth Validation Dataset，Nor_dataset_valid)；
低照度下的弱可见光图像集(LL_dataset)，LL_dataset包含训练数据集 (LL_dataset_train)、交叉验证数据集(LL_dataset_valid)、测试数据集 (LL_dataset_test)。
采集数据源，制作数据集具体过程如下：
采集图像数据时调节照度的原则是：通过调节快门速度和光圈大小的数值获取不同的曝光，其中优先调整快门速度，当快门速度至最快时仍无法满足照度条件，调节光圈大小。在某个点采集图像数据时，需要使用三脚架固定相机，确保以同一角度采集图像。
采集数据设备及参数设置，如表1所示。
表1采集数据的设备及参数设置
1)Nor_dataset数据集采集
此数据集是作为MUVAE网络训练的样本标签，所以采集的是正常照度条件下的图像数据。采集后，以6∶2∶2的图像数量比例分成Nor_dataset_train、Nor_dataset_valid和备用三个数据集。
2)LL_dataset数据集采集
此数据集包含了三个子数据集，分别是训练数据集(LL_dataset_train)、交叉验证数据集(LL_dataset_valid)、测试数据集(LL_dataset_test)。在采集正常照度条件下图像数据后，保持相机角度不变，依照调节照度的原则获取低照度图像数据。
LL_dataset采集完成后，以6∶2∶2的图像数量比例，分别组成 LL_dataset_train、LL_dataset_valid和LL_dataset_test三个子数据集。
3)图像尺寸归一化操作
对所有图像数据进行尺寸归一化处理，通过裁切(或放大缩小图像大小)的方式将所有图像大小固定为WxH大小(W、H可根据实际训练需求设置)。有利于提高MUVAE的训练效率、速度。
4)图像像素值归一化操作
对所有图像数据进行像素值归一化处理，将像素值映射到[0，1]的范围内。有助于提高MUVAE网络的收敛速度与精度、避免过拟合问题。像素值归一化计算表达式如公式(1)所示：
其中，x为原始的像素值，min为像素值的最小值，max为像素值的最大值，X*为归一化后的像素值。
所有数据集的基本信息如表2所示。
表2数据集的基本信息
(二)进行MUVAE网络第一阶段训练
第一阶段训练的主要作用是初步生成比较大的特征，比如环境特征、亮度特征以及比较显著的图像内容特征等。将Nor_dataset、LL_dataset_train分别作为网络训练的图像标签，和训练样本送入MUVAE网络进行训练。MUVAE 对训练样本进行编码、解码操作后输出重构的图像，计算重构图像与其标签之间的误差，通过优化器不断最小化误差，在最小化误差过程中逐步调整 MUVAE网络第一阶段网络结构的权重、偏移项等参数。
MUVAE第一阶段训练的输入、输出及模型结构具体如下，示意图如图3 所示。
1)输入：LL_dataset_train数据集中的低照度图像；
2)输出：经过MUVAE第一阶段重新生成的图像；
3)MUVAE第一阶段模型结构：
变分自编码器(VAE)构成了模型的主体，在VAE的基础上，添加U-Net 网络结构，将编码阶段的输出传送到相应的解码阶段，其中变分自编码器的特点如下：
a)VAE基本原理
VAE的目的是构建一个由隐变量Z生成目标数据X的模型，假设输入Z是符合某种分布的，通过训练某个模型X＝g(Z)，这个模型能够将Z的分布映射成到X的概率分布。
根据X得到其的分布p(X)，这样就能够直接在p(X)上进行采样，但是直接得到是比较困难的，所以通过条件概率公式间接的求出p(X)，假设Z是符合标准正态分布的，则从标准正态分布中采样得到Z，根据Z求出X。如公式 (2)所示：
但是存在的问题：从p(Z)中重新采样得到的Zk，是否对应着Xk，这时候求的X、X′之间误差是不对的。所有假设存在Xk专属的p(Z|Xk)，且符合正态分布，因为从中采样Z，然后生成X，这样能确保X与X′是一一对应的，避免从p(Z)采样的Zk重构的X′与原始的X不是对应关系。利用卷积网络算出 p(Z|Xk)的均值、方差。如公式(3)所示。
logqφ(z|x(i))＝logN(z；μ(i)，σ2(i)I) (3)
b)分布标准化
向量Zk是通过采样构造而来的，不是直接由encoder算出来的，所以重构 X的过程会有噪声。然而噪声(方差)是通过神经网络学习到的，为了使X与 X′的误差更小，训练会使得噪声逐渐变小(方差＝0)，但是这样丢失了随机性，导致模型逐渐退化成普通的自编码模型，噪声不再起作用。
通过将p(Z|X)都向标准正态分布看齐。能够避免噪声消失，保持模型的生成能力，因为使得p(Z)～N(0，1)，满足了先验假设。
c)重参数技巧
将从N(μ，σ2)采样变成了从N(0，1)中采样，然后通过参数变换得到从 N(μ，σ2)中采样的结果。即从N(μ，σ2)中采样一个z，相当于从N(0，1)中采样一个ε，根据μ、ε求出z。如公式(4-1)、(4-2)所示。
z＝μ+ε*σ (4-2)
MUVAE第一阶段模型主要包含三部分：编码、重采样和解码。
a)编码过程通过一系列的卷积和下采样逐步计算出样本的均值、方差，本方法中编码部分由4层构成，每层由卷积核为3x3、步长为2的卷积实现， 3x3大小的卷积核能够确保对细节信息的提取，使用步长为2的目的为了替代池化进行下采样。卷积的计算表达式如公式4所示：
conv＝kernel*input (4)
其中，conv为卷积输出，kemek为卷积核，input为卷积输入，*为卷积操作。
b)重采样部分利用编码阶段求出的均值、方差计算出样本的高斯分布，并从高斯分布中采样，得到复合高斯分布的隐变量，这个隐变量本质上是样本特征编码后的变量，其包含了样本的许多高维特征。
c)解码部分将重采样后的隐变量通过上采样逐步映射成新的图像，本方法中解码部分由4层构成，每层由卷积核3x3、步长为2的转置卷积实现，参数是参考编码部分设置的，以确保上采样后的图像大小与原始样本大小相等。转置卷积的计算表达式如公式5所示：
input＝kernelT*conv (5)
其中，input为转置卷积输出(卷积的输入)，kernelT为卷积核的转置， conv为转置卷积输入(卷积的输出)，*为卷积操作。
d)U-Net跳跃结构能够将编码层的输入送到对应编码层，通过concat的方法将其作为编码层输入的一部分。由于编码是一个逐步下采样的过程，所以会导致输入样本部分信息的丢失，进而影响解码的质量。U-Net跳跃操作能够有效减少VAE编码过程特征信息的丢失量，保留更多的细节信息，有助于生成更清晰的图像，同时能够有效减缓随着网络深度增加而产生的梯度消失问题。
4)MUVAE第一阶段训练的损失函数
MUVAE第一阶段训练主要包括两个损失函数，分别是K-L (Kullback-Leiblerdivergence，KLD)散度损失、均方误差损失(Mean Square Error，MSE)。
a)K-L散度损失
K-L散度用来描述两个概率分布P、Q差别的非对称的度量。P表述数据的真实分布，Q表示数据的近似分布。K-L值越小，P、Q概率分布越接近。本方法中使用到的K-L散度计算表达式如公式(6)所示：
b)MSE
MSE是指参数估计值与参数真值之差的平方，MSE值越小，说明预测数据越接近实际数据。MSE具有函数连续可导，便于使用梯度下降算法；MSE 值减小的同时，梯度也在减小，这样的变化有利于加快函数收敛速度；用于图像生成时，能够获得很高的峰值信噪比等优点。其计算表达式如公式(7) 所示：
其中，n为样本总数，y(i)为第i个实际样本值，y′(i)为第i个预测样本值。
MUVAE第一阶段结构模型细节如表3所示：
表3 MUVAE第一阶段结构参数设置
(三)进行MUVAE网络第二阶段训练
在MUVAE第一阶段训练后，输出低照度图像初步还原的图像，并将该图像作为MUVAE第二阶段训练的输入，进行二次还原。此阶段还原侧重于优化图像细节、去除环境噪声以及调整色差等，在第一阶段训练的基础上进行的更细粒度的处理，以达到更好的还原效果。通过最小化输出图像与图像标签之间的误差，不断地优化整个网络结构的参数，逐步将网络参数训练至最优。
1)输入：MUVAR第一阶段的输出；
2)输出：低照度还原后的图像；
3)MUVAE第二阶段模型结构；
MUVAE第二阶段模型结构特点是使用残差块，有效减缓卷积过程中的信息丢失，避免训练过程的梯度消失、梯度爆炸等问题。
a)共使用5个残差块，每个残差块由两个卷积核为3x3、步长为1的卷积层构成，使用3x3的卷积核一方面能够减小计算量，另一方面能够增强对细节特征的还原。
b)卷积的输出与残差块的输入通过“元素级别相加”的方法进行组合后，送入ReLU激活函数中，进行非线性的映射。“元素级别相加”的计算表达式如公式(8)所示：
y＝H(x)+x (8)
其中H(x)为残差块中的卷积输出，x为残差块的输入，y为残差块最终输出。‘+’表示元素级别相加。
c)5个残差块后，添加了两个卷积，分别是卷积核3x3，步长为1，该层卷积主要用于对残差块处理后的特征进行整合；卷积核1x1，步长为1，该层用于整合特征图通道之间的特征，并调整通道数。
4)MUVAE第二阶段的损失函数
MUVAE第二阶段的损失函数为平均绝对值损失(Mean Absolute Erro， MAE)，MAE克服了MSE的缺点，受偏离正常范围的离群样本的影响小，能够保持高频细节，比MSE具备更好的鲁棒性。其计算表达式如公式(9)所示：
其中，n为样本总数，y(i)为第i个实际样本值，y′(i)为第i个预测样本值。
MUVAE第二阶段结构细节设置如表4所示。
表4 MUVAE网络第二阶段结构细节设置
(四)进行Fine tuning操作
MUVAE网络的训练阶段主要以LL_dataset_train中的图像作为训练样本，所以MUVAE网络参数的调整主要是根据LL_dataset_train中的图像特征进行优化的，对LL_dataset_train中的图像以外的低照度图像还原的性能泛化性较差，鲁棒性较弱。为了增强MUVAE网络的泛化性和鲁棒性，在网络结构保持不变的、使用训练阶段获得的超参数基础上，改变网络输入样本集，即使用LL_dataset_valid图像数据，对训练好的MUVAE网络进行Fine tuning。
1)导入训练好的网络模型和网络参数；
2)使用LL_dataset_valid样本集对网络进行训练，即Fine tuning；
3)将Fune tuning后的MUVAE网络结构及参数作为最终用于低照度还原的结构及参数。
(五)进行低照度图像还原
将LL_dataset_test图像数据送入Fine tuning操作之后的MUVAE网络中，得到照度还原后的可见光图像，完成对低照度图像的还原操作。
通过计算低照度图像还原结果与正常照度图像的峰值信噪比(PSNR)、结构相似度(SSIM)和均方误差(MSE)三个评价标准，衡量还原效果。其计算表达式分别如公式(10)、(11)、(9)所示：
其中，公式(10)中，MAXI表示图像点颜色的最大数值，如果每个采样点用8位表示，那么就是255。
SSIM(x，y)＝[l(x，y)]α[c(x，y)]β[s(x，y)]γ (11)
其中，l(x，y)比较x 和y的亮度，c(x，y)比较x和y的对比度，s(x，y)比较x和y的结构(structure)，α＞0，β＞0，γ＞0，为调整l(x，y)、c(x，y)、s(x，y)相对重要性的参数，μx及μy、σx及σy分别为x和y的平均值和标准差，σxy为x和y的协方差，C1、C2、C3皆为常数，用以维持l(x，y)、c(x，y)、s(x，y)的稳定。结构相似性指标的值越大，代表两个信号的相似性越高。
MSE为均方误差，如公式(9)所示。MSE值越小，低照度还原图像越接近于正常照度下的图像。
以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。
Claims (7)
1.一种基于多阶段变分自编码器的低照度还原方法，其特征在于，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：
(一)采集数据源，制作数据集：根据光照强度分别采集正常光照条件下的图像数据集与低照度条件下的图像数据集，所述低照度为：0.04～0.004lux，将图像数据按照度分为2个大数据集，分别为：
正常光照下的可见光图像集包含训练样本标签集、交叉验证样本标签集；
低照度下的弱可见光图像集包含训练数据集、交叉验证数据集、测试数据集；
其中，正常光照下的可见光图像集作为网络的训练标签低照度下的弱可见光图像集的训练数据集作为网络的训练样本，弱可见光图像集的交叉验证数据集作为网络的Finetuning样本，弱可见光图像集的测试数据集作为网络的测试样本；
(二)进行MUVAE网络第一阶段训练：将正常光照下的可见光图像集、低照度下的弱可见光图像集分别作为网络训练的图像标签和训练样本送入MUVAE网络进行训练；MUVAE对训练样本进行编码、解码操作后输出重构的图像，计算重构图像与其标签之间的误差，通过优化器不断最小化误差，在最小化误差过程中逐步调整MUVAE网络第一阶段网络结构的权重、偏移项参数；
(三)进行MUVAE网络第二阶段训练：输出低照度图像初步还原的图像，并将该图像作为MUVAE第二阶段训练的输入，进行二次还原，此还原侧重于优化图像细节、去除环境噪声以及调整色差，通过最小化输出图像与图像标签之间的误差，不断地优化整个网络结构的参数，逐步将网络训练至最优结构；
(四)进行Fine tuning操作：MUVAE网络的训练阶段主要以低照度下的弱可见光图像集的训练数据集中的图像作为训练样本，对低照度下的弱可见光图像集的训练数据集中的图像以外的低照度图像还原的性能不够好即泛化性可能较差，鲁棒性较弱；为了增强MUVAE网络的泛化性和鲁棒性，使用低照度下的弱可见光图像集的交叉验证数据集对训练好的MUVAE网络Fine tuing操作；
(五)进行低照度图像还原：将低照度下的弱可见光图像集的测试数据集送入Finetuning之后的MUVAE网络中，得到照度还原后的可见光图像，完成对低照度图像的还原操作。
2.根据权利要求1所述的基于多阶段变分自编码器的低照度还原方法，其特征在于，所述MUVAE网络结构主要有两阶段构成，分别是由变分自编码器和U-Net结构构成的第一阶段和由5个残差块、2个卷积层构成的第二阶段构成。
3.根据权利要求1或2所述的基于多阶段变分自编码器的低照度还原方法，其特征在于，步骤(一)具体过程如下：
1)正常光照下的可见光图像集采集
采集的是正常照度条件下的图像数据，采集后，以6：2：2的图像数量比例分成训练样本标签集、交叉验证样本标签集和备用三个数据集；
2)低照度下的弱可见光图像集采集
在采集正常照度条件下图像数据后，保持相机角度不变，依照调节照度的原则获取低照度图像数据；
低照度下的弱可见光图像集采集完成后，以6：2：2的图像数量比例，分别组成训练数据集、交叉验证数据集、测试数据集三个子数据集；
3)图像尺寸归一化操作
对所有图像数据进行尺寸归一化处理，通过裁切将所有图像大小固定为WxH大小；
4)图像像素值归一化操作
对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内；像素值归一化计算表达式如公式(1)所示：
其中，x为原始的像素值，min为像素值的最小值，max为像素值的最大值，X*为归一化后的像素值。
4.根据权利要求1或2所述的基于多阶段变分自编码器的低照度还原方法，其特征在于，步骤(二)具体过程如下：
1)输入：低照度下的弱可见光图像集的训练数据集的低照度图像；
2)输出：经过MUVAE第一阶段重新生成的图像；
3)建立MUVAE第一阶段模型结构；
MUVAE第一阶段模型主要包含三部分：编码、重采样和解码；
a)编码，通过一系列的卷积和下采样逐步计算出样本的均值、方差，编码部分由4层构成，每层由卷积核为3x3、步长为2的卷积实现，卷积的计算表达式如公式(4)所示：
conv＝kernel*input (4)
其中，conv为卷积输出，kernek为卷积核，input为卷积输入，*为卷积操作；
b)重采样，利用编码阶段求出的均值、方差计算出样本的高斯分布，并从高斯分布中采样，得到复合高斯分布的隐变量；
c)解码，将重采样后的隐变量通过上采样逐步映射成新的图像，解码部分由4层构成，每层由卷积核3x3、步长为2的转置卷积实现，转置卷积的计算表达式如公式(5)所示：
input＝kernelT*conv (5)
其中，input为转置卷积输出即卷积的输入，kernelT为卷积核的转置，conv为转置卷积输入即卷积的输出，*为卷积操作；
U-Net跳跃结构能够将编码层的输入送到对应编码层，通过concat的方法将其作为编码层输入的一部分，U-Net跳跃操作能够有效减少VAE编码过程特征信息的丢失量，保留更多的细节信息，有助于生成更清晰的图像，同时能够有效减缓随着网络深度增加而产生的梯度消失问题；
4)计算MUVAE第一阶段训练的损失函数
MUVAE第一阶段训练主要包括两个损失函数，分别是K-L散度损失、均方误差损失；
a)K-L散度损失
K-L散度用来描述两个概率分布P、Q差别的非对称的度量，P表述数据的真实分布，Q表示数据的近似分布；K-L值越小，P、Q概率分布越接近；使用到的K-L散度计算表达式如公式(6)所示：
b)MSE
MSE是指参数估计值与参数真值之差的平方，MSE值越小，说明预测数据越接近实际数据；MSE具有函数连续可导，便于使用梯度下降算法；MSE值减小的同时，梯度也在减小，这样的变化有利于加快函数收敛速度；用于图像生成时，能够获得很高的峰值信噪比；其计算表达式如公式(7)所示：
其中，n为样本总数，y(i)为第i个实际样本值，y'(i)为第i个预测样本值。
5.根据权利要求1或2所述的基于多阶段变分自编码器的低照度还原方法，其特征在于，步骤(三)具体过程如下：
1)输入：MUVAR第一阶段的输出；
2)输出：低照度还原后的图像；
3)建立MUVAE第二阶段模型结构；
a)共使用5个残差块，每个残差块由两个卷积核为3x3、步长为1的卷积层构成，使用3x3的卷积核一方面能够减小计算量，另一方面能够增强对细节特征的还原；
b)卷积的输出与残差块的输入通过“元素级别相加”的方法进行组合后，送入ReLU激活函数中，进行非线性的映射；“元素级别相加”的计算表达式如公式(8)所示：
y＝H(x)+x (8)
其中H(x)为残差块中的卷积输出，x为残差块的输入，y为残差块最终输出，‘+’表示元素级别相加；
c)5个残差块后，添加了两个卷积，分别是卷积核3x3，步长为1，该层卷积主要用于对残差块处理后的特征进行整合；卷积核1x1，步长为1，该层用于整合特征图通道之间的特征，并调整通道数；
4)计算MUVAE第二阶段的损失函数
MUVAE第二阶段的损失函数为平均绝对值损失，其计算表达式如公式(9)所示：
其中，n为样本总数，y(i)为第i个实际样本值，y′(i)为第i个预测样本值。
6.根据权利要求1或2所述的基于多阶段变分自编码器的低照度还原方法，其特征在于，步骤(四)具体过程如下：
1)导入训练好的网络模型和网络参数；
2)使用低照度下的弱可见光图像集的交叉验证数据集对网络进行训练，即Finetuning；
将Fune tuning后的MUVAE网络结构及参数作为最终用于低照度还原的结构及参数。
7.根据权利要求1或2所述的基于多阶段变分自编码器的低照度还原方法，其特征在于，步骤(五)具体过程如下：
通过计算低照度图像还原结果与正常照度图像的峰值信噪比PSNR、结构相似度SSIM和均方误差MSE三个评价标准，衡量还原效果,其计算表达式分别如公式(10)、(11)、(9)所示：
其中，公式(10)中，MAXI表示图像点颜色的最大数值，如果每个采样点用8位表示，那么就是255；
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ (11)
其中，l(x,y)比较x和y的亮度，c(x,y)比较x和y的对比度，s(x,y)比较x和y的结构structure，α＞0,β＞0,γ＞0，为调整l(x,y)、c(x,y)、s(x,y)相对重要性的参数，μx及μy、σx及σy分别为x和y的平均值和标准差，σxy为x和y的协方差，C1、C2、C3皆为常数，用以维持l(x,y)、c(x,y)、s(x,y)的稳定；结构相似性指标的值越大，代表两个信号的相似性越高；
MSE为均方误差，如公式(9)所示，MSE值越小，低照度还原图像越接近于正常照度下的图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910321753.5A CN110163815B (zh) | 2019-04-22 | 2019-04-22 | 基于多阶段变分自编码器的低照度还原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910321753.5A CN110163815B (zh) | 2019-04-22 | 2019-04-22 | 基于多阶段变分自编码器的低照度还原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163815A true CN110163815A (zh) | 2019-08-23 |
| CN110163815B CN110163815B (zh) | 2022-06-24 |
Family
ID=67639723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910321753.5A Active CN110163815B (zh) | 2019-04-22 | 2019-04-22 | 基于多阶段变分自编码器的低照度还原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163815B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647891A (zh) * | 2019-09-17 | 2020-01-03 | 上海仪电（集团）有限公司中央研究院 | 基于cnn和自编码器时序数据特征自动提取方法及系统 |
| CN111028163A (zh) * | 2019-11-28 | 2020-04-17 | 湖北工业大学 | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 |
| CN111242868A (zh) * | 2020-01-16 | 2020-06-05 | 重庆邮电大学 | 暗视觉环境下基于卷积神经网络的图像增强方法 |
| CN111372006A (zh) * | 2020-03-03 | 2020-07-03 | 山东大学 | 一种面向移动端的高动态范围成像方法及系统 |
| CN111626154A (zh) * | 2020-05-14 | 2020-09-04 | 闽江学院 | 一种基于卷积变分编码器的人脸跟踪方法 |
| CN111695633A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 基于rpf-cam的低照度目标检测方法 |
| CN111950649A (zh) * | 2020-08-20 | 2020-11-17 | 桂林电子科技大学 | 基于注意力机制与胶囊网络的低照度图像分类方法 |
| CN112381897A (zh) * | 2020-11-16 | 2021-02-19 | 西安电子科技大学 | 基于自编码网络结构的低照度图像增强方法 |
| CN113076966A (zh) * | 2020-01-06 | 2021-07-06 | 字节跳动有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
| WO2021227915A1 (zh) * | 2020-05-09 | 2021-11-18 | 深圳市中兴微电子技术有限公司 | 图像恢复模型的训练方法及装置、电子设备，及计算机可读存储介质 |
| CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN114429426A (zh) * | 2021-12-20 | 2022-05-03 | 哈尔滨理工大学 | 一种基于Retinex模型的低照度图像质量改善方法 |
| CN115565213A (zh) * | 2022-01-28 | 2023-01-03 | 荣耀终端有限公司 | 图像处理方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407959A (zh) * | 2016-11-07 | 2017-02-15 | 湖南源信光电科技有限公司 | 基于小波变换和svm的低照度的复杂背景车牌定位方法 |
| CN106504212A (zh) * | 2016-11-07 | 2017-03-15 | 湖南源信光电科技有限公司 | 一种改进的hsi空间信息低照度彩色图像增强算法 |
| WO2017161167A1 (en) * | 2016-03-18 | 2017-09-21 | President And Fellows Of Harvard College | Automatically classifying animal behavior |
| CN108537742A (zh) * | 2018-03-09 | 2018-09-14 | 天津大学 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
| CN108596141A (zh) * | 2018-05-08 | 2018-09-28 | 深圳大学 | 一种深度网络生成人脸图像的检测方法及系统 |
| CN108921851A (zh) * | 2018-06-06 | 2018-11-30 | 深圳市未来媒体技术研究院 | 一种基于3d对抗网络的医学ct图像分割方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109242788A (zh) * | 2018-08-21 | 2019-01-18 | 福州大学 | 一种基于编码-解码卷积神经网络低照度图像优化方法 |
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
| CN109377452A (zh) * | 2018-08-31 | 2019-02-22 | 西安电子科技大学 | 基于vae和生成式对抗网络的人脸图像修复方法 |
| GB201902600D0 (en) * | 2019-02-26 | 2019-04-10 | Imperial Innovations Ltd | Scene representation using image processing |
-
2019
- 2019-04-22 CN CN201910321753.5A patent/CN110163815B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017161167A1 (en) * | 2016-03-18 | 2017-09-21 | President And Fellows Of Harvard College | Automatically classifying animal behavior |
| CN106407959A (zh) * | 2016-11-07 | 2017-02-15 | 湖南源信光电科技有限公司 | 基于小波变换和svm的低照度的复杂背景车牌定位方法 |
| CN106504212A (zh) * | 2016-11-07 | 2017-03-15 | 湖南源信光电科技有限公司 | 一种改进的hsi空间信息低照度彩色图像增强算法 |
| CN108537742A (zh) * | 2018-03-09 | 2018-09-14 | 天津大学 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
| CN108596141A (zh) * | 2018-05-08 | 2018-09-28 | 深圳大学 | 一种深度网络生成人脸图像的检测方法及系统 |
| CN108921851A (zh) * | 2018-06-06 | 2018-11-30 | 深圳市未来媒体技术研究院 | 一种基于3d对抗网络的医学ct图像分割方法 |
| CN109242788A (zh) * | 2018-08-21 | 2019-01-18 | 福州大学 | 一种基于编码-解码卷积神经网络低照度图像优化方法 |
| CN109377452A (zh) * | 2018-08-31 | 2019-02-22 | 西安电子科技大学 | 基于vae和生成式对抗网络的人脸图像修复方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
| GB201902600D0 (en) * | 2019-02-26 | 2019-04-10 | Imperial Innovations Ltd | Scene representation using image processing |
Non-Patent Citations (7)
| Title |
|---|
| CHEN Y S 等: ""Deep photo enhancer: Unpaired learning for image enhancement from photographs with gans"", 《VISION AND PATTERN RECOGNITION》 * |
| KINGMA D P 等: ""Auto-encoding variational bayes"", 《ARXIV:1312.6114》 * |
| LEI CAI 等: ""Multi-Stage Variational Auto-Encoders for Coarse-to-Fine Image Generation"", 《ARXIV:1705.07202V1 》 * |
| P. ESSER AND E. SUTTER: ""A Variational U-Net for Conditional Appearance and Shape Generation"", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
| PIERRE-MARC JODOIN等: ""UNet-VAE: A Probabilistic U-Net for Segmentation of Ambiguous Images"", 《ARXIV:1806.05034V2》 * |
| 曹仰杰 等: ""生成式对抗网络及其计算机视觉应用研究综述"", 《中国图象图形学报》 * |
| 王萍 等: ""多级分解的Retinex低照度图像增强算法"", 《计算机应用研究 网络首发》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647891B (zh) * | 2019-09-17 | 2023-01-24 | 上海仪电（集团）有限公司中央研究院 | 基于cnn和自编码器时序数据特征自动提取方法及系统 |
| CN110647891A (zh) * | 2019-09-17 | 2020-01-03 | 上海仪电（集团）有限公司中央研究院 | 基于cnn和自编码器时序数据特征自动提取方法及系统 |
| CN111028163A (zh) * | 2019-11-28 | 2020-04-17 | 湖北工业大学 | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 |
| CN111028163B (zh) * | 2019-11-28 | 2024-02-27 | 湖北工业大学 | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 |
| CN113076966A (zh) * | 2020-01-06 | 2021-07-06 | 字节跳动有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
| CN113076966B (zh) * | 2020-01-06 | 2023-06-13 | 字节跳动有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
| CN111242868A (zh) * | 2020-01-16 | 2020-06-05 | 重庆邮电大学 | 暗视觉环境下基于卷积神经网络的图像增强方法 |
| CN111372006A (zh) * | 2020-03-03 | 2020-07-03 | 山东大学 | 一种面向移动端的高动态范围成像方法及系统 |
| CN111372006B (zh) * | 2020-03-03 | 2021-05-07 | 山东大学 | 一种面向移动端的高动态范围成像方法及系统 |
| WO2021227915A1 (zh) * | 2020-05-09 | 2021-11-18 | 深圳市中兴微电子技术有限公司 | 图像恢复模型的训练方法及装置、电子设备，及计算机可读存储介质 |
| CN111626154B (zh) * | 2020-05-14 | 2023-04-07 | 闽江学院 | 一种基于卷积变分编码器的人脸跟踪方法 |
| CN111626154A (zh) * | 2020-05-14 | 2020-09-04 | 闽江学院 | 一种基于卷积变分编码器的人脸跟踪方法 |
| CN111695633A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 基于rpf-cam的低照度目标检测方法 |
| CN111950649A (zh) * | 2020-08-20 | 2020-11-17 | 桂林电子科技大学 | 基于注意力机制与胶囊网络的低照度图像分类方法 |
| CN112381897A (zh) * | 2020-11-16 | 2021-02-19 | 西安电子科技大学 | 基于自编码网络结构的低照度图像增强方法 |
| CN112381897B (zh) * | 2020-11-16 | 2023-04-07 | 西安电子科技大学 | 基于自编码网络结构的低照度图像增强方法 |
| CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN113808032B (zh) * | 2021-08-04 | 2023-12-15 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN114429426A (zh) * | 2021-12-20 | 2022-05-03 | 哈尔滨理工大学 | 一种基于Retinex模型的低照度图像质量改善方法 |
| CN114429426B (zh) * | 2021-12-20 | 2022-08-16 | 哈尔滨理工大学 | 一种基于Retinex模型的低照度图像质量改善方法 |
| CN115565213A (zh) * | 2022-01-28 | 2023-01-03 | 荣耀终端有限公司 | 图像处理方法及装置 |
| CN115565213B (zh) * | 2022-01-28 | 2023-10-27 | 荣耀终端有限公司 | 图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163815B (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163815A (zh) | 基于多阶段变分自编码器的低照度还原方法 | |
| Li et al. | Single image dehazing via conditional generative adversarial network | |
| KR102184755B1 (ko) | 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법 | |
| KR102134405B1 (ko) | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 | |
| CN110232661A (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| Li et al. | Single image snow removal via composition generative adversarial networks | |
| CN112418041B (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
| CN111539246B (zh) | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 | |
| CN103971329A (zh) | 一种基于遗传优化细胞神经网络的多源图像融合方法 | |
| Yan et al. | Method to Enhance Degraded Image in Dust Environment. | |
| CN113112583B (zh) | 基于红外热成像的3d人体重构方法 | |
| CN116051408B (zh) | 一种基于残差自编码的图像深度去噪方法 | |
| Hongmeng et al. | A detection method for deepfake hard compressed videos based on super-resolution reconstruction using CNN | |
| Zhao et al. | Detecting deepfake video by learning two-level features with two-stream convolutional neural network | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN113192049B (zh) | 基于LatLRR和Retinex增强的可见光和红外图像融合方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN110503608A (zh) | 基于多视角的卷积神经网络的图像去噪方法 | |
| Yang et al. | An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform | |
| Han et al. | Low contrast image enhancement using convolutional neural network with simple reflection model | |
| Zhang et al. | A novel DenseNet Generative Adversarial network for Heterogenous low-Light image enhancement | |
| Pu et al. | Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images | |
| CN110298807A (zh) | 基于改进Retinex及量子菌群算法的NSCT域红外图像增强方法 | |
| ZhiPing et al. | A new generative adversarial network for texture preserving image denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190823 Assignee: Guangxi Yanze Information Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980046249 Denomination of invention: A Low Illumination Restoration Method Based on Multistage Variational Autoencoder Granted publication date: 20220624 License type: Common License Record date: 20231108 Application publication date: 20190823 Assignee: Guangxi Guilin Yunchen Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045796 Denomination of invention: A Low Illumination Restoration Method Based on Multistage Variational Autoencoder Granted publication date: 20220624 License type: Common License Record date: 20231108 |
|
| EE01 | Entry into force of recordation of patent licensing contract |