CN110880163A - 一种基于深度学习的弱光彩色成像方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的弱光彩色成像方法。具体步骤如下：(1)构建卷积长短期记忆网络，联合多通道的空间和时间上信息对传感器采集的原始图像进行去噪；(2)构建残差网络，学习步骤1去噪后的原始图像到RGB图像的映射关系，对图像进行去马赛克处理；(3)构建循环生成对抗网络，学习夜晚光照到白天光照的变换，对步骤2获得的图像进行重光照变换。本发明针对弱光成像应用中，由于采集信号的极低信噪比导致的难以恢复清晰、高对比度的彩色图像的问题，利用深度学习，结合去噪、去马赛克、重光照的处理方法，对低照度场景实现高质量、彩色、实时地成像，在军事，安防监控，以及科学研究等领域有着广泛的应用。

Description

一种基于深度学习的弱光彩色成像方法

技术领域

本发明属于计算摄像学和深度学习领域，涉及一种基于深度学习的弱光彩色成像方法。

背景技术

弱光成像在监控、军事、环境监测、科学研究等领域有极为广泛的应用。在弱光环境下，光信号本身极其微弱，且现在通用的相机传感器灵敏度不够、读出噪声较高，所以采集到的信号信噪比极低，有用信号被噪声淹没。

使用传统算法恢复出来的图像包含大量噪点，拍摄到的物体轮廓、形状难以分辨，细节、颜色更是难以重现。现有的夜视成像技术，普遍基于像增强管技术和热红外技术，可以提高人类在弱光环境下的感知能力。然而，这些技术无法实现彩色图像的采集(如微光夜视仪、热红外成像仪)，或是需要主动光源照射(红外主动光源+彩色相机成像)，全部都无法满足在极弱光(<1e-3Lux)条件下的彩色成像。

因此，如何在环境光照极弱、成像传感器性能不足的条件下，利用相机获取的低信噪比的原始数据恢复出高质量的、彩色的图像，是目前的一个研究热点。

发明内容

针对以上现有弱光成像方法的缺陷，本发明的目的在于提出一种基于深度学习弱光彩色成像方法。

为达上述目的，本发明采用的技术方案如下：

一种基于深度学习的弱光彩色成像方法，包括如下步骤：

步骤1，构建卷积长短期记忆网络，联合多通道的空间和时间上的信息，对传感器采集的原始图像进行去噪；

步骤2，构建残差网络，学习步骤1去噪后的原始图像到RGB图像的映射关系，对图像进行去马赛克处理；

步骤3，构建循环生成对抗网络，学习夜晚光照到白天光照的变换，对步骤2获得的图像进行重光照变换。

本发明基于深度学习的方法通过具有很多隐层的神经网络模型和海量的训练数据，来学习更有用的特征，从而最终提升图像重建或预测的准确性。通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使重建或预测更加容易，利用大数据来学习特征，更能够刻画数据的丰富内在信息。本发明相比于现有的其他弱光成像方法，优势在于对硬件的低要求，以及更好的成像效果：信噪比高、轮廓清晰、颜色准确、细节丰富、对比度高。因此，本发明的方法在监控、军事、环境监测、科学研究等领域有极为广泛的应用。

附图说明

图1为本发明方法的流程图.

图2为去噪处理的流程示意图。

图3为网络Net结构示意图。

具体实施方式

下面将结合附图及具体实施例对本发明进行详细描述。

本发明使用神经网络，包括长短期记忆网络(LSTM)、残差网络和循环生成对抗网络(Cycle GAN)来对传感器采集的原始数据进行一系列处理，包括去噪、去马赛克、重光照三个处理过程。其中，去噪处理采用LSTM网络，输入连续的噪声图像序列，联合时间和空间上的信息，对每张图像每个像素进行重建，输出高信噪比的图像序列；去马赛克处理采用残差网络，对去噪结果进行插值操作，改变图像像素排列模式，获得无马赛克的RGB图像；重光照处理采用Cycle GAN网络，无需成对的训练数据来训练网络，降低训练数据获取的难度，实现同一场景夜晚到白天的风格变换，提高弱光环境下拍摄的图像视觉效果。

参照图1、图2、图3，本实施例的一种基于深度学习弱光彩色成像方法，具体步骤如下：

步骤1，构建多层结构(空间上设N层，时间上M层，一共M*N个LSTM单元)的LSTM网络Net，在空间上LSTM单元间不共享网络参数，时间上LSTM间共享网络参数，每一个LSTM单元包含若干卷积层，有输入门X_t,输出门H_t,Cell状态门C_t；

将M*H*W的原始图像(单通道)序列(M张,大小为H*W)根据传感器的色彩滤镜阵(CFA)进行像素重排列，变换为M*(H/2)*(W/2)*4的图像(四通道)序列(M张)

{c_1i,c_2i,..,c_Mi},(i＝1,..,4)

H为图像高度，W为图像宽度；

对四个通道进行1/2下采样，并把四个通道的图像序列

分别送入四个通道的网络Net。

每个网络Net对通道序列的操作过程一致，只是网络参数不同。以其中一个网络Net处理一个通道的图像序列为例，将该通道的图像序列送入该网络Net的空间第一层的M个单元的X_t门；通过LSTM单元的H_t门，在空间上进行信息传递，通过LSTM单元的C_t门，在时间上进行信息传递，每个LSTM单元的输入为

X_1t＝concat(I_t,C_1(t-1))，(t＝1,2,..,T)

X_(n+1)t＝concat(H_nt,C_(n+1)(t-1))，(n＝1,2,..,N-1；t＝1,2,..,T)

这里，concat表示将输入在通道维度拼接起来，I_t表示通道序列，n表示空间维度，t表示时间维度。将空间第N层的M个LSTM单元的H_t门输出y₁,y₂,..,y_M作为该LSTM网络的输出；

对四个网络Net的输出进行2倍上采样,并与

{c_1i,c_2i,..,c_Mi},(i＝1,..,4)

进行通道合并，生成八通道的图像序列

{(c_1i,c_2i,..,c_Mi)；(v_1i,v_2i,..,v_Mi)},(i＝1,..,4)；

构建若干层卷积网络，将这八通道的图像序列送入，进行信息融合，输出M*H*W的图像(单通道)序列(M张)为去噪结果。

训练时，使用反向传播方法，减小重构误差来调整网络参数的值；网络的训练等效为下面的优化问题：

这里x_i和y_i分别表示输入的噪声图像和输出的去噪图像，M表示输入图像块的个数,Q表示约束项，用来保证去噪结果更具细节，β控制约束项的权重。

步骤2，构建残差网络，学习相机采集的原始图像到RGB彩色图像的映射关系。网络由多个残差模块组成，每个残差模块包含两个卷积层，残差模块的输入为x,输出为y，则输入与输出的关系是

y＝relu(f₂(relu(f₁(x)))+x)

这里，relu表示relu激活函数，f₁，f₂分别表示两个卷积层的操作。采用残差网络让网络拟合残差映射更容易，并且可以防止网络过深导致的退化问题。

训练时，训练数据根据具体的相机成像传感器生成。输入的原始图像通常为单通道，像素排列模式与相机传感器芯片的色彩滤镜矩阵排列相关，一般采用绿红绿蓝(GRGB)的排列模式，每个像素只有一个值(R或G或B)；输出的RGB彩色图像为三通道,每个像素包含三个值(RGB)。损失函数采用均方误差(MSE LOSS)：

这里n是训练图像的数量，y^G代表真实输出，y表示残差网络的实际输出；损失函数通过反向传播算法达到最小。

将步骤2中的输出结果，作为残差网络的输入，通过网络对输入进行插值操作，改变图像像素排列模式，输出无马赛克的RGB图像。

步骤3，构建Cycle GAN网络，包含生成器G、F和判别器D_X、D_Y。生成器G和F分别学习从夜晚弱光环境下图像的数据分布X到白天正常光照环境下图像的数据分布Y的映射关系：

Y＝G(X)

以及从Y到X的映射关系：

X＝F(Y)

判别器D_X,D_Y通过与真实数据的比较，判断生成器G,F生成数据的真实性。

训练时，数据采用不对应的图像，所以引入循环不变损失F(G(X))≈X来保证经过G变换前后图像内容一致性。总的损失函数为

L(D,F,D_X,D_Y)＝L_GAN(G,D_Y,X,Y)+L_GAN(F,D_X,Y,X)+λL_cyc(G,F)

这里L_GAN表示GAN损失，即生成图像与真实图像间的差距，L_cyc表示循环不变损失。训练生成器G时，最小化E_x～p(x)[(D_Y(G(x))-1)²]，x∈X，使生成器G生成的图片数据分布为Y；训练判别器D_Y时，最小化

x∈X，y∈Y，使判别器D_Y分辨出图像是生成器G生成的还是真实的。生成器F与判别器D_X的训练与上述的过程类似。

将步骤2的输出结果作为Cycle GAN网络的输入，通过该网络，实现夜晚到白天的光照变换，提高视觉效果。

Claims (4)

1.一种基于深度学习的弱光彩色成像方法，其特征在于，包括如下步骤：

步骤1，构建卷积长短期记忆网络，联合多通道的空间和时间上的信息，对传感器采集的原始图像进行去噪；

步骤2，构建残差网络，学习步骤1去噪后的原始图像到RGB图像的映射关系，对图像进行去马赛克处理；

步骤3，构建循环生成对抗网络，学习夜晚光照到白天光照的变换，对步骤2获得的图像进行重光照变换。

2.根据权利要求1所述的一种基于深度学习的弱光彩色成像方法，其特征在于，所述步骤1的具体过程为：

构建多层结构的长短期记忆网络Net，其中，空间上设N层，时间上设M层，一共M*N个长短期记忆网络单元；长短期记忆网络Net在空间上的网络单元间不共享网络参数，时间上的网络单元间共享网络参数；

将M*H*W的单通道原始图像序列根据传感器的色彩滤镜阵进行像素重排列，其中H为图像高度，W为图像宽度，变换为M*(H/2)*(W/2)*4的四通道图像序列：

{c_1i,c_2i,..,c_Mi}

其中，i＝1，2，3，4，

对四个通道进行1/2下采样，并把各个通道图像序列

分别送入四个通道的网络Net；然后对网络Net的输出进行2倍上采样,并与

{c _1i,c _2i,..,c _{M i}}

进行通道合并，生成八通道的图像序列

{(c_1i,c_2i,..,c_Mi)；(v_1i,v_2i,..,v_Mi)}；

其中，i＝1,2,3,4，v为网络Net的输出；

构建若干层卷积网络，将八通道的图像序列送入网络，进行空间和时间信息融合，输出去噪结果M*H*W的单通道图像序列。

3.根据权利要求2所述的一种基于深度学习的弱光彩色成像方法，其特征在于，所述步骤2的具体过程为：

构建残差网络，网络由多个残差模块组成，每个残差模块包含两个卷积层，残差模块的输入为x,输出为y，则输入与输出的关系是

y＝relu(f₂(relu(f₁(x)))+x)

这里，relu表示激活函数，f₁和f₂分别表示两个卷积层的操作；

将步骤1中去噪后的原始图像，作为残差网络的输入，输出为RGB图像，损失函数采用均方误差：

这里n是训练图像的数量，y^G代表真实输出，y表示残差网络的实际输出；损失函数通过反向传播算法达到最小。

4.根据权利要求3所述的一种基于深度学习的弱光彩色成像方法，其特征在于，所述步骤3的具体过程为：

构建循环生成对抗网络GAN，网络GAN包括生成器G、生成器F和判别器D_X、判别器D_Y；生成器G和生成器F分别学习从夜晚弱光环境下图像的数据分布X到白天正常光照环境下图像的数据分布Y的映射关系：

Y＝G(X)

以及从数据分布Y到数据分布X的映射关系：

X＝F(Y)

判别器D_X和判别器D_Y通过与真实数据的比较，判断生成器G和生成器F生成数据的真实性；

在对循环生成对抗网络GAN训练时，数据采用不对应的图像，总的损失函数为：

L(D,F,D_X,D_Y)＝L_GAN(G,D_Y,X,Y)+L_GAN(F,D_X,Y,X)+λL_cyc(G,F)

这里L_GAN表示网络GAN损失，即生成图像与真实图像间的差距，L_cyc表示循环不变损失。

Images