CN111598789B - 一种基于深度学习的稀疏颜色传感器图像重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的稀疏颜色传感器图像重建方法，步骤包括：步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W_S恢复出100％的全色像素图像W_R；步骤2、构建生成对抗网络WGAN；步骤3、更新对抗模块参数；步骤4，更新颜色重建网络参数；步骤5，建立非线性映射关系；步骤6，获取RGB彩色图像，将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。本发明的方法，每个像素位置只采样了一种颜色，可用于恢复单传感器相机raw图像的完整彩色信息，较传统方法获得更清晰的彩色图像细节。

Description

一种基于深度学习的稀疏颜色传感器图像重建方法

技术领域

本发明属于图像处理技术领域，涉及一种基于深度学习的稀疏颜色传感器图像重建方法。

背景技术

在过去的十年中，数码相机有了很大的发展。数码相机的基本原理是，采用单个传感器的成像结构，一次曝光获得一幅图像，传感器表面覆盖滤光片，曝光成像时，传感器的每个像素位置只采集一种颜色，这种直接采样获取的图像称为raw图像，需通过软件方法重建出每个像素位置上没有直接采样的颜色，这个重建过程被称为图像去马赛克。当前RGB数码相机中，传感器表面最常见的滤光片阵列是Bayer阵列，成像区域由2×2的重复阵列组成，每组2×2阵列包含2个绿色像素(G)、1个红色像素(R)、1个蓝色像素(B)。近些年针对Bayer阵列raw图像的去马赛克技术取得了一定进步，但采用Bayer阵列的相机在拍摄弱光场景图像时仍存在图像不清晰、细节丢失等缺陷。

为了克服Bayer阵列成像在弱光条件下的成像缺陷，Kodak公司提出了RGBW滤光片阵列，在RGB基础上加入了W全色像素。与表面覆盖了滤光片的R、G、B三色像素不同，W全色像素没有覆盖滤光片，从而意味着可接收更多光线进入传感器，从而引发传感器的光电响应，利于捕捉弱光条件下的图像信息，但是其技术效果还是不够理想。

发明内容

本发明的目的是提供一种基于深度学习的稀疏颜色传感器图像重建方法，解决了现有技术在采用Bayer阵列的相机拍摄弱光场景图像时，仍存在图像不清晰、细节丢失，弱光条件下的成像质量差的问题。

本发明采用的技术特征是，一种基于深度学习的稀疏颜色传感器图像重建方法，按照以下步骤具体实施：

步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W_S恢复出100％的全色像素图像W_R；

步骤2、构建生成对抗网络WGAN；

步骤3、更新对抗模块参数；

步骤4，更新颜色重建网络参数；

步骤5，建立非线性映射关系，

训练对抗模块和颜色重建网络，直到对抗模块的损失值达到最大，颜色重建网络的损失值达到最小；保存训练好的颜色重建网络的结构及各层参数，得到建立好的非线性映射关系；

步骤6，获取RGB彩色图像，

将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。

本发明的有益效果是，首先建立一个亮度恢复网络，从占96％空间的W全色像素中恢复出其余4％空间位置上的W颜色值，得到完整的W颜色值(将其称为W亮度通道图像)，并根据W通道图像提取边缘信息的低级特征。然后利用亮度恢复网络的输出和raw图像中的RGB采样值，重建所有位置上的RGB值，获得完整的RGB彩色图像。采用本发明所提出的RGBW滤光片阵列获取的raw图像，每个像素位置只采样了一种颜色，可用于恢复单传感器相机raw图像的完整彩色信息，从而解决单传感器快照式成像存在的颜色丢失和颜色伪影等问题；同时，能够有效提高低光照条件下的成像质量，较传统方法获得更清晰的彩色图像细节。

附图说明

图1是本发明方法采用的传感器表面的RGBW滤光片阵列示意图；

图2是本发明方法的颜色重建模型示意图；

图3是本发明方法的流程示意图；

图4是本发明方法构建的亮度恢复网络模型结构示意图；

图5是本发明方法构建的颜色重建网络模型结构示意图；

图6是本发明方法构建的对抗模块示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，为进一步提高彩色相机的弱光环境成像能力，本发明方法参考人眼视觉特征，设计了一种RGBW传感器表面滤光片阵列，即用10×10像素的栅格表示RGBW阵列；具体来说，全色像素W类似于人视觉中的杆状细胞用来获取亮度信息，而RGB像素类似视觉中的视锥细胞来获取色度信息，而在人类视网膜中，95％的感光细胞是杆状细胞，只有5％是视锥细胞。因此，为了模拟特别是在弱光条件下的类人视觉性能，本发明方法采用了一种类似人眼视觉系统的RGBW滤光片阵列，W表示全色像素、R表示红色像素、G表示绿色像素、B表示蓝色像素；在传感器平面内R、G、B、W四种颜色像素的空间比例参考人眼系统，即W像素占96％，G像素占2％，R像素和B像素各占1％。因此，这种参照人眼视觉系统的阵列成像方式，能够提高弱光条件下的成像质量，在车辆自动驾驶、机器人和安全摄像机等方面具有广泛应用前景。

利用上述的RGBW滤光片阵列进行成像得到raw图像，即每个像素位置只采集了一种颜色，本发明利用深度学习方法提出一种颜色重建模型，将每个像素位置的其他三种未采样颜色信息进行重建，参照图2，重建过程可描述为：{W_S,C_S}→I_R，其中W_S表示raw图像中的全色像素，C_S表示raw图像中的稀疏RGB像素，最后输出一个完整三通道的RGB彩色图像I_R。

参照图3，本发明的方法，按照以下步骤具体实施：

步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W_S恢复出100％的全色像素图像W_R，

参照图4，本步骤采用的亮度恢复网络，是利用raw图像中占96％空间的全色像素W_S计算出全部空间上的全色像素图像W_R，亮度恢复网络的结构依次为：全色像素W_S作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Conv5→第六个卷积层Conv6→输出全色像素图像W_R，其中Conv1、Conv2和Conv3的特征映射图的总数均为64个，Conv4和Conv5的特征映射图的总数均为128个；前五个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；网络的最后一层卷积层的尺寸为H×W×1，其中H和W分别代表输入图像的高度和宽度；输出层通过双曲正切函数激活；在恢复100％的全色像素图像W_R的同时，采用Canny边缘提取算法提取出边缘特征E_R作为低级特征，表达式为E_R∈[0,1]^H×W×1，

亮度恢复网络的每一层均使用批量归一化函数进行归一化处理，在训练亮度恢复网络时，考虑到L₁损失函数在目标轮廓的对比度、均匀区域的平滑效果方面表现较好，同时SSIM损失函数引入结构约束能够很好地恢复图像的结构和局部细节，本步骤采用将L₁+SSIM损失函数组合在一起作为最终的网络训练损失函数，表达式为：

式(1)中，L(W_G,W_R)表示真实图像的全色像素图像W_G和恢复出来的全色像素图像W_R之间的损失；

p表示像素，P表示整个图像块，N表示图像块中像素的总数，W_G(p)和W_R(p)分别是W_G和W_R的像素值；

其中，

和

分别表示W_G和W_R的平均值，

和

是标准偏差，

是真实图像的全色像素图像W_G和恢复出来的全色像素图像W_R的协方差，C₁和C₂是常量，l是亮度分量，c是对比度分量，s是结构分量；

步骤2、构建生成对抗网络WGAN，

构建一个颜色重建网络CRN并设置该网络的每层参数，将其作为生成对抗网络WGAN中的生成器，该网络的输入数据包含：步骤1获得的100％全色像素图像W_R、边缘特征E_R、以及raw图像中的占4％空间的稀疏RGB像素C_S，网络输出为重建的RGB彩色图像I_R，

参照图5，是本步骤提出的颜色重建网络CRN，颜色重建过程采用对抗训练，颜色重建网络CRN作为生成器，对抗模块作为判别器，颜色重建网络CRN的结构依次为：集合K＝{W_R,C_S,E_R}作为输入→第一个卷积块ConvB1→第一个密集-过渡块Dense1-Tran1→第二个密集-过渡块Dense2-Tran2→第三个密集-过渡块Dense3-Tran3→第二个卷积块ConvB2→第三个卷积块ConvB3→第四个卷积块ConvB4→第五个卷积块ConvB5→第六个卷积块ConvB6→第七个卷积块ConvB7→第八个卷积块ConvB8→输出RGB彩色图像I_R，其中，Dense1-Tran1与ConvB7相连，Dense2-Tran2与ConvB6相连，Dense3-Tran3与ConvB5相连，图4中的单向箭头表示特征连接关系，ConvB1的特征映射图的总数为15个，卷积核大小为3×3，卷积步长为1，通过ReLU函数激活；

ConvB1首先处理全色像素图像W_R和稀疏RGB像素C_S，然后将边缘特征图像P_R与ConvB1的输出连接在一起，因此，输出尺寸变为H×W×16，其中H是图像高度，W是图像宽度；ConvB1的串联输出以前馈方式馈入Dense1，通过Tran1连接到Dense2，Dense2通过Tran2连接到Dense3；

Dense1、Dense2、Dense3块的输出尺寸分别为64、128和256，卷积核大小均为3×3，卷积步长均为1；此外，Dense1、Dense2、Dense3块中的每一层都通过批处理归一化函数进行归一化，并通过ReLU函数激活；在本步骤的模型中，使用g＝8的增长率来增加每次出现密集块时的卷积层数；

Tran1、Tran2、Tran3块由卷积层和下采样层组成，每个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；下采样层卷积核大小均为3×3，卷积步长均为2；

ConvB2块有两个卷积层；ConvB3块包含五个扩张卷积层，其dilation＝2；ConvB4块具有单个卷积层；ConvB2、ConvB3、ConvB4块的每一层的卷积核的核大小为3×3，步长大小为1，深度为512，通过批量归一化函数进行归一化，并通过ReLU函数进行激活；

ConvB5、ConvB6、ConvB7块用作上采样块，输出尺寸分别为256、128、64，每个块都由一个卷积核大小为2×2上采样卷积层和另一个卷积核大小为3×3的卷积层组成，使用批量归一化函数进行归一化，并通过ReLU函数激活；

ConvB8块的输出尺寸为H×W×3，使用tanh函数激活重建的RGB彩色图像I_R；

构建一个对抗模块并设置该网络的每层参数，将其作为生成对抗网络WGAN中的判别器，用来判断颜色重建网络CRN重建的RGB彩色图像I_R与原始图像I_G相比是否为真实样本；

参照图6，实施例中，判别器的输入为D＝{C_S,W_R,E_R,I_R,I_G}，对抗模块的结构依次为：集合D＝{C_S,W_R,E_R,I_R,I_G}作为输入→卷积层一ConvF1→卷积层二ConvF2→卷积层三ConvF3→卷积层四ConvF4；其中，ConvF1、ConvF2和ConvF3的特征映射图的总数均为64个，ConvF4的特征映射图的总数为256个，每个卷积层的卷积核大小均为3×3，卷积步长均为1，所有卷积层均使用批量归一化函数进行归一化，并通过ReLU函数激活输出；

步骤3、更新对抗模块参数，

从输入训练样本集中随机选取一个输入训练样本，将所选取的输入训练样本输入到颜色重建网络中，将颜色重建网络的输出矩阵作为生成样本；

从输出训练样本集中选取一个与输入训练样本对应的输出训练样本；

将生成样本与输出训练样本输入到生成对抗网络GAN中的对抗模块中；

利用判别器的损失函数，计算生成对抗网络GAN中的对抗模块的损失值，用该损失值更新对抗模块中的每一层参数；

所述判别器的损失函数的表达式为：

式(2)中，L_wGAN(D)表示所述判别器的损失函数，I_G是原始图像，P_r表示真实样本的数据分布，P_g表示生成样本的数据分布，E表示符合某种分布的输入通过函数处理后得到的输出期望，D(I_G)表示对真实的样本进行判别；

步骤4，更新颜色重建网络参数，

计算生成器颜色重建网络的内容损失值，表达式如下：

式(3)中，L_CRN(I_G,I_R)表示原始图像I_G和颜色重建网络CRN输出的RGB彩色图像I_R之间的损失；

p表示像素，P表示整个图像块，I_G(p)和I_R(p)分别是I_G和I_R的像素值，N表示图像块中像素的总数；

其中，

表示I_G的平均值，

表示I_R的平均值，

和

是标准偏差，

是两个图像的协方差，C₁和C₂是常量，l是亮度分量，c是对比度分量，s是结构分量，

计算生成器颜色重建网络的对抗损失值，表达式如下：

式(4)中，L_wGAN(G)表示所述生成器的损失函数，I_G是原始图像，P_g表示生成样本的数据分布，E表示符合某种分布的输入通过函数处理后得到的输出期望，D(I_G)表示对真实的样本进行判别；

将颜色重建网络的内容损失值和对抗损失值相加，得到颜色重建网络的总损失值，表达式如下：

G^*＝L_wGAN(G,D)+λL_CRN(G)   (5)

式(5)中，优选的参数λ＝100，

用总损失值更新颜色重建网络中的每一层参数。

步骤5，建立非线性映射关系，

训练对抗模块和颜色重建网络，直到对抗模块的损失值达到最大，颜色重建网络的损失值达到最小；保存训练好的颜色重建网络的结构及各层参数，得到建立好的非线性映射关系；

步骤6，获取RGB彩色图像，

将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。

Claims (3)

1.一种基于深度学习的稀疏颜色传感器图像重建方法，其特征在于，按照以下步骤具体实施：

步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W_S恢复出100％的全色像素图像W_R，具体过程是，

利用raw图像中占96％空间的全色像素W_S计算出全部空间上的全色像素图像W_R，亮度恢复网络的结构依次为：全色像素W_S作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Conv5→第六个卷积层Conv6→输出全色像素图像W_R，

其中Conv1、Conv2和Conv3的特征映射图的总数均为64个，Conv4和Conv5的特征映射图的总数均为128个；前五个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；网络的最后一层卷积层的尺寸为H×W×1，其中H和W分别代表输入图像的高度和宽度；输出层通过双曲正切函数激活；在恢复100％的全色像素图像W_R的同时，采用Canny边缘提取算法提取出边缘特征E_R作为低级特征，表达式为E_R∈[0,1]^H×W×1，

亮度恢复网络的每一层均使用批量归一化函数进行归一化处理，在训练亮度恢复网络时，采用将L₁+SSIM损失函数组合在一起作为最终的网络训练损失函数，表达式为：

式(1)中，L(W_G,W_R)表示真实图像的全色像素图像W_G和恢复出来的全色像素图像W_R之间的损失；

p表示像素，P表示整个图像块，N表示图像块中像素的总数，W_G(p)和W_R(p)分别是W_G和W_R的像素值；

其中，

和

分别表示W_G和W_R的平均值，

和

是标准偏差，

是真实图像的全色像素图像W_G和恢复出来的全色像素图像W_R的协方差，C₁和C₂是常量，l是亮度分量，c是对比度分量，s是结构分量；

步骤2、构建生成对抗网络WGAN，具体过程是，

构建一个颜色重建网络CRN并设置该网络的每层参数，作为生成对抗网络WGAN中的生成器，该网络的输入数据包含：步骤1获得的100％全色像素图像W_R、边缘特征E_R、以及raw图像中的占4％空间的稀疏RGB像素C_S，网络输出为重建的RGB彩色图像I_R，

颜色重建过程采用对抗训练，颜色重建网络CRN作为生成器，对抗模块作为判别器，颜色重建网络CRN的结构依次为：集合K＝{W_R,C_S,E_R}作为输入→第一个卷积块ConvB1→第一个密集-过渡块Dense1-Tran1→第二个密集-过渡块Dense2-Tran2→第三个密集-过渡块Dense3-Tran3→第二个卷积块ConvB2→第三个卷积块ConvB3→第四个卷积块ConvB4→第五个卷积块ConvB5→第六个卷积块ConvB6→第七个卷积块ConvB7→第八个卷积块ConvB8→输出RGB彩色图像I_R，

其中，Dense1-Tran1与ConvB7相连，Dense2-Tran2与ConvB6相连，Dense3-Tran3与ConvB5相连，ConvB1的特征映射图的总数为15个，卷积核大小为3×3，卷积步长为1，通过ReLU函数激活；

ConvB1首先处理全色像素图像W_R和稀疏RGB像素C_S，然后将边缘特征图像P_R与ConvB1的输出连接在一起，因此，输出尺寸变为H×W×16，其中H是图像高度，W是图像宽度；ConvB1的串联输出以前馈方式馈入Dense1，通过Tran1连接到Dense2，Dense2通过Tran2连接到Dense3；

Dense1、Dense2、Dense3块的输出尺寸分别为64、128和256，卷积核大小均为3×3，卷积步长均为1；此外，Dense1、Dense2、Dense3块中的每一层都通过批处理归一化函数进行归一化，并通过ReLU函数激活；使用g＝8的增长率来增加每次出现密集块时的卷积层数；

Tran1、Tran2、Tran3块由卷积层和下采样层组成，每个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；下采样层卷积核大小均为3×3，卷积步长均为2；

ConvB2块有两个卷积层；ConvB3块包含五个扩张卷积层，其dilation＝2；ConvB4块具有单个卷积层；ConvB2、ConvB3、ConvB4块的每一层的卷积核的核大小为3×3，步长大小为1，深度为512，通过批量归一化函数进行归一化，并通过ReLU函数进行激活；

ConvB5、ConvB6、ConvB7块用作上采样块，输出尺寸分别为256、128、64，每个块都由一个卷积核大小为2×2上采样卷积层和另一个卷积核大小为3×3的卷积层组成，使用批量归一化函数进行归一化，并通过ReLU函数激活；

ConvB8块的输出尺寸为H×W×3，使用tanh函数激活重建的RGB彩色图像I_R；

构建一个对抗模块并设置该网络的每层参数，将其作为生成对抗网络WGAN中的判别器，用来判断颜色重建网络CRN重建的RGB彩色图像I_R与原始图像I_G相比是否为真实样本；

步骤3、更新对抗模块参数；

步骤4，更新颜色重建网络参数；

步骤5，建立非线性映射关系，

训练对抗模块和颜色重建网络，直到对抗模块的损失值达到最大，颜色重建网络的损失值达到最小；保存训练好的颜色重建网络的结构及各层参数，得到建立好的非线性映射关系；

步骤6，获取RGB彩色图像，

将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。

2.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法，其特征在于：所述的步骤3中，具体过程是，

从输入训练样本集中随机选取一个输入训练样本，将所选取的输入训练样本输入到颜色重建网络中，将颜色重建网络的输出矩阵作为生成样本；

从输出训练样本集中选取一个与输入训练样本对应的输出训练样本；

将生成样本与输出训练样本输入到生成对抗网络GAN的对抗模块中；

利用判别器的损失函数，计算生成对抗网络GAN中的对抗模块的损失值，用该损失值更新对抗模块中的每一层参数；判别器的损失函数表达式为：

式(2)中，L_wGAN(D)表示所述判别器的损失函数，I_G是原始图像，P_r表示真实样本的数据分布，P_g表示生成样本的数据分布，E表示符合某种分布的输入通过函数处理后得到的输出期望，D(I_G)表示对真实的样本进行判别。

3.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法，其特征在于：所述的步骤4中，具体过程是，

计算生成器颜色重建网络的内容损失值，表达式如下：

式(3)中，L_CRN(I_G,I_R)表示原始图像I_G和颜色重建网络CRN输出的RGB彩色图像I_R之间的损失；

p表示像素，P表示整个图像块，I_G(p)和I_R(p)分别是I_G和I_R的像素值，N表示图像块中像素的总数；

其中，

表示I_G的平均值，

表示I_R的平均值，

和

是标准偏差，

是两个图像的协方差，C₁和C₂是常量，l是亮度分量，c是对比度分量，s是结构分量，

计算生成器颜色重建网络的对抗损失值，表达式如下：

式(4)中，L_wGAN(G)表示所述生成器的损失函数，I_G是原始图像，P_g表示生成样本的数据分布，E表示符合某种分布的输入通过函数处理后得到的输出期望，D(I_G)表示对真实的样本进行判别；

将颜色重建网络的内容损失值和对抗损失值相加，得到颜色重建网络的总损失值，表达式如下：

G^*＝L_wGAN(G,D)+λL_CRN(G)                (5)

用总损失值更新颜色重建网络中的每一层参数。

Images