CN110490968A - 基于生成对抗网络的光场轴向重聚焦图像超分辨方法 - Google Patents

Abstract

本发明公开的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，首先，从光场原始图像获得光场的重聚焦图像，并将其分为测试集数据和训练集数据；然后，使用tensorflow搭建生成对抗网络模型，通过训练集数据训练生成对抗网络模型，通过测试集数据验证模型；最后，使用训练好的生成对抗网络模型进行光场轴向重聚焦图像的超分辨。本发明公开的方法解决了现有方法不能对非整数倍的重聚焦图像进行重建的问题。通过生成对抗网络对光场重聚焦图像实现轴向超分辨，能够在较少的光场重聚焦图像下生成不同深度的光场重聚焦图像，使得光场重聚焦变得更为平滑。

Description

基于生成对抗网络的光场轴向重聚焦图像超分辨方法

技术领域

本发明属于光场成像技术领域，具体涉及一种基于生成对抗网络的光场轴向重聚焦图像超分辨方法。

背景技术

光场是光线在空间传播中四维的概念，光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体。在空间内任意的角度、任意的位置都以获得整个空间环境的真实信息，用光场获得的图像信息更全面，品质更好。重聚焦过程是将采集到的光场重新投影到新的像平面上进行积分。由于景物所处深度不同，对于相同孔径的镜头而言，其聚焦面也不同，通过重聚焦可以获知各景深处所对应的聚焦像。当前光场重聚焦方法已经趋于成熟，然而该方法只能重聚焦整数倍数的像素差图像。对于非整数倍的重聚焦图像，现有的方法还无法完成。

发明内容

本发明的目的是提供一种基于生成对抗网络的光场轴向重聚焦图像超分辨方法，解决了现有方法不能对非整数倍的重聚焦图像进行重建的问题。

本发明所采用的技术方案是，基于生成对抗网络的光场轴向重聚焦图像超分辨方法，具体操作过程包括如下步骤：

步骤1，从光场原始图像获得光场的重聚焦图像，并将其分为测试集数据和训练集数据；

步骤2，使用tensorflow搭建生成对抗网络模型，通过训练集数据训练生成对抗网络模型，通过测试集数据验证模型；

步骤3，使用训练好的生成对抗网络模型进行光场轴向重聚焦图像的超分辨。

本发明的其他特点还在于，

步骤1的具体过程如下：

步骤1.1，从光场相机中提取到光场的原始图像文件，对拍摄的原始光场图像进行解析分别得到光场图像的微透镜的中心坐标文件、光场图像文件和与之匹配的光场白图像；

步骤1.2，使用光场重聚焦对解析后的光场图像进行重聚焦操作：

读取解码后的光场文件，L(u,v,s,t)为采集到的光场，U和S分别表示主镜头孔径所在平面和微透镜阵列所在平面，两个平面之间的距离为，新的对焦平面为S′；其中，(u，v)和(s，t)分别表示U和S平面上的点，图中s′表示从U平面发出的一条光线在S′上的位置；令l′＝α*l，S′面所成的像等于US′之间光场的积分，如式(1)所示：

I(s′)＝∫L′(u,s′)du (1)

通过公式(1)得到某一深度下光场图像重聚焦的结果；

令光场重聚焦的相对深度为[A,B]，其中A,B为光场的相对深度距离，每次相对深度l′增加量为Δt，则有N＝(B-A)/Δt，N为光场重聚焦得到不同相对深度下的重聚焦图像个数，通过式(1)得到不同深度下的光场重聚焦图像。

优选的，将步骤1.2得到的光场重聚焦图像偶数位的图像作为测试数据集，将奇数位的图像作为训练数据集。

优选的，步骤2中建立生成对抗网络模型的过程为：

使用tensorflow搭建生成至少3个网络模块和一个判别网络模块，其中两个生成网络分别学习连续3帧图像，剩余的生成网络学习其他生成网络的输出结果，最终生成图像，传给判别网络进行对抗学习。

优选的，用于分别学习连续3帧图像的生成网络的图像序列相差1。

优选的，每一个生成网络的结构相同，生成网络的搭建过程如下：

将输入的连续3帧图像在第三维度进行合并，得到9通道的图像矩阵作为卷积的输入，第一层卷积网络的卷积核大小为9*9，输出通道为64，卷积步长为1，记为9*9*64*1；第二层卷积网络和第三层卷积网络均为3*3*64*1；将第二层卷积网络和第三层卷积网络的输出结果在第三维度上合并作为第四层卷积网络的输入，第四层卷积网络至第七层卷积网络均为3*3*64，将第四层卷积网络至第七层卷积网络的输出结果与第二层卷积网络和第三层卷积网络同样处理，则第8层卷积网络参数也为3*3*64*1，将第8层卷积网络的输出与第一层卷积网络的输出结果在第三维度上进行合并，作为第9层网络的输入，第9层卷积网络的参数为3*3*256*1，第十层卷积网络的参数为9*9*3*1；

其中，第一层卷积网络至第9层卷积网络的输出结果用relu激活函数进行激活，第二层卷积网络至第八层卷积网络输出在激活的同时进行批量归一化处理。

优选的，判别网络的搭建过程如下：

搭建8层的卷积神经网络，所有网络的卷积核大小为3*3，激活函数为relu；第一层卷积网络和第二层卷积网络的输出的通道数为64，卷积的步长分别为1和2；第三层卷积网络和第四层卷积网络输出的通道数为128，卷积步长分别为1和2；第五层卷积网络和第六层卷积网络的输出通道数为256，卷积步长分别为1和2；第七层卷积网络和第八层卷积网络的输出通道数为512，卷积步长分别为1和2；最后将得到的数据reshape成一维向量，进行真假判别；其中，第二层卷积网络至第八层卷积网络都要进行归一化。

优选的，步骤2中训练生成对抗网络模型的过程如下：

定义损失函数如式(2)所示：

其中，为内容损失，包括MSE损失和VGG损失分别如公式3和公式4所示；为对抗损失，如式(5)所示：

式3中，W和H表示图像的宽度和高度，表示真值图像的x,y位置，L^LR表示输入三帧图像在图像第三维度的合成矩阵，G_θG(L^LR)_x,y表示将L^LR经过生成网络模块最终输出图像的x,y位置；

式4中，VGG/i,j表示VGG的第i层卷积，第j个maxpooling的网络输出结果，W和H表示图像的宽度和高度，表示将真值图像在VGG网络中进行特征提取，提取第i层卷积第j个Maxpooling层网络的输出结果进行VGG的损失计算；

式5中，G_θG(I^LR)表示生成网络最终的输出结果，D_θD(G_θG(I^LR))表示将生成网络的输出结果在判别网络中得到的运算结果，N表示图像的个数；

通过步骤1的训练集数据训练网络，训练过程中因为生成网络要生成的结果尽可能的逼真，因此要最小化误差↓G_θG(I^LR)，而判别网络需要尽可能识别网络的真假，因此要最大化误差↑D_θD(G_θG(I^LR))，使用随机梯度下降法对损失函数进行优化，当判别网络已经接近无法判断生成网络得到图像的真假时，也即生成损失曲线已经平稳不发生改变时，此时网络已经训练完成；

通过测试集数据作为生成网络的输入，带入到训练好的模型，输出结果即为验证模型。

优选的，步骤3的具体过程如下：

将步骤1得到重聚焦图像记为重聚焦图像序列为{I₁,I₂,…I_n}，将连续的3帧图像作为一组，分别作为生成网络输入，代入步骤2的模型中，判别网络每一组输出中间位置图像的中间值，实现重聚焦图像的超分辨。

本发明的有益效果是，基于生成对抗网络的光场轴向重聚焦图像超分辨方法，解决了现有方法不能对非整数倍的重聚焦图像进行重建的问题。通过生成对抗网络对光场重聚焦图像实现轴向超分辨，能够在较少的光场重聚焦图像下生成不同深度的光场重聚焦图像，使得光场重聚焦变得更为平滑。视觉上使光场重聚焦图像看起来更为连续，本发明的方法可以重聚焦到图像中的任意深度，实际应用中对需要研究光场图像某一特定深度处的物体具有一定的技术支持。

附图说明

图1是本发明的基于生成对抗网络的光场轴向重聚焦图像超分辨方法的流程图；

图2是本发明的光场重聚焦原理示意图

图3是本发明的光场重聚焦的总体框架图；

图4是本发明的测试结果，(a)为输出结果，(b)真值图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，如图1所示，具体操作过程包括如下步骤：

步骤1，从光场原始图像获得光场的重聚焦图像，并将其分为测试集数据和训练集数据；

步骤2，使用tensorflow搭建生成对抗网络模型，通过训练集数据训练生成对抗网络模型，通过测试集数据验证模型；

步骤3，使用训练好的生成对抗网络模型进行光场轴向重聚焦图像的超分辨。

步骤1的具体过程如下：

步骤1.1，从光场相机中提取到光场的原始图像文件，对拍摄的原始光场图像进行解析分别得到光场图像的微透镜的中心坐标文件、光场图像文件和与之匹配的光场白图像；

步骤1.2，使用光场重聚焦对解析后的光场图像进行重聚焦操作：

读取解码后的光场文件，L(u,v,s,t)为采集到的光场，U和S分别表示主镜头孔径所在平面和微透镜阵列所在平面，两个平面之间的距离为l，新的对焦平面为S′；如图2所示，其中，(u，v)和(s，t)分别表示U和S平面上的点，图中s′表示从U平面发出的一条光线在S′上的位置；令l′＝α*l，S′面所成的像等于US′之间光场的积分，如式(1)所示：

I(s′)＝∫L′(u,s′)du (1)

通过公式1得到某一深度下光场图像重聚焦的结果；令光场重聚焦的相对深度为[A,B]，其中A,B为光场的相对深度距离，每次相对深度l′增加量为Δt，则有N＝(B-A)/Δt，N为光场重聚焦得到不同相对深度下的重聚焦图像个数，通过式(1)得到不同深度下的光场重聚焦图像；

将步骤1.2得到的光场重聚焦图像偶数位的图像作为测试数据集，将奇数位的图像作为训练数据集。

步骤2中建立生成对抗网络模型的过程为，如图3所示：

使用tensorflow搭建生成至少3个网络模块和一个判别网络模块，其中至少两个生成网络分别学习连续3帧图像，剩余的生成网络学习其他生成网络的输出结果，最终生成图像，传给判别网络进行对抗学习；用于分别学习连续3帧图像的生成网络的图像序列相差1。

每一个生成网络的结构相同，生成网络的搭建过程如下：

将输入的连续3帧图像在第三维度进行合并，得到9通道的图像矩阵作为卷积的输入，第一层卷积网络的卷积核大小为9*9，输出通道为64，卷积步长为1，记为9*9*64*1；第二层卷积网络和第三层卷积网络均为3*3*64*1；将第二层卷积网络和第三层卷积网络的输出结果在第三维度上合并作为第四层卷积网络的输入，第四层卷积网络至第七层卷积网络均为3*3*64，将第四层卷积网络至第七层卷积网络的输出结果与第二层卷积网络和第三层卷积网络同样处理，则第8层卷积网络参数也为3*3*64*1，将第8层卷积网络的输出与第一层卷积网络的输出结果在第三维度上进行合并，作为第9层网络的输入，第9层卷积网络的参数为3*3*256*1，第十层卷积网络的参数为9*9*3*1；

其中，第一层卷积网络至第9层卷积网络的输出结果用relu激活函数进行激活，第二层卷积网络至第八层卷积网络输出在激活的同时进行批量归一化处理。

判别网络的搭建过程如下：

搭建8层的卷积神经网络，所有网络的卷积核大小为3*3，激活函数为relu；第一层卷积网络和第二层卷积网络的输出的通道数为64，卷积的步长分别为1和2；第三层卷积网络和第四层卷积网络输出的通道数为128，卷积步长分别为1和2；第五层卷积网络和第六层卷积网络的输出通道数为256，卷积步长分别为1和2；第七层卷积网络和第八层卷积网络的输出通道数为512，卷积步长分别为1和2；最后将得到的数据reshape成一维向量，进行真假判别；其中，第二层卷积网络至第八层卷积网络都要进行归一化。

步骤2中训练生成对抗网络模型的过程如下：

定义损失函数如式(2)所示：

其中，为内容损失，包括MSE损失和VGG损失分别如公式3和公式4所示；为对抗损失，如式(5)所示：

式3中，W和H表示图像的宽度和高度，表示真值图像(Ground Truth)的x,y位置，L^LR表示输入三帧图像在图像第三维度的合成矩阵，G_θG(L^LR)_x,y表示将L^LR经过生成网络模块最终输出图像的x,y位置；

式4中，VGG/i,j表示VGG的第i层卷积，第j个maxpooling的网络输出结果，W和H表示图像的宽度和高度，表示将真值图像(Ground Truth)在VGG网络中进行特征提取，提取第i层卷积第j个Maxpooling层网络的输出结果进行VGG的损失计算；

式5中，G_θG(I^LR)表示生成网络最终的输出结果，D_θD(G_θG(I^LR))表示将生成网络的输出结果在判别网络中得到的运算结果，N表示图像的个数；

通过步骤1的训练集数据训练网络，训练过程中因为生成网络要生成的结果尽可能的逼真，因此要最小化误差↓G_θG(I^LR)，而判别网络需要尽可能识别网络的真假，因此要最大化误差↑D_θD(G_θG(I^LR))，使用随机梯度下降法对损失函数进行优化，当判别网络已经接近无法判断生成网络得到图像的真假时，也即生成损失曲线已经平稳不发生改变时，此时网络已经训练完成；

通过测试集数据作为生成网络的输入，带入到训练好的模型，输出结果验证模型。

步骤3的具体过程如下：

将步骤1得到重聚焦图像记为重聚焦图像序列为{I₁,I₂,…I_n}，将连续的3帧图像作为一组，分别作为生成网络输入，代入步骤2的模型中，判别网络每一组输出中间位置图像的中间值，实现重聚焦图像的超分辨。

实施例

步骤1，从光场相机中提取到光场的原始图像文件.lfp,使用Matlab的光场工具包toolbox0.4并结合光场相机的相机文件，对拍摄的原始光场图像进行解析。输入.lfp文件，工具包读取WhiteImagesDataBase映射，并选取最合适的白图像和微透镜网格模型进行光场文件的解码，每幅图像解析得到三个文件，分别是光场图像的微透镜的中心坐标文件XX_CentersXY.txt、光场图像文件XX_LensletRaw.bmp和与之匹配的光场白图像XX_WhiteImage.bmp。

步骤1.2，步骤1.1中已经得到了解析后的光场图像，使用光场重聚焦代码对解析后的光场图像进行重聚焦操作，读取解码后的光场文件，令L(u,v,s,t)为采集到的光场，U和S分别表示主镜头孔径所在平面和微透镜阵列所在平面，两个平面之间的距离为l。选择新的对焦平面为S′，与U面之间的距离为l′，令l′＝α*l。S′面所成的像等于US′之间光场的积分，如公式1所示。

I(s′)＝∫L′(u,s′)du (1)

令光场重聚焦的相对深度为[A,B],其中A,B为光场的相对深度距离，每次相对深度l′增加量为Δt，则有N＝(B-A)/Δt，此处的N为光场重聚焦得到不同相对深度下的重聚焦图像个数。使用公式1对光场图像进行重聚焦运算，得到不同深度下的光场重聚焦图像。

步骤2，将步骤去得到的光场重聚焦图像，按偶数位的重聚焦图像作为真实的图像，所有的奇数位图像作为网络的训练集，进行分组。

步骤3，根据上述过程建立生成对抗网络模型，在训练过程中，使用随机梯度下降法对损失函数进行优化，初始化前10万次网络的学习率为10e^-4，之后每5万次迭代，网络的学习率下降10e^-1，训练过程中的bach_size可以根据机器的算力做出调整，本实施例使用bach_size＝20；经过以上步骤后，记一组重聚焦图像序列为{I₁,I₂,…I_n}，取{I₁,I₂,I₃}和{I₂,I₃,I₄}分别作为生成网络G1和G2的输入，网络输出I₂和I₃中间位置的图像I_2.5，实现重聚焦图像的超分辨，测试结果如3所示，表3中显示了测试图像的PSNR结果，使用了四组图像，每组图像7张测试图像；本发明提出的方法平均PSNR可以达到30.69，该方法对光场轴向的图像超分辨具有较好的结果。图4显示了其中一组实验的对比结果，图中(a)为本网络的输出结果，(b)为对比的原图(Ground Truth)，可以看出我们的方法在视觉上几乎没有差别，PSNR也具有较好的数值结果。

表1

Claims (9)

1.基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，具体操作过程包括如下步骤：

步骤1，从光场原始图像获得光场的重聚焦图像，并将其分为测试集数据和训练集数据；

步骤2，使用tensorflow搭建生成对抗网络模型，通过训练集数据训练生成对抗网络模型，通过测试集数据验证模型；

步骤3，使用训练好的生成对抗网络模型进行光场轴向重聚焦图像的超分辨。

2.如权利要求1所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，所述步骤1的具体过程如下：

步骤1.1，从光场相机中提取到光场的原始图像文件，对拍摄的原始光场图像进行解析分别得到光场图像的微透镜的中心坐标文件、光场图像文件和与之匹配的光场白图像；

步骤1.2，使用光场重聚焦对解析后的光场图像进行重聚焦操作：

读取解码后的光场文件，L(u,v,s,t)为采集到的光场，U和S分别表示主镜头孔径所在平面和微透镜阵列所在平面，两个平面之间的距离为，新的对焦平面为S′；其中，(u，v)和(s，t)分别表示U和S平面上的点，图中s′表示从U平面发出的一条光线在S′上的位置；令l′＝α*l，S′面所成的像等于US′之间光场的积分，如式(1)所示：

I(s′)＝∫L′(u,s′)du (1)

通过公式(1)得到某一深度下光场图像重聚焦的结果；

令光场重聚焦的相对深度为[A,B]，其中A,B为光场的相对深度距离，每次相对深度l′增加量为Δt，则有N＝(B-A)/Δt，N为光场重聚焦得到不同相对深度下的重聚焦图像个数，通过式(1)得到不同深度下的光场重聚焦图像。

3.如权利要求2所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，将步骤1.2得到的光场重聚焦图像偶数位的图像作为测试数据集，将奇数位的图像作为训练数据集。

4.如权利要求1所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，所述步骤2中建立生成对抗网络模型的过程为：

使用tensorflow搭建生成至少3个网络模块和一个判别网络模块，其中两个生成网络分别学习连续3帧图像，剩余的生成网络学习其他生成网络的输出结果，最终生成图像，传给判别网络进行对抗学习。

5.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，所述用于分别学习连续3帧图像的生成网络的图像序列相差1。

6.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，每一个生成网络的结构相同，所述生成网络的搭建过程如下：

将输入的连续3帧图像在第三维度进行合并，得到9通道的图像矩阵作为卷积的输入，第一层卷积网络的卷积核大小为9*9，输出通道为64，卷积步长为1，记为9*9*64*1；第二层卷积网络和第三层卷积网络均为3*3*64*1；将第二层卷积网络和第三层卷积网络的输出结果在第三维度上合并作为第四层卷积网络的输入，第四层卷积网络至第七层卷积网络均为3*3*64，将第四层卷积网络至第七层卷积网络的输出结果与第二层卷积网络和第三层卷积网络同样处理，则第8层卷积网络参数也为3*3*64*1，将第8层卷积网络的输出与第一层卷积网络的输出结果在第三维度上进行合并，作为第9层网络的输入，第9层卷积网络的参数为3*3*256*1，第十层卷积网络的参数为9*9*3*1；

其中，第一层卷积网络至第9层卷积网络的输出结果用relu激活函数进行激活，第二层卷积网络至第八层卷积网络输出在激活的同时进行批量归一化处理。

7.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，所述判别网络的搭建过程如下：

搭建8层的卷积神经网络，所有网络的卷积核大小为3*3，激活函数为relu；第一层卷积网络和第二层卷积网络的输出的通道数为64，卷积的步长分别为1和2；第三层卷积网络和第四层卷积网络输出的通道数为128，卷积步长分别为1和2；第五层卷积网络和第六层卷积网络的输出通道数为256，卷积步长分别为1和2；第七层卷积网络和第八层卷积网络的输出通道数为512，卷积步长分别为1和2；最后将得到的数据reshape成一维向量，进行真假判别；其中，第二层卷积网络至第八层卷积网络都要进行归一化。

8.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，所述步骤2中训练生成对抗网络模型的过程如下：

定义损失函数如式(2)所示：

其中，为内容损失，包括MSE损失和VGG损失分别如公式3和公式4所示；为对抗损失，如式(5)所示：

式3中，W和H表示图像的宽度和高度，表示真值图像的x,y位置，L^LR表示输入三帧图像在图像第三维度的合成矩阵，G_θG(L^LR)_x,y表示将L^LR经过生成网络模块最终输出图像的x,y位置；

式4中，VGG/i,j表示VGG的第i层卷积，第j个maxpooling的网络输出结果，W和H表示图像的宽度和高度，表示将真值图像在VGG网络中进行特征提取，提取第i层卷积第j个Maxpooling层网络的输出结果进行VGG的损失计算；

式5中，G_θG(I^LR)表示生成网络最终的输出结果，D_θD(G_θG(I^LR))表示将生成网络的输出结果在判别网络中得到的运算结果，N表示图像的个数；

通过步骤1的训练集数据训练网络，训练过程中因为生成网络要生成的结果尽可能的逼真，因此要最小化误差↓G_θG(I^LR)，而判别网络需要尽可能识别网络的真假，因此要最大化误差↑D_θD(G_θG(I^LR))，使用随机梯度下降法对损失函数进行优化，当判别网络已经接近无法判断生成网络得到图像的真假时，也即生成损失曲线已经平稳不发生改变时，此时网络已经训练完成；

通过测试集数据作为生成网络的输入，带入到训练好的模型，输出结果即为验证模型。

9.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，其特征在于，所述步骤3的具体过程如下：

将步骤1得到重聚焦图像记为重聚焦图像序列为{I₁,I₂,…I_n}，将连续的3帧图像作为一组，分别作为生成网络输入，代入步骤2的模型中，判别网络每一组输出中间位置图像的中间值，实现重聚焦图像的超分辨。