CN110225260A - 一种基于生成对抗网络的立体高动态范围成像方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的立体高动态范围成像方法，考虑到立体高动态范围成像是将立体成像技术与高动态范围成像技术相结合，假设目标视点是左视点，且左视点属于欠曝光，右视点属于过曝光，其核心在于生成左视点的多曝光序列；将生成的左视点过曝光图像与原始的左视点欠曝光图像组成多曝光序列，利用构建的视点融合生成对抗网络来完成高动态范围图像融合任务；采用三幅不同曝光图像生成标签图像，以使视点融合生成对抗网络学习低质量融合图像与高质量融合图像之间的转换关系；优点是其既能降低传统方法中多步骤处理的复杂性，并减少误差累积，又能提高生成图像的整体对比度和细节保真度。

Description

一种基于生成对抗网络的立体高动态范围成像方法

技术领域

本发明涉及高动态范围成像技术领域，具体为一种基于生成对抗网络的立体高动态范围成像方法。

背景技术

大部分商用相机仅能捕获自然场景的有限动态范围，这不可避免地导致捕获图像在场景过暗区域出现曝光不足现象，在场景过亮区域出现曝光过度现象；高动态范围(Highdynamic range，HDR)成像技术的出现有效地解决了这个问题。HDR成像技术是利用同一场景的多曝光图像估计出相机响应函数(Camera response function，CRF)，然后将多曝光图像转换到辐照域进行融合，以得到反映真实场景动态范围的图像。但由于在捕获多曝光图像时，相机每次曝光存在时间间隔，所以对于具有移动物体或背景复杂的场景，融合的HDR图像会产生鬼影伪像。

随着立体视觉技术的发展，对高质量立体图像的需求也在增加。将HDR成像技术与立体视觉系统相结合的立体HDR成像(Stereo HDR imaging，SHDRI)可以为用户提供更高质量的双目体验，此外，由于立体多曝光图像是无时间延时拍摄，所以SHDRI能够缓解由于移动物体带来的鬼影伪像问题。

目前关于SHDRI的研究并不多，传统的SHDRI方法是简单结合双目成像技术和高动态范围成像技术，主要包括以下步骤：CRF估计，立体匹配，图像绘制，空洞填补，以及图像融合；由于CRF估计针对单视点多曝光图像，立体匹配针对多视点单曝光图像，所以有研发员通过尺度不变特征(scale-invariant feature transform，SIFT)描述符来提取匹配点以估计CRF，然后将图像转换到同一曝光下进行立体匹配。也有研发员认为SIFT描述符无法保证匹配点对应图像的整个强度范围，所以提出利用累积分布函数来提取匹配点；另外，也有人则假设CRF是预先通过单个相机进行多次曝光获得的，这限制了该方法的实用性。以上三种方法是首先估计CRF，然后将立体多曝光图像转换为相同曝光或初始HDR图像以进行立体匹配，与此相反，有些研发人员首先使用归一化互相关来计算初始视差图，然后使用所获得的视差图来估计CRF，但是，上述所有方法都包含多个处理步骤，最终图像质量受每个处理步骤的性能限制，容易造成误差累积。

虽然相关研究已经取得了较好的SHDRI效果，但是在方法的复杂性和提高生成图像的细节上仍存在一定的不足。

发明内容

本发明的目的在于提供一种基于生成对抗网络的立体高动态范围成像方法，以解决上述背景技术中提出的现有的高动态范围成像方法步骤复杂，成像细节存在不足的问题。

为实现上述目的，本发明提供如下技术方案，一种基于生成对抗网络的立体高动态范围成像方法，包括以下步骤：

步骤一：构建两个级联的生成对抗网络和立体高动态范围成像数据库；

a.构建立体高动态范围成像数据库，用以输入并存储标签图像，该立体高动态范围成像数据库包括多视点多曝光图像、曝光传递标签图像和融合标签图像，所述融合标签图像为三幅同一视点不同曝光的图像合成而来，另外，假定输入图像为左视点欠曝光图像和右视点过曝光图像，则对应曝光传递生成对抗网络的标签图像为左视点过曝光图像，称为曝光传递标签图像；

b.构建的第一级生成对抗网络为视点曝光传递生成对抗网络，该视点曝光传递生成对抗网络包括生成网络和判别网络，所述生成网络包括内容编码器、曝光编码器和重建解码器，其中：

所述内容编码器是通过卷积核对输入的左视点(或右视点)图像进行卷积提取出内容特征图；

所述曝光编码器是通过卷积核对输入的右视点(或左视点)图像进行卷积提取出曝光特征图；

所述重建解码器是通过卷积核对内容编码器和曝光编码器的输出的级联结果进行解码，重构输出与原始输入图像同尺寸的目标图像；

所述判别网络是通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该判别网络的输入为重建解码器的输出结果和曝光传递标签图像；

c.构建的第二级生成对抗网络为视点融合生成对抗网络，该视点融合生成对抗网络包括融合生成网络和融合判别网络，其中：

所述融合生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，该融合生成网络的输入为原始左视点(或右视点)图像和视点曝光传递生成对抗网络的输出的级联结果；

所述融合判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该融合判别网络的输入为融合生成网络的输出和融合标签图像。

步骤二：训练步骤一中构建的两个级联的生成对抗网络；

步骤三：测试步骤二中训练好的级联的生成对抗网络。

优选的，所述内容编码器由两层卷积层和四层扩张卷积层构成，依次是内容第一卷积层、内容第二卷积层、内容第一扩张卷积层、内容第二扩张卷积层、内容第三扩张卷积层、内容第四扩张卷积层,将输入左视点图像记为F_content,0，令i表示卷积层的索引号，i＝1,2，i＝1时代表内容第一卷积层，i＝2时代表内容第二卷积层，索引号为i的卷积层的输入为F_content,i-1，将索引号为i的卷积层的输出记为F_content,i，F_content,i＝A(W_content,i*F_content,i-1+b_content,i)，其中，索引号为i的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为i的卷积层的卷积步长为i，索引号为i的卷积层输入的通道数为m_content,i，索引号为i的卷积层输出的通道数为n_content,i，W_content,i表示索引号为i的卷积层的卷积核，W_content,i的维数为k_content,i×k_content,i，符号“*”为卷积操作符号，b_content,i表示维数为1×n_content,i的偏置项；内容第一扩张卷积层的输入是内容第二卷积层的输出，即F_content,2，令j表示扩张卷积层的索引号，j＝1,2,3,4，j＝1时代表内容第一扩张卷积层，j＝2时代表内容第二扩张卷积层，j＝3时代表内容第三扩张卷积层，j＝4时代表内容第四扩张卷积层，索引号为j的扩张卷积层的输入为F_content,j+1，将索引号为j的扩张卷积层的输出记为F_content,j+2，其中，索引号为j的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为j的扩张卷积层的卷积步长为1，索引号为j的扩张卷积层输入的通道数为m_content,j+2，索引号为j的扩张卷积层输出的通道数为n_content,j+2，W_content,j+2表示索引号为j的扩张卷积层的卷积核，扩张系数记为D_content,j+2，W_content,j+2的维数为k_content,j+2×k_content,j+2，符号为扩张卷积操作符号，b_content,j+2表示维数为1×n_content,j+2的偏置项；

所述曝光编码器由两层卷积层和四层扩张卷积层构成，依次为曝光第一卷积层、曝光第二卷积层、曝光第一扩张卷积层、曝光第二扩张卷积层、曝光第三扩张卷积层、曝光第四扩张卷积层,将输入右视点图像记为F_exposure,0，令p表示卷积层的索引号，p＝1,2，p＝1时代表曝光第一卷积层，p＝2时代表曝光第二卷积层，索引号为p的卷积层的输入为F_exposure,p-1，将索引号为p的卷积层的输出记为F_exposure,p，F_exposure,p＝A(W_exposure,p*F_exposure,p-1+b_exposure,p)，其中，索引号为p的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为p的卷积层的卷积步长为p，索引号为p的卷积层输入的通道数为m_exposure,p，索引号为p的卷积层输出的通道数为n_exposure,p，W_exposure,p表示索引号为p的卷积层的卷积核，W_exposure,p的维数为k_exposure,p×k_exposure,p，符号“*”为卷积操作符号，b_exposure,p表示维数为1×n_exposure,p的偏置项；曝光第一扩张卷积层的输入是曝光第二卷积层的输出，即F_exposure,2，令q表示扩张卷积层的索引号，q＝1,2,3,4，q＝1时代表曝光第一扩张卷积层，q＝2时代表曝光第二扩张卷积层，q＝3时代表曝光第三扩张卷积层，q＝4时代表曝光第四扩张卷积层，索引号为q的扩张卷积层的输入为F_exposure,q+1，将索引号为q的扩张卷积层的输出记为F_exposure,q+2，其中，索引号为q的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为q的扩张卷积层的卷积步长为1，索引号为q的扩张卷积层输入的通道数为m_exposure,q+2，索引号为q的扩张卷积层输出的通道数为n_exposure,q+2，W_exposure,q+2表示索引号为q的扩张卷积层的卷积核，扩张系数记为D_exposure,q+2，W_exposure,q+2的维数为k_exposure,q+2×k_exposure,q+2，符号为扩张卷积操作符号，b_exposure,q+2表示维数为1×n_exposure,q+2的偏置项；

所述重建解码器由两层卷积层和一层反卷积层构成，依次为重建第一卷积层、重建第一反卷积层、重建第二卷积层,重建第一卷积层的输入是内容编码器和曝光编码器中扩张卷积层的输出的级联结果，记为其中，concat[]表示级联算子，∑表示求和算子，l表示特征图索引，将重建第一卷积层的输出记为R_rec,1，R_rec,1＝A(W_rec,1*F_rec+b_rec,1)，其中，重建第一卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一卷积层的卷积步长为1，重建第一卷积层输入的通道数为m_rec,1，重建第一卷积层输出的通道数为n_rec,1，W_rec,1表示重建第一卷积层的卷积核，W_rec,1的维数为k_rec,1×k_rec,1，符号“*”为卷积操作符号，b_rec,1表示维数为1×n_rec,1的偏置项；重建第一反卷积层的输入是重建第一卷积层的输出，即R_rec,1，将重建第一反卷积层的输出记为R_rec,2，R_rec,2＝A(W_rec,2⊙R_rec,1+b_rec,2)，其中，重建第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一反卷积层的步长为2，重建第一反卷积层输入的通道数为m_rec,2，重建第一反卷积层输出的通道数为n_rec,2，W_rec,2表示重建第一反卷积层的卷积核，W_rec,2的维数为k_rec,2×k_rec,2，符号“⊙”为反卷积操作符号，b_rec,2表示维数为1×n_rec,2的偏置项；重建第二卷积层的输入是重建第一反卷积层，内容第一卷积层和曝光第一卷积层的相加输出，记为R'_rec,2＝R_rec,2+F_content,1+F_exposure,1，将重建第二卷积层的输出记为R_rec,3，R_rec,3＝S(W_rec,3*R'_rec,2+b_rec,3)，其中，重建第二卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，重建第二卷积层的卷积步长为1，重建第二卷积层输入的通道数为m_rec,3，重建第二卷积层输出的通道数为n_rec,3，W_rec,3表示重建第二卷积层的卷积核，W_rec,3的维数为k_rec,3×k_rec,3，b_rec,3表示维数为1×n_rec,3的偏置项；

所述判别网络是依次由判别第一卷积层、判别第二卷积层、判别第三卷积层、判别第四卷积层、判别第五卷积层构成,该判别网络的输入为重建解码器的输出结果和曝光传递标签图像，将输入图像记为F_{t_disc,0}，令h表示卷积层的索引号，h＝1,2,3,4,5，h＝1时代表判别第一卷积层，h＝2时代表判别第二卷积层，h＝3时代表判别第三卷积层，h＝4时代表判别第四卷积层，h＝5时代表判别第五卷积层，索引号为h的卷积层的输入为F_{t_disc,h-1}，将索引号为h的卷积层的输出记为F_{t_disc,h}，F_{t_disc,h}＝A(W_{t_disc,h}*F_{t_disc,h-1}+b_{t_disc,h})，其中，索引号为h的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为h＝1,2,3,4的卷积层的卷积步长为2，索引号为h＝5的卷积层的卷积步长为1，索引号为h的卷积层输入的通道数为m_{t_}disc,_h，索引号为h的卷积层输出的通道数为n_{t_disc,h}，W_{t_disc,h}表示索引号为h的卷积层的卷积核，W_{t_disc,h}的维数为k_{t_disc,h}×k_{t_disc,h}，符号“*”为卷积操作符号，b_{t_disc,h}表示维数为1×n_{t_disc,h}的偏置项。

优选的，所述融合生成网络依次由第一卷积层、第二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第四扩张卷积层、第三卷积层、第一反卷积层、第四卷积层构成,视点融合生成对抗网络中的生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，第一卷积层的输入是原始左视点图像和视点曝光传递生成对抗网络的输出的级联结果，记为F_fusion,0＝concat[F_content,0,R_rec,3]，其中，concat[]表示级联算子，令s表示卷积层的索引号，s＝1,2，s＝1时代表第一卷积层，s＝2时代表第二卷积层，索引号为s的卷积层的输入为F_fusion,s-1，将索引号为s的卷积层的输出记为F_fusion,s，F_fusion,s＝A(W_fusion,s*F_fusion,s-1+b_fusion,s)，其中，索引号为s的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为s的卷积层的卷积步长为s，索引号为s的卷积层输入的通道数为m_fusion,s，索引号为s的卷积层输出的通道数为n_fusion,s，W_fusion,s表示索引号为s的卷积层的卷积核，W_fusion,s的维数为k_fusion,s×k_fusion,s，符号“*”为卷积操作符号，b_fusion,s表示维数为1×n_fusion,s的偏置项；第一扩张卷积层的输入是第二卷积层的输出，即F_fusion,2，令g表示扩张卷积层的索引号，g＝1,2,3,4，g＝1时代表第一扩张卷积层，g＝2时代表第二扩张卷积层，g＝3时代表第三扩张卷积层，g＝4时代表第四扩张卷积层，索引号为g的扩张卷积层的输入为F_fusion,g+1，将索引号为g的扩张卷积层的输出记为其中，索引号为g的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为g的扩张卷积层的卷积步长为1，索引号为g的扩张卷积层输入的通道数为m_fusion,g+2，索引号为g的扩张卷积层输出的通道数为n_fusion,g+2，W_fusion,g+2表示索引号为g的扩张卷积层的卷积核，扩张系数记为D_fusion,g+2，W_fusion,g+2的维数为k_fusion,g+2×k_fusion,g+2，符号为扩张卷积操作符号，b_fusion,g+2表示维数为1×n_fusion,g+2的偏置项；第三卷积层的输入是第四扩张卷积层的输出，即F_fusion,6，将第三卷积层的输出记为F_fusion,7，F_fusion,7＝A(W_fusion,7*F_fusion,6+b_fusion,7)，其中，第三卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第三卷积层的卷积步长为1，第三卷积层输入的通道数为m_fusion,7，第三卷积层输出的通道数为n_fusion,7，W_fusion,7表示第三卷积层的卷积核，W_fusion,7的维数为k_fusion,7×k_fusion,7，符号“*”为卷积操作符号，b_fusion,7表示维数为1×n_fusion,7的偏置项；第一反卷积层的输入是第三卷积层和第二卷积层的相加输出，记为F'_fusion,7＝F_fusion,7+F_fusion,2，将第一反卷积层的输出记为F_fusion,8，F_fusion,8＝A(W_fusion,8⊙F'_fusion,7+b_fusion,8)，其中，第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第一反卷积层的步长为2，第一反卷积层输入的通道数为m_fusion,8，第一反卷积层输出的通道数为n_fusion,8，W_fusion,8表示第一反卷积层的卷积核，W_fusion,8的维数为k_fusion,8×k_fusion,8，符号“⊙”为反卷积操作符号，b_fusion,8表示维数为1×n_fusion,8的偏置项；第四卷积层的输入是第一反卷积层和第一卷积层的相加输出，记为F'_fusion,8＝F_fusion,8+F_fusion,1，将第四卷积层的输出记为F_fusion,9，F_fusion,9＝S(W_fusion,9*F'_fusion,8+b_fusion,9)，其中，第四卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为m_fusion,9，第四卷积层输出的通道数为n_fusion,9，W_fusion,9表示第四卷积层的卷积核，W_fusion,9的维数为k_fusion,9×k_fusion,9，b_fusion,9表示维数为1×n_fusion,9的偏置项；

所述融合判别网络依次由融合判别第一卷积层、融合判别第二卷积层、融合判别第三卷积层、融合判别第四卷积层、融合判别第五卷积层组成，且该融合判别网络的输入为融合生成网络的输出和融合标签图像,视点融合生成对抗网络中的判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，将输入图像记为F_{f_disc,0}，令w表示卷积层的索引号，w＝1,2,3,4,5，w＝1时代表融合判别第一卷积层，w＝2时代表融合判别第二卷积层，w＝3时代表融合判别第三卷积层，w＝4时代表融合判别第四卷积层，w＝5时代表融合判别第五卷积层，索引号为w的卷积层的输入为F_{f_disc,w-1}，将索引号为w的卷积层的输出记为F_{f_disc,w}，F_{f_disc,w}＝A(W_{f_disc,w}*F_{f_disc,w-1}+b_{f_disc,w})，其中，索引号为w的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为w＝1,2,3,4的卷积层的卷积步长为2，索引号为w＝5的卷积层的卷积步长为1，索引号为w的卷积层输入的通道数为m_{f_disc,w}，索引号为w的卷积层输出的通道数为n_{f_disc,w}，W_{f_disc,w}表示索引号为w的卷积层的卷积核，W_{f_disc,w}的维数为k_{f_disc,w}×k_{f_disc,w}，符号“*”为卷积操作符号，b_{f_disc,w}表示维数为1×n_{f_disc,w}的偏置项。

优选的，所述步骤二中具体的训练方法如下：

选取个左右视点多曝光序列，假定训练和测试的左视点图像属于欠曝光，右视点图像属于过曝光，其中，然后将左视点欠曝光图像、右视点过曝光图像和对应的左视点过曝光图像构成曝光传递训练集；接着将曝光传递训练集中的左视点欠曝光图像记为F_content,0并作为输入，将右视点过曝光图像记为F_exposure,0并作为输入，将左视点过曝光图像作为标签图像，输入到构建好的视点曝光传递生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点过曝光图像，即R_rec,3；之后将左右视点多曝光序列中的左视点欠曝光图像、左视点过曝光图像和对应的高质量左视点HDR图像构成视点融合训练集；然后将视点融合训练集中的左视点过曝光图像记为R′_rec,3，即R_rec,3为R′_rec,3，并将左视点欠曝光图像F_content,0和左视点过曝光图像R′_rec,3作为输入，将高质量左视点HDR图像作为标签，输入到构建好的视点融合生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点HDR图像，记为I_{left_hdr}，即F_fusion,9为I_{left_hdr}，训练结束后得到了视点曝光传递生成对抗网络和视点融合生成对抗网络中的各卷积核和偏置项的最佳参数，即得到了训练好的级联生成对抗网络。

优选的，所述步骤三中具体的测试方法如下：

选取一组左右视点不同曝光图像作为测试序列；然后将测试序列中的左视点欠曝光图像记为I_{test,left_under}，右视点过曝光图像记为I_{test,right_over}；接着将I_{test,left_under}和I_{test,right_over}作为输入，输入到训练好的级联生成对抗网络中，网络输出对应的左视点HDR图像，记为I_{test,left_hdr}。

与现有技术相比，本发明的有益效果是：

1)本发明方法考虑到现有技术都是遵循固定的图像处理流程，包括相机响应函数求取，立体匹配，图像绘制，空洞填补以及图像融合，但多步骤处理过程会产生误差累积，从而导致生成图像质量降低，因此采用生成对抗网络来端到端学习图像间的转换，能够有效克服现有技术步骤繁琐以及误差累积的缺点。

2)本发明方法为避免左右视点图像在拍摄过程中，由于曝光间距过大而导致融合图像出现细节丢失现象，采用三幅不同曝光图像来生成标签图像，使视点融合生成对抗网络学习两个映射过程，即简单的两图像融合过程和低质量融合图像到高质量融合图像的转换过程，能够有效提高生成图像的整体对比度和细节保真度。

附图说明

图1为本发明方法的总体实现流程框图和网络的结构示意图；

图2a为Laundry序列中的图像；

图2b为采用SHDRI_CNN对图2a所示的图像进行处理得到的左视点过曝光图像；

图2c为采用本发明方法对图2a所示的图像进行处理得到的左视点过曝光图像；

图2d为图2a所示的图像对应的左视点过曝光图像；

图3a为Moebius序列中的图像；

图3b为采用SHDRI_CNN对图3a所示的图像进行处理得到的左视点过曝光图像；

图3c为采用本发明方法对图3a所示的图像进行处理得到的左视点过曝光图像；

图3d为图3a所示的图像对应的左视点过曝光图像；

图4a为Dolls序列中的图像；

图4b为两图像融合得到的左视点HDR图像；

图4c为采用本发明方法对图4a所示的图像进行处理得到的左视点HDR图像；

图4d为图4a所示的图像对应的高质量的左视点HDR图像。

图5a为Art序列中的图像；

图5b为两图像融合得到的左视点HDR图像；

图5c为采用本发明方法对图5a所示的图像进行处理得到的左视点HDR图像；

图5d为图5a所示的图像对应的高质量的左视点HDR图像。

备注：本申请说明书附图采用带有灰度图片才能表达本申请方法达到的效果，故本申请说明书附图带有灰度。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

自然场景的动态范围高达9个数量级，而普通消费相机拍摄的图像的动态范围小于3个数量级，这会导致成像在场景过亮区域泛白，造成信息丢失现象，此外，现有立体成像技术愈发成熟，将立体视觉系统与高动态范围成像技术有机结合，可以为用户提供更高质量的双目体验，针对此，本发明提出了一种基于生成对抗网络的立体高动态范围成像方法，其首先考虑到立体高动态范围成像的核心在于生成主视点下的额外曝光图像，因此在假定左视点为主视点的条件下，将右视点的曝光信息传递给左视点以生成左视点额外曝光图像，并与原始左视点图像构成多曝光序列；再利用视点融合生成对抗网络提取融合特征，生成最终的高质量左视点HDR图像。

本发明方法的总体实现流程框图和网络的结构示意图如图1所示，本发明方法包括以下步骤：

步骤一：构建两个级联的生成对抗网络和立体高动态范围成像数据库；构建立体高动态范围成像数据库，用以输入并存储标签图像，该立体高动态范围成像数据库包括多视点多曝光图像、曝光传递标签图像和融合标签图像，所述融合标签图像为三幅同一视点不同曝光的图像合成而来；其中，假定输入图像为左视点欠曝光图像和右视点过曝光图像，则对应曝光传递生成对抗网络的标签图像为左视点过曝光图像，称为曝光传递标签图像；所述第一级生成对抗网络为视点曝光传递生成对抗网络，所述第二级生成对抗网络为视点融合生成对抗网络；

如图1所示，视点曝光传递生成对抗网络包括生成网络和判别网络，其中生成网络包括三部分，分别为内容编码器，曝光编码器和重建解码器，其中：

视点曝光传递生成对抗网络中生成网络的内容编码器通过卷积核对输入的图像进行卷积提取出内容特征图，所述内容编码器由两层卷积层和四层扩张卷积层构成，依次为内容第一卷积层、内容第二卷积层、内容第一扩张卷积层、内容第二扩张卷积层、内容第三扩张卷积层、内容第四扩张卷积层，将输入左视点图像记为F_content,0，令i表示卷积层的索引号，i＝1,2，i＝1时代表内容第一卷积层，i＝2时代表内容第二卷积层，索引号为i的卷积层的输入为F_content,i-1，将索引号为i的卷积层的输出记为F_content,i，F_content,i＝A(W_content,i*F_content,i-1+b_content,i)，其中，索引号为i的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为i的卷积层的卷积步长为i，索引号为i的卷积层输入的通道数为m_content,i，索引号为i的卷积层输出的通道数为n_content,i，W_content,i表示索引号为i的卷积层的卷积核，W_content,i的维数为k_content,i×k_content,i，符号“*”为卷积操作符号，b_content,i表示维数为1×n_content,i的偏置项；内容第一扩张卷积层的输入是内容第二卷积层的输出，即F_content,2，令j表示扩张卷积层的索引号，j＝1,2,3,4，j＝1时代表内容第一扩张卷积层，j＝2时代表内容第二扩张卷积层，j＝3时代表内容第三扩张卷积层，j＝4时代表内容第四扩张卷积层，索引号为j的扩张卷积层的输入为F_content,j+1，将索引号为j的扩张卷积层的输出记为F_content,j+2，其中，索引号为j的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为j的扩张卷积层的卷积步长为1，索引号为j的扩张卷积层输入的通道数为m_content,j+2，索引号为j的扩张卷积层输出的通道数为n_content,j+2，W_content,j+2表示索引号为j的扩张卷积层的卷积核，扩张系数记为D_content,j+2，W_content,j+2的维数为k_content,j+2×k_content,j+2，符号为扩张卷积操作符号，b_content,j+2表示维数为1×n_content,j+2的偏置项；扩张卷积支持指数扩展图像感受野，且不降低图像分辨率，因此能够充分利用图像的上下文信息以提高生成图像的质量；

视点曝光传递生成对抗网络中生成网络的曝光编码器通过卷积核对输入的图像进行卷积提取出曝光特征图，所述曝光编码器由两层卷积层和四层扩张卷积层构成，依次为曝光第一卷积层、曝光第二卷积层、曝光第一扩张卷积层、曝光第二扩张卷积层、曝光第三扩张卷积层、曝光第四扩张卷积层，将输入右视点图像记为F_exposure,0，令p表示卷积层的索引号，p＝1,2，p＝1时代表曝光第一卷积层，p＝2时代表曝光第二卷积层，索引号为p的卷积层的输入为F_exposure,p-1，将索引号为p的卷积层的输出记为F_exposure,p，F_exposure,p＝A(W_exposure,p*F_exposure,p-1+b_exposure,p)，其中，索引号为p的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为p的卷积层的卷积步长为p，索引号为p的卷积层输入的通道数为m_exposure,p，索引号为p的卷积层输出的通道数为n_exposure,p，W_exposure,p表示索引号为p的卷积层的卷积核，W_exposure,p的维数为k_exposure,p×k_exposure,p，符号“*”为卷积操作符号，b_exposure,p表示维数为1×n_exposure,p的偏置项；曝光第一扩张卷积层的输入是曝光第二卷积层的输出，即F_exposure,2，令q表示扩张卷积层的索引号，q＝1,2,3,4，q＝1时代表曝光第一扩张卷积层，q＝2时代表曝光第二扩张卷积层，q＝3时代表曝光第三扩张卷积层，q＝4时代表曝光第四扩张卷积层，索引号为q的扩张卷积层的输入为F_exposure,q+1，将索引号为q的扩张卷积层的输出记为F_exposure,q+2，其中，索引号为q的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为q的扩张卷积层的卷积步长为1，索引号为q的扩张卷积层输入的通道数为m_exposure,q+2，索引号为q的扩张卷积层输出的通道数为n_exposure,q+2，W_exposure,q+2表示索引号为q的扩张卷积层的卷积核，扩张系数记为D_exposure,q+2，W_exposure,q+2的维数为k_exposure,q+2×k_exposure,q+2，符号为扩张卷积操作符号，b_exposure,q+2表示维数为1×n_exposure,q+2的偏置项；

视点曝光传递生成对抗网络中生成网络的重建解码器是通过卷积核对内容编码器和曝光编码器的输出的级联结果进行解码，重构输出与原始输入图像同尺寸的目标图像，所述重建解码器由两层卷积层和一层反卷积层构成，依次为重建第一卷积层、重建第一反卷积层、重建第二卷积层，判别网络由五层卷积层构成，依次为判别第一卷积层、判别第二卷积层、判别第三卷积层、判别第四卷积层、判别第五卷积层，该重建第一卷积层的输入是内容编码器和曝光编码器中扩张卷积层的输出的级联结果，通过聚合4层扩张卷积层的输出能够充分利用图像的上下文信息，以丰富输出图像的细节，记为其中，concat[]表示级联算子，∑表示求和算子，l表示特征图索引，将重建第一卷积层的输出记为R_rec,1，R_rec,1＝A(W_rec,1*F_rec+b_rec,1)，其中，重建第一卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一卷积层的卷积步长为1，重建第一卷积层输入的通道数为m_rec,1，重建第一卷积层输出的通道数为n_rec,1，W_rec,1表示重建第一卷积层的卷积核，W_rec,1的维数为k_rec,1×k_rec,1，符号“*”为卷积操作符号，b_rec,1表示维数为1×n_rec,1的偏置项；重建第一反卷积层的输入是重建第一卷积层的输出，即R_rec,1，将重建第一反卷积层的输出记为R_rec,2，R_rec,2＝A(W_rec,2⊙R_rec,1+b_rec,2)，其中，重建第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一反卷积层的步长为2，重建第一反卷积层输入的通道数为m_rec,2，重建第一反卷积层输出的通道数为n_rec,2，W_rec,2表示重建第一反卷积层的卷积核，W_rec,2的维数为k_rec,2×k_rec,2，符号“⊙”为反卷积操作符号，b_rec,2表示维数为1×n_rec,2的偏置项；重建第二卷积层的输入是重建第一反卷积层，内容第一卷积层和曝光第一卷积层的相加输出，记为R'_rec,2＝R_rec,2+F_content,1+F_exposure,1，将重建第二卷积层的输出记为R_rec,3，R_rec,3＝S(W_rec,3*R'_rec,2+b_rec,3)，其中，重建第二卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，重建第二卷积层的卷积步长为1，重建第二卷积层输入的通道数为m_rec,3，重建第二卷积层输出的通道数为n_rec,3，W_rec,3表示重建第二卷积层的卷积核，W_rec,3的维数为k_rec,3×k_rec,3，b_rec,3表示维数为1×n_rec,3的偏置项；

视点曝光传递生成对抗网络中的判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该判别网络的输入为重建解码器的输出结果和曝光传递标签图像，将输入图像记为F_{t_disc,0}，令h表示卷积层的索引号，h＝1,2,3,4,5，h＝1时代表判别第一卷积层，h＝2时代表判别第二卷积层，h＝3时代表判别第三卷积层，h＝4时代表判别第四卷积层，h＝5时代表判别第五卷积层，索引号为h的卷积层的输入为F_{t_disc,h-1}，将索引号为h的卷积层的输出记为F_{t_disc,h}，F_{t_disc,h}＝A(W_{t_disc,h}*F_{t_disc,h-1}+b_{t_disc,h})，其中，索引号为h的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为h＝1,2,3,4的卷积层的卷积步长为2，索引号为h＝5的卷积层的卷积步长为1，索引号为h的卷积层输入的通道数为m_{t_disc,h}，索引号为h的卷积层输出的通道数为n_{t_disc,h}，W_{t_disc,h}表示索引号为h的卷积层的卷积核，W_{t_disc,h}的维数为k_{t_disc,h}×k_{t_disc,h}，符号“*”为卷积操作符号，b_{t_disc,h}表示维数为1×n_{t_disc,h}的偏置项；

所述视点融合生成对抗网络中的生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，该视点融合生成对抗网络包括融合生成网络和融合判别网络，其中所述融合生成网络包括九层，依次分别为第一卷积层、第二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第四扩张卷积层、第三卷积层、第一反卷积层、第四卷积层，具体来说，所述第一卷积层的输入是原始左视点图像和视点曝光传递生成对抗网络的输出的级联结果，记为F_fusion,0＝concat[F_content,0,R_rec,3]，其中，concat[]表示级联算子，令s表示卷积层的索引号，s＝1,2，s＝1时代表第一卷积层，s＝2时代表第二卷积层，索引号为s的卷积层的输入为F_fusion,s-1，将索引号为s的卷积层的输出记为F_fusion,s，F_fusion,s＝A(W_fusion,s*F_fusion,s-1+b_fusion,s)，其中，索引号为s的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为s的卷积层的卷积步长为s，索引号为s的卷积层输入的通道数为m_fusion,s，索引号为s的卷积层输出的通道数为n_fusion,s，W_fusion,s表示索引号为s的卷积层的卷积核，W_fusion,s的维数为k_fusion,s×k_fusion,s，符号“*”为卷积操作符号，b_fusion,s表示维数为1×n_fusion,s的偏置项；第一扩张卷积层的输入是第二卷积层的输出，即F_fusion,2，令g表示扩张卷积层的索引号，g＝1,2,3,4，g＝1时代表第一扩张卷积层，g＝2时代表第二扩张卷积层，g＝3时代表第三扩张卷积层，g＝4时代表第四扩张卷积层，索引号为g的扩张卷积层的输入为F_fusion,g+1，将索引号为g的扩张卷积层的输出记为F_fusion,g+2，其中，索引号为g的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为g的扩张卷积层的卷积步长为1，索引号为g的扩张卷积层输入的通道数为m_fusion,g+2，索引号为g的扩张卷积层输出的通道数为n_fusion,g+2，W_fusion,g+2表示索引号为g的扩张卷积层的卷积核，扩张系数记为D_fusion,g+2，W_fusion,g+2的维数为k_fusion,g+2×k_fusion,g+2，符号为扩张卷积操作符号，b_fusion,g+2表示维数为1×n_fusion,g+2的偏置项；第三卷积层的输入是第四扩张卷积层的输出，即F_fusion,6，将第三卷积层的输出记为F_fusion,7，F_fusion,7＝A(W_fusion,7*F_fusion,6+b_fusion,7)，其中，第三卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第三卷积层的卷积步长为1，第三卷积层输入的通道数为m_fusion,7，第三卷积层输出的通道数为n_fusion,7，W_fusion,7表示第三卷积层的卷积核，W_fusion,7的维数为k_fusion,7×k_fusion,7，符号“*”为卷积操作符号，b_fusion,7表示维数为1×n_fusion,7的偏置项；第一反卷积层的输入是第三卷积层和第二卷积层的相加输出，记为F'_fusion,7＝F_fusion,7+F_fusion,2，将第一反卷积层的输出记为F_fusion,8，F_fusion,8＝A(W_fusion,8⊙F'_fusion,7+b_fusion,8)，其中，第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第一反卷积层的步长为2，第一反卷积层输入的通道数为m_fusion,8，第一反卷积层输出的通道数为n_fusion,8，W_fusion,8表示第一反卷积层的卷积核，W_fusion,8的维数为k_fusion,8×k_fusion,8，符号“⊙”为反卷积操作符号，b_fusion,8表示维数为1×n_fusion,8的偏置项；第四卷积层的输入是第一反卷积层和第一卷积层的相加输出，记为F'_fusion,8＝F_fusion,8+F_fusion,1，将第四卷积层的输出记为F_fusion,9，F_fusion,9＝S(W_fusion,9*F'_fusion,8+b_fusion,9)，其中，第四卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为m_fusion,9，第四卷积层输出的通道数为n_fusion,9，W_fusion,9表示第四卷积层的卷积核，W_fusion,9的维数为k_fusion,9×k_fusion,9，b_fusion,9表示维数为1×n_fusion,9的偏置项；

视点融合生成对抗网络中的融合判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，所述融合判别网络的输入为融合生成网络的输出结果和融合标签图像，该融合判别网络包括五层，依次为融合判别第一卷积层、融合判别第二卷积层、融合判别第三卷积层、融合判别第四卷积层、融合判别第五卷积层；具体来说，将输入图像记为F_{f_disc,0}，令w表示卷积层的索引号，w＝1,2,3,4,5，w＝1时代表融合判别第一卷积层，w＝2时代表融合判别第二卷积层，w＝3时代表融合判别第三卷积层，w＝4时代表融合判别第四卷积层，w＝5时代表融合判别第五卷积层，索引号为w的卷积层的输入为F_{f_disc,w-1}，将索引号为w的卷积层的输出记为F_{f_disc,w}，F_{f_disc,w}＝A(W_{f_disc,w}*F_{f_disc,w-1}+b_{f_disc,w})，其中，索引号为w的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为w＝1,2,3,4的卷积层的卷积步长为2，索引号为w＝5的卷积层的卷积步长为1，索引号为w的卷积层输入的通道数为m_{f_disc,w}，索引号为w的卷积层输出的通道数为n_{f_disc,w}，W_{f_disc,w}表示索引号为w的卷积层的卷积核，W_{f_disc,w}的维数为k_{f_disc,w}×k_{f_disc,w}，符号“*”为卷积操作符号，b_{f_disc,w}表示维数为1×n_{f_disc,w}的偏置项；

步骤二：选取个左右视点多曝光序列，假定训练和测试的左视点图像属于欠曝光，右视点图像属于过曝光，其中，在本实施例中取左右视点多曝光序列可以自行用立体相机拍摄，也可采用现有的多视点多曝m_exposure,2＝16光序列来构造，高质量的HDR图像采用软件photomatixPro6.1.1合成；然后将左视点欠曝光图像、右视点过曝光图像和对应的左视点过曝光图像构成曝光传递训练集；接着将曝光传递训练集中的左视点欠曝光图像记为F_content,0并作为输入，将右视点过曝光图像记为F_exposure,0并作为输入，将左视点过曝光图像作为标签图像，输入到构建好的视点曝光传递生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点过曝光图像，即R_rec,3；之后将左右视点多曝光序列中的左视点欠曝光图像、左视点过曝光图像和对应的高质量左视点HDR图像构成视点融合训练集；然后将视点融合训练集中的左视点过曝光图像记为R′_rec,3，即R_rec,3为R′_rec,3，并将左视点欠曝光图像F_content,0和左视点过曝光图像R′_rec,3作为输入，将高质量左视点HDR图像作为标签，输入到构建好的视点融合生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点HDR图像，记为I_{left_hdr}，即F_fusion,9为I_{left_hdr}，训练结束后得到了视点曝光传递生成对抗网络和视点融合生成对抗网络中的各卷积核和偏置项的最佳参数，即得到了训练好的级联生成对抗网络；

步骤三：选取一组左右视点不同曝光图像作为测试序列；然后将测试序列中的左视点欠曝光图像记为I_{test,left_under}，右视点过曝光图像记为I_{test,right_over}；接着将I_{test,left_under}和I_{test,right_over}作为输入，输入到训练好的级联生成对抗网络中，网络输出对应的左视点HDR图像，记为I_{test,left_hdr}。

在本实施例的步骤一中，取k_content,1＝3，m_content,1＝3，n_content,1＝16；k_content,2＝3，m_content,2＝16，n_content,2＝32；k_content,3＝3，m_content,3＝32，n_content,3＝32，D_content,3＝1；k_content,4＝3，m_content,4＝32，n_content,4＝32，D_content,4＝2；k_content,5＝3，m_content,5＝32，n_content,5＝32，D_content,5＝4；k_content,6＝3，m_content,6＝32，n_content,6＝32，D_content,6＝8；k_exposure,1＝3，m_exposure,1＝3，n_exposure,1＝16；k_exposure,2＝3，，n_exposure,2＝32；k_exposure,3＝3，m_exposure,3＝32，n_exposure,3＝32，D_exposure,3＝1；k_exposure,4＝3，m_exposure,4＝32，n_exposure,4＝32，D_exposure,4＝2；k_exposure,5＝3，m_exposure,5＝32，n_exposure,5＝32，D_exposure,5＝4；k_exposure,6＝3，m_exposure,6＝32，n_exposure,6＝32，D_exposure,6＝8；k_rec,1＝3，m_rec,1＝64，n_rec,1＝32；k_rec,2＝3，m_rec,2＝32，n_rec,2＝16；k_rec,3＝3，m_rec,3＝16，n_rec,3＝3；k_{t_disc,1}＝4，m_{t_disc,1}＝3，n_{t_disc,1}＝64；k_{t_disc,2}＝4，m_{t_disc,2}＝64，n_{t_disc,2}＝128；k_{t_disc,3}＝4，m_{t_disc,3}＝128，n_{t_disc,3}＝256；k_{t_disc,4}＝4，m_{t_disc,4}＝256，n_{t_disc,4}＝512；k_{t_disc,5}＝4，m_{t_disc,5}＝512，n_{t_disc,5}＝1。取k_fusion,1＝3，m_fusion,1＝3，n_fusion,1＝16；k_fusion,2＝3，m_fusion,2＝16，n_fusion,2＝32；k_fusion,3＝3，m_fusion,3＝32，n_fusion,3＝32，D_fusion,3＝1；k_fusion,4＝3，m_fusion,4＝32，n_fusion,4＝32，D_fusion,4＝2；k_fusion,5＝3，m_fusion,5＝32，n_fusion,5＝32，D_fusion,5＝4；k_fusion,6＝3，m_fusion,6＝32，n_fusion,6＝32，D_fusion,6＝8；k_fusion,7＝3，m_fusion,7＝32，n_fusion,7＝32；k_fusion,8＝3，m_fusion,8＝32，n_fusion,8＝16；k_fusion,9＝3，m_fusion,9＝16，n_fusion,9＝3；k_{f_disc,1}＝4，m_{f_disc,1}＝3，n_{f_disc,1}＝64；k_{f_disc,2}＝4，m_{f_disc,2}＝64，n_{f_disc,2}＝128；k_{f_disc,3}＝4，m_{f_disc,3}＝128，n_{f_disc,3}＝256；k_{f_disc,4}＝4，m_{f_disc,4}＝256，n_{f_disc,4}＝512；k_{f_disc,5}＝4，m_{f_disc,5}＝512，n_{f_disc,5}＝1；

为了进一步说明本发明方法的可行性和有效性，进行如下实验。

本发明方法采用TensorFlow框架实现。训练和测试采用的左右视点不同曝光图像来自Middlebury数据库，该数据库为每个场景提供了7个视点图像，并且每个视点包括三种照度和三种曝光，所以以视点间隔为1来选择左右视点图像，即将视点0作为左视点，视点1作为右视点，以此类推，将视点5作为左视点，视点6作为右视点，同时假定左视点图像属于欠曝光，右视点图像属于过曝光，共收集到540组图像，按照7:1:2的比率随机划分训练集，验证集和测试集，即训练集图像数目为378，验证集图像数目为54，测试集图像数目为108。为增加训练样本，将训练集中所有图像进行颜色通道转换和翻转，其中，颜色通道转换有6种组合，翻转包括水平，垂直以及水平垂直三种方向，因此共产生18种不同组合的增强方式，将所有图像裁剪为128×128的非重叠图像块。

视点曝光传递生成对抗网络和视点融合生成对抗网络的初始学习率均设置为10-4，并在完成一次训练后，以0.95的衰减系数衰减学习率。网络中的所有卷积核的参数和偏置项的初始值均采用均值为0、标准差为0.02的截断正态分布的随机值。

为稳定生成对抗网络的训练，采用最小二乘损失。此外，为保证生成图像的内容保持不变，视点曝光传递生成对抗网络中生成网络的损失分为两项，第一项为内容损失，包括结构相异性损失和由水平以及竖直梯度滤波器产生的高频细节损失；第二项为由判别网络产生的对抗损失，第一项的权重设置为10。视点融合生成对抗网络中生成网络的损失也分为两项，第一项为内容损失，其中，由于高动态范围图像的像素变换很大，很难利用网络学习精确的映射关系，所以计算色调映射后图像的损失，采用结构相异性损失，色调映射采用Gamma色调映射算子；第二项为由判别网络产生的对抗损失，第一项的权重设置为10。利用ADAM优化器训练网络。

为测试本发明方法的有效性和普适性，采用不同于训练样本的图像进行测试。使用的测试图像的基本信息如表1所示，图像分辨率均采样到1390×1110。

表1 测试图像信息

为了说明本发明方法的性能，采用PSNR、SSIM和FSIM三种图像质量客观评价方式来评价视点曝光传递生成对抗网络生成的图像质量，其中，PSNR衡量生成图像与参考图像的像素级差异，SSIM和FSIM从视觉感知角度出发，衡量生成图像与参考图像的结构差异和细节差异。对比算法一是本发明方法，二是将本发明方法去除判别网络，即基于卷积神经网络的立体HDR成像，简称为SHDRI_CNN。表2给出了对比结果，对所有测试图像的质量分数取均值显示。从表2所列的数据可以看出，采用本发明方法在PSNR和FSIM指标上均高于SHDRI_CNN，其中，本发明方法在PSNR值上提升了显著的3.3612dB，而在SSIM指标上接近SHDRI_CNN。

表2采用本发明方法与SHDRI_CNN在图像客观质量评价指标上的对比

图2和图3给出了视点曝光传递生成对抗网络的性能的主观对比。图2a给出了Laundry序列中的测试图像，图2b给出了SHDRI_CNN对图2a所示的图像进行处理得到的左视点过曝光图像，图2c给出了本发明方法对图2a所示的图像进行处理得到的左视点过曝光图像，图2d给出了标签图像，即GroundTruth；图3a给出了Moebius序列中的测试图像，图3b给出了SHDRI_CNN对图3a所示的图像进行处理得到的左视点过曝光图像，图3c给出了本发明方法对图3a所示的图像进行处理得到的左视点过曝光图像，图3d给出了标签图像，即GroundTruth；从图2a至图3d中可以看出，本发明方法得到的图像在亮度和细节上更接近标签图像，而SHDRI_CNN得到的图像在亮度上有偏差，如图2b窗户的周边区域，颜色偏灰，但在参考图像中由于过曝光导致颜色为纯白，此外，SHDRI_CNN得到的图像会有过多的细节增强效果，如图3b的右下方放大区域。

图4和图5给出了视点融合生成对抗网络的性能的主观对比。图4a给出Dolls序列中的测试图像，图4b给出了两图像融合得到的左视点HDR图像，图4c给出了本发明方法对图4a所示的图像进行处理得到的左视点HDR图像，图4d给出了标签图像；图5a给出了Art序列中的测试图像，图5b给出了两图像融合得到的左视点HDR图像，图5c给出了本发明方法对图5a所示的图像进行处理得到的左视点HDR图像，图5d给出了标签图像；从图4a至图5d中可以看出，本发明方法得到的图像在主观质量上更接近标签图像，且不存在由于视差导致的鬼影伪像，而两图像融合结果是直接采用单视点多曝光图像，虽然不存在鬼影伪像，但出现了明显的细节丢失和亮度失真现象，如图5b的左侧区域，这证明了本发明方法学习了低质量融合图像到高质量融合图像的转换过程。

本发明方法的创新性主要体现如下：传统的SHDRI方法是简单结合立体成像技术和HDRI技术，处理步骤较多，且容易产生误差累积问题，本发明方法通过曝光传递跳过了复杂的立体匹配和空洞填补处理，并利用HDR图像合成软件融合三幅不同曝光图像以产生高质量的标签图像，使视点融合生成对抗网络不仅执行左右视点不同曝光图像的融合任务，也执行低质量融合图像到高质量融合图像的转换任务。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于生成对抗网络的立体高动态范围成像方法，其特征在于，包括以下步骤：

步骤一：构建两个级联的生成对抗网络和立体高动态范围成像数据库；

a.构建立体高动态范围成像数据库，用以输入并存储标签图像，该立体高动态范围成像数据库包括多视点多曝光图像、曝光传递标签图像和融合标签图像，所述融合标签图像为三幅同一视点不同曝光的图像合成而来；

b.构建的第一级生成对抗网络为视点曝光传递生成对抗网络，该视点曝光传递生成对抗网络包括生成网络和判别网络，所述生成网络包括内容编码器、曝光编码器和重建解码器，其中：

所述内容编码器是通过卷积核对输入的左视点(或右视点)图像进行卷积提取出内容特征图；

所述曝光编码器是通过卷积核对输入的右视点(或左视点)图像进行卷积提取出曝光特征图；

所述重建解码器是通过卷积核对内容编码器和曝光编码器的输出的级联结果进行解码，重构输出与原始输入图像同尺寸的目标图像；

所述判别网络是通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该判别网络的输入为重建解码器的输出结果和曝光传递标签图像；

c.构建的第二级生成对抗网络为视点融合生成对抗网络，该视点融合生成对抗网络包括融合生成网络和融合判别网络，其中：

所述融合生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，该融合生成网络的输入为原始左视点(或右视点)图像和视点曝光传递生成对抗网络的输出的级联结果；

所述融合判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该融合判别网络的输入为融合生成网络的输出和融合标签图像。

步骤二：训练步骤一中构建的两个级联的生成对抗网络；

步骤三：测试步骤二中训练好的级联的生成对抗网络。

2.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，其特征在于，所述内容编码器由两层卷积层和四层扩张卷积层构成，依次是内容第一卷积层、内容第二卷积层、内容第一扩张卷积层、内容第二扩张卷积层、内容第三扩张卷积层、内容第四扩张卷积层,将输入左视点图像记为F_content,0，令i表示卷积层的索引号，i＝1,2，i＝1时代表内容第一卷积层，i＝2时代表内容第二卷积层，索引号为i的卷积层的输入为F_content,i-1，将索引号为i的卷积层的输出记为F_content,i，F_content,i＝A(W_content,i*F_content,i-1+b_content,i)，其中，索引号为i的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为i的卷积层的卷积步长为i，索引号为i的卷积层输入的通道数为m_content,i，索引号为i的卷积层输出的通道数为n_content,i，W_content,i表示索引号为i的卷积层的卷积核，W_content,i的维数为k_content,i×k_content,i，符号“*”为卷积操作符号，b_content,i表示维数为1×n_content,i的偏置项；内容第一扩张卷积层的输入是内容第二卷积层的输出，即F_content,2，令j表示扩张卷积层的索引号，j＝1,2,3,4，j＝1时代表内容第一扩张卷积层，j＝2时代表内容第二扩张卷积层，j＝3时代表内容第三扩张卷积层，j＝4时代表内容第四扩张卷积层，索引号为j的扩张卷积层的输入为F_content,j+1，将索引号为j的扩张卷积层的输出记为F_content,j+2，其中，索引号为j的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为j的扩张卷积层的卷积步长为1，索引号为j的扩张卷积层输入的通道数为m_content,j+2，索引号为j的扩张卷积层输出的通道数为n_content,j+2，W_content,j+2表示索引号为j的扩张卷积层的卷积核，扩张系数记为D_content,j+2，W_content,j+2的维数为k_content,j+2×k_content,j+2，符号为扩张卷积操作符号，b_content,j+2表示维数为1×n_content,j+2的偏置项；

所述曝光编码器由两层卷积层和四层扩张卷积层构成，依次为曝光第一卷积层、曝光第二卷积层、曝光第一扩张卷积层、曝光第二扩张卷积层、曝光第三扩张卷积层、曝光第四扩张卷积层,将输入右视点图像记为F_exposure,0，令p表示卷积层的索引号，p＝1,2，p＝1时代表曝光第一卷积层，p＝2时代表曝光第二卷积层，索引号为p的卷积层的输入为F_exposure,p-1，将索引号为p的卷积层的输出记为F_exposure,p，F_exposure,p＝A(W_exposure,p*F_exposure,p-1+b_exposure,p)，其中，索引号为p的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为p的卷积层的卷积步长为p，索引号为p的卷积层输入的通道数为m_exposure,p，索引号为p的卷积层输出的通道数为n_exposure,p，W_exposure,p表示索引号为p的卷积层的卷积核，W_exposure,p的维数为k_exposure,p×k_exposure,p，符号“*”为卷积操作符号，b_exposure,p表示维数为1×n_exposure,p的偏置项；曝光第一扩张卷积层的输入是曝光第二卷积层的输出，即F_exposure,2，令q表示扩张卷积层的索引号，q＝1,2,3,4，q＝1时代表曝光第一扩张卷积层，q＝2时代表曝光第二扩张卷积层，q＝3时代表曝光第三扩张卷积层，q＝4时代表曝光第四扩张卷积层，索引号为q的扩张卷积层的输入为F_exposure,q+1，将索引号为q的扩张卷积层的输出记为F_exposure,q+2，其中，索引号为q的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为q的扩张卷积层的卷积步长为1，索引号为q的扩张卷积层输入的通道数为m_exposure,q+2，索引号为q的扩张卷积层输出的通道数为n_exposure,q+2，W_exposure,q+2表示索引号为q的扩张卷积层的卷积核，扩张系数记为D_exposure,q+2，W_exposure,q+2的维数为k_exposure,q+2×k_exposure,q+2，符号为扩张卷积操作符号，b_exposure,q+2表示维数为1×n_exposure,q+2的偏置项；

所述重建解码器由两层卷积层和一层反卷积层构成，依次为重建第一卷积层、重建第一反卷积层、重建第二卷积层,重建第一卷积层的输入是内容编码器和曝光编码器中扩张卷积层的输出的级联结果，记为其中，concat[]表示级联算子，∑表示求和算子，l表示特征图索引，将重建第一卷积层的输出记为R_rec,1，R_rec,1＝A(W_rec,1*F_rec+b_rec,1)，其中，重建第一卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一卷积层的卷积步长为1，重建第一卷积层输入的通道数为m_rec,1，重建第一卷积层输出的通道数为n_rec,1，W_rec,1表示重建第一卷积层的卷积核，W_rec,1的维数为k_rec,1×k_rec,1，符号“*”为卷积操作符号，b_rec,1表示维数为1×n_rec,1的偏置项；重建第一反卷积层的输入是重建第一卷积层的输出，即R_rec,1，将重建第一反卷积层的输出记为R_rec,2，R_rec,2＝A(W_rec,2⊙R_rec,1+b_rec,2)，其中，重建第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一反卷积层的步长为2，重建第一反卷积层输入的通道数为m_rec,2，重建第一反卷积层输出的通道数为n_rec,2，W_rec,2表示重建第一反卷积层的卷积核，W_rec,2的维数为k_rec,2×k_rec,2，符号“⊙”为反卷积操作符号，b_rec,2表示维数为1×n_rec,2的偏置项；重建第二卷积层的输入是重建第一反卷积层，内容第一卷积层和曝光第一卷积层的相加输出，记为R'_rec,2＝R_rec,2+F_content,1+F_exposure,1，将重建第二卷积层的输出记为R_rec,3，R_rec,3＝S(W_rec,3*R'_rec,2+b_rec,3)，其中，重建第二卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，重建第二卷积层的卷积步长为1，重建第二卷积层输入的通道数为m_rec,3，重建第二卷积层输出的通道数为n_rec,3，W_rec,3表示重建第二卷积层的卷积核，W_rec,3的维数为k_rec,3×k_rec,3，b_rec,3表示维数为1×n_rec,3的偏置项；

所述判别网络是依次由判别第一卷积层、判别第二卷积层、判别第三卷积层、判别第四卷积层、判别第五卷积层构成,该判别网络的第一卷积层输入为重建解码器的输出结果和曝光传递标签图像，将输入图像记为F_{t_disc,0}，令h表示卷积层的索引号，h＝1,2,3,4,5，h＝1时代表判别第一卷积层，h＝2时代表判别第二卷积层，h＝3时代表判别第三卷积层，h＝4时代表判别第四卷积层，h＝5时代表判别第五卷积层，索引号为h的卷积层的输入为F_{t_disc,h-1}，将索引号为h的卷积层的输出记为F_{t_disc,h}，F_{t_disc,h}＝A(W_{t_disc,h}*F_{t_disc,h-1}+b_{t_disc,h})，其中，索引号为h的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为h＝1,2,3,4的卷积层的卷积步长为2，索引号为h＝5的卷积层的卷积步长为1，索引号为h的卷积层输入的通道数为m_{t_disc,h}，索引号为h的卷积层输出的通道数为n_{t_disc,h}，W_{t_disc,h}表示索引号为h的卷积层的卷积核，W_{t_disc,h}的维数为k_{t_disc,h}×k_{t_disc,h}，符号“*”为卷积操作符号，b_{t_disc,h}表示维数为1×n_{t_disc,h}的偏置项。

3.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，其特征在于，所述融合生成网络依次由第一卷积层、第二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第四扩张卷积层、第三卷积层、第一反卷积层、第四卷积层构成,视点融合生成对抗网络中的生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，第一卷积层的输入是原始左视点图像和视点曝光传递生成对抗网络的输出的级联结果，记为F_fusion,0＝concat[F_content,0,R_rec,3]，其中，concat[]表示级联算子，令s表示卷积层的索引号，s＝1,2，s＝1时代表第一卷积层，s＝2时代表第二卷积层，索引号为s的卷积层的输入为F_fusion,s-1，将索引号为s的卷积层的输出记为F_fusion,s，F_fusion,s＝A(W_fusion,s*F_fusion,s-1+b_fusion,s)，其中，索引号为s的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为s的卷积层的卷积步长为s，索引号为s的卷积层输入的通道数为m_fusion,s，索引号为s的卷积层输出的通道数为n_fusion,s，W_fusion,s表示索引号为s的卷积层的卷积核，W_fusion,s的维数为k_fusion,s×k_fusion,s，符号“*”为卷积操作符号，b_fusion,s表示维数为1×n_fusion,s的偏置项；第一扩张卷积层的输入是第二卷积层的输出，即F_fusion,2，令g表示扩张卷积层的索引号，g＝1,2,3,4，g＝1时代表第一扩张卷积层，g＝2时代表第二扩张卷积层，g＝3时代表第三扩张卷积层，g＝4时代表第四扩张卷积层，索引号为g的扩张卷积层的输入为F_fusion,g+1，将索引号为g的扩张卷积层的输出记为F_fusion,g+2，其中，索引号为g的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为g的扩张卷积层的卷积步长为1，索引号为g的扩张卷积层输入的通道数为m_fusion,g+2，索引号为g的扩张卷积层输出的通道数为n_fusion,g+2，W_fusion,g+2表示索引号为g的扩张卷积层的卷积核，扩张系数记为D_fusion,g+2，W_fusion,g+2的维数为k_fusion,g+2×k_fusion,g+2，符号为扩张卷积操作符号，b_fusion,g+2表示维数为1×n_fusion,g+2的偏置项；第三卷积层的输入是第四扩张卷积层的输出，即F_fusion,6，将第三卷积层的输出记为F_fusion,7，F_fusion,7＝A(W_fusion,7*F_fusion,6+b_fusion,7)，其中，第三卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第三卷积层的卷积步长为1，第三卷积层输入的通道数为m_fusion,7，第三卷积层输出的通道数为n_fusion,7，W_fusion,7表示第三卷积层的卷积核，W_fusion,7的维数为k_fusion,7×k_fusion,7，符号“*”为卷积操作符号，b_fusion,7表示维数为1×n_fusion,7的偏置项；第一反卷积层的输入是第三卷积层和第二卷积层的相加输出，记为F'_fusion,7＝F_fusion,7+F_fusion,2，将第一反卷积层的输出记为F_fusion,8，F_fusion,8＝A(W_fusion,8⊙F'_fusion,7+b_fusion,8)，其中，第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第一反卷积层的步长为2，第一反卷积层输入的通道数为m_fusion,8，第一反卷积层输出的通道数为n_fusion,8，W_fusion,8表示第一反卷积层的卷积核，W_fusion,8的维数为k_fusion,8×k_fusion,8，符号“⊙”为反卷积操作符号，b_fusion,8表示维数为1×n_fusion,8的偏置项；第四卷积层的输入是第一反卷积层和第一卷积层的相加输出，记为F'_fusion,8＝F_fusion,8+F_fusion,1，将第四卷积层的输出记为F_fusion,9，F_fusion,9＝S(W_fusion,9*F'_fusion,8+b_fusion,9)，其中，第四卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为m_fusion,9，第四卷积层输出的通道数为n_fusion,9，W_fusion,9表示第四卷积层的卷积核，W_fusion,9的维数为k_fusion,9×k_fusion,9，b_fusion,9表示维数为1×n_fusion,9的偏置项；

所述融合判别网络依次由融合判别第一卷积层、融合判别第二卷积层、融合判别第三卷积层、融合判别第四卷积层、融合判别第五卷积层组成，且该融合判别网络的输入为融合生成网络的输出和融合标签图像,视点融合生成对抗网络中的判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，将输入图像记为F_{f_disc,0}，令w表示卷积层的索引号，w＝1,2,3,4,5，w＝1时代表融合判别第一卷积层，w＝2时代表融合判别第二卷积层，w＝3时代表融合判别第三卷积层，w＝4时代表融合判别第四卷积层，w＝5时代表融合判别第五卷积层，索引号为w的卷积层的输入为F_{f_disc,w-1}，将索引号为w的卷积层的输出记为F_{f_disc,w}，F_{f_disc,w}＝A(W_{f_disc,w}*F_{f_disc,w-1}+b_{f_disc,w})，其中，索引号为w的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为w＝1,2,3,4的卷积层的卷积步长为2，索引号为w＝5的卷积层的卷积步长为1，索引号为w的卷积层输入的通道数为m_{f_disc,w}，索引号为w的卷积层输出的通道数为n_{f_disc,w}，W_{f_disc,w}表示索引号为w的卷积层的卷积核，W_{f_disc,w}的维数为k_{f_disc,w}×k_{f_disc,w}，符号“*”为卷积操作符号，b_{f_disc,w}表示维数为1×n_{f_disc,w}的偏置项。

4.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，其特征在于，所述步骤二中具体的训练方法如下：

选取个左右视点多曝光序列，假定训练和测试的左视点图像属于欠曝光，右视点图像属于过曝光，其中，然后将左视点欠曝光图像、右视点过曝光图像和对应的左视点过曝光图像构成曝光传递训练集；接着将曝光传递训练集中的左视点欠曝光图像记为F_content,0并作为输入，将右视点过曝光图像记为F_exposure,0并作为输入，将左视点过曝光图像作为标签图像，输入到构建好的视点曝光传递生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点过曝光图像，即R_rec,3；之后将左右视点多曝光序列中的左视点欠曝光图像、左视点过曝光图像和对应的高质量左视点HDR图像构成视点融合训练集；然后将视点融合训练集中的左视点过曝光图像记为R′_rec,3，即R_rec,3为R′_rec,3，并将左视点欠曝光图像F_content,0和左视点过曝光图像R′_rec,3作为输入，将高质量左视点HDR图像作为标签，输入到构建好的视点融合生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点HDR图像，记为I_{left_hdr}，即F_fusion,9为I_{left_hdr}，训练结束后得到了视点曝光传递生成对抗网络和视点融合生成对抗网络中的各卷积核和偏置项的最佳参数，即得到了训练好的级联生成对抗网络。

5.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，所述步骤三中具体的测试方法如下：

选取一组左右视点不同曝光图像作为测试序列；然后将测试序列中的左视点欠曝光图像记为I_{test,left_under}，右视点过曝光图像记为I_{test,right_over}；接着将I_{test,left_under}和I_{test,right_over}作为输入，输入到训练好的级联生成对抗网络中，网络输出对应的左视点HDR图像，记为I_{test,left_hdr}。