CN110910336A - 一种基于全卷积神经网络的立体高动态范围成像方法 - Google Patents

一种基于全卷积神经网络的立体高动态范围成像方法 Download PDF

Info

Publication number
CN110910336A
CN110910336A CN201911044976.8A CN201911044976A CN110910336A CN 110910336 A CN110910336 A CN 110910336A CN 201911044976 A CN201911044976 A CN 201911044976A CN 110910336 A CN110910336 A CN 110910336A
Authority
CN
China
Prior art keywords
image
layer
residual block
convolution
feature maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911044976.8A
Other languages
English (en)
Other versions
CN110910336B (zh
Inventor
陈晔曜
郁梅
蒋刚毅
彭宗举
陈芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Chuangguan Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201911044976.8A priority Critical patent/CN110910336B/zh
Publication of CN110910336A publication Critical patent/CN110910336A/zh
Application granted granted Critical
Publication of CN110910336B publication Critical patent/CN110910336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于全卷积神经网络的立体高动态范围成像方法，其利用曝光校准网络将左视点欠曝光图像和右视点过曝光图像转换到同一曝光下；基于估计的视差图，分别对左视点欠曝光图像和右视点过曝光图像执行前向绘制产生绘制右视点欠曝光图像和绘制左视点过曝光图像；引入额外曝光信息来指导绘制产生的图像中的空洞填补；利用HDR图像融合网络提取融合特征，将空洞填补后的左视点过曝光图像与原始左视点欠曝光图像融合为左视点HDR图像，并将空洞填补后的右视点欠曝光图像与原始右视点过曝光图像融合为右视点HDR图像；进而得到立体HDR图像；优点是能提高原始立体LDR图像的动态范围，并能重建出在原始立体LDR图像的曝光不足和曝光过度区域的细节信息。

Description

一种基于全卷积神经网络的立体高动态范围成像方法
技术领域
本发明涉及一种立体高动态范围成像方法，尤其是涉及一种基于全卷积神经网络的立体高动态范围成像方法。
背景技术
随着三维(Three-dimensional，3D)成像技术和显示设备的快速发展，越来越多的立体图像进入了人们的生活，包括3D电影、3D游戏等等。但是，现有的大部分立体相机(立体LDR相机)只能捕获自然场景的有限动态范围(如常见的8bit图像，其动态范围小于3个数量级)，这不可避免地造成了捕获的立体图像会在局部出现曝光不足或曝光过度的现象。通过融合一系列根据不同曝光量捕获的低动态范围(Low dynamic range，LDR)图像来重建自然场景的动态范围的高动态范围(High dynamic range，HDR)成像技术能够有效解决这个问题。将HDR成像技术与立体相机进行结合，称为立体高动态范围成像(Stereo HDR imaging，SHDRI)，其可以为用户提供更高质量的双目体验。
现有的SHDRI方法可以分为两类。第一类方法是采用立体相机捕获立体LDR图像，然后利用后期算法生成立体HDR图像。第二类方法是采用LDR-HDR相机对(即LDR相机和HDR相机)分别捕获LDR图像和HDR图像，再基于捕获的HDR图像的内容来扩展捕获的LDR图像的动态范围。由于HDR相机需要配备特定的光学系统或图像传感器，所以通常是需要定制的，然而目前消费级的HDR相机并不多见，因此第一类方法是当前最合适的SHDRI方法。Lin等人提出了基于立体相机的SHDRI框架，也是目前通用的SHDRI框架，其主要包括以下步骤：相机响应函数(Camera response function，CRF)估计，立体匹配，图像绘制，空洞填补，以及HDR图像融合，该方法的核心是利用尺度不变特征变换(Scale-invariant featuretransform，SIFT)算子来提取立体图像的匹配点以用于CRF估计，然后依据CRF将输入的立体图像校准到相同曝光下，以适应立体匹配。类似地，Park等人采用基于累积分布函数的方法提取匹配点来估计CRF，克服了SIFT算子无法保证提取到全局强度匹配点的缺点。
Figure BDA0002253894040000021
等人则直接假定CRF是事先通过单相机多次曝光获得的。上述几种方法，由于立体相机中的传感器的饱和，因此基于CRF的曝光校准会引入量化失真而导致校准后的立体图像出现颜色伪像，特别是在立体图像的欠曝光和过曝光区域，这进而会降低后续立体匹配的性能；由于SHDRI中的图像绘制属于单向绘制，所以会在图像左边界(右视点图像绘制到左视点)或者右边界(左视点图像绘制到右视点)产生大量空洞，而这些空洞很难通过传统方法来有效填补。此外，
Figure BDA0002253894040000022
等人和Park等人的方法在生成立体HDR图像时，仅通过设置亮度阈值以构造融合权重图，容易导致生成的立体HDR图像出现细节丢失和颜色失真等现象。Chen等人观察到SHDRI的本质是利用立体多曝光图像来分别生成左视点多曝光图像和右视点多曝光图像，因此提出了一种基于生成对抗网络(generative adversarial networks，GAN)的视点曝光传递方法，取得了较好的效果，但是该方法在本质上没有考虑立体图像的视差，所以对于一些挑战性场景，会引入模糊和鬼影伪像。
虽然目前的相关研究已经取得了较好的SHDRI效果，但是在提高生成图像的细节问题上仍存在一定的不足。
发明内容
本发明所要解决的技术问题是提供一种基于全卷积神经网络的立体高动态范围成像方法，其能够根据利用不同曝光参数捕获得到的立体LDR图像生成立体HDR图像，有效地提高了立体LDR图像的动态范围，并能够重建出在原始立体LDR图像的曝光不足和曝光过度区域的细节信息。
本发明解决上述技术问题所采用的技术方案为：一种基于全卷积神经网络的立体高动态范围成像方法，其特征在于包括以下步骤：
步骤一：构建三个全卷积神经网络，分别为曝光校准网络、空洞填补网络、HDR图像融合网络；
1)曝光校准网络的构建过程为：
曝光校准网络包括用于在图像空间压缩和编码图像的第一编码器、用于进一步提取图像的高水平特征并防止梯度弥散和梯度爆炸问题的第一残差块组、用于重建目标图像的第一解码器三部分；
第一编码器由依次连接的第一卷积层、第二卷积层和第三卷积层组成，第一卷积层的输入端接收一幅三通道的宽度为W且高度为H的第一彩色图像，第一卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FcE,1；第二卷积层的输入端接收FcE,1中的所有特征图，第二卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000031
且高度为
Figure BDA0002253894040000032
的特征图，将输出的所有特征图构成的集合记为FcE,2；第三卷积层的输入端接收FcE,2中的所有特征图，第三卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000033
且高度为
Figure BDA0002253894040000034
的特征图，将输出的所有特征图构成的集合记为FcE,3；其中，第一卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第三卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第一卷积层、第二卷积层和第三卷积层的激活函数均为“ReLU”；
第一残差块组由依次连接的第一残差块、第二残差块、第三残差块和第四残差块组成，第一残差块的输入端接收FcE3中的所有特征图，第一残差块的输出端输出128幅宽度为
Figure BDA0002253894040000035
且高度为
Figure BDA0002253894040000036
的特征图，将输出的所有特征图构成的集合记为FcR,1；第二残差块的输入端接收FcR,1中的所有特征图，第二残差块的输出端输出128幅宽度为
Figure BDA0002253894040000037
且高度为
Figure BDA0002253894040000038
的特征图，将输出的所有特征图构成的集合记为FcR,2；第三残差块的输入端接收FcR,2中的所有特征图，第三残差块的输出端输出128幅宽度为
Figure BDA0002253894040000039
且高度为
Figure BDA00022538940400000310
的特征图，将输出的所有特征图构成的集合记为FcR,3；第四残差块的输入端接收FcR,3中的所有特征图，第四残差块的输出端输出128幅宽度为
Figure BDA00022538940400000311
且高度为
Figure BDA00022538940400000312
的特征图，将输出的所有特征图构成的集合记为FcR,4；
第一解码器由依次连接的第一反卷积层、第二反卷积层和第四卷积层组成，第一反卷积层的输入端接收FcR,4中的所有特征图，第一反卷积层的输出端输出64幅宽度为
Figure BDA00022538940400000313
且高度为
Figure BDA0002253894040000041
的特征图，将输出的所有特征图构成的集合记为FcD,1；第二反卷积层的输入端接收FcD,1中的所有特征图，第二反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FcD,2；第四卷积层的输入端接收FcD,2中的所有特征图，第四卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第一反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为128、输出通道数为64，第二反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第一反卷积层、第二反卷积层的激活函数均为“ReLU”，第四卷积层的激活函数为“Tanh”；
2)空洞填补网络的构建过程为：
空洞填补网络包括用于提取图像的曝光信息的额外曝光信息编码器、用于提取图像的邻域信息的邻域信息编码器、用于整合额外曝光信息编码器和邻域信息编码器的输出并重建目标图像的第二解码器三部分；
额外曝光信息编码器由依次连接的第七卷积层、第八卷积层和第九卷积层组成，第七卷积层的输入端接收一幅三通道的宽度为W且高度为H的第二彩色图像，第七卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhE,1；第八卷积层的输入端接收FhE,1中的所有特征图，第八卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000042
且高度为
Figure BDA0002253894040000043
的特征图，将输出的所有特征图构成的集合记为FhE,2；第九卷积层的输入端接收FhE,2中的所有特征图，第九卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000044
且高度为
Figure BDA0002253894040000045
的特征图，将输出的所有特征图构成的集合记为FhE,3；其中，第七卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第八卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第九卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第七卷积层、第八卷积层和第九卷积层的激活函数均为“ReLU”；
邻域信息编码器由依次连接的第十卷积层、第十一卷积层和第十二卷积层组成，第十卷积层的输入端接收一幅三通道的宽度为W且高度为H的第三彩色图像，第十卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhN,1；第十一卷积层的输入端接收FhN,1中的所有特征图，第十一卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000051
且高度为
Figure BDA0002253894040000052
的特征图，将输出的所有特征图构成的集合记为FhN,2；第十二卷积层的输入端接收FhN,2中的所有特征图，第十二卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000053
且高度为
Figure BDA0002253894040000054
的特征图，将输出的所有特征图构成的集合记为FhN,3；其中，第十卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第十一卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第十卷积层、第十一卷积层和第十二卷积层的激活函数均为“ReLU”；
第二解码器由依次连接的第一级联层、第三反卷积层、第四反卷积层和第十三卷积层组成，第一级联层的输入端接收FhE,3中的所有特征图和FhN,3中的所有特征图，第一级联层对FhE,3中的所有特征图和FhN,3中的所有特征图在特征图数目维度进行级联，第一级联层的输出端输出256幅宽度为
Figure BDA0002253894040000055
且高度为
Figure BDA0002253894040000056
的特征图，将输出的所有特征图构成的集合记为FhD,1；第三反卷积层的输入端接收FhD,1中的所有特征图，第三反卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000057
且高度为
Figure BDA0002253894040000058
的特征图，将输出的所有特征图构成的集合记为FhD,2；第四反卷积层的输入端接收FhD,2中的所有特征图，第四反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhD,3；第十三卷积层的输入端接收FhD,3中的所有特征图，第十三卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第三反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为256、输出通道数为64，第四反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十三卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第三反卷积层、第四反卷积层的激活函数均为“ReLU”，第十三卷积层的激活函数为“Tanh”；
3)HDR图像融合网络的构建过程为：
HDR图像融合网络包括用于提取图像的融合特征的第二编码器、用于进一步提取图像的高水平融合特征并防止梯度弥散和梯度爆炸问题的第二残差块组、用于重建目标图像的第三解码器三部分；
第二编码器由依次连接的第二级联层、第十四卷积层和第十五卷积层组成，第二级联层的输入端接收四幅三通道的宽度为W且高度为H的彩色图像，分别为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像，第二级联层对四幅彩色图像在图像数目维度进行级联，第二级联层的输出端输出12幅宽度为W且高度为H的图像，将输出的所有图像构成的集合记为FhdrE,1；第十四卷积层的输入端接收FhdrE,1中的所有图像，第十四卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhdrE,2；第十五卷积层的输入端接收FhdrE,2中的所有特征图，第十五卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000061
且高度为
Figure BDA0002253894040000062
的特征图，将输出的所有特征图构成的集合记为FhdrE,3；其中，第十四卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为12、输出通道数为32，第十五卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十四卷积层、第十五卷积层的激活函数均为“ReLU”；
第二残差块组由依次连接的第五残差块、第六残差块、第七残差块和第八残差块组成，第五残差块的输入端接收FhdrE,3中的所有特征图，第五残差块的输出端输出64幅宽度为
Figure BDA0002253894040000063
且高度为
Figure BDA0002253894040000064
的特征图，将输出的所有特征图构成的集合记为FhdrR,1；第六残差块的输入端接收FhdrR1中的所有特征图，第六残差块的输出端输出64幅宽度为
Figure BDA0002253894040000065
且高度为
Figure BDA0002253894040000066
的特征图，将输出的所有特征图构成的集合记为FhdrR,2；第七残差块的输入端接收FhdrR,2中的所有特征图，第七残差块的输出端输出64幅宽度为
Figure BDA0002253894040000067
且高度为
Figure BDA0002253894040000068
的特征图，将输出的所有特征图构成的集合记为FhdrR,3；第八残差块的输入端接收FhdrR,3中的所有特征图，第八残差块的输出端输出64幅宽度为
Figure BDA0002253894040000069
且高度为
Figure BDA00022538940400000610
的特征图，将输出的所有特征图构成的集合记为FhdrR,4；
第三解码器由依次连接的第五反卷积层和第十六卷积层组成，第五反卷积层的输入端接收FhdrR,4中的所有特征图，第五反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhdrD,1；第十六卷积层的输入端接收FhdrD,1中的所有特征图，第十六卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第五反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十六卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第五反卷积层的激活函数均为“ReLU”，第十六卷积层的激活函数为“Sigmoid”；
步骤二：选取Num组左视点多曝光图像和对应的Num幅高质量参考左视点高动态范围图像，以及对应于左视点多曝光图像的Num组右视点多曝光图像和对应的Num幅高质量参考右视点高动态范围图像，每组左视点多曝光图像包括左视点欠曝光图像、左视点过曝光图像和左视点正常曝光图像，每组右视点多曝光图像包括右视点欠曝光图像、右视点过曝光图像和右视点正常曝光图像；其中，Num＞1，上述各幅图像的宽度为W且高度为H；
步骤三：将每幅左视点正常曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅左视点欠曝光图像对应的重建左视点正常曝光图像；然后将每幅右视点正常曝光图像作为标签图像，并将对应的右视点过曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅右视点过曝光图像对应的重建右视点正常曝光图像；训练结束后得到曝光校准网络中的各卷积核和偏置项的最佳参数，即得到训练有素的曝光校准网络模型；
步骤四：对每幅重建左视点正常曝光图像和对应的重建右视点正常曝光图像进行立体匹配，得到每幅重建左视点正常曝光图像的左视点视差图、每幅重建右视点正常曝光图像的右视点视差图；然后根据每幅重建左视点正常曝光图像的左视点视差图，对对应的左视点欠曝光图像进行前向绘制，得到对应的绘制右视点欠曝光图像；并根据每幅重建右视点正常曝光图像的右视点视差图，对对应的右视点过曝光图像进行前向绘制，得到对应的绘制左视点过曝光图像；
步骤五：将每幅左视点过曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第二彩色图像、将对应的绘制左视点过曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建左视点过曝光图像；然后将每幅右视点欠曝光图像作为标签图像，并将对应的右视点过曝光图像作为第二彩色图像、将对应的绘制右视点欠曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建右视点欠曝光图像；训练结束后得到空洞填补网络中的各卷积核和偏置项的最佳参数，即得到训练有素的空洞填补网络模型；
步骤六：基于相机响应函数和曝光值，将每幅左视点欠曝光图像转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅左视点过曝光图像转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像；
或基于相机响应函数和曝光值，将每幅右视点欠曝光图像转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅右视点过曝光图像转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像；
步骤七：将每幅高质量参考左视点高动态范围图像作为标签图像，并将左视点对应的第一初始高动态范围图像、左视点对应的第二初始高动态范围图像、左视点欠曝光图像、左视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型；
或将每幅高质量参考右视点高动态范围图像作为标签图像，并将右视点对应的第一初始高动态范围图像、右视点对应的第二初始高动态范围图像、右视点欠曝光图像、右视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型；
步骤八：选取一组具有不同曝光水平的立体图像作为测试图像，将测试图像中的左视点欠曝光图像记为Itest,left_under，将测试图像中的右视点过曝光图像记为Itest,right_over；
步骤九：将Itest,left_under作为第一彩色图像输入到曝光校准网络模型中，测试得到重建左视点正常曝光图像，记为Irec-left_normal；然后将Itest,right_over作为第一彩色图像输入到曝光校准网络模型中，测试得到重建右视点正常曝光图像，记为Irec-right_normal；
步骤十：对Irec-left_normal和Irec-right_normal进行立体匹配，得到Irec-left_normal的左视点视差图、Irec-right_normal的右视点视差图；然后根据Irec-left_normal的左视点视差图，对Itest,left_under进行前向绘制，得到绘制右视点欠曝光图像，记为Iinit-right_under；并根据Irec-right_normal的右视点视差图，对Itest,right_over进行前向绘制，得到绘制左视点过曝光图像，记为Iinit-left_over；
步骤十一：将Itest,left_under作为第二彩色图像、将Iinit-left_over作为第三彩色图像输入到空洞填补网络模型中，测试得到重建左视点过曝光图像，记为Irec-left_over；然后将Itest,right_over作为第二彩色图像、将Iinit-right_under作为第三彩色图像输入到空洞填补网络模型中，测试得到重建右视点欠曝光图像，记为Irec-right_under；
步骤十二：基于相机响应函数和曝光值，将Itest,left_under转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像，记为I1,left_init-hdr；同样，基于相机响应函数和曝光值，将Irec-left_over转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像，记为I2,left_init-hdr；然后将I1,left_init-hdr、I2,left_init-hdr、Itest,left_under、Irec-left_over对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到左视点对应的重建高动态范围图像，记为Irec-left_hdr；
基于相机响应函数和曝光值，将Irec-right_under转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像，记为I1,right_init-hdr；同样，基于相机响应函数和曝光值，将Itest,right_over转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像，记为I2,right_init-hdr；然后将I1,right_init-hdr、I2,right_init-hdr、Irec-right_under、Itest,right_over对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到右视点对应的重建高动态范围图像，记为Irec-right_hdr；
将Irec-left_hdr和Irec-right_hdr组成立体高动态范围图像。
所述的步骤一中，第一残差块、第二残差块、第三残差块和第四残差块的结构相同，其均由依次连接的第五卷积层和第六卷积层组成，第一残差块中的第五卷积层的输入端接收FcE,3中的所有特征图，第一残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000101
且高度为
Figure BDA0002253894040000102
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000103
第一残差块中的第六卷积层的输入端接收
Figure BDA0002253894040000104
中的所有特征图，第一残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000105
且高度为
Figure BDA0002253894040000106
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000107
将FcE,3中的所有特征图与
Figure BDA0002253894040000108
中的所有特征图相加后得到的所有特征图作为第一残差块的输出端输出的特征图，构成的集合即为FcR,1；第二残差块中的第五卷积层的输入端接收FcR,1中的所有特征图，第二残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000109
且高度为
Figure BDA00022538940400001010
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001011
第二残差块中的第六卷积层的输入端接收
Figure BDA00022538940400001012
中的所有特征图，第二残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA00022538940400001013
且高度为
Figure BDA00022538940400001014
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001015
将FcR,1中的所有特征图与
Figure BDA00022538940400001016
中的所有特征图相加后得到的所有特征图作为第二残差块的输出端输出的特征图，构成的集合即为FcR,2；第三残差块中的第五卷积层的输入端接收FcR,2中的所有特征图，第三残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA00022538940400001017
且高度为
Figure BDA00022538940400001018
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001019
第三残差块中的第六卷积层的输入端接收
Figure BDA00022538940400001020
中的所有特征图，第三残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA00022538940400001021
且高度为
Figure BDA00022538940400001022
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001023
将FcR,2中的所有特征图与
Figure BDA00022538940400001024
中的所有特征图相加后得到的所有特征图作为第三残差块的输出端输出的特征图，构成的集合即为FcR,3；第四残差块中的第五卷积层的输入端接收FcR,3中的所有特征图，第四残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA00022538940400001025
且高度为
Figure BDA00022538940400001026
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001027
第四残差块中的第六卷积层的输入端接收
Figure BDA0002253894040000111
中的所有特征图，第四残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000112
且高度为
Figure BDA0002253894040000113
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000114
将FcR,3中的所有特征图与
Figure BDA0002253894040000115
中的所有特征图相加后得到的所有特征图作为第四残差块的输出端输出的特征图，构成的集合即为FcR,4；其中，第五卷积层和第六卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为128、输出通道数均为128，第五卷积层和第六卷积层的激活函数均为“ReLU”。
所述的步骤一中，第五残差块、第六残差块、第七残差块和第八残差块的结构相同，其均由依次连接的第十七卷积层和第十八卷积层组成，第五残差块中的第十七卷积层的输入端接收FhdrE,3中的所有特征图，第五残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000116
且高度为
Figure BDA0002253894040000117
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000118
第五残差块中的第十八卷积层的输入端接收
Figure BDA0002253894040000119
中的所有特征图，第五残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA00022538940400001110
且高度为
Figure BDA00022538940400001111
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001112
将FhdrE,3中的所有特征图与
Figure BDA00022538940400001113
中的所有特征图相加后得到的所有特征图作为第五残差块的输出端输出的特征图，构成的集合即为FhdrR,1；第六残差块中的第十七卷积层的输入端接收FhdrR,1中的所有特征图，第六残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA00022538940400001114
且高度为
Figure BDA00022538940400001115
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001116
第六残差块中的第十八卷积层的输入端接收
Figure BDA00022538940400001117
中的所有特征图，第六残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA00022538940400001118
且高度为
Figure BDA00022538940400001119
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001120
将FhdrR,1中的所有特征图与
Figure BDA00022538940400001121
中的所有特征图相加后得到的所有特征图作为第六残差块的输出端输出的特征图，构成的集合即为FhdrR,2；第七残差块中的第十七卷积层的输入端接收FhdrR,2中的所有特征图，第七残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA00022538940400001122
且高度为
Figure BDA00022538940400001123
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000121
第七残差块中的第十八卷积层的输入端接收
Figure BDA0002253894040000122
中的所有特征图，第七残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000123
且高度为
Figure BDA0002253894040000124
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000125
将FhdrR,2中的所有特征图与
Figure BDA0002253894040000126
中的所有特征图相加后得到的所有特征图作为第七残差块的输出端输出的特征图，构成的集合即为FhdrR,3；第八残差块中的第十七卷积层的输入端接收FhdrR,3中的所有特征图，第八残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000127
且高度为
Figure BDA0002253894040000128
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000129
第八残差块中的第十八卷积层的输入端接收
Figure BDA00022538940400001210
中的所有特征图，第八残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA00022538940400001211
且高度为
Figure BDA00022538940400001212
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001213
将FhdrR,3中的所有特征图与
Figure BDA00022538940400001214
中的所有特征图相加后得到的所有特征图作为第八残差块的输出端输出的特征图，构成的集合即为FhdrR,4；其中，第十七卷积层和第十八卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64，第十七卷积层和第十八卷积层的激活函数均为“ReLU”。
与现有技术相比，本发明的优点在于：
1)本发明方法考虑到相机传感器的动态范围限制会导致拍摄的图像出现信息丢失现象，所以基于CRF的曝光校准容易产生颜色失真，并且，它很难保证曝光校准后的立体图像在亮度和颜色属性上保持一致，这进而会降低后续立体匹配的性能，因此本发明方法采用全卷积神经网络即曝光校准网络来端到端学习不同曝光图像间的曝光转换，能够有效地将立体多曝光图像校准到同一曝光水平下，并恢复立体图像在曝光不足和曝光过度区域的一些信息。
2)本发明方法考虑到现有的SHDRI中的空洞填补方法都是从绘制图像的邻域寻找可靠的纹理信息来填补空洞，其适用于空洞出现在绘制图像内部或接近内部的情况，但是由单向绘制产生的大空洞主要出现在绘制图像的左(或右)边界，这导致现有的SHDRI中的空洞填补方法往往会产生较差的结果，因此本发明方法在空洞填补网络中引入额外曝光信息来指导空洞填补，即构造了一个联合额外曝光信息的空洞填补网络来解决现有方法存在的问题。
3)本发明方法考虑到基于亮度阈值的融合规则没有充分利用多曝光图像的信息，会导致融合的HDR图像出现细节丢失和颜色失真等问题，此外，为使融合的HDR图像的动态范围尽可能接近自然场景，左右相机的曝光间距一般设置很大，这会导致融合图像出现颜色和亮度伪像，所以本发明方法利用更多幅不同曝光的LDR图像来生成高质量参考HDR图像，以迫使HDR图像融合网络在完成HDR图像融合的过程中，执行图像增强任务，能够有效提高生成的HDR图像的整体对比度和细节保真度。
附图说明
图1为本发明方法的总体实现流程框图；
图2为本发明方法中构建的曝光校准网络的组成结构示意图；
图3为本发明方法中构建的空洞填补网络的组成结构示意图；
图4为本发明方法中构建的HDR图像融合网络的组成结构示意图；
图5a为Art场景中的左视点欠曝光图像；
图5b为采用CRF对图5a所示的图像进行处理得到的重建左视点正常曝光图像；
图5c为采用本发明方法对图5a所示的图像进行处理得到的重建左视点正常曝光图像；
图5d为图5a所示的图像对应的参考左视点正常曝光图像；
图5e为Art场景中的右视点过曝光图像；
图5f为采用CRF对图5e所示的图像进行处理得到的重建右视点正常曝光图像；
图5g为采用本发明方法对图5e所示的图像进行处理得到的重建右视点正常曝光图像；
图5h为图5e所示的图像对应的参考右视点正常曝光图像；
图5i为对图5a和图5e进行立体匹配得到的右视点视差图；
图5j为对图5b和图5f进行立体匹配得到的右视点视差图；
图5k为对图5c和图5g进行立体匹配得到的右视点视差图；
图5l为对图5d和图5h进行立体匹配得到的参考右视点视差图；
图6a为Chen提出的方法对Baby1场景中对应图像进行视点曝光传递得到的左视点过曝光图像；
图6b为图6a中放大框区域图像；
图6c为本发明方法对Baby1场景中的绘制左视点过曝光图像进行处理得到的重建左视点过曝光图像；
图6d为图6c中放大框区域图像；
图6e为对应的参考左视点过曝光图像；
图6f为图6e中放大框区域图像；
图7a为Art场景中输入的欠曝光图像；
图7b为Art场景中输入的过曝光图像；
图7c为HDR图像处理软件Photomatrix对图7a和图7b所示的图像进行融合处理得到的HDR图像；
图7d为Chen提出的方法对图7a和图7b所示的图像进行融合处理得到的HDR图像；
图7e为本发明方法对图7a和图7b所示的图像进行融合处理得到的HDR图像；
图7f为对应的高质量参考HDR图像；
图8a为Bowling1场景中输入的左视点欠曝光图像；
图8b为Bowling1场景中输入的右视点过曝光图像；
图8c为Chen提出的方法对图8a和图8b所示的图像进行处理得到的左视点HDR图像；
图8d为本发明方法对图8a和图8b所示的图像进行处理得到的左视点HDR图像；
图8e为对应的高质量参考左视点HDR图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
3D成像技术的发展，使得用户能够观看具有深度感知信息的图像/视频内容，这很大程度上提高了用户对多媒体内容的体验质量。但是现有的消费级立体相机往往只能捕获动态范围小于3个数量级的左视点图像和右视点图像，这会导致拍摄的图像在场景较亮或较暗的区域丢失内容，因此，在立体成像中引入高动态范围成像技术，能够有效提高拍摄的立体图像的主观视觉质量，针对此，本发明提出了一种基于全卷积神经网络的立体高动态范围成像方法，其首先利用曝光校准网络来将立体多曝光图像，即左视点欠曝光图像和右视点过曝光图像，转换到同一曝光下，以提高后续立体匹配的性能；然后基于估计的左视点视差图和右视点视差图，分别对左视点欠曝光图像和右视点过曝光图像执行前向绘制以产生绘制右视点欠曝光图像和绘制左视点过曝光图像；之后，引入额外曝光信息来指导绘制产生的图像中的空洞填补；最后，利用HDR图像融合网络提取融合特征，以将空洞填补后的左视点过曝光图像与原始输入的左视点欠曝光图像融合为左视点HDR图像，类似地，将空洞填补后的右视点欠曝光图像与原始输入的右视点过曝光图像融合为右视点HDR图像，以组成立体HDR图像。
本发明提出的一种基于全卷积神经网络的立体高动态范围成像方法，其总体实现流程框图如图1所示，其包括以下步骤：
步骤一：构建三个全卷积神经网络，分别为曝光校准网络、空洞填补网络、HDR图像融合网络。
1)曝光校准网络的构建过程为：
如图2所示，曝光校准网络包括用于在图像空间压缩和编码图像的第一编码器、用于进一步提取图像的高水平特征并防止梯度弥散和梯度爆炸问题的第一残差块组、用于重建目标图像的第一解码器三部分。
第一编码器由依次连接的第一卷积层、第二卷积层和第三卷积层组成，第一卷积层的输入端接收一幅三通道的宽度为W且高度为H的第一彩色图像，第一卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FcE,1；第二卷积层的输入端接收FcE,1中的所有特征图，第二卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000151
且高度为
Figure BDA0002253894040000152
的特征图，将输出的所有特征图构成的集合记为FcE,2；第三卷积层的输入端接收FcE,2中的所有特征图，第三卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000153
且高度为
Figure BDA0002253894040000154
的特征图，将输出的所有特征图构成的集合记为FcE,3；其中，第一卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第三卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第一卷积层、第二卷积层和第三卷积层的激活函数均为“ReLU”(修正线性单元，Rectified Linear Unit)。
第一残差块组由依次连接的第一残差块、第二残差块、第三残差块和第四残差块组成，第一残差块的输入端接收FcE,3中的所有特征图，第一残差块的输出端输出128幅宽度为
Figure BDA0002253894040000161
且高度为
Figure BDA0002253894040000162
的特征图，将输出的所有特征图构成的集合记为FcR,1；第二残差块的输入端接收FcR,1中的所有特征图，第二残差块的输出端输出128幅宽度为
Figure BDA0002253894040000163
且高度为
Figure BDA0002253894040000164
的特征图，将输出的所有特征图构成的集合记为FcR,2；第三残差块的输入端接收FcR,2中的所有特征图，第三残差块的输出端输出128幅宽度为
Figure BDA0002253894040000165
且高度为
Figure BDA0002253894040000166
的特征图，将输出的所有特征图构成的集合记为FcR,3；第四残差块的输入端接收FcR,3中的所有特征图，第四残差块的输出端输出128幅宽度为
Figure BDA0002253894040000167
且高度为
Figure BDA0002253894040000168
的特征图，将输出的所有特征图构成的集合记为FcR,4。
第一解码器由依次连接的第一反卷积层、第二反卷积层和第四卷积层组成，第一反卷积层的输入端接收FcR,4中的所有特征图，第一反卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000169
且高度为
Figure BDA00022538940400001610
的特征图，将输出的所有特征图构成的集合记为FcD,1；第二反卷积层的输入端接收FcD,1中的所有特征图，第二反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FcD,2；第四卷积层的输入端接收FcD,2中的所有特征图，第四卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第一反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为128、输出通道数为64，第二反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第一反卷积层、第二反卷积层的激活函数均为“ReLU”，第四卷积层的激活函数为“Tanh”。
2)空洞填补网络的构建过程为：
如图3所示，空洞填补网络包括用于提取图像的曝光信息的额外曝光信息编码器、用于提取图像的邻域信息的邻域信息编码器、用于整合额外曝光信息编码器和邻域信息编码器的输出并重建目标图像的第二解码器三部分。
额外曝光信息编码器由依次连接的第七卷积层、第八卷积层和第九卷积层组成，第七卷积层的输入端接收一幅三通道的宽度为W且高度为H的第二彩色图像，第七卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhE,1；第八卷积层的输入端接收FhE,1中的所有特征图，第八卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000171
且高度为
Figure BDA0002253894040000172
的特征图，将输出的所有特征图构成的集合记为FhE,2；第九卷积层的输入端接收FhE,2中的所有特征图，第九卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000173
且高度为
Figure BDA0002253894040000174
的特征图，将输出的所有特征图构成的集合记为FhE,3；其中，第七卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第八卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第九卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第七卷积层、第八卷积层和第九卷积层的激活函数均为“ReLU”。
邻域信息编码器由依次连接的第十卷积层、第十一卷积层和第十二卷积层组成，第十卷积层的输入端接收一幅三通道的宽度为W且高度为H的第三彩色图像，第十卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhN,1；第十一卷积层的输入端接收FhN,1中的所有特征图，第十一卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000175
且高度为
Figure BDA0002253894040000176
的特征图，将输出的所有特征图构成的集合记为FhN,2；第十二卷积层的输入端接收FhN,2中的所有特征图，第十二卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000177
且高度为
Figure BDA0002253894040000178
的特征图，将输出的所有特征图构成的集合记为FhN,3；其中，第十卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第十一卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第十卷积层、第十一卷积层和第十二卷积层的激活函数均为“ReLU”。
第二解码器由依次连接的第一级联层、第三反卷积层、第四反卷积层和第十三卷积层组成，第一级联层的输入端接收FhE,3中的所有特征图和FhN,3中的所有特征图，第一级联层对FhE,3中的所有特征图和FhN,3中的所有特征图在特征图数目维度进行级联，第一级联层的输出端输出256幅宽度为
Figure BDA0002253894040000181
且高度为
Figure BDA0002253894040000182
的特征图，将输出的所有特征图构成的集合记为FhD,1；第三反卷积层的输入端接收FhD,1中的所有特征图，第三反卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000183
且高度为
Figure BDA0002253894040000184
的特征图，将输出的所有特征图构成的集合记为FhD,2；第四反卷积层的输入端接收FhD,2中的所有特征图，第四反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhD,3；第十三卷积层的输入端接收FhD,3中的所有特征图，第十三卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第三反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为256、输出通道数为64，第四反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十三卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第三反卷积层、第四反卷积层的激活函数均为“ReLU”，第十三卷积层的激活函数为“Tanh”。
3)HDR图像融合网络的构建过程为：
如图4所示，HDR图像融合网络包括用于提取图像的融合特征的第二编码器、用于进一步提取图像的高水平融合特征并防止梯度弥散和梯度爆炸问题的第二残差块组、用于重建目标图像的第三解码器三部分。
第二编码器由依次连接的第二级联层、第十四卷积层和第十五卷积层组成，第二级联层的输入端接收四幅三通道的宽度为W且高度为H的彩色图像，分别为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像，第二级联层对四幅彩色图像在图像数目维度进行级联，第二级联层的输出端输出12幅宽度为W且高度为H的图像，将输出的所有图像构成的集合记为FhdrE,1；第十四卷积层的输入端接收FhdrE,1中的所有图像，第十四卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhdrE,2；第十五卷积层的输入端接收FhdrE,2中的所有特征图，第十五卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000185
且高度为
Figure BDA0002253894040000186
的特征图，将输出的所有特征图构成的集合记为FhdrE,3；其中，第十四卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为12、输出通道数为32，第十五卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十四卷积层、第十五卷积层的激活函数均为“ReLU”。
第二残差块组由依次连接的第五残差块、第六残差块、第七残差块和第八残差块组成，第五残差块的输入端接收FhdrE,3中的所有特征图，第五残差块的输出端输出64幅宽度为
Figure BDA0002253894040000191
且高度为
Figure BDA0002253894040000192
的特征图，将输出的所有特征图构成的集合记为FhdrR,1；第六残差块的输入端接收FhdrR,1中的所有特征图，第六残差块的输出端输出64幅宽度为
Figure BDA0002253894040000193
且高度为
Figure BDA0002253894040000194
的特征图，将输出的所有特征图构成的集合记为FhdrR,2；第七残差块的输入端接收FhdrR,2中的所有特征图，第七残差块的输出端输出64幅宽度为
Figure BDA0002253894040000195
且高度为
Figure BDA0002253894040000196
的特征图，将输出的所有特征图构成的集合记为FhdrR,3；第八残差块的输入端接收FhdrR,3中的所有特征图，第八残差块的输出端输出64幅宽度为
Figure BDA0002253894040000197
且高度为
Figure BDA0002253894040000198
的特征图，将输出的所有特征图构成的集合记为FhdrR,4。
第三解码器由依次连接的第五反卷积层和第十六卷积层组成，第五反卷积层的输入端接收FhdrR,4中的所有特征图，第五反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhdrD,1；第十六卷积层的输入端接收FhdrD,1中的所有特征图，第十六卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第五反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十六卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第五反卷积层的激活函数均为“ReLU”，第十六卷积层的激活函数为“Sigmoid”。
在本实施例中，步骤一中，第一残差块、第二残差块、第三残差块和第四残差块的结构相同，其均由依次连接的第五卷积层和第六卷积层组成，第一残差块中的第五卷积层的输入端接收FcE,3中的所有特征图，第一残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000199
且高度为
Figure BDA00022538940400001910
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400001911
第一残差块中的第六卷积层的输入端接收
Figure BDA00022538940400001912
中的所有特征图，第一残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA00022538940400001913
且高度为
Figure BDA00022538940400001914
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000201
将FcE,3中的所有特征图与
Figure BDA0002253894040000202
中的所有特征图相加后得到的所有特征图作为第一残差块的输出端输出的特征图，构成的集合即为FcR,1；第二残差块中的第五卷积层的输入端接收FcR,1中的所有特征图，第二残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000203
且高度为
Figure BDA0002253894040000204
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000205
第二残差块中的第六卷积层的输入端接收
Figure BDA0002253894040000206
中的所有特征图，第二残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA0002253894040000207
且高度为
Figure BDA0002253894040000208
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000209
将FcR,1中的所有特征图与
Figure BDA00022538940400002010
中的所有特征图相加后得到的所有特征图作为第二残差块的输出端输出的特征图，构成的集合即为FcR,2；第三残差块中的第五卷积层的输入端接收FcR,2中的所有特征图，第三残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA00022538940400002011
且高度为
Figure BDA00022538940400002012
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002013
第三残差块中的第六卷积层的输入端接收
Figure BDA00022538940400002014
中的所有特征图，第三残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA00022538940400002015
且高度为
Figure BDA00022538940400002016
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002017
将FcR,2中的所有特征图与
Figure BDA00022538940400002018
中的所有特征图相加后得到的所有特征图作为第三残差块的输出端输出的特征图，构成的集合即为FcR,3；第四残差块中的第五卷积层的输入端接收FcR,3中的所有特征图，第四残差块中的第五卷积层的输出端输出128幅宽度为
Figure BDA00022538940400002019
且高度为
Figure BDA00022538940400002020
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002021
第四残差块中的第六卷积层的输入端接收
Figure BDA00022538940400002022
中的所有特征图，第四残差块中的第六卷积层的输出端输出128幅宽度为
Figure BDA00022538940400002023
且高度为
Figure BDA00022538940400002024
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002025
将FcR,3中的所有特征图与
Figure BDA00022538940400002026
中的所有特征图相加后得到的所有特征图作为第四残差块的输出端输出的特征图，构成的集合即为FcR,4；其中，第五卷积层和第六卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为128、输出通道数均为128，第五卷积层和第六卷积层的激活函数均为“ReLU”。
在本实施例中，步骤一中，第五残差块、第六残差块、第七残差块和第八残差块的结构相同，其均由依次连接的第十七卷积层和第十八卷积层组成，第五残差块中的第十七卷积层的输入端接收FhdrE,3中的所有特征图，第五残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000211
且高度为
Figure BDA0002253894040000212
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000213
第五残差块中的第十八卷积层的输入端接收
Figure BDA0002253894040000214
中的所有特征图，第五残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000215
且高度为
Figure BDA0002253894040000216
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000217
将FhdrE,3中的所有特征图与
Figure BDA0002253894040000218
中的所有特征图相加后得到的所有特征图作为第五残差块的输出端输出的特征图，构成的集合即为FhdrR,1；第六残差块中的第十七卷积层的输入端接收FhdrR,1中的所有特征图，第六残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000219
且高度为
Figure BDA00022538940400002110
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002111
第六残差块中的第十八卷积层的输入端接收
Figure BDA00022538940400002112
中的所有特征图，第六残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA00022538940400002113
且高度为
Figure BDA00022538940400002114
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002115
将FhdrR,1中的所有特征图与
Figure BDA00022538940400002116
中的所有特征图相加后得到的所有特征图作为第六残差块的输出端输出的特征图，构成的集合即为FhdrR,2；第七残差块中的第十七卷积层的输入端接收FhdrR,2中的所有特征图，第七残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA00022538940400002117
且高度为
Figure BDA00022538940400002118
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002119
第七残差块中的第十八卷积层的输入端接收
Figure BDA00022538940400002120
中的所有特征图，第七残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA00022538940400002121
且高度为
Figure BDA00022538940400002122
的特征图，将输出的所有特征图构成的集合记为
Figure BDA00022538940400002123
将FhdrR,2中的所有特征图与
Figure BDA00022538940400002124
中的所有特征图相加后得到的所有特征图作为第七残差块的输出端输出的特征图，构成的集合即为FhdrR,3；第八残差块中的第十七卷积层的输入端接收FhdrR,3中的所有特征图，第八残差块中的第十七卷积层的输出端输出64幅宽度为
Figure BDA00022538940400002125
且高度为
Figure BDA00022538940400002126
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000221
第八残差块中的第十八卷积层的输入端接收
Figure BDA0002253894040000222
中的所有特征图，第八残差块中的第十八卷积层的输出端输出64幅宽度为
Figure BDA0002253894040000223
且高度为
Figure BDA0002253894040000224
的特征图，将输出的所有特征图构成的集合记为
Figure BDA0002253894040000225
将FhdrR,3中的所有特征图与
Figure BDA0002253894040000226
中的所有特征图相加后得到的所有特征图作为第八残差块的输出端输出的特征图，构成的集合即为FhdrR,4；其中，第十七卷积层和第十八卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64，第十七卷积层和第十八卷积层的激活函数均为“ReLU”。
步骤二：选取Num组左视点多曝光图像和对应的Num幅高质量参考左视点高动态范围图像，以及对应于左视点多曝光图像的Num组右视点多曝光图像和对应的Num幅高质量参考右视点高动态范围图像，每组左视点多曝光图像包括左视点欠曝光图像、左视点过曝光图像和左视点正常曝光图像，每组右视点多曝光图像包括右视点欠曝光图像、右视点过曝光图像和右视点正常曝光图像；其中，Num＞1，在本实施例中取Num＝378，高质量参考左视点高动态范围图像和高质量参考右视点高动态范围图像通过现有技术可以获取，上述各幅图像的宽度为W且高度为H。
步骤三：将每幅左视点正常曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅左视点欠曝光图像对应的重建左视点正常曝光图像；然后将每幅右视点正常曝光图像作为标签图像，并将对应的右视点过曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅右视点过曝光图像对应的重建右视点正常曝光图像；训练结束后得到曝光校准网络中的各卷积核和偏置项的最佳参数，即得到训练有素的曝光校准网络模型。
训练好的曝光校准网络模型用于将不同曝光水平的立体LDR图像中的左视点欠曝光图像和右视点过曝光图像校准到同一曝光下，即正常曝光下，可以有效提高后续立体匹配的性能。
步骤四：对每幅重建左视点正常曝光图像和对应的重建右视点正常曝光图像进行立体匹配，得到每幅重建左视点正常曝光图像的左视点视差图、每幅重建右视点正常曝光图像的右视点视差图；然后根据每幅重建左视点正常曝光图像的左视点视差图，对对应的左视点欠曝光图像进行前向绘制，得到对应的绘制右视点欠曝光图像；并根据每幅重建右视点正常曝光图像的右视点视差图，对对应的右视点过曝光图像进行前向绘制，得到对应的绘制左视点过曝光图像。
步骤五：将每幅左视点过曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第二彩色图像、将对应的绘制左视点过曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建左视点过曝光图像；然后将每幅右视点欠曝光图像作为标签图像，并将对应的右视点过曝光图像作为第二彩色图像、将对应的绘制右视点欠曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建右视点欠曝光图像；训练结束后得到空洞填补网络中的各卷积核和偏置项的最佳参数，即得到训练有素的空洞填补网络模型。
训练好的空洞填补网络模型用于填补绘制图像，即绘制左视点过曝光图像或绘制右视点欠曝光图像中存在的空洞，通过联合额外曝光信息，可以有效填补在绘制图像左边界或右边界区域的空洞。
步骤六：基于相机响应函数和曝光值，将每幅左视点欠曝光图像转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅左视点过曝光图像转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像。
或基于相机响应函数和曝光值，将每幅右视点欠曝光图像转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅右视点过曝光图像转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像。
步骤七：将每幅高质量参考左视点高动态范围图像作为标签图像，并将左视点对应的第一初始高动态范围图像、左视点对应的第二初始高动态范围图像、左视点欠曝光图像、左视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型。
或将每幅高质量参考右视点高动态范围图像作为标签图像，并将右视点对应的第一初始高动态范围图像、右视点对应的第二初始高动态范围图像、右视点欠曝光图像、右视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型。
在步骤六和步骤七中，由于HDR图象融合网络只完成单视点图像融合，这与视点位置无关，所以只需要利用左视点图像或者右视点图像来训练即可，不需要两次训练。
训练好的HDR图像融合网络模型用于融合单视点下的欠曝光图像和过曝光图像，以生成HDR图像，在训练时通过将高质量HDR图像作为标签图像，能够有效提高生成的HDR图像的主观视觉质量。
步骤八：选取一组具有不同曝光水平的立体图像作为测试图像，将测试图像中的左视点欠曝光图像记为Itest,left_under，将测试图像中的右视点过曝光图像记为Itest,right_over。
步骤九：将Itest,left_under作为第一彩色图像输入到曝光校准网络模型中，测试得到重建左视点正常曝光图像，记为Irec-left_normal；然后将Itest,right_over作为第一彩色图像输入到曝光校准网络模型中，测试得到重建右视点正常曝光图像，记为Irec-right_normal。
步骤十：对Irec-left_normal和Irec-right_normal进行立体匹配，得到Irec-left_normal的左视点视差图、Irec-right_normal的右视点视差图；然后根据Irec-left_normal的左视点视差图，对Itest,left_under进行前向绘制，得到绘制右视点欠曝光图像，记为Iinit-right_under；并根据Irec-right_normal的右视点视差图，对Itest,right_over进行前向绘制，得到绘制左视点过曝光图像，记为Iinit-left_over。
步骤十一：将Itest,left_under作为第二彩色图像、将Iinit-left_over作为第三彩色图像输入到空洞填补网络模型中，测试得到重建左视点过曝光图像，记为Irec-left_over；然后将Itest,right_over作为第二彩色图像、将Iinit-right_under作为第三彩色图像输入到空洞填补网络模型中，测试得到重建右视点欠曝光图像，记为Irec-right_under。
步骤十二：基于相机响应函数和曝光值，将Itest,left_under转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像，记为I1,left_init-hdr；同样，基于相机响应函数和曝光值，将Irec-left_over转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像，记为I2,left_init-hdr；然后将I1,left_init-hdr、I2,left_init-hdr、Itest,left_under、Irec-left_over对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到左视点对应的重建高动态范围图像，记为Irec-left_hdr。
基于相机响应函数和曝光值，将Irec-right_under转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像，记为I1,right_init-hdr；同样，基于相机响应函数和曝光值，将Itest,right_over转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像，记为I2,right_init-hdr；然后将I1,right_init-hdr、I2,right_init-hdr、Irec-right_under、Itest,right_over对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到右视点对应的重建高动态范围图像，记为Irec-right_hdr。
将Irec-left_hdr和Irec-right_hdr组成立体高动态范围图像。
在步骤十二中，获取第一初始高动态范围图像和第二初始高动态范围图像及输入到HDR图像融合网络模型中使用了重建图像，由于重建图像的质量低于原始数据库中提供的图像的质量，因此在训练过程(步骤六和步骤七)中，尽量使用原始图像。为了进一步说明本发明方法的可行性和有效性，进行如下实验。
本发明方法采用TensorFlow深度学习框架实现。训练和测试采用的立体多曝光图像来自Middlebury数据库，该数据库为每个场景提供7个不同视点图像，并且每个视点包括三种照度和三种曝光，所以以视点间隔为1来选择立体图像，即将视点0作为左视点，视点1作为右视点，以此类推，将视点5作为左视点，视点6作为右视点，同时假定左视点图像属于欠曝光，右视点图像属于过曝光，共收集到540组图像，按照场景类别分为训练集和测试集，其中训练集和测试集比例为7:3，所以最终训练图像数目为378，测试图像数目为162。
为增加训练样本，采用两种数据增强方式，即旋转和翻转，此外，按照步长64来将所有图像裁剪为尺寸为128×128的重叠图像块。
在训练曝光校准网络、空洞填补网络和HDR图像融合网络时，学习率均设置为10-4。曝光校准网络、空洞填补网络和HDR图像融合网络中的所有卷积核的参数和偏置项均采用均值为0、标准差为0.02的截断正态初始化器进行初始化。
对于曝光校准网络，采用L1范数损失和感知损失进行训练；对于空洞填补网络，采用L1范数损失进行训练；对于HDR图像融合网络，由于HDR图像的像素变换很大，很难利用网络学习精确的映射关系，所以计算色调映射后图像的损失，并采用L1范数损失进行训练，其中，色调映射方法采用对数色调映射。利用ADAM优化器训练网络。
为测试本发明方法的有效性和普适性，采用不同于训练样本的测试集中的测试图像进行测试。使用的训练图像的基本信息如表1所示，测试图像的基本信息如表2所示，图像分辨率均采样到1390×1110。
表1训练场景信息
Figure BDA0002253894040000261
表2测试场景信息
数据集 分辨率 场景数量 场景名称
2005数据集 1390×1110 4 Art,Books,Moebius,Dwarves
2006数据集 1390×1110 5 Baby1,Bowling1,Cloth3,Rocks1,Wood2
为了说明本发明方法的性能，分别对曝光校准网络、空洞填补网络和HDR图像融合网络进行性能评价，同时评价本发明方法的整体性能，其中，用到的客观评价指标包括PSNR、SSIM、FSIM和HDR-VDP，PSNR、SSIM和FSIM用于评价LDR图像的视觉质量，HDR-VDP用于评价HDR图像的视觉质量。
对于曝光校准网络模型，对比方法一是基于CRF的方法，二是本发明方法。表3给出了对比结果，对所有测试图像的质量分数取均值来显示。从表3所列的数据可以看出，相比于基于CRF的方法，本发明方法在PSNR指标上获得更高的质量分数。
对于空洞填补网络模型，对比方法一是Chen提出的方法，二是本发明方法。表4给出了对比结果，对所有测试图像的质量分数取均值来显示。从表4所列的数据可以看出，采用本发明方法在PSNR、SSIM和FSIM指标上均高于Chen提出的方法。
对于HDR图像融合网络模型，对比方法一是HDR图像处理软件Photomatrix，二是Chen提出的方法，三是本发明方法。其中，由于PSNR、SSIM和FSIM是评价LDR图像的视觉质量，所以预先对需要评价的HDR图像进行色调映射处理以压缩动态范围，即得到对应的LDR图像。表5给出了对比结果，对所有测试图像的质量分数取均值来显示，表中的TM表示色调映射处理。从表5所列的数据可以看出，采用本发明方法在HDR-VDP、PSNR、SSIM和FSIM指标上均高于HDR图像处理软件Photomatrix，并在HDR-VDP、PSNR和FSIM指标上高于Chen提出的方法。
对于本发明方法的整体性能评价，采用的对比方法是Chen提出的方法，表6给出了对比结果，对所有测试图像的质量分数取均值来显示，表中的TM表示色调映射处理。从表6所列的数据可以看出，采用本发明方法在HDR-VDP、PSNR、SSIM和FSIM指标上均高于Chen提出的方法。
表3采用本发明方法与基于CRF的方法在PSNR指标上的对比
Figure BDA0002253894040000271
表4采用本发明方法与Chen提出的方法在PSNR、SSIM和FSIM指标上的对比
方法 PSNR(dB) SSIM FSIM
Chen提出的方法 29.1017 0.8612 0.9809
本发明方法 31.8856 0.9096 0.9837
表5采用本发明方法与现有两种方法在HDR-VDP、PSNR、SSIM和FSIM指标上的对比
Figure BDA0002253894040000272
Figure BDA0002253894040000281
表6采用本发明方法与Chen提出的方法在HDR-VDP、PSNR、SSIM和FSIM指标上的对比
Figure BDA0002253894040000282
图5a给出了Art场景中的测试图像之一，即左视点欠曝光图像；图5b给出了采用CRF对图5a所示的图像进行处理得到的重建左视点正常曝光图像；图5c给出了采用本发明方法对图5a所示的图像进行处理得到的重建左视点正常曝光图像；图5d给出了图5a所示的图像对应的参考左视点正常曝光图像；图5e给出了Art场景中的另一幅测试图像，即右视点过曝光图像；图5f给出了采用CRF对图5e所示的图像进行处理得到的重建右视点正常曝光图像；图5g给出了采用本发明方法对图5e所示的图像进行处理得到的重建右视点正常曝光图像；图5h给出了图5e所示的图像对应的参考右视点正常曝光图像；图5i给出了对图5a和图5e进行立体匹配得到的右视点视差图；图5j给出了对图5b和图5f进行立体匹配得到的右视点视差图；图5k给出了对图5c和图5g进行立体匹配得到的右视点视差图；图5l给出了对图5d和图5h进行立体匹配得到的参考右视点视差图。从图中可以看出，利用本发明方法中的曝光校准网络模型校准后的左视点图像和右视点图像在亮度和颜色属性上更加一致，接近参考图像，而基于CRF的方法会引入可见的颜色失真，如图5f中的人像区域。此外，通过估计的视差图可以看到，基于CRF的方法会在边缘区域引入伪像，如图5j中右下方的局部放大框区域。
图6a给出了Chen提出的方法对Baby1场景中对应图像进行视点曝光传递得到的左视点过曝光图像；图6c给出了本发明方法对Baby1场景中的绘制左视点过曝光图像进行处理得到的重建左视点过曝光图像；图6e给出了对应的参考左视点过曝光图像；图6b、图6d、图6f分别是图6a、图6c、图6e中放大框区域图像。从图中可以看到，Chen等人方法会生成一些模糊的纹理，如图6b所示，相比之下，本发明方法产生的图像具有更清晰的纹理，说明本发明方法中的空洞填补网络模型的有效性。
图7a给出了Art场景中输入的欠曝光图像；图7b给出了Art场景中输入的过曝光图像；图7c给出了HDR图像处理软件Photomatrix对图7a和图7b所示的图像进行融合处理得到的HDR图像；图7d给出了Chen提出的方法对图7a和图7b所示的图像进行融合处理得到的HDR图像；图7e给出了本发明方法对图7a和图7b所示的图像进行融合处理得到的HDR图像；图7f给出了对应的高质量参考HDR图像。从图中可以看到，Photomatrix生成的HDR图像会有亮度伪像，且会丢失部分纹理信息，Chen提出的方法和本发明方法均可以得到视觉质量接近高质量参考HDR图像的HDR图像，但Chen提出的方法得到的HDR图像存在一些颜色偏差，如图7d中的下方框内区域，说明本发明方法中的HDR图像融合网络模型的有效性。
图8a给出了Bowling1场景中输入的左视点欠曝光图像；图8b给出了Bowling1场景中输入的右视点过曝光图像；图8c给出了Chen提出的方法对图8a和图8b所示的图像进行处理得到的左视点HDR图像；图8d给出了本发明方法对图8a和图8b所示的图像进行处理得到的左视点HDR图像；图8e给出了对应的高质量参考左视点HDR图像。从图中可以看出，本发明方法得到的左视点HDR图像在主观质量上更接近高质量参考左视点HDR图像，而Chen提出的方法会出现亮度和颜色失真，如图8c中的下方框内区域。
本发明方法的创新性主要体现如下：一是利用曝光校准网络模型来将立体多曝光图像校准到同一曝光水平下，以克服基于CRF的曝光校准容易产生颜色和亮度偏差的问题；二是在空洞填补中引入额外曝光信息，以提高空洞填补网络模型对左或右边界空洞区域的填补性能；三是利用多图像融合产生的高质量参考HDR图像作为训练标签，以提高由欠曝光和过曝光图像融合产生的HDR图像的视觉质量。

Claims (3)

1.一种基于全卷积神经网络的立体高动态范围成像方法，其特征在于包括以下步骤：
步骤一：构建三个全卷积神经网络，分别为曝光校准网络、空洞填补网络、HDR图像融合网络；
1)曝光校准网络的构建过程为：
曝光校准网络包括用于在图像空间压缩和编码图像的第一编码器、用于进一步提取图像的高水平特征并防止梯度弥散和梯度爆炸问题的第一残差块组、用于重建目标图像的第一解码器三部分；
第一编码器由依次连接的第一卷积层、第二卷积层和第三卷积层组成，第一卷积层的输入端接收一幅三通道的宽度为W且高度为H的第一彩色图像，第一卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FcE,1；第二卷积层的输入端接收FcE,1中的所有特征图，第二卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000011
且高度为
Figure FDA0002253894030000012
的特征图，将输出的所有特征图构成的集合记为FcE,2；第三卷积层的输入端接收FcE,2中的所有特征图，第三卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000013
且高度为
Figure FDA0002253894030000014
的特征图，将输出的所有特征图构成的集合记为FcE,3；其中，第一卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第三卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第一卷积层、第二卷积层和第三卷积层的激活函数均为“ReLU”；
第一残差块组由依次连接的第一残差块、第二残差块、第三残差块和第四残差块组成，第一残差块的输入端接收FcE,3中的所有特征图，第一残差块的输出端输出128幅宽度为
Figure FDA0002253894030000015
且高度为
Figure FDA0002253894030000016
的特征图，将输出的所有特征图构成的集合记为FcR,1；第二残差块的输入端接收FcR,1中的所有特征图，第二残差块的输出端输出128幅宽度为
Figure FDA0002253894030000017
且高度为
Figure FDA0002253894030000021
的特征图，将输出的所有特征图构成的集合记为FcR2；第三残差块的输入端接收FcR2中的所有特征图，第三残差块的输出端输出128幅宽度为
Figure FDA0002253894030000022
且高度为
Figure FDA0002253894030000023
的特征图，将输出的所有特征图构成的集合记为FcR,3；第四残差块的输入端接收FcR,3中的所有特征图，第四残差块的输出端输出128幅宽度为
Figure FDA0002253894030000024
且高度为
Figure FDA0002253894030000025
的特征图，将输出的所有特征图构成的集合记为FcR,4；
第一解码器由依次连接的第一反卷积层、第二反卷积层和第四卷积层组成，第一反卷积层的输入端接收FcR,4中的所有特征图，第一反卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000026
且高度为
Figure FDA0002253894030000027
的特征图，将输出的所有特征图构成的集合记为FcD,1；第二反卷积层的输入端接收FcD,1中的所有特征图，第二反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FcD,2；第四卷积层的输入端接收FcD,2中的所有特征图，第四卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第一反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为128、输出通道数为64，第二反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第一反卷积层、第二反卷积层的激活函数均为“ReLU”，第四卷积层的激活函数为“Tanh”；
2)空洞填补网络的构建过程为：
空洞填补网络包括用于提取图像的曝光信息的额外曝光信息编码器、用于提取图像的邻域信息的邻域信息编码器、用于整合额外曝光信息编码器和邻域信息编码器的输出并重建目标图像的第二解码器三部分；
额外曝光信息编码器由依次连接的第七卷积层、第八卷积层和第九卷积层组成，第七卷积层的输入端接收一幅三通道的宽度为W且高度为H的第二彩色图像，第七卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhE,1；第八卷积层的输入端接收FhE,1中的所有特征图，第八卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000028
且高度为
Figure FDA0002253894030000029
的特征图，将输出的所有特征图构成的集合记为FhE,2；第九卷积层的输入端接收FhE,2中的所有特征图，第九卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000031
且高度为
Figure FDA0002253894030000032
的特征图，将输出的所有特征图构成的集合记为FhE,3；其中，第七卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第八卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第九卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第七卷积层、第八卷积层和第九卷积层的激活函数均为“ReLU”；
邻域信息编码器由依次连接的第十卷积层、第十一卷积层和第十二卷积层组成，第十卷积层的输入端接收一幅三通道的宽度为W且高度为H的第三彩色图像，第十卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhN,1；第十一卷积层的输入端接收FhN,1中的所有特征图，第十一卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000033
且高度为
Figure FDA0002253894030000034
的特征图，将输出的所有特征图构成的集合记为FhN,2；第十二卷积层的输入端接收FhN,2中的所有特征图，第十二卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000035
且高度为
Figure FDA0002253894030000036
的特征图，将输出的所有特征图构成的集合记为FhN,3；其中，第十卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第十一卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第十卷积层、第十一卷积层和第十二卷积层的激活函数均为“ReLU”；
第二解码器由依次连接的第一级联层、第三反卷积层、第四反卷积层和第十三卷积层组成，第一级联层的输入端接收FhE,3中的所有特征图和FhN,3中的所有特征图，第一级联层对FhE,3中的所有特征图和FhN,3中的所有特征图在特征图数目维度进行级联，第一级联层的输出端输出256幅宽度为
Figure FDA0002253894030000037
且高度为
Figure FDA0002253894030000038
的特征图，将输出的所有特征图构成的集合记为FhD,1；第三反卷积层的输入端接收FhD,1中的所有特征图，第三反卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000039
且高度为
Figure FDA00022538940300000310
的特征图，将输出的所有特征图构成的集合记为FhD,2；第四反卷积层的输入端接收FhD,2中的所有特征图，第四反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhD,3；第十三卷积层的输入端接收FhD,3中的所有特征图，第十三卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第三反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为256、输出通道数为64，第四反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十三卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第三反卷积层、第四反卷积层的激活函数均为“ReLU”，第十三卷积层的激活函数为“Tanh”；
3)HDR图像融合网络的构建过程为：
HDR图像融合网络包括用于提取图像的融合特征的第二编码器、用于进一步提取图像的高水平融合特征并防止梯度弥散和梯度爆炸问题的第二残差块组、用于重建目标图像的第三解码器三部分；
第二编码器由依次连接的第二级联层、第十四卷积层和第十五卷积层组成，第二级联层的输入端接收四幅三通道的宽度为W且高度为H的彩色图像，分别为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像，第二级联层对四幅彩色图像在图像数目维度进行级联，第二级联层的输出端输出12幅宽度为W且高度为H的图像，将输出的所有图像构成的集合记为FhdrE,1；第十四卷积层的输入端接收FhdrE,1中的所有图像，第十四卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhdrE,2；第十五卷积层的输入端接收FhdrE,2中的所有特征图，第十五卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000041
且高度为
Figure FDA0002253894030000042
的特征图，将输出的所有特征图构成的集合记为FhdrE,3；其中，第十四卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为12、输出通道数为32，第十五卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十四卷积层、第十五卷积层的激活函数均为“ReLU”；
第二残差块组由依次连接的第五残差块、第六残差块、第七残差块和第八残差块组成，第五残差块的输入端接收FhdrE,3中的所有特征图，第五残差块的输出端输出64幅宽度为
Figure FDA0002253894030000043
且高度为
Figure FDA0002253894030000044
的特征图，将输出的所有特征图构成的集合记为FhdrR,1；第六残差块的输入端接收FhdrR,1中的所有特征图，第六残差块的输出端输出64幅宽度为
Figure FDA0002253894030000051
且高度为
Figure FDA0002253894030000052
的特征图，将输出的所有特征图构成的集合记为FhdrR,2；第七残差块的输入端接收FhdrR,2中的所有特征图，第七残差块的输出端输出64幅宽度为
Figure FDA0002253894030000053
且高度为
Figure FDA0002253894030000054
的特征图，将输出的所有特征图构成的集合记为FhdrR,3；第八残差块的输入端接收FhdrR,3中的所有特征图，第八残差块的输出端输出64幅宽度为
Figure FDA0002253894030000055
且高度为
Figure FDA0002253894030000056
的特征图，将输出的所有特征图构成的集合记为FhdrR,4；
第三解码器由依次连接的第五反卷积层和第十六卷积层组成，第五反卷积层的输入端接收FhdrR,4中的所有特征图，第五反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为FhdrD,1；第十六卷积层的输入端接收FhdrD,1中的所有特征图，第十六卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第五反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十六卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第五反卷积层的激活函数均为“ReLU”，第十六卷积层的激活函数为“Sigmoid”；
步骤二：选取Num组左视点多曝光图像和对应的Num幅高质量参考左视点高动态范围图像，以及对应于左视点多曝光图像的Num组右视点多曝光图像和对应的Num幅高质量参考右视点高动态范围图像，每组左视点多曝光图像包括左视点欠曝光图像、左视点过曝光图像和左视点正常曝光图像，每组右视点多曝光图像包括右视点欠曝光图像、右视点过曝光图像和右视点正常曝光图像；其中，Num＞1，上述各幅图像的宽度为W且高度为H；
步骤三：将每幅左视点正常曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅左视点欠曝光图像对应的重建左视点正常曝光图像；然后将每幅右视点正常曝光图像作为标签图像，并将对应的右视点过曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅右视点过曝光图像对应的重建右视点正常曝光图像；训练结束后得到曝光校准网络中的各卷积核和偏置项的最佳参数，即得到训练有素的曝光校准网络模型；
步骤四：对每幅重建左视点正常曝光图像和对应的重建右视点正常曝光图像进行立体匹配，得到每幅重建左视点正常曝光图像的左视点视差图、每幅重建右视点正常曝光图像的右视点视差图；然后根据每幅重建左视点正常曝光图像的左视点视差图，对对应的左视点欠曝光图像进行前向绘制，得到对应的绘制右视点欠曝光图像；并根据每幅重建右视点正常曝光图像的右视点视差图，对对应的右视点过曝光图像进行前向绘制，得到对应的绘制左视点过曝光图像；
步骤五：将每幅左视点过曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第二彩色图像、将对应的绘制左视点过曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建左视点过曝光图像；然后将每幅右视点欠曝光图像作为标签图像，并将对应的右视点过曝光图像作为第二彩色图像、将对应的绘制右视点欠曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建右视点欠曝光图像；训练结束后得到空洞填补网络中的各卷积核和偏置项的最佳参数，即得到训练有素的空洞填补网络模型；
步骤六：基于相机响应函数和曝光值，将每幅左视点欠曝光图像转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅左视点过曝光图像转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像；
或基于相机响应函数和曝光值，将每幅右视点欠曝光图像转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅右视点过曝光图像转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像；
步骤七：将每幅高质量参考左视点高动态范围图像作为标签图像，并将左视点对应的第一初始高动态范围图像、左视点对应的第二初始高动态范围图像、左视点欠曝光图像、左视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型；
或将每幅高质量参考右视点高动态范围图像作为标签图像，并将右视点对应的第一初始高动态范围图像、右视点对应的第二初始高动态范围图像、右视点欠曝光图像、右视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型；
步骤八：选取一组具有不同曝光水平的立体图像作为测试图像，将测试图像中的左视点欠曝光图像记为Itest,left_under，将测试图像中的右视点过曝光图像记为Itest,right_over；
步骤九：将Itest,left_under作为第一彩色图像输入到曝光校准网络模型中，测试得到重建左视点正常曝光图像，记为Irec-left_normal；然后将Itest,right_over作为第一彩色图像输入到曝光校准网络模型中，测试得到重建右视点正常曝光图像，记为Irec-right_normal；
步骤十：对Irec-left_normal和Irec-right_normal进行立体匹配，得到Irec-left_normal的左视点视差图、Irec-right_normal的右视点视差图；然后根据Irec-left_normal的左视点视差图，对Itest,left_under进行前向绘制，得到绘制右视点欠曝光图像，记为Iinit-right_under；并根据Irec-right_normal的右视点视差图，对Itest,right_over进行前向绘制，得到绘制左视点过曝光图像，记为Iinit-left_over；
步骤十一：将Itest,left_under作为第二彩色图像、将Iinit-left_over作为第三彩色图像输入到空洞填补网络模型中，测试得到重建左视点过曝光图像，记为Irec-left_over；然后将Itest,right_over作为第二彩色图像、将Iinit-right_under作为第三彩色图像输入到空洞填补网络模型中，测试得到重建右视点欠曝光图像，记为Irec-right_under；
步骤十二：基于相机响应函数和曝光值，将Itest,left_under转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像，记为I1,left_init-hdr；同样，基于相机响应函数和曝光值，将Irec-left_over转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像，记为I2,left_init-hdr；然后将I1,left_init-hdr、I2,left_init-hdr、Itest,left_under、Irec-left_over对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到左视点对应的重建高动态范围图像，记为Irec-left_hdr；
基于相机响应函数和曝光值，将Irec-right_under转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像，记为I1,right_init-hdr；同样，基于相机响应函数和曝光值，将Itest,right_over转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像，记为I2,right_init-hdr；然后将I1,right_init-hdr、I2,right_init-hdr、Irec-right_under、Itest,right_over对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到右视点对应的重建高动态范围图像，记为Irec-right_hdr；
将Irec-left_hdr和Irec-right_hdr组成立体高动态范围图像。
2.根据权利要求1所述的一种基于全卷积神经网络的立体高动态范围成像方法，其特征在于所述的步骤一中，第一残差块、第二残差块、第三残差块和第四残差块的结构相同，其均由依次连接的第五卷积层和第六卷积层组成，第一残差块中的第五卷积层的输入端接收FcE,3中的所有特征图，第一残差块中的第五卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000081
且高度为
Figure FDA0002253894030000082
的特征图，将输出的所有特征图构成的集合记为
Figure FDA0002253894030000083
第一残差块中的第六卷积层的输入端接收
Figure FDA0002253894030000084
中的所有特征图，第一残差块中的第六卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000085
且高度为
Figure FDA0002253894030000086
的特征图，将输出的所有特征图构成的集合记为
Figure FDA0002253894030000087
将FcE,3中的所有特征图与
Figure FDA0002253894030000088
中的所有特征图相加后得到的所有特征图作为第一残差块的输出端输出的特征图，构成的集合即为FcR,1；第二残差块中的第五卷积层的输入端接收FcR,1中的所有特征图，第二残差块中的第五卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000089
且高度为
Figure FDA00022538940300000810
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300000811
第二残差块中的第六卷积层的输入端接收
Figure FDA00022538940300000812
中的所有特征图，第二残差块中的第六卷积层的输出端输出128幅宽度为
Figure FDA00022538940300000813
且高度为
Figure FDA00022538940300000814
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300000815
将FcR,1中的所有特征图与
Figure FDA00022538940300000816
中的所有特征图相加后得到的所有特征图作为第二残差块的输出端输出的特征图，构成的集合即为FcR,2；第三残差块中的第五卷积层的输入端接收FcR,2中的所有特征图，第三残差块中的第五卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000091
且高度为
Figure FDA0002253894030000092
的特征图，将输出的所有特征图构成的集合记为
Figure FDA0002253894030000093
第三残差块中的第六卷积层的输入端接收
Figure FDA0002253894030000094
中的所有特征图，第三残差块中的第六卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000095
且高度为
Figure FDA0002253894030000096
的特征图，将输出的所有特征图构成的集合记为
Figure FDA0002253894030000097
将FcR,2中的所有特征图与
Figure FDA0002253894030000098
中的所有特征图相加后得到的所有特征图作为第三残差块的输出端输出的特征图，构成的集合即为FcR,3；第四残差块中的第五卷积层的输入端接收FcR,3中的所有特征图，第四残差块中的第五卷积层的输出端输出128幅宽度为
Figure FDA0002253894030000099
且高度为
Figure FDA00022538940300000910
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300000911
第四残差块中的第六卷积层的输入端接收
Figure FDA00022538940300000912
中的所有特征图，第四残差块中的第六卷积层的输出端输出128幅宽度为
Figure FDA00022538940300000913
且高度为
Figure FDA00022538940300000914
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300000915
将FcR,3中的所有特征图与
Figure FDA00022538940300000916
中的所有特征图相加后得到的所有特征图作为第四残差块的输出端输出的特征图，构成的集合即为FcR,4；其中，第五卷积层和第六卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为128、输出通道数均为128，第五卷积层和第六卷积层的激活函数均为“ReLU”。
3.根据权利要求1所述的一种基于全卷积神经网络的立体高动态范围成像方法，其特征在于所述的步骤一中，第五残差块、第六残差块、第七残差块和第八残差块的结构相同，其均由依次连接的第十七卷积层和第十八卷积层组成，第五残差块中的第十七卷积层的输入端接收FhdrE,3中的所有特征图，第五残差块中的第十七卷积层的输出端输出64幅宽度为
Figure FDA00022538940300000917
且高度为
Figure FDA00022538940300000918
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300000919
第五残差块中的第十八卷积层的输入端接收
Figure FDA00022538940300000920
中的所有特征图，第五残差块中的第十八卷积层的输出端输出64幅宽度为
Figure FDA00022538940300000921
且高度为
Figure FDA00022538940300000922
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300000923
将FhdrE,3中的所有特征图与
Figure FDA00022538940300000924
中的所有特征图相加后得到的所有特征图作为第五残差块的输出端输出的特征图，构成的集合即为FhdrR,1；第六残差块中的第十七卷积层的输入端接收FhdrR,1中的所有特征图，第六残差块中的第十七卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000101
且高度为
Figure FDA0002253894030000102
的特征图，将输出的所有特征图构成的集合记为
Figure FDA0002253894030000103
第六残差块中的第十八卷积层的输入端接收
Figure FDA0002253894030000104
中的所有特征图，第六残差块中的第十八卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000105
且高度为
Figure FDA0002253894030000106
的特征图，将输出的所有特征图构成的集合记为
Figure FDA0002253894030000107
将FhdrR,1中的所有特征图与
Figure FDA0002253894030000108
中的所有特征图相加后得到的所有特征图作为第六残差块的输出端输出的特征图，构成的集合即为FhdrR,2；第七残差块中的第十七卷积层的输入端接收FhdrR,2中的所有特征图，第七残差块中的第十七卷积层的输出端输出64幅宽度为
Figure FDA0002253894030000109
且高度为
Figure FDA00022538940300001010
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300001011
第七残差块中的第十八卷积层的输入端接收
Figure FDA00022538940300001012
中的所有特征图，第七残差块中的第十八卷积层的输出端输出64幅宽度为
Figure FDA00022538940300001013
且高度为
Figure FDA00022538940300001014
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300001015
将FhdrR,2中的所有特征图与
Figure FDA00022538940300001016
中的所有特征图相加后得到的所有特征图作为第七残差块的输出端输出的特征图，构成的集合即为FhdrR,3；第八残差块中的第十七卷积层的输入端接收FhdrR,3中的所有特征图，第八残差块中的第十七卷积层的输出端输出64幅宽度为
Figure FDA00022538940300001017
且高度为
Figure FDA00022538940300001018
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300001019
第八残差块中的第十八卷积层的输入端接收
Figure FDA00022538940300001020
中的所有特征图，第八残差块中的第十八卷积层的输出端输出64幅宽度为
Figure FDA00022538940300001021
且高度为
Figure FDA00022538940300001022
的特征图，将输出的所有特征图构成的集合记为
Figure FDA00022538940300001023
将FhdrR,3中的所有特征图与
Figure FDA00022538940300001024
中的所有特征图相加后得到的所有特征图作为第八残差块的输出端输出的特征图，构成的集合即为FhdrR,4；其中，第十七卷积层和第十八卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64，第十七卷积层和第十八卷积层的激活函数均为“ReLU”。
CN201911044976.8A 2019-10-30 2019-10-30 一种基于全卷积神经网络的立体高动态范围成像方法 Active CN110910336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911044976.8A CN110910336B (zh) 2019-10-30 2019-10-30 一种基于全卷积神经网络的立体高动态范围成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911044976.8A CN110910336B (zh) 2019-10-30 2019-10-30 一种基于全卷积神经网络的立体高动态范围成像方法

Publications (2)

Publication Number Publication Date
CN110910336A true CN110910336A (zh) 2020-03-24
CN110910336B CN110910336B (zh) 2022-08-30

Family

ID=69815706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911044976.8A Active CN110910336B (zh) 2019-10-30 2019-10-30 一种基于全卷积神经网络的立体高动态范围成像方法

Country Status (1)

Country Link
CN (1) CN110910336B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN112308085A (zh) * 2020-10-23 2021-02-02 宁波大学 一种基于卷积神经网络的光场图像去噪方法
CN113139898A (zh) * 2021-03-24 2021-07-20 宁波大学 基于频域分析和深度学习的光场图像超分辨率重建方法
CN115100043A (zh) * 2022-08-25 2022-09-23 天津大学 一种基于深度学习的hdr图像重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108183A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images in multiview video coding
WO2014041355A1 (en) * 2012-09-12 2014-03-20 The University Of Warwick Multi-view high dynamic range imaging
CN105430298A (zh) * 2015-12-08 2016-03-23 天津大学 通过立体摄像系统同时曝光合成hdr图像的方法
CN108924434A (zh) * 2018-06-29 2018-11-30 宁波大学 一种基于曝光变换的立体高动态范围图像合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108183A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images in multiview video coding
WO2014041355A1 (en) * 2012-09-12 2014-03-20 The University Of Warwick Multi-view high dynamic range imaging
CN105430298A (zh) * 2015-12-08 2016-03-23 天津大学 通过立体摄像系统同时曝光合成hdr图像的方法
CN108924434A (zh) * 2018-06-29 2018-11-30 宁波大学 一种基于曝光变换的立体高动态范围图像合成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUEI-YUNG LIN 等: "High dynamic range imaging for stereoscopic scene representation", 《2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
WON-JAE PARK 等: "Stereo Vision-Based High Dynamic Range Imaging Using Differently-Exposed Image Pair", 《SENSORS》 *
段志成: "基于多通道卷积神经网络的立体图像质量评价", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑(月刊)》 *
郭雨辰: "基于卷积神经网络的高效HDR视频合成", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑(月刊)》 *
陈晔曜 等: "高动态范围图像融合过程中的噪声抑制算法", 《光电工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN111986106B (zh) * 2020-07-30 2023-10-13 南京大学 一种基于神经网络的高动态图像重建方法
CN112308085A (zh) * 2020-10-23 2021-02-02 宁波大学 一种基于卷积神经网络的光场图像去噪方法
CN112308085B (zh) * 2020-10-23 2023-06-09 宁波大学 一种基于卷积神经网络的光场图像去噪方法
CN113139898A (zh) * 2021-03-24 2021-07-20 宁波大学 基于频域分析和深度学习的光场图像超分辨率重建方法
CN115100043A (zh) * 2022-08-25 2022-09-23 天津大学 一种基于深度学习的hdr图像重建方法

Also Published As

Publication number Publication date
CN110910336B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN110910336B (zh) 一种基于全卷积神经网络的立体高动态范围成像方法
CN109447907B (zh) 一种基于全卷积神经网络的单图像增强方法
Rudnev et al. Nerf for outdoor scene relighting
Nah et al. Ntire 2019 challenge on video deblurring and super-resolution: Dataset and study
CN107845128B (zh) 一种多尺度细节融合的多曝光高动态图像重建方法
CN108492262B (zh) 一种基于梯度结构相似性的无鬼影高动态范围成像方法
Song et al. MCL-3D: A database for stereoscopic image quality assessment using 2D-image-plus-depth source
US7599555B2 (en) System and method for image matting
Tian et al. A benchmark of DIBR synthesized view quality assessment metrics on a new database for immersive media applications
CN108694705A (zh) 一种多帧图像配准与融合去噪的方法
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
KR20120107429A (ko) 구역 기반의 톤 매핑
CN110225260B (zh) 一种基于生成对抗网络的立体高动态范围成像方法
Chang et al. Low-light image restoration with short-and long-exposure raw pairs
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
Moriwaki et al. Hybrid loss for learning single-image-based HDR reconstruction
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
Pan et al. Multi-exposure high dynamic range imaging with informative content enhanced network
Ke et al. Perceptual multi-exposure image fusion with overall image quality index and local saturation
CN110211077A (zh) 一种基于高阶奇异值分解的多曝光图像融合方法
Singh et al. Weighted least squares based detail enhanced exposure fusion
Steffens et al. Deep learning based exposure correction for image exposure correction with application in computer vision for robotics
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
Yin et al. Two exposure fusion using prior-aware generative adversarial network
Zou et al. Rawhdr: High dynamic range image reconstruction from a single raw image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240131

Address after: 313200 Room 337, Building 3, No. 266, Zhenxing Road, Yuyue Town, Deqing County, Huzhou City, Zhejiang Province

Patentee after: Huzhou Chuangguan Technology Co.,Ltd.

Country or region after: China

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

Country or region before: China