CN116402908A - 一种基于异构式成像的密集光场图像重建方法 - Google Patents
一种基于异构式成像的密集光场图像重建方法 Download PDFInfo
- Publication number
- CN116402908A CN116402908A CN202310291552.1A CN202310291552A CN116402908A CN 116402908 A CN116402908 A CN 116402908A CN 202310291552 A CN202310291552 A CN 202310291552A CN 116402908 A CN116402908 A CN 116402908A
- Authority
- CN
- China
- Prior art keywords
- convolution
- convolution layer
- light field
- input
- output end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 206
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 230000003287 optical effect Effects 0.000 claims abstract description 70
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 8
- 238000005215 recombination Methods 0.000 claims description 68
- 230000006798 recombination Effects 0.000 claims description 67
- 238000012360 testing method Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 37
- 230000004913 activation Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 241000287196 Asthenes Species 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000005070 sampling Methods 0.000 description 9
- 230000008521 reorganization Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于异构式成像的密集光场图像重建方法，其构建了共享网络参数的前向光场重建模块和后向光场重建模块，其中前向光场重建模块是从输入数据中重建密集光场图像，后向光场重建模块是从由前向光场重建模块所生成的数据中重建原始输入数据，进而二者构成循环一致性约束以实现无监督学习；以上两个重建模块均包含深度估计器、光流估计器和遮挡预测器，首先利用深度估计器和光流估计器来从输入数据中估计场景的深度信息以及几何关系；之后利用绘制技术以合成初始的密集光场图像；最后，通过遮挡预测器来修复初始的密集光场图像中的绘制误差以提高重建质量；优点是能有效地从异构式成像数据中重建密集光场图像，并恢复角度一致性。
Description
技术领域
本发明涉及一种光场图像重建技术，尤其是涉及一种基于异构式成像的密集光场图像重建方法。
背景技术
光场，作为自由空间中光线集合的完备表示，其能很好地记录场景的三维信息，正受到学术界和工业界的广泛关注。与之同时，光场所包含的丰富信息促发了许多视觉应用，如显著对象检测、捕获后重聚焦、深度推断等等。
手持式光场相机通过在主镜头和成像传感器之间插入微透镜阵列，以在单次拍摄中获取4D光线信息(即空间信息和角度信息)。但受限于传感器分辨率，获取的光场图像存在空间和角度分辨率相互制约的问题。为缓解这个问题，已有研究者提出一些计算成像方法来从稀疏视图中重建密集采样的光场图像。早期的工作是探索光场图像在变换域，如连续傅里叶域、剪切波域的稀疏特性来实现密集光场图像重建。随着深度学习在计算机视觉领域的广泛成功，许多基于深度学习的密集光场图像重建方法已被开发来提升重建精度。
一般而言，密集光场图像重建方法可分为深度依赖与深度无关两类。前者是估计深度/视差图作为辅助信息，来将稀疏视图绘制到目标视点并将其融合。例如，Kalantari等人构造了两个简单的卷积神经网络来分别执行视差估计与视图融合任务。Shi等人提出在像素域与特征域来联合学习视图融合以恢复更多的高频纹理。与前者不同，后者(即深度无关方法)是在不估计深度图的条件下，探索光场图像内部信息来上采样角度分辨率。Wu等人将光场图像重建看作是极平面图像(Epipolar Plane Image，EPI)复原问题，从而提出了一种“模糊-复原-去模糊”的学习框架来重建密集光场图像，但该方法会对极度稀疏的输入产生严重的混叠效应。为此，Wu等人进一步提出了一种学习剪切EPI结构的方法来解决混叠问题。Meng等人构造了4D密集残差网络来直接建模光场图像的4D结构，其充分调用网络的特征表征能力来捕获光场图像内部的几何信息。为降低复杂度，Yeung等人构建了计算高效的空间-角度可分离卷积来近似4D卷积，以实现快速密集光场图像重建。上述方法均需要具有规则结构(或称规则采样)的稀疏光场图像作为输入以重建密集光场图像，因而降低了灵活性。
近年来，有研究提出将2D数码相机拍摄的2D图像重建为密集光场图像。Wang等人设计了一种光场附件，其利用一个低成本的相机环来将2D数码相机转换为光场相机，但其特定的硬件设计和后续的配准任务限制了该方法的实际应用。在不改变硬件的条件下，Srinivasan等人提出从2D图像中学习推断光场深度，进而通过视图绘制以重建密集光场图像。Li等人拓展了多平面表示模型，并采用两个并行网络来独立处理可视和遮挡区域以从单图像中重建密集光场图像。但是，从2D图像中推断4D光场信息属于不适定问题，其依赖于场景的先验信息，如朗伯先验，因此这些方法会在非朗伯和遮挡区域产生鬼影伪像。事实上，将光场相机与2D数码相机进行结合，以构成异构式成像系统，可很好地实现空间和角度信息的扩充与互补。重要地，光场相机捕获的角度信息可用于引导2D图像进行密集光场重建以合成一幅新的密集光场图像，并恢复更好的空间和角度相关性。
综上，虽然目前的相关研究在对具有规则采样输入的密集光场图像重建上已经取得了不错的重建效果，但是对基于单2D图像的密集光场图像重建任务仍存在一定的不足，特别地，在恢复重建密集光场图像的空间纹理信息，并去除遮挡伪像，以及重建准确的角度一致性方面还有一定的改进空间。
发明内容
本发明所要解决的技术问题是提供一种基于异构式成像的密集光场图像重建方法，其联合光场相机与2D数码相机以构成异构式成像系统，光场相机捕获的角度信息可用于帮助2D图像进行密集光场重建，即将2D数码相机捕获的图像重建为新的高分辨率的密集光场图像，其能在有效恢复重建密集光场图像的空间纹理信息的同时，保证重建准确的角度一致性。
本发明解决上述技术问题所采用的技术方案为：一种基于异构式成像的密集光场图像重建方法，其特征在于包括以下步骤：
步骤1：选取一幅用于测试的由异构式成像系统中的光场相机所采集的光场图像，其空间分辨率为W×H，角度分辨率为V×U，将其称之为参考光场图像，并记为Lref，以及对应的一幅由异构式成像系统中的2D数码相机所采集的2D图像，其分辨率为W×H，将其称之为目标2D图像，并记为Itar；
步骤2：构建一个前向光场重建模块：前向光场重建模块接收一幅空间分辨率为W×H且角度分辨率为V×U的参考光场图像Lref，以及一幅分辨率为W×H的目标2D图像Itar，前向光场重建模块输出一幅空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像即密集光场图像，记为Rtar；前向光场重建模块的处理过程为：
步骤2_1：构建一个卷积神经网络作为深度估计器：深度估计器由依次连接的第一卷积块、第二卷积块和第三卷积块组成；在第一卷积块的输入端前，对Lref中的所有子孔径图像在通道维进行级联操作，级联结果等价于V×U幅宽度为W且高度为H的子孔径图像；第一卷积块的输入端接收级联结果，第一卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fd1；第二卷积块的输入端接收Fd1中的所有特征图，第二卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fd2；第三卷积块的输入端接收Fd2中的所有特征图，第三卷积块的输出端输出一幅宽度为W且高度为H的估计的光场深度图，将其记为Dref；
步骤2_2：将步骤2_1得到的估计的光场深度图Dref进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为
然后利用深度阈值Th，对/>
进行前背景分割以得到前背景分割掩膜图，将其记为Mref,FD；其中，Th∈[0.5,1]；
步骤2_3：构建一个卷积神经网络作为光流估计器：光流估计器包括前景光流估计网络、背景光流估计网络和基于前背景分割掩膜图的融合三部分；
对于前景光流估计网络，其由依次连接的第四卷积块、第五卷积块和第六卷积块组成；第四卷积块的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第四卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo1,f；第五卷积块的输入端接收Fo1,f中的所有特征图，第五卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo2,f；第六卷积块的输入端接收Fo2,f中的所有特征图，第六卷积块的输出端输出一幅宽度为W且高度为H的估计的前景水平光流图和一幅宽度为W且高度为H的估计的前景垂直光流图，对应记为Oref,f1和Oref,f2；
对于背景光流估计网络，其由依次连接的第七卷积块、第八卷积块和第九卷积块组成；第七卷积块的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第七卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo1,b；第八卷积块的输入端接收Fo1,b中的所有特征图，第八卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo2,b；第九卷积块的输入端接收Fo2,b中的所有特征图，第九卷积块的输出端输出一幅宽度为W且高度为H的估计的背景水平光流图和一幅宽度为W且高度为H的估计的背景垂直光流图，对应记为Oref,b1和Oref,b2；
对于基于前背景分割掩膜图的融合，其利用步骤2_2得到的前背景分割掩膜图Mref,FD来融合估计的前景水平光流图Oref,f1和估计的背景水平光流图Oref,b1，得到估计的水平光流图，记为Oref1；同样，利用步骤2_2得到的前背景分割掩膜图Mref,FD来融合估计的前景垂直光流图Oref,f2和估计的背景垂直光流图Oref,b2，得到估计的垂直光流图，记为Oref2；
步骤2_4：利用步骤2_3得到的估计的水平光流图Oref1和估计的垂直光流图Oref2来对Dref进行基于光流的后向绘制，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为
步骤2_5：利用步骤2_4得到的绘制后的光场深度图
来对Itar进行基于深度的前向绘制，得到一幅空间分辨率为W×H且角度分辨率为V×U的初始的目标光场图像，将其记为/>
步骤2_6：构建一个卷积神经网络作为遮挡预测器：遮挡预测器由依次连接的第十卷积层、第一改进空间角度卷积层、第二改进空间角度卷积层、第三改进空间角度卷积层、第十一卷积层和第十二卷积层组成；第十卷积层的输入端接收步骤2_5得到的
第十卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp1；第一改进空间角度卷积层的输入端接收Fp1中的所有特征图，第一改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp2；第二改进空间角度卷积层的输入端接收Fp2中的所有特征图，第二改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp3；第三改进空间角度卷积层的输入端接收Fp3中的所有特征图，第三改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp4；第十一卷积层的输入端接收Fp4中的所有特征图，第十一卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp5；第十二卷积层的输入端接收Fp5中的所有特征图，第十二卷积层的输出端输出一幅宽度为W×V且高度为H×U的精细化后的光场图像，精细化后的光场图像进一步重组为空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像Rtar；其中，第十卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为1、输出通道数为64，第十一卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为64，第十二卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为1，第十卷积层和第十一卷积层采用的激活函数均为ReLU，第十二卷积层不采用激活函数；
步骤3：构建一个后向光场重建模块，其结构与步骤2中构建的前向光场重建模块相同，并且与步骤2中构建的前向光场重建模块共享网络参数；后向光场重建模块接收一幅由前向光场重建模块所输出的空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像Rtar，以及一幅空间分辨率为W×H且角度分辨率为V×U的参考光场图像Lref的中心子孔径图像，后向光场重建模块输出一幅空间分辨率为W×H且角度分辨率为V×U的重建的参考光场图像，记为Rref；后向光场重建模块的处理过程为：
步骤3_1：利用步骤2_1构建的深度估计器来对Rtar进行深度估计，得到一幅宽度为W且高度为H的估计的光场深度图，将其记为Dtar；
步骤3_2：将步骤3_1得到的估计的光场深度图Dtar进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为
然后利用深度阈值Th，对/>
进行前背景分割以得到前背景分割掩膜图，将其记为Mtar,FD；
步骤3_3：利用步骤2_3构建的光流估计器来对Rtar的中心子孔径图像和Lref的中心子孔径图像进行光流估计，得到估计的水平光流图和估计的垂直光流图，对应记为Otar1和Otar2；
步骤3_4：利用步骤3_3得到的估计的水平光流图Otar1和估计的垂直光流图Otar2来对Dtar进行基于光流的后向绘制，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为
步骤3_5：利用步骤3_4得到的绘制后的光场深度图
来对Lref的中心子孔径图像进行基于深度的前向绘制，得到一幅空间分辨率为W×H且角度分辨率为V×U的初始的参考光场图像，将其记为/>
步骤3_6：利用步骤2_6构建的遮挡预测器来对步骤3_5得到的初始的参考光场图像
进行精细化处理，精细化后的光场图像进一步重组为空间分辨率为W×H且角度分辨率为V×U的重建的参考光场图像Rref；
步骤4：利用光度一致性假设来构造无监督的绘制损失，作为步骤2和步骤3中构建的深度估计器和光流估计器的训练损失；并利用Lref和步骤3_6中得到的重建的参考光场图像Rref来计算重建误差，以构成循环一致性约束，作为步骤2和步骤3中构建的遮挡预测器的训练损失；再根据上述训练损失来端到端地训练前向光场重建模块和后向光场重建模块；
步骤5：在前向光场重建模块和后向光场重建模块训练结束后，得到训练有素的深度估计器、光流估计器和遮挡预测器；然后将Lref和Itar输入到前向光场重建模块中，测试得到空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像。
所述的步骤2_1中，第一卷积块、第二卷积块和第三卷积块的结构相同，仅在输入和输出的通道数上有所区别，其包括依次连接的第一卷积层、第二卷积层和第三卷积层，第一卷积层的输入端为其所在的卷积块的输入端，第三卷积层的输出端为其所在的卷积块的输出端；在第一卷积块中，第一卷积层的输入端接收对Lref中的所有子孔径图像在通道维进行级联操作得到的级联结果，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fd1；在第二卷积块中，第一卷积层的输入端接收Fd1中的所有特征图，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fd2；在第三卷积块中，第一卷积层的输入端接收Fd2中的所有特征图，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出一幅宽度为W且高度为H的估计的光场深度图，其即为Dref；其中，第一卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1，以及输入通道数依次为V×U、64、64，输出通道数均为64，采用的激活函数均为ReLU，第二卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为ReLU，第三卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64，以及输出通道数依次为64、64、1，采用的激活函数依次为ReLU、ReLU、Tanh。
所述的步骤2_2中，
的获取过程为：/>
其中，min()表示取像素最小值，max()表示取像素最大值；Mref,FD的获取过程为：将Mref,FD中坐标位置为(x,y)的像素记为Mref,FD(x,y)，/>
其中，1≤x≤W,1≤y≤H，/>
(x,y)表示/>
中坐标位置为(x,y)的像素。
所述的步骤2_3中，第四卷积块、第五卷积块和第六卷积块的结构相同，仅在卷积扩张系数以及输入和输出的通道数上有所区别，其包括依次连接的第四卷积层、第五卷积层和第六卷积层，第四卷积层的输入端为其所在的卷积块的输入端，第六卷积层的输出端为其所在的卷积块的输出端；在第四卷积块中，第四卷积层的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo1,f；在第五卷积块中，第四卷积层的输入端接收Fo1,f中的所有特征图，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo2,f；在第六卷积块中，第四卷积层的输入端接收Fo2,f中的所有特征图，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收
中的所有特征图，第六卷积层的输出端输出一幅宽度为W且高度为H的估计的前景水平光流图和一幅宽度为W且高度为H的估计的前景垂直光流图，其即对应为Oref,f1和Oref,f2；其中，第四卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为1、2、4，卷积步长均为1，输入通道数依次为2、64、64，输出通道数均为64，采用的激活函数均为ReLU；第五卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为8、16、32，卷积步长均为1，输入通道数均为64，输出通道数均为64，采用的激活函数均为ReLU；第六卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为64、1、1，卷积步长均为1，输入通道数均为64，输出通道数依次为64、64、2，采用的激活函数依次为ReLU、ReLU、Tanh。
所述的步骤2_3中，第七卷积块、第八卷积块和第九卷积块的结构相同，仅在卷积扩张系数以及输入和输出的通道数上有所区别，其包括依次连接的第七卷积层、第八卷积层和第九卷积层，第七卷积层的输入端为其所在的卷积块的输入端，第九卷积层的输出端为其所在的卷积块的输出端；在第七卷积块中，第七卷积层的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第九卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo1,b；在第八卷积块中，第七卷积层的输入端接收Fo1,b中的所有特征图，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第九卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo2,b；在第九卷积块中，第七卷积层的输入端接收Fo2,b中的所有特征图，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出一幅宽度为W且高度为H的估计的背景水平光流图和一幅宽度为W且高度为H的估计的背景垂直光流图，其即对应为Oref,b1和Oref,b2；其中，第七卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为1、2、4，卷积步长均为1，输入通道数依次为2、64、64，输出通道数均为64，采用的激活函数均为ReLU；第八卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为8、16、32，卷积步长均为1，输入通道数均为64，输出通道数均为64，采用的激活函数均为ReLU；第九卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数均为1，卷积步长均为1，输入通道数均为64，输出通道数依次为64、64、2，采用的激活函数依次为ReLU、ReLU、Tanh。
所述的步骤2_3中，Oref1＝Mref,FD×Oref,f1+(1-Mref,FD)×Oref,b1，Oref2＝Mref,FD×Oref,f2+(1-Mref,FD)×Oref,b2。
所述的步骤2_6中，第一改进空间角度卷积层、第二改进空间角度卷积层和第三改进空间角度卷积层的结构相同，其包括依次连接的第十三卷积层、第十四卷积层、空间到角度重组、第十五卷积层、角度到空间重组，第十三卷积层的输入端为其所在的改进空间角度卷积层的输入端，角度到空间重组的输出端为其所在的改进空间角度卷积层的输出端；在第一改进空间角度卷积层中，第十三卷积层的输入端接收Fp1中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第一改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp2；在第二改进空间角度卷积层中，第十三卷积层的输入端接收Fp2中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第二改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp3；在第三改进空间角度卷积层中，第十三卷积层的输入端接收Fp3中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第三改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp4；其中，第一改进空间角度卷积层、第二改进空间角度卷积层和第三改进空间角度卷积层各自中的第十三卷积层，第十四卷积层和第十五卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为ReLU。
与现有技术相比，本发明的优点在于：
1)本发明方法考虑到2D数码相机仅能采集光线的空间信息，而光场相机在降低空间分辨率的前提下可获取丰富的角度信息，因而光场相机与2D数码相机进行组合可构成异构式成像系统以实现空间和角度信息的较为完备的获取，在此基础上，构建了一个无监督学习框架以利用光场相机采集的角度信息来实现2D图像的角度密集重建，即将2D图像重建为新的密集光场图像，其能在合成细致的空间纹理信息的同时，重建准确的角度一致性。
2)为提取光场相机所采集的光场数据的角度信息，本发明方法构建了深度估计器来推断场景的深度信息，作为角度信息的显式表示模型；同时，本发明方法构建了光流估计器来建立光场相机与2D数码相机之间的几何关系，进而将推断得到的深度信息迁移到所采集的2D图像中，并通过绘制技术以将2D图像合成为初始的密集光场图像；此外，基于光度一致性假设，上述构建的深度估计器和光流估计器均可实现无监督学习。
3)由于视差和遮挡等问题，绘制结果会存在错误信息，为此，本发明方法构建了遮挡预测器来精细初始的密集光场图像，以进一步提高重建质量；遮挡预测器与先前构建的深度估计器和光流估计器组成了前向光场重建模块；考虑到实际的异构式成像系统缺乏真值数据用于监督，本发明方法引入了与前向光场重建模块共享结构和参数的后向光场重建模块，该二者形成循环一致性约束，进而实现遮挡预测器的无监督学习。
附图说明
图1为本发明方法的总体实现流程框图；
图2为本发明方法构建的前向光场重建模块(也是后向光场重建模块)的处理过程示意图；
图3为本发明方法构建的前向光场重建模块中的深度估计器的组成结构示意图；
图4为本发明方法构建的前向光场重建模块中的光流估计器的组成结构示意图；
图5a为本发明方法构建的前向光场重建模块中的遮挡预测器的组成结构示意图；
图5b为本发明方法构建的前向光场重建模块中的遮挡预测器中的改进空间角度卷积层的组成结构示意图；
图6a给出了测试图像6(IMG_0815)对应的真值密集光场图像，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6b给出了采用Kalantari等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6c给出了采用Shi等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6d给出了采用Wu等人提出的基于极平面图像复原的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6e给出了采用Wu等人提出的基于学习剪切极平面图像结构的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6f给出了采用Yeung等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6g给出了采用Meng等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6h给出了采用Li等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图6i给出了采用本发明方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示。
图7a给出了测试图像7(IMG_0946)对应的真值密集光场图像，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7b给出了采用Kalantari等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7c给出了采用Shi等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7d给出了采用Wu等人提出的基于极平面图像复原的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7e给出了采用Wu等人提出的基于学习剪切极平面图像结构的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7f给出了采用Yeung等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7g给出了采用Meng等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7h给出了采用Li等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；
图7i给出了采用本发明方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
随着科技的迅猛发展，用户对包含沉浸感和交互式的媒体的需求越来越强烈。在此背景下，传统2D成像方法很难有效获取完备的光线信息以服务于后续的沉浸式视频图像内容的制作和生产。光场成像是一种新兴的成像方法，其可同时获取光线的强度(即空间)和方向(即角度)信息，进而较为完备地表征三维真实世界信息。特别地，商业光场相机的出现，进一步推动了光场媒体走进普通用户或消费者的日常生活。然而受限于传感器分辨率，光场相机在捕获充足的角度信息的同时，不可避免地造成空间分辨率的降低。相比之下，2D数码相机可捕获更为丰富的空间信息，但其前提是舍弃角度信息。因此，联合两类相机成像特点，以实现高质量光场成像是推动光场成像技术进步的重要内容，尤其是探索利用光场相机来提升现有的2D数码相机成像质量，即将2D数码相机成像内容重建为高分辨率的密集光场图像，针对此，本发明提出了一种基于异构式成像的密集光场图像重建方法，其通过异构式成像(包括一个光场相机和一个2D数码相机)来采集一幅光场图像和一幅2D图像，二者来自不同的视点，基于该成像数据，探索利用光场图像中蕴含的角度信息来帮助将2D图像重建为新视点下的密集光场图像，具体是构建了一个无监督学习框架，其包括两部分，分别是前向光场重建模块和后向光场重建模块，该二者共享网络结构和参数；对于前向光场重建模块而言，首先构建深度估计器来从采集的光场图像中推断角度信息的显式表示，即场景深度信息；之后构建光流估计器来建模采集的光场图像与2D图像之间的几何关系，以将推断的深度信息迁移到2D图像中，并通过绘制技术来合成初始的密集光场图像；然后构建遮挡预测器来精细处理通过绘制技术所合成的初始重建结果，以生成最终的密集光场图像；由于实际的异构式成像系统缺乏真值数据用于监督，所以构建了与前向光场重建模块对应的后向光场重建模块，其是将由前向光场重建模块生成的结果重构为原始的输入数据，即采集的源数据，进而形成循环一致性约束，同时基于光度一致性假设，所构建的深度估计器、光流估计器以及遮挡预测器均可实现无监督训练。此外，构建的后向光场重建模块仅用于训练过程，在实际测试或推断中，仅需要利用构建的前向光场重建模块即可从输入的异构式成像数据中重建新的密集光场图像。
本发明提出的一种基于异构式成像的密集光场图像重建方法，其总体实现流程框图如图1所示，其包括以下步骤：
步骤1：选取一幅用于测试的由异构式成像系统中的光场相机所采集的光场图像，其空间分辨率为W×H，角度分辨率为V×U，将其称之为参考光场图像，并记为Lref，以及对应的一幅由异构式成像系统中的2D数码相机所采集的2D图像，其分辨率为W×H，将其称之为目标2D图像，并记为Itar；在本实施例中W×H为600×400、V×U为7×7。
步骤2：构建一个前向光场重建模块：前向光场重建模块接收一幅空间分辨率为W×H且角度分辨率为V×U的参考光场图像Lref，以及一幅分辨率为W×H的目标2D图像Itar，前向光场重建模块输出一幅空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像即密集光场图像，记为Rtar；如图2所示，前向光场重建模块的处理过程为：
步骤2_1：构建一个卷积神经网络作为深度估计器：如图3所示，深度估计器由依次连接的第一卷积块、第二卷积块和第三卷积块组成；在第一卷积块的输入端前，对Lref中的所有子孔径图像在通道维进行级联操作，级联结果等价于V×U幅宽度为W且高度为H的子孔径图像；第一卷积块的输入端接收级联结果，第一卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fd1；第二卷积块的输入端接收Fd1中的所有特征图，第二卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fd2；第三卷积块的输入端接收Fd2中的所有特征图，第三卷积块的输出端输出一幅宽度为W且高度为H的估计的光场深度图，将其记为Dref；在此，级联操作为卷积神经网络中的常规操作。
在本实施例中，所述的步骤2_1中，第一卷积块、第二卷积块和第三卷积块的结构相同，仅在输入和输出的通道数上有所区别，其结构如图3所示，其包括依次连接的第一卷积层、第二卷积层和第三卷积层，第一卷积层的输入端为其所在的卷积块的输入端，第三卷积层的输出端为其所在的卷积块的输出端；在第一卷积块中，第一卷积层的输入端接收对Lref中的所有子孔径图像在通道维进行级联操作得到的级联结果，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fd1；在第二卷积块中，第一卷积层的输入端接收Fd1中的所有特征图，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fd2；在第三卷积块中，第一卷积层的输入端接收Fd2中的所有特征图，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收
中的所有特征图，第三卷积层的输出端输出一幅宽度为W且高度为H的估计的光场深度图，其即为Dref；其中，第一卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1，以及输入通道数依次为V×U(在本实施例中，V×U为7×7，即等于49)、64、64，输出通道数均为64，采用的激活函数均为ReLU，第二卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为ReLU，第三卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64，以及输出通道数依次为64、64、1，采用的激活函数依次为ReLU、ReLU、Tanh。
步骤2_2：将步骤2_1得到的估计的光场深度图Dref进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为
然后利用深度阈值Th，对/>
进行前背景分割以得到前背景分割掩膜图，将其记为Mref,FD；其中，Th∈[0.5,1]，在本实施例中Th取值为0.6，前背景分割实际上为简单的二值化处理，大于或等于深度阈值Th的像素置为1，小于深度阈值Th的像素置为0。
在本实施例中，所述的步骤2_2中，
的获取过程为：/>
其中，min()表示取像素最小值，max()表示取像素最大值；Mref,FD的获取过程为：将Mref,FD中坐标位置为(x,y)的像素记为Mref,FD(x,y)，/>
其中，1≤x≤W,1≤y≤H，/>
表示/>
中坐标位置为(x,y)的像素。
步骤2_3：构建一个卷积神经网络作为光流估计器：如图4所示，光流估计器包括前景光流估计网络、背景光流估计网络和基于前背景分割掩膜图的融合三部分。
对于前景光流估计网络，其由依次连接的第四卷积块、第五卷积块和第六卷积块组成；第四卷积块的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第四卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo1,f；第五卷积块的输入端接收Fo1,f中的所有特征图，第五卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo2,f；第六卷积块的输入端接收Fo2,f中的所有特征图，第六卷积块的输出端输出一幅宽度为W且高度为H的估计的前景水平光流图和一幅宽度为W且高度为H的估计的前景垂直光流图，对应记为Oref,f1和Oref,f2。
对于背景光流估计网络，其由依次连接的第七卷积块、第八卷积块和第九卷积块组成；第七卷积块的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第七卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo1,b；第八卷积块的输入端接收Fo1,b中的所有特征图，第八卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo2,b；第九卷积块的输入端接收Fo2,b中的所有特征图，第九卷积块的输出端输出一幅宽度为W且高度为H的估计的背景水平光流图和一幅宽度为W且高度为H的估计的背景垂直光流图，对应记为Oref,b1和Oref,b2。
对于基于前背景分割掩膜图的融合，其利用步骤2_2得到的前背景分割掩膜图Mref,FD来融合估计的前景水平光流图Oref,f1和估计的背景水平光流图Oref,b1，得到估计的水平光流图，记为Oref1；同样，利用步骤2_2得到的前背景分割掩膜图Mref,FD来融合估计的前景垂直光流图Oref,f2和估计的背景垂直光流图Oref,b2，得到估计的垂直光流图，记为Oref2。
在本实施例中，所述的步骤2_3中，第四卷积块、第五卷积块和第六卷积块的结构相同，仅在卷积扩张系数以及输入和输出的通道数上有所区别，其结构如图4所示，其包括依次连接的第四卷积层、第五卷积层和第六卷积层，第四卷积层的输入端为其所在的卷积块的输入端，第六卷积层的输出端为其所在的卷积块的输出端；在第四卷积块中，第四卷积层的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo1,f；在第五卷积块中，第四卷积层的输入端接收Fo1,f中的所有特征图，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo2,f；在第六卷积块中，第四卷积层的输入端接收Fo2,f中的所有特征图，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出一幅宽度为W且高度为H的估计的前景水平光流图和一幅宽度为W且高度为H的估计的前景垂直光流图，其即对应为Oref,f1和Oref,f2；其中，第四卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为1、2、4，卷积步长均为1，输入通道数依次为2、64、64，输出通道数均为64，采用的激活函数均为ReLU；第五卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为8、16、32，卷积步长均为1，输入通道数均为64，输出通道数均为64，采用的激活函数均为ReLU；第六卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为64、1、1，卷积步长均为1，输入通道数均为64，输出通道数依次为64、64、2，采用的激活函数依次为ReLU、ReLU、Tanh。
在本实施例中，所述的步骤2_3中，第七卷积块、第八卷积块和第九卷积块的结构相同，仅在卷积扩张系数以及输入和输出的通道数上有所区别，其结构如图4所示，其包括依次连接的第七卷积层、第八卷积层和第九卷积层，第七卷积层的输入端为其所在的卷积块的输入端，第九卷积层的输出端为其所在的卷积块的输出端；在第七卷积块中，第七卷积层的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第九卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo1,b；在第八卷积块中，第七卷积层的输入端接收Fo1,b中的所有特征图，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第九卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo2,b；在第九卷积块中，第七卷积层的输入端接收Fo2,b中的所有特征图，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第八卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出一幅宽度为W且高度为H的估计的背景水平光流图和一幅宽度为W且高度为H的估计的背景垂直光流图，其即对应为Oref,b1和Oref,b2；其中，第七卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为1、2、4，卷积步长均为1，输入通道数依次为2、64、64，输出通道数均为64，采用的激活函数均为ReLU；第八卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为8、16、32，卷积步长均为1，输入通道数均为64，输出通道数均为64，采用的激活函数均为ReLU；第九卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数均为1，卷积步长均为1，输入通道数均为64，输出通道数依次为64、64、2，采用的激活函数依次为ReLU、ReLU、Tanh。
在本实施例中，所述的步骤2_3中，Oref1＝Mref,FD×Oref,f1+(1-Mref,FD)×Oref,b1，Oref2＝Mref,FD×Oref,f2+(1-Mref,FD)×Oref,b2。
步骤2_4：利用步骤2_3得到的估计的水平光流图Oref1和估计的垂直光流图Oref2来对Dref进行基于光流的后向绘制(Backward Warping)，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为
步骤2_5：利用步骤2_4得到的绘制后的光场深度图
来对Itar进行基于深度的前向绘制(Forward Warping)，得到一幅空间分辨率为W×H且角度分辨率为V×U的初始的目标光场图像，将其记为/>
步骤2_6：构建一个卷积神经网络作为遮挡预测器：如图5a所示，遮挡预测器由依次连接的第十卷积层、第一改进空间角度卷积层、第二改进空间角度卷积层、第三改进空间角度卷积层、第十一卷积层和第十二卷积层组成；第十卷积层的输入端接收步骤2_5得到的
第十卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp1；第一改进空间角度卷积层的输入端接收Fp1中的所有特征图，第一改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp2；第二改进空间角度卷积层的输入端接收Fp2中的所有特征图，第二改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp3；第三改进空间角度卷积层的输入端接收Fp3中的所有特征图，第三改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp4；第十一卷积层的输入端接收Fp4中的所有特征图，第十一卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp5；第十二卷积层的输入端接收Fp5中的所有特征图，第十二卷积层的输出端输出一幅宽度为W×V且高度为H×U的精细化后的光场图像，精细化后的光场图像进一步重组为空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像Rtar；其中，第十卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为1、输出通道数为64，第十一卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为64，第十二卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为1，第十卷积层和第十一卷积层采用的激活函数均为ReLU(Rectified Linear Unit，修正线性单元)，第十二卷积层不采用激活函数；在此，重组操作是光场图像处理领域的常规手段，重组操作仅改变光场图像中每个像素值或者特征图中每个特征值的排列次序，不改变像素值或特征值的数值大小。
在本实施例中，所述的步骤2_6中，第一改进空间角度卷积层、第二改进空间角度卷积层和第三改进空间角度卷积层的结构相同，其结构如图5b所示，其包括依次连接的第十三卷积层、第十四卷积层、空间到角度重组、第十五卷积层、角度到空间重组，第十三卷积层的输入端为其所在的改进空间角度卷积层的输入端，角度到空间重组的输出端为其所在的改进空间角度卷积层的输出端；在第一改进空间角度卷积层中，第十三卷积层的输入端接收Fp1中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作(重组操作是光场图像处理领域的常规手段，重组操作仅改变特征图中每个特征值的排列次序，不改变特征值的数值大小)，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第一改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp2；在第二改进空间角度卷积层中，第十三卷积层的输入端接收Fp2中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第二改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp3；在第三改进空间角度卷积层中，第十三卷积层的输入端接收Fp3中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第三改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp4；其中，第一改进空间角度卷积层、第二改进空间角度卷积层和第三改进空间角度卷积层各自中的第十三卷积层，第十四卷积层和第十五卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为ReLU。
步骤3：构建一个后向光场重建模块，其结构与步骤2中构建的前向光场重建模块相同，并且与步骤2中构建的前向光场重建模块共享网络参数(网络参数共享可有效减少本发明方法中涉及的可学习参数以加速收敛，并降低计算复杂度)；后向光场重建模块接收一幅由前向光场重建模块所输出的空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像Rtar，以及一幅空间分辨率为W×H且角度分辨率为V×U的参考光场图像Lref的中心子孔径图像，后向光场重建模块输出一幅空间分辨率为W×H且角度分辨率为V×U的重建的参考光场图像，记为Rref；参见图2中的结构，后向光场重建模块的处理过程为：
步骤3_1：利用步骤2_1构建的深度估计器来对Rtar进行深度估计，得到一幅宽度为W且高度为H的估计的光场深度图，将其记为Dtar。
步骤3_2：将步骤3_1得到的估计的光场深度图Dtar进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为
然后利用深度阈值Th，对/>
进行前背景分割以得到前背景分割掩膜图，将其记为Mtar,FD。
步骤3_3：利用步骤2_3构建的光流估计器来对Rtar的中心子孔径图像和Lref的中心子孔径图像进行光流估计，得到估计的水平光流图和估计的垂直光流图，对应记为Otar1和Otar2。
步骤3_4：利用步骤3_3得到的估计的水平光流图Otar1和估计的垂直光流图Otar2来对Dtar进行基于光流的后向绘制，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为
步骤3_5：利用步骤3_4得到的绘制后的光场深度图
来对Lref的中心子孔径图像进行基于深度的前向绘制，得到一幅空间分辨率为W×H且角度分辨率为V×U的初始的参考光场图像，将其记为/>
步骤3_6：利用步骤2_6构建的遮挡预测器来对步骤3_5得到的初始的参考光场图像
进行精细化处理，精细化后的光场图像进一步重组为空间分辨率为W×H且角度分辨率为V×U的重建的参考光场图像Rref。
步骤4：利用光度一致性假设来构造无监督的绘制损失，作为步骤2和步骤3中构建的深度估计器和光流估计器的训练损失；并利用Lref和步骤3_6中得到的重建的参考光场图像Rref来计算重建误差，以构成循环一致性约束，作为步骤2和步骤3中构建的遮挡预测器的训练损失；再根据上述训练损失来端到端地训练前向光场重建模块和后向光场重建模块。
步骤5：在前向光场重建模块和后向光场重建模块训练结束后，得到训练有素的深度估计器、光流估计器和遮挡预测器；然后将Lref和Itar输入到前向光场重建模块中，测试得到空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像。后向光场重建模块旨在为前向光场重建模块的无监督训练构造合理的监督信号，即其与前向光场重建模块一起形成循环一致性约束以有效训练构建的遮挡预测器；在测试中，仅需要前向光场重建模块即可从输入的一幅参考光场图像和一幅目标2D图像中重建密集采样的目标光场图像，换而言之，后向光场重建模块仅用于步骤4中的训练。
为进一步说明本发明方法的可行性和有效性，对本发明方法进行实验验证。
本发明方法采用PyTorch深度学习框架进行实现。由于本发明方法属于零样本学习，所以无需额外的大规模训练数据来进行预训练。换而言之，本发明方法只需对输入的测试图像进行在线训练，训练结束后进行测试。这里采用网上公开可得的多视点光场数据库(L.Jebe,J.Thatte,D.Dansereau,and G.Wetzstein.The Stanford Multiview LightField Datasets,Available:http://lightfields.stanford.edu/mvlf/release/(斯坦福多视点光场数据集))来构造测试图像集合。需要指出，多视点光场数据库是由斯坦福大学的研究者利用放置在云台上不同位置处的多个光场相机进行拍摄而建立的。
为保证测试的可靠性与鲁棒性，选择了多个针对不同场景的光场图像来构成测试图像集合。具体而言，针对同一场景，从多视点光场数据库中取出左视点光场图像作为本发明方法中涉及的异构式成像系统中的光场相机所采集的图像数据，并将其称之为参考光场图像；从多视点光场数据库中取出右视点光场图像中的中心子孔径图像作为本发明方法中涉及的异构式成像系统中的2D数码相机所采集的图像数据，并将其称之为目标2D图像。此外，从多视点光场数据库中取出完整的右视点光场图像作为真值光场图像，其仅用于后续的主观视觉比较和客观质量评估，而不涉及本发明方法中构建的网络的推断或测试。由于本发明方法仅涉及光场角度重建，所以假定异构式成像系统中的光场相机所采集的图像数据(即参考光场图像)的空间分辨率已调整到与2D数码相机所采集的2D图像(即目标2D图像)的分辨率相同。考虑到光场相机存在的渐晕效应(即边界子孔径图像表现出极低的视觉质量)，将用于测试的参考光场图像的角度分辨率剪裁为7×7，即从原始的15×15的光场图像中取出中心高质量的7×7视图作为测试图像数据。
在测试阶段，首先将用于测试的参考光场图像裁剪为一系列(7×7)×(240×240)×3的光场图像块，其中，7×7表示角度分辨率，240×240表示空间分辨率，3表示颜色通道数；与之对应，将用于测试的目标2D图像裁剪为一系列(240×240)×3的2D图像块，其中，240×240表示分辨率，3表示颜色通道数；然后利用裁剪后的数据来在线训练所构建的前向光场重建模块和后向光场重建模块直至收敛；最后利用训练好的前向光场重建模块来从输入的完整的测试数据中推断目标光场图像，其角度分辨率将从1×1扩展到7×7。在在线训练时，所有卷积核的参数采用Xavier初始化器进行初始化；损失函数选用像素域L1范数损失和极平面图像梯度损失的组合；利用ADAM优化器来端到端地训练所构建的前向光场重建模块和后向光场重建模块。需要指出，后向光场重建模块仅用于在线训练，其是为前向光场重建模块的训练提供监督信号以构成循环一致性约束，进而实现无监督学习。
为了说明本发明方法的性能，将本发明方法与现有的六种基于规则采样的密集光场图像重建方法和一种基于单图像输入的密集光场图像重建方法进行对比，分别为Kalantari等人提出的基于双卷积神经网络的方法、Shi等人提出的基于联合像素域和特征域学习的方法、Wu等人提出的基于极平面图像复原的方法、Wu等人提出的基于学习剪切极平面图像结构的方法、Yeung等人提出的基于空间-角度可分离卷积的方法、Meng等人提出的基于4D密集残差网络的方法，以及Li等人提出的基于多平面表示模型的方法，其中，前六个对比方法是将规则采样的稀疏光场图像，如2×2或3×3光场图像作为输入以重建密集采样的7×7光场图像，最后一个对比方法，即Li等人的方法是将单幅2D图像重建为密集采样的7×7光场图像。
在此，使用典型的客观质量评价指标来定量度量不同密集光场图像重建方法的性能，客观质量评价指标具体包括PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)和SSIM(Structural Similarity Index，结构相似性指数)，其中，PSNR是从像素重建误差角度来评估重建的密集光场图像的客观质量，其值越高表示重建的密集光场图像的质量越好；SSIM是从视觉感知(即结构感知)的角度来评估重建的密集光场图像的客观质量，其值在0～1范围之间，值越高表示重建的密集光场图像的质量越好。
表1给出了采用本发明方法与现有的基于规则采样的密集光场图像重建方法、现有的基于单图像的密集光场图像重建方法在PSNR(dB)指标上的对比，表2给出了采用本发明方法与现有的基于规则采样的密集光场图像重建方法、现有的基于单图像的密集光场图像重建方法在SSIM指标上的对比。
表1采用本发明方法与现有的基于规则采样的密集光场图像重建方法、现有的基于单图像的密集光场图像重建方法在PSNR(dB)指标上的对比
表2采用本发明方法与现有的基于规则采样的密集光场图像重建方法、现有的基于单图像的密集光场图像重建方法在SSIM指标上的对比
从表1和表2中所列出的客观数据可以观察到，对于不同的测试图像，本发明方法在所使用的两个客观质量评价指标上均取得了优于对比方法的质量分数，并且显著高于基于单图像的密集光场图像重建方法(即Li等人的方法)。值得注意的是，本发明方法和Li等人的方法的目标均是将2D图像重建为密集采样的光场图像。上述实验结果表明本发明方法可以高质量地重建密集光场图像，并恢复重建结果中良好的角度一致性。此外，需要指出所有对比方法均是基于有监督学习，而本发明方法属于无监督学习，即其在训练中无需任何来自真值图像的监督信息，因而更具实用性。
图6a给出了测试图像6(IMG_0815)对应的真值密集光场图像，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6b给出了采用Kalantari等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6c给出了采用Shi等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6d给出了采用Wu等人的基于极平面图像复原的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6e给出了采用Wu等人的基于学习剪切极平面图像结构的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6f给出了采用Yeung等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6g给出了采用Meng等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6h给出了采用Li等人的方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图6i给出了采用本发明方法对测试图像6(IMG_0815)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示。
图7a给出了测试图像7(IMG_0946)对应的真值密集光场图像，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7b给出了采用Kalantari等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7c给出了采用Shi等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7d给出了采用Wu等人的基于极平面图像复原的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7e给出了采用Wu等人的基于学习剪切极平面图像结构的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7f给出了采用Yeung等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7g给出了采用Meng等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7h给出了采用Li等人的方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示；图7i给出了采用本发明方法对测试图像7(IMG_0946)进行处理得到的重建密集光场图像所对应的残差图(即重建结果与真值图像之间的像素误差)，这里取角度坐标(3,2)处的子孔径图像(包括局部放大图)来展示。
需要指出，残差图越暗表示其所对应的重建结果越接近真值图像，反之，残差图越亮表示其所对应的重建结果越偏离真值图像。对比现有的密集光场图像重建方法与本发明方法所生成的残差图，即将图6b至图6h与图6i对比，以及将图7b至图7h与图7i对比，可以清楚地观察到，本发明方法对应的残差图在主观感知上表现出最暗的亮度，这表明本发明方法重建的密集光场图像最为接近真值密集光场图像。此外，对比图6a至图6i中的局部放大图，以及对比图7a至图7i中的局部放大图，可以清楚地看到，本发明方法重建的密集光场图像展现出更清晰的纹理和细节，这表明本发明方法可生成具有更高视觉质量的密集光场图像。
本发明方法的创新性主要体现如下：一是采用异构式成像以实现充足的空间和角度信息获取，即在利用2D数码相机获取高分辨率空间信息的同时，利用商业光场相机采集角度信息，进而通过探索采集的角度信息来帮助高质量地将获取的2D图像重建为密集光场图像，并恢复准确的角度一致性；二是为将采集的光场图像的角度信息迁移到2D图像中以合成新视点下的密集光场图像，本发明方法分别构建了基于无监督学习的深度估计器和光流估计器，前者旨在从采集的光场图像中提取显式的角度信息，后者则是为建立采集的光场图像与2D图像之间的几何关系，之后通过绘制技术，以将2D图像重建为初始的密集光场图像；三是构建了遮挡预测器来修复由绘制产生的初始的密集光场图像中存在的错误信息，其中，遮挡预测器与深度估计器和光流估计器共同组成了前向光场重建模块。为实现遮挡预测器的无监督训练，构建了一个与前向光场重建模块具有相同结构且共享网络参数的后向光场重建模块，该二者形成了循环一致性约束，进而克服了对标签数据的需求。
Claims (7)
1.一种基于异构式成像的密集光场图像重建方法，其特征在于包括以下步骤：
步骤1：选取一幅用于测试的由异构式成像系统中的光场相机所采集的光场图像，其空间分辨率为W×H，角度分辨率为V×U，将其称之为参考光场图像，并记为Lref，以及对应的一幅由异构式成像系统中的2D数码相机所采集的2D图像，其分辨率为W×H，将其称之为目标2D图像，并记为Itar；
步骤2：构建一个前向光场重建模块：前向光场重建模块接收一幅空间分辨率为W×H且角度分辨率为V×U的参考光场图像Lref，以及一幅分辨率为W×H的目标2D图像Itar，前向光场重建模块输出一幅空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像即密集光场图像，记为Rtar；前向光场重建模块的处理过程为：
步骤2_1：构建一个卷积神经网络作为深度估计器：深度估计器由依次连接的第一卷积块、第二卷积块和第三卷积块组成；在第一卷积块的输入端前，对Lref中的所有子孔径图像在通道维进行级联操作，级联结果等价于V×U幅宽度为W且高度为H的子孔径图像；第一卷积块的输入端接收级联结果，第一卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fd1；第二卷积块的输入端接收Fd1中的所有特征图，第二卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fd2；第三卷积块的输入端接收Fd2中的所有特征图，第三卷积块的输出端输出一幅宽度为W且高度为H的估计的光场深度图，将其记为Dref；
步骤2_2：将步骤2_1得到的估计的光场深度图Dref进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为
然后利用深度阈值Th，对/>
进行前背景分割以得到前背景分割掩膜图，将其记为Mref,FD；其中，Th∈[0.5,1]；
步骤2_3：构建一个卷积神经网络作为光流估计器：光流估计器包括前景光流估计网络、背景光流估计网络和基于前背景分割掩膜图的融合三部分；
对于前景光流估计网络，其由依次连接的第四卷积块、第五卷积块和第六卷积块组成；第四卷积块的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第四卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo1,f；第五卷积块的输入端接收Fo1,f中的所有特征图，第五卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo2,f；第六卷积块的输入端接收Fo2,f中的所有特征图，第六卷积块的输出端输出一幅宽度为W且高度为H的估计的前景水平光流图和一幅宽度为W且高度为H的估计的前景垂直光流图，对应记为Oref,f1和Oref,f2；
对于背景光流估计网络，其由依次连接的第七卷积块、第八卷积块和第九卷积块组成；第七卷积块的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第七卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo1,b；第八卷积块的输入端接收Fo1,b中的所有特征图，第八卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为Fo2,b；第九卷积块的输入端接收Fo2,b中的所有特征图，第九卷积块的输出端输出一幅宽度为W且高度为H的估计的背景水平光流图和一幅宽度为W且高度为H的估计的背景垂直光流图，对应记为Oref,b1和Oref,b2；
对于基于前背景分割掩膜图的融合，其利用步骤2_2得到的前背景分割掩膜图Mref,FD来融合估计的前景水平光流图Oref,f1和估计的背景水平光流图Oref,b1，得到估计的水平光流图，记为Oref1；同样，利用步骤2_2得到的前背景分割掩膜图Mref,FD来融合估计的前景垂直光流图Oref,f2和估计的背景垂直光流图Oref,b2，得到估计的垂直光流图，记为Oref2；
步骤2_4：利用步骤2_3得到的估计的水平光流图Oref1和估计的垂直光流图Oref2来对Dref进行基于光流的后向绘制，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为
步骤2_5：利用步骤2_4得到的绘制后的光场深度图
来对Itar进行基于深度的前向绘制，得到一幅空间分辨率为W×H且角度分辨率为V×U的初始的目标光场图像，将其记为
步骤2_6：构建一个卷积神经网络作为遮挡预测器：遮挡预测器由依次连接的第十卷积层、第一改进空间角度卷积层、第二改进空间角度卷积层、第三改进空间角度卷积层、第十一卷积层和第十二卷积层组成；第十卷积层的输入端接收步骤2_5得到的
第十卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp1；第一改进空间角度卷积层的输入端接收Fp1中的所有特征图，第一改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp2；第二改进空间角度卷积层的输入端接收Fp2中的所有特征图，第二改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp3；第三改进空间角度卷积层的输入端接收Fp3中的所有特征图，第三改进空间角度卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp4；第十一卷积层的输入端接收Fp4中的所有特征图，第十一卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为Fp5；第十二卷积层的输入端接收Fp5中的所有特征图，第十二卷积层的输出端输出一幅宽度为W×V且高度为H×U的精细化后的光场图像，精细化后的光场图像进一步重组为空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像Rtar；其中，第十卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为1、输出通道数为64，第十一卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为64，第十二卷积层的卷积核的尺寸为3×3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为1，第十卷积层和第十一卷积层采用的激活函数均为ReLU，第十二卷积层不采用激活函数；
步骤3：构建一个后向光场重建模块，其结构与步骤2中构建的前向光场重建模块相同，并且与步骤2中构建的前向光场重建模块共享网络参数；后向光场重建模块接收一幅由前向光场重建模块所输出的空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像Rtar，以及一幅空间分辨率为W×H且角度分辨率为V×U的参考光场图像Lref的中心子孔径图像，后向光场重建模块输出一幅空间分辨率为W×H且角度分辨率为V×U的重建的参考光场图像，记为Rref；后向光场重建模块的处理过程为：
步骤3_1：利用步骤2_1构建的深度估计器来对Rtar进行深度估计，得到一幅宽度为W且高度为H的估计的光场深度图，将其记为Dtar；
步骤3_2：将步骤3_1得到的估计的光场深度图Dtar进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为
然后利用深度阈值Th，对/>
进行前背景分割以得到前背景分割掩膜图，将其记为Mtar,FD；
步骤3_3：利用步骤2_3构建的光流估计器来对Rtar的中心子孔径图像和Lref的中心子孔径图像进行光流估计，得到估计的水平光流图和估计的垂直光流图，对应记为Otar1和Otar2；
步骤3_4：利用步骤3_3得到的估计的水平光流图Otar1和估计的垂直光流图Otar2来对Dtar进行基于光流的后向绘制，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为
步骤3_5：利用步骤3_4得到的绘制后的光场深度图
来对Lref的中心子孔径图像进行基于深度的前向绘制，得到一幅空间分辨率为W×H且角度分辨率为V×U的初始的参考光场图像，将其记为/>
步骤3_6：利用步骤2_6构建的遮挡预测器来对步骤3_5得到的初始的参考光场图像
进行精细化处理，精细化后的光场图像进一步重组为空间分辨率为W×H且角度分辨率为V×U的重建的参考光场图像Rref；
步骤4：利用光度一致性假设来构造无监督的绘制损失，作为步骤2和步骤3中构建的深度估计器和光流估计器的训练损失；并利用Lref和步骤3_6中得到的重建的参考光场图像Rref来计算重建误差，以构成循环一致性约束，作为步骤2和步骤3中构建的遮挡预测器的训练损失；再根据上述训练损失来端到端地训练前向光场重建模块和后向光场重建模块；
步骤5：在前向光场重建模块和后向光场重建模块训练结束后，得到训练有素的深度估计器、光流估计器和遮挡预测器；然后将Lref和Itar输入到前向光场重建模块中，测试得到空间分辨率为W×H且角度分辨率为V×U的重建的目标光场图像。
2.根据权利要求1所述的一种基于异构式成像的密集光场图像重建方法，其特征在于所述的步骤2_1中，第一卷积块、第二卷积块和第三卷积块的结构相同，仅在输入和输出的通道数上有所区别，其包括依次连接的第一卷积层、第二卷积层和第三卷积层，第一卷积层的输入端为其所在的卷积块的输入端，第三卷积层的输出端为其所在的卷积块的输出端；在第一卷积块中，第一卷积层的输入端接收对Lref中的所有子孔径图像在通道维进行级联操作得到的级联结果，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fd1；在第二卷积块中，第一卷积层的输入端接收Fd1中的所有特征图，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fd2；在第三卷积块中，第一卷积层的输入端接收Fd2中的所有特征图，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第二卷积层的输入端接收/>
中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第三卷积层的输入端接收/>
中的所有特征图，第三卷积层的输出端输出一幅宽度为W且高度为H的估计的光场深度图，其即为Dref；其中，第一卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1，以及输入通道数依次为V×U、64、64，输出通道数均为64，采用的激活函数均为ReLU，第二卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为ReLU，第三卷积块中的第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64，以及输出通道数依次为64、64、1，采用的激活函数依次为ReLU、ReLU、Tanh。
3.根据权利要求1或2所述的一种基于异构式成像的密集光场图像重建方法，其特征在于所述的步骤2_2中，
的获取过程为：/>
其中，min()表示取像素最小值，max()表示取像素最大值；Mref,FD的获取过程为：将Mref,FD中坐标位置为(x,y)的像素记为Mref,FD(x,y)，/>
其中，1≤x≤W,1≤y≤H，
表示/>
中坐标位置为(x,y)的像素。
4.根据权利要求1或2所述的一种基于异构式成像的密集光场图像重建方法，其特征在于所述的步骤2_3中，第四卷积块、第五卷积块和第六卷积块的结构相同，仅在卷积扩张系数以及输入和输出的通道数上有所区别，其包括依次连接的第四卷积层、第五卷积层和第六卷积层，第四卷积层的输入端为其所在的卷积块的输入端，第六卷积层的输出端为其所在的卷积块的输出端；在第四卷积块中，第四卷积层的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo1,f；在第五卷积块中，第四卷积层的输入端接收Fo1,f中的所有特征图，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第五卷积层的输入端接收
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo2,f；在第六卷积块中，第四卷积层的输入端接收Fo2,f中的所有特征图，第四卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第五卷积层的输入端接收/>
中的所有特征图，第五卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第六卷积层的输入端接收/>
中的所有特征图，第六卷积层的输出端输出一幅宽度为W且高度为H的估计的前景水平光流图和一幅宽度为W且高度为H的估计的前景垂直光流图，其即对应为Oref,f1和Oref,f2；其中，第四卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为1、2、4，卷积步长均为1，输入通道数依次为2、64、64，输出通道数均为64，采用的激活函数均为ReLU；第五卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为8、16、32，卷积步长均为1，输入通道数均为64，输出通道数均为64，采用的激活函数均为ReLU；第六卷积块中的第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为64、1、1，卷积步长均为1，输入通道数均为64，输出通道数依次为64、64、2，采用的激活函数依次为ReLU、ReLU、Tanh。
5.根据权利要求4所述的一种基于异构式成像的密集光场图像重建方法，其特征在于所述的步骤2_3中，第七卷积块、第八卷积块和第九卷积块的结构相同，仅在卷积扩张系数以及输入和输出的通道数上有所区别，其包括依次连接的第七卷积层、第八卷积层和第九卷积层，第七卷积层的输入端为其所在的卷积块的输入端，第九卷积层的输出端为其所在的卷积块的输出端；在第七卷积块中，第七卷积层的输入端接收对Lref的中心子孔径图像和Itar进行级联操作得到的级联结果，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第九卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo1,b；在第八卷积块中，第七卷积层的输入端接收Fo1,b中的所有特征图，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第九卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为Fo2,b；在第九卷积块中，第七卷积层的输入端接收Fo2,b中的所有特征图，第七卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第八卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为/>
第八卷积层的输入端接收/>
中的所有特征图，第九卷积层的输出端输出一幅宽度为W且高度为H的估计的背景水平光流图和一幅宽度为W且高度为H的估计的背景垂直光流图，其即对应为Oref,b1和Oref,b2；其中，第七卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为1、2、4，卷积步长均为1，输入通道数依次为2、64、64，输出通道数均为64，采用的激活函数均为ReLU；第八卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数依次为8、16、32，卷积步长均为1，输入通道数均为64，输出通道数均为64，采用的激活函数均为ReLU；第九卷积块中的第七卷积层、第八卷积层和第九卷积层的卷积核的尺寸均为3×3，卷积扩张系数均为1，卷积步长均为1，输入通道数均为64，输出通道数依次为64、64、2，采用的激活函数依次为ReLU、ReLU、Tanh。
6.根据权利要求5所述的一种基于异构式成像的密集光场图像重建方法，其特征在于所述的步骤2_3中，Oref1＝Mref,FD×Oref,f1+(1-Mref,FD)×Oref,b1，Oref2＝Mref,FD×Oref,f2+(1-Mref,FD)×Oref,b2。
7.根据权利要求1或2所述的一种基于异构式成像的密集光场图像重建方法，其特征在于所述的步骤2_6中，第一改进空间角度卷积层、第二改进空间角度卷积层和第三改进空间角度卷积层的结构相同，其包括依次连接的第十三卷积层、第十四卷积层、空间到角度重组、第十五卷积层、角度到空间重组，第十三卷积层的输入端为其所在的改进空间角度卷积层的输入端，角度到空间重组的输出端为其所在的改进空间角度卷积层的输出端；在第一改进空间角度卷积层中，第十三卷积层的输入端接收Fp1中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第一改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp2；在第二改进空间角度卷积层中，第十三卷积层的输入端接收Fp2中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第二改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp3；在第三改进空间角度卷积层中，第十三卷积层的输入端接收Fp3中的所有特征图，第十三卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
第十四卷积层的输入端接收/>
中的所有特征图，第十四卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
空间到角度重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从空间维转换到角度维的重组操作，第十五卷积层的输入端接收空间到角度重组的输出端输出的重组操作结果，第十五卷积层的输出端输出64幅宽度为W×V且高度为H×U的特征图，将输出的所有特征图构成的集合记为/>
角度到空间重组的输入端接收/>
中的所有特征图，对/>
中的所有特征图进行从角度维到空间维的重组操作，将角度到空间重组的输出端输出的重组操作结果作为第三改进空间角度卷积层的输出端输出的所有特征图，这些特征图构成的集合即为Fp4；其中，第一改进空间角度卷积层、第二改进空间角度卷积层和第三改进空间角度卷积层各自中的第十三卷积层，第十四卷积层和第十五卷积层的卷积核的尺寸均为3×3、卷积扩张系数均为1、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为ReLU。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291552.1A CN116402908A (zh) | 2023-03-23 | 2023-03-23 | 一种基于异构式成像的密集光场图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291552.1A CN116402908A (zh) | 2023-03-23 | 2023-03-23 | 一种基于异构式成像的密集光场图像重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116402908A true CN116402908A (zh) | 2023-07-07 |
Family
ID=87008409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310291552.1A Pending CN116402908A (zh) | 2023-03-23 | 2023-03-23 | 一种基于异构式成像的密集光场图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402908A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474922A (zh) * | 2023-12-27 | 2024-01-30 | 中国科学院长春光学精密机械与物理研究所 | 一种基于内联遮挡处理的抗噪光场深度测量方法及系统 |
-
2023
- 2023-03-23 CN CN202310291552.1A patent/CN116402908A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474922A (zh) * | 2023-12-27 | 2024-01-30 | 中国科学院长春光学精密机械与物理研究所 | 一种基于内联遮挡处理的抗噪光场深度测量方法及系统 |
| CN117474922B (zh) * | 2023-12-27 | 2024-04-02 | 中国科学院长春光学精密机械与物理研究所 | 一种基于内联遮挡处理的抗噪光场深度测量方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | From big to small: Multi-scale local planar guidance for monocular depth estimation | |
| Wang et al. | Light field image super-resolution using deformable convolution | |
| Cao et al. | Semi-automatic 2D-to-3D conversion using disparity propagation | |
| CN111739077A (zh) | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 | |
| CN113139898B (zh) | 基于频域分析和深度学习的光场图像超分辨率重建方法 | |
| CN110225260B (zh) | 一种基于生成对抗网络的立体高动态范围成像方法 | |
| CN109949354B (zh) | 一种基于全卷积神经网络的光场深度信息估计方法 | |
| CN113538243B (zh) | 基于多视差注意力模块组合的超分辨图像重建方法 | |
| Huang et al. | Reconstruction distortion oriented light field image dataset for visual communication | |
| CN116402908A (zh) | 一种基于异构式成像的密集光场图像重建方法 | |
| Huang et al. | Light field image quality assessment: An overview | |
| CN109523508B (zh) | 一种密集光场质量评价方法 | |
| Chandramouli et al. | A generative model for generic light field reconstruction | |
| Wang et al. | Multi-stream progressive restoration for low-light light field enhancement and denoising | |
| CN109302600B (zh) | 一种立体场景拍摄装置 | |
| CN114359041A (zh) | 一种光场图像空间超分辨率重建方法 | |
| Chen et al. | Flow supervised neural radiance fields for static-dynamic decomposition | |
| CN112927348A (zh) | 一种基于多视点rgbd相机高分辨率人体三维重建方法 | |
| CN111652922A (zh) | 一种基于双目视觉的单目视频深度估计方法及系统 | |
| CN111754561A (zh) | 基于自监督深度学习的光场图像深度恢复方法及系统 | |
| CN113628125B (zh) | 基于空间视差先验网络的多幅红外图像增强方法 | |
| Bae et al. | 5d light field synthesis from a monocular video | |
| CN111951159B (zh) | 一种强噪声条件下光场epi图像超分辨率的处理方法 | |
| CN114119704A (zh) | 一种基于空间金字塔池化的光场图像深度估计方法 | |
| Shi et al. | Learning based Deep Disentangling Light Field Reconstruction and Disparity Estimation Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |