CN111489323A

CN111489323A - 双光场图像融合方法、装置、设备及可读存储介质

Info

Publication number: CN111489323A
Application number: CN202010278402.3A
Authority: CN
Inventors: 陈晓明; 陈志波
Original assignee: Institute of Advanced Technology University of Science and Technology of China
Current assignee: Institute of Advanced Technology University of Science and Technology of China
Priority date: 2020-04-09
Filing date: 2020-04-09
Publication date: 2020-08-04
Anticipated expiration: 2040-04-09
Also published as: CN111489323B

Abstract

本申请公开了一种双光场图像融合方法、装置、设备和可读存储介质，该方法包括建立光场图像的合成数据集；设计深度神经网络；根据所述合成数据集，对于所述深度神经网络进行训练；将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像。通过深度神经网络，利用待融合前景光场图像、待融合背景光场图像和融合中心子图像，可以自动将融合中心子图像中的融合效果传播到光场图像的所有子图像中，从而获得所有子图像相应的融合效果，得到最终的融合光场图像。

Description

双光场图像融合方法、装置、设备及可读存储介质

技术领域

本发明涉及光场图像处理技术领域，尤其涉及一种双光场图像融合方法、装置、设备及可读存储介质。

背景技术

与传统的2D图像采集相比，新兴的光场成像技术，不仅可获取图像的空间域信息(如图像的像素)，还可获取额外的角度域信息(即从不同角度观看图像得到的不同光线信息)。光场相机的基本成像原理如图1所示，在主透镜和光感器之间，有一组二维微透镜阵列，可采集从不同角度反射的光线。通过这种设计，光场相机能够从不同的视点，采集到多幅2D子图像(或称为2D子孔径图像)。因此，光场图像实际上是一组图像，它既包含空间域信息，即一张子图像的像素信息，也包含角度域信息，即同一像素在不同角度反射的光线信息。

随着多媒体技术的快速发展及用户生成内容(User Generated Content，UGC)的兴起，用户对图像内容的个性化编辑需求日益增加，包括对两幅图像的融合编辑操作。目前，普通二维图像的融合算法已得到了一定的发展。然而，由于光场图像的特殊组成结构，传统二维图像的融合算法不能直接应用于两张光场图像的融合，且无法保证光场图像融合后不同子图像的视差一致性。

发明内容

本申请的主要目的在于提供一种双光场图像融合方法、装置、设备及可读存储介质，旨在解决双光场图像中前景和背景的融合的问题。

为实现上述目的，本申请提供的一种双光场图像融合方法，所述双光场图像融合方法包括以下步骤：

建立光场图像的合成数据集；

设计深度神经网络；

根据所述合成数据集，对于所述深度神经网络进行训练；

将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像。

可选地，所述建立光场图像的合成数据集的步骤包括：

生成包含前景物体的前景光场图像；

生成包含背景的背景光场图像；

将所述前景物体加入到所述背景中，生成实际光场图像；

根据所述前景光场图像、所述背景光场图像以及对应的实际光场图像建立光场图像的合成数据集。

可选地，所述根据所述合成数据集，对于所述深度神经网络进行训练的步骤包括：

获取所述前景光场图像的中心子图像中经过掩码处理的前景物体中心子图像；

将所述前景光场图像、背景光场图像、前景物体中心子图像输入到所述深度神经网络中，获取输出的输出光场图像；

将所述输出光场图像与所述实际光场图像进行损失计算；

根据所述损失计算的结果对于所述深度神经网络进行训练。

可选地，所述根据所述损失计算的结果对于所述深度神经网络进行训练的步骤之后包括：

当所述损失计算的结果小于预设值时，结束训练过程。

可选地，所述将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像的步骤之前包括：

将所述待融合前景光场图像中的前景物体和所述待融合背景光场图像中的中心子图像进行融合编辑，获取融合后的融合中心子图像。

可选地，所述将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像的步骤包括：

将待融合前景光场图像、待融合背景光场图像以及所述融合中心子图像作为所述训练后的深度神经网络的待融合数据输入；

对于所述待融合数据输入进行图像特征提取与重整操作，获取所述训练后的深度神经网络输出的融合光场图像。

可选地，所述图像特征提取的方法为空间域角度域卷积方法，所述对于所述待融合数据输入进行图像特征提取与重整操作的步骤包括：

对于所述待融合数据输入进行空间域卷积，获取第一特征图；

对于所述第一特征图进行重整操作和角度域卷积，获取中间输出；

对于所述中间输出进行角度域卷积，获取第二特征图；

对于所述第二特征图进行重整操作和时间域卷积。

本申请还包括一种双光场图像融合装置，其特征在于，所述双光场图像融合装置包括：

建立模块，用于建立光场图像的合成数据集；

设计模块，用于设计深度神经网络；

训练模块，用于根据所述合成数据集，对于所述深度神经网络进行训练；

获取模块，用于将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像。

本申请还提供一种双光场图像融合设备，所述双光场图像融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的双光场图像融合程序，所述双光场图像融合程序被所述处理器执行时实现如上述的双光场图像融合方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的双光场图像融合方法的步骤。

本申请通过建立光场图像的合成数据集；设计深度神经网络；根据所述合成数据集，对于所述深度神经网络进行训练；将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像。通过深度神经网络，利用待融合前景光场图像、待融合背景光场图像和融合中心子图像，可以自动将融合中心子图像中的融合效果传播到光场图像的所有子图像中，从而获得所有子图像相应的融合效果，得到最终的融合光场图像。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中光场相机成像原理示意图；

图2为本申请实施例方案涉及的硬件运行环境的装置结构示意图；

图3为本申请双光场图像融合方法第一实施例的流程示意图；

图4为本申请双光场图像融合方法第二实施例中对于图3步骤S10的细化流程图；

图5为本申请双光场图像融合方法第三实施例中对于图3步骤S30的细化流程图；

图6为本申请双光场图像融合方法第四实施例中对于图3步骤S40及之前步骤的细化流程图；

图7为本申请双光场图像融合装置一实施例的系统结构示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

如图2所示，图2是本申请实施例方案涉及的硬件运行环境的终端结构示意图。

本申请实施例终端为双光场图像融合设备。

如图2所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图2中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图2所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及双光场图像融合程序。

在图2所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的双光场图像融合程序，并执行以下操作：

建立光场图像的合成数据集；

设计深度神经网络；

根据所述合成数据集，对于所述深度神经网络进行训练；

将前景光场图像、背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像。

基于上述终端硬件结构，提出本申请各个实施例。

本申请提供一种双光场图像融合方法。

参照图3，在双光场图像融合方法第一实施例中，该方法包括：

步骤S10，建立光场图像的合成数据集；

合成数据集主要是用于对于设计的深度神经网络进行训练，为深度神经网络的训练提供标记数据。生成前景光场图像和生成背景光场图像，对于前景光场图像，需要明确前景光场图像中的前景物体，对于背景光场图像，需要明确其中的背景。将前景光场图像中的前景物体手动加入到背景光场图像的背景中，生成对应的实际光场图像作为之后深度神经网络训练所需的ground truth(标记数据)。由于前景物体为虚拟场景中的计算机生成的物体，将其加入到背景光场图像中后，前景物体在背景光场图像的各个子图像中会自动出现相应的位移和旋转，同时程序会自动记录前景物体在背景光场图像的各个子图像中对应的位移与旋转的变化量。

步骤S20，设计深度神经网络；

本申请中的深度神经网络可以是基于空间域角度域交错卷积，可同时利用光场图像的空间域信息和角度域信息，对光场图像融合后的图像特征进行有效学习，从而将两张光场图像进行融合。同时深度数据网络还可以基于其他可行的图像特征提取方法如其他的卷积方法。

该深度神经网络的输入包括m×n×w×h×1的前景光场图像(其中包含前景物体)、m×n×w×h×1的背景光场图像(其中包含背景)以及1×1×w×h×1的前景光场图像的中心子图像中经过掩码处理的前景物体，w和h分别为光场子图像的宽和高，m和n分别为光场子图像矩阵的行数和列数。

根据深度神经网络的要求将相应的光场图像输入到深度神经网络后，深度神经网络会对输入依次进行空间域卷积、重整操作、角度域卷积、空间域卷积、重整操作、角度域卷积等图像特征提取与重整过程，最终输出融合后的m×n×w×h×1融合光场图像。

步骤S30，根据所述合成数据集，对于所述深度神经网络进行训练；

根据之前获取的合成数据集，将前景光场图像、背景光场图像以及相应的前景光场图像的中心子图像中经过掩码处理的前景物体输入到深度神经网络中，获取深度神经网络输出的融合光场图像，与合成数据集中与该前景光场图像以及背景光场图像对应的实际光场图像进行损失计算，这里进行损失计算时是利用前景物体在背景光场图像的各个子图像中的位移与旋转进行计算，同时损失计算采用常见的损失函数即可。当损失计算的结果小于预设值时，结束对于深度神经网络的训练过程，此时获取的深度神经网络的参数作为最终的深度神经网络的参数。

步骤S40，将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像；

待融合前景光场图像是由光场相机拍摄得到的光场图像，其中包含待融合的前景物体，而待融合背景光场图像也是有光场相机拍摄得到的光场图像，其中包括待融合的背景。因为待融合的前景物体与待融合的背景的选择可以任意选择，所以待融合前景光场图像与待融合的背景光场图像也可以是任意的。融合中心子图像指用户在背景光场图像的中心子图像上将前景物体中心子图像融合进去所得到的中心子图像。融合中心子图像的获取过程需要将待融合前景光场图像中的前景物体，手动在待融合背景光场图像的中心子图像上进行融合编辑，得到融合后的融合中心子图像。然后将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络作为输入层，深度神经网络会自动按照设计好的网络结构与网络参数对于输入进行处理如空间域角度域交错卷积与重整操作等，最终输出相应的融合光场图像。在深度神经网络的处理过程中，深度神经网络会将融合中心子图像的融合效果自动传播到所有其它子图像上，得到融合后的整体光场图像效果并输出相应的融合光场图像。

在本实施例中，建立光场图像的合成数据集；设计深度神经网络；根据所述合成数据集，对于所述深度神经网络进行训练；将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像。通过深度神经网络，利用待融合前景光场图像、待融合背景光场图像和融合中心子图像，可以自动将融合中心子图像中的融合效果传播到光场图像的所有子图像中，从而获得所有子图像相应的融合效果，得到最终的融合光场图像。

进一步地，参照图3和图4，在本申请双光场图像融合方法上述各实施例的基础上，提供双光场图像融合方法第二实施例，在第二实施例中，

步骤S10包括：

步骤S11，生成包含前景物体的前景光场图像；

步骤S12，生成包含背景的背景光场图像；

在建立合成数据集时，可以利用相应的图像处理软件生成前景光场图像与背景光场图像，其中，前景光场图像中包含相应的前景物体，而背景光场图像中包含背景。有时，背景光场图像的整体图像就是背景。

步骤S13，将所述前景物体加入到所述背景中，生成实际光场图像；

将前景光场图像中的前景物体加入到背景光场图像的背景中，输出实际光场图像。实际光场图像的获取可以是通过程序自动合成的，也有可能是由相机拍摄得到的。实际光场图像表示的是将前景物体加入到背景中可以真实反映融合结果的光场图像，与通过深度神经网络输出的融合光场图像可能存在差异，因此实际光场图像可以作为之后深度神经网络训练所需的标记数据。由于前景物体为虚拟场景中的计算机生成的物体，将其加入到背景光场图像中后，前景物体在背景光场图像的各个子图像中会自动出现相应的位移和旋转，需要将前景物体中背景光场图像的各个子图像中的位移与旋转进行相应的记录。

步骤S14，根据所述前景光场图像、所述背景光场图像以及对应的实际光场图像建立光场图像的合成数据集；

将前景光场图像、背景光场图像以及对应的实际光场图像进行关联，建立合成数据集。

在本实施例中，根据前景光场图像、背景光场图像以及与前景光场图像和背景光场图像对应的实际光场图像建立合成数据集，为之后深度神经网络的训练提供基础。

进一步地，参照图3和图5，在本申请双光场图像融合方法上述各实施例的基础上，提供双光场图像融合方法第三实施例，在第三实施例中，

步骤S30包括：

步骤S31，获取所述前景光场图像的中心子图像中经过掩码处理的前景物体中心子图像；

中心子图像是指前景光场图像的所有子图像中特定的一个子图像，可以把中心子图像理解为获取光场图像的相机矩阵中最中心的相机获取的光场图像，同时对于中心子图像的掩码处理为将中心子图像中除前景物体的图像内容进行处理，类似与将前景物体从中心子图像中提取出来。

步骤S32，将所述前景光场图像、背景光场图像、前景物体中心子图像输入到所述深度神经网络中，获取输出的输出光场图像；

设计好的深度神经网络的输入层包括三个输入，即需将前景光场图像、背景光场图像、前景物体中心子图像输入到所述深度神经网络，深度神经网络会对用户输入的光场图像信息进行如空间域时间域交错卷积的图像特征提取方法与重整操作，最终输出相应的输出光场图像。

步骤S33，将所述输出光场图像与所述实际光场图像进行损失计算；

将输出光场图像与实际光场图像进行损失计算，其中进行损失计算可以利用常用的损失函数如ReLU等，同时根据实际光场图像中前景物体在编辑光场图像的各子图像的位移与旋转以及输出光场图像中前景物体在背景光场图像的各子图像的位移与旋转进行损失计算。

步骤S34，根据所述损失计算的结果对于所述深度神经网络进行训练；

根据损失计算的结果对于深度神经网络的网络参数进行调整，同时利用合成数据集中的数据重复对于深度神经网络进行训练并调整深度神经网络中的网络参数，以使深度神经网络的输出结果与实际结果更为接近。

可选的，步骤S34之后包括：

步骤A，当所述损失计算的结果小于预设值时，结束训练过程；

当损失计算的结果小于预设值时，说明深度神经网络输出的输出光场图像与合成数据集中的实际光场图像是十分接近的，误差较小，训练的目的已经达到，此时可以结束对于深度神经网络的训练过程。

在本实施例中，利用合成数据集对于设计的深度神经网络进行训练，使深度神经网络的输出结果更加接近与实际融合的光场图像，使通过深度神经网络进行双光场图像的融合结果更加准确。

进一步地，参照图3和图6，在本申请双光场图像融合方法上述各实施例的基础上，提供双光场图像融合方法第四实施例，在第四实施例中，

步骤S40之前包括：

步骤S41，将所述待融合前景光场图像中的前景物体和所述待融合背景光场图像中的中心子图像进行融合编辑，获取融合后的融合中心子图像；

获取待融合前景光场图像中的待融合前景物体，待融合前景物体的获取可以通过对于待融合前景光场图像的掩码处理，同时获取待融合背景光场图像中的中心子图像，将待融合前景光场图像中的待融合前景物体与待融合背景光场图像中的中心子图像进行融合编辑，获取包含前景物体与背景的融合中心子图像。融合中心子图像作为之后深度神经网络输入层中的第三个待融合数据输入。

步骤S40包括：

步骤S42，将待融合前景光场图像、待融合背景光场图像和所述融合中心子图像作为所述训练后的深度神经网络的待融合数据输入；

根据设计以及训练得到的深度神经网络，将前景光场图像、背景光场图像以及融合中心子图像作为输入，同时输入的前景光场图像与背景光场图像包括光场图像中的所有子图像的信息。

步骤S43，对于所述待融合数据输入进行图像特征提取与重整操作，获取所述训练后的深度神经网络输出的融合光场图像；

对于待融合数据需要进行图像特征提取与重整处理。这里的图像特征提取以空间域角度域交错卷积为例进行说明，当然，图像特征提取还可以使用其他卷积方法或者其他图像特征提取方法。对于深度神经网络的待融合数据输入依次进行空间域卷积、重整操作、角度域卷积、空间域卷积、重整操作、角度域卷积，从而可以获得最终的融合光场图像。在深度神经网络的处理过程中，深度神经网络会将融合中心子图像的融合效果自动传播到所有其它子图像上，得到融合后的整体光场图像效果并输出相应的融合光场图像。

其中，当图像特征提取的方法为空间域角度域卷积方法是，步骤S42包括：

步骤B1，对于所述输入进行空间域卷积，获取第一特征图；

步骤B2，对于所述第一特征图进行重整操作和角度域卷积，获取中间输出；

步骤B3，对于所述中间输出进行空间域卷积，获取第二特征图；

步骤B4，对于所述第二特征图进行重整操作和角度域卷积；

第一次空间域卷积完成后，得到1×1×w×h×(m×n)的第一特征图，对于对于特征图进行重整操作与角度域卷积，得到1×1×w×h×(m×n)的中间输出。对于中间输出进行空间域卷积、重整操作与角度域卷积，可以得到融合后完整的m×n×w×h×1的融合光场图像作为输出。其中卷积过程可以采用SAS卷积或者4D卷积。

在本实施例中，通过空间域角度域交错卷积对于深度神经网络的输入进行处理获取进行处理，获取最终的融合光场图像。

此外，参照图7，本申请实施例还提出一种双光场图像融合装置，所述双光场图像融合装置包括：

建立模块，用于建立光场图像的合成数据集；

设计模块，用于设计深度神经网络；

可选地，建立模块还用于：

生成包含前景物体的前景光场图像；

生成包含背景的背景光场图像；

将所述前景物体加入到所述背景中，生成实际光场图像；

可选地，训练模块还用于：

将所述输出光场图像与所述实际光场图像进行损失计算；

根据所述损失计算的结果对于所述深度神经网络进行训练。

可选地，双光场图像融合装置还包括：

结束模块，用于当所述损失计算的结果小于预设值时，结束训练过程。

可选地，获取模块装置还用于：

可选地，获取模块还用于：

将待融合前景光场图像、待融合背景光场图像和所述融合中心子图像作为所述训练后的深度神经网络的待融合数据输入；

可选地，获取模块还用于：

对于所述输入进行空间域卷积，获取第一特征图；

对于所述中间输出进行空间域卷积，获取第二特征图；

对于所述第二特征图进行重整操作和角度域卷积。

本申请设备和可读存储介质(即计算机可读存储介质)的具体实施方式的拓展内容与上述双光场图像融合方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种双光场图像融合方法，其特征在于，所述双光场图像融合方法包括以下步骤：

建立光场图像的合成数据集；

设计深度神经网络；

根据所述合成数据集，对于所述深度神经网络进行训练；

2.如权利要求1所述的双光场图像融合方法，其特征在于，所述建立光场图像的合成数据集的步骤包括：

生成包含前景物体的前景光场图像；

生成包含背景的背景光场图像；

将所述前景物体加入到所述背景中，生成实际光场图像；

3.如权利要求2所述的双光场图像融合方法，其特征在于，所述根据所述合成数据集，对于所述深度神经网络进行训练的步骤包括：

将所述输出光场图像与所述实际光场图像进行损失计算；

根据所述损失计算的结果对于所述深度神经网络进行训练。

4.如权利要求3所述的双光场图像融合方法，其特征在于，所述根据所述损失计算的结果对于所述深度神经网络进行训练的步骤之后包括：

当所述损失计算的结果小于预设值时，结束训练过程。

5.如权利要求1所述的双光场图像融合方法，其特征在于，所述将前景光场图像、背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像的步骤之前包括：

6.如权利要求5所述的双光场图像融合方法，其特征在于，所述将待融合前景光场图像、待融合背景光场图像和融合中心子图像输入所述训练后的深度神经网络，获取输出的融合光场图像的步骤包括：

7.如权利要求6所述的双光场图像融合方法，其特征在于，所述图像特征提取的方法为空间域角度域卷积方法，所述对于所述待融合数据输入进行图像特征提取与重整操作的步骤包括：

对于所述中间输出进行空间域卷积，获取第二特征图；

对于所述第二特征图进行重整操作和角度域卷积。

8.一种双光场图像融合装置，其特征在于，所述双光场图像融合装置包括：

建立模块，用于建立光场图像的合成数据集；

设计模块，用于设计深度神经网络；

9.一种双光场图像融合设备，其特征在于，所述双光场图像融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的双光场图像融合程序，所述双光场图像融合程序被所述处理器执行时实现如权利要求1至7中任一项所述的双光场图像融合方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的双光场图像融合方法的步骤。