CN111489407B

CN111489407B - 光场图像编辑方法、装置、设备及存储介质

Info

Publication number: CN111489407B
Application number: CN202010278403.8A
Authority: CN
Inventors: 陈晓明; 陈志波
Original assignee: Institute of Advanced Technology University of Science and Technology of China
Current assignee: Institute of Advanced Technology University of Science and Technology of China
Priority date: 2020-04-09
Filing date: 2020-04-09
Publication date: 2023-06-02
Anticipated expiration: 2040-04-09
Also published as: CN111489407A

Abstract

本发明公开了一种光场图像编辑方法、装置、设备及存储介质，所述光场图像编辑方法通过获取待编辑光场图像与已编辑的编辑中心子图像，并将待编辑光场图像与编辑中心子图像输入基于实现光场图像的自动编辑功能所设计的深度神经网络，从而得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。本发明中基于实现光场图像的自动编辑功能所设计的深度神经网络，能够准确获得待融合编辑物体旋转不同角度的信息，保证不同子图像的视差一致性，使得光场图像的一张中心子图像上的编辑操作可被自动传播到光场图像的所有其它子图像上，从而实现编辑一张子图像，即可得到所有子图像相应的编辑效果。

Description

光场图像编辑方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种光场图像编辑方法、装置、设备及存储介质。

背景技术

随着光场图像编辑处理技术的快速发展，光场图像已广泛应用于人们的日常生活。与传统的2D图像采集相比，新兴的光场成像技术，不仅可获取图像的空间域信息，还可获取额外的角度域信息。而光场图像实际上是一组图像，它既包含空间域信息，即一张子图像的像素信息，也包含角度域信息，即同一像素在不同角度反射的光线信息。

二维图像的编辑算法发展已然比较成熟。然而，由于光场图像的特殊组成结构，传统二维图像处理算法不能直接应用于光场图像。在对光场图像进行编辑的时候，用户需要手动编辑光场图像的每个子图像。这个过程非常耗时，更重要的是，用户无法保证不同子图像的视差一致性。此外，通过对光场图像每一张子图像的编辑效果进行几何计算，也可获得编辑效果。但其效果不佳，例如，在光场图像增强现实融合编辑中，该方法无法准确获得待融合编辑物体旋转不同角度的信息。故上述的种种情况均反映出了使用现有方式对光场图像进行编辑的效果不佳的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种光场图像编辑方法，旨在解决使用现有方式对光场图像进行编辑的效果不佳的技术问题。

为实现上述目的，本发明提供一种光场图像编辑方法，所述光场图像编辑方法包括：

获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；

在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。

可选地，所述在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像的步骤包括：

在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出；

将所述中间输出与所述编辑中心子图像进行连接，生成优化输入，以作为所述深度神经网络模型的优化子网络的输入；

在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像。

可选地，所述在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出的步骤包括：

在所述传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到所述待编辑光场图像与编辑中心子图像的图像特征；

将所述待编辑光场图像与编辑中心子图像的图像特征拼接成输入特征图，对所述输入特征图进行空间域与角度域交错卷积，得到所述中间输出。

可选地，所述在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像的步骤包括：

在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，得到所述优化输入的图像特征；

将所述优化输入的图像特征进行空间域与角度域交错卷积，得到所述优化子网络的优化输出；

将所述中间输出与优化输出叠加，并与所述编辑中心子图像进行连接，生成所述目标完整光场图像。

可选地，所述获取待编辑光场图像与经过编辑处理后的编辑中心子图像的步骤包括：

在接收到光场图像编辑指令时，获取基于所述光场图像编辑指令确定的一组待编辑光场图像，其中，所述待编辑光场图像由多张光场子图像组成；

从所述待编辑光场图像中选出一中心光场子图像，并获取由用户对所述中心光场子图像进行增强现实编辑后的编辑中心子图像。

可选地，所述获取待编辑光场图像与经过编辑处理后的编辑中心子图像的步骤之前，还包括：

获取真实场景中采集的编辑前光场图像与编辑后光场图像，作为光场图像对；

利用所述光场图像对，对预设初始深度神经网络模型进行训练，以生成所述深度神经网络模型。

可选地，所述在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像的步骤之后，还包括：

将所述待编辑光场图像与目标完整光场图像作为训练数据集对所述深度神经网络模型进行训练，以优化所述深度神经网络模型。

此外，为实现上述目的，本发明还提供一种光场图像编辑装置，所述光场图像编辑装置包括：

图像输入模块，用于获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；

图像获取模块，用于在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。

可选地，所述图像获取模块包括：

中间输出单元，用于在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出；

优化输入单元，用于将所述中间输出与所述编辑中心子图像进行连接，生成优化输入，以作为所述深度神经网络模型的优化子网络的输入；

目标图像单元，用于在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像。

可选地，所中间输出单元包括：

可选地，所述目标图像单元包括：

可选地，所述光场图像编辑装置还包括：

图像选择模块，用于在接收到光场图像编辑指令时，获取基于所述光场图像编辑指令确定的一组待编辑光场图像，其中，所述待编辑光场图像由多张光场子图像组成；

可选地，所述光场图像编辑装置还包括：

模型训练模块，用于获取真实场景中采集的编辑前光场图像与编辑后光场图像，作为光场图像对；

可选地，所述光场图像编辑装置还包括：

模型优化模块，用于将所述待编辑光场图像与目标完整光场图像作为训练数据集对所述深度神经网络模型进行训练，以优化所述深度神经网络模型。

此外，为实现上述目的，本发明还提供一种光场图像编辑设备，所述光场图像编辑设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光场图像编辑程序，所述光场图像编辑程序被所述处理器执行时实现如上述的光场图像编辑方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有光场图像编辑程序，所述光场图像编辑程序被处理器执行时实现如上述的光场图像编辑方法的步骤。

本发明提供一种光场图像编辑方法、装置、设备及计算机可读存储介质。所述光场图像编辑方法通过获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。通过上述方式，本发明通过基于实现光场图像的自动编辑功能所设计的深度神经网络，能够准确获得待融合编辑物体旋转不同角度的信息，保证不同子图像的视差一致性，使得光场图像的一张中心子图像上的编辑操作可被自动传播到光场图像的所有其它子图像上，从而实现编辑一张子图像，即可得到所有子图像相应的编辑效果，解决了使用现有方式对光场图像进行编辑的效果不佳的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的移动终端结构示意图；

图2为光场相机成像基本原理示意图；

图3为本发明光场图像编辑方法第一实施例的流程示意图；

图4为本发明一具体实施例中基于空间域角度域交错卷积的光场图像增强现实编辑自动传播神经网络示意图；

图5为本发明一具体实施例中编辑前图像和编辑后图像的“光场图像对”示例。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器等具有显示功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及光场图像编辑程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的光场图像编辑程序，并执行以下操作：

进一步地，处理器1001可以调用存储器1005中存储的光场图像编辑程序，还执行以下操作：

判获取真实场景中采集的编辑前光场图像与编辑后光场图像，作为光场图像对；

基于上述硬件结构，提出本发明光场图像编辑方法的各个实施例。

与传统的2D图像采集相比，新兴的光场成像技术，不仅可获取图像的空间域信息(如图像的像素)，还可获取额外的角度域信息(即从不同角度观看图像得到的不同光线信息)。光场相机的基本成像原理如图2所示，在主透镜和光感器之间，有一组二维微透镜阵列，可采集从不同角度反射的光线。通过这种设计，光场相机能够从不同的视点，采集到多幅2D子图像(或称为2D子孔径图像)。因此，光场图像实际上是一组图像，它既包含空间域信息，即一张子图像的像素信息，也包含角度域信息，即同一像素在不同角度反射的光线信息。二维图像的编辑算法发展已然比较成熟。然而，由于光场图像的特殊组成结构，传统二维图像处理算法不能直接应用于光场图像。在对光场图像进行编辑的时候，用户需要手动编辑光场图像的每个子图像。这个过程非常耗时，更重要的是，用户无法保证不同子图像的视差一致性。此外，通过对光场图像每一张子图像的编辑效果进行几何计算，也可获得编辑效果。但其效果不佳，例如，在光场图像增强现实融合编辑中，该方法无法准确获得待融合编辑物体旋转不同角度的信息。故上述的种种情况均反映出了使用现有方式对光场图像进行编辑的效果不佳的技术问题。

为解决上述问题，本发明提供一种光场图像编辑方法，即基于实现光场图像的自动编辑功能所设计的深度神经网络，能够准确获得待融合编辑物体旋转不同角度的信息，保证不同子图像的视差一致性，使得光场图像的一张中心子图像上的编辑操作可被自动传播到光场图像的所有其它子图像上，从而实现编辑一张子图像，即可得到所有子图像相应的编辑效果，解决了使用现有方式对光场图像进行编辑的效果不佳的技术问题。所述光场图像编辑方法应用于终端。

参照图3，图3为光场图像编辑方法第一实施例的流程示意图。

本发明第一实施例提供一种光场图像编辑方法，所述光场图像编辑方法包括以下步骤：

步骤S10，获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；

在本实施例中，需要说明的是，光场图像的编辑通常采用增强现实编辑的方式，增强现实编辑是指用户将自然图像或电脑生成图像中的一部分，如图像中出现的一个物体，自然融合到光场图像中的所有子图像内。编辑后，该融合物体在光场图像的不同子图像内应具有相应的位移和角度旋转，从而保证光场图像子图像视差的一致性。一组待编辑的光场图像为光场相机对于同一事物从不同的视点采集到的多幅2D子图像。上述的待编辑光场图像不限于一组，也可以是多组，在此不做具体限制。编辑中心子图像为用户将普通自然图像或电脑合成图像中的待融合物体，手动在待编辑光场图像中的中心子图像上进行编辑，得到编辑后的中心子图像。在本实施例中，因要实现的是用户在光场图像的一张中心子图像上的编辑操作，被自动传播到光场图像的所有其它子图像上的效果，故一组待编辑的光场图像对应一张编辑中心子图像。预设已训练的深度神经网络模型为经真实场景采集的编辑前光场图像与编辑后光场图像训练后的深度神经网络模型。图像的空间域信息可为图像的像素，图像的角度域信息为从不同角度观看图像得到的不同光线信息。

具体地，用户将一组包含有10张子图像的光场图像作为待编辑光场图像，并对其中的第5张子图像进行增强现实编辑操作，将编辑后的该图像作为编辑中心子图像，并以此待编辑光场图像与编辑中心子图像在计算机上创建一光场图像编辑任务。计算机将此待编辑光场图像与编辑中心子图像作为已训练的深度神经网络模型的输入。

步骤S20，在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。

在本实施例中，目标完整光场图像为待编辑光场图像中每张子图像均被自动传播有与编辑中心子图像对应编辑效果的光场图像。用户只需将待编辑光场图像与编辑中心子图像输入训练好的深度神经网络模型，模型即可将编辑中心子图像的编辑效果自动传播到每一子图像中，而无需用户对待编辑光场图像中的每张子图像逐一进行手动编辑或是对每一张子图像的编辑效果进行几何计算。对于实现图像特征提取的方式，本实施例中优选方式为空间域角度域交错卷积，在不同的实际情况中也可相应采用其他方式。具体地，沿用步骤S10中具体实施例的设定。用户已将一组包含10张子图像与第5张已编辑的中心子图像输入该深度神经网络模型，模型对这些图像进行空间域角度域交错卷积后，输出10张均带有编辑效果的光场图像，也即是上述的目标完整光场图像，这10张带有编辑效果的光场图像与编辑中心子图像的编辑效果对应。另外，本发明可应用于光场图像的各种编辑操作，3DoF+图像的各种编辑操作以及多摄像机系统采集的多角度图像的各种编辑操作等。

在本实施例中，通过获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。通过上述方式，本发明通过基于实现光场图像的自动编辑功能所设计的深度神经网络，能够准确获得待融合编辑物体旋转不同角度的信息，保证不同子图像的视差一致性，使得光场图像的一张中心子图像上的编辑操作可被自动传播到光场图像的所有其它子图像上，从而实现编辑一张子图像，即可得到所有子图像相应的编辑效果，解决了使用现有方式对光场图像进行编辑的效果不佳的技术问题。

进一步地，图中未示的，基于上述图3所示的第一实施例，提出本发明光场图像编辑方法的第二实施例。在本实施例中，步骤S30包括：

步骤a，在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出；

步骤b，将所述中间输出与所述编辑中心子图像进行连接，生成优化输入，以作为所述深度神经网络模型的优化子网络的输入；

步骤c，在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像。

在本实施例中，该深度神经网络模型包括有一个传播子网络与优化子网络。在传播子网络中，所有输入的图像特征由空间域角度域交错卷积提取，然后拼接成输入特征图。然后，再次通过空间域角度域交错卷积，由输入特征图得到中间输出。为了进一步利用输入图像中的角度域信息，将中间输出和已进行编辑处理的中心子图像连接成新的优化输入，作为该子网络的输入。然后，在优化子网络中，通过与前面类似的步骤，使用空间域角度域交错卷积提取特征并产生最终输出，从而得到编辑后的目标完整光场图像。

进一步地，图中未示的，在本实施例中，步骤a包括：

步骤d，在所述传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到所述待编辑光场图像与编辑中心子图像的图像特征；

步骤e，将所述待编辑光场图像与编辑中心子图像的图像特征拼接成输入特征图，对所述输入特征图进行空间域与角度域交错卷积，得到所述中间输出。

在本实施例中，如图4所示，图4为基于空间域角度域交错卷积的光场图像增强现实编辑自动传播神经网络示意图。在传播子网络(图4中的Propagation Network)中，待编辑光场图像(图4中的Original LFI)，以7*1*w*h*1的图像开始，根据前三个通道卷积到1*1*w*h*24的特征图。编辑中心子图像(图4中的Original LFI)以1*1*w*h*1的图像开始，根据前三个通道卷积到1*1*w*h*24的特征图。将待编辑光场图像与编辑中心子图像卷积后的特征图进行拼接，得到1*1*w*h*48的输入特征图(图4中的Input Feature Maps)。将1*1*w*h*48的输入特征图进行空间域角度域交错卷积，得到中间输出(图4中的IntermediateOutput)。

进一步地，图中未示的，在本实施例中，步骤c包括：

步骤f，在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，得到所述优化输入的图像特征；

步骤g，将所述优化输入的图像特征进行空间域与角度域交错卷积，得到所述优化子网络的优化输出；

步骤h，将所述中间输出与优化输出叠加，并与所述编辑中心子图像进行连接，生成所述目标完整光场图像。

在本实施例中，如图4所示，在优化子网络(图4中的Refinement Network)中，优化输入(图4中的Refinement Input)以7*7*w*h*1的图像开始，根据前三个通道卷积到1*1*w*h*24的优化输入的图像特征。将1*1*w*h*24的优化输入的图像特征进行空间域角度域交错卷积，得到1*1*w*h*48的优化子网络的优化输出(图4中Refinement Network中的Intermediate Output)。得到优化子网络的优化输出后，再将传播子网络的1*1*w*h*48的中间输出与优化子网络的1*1*w*h*48的优化输出叠加，并进行空间域角度域交错卷积，最终即可得到7*7*w*h*1的目标完整光场图像(图4中的Output)。

在本实施例中，进一步通过将模型的输入经过传播子网络和优化子网络进行空间域角度域交错卷积，准确获得待融合编辑物体旋转不同角度的信息，保证不同子图像的视差一致性，使得光场图像的一张中心子图像上的编辑操作可被自动传播到光场图像的所有其它子图像上，从而实现编辑一张子图像，即可得到所有子图像相应的编辑效果。

进一步地，图中未示的，基于上述图3所示的第一实施例，提出本发明光场图像编辑方法的第三实施例。在本实施例中，步骤S10之前，还包括：

步骤i，在接收到光场图像编辑指令时，获取基于所述光场图像编辑指令确定的一组待编辑光场图像，其中，所述待编辑光场图像由多张光场子图像组成；

步骤j，从所述待编辑光场图像中选出一中心光场子图像，并获取由用户对所述中心光场子图像进行增强现实编辑后的编辑中心子图像。

在本实施例中，光场图像编辑指令可由用户自行发出，也可根据预设程序自动发出。具体地，用户若确定一组包含有10张子图像的待编辑光场图像，并对其中的第5张进行增强现实编辑，将编辑后的该图像作为编辑中心子图像，并向计算机发起一光场图像编辑指令。计算机获取指令中的待编辑光场图像与编辑中心子图像，即可将其作为深度神经网络的输出。

进一步地，在本实施例中，步骤S10之前，还包括：

步骤k，获取真实场景中采集的编辑前光场图像与编辑后光场图像，作为光场图像对；

步骤l，利用所述光场图像对，对预设初始深度神经网络模型进行训练，以生成所述深度神经网络模型。

在本实施例中，为训练深度神经网络，分别在真实场景采集编辑前的光场图像和编辑后的光场图像，形成光场图像对，为深度神经网络提供标准数据集。具体地采集过程可为：首先，拍摄获取某真实场景中的光场图像，作为编辑前的光场图像；在此真实场景中，进行物理操作(例如加入物体)，以改变场景内的内容。然后，再次拍摄获取此场景中的光场图像，作为编辑后光场图像应尽量达到的效果基准。同时，此光场图像作为训练深度神经网络的基准(ground truth)。以上两种光场图像形成光场图像对。

如图5所示，图5展示了两个图像对的例子，图5中包括子图(a)，子图(b)，子图(c)和子图(d)，其中，(a)和(b)为一个光场图像对中一张子图像对比示例，(c)和(d)为另一个光场图像对中一张子图像对比示例。此处，编辑前的光场图像，如(a)或(c)，为背景图像。编辑后的光场图像，如(b)或(d)，为基于同样背景，但放入了其它物体的图像。例如，(b)中放入的物体为一个usb；(d)中放入的物体为一个夹子。这里，放入的物体是真实存在的，它们被用来模拟增强现实编辑中待融合进来的物体(待融合物体往往取自另外一张普通自然图像或电脑合成图像中的一部分)。由于放入的物体是真实世界存在的，在使用光场相机采集光场图像对后，这些融合物体在光场图像不同子图像中存在真实的位移和旋转，因此可作为标准的训练数据集被深度神经网络用来训练。

在自建光场图像对的数据集的基础上，对该深度神经网络进行训练。以图5中的(a)为例：将图5(a)及所需其它图像输入深度神经网络后可得到编辑后的图像。将编辑后的图像与图5(b)即ground truth进行损失计算，对该深度神经网络进行训练，获得网络参数，具体可采用如ReLU等常用的损失函数。

进一步地，在本实施例中，步骤S30之后，还包括：

步骤m，将所述待编辑光场图像与目标完整光场图像作为训练数据集对所述深度神经网络模型进行训练，以优化所述深度神经网络模型。

在本实施例中，在由深度神经网络模型输出目标完整光场图像后，还可将原始的待编辑光场图像与经模型自动编辑后的目标完整光场图像作为训练数据集，再次对深度神经网络模型进行训练，以提升该深度神经网络模型的准确度。

在本实施例中，进一步通过获取一组待编辑光场图像与一张编辑中心子图像，使得在光场图像的一张中心子图像上的增强现实编辑操作可被自动传播到光场图像的所有其它子图像上，从而实现编辑一张子图像，即可得到所有子图像相应的编辑效果；通过采用真实场景的图像数据作为训练数据集，为深度神经网络的可用性提供了保障；通过将输出的图像数据与输入的图像数据再次训练深度神经网络，使得深度神经网络能够不断得到优化。

本发明还提供一种光场图像编辑装置。

所述光场图像编辑装置包括：

本发明还提供一种种光场图像编辑设备。

所述种光场图像编辑设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的光场图像编辑程序，其中所述光场图像编辑程序被所述处理器执行时，实现如上所述的光场图像编辑方法的步骤。

其中，所述光场图像编辑程序被执行时所实现的方法可参照本发明光场图像编辑方法的各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有光场图像编辑程序，所述光场图像编辑程序被处理器执行时实现如上所述的光场图像编辑方法的步骤。

其中，所述光场图像编辑程序被执行时所实现的方法可参照本发明光场图像编辑方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种光场图像编辑方法，其特征在于，所述光场图像编辑方法包括：

在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到所述待编辑光场图像与编辑中心子图像的图像特征；

将所述待编辑光场图像与编辑中心子图像的图像特征拼接成输入特征图，对所述输入特征图进行空间域与角度域交错卷积，得到中间输出；

将所述中间输出与优化输出叠加，并与所述编辑中心子图像进行连接，生成目标完整光场图像。

2.如权利要求1所述的光场图像编辑方法，其特征在于，所述获取待编辑光场图像与经过编辑处理后的编辑中心子图像的步骤包括：

3.如权利要求1所述的光场图像编辑方法，其特征在于，所述获取待编辑光场图像与经过编辑处理后的编辑中心子图像的步骤之前，还包括：

4.如权利要求1所述的光场图像编辑方法，其特征在于，所述在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到目标完整光场图像的步骤之后，还包括：

5.一种光场图像编辑装置，其特征在于，所述光场图像编辑装置包括：

图像获取模块，用于在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到所述待编辑光场图像与编辑中心子图像的图像特征；将所述待编辑光场图像与编辑中心子图像的图像特征拼接成输入特征图，对所述输入特征图进行空间域与角度域交错卷积，得到中间输出；将所述中间输出与所述编辑中心子图像进行连接，生成优化输入，以作为所述深度神经网络模型的优化子网络的输入；在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，得到所述优化输入的图像特征；将所述优化输入的图像特征进行空间域与角度域交错卷积，得到所述优化子网络的优化输出；将所述中间输出与优化输出叠加，并与所述编辑中心子图像进行连接，生成目标完整光场图像。

6.一种光场图像编辑设备，其特征在于，所述光场图像编辑设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光场图像编辑程序，所述光场图像编辑程序被所述处理器执行时实现如权利要求1至4中任一项所述的光场图像编辑方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有光场图像编辑程序，所述光场图像编辑程序被处理器执行时实现如权利要求1至4中任一项所述的光场图像编辑方法的步骤。