CN109214461A - 一种重建光场的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种重建光场的方法，包括：采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；将每组光场训练学习样本集进行分割；对分割所得到的每个子训练块计算，获得重建的光场。通过本发明的方案，实现了一种简单、有效、获取更加真实光场图像的光场重建方法。

Description

一种重建光场的方法及装置

技术领域

本发明涉及数字图像处理，尤其涉及一种重建光场的方法及装置。

背景技术

传统相机的原理基本相同，是空间3D场景到2D的投影，不能真实的反映真实世界的3D空间结构。光场图像的四维信息不仅包括我们所熟知的轻度信息，还记录了光线的方向信息。机器视觉就是模拟人类的视觉系统，利用计算机对图像的处理达到对3D场景的理解即感知物体位置远近、大小等三维信息。因此，相比于传统的彩色或灰度图像，光场图像能够为场景提供一种更精准可靠的描述，并且能够提高计算机视觉领域各项任务的性能。关于此技术研究，2016年伯克利大学Ng通过一个相位编码掩膜将空间中的4D光场信息记录到2D传感器，进行光场重建。并在最后指出如果涉及适当相位编码掩膜特性，可以搭建一个无镜头光场相机。

国内研究基于掩膜的光场采集与重建：北京航空航天大学常雷等分析掩膜光场成像的特点，建立光场成像的计算机仿真模型，模拟四维光场的采集，进行数字重聚焦实验以验证此方法的可行性。因此，如何实现一种简单、有效、获取更加真实光场图像的光场重建方法是亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种重建光场的方法及装置，可以实现一种简单、有效、获取更加真实光场图像的光场重建方法。

为了解决上述技术问题，本发明提供了一种重建光场的方法，包括：

采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；

将每组光场训练学习样本集进行分割；

对分割所得到的每个子训练块计算，获得重建的光场。

进一步地，所述将每组光场训练学习样本集进行分割，包括：

利用测量矩阵将每组光场训练学习样本集分割为多个8×8个子训练块。

进一步地，所述对分割后的每个训练块计算，获得重建的光场，包括：

采用K-SVD算法对分割后的每个子训练块分别进行计算，得到多个光场过完备字典；

从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场。

进一步地，从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场，包括：

从所述多个光场过完备字典中选择部分光场过完备字典；

采用分块法针对所选择的每个所述光场过完备字典进行重建光场，其中，所述重建光场时字典冗余度设定为1.6。

进一步地，所述对分割所得到的每个子训练块计算，获得重建的光场后，方法还包括：

计算所述重建的光场的峰值信噪比。

为了解决上述问题，本发明还提供了一种重建光场的方法，包括：存储器和处理器；其特征在于：

所述存储器，用于保存用于重建光场的程序；

所述处理器，用于读取执行所述用于重建光场的程序，执行如下操作：

采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；

将每组光场训练学习样本集进行分割；

对分割所得到的每个子训练块计算，获得重建的光场。

进一步地，所述将每组光场训练学习样本集进行分割，包括：

利用测量矩阵将每组光场训练学习样本集分割为多个8×8个子训练块。

进一步地，所述将每组光场训练学习样本集进行分割，包括：

采用K-SVD算法对分割后的每个子训练块分别进行计算，得到多个光场过完备字典；

从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场。

进一步地，所述从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场，包括：

从所述多个光场过完备字典中选择部分光场过完备字典；

采用分块法针对所选择的每个所述光场过完备字典进行重建光场，其中，所述重建光场时字典冗余度设定为1.6。

进一步地，所述处理器读取执行所述用于重建光场的程序，还执行如下操作：

所述对分割所得到的每个子训练块计算，获得重建的光场后，

计算所述重建的光场的峰值信噪。

本发明提出了一种重建光场的方法，包括：采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；将每组光场训练学习样本集进行分割；对分割所得到的每个子训练块计算，获得重建的光场。通过本发明的方案，解决了如何实现一种简单、有效、获取更加真实光场图像的光场重建方法等问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的重建光场方法的流程图；

图2为本发明实施例的重建光场装置的示意图；

图3为示例中重建光场时峰值信噪比和分块大小的关系示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是本发明实施例的重建光场方法的流程图，根据该流程图，本实施例的重建光场方法，包括：

步骤100：采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；

在本实施例中，可以通过仿真光场或掩膜相机光场采集光场训练学习样本。其中，掩膜相机光场采集是一种高分辨率、大视场的成像技术，它是在传统相机的CCD前放置掩膜对光线进行调制以获取入射光线的强度的方向信息。

采集多组光场训练学习样本集，可选地，选择每组光场训练学习样本集包含5x5个角度视角作为光场训练学习样本数据。

一个示例中，步骤100实现过程可以包括：掩膜相机光场采集100组光场训练学习样本，选择4组光场训练学习样本集进行光场训练，其中，每组光场训练学习样本集包含5x5个角度视角。

在其它实现方式中，每组光场训练学习样本集也可以选择包含3x3、8x8等其他个数的角度视角作为光场训练学习样本集。

步骤101：将每组光场训练学习样本集进行分割。

在本实施例中，将4组光场训练学习样本集进行分割，实现方式可以为：将上述4组5x5个视角的光场训练学习样本集随机分为多个n x m的训练子块，例如：基于选择每组光场训练学习样本集包含5x5个角度视角，因此，可以将分割训练块大小预先设定为5x5x3x3到5x5x13x13之间大小进行划分。

在本实施例的一些可选的实现方式中，将每组光场训练学习样本集进行分割，可以利用测量矩阵对每组光场训练学习样本集进行分割。例如：每组光场训练学习样本集中将光场图像角度分辨率定义为5x5、空间分辨率定义为3x3、4x4……13x13。

对光场训练学习样本集分割时，如果划分的训练块比较小时，因为训练块过小则训练的光场字典原子将不能包含样本集的全部角度分辨率信息，最终使重建光场质量下降；若分块太大不仅使学习训练的过完备字典原子的角度分辨率下降，并且会导致重建光场速度也将变慢；本实施例的一种实施方式中，将样本采集的训练块角度分辨率设定为5x5，空间分辨率设定为8x8，即将每组光场训练学习样本集分割为多个8×8的子训练块，既可以保证重建光场的质量，还可以保证重建光场的速度。

在其它实现方式中，可以采用其他的方法对光场训练学习样本集进行分割。针对于不同的光场训练学习样本，可以选择空间分辨率为5x5或9x9以等空间分辨率作为设定的参数对每组光场训练学习样本集进行分割。

步骤102：对分割所得到的每个子训练块计算，获得重建的光场。

在本实施例的一些可选的实现方式中，对分割所得到的每个子训练块可以采用K-SVD算法对分割后的每个子训练块分别进行计算，得到多个光场过完备字典；从上述计算获得的多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场。

K-SVD算法获得光场过完备字典的训练学习包括两个步骤：1)稀疏编码：假定给定固定的字典，通过正交匹配追踪算法，依次更新字典稀疏表示的系数向量；2)字典更新：由正交匹配追踪算法得到的系数向量对字典更新。需要说明的是，K-SVD算法属于本领域技术人员所熟知的惯用技术手段，并不用来限制本发明方法，在此不再赘述。

在本实施例的一些可选的实现方式中，从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场，实现方式可以为：从所述多个光场过完备字典中选择部分光场过完备字典；采用分块法针对所选择的每个所述光场过完备字典进行重建光场。在采用分块法针对所选择的每个所述光场过完备字典进行重建光场时，正则化参数λ可以设定为0.01，字典冗余度设定为1.6。

在本实施例中，分块法可以采用滑动分块法或直接分块法。

需要说明的是，分块法属于本领域技术人员所熟知的惯用技术手段，并不用来限制本发明方法，在此不再赘述。

在本实施例的一些可选的实现方式中，对分割所得到的每个子训练块计算，获得重建的光场后，通过计算所述重建的光场的峰值信噪比。例如：从多个光场过完备字典中选择11个光场过完备字典；对11个所述光场过完备字典重建光场后，通过计算每个重建的光场的峰值信噪比(PSNR)作为评价指标评估重建光场的质量。例如：将光场训练学习样本集的训练块分别设定为5x5x3x3到5x5x13x13之间，设定字典的冗余度为2，并且将4组包含5x5的角度分辨率的训练学习样本集随机分割为30万个训练子块，采用K-SVD算法学习获取光场完备字典，选择的11个不同的光场完备字典所重建的光场，以峰值信噪比(PSNR)对重建的光场进行评价，确定重建的光场质量最好的是空间分辨率设定为8x8时所重建的光场。

需要说明的是，上述内容仅是本发明的具体实施例，与上述实施例相同或相似的实施例，以及上述实施例的变体都在本发明的保护范围之内。

另外，本申请提供了一种重建光场的装置的一个实施例，该装置实施例与图1所示的方法实施例对应，该装置具体可以应用于各种云平台中。

如图2所示，本实施例的重建光场的装置，包括：存储器和处理器；

所述存储器，用于保存用于重建光场的程序；

所述处理器，用于读取执行所述用于重建光场的程序，执行如下操作：

采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；

将每组光场训练学习样本集进行分割；

对分割所得到的每个子训练块计算，获得重建的光场。

可选地，所述将每组光场训练学习样本集进行分割，包括：利用测量矩阵将每组光场训练学习样本集分割为多个8×8个子训练块。

可选地，所述将每组光场训练学习样本集进行分割，包括：采用K-SVD算法对分割后的每个子训练块分别进行计算，得到多个光场过完备字典；从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场。

可选地，所述从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场，包括：从所述多个光场过完备字典中选择部分光场过完备字典；采用分块法针对所选择的每个所述光场过完备字典进行重建光场，其中，所述重建光场时字典冗余度设定为1.6。

可选地，所述处理器读取执行所述用于重建光场的程序，还执行如下操作：所述对分割所得到的每个子训练块计算，获得重建的光场后，计算所述重建的光场的峰值信噪。

本实施例的一个具体示例的实施过程如下：

(1)利用掩膜相机光场采集4组光场训练学习样本集，每组样本包含5x5个视角；

(2)把上述4组光场样本集随机分为多个n x m的子训练块；

(3)样本集的子训练块分别设定为5x5x3x3到5x5x13x13之间，设定字典的冗余度为2，其中将4组5x5个视角的训练样本集随机分割为30万个子训练块，采用K-SVD算法对光场样本集训练学习，得到11个不同的光场完备字典。

(4)针对11个不同的光场完备字典分别重建光场，采用分块法进行重建光场，其中，正则化参数λ可以设定为0.01。

(5)针对11个不同的光场完备字典所重建的光场分别计算每个光场的峰值信噪比(PSNR)，对上述重建的光场进行评价，PSNR和分块大小的关系如图3所示。

本申请中的重建光场的一个具体示例，实现一种可简单、有效、获取更加真实光场图像的光场重建的方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。任何与本发明设计思路相同或相似的方案，以及与本发明实施例相同或相似的方案和本发明实施例的变体都在本发明的保护范围之内。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种重建光场的方法，其特征在于，所述方法包括：

采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；

将每组光场训练学习样本集进行分割；

对分割所得到的每个子训练块计算，获得重建的光场。

2.根据权利要求1所述的重建光场的方法，其特征在于，所述将每组光场训练学习样本集进行分割，包括：

利用测量矩阵将每组光场训练学习样本集分割为多个8×8个子训练块。

3.根据权利要求1所述的重建光场的方法，其特征在于，所述对分割后的每个训练块计算，获得重建的光场，包括：

采用K-SVD算法对分割后的每个子训练块分别进行计算，得到多个光场过完备字典；

从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场。

4.根据权利要求3所述的重建光场的方法，其特征在于，所述从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场，包括：

从所述多个光场过完备字典中选择部分光场过完备字典；

采用分块法针对所选择的每个所述光场过完备字典进行重建光场，其中，所述重建光场时字典冗余度设定为1.6。

5.根据权利要求1所述的重建光场的方法，其特征在于，所述对分割所得到的每个子训练块计算，获得重建的光场后，方法还包括：

计算所述重建的光场的峰值信噪比。

6.一种重建光场的装置，包括：存储器和处理器；其特征在于：

所述存储器，用于保存用于重建光场的程序；

所述处理器，用于读取执行所述用于重建光场的程序，执行如下操作：

采集多组光场训练学习样本集，其中，每组光场训练学习样本集包含5x5个角度视角；

将每组光场训练学习样本集进行分割；

对分割所得到的每个子训练块计算，获得重建的光场。

7.如权利要求6所述重建光场的装置，其特征在于，所述将每组光场训练学习样本集进行分割，包括：

利用测量矩阵将每组光场训练学习样本集分割为多个8×8个子训练块。

8.如权利要求6所述重建光场的装置，其特征在于，所述将每组光场训练学习样本集进行分割，包括：

采用K-SVD算法对分割后的每个子训练块分别进行计算，得到多个光场过完备字典；

从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场。

9.如权利要求8所述重建光场的装置，其特征在于，所述从所述多个光场过完备字典中选择至少部分光场过完备字典分别进行计算，获得重建的光场，包括：

从所述多个光场过完备字典中选择部分光场过完备字典；

采用分块法针对所选择的每个所述光场过完备字典进行重建光场，其中，所述重建光场时字典冗余度设定为1.6。

10.如权利要求6所述重建光场的装置，其特征在于，所述处理器读取执行所述用于重建光场的程序，还执行如下操作：

所述对分割所得到的每个子训练块计算，获得重建的光场后，

计算所述重建的光场的峰值信噪。