CN106447762B - 基于光场信息的三维重建方法及系统 - Google Patents

Abstract

本发明适用于计算机视觉技术领域，提供了一种基于光场信息的三维重建方法及系统。所述方法包括：利用光场相机对待重建场景进行拍摄，获得四维光场信息；对获得的四维光场信息进行频域数字重聚焦处理，获得N张重聚焦图片序列；对获得的N张重聚焦图片序列分别进行二级小波变换，并对二级小波变换结果进行特征提取；以提取的所述特征作为输入，采用SVM回归模型对局部聚焦质量进行回归处理，以获得每个像素点的聚焦质量评价；将聚焦质量评价转化为似然深度图；通过图像分割算法对原始图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，迭代处理似然深度图，得到最终的场景深度图，以实现对场景的三维重建。

Description

基于光场信息的三维重建方法及系统

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于光场信息的三维重建方法及系统。

背景技术

光场成像技术是一种可以同时获取光线位置和方向信息的成像方式，并利用信号处理的相关算法处理得到光场信息的技术。与传统成像系统只能获得光辐射的位置信息不同，光场成像系统能够记录光辐射在传播过程中的四维位置和方向信息，因而得到了相对更多的图像信息，为图像处理的相关应用提供了更广的发展思路和方向。同时，随着三维显示技术的不断发展，越来越多的物体可以以三维的形式展现在人们面前，使人们能够更好地感知本源的三维世界。

现有主要通过以下方式来进行三维重建：第一种方式是依据传统的几何造型技术直接生成，如专业的建模软件3DMAX、AUTOCAD等；第二种方式是通过三维扫描设备对场景进行扫描，进而实现场景的三维重建。第一种方式需要的周期长且操作复杂，对操作人员要求高，且重建效果不理想；第二种方式的重建效果好，但三维扫描设备价格昂贵，重建成本相对较高。

故，有必要提出一种新的技术方案，以解决上述技术问题。

发明内容

鉴于此，本发明实施例提供一种基于光场信息的三维重建方法及系统，以利用光场相机一次曝光成像完成三维重建，降低三维重建的复杂度，同时节省三维重建系统的处理时间，降低三维重建成本。

第一方面，本发明实施例提供了一种基于光场信息的三维重建方法，所述基于光场信息的三维重建方法包括：

利用光场相机对待重建场景进行拍摄，获得包含场景位置和方向信息的四维光场信息；

对获得的所述四维光场信息进行频域数字重聚焦处理，获得聚焦距离由近到远的N张重聚焦图片序列，所述N为大于1的整数；

对获得的所述N张重聚焦图片序列分别进行二级小波变换，并对二级小波变换结果进行特征提取；

以提取的所述特征作为输入，采用SVM回归模型对局部聚焦质量进行回归处理，以获得每个像素点的聚焦质量评价；

将所述聚焦质量评价转化为似然深度图；

通过图像分割算法对原始图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，迭代处理所述似然深度图，得到最终的场景深度图，以实现对场景的三维重建。

第二方面，本发明实施例提供了一种基于光场信息的三维重建系统，所述基于光场信息的三维重建系统包括：

光场信息获取模块，用于利用光场相机对待重建场景进行拍摄，获得包含场景位置和方向信息的四维光场信息；

重聚焦图片获取模块，用于对获得的所述四维光场信息进行频域数字重聚焦处理，获得聚焦距离由近到远的N张重聚焦图片序列，所述N为大于1的整数；

特征提取模块，用于对获得的所述N张重聚焦图片序列分别进行二级小波变换，并对二级小波变换结果进行特征提取；

聚焦质量评价获取模块，用于以提取的所述特征作为输入，采用SVM回归模型对局部聚焦质量进行回归处理，以获得每个像素点的聚焦质量评价；

似然深度图获取模块，用于将所述聚焦质量评价转化为似然深度图；

场景深度图获取模块，用于通过图像分割算法对原始图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，迭代处理所述似然深度图，得到最终的场景深度图，以实现对场景的三维重建。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例利用光场相机作为场景四维光场信息的获取工具，通过光场相机的一次成像即可完成对场景的三维重建，降低了三维重建的复杂度，同时节省了三维重建系统的处理时间，降低了三维重建成本。而且，通过采用基于小波变换和SVM回归模型的图片聚焦质量评价方法以及基于图像分割算法和随机场模型的场景深度估计方法，获得了较为理想的场景深度图，很好地实现了场景的三维重建，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于光场信息的三维重建方法的实现流程示意图；

图2a是本发明实施例提供的四维光场信息的示意图；图2b是本发明实施例提供的二维切片信息的示意图；

图3是本发明实施例提供的二级小波变换后的结果图；

图4是本发明实施例提供的基于光场信息的三维重建系统的组成结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

请参阅图1，为本发明实施例提供的基于光场信息的三维重建方法的实现流程，该方法可适用于各类终端设备，如个人计算机、平板电脑、手机等。该方法主要包括以下步骤：

步骤S101，利用光场相机对待重建场景进行拍摄，获得包含场景位置和方向信息的四维光场信息。

具体的可以是，采用光场相机对待重建场景进行拍摄，获得.lfp格式的数据，利用Lytro Compatible Viewer软件提取得到Raw数据及四维光场图像，包含场景位置和方向信息等。

在步骤S102中，对获得的所述四维光场信息进行频域数字重聚焦处理，获得聚焦距离由近到远的N张重聚焦图片序列，所述N为大于1的整数。

由于快速傅里叶变换本身具有很好的分治特性及潜在的并行性特征，可以很好的实现在CUDA平台上的映射，因此本发明实施例利用CUDA技术对获得的所述四维光场信息进行频域数字重聚焦处理，使得三维重建系统的处理速度提升了近100倍。具体的可以是，利用频域数字重聚焦算法对获得的所述四维光场信息进行四维傅里叶变换，并对四维傅里叶变换结果进行切片处理，获得二维切片信息，通过计算切片的二维反傅里叶变换，获得聚焦于特定位置的N张重聚焦图片序列，如图2a、2b所示。

在步骤S103中，对获得的所述N张重聚焦图片序列分别进行二级小波变换，并对所述二级小波变换结果进行特征提取。

在本发明实施例中，对获得的所述N张重聚焦图片序列分别进行二级小波变换，每幅图片经二级小波变换后可以得到图像的二级水平方向高频分量、二级垂直方向高频分量、二级对角线方向高频分量、一级水平方向高频分量、一级垂直方向高频分量、一级对角线方向高频分量及图像的低频部分分量共7个分量信息，如图3所示。再加上处理前的图片信息，则有8个特征信息。为得到每个像素点的深度，需要对每个像素点局部聚焦质量进行评价。

在步骤S104中，以提取的所述特征作为输入，采用SVM回归模型对局部聚焦质量进行回归处理，以获得每个像素点的聚焦质量评价；

在步骤S105中，将所述聚焦质量评价转化为似然深度图。

在本发明实施例中，由于在不同焦距下的图像任意一点，其在频域中不同频率上的能量会产生变化。同一点在不同焦距下的聚焦质量呈单调形式，且在聚焦距离和该点在同一深度的情况下，聚焦质量最佳，因此本发明实施例采用基于RBF核的SVM回归模型对局部聚焦质量进行回归处理。利用所述基于RBF核的SVM回归模型进行回归处理前，还使用了手工标定得到的样本数据对SVM回归模型进行了训练。示例性的，将9张重聚焦图片序列编号为λ₁,λ₂,λ₃,λ₄,λ₅,λ₆,λ₇,λ₈,λ₉，提取每幅图片每一像素点在不同焦距(9张重聚焦图片序列)和不同频率(小波变换后的8个特征信息)下的小波系数的平方(即能量)，可得到72维特征，其中表示在重聚焦图片λ_i中的第j个频率下的响应值的平方。考虑到不同焦距图像在相同频率下的响应是相关的，对不同聚焦图像的相同频率下的小波系数进行归一化处理，可有效降低回归模型的非线性复杂度。将提取的所述特征经过所述基于RBF核的SVM回归模型处理后，最终得到重聚焦图片序列中每个像素的聚焦质量评价值。然后通过标定过程，将聚焦质量评价转化为似然深度图。具体的可以是，令标靶平面垂直于光场相机的光心射线，标靶距离光场相机由近到远逐步移动，光场相机在移动的过程中持续进行拍照。为了避免聚焦质量评价方法引入的误差，采用聚焦质量评价方法对光场相机获得的图像进行聚焦质量评价，即直接建立由聚焦质量评价方法获得的聚焦质量评价和深度之间的映射关系。由于标靶垂直于光场相机光心射线，因此可采用对聚焦质量评价结果的均值作为当前图像的聚焦质量。由于聚焦质量和光场相机与标靶的距离是单峰的关系，因此对每个聚焦距离，可以通过移动标靶，得到一系列聚焦质量评价结果。当获得最高聚焦质量评价时，标靶和相机的距离即为该聚焦距离下的深度。依次对上述9个聚焦距离进行如上操作，即可获得聚焦质量评价结果和深度之间的离散映射关系，获得似然深度图。

在步骤S106中，通过图像分割算法对原始图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，迭代处理所述似然深度图，得到最终的场景深度图，以实现对场景的三维重建。

由于基于像素级的深度判断存在一定的误差，因此获得的似然深度图可能不是很理想，需要采用随机场模型对所述似然深度图进行增强处理。

本发明实施例假设以下两个场景(不以此为限)：第一，场景中每一相同颜色的块都在同一个平面上；第二，相邻块之间，颜色越相近，两块平面的边界则越相交。为了利用先验信息，使用图像分割算法对原始光场图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，利用优化算法迭代处理所述似然深度图，得到最终的场景深度图，实现场景的三维重建。

本发明实施例所述的三维重建方法，实现简单，运算速度快，运算复杂度低，具有较强的易用性和实用性。

图4为本发明实施例提供的基于光场信息的三维重建系统的组成结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。

所述基于光场信息的三维重建系统可以是内置于终端设备(例如个人计算机、手机、平板电脑等)中的软件单元、硬件单元或者是软硬件结合的单元。

所述基于光场信息的三维重建系统包括：

光场信息获取模块41，用于利用光场相机对待重建场景进行拍摄，获得包含场景位置和方向信息的四维光场信息；

重聚焦图片获取模块42，用于对获得的所述四维光场信息进行频域数字重聚焦处理，获得聚焦距离由近到远的N张重聚焦图片序列，所述N为大于1的整数；

特征提取模块43，用于对获得的所述N张重聚焦图片序列分别进行二级小波变换，并对二级小波变换结果进行特征提取；

聚焦质量评价获取模块44，用于以提取的所述特征作为输入，采用SVM回归模型对局部聚焦质量进行回归处理，以获得每个像素点的聚焦质量评价；

似然深度图获取模块45，用于将所述聚焦质量评价转化为似然深度图；

场景深度图获取模块46，用于通过图像分割算法对原始图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，迭代处理所述似然深度图，得到最终的场景深度图，以实现对场景的三维重建。

进一步的，所述重聚焦图片获取模块42具体用于：

利用频域数字重聚焦算法对获得的所述四维光场信息进行四维傅里叶变换，并对四维傅里叶变换结果进行切片处理，获得二维切片信息，通过计算切片的二维反傅里叶变换，获得聚焦于特定位置的N张重聚焦图片序列。

进一步的，所述二级小波变换结果包括：

图像的二级水平方向高频分量信息、二级垂直方向高频分量信息、二级对角线方向高频分量信息、一级水平方向高频分量信息、一级垂直方向高频分量信息、一级对角线方向高频分量信息以及图像的低频部分分量信息。

进一步的，所述似然深度图获取模块45具体用于：

通过标定过程，将所述聚焦质量评价转化为似然深度图。

进一步的，所述重聚焦图片获取模块42还具体用于：

利用CUDA技术对获得的所述四维光场信息进行频域数字重聚焦处理。

综上所述，本发明实施例利用光场相机作为场景四维光场信息的获取工具，通过光场相机的一次成像即可完成对场景的三维重建，降低了三维重建的复杂度，同时节省了三维重建系统的处理时间。而且，通过采用基于小波变换和SVM回归模型的图片聚焦质量评价方法以及基于图像分割算法和随机场模型的场景深度估计方法，获得了较为理想的场景深度图，很好地实现了场景的三维重建。本发明实施例在实现上述过程中，不需要增加额外的硬件，可有效降低三维重建成本，具有较强的易用性和实用性。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (8)

1.一种基于光场信息的三维重建方法，其特征在于，所述基于光场信息的三维重建方法包括：

利用光场相机对待重建场景进行拍摄，获得包含场景位置和方向信息的四维光场信息；

对获得的所述四维光场信息进行频域数字重聚焦处理，获得聚焦距离由近到远的N张重聚焦图片序列，所述N为大于1的整数；

对获得的所述N张重聚焦图片序列分别进行二级小波变换，并对二级小波变换结果进行特征提取；

以提取的所述特征作为输入，采用SVM回归模型对局部聚焦质量进行回归处理，以获得每个像素点的聚焦质量评价；

通过标定过程，将所述聚焦质量评价转化为似然深度图；

通过图像分割算法对原始图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，迭代处理所述似然深度图，得到最终的场景深度图，以实现对场景的三维重建。

2.如权利要求1所述的基于光场信息的三维重建方法，其特征在于，所述对获得的所述四维光场信息进行频域数字重聚焦处理，获得聚焦距离由近到远的N张重聚焦图片序列包括：

利用频域数字重聚焦算法对获得的所述四维光场信息进行四维傅里叶变换，并对四维傅里叶变换结果进行切片处理，获得二维切片信息，通过计算切片的二维反傅里叶变换，获得聚焦于特定位置的N张重聚焦图片序列。

3.如权利要求1所述的基于光场信息的三维重建方法，其特征在于，所述二级小波变换结果包括：

图像的二级水平方向高频分量信息、二级垂直方向高频分量信息、二级对角线方向高频分量信息、一级水平方向高频分量信息、一级垂直方向高频分量信息、一级对角线方向高频分量信息以及图像的低频部分分量信息。

4.如权利要求1至3任一项所述的基于光场信息的三维重建方法，其特征在于，所述对获得的所述四维光场信息进行频域数字重聚焦处理具体为：

利用CUDA技术对获得的所述四维光场信息进行频域数字重聚焦处理。

5.一种基于光场信息的三维重建系统，其特征在于，所述基于光场信息的三维重建系统包括：

光场信息获取模块，用于利用光场相机对待重建场景进行拍摄，获得包含场景位置和方向信息的四维光场信息；

重聚焦图片获取模块，用于对获得的所述四维光场信息进行频域数字重聚焦处理，获得聚焦距离由近到远的N张重聚焦图片序列，所述N为大于1的整数；

特征提取模块，用于对获得的所述N张重聚焦图片序列分别进行二级小波变换，并对二级小波变换结果进行特征提取；

聚焦质量评价获取模块，用于以提取的所述特征作为输入，采用SVM回归模型对局部聚焦质量进行回归处理，以获得每个像素点的聚焦质量评价；

似然深度图获取模块，用于通过标定过程，将所述聚焦质量评价转化为似然深度图；

场景深度图获取模块，用于通过图像分割算法对原始图像进行颜色聚类分析，提取出随机场节点，对基于颜色的随机场节点进行建模，迭代处理所述似然深度图，得到最终的场景深度图，以实现对场景的三维重建。

6.如权利要求5所述的基于光场信息的三维重建系统，其特征在于，所述重聚焦图片获取模块具体用于：

利用频域数字重聚焦算法对获得的所述四维光场信息进行四维傅里叶变换，并对四维傅里叶变换结果进行切片处理，获得二维切片信息，通过计算切片的二维反傅里叶变换，获得聚焦于特定位置的N张重聚焦图片序列。

7.如权利要求5所述的基于光场信息的三维重建系统，其特征在于，所述二级小波变换结果包括：

图像的二级水平方向高频分量信息、二级垂直方向高频分量信息、二级对角线方向高频分量信息、一级水平方向高频分量信息、一级垂直方向高频分量信息、一级对角线方向高频分量信息以及图像的低频部分分量信息。

8.如权利要求5至7任一项所述的基于光场信息的三维重建系统，其特征在于，所述重聚焦图片获取模块还具体用于：

利用CUDA技术对获得的所述四维光场信息进行频域数字重聚焦处理。