CN113205592A - 一种基于相位相似性的光场三维重建方法及系统 - Google Patents

Abstract

本发明属于光场三维重建技术领域，公开了一种基于相位相似性的光场三维重建方法及系统。方法包括对光场相机进行标定，结合光场相机的成像模型得到视差与深度的映射关系；投影正弦条纹到被测物体的表面，在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图；将视差图导入到视差与深度的映射关系中得到被测物体的深度信息；根据深度信息重建被测物体的三维模型。系统包括光场相机、数字投影仪和服务器。本发明解决现有技术中对于场景单一或物体表面纹理模糊情况下视差难以得到的问题，能够精确高效地实现被测物体的三维形貌测量。

Description

一种基于相位相似性的光场三维重建方法及系统

技术领域

本发明属于光场三维重建技术领域，更具体地，涉及一种基于相位相似性的光场三维重建方法及系统。

背景技术

随着制造业的迅猛发展，新一代工业技术正朝着信息化、智能化的方向发展，对空间三维信息的感知与处理已成为了智能制造的发展趋势。光学测量因其非接触式，精度高，速度快等优势，在工业上被广泛使用。光场成像技术作为成像领域的一种新兴的技术，成为了最近几年的研究热门方向。

光场成像作为一种可以同时记录光线方向和强度的多维信息获取方法，近些年成为了光学领域研究的热门方向。目前光场视差计算大多是基于极平面图像(Epipolarplane image，EPI)的方法实现的，通过计算场景的梯度和结构张量获取到极平面图中的直线斜率信息，进而得到场景视差。但对于一些场景单一或者物体表面纹理模糊的情况，会使EPI中的直线结构不清晰，难以得到准确的视差图。

发明内容

本发明通过提供一种基于相位相似性的光场三维重建方法及系统，解决现有技术中对于场景单一或物体表面纹理模糊情况下视差难以得到的问题。

本发明提供一种基于相位相似性的光场三维重建方法，包括以下步骤：

对光场相机进行标定，结合光场相机的成像模型，得到视差与深度的映射关系；

投影正弦条纹到被测物体的表面，在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图；

将所述视差图导入到所述视差与深度的映射关系中，得到被测物体的深度信息；

根据所述深度信息重建被测物体的三维模型。

优选的，采用张正友标定法，通过拍摄不同位姿的棋盘格对光场相机进行标定，得到光场相机的内外参数。

优选的，所述视差与深度的映射关系表示为：

式中，z^c表示被测物体的深度，u表示被测物体在光场相机的主透镜聚焦平面上的投影到光场相机的主透镜之间的距离，b表示光场相机中微透镜阵列与图像传感器之间的距离，d表示光场相机中两相邻微透镜中心之间的距离，q表示光场相机的图像传感器上像素的大小，Δx表示被测物体的真实位置在光场相机的两个相邻子孔径图中的视差值。

优选的，得到视差与深度的映射关系之后，还包括：采用列文伯格-马夸尔特算法对所述视差与深度的映射关系进行误差最小化优化。

优选的，所述在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图的具体实现方式为：

记录正弦条纹经过被测物体的表面调制后的相位信息；基于相移原理对包裹相位进行求解；基于多频外差原理对包裹相位进行相位解包裹，得到相位展开的光场数据；

对所述相位展开的光场数据进行EPI计算，用所述相位信息替代EPI中的图像梯度和结构张量，提取EPI中每一个像素点所对应的直线，并计算得到每一个像素点所在直线的斜率，基于像素点的斜率信息得到被测物体的视差图。

优选的，投影的所述正弦条纹的光强函数表示为：

式中，I(x,y)为(x,y)处的光强函数，a(x,y)为(x,y)处的背景强度，b(x,y)为(x,y)处的调制强度，φ(x,y)为(x,y)处的相位值，

为相移值。

优选的，所述计算得到每一个像素点所在直线的斜率的具体实现方式为：

在EPI中的其他像素行中搜索与目标像素点的相位值相似度最高的像素点，并记录下这些像素点的位置；然后经过线性拟合得到目标像素点在EPI中所在直线的斜率。

另一方面，本发明提供一种基于相位相似性的光场三维重建系统，包括：光场相机、数字投影仪和服务器；

所述光场相机用于对标定过程中的棋盘格图像进行采集和对经相位编码后的被测物体图像进行采集；

所述数字投影仪用于投影正弦条纹到被测物体的表面；

所述服务器用于控制所述数字投影仪、进行光场数据的解码和运算；

所述基于相位相似性的光场三维重建系统用于实现上述基于相位相似性的光场三维重建方法中的步骤。

优选的，所述基于相位相似性的光场三维重建系统还包括：平移台和支架；所述平移台和所述支架均用于固定所述光场相机和所述数字投影仪。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在发明中，首先对光场相机进行标定，结合光场相机的成像模型得到视差与深度的映射关系；然后投影正弦条纹到被测物体的表面，在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图；之后将视差图导入到视差与深度的映射关系中得到被测物体的深度信息；最后根据深度信息重建被测物体的三维模型。由于根据图像的梯度和结构张量计算得到光场视差的传统EPI方法过于依赖场景中的纹理信息，导致传统方法在一些场景单一或纹理不清晰的情况下效果会大打折扣。本发明结合结构光条纹投影技术，使用相位信息对场景进行编码，能够有效的解决场景单一和物体表面纹理不清晰的问题，能够精确高效地实现被测物体的三维形貌测量，提升了三维重建系统的适用性，提高生产效率。

附图说明

图1为本发明实施例提供的一种基于相位相似性的光场三维重建方法的原理示意图；

图2为光场相机的成像模型；

图3为主透镜上的子孔径区域的示意图；

图4为光场相机的标定姿态结果图；

图5为拟合出的视差与深度之间的线性映射关系；

图6(a)为多视角视图，图6(b)为极平面图像；

图7(a)为条纹投影图像，图7(b)为包裹相位图，图7(c)为相位展开图；

图8为EPI中相位相似原理图；

图9为基于相位相似性的高精度视差图；

图10为被测物体三维重建结果。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例1：

实施例1提供了一种基于相位相似性的光场三维重建方法，包括以下步骤：

对光场相机进行标定，结合光场相机的成像模型，得到视差与深度的映射关系；

投影正弦条纹到被测物体的表面，在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图；

将所述视差图导入到所述视差与深度的映射关系中，得到被测物体的深度信息；

根据所述深度信息重建被测物体的三维模型。

其中，可采用张正友标定法，通过拍摄不同位姿的棋盘格对光场相机进行标定，得到光场相机的内外参数。所述内外参数包括相机焦距、原点坐标、旋转矩阵、平移向量等。

所述视差与深度的映射关系表示为：

式中，z^c表示被测物体的深度，u表示被测物体在光场相机的主透镜聚焦平面上的投影到光场相机的主透镜之间的距离，b表示光场相机中微透镜阵列与图像传感器之间的距离，d表示光场相机中两相邻微透镜中心之间的距离，q表示光场相机的图像传感器上像素的大小，Δx表示被测物体的真实位置在光场相机的两个相邻子孔径图中的视差值。

优选的方案中，得到视差与深度的映射关系之后，还包括：采用列文伯格-马夸尔特算法对所述视差与深度的映射关系进行误差最小化优化，以提升映射关系的可靠性。

投影的所述正弦条纹的光强函数表示为：

式中，I(x,y)为(x,y)处的光强函数，a(x,y)为(x,y)处的背景强度，b(x,y)为(x,y)处的调制强度，φ(x,y)为(x,y)处的相位值，

为相移值。

所述在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图的具体实现方式为：记录正弦条纹经过被测物体的表面调制后的相位信息；基于相移原理对包裹相位进行求解；基于多频外差原理对包裹相位进行相位解包裹，得到相位展开的光场数据；对所述相位展开的光场数据进行EPI计算，用所述相位信息替代EPI中的图像梯度和结构张量，提取EPI中每一个像素点所对应的直线，并计算得到每一个像素点所在直线的斜率，基于像素点的斜率信息得到被测物体的视差图。

其中，所述计算得到每一个像素点所在直线的斜率的具体实现方式为：在EPI中的其他像素行中搜索与目标像素点的相位值相似度最高的像素点，并记录下这些像素点的位置；然后经过线性拟合得到目标像素点在EPI中所在直线的斜率。

实施例1结合结构光条纹投影技术，使用相位信息对场景进行编码，能够有效的解决场景单一和物体表面纹理不清晰的问题，能够精确高效地实现被测物体的三维形貌测量。

实施例2：

实施例2提供了一种基于相位相似性的光场三维重建系统，包括：光场相机、数字投影仪和服务器；所述光场相机用于对标定过程中棋盘格图像进行采集和对经相位编码后的被测物体图像进行采集；所述数字投影仪用于投影正弦条纹到被测物体的表面；所述服务器用于控制所述数字投影仪、进行光场数据的解码和运算。

实施例2提供的基于相位相似性的光场三维重建系统用于实现如实施例1提供的基于相位相似性的光场三维重建方法中的步骤。

此外，所述基于相位相似性的光场三维重建系统还可包括：平移台和支架；所述平移台和所述支架均用于固定所述光场相机和所述数字投影仪。

下面对本发明做进一步的说明。

本发明首先应对光场相机进行标定工作，标定的目的是得到视差与深度之间的映射关系，再根据提出的基于相位相似性的改进EPI方法，结合正弦条纹引入的相位信息，计算得到高精度视差图，将视差图代入到标定得到的映射关系中，即可获得被测物体的深度信息，进而实现光场三维重建。本发明提供的一种基于相位相似性的光场三维重建方法的原理图参见图1，主要包括两部分工作：标定部分、视差计算部分。标定部分首先基于张正友标定法和EPI算法，计算出棋盘格角点处的深度值和视差值，再结合光场相机的成像模型，建立光场相机视差与深度之间的映射关系。视差计算部分通过投影正弦条纹到被测物体表面，根据物体表面的相位编码信息，利用相位相似性原理，在EPI中计算出各像素点处的视差值。结合标定得到的映射关系和基于相位相似性得到的精确视差图，即可获取到物体的深度信息，进而实现光场三维重建。

另一方面，本发明在光学平台上搭建基于相位相似性的光场三维重建系统，包括：光场相机、数字投影仪(DLP)、平移台、支架、服务器；所述数字投影仪设置在所述光场相机和被测物体之间，所述服务器分别与所述数字投影仪与所述光场相机相连接。在本系统中，所述数字投影仪不需要标定，所述光场相机的位置可以通过标定得到。所述平移台和所述支架均用于固定所述光场相机和所述数字投影仪，所述光场相机用于对标定过程中棋盘格的图像进行采集和对经相位编码后的被测物体的图像进行采集，所述数字投影仪用于投影正弦条纹到被测物体表面，所述服务器用于控制所述数字投影仪、进行光场数据的解码和运算。

本发明采用的光场相机的标定方法如下：

在传统针孔相机模型中，对于世界坐标系中的一点，存在高斯成像定理：

1/u+1/v＝1/f (1)

式中，u表示场景点P₀到主透镜之间的距离，v表示成像平面到主透镜之间的距离，f表示主透镜的焦距。

推广到光场相机模型中，光场成像模型如图2所示，基于相似三角形原理场景点和图像点之间的关系可以表示为：

x^m/v＝(s-x^c)/z^c-s/u (2)

式中，s表示主透镜子孔径到光心O_c之间的距离，x^m表示微透镜阵列的中心与光线穿过微透镜平面的位置之间的距离，x^c表示物点与主透镜中心之间的距离，z^c表示物点与主透镜平面之间的距离即物体的深度。

一般用(i,j)表示主透镜上的子孔径区域，参见图3，两个相邻子孔径区域之间的距离D可以表示为：

D＝qv/b (3)

式中，q为图像传感器上像素的大小，b为微透镜阵列与图像传感器(成像平面)之间的距离。

因此，主透镜子孔径到光心O_c之间的距离s与当前子孔径区域中的序列i之间的关系可以表示为：

s＝qv(i-i₀)/b＝D(i-i₀) (4)

式中，i表示当前子孔径区域中的序列，i₀表示子孔径区域的原点。

令s_l＝D(i_l-i₀)和s_l+1＝D(i_l+1-i₀)，s_l和s_l+1分别表示第l个子孔径区域和第l+1个子孔径区域两相邻子孔径，则代入公式(2)得到场景中视差与深度之间的映射关系：

其中视差

表示在不同微透镜下同一点坐标索引值，因此得到公式：

式中，z^c表示物体的深度，u表示场景点P₀(P₀为P在主透镜聚焦平面上的投影，即物距)到光场相机的主透镜之间的距离，b表示光场相机中微透镜阵列与图像传感器之间的距离，d表示光场相机中两相邻微透镜中心之间的距离，q表示光场相机的图像传感器上像素的大小，Δx表示场景点P(P为被测物体的真实位置)在光场相机的两个相邻子孔径图中的视差值，可以通过极平面图计算得到。应注意的是，Δx与l无关，因此在任意两个相邻子孔径图中的光场视差值是相同的。公式(6)描述了场景深度的倒数1/z^c与光场视差值Δx之间呈现出一种线性关系。理论上，光场相机拍摄得到的中心子孔径图像相当于传统相机拍摄到的图像，因此可以采用基于张正友标定法通过拍摄不同位姿的棋盘格来标定光场相机的内外参数，参数b、d、v则可以通过线性拟合出公式(6)的系数来得到。

采用一种非线性优化算法对得到的直线方程实现最小化优化。列文伯格-马夸尔特(Levenberg-Marquardt，LM)算法是介于牛顿法与梯度下降法之间的一种非线性优化方法，对于过参数化问题不敏感，能有效处理冗余参数问题，因此，对于拟合出的线性方程(即公式(6))进行LM最小化优化，可以有效提升线性关系的可靠性。

光场相机与棋盘格姿态图参见图4，标定得到的视差与深度之间的映射关系参见图5。

本发明涉及的基于相位相似性的光场视差计算方法如下：光场L可以简单地理解为光线空间里的函数，因其可以同时记录光线的角度和空间信息，光场可以表示为：L＝(s,t,x,y)，其中，(s,t)表示其角度分辨率，(x,y)表示空间分辨率。

特别地，当光线空间被限制在一个二维平面时产生的图像，例如当限制坐标(t*,y*)时，光场可以表示为：

此时图像即被称为极平面图像(Epipolarplane image，EPI)，可以理解为，将四维光场数据累和成为一个数据块，EPI即为对数据块进行水平或竖直方向的切割，如图6所示。

光场相机包含多视角信息，视点的变化与EPI平面上的投影坐标之间存在线性关系。变化的速率取决于被投影的场景点的深度，称为视差。这种相关性导致了我们所观察到的极面图像的特征结构，因为它保证了三维场景点在极面图像空间的投影是一条直线。

在光场EPI计算中，是通过对图像的梯度和结构张量进行计算进而获取到每一个像素点所在直线的斜率，此时直线的斜率就对应着像素点在子孔径图中的视差值。但当被测物体遇到纹理缺失或具有相似区域的情况时，一般的极平面图像中的直线结构可能不再清晰，这就给直接计算场景中每一个像素点所在直线的斜率带来了困难。

在光学测量领域中，结构光三维测量因其精度高，速度快等优点被作为主流的测量技术手段，本发明通过投影正弦条纹到被测物体表面，物体表面会对投影条纹的相位值进行调制，并且通过相位解包裹等技术手段，使场景中的相位值与像素点之间存在着唯一确定的关系。

利用这一特性，将结构光条纹投影技术引入到光场EPI计算中，用相位信息对场景中每一个像素点进行编码，采用相移算法和多频外差算法使得相位在像素点之间相互独立。

投影仪所投射的正弦条纹的光强函数为：

式中，I(x,y)为(x,y)处的光强函数，a(x,y)为(x,y)处的背景强度，b(x,y)为(x,y)处的调制强度，φ(x,y)为(x,y)处的相位值，

为相移值。

光场中子孔径图像可以认为是从不同视角来观察物体，在对投影条纹的结构光场进行EPI计算时，根据相位轮廓原理(PMP)可知，在不同视角中同一目标点被调制后的相位值应基本一致，这使得在计算结构光场EPI时，相位信息也会在EPI对应的直线方向上呈现一致性。

因此，为了实现获取斜率的目的，本发明从计算图像梯度和结构张量方法转移到计算相位一致的方法上来。

首先投影正弦条纹到被测物体表面，记录下经过被测物体表面调制后的相位信息(即φ(x,y))；根据相移原理对包裹相位进行求解，基于多频外差原理对包裹相位进行相位解包裹。相位信息如图7所示。

接着对得到的相位展开的光场图片进行EPI计算，用相位信息代替EPI中图像梯度和结构张量，由于经过相位编码后，图像中每一点的都相互独立，因此可以利用相位信息清晰明了地提取极平面图像中每一个像素所对应的直线，能够克服纹理缺失或结构相似带来的识别困难。

以中心视角为例，在中心视角结构光场极平面图(s,x)中，为了确定单个目标像素点(s*,x*)所在直线斜率，在EPI中的其他像素行中搜索与目标像素点的相位值相似度最高的像素点，记录下这些像素点的位置，在经过线性拟合即可得到目标像素点(s*,x*)在极平面图像中所在直线的斜率，见图8示意。每一个点都可以通过这种方式得到对应的斜率，通过遍历四维光场数据，得到高精度视差图。如图9所示。

将基于相位相似性得到的高精度视差图代入到标定出的视差与深度的映射关系中，即可获得被测物体的深度信息，实现三维重建。

基于相位相似性的光场三维重建结果如图10所示。使用相位信息代替结构张量的方法得到的视差图质量高，可有效提升光场三维重建的精度和效率。

本发明实施例提供的一种基于相位相似性的光场三维重建方法及系统至少包括如下技术效果：

(1)传统光场EPI视差是根据图像的梯度和结构张量计算得到的，过于依赖场景中的纹理信息，在一些场景单一或纹理不清晰的情况下，效果会大打折扣。本发明结合结构光条纹投影技术，使用相位信息对场景进行编码，能够有效的解决场景单一和物体表面纹理不清晰的问题，提升了三维重建系统的适用性，提高生产效率。

(2)本发明利用光场相机单次成像即可同时获取光线四维信息的特性，在传统EPI算法上进行改进，实现了从图像梯度和结构张量到相位信息的转变，提升了视差计算的准确性。并基于此原理搭建了光场三维重建系统，操作简单，解放了劳动力。

(3)由于传统的三维重建系统需要获得投影仪和相机的内外参矩阵和转换矩阵来计算出被测物体的深度信息，因此传统的三维重建系统都需要复杂繁琐的标定工作来获得场景中物体的深度信息，需要对相机和投影仪进行系统标定。由于本发明标定的目的是为了获取视差与深度之间的映射关系，再结合视差计算部分得到深度信息实现三维重建，因此本发明不需要对投影仪进行额外的标定工作，仅需对相机进行标定，能够节省大量的时间和操作。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于相位相似性的光场三维重建方法，其特征在于，包括以下步骤：

对光场相机进行标定，结合光场相机的成像模型，得到视差与深度的映射关系；

投影正弦条纹到被测物体的表面，在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图；

将所述视差图导入到所述视差与深度的映射关系中，得到被测物体的深度信息；

根据所述深度信息重建被测物体的三维模型。

2.根据权利要求1所述的基于相位相似性的光场三维重建方法，其特征在于，采用张正友标定法，通过拍摄不同位姿的棋盘格对光场相机进行标定，得到光场相机的内外参数。

3.根据权利要求1所述的基于相位相似性的光场三维重建方法，其特征在于，所述视差与深度的映射关系表示为：

式中，z^c表示被测物体的深度，u表示被测物体在光场相机的主透镜聚焦平面上的投影到光场相机的主透镜之间的距离，b表示光场相机中微透镜阵列与图像传感器之间的距离，d表示光场相机中两相邻微透镜中心之间的距离，q表示光场相机的图像传感器上像素的大小，Δx表示被测物体的真实位置在光场相机的两个相邻子孔径图中的视差值。

4.根据权利要求1所述的基于相位相似性的光场三维重建方法，其特征在于，得到视差与深度的映射关系之后，还包括：采用列文伯格-马夸尔特算法对所述视差与深度的映射关系进行误差最小化优化。

5.根据权利要求1所述的基于相位相似性的光场三维重建方法，其特征在于，所述在光场EPI中计算相位信息，基于相位相似性得到被测物体的视差图的具体实现方式为：

记录正弦条纹经过被测物体的表面调制后的相位信息；基于相移原理对包裹相位进行求解；基于多频外差原理对包裹相位进行相位解包裹，得到相位展开的光场数据；

对所述相位展开的光场数据进行EPI计算，用所述相位信息替代EPI中的图像梯度和结构张量，提取EPI中每一个像素点所对应的直线，并计算得到每一个像素点所在直线的斜率，基于像素点的斜率信息得到被测物体的视差图。

6.根据权利要求1所述的基于相位相似性的光场三维重建方法，其特征在于，投影的所述正弦条纹的光强函数表示为：

式中，I(x,y)为(x,y)处的光强函数，a(x,y)为(x,y)处的背景强度，b(x,y)为(x,y)处的调制强度，φ(x,y)为(x,y)处的相位值，

为相移值。

7.根据权利要求5所述的基于相位相似性的光场三维重建方法，其特征在于，所述计算得到每一个像素点所在直线的斜率的具体实现方式为：

在EPI中的其他像素行中搜索与目标像素点的相位值相似度最高的像素点，并记录下这些像素点的位置；然后经过线性拟合得到目标像素点在EPI中所在直线的斜率。

8.一种基于相位相似性的光场三维重建系统，其特征在于，包括：光场相机、数字投影仪和服务器；

所述光场相机用于对标定过程中的棋盘格图像进行采集和对经相位编码后的被测物体图像进行采集；

所述数字投影仪用于投影正弦条纹到被测物体的表面；

所述服务器用于控制所述数字投影仪、进行光场数据的解码和运算；

所述基于相位相似性的光场三维重建系统用于实现如权利要求1-7中任一项的所述基于相位相似性的光场三维重建方法中的步骤。

9.根据权利要求8所述的基于相位相似性的光场三维重建系统，其特征在于，还包括：平移台和支架；所述平移台和所述支架均用于固定所述光场相机和所述数字投影仪。

Images