CN109506589A - 一种基于结构光场成像的三维轮廓测量方法 - Google Patents

Abstract

一种基于结构光场成像的三维轮廓测量方法，其特征在于，建立由光场相机与投影仪构成的成像系统，投影仪向被测物体投射原始编码光栅，光场相机拍摄经被测物体轮廓调制后的编码光栅图像，对光场相机所拍摄得到的经被测物体轮廓调制后的编码光栅图像进行解码，根据解码后所得信息对物体轮廓进行三维重建；将三维轮廓测量问题归结为求解含有物点三维坐标三个未知数的三个方程，其中，对成像系统进行标定后，由待测物体成像于光场相机中心子孔径图像的过程确定二个方程，由采用解码后的图像信息确定第三个方程，通过求解上述三个方程构成的方程组，实现三维轮廓测量。

Description

一种基于结构光场成像的三维轮廓测量方法

技术领域

本文涉及三维成像技术，尤其涉及一种基于结构光场成像的三维轮廓测量方法，可以用于自动化、工业检测、医学检测等诸多领域。

背景技术

三维轮廓测量技术分为接触式和非接触式测量，其中非接触式测量又分为主动式测量和被动式测量。主动式测量方法包含结构光法、激光三角法等。其中相位测量轮廓术是一种基于结构光法的三维轮廓测量技术，该技术首先向物体表面投射结构光栅，其次使用传统相机拍摄经物体表面轮廓调制的光栅条纹图，然后对该光栅条纹图进行处理得到包裹相位，通过对包裹相位进行解包裹得到解包裹相位，最后根据解包裹相位实现三维重建。相位测量轮廓术的特点在于精度较高，但难以实现实时测量，而传统的解包裹算法：遗传算法、多频外差等，这些算法都无法实现三维轮廓的实时测量。被动式测量方法包含立体视觉方法等，其具有结构轻便、数据采集迅速等优点，但其立体匹配精度、光线信息丢失等问题导致三维重建精度较差。

发明内容

光场相机能够记录三维空间中光线的位置信息和角度信息，从而建立几何约束重建物体的三维信息。本发明通过构建由光场相机和投影仪组成的成像系统，投影仪对被测物体投射编码光栅，并用光场相机进行拍摄，然后对所得图像进行解相，最后根据所得相位对物体轮廓进行三维重建。其中，使用光场相机获取富含深度编码信息的光线信息，实现三维重建，是本发明的核心所在。

为实现上述目的，本发明采用的技术方案如下：一种基于结构光场成像的三维轮廓测量方法，其特征在于，建立由光场相机与投影仪构成的成像系统，投影仪向被测物体投射原始编码光栅，光场相机拍摄经被测物体轮廓调制后的编码光栅图像，对光场相机所拍摄得到的经被测物体轮廓调制后的编码光栅图像进行解码，根据解码后所得信息对物体轮廓进行三维重建；将三维轮廓测量问题归结为求解含有物点三维坐标三个未知数的三个方程，其中，对成像系统进行标定后，由待测物体成像于光场相机中心子孔径图像的过程确定二个方程，由采用解码后的图像信息确定第三个方程，通过求解上述三个方程构成的方程组，实现三维轮廓测量。

进一步的，包括以下步骤：

第一步，以光场相机和投影仪构建成像系统，对该成像系统进行标定：投影仪向标定板投射原始编码光栅，光场相机拍摄得到经标定板调制的编码图像，采用传统的双目立体视觉标定方法，首先将投影仪视作“反相机”，对光场相机拍摄的调制编码图像进行解码，得到标定板特征点的编码信息，然后对光场相机丰富的光线信息处理，获得标定板特征点的深度信息，进而建立标定板特征点的编码信息与深度之间的对应关系，生成投影仪的DMD图像，最后，以光场相机的中心子孔径图像和投影仪的DMD图像为基础，得到投影仪和光场相机的内外参数矩阵：

其中，M₁为光场相机的内参矩阵，M₂为光场相机的外参矩阵，d为光场相机的微透镜直径，h_m′为光场相机的主透镜所在平面到微透镜所在平面的距离，(x₀,y₀)为光场相机中心子孔径图像的中心像素坐标，R_L、T_L分别为世界坐标系到光场相机坐标系的旋转矩阵和平移向量；

其中，M₃为投影仪的内参矩阵，M₄为投影仪的外参矩阵，f_x为投影仪透镜的横向焦距，f_y为投影仪透镜的纵向焦距，(x_d0,y_d0)为DMD图像的中心像素坐标，R_P、T_P分别为世界坐标系到投影仪坐标系的旋转矩阵和平移向量；

第二步，投影仪向被测物体投射编码光栅，用光场相机拍摄被测物体，得到经被测物体调制的编码图像；

第三步，根据光场相机的成像模型，得到两个方程；

对于空间一点P＝(x^w,y^w,z^w)^T，其经光场相机成像，在中心子孔径图像中的像为满足如下关系：

将其写成含有二个方程的方程组形式即为：

其中，(x^w,y^w,z^w)^T为待求解坐标，l₁～l₄、r₁～r₉、t₁～t₃为光场相机标定参数，为中心子孔径图像的像素坐标；

第四步，基于光场相机的中心子孔径图像，计算被测物体的包裹相位；光场相机的中心子孔径图像能够等效于传统相机拍摄所得的条纹图，中心子孔径图像信息包含背景光强、调制光栅信息、噪声信息，对中心子孔径图像进行处理，获得被测物体的包裹相位；

第五步，基于光场相机极图和内、外参数矩阵M₁、M₂，计算物点坐标并重投影至DMD图像平面，得到被测物体的重投影相位，光场相机记录了光线的位置信息和方向信息，而二维极图同时反映光线的位置和方向信息，基于极图理论并应用结构张量、深度学习等算法计算检测直线斜率,实现深度估计，然后根据光场相机的内外参数矩阵M₁、M₂得到初始的三维坐标，最后根据投影仪内外参数矩阵M₃、M₄将物点重投影至DMD图像平面，得到被测物体的重投影相位；

第六步，用被测物体的包裹相位校正被测物体的重投影相位，实现包裹相位的解包裹，根据解包裹相位和投影仪成像模型建立第三个方程；若深度估计准确，则重投影相位即为最终解包裹相位，然而由于光场相机角度分辨率较低，所得深度精度较低，因此重投影相位误差较大，但同一物点的解包裹相位去周期化后应与包裹相位相等，且由中心子孔径所得的包裹相位相对准确，因此利用包裹相位对重投影相位进行校正，实现包裹相位的解包裹；对于物点P＝(x^w,y^w,z^w)^T，其经光场相机成像，在中心子孔径图像中的像为同时经投影仪“成像”，在DMD图像中的像对于每一点其解包裹相位通过第五步、第六步获得，记为φ_unw(P_SAI)，且校正后点P_D坐标由解包裹相位获得，当投影光栅周期沿y轴变化时，解包裹相位与y坐标一一对应，反之，当周期沿x轴变化时，解包裹相位与x坐标一一对应；假设，投影光栅周期沿y轴变化，则有

其中，f(·)为P_SAI的解包裹相位到P_D的y坐标的映射函数，该函数形式由所投编码光栅的形式决定；

另一方面，物点P成像于DMD图像中P_D的过程可由下式表示：

其中，(x^w,y^w,z^w)^T为待求解坐标，l₇～l₈、m₁～m₉、n₁～n₃为投影仪标定参数，为DMD图像的像素坐标。考虑到，坐标可由解包裹相位表示，则得到如下第三个方程：

第七步，分别对第三步与第六步得到的三个方程进行简化：将分母乘到等号右侧，然后移项，将未知数置于等号左侧、常数项置于等号右侧，最后合并同类项，得到如下方程组：

其中，l₁～l₄、l₇～l₈、r₁～r₉、m₁～m₉、t₁～t₃、n₁～n₃为系统标定参数，其值由第一步获得；(x^w,y^w,z^w)^T为待求解坐标，对于中心子孔径图像中每一点通过第五步和第六步解得其对应点在DMD图像中纵坐标然后解方程组，即求得其对应物点的三维坐标，遍历中心子孔径图像中所有点，求解相应的方程组，实现被测物体的三维建。

所述标定板为其上设有一系列半径不等，圆心等距排列的标准圆，其圆心为特征点。

本发明的优点及效果：光场相机能够记录三维空间中光线的位置信息和角度信息，从而建立几何约束重建物体的三维信息。本发明通过构建由光场相机和投影仪组成的成像系统，投影仪对被测物体投射编码光栅，并用光场相机进行拍摄，然后对所得图像进行解相，最后根据所得相位对物体轮廓进行三维重建。

附图说明

图1是本发明工作流程示意图；

图2是光场相机结构示意图；

图3是本发明流程各步骤结果图；其中：图3(a)是投有正弦光栅条纹的石膏像；图3(b)是光场相机的中心子孔径图像包裹相位图；图3(c)是石膏像的视差图；图3(d)是投影仪的DMD图像的重投影相位图；图3(e)是投影仪的DMD图像的重投影相位图的相对相位图；图3(f)是校正后的重投影相位图；图3(g)是校正后的重投影相位图的相对相位图；

图4是重投影相位校正图；其中：图4(a)是光场相机的中心子孔径图像的包裹相位示意图；图4(b)是投影仪的DMD图像的重投影相位的相对相位示意图；图4(c)是重投影相位校正示意图。

具体实施方式

参看图1，结合实施例，使用的光场相机为Lytro Illum，角度分辨率为15×15像素，位置分辨率为434×625像素。其结构如图2所示，光场相机主要由主透镜、微透镜阵列、CCD传感器组成，s为主透镜上的子孔径的s轴坐标，x为微透镜中心的x轴坐标，d为一个微透镜的直径，D为相邻子孔径之间的距离，h_m′为主透镜所在平面到微透镜阵列所在平面的距离，h_m为主透镜所在平面到微透镜阵列所在平面的共轭平面的距离，b为微透镜阵列所在平面到CCD传感器所在平面的距离。使用的投影仪为BENQ GP1，其分辨率为600×800像素。投影的结构光栅为标准正弦光栅；选取的实验对象为石膏像，同时具有细节丰富部分与平滑部分，投有光栅条纹的石膏像如图3(a)所示。

第一步：系统标定：

首先，用待标定的光场相机拍摄无光栅条纹的标定板，然后用待标定的投影仪投三个不同周期的正弦光栅条纹至标定板，每个周期相移4次，每次相移90°，同时用光场相机进行拍摄，共13幅图像。本实例中选取周期分别为25，30，36的正弦光栅条纹。该标定板为一系列半径不等，圆心等距排列的标准圆，其圆心为特征点。接着，提取13幅光场图像的中心子孔径图像，并使用多频外差原理进行相位解包裹，得到中心子孔径图像中特征点的解包裹相位，即调制信息。然后，根据该解包裹相位和DMD图像分辨率得到特征点在DMD图像平面的坐标。接着，通过特征点检测算法计算中心子孔径图像中特征点的坐标。最后，基于特征点在中心子孔径图像和DMD图像的坐标，以标定板平面为世界坐标系x-y平面，以垂直平面方向为世界坐标系z轴，进行标定，得到光场相机的内参矩阵M₁、外参矩阵M₂，投影仪的内参矩阵M₃、外参矩阵M₄。

标定结果如下：

光场相机内参矩阵:

光场相机外参矩阵:

光场相机参数：

f＝40.11mm

h_m′＝40.88mm

h_m＝2116.34mm

b＝48.38um

D＝1.18mm

投影仪内参矩阵:

投影仪外参矩阵：

第二步：投影仪向被测物体投射一任意周期条纹，本实例中投影周期为36，同时用光场相机采集一副图像，如图3(a)所示，石膏像呈白色、无花纹，图中纵向变化的黑白条纹即为所投的正弦光栅条纹。

第三步：根据光场相机的成像模型，得到两个方程：

对于空间一点P＝(x^w,y^w,z^w)^T，其经光场相机成像，在中心子孔径图像中的像为满足如下关系：

将其写成方程组形式即为：

其中，(x^w,y^w,z^w)^T为待求解坐标，l₁～l₄、r₁～r₉、t₁～t₃为光场相机标定参数，其值可参考第一步结果，为中心子孔径图像像素坐标。

第四步：基于光场相机的中心子孔径图像，计算包裹相位：

一般地，照相机拍摄的调制正弦光栅条纹图可表达为：

I＝a+bcos(φ)

其中，a为背景光强，b为光栅条纹调制幅度，φ为所求的包裹相位，其值变化范围为0～2π。

对上式应用欧拉公式，并做傅立叶变换可得到：

F[I]＝F_A+F_B+F_B ^*

其中，F_B为包含包裹相位φ的频段，即所求频段。F_A为背景光强的频段，由于实验在黑暗环境进行，其频率较低，因此可使用高通滤波器去除。接着使用低通滤波器，可得到频段F_B，再对其做反傅立叶变换，即可得到对其应用自然对数函数，所得结果虚部为包裹相位，记为φ_wrap(P_SAI)，亦为物点P的包裹相位。包裹相位在[0,2π]之间取值，归一化后如图3(b)所示，为周期重复的黑白条纹；由于光栅条纹形变大小与物体深度有关，因此背景区域深度不变，图中的光栅条纹无形变，而石膏像表面深度不同，图中的光栅条纹形变不一；灰色区域表示阴影，该区域无光线信息，相位信息丢失。

第五步：基于光场相机极图和内外参数矩阵，计算物点坐标并重投影至DMD图像平面，得到物体的重投影相位：

根据极图理论可知，空间中一物点P对应极图中一条直线，且该直线的斜率与视差、深度的关系如下所示：

其中，z^c为物点在光场相机坐标系下的z轴坐标，dis是物点P的视差，k是该直线的斜率，d为一个微透镜的直径，h_m′为主透镜平面与微透镜平面之间的距离，h_m为主透镜平面与微透镜的共轭平面之间的距离，D为相邻子孔径之间的距离。

因此，计算物点深度只需检测其对应直线的斜率即可。斜率的计算基于相位一致性。对于一物点P＝(x^w,y^w,z^w)^T，其对应的极图直线由该物点在不同子孔径图像中的像组成，由于同一物点在不同子孔径视角下的相位值近似相等，即像素值近似相等，因此可认为该直线上所有像素相位值相同，该性质称为相位一致性。物点P在中心子孔径图像中的像为其在极图中对应的直线为l*，对应斜率为k*，该直线上所有像素相位值方差记为v*。理论上，v*＝0。现考虑经过点P_SAI的系列直线l₀～l_n，对应斜率k₀～k_n，对应相位值方差为v₀～v_n，则

由此可得到视差图，如图3(c)所示，物点深度越小、其视差越大，因此图中像素的灰度值越大，其对应物点的深度越小；由于背景区域深度恒定且最大，因此图中背景区域灰度值最小，且无变化。根据标定结果和光场成像原理，可得到物点P的坐标如下：

其中，(x^m,y^m)^T为P_SAI在CCD平面上的物理坐标，(x^c,y^c,z^c)^T为重建的点P在光场相机坐标系下的三维坐标。然后根据光场相机和投影仪的内外参数矩阵，将点P重投影至DMD成像平面，得到

最后根据条纹周期数与投影仪分辨率计算重投影相位，由于投影仪所投正弦光栅为纵向周期变化，则重投影相位与其在DMD图像中纵坐标关系如下：

其中，φ_re(P_D)为用P_D坐标计算得到的点P重投影相位，N为所投正弦光栅周期数，y_D为像素P_D在DMD图像中的纵坐标，res_y为投影仪y方向的分辨率。重投影相位在[0,2πN]内取值，归一化后如图3(d)所示，光栅条纹纵向变化，因此越靠近图像底部，重投影相位越大，像素灰度值越大；另外由于重投影相位受物体深度调制，因此可呈现出物体的轮廓。

第六步：使包裹相位校正重投影相位，实现包裹相位的解包裹，并根据解包裹相位和投影仪成像模型建立第三个方程：

对于空间一物点P＝(x^w,y^w,z^w)^T，其在中心子孔径的像为P_SAI，在DMD图像的像为P_D。将其基于极图计算的重投影相位图对2π取余即可得到相对相位图,该过程由下式实现：

φ′_re(P_D)＝mod(φ_re(P_D),2π)

其中，φ_re(P_D)为基于极图得到的重投影相位，φ′_re(P_D)为φ_re(P_D)对应的相对相位，其在[0,2π]内取值，归一化后如图3(e)所示，相对相位与包裹相位相同，呈周期重复的条纹；其中杂乱的点为误差点，误差来源于初步估计的三维坐标误差引起的重投影误差。理论上，对于点P_SAI，若其基于极图得到的深度准确，即重建的点P坐标准确，则重投影相位即为P_SAI的解包裹相位，且有φ′_re(P_D)＝φ_wrap(P_SAI)。然而，实际上由于光场相机角度分辨率受限，重投影相位偏离解包裹相位较大，因此可基于以上思想，使用包裹相位对重投影相位进行校正，得到P_SAI的解包裹相位。校正过程如图4所示，具体描述如下：

图4(a)为中心子孔径图像的包裹相位图，给定中心子孔径图像一点P_SAI，其在第三步中重建的物点为P，重投影至DMD图像为P_D。如图4(b)-(c)所示，在P_D所在周期内找一点使得的相对相位等于P_D的包裹相位。如图4(b)-(c)的Step1所示，当P_D的相对相位与的相对相位之差小于π时，P_D被校正至如图4(b)-(c)的Step2所示，当两者之差大于π时，根据下式进行校正：

其中，φ_unw(P_SAI)为P_SAI的解包裹相位，φ_re(P_D)为P_D的重投影相位，为的重投影相位，为的重投影相位对应的相对相位。解包裹相位归一化后如图3(f)所示，其相对相位图如图3(g)所示，通过与图3(e)比较可发现，误差点被校正，精度提高。

因此，对于点P_SAI，基于其解包裹相位可得对应DMD图像中的纵坐标为:

同时，为物点P＝(x^w,y^w,z^w)^T经投影仪“成像”于DMD图像中的像，其变换满足如下关系：

由此可得如下方程：

其中，l₇～l₈、m₁～m₉、n₁～n₃为投影仪标定参数，其值可参考第一步结果。

第七步：求解方程组，实现三维重建：

根据第三步与第六步的结果，可得如下方程组：

其中，l₁～l₄、l₇～l₈、r₁～r₉、m₁～m₉、t₁～t₃、n₁～n₃为系统标定参数，其值可参考第一步结果； 为中心子孔径图像像素坐标，为对应像素的解包裹相位，N为第二步中所投光栅周期数，res_y为投影仪纵向分辨率。通过对该方程组求解，即可实现三维重建。

Claims (3)

1.一种基于结构光场成像的三维轮廓测量方法，其特征在于，建立由光场相机与投影仪构成的成像系统，投影仪向被测物体投射原始编码光栅，光场相机拍摄经被测物体轮廓调制后的编码光栅图像，对光场相机所拍摄得到的经被测物体轮廓调制后的编码光栅图像进行解码，根据解码后所得信息对物体轮廓进行三维重建；将三维轮廓测量问题归结为求解含有物点三维坐标三个未知数的三个方程，其中，对成像系统进行标定后，由待测物体成像于光场相机中心子孔径图像的过程确定二个方程，由采用解码后的图像信息确定第三个方程，通过求解上述三个方程构成的方程组，实现三维轮廓测量。

2.根据权利要求1所述的基于结构光场成像的三维轮廓测量方法，其特征在于，包括以下步骤：

第一步，以光场相机和投影仪构建成像系统，对该成像系统进行标定：投影仪向标定板投射原始编码光栅，光场相机拍摄得到经标定板调制的编码图像，采用传统的双目立体视觉标定方法，首先将投影仪视作“反相机”，对光场相机拍摄的调制编码图像进行解码，得到标定板特征点的编码信息，然后对光场相机丰富的光线信息处理，获得标定板特征点的深度信息，进而建立标定板特征点的编码信息与深度之间的对应关系，生成投影仪的DMD图像，最后，以光场相机的中心子孔径图像和投影仪的DMD图像为基础，得到投影仪和光场相机的内外参数矩阵：

其中，M₁为光场相机的内参矩阵，M₂为光场相机的外参矩阵，d为光场相机的微透镜直径，h_m′为光场相机的主透镜所在平面到微透镜所在平面的距离，(x₀,y₀)为光场相机中心子孔径图像的中心像素坐标，R_L、T_L分别为世界坐标系到光场相机坐标系的旋转矩阵和平移向量；

其中，M₃为投影仪的内参矩阵，M₄为投影仪的外参矩阵，f_x为投影仪透镜的横向焦距，f_y为投影仪透镜的纵向焦距，(x_d0,y_d0)为DMD图像的中心像素坐标，R_P、T_P分别为世界坐标系到投影仪坐标系的旋转矩阵和平移向量；

第二步，投影仪向被测物体投射编码光栅，用光场相机拍摄被测物体，得到经被测物体调制的编码图像；

第三步，根据光场相机的成像模型，得到两个方程；

对于空间一点P＝(x^w,y^w,z^w)^T，其经光场相机成像，在中心子孔径图像中的像为满足如下关系：

将其写成含有二个方程的方程组形式即为：

其中，(x^w,y^w,z^w)^T为待求解坐标，l₁～l₄、r₁～r₉、t₁～t₃为光场相机标定参数，为中心子孔径图像的像素坐标；

第四步，基于光场相机的中心子孔径图像，计算被测物体的包裹相位；光场相机的中心子孔径图像能够等效于传统相机拍摄所得的条纹图，中心子孔径图像信息包含背景光强、调制光栅信息、噪声信息，对中心子孔径图像进行处理，获得被测物体的包裹相位；

第五步，基于光场相机极图和内、外参数矩阵M₁、M₂，计算物点坐标并重投影至DMD图像平面，得到被测物体的重投影相位，光场相机记录了光线的位置信息和方向信息，而二维极图同时反映光线的位置和方向信息，基于极图理论并应用包括结构张量、深度学习算法计算检测直线斜率,实现深度估计，然后根据光场相机的内外参数矩阵M₁、M₂得到初始的三维坐标，最后根据投影仪内外参数矩阵M₃、M₄将物点重投影至DMD图像平面，得到被测物体的重投影相位；

第六步，用被测物体的包裹相位校正被测物体的重投影相位，实现包裹相位的解包裹，根据解包裹相位和投影仪成像模型建立第三个方程；若深度估计准确，则重投影相位即为最终解包裹相位，然而由于光场相机角度分辨率较低，所得深度精度较低，因此重投影相位误差较大，但同一物点的解包裹相位去周期化后应与包裹相位相等，且由中心子孔径所得的包裹相位相对准确，因此利用包裹相位对重投影相位进行校正，实现包裹相位的解包裹；对于物点P＝(x^w,y^w,z^w)^T，其经光场相机成像，在中心子孔径图像中的像为同时经投影仪“成像”，在DMD图像中的像对于每一点其解包裹相位通过第五步、第六步获得，记为φ_unw(P_SAI)，且校正后点P_D坐标由解包裹相位获得，当投影光栅周期沿y轴变化时，解包裹相位与y坐标一一对应，反之，当周期沿x轴变化时，解包裹相位与x坐标一一对应；假设，投影光栅周期沿y轴变化，则有

其中，f(·)为P_SAI的解包裹相位到P_D的y坐标的映射函数，该函数形式由所投编码光栅的形式决定；

另一方面，物点P成像于DMD图像中P_D的过程可由下式表示：

其中，(x^w,y^w,z^w)^T为待求解坐标，l₇～l₈、m₁～m₉、n₁～n₃为投影仪标定参数，为DMD图像的像素坐标。考虑到，坐标可由解包裹相位表示，则得到如下第三个方程：

第七步，分别对第三步与第六步得到的三个方程进行简化：将分母乘到等号右侧，然后移项，将未知数置于等号左侧、常数项置于等号右侧，最后合并同类项，得到如下方程组：

其中，l₁～l₄、l₇～l₈、r₁～r₉、m₁～m₉、t₁～t₃、n₁～n₃为系统标定参数，其值由第一步获得；(x^w,y^w,z^w)^T为待求解坐标，对于中心子孔径图像中每一点通过第五步和第六步解得其对应点在DMD图像中纵坐标然后解方程组，即求得其对应物点的三维坐标，遍历中心子孔径图像中所有点，求解相应的方程组，实现被测物体的三维重建。

3.根据权利要求2所述的基于结构光场成像的三维轮廓测量方法，其特征在于，所述标定板为其上设有一系列半径不等，圆心等距排列的标准圆，其圆心为特征点。