CN112581605A - 一种结构光三维重建校正方法及装置 - Google Patents

Abstract

本发明公开了一种结构光三维重建校正方法及装置，包括：结构光三维重建系统和标准球位置固定，结构光三维重建系统测量标准球，获得标准球面的测量点云；测量点云进行最小二乘拟合；在结构光三维重建系统的测量视场内移动结构光三维重建系统或者标准球，进行标准球的多次测量和拟合；将结构光三维重建系统的测量点坐标与理论点坐标作对比，分析其深度方向上误差面的分布规律并进行相应的曲面拟合，提取有效误差模型对测量点坐标进行修正。该方法对结构光三维扫描系统的测量结果进行直接校正，可直接对应测量任务，能实现测量精度的直接提升；无需分析复杂的结构光三维重建系统理论几何模型，校正方法原理简单，易于实现。

Description

一种结构光三维重建校正方法及装置

技术领域

本发明属于机器视觉技术领域，涉及一种结构光三维重建校正方法及装置，具体涉及利用高精度位移装置和标准球分析结构光三维重建结果误差并进行误差校正的装置及方法。

背景技术

近年来基于结构光的三维重建技术在逆向工程、机器人导航、工业产品检测等领域都有着非常广泛的应用。目前对于结构光三维重建精度的提升主要是基于结构光三维测量系统数学理论模型，通过分析结构光三维测量系统工作过程，确定误差主要来源于投影仪投射结构光的正弦性、标定精度等因素，然后分别针对特定方面研究误差补偿的不同方法。虽然这些方法能够带来一定效果，且已应用到相关领域，但是它们普遍较为复杂，不便操作实施，使得结构光三维重建系统的搭建较为困难。

发明内容

为解决现有技术中存在的上述问题，本发明的目的在于提供一种结构光三维重建校正方法及装置，该发明采用类似三坐标测量机的高精度位移装置和标准球等部件获取结构光三维重建测量结果和理论结果，通过比较分析测量与理论点坐标结果直接对三维重建结果进行校正，相比较基于三维重建系统几何模型分析进行误差校正的方法，本方法原理简单，无需分析复杂的几何系统模型，能准确对应测量场景进行重建坐标点的校正。

本发明是通过下述技术方案来实现的。

一种结构光三维重建校正方法，包括以下步骤：

步骤1，按照待测标准球的安装位置和结构光三维重建系统的测量距离和测量视场固定安装结构光三维重建系统；

步骤2，打开结构光三维重建系统，测量标准球，获得标准球面的测量点云；

步骤3，对测量点云进行最小二乘拟合；

步骤4，在结构光三维重建系统的测量视场内按规律移动安装标准球的运动机构，进行标准球的测量和拟合；

步骤5，针对结构光三维重建系统测量范围内的点坐标，对照测量空间点的理论坐标，得到结构光三维重建系统测量视场区域内空间点重建的定位误差；

步骤6，将结构光三维重建系统的空间测量范围在深度方向细分为多个平面，然后在每个平面内对定位误差点做曲面拟合；

步骤7，依照空间测量范围内的多个测量平面对应的点位误差曲面方程模型，对测量后的点云依据Z方向坐标值选择对应的曲面方程模型，然后依据X、Y方向坐标值进行相应的修正，以得到最终输出的点云。

对于上述技术方案，本发明还有进一步优选的方案：

优选的，步骤2，利用四步相移法和多频外差法实现标准球的测量，测量标准球的步骤为：

21)所述的结构光三维重建系统的投影组件向待测标准球投射多组四步相移正弦光栅图像，经过标准球反射后，被结构光三维重建系统的相机组件捕获，形成多组被调制的正弦光栅图像；

22)利用公式计算光栅图像的相对相位值；

23)利用多频外差方法计算光栅图像的绝对相位值；

24)利用绝对相位值与投影图像像素之间的关系计算投影像素x方向点坐标；

25)利用二维图像坐标与三维物理坐标之间的投影对应关系，由三角测量原理计算三维点坐标。

步骤6中，定位误差点做曲面拟合，曲面拟合步骤如下：

61)根据曲面方程，利用一个深度平面上(n+1)(m+1)个定位误差数据点，构造一个(p,q)次的b样条曲面，对数据点进行插值来拟合曲面；

62)曲面拟合可以转化为对曲线的多次拟合，在x方向，把每一列看作待拟合的曲线上的点，在y方向，把每一行看作待拟合的曲线上的点，然后用曲线拟合的方式计算节点向量和控制顶点，最后完成曲面的拟合。

本发明进而提供了所述方法的一种结构光三维重建校正装置，包括工作台、高精度x向位移轴、高精度y向位移轴和高精度z向位移轴，x向位移轴位于工作台一侧，x向位移轴上设一个高精度y向位移轴，高精度y向位移轴滑臂沿工作台边缘滑动；在高精度y向位移轴上垂直连接一个高精度z向位移轴，高精度z向位移轴的下方设有标准球，待校正的结构光三维重建系统固定在工作台上与标准球对应。

本发明进而提供了所述方法的再一种结构光三维重建校正装置，包括六轴机器人，六轴机器人包含六个运动关节，待校正的结构光三维重建系统固定在所述六轴机器人的法兰上，标准球在结构光三维重建系统测量范围内一个固定位置上。

本发明由于采取以上技术方案，其具有以下有益效果：

本发明从结构光三维重建系统整体出发，将结构光三维重建系统看作一个黑箱，将结构光三维重建系统与标准球分别固定安装，并保证标准球在结构光三维重建系统的测量视场内，通过在结构光三维重建系统测量范围内移动标准球或者结构光三维重建系统本身；获得结构光三维重建系统测量范围中多个测量深度方向上对应的测量标准球球心和理论标准球球心；将测量范围内多个结构光三维重建系统的测量点坐标与理论点坐标作差，在每个深度方向上进行曲面拟合，分析其误差分布规律，获得多个测量深度方向上的测量误差分布；利用深度方向坐标值提取有效误差模型对测量点坐标误差进行修正。

其特点在于：

1.对结构光三维扫描系统的测量结果进行直接校正，可直接对应测量任务，能实现测量精度的直接提升；

2.无需推导分析复杂的结构光三维测量系统数学几何理论模型，也无需针对每一个影响精度的参量单独进行修正，校正原理和方法简单，易于实现。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1是利用三坐标测量机进行结构光三维重建校正的装置示意图；

图2是利用六轴机器人进行结构光三维重建校正的装置示意图；

图1中，1是工作台，2是x向位移轴，3是y向位移轴，4是z向位移轴，5是标准球测头，6是结构光三维重建系统。

图2中，7是安装基座，8是第一六轴机器人运动关节，9是第二六轴机器人运动关节，10是第三六轴机器人运动关节，11是第四六轴机器人运动关节，12是第五六轴机器人运动关节，13是第六六轴机器人运动关节，14是结构光三维重建系统。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及用来说明解释本发明，但并不作为对本发明的限定。

如图1所示，本发明实施例提供了一种结构光三维重建校正装置，包括工作台1、高精度x向位移轴2、高精度y向位移轴3和高精度z向位移轴4，x向位移轴2位于工作台1一侧，x向位移轴2上方固定一个高精度y向位移轴3底座，高精度y向位移轴3水平设在底座上，高精度y向位移轴3的端部垂直连接一个滑臂，滑臂沿工作台1边缘滑动；在高精度y向位移轴3上套有一个高精度z向位移轴4，高精度z向位移轴4的下方设有标准球5，待校正的结构光三维重建系统6固定在工作台1上，与标准球5对应。

高精度位移装置可以是三坐标测量机中运动机构部分，也可以是高精度三轴位移机构。标准球5安装在高精度z向位移轴4端部，待校正的结构光三维重建系统6固定在工作台1上，结构光三维重建系统6对标准球5进行测量，输出点云坐标后进行球面拟合，得到测量标准球的球心点坐标，然后在结构光三维重建系统6的测量视场内分别移动高精度x向位移轴2、高精度y位移轴3和高精度z位移轴4，之后再次对标准球球心进行测量，多次移动测量后得到多组对应的标准球测量球心坐标和理论球心坐标，通过对比坐标和曲面拟合得到误差分析规律，实现对结构光三维重建系统的校正。

该方案实施步骤如下：

步骤1，结构光三维重建系统安装：按照待测标准球的安装位置和结构光三维重建系统的测量距离和测量视场将其安装在工作台1上合适的位置固定。

步骤2，测量标准球：启动结构光三维重建系统6，利用四步相移法和多频外差法测量标准球5表面，获得标准球面的测量点云：

21)结构光三维重建系统的投影组件向待测标准球投射多组四步相移正弦光栅图像，经过标准球反射后，被结构光三维重建系统的相机组件捕获，形成多组被调制的正弦光栅图像；

其中一组四步相移正弦光栅图像光强分布为：

式中，I′(x,y)为背景光强，I″(x,y)为条纹对比度，π/2、π、3π/2为相位移，

为相对相位值。

22)利用以下公式计算光栅图像的相对相位值：

式中，I₁(x,y)、I₂(x,y)、I₃(x,y)、I₄(x,y)为四幅光栅图的光强分布值。

23)利用多频外差方法计算光栅图像的绝对相位值，利用相对相位值解算绝对相位值的公式为：

式中，φ₁(x)为待求解的相位分布，Φ(x)为参考投影图像的绝对相位分布，R₁为φ₁(x)与Φ(x)对应投影图像的周期数的比值。

24)利用绝对相位值与投影图像像素之间的关系计算投影像素x方向点坐标：

式中，x_p为投影图像像点x坐标，

为相机图像点(x_c,y_c)在水平方向上的绝对相位值，N_v为光栅图像在水平方向上的条纹数，W为投影图像在水平方向上的分辨率。

25)利用二维图像坐标与三维物理坐标之间的投影对应关系，由三角测量原理计算三维点坐标：

式中，(x_c,y_c)为相机图像坐标，x_p为投影图像坐标，

为相机图像坐标与物理坐标之间的投影矩阵，

为投影图像坐标与物理坐标之间的投影矩阵，这两个矩阵都是由系统参数标定得到。

步骤3，利用球面方程对测量点云进行最小二乘拟合，其中球面方程为：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²

式中，(x,y,z)为测量点云的点坐标，(x₀,y₀,z₀)为拟合球的球心坐标，R为拟合球的半径。

化简后得到：

x²+y²+z²-Ax-By-Cz+D＝0

式中，A、B、C、D为化简后的球面方程的待求解参数。

拟合球面方程，使Δ＝∑(x²+y²+z²-Ax-By-Cz+D)²取最小值；

采用矩阵

计算得到A、B、C、D，然后求得拟合球面的球心和半径，其中，(x₁,y₁,z₁)为测量点云中第一个点的点坐标，测量点云中总共有n个点坐标。

步骤4，在结构光三维重建系统的测量视场内移动高精度x位移轴2、高精度y位移轴3和高精度z位移轴4，重复步骤3进行标准球的测量和拟合；

步骤5，针对结构光三维重建系统测量范围内的点坐标，对照测量空间点的理论坐标，得到结构光三维重建系统测量视场区域内空间点重建的定位误差；

步骤6，将结构光三维重建系统的空间测量范围(一个三维立体空间)在深度方向细分为多个平面(参考为10个)，然后在每个平面内对定位误差点做曲面拟合，曲面拟合步骤如下：

61)曲面方程为：

其中，N_i,p(x)，N_j,q(y)为基函数，p,q为基函数次数，P_i,j为控制顶点，x,y为节点向量；x方向上总共有(n+1)个点，y方向上总共有(m+1)个点，(i,j)表示x方向第i+1个点，y方向第j+1个点。

62)利用一个深度平面上(n+1)(m+1)个定位误差数据点，构造一个(p,q)次的b样条曲面，对数据点进行插值来拟合曲面：

式中，

将曲面拟合转化为对曲线的多次拟合，在x方向，把每一列看作待拟合的曲线上的点，在y方向，把每一行看作待拟合的曲线上的点，然后用曲线拟合的方式计算节点向量和控制顶点，最后完成曲面的拟合。

步骤7，依照空间测量范围内的多个测量平面对应的点位误差曲面方程模型，对测量后的点云依据Z方向坐标值选择对应的曲面方程模型，然后依据X、Y方向坐标值进行相应的修正，以得到最终输出的点云。

不失一般性，本发明另一种实施方式如图2所示，如果对精度的提高量要求不高，高精度位移装置可不用三坐标测量机的运动机构，采用六轴机器人来代替，六轴机器人安装在安装基座7上，六轴机器人包含六个运动关节8、9、10、11、12、13，待校正的结构光三维重建系统14固定在六轴机器人的法兰上，标准球安装在一固定位置上，结构光三维重建系统14对其进行测量，输出点云坐标后进行表面拟合，最终得到测量标准球的球心点坐标，然后在结构光三维重建系统14的测量视场内分别移动六轴机器人的关节，之后再次测量标准球球心，多次移动测量后得到多组对应的标准球测量球心坐标和理论球心坐标，通过对比和曲面拟合得到误差分析规律，实现对结构光三维重建系统的校正。

该方案实施步骤如下：

步骤1，结构光三维重建系统和标准球安装：将结构光三维重建系统安装在移动六轴机器人法兰盘上，将标准球安装在结构光三维重建系统的测量范围内一个固定位置上；

步骤2，测量标准球：启动结构光三维重建系统14，测量标准球表面，获得标准球面的测量点云；

21)结构光三维重建系统的投影组件向待测标准球投射多组四步相移正弦光栅图像，经过标准球反射后，被结构光三维重建系统的相机组件捕获，形成多组被调制的正弦光栅图像；

其中一组四步相移正弦光栅图像光强分布为：

式中，I′(x,y)为背景光强，I″(x,y)为条纹对比度，π/2、π、3π/2为相位移，

为相对相位值。

22)利用以下公式计算光栅图像的相对相位值：

式中，I₁(x,y)、I₂(x,y)、I₃(x,y)、I₄(x,y)为四幅光栅图的光强分布值。

23)利用多频外差方法计算光栅图像的绝对相位值，利用相对相位值解算绝对相位值的公式为：

式中，φ₁(x)为待求解的相位分布，Φ(x)为参考投影图像的绝对相位分布，R₁为φ₁(x)与Φ(x)对应投影图像的周期数的比值。

24)利用绝对相位值与投影图像像素之间的关系计算投影像素x方向点坐标：

式中，x_p为投影图像像点x坐标，

为相机图像点(x_c,y_c)在水平方向上的绝对相位值，N_v为光栅图像在水平方向上的条纹数，W为投影图像在水平方向上的分辨率。

25)利用二维图像坐标与三维物理坐标之间的投影对应关系，由三角测量原理计算三维点坐标：

式中，(x_c,y_c)为相机图像坐标，x_p为投影图像坐标，

为相机图像坐标与物理坐标之间的投影矩阵，

为投影图像坐标与物理坐标之间的投影矩阵，这两个矩阵都是由系统参数标定得到。

步骤3，利用球面方程对测量点云进行最小二乘拟合，其中球面方程为：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²

式中，(x,y,z)为测量点云的点坐标，(x₀,y₀,z₀)为拟合球的球心坐标，R为拟合球的半径。

化简后得到：

x²+y²+z²-Ax-By-Cz+D＝0

式中，A、B、C、D为化简后的球面方程的待求解参数。

拟合球面方程，使Δ＝∑(x²+y²+z²-Ax-By-Cz+D)²取最小值；

采用矩阵

计算得到A、B、C、D，然后求得拟合球面的球心和半径，其中，(x₁,y₁,z₁)为测量点云中第一个点的点坐标，测量点云中总共有n个点坐标。

步骤4，移动六轴机器人，并保证标准球在结构光三维重建系统的测量视场内，重复步骤3进行标准球的测量和拟合；

步骤5，针对结构光三维重建系统测量范围内的点坐标，对照测量空间点的理论坐标，得到结构光三维重建系统测量视场区域内空间点重建的定位误差；

步骤6，将结构光三维重建系统的空间测量范围(一个三维立体空间)在深度方向细分为多个平面(参考为10个)，然后在每个平面内对定位误差点做曲面拟合，曲面拟合步骤如下：

61)曲面方程为：

其中，N_i,p(x)，N_j,q(y)为基函数，p,q为基函数次数，P_i,j为控制顶点，x,y为节点向量；x方向上总共有(n+1)个点，y方向上总共有(m+1)个点，(i,j)表示x方向第i+1个点，y方向第j+1个点。

62)利用一个深度平面上(n+1)(m+1)个定位误差数据点，构造一个(p,q)次的b样条曲面，对数据点进行插值来拟合曲面：

式中，

将曲面拟合转化为对曲线的多次拟合，在x方向，把每一列看作待拟合的曲线上的点，在y方向，把每一行看作待拟合的曲线上的点，然后用曲线拟合的方式计算节点向量和控制顶点，最后完成曲面的拟合。

步骤7，依照空间测量范围内的多个测量平面对应的点位误差曲面方程模型，对测量后的点云依据Z方向坐标值选择对应的曲面方程模型，然后依据X、Y方向坐标值进行相应的修正，以得到最终输出的点云。

在进行误差修正时，也可将标准球的直径、两个球之间球心距作为误差修正的依据，分别分析这几项因素在结构光三维重建系统不同测量范围内的误差规律，进而能更好的完成坐标点的修正。

除了将测量空间区域细分多个测量平面，也可单独分析X、Y、Z方向上定位误差的不同规律，结合现有方法，达到更优的校正结果。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (10)

1.一种结构光三维重建校正方法，其特征在于，包括以下步骤：

步骤1，按照待测标准球的安装位置和结构光三维重建系统的测量距离和测量视场固定安装结构光三维重建系统；

步骤2，打开结构光三维重建系统，测量标准球，获得标准球面的测量点云；

步骤3，对测量点云进行最小二乘拟合；

步骤4，在结构光三维重建系统的测量视场内按规律移动安装标准球的运动机构，进行标准球的测量和拟合；

步骤5，针对结构光三维重建系统测量范围内的点坐标，对照测量空间点的理论坐标，得到结构光三维重建系统测量视场区域内空间点重建的定位误差；

步骤6，将结构光三维重建系统的空间测量范围在深度方向细分为多个平面，然后在每个平面内对定位误差点做曲面拟合；

步骤7，依照空间测量范围内的多个测量平面对应的点位误差曲面方程模型，对测量后的点云依据Z方向坐标值选择对应的曲面方程模型，然后依据X、Y方向坐标值进行相应的修正，以得到最终输出的点云。

2.根据权利要求1所述的结构光三维重建校正方法，其特征在于，步骤2，利用四步相移法和多频外差法实现标准球的测量，测量标准球的步骤为：

21)所述的结构光三维重建系统的投影组件向待测标准球投射多组四步相移正弦光栅图像，经过标准球反射后，被结构光三维重建系统的相机组件捕获，形成多组被调制的正弦光栅图像；

22)利用公式计算光栅图像的相对相位值；

23)利用多频外差方法计算光栅图像的绝对相位值；

24)利用绝对相位值与投影图像像素之间的关系计算投影像素x方向点坐标；

25)利用二维图像坐标与三维物理坐标之间的投影对应关系，由三角测量原理计算三维点坐标。

3.根据权利要求2所述的结构光三维重建校正方法，其特征在于，所述步骤21)中，其中一组四步相移正弦光栅图像光强分布为：

式中，I′(x,y)为背景光强，I″(x,y)为条纹对比度，π/2、π、3π/2为相位移，

为相对相位值；

计算光栅图像的相对相位值如下：

4.根据权利要求2所述的结构光三维重建校正方法，其特征在于，步骤22)中，步骤23)中，利用相对相位值解算绝对相位值的公式为：

式中，φ₁(x)为待求解的相位分布，Φ(x)为参考投影图像的绝对相位分布，R₁为φ₁(x)与Φ(x)对应投影图像的周期数的比值。

5.根据权利要求2所述的结构光三维重建校正方法，其特征在于，步骤24)中，计算投影像素x方向点坐标如下：

式中，x_p为投影图像像点x坐标，

为相机图像点(x_c,y_c)在水平方向上的绝对相位值，N_v为光栅图像在水平方向上的条纹数，W为投影图像在水平方向上的分辨率；

步骤25)中，计算三维点坐标如下：

式中，(x_c,y_c)为相机图像坐标，x_p为投影图像坐标，

为相机图像坐标与物理坐标之间的投影矩阵，

为投影图像坐标与物理坐标之间的投影矩阵，这两个矩阵都是由系统参数标定得到。

6.根据权利要求1所述的结构光三维重建校正方法，其特征在于，步骤3，测量点云进行最小二乘拟合，其中球面方程为：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²

式中，(x,y,z)为测量点云的点坐标，(x₀,y₀,z₀)为拟合球的球心坐标，R为拟合球的半径；

化简后得到：

x²+y²+z²-Ax-By-Cz+D＝0

式中，A、B、C、D为化简后的球面方程的待求解参数；

拟合球面方程，使Δ＝∑(x²+y²+z²-Ax-By-Cz+D)²取最小值；

采用矩阵

计算得到A、B、C、D，然后求得拟合球面的球心和半径，其中，(x₁,y₁,z₁)为测量点云中第一个点的点坐标，测量点云中总共有n个点坐标。

7.根据权利要求1所述的结构光三维重建校正方法，其特征在于，步骤6中，定位误差点做曲面拟合，曲面拟合步骤如下：

61)根据曲面方程，利用一个深度平面上(n+1)(m+1)个定位误差数据点，构造一个(p,q)次的b样条曲面，对数据点进行插值来拟合曲面；

62)曲面拟合可以转化为对曲线的多次拟合，在x方向，把每一列看作待拟合的曲线上的点，在y方向，把每一行看作待拟合的曲线上的点，然后用曲线拟合的方式计算节点向量和控制顶点，最后完成曲面的拟合。

8.根据权利要求4所述的结构光三维重建校正方法，其特征在于，步骤61)中，曲面方程为：

其中，N_i,p(x)，N_j,q(y)为基函数，p,q为基函数次数，P_i,j为控制顶点，x,y为节点向量；x方向上总共有(n+1)个点，y方向上总共有(m+1)个点，(i,j)表示x方向第i+1个点，y方向第j+1个点；

对数据点进行插值来拟合曲面：

式中，

9.一种权利要求1-8任一项所述方法的结构光三维重建校正装置，其特征在于，包括工作台、高精度x向位移轴、高精度y向位移轴和高精度z向位移轴，x向位移轴位于工作台一侧，x向位移轴上设一个高精度y向位移轴，高精度y向位移轴滑臂沿工作台边缘滑动；在高精度y向位移轴上垂直连接一个高精度z向位移轴，高精度z向位移轴的下方设有标准球，待校正的结构光三维重建系统固定在工作台上与标准球对应。

10.一种权利要求1-8任一项所述方法的结构光三维重建校正装置，其特征在于，包括六轴机器人，六轴机器人包含六个运动关节，待校正的结构光三维重建系统固定在所述六轴机器人的法兰上，标准球在结构光三维重建系统测量范围内一个固定位置上。

Images