CN110672037A - 基于相移法的线性光源光栅投影三维测量系统及方法 - Google Patents

Abstract

本发明公开了一种基于相移法的线性光源光栅投影三维测量系统及方法，系统包括条纹投影模块、驱动模块、图像采集模块、图像处理模块、显示模块以及数据存储与传输模块；方法为：对系统参数标定，获取工业相机的内参矩阵和畸变参数矩阵；驱动模块控制m列LED依次发光照射光栅，生成m幅相移条纹并投影到被测物体表面；采集m幅相移条纹图像；通过畸变参数矩阵对m幅条纹图像进行畸变校正；根据畸变校正后的条纹图像计算视场中被测物体的相位分布；对相位分布进行解包裹操作，获得连续的真实相位分布；计算被测物体在世界坐标系下的三维坐标，生成被测物体的三维点云。本发明能对小场景下的物体进行三维测量与重建，具有结构简单、体积小、测量精度高等特点。

Description

基于相移法的线性光源光栅投影三维测量系统及方法

技术领域

本发明属于三维测量领域，特别涉及一种基于相移法的线性光源光栅投影三维测量系统及方法。

背景技术

近年来，条纹投影三维测量技术因具有非接触、测量速度快、精度高、视场大等特点，已成为光学三维测量领域中的研究热点之一。条纹投影三维测量技术目前主要应用于工业、医学、逆向工程等领域，在一些新兴领域，如人脸识别、AI技术等领域中也展示出了巨大的前景。条纹投影三维测量技术应用于工业中，不仅可以对零件的整体尺寸进行测量，也可以应用于无损检测中，提供视场中缺陷的三维信息，辅助技术人员对器械的缺陷进行评估和判定，避免了传统人工检测时的拆装过程，提高了检测效率。在医学领域，条纹投影三维测量技术可以辅助医生对人体内部结构等进行测量，使得治疗过程更为精准。在机器视觉领域，条纹投影三维测量技术可以获取周围环境的三维信息，用于机器人的导航、识别等。因此，对条纹投影三维测量技术的研究与完善，在现代工业以及实际生活生产中有着重大的意义。

在使用条纹投影法进行三维测量时，傅里叶变换法和相移法是使用最为广泛的两种相位分析方法。傅里叶变换法仅需采集单幅条纹投影图像，测量速度快，但是由于存在滤波操作，精度较低，应用范围有限。相移法源自激光干涉测量技术，通过N幅(N≥3)具有相移的条纹图像来对被测物体进行三维复原，具有精度高、抗噪性强等优点。1984年，Srinivasan等人首次相移法应用于条纹投影测量技术中。在早期对相移法的研究中，相移条纹一般是通过位移台移动光栅元件产生的，但是这种方法产生的条纹相移精度不高。随着数字投影技术的发展，数字投影仪成为了投影相移条纹的主要工具。然而，投影仪的gamma畸变对结果的精度有影响，还会随着使用时间的增加而变化，校正过程复杂。

为了简化系统标定步骤，提高投影速度，减小系统体积，日本学者Fujigaki等人在文献Shape measurement by light-stepping method using LED中，提出使用多列线性排列的LED轮流发光照射光栅的方法产生相移条纹。LED阵列由驱动电路控制发光，可以实现很高的投影频率。但是该方法产生的条纹相移是随着物体到光栅表面之间的距离而变化的，不满足相移算法对条纹相移已知的要求。

发明内容

本发明的目的在于提供一种误差小、精度高的三维测量装置及方法。

实现本发明目的的技术解决方案为：一种基于相移法的线性光源光栅投影三维测量系统，包括条纹投影模块、驱动模块、图像采集模块、图像处理模块、显示模块以及数据存储与传输模块：

所述图像采集模块与条纹投影模块平行放置；条纹投影模块与驱动模块相连，在驱动模块的驱动下投影相移条纹；图像采集模块与图像处理模块、数据存储与传输模块均相连，图像处理模块与显示模块相连；

所述条纹投影模块，用于生成相移条纹并将其投影至被测物体表面；

所述驱动模块，用于控制条纹投影模块投影相移条纹；

所述图像采集模块，用于采集投影到被测物体表面而产生形变的条纹图像，并将采集到的图像传输至图像处理模块；

所述图像处理模块，用于对采集到的形变条纹图像进行三维重建，生成被测物体的三维点云；

所述显示模块，用于显示所述图像处理模块生成的三维点云；

所述数据存储与传输模块，用于存储所述图像采集模块采集到的图像以及图像处理模块获得的被测物体的三维点云，并将上述图像传输给后续处理装置。

基于上述基于相移法的线性光源光栅投影三维测量系统的三维测量方法，包括以下步骤：

步骤1、对系统参数进行标定，获取工业相机的内参矩阵I₁和畸变参数矩阵I₂；

步骤2、驱动模块控制m列LED依次发光照射Ronchi光栅，生成m幅相移条纹并投影到被测物体表面；

步骤3、采集步骤2中投影到被测物体表面发生形变的m幅相移条纹图像A₁、A₂、…、A_m；

步骤4、通过步骤1中获得的畸变参数矩阵I₂对步骤3中采集到的m幅条纹图像均进行畸变校正，获得畸变校正后的条纹图像B₁、B₂、…、B_m；

步骤5、根据步骤4畸变校正后的条纹图像B₁、B₂、…、B_m计算视场中被测物体的相位分布；

步骤6、对步骤5获得的相位分布进行解包裹操作，获得连续的真实相位分布；

步骤7、根据步骤6中获得的真实相位分布、步骤1获得的相机内参矩阵I₁以及相机和条纹投影模块的相对位置，计算被测物体在世界坐标系下的三维坐标。

本发明与现有技术相比，其显著优点为：1)利用线性LED与Ronchi光栅产生相移条纹，减少了系统的误差来源，简化了系统标定过程，消除了在投影深度上的限制；2)用高级迭代算法进行相位计算，降低了由于相移不准确引起的相位求解误差；3)提出了使用线扫描法和掩膜法结合的相位解包裹算法，消除了传统线扫描算法的误差传递现象。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于相移法的线性光源条纹投影三维测量系统的组成结构示意图。

图2为本发明基于相移法的线性光源条纹投影三维测量系统的装置结构示意图。

图3为本发明基于相移法的线性光源条纹投影三维测量方法的流程图。

图4为本发明中工业相机、条纹投影模块与被测物体之间的位置关系图。

图5为本发明中LED光源排列示意图。

图6为本发明中条纹投影模块产生相移条纹的过程示意图。

图7为本发明实施例中对采集到的棋盘格图像进行校正前后的效果对比图，其中(a)为校正前的图像，(b)为图像矫正后的图像。

图8为实施例中被测物体的三维测量效果图，其中(a)为被测物体实物图像，(b)为被测物体的三维点云图。

具体实施方式

结合图1和图2，本发明基于相移法的线性光源光栅投影三维测量系统，包括条纹投影模块、驱动模块、图像采集模块、图像处理模块、显示模块以及数据存储与传输模块：

图像采集模块与条纹投影模块平行放置；条纹投影模块与驱动模块相连，在驱动模块的驱动下投影相移条纹；图像采集模块与图像处理模块、数据存储与传输模块均相连，图像处理模块与显示模块相连；

条纹投影模块，用于生成相移条纹并将其投影至被测物体表面；

驱动模块，用于控制条纹投影模块投影相移条纹；

图像采集模块，用于采集投影到被测物体表面而产生形变的条纹图像，并将采集到的图像传输至图像处理模块；

图像处理模块，用于对采集到的形变条纹图像进行三维重建，生成被测物体的三维点云；

显示模块，用于显示所述图像处理模块生成的三维点云；

数据存储与传输模块，用于存储所述图像采集模块采集到的图像以及图像处理模块获得的被测物体的三维点云，并将上述图像传输给后续处理装置。

进一步地，条纹投影模块包括Ronchi光栅和LED光源；驱动模块包括单片机；所述图像采集模块包括工业相机；显示模块包括计算机显示屏。

进一步地，结合图4，条纹投影模块中的LED光源与Ronchi光栅平行放置。

进一步地，结合图5，条纹投影模块中的LED光源包括m列线性排列的LED，其中每列包括并联的n个LED，m列LED在垂直于光栅刻线的轴线上以某一固定距离排列。

示例性地，上述m≥3，n＝10。

结合图3、图6，本发明基于相移法的线性光源光栅投影三维测量方法，包括以下步骤：

步骤1、对系统参数进行标定，获取工业相机的内参矩阵I₁和畸变参数矩阵I₂；

步骤2、驱动模块控制m列LED依次发光照射Ronchi光栅，生成m幅相移条纹并投影到被测物体表面；

步骤3、采集步骤2中投影到被测物体表面发生形变的m幅相移条纹图像A₁、A₂、…、A_m；

步骤4、通过步骤1中获得的畸变参数矩阵I₂对步骤3中采集到的m幅条纹图像均进行畸变校正，获得畸变校正后的条纹图像B₁、B₂、…、B_m；

步骤5、根据步骤4畸变校正后的条纹图像B₁、B₂、…、B_m计算视场中被测物体的相位分布；

步骤6、对步骤5获得的相位分布进行解包裹操作，获得连续的真实相位分布；

步骤7、根据步骤6中获得的真实相位分布、步骤1获得的相机内参矩阵I₁以及相机和条纹投影模块的相对位置，计算被测物体在世界坐标系下的三维坐标，生成被测物体的三维点云。

进一步地，步骤2所述相移δ的表达式为：

式中，a为光栅与光源之间的距离；b为光栅表面与参考平面之间的距离，P_s为LED阵列之间的距离；P_g为Ronchi光栅的周期；所述参考平面为放置在距离光栅平面L处的漫反射平板。

进一步地，步骤5中根据步骤4畸变校正后的条纹图像B₁、B₂、…、B_m计算视场中被测物体的相位分布，具体为：

利用高级迭代法计算视场中被测物体的相位分布：

步骤5-1、假定m幅条纹图像条纹图像B₁、B₂、…、B_m的背景光强恒定，设定初始相移值；

步骤5-2、使用最小二乘法迭代求解视场中的相位分布以及真实相移值。

进一步地，步骤6中对步骤5获得的相位分布进行解包裹操作，获得连续的真实相位分布，具体为：

利用线扫描法和掩膜结合的方法对步骤5获得的相位分布进行解包裹操作，具体过程为：

步骤6-1、判断畸变矫正后条纹图像中的每个像素点为可靠点还是噪声点，生成一张二值化掩膜；

步骤6-2、对可靠点进行逐行逐列解包裹，噪声点存入栈中不做操作；

步骤6-3、所有的像素点处理完毕后，将栈内噪声点出栈，若原图中噪声点的四个邻域点中有超过两个点被标记为可靠，对这个点进行解包裹操作，并标记为可靠点；若某个噪声点是边界点或与边界点相连，对其解包裹并标记为可靠；其余的点用0代替最终的相位值。

进一步地，步骤7中计算被测物体在世界坐标系下的三维坐标，具体为：

步骤7-1、以参考平面为基准，求解由于被测物体存在所产生的相位差

步骤7-2、根据相位差与高度之间的几何关系求解物体的高度分布，相位差

与高度h之间的几何关系为：

式中，L为参考平面到光栅平面之间的距离，f₀为投影条纹的频率，d为光栅与相机光轴之间的中心距；

步骤7-3、根据步骤1求得的相机内参矩阵I₁与光栅与相机之间的相对位置求解被测物体的坐标，具体为：

步骤7-3-1、根据步骤6中求得的相位解包裹图像中的像素坐标(u,v)和步骤1获得的相机的内参矩阵I₁，求取被测物体某一点在相机坐标系中的坐标(X_c，Y_c，Z_c)，所用公式为：

式中，f_x与f_y分别为相机镜头在x轴、y轴方向的焦距；(u₀,v₀)为步骤5中畸变校正后图像的中心坐标；

步骤7-3-2、根据步骤7-3-1得到的相机坐标系坐标(X_c，Y_c，Z_c)求解该点在世界坐标系中的坐标(X_w，Y_w，Z_w)，所用公式为：

其中,T_x和T_y分别为光栅与相机光轴在x、y方向上的相对距离。

下面结合实施例对本发明作进一步详细的描述。

实施例

本实施例中控制模块采用的单片机为8051单片机，由C++程序驱动单片机控制光源中LED阵列依次发光。

(1)在相机内参数和畸变参数标定实验中，使用的棋盘格标定板的角点数为8X5。

(2)由尺寸为0.65X0.35mm2的LED组成LED阵列。

(3)由周期为0.5mm的Ronchi光栅结合光源生成投影条纹。

(4)由分辨率为1920X1080像素，镜头焦距为7mm的工业CMOS相机采集图像。

(5)对采集到的图像进行畸变校正处理。以棋盘格图像为例子验证畸变校正效果如图7所示，(a)为校正之前的图像，(b)为校正之后的图像。

(6)通过畸变校正之后的三幅相移条纹图像求解相位分布。

(7)对求得的相位进行相位解包裹，得到连续的真实相位分布。

(8)根据真实相位分布生成被测物体的三维点云。

利用上述过程对如图8(a)所示的被测物体进行三维测量，获得其点云图如图8(b)所示。

本发明能够实现小场景中物体的高精度测量，减少了系统的误差来源，简化了对系统的校正步骤，突破了以往对投影深度的限制；同时，本发明的装置结构简单，易于实现小型化；而且装置成本较低，有益于推广使用。

Claims (10)

1.一种基于相移法的线性光源光栅投影三维测量系统，其特征在于，包括条纹投影模块、驱动模块、图像采集模块、图像处理模块、显示模块以及数据存储与传输模块：

所述图像采集模块与条纹投影模块平行放置；条纹投影模块与驱动模块相连，在驱动模块的驱动下投影相移条纹；图像采集模块与图像处理模块、数据存储与传输模块均相连，图像处理模块与显示模块相连；

所述条纹投影模块，用于生成相移条纹并将其投影至被测物体表面；

所述驱动模块，用于控制条纹投影模块投影相移条纹；

所述图像采集模块，用于采集投影到被测物体表面而产生形变的条纹图像，并将采集到的图像传输至图像处理模块；

所述图像处理模块，用于对采集到的形变条纹图像进行三维重建，生成被测物体的三维点云；

所述显示模块，用于显示所述图像处理模块生成的三维点云；

所述数据存储与传输模块，用于存储所述图像采集模块采集到的图像以及图像处理模块获得的被测物体的三维点云，并将上述图像传输给后续处理装置。

2.根据权利要求1所述的基于相移法的线性光源光栅投影三维测量系统，其特征在于，所述条纹投影模块包括Ronchi光栅和LED光源；所述驱动模块包括单片机；所述图像采集模块包括工业相机；所述显示模块包括计算机显示屏。

3.根据权利要求1所述的基于相移法的线性光源光栅投影三维测量系统，其特征在于，所述条纹投影模块中的LED光源与Ronchi光栅平行放置。

4.根据权利要求1所述的基于相移法的线性光源光栅投影三维测量系统，其特征在于，所述条纹投影模块中的LED光源包括m列线性排列的LED，其中每列包括并联的n个LED，m列LED在垂直于光栅刻线的轴线上以某一固定距离排列。

5.根据权利要求1所述的基于相移法的线性光源光栅投影三维测量系统，其特征在于，所述m≥3，n＝10。

6.基于权利要求1至5任意一项所述的基于相移法的线性光源光栅投影三维测量系统的三维测量方法，其特征在于，包括以下步骤：

步骤1、对系统参数进行标定，获取工业相机的内参矩阵I₁和畸变参数矩阵I₂；

步骤2、驱动模块控制m列LED依次发光照射Ronchi光栅，生成m幅相移条纹并投影到被测物体表面；

步骤3、采集步骤2中投影到被测物体表面发生形变的m幅相移条纹图像A₁、A₂、…、A_m；

步骤4、通过步骤1中获得的畸变参数矩阵I₂对步骤3中采集到的m幅条纹图像均进行畸变校正，获得畸变校正后的条纹图像B₁、B₂、…、B_m；

步骤5、根据步骤4畸变校正后的条纹图像B₁、B₂、…、B_m计算视场中被测物体的相位分布；

步骤6、对步骤5获得的相位分布进行解包裹操作，获得连续的真实相位分布；

步骤7、根据步骤6中获得的真实相位分布、步骤1获得的相机内参矩阵I₁以及相机和条纹投影模块的相对位置，计算被测物体在世界坐标系下的三维坐标，生成被测物体的三维点云。

7.根据权利要求6所述的基于相移法的线性光源光栅投影三维测量方法，其特征在于，步骤2所述相移δ的表达式为：

式中，a为光栅与光源之间的距离；b为光栅表面与参考平面之间的距离，P_s为LED阵列之间的距离；P_g为Ronchi光栅的周期；所述参考平面为放置在距离光栅平面L处的漫反射平板。

8.根据权利要求6所述的基于相移法的线性光源光栅投影三维测量方法，其特征在于，步骤5所述根据步骤4畸变校正后的条纹图像B₁、B₂、…、B_m计算视场中被测物体的相位分布，具体为：

利用高级迭代法计算视场中被测物体的相位分布：

步骤5-1、假定m幅条纹图像条纹图像B₁、B₂、…、B_m的背景光强恒定，设定初始相移值；

步骤5-2、使用最小二乘法迭代求解视场中的相位分布以及真实相移值。

9.根据权利要求6所述的基于相移法的线性光源光栅投影三维测量方法，其特征在于，步骤6所述对步骤5获得的相位分布进行解包裹操作，获得连续的真实相位分布，具体为：

利用线扫描法和掩膜结合的方法对步骤5获得的相位分布进行解包裹操作，具体过程为：

步骤6-1、判断畸变矫正后条纹图像中的每个像素点为可靠点还是噪声点，生成一张二值化掩膜；

步骤6-2、对可靠点进行逐行逐列解包裹，噪声点存入栈中不做操作；

步骤6-3、所有的像素点处理完毕后，将栈内噪声点出栈，若原图中噪声点的四个邻域点中有超过两个点被标记为可靠，对这个点进行解包裹操作，并标记为可靠点；若某个噪声点是边界点或与边界点相连，对其解包裹并标记为可靠；其余的点用0代替最终的相位值。

10.根据权利要求6所述的基于相移法的线性光源光栅投影三维测量方法，其特征在于，步骤7所述计算被测物体在世界坐标系下的三维坐标，具体为：

步骤7-1、以参考平面为基准，求解由于被测物体存在所产生的相位差

步骤7-2、根据相位差与高度之间的几何关系求解物体的高度分布，相位差

与高度h之间的几何关系为：

式中，L为参考平面到光栅平面之间的距离，f₀为投影条纹的频率，d为光栅与相机光轴之间的中心距；

步骤7-3、根据步骤1求得的相机内参矩阵I₁与光栅与相机之间的相对位置求解被测物体的坐标，具体为：

步骤7-3-1、根据步骤6中求得的相位解包裹图像中的像素坐标(u,v)和步骤1获得的相机的内参矩阵I₁，求取被测物体某一点在相机坐标系中的坐标(X_c，Y_c，Z_c)，所用公式为：

式中，f_x与f_y分别为相机镜头在x轴、y轴方向的焦距；(u₀,v₀)为步骤5中畸变校正后图像的中心坐标；

步骤7-3-2、根据步骤7-3-1得到的相机坐标系坐标(X_c，Y_c，Z_c)求解该点在世界坐标系中的坐标(X_w，Y_w，Z_w)，所用公式为：

其中,T_x和T_y分别为光栅与相机光轴在x、y方向上的相对距离。

Images