CN111854642B - 基于随机点阵的多线激光三维成像方法及系统 - Google Patents

Abstract

本发明公开了一种基于随机点阵的多线激光三维成像方法及系统，其采用多线激光并结合旋转机构实现大视野范围快速扫描效果，工作效率呈数量级提高且系统的部署难易程度降低。与此同时，由于在成像范围内，各局部区域的随机点阵图案特征具有唯一性，本发明对多条激光线进行提取与位置序号区分，且通过相邻图像间随机点阵图案的特征进行相互校验来减少噪点的产生，三维点云数据质量上得到极大改善，可应用于无序抓取上下料、拆码垛、物流分拣等工业应用。

Description

基于随机点阵的多线激光三维成像方法及系统

技术领域

本发明属于3D机器视觉技术领域，具体涉及一种基于随机点阵的多线激光三维成像方法及系统。

背景技术

随着机器人技术的发展，工业机器人已经参与到工业制造及生产的各个环节，成为了工厂自动化、智能化进程中不可或缺的角色。在面对一些简单的应用场景时，如机加工有序上料，虽然通过机器人编程可实现自动化，从而替代人工，但在面对复杂无序的场景时，需要可作为“眼睛”的三维成像系统赋予机器人更多的产品空间位姿信息，实现无序上下料、拆码垛、物流分拣等工业应用的自动化。

基于LED结构光的三维成像系统因具有成像精度高、速度快的特点被广泛使用，但在大视野范围成像时会因LED光源亮度不足、对比度低等因素造成数据质量严重下降，且需要增加移动模组或多个系统并联来实现大范围扫描，不仅增加了系统成本，还降低了扫描帧率。激光由于具有高亮度、高对比度的特点也被用于结构光三维成像，而基于单线激光的三维成像系统应用虽然已经很成熟，但其只能获得一条线上的数据，需借助移动模组或旋转机构实现成像范围覆盖，工作效率低。

公开号为CN108375346B的中国专利采用微振镜方式同样可实现面阵扫描效果，采用双轴微振镜旋转实现点激光器的面阵扫描效果，其需要结合光学元件的高精密设计加工及装配才可实现，结构实现方式相对复杂，另外此实现方式会极大降低激光光源的输出功率，通常不到100MW，只能适用于小视野低亮度的应用场景。公开号为CN1052030046A的中国专利则是采用多线阵列激光实现三维扫描，即多个激光器并列构成激光阵列模组以提升扫描速率，然而需要借助移动机构将该激光阵列模组构成的扫描系统移动至下一个扫描平面，虽然同样可以达到区域内面阵扫描效果，但效率仍然低下，目前只能应用于离线三维扫描。

基于多线激光的三维成像系统虽然可解决效率低的问题，但存在当扫描物体高度值大于激光线间距时无法准确识别定位激光线序，造成空间位置信息求解错误的问题，激光线越密，求解错误概率越大，数据噪声则越多。相关学者曾基于随机点阵及多线激光器的结构光源实现了三维成像，其系统特点是结构光源固定不动，被测物体采用移动机构使其相对结构光源移动，从而达到面阵扫描效果，扫描效率同样低下，而且需要借助外部移动机构，另外该扫描系统仅使用了单个成像单元，对于系统标定的要求更高，标定困难且标定精度偏低，三维重建后的点云精度差；在定位激光线序问题时，因缺少约束条件，即无法对激光线序定位后进行二次匹配校验，从而会产生较多的误匹配定位，最终得到若干噪点，点云数据质量下降。

总的来说，目前的基于多线激光的三维扫描系统存在系统复杂或结构光源输出功率不足，工业适应性低等问题，在三维重建算法上，存在激光线序匹配定位错误从而引起噪点的问题。

发明内容

鉴于上述，本发明提出了一种基于随机点阵的多线激光三维成像方法及系统，能够准确定位区分激光线序，减少数据噪声，提高数据精度。

一种基于随机点阵的多线激光三维成像方法，包括如下步骤：

(1)利用随机点阵激光光源向物体表面投射随机点阵图案，并对物体进行图像采集，得到含有点阵图案的背景图像；

(2)在随机点阵激光光源照射的基础上，利用多线激光光源发出的激光经高反镜面反射至物体表面，控制高反镜面以一定速度旋转使激光线条在物体表面平移扫描，在扫描过程中依次采集获取包含点阵图案及激光线条在内的n张物体图像P₁,P₂,…,P_n，其中P₁作为基准图像，n为自然数且n≥L/W，L为激光线条的间距，W为激光线条的宽度；

(3)对所有物体图像中的激光线条进行亚像素提取；

(4)通过与基准图像进行区域匹配，确定物体图像P₂,…,P_n中各激光线条的线序位置；

(5)根据物体图像P₁,P₂,…,P_n中确定线序位置的激光线条上各个点的亚像素坐标，利用三角测距原理计算生成点云数据从而对物体进行三维重构。

进一步地，所述步骤(3)的具体实现方式如下：

3.1对于任一物体图像，通过灰度差值比较识别出物体图像中的激光线条；

3.2对于激光线条上的任一点P，其在图像中的坐标为(x₀，y₀)，通过Hessian矩阵得到P点上光线的法线方向(n_x，n_y)；

3.3通过以下公式计算出P点的亚像素坐标(P_x，P_y)；

P_x＝x₀+t×n_x

P_y＝y₀+t×n_y

其中：H(x₀,y₀)为P点的Hessian矩阵，r_xx为图像中P点沿X轴的二阶偏导数，r_x为图像中P点沿X轴的一阶偏导数，r_yy为图像中P点沿Y轴的二阶偏导数，r_y为图像中P点沿Y轴的一阶偏导数，r_xy为图像中P点沿X、Y轴的混合二阶偏导数。

进一步地，所述步骤3.1中使物体图像与背景图像就灰度值进行差值计算，进而根据灰度差值识别出物体图像中的激光线条。

进一步地，所述步骤3.2中的法线方向(n_x，n_y)即为Hessian矩阵H(x₀,y₀)最大特征值对应的特征向量对应于光线的法线方向。

进一步地，所述步骤(4)的具体实现方式如下：

4.1在基准图像中选定一定数量的匹配点，并按位置顺序对基准图像中的激光线条依次进行编号；

4.2对于任一匹配点，以该点为中心创建一个N×N大小的区域D，N为大于1的自然数；

4.3对于物体图像P₂,…,P_n中的任一图像，在该图像沿极线在视差范围内取出同样为N×N大小的区域，使这些区域逐一与区域D进行相似度匹配，确定其中相似度最高的区域；

4.4根据步骤4.2～4.3遍历所有匹配点，通过区域匹配的方式搜索与基准图像中对应序号的激光线条，从而对物体图像P₂,…,P_n中的激光线条进行定位并标记序号。

进一步地，所述步骤4.3中采用WTA(Winner Take All)原则对区域进行相似度匹配，以NCC(Normalized Cross Correlation)相似度衡量函数作为相似度评价指标。

进一步地，所述步骤(4)确定物体图像P₂,…,P_n中各激光线条的线序位置后，根据前后相邻图像具有相同随机点阵信息的特点，通过相邻图像中的激光线条信息进行相互校验。

一种基于随机点阵的多线激光三维成像系统，包括随机点阵激光光源、多线激光光源、高反镜面、旋转机构、图像采集单元、核心控制单元以及数据处理单元，其中：

所述随机点阵激光光源用于向物体表面投射随机点阵图案；

所述多线激光光源发出的激光经高反镜面反射至物体表面，其光源发射中心须与高反镜面中心保持重合且发出的激光线束数量大于等于3；

所述旋转机构用于带动高反镜面以一定速度旋转使激光线条在物体表面平移扫描；

所述图像采集单元用于对物体进行图像采集，得到含有点阵图案的背景图像以及包含点阵图案及激光线条在内的物体图像P₁,P₂,…,P_n，图像采集单元至少包含一个成像模块，成像模块的光轴须与多线激光光源发射中心位于同一平面；

所述核心控制单元包括电源管理模块、通讯模块以及控制模块，所述电源管理模块用于为系统供电，所述通讯模块负载系统中其他功能部件与数据处理单元之间的通信，所述控制模块用于控制随机点阵激光光源和多线激光光源的激光投射，控制旋转机构转动进而带动高反镜面以一定速度旋转；

所述数据处理单元用于对所有物体图像中的激光线条进行亚像素提取，并通过区域匹配，确定物体图像P₂,…,P_n中各激光线条的线序位置，进而根据物体图像P₁,P₂,…,P_n中确定线序位置的激光线条上各个点的亚像素坐标，利用三角测距原理计算生成点云数据从而对物体进行三维重构。

本发明采用含高反射镜面的旋转机构实现多条激光线进行同时平移扫描以达到面阵结构光投影效果；通过与背景图做差值计算，利用Hessian矩阵得到每张图中的激光线条纹中心的亚像素坐标；基于区域相似度衡量实现匹配点确认，通过激光线边缘的随机点阵特征对提取出的激光线进行定位区分，再根据三角测量原理计算即可得到整幅物面的点云数据。因此，本发明解决了因激光线间距小于物体高度时容易求解错误从而引起噪点过多的问题，同时基于旋转机构运动方式使多线激光在物体表面可进行快速扫描，成像速度上得到极大提升。

与传统方式相比，本发明采用多线激光并结合旋转机构实现大视野范围快速扫描效果，工作效率呈数量级提高且系统的部署难易程度降低。与此同时，由于在成像范围内，各局部区域的随机点阵图案特征具有唯一性，本发明对多条激光线进行提取与位置序号区分，且通过相邻图像间随机点阵图案的特征进行相互校验来减少噪点的产生，三维点云数据质量上得到极大改善，可应用于无序抓取上下料、拆码垛、物流分拣等工业应用。

附图说明

图1为本发明三维成像系统的组成示意图。

图2为本发明三维成像系统的多线面阵扫描原理示意图。

图3为本发明三维成像系统的具体实施方式结构示意图。

图4为本发明三维成像方法的流程示意图。

图5为多线激光线条位置序号区分原理示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于随机点阵的多线激光三维成像系统主要包括结构光光源、图像采集单元、数据处理单元、核心控制单元以及高反镜面旋转机构，其中结构光光源包括用于激光线束定位的随机点阵激光光源和多线激光光源。

如图3所示，在本实施例中图像采集单元由成像单元1和成像单元2构成，成像单元可以是摄像头模组、工业相机、数码相机等，具有多种像素分辨率，成像单元的数量m≥1；成像单元1与成像单元2的光轴中心需与激光光源投射中心处于同一平面。

高反镜面固定于旋转机构上形成一个独立的模块，通过核心控制单元可编程驱动其按一定速度旋转，由核心控制单元控制其初始位置及旋转速度。

随机点阵激光光源由核心控制单元控制并向物体表面投射随机点阵图案。

多线激光光源经过高反镜面反射至物体表面，并通过控制旋转机构旋转实现多线激光在物体表面扫描，如图2所示，光源中心应与高反镜面中心重合，光源可以是多个一字线并联构成的模组，也可以是通过光学衍射得到的具有多条直线的激光器模组，线条数p≥3。

核心控制单元包含三维成像系统的电源管理模块、通讯模块、信号触发模块，电源管理模块负责系统各个模块的供电，通讯模块负责各模块与数据处理单元之间的通信，信号触发模块负责向各模块输出工作指令。

数据处理单元负责接收并处理计算获取到的含激光条纹及随机点阵的图像数据，最终得到点云数据。

在本实施例中，激光线束p＝7，激光线间距L＝200mm，激光线宽W＝2mm，成像单元数量m＝2。

如图4所示，本实施方式三维成像方法的具体流程如下：

(1)首先通过核心控制单元控制随机点阵激光光源向物体表面投影，同时触发成像单元1和成像单元2采集背景图像P_0L和P_0R。

控制多线激光光源向高反镜面投射，经反射至物体表面，同时触发成像单元1和成像单元2采集基准图像P_1L和P_1R；进而控制旋转机构按一定速度旋转，定间距触发成像单元1和成像单元2同步采集图像，分别采集n张图，依次为P_2L,P_3L,……,P_nL；P_2R,P_3R,……,P_nR，其中n＝L/W。

(2)对基准图像P_1L进行激光线提取，首先与背景图像的灰度值进行差值计算分析，含有激光条纹的图像中任一像素的灰度差值可表示为Δ(P_x，P_y)＝F(P_x，P_y)-B(P_x，P_y)，其中F(P_x，P_y)为含有激光条纹图像的灰度值，B(P_x，P_y)为背景图像的灰度值。

然后通过Hessian矩阵得到激光条纹上任意一点(x，y)上光线的法线方向，Hessian矩阵最大特征值对应的特征向量对应于光线的法线方向，可用(n_x，n_y)表示；以点(x₀，y₀)为基准点，则该点中心的亚像素坐标为：

(P_x，P_y)＝(x₀+t×n_x，y₀+t×n_y)

其中：

r_xx表示图像沿X轴的二阶偏导数，r_x表示图像沿X轴的一阶偏导数，r_yy表示图像沿Y轴的二阶偏导数，r_y表示图像沿Y轴的一阶偏导数，r_xy表示为图像先沿X、Y轴的混合二阶偏导数。

同时采用相同的方法对其他图像进行激光线提取。

(3)以基准图像P_1L待匹配点为中心像素创建一个N×N的区域，对成像单元1采集的图像P_2L,P_3L,……,P_nL依次与基准图像P_1L进行相似度匹配，沿极线在视差范围内取出同样为N×N大小的领域依次与待匹配点的区域作比较，根据WTA原则确认最终的匹配点，相似度衡量函数可表示为：

同时采用相同的方法对成像单元2采集的图像P_2R,P_3R,……,P_nR依次与基准图像P_1R进行相似度匹配，根据WTA原则确认最终的匹配点。

在基准图像P_1L的各个N×N的区域内提取随机点阵的图案特征，并对基准图像P_1L中激光线位置顺序做标记，依次搜索成像单元1采集的图像P_2L,P_3L,……,P_nL中具有与基准图像P_1L中具有高相似度的特征区域。如图5所示，每幅图像均包含多个激光线条，搜索与基准图像P_1L中的对应激光线序号来确定图像P_2L,P_3L,……,P_nL中每个激光线条的位置序号。

同时采用相同的方法对成像单元2采集的图像P_2R,P_3R,……,P_nR中的激光线位置序号与基准图像中激光线位置序号进行匹配确认。

在成像单元1与成像单元2相对应的图片中激光线位置序号确认后，可通过前后相邻图片进行校验，通常激光线L_i(P_n)与L_i+1(P_n-1)具有相同随机点阵信息。

(4)根据三角测距原理，计算成像单元1及成像单元2中所有图片中激光条纹中心的空间坐标，最终得到整幅点云数据。

通过前后相邻图像校验可准确的确定每一张图像中激光线条的线序位置，基于成像单元1和成像单元2的视差及三角测距原理，依次对成像单元1和2中获取到的每一张图像中被正确确定线序位置的激光线条上任一点的亚像素坐标(P_x，P_y)进行三维重构，其中成像单元1和2的视差d＝x₁-x_r，对应的点(P_x，P_y)三维重构后的空间坐标(X，Y，Z)＝f(x，y，d，Q)，其中Q为系统的标定矩阵。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种基于随机点阵的多线激光三维成像方法，包括如下步骤：

(1)利用随机点阵激光光源向物体表面投射随机点阵图案，并对物体进行图像采集，得到含有点阵图案的背景图像；

(2)在随机点阵激光光源照射的基础上，利用多线激光光源发出的激光经高反镜面反射至物体表面，控制高反镜面以一定速度旋转使激光线条在物体表面平移扫描，在扫描过程中依次采集获取包含点阵图案及激光线条在内的n张物体图像P₁,P₂,…,P_n，其中P₁作为基准图像，n为自然数且n≥L/W，L为激光线条的间距，W为激光线条的宽度；

(3)对所有物体图像中的激光线条进行亚像素提取；

(4)通过与基准图像进行区域匹配，确定物体图像P₂,…,P_n中各激光线条的线序位置；

(5)根据物体图像P₁,P₂,…,P_n中确定线序位置的激光线条上各个点的亚像素坐标，利用三角测距原理计算生成点云数据从而对物体进行三维重构。

2.根据权利要求1所述的多线激光三维成像方法，其特征在于：所述步骤(3)的具体实现方式如下：

3.1对于任一物体图像，通过灰度差值比较识别出物体图像中的激光线条；

3.2对于激光线条上的任一点P，其在图像中的坐标为(x₀，y₀)，通过Hessian矩阵得到P点上光线的法线方向(n_x，n_y)；

3.3通过以下公式计算出P点的亚像素坐标(P_x，P_y)；

P_x＝x₀+t×n_x

P_y＝y₀+t×n_y

其中：H(x₀,y₀)为P点的Hessian矩阵，r_xx为图像中P点沿X轴的二阶偏导数，r_x为图像中P点沿X轴的一阶偏导数，r_yy为图像中P点沿Y轴的二阶偏导数，r_y为图像中P点沿Y轴的一阶偏导数，r_xy为图像中P点沿X、Y轴的混合二阶偏导数。

3.根据权利要求2所述的多线激光三维成像方法，其特征在于：所述步骤3.1中使物体图像与背景图像就灰度值进行差值计算，进而根据灰度差值识别出物体图像中的激光线条。

4.根据权利要求2所述的多线激光三维成像方法，其特征在于：所述步骤3.2中的法线方向(n_x，n_y)即为Hessian矩阵H(x₀,y₀)最大特征值对应的特征向量对应于光线的法线方向。

5.根据权利要求1所述的多线激光三维成像方法，其特征在于：所述步骤(4)的具体实现方式如下：

4.1在基准图像中选定一定数量的匹配点，并按位置顺序对基准图像中的激光线条依次进行编号；

4.2对于任一匹配点，以该点为中心创建一个N×N大小的区域D，N为大于1的自然数；

4.3对于物体图像P₂,…,P_n中的任一图像，在该图像沿极线在视差范围内取出同样为N×N大小的区域，使这些区域逐一与区域D进行相似度匹配，确定其中相似度最高的区域；

4.4根据步骤4.2～4.3遍历所有匹配点，通过区域匹配的方式搜索与基准图像中对应序号的激光线条，从而对物体图像P₂,…,P_n中的激光线条进行定位并标记序号。

6.根据权利要求5所述的多线激光三维成像方法，其特征在于：所述步骤4.3中采用WTA原则对区域进行相似度匹配，以NCC相似度衡量函数作为相似度评价指标。

7.根据权利要求1所述的多线激光三维成像方法，其特征在于：所述步骤(4)确定物体图像P₂,…,P_n中各激光线条的线序位置后，根据前后相邻图像具有相同随机点阵信息的特点，通过相邻图像中的激光线条信息进行相互校验。

8.一种基于随机点阵的多线激光三维成像系统，其特征在于：包括随机点阵激光光源、多线激光光源、高反镜面、旋转机构、图像采集单元、核心控制单元以及数据处理单元，其中：

所述随机点阵激光光源用于向物体表面投射随机点阵图案；

所述多线激光光源发出的激光经高反镜面反射至物体表面，其光源发射中心须与高反镜面中心保持重合且发出的激光线束数量大于等于3；

所述旋转机构用于带动高反镜面以一定速度旋转使激光线条在物体表面平移扫描；

所述图像采集单元用于对物体进行图像采集，得到含有点阵图案的背景图像以及包含点阵图案及激光线条在内的物体图像P₁,P₂,…,P_n，图像采集单元至少包含一个成像模块，成像模块的光轴须与多线激光光源发射中心位于同一平面；

所述核心控制单元包括电源管理模块、通讯模块以及控制模块，所述电源管理模块用于为系统供电，所述通讯模块负载系统中其他功能部件与数据处理单元之间的通信，所述控制模块用于控制随机点阵激光光源和多线激光光源的激光投射，控制旋转机构转动进而带动高反镜面以一定速度旋转；

所述数据处理单元用于对所有物体图像中的激光线条进行亚像素提取，并通过区域匹配，确定物体图像P₂,…,P_n中各激光线条的线序位置，进而根据物体图像P₁,P₂,…,P_n中确定线序位置的激光线条上各个点的亚像素坐标，利用三角测距原理计算生成点云数据从而对物体进行三维重构。

Images