CN112525106A

CN112525106A - 基于三相机协同激光的3d探测方法及装置

Info

Publication number: CN112525106A
Application number: CN202011147905.3A
Authority: CN
Inventors: 赵开春; 尤政; 欧阳晨光; 胡苏兴
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2020-10-23
Filing date: 2020-10-23
Publication date: 2021-03-19
Anticipated expiration: 2040-10-23
Also published as: CN112525106B

Abstract

本发明公开了一种基于三相机协同激光的3D探测方法及装置，其中，该方法包括：利用网格激光作为主动光源照射到物体表面；通过三目相机采集激光线图像；通过图像处理和计算得到激光线图像的三维信息，从而得到目标物轮廓的点云；若需要得到更稠密的点云，可通过步进电机控制平移激光器，从而对目标物进行扫描，得到目标物表面完整轮廓的三维点云数据，即可获得精度更高的点云数据，进一步可以得到目标物的位置、姿态等三维信息。该方法解决了现有视觉测量方案特征点匹配困难、点云精度低、对于光照条件要求较高等问题，不需要在目标物表面贴标志物，适用范围广，可操作性强。

Description

基于三相机协同激光的3D探测方法及装置

技术领域

本发明涉及光学电子测量技术领域，特别涉及一种基于三相机协同激光的3D探测方法及装置。

背景技术

3D探测在工业生产、航天航空、自动驾驶等领域都有着重要需求。常见的3D探测方法有视觉测量(包括单目、双目以及多目)、激光雷达测量、多传感器融合测量等。其中，基于双目立体视觉的测量方法应用最为广泛，具有结构简单、功耗低等优点，但存在一定的局限性，对光照条件要求较高，特征点匹配对于目标物表面纹理和材料等要求较高。近年来激光雷达发展迅速，但激光雷达存在功耗高、成本大、结构复杂等缺点，点云的分辨率也受限。双目相机协同线激光扫描的方案可以较好的解决特征点匹配困难的问题，但线激光扫描周期长，系统动态性能较差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于三相机协同激光的3D探测方法，该方法精度高、适用范围广、结构简单、动态性能好。

本发明的另一个目的在于提出一种基于三相机协同激光的3D探测装置。

为达到上述目的，本发明一方面实施例提出了基于三相机协同激光的3D探测方法，包括以下步骤：S1，利用激光器将网格状激光照射至目标物表面；S2，对三目相机进行标定，得到各个相机的内参矩阵以及相机之间的平移向量、旋转矩阵、基础矩阵；S3，通过所述三目相机采集激光线图像，提取所述激光线图形中每条激光线的中心图像，以进行所述特征点以及特征直线匹配；S4，计算匹配好的特征点以及特征直线的三维信息，得到所述目标物表面的点云；S5，通过步进电机控制所述激光器平移，迭代执行步骤S3和步骤S4，直至得到所述目标物表面完整轮廓的三维点云数据。

本发明实施例的基于三相机协同激光的3D探测方法，采用三目相机结合网格状激光的方式，可以更好的适应不同的环境和目标物，且可避免立体视觉中特征点匹配困难的问题，有效提高测量精度，提高系统动态性能；采用基于相机间几何约束的点匹配方法，可以有效提高特征点匹配的精度和效率；可以通过控制是否平移激光器进行扫描来选择得到稀疏点云或者稠密点云，并且点云的密度也可以通过调节扫描速度来进行控制，根据不同测量需求可以自由调节。

另外，根据本发明上述实施例的基于三相机协同激光的3D探测方法还可以具有以下附加的技术特征：

可选地，在本发明的一个实施例中，利用网格状激光图案对所述三目相机进行标定。

进一步地，在本发明的一个实施例中，所述步骤S3中，采用基于极值法的阈值分割剔除所述激光线图形的背景，以获得光带，再利用灰度重心法，获得所述每条激光线的中心图像。

进一步地，在本发明的一个实施例中，所述步骤S3中，基于相机间几何约束的点匹配方法，利用所述三目相机的三焦点张量提供的约束关系匹配所述特征点及所述特征直线。

进一步地，在本发明的一个实施例中，所述步骤S4中，利用所述三目相机的冗余信息计算匹配好的特征点以及特征直线。

为达到上述目的，本发明另一方面实施例提出了基于三相机协同激光的3D探测装置，包括：照射模块，用于利用激光器将网格状激光照射至目标物表面；标定模块，用于对三目相机进行标定，得到各个相机的内参矩阵以及相机之间的平移向量、旋转矩阵、基础矩阵；提取模块，用于通过所述三目相机采集激光线图像，提取所述激光线图形中每条激光线的中心图像，以进行所述特征点以及特征直线匹配；计算模块，用于计算匹配好的特征点以及特征直线的三维信息，得到所述目标物表面的点云；迭代模块，用于通过步进电机控制所述激光器平移，迭代执行所述提取模块和所述计算模块，直至得到所述目标物表面完整轮廓的三维点云数据。

本发明实施例的基于三相机协同激光的3D探测装置，采用三目相机结合网格状激光的方式，可以更好的适应不同的环境和目标物，且可避免立体视觉中特征点匹配困难的问题，有效提高测量精度，提高系统动态性能；采用基于相机间几何约束的点匹配方法，可以有效提高特征点匹配的精度和效率；可以通过控制是否平移激光器进行扫描来选择得到稀疏点云或者稠密点云，并且点云的密度也可以通过调节扫描速度来进行控制，根据不同测量需求可以自由调节。

另外，根据本发明上述实施例的基于三相机协同激光的3D探测装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述提取模块中，采用基于极值法的阈值分割剔除所述激光线图形的背景，以获得光带，再利用灰度重心法，获得所述每条激光线的中心图像。

进一步，在本发明的一个实施例中，所述提取模块中，基于相机间几何约束的点匹配方法，利用所述三目相机的三焦点张量提供的约束关系匹配所述特征点及所述特征直线。

进一步，在本发明的一个实施例中，所述计算模块中，利用所述三目相机的冗余信息计算匹配好的特征点以及特征直线。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于三相机协同激光的3D探测方法的流程图；

图2是本发明一个实施例的基于三相机协同激光的3D探测方法的具体执行图；

图3是基于三相机协同激光的3D探测系统示意图；

图4是多目立体视觉模型示意图；

图5是基于相机间几何约束的点匹配方法流程图；

图6是基于三相机协同激光的3D探测装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于三相机协同激光的3D探测方法及装置，首先将参照附图描述根据本发明实施例提出的基于三相机协同激光的3D探测方法。

图1是本发明一个实施例的基于三相机协同激光的3D探测方法的流程图。

图2是本发明一个实施例的基于三相机协同激光的3D探测方法的具体执行图。

如图1和2所示，该基于三相机协同激光的3D探测方法包括以下步骤：

在步骤S1中，利用激光器将网格状激光照射至目标物表面。

在步骤S2中，对三目相机进行标定，得到各个相机的内参矩阵以及相机之间的平移向量、旋转矩阵、基础矩阵等参数。

其中，本发明实施例中可以利用网格状激光图案对三目相机进行标定。

如图3所示，在步骤S3中，通过三目相机采集激光线图像，提取激光线图形中每条激光线的中心图像，以进行特征点以及特征直线匹配。

进一步地，在本发明的一个实施例中，步骤S3中，采用基于极值法的阈值分割剔除激光线图形的背景，以获得光带，再利用灰度重心法，获得每条激光线的中心图像。

可以理解的是，由于激光器发出的线激光具有一定宽度，并且根据物体表面纹理和材料的不同，照射到物体表面会有不同的反射情况，因此相机得到的激光条纹图像不能直接使用，需要进一步处理，提取出激光条纹的中心。目标物上的激光条纹一般比背景上的激光条纹亮，可以用阈值分割获取目标物上激光条纹。但是传统的阈值分割使用固定阈值，无法适应不同的光照环境。因此，本发明实施例采用基于极值法的阈值分割，首先求得图像中像素点灰度最大值Gm，设定阈值T＝kGm(0.4<k<0.9)，k的值根据实际情况选取。遍历图像像素点，对于像素点(x,y)，若期灰度值G(x,y)<T，令G(x,y)＝0。

灰度重心的公式为：

其中，Ω是目标区域集合，G(x,y)是点(x,y)的灰度值，(x₀,y₀)是计算出的灰度重心坐标。由此可以得到细化后的激光条纹。

进一步地，在本发明的一个实施例中，步骤S3中，步骤S3中，基于相机间几何约束的点匹配方法，利用三目相机的三焦点张量提供的约束关系匹配特征点及特征直线。

其中，如图5所示，点特征匹配方法为：

通过计算得到三焦点张量T＝[T₁,T₂,T₃]，则三幅图像中的一组匹配的特征点p₁,p₂,p₃应满足如下关系：

而实际情况存在量化误差和其他因素的干扰，结果不会刚好为空矩阵，令：

若：

则可以认为三个点匹配。其中ε₁为阈值，为经验参数。

其中，直线特征匹配方法为：

三幅图像中的一组匹配的特征点l₁,l₂,l₃应满足如下关系：

而实际情况存在量化误差和其他因素的干扰，结果不会刚好为空矩阵，若：

则可以认为三条线匹配。其中ε₂为阈值，为经验参数。

在步骤S4中，计算匹配好的特征点以及特征直线的三维信息，得到目标物表面的点云。

换句话说，由匹配好的特征点计算对于的空间点的三维坐标，得到激光图案的点云。

进一步地，在本发明的一个实施例中，步骤S4中，利用三目相机的冗余信息计算匹配好的特征点以及特征直线。

举例而言，如图4所示，假设有C₁,C₂,…,C_n共n台相机，空间中一点P(X,Y,Z)^T的像点在各相机像素坐标系下的坐标分别为p₁＝(u₁,v₁)^T,p₂＝(u₂,v₂)^T,…,p_i＝(u_i,v_i)^T,…p_n＝(u_n,v_n)^T。则：

其中，K_i是第i个相机的内参矩阵，R_i，T_i分别为第i个相机的旋转矩阵和平移向量。则：

则：

消去

可得：

写成矩阵形式为：

其中：

则对于由n个相机组成的多目立体视觉系统有：

式(10)是一个未知数为3，而方程数为2n的超定线性方程组，由最小二乘法可以求解:

由此即可以得到一组匹配特征点对于的空间点的三维坐标，进一步可以得到一条激光线的点云数据，更进一步地可以得到目标物完整的点云数据。

在步骤S5中，通过步进电机控制激光器平移，迭代执行步骤S3和步骤S4，直至得到目标物表面完整轮廓的三维点云数据。

也就是说，若需要得到更稠密的点云，可通过步进电机控制激光器平移或通过电机带动线激光器旋转，重复步骤S3和S4，实现对目标物的扫描，即可对目标物进行三维重建，得到一系列激光图案的点云，组合起来即可得到目标物的稠密点云。

根据本发明实施例提出的基于三相机协同激光的3D探测方法，采用三目相机结合网格状激光的方式，相比与被动式的视觉测量方法，可以更好的适应不同的环境和目标物，对外界光源要求不高，并且可以避免立体视觉中特征点匹配困难的问题，有效提高测量精度，相比于双目相机结合线激光的方式，可以大幅度提高扫描速度，提高系统动态性能；采用基于相机间几何约束的点匹配方法，可以有效提高特征点匹配的精度和效率；可以通过控制是否平移激光器进行扫描来选择得到稀疏点云或者稠密点云，并且点云的密度也可以通过调节扫描速度来进行控制，根据不同测量需求可以自由调节。

其次参照附图描述根据本发明实施例提出的基于三相机协同激光的3D探测装置。

图6是本发明一个实施例的基于三相机协同激光的3D探测装置的结构示意图。

如图6所示，该装置60包括：照射模块601、标定模块602、提取模块603、计算模块604和迭代模块6050。

其中，照射模块601用于利用激光器将网格状激光照射至目标物表面。标定模块602用于对三目相机进行标定，得到各个相机的内参矩阵以及相机之间的平移向量、旋转矩阵、基础矩阵。提取模块603用于通过三目相机采集激光线图像，提取激光线图形中每条激光线的中心图像，以进行特征点以及特征直线匹配。计算模块604用于计算匹配好的特征点以及特征直线的三维信息，得到目标物表面的点云。迭代模块605用于通过步进电机控制激光器平移，迭代执行提取模块603和计算模块604，直至得到目标物表面完整轮廓的三维点云数据。

可选地，在本发明的一个实施例中，利用网格状激光图案对三目相机进行标定。

进一步地，在本发明的一个实施例中，提取模块603中，采用基于极值法的阈值分割剔除激光线图形的背景，以获得光带，再利用灰度重心法，获得每条激光线的中心图像。

进一步地，在本发明的一个实施例中，提取模块603中，基于相机间几何约束的点匹配方法，利用三目相机的三焦点张量提供的约束关系匹配特征点及特征直线。

进一步地，在本发明的一个实施例中，计算模块604中，利用三目相机的冗余信息计算匹配好的特征点以及特征直线。

根据本发明实施例提出的基于三相机协同激光的3D探测装置，采用三目相机结合网格状激光的方式，相比与被动式的视觉测量方法，可以更好的适应不同的环境和目标物，对外界光源要求不高，并且可以避免立体视觉中特征点匹配困难的问题，有效提高测量精度，相比于双目相机结合线激光的方式，可以大幅度提高扫描速度，提高系统动态性能；采用基于相机间几何约束的点匹配方法，可以有效提高特征点匹配的精度和效率；可以通过控制是否平移激光器进行扫描来选择得到稀疏点云或者稠密点云，并且点云的密度也可以通过调节扫描速度来进行控制，根据不同测量需求可以自由调节。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于三相机协同激光的3D探测方法，其特征在于，包括以下步骤：

S1，利用激光器将网格状激光照射至目标物表面；

S2，对三目相机进行标定，得到各个相机的内参矩阵以及相机之间的平移向量、旋转矩阵、基础矩阵；

S3，通过所述三目相机采集激光线图像，提取所述激光线图形中每条激光线的中心图像，以进行所述特征点以及特征直线匹配；

S4，计算匹配好的特征点以及特征直线的三维信息，得到所述目标物表面的点云；以及

S5，通过步进电机控制所述激光器平移，迭代执行步骤S3和步骤S4，直至得到所述目标物表面完整轮廓的三维点云数据。

2.根据权利要求1所述的基于三相机协同激光的3D探测方法，其特征在于，利用网格状激光图案对所述三目相机进行标定。

3.根据权利要求1所述的基于三相机协同激光的3D探测方法，其特征在于，所述步骤S3中，采用基于极值法的阈值分割剔除所述激光线图形的背景，以获得光带，再利用灰度重心法，获得所述每条激光线的中心图像。

4.根据权利要求1所述的基于三相机协同激光的3D探测方法，其特征在于，所述步骤S3中，基于相机间几何约束的点匹配方法，利用所述三目相机的三焦点张量提供的约束关系匹配所述特征点及所述特征直线。

5.根据权利要求1所述的基于三相机协同激光的3D探测方法，其特征在于，所述步骤S4中，利用所述三目相机的冗余信息计算匹配好的特征点以及特征直线。

6.一种基于三相机协同激光的3D探测装置，其特征在于，包括：

照射模块，用于利用激光器将网格状激光照射至目标物表面；

标定模块，用于对三目相机进行标定，得到各个相机的内参矩阵以及相机之间的平移向量、旋转矩阵、基础矩阵；

提取模块，用于通过所述三目相机采集激光线图像，提取所述激光线图形中每条激光线的中心图像，以进行所述特征点以及特征直线匹配；

计算模块，用于计算匹配好的特征点以及特征直线的三维信息，得到所述目标物表面的点云；以及

迭代模块，用于通过步进电机控制所述激光器平移，迭代执行所述提取模块和所述计算模块，直至得到所述目标物表面完整轮廓的三维点云数据。

7.根据权利要求6所述的基于三相机协同激光的3D探测装置，其特征在于，利用网格状激光图案对所述三目相机进行标定。

8.根据权利要求6所述的基于三相机协同激光的3D探测装置，其特征在于，所述提取模块中，采用基于极值法的阈值分割剔除所述激光线图形的背景，以获得光带，再利用灰度重心法，获得所述每条激光线的中心图像。

9.根据权利要求6所述的基于三相机协同激光的3D探测装置，其特征在于，所述提取模块中，基于相机间几何约束的点匹配方法，利用所述三目相机的三焦点张量提供的约束关系匹配所述特征点及所述特征直线。

10.根据权利要求6所述的基于三相机协同激光的3D探测装置，其特征在于，所述计算模块中，利用所述三目相机的冗余信息计算匹配好的特征点以及特征直线。