CN113465543B - 一种基于多目视觉和振镜激光扫描的三维测量系统及方法 - Google Patents

Abstract

本发明公开了一种基于多目视觉和振镜激光扫描的三维测量系统及方法，三维测量系统中的振镜模组包括反射镜和伺服电机，伺服电机与反射镜连接并用于驱动反射镜旋转；线激光器用于发射线性激光、且激光输出端朝向反射镜的镜面布置，反射镜设置于线激光器发射的线性激光的光路上，反射镜用于将线性激光反射后照射于待测量物体的表面；若干组相机分别设置于待测量物体表面的四周，每组相机的镜头均朝向待测量物体的表面，所有的相机组合后的镜头捕捉面域覆盖整个待测量物体的测量表面。本发明能够在保持激光扫描测量精度的同时，大幅提升测量速度，具有测量精度高、速度快、灵活性好的优势，且数据不易缺失、测量面域全覆盖。

Description

一种基于多目视觉和振镜激光扫描的三维测量系统及方法

技术领域

本发明涉及三维激光扫描的技术领域，具体为一种基于多目视觉和振镜激光扫描的三维测量系统及方法。

背景技术

三维激光扫描技术是基于三角测距的原理，通过记录被测物体表面大量的密集的点的三维坐标、反射率和纹理等信息，快速复建出被测目标的三维模型及线、面、体等各种图件数据。相对于传统的单点测量，三维激光扫描技术也被称为从单点测量进化到面测量的革命性技术突破。

现有三维扫描技术主要包括结构光投影式三维扫描技术以及手持式激光三维扫描技术两种。结构光投影式三维扫描仪容易受到环境光照影响，不适用于光滑金属材质物体的测量；手持式激光三维扫描仪抗干扰性强，但是需要在被测物体表面粘贴标志点，扫描过程必须处于完全离线的状态，这大大限制了激光三维测量技术在实时性要求较高的场景中的应用。

现有的单目振镜式激光三维快速扫描技术能够在保持激光扫描测量精度的同时，大幅提升测量速度，具有测量精度高、速度快、灵活性好的优势，然而单目振镜激光三维扫描测量高反射率表面时存在数据缺失的问题，且容易产生测量盲区。

发明内容

针对上述问题，本发明提供了一种基于多目视觉和振镜激光扫描的三维测量系统及方法，本发明利用多部相机实时采集激光线图像，测量面域全覆盖、且数据不易缺失。

本发明采用的技术方案如下：

一种基于多目视觉和振镜激光扫描的三维测量系统，包括线激光器、振镜模组和若干组相机；

所述振镜模组包括反射镜和伺服电机，所述伺服电机与反射镜连接并用于驱动反射镜旋转；

所述线激光器用于发射线性激光、且激光输出端朝向反射镜的镜面布置，所述反射镜设置于线激光器发射的线性激光的光路上，反射镜用于将线性激光反射后照射于待测量物体的表面；

若干组相机分别设置于待测量物体表面的四周，每组相机的镜头均朝向待测量物体的表面，所有的相机组合后的镜头捕捉面域覆盖整个待测量物体的测量表面。

优选的，所述相机的组数为三个以上，一般取3～6组即可。

优选的，相机采用面阵相机，相机的镜头采用工业镜头。

本发明还提供了一种三维测量方法，该三维测量方法采用已预标定的本发明如上所述的基于多目视觉和振镜激光扫描的三维测量系统进行，包括如下过程：

线激光器发射线性激光，反射镜将线性激光反射于待测量物体表面，伺服电机驱动反射镜旋转，使反射镜反射的线性激光在待测量物体表面进行扫描；

所有相机实时采集待测量物体表面的激光线图像；

利用采集到的图像以及基于多目视觉和振镜激光扫描的三维测量系统的系统参数，计算得到待测量物体表面的三维坐标，根据三维坐标重建出被测物体的三维轮廓。

优选的，待测量物体表面的三维坐标(X，Y，Z)通过下式计算得到：

式中，i为相机的序号，ρ₁～ρ_i为缩放因子，(u₁，v₁)～(u_i，v_i)分别为每个(X，Y，Z)下所对应的各相机坐标系所对应的X轴数值、Y轴数值，K₁～K_i分别为各相机的内外参数，T_{world_to_cam1}～T_{world_to_cami}分别为世界坐标系和各相机坐标系之间的坐标变换矩阵；T_{mirror_to_world}为以世界坐标系以及振镜坐标系这两个坐标系坐标轴的单位向量与原点确定出的旋转矩阵和平移向量组合形成的映射变换矩阵；

为光平面偏转角度。

优选的，本发明三维测量方法，还包括对所述的基于多目视觉和振镜激光扫描的三维测量系统的标定过程，标定过程包括：

建立系统数学模型：建立各组相机以及振镜的坐标系；

标定相机：使用带有标准角点的标定板，标定板所对应的坐标系为世界坐标系，在所有相机的共同视场内的不同位置进行摆放，每组相机采集每个位置下的标定板图像，利用采集到的标定板图像，基于角点提取算法和张正友标定算法得到每个相机的内参数外参数以及世界坐标系和任意相机坐标系之间的坐标变换矩阵，获得每组相机内外参数，以及世界坐标系和各相机坐标系之间的坐标变换矩阵；

标定振镜，以振镜的转轴方向为振镜坐标系其中的一个坐标轴，当振镜控制电压为预设值时，激光平面的法线方向为振镜坐标系其中的另一个坐标轴建立世界坐标系，获得振镜坐标系和世界坐标系映射变换矩阵。

优选的，坐标系的建立过程包括：

以每组相机摄像机镜头的光心O_C为原点建立相机的坐标系，其中以光轴方向为Z_C轴，X_C轴与Y_C轴分别平行于图像物理坐标系的X轴和Y轴的三维坐标系；

世界坐标系是以平面棋盘格其中一个角的角点为原点O_w、以棋盘格行和列的方向作分别为X_w轴与Y_w轴、以右手定则确定Z_w轴的三维坐标系；

振镜坐标系O_mX_mY_mZ_m是以振镜的转轴方向为Y_m轴，Y_m轴与世界坐标系O_wX_wZ_w平面的交点作为原点O_m，当振镜控制电压为U₀时，激光平面的法线方向作为X_m轴，以右手定则确定Z_w轴的三维坐标系。

优选的：以世界坐标系以及振镜坐标系这两个坐标系坐标轴的单位向量与原点确定出的旋转矩阵和平移向量组合形成的映射变换矩阵T_{mirror_to_world}满足如下关系：

式中，(Xm，Ym，Zm)为点在振镜坐标系下的坐标，(Xw，Yw，Zw)为(Xm，Ym，Zm)对应的世界坐标系下的坐标。

优选的，获取坐标值(Xm，Ym，Zm)所对应的(Xw，Yw，Zw)的过程包括：

打开线激光器；

调节标定板处在不同位置，当标定板调节至某一位置时，控制所有的相机采集伺服电机在不同的控制电压下时的激光线条纹图像；

利用采集到的激光线条纹图像，基于激光中心线提取算法提取每条激光条纹的像素坐标，再基于多目视觉匹配算法得到每条激光条纹在世界坐标系下的坐标(Xw，Yw，Zw)。

优选的，伺服电机驱动反射镜旋转时，伺服电机的驱动电压满足如下条件：

在世界坐标系下，伺服电机的控制电压与光平面方程的对应关系如下：

Xwcos(2α(U₁-U₀))-Zw sin(2α(U₁-U₀))＝0

式中，Xw、Zw为点的世界坐标，U₀为伺服电机的初始控制电压，U₁为伺服电机的实际控制电压，α为单位伏特电压伺服电机转动的角度，

本发明具有如下有益效果：

本发明利用反射镜能够对线激光器发射的线性激光反射到待测量物体的表面，通过伺服电机能够带动反射镜旋转，进而实现线激光器发射的线性激光在待测量物体的表面的扫描；通过将若干组相机分别设置于待测量物体表面的四周，能够利用相机实时采集激光线图像，进而能够利用采集到的图像重建出被测物体的三维轮廓数据，本发明能够在保持激光扫描测量精度的同时，大幅提升测量速度，具有测量精度高、速度快、灵活性好的优势，且数据不易缺失、测量面域全覆盖。

附图说明

图1为本发明基于多目视觉和振镜激光扫描的三维测量系统的模型结构示意图；

图2为基于多目视觉和振镜激光扫描的三维测量系统所对应的数学模型坐标系示意图；

图3(a)为本发明实施例中系统所对应的相机坐标的模型示意图；图3(b)为本发明实施例中系统所对应的世界坐标的模型示意图；图3(c)为本发明实施例中系统所对应的振镜坐标的模型示意图；

图4为本发明系统所对应的振镜坐标和世界坐标系的对应参数矩阵求解示意图；

图中序号所对应的名称如下：

1-线激光器、2-振镜模组、21-反射镜、22-伺服电机、3-第一相机、4-第二相机、5-第三相机、6-第四相机、7-工业镜头、8-面阵相机。

具体实施方式

下面结合附图和实施例来对本发明做进一步的说明。

参照图1，以设置四组相机为例对本发明进行说明，所述基于多目视觉和振镜激光扫描的三维测量系统包括线激光器1、振镜模组2和四组相机，四组相机分别为第一相机3、第二相机4、第二相机5、第四相机6；

振镜模组2包括反射镜21和伺服电机22，伺服电机22的输出轴与反射镜21连接，反射镜21能够随伺服电机22的输出轴同步转动；

线激光器1用于发射线性激光，线激光器1的激光发射端朝向反射镜21的镜面布置，反射镜21能够将线激光器1发射的线性激光反射后照射于待测量物体的表面；

四组相机分列于待测量物体的表面四周位置，每组相机的镜头均朝向待测量物体的表面布置，所有的相机组合后的镜头捕捉面域覆盖整个待测量物体的测量表面。在布置相机时，所有相机位置均固定布置，且所有相机固设的位置相互不干涉反射后的激光照射于待测量物体的表面；

伺服电机22能够驱动反射镜21使得反射后的线性激光平扫覆盖待测量物体的测量表面；四组相机均采用面阵相机8，相机的镜头采用工业镜头7，确保测量精度和准确度。

本发明基于多目视觉和振镜激光扫描的三维测量系统的使用包括系统标定过程和三维测量过程；

系统标定过程如下：建立系统数学模型，参见图2，建立六组坐标系，六组坐标系分别为第一相机坐标系O₁X₁Y₁Z₁、第二相机坐标系O₂X₂Y₂Z₂、第三相机坐标系O₃X₃Y₃Z₃、第四相机坐标系O₄X₄Y₄Z₄、振镜坐标系O₀X₀Y₀Z₀(O_mX_mY_mZ_m)以及用于标定待测物体的世界坐标系O_wX_wY_wZ_w，如图3(a)所示，每个相机坐标系是以摄像机镜头的光心O_C为原点，光轴方向为Z_C轴，X_C轴与Y_C轴分别平行于图像物理坐标系的X轴和Y轴的三维坐标系；如图3(b)所示，世界坐标系O_wX_wY_wZ_w是平面棋盘格左上角角点为原点O_w，以棋盘格行和列的方向作为X_w轴与Y_w轴，以右手定则确定Z_w轴的三维坐标系；如图3(c)所示，振镜坐标系O_mX_mY_mZ_m是以振镜的转轴方向为Y_m轴，Y_m轴与世界坐标系O_wX_wZ_w平面的交点作为原点Om，其在图3中的坐标系为O_mX_mY_mZ_m，当振镜控制电压为U₀时，激光平面的法线方向作为X_m轴，以右手定则确定Z_w轴的三维坐标系；

标定四个相机的内参数和外参数，标定过程包括：使用一个带有标准角点的标定板，标定板所对应的坐标系为世界坐标系O_wX_wY_wZ_w，在四个相机的共同视场内的不同位置进行N次摆放，其中N为≥4的自然数，四个相机采集每个位置下的标定板图像，利用采集到的标定板图像(见图3)，基于角点提取算法和张正友标定算法得到每个相机的内外参数以及世界坐标系和任意相机坐标系之间的坐标变换矩阵，获得第一相机内外参数K1、第二相机内外参数K2、第三相机内外参数K3、第四相机内外参数K4，以及世界坐标系和第一相机坐标系之间的坐标变换矩阵Tworld_to_cam1、世界坐标系和第二相机坐标系之间的坐标变换矩阵Tworld_to_cam2、世界坐标系和第三相机坐标系之间的坐标变换矩阵Tworld_to_cam3、世界坐标系和第四相机坐标系之间的坐标变换矩阵Tworld_to_cam4；

标定振镜：见图3(c)和图4，以伺服电机22的转轴方向为Y轴，当振镜控制电压为U₀时，激光平面的法线方向为x轴建立世界坐标系O_mX_mY_mZ_m，获得计算振镜坐标系和世界坐标系映射变换矩阵Tmirror_to_world；

标定振镜时，通过一维电动平移台与世界坐标系所对应平面标定板对振镜坐标系与世界坐标系的转化关系进行标定(见图4)，以世界坐标系和振镜坐标系这两个坐标系坐标轴的单位向量与原点确定出旋转矩阵R1和平移向量T1组合形成的映射变换矩阵Tmirror_to_world，即：

式中，(Xm，Ym，Zm)为点在振镜坐标系下的坐标，(Xw，Yw，Zw)为(Xm，Ym，Zm)为对应的世界坐标系下的坐标，求上式解获得Tmirror_to_world；

上述坐标值(Xm，Ym，Zm)所对应的(Xm，Ym，Zm)通过下列方法测得：

打开激光器1，此时保持标定板的位置不变，此位置标定板平面上的所有点在靶标坐标系下有Z_w＝Z₀＝0，调节振镜系统的控制电压(也即伺服电机22的驱动电压)，当控制电压为U₀时，控制四周的相机采集此电压下的激光线条纹图像；改变控制电压，使振镜偏转预设角度，控制四周相机分别采集控制电压为U₁，U₂，…，U_m，时的线激光的条纹图像，其中m≥4；之后控制电动平移台沿垂直于标定板平面的方向移动，使标定板平面移动到Z_w＝Z₁，然后重复上所述过程的操作，获得标定板平面移动到Z_w＝Z₁下振镜在控制电压为U₀，U₁，U₂，…，U_m(m≥4)时的线激光的条纹图像；继续控制电动平移台移动，重复操作，分别获得标定板位置为Z₂，Z₃，…，Z_n(n≥4)时，振镜控制电压为U₀，U₁，U₂，…，U_m(n≥4)时的激光线条纹图像；利用采集到的激光线条纹图像、基于激光中心线提取算法提取每条激光条纹的像素坐标，然后基于多目视觉匹配算法得到每条激光条纹在世界坐标系下的坐标(Xw，Yw，Zw)。

在世界坐标系下，建立振镜控制电压与光平面方程的对应关系，其关系式为：

Xwcos(2α(U₁-U₀))-Zw sin(2α(U₁-U₀))＝0

式中，Xw、Zw为点的世界坐标，U₀为伺服电机的初始控制电压，U₁为伺服电机的实际控制电压，α为单位伏特电压伺服电机转动的角度，

三维测量过程包括，线激光器1投射线激光到反射镜21上，伺服电机22带动反射镜21旋转，实现激光线扫描；四周的相机实时采集激光线图像，利用采集到的图像，以及系统标定过程得到的上述参数，通过多视角数据融合的方式，重建出被测物体精确的三维轮廓数据，计算三维坐标(X，Y，Z)的过程可通过下式：

式中K₁～K₄，T_{world_to_cam1}～T_{world_to_cam4}，T_{mirror_to_world}在进行系统标定过程后可以得到；

(u₁，v₁)～(u₄，v₄)通过提取激光中心线得到，具体为每个(X，Y，Z)下所对应的第一相机坐标系、第二相机坐标系、第三相机坐标系、第四相机坐标系所对应的X轴数值、Y轴数值，

为振镜坐标系偏转角度，

通过求解以上超定方程组，可获得(X，Y，Z)的值。

实施例1

现有的单目测量+振镜扫描的测量方法对于A球的测量数据和测量标准偏差如表1所示：

表1

本发明的方法对于A球的测量数据和测量标准偏差如表2所示：

表2

施例2

现有的单目测量+振镜扫描的测量方法对于B球的测量数据和测量标准偏差如表3所示：

表3

本发明的方法对于A球的测量数据和测量标准偏差如表4所示：

表4

实施例3，现有的单目测量+振镜扫描的测量方法对于中心距的测量数据和测量标准偏差如表5所示：

表5

本发明的方法对于中心距的测量数据和测量标准偏差如表6所示：

表6

根据上述三组实施例的表1-表6的结果可以看出，通过多目视觉和振镜激光扫描的三维测量，其所获得的标定数值更准确可靠。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于多目视觉和振镜激光扫描的三维测量系统，其特征在于，包括线激光器(1)、振镜模组(2)和若干组相机；

所述振镜模组包括反射镜(21)和伺服电机，所述伺服电机与反射镜(21)连接并用于驱动反射镜(21)旋转；

所述线激光器(1)用于发射线性激光、且激光输出端朝向反射镜(21)的镜面布置，所述反射镜(21)设置于线激光器(1)发射的线性激光的光路上，反射镜(21)用于将线性激光反射后照射于待测量物体的表面；

若干组相机分别设置于待测量物体表面的四周，每组相机的镜头均朝向待测量物体的表面，所有的相机组合后的镜头捕捉面域覆盖整个待测量物体的测量表面；

所述相机的组数为三个以上。

2.根据权利要求1所述的一种基于多目视觉和振镜激光扫描的三维测量系统，其特征在于，相机采用面阵相机，相机的镜头采用工业镜头。

3.一种三维测量方法，其特征在于，该三维测量方法采用已预标定的权利要求1-2任意一项所述的基于多目视觉和振镜激光扫描的三维测量系统进行，包括如下过程：

线激光器(1)发射线性激光，反射镜(21)将线性激光反射于待测量物体表面，伺服电机驱动反射镜(21)旋转，使反射镜(21)反射的线性激光在待测量物体表面进行扫描；

所有相机实时采集待测量物体表面的激光线图像；

利用采集到的图像以及基于多目视觉和振镜激光扫描的三维测量系统的系统参数，计算得到待测量物体表面的三维坐标，根据三维坐标重建出被测物体的三维轮廓；

待测量物体表面的三维坐标(X，Y，Z)通过下式计算得到：

式中，i为相机的序号，ρ₁～ρ_i为缩放因子，(u₁，v₁)～(u_i，v_i)分别为每个(X，Y，Z)下所对应的各相机坐标系所对应的X轴数值、Y轴数值，K₁～K_i分别为各相机的内外参数，T_{world_to_cam1}～T_{world_to_cami}分别为世界坐标系和各相机坐标系之间的坐标变换矩阵；T_{mirror_to_world}为以世界坐标系以及振镜坐标系这两个坐标系坐标轴的单位向量与原点确定出的旋转矩阵和平移向量组合形成的映射变换矩阵；

为光平面偏转角度。

4.根据权利要求3所述的一种三维测量方法，其特征在于，还包括对所述的基于多目视觉和振镜激光扫描的三维测量系统的标定过程，标定过程包括：

建立系统数学模型：建立各组相机以及振镜的坐标系；

标定相机：使用带有标准角点的标定板，标定板所对应的坐标系为世界坐标系，在所有相机的共同视场内的不同位置进行摆放，每组相机采集每个位置下的标定板图像，利用采集到的标定板图像，基于角点提取算法和张正友标定算法得到每个相机的内参数外参数以及世界坐标系和任意相机坐标系之间的坐标变换矩阵，获得每组相机内外参数，以及世界坐标系和各相机坐标系之间的坐标变换矩阵；

标定振镜，以振镜的转轴方向为振镜坐标系其中的一个坐标轴，当振镜控制电压为预设值时，激光平面的法线方向为振镜坐标系其中的另一个坐标轴建立世界坐标系，获得振镜坐标系和世界坐标系映射变换矩阵。

5.根据权利要求4所述的一种三维测量方法，其特征在于，坐标系的建立过程包括：

以每组相机摄像机镜头的光心O_C为原点建立相机的坐标系，其中以光轴方向为Z_C轴，X_C轴与Y_C轴分别平行于图像物理坐标系的X轴和Y轴的三维坐标系；

世界坐标系是以平面棋盘格其中一个角的角点为原点O_w、以棋盘格行和列的方向作分别为X_w轴与Y_w轴、以右手定则确定Z_w轴的三维坐标系；

振镜坐标系O_mX_mY_mZ_m是以振镜的转轴方向为Y_m轴，Y_m轴与世界坐标系O_wX_wZ_w平面的交点作为原点O_m，当振镜控制电压为U₀时，激光平面的法线方向作为X_m轴，以右手定则确定Z_w轴的三维坐标系。

6.根据权利要求4所述的一种三维测量方法，其特征在于：以世界坐标系以及振镜坐标系这两个坐标系坐标轴的单位向量与原点确定出的旋转矩阵和平移向量组合形成的映射变换矩阵T_{mirror_to_world}满足如下关系：

式中，(Xm，Ym，Zm)为点在振镜坐标系下的坐标，(Xw，Yw，Zw)为(Xm，Ym，Zm)对应的世界坐标系下的坐标。

7.根据权利要求6所述的一种三维测量方法，其特征在于，获取坐标值(Xm，Ym，Zm)所对应的(Xw，Yw，Zw)的过程包括如下步骤：

打开线激光器(1)；

调节标定板处在不同位置，当标定板调节至某一位置时，控制所有的相机采集伺服电机在不同的控制电压下时的激光线条纹图像；

利用采集到的激光线条纹图像，基于激光中心线提取算法提取每条激光条纹的像素坐标，再基于多目视觉匹配算法得到每条激光条纹在世界坐标系下的坐标(Xw，Yw，Zw)。

8.根据权利要求7所述的一种三维测量方法，其特征在于，伺服电机驱动反射镜(21)旋转时，伺服电机的驱动电压满足如下条件：

在世界坐标系下，伺服电机的控制电压与光平面方程的对应关系如下：

Xw cos(2α(U₁-U₀))-Zw sin(2α(U₁-U₀))＝0

式中，Xw、Zw为点的世界坐标，U₀为伺服电机的初始控制电压，U₁为伺服电机的实际控制电压，α为单位伏特电压伺服电机转动的角度，

Images