CN112361982A

CN112361982A - 一种大幅面工件三维数据提取方法及系统

Info

Publication number: CN112361982A
Application number: CN202011199547.0A
Authority: CN
Inventors: 李文龙; 成巍; 金硕; 王俊; 何建群
Original assignee: Laser Institute of Shandong Academy of Science
Current assignee: Laser Institute of Shandong Academy of Science
Priority date: 2020-10-29
Filing date: 2020-10-29
Publication date: 2021-02-12
Anticipated expiration: 2040-10-29
Also published as: CN112361982B

Abstract

本发明公开了一种大幅面工件三维数据提取方法及系统，所述方法包括：工件与扫描系统发生相对运动，使扫描系统发射出的激光线覆盖扫描工件幅面；获取工件幅面激光线上的三维数据；根据工件与扫描系统相对运动的速度和扫描系统图像采集的频率，计算相邻激光线的距离；根据计算所得的距离拼接所有激光线上的三维数据，得到工件幅面三维数据。所述系统包括扫描系统、机器人、高速脉冲模块、PLC控制器和上位机。本发明能够结合相机数据采集的速度和机器人运动的速度，实现激光线上三维数据的精准拼接，能够适应不同场合、不同类型工件的精度提取要求。

Description

一种大幅面工件三维数据提取方法及系统

技术领域

本发明涉及视觉测量领域，具体涉及一种大幅面工件三维数据提取方法及系统。

背景技术

在机械加工领域，长度和宽度超过500mm的工件被称为大幅面工件。对工件表面三维数据的提取广泛应用于尺寸测量、逆向工程、表面处理等制造工艺中，工件表面三维数据的快速、高精度提取对于推动制造工业的发展起着至关重要作用。

传统大幅面工件的幅面三维数据通过手持式三维扫描仪获取，但是，大幅面工件具有幅面大、重量大、形状变化大、固定成本高等特点，因此对于大幅面工件表面三维数据的提取难度较大。单目线结构光系统是一种新兴的快速提取工件三维数据的方法，但在测量时存在着扫描操作不便的问题。例如专利申请号为202020433209.8的中国实用新型专利公开了一种基于线结构光的三维扫描成像装置，通过转动放置待扫描物体的转台获取不同的待扫描物体轮廓线，而对于大幅面工件而言，类似的转动操作不便。采用机器人控制扫描系统转动可以克服上述问题，但是，通过机器人和结构光传感器进行自动采集，则存在以下问题：

1)相机单次图像采集只能获取一条激光线上的三维数据，多次采集的三维数据难以精确拼接。

2)机器人上下运动采集会导致工件三维数据的竖直方向Z轴上的数据相同，造成激光线的堆积。

发明内容

为了解决上述技术问题，本发明提出了一种大幅面工件三维数据提取方法及系统，实现了激光线上三维数据的精准拼接，能够适应不同场合、不同类型工件的精度提取要求。

为实现上述目的，本发明采用以下技术方案：

一种大幅面工件三维数据提取方法，包括：

步骤S1：工件与扫描系统发生相对运动，使扫描系统发射出的激光线覆盖扫描工件幅面；

步骤S2：获取工件幅面激光线上的三维数据；

步骤S3：根据工件与扫描系统相对运动的速度和扫描系统图像采集的频率，计算相邻激光线的距离；

步骤S4：根据计算所得的距离拼接所有激光线上的三维数据，得到工件幅面三维数据。

进一步地，所述工件固定放置，所述扫描系统固定于六轴机器人上，通过六轴机器人机械手的运动实现工件与扫描系统的相对运动。

进一步地，所述相邻激光线的距离计算方法为：

length＝1/f*v

其中，length为相邻激光线的距离，f为扫描系统图像采集频率，v为工件与扫描系统的相对运动速度。

进一步地，所述获取工件幅面激光线上的三维数据通过单目线激光原理获取。

进一步地，所述获取工件幅面激光线上的三维数据，包括：

对扫描系统相机进行标定；

对扫描系统结构光传感器进行标定并获取光平面方程；

获取工件幅面激光线上的图像坐标数据；

根据标定的相机参数和光平面方程，将扫描系统获取的图像坐标转换为摄像机坐标系下的三维坐标。

进一步地，所述对扫描系统相机进行标定，包括利用张正友标定法对相机的精度进行标定。

进一步地，所述对扫描系统结构光传感器进行标定并获取光平面方程，包括：

固定扫描系统相机与激光器位置不动，摆动棋盘格至合适位置，分别采集15-20幅未开启激光器与开启激光器的靶标图像；

对采集到的未开启激光器靶标图像进行相机参数标定；

利用标定的相机参数，对采集到的开启激光器靶标图像进行光平面标定，获取光平面方程。

进一步地，所述根据标定的相机参数和光平面方程，将扫描系统获取的图像坐标转换为世界坐标系下的三维坐标，包括：

根据相机标定的内部参数矩阵K和获取的光平面方程，利用转换公式

将获取的图像坐标(u,v)转换为对应的摄像机坐标系下的三维坐标(X_c,Y_c,Z_c)；

其中，K为三行三列的相机内部参数矩阵，invK₁₁、invK₁₂、invK₁₃为K的逆矩阵的第一行元素，invK₂₁、invK₂₂、invK₃₁为K的逆矩阵的第二行元素。

进一步地，所述根据计算所得的距离拼接所有激光线上的三维数据，得到工件幅面三维数据，包括：

对于获取的工件幅面激光线上的三维坐标，与激光线运动方向一致的坐标轴对应坐标值叠加计算得到的相邻激光线的距离，得到工件幅面三维数据。

本发明还提出了一种大幅面工件三维数据提取系统，用于实现如上所述的大幅面工件三维数据提取方法，包括扫描系统、机器人、高速脉冲模块、PLC控制器和上位机；

所述扫描系统用于获取工件幅面激光线上的三维数据；

所述机器人与扫描系统固定连接；

所述高速脉冲模块用于设置扫描系统的图像采集频率；

所述PLC控制器用于控制机器人的运动速度；

所述上位机用于根据所述图像采集频率和机器人的运动速度，拼接获取的工件幅面激光线上的三维数据，计算得到工件幅面三维数据。

进一步地，所述扫描系统包括工业相机和激光投射器。

本发明的有益效果是：

本发明通过提出一种大幅面工件三维数据提取方法及系统，适用于扫描多种不同类型的大幅面工件，能够在控制相机采集图像和机器人运动同步进行的基础上，实现实时采集机器人的运动速度及控制相机数据采集频率。由于机器人运动精度高，现有技术中已经能够达到0.06mm，结合系统实时数据通讯方法，就能实现激光线上三维数据的精确拼接；与此同时，基于机器人运动可控特点，能够实现拼接距离的控制。结合相机数据采集频率和机器人运动速度控制三维点云数据的疏密程度，进而控制三维点云的精度和数据量的大小，从而提高了大幅面工件三维扫描的柔性。

附图说明

图1是本发明实施例大幅面工件三维数据提取方法流程示意图；

图2是结构光平面示意图；

图3是本发明实施例大幅面工件三维数据提取系统结构示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

本发明实施例公开了一种大幅面工件三维数据提取方法，采用相机上位软件通过西门子可编程逻辑控制器(Programmable Logic Controller，PLC)向机器人发送运行信号，机器人接收到信号开始运动，相机根据西门子高速脉冲模块设置的频率采集图像数据，相机上位机软件通过西门子PLC获得机器人运动速度，扫描系统可获得激光线单线的三维数据，根据机器人速度与相机频率计算得到整幅的三维数据。所述西门子PLC型号优选为S7-1511，机器人优选为六轴机器人nachi-MC20-01，扫描系统包括CCD工业相机和激光投射器。如图1所示，所述大幅面工件三维数据提取方法具体包括以下步骤：

S1)工件与扫描系统发生相对运动，使扫描系统发射出的激光线覆盖扫描工件幅面。

为了获取整个工件表面的三维数据，需要将激光线扫描到整个工件幅面，因此，工件与扫描系统需要发生相对运动。工件与扫描系统发生相对运动有两种方法，第一种是扫描系统固定，工件运动；第二种是工件固定，扫描系统运动。优选地，本发明实施例中将工件固定放置，所述扫描系统固定于六轴机器人上，通过六轴机器人机械手的运动实现工件与扫描系统的相对运动，从而使激光线在工件上运动，获得每条在工件上的激光线数据。

扫描系统的位置摆放优选为工件与扫描系统平行，保证激光线能够垂直照射到工件表面。

S2)获取工件幅面激光线上的三维数据。

所述获取工件幅面激光线上的三维数据通过单目线激光原理获取。单目线激光原理可采用现有的三维数据获取方法，也可以采用以下优选步骤：

S21)对扫描系统相机进行标定。

利用张正友标定法对相机的精度进行标定。

S22)对扫描系统结构光传感器进行标定并获取光平面方程。

所述光平面如图2所示，其中，O_c为CCD工业相机光轴中心线O_cZ_c与镜头平面交点，O_cX_cY_cZ_c是以O_c为坐标系原点的摄像机坐标系，O_iX_iY_i为图像坐标系，O_wX_wY_wZ_w为世界坐标系。结构光投射器投射的线激光在棋盘格靶面上形成一条激光线，激光线与投射点形成的空间平面，即图2中虚线部分形成的平面为结构光平面。

本发明实施例优选的标定实现方法如下：

S221)固定CCD工业相机与激光器位置不动，摆动棋盘格至合适位置，分别采集15-20幅未开启激光器与开启激光器靶标图像。其中，摆动棋盘格至合适位置具体位置：棋盘格在CCD工业相机视野占据2/3以上位置；棋盘格平面与镜头平面三轴夹角各不超过30°，以保证CCD工业相机采集的棋盘格图像不会产生较大畸变。

S222)对S221)中采集到的未开启激光器靶标图像进行CCD工业相机标定，具体过程为：对未开启激光器靶标图像畸变校正，获得校正系数；计算CCD工业相机内外参数；利用最小二乘法对CCD工业相机内外参数进行优化；进行CCD工业相机内外参数精度评价。所述最小二乘法选用LM(Levenberg-Marquardt)算法。

所述畸变校正中，在选用畸变模型时仅考虑径向畸变和切向畸变，忽略薄棱镜畸变。

利用LM算法对CCD工业相机内外参数进行优化具体包括：选取图像中心点处附近图像区域作为CCD工业相机标定的初始像点，通过CCD工业相机模型计算相机内外参数作为后续优化的初始估值；基于已求得的CCD工业相机参数和畸变模型，利用最小二乘法，由选定的棋盘格角点的三维坐标和相对应的图像坐标参加运算，得到畸变系数初始估值；将畸变系数的初始估值设为上述得到的计算结果，结合通过CCD工业相机模型求解得到的内、外参数一起作为所有标定参数的初始估值进行全局优化。

进行CCD工业相机内外参数精度评价时，需要将上一步中获取的内部参数作为已知量，根据靶标上特征点的世界坐标求取此特征点的图像坐标，计算坐标与检测坐标的偏差来反映标定结果的精度。

S223)利用S222)中CCD工业相机畸变校正得到的校正系数对开启激光器靶标图像进行图像校正；提取激光线中心线；基于共面点原理，利用获得的CCD工业相机内、外参数计算激光线在摄像机坐标系下的三维坐标数据；使用最小二乘法对激光线三维数据进行平面拟合，得到光平面方程。

光平面方程的计算原理如下：

设结构光平面在摄像机坐标系O_cX_cY_cZ_c中的方程为：Z＝aX+bY+c。标定过程中，采集的关键帧图像数据中，棋盘格与激光器的距离、角度都有较大变化，导致了采集到的激光线在棋盘格上的线段宽度往往大于一个像素。为了统一标准，提高系统的测量精度，采用提取结构光的中心线方法进行标定。

基于共面靶标原理，在标定光平面过程中，将采集靶标图像位置平面定义为世界坐标系的X_wO_wY_w平面，则棋盘格平面上的点满足Z_w＝0。计算标定模板在i位置时，激光条纹的三维坐标。

设棋盘格上激光线上任意一点在图像坐标系下的坐标为(u_i,v_i)，此点在世界坐标系下对应坐标为(X_wi,Y_wi,0)^T，满足公式

其中，K是CCD工业相机内参数矩阵，r₁和r₂为单位正交向量((r₁,r₂,r₃)组成旋转矩阵R，r₃基于Z_w＝0化简约消)，t为相机标定结果的平移向量，s_i为常数比例因子。

任一空间点在摄像机坐标系与世界坐标系之间的转换关系为：

其中，R为旋转矩阵，T为平移矩阵，(X_ci,Y_ci,Z_ci)为摄像机坐标系下的空间点，(X_wi,Y_wi,Z_wi)为世界坐标系下的空间点。

综合上述两个公式，由相机标定结果中得到的CCD工业相机内部参数矩阵K、旋转矩阵R、平移矩阵T，即可得到图像坐标系中激光线段上的点(u_i,v_i)在对应的摄像机坐标系的空间点(X_ci,Y_ci,Z_ci)。

标定过程中，由棋盘格激光线图像点，可求得激光线上的空间点。将得到的空间点进行平面拟合，即可得到摄像机坐标系下的光平面方程。

以上的描述作为结构光传感器标定和光平面方程的整体实现原理，对于其具体的阐述和解释，可以参考发明人之前申请的专利文件(2020109649732)，说明书实施例中有明确描述。

S23)获取工件幅面激光线上的图像坐标数据。

扫描系统中相机通过外接触发线的方式获取数据，按照西门子高速脉冲模块设置的频率采集图像坐标数据。

S24)根据标定的相机参数和光平面方程，将扫描系统获取的图像坐标转换为世界坐标系下的三维坐标。

CCD工业相机为针孔成像模型。以采集得到的2D图像的左上角为原点，以像素为计量单位，建立直角坐标系uov，坐标系的u、v轴分别为图像的宽度和高度方向。以CCD工业相机光轴与图像平面的交点为原点，以mm为计量单位，建立图像直角标系xoy，x轴与y轴分别平行于uov坐标系中的u轴与v轴。图像中任一点在两个坐标系下关系为：

其中，(u₀,v₀)为xoy坐标系原点o在uov坐标系下的坐标，d_x与d_y为每个像素在x轴与y轴的尺寸。

用齐次坐标与矩阵形式表示为：

空间任意一点P在2D图像坐标系下的坐标(x,y)与其对应的在摄像机坐标系下的三维坐标(X_c,Y_c,Z_c)可用公式(3)表示：

其中，F为CCD工业相机焦距。

用齐次坐标和矩阵形式表示公式(4)的关系为：

将公式(4)带入公式(2)可得：

又有张正友标定法得知：

将公式(6)带入公式(5)可得：

世界坐标与图像坐标数学关系已由张正友等人采用齐次坐标与矩阵的形式进行了表述，表达式为：

其中，α、β、γ、u₀、v₀为CCD工业相机内部参数。

比较公式(7)、(8)可得：

由公式(5)、(9)可得：

其中，K为三行三列的相机的内参矩阵，invK₁₁、invK₁₂、invK₁₃、invK₂₁、invK₂₂、invK₂₃为K的逆矩阵的元素，下标的第一个数字为矩阵的行数，第二个数字为矩阵的列数。

进而得到：

在摄像机坐标系下，求得的光平面方程原型为：

aX_c+bY_c+cZ_c+1000＝0 (12)

针对公式(12)，该方程中的a、b、c是确定的值，例如，使用步骤S2)中的具体原理，采用最小二乘法实现光平面的拟合，即最佳平面满足空间点(X_ci,Y_ci,Z_ci)到此平面的距离平方和最小，可得到光平面方程为：Z_c＝0.542904*X_c-0.045560*Y_c+171.432238。

因此，通过相机标定的内部参数矩阵K，测量图像中得到的2D图像坐标系下的(u,v)，联立公式(11)、(12)可组成三个等式对三个未知数(X_c,Y_c,Z_c),进行求解，即可求得此点对应的摄像机坐标系下的三维点(X_c,Y_c,Z_c)。

S3)根据工件与扫描系统相对运动的速度和扫描系统图像采集的频率，计算相邻激光线的距离。

所述相邻激光线的距离计算方法为：

length＝1/f*v (13)

S4)根据计算所得的距离拼接所有激光线上的三维数据，得到工件幅面三维数据。

以垂直摆放的工件为例，由于工件固定，扫描系统固定于机器人上，如果只通过机器人上下采集，工件三维数据在竖直方向Z轴上的数据会相同，造成激光线的堆积，因此，要实现整个工件三维数据的正确提取，需要在机器人运动方向上，将激光线的三维数据的一个轴的坐标统一加上计算所得的激光线的距离。

如图3所示，本发明实施例还公开了一种大幅面工件三维数据提取系统，用于实现如上所述的大幅面工件三维数据提取方法，包括扫描系统、机器人、高速脉冲模块、PLC控制器和上位机，其中，所述扫描系统用于获取工件幅面激光线上的三维数据；所述机器人与扫描系统固定连接；所述高速脉冲模块用于设置扫描系统的图像采集频率；所述PLC控制器用于控制机器人的运动速度；所述上位机用于根据所述图像采集频率和机器人的运动速度，拼接获取的工件幅面激光线上的三维数据。

在现有技术中，为了实现上述系统的功能，优选的扫描系统包括工业相机和激光投射器。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种大幅面工件三维数据提取方法，其特征在于，包括：

步骤S2：获取工件幅面激光线上的三维数据；

2.根据权利要求1所述的大幅面工件三维数据提取方法，其特征在于，所述步骤S1中，工件固定放置，扫描系统固定于六轴机器人上，通过六轴机器人机械手的运动实现工件与扫描系统的相对运动。

3.根据权利要求2所述的大幅面工件三维数据提取方法，其特征在于，所述步骤S3中，计算相邻激光线的距离的方法，具体为：

通过控制六轴机器人的运动速度控制工件与扫描系统相对运动的速度，所述图像采集的频率和六轴机器人的运动速度控制三维点云数据的疏密程度；

所述相邻激光线的距离计算公式为：

length＝1/f*v

4.根据权利要求1所述的大幅面工件三维数据提取方法，其特征在于，步骤S2中，所述获取工件幅面激光线上的三维数据通过单目线激光原理获取。

5.根据权利要求4所述的大幅面工件三维数据提取方法，其特征在于，获取工件幅面激光线上三维数据的具体方法为：