CN111156925A - 基于线结构光和工业机器人的大构件三维测量方法 - Google Patents

基于线结构光和工业机器人的大构件三维测量方法 Download PDF

Info

Publication number
CN111156925A
CN111156925A CN201911321081.4A CN201911321081A CN111156925A CN 111156925 A CN111156925 A CN 111156925A CN 201911321081 A CN201911321081 A CN 201911321081A CN 111156925 A CN111156925 A CN 111156925A
Authority
CN
China
Prior art keywords
dimensional
line
coordinate system
robot
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911321081.4A
Other languages
English (en)
Other versions
CN111156925B (zh
Inventor
韩静
赵壮
柏连发
张毅
黄煜
彭冲冲
王景
何丰郴
王兴国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911321081.4A priority Critical patent/CN111156925B/zh
Publication of CN111156925A publication Critical patent/CN111156925A/zh
Application granted granted Critical
Publication of CN111156925B publication Critical patent/CN111156925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Abstract

本发明公开了一种基于线结构光和工业机器人的大构件三维测量方法,三维测量由两部分组成,即单次测量的三维数据获取和多次测量之间的三维数据拼接;本发明结合线结构光三维测量技术和机器人手眼标定技术,线结构光三维测量系统用于获取单次测量的三维数据,机器人手眼标定则实现了多次测量之间的三维数据拼接。本发明利用双目相机辅助进行单目线结构光平面的标定方法,简化了线标定的过程,提高了线重建的精度;采用空间圆拟合的方法来拟合标准球的球心坐标,使光平面可以是任意平面方程,扩大了标准球手眼标定方法的适用范围,本发明的测量方法能够精准地重建目标三维点云模型。

Description

基于线结构光和工业机器人的大构件三维测量方法
技术领域
本发明属于计算机视觉领域,具体涉及一种基于线结构光和工业机器人的大构件三维测量方法。
背景技术
在大型三维形貌测量中,视觉方法以其非接触、速度快、精度高、易于自动化等优点,成为最重要的测量方法之一。在实际测量中,由于视觉传感器的视场范围有限或被测表面相互遮挡等原因,会产生视觉盲区,无法一次得到物体表面的全部信息。因此需要将大的被测形貌划分成多个小区域,从不同角度进行分块的单元测量,然后采用拼接技术,将所有单元测量结果拼合在一起,构建物体的整体三维形貌。近年来,对于大面积形体的三维精确测量日益成为三维视觉测量的研究热点。
在传统的机器人线扫三维形貌测量方法中,单位数据的获取一般是通过购买的线激光传感器扫描仪得到,扫描原理是基于嵌入式数字信号处理器(DSP)计算出三维坐标。对于该线激光传感器扫描仪,测量的距离范围一般是10cm到20cm左右,测量的单线长度一般是10cm以下,单位数据的测量范围受到限制,同时价格相对较高。
三维数据拼接在大型三维形貌测量中也起着关键的作用,很多学者对其进行了深入的研究。目前有许多三维数据拼接方法,主要的三维拼接方法有以下几种:(1)基于机器人或激光跟踪仪的绝对坐标拼接方法。目前常采用激光跟踪仪和工业机器人来做三维拼接,使得空间任一点绝对定位精度高,但外加的激光跟踪仪价格昂贵。(2)通过精确测量旋转角度的转台法,这种转台法拼接方式较为单一,只能测量特定的物体。(3)通过事先标定多个相机之间位置关系的框架定位拼接方法,这种拼接方法标定过程复杂,且只能适用于特定场景的测量。(4)通过拼接标靶的光学定位跟踪的拼接方法,这种方法由于引入了拼接相机,拼接误差不好控制。(5)在被测物体表面粘贴标志点的多视标签定位拼接方法,这种拼接方法简单实用,是目前实际工程化使用最广泛的三维拼接方法,但是因为需要在物体表面粘贴标志点,费时费力,不能完全做到无接触测量。
发明内容
本发明的目的在于提供一种基于线结构光和工业机器人的大构件三维测量方法。
实现本发明目的的技术方案为:一种基于线结构光和工业机器人的大构件三维测量方法,测量装置包括工业机器人、第一CCD相机、第二CCD相机、线激光器、棋盘格、平面白板、标准球以及计算机,所述测量方法包括以下步骤:
步骤1,第一CCD相机固定在机器臂末端,第二CCD相机随意固定,通过棋盘格标定双目相机;
步骤2,线激光器固定在机器臂末端,通过平面白板和标定好的双目相机,标定出线激光在第一CCD相机坐标系下的光平面方程,第一CCD相机和线激光器形成线结构光三维测量系统;
步骤3,通过标准球,标定出线结构光三维测量系统和工业机器人之间的关系;
步骤4,将线结构光三维测量系统扫描的单位点云数据,通过线激光的扫描以及坐标系的转换,实现三维拼接。
与现有技术相比,本发明的显著优点为:(1)本发明通过双目相机进行线结构光平面的标定,简化了标定过程,无需结构复杂的标定靶,也无需繁杂的实验流程,也能精确地标定出光平面方程;(2)针对传统基于标准球的手眼标定方法的不足,对标准球球心坐标求解部分进行了改进,本发明采用空间圆拟合的方法,使得基于标准球的手眼标定方法适应于不同的光平面方程形式;(3)相比于传统基于标志点的大构件三维测量方法,本发明的方法无需标志点,能够实现完全无接触测量;且基于工业机器人和线结构光,本发明的方法测量范围大,对测量环境要求低,具有广阔的发展前景。
附图说明
图1是本发明中的三维形貌测量系统模型图。
图2是本发明中的大构件三维测量流程图。
图3是本发明中的线结构光三维测量模型图。
图4是本发明中的双目线标定模型图。
图5是本发明中的双目极线约束示意图。
图6是本发明中的标准球球心拟合示意图。
图7(a)是双目线标定激光线图,图7(b)是光平面拟合效果图。
图8(a)是模型实物图,图8(b)是模型扫描三维点云图。
图9(a)是线标定验证图片,图9(b)是线标定的误差示意图。
图10(a)是大型结构件实物图,图10(b)是本发明扫描的结构件三维点云图,图10(c)是REEYEE 3M扫描仪得到的三维点云图。
具体实施方式
针对传统的标志点三维拼接方法,费时费力,不能完全做到无接触测量,本发明通过将线结构光三维测量系统和工业机器人结合,实现了一种完全无接触的大构件三维测量方法。
如图1所示,一种基于线结构光和工业机器人的大构件三维测量方法,测量装置包括工业机器人、第一CCD相机、第二CCD相机、线激光器、棋盘格、平面白板、标准球以及计算机;
线激光器与第一CCD相机相对固定于工业机器人的末端;计算机连接两个CCD相机和工业机器人,获取相机和机器人的数据;第一CCD相机和线激光器组成线结构光三维测量系统,第二CCD相机、棋盘格和平面白板用于线结构光三维测量系统的相机标定和光平面标定;线结构光三维测量系统搭载在工业机器人的末端,通过标准球进行手眼标定;手眼标定完成之后,即可用于大构件的三维测量,该测量方法具体步骤如下:
步骤1、双目相机标定;第一CCD相机固定在机器臂末端,第二CCD相机随意固定,棋盘格用来标定双目相机;
步骤2、线激光器的光平面标定;线激光器固定在机器臂末端,通过平面白板和标定好的双目相机,标定出线激光在第一CCD相机坐标系下的光平面方程;从而使得第一CCD相机和线激光器形成一个线结构光三维测量系统;
步骤3、基于标准球的手眼标定;通过标准球,标定出线结构光三维测量系统和工业机器人之间的关系;手眼标定完成后,即可用该系统进行大构件三维测量;
步骤4、把线结构光三维测量系统扫描的单位点云数据,通过工业机器人实现整体拼接,从而获取大构件物体的完整三维形貌;做好了双目标定和光平面标定之后,把第一CCD相机和工业机器人分别连接计算机,控制工业机器人带动线结构光对大构件物体进行扫描;扫描的时候,计算机同步获取相机图像和工业机器人的姿态数据;通过线激光的图片能够重建线激光点云,通过工业机器人数据能够实现三维拼接。
进一步的,步骤2中,光平面标定是在进行标定时用到双目相机,标定完光平面后撤走其中的第二CCD相机,只用第一CCD相机和线激光器形成一个线结构光三维测量系统;通过增加一个第二CCD相机,来简化线激光的光平面标定过程,以及提高了线激光的光平面标定精度。
进一步的,步骤2中通过双目相机标定出线激光的光平面方程;双目线标定过程中用到了双目极线约束,两个相机通过双目标定后,能够得到基础矩阵;然后,让线激光打到一个平板上,在平板上形成一条直的激光线,再利用双目相机的极线约束重建出激光线的三维坐标,从而得到第一CCD相机坐标系下的光平面方程。
进一步的,步骤3中采用了基于空间圆拟合的标准球手眼标定方法;传统的标准球手眼标定方法都是把光平面方程定义为x=0或y=0平面,直接在二维平面上拟合出圆弧圆心坐标,进而求出标准球的球心坐标;但是单目线结构光三维测量系统的光平面方程是任意的平面方程形式,传统的标准球手眼标定方法并不适合线结构光三维测量系统;因而采用了一种空间圆拟合的方法来拟合出圆弧的圆心三维坐标O1和圆弧半径R1,再根据圆弧的圆心坐标、圆弧半径和标准球半径之间的空间位置关系,能够求解出标准球球心在相机坐标系下的三维坐标。
对于单元三维测量数据的获取,本发明采用基于线结构光的三维测量方法,系统结构简单,经济实用,测量精度较高,对物体表面要求较少,能够测量一些表面纹理复杂的物体。
相比于传统测量方法的线激光传感器扫描仪,本发明的三维测量系统由一个相机和一个激光器搭建的系统,成本较低,测量距离可自由调整,不再局限于某一距离范围,测量的单线长度可长可短,一般单线长度能到15cm,且单线的重建精度和上述线激光传感器扫描仪的精度相近。对大构件的物体扫描时,由于采用了线结构光测量方法,单线测量长度较长,减少了拼接次数,能够提高整体三维测量的精度。
本发明的三维数据拼接采用绝对定位拼接方法,由于工业机器人应用广泛、定位精度可靠,使用工业机器人来做三维数据拼接不仅实用性强,而且灵活可靠,相对于传统标志点拼接方法,不需要任何的辅助标签,对测量物体的表面基本没有影响。
本发明不增加高精度测量或位移设备,在仅有机器人和组建的线扫三维设备情况下,提出一种结合通用工业机器人和单目线结构光三维测量系统的大构件三维测量技术。结合工业机器人灵活性强和线结构光三维测量系统环境适应性强、结构简单的优点,能够在工业机器人的工作区域内实现高效率、大构件的三维形貌测量,且无需在物体表面粘贴标志点。
下面对本发明技术方案和原理进行详细说明。
(1)整体系统测量模型。基于线结构光和工业机器人的三维形貌测量系统模型如图1所示。该系统模型由两部分组成,首先是空间定位部分,空间定位数据由六轴的工业机器人提供。其次是三维测量部分,本发明采用线结构光三维测量系统,用来提供单位三维测量数据,该线结构光三维测量系统由一个相机和一个线激光器组成。对于该三维形貌测量系统,整个系统由三个坐标系组成,即第一CCD相机坐标系OsXsYsZs、机器人末端坐标系OeXeYeZe、机器人基坐标系OrXrYrZr。这三个坐标系与传统机器人线扫形貌测量方法中的坐标系定义一致,机器人基坐标系定义为全局坐标系。把第一CCD相机和激光器固定在机器人末端,通过相机标定和线标定之后,单目线结构光三维测量系统能够重建出激光条纹上的三维信息。第一CCD相机和机器人进行手眼标定之后,能够得出第一CCD相机坐标系和机器人末端坐标系之间的转换矩阵Ms。而机器人末端坐标系和机器人基坐标系之间的转换矩阵Mr可以通过机器人正运动学模型得出。通过线结构光三维测量得到物体表面的三维坐标之后,即可通过以下转换关系把第一CCD相机坐标系下物体表面的三维坐标转为机器人基坐标系下的三维坐标:
Figure BDA0002327168970000051
其中Pr为机器人基坐标系下的三维点,Ps是第一CCD相机坐标系下的三维点。Rr、Tr是机器人末端坐标系到机器人基坐标系的旋转矩阵和平移矩阵,可以从机器人的控制柜中得到。Rs、Ts是相机坐标系到机器人末端坐标系的旋转矩阵和平移矩阵。由于相机和线激光器固定在机器臂末端,随着机器臂移动能够实现对物体的扫描。在每个位置可以得出相机坐标系下激光条纹的三维坐标。然后,将相机坐标系下的三维坐标转换到机器人基坐标系下。因为对物体的扫描过程中,机器人基坐标系相对于物体固定不变,所以通过线激光的扫描以及坐标系的转换,能够实现三维拼接,重建出物体整体的三维形貌。本发明中,大构件三维测量的流程图如图2所示。
(2)线激光的光平面标定(双目线标定)。线结构光三维测量模型如图3所示。线结构光三维测量技术主要由相机标定、激光平面标定、激光条纹中心线提取和激光条纹线重建几部分组成。不同于传统的光平面标定方法,本发明中标定靶只是一个普通的平面白板。双目线标定是在进行线标定时用到双目相机,标定完光平面后撤走其中的相机2,只用相机1和线激光器进行三维测量。双目线标定模型如下图4所示。双目线标定过程中用到了双目极线约束,两个相机通过双目标定后,能够得到基础矩阵。然后,让线激光打到一个平板上,在平板上形成一条直的激光线,再利用双目相机的极线约束重建出激光线的三维坐标。左右图像的极线约束关系如图5所示。基础矩阵是极线约束关系的代数表达。基础矩阵F表示的是左图像中的像点m到右图像极线l′的映射,有如下公式:
l′=Fm (2)
上式中把极线方程a1x+b1y+c1=0表示为l′=(a1,b1,c1)T,m为像素点的齐次坐标m=(xm,ym,1)T。而和像点m匹配的右图像的像点m′必定在对极线l′上,同时像点m′也一定在右图像的激光线lr上,由于激光线是直线,通过直线拟合可以得出激光线lr在右图像上的直线方程,即arx+bry+cr=0。此时可以得知像点m′是极线l′和激光线lr的交点,像点坐标m′=(xm′,ym′)满足以下公式:
a1xm′+b1ym′+c1=0 (3)
arxm′+brym′+cr=0 (4)
联立(3)式和(4)式就能求解出像点m′的像素坐标。通过上述的极线约束,每个在左图上激光条纹像素点m,在右图上都能匹配对应的激光条纹像素点m′,然后通过最小二乘法求解三维坐标值,可以得出光条纹在相机坐标系里的三维坐标。双目线标定后,通过重建多条光条纹的三维坐标,能够很好地拟合出光平面方程。
(3)基于标准球的手眼标定。双目线标定后,撤走其中的相机2,剩下相机1和线激光器形成线结构光三维测量系统,搭载在机器臂末端。为了把线结构光三维测量的单位数据转到统一的机器人基坐标系中,需要用到手眼标定技术。传统的标准球手眼标定方法都是把光平面方程定义为x=0或y=0平面,直接在二维平面上拟合出圆弧圆心坐标,进而求出标准球的球心坐标。但是单目线结构光三维测量系统的光平面方程是任意的平面方程形式,传统的标准球手眼标定方法并不适合线结构光三维测量系统。因此本发明中,对传统的标准球手眼标定方法中球心拟合部分进行了改进,使得线结构光三维测量系统能够更好地和机器人结合起来。由于光平面方程已知,得到的圆弧三维坐标都是在光平面上的。要想拟合圆弧的圆心和半径,先要找到一个投影关系,把相机坐标系里的圆弧三维坐标投影到光平面的二维平面上,然后在二维平面上拟合出圆弧的圆心和半径,最后再根据那个投影关系反投影回去,得到相机坐标系里的圆弧圆心和半径。要找到这个投影关系,首先要在光平面上建立一个光平面坐标系。光平面坐标系定义如下:在光平面上任取两点O1和P,以O1为原点,
Figure BDA0002327168970000061
向量方向为X轴方向,光平面法向量
Figure BDA0002327168970000062
的方向为Z轴方向,Y轴在光平面上并且与X、Z轴垂直,共同构成光平面坐标系。由于点O1、P和向量
Figure BDA0002327168970000063
均为相机坐标系下的三维坐标值,因而光平面坐标系到相机坐标系的转换矩阵
Figure BDA0002327168970000064
如下:
Figure BDA0002327168970000071
上式中,(x1,x2,x3)T,(y1,y2,y3)T,(z1,z2,z3)T是光平面坐标系的X、Y、Z轴单位方向向量在相机坐标系下的坐标值,(t1,t2,t3)T是原点O1在相机坐标系里的坐标值。相机坐标系到光平面坐标系的转换矩阵
Figure BDA0002327168970000072
Figure BDA0002327168970000073
的逆矩阵,根据
Figure BDA0002327168970000074
可以把相机坐标系里的圆弧三维点转换到光平面坐标系中。转换之后,根据光平面坐标系的定义,圆弧点在光平面坐标系里的三维坐标Z值都为0,因而可以在XY二维平面上进行圆弧拟合,得到圆弧圆心在光平面坐标系里的坐标以及圆弧半径。之后,通过转换矩阵
Figure BDA0002327168970000075
可以得到圆弧圆心O1在相机坐标系里的三维坐标和圆弧半径r1的长度。得到相机坐标系下圆弧圆心O1的坐标和圆弧半径之后,根据几何关系就能求出标准球球心O在相机坐标系下的三维坐标,如图6所示。球心点O与圆心点O1连线的向量和光平面法向量平行,球心点和圆心点连线距离、球半径和圆弧半径之间形成三角关系,数学表达式如下:
Figure BDA0002327168970000076
Figure BDA0002327168970000077
上式中,
Figure BDA0002327168970000078
是球心点与圆心点连线的向量,
Figure BDA0002327168970000079
是光平面法向量,λ是任意常数值,
Figure BDA00023271689700000710
r是标准球半径,r1是圆弧半径。标准球半径r、圆弧半径r1、光平面法向量
Figure BDA00023271689700000711
和圆心点三维坐标O1都是已知的,联立(6)和(7)式就能求解出标准球球心在相机坐标系下的三维坐标。能够得出标准球球心三维坐标后,通过多组的标准球扫描数据,按照传统的求解方法,即可求解出手眼标定关系。
(4)物体的实际扫描测量。完成手眼标定后,即可对大构件物体进行高精度三维测量,重建出物体的三维模型。
本发明基于线结构光和工业机器人的大构件三维测量方法由两部分组成,即单次测量的三维数据获取和多次测量之间的三维数据拼接。本发明结合线结构光三维测量技术和机器人手眼标定技术,线结构光三维测量系统用于获取单次测量的三维数据,机器人手眼标定则实现了多次测量之间的三维数据拼接;同时,立足于线结构光三维测量和机器人手眼标定的原理和结构,提出了利用双目相机辅助进行单目线结构光平面的标定方法,简化了线标定的过程,提高了线重建的精度;对于传统的标准球手眼标定方法,提出了采用空间圆拟合的方法来拟合标准球的球心坐标,使光平面可以是任意平面方程,扩大了标准球手眼标定方法的适用范围。
下面结合附图和实施例对本发明作进一步详细描述。
实施例
本实施例的大构件三维测量系统由工业机器人、相机、线激光器和计算机组成,机器人是安川的ERER-MA02010-A00-C型号工业机器人,该机器人的相关参数如下:末端承受重量是10kg,重复定位精度是0.08mm,垂直伸长度是3649mm,水平伸长度是2010mm。相机用的是工业相机,型号是Basler acA1920-40gm,激光器用的是200mw功率650nm波长的线激光器。相机和线激光器搭在机器人末端组成线结构光三维测量系统。计算机分别和相机以及机器人的控制柜相连接,用来获取线激光图片和机器人的姿态数据。大构件三维测量方法包括以下步骤:
步骤一:在安川机器人的末端固定好相机1和激光器,取另一个型号相同的相机2进行双目标定。然后让激光线打在一个平板上,移动平板获取不同位置的激光线的条纹,用前面所述的方法,通过双目相机重建出不同位置下激光条纹的三维数据。重建后的多组激光线的图和光平面的拟合情况如图7(a)、图7(b)所示。光平面拟合后,可以得到光平面方程,实验中标定好的光平面方程如下:
2.4X-2.601Y-Z+173.4=0 (8)
得到光平面在某个相机坐标系下的方程之后,撤走相机2,剩下相机1和激光器组成线结构光三维测量系统。
步骤二:线标定之后,用该线结构光三维测量系统进行标准球的手眼标定实验。标准球的直径是50.8160mm。对于旋转矩阵Rs的求解,在机器人姿态不变的情况下平移扫描标准球多次;对于平移矩阵Ts的求解,机器人对标准球进行变姿态扫描多组。手眼标定的旋转矩阵和平移矩阵如下:
Figure BDA0002327168970000081
Ts=[-71.1162 -56.9114 -158.8167] (10)
步骤三:手眼标定之后,用本发明的系统对物体进行三维扫描。首先,对一个玩具模型进行了单次扫描,模型实物图如图8(a)所示,其尺寸大小约为15*25cm。另外用本发明的方法对该物体进行大构件三维测量,扫描出来的物体三维模型如图8(b)所示。
使用本发明步骤一所述的双目线标定算法(光平面标定),对于这种双目线标定的方法,用棋盘格对双目线标定方法进行了精度验证,激光线打在棋盘格两个角点上。对这两个角点,根据线重建出来的三维坐标算出重建距离,棋盘格上两个角点也能算出一个实际距离,把重建距离和实际距离比较得到误差,测了30组棋盘格图片进行了验证,得到误差数据,均方根误差是0.1141mm。这表明本发明的标定过程不仅简单,并且标定精度也很高。验证图片和误差结果如图9(a)、图9(b)所示。
使用本发明步骤一、二的标定参数对大型物体进行测量,并和基于标志点拼接的工业级三维扫描仪得出的结果进行对比,来分析本发明中方法的效果。扫描了一个大型结构件,并且把本发明的三维扫描结果和基于标志点拼接的面阵三维扫描结果进行了对比。实验中,扫描了一块50x30cm的表面带有焊缝的钢板,如图10(a)所示。由于机器人自身的绝对定位误差,使得机器人在两次扫描过程中点云数据会有微小错位,本发明采用ICP精配准算法来纠正该微小错位。对钢板进行三次扫描,可以拼接得出的钢板三维模型,如图10(b)所示。另外,用REEYEE 3M面阵扫描仪对该钢板进行了扫描,由于钢板尺寸大于REEYEE 3M面阵扫描仪的单幅测量尺寸,所以要用到标志点进行拼接,标志点拼接时,需要扫描十几次才能完成整体拼接,标志点拼接之后,也能得到钢板的三维模型,如图10(c)所示,表面的孔洞是因为粘贴标志点导致的。通过对该钢板的扫描结果可知,对比图10(b)和图10(c),本发明方法扫描的三维点云数据和标志点拼接方法扫描的三维点云数据基本一致,本发明方法的线扫拼接结果和REEYEE 3M面阵扫描仪的标志点拼接结果具有同等效果。
由上述结果可知,通过对大构件的扫描,把本发明的方法和基于标志点拼接的方法进行了对比,可以得到本发明的方法和基于标志点的拼接方法结果基本一致,重建出的三维模型能够完全重合。本发明通过线结构光三维测量技术和手眼标定技术,实现了一种大构件三维测量技术,能够对实物模型进行三维形貌测量。

Claims (6)

1.一种基于线结构光和工业机器人的大构件三维测量方法,其特征在于,测量装置包括工业机器人、第一CCD相机、第二CCD相机、线激光器、棋盘格、平面白板、标准球以及计算机,所述测量方法包括以下步骤:
步骤1,第一CCD相机固定在机器臂末端,第二CCD相机随意固定,通过棋盘格标定双目相机;
步骤2,线激光器固定在机器臂末端,通过平面白板和标定好的双目相机,标定出线激光在第一CCD相机坐标系下的光平面方程,第一CCD相机和线激光器形成线结构光三维测量系统;
步骤3,通过标准球,标定出线结构光三维测量系统和工业机器人之间的关系;
步骤4,将线结构光三维测量系统扫描的单位点云数据,通过线激光的扫描以及坐标系的转换,实现三维拼接。
2.根据权利要求1所述的基于线结构光和工业机器人的大构件三维测量方法,其特征在于,步骤2中,标定完光平面后撤走其中的第二CCD相机,仅用第一CCD相机和线激光器形成线结构光三维测量系统。
3.根据权利要求1或2所述的基于线结构光和工业机器人的大构件三维测量方法,其特征在于,步骤2中两个相机通过双目标定后,得到基础矩阵;然后让线激光打到一个平板上,在平板上形成一条直的激光线,再利用双目相机的极线约束重建出激光线的三维坐标,从而得到第一CCD相机坐标系下的光平面方程。
4.根据权利要求1所述的基于线结构光和工业机器人的大构件三维测量方法,其特征在于,步骤3中采用基于空间圆拟合的标准球手眼标定方法,具体为:
采用空间圆拟合的方法拟合出圆弧的圆心三维坐标和圆弧半径,再根据圆弧的圆心坐标、圆弧半径和标准球半径之间的空间位置关系,求解出标准球球心在第一CCD相机坐标系下的三维坐标。
5.根据权利要求1所述的基于线结构光和工业机器人的大构件三维测量方法,其特征在于,工业机器人为六轴工业机器人。
6.根据权利要求1所述的基于线结构光和工业机器人的大构件三维测量方法,其特征在于,通过相机标定和线标定后,单目线结构光三维测量系统重建出激光条纹上的三维信息;第一CCD相机和机器人进行手眼标定之后,得出第一CCD相机坐标系和机器人末端坐标系之间的转换矩阵Ms;机器人末端坐标系和机器人基坐标系之间的转换矩阵Mr通过机器人正运动学模型得出;通过线结构光三维测量得到物体表面的三维坐标之后,即可通过以下转换关系将第一CCD相机坐标系下物体表面的三维坐标转为机器人基坐标系下的三维坐标:
Figure FDA0002327168960000021
其中Pr为机器人基坐标系下的三维点,Ps是第一CCD相机坐标系下的三维点,Rr、Tr是机器人末端坐标系到机器人基坐标系的旋转矩阵和平移矩阵,Rs、Ts是第一CCD相机坐标系到机器人末端坐标系的旋转矩阵和平移矩阵;
第一CCD相机和线激光器固定在机器臂末端,随着机器臂移动实现对物体的扫描,在每个位置得出第一CCD相机坐标系下激光条纹的三维坐标;然后,将相机坐标系下的三维坐标转换到机器人基坐标系下;
对物体的扫描过程中,机器人基坐标系相对于物体固定不变,通过线激光的扫描以及坐标系的转换,实现三维拼接,重建出物体整体的三维形貌。
CN201911321081.4A 2019-12-19 2019-12-19 基于线结构光和工业机器人的大构件三维测量方法 Active CN111156925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911321081.4A CN111156925B (zh) 2019-12-19 2019-12-19 基于线结构光和工业机器人的大构件三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911321081.4A CN111156925B (zh) 2019-12-19 2019-12-19 基于线结构光和工业机器人的大构件三维测量方法

Publications (2)

Publication Number Publication Date
CN111156925A true CN111156925A (zh) 2020-05-15
CN111156925B CN111156925B (zh) 2021-12-28

Family

ID=70557412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911321081.4A Active CN111156925B (zh) 2019-12-19 2019-12-19 基于线结构光和工业机器人的大构件三维测量方法

Country Status (1)

Country Link
CN (1) CN111156925B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111638680A (zh) * 2020-06-15 2020-09-08 大连誉洋工业智能有限公司 一种基于机器人的铸件圆形结构打磨路径规划方法
CN111735390A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种用于线激光传感器的标定块及手眼标定方法
CN111815711A (zh) * 2020-06-01 2020-10-23 佛山隆深机器人有限公司 一种基于机器人的单相机多视野标定方法
CN111948210A (zh) * 2019-05-17 2020-11-17 上海贝特威自动化科技有限公司 一种机械视觉缺陷检测方法及其系统
CN112161574A (zh) * 2020-10-12 2021-01-01 昆明理工大学 一种基于发散型多线激光投影的三维测量系统及测量方法
CN112013792B (zh) * 2020-10-19 2021-02-02 南京知谱光电科技有限公司 一种复杂大构件机器人面扫描三维重建方法
CN112308890A (zh) * 2020-10-29 2021-02-02 西北工业大学 一种标准球辅助的工业ct测量坐标系可靠配准方法
CN112629499A (zh) * 2020-12-03 2021-04-09 合肥富煌君达高科信息技术有限公司 基于线扫描仪的手眼标定重复定位精度测量方法及装置
CN112700480A (zh) * 2020-12-29 2021-04-23 河北工业大学 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用
CN112790786A (zh) * 2020-12-30 2021-05-14 无锡祥生医疗科技股份有限公司 点云数据配准方法、装置、超声设备及存储介质
CN112902844A (zh) * 2021-02-24 2021-06-04 三门核电有限公司 一种基于激光跟踪的设备圆形端口建模方法
CN112894209A (zh) * 2021-01-19 2021-06-04 常州英迈乐智能系统有限公司 一种基于十字激光的管板智能焊接机器人自动平面校正方法
CN113074661A (zh) * 2021-03-26 2021-07-06 华中科技大学 基于极线采样的投影仪对应点高精度匹配方法及其应用
CN113218337A (zh) * 2021-04-29 2021-08-06 苏州天准软件有限公司 条纹图像能量提取方法、存储介质和能量提取系统
CN113269674A (zh) * 2021-05-12 2021-08-17 深圳群宾精密工业有限公司 一种利用机器人坐标对固定3d图像空间自动拼接的方法
CN113996918A (zh) * 2021-11-12 2022-02-01 中国航空制造技术研究院 一种双光束激光焊接t型接头拼缝检测装置和方法
CN114022650A (zh) * 2022-01-07 2022-02-08 成都考拉悠然科技有限公司 一种基于点云拟合光平面调平的方法及设备
CN114264261A (zh) * 2021-12-24 2022-04-01 哈尔滨工业大学芜湖机器人产业技术研究院 一种玻璃柔性电子检具及其检测方法
CN114440792A (zh) * 2022-01-11 2022-05-06 重庆固高科技长江研究院有限公司 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法
CN117299583A (zh) * 2023-11-25 2023-12-29 东莞市欧宇精密科技有限公司 一种光学筛选机的控制方法
CN117409080A (zh) * 2023-11-10 2024-01-16 广州市斯睿特智能科技有限公司 一种用于线扫3d相机的手眼标定方法
CN117576227A (zh) * 2024-01-16 2024-02-20 中铁科工集团有限公司 一种手眼标定方法、设备及存储介质
CN117299583B (zh) * 2023-11-25 2024-05-03 东莞市欧宇精密科技有限公司 一种光学筛选机的控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104713885A (zh) * 2015-03-04 2015-06-17 中国人民解放军国防科学技术大学 一种用于pcb板在线检测的结构光辅助双目测量方法
CN105091782A (zh) * 2015-05-29 2015-11-25 南京邮电大学 一种基于双目视觉的多线激光器光平面标定方法
CN107121062A (zh) * 2016-12-07 2017-09-01 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN108088390A (zh) * 2017-12-13 2018-05-29 浙江工业大学 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法
CN110245599A (zh) * 2019-06-10 2019-09-17 深圳市超准视觉科技有限公司 一种智能三维焊缝自主寻迹方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104713885A (zh) * 2015-03-04 2015-06-17 中国人民解放军国防科学技术大学 一种用于pcb板在线检测的结构光辅助双目测量方法
CN105091782A (zh) * 2015-05-29 2015-11-25 南京邮电大学 一种基于双目视觉的多线激光器光平面标定方法
CN107121062A (zh) * 2016-12-07 2017-09-01 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN108088390A (zh) * 2017-12-13 2018-05-29 浙江工业大学 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法
CN110245599A (zh) * 2019-06-10 2019-09-17 深圳市超准视觉科技有限公司 一种智能三维焊缝自主寻迹方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
兰浩等: "一种基于线扫描相机的手眼标定技术", 《计量与测试技术》 *
邓汛: "基于线结构光视觉的六轴机器人焊缝跟踪研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111948210A (zh) * 2019-05-17 2020-11-17 上海贝特威自动化科技有限公司 一种机械视觉缺陷检测方法及其系统
CN111815711A (zh) * 2020-06-01 2020-10-23 佛山隆深机器人有限公司 一种基于机器人的单相机多视野标定方法
CN111815711B (zh) * 2020-06-01 2023-08-18 佛山隆深机器人有限公司 一种基于机器人的单相机多视野标定方法
CN111638680A (zh) * 2020-06-15 2020-09-08 大连誉洋工业智能有限公司 一种基于机器人的铸件圆形结构打磨路径规划方法
CN111735390A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种用于线激光传感器的标定块及手眼标定方法
CN111735390B (zh) * 2020-08-28 2020-12-11 中国计量大学 一种用于线激光传感器的标定块及手眼标定方法
CN112161574A (zh) * 2020-10-12 2021-01-01 昆明理工大学 一种基于发散型多线激光投影的三维测量系统及测量方法
CN112013792B (zh) * 2020-10-19 2021-02-02 南京知谱光电科技有限公司 一种复杂大构件机器人面扫描三维重建方法
CN112308890A (zh) * 2020-10-29 2021-02-02 西北工业大学 一种标准球辅助的工业ct测量坐标系可靠配准方法
CN112308890B (zh) * 2020-10-29 2023-04-21 西北工业大学 一种标准球辅助的工业ct测量坐标系可靠配准方法
CN112629499B (zh) * 2020-12-03 2023-01-17 合肥中科君达视界技术股份有限公司 基于线扫描仪的手眼标定重复定位精度测量方法及装置
CN112629499A (zh) * 2020-12-03 2021-04-09 合肥富煌君达高科信息技术有限公司 基于线扫描仪的手眼标定重复定位精度测量方法及装置
CN112700480B (zh) * 2020-12-29 2022-07-12 河北工业大学 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用
CN112700480A (zh) * 2020-12-29 2021-04-23 河北工业大学 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用
CN112790786A (zh) * 2020-12-30 2021-05-14 无锡祥生医疗科技股份有限公司 点云数据配准方法、装置、超声设备及存储介质
CN112894209A (zh) * 2021-01-19 2021-06-04 常州英迈乐智能系统有限公司 一种基于十字激光的管板智能焊接机器人自动平面校正方法
CN112902844A (zh) * 2021-02-24 2021-06-04 三门核电有限公司 一种基于激光跟踪的设备圆形端口建模方法
CN113074661A (zh) * 2021-03-26 2021-07-06 华中科技大学 基于极线采样的投影仪对应点高精度匹配方法及其应用
CN113074661B (zh) * 2021-03-26 2022-02-18 华中科技大学 基于极线采样的投影仪对应点高精度匹配方法及其应用
CN113218337A (zh) * 2021-04-29 2021-08-06 苏州天准软件有限公司 条纹图像能量提取方法、存储介质和能量提取系统
CN113218337B (zh) * 2021-04-29 2022-08-19 苏州天准软件有限公司 条纹图像能量提取方法、存储介质和能量提取系统
CN113269674A (zh) * 2021-05-12 2021-08-17 深圳群宾精密工业有限公司 一种利用机器人坐标对固定3d图像空间自动拼接的方法
CN113996918A (zh) * 2021-11-12 2022-02-01 中国航空制造技术研究院 一种双光束激光焊接t型接头拼缝检测装置和方法
CN114264261A (zh) * 2021-12-24 2022-04-01 哈尔滨工业大学芜湖机器人产业技术研究院 一种玻璃柔性电子检具及其检测方法
CN114022650B (zh) * 2022-01-07 2022-04-12 成都考拉悠然科技有限公司 一种基于点云拟合光平面调平的方法及设备
CN114022650A (zh) * 2022-01-07 2022-02-08 成都考拉悠然科技有限公司 一种基于点云拟合光平面调平的方法及设备
CN114440792A (zh) * 2022-01-11 2022-05-06 重庆固高科技长江研究院有限公司 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法
CN117409080A (zh) * 2023-11-10 2024-01-16 广州市斯睿特智能科技有限公司 一种用于线扫3d相机的手眼标定方法
CN117299583A (zh) * 2023-11-25 2023-12-29 东莞市欧宇精密科技有限公司 一种光学筛选机的控制方法
CN117299583B (zh) * 2023-11-25 2024-05-03 东莞市欧宇精密科技有限公司 一种光学筛选机的控制方法
CN117576227A (zh) * 2024-01-16 2024-02-20 中铁科工集团有限公司 一种手眼标定方法、设备及存储介质
CN117576227B (zh) * 2024-01-16 2024-04-19 中铁科工集团有限公司 一种手眼标定方法、设备及存储介质

Also Published As

Publication number Publication date
CN111156925B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN111156925B (zh) 基于线结构光和工业机器人的大构件三维测量方法
CN107883870B (zh) 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法
CN109000582B (zh) 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN105910535B (zh) 一种用于舱段自动对接的单双目位姿偏差测量方法
CN109859275B (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN109323650B (zh) 测量系统中视觉图像传感器与光点测距传感器测量坐标系的统一方法
CN108594245A (zh) 一种目标物运动监测系统及方法
CN112833786B (zh) 一种舱段位姿测量及对准系统、控制方法及应用
CN108444383A (zh) 基于视觉激光组合式的加工过程一体化测量方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN109794963B (zh) 一种面向曲面构件的机器人快速定位方法
Yu et al. Three-dimensional shape measurement technique for large-scale objects based on line structured light combined with industrial robot
CN112325796A (zh) 基于辅助定位多视角点云拼接的大型工件型面测量方法
CN114998499A (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN110849331B (zh) 基于三维点云数据库模型的单目视觉测量与地面试验方法
CN113191388B (zh) 用于目标检测模型训练的图像采集系统及样本生成方法
Isa et al. Volumetric error modelling of a stereo vision system for error correction in photogrammetric three-dimensional coordinate metrology
CN112288823A (zh) 一种标准圆柱体曲面点测量设备的标定方法
CN115546289A (zh) 一种基于机器人的复杂结构件三维形貌测量方法
CN115638726A (zh) 一种固定扫摆式多相机视觉测量方法
CN116051659A (zh) 一种线阵相机与2d激光扫描仪联合标定方法
CN113681559B (zh) 一种基于标准圆柱的线激光扫描机器人手眼标定方法
CN109785392B (zh) 一种用于桌面级虚拟现实系统的标定装置及方法
CN114459345A (zh) 基于视觉空间定位的飞机机身位置姿态检测系统及方法
CN109514554A (zh) 利用机器人末端视觉系统的工具坐标系快速标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant