CN111644935A - 一种机器人三维扫描测量装置及工作方法 - Google Patents

一种机器人三维扫描测量装置及工作方法 Download PDF

Info

Publication number
CN111644935A
CN111644935A CN202010414281.0A CN202010414281A CN111644935A CN 111644935 A CN111644935 A CN 111644935A CN 202010414281 A CN202010414281 A CN 202010414281A CN 111644935 A CN111644935 A CN 111644935A
Authority
CN
China
Prior art keywords
robot
camera
calibration
coordinate system
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010414281.0A
Other languages
English (en)
Inventor
顾耸智
许景波
赵建超
薛永贵
顾耸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Lanmec Electromechanical Equipment Co ltd
Original Assignee
Jiangsu Lanmec Electromechanical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Lanmec Electromechanical Equipment Co ltd filed Critical Jiangsu Lanmec Electromechanical Equipment Co ltd
Priority to CN202010414281.0A priority Critical patent/CN111644935A/zh
Publication of CN111644935A publication Critical patent/CN111644935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B19/00Single-purpose machines or devices for particular grinding operations not covered by any other main group
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B41/00Component parts such as frames, beds, carriages, headstocks
    • B24B41/04Headstocks; Working-spindles; Features relating thereto
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/12Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出一种机器人三维扫描测量装置及工作方法,机器人三维扫描测量装置包括前端测量装置和图像处理终端,前端测量装置安装在标定台上方的机器人的末端机械臂上,末端机械臂底部安装末端工具,标定台上设有标定板,图像处理终端与前端测量装置、机器人的控制器通信连接,机器人的控制器连接示教器。工作方法包括:通过标定方法得到图像坐标系与机器人坐标系的转换关系,通过测量方法获取被测工件的的三维模型。本发明所述的机器人三维扫描测量装置具有实现了工件的在线测量,并将测量数据反馈给控制器用于机器人的路径规划和运动补偿计算,提高了机器人的加工精度和工作效率的优点。

Description

一种机器人三维扫描测量装置及工作方法
技术领域
本发明涉及抛光打磨机械加工领域,特别涉及一种机器人三维扫描测量装置及工作方法。
背景技术
在传统制造行业,打磨抛光是最基础的一道工序,但是其成本却占到总成本的30%,而且高粉尘、高劳动强度的工作环境使得招工也越来越难。抛光打磨机器人不仅可以24h连续工作,而且产品打磨质量及一致性更好。因此,应用企业对抛光打磨“机器换人”的需求与日俱增。
抛光打磨机器人可替代传统人工进行工件的打磨抛光工作,主要用于对各类材质工件的表面抛光、机加工后棱角和内腔内孔等方面的去毛刺、铸造合模线和焊缝等的打磨工作,可在卫浴厨具、五金工具、家电家具、医疗器械、工业零部件等行业应用。
抛光打磨机器人一般都采用基于离线编程的机器人轨迹规划,通过导入工件的3D模型,选择相应的打磨曲面(曲线),并基于机器人及磨具的内建模型,将磨具的打磨轨迹转化为机器人的运动轨迹,然后在仿真软件中模拟机器人的打磨轨迹,避免磨具、机器人本体与工件等设备的相互干涉,同时修正和优化打磨轨迹及姿态。
采用离线编程生成的轨迹,对打磨机器人的轨迹精度,特别是机器人相对于工件的定位精度有很高的要求,这就需要解决如何测量并且补偿机器人与工件之间的定位误差问题,而且由于打磨工件一致性差,需要在线对每个工件进行补偿。
发明内容
本发明的目的是提供一种机器人三维扫描测量装置,解决上述的现有的如何在抛光打磨的过程中在线测量的技术问题。
本发明提出一种机器人三维扫描测量装置,机器人三维扫描测量装置中包括前端测量装置和图像处理终端,前端测量装置安装在标定台上方的机器人的末端机械臂上,末端机械臂的底部安装有末端工具,标定台上设有标定板,前端测量装置与图像处理终端通信连接,图像处理终端与机器人的控制器通信连接,机器人的控制器连接示教器。
在某些实施方案中,所述标定板采用的是棋盘格标定板。
在某些实施方案中,所述前端测量装置中包括光学组件、相机以及激光器。
在某些实施方案中,所述相机与激光器之间的位置关系依据于直射式激光三角法,满足Scheimpflug条件。
一种机器人三维扫描测量装置的工作方法,包括测量方法:
图像处理终端获取相机拍摄的目标图像;
在图像处理终端中对目标图像进行图像处理,获取机器人坐标系坐标,图像处理包括图像滤波、阈值分割、形态学粒子滤波、亚像素提取、坐标转换;
图像处理终端获取激光器扫描到的被测工件表面的点云数据,并对点云数据进行预处理;
在图像处理终端中对预处理后的点云数据进行拼接;
对拼接后的点云数据进行曲面拟合,在机器人坐标系中形成被测工件的三维模型。
在某些实施方案中,所述点云数据的预处理方法如下:
去除明显噪点,即粗大误差引起的噪声点;
去除随机噪点;
进行光顺处理;
最后进行点云数据稀疏化处理即可。
一种机器人三维扫描测量装置的工作方法,包括标定方法:
图像处理终端获取相机拍摄的图像;
进行相机参数标定;
进行结构光平面标定;
进行机器人手眼标定;
得到图像坐标系与机器人坐标系的转换关系。
在某些实施方案中,所述相机参数的标定方法为:相机通过不同姿态拍摄的标定板图片,实现相机参数标定,获取相机坐标,其中所述相机参数包括内参数和外参数,内参数指的是相机的焦距和像素;外参数指的是相机坐标和旋转方向。
在某些实施方案中,所述结构光平面的标定方法为:激光器投射光线在标定板上,获得激光线与标定板的交线和交点坐标,进行结构光平面标定。
在某些实施方案中,所述机器人手眼标定方法为:控制机器人末端机械臂进行特定的运动方式,结合示教器显示的数据,求解机器人运动学方程和SVD方程奇异解,进行标定;其中特定的运动方式包括两种方式,
其中一种方式为:控制机器人的末端机械臂姿态不变,控制机器人平移运动;
另一种方式为:末端工具在机器人坐标系中的坐标不变,控制机器人的末端机械臂进行不同姿态的改变。
本发明所述的一种机器人三维扫描测量装置的优点为:
1)实现了工件的在线测量,将测量数据反馈给控制器;
2)测量方法中对点云数据进行预处理,能够有效的提高点云数据的精度,提高工件在线测量的可靠性;
3)相机标定和结构光平面标定,形成一体化标定方法,先进行相机标定,再进行结构结构光平面标定,简化了标定过程,提高了标定效率;
4)机器人手眼标定,在标定过程中用两种特定的运动方式,由于安装过程的前导尺寸,本标定方法采用末端机械臂平移,姿态不变,使激光线对准测量点,由末端工具的平移获得平移向量,补偿到机器人坐标到末端工具坐标的转换矩阵中,消除了前导尺寸的影响。
附图说明
图1为本发明的一种实施方式中机器人与标定台之间的结构关系示图;
图2为本发明的一种实施方式中前端测量装置与被测工件之间的结构关系示图;
图3为本发明的一种实施方式中机器人三维扫描测量装置的信息传递框图;
图4为本发明的一种实施方式中测量方法和标定方法的流程图;
图5为本发明的一种实施方式中点云数据的预处理方法的流程图;
图6为本发明的一种实施方式中个坐标系之间的转换原理图。
具体实施方式
本实施方式中提出一种机器人三维扫描测量装置,如图1至图3所示,机器人三维扫描测量装置中包括前端测量装置3和图像处理终端2,前端测量装置3安装在标定台4上方的机器人的末端机械臂101上,且位于机器人工作方向的前端(即在机器人工作方向上前端测量装置3位于末端机械臂101的前方),末端机械臂101的底部安装有末端工具1011,标定台4上设有标定板5,图像处理终端2与机器人的控制器102通信连接,机器人的控制器102连接示教器,前端测量装置中包括光学组件301、相机302以及激光器303,其中图像处理终端2采用的是具有图像处理功能的计算机,标定板5采用的是棋盘格标定板,光学组件301包括滤光片和透镜,设置在相机302前端,用于去除杂散光和成像,相机302采用CCD相机,激光器303采用的是线激光器,相机302和激光器303通过以太网与图像处理终端2通信连接,相机302与激光器303之间的位置关系依据于直射式激光三角法原理,满足Scheimpflug条件。
本实施方式中末端工具1011为焊枪。
在示教器未进行示教配置的情况下,机器人坐标系与世界坐标系重合,为{W}(O-XWYWZW),其中机器人坐标系是用来对机器人进行正、逆向运动学建模的坐标系,末端工具点1011可以在该坐标系下面沿着X轴、Y轴以及Z轴移动;
相机坐标系为{C}(Oc-XcYcZc),相机坐标系的原点定义在相机302的光学中心,Z轴方向与主光轴一致,且以远离相机302的CMOS感光平面方向为正方向,相机坐标系的X轴和Y轴方向分别与图像坐标系的横轴和纵轴的方向相同;
图像坐标系为{G}(O-XgYgZg),也叫做成像平面物理坐标系,其原点为相机302的主光轴与成像平面的焦点,横轴和纵轴是M*N的二维数组,单位是像素;
像素坐标系为{X}(Oo-uv),相机拍摄的图片与人眼看到的图片储存方式是不同的,在上位机眼里所有图片只不过是不同类型的数值矩阵,其中本专利主要研究的灰度图像,以二维矩阵的形式储存于上位机中,u,v的单位为像素(pixel)表示当前识别点所在的行列索引值,并不是物理长度;
末端工具坐标系为{E}(Oe-XeYeZe)。
实施例1
如图4所示,该机器人三维扫描测量装置包括测量和标定功能,在图像处理终端2选择测量功能时,机器人三维扫描测量装置按照测量方法进入测量状态,具体的测量方法包括以下步骤:
步骤1、目标图像采集,相机302拍摄采集含有激光线的目标图像,并通过以太网将目标图像传送给图像处理终端2;
步骤2、图像处理,在图像处理终端2中对目标图像进行图像处理,获取机器人坐标系坐标,图像处理包括:
步骤2.1、图像滤波,对目标图像进行滤波处理;
步骤2.2、图像阈值分割,根据目标图像中的背景和激光线利用最大类间方差法(OSTU)动态设置阈值,然后根据阈值对经过滤波处理的目标图像进行分割,进一步保留和提取激光线图像,形成只有黑色和白色两部分的分割图像;
步骤2.3、图像形态学滤波,对分割图像进行形态学粒子滤波,分割图像中零散的孤立的杂散点,获得清晰的光纤图像;
步骤2.4、亚像素提取,采用加权灰度重心法提取光条纹亚像素中心的像素坐标,将像素坐标转换为图像坐标系坐标;
步骤2.5、根据通过标定方法获取的图像坐标系坐标与机器人坐标系坐标的转换关系由图像坐标系坐标转换成机器人坐标系坐标;
步骤3、在步骤1进行的同时,激光器303随着机器人的运动,激光器303扫描被测工件6,获得被测工件6表面的点云数据,并将点云数据通过以太网将目标图像传送给图像处理终端2;
步骤4、扫描完成判断,被测工件6扫描完成进入步骤5,被测工件6未扫描完成则改变机器人位置和姿态,进入步骤1和步骤3;
步骤5、点云预处理,对点云数据进行预处理,其中,如图5所示,点云数据的预处理方法如下:
步骤5.1、去除明显噪点,根据3σ粗大误差判断准则,判别粗大误差引起的噪声点,然后剔除粗大误差引起的噪声点;
步骤5.2、滤波处理,利用数值平均滤波算法去除随机噪点,其中此处应用的数值平均滤波算法具体指的是移动平均滤波法;
步骤5.3、平滑处理,对滤波处理后的点云数据进行光顺处理,保证点云数据的精度;
步骤5.4、稀疏化,对平滑处理过的点云数据进行点云数据稀疏化处理即可;
步骤6、点云拼接,在图像处理终端2中对预处理后的点云数据通过最近点迭代算法(ICP)实现不同姿态下点云拼接,提高计算收敛速度和拼接精度,拼接的过程如下:
步骤6.1、在预处理后的点云数据中确定待拼接的两个数据集,待拼接的两个数据集指的是相邻的两个通过激光器303获取的扫描面;
步骤6.2、寻找对应点,计算两个数据集的旋转矩阵和平移矩阵,寻找对应点可以按照两个数据集的边界数据进行寻找;
步骤6.3、判断经过旋转和平移变换后两个数据集是否收敛,两个数据集进行相对平移和旋转变换,每平移或旋转一次计算一次对应点的均方差,每次计算的均方差之间不断比较,获取最小值,即最小均方差,均方差最小时则判定两个数据集收敛,输出对应的旋转矩阵和平移矩阵,确定两个数据集之间的空间关系,并对点云数据进行拼接,然后进入步骤7;反之则判定为不收敛则重新进入步骤6.2,确认新的对应点;
步骤7、三维重构,通过对拼接后的点云数据进行NURBS(非均匀有理B样条)曲面拟合,在机器人坐标系中形成被测工件6的三维模型。
机器人有旋转轴,所以实际物体在空间中的描述,还应该包括他的姿态,即物体的方向姿态。图1所示,在空间中有世界坐标系{W}和另一坐标系{P},
Figure BDA0002494368630000061
表示{P}坐标系各主轴方向相对于坐标系{W}的值,则{P}中一点在{W}的姿态关系可:
Figure BDA0002494368630000071
其中,r11~r33为单位正交旋转矩阵,所以
Figure BDA0002494368630000072
的转置矩阵和逆矩阵都为自身。
如图6所示,机器人三维扫描测量装置中各个坐标系之间的转换关系如下:
T4=T1T2T3 (2)
其中,T1为机器人坐标系到末端工具坐标系的变换矩阵,T1中包括机器人坐标系到末端工具坐标系的旋转矩阵为R1i,和机器人坐标系到末端工具坐标系的平移向量为T1i
T2为末端工具坐标系到相机坐标系的变换矩阵;
T3为相机坐标系到图像坐标系的变换矩阵;
T4为机器人坐标系与图像坐标系之间的转换矩阵。
特征点M的机器人坐标为Mi w,由于特征点M相对于机器人坐标系的值是固定不变的,可得出公式(3):
M1 w M2 w ...Mi w (3);
在图像处理终端2选择标定功能时,机器人三维扫描测量装置根据标定方法进行标定获取图像坐标系坐标与机器人坐标系坐标的转换关系,标定方法具体包括如下步骤:
步骤a、标定板图像采集,相机302从不同角度和距离拍摄采集含有标定板5的标定板图像,并通过以太网将标定板图像传送给图像处理终端2;
步骤b、确认多幅图像采集是否完成,设定图像采集的基础阈值,比如将基础阈值设定为20,在采集的图像数量等于基础阈值时则确认为采集完成,进入步骤c;采集的图像数量小于基础阈值时则判定为未采集完成,然后通过改变机器人位置和姿态后重新进行步骤a的操作;
步骤c、相机参数标定,在图像处理终端2中采用张正友相机标定法,通过Matalab工具箱实现相机参数标定,获取相机坐标,相机参数中包括相机302的内参数和外参数,内参数指的是相机302的焦距和像素,外参数指的是相机302的相机坐标和旋转方向,特征点M在机器人第i个姿态下的相机坐标为Mi c,可得公式(4):
Mi w T1T2Mi c (4);
步骤d、结构光平面标定,利用激光器303在相机302坐标系中位置固定这一特性,根据变比不变性原理,激光器303投射光线在标定板5上,通过从多个标定板图像中获得多个不同的激光线与标定板5的交线和交点坐标,通过最小二乘法求解确定结构光平面方程,结构光平面方程即为结构光平面标定;
步骤e、机器人手眼标定,控制机器人末端机械臂101进行特定的运动方式,结合示教器显示的数据,求解机器人运动学方程和SVD方程奇异解,进行标定,获取T2,T2中包括末端工具坐标系到相机坐标系的旋转矩阵Rce,末端工具坐标系到相机坐标系的平移向量Tce
根据公式(4)得到公式(5):
Figure BDA0002494368630000081
将公式(5)展开可以得到公式(6):
Mi w=R1iRceMi c+R1iTce+T1i (6);
其中SVD方程奇异解指的是通过对矩阵进行奇异值分解;
Rce和Tce通过下述的两种特定的运动方式获取,
其中一种方式为:控制机器人的末端机械臂101姿态不变,控制机器人平移运动,则所有R1i的值相同,设为R0,可得公式(7):
Figure BDA0002494368630000082
由于R0时正交单位矩阵,即有
Figure BDA0002494368630000083
Figure BDA0002494368630000084
公式(7)可以写成RceA=b的矩阵形式,按照奇异值分解(SVD)可得公式(9):
Rce=VUT (9)
其中V和U分别为矩阵AbT的左右奇异矩阵:
Figure BDA0002494368630000091
Figure BDA0002494368630000092
另一种方式为:获取Tce,由公式(5)可以得到公式(10):
Figure BDA0002494368630000093
控制末端工具1011在机器人坐标系中的坐标不变,控制机器人的末端机械臂101进行不同姿态的改变,进行多次检测,可得ATce=b的方程;在基于最小二乘法可以求出Tce为公式(11):
Tce=(ATA)-1ATb (11)
公式(11)中,
A=[R12-R11,R13-R11,...R1n-R11],
Figure BDA0002494368630000094
步骤f、得到图像坐标系坐标与机器人坐标系坐标的转换关系,转换关系如下:Mi w=R1iRceMi c+R1iTce+T1i,其中Rce=VUT,Tce=(ATA)-1ATb。
实施例1叙述的机器人三维扫描测量装置实现了工件的在线测量,将测量数据反馈给控制器,便于控制器根据测量数据进行机器人的路径规划和运动补偿计算,提高了机器人的加工精度和工作效率。
实施例2
该机器人三维扫描测量装置包括测量功能,机器人三维扫描测量装置按照测量方法进入测量状态,具体的测量方法包括以下步骤:
步骤1、目标图像采集,相机302拍摄采集含有激光线的目标图像,并通过以太网将目标图像传送给图像处理终端2;
步骤2、图像处理,在图像处理终端2中对目标图像进行图像处理,获取机器人坐标系坐标,图像处理包括:
步骤2.1、图像滤波,对目标图像进行滤波处理;
步骤2.2、图像阈值分割,根据目标图像中的背景和激光线利用最大类间方差法(OSTU)动态设置阈值,然后根据阈值对经过滤波处理的目标图像进行分割,进一步保留和提取激光线图像,形成只有黑色和白色两部分的分割图像;
步骤2.3、图像形态学滤波,对分割图像进行形态学粒子滤波,分割图像中零散的孤立的杂散点,获得清晰的光纤图像;
步骤2.4、亚像素提取,采用加权灰度重心法提取光条纹亚像素中心的像素坐标,将像素坐标转换为图像坐标系坐标;
步骤2.5、由图像坐标系坐标转换成机器人坐标系坐标,该转换关系式可以通过现有标定方法A获取;
步骤3、在步骤1进行的同时,激光器303随着机器人的运动,激光器303扫描被测工件6,获得被测工件6表面的点云数据,并将点云数据通过以太网将目标图像传送给图像处理终端2;
步骤4、扫描完成判断,被测工件6扫描完成进入步骤5,被测工件6未扫描完成则改变机器人位置和姿态,进入步骤1和步骤3;
步骤5、点云预处理,对点云数据进行预处理,其中,如图5所示,点云数据的预处理方法如下:
步骤5.1、去除明显噪点,根据3σ粗大误差判断准则,判别粗大误差引起的噪声点,然后剔除粗大误差引起的噪声点;
步骤5.2、滤波处理,利用数值平均滤波算法去除随机噪点,其中此处应用的数值平均滤波算法具体指的是移动平均滤波法;
步骤5.3、平滑处理,对滤波处理后的点云数据进行光顺处理,保证点云数据的精度;
步骤5.4、稀疏化,对平滑处理过的点云数据进行点云数据稀疏化处理即可;
步骤6、点云拼接,在图像处理终端2中对预处理后的点云数据通过最近点迭代算法(ICP)实现不同姿态下点云拼接,提高计算收敛速度和拼接精度,拼接的过程如下:
步骤6.1、在预处理后的点云数据中确定待拼接的两个数据集,待拼接的两个数据集指的是相邻的两个通过激光器303获取的扫描面;
步骤6.2、寻找对应点,计算两个数据集的旋转矩阵和平移矩阵,寻找对应点可以按照两个数据集的边界数据进行寻找;
步骤6.3、判断经过旋转和平移变换后两个数据集是否收敛,两个数据集进行相对平移和旋转变换,每平移或旋转一次计算一次对应点的均方差,每次计算的均方差之间不断比较,获取最小值,即最小均方差,均方差最小时则判定两个数据集收敛,输出对应的旋转矩阵和平移矩阵,确定两个数据集之间的空间关系,并对点云数据进行拼接,然后进入步骤7;反之则判定为不收敛则重新进入步骤6.2,确认新的对应点;
步骤7、三维重构,通过对拼接后的点云数据进行NURBS(非均匀有理B样条)曲面拟合,在机器人坐标系中形成被测工件6的三维模型。
实施例3
该机器人三维扫描测量装置包括测量功能和标定功能,机器人三维扫描测量装置按照标定方法进入标定状态,
机器人有旋转轴,所以实际物体在空间中的描述,还应该包括他的姿态,即物体的方向姿态。图1所示,在空间中有世界坐标系{W}和另一坐标系{P},
Figure BDA0002494368630000111
表示{P}坐标系各主轴方向相对于坐标系{W}的值,则{P}中一点在{W}的姿态关系可:
Figure BDA0002494368630000112
其中,r11~r33为单位正交旋转矩阵,所以
Figure BDA0002494368630000113
的转置矩阵和逆矩阵都为自身。
如图6所示,机器人三维扫描测量装置中各个坐标系之间的转换关系如下:
T4=T1T2T3 (2)
其中,T1为机器人坐标系到末端工具坐标系的变换矩阵,T1中包括机器人坐标系到末端工具坐标系的旋转矩阵为R1i,和机器人坐标系到末端工具坐标系的平移向量为T1i
T2为末端工具坐标系到相机坐标系的变换矩阵;
T3为相机坐标系到图像坐标系的变换矩阵;
T4为机器人坐标系与图像坐标系之间的转换矩阵。
特征点M的机器人坐标为Mi w,由于特征点M相对于机器人坐标系的值是固定不变的,可得出公式(3):
M1 w M2 w ...Mi w (3);
标定方法具体包括如下步骤:
步骤a、标定板图像采集,相机302从不同角度和距离拍摄采集含有标定板5的标定板图像,并通过以太网将标定板图像传送给图像处理终端2;
步骤b、确认多幅图像采集是否完成,设定图像采集的基础阈值,比如将基础阈值设定为20,在采集的图像数量等于基础阈值时则确认为采集完成,进入步骤c;采集的图像数量小于基础阈值时则判定为未采集完成,然后通过改变机器人位置和姿态后重新进行步骤a的操作;
步骤c、相机参数标定,在图像处理终端2中采用张正友相机标定法,通过Matalab工具箱实现相机参数标定,获取相机坐标,相机参数中包括相机302的内参数和外参数,内参数指的是相机302的焦距和像素,外参数指的是相机302的相机坐标和旋转方向,特征点M在机器人第i个姿态下的相机坐标为Mi c,可得公式(4):
Mi w T1T2Mi c (4);
步骤d、结构光平面标定,利用激光器303在相机302坐标系中位置固定这一特性,根据变比不变性原理,激光器303投射光线在标定板5上,通过从多个标定板图像中获得多个不同的激光线与标定板5的交线和交点坐标,通过最小二乘法求解确定结构光平面方程,结构光平面方程即为结构光平面标定;
步骤e、机器人手眼标定,控制机器人末端机械臂101进行特定的运动方式,结合示教器显示的数据,求解机器人运动学方程和SVD方程奇异解,进行标定,获取T2,T2中包括末端工具坐标系到相机坐标系的旋转矩阵Rce,末端工具坐标系到相机坐标系的平移向量Tce
根据公式(4)得到公式(5):
Figure BDA0002494368630000121
将公式(5)展开可以得到公式(6):
Mi w=R1iRceMi c+R1iTce+T1i (6);
其中SVD方程奇异解指的是通过对矩阵进行奇异值分解;
Rce和Tce通过下述的两种特定的运动方式获取,
其中一种方式为:控制机器人的末端机械臂101姿态不变,控制机器人平移运动,则所有R1i的值相同,设为R0,可得公式(7):
Figure BDA0002494368630000131
由于R0时正交单位矩阵,即有
Figure BDA0002494368630000132
Figure BDA0002494368630000133
公式(7)可以写成RceA=b的矩阵形式,按照奇异值分解(SVD)可得公式(9):
Rce=VUT (9)
其中V和U分别为矩阵AbT的左右奇异矩阵:
Figure BDA0002494368630000134
Figure BDA0002494368630000135
另一种方式为:获取Tce,由公式(5)可以得到公式(10):
Figure BDA0002494368630000136
控制末端工具1011在机器人坐标系中的坐标不变,控制机器人的末端机械臂101进行不同姿态的改变,进行多次检测,可得ATce=b的方程;在基于最小二乘法可以求出Tce为公式(11):
Tce=(ATA)-1ATb (11)
公式(11)中,
A=[R12-R11,R13-R11,...R1n-R11],
Figure BDA0002494368630000141
步骤f、得到图像坐标系坐标与机器人坐标系坐标的转换关系,转换关系如下:Mi w=R1iRceMi c+R1iTce+T1i,其中Rce=VUT,Tce=(ATA)-1ATb。
最后利用现有的测量方法A运用本实施例中叙述的标定方法获取的转换关系式,将图像坐标系坐标与机器人坐标系坐标,进行三维重构,形成被测工件6的三维模型
末端工具1011也可以替换为除焊枪以外的其它工作部件,比如激光切割器、喷漆枪、抛光打磨头等。
一种机器人三维扫描测量装置的工作方法包括测量方法和/或标定方法,在某一些实施方案中上述工作方法为测量方法,在另一些实施方案中工作方法为测量方法,和与之匹配的标定方法可采用现有技术中的标定方法A,和/或前文所述的标定方法。
一种机器人三维扫描测量装置的工作方法包括测量方法和/或标定方法,在某一些实施方案中上述工作方法为标定方法,在另一些实施方案中工作方法为标定方法,和与之匹配的测量方法可采用现有技术中的测量方法A,和/或前文所述的测量方法。
以上所述仅是本发明的优选方式,应当指出,对于本领域普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干相似的变形和改进,这些也应视为本发明的保护范围之内。

Claims (10)

1.一种机器人三维扫描测量装置,其特征在于,包括前端测量装置(3)和图像处理终端(2),前端测量装置(3)安装在标定台(4)上方的机器人的末端机械臂(101)上,末端机械臂(101)的底部安装有末端工具(1011),标定台(4)上设有标定板(5),前端测量装置(3)与图像处理终端(2)通信连接,图像处理终端(2)与机器人的控制器(102)通信连接,机器人的控制器(102)连接示教器。
2.根据权利要求1所述的一种机器人三维扫描测量装置,其中,所述标定板(5)采用的是棋盘格标定板。
3.根据权利要求1所述的一种机器人三维扫描测量装置,其中,所述前端测量装置(3)中包括光学组件(301)、相机(302)以及激光器(303)。
4.根据权利要求3所述的一种机器人三维扫描测量装置,其中,所述相机(302)与激光器(303)之间的位置关系依据于直射式激光三角法,满足Scheimpflug条件。
5.权利要求1-4中的任一项中所述的一种机器人三维扫描测量装置的工作方法,其特征在于,包括测量方法:
图像处理终端(2)获取相机(302)拍摄的目标图像;
在图像处理终端(2)中对目标图像进行图像处理,获取机器人坐标系坐标,图像处理包括图像滤波、阈值分割、形态学粒子滤波、亚像素提取、坐标转换;
图像处理终端(2)获取激光器(303)扫描到的被测工件(6)表面的点云数据,并对点云数据进行预处理;
在图像处理终端(2)中对预处理后的点云数据进行拼接;
对拼接后的点云数据进行曲面拟合,在机器人坐标系中形成被测工件(6)的三维模型。
6.根据权利要求5所述的测量方法,其中,所述点云数据的预处理方法如下:
去除明显噪点,即粗大误差引起的噪声点;
去除随机噪点;
进行光顺处理;
最后进行点云数据稀疏化处理即可。
7.权利要求1-4中的任一项中所述的一种机器人三维扫描测量装置的工作方法,其特征在于,包括标定方法:
图像处理终端(2)获取相机(302)拍摄的图像;
进行相机参数标定;
进行结构光平面标定;
进行机器人手眼标定;
得到图像坐标系与机器人坐标系的转换关系。
8.根据权利要求7所述标定方法,其中,所述相机参数的标定方法为:相机(302)通过不同姿态拍摄的标定板图片,进行相机参数标定,获取相机坐标,其中所述相机参数包括内参数和外参数,内参数指的是相机(302)的焦距和像素;外参数指的是相机坐标和旋转方向。
9.根据权利要求7所述标定方法,其中,所述结构光平面的标定方法为:激光器(303)投射光线在标定板(5)上,获得激光线与标定板(5)的交线和交点坐标,进行结构光平面标定。
10.根据权利要求7所述标定方法,其中,所述机器人手眼标定方法为:控制机器人末端机械臂进行特定的运动方式,结合示教器显示的数据,求解机器人运动学方程和SVD方程奇异解,进行标定;其中特定的运动方式包括两种方式,
其中一种方式为:控制机器人的末端机械臂(101)姿态不变,控制机器人平移运动;
另一种方式为:末端工具(1011)在机器人坐标系中的坐标不变,控制机器人的末端机械臂(101)进行不同姿态的改变。
CN202010414281.0A 2020-05-15 2020-05-15 一种机器人三维扫描测量装置及工作方法 Pending CN111644935A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010414281.0A CN111644935A (zh) 2020-05-15 2020-05-15 一种机器人三维扫描测量装置及工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010414281.0A CN111644935A (zh) 2020-05-15 2020-05-15 一种机器人三维扫描测量装置及工作方法

Publications (1)

Publication Number Publication Date
CN111644935A true CN111644935A (zh) 2020-09-11

Family

ID=72349230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010414281.0A Pending CN111644935A (zh) 2020-05-15 2020-05-15 一种机器人三维扫描测量装置及工作方法

Country Status (1)

Country Link
CN (1) CN111644935A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112361982A (zh) * 2020-10-29 2021-02-12 山东省科学院激光研究所 一种大幅面工件三维数据提取方法及系统
CN112381888A (zh) * 2020-11-19 2021-02-19 上海方菱计算机软件有限公司 一种h型钢切割路径的动态补偿方法
CN112571159A (zh) * 2020-12-10 2021-03-30 高铭科维科技无锡有限公司 一种基于视觉检测的构件打磨方法及其打磨系统
CN112894814A (zh) * 2021-01-25 2021-06-04 江苏集萃智能制造技术研究所有限公司 一种基于最小二乘法的机械臂dh参数辨识方法
CN113126664A (zh) * 2021-03-26 2021-07-16 苏州振畅智能科技有限公司 一种基于结构光三维标定融合算法的在线折弯控制方法
CN113237896A (zh) * 2021-06-08 2021-08-10 诚丰家具有限公司 一种基于光源扫描的家具板材动态监测系统及方法
CN113269674A (zh) * 2021-05-12 2021-08-17 深圳群宾精密工业有限公司 一种利用机器人坐标对固定3d图像空间自动拼接的方法
CN113276107A (zh) * 2021-04-12 2021-08-20 郑智宏 一种基于三维视觉的在线编程方法
CN113340203A (zh) * 2021-07-07 2021-09-03 哈尔滨理工大学 一种激光扫描焊缝装置及扫描方法
CN114061488A (zh) * 2021-11-15 2022-02-18 华中科技大学鄂州工业技术研究院 一种物体测量方法、系统以及计算机可读存储介质
CN114111635A (zh) * 2021-11-15 2022-03-01 华中科技大学鄂州工业技术研究院 一种物体测量方法、系统以及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121062A (zh) * 2016-12-07 2017-09-01 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN107578464A (zh) * 2017-06-30 2018-01-12 长沙湘计海盾科技有限公司 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN109291048A (zh) * 2018-09-26 2019-02-01 泉州华中科技大学智能制造研究院 一种磨抛工业机器人实时在线编程系统及方法
EP2936120B1 (en) * 2012-12-20 2019-07-31 Andreas Johansson Manual calibration of imaging system
CN110136208A (zh) * 2019-05-20 2019-08-16 北京无远弗届科技有限公司 一种机器人视觉伺服系统的联合自动标定方法及装置
CN110355754A (zh) * 2018-12-15 2019-10-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2936120B1 (en) * 2012-12-20 2019-07-31 Andreas Johansson Manual calibration of imaging system
CN107121062A (zh) * 2016-12-07 2017-09-01 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN107578464A (zh) * 2017-06-30 2018-01-12 长沙湘计海盾科技有限公司 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN109291048A (zh) * 2018-09-26 2019-02-01 泉州华中科技大学智能制造研究院 一种磨抛工业机器人实时在线编程系统及方法
CN110355754A (zh) * 2018-12-15 2019-10-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN110136208A (zh) * 2019-05-20 2019-08-16 北京无远弗届科技有限公司 一种机器人视觉伺服系统的联合自动标定方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112361982B (zh) * 2020-10-29 2022-02-01 山东省科学院激光研究所 一种大幅面工件三维数据提取方法及系统
CN112361982A (zh) * 2020-10-29 2021-02-12 山东省科学院激光研究所 一种大幅面工件三维数据提取方法及系统
CN112381888A (zh) * 2020-11-19 2021-02-19 上海方菱计算机软件有限公司 一种h型钢切割路径的动态补偿方法
CN112571159A (zh) * 2020-12-10 2021-03-30 高铭科维科技无锡有限公司 一种基于视觉检测的构件打磨方法及其打磨系统
CN112571159B (zh) * 2020-12-10 2022-04-26 高铭科维科技无锡有限公司 一种基于视觉检测的构件打磨方法及其打磨系统
CN112894814A (zh) * 2021-01-25 2021-06-04 江苏集萃智能制造技术研究所有限公司 一种基于最小二乘法的机械臂dh参数辨识方法
CN113126664A (zh) * 2021-03-26 2021-07-16 苏州振畅智能科技有限公司 一种基于结构光三维标定融合算法的在线折弯控制方法
CN113126664B (zh) * 2021-03-26 2022-05-03 苏州振畅智能科技有限公司 一种基于结构光三维标定融合算法的在线折弯控制方法
CN113276107A (zh) * 2021-04-12 2021-08-20 郑智宏 一种基于三维视觉的在线编程方法
CN113269674A (zh) * 2021-05-12 2021-08-17 深圳群宾精密工业有限公司 一种利用机器人坐标对固定3d图像空间自动拼接的方法
CN113269674B (zh) * 2021-05-12 2023-03-10 深圳群宾精密工业有限公司 一种利用机器人坐标对固定3d图像空间自动拼接的方法
CN113237896A (zh) * 2021-06-08 2021-08-10 诚丰家具有限公司 一种基于光源扫描的家具板材动态监测系统及方法
CN113237896B (zh) * 2021-06-08 2024-02-20 诚丰家具有限公司 一种基于光源扫描的家具板材动态监测系统及方法
CN113340203A (zh) * 2021-07-07 2021-09-03 哈尔滨理工大学 一种激光扫描焊缝装置及扫描方法
CN113340203B (zh) * 2021-07-07 2022-11-11 哈尔滨理工大学 一种激光扫描焊缝装置及扫描方法
CN114061488A (zh) * 2021-11-15 2022-02-18 华中科技大学鄂州工业技术研究院 一种物体测量方法、系统以及计算机可读存储介质
CN114111635A (zh) * 2021-11-15 2022-03-01 华中科技大学鄂州工业技术研究院 一种物体测量方法、系统以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111644935A (zh) 一种机器人三维扫描测量装置及工作方法
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
EP1424656B1 (en) Apparatus for generating three-dimensional model data for a machine tool
CN106600681A (zh) 一种有障碍物曲面的打磨方法
CN112862878B (zh) 一种基于3d视觉的机械臂修坯方法
US20190193268A1 (en) Robotic arm processing system and method, and non-transitory computer-readable storage medium therefor
CN114055255B (zh) 一种基于实时点云的大型复杂构件表面打磨路径规划方法
CN102374860B (zh) 三维视觉定位方法及系统
Lai et al. Registration and data merging for multiple sets of scan data
CN112833786A (zh) 一种舱段位姿测量及对准系统、控制方法及应用
CN111906788B (zh) 一种基于机器视觉的卫浴智能打磨系统及其打磨方法
Milroy et al. Automated laser scanning based on orthogonal cross sections
CN113751981B (zh) 基于双目视觉伺服的空间高精度装配方法和系统
CN110328674A (zh) 一种激光切割机器人
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN111982012A (zh) 一种构件表面三维测量方法、装置及系统
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN112907682B (zh) 一种五轴运动平台的手眼标定方法、装置及相关设备
Borangiu et al. Robot arms with 3D vision capabilities
Lee et al. Implementation of a robotic arm with 3D vision for shoes glue spraying system
US20020120359A1 (en) System and method for planning a tool path along a contoured surface
Seçil et al. 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot
CN114463495A (zh) 一种基于机器视觉技术的智能喷涂方法及系统
Ziyun et al. Autonomous 3D modeling for robot arm based scanning
KR100514115B1 (ko) 신발의 러핑정보 측정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200911