CN115026834A - 一种基于机器人模板程序纠偏功能的实现方法 - Google Patents

一种基于机器人模板程序纠偏功能的实现方法 Download PDF

Info

Publication number
CN115026834A
CN115026834A CN202210772214.5A CN202210772214A CN115026834A CN 115026834 A CN115026834 A CN 115026834A CN 202210772214 A CN202210772214 A CN 202210772214A CN 115026834 A CN115026834 A CN 115026834A
Authority
CN
China
Prior art keywords
robot
camera
point
spraying
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210772214.5A
Other languages
English (en)
Other versions
CN115026834B (zh
Inventor
赵闯
郑磊
许�鹏
徐强
吕文泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Efort Intelligent Equipment Co ltd
Original Assignee
Efort Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Efort Intelligent Equipment Co ltd filed Critical Efort Intelligent Equipment Co ltd
Priority to CN202210772214.5A priority Critical patent/CN115026834B/zh
Priority claimed from CN202210772214.5A external-priority patent/CN115026834B/zh
Publication of CN115026834A publication Critical patent/CN115026834A/zh
Application granted granted Critical
Publication of CN115026834B publication Critical patent/CN115026834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0075Manipulators for painting or coating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于机器人模板程序纠偏功能的实现方法,具体步骤为:S1、物体识别;S2、模板与偏差计算;S3、机器人轨迹示教编程;S4、TCPIP通讯传输;S5、机器人喷涂;本发明利用3D线激光扫描物体采集喷涂板件数据进行物体识别;通过模板与偏差计算匹配不同的模板号并计算不同板件相对于模板程序的偏移值;通过机器人轨迹编程实现机器人示教程序的编程;采用TCPIP通讯技术,来传输程序的模板号以及程序的偏差值;通过机器人喷涂实现模板程序增加偏移值后的喷涂;利用视觉与机器人的配合,采用调用程序与添加偏差值的方式实现智能喷涂且喷涂物体可随意摆放、操作简单。

Description

一种基于机器人模板程序纠偏功能的实现方法
技术领域
本发明涉及机器人喷涂加工技术领域,具体是一种基于机器人模板程序纠偏功能的实现方法。
背景技术
随着工业化的发展以及国家长期的规划,智能化的工厂发展是必然的趋势,而传统的人工喷涂不仅效率较低,同时对员工的自身健康有着严重的危害,机器人的喷涂可以代替人工实现智能喷涂,解决该问题,而该专利不仅提供了解决复杂板件中的喷涂难题,更重要的是提供了一种更智能的方式来实现;传统的PTP编程或者示教编程也可以解决复杂板件的喷涂问题,但总是对工装的要求非常苛刻,需要板件摆放一致,而该种调用模板和偏差的方式使得板件可随意摆放使得喷涂过程更便捷。
如中国专利号为202010038079.2的一种基于双线结构光的热轧带钢端部三维轮廓测量方法。所述方法主要采用双线结构光方法对热轧生产线上速度达到120m/min高速运行的带钢端部形状进行三维轮廓测量,包括如下操作步骤:1)系统搭建;2)相机标定;3)光平面标定;4)三维空间坐标求解;5)图片采集预处理;6)光条图像处理;7)建立三角关系;8)三维重建,得到带钢的三维点云图。本发明通过向带钢端部平面投射双线结构光,经过图像处理检测线结构光与带钢边缘的交点,根据结构光三角测量理论将点从二维坐标系换算到三维坐标系下,得到带钢端部形状并计算带钢宽度,该方法用于检测热扎带钢端部的检测方法,建立CCD面阵相机、双线激光投射器与待测带钢之间的三角关系,结构复杂,也并未能够实现程序纠偏功能。
发明内容
为了解决上述问题,本发明提出一种基于机器人模板程序纠偏功能的实现方法。
一种基于机器人模板程序纠偏功能的实现方法,其具体步骤如下:
S1、物体识别:
1.1、点云数据获取:通过相机拍摄线结构光发射器所照射的目标物体,得到物体表面上光条、中心位置的一系列3D坐标;
1.2、点云滤波:采用随机采样一致性滤波的算法处理点云数据,实现去噪、平滑、采样、特征提取的功能;
1.3、点云特征估计:采用点云局部特征算法、点云的整体特征估计算法来获取点云的表面积、最小外接盒、最大直径、截面曲线;
1.4、边缘提取:利用边缘提取、边缘连接、腐蚀、膨胀类算法在扫描相机分割出不同的喷涂表面区域如外边、平面、沟槽类;
1.5、点云拟合:根据实际喷涂物体需要喷涂的喷涂区进行点云拟合,拟合出目标物体的位姿;
S2、模板与偏差计算:
2.1、完成标定板数据采集:确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,并将图像在相机坐标系下的数值转换到机器人坐标系;
2.2、记录世界坐标系的数值:用户定义的三维世界的坐标系,描述目标物在真实世界的位置并记录数值;
2.3、检测特征点:在图像中检测特征点Harris特征;
2.4、解析相机参数值:主要为相机内参、相机外参,具体的实现方式如下;
2.4.1、从世界坐标系转换为相机坐标系,具体为三维点到三位点的转换,包括R、t类参数,t为相机外参;
2.4.2、从相机坐标系转为图像坐标系,具体是三维点到二维点的转换,包括K类参数,K为相机内参;
2.4.3、通过张正友标定法,张正友标定法将世界坐标系固定于棋盘格上,则棋盘格上任一点的物理坐标W=0,由于标定板的世界坐标系是人为事先定义好的,标定板上每一个格子的大小是已知的,能够计算得到每一个角点在世界坐标系下的物理坐标(U,V,W)=0,利用这些信息:每一个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W)=0,来进行相机的标定,获得相机的内外参矩阵、畸变参数;
S3、机器人轨迹示教编程:
3.1、板件运行至喷涂位:手动运行机器人至喷涂的第一点,然后记录下当前的位置值,[X,Y,Z,A,B,C]写成下相应的指令中;
3.2、机器人伺服上电;
3.3、选择模式:判断在该位置是否喷枪,若需要开枪,则把控制开枪的输出点进行设置为使能,然后判断当前的流量、雾化、扇形是多少合适,然后进行设置;
3.4、PTP编程:复完成上述步骤3.1至步骤3.3,从而完成事先规划的喷涂部分进行PTP示教编程的所有喷涂点位;
3.5、保存为示教程序的程序段;
S4、TCPIP通讯传输:
4.1、连接端口进行配置:利用控制器自带的TCPIP的通讯数据块,用于配置机器人的地址与端口与相机的地址与端口,使得之间配置建立通讯的基础;
4.2、客户端的连接:利用控制器自带的TCPIP的通讯数据块,用于机器人与相机之间建立连接;
4.3、数据的接收:利用控制器自带的TCPIP的通讯数据块,用于机器人接收相机发送的数据;
4.4、发送数据:利用控制器自带的TCPIP的通讯数据块,用于机器人接收到相机发送的数据并把相应的反馈发送给相机,完成机器人与相机之间的数据交互;
S5、机器人喷涂:机器人主要是确定喷涂效果是否满足客户需求,在喷涂过程同时需要考虑喷涂工艺的需求。
所述的步骤S1中采用线结构光三角测量,通过目标物体与线结构、光成像系统之间做相对运动并在多个不同位置进行拍照、测量,获得目标物体完整的3D表面轮廓。
所述的步骤S1的1.2中,随机采样一致性算法匹配数据集中随机抽出4个样本并保证这4个样本之间不共线,计算出单应性矩阵,利用这个模型测试所有数据,并计算满足这个模型数据点的个数与投影误差,即代价函数,若此模型为最优模型,则对应的代价函数最小,具体实现的公式为:
Figure BDA0003727175220000041
p为置信度,正常取值为0.995;w为内点的比例;m为计算模型所需要的最少样本数=4。
所述的步骤S1的1.3中,在特征点处建立局部参考系,用邻域点的空间位置信息和几何特征统计信息来描述点云局部特征;
Figure BDA0003727175220000042
采用网格划分法,首先将3D的点云数据集q={q1,q2,...qn}通过坐标转换化到xy平面上,得到平面内的点集p={p1,p2,...,pn},其中qi=(xi,yi,zi)T,qi=(xi,yi)T
具体步骤为:首先遍历所有点,得到xmax,xmin,ymax,ymin建立最小包围盒;
网格的边长:
Figure BDA0003727175220000043
计算x和y方向上的网格数:
Figure BDA0003727175220000044
把数据点qi=(xi,yi,zi)T放入对应的网格单元(u,v),则数据点qi=(xi,yi,zi)T和(u,v)之间建立了对应的关系。
所述的步骤S1的1.4中,利用最小分割算法:利用某种方式将两个点分开,算法流程为:
1.4.1、将这n个点和父点连接;
1.4.2、找到距离最小的两个块,A块中某点与B块中某点距离最小,并连接;
1.4.3、重复步骤1.4.2,直至只剩一个块;
用点与点之间的欧式距离来构造权值,所有线的权值可映射为线长的函数:
Figure BDA0003727175220000045
目标指定为中心,尺寸需要提前给出半径。
所述的步骤S1的1.5中,采用最小二乘法进行计算,通过最小化误差的平方和来寻找数据的最佳匹配函数方法,在点云平面拟合过程中即要保证所有数据点拟合平面的平均距离最小,点云M任意一点的坐标为Mi(xi,yi,zi),i=0,1...n-1.对于平面的一般方程A1x+B1y+C1z+D1=0,将其转化为z=a0x+a1y+a2,并建立目标函数S,利用拟合平面的最小距离,即min S,
满足
Figure BDA0003727175220000051
Figure BDA0003727175220000052
可得a0,a1,a2,即为点云M主平面系数。
所述的步骤S2的2.2中,通过空间中已知坐标的特征点(Xi,Yi,Zi),以及它们在图像中的对应坐标系(ui,vi),估算相机的内部和外部参数;
x~K[R/t]X=MX
Figure BDA0003727175220000053
Figure BDA0003727175220000054
所述的步骤S2的2.4.3中,具体步骤如下:
3D空间点:M=[X,Y,Z]T
齐次坐标:
Figure BDA0003727175220000055
描述空件到图像坐标的映射
Figure BDA0003727175220000056
计算内参矩阵
定义
Figure BDA0003727175220000061
v0=(B12B13-B11B23)/(B11B22-B2 12) (2-1)
λ=B33-[B2 13+v0(B12B13-B11B23)]/B11 (2-2)
Figure BDA0003727175220000062
Figure BDA0003727175220000063
γ=-B12α2β/λ (2-5)
u=γv0/α-B13α2/λ (2-6)
计算外参数矩阵:主要通过Homography求解;
由H=[h1h2h3]=λA[r1r2t]
可得:
r1=λA-1h1 r2=λA-1h2 r3=r1×r2 t=λA-1h3 (2-7)
λ=1/||A-1h1||=1/||A-1h2|| (2-8)
(5)极大似然估计
给定n nn张棋盘格图像,每张图像有m mm个角点
Figure BDA0003727175220000064
求得初值A,{Ri,ti|i=1...n}。
本发明的有益效果是:利用3D线激光扫描物体采集喷涂板件数据进行物体识别;通过模板与偏差计算匹配不同的模板号并计算不同板件相对于模板程序的偏移值;通过机器人轨迹编程实现机器人示教程序的编程;采用TCPIP通讯技术,来传输程序的模板号以及程序的偏差值;通过机器人喷涂实现模板程序增加偏移值后的喷涂;利用视觉与机器人的配合,采用调用程序与添加偏差值的方式实现智能喷涂且喷涂物体可随意摆放、操作简单。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的流程结构图;
图2为本发明的线结构光三角测量布局结构示意图;
图3为本发明的三维点即世界坐标系;
图4为本发明的三位点即相机坐标系;
图5为本发明的相机坐标系;
图6为本发明的图像坐标系;
图7为本发明的图像的相机标定坐标系;
图8为本发明的物体识别流程示意图;
图9为本发明的模板与偏差计算机器人轨迹示教编程流程示意图;
图10为本发明的机器人轨迹示教编程流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面对本发明进一步阐述。
如图1至图10所示,一种基于机器人模板程序纠偏功能的实现方法,其具体步骤如下:
S1、物体识别:
1.1、点云数据获取:通过相机拍摄线结构光发射器所照射的目标物体,得到物体表面上光条、中心位置的一系列3D坐标;
1.2、点云滤波:采用随机采样一致性滤波的算法处理点云数据,实现去噪、平滑、采样、特征提取的功能;
1.3、点云特征估计:采用点云局部特征算法、点云的整体特征估计算法来获取点云的表面积、最小外接盒、最大直径、截面曲线;
1.4、边缘提取:利用边缘提取、边缘连接、腐蚀、膨胀类算法在扫描相机分割出不同的喷涂表面区域如外边、平面、沟槽类;
1.5、点云拟合:根据实际喷涂物体需要喷涂的喷涂区进行点云拟合,拟合出目标物体的位姿;
S2、模板与偏差计算:
2.1、完成标定板数据采集:确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,并将图像在相机坐标系下的数值转换到机器人坐标系;
2.2、记录世界坐标系的数值:用户定义的三维世界的坐标系,描述目标物在真实世界的位置并记录数值;
2.3、检测特征点:在图像中检测特征点Harris特征;
2.4、解析相机参数值:主要为相机内参、相机外参,具体的实现方式如下;
2.4.1、从世界坐标系转换为相机坐标系,具体为三维点到三位点的转换,包括R、t类参数,t为相机外参;
2.4.2、从相机坐标系转为图像坐标系,具体是三维点到二维点的转换,包括K类参数,K为相机内参;
2.4.3、通过张正友标定法,张正友标定法将世界坐标系固定于棋盘格上,则棋盘格上任一点的物理坐标W=0,由于标定板的世界坐标系是人为事先定义好的,标定板上每一个格子的大小是已知的,能够计算得到每一个角点在世界坐标系下的物理坐标(U,V,W)=0,利用这些信息:每一个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W)=0,来进行相机的标定,获得相机的内外参矩阵、畸变参数;
S3、机器人轨迹示教编程:
3.1、板件运行至喷涂位:手动运行机器人至喷涂的第一点,然后记录下当前的位置值,[X,Y,Z,A,B,C]写成下相应的指令中;
3.2、机器人伺服上电;
3.3、选择模式:判断在该位置是否喷枪,若需要开枪,则把控制开枪的输出点进行设置为使能,然后判断当前的流量、雾化、扇形是多少合适,然后进行设置;
3.4、PTP编程:复完成上述步骤3.1至步骤3.3,从而完成事先规划的喷涂部分进行PTP示教编程的所有喷涂点位;
3.5、保存为示教程序的程序段;
S4、TCPIP通讯传输:
4.1、连接端口进行配置:利用控制器自带的TCPIP的通讯数据块,用于配置机器人的地址与端口与相机的地址与端口,使得之间配置建立通讯的基础;
4.2、客户端的连接:利用控制器自带的TCPIP的通讯数据块,用于机器人与相机之间建立连接;
4.3、数据的接收:利用控制器自带的TCPIP的通讯数据块,用于机器人接收相机发送的数据;
4.4、发送数据:利用控制器自带的TCPIP的通讯数据块,用于机器人接收到相机发送的数据并把相应的反馈发送给相机,完成机器人与相机之间的数据交互;
S5、机器人喷涂:机器人主要是确定喷涂效果是否满足客户需求,在喷涂过程同时需要考虑喷涂工艺的需求。
利用3D线激光扫描物体采集喷涂板件数据进行物体识别;通过模板与偏差计算匹配不同的模板号并计算不同板件相对于模板程序的偏移值;通过机器人轨迹编程实现机器人示教程序的编程;采用TCPIP通讯技术,来传输程序的模板号以及程序的偏差值;通过机器人喷涂实现模板程序增加偏移值后的喷涂;利用视觉与机器人的配合,采用调用程序与添加偏差值的方式实现智能喷涂且喷涂物体可随意摆放、操作简单。
所述的步骤S1中采用线结构光三角测量,通过目标物体与线结构、光成像系统之间做相对运动并在多个不同位置进行拍照、测量,获得目标物体完整的3D表面轮廓。
线激光器投射出的光平面照射到物体表面上会形成表征其轮廓的亮线,这些窄亮的细线通常被称为光条。线结构光三角测量的基本思想是:通过相机拍摄线结构光发射器所照射的目标物体,得到物体表面上光条中心位置的一系列3D坐标。因此,目标物体与线结构光成像系统之间做相对运动并在多个不同位置进行拍照测量,才能获得目标物体完整的3D表面轮廓。
线结构光三角测量的主要任务是:标定相机及其与光平面之间的相对位姿,标定目标物体与成像系统之间的相对运动,提取光条的中心点。
所述的步骤S1的1.2中,随机采样一致性算法匹配数据集中随机抽出4个样本并保证这4个样本之间不共线,计算出单应性矩阵,利用这个模型测试所有数据,并计算满足这个模型数据点的个数与投影误差,即代价函数,若此模型为最优模型,则对应的代价函数最小,具体实现的公式为:
Figure BDA0003727175220000101
p为置信度,正常取值为0.995;w为内点的比例;m为计算模型所需要的最少样本数=4。
所述的步骤S1的1.3中,在特征点处建立局部参考系,用邻域点的空间位置信息和几何特征统计信息来描述点云局部特征;
Figure BDA0003727175220000102
采用网格划分法,首先将3D的点云数据集q={q1,q2,...qn}通过坐标转换化到xy平面上,得到平面内的点集p={p1,p2,...,pn},其中qi=(xi,yi,zi)T,qi=(xi,yi)T
具体步骤为:首先遍历所有点,得到xmax,xmin,ymax,ymin建立最小包围盒;
网格的边长:
Figure BDA0003727175220000103
计算x和y方向上的网格数:
Figure BDA0003727175220000104
把数据点qi=(xi,yi,zi)T放入对应的网格单元(u,v),则数据点qi=(xi,yi,zi)T和(u,v)之间建立了对应的关系。
坐标系的定义:
世界坐标系:用户定义的三维世界的坐标系,描述目标物在真实世界的位置;
相机坐标系:在相机上建立的坐标系,为了从相机的角度描述物体位置而定义,作为世界坐标系和图像坐标系的转换中介;
图像坐标系:为了描述成像过程中物体从相机坐标系到图像坐标系的投影投射关系而确定。
所述的步骤S1的1.4中,利用最小分割算法:利用某种方式将两个点分开,算法流程为:
1.4.1、将这n个点和父点连接;
1.4.2、找到距离最小的两个块,A块中某点与B块中某点距离最小,并连接;
1.4.3、重复步骤1.4.2,直至只剩一个块;
用点与点之间的欧式距离来构造权值,所有线的权值可映射为线长的函数:
Figure BDA0003727175220000111
目标指定为中心,尺寸需要提前给出半径。
所述的步骤S1的1.5中,采用最小二乘法进行计算,通过最小化误差的平方和来寻找数据的最佳匹配函数方法,在点云平面拟合过程中即要保证所有数据点拟合平面的平均距离最小,点云M任意一点的坐标为Mi(xi,yi,zi),i=0,1...n-1.对于平面的一般方程A1x+B1y+C1z+D1=0,将其转化为z=a0x+a1y+a2,并建立目标函数S,利用拟合平面的最小距离,即min S,
满足
Figure BDA0003727175220000112
Figure BDA0003727175220000113
可得a0,a1,a2,即为点云M主平面系数。
所述的步骤S2的2.2中,通过空间中已知坐标的特征点(Xi,Yi,Zi),以及它们在图像中的对应坐标系(ui,vi),估算相机的内部和外部参数;
x~K[R/t]X=MX
Figure BDA0003727175220000114
Figure BDA0003727175220000115
所述的步骤S2的2.4.3中,具体步骤如下:
3D空间点:M=[X,Y,Z]T
齐次坐标:
Figure BDA0003727175220000116
描述空件到图像坐标的映射
Figure BDA0003727175220000121
计算内参矩阵
定义
Figure BDA0003727175220000122
v0=(B12B13-B11B23)/(B11B22-B2 12) (2-1)
λ=B33-[B2 13+v0(B12B13-B11B23)]/B11 (2-2)
Figure BDA0003727175220000123
Figure BDA0003727175220000124
γ=-B12α2β/λ (2-5)
u=γv0/α-B13α2/λ (2-6)
计算外参数矩阵:主要通过Homography求解;
由H=[h1h2h3]=λA[r1r2t]
可得:
r1=λA-1h1 r2=λA-1h2 r3=r1×r2 t=λA-1h3 (2-7)
λ=1/||A-1h1||=1/||A-1h2|| (2-8)
(5)极大似然估计
给定n nn张棋盘格图像,每张图像有m mm个角点
Figure BDA0003727175220000125
求得初值A,{Ri,ti|i=1...n}。
所述的步骤S4的TCPIP通讯传输利用机器人进行实现,机器人拥有丰富的通讯数据库,而控制器都会拥有通讯传输的库,需要对接口进行调用并分解数据即可。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于机器人模板程序纠偏功能的实现方法,其特征在于:其具体步骤如下:
S1、物体识别:
1.1、点云数据获取:通过相机拍摄线结构光发射器所照射的目标物体,得到物体表面上光条、中心位置的一系列3D坐标;
1.2、点云滤波:采用随机采样一致性滤波的算法处理点云数据,实现去噪、平滑、采样、特征提取的功能;
1.3、点云特征估计:采用点云局部特征算法、点云的整体特征估计算法来获取点云的表面积、最小外接盒、最大直径、截面曲线;
1.4、边缘提取:利用边缘提取、边缘连接、腐蚀、膨胀类算法在扫描相机分割出不同的喷涂表面区域如外边、平面、沟槽类;
1.5、点云拟合:根据实际喷涂物体需要喷涂的喷涂区进行点云拟合,拟合出目标物体的位姿;
S2、模板与偏差计算:
2.1、完成标定板数据采集:确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,并将图像在相机坐标系下的数值转换到机器人坐标系;
2.2、记录世界坐标系的数值:用户定义的三维世界的坐标系,描述目标物在真实世界的位置并记录数值;
2.3、检测特征点:在图像中检测特征点Harris特征;
2.4、解析相机参数值:主要为相机内参、相机外参,具体的实现方式如下;
2.4.1、相机标定:从世界坐标系转换为相机坐标系,具体为三维点到三位点的转换,包括R、t类参数,t为相机外参;
2.4.2、从相机坐标系转为图像坐标系,具体是三维点到二维点的转换,包括K类参数,K为相机内参;
2.4.3、通过张正友标定法,张正友标定法将世界坐标系固定于棋盘格上,则棋盘格上任一点的物理坐标W=0,由于标定板的世界坐标系是人为事先定义好的,标定板上每一个格子的大小是已知的,能够计算得到每一个角点在世界坐标系下的物理坐标(U,V,W)=0,利用这些信息:每一个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W)=0,来进行相机的标定,获得相机的内外参矩阵、畸变参数;
S3、机器人轨迹示教编程;
S4、TCPIP通讯传输;
S5、机器人喷涂:机器人主要是确定喷涂效果是否满足客户需求,在喷涂过程同时需要考虑喷涂工艺的需求。
2.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S1中采用线结构光三角测量,通过目标物体与线结构、光成像系统之间做相对运动并在多个不同位置进行拍照、测量,获得目标物体完整的3D表面轮廓。
3.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S1的1.2中,随机采样一致性算法匹配数据集中随机抽出4个样本并保证这4个样本之间不共线,计算出单应性矩阵,利用这个模型测试所有数据,并计算满足这个模型数据点的个数与投影误差,即代价函数,若此模型为最优模型,则对应的代价函数最小,具体实现的公式为:
Figure FDA0003727175210000021
p为置信度,正常取值为0.995;w为内点的比例;m为计算模型所需要的最少样本数=4。
4.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S1的1.3中,在特征点处建立局部参考系,用邻域点的空间位置信息和几何特征统计信息来描述点云局部特征;
Figure FDA0003727175210000022
采用网格划分法,首先将3D的点云数据集q={q1,q2,...qn}通过坐标转换化到xy平面上,得到平面内的点集p={p1,p2,...,pn},其中qi=(xi,yi,zi)T,qi=(xi,yi)T
具体步骤为:首先遍历所有点,得到xmax,xmin,ymax,ymin建立最小包围盒;
网格的边长:
Figure FDA0003727175210000031
计算x和y方向上的网格数:
Figure FDA0003727175210000032
把数据点qi=(xi,yi,zi)T放入对应的网格单元(u,v),则数据点qi=(xi,yi,zi)T和(u,v)之间建立了对应的关系。
5.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S1的1.4中,利用最小分割算法:利用某种方式将两个点分开,算法流程为:
1.4.1、将这n个点和父点连接;
1.4.2、找到距离最小的两个块,A块中某点与B块中某点距离最小,并连接;
1.4.3、重复步骤1.4.2,直至只剩一个块;
用点与点之间的欧式距离来构造权值,所有线的权值可映射为线长的函数:
Figure FDA0003727175210000033
目标指定为中心,尺寸需要提前给出半径。
6.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S1的1.5中,采用最小二乘法进行计算,通过最小化误差的平方和来寻找数据的最佳匹配函数方法,在点云平面拟合过程中即要保证所有数据点拟合平面的平均距离最小,点云M任意一点的坐标为Mi(xi,yi,zi),i=0,1...n-1.对于平面的一般方程A1x+B1y+C1z+D1=0,将其转化为z=a0x+a1y+a2,并建立目标函数S,利用拟合平面的最小距离,即min S,
满足
Figure FDA0003727175210000034
Figure FDA0003727175210000035
可得a0,a1,a2,即为点云M主平面系数。
7.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S2的2.2中,通过空间中已知坐标的特征点(Xi,Yi,Zi),以及它们在图像中的对应坐标系(ui,vi),估算相机的内部和外部参数;
x~K[R/t]X=MX
Figure FDA0003727175210000041
Figure FDA0003727175210000042
8.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S2的2.4.3中,具体步骤如下:
3D空间点:M=[X,Y,Z]T
齐次坐标:
Figure FDA0003727175210000043
描述空件到图像坐标的映射
Figure FDA0003727175210000044
计算内参矩阵
定义
Figure FDA0003727175210000045
v0=(B12B13-B11B23)/(B11B22-B2 12) (2-1)
λ=B33-[B2 13+v0(B12B13-B11B23)]/B11 (2-2)
Figure FDA0003727175210000046
Figure FDA0003727175210000047
γ=-B12α2β/λ (2-5)
u=γv0/α-B13α2/λ (2-6)
计算外参数矩阵:主要通过Homography求解;
由H=[h1h2h3]=λA[r1r2t]
可得:
r1=λA-1h1 r2=λA-1h2 r3=r1×r2 t=λA-1h3 (2-7)
λ=1/||A-1h1||=1/||A-1h2|| (2-8)
(5)极大似然估计
给定n nn张棋盘格图像,每张图像有m mm个角点
Figure FDA0003727175210000051
求得初值A,{Ri,ti|i=1...n}。
9.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S3中,具体步骤如下:
3.1、板件运行至喷涂位:手动运行机器人至喷涂的第一点,然后记录下当前的位置值,[X,Y,Z,A,B,C]写成下相应的指令中;
3.2、机器人伺服上电;
3.3、选择模式:判断在该位置是否喷枪,若需要开枪,则把控制开枪的输出点进行设置为使能,然后判断当前的流量、雾化、扇形是多少合适,然后进行设置;
3.4、PTP编程:复完成上述步骤3.1至步骤3.3,从而完成事先规划的喷涂部分进行PTP示教编程的所有喷涂点位;
3.5、保存为示教程序的程序段。
10.根据权利要求1所述的一种基于机器人模板程序纠偏功能的实现方法,其特征在于:所述的步骤S4中,具体步骤如下:
4.1、连接端口进行配置:利用控制器自带的TCPIP的通讯数据块,用于配置机器人的地址与端口与相机的地址与端口,使得之间配置建立通讯的基础;
4.2、客户端的连接:利用控制器自带的TCPIP的通讯数据块,用于机器人与相机之间建立连接;
4.3、数据的接收:利用控制器自带的TCPIP的通讯数据块,用于机器人接收相机发送的数据;
4.4、发送数据:利用控制器自带的TCPIP的通讯数据块,用于机器人接收到相机发送的数据并把相应的反馈发送给相机,完成机器人与相机之间的数据交互。
CN202210772214.5A 2022-07-02 一种基于机器人模板程序纠偏功能的实现方法 Active CN115026834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210772214.5A CN115026834B (zh) 2022-07-02 一种基于机器人模板程序纠偏功能的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210772214.5A CN115026834B (zh) 2022-07-02 一种基于机器人模板程序纠偏功能的实现方法

Publications (2)

Publication Number Publication Date
CN115026834A true CN115026834A (zh) 2022-09-09
CN115026834B CN115026834B (zh) 2024-07-16

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118061198A (zh) * 2024-04-18 2024-05-24 中国长江电力股份有限公司 用于水轮机顶盖熔覆加工的复合移动机器人自动编程方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
CN107127755A (zh) * 2017-05-12 2017-09-05 华南理工大学 一种三维点云的实时采集装置及机器人打磨轨迹规划方法
CN111496789A (zh) * 2020-04-23 2020-08-07 佛山科学技术学院 一种离线复杂曲面喷涂轨迹规划系统及控制方法
WO2021212844A1 (zh) * 2020-04-21 2021-10-28 广东博智林机器人有限公司 点云拼接方法、装置、设备和存储设备
CN113902812A (zh) * 2021-10-13 2022-01-07 岱悟智能科技(上海)有限公司 一种基于多标定板的激光雷达与相机外参自动标定方法
CN114227691A (zh) * 2021-12-30 2022-03-25 中铭谷智能机器人(广东)有限公司 一种汽车钣金机器人智能喷漆轨迹安全检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
CN107127755A (zh) * 2017-05-12 2017-09-05 华南理工大学 一种三维点云的实时采集装置及机器人打磨轨迹规划方法
WO2021212844A1 (zh) * 2020-04-21 2021-10-28 广东博智林机器人有限公司 点云拼接方法、装置、设备和存储设备
CN111496789A (zh) * 2020-04-23 2020-08-07 佛山科学技术学院 一种离线复杂曲面喷涂轨迹规划系统及控制方法
CN113902812A (zh) * 2021-10-13 2022-01-07 岱悟智能科技(上海)有限公司 一种基于多标定板的激光雷达与相机外参自动标定方法
CN114227691A (zh) * 2021-12-30 2022-03-25 中铭谷智能机器人(广东)有限公司 一种汽车钣金机器人智能喷漆轨迹安全检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹培;杨涛;王天琪;张保家;: "面向飞机蒙皮的机器人喷涂轨迹规划", 现代制造工程, no. 10, 18 October 2020 (2020-10-18) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118061198A (zh) * 2024-04-18 2024-05-24 中国长江电力股份有限公司 用于水轮机顶盖熔覆加工的复合移动机器人自动编程方法

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111679291B (zh) 基于三维激光雷达的巡检机器人目标定位配置方法
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN109887082A (zh) 一种基于点云数据的室内建筑三维建模方法及装置
CN106091921A (zh) 用于确定场景中的尺寸的方法
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
CN111161334B (zh) 一种基于深度学习的语义地图构建方法
CN113642463B (zh) 一种视频监控和遥感图像的天地多视图对齐方法
CN110992422A (zh) 一种基于3d视觉的药盒姿态估计方法
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
Nguyen et al. Structural modeling from depth images
Kaiser et al. Automatic co-registration of photogrammetric point clouds with digital building models
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN106296650B (zh) 一种激光点云配准方法和装置
Vincke et al. Vision based metric for quality control by comparing built reality to BIM
CN116797733A (zh) 实时三维物体动态重建方法
CN113689459A (zh) 动态环境下基于gmm结合yolo实时跟踪与建图方法
CN115026834A (zh) 一种基于机器人模板程序纠偏功能的实现方法
CN115026834B (zh) 一种基于机器人模板程序纠偏功能的实现方法
JPH07152810A (ja) 環境モデル作成装置
CN114862908A (zh) 一种基于深度相机的动态目标追踪方法与系统
CN112687004A (zh) 一种基于ar和人工智能的室内吊顶方法及系统
CN111854651A (zh) 基于slam的室内建筑面积实时测量方法
CN109919852B (zh) 一种光学遥感图像的屋顶视角校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant