CN106651894A - 基于点云和图像匹配的自动化喷涂系统坐标变换方法 - Google Patents
基于点云和图像匹配的自动化喷涂系统坐标变换方法 Download PDFInfo
- Publication number
- CN106651894A CN106651894A CN201710018511.XA CN201710018511A CN106651894A CN 106651894 A CN106651894 A CN 106651894A CN 201710018511 A CN201710018511 A CN 201710018511A CN 106651894 A CN106651894 A CN 106651894A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate system
- edge
- point cloud
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005507 spraying Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 239000007921 spray Substances 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 7
- 230000002441 reversible effect Effects 0.000 claims description 6
- 238000011426 transformation method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,包括:构建机器人坐标系R、图像坐标系U以及点云坐标系V;采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;获取图像Q的闭合图像边缘的几何属性;并获取点云模型的投影的边缘的几何属性;将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,提高效率,有效减少喷涂机器人的停机时间,保证生产率。
Description
技术领域
本发明涉及一种喷涂系统控制方法,尤其涉及一种基于点云和图像匹配的自动化喷涂系统坐标变换方法。
背景技术
喷涂机器人是目前应用最广泛的工业机器人之一,在生产线上利用喷涂机器人进行作业有许多明显的优势,,如环境适应能力更强、安全可靠、效率高、更加环保等等,在产品制造领域中,绝大部分的重复性的喷涂工作都被喷涂机器人所取代。伴随着当前个性化产品定制的需求不断增加,产品的单一重复性将降低,对喷涂机器人提出了更高的自动化要求。
目前,针对喷涂机器人自动化的研究主要有机器人的离线自动编程和“在线标定”;离线编程是在离线的情况下根据产品的三维数字模型对机器人的运动轨迹进行规划,其能减少机器人停机时间,但是在喷涂对象快速变换的情况下,喷涂对象在机器人坐标系的位置标定过程将花费大量的时间;“在线标定”是通过将摄像机安装在机器人末端实时获取工作对象的位置和几何信息,但是“在线标定”需要的工作空间比较大,所需的时间很长、效率低。
因此,需要提出一种新的方法,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,提高效率,有效减少喷涂机器人的停机时间,保证生产率。
发明内容
有鉴于此,本发明的目的是提供一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,提高效率,有效减少喷涂机器人的停机时间,保证生产率。
本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,包括:
S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V,且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行;
S2.采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;其中,RQ为图像Q在机器人坐标系R中的描述,UQ为图像Q在图像坐标系U中的描述,RTU为图像坐标系U到机器人坐标系的变换;
S3.获取图像Q的闭合图像边缘的几何属性;
S4.将喷涂对象的点云模型进行平面投影,并获取点云模型的投影的边缘的几何属性;
S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,确定最佳匹配点,并建立点云坐标系V与图像坐标系U的变换关系:UQ=UTV VP,其中,UQ为图像Q在图像坐标系中的描述,VP为点云模型在点云坐标系V中的描述,UTV为点云坐标系V到图像坐标系U的变换;
S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系:RTV=RTU UTV。
进一步,步骤S3中和步骤S4中,图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率。
进一步,步骤S3中,根据如下步骤获取图像Q的闭合图像边缘:
S31.对图像Q进行降噪和增强对比处理;
S32.采用Canny算法得出单像素的边缘Q1;
S33.在边缘Q1上任取一点作为起点,并记录该起点为q;
S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记,直到找到开口点,如果该开口点是起点q,则表明边缘Q1为一闭合图像边缘,结束窗口搜索;否则,进入到步骤S34;
S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记,直到找到另一开口点;
S35.在边缘Q1未标记的区域中任取一点o,以该点作为起点并采用窗口搜索进行正向和反向搜索,直到找到两个开口点,并对搜索的点进行标记并连接,从而形成闭合图像边缘Q2。
进一步,步骤S4中,通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘:
S41.将点云模型按照投影变换TH投影到点云坐标系V的x-y平面得到点云模型的投影:VPH=TH VP,其中,
S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分,将包含有数据点的栅格数值记为1,不包含数据点的栅格数值记为0,将点云模型的投影转化为二值化图像,并采用Canny算法得到点云模型投影图像的边缘VPH1;
S43.将点云模型投影图像的边缘VPH1平均划分为n各区域,且:
其中,
以的各区域的中心点作为插值位置,得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘VPH2,其中,n为图像Q的边缘像素点和点云模型投影图像边缘VPH1的像素点差值。
进一步,步骤S3中和步骤S4中,根据如下方法计算边缘曲率:
在闭合边缘上任取一点pi=(xi,yi);
以pi为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s];
定义矢量u=(|px-qx|,|py-qy|),v=(|px-sx|,|py-sy|),且矢量u和v作为tf和tb的切线,其中,tf为距离直线段DDS[p,q]的中心点最近的栅格点,tb为距离直线段DDS[p,s]的中心点最近的栅格点;
计算u和v与图像坐标系U的x轴的夹角:
由u和v与图像坐标系U的x轴的夹角确定pi的切线;
定义切线上的角度均值为切线上的角度差值为:δb=|θb-θ|,δf=|θf-θ|;
通过如下公式计算pi=(xi,yi)的边缘曲率:
其中,d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。
进一步,根据如下方法进行链码匹配:
S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘VPH2中的任一点作为起始点q1,在八领域内搜索相邻边缘点q2,并将起始点q1进行标记,然后以q2作为起始点在八领域内搜索下一个相邻的边缘点,并将起始点q2进行标记,依次类推,直至全部边缘点都被标记,分别得到图像Q的闭合边缘Q2的曲率链码κQ和点云模型投影图像的闭合边缘VPH2的n个曲率链码的集合Kp,其中:
Kp={κw1,κw1,…,κwn,…}T;
S52.计算闭合边缘VPH2和闭合边缘Q2的各点曲率的偏差:
E=|Kw-κQ|2={|κw1-κQ|2,|κw2-κQ|2,…,|κwn-κQ|2,…}T,其中,i=1,2,…,n;
S53.将E=|Kw-κQ|2进行由大到小排序,找出偏差最小值作为最佳匹配位置,从而得到匹配关系:
UQ2=URVH VPH2+ULVH,其中,URVH为点云坐标系V与图像坐标系U在x-y平面的旋转变换,ULVH表示点云坐标系V和图像坐标系U在x-y平面的平移变换。
S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为:
UTVH=[URVH,ULVH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系:
其中,Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。
本发明的有益效果:通过本发明,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,匹配效率高,从而提高喷涂机器人的轨迹规划准确率以及效率,有效减少喷涂机器人的停机时间,保证生产率。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程图。
图2为本发明确定图像Q的闭合图像边缘的流程图。
图3为本发明的链码匹配流程图。
图4为本发明的实例的喷涂对象的图像。
图5为图4的图像通过Canny算法得出的边缘。
图6为图5中经过补全后的闭合边缘。
图7为图6中的闭合边缘的曲率分布图。
图8为本发明的实例的喷涂对象的点云模型。
图9为图8的投影图像。
图10为投影图像的闭合投影边缘。
图11为图10中闭合投影边缘的曲率分布图。
图12为图6的闭合边缘的曲率和图10中的闭合投影边缘的曲率偏差分布图。
具体实施方式
图1为本发明的流程图,如图所示,本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,包括:
S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V,且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行;
S2.采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;其中,RQ为图像Q在机器人坐标系R中的描述,UQ为图像Q在图像坐标系U中的描述,RTU为图像坐标系U到机器人坐标系的变换;
S3.获取图像Q的闭合图像边缘的几何属性;
S4.将喷涂对象的点云模型进行平面投影,并获取点云模型的投影的边缘的几何属性;其中,点云模型在点云坐标系V的x-y平面进行投影;
S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,确定最佳匹配点,并建立点云坐标系V与图像坐标系U的变换关系:UQ=UTV VP,其中,UQ为图像Q在图像坐标系中的描述,VP为点云模型在点云坐标系V中的描述,UTV为点云坐标系V到图像坐标系U的变换;
S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系:RTV=RTU UTV;其中,通过摄像机采集喷涂对象的图像,而且由于在工作过程中,摄像机在机器人坐标系中的位置是已知的,因此,RTU也是已知的,步骤S3中和步骤S4中,图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率,通过上述方法,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,匹配效率高,从而提高喷涂机器人的轨迹规划准确率以及效率,有效减少喷涂机器人的停机时间,保证生产率。
本实施例中,如图2所示,步骤S3中,根据如下步骤获取图像Q的闭合图像边缘:
S31.对图像Q进行降噪和增强对比处理;
S32.采用Canny算法得出单像素的边缘Q1;
S33.在边缘Q1上任取一点作为起点,并记录该起点为q;
S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记,直到找到开口点,如果该开口点是起点q,则表明边缘Q1为一闭合图像边缘,结束窗口搜索;否则,进入到步骤S34;
S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记,直到找到另一开口点;
S35.在边缘Q1未标记的区域中任取一点o,以该点作为起点并采用窗口搜索进行正向和反向搜索,直到找到两个开口点,并对搜索的点进行标记,从而形成闭合图像边缘Q2;由于由于生产制造中许多喷涂对象为表面光滑的金属制品或表面光洁度很高的产品,会对图像的边缘提取产生较大的影响,造成图像边缘信息部分缺失,因此,通过上述方法,能够有效获得图像Q的闭合图像边缘,从而利于坐标变换的准确性,如图5所示,由于边缘Q1具有缺失,因此,在边缘Q1的两个开口点之间的未标记区域人选一点o进行搜索,将搜索的点补入到缺口中,使得缺口处被连接上,从而将开口处进行补全形成闭合边缘,其中,正向和反向可以以图5为例,可以定义顺时针为正向,逆时针方向为反向。
本实施例中,步骤S4中,通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘:
S41.将点云模型按照投影变换TH投影到点云坐标系V的x-y平面得到点云模型的投影:VPH=TH VP,其中,
S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分,将包含有数据点的栅格数值记为1,不包含数据点的栅格数值记为0,将点云模型的投影转化为二值化图像,并采用Canny算法得到点云模型投影图像的边缘VPH1;其中,栅格具有两个关键伊苏,一是栅格的密度,而是栅格的长宽比,其中,栅格的密度由点云的密度确定,而栅格密度过大会使得图像边缘离散程度较大,为图像处理带来困难,栅格密度过小会大大降低位置精度,因此,本实施例中采用正方形栅格,且投影的长度方向和宽度方向的栅格的个数比等于投影的最小包围盒长宽比;其中,投影图像的最小包围盒根据现有的技术即可获取;
S43.将点云模型投影图像的边缘VPH1平均划分为n各区域,且:
其中,
以的各区域的中心点作为插值位置,得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘VPH2,其中,n为图像Q的边缘像素点和点云模型投影图像边缘VPH1的像素点差值,通过上述方法,能够保证图像匹配时,利用图像边缘的稽核特性具有旋转和缩放的不变形,能够有效地保证点云和图像匹配的精度。
本实施例中,步骤S3中和步骤S4中,根据如下方法计算边缘曲率:
在闭合边缘上任取一点pi=(xi,yi);
以pi为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s];其中,pi为起点向两个方向分别生长出最长离散直线段是指从pi点向pi的正向和反向的边缘点发出线段,将包含所有能够与pi在同一直线上的点,比如:以P1点为例,从正向和反向相邻的点分别是P2和Pn,首先将P1和P2连接,将Pn和P1连接,在线段P1P2的直线上,还有P3、P8边缘点在该直线,那么此时第一条最长离散直线段就是P1P8;而在P1Pn线段所在的直线上,如果没有其他的边缘点,那么另一条最长直线段就是P1Pn,如果还有Pn-9这个点在该直线上,那么另一条直线全就是P1Pn-9;
定义矢量u=(|px-qx|,|py-qy|),v=(|px-sx|,|py-sy|),且矢量u和v作为tf和tb的切线,其中,tf为距离直线段DDS[p,q]的中心点最近的栅格点,tb为距离直线段DDS[p,s]的中心点最近的栅格点;
计算u和v与图像坐标系U的x轴的夹角:
由u和v与图像坐标系U的x轴的夹角确定pi的切线;
定义切线上的角度均值为切线上的角度差值为:δb=|θb-θ|,δf=|θf-θ|;
通过如下公式计算pi=(xi,yi)的边缘曲率:
其中,d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。
本实施例中,如图3所示,根据如下方法进行链码匹配:
S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘VPH2中的任一点作为起始点q1,在八领域内搜索相邻边缘点q2,并将起始点q1进行标记,然后以q2作为起始点在八领域内搜索下一个相邻的边缘点,并将起始点q2进行标记,依次类推,直至全部边缘点都被标记,分别得到图像Q的闭合边缘Q2的曲率链码κQ和点云模型投影图像的闭合边缘VPH2的n个曲率链码的集合Kp,其中:
Kp={κw1,κw1,…,κwn,…}T;
S52.计算闭合边缘VPH2和闭合边缘Q2的各点曲率的偏差:
E=|Kw-κQ|2={|κw1-κQ|2,|κw2-κQ|2,…,|κwn-κQ|2,…}T,其中,i=1,2,…,n;
S53.将E=|Kw-κQ|2进行由大到小排序,找出偏差最小值作为最佳匹配位置,从而得到匹配关系:
UQ2=URVH VPH2+ULVH,其中,URVH为点云坐标系V与图像坐标系U在x-y平面的旋转变换,ULVH表示点云坐标系V和图像坐标系U在x-y平面的平移变换。
S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为:
UTVH=[URVH,ULVH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系:
其中,Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。
通过本发明后,基于机器人坐标系R的喷涂轨迹为:
其中SV是基于点云坐标系的喷涂轨迹。
以下通过一具体实例对本发明进行进一步说明:
在本实例中,油箱作为喷涂对象,摄像机位于喷涂对象的正上方,所采集的图像如图4所示,标定后的图像坐标系U与机器人坐标系R的变换关系为:
图4为本实例的摄像机采集的喷涂对象的图像,图5为图像通过Canny算法后所得出的边缘,图6为图5经过本发明的方法不全后的图像边缘;本实例中共采集了1078个边缘点,其中,图6的边缘点曲率分布如图7所示,图7中,四个最大的点分别为图6中的边缘圆角处的边缘点的曲率;本实例中,通过结构光三维扫描仪获取油箱的点云模型,如图8所示,图8的投影如图9所示,图10为油箱的点云模型的投影边缘,图11为点云模型的投影边缘的曲率,同样可以看出,处于四个圆角处的曲率最大;其中,本实例以第873点为偏差最小值,为匹配最佳位置,其偏差分布图如图12所示;通过计算得到:点云坐标系V与图像坐标系U在x-y平面的变化关系URVH:
点云坐标系V与图像坐标系U的变化关系UTV:
故:点云坐标系V与机器人坐标系R的坐标变换关系为:
由上可知,本发明是切实可行的。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:包括:
S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V,且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行;
S2.采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;其中,RQ为图像Q在机器人坐标系R中的描述,UQ为图像Q在图像坐标系U中的描述,RTU为图像坐标系U到机器人坐标系的变换;
S3.获取图像Q的闭合图像边缘的几何属性;
S4.将喷涂对象的点云模型进行平面投影,并获取点云模型的投影的边缘的几何属性;
S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,确定最佳匹配点,并建立点云坐标系V与图像坐标系U的变换关系:UQ=UTV VP,其中,UQ为图像Q在图像坐标系中的描述,VP为点云模型在点云坐标系V中的描述,UTV为点云坐标系V到图像坐标系U的变换;
S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系:RTV=RTU UTV。
2.根据权利要求1所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S3中和步骤S4中,图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率。
3.根据权利要求2所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S3中,根据如下步骤获取图像Q的闭合图像边缘:
S31.对图像Q进行降噪和增强对比处理;
S32.采用Canny算法得出单像素的边缘Q1;
S33.在边缘Q1上任取一点作为起点,并记录该起点为q;
S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记,直到找到开口点,如果该开口点是起点q,则表明边缘Q1为一闭合图像边缘,结束窗口搜索;否则,进入到步骤S34;
S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记,直到找到另一开口点;
S35.在边缘Q1未标记的区域中任取一点o,以该点作为起点并采用窗口搜索进行正向和反向搜索,直到找到两个开口点,并对搜索的点进行标记并连接,从而形成闭合图像边缘Q2。
4.根据权利要求3所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S4中,通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘:
S41.将点云模型按照投影变换TH投影到点云坐标系V的x-y平面得到点云模型的投影:VPH=TH VP,其中,
S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分,将包含有数据点的栅格数值记为1,不包含数据点的栅格数值记为0,将点云模型的投影转化为二值化图像,并采用Canny算法得到点云模型投影图像的边缘VPH1;
S43.将点云模型投影图像的边缘VPH1平均划分为n各区域,且:
其中,
以的各区域的中心点作为插值位置,得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘VPH2,其中,n为图像Q的边缘像素点和点云模型投影图像边缘VPH1的像素点差值。
5.根据权利要求4所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S3中和步骤S4中,根据如下方法计算边缘曲率:
在闭合边缘上任取一点pi=(xi,yi);
以pi为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s];
定义矢量u=(|px-qx|,|py-qy|),v=(|px-sx|,|py-sy|),且矢量u和v作为tf和tb的切线,其中,tf为距离直线段DDS[p,q]的中心点最近的栅格点,tb为距离直线段DDS[p,s]的中心点最近的栅格点;
计算u和v与图像坐标系U的x轴的夹角:
由u和v与图像坐标系U的x轴的夹角确定pi的切线;
定义切线上的角度均值为切线上的角度差值为:δb=|θb-θ|,δf=|θf-θ|;
通过如下公式计算pi=(xi,yi)的边缘曲率:
其中,d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。
6.根据权利要求5所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:根据如下方法进行链码匹配:
S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘VPH2中的任一点作为起始点q1,在八领域内搜索相邻边缘点q2,并将起始点q1进行标记,然后以q2作为起始点在八领域内搜索下一个相邻的边缘点,并将起始点q2进行标记,依次类推,直至全部边缘点都被标记,分别得到图像Q的闭合边缘Q2的曲率链码κQ和点云模型投影图像的闭合边缘VPH2的n条曲率链码的集合Kp,其中:
Kp={κw1,κw1,…,κwn,…}T;
S52.计算闭合边缘VPH2和闭合边缘Q2的各点曲率的偏差:
E=|Kw-κQ|2={|κw1-κQ|2,|κw2-κQ|2,…,|κwn-κQ|2,…}T,其中,i=1,2,…,n;
S53.将E=|Kw-κQ|2进行由大到小排序,找出偏差最小值作为最佳匹配位置,从而得到匹配关系:
UQ2=URVH VPH2+ULVH,其中,URVH为点云坐标系V与图像坐标系U在x-y平面的旋转变换,ULVH表示点云坐标系V和图像坐标系U在x-y平面的平移变换。
S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为:
UTVH=[URVH,ULVH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系:
其中,Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710018511.XA CN106651894B (zh) | 2017-01-10 | 2017-01-10 | 基于点云和图像匹配的自动化喷涂系统坐标变换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710018511.XA CN106651894B (zh) | 2017-01-10 | 2017-01-10 | 基于点云和图像匹配的自动化喷涂系统坐标变换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106651894A true CN106651894A (zh) | 2017-05-10 |
CN106651894B CN106651894B (zh) | 2020-02-11 |
Family
ID=58843628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710018511.XA Active CN106651894B (zh) | 2017-01-10 | 2017-01-10 | 基于点云和图像匹配的自动化喷涂系统坐标变换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106651894B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108225180A (zh) * | 2017-12-31 | 2018-06-29 | 芜湖哈特机器人产业技术研究院有限公司 | 一种涂装定位系统和方法 |
CN108284368A (zh) * | 2018-01-02 | 2018-07-17 | 重庆大学 | 螺杆型面精密磨削粗糙度预测方法 |
CN109410274A (zh) * | 2018-10-08 | 2019-03-01 | 武汉工程大学 | 一种高帧频条件下典型非合作目标要害点实时定位方法 |
CN109903327A (zh) * | 2019-03-04 | 2019-06-18 | 西安电子科技大学 | 一种稀疏点云的目标物尺寸测量方法 |
CN110288706A (zh) * | 2019-07-02 | 2019-09-27 | 哈尔滨工业大学 | 一种小曲率不规则点云曲面的拟合方法 |
CN110738223A (zh) * | 2018-07-18 | 2020-01-31 | 郑州宇通客车股份有限公司 | 一种激光雷达的点云数据聚类方法及装置 |
CN111013883A (zh) * | 2019-11-25 | 2020-04-17 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
CN112156915A (zh) * | 2020-09-18 | 2021-01-01 | 清华大学 | 基于关节驱动负载的喷涂机器人安装位置确定方法及装置 |
CN112381710A (zh) * | 2020-10-13 | 2021-02-19 | 中铭谷智能机器人(广东)有限公司 | 一种用于汽车钣喷的2d视觉算法系统 |
CN112819870A (zh) * | 2021-02-23 | 2021-05-18 | 苏州大学 | 基于坐标数据的点云配准方法 |
CN114782617A (zh) * | 2021-10-18 | 2022-07-22 | 臻越智能装备(佛山)有限公司 | 基于机器视觉进行高精度自动化喷胶的方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105931237A (zh) * | 2016-04-19 | 2016-09-07 | 北京理工大学 | 一种图像校准方法和系统 |
CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
-
2017
- 2017-01-10 CN CN201710018511.XA patent/CN106651894B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
CN105931237A (zh) * | 2016-04-19 | 2016-09-07 | 北京理工大学 | 一种图像校准方法和系统 |
Non-Patent Citations (3)
Title |
---|
HU J S ET AL.: "Calibration of an eye-to-hand system using a laser pointer on hand and planar constraints", 《IEEE》 * |
胡戬: "三维激光扫描技术中纹理图像与点云的配准", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
郭鹏: "喷涂机器人结构优化及其位姿误差分析", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108225180A (zh) * | 2017-12-31 | 2018-06-29 | 芜湖哈特机器人产业技术研究院有限公司 | 一种涂装定位系统和方法 |
CN108284368A (zh) * | 2018-01-02 | 2018-07-17 | 重庆大学 | 螺杆型面精密磨削粗糙度预测方法 |
CN110738223A (zh) * | 2018-07-18 | 2020-01-31 | 郑州宇通客车股份有限公司 | 一种激光雷达的点云数据聚类方法及装置 |
CN110738223B (zh) * | 2018-07-18 | 2022-04-08 | 宇通客车股份有限公司 | 一种激光雷达的点云数据聚类方法及装置 |
CN109410274B (zh) * | 2018-10-08 | 2022-03-15 | 武汉工程大学 | 一种高帧频条件下典型非合作目标要害点实时定位方法 |
CN109410274A (zh) * | 2018-10-08 | 2019-03-01 | 武汉工程大学 | 一种高帧频条件下典型非合作目标要害点实时定位方法 |
CN109903327A (zh) * | 2019-03-04 | 2019-06-18 | 西安电子科技大学 | 一种稀疏点云的目标物尺寸测量方法 |
CN110288706A (zh) * | 2019-07-02 | 2019-09-27 | 哈尔滨工业大学 | 一种小曲率不规则点云曲面的拟合方法 |
CN110288706B (zh) * | 2019-07-02 | 2020-08-07 | 哈尔滨工业大学 | 一种小曲率不规则点云曲面的拟合方法 |
CN111013883A (zh) * | 2019-11-25 | 2020-04-17 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
CN112156915A (zh) * | 2020-09-18 | 2021-01-01 | 清华大学 | 基于关节驱动负载的喷涂机器人安装位置确定方法及装置 |
CN112381710A (zh) * | 2020-10-13 | 2021-02-19 | 中铭谷智能机器人(广东)有限公司 | 一种用于汽车钣喷的2d视觉算法系统 |
CN112819870A (zh) * | 2021-02-23 | 2021-05-18 | 苏州大学 | 基于坐标数据的点云配准方法 |
CN112819870B (zh) * | 2021-02-23 | 2023-09-26 | 苏州大学 | 基于坐标数据的点云配准方法 |
CN114782617A (zh) * | 2021-10-18 | 2022-07-22 | 臻越智能装备(佛山)有限公司 | 基于机器视觉进行高精度自动化喷胶的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106651894B (zh) | 2020-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106651894B (zh) | 基于点云和图像匹配的自动化喷涂系统坐标变换方法 | |
CN106423656B (zh) | 基于点云与图像匹配的自动喷涂系统及方法 | |
CN106041937A (zh) | 一种基于双目立体视觉的机械手抓取控制系统的控制方法 | |
CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
Tabb et al. | A robotic vision system to measure tree traits | |
CN108876852B (zh) | 一种基于3d视觉的在线实时物体识别定位方法 | |
CN115147437B (zh) | 机器人智能引导加工方法与系统 | |
CN114742883B (zh) | 一种基于平面类工件定位算法的自动化装配方法及系统 | |
CN110415304B (zh) | 一种视觉标定方法及系统 | |
US11813756B2 (en) | Disassembly based assembly planning | |
CN105096341A (zh) | 基于三焦张量和关键帧策略的移动机器人位姿估计方法 | |
Lee et al. | 3D visual perception system for bin picking in automotive sub-assembly automation | |
Xu et al. | A new welding path planning method based on point cloud and deep learning | |
Qiao et al. | Online monocular lane mapping using catmull-rom spline | |
Fantacci et al. | Visual end-effector tracking using a 3D model-aided particle filter for humanoid robot platforms | |
Staderini et al. | Surface sampling for optimal viewpoint generation | |
Kumar et al. | Alignment of 3D point cloud, CAD model, real-time camera view and partial point cloud for pipeline retrofitting application | |
CN115056213B (zh) | 一种面向大型复杂构件的机器人轨迹自适应修正方法 | |
Filaretov et al. | Method of combination of three-dimensional models of details with their CAD-models at the presence of deformations | |
Lu et al. | Weld seam extraction of intersecting pipelines based on point cloud entropy | |
JP7323057B2 (ja) | 制御装置、制御方法、および、制御プログラム | |
Kong et al. | A trajectory planning algorithm of spray robot for workpieces with complex geometric features based on 3D point cloud | |
Dai et al. | Planeslam: Plane-based LiDAR SLAM for motion planning in structured 3D environments | |
Filaretov et al. | A new approach to automatization of non-rigid parts machining at their deformation by using multilink manipulators with vision system | |
Tong et al. | A Spray Path Planning Algorithm based on 3D Point Cloud |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |