CN106651894B - 基于点云和图像匹配的自动化喷涂系统坐标变换方法 - Google Patents

基于点云和图像匹配的自动化喷涂系统坐标变换方法 Download PDF

Info

Publication number
CN106651894B
CN106651894B CN201710018511.XA CN201710018511A CN106651894B CN 106651894 B CN106651894 B CN 106651894B CN 201710018511 A CN201710018511 A CN 201710018511A CN 106651894 B CN106651894 B CN 106651894B
Authority
CN
China
Prior art keywords
image
coordinate system
edge
point cloud
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710018511.XA
Other languages
English (en)
Other versions
CN106651894A (zh
Inventor
唐倩
黄耀
范秋垒
宋军
彭龙
冯琪翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201710018511.XA priority Critical patent/CN106651894B/zh
Publication of CN106651894A publication Critical patent/CN106651894A/zh
Application granted granted Critical
Publication of CN106651894B publication Critical patent/CN106651894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,包括:构建机器人坐标系R、图像坐标系U以及点云坐标系V;采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;获取图像Q的闭合图像边缘的几何属性;并获取点云模型的投影的边缘的几何属性;将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,提高效率,有效减少喷涂机器人的停机时间,保证生产率。

Description

基于点云和图像匹配的自动化喷涂系统坐标变换方法
技术领域
本发明涉及一种喷涂系统控制方法,尤其涉及一种基于点云和图像匹配的自动化喷涂系统坐标变换方法。
背景技术
喷涂机器人是目前应用最广泛的工业机器人之一,在生产线上利用喷涂机器人进行作业有许多明显的优势,,如环境适应能力更强、安全可靠、效率高、更加环保等等,在产品制造领域中,绝大部分的重复性的喷涂工作都被喷涂机器人所取代。伴随着当前个性化产品定制的需求不断增加,产品的单一重复性将降低,对喷涂机器人提出了更高的自动化要求。
目前,针对喷涂机器人自动化的研究主要有机器人的离线自动编程和“在线标定”;离线编程是在离线的情况下根据产品的三维数字模型对机器人的运动轨迹进行规划,其能减少机器人停机时间,但是在喷涂对象快速变换的情况下,喷涂对象在机器人坐标系的位置标定过程将花费大量的时间;“在线标定”是通过将摄像机安装在机器人末端实时获取工作对象的位置和几何信息,但是“在线标定”需要的工作空间比较大,所需的时间很长、效率低。
因此,需要提出一种新的方法,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,提高效率,有效减少喷涂机器人的停机时间,保证生产率。
发明内容
有鉴于此,本发明的目的是提供一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,提高效率,有效减少喷涂机器人的停机时间,保证生产率。
本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,包括:
S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V,且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行;
S2.采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;其中,RQ为图像Q在机器人坐标系R中的描述,UQ为图像Q在图像坐标系U中的描述,RTU为图像坐标系U到机器人坐标系的变换;
S3.获取图像Q的闭合图像边缘的几何属性;
S4.将喷涂对象的点云模型进行平面投影,并获取点云模型的投影的边缘的几何属性;
S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,确定最佳匹配点,并建立点云坐标系V与图像坐标系U的变换关系:UQ=UTV VP,其中,UQ为图像Q在图像坐标系中的描述,VP为点云模型在点云坐标系V中的描述,UTV为点云坐标系V到图像坐标系U的变换;
S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系:RTVRTU UTV
进一步,步骤S3中和步骤S4中,图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率。
进一步,步骤S3中,根据如下步骤获取图像Q的闭合图像边缘:
S31.对图像Q进行降噪和增强对比处理;
S32.采用Canny算法得出单像素的边缘Q1;
S33.在边缘Q1上任取一点作为起点,并记录该起点为q;
S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记,直到找到开口点,如果该开口点是起点q,则表明边缘Q1为一闭合图像边缘,结束窗口搜索;否则,进入到步骤S34;
S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记,直到找到另一开口点;
S35.在边缘Q1未标记的区域中任取一点o,以该点作为起点并采用窗口搜索进行正向和反向搜索,直到找到两个开口点,并对搜索的点进行标记并连接,从而形成闭合图像边缘Q2。
进一步,步骤S4中,通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘:
S41.将点云模型按照投影变换TH投影到点云坐标系V的x-y平面得到点云模型的投影:VPH=TH VP,其中,
Figure BDA0001206584470000031
S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分,将包含有数据点的栅格数值记为1,不包含数据点的栅格数值记为0,将点云模型的投影转化为二值化图像,并采用Canny算法得到点云模型投影图像的边缘VPH1
S43.将点云模型投影图像的边缘VPH1平均划分为n各区域,且:
Figure BDA0001206584470000032
其中,
Figure BDA0001206584470000033
Figure BDA0001206584470000034
的各区域的中心点作为插值位置,得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘VPH2,其中,n为图像Q的边缘像素点和点云模型投影图像边缘VPH1的像素点差值。
进一步,步骤S3中和步骤S4中,根据如下方法计算边缘曲率:
在闭合边缘上任取一点pi=(xi,yi);
以pi为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s];
定义矢量u=(|px-qx|,|py-qy|),v=(|px-sx|,|py-sy|),且矢量u和v作为tf和tb的切线,其中,tf为距离直线段DDS[p,q]的中心点最近的栅格点,tb为距离直线段DDS[p,s]的中心点最近的栅格点;
计算u和v与图像坐标系U的x轴的夹角:
Figure BDA0001206584470000041
由u和v与图像坐标系U的x轴的夹角确定pi的切线;
定义切线上的角度均值为
Figure BDA0001206584470000042
切线上的角度差值为:δb=|θb-θ|,δf=|θf-θ|;
通过如下公式计算pi=(xi,yi)的边缘曲率:
Figure BDA0001206584470000043
其中,d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。
进一步,根据如下方法进行链码匹配:
S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘VPH2中的任一点作为起始点q1,在八领域内搜索相邻边缘点q2,并将起始点q1进行标记,然后以q2作为起始点在八领域内搜索下一个相邻的边缘点,并将起始点q2进行标记,依次类推,直至全部边缘点都被标记,分别得到图像Q的闭合边缘Q2的曲率链码κQ和点云模型投影图像的闭合边缘VPH2的n个曲率链码的集合Kp,其中:
Kp={κw1w1,…,κwn,…}T
S52.计算闭合边缘VPH2和闭合边缘Q2的各点曲率的偏差:
E=|KwQ|2={|κw1Q|2,|κw2Q|2,…,|κwnQ|2,…}T,其中,i=1,2,…,n;
S53.将E=|KwQ|2进行由大到小排序,找出偏差最小值
Figure BDA0001206584470000051
作为最佳匹配位置,从而得到匹配关系:
UQ2URVH VPH2+ULVH,其中,URVH为点云坐标系V与图像坐标系U在x-y平面的旋转变换,ULVH表示点云坐标系V和图像坐标系U在x-y平面的平移变换。
S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为:
UTVH=[URVH,ULVH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系:
Figure BDA0001206584470000061
其中,Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。
本发明的有益效果:通过本发明,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,匹配效率高,从而提高喷涂机器人的轨迹规划准确率以及效率,有效减少喷涂机器人的停机时间,保证生产率。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程图。
图2为本发明确定图像Q的闭合图像边缘的流程图。
图3为本发明的链码匹配流程图。
图4为本发明的实例的喷涂对象的图像。
图5为图4的图像通过Canny算法得出的边缘。
图6为图5中经过补全后的闭合边缘。
图7为图6中的闭合边缘的曲率分布图。
图8为本发明的实例的喷涂对象的点云模型。
图9为图8的投影图像。
图10为投影图像的闭合投影边缘。
图11为图10中闭合投影边缘的曲率分布图。
图12为图6的闭合边缘的曲率和图10中的闭合投影边缘的曲率偏差分布图。
具体实施方式
图1为本发明的流程图,如图所示,本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,包括:
S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V,且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行;
S2.采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;其中,RQ为图像Q在机器人坐标系R中的描述,UQ为图像Q在图像坐标系U中的描述,RTU为图像坐标系U到机器人坐标系的变换;
S3.获取图像Q的闭合图像边缘的几何属性;
S4.将喷涂对象的点云模型进行平面投影,并获取点云模型的投影的边缘的几何属性;其中,点云模型在点云坐标系V的x-y平面进行投影;
S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,确定最佳匹配点,并建立点云坐标系V与图像坐标系U的变换关系:UQ=UTV VP,其中,UQ为图像Q在图像坐标系中的描述,VP为点云模型在点云坐标系V中的描述,UTV为点云坐标系V到图像坐标系U的变换;
S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系:RTVRTU UTV;其中,通过摄像机采集喷涂对象的图像,而且由于在工作过程中,摄像机在机器人坐标系中的位置是已知的,因此,RTU也是已知的,步骤S3中和步骤S4中,图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率,通过上述方法,能够有效减少计算量,缩短喷涂机器人的轨迹规划过程中所耗费的时间,匹配效率高,从而提高喷涂机器人的轨迹规划准确率以及效率,有效减少喷涂机器人的停机时间,保证生产率。
本实施例中,如图2所示,步骤S3中,根据如下步骤获取图像Q的闭合图像边缘:
S31.对图像Q进行降噪和增强对比处理;
S32.采用Canny算法得出单像素的边缘Q1;
S33.在边缘Q1上任取一点作为起点,并记录该起点为q;
S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记,直到找到开口点,如果该开口点是起点q,则表明边缘Q1为一闭合图像边缘,结束窗口搜索;否则,进入到步骤S34;
S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记,直到找到另一开口点;
S35.在边缘Q1未标记的区域中任取一点o,以该点作为起点并采用窗口搜索进行正向和反向搜索,直到找到两个开口点,并对搜索的点进行标记,从而形成闭合图像边缘Q2;由于由于生产制造中许多喷涂对象为表面光滑的金属制品或表面光洁度很高的产品,会对图像的边缘提取产生较大的影响,造成图像边缘信息部分缺失,因此,通过上述方法,能够有效获得图像Q的闭合图像边缘,从而利于坐标变换的准确性,如图5所示,由于边缘Q1具有缺失,因此,在边缘Q1的两个开口点之间的未标记区域人选一点o进行搜索,将搜索的点补入到缺口中,使得缺口处被连接上,从而将开口处进行补全形成闭合边缘,其中,正向和反向可以以图5为例,可以定义顺时针为正向,逆时针方向为反向。
本实施例中,步骤S4中,通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘:
S41.将点云模型按照投影变换TH投影到点云坐标系V的x-y平面得到点云模型的投影:VPH=TH VP,其中,
Figure BDA0001206584470000081
S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分,将包含有数据点的栅格数值记为1,不包含数据点的栅格数值记为0,将点云模型的投影转化为二值化图像,并采用Canny算法得到点云模型投影图像的边缘VPH1;其中,栅格具有两个关键伊苏,一是栅格的密度,而是栅格的长宽比,其中,栅格的密度由点云的密度确定,而栅格密度过大会使得图像边缘离散程度较大,为图像处理带来困难,栅格密度过小会大大降低位置精度,因此,本实施例中采用正方形栅格,且投影的长度方向和宽度方向的栅格的个数比等于投影的最小包围盒长宽比;其中,投影图像的最小包围盒根据现有的技术即可获取;
S43.将点云模型投影图像的边缘VPH1平均划分为n各区域,且:
Figure BDA0001206584470000091
其中,
Figure BDA0001206584470000092
Figure BDA0001206584470000093
的各区域的中心点作为插值位置,得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘VPH2,其中,n为图像Q的边缘像素点和点云模型投影图像边缘VPH1的像素点差值,通过上述方法,能够保证图像匹配时,利用图像边缘的稽核特性具有旋转和缩放的不变形,能够有效地保证点云和图像匹配的精度。
本实施例中,步骤S3中和步骤S4中,根据如下方法计算边缘曲率:
在闭合边缘上任取一点pi=(xi,yi);
以pi为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s];其中,pi为起点向两个方向分别生长出最长离散直线段是指从pi点向pi的正向和反向的边缘点发出线段,将包含所有能够与pi在同一直线上的点,比如:以P1点为例,从正向和反向相邻的点分别是P2和Pn,首先将P1和P2连接,将Pn和P1连接,在线段P1P2的直线上,还有P3、P8边缘点在该直线,那么此时第一条最长离散直线段就是P1P8;而在P1Pn线段所在的直线上,如果没有其他的边缘点,那么另一条最长直线段就是P1Pn,如果还有Pn-9这个点在该直线上,那么另一条直线全就是P1Pn-9;
定义矢量u=(|px-qx|,|py-qy|),v=(|px-sx|,|py-sy|),且矢量u和v作为tf和tb的切线,其中,tf为距离直线段DDS[p,q]的中心点最近的栅格点,tb为距离直线段DDS[p,s]的中心点最近的栅格点;
计算u和v与图像坐标系U的x轴的夹角:
Figure BDA0001206584470000101
由u和v与图像坐标系U的x轴的夹角确定pi的切线;
定义切线上的角度均值为
Figure BDA0001206584470000102
切线上的角度差值为:δb=|θb-θ|,δf=|θf-θ|;
通过如下公式计算pi=(xi,yi)的边缘曲率:
Figure BDA0001206584470000103
其中,d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。
本实施例中,如图3所示,根据如下方法进行链码匹配:
S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘VPH2中的任一点作为起始点q1,在八领域内搜索相邻边缘点q2,并将起始点q1进行标记,然后以q2作为起始点在八领域内搜索下一个相邻的边缘点,并将起始点q2进行标记,依次类推,直至全部边缘点都被标记,分别得到图像Q的闭合边缘Q2的曲率链码κQ和点云模型投影图像的闭合边缘VPH2的n个曲率链码的集合Kp,其中:
Kp={κw1w1,…,κwn,…}T
S52.计算闭合边缘VPH2和闭合边缘Q2的各点曲率的偏差:
E=|KwQ|2={|κw1Q|2,|κw2Q|2,…,|κwnQ|2,…}T,其中,i=1,2,…,n;
S53.将E=|KwQ|2进行由大到小排序,找出偏差最小值
Figure BDA0001206584470000111
作为最佳匹配位置,从而得到匹配关系:
UQ2URVH VPH2+ULVH,其中,URVH为点云坐标系V与图像坐标系U在x-y平面的旋转变换,ULVH表示点云坐标系V和图像坐标系U在x-y平面的平移变换。
S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为:
UTVH=[URVH,ULVH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系:
其中,Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。
通过本发明后,基于机器人坐标系R的喷涂轨迹为:
Figure BDA0001206584470000122
其中SV是基于点云坐标系的喷涂轨迹。
以下通过一具体实例对本发明进行进一步说明:
在本实例中,油箱作为喷涂对象,摄像机位于喷涂对象的正上方,所采集的图像如图4所示,标定后的图像坐标系U与机器人坐标系R的变换关系为:
Figure BDA0001206584470000123
图4为本实例的摄像机采集的喷涂对象的图像,图5为图像通过Canny算法后所得出的边缘,图6为图5经过本发明的方法不全后的图像边缘;本实例中共采集了1078个边缘点,其中,图6的边缘点曲率分布如图7所示,图7中,四个最大的点分别为图6中的边缘圆角处的边缘点的曲率;本实例中,通过结构光三维扫描仪获取油箱的点云模型,如图8所示,图8的投影如图9所示,图10为油箱的点云模型的投影边缘,图11为点云模型的投影边缘的曲率,同样可以看出,处于四个圆角处的曲率最大;其中,本实例以第873点为
Figure BDA0001206584470000124
偏差最小值,为匹配最佳位置,其偏差分布图如图12所示;通过计算得到:点云坐标系V与图像坐标系U在x-y平面的变化关系URVH
Figure BDA0001206584470000131
点云坐标系V与图像坐标系U的变化关系UTV
Figure BDA0001206584470000132
故:点云坐标系V与机器人坐标系R的坐标变换关系为:由上可知,本发明是切实可行的。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:包括:
S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V,且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行;
S2.采集喷涂对象在喷涂平台的上的图像Q,并获取喷涂对象在机器人坐标系R中的描述:RQ=RTU UQ;其中,RQ为图像Q在机器人坐标系R中的描述,UQ为图像Q在图像坐标系U中的描述,RTU为图像坐标系U到机器人坐标系的变换;
S3.获取图像Q的闭合图像边缘的几何属性;
S4.将喷涂对象的点云模型进行平面投影,并获取点云模型的投影的边缘的几何属性;
S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配,确定最佳匹配点,并建立点云坐标系V与图像坐标系U的变换关系:UQ=UTV VP,其中,UQ为图像Q在图像坐标系中的描述,VP为点云模型在点云坐标系V中的描述,UTV为点云坐标系V到图像坐标系U的变换;
S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系:RTVRTU UTV
2.根据权利要求1所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S3中和步骤S4中,图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率。
3.根据权利要求2所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S3中,根据如下步骤获取图像Q的闭合图像边缘:
S31.对图像Q进行降噪和增强对比处理;
S32.采用Canny算法得出单像素的边缘Q1;
S33.在边缘Q1上任取一点作为起点,并记录该起点为q;
S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记,直到找到开口点,如果该开口点是起点q,则表明边缘Q1为一闭合图像边缘,结束窗口搜索;否则,进入到步骤S34;
S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记,直到找到另一开口点;
S35.在边缘Q1未标记的区域中任取一点o,以该点作为起点并采用窗口搜索进行正向和反向搜索,直到找到两个开口点,并对搜索的点进行标记并连接,从而形成闭合图像边缘Q2。
4.根据权利要求3所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S4中,通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘:
S41.将点云模型按照投影变换TH投影到点云坐标系V的x-y平面得到点云模型的投影:VPH=TH VP,其中,
Figure FDA0002112739300000021
S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分,将包含有数据点的栅格数值记为1,不包含数据点的栅格数值记为0,将点云模型的投影转化为二值化图像,并采用Canny算法得到点云模型投影图像的边缘VPH1
S43.将点云模型投影图像的边缘VPH1平均划分为n各区域,且:
Figure FDA0002112739300000022
其中,
Figure FDA0002112739300000023
Figure FDA0002112739300000031
的各区域的中心点作为插值位置,得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘VPH2,其中,n为图像Q的边缘像素点和点云模型投影图像边缘VPH1的像素点差值。
5.根据权利要求4所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:步骤S3中和步骤S4中,根据如下方法计算边缘曲率:
在闭合边缘上任取一点pi=(xi,yi);
以pi为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s];
定义矢量u=(|px-qx|,|py-qy|),v=(|px-sx|,|py-sy|),且矢量u和v作为tf和tb的切线,其中,tf为距离直线段DDS[p,q]的中心点最近的栅格点,tb为距离直线段DDS[p,s]的中心点最近的栅格点;
计算u和v与图像坐标系U的x轴的夹角:
由u和v与图像坐标系U的x轴的夹角确定pi的切线;
定义切线上的角度均值为
Figure FDA0002112739300000033
切线上的角度差值为:δb=|θb-θ|,δf=|θf-θ|;
通过如下公式计算pi=(xi,yi)的边缘曲率:
Figure FDA0002112739300000041
其中,d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。
6.根据权利要求5所述基于点云和图像匹配的自动化喷涂系统坐标变换方法,其特征在于:根据如下方法进行链码匹配:
S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘VPH2中的任一点作为起始点q1,在八领域内搜索相邻边缘点q2,并将起始点q1进行标记,然后以q2作为起始点在八领域内搜索下一个相邻的边缘点,并将起始点q2进行标记,依次类推,直至全部边缘点都被标记,分别得到图像Q的闭合边缘Q2的曲率链码κQ和点云模型投影图像的闭合边缘VPH2的n条曲率链码的集合Kp,其中:
Kp={κw1,…,κwn,…}T
S52.计算闭合边缘VPH2和闭合边缘Q2的各点曲率的偏差:
E=|KwQ|2={|κw1Q|2,|κw2Q|2,…,|κwnQ|2,…}T,其中,i=1,2,…,n;
S53.将E=|KwQ|2进行由大到小排序,找出偏差最小值
Figure FDA0002112739300000042
作为最佳匹配位置,从而得到匹配关系:
UQ2URVH VPH2+ULVH,其中,URVH为点云坐标系V与图像坐标系U在x-y平面的旋转变换,ULVH表示点云坐标系V和图像坐标系U在x-y平面的平移变换;
S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为:
UTVH=[URVH,ULVH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系:
Figure FDA0002112739300000051
其中,Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。
CN201710018511.XA 2017-01-10 2017-01-10 基于点云和图像匹配的自动化喷涂系统坐标变换方法 Active CN106651894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710018511.XA CN106651894B (zh) 2017-01-10 2017-01-10 基于点云和图像匹配的自动化喷涂系统坐标变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018511.XA CN106651894B (zh) 2017-01-10 2017-01-10 基于点云和图像匹配的自动化喷涂系统坐标变换方法

Publications (2)

Publication Number Publication Date
CN106651894A CN106651894A (zh) 2017-05-10
CN106651894B true CN106651894B (zh) 2020-02-11

Family

ID=58843628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018511.XA Active CN106651894B (zh) 2017-01-10 2017-01-10 基于点云和图像匹配的自动化喷涂系统坐标变换方法

Country Status (1)

Country Link
CN (1) CN106651894B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108225180A (zh) * 2017-12-31 2018-06-29 芜湖哈特机器人产业技术研究院有限公司 一种涂装定位系统和方法
CN108284368B (zh) * 2018-01-02 2019-06-04 重庆大学 螺杆型面精密磨削粗糙度预测方法
CN110738223B (zh) * 2018-07-18 2022-04-08 宇通客车股份有限公司 一种激光雷达的点云数据聚类方法及装置
CN109410274B (zh) * 2018-10-08 2022-03-15 武汉工程大学 一种高帧频条件下典型非合作目标要害点实时定位方法
CN109903327B (zh) * 2019-03-04 2021-08-31 西安电子科技大学 一种稀疏点云的目标物尺寸测量方法
CN110288706B (zh) * 2019-07-02 2020-08-07 哈尔滨工业大学 一种小曲率不规则点云曲面的拟合方法
CN111013883A (zh) * 2019-11-25 2020-04-17 浙江明泉工业涂装有限公司 一种可用于多车型的智能喷涂的机器人控制方法
CN112156915B (zh) * 2020-09-18 2021-04-06 清华大学 基于关节驱动负载的喷涂机器人安装位置确定方法及装置
CN112381710A (zh) * 2020-10-13 2021-02-19 中铭谷智能机器人(广东)有限公司 一种用于汽车钣喷的2d视觉算法系统
CN112819870B (zh) * 2021-02-23 2023-09-26 苏州大学 基于坐标数据的点云配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931237A (zh) * 2016-04-19 2016-09-07 北京理工大学 一种图像校准方法和系统
CN105976353A (zh) * 2016-04-14 2016-09-28 南京理工大学 基于模型和点云全局匹配的空间非合作目标位姿估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976353A (zh) * 2016-04-14 2016-09-28 南京理工大学 基于模型和点云全局匹配的空间非合作目标位姿估计方法
CN105931237A (zh) * 2016-04-19 2016-09-07 北京理工大学 一种图像校准方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Calibration of an eye-to-hand system using a laser pointer on hand and planar constraints;HU J S et al.;《IEEE》;20111231;参见第982-987页 *
三维激光扫描技术中纹理图像与点云的配准;胡戬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20100115(第1期);参见第138-331页 *
喷涂机器人结构优化及其位姿误差分析;郭鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615(第6期);参见第140-200页 *

Also Published As

Publication number Publication date
CN106651894A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106651894B (zh) 基于点云和图像匹配的自动化喷涂系统坐标变换方法
CN110227876B (zh) 基于3d点云数据的机器人焊接路径自主规划方法
CN107886528B (zh) 基于点云的配电线路作业场景三维重建方法
CN109514133B (zh) 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN106041937A (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN111598946A (zh) 一种物体位姿测量方法、装置及存储介质
CN113781561B (zh) 基于自适应高斯权快速点特征直方图的目标位姿估计方法
CN110992422B (zh) 一种基于3d视觉的药盒姿态估计方法
CN115147437A (zh) 机器人智能引导加工方法与系统
CN114742883A (zh) 一种基于平面类工件定位算法的自动化装配方法及系统
CN109448040A (zh) 一种机械生产制造展示辅助系统
Xu et al. A new welding path planning method based on point cloud and deep learning
Kumar et al. Alignment of 3D point cloud, CAD model, real-time camera view and partial point cloud for pipeline retrofitting application
Qiao et al. Online monocular lane mapping using catmull-rom spline
Filaretov et al. Method of combination of three-dimensional models of details with their CAD-models at the presence of deformations
CN113927606B (zh) 一种机器人3d视觉抓取方法及系统
Dong et al. Pose estimation of components in 3c products based on point cloud registration
Kong et al. A trajectory planning algorithm of spray robot for workpieces with complex geometric features based on 3D point cloud
CN114491865A (zh) 一种工件表面轮廓自适应离散方法
Lu et al. Weld seam extraction of intersecting pipelines based on point cloud entropy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant