CN109129463A - 一种基于视觉的移动机械臂末端定位装置及方法 - Google Patents

一种基于视觉的移动机械臂末端定位装置及方法 Download PDF

Info

Publication number
CN109129463A
CN109129463A CN201810737223.4A CN201810737223A CN109129463A CN 109129463 A CN109129463 A CN 109129463A CN 201810737223 A CN201810737223 A CN 201810737223A CN 109129463 A CN109129463 A CN 109129463A
Authority
CN
China
Prior art keywords
camera
group
mechanical arm
target
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810737223.4A
Other languages
English (en)
Other versions
CN109129463B (zh
Inventor
陶波
赵兴炜
虞苏璞
望金山
尹周平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810737223.4A priority Critical patent/CN109129463B/zh
Publication of CN109129463A publication Critical patent/CN109129463A/zh
Application granted granted Critical
Publication of CN109129463B publication Critical patent/CN109129463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/046Revolute coordinate type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于机器人空间定位技术领域,并具体公开了一种基于视觉的移动机械臂末端定位装置及方法。所述定位方法通过两组固定在移动平台上的相机,第一组相机测量定位靶标,通过绝对位置已知的定位靶标与第一组相机的相对位置反求第一组相机的空间绝对位置,第二组相机测量末端靶标,得到末端靶标相对于第二相机的相对位置关系,第一组相机的空间绝对位置通过坐标变换得到第二组相机的空间绝对位置,再根据末端靶标相对于第二组相机的相对位置关系求出末端靶标的空间绝对位置,继而求得机械臂末端位姿。本发明适用于机械臂在大空间范围移动时对机械臂末端的空间位置和姿态进行实时精密测量,测量精度在不同距离和范围上保持一致,且成本低。

Description

一种基于视觉的移动机械臂末端定位装置及方法
技术领域
本发明属于机器人空间定位技术领域,更具体地,涉及一种基于视觉的移动机械臂末端定位装置及方法。
背景技术
机械手臂是机械人技术领域中得到最广泛实际应用的自动化机械装置,在工业制造、医学治疗、娱乐服务、军事、半导体制造以及太空探索等领域都能见到它的身影。尽管它们的形态各有不同,但它们都有一个共同的特点,就是能够接受指令,精确地定位到三维(或二维)空间上的某一点进行作业。
随着中国的制造业不断发展,航空航天、新能源、轨道交通等行业的设备制造逐步朝着智能化、大型化发展,利用移动机械臂对工件进行智能化加工已成为一种趋势,例如,大型风力叶片的打磨:在移动机械臂的末端安装打磨头对风力叶片表面进行移动加工,这种加工方式比人力加工效率更高,叶片表面质量也更容易控制,叶片气动性能也更优异。使用移动机械臂对工件进行加工就需要知道机械臂末端的实时位置和姿态,从而控制机械臂的加工进给量和进给方向,因此,机械臂在大空间范围移动时对机械臂末端的空间位置和姿态进行实时精密测量对实现智能加工,提高工件的加工效率、加工质量、工件性能方面具有重要意义。
专利201710230126.1提出一种使用激光跟踪仪对机械臂末端进行空间位置和姿态测量的方法。激光跟踪仪虽然能实现对大空间范围内移动机械臂末端位置的测量,但测量时激光跟踪仪需要固定位置,如果机械臂移动到工件背面,激光跟踪仪需要进行转站才能继续测量,此外,激光跟踪仪的测量精度会根据测量距离的增加而下降,因此在距离激光跟踪仪近的地方测量精度高,距离远的地方精度低,导致测量精度不一致。
专利201610865409.9提出一种使用IGPS系统对机械臂末端位姿进行测量的方法,IGPS系统虽然不用转站便可以对移动机械臂末端进行实时测量,但IGPS系统由多个激光发射站组成,需要覆盖的测量范围越大,就需要增设更多的激光发射站,而激光发射站的价格昂贵,在大范围使用成本高。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提出一种基于视觉的移动机械臂末端定位装置及方法,其通过在移动机械臂加工平台工作范围外周设置若干定位靶标,在机械臂的端部设有多个末端靶标,并在该机械臂的相邻两侧设有第一组相机和第二组相机,通过反算第一组相机空间绝对位置,然后求第二组相机空间绝对位置,最后得到移动机械臂末端的空间绝对位置,测量精度高,测量精度在不同距离和范围上保持一致。
为实现上述目的,按照本发明的一个方面,提供一种基于视觉的移动机械臂末端定位装置,包括设于工件外侧的移动机械臂加工平台,其特征在于,所述移动机械臂加工平台工作范围的外周设有若干定位靶标;所述移动机械臂加工平台包括移动平台、机械臂、第一组相机及第二组相机,所述机械臂设于所述移动平台上,所述机械臂的端部设有多个末端靶标,所述第一组相机设置在与所述机械臂的旁侧,所述第二组相机设置在与所述机械臂相对的一侧,且所述第一组相机的拍摄视野内至少有四个或四个以上不共面的所述定位靶标,所述第二组相机的拍摄视野内至少有四个或四个以上不共面的所述末端靶标。
进一步的,所述第一组相机的相机数量≥2,且多个相机相互配合用于获得所述定位靶标与所述第一组相机的空间相对位置关系。
进一步的,所述第二组相机的相机数量≥2,且多个相机相互配合用于获得所述末端靶标与所述第二组相机的空间相对位置关系。
进一步的,所述定位靶标的布置形式为网格方式、几何阵列方式或随机分布方式。
进一步的,所述第二组相机的摄像方向朝向所述机械臂且其拍摄视野覆盖所述机械臂末端所有移动范围。
进一步的,所述定位靶标和所述末端靶标为全向反光的荧光靶球、平面编码标志点或平面二维码。
进一步的,所述移动平台与所述第一组相机的之间设有第一相机支架,用于固定所述第一组相机,所述移动平台与所述第二组相机的之间设有第二相机支架,用于固定所述第二组相机。
按照本发明的另一个方面,提供一种基于视觉的移动机械臂末端定位方法,应用所述的基于视觉的移动机械臂末端定位装置实现,包括如下步骤:
S1:在所述移动机械臂加工平台的工作范围外设置多个所述定位靶标,并对所述定位靶标进行标号,然后对所述定位靶标的空间绝对值位置进行测量,并记录所述定位靶标的空间绝对值位置;
S2:在所述机械臂的末端设置多个所述末端靶标,并对所述末端靶标进行标号,然后测量所述末端靶标与所述机械臂的相对位置并记录;
S3:测量所述第一组相机与所述第二组相机的相对位置关系;
S4:所述第一组相机对所述定位靶标进行拍摄,并计算拍摄视野内所述定位靶标与所述第一组相机的相对位置关系,然后根据所述定位靶标与所述第一组相机的相对位置计算出所述第一组相机的空间绝对位置;
S5:所述第二组相机对所述末端靶标进行拍摄,并计算拍摄视野内所述第二组相机与所述末端靶标的相对位置关系;
S6:根据S3测量的所述第一组相机与所述第二组相机的相对位置关系和S4计算得到的所述第一组相机的空间绝对位置计算出所述第二组相机的空间绝对位置;
S7:根据S6计算得到的所述第二组相机的空间绝对位置以及S5得到的所述末端靶标与所述第二组相机的相对位置关系,计算得到所述末端靶标的空间绝对位置;
S8:根据S7得到的所述末端靶标的空间绝对位置计算出所述机械臂末端的位姿。
进一步的,所述步骤S4中所述第一组相机(3)的空间绝对位置通过如下步骤获得:
S41:设所述定位靶标(1)绝对坐标系为{A},所述第一组相机(3)的坐标系为{B},
S42:测得所述绝对坐标系{A}下点Pi(XiA,YiA,ZiA)在坐标系{B}下的坐标为(XiB,YiB,ZiB),Pi到坐标系{B}原点的距离为di;
S43:将Pi在绝对坐标系{A}下的位置描述为:将Pi在绝对坐标系{B}下的位置描述为:
S44:用位置矢量表示坐标系{B}相对于坐标系{A}的位置变化,根据勾股定理关系式:
(X0B-XiA)2+(Y0B-YiA)2+(Z0B-ZiA)2=di2
求解出位置矢量AB0
S45:用旋转矩阵表示坐标系{B}相对于坐标系{A}的姿态,
建立正交约束条件:
Pi A和Pi B满足空间变换关系:
联立式子(1)、(2)求解出旋转矩阵
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
(1)本发明的基于视觉的移动机械臂末端定位装置,其通过在移动机械臂加工平台工作范围外周设置若干空间绝对位置一定的定位靶标,在机械臂的端部设有多个末端靶标,并在该机械臂的相邻和相对的一侧设有第一组相机和第二组相机,且第一组相机的拍摄视野内至少有四个或四个以上不面线的定位靶标,第二组相机的拍摄视野内至少有四个或四个以上不共面的所述末端靶标,以根据第一组相机与定位靶标的相对位置关系换算出第一组相机的空间绝对位置,继而根据第一组相机与第二组相机之间的固定的相对位置关系算出第二组相机的空间绝对位置,并根据第二组相机与末端标靶的相对位置关系算出末端标靶的空间绝对位置,从而得到移动机械臂末端的位姿,实现对移动机械臂末端的定位,由于定位靶标的空间绝对位置一定,故测量的结果和精度不会因移动机械臂末端的空间位置的改变而改变,因而测量精度高,测量精度在不同距离和范围上保持一致。
(2)本发明的一种基于视觉的移动机械臂末端定位装置,当移动平台移动到工件背面时,也能保证定位靶标在第一组相机视的拍摄范围内,从而得到移动机械臂末端的位姿,机械臂移动到工件背面测量设备不需要转站也可以测量,且测量精度保持一致。
(3)本发明的一种基于视觉的移动机械臂末端定位装置,定位靶标的空间绝对位置一定,第一相机组与第二相机组的相对位置固定,因此,测量的数据的精度不随移动平台位置的变化二发生变化,测量精度稳定且精度高。
(4)本发明的一种基于视觉的移动机械臂末端定位装置,测量范围可以通过增加定位靶标的数量和改变摆放方式无限增大,适合在大空间范围使用,设备成本低。
(5)本发明的一种基于视觉的移动机械臂末端定位方法,根据第一组相机与定位靶标的相对位置关系换算出第一组相机的空间绝对位置,继而根据第一组相机与第二组相机之间的固定的相对位置关系算出第二组相机的空间绝对位置,并根据第二组相机与末端标靶的相对位置关系算出末端标靶的空间绝对位置,从而得到移动机械臂末端的位姿,而且不需要转站,不仅测量精度高,而且操作方便,极大提高了机械臂末端空间定位效率。
附图说明
图1是本发明实施例的移动机械臂加工平台结构示意图;
图2是本发明实施例的定位靶标布置示意图;
图3是本发明实施例的定位靶标测量示意图;
图4是本发明实施例的末端靶标测量示意图。
图5是本发明实施例的定位靶标与第一组相机位置关系示意图;
图6是本发明实施例的第一组相机与第二组相机位置关系示意图;
图7是本发明实施例的第二组相机与末端靶标位置关系示意图;
图8是本发明实施例的机械臂末端空间位置和姿态示意图。
在所有附图中,同样的附图标记表示相同的技术特征,具体为:1-定位靶标、2-末端靶标、3-第一组相机、4-第二组相机、5-移动平台、6-机械臂、7-移动机械臂加工平台、8-工件、9-第一相机支架、10-第二相机支架。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明使用的场合主要是对机械臂移动加工时的末端位置和姿态的测量。如图1至图4所示,本发明的一种基于视觉的移动机械臂末端定位装置包括移动机械臂加工平台7。移动机械臂加工平台7包括移动平台5,其中,移动平台5可以是无人地面车辆(UGV)、自动导引运输车(AGV)等。移动平台5的侧边固定设有第一相机支架9,移动平台5与第一相机支架9相邻的侧边固定设有第二相机支架10。第一相机支架9上架设有第一组相机3,第二相机支架10上架设有第二组相机4,在移动平台5移动加工时,第一组相机3、第二组相机4相对于移动平台5的位置关系固定,不发生改变。优选的,第一组相机3的相机个数为两个及两个以上。优选的,第二组相机4的相机个数为两个机两个以上。第一组相机3的拍摄方向向着定位靶标1。第二组相机4的拍摄方向向着机械臂6且其拍摄视野能够完全覆盖机械臂6末端所有的移动范围。
移动平台5上还设有末端靶标2的和机械臂6。机械臂6固定设置在与第二组相机4相对、第一组相机相邻的移动平台5的一侧,机械臂6的末端固定设有末端靶标2,优选的,末端靶标2的个数为多个。
如图2所示,在移动机械臂加工平台7的工作范围之外设置有多个定位靶标1,每个定位靶标1位置的绝对值一定或者每个定位靶标1位置的绝对值都是可测量的。在布置定位靶标1时,需要并对每个定位靶标进行标号,然后用高精度测量设备对每个定位靶标1的空间绝对值位置进行测量,并记录测量得到的空间绝对值位置的数据,定位靶标1的空间绝对值位置信息是反算第一组相机3空间绝对值位置的依据,在本发明实施例里面,每个定位靶标1的空间绝对值位置的值都作为真实值使用。定位靶标1的放置要求为机械臂6在移动机械臂加工平台7的工作范围内的任一位置时,必须保证移动平台5上设置的第一组相机3的拍摄视野内有四个或四个以上不共面的定位靶标1,以此保证移动平台5在工作范围内移动到任意位置时,都能通过四个或者四个以上不共面的定位靶标1的绝对位置反算出第一组相机3的空间绝对位置。
如图3所示,工件8置于靠近机械臂6的一侧,机械臂6的工作空间位于靠近工件8的一侧。第一组相机3采用多目立体视觉的方法计算出相机重叠视野内定位靶标1与第一组相机3的相对位置关系,然后根据标号的定位靶标1与第一组相机3的相对位置计算出第一组相机3的空间绝对位置。
如图4所示,在计算出第一组相机3的空间绝对位置后,根据第一组相机3与第二组相机4的固定相对位置关系,可换算出第二组相机4的空间绝对位置。机械臂6的末端固定设有多个末端靶标2,第二组相机4的拍摄方向向着机械臂6且其拍摄视野能够完全覆盖机械臂6末端所有的移动范围。多个末端靶标2布置在机械臂6的末端,且在机械臂6工作运动到任意位置、任意姿态时,第二组相机4的拍摄视野内至少有四个或四个以上不共面的末端靶标2,以此保证机械臂6末端在工作范围内移动到任意位置时,都能通过已经计算得到第二组相机4的空间绝对位置以及采用多目立体视觉的方法计算出第二组相机4重叠视野内末端靶标2与第二组相机4的相对位置关系反算出四个或者四个以上不共面的末端靶标2的空间绝对位置,因为,如果知道空间未知点到空间内任意四个不共面的点的距离和这四个点的绝对坐标,可以计算出该未知点唯一的绝对坐标,所以机械臂6末端的位姿可以由四个不共面的末端靶标2的空间绝对位置计算出来,而机械臂末端的姿态可以由解算旋转矩阵得到。
本发明的定位计算方法具体如下:
步骤一:反算第一组相机空间绝对位置
如图5所示,第一组相机拍摄地面上的多个定位靶标,通过第一组相机和定位靶标之间的相对位置关系反求第一组相机的空间绝对位置。该问题可以简化为:设绝对坐标系为{A},第一组相机的坐标系为{B},已知绝对坐标系{A}下四点P1,P2,P3,P4的坐标和这四点在坐标系{B}下的描述,求坐标系{B}相对于绝对坐标系{A}的旋转矩阵和位置矢量AB0,已知绝对坐标系{A}下不共面的四点P1,P2,P3,P4的绝对坐标和这四点在相机坐标系{B}下的坐标,可以得到P1,P2,P3,P4到第一组相机坐标系{B}原点的距离为:d1,d2,d3,d4,该四点在绝对坐标系{A}下的描述为:
坐标系{B}相对于坐标系{A}的位姿可以用旋转矩阵和位置矢量AB0表示,由坐标系{B}的原点在绝对坐标系{A}下的坐标AB0和P1,P2,P3,P4在绝对坐标系{A}下的坐标可以建立空间中的勾股定理关系:
以上关系式中共有3个未知数即X0B,Y0B,Z0B,求解方程组可以得到X0B,Y0B,Z0B唯一的一组解,即坐标系{B}的原点在绝对坐标系{A}下的坐标AB0。旋转矩阵为:
旋转矩阵中的元素对应关系为:该矩阵共有9个未知数,这9个未知数满足正交条件的6个约束:
所以再提供三个约束即可求解出旋转矩阵。任取四个靶标中的一个例如P1,可建立方程:
方程中为P1在坐标系{B}下的描述,是相机测得的已知量,方程联立式(1),(2)即可求解出旋转矩阵。
步骤二:求第二组相机空间绝对位置
如图6所示,第一组相机和第二组相机固连在移动平台上,两组相机空间相对位置关系确定,那么坐标系{C}相对于坐标系{B}的位姿可以用旋转矩阵和位置矢量BC0表示,步骤一中计算出了第一组相机坐标系{B}在绝对坐标系{A}下的描述,所以通过空间坐标变换可以得到第二组相机的坐标系{C}在绝对坐标系{A}下的描述:旋转矩阵和位置矢量AC0。该问题可以简化为:第二组相机的坐标系为{C},经步骤一计算得到坐标系{B}在绝对坐标{A}下的描述为AB0,测量得到坐标系{C}相对于绝对坐标{B}的描述为BC0,要求坐标系{C}在绝对坐标{A}下的描述AC0
假设P1点在坐标系{C}下的描述为P1 C,则P1 C和P1 B的转换关系为:
由步骤一计算得到的AB0,可以得到P1 B和P1 A的转化关系为:
联立式(3),(4)可得P1 C和P1 A的转换关系为:
式中为旋转矩阵记为代表第二组相机的坐标系{C}相对于绝对坐标系{A}的空间旋转变换。为位置矢量记为AC0,代表第二组相机的坐标系{C}相对于绝对坐标系{A}的空间位置变换。推广到一般形式,第二组相机测得的任意点Pi C可以由以下式子转化成绝对坐标系下的空间绝对位置描述:
步骤三:求末端靶标空间绝对位置
如图7所示,第二组相机测得任意四个末端靶标在坐标系{C}下的空间相对位置,通过坐标变换将这四个靶标表述成坐标系{A}下的空间绝对位置,该问题可以简化为:已知四点P5,P6,P7,P8在坐标系{C}下的描述为求这四点在绝对坐标{A}下的描述由于求解四个靶标的空间位置和求解一个靶标的空间位置方法相同,所以仅以P5点为例进行分析,设P5点在坐标系{C}下的描述为由步骤二中推导出的式(5)可知坐标系{C}下任意点Pi C到绝对坐标系{A}下Pi A的转化关系为:
代入到该式,可得P5绝对坐标为:
靶标P6,P7,P8绝对坐标的求解与此同理,求解出了机械臂末端的四个靶标的空间位置,机械臂末端的空间位置和姿态也就可以通过这四个点表述出来。
步骤四:求机械臂末端空间位置和姿态
计算得到四个末端靶标P5,P6,P7,P8的空间绝对位置后,因为这四个点是固定在机械臂末端的,所以这四个点和机械臂末端坐标系{D}的关系是确定的,可以通过这四个点的空间绝对位置求出机械臂末端的空间绝对位置和姿态。该问题可简化为:已知P5,P6,P7,P8四点在绝对坐标系{A}下的描述和这四点在机械臂末端坐标系{D}下的描述为要求坐标系{D}在坐标系{A}下的描述AD0,参考图8:
如图8所示,人为规定一个机械臂末端坐标系{D},该坐标系的原点和方向反映了机械臂末端的位置和姿态,P5,P6,P7,P8这四点在标系{D}下的坐标可离线测量得到,因为四个点与坐标系{D}的相对位置关系不变,可以得到P5,P6,P7,P8到机械臂末端坐标系{D}原点的距离为固定值:d5,d6,d7,d8。由步骤三可以得到P5,P6,P7,P8四点在绝对坐标系{A}下的描述为记作:
建立空间中的勾股定理关系:
以上关系式中共有3个未知数即X0D,Y0D,Z0D,求解方程组可以得到X0D,Y0D,Z0D唯一的一组解,即坐标系{D}的原点在绝对坐标系{A}下的坐标AD0
旋转矩阵旋转矩阵中的元素对应关系为:该矩阵共有9个未知数,这9个未知数满足正交条件的6个约束:
所以再提供三个约束即可求解出旋转矩阵。任取四个靶标中的一个例如P5,可建立方程:
方程中为P5在坐标系{D}下的描述,是安装末端靶标以后离线测量的已知量,方程联立式(6),(7),(8)即可求解出旋转矩阵
至此,机械臂末端坐标系{D}在绝对坐标系{A}下的描述AD0已经全部求解出来,AD0反映的是机械臂末端坐标系原点的空间绝对位置,反映的是机械臂末端坐标系相对于绝对坐标系旋转变换后的姿态信息。
本发明的一种基于视觉的移动机械臂末端定位装置的工作过程为:
在移动机械臂加工平台7的工作范围之外设置有多个定位靶标1,并对每个定位靶标进行标号,然后采用高精度测量设备对每个定位靶标1的空间绝对值位置进行测量,并记录测量得到的定位靶标1的空间绝对值位置的数据。
机械臂6工作时,机械臂6随移动平台5移动,且机械臂6末端的姿态和空间绝对位置随工件加工需要发生改变,第一组相机3对定位靶标1进行拍摄并采用多目立体视觉的方法计算出相机重叠视野内定位靶标1与第一组相机3的相对位置关系,然后根据标号的定位靶标1与第一组相机3的相对位置计算出第一组相机3的空间绝对位置。
根据第一组相机3与第二组相机4的固定的相对位置关系,可换算出第二组相机4的空间绝对位置。同时,第二组相机4对末端靶标2进行拍摄并通过已经计算得到第二组相机4的空间绝对位置以及采用多目立体视觉的方法计算出第二组相机4重叠视野内末端靶标2与第二组相机4的相对位置关系反算出四个或者四个以上不共线的末端靶标2的空间绝对位置,从而得到机械臂6末端的空间绝对位置,从而实现对机械臂末端的定位。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视觉的移动机械臂末端定位装置,包括设于工件(8)外侧的移动机械臂加工平台(7),其特征在于,所述移动机械臂加工平台(7)工作范围的外周设有若干定位靶标(1);所述移动机械臂加工平台(7)包括移动平台(5)、机械臂(6)、第一组相机(3)及第二组相机(4),所述机械臂(6)设于所述移动平台(5)上,所述机械臂(6)的端部设有多个末端靶标(2),所述第一组相机(3)设置在所述机械臂(6)的旁侧,所述第二组相机(4)设置在与所述机械臂(6)相对的一侧,且所述第一组相机(3)的拍摄视野内至少有四个或四个以上不共面的所述定位靶标(1),所述第二组相机(4)的拍摄视野内至少有四个或四个以上不共面的所述末端靶标(2)。
2.根据权利要求1所述的一种基于视觉的移动机械臂末端定位装置,其特征在于,所述第一组相机(3)的相机数量≥2,且多个相机相互配合用于获得所述定位靶标(1)与所述第一组相机(1)的空间相对位置关系。
3.根据权利要求1所述的一种基于视觉的移动机械臂末端定位装置,其特征在于,所述第二组相机(4)的相机数量≥2,且多个相机相互配合用于获得所述末端靶标(2)与所述第二组相机(4)的空间相对位置关系。
4.根据权利要求1所述的一种基于视觉的移动机械臂末端定位装置,其特征在于,所述定位靶标(1)的布置形式为网格方式、几何阵列方式或随机分布方式。
5.根据权利要求1-4中任一项所述的一种基于视觉的移动机械臂末端定位装置,其特征在于,所述第二组相机(4)的摄像方向朝向所述机械臂(6)且其拍摄视野覆盖所述机械臂(6)末端所有移动范围。
6.根据权利要求1-5中任一项所述的一种基于视觉的移动机械臂末端定位装置,其特征在于,所述定位靶标(1)和所述末端靶标(2)为全向反光的荧光靶球、平面编码标志点或平面二维码。
7.根据权利要求1-6中任一项所述的一种基于视觉的移动机械臂末端定位装置,其特征在于,所述第一组相机(3)与所述第二组相机(4)之间的位置关系固定。
8.一种基于视觉的移动机械臂末端定位方法,其特征在于,应用如权利要求1-7中任一项所述的基于视觉的移动机械臂末端定位装置实现,包括如下步骤:
S1:在所述移动机械臂加工平台(7)的工作范围外周设置多个所述定位靶标(1),并对所述定位靶标(1)进行标号,然后对所述定位靶标(1)的空间绝对值位置进行测量,并记录所述定位靶标(1)对应的空间绝对值位置;
S2:在所述机械臂(6)的末端设置多个所述末端靶标(2),并对所述末端靶标(2)进行标号,测量所述每个末端靶标(2)相对于机械臂(6)的末端的相对位置并记录;
S3:测量所述第一组相机(3)与所述第二组相机(4)的相对位置关系;
S4:所述第一组相机(3)对所述定位靶标(1)进行拍摄,并计算拍摄视野内所述定位靶标(1)与所述第一组相机(3)的相对位置关系,然后根据所述定位靶标(1)与所述第一组相机(3)的相对位置计算出所述第一组相机(3)的空间绝对位置;
S5:所述第二组相机(4)对所述末端靶标(2)进行拍摄,并计算拍摄视野内所述第二组相机(4)与所述末端靶标(2)的相对位置关系;
S6:根据S3测量的所述第一组相机(3)与所述第二组相机(4)的相对位置关系和S4计算得到的所述第一组相机(3)的空间绝对位置计算出所述第二组相机(4)的空间绝对位置;
S7:根据S6计算得到的所述第二组相机(4)的空间绝对位置以及S5得到的所述末端靶标(2)与所述第二组相机(4)的相对位置关系,计算得到所述末端靶标(2)的空间绝对位置;
S8:根据S7得到的所述末端靶标(2)的空间绝对位置反算出所述机械臂(6)的末端的位姿。
9.根据权利要求8所述的一种基于视觉的移动机械臂末端定位方法,其特征在于,所述步骤S4中所述第一组相机(3)的空间绝对位置通过如下步骤获得:
S41:设所述定位靶标(1)绝对坐标系为{A},所述第一组相机(3)的坐标系为{B},
S42:测得所述绝对坐标系{A}下点Pi(XiA,YiA,ZiA)在坐标系{B}下的坐标为(XiB,YiB,ZiB),Pi到坐标系{B}原点的距离为di;
S43:将Pi在绝对坐标系{A}下的位置描述为:将Pi在绝对坐标系{B}下的位置描述为:
S44:用位置矢量表示坐标系{B}相对于坐标系{A}的位置变化,根据勾股定理关系式:
(X0B-XiA)2+(Y0B-YiA)2+(Z0B-ZiA)2=di2
求解出位置矢量AB0
S45:用旋转矩阵表示坐标系{B}相对于坐标系{A}的姿态,建立正交约束条件:
Pi A和Pi B满足空间变换关系:
联立式子(1)、(2)求解出旋转矩阵
CN201810737223.4A 2018-07-06 2018-07-06 一种基于视觉的移动机械臂末端定位装置及方法 Active CN109129463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810737223.4A CN109129463B (zh) 2018-07-06 2018-07-06 一种基于视觉的移动机械臂末端定位装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810737223.4A CN109129463B (zh) 2018-07-06 2018-07-06 一种基于视觉的移动机械臂末端定位装置及方法

Publications (2)

Publication Number Publication Date
CN109129463A true CN109129463A (zh) 2019-01-04
CN109129463B CN109129463B (zh) 2020-10-16

Family

ID=64799839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810737223.4A Active CN109129463B (zh) 2018-07-06 2018-07-06 一种基于视觉的移动机械臂末端定位装置及方法

Country Status (1)

Country Link
CN (1) CN109129463B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110065056A (zh) * 2019-04-19 2019-07-30 苏州市大华精密机械有限公司 无轨移动式机械操作手的定位系统
CN110243376A (zh) * 2019-06-28 2019-09-17 湖南三一快而居住宅工业有限公司 一种室内定位方法以及室内定位系统
CN111623750A (zh) * 2020-07-03 2020-09-04 招商局重庆交通科研设计院有限公司 隧道结构位移近景摄影靶向监测系统
CN112720490A (zh) * 2020-12-26 2021-04-30 上海有个机器人有限公司 一种基于多机器人的位置融合感知方法和系统
CN114227385A (zh) * 2021-12-22 2022-03-25 枣庄北航机床创新研究院有限公司 一种分布式加工系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0304342A3 (en) * 1987-08-21 1990-08-22 Westinghouse Electric Corporation Method and apparatus for autonomous vehicle guidance
EP0367526B1 (en) * 1988-10-31 1996-01-31 Texas Instruments Incorporated Closed-loop navigation system for mobile robots
CN103606147A (zh) * 2013-11-06 2014-02-26 同济大学 多台不共视场量测相机的坐标系转换标定方法
CN104688351A (zh) * 2015-02-28 2015-06-10 华南理工大学 一种基于两个双目视觉系统的手术器械无遮挡定位方法
CN104723318A (zh) * 2015-03-10 2015-06-24 苏州英达瑞机器人科技有限公司 自主工作机器人系统
CN204673603U (zh) * 2015-05-18 2015-09-30 安徽新境界自动化技术有限公司 一种基于视觉识别吸取的移动机器人
US20180088586A1 (en) * 2016-09-26 2018-03-29 X Development Llc Identification Information for Warehouse Navigation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0304342A3 (en) * 1987-08-21 1990-08-22 Westinghouse Electric Corporation Method and apparatus for autonomous vehicle guidance
EP0367526B1 (en) * 1988-10-31 1996-01-31 Texas Instruments Incorporated Closed-loop navigation system for mobile robots
CN103606147A (zh) * 2013-11-06 2014-02-26 同济大学 多台不共视场量测相机的坐标系转换标定方法
CN104688351A (zh) * 2015-02-28 2015-06-10 华南理工大学 一种基于两个双目视觉系统的手术器械无遮挡定位方法
CN104723318A (zh) * 2015-03-10 2015-06-24 苏州英达瑞机器人科技有限公司 自主工作机器人系统
CN204673603U (zh) * 2015-05-18 2015-09-30 安徽新境界自动化技术有限公司 一种基于视觉识别吸取的移动机器人
US20180088586A1 (en) * 2016-09-26 2018-03-29 X Development Llc Identification Information for Warehouse Navigation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭帅: "轮式移动机器人对航空大部件进行批量钻铆时的末端定位研究", 《工业控制计算机》 *
陶波等: "大型复杂构件机器人移动加工技术研究", 《中国科学:科学技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110065056A (zh) * 2019-04-19 2019-07-30 苏州市大华精密机械有限公司 无轨移动式机械操作手的定位系统
CN110065056B (zh) * 2019-04-19 2021-04-27 苏州市大华精密机械有限公司 无轨移动式机械操作手的定位系统
CN110243376A (zh) * 2019-06-28 2019-09-17 湖南三一快而居住宅工业有限公司 一种室内定位方法以及室内定位系统
CN111623750A (zh) * 2020-07-03 2020-09-04 招商局重庆交通科研设计院有限公司 隧道结构位移近景摄影靶向监测系统
CN112720490A (zh) * 2020-12-26 2021-04-30 上海有个机器人有限公司 一种基于多机器人的位置融合感知方法和系统
CN114227385A (zh) * 2021-12-22 2022-03-25 枣庄北航机床创新研究院有限公司 一种分布式加工系统

Also Published As

Publication number Publication date
CN109129463B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN109129463A (zh) 一种基于视觉的移动机械臂末端定位装置及方法
CN109990701B (zh) 一种大型复杂曲面三维形貌机器人移动测量系统及方法
CN108012325B (zh) 一种基于uwb和双目视觉的导航定位方法
CN104515478B (zh) 一种高精度的航空发动机叶片自动三维测量方法和系统
CN110695993B (zh) 一种柔性机械臂同步测量方法、系统及装置
CN110421562A (zh) 基于四目立体视觉的机械臂标定系统和标定方法
CN104819707B (zh) 一种多面体主动光标靶
CN112325796A (zh) 基于辅助定位多视角点云拼接的大型工件型面测量方法
CN109115191B (zh) 全站仪多方位坐标测量方法
CN102126162B (zh) 一种数控机床加工在线测量方法
CN108132029B (zh) 一种卫星天线展开系统装配的精测方法及装置
CN110148187A (zh) 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN109341532A (zh) 一种面向自动装配的基于结构特征的零件坐标标定方法
CN110962127B (zh) 一种用于机械臂末端位姿辅助标定装置及其标定方法
CN110695982A (zh) 一种基于三维视觉的机械臂手眼标定方法和装置
Deng et al. Long-range binocular vision target geolocation using handheld electronic devices in outdoor environment
CN111811400A (zh) 一种基于agv与激光跟踪仪的组合定位装置及方法
CN113843798A (zh) 一种移动机器人抓取定位误差的纠正方法、系统及机器人
Peng et al. Development of an integrated laser sensors based measurement system for large-scale components automated assembly application
CN108225371B (zh) 一种惯导/相机安装误差标定方法
CN113028990B (zh) 一种基于加权最小二乘的激光跟踪姿态测量系统及方法
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN109238246A (zh) 基于全周角度约束的多站多点自适应六自由度测量方法
CN114083530B (zh) 工件坐标系标定系统及方法
Fan et al. Binocular vision and priori data based intelligent pose measurement method of large aerospace cylindrical components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant