CN114055444A - 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质 - Google Patents

机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质 Download PDF

Info

Publication number
CN114055444A
CN114055444A CN202111290387.5A CN202111290387A CN114055444A CN 114055444 A CN114055444 A CN 114055444A CN 202111290387 A CN202111290387 A CN 202111290387A CN 114055444 A CN114055444 A CN 114055444A
Authority
CN
China
Prior art keywords
coordinate system
robot
plane
image
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111290387.5A
Other languages
English (en)
Other versions
CN114055444B (zh
Inventor
姜峣
陈志远
李铁民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Publication of CN114055444A publication Critical patent/CN114055444A/zh
Application granted granted Critical
Publication of CN114055444B publication Critical patent/CN114055444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质。机器人的测量控制方法包括：控制所述机器人的机械臂末端的测量元件对所述机器人抓取的被抓物体的位姿和尺寸至少之一进行测量。机器人可对抓取后的被抓物体进行位姿和/或尺寸的测量，以便更好地获知抓取后的被抓物体的位姿和/或尺寸，便于对被抓物体进行后续的叠放等操作。提供对机器人的测距元件进行标定，以避免装配、制造误差等对测距元件的测量功能的影响，有助于提高机器人的测量精度和操作精度。

Description

机器人及其控制方法和控制装置、标定方法和标定控制装置、 存储介质
技术领域
本申请涉及但不限于机器人技术领域，特别涉及一种机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质。
背景技术
被抓物体6D(自由度)位姿测量在机器人抓取与操作等领域具有重要意义。在常见的非结构化环境中，一般采取在机械臂末端安装视觉传感器，基于计算机视觉技术获取被抓物体的位姿信息。但是由于在某些应用中，比如移动机器人在进行抓取与装配等操作时，特别地，建筑领域的移动式建筑机器人不可避免地会因为地面崎岖导致机器人基座晃动，这样当前时刻基于视觉获得的被抓物体位姿信息在下一时刻就可能因为基座的晃动变得不再准确，机械臂可以抓起被抓物体，但是实际抓取位姿和理论抓取位姿有偏差，使得抓在手上的被抓物体位姿和理想位姿有偏差，影响抓取任务之后的对抓起的被抓物体进行装配如砌墙等任务的操作精度；在待抓取被抓物体表面光滑或者抓取位置凹凸不平可能会导致机械臂末端执行器在抓取点发生滑动，同样地，机械臂可以抓起被抓物体，但是抓在手上的位置和理想位置有偏差，影响最终操作精度。
同时，即使抓取位姿达到理想情况，但是零件的尺寸并非理想值，零件上的装配特征等自然也并非理想值，这会影响机器人对该零件进行后续装配等操作。因此，机器人在执行任务过程中，需要实现对被抓物体尺寸信息进行在线测量，以保证更高级别的操作精度。
发明内容
以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种机器人的测量控制方法，包括：
控制所述机器人的机械臂末端的测量元件对所述机器人抓取的被抓物体的位姿和尺寸至少之一进行测量。
本申请实施例还提供了一种机器人的控制装置，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的控制方法的步骤。
本申请实施例还提供了一种非瞬态计算机可读的存储介质，所述存储介质上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的控制方法的步骤。
本申请实施例还提供了一种机器人，包括：基座、安装在所述基座上的机械臂、设置在所述机械臂的机械臂末端的测量元件、以及上述的机器人的控制装置。
本申请实施例还提供了一种机器人的标定方法，包括：
调整所述机器人的机械臂末端相对标定件的位置；
控制所述机械臂末端的测距元件测量其测量起始点到所述标定件的距离，控制所述机械臂末端的双目相机采集所述标定件的图像；
重复进行所述测距元件的测距和所述双目相机的采集图像的步骤、以及调整所述机械臂末端相对所述标定件的位置的步骤；
根据所述测距元件多次测量的距离、所述双目相机多次采集的图像、以及所述双目相机和所述机械臂末端的相对位置，获得所述测距元件的测距方向与所述机械臂末端的末端坐标系的一个坐标轴之间的夹角、以及所述测量起始点在所述末端坐标系的坐标值。
本申请实施例还提供了一种机器人的标定控制装置，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的标定方法的步骤。
本申请实施例还提供了一种非瞬态计算机可读的存储介质，所述存储介质上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的标定方法的步骤。
本申请实施例的方案，机器人可对抓取后的被抓物体进行位姿和/或尺寸的测量，以便更好地获知抓取后的被抓物体的位姿和/或尺寸，便于对被抓物体进行后续的更高精度地叠放等装配操作。
本申请实施例的方案，可以对机器人的测距元件进行标定，以避免装配、制造误差等对测距元件的测量功能的影响，有助于提高机器人的测量精度和操作精度。
本申请的其它特征和优点将在随后的说明书中阐述。
附图说明
图1为本申请实施例的机器人的结构示意图；
图2为本申请实施例的机器人的测距元件进行测距的示意图；
图3为本申请实施例的机器人的测距元件的测距方向与机械臂末端的末端坐标系之间的关系的示意图；
图4为本申请实施例的联合空间平面和图像数据将像素坐标映射到相机坐标系下坐标的示意图。
图5a为图2中F部的结构示意图；
图5b为本申请实施例的机器人进行尺寸测量的示意图；
图6为本申请实施例的机器人的第三图像采集元件进行图像采集的示意图；
图7为本申请第一个实施例的机器人的进行标定的结构示意图；
图8为本申请第二个实施例的机器人的进行标定的一种结构示意图；
图9为本申请第二个实施例的机器人的进行标定的另一种结构示意图；
图10为本申请第三个实施例的机器人的进行标定的一种结构示意图；
图11为本申请第三个实施例的机器人的进行标定的另一种结构示意图；
图12为本申请第四个实施例的机器人的进行标定的一种结构示意图；
图13为本申请第四个实施例的机器人的进行标定的另一种结构示意图；
图14为本申请第四个实施例的机器人的进行标定的标定球面的结构示意图；
图15为本申请一个实施例的机器人的测量控制方法的流程示意图；
图16为本申请另一个实施例的机器人的测量控制方法的流程示意图；
图17为本申请一个实施例的机器人的标定控制方法的流程示意图。
附图标记为：
1-机械臂；101-机械臂末端；2-法兰；3-基板；4-测距元件；5-第一图像采集元件；6-第二图像采集元件；7-第三图像采集元件；8-第一安装座；9-气动吸盘；10-第二安装座；11-被抓物体；111-第一平面；112-第三平面；12-双目相机。
具体实施方式
下文中将结合附图对本申请的实施例进行描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在一些场景中，需要对机器人抓取到的被抓物体进行尺寸信息的获取，方便对被抓物体进行后续精确操作。比如在机器人货品抓取与码垛场景中，需要将所有货品按照不同尺寸信息堆放在一起；在机器人自主砌墙场景中，由于长方体砖块尺寸不尽相同，在机器人抓起砖块后，有必要对砖块实际尺寸进行测量，依据尺寸信息和控制策略将砖块砌在不同的位置，以及将尺寸不符合当前操作的砖块暂时丢弃。
用于测量被抓物体6D位姿与尺寸信息的测量元件安装在机械臂末端，这必须进行手眼标定才能将获取的位姿信息转换到机械臂基座坐标系下，进而控制机械臂精准操作。
基于此，提出一种机器人末端手内物体6D位姿与尺寸测量单元变得十分有意义，同时，提出一种简单巧妙的通用标定方法十分有必要。
如图1示，本实施例提供了一种机器人的测量控制方法。其中，机器人包括底座、安装在底座上的机械臂、以及安装在机械臂末端的测量元件。
如图15所示，该控制方法包括：
S100：控制机器人的机械臂末端的测量元件对机器人抓取的被抓物体的位姿和尺寸至少之一进行测量。
机器人的机械臂末端的执行器抓取被抓物体后，可控制测量元件对抓取后的被抓物体(即手内物体)进行位姿和/或尺寸的测量，以便更好地获知机器人手内物体的位姿和/或尺寸，便于对被抓物体进行后续的高精度装配、叠放等操作。
一些示例性实施例中，如图16所示，对机器人抓取的被抓物体的位姿进行测量，包括：
S102：控制至少三个测距元件测量至少三个测距元件的测量起始点到被抓物体的第一平面的距离。
如图2所示，下面以被抓物体为长方体状为例进行说明。基于计算机视觉等方式，机械臂抓取被抓物体后，启动至少三个(如四个)测距元件(如：激光测距元件或超声波测距元件或红外测距元件等)，并返回每个测距元件的参考点(测量起始点，即测距元件的坐标系原点)到被抓物体的第一平面(如长方体的顶面)的距离。如：测距元件为激光测距元件时，测距元件所发射的激光照射在该顶第一平面上形成一个光斑，该光斑的所在的位置即为第一平面上的一个测量点，测距元件测量的距离即为参考点与测量点之间的距离。
S104：根据至少三个测距元件测得的距离、至少三个测距元件与机械臂末端之间的位置关系、以及机械臂末端与第一图像采集元件之间的位置关系，获得第一平面在第一图像采集元件的第一图像采集元件坐标系中的平面方程。
如图2所示，以一个测距元件为例，假设测距元件的参考点为M，在第一平面上形成的测量点为N，返回的距离值为L，则测量点在机械臂末端的末端坐标系中的齐次坐标表示为：
Figure BDA0003334674810000051
式中，(Xe,Ye,Ze)是测量点N在末端坐标系中的坐标；L代表测距元件返回的距离值，(θx，θy，θz)是测距元件的测距方向和末端坐标系的z轴之间的角度(如图3所示)，平移矢量(tx,ty,tz)是测距元件的参考点M在末端坐标系下的坐标值。
记第一图像采集元件(如相机等)的第一图像采集元件坐标系(相机坐标系)到末端坐标系之间的齐次变换矩阵为endTcam1，其逆矩阵cam1Tend表示末端坐标系到第一图像采集元件坐标系的齐次变换矩阵，则测量点N在第一图像采集元件坐标系下的齐次坐标表示为：
Figure BDA0003334674810000061
式中，(Xc,Yc,Zc)是测量点N在第一图像采集元件坐标系中的三维坐标。
当获得至少三个(如四个)测距元件的测量点在第一图像采集元件坐标系下的坐标后，四个测量点分别记为I1、I2、I3、I4。利用最小二乘拟合获取被抓物体的第一平面在第一图像采集元件坐标系下的平面方程，记为π：Ax+By+Cz+D＝0。
S106：控制第一图像采集元件采集第一平面的第一图像。
S108：获取第一图像上的多个视觉特征，并根据第一平面在第一图像采集元件坐标系中的平面方程，获取多个视觉特征在第一图像采集元件坐标系中的表示。
如图5a所示，第一图像上的多个视觉特征包括第一平面(长方体的顶面)的顶点O、长边OX、短边OY。不论是O点还是OX、OY线段，我们通过第一图像采集元件得到的都是这些视觉特征在第一图像采集元件的像素坐标系下的坐标表示，需要将这些视觉特征表示在第一图像采集元件的第一图像采集元件坐标系下。这里提供两种方法。
一种方法为：根据第一平面在第一图像采集元件坐标系中的平面方程，获取多个视觉特征在第一图像采集元件坐标系中的表示，包括：
S1082：根据第一图像采集元件的内参矩阵，建立多个视觉特征的像素点在第一图像中的像素坐标与在第一图像采集元件坐标系中的空间坐标之间的关系；和
S1084：根据第一平面在第一图像采集元件坐标系中的平面方程，获得多个视觉特征的像素点在第一图像采集元件坐标系中的表示。
利用第一图像采集元件的成像模型：
Figure BDA0003334674810000071
K是第一图像采集元件的内参矩阵。
建立第一图像采集元件的像素坐标与第一图像采集元件坐标系中的空间坐标之间关系，可以得到两个方程：
Zcu＝fxXc+cxZc
Zcv＝fyYc+cyZc
又因为第一图像采集元件坐标系中的被抓物体的第一平面的平面方程π：Ax+By+Cz+D＝0，即像素坐标系下观察到的视觉特征在第一图像采集元件坐标系的表示都位于平面π内。因此，可以构建方程组：
Figure BDA0003334674810000072
至此，可以将视觉特征在第一图像采集元件的像素坐标系下的像素坐标转换到第一图像采集元件的第一图像采集元件坐标系下。
另一种方法为：根据第一平面在第一图像采集元件坐标系中的平面方程，获取多个视觉特征在第一图像采集元件坐标系中的表示，包括：
S1082’：对第一图像采集元件坐标系中沿第一图像采集元件的光轴方向上的一维坐标进行归一化处理，获得归一化平面；
S1084’：根据第一图像采集元件的内参矩阵，建立多个视觉特征的像素点在第一图像中的像素坐标与在归一化平面上的归一化坐标之间的关系；和
S1086’：根据第一图像采集元件的成像中心点以及多个视觉特征的一个像素点的归一化坐标确定一条射线，根据射线与第一平面的交点，获得该像素点在第一图像采集元件坐标系中的坐标表示。
如图4所示，第一图像采集元件成像过程中，如果除掉第一图像采集元件坐标系下坐标点P的最后一维数值，这相当于把最后一维进行归一化处理，得到P在归一化平面上的投影(即归一化坐标)：P[Xc,Yc,Zc]T→P’[Xc/Zc,Yc/Zc,1]T。
归一化坐标可以看成第一图像采集元件前方z＝1处的平面上的一个点。根据第一图像采集元件的成像模型，像素坐标左乘第一图像采集元件的内参矩阵的逆，就可以得到归一化坐标：
Figure BDA0003334674810000081
归一化坐标与第一图像采集元件的成像点的中心点(也就是第一图像采集元件坐标系的原点(0,0,0))确定了一条射线(图4中的虚线所示)，检测到的视觉特征位于第一平面π上。计算这条射线与平面π的交点，就能确定视觉特征的像素点对应的在第一图像采集元件坐标系下的坐标，进而构建第一图像采集元件坐标系下的视觉特征表示。
S110：根据机械臂末端与第一图像采集元件之间的位置关系、以及机械臂末端与安装机械臂的基座之间的位置关系，获取多个视觉特征在基座的基座坐标系中的表示。
利用第一图像采集元件采集被抓物体的第一平面的视觉特征，此处以抓取的被抓物体是长方体为例进行说明，其视觉特征是其长方形的顶面的长边和短边。如图5a所示，获取长边OX和短边OY这两个直线特征后，将其交点O定为物体坐标系原点，沿着长边OX方向建立物体坐标系的X轴，沿着短边OY方向建立物体坐标系的Y轴，得到物体坐标系(O-XobjYobjZobj)。即，在第一平面呈矩形状时，物体坐标系的原点为矩形的一个顶点，物体坐标系为三维笛卡儿坐标系，物体坐标系的两个坐标轴分别沿矩形的长边和短边。
应当理解，被抓物体的第一平面不限于为矩形，还可以为其他形状，可以寻找第一平面上的其他视觉特征，甚至可以手动加工出视觉特征。比如第一平面为圆形或者第一平面上设有圆形特征，获取该圆形上的多个视觉特征，那么可以以圆心为物体坐标系的原点。即在第一平面呈圆形状或者多个视觉特征为圆形上的多个视觉特征时，以圆形的圆心为原点，两个垂直的半径方向为两个垂直的坐标轴，建立物体坐标系。
至此，物体坐标系的原点以及X轴、Y轴、Z轴都可以表示在第一图像采集元件坐标系中，被抓物体相对第一图像采集元件的位姿关系可以得到，记物体坐标系到第一图像采集元件坐标系的齐次变换矩阵为cam1Tobj。
利用第一图像采集元件坐标系到末端坐标系之间的齐次变换矩阵为endTcam1以及机器人运动学(从机器人的控制装置获取末端坐标系到机械臂的基座的基座坐标系的齐次变换矩阵baseTend)，计算出物体坐标系到基座坐标系的齐次变换矩阵：
baseTobj＝baseTend endTcam1 cam1Tobj
至此，可以根据多个视觉特征建立物体坐标系，并获取物体坐标系在所述基座的基座坐标系中的表示。即，被抓物体在基座坐标系下的6D位姿信息可以获取。当然，也可以将多个视觉特征表示在机械臂末端的末端坐标系中，将根据多个视觉特征建立的物体坐标系表示在机械臂末端的末端坐标系中，这样最终测出的被抓物体的位姿就是相对机械臂末端的，当控制机械臂时，只需结合从控制器读取的机械臂末端相对于机械臂的基座之间的位姿，就可以将被抓物体的位姿转换到基座坐标系下。
至此，被抓物体在机器人手内的6D位姿测量已经完成。由于被抓物体此时与机械臂末端是一种刚性连接，该手内6D位姿测量帮助机器人获取了被抓物体的精确位姿信息，有助于机器人后续对被抓物体进行进一步的精准操作。
应当理解，位姿的测量适用于具有平面且平面上有明显视觉特征的被抓物体，曲率较小的曲面(如飞机机身部件对接处的壁板外形为马鞍或双曲面)，在局部范围内也可近似视为平面处理。
一些示例性实施例中，测量元件还包括设置在机械臂末端的第二图像采集元件。
如图16所示，对机器人抓取的被抓物体的尺寸进行测量，包括：
S202：控制第二图像采集元件采集被抓物体的第一平面的第二图像；
S204：获取第一图像和第二图像上的关于第一平面的多个轮廓点；
S206：根据机械臂末端与第一图像采集元件之间、机械臂末端与第二图像采集元件之间、以及机械臂末端与基座之间的位置关系，获取第一平面的多个轮廓点在基座坐标系中的表示，以获得第一平面的尺寸。
根据前述，可以根据第一图像采集元件采集的被抓物体的顶面(第一平面)的图像，获取末端坐标系下，第一平面左下角点A(见图2和图5b)的坐标，以及以该左下角点A为起点的长边和短边的方向向量。类似地，可以获取被抓物体的顶面的右上角点B(见图2和图5b)在第二图像采集元件的第二坐标系下的坐标，以及以该右上角点B为起点，长边和短边方向在第二图像采集元件的第二坐标系下的方向向量，经过第二图像采集元件坐标系到末端坐标系的齐次变换矩阵，可以得到被抓物体的顶面的右上角点B在末端坐标系下的坐标，以及该角点B为起点，长边和短边的方向向量。至此，获取了第一平面的左上角点A和右下角点B在末端坐标系下的坐标，以及两组长边和短边方向向量。根据图5b，在已知被抓物体形状为长方体的情况下，可以得到被抓物体的长L和宽W。
在此说明，尺寸测量建立在被抓物体的形状已知的前提下。本申请采用长方体被抓物体为例进行说明。实际上，想要测量任何已知形状的被抓物体的尺寸时，都可以借鉴这种测量思想。
一些示例性实施例中，被抓物体还具有第二平面和第三平面，第二平面与第一平面平行，第三平面设置在第一平面和第二平面之间，且第三平面与第一平面垂直，也与第二平面垂直。如：长方体状的被抓物体，其第二平面为底面，第三平面可为前侧面。
测量元件还包括设置在机械臂末端的第三图像采集元件，可以采集第三平面的图像。
如图16所示，对机器人抓取的被抓物体的尺寸进行测量，还包括：
S208：控制第三图像采集元件采集被抓物体的第三平面的第三图像；
S210：根据第三平面的图像、机械臂末端与第三图像采集元件之间的位置关系、以及被抓物体与机械臂末端之间的位置关系，获取第三平面的高度。
根据图5a，我们可以获取被抓物体顶面的棱OX，因为被抓物体是长方体，被抓物体的前侧面(第三平面)与顶面(第一平面)是两个垂直的平面。根据前述，已经得到被抓物体顶面的平面方程π，所以自然可以构建出被抓物体的前侧面在末端坐标系下的平面方程。
根据第三图像采集元件与机械臂末端的位姿关系，可以得到被抓物体的前侧面在第三图像采集元件的第三图像采集元件坐标系下的平面方程π*。
参考图4和图5a解释的原理，可以得到长方体被抓物体的高H1H2(如图6所示)上任一点在第三图像采集元件坐标系中的坐标表示，进一步，即获取了被抓物体的高度值。
至此，得到了被抓物体的实际尺寸。机械臂可根据该被抓物体的实际尺寸信息，对被抓物体进行后续精确操作。
本申请实施例还提供了一种机器人的控制装置，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述的控制方法的步骤。
本申请实施例还提供了一种机器人，如图1所示，包括：基座、安装在基座上的机械臂1、设置在机械臂1的机械臂末端101的测量元件、以及上述的机器人的控制装置。
一些示例性实施例中，测量元件包括至少三个测距元件4、第一图像采集元件5、第二图像采集元件6和第三图像采集元件7。
测距元件4为激光测距元件或超声波测距元件或红外测距元件；
第一图像采集元件5、第二图像采集元件6和第三图像采集元件7为相机，且第一图像采集元件5和第二图像采集元件6的图像采集端均朝向第一侧，第三图像采集元件7的图像采集端均朝向第二侧。
如图1所示，本实施例提供了一种机器人，结构如下。
机器人具有底座和安装在底座上的机械臂1。基板3通过法兰2与机械臂末端101连接，各个测量元件安装在基板3上。末端执行器可为气动吸盘9，气动吸盘9固定在第二安装座10上，第二安装座10与基板3固定连接，且法兰2和第二安装座10分别位于基板3的两侧。
其中，测量元件可包括至少三个(如四个)测距元件(Range Finder)4，测距元件4可以为激光测距元件、红外测距元件、超声波测距元件等等。
测量元件还可包括三个图像采集元件，图像采集元件可为相机。第一图像采集元件5和第二图像采集元件6直接安装在基板3上，其视野(图像采集端)朝向气动吸9盘所在的一侧(即图中的下侧)，用于拍摄被抓物体11的顶面(第一平面111)的图像；第三图像采集元件7固定在第一安装座8上，第一安装座8固定于基板3，第三图像采集元件7的视野朝向被抓物体11的侧面(第三平面112)，用于拍摄被抓物体11的侧面的图像。
本申请实施例还提供了一种机器人的标定方法，如图17所示，包括：
S302：调整机器人的机械臂末端相对标定件的位置；
S304：控制机械臂末端的测距元件测量其测量起始点到标定件的距离，控制机械臂末端的双目相机采集标定件的图像；
S306：重复进行调整机械臂末端相对标定件的位置的步骤，以及进行测距元件的测距和双目相机的采集图像的步骤；
S308：根据测距元件多次测量的距离、双目相机多次采集的图像、以及双目相机和机械臂末端的相对位置，获得测距元件的测距方向与机械臂末端的末端坐标系的一个坐标轴之间的夹角、以及测量起始点在末端坐标系的坐标值。
本申请实施例的方案，可以对机器人的测距元件进行标定，以避免装配、制造误差等对测距元件的测量功能的影响，有助于提高机器人的测量精度和操作精度。
一些示例性实施例中，调整机械臂末端相对的位置，包括：
标定件不动，调整机械臂末端的位置；
或者，机械臂末端不动，调整标定件的位置。
一些示例性实施例中，测距元件为激光传感器(如激光位移传感器)，此时对标定件无尺寸、形状等方面的要求，任意物体可作为标定件。
控制机械臂末端的双目相机采集标定件的图像，包括：
控制双目相机采集激光传感器测距时在标定件上产生的光斑的图像。
如图7所示，假设测距元件返回的距离值为L，则光斑(即，测量点)在机械臂末端的末端坐标系中的齐次坐标表示为：
Figure BDA0003334674810000131
式中，(Xe,Ye,Ze)是光斑(测量点)在末端坐标系中的坐标；L代表测距元件返回的距离值。(θx，θy，θz)是测距元件的测距方向和末端坐标系z轴之间的角度，平移矢量(tx,ty,tz)是测距元件的参考点在末端坐标系下的坐标值。
测距方向与末端坐标系z轴之间的角度(θx，θy，θz)满足以下方程：
cos2θx+cos2θy+cos2θz＝1
这样，末端坐标系中的光点只需要5个变量：
Figure BDA0003334674810000132
对应外参标定就是要求解这5个变量。
利用图像处理算法获取激光光斑在双目相机的双目相机坐标系下的坐标(XSV,YSV,ZSV)T，转换到末端坐标系下，有如下关系：
Figure BDA0003334674810000133
式中，(Xe',Ye',Ze',1)T是激光光斑在末端坐标系下的齐次坐标表示。
根据公式(1)、(2)，可以得到如下方程组：
Figure BDA0003334674810000134
式中，L是测距元件返回的距离，endTsv[0,:]表示双目相机坐标系到末端坐标系的齐次变换矩阵的第一行(其他类推)。给定2个或者更多的图像，通过双目相机观察激光光斑，联立方程组(3)，并通过最小二乘法求解未知向量(θx,θy,tx,ty,tz)。
一些示例性实施例中，测距元件为激光传感器，标定件包括标定直线；
控制机械臂末端的双目相机采集标定件的图像，包括：
控制双目相机采集标定直线的图像。
本方法采用了一条直线，任意直线即可，它对双目相机和测距元件都是可见的，称其为标定直线。
参考图8，L1、L2和L3表示光斑落在不同位置的标定直线上时测距元件的不同测量值，line1、line2和line3代表不同位置的标定直线。具体操作中，使得激光光斑落在标定直线上，同时用双目相机采集标定直线的图像并解算得到双目系统下的直线点云。利用双目相机坐标系到末端坐标系的齐次变换矩阵endTsv，通过最小二乘算法拟合得到标定直线在末端坐标系下的表示：
l:pi＝p0+nki
p0＝(x0,y0,z0)T是标定直线上一个定点，这里可以为标定直线段的一个端点，其坐标由双目视觉获取，n为直线的方向向量，ki为直线上两点pi和p0之间的距离。
那么公式(1)给出的激光光斑在末端坐标系下的坐标应该满足标定直线方程l。这样可以得到以下线性方程：
Figure BDA0003334674810000141
ke是激光光斑到p0的距离。
即，
Lcosθx+tx＝x0+nxke
Lcosθy+ty＝x0+nyke
Figure BDA0003334674810000142
上述方程有5个未知变量，要采集至少2组数据，根据上述方程联立方程组，并通过最小二乘法求解未知向量，完成标定参量的求解。
或者，参考图9，也可以保证标定直线不动，操作机器人，使机械臂末端到达不同的末端位姿，采集测距元件返回的距离值，同时使用双目相机获取标定直线，利用双目相机坐标系到末端坐标系的齐次变换矩阵endTsv，得到在末端坐标系下的直线方程。或者，事先通过双目系统获取直线点云，结合endTsv以及从机器人控制器获取的当前机器人末端与机器人基座之间的相对位姿，得到标定直线在机器人基座坐标系下的直线方程。之后，控制机器人在不同位姿下，采集测距元件返回距离值，并将测量点坐标值转换到机器人基座下。根据测量点在标定件上这个约束，联立并求解方程组，完成标定参量的求解。
一些示例性实施例中，测距元件为激光测距元件或红外测距元件或超声波测距元件，标定件包括标定面，标定面为平面或球面；
控制机械臂末端的双目相机采集标定件的图像，包括：
控制双目相机采集标定面的图像。
参考图10，本方法在机械臂末端前面放置一个平面图形，它对双目相机和测距元件都是可见的，称其为标定平面。在这个标定方法中，不要求测距元件可以产生可见光斑，仅能知道观测距离信息对标定来说是足够的，所以可以使用光斑不可见的红外测距元件以及超声波测距元件。
L1和L2表示光斑落在不同标定平面上时测距元件的不同测量值，π1和π2代表不同的标定平面。具体操作中，使测距元件的测量点落在标定平面上，同时用双目相机采集标定平面的图像并解算得到双目系统下的平面点云，根据双目相机坐标系到末端坐标系的齐次变换矩阵endTsv，通过最小二乘算法拟合得到标定平面在末端坐标系下的表示：
π:ax+by+cz+d＝0
那么公式(1)给出的测距元件的测量点在末端坐标系下的坐标应该满足标定平面方程π。这样可以得到以下线性方程：
Figure BDA0003334674810000151
上述方程有5个位置变量，要使用至少5个输入图像，根据上述方程联立方程组，并通过最小二乘法求解未知向量，完成标定参量的求解。
或者，参考图11，我们也可以保证标定平面不动，操作机器人使机械臂末端到达不同的末端位姿，采集测距元件返回的距离值，同时使用双目相机获取标定平面，利用双目相机坐标系到末端坐标系的齐次变换矩阵endTsv，得到在末端坐标系下的平面方程。或者，事先通过双目系统获取平面点云，结合endTsv以及从机器人控制器获取的当前机器人末端与机器人基座之间的相对位姿，得到标定平面在机器人基座坐标系下的平面方程。之后，控制机器人在不同位姿下，采集测距元件返回距离值，并将测量点坐标值转换到机器人基座下。根据测量点在标定件上这个约束，联立并求解方程组，完成标定参量的求解。
如图12所示，本方法在机械臂末端前面放置一个球面，它对双目相机和测距元件都是可见的，称其为标定球面。在这个标定方法中，不要求测距元件可以产生可见光斑，仅能知道观测距离信息对标定来说是足够的，所以可以使用光斑不可见的红外测距元件以及超声波测距元件。
参考图12，L1和L2表示光斑落在不同标定球面上时测距元件的不同测量值，S1和S2代表不同的标定球面。具体操作中，使得测距元件的测量点落在标定球面上，同时用双目相机采集标定球面的图像并解算得到双目系统下的部分球面点云，根据双目相机坐标系到末端坐标系的齐次变换矩阵endTsv，通过最小二乘算法拟合得到标定球面在末端坐标系下的表示：
Figure BDA0003334674810000161
式中，(xO,yO,zO)是末端坐标系下球面的球心坐标，R是球面半径，(x,y,z)是球面上点的坐标。
那么公式(1)给出的测距元件的测量点在末端坐标系下的坐标应该满足标定球面方程
Figure BDA0003334674810000163
这样可以得到以下非线性方程：
Figure BDA0003334674810000162
上述方程有5个位置变量，要使用至少5个输入图像，根据上述方程联立方程组，并通过非线性最小二乘法求解未知向量，完成标定参量的求解。
或者，参考图13，也可以保证标定球面不动，操作机器人使机械臂末端到达不同的末端位姿，采集测距元件返回的距离值，同时使用双目相机获取标定球面，利用双目相机坐标系到末端坐标系的齐次变换矩阵endTsv，得到在末端坐标系下的球面方程。或者，事先通过双目系统获取球面点云，结合endTsv以及从机器人控制器获取的当前机器人末端与机器人基座之间的相对位姿，得到标定球面在机器人基座坐标系下的球面方程。之后，控制机器人在不同位姿下，采集测距元件返回距离值，并将测量点坐标值转换到机器人基座下。根据测量点在标定件上这个约束，联立并求解方程组，完成标定参量的求解。
如图14所示，关于标定球面在末端坐标系下的球面方程建立，也可以不使用上述采集球面上的部分点云，然后利用最小二乘算法拟合得到球面方程的方法。可以加工一个标准球：球体半径为R，在球心O处建立球体坐标系，球体坐标系X轴、Y轴、Z轴与球面交点分别为P1、P2、P3，在这三个点处分别涂上红绿蓝三种颜色。标定过程中，使用双目相机采集P1、P2、P3三个点在双目相机坐标系下坐标值，根据endTsv转换到末端坐标系下：P1P2P3组合成的三角面的中心记为C(Xc,Yc,Zc)，法向记为n＝(nx,ny,nz)T。则标准球在末端坐标系下的球心Oe坐标可以得到：
Figure BDA0003334674810000171
这样也就得到了标定球面在末端坐标系下的表示。
对于尺寸参数精确已知的标准球，还可以通过点云配准算法得到标定球面在末端坐标系下的表示。
本申请实施例提供了一种基于双目视觉(Stereo Vision)的测距元件的标定方法。双目系统标定与其手眼标定在测距元件手眼标定之前已经完成，记双目系统坐标系与机械臂末端之间的齐次变换矩阵为endTsv。
需要说明的是，任何形状的具有数学解析式的面(平面、球面、椭球面等等)都可以作为标定所用的标定件，任何可以采集场景点云的传感器都可以用来替换本申请实施例的双目相机，仅在图14的实施例中，可以替换双目相机的传感器还需要能够采集图像数据。
在一些实施例中，比如光学波长在可见光范围内的激光测距元件，肉眼可以观察到图像采集元件中存在激光光斑(测距元件的激光光斑可见时)，在本申请实施例中，所提出的点约束、线约束、平面约束、球面约束都可以用来标定末端坐标系下的激光测距元件的光轴向量和激光测距元件的原点在图像采集元件坐标系下的坐标。
在一些实施例中，比如超声波测距元件、光学波长不在可见光范围内的红外测距元件，在本发明的实施例中，所提出的点约束、线约束不再适用，平面约束、球面约束可以用来标定的测距元件的测量方向和测距元件的原点在末端坐标系下的坐标。
本申请实施例还提供了一种机器人的标定控制装置，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述的标定方法的步骤。
以上实施例仅表达了本申请的实施例性实施方式，其描述较为具体和详细，但内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定为准。

Claims (22)

1.一种机器人的测量控制方法，其特征在于，包括：
控制所述机器人的机械臂末端的测量元件对所述机器人抓取的被抓物体的位姿和尺寸至少之一进行测量。
2.根据权利要求1所述的机器人的测量控制方法，其特征在于，所述测量元件包括至少三个测距元件和第一图像采集元件；
所述对所述机器人抓取的被抓物体的位姿进行测量，包括：
控制所述至少三个测距元件测量所述至少三个测距元件的测量起始点到所述被抓物体的第一平面的距离；
根据所述至少三个测距元件测得的距离、所述至少三个测距元件与所述机械臂末端之间的位置关系、以及所述机械臂末端与所述第一图像采集元件之间的位置关系，获得所述第一平面在所述第一图像采集元件的第一图像采集元件坐标系中的平面方程；
控制所述第一图像采集元件采集所述第一平面的第一图像；
获取所述第一图像上的多个视觉特征，并根据所述第一平面在所述第一图像采集元件坐标系中的平面方程，获取所述多个视觉特征在所述第一图像采集元件坐标系中的表示；和
根据所述机械臂末端与所述第一图像采集元件之间的位置关系、以及所述机械臂末端与安装机械臂的基座之间的位置关系，获取所述多个视觉特征在所述基座的基座坐标系中的表示；或者，根据所述机械臂末端与所述第一图像采集元件之间的位置关系，获取所述多个视觉特征在所述机械臂末端的末端坐标系中的表示。
3.根据权利要求2所述的机器人的测量控制方法，其特征在于，所述获取所述多个视觉特征在所述第一图像采集元件坐标系中的表示，包括：
根据所述多个视觉特征建立物体坐标系；
所述获取所述多个视觉特征在所述基座的基座坐标系或者在所述机械臂末端的末端坐标系中的表示，包括：
获取所述物体坐标系在所述基座坐标系或者在所述末端坐标系中的表示。
4.根据权利要求3所述的机器人的测量控制方法，其特征在于，
所述第一平面呈矩形状，所述多个视觉特征包括所述矩形的长边和短边，所述物体坐标系的原点为所述矩形的一个顶点，所述物体坐标系为三维笛卡儿坐标系，所述物体坐标系的两个坐标轴分别沿所述矩形的长边和短边；
或者，所述多个视觉特征为圆形上的多个视觉特征，所述物体坐标系的原点为所述圆形的圆心，所述物体坐标系为三维笛卡儿坐标系。
5.根据权利要求2所述的机器人的测量控制方法，其特征在于，所述根据所述第一平面在所述第一图像采集元件坐标系中的平面方程，获取所述多个视觉特征在所述第一图像采集元件坐标系中的表示，包括：
根据所述第一图像采集元件的内参矩阵，建立所述多个视觉特征的像素点在所述第一图像中的像素坐标与在所述第一图像采集元件坐标系中的空间坐标之间的关系；和
根据所述第一平面在所述第一图像采集元件坐标系中的平面方程，获得所述多个视觉特征的像素点在所述第一图像采集元件坐标系中的表示。
6.根据权利要求2所述的机器人的测量控制方法，其特征在于，所述根据所述第一平面在所述第一图像采集元件坐标系中的平面方程，获取所述多个视觉特征在所述第一图像采集元件坐标系中的表示，包括：
对所述第一图像采集元件坐标系中沿所述第一图像采集元件的光轴方向上的一维坐标进行归一化处理，获得归一化平面；
根据所述第一图像采集元件的内参矩阵，建立所述多个视觉特征的像素点在所述第一图像中的像素坐标与在所述归一化平面上的归一化坐标之间的关系；和
根据所述第一图像采集元件的成像中心点以及所述多个视觉特征的一个像素点的归一化坐标确定一条射线，根据所述射线与所述第一平面的交点，获得该像素点在所述第一图像采集元件坐标系中的坐标表示。
7.根据权利要求2至6中任一项所述的机器人的测量控制方法，其特征在于，所述测量元件还包括设置在所述机械臂末端的第二图像采集元件；
所述对所述机器人抓取的被抓物体的尺寸进行测量，包括：
控制所述第二图像采集元件采集所述被抓物体的所述第一平面的第二图像；
获取所述第一图像和所述第二图像上的关于所述第一平面的多个轮廓点；
根据所述机械臂末端与所述第一图像采集元件之间、所述机械臂末端与所述第二图像采集元件之间、以及所述机械臂末端与所述基座之间的位置关系，获取所述第一平面的多个轮廓点在所述基座坐标系或所述末端坐标系中的表示，以获得所述第一平面的尺寸。
8.根据权利要求7所述的机器人的测量控制方法，其特征在于，所述测量元件还包括设置在所述机械臂末端的第三图像采集元件；
所述被抓物体还具有第二平面和第三平面，所述第二平面与所述第一平面平行，所述第三平面设置在所述第一平面和所述第二平面之间且与所述第一平面垂直；
所述对所述机器人抓取的被抓物体的尺寸进行测量，还包括：
控制所述第三图像采集元件采集所述被抓物体的所述第三平面的第三图像；
根据所述第三平面的图像、所述机械臂末端与所述第三图像采集元件之间的位置关系、以及所述被抓物体与所述机械臂末端之间的位置关系，获取所述第三平面的高度。
9.根据权利要求2至6中任一项所述的机器人的测量控制方法，其特征在于，所述第一图像采集元件为相机，所述第一图像采集元件坐标系为相机坐标系。
10.一种机器人的控制装置，其特征在于，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的控制方法的步骤。
11.一种非瞬态计算机可读的存储介质，其特征在于，所述存储介质上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的控制方法的步骤。
12.一种机器人，其特征在于，包括：基座、安装在所述基座上的机械臂、设置在所述机械臂的机械臂末端的测量元件、以及权利要求11所述的机器人的控制装置。
13.根据权利要求12所述的机器人，其特征在于，所述测量元件包括至少三个测距元件、第一图像采集元件、第二图像采集元件和第三图像采集元件，
所述测距元件为激光测距元件或超声波测距元件或红外测距元件；
所述第一图像采集元件、所述第二图像采集元件和所述第三图像采集元件为相机，且所述第一图像采集元件和所述第二图像采集元件的图像采集端均朝向第一侧，所述第三图像采集元件的图像采集端朝向第二侧。
14.一种机器人的标定方法，其特征在于，包括：
调整所述机器人的机械臂末端相对标定件的位置；
控制所述机械臂末端的测距元件测量其测量起始点到所述标定件的距离，控制所述机械臂末端的双目相机采集所述标定件的图像；
重复进行调整所述机械臂末端相对所述标定件的位置的步骤、以及所述测距元件的测距和所述双目相机的采集图像的步骤；
根据所述测距元件多次测量的距离、所述双目相机多次采集的图像、以及所述双目相机和所述机械臂末端的相对位置，获得所述测距元件的测距方向与所述机械臂末端的末端坐标系的一个坐标轴之间的夹角、以及所述测量起始点在所述末端坐标系的坐标值。
15.根据权利要求14所述的机器人的标定方法，其特征在于，所述测距元件为激光传感器，
所述控制所述机械臂末端的双目相机采集所述标定件的图像，包括：
控制所述双目相机采集所述激光传感器照射到所述标定件上产生的光斑的图像。
16.根据权利要求14所述的机器人的标定方法，其特征在于，所述测距元件为激光传感器，所述标定件包括标定直线；
所述控制所述机械臂末端的双目相机采集所述标定件的图像，包括：
控制所述双目相机采集所述标定直线的图像。
17.根据权利要求14所述的机器人的标定方法，其特征在于，
所述测距元件为激光测距元件或红外测距元件或超声波测距元件，所述标定件包括标定面，
所述控制所述机械臂末端的双目相机采集所述标定件的图像，包括：
控制所述双目相机采集所述标定面的图像。
18.根据权利要求17所述的机器人的标定方法，其特征在于，
所述标定面为平面或球面。
19.根据权利要求14至18中任一项所述的机器人的标定方法，其特征在于，所述调整所述机械臂末端相对所述的位置，包括：
所述标定件不动，调整所述机械臂末端的位置。
20.根据权利要求14至18中任一项所述的机器人的标定方法，其特征在于，所述调整所述机械臂末端相对所述的位置，包括：
所述机械臂末端不动，调整所述标定件的位置。
21.一种机器人的标定控制装置，其特征在于，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求14至20中任一项所述的标定方法的步骤。
22.一种非瞬态计算机可读的存储介质，其特征在于，所述存储介质上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求14至20中任一项所述的标定方法的步骤。
CN202111290387.5A 2021-08-27 2021-11-02 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质 Active CN114055444B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110996432 2021-08-27
CN2021109964322 2021-08-27

Publications (2)

Publication Number Publication Date
CN114055444A true CN114055444A (zh) 2022-02-18
CN114055444B CN114055444B (zh) 2023-04-07

Family

ID=80236480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111290387.5A Active CN114055444B (zh) 2021-08-27 2021-11-02 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质

Country Status (1)

Country Link
CN (1) CN114055444B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114750151A (zh) * 2022-03-31 2022-07-15 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN114838659A (zh) * 2022-04-26 2022-08-02 深圳市商汤科技有限公司 机械手测试装置、测试方法、标定方法、存储介质
CN115401689A (zh) * 2022-08-01 2022-11-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
CN117140535A (zh) * 2023-10-27 2023-12-01 南湖实验室 一种基于单笔测量的机器人运动学参数标定方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105127997A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 药剂师智能机器人系统及其控制方法
CN108202328A (zh) * 2017-12-29 2018-06-26 深圳市越疆科技有限公司 机器人自适应取放物体的方法、装置、机械臂及存储介质
US20190071267A1 (en) * 2017-09-07 2019-03-07 Kabushiki Kaisha Toshiba Unloading apparatus and unloading method
CN110036162A (zh) * 2016-09-30 2019-07-19 新加坡-Eth研究中心 用于将物体放置在表面上的系统和方法
CN112123342A (zh) * 2020-11-25 2020-12-25 清华大学 一种机器人系统以及测控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105127997A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 药剂师智能机器人系统及其控制方法
CN110036162A (zh) * 2016-09-30 2019-07-19 新加坡-Eth研究中心 用于将物体放置在表面上的系统和方法
US20190071267A1 (en) * 2017-09-07 2019-03-07 Kabushiki Kaisha Toshiba Unloading apparatus and unloading method
CN108202328A (zh) * 2017-12-29 2018-06-26 深圳市越疆科技有限公司 机器人自适应取放物体的方法、装置、机械臂及存储介质
CN112123342A (zh) * 2020-11-25 2020-12-25 清华大学 一种机器人系统以及测控方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114750151A (zh) * 2022-03-31 2022-07-15 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN114750151B (zh) * 2022-03-31 2023-09-12 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN114838659A (zh) * 2022-04-26 2022-08-02 深圳市商汤科技有限公司 机械手测试装置、测试方法、标定方法、存储介质
CN114838659B (zh) * 2022-04-26 2024-04-12 深圳市商汤科技有限公司 机械手测试装置、测试方法、标定方法、存储介质
CN115401689A (zh) * 2022-08-01 2022-11-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
CN115401689B (zh) * 2022-08-01 2024-03-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
CN117140535A (zh) * 2023-10-27 2023-12-01 南湖实验室 一种基于单笔测量的机器人运动学参数标定方法及系统
CN117140535B (zh) * 2023-10-27 2024-02-02 南湖实验室 一种基于单笔测量的机器人运动学参数标定方法及系统

Also Published As

Publication number Publication date
CN114055444B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114055444B (zh) 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质
US9679385B2 (en) Three-dimensional measurement apparatus and robot system
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
JP5854815B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5977544B2 (ja) 情報処理装置、情報処理方法
EP2636493B1 (en) Information processing apparatus and information processing method
JP6180086B2 (ja) 情報処理装置及び情報処理方法
JP2014046433A (ja) 情報処理システム、方法及びプログラム
JP4021413B2 (ja) 計測装置
CN101876532B (zh) 测量系统中的摄像机现场标定方法
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
KR101549103B1 (ko) 검출 장치, 검출 방법 및 머니퓰레이터
US20120268567A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP2013036988A (ja) 情報処理装置及び情報処理方法
JP2016099257A (ja) 情報処理装置及び情報処理方法
US11065768B2 (en) Automatic calibration for camera-robot system with tool offsets
JP2015212644A (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
CN110722558B (zh) 机器人的原点校正方法、装置、控制器和存储介质
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN111770814A (zh) 校准移动机械手的方法
US20220080597A1 (en) Device and method for calibrating coordinate system of 3d camera and robotic arm
WO2021039775A1 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP2013156038A (ja) 計測装置、計測方法及びプログラム
Gothandaraman et al. Robot-assisted 3D digital reconstruction of heritage artifacts: area similarity approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant