CN114986522B - 一种机械臂的定位方法、抓取方法、电子设备及存储介质 - Google Patents

Abstract

本申请涉及机械臂控制技术领域，具体提供了一种机械臂的定位方法、抓取方法、电子设备及存储介质，该方法包括步骤：根据图像信息获取第一变换关系，第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系；根据第一变换关系和预先测定的第二变换关系获取第三变换关系，第三变换关系为目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系；根据第三变换关系对末端工具进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合；该方法无需对移动载体进行精确定位，且能够避免出现由于移动载体无法自主定位而导致在移动载体移动后通过重复示教机械臂的方式来定位机械臂的情况。

Description

一种机械臂的定位方法、抓取方法、电子设备及存储介质

技术领域

本申请涉及机械臂控制技术领域，具体而言，涉及一种机械臂的定位方法、抓取方法、电子设备及存储介质。

背景技术

为了拓展机械臂的工作空间，现有技术一般将机械臂设置在移动载体上以使机械臂具有移动能力，具有移动能力的机械臂具有工作适应性强、使用方便等优点。移动载体移动后，机械臂需要进行精准的定位才能对目标工件执行抓取、焊接、抛光等操作，现有的机械臂定位方法需要获取移动载体的位置信息，因此移动载体需要具备相当高的定位精度，此外，为了让机械臂上的相机能精确识别目标工件，需要对相机进行标定，相机标定误差会对机械臂定位精度产生影响。若移动载体无法自主定位，在每次移动载体移动后都需要通过重复示教机械臂的方式来定位机械臂。

针对上述问题，目前尚未有有效的技术解决方案。

发明内容

本申请的目的在于提供一种机械臂的定位方法、抓取方法、电子设备及存储介质，无需对移动载体进行精确定位，且能够避免出现由于移动载体无法自主定位而导致在移动载体移动后通过重复示教机械臂的方式来定位机械臂的情况。

第一方面，本申请提供了一种机械臂的定位方法，用于定位调节末端工具的位姿至目标参考坐标系，应用在机械臂定位系统中，上述机械臂定位系统包括上述机械臂、相机和定位码，上述机械臂包括上述末端工具，上述相机安装在上述机械臂上，且与上述末端工具位置相对固定，上述相机用于采集图像信息，上述定位码的定位码坐标系与上述目标参考坐标系相对固定，上述机械臂的定位方法包括：

S11、根据包括定位码的图像信息获取第一变换关系，上述第一变换关系为上述定位码坐标系相对于当前的相机坐标系的位姿关系；

S12、根据上述第一变换关系和预先测定的第二变换关系获取第三变换关系，上述第二变换关系为目标相机坐标系相对于上述定位码坐标系的位姿关系，上述目标相机坐标系为上述末端工具的末端工具坐标系与上述目标参考坐标系重合时的相机坐标系，上述第三变换关系为上述目标相机坐标系相对于上述当前的相机坐标系的位姿关系或上述目标参考坐标系相对于当前的末端工具坐标系的位姿关系；

S13、根据上述第三变换关系对上述末端工具进行调节定位，以使上述末端工具坐标系与上述目标参考坐标系重合。

本申请提供的一种机械臂的定位方法，先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，以实现对末端工具的定位，由于在末端工具的定位过程中无需获取移动载体的位置信息，因此无需对移动载体进行精确定位，从而有效地避免出现由于移动载体无法自主定位而导致在移动载体移动后通过重复示教机械臂的方式来定位末端工具的情况。

可选地，上述第二变换关系的预先测定过程包括以下步骤：

示教移动上述机械臂以将上述末端工具坐标系调节至与上述目标参考坐标系重合；

通过上述相机获取包括定位码的基准图像信息，并根据上述基准图像信息测定上述第二变换关系。

可选地，步骤S13包括：

根据上述第三变换关系获取移动信息；

若上述移动信息大于预设的第一阈值，根据上述移动信息和预设的第一系数控制上述机械臂移动，并在重新获取包括定位码的图像信息后返回步骤S11，直至上述移动信息小于等于上述第一阈值。

若移动信息大于第一阈值，该技术方案根据移动信息和预设的第一系数控制机械臂移动并返回步骤S11，直至移动信息小于等于第一阈值，从而实现逐步将末端工具坐标系调节至与目标参考坐标系重合。

第二方面，本申请还提供了一种机械臂的抓取方法，用于抓取目标工件，应用在机械臂抓取系统中，上述机械臂抓取系统包括机械臂、相机、上述目标工件和定位码，上述机械臂包括末端工具，上述相机安装在上述机械臂上，且与上述末端工具位置相对固定，上述相机用于采集图像信息，上述定位码的定位码坐标系与目标参考坐标系及上述目标工件的目标工件坐标系相对固定，上述机械臂的抓取方法包括：

S21、根据包括定位码的图像信息获取第一变换关系，上述第一变换关系为上述定位码坐标系相对于当前的相机坐标系的位姿关系；

S22、根据上述第一变换关系和预先测定的第二变换关系获取第三变换关系，上述第二变换关系为目标相机坐标系相对于上述定位码坐标系的位姿关系，上述目标相机坐标系为上述末端工具的末端工具坐标系与上述目标参考坐标系重合时的相机坐标系，上述第三变换关系为上述目标相机坐标系相对于上述当前的相机坐标系的位姿关系或上述目标参考坐标系相对于当前的末端工具坐标系的位姿关系；

S23、根据上述第三变换关系对上述末端工具进行调节定位，以使上述末端工具坐标系与上述目标参考坐标系重合；

S24、根据上述机械臂当前的位姿获取第四变换关系，并根据第四变换关系和预先测定的第五变换关系控制上述机械臂移动和控制上述末端工具抓取上述目标工件，上述第四变换关系为当前的上述相机坐标系或上述末端工具坐标系相对于机械臂的基座坐标系的位姿关系，上述第五变换关系为上述目标工件坐标系相对于上述目标相机坐标系或上述目标参考坐标系的位姿关系。

本申请提供的一种机械臂的抓取方法，先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，最后根据第四变换关系和第五变换关系控制机械臂移动和控制末端工具抓取目标工件，由于在末端工具的定位过程中无需获取移动载体的位置信息，因此无需对移动载体进行精确定位，从而有效地避免出现由于移动载体无法自主定位而导致在移动载体移动后通过重复示教机械臂的方式来定位末端工具的情况。

可选地，上述第二变换关系和上述第五变换关系的预先测定过程包括以下步骤：

示教移动上述机械臂以将上述末端工具坐标系调节至与上述目标参考坐标系重合；

通过上述相机获取包括定位码和目标工件的基准图像信息，并根据上述基准图像信息测定上述第二变换关系和上述第五变换关系。

可选地，步骤S23包括：

根据上述第三变换关系获取上述机械臂的移动信息；

若上述移动信息大于预设的第一阈值，根据上述移动信息和预设的第一系数控制上述机械臂移动，并在重新获取包括定位码的图像信息后返回步骤S21，直至上述移动信息小于等于上述第一阈值。

若移动信息大于第一阈值，该技术方案根据移动信息和预设的第一系数控制机械臂移动，并在重新获取包括定位码的图像信息后返回步骤S21，直至移动信息小于等于第一阈值，从而实现逐步将末端工具坐标系调节至与目标参考坐标系重合，以保证末端工具能够移动至目标工件坐标系。

可选地，上述移动信息包括平移量和转角量，上述第一阈值包括平移量阈值和转角阈值，上述若上述移动信息大于预设的第一阈值，根据上述移动信息和预设的第一系数控制上述机械臂移动，并在重新获取包括定位码的图像信息后返回步骤S21，直至上述移动信息小于等于上述第一阈值的步骤包括：

若上述平移量大于上述平移量阈值或上述转角量大于上述转角阈值，根据上述平移量和预设的第一系数，或上述转角量和上述第一系数控制上述机械臂移动，并在重新获取包括定位码的图像信息后返回步骤S21，直至上述平移量小于等于上述平移量阈值和上述转角量小于等于上述转角阈值。

可选地，上述步骤S24包括：

根据第四变换关系和预先测定的第五变换关系获取第六变换关系，上述第六变换关系为上述目标工件坐标系相对于上述基座坐标系的位姿关系；

根据上述第六变换关系控制上述机械臂移动和控制上述末端工具抓取上述目标工件。

第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，上述存储器存储有计算机可读取指令，当上述计算机可读取指令由上述处理器执行时，运行如上述第一方面提供的机械臂的定位方法或第二方面提供的机械臂的的抓取方法中的步骤。

第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时运行如上述第一方面提供的机械臂的定位方法或第二方面提供的机械臂的的抓取方法中的步骤。

由上可知，本申请提供的一种机械臂的定位方法、抓取方法、电子设备及存储介质先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，以实现对末端工具的定位，由于在末端工具的定位过程中无需获取移动载体的位置信息，因此无需对移动载体进行精确定位，从而有效地避免出现由于移动载体无法自主定位而导致在移动载体移动后通过重复示教机械臂的方式来定位末端工具的情况。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本申请实施例提供的一种机械臂定位系统的结构示意图。

图2为本申请实施例提供的一种机械臂的定位方法的流程图。

图3为本申请实施例提供的一种机械臂抓取系统的结构示意图。

图4为本申请实施例提供的一种机械臂的抓取方法的流程图。

图5为本申请实施例提供的一种电子设备的结构示意图。

附图标记：1、机械臂；11、末端工具；2、相机；3、定位码；4、移动载体；5、目标工件。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一方面，如图1和图2所示，本申请提供了一种机械臂的定位方法，用于定位调节末端工具11的位姿至目标参考坐标系，应用在机械臂定位系统中，机械臂定位系统包括机械臂1、相机2和定位码3，机械臂1包括末端工具11，相机2安装在机械臂1上，且与末端工具11位置相对固定，相机2用于采集图像信息，定位码3的定位码坐标系与目标参考坐标系相对固定，机械臂的定位方法包括：

S11、根据包括定位码3的图像信息获取第一变换关系，第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系；

S12、根据第一变换关系和预先测定的第二变换关系获取第三变换关系，第二变换关系为目标相机坐标系相对于定位码坐标系的位姿关系，目标相机坐标系为末端工具11的末端工具坐标系与目标参考坐标系重合时的相机坐标系，第三变换关系为目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系；

S13、根据第三变换关系对末端工具11进行调节定位，以使末端工具坐标系与目标参考坐标系重合。

其中，机械臂定位系统包括机械臂1、相机2、定位码3和移动载体4，机械臂1设置在移动载体4上，移动载体4可以为AGV小车、轮式移动平台、全向移动平台等可自主移动的载体中的任意一种，移动载体4能将机械臂1移动至任意位置。机械臂1可以为单关节机械臂或多关节机械臂等多自由度移动的机械臂中的任意一种，机械臂1包括位于机械臂1末端的末端工具11，机械臂1能驱动末端工具11移动。相机2安装在机械臂1上，相机2用于采集图像信息，相机2可以为深度相机、RGB相机等相机中的任意一种。目标参考坐标系（图1中的{A}）为预先测定的对末端工具进行调节定位后，以末端工具的位姿为基准建立的坐标系，因此目标参考坐标系能表示经过调节定位后的末端工具11的位姿。定位码3可以为二维码、ArUco码、Apriltag码等定位码3中的任意一种，定位码坐标系（图1中的{E}）为以定位码3的位姿为基准建立的坐标系，由于定位码3的位置与目标参考坐标系的位置相对固定，因此可以通过预先测定的方式获取定位码坐标相对于目标参考坐标系的位姿关系。末端工具坐标系（图1中的{C}）为以当前的末端工具11的位姿为基准建立的坐标系，末端工具坐标系能表示当前的末端工具11的位姿，相机坐标系（图1中的{D}）为以当前的相机2的位姿为基准建立的坐标系，相机坐标系能表示当前的相机2的位姿，由于相机2的位置与末端工具11的位置相对固定，因此可以通过预先测定的方式获取相机坐标系相对于末端工具坐标系的位姿关系，且在任何情况下，末端工具坐标系与相机坐标系均可按照相机坐标系相对于末端工具坐标系的位姿关系进行转换。

步骤S11通过相机2获取当前时刻包括定位码3的图像信息，由于定位码3在图像信息中的位姿为定位码相对于相机的位姿，该位姿能够反馈出定位码坐标系相对于相机坐标系的位姿关系，因此能根据该图像信息获取定位码坐标系相对于相机坐标系的位姿关系（即第一变换关系）。

步骤S12中的目标相机坐标系（图1中的{B}）为末端工具坐标系与目标参考坐标系重合时以相机2的位姿为基准建立的坐标系，目标相机坐标系能表示末端工具坐标系与目标参考坐标系重合时相机2的位姿。由于第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系，第二变换关系为目标相机坐标系相对于定位码坐标系的位姿关系，因此可以根据第一变换关系和第二变换关系获取目标相机坐标系相对于当前的相机坐标系的位姿关系，其计算公式如式（1）所示：

（1）

其中，T表示齐次变换矩阵，

表示坐标系A相对于坐标系B的位姿关系，CAM表示当前的相机坐标系，CAM_t表示目标相机坐标系，MRK为定位码坐标系，

表示目标相机坐标系相对于当前的相机坐标系的位姿关系，

表示定位码坐标系相对于当前的相机坐标系的位姿关系（即第一变换关系），

表示目标相机坐标系相对于定位码坐标系的位姿关系（即第二变换关系），

表示

的逆矩阵。由于相机2的位置与末端工具11的位置相对固定，目标相机坐标系相对于当前的相机坐标系的位姿关系与目标参考坐标系相对于当前的末端工具坐标系的位姿关系相等，即

相当于

，

为目标参考坐标系相对于当前的末端工具坐标系的位姿关系。因此步骤S12可以根据第一变换关系和第二变换关系获取目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系（即第三变换关系）。

由于第三变换关系能够表示将当前的相机坐标系移动至目标相机坐标系所需的位姿变化量或将当前的末端工具坐标系移动至目标参考坐标系所需的位姿变化量，因此步骤S13能够根据第三变换关系控制机械臂1驱动末端工具11移动以对末端工具11进行定位调节，以使当前的末端工具坐标系与目标参考坐标系重合。由于目标参考坐标系已知，因此只要将末端工具坐标系调节至与目标参考坐标系重合即可实现对末端工具11的定位。

本申请提供的一种机械臂的定位方法，先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具11进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，以实现对末端工具11的定位，由于在末端工具11的定位过程中无需获取移动载体4的位置信息，因此无需对移动载体4进行精确定位，从而有效地避免出现由于移动载体4无法自主定位而导致在移动载体4移动后通过重复示教机械臂1的方式来定位末端工具11的情况。

在一些实施例中，第二变换关系的预先测定过程包括以下步骤：

示教移动机械臂1以将末端工具坐标系调节至与目标参考坐标系重合；

通过相机2获取包括定位码3的基准图像信息，并根据基准图像信息测定第二变换关系。

其中，该实施例先通过人工示教移动的方式移动机械臂1以将末端工具坐标系调节至与目标参考坐标系重合，再通过摄像头获取包括定位码3的基准图像信息，由于此时的相机坐标系也与目标相机坐标系重合，因此可以根据基准图像信息测定目标相机坐标系相对于定位码坐标系的位姿关系（即第二变换关系）。

在一些实施例中，步骤S13包括：

S131、根据第三变换关系获取移动信息；

S132、若移动信息大于预设的第一阈值，根据移动信息控制机械臂1移动，并在重新获取包括定位码3的图像信息后返回步骤S11，直至移动信息小于等于第一阈值。

其中，步骤S131可以根据第三变换信息获取移动信息，该移动信息为将当前的相机坐标系移动至目标相机坐标系所需的位姿变化量或将当前的末端工具坐标系移动至目标参考坐标系所需的位姿变化量。步骤S132的第一阈值为预设值，第一阈值为将末端工具坐标系调节至与目标参考坐标系重合时允许的误差，在移动信息大于第一阈值时，根据移动信息控制机械臂1移动，并在重新获取包括定位码3的图像信息后返回步骤S11以重复执行获取第三变换关系和根据第三变换关系对末端工具11进行反馈调节定位的步骤，直至移动信息小于等于第一阈值。应当理解的是，由于该实施例通过迭代的方式将末端工具坐标系调节至与目标参考坐标系重合，因此该实施例对第一变换关系的精度要求不高，从而有效地避免由于相机标定存在误差而导致调节定位精度下降。

为了避免对末端工具11的过量调节，在一些优选实施例中，步骤S13包括：

S131、根据第三变换关系获取移动信息；

S132’、若移动信息大于预设的第一阈值，根据移动信息和预设的第一系数控制机械臂1移动，返回步骤S11，直至移动信息小于等于第一阈值。

其中，步骤S131可以根据第三变换信息获取移动信息，该移动信息为将当前的相机坐标系移动至目标相机坐标系所需的位姿变化量或将当前的末端工具坐标系移动至目标参考坐标系所需的位姿变化量。步骤S132’的第一阈值为预设值，第一阈值为将末端工具坐标系调节至与目标参考坐标系重合时允许的误差，第一系数为预设值，第一系数可以为任意正数，第一系数优选为小于1的任一整数，本领域技术人员能够根据实际调试情况改变第一系数的大小。在移动信息大于第一阈值时，步骤S132根据移动信息和第一系数获取实际移动信息，并根据实际移动信息控制机械臂1移动，例如移动信息为向右移动10cm，第一系数为0.4，实际移动信息为向右移动4cm；又例如移动信息为向右移动10cm，第一系数为1.4，实际移动信息为向右移动14cm；又例如移动信息为向左移动8cm，第一系数为0.6，实际移动信息为向左移动4.8cm。该实施例的工作原理为：若移动信息小于等于第一阈值，则视末端工具坐标系与目标参考坐标系重合；若移动信息大于第一阈值，根据移动信息和第一系数控制机械臂1移动，并返回步骤S11以重复执行获取第三变换关系和根据第三变换关系对末端工具11进行反馈调节定位的步骤,直至移动信息小于等于第一阈值，从而实现逐步将末端工具坐标系调节至与目标参考坐标系重合，进而有效地消除相机标定的误差对调节定位精度的影响，且由于机械臂每次的移动量均小于移动信息，因此该实施例能够避免对末端工具11的过量调节。

由上可知，本申请提供的一种机械臂的定位方法，先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具11进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，以实现对末端工具11的定位，由于在末端工具11的定位过程中无需获取移动载体4的位置信息，因此无需对移动载体4进行精确定位，从而有效地避免出现由于移动载体4无法自主定位而导致在移动载体4移动后通过重复示教机械臂1的方式来定位末端工具11的情况。

第二方面，如图3和图4所示，本申请实施例还提供了一种机械臂的抓取方法，用于抓取目标工件5，应用在机械臂抓取系统中，机械臂抓取系统包括机械臂1、相机2、目标工件5和定位码3，机械臂1包括末端工具11，相机2安装在机械臂1上，且与末端工具11位置相对固定，相机2用于采集图像信息，定位码3的定位码坐标系与目标参考坐标系及目标工件5的目标工件坐标系相对固定，机械臂1的抓取方法包括：

S21、根据包括定位码3的图像信息获取第一变换关系，第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系；

S22、根据第一变换关系和预先测定的第二变换关系获取第三变换关系，第二变换关系为目标相机坐标系相对于定位码坐标系的位姿关系，目标相机坐标系为末端工具11的末端工具坐标系与目标参考坐标系重合时的相机坐标系，第三变换关系为目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系；

S23、根据第三变换关系对末端工具11进行调节定位，以使末端工具坐标系与目标参考坐标系重合；

S24、根据机械臂1当前的位姿获取第四变换关系，并根据第四变换关系和预先测定的第五变换关系控制机械臂1移动和控制末端工具11抓取目标工件5，第四变换关系为当前的相机坐标系或末端工具坐标系相对于机械臂1的基座坐标系的位姿关系，第五变换关系为目标工件坐标系相对于目标相机坐标系或目标参考坐标系的位姿关系。

其中，机械臂抓取系统包括机械臂1、相机2、定位码3、移动载体4和目标工件5，机械臂1设置在移动载体4上，移动载体4可以为AGV小车、轮式移动平台、全向移动平台等可自主移动的载体中的任意一种，移动载体4能将机械臂1移动至任意位置。机械臂1可以为单关节机械臂1或多关节机械臂1等多自由度移动的机械臂1中的任意一种，机械臂1包括位于机械臂1末端的末端工具11，机械臂1能驱动末端工具11移动。相机2安装在机械臂1上，相机2用于采集图像信息，相机2可以为深度相机、RGB相机等相机中的任意一种。目标参考坐标系（图3中的{A}）为预先测定的对末端工具进行反馈调节定位后，以末端工具的位姿为基准建立的坐标系，因此目标参考坐标系能表示经过调节定位后的末端工具11的位姿。定位码3可以为二维码、ArUco码、Apriltag码等定位码3中的任意一种，定位码坐标系（图3中的{E}）为以定位码3的位姿为基准建立的坐标系，由于定位码3的位置与目标参考坐标系的位置及目标工件5的位置相对固定，因此可以通过预先测定的方式获取定位码坐标相对于目标参考坐标系的位姿关系和目标工件坐标系（图3中的{F}）相对于目标参考坐标系的位姿关系。末端工具坐标系（图3中的{C}）为以当前的末端工具11的位姿为基准建立的坐标系，末端工具坐标系能表示当前的末端工具11的位姿，相机坐标系（图3中的{D}）为以当前的相机2的位姿为基准建立的坐标系，相机坐标系能表示当前的相机2的位姿，由于相机2的位置与末端工具11的位置相对固定，因此可以通过预先测定的方式获取相机坐标系相对于末端工具坐标系的位姿关系，且在任何情况下，末端工具坐标系与相机坐标系均可按照相机坐标系相对于末端工具坐标系的位姿关系进行转换。

步骤S21通过相机2获取当前时刻包括定位码3的图像信息，由于定位码3在图像信息中的位姿为定位码相对于相机的位姿，该位姿能够反馈出定位码坐标系相对于相机坐标系的位姿关系，因此能根据该图像信息获取定位码坐标系相对于相机坐标系的位姿关系（即第一变换关系）。

步骤S22中的目标相机坐标系（图3中的{B}）为末端工具坐标系与目标参考坐标系重合时以相机2的位姿为基准建立的坐标系，目标相机坐标系能表示末端工具坐标系与目标参考坐标系重合时相机2的位姿。由于第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系，第二变换关系为目标相机坐标系相对于定位码坐标系的位姿关系，因此可以根据第一变换关系和第二变换关系获取目标相机坐标系相对于当前的相机坐标系的位姿关系，其计算公式如式（1）所示。由于相机2的位置与末端工具11的位置相对固定，目标相机坐标系相对于当前的相机坐标系的位姿关系与目标参考坐标系相对于当前的末端工具坐标系的位姿关系相等，因此步骤S22可以根据第一变换关系和第二变换关系获取目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系（即第三变换关系）。

由于第三变换关系能够表示将当前的相机坐标系移动至目标相机坐标系所需的位姿变化量或将当前的末端工具坐标系移动至目标参考坐标系所需的位姿变化量，因此步骤S23能够根据第三变换关系控制机械臂1驱动末端工具11移动以对末端工具11进行定位调节，以使当前的末端工具坐标系与目标参考坐标系重合。由于目标参考坐标系已知，因此只要将末端工具坐标系调节至与目标参考坐标系重合即可实现对末端工具11的定位。

由于机械臂1的位姿包括多轴位姿信息，根据多轴位姿信息能够获取各个轴的位姿信息，这些位姿信息能够反馈出当前的末端工具坐标系相对于基座坐标系（图3中的{G}）的位姿关系，因此步骤S24能够根据机械臂1当前的位姿获取当前的末端工具坐标系相对于机械臂1的基座坐标系的位姿关系（即第四变换关系），且由于相机2的位置与末端工具11的位置相对固定，因此第四变换关系也可以为当前的相机坐标系相对于机械臂1的基座坐标系的位姿关系。第五变换关系能够表示将目标相机坐标系移动至目标工件坐标系所需的位姿变化量或将目标参考坐标系移动至目标工件坐标系所需的位姿变化量。步骤S24根据第四变换关系和第五变换关系控制机械臂1移动和控制末端工具11抓取目标工件5，从而实现对目标工件5的抓取。

本申请提供的一种机械臂的抓取方法，先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具11进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，最后根据第四变换关系和第五变换关系控制机械臂1移动和控制末端工具11抓取目标工件5，由于在末端工具11的定位过程中无需获取移动载体4的位置信息，因此无需对移动载体4进行精确定位，从而有效地避免出现由于移动载体4无法自主定位而导致在移动载体4移动后通过重复示教机械臂1的方式来定位末端工具11的情况。

在一些实施例中，第二变换关系和第五变换关系的预先测定过程包括以下步骤：

示教移动机械臂1以将末端工具坐标系调节至与目标参考坐标系重合；

通过相机2获取包括定位码3和目标工件5的基准图像信息，并根据基准图像信息测定第二变换关系和第五变换关系。

其中，该实施例先通过人工示教移动的方式移动机械臂1以将末端工具坐标系调节至与目标参考坐标系重合，再通过摄像头获取包括定位码3和目标工件5的基准图像信息，由于此时的相机坐标系也与目标相机坐标系重合，因此可以根据基准图像信息测定目标相机坐标系相对于定位码坐标系的位姿关系（即第二变换关系）及目标工件坐标系相对于目标相机坐标系的位姿关系（即第五变换关系）。

在一些实施例中，步骤S23包括：

S231、根据第三变换关系获取机械臂1的移动信息；

S232、若移动信息大于预设的第一阈值，根据移动信息和预设的第一系数控制机械臂1移动，并在重新获取包括定位码3的图像信息后返回步骤S21，直至移动信息小于等于第一阈值。

其中，步骤S231可以根据第三变换信息获取移动信息，该移动信息为将当前的相机坐标系移动至目标相机坐标系所需的位姿变化量或将当前的末端工具坐标系移动至目标参考坐标系所需的位姿变化量。步骤S232的第一阈值为预设值，第一阈值为将末端工具坐标系调节至与目标参考坐标系重合时允许的误差，第一系数为预设值，第一系数可以为任意正数，第一系数优选为小于1的任一整数，本领域技术人员能够根据实际调试情况改变第一系数的大小。在移动信息大于第一阈值时，步骤S232根据移动信息和第一系数获取实际移动信息，并根据实际移动信息控制机械臂1移动，例如移动信息为向右移动10cm，第一系数为0.4，实际移动信息为向右移动4cm；又例如移动信息为向右移动10cm，第一系数为1.4，实际移动信息为向右移动14cm；又例如移动信息为向左移动8cm，第一系数为0.6，实际移动信息为向左移动4.8cm。该实施例的工作原理为：若移动信息小于等于第一阈值，则视末端工具坐标系与目标参考坐标系重合；若移动信息大于第一阈值，根据移动信息和第一系数控制机械臂1移动，并在重新获取包括定位码3的图像信息后返回步骤S21以重复执行获取第三变换关系和根据第三变换关系对末端工具11进行反馈调节定位的步骤,直至移动信息小于等于第一阈值，从而实现逐步将末端工具坐标系调节至与目标参考坐标系重合，且由于机械臂每次的移动量均小于移动信息，因此该实施例能够避免对末端工具11的过量调节应当理解的是，由于该实施例通过迭代的方式将末端工具坐标系调节至与目标参考坐标系重合，因此该实施例对第一变换关系的精度要求不高，从而有效地避免由于相机标定存在误差而导致调节定位精度下降。

在一些实施例中，移动信息包括平移量和转角量，第一阈值包括平移量阈值和转角阈值，若移动信息大于预设的第一阈值，根据移动信息和预设的第一系数控制机械臂1移动，并在重新获取包括定位码3的图像信息后返回步骤S21，直至移动信息小于等于第一阈值的步骤包括：

若平移量大于平移量阈值或转角量大于转角阈值，根据平移量和预设的第一系数，或转角量和第一系数控制机械臂1移动，并在重新获取包括定位码3的图像信息后返回步骤S21，直至平移量小于等于平移量阈值和转角量小于等于转角阈值。

在一些实施例中，步骤S24包括：

S241、根据第四变换关系和预先测定的第五变换关系获取第六变换关系，第六变换关系为目标工件坐标系相对于基座坐标系的位姿关系；

S242、根据第六变换关系控制机械臂1移动和控制末端工具11抓取目标工件5。

其中，由于步骤S23能将末端工具坐标系调节至与目标参考坐标系重合，因此步骤S24的当前的相机坐标系与目标相机坐标系重合，末端工具坐标系与目标参考坐标系重合，第四变换关系也可以为目标相机坐标系或目标参考坐标系相对于机械臂1的基座坐标系的位姿关系，因此步骤S241可以根据第四变换关系和第五变换关系获取目标工件坐标系相对于基座坐标系的位姿关系，其计算公式如式（2）所示：

（2）

其中，T表示齐次变换矩阵，

表示坐标系A相对于坐标系B的位姿关系，BASE表示机械臂1的基座坐标系，WORK表示目标工件坐标系，TCP_t表示目标参考坐标系，

表示目标工件坐标系相对于基座坐标系的位姿关系（即第六变换关系），

表示目标参考坐标系相对于基座坐标系的位姿关系（即第四变换关系），

表示目标工件坐标系相对于目标参考坐标系的位姿关系（即第五变换关系）。

步骤S242根据第六变换关系对机械臂1进行运动学逆解，以控制机械臂1移动和控制末端工具11抓取目标工件5。其中，对机械臂1进行运动学逆解属于现有技术，此处不再进行详细论述。

由上可知，本申请提供的一种机械臂的抓取方法，先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具11进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，最后根据第四变换关系和第五变换关系控制机械臂1移动和控制末端工具11抓取目标工件5，由于在末端工具11的定位过程中无需获取移动载体4的位置信息，因此无需对移动载体4进行精确定位，从而有效地避免出现由于移动载体4无法自主定位而导致在移动载体4移动后通过重复示教机械臂1的方式来定位末端工具11的情况。

第三方面，请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器601和存储器602，处理器601和存储器602通过通信总线603和/或其他形式的连接机构（未标出）互连并相互通讯，存储器602存储有处理器601可执行的计算机程序，当计算设备运行时，处理器601执行该计算机程序，以执行时执行实施例的任一可选的实现方式中的方法，以实现以下功能：S11、根据包括定位码3的图像信息获取第一变换关系，第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系；S12、根据第一变换关系和预先测定的第二变换关系获取第三变换关系，第二变换关系为目标相机坐标系相对于定位码坐标系的位姿关系，目标相机坐标系为末端工具11的末端工具坐标系与目标参考坐标系重合时的相机坐标系，第三变换关系为目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系；S13、根据第三变换关系对末端工具11进行调节定位，以使末端工具坐标系与目标参考坐标系重合或S21、根据包括定位码3的图像信息获取第一变换关系，第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系；S22、根据第一变换关系和预先测定的第二变换关系获取第三变换关系，第二变换关系为定位码坐标系相对于末端工具11的末端工具坐标系与目标参考坐标系重合时的目标相机坐标系的位姿关系，第三变换关系为目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系；S23、根据第三变换关系对末端工具11进行调节定位，以使末端工具坐标系与目标参考坐标系重合；S24、根据机械臂1当前的位姿获取第四变换关系，并根据第四变换关系和预先测定的第五变换关系控制机械臂1移动和控制末端工具11抓取目标工件5，第四变换关系为当前的相机坐标系或末端工具坐标系相对于机械臂1的基座坐标系的位姿关系，第五变换关系为目标工件坐标系相对于目标相机坐标系或目标参考坐标系的位姿关系。

第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行实施例的任一可选的实现方式中的方法，以实现以下功能：S11、根据包括定位码3的图像信息获取第一变换关系，第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系；S12、根据第一变换关系和预先测定的第二变换关系获取第三变换关系，第二变换关系为目标相机坐标系相对于定位码坐标系的位姿关系，目标相机坐标系为末端工具11的末端工具坐标系与目标参考坐标系重合时的相机坐标系，第三变换关系为目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系；S13、根据第三变换关系对末端工具11进行调节定位，以使末端工具坐标系与目标参考坐标系重合或S21、根据包括定位码3的图像信息获取第一变换关系，第一变换关系为定位码坐标系相对于当前的相机坐标系的位姿关系；S22、根据第一变换关系和预先测定的第二变换关系获取第三变换关系，第二变换关系为定位码坐标系相对于末端工具11的末端工具坐标系与目标参考坐标系重合时的目标相机坐标系的位姿关系，第三变换关系为目标相机坐标系相对于当前的相机坐标系的位姿关系或目标参考坐标系相对于当前的末端工具坐标系的位姿关系；S23、根据第三变换关系对末端工具11进行调节定位，以使末端工具坐标系与目标参考坐标系重合；S24、根据机械臂1当前的位姿获取第四变换关系，并根据第四变换关系和预先测定的第五变换关系控制机械臂1移动和控制末端工具11抓取目标工件5，第四变换关系为当前的相机坐标系或末端工具坐标系相对于机械臂1的基座坐标系的位姿关系，第五变换关系为目标工件坐标系相对于目标相机坐标系或目标参考坐标系的位姿关系。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-OnlyMemory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read OnlyMemory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

由上可知，本申请提供的一种机械臂的定位方法、抓取方法、电子设备及存储介质，先根据图像信息获取第一变换关系，再根据第一变换关系和预先测定的第二变换关系获取第三变换关系，然后根据第三变换关系对末端工具11进行反馈调节定位，以使末端工具坐标系与目标参考坐标系重合，以实现对末端工具11的定位，由于在末端工具11的定位过程中无需获取移动载体4的位置信息，因此无需对移动载体4进行精确定位，从而有效地避免出现由于移动载体4无法自主定位而导致在移动载体4移动后通过重复示教机械臂1的方式来定位末端工具11的情况。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个机器人，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以上升至一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种机械臂的定位方法，用于定位调节末端工具（11）的位姿至目标参考坐标系，应用在机械臂定位系统中，所述机械臂定位系统包括机械臂（1）和相机（2），所述机械臂（1）包括所述末端工具（11），所述相机（2）安装在所述机械臂（1）上，且与所述末端工具（11）位置相对固定，所述相机（2）用于采集图像信息，其特征在于，所述机械臂定位系统还包括定位码（3），所述定位码（3）的定位码坐标系与所述目标参考坐标系相对固定，所述机械臂的定位方法包括：

S11、根据包括定位码（3）的图像信息获取第一变换关系，所述第一变换关系为所述定位码坐标系相对于当前的相机坐标系的位姿关系；

S12、根据所述第一变换关系和预先测定的第二变换关系获取第三变换关系，所述第二变换关系为目标相机坐标系相对于所述定位码坐标系的位姿关系，所述目标相机坐标系为所述末端工具（11）的末端工具坐标系与所述目标参考坐标系重合时的相机坐标系，所述第三变换关系为所述目标相机坐标系相对于所述当前的相机坐标系的位姿关系或所述目标参考坐标系相对于当前的末端工具坐标系的位姿关系；

S13、根据所述第三变换关系对所述末端工具（11）进行调节定位，以使所述末端工具坐标系与所述目标参考坐标系重合；

所述步骤S13包括：

根据所述第三变换关系获取所述机械臂（1）的移动信息，所述移动信息包括平移量和转角量；

若所述平移量大于预设的平移量阈值或所述转角量大于预设的转角阈值，根据所述平移量和预设的第一系数，或所述转角量和所述第一系数控制所述机械臂（1）移动，并在重新获取包括定位码（3）的图像信息后返回步骤S11，直至所述平移量小于等于所述平移量阈值和所述转角量小于等于所述转角阈值。

2.根据权利要求1所述的一种机械臂的定位方法，其特征在于，所述第二变换关系的预先测定过程包括以下步骤：

示教移动所述机械臂（1）以将所述末端工具坐标系调节至与所述目标参考坐标系重合；

通过所述相机（2）获取包括定位码（3）的基准图像信息，并根据所述基准图像信息测定所述第二变换关系。

3.一种机械臂的抓取方法，用于抓取目标工件（5），应用在机械臂抓取系统中，所述机械臂抓取系统包括机械臂（1）、相机（2）和所述目标工件（5），所述机械臂（1）包括末端工具（11），所述相机（2）安装在所述机械臂（1）上，且与所述末端工具（11）位置相对固定，所述相机（2）用于采集图像信息，其特征在于，所述机械臂抓取系统还包括定位码（3），所述定位码（3）的定位码坐标系与目标参考坐标系及所述目标工件（5）的目标工件坐标系相对固定，所述机械臂（1）的抓取方法包括：

S21、根据包括定位码（3）的图像信息获取第一变换关系，所述第一变换关系为所述定位码坐标系相对于当前的相机坐标系的位姿关系；

S22、根据所述第一变换关系和预先测定的第二变换关系获取第三变换关系，所述第二变换关系为目标相机坐标系相对于所述定位码坐标系的位姿关系，所述目标相机坐标系为所述末端工具（11）的末端工具坐标系与所述目标参考坐标系重合时的相机坐标系，所述第三变换关系为所述目标相机坐标系相对于所述当前的相机坐标系的位姿关系或所述目标参考坐标系相对于当前的末端工具坐标系的位姿关系；

S23、根据所述第三变换关系对所述末端工具（11）进行调节定位，以使所述末端工具坐标系与所述目标参考坐标系重合；

S24、根据所述机械臂（1）当前的位姿获取第四变换关系，并根据第四变换关系和预先测定的第五变换关系控制所述机械臂（1）移动和控制所述末端工具（11）抓取所述目标工件（5），所述第四变换关系为当前的所述相机坐标系或所述末端工具坐标系相对于机械臂（1）的基座坐标系的位姿关系，所述第五变换关系为所述目标工件坐标系相对于所述目标相机坐标系或所述目标参考坐标系的位姿关系；

所述步骤S23包括：

根据所述第三变换关系获取所述机械臂（1）的移动信息，所述移动信息包括平移量和转角量；

若所述平移量大于预设的平移量阈值或所述转角量大于预设的转角阈值，根据所述平移量和预设的第一系数，或所述转角量和所述第一系数控制所述机械臂（1）移动，并在重新获取包括定位码（3）的图像信息后返回步骤S21，直至所述平移量小于等于所述平移量阈值和所述转角量小于等于所述转角阈值。

4.根据权利要求3所述的一种机械臂的抓取方法，其特征在于，所述第二变换关系和所述第五变换关系的预先测定过程包括以下步骤：

示教移动所述机械臂（1）以将所述末端工具坐标系调节至与所述目标参考坐标系重合；

通过所述相机（2）获取包括定位码（3）和目标工件（5）的基准图像信息，并根据所述基准图像信息测定所述第二变换关系和所述第五变换关系。

5.根据权利要求3所述的一种机械臂的抓取方法，其特征在于，所述步骤S24包括：

根据第四变换关系和预先测定的第五变换关系获取第六变换关系，所述第六变换关系为所述目标工件坐标系相对于所述基座坐标系的位姿关系；

根据所述第六变换关系控制所述机械臂（1）移动和控制所述末端工具（11）抓取所述目标工件（5）。

6.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-2任一项所述的机械臂的定位方法或如权利要求3-5任一项所述的机械臂的抓取方法中的步骤。

7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-2任一项所述的机械臂的定位方法或如权利要求3-5任一项所述的机械臂的抓取方法中的步骤。

Images