CN107571260B - 控制机器人抓取物体的方法和装置 - Google Patents

控制机器人抓取物体的方法和装置 Download PDF

Info

Publication number
CN107571260B
CN107571260B CN201711007260.1A CN201711007260A CN107571260B CN 107571260 B CN107571260 B CN 107571260B CN 201711007260 A CN201711007260 A CN 201711007260A CN 107571260 B CN107571260 B CN 107571260B
Authority
CN
China
Prior art keywords
target
joint
information
target object
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711007260.1A
Other languages
English (en)
Other versions
CN107571260A (zh
Inventor
张光肖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Avatarmind Robot Technology Co ltd
Original Assignee
Nanjing Avatarmind Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Avatarmind Robot Technology Co ltd filed Critical Nanjing Avatarmind Robot Technology Co ltd
Priority to CN201711007260.1A priority Critical patent/CN107571260B/zh
Priority to PCT/CN2017/112209 priority patent/WO2019080228A1/zh
Publication of CN107571260A publication Critical patent/CN107571260A/zh
Application granted granted Critical
Publication of CN107571260B publication Critical patent/CN107571260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请提供了一种控制机器人抓取物体的方法和装置，其中，该方法包括：获取目标图片，目标图片包含有目标标识，目标标识设于待抓取的目标物上；从目标图片中识别出目标标识，并根据目标标识确定目标物的位置信息和姿态信息、对应的抓取方案；进而进行低耦合运动学求解，确定多个关节变量；根据多个关节变量、对应的抓取方案，控制机械臂抓取目标物。由于该方案通过识别设于目标物的目标标识，确定目标物的位置信息和姿态信息、对应的抓取方案；通过利用低耦合运动学求解，计算得到多个关节变量；进而根据多个关节变量和对应的抓取方案抓取目标物，从而解决了现有方法存在的识别目标物过程复杂、成本高，计算关节变量效率低的技术问题。

Description

控制机器人抓取物体的方法和装置
技术领域
本发明涉及机器人的控制技术领域，特别是涉及一种控制机器人抓取物体的方法和装置。
背景技术
随着技术的发展，服务机器人开始逐渐进入人们的日常工作和生活。其中，服务机器人具体可以是一类在专业领域，或个人及家庭领域从事保养、维护、运输、清洗、安保、救援或监护等工作的机器人。具体的，上述服务机器人包括类人双臂机器人。具体实施时，上述类人双臂机器人通常可以通过相机定位待抓取的目标物，并通过机械臂抓取目标物，完成相应的工作。
目前，现有的控制机器人抓取物体的方法大多是通过识别目标物自身的具体特征对目标物进行确定；通过进行机械臂运动学D-H求解，确定具体的关节变量，以便控制机械臂完成相应的抓取动作。但是，现有方法具体实施时，需要对目标物自身的特征进行识别，识别过程相对较为复杂，识别成本也相对较高。例如，通常需要使用双目相机对目标物多种特征进行检测、识别。此外，常规的机械臂运动学D-H求解所确定的多个关节变量间耦合度较高，各个关节变量之间关系较为复杂。因此，利用现有方法计算具体的关节变量较为复杂、效率较低。综上可知，现有方法具体实施时，往往存在识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本申请实施方式提供了一种控制机器人抓取物体的方法和装置，以解决有方法中存在的识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题，达到简单、灵活地识别并获取目标物信息；高效、准确地计算多个关节变量；进而精确地控制机器人抓取目标物的技术效果。
本申请实施方式提供了一种控制机器人抓取物体的方法，包括：
获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上；
从所述目标图片中识别出所述目标标识，并根据所述目标标识确定所述目标物的位置信息和姿态信息、对应的抓取方案；
根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量；
根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
在一个实施方式中，所述目标标识包括：定位框和编码信息。
在一个实施方式中，根据所述目标标识确定目标物的位置信息和姿态信息、对应的抓取方案，包括：
根据所述目标标识的定位框的尺寸和角度，确定所述目标物的位置信息和姿态信息；
根据所述目标标识的编码信息，在预设数据库中确定所述对应的抓取方案。
在一个实施方式中，根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量，包括；
根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量；
根据所述第一关节变量、所述第二关节变量，确定所述多个关节变量中除第一关节变量、第二关节变量以外的其他关节变量；
其中，所述多个关节变量的关节变量数大于等于3。
在一个实施方式中，根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量，包括：
建立机器人的多个关节坐标系；
根据所述多个关节坐标系，确定多个相邻坐标系的D-H转换矩阵；
根据所述目标物的位置信息和姿态信息，多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，以建立多组非齐次超越方程组；
求解所述多组非齐次超越方程组，确定所述第一关节变量、所述第二关节变量。
在一个实施方式中，多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵中的左乘次数根据所述多个关节变量的关节变量数确定。
在一个实施方式中，所述根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物，包括：
根据所述多个关节变量、所述对应的抓取方案进行运动规划，确定运动消息队列；
根据所述运动消息队列，控制所述机械臂抓取所述目标物。
在一个实施方式中，所述机器人包括单目双臂机器人。
在一个实施方式中，在获取目标图片之前，所述方法还包括：
获取相机的内参矩阵、外参矩阵和畸变系数，所述相机用于获取所述目标图片；
根据所述内参矩阵、所述外参矩阵和所述畸变系数对所述相机进行校准。
本申请还提供了一种控制机器人抓取物体的装置，包括：
获取模块，用于获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上；
确定模块，用于从所述目标图片中识别出所述目标标识，并根据所述目标标识确定所述目标物的位置信息和姿态信息、对应的抓取方案；
求解模块，用于根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量；
控制模块，用于根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
在本申请实施方式中，通过识别设于目标物的目标标识，确定目标物具体的位置信息和姿态信息，以及对应的抓取方案；通过利用不同于现有求解方法的低耦合运动学求解方法，计算得到多个关节变量；进而根据多个关节变量和对应的抓取方案抓取目标物，从而解决了现有方法中存在的识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题，达到简单、灵活地识别并获取目标物信息；高效、准确地计算多个关节变量；进而可以利用多个关节变量和对应的抓取方案进行运动规划，根据运动规划得的结果，精确地控制机器人的双臂协调运动以抓取目标物的技术效果。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对本发明的机械臂逆运动学求解方法误差的确定及校正方法和装置的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是根据本申请实施方式提供的控制机器人抓取物体的方法的处理流程示意图；
图2是根据本申请实施方式提供的控制机器人抓取物体的装置的组成结构图；
图3是在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置的流程示意图；
图4是在一个场景示例中基于本申请实施方式提供的控制机器人抓取物体的方法和装置利用单目相机进行校准、识别和匹配的流程示意图；
图5是在一个场景示例中基于本申请实施方式提供的控制机器人抓取物体的方法和装置的目标标识示意图；
图6是在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置建立的关于双臂机器人各个关节的D-H运动学坐标系的示意图；
图7是在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置基于ROS系统进行MoveIt模块配置的流程示意图；
图8是在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置控制单目双臂机器人抓取目标物的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
考虑到现有的控制机器人抓取目标物的方法，由于需要对目标物自身的多种特征进行具体识别，导致识别过程相对较为复杂，识别的成本也相对较高。还由于现有方法通过常规的机械臂运动学D-H求解所确定的多个关节变量间的耦合度较高，各个关节变量之间关系较为复杂，导致利用现有方法计算具体的关节变量较为复杂、效率较低。因此，现有方法具体实施时，往往存在识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题。针对产生上述技术问题的根本原因，本申请考虑可以通过识别设置于目标物的目标标识对目标物进行相应的识别确定，通过利用不同于现有求解方法的低耦合运动学求解方法确定多个关节变量，从而解决现有方法中存在的识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题，达到简单、灵活地识别并获取目标物信息；高效、准确地计算多个关节变量；进而可以精确地控制机器人抓取目标物的技术效果。
基于上述思考思路，本申请实施方式提供了一种控制机器人抓取目标物的方法。具体请参阅图1所示的根据本申请实施方式提供的控制机器人抓取物体的方法的处理流程示意图。本申请实施方式提供的控制机器人抓取物体的方法，具体实施时，可以包括以下步骤。
S11：获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上。
在一个实施方式中，具体实施时，可以通过设置于机器人指定位置上的相机获取所述目标图片。具体的，上述相机可以是单目相机。如此，可以避免使用双目相机，降低实施成本。当然，具体实施时根据具体情况，例如为了获得更加精准的目标图片，也可以使用双目相机或其他相应的相机。
在本实施方式中，上述目标图片包含有目标标识。其中，上述目标标识是事先设于待抓取的目标物上的特定标志，且上述目标标识与待抓取的目标物对应。具体的，可以理解为不同种类的目标物可以对应不同种类的目标标识。如此，可以准确地根据含有目标标识的目标图片获取对应的目标物的基本信息。
在一个实施方式中，上述目标标识具体可以包括：定位框和编码信息。其中，上述定位框具体可以是具有指定形状和指定尺寸的图形框，用于确定目标标识的位置信息和姿态信息。具体的，上述定位框可以是方形框，也可以是三角形框等等。上述编码信息具体可以是一种与待抓取目标物对应的指定字符或图形，用于指示目标物的基本信息。具体的，上述编码信息可以是一种二维码，后续实施时可以通过识别该二维码确定该目标物的具体种类等基本信息。其中，上述编码信息具体可以设置于定位框内。
在本实施方式中，上述目标标识具体可以通过粘贴或吸附方式设于具体的待抓取的目标物上。如此，可以通过获取并分析目标标识的信息，而不是直接对目标物本身的特征信息进行获取分析，确定目标物的位置信息和姿态信息，从而可以降低获取目标物的位置信息和姿态信息的难度和成本，达到高效、准确、低成本地确定目标物的位置信息和姿态信息的效果。
S12：从所述目标图片中识别出所述目标标识，并根据所述目标标识确定所述目标物的位置信息和姿态信息、对应的抓取方案。
在一个实施方式中，为了能够快速、准确地确定出目标物的位置信息和姿态信息，以及确定于目标物对应的抓取方案，具体实施时，可以先从所获取的目标图片中识别出目标标识；再根据目标标识，确定目标物的位置信息和姿态信息、对应的抓取方案。其中，上述根据目标标识，确定目标物的位置信息和姿态信息、对应的抓取方案具体实施时可以包括以下内容：
S12-1：根据所述目标标识的定位框的尺寸和角度，确定所述目标物的位置信息和姿态信息。
在本实施方式中，上述目标物的位置信息具体可以包括：当前目标物所在位置的坐标信息。根据上述目标物所在位置的坐标信息可以确定出目标物整体所在方位以及目标物距离相机的距离。上述目标物的姿态信息具体可以包括：当前目标物基于预设常规位置旋转的角度。根据上述目标物基于预设常规位置旋转的角度可以确定当前目标物所呈现的具体的姿态，例如，目标物正向地位于相机当前的视野范围中。
在本实施方式中，具体实施时可以根据目标图片中定位框的尺寸和定位框真实尺寸的比值，以及定位框位于目标图片中的位置，结合相机自身的位置信息，确定出目标物的位置信息。可以根据目标图片中定位框基于预设常规位置旋转的角度值确定目标物的姿态信息。其中，上述角度具体可以是0度至360度的旋转角。需要补充的是，具体实施时，还可以综合获取目标图片的相机围绕坐标系中的X轴、Y轴、Z轴的旋转角度值，以及所述目标图片中定位框基于预设常规位置旋转的角度值确定出目标物的姿态信息。
S12-2：根据所述目标标识的编码信息，在预设数据库中确定所述对应的抓取方案。
在本实施方式中，上述预设数据库具体可以存储有与目标标识中的编码信息对应的物体的基本信息以及该与该物体对应的抓取方案。具体的，例如，物体的基本信息可以包括：名称、种类、形状特征、材质特征等等。对应的抓取方案具体可以包括以下至少之一：以什么样的角度抓取目标物，以什么样的速度抓取目标物，以什么样的力度抓取目标物等。其中，上述对应的抓取方案是根据物体的基本信息确定的。当然，需要说明的是上述所列举的抓取方案只是为了更好地说明本申请实施方式，具体实施时，可以根据体情况和实施要求，引入其他与目标物的特征相吻合的抓取方案。
在一个实施方式中，具体实施时，可以先识别并获取目标图片中目标标识中的编码信息；再利用上述编码信息在预设数据库中进行搜索匹配，寻找得到与上述编码信息对应的物体的基本信息作为待抓取的目标物的基本信息；进而可以该对应的物体的基本信息，在上述预设数据库中搜索确定出于待抓取目标物对应的抓取方案。
S13：根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量。
在本实施方式中，上述关节变量具体可以包括以下类型的关节变量：关节旋转的角度值、关节的位移值。具体的，对于机械臂中的旋转关节，例如，对于肩部左旋转关节，上述关节变量具体可以是肩部左旋转关节旋转的角度值；对于左臂滑动关节，上述关节变量具体可以是左臂滑动关节的位移值。
在本实施方式中，需要说明的是，在现有方法的运动学求解的过程中各个关节变量的耦合度较高，在对各个关节变量进行具体的确定求解时，需要同时考虑所有关节变量之间的影响，因此实施时，算法相对复杂、运算数据量相对较大、运算过程中出现的误差也相对较多。导致具体求解时，对硬件的要求较高、实施效率较差、误差较大。为了解决上述问题，以便可以高效、准确地计算出多个关节变量中各个关节变量，具体实施时，可以采用改进后的求解方法，即低耦合运动学求解，按照以下方式执行：
S13-1：根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量。
在本实施方式中，为了降低运动学求解过程中各个关节变量相互之间复杂的耦合关系，具体实施时，可以通过以下方式先确定出第一关节变量、第二关节变量：
S13-1-1：建立机器人的多个关节坐标系；
S13-1-2：根据所述多个关节坐标系，确定多个相邻坐标系的D-H转换矩阵；
S13-1-3：根据所述目标物的位置信息和姿态信息，多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，以建立多组非齐次超越方程组；
S13-1-4：求解所述多组非齐次超越方程组，确定所述第一关节变量、所述第二关节变量。
如此，可以通过多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，以降低求解过程中各关节变量之间的耦合度，进而可以更加高效、准确地确定出第一关节变量和第二关节变量。
S13-2：根据所述第一关节变量、所述第二关节变量，确定所述多个关节变量中除第一关节变量、第二关节变量以外的其他关节变量；其中，所述多个关节变量的关节变量数大于等于3。
在一个实施方式中，为了能够较为有效地降低运动学求解过程中各个关节变量间的耦合度，具体实施时，上述多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵中的左乘次数具体可以根据所述多个关节变量的关节变量数确定。具体的，左乘的次数的数值可以是关节变量数的二分之一。例如，多个关节变量为10个关节变量，则可以根据所述目标物的位置信息和姿态信息，通过5次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，以建立多组非齐次超越方程组。当然具体实施时，可以先根据关节变量数，确定关节变量数的二分之一作为初始的左乘次数，以建立上述多组非齐次超越方程组；再检验基于所确定的多组非齐次超越方程组是否可以确定出第一关节变量和第二关节变量；如果尚无法确定出上述两个关节变量，可以以初始的左乘后的数据为基础，继续左乘相邻坐标系的D-H转换矩阵的逆矩阵，直到获得可以用于确定第一关节变量、第二关节变量的多组非齐次超越方程组为止。
在本实施方式中，为了能够简化求解过程，提高求解效率，具体实施时可以先确定出第一关节变量、第二关节变量；再以确定出来的第一关节变量和第二关节变量作为已知数据，确定出多个关节变量中除第一关节变量和第二关节变量以外的其他关节变量。
在本实施方式中，需要说明的是上述多个关节变量的关节变量数具体可以大于或等于3。例如，关节变量数可以是15，即可以有15个关节变量。
在本实施方式中，上述第一关节变量、第二关节变量可以根据具体可以根据实施情况和要求确定。具体的，例如，可以将机械臂中手腕左旋转关节的关节变量作为第一关节变量，将机械臂中手腕右旋转关节的关节变量作为第二关节变量。当然，也可以将左末端执行器的关节变量作为第一关节变量，将右末端执行器的关节变量作为第二关节变量。对于具体选择哪个关节变量作为上述第一关节变量、第二关节变量，本申请不作限定。
在本实施方式中，考虑到针对双臂机器人的特点，选择可以先确定两个关节变量，即第一关节变量和第二关节变量；再根据所确定的两个关节变量进一步确定出其他的关节变量。具体实施时，也可以根据待控制机器人的自身特点以及具体的施工要求，也可以选择先确定3个或者其他个数的关节变量，再根据所述确定的关节变量确定出其他关节变量。
S14：根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
在一个实施方式中，为了能够精确地控制机器完成对目标物的抓取，具体实施时，可以包括以下内容：
S14-1：根据所述多个关节变量、所述对应的抓取方案进行运动规划，确定运动消息队列。
在本实施方式中，具体实施时，可以利用基于ROS系统的机器人模型，通过MoveIt模块根据上述多个关节变量以及对应的抓取方案进行具体的运动规划，以确定出用于执行的运动消息队列。
S14-2：根据所述运动消息队列，控制所述机械臂抓取所述目标物。
在本实施方式中，具体实施时，可以将上述运动信息队列发送至机器人的驱动装置，再由机器人的驱动装置根据上述运动信息队列控制机器人的机械按照对应的抓取方案，抓取待抓取的目标物。
在本申请实施例中，相较于现有技术，通过识别设于目标物的目标标识，确定目标物具体的位置信息和姿态信息，以及对应的抓取方案；通过利用不同于现有求解方法的低耦合运动学求解方法，计算得到多个关节变量；进而根据多个关节变量和对应的抓取方案抓取目标物，从而解决了现有方法中存在的识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题，达到简单、灵活地识别并获取目标物信息；高效、准确地计算多个关节变量；进而可以利用多个关节变量和对应的抓取方案进行运动规划，根据运动规划得的结果，精确地控制机器人的双臂协调运动以抓取目标物的技术效果。
在一个实施方式中，所述机器人具体可以包括单目双臂机器人。当然，对于其他相似类型的机器人，例如双目双臂机器人、单目单臂机器人、单目双臂机器人等，本申请提供的控制机器人抓取物体的方法同样可以适用。
在一个实施方式中，为了获得准确度相对较高的目标图片，具体实施时，在获取上述目标图片之前，所述方法具体还可以包括以下内容：
S1：获取相机的内参矩阵、外参矩阵和畸变系数，所述相机用于获取所述目标图片；
S2：根据所述内参矩阵、所述外参矩阵和所述畸变系数对所述相机进行校准。
在本实施方式中，具体实施时，可以通过相机预设的标定程序，例如OpenCV的单目相机标定程序，对相机进行标定，以获取内参矩阵、外参矩阵和畸变系数，作为校准参数；再利用上述校准参数，对相机进行校准，以便后续可以获得准确度相对较高的目标图片。
从以上的描述中，可以看出，本申请实施方式提供的控制机器人抓取物体的方法，通过识别设于目标物的目标标识，确定目标物具体的位置信息和姿态信息，以及对应的抓取方案；通过利用不同于现有求解方法的低耦合运动学求解方法，计算得到多个关节变量；进而可以利用多个关节变量和对应的抓取方案进行运动规划，根据运动规划得的结果，精确地控制机器人的双臂协调运动以抓取目标物的技术效果，从而解决了现有方法中存在的识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题，达到简单、灵活地识别并获取目标物信息；高效、准确地计算多个关节变量；进而可以精确地控制机器人抓取目标物的技术效果；具体求解时，又通过多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，降低了关节变量之间的耦合度，以先确定出第一关节变量、第二关节变量，进而根据第一关节变量和第二关节变量确定出其他关节变量，提高了确定多个关节变量的效率，减少了确定过程中的计算误差。
基于同一发明构思，本发明实施方式中还提供了一种控制机器人抓取物体的装置，如下面的实施方式所述。由于该装置解决问题的原理与控制机器人抓取物体的方法相似，因此控制机器人抓取物体的装置的实施可以参见控制机器人抓取物体的方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。请参阅图2，是本申请实施方式的控制机器人抓取物体的装置的一种组成结构示意图，该装置具体可以包括：获取模块21、确定模块22、求解模块23、控制模块24，下面对该结构进行具体说明。
获取模块21，具体可以用于获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上；
确定模块22，具体可以用于从所述目标图片中识别出所述目标标识，并根据所述目标标识确定所述目标物的位置信息和姿态信息、对应的抓取方案；
求解模块23，具体可以用于根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量；
控制模块24，具体可以用于根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
在一个实施方式中，上述目标标识具体可以包括：定位框和编码信息。
在一个实施方式中，为了能够根据所述目标图片，确定目标物的位置信息和姿态信息、对应的抓取方案，具体实施时，上述确定模块22具体可以包括以下的结构单元：
第一确定单元，具体可以用于根据所述目标图片中的定位框的尺寸和角度，确定所述目标物的位置信息和姿态信息；
第二确定单元，具体可以用于根据所述目标图片中的编码信息，在预设数据库中确定所述对应的抓取方案。
在一个实施方式中，为了能够根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量，上述求解模块23具体可以包括以下结构单元；
第一求解单元，具体可以用于根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量；
第二求解单元，具体可以用根据所述第一关节变量、所述第二关节变量，确定所述多个关节变量中除第一关节变量、第二关节变量以外的其他关节变量；其中，所述多个关节变量的关节变量数大于等于3。
在一个实施方式中，为了能够根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量，上述第一求解单元具体实施时，可以按照以下程序执行：建立机器人的多个关节坐标系；根据所述多个关节坐标系，确定多个相邻坐标系的D-H转换矩阵；根据所述目标物的位置信息和姿态信息，多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，以建立多组非齐次超越方程组；求解所述多组非齐次超越方程组，确定所述第一关节变量、所述第二关节变量。
在一个实施方式中，为了能够根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物，上述控制模块24具体可以包括以下结构单元：
第三确定单元，具体可以用于根据所述多个关节变量、所述对应的抓取方案进行运动规划，确定运动消息队列；
控制单元，具体可以用于根据所述运动消息队列，控制所述机械臂抓取所述目标物。
在一个实施方式中，在提高所获取的目标图片准确度，具体实施时，上述装置还可以包括校准模块，其中，上述校准模块具体可以用于获取相机的内参矩阵、外参矩阵和畸变系数，所述相机用于获取所述目标图片；并根据所述内参矩阵、所述外参矩阵和所述畸变系数对所述相机进行校准。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，上述实施方式阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，在本说明书中，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
此外，在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
从以上的描述中，可以看出，本申请实施方式提供的控制机器人抓取物体的装置，通过获取模块识别设于目标物的目标标识，并通过确定模块确定目标物具体的位置信息和姿态信息，以及对应的抓取方案；通过求解模块利用不同于现有求解方法的低耦合运动学求解方法，计算得到多个关节变量；进而通过控制模块根据多个关节变量和对应的抓取方案抓取目标物，从而解决了现有方法中存在的识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题，达到简单、灵活地识别并获取目标物信息；高效、准确地计算多个关节变量；进而可以利用多个关节变量和对应的抓取方案进行运动规划，根据运动规划得的结果，精确地控制机器人的双臂协调运动以抓取目标物的技术效果；具体求解时，又通过求解模块进行多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，降低了关节变量之间的耦合度，以先确定出第一关节变量、第二关节变量，进而根据第一关节变量和第二关节变量确定出其他关节变量，提高了确定多个关节变量的效率，减少了确定过程中的计算误差。
本申请实施方式还提供了一种电子设备，其中，该设备包括相机、处理器和控制器。具体的，上述相机具体可以用于获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上；上述处理器具体可以用于根据所述目标图片，确定目标物的位置信息和姿态信息、对应的抓取方案；并根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量；上述控制器具体可以用于根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
在本实施方式中，所述相机具体可以是单目相机，例如USB单目相机，也可以是双目相机，还可以是其他类型的图片采集设备。具体实施时，上述相机可以获取目标图片，并将目标图片通过有线或无线的方式发送至处理器，供处理器分析处理。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述控制器具体可以是一种功能单元的组合。具体实施时，控制器可以获取处理器分析处理得到的处理结果，并根据上述处理结果，控制机器人的机械臂执行对应的具体动作。
在本实施方式中，该电子设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
本申请实施方式中还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上；根据所述目标图片，确定目标物的位置信息和姿态信息、对应的抓取方案；根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量；根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
在一个具体实施场景示例中，应用本申请提供的控制机器人抓取物体的方法和装置控制单目双臂机器人对展示台上的待抓取物进行抓取。具体实施过程可以参阅图3所示的在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置的流程示意图，按照以下内容执行。需要说明的是，在本场景示例中主要是针对单目双臂机器人，利用本申请提供的控制机器人抓取物体的方法和装置进行相应的控制，下面出现的机器人具体指代的均是单目双臂机器人。
步骤1：单目相机的标定(即校准相机)。
在本实施方式中，为了保证单目相机获得的图片的准确度较高，可以在获取图片之前，先对相机进行标定。具体的，可以利用OpenCV相机标定程序获得相机的内参矩阵、外参矩阵以及畸变系数等信息；并以上述内参矩阵、外参矩阵以及畸变系数等信息作为校准参数，载入相机中，以对相机进行校准，以提高视觉识别的精确度，从而可以获得准确度较高的图片。
步骤2：特定标志的视觉识别(即获取含有目标标识的目标图片)。
在本实施方式中，还需要补充的是，根据视觉标志的空间位置和姿态确定待抓取物体的空间位置和姿态，具体实施时，可以按照以下方式利用齐次矩阵表征待抓取物体的空间位置和姿态：
Figure BDA0001444710380000171
上式中，nx、ny、nz、ox、oy、oz、ax、ay、az具体可以表示了待抓取物体的空间姿态，Px、Py、Pz表示了待抓取物体的空间位置。其中，上述待抓取物体的空间位置和姿态后续将用于具体的双臂机器人D-H运动学求解计算。
在本实施方式中，上述视觉标志具体可以包括以下两部分：定位框和编码信息。其中，定位框可以给出视觉标志的空间位置和姿态信息，进而可以根据视觉标志的空间位置和姿态信息确定待抓取物体的空间位置和姿态信息；编码信息结合视觉识别库可以给出待抓取物体的品类信息及对应的抓取方案(即目标物的基本信息和对应的抓取方案)。
具体实施时，上述视觉标志可以通过粘贴或者吸附的方式设置于待抓取物体的表面。因此，可以利用该标志的空间位置和姿态信息确定待抓取物体的空间位置和姿态；并根据该标志的空间位置和姿态，结合编码信息通过视觉标志识别库给出对应的抓取方案，进而可以用以确定双臂机器人末端执行器的空间姿态(对应具体的关节变量)。
在本实施方式中，还需要进一步说明的是上述视觉识别库具体可以是用户预先定义的对应于视觉标志编码信息的脚本查询库，该查询库可以提供待抓取物品的属性、抓取姿态、抓取力等抓取方案信息，且还可以支持用户编写和拓展，以便用户后续可以根据具体情况扩展上述视觉识别库中的具体内容。
步骤3：视觉识别库匹配(即根据目标图片确定目标物的位置信息和姿态信息，以及对应的抓取方案)。
根据步骤2中提取的视觉标志的内部编码信息，对视觉识别库进(即预设数据库)行搜索，获得待抓取物品的详细信息和对应的抓取方案。同时可以根据视觉标志的空间位置和姿态确定待抓取物体的空间位置和姿态。
在本实施方式中，还需要补充的是，在上述视觉识别库中，每一个视觉标志内部的编码信息可以对应一个或一类待抓取物体。例如，可以设定101～199代表水杯茶杯类物品，201～299代表衣物类等；此外，每一个品类的具体物品可以有对应的抓取方案。且上述视觉识别库支持用户的扩展和编辑。
具体实施时，上述步骤1-步骤3所表述的具体实施过程可以参阅图4所示的在一个场景示例中基于本申请实施方式提供的控制机器人抓取物体的方法和装置利用单目相机进行校准、识别和匹配的流程示意图。
在本实施方式中，还需要说明的是，上述视觉标志(即目标标识)具体可以是指预先设计好的具有特定几何形状和编码信息的图案。具体的，可以参阅图5的在一个场景示例中基于本申请实施方式提供的控制机器人抓取物体的方法和装置的目标标识示(即视觉标志)意图。具体的，可以先将上述视觉标志张贴或吸附在待抓取物体(即目标物)的表面，然后通过基于OpenCV的单目相机的特定视觉标志识别方案对视觉标志进行识别和获取，并可以从上述视觉标志中获取以下两类信息：视觉标志的空间位置和姿态(即目标标识的位置信息和姿态信息)和视觉标志的内部编码信息。
步骤4：双臂机器人D-H运动学计算。
在本实施方式中，具体实施时，可以利用本发明提出的基于D-H法改进后的降耦合的运动学求解方法，将步骤2中获取的视觉标志信息中的空间位置和姿态信息作为目标输入，计算出机器人双臂的末端执行器以一定姿态达到该特定位置时双臂机器人的多个关节变量中的各个关节的关节变量。具体可以按照以下方式执行相关求解。
S1：建立关节坐标系。具体实施可以参阅图6所示的在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置建立的关于双臂机器人各个关节的D-H运动学坐标系的示意图。具体的，左臂坐标系依次分别为：X11Y11Z11、X12Y12Z12、X13Y13Z13、X14Y14Z14、X15Y15Z15和X16Y16Z16；右臂坐标系依次分别为：X21Y21Z21、X22Y22Z22、X23Y23Z23、X24Y24Z24、X25Y25Z25和X26Y26Z26；其中，颈部坐标系为：XaYaZa和XbYbZb，单目摄像头坐标系为XcYcZc。
S2：根据坐标系位置关系和D-H规则确定关于双臂机器人的双臂的参数表。
上一步完成坐标系的建立以后，就可以根据相邻坐标系之间的位置关系得到四个参数，ai-1、αi-1、di以及θi，所述是个参数即确定了相邻两个坐标系之间的转换关系。其中，具体可以按照以下参数值确定规则执行：ai-1具体可以是指坐标系XiYiZi相对于Xi-1Yi-1Zi-1沿Xi-1平移的长度值；αi-1是指坐标系XiYiZi相对于Xi-1Yi-1Zi-1绕Xi-1旋转的角度值；di是指坐标系XiYiZi相对于Xi-1Yi-1Zi-1沿Zi平移的长度值；θi是指坐标系XiYiZi相对于Xi-1Yi-1Zi-1绕Zi旋转的角度值。
进一步，可以根据上述规则最终得到机器人双臂的D-H参数表，具体可以参阅表1所示的双臂D-H参数表。
表1双臂D-H参数表
Figure BDA0001444710380000201
S3：结合上述双臂D-H参数表，按照以下方式建立相邻坐标系D-H转换矩阵：
Figure BDA0001444710380000202
进而可以根据参数表和该转换矩阵得到双臂中每两个相邻坐标系之间的转换矩阵，并可以获得双臂的正运动学矩阵。具体的，例如，右下标为1的矩阵
Figure BDA0001444710380000203
可以代表左臂，右下标为2的矩阵
Figure BDA0001444710380000204
可以代表右臂。相应的，双臂运动学矩阵具体可以按照以下方式表征：
Figure BDA0001444710380000211
Figure BDA0001444710380000212
对上述矩阵，还需要具体说明的是，以左臂为例，对于左臂中的n1x、n1y、n1z具体可以按照以下方式分别表示：
n1x＝-cos(θ15)*(cos(θ14)*(sin(θ11)*sin(θ13)-cos(θ11)*cos(θ12)*cos(θ13))
+cos(θ11)*sin(θ12)*sin(θ14))-sin(θ15)*(cos(θ13)*sin(θ11)+cos(θ11)*cos(θ12)*sin(θ13))
n1Y＝cos(θ15)*(cos(θ14)*(cos(θ11)*sin(θ13)+cos(θ12)*cos(θ13)*sin(θ11))
-sin(θ11)*sin(θ12)*sin(θ14))+sin(θ15)*(cos(θ11)*cos(θ13)-cos(θ12)*sin(θ11)*sin(θ13))
n1z＝cos(θ15)*(cos(θ12)*sin(θ14)+cos(θ13)*cos(s4)*sin(θ12))
-sin(θ12)*sin(θ13)*sin(θ15)
上式中，θ1i具体可以代表左臂的关节变量，同理可以分别得到o1x、o1y、o1z、a1x、a1y、a1z、p1x、p1y、p1z。对此本申请不作赘述
进一步，按照相同的方式，可以分别得到右臂的n2x、n2y、n2z、o2x、o2y、o2z、a2x、a2y、a2z、p2x、p2y、p2z，以便完成双臂正运动学求解。
S4：根据上一步正运动学矩阵，
对于左臂，具体逆运动学求解算法可以包括以下内容
先根据超越方程组：
Figure BDA0001444710380000213
可以分别求得以下数据：
Figure BDA0001444710380000214
Figure BDA0001444710380000221
Figure BDA0001444710380000222
再根据超越方程组：
Figure BDA0001444710380000223
可以求得：
Figure BDA0001444710380000224
进而根据超越方程组：
Figure BDA0001444710380000225
可以求得：
θ14＝arccos(a1z*cos(θ12)-a1x*cos(θ11)*sin(θ12)-a1y*sin(θ11)*sin(θ12))。
对于右臂，具体逆运动学求解算法可以包括以下内容：
先根据超越方程组：
Figure BDA0001444710380000226
可以分别求得以下数据：
Figure BDA0001444710380000227
Figure BDA0001444710380000228
Figure BDA0001444710380000229
再根据超越方程组：
Figure BDA00014447103800002210
可以求得：
Figure BDA00014447103800002211
进而根据超越方程组：
Figure BDA00014447103800002212
可以求得：
θ24＝arccos(a2z*cos(θ22)-a1x*cos(θ21)*sin(θ22)-a1y*sin(θ21)*sin(θ22))。
此外，还需要说明的是，具体实施时可以根据颈部坐标系依次为XaYaZa和XbYbZb以及单目摄像头坐标系为XcYcZc的几何位置关系，可以得到颈部关节的转换矩阵和单目相机的转换矩阵，进而可以将单目相机坐标系的内容映射到双臂坐标系之内最终的用于求解的位置和姿态数据。
步骤5：双臂机器人ROS建模。
在本实施方式中，双臂机器人ROS建模具体可以包括：利用ROS系统的URDF或XACRO脚本语言编写双臂机器人模型描述文件，进一步的该描述文件可以载入预先绘制的机器人3D模型文件。如此，可以获得基于ROS系统的机器人模型(在实施方式中主要针对的是机械臂模型)。需要说明的是，上述机器人模型具体可以是事先建立的，后续具体实施时，可以直接进行调用以便后续的具体分析处理。
步骤6：ROS系统MoveIt模块配置。
在本实施方式中，上述ROS系统MoveIt模块配置具体可以是初始化MoveIt模块的move_group节点。具体实施时，可以按照以下方式执行。
S1：读取步骤5中的机器人模型描述文件；
S2：编写接口程序将步骤3中生成的抓取方案和步骤4中的运动学计算结果(步骤4中确定的多个关节变量)加载到move_group节点；
S3：配置move_group节点的机械臂运动规划库和控制器。
在本实施方式中，需要说明的是，本步骤作用是配置ROS系统MoveIt模块的运动规划库，具体实现方法是调用MoveIt的Setup Assistant tool工具，其中，可以设置默认的运动规划库为OMPL。
步骤7：双臂协作运动规划。
在本实施方式中，在完成步骤5和步骤6后，ROS系统中的move_group节点可以调用系统的运动规划库(默认为OMPL库)生成对应于特定抓取目标的双臂机器人运动消息队列。
具体实施时，可以先进行GUI(Rviz Plugin)配置文件，即载入Rviz插件，从而实现以3D动画的形式实时显示机器人双臂的运动状态。如此，用户可以直观看到双臂抓取的运动过程。
步骤8：双臂机器人运动消息队列发送。
在本实施方式中，具体的可以编写Control_Manager配置文件。经过控制器的配置，ROS系统就可以利用FollowJointTrajectoryAction来发布消息。其中，双臂机器人运动消息队列可以通过以下的发送方式进行具体的发送传达：FollowJointTrajectoryAction。进而可以将步骤7中产生的双臂机器人运动消息队列发送给机器人的驱动程序，其中，具体的发送方式可以包括：通过USART、CAN或USB等总线进行发送。
具体实施时，上述步骤5至步骤8的具体执行过程具体可以参阅图7所示的在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置基于ROS系统进行MoveIt模块配置的流程示意图。
步骤9：双臂机器人驱动。
在本实施方式中，单目双臂机器人中的关节驱动程序接收到双臂机器人运动消息队列后，可以驱动机器人各个关节的电机运动到预定位置。
步骤10：控制双臂机器人抓取。
在本实施方式中，具体实施时，可以通过驱动装置控制双臂机器人的各个关节协同完成相应的抓取待抓取物体的抓取过程。具体可以参阅图8所示的在一个场景示例中应用本申请实施方式提供的控制机器人抓取物体的方法和装置控制单目双臂机器人抓取目标物的示意图。
通过上述场景示例，验证了本申请实施方式提供的控制机器人抓物体的方法和装置，通过识别设于目标物的目标标识，确定目标物具体的位置信息和姿态信息，以及对应的抓取方案；通过利用不同于现有求解方法的低耦合运动学求解方法，计算得到多个关节变量；进而可以利用多个关节变量和对应的抓取方案进行运动规划，根据运动规划得的结果，精确地控制机器人的双臂协调运动以抓取目标物的技术效果，确实解决了现有方法中存在的识别目标物过程较复杂、实施成本较高，计算关节变量效率较低的技术问题，确实达到可以简单、灵活地识别并获取目标物信息；高效、准确地计算多个关节变量；进而可以精确地控制机器人抓取目标物的技术效果。
尽管本申请内容中提到不同的具体实施方式，但是，本申请并不局限于必须是行业标准或实施例所描述的情况等，某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、处理、输出、判断方式等的实施例，仍然可以属于本申请的可选实施方案范围之内。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的实施方式包括这些变形和变化而不脱离本申请。

Claims (7)

1.一种控制机器人抓取物体的方法，其特征在于，包括：
获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上；所述目标标识包括：定位框和编码信息；所述编码信息是二维码或指定字符；
从所述目标图片中识别出所述目标标识，并根据所述目标标识确定所述目标物的位置信息和姿态信息、对应的抓取方案；
根据所述目标标识确定目标物的位置信息和姿态信息、对应的抓取方案，包括：
根据所述目标标识的定位框的尺寸和角度，确定所述目标物的位置信息和姿态信息；
根据所述目标标识的编码信息，在预设数据库中确定所述对应的抓取方案；预设数据库存储有与编码信息对应物体的基本信息以及抓取方案；
其中，根据所述目标标识的定位框的尺寸和角度，确定所述目标物的位置信息和姿态信息包括：
根据目标图片中定位框的尺寸和定位框真实尺寸的比值，以及定位框位于目标图片中的位置，结合相机自身的位置信息，确定出目标物的位置信息；
根据目标图片中定位框基于预设常规位置旋转的角度值确定目标物的姿态信息；或，根据相机围绕坐标系中的X轴、Y轴、Z轴的旋转角度值确定目标物的姿态信息；
根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量；
根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量，包括：
根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量；
根据所述第一关节变量、所述第二关节变量，确定所述多个关节变量中除第一关节变量、第二关节变量以外的其他关节变量；
其中，所述多个关节变量的关节变量数大于等于3；
根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
2.根据权利要求1所述的方法，其特征在于，根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量，包括：
建立机器人的多个关节坐标系；
根据所述多个关节坐标系，确定多个相邻坐标系的D-H转换矩阵；
根据所述目标物的位置信息和姿态信息，多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵，以建立多组非齐次超越方程组；
求解所述多组非齐次超越方程组，确定所述第一关节变量、所述第二关节变量。
3.根据权利要求2所述的方法，其特征在于，多次左乘所述相邻坐标系的D-H转换矩阵的逆矩阵中的左乘次数根据所述多个关节变量的关节变量数确定。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物，包括：
根据所述多个关节变量、所述对应的抓取方案进行运动规划，确定运动消息队列；
根据所述运动消息队列，控制所述机械臂抓取所述目标物。
5.根据权利要求1所述的方法，其特征在于，所述机器人包括单目双臂机器人。
6.根据权利要求1所述的方法，其特征在于，在获取目标图片之前，所述方法还包括：
获取相机的内参矩阵、外参矩阵和畸变系数，其中，所述相机用于获取所述目标图片；
根据所述内参矩阵、所述外参矩阵和所述畸变系数对所述相机进行校准。
7.一种控制机器人抓取物体的装置，其特征在于，包括：
获取模块，用于获取目标图片，其中，所述目标图片包含有目标标识，所述目标标识设于待抓取的目标物上；所述目标标识包括：定位框和编码信息；所述编码信息是二维码或指定字符；
确定模块，用于从所述目标图片中识别出所述目标标识，并根据所述目标标识确定所述目标物的位置信息和姿态信息、对应的抓取方案；
根据所述目标标识确定目标物的位置信息和姿态信息、对应的抓取方案，包括：
根据所述目标标识的定位框的尺寸和角度，确定所述目标物的位置信息和姿态信息；
根据所述目标标识的编码信息，在预设数据库中确定所述对应的抓取方案；预设数据库存储有与编码信息对应物体的基本信息以及抓取方案；
其中，根据所述目标标识的定位框的尺寸和角度，确定所述目标物的位置信息和姿态信息包括：
根据目标图片中定位框的尺寸和定位框真实尺寸的比值，以及定位框位于目标图片中的位置，结合相机自身的位置信息，确定出目标物的位置信息；
根据目标图片中定位框基于预设常规位置旋转的角度值确定目标物的姿态信息；或，根据相机围绕坐标系中的X轴、Y轴、Z轴的旋转角度值确定目标物的姿态信息；
求解模块，用于根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定多个关节变量；
求解模块具体可以包括以下结构单元；
第一求解单元，具体可以用于根据所述目标物的位置信息和姿态信息，进行低耦合运动学求解，确定第一关节变量、第二关节变量；
第二求解单元，具体可以用根据所述第一关节变量、所述第二关节变量，确定所述多个关节变量中除第一关节变量、第二关节变量以外的其他关节变量；其中，所述多个关节变量的关节变量数大于等于3；
控制模块，用于根据所述多个关节变量、所述对应的抓取方案，控制机械臂抓取所述目标物。
CN201711007260.1A 2017-10-25 2017-10-25 控制机器人抓取物体的方法和装置 Active CN107571260B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711007260.1A CN107571260B (zh) 2017-10-25 2017-10-25 控制机器人抓取物体的方法和装置
PCT/CN2017/112209 WO2019080228A1 (zh) 2017-10-25 2017-11-21 控制机器人抓取物体的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711007260.1A CN107571260B (zh) 2017-10-25 2017-10-25 控制机器人抓取物体的方法和装置

Publications (2)

Publication Number Publication Date
CN107571260A CN107571260A (zh) 2018-01-12
CN107571260B true CN107571260B (zh) 2021-02-26

Family

ID=61037513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711007260.1A Active CN107571260B (zh) 2017-10-25 2017-10-25 控制机器人抓取物体的方法和装置

Country Status (2)

Country Link
CN (1) CN107571260B (zh)
WO (1) WO2019080228A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596020A (zh) * 2018-03-12 2018-09-28 华为技术有限公司 一种设备的管理方法及设备
CN108466268A (zh) * 2018-03-27 2018-08-31 苏州大学 一种货物分类搬运方法、系统及移动机器人和存储介质
CN110411446B (zh) * 2018-04-28 2023-09-08 深圳果力智能科技有限公司 一种机器人的路径规划方法
CN108655026B (zh) * 2018-05-07 2020-08-14 上海交通大学 一种机器人快速示教分拣系统和方法
CN108674922B (zh) * 2018-05-16 2020-06-12 广州视源电子科技股份有限公司 一种用于机器人的传送带同步跟踪方法、装置及系统
CN110605711B (zh) * 2018-06-14 2022-06-28 中瑞福宁机器人（沈阳）有限公司 一种控制协作机器人抓取物体的方法、装置及系统
CN109048890B (zh) * 2018-07-13 2021-07-13 哈尔滨工业大学（深圳） 基于机器人的协调轨迹控制方法、系统、设备及存储介质
CN109848982A (zh) * 2018-11-30 2019-06-07 广州富港万嘉智能科技有限公司 一种基于图像识别的自动取菜方法、系统及存储介质
CN109773798A (zh) * 2019-03-28 2019-05-21 大连理工大学 一种基于双目视觉的双机械臂协作控制方法
CN111145257B (zh) * 2019-12-27 2024-01-05 深圳市越疆科技有限公司 物品抓取方法、系统及物品抓取机器人
CN111055289B (zh) * 2020-01-21 2021-09-28 达闼科技（北京）有限公司 机器人的手眼标定方法、装置、机器人及存储介质
CN112109074A (zh) * 2020-02-21 2020-12-22 深圳市三宝创新智能有限公司 一种机器人目标图像抓取方法
CN111331598B (zh) * 2020-02-25 2021-08-31 杜卫锋 基于遗传算法优化神经网络结构的机器人姿态控制方法
CN113989472B (zh) * 2021-09-30 2024-06-18 深圳先进技术研究院 一种精准抓取目标物的方法、系统和设备
CN117428788B (zh) * 2023-12-13 2024-04-05 杭州海康机器人股份有限公司 一种设备控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207369A (zh) * 2010-03-29 2011-10-05 富士施乐株式会社 物品识别装置以及使用该物品识别装置的物品处理装置
CN105073348A (zh) * 2013-04-05 2015-11-18 Abb技术有限公司 用于校准的机器人系统和方法
WO2016163563A1 (ja) * 2015-04-09 2016-10-13 日本電気株式会社 地図生成装置、地図生成方法及びプログラム記録媒体
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros系统的视觉定位及机械臂抓取实现方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5336982A (en) * 1993-03-24 1994-08-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Dual-arm generalized compliant motion with shared control
US8402860B2 (en) * 2007-10-10 2013-03-26 Panasonic Corporation Structure, manipulator and structure control system
JP2014076522A (ja) * 2012-10-11 2014-05-01 Seiko Epson Corp ロボットハンド及びロボット装置
CN103522305B (zh) * 2013-10-29 2016-06-08 中国科学院自动化研究所 一种使移动机械臂趋近并抓取目标物体的方法
CN106651949B (zh) * 2016-10-17 2020-05-15 中国人民解放军63920部队 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统
CN106891335B (zh) * 2017-03-23 2019-08-09 北京空间飞行器总体设计部 一种空间机器人在轨抓捕过程的柔顺与协调控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207369A (zh) * 2010-03-29 2011-10-05 富士施乐株式会社 物品识别装置以及使用该物品识别装置的物品处理装置
CN105073348A (zh) * 2013-04-05 2015-11-18 Abb技术有限公司 用于校准的机器人系统和方法
WO2016163563A1 (ja) * 2015-04-09 2016-10-13 日本電気株式会社 地図生成装置、地図生成方法及びプログラム記録媒体
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros系统的视觉定位及机械臂抓取实现方法

Also Published As

Publication number Publication date
WO2019080228A1 (zh) 2019-05-02
CN107571260A (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
CN107571260B (zh) 控制机器人抓取物体的方法和装置
CN109015640B (zh) 抓取方法、系统、计算机装置及可读存储介质
US9089971B2 (en) Information processing apparatus, control method thereof and storage medium
RU2700246C1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
Kaipa et al. Addressing perception uncertainty induced failure modes in robotic bin-picking
CN113409384B (zh) 一种目标物体的位姿估计方法和系统、机器人
Sanchez-Matilla et al. Benchmark for human-to-robot handovers of unseen containers with unknown filling
CN114097004A (zh) 基于视觉嵌入的自主任务性能
Suzuki et al. Grasping of unknown objects on a planar surface using a single depth image
CN110539299B (zh) 机器手作业方法、控制器以及机器手系统
Fleishman et al. Icpik: Inverse kinematics based articulated-icp
CN113119104B (zh) 机械臂控制方法、机械臂控制装置、计算设备及系统
US20230330858A1 (en) Fine-grained industrial robotic assemblies
Lin et al. Vision based object grasping of industrial manipulator
Pichkalev et al. Face drawing by KUKA 6 axis robot manipulator
AU2019232900B2 (en) System and method for intelligent 3d imaging guided robotic gripper
JP6455869B2 (ja) ロボット、ロボットシステム、制御装置、及び制御方法
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
Hafiane et al. 3D hand recognition for telerobotics
Zhu et al. A robotic semantic grasping method for pick-and-place tasks
Ren et al. Vision based object grasping of robotic manipulator
Ehlers et al. Self-scaling Kinematic Hand Skeleton for Real-time 3D Hand-finger Pose Estimation.
CN112894794B (zh) 人体手臂动作模仿方法、装置、终端设备及存储介质
Guo et al. A system of robotic grasping with experience acquisition
Jabalameli et al. Near Real-Time Robotic Grasping of Novel Objects in Cluttered Scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant