CN114700949A - 基于体素抓取网络的机械臂灵巧抓取规划方法 - Google Patents

基于体素抓取网络的机械臂灵巧抓取规划方法 Download PDF

Info

Publication number
CN114700949A
CN114700949A CN202210439966.XA CN202210439966A CN114700949A CN 114700949 A CN114700949 A CN 114700949A CN 202210439966 A CN202210439966 A CN 202210439966A CN 114700949 A CN114700949 A CN 114700949A
Authority
CN
China
Prior art keywords
grabbing
voxel
network
point cloud
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210439966.XA
Other languages
English (en)
Other versions
CN114700949B (zh
Inventor
欧林林
陈磊
禹鑫燚
魏岩
周利波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210439966.XA priority Critical patent/CN114700949B/zh
Publication of CN114700949A publication Critical patent/CN114700949A/zh
Application granted granted Critical
Publication of CN114700949B publication Critical patent/CN114700949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

基于体素抓取网络的机械臂灵巧抓取规划方法，包括如下步骤：步骤一：获取物体多视角的RGBD图像，利用TSDF的方法，重建出待物体完整的点云信息。步骤二：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型。步骤三：利用步骤一的方法生成待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划。本发明提出的机械臂灵巧抓取规划方法视觉驱动信息为待抓取物体的完整点云信息，为抓取提供了更加准确的几何信息，提高了机械臂抓取的成功率，且基于TSDF的三维重建方法运算效率远高于传统点云匹配的三维重建方法，且体素抓取网络训练数据可以自动生成，减少了训练数据获取成本。

Description

基于体素抓取网络的机械臂灵巧抓取规划方法
技术领域
本发明涉及一种基于体素抓取网络的机械臂灵巧抓取规划方法。
背景技术
伴随着人工智能研究在世界范围内掀起热潮，智能机器人作为一种包含多种技术的系统出现在人类社会不同的领域之中。抓取在智能机器人的各项基本能力中尤为重要。在2015的ICRA会议(The International Conference on Robotics and Automation)上举办的首届APC竞赛(Amazon Picking Challenge)，以及在2020年IROS会议(The IEEE/RSJInternational Conference on Intelligent Robots and Systems)上由阿里巴巴主办的全球首个机器人抓取云竞赛OCRTOC(Open Cloud Robot Table OrganizationChallenge)，都可以看出世界范围内的研究者对于智能机器人的抓取能力十分感兴趣。
末端执行器决定了智能机器人与被拾取物体的接触形态。大多数的抓取研究采用的是平行两指夹钳型或吸盘型的末端执行器，但是这两类简单的末端执行器在抓取复杂物体时，会受到各种限制。针对日常生活中更加迎合人体结构的各类物品，仿生人类手掌型的灵巧末端执行器可以更出色地完成抓取任务。因此，人们对于具有多关节手指的灵巧拟人化抓取规划越来越感兴趣。
灵巧抓取规划复杂度高，传统方法基本无法建立模型，实现控制规划。大部分研究者通常基于机器学习的方法，利用视觉信息进行驱动设计抓取规划方法。这类方法基本可以分为两类，分别为以手掌为中心的方法和以抓取对象为中心的方法。以手掌为中心的方法通常利用操作员演示数据进行学习，往往局限于单一固定的任务，不适合进行推广。以抓取对象为中心的方法提升了泛化能力，但描述物体信息与抓取规划之间的映射十分困难，导致系统运算效率与抓取成功率不高。
发明内容
本发明克服现有技术的上述问题，提出了一种将待抓取物体完整点云信息作为输入，输出体素级预测的机械臂灵巧抓取规划方法。
本发明首先通过固定在机械臂末端的Intel RealSense D435双目立体深度相机获取待抓取物体多视角的RGBD图像，利用TSDF方法对待抓取物体进行三维重建。然后将物体完整的点云信息输入体素抓取网络，网络由仿真环境生成的模拟抓取训练数据训练，接受物体点云信息后能够输出体素级的抓取质量、代表末端执行器位姿的四元数以及五指末端执行器的开合程度等信息的预测，完成机械臂灵巧抓取任务。
本发明为解决现有技术问题所采用的技术方案是：基于体素抓取网络的机械臂灵巧抓取规划方法，其特征在于：包含如下步骤：
步骤1：获取物体多视角的RGBD图像，利用TSDF的方法，重建出待物体完整的点云信息；
步骤2：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型；
步骤3：利用步骤1的方法生成待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划。
所述步骤1具体包括：
步骤1-1：机械臂在物体侧上方做八分之一球运动，获取物体多视角RGBD图像；
步骤1-2：定义一个包络抓取对象的立方体体素网格空间，获取体素在全局坐标系下的坐标Vg(x,y,z)；
步骤1-3：选择一张图片，根据对应相机的外参矩阵，将体素坐标转换到相机坐标系V(x,y,z)，再根据相机的内参矩阵，将体素坐标继续转换到图像坐标系V(u,v)；
步骤1-4：利用TSDF有符号截断距离函数的方法，在第i幅图像中，体素点p的权重Wi(p)的值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离，然后依据如下公式，得到体素点p的符号距离函数sfi(p)以及有符号截断距离函数tsdfi(p)的值，
sdfi(p)＝Di(u,v)-Di(p)
Figure BDA0003613458060000021
其中，Di(u,v)表示为体素点p在第i幅图像对应像素点(u,v)的深度值，Di(p)表示为体素点p在相机坐标系下的坐标Vi(p)到原点的距离，t为根据体素空间尺度设置的截断距离；
步骤1-5：选择下一张图片，重复步骤1-3、1-4得到各变量值，利用如下公式进行tsdfi(p)值的更新，
Wi(p)＝min(max W,Wi-1(p)+1)
Figure BDA0003613458060000031
其中，当i＝1时，W＝W0(p)；
步骤1-6：重复步骤1-5，将所有图像更新，融合为待抓取物体的完整点云信息。
所述步骤2具体包括：
步骤2-1：对待抓取物体完整点云依次进行滤波、聚类、分割等预处理，随机采样多个点，作为五指末端执行器的抓取中心，使用Open3D获取采样点的表面法线；
步骤2-2：根据各采样点的空间坐标以及表面法线生成初始抓取姿态，进行随机的空间变换与五根手指随机弯曲，生成多个抓取姿态；
步骤2-3：根据五指末端执行器的几何形状信息进行接触检测，将末端执行器与待抓取物体完整点云交错的抓取姿态删除，得到可行的候选抓取姿态集以及对应的物品表面接触点集；
步骤2-4：获取候选抓取姿态的表面接触点集pi点处指向物体内部的法向量ni，对于点集中的任意两点pm与pn，计算pm指向pn的单位向量
Figure BDA0003613458060000032
然后分别计算点pm与pn的法向量nm、nn与vmn的夹角αmn、αnm，得到该候选抓取姿态的对应的夹角集合，删去大于90度的夹角，则定义该候选抓取姿态的质量系数λ为所有夹角正切值的最小值；
步骤2-5：重复步骤2-4得到所有候选抓取姿态的抓取质量系数；
步骤2-6：为候选抓取姿态生成标签，若抓取姿态的质量系数小于0.45，则为可行抓取；若抓取姿态的质量系数大于0.75，则为不可行抓取；
步骤2-7：将带有类别标签的多个抓取姿态作为训练数据，训练体素抓取网络至收敛，得到模型。
所述步骤3具体包括：
步骤3-1：利用步骤1的方法得到当前待抓取物体的完整点云信息；
步骤3-2：将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络，得到每个体素的十维输出量，第一维为该体素的抓取质量，第二到五维为在该体素的末端执行器四元数位姿，第六到十维为在该体素五指末端执行器的闭合程度；
步骤3-3：将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂，将对应的末端执行器闭合程度控制信息发送给末端执行器，完成一次抓取。
本发明的优点是：本发明的三维重建方法基于TSDF设计，运算效率远高于传统点云匹配的三维重建方法。本发明的体素抓取网络训练通过物体完整点云信息自动生成抓取姿态的质量系数与类别标签，减少了基于网络的灵巧抓取算法训练数据获取成本，赋予网络自主学习的能力，且能够使用更加庞大的数据集进行训练，提高抓取算法的成功率。本发明的机械臂灵巧抓取规划方法的视觉驱动为待抓取物体的完整点云信息，为抓取提供了更加准确的几何信息，提高了机械臂抓取的成功率。
附图说明
图1是本发明实现方法流程图；
图2是本发明三维重建过程示意图；
图3是本发明体素抓取网络训练数据生成示意图。
具体实施方式
以下结合附图对本发明实例做进一步详述：
本发明的基于视觉的机器人抓取训练数据采集方法，具体实施方法如下：
步骤1：获取物体多视角的RGBD图像，利用TSDF的方法，重建出待物体完整的点云信息；
步骤1-1：机械臂在物体侧上方做八分之一球运动，获取物体多视角RGBD图像；
步骤1-2：定义一个包络抓取对象的立方体体素网格空间，获取体素在全局坐标系下的坐标；
步骤1-3：选择一张图片，根据对应相机的外参矩阵，将体素坐标转换到相机坐标系，再根据相机的内参矩阵，将体素坐标继续转换到图像坐标系；
步骤1-4：利用TSDF有符号截断距离函数的方法，选第一幅图像，求出每个体素点的权重，值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离，然后求出体素点的符号距离函数以及有符号截断距离函数的值；
步骤1-5：选择下一张图片，重复步骤1-3、1-4得到各变量值，不断更新有符号截断距离函数；
步骤1-6：重复步骤1-5，将所有图像更新，融合为待抓取物体的完整点云信息。
步骤2：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型；
步骤2-1：对待抓取物体完整点云依次进行滤波、聚类、分割等预处理，随机采样多个点，作为五指末端执行器的抓取中心，使用Open3D获取采样点的表面法线；
步骤2-2：根据各采样点的空间坐标以及表面法线生成初始抓取姿态，进行随机的空间变换与五根手指随机弯曲，生成多个抓取姿态；
步骤2-3：根据五指末端执行器的几何形状信息进行接触检测，将末端执行器与待抓取物体完整点云交错的抓取姿态删除，得到可行的候选抓取姿态集以及对应的物品表面接触点集；
步骤2-4：获取候选抓取姿态的表面接触点集各点处指向物体内部的法向量，对于点集中的任意两点，计算其中一点指向另一点的单位向量，然后分别计算法向量与单位向量的夹角，得到该候选抓取姿态的对应的夹角集合，删去大于90度的夹角，则定义该候选抓取姿态的质量系数为所有夹角正切值的最小值；
步骤2-5：重复步骤2-4得到所有候选抓取姿态的抓取质量系数；
步骤2-6：为候选抓取姿态生成标签，若抓取姿态的质量系数小于0.45，则为可行抓取；若抓取姿态的质量系数大于0.75，则为不可行抓取；
步骤2-7：基于PointNet网络模型设计体素抓取网络模型，使用Sigmoid函数将网络输出转化为抓取质量。将带有类别标签的多个抓取姿态作为训练数据，训练体素抓取网络至收敛，得到模型。
步骤3：利用待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划；
步骤3-1：利用步骤1的方法得到当前待抓取物体的完整点云信息；
步骤3-2：将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络，得到每个体素的十维输出量，第一维为该体素的抓取质量，第二到五维为在该体素的末端执行器四元数位姿，第六到十维为在该体素五指末端执行器的闭合程度；
步骤3-3：将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂，将对应的末端执行器闭合程度控制信息发送给末端执行器，完成一次抓取。
要强调的是，本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.基于体素抓取网络的机械臂灵巧抓取规划方法，其特征在于：包含如下步骤：
步骤1：获取物体多视角的RGBD图像，利用TSDF的方法，重建出待物体完整的点云信息；
步骤2：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型；
步骤3：利用步骤1的方法生成待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划。
2.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法，其特征在于：步骤1具体包括：
步骤1-1：机械臂在物体侧上方做八分之一球运动，获取物体多视角RGBD图像；
步骤1-2：定义一个包络抓取对象的立方体体素网格空间，获取体素在全局坐标系下的坐标Vg(x,y,z)；
步骤1-3：选择一张图片，根据对应相机的外参矩阵，将体素坐标转换到相机坐标系V(x,y,z)，再根据相机的内参矩阵，将体素坐标继续转换到图像坐标系V(u,v)；
步骤1-4：利用TSDF有符号截断距离函数的方法，在第i幅图像中，体素点p的权重Wi(p)的值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离，然后依据如下公式，得到体素点p的符号距离函数sdfi(p)以及有符号截断距离函数tsdfi(p)的值，
sdfi(p)＝Di(u,v)-Di(p)
Figure FDA0003613458050000011
其中，Di(u,v)表示为体素点p在第i幅图像对应像素点(u,v)的深度值，Di(p)表示为体素点p在相机坐标系下的坐标Vi(p)到原点的距离，t为根据体素空间尺度设置的截断距离；
步骤1-5：选择下一张图片，重复步骤1-3、1-4得到各变量值，利用如下公式进行tsdfi(p)值的更新，
Wi(p)＝min(max W,Wi-1(p)+1)
Figure FDA0003613458050000021
其中，当i＝1时，W＝W0(p)；
步骤1-6：重复步骤1-5，将所有图像更新，融合为待抓取物体的完整点云信息。
3.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法，其特征在于：所述步骤2具体包括：
步骤2-1：对待抓取物体完整点云依次进行滤波、聚类、分割等预处理，随机采样多个点，作为五指末端执行器的抓取中心，使用Open3D获取采样点的表面法线；
步骤2-2：根据各采样点的空间坐标以及表面法线生成初始抓取姿态，进行随机的空间变换与五根手指随机弯曲，生成多个抓取姿态；
步骤2-3：根据五指末端执行器的几何形状信息进行接触检测，将末端执行器与待抓取物体完整点云交错的抓取姿态删除，得到可行的候选抓取姿态集以及对应的物品表面接触点集；
步骤2-4：获取候选抓取姿态的表面接触点集pi点处指向物体内部的法向量ni，对于点集中的任意两点pm与pn，计算pm指向pn的单位向量
Figure FDA0003613458050000022
然后分别计算点pm与pn的法向量nm、nn与vmn的夹角αmn、αnm，得到该候选抓取姿态的对应的夹角集合，删去大于90度的夹角，则定义该候选抓取姿态的质量系数λ为所有夹角正切值的最小值；
步骤2-5：重复步骤2-4得到所有候选抓取姿态的抓取质量系数；
步骤2-6：为候选抓取姿态生成标签，若抓取姿态的质量系数小于0.45，则为可行抓取；若抓取姿态的质量系数大于0.75，则为不可行抓取；
步骤2-7：将带有类别标签的多个抓取姿态作为训练数据，训练体素抓取网络至收敛，得到模型。
4.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法，其特征在于：所述步骤3具体包括：
步骤3-1：利用步骤1的方法得到当前待抓取物体的完整点云信息；
步骤3-2：将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络，得到每个体素的十维输出量，第一维为该体素的抓取质量，第二到五维为在该体素的末端执行器四元数位姿，第六到十维为在该体素五指末端执行器的闭合程度；
步骤3-3：将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂，将对应的末端执行器闭合程度控制信息发送给末端执行器，完成一次抓取。
CN202210439966.XA 2022-04-25 2022-04-25 基于体素抓取网络的机械臂灵巧抓取规划方法 Active CN114700949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210439966.XA CN114700949B (zh) 2022-04-25 2022-04-25 基于体素抓取网络的机械臂灵巧抓取规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210439966.XA CN114700949B (zh) 2022-04-25 2022-04-25 基于体素抓取网络的机械臂灵巧抓取规划方法

Publications (2)

Publication Number Publication Date
CN114700949A true CN114700949A (zh) 2022-07-05
CN114700949B CN114700949B (zh) 2024-04-09

Family

ID=82175298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210439966.XA Active CN114700949B (zh) 2022-04-25 2022-04-25 基于体素抓取网络的机械臂灵巧抓取规划方法

Country Status (1)

Country Link
CN (1) CN114700949B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115401698A (zh) * 2022-10-17 2022-11-29 福州大学 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统
CN115890685A (zh) * 2022-12-27 2023-04-04 哈尔滨工业大学芜湖机器人产业技术研究院 基于已知物体的可抓性映射到未知物体的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
WO2017197037A1 (en) * 2016-05-11 2017-11-16 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、系统及装置
CN113192128A (zh) * 2021-05-21 2021-07-30 华中科技大学 一种结合自监督学习的机械臂抓取规划方法和系统
US20220016766A1 (en) * 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for grasping an object
CN114083535A (zh) * 2021-11-18 2022-02-25 清华大学 一种机器手抓取姿势质量的物理度量方法及装置
CN114387513A (zh) * 2021-12-31 2022-04-22 北京航空航天大学杭州创新研究院 机器人抓取方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017197037A1 (en) * 2016-05-11 2017-11-16 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、系统及装置
US20220016766A1 (en) * 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for grasping an object
CN113192128A (zh) * 2021-05-21 2021-07-30 华中科技大学 一种结合自监督学习的机械臂抓取规划方法和系统
CN114083535A (zh) * 2021-11-18 2022-02-25 清华大学 一种机器手抓取姿势质量的物理度量方法及装置
CN114387513A (zh) * 2021-12-31 2022-04-22 北京航空航天大学杭州创新研究院 机器人抓取方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115401698A (zh) * 2022-10-17 2022-11-29 福州大学 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统
CN115890685A (zh) * 2022-12-27 2023-04-04 哈尔滨工业大学芜湖机器人产业技术研究院 基于已知物体的可抓性映射到未知物体的方法

Also Published As

Publication number Publication date
CN114700949B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Newbury et al. Deep learning approaches to grasp synthesis: A review
Mandikal et al. Dexvip: Learning dexterous grasping with human hand pose priors from video
CN108972494B (zh) 一种仿人机械手抓取控制系统及其数据处理方法
Choi et al. Learning object grasping for soft robot hands
Schmidt et al. Grasping of unknown objects using deep convolutional neural networks based on depth images
Wang et al. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation
CN114700949B (zh) 基于体素抓取网络的机械臂灵巧抓取规划方法
CN110785268B (zh) 用于语义机器人抓取的机器学习方法和装置
Eppner et al. Grasping unknown objects by exploiting shape adaptability and environmental constraints
Ding et al. Sim-to-real transfer for optical tactile sensing
Tang et al. Learning collaborative pushing and grasping policies in dense clutter
Pokorny et al. Grasping objects with holes: A topological approach
Mayer et al. FFHNet: Generating multi-fingered robotic grasps for unknown objects in real-time
Bohg et al. Task-based grasp adaptation on a humanoid robot
Aktaş et al. Deep dexterous grasping of novel objects from a single view
Liu et al. DexRepNet: Learning dexterous robotic grasping network with geometric and spatial hand-object representations
El-Khoury et al. Learning the natural grasping component of an unknown object
CN114882113B (zh) 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法
Mosbach et al. Efficient representations of object geometry for reinforcement learning of interactive grasping policies
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
CN115972201A (zh) 一种应用于柔性物体的触觉灵巧手抓取方法及系统
Ivanov et al. Bin Picking Pneumatic-Mechanical Gripper for Industrial Manipulators
JP2023036559A (ja) ロボット装置、ロボット制御モデルをトレーニングするコンピュータ実装された方法及びロボット装置を制御する方法
Tang et al. A reinforcement learning method for rearranging scattered irregular objects inside a crate
Yao et al. Robotic grasping training using deep reinforcement learning with policy guidance mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant