CN115401698A - 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统 - Google Patents
一种基于抓取手势检测的机械手灵巧抓取规划方法和系统 Download PDFInfo
- Publication number
- CN115401698A CN115401698A CN202211266756.1A CN202211266756A CN115401698A CN 115401698 A CN115401698 A CN 115401698A CN 202211266756 A CN202211266756 A CN 202211266756A CN 115401698 A CN115401698 A CN 115401698A
- Authority
- CN
- China
- Prior art keywords
- grabbing
- target object
- manipulator
- gesture
- gesture detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 210000003813 thumb Anatomy 0.000 claims description 6
- 210000003811 finger Anatomy 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims 2
- 239000012636 effector Substances 0.000 description 8
- 230000003993 interaction Effects 0.000 description 4
- 210000005224 forefinger Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于抓取手势检测的机械手灵巧抓取规划方法和系统。本抓取规划方法包括以下步骤：获取当前的图像信息；检测图像中运动物体并获取物体位置；机械臂基于视觉伺服控制算法实时跟踪动态物体；当物体停止运动后，基于训练的手势网络获取物体预测抓取手势，同时，基于交叉熵方法获取物体抓取位姿；最后基于预测抓取手势和物体抓取位姿，机械臂和机械手执行抓取规划。其系统由图形工作站、深度相机、工作台、多自由度机械臂及灵巧手组成。本发明的机械手的灵巧抓取规划方法和系统，能够适应未知物体和不同的手爪尺寸，能够有效地实时跟踪运动目标物体，实现类人的精细化抓取操作。
Description
技术领域
本发明属于机械手智能抓取应用领域，特别是涉及一种基于抓取手势检测的机械手灵巧抓取规划方法和系统。
背景技术
近年来，人们对于静止物体的抓取进行的广泛研究，并且达到了较好的抓取性能，但是对动态物体的抓取研究较少。并且动态物体的抓取被认为是一个更具挑战性的课题。现有的工业机器人在大多数运动物体抓取方法都要求对运动物体的运动模式有事先的了解。比如抓取移动输送系统上的部件，它的运动物体的运动模式是已知的。但是对于人-机器人协作等更具挑战性的任务，物体的运动轨迹会更加随机，甚至不可预测。
在三维空间中处理任意移动的物体是一个开放的挑战，主要是由于在跟踪物体轨迹的同时规划手臂和手部运动的困难。对于一个任意移动的物体，通常会有一段时间，在这段时间内根本不可能实现抓取。在此期间，即使无法达到实际的预抓取位置，也希望机器人通过保持其手尽可能靠近可行的预抓取位置来继续跟踪目标。这就对跟踪抓取方法提出了实时性鲁棒性等更高的要求。视觉引导抓取是目前机器人抓取领域中最成熟的解决方案，已广泛应用于众多工业场景。
灵巧抓取是机器人手的基本能力，在工业和家庭辅助应用中起着至关重要的作用。然而，尽管掌握规划领域取得了很大进展，但仍然是一个具有挑战性的问题。现有的抓取规划方法大多忽略了抓取手势的选择，难以实现精细化抓取。未知物体生成抓握器相比于在完成相同任务时比使用平行颚抓握器更具挑战性。然通过驱动更多的关节，灵巧手可以使机器人执行更高级的操作，包括精确抓取平面圆盘或动力抓取球形物体。
发明内容
本发明的目的是提供一种基于抓取手势检测的机械手灵巧抓取规划方法和系统，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于抓取手势检测的机械手灵巧抓取规划方法，包括：
采集场景RGBD图像，基于所述场景RGBD图像获得运动中的目标物体的RGBD图像，其中，所述RGBD图像包括RGB图像和深度图像；基于场景RGBD图像获取所述目标物体实际位置；
机械手根据目标物体的实际位置实时跟踪目标物体；
基于深度神经网络建立抓取手势检测模型，基于机械手的抓取手势数据集和不同目标物体的RGB图像数据集，对所述抓取手势检测模型进行训练，完成训练后获得目标抓取手势检测模型；
判断所述目标物体状态，将静止状态的所述目标物体的RGB图像输入到所述目标抓取手势检测模型中，获取抓取所述目标物体的预测抓取手势；同时，基于所述深度图像，获得所述目标物体的抓取位姿；
基于所述预测抓取手势和所述抓取位姿，所述机械手执行抓取。
可选的，计算所述目标物体实际位置的过程包括：
基于YOLOv3建立目标检测器，输入所述场景的RGB图像，得到实时运动物体的检测框；
通过检测框中心的深度图像像素值得到目标物体的深度值，并基于所述深度值获取所述目标物体的3D目标位置。
可选的，所述实时跟踪目标物体的过程中，采用视觉伺服控制算法进行实时跟踪，包括以下步骤：
将机械手的基坐标系作为参考坐标系，基于所述参考坐标系计算机械手与目标物体之间的欧式距离；
基于视觉伺服控制算法实时计算交互矩阵，基于所述交互矩阵获得距离误差，基于所述距离误差计算固定在机械臂末端的机械手的速度；
通过所述机械手的速度得到机械臂各关节的速度，基于机械臂各关节的速度驱动机械臂运动。
可选的，获取所述目标物体的预测抓取手势，过程包括：
获取若干种不同类型的目标物体以及机械臂的手势数据集，所述手势数据集包括：握类、两指尖接触、三指尖接触、四指尖接触、拇指与其余手指平行闭合，拇指与食指侧面闭合；
基于深度神经网络建立端到端的抓取手势检测模型，将若干种不同类型的目标物体以及机械臂的手势数据集输入所述抓取手势检测模型进行训练，直至所述抓取手势检测模型损失值最小，则完成训练，得到目标抓取手势检测模型；
判断物体是否停止运动，若停止，则读取当前时刻目标物体的RGB图像，将当前时刻的所述RGB图像输入到完成训练的目标抓取手势检测模型，得到所述目标物体的预测抓取手势。
可选的，判断所述目标物体是否停止运动的过程中包括：
当物体相对参考坐标系的位置在三秒钟内的变化值小于0.05m，则认为物体停止运动。
可选的，所述机械手执行抓取的过程包括：
与所述获取所述目标物体的预测抓取手势过程同时进行，若目标物体停止运动，获取此时静止状态下目标物体的深度图像，通过深度值梯度计算表面点的法向；
随机采样两个表面点，形成表面点对；
基于所述表面点对的距离以及所述表面点对的距离连线分别和所述两个表面点的法向构成的两个角度，得到抓取候选项；
采用交叉熵方法优化抓取候选项，得到目标物体的抓取中心和抓取角；基于所述抓取中心的深度值获取所述目标物体的抓取位姿；
基于所述预测抓取手势和所述抓取位姿，所述机械手执行抓取。
可选的，所述抓取候选项的获取同时满足：
所述表面点对的距离小于最大抓取宽度；
两个所述角度均小于摩擦锥角，其中，摩擦锥角为π/2。
本发明还提供了一种基于抓取手势检测的机械手灵巧抓取规划系统，包括图形工作站，UR5多自由度机械臂，工作台，固定在所述UR5多自由度机械臂末端的RealSense深度相机以及固定在所述UR5多自由度机械臂末端的机械手。
本发明的技术效果为：本发明采用YOLOv3实时检测未知物体，基于PBVS实现了实时跟踪运动物体，并添加了能否进行抓取规划操作的判断，能够实现人-机器人协作等更具挑战性的任务。本发明训练了一种抓取手势检测网络，并对抓取手势进行了分类，所预测的抓取手势进一步用于机械手的抓取规划中，实现对不同物体采用不同的抓取手势，提高了抓取的质量和效率。本发明基于力闭合方法评估抓取质量，采用交叉熵的方法优化抓取候选项，结合所检测的抓取手势，得到机械手的最终抓取姿态，从而实现精细化抓取，使得抓取更加拟人化。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的系统流程图；
图2是本发明实施例中的实现方法流程图；
图3是本发明实施例中的基于位置视觉伺服控制机械臂流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1-2所示，本实施例中提供一种基于抓取手势检测的机械手灵巧抓取规划方法和系统，具体实施方法包括：
步骤1：通过深度相机和目标检测器检测到运动中的目标物体，并实时计算出物体位置，其中，基于深度相机得到的深度图和rgb图能够通过代码进行配准对齐；
步骤1-1：基于YOLOv3建立目标检测器，对YOLOv3中数据集中用不到的对象类别进行过滤，输入场景的RGB图片，得到实时运动物体的检测框；
步骤1-2：通过检测框中心的深度图像像素值得到目标物体的深度值，然后采用深度相机内部的透视投影得到3D目标位置。
步骤2：机械臂采用视觉伺服控制算法实时跟踪目标物体，如图3所示，机械手与物体之间保持一定的的距离；
步骤2-1：以机器人基坐标系为参考坐标系，给定期望末端执行器相对世界坐标系下的位置，位于目标运动物体上方0.35m，以及实际末端执行器相对世界坐标系下的位置；
步骤2-2：基于位置视觉伺服，实时计算交互矩阵，以距离误差为输入计算得到末端执行器的速度；
步骤2-3：通过末端执行器的速度和机械臂的雅可比矩阵得到机械臂各关节的速度，驱动机械臂实时跟踪目标物体并保持位于目标运动物体上方0.35m。
步骤3：基于深度神经网络建立抓取手势检测网络，当目标物体停止移动并保持静止一定时间后，将物体RGB图输入训练后的抓取手势检测网络，进行抓取手势预测；
步骤3-1：将物体的抓取手势归纳出六大类：握类、两指尖接触、三指尖接触、四指尖接触、拇指与其余手指平行闭合，拇指与食指侧面闭合；
步骤3-2：基于YCB-Affordance数据集获取每一帧的RGB图像及每个物体在每一帧可能的抓取手势，用ResNet50网络进行训练。修改神经网络的输入，不应是YCB-Video中每帧的完整图，应为图中某一物体的裁剪图，并去除不在图片内物体及占像素太小的物体，随机选取剩余的物体以及对应手势；
步骤3-3：判断3秒内物体位置变化情况，如果物体相对参考坐标系的位置在三秒钟变化值小于0.05m，则认为物体停止运动；
步骤3-4：将此时读取到的静止物体的RGB图也进行裁剪，输入不应是整张图，应为识别到的要抓取的目标物体的裁剪图，然后放入训练好的数据集中对目标物体的抓取手势进行预测，将所预测的抓取手势进一步用于机械手的抓取规划中。
步骤4：与步骤3同时进行，将物体深度图作为输入，基于力闭合方法进行抓取位姿的采样，并采用交叉熵的方法优化抓取候选项，结合所检测的抓取手势，得到机械手的最终抓取姿态；
步骤4-1：与步骤3-3同时进行，若物体停止运动，读取此时静止物体的深度图，通过深度值梯度梯度计算表面点的法向；
步骤4-2：随机采样两个表面点p1，p2，给定摩擦锥角为Π/2；
步骤4-3：根据表面点对距离小于最大抓取宽度且满足两点连线分别和两点法向都小于摩擦锥角得到抓取候选项；
步骤4-4：采用交叉熵的方法优化抓取候选项。进行抓取质量评估，包括基于力闭合和与物体是否发生碰撞及机械臂运动学可行性，得到不同抓取对应的抓取质量；进行迭代优化，将抓取质量最高的抓取作为最终抓取，以此得到目标物体的抓取中心和抓取角；通过抓取中心深度值采用深度相机内部的透视投影得到3D目标位置；
步骤4-5：结合步骤3所预测的抓取手势，得到机械手的最终抓取姿态。
步骤5：机械臂采用视觉伺服控制到达期望位姿后，机械手对目标物体进行灵巧抓取操作。
步骤5-1：以机器人基坐标系为参考坐标系，给定期望末端执行器相对世界坐标系下的位置，位于目标静止物体上方0.02m，以及实际末端执行器相对世界坐标系下的位置；
步骤5-2：基于位置视觉伺服，实时计算交互矩阵，以距离误差为输入计算得到末端执行器的速度；
步骤5-3：通过末端执行器的速度和机械臂的雅可比矩阵得到机械臂各关节的速度，驱动机械臂实时接近目标物体。
步骤5-4：机械臂到达期望位姿后，机械手对目标物体进行灵巧抓取操作。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于抓取手势检测的机械手灵巧抓取规划方法，其特征在于，包括以下步骤：
采集场景RGBD图像，基于所述场景RGBD图像获得运动中的目标物体的RGBD图像，其中，所述RGBD图像包括RGB图像和深度图像；基于场景RGBD图像获取所述目标物体实际位置；
机械手根据目标物体的实际位置实时跟踪目标物体；
基于深度神经网络建立抓取手势检测模型，基于机械手的抓取手势数据集和不同目标物体的RGB图像数据集，对所述抓取手势检测模型进行训练，完成训练后获得目标抓取手势检测模型；
判断所述目标物体状态，将静止状态的所述目标物体的RGB图像输入到所述目标抓取手势检测模型中，获取抓取所述目标物体的预测抓取手势；同时，基于所述深度图像，获得所述目标物体的抓取位姿；
基于所述预测抓取手势和所述抓取位姿，所述机械手执行抓取。
2.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法，其特征在于，计算所述目标物体实际位置的过程包括：
基于YOLOv3建立目标检测器，输入所述场景的RGB图像，得到实时运动物体的检测框；
通过检测框中心的深度图像像素值得到目标物体的深度值，并基于所述深度值获取所述目标物体的3D目标位置。
3.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法，其特征在于，所述实时跟踪目标物体的过程中，采用视觉伺服控制算法进行实时跟踪，包括以下步骤：
将机械手的基坐标系作为参考坐标系，基于所述参考坐标系计算机械手与目标物体之间的欧式距离；
基于视觉伺服控制算法实时计算交互矩阵，基于所述交互矩阵获得距离误差，基于所述距离误差计算固定在机械臂末端的机械手的速度；
通过所述机械手的速度得到机械臂各关节的速度，基于机械臂各关节的速度驱动机械臂运动。
4.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法，其特征在于，获取所述目标物体的预测抓取手势，过程包括：
获取若干种不同类型的目标物体以及机械臂的手势数据集，所述手势数据集包括：握类、两指尖接触、三指尖接触、四指尖接触、拇指与其余手指平行闭合，拇指与食指侧面闭合；
基于深度神经网络建立端到端的抓取手势检测模型，将若干种不同类型的目标物体以及机械臂的手势数据集输入所述抓取手势检测模型进行训练，直至所述抓取手势检测模型损失值最小，则完成训练，得到目标抓取手势检测模型；
判断物体是否停止运动，若停止，则读取当前时刻目标物体的RGB图像，将当前时刻的所述RGB图像输入到完成训练的目标抓取手势检测模型，得到所述目标物体的预测抓取手势。
5.根据权利要求4所述的基于抓取手势检测的机械手灵巧抓取规划方法，其特征在于，判断所述目标物体是否停止运动的过程中包括：
当物体相对参考坐标系的位置在三秒钟内的变化值小于0.05m，则认为物体停止运动。
6.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法，其特征在于，所述机械手执行抓取的过程包括：
与所述获取所述目标物体的预测抓取手势过程同时进行，若目标物体停止运动，获取此时静止状态下目标物体的深度图像，通过深度值梯度计算表面点的法向；
随机采样两个表面点，形成表面点对；
基于所述表面点对的距离以及所述表面点对的距离连线分别和所述两个表面点的法向构成的两个角度，得到抓取候选项；
采用交叉熵方法优化抓取候选项，得到目标物体的抓取中心和抓取角；
基于所述抓取中心的深度值获取所述目标物体的抓取位姿；
基于所述预测抓取手势和所述抓取位姿，所述机械手执行抓取。
7.根据权利要求6所述的基于抓取手势检测的机械手灵巧抓取规划方法，其特征在于，所述抓取候选项的获取同时满足：
所述表面点对的距离小于最大抓取宽度；
两个所述角度均小于摩擦锥角，其中，摩擦锥角为π/2。
8.一种基于抓取手势检测的机械手灵巧抓取规划系统，其特征在于，包括图形工作站，UR5多自由度机械臂，工作台，固定在所述UR5多自由度机械臂末端的RealSense深度相机以及固定在所述UR5多自由度机械臂末端的机械手。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211266756.1A CN115401698B (zh) | 2022-10-17 | 2022-10-17 | 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211266756.1A CN115401698B (zh) | 2022-10-17 | 2022-10-17 | 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115401698A true CN115401698A (zh) | 2022-11-29 |
| CN115401698B CN115401698B (zh) | 2024-06-25 |
Family
ID=84168341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211266756.1A Active CN115401698B (zh) | 2022-10-17 | 2022-10-17 | 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115401698B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109968310A (zh) * | 2019-04-12 | 2019-07-05 | 重庆渝博创智能装备研究院有限公司 | 一种机械臂交互控制方法及系统 |
| CN110298886A (zh) * | 2019-07-01 | 2019-10-01 | 中国科学技术大学 | 一种基于四级卷积神经网络的灵巧手抓取规划方法 |
| US10768708B1 (en) * | 2014-08-21 | 2020-09-08 | Ultrahaptics IP Two Limited | Systems and methods of interacting with a robotic tool using free-form gestures |
| CN113894774A (zh) * | 2021-10-26 | 2022-01-07 | 季华实验室 | 一种机器人抓取控制方法、装置、存储介质和机器人 |
| CN114643586A (zh) * | 2022-05-24 | 2022-06-21 | 中国科学技术大学 | 基于深度神经网络的多指灵巧手抓取手势规划方法 |
| CN114700949A (zh) * | 2022-04-25 | 2022-07-05 | 浙江工业大学 | 基于体素抓取网络的机械臂灵巧抓取规划方法 |
-
2022
- 2022-10-17 CN CN202211266756.1A patent/CN115401698B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10768708B1 (en) * | 2014-08-21 | 2020-09-08 | Ultrahaptics IP Two Limited | Systems and methods of interacting with a robotic tool using free-form gestures |
| CN109968310A (zh) * | 2019-04-12 | 2019-07-05 | 重庆渝博创智能装备研究院有限公司 | 一种机械臂交互控制方法及系统 |
| CN110298886A (zh) * | 2019-07-01 | 2019-10-01 | 中国科学技术大学 | 一种基于四级卷积神经网络的灵巧手抓取规划方法 |
| CN113894774A (zh) * | 2021-10-26 | 2022-01-07 | 季华实验室 | 一种机器人抓取控制方法、装置、存储介质和机器人 |
| CN114700949A (zh) * | 2022-04-25 | 2022-07-05 | 浙江工业大学 | 基于体素抓取网络的机械臂灵巧抓取规划方法 |
| CN114643586A (zh) * | 2022-05-24 | 2022-06-21 | 中国科学技术大学 | 基于深度神经网络的多指灵巧手抓取手势规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115401698B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110948492B (zh) | 一种基于深度学习的三维抓取平台和抓取方法 | |
| US11741701B2 (en) | Autonomous task performance based on visual embeddings | |
| CN109986560B (zh) | 一种面向多目标种类的机械臂自适应抓取方法 | |
| CN112906797B (zh) | 一种基于计算机视觉和深度学习的平面抓取检测方法 | |
| CN110298886B (zh) | 一种基于四级卷积神经网络的灵巧手抓取规划方法 | |
| US20220161422A1 (en) | Robot Teaching System Based On Image Segmentation And Surface Electromyography And Robot Teaching Method Thereof | |
| US20220080581A1 (en) | Dual arm robot teaching from dual hand human demonstration | |
| Nagata et al. | Picking up an indicated object in a complex environment | |
| Schiebener et al. | Discovery, segmentation and reactive grasping of unknown objects | |
| Takizawa et al. | Learning from observation of tabletop knotting using a simple task model | |
| CN115401698B (zh) | 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统 | |
| Mörwald et al. | Predicting the unobservable visual 3d tracking with a probabilistic motion model | |
| CN114347028B (zh) | 一种基于rgb-d图像的机器人末端智能抓取方法 | |
| CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握系统控制方法 | |
| Zhu et al. | A robotic semantic grasping method for pick-and-place tasks | |
| CN115861780A (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
| CN211806133U (zh) | 一种二指抓取机器人的示教器及示教系统 | |
| Ren et al. | Vision based object grasping of robotic manipulator | |
| Vollmann et al. | Manipulator control by calibration-free stereo vision | |
| Sun et al. | Precise grabbing of overlapping objects system based on end-to-end deep neural network | |
| Raessa et al. | Visually guided extrinsic manipulation for assembly tasks | |
| Xu et al. | Vision‐Based Intelligent Perceiving and Planning System of a 7‐DoF Collaborative Robot | |
| Saudabayev et al. | An intelligent object manipulation framework for industrial tasks | |
| US11712797B2 (en) | Dual hand detection in teaching from demonstration | |
| Felip et al. | Tombatossals: A humanoid torso for autonomous sensor-based tasks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |