CN115635482A - 基于视觉的机器人到人物体传递方法、装置、介质及终端 - Google Patents
基于视觉的机器人到人物体传递方法、装置、介质及终端 Download PDFInfo
- Publication number
- CN115635482A CN115635482A CN202211272404.7A CN202211272404A CN115635482A CN 115635482 A CN115635482 A CN 115635482A CN 202211272404 A CN202211272404 A CN 202211272404A CN 115635482 A CN115635482 A CN 115635482A
- Authority
- CN
- China
- Prior art keywords
- hand
- robot
- information
- human
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012546 transfer Methods 0.000 title claims description 26
- 241000282414 Homo sapiens Species 0.000 claims abstract description 123
- 230000033001 locomotion Effects 0.000 claims abstract description 92
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 244000060701 Kaempferia pandurata Species 0.000 claims description 35
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 35
- 241001133760 Acoelorraphe Species 0.000 claims description 26
- 210000002478 hand joint Anatomy 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 42
- 210000004247 hand Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉的机器人到人物体传递方法、装置、介质及终端，方法包括：将物体的预设三维模型输入到神经网络模型中进行计算，得到抓握关系信息，基于抓握关系信息计算得到抓取姿态信息；将人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于人手像素点坐标得到实时的三维人手网格和人手位姿信息；基于实时的三维人手网格规划运动路径，基于所述人手位姿信息判断人手的运动状态，并选择重新规划机器人的运动路径；基于机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将物体传递到人手中；本发明可生成最适合人手的抓取姿态，即使人手位姿改变，也可将物体准确安全的送至人手中。
Description
技术领域
本发明涉及机器人领域，尤其涉及一种基于视觉的机器人到人物体传递方法、装置、介质及终端。
背景技术
作为高级整合控制论、机械电子、计算机、材料和仿生学的产物，机器人能够自动执行各种操作，适应各种恶劣的工作环境，为释放人类工作负担、提高生产效率带来了很大的效益，因而被广泛应用于生产和生活的各个领域。
机器人与人之间物体的传递，是协助人的重要途径之一。机器人可以通过将工具交给工人来提高工厂的效率，也可以将远处的生活用品递给行动不方便者。快速准确、尽可能减少对方所需的努力地递给接受者物体这件事，对于人来说似乎是自然而然，但对于机器人来说，实现流畅的物体交接仍面临许多挑战。
现有机器人大多只能将物体传递到固定位置，而不能将物体传递给人手，机器人将物体传递给人手首先要考虑人将以哪种姿态拿走这个物体，其次要考虑到交接的过程中可能涉及手的运动，还要考虑到如何保证机械臂在运动过程中不与人手发生碰撞，保证人的安全，而现有技术并没有考虑人将以哪种姿态拿走这个物体，造成了一定的安全隐患，且现有技术在人手运动状态下物体传递的准确度较低。
发明内容
鉴于上述现有技术的不足，本申请的目的在于提供一种基于视觉的机器人到人物体传递方法、装置、介质及终端，旨在解决在如何保证人手以安全的姿态拿走物体和提高人手在运动状态下传动准确度的问题。
为解决上述技术问题，本申请实施例第一方面提供了一种基于视觉的机器人到人物体传递方法，所述方法包括：
将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；
获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；
基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；
基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中。
作为进一步改进技术方案，所述将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息包括：
采用物体集训练初始神经网络模型，得到所述训练后的神经网络模型；
将所述物体的预设三维模型输入到所述训练后的神经网络模型中进行计算，得到所述人手与物体之间的抓握关系信息；
在仿真空间中基于所述人手与物体之间的抓握关系信息构建三维人手网格，其中，所述三维人手网格构建在所述物体的预设三维模型上；
在所述仿真空间中基于所述三维人手网格模拟机器人的抓握姿态，对所述抓握姿态进行评分，根据评分选择对应的抓握姿态作为机器人末端的抓取姿态。
作为进一步改进技术方案，所述获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格包括：
根据指令控制相机对人手进行拍摄，获得人手的实时视频信息，将实时视频中每帧图片输入到所述手势识别算法中进行计算，得到人手关节像素点坐标；
将所述人手关节像素点坐标转换到相机坐标系中，得到人手关节点相机坐标；
基于相机与机器人底座的坐标变换关系，将人手关节点相机坐标转换为人手关节点全局坐标；
基于所述人手关节点全局坐标对所述三维人手网格进行重建，得到所述实时的三维人手网格。
作为进一步改进技术方案，所述基于所述人手像素点坐标得到人手位姿信息包括：
基于人手的手掌根部点、无名指根部点和食指根部点构建人手坐标系，将人手掌内侧作为人手坐标系Z轴的正方向，将从人手掌根部到无名指的有向向量作为人手坐标系X轴；
查找所述人手关节点相机坐标中所述掌根部点、无名指根部点和食指根部点对应的掌根部点坐标、无名指根部点坐标和食指根部点坐标；
基于所述掌根部点坐标、无名指根部点坐标和食指根部点坐标确定人手坐标系在全局坐标系中的位置，将人手坐标系在全局坐标系中的位置信息作为人手位姿信息。
作为进一步改进技术方案，所述基于实时的所述三维人手网格规划机器人的运动路径包括：
将实时的所述三维人手网格导入规划器空间中，所述规划器空间根据RRT-Connect算法对机器人进行运动规划，得到机器人的运动路径。
作为进一步改进技术方案，所述基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径包括：
记录单位时间内所述掌根部点坐标、无名指根部点坐标和食指根部点坐标在全局坐标系中的变化轨迹；
计算所述变化轨迹在全局坐标系中所形成的六面体体积，判断所述六面体体积是否小于等于阈值；
若所述六面体体积小于等于阈值，判定人手未发生运动，若所述六面体体积大于阈值，判定人手发生运动以及人手位置改变，并选择重新规划所述机器人的运动路径。
作为进一步改进技术方案，所述基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中包括：
检查机器人的状态和每个状态的执行条件；
若检查到机器人夹持器打开，则判断机器人处于抓取状态，若机器人处于抓取状态，则基于所述机器人末端的抓取姿态信息命令机器人完成对物体的抓取；
若检查到机器人完成抓取且夹持器关闭，则判断机器人处于交付状态，若机器人处于交付状态，则基于所述机器人的运动路径命令机械臂完成运动并将物体交付到人手中；
若检查到机器人完成交付且末端力传感器检测到力的变化，则判断机器人处于释放状态，若机器人处于释放状态，则表明人手成功抓握住物体，若人手成功抓握住物体，则命令机器人将夹持器打开，完成释放。
本申请实施例第二方面提供了一种基于视觉的机器人到人物体传递装置，包括：
抓取模块，用于将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；
人手检测模块，用于获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；
路径规划模块，用于基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；
呈递模块，用于基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于视觉的机器人到人物体传递方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于视觉的机器人到人物体传递方法中的步骤。
有益效果：相较于现有技术本发明的基于视觉的机器人到人物体传递方法包括，将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中；本发明采用上述方法后可针对任意已知三维模型的可抓取物体，生成最适合人手的抓取姿态，将物体传递到人手中，即使人手位姿改变，依旧可以将物体准确安全的送至人手中。
附图说明
图1是本发明的基于视觉的机器人到人物体传递方法的流程图。
图2是本发明提供的终端设备的结构原理图。
图3是本发明提供的装置结构框图。
图4是本发明提供方法的人手较佳的拿取物体姿态示意图。
图5是本发明提供方法的模拟机器人的抓握姿态示意图。
图6是本发明提供方法的规划器空间反应式策略算法。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。
发明人经过研究发现，现有技术存在以下问题：
(1)机器人需要确定如何抓取被交接物体，因为这决定了人将以哪种姿态拿走这个物体。形如水杯这种有特定用途的物体，以及剪刀这种带有尖端的物体在交接过程中要特别考虑，而现有技术并没有考虑到人拿走物体的姿态，无法保证机器人能够保证人手可以安全地完成交接。
(2)其次，与在平面放置静态物体不同，交接的过程中可能涉及手的运动，这可能会导致交接失败，因此机器人需要实时跟踪人手，确保人手移动后，机械臂可以成功完成物体交接，并保证机械臂在运动过程中不与人手发生碰撞，且机械臂末端运动至目标点后，机器人需要检测物体是否被接收人成功抓握，进而选择是否松开夹爪，在人手缩回后回到初始位置。
为了解决上述问题，下面结合附图，详细说明本申请的各种非限制性实施方式。
如图1所示，本申请实施例提供的一种基于视觉的机器人到人物体传递方法，包括以下步骤：
S1，将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；
具体的，基于预先向系统中导入的三维物体CAD模型，通过训练后的神经网络模型预测舒适的人手抓握姿态，并基于人手与物体之间的抓握关系信息在物体被人手抓握的剩余区域规划机器人的抓握部位及姿态。
其中，所述将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息包括以下步骤：
S101，采用物体集训练初始神经网络模型，得到所述训练后的神经网络模型；
S102，将所述物体的预设三维模型输入到所述训练后的神经网络模型中进行计算，得到所述人手与物体之间的抓握关系信息；
S103，在仿真空间中基于所述人手与物体之间的抓握关系信息构建三维人手网格，其中，所述三维人手网格构建在所述物体的预设三维模型上；
S104，在所述仿真空间中基于所述三维人手网格模拟机器人的抓握姿态，对所述抓握姿态进行评分，根据评分选择对应的抓握姿态作为机器人末端的抓取姿态。
具体的，首先采用物体集训练初始神经网络模型，物体集采用开源的YCB物体集，所要传递的物体与YCB物体集中的模型保持一致，通过训练后得到训练后的神经网络模型，将要传递物体的三维模型预先输入到系统中，传递前将物体的预设三维模型输入训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，而后在仿真空间中基于人手与物体之间的抓握关系信息与人手标准化表达MANO模型，在物体的预设三维模型上重建人手网格，在所述仿真空间中基于所述三维人手网格模拟机器人的抓握姿态，对所述抓握姿态进行评分，根据评分选择对应的抓握姿态作为机器人末端的抓取姿态，具体的，首先要让机器人在物体未被占据的区域上规划末端期望位姿并抓取，物体占据的区域指的是人手抓握住物体的区域，物体未被占据的区域指的是未被人手抓握住的物体区域；实施时，首先将物体的几何中心设置为坐标原点，将物体底面设置为对象放置平面，机器人末端与物体之间抓握相对关系的确定依赖于碰撞检测算法，碰撞检测算法的原理是在仿真空间中，模拟机械臂末端在人手抓握住物体的基础上进行抓握，并对机器人末端的抓握姿态进行采样，依照评分标准评估每个采样样本的抓取得分，选择得分最高的抓握姿态作为机器人末端的抓取姿态，其中，将人手和物体被遮挡区域设定为不可达区域，同时将评分标准设定为与手相反的抓取姿势得分更高，降低从其他姿势抓取失败率。
S2，获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；
具体的，通过安装在机器人头部的相机获取人手的实时视频信息，将人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于人手像素点坐标分别得到实时的三维人手网格和人手位姿信息。
其中，所述获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格包括以下步骤：
S201，根据指令控制相机对人手进行拍摄，获得人手的实时视频信息，将实时视频中每帧图片输入到所述手势识别算法中进行计算，得到人手关节像素点坐标；
S202，将所述人手关节像素点坐标转换到相机坐标系中，得到人手关节点相机坐标；
S203，基于相机与机器人底座的坐标变换关系，将人手关节点相机坐标转换为人手关节点全局坐标；
S204，基于所述人手关节点全局坐标对所述三维人手网格进行重建，得到所述实时的三维人手网格。
其中，所述基于所述人手像素点坐标得到人手位姿信息包括以下步骤：
S205，基于人手的手掌根部点、无名指根部点和食指根部点构建人手坐标系，将人手掌内侧作为人手坐标系Z轴的正方向，将从人手掌根部到无名指的有向向量作为人手坐标系X轴；
S206，查找所述人手关节点相机坐标中所述掌根部点、无名指根部点和食指根部点对应的掌根部点坐标、无名指根部点坐标和食指根部点坐标；
S207，基于所述掌根部点坐标、无名指根部点坐标和食指根部点坐标确定人手坐标系在全局坐标系中的位置，将人手坐标系在全局坐标系中的位置信息作为人手位姿信息。
具体的，首先通过安装在机器人头部的彩色相机对人手进行拍摄，获得30帧每秒的视频流，每帧图片作为手势识别算法的输入，手势识别算法采用mediapipe算法模型，mediapipe算法模型实时输出共21个二维人手关节像素点坐标{(u1,v1),(u2,v2),…,(u21,v21)}；通过公式(1)可将21个二维人手关节像素点坐标转换到相机坐标系中，得到人手关节点相机坐标，相机坐标系中每个人手关节点的位置Hj＝{1Pj,2Pj,…,21Pj}，公式(1)为：
其中，公式(1)中fx,fy,cx,cy为相机内参，dk为第k点的深度值；
根据机器人当前状态，可以计算出头部摄像头和机器人底座的坐标变换关系，从而得到21个人手关节点全局坐标，人手关节点全局坐标为三维坐标；
根据医学和图像学的研究，人手21个关节点中，手掌根部、无名指根部、食指根部三个关节在人手运动中位置变化最小，因此基于这三个点构建的坐标系更具有鲁棒性，对应到相机坐标系下每个点的位置Hj中分别为P:0Pj,5Pj,…,13Pj，首先将人手坐标系记为
由于人的双手都有可能去呈递物体，因此选择手掌内侧作为坐标系Z轴的正方向，从手掌根部到无名指的有向向量作为坐标系X轴，进而通过公式(2)确定该坐标系在全局坐标系
中的位置，公式(2)为：
在运动规划时，需要防止机器人与人手碰撞，我们需要在规划器空间中引入当前人手三维模型，基于21个人手关节点全局坐标采用人手重建方程进行人手重建，公式(3)为人手重建方程，公式(3)为：
其中，公式(3)中，
代表着人手重建方程仅与形状参数β和姿态参数θ有关，ω是一个常数。
因此为了得到人手模型，利用Hj去估计β和θ，通过将MANO微分化，从而将该任务构建为一个自动微分任务。具体来说，就是首先将β和θ初始化为0，通过
前向通道获得人手的三维表示以及坐标系，而后将当前输出结果同人手坐标系记
构建损失函数，并最小化损失函数，基于梯度调整β和θ并将其作为下一次迭代的初始值。
S3，基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；
其中，所述基于实时的所述三维人手网格规划机器人的运动路径包括以下步骤：
S301，将实时的所述三维人手网格导入规划器空间中，所述规划器空间根据RRT-Connect算法对机器人进行运动规划，得到机器人的运动路径。
其中，所述基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径包括以下步骤：
S302，记录单位时间内所述掌根部点坐标、无名指根部点坐标和食指根部点坐标在全局坐标系中的变化轨迹；
S303，计算所述变化轨迹在全局坐标系中所形成的六面体体积，判断所述六面体体积是否小于等于阈值；
S304，若所述六面体体积小于等于阈值，判定人手未发生运动，若所述六面体体积大于阈值，判定人手发生运动以及人手位置改变，并选择重新规划所述机器人的运动路径。
S305，首先将实时的三维人手网格导入规划器空间中，进行运动规划，可防止人手与运动中的机器人的碰撞，规划器空间采用RRT-Connect算法对机器人进行运动规划，采用该算法可以在构型空间中进行快速的采样，可以保证接受者可以舒适地抓握住物体；
为了接受者的安全性以及解决人手改变位置后无法准确送达人手的问题，机器人需要实时判断人手是否在运动，若人手在一定时间内进行了快速的运动则表明人手位置发生了较大改变，若人手在一定时间内进行了较慢的运动或未运动，则表明人手位置未发生较大改变或未改变。因此，需要记录单位时间内所述掌根部点坐标、无名指根部点坐标和食指根部点坐标在全局坐标系中的变化轨迹，计算变化轨迹在全局坐标系中所形成的六面体体积，基于六面体体积判断人手的运动状态，其中，六面体体积的大小表示人手运动的快慢，掌根部点、无名指根部点和食指根部点在人手运动过程中基本不发生形变，可以用来描述人手的运动，同时降低计算量；
若所述六面体体积小于等于阈值，判定人手未发生运动，若六面体体积大于阈值，判定人手发生运动以及人手位置改变，并选择重新规划所述机器人的运动路径，若得到人手位置改变的结论，则选择重新规划所述机器人的运动路径。
S4，基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中。
其中，所述基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中包括以下步骤：
S401，检查机器人的状态和每个状态的执行条件；
S402，若检查到机器人夹持器打开，则判断机器人处于抓取状态，若机器人处于抓取状态，则基于所述机器人末端的抓取姿态信息命令机器人完成对物体的抓取；
S403，若检查到机器人完成抓取且夹持器关闭，则判断机器人处于交付状态，若机器人处于交付状态，则基于所述机器人的运动路径命令机械臂完成运动并将物体交付到人手中；
S404，若检查到机器人完成交付且末端力传感器检测到力的变化，则判断机器人处于释放状态，若机器人处于释放状态，则表明人手成功抓握住物体，若人手成功抓握住物体，则命令机器人将夹持器打开，完成释放。
具体的，机器人到人的物体呈递整个过程分为三个状态：抓取、交付和释放；在机器人启动后，反复检查机器人的状态和每个状态的执行条件，以确定机器人进入哪个状态，若检查到机器人夹持器打开，则判断机器人处于抓取状态，若机器人处于抓取状态，则基于所述机器人末端的抓取姿态信息命令机器人完成对物体的抓取；若检查到机器人完成抓取且夹持器关闭，则判断机器人处于交付状态，若机器人处于交付状态，则基于所述机器人的运动路径命令机械臂完成运动并将物体交付到人手中；若检查到机器人完成交付且末端力传感器检测到力的变化，则判断机器人处于释放状态，若机器人处于释放状态，则表明人手成功抓握住物体，若人手成功抓握住物体，则命令机器人将夹持器打开，完成释放。
基于上述基于视觉的机器人到人物体传递方法，本实施例提供了一种基于视觉的机器人到人物体传递装置，包括：
抓取模块1，用于将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；
人手检测模块2，用于获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；
路径规划模块3，用于基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；
呈递模块4，用于基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中。
此外值得说明，本实施例提供的基于基于视觉的机器人到人物体传递装置的工作过程与上述基于视觉的机器人到人物体传递方法的工作过程相同，具体可以参照基于视觉的机器人到人物体传递方法的工作过程，这里就不再赘述。
基于上述基于视觉的机器人到人物体传递方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于视觉的机器人到人物体传递方法中的步骤。
如图2所示，基于上述基于视觉的机器人到人物体传递方法，本申请还提供了一种终端设备，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
相较于现有技术本发明的基于视觉的机器人到人物体传递方法包括，将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中；本发明采用上述方法后可针对任意已知三维模型的可抓取物体，生成最适合人手的抓取姿态，将物体传递到人手中，即使人手位姿改变，依旧可以将物体准确安全的送至人手中。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
当然，本发明上述实施例的描述较为细致，但不能因此而理解为对本发明的保护范围的限制，本发明还可有其它多种实施方式，基于本实施方式，本领域的普通技术人员在没有做出任何创造性劳动的前提下所获得其他实施方式，都属于本发明所保护的范围，本发明的保护范围以所附权利要求书为准。
Claims (10)
1.一种基于视觉的机器人到人物体传递方法，其特征在于，包括：
将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；
获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；
基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；
基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中。
2.根据权利要求1所述的一种基于视觉的机器人到人物体传递方法，其特征在于，所述将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息包括：
采用物体集训练初始神经网络模型，得到所述训练后的神经网络模型；
将所述物体的预设三维模型输入到所述训练后的神经网络模型中进行计算，得到所述人手与物体之间的抓握关系信息；
在仿真空间中基于所述人手与物体之间的抓握关系信息构建三维人手网格，其中，所述三维人手网格构建在所述物体的预设三维模型上；
在所述仿真空间中基于所述三维人手网格模拟机器人的抓握姿态，对所述抓握姿态进行评分，根据评分选择对应的抓握姿态作为机器人末端的抓取姿态。
3.根据权利要求2所述的一种基于视觉的机器人到人物体传递方法，其特征在于，所述获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格包括：
根据指令控制相机对人手进行拍摄，获得人手的实时视频信息，将实时视频中每帧图片输入到所述手势识别算法中进行计算，得到人手关节像素点坐标；
将所述人手关节像素点坐标转换到相机坐标系中，得到人手关节点相机坐标；
基于相机与机器人底座的坐标变换关系，将人手关节点相机坐标转换为人手关节点全局坐标；
基于所述人手关节点全局坐标对所述三维人手网格进行重建，得到所述实时的三维人手网格。
4.根据权利要求3所述的一种基于视觉的机器人到人物体传递方法，其特征在于，所述基于所述人手像素点坐标得到人手位姿信息包括：
基于人手的手掌根部点、无名指根部点和食指根部点构建人手坐标系，将人手掌内侧作为人手坐标系Z轴的正方向，将从人手掌根部到无名指的有向向量作为人手坐标系X轴；
查找所述人手关节点相机坐标中所述掌根部点、无名指根部点和食指根部点对应的掌根部点坐标、无名指根部点坐标和食指根部点坐标；
基于所述掌根部点坐标、无名指根部点坐标和食指根部点坐标确定人手坐标系在全局坐标系中的位置，将人手坐标系在全局坐标系中的位置信息作为人手位姿信息。
5.根据权利要求4所述的一种基于视觉的机器人到人物体传递方法，其特征在于，所述基于实时的所述三维人手网格规划机器人的运动路径包括：
将实时的所述三维人手网格导入规划器空间中，所述规划器空间根据RRT-Connect算法对机器人进行运动规划，得到机器人的运动路径。
6.根据权利要求5所述的一种基于视觉的机器人到人物体传递方法，其特征在于，所述基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径包括：
记录单位时间内所述掌根部点坐标、无名指根部点坐标和食指根部点坐标在全局坐标系中的变化轨迹；
计算所述变化轨迹在全局坐标系中所形成的六面体体积，判断所述六面体体积是否小于等于阈值；
若所述六面体体积小于等于阈值，判定人手未发生运动，若所述六面体体积大于阈值，判定人手发生运动以及人手位置改变，并选择重新规划所述机器人的运动路径。
7.根据权利要求6所述的一种基于视觉的机器人到人物体传递方法，其特征在于，所述基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中包括：
检查机器人的状态和每个状态的执行条件；
若检查到机器人夹持器打开，则判断机器人处于抓取状态，若机器人处于抓取状态，则基于所述机器人末端的抓取姿态信息命令机器人完成对物体的抓取；
若检查到机器人完成抓取且夹持器关闭，则判断机器人处于交付状态，若机器人处于交付状态，则基于所述机器人的运动路径命令机械臂完成运动并将物体交付到人手中；
若检查到机器人完成交付且末端力传感器检测到力的变化，则判断机器人处于释放状态，若机器人处于释放状态，则表明人手成功抓握住物体，若人手成功抓握住物体，则命令机器人将夹持器打开，完成释放。
8.一种基于视觉的机器人到人物体传递装置，其特征在于，包括：
抓取模块，用于将物体的预设三维模型输入到训练后的神经网络模型中进行计算，得到人手与物体之间的抓握关系信息，基于所述人手与物体之间的抓握关系信息计算得到机器人末端的抓取姿态信息；
人手检测模块，用于获取人手的实时视频信息，将所述人手的实时视频信息输入到手势识别算法中进行计算，得到人手像素点坐标，基于所述人手像素点坐标得到实时的三维人手网格和人手位姿信息；
路径规划模块，用于基于实时的所述三维人手网格规划机器人的运动路径，基于所述人手位姿信息判断人手的运动状态，根据所述人手的运动状态选择重新规划所述机器人的运动路径；
呈递模块，用于基于所述机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放，将所述物体传递到人手中。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于视觉的机器人到人物体传递方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的基于视觉的机器人到人物体传递方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211272404.7A CN115635482B (zh) | 2022-10-18 | 2022-10-18 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211272404.7A CN115635482B (zh) | 2022-10-18 | 2022-10-18 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115635482A true CN115635482A (zh) | 2023-01-24 |
| CN115635482B CN115635482B (zh) | 2024-01-30 |
Family
ID=84944533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211272404.7A Active CN115635482B (zh) | 2022-10-18 | 2022-10-18 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115635482B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576787A (zh) * | 2024-01-16 | 2024-02-20 | 北京大学深圳研究生院 | 基于主动跟踪和自适应手势识别的交接方法、装置及设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5391128A (en) * | 1991-06-06 | 1995-02-21 | Rahabilitation Institute Of Michigan | Object delivery exercise system and method |
| CN104057450A (zh) * | 2014-06-20 | 2014-09-24 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
| CN106426162A (zh) * | 2015-08-10 | 2017-02-22 | 发那科株式会社 | 具备视觉传感器以及多个机器人的机器人系统 |
| DE102018213511A1 (de) * | 2018-08-10 | 2020-02-13 | Robert Bosch Gmbh | Verfahren zum Synchronisieren einer Zusammenarbeit von Mensch und Roboter |
| CN111230872A (zh) * | 2020-01-31 | 2020-06-05 | 武汉大学 | 一种基于多传感器的物体递交意图识别系统及方法 |
| CN111251277A (zh) * | 2020-01-31 | 2020-06-09 | 武汉大学 | 一种基于示教学习的人机协作工具递交系统及方法 |
| CN112770876A (zh) * | 2018-10-05 | 2021-05-07 | 索尼公司 | 信息处理装置、控制方法和程序 |
| CN113681565A (zh) * | 2021-09-08 | 2021-11-23 | 浙江大学 | 一种实现机器人与人之间物品传递的人机协作方法及装置 |
| CN114004329A (zh) * | 2020-07-28 | 2022-02-01 | 辉达公司 | 物体交接的机器学习控制 |
| CN114905508A (zh) * | 2022-04-19 | 2022-08-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于异构特征融合的机器人抓取方法 |
-
2022
- 2022-10-18 CN CN202211272404.7A patent/CN115635482B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5391128A (en) * | 1991-06-06 | 1995-02-21 | Rahabilitation Institute Of Michigan | Object delivery exercise system and method |
| CN104057450A (zh) * | 2014-06-20 | 2014-09-24 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
| CN106426162A (zh) * | 2015-08-10 | 2017-02-22 | 发那科株式会社 | 具备视觉传感器以及多个机器人的机器人系统 |
| DE102018213511A1 (de) * | 2018-08-10 | 2020-02-13 | Robert Bosch Gmbh | Verfahren zum Synchronisieren einer Zusammenarbeit von Mensch und Roboter |
| CN112770876A (zh) * | 2018-10-05 | 2021-05-07 | 索尼公司 | 信息处理装置、控制方法和程序 |
| CN111230872A (zh) * | 2020-01-31 | 2020-06-05 | 武汉大学 | 一种基于多传感器的物体递交意图识别系统及方法 |
| CN111251277A (zh) * | 2020-01-31 | 2020-06-09 | 武汉大学 | 一种基于示教学习的人机协作工具递交系统及方法 |
| CN114004329A (zh) * | 2020-07-28 | 2022-02-01 | 辉达公司 | 物体交接的机器学习控制 |
| CN113681565A (zh) * | 2021-09-08 | 2021-11-23 | 浙江大学 | 一种实现机器人与人之间物品传递的人机协作方法及装置 |
| CN114905508A (zh) * | 2022-04-19 | 2022-08-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于异构特征融合的机器人抓取方法 |
Non-Patent Citations (1)
| Title |
|---|
| PAOLA ARDÓN 等: "Affordance-Aware Handovers With Human Arm Mobility Constraints", IEEE ROBOTICS AND AUTOMATION LETTERS, vol. 6, no. 2, pages 3136 - 3143, XP011844896, DOI: 10.1109/LRA.2021.3062808 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576787A (zh) * | 2024-01-16 | 2024-02-20 | 北京大学深圳研究生院 | 基于主动跟踪和自适应手势识别的交接方法、装置及设备 |
| CN117576787B (zh) * | 2024-01-16 | 2024-04-16 | 北京大学深圳研究生院 | 基于主动跟踪和自适应手势识别的交接方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115635482B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11654564B2 (en) | Efficient data generation for grasp learning with general grippers | |
| Marturi et al. | Dynamic grasp and trajectory planning for moving objects | |
| Vahrenkamp et al. | Simultaneous grasp and motion planning: Humanoid robot ARMAR-III | |
| Dang et al. | Semantic grasping: Planning robotic grasps functionally suitable for an object manipulation task | |
| US20150314442A1 (en) | Bare Hand Robot Path Teaching | |
| EP3862148A1 (en) | Information processing device, control method, and program | |
| Aleotti et al. | An affordance sensitive system for robot to human object handover | |
| WO2020190166A1 (ru) | Способ и система захвата объекта с помощью роботизированного устройства | |
| Rosales et al. | GPAtlasRRT: A local tactile exploration planner for recovering the shape of novel objects | |
| CN115972189A (zh) | 用于机器维护的夹持生成 | |
| Micelli et al. | Perception and control challenges for effective human-robot handoffs | |
| Klingensmith et al. | Closed-loop servoing using real-time markerless arm tracking | |
| Kappler et al. | Representation of pre-grasp strategies for object manipulation | |
| Ottenhaus et al. | Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning | |
| US20220203517A1 (en) | Non-transitory storage medium and method and system of creating control program for robot | |
| Lin et al. | Task-based grasp quality measures for grasp synthesis | |
| Garg et al. | Learning to grasp under uncertainty using POMDPs | |
| Skoglund et al. | Programming by demonstration of pick-and-place tasks for industrial manipulators using task primitives | |
| CN115635482A (zh) | 基于视觉的机器人到人物体传递方法、装置、介质及终端 | |
| Zhao et al. | An efficient and responsive robot motion controller for safe human-robot collaboration | |
| Sun et al. | Robotic grasping for instrument manipulations | |
| Li et al. | Intelligent control strategy for robotic arm by using adaptive inertia weight and acceleration coefficients particle swarm optimization | |
| Hertkorn | Shared grasping: A combination of telepresence and grasp planning | |
| Cai et al. | Inferring the geometric nullspace of robot skills from human demonstrations | |
| CN113681565A (zh) | 一种实现机器人与人之间物品传递的人机协作方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |