CN108638054B - 一种智能排爆机器人五指灵巧手控制方法 - Google Patents

一种智能排爆机器人五指灵巧手控制方法 Download PDF

Info

Publication number
CN108638054B
CN108638054B CN201810305748.0A CN201810305748A CN108638054B CN 108638054 B CN108638054 B CN 108638054B CN 201810305748 A CN201810305748 A CN 201810305748A CN 108638054 B CN108638054 B CN 108638054B
Authority
CN
China
Prior art keywords
grabbing
finger
palm
fingers
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810305748.0A
Other languages
English (en)
Other versions
CN108638054A (zh
Inventor
蔡磊
程静
张树静
徐涛
刘艳昌
白林锋
赵明富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Institute of Science and Technology
Original Assignee
Henan Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Institute of Science and Technology filed Critical Henan Institute of Science and Technology
Priority to CN201810305748.0A priority Critical patent/CN108638054B/zh
Publication of CN108638054A publication Critical patent/CN108638054A/zh
Application granted granted Critical
Publication of CN108638054B publication Critical patent/CN108638054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种智能排爆机器人五指灵巧手控制方法，步骤如下：S1，构建排爆机器人五指灵巧手的抓取模式知识库；S2，基于五指灵巧手的视觉系统对目标物识别；S3，模式匹配；S4，实施抓取，抓取模式规划完毕之后，进行力规划，通过手指指端缓慢收紧的同时抬起被抓物体，当被抓物体能够被稳定抓起时不再收紧指端的方法，获取抓取物体的最佳抓取力度。本发明以仿人的多自由度五指灵巧手作为机器人的末端执行器，能够完成对多种不同形状、不同位姿的物体的抓取，打破了以单自由度夹持器作为机器人末端执行器抓取物体的局限性；且灵巧手具有自主性，能够自主完成抓取动作，在抓取未爆物时，相比通过人工操作完成抓取的机械手来说，保障了工作人员的生命安全。

Description

一种智能排爆机器人五指灵巧手控制方法
技术领域
本发明属于机械手自动抓取技术领域，具体涉及一种智能排爆机器人五指灵巧手控制方法。
背景技术
随着全球化的发展和反恐工作的深入，与恐怖分子的矛盾进一步激化，各国都存在不法分子安放炸弹的威胁。通过放置炸弹来制造爆炸恐怖活动，是恐怖主义进行恐怖主义活动的惯用手段。虽然排爆工作从未停止，排爆技术也在日益提升，从曾经的人工排爆到如今的机器人排爆，但目前世界上仍存在大量的未爆物，且由于未爆物的形状多样性，机器人排爆仍需人工操作，这无疑为排爆工作增加了难度，更严重威胁着排爆人员和社会人民的生命安全。
近年来，机器人行业发展迅速，机器人涉及的领域在日益增多，功能也在日趋完善，多种类型的机器人已陆续问世，其中包括安防巡视机器人、采摘机器人、仿人机器人、排爆机器人等。机器人通过其机械臂的末端执行器协助人类完成各种繁琐甚至高危困难的作业，但机器人的自主性仍是机器人界的一大难题。目前已有排爆机器人的末端执行器多为单自由度的夹持器，由于驱动器、传感器以及控制策略等各方面的技术限制，抓取能力有限。而少有的以多指灵巧手作为末端执行器的机器人，由于其缺少自主性而需要人机交互实现对未爆物的抓取。在实际排爆中，由于未爆物的质量状况和引信状态未知，所属形状和所处姿势的随机性较大，在移动过程中存在随时爆炸的可能，因此，通过人交互完成排爆任务会对工作人员造成极大的安全隐患。
发明内容
针对上述现有机器人末端执行器功能的局限性，本发明提出以仿人的多自由度五指灵巧手作为机器人的末端执行器，通过使用神经网络训练，现灵巧手对不同未爆物自主规划抓取方法，独立完成抓取任务。
为解决上述技术问题，本发明所采用的技术方案如下：一种智能排爆机器人五指灵巧手控制方法，步骤如下：
S1，构建排爆机器人五指灵活手的抓取模式知识库。
S1.1，建立五指灵活手的手掌和手指间的运动模型。
以手掌坐标系为参考系，并以灵巧手的五个手指和手掌伸直时，各指关节共面的平面为手掌平面。
S1.1.1，建立食指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000021
其中，p表示手掌，i表示食指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.2，建立中指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000022
其中，p表示手掌，m表示中指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.3，建立无名指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000023
其中，p表示手掌，r表示无名指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.4，建立小指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000031
其中，p表示手掌，l表示小指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.5，建立拇指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000032
其中，p表示手掌，t表示拇指，d表示手掌的长度，ds表示手掌的宽度；
S1.2，构建抓取模式模型。
S1.2.1，给定初始参数。
在三维空间中物体的几何特征定义为物体的高度h，宽度w，厚度d，并设dmax＝max(h,d,w),dmin＝min(h,d,w)，抓取平面为(dmax,dmin)组成的截面。
S1.2.2，基于目标物体相对于手掌的尺寸大小，设定不同的抓取模式。
按照人手的抓取原理，将五指灵巧手的抓取分为三种基本模式：抓、握、捏。
S1.2.2.1，比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小。
当抓取平面的dmin＞dx，不能实行抓取，当dmin≤dx时，进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小，规划使用不同的手指数进行抓取。
S1.2.2.2，若dmax小于或等于一指宽，则使用拇指和食指两根手指采用捏的方式。
若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式。
若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式，其他尺寸采用抓的方式。
S1.2.3，根据物体的形状规划不同的抓取方式。
当目标物体具有球体的几何特征或大多数面为曲面时，以过质心的截面与曲面的相交点为拇指的接触点，与该接触点所在面相对的面为其他手指接触点所在面，且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上。
当目标物体的大多数面为平面且相对面近似平行，dmax＞＞ds，ds表示手掌的宽度，且dmin＜dx时，以dmax所在面的中点为拇指接触点，与其相对面为其他手指接触点所在面，拇指沿手掌横向伸展与物体接触，四指在与拇指垂直方向弯曲，使手掌和四指与物体完全接触。
S1.3，确定接近方向。
以手掌为参考坐标系，手指相对于物体的方向向量为
Figure BDA0001620923610000041
以物体为参考坐标系，物体相对于手指的方向向量为
Figure BDA0001620923610000042
当五指灵巧手抓取目标物体时，保证灵巧手的抓取接近方向
Figure BDA0001620923610000043
和物体的抓取接近方向
Figure BDA0001620923610000044
重合，即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段。
S1.4，确定灵巧手工作空间。
以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度，以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间。
S1.5，采用神经网络对五指灵巧手的抓取模式进行训练，形成抓取知识库。
采用基函数为高斯函数的RBF神经网络规划抓取模式的知识库，按照步骤S1.2所述分类对待抓物体及与其匹配的抓取模式进行训练：以待抓取物体的形状和位姿为神经网络的输入，预期输出为与输入相匹配的抓取模式。
RBF神经网络的输入层、隐含层、输出层的节点数分别为n，l，m；节点的高斯核函数为：
Figure BDA0001620923610000045
式中，x为输入模式样本向量，фj为隐层第j个单元的输出，cj为第j个高斯单元的中心，бj为方差。
则RBF神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和：
Figure BDA0001620923610000051
式中，ωkj为j神经元和输出层k神经元之间的权值。
该RBF神经网络的学习参数有RBF的中心cj，方差бj和输出单元的权值ωkj；
其中节点的中心cj采用K均值算法：
Figure BDA0001620923610000052
式中，Nj是第j聚类数据，隐含层和输出层之间的权值ωkj采用最小二乘法确定。
训练步骤为：S1.5.1，选择比较小的随机数初始化ωkj。
S1.5.2，输入五指灵巧手的参数，物体的几何特征，计算RBF网络的输出。
S1.5.3，求输出神经元的误差：ek＝dk-yk，其中dk为输出神经元k的期望输出。
S1.5.4，计算高斯核函数фj，并更新权值
Figure BDA0001620923610000053
其中η为学习效率。
S1.5.5，根据步骤S1.2所述物体分类与抓取模式设定进行一次训练，完成一次训练后返回步骤S1.5.2再次训练，直至训练结束。
训练过程为：基于灵巧手当前相对于目标物体的位置，根据规划的接近方向，灵巧手朝着目标物体移动，当移动到目标物体处于灵巧手的可抓取空间时，停止移动，再根据采用的不同抓取模式，形成预抓取姿势，并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置：若使用两只手指捏取物体，以与手掌相连的基指节为第一指节，则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内；若使用三只手指捏取物体，则目标物体处于弯曲的三指形成的C形范围内；若使用全部手指抓或握时，各手指的第二关节弯曲，目标物体位于拇指和其他四指组成的半封闭球形内；
S1.5.6，已分类物体与相匹配的抓取模式训练完成后，终止训练过程，完成知识库的搭建。
S2，目标物识别。
S2.1，基于五指灵巧手的视觉系统采集待抓物体的RGB图像和深度图像；
S2.2，基于图像中存在噪声，采用二维中值滤波方法对获得的RGB图像和深度图像进行图像平滑处理；
S2.3，对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割；
S2.4，对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓；
S2.5，通过图像信息像素点之间连线的长度获取目标物体的大小，并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征；
S3，模式匹配。
将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较，搜索有无类似物体，如有则仿照抓取知识库中所列物体的抓取规划方法，确定接触点和抓取模式；
如果不是知识库中存在的抓取规划模型，通过从2根手指到5根手指的抓、握、捏的方式试探抓取，并更新抓取知识库。
S4，实施抓取。
抓取模式规划完毕之后，进行力规划，通过手指指端缓慢收紧的同时抬起被抓物体，当被抓物体能够被稳定抓起时不再收紧指端的方法，获取抓取物体的最佳抓取力度。
本发明基于对不同形状、不同位姿的物体采用不同抓取方式的训练，采用RBF神经网络构建抓取模式的知识库。在实际抓取过程中，基于灵巧手的视觉系统，采集目标未爆物的视觉场景图，通过特征提取、图像处理等方法对采集的图像信息与构建的抓取模式知识库中的物体信息进行匹配，根据匹配结果进行分类处理，实现自主规划抓取方式，完成抓取任务。本发明以仿人的多自由度五指灵巧手作为机器人的末端执行器，能够完成对多种不同形状、不同位姿的物体的抓取，打破了以单自由度夹持器作为机器人末端执行器抓取物体的局限性；且灵巧手具有自主性，能够自主完成抓取动作，在抓取未爆物时，相比通过人工操作完成抓取的机械手来说，极大的保障了工作人员的生命安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的流程图。
图2是本发明抓取模式知识库构建流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种智能排爆机器人五指灵巧手控制方法，步骤如下：
S1，构建排爆机器人五指灵活手的抓取模式知识库，如图2所示。
S1.1，建立五指灵活手的手掌和手指间的运动模型。
以手掌坐标系为参考系，并以灵巧手的五个手指和手掌伸直时，各指关节共面的平面为手掌平面。
S1.1.1，建立食指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000071
其中，p表示手掌，i表示食指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.2，建立中指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000081
其中，p表示手掌，m表示中指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.3，建立无名指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000082
其中，p表示手掌，r表示无名指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.4，建立小指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000083
其中，p表示手掌，l表示小指，d表示手掌的长度，ds表示手掌的宽度。
S1.1.5，建立拇指的基坐标系与掌系的坐标变换关系：
Figure BDA0001620923610000084
其中，p表示手掌，t表示拇指，d表示手掌的长度，ds表示手掌的宽度；
S1.2，构建抓取模式模型。
S1.2.1，给定初始参数。
在三维空间中物体的几何特征定义为物体的高度h，宽度w，厚度d，并设dmax＝max(h,d,w),dmin＝min(h,d,w)，抓取平面为(dmax,dmin)组成的截面。
S1.2.2，基于目标物体相对于手掌的尺寸大小，设定不同的抓取模式。
按照人手的抓取原理，将五指灵巧手的抓取分为三种基本模式：抓、握、捏。
S1.2.2.1，比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小。
当抓取平面的dmin＞dx，不能实行抓取，当dmin≤dx时，进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小，规划使用不同的手指数进行抓取。
S1.2.2.2，若dmax小于或等于一指宽，则使用拇指和食指两根手指采用捏的方式。
若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式。
若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式，其他尺寸采用抓的方式。
S1.2.3，根据物体的形状规划不同的抓取方式。
当目标物体具有球体的几何特征或大多数面为曲面时，以过质心的截面与曲面的相交点为拇指的接触点，与该接触点所在面相对的面为其他手指接触点所在面，且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上。
当目标物体的大多数面为平面且相对面近似平行，dmax＞＞ds，ds表示手掌的宽度，且dmin＜dx时，以dmax所在面的中点为拇指接触点，与其相对面为其他手指接触点所在面，拇指沿手掌横向伸展与物体接触，四指在与拇指垂直方向弯曲，使手掌和四指与物体完全接触。
S1.3，确定接近方向。
以手掌为参考坐标系，手指相对于物体的方向向量为
Figure BDA0001620923610000091
以物体为参考坐标系，物体相对于手指的方向向量为
Figure BDA0001620923610000092
当五指灵巧手抓取目标物体时，保证灵巧手的抓取接近方向
Figure BDA0001620923610000093
和物体的抓取接近方向
Figure BDA0001620923610000094
重合，即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段。
S1.4，确定灵巧手工作空间。
以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度，以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间。
S1.5，采用神经网络对五指灵巧手的抓取模式进行训练，形成抓取知识库。
采用基函数为高斯函数的RBF神经网络规划抓取模式的知识库，按照步骤S1.2所述分类对待抓物体及与其匹配的抓取模式进行训练：以待抓取物体的形状和位姿为神经网络的输入，预期输出为与输入相匹配的抓取模式。
RBF神经网络的输入层、隐含层、输出层的节点数分别为n，l，m；节点的高斯核函数为：
Figure BDA0001620923610000101
式中，x为输入模式样本向量，фj为隐层第j个单元的输出，cj为第j个高斯单元的中心，бj为方差。
则RBF神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和：
Figure BDA0001620923610000102
式中，ωkj为j神经元和输出层k神经元之间的权值。
该RBF神经网络的学习参数有RBF的中心cj，方差бj和输出单元的权值ωkj；
其中节点的中心cj采用K均值算法：
Figure BDA0001620923610000103
式中，Nj是第j聚类数据，隐含层和输出层之间的权值ωkj采用最小二乘法确定。
训练步骤为：S1.5.1，选择比较小的随机数初始化ωkj。
S1.5.2，输入五指灵巧手的参数，物体的几何特征，计算RBF网络的输出。
S1.5.3，求输出神经元的误差：ek＝dk-yk，其中dk为输出神经元k的期望输出。
S1.5.4，计算高斯核函数фj，并更新权值
Figure BDA0001620923610000111
其中η为学习效率。
S1.5.5，根据步骤S1.2所述物体分类与抓取模式设定进行一次训练，完成一次训练后返回步骤S1.5.2再次训练，直至训练结束。
训练过程为：基于灵巧手当前相对于目标物体的位置，根据规划的接近方向，灵巧手朝着目标物体移动，当移动到目标物体处于灵巧手的可抓取空间时，停止移动，再根据采用的不同抓取模式，形成预抓取姿势，并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置：若使用两只手指捏取物体，以与手掌相连的基指节为第一指节，则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内；若使用三只手指捏取物体，则目标物体处于弯曲的三指形成的C形范围内；若使用全部手指抓或握时，各手指的第二关节弯曲，目标物体位于拇指和其他四指组成的半封闭球形内；
S1.5.6，已分类物体与相匹配的抓取模式训练完成后，终止训练过程，完成知识库的搭建。
S2，目标物识别。
S2.1，基于五指灵巧手的视觉系统采集待抓物体的RGB图像和深度图像；
S2.2，基于图像中存在噪声，采用二维中值滤波方法对获得的RGB图像和深度图像进行图像平滑处理；
S2.3，对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割；
S2.4，对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓；
S2.5，通过图像信息像素点之间连线的长度获取目标物体的大小，并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征；
S3，模式匹配。
将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较，搜索有无类似物体，如有则仿照抓取知识库中所列物体的抓取规划方法，确定接触点和抓取模式；
如果不是知识库中存在的抓取规划模型，通过从2根手指到5根手指的抓、握、捏的方式试探抓取，并更新抓取知识库。
S4，实施抓取。
抓取模式规划完毕之后，进行力规划，通过手指指端缓慢收紧的同时抬起被抓物体，当被抓物体能够被稳定抓起时不再收紧指端的方法，获取抓取物体的最佳抓取力度。
本发明首先通过建立灵巧手的手指和手掌的运动关系模型，根据手指末端要到达的目标位置，规划抓取路径；再基于视觉系统采集的待抓物体的物理信息和其所处的位姿、环境，规划接触点，通过与灵巧手相对比，规划抓取模式；最后在抓取过程中基于力的封闭性约束规划抓取力度，完成抓取任务。
上面所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种智能排爆机器人五指灵巧手控制方法，其特征在于，步骤如下：
S1，构建排爆机器人五指灵巧手的抓取模式知识库；
在步骤S1中，步骤如下：S1.1，建立五指灵活手的手掌和手指间的运动模型；
S1.2，构建抓取模式模型；
S1.3，确定接近方向；
S1.4，确定灵巧手工作空间；
S1.5，采用神经网络对五指灵巧手的抓取模式进行训练，形成抓取知识库；
S2，基于五指灵巧手的视觉系统对目标物识别；
S3，模式匹配；
将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较，搜索有无类似物体，如有则仿照抓取知识库中所列物体的抓取规划方法，确定接触点和抓取模式；
如果不是知识库中存在的抓取规划模型，通过从2根手指到5根手指的抓、握、捏的方式试探抓取，并更新抓取知识库；
S4，实施抓取
抓取模式规划完毕之后，进行力规划，通过手指指端缓慢收紧的同时抬起被抓物体，当被抓物体能够被稳定抓起时不再收紧指端的方法，获取抓取物体的最佳抓取力度；
在步骤S1.2中，具体步骤如下：S1.2.1，给定初始参数；
在三维空间中物体的几何特征定义为物体的高度h，宽度w，厚度d，并设dmax＝max(h，d，w)，dmin＝min(h，d，w)，抓取平面为(dmax，dmin)组成的截面；
S1.2.2，基于目标物体相对于手掌的尺寸大小，设定不同的抓取模式：
按照人手的抓取原理，将五指灵巧手的抓取分为三种基本模式：抓、握、捏；
S1.2.2.1，比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小；
当抓取平面的dmin＞dx，不能实行抓取，当dmin≤dx时，进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小，规划使用不同的手指数进行抓取；
S1.2.2.2，若dmax小于或等于一指宽，则使用拇指和食指两根手指采用捏的方式；
若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式；
若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式，其他尺寸采用抓的方式；
S1.2.3，根据物体的形状规划不同的抓取方式；
当目标物体具有球体的几何特征或大多数面为曲面时，以过质心的截面与曲面的相交点为拇指的接触点，与该接触点所在面相对的面为其他手指接触点所在面，且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上；
当目标物体的大多数面为平面且相对面近似平行，dmax＞＞ds，ds表示手掌的宽度，且dmin＜dx时，以dmax所在面的中点为拇指接触点，与其相对面为其他手指接触点所在面，拇指沿手掌横向伸展与物体接触，四指在与拇指垂直方向弯曲，使手掌和四指与物体完全接触；
在步骤S1.5中，具体步骤如下：采用基函数为高斯函数的RBF神经网络规划抓取模式的知识库，按照步骤S1.2所述分类对待抓物体及与其匹配的抓取模式进行训练：以待抓取物体的形状和位姿为神经网络的输入，预期输出为与输入相匹配的抓取模式；
RBF神经网络的输入层、隐含层、输出层的节点数分别为n，l，m；节点的高斯核函数为：
Figure FDA0002957696170000021
式中，x为输入模式样本向量，
Figure FDA0002957696170000027
为隐层第j个单元的输出，cj为第j个高斯单元的中心，
Figure FDA0002957696170000022
为方差；
则RBF神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和：
Figure FDA0002957696170000023
式中，ωkj为j神经元和输出层k神经元之间的权值；
该RBF神经网络的学习参数有RBF的中心cj、方差
Figure FDA0002957696170000024
和输出单元的权值ωkj；
其中节点的中心cj采用K均值算法：
Figure FDA0002957696170000025
式中，Nj是第j聚类数据，隐含层和输出层之间的权值ωkj采用最小二乘法确定；
训练步骤为：S1.5.1，选择比较小的随机数初始化ωkj；
S1.5.2，输入五指灵巧手的参数，物体的几何特征，计算RBF网络的输出；
S1.5.3，求输出神经元的误差：ek＝dk-yk，其中，dk为输出神经元k的期望输出；
S1.5.4，计算高斯核函数
Figure FDA0002957696170000028
并更新权值
Figure FDA0002957696170000026
其中，η为学习效率；
S1.5.5，根据步骤S1.2所述物体分类与抓取模式设定进行一次训练，完成一次训练后返回步骤S1.5.2再次训练，直至训练结束；
训练过程为：基于灵巧手当前相对于目标物体的位置，根据规划的接近方向，灵巧手朝着目标物体移动，当移动到目标物体处于灵巧手的可抓取空间时，停止移动，再根据采用的不同抓取模式，形成预抓取姿势，并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置：若使用两只手指捏取物体，以与手掌相连的基指节为第一指节，则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内；若使用三只手指捏取物体，则目标物体处于弯曲的三指形成的C形范围内；若使用全部手指抓或握时，各手指的第二关节弯曲，目标物体位于拇指和其他四指组成的半封闭球形内；
S1.5.6，已分类物体与相匹配的抓取模式训练完成后，终止训练过程，完成知识库的搭建。
2.根据权利要求1所述的智能排爆机器人五指灵巧手控制方法，其特征在于，在步骤S1中，所述步骤S1.1为：
以手掌坐标系为参考系，并以灵巧手的五个手指和手掌伸直时，各指关节共面的平面为手掌平面；
S1.1.1，建立食指的基坐标系与掌系的坐标变换关系：
Figure FDA0002957696170000031
其中，p表示手掌，i表示食指，d表示手掌的长度，ds表示手掌的宽度；
S1.1.2，建立中指的基坐标系与掌系的坐标变换关系：
Figure FDA0002957696170000032
其中，p表示手掌，m表示中指，d表示手掌的长度，ds表示手掌的宽度；
S1.1.3，建立无名指的基坐标系与掌系的坐标变换关系：
Figure FDA0002957696170000033
其中，p表示手掌，r表示无名指，d表示手掌的长度，ds表示手掌的宽度；
S1.1.4，建立小指的基坐标系与掌系的坐标变换关系：
Figure FDA0002957696170000041
其中，p表示手掌，l表示小指，d表示手掌的长度，ds表示手掌的宽度；
S1.1.5，建立拇指的基坐标系与掌系的坐标变换关系：
Figure FDA0002957696170000042
其中，p表示手掌，t表示拇指，d表示手掌的长度，ds表示手掌的宽度；
所述步骤S1.3中：
以手掌为参考坐标系，手指相对于物体的方向向量为
Figure FDA0002957696170000043
以物体为参考坐标系，物体相对于手指的方向向量为
Figure FDA0002957696170000044
当五指灵巧手抓取目标物体时，保证灵巧手的抓取接近方向
Figure FDA0002957696170000045
和物体的抓取接近方向
Figure FDA0002957696170000046
重合，即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段；
所述步骤S1.4中：
以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度，以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间。
3.根据权利要求1所述的智能排爆机器人五指灵巧手控制方法，其特征在于，在步骤S2中，具体步骤如下：S2.1，基于五指灵巧手的视觉系统采集待抓物体的RGB图像和深度图像；
S2.2，基于图像中存在噪声，采用二维中值滤波方法对获得的RGB图像和深度图像进行图像平滑处理；
S2.3，对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割；
S2.4，对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓；
S2.5，通过图像信息像素点之间连线的长度获取目标物体的大小，并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征。
CN201810305748.0A 2018-04-08 2018-04-08 一种智能排爆机器人五指灵巧手控制方法 Active CN108638054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810305748.0A CN108638054B (zh) 2018-04-08 2018-04-08 一种智能排爆机器人五指灵巧手控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810305748.0A CN108638054B (zh) 2018-04-08 2018-04-08 一种智能排爆机器人五指灵巧手控制方法

Publications (2)

Publication Number Publication Date
CN108638054A CN108638054A (zh) 2018-10-12
CN108638054B true CN108638054B (zh) 2021-05-04

Family

ID=63745786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810305748.0A Active CN108638054B (zh) 2018-04-08 2018-04-08 一种智能排爆机器人五指灵巧手控制方法

Country Status (1)

Country Link
CN (1) CN108638054B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109514550A (zh) * 2018-10-29 2019-03-26 中国科学院合肥物质科学研究院 一种基于图像处理的机械爪控制方法和系统
CN110181500B (zh) * 2019-06-06 2021-07-13 广东海洋大学 一种仿生机械手的控制系统及其控制方法
CN110428465A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于视觉和触觉的机械臂抓取方法、系统、装置
CN111185906B (zh) * 2020-01-10 2023-04-18 上海大学 一种基于Leap Motion的灵巧手主从控制方法
CN113352313A (zh) * 2020-03-06 2021-09-07 思特威(上海)电子科技股份有限公司 机器人的多级传感器决策控制系统
CN111645080A (zh) * 2020-05-08 2020-09-11 覃立万 智能服务机器人手眼协作系统及运行方法
CN111844101B (zh) * 2020-07-31 2022-09-06 中国科学技术大学 一种多指灵巧手分拣规划方法
CN112025693B (zh) * 2020-09-11 2021-09-14 山东大学 非对称三指抓取器的像素级目标抓取检测方法及系统
CN112356031B (zh) * 2020-11-11 2022-04-01 福州大学 一种基于Kernel采样策略在不确定性环境下的在线规划方法
CN112809680A (zh) * 2021-01-26 2021-05-18 山东大学 基于多约束条件的机器人抓取模式选择方法及系统
CN114083535B (zh) * 2021-11-18 2023-06-13 清华大学 一种机器手抓取姿势质量的物理度量方法及装置
CN117067208A (zh) * 2023-09-08 2023-11-17 无锡学院 一种柔性手抓取力的控制方法及控制系统
CN117773952A (zh) * 2024-02-23 2024-03-29 浙江强脑科技有限公司 仿生手控制方法、存储介质、控制装置和仿生手

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929393B (zh) * 2012-10-11 2015-07-22 北京理工大学 虚拟手自动手势选择方法
US9095978B2 (en) * 2012-12-07 2015-08-04 GM Global Technology Operations LLC Planning a grasp approach, position, and pre-grasp pose for a robotic grasper based on object, grasper, and environmental constraint data
CN105598965B (zh) * 2015-11-26 2018-03-16 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106078748B (zh) * 2016-06-13 2018-09-14 北京理工大学 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法
CN107953329B (zh) * 2016-10-17 2021-06-15 中国科学院深圳先进技术研究院 物体识别和姿态估计方法、装置及机械臂抓取系统
JP6608890B2 (ja) * 2017-09-12 2019-11-20 ファナック株式会社 機械学習装置、ロボットシステム及び機械学習方法

Also Published As

Publication number Publication date
CN108638054A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108638054B (zh) 一种智能排爆机器人五指灵巧手控制方法
CN108972494B (zh) 一种仿人机械手抓取控制系统及其数据处理方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110271000B (zh) 一种基于椭圆形面接触的物体抓取方法
Alonso et al. Current research trends in robot grasping and bin picking
CN110785268A (zh) 用于语义机器人抓取的机器学习方法和装置
Bezak et al. Advanced robotic grasping system using deep learning
CN113500017B (zh) 一种面向非结构化场景下物料分拣的智能系统和方法
Mavrakis et al. Task-relevant grasp selection: A joint solution to planning grasps and manipulative motion trajectories
CN108527371A (zh) 一种基于bp神经网络的灵巧手规划方法
Kim et al. Stable robotic grasping of multiple objects using deep neural networks
Funabashi et al. Variable in-hand manipulations for tactile-driven robot hand via CNN-LSTM
Mira et al. Study of dexterous robotic grasping for deformable objects manipulation
Wan et al. Planning grasps for assembly tasks
Francois et al. A three-finger gripper for manipulation in unstructured environments
CN114700949B (zh) 基于体素抓取网络的机械臂灵巧抓取规划方法
Kicki et al. Robotic manipulation of elongated and elastic objects
Khusnutdinov et al. Development and Implementation of Grasp Algorithm for Humanoid Robot AR-601M.
Zhu et al. A robotic semantic grasping method for pick-and-place tasks
Montano et al. Object shape reconstruction based on the object manipulation
Alkhatib et al. Quality assessment of robotic grasping using regularized logistic regression
CN211806133U (zh) 一种二指抓取机器人的示教器及示教系统
CN113936276A (zh) 一种基于深度学习的物体姿态识别抓取的搬运机器人方法
Vatsal et al. Augmenting vision-based grasp plans for soft robotic grippers using reinforcement learning
Wang et al. Design of a voice control 6DoF grasping robotic arm based on ultrasonic sensor, computer vision and Alexa voice assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant