CN108638054A - 一种智能排爆机器人五指灵巧手控制方法 - Google Patents
一种智能排爆机器人五指灵巧手控制方法 Download PDFInfo
- Publication number
- CN108638054A CN108638054A CN201810305748.0A CN201810305748A CN108638054A CN 108638054 A CN108638054 A CN 108638054A CN 201810305748 A CN201810305748 A CN 201810305748A CN 108638054 A CN108638054 A CN 108638054A
- Authority
- CN
- China
- Prior art keywords
- palm
- finger
- crawl
- fingers
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种智能排爆机器人五指灵巧手控制方法,步骤如下:S1,构建排爆机器人五指灵巧手的抓取模式知识库;S2,基于五指灵巧手的视觉系统对目标物识别;S3,模式匹配;S4,实施抓取,抓取模式规划完毕之后,进行力规划,通过手指指端缓慢收紧的同时抬起被抓物体,当被抓物体能够被稳定抓起时不再收紧指端的方法,获取抓取物体的最佳抓取力度。本发明以仿人的多自由度五指灵巧手作为机器人的末端执行器,能够完成对多种不同形状、不同位姿的物体的抓取,打破了以单自由度夹持器作为机器人末端执行器抓取物体的局限性;且灵巧手具有自主性,能够自主完成抓取动作,在抓取未爆物时,相比通过人工操作完成抓取的机械手来说,保障了工作人员的生命安全。
Description
技术领域
本发明属于机械手自动抓取技术领域,具体涉及一种智能排爆机器人五指灵巧手控制方法。
背景技术
随着全球化的发展和反恐工作的深入,与恐怖分子的矛盾进一步激化,各国都存在不法分子安放炸弹的威胁。通过放置炸弹来制造爆炸恐怖活动,是恐怖主义进行恐怖主义活动的惯用手段。虽然排爆工作从未停止,排爆技术也在日益提升,从曾经的人工排爆到如今的机器人排爆,但目前世界上仍存在大量的未爆物,且由于未爆物的形状多样性,机器人排爆仍需人工操作,这无疑为排爆工作增加了难度,更严重威胁着排爆人员和社会人民的生命安全。
近年来,机器人行业发展迅速,机器人涉及的领域在日益增多,功能也在日趋完善,多种类型的机器人已陆续问世,其中包括安防巡视机器人、采摘机器人、仿人机器人、排爆机器人等。机器人通过其机械臂的末端执行器协助人类完成各种繁琐甚至高危困难的作业,但机器人的自主性仍是机器人界的一大难题。目前已有排爆机器人的末端执行器多为单自由度的夹持器,由于驱动器、传感器以及控制策略等各方面的技术限制,抓取能力有限。而少有的以多指灵巧手作为末端执行器的机器人,由于其缺少自主性而需要人机交互实现对未爆物的抓取。在实际排爆中,由于未爆物的质量状况和引信状态未知,所属形状和所处姿势的随机性较大,在移动过程中存在随时爆炸的可能,因此,通过人交互完成排爆任务会对工作人员造成极大的安全隐患。
发明内容
针对上述现有机器人末端执行器功能的局限性,本发明提出以仿人的多自由度五指灵巧手作为机器人的末端执行器,通过使用神经网络训练,现灵巧手对不同未爆物自主规划抓取方法,独立完成抓取任务。
为解决上述技术问题,本发明所采用的技术方案如下:一种智能排爆机器人五指灵巧手控制方法,步骤如下:
S1,构建排爆机器人五指灵活手的抓取模式知识库。
S1.1,建立五指灵活手的手掌和手指间的运动模型。
以手掌坐标系为参考系,并以灵巧手的五个手指和手掌伸直时,各指关节共面的平面为手掌平面。
S1.1.1,建立食指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,i表示食指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.2,建立中指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,m表示中指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.3,建立无名指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,r表示无名指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.4,建立小指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,l表示小指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.5,建立拇指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,t表示拇指,d表示手掌的长度,ds表示手掌的宽度;
S1.2,构建抓取模式模型。
S1.2.1,给定初始参数。
在三维空间中物体的几何特征定义为物体的高度h,宽度w,厚度d,并设dmax=max(h,d,w),dmin=min(h,d,w),抓取平面为(dmax,dmin)组成的截面。
S1.2.2,基于目标物体相对于手掌的尺寸大小,设定不同的抓取模式。
按照人手的抓取原理,将五指灵巧手的抓取分为三种基本模式:抓、握、捏。
S1.2.2.1,比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小。
当抓取平面的dmin>dx,不能实行抓取,当dmin≤dx时,进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小,规划使用不同的手指数进行抓取。
S1.2.2.2,若dmax小于或等于一指宽,则使用拇指和食指两根手指采用捏的方式。
若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式。
若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式,其他尺寸采用抓的方式。
S1.2.3,根据物体的形状规划不同的抓取方式。
当目标物体具有球体的几何特征或大多数面为曲面时,以过质心的截面与曲面的相交点为拇指的接触点,与该接触点所在面相对的面为其他手指接触点所在面,且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上。
当目标物体的大多数面为平面且相对面近似平行,dmax>>ds,ds表示手掌的宽度,且dmin<dx时,以dmax所在面的中点为拇指接触点,与其相对面为其他手指接触点所在面,拇指沿手掌横向伸展与物体接触,四指在与拇指垂直方向弯曲,使手掌和四指与物体完全接触。
S1.3,确定接近方向。
以手掌为参考坐标系,手指相对于物体的方向向量为以物体为参考坐标系,物体相对于手指的方向向量为
当五指灵巧手抓取目标物体时,保证灵巧手的抓取接近方向和物体的抓取接近方向重合,即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段。
S1.4,确定灵巧手工作空间。
以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度,以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间。
S1.5,采用神经网络对五指灵巧手的抓取模式进行训练,形成抓取知识库。
采用基函数为高斯函数的RBF神经网络规划抓取模式的知识库,按照步骤S1.2所述分类对待抓物体及与其匹配的抓取模式进行训练:以待抓取物体的形状和位姿为神经网络的输入,预期输出为与输入相匹配的抓取模式。
RBF神经网络的输入层、隐含层、输出层的节点数分别为n,l,m;节点的高斯核函数为:
式中,x为输入模式样本向量,фj为隐层第j个单元的输出,cj为第j个高斯单元的中心,бj为方差。
则RBF神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和:
式中,ωkj为j神经元和输出层k神经元之间的权值。
该RBF神经网络的学习参数有RBF的中心cj,方差бj和输出单元的权值ωkj;
其中节点的中心cj采用K均值算法:
式中,Nj是第j聚类数据,隐含层和输出层之间的权值ωkj采用最小二乘法确定。
训练步骤为:S1.5.1,选择比较小的随机数初始化ωkj。
S1.5.2,输入五指灵巧手的参数,物体的几何特征,计算RBF网络的输出。
S1.5.3,求输出神经元的误差:ek=dk-yk,其中dk为输出神经元k的期望输出。
S1.5.4,计算高斯核函数фj,并更新权值其中η为学习效率。
S1.5.5,根据步骤S1.2所述物体分类与抓取模式设定进行一次训练,完成一次训练后返回步骤S1.5.2再次训练,直至训练结束。
训练过程为:基于灵巧手当前相对于目标物体的位置,根据规划的接近方向,灵巧手朝着目标物体移动,当移动到目标物体处于灵巧手的可抓取空间时,停止移动,再根据采用的不同抓取模式,形成预抓取姿势,并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置:若使用两只手指捏取物体,以与手掌相连的基指节为第一指节,则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内;若使用三只手指捏取物体,则目标物体处于弯曲的三指形成的C形范围内;若使用全部手指抓或握时,各手指的第二关节弯曲,目标物体位于拇指和其他四指组成的半封闭球形内;
S1.5.6,已分类物体与相匹配的抓取模式训练完成后,终止训练过程,完成知识库的搭建。
S2,目标物识别。
S2.1,基于五指灵巧手的视觉系统采集待抓物体的RGB图像和深度图像;
S2.2,基于图像中存在噪声,采用二维中值滤波方法对获得的RGB图像和深度图像进行图像平滑处理;
S2.3,对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割;
S2.4,对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓;
S2.5,通过图像信息像素点之间连线的长度获取目标物体的大小,并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征;
S3,模式匹配。
将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较,搜索有无类似物体,如有则仿照抓取知识库中所列物体的抓取规划方法,确定接触点和抓取模式;
如果不是知识库中存在的抓取规划模型,通过从2根手指到5根手指的抓、握、捏的方式试探抓取,并更新抓取知识库。
S4,实施抓取。
抓取模式规划完毕之后,进行力规划,通过手指指端缓慢收紧的同时抬起被抓物体,当被抓物体能够被稳定抓起时不再收紧指端的方法,获取抓取物体的最佳抓取力度。
本发明基于对不同形状、不同位姿的物体采用不同抓取方式的训练,采用RBF神经网络构建抓取模式的知识库。在实际抓取过程中,基于灵巧手的视觉系统,采集目标未爆物的视觉场景图,通过特征提取、图像处理等方法对采集的图像信息与构建的抓取模式知识库中的物体信息进行匹配,根据匹配结果进行分类处理,实现自主规划抓取方式,完成抓取任务。本发明以仿人的多自由度五指灵巧手作为机器人的末端执行器,能够完成对多种不同形状、不同位姿的物体的抓取,打破了以单自由度夹持器作为机器人末端执行器抓取物体的局限性;且灵巧手具有自主性,能够自主完成抓取动作,在抓取未爆物时,相比通过人工操作完成抓取的机械手来说,极大的保障了工作人员的生命安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的流程图。
图2是本发明抓取模式知识库构建流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种智能排爆机器人五指灵巧手控制方法,步骤如下:
S1,构建排爆机器人五指灵活手的抓取模式知识库,如图2所示。
S1.1,建立五指灵活手的手掌和手指间的运动模型。
以手掌坐标系为参考系,并以灵巧手的五个手指和手掌伸直时,各指关节共面的平面为手掌平面。
S1.1.1,建立食指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,i表示食指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.2,建立中指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,m表示中指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.3,建立无名指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,r表示无名指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.4,建立小指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,l表示小指,d表示手掌的长度,ds表示手掌的宽度。
S1.1.5,建立拇指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,t表示拇指,d表示手掌的长度,ds表示手掌的宽度;
S1.2,构建抓取模式模型。
S1.2.1,给定初始参数。
在三维空间中物体的几何特征定义为物体的高度h,宽度w,厚度d,并设dmax=max(h,d,w),dmin=min(h,d,w),抓取平面为(dmax,dmin)组成的截面。
S1.2.2,基于目标物体相对于手掌的尺寸大小,设定不同的抓取模式。
按照人手的抓取原理,将五指灵巧手的抓取分为三种基本模式:抓、握、捏。
S1.2.2.1,比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小。
当抓取平面的dmin>dx,不能实行抓取,当dmin≤dx时,进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小,规划使用不同的手指数进行抓取。
S1.2.2.2,若dmax小于或等于一指宽,则使用拇指和食指两根手指采用捏的方式。
若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式。
若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式,其他尺寸采用抓的方式。
S1.2.3,根据物体的形状规划不同的抓取方式。
当目标物体具有球体的几何特征或大多数面为曲面时,以过质心的截面与曲面的相交点为拇指的接触点,与该接触点所在面相对的面为其他手指接触点所在面,且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上。
当目标物体的大多数面为平面且相对面近似平行,dmax>>ds,ds表示手掌的宽度,且dmin<dx时,以dmax所在面的中点为拇指接触点,与其相对面为其他手指接触点所在面,拇指沿手掌横向伸展与物体接触,四指在与拇指垂直方向弯曲,使手掌和四指与物体完全接触。
S1.3,确定接近方向。
以手掌为参考坐标系,手指相对于物体的方向向量为以物体为参考坐标系,物体相对于手指的方向向量为
当五指灵巧手抓取目标物体时,保证灵巧手的抓取接近方向和物体的抓取接近方向重合,即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段。
S1.4,确定灵巧手工作空间。
以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度,以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间。
S1.5,采用神经网络对五指灵巧手的抓取模式进行训练,形成抓取知识库。
采用基函数为高斯函数的RBF神经网络规划抓取模式的知识库,按照步骤S1.2所述分类对待抓物体及与其匹配的抓取模式进行训练:以待抓取物体的形状和位姿为神经网络的输入,预期输出为与输入相匹配的抓取模式。
RBF神经网络的输入层、隐含层、输出层的节点数分别为n,l,m;节点的高斯核函数为:
式中,x为输入模式样本向量,фj为隐层第j个单元的输出,cj为第j个高斯单元的中心,бj为方差。
则RBF神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和:
式中,ωkj为j神经元和输出层k神经元之间的权值。
该RBF神经网络的学习参数有RBF的中心cj,方差бj和输出单元的权值ωkj;
其中节点的中心cj采用K均值算法:
式中,Nj是第j聚类数据,隐含层和输出层之间的权值ωkj采用最小二乘法确定。
训练步骤为:S1.5.1,选择比较小的随机数初始化ωkj。
S1.5.2,输入五指灵巧手的参数,物体的几何特征,计算RBF网络的输出。
S1.5.3,求输出神经元的误差:ek=dk-yk,其中dk为输出神经元k的期望输出。
S1.5.4,计算高斯核函数фj,并更新权值其中η为学习效率。
S1.5.5,根据步骤S1.2所述物体分类与抓取模式设定进行一次训练,完成一次训练后返回步骤S1.5.2再次训练,直至训练结束。
训练过程为:基于灵巧手当前相对于目标物体的位置,根据规划的接近方向,灵巧手朝着目标物体移动,当移动到目标物体处于灵巧手的可抓取空间时,停止移动,再根据采用的不同抓取模式,形成预抓取姿势,并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置:若使用两只手指捏取物体,以与手掌相连的基指节为第一指节,则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内;若使用三只手指捏取物体,则目标物体处于弯曲的三指形成的C形范围内;若使用全部手指抓或握时,各手指的第二关节弯曲,目标物体位于拇指和其他四指组成的半封闭球形内;
S1.5.6,已分类物体与相匹配的抓取模式训练完成后,终止训练过程,完成知识库的搭建。
S2,目标物识别。
S2.1,基于五指灵巧手的视觉系统采集待抓物体的RGB图像和深度图像;
S2.2,基于图像中存在噪声,采用二维中值滤波方法对获得的RGB图像和深度图像进行图像平滑处理;
S2.3,对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割;
S2.4,对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓;
S2.5,通过图像信息像素点之间连线的长度获取目标物体的大小,并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征;
S3,模式匹配。
将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较,搜索有无类似物体,如有则仿照抓取知识库中所列物体的抓取规划方法,确定接触点和抓取模式;
如果不是知识库中存在的抓取规划模型,通过从2根手指到5根手指的抓、握、捏的方式试探抓取,并更新抓取知识库。
S4,实施抓取。
抓取模式规划完毕之后,进行力规划,通过手指指端缓慢收紧的同时抬起被抓物体,当被抓物体能够被稳定抓起时不再收紧指端的方法,获取抓取物体的最佳抓取力度。
本发明首先通过建立灵巧手的手指和手掌的运动关系模型,根据手指末端要到达的目标位置,规划抓取路径;再基于视觉系统采集的待抓物体的物理信息和其所处的位姿、环境,规划接触点,通过与灵巧手相对比,规划抓取模式;最后在抓取过程中基于力的封闭性约束规划抓取力度,完成抓取任务。
上面所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种智能排爆机器人五指灵巧手控制方法,其特征在于,步骤如下:
S1,构建排爆机器人五指灵巧手的抓取模式知识库;
S2,基于五指灵巧手的视觉系统对目标物识别;
S3,模式匹配;
将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较,搜索有无类似物体,如有则仿照抓取知识库中所列物体的抓取规划方法,确定接触点和抓取模式;
如果不是知识库中存在的抓取规划模型,通过从2根手指到5根手指的抓、握、捏的方式试探抓取,并更新抓取知识库;
S4,实施抓取
抓取模式规划完毕之后,进行力规划,通过手指指端缓慢收紧的同时抬起被抓物体,当被抓物体能够被稳定抓起时不再收紧指端的方法,获取抓取物体的最佳抓取力度。
2.根据权利要求1所述的智能排爆机器人五指灵巧手控制方法,其特征在于,在步骤S1中,具体步骤如下:S1.1,建立五指灵活手的手掌和手指间的运动模型;
以手掌坐标系为参考系,并以灵巧手的五个手指和手掌伸直时,各指关节共面的平面为手掌平面;
S1.1.1,建立食指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,i表示食指,d表示手掌的长度,ds表示手掌的宽度;
S1.1.2,建立中指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,m表示中指,d表示手掌的长度,ds表示手掌的宽度;
S1.1.3,建立无名指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,r表示无名指,d表示手掌的长度,ds表示手掌的宽度;
S1.1.4,建立小指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,l表示小指,d表示手掌的长度,ds表示手掌的宽度;
S1.1.5,建立拇指的基坐标系与掌系的坐标变换关系:
其中,p表示手掌,t表示拇指,d表示手掌的长度,ds表示手掌的宽度;
S1.2,构建抓取模式模型;
S1.3,确定接近方向;
以手掌为参考坐标系,手指相对于物体的方向向量为以物体为参考坐标系,物体相对于手指的方向向量为
当五指灵巧手抓取目标物体时,保证灵巧手的抓取接近方向和物体的抓取接近方向重合,即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段;
S1.4,确定灵巧手工作空间;
以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度,以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间;
S1.5,采用神经网络对五指灵巧手的抓取模式进行训练,形成抓取知识库。
3.根据权利要求2所述的智能排爆机器人五指灵巧手控制方法,其特征在于,在步骤S1.2中,具体步骤如下:S1.2.1,给定初始参数;
在三维空间中物体的几何特征定义为物体的高度h,宽度w,厚度d,并设dmax=max(h,d,w),dmin=min(h,d,w),抓取平面为(dmax,dmin)组成的截面;
S1.2.2,基于目标物体相对于手掌的尺寸大小,设定不同的抓取模式:
按照人手的抓取原理,将五指灵巧手的抓取分为三种基本模式:抓、握、捏;
S1.2.2.1,比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小;
当抓取平面的dmin>dx,不能实行抓取,当dmin≤dx时,进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小,规划使用不同的手指数进行抓取;
S1.2.2.2,若dmax小于或等于一指宽,则使用拇指和食指两根手指采用捏的方式;
若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式;
若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式,其他尺寸采用抓的方式;
S1.2.3,根据物体的形状规划不同的抓取方式;
当目标物体具有球体的几何特征或大多数面为曲面时,以过质心的截面与曲面的相交点为拇指的接触点,与该接触点所在面相对的面为其他手指接触点所在面,且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上;
当目标物体的大多数面为平面且相对面近似平行,dmax>>ds,ds表示手掌的宽度,且dmin<dx时,以dmax所在面的中点为拇指接触点,与其相对面为其他手指接触点所在面,拇指沿手掌横向伸展与物体接触,四指在与拇指垂直方向弯曲,使手掌和四指与物体完全接触。
4.根据权利要求2所述的智能排爆机器人五指灵巧手控制方法,其特征在于,在步骤S1.5中,具体步骤如下:采用基函数为高斯函数的RBF神经网络规划抓取模式的知识库,按照步骤S1.2所述分类对待抓物体及与其匹配的抓取模式进行训练:以待抓取物体的形状和位姿为神经网络的输入,预期输出为与输入相匹配的抓取模式;
RBF神经网络的输入层、隐含层、输出层的节点数分别为n,l,m;节点的高斯核函数为:
式中,x为输入模式样本向量,为隐层第j个单元的输出,cj为第j个高斯单元的中心,为方差;
则RBF神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和:
式中,ωkj为j神经元和输出层k神经元之间的权值;
该RBF神经网络的学习参数有RBF的中心cj,方差和输出单元的权值ωkj;
其中节点的中心cj采用K均值算法:
式中,Nj是第j聚类数据,隐含层和输出层之间的权值ωkj采用最小二乘法确定;
训练步骤为:S1.5.1,选择比较小的随机数初始化ωkj;
S1.5.2,输入五指灵巧手的参数,物体的几何特征,计算RBF网络的输出;
S1.5.3,求输出神经元的误差:ek=dk-yk,其中dk为输出神经元k的期望输出;
S1.5.4,计算高斯核函数并更新权值其中η为学习效率;
S1.5.5,根据步骤S1.2所述物体分类与抓取模式设定进行一次训练,完成一次训练后返回步骤S1.5.2再次训练,直至训练结束;
训练过程为:基于灵巧手当前相对于目标物体的位置,根据规划的接近方向,灵巧手朝着目标物体移动,当移动到目标物体处于灵巧手的可抓取空间时,停止移动,再根据采用的不同抓取模式,形成预抓取姿势,并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置:若使用两只手指捏取物体,以与手掌相连的基指节为第一指节,则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内;若使用三只手指捏取物体,则目标物体处于弯曲的三指形成的C形范围内;若使用全部手指抓或握时,各手指的第二关节弯曲,目标物体位于拇指和其他四指组成的半封闭球形内;
S1.5.6,已分类物体与相匹配的抓取模式训练完成后,终止训练过程,完成知识库的搭建。
5.根据权利要求1所述的智能排爆机器人五指灵巧手控制方法,其特征在于,在步骤S2中,具体步骤如下:S2.1,基于五指灵巧手的视觉系统采集待抓物体的RGB图像和深度图像;
S2.2,基于图像中存在噪声,采用二维中值滤波方法对获得的RGB图像和深度图像进行图像平滑处理;
S2.3,对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割;
S2.4,对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓;
S2.5,通过图像信息像素点之间连线的长度获取目标物体的大小,并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810305748.0A CN108638054B (zh) | 2018-04-08 | 2018-04-08 | 一种智能排爆机器人五指灵巧手控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810305748.0A CN108638054B (zh) | 2018-04-08 | 2018-04-08 | 一种智能排爆机器人五指灵巧手控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108638054A true CN108638054A (zh) | 2018-10-12 |
CN108638054B CN108638054B (zh) | 2021-05-04 |
Family
ID=63745786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810305748.0A Active CN108638054B (zh) | 2018-04-08 | 2018-04-08 | 一种智能排爆机器人五指灵巧手控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108638054B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109514550A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院合肥物质科学研究院 | 一种基于图像处理的机械爪控制方法和系统 |
CN110181500A (zh) * | 2019-06-06 | 2019-08-30 | 广东海洋大学 | 一种仿生机械手的控制系统及其控制方法 |
CN110428465A (zh) * | 2019-07-12 | 2019-11-08 | 中国科学院自动化研究所 | 基于视觉和触觉的机械臂抓取方法、系统、装置 |
CN111185906A (zh) * | 2020-01-10 | 2020-05-22 | 上海大学 | 一种基于Leap Motion的灵巧手主从控制方法 |
CN111645080A (zh) * | 2020-05-08 | 2020-09-11 | 覃立万 | 智能服务机器人手眼协作系统及运行方法 |
CN111844101A (zh) * | 2020-07-31 | 2020-10-30 | 中国科学技术大学 | 一种多指灵巧手分拣规划方法 |
CN112025693A (zh) * | 2020-09-11 | 2020-12-04 | 山东大学 | 非对称三指抓取器的像素级目标抓取检测方法及系统 |
CN112356031A (zh) * | 2020-11-11 | 2021-02-12 | 福州大学 | 一种基于Kernel采样策略在不确定性环境下的在线规划方法 |
CN112809680A (zh) * | 2021-01-26 | 2021-05-18 | 山东大学 | 基于多约束条件的机器人抓取模式选择方法及系统 |
CN113352313A (zh) * | 2020-03-06 | 2021-09-07 | 思特威(上海)电子科技股份有限公司 | 机器人的多级传感器决策控制系统 |
CN114083535A (zh) * | 2021-11-18 | 2022-02-25 | 清华大学 | 一种机器手抓取姿势质量的物理度量方法及装置 |
CN114882113A (zh) * | 2022-05-23 | 2022-08-09 | 大连理工大学 | 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法 |
CN115502967A (zh) * | 2022-01-25 | 2022-12-23 | 中国科学院自动化研究所 | 基于深度生成的仿人灵巧手物体抓取方法及机器人系统 |
CN116307573A (zh) * | 2023-03-09 | 2023-06-23 | 中天建设集团有限公司 | 建筑场地材料绿色节能处理方法、设备与介质 |
CN117067208A (zh) * | 2023-09-08 | 2023-11-17 | 无锡学院 | 一种柔性手抓取力的控制方法及控制系统 |
CN117773952A (zh) * | 2024-02-23 | 2024-03-29 | 浙江强脑科技有限公司 | 仿生手控制方法、存储介质、控制装置和仿生手 |
CN114882113B (zh) * | 2022-05-23 | 2024-09-27 | 大连理工大学 | 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929393A (zh) * | 2012-10-11 | 2013-02-13 | 北京理工大学 | 虚拟手自动手势选择方法 |
US20140163731A1 (en) * | 2012-12-07 | 2014-06-12 | GM Global Technology Operations LLC | Planning a Grasp Approach, Position, and Pre-Grasp Pose for a Robotic Grasper Based on Object, Grasper, and Environmental Constraint Data |
CN105598965A (zh) * | 2015-11-26 | 2016-05-25 | 哈尔滨工业大学 | 基于立体视觉的机器人欠驱动手自主抓取方法 |
CN106078748A (zh) * | 2016-06-13 | 2016-11-09 | 北京理工大学 | 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法 |
CN107953329A (zh) * | 2016-10-17 | 2018-04-24 | 中国科学院深圳先进技术研究院 | 物体识别和姿态估计方法、装置及机械臂抓取系统 |
US20190077015A1 (en) * | 2017-09-12 | 2019-03-14 | Fanuc Corporation | Machine learning device, robot system, and machine learning method |
-
2018
- 2018-04-08 CN CN201810305748.0A patent/CN108638054B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929393A (zh) * | 2012-10-11 | 2013-02-13 | 北京理工大学 | 虚拟手自动手势选择方法 |
US20140163731A1 (en) * | 2012-12-07 | 2014-06-12 | GM Global Technology Operations LLC | Planning a Grasp Approach, Position, and Pre-Grasp Pose for a Robotic Grasper Based on Object, Grasper, and Environmental Constraint Data |
CN105598965A (zh) * | 2015-11-26 | 2016-05-25 | 哈尔滨工业大学 | 基于立体视觉的机器人欠驱动手自主抓取方法 |
CN106078748A (zh) * | 2016-06-13 | 2016-11-09 | 北京理工大学 | 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法 |
CN107953329A (zh) * | 2016-10-17 | 2018-04-24 | 中国科学院深圳先进技术研究院 | 物体识别和姿态估计方法、装置及机械臂抓取系统 |
US20190077015A1 (en) * | 2017-09-12 | 2019-03-14 | Fanuc Corporation | Machine learning device, robot system, and machine learning method |
CN109483573A (zh) * | 2017-09-12 | 2019-03-19 | 发那科株式会社 | 机器学习装置、机器人系统以及机器学习方法 |
Non-Patent Citations (1)
Title |
---|
仲训杲等: "基于多模特征深度学习的机器人抓取判别方法", 《自动化学报》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109514550A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院合肥物质科学研究院 | 一种基于图像处理的机械爪控制方法和系统 |
CN110181500A (zh) * | 2019-06-06 | 2019-08-30 | 广东海洋大学 | 一种仿生机械手的控制系统及其控制方法 |
CN110428465A (zh) * | 2019-07-12 | 2019-11-08 | 中国科学院自动化研究所 | 基于视觉和触觉的机械臂抓取方法、系统、装置 |
CN111185906A (zh) * | 2020-01-10 | 2020-05-22 | 上海大学 | 一种基于Leap Motion的灵巧手主从控制方法 |
CN113352313A (zh) * | 2020-03-06 | 2021-09-07 | 思特威(上海)电子科技股份有限公司 | 机器人的多级传感器决策控制系统 |
CN111645080A (zh) * | 2020-05-08 | 2020-09-11 | 覃立万 | 智能服务机器人手眼协作系统及运行方法 |
CN111844101A (zh) * | 2020-07-31 | 2020-10-30 | 中国科学技术大学 | 一种多指灵巧手分拣规划方法 |
CN112025693A (zh) * | 2020-09-11 | 2020-12-04 | 山东大学 | 非对称三指抓取器的像素级目标抓取检测方法及系统 |
CN112356031A (zh) * | 2020-11-11 | 2021-02-12 | 福州大学 | 一种基于Kernel采样策略在不确定性环境下的在线规划方法 |
CN112809680A (zh) * | 2021-01-26 | 2021-05-18 | 山东大学 | 基于多约束条件的机器人抓取模式选择方法及系统 |
CN114083535A (zh) * | 2021-11-18 | 2022-02-25 | 清华大学 | 一种机器手抓取姿势质量的物理度量方法及装置 |
CN115502967A (zh) * | 2022-01-25 | 2022-12-23 | 中国科学院自动化研究所 | 基于深度生成的仿人灵巧手物体抓取方法及机器人系统 |
CN114882113A (zh) * | 2022-05-23 | 2022-08-09 | 大连理工大学 | 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法 |
CN114882113B (zh) * | 2022-05-23 | 2024-09-27 | 大连理工大学 | 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法 |
CN116307573A (zh) * | 2023-03-09 | 2023-06-23 | 中天建设集团有限公司 | 建筑场地材料绿色节能处理方法、设备与介质 |
CN117067208A (zh) * | 2023-09-08 | 2023-11-17 | 无锡学院 | 一种柔性手抓取力的控制方法及控制系统 |
CN117067208B (zh) * | 2023-09-08 | 2024-08-06 | 无锡学院 | 一种柔性手抓取力的控制方法及控制系统 |
CN117773952A (zh) * | 2024-02-23 | 2024-03-29 | 浙江强脑科技有限公司 | 仿生手控制方法、存储介质、控制装置和仿生手 |
Also Published As
Publication number | Publication date |
---|---|
CN108638054B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108638054A (zh) | 一种智能排爆机器人五指灵巧手控制方法 | |
CN110298886B (zh) | 一种基于四级卷积神经网络的灵巧手抓取规划方法 | |
CN106346485B (zh) | 基于人手运动姿态学习的仿生机械手的非接触式控制方法 | |
CN108972494A (zh) | 一种仿人机械手抓取控制系统及其数据处理方法 | |
Fitzpatrick et al. | Learning about objects through action-initial steps towards artificial cognition | |
Li et al. | A mobile robot hand-arm teleoperation system by vision and imu | |
Qu et al. | Human-like coordination motion learning for a redundant dual-arm robot | |
Walter et al. | Rapid learning with parametrized self-organizing maps | |
CN108247637A (zh) | 一种工业机器人手臂视觉防撞操控方法 | |
WO2005046942A1 (ja) | ロボットの駆動方法 | |
Kase et al. | Put-in-box task generated from multiple discrete tasks by ahumanoid robot using deep learning | |
CN108196453A (zh) | 一种机械臂运动规划群体智能计算方法 | |
Ghazaei et al. | An exploratory study on the use of convolutional neural networks for object grasp classification | |
Ju et al. | Dynamic grasp recognition using time clustering, gaussian mixture models and hidden markov models | |
Tee et al. | A framework for tool cognition in robots without prior tool learning or observation | |
CN114998573A (zh) | 一种基于rgb-d特征深度融合的抓取位姿检测方法 | |
Lu et al. | Active pushing for better grasping in dense clutter with deep reinforcement learning | |
Wang et al. | Vision-based automatic control of a 5-fingered assistive robotic manipulator for activities of daily living | |
de La Bourdonnaye et al. | Learning to touch objects through stage-wise deep reinforcement learning | |
Grün et al. | Evaluation of domain randomization techniques for transfer learning | |
Paul et al. | Deterministic policy gradient based robotic path planning with continuous action spaces | |
CN111015676B (zh) | 基于无手眼标定的抓取学习控制方法、系统、机器人及介质 | |
CN114700949A (zh) | 基于体素抓取网络的机械臂灵巧抓取规划方法 | |
Maymó et al. | Fast orient: Lightweight computer vision for wrist control in assistive robotic grasping | |
Yang et al. | Domain centralization and cross-modal reinforcement learning for vision-based robotic manipulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |