CN112025679A - 视触觉融合的五指机械手仿人抓取方法 - Google Patents

视触觉融合的五指机械手仿人抓取方法 Download PDF

Info

Publication number
CN112025679A
CN112025679A CN202010867009.8A CN202010867009A CN112025679A CN 112025679 A CN112025679 A CN 112025679A CN 202010867009 A CN202010867009 A CN 202010867009A CN 112025679 A CN112025679 A CN 112025679A
Authority
CN
China
Prior art keywords
grabbing
information
manipulator
database
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010867009.8A
Other languages
English (en)
Other versions
CN112025679B (zh
Inventor
刘倩
刘斯文
靳佳澳
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010867009.8A priority Critical patent/CN112025679B/zh
Publication of CN112025679A publication Critical patent/CN112025679A/zh
Application granted granted Critical
Publication of CN112025679B publication Critical patent/CN112025679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种视触觉融合的五指机械手仿人抓取方法，为建立人手抓取数据库采集视触觉数据、基于视触觉数据采集创建人手抓取数据库、根据人手数据库进行的仿人抓取学习、基于学习结果创建类人手动作的机械手抓取数据库。利用机械手抓取数据库进行的基于视触觉的在线抓取学习。本发明的方法利用视觉与触觉感知结合，使机械手操作更加贴近人类真实感知状态，对于条件多变的复杂情况，机械手仍能找到合适的抓取方式，使任务顺利完成，并同时更新机械手数据库模型。为后续的遥操作系统研究提供便利条件。

Description

视触觉融合的五指机械手仿人抓取方法
技术领域
本发明技术领域为电子信息技术，更具体地，将人手的抓取经验迁移并嵌入到机器手抓取上，涉及视觉和三维触觉力场的精确感知，实现针对不同抓取物体形状和不同物体材质下，采用不同抓取姿态、不同加载力的视触觉融合的机械手抓取策略。
背景技术
人类的抓取动作是基于人眼所观察到的视觉信息，以及手上的触觉感受结合完成的。首先通过视觉判断物体的位置和形状，然后通过触摸获得表面粗糙程度的信息，判断物体材质，进而以恰当的抓取方式在物体上施加合适的力，完成整个抓取动作。
将人手的抓取经验迁移并嵌入到机器手抓取上，摄像机充当人眼，实现对视觉信息的采集，实现对抓取目标物体的识别和定位。在触觉感知部分，采用装配于机械手指端的触觉传感器，并融合视觉信息，实现不同形状、不同材质的目标物体采用不同手势、不同接触点、不同加载力的抓取策略。
发明内容
本发明设计了视触融合的五指机械手仿人抓取方法，主要有以下部分组成：
为建立人手抓取数据库采集视触觉数据、基于视触觉数据采集创建人手抓取数据库、根据人手数据库进行的仿人抓取学习、基于学习结果创建类人手动作的机械手抓取数据库。利用机械手抓取数据库进行的基于视触觉的在线抓取学习。
本发明的技术方案：
视触觉融合的五指机械手仿人抓取方法，步骤如下：
(1)视触觉数据信息采集
采集视触觉数据，分为视觉信息采集与触觉信息采集；视觉信息使用摄像头采集，包括人手真实运动信息、物体形状信息、物体纹理视觉信息；触觉信息包括使用带有柔性触觉传感器阵列的手套采集的物体表面纹理触觉信息以及同时采集的人类抓取力信息；将视觉信息中的物体纹理视觉信息与物体表面纹理触觉信息相结合，使用机器学习的分类方法训练不同物体材质判别器(分类算法不受限定，例如朴素贝叶斯，神经网络等)，确定物体表面材质信息；
(2)创建人手抓取数据库
结合视触觉数据信息采集部分得到的人手真实运动信息、物体形状信息、物体纹理视觉信息及物体表面纹理触觉信息，建立人手抓取数据库；人手抓取数据库包括两部分：根据人手真实运动信息建立的三维人手动作库，及根据由物体形状信息、物体纹理视觉信息、物体表面纹理触觉信息得到的物体材质信息及抓取力信息建立的人手抓取力库；
(3)根据人手抓取数据库进行仿人抓取学习；结合机器学习的方法，根据人手抓取数据库中已有的数据进行学习，获得机械手在抓取不同形状、不同材质的目标物体时，采用的抓取姿态、抓取接触点及抓取力信息；基于机械手抓取数据库，为机械手设定初始抓取状态，使机械手仿人手在抓取不同材质形状的物体时，使用合适的抓取姿态完成抓取操作；此数据库在之后的在线学习中会根据实际情况进行反馈更新；
(4)利用机械手抓取数据库，进行基于视触觉的在线抓取学习；首先采集物体形状信息、物体纹理视觉信息及物体表面纹理触觉信息，根据机械手抓取数据库得到初始抓取状态，之后进行机械手实际抓取操作，同时进行触觉力检测和滑移识别；如果发生滑移，则调整抓取姿态，直至达到稳定抓取状态，同时更新机械手抓取数据库，获得不同形状和不同材质的目标物体与机械手姿态加载力之间的对应关系。
本发明的有益效果在于：利用视觉与触觉感知结合，使机械手操作更加贴近人类真实感知状态，对于条件多变的复杂情况，机械手仍能找到合适的抓取方式，使任务顺利完成，并同时更新机械手数据库模型。为后续的遥操作系统研究提供便利条件。
附图说明
图1为基于视触觉的物体材质识别流程图。
图2为创建面向不同物体形状和材质的视触觉融合的机械手抓取数据库。
图3为不同抓取模态下视触觉融合的机械手抓取策略流程。
图4为创建面向不同物体形状和材质的视触觉融合的机械手抓取数据库流程图。
图5为不同抓取模态下视触觉融合的机械手抓取策略具体流程图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
(1)根据图1、图2及图4，进行视触觉信息采集
使用RGB-D摄像机采集真实人手抓取物体的运动数据，得到人类真实手部运动与动作信息。使用RGB-D摄像机采集物体相关图像，获得物体形状信息及纹理视觉信息。根据图1，通过摄像头采集到的物体表面图像信息，以及物体表面的滑移实验，提取不同材质物体的视触觉特征，使用机器学习如神经网络的方法，训练不同物体材质判别器，进而获得物体材质信息。其中，物体表面的滑移实验步骤如下：手指配戴柔性触觉传感器阵列，触摸物体表面并来回滑动，在按压过程中改变传感器单元的电阻，进而得到的触觉信息。物体材质识别过程如下：提取物体纹理视觉信息及触觉信息的特征，输入通过机器学习方式训练得到的物体材质判别器中，进而确定物体表面材质信息。最后，建立物体形状信息与物体表面材质信息之间的映射。
(2)根据图2及图4，根据视触觉信息，建立人手抓取数据库
基于中采集的人类真实手部运动与动作信息，建立三维人手动作库。基于配戴于手指的柔性触觉传感器获得的人手抓取力信息，与物体形状材质信息对应，建立人手抓取力库。
(3)根据图2及图4，基于人手抓取数据库，通过深度学习，完成仿人姿态抓取学习。
通过深度学习，获得在机械手进行实际抓取情况下，面对不同形状及材质的物体时，应采用的抓取姿态、抓取接触点及抓取力信息。抓取姿态与抓取接触点设置基于三维人手动作库，抓取力设置基于人手抓取力库。
(4)根据图2及图4，基于深度学习结果，创建视触觉融合的机械手抓取数据库。
根据学习结果，建立视触觉融合的机械手抓取数据库，包括机械手的抓取姿态、抓取接触点及抓取力信息，用于在机械手进行实际抓取时，为其设置初始抓取状态，使机械手在进行模拟人手的抓取操作时，能够尽可能还原人手的动作与力度，顺利完成抓取过程。在抓取过程中，机械手抓取数据库会根据实际情况进行更新。
(5)根据图3及图5，基于机械手抓取数据库，建立不同抓取模态下视触觉融合的机械手抓取策略。使用机械手模拟人手进行抓取操作。在准备阶段采集视触觉信息，基于视觉信息，对目标物体进行形状识别；基于视触觉信息，对目标物体进行材质识别。由于步骤4中创建的视触觉融合的机械手抓取数据库能够对待抓取物体的形状及材质进行标定，进而能够通过机械手抓取数据库，对机械手抓取物体的初始状态进行设定。在抓取阶段，通过对机械手上的初始加载力进行三维力检测，判断是否存在导致非稳定抓取的滑移。若无，则实施稳定抓取；若有，则调整加载策略，直到能够实现稳定抓取，并将可稳定抓取的相关信息反馈给机械手抓取数据库，进行数据库更新。

Claims (1)

1.一种视触觉融合的五指机械手仿人抓取方法，其特征在于，步骤如下：
(1)视触觉数据信息采集
采集视触觉数据，分为视觉信息采集与触觉信息采集；视觉信息使用摄像头采集，包括人手真实运动信息、物体形状信息、物体纹理视觉信息；触觉信息包括使用带有柔性触觉传感器阵列的手套采集的物体表面纹理触觉信息以及同时采集的人类抓取力信息；将视觉信息中的物体纹理视觉信息与物体表面纹理触觉信息相结合，使用机器学习的分类方法训练不同物体材质判别器，确定物体表面材质信息；
(2)创建人手抓取数据库
结合视触觉数据信息采集部分得到的人手真实运动信息、物体形状信息、物体纹理视觉信息及物体表面纹理触觉信息，建立人手抓取数据库；人手抓取数据库包括两部分：根据人手真实运动信息建立的三维人手动作库，及根据由物体形状信息、物体纹理视觉信息、物体表面纹理触觉信息得到的物体材质信息及抓取力信息建立的人手抓取力库；
(3)根据人手抓取数据库进行仿人抓取学习；结合机器学习的方法，根据人手抓取数据库中已有的数据进行学习，获得机械手在抓取不同形状、不同材质的目标物体时，采用的抓取姿态、抓取接触点及抓取力信息；基于机械手抓取数据库，为机械手设定初始抓取状态，使机械手仿人手在抓取不同材质形状的物体时，使用合适的抓取姿态完成抓取操作；此数据库在之后的在线学习中会根据实际情况进行反馈更新；
(4)利用机械手抓取数据库，进行基于视触觉的在线抓取学习；首先采集物体形状信息、物体纹理视觉信息及物体表面纹理触觉信息，根据机械手抓取数据库得到初始抓取状态，之后进行机械手实际抓取操作，同时进行触觉力检测和滑移识别；如果发生滑移，则调整抓取姿态，直至达到稳定抓取状态，同时更新机械手抓取数据库，获得不同形状和不同材质的目标物体与机械手姿态加载力之间的对应关系。
CN202010867009.8A 2020-08-26 2020-08-26 视触觉融合的五指机械手仿人抓取方法 Active CN112025679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010867009.8A CN112025679B (zh) 2020-08-26 2020-08-26 视触觉融合的五指机械手仿人抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010867009.8A CN112025679B (zh) 2020-08-26 2020-08-26 视触觉融合的五指机械手仿人抓取方法

Publications (2)

Publication Number Publication Date
CN112025679A true CN112025679A (zh) 2020-12-04
CN112025679B CN112025679B (zh) 2021-09-24

Family

ID=73580808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010867009.8A Active CN112025679B (zh) 2020-08-26 2020-08-26 视触觉融合的五指机械手仿人抓取方法

Country Status (1)

Country Link
CN (1) CN112025679B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113199501A (zh) * 2021-05-27 2021-08-03 新疆大学 一种可调式柔性抓取机械手

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103495981A (zh) * 2013-09-29 2014-01-08 中山大学 一种基于触觉传感器的机械手
WO2017033381A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム
CN110712192A (zh) * 2019-10-17 2020-01-21 佛山智能装备技术研究院 基于3d视觉的体感交互系统
CN111015676A (zh) * 2019-12-16 2020-04-17 中国科学院深圳先进技术研究院 基于无手眼标定的抓取学习控制方法、系统、机器人及介质
CN111230874A (zh) * 2020-02-06 2020-06-05 北京凡川智能机器人科技有限公司 一种启发式规则的灵巧手作业规划方法
CN111275063A (zh) * 2018-12-04 2020-06-12 广州中国科学院先进技术研究所 一种基于3d视觉的机器人智能抓取控制方法及系统
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103495981A (zh) * 2013-09-29 2014-01-08 中山大学 一种基于触觉传感器的机械手
WO2017033381A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム
CN111275063A (zh) * 2018-12-04 2020-06-12 广州中国科学院先进技术研究所 一种基于3d视觉的机器人智能抓取控制方法及系统
CN110712192A (zh) * 2019-10-17 2020-01-21 佛山智能装备技术研究院 基于3d视觉的体感交互系统
CN111015676A (zh) * 2019-12-16 2020-04-17 中国科学院深圳先进技术研究院 基于无手眼标定的抓取学习控制方法、系统、机器人及介质
CN111230874A (zh) * 2020-02-06 2020-06-05 北京凡川智能机器人科技有限公司 一种启发式规则的灵巧手作业规划方法
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113199501A (zh) * 2021-05-27 2021-08-03 新疆大学 一种可调式柔性抓取机械手

Also Published As

Publication number Publication date
CN112025679B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN111055279B (zh) 基于触觉与视觉结合的多模态物体抓取方法与系统
Li et al. A review of tactile information: Perception and action through touch
CN108972494B (zh) 一种仿人机械手抓取控制系统及其数据处理方法
Wang et al. Controlling object hand-over in human–robot collaboration via natural wearable sensing
Yang et al. Haptics electromyography perception and learning enhanced intelligence for teleoperated robot
Lepora et al. Optimal deep learning for robot touch: Training accurate pose models of 3D surfaces and edges
Marwan et al. Comprehensive review on reaching and grasping of objects in robotics
Xu et al. Tactile identification of objects using Bayesian exploration
Dillmann et al. Learning robot behaviour and skills based on human demonstration and advice: the machine learning paradigm
JP5209751B2 (ja) ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム
Takahashi et al. Deep visuo-tactile learning: Estimation of tactile properties from images
Cockbum et al. Grasp stability assessment through unsupervised feature learning of tactile images
Hossain et al. Pick-place of dynamic objects by robot manipulator based on deep learning and easy user interface teaching systems
Lévesque et al. A model-based scooping grasp for the autonomous picking of unknown objects with a two-fingered gripper
Funabashi et al. Multi-fingered in-hand manipulation with various object properties using graph convolutional networks and distributed tactile sensors
CN110271000A (zh) 一种基于椭圆形面接触的物体抓取方法
CN112025679B (zh) 视触觉融合的五指机械手仿人抓取方法
Kadalagere Sampath et al. Review on human‐like robot manipulation using dexterous hands
Zapata-Impata et al. Generation of tactile data from 3D vision and target robotic grasps
Aleotti et al. Position teaching of a robot arm by demonstration with a wearable input device
Lu et al. Visual-tactile robot grasping based on human skill learning from demonstrations using a wearable parallel hand exoskeleton
El-Khoury et al. 3d objects grasps synthesis: A survey
Skubic et al. Identifying contact formations from sensory patterns and its applicability to robot programming by demonstration
CN116652971A (zh) 一种不同刚度物体识别与机械手抓取力控制方法
Kicki et al. Robotic manipulation of elongated and elastic objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant