CN117084835B - 智能假肢系统及控制方法 - Google Patents
智能假肢系统及控制方法 Download PDFInfo
- Publication number
- CN117084835B CN117084835B CN202311361885.3A CN202311361885A CN117084835B CN 117084835 B CN117084835 B CN 117084835B CN 202311361885 A CN202311361885 A CN 202311361885A CN 117084835 B CN117084835 B CN 117084835B
- Authority
- CN
- China
- Prior art keywords
- prosthetic hand
- hand
- prosthetic
- motion
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 210000003414 extremity Anatomy 0.000 claims abstract description 35
- 210000000707 wrist Anatomy 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 18
- 210000002478 hand joint Anatomy 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 18
- 241000282414 Homo sapiens Species 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 5
- 230000002787 reinforcement Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 210000003811 finger Anatomy 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 241000203475 Neopanax arboreus Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/54—Artificial arms or hands or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/68—Operating or control means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/68—Operating or control means
- A61F2/70—Operating or control means electrical
- A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Transplantation (AREA)
- Vascular Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Prostheses (AREA)
Abstract
本发明涉及一种智能假肢系统及其控制方法，包括假肢手、RGB和Depth数据采集装置、物体和假肢手感知模块、假肢手动作预测模块和控制器，物体和假肢手感知模块获取物体的点云信息和假肢手腕部的6D姿态；所述假肢手动作预测模块根据物体的点云信息、假肢手腕部的6D姿态和假肢手关节状态J，预测假肢手动作梯度α p ，根据假肢手动作梯度、物体的点云信息、假肢手关节状态J、假肢手腕部最近n步的6D姿态轨迹，预测假肢手动作梯度的幅度α s 和残差α r ；所述控制器根据假肢手动作预测模块的预测结果，控制假肢手对物体进行抓取。本发明可使假肢手对物体抓取控制更加灵巧、可靠。
Description
技术领域
本发明涉及假肢手，尤其是一种智能假肢系统及其控制方法。
背景技术
人类与各种物体的交互依赖于人手独特的形态结构，然而上肢残障人士由于手部的缺失，对工作、社交尤其是日常生活造成了较大的影响。假肢手常用于辅助上肢残障人士更好的进行生活。
传统假肢手控制方式通过检测人体的肌肉电信号(EMG) 或脑电信号(EEG) ,直接映射到预定义的假肢自由度，但该类方法实际效果受到电极移动、肌肉疲劳等多方面因素的影响，控制鲁棒性往往不高，适应性差。除此之外，该方法需要用户显示的去控制实现各种功能，对人类的认知负担较大。为了解决上述问题，研究者开始结合其他模态的输入，如RGB，Depth 等信息来使得假肢手更智能化。该类方法通常首先采集物体的 RGB（彩色图像），Depth（深度图像） 等数据，标注预定义的抓取位姿，再基于深度学习的方法训练神经网络来预测物体的抓取位姿，并通过人体电信号来判断抓取位姿是否满足人类要求，是否执行抓取等。现有抓取位姿通常只考虑抓取位姿与物体是一一映射的，无法实现多样化的抓取，即对于相同的物体，抓取位姿需要随着假肢手移动的轨迹进行调整，进而抓取物体的特定区域，方便人类后续执行其他操作。
发明内容
本发明的发明目的在于提供一种智能假肢系统及控制方法，假肢手对物体抓取控制更加灵巧、可靠。
基于同一发明构思，本发明具有两个独立的技术方案：
1、一种智能假肢系统，其包括：
假肢手，所述假肢手用于执行对物体抓取；
RGB和Depth数据采集装置，所述RGB和Depth数据采集装置用于获取环境和假肢手的视觉信息；
物体和假肢手感知模块，所述物体感知模块用于根据环境视觉信息感知物体的点云信息，所述假肢手感知模块用于根据假肢手视觉信息估计假肢手腕部的6D姿态；
假肢手动作预测模块，所述假肢手动作预测模块包括动作梯度预测模块和动作幅度与残差预测模块，所述动作梯度预测模块用于根据物体的点云信息、假肢手腕部的6D姿态和假肢手关节状态J，预测假肢手动作梯度α p ，所述动作幅度与残差预测模块用于根据假肢手动作梯度、物体的点云信息、假肢手关节状态J、假肢手腕部最近n步的6D姿态轨迹，预测假肢手动作梯度的幅度α s 和残差α r ；
控制器，所述控制器根据假肢手动作预测模块的预测结果，控制假肢手对物体进行抓取。
进一步地，假肢手动作预测模块中，将假肢手关节动作梯度α p 与幅度α s 和残差α r 相结合得到当前假肢手各关节的相对运动角度α t ，式中，⊙为哈达玛积。
进一步地，包括假肢手动作执行模块，假肢手执行模块将当前各关节的相对运动角度α t 和当前假肢手关节状态J t 结合得到当前目标关节状态Jtarget t ，Jtarget t =J t +α t ，将当前目标关节状态Jtarget t 输入至控制器。
进一步地，动作梯度预测模块通过扩散模型预测假肢手动作梯度α p ；动作幅度与残差预测模块通过强化学习模型预测假肢手动作梯度的幅度α s 和残差α r 。
进一步地，RGB和Depth数据采集装置采用RGB-D相机；物体感知模块基于RGB-D相机采集抓取初始化时的场景点云信息，通过点云分割模型分割场景点云，得到物体的部分点云数据。
进一步地，假肢手感知模块通过姿态预测网络实时估计假肢手腕部的6D姿态b=[b p ,b q ] 其中b p 为假肢手腕部的三维坐标，b q 为假肢手腕部的四元数。
进一步地，假肢手动作预测模块的学习在仿真环境中进行，基于假肢手模型和多样的物体模型使用抓取位姿生成算法生成不同物体不同区域的抓取姿态数据集，用于学习动作梯度预测模块；基于真实人类抓取时腕部的轨迹数据生成轨迹模式数据集，基于抓取姿态数据集和轨迹模式数据集，用于学习假肢手动作幅度与残差模块。
进一步地，训练假肢手动作幅度与残差模块过程中的奖励函数设置如下，其中I为指示函数，即抓取成功，值为1，抓取失败时，值为0；△h为物体抓取后的高度与抓取前高度的差值。
进一步地，当检测到假肢手关节扭矩大于设定阈值时，则将对应关节的相对运动角度α t 设为0。
2、一种利用上述智能假肢系统的控制方法，包括如下步骤：
步骤1：RGB和Depth数据采集装置获取环境和假肢手的视觉信息；
步骤2：物体感知模块根据环境视觉信息感知物体的点云信息，假肢手感知模块用于根据假肢手视觉信息估计假肢手腕部的6D姿态；
步骤3：动作梯度预测模块根据物体的点云信息、假肢手腕部的6D姿态和假肢手关节状态J，预测假肢手动作梯度α p ，假肢手关节状态J实时通过控制器从假肢手获得；动作幅度与残差预测模块根据假肢手动作梯度、物体的点云信息、假肢手关节状态J、假肢手腕部最近n步的6D姿态轨迹，预测假肢手动作梯度的幅度α s 和残差α r ；
步骤4：控制器根据假肢手动作预测模块的预测结果，控制假肢手对物体进行抓取。
本发明具有的有益效果：
本发明包括RGB和Depth数据采集装置，所述RGB和Depth数据采集装置用于获取环境和假肢手的视觉信息；物体和假肢手感知模块，所述物体感知模块用于根据环境视觉信息感知物体的点云信息，所述假肢手感知模块用于根据假肢手视觉信息估计假肢手腕部的6D姿态；假肢手动作预测模块，所述假肢手动作预测模块包括动作梯度预测模块和动作幅度与残差预测模块，所述动作梯度预测模块用于根据物体的点云信息、假肢手腕部的6D姿态和假肢手关节状态J，预测假肢手动作梯度α p ，所述动作幅度与残差预测模块用于根据假肢手动作梯度、物体的点云信息、假肢手关节状态J、假肢手腕部最近n步的6D姿态轨迹，预测假肢手动作梯度的幅度α s 和残差α r ；控制器，所述控制器根据假肢手动作预测模块的预测结果，控制假肢手对物体进行抓取。本发明可根据假肢手腕部移动的轨迹，预测假肢手动作梯度α p 和假肢手动作梯度的幅度α s 和残差α r ，进而对假肢手实现控制，本发明不需检测人体的肌肉电信号(EMG) 或脑电信号(EEG)，假肢手对物体抓取控制更加灵巧、可靠，实现对不同物体与不同物体区域的自适应抓取，满足多样化的抓取需求。
本发明动作梯度预测模块通过扩散模型学习人类的抓取姿态意图，用于预测假肢手动作梯度α p ；动作幅度与残差预测模块通过强化学习模型学习人类的抓取时机意图，用于预测假肢手动作梯度的幅度α s 和残差α r 。假肢手动作预测模块的学习在仿真环境中进行，基于假肢手模型和多样的物体模型使用抓取位姿生成算法生成不同物体不同区域的抓取姿态数据集，用于学习动作梯度预测模块；基于真实人类抓取时腕部的轨迹数据生成轨迹模式数据集，基于抓取姿态数据集和轨迹模式数据集，用于学习假肢手动作幅度与残差模块。本发明通过扩散模型和强化学习模型相结合，实现了对大量物体的泛化性抓取，以及实时的、平滑的动作调整，进一步保证假肢手对物体抓取控制的灵巧性和可靠性。本发明通过上述方法对假肢手动作预测模块进行学习，进一步保证了假肢手动作预测模块预测的可靠性。
附图说明
图1是本发明智能假肢系统的结构框图；
图2是假肢手多样化抓取姿态示意图；
图3是假肢手抓取时机示意图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
实施例一：
智能假肢系统
如图1所示，本发明智能假肢系统包括：
（一）假肢手。所述假肢手采用五指灵巧手，用于执行对物体抓取。五指灵巧手与人手大小接近，采用绳驱动控制，有22个自由度，食指、中指、无名指各有4个自由度，小拇指有5个自由度，其中食指、中指、无名指和小拇指各有一个欠驱动的关节，大拇指有5个自由度，接近人手的自由度，固定在上肢残障人士的肢体上。
（二）RGB和Depth数据采集装置。所述RGB和Depth数据(彩色图像和深度图像)采集装置用于获取环境和假肢手的视觉信息。实施时，RGB和Depth数据采集装置采用RGB-D相机，佩戴于头部。
（三）物体和假肢手感知模块。所述物体和假肢手感知模块为假肢手动作预测模块提供输入。所述物体感知模块用于根据环境视觉信息感知物体的点云信息，所述假肢手感知模块用于根据假肢手视觉信息估计假肢手腕部的6D姿态。物体感知模块基于RGB-D相机采集抓取初始化时的场景点云信息，通过contrastive boundary learning（CLB）分割场景点云，得到物体的部分点云数据。
假肢手感知模块通过姿态预测网络实时估计假肢手腕部的6D姿态b=[b p ,b q ] 其中b p 为假肢手腕部的三维坐标，b q 为假肢手腕部的四元数。
（四）假肢手动作预测模块。所述假肢手动作预测模块包括动作梯度预测模块和动作幅度与残差预测模块，所述动作梯度预测模块用于根据物体的点云信息、假肢手腕部的6D姿态和假肢手关节状态J，通过扩散模型Denoising Score-Matching (DSM)预测假肢手动作梯度α p ，所述动作幅度与残差预测模块用于根据假肢手动作梯度、物体的点云信息、假肢手关节状态J、假肢手腕部最近5步的6D姿态轨迹，通过基于PointNet的强化学习模型预测假肢手动作梯度的幅度α s 和残差α r 。假肢手关节状态J通过控制器获取。
假肢手动作预测模块中，将假肢手关节动作梯度α p 与幅度α s 和残差α r 相结合得到当前（t时刻）假肢手各关节的相对运动角度α t ，式中，⊙为哈达玛积。
在物体与假肢手较远时，假肢手动作预测模块输出的动作倾向于张开假肢手，随着假肢手逐渐靠近物体，假肢手动作预测模块输出的动作会倾向于逐渐闭合假肢手，实现对物体进行抓取。
假肢手动作预测模块的学习在仿真环境中进行，基于假肢手模型和多样的物体模型使用抓取位姿生成算法DexGraspNet生成不同物体不同区域的抓取姿态数据集，用于学习动作梯度预测模块；基于真实人类抓取时腕部的轨迹数据DexYCB生成轨迹模式数据集，基于抓取姿态数据集和轨迹模式数据集，在IsaacGym构建仿真环境，用于学习假肢手动作幅度与残差模块。
训练假肢手动作幅度与残差模块过程中的奖励函数设置如下，
其中I为指示函数，即抓取成功，值为1，抓取失败时，值为0；△h为物体抓取后的高度与抓取前高度的差值。
当检测到假肢手关节扭矩大于设定阈值时，则将对应关节的相对运动角度α t 设为0。
假肢手动作执行模块。假肢手行模块将当前(t时刻)各关节的相对运动角度α t 和当前假肢手关节状态J t 结合得到当前目标关节状态Jtarget t ，Jtarget t =J t +α t ，将当前目标关节状态Jtarget t 输入至控制器。
（五）控制器，所述控制器根据假肢手动作预测模块的预测结果，即目标关节状态Jtarget t ，控制假肢手对物体进行抓取。
实施例二：
一种利用实施例一所述智能假肢系统的控制方法
包括如下步骤：
步骤1：RGB和Depth数据采集装置获取环境和假肢手的视觉信息；
步骤2：物体感知模块根据环境视觉信息感知物体的点云信息，假肢手感知模块用于根据假肢手视觉信息估计假肢手腕部的6D姿态；
步骤3：动作梯度预测模块根据物体的点云信息、假肢手腕部的6D姿态和假肢手关节状态J，预测假肢手动作梯度α p ，假肢手关节状态J实时通过控制器从假肢手获得；动作幅度与残差预测模块根据假肢手动作梯度、物体的点云信息、假肢手关节状态J、假肢手腕部最近n步的6D姿态轨迹，预测假肢手动作梯度的幅度α s 和残差α r ；
步骤4：控制器根据假肢手动作预测模块的预测结果，控制假肢手对物体进行抓取。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (8)
1.一种智能假肢系统，其特征在于，包括：
假肢手，所述假肢手用于执行对物体抓取；
RGB和Depth数据采集装置，所述RGB和Depth数据采集装置用于获取环境和假肢手的视觉信息；
物体感知模块和假肢手感知模块，所述物体感知模块用于根据环境视觉信息感知物体的点云信息，所述假肢手感知模块用于根据假肢手视觉信息估计假肢手腕部的6D姿态；
假肢手动作预测模块，所述假肢手动作预测模块包括动作梯度预测模块和动作幅度与残差预测模块，所述动作梯度预测模块用于根据物体的点云信息、假肢手腕部的6D姿态和假肢手关节状态J，预测假肢手动作梯度α p ，所述动作幅度与残差预测模块用于根据假肢手动作梯度、物体的点云信息、假肢手关节状态J、假肢手腕部最近n 步的6D姿态轨迹，预测假肢手动作梯度的幅度α s 和残差α r ；
控制器，所述控制器根据假肢手动作预测模块的预测结果，控制假肢手对物体进行抓取；
假肢手动作预测模块中，将假肢手关节动作梯度α p 与幅度α s 和残差α r 相结合得到当前假肢手各关节的相对运动角度α t , ，式中，⊙为哈达玛积；包括假肢手动作执行模块，假肢手执行模块将当前各关节的相对运动角度α t 和当前假肢手关节状态J t 结合得到当前目标关节状态Jtarget t ，Jtarget t =J t +α t ，将当前目标关节状态Jtarget t 输入至控制器。
2.根据权利要求1所述的智能假肢系统，其特征在于：动作梯度预测模块通过扩散模型预测假肢手动作梯度α p ；动作幅度与残差预测模块通过强化学习模型预测假肢手动作梯度的幅度α s 和残差α r 。
3.根据权利要求1所述的智能假肢系统，其特征在于：RGB和Depth数据采集装置采用RGB-D相机；物体感知模块基于RGB-D相机采集抓取初始化时的场景点云信息，通过点云分割模型分割场景点云，得到物体的部分点云数据。
4.根据权利要求1所述的智能假肢系统，其特征在于：假肢手感知模块通过姿态预测网络实时估计假肢手腕部的6D姿态b=[b p , b q ] 其中b p 为假肢手腕部的三维坐标， b q 为假肢手腕部的四元数。
5.根据权利要求1所述的智能假肢系统，其特征在于：假肢手动作预测模块的学习在仿真环境中进行，基于假肢手模型和多样的物体模型使用抓取位姿生成算法生成不同物体不同区域的抓取姿态数据集，用于学习动作梯度预测模块；基于真实人类抓取时腕部的轨迹数据生成轨迹模式数据集，基于抓取姿态数据集和轨迹模式数据集，用于学习假肢手动作幅度与残差模块。
6.根据权利要求5所述的智能假肢系统，其特征在于：训练假肢手动作幅度与残差模块过程中的奖励函数设置如下，
其中I为指示函数，即抓取成功，值为1，抓取失败时，值为0；△h为物体抓取后的高度与抓取前高度的差值。
7.根据权利要求1所述的智能假肢系统，其特征在于：当检测到假肢手关节扭矩大于设定阈值时，则将对应关节的相对运动角度α t 设为0。
8.一种利用权利要求1至7任何一项所述智能假肢系统的控制方法，其特征在于，包括如下步骤：
步骤1：RGB和Depth数据采集装置获取环境和假肢手的视觉信息；
步骤2：物体感知模块根据环境视觉信息感知物体的点云信息，假肢手感知模块用于根据假肢手视觉信息估计假肢手腕部的6D姿态；
步骤3：动作梯度预测模块根据物体的点云信息、假肢手腕部的6D姿态和当前假肢手关节状态J，预测假肢手动作梯度α p ，假肢手关节状态J实时通过控制器从假肢手获得；动作幅度与残差预测模块根据假肢手动作梯度、物体的点云信息、当前假肢手关节状态J、假肢手腕部最近n 步的6D姿态轨迹，预测假肢手动作梯度的幅度α s 和残差α r ；
步骤4：控制器根据假肢手动作预测模块的预测结果，控制假肢手对物体进行抓取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311361885.3A CN117084835B (zh) | 2023-10-20 | 2023-10-20 | 智能假肢系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311361885.3A CN117084835B (zh) | 2023-10-20 | 2023-10-20 | 智能假肢系统及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117084835A CN117084835A (zh) | 2023-11-21 |
| CN117084835B true CN117084835B (zh) | 2024-03-12 |
Family
ID=88770241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311361885.3A Active CN117084835B (zh) | 2023-10-20 | 2023-10-20 | 智能假肢系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117084835B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110221690A (zh) * | 2019-05-13 | 2019-09-10 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
| CN110991268A (zh) * | 2019-11-13 | 2020-04-10 | 华中科技大学 | 一种基于深度图像的帕金森手部运动量化分析方法和系统 |
| CN113561172A (zh) * | 2021-07-06 | 2021-10-29 | 北京航空航天大学 | 一种基于双目视觉采集的灵巧手控制方法及装置 |
| CN113952091A (zh) * | 2021-12-06 | 2022-01-21 | 福州大学 | 一种多传感器融合的假肢手抓握力反馈控制方法 |
| WO2023000119A1 (zh) * | 2021-07-17 | 2023-01-26 | 华为技术有限公司 | 手势识别方法、装置、系统及车辆 |
| EP4155036A1 (en) * | 2021-09-24 | 2023-03-29 | Toyota Jidosha Kabushiki Kaisha | A method for controlling a grasping robot through a learning phase and a grasping phase |
| CN115958605A (zh) * | 2023-01-09 | 2023-04-14 | 成都理工大学 | 单目红外热成像视觉机械手抓取物体姿态估计装置及方法 |
| CN116236328A (zh) * | 2023-02-22 | 2023-06-09 | 中国科学院沈阳自动化研究所 | 基于视觉的可实现自然抓取的智能假肢系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220402125A1 (en) * | 2020-06-09 | 2022-12-22 | Naver Labs Corporation | System and method for determining a grasping hand model |
-
2023
- 2023-10-20 CN CN202311361885.3A patent/CN117084835B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110221690A (zh) * | 2019-05-13 | 2019-09-10 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
| CN110991268A (zh) * | 2019-11-13 | 2020-04-10 | 华中科技大学 | 一种基于深度图像的帕金森手部运动量化分析方法和系统 |
| CN113561172A (zh) * | 2021-07-06 | 2021-10-29 | 北京航空航天大学 | 一种基于双目视觉采集的灵巧手控制方法及装置 |
| WO2023000119A1 (zh) * | 2021-07-17 | 2023-01-26 | 华为技术有限公司 | 手势识别方法、装置、系统及车辆 |
| EP4155036A1 (en) * | 2021-09-24 | 2023-03-29 | Toyota Jidosha Kabushiki Kaisha | A method for controlling a grasping robot through a learning phase and a grasping phase |
| CN113952091A (zh) * | 2021-12-06 | 2022-01-21 | 福州大学 | 一种多传感器融合的假肢手抓握力反馈控制方法 |
| CN115958605A (zh) * | 2023-01-09 | 2023-04-14 | 成都理工大学 | 单目红外热成像视觉机械手抓取物体姿态估计装置及方法 |
| CN116236328A (zh) * | 2023-02-22 | 2023-06-09 | 中国科学院沈阳自动化研究所 | 基于视觉的可实现自然抓取的智能假肢系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117084835A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11069148B2 (en) | Visualization of reconstructed handstate information | |
| Cipriani et al. | Online myoelectric control of a dexterous hand prosthesis by transradial amputees | |
| Shi et al. | Computer vision-based grasp pattern recognition with application to myoelectric control of dexterous hand prosthesis | |
| Ma et al. | Hand rehabilitation learning system with an exoskeleton robotic glove | |
| US20200323658A1 (en) | Systems And Methods For Postural Control Of A Multi-Function Prosthesis | |
| Zeng et al. | A natural hand gesture system for intelligent human-computer interaction and medical assistance | |
| Mouchoux et al. | Artificial perception and semiautonomous control in myoelectric hand prostheses increases performance and decreases effort | |
| He et al. | Development of distributed control system for vision-based myoelectric prosthetic hand | |
| Borisov et al. | Prototyping of EMG-controlled prosthetic hand with sensory system | |
| Bu et al. | A semi-automatic control method for myoelectric prosthetic hand based on image information of objects | |
| Castro et al. | Continuous semi-autonomous prosthesis control using a depth sensor on the hand | |
| CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
| WO2022262220A1 (zh) | 一种基于振动的假肢手力位信息反馈系统及方法 | |
| Legrand et al. | Movement-based control for upper-limb prosthetics: Is the regression technique the key to a robust and accurate control? | |
| CN116236328A (zh) | 基于视觉的可实现自然抓取的智能假肢系统 | |
| Rho et al. | Multiple hand posture rehabilitation system using vision-based intention detection and soft-robotic glove | |
| Zandigohar et al. | Multimodal fusion of emg and vision for human grasp intent inference in prosthetic hand control | |
| Song et al. | Visual servoing for a user's mouth with effective intention reading in a wheelchair-based robotic arm | |
| CN113262088B (zh) | 一种具有力反馈的多自由度混合控制假肢手及控制方法 | |
| Xiong et al. | Intuitive Human-Robot-Environment Interaction With EMG Signals: A Review | |
| CN117084835B (zh) | 智能假肢系统及控制方法 | |
| Han et al. | Classifications of dynamic EMG in hand gesture and unsupervised grasp motion segmentation | |
| CN111897415A (zh) | 基于肌电信号和变刚度控制的虚拟假手柔顺直观控制方法 | |
| Soares et al. | Virtual and augmented reality: A new approach to aid users of myoelectric prostheses | |
| Bien et al. | Blend of soft computing techniques for effective human–machine interaction in service robotic systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |