CN114037738A - 一种人类视觉驱动的上肢辅助机器人控制方法 - Google Patents

一种人类视觉驱动的上肢辅助机器人控制方法 Download PDF

Info

Publication number
CN114037738A
CN114037738A CN202111369171.8A CN202111369171A CN114037738A CN 114037738 A CN114037738 A CN 114037738A CN 202111369171 A CN202111369171 A CN 202111369171A CN 114037738 A CN114037738 A CN 114037738A
Authority
CN
China
Prior art keywords
user
intention
upper limb
eye tracker
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111369171.8A
Other languages
English (en)
Inventor
黄剑
杨博
李肖
涂细凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Sanlu Intelligent Technology Co ltd
Original Assignee
Hubei Sanlu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Sanlu Intelligent Technology Co ltd filed Critical Hubei Sanlu Intelligent Technology Co ltd
Priority to CN202111369171.8A priority Critical patent/CN114037738A/zh
Publication of CN114037738A publication Critical patent/CN114037738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明适用于辅助机器人控制领域，提供一种人类视觉驱动的上肢辅助机器人控制方法，所述方法包括：3D注视点估计步骤、头部姿态估计步骤、基于注视的意图识别步骤、时序意图优化步骤以及执行步骤。本发明方法结合了人工智能机器学习技术和人类的行为规律，利用深度神经网络提取注视和意图之间的内在关系并进行意图识别，在获得注视点位置信息和抓握意图信息之后，辅助机器人利用注视完成轨迹规划并实现辅助功能。

Description

一种人类视觉驱动的上肢辅助机器人控制方法
技术领域
本发明属于辅助机器人控制技术领域，尤其涉及一种人类视觉驱动的上肢辅助机器人控制方法。
背景技术
上肢功能是人类日常生活中的一项重要能力，但是一些老年人或者上肢功能损伤的人群上肢功能受到限制，无法独立完成抓握等日常功能。辅助机器人是一种补偿和增强人体上肢功能的方案。为了能够有效的利用这些辅助机器人，需要一种有效的辅助机器人控制方法，能够实现：1.有效识别用户抓握意图，判断用户的动作并执行；2.能够准确定位用户目标的位置，并且完成抓握。
目前常用的上肢辅助机器人控制方案包括基于肌电图(EMG)控制方法、基于脑电图控制(EEG)方法以及基于其他肢体动作的方法。其中EMG方法/EEG方法是利用肌电图/脑电图识别用户的运动意图，例如识别不同的手势和不同的抓握动作，然后将识别的结果用于控制智能假肢等辅助设备完成动作，这类方法能够用于识别用户的抓握意图和动作意图。但是这类基于生理电信号的方法往往面临着噪声的干扰，生理电信号不准确和接受程度不高的问题。除此之外，这种方法仅能识别用户的动作意图并实现动作，但是无法定位目标的位置信息，无法给上肢辅助机器人传递目标的位置信息完成控制。基于肢体动作的方法利用用户的健康肢体来控制辅助机器人设备，例如利用脚来控制机器人的运动方向和动作。但是这种方法受限于人的健康肢体自由度，当控制一个机器人在空间中运动并实现抓握时，往往需要多个自由度的控制信号，这需要占用用户的大量健康肢体且难以实现。
人眼是人获取信息的主要手段，人眼的运动功能即使在严重的偏瘫患者中也能够保存。此外人的视觉能够定位目标的位置，反映人的意图并且引导手部运动。此外，对于用户来说，控制眼部运动相比于控制肢体的运动更为简单，所以利用人类视觉进行辅助机器人控制是一种行之有效的方案，而且能够明显提高控制效率，也具有更高的市场接受程度。
发明内容
鉴于上述问题，本发明的目的在于提供一种人类视觉驱动的上肢辅助机器人控制方法，旨在解决现有基于生理电信号和肢体动作的控制方法所存在的技术问题。
本发明采用如下技术方案：
所述人类视觉驱动的上肢辅助机器人控制方法基于眼动仪、深度相机以及九轴惯性传感器实现，所述控制方法包括下述步骤：
步骤S1、通过眼动仪获取用户的视线方向，用户的视线方向和深度相机拍摄点云的交点为用户的3D注视点；
步骤S2、通过九轴惯性传感器估计用户头部姿态，获取用户在不同头部姿态下的3D注视点坐标以及眼动仪的场景相机拍摄的场景图像；
步骤S3、将3D注视点坐标和场景图像作为输入，用户的抓握意图和抓握目标作为输出，训练意图识别神经网络；
步骤S4、将眼动仪实时输出的场景图像和3D注视点坐标输入至意图识别神经网络，得到连续的意图识别结果，将意图识别结果描述成一个序列，利用长短时记忆网络融合过去的意图识别结果和当前的意图识别结果以识别出当前用户最有可能的意图；
步骤S5、根据得到的用户最有可能的意图控制上肢辅助机器人在执行相应动作。
进一步的，所述深度相机转轴安装于眼动仪顶部，所述惯性传感器集成于所述眼动仪或深度相机。
进一步的，所述步骤S1具体过程如下：
在眼动仪场景相机坐标系中测量的用户视线上两个点的坐标，这两个点的连线为用户的视线方向；
利用深度相机和眼动仪场景相机之间的校准关系将场景相机坐标系下的用户视线方向从场景相机坐标系转换至深度相机坐标系，深度相机坐标系下的视线方向和深度相机拍摄点云的交点为用户的3D注视点。
进一步的，所述步骤S2中，通过九轴惯性传感器测量的加速度、角速度和磁场强度数据，得到系统状态方程和观测方程，利用卡尔曼滤波头部轨迹，得到用户头部姿态。
进一步的，所述步骤S3中，将场景图像经过目标检测和显著性检测输出显著性灰度图，将3D注视点坐标经过转化生成注视图，将显著性灰度图和注视图作为意图识别神经网络的输入。
进一步的，所述步骤S4中，所述长短时记忆网络的训练过程如下：利用当前意图识别结果和之前多个时刻的意图识别结果作为输入，用户的真实意图作为输出训练长短时记忆网络，
本发明的有益效果是：使用本发明方法，用户不需要进行训练，用户的视觉能够直接为上肢辅助机器人系统提供目标位置信息和用户的抓握意图；本方法结合了人工智能机器学习技术和人类的行为规律，利用深度神经网络提取注视和意图之间的内在关系并进行意图识别，在获得注视点位置信息和抓握意图信息之后，辅助机器人利用注视完成轨迹规划并实现辅助功能。
附图说明
图1是本发明实施例提供的人类视觉驱动的上肢辅助机器人控制方法的磁流程图；
图2是集成眼动仪、深度相机以及九轴惯性传感器的装置示意图；
图3是本发明实施例提供的3D注视估计示意图；
图4是本发明实施例提供的意图识别网络结构示意图；
图5是本发明实施例提供的时序融合意图模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在上肢辅助机器人的应用中，有效的人机交互方式和意图识别方式决定了设备的准确性和用户的舒适程度。目前用于上肢辅助机器人的控制方法主要包括基于生理电信号和肢体动作的方法。基于生理电信号的方法虽然能够有效的识别用户的抓握意图，但是无法提供目标的位置信息。而基于肢体动作的方法无法有效的控制多自由度的辅助机器人。而用户的视觉能够有效的提供目标的位置信息并潜在的反映抓握意图。所以发明提出了一种视觉驱动的上肢辅助机器人控制方案，可以解决现有基于生理电信号和肢体动作的控制方法所存在的问题。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的人类视觉驱动的上肢辅助机器人控制方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。
如图1所示，本实施例提供的人类视觉驱动的上肢辅助机器人控制方法包括下述步骤：
步骤S1、3D注视点估计步骤：通过眼动仪获取用户的视线方向，用户的视线方向和深度相机拍摄点云的交点为用户的3D注视点。
本发明实施例控制方法基于眼动仪(eye-tracker)、深度相机以及九轴惯性传感器实现，如图2所示，标记A、B、C分别是眼动仪、深度相机以及九轴惯性传感器(IMU)。其中深度相机B转轴安装于眼动仪A顶部，所述惯性传感器C集成于所述眼动仪A或深度相机B，图示中惯性传感器集成于眼动仪上。本实施例所述的眼动仪为双目眼动仪。
眼动仪能够提供基于场景相机的2D注视点坐标，但是缺乏物体的深度信息，所以需要能够获得物体信息位置的其他传感器。因此本发明将深度相机以及九轴惯性传感器与眼动仪进行结合，进行用户的3D注视点估计。
本步骤具体实现时，参照图3所示示意图。图中，Camera coordinate system为相机坐标系，Pixel coordinate system为像素坐标系，Image physical coordinate system为图像物理坐标系。G是相机坐标系下的3D注视点，Zc是场景相机的光轴，G'是在图像像素坐标系下的像素坐标。lg是G'和G之间的距离。本步骤包括下述过程：
S11、在眼动仪场景相机坐标系中测量的用户视线上两个点的坐标，这两个点的连线为用户的视线方向。
眼动仪测量的用户注视点的像素坐标为(pugi,pvgi)。用户的视线可以以两点形成的直线表示，可任选两个点，设定视线上的长度分别为0m和1m的两点为ep0，ep1。两点的坐标为：
Figure BDA0003361748090000051
ezg0＝0m,ezg1＝1m
其中
Figure BDA0003361748090000052
和
Figure BDA0003361748090000053
为眼动仪场景相机的x轴和y轴焦距，
Figure BDA0003361748090000054
表示图像的像素坐标点中心，γ是相机的畸变参数。
S12、利用深度相机和眼动仪场景相机之间的校准关系将场景相机坐标系下的用户视线方向从场景相机坐标系转换至深度相机坐标系，深度相机坐标系下的视线方向和深度相机拍摄点云的交点为用户的3D注视点。
深度相机和眼动仪场景相机之间的校准关系可以通过硬件设计测量，表示为
Figure BDA0003361748090000061
利用转换矩阵可以将视线方向从场景相机坐标系转换到深度相机坐标系：
Figure BDA0003361748090000062
其中，左上标表示坐标点所属坐标系，将两个点从场景相机坐标系转换到深度相机坐标系。
视线方向和深度相机拍摄点云的交点则为用户的3D注视点，表示为dpg。利用此方法，可以测量用户在相机坐标系的三维注视点坐标。
步骤S2、头部姿态估计步骤：通过九轴惯性传感器(IMU)估计用户头部姿态，获取用户在不同头部姿态下的3D注视点坐标以及眼动仪的场景相机拍摄的场景图像。
由于在步骤S1中所测量的用户3D注视点是位于深度相机坐标系的，而在眼动仪的使用过程中，随着用户头部的运动，用户的注视点在世界坐标系下会发生变化，因此本步骤需要对用户头部姿态进行估计。
在上肢辅助机器人应用场景中，用户头部佩戴包括双目眼动仪、深度相机和9轴IMU的集成设备。9轴IMU是磁力计、加速度计和陀螺仪的总称，可以测量磁场强度、加速度和角速度数据。
世界坐标系下，头部姿态以四元数表示：
x＝[Eqk]＝[q0,q1,q2,q3]
其中左上标E表示地球坐标系，则四元数的时域微分方程为：
Figure BDA0003361748090000063
Figure BDA0003361748090000064
其中wx,wy,wz为IMU测量的三轴角速度，其中b表示IMU本体坐标系，IMU设备出厂时已经进行设定，k表示采样的第k个时刻，下同。
因此可以构建系统的状态方程：
x(k)＝Ax(k-1)+o(k)
其中
Figure BDA0003361748090000071
o(k)表示系统的过程噪声，Δt是传感器采样周期，I是单位矩阵。
在IMU本体坐标系下重力加速度分量为：
Figure BDA0003361748090000072
其中
Figure BDA0003361748090000073
表示世界坐标系E和IMU本体坐标系b之间的旋转矩阵。|g|表示重力加速度在世界坐标系z轴(天空指向大地)下的绝对值。
则雅可比矩阵
Figure BDA0003361748090000074
则系统的观测方程1为：
macc(k)＝H1x(k)+v1(k)
macc表示加速度测量结果，v1(k)表示加速度测量噪声。
在IMU本体坐标系下磁场强度的分量为
Figure BDA0003361748090000075
|mag|表示磁力在世界坐标系下的测量值。
则雅可比矩阵
Figure BDA0003361748090000076
则系统的观测方程2为：
mmag(k)＝H2x(k)+v2(k)
mmag表示磁力计测量结果，v2(k)表示磁力测量噪声；
根据前述的四元数的时域微分方程可以建立起系统的状态方程，根据上述的两个雅可比矩阵可以建立起系统的两个观测方程。最后依据系统的状态方程和两个观测方程，可以利用两阶段卡尔曼滤波头部轨迹得到用户的头部姿态。
具体步骤如下：
1、计算系统先验状态估计
Figure BDA0003361748090000081
2、计算先验估计协方差
Figure BDA0003361748090000082
其中Q1是过程噪声协方差
3、计算H1(k)
4、计算卡尔曼增益
Figure BDA0003361748090000083
其中R1是测量噪声协方差
5、计算h1(k)
6、计算后验状态估计
Figure BDA0003361748090000084
7、计算后验误差估计协方差矩阵P1(k)＝(I-K1(k)H1(k))P-(k)
8、Mag测量结果采用相同方式实现，最后得到
Figure BDA0003361748090000085
在获得相机坐标系的3D注视点坐标和用户头部的姿态过后，就能够估计用户在头部任意运动下的3D注视点坐标，这个坐标能够为辅助机器人系统提供位置信息以进行抓握辅助。
步骤S3、基于注视的意图识别步骤：将3D注视点坐标和场景图像作为输入，用户的抓握意图和抓握目标作为输出，训练意图识别神经网络。
在获取目标的位置信息之后，需要判断用户是否对目标存在抓握意图，只有当存在抓握意图的情况下，辅助机器人才应当采取动作进行辅助。
本步骤利用3D注视点坐标和场景相机获取的场景图像作为输入，用户的抓握意图和抓握目标作为输出训练意图识别神经网络。识别神经网络网络的结构如图4所示：
场景图像经过目标检测和显著性检测输出显著性灰度图(图4中左上第一张图)，注视点经过转化生成注视图(图4中右上第一张图)。注视点转换为注视图的方法为：
设img为大小为W×H的图像，则：
Figure BDA0003361748090000091
Figure BDA0003361748090000092
其中(ugi,vgi)表示注视点的坐标，(x,y)表示图像的像素点。σ为设定的超参数，可以调整。
因为注视图和场景相机频率一致，因此一张注视图应当对应多个注视点，所以注视图gt为：
显著性灰度图直接采用现有的算法进行实现(Hou X,Zhang L.Saliencydetection:A spectral residual approach[C]//2007IEEE Conference on computervision and pattern recognition.Ieee,2007:1-8.)
生成的显著性灰度图和注视图作为意图识别神经网络的输入，真实意图作为输出，采用交叉熵损失函数，随机梯度下降法训练意图识别神经网络。在意图识别神经网络训练完成后，利用眼动仪实时输出的场景图像和注视点就能够实时判断用户的抓握目标和抓握意图。
步骤S4、意图时序优化步骤：将眼动仪实时输出的场景图像和3D注视点坐标输入至意图识别神经网络，得到连续的意图识别结果，将意图识别结果描述成一个序列，利用长短时记忆网络融合过去的意图识别结果和当前的意图识别结果以识别出当前用户最有可能的意图。
在上肢辅助应用中，人们的动作是连续的，需要能够有稳定的意图识别结果才能够有效的控制辅助机器人以完成抓握辅助任务，并非每个意图识别结果都会执行。
本步骤具体实现时，采用了一种针对意图的时序优化方法，具体将用户不同时刻的意图识别结果描述为一个序列，利用长短时记忆网络(LSTM)融合过去的意图识别结果和当前的意图识别结果以识别出当前用户最有可能的意图。
如图5所示：
利用当前意图识别结果和之前多个时刻的意图识别结果作为输入，用户的真实意图作为输出训练LSTM模型，在完成模型的训练之后，利用该模型融合意图的时序信息以进行意图识别。
利用这种方法能够有效的提升意图识别的稳定性，避免因突然的人类注视行为识别出错误的抓握意图，以影响意图识别的结果。
步骤S5、执行步骤：根据得到的用户最有可能的意图控制上肢辅助机器人在执行相应动作。
具体实现时，利用用户的3D注视点得到抓握目标，规划上肢辅助机器人的运动轨迹，以识别的抓握目标轨迹引导机器人进行运动，不需要采用复杂的算法生成机械臂的运动轨迹，当机器人根据用户视觉运动到目标位置后，利用基于注视的抓握意图识别和时序优化识别用户的抓握意图并完成抓握动作。
在本发明方案中，将深度相机和IMU结合至眼动仪中，提供了一种测量用户的3D注视点的方法，而且可将注视点转换成注视图，解决了注视点和图像无法同时用于训练网络的问题，同时提出了一种利用目标检测和显著性检测的场景显著性灰度图检测方法，结合意图识别网络模型实现了基于注视的意图识别，能够实时识别用户的抓握意图和抓握目标、
另外，针对意图识别神经网络输出可能存在的不稳定的，用于控制机器人不安全的情况，本发明还提供了一种融合时序信息提升意图识别稳定性和精度的方法，保证识别准确度。最终实现了用注视点规划辅助机械臂/机器人运动轨迹，利用注视完成机械人运动轨迹规划并控制机器人抓握动作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种人类视觉驱动的上肢辅助机器人控制方法，其特征在于，所述控制方法基于眼动仪、深度相机以及九轴惯性传感器实现，所述控制方法包括下述步骤：
步骤S1、通过眼动仪获取用户的视线方向，用户的视线方向和深度相机拍摄点云的交点为用户的3D注视点；
步骤S2、通过九轴惯性传感器估计用户头部姿态，获取用户在不同头部姿态下的3D注视点坐标以及眼动仪的场景相机拍摄的场景图像；
步骤S3、将3D注视点坐标和场景图像作为输入，用户的抓握意图和抓握目标作为输出，训练意图识别神经网络；
步骤S4、将眼动仪实时输出的场景图像和3D注视点坐标输入至意图识别神经网络，得到连续的意图识别结果，将意图识别结果描述成一个序列，利用长短时记忆网络融合过去的意图识别结果和当前的意图识别结果以识别出当前用户最有可能的意图；
步骤S5、根据得到的用户最有可能的意图控制上肢辅助机器人在执行相应动作。
2.如权利要求1所述人类视觉驱动的上肢辅助机器人控制方法，其特征在于，所述深度相机转轴安装于眼动仪顶部，所述惯性传感器集成于所述眼动仪或深度相机。
3.如权利要求1所述人类视觉驱动的上肢辅助机器人控制方法，其特征在于，所述步骤S1具体过程如下：
在眼动仪场景相机坐标系中测量的用户视线上两个点的坐标，这两个点的连线为用户的视线方向；
利用深度相机和眼动仪场景相机之间的校准关系将场景相机坐标系下的用户视线方向从场景相机坐标系转换至深度相机坐标系，深度相机坐标系下的视线方向和深度相机拍摄点云的交点为用户的3D注视点。
4.如权利要求3所述人类视觉驱动的上肢辅助机器人控制方法，其特征在于，所述步骤S2中，通过九轴惯性传感器测量的加速度、角速度和磁场强度数据，得到系统状态方程和观测方程，利用卡尔曼滤波头部轨迹，得到用户头部姿态。
5.如权利要求4所述人类视觉驱动的上肢辅助机器人控制方法，其特征在于，所述步骤S3中，将场景图像经过目标检测和显著性检测输出显著性灰度图，将3D注视点坐标经过转化生成注视图，将显著性灰度图和注视图作为意图识别神经网络的输入。
6.如权利要求4所述人类视觉驱动的上肢辅助机器人控制方法，其特征在于，所述步骤S4中，所述长短时记忆网络的训练过程如下：利用当前意图识别结果和之前多个时刻的意图识别结果作为输入，用户的真实意图作为输出训练长短时记忆网络。
CN202111369171.8A 2021-11-18 2021-11-18 一种人类视觉驱动的上肢辅助机器人控制方法 Pending CN114037738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111369171.8A CN114037738A (zh) 2021-11-18 2021-11-18 一种人类视觉驱动的上肢辅助机器人控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111369171.8A CN114037738A (zh) 2021-11-18 2021-11-18 一种人类视觉驱动的上肢辅助机器人控制方法

Publications (1)

Publication Number Publication Date
CN114037738A true CN114037738A (zh) 2022-02-11

Family

ID=80138057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111369171.8A Pending CN114037738A (zh) 2021-11-18 2021-11-18 一种人类视觉驱动的上肢辅助机器人控制方法

Country Status (1)

Country Link
CN (1) CN114037738A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671084A (zh) * 2016-12-20 2017-05-17 华南理工大学 一种基于脑机接口的机械臂自主辅助系统及方法
CN109782902A (zh) * 2018-12-17 2019-05-21 中国科学院深圳先进技术研究院 一种操作提示方法及眼镜
CN110032278A (zh) * 2019-03-29 2019-07-19 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN110605714A (zh) * 2019-08-06 2019-12-24 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN111652155A (zh) * 2020-06-04 2020-09-11 北京航空航天大学 一种人体运动意图的识别方法及系统
CN112800815A (zh) * 2019-11-13 2021-05-14 北京卡尔斯通科技有限公司 一种基于深度学习的视线方向估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671084A (zh) * 2016-12-20 2017-05-17 华南理工大学 一种基于脑机接口的机械臂自主辅助系统及方法
CN109782902A (zh) * 2018-12-17 2019-05-21 中国科学院深圳先进技术研究院 一种操作提示方法及眼镜
CN110032278A (zh) * 2019-03-29 2019-07-19 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN110605714A (zh) * 2019-08-06 2019-12-24 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN112800815A (zh) * 2019-11-13 2021-05-14 北京卡尔斯通科技有限公司 一种基于深度学习的视线方向估计方法
CN111652155A (zh) * 2020-06-04 2020-09-11 北京航空航天大学 一种人体运动意图的识别方法及系统

Similar Documents

Publication Publication Date Title
Wilson et al. Formulation of a new gradient descent MARG orientation algorithm: Case study on robot teleoperation
Ubeda et al. Wireless and portable EOG-based interface for assisting disabled people
Roetenberg Inertial and magnetic sensing of human motion
Kortier et al. Hand pose estimation by fusion of inertial and magnetic sensing aided by a permanent magnet
Santaera et al. Low-cost, fast and accurate reconstruction of robotic and human postures via IMU measurements
CN111631923A (zh) 基于意图识别的外骨骼机器人的神经网络控制系统
CN105962879A (zh) 胶囊内窥镜的位姿控制系统、控制方法及胶囊内窥镜
CN110125909B (zh) 一种多信息融合人体外骨骼机器人控制保护系统
CN109243575B (zh) 一种基于移动交互和增强现实的虚拟针灸方法及系统
Martin et al. A novel approach of prosthetic arm control using computer vision, biosignals, and motion capture
Karunarathne et al. An adaptive complementary filter for inertial sensor based data fusion to track upper body motion
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
Zhou et al. Limbmotion: Decimeter-level limb tracking for wearable-based human-computer interaction
Zhang et al. Fine-grained and real-time gesture recognition by using IMU sensors
Yahya et al. Accurate shoulder joint angle estimation using single RGB camera for rehabilitation
Al Bakri et al. Intelligent exoskeleton for patients with paralysis
Yu et al. End-side gesture recognition method for UAV control
US20220001547A1 (en) Information processing device, information processing method, and program
Fang et al. Wearable technology for robotic manipulation and learning
Song et al. Assistive mobile robot with shared control of brain-machine interface and computer vision
CN116869770A (zh) 一种双机协作上肢康复机器人的控制方法及系统
Ángel-López et al. Kinematic hand analysis using motion capture technology
CN114037738A (zh) 一种人类视觉驱动的上肢辅助机器人控制方法
Jin et al. Human-robot interaction for assisted object grasping by a wearable robotic object manipulation aid for the blind
WO2019152566A1 (en) Systems and methods for subject specific kinematic mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination