CN113117295B - 一种基于手部识别的脑认知康复机器人系统及训练方法 - Google Patents

一种基于手部识别的脑认知康复机器人系统及训练方法 Download PDF

Info

Publication number
CN113117295B
CN113117295B CN202110436781.9A CN202110436781A CN113117295B CN 113117295 B CN113117295 B CN 113117295B CN 202110436781 A CN202110436781 A CN 202110436781A CN 113117295 B CN113117295 B CN 113117295B
Authority
CN
China
Prior art keywords
gesture
patient
recognition
hand
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110436781.9A
Other languages
English (en)
Other versions
CN113117295A (zh
Inventor
赵萍
陈泽麟
成凯
滕志强
杨天乐
钱新晨
蔡梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110436781.9A priority Critical patent/CN113117295B/zh
Publication of CN113117295A publication Critical patent/CN113117295A/zh
Application granted granted Critical
Publication of CN113117295B publication Critical patent/CN113117295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Rehabilitation Tools (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于手部识别的脑认知康复机器人系统及训练方法，其中所述康复机器人系统，包括摄像头模块、处理器模块、显示器模块、舵机模块以及机械臂，所述摄像头模块安装在机械臂末端，用于捕捉患者输入的手势图像信息并上传至处理器模块，处理器模块通过内部算法完成对所述手势图像处理和手势识别，并将手势识别的过程及结果显示在显示器上，所述机械臂与舵机模块连接，系统具有自动定位识别功能，能自动定位识别患者手部位置所在并调整摄像头位置捕捉到患者完整的手部图像，具有人机交互性强、训练范围广的效果，能够节省人力物力，人性化且兼具趣味性，具有很好的应用前景。

Description

一种基于手部识别的脑认知康复机器人系统及训练方法
技术领域
本发明涉及康复治疗技术领域，具体涉及一种基于手部识别的脑认知康复机器人系统及训练方法。
背景技术
随着医疗技术的发展和进步，许多新的疾病被人类重新定义和研究。认知功能障碍就是其中之一。为了让患有这种疾病的病人得到更好的治疗和有效的康复，医疗机构往往通过一些益智康复训练（如迷宫测试，积木训练等）来帮助患者进行神经和肢体协调的康复；但是在这样的康复过程中，通常每一位患者都需要全过程有医生或者护士的陪同和指导，才能够得到有效的治疗。
伴随着机器人产业的发展，机器人在医疗康复领域的应用愈发广发，机器人辅助康复也实现了从理论到现实的跨进；如今越来越多的创新企业正在探索和研发应用于医疗康复的机器人新产品；现有的脑康复仪器往往存在功能单一、交互性弱的不足之处，且大都需要医护人员进行辅助管理和操作，耗费人力物力。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于手部识别的脑认知康复机器人系统及训练方法，通过机器视觉和手势识别辅助实现康复训练，且能够根据患者手部位置进行自动定位识别，具有人机交互性强、训练范围广、治疗效果好的特点，使脑康复治疗更加多元化、人性化且兼具趣味性，节约了人力物力。
为了达到上述目的，本发明所采用的技术方案是：
一种基于手部识别的脑认知康复机器人系统，包括摄像头模块、处理器模块、显示器模块、舵机模块以及机械臂，其中，摄像头模块、显示器模块、舵机模块分别与处理器模块连接，所述处理器模块连接手部动作数据库，并在所述显示器模块上呈现需要患者完成的手势动作，所述摄像头模块安装在机械臂末端，用于捕捉患者输入的手势图像信息并上传至处理器模块，处理器模块通过内部算法完成对所述手势图像的预处理、手势分割、手势建模、手势形状特征提取和手势识别，并将手势识别的过程及结果显示在显示器模块上，所述机械臂与舵机模块连接，能够在舵机模块的驱动下进行角度和位置的调整，当康复患者无法自主的将手部动作完全呈现在摄像头模块的摄像头前，使得摄像头只能捕捉到患者输入的部分手部图像时，系统能够根据患者输入的部分手部图像在显示器画面上识别区域中的位置，自动定位识别患者的手部形状中心所在，并通过逻辑运算将位置偏差转换为PWM信号输出给舵机模块，驱动机械臂带动摄像头进行位置调整，使患者的手部动作能够完全呈现在屏幕范围之内，进而进行康复训练。
进一步地，所述处理器模块将手部训练动作根据难度分为简单、中等和困难三种等级，能够根据患者的治疗方案进行训练项目的切换，并能在训练完成后将患者无法完成的手势进行汇总，从而进行康复训练方案的调整。
进一步地，所述识别区域在显示器模块的画面上为矩形框定位识别区域，患者进行手势输入时，在该矩形框中会有多边形框出手部轮廓，手势识别结果在显示器模块的右上方显示。
进一步地，对手势图像的预处理包括灰度化处理和颜色空间转换，其中灰度化处理采用加权平均值算法进行处理。
进一步地，手势分割采用二维Otsu算法，通过缩小最佳阈值的搜索范围来降低时间复杂度，并利用仿生学原理“积周比”判断是否为手势区域。
进一步地，自动定位识别过程中，利用凸包算法中心点的确定，通过舵机模块带动机械臂实现摄像头机位的调整。
进一步地，所述机械臂为六自由度机械臂。
根据前述的一种基于手部识别的脑认知康复机器人系统进行脑认知康复的训练方法，包括以下步骤：
（1）患者就坐在脑康复训练系统前方，根据显示器所显示的手势图形，在摄像头前用手做出规定动作，系统通过摄像头获取患者输入的手势图像并上传至处理器模块；
（2）处理器模块通过内部算法完成对患者输入的所述手势图像的预处理、手势分割、手势建模、手势形状特征提取和手势识别，具体包括将手势图像进行灰度化处理，将灰度化处理过后的手势图像进行颜色空间的转换，确保人类肤色聚类最佳效果，最后将处理好的图片利用二维OTSU阈值分割算法进行图像处理，并利用仿生学原理“积周比”判断是否为手势区域；
（3）在显示器画面上显示手势识别结果，其中显示器画面上有矩形框定位识别区域，在该矩形框中会有多边形框出手部轮廓，右上方会显示对应的识别结果，在每次训练完成后系统将患者无法完成的手势进行汇总，以便于进行康复训练方案的调整；
其中，当患者无法自主的将手部动作完全呈现在摄像头前，摄像头只能捕捉到患者的部分手部图像时，系统能够根据患者输入的部分手部图像在识别区域中的位置，通过自动定位识别功能，综合调整机械臂的角度动作进行摄像头的位置调整，使患者的手部动作能够完全呈现在屏幕范围之内。
所述自动定位识别功能的具体过程为，在显示器屏幕中心点拟建立平面坐标系，利用Graham扫描法（凸包算法）获得的几何中心距限定在以屏幕中心为原点，半径为1/2屏幕边框的范围内，若患者输入的手势图像的手掌中心在此范围之内，则进行手部识别训练，若手掌中心不在此范围之内，系统将位移偏差值转换为PWM信号输出给舵机模块，通过舵机模块控制机械臂各个关节处的角度，使几何中心距调整到屏幕中央范围之内，进而进行手部康复训练。
有益效果：本发明的脑认知康复机器人系统，相比现有技术，增加了手部识别功能，利用机器视觉和手部识别技术，制定相应的康复治疗方案，通过规定的手势动作，引导患者做出相应手势进行脑康复治疗，并能够将训练结果反馈给患者，具有结构简单、人机交互性强、趣味性高、训练范围广的效果，在手势图像识别处理过程中，灰度化处理采用了精准度更高的加权平均值算法，提高了图片识别效率，在阈值分割处理方面，用最新的二维Otsu算法，代替了原有的一维Otsu算法，使图片处理效果更完善，。
本发明的脑认知康复机器人系统，设有机械臂和舵机模块，开发了自动定位识别功能，考虑到患者手部运动功能受限的特殊情况，在康复训练过程中，系统可根据患者手部所在位置，自动定位识别患者手部位置所在，并驱动舵机模块带动机械臂调整摄像头的位置和角度，进而保证摄像头能够捕捉到完整的手部图像，能够极大地方便患者自主进行训练，避免频繁需要看护人员调整或协调，无需患者费力配合摄像头所在位置，能够节省人力物力，人性化且兼具趣味性。
附图说明
图1 为本发明脑认知康复机器人系统的原理框图；
图2 为本发明脑认知康复机器人系统的结构示意图。
附图标记： 1、显示器，2、机械臂，3、摄像头。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1和2所示，一种基于手部识别的脑认知康复机器人系统，包括摄像头模块、处理器模块、显示器模块、舵机模块以及机械臂，其中，摄像头模块、显示器模块、舵机模块分别与处理器模块连接，显示器模块包括显示器1，摄像头模块包括摄像头3，所述处理器模块连接手部动作数据库，并在所述显示器模块上呈现需要患者完成的手势动作，所述摄像头模块安装在机械臂2末端，用于捕捉患者输入的手势图像信息并上传至处理器模块，处理器模块通过内部算法完成对所述手势图像的预处理、手势分割、手势建模、手势形状特征提取和手势识别，并将手势识别的过程及结果显示在显示器1上，在显示器1的画面上设有矩形框定位识别区域，患者进行手势输入时，在该矩形框中会有多边形框出手部轮廓，手势识别结果在显示器模块的右上方显示。
所述机械臂2与舵机模块连接，能够在舵机模块的驱动下进行角度和位置的调整，当康复患者无法自主的将手部动作完全呈现在摄像头模块的摄像头3前，使得摄像头3只能捕捉到患者输入的部分手部图像时，系统能够根据患者输入的部分手部图像在识别区域中的位置，自动定位识别患者的手部形状中心所在，并通过逻辑运算将位置偏差转换为PWM信号输出给舵机模块，驱动机械臂2带动摄像头3进行位置调整，使患者的手部动作能够完全呈现在屏幕范围之内，进而进行康复训练。
具体地，本系统以Jetson nano作为主控制芯片，机械臂采用六自由度机械臂。
所述处理器模块连接了全面的手部动作数据库，并将手部训练动作根据难度分为简单、中等和困难三种等级，是患者能够进行多重训练，不同的患者可制定不同的康复治疗方案，系统能够根据患者的治疗方案进行训练项目的切换，并能在训练完成后将患者无法完成的手势进行汇总，将训练结果进行评价并反馈给患者，方便进行康复训练方案的调整。
使用本发明的脑认知康复机器人系统进行脑认知康复训练时，包括以下步骤：
（1）患者就坐在脑康复训练系统前方，根据显示器所显示的手势图形，在摄像头前用手做出规定动作，系统通过摄像头获取患者输入的手势图像并上传至处理器模块，并在显示器的画面上进行显示；
（2）处理器模块通过内部算法完成对患者输入的所述手势图像的预处理、手势分割、手势建模、手势形状特征提取和手势识别，具体包括将手势图像进行灰度化处理，将灰度化处理过后的手势图像进行颜色空间的转换，确保人类肤色聚类最佳效果，最后将处理好的图片利用二维Otsu阈值分割算法进行图像处理，并利用仿生学原理“积周比”判断是否为手势区域；
其中，灰度化处理的实现方式有分量法、最大值法、平均值法、加权平均法，考虑到手部识别过程当中可能会因为其他干扰图像，让判别手势产生误差，本发明使用的是高精准度的加权平均值算法，之后将灰度化处理过后的图片进行颜色空间的转换，确保人类肤色聚类最佳效果。
本发明提出的二维Otsu算法在保证肤色分割质量的前提下，对原有一维Otsu算法进行改进，以获得更低的时间复杂度，改进的主要思想是通过缩小最佳阈值的搜索范围来降低时间复杂度。
（3）在显示器画面上显示手势识别结果，其中显示器画面上有矩形框定位识别区域，在该矩形框中会有多边形框出手部轮廓，右上方会显示对应的识别结果，在每次训练完成后系统将患者无法完成的手势进行汇总，以便于进行康复训练方案的调整。
本发明的脑康复机器人系统具有自动定位识别功能，当患者无法自主的将手部动作完全呈现在摄像头3前，摄像头3只能捕捉到患者的部分手部图像时，系统能够根据患者输入的部分手部图像在识别区域中的位置，通过自动定位识别功能，综合调整机械臂2的角度动作进行摄像头3的位置调整，使患者的手部动作能够完全呈现在屏幕范围之内。
所述自动定位识别功能的具体过程为，在显示器屏幕中心点拟建立平面坐标系，利用Graham扫描法（凸包算法）获得的几何中心距限定在以屏幕中心为原点，半径为1/2屏幕边框的范围内，若患者输入的手势图像的手掌中心在此范围之内，则进行手部识别训练，若手掌中心不在此范围之内，系统将位移偏差值转换为PWM信号输出给舵机模块，通过舵机模块控制机械臂各个关节处的角度，使几何中心距调整到屏幕中央范围之内，进而进行手部康复训练。
当识别区域没有放入手进行识别时，显示器画面静止，当患者的手势并没有完全被摄像头录入到系统当中时，系统可以通过寻找几何中心距的位置，并将位置偏差转换为PWM信号，通过控制机械臂各个关节处的角度，使几何中心距保持在屏幕中央范围之内，进而进行手部康复训练。
例如，患者的手部图像出现在屏幕的左下角，那么系统会自动判定患者手部形状的几何中心，并将位置偏差信号转换为PWM信号输出给舵机模块，以患者的视角来看， 舵机模块控制机械臂向右下角方向偏转，进而使摄像头能够捕捉到患者完整的手部图像。
本发明的脑康复机器人增加了手部识别系统，连接了全面的手部动作数据库，从而达到功能多样化、人机交互性强，训练范围广，治疗效果好的目的。
在手部识别方面，灰度化处理采用了精准度更高的加权平均值算法，提高了图片识别效率，在阈值分割处理方面，用最新的二维Otsu算法，代替了原有的一维Otsu算法，使图片处理效果更完善、速度更快。利用凸包算法中心点的确定，带动六自由度机械臂实现摄像头机位的调整，实现自动定位识别功能，节省人力物力，方便康复患者进行自主训练。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于手部识别的脑认知康复机器人系统，其特征在于，包括摄像头模块、处理器模块、显示器模块、舵机模块以及机械臂，其中，摄像头模块、显示器模块、舵机模块分别与处理器模块连接，所述处理器模块连接手部动作数据库，并在所述显示器模块上呈现需要患者完成的手势动作，所述摄像头模块安装在机械臂末端，用于捕捉患者输入的手势图像信息并上传至处理器模块，处理器模块通过内部算法完成对所述手势图像的预处理、手势分割、手势建模、手势形状特征提取和手势识别，并将手势识别的过程及结果显示在显示器模块上，所述机械臂与舵机模块连接，能够在舵机模块的驱动下进行角度和位置的调整，当康复患者无法自主的将手部动作完全呈现在摄像头模块的摄像头前，使得摄像头只能捕捉到患者输入的部分手部图像时，系统能够根据患者输入的部分手部图像在显示器画面上识别区域中的位置，利用凸包算法中心点的确定，自动定位识别患者的手部形状中心所在，并通过逻辑运算将位置偏差转换为PWM信号输出给舵机模块，驱动机械臂带动摄像头进行角度和位置调整，使患者的手部动作能够完全呈现在屏幕范围之内，进而进行康复训练。
2.如权利要求1所述的一种基于手部识别的脑认知康复机器人系统，其特征在于，所述处理器模块将手部训练动作根据难度分为简单、中等和困难三种等级，能够根据患者的治疗方案进行训练项目的切换，并能在训练完成后将患者无法完成的手势进行汇总，从而进行康复训练方案的调整。
3.如权利要求1所述的一种基于手部识别的脑认知康复机器人系统，其特征在于，所述识别区域在显示器模块的画面上为矩形框定位识别区域，患者进行手势输入时，在该矩形框中会有多边形框出手部轮廓，手势识别结果在显示器模块的右上方显示。
4.如权利要求1所述的一种基于手部识别的脑认知康复机器人系统，其特征在于，对手势图像的预处理包括灰度化处理和颜色空间转换，其中灰度化处理采用加权平均值算法进行处理。
5.如权利要求1所述的一种基于手部识别的脑认知康复机器人系统，其特征在于，手势分割采用二维Otsu算法，通过缩小最佳阈值的搜索范围来降低时间复杂度，并利用仿生学原理“积周比”判断是否为手势区域。
6.如权利要求1所述的一种基于手部识别的脑认知康复机器人系统，其特征在于，所述机械臂为六自由度机械臂。
7.根据权利要求1所述的一种基于手部识别的脑认知康复机器人系统进行脑认知康复的训练方法，其特征在于，包括以下步骤：
（1）患者就坐在脑康复训练系统前方，根据显示器所显示的手势图形，在摄像头前用手做出规定动作，系统通过摄像头获取患者输入的手势图像并上传至处理器模块；
（2）处理器模块通过内部算法完成对患者输入的所述手势图像的预处理、手势分割、手势建模、手势形状特征提取和手势识别，具体包括将手势图像进行灰度化处理，将灰度化处理过后的手势图像进行颜色空间的转换，确保人类肤色聚类最佳效果，最后将处理好的图片利用二维OTSU阈值分割算法进行图像处理，并利用仿生学原理“积周比”判断是否为手势区域；
（3）在显示器画面上显示手势识别结果，其中显示器画面上有矩形框定位识别区域，在该矩形框中会有多边形框出手部轮廓，右上方会显示对应的识别结果，在每次训练完成后系统将患者无法完成的手势进行汇总，以便于进行康复训练方案的调整；
其中，当患者无法自主的将手部动作完全呈现在摄像头前，摄像头只能捕捉到患者的部分手部图像时，系统能够根据患者输入的部分手部图像在识别区域中的位置，通过自动定位识别功能，综合调整机械臂的角度动作进行摄像头的位置调整，使患者的手部动作能够完全呈现在屏幕范围之内。
8.如权利要求7所述的脑认知康复的训练方法，其特征在于，所述自动定位识别功能的具体过程为，在显示器屏幕中心点拟建立平面坐标系，利用Graham扫描法获得的几何中心距限定在以屏幕中心为原点，半径为1/2屏幕边框的范围内，若患者输入的手势图像的手掌中心在此范围之内，则进行手部识别训练，若手掌中心不在此范围之内，系统将位移偏差值转换为PWM信号输出给舵机模块，通过舵机模块控制机械臂各个关节处的角度，使几何中心距调整到屏幕中央范围之内，进而进行手部康复训练。
CN202110436781.9A 2021-04-22 2021-04-22 一种基于手部识别的脑认知康复机器人系统及训练方法 Active CN113117295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436781.9A CN113117295B (zh) 2021-04-22 2021-04-22 一种基于手部识别的脑认知康复机器人系统及训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436781.9A CN113117295B (zh) 2021-04-22 2021-04-22 一种基于手部识别的脑认知康复机器人系统及训练方法

Publications (2)

Publication Number Publication Date
CN113117295A CN113117295A (zh) 2021-07-16
CN113117295B true CN113117295B (zh) 2022-07-15

Family

ID=76779125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436781.9A Active CN113117295B (zh) 2021-04-22 2021-04-22 一种基于手部识别的脑认知康复机器人系统及训练方法

Country Status (1)

Country Link
CN (1) CN113117295B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115547135A (zh) * 2022-07-25 2022-12-30 北方工业大学 一种基于视觉的航空医学应急救援训练引导装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898837A (zh) * 2015-05-22 2015-09-09 燕山大学 一种基于手势交互的便携式手部虚拟康复实验箱及方法
CN104978032A (zh) * 2015-07-08 2015-10-14 苏州奥莱维信息技术有限公司 一种基于手势识别的多媒体控制装置
CN111126280A (zh) * 2019-12-25 2020-05-08 华南理工大学 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN112619109A (zh) * 2020-11-27 2021-04-09 重庆电子工程职业学院 基于ar技术的康复训练系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10661148B2 (en) * 2017-09-22 2020-05-26 Rosa Mei-Mei Huang Dual motion sensor bands for real time gesture tracking and interactive gaming

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898837A (zh) * 2015-05-22 2015-09-09 燕山大学 一种基于手势交互的便携式手部虚拟康复实验箱及方法
CN104978032A (zh) * 2015-07-08 2015-10-14 苏州奥莱维信息技术有限公司 一种基于手势识别的多媒体控制装置
CN111126280A (zh) * 2019-12-25 2020-05-08 华南理工大学 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN112619109A (zh) * 2020-11-27 2021-04-09 重庆电子工程职业学院 基于ar技术的康复训练系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉感应的智能台灯设计;李宇翔等;《电子世界》;20200315;2 系统详细设计 *

Also Published As

Publication number Publication date
CN113117295A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
Barros et al. Real-time gesture recognition using a humanoid robot with a deep neural architecture
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
CN103076876B (zh) 基于视线跟踪与语音识别的字符输入装置和方法
CN113117295B (zh) 一种基于手部识别的脑认知康复机器人系统及训练方法
CN106814853A (zh) 一种基于机器学习的眼控跟踪方法
CN113723327A (zh) 一种基于深度学习的实时中文手语识别交互系统
CN109325408A (zh) 一种手势判断方法及存储介质
CN111399652A (zh) 基于分层ssvep与视觉辅助的多机器人混合系统
Jafar et al. Eye controlled wheelchair using transfer learning
Zhang et al. Robotic control of dynamic and static gesture recognition
CN110032270B (zh) 一种基于手势识别的人机交互方法
Shah et al. Survey on vision based hand gesture recognition
Xu et al. Skeleton guided conflict-free hand gesture recognition for robot control
ATASOY et al. Real-Time motorized electrical hospital bed control with eye-gaze tracking
Jiang et al. Emotion analysis: Bimodal fusion of facial expressions and EEG
Adithya et al. An efficient method for hand posture recognition using spatial histogram coding of nct coefficients
Chhabria et al. Multimodal interface for disabled persons
Ardizzone et al. Pose classification using support vector machines
Singh et al. A comprehensive study on feature extraction and classification techniques for sign language recognition
Wang et al. What you see is what you grasp: User-friendly grasping guided by near-eye-tracking
Mori et al. Human-like action recognition system using features extracted by human
KR100504215B1 (ko) 지능형 비주얼 서보잉 시스템 및 방법
Zhai Gesture Interaction System Design for Telerehabilitation Based on Mediapipe
Ordonez et al. Real-time gaze-tracking embedded-system
Xiong et al. Eye control system based on convolutional neural network: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant