CN109044651B - 未知环境中基于自然手势指令的智能轮椅控制方法及系统 - Google Patents

未知环境中基于自然手势指令的智能轮椅控制方法及系统 Download PDF

Info

Publication number
CN109044651B
CN109044651B CN201810590953.6A CN201810590953A CN109044651B CN 109044651 B CN109044651 B CN 109044651B CN 201810590953 A CN201810590953 A CN 201810590953A CN 109044651 B CN109044651 B CN 109044651B
Authority
CN
China
Prior art keywords
gesture
intelligent wheelchair
module
space
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810590953.6A
Other languages
English (en)
Other versions
CN109044651A (zh
Inventor
高强
张家意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201810590953.6A priority Critical patent/CN109044651B/zh
Publication of CN109044651A publication Critical patent/CN109044651A/zh
Application granted granted Critical
Publication of CN109044651B publication Critical patent/CN109044651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2200/00—Information related to the kind of patient or his position
    • A61G2200/30—Specific positions of the patient
    • A61G2200/34—Specific positions of the patient sitting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/70—General characteristics of devices with special adaptations, e.g. for safety or comfort
    • A61G2203/72—General characteristics of devices with special adaptations, e.g. for safety or comfort for collision prevention

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种未知环境中基于自然手势指令的智能轮椅控制方法及系统，方法为：在智能轮椅上设置人机交互子系统和运动控制子系统；利用人机交互子系统进行手势识别、指向估计和目标点计算，以获取导航指令，通过运动控制子系统根据导航指令对智能轮椅的运动进行控制；其中人机交互子系统涉及基于深度信息和颜色信息的手部分割、基于距离变换的手臂去除、基于支持向量机和Hu不变矩的指令手势识别、基于卷积神经网络的指向手势估计和使用者意向目标点计算，运动控制系统包括局部路径规划、基于模糊逻辑的自主避障以及基于PID的半闭环控制。本发明能够方便识别人体的自然手势，实现智能轮椅用户意向目标点解析，并自主规划航线，操控简单方便。

Description

未知环境中基于自然手势指令的智能轮椅控制方法及系统
技术领域
本发明涉及智能轮椅领域，具体涉及对轮椅的控制，尤其是在未知环境中基于自然手势指令实现智能轮椅的交互控制。
背景技术
随着全球老龄化进程加速以及智能控制技术的快速发展，智能轮椅作为一种性能优越的代步工具，因其对于帮助老年人提高行动自由和重新融入社会的重要作用而受到重视。在自然交互技术不断发展过程中，“手即是控制器”的理念逐渐被强调，且由于手作为人身体最灵活的部位和手语是人类生活中的第二大语言，手势交互成为人机接口研究的热点。
在手势交互中使用的传感系统，通常包括基于手持设备的传感装置、基于触摸的传感装置、基于视觉的传感装置。在智能轮椅控制中，基于视觉的传感装置由于不需要使用者接触实物而更适于应用。例如，中国发明专利申请CN103345626A公开了一种智能轮椅静态手势识别方法，通过Kinect采集场景深度信息，分割出场景深度信息中的手势，并对提取的手势特征向量通过DAGSVM分类器进行手势识别，利用手势的指向来控制智能轮椅的运动方向。而中国发明专利申请CN103390168A则公开了一种基于Kinect 深度信息的智能轮椅动态手势识别方法，利用动态手势进行轮椅控制。
然而，这些智能轮椅的控制方法在实现时均采用摄像头前置，使用者将手心对准摄像头进行指令控制的形式，存在以下缺陷：(1) 这种模式中摄像头设置在智能轮椅前方，背景处理复杂，尤其是在未知环境中，手势识别准确率受到影响；(2) 忽视了裸露手臂对手势识别的干扰；(3) 手势识别通常只能实现智能轮椅前进、后退及转向控制，难以实现自然手势的导航。
因此，需要对智能轮椅的手势指令交互方法进行改进，以实现自然手势的识别，实现智能轮椅的自主导航。
发明内容
本发明的发明目的是提供一种未知环境中基于自然手势指令的智能轮椅控制方法，实现对自然手势指令的识别及自主导航；本发明的另一发明目的是提供实现该控制方法的系统。
为达到上述发明目的，本发明采用的技术方案是：一种未知环境中基于自然手势指令的智能轮椅控制方法，在智能轮椅上设置人机交互子系统和运动控制子系统；利用人机交互子系统进行手势识别、指向估计和目标点计算，以获取导航指令，通过运动控制子系统根据导航指令对智能轮椅的运动进行控制；
所述手势识别的方法是：从人体后上方获取包含手部和手臂的彩色图像信息和深度图像信息；基于深度图像信息分割获取彩色图像信息中的手部和手臂图像；去除手臂部分获得手部区域图像；提取手部区域特征，利用支持向量机训练好的分类器对手势进行识别，手势识别结果包括指向手势、握拳手势、五指张开手势和随机手势；
对于手势识别结果为指向手势的，进行指向估计和目标点计算，方法是：获取手部区域质心并转换获取深度图像中手部区域质心，利用卷积神经网络训练的回归模型，预测深度图像中指向手势中食指指尖点、3个食指关节点和手腕点这5个关键点的像素坐标值；通过深度图像空间和视觉传感器空间坐标转换，获取5个关键点在视觉传感器对应坐标系中的位置；基于指尖点和关节点这4个关键点拟合空间直线，得到手势指向；将得到的空间直线转换至智能轮椅坐标系中，然后在智能轮椅坐标系中计算此空间直线与空间地面的交点，判断得到目标点坐标；根据目标点坐标，计算出智能轮椅需要转动的角度和直行的距离，转换成导航指令，发送至运动控制子系统；
对于其它手势，按预设定义转换成相应的导航指令。
上述技术方案中，所述手势识别的方法包括：由Kinect传感器获取彩色图像和深度图像信息，经过高斯滤波和光照平衡后，基于深度信息分割获取彩色图像中手部和手臂部分；彩色图像由RGB颜色空间转换至HSV颜色空间，基于H分量信息分割获取彩色图像中手部和手臂部分；根据手部形态特征，基于欧式距离变换实现手臂去除以获取无冗余信息的手部区域；提取手部区域Hu不变矩前4阶为特征；利用支持向量机训练好的分类器对手势进行识别，得出识别结果：指向手势、握拳手势、五指张开手势和随机手势。
进行指向估计的方法为：对识别结果为指向手势的，获取手部区域质心；通过彩色图像空间和深度图像空间转换，获取深度图像中手部区域质心，并以 160×160为分割矩形获取深度图像中的手部区域；利用卷积神经网络训练的回归模型，预测深度图像中指向手势中食指指尖点、关节点和手腕点这5个关键点的像素坐标值；通过深度图像空间和Kinect空间坐标转换，以获取5个关键点的在Kinect坐标系中的位置；基于指尖点和关节点这4个关键点拟合空间直线。
进一步的技术方案，在运动控制子系统中设置超声波传感器，根据超声波探得的障碍物距离信息，基于模糊逻辑实现避障功能。
上述技术方案中，所述运动控制子系统中，基于光电编码器获取左右轮的速度信息和电子罗盘获取智能轮椅航向信息，采用PID控制方法，实现半闭环控制，直至智能轮椅行至目标点。
本发明同时公开了一种未知环境中基于自然手势指令的智能轮椅控制系统，主要由人机交互子系统和运动控制子系统构成；
所述人机交互子系统包括Kinect传感器、手势识别模块、指向估计模块、目标点计算模块和指令编码模块；所述Kinect传感器设置在智能轮椅中对应人体的后上方，并朝向人体前侧；
所述运动控制子系统包括主控芯片、电子罗盘，分别与左、右轮直流电机配合的左、右光电编码器，所述主控芯片中设有指令解码模块、局部路径规划模块、自主避障模块和航向校正模块；
所述人机交互子系统通过通信接口与所述运动控制子系统连接。
进一步的技术方案，所述运动控制子系统中设有超声波传感器和超声波数据采集模块，与所述自主避障模块配合工作。
上述技术方案中，设有PC机，人机交互子系统中的手势识别模块、指向估计模块、目标点计算模块和指令编码模块由PC机中的软件模块构成。
上述技术方案中，所述手势识别模块从人体后上方获取包含手部和手臂的彩色图像信息和深度图像信息；基于深度图像信息分割获取彩色图像信息中的手部和手臂图像；去除手臂部分获得手部区域图像；提取手部区域特征，利用支持向量机训练好的分类器对手势进行识别，手势识别结果包括指向手势、握拳手势、五指张开手势和随机手势；
所述指向估计模块获取手部区域质心并转换获取深度图像中手部区域质心，利用卷积神经网络训练的回归模型，预测深度图像中指向手势中食指指尖点、3个食指关节点和手腕点这5个关键点的像素坐标值；通过深度图像空间和视觉传感器空间坐标转换，获取5个关键点在视觉传感器对应坐标系中的位置；基于指尖点和关节点这4个关键点拟合空间直线，得到手势指向；
所述目标点计算模块将得到的空间直线转换至智能轮椅坐标系中，然后在智能轮椅坐标系中计算此空间直线与空间地面的交点，判断得到目标点坐标；
所述指令编码模块根据目标点坐标，计算出智能轮椅需要转动的角度和直行的距离，转换成导航指令。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
1、本发明从人体后上方获取手势图像，能够方便识别人体的自然手势，实现智能轮椅的自主导航。
2、本发明通过对指向手势的识别，结合智能轮椅位置，可以实现智能轮椅用户意向目标点解析，并自主规划航线，与现有技术的单纯控制转向方式相比，操控简单方便。
附图说明
图1是本发明实施例智能轮椅控制系统原理框图；
图2是实施例智能轮椅控制系统硬件架构图；
图3是实施例智能轮椅人机接口子系统运行流程图；
图4是智能轮椅运动控制子系统运行流程图；
图5是实施例中运动控制子系统硬件布局图。
具体实施方式
下面结合附图及实施例对本发明作进一步描述：
实施例一：参见图1至图5所示，
一种未知环境中基于自然手势指令交互的智能轮椅控制系统，包括人机交互子系统和运动控制子系统，其中，参见图2
所述人机交互子系统包括手势识别模块、指向估计模块、目标点计算模块和指令编码模块，并通过串口通信将指令传输给运动控制子系统，具体结构包括Kinect传感器和PC。
所述运动控制子系统包括指令解码、局部路径规划、自主避障和航向校正模块，具体结构包括ARM主控、电子罗盘、光电编码器、超声波传感器和Arduino超声波数据采集模块。
人机交互子系统的手势识别模块，参见图3，首先，由Kinect获取彩色图像和深度图像信息，经过高斯滤波和光照平衡后，基于深度信息分割获取彩色图像中手部（包含手臂部分）；其次，彩色图像由RGB颜色空间转换至HSV颜色空间，基于H分量信息分割获取彩色图像中手部（包含裸露手臂部分）；接着，根据手部形态特征，基于欧式距离变换实现手臂去除以获取无冗余信息的手部区域；然后，提取手部区域Hu不变矩前4阶为特征；最后，利用支持向量机训练好的分类器对手势进行识别，得出识别结果：指向手势、握拳手势、五指张开手势和随机（非目标）手势。
针对得到的识别结果为指向手势的结果，获取手部区域质心；其次，通过彩色图像空间和深度图像空间转换，获取深度图像中手部区域质心，并以160×160为分割矩形获取深度图像中的手部区域；接着，利用卷积神经网络训练的回归模型，预测深度图像中指向手势中食指指尖点、关节点和手腕点这5个关键点的像素坐标值
Figure 47248DEST_PATH_IMAGE002
；然后，通过深度图像空间和Kinect空间坐标转换，以获取5个关键点的在Kinect坐标系中的位置
Figure 135290DEST_PATH_IMAGE004
；最后，基于指尖点和关节点这4个关节点拟合空间直线。
针对得到的空间直线，将其转换至智能轮椅坐标系中，然后在轮椅坐标系中计算此空间直线与空间地面的交点，且经过判断后得到合适的目标点坐标
Figure 480952DEST_PATH_IMAGE006
。
针对得到的目标点坐标
Figure 945431DEST_PATH_IMAGE006
，将其转换为智能轮椅需要转动的角度A和直行的距离L，然后以字符串编码的方式通过串口通信传输给运动控制系统的ARM主控。
智能轮椅运动控制子系统，包括指令解码、自主避障、速度调节和航向校正模块。
参见图4，指令解码模块，其特征在于，接收来自PC的指令信息，将指令字符串解析为智能轮椅需要转动的角度A和直行的距离L。智能轮椅运行过程中，根据超声波探得的障碍物距离信息，基于模糊逻辑实现避障功能。基于光电编码器获取的左右轮的速度信息和电子罗盘获取的智能轮椅航向信息，采用PID控制方法，实现半闭环控制直至智能轮椅行至目标点。

Claims (6)

1.一种未知环境中基于自然手势指令的智能轮椅控制方法，其特征在于：在智能轮椅上设置人机交互子系统和运动控制子系统；利用人机交互子系统进行手势识别、指向估计和目标点计算，以获取导航指令，通过运动控制子系统根据导航指令对智能轮椅的运动进行控制；
所述手势识别的方法是：从人体后上方获取包含手部和手臂的彩色图像信息和深度图像信息；基于深度图像信息分割获取彩色图像信息中的手部和手臂图像；去除手臂部分获得手部区域图像；提取手部区域特征，利用支持向量机训练好的分类器对手势进行识别，手势识别结果包括指向手势、握拳手势、五指张开手势和随机手势；
对于手势识别结果为指向手势的，进行指向估计和目标点计算，方法是：获取手部区域质心并转换获取深度图像中手部区域质心，利用卷积神经网络训练的回归模型，预测深度图像中指向手势中食指指尖点、3个食指关节点和手腕点这5个关键点的像素坐标值；通过深度图像空间和视觉传感器空间坐标转换，获取5个关键点在视觉传感器对应坐标系中的位置；基于食指指尖点和3个食指关节点这4个关键点拟合空间直线，得到手势指向；将得到的空间直线转换至智能轮椅坐标系中，然后在智能轮椅坐标系中计算此空间直线与空间地面的交点，判断得到目标点坐标；根据目标点坐标，计算出智能轮椅需要转动的角度和直行的距离，转换成导航指令，发送至运动控制子系统；
对于其它手势，按预设定义转换成相应的导航指令。
2.根据权利要求1所述的未知环境中基于自然手势指令的智能轮椅控制方法，其特征在于，所述手势识别的方法包括：由Kinect传感器获取彩色图像和深度图像信息，经过高斯滤波和光照平衡后，基于深度信息分割获取彩色图像中手部和手臂部分；彩色图像由RGB颜色空间转换至HSV颜色空间，基于H分量信息分割获取彩色图像中手部和手臂部分；根据手部形态特征，基于欧式距离变换实现手臂去除以获取无冗余信息的手部区域；提取手部区域Hu不变矩前4阶为特征；利用支持向量机训练好的分类器对手势进行识别，得出识别结果：指向手势、握拳手势、五指张开手势和随机手势。
3.根据权利要求2所述的未知环境中基于自然手势指令的智能轮椅控制方法，其特征在于，进行指向估计的方法为：对识别结果为指向手势的，获取手部区域质心；通过彩色图像空间和深度图像空间转换，获取深度图像中手部区域质心，并以160×160为分割矩形获取深度图像中的手部区域；利用卷积神经网络训练的回归模型，预测深度图像中指向手势中食指指尖点、3个食指关节点和手腕点这5个关键点的像素坐标值；通过深度图像空间和Kinect空间坐标转换，以获取5个关键点的在Kinect坐标系中的位置；基于食指指尖点和3个食指关节点这4个关键点拟合空间直线。
4.根据权利要求1所述的未知环境中基于自然手势指令的智能轮椅控制方法，其特征在于：在运动控制子系统中设置超声波传感器，根据超声波探得的障碍物距离信息，基于模糊逻辑实现避障功能。
5.根据权利要求1所述的未知环境中基于自然手势指令的智能轮椅控制方法，其特征在于：所述运动控制子系统中，基于光电编码器获取左右轮的速度信息和电子罗盘获取智能轮椅航向信息，采用PID控制方法，实现半闭环控制，直至智能轮椅行至目标点。
6.一种未知环境中基于自然手势指令的智能轮椅控制系统，其特征在于：主要由人机交互子系统和运动控制子系统构成；
所述人机交互子系统包括Kinect传感器、手势识别模块、指向估计模块、目标点计算模块和指令编码模块；所述Kinect传感器设置在智能轮椅中对应人体的后上方，并朝向人体前侧；
所述运动控制子系统包括主控芯片、电子罗盘，分别与左、右轮直流电机配合的左、右光电编码器，所述主控芯片中设有指令解码模块、局部路径规划模块、自主避障模块和航向校正模块；
所述人机交互子系统通过通信接口与所述运动控制子系统连接；
所述运动控制子系统中设有超声波传感器和超声波数据采集模块，与所述自主避障模块配合工作；
设有PC机，人机交互子系统中的手势识别模块、指向估计模块、目标点计算模块和指令编码模块由PC机中的软件模块构成；
所述手势识别模块从人体后上方获取包含手部和手臂的彩色图像信息和深度图像信息；基于深度图像信息分割获取彩色图像信息中的手部和手臂图像；去除手臂部分获得手部区域图像；提取手部区域特征，利用支持向量机训练好的分类器对手势进行识别，手势识别结果包括指向手势、握拳手势、五指张开手势和随机手势；
所述指向估计模块获取手部区域质心并转换获取深度图像中手部区域质心，利用卷积神经网络训练的回归模型，预测深度图像中指向手势中食指指尖点、3个食指关节点和手腕点这5个关键点的像素坐标值；通过深度图像空间和视觉传感器空间坐标转换，获取5个关键点在视觉传感器对应坐标系中的位置；基于食指指尖点和3个食指关节点这4个关键点拟合空间直线，得到手势指向；
所述目标点计算模块将得到的空间直线转换至智能轮椅坐标系中，然后在智能轮椅坐标系中计算此空间直线与空间地面的交点，判断得到目标点坐标；
所述指令编码模块根据目标点坐标，计算出智能轮椅需要转动的角度和直行的距离，转换成导航指令；
指令解码模块接收来自PC的指令信息，将指令字符串解析为智能轮椅需要转动的角度A和直行的距离L；自主避障模块在智能轮椅运行过程中，根据超声波探得的障碍物距离信息，基于模糊逻辑实现避障功能；航向校正模块基于光电编码器获取的左右轮的速度信息和电子罗盘获取的智能轮椅航向信息，采用PID控制方法，实现半闭环控制直至智能轮椅行至目标点。
CN201810590953.6A 2018-06-09 2018-06-09 未知环境中基于自然手势指令的智能轮椅控制方法及系统 Active CN109044651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810590953.6A CN109044651B (zh) 2018-06-09 2018-06-09 未知环境中基于自然手势指令的智能轮椅控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810590953.6A CN109044651B (zh) 2018-06-09 2018-06-09 未知环境中基于自然手势指令的智能轮椅控制方法及系统

Publications (2)

Publication Number Publication Date
CN109044651A CN109044651A (zh) 2018-12-21
CN109044651B true CN109044651B (zh) 2020-06-16

Family

ID=64820075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810590953.6A Active CN109044651B (zh) 2018-06-09 2018-06-09 未知环境中基于自然手势指令的智能轮椅控制方法及系统

Country Status (1)

Country Link
CN (1) CN109044651B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6847272B2 (ja) * 2018-01-16 2021-03-24 ヤマハ発動機株式会社 １人乗り電動車両走行制御装置、１人乗り電動車両走行制御システム及び１人乗り電動車両
CN109717878A (zh) * 2018-12-28 2019-05-07 上海交通大学 一种用于孤独症共同注意诊断范式的检测系统及使用方法
WO2020164003A1 (zh) * 2019-02-13 2020-08-20 苏州金瑞麒智能科技有限公司 一种用于智能轮椅的可视化方法及系统
CN110101511B (zh) * 2019-06-17 2020-06-02 青岛安捷医疗科技有限公司 人员转运车的智能辅助控制系统
CN111150566B (zh) * 2020-01-17 2022-05-10 南京邮电大学 一种自主导航与多模人机交互共享的轮椅控制系统及方法
CN112818897B (zh) * 2021-02-19 2024-07-12 宁波毅诺智慧健康科技有限公司 基于视觉手势识别的智能医疗床控制方法及相关设备
CN113183133B (zh) * 2021-04-28 2024-02-09 华南理工大学 面向多自由度机器人的手势交互方法、系统、装置及介质
CN113486765B (zh) * 2021-06-30 2023-06-16 上海商汤临港智能科技有限公司 手势交互方法及装置、电子设备和存储介质
CN114848315B (zh) * 2022-05-05 2022-12-13 广东工业大学 一种基于表面肌电信号的智能轮椅人机协同控制系统
CN115120429B (zh) * 2022-06-17 2023-03-10 广东工业大学 一种基于表面肌电信号的智能轮椅人体跟随控制系统
CN115617046A (zh) * 2022-11-01 2023-01-17 中国第一汽车股份有限公司 一种路径规划方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN103345626A (zh) * 2013-07-18 2013-10-09 重庆邮电大学 一种智能轮椅静态手势识别方法
CN103544472A (zh) * 2013-08-30 2014-01-29 Tcl集团股份有限公司 一种基于手势图像的处理方法及处理装置
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN105045496A (zh) * 2015-07-01 2015-11-11 中北大学 一种基于关节点变换的手势交互方法
CN105596157A (zh) * 2016-01-22 2016-05-25 江苏科凌医疗器械有限公司 一种多功能轮椅
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法
CN106055091A (zh) * 2016-05-16 2016-10-26 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法
CN106815578A (zh) * 2017-01-23 2017-06-09 重庆邮电大学 一种基于深度运动图‑尺度不变特征变换的手势识别方法
CN107390573A (zh) * 2017-06-28 2017-11-24 长安大学 基于手势控制的智能轮椅系统及控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420265B2 (en) * 2012-06-29 2016-08-16 Mitsubishi Electric Research Laboratories, Inc. Tracking poses of 3D camera using points and planes

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN103345626A (zh) * 2013-07-18 2013-10-09 重庆邮电大学 一种智能轮椅静态手势识别方法
CN103544472A (zh) * 2013-08-30 2014-01-29 Tcl集团股份有限公司 一种基于手势图像的处理方法及处理装置
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN105045496A (zh) * 2015-07-01 2015-11-11 中北大学 一种基于关节点变换的手势交互方法
CN105596157A (zh) * 2016-01-22 2016-05-25 江苏科凌医疗器械有限公司 一种多功能轮椅
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法
CN106055091A (zh) * 2016-05-16 2016-10-26 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法
CN106815578A (zh) * 2017-01-23 2017-06-09 重庆邮电大学 一种基于深度运动图‑尺度不变特征变换的手势识别方法
CN107390573A (zh) * 2017-06-28 2017-11-24 长安大学 基于手势控制的智能轮椅系统及控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"一种改进的DAGSVM手势识别方法及其应用";蔡军等;《控制工程》;20130930;第20卷(第5期);第957-959页，第965页 *
"基于Kinect传感器的智能轮椅手势控制系统的设计与实现";罗元等;《机器人》;20120131;第34卷(第1期);第110-113页 *
"基于Kinect的指尖检测与手势识别方法";谈家谱等;《计算机应用》;20150610;第1795-1800页 *

Also Published As

Publication number Publication date
CN109044651A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109044651B (zh) 未知环境中基于自然手势指令的智能轮椅控制方法及系统
Li Human–robot interaction based on gesture and movement recognition
CN106909216B (zh) 一种基于Kinect传感器的仿人机械手控制方法
Gu et al. Human gesture recognition through a kinect sensor
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人系统
CN108453742B (zh) 基于Kinect的机器人人机交互系统及方法
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
CN105787471A (zh) 一种应用于助老助残移动服务机器人控制的手势识别方法
Liu et al. Brain–robot interface-based navigation control of a mobile robot in corridor environments
SE526119C2 (sv) Metod och system för programmering av en industrirobot
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
Francis et al. Significance of hand gesture recognition systems in vehicular automation-a survey
CN111695408A (zh) 一种智能手势信息识别系统及方法、信息数据处理终端
Gao et al. Parallel dual-hand detection by using hand and body features for robot teleoperation
Thomas et al. A comprehensive review on vision based hand gesture recognition technology
Dhamanskar et al. Human computer interaction using hand gestures and voice
CN111230872B (zh) 一种基于多传感器的物体递交意图识别系统及方法
CN109934155B (zh) 一种基于深度视觉的协作机器人手势识别方法及装置
TK et al. Real-Time Virtual Mouse using Hand Gestures for Unconventional Environment
Yeom et al. [POSTER] Haptic Ring Interface Enabling Air-Writing in Virtual Reality Environment
Jayasurya et al. Gesture controlled AI-robot using Kinect
Noh et al. A Decade of Progress in Human Motion Recognition: A Comprehensive Survey From 2010 to 2020
Nam et al. Mouth tracking for hands-free robot control systems
Ye et al. 3D Dynamic Hand Gesture Recognition with Fused RGB and Depth Images.
US20220284736A1 (en) Processing apparatus, mobile object, processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant