CN114848315B - 一种基于表面肌电信号的智能轮椅人机协同控制系统 - Google Patents

一种基于表面肌电信号的智能轮椅人机协同控制系统 Download PDF

Info

Publication number
CN114848315B
CN114848315B CN202210482746.5A CN202210482746A CN114848315B CN 114848315 B CN114848315 B CN 114848315B CN 202210482746 A CN202210482746 A CN 202210482746A CN 114848315 B CN114848315 B CN 114848315B
Authority
CN
China
Prior art keywords
wheelchair
gesture
target point
motion
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210482746.5A
Other languages
English (en)
Other versions
CN114848315A (zh
Inventor
袁旺
刘康维
刘勇华
张戈猛
李文智
苏春翌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210482746.5A priority Critical patent/CN114848315B/zh
Publication of CN114848315A publication Critical patent/CN114848315A/zh
Application granted granted Critical
Publication of CN114848315B publication Critical patent/CN114848315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/30General characteristics of devices characterised by sensor means
    • A61G2203/36General characteristics of devices characterised by sensor means for motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/70General characteristics of devices with special adaptations, e.g. for safety or comfort
    • A61G2203/72General characteristics of devices with special adaptations, e.g. for safety or comfort for collision prevention
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Prostheses (AREA)

Abstract

本申请涉及智能轮椅控制系统的技术领域,尤其是一种基于表面肌电信号的智能轮椅人机协同控制系统,包括肌电解码模块、环境检测模块、运动规划模块和运动控制模块;肌电解码模块包括手势检测子模块和肌肉刚度检测子模块;手势检测子模块用于生成手势信息以确定目标点位置;肌肉刚度检测子模块用于生成肌肉刚度信息以关联轮椅速度;环境检测模块用于检测轮椅周围障碍物的位置;运动规划模块用于接收手势确定的目标点位置信息、环境检测模块确定的障碍物位置信息及肌肉刚度关联的轮椅速度信息,规划轮椅的安全轨迹;运动控制模块用于生成运动指令;本发明能够通过肌电信号设置目标点,规划安全轨迹驱往目标点,具有方便使用、减少操作负担的效果。

Description

一种基于表面肌电信号的智能轮椅人机协同控制系统
技术领域
本发明涉及智能轮椅控制系统的技术领域,特别是一种基于表面肌电信号的智能轮椅人机协同控制系统。
背景技术
根据第二次全国残疾人抽样调查数据显示,截至2012年我国肢体残疾人总数接近2472万,其中下肢残疾人数占比约70%。轮椅可为下肢运动功能障碍患者提供生活便利,然而,对于身体严重瘫痪的残障人士,常规的轮椅操控方式难以满足要求,基于此难题,通过表面肌电信号来控制轮椅是一种有效方式。当前,肌电控制的智能轮椅较少,而且普遍存在缺乏自主决策能力、智能化程度较低、用户的操作负担较大等问题。
发明内容
针对上述背景,本发明的目的在于提出一种基于表面肌电信号的智能轮椅人机协同控制系统,通过肌电信号设置目标点,智能轮椅检测障碍物并自动规划安全轨迹驱往设置的目标点,具有方便使用、减少操作负担的效果。
为达此目的,本发明采用以下技术方案:
一种基于表面肌电信号的智能轮椅人机协同控制系统,包括肌电解码模块、环境检测模块、运动规划模块和运动控制模块;
肌电解码模块包括手势检测子模块和肌肉刚度检测子模块;
手势检测子模块用于通过肌电手环采集肌电信号,并识别操作者的当前手势,生成手势信息;手势用于指定目标点的方向和距离;
肌肉刚度检测子模块通过六导联肌电传感器采集肌电信号,并识别当前手臂肌肉的刚度,生成肌肉刚度信息;肌肉刚度用于调节轮椅的速度;
环境检测模块用于通过激光传感器检测获得轮椅周围障碍物的位置,并反馈给运动规划模块;
运动规划模块用于接收目标点位置信息和障碍物位置信息以及肌肉刚度关联的轮椅速度信息,采用角度势场法规划出轮椅从起点到目标点的安全轨迹;
运动控制模块采用反演控制器跟踪运动规划模块所规划的安全轨迹,生成运动指令,以驱动轮椅按照规划的安全轨迹运动。
优选的,所述手势检测子模块包括样本训练单元,所述样本训练单元用于对每一种手势的肌电信号进行采集,建立数据库以保存所有采集的手势样本,对每一个样本,提取出其肌电信号,进行数据处理,筛选出有效的信号段,对该信号段进行特征提取,得到训练样本的特征及样本模型,借助动态时间归整匹配算法训练出能够有效识别手势的K-近邻分类器。
优选的,所述手势检测子模块还包括未知手势识别单元,未知手势识别单元用于将一个新用户的手势作为一个未知手势输入,提取出其肌电信号,进行数据处理和特征提取,与所述样本训练单元训练得到的样本模型进行动态时间归整匹配,通过K-近邻分类器进行判断,以得到未知手势的具体手势类别。
优选的,所述手势检测子模块采用极坐标的方式设置轮椅目标点,包括:
以轮椅的当前位置为极坐标的原点,通过肌电手环的手势识别结果来指定目标点的方向和距离,通过六导联肌电传感器获取的肌肉刚度来调节引力势场的势能强度,以调整轮椅速度,极坐标表示量X=[rss]T被定义为:
Figure GDA0003883041680000021
θs=tan-1(ys,xs)
其中,xs、ys分别是目标点在直角坐标系中的横轴坐标和纵轴坐标,θs是目标点在极坐标系中的极角,rs是目标点在极坐标系中的极径;
轮椅目标点的方向由手势信号决定,方位控制模型如下:
θs(k+1)=θs(k)+α(k)K1
其中,θs(k)表示第k步更新时的角度运动方向,K1表示极角和极轴的调整比例系数,α(k)表示方位控制的输入信号;
轮椅目标点的径向距离也由手势信号决定,径向距离控制模型如下:
rs(k+1)=rs(k)+β(k)K1
其中,rs(k)表示第k步更新时的极距,β(k)是径向运动控制的输入信号。
优选的,所述环境检测模块通过安装在轮椅正前方的激光传感器,以检测轮椅前进方向180度范围内的障碍物情况;
在2D检测平面内,定义角度为i处检测的信息为pi=(Ri,θi),并且定义激光传感器检测当前障碍物距离信息为Ri(i=1,2,...,Ns),障碍物方向信息为θi(i=1,2,...,Ns),Ns为当前检测到的障碍物数量;定义向量R为轮椅的当前环境信息:
Figure GDA0003883041680000031
优选的,所述肌肉刚度检测子模块的肌肉刚度dG由下式计算:
Figure GDA0003883041680000032
其中a是非线性参数,其范围为[-3,0],e为自然对数的底,约为2.7183,EMGp(k)是平滑滤波后的肌电信号,其计算公式如下:
Figure GDA0003883041680000033
其中,J是平滑滤波滑窗大小,EMG(k)是将六导联肌电传感器在k时刻各个肌电信号EMGi(k),i=1,2,...,6整合后的值,可以通过下式计算:
Figure GDA0003883041680000041
根据上述公式,可以通过六导联肌电传感器测量的肌电信号计算出手臂肌肉的刚度。
优选的,所述运动规划模块包括阻力函数计算子模块和引力函数计算子模块;
所述阻力函数计算子模块用于对激光传感器检测的每一个角度上对应的阻力进行计算;
所述引力函数计算子模块用于对激光传感器检测的每一个角度上对应的引力进行计算;通过阻力函数和引力函数计算得出通行函数,求通行函数最大值以计算出最优的运动角度,以获得最优的运动路径规划方案。
优选的,智能轮椅的运动学方程如下式所示:
Figure GDA0003883041680000042
其中p表示智能轮椅在全局坐标系下的位姿,xd表示期望的X轴坐标,yd表示期望的Y轴坐标,θd表示期望的航向角,q=[vo,ωo]T表示输入量,vo为智能轮椅线速度,ωo为智能轮椅角速度。
在固定坐标系内的位姿误差pe定义为:
Figure GDA0003883041680000043
其中,xd、yd、θd分别为智能轮椅在全局坐标系下X轴方向的期望位置、Y轴方向的期望位置、期望航向角,xr、yr、θr分别为智能轮椅在全局坐标系下X轴方向的实际位置、Y轴方向的实际位置、实际航向角,xe、ye、θe分别为智能轮椅在全局坐标系下X轴方向的误差、Y轴方向的误差、航向角误差;
通过控制输入,使得对于任意初始误差,误差的导数
Figure GDA0003883041680000053
有界且
Figure GDA0003883041680000051
给定运动学轨迹为:
Figure GDA0003883041680000052
其中xd和yd表示X轴方向和Y轴方向的理想位置,θd为理想的位姿角。
上述技术方案包括以下有益效果:
本实施例提出一种基于表面肌电信号的智能轮椅人机协同控制系统,用户可以通过肌电信号设置目标点,智能轮椅检测障碍物的同时,自行规划安全轨迹驱往目标点,这种人机协同的操控方式有效协调了人脑认知与机器智能的决策控制权,可辅助运动功能障碍患者轻松操控轮椅,减少操作负担。
附图说明
图1是本发明的整体流程示意图;
图2是本发明的智能轮椅及组成实物图;
图3是本发明的智能轮椅硬件框架图;
图4是本发明的智能轮椅关键硬件功能示意图;
图5是本发明的手势示意图;
图6是本发明的手势样本训练流程图;
图7是本发明的手势识别流程图;
图8是本发明的极坐标映射关系示意图;
图9是本发明的阻力区间示意图。
具体实施方式
下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,用于区别描述特征,无顺序之分,无轻重之分。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
下面结合图1至图9描述本发明实施例的一种基于表面肌电信号的智能轮椅人机协同控制系统:
一种基于表面肌电信号的智能轮椅人机协同控制系统,包括肌电解码模块、环境检测模块、运动规划模块和运动控制模块;
肌电解码模块包括手势检测子模块和肌肉刚度检测子模块;
手势检测子模块用于通过肌电手环采集肌电信号,并识别操作者的当前手势,生成手势信息;手势用于指定目标点的方向和距离;
肌肉刚度检测子模块通过六导联肌电传感器采集肌电信号,并识别当前手臂肌肉的刚度,生成肌肉刚度信息;肌肉刚度用于调节轮椅的速度;
环境检测模块用于通过激光传感器检测获得轮椅周围障碍物的位置,并反馈给运动规划模块;
运动规划模块用于接收目标点位置信息和障碍物位置信息,采用角度势场法规划出轮椅从起点到目标点的安全轨迹;
运动控制模块采用反演控制器跟踪运动规划模块所规划的安全轨迹,生成运动指令,以驱动轮椅按照规划的安全轨迹运动。
具体的,本实施例提出一种基于表面肌电信号的智能轮椅人机协同控制系统,用户可以通过肌电信号设置目标点,智能轮椅检测障碍物的同时,自行规划安全轨迹驱往目标点,这种人机协同的操控方式有效协调了人脑认知与机器智能的决策控制权,可辅助运动功能障碍患者轻松操控轮椅,减少操作负担。
具体的,在本实施例中,肌电解码模块用于识别操作者的手势和肌肉刚度,其中,手势用于指定目标点的方向和距离,肌肉刚度用于控制角度势场法规划的轮椅的速度,所得的目标点位置信息作为运动规划模块的输入参数之一;环境检测模块用于获得轮椅当前所处环境下的障碍物位置信息,并发送给运动规划模块;运动规划模块用于接收肌电解码模块和环境检测模块的数据信息,即目标点位置信息和障碍物位置信息,利用角度势场法规划当前位置驱往目标点的安全轨迹,并将期望的线速度和角速度,发送给运动控制模块。运动控制模块采用基于反演控制器跟踪运动规划模块所规划的安全轨迹。轮椅上设有直流电机作为动力源,且设有编码盘,运动控制模块将控制命令发送到直流电机以驱动轮椅运动,同时,通过编码盘实时采集电机运动信息作为控制系统的反馈信号。
综上,该系统通过读取用户的肌电信号识别操作者意图,并结合智能轮椅的自主避障能力,实现高效的人机交互。
进一步的,本申请的一种基于表面肌电信号的智能轮椅人机协同控制系统在实际应用中可以体现为智能轮椅系统框架,智能轮椅系统框架包括电源组件、主控组件、运动组件和感知组件;电源组件、主控组件、运动组件和感知组件设于轮椅上;
电源组件包括24V直流电源和24V-12V变压器,用于对主控组件、运动组件和感知组件进行供电;
主控组件包括工控机,用于对运动组件和感知组件进行操控;
感知组件包括肌电手环、六导联肌电传感器和激光传感器,用于采集人体和周围环境信息;
运动组件包括驱动器、直流电机和光电编码盘,用于接收主控组件的运动指令,以驱动轮椅运动。
具体的,如图2所示,将轮椅的车轮连接上安装有编码器的直流电机,且连接上驱动器、紧急开关,组成移动轮椅的运动组件;加入工控机,作为轮椅的主控组件;搭配激光传感器作为轮椅的感知组件;使用24V直流电源为整个系统提供直流电。硬件框架如图3所示,智能轮椅关键硬件对应功能如图4所示。
当智能轮椅工作时,感知组件检测到环境信息,发送到主控组件进行分析和处理之后,由主控组件对运动组件发送运动指令,控制轮椅的车轮的速度和方向。每个组件的器件组成与功能如下:
电源组件:将24V 20AH的电池连接到24V-12V变压器,给显示器提供12V直流电压,激光传感器、驱动器和工控机则直接由电源提供24V直流电压,除以上设备需要单独供电外,其他设备均直接由工控机供电。
主控组件:由工控机组成,集中分析处理来自感知组件和运动组件的信息,并调整和发送控制指令,控制智能轮椅运动。其中,激光传感器通过以太网口将信息传输至工控机和运动组件中,驱动器、电机以及光电编码器组成一个闭环的整体结构,通过CAN总线与工控机进行数据传输。
感知组件:由激光传感器、肌电手环和六导联肌电传感器组成,采集人体和周围环境的信息,再将所测数据发送到工控机,提供人体特征和环境特征,用于轨迹规划,保证行驶过程安全,实现用户需求。本实施例中,肌电手环采用MYO手环,激光传感器采用了SICK激光雷达。
运动组件:由驱动器、直流电机、光电编码器组成一个闭环的整体结构,由一个紧急开关控制整个组件的通断。整个组件的信息通过CAN总线设备传输到工控机中,通过CAN总线接收来自工控机发出的运动指令。
具体的,在本实施例中,智能轮椅人机协同控制系统使用时的流程如下:使用肌电手环和六导联肌电传感器识别操作者的手势和肌肉刚度,手势用于指定目标点的方向和距离,所得的目标点位置信息作为运动规划模块的输入参数之一,肌肉刚度用于控制角度势场法规划的轮椅的速度;
通过激光传感器获得轮椅当前所处环境下的障碍物位置信息,并发送给运动规划模块;
运动规划模块用于接收肌电解码模块和环境检测模块的数据信息,即目标点位置信息和障碍物位置信息,利用角度势场法规划当前位置驱往目标点的安全轨迹,并将期望的线速度和角速度,发送给运动控制模块。
运动控制模块采用基于反演控制器跟踪运动规划模块所规划的安全轨迹,然后将控制命令发送到直流电机以驱动轮椅运动,同时,通过编码盘实时采集电机运动信息作为控制系统的反馈信号。
优选的,手势检测子模块包括样本训练单元,样本训练单元用于对每一种手势的肌电信号进行采集,建立数据库以保存所有采集的手势样本,对每一个样本,提取出其肌电(Electromyography,EMG)信号,进行数据处理,筛选出有效的信号段,对该信号段进行特征提取,得到训练样本的特征及样本模型,借助动态时间归整(Dynamic TimeWarping,DTW)匹配算法训练出能够有效识别手势的K-近邻(KNearestNeighbors,KNN)分类器。
优选的,手势检测子模块还包括未知手势识别单元,未知手势识别单元用于将一个新用户的手势作为一个未知手势输入,提取出其EMG信号,进行数据处理和特征提取,与所述样本训练单元训练得到的样本模型进行DTW匹配,通过KNN分类器进行判断,以得到未知手势的具体手势类别。
具体的,肌电解码模块用于采集操作者表面肌电信号识别操作者的手势和肌肉刚度,识别的手势用于设置智能轮椅期望的目标位置,检测的刚度用于调节智能轮椅的前进速度。所设置的轮椅目标点和运行速度为轮椅运动规划模块的输入参数之一,设置的目标点的方位和距离是用极坐标的形式表现的。
肌电手环检测手臂肌电信号,精确检测出如图5所示的5种手势,包括:握拳、伸张、内旋、外旋和双击。图5中手势下方的文字为对应的控制指令,包括:极轴减(距离减)、极轴加(距离增)、极角加(逆时针)、极角减(顺时针)以及模式切换(进入设置与确认设置)。
由于人体的灵活多变性与个体差异,同一个手势不同的人做出来时,动作速度、运动路径和运动节奏存在差别,甚至同一个动作由同一个人在不同时间做出相同含义的手势也存在差别。这使得肌电手环传入的时序序列数据和之前训练好的样本模型的时序序列在时间轴上存在不完全对齐现象,同时又无法通过线性缩放的方法对齐。针对这种问题,可以使用DTW算法对时间序列进行局部非线性缩放,使实时序列和样本序列这两个序列形态尽可能对齐。
为实现手势分类,使用KNN分类器,具体为:输入没有标签(标注数据的类别),即没有经过分类的新数据,首先提取新数据的特征并与测试集中的每一个数据特征进行比较;然后从测试集中提取K个最邻近(最类似)的数据特征标签,统计这K个最邻近数据中出现次数最多的分类,将其作为新的数据类别。在KNN学习中,首先计算待分类数据特征与训练数据特征之间的距离并排序,取出距离近的K个训练数据特征,然后根据这K个相近训练数据特征所属类别来判定新样本类别:假设它们都属于一类,那么新的样本也属于这个类;否则,对每一个候选类别进行评分,依照某种规则确定新的样本的类别。这里的KNN分类器之间的差别就在于用的算法之间的差别,此处使用的是DTW算法。
手势识别由两部分组成:样本训练和未知手势识别,分别由样本训练单元和未知手势识别单元执行,对应的流程图分别如图6和图7所示。
本文在识别过程中所使用的特征是时域特征,主要包括绝对值积分、过零点数、方差和Willison幅值等。
绝对值积分可以通过公式(1)计算。
Figure GDA0003883041680000111
过零点数可以通过公式(2)计算。
Figure GDA0003883041680000112
方差可以通过公式(3)计算。
Figure GDA0003883041680000113
Willison幅值可以通过公式(4)计算。
Figure GDA0003883041680000121
其中N为样本数量,xi为第i个样本的肌肉电信号值,E(x)为平均值,
Figure GDA0003883041680000122
Figure GDA0003883041680000123
threshold为特征阈值,由KNN学习获得。
优选的,手势检测子模块采用极坐标的方式设置轮椅目标点,包括:
以轮椅的当前位置为极坐标的原点,通过肌电手环的手势识别结果来指定目标点的方向和距离,六导联肌电传感器获取的肌肉刚度来调节引力势场的势能强度,以调整轮椅速度,极坐标表示量X=[rs,θs]T被定义为:
Figure GDA0003883041680000124
θs=tan-1(ys,xs) (9)
其中,xs、ys分别是目标点在直角坐标系中的横轴坐标和纵轴坐标,θs是目标点在极坐标系中的极角,rs是目标点在极坐标系中的极轴,如图8所示;
轮椅目标点的方向由手势信号决定,方位控制模型如下:
θs(k+1)=θs(k)+α(k)K1 (10)
其中,θs(k)表示第k步更新时的角度运动方向,K1表示极角和极轴的调整比例系数,α(k)表示方位控制的输入信号;
轮椅目标点的径向距离也由手势信号决定,径向距离控制模型如下:
rs(k+1)=rs(k)+β(k)K1 (11)
其中,rs(k)表示第K步更新时的极距,β(k)是径向运动控制的输入信号。
具体的,符号α(k)=[-1,0,1],当手势识别结果对应于标号为“左旋”时(此时对应的手势为内旋),α(k)=1;当手势识别结果对应于标号为“右旋”时(此时对应的手势为外旋),α(k)=-1;当手势识别均不对应标号为“左旋”和“右旋”中的任何一个手势时,α(k)=0;符号β(k)=[-1,0,1],当手势识别结果对应于标号为“前进”时(此时对应的手势为握拳),β(k)=1;当手势识别结果对应于标号为“后退”(此时对应的手势为伸张),β(k)=-1;当手势识别均不对应标号为“前进”和“后退”中的任何一个手势时,β(k)=0。
优选的,肌肉刚度检测子模块的肌肉刚度dG由下式计算:
Figure GDA0003883041680000131
其中k是采样时刻,a是非线性参数,其范围为[-3,0],e为自然对数的底,约为2.7183,EMGp(k)是平滑滤波后的肌电信号,其计算公式如下:
Figure GDA0003883041680000132
其中,J是平滑滤波滑窗大小,EMG(k)是将六导联肌电传感器在k时刻各个肌电信号EMGi(k),i=1,2,...,6整合后的值,可以通过下式计算:
Figure GDA0003883041680000133
根据上述公式,可以通过六导联肌电传感器测量的肌电信号计算出手臂肌肉的刚度。
具体的,在本实施例中,肌肉刚度测量是通过将六导联肌肉电传感器上的电极贴贴到手臂上,参考电极与胳膊肘相连(选择没有肌肉活动的区域作为参考电极),作用电极与待测的肌肉连接。电极贴能够通过肌肉组织活动形成的EMG信号通过Arduino UNO开发板与工控机进行通讯,实现对肌肉刚度的实时检测。
肌肉刚度影响势场法规划得到的轮椅速度,握紧手臂时,肌肉刚度变大,速度变大,松开手臂时,肌肉刚度恢复,速度随之恢复到原来的水平,这样在导航过程中,可以人为调节行驶速度,将肌肉刚度对势场法规划的速度的影响系数设为Y,则γ可表示为:
γ=1+SGdG (12)
其中SG表示比例系数,dG是肌肉刚度检测子模块检测获得的肌肉刚度。
极坐标系如图8所示,圆点表示用户设置的目标点。
优选的,环境检测模块通过安装在轮椅正前方的激光传感器,以检测轮椅前进方向180度范围内的障碍物情况;
在2D检测平面内,定义角度为i处检测的信息为pi=(Ri,θi),并且定义激光传感器检测当前障碍物距离信息为Ri(i=1,2,...,Ns),障碍物方向信息为θi(i=1,2,...,Ns),Ns为当前检测到的障碍物数量;定义向量R为轮椅的当前环境信息:
Figure GDA0003883041680000141
优选的,运动规划模块包括阻力函数计算子模块和引力函数计算子模块;
阻力函数计算子模块用于对激光传感器检测的每一个角度上对应的阻力进行计算;
引力函数计算子模块用于对激光传感器检测的每一个角度上对应的引力进行计算;
通过阻力函数和引力函数计算得出通行函数,求通行函数最大值以计算出最优的运动角度,以获得最优的运动路径规划方案。
具体的,首先通过激光传感器来检测环境信息,然后通过阻力函数和引力函数计算出每个角度上的阻力与引力,最终输出最优的运动角度。如图9所示,Db是激光传感器检测范围的最大有效值,检测范围为轮椅正前方180度的扇形区域,假设点P为障碍点,θp是障碍物点P在坐标系下的角度,Rp为轮椅到障碍物的距离,DS为最小安全距离,该距离由轮椅的宽度决定,满足DS≥LR/2,利用三角函数关系,可以得到障碍点P在角度域上产生阻力的区间[αp,βp]:
Figure GDA0003883041680000151
在角度为θ的障碍点P的阻力可表示为:
Figure GDA0003883041680000152
在检测范围内阻力函数可以表示为:
Fr(θ)=max(Fr1(θ),Fr2(θ),...,Frn(θ)) (15)
同时,引力函数Fg可以表示为:
Figure GDA0003883041680000153
其中,τ是一个比例系数,通过上述的引力和阻力函数,可以得出角度为θ的通行函数为:
Figure GDA0003883041680000154
通行函数表示了引力和阻力的综合效果,引力和阻力的比值越大,代表该角度越容易通行,因此根据通行函数的最大值Fpg就可以确定对应的最优输出角度θopt
Figure GDA0003883041680000155
根据轮椅运动学模型,将势场法输出的最优角度转化为轮椅的速度vopt与角速度ωopt为:
Figure GDA0003883041680000156
Figure GDA0003883041680000157
其中λ为比例系数,考虑到轮椅的物理输出限制,对于输出的速度vo和角速度ωo有如下的限制条件:
Figure GDA0003883041680000161
Figure GDA0003883041680000162
优选的,智能轮椅的运动学方程如下式所示:
Figure GDA0003883041680000163
其中p表示智能轮椅在全局坐标系下的位姿,xd表示期望的X轴坐标,yd表示期望的Y轴坐标,θd表示期望的航向角,在固定坐标系内的位姿误差pe定义为:
Figure GDA0003883041680000164
其中,xd、yd、θd分别为智能轮椅在全局坐标系下X轴方向的期望位置、Y轴方向的期望位置、期望航向角,xr、yr、θr分别为智能轮椅在全局坐标系下X轴方向的实际位置、Y轴方向的实际位置、实际航向角,xe、ye、θe分别为智能轮椅在全局坐标系下X轴方向的误差、Y轴方向的误差、航向角误差。
通过控制输入,使得对于任意初始误差,误差的导数
Figure GDA0003883041680000167
有界且
Figure GDA0003883041680000165
给定运动学轨迹为:
Figure GDA0003883041680000166
其中xd和yd表示X轴方向和Y轴方向的理想位置,θd为理想的位姿角。
具体的,坐标(xd,yd)和角度θd不是相互独立的,三个变量有两个独立;选择位置指令为(xd,yd),位置跟踪误差为(xe,ye);
反演控制器的设计步骤如下:
步骤1:引人虚拟输入α,根据式(23),取:
Figure GDA0003883041680000171
令Lyapunov函数V1
Figure GDA0003883041680000172
其中xe、ye由式(24)式定义。
由式(24)和式(26)可得
Figure GDA0003883041680000173
通过设计虚拟量α,使得
Figure GDA0003883041680000174
其中c1、c2为可调参数,则
Figure GDA0003883041680000175
Figure GDA0003883041680000176
如果将线速度和虚拟控制律设计为:
Figure GDA0003883041680000177
Figure GDA0003883041680000178
则可保证式(29)成立。
可见,如果xe=0,ye=0,则
Figure GDA0003883041680000179
为了实现θr跟踪θd,第二步要保证θr跟踪α。
步骤2:令eθ=α-θr,定义Lyapunov函数V2为:
Figure GDA00038830416800001710
Figure GDA0003883041680000181
将角速度控制律设计为:
Figure GDA0003883041680000182
其中c3为可调参数,则
Figure GDA0003883041680000183
其中Cm≤min(C1,C2,C3),
Figure GDA0003883041680000184
即V2(t)以指数形式收敛于零,从而t→∞时,xe→0,ye→0,θe→0且以指数形式收敛。
根据本发明实施例的一种基于表面肌电信号的智能轮椅人机协同控制系统的其他构成以及操作对于本领域普通技术人员而言都是已知的,这里不再详细描述。
上述一种基于表面肌电信号的智能轮椅人机协同控制系统中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备的存储器中,以便于处理器调用执行以上各模块对应的操作。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点,其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施,但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰,都应涵盖在本发明的保护范围内。

Claims (8)

1.一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:包括肌电解码模块、环境检测模块、运动规划模块和运动控制模块;
所述肌电解码模块包括手势检测子模块和肌肉刚度检测子模块;
所述手势检测子模块通过肌电手环采集肌电信号,并识别操作者的当前手势,生成手势信息;手势用于指定目标点的方向和距离;
所述肌肉刚度检测子模块通过六导联肌电传感器采集肌电信号,并识别当前手臂肌肉的刚度,生成肌肉刚度信息;肌肉刚度用于调节轮椅的速度;
所述环境检测模块通过激光传感器检测获得轮椅周围障碍物的位置,并反馈给运动规划模块;
所述运动规划模块用于接收目标点位置信息和障碍物位置信息以及肌肉刚度关联的轮椅速度信息,采用角度势场法规划出轮椅从起点到目标点的安全轨迹;
所述运动控制模块采用反演控制器跟踪运动规划模块所规划的安全轨迹,生成运动指令,以驱动轮椅按照规划的安全轨迹运动。
2.根据权利要求1的一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:所述手势检测子模块包括样本训练单元,所述样本训练单元用于对每一种手势的肌电信号进行采集,建立数据库以保存所有采集的手势样本;对每一个样本,提取出其肌电信号,进行数据处理,筛选出有效的信号段,对该信号段进行特征提取,得到训练样本的特征及样本模型,借助动态时间归整匹配算法训练出能够有效识别手势的K-近邻分类器。
3.根据权利要求2的一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:所述手势检测子模块还包括未知手势识别单元,未知手势识别单元用于将一个新用户的手势作为一个未知手势输入,提取出其肌电信号,进行数据处理和特征提取,与所述样本训练单元训练得到的样本模型进行动态时间归整匹配,通过K-近邻分类器进行判断,以得到未知手势的具体手势类别。
4.根据权利要求3的一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:所述肌肉刚度检测子模块的肌肉刚度dG由下式计算:
Figure FDA0003883041670000021
其中a是非线性参数,其范围为[-3,0],e为自然对数的底,约为2.7183,EMGp(k)是平滑滤波后的肌电信号,其计算公式如下:
Figure FDA0003883041670000022
其中,J是平滑滤波滑窗大小,EMG(k)是将六导联肌电传感器在k时刻各个肌电信号EMGi(k),i=1,2,…,6整合后的值,可以通过下式计算:
Figure FDA0003883041670000023
根据上述公式,可以通过六导联肌电传感器测量的肌电信号计算出手臂肌肉的刚度。
5.根据权利要求1的一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:所述手势检测子模块采用极坐标的方式设置轮椅目标点,包括:
以轮椅的当前位置为极坐标的原点,通过肌电手环的手势识别结果来指定目标点的方向和距离,六导联肌电传感器获取的肌肉刚度来调节引力势场的势能强度,以调节轮椅速度,极坐标表示量X=[rss]T被定义为:
Figure FDA0003883041670000024
θs=tan-1(ys,xs)
其中,xs、ys分别是目标点在直角坐标系中的横轴坐标和纵轴坐标,θs是目标点在极坐标系中的极角,rs是目标点在极坐标系中的极轴;
轮椅目标点的方向由手势信号决定,方位控制模型如下:
θs(k+1)=θs(k)+α(k)K1
其中,θs(k)表示第k步更新时的角度运动方向,K1表示极角和极轴的调整比例系数,α(k)表示方位控制的输入信号;
轮椅目标点的径向距离也由手势信号决定,径向距离控制模型如下:
rs(k+1)=rs(k)+β(k)K1
其中,rs(k)表示第k步更新时的极距,β(k)是径向运动控制的输入信号。
6.根据权利要求1的一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:所述环境检测模块通过安装在轮椅正前方的激光传感器,以检测轮椅前进方向180度范围内的障碍物情况;
在2D检测平面内,定义角度为i处检测的信息为pi=(Rii),并且定义激光传感器检测当前障碍物距离信息为Ri(i=1,2,...,Ns),障碍物方向信息为θi(i=1,2,...,Ns),Ns为当前检测到的障碍物数量;定义向量R为轮椅的当前环境信息:
Figure FDA0003883041670000031
7.根据权利要求1的一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:所述运动规划模块包括阻力函数计算子模块和引力函数计算子模块;
所述阻力函数计算子模块用于对激光传感器检测的每一个角度上对应的阻力进行计算;
所述引力函数计算子模块用于对激光传感器检测的每一个角度上对应的引力进行计算;
通过阻力函数和引力函数计算得出通行函数,求通行函数最大值以计算出最优的运动角度,以获得最优的运动路径规划方案。
8.根据权利要求1的一种基于表面肌电信号的智能轮椅人机协同控制系统,其特征在于:智能轮椅的运动学方程如下式所示:
Figure FDA0003883041670000041
其中p表示智能轮椅在全局坐标系下的位姿,xd表示期望的X轴坐标,yd表示期望的Y轴坐标,θd表示期望的航向角,q=[voo]T表示输入量,vo为智能轮椅线速度,ωo为智能轮椅角速度;
在固定坐标系内的位姿误差pe定义为:
Figure FDA0003883041670000042
其中,xd、yd、θd分别为智能轮椅在全局坐标系下X轴方向的期望位置、Y轴方向的期望位置、期望航向角,xr、yr、θr分别为智能轮椅在全局坐标系下X轴方向的实际位置、Y轴方向的实际位置、实际航向角,xe、ye、θe分别为智能轮椅在全局坐标系下X轴方向的误差、Y轴方向的误差、航向角误差;
通过控制输入,使得对于任意初始误差,误差的导数
Figure FDA0003883041670000043
有界且
Figure FDA0003883041670000044
给定运动学轨迹为:
Figure FDA0003883041670000045
其中xd和yd表示X轴方向和Y轴方向的理想位置,θd为理想的位姿角。
CN202210482746.5A 2022-05-05 2022-05-05 一种基于表面肌电信号的智能轮椅人机协同控制系统 Active CN114848315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210482746.5A CN114848315B (zh) 2022-05-05 2022-05-05 一种基于表面肌电信号的智能轮椅人机协同控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210482746.5A CN114848315B (zh) 2022-05-05 2022-05-05 一种基于表面肌电信号的智能轮椅人机协同控制系统

Publications (2)

Publication Number Publication Date
CN114848315A CN114848315A (zh) 2022-08-05
CN114848315B true CN114848315B (zh) 2022-12-13

Family

ID=82635900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210482746.5A Active CN114848315B (zh) 2022-05-05 2022-05-05 一种基于表面肌电信号的智能轮椅人机协同控制系统

Country Status (1)

Country Link
CN (1) CN114848315B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115469665B (zh) * 2022-09-16 2023-07-04 广东工业大学 一种适应于动态环境的智能轮椅目标跟踪控制方法和系统
CN115586748B (zh) * 2022-11-24 2023-03-10 苏州德机自动化科技有限公司 一种移动式智能柔性运动控制系统及其方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008105590A1 (en) * 2007-02-27 2008-09-04 Industry-Academic Cooperation Foundation, Yeungnam University Stiffness sensor and muscle activity sensor having the same
CN104552295A (zh) * 2014-12-19 2015-04-29 华南理工大学 一种基于多信息融合的人机技能传递系统
CN104586608A (zh) * 2015-02-05 2015-05-06 华南理工大学 基于肌电控制的可穿戴式助力手指及其控制方法
DE102015202179A1 (de) * 2015-02-06 2016-08-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung einer Handsteifigkeit
CN108606882A (zh) * 2018-03-23 2018-10-02 合肥工业大学 基于肌电和加速度自适应控制的智能轮椅控制系统
CN109044651A (zh) * 2018-06-09 2018-12-21 苏州大学 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN208693637U (zh) * 2017-10-26 2019-04-05 吴昌松 神经科康复椅及神经科康复设备
CN113419622A (zh) * 2021-05-25 2021-09-21 西北工业大学 基于手势操作的潜艇作战指控系统交互方法及设备
WO2022027822A1 (zh) * 2020-08-03 2022-02-10 南京邮电大学 一种基于肌电信号的智能手势动作生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437844B2 (en) * 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
US20160262664A1 (en) * 2015-03-10 2016-09-15 Michael Linderman Detection Of Disease Using Gesture Writing Bio-Markers
CN206869888U (zh) * 2017-02-20 2018-01-12 苏州晨本智能科技有限公司 一种基于表面肌电信号的移动机器臂系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008105590A1 (en) * 2007-02-27 2008-09-04 Industry-Academic Cooperation Foundation, Yeungnam University Stiffness sensor and muscle activity sensor having the same
CN104552295A (zh) * 2014-12-19 2015-04-29 华南理工大学 一种基于多信息融合的人机技能传递系统
CN104586608A (zh) * 2015-02-05 2015-05-06 华南理工大学 基于肌电控制的可穿戴式助力手指及其控制方法
DE102015202179A1 (de) * 2015-02-06 2016-08-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung einer Handsteifigkeit
CN208693637U (zh) * 2017-10-26 2019-04-05 吴昌松 神经科康复椅及神经科康复设备
CN108606882A (zh) * 2018-03-23 2018-10-02 合肥工业大学 基于肌电和加速度自适应控制的智能轮椅控制系统
CN109044651A (zh) * 2018-06-09 2018-12-21 苏州大学 未知环境中基于自然手势指令的智能轮椅控制方法及系统
WO2022027822A1 (zh) * 2020-08-03 2022-02-10 南京邮电大学 一种基于肌电信号的智能手势动作生成方法
CN113419622A (zh) * 2021-05-25 2021-09-21 西北工业大学 基于手势操作的潜艇作战指控系统交互方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多特征组合的动态手势识别;曹海婷等;《计算机工程与设计》;20180616(第06期);第1727-1731页 *

Also Published As

Publication number Publication date
CN114848315A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114848315B (zh) 一种基于表面肌电信号的智能轮椅人机协同控制系统
CN109044651B (zh) 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN106726209B (zh) 一种基于脑机接口与人工智能的智能轮椅控制方法
CN109966064B (zh) 带有侦查装置的融合脑控与自动驾驶的轮椅及控制方法
Liu et al. Brain–robot interface-based navigation control of a mobile robot in corridor environments
Zhao et al. Brain–machine interfacing-based teleoperation of multiple coordinated mobile robots
CN103336581A (zh) 基于人体眼动特征设计的人机交互方法及系统
Wei et al. A hybrid human-machine interface for hands-free control of an intelligent wheelchair
Petit et al. An integrated framework for humanoid embodiment with a BCI
Jafar et al. Eye controlled wheelchair using transfer learning
CN106214163A (zh) 一种下肢畸形矫正术后康复的人工心理辅导装置
CN115120429B (zh) 一种基于表面肌电信号的智能轮椅人体跟随控制系统
Wei et al. Fusing EMG and visual data for hands-free control of an intelligent wheelchair
CN107309883A (zh) 智能机器人
Zhao et al. Teleoperation control of a wheeled mobile robot based on Brain-machine Interface
Moon et al. Safe and reliable intelligent wheelchair robot with human robot interaction
Srisuphab et al. Artificial neural networks for gesture classification with inertial motion sensing armbands
CN116442219A (zh) 一种智能机器人控制系统及方法
Ajay et al. Smart wheelchair
CN114073625B (zh) 一种可自主导航的脑电控制电动轮椅
Wei et al. A multi-modal human machine interface for controlling an intelligent wheelchair using face movements
Sun et al. An automatic control model for rat-robot
Yuan et al. Brain teleoperation of a mobile robot using deep learning technique
Bien et al. Blend of soft computing techniques for effective human–machine interaction in service robotic systems
Turnip et al. Development of brain-controlled wheelchair supported by raspicam image processing based Raspberry Pi

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant