CN104083258B - 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 - Google Patents

一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 Download PDF

Info

Publication number
CN104083258B
CN104083258B CN201410269902.5A CN201410269902A CN104083258B CN 104083258 B CN104083258 B CN 104083258B CN 201410269902 A CN201410269902 A CN 201410269902A CN 104083258 B CN104083258 B CN 104083258B
Authority
CN
China
Prior art keywords
wheelchair
destination
brain
user
computer interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410269902.5A
Other languages
English (en)
Other versions
CN104083258A (zh
Inventor
李远清
张瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201410269902.5A priority Critical patent/CN104083258B/zh
Publication of CN104083258A publication Critical patent/CN104083258A/zh
Priority to PCT/CN2014/093071 priority patent/WO2015192610A1/zh
Application granted granted Critical
Publication of CN104083258B publication Critical patent/CN104083258B/zh
Priority to US15/380,047 priority patent/US20170095383A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
    • G05B6/02—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/70—General characteristics of devices with special adaptations, e.g. for safety or comfort
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下步骤：根据网络摄像头获取当前图片对障碍物实现定位；障碍物信息产生候选目的地和用于路径规划的航迹点；对轮椅进行自定位；用户通过脑机接口选择目的地；将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合航迹点规划最优路径；计算轮椅当前位置与最优路径的位置差作为PID路径跟踪算法的反馈；PID路径跟踪算法计算出参考角速度和线速度并入到PID运动控制器，并将里程数据转化为当前的角速度和线速度信息作为PID运动控制器的反馈，实时控制轮椅行驶至目的地。本发明的方法，极大程度地减轻用户的精神负担，且能适应多变的环境，提高了重症瘫痪病人的生活自理能力。

Description

一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
技术领域
本发明涉及脑机接口应用研究及人工智能领域，特别涉及一种基于脑机接口与自动驾驶技术的智能轮椅控制方法。
背景技术
世界各地有数以百万计的残疾人由于患有运动功能障碍从而丧失了运动能力。其中成千上万人的日常生活需要依赖电动轮椅。但是仍有一部分丧失运动能力的人不能操控传统的电动轮椅，有以下两个方面的原因：(1)他们不能通过传统的接口(如轮椅的控制杆)控制这类轮椅；(2)他们被认为没有能力安全地控制这类轮椅。
随着人工智能技术的高速发展，越来越多的研究成果被应用于辅助此类人群的运动功能，从而提高他们的生活质量。其中，基于神经信号的脑机接口(brain computer interface，BCI)作为一种人机交互方式发展尤为迅速，也是近年来脑功能研究的热点课题。但是，脑机接口作为一种新的交互方式来控制电动轮椅也面临着新的挑战：通过脑机接口准确地表达人的意图需要高度集中精神。因此，如果通过脑机接口直接控制轮椅行驶，会给残疾人产生巨大的精神负担。此外，由于脑信号不稳定，我们当前无法通过现有技术获得像轮椅控制杆同样的信息传输率，并且很难达到像控制操纵杆所能达到的操控能力。
脑机接口是指在脑和计算机或其它设备之间建立直接的交流和控制通道，它不依赖于外周神经系统及肌肉组织，是一种全新的人机接口方式。脑机接口分为植入式与非植入式两类。植入式脑机接口所获得的脑信号精度相对较高，信噪比高，易于分析处理，但需要对使用者进行开颅手术，危险性较大，目前主要用于动物实验研究。非植入式脑机接口获取的脑信号噪声大，信号特征的可区分性差，但获取脑信号不需要进行任何手术，而且随着信号处理方法和技术的不断进步，对头皮脑电(electroencephalogram，EEG)的处理已经达到了一定的水平，使脑机接口应用于实际生活成为可能。本发明以下内容所提及的脑机接口均指非植入式的脑机接口。目前，非植入式脑机接口研究所使用的信号主要包括P300，稳态视觉诱发电位(steady state visually evoked potential,SSVEP)等事件相关电位(event related potential,ERP)，mu及beta节律，慢皮层电位(slow cortical potential,SCP)等。
脑机接口通常包括三部分：1)信号采集。2)信号处理。从神经信号中提取使用者的意识，并通过特定的模式识别算法将输入的使用者的神经信号转换为控制外部设备的输出指令。3)控制外部设备。根据使用者的意识来驱动外部设备，从而替代用户丧失的运动和交流能力。
目前，大部分的脑控轮椅系统都是利用脑机接口直接控制轮椅，没有加入自动驾驶技术，例如中国专利(一种新型的基于运动想象脑电控制的智能轮椅系统，公开号：CN 101897640 A；基于运动想象控制的残疾人轮椅车，公开号：CN 101953737 A)。采集人在想象左右手运动过程中的头皮脑电信号，通过分析脑电特异性成分，判断用户想象的方向，实现对轮椅运动方向的控制。中国专利(基于多模态脑机接口的智能轮椅，公开号：CN 102309380 A)。该发明采用多模态脑机接口对轮椅实现多自由度控制。通过事件相关电位P300实现对电动轮椅的启动、停止、后退以及速度控制；通过运动想象实现轮椅的方向控制。以上所述发明存在以下3个问题：(1)轮椅控制是多目标的，包括起动、停止，方向控制和速度控制。但是当前脑机接口很难产生如此多的控制命令。尽管专利(基于多模态脑机接口的智能轮椅，公开号：CN 102309380 A)已经采用多模态的脑机接口获得多种控制命令，但是用P300或者SSVEP产生精确的控制命令需要的时间较长，不适合对轮椅实际的控制。(2)脑机接口的性能因人而异。例如，很多人经过长时间的运动想象训练仍不能产生可以明显区分的控制信号。(3)长时间通过脑机接口控制轮椅对用户产生较大的精神负担。将自动驾驶技术引入到轮椅控制系统中可以解决上述问题。具有自动驾驶功能的轮椅在导航时，不需要任何控制命令。但是自动导航系统不能执行所有的控制命令。例如，自动导航系统不能自动识别出用户目的地的指令，因此需要一个特定的人机接口向自动导航系统传递目的地信息。但是对于运动功能丧失的残疾人，例如(ALS)病人，使用传统的人机接口(例如，控制杆，键盘等)会存在障碍。因此脑机接口技术与自动驾驶技术的结合对解决以上问题会是一个很好的方向。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于脑机接口与自动驾驶技术的智能轮椅控制方法。
本发明的目的通过以下的技术方案实现：
一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下顺序的步骤：
S1.通过固定在墙面上的网络摄像头获取当前的图片信息，将获取的图片采用图像处理方法对障碍物实现定位；
S2.根据障碍物信息产生候选目的地和用于路径规划的航迹点；
S3.对轮椅进行自定位；
S4.用户通过脑机接口选择目的地；
S5.将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合障碍物定位后产生的航迹点，经过A*算法进行路径规划，产生一条最短的最优路径；
S6.获取最优路径后，计算轮椅当前位置与最优路径的位置差，将位置差作为PID路径跟踪算法的反馈，由PID路径跟踪算法计算出参考的角速度和线速度；
S7.将参考角速度和线速度输入到PID运动控制器，并从固定在轮椅左右两侧轮子上的里程计获得里程数据，将里程数据转化为轮椅当前的角速度和线速度信息，然后将转化得到的角速度和线速度信息作为PID运动控制器的反馈，从而调节轮椅的控制信号，实时控制轮椅行驶至目的地。
步骤S1中，障碍物实现定位是通过以下顺序的步骤完成：
(1)用阈值分割方法将图片中障碍物与地板分割；
(2)通过形态学开操作去除噪声，形态学闭操作重建开操作中去除的区域，从而获取每一个已分割区域的轮廓；
(3)通过去除比较小的轮廓，达到进一步去噪，然后将剩下的轮廓用凸包拟合；
(4)根据对应关系矩阵，将凸包的顶点映射到全局坐标系即地面平面坐标系；其中对应关系矩阵表示图像的像素坐标系与地面平面坐标系之间的对应关系；
(5)计算每张图片对应的凸包在全局坐标系下的相交区域，障碍物在坐标系中所对应的位置可以用这些相交区域近似。
所述的步骤S3，对轮椅进行自定位的方法包含以下顺序的步骤：
A、初始定位
(1)根据激光雷达采集到的距离点信息，用最小二乘拟合算法提取直线，并根据激光雷达扫描的方向，将提取到的直线转换成有方向信息的向量；
(2)将提取到的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前的位置；
B、过程定位
(1)根据上一时刻轮椅的位置信息，并根据里程计的数据对轮椅下一时刻的位置进行航迹推算，根据航迹推算的位置对激光雷达获取到的向量进行坐标变换；
(2)将坐标变换后的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前时刻的位置。
所述的步骤S4，具体为通过运动想象的脑机接口选择目的地，包含以下顺序的步骤：
(1)候选目的地分别用浅色和深色的实心圆表示，两种颜色分别代表两种不同类别的目的地；
(2)如果用户想选择一个浅色/深色的目的地，他需要根据图形用户接口界面中水平条的颜色相应地执行至少2秒的左/右手运动想象；当脑机接口系统检测到左/右手运动想象，浅色/深色的目的地保留在GUI中，并进一步将保留在GUI中的目的地划分成两类，两类分别用浅色和深色区别，其他的目的地从GUI中消失；
(3)用户一直重复这个选择过程直到只剩下一个目的地，最后用户需要继续执行2秒的左/右手运动想象接受/拒绝选择的目的地。
所述运动想象的检测算法步骤如下：
(1)提取200ms的EEG信号，使用共同平均参考(common average reference,CAR)滤波，8～30Hz的带通滤波；
(2)将滤波后的EEG信号使用共同空间模式(Common spatial pattern，CSP)投影后作为特征向量；
(3)将获得的特征向量输入到SVM分类器，得到预测的类和对应的SVM输出值，如果SVM输出值超过一定的阈值，对应类别作为输出结果。
所述的步骤S4，具体为通过P300的脑机接口选择目的地，包含以下顺序的步骤：
(1)用户首先有20秒的时间从图形用户接口界面中确定他想选择的目的地的编号；
(2)20秒后，P300的GUI将出现在屏幕上，其中每个闪烁键的编号与图形用户接口界面中实心圆中的编号一致；
(3)利用出现在屏幕上P300的GUI，用户可以通过注视对应编号的闪烁键来选择目的地；
(4)当选择完目的地，用户需要继续注视闪烁键‘O/S’进一步验证；否则，用户需要注视闪烁键‘Delete’拒绝上一次的选择，并重新选择目的地。
所述P300检测算法步骤如下：
(1)EEG信号经过0.1～20Hz的带通滤波，5Hz的下采样；
(2)对P300的GUI中的每一个闪烁键，从每个通道中提取一段EEG信号形成一个向量，结合所有通道的向量形成特征向量，其中EEG信号长度为闪烁后600ms；
(3)SVM分类器应用到这些特征向量，获得对应40个闪烁键的值；
(4)经过4个round后，计算对应每一个键的SVM值的和，并找出其中最大和次大值，如果最大和次大值的差超过某一阈值，对应最大值的闪烁键作为输出的结果；否则继续检测前4个round，直到满足阈值条件；其中，所有的闪烁键随机地闪烁完一次定义为一个round。
所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，还包括轮椅行驶过程中，如果用户想停止轮椅并更改目的地，通过基于运动想象或者P300的脑机接口向轮椅发送停止命令，具体步骤如下：
(1)通过运动想象的脑机接口停止轮椅：在轮椅行驶过程中，想象左手运动超过3秒超过预设的阈值，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口；
(2)通过基于P300的脑机接口停止轮椅：在轮椅行驶过程中，用户只需注视闪烁键‘O/S’，一旦脑机接口系统检测到对应闪烁键‘O/S’的P300，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口，供用户重新选择目的地。
本发明与现有技术相比，具有如下优点和有益效果：
1、本轮椅系统引入了协同控制的概念，充分利用人的智能、自动驾驶精确的控制能力的优点，并让两者控制不同的方面相互取长补短。根据传感器(固定在墙面上的网络摄像头)充分感知的障碍物信息，自动导航系统对障碍物进行实时的定位。根据障碍物在房间的位置信息，供用户选择的候选目的地和用于规划路径的航迹点自动产生。用户可以通过基于运动想象或者P300的脑机接口选择一个目的地。根据选择的目的地，导航系统规划出一条最短且最安全的路径，并自动导航轮椅到达选择的目的地。在轮椅行驶至目的地的过程中，用户能通过脑机接口发送停止命令，使用本发明所提出的系统，能够极大程度地减轻用户的精神负担。
每一次导航任务只需要用户在轮椅起动前通过脑机接口选择目的地，自动导航系统就会自动导航轮椅到达用户选择的目的地，导航期间不需要用户发出任何指令。因此，与其它发明相比，我们的系统极大程度地减轻了用户的精神负担；
2、轮椅行驶的路径是根据当前环境自动产生的，而不是离线预定义的。因此，我们的系统更能适应多变的环境。
附图说明
图1为本发明所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法的应用界面；
图2为图1所述方法的基于运动想象的目的地选择的图形用户接口(GUI)图；
图3为图1所述方法的基于P300的目的地选择的图形用户接口(GUI)图；
图4为图1所述方法的系统框图；
图5为图1所述方法的轮椅自定位算法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例一
如图1、2、3、4、5，一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下顺序的步骤：
S1.通过固定在墙面上的网络摄像头获取当前的图片信息，将获取的图片采用图像处理方法对障碍物实现定位；所述的障碍物实现定位是通过以下顺序的步骤完成的：
(1)用阈值分割方法将图片中障碍物与地板分割；
(2)通过形态学开操作去除噪声，形态学闭操作重建开操作中去除的区域，从而获取每一个已分割区域的轮廓；
(3)通过去除比较小的轮廓，达到进一步去噪，然后将剩下的轮廓用凸包拟合；
(4)根据对应关系矩阵，将凸包的顶点映射到全局坐标系即地面平面坐标系；其中对应关系矩阵表示图像的像素坐标系与地面平面坐标系之间的对应关系；
(5)计算每张图片对应的凸包在全局坐标系下的相交区域，障碍物在坐标系中所对应的位置可以用这些相交区域近似；
S2.根据障碍物信息产生候选目的地和用于路径规划的航迹点；
S3.如图5，对轮椅进行自定位，对轮椅进行自定位的方法具体包含以下顺序的步骤：
轮椅的自定位分为两类：初始定位和过程定位。
S31.初始定位：(1)根据激光雷达采集到的距离点信息，用最小二乘拟合算法提取直线，并根据激光雷达扫描的方向，将提取到的直线转换成有方向信息的向量。(2)将提取到的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前的位置。
S32.过程定位：(1)根据上一时刻轮椅的位置信息，并根据里程计的数据对轮椅下一时刻的位置进行航迹推算，根据航迹推算的位置对激光雷达获取到的向量进行坐标变换。(2)将坐标变换后的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前时刻的位置；
S4.用户通过脑机接口选择目的地：
第一种：如图2，通过运动想象的脑机接口选择目的地，包含以下顺序的步骤：
(1)候选目的地分别用浅色和深色的实心圆表示，两种颜色分别代表两种不同类别的目的地；
(2)如果用户想选择一个浅色/深色的目的地，他需要根据图形用户接口界面中水平条的颜色相应地执行至少2秒的左/右手运动想象；当脑机接口系统检测到左/右手运动想象，浅色/深色的目的地保留在GUI中，并进一步将保留在GUI中的目的地划分成两类，两类分别用浅色和深色区别，其他的目的地从GUI中消失；
(3)用户一直重复这个选择过程直到只剩下一个目的地，最后用户需要继续执行2秒的左/右手运动想象接受/拒绝选择的目的地；
所述运动想象的检测算法步骤如下：
(1)提取200ms的EEG信号，使用共同平均参考(common average reference,CAR)滤波，8～30Hz的带通滤波；
(2)将滤波后的EEG信号使用共同空间模式(Common spatial pattern，CSP)投影后作为特征向量；
(3)将获得的特征向量输入到SVM分类器，得到预测的类和对应的SVM输出值，如果SVM输出值超过一定的阈值，对应类别作为输出结果。
第二种：如图3，通过P300的脑机接口选择目的地，包含以下顺序的步骤：
(1)用户首先有20秒的时间从图形用户接口界面中确定他想选择的目的地的编号；
(2)20秒后，P300的GUI(如图3)将出现在屏幕上，其中每个闪烁键的编号与图形用户接口界面(如图1)中实心圆中的编号一致；
(3)利用如图3出现在屏幕上P300的GUI，用户可以通过注视对应编号的闪烁键来选择目的地；
(4)当选择完目的地，用户需要继续注视闪烁键‘O/S’进一步验证；否则，用户需要注视闪烁键‘Delete’拒绝上一次的选择，并重新选择目的地；
所述P300检测算法步骤如下：
(1)EEG信号经过0.1～20Hz的带通滤波，5Hz的下采样；
(2)对P300的GUI中的每一个闪烁键，从每个通道中提取一段EEG信号形成一个向量，结合所有通道的向量形成特征向量，其中EEG信号长度为闪烁后600ms；
(3)SVM分类器应用到这些特征向量，获得对应40个闪烁键的值；
(4)经过4个round后，计算对应每一个键的SVM值的和，并找出其中最大和次大值，如果最大和次大值的差超过某一阈值，对应最大值的闪烁键作为输出的结果；否则继续检测前4个round，直到满足阈值条件。其中，所有的闪烁键随机地闪烁完一次定义为一个round；
S5.将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合障碍物定位后产生的航迹点，经过A*算法进行路径规划，产生一条最短的最优路径；
S6.获取最优路径后，计算轮椅当前位置与最优路径的位置差，将位置差作为PID路径跟踪算法的反馈，由PID路径跟踪算法计算出参考角速度和线速度；
S7.将参考角速度和线速度输入到PID运动控制器，并从固定在轮椅左右两侧轮子上的里程计获得里程数据，将里程数据转化为轮椅当前的角速度和线速度信息，然后将转化得到的角速度和线速度信息作为PID运动控制器的反馈，从而调节轮椅的控制信号，实时控制轮椅行驶至目的地；
S8.如果用户想停止轮椅并更改目的地，可以通过基于运动想象或者P300的脑机接口向轮椅发送停止命令，具体步骤如下：
(1)通过运动想象的脑机接口停止轮椅：在轮椅行驶过程中，想象左手运动超过3秒超过预设的阈值，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口；
(2)通过基于P300的脑机接口停止轮椅：在轮椅行驶过程中，用户只需注视着图3中的闪烁键‘O/S’，一旦脑机接口系统检测到对应闪烁键‘O/S’的P300，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口，供用户重新选择目的地。
实施例二
下面通过更为具体的实施例对本发明进行介绍：
通过使用者头部所戴的电极帽采集脑电信号；
将采集到的脑电数据传送到车载的计算机里进行实时处理；同时固定在轮椅前方的SICK LMS111激光雷达通过TCP网络向车载计算机实时传送数据，用于轮椅自定位；固定在轮椅左右主动轮上的里程计通过串口传送实时数据，转化为线速度和角速度并作为PID控制器的反馈数据，用于实时调节轮椅当前的速度；
固定在房间墙面上的网络摄像头通过无线网络与车载计算机连接，通过车载计算机控制是否传送当前的图像数据，对传送的图像数据进行图像处理，将房间里的障碍物与地板图像分割，用于定位房间里的障碍物；
障碍物定位结束后，自动导航系统自动产生可供用户选择的目的地，这些目的地分布在障碍物的四周以及以1米的距离均匀分布在空地上；根据障碍物在房间的分布构建广义的Voronoi图，利用构建的Voronoi图的边作为轮椅可以通行的路径，通过这种方式形成的路径尽量远离路径两边的障碍物，因此以此作为导航的路径最安全；以Voronoi图的边每隔0.2米提取航迹点，每个航迹点的坐标信息以及每个航迹点之间的相邻关系输入到路径规划模块。一旦用户选择目的地，路径规划模块根据当前轮椅的位置，目的地的位置以及航迹点的信息规划出一条最短的路径；
路径跟踪模块根据当前轮椅的位置以及规划出的路径计算出参考的线速度和角速度。考虑到驾驶轮椅的安全性和舒适性，将线速度固定为0.2m/s，角速度最大不超过0.6rad/s；将参考的线速度和角速度传送到运动控制模块(即PID控制器)，控制器根据采集的里程计信息作为当前速度的反馈，实时控制轮椅行驶至目的地。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，其特征在于，包括以下顺序的步骤：
S1.通过固定在墙面上的网络摄像头获取当前的图片信息，将获取的图片采用图像处理方法对障碍物实现定位；
S2.根据障碍物信息产生候选目的地和用于路径规划的航迹点；
S3.对轮椅进行自定位，方法包含以下顺序的步骤：
A、初始定位
(1)根据激光雷达采集到的距离点信息，用最小二乘拟合算法提取直线，并根据激光雷达扫描的方向，将提取到的直线转换成有方向信息的向量；
(2)将提取到的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前的位置；
B、过程定位
(1)根据上一时刻轮椅的位置信息，并根据里程计的数据对轮椅下一时刻的位置进行航迹推算，根据航迹推算的位置对激光雷达获取到的向量进行坐标变换；
(2)将坐标变换后的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前时刻的位置；
S4.用户通过脑机接口选择目的地；
S5.将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合障碍物定位后产生的航迹点，经过A*算法进行路径规划，产生一条最短的最优路径；
S6.获取最优路径后，计算轮椅当前位置与最优路径的位置差，将位置差作为PID路径跟踪算法的反馈，由PID路径跟踪算法计算出参考角速度和线速度；
S7.将参考角速度和线速度输入到PID运动控制器，并从固定在轮椅左右两侧轮子上的里程计获得里程数据，将里程数据转化为轮椅当前的角速度和线速度信息，然后将转化得到的角速度和线速度信息作为PID运动控制器的反馈，从而调节轮椅的控制信号，实时控制轮椅行驶至目的地。
2.根据权利要求1所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，其特征在于，步骤S1中，障碍物实现定位是通过以下顺序的步骤完成：
(1)用阈值分割方法将图片中障碍物与地板分割；
(2)通过形态学开操作去除噪声，形态学闭操作重建开操作中去除的区域，从而获取每一个已分割区域的轮廓；
(3)通过去除比较小的轮廓，达到进一步去噪，然后将剩下的轮廓用凸包拟合；
(4)根据对应关系矩阵，将凸包的顶点映射到全局坐标系即地面平面坐标系；其中对应关系矩阵表示图像的像素坐标系与地面平面坐标系之间的对应关系；
(5)计算每张图片对应的凸包在全局坐标系下的相交区域，障碍物在坐标系中所对应的位置可以用这些相交区域近似。
3.根据权利要求1所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，其特征在于，所述的步骤S4，具体为通过运动想象的脑机接口选择目的地，包含以下顺序的步骤：
(1)候选目的地分别用浅色和深色的实心圆表示，两种颜色分别代表两种不同类别的目的地；
(2)如果用户想选择一个浅色/深色的目的地，他需要根据图形用户接口界面中水平条的颜色相应地执行至少2秒的左/右手运动想象；当脑机接口系统检测到左/右手运动想象，浅色/深色的目的地保留在GUI中，并进一步将保留在GUI中的目的地划分成两类，两类分别用浅色和深色区别，其他的目的地从GUI中消失；
(3)用户一直重复这个选择过程直到只剩下一个目的地，最后用户需要继续执行2秒的左/右手运动想象接受/拒绝选择的目的地。
4.根据权利要求3所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，其特征在于，所述运动想象的检测算法步骤如下：
(1)提取200ms的EEG信号，使用共同平均参考滤波，8～30Hz的带通滤波；
(2)将滤波后的EEG信号使用共同空间模式投影后作为特征向量；
(3)将获得的特征向量输入到SVM分类器，得到预测的类和对应的SVM输出值，如果SVM输出值超过一定的阈值，对应类别作为输出结果。
5.根据权利要求1所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，其特征在于，所述的步骤S4，具体为通过P300的脑机接口选择目的地，包含以下顺序的步骤：
(1)用户首先有20秒的时间从图形用户接口界面中确定他想选择的目的地的编号；
(2)20秒后，P300的GUI将出现在屏幕上，其中每个闪烁键的编号与图形用户接口界面中实心圆中的编号一致；
(3)利用出现在屏幕上P300的GUI，用户可以通过注视对应编号的闪烁键来选择目的地；
(4)当选择完目的地，用户需要继续注视闪烁键‘O/S’进一步验证；否则，用户需要注视闪烁键‘Delete’拒绝上一次的选择，并重新选择目的地。
6.根据权利要求5所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，其特征在于，所述P300检测算法步骤如下：
(1)EEG信号经过0.1～20Hz的带通滤波，5Hz的下采样；
(2)对P300的GUI中的每一个闪烁键，从每个通道中提取一段EEG信号形成一个向量，结合所有通道的向量形成特征向量，其中EEG信号长度为闪烁后600ms；
(3)SVM分类器应用到这些特征向量，获得对应40个闪烁键的值；
(4)经过4个round后，计算对应每一个键的SVM值的和，并找出其中最大和次大值，如果最大和次大值的差超过某一阈值，对应最大值的闪烁键作为输出的结果；否则继续检测前4个round，直到满足阈值条件；其中，所有的闪烁键随机地闪烁完一次定义为一个round。
7.根据权利要求1所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，其特征在于，还包括轮椅行驶过程中，如果用户想停止轮椅并更改目的地，通过基于运动想象或者P300的脑机接口向轮椅发送停止命令，具体步骤如下：
(1)通过运动想象的脑机接口停止轮椅：在轮椅行驶过程中，想象左手运动超过3秒超过预设的阈值，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口；
(2)通过基于P300的脑机接口停止轮椅：在轮椅行驶过程中，用户只需注视闪烁键‘O/S’，一旦脑机接口系统检测到对应闪烁键‘O/S’的P300，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口，供用户重新选择目的地。
CN201410269902.5A 2014-06-17 2014-06-17 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 Active CN104083258B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410269902.5A CN104083258B (zh) 2014-06-17 2014-06-17 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
PCT/CN2014/093071 WO2015192610A1 (zh) 2014-06-17 2014-12-04 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
US15/380,047 US20170095383A1 (en) 2014-06-17 2016-12-15 Intelligent wheel chair control method based on brain computer interface and automatic driving technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410269902.5A CN104083258B (zh) 2014-06-17 2014-06-17 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法

Publications (2)

Publication Number Publication Date
CN104083258A CN104083258A (zh) 2014-10-08
CN104083258B true CN104083258B (zh) 2016-10-05

Family

ID=51631095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410269902.5A Active CN104083258B (zh) 2014-06-17 2014-06-17 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法

Country Status (3)

Country Link
US (1) US20170095383A1 (zh)
CN (1) CN104083258B (zh)
WO (1) WO2015192610A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104083258B (zh) * 2014-06-17 2016-10-05 华南理工大学 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN104799984B (zh) * 2015-05-14 2017-01-25 华东理工大学 基于脑控移动眼的残疾人辅助系统及其控制方法
US20170010619A1 (en) * 2015-07-08 2017-01-12 Cnh Industrial America Llc Automation kit for an agricultural vehicle
CN105468138A (zh) * 2015-07-15 2016-04-06 武汉理工大学 基于脑机接口技术与激光雷达的智能车辆避障导航方法
CA3024145A1 (en) * 2016-04-14 2017-10-19 Deka Products Limited Partnership User control device for a transporter
CN106020470B (zh) * 2016-05-18 2019-05-14 华南理工大学 基于脑机接口的自适应家居环境控制装置及其控制方法
DE102016119729A1 (de) 2016-10-17 2018-04-19 Connaught Electronics Ltd. Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem
CN106726209B (zh) * 2016-11-24 2018-08-14 中国医学科学院生物医学工程研究所 一种基于脑机接口与人工智能的智能轮椅控制方法
GB2557688B (en) * 2016-12-15 2021-03-24 Ford Global Tech Llc Navigation method and system
CN109906069B (zh) * 2017-01-22 2021-12-31 四川金瑞麒智能科学技术有限公司 一种具有医疗监测及反应功能的智能轮椅系统
WO2018195806A1 (zh) * 2017-04-26 2018-11-01 深圳市元征科技股份有限公司 轮椅的控制方法及装置
CN107174418A (zh) * 2017-06-28 2017-09-19 歌尔股份有限公司 一种智能轮椅及其控制方法
CN107440848B (zh) * 2017-08-03 2019-04-02 宁波市智能制造产业研究院 基于意念的医疗转运床控制系统
CN107714331B (zh) * 2017-09-13 2019-06-14 西安交通大学 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法
CN107553491A (zh) * 2017-09-15 2018-01-09 华南理工大学 一种脑控轮椅机械臂
CN107669416B (zh) * 2017-09-30 2023-05-02 五邑大学 基于持续-轻快运动想象神经解码的轮椅系统及控制方法
WO2019127261A1 (zh) * 2017-12-28 2019-07-04 四川金瑞麒智能科学技术有限公司 一种智能轮椅自动驾驶方法、系统及计算机可读介质
CN111542294A (zh) * 2017-12-29 2020-08-14 四川金瑞麒智能科学技术有限公司 一种智能轮椅系统
CN108536154A (zh) * 2018-05-14 2018-09-14 重庆师范大学 基于生物电信号控制的低速自动驾驶智能轮椅构建方法
KR102094863B1 (ko) * 2018-05-28 2020-03-30 한국과학기술연구원 입력 지연시간을 보상하는 이동로봇 제어 장치 및 방법
CN109106522A (zh) * 2018-06-14 2019-01-01 深圳市尚荣医用工程有限公司 语音控制自动规划路径智能轮椅系统
CN109009887A (zh) * 2018-07-17 2018-12-18 东北大学 一种基于脑机接口的人机交互式导航系统及方法
CN109240282A (zh) * 2018-07-30 2019-01-18 王杰瑞 一种可操纵智能医疗机器人
CN109765885A (zh) * 2018-11-21 2019-05-17 深圳市迈康信医用机器人有限公司 轮椅室内自动驾驶的方法及其系统
CN109448835A (zh) * 2018-12-07 2019-03-08 西安科技大学 一种残疾人生活脑控辅助系统及方法
CN109646198B (zh) * 2019-02-19 2021-09-03 西安科技大学 一种基于视觉跟踪的电动轮椅控制方法
CN109966064B (zh) * 2019-04-04 2021-02-19 北京理工大学 带有侦查装置的融合脑控与自动驾驶的轮椅及控制方法
EP3956747A1 (en) 2019-04-19 2022-02-23 Toyota Motor Europe Neural menu navigator and navigation methods
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110209073A (zh) * 2019-05-31 2019-09-06 湖南大佳数据科技有限公司 基于增强现实的脑机交互载人移动平台系统
CN110119152A (zh) * 2019-06-15 2019-08-13 大连亿斯德环境科技有限公司 一种多功能智能轮椅控制系统及相应的控制方法
CN110675950B (zh) * 2019-08-29 2022-08-23 江苏大学 一种基于物联网云平台的瘫痪病人智能看护系统
CN110687929B (zh) * 2019-10-10 2022-08-12 辽宁科技大学 基于单目视觉与运动想象的飞行器三维空间目标搜索系统
CN111338482B (zh) * 2020-03-04 2023-04-25 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及系统
CN111367295A (zh) * 2020-03-26 2020-07-03 华南理工大学 一种智能轮椅床的导航与避障系统及方法
CN111880656B (zh) * 2020-07-28 2023-04-07 中国人民解放军国防科技大学 一种基于p300信号的智能脑控系统及康复设备
EP3967285A1 (fr) * 2020-09-14 2022-03-16 Tridon de Rey, Hubert Appareillage mobile pour handicapes moteurs et systeme de guidage impliquant un tel appareillage
CN112148011B (zh) * 2020-09-24 2022-04-15 东南大学 一种未知环境下脑电移动机器人共享控制方法
CN112451229B (zh) * 2020-12-09 2022-07-22 北京云迹科技股份有限公司 智能轮椅的出行方法及装置
TWI825374B (zh) * 2020-12-22 2023-12-11 緯創資通股份有限公司 移動式輔具及其障礙克服方法
CN112947455B (zh) * 2021-02-25 2023-05-02 复旦大学 一种基于视觉脑机交互的高速公路自动驾驶系统和方法
CN113085851A (zh) * 2021-03-09 2021-07-09 傅玥 一种动态自适应ssvep脑机接口的实时驾驶避障系统及方法
CN112914865B (zh) * 2021-03-22 2022-06-03 华南理工大学 一种基于脑机接口的连续转向控制方法
CN113311823B (zh) * 2021-04-07 2023-01-17 西北工业大学 一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法
CN113138668B (zh) * 2021-04-25 2023-07-18 清华大学 自动驾驶轮椅目的地选择方法、装置及系统
CN113288611B (zh) * 2021-05-17 2022-08-23 安徽金百合医疗器械有限公司 一种基于电动轮椅行进场景的操作安全保障方法和系统
CN113320617B (zh) * 2021-07-09 2023-05-26 北京优时科技有限公司 一种六轮差速转速控制方法和一种六轮差速转速控制装置
CN113925738A (zh) * 2021-08-31 2022-01-14 广州医科大学附属脑科医院 一种手部手指神经康复训练方法及装置
CN113760094A (zh) * 2021-09-09 2021-12-07 成都视海芯图微电子有限公司 一种基于脑机接口控制与交互的肢体运动辅助方法及系统
CN114652532B (zh) * 2022-02-21 2023-07-18 华南理工大学 基于ssvep与注意力检测的多功能脑控轮椅系统
CN114312819B (zh) * 2022-03-09 2022-06-28 武汉理工大学 基于胶囊神经网络的脑启发式自动驾驶辅助系统及方法
CN115192045B (zh) * 2022-09-16 2023-01-31 季华实验室 目的地识别/轮椅控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101301244A (zh) * 2008-06-18 2008-11-12 天津大学 基于脑-机接口的智能轮椅控制系统及其脑电信号处理方法
CN101976115A (zh) * 2010-10-15 2011-02-16 华南理工大学 一种基于运动想象与p300脑电电位的功能键选择方法
CN102309380A (zh) * 2011-09-13 2012-01-11 华南理工大学 基于多模态脑机接口的智能轮椅
CN102520723A (zh) * 2011-12-28 2012-06-27 天津理工大学 基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999866A (en) * 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
JP3909300B2 (ja) * 2003-04-18 2007-04-25 有限会社ミキシィ 自動走行車椅子、車椅子自動走行システム、及び車椅子の自動走行方法
US7912633B1 (en) * 2005-12-01 2011-03-22 Adept Mobilerobots Llc Mobile autonomous updating of GIS maps
US8323189B2 (en) * 2006-05-12 2012-12-04 Bao Tran Health monitoring appliance
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US8577126B2 (en) * 2007-04-11 2013-11-05 Irobot Corporation System and method for cooperative remote vehicle behavior
US20100094534A1 (en) * 2008-10-13 2010-04-15 International Business Machines Corporation Electronic map routes based on route preferences
KR20110072730A (ko) * 2009-12-23 2011-06-29 한국과학기술원 적응형 뇌-컴퓨터 인터페이스 장치
CN101897640B (zh) * 2010-08-10 2012-01-11 北京师范大学 一种新型的基于运动想象脑电控制的智能轮椅系统
CN102188311B (zh) * 2010-12-09 2013-07-31 南昌大学 一种嵌入式智能轮椅视觉导航控制系统及方法
CN102331782B (zh) * 2011-07-13 2013-05-22 华南理工大学 一种多模态脑机接口的自动车控制方法
CN103472922A (zh) * 2013-09-23 2013-12-25 北京理工大学 一种基于p300与ssvep混合式脑机接口的目的地选择系统
CN103705352A (zh) * 2013-12-27 2014-04-09 南京升泰元机器人科技有限公司 基于脑-机接口的智能轮椅及其控制系统和控制方法
CN104083258B (zh) * 2014-06-17 2016-10-05 华南理工大学 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101301244A (zh) * 2008-06-18 2008-11-12 天津大学 基于脑-机接口的智能轮椅控制系统及其脑电信号处理方法
CN101976115A (zh) * 2010-10-15 2011-02-16 华南理工大学 一种基于运动想象与p300脑电电位的功能键选择方法
CN102309380A (zh) * 2011-09-13 2012-01-11 华南理工大学 基于多模态脑机接口的智能轮椅
CN102520723A (zh) * 2011-12-28 2012-06-27 天津理工大学 基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
室内环境下智能轮椅自定位技术的研究;刘甜;《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》;20140115(第01期);I140-340 *
视觉移动机器人自主导航关键技术研究;邵泽明;《中国博士学位论文全文数据库信息科技辑（月刊）》;20110415(第04期);I140-82 *

Also Published As

Publication number Publication date
US20170095383A1 (en) 2017-04-06
WO2015192610A1 (zh) 2015-12-23
CN104083258A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN104083258B (zh) 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
Deng et al. A bayesian shared control approach for wheelchair robot with brain machine interface
CN103679203B (zh) 机器人的人脸检测与情感识别系统及方法
Long et al. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair
CN101947152B (zh) 仿人形义肢的脑电-语音控制系统及工作方法
CN106250867A (zh) 一种基于深度数据的人体骨骼跟踪系统的实现方法
CN104799984B (zh) 基于脑控移动眼的残疾人辅助系统及其控制方法
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN206023052U (zh) 一种高压输电线路巡检机器人
CN107038422A (zh) 基于空间几何约束深度学习的疲劳状态识别方法
CN104123549B (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN106504751A (zh) 自适应唇语交互方法以及交互装置
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN105447480A (zh) 人脸识别游戏交互系统
Li et al. A human-vehicle collaborative simulated driving system based on hybrid brain–computer interfaces and computer vision
CN112051780B (zh) 一种基于脑机接口的移动机器人编队控制系统及方法
CN106774856A (zh) 基于唇语的交互方法以及交互装置
CN110716578A (zh) 一种基于混合型脑机接口的飞行器控制系统及其控制方法
CN108681403A (zh) 一种采用视线跟踪的小车控制方法
Gergondet et al. Multitask humanoid control with a brain-computer interface: user experiment with hrp-2
CN107589628A (zh) 一种基于手势识别的全息投影装置及其工作方法
CN109987036A (zh) 一种基于驾驶员身体姿态提高交互准确度的控制方法
CN109866686A (zh) 基于视频实时分析的智能主动安全辅助驾驶系统及方法
CN109634407A (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
CN107307851A (zh) 智能机器人系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190710

Address after: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Co-patentee after: Guangzhou South China University of Technology Asset Management Co., Ltd.

Patentee after: Li Yuanqing

Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: South China University of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190814

Address after: 510670 Room 201, Building 72, Nanxiang Second Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.

Address before: 510640 Tianhe District, Guangdong, No. five road, No. 381,

Co-patentee before: Guangzhou South China University of Technology Asset Management Co., Ltd.

Patentee before: Li Yuanqing

TR01 Transfer of patent right