CN108904163A - 轮椅控制方法及系统 - Google Patents
轮椅控制方法及系统 Download PDFInfo
- Publication number
- CN108904163A CN108904163A CN201810651641.1A CN201810651641A CN108904163A CN 108904163 A CN108904163 A CN 108904163A CN 201810651641 A CN201810651641 A CN 201810651641A CN 108904163 A CN108904163 A CN 108904163A
- Authority
- CN
- China
- Prior art keywords
- control signal
- wheelchair
- brain wave
- signal
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
- A61G5/1051—Arrangements for steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提出了一种轮椅控制方法及系统,该方法包括:采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号;采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号;判断所述第一控制信号与所述第二控制信号是否一致;若所述第一控制信号与所述第二控制信号一致,将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号;将所述融合控制信号的精确度与预设阈值进行对比,及根据对比结果对所述轮椅进行控制。本发明为有需求的使用者提供了新的轮椅使用方式,并引入多信息源融合的概念,将精确度不高的脑电信号及眼动信号进行融合得到精确度较高的融合控制信号,提高算法的鲁棒性。
Description
技术领域
本发明涉及自动控制技术领域,特别涉及一种轮椅控制方法及系统。
背景技术
随着我国社会的发展,人民生活水平不断提高,人们逐渐把提高生活质量作为生活的目标之一,而计划生育政策的执行使得我国面临着严重人口老龄化的问题。据世界卫生组织预测,到2050年,中国将有35%的人口超过60岁,成为世界上老龄化最严重的国家。因此,提高老年人的生活质量就成为了一个社会问题。对于老年人,四肢无力的困扰成为了严重影响他们的衣食住行。而对于残疾人,同样也存在着类似的困扰。
缓解老年人和残疾人的困扰,改善他们的生活质量,就必须让他们能自由的行动。在这种环境下,轮椅应运而生。我们传统的轮椅有手摇式的和电动式的两种,可是对于老年人和重度残疾人由于缺乏上肢力量,控制传统轮椅仍然面临困难。
发明内容
有鉴于此,本发明实施例的目的在于提供一种轮椅控制方法及系统,以解决现有技术的不足。
根据本发明的一个实施方式,提供一种轮椅控制方法,该轮椅控制方法包括:
采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号;
采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号;
判断所述第一控制信号与所述第二控制信号是否一致;
若所述第一控制信号与所述第二控制信号一致,将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号;
将所述融合控制信号的精确度与预设阈值进行对比,及根据对比结果对所述轮椅进行控制。
在上述的轮椅控制方法中,若所述第一控制信号与所述第二控制信号不一致,重新对所述脑电波信息及所述用于眼动的图像信息进行采集。
在上述的轮椅控制方法中,所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括:
对所述脑电波信息的特征进行提取;
将提取的所述特征与预设脑电波模板的特征进行匹配;
根据匹配结果确定所述脑电波信息对应的所述第一控制信号。
在上述的轮椅控制方法中,预先采集用户在想象对轮椅的控制操作时的脑电波信息及将所述脑电波信息存储为所述预设脑电波模板。
在上述的轮椅控制方法中,所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括:
对所述脑电波信息的特征进行提取;
将所述有用特征作为神经网络的输入对象,通过调整所述神经网络中节点之间的连接方式及节点之间权值,得到内容为所述第一控制信号的输出对象,其中,每个所述节点表示一种激励函数。
在上述的轮椅控制方法中,所述“对所述图像信息进行分析得到对所述轮椅的第二控制信号”包括:
对所述图像信息进行处理得到注视参数;
根据所述注视参数获取人眼在预设平面上的注视点信息;
根据所述注视点所在区域及预先存储的所述区域与所述第二控制信号之间的对应关系确定所述图像信息对应的所述第二控制信号。
在上述的轮椅控制方法中,所述“对所述图像信息进行处理得到注视参数”包括:
对所述图像信息中的人眼进行追踪得到人眼区域;
根据所述人眼区域的图像提取出瞳孔区域;
对所述瞳孔区域的图像进行分析得到所述注视参数。
在上述的轮椅控制方法中,所述注视参数包括瞳孔中心坐标、参考点坐标及人眼角膜曲率中心坐标。
在上述的轮椅控制方法中,所述“将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号”包括:
根据所述第一控制信号及所述第二控制信号的精确程度为其赋予不同的权值;
根据所述权值对所述第一控制信号及所述第二控制信号进行加权融合得到融合控制信号。
在上述的轮椅控制方法中,通过决策极融合算法对所述第一控制信号及所述第二控制信号进行融合。
在上述的轮椅控制方法中,所述“将所述融合控制信号的精确度与预设阈值进行对比,及根据对比结果对所述轮椅进行控制”包括:
判断所述融合控制信号的精确度是否大于预设阈值;
若所述融合控制信号的精确度大于或等于预设阈值,根据所述融合控制信号对所述轮椅进行控制;
若所述融合控制信号的精确度小于预设阈值,根据所述精确度调整所述第一控制信号及所述第二控制信号的权值。
本发明的另一实施方式提供一种轮椅控制装置,该轮椅控制装置包括:
第一控制信号获取模块,用于采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号;
第二控制信号获取模块,用于采集用户眼动的视频流信息及对所述视频流信息进行分析得到对所述轮椅的第二控制信号;
判断模块,用于判断所述第一控制信号与所述第二控制信号是否一致;
融合模块,所述第一控制信号与所述第二控制信号一致,所述融合模块用于将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号;
控制模块,用于将所述融合控制信号的精确度与预设阈值进行对比,及根据对比结果对所述轮椅进行控制。
本发明的另一实施方式提供了一种轮椅控制系统,该系统包括:
轮椅;
脑电采集器,用于采集用户的脑电波信息;
眼动仪,用于采集用户眼动的图像信息;
计算机终端,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述计算机终端执行上述的轮椅控制方法。
在上述的轮椅控制系统中,还包括显示屏幕:
所述显示屏幕用于显示所述脑电波信号及人眼在所述显示屏幕上的注视点信息。
本发明的又一实施方式提供一种计算机可读存储介质,其存储上述的轮椅控制方法。
本发明的轮椅控制方法及系统,通过脑电信号及眼动的信号对轮椅的运动状态及方向进行控制,给有需求的使用者提供了新的使用方式;并引入了多信息源融合的概念,将精确度不高的脑电信号及眼动信号进行融合得到精确度较高的融合控制信号,提高算法的鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提出的一种轮椅控制方法的流程示意图。
图2为本发明实施例提出的一种想象轮椅向前运动状态的脑电脑信号的波形示意图。
图3为本发明实施例提出的一种想象静止状态与向前运动状态的脑电波信号的波形对比示意图。
图4为本发明实施例提出的一种获取第一控制信号的流程示意图。
图5为本发明实施例提出的另一种获取第一控制信号的流程示意图。
图6为本发明实施例提出的一种获取第二控制信号的流程示意图。
图7为本发明实施例提出的一种将视线信息进行建模的示意图。
图8为本发明第二实施例提出的一种轮椅控制方法的流程示意图。
图9为本发明实施例提出的一种轮椅控制装置的结构示意图。
图10为本发明实施例提出的一种轮椅控制系统的结构示意图。
主要元件符号说明:
100-轮椅控制装置;110-第一控制信号获取模块;120-第二控制信号获取模块;130-判断模块;140-融合模块;150-控制模块;
200-轮椅控制系统;210-轮椅;220-脑电采集器;230-眼动仪;240-计算机终端。
具体实施方式
在下文中,将更全面地描述本公开的各种实施例。本公开可具有各种实施例,并且可在其中做出调整和改变。然而,应理解:不存在将本公开的各种实施例限于在此公开的特定实施例的意图,而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
在下文中,可在本公开的各种实施例中使用的术语“包括”或“可包括”指示所公开的功能、操作或元件的存在,并且不限制一个或更多个功能、操作或元件的增加。此外,如在本公开的各种实施例中所使用,术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
在本公开的各种实施例中,表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如,表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。
在本公开的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件,不过可不限制相应组成元件。例如,以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如,第一用户装置和第二用户装置指示不同用户装置,尽管二者都是用户装置。例如,在不脱离本公开的各种实施例的范围的情况下,第一元件可被称为第二元件,同样地,第二元件也可被称为第一元件。
应注意到:如果描述将一个组成元件“连接”到另一组成元件,则可将第一组成元件直接连接到第二组成元件,并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地,当将一个组成元件“直接连接”到另一组成元件时,可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。
在本公开的各种实施例中使用的术语“用户”可指示使用电子装置的人或使用电子装置的装置(例如,人工智能电子装置)。
在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用,单数形式意在也包括复数形式,除非上下文清楚地另有指示。除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本公开的各种实施例中被清楚地限定。
实施例1
图1为本发明第一实施例提出的一种轮椅控制方法的流程示意图。该方法包括:
步骤S110,采集用户的脑电波信息及对脑电波信息进行分析得到对所述轮椅的第一控制信号。
其中,所述脑电波信息可以为基于轮椅的运动想象脑电波信息,所述轮椅的运动想象的脑电波信息包括在想象轮椅的不同运动方向及不同运动状态时的脑电波信息,如想象轮椅向前、向后、向左、向右、左前、右前、左后、右后等运动方向时的脑电波信息及想象轮椅运动、停止等运动状态时的脑电波信息等。如图2所示为本发明实施例提出的一种想象轮椅向前运动状态的脑电脑信号的波形示意图。
图3为本发明实施例提出的一种想象静止状态与向前运动状态的脑电波信号的波形对比示意图。
图3中,波形A为在想象轮椅静止状态时采集的脑电波波形,波形B为在想象轮椅向前运动状态时采集的脑电波波形,波形C为波形A和波形B的差值波形。通过图中可知,在想象轮椅不同运动方向及状态时的脑电波波形存在很大的不同。
采集到用户的脑电波信息后,对该脑电波信息进行分析处理,根据处理结果得到对所述轮椅的第一控制信号。
本实施例中,通过对比法对脑电波信息进行分析处理。
例如,如图4为本发明实施例提出的一种获取第一控制信号的流程示意图。
步骤S210,预先采集用户在想象对轮椅的控制操作时的脑电波信息及将脑电波信息存储为预设脑电波模板。
由于个体的人脑的构造存在细微的差异,导致不同的用户在进行同一运动想象的脑电波信息并不完全相同,所以,为了使比对结果更精确,在对一个用户的运动想象脑电波信息之前,首先采集该用户在想象轮椅不同运动方向及状态时的脑电波信息,并将采集的所有脑电波信息进行存储,用于在后续比对时作为脑电波模板。
比如在用户保持放松状态下,采集轮椅向前运动状态想象的脑电波信号,采集过程持续预设的时间间隔,如8s。
步骤S220,采集用户的脑电波信息。
所述脑电波信号主要由δ(Delta)、θ(Theta)、α(Alpha)、β(Beta)、γ(Gamma)这几种节律波组成,其中,δ波的频率位于0.5~4Hz之间,幅度位于20~200uV之间;θ波的频率位于4~8Hz之间;α波的频率位于8~13Hz之间,幅度位于20~100uV之间;β波的频率位于14~30Hz之间,幅度位于5~20uV之间;γ波的频率大于30Hz之间,幅度小于2uV。
由于脑电波信号是微弱的,因此在采集过程中常常会因为人体自身内部的因素或者外部噪声的干扰,导致采集到的脑电波信号被其他噪声所干扰,常见的噪声包括眼电噪声、肌电噪声、心电噪声及在皮肤与电极接触位置由于汗水或其他因素造成的阻抗增大等噪声。
步骤S230,对脑电波信息的特征进行提取。
在步骤S230之前,在采集到用户的脑电波信息后,还可以对该脑电波信息进行预处理,如对所述脑电波信息进行去燥处理,如通过伪迹减法、主成分分析法、独立成分分析及小波分析法等对脑电波进行去燥处理,得到纯净的脑电波信号。
在对脑电波信号进行去燥处理后,还可对脑电波信号进行滤波处理,如通过带阻或陷波滤波器对不需要的节律波进行过滤,如,在想象轮椅不同的运动方向时,在采集到的所有运动方向的脑电波信号中α波及β波的区别较为明显,其他节律波的波动幅度及频率区别较小,那么通过滤波器将其他节律波滤掉,只留下α波及β波进行后续的分析处理操作。
对于预处理后的脑电波信号中,对脑电波信号进行特征提取,如α波功率、β波功率、α波功率与β波功率的比值、样本熵等特征。
在提取脑电波信号的特征时,可以通过时域分析、频域分析及时频域分析及公共空间域分析等方式对特征进行提取。
在一些其他实施例中,为了减少算法处理的复杂度,提高控制效率,还可以在提取的特征中选取与运动方向相关的显著特征进行后续的比对,例如,在采集的轮椅向前运动的脑电波信号A和轮椅向后运动的脑电波信号B中,提取到的α波功率、β波功率、α波功率与β波功率的比值等特征的区别较为明显,通过该部分特征能将明显将脑电波信号A和脑电波信号B区分开来,则可将该部分特征作为有用特征进行后续的比对操作。
步骤S240,将提取的特征特征与预设脑电波模板的特征进行匹配。
将步骤S230提取的特征与预设的脑电波模板的特征进行对比。
步骤S250,相似度是否超过预设阈值。
判断采集的脑电波的特征与预设脑电波模板的特征之间的相似度是否超过预设的阈值,若超过所述预设阈值,前进至步骤S260;否则,前进至步骤S220,重新对用户的脑电波信息及眼动的图像信息进行采集。
步骤S260,确定脑电波信息对应的所述第一控制信号。
若采集的脑电波的特征与预设脑电波模板的特征之间的相似度超过预设的阈值,根据预设脑电波模板对应的控制信号确定该采集的脑电波信号对应的第一控制信号。
在一些其他的实施例中,还可以通过神经网络对所述脑电波信息进行分析处理。
例如,图5为本发明实施例提出的另一种获取第一控制信号的流程示意图。
步骤S310,采集用户的脑电波信息。
步骤S320,对脑电波信息的特征进行提取。
步骤S330,将有用特征作为神经网络的输入对象,通过调整神经网络中节点之间的连接方式及节点之间权值,得到内容为第一控制信号的输出对象。
其中,每个所述节点表示一种激励函数。所述激励函数可根据算法需求设定。
将步骤S320中提取的所有特征作为神经网络的输入对象,每次对该神经网络进行训练时,调整神经网络中节点之间的连接关系及该连接关系对应的权值。通过持续不断的训练,得到精度较高的输出对象,即第一控制信号。
步骤S120,采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号。
本实施例通过眼动仪采集用户眼动的图像信息。在其他一些实施例中,还可以通过摄像头、摄像机、录像机等成像装置采集用户眼动的图像信息。
每隔预设时间,如8s采集一次用户眼动的图像信息,该预设时间可以根据步骤S110中采集的脑电波信息的时间而定。
在一些其他的实施例中,还可以采集用户眼动的视频流信息,对视频流中每一帧图像进行处理。
例如,如图6所示为本发明实施例提出的一种获取第二控制信号的流程示意图。
步骤S410,采集用户眼动的图像信息。
步骤S420,对图像信息中人眼进行追踪得到人眼区域。
为了扩大采集范围及用户的头动自由度,采集的用户眼动的图像信息中不但包括用户的脸部信息,还包括周围环境的信息。所以,首先对采集的图像信息进行人脸识别到的人脸区域图像,在人脸区域图像中,识别出人眼区域得到人眼区域图像。
其中,所述人脸识别算法包括肤色检测算法、灰度积分投影算法及Adaboost算法等。所述人眼识别算法包括灰度积分投影算法及Adaboost算法等。
在一些其他实施例中,还可以通过卡尔曼粒子滤波器对人眼进行实时的追踪。
步骤S430,根据人眼区域图像提取出瞳孔区域。
可通过灰度积分投影、二值化等算法对瞳孔区域进行提取。
步骤S440,根据瞳孔区域的图像得到注视参数。
所述注视参数包括瞳孔中心坐标、参考点坐标及人眼角膜曲率中心坐标等。
根据瞳孔区域的图像内每一像素点对应的坐标值,得到图像中瞳孔中心相对于瞳孔区域图像的像素坐标。
另外,还可以提取出参考点的像素坐标,例如,为了获取更大精度的注视点信息,还可以计算出参考点坐标,例如,可以手动设置参考光源,计算出瞳孔区域图像中该参考光源在人眼角膜上的参考点的像素坐标。
由于人眼角膜曲率中心点和瞳孔中心点所在直线与人眼视轴所在直线差别较小,误差可以忽略不急,通常将人眼角膜曲率中心点和瞳孔中心点所在直线作为人眼视轴进行后续的建模。
步骤S450,根据注视参数获取人眼在预设平面上的注视点信息。
通过步骤S440获取的注视参数及用户与预设平面之间的距离建立视线模型,视线与预设平面的交点即为人眼在预设平面上的注视点。
如图7所示为将视线信息进行建模的示意图。
点P1、点Q1为人眼在不同注视角度下视轴与人眼角膜曲面的交点;点P2、点Q2为眼动仪或成像装置拍摄到的人眼角膜上的点P1、点P2在图像中的映射点;点P、Q为人眼在预设平面上的注视点,即OP1所在直线及OQ1所在直线与预设屏幕的交点。
通过瞳孔中心坐标及人眼角膜曲率中心点坐标计算人眼视轴所在直线的表达式,根据该人眼视轴所在直线的表达式及用户、预设平面之间的距离、预设平面与采集图像装置、用户之间的世界坐标系获取点P、Q在预设平面上的欧式坐标信息。
步骤S460,根据注视点所在区域及预先存储的区域与第二控制信号之间的对应关系确定当前图像信息对应的所述第二控制信号。
在预设平面上预先划分好区域,并设定好区域与第二控制信号之间的关系。
例如,如下表所示为区域与第二控制信号之间的关系。
区域 | 第二控制信号 |
上中区域 | 向前运动 |
左上区域 | 左前转弯 |
右上区域 | 右前转弯 |
中心区域 | 停止 |
…… | …… |
右下区域 | 右后转弯 |
例如,当注视点坐标所在区域为预设平面的上中区域时,对应的第二控制信号为控制轮椅向前运动;当注视点坐标所在区域为预设平面的右下区域时,对应的第二控制信号为控制轮椅向右后转弯。
步骤S130,判断第一控制信号与第二控制信号是否一致。
例如,若第一控制信号为向前运动,第二控制信号为向前运动,那么该第一控制信号与第二控制信号一致,前进至步骤S140;若第一控制信号为向前运动,第二控制信号为向后运动,那么,该第一控制信号与第二控制信号不一致,前进至步骤S110,继续采集脑电波信息及眼动的图像信息。
步骤S140,将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号。
根据所述第一控制信号及所述第二控制信号的精确程度为其赋予不同的权值。
所述权值为用户根据第一控制信号及所述第二控制信号的精确程度预先设定的权值,其中,第一控制信号的精确度可以通过脑电波信号和预设脑电波模板的特征的相似度来表示,第二控制信号的精确度可以通过采集的注视点的精确度进行表示,如计算得到的注视点和真实的注视点之间的差值。
根据所述权值对所述第一控制信号及所述第二控制信号进行加权融合得到融合控制信号。
例如,融合控制信号=第一控制信号×第一控制信号权值+第二控制信号×第二控制信号权值。
优选地,可以通过决策极融合算法对所述第一控制信号及所述第二控制信号进行融合。在一些其他的实施例中,还可以通过其他算法对所述第一控制信号及所述第二控制信号进行融合。
步骤S150,判断融合控制信号精确度是否大于预设阈值。
将步骤S140中得到的融合控制信号精确度与预设阈值进行对比,若融合控制信号精确度高于预设阈值,前进至步骤S160;否则前进至步骤S110,继续采集脑电波信息及眼动的图像信息及将采集的脑电波信息及眼动的图像信息进行融合。
其中,所述融合控制信号的精确度通过与第一控制信号和第二控制信号的准确率对比结果进行描述,如在100次的试验中,融合控制信号的相对于第一控制信号和第二控制信号的准确程度。
步骤S160,根据所述融合控制信号对所述轮椅进行控制。
根据所述融合控制信号控制轮椅的运动状态及运动方向。
实施例2
图8为本发明第二实施例提出的一种轮椅控制方法的流程示意图。
步骤S510,获取第一控制信号。
步骤S520,获取第二控制信号。
步骤S530,判断第一控制信号与第二控制信号是否一致。
若第一控制信号与第二控制信号一致,前进至步骤S540;若第一控制信号与第二控制信号不一致,前进至步骤S510。
步骤540,根据第一控制信号机第二控制信号的精确程度为其赋予不同的权值。
步骤S550,根据权值对第一控制信号机第二控制信号进行加权融合得到融合控制信号。
步骤S560,判断融合控制信号的精确度是否大于预设阈值。
若所述融合控制信号的精确度大于或等于预设阈值,前进至步骤S570;若所述融合控制信号的精确度小于预设阈值,前进至步骤S580。
步骤S570,根据融合控制信号对所述轮椅进行控制。
例如,若融合控制信号为向前运动,则根据该信号控制轮椅向前运动。
步骤S580,调整第一控制信号机第二控制信号对应的权重。
若所述融合控制信号的精确度小于预设阈值,根据融合控制信号的精确度调整第一控制信号机第二控制信号对应的权重,并前进至步骤S510,继续进行下一次的融合。
实施例3
图9为本发明实施例提出的一种轮椅控制装置的结构示意图。该轮椅控制装置100包括:第一控制信号获取模块110、第二控制信号获取模块120、判断模块130、融合模块140和控制模块150。
第一控制信号获取模块110,用于采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号。
第二控制信号获取模块120,用于采集用户眼动的视频流信息及对所述视频流信息进行分析得到对所述轮椅的第二控制信号。
判断模块130,用于判断所述第一控制信号与所述第二控制信号是否一致。
融合模块140,若所述第一控制信号与所述第二控制信号一致,所述融合模块140用于将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号。
控制模块150,用于将所述融合控制信号的精确度与预设阈值进行对比,及根据对比结果对所述轮椅进行控制。
实施例4
图10为本发明实施例提出的一种轮椅控制系统的结构示意图。该轮椅控制系统200包括:轮椅210、脑电采集器220、眼动仪230和计算机终端240。
脑电采集器220,用于采集用户的脑电波信息。
本实施例通过可穿戴的脑电波采集器Emotiv EPOC+对脑电波信号进行非入侵式的采集。Emotiv EPOC+采样频率为128Hz,包括14个电极及2个参考电极。在一些其他实施例中,还可以通过其他设备对脑电波信号进行采集,如MindBand脑电采集器等。
眼动仪230,用于采集用户眼动的图像信息。
本实施例通过Tobbi EyeX眼动仪对用户的图像信息进行非入侵式采集,TobbiEyeX精度较高,且采集过程中,用户的自由度较大。在一些其他的实施例中,还可以通过其他设备对用户的图像信息进行采集,如Kinect等。
计算机终端240,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述计算机终端执行上述的轮椅控制方法以对所述轮椅210进行控制。
所述轮椅控制系统200还可以包括显示屏幕:
所述显示屏幕用于显示所述脑电波信号及人眼在所述显示屏幕上的注视点信息。
所述轮椅控制系统200还包括驱动装置:
所述驱动装置用于接收所述计算机终端240发送的对轮椅的控制指令,并将控制指令转换为自身能识别的信号,根据转换后的信号驱动所述轮椅210执行相应的动作。
该轮椅控制系统200还可以引入物联网技术,计算机终端240将控制指令转化为无线信号,将该无线信号通过无线方式传输至驱动装置,驱动装置接收到该无线信号后转化为自身能识别的控制信号,根据该控制信号驱动轮椅210执行相应的动作。
本实施例还提供了一种计算机可读存储介质,其存储有上述的轮椅控制系统中所使用的所述计算机程序。
以此,本发明提出了一种轮椅控制方法及系统,通过脑电信号及眼动的信号对轮椅的运动状态及方向进行控制,给有需求的使用者提供了新的使用方式;并引入了多信息源融合的概念,将精确度不高的脑电信号及眼动信号进行融合得到精确度较高的融合控制信号,提高算法的鲁棒性;引入物联网概念,将轮椅控制装置与轮椅通过物联网的方式进行连接,增加了连接方式的多样性。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种轮椅控制方法,其特征在于,包括:
采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号;
采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号;
判断所述第一控制信号与所述第二控制信号是否一致;
若所述第一控制信号与所述第二控制信号一致,将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号;
将所述融合控制信号的精确度与预设阈值进行对比,及根据对比结果对所述轮椅进行控制。
2.如权利要求1所述的轮椅控制方法,其特征在于,所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括:
对所述脑电波信息的特征进行提取;
将提取的所述特征与预设脑电波模板的特征进行匹配;
根据匹配结果确定所述脑电波信息对应的所述第一控制信号。
3.如权利要求2所述的轮椅控制方法,其特征在于,预先采集用户在想象对轮椅的控制操作时的脑电波信息及将所述脑电波信息存储为所述预设脑电波模板。
4.如权利要求1所述的轮椅控制方法,其特征在于,所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括:
对所述脑电波信息的特征进行提取;
将所述特征作为神经网络的输入对象,通过调整所述神经网络中节点之间的连接方式及节点之间权值,得到内容为所述第一控制信号的输出对象,其中,每个所述节点表示一种激励函数。
5.如权利要求1所述的轮椅控制方法,其特征在于,所述“对所述图像信息进行分析得到对所述轮椅的第二控制信号”包括:
对所述图像信息进行处理得到注视参数;
根据所述注视参数获取人眼在预设平面上的注视点信息;
根据所述注视点所在区域及预先存储的所述区域与所述第二控制信号之间的对应关系确定所述图像信息对应的所述第二控制信号。
6.如权利要求5所述的轮椅控制方法,其特征在于,所述“对所述图像信息进行处理得到注视参数”包括:
对所述图像信息中的人眼进行追踪得到人眼区域;
根据所述人眼区域的图像提取出瞳孔区域;
对所述瞳孔区域的图像进行分析得到所述注视参数。
7.如权利要求1所述的轮椅控制方法,其特征在于,若所述第一控制信号与所述第二控制信号不一致,重新对所述脑电波信息及所述眼动的图像信息进行采集。
8.如权利要求1所述的轮椅控制方法,其特征在于,所述“将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号”包括:
根据所述第一控制信号及所述第二控制信号的精确度为其赋予不同的权值;
根据所述权值对所述第一控制信号及所述第二控制信号进行加权融合得到融合控制信号。
9.一种轮椅控制系统,其特征在于,包括:
轮椅;
脑电采集器,用于采集用户的脑电波信息;
眼动仪,用于采集用户眼动的图像信息;
计算机终端,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述计算机终端执行如权利要求1-8任一项所述的轮椅控制方法。
10.如权利要求9所述的轮椅控制系统,其特征在于,还包括显示屏幕:
所述显示屏幕用于显示所述脑电波信号及人眼在所述显示屏幕上的注视点信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810651641.1A CN108904163A (zh) | 2018-06-22 | 2018-06-22 | 轮椅控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810651641.1A CN108904163A (zh) | 2018-06-22 | 2018-06-22 | 轮椅控制方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108904163A true CN108904163A (zh) | 2018-11-30 |
Family
ID=64422303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810651641.1A Pending CN108904163A (zh) | 2018-06-22 | 2018-06-22 | 轮椅控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108904163A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109464239A (zh) * | 2019-01-09 | 2019-03-15 | 浙江强脑科技有限公司 | 基于脑波控制的智能轮椅 |
CN109620493A (zh) * | 2018-12-07 | 2019-04-16 | 西安科技大学 | 基于脑控的残疾人生活辅助装置及其控制方法 |
CN109662842A (zh) * | 2019-02-20 | 2019-04-23 | 浙江强脑科技有限公司 | 基于眼镜和脑波控制的智能轮椅 |
CN109875777A (zh) * | 2019-02-19 | 2019-06-14 | 西安科技大学 | 一种带有取物功能的轮椅及其取物控制方法 |
CN109993131A (zh) * | 2019-04-04 | 2019-07-09 | 北京理工大学 | 一种基于多模态信号融合的设计意图判别系统及方法 |
CN109998810A (zh) * | 2019-03-04 | 2019-07-12 | 陕西职业技术学院 | 一种头部控制护理床 |
CN110123266A (zh) * | 2019-05-05 | 2019-08-16 | 北京航空航天大学 | 一种基于多模态生理信息的机动决策建模方法 |
CN112370258A (zh) * | 2020-11-13 | 2021-02-19 | 北京三角洲机器人科技有限公司 | 电动移动设备 |
CN113069125A (zh) * | 2021-03-18 | 2021-07-06 | 上海趣立信息科技有限公司 | 基于脑电波和眼动追踪的头戴设备控制系统、方法及介质 |
CN115590695A (zh) * | 2022-10-08 | 2023-01-13 | 华南脑控(广东)智能科技有限公司(Cn) | 一种基于眼电和人脸识别的轮椅控制系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521505A (zh) * | 2011-12-08 | 2012-06-27 | 杭州电子科技大学 | 用于控制意图识别的脑电和眼电信号决策融合方法 |
CN103340637A (zh) * | 2013-06-06 | 2013-10-09 | 同济大学 | 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法 |
CN104799984A (zh) * | 2015-05-14 | 2015-07-29 | 华东理工大学 | 基于脑控移动眼的残疾人辅助系统及其控制方法 |
CN104866100A (zh) * | 2015-05-27 | 2015-08-26 | 京东方科技集团股份有限公司 | 眼控装置及其眼控方法和眼控系统 |
CN105528084A (zh) * | 2016-01-21 | 2016-04-27 | 京东方科技集团股份有限公司 | 一种显示控制装置及其控制方法、显示控制系统 |
WO2016196784A1 (en) * | 2015-06-02 | 2016-12-08 | Battelle Memorial Institute | Non-invasive motor impairment rehabilitation system |
CN106445155A (zh) * | 2016-09-29 | 2017-02-22 | 珠海市魅族科技有限公司 | 一种基于脑电信号进行控制的方法及虚拟现实设备 |
CN107168134A (zh) * | 2017-06-27 | 2017-09-15 | 福州大学 | 脑眼混合驱动的家电控制方法 |
CN107411935A (zh) * | 2017-07-18 | 2017-12-01 | 西安交通大学 | 一种用于软体康复机械手的多模式脑机接口控制方法 |
CN107870670A (zh) * | 2017-09-29 | 2018-04-03 | 深圳市易成自动驾驶技术有限公司 | 基于脑电波的智能设备控制方法、设备及可读存储介质 |
-
2018
- 2018-06-22 CN CN201810651641.1A patent/CN108904163A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521505A (zh) * | 2011-12-08 | 2012-06-27 | 杭州电子科技大学 | 用于控制意图识别的脑电和眼电信号决策融合方法 |
CN103340637A (zh) * | 2013-06-06 | 2013-10-09 | 同济大学 | 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法 |
CN104799984A (zh) * | 2015-05-14 | 2015-07-29 | 华东理工大学 | 基于脑控移动眼的残疾人辅助系统及其控制方法 |
CN104866100A (zh) * | 2015-05-27 | 2015-08-26 | 京东方科技集团股份有限公司 | 眼控装置及其眼控方法和眼控系统 |
WO2016196784A1 (en) * | 2015-06-02 | 2016-12-08 | Battelle Memorial Institute | Non-invasive motor impairment rehabilitation system |
CN105528084A (zh) * | 2016-01-21 | 2016-04-27 | 京东方科技集团股份有限公司 | 一种显示控制装置及其控制方法、显示控制系统 |
CN106445155A (zh) * | 2016-09-29 | 2017-02-22 | 珠海市魅族科技有限公司 | 一种基于脑电信号进行控制的方法及虚拟现实设备 |
CN107168134A (zh) * | 2017-06-27 | 2017-09-15 | 福州大学 | 脑眼混合驱动的家电控制方法 |
CN107411935A (zh) * | 2017-07-18 | 2017-12-01 | 西安交通大学 | 一种用于软体康复机械手的多模式脑机接口控制方法 |
CN107870670A (zh) * | 2017-09-29 | 2018-04-03 | 深圳市易成自动驾驶技术有限公司 | 基于脑电波的智能设备控制方法、设备及可读存储介质 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109620493A (zh) * | 2018-12-07 | 2019-04-16 | 西安科技大学 | 基于脑控的残疾人生活辅助装置及其控制方法 |
CN109620493B (zh) * | 2018-12-07 | 2021-06-04 | 西安科技大学 | 基于脑控的残疾人生活辅助装置的控制方法 |
CN109464239A (zh) * | 2019-01-09 | 2019-03-15 | 浙江强脑科技有限公司 | 基于脑波控制的智能轮椅 |
CN109875777A (zh) * | 2019-02-19 | 2019-06-14 | 西安科技大学 | 一种带有取物功能的轮椅及其取物控制方法 |
CN109662842A (zh) * | 2019-02-20 | 2019-04-23 | 浙江强脑科技有限公司 | 基于眼镜和脑波控制的智能轮椅 |
CN109998810A (zh) * | 2019-03-04 | 2019-07-12 | 陕西职业技术学院 | 一种头部控制护理床 |
CN109993131A (zh) * | 2019-04-04 | 2019-07-09 | 北京理工大学 | 一种基于多模态信号融合的设计意图判别系统及方法 |
CN110123266A (zh) * | 2019-05-05 | 2019-08-16 | 北京航空航天大学 | 一种基于多模态生理信息的机动决策建模方法 |
CN112370258A (zh) * | 2020-11-13 | 2021-02-19 | 北京三角洲机器人科技有限公司 | 电动移动设备 |
CN112370258B (zh) * | 2020-11-13 | 2022-08-09 | 安徽金百合医疗器械有限公司 | 电动移动设备 |
CN113069125A (zh) * | 2021-03-18 | 2021-07-06 | 上海趣立信息科技有限公司 | 基于脑电波和眼动追踪的头戴设备控制系统、方法及介质 |
CN115590695A (zh) * | 2022-10-08 | 2023-01-13 | 华南脑控(广东)智能科技有限公司(Cn) | 一种基于眼电和人脸识别的轮椅控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108904163A (zh) | 轮椅控制方法及系统 | |
Wu et al. | Real-time American sign language recognition using wrist-worn motion and surface EMG sensors | |
Thiam et al. | Multi-modal pain intensity recognition based on the senseemotion database | |
Pfurtscheller et al. | 15 years of BCI research at Graz University of Technology: current projects | |
Pfurtscheller et al. | Graz-BCI: state of the art and clinical applications | |
Citi et al. | P300-based BCI mouse with genetically-optimized analogue control | |
CN107422841B (zh) | 一种基于非接触式情绪识别的人机交互方法 | |
WO2019040669A1 (en) | METHOD FOR DETECTING EXPRESSIONS AND FACIAL EMOTIONS OF USERS | |
CN112766173B (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
CN109298779A (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
CN110946576A (zh) | 一种基于宽度学习的视觉诱发电位识别情绪方法 | |
KR101666654B1 (ko) | 인체 미동 기반 호흡 정보 추출 방법 | |
CN117389441B (zh) | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 | |
Yang et al. | Design of virtual keyboard using blink control method for the severely disabled | |
Yu et al. | Common spatio-temporal pattern for single-trial detection of event-related potential in rapid serial visual presentation triage | |
CN110013231B (zh) | 睡眠环境光照条件辨识方法 | |
CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
KR102531002B1 (ko) | 웨어러블 장치를 이용하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 | |
KR101745602B1 (ko) | 영상정보를 통한 움직임의 양을 기반으로 하는 집단 감성 추론 시스템 | |
CN109308118B (zh) | 基于eog的中文眼写信号识别系统及其识别方法 | |
CN109620265A (zh) | 识别方法及相关装置 | |
CN115690528A (zh) | 跨主体场景的脑电信号美学评估处理方法、装置、介质及终端 | |
KR20220075908A (ko) | 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 | |
Mantri et al. | Cumulative video analysis based smart framework for detection of depression disorders | |
Schmidt et al. | Speed, amplitude, and asymmetry of lip movement in voluntary puckering and blowing expressions: implications for facial assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181130 |
|
RJ01 | Rejection of invention patent application after publication |