CN108904163A - 轮椅控制方法及系统 - Google Patents

Abstract

本发明提出了一种轮椅控制方法及系统，该方法包括：采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号；采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号；判断所述第一控制信号与所述第二控制信号是否一致；若所述第一控制信号与所述第二控制信号一致，将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号；将所述融合控制信号的精确度与预设阈值进行对比，及根据对比结果对所述轮椅进行控制。本发明为有需求的使用者提供了新的轮椅使用方式，并引入多信息源融合的概念，将精确度不高的脑电信号及眼动信号进行融合得到精确度较高的融合控制信号，提高算法的鲁棒性。

Description

轮椅控制方法及系统

技术领域

本发明涉及自动控制技术领域，特别涉及一种轮椅控制方法及系统。

背景技术

随着我国社会的发展，人民生活水平不断提高，人们逐渐把提高生活质量作为生活的目标之一，而计划生育政策的执行使得我国面临着严重人口老龄化的问题。据世界卫生组织预测，到2050年，中国将有35％的人口超过60岁，成为世界上老龄化最严重的国家。因此，提高老年人的生活质量就成为了一个社会问题。对于老年人，四肢无力的困扰成为了严重影响他们的衣食住行。而对于残疾人，同样也存在着类似的困扰。

缓解老年人和残疾人的困扰，改善他们的生活质量，就必须让他们能自由的行动。在这种环境下，轮椅应运而生。我们传统的轮椅有手摇式的和电动式的两种，可是对于老年人和重度残疾人由于缺乏上肢力量，控制传统轮椅仍然面临困难。

发明内容

有鉴于此，本发明实施例的目的在于提供一种轮椅控制方法及系统，以解决现有技术的不足。

根据本发明的一个实施方式，提供一种轮椅控制方法，该轮椅控制方法包括：

采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号；

采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号；

判断所述第一控制信号与所述第二控制信号是否一致；

若所述第一控制信号与所述第二控制信号一致，将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号；

将所述融合控制信号的精确度与预设阈值进行对比，及根据对比结果对所述轮椅进行控制。

在上述的轮椅控制方法中，若所述第一控制信号与所述第二控制信号不一致，重新对所述脑电波信息及所述用于眼动的图像信息进行采集。

在上述的轮椅控制方法中，所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括：

对所述脑电波信息的特征进行提取；

将提取的所述特征与预设脑电波模板的特征进行匹配；

根据匹配结果确定所述脑电波信息对应的所述第一控制信号。

在上述的轮椅控制方法中，预先采集用户在想象对轮椅的控制操作时的脑电波信息及将所述脑电波信息存储为所述预设脑电波模板。

在上述的轮椅控制方法中，所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括：

对所述脑电波信息的特征进行提取；

将所述有用特征作为神经网络的输入对象，通过调整所述神经网络中节点之间的连接方式及节点之间权值，得到内容为所述第一控制信号的输出对象，其中，每个所述节点表示一种激励函数。

在上述的轮椅控制方法中，所述“对所述图像信息进行分析得到对所述轮椅的第二控制信号”包括：

对所述图像信息进行处理得到注视参数；

根据所述注视参数获取人眼在预设平面上的注视点信息；

根据所述注视点所在区域及预先存储的所述区域与所述第二控制信号之间的对应关系确定所述图像信息对应的所述第二控制信号。

在上述的轮椅控制方法中，所述“对所述图像信息进行处理得到注视参数”包括：

对所述图像信息中的人眼进行追踪得到人眼区域；

根据所述人眼区域的图像提取出瞳孔区域；

对所述瞳孔区域的图像进行分析得到所述注视参数。

在上述的轮椅控制方法中，所述注视参数包括瞳孔中心坐标、参考点坐标及人眼角膜曲率中心坐标。

在上述的轮椅控制方法中，所述“将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号”包括：

根据所述第一控制信号及所述第二控制信号的精确程度为其赋予不同的权值；

根据所述权值对所述第一控制信号及所述第二控制信号进行加权融合得到融合控制信号。

在上述的轮椅控制方法中，通过决策极融合算法对所述第一控制信号及所述第二控制信号进行融合。

在上述的轮椅控制方法中，所述“将所述融合控制信号的精确度与预设阈值进行对比，及根据对比结果对所述轮椅进行控制”包括：

判断所述融合控制信号的精确度是否大于预设阈值；

若所述融合控制信号的精确度大于或等于预设阈值，根据所述融合控制信号对所述轮椅进行控制；

若所述融合控制信号的精确度小于预设阈值，根据所述精确度调整所述第一控制信号及所述第二控制信号的权值。

本发明的另一实施方式提供一种轮椅控制装置，该轮椅控制装置包括：

第一控制信号获取模块，用于采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号；

第二控制信号获取模块，用于采集用户眼动的视频流信息及对所述视频流信息进行分析得到对所述轮椅的第二控制信号；

判断模块，用于判断所述第一控制信号与所述第二控制信号是否一致；

融合模块，所述第一控制信号与所述第二控制信号一致，所述融合模块用于将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号；

控制模块，用于将所述融合控制信号的精确度与预设阈值进行对比，及根据对比结果对所述轮椅进行控制。

本发明的另一实施方式提供了一种轮椅控制系统，该系统包括：

轮椅；

脑电采集器，用于采集用户的脑电波信息；

眼动仪，用于采集用户眼动的图像信息；

计算机终端，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行上述的轮椅控制方法。

在上述的轮椅控制系统中，还包括显示屏幕：

所述显示屏幕用于显示所述脑电波信号及人眼在所述显示屏幕上的注视点信息。

本发明的又一实施方式提供一种计算机可读存储介质，其存储上述的轮椅控制方法。

本发明的轮椅控制方法及系统，通过脑电信号及眼动的信号对轮椅的运动状态及方向进行控制，给有需求的使用者提供了新的使用方式；并引入了多信息源融合的概念，将精确度不高的脑电信号及眼动信号进行融合得到精确度较高的融合控制信号，提高算法的鲁棒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明第一实施例提出的一种轮椅控制方法的流程示意图。

图2为本发明实施例提出的一种想象轮椅向前运动状态的脑电脑信号的波形示意图。

图3为本发明实施例提出的一种想象静止状态与向前运动状态的脑电波信号的波形对比示意图。

图4为本发明实施例提出的一种获取第一控制信号的流程示意图。

图5为本发明实施例提出的另一种获取第一控制信号的流程示意图。

图6为本发明实施例提出的一种获取第二控制信号的流程示意图。

图7为本发明实施例提出的一种将视线信息进行建模的示意图。

图8为本发明第二实施例提出的一种轮椅控制方法的流程示意图。

图9为本发明实施例提出的一种轮椅控制装置的结构示意图。

图10为本发明实施例提出的一种轮椅控制系统的结构示意图。

主要元件符号说明：

100-轮椅控制装置；110-第一控制信号获取模块；120-第二控制信号获取模块；130-判断模块；140-融合模块；150-控制模块；

200-轮椅控制系统；210-轮椅；220-脑电采集器；230-眼动仪；240-计算机终端。

具体实施方式

在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。

在下文中，可在本公开的各种实施例中使用的术语“包括”或“可包括”指示所公开的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本公开的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

在本公开的各种实施例中，表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。

在本公开的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件，不过可不限制相应组成元件。例如，以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如，第一用户装置和第二用户装置指示不同用户装置，尽管二者都是用户装置。例如，在不脱离本公开的各种实施例的范围的情况下，第一元件可被称为第二元件，同样地，第二元件也可被称为第一元件。

应注意到：如果描述将一个组成元件“连接”到另一组成元件，则可将第一组成元件直接连接到第二组成元件，并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地，当将一个组成元件“直接连接”到另一组成元件时，可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。

在本公开的各种实施例中使用的术语“用户”可指示使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。

在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本公开的各种实施例中被清楚地限定。

实施例1

图1为本发明第一实施例提出的一种轮椅控制方法的流程示意图。该方法包括：

步骤S110，采集用户的脑电波信息及对脑电波信息进行分析得到对所述轮椅的第一控制信号。

其中，所述脑电波信息可以为基于轮椅的运动想象脑电波信息，所述轮椅的运动想象的脑电波信息包括在想象轮椅的不同运动方向及不同运动状态时的脑电波信息，如想象轮椅向前、向后、向左、向右、左前、右前、左后、右后等运动方向时的脑电波信息及想象轮椅运动、停止等运动状态时的脑电波信息等。如图2所示为本发明实施例提出的一种想象轮椅向前运动状态的脑电脑信号的波形示意图。

图3为本发明实施例提出的一种想象静止状态与向前运动状态的脑电波信号的波形对比示意图。

图3中，波形A为在想象轮椅静止状态时采集的脑电波波形，波形B为在想象轮椅向前运动状态时采集的脑电波波形，波形C为波形A和波形B的差值波形。通过图中可知，在想象轮椅不同运动方向及状态时的脑电波波形存在很大的不同。

采集到用户的脑电波信息后，对该脑电波信息进行分析处理，根据处理结果得到对所述轮椅的第一控制信号。

本实施例中，通过对比法对脑电波信息进行分析处理。

例如，如图4为本发明实施例提出的一种获取第一控制信号的流程示意图。

步骤S210，预先采集用户在想象对轮椅的控制操作时的脑电波信息及将脑电波信息存储为预设脑电波模板。

由于个体的人脑的构造存在细微的差异，导致不同的用户在进行同一运动想象的脑电波信息并不完全相同，所以，为了使比对结果更精确，在对一个用户的运动想象脑电波信息之前，首先采集该用户在想象轮椅不同运动方向及状态时的脑电波信息，并将采集的所有脑电波信息进行存储，用于在后续比对时作为脑电波模板。

比如在用户保持放松状态下，采集轮椅向前运动状态想象的脑电波信号，采集过程持续预设的时间间隔，如8s。

步骤S220，采集用户的脑电波信息。

所述脑电波信号主要由δ(Delta)、θ(Theta)、α(Alpha)、β(Beta)、γ(Gamma)这几种节律波组成，其中，δ波的频率位于0.5～4Hz之间，幅度位于20～200uV之间；θ波的频率位于4～8Hz之间；α波的频率位于8～13Hz之间，幅度位于20～100uV之间；β波的频率位于14～30Hz之间，幅度位于5～20uV之间；γ波的频率大于30Hz之间，幅度小于2uV。

由于脑电波信号是微弱的，因此在采集过程中常常会因为人体自身内部的因素或者外部噪声的干扰，导致采集到的脑电波信号被其他噪声所干扰，常见的噪声包括眼电噪声、肌电噪声、心电噪声及在皮肤与电极接触位置由于汗水或其他因素造成的阻抗增大等噪声。

步骤S230，对脑电波信息的特征进行提取。

在步骤S230之前，在采集到用户的脑电波信息后，还可以对该脑电波信息进行预处理，如对所述脑电波信息进行去燥处理，如通过伪迹减法、主成分分析法、独立成分分析及小波分析法等对脑电波进行去燥处理，得到纯净的脑电波信号。

在对脑电波信号进行去燥处理后，还可对脑电波信号进行滤波处理，如通过带阻或陷波滤波器对不需要的节律波进行过滤，如，在想象轮椅不同的运动方向时，在采集到的所有运动方向的脑电波信号中α波及β波的区别较为明显，其他节律波的波动幅度及频率区别较小，那么通过滤波器将其他节律波滤掉，只留下α波及β波进行后续的分析处理操作。

对于预处理后的脑电波信号中，对脑电波信号进行特征提取，如α波功率、β波功率、α波功率与β波功率的比值、样本熵等特征。

在提取脑电波信号的特征时，可以通过时域分析、频域分析及时频域分析及公共空间域分析等方式对特征进行提取。

在一些其他实施例中，为了减少算法处理的复杂度，提高控制效率，还可以在提取的特征中选取与运动方向相关的显著特征进行后续的比对，例如，在采集的轮椅向前运动的脑电波信号A和轮椅向后运动的脑电波信号B中，提取到的α波功率、β波功率、α波功率与β波功率的比值等特征的区别较为明显，通过该部分特征能将明显将脑电波信号A和脑电波信号B区分开来，则可将该部分特征作为有用特征进行后续的比对操作。

步骤S240，将提取的特征特征与预设脑电波模板的特征进行匹配。

将步骤S230提取的特征与预设的脑电波模板的特征进行对比。

步骤S250，相似度是否超过预设阈值。

判断采集的脑电波的特征与预设脑电波模板的特征之间的相似度是否超过预设的阈值，若超过所述预设阈值，前进至步骤S260；否则，前进至步骤S220，重新对用户的脑电波信息及眼动的图像信息进行采集。

步骤S260，确定脑电波信息对应的所述第一控制信号。

若采集的脑电波的特征与预设脑电波模板的特征之间的相似度超过预设的阈值，根据预设脑电波模板对应的控制信号确定该采集的脑电波信号对应的第一控制信号。

在一些其他的实施例中，还可以通过神经网络对所述脑电波信息进行分析处理。

例如，图5为本发明实施例提出的另一种获取第一控制信号的流程示意图。

步骤S310，采集用户的脑电波信息。

步骤S320，对脑电波信息的特征进行提取。

步骤S330，将有用特征作为神经网络的输入对象，通过调整神经网络中节点之间的连接方式及节点之间权值，得到内容为第一控制信号的输出对象。

其中，每个所述节点表示一种激励函数。所述激励函数可根据算法需求设定。

将步骤S320中提取的所有特征作为神经网络的输入对象，每次对该神经网络进行训练时，调整神经网络中节点之间的连接关系及该连接关系对应的权值。通过持续不断的训练，得到精度较高的输出对象，即第一控制信号。

步骤S120，采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号。

本实施例通过眼动仪采集用户眼动的图像信息。在其他一些实施例中，还可以通过摄像头、摄像机、录像机等成像装置采集用户眼动的图像信息。

每隔预设时间，如8s采集一次用户眼动的图像信息，该预设时间可以根据步骤S110中采集的脑电波信息的时间而定。

在一些其他的实施例中，还可以采集用户眼动的视频流信息，对视频流中每一帧图像进行处理。

例如，如图6所示为本发明实施例提出的一种获取第二控制信号的流程示意图。

步骤S410，采集用户眼动的图像信息。

步骤S420，对图像信息中人眼进行追踪得到人眼区域。

为了扩大采集范围及用户的头动自由度，采集的用户眼动的图像信息中不但包括用户的脸部信息，还包括周围环境的信息。所以，首先对采集的图像信息进行人脸识别到的人脸区域图像，在人脸区域图像中，识别出人眼区域得到人眼区域图像。

其中，所述人脸识别算法包括肤色检测算法、灰度积分投影算法及Adaboost算法等。所述人眼识别算法包括灰度积分投影算法及Adaboost算法等。

在一些其他实施例中，还可以通过卡尔曼粒子滤波器对人眼进行实时的追踪。

步骤S430，根据人眼区域图像提取出瞳孔区域。

可通过灰度积分投影、二值化等算法对瞳孔区域进行提取。

步骤S440，根据瞳孔区域的图像得到注视参数。

所述注视参数包括瞳孔中心坐标、参考点坐标及人眼角膜曲率中心坐标等。

根据瞳孔区域的图像内每一像素点对应的坐标值，得到图像中瞳孔中心相对于瞳孔区域图像的像素坐标。

另外，还可以提取出参考点的像素坐标，例如，为了获取更大精度的注视点信息，还可以计算出参考点坐标，例如，可以手动设置参考光源，计算出瞳孔区域图像中该参考光源在人眼角膜上的参考点的像素坐标。

由于人眼角膜曲率中心点和瞳孔中心点所在直线与人眼视轴所在直线差别较小，误差可以忽略不急，通常将人眼角膜曲率中心点和瞳孔中心点所在直线作为人眼视轴进行后续的建模。

步骤S450，根据注视参数获取人眼在预设平面上的注视点信息。

通过步骤S440获取的注视参数及用户与预设平面之间的距离建立视线模型，视线与预设平面的交点即为人眼在预设平面上的注视点。

如图7所示为将视线信息进行建模的示意图。

点P1、点Q1为人眼在不同注视角度下视轴与人眼角膜曲面的交点；点P2、点Q2为眼动仪或成像装置拍摄到的人眼角膜上的点P1、点P2在图像中的映射点；点P、Q为人眼在预设平面上的注视点，即OP1所在直线及OQ1所在直线与预设屏幕的交点。

通过瞳孔中心坐标及人眼角膜曲率中心点坐标计算人眼视轴所在直线的表达式，根据该人眼视轴所在直线的表达式及用户、预设平面之间的距离、预设平面与采集图像装置、用户之间的世界坐标系获取点P、Q在预设平面上的欧式坐标信息。

步骤S460，根据注视点所在区域及预先存储的区域与第二控制信号之间的对应关系确定当前图像信息对应的所述第二控制信号。

在预设平面上预先划分好区域，并设定好区域与第二控制信号之间的关系。

例如，如下表所示为区域与第二控制信号之间的关系。

区域	第二控制信号
		上中区域	向前运动
左上区域	左前转弯
		右上区域	右前转弯
中心区域	停止
		……	……
右下区域	右后转弯

例如，当注视点坐标所在区域为预设平面的上中区域时，对应的第二控制信号为控制轮椅向前运动；当注视点坐标所在区域为预设平面的右下区域时，对应的第二控制信号为控制轮椅向右后转弯。

步骤S130，判断第一控制信号与第二控制信号是否一致。

例如，若第一控制信号为向前运动，第二控制信号为向前运动，那么该第一控制信号与第二控制信号一致，前进至步骤S140；若第一控制信号为向前运动，第二控制信号为向后运动，那么，该第一控制信号与第二控制信号不一致，前进至步骤S110，继续采集脑电波信息及眼动的图像信息。

步骤S140，将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号。

根据所述第一控制信号及所述第二控制信号的精确程度为其赋予不同的权值。

所述权值为用户根据第一控制信号及所述第二控制信号的精确程度预先设定的权值，其中，第一控制信号的精确度可以通过脑电波信号和预设脑电波模板的特征的相似度来表示，第二控制信号的精确度可以通过采集的注视点的精确度进行表示，如计算得到的注视点和真实的注视点之间的差值。

根据所述权值对所述第一控制信号及所述第二控制信号进行加权融合得到融合控制信号。

例如，融合控制信号＝第一控制信号×第一控制信号权值+第二控制信号×第二控制信号权值。

优选地，可以通过决策极融合算法对所述第一控制信号及所述第二控制信号进行融合。在一些其他的实施例中，还可以通过其他算法对所述第一控制信号及所述第二控制信号进行融合。

步骤S150，判断融合控制信号精确度是否大于预设阈值。

将步骤S140中得到的融合控制信号精确度与预设阈值进行对比，若融合控制信号精确度高于预设阈值，前进至步骤S160；否则前进至步骤S110，继续采集脑电波信息及眼动的图像信息及将采集的脑电波信息及眼动的图像信息进行融合。

其中，所述融合控制信号的精确度通过与第一控制信号和第二控制信号的准确率对比结果进行描述，如在100次的试验中，融合控制信号的相对于第一控制信号和第二控制信号的准确程度。

步骤S160，根据所述融合控制信号对所述轮椅进行控制。

根据所述融合控制信号控制轮椅的运动状态及运动方向。

实施例2

图8为本发明第二实施例提出的一种轮椅控制方法的流程示意图。

步骤S510，获取第一控制信号。

步骤S520，获取第二控制信号。

步骤S530，判断第一控制信号与第二控制信号是否一致。

若第一控制信号与第二控制信号一致，前进至步骤S540；若第一控制信号与第二控制信号不一致，前进至步骤S510。

步骤540，根据第一控制信号机第二控制信号的精确程度为其赋予不同的权值。

步骤S550，根据权值对第一控制信号机第二控制信号进行加权融合得到融合控制信号。

步骤S560，判断融合控制信号的精确度是否大于预设阈值。

若所述融合控制信号的精确度大于或等于预设阈值，前进至步骤S570；若所述融合控制信号的精确度小于预设阈值，前进至步骤S580。

步骤S570，根据融合控制信号对所述轮椅进行控制。

例如，若融合控制信号为向前运动，则根据该信号控制轮椅向前运动。

步骤S580，调整第一控制信号机第二控制信号对应的权重。

若所述融合控制信号的精确度小于预设阈值，根据融合控制信号的精确度调整第一控制信号机第二控制信号对应的权重，并前进至步骤S510，继续进行下一次的融合。

实施例3

图9为本发明实施例提出的一种轮椅控制装置的结构示意图。该轮椅控制装置100包括：第一控制信号获取模块110、第二控制信号获取模块120、判断模块130、融合模块140和控制模块150。

第一控制信号获取模块110，用于采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号。

第二控制信号获取模块120，用于采集用户眼动的视频流信息及对所述视频流信息进行分析得到对所述轮椅的第二控制信号。

判断模块130，用于判断所述第一控制信号与所述第二控制信号是否一致。

融合模块140，若所述第一控制信号与所述第二控制信号一致，所述融合模块140用于将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号。

控制模块150，用于将所述融合控制信号的精确度与预设阈值进行对比，及根据对比结果对所述轮椅进行控制。

实施例4

图10为本发明实施例提出的一种轮椅控制系统的结构示意图。该轮椅控制系统200包括：轮椅210、脑电采集器220、眼动仪230和计算机终端240。

脑电采集器220，用于采集用户的脑电波信息。

本实施例通过可穿戴的脑电波采集器Emotiv EPOC+对脑电波信号进行非入侵式的采集。Emotiv EPOC+采样频率为128Hz，包括14个电极及2个参考电极。在一些其他实施例中，还可以通过其他设备对脑电波信号进行采集，如MindBand脑电采集器等。

眼动仪230，用于采集用户眼动的图像信息。

本实施例通过Tobbi EyeX眼动仪对用户的图像信息进行非入侵式采集，TobbiEyeX精度较高，且采集过程中，用户的自由度较大。在一些其他的实施例中，还可以通过其他设备对用户的图像信息进行采集，如Kinect等。

计算机终端240，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行上述的轮椅控制方法以对所述轮椅210进行控制。

所述轮椅控制系统200还可以包括显示屏幕：

所述显示屏幕用于显示所述脑电波信号及人眼在所述显示屏幕上的注视点信息。

所述轮椅控制系统200还包括驱动装置：

所述驱动装置用于接收所述计算机终端240发送的对轮椅的控制指令，并将控制指令转换为自身能识别的信号，根据转换后的信号驱动所述轮椅210执行相应的动作。

该轮椅控制系统200还可以引入物联网技术，计算机终端240将控制指令转化为无线信号，将该无线信号通过无线方式传输至驱动装置，驱动装置接收到该无线信号后转化为自身能识别的控制信号，根据该控制信号驱动轮椅210执行相应的动作。

本实施例还提供了一种计算机可读存储介质，其存储有上述的轮椅控制系统中所使用的所述计算机程序。

以此，本发明提出了一种轮椅控制方法及系统，通过脑电信号及眼动的信号对轮椅的运动状态及方向进行控制，给有需求的使用者提供了新的使用方式；并引入了多信息源融合的概念，将精确度不高的脑电信号及眼动信号进行融合得到精确度较高的融合控制信号，提高算法的鲁棒性；引入物联网概念，将轮椅控制装置与轮椅通过物联网的方式进行连接，增加了连接方式的多样性。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种轮椅控制方法，其特征在于，包括：

采集用户的脑电波信息及对所述脑电波信息进行分析得到对所述轮椅的第一控制信号；

采集用户眼动的图像信息及对所述图像信息进行分析得到对所述轮椅的第二控制信号；

判断所述第一控制信号与所述第二控制信号是否一致；

若所述第一控制信号与所述第二控制信号一致，将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号；

将所述融合控制信号的精确度与预设阈值进行对比，及根据对比结果对所述轮椅进行控制。

2.如权利要求1所述的轮椅控制方法，其特征在于，所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括：

对所述脑电波信息的特征进行提取；

将提取的所述特征与预设脑电波模板的特征进行匹配；

根据匹配结果确定所述脑电波信息对应的所述第一控制信号。

3.如权利要求2所述的轮椅控制方法，其特征在于，预先采集用户在想象对轮椅的控制操作时的脑电波信息及将所述脑电波信息存储为所述预设脑电波模板。

4.如权利要求1所述的轮椅控制方法，其特征在于，所述“对所述脑电波信息进行分析得到对所述轮椅的第一控制信号”包括：

对所述脑电波信息的特征进行提取；

将所述特征作为神经网络的输入对象，通过调整所述神经网络中节点之间的连接方式及节点之间权值，得到内容为所述第一控制信号的输出对象，其中，每个所述节点表示一种激励函数。

5.如权利要求1所述的轮椅控制方法，其特征在于，所述“对所述图像信息进行分析得到对所述轮椅的第二控制信号”包括：

对所述图像信息进行处理得到注视参数；

根据所述注视参数获取人眼在预设平面上的注视点信息；

根据所述注视点所在区域及预先存储的所述区域与所述第二控制信号之间的对应关系确定所述图像信息对应的所述第二控制信号。

6.如权利要求5所述的轮椅控制方法，其特征在于，所述“对所述图像信息进行处理得到注视参数”包括：

对所述图像信息中的人眼进行追踪得到人眼区域；

根据所述人眼区域的图像提取出瞳孔区域；

对所述瞳孔区域的图像进行分析得到所述注视参数。

7.如权利要求1所述的轮椅控制方法，其特征在于，若所述第一控制信号与所述第二控制信号不一致，重新对所述脑电波信息及所述眼动的图像信息进行采集。

8.如权利要求1所述的轮椅控制方法，其特征在于，所述“将所述第一控制信号及所述第二控制信号进行融合得到融合控制信号”包括：

根据所述第一控制信号及所述第二控制信号的精确度为其赋予不同的权值；

根据所述权值对所述第一控制信号及所述第二控制信号进行加权融合得到融合控制信号。

9.一种轮椅控制系统，其特征在于，包括：

轮椅；

脑电采集器，用于采集用户的脑电波信息；

眼动仪，用于采集用户眼动的图像信息；

计算机终端，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行如权利要求1-8任一项所述的轮椅控制方法。

10.如权利要求9所述的轮椅控制系统，其特征在于，还包括显示屏幕：

所述显示屏幕用于显示所述脑电波信号及人眼在所述显示屏幕上的注视点信息。