CN107260420A - 基于眼部动作识别的智能轮椅人机交互控制系统及方法 - Google Patents

Abstract

本发明公开了基于眼部动作识别的智能轮椅人机交互控制系统及方法，通过肌电信号采集模块采集眼部肌电信号，对肌电信号进行特征选择，根据眨眼时肌电特征变化差异进行眼部动作识别实现对有意识眨眼的准确判断，通过多种有意识眨眼方式组合实现对轮椅方向的精确控制，模糊控制器部分以信号肌电积分值和信号斜率作为输入，智能轮椅行驶速度作为输出，建立两输入单输出的二维结构模糊控制器，实现对轮椅行驶速度的精确控制。本方案多样化，操作方式简便、快捷、易于学习，充分考虑到老年人以及残障人士在控制方式上的特殊需要，避免了传统控制方式操作不灵活、用户反映迟钝等导致的智能轮椅系统的控制问题，非常适应老龄人以及残障人士的现实需求。

Description

基于眼部动作识别的智能轮椅人机交互控制系统及方法

技术领域

本发明属于智能轮椅人机交互控制技术领域，具体涉及到一种基于眼部动作识别的助老助残智能轮椅人机交互控制系统及方法。

背景技术

随着现代智能系统科技的迅速发展，保障与提高老年人以及残障人士的生活质量，辅助残障人士的康复治疗，越来越受到社会各界人士的关注。智能轮椅的研究已经有了30多年的历史，制造水平、机械技术和框架结构已经达到了不错的水平，但是在控制方法和控制系统上，针对于不同人群的不同需求，还有很大的空间可以去研究和开发。在智能轮椅的控制上，已经出现了头姿识别控制，手势识别控制等新型的控制方法，但在面对一些脑卒中症状严重的患者时，头姿识别、手势识别等控制方法仍不足以满足患者的实际需求，而基于眼部动作识别的智能轮椅人机交互控制方法在一定程度上能弥补这一方面研究的空白。

在传统的控制领域里，控制系统动态模式的精确与否是影响控制优劣的最关键因素，系统动态的信息越详细，则越能达到精确控制的目的。然而由于大脑对眼部肌电信号控制的无法足够精确，使用传统控制方法控制时，很难正确描述控制系统的动态，控制效果不够理想，所以我们采用模糊控制的理论来实现系统控制。本发明通过对眼部肌电信号的采集处理，研制了一种能够通过眼部肌电信号来模糊控制智能轮椅的控制方法。

发明内容

本发明针对现有技术上存在的不足，提供了一种基于眼部动作识别的智能轮椅人机交互控制系统及方法。本发明是通过以下技术方案实现的：

眼部肌电采集模块、特征选择、眼部动作识别、模糊控制器和运动驱动部分组成；眼部肌电采集模块实时采集用户肌电信号并发送至单片机，在单片机中完成眼部动作识别并通过模糊控制器实现模糊控制，最后将模糊控制得到的运动控制命令输入到运动驱动部分实现轮椅运动控制；该控制方法的控制模式为：眼部肌电信号采集模块首先采集眼部运动时的肌电信号，通过眼电信号识别和处理方法得到需要的眼电信号进行特征提取并制定相应的控制策略；使用时，单片机根据肌电模块实时采集到的肌电信号进行眼部动作识别，根据眼部动作识别结果得到相应的的方向控制命令；模糊控制器采用单片机软件方法设计，由知识库、推理机制、模糊化模块与去模糊化模块等四个部分组成，通过单片机离线实时查表控制；模糊控制器根据眼部肌电信号特征执行模糊推理得到相应的速度控制命令，由单片机输出给运动执行单元，进而对轮椅进行直接运动控制。

该控制方法的控制模式为：眼部肌电信号采集模块采集眼部附近的肌电信号，通过眼电信号识别和处理方法得到需要的眼电信号进行特征提取，根据肌电特征进行眼部动作识别，根据眼部动作识别结果得到相应的的方向控制命令，模糊控制器根据眼部肌电信号特征执行模糊推理得到相应的速度控制命令，并输出给运动执行单元，进而对轮椅进行直接运动控制；

所述眼部肌电信号处理与识别方法包括以下步骤:

步骤1，设计眼部肌电信号采集模块采集眼部肌电信号；

步骤2，对眼部肌电信号进行特征选择；

步骤3，根据眼部肌电信号特征进行眼部动作识别与智能轮椅方向分类控制；

步骤4，根据眼部肌电信号特征进行模糊推理，实现智能轮椅速度模糊控制，并输出给运动执行单元。

所述的基于模糊控制理论的智能轮椅人机交互系统的眼部肌电信号控制方法，其进一步设计在于，在步骤1中，利用三个贴片电极对目标采集差分眼电信号；用放大器对所采集的眼电信号进行放大；采用带通滤波器对眼电信号进行滤波；最后经过主放大器放大后输出。

所述的基于模糊控制理论的智能轮椅人机交互系统的眼部肌电信号控制方法，其进一步设计在于，在步骤2中，通过对眼部肌电信号的多种特征进行对比发现肌电积分值和信号斜率在多种信号特征中变化差异性最为显著，在眨眼时采样得到的脉冲信号的肌电积分值和信号斜率会随着有意识眨眼力度的改变发生明显的变化。有意识眨眼力度较大时，相较于无意识眨眼眼部肌电信号单位时间内的高脉冲信号幅值及其脉冲次数明显增加，相应的肌电积分值显著增加，信号斜率增大；有意识眨眼力度较小时，相较于无意识眨眼眼部肌电信号单位时间内的高脉冲信号幅值及其脉冲次数的增加较少，相应的肌电积分值增加平缓，信号斜率增大且低于有意识眨眼力度较大时。因此挑选肌电积分值和信号斜率作为控制特征。

所述的基于模糊控制理论的智能轮椅人机交互系统的眼部肌电信号控制方法，其进一步设计在于，在步骤3中，首先通过预设阀值来对有意识眨眼和无意识眨眼进行区分，然后通过单位时间内采样的信号肌电积分值及信号斜率变化情况实现对有意识眨眼及眨眼力度的准确判断，通过多种有意识眨眼方式组合来实现对智能轮椅的控制。在本发明中我们使用了如下组合：

前进命令：左右眼同时有意识眨眼一下；

后退命令：左右眼依次有意识眨眼一下(左眼先、右眼后)；

左转命令：左眼连续有意识眨眼两下；

右转命令：右眼连续有意识眨眼两下；

停止命令：左右眼依次有意识眨眼一下(右眼先、左眼后)。

所述的基于模糊控制理论的智能轮椅人机交互系统的眼部肌电信号控制方法，其进一步设计在于，在步骤4中，根据特征提取和选择得到的控制特征信息，模糊控制器以信号幅值和信号变化速率作为输入，智能轮椅行驶速度作为输出，建立两输入单输出的二维结构模糊控制器。结果输出给运动执行单元进行实时、准确控制。

采用上述方案后，用户就能通过有意识眨眼的方式和眨眼力度对智能轮椅的前进，后退，左转，右转，停止等运动指令以及行驶速度进行实时有效控制。

有益效果

本发明一种基于眼部肌电信号识别的智能轮椅人机交互系统的控制方法具有以下优势：

(1)本发明通过对眼部肌电信号的采集处理，充分考虑到老年人以及残障人士在控制方式上的特殊需要，避免了传统控制方式操作不灵活、用户反映不灵敏等导致的智能轮椅系统的控制问题；

(2)本发明的眼部肌电信号采集的数据实时性强、数据准确，能够灵敏的反映出用户的需求，实现对智能轮椅系统的高效控制；

(3)本发明的控制方法多样化，可以按照用户自身的行为习惯对控制方法进行修改定义，找到更符合用户本身需求的控制方式，更好的满足用户的需求；

(4)本发明的操作方式简便、快捷、易于学习，用户在使用上能得到很高的用户体验，非常适应老龄人以及残障人士的现实需求；

附图说明

附图1为装置整体框架图；

附图2为眼部肌电信号采集模块框架图；

附图3为眼部肌电采集贴片位置；

附图4为眼部肌电信号图；

附图5为多种眨眼力度下眼部肌电信号对比图；

附图6为有意识眨眼与无意识眨眼眼部肌电信号对比图；

附图7为眼部运动分类控制示意图；

附图8为模糊控制框架图；

附图9为肌电积分值和输出速度隶属度函数图；

附图10为肌电信号斜率隶属度函数图；

附图11为模糊控制规则表；

附图12为模糊控制变量观察图；

附图13为控制系统输入输出变量三维曲面。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示，本发明提供了基于眼部动作识别的智能轮椅人机交互装置及控制方法，所述装置由肌电采集、特征选择、眼部动作识别、模糊控制和运动驱动等部分组成，下面将会对各部分具体实施方案进行详细讲述。

如图2至图4所示，肌电采集部分主要包括电源模块、ad623放大器、高通滤波器、低通滤波器、主放大器以及贴片电极等部分(如图2所示)，这些组件都被集成到一块电路板上进行使用。

肌电采集部分通过贴在眼部上、下和外侧(如图3所示)的贴片电极采集眼部肌电信号，由于人体的眼部肌电信号非常小，所以需要先经过放大器放大。本系统中采用ad623仪器放大器放大后，信号输入到带通滤波器，经过滤波器滤波，去除掉信号中频率过大和频率过小的部分，最后经过主放大器就能得到单片机能够处理的信号。

如图5所示，通过对眼部肌电信号的多种特征进行对比发现肌电积分值和信号斜率在多种信号特征中变化差异性最为显著，在眨眼时采样得到的脉冲信号的肌电积分值和信号斜率会随着有意识眨眼力度的改变发生明显的变化。有意识眨眼力度较大时，相较于无意识眨眼眼部肌电信号单位时间内的高脉冲信号幅值及其脉冲次数明显增加，相应的肌电积分值显著增加，信号斜率增大；有意识眨眼力度较小时，相较于无意识眨眼眼部肌电信号单位时间内的高脉冲信号幅值及其脉冲次数的增加较少，相应的肌电积分值增加平缓，信号斜率增大且低于有意识眨眼力度较大时。因此挑选肌电积分值和信号斜率作为控制特征。

如图6至图7所示，通过预设阀值来对有意识眨眼和无意识眨眼进行区分，然后通过单位时间内采样的信号肌电积分值及信号斜率变化情况实现对有意识眨眼及眨眼力度的准确判断，通过多种有意识眨眼方式组合来实现对智能轮椅的控制。在本发明中我们使用了如下组合：

前进命令：左右眼同时有意识眨眼一下；

后退命令：左右眼依次有意识眨眼一下(左眼先、右眼后)；

左转命令：左眼连续有意识眨眼两下；

右转命令：右眼连续有意识眨眼两下；

停止命令：左右眼依次有意识眨眼一下(右眼先、左眼后)。

如图8至图11所示，根据特征提取和选择得到的控制特征信息，模糊控制器以肌电积分值和信号斜率作为输入，智能轮椅行驶速度作为输出，建立两输入单输出的二维结构模糊控制器。首先确定各变量的模糊语言取值及相应的隶属函数,进行模糊化。选定采样值和无意识眨眼的肌电积分均值的误差记为e，取其语言变量为E，根据轮椅控制规则，论域选择为X＝{0，+1，+2，+3}，连续变化量使之离散化，论域上模糊子集是Ai(i＝0,1,2,3)，相应语言值为{零(Z)，正小(PS)，正中(PM)，正大(PB)}，分别表示采样周期内轮椅的行驶速度分别为“停止”、“极小”、“适中”、“极大”。眼部肌电信号采样周期内，采样信号的斜率为ec，取其语言变量为EC，论域Y＝{-3，-2，-1，0，+1，+2，+3}，连续变化量使之离散化，论域上的模糊子集是Bj(j＝0，1,2,3,…,6)，相应语言值为{负大(NB)，负小(NS)，零(Z)，正小(PS)，正大(PB)}。分别表示眼部肌电信号采样周期内信号的变化情况：“快速变小”、“变小”、“不变”、“变大”、“快速变大”。采样周期内轮椅行驶速度u，取其语言变量为U，论域Z＝{-3，-2，-1，0}，论域上模糊子集是Ck(k＝0,1,2,3},相应语言值为零(Z)，正小(PS)，正中(PM)，正大(PB)}。分别表示行驶速度为：“速度为0”，“低速”，“中速”，“高速”。量化因子KE和KEC由式：KE＝n/xE，KEC＝n/xEC确定，式中xE、xEC表示E和EC的实际范围，n表示整个论域的范围。确定语言值隶属度函数，对上面各语言之给定其模糊化的隶属度函数，这里根据实际问题，隶属度函数选择三角形、全交迭、均匀分布的隶属度函数，建立模糊控制规则。规则的归纳和规则库的建立，从实际控制经验过渡到模糊控制器,如图11所示，模糊控制规则为：If E＝Zand EC＝NB or NS or Z or NS or NB then U＝Z，If E＝PS and EC＝NB or PB then U＝PM，If E＝PS and EC＝NS or PS then U＝PS，If E＝PS and EC＝Z then U＝Z，If E＝PM and EC＝NB or PB then U＝PB，If E＝PM and EC＝NS or PS then U＝PM，If E＝PMand EC＝Z then U＝PS，If E＝PB and EC＝NB or NS or Z or PS or PB then U＝PB，

确定模糊推理和解模糊化方法。模糊推理方法选择为最大乘积推理。解模糊化方法选择重心法。将模糊量转化为精确量，用以实施最后的控制策略。

模糊控制查询表的生成。在如上步骤基础之上，在mat lab上构建模糊控制器加载输入量的论域、隶属度函数、模糊控制规则和解模糊方法，最后生成离线模糊控制查询表。生成了模糊控制查询表之后，将该表导入主程序模糊控制查询程序中的二维数组，即可在程序执行时离线查询模糊控制查询表，得到相应的控制结果，从系统三维模型中可以看出轮椅运行加速、减速平滑顺畅，能够满足实际的控制需求。

采用上述方案后，用户就能通过有意识眨眼的方式和眨眼力度对智能轮椅的前进，后退，左转，右转停止，后退等运动指令以及行驶速度进行实时有效控制。

以上是对本发明的具体描述。需要解释的是，本发明并不局限于上述实施方案，本领域技术人员可以在权利要求范围内作出各种变形和修改，这并不影响本发明的中心思想和核心思路及内容。

Claims (7)

1.基于眼部动作识别的智能轮椅人机交互控制系统，其特征在于，由眼部肌电采集模块、特征选择、眼部动作识别、模糊控制器和运动驱动部分组成；眼部肌电采集模块实时采集用户肌电信号并发送至单片机，在单片机中完成眼部动作识别并通过模糊控制器实现模糊控制，最后将模糊控制得到的运动控制命令输入到运动驱动部分实现轮椅运动控制；该控制方法的控制模式为：眼部肌电信号采集模块首先采集眼部运动时的肌电信号，通过眼电信号识别和处理方法得到需要的眼电信号进行特征提取并制定相应的控制策略；使用时，单片机根据肌电模块实时采集到的肌电信号进行眼部动作识别，根据眼部动作识别结果得到相应的的方向控制命令；模糊控制器采用单片机软件方法设计，由知识库、推理机制、模糊化模块与去模糊化模块等四个部分组成，通过单片机离线实时查表控制；模糊控制器根据眼部肌电信号特征执行模糊推理得到相应的速度控制命令，由单片机输出给运动执行单元，进而对轮椅进行直接运动控制。

2.如权利要求1所述控制系统的方法，其特征在于，所述眼部肌电信号处理与识别方法包括以下步骤:

步骤1)，设计眼部肌电信号采集模块采集眼部肌电信号；

步骤2)，对眼部肌电信号进行特征选择；

步骤3)，根据眼部肌电信号特征进行眼部动作识别与智能轮椅方向分类控制；

步骤4)，根据眼部肌电信号特征进行模糊推理，实现智能轮椅速度模糊控制，并输出给运动执行单元。

3.如权利要求2所述的方法，其特征在于，在步骤1)中，利用三个贴片电极对目标采集差分眼电信号；用放大器对所采集的眼电信号进行放大；采用带通滤波器对眼电信号进行滤波；最后经过主放大器放大后输出。

4.如权利要求2所述的方法，其特征在于，在步骤2)中，通过对眼部肌电信号的多种特征进行对比发现肌电积分值和信号斜率在多种信号特征中变化差异性最为显著，在眨眼时采样得到的脉冲信号的肌电积分值和信号斜率会随着有意识眨眼力度的改变发生明显的变化；有意识眨眼力度较大时，相较于无意识眨眼眼部肌电信号单位时间内的高脉冲信号幅值及其脉冲次数明显增加，相应的肌电积分值显著增加，信号斜率增大；有意识眨眼力度较小时，相较于无意识眨眼眼部肌电信号单位时间内的高脉冲信号幅值及其脉冲次数的增加较少，相应的肌电积分值增加平缓，信号斜率增大且低于有意识眨眼力度较大时；因此挑选肌电积分值和信号斜率作为控制特征。

5.如权利要求2所述的方法，其特征在于，在步骤3)中，首先通过预设阀值来对有意识眨眼和无意识眨眼进行区分，然后通过单位时间内采样的信号肌电积分值及信号斜率变化情况实现对有意识眨眼及眨眼力度的准确判断，通过有意识眨眼方式组合来实现对智能轮椅的控制。

6.如权利要求4所述的方法，其特征在于，所述有意识眨眼方式组合：

前进命令：左右眼同时有意识眨眼一下；

后退命令：左右眼依次有意识眨眼一下，左眼先、右眼后；

左转命令：左眼连续有意识眨眼两下；

右转命令：右眼连续有意识眨眼两下；

停止命令：左右眼依次有意识眨眼一下，右眼先、左眼后。

7.如权利要求2所述的控法，其特征在于，在步骤4)中，根据特征提取和选择得到的控制特征信息，模糊控制器以信号幅值和信号变化速率作为输入，智能轮椅行驶速度作为输出，建立两输入单输出的二维结构模糊控制器；结果输出给运动执行单元进行实时、准确控制。