CN102309366B - 用眼动信号控制上假肢运动的控制系统和控制方法 - Google Patents

Abstract

本发明公开了一种用眼动信号控制上假肢运动的控制系统及其控制方法，它是由眼睛图像采集模块、眼动特征提取模块、预定义特征存储模块、特征匹配模块、指令确认模块和驱动模块组成；通过上述各模块，实现对眼睛的转动和眨动事件进行组合，以产生多种不同的特征，从而完成更多的控制功能。

Description

用眼动信号控制上假肢运动的控制系统和控制方法

技术领域

本发明涉及康复辅具技术领域的上肢假肢技术，尤其是涉及上肢假肢的控制系统与方法。

背景技术

如何让残疾人方便、灵活地控制上假肢是上假肢研究中一个非常重要的内容。目前国际上用于上假肢控制的仿生控制信号主要有人体自身的肌电信号、脑电信号、神经信号和语音信号等。

采用肌电信号控制假肢的基本原理是：将残肢肌肉收缩时产生的动作电位由皮肤电极引出，经过生物电放大器放大后送入计算机分析，提取出反映运动意愿的有效特征，运用特征矢量与运动空间的映射关系来驱动机械臂运动和假手开合。目前上假肢的主要仿生控制信号源就是肌电信号。

尽管肌电上假肢在实际应用中获得了成功，但当截肢患者的残肢太短，或者因瘫痪而导致肌肉萎缩时，就不能提供足够的上假肢所需要的控制信息。同时，肌肉的疲劳、电极位置的改变、肌电信号的训练、体重的波动都会使肌电信号的特征值发生变化，造成多自由度肌电假肢的控制准确度难以提高。此外，由于对肌电信号的解码能力所限，肌电上假肢所能控制的自由度也是很有限的。

脑电信号本质上是中枢神经系统工作过程中神经和突触所产生的电噪声。研究表明，脑电信号的变化与肢体的运动之间存在某种相关性，将这种相关性加以解释，建立脑电活动与自主运动之间的对应关系，那么脑皮层与外界就可以进行信息交换了。

利用从头皮记录的脑电活动作为信息源，即使最严重的截肢患者也能够使用。然而脑电过程是非常复杂的，目前对它的研究还只限于开发简单的脑机接口装置，其能够识别的模式比较少，识别率不高，并且目前的脑电采集装置也比较复杂。每次使用该装置前都需在头皮处涂导电膏，这就给使用带来不便。

神经的电生理活动不仅不受人体疲劳程度的影响，重复再现性高，且神经信息传递时彼此之间互不干扰，具有极佳的清晰度。这些特征使神经活动在充当控制信息源方面具很大的优越性。基于此，Wan等提出了把人体上肢神经信号转化为控制指令来控制假肢的思想。然而要采集精确的神经信号需要将硅片和电极植入人体内，目前在技术实现上还有很大的难度，而且对运动信息的神经解码问题的研究目前还正在进行。

与其他方式控制假肢相比，声控能完成的控制功能更多，更方便，精度也更高，它的不足之处在于在特定环境中使用声音作信号源并不合适，比如在会场等需要保持肃静的场合不宜用声音来控制假肢，而且患者与别人进行语言交流的时候也可能导致假肢产生误动作。

发明内容

为克服现有假肢控制方式技术的不足，本发明提供一种用眼动信号控制上假肢运动的控制系统和方法。

一种用眼动信号控制上假肢运动的控制系统，它是由眼睛图像采集模块、眼动特征提取模块、预定义特征存储模块、特征匹配模块、指令确认模块和驱动模块组成；其中：

1、所述的眼睛图像采集模块由摄像头和传送装置构成，摄像头用于采集眼睛的图像，传送装置用于将图像编码并发送到眼动特征提取模块。

2、所述的眼动特征提取模块用于从眼睛图像中提取出眼动特征并将其发送到特征匹配模块。它包括以下单元：眨眼检测单元、眼球转动方向识别单元和特征向量存储单元；其中：

1)眨眼检测单元用于检测眨眼事件并记录眼睛闭合的持续时间；

2)眼球转动方向识别单元用于计算瞳孔的位移并判断眼球的转动方向；

3)特征向量存储单元用于存储与眼睛的动作相对应的特征向量。

3、所述的预定义特征存储模块用于存储上假肢的动作指令和与之相对应的眼动特征。

4、所述的特征匹配模块用于将眼动特征提取模块提取出的眼动特征与预定义特征存储模块中的特征进行匹配，获得上假肢的动作指令，并将动作指令发送到指令确认模块。

5、所述的指令确认模块用于将特征匹配模块获得的动作指令交于受试者确认，如果指令无误，则将其发送到驱动模块，如果有误，则通过“取消”命令删除该动作指令并重新提取眼动特征。

6、所述的驱动模块包括驱动器和电机，当驱动器接收到指令确认模块发送来的动作指令时，便控制假肢完成相应的设定动作。

基于上述系统的假肢控制方法，包括如下步骤：采集眼睛图像；提取眼动特征；识别动作指令；确认动作指令和完成设定动作。上述假肢控制系统和方法采用眼动信号作为控制假肢的信号源，通过提取眼睛运动的特征信息判别动作指令，控制假肢做出受试者期望的动作。

本发明控制方法隐蔽性强，控制方便，而且对眼睛的转动和眨动事件进行组合，可以产生多种不同的特征，从而完成更多的控制功能。

附图说明

图1为假肢控制系统的模块图；

图2为眼动特征提取模块的结构图。

图3为眼睛图像。

图4为假肢控制方法的流程图。

具体实施方式

下面根据附图对本发明的实施做进一步说明。

本发明采用以下技术方案，如图1所示：它包括眼睛图像采集模块100、眼动特征提取模块200、预定义特征存储模块300、特征匹配模块400、指令确认模块500和驱动模块600。

所述的眼睛图像采集模块100由摄像头和传送装置组成，它的功能是实时采集眼睛的图像并将图像编码后发送到眼动特征提取模块200。

所述的眼动特征提取模块200的功能是提取眼动特征。此模块包括三个单元：眨眼检测单元201，眼球转动方向识别单元202和特征向量存储单元203。眨眼检测单元201分析眼睛图像，检测眨眼事件并记录眼睛闭合的持续时间，优选地约定当检测到眼睛的闭合时间在0.5s到2s之间时，即进入眼球转动方向识别单元202。在眼球转动方向识别单元202中，通过图像分析计算瞳孔的位移并判断眼球的转动方向。优选地约定，当检测到眼球向右转动时，将数字“1”写入特征向量存储单元203；向上转动时，写入数字“2”；向左转动时，写入数字“3”；向下转动时，写入数字“4”。这样每当受试者的眼球转到一个特定方向，眼球转动方向识别单元202便将一个相应的数字加入到特征向量中，受试者向不同方向依次转动眼睛，特征向量中便按顺序存储了与这些方向对应的数字。优选地约定在此过程中当眨眼检测单元201检测到连续2次眼睛闭合事件时，即停止对眼球转动方向的识别，并将构造完成的特征向量发送到特征匹配模块400。优选地约定特征向量的长度上限为4，且向量中相邻的数字不能重复。这样当眼球转动方向识别单元202第4次将数字写入特征向量后，即使没有闭眼事件发生，也将停止识别并将特征向量发送到特征匹配模块400。按照此约定系统能识别的动作指令可以有4+12+36+108＝160种。(见图2)。

所述的预定义特征存储模块300中存储着所有上假肢的动作指令和相对应的眼动特征向量。按照之前的约定，预定义特征存储模块300中可以存160条动作指令和与之对应的160个特征向量。

所述的特征匹配模块400当接收到眼动特征提取模块200发送来的特征向量时，采用查表法将特征向量与预定义特征存储模块300中存储的特征向量进行匹配，从而获得对应的动作指令，然后将动作指令发送到指令确认模块500中。

所述的指令确认模块500的功能是将特征匹配模块400获得的动作指令交于受试者确认，如果指令无误，则将动作指令发送到驱动模块600，如果指令有误，受试者通过眼睛发送“取消”命令删除该动作指令并重新提取眼动特征，优选地采用受试者在2s的时间内连续眨动3次眼睛来构成“取消”命令。

所述的驱动模块600包括驱动器和电机，当驱动器接收到动作确认模块500发送来的动作指令时，便控制假肢完成相应的设定动作。

图4所示是上肢假肢控制方法流程图，包括以下五个步骤：采集眼睛图像S1；提取眼动特征S2；识别动作指令S3；确认动作指令S4和完成设定动作S5。

首先，步骤1，采集眼睛图像S1。优选地采用红外线摄像机摄取受试者眼睛图像，并对图像进行MPEG编码后送入计算机。此步骤需要一直进行。

步骤2，提取特征信息S2。在此步骤中对采集的眼睛图像进行分析，当检测到眨眼事件并且眼睛的闭合时间在0.5s到2s之间时，便开始识别眼球的转动方向。图3所示的是试验者正视前方时眼睛的图像，标定此时瞳孔的中心点，即十字交叉线的交点为原点，以十字交叉线为坐标轴建立图像坐标系。在此坐标系中，优选地约定向右为x轴正向，向上为y轴正向，并规定x轴的角度为0度。然后利用45度线、135度线、225度线和315度线将坐标空间划分为四个区域。在识别过程中，实时计算瞳孔中心点的位移，并做判断：优选地约定当瞳孔中心点与坐标原点的距离小于2毫米时，即可认为眼球未做转动；当此距离大于2毫米时，根据位移的角度θ确定瞳孔中心点所处的区域，优选的约定当0＜＝θ＜45或315＜＝θ＜360时，即认为眼球转到了右边，当45＜＝θ＜135时，即认为眼球转到了上边，当135＜＝θ＜225时，即认为眼球转到了左边，当225＜＝θ＜315时，即认为眼球转到了下边。每检测到一次眼球的转动，就将与转动方向对应的数字写入特征向量。当特征向量元素的个数达到4或有连续2次眼睛闭合事件发生时，停止对眼球转动方向的识别，并将特征向量送入特征匹配模块400。

步骤3，识别动作指令S3。将步骤2获得的特征向量与预先存储的与动作指令对应的特征向量进行匹配，得到控制上假肢的动作指令。

步骤4，确认动作指令S4。将步骤3得到的动作指令送于受试者确认，同时检测眨眼事件。优选地约定如在2秒内检测到眼睛眨动的次数少于3次，则认为指令无误并执行动作，如在2秒内检测到连续3此眼睛眨动，则认为指令有误，删除此指令并重新提取眼动特征。

步骤5，完成设定动作S5。此步骤由驱动模块600完成。

采用眼动信号控制假肢，受试者需要事先记住与上假肢的动作指令相对应的眼动顺序。控制过程中，试验者按照一定的顺序眨动眼睛和转动眼球，摄像机采集受试者的眼睛图像，送人计算机，计算机通过图像分析提取出眼动特征向量，将此特征向量与预定义特征向量相匹配，识别出受试者期望的动作指令并交于受试者确认，经确认无误后控制假肢完成相应的动作。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体详细，但并不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种用眼动信号控制上假肢运动的控制系统，其特征在于，它是由眼睛图像采集模块、眼动特征提取模块、预定义特征存储模块、特征匹配模块、指令确认模块和驱动模块组成；其中：

所述的眼睛图像采集模块由摄像头和传送装置构成，摄像头用于采集眼睛的图像，传送装置用于将图像编码并发送到眼动特征提取模块；

所述的眼动特征提取模块用于从眼睛图像中提取出眼动特征并将其发送到特征匹配模块；它包括以下单元：眨眼检测单元、眼球转动方向识别单元和特征向量存储单元；其中：眨眼检测单元用于检测眨眼事件并记录眼睛闭合的持续时间；眼球转动方向识别单元用于计算瞳孔的位移并判断眼球的转动方向；特征向量存储单元用于存储与眼睛的动作相对应的特征向量；

所述的预定义特征存储模块用于存储上假肢的动作指令和与之相对应的眼动特征；

所述的特征匹配模块用于将眼动特征提取模块提取出的眼动特征与预定义特征存储模块中的特征进行匹配，获得上假肢的动作指令，并将动作指令发送到指令确认模块；

所述的指令确认模块用于将特征匹配模块获得的动作指令交于受试者确认，如果指令无误，则将其发送到驱动模块，如果有误，则通过取消命令删除该动作指令并重新提取眼动特征；

所述的驱动模块包括驱动器和电机，当驱动器接收到指令确认模块发送来的动作指令时，便控制假肢完成相应的设定动作。

2.一种如权利要求1所述控制系统的控制方法，其特征在于，包括如下步骤：采集眼睛图像；提取眼动特征；识别动作指令；确认动作指令和完成设定动作；上述假肢控制系统和方法采用眼动信号作为控制假肢的信号源，通过提取眼睛运动的特征信息判别动作指令，控制假肢做出受试者期望的动作。

3.如权利要求2所述的控制方法，其特征在于，步骤如下：

第一步，采集眼睛图像

采用红外线摄像机摄取受试者眼睛图像，并对图像进行MPEG编码后送入计算机，此步骤需要一直进行，

步骤二，提取眼动特征信息

在此步骤中对采集的眼睛图像进行分析，当检测到眨眼事件并且眼睛的闭合时间在0.5s到2s之间时，便开始识别眼球的转动方向，标定受试者正视前方时瞳孔的中心点，即十字交叉线的交点为原点，以十字交叉线为坐标轴建立图像坐标系，在此坐标系中，约定向右为x轴正向，向上为y轴正向，并规定x轴的角度为0度；然后利用45度线、135度线、225度线和315度线将坐标空间划分为四个区域；在识别过程中，实时计算瞳孔中心点的位移，并做判断：

当瞳孔中心点与坐标原点的距离小于2毫米时，即可认为眼球未做转动；当此距离大于2毫米时，根据位移的角度θ确定瞳孔中心点所处的区域；

当0＜＝θ＜45或315＜＝θ＜360时，即认为眼球转到了右边；

当45＜＝θ＜135时，即认为眼球转到了上边；

当135＜＝θ＜225时，即认为眼球转到了左边；

当225＜＝θ＜315时，即认为眼球转到了下边；

每检测到一次眼球的转动，就将与转动方向对应的数字写入特征向量；当特征向量元素的个数达到4或有连续2次眼睛闭合事件发生时，停止对眼球转动方向的识别，并将特征向量送入特征匹配模块(400)；

第三步，识别动作指令

将步骤二获得的特征向量与预先存储的与动作指令对应的特征向量进行匹配，得到控制上假肢的动作指令；

第四步，确认动作指令

将步骤三得到的动作指令送于受试者确认，同时检测眨眼事件；

约定如在2秒内检测到眼睛眨动的次数少于3次，则认为指令无误并执行动作；如在2秒内检测到连续3次眼睛眨动，则认为指令有误，删除此指令并重新提取眼动特征；

第五步，完成设定动作

此步骤由驱动模块完成，采用眼动信号控制假肢，受试者需要事先记住与上假肢的动作指令相对应的眼动顺序；控制过程中，受试者按照一定的顺序眨动眼睛和转动眼球，摄像机采集受试者的眼睛图像，送入计算机，计算机通过图像分析提取出眼动特征向量，将此特征向量与预定义特征向量相匹配，识别出受试者期望的动作指令并交于受试者确认，经确认无误后控制假肢完成相应的动作。