CN101599127B - 眼电信号的特征提取与识别方法 - Google Patents

Abstract

眼电信号的特征提取与识别方法，其特征是包括眼电信号预处理、眼电信号特征参数提取及眼电信号模式识别三个阶段；其中，预处理阶段对眼电信号进行端点检测和带通滤波；特征参数提取阶段对眼电信号进行分帧、加窗，将连续的眼电信号转化为多段短时眼电信号后，提取出随时间变化的眼电特征参数序列；模式识别阶段通过动态时间规整法，将输入的眼电特征参数序列依次与模板库中的每个模板进行相似度的比较，以判断操作者相应的眼部运动。本发明具有较高眼电信号识别准确率、一定抗干扰能力及较强应用性价值等特点。

Description

眼电信号的特征提取与识别方法

技术领域

本发明涉及属于生物医学与信息学交叉领域，更具体地说是一种对眼电信号所进行的特征提取与识别方法。

背景技术

眼睛是心灵的窗口，透过这个窗口我们可以探究人的许多心理活动的规律。人类的信息加工在很大程度上依赖于视觉，来自外界的信息约有80％～90％是通过人的眼睛获得的。因此对于眼球运动的研究被认为是视觉信息加工研究中最有效的手段。国内、外许多有关眼电的研究证明，眼球中角膜部分是一个正电极，视网膜部分是一个负电极，这种在视网膜色素上皮和光感受器细胞之间存在的视网膜静电位信号被称为electro-oculogram，即EOG信号。当眼睛注视前方不动时，可以记录到稳定的基准电位，眼睛沿水平方向或垂直方向每运动1°，将分别会产生约16uV和14uV的电压；由于眼电信号相对于心电、脑电等信号而言，其幅度较强，约为15-200uV，所以，该信号可以被放置在眼眶周围的电极直接检测到。

目前，许多关于眼电特征提取及眼电信号识别的算法被相继提出。眼电信号的特征一般采用以下参数：眼电信号的幅值、持续时间、眼电信号的间隔时间、眼电信号能量等，识别时通过设置不同的检测门限来实现对输入眼电信号的识别。上述眼电特征提取及眼电信号识别算法虽然易于实现，但是不可以避免地存在着如下缺点：

1、检测准确率不高。由于上述眼电特征提取及眼电信号识别算法没有充分考虑到眼电信号的可变性，即检测电极位置不同或者不同使用者进行相同的眼部动作时，眼电信号输出的幅度、峰值、眼球转动速度等参数不同；另一方面，由于眼电信号易受到外界信号如电物体的静电、电磁噪声，还有人体肌电信号、心电信号等噪声的干扰，因此，检测门限的选择决定了算法识别的准确率。在实际使用中，一个理想的检测门限往往难以获得，所以，上述方法不能保证眼电信号识别的准确率。

2、不能在噪声条件下使用。当电极接触不良或者受到较强的外部噪声电磁干扰时，上述算法无法根据所提取出的特征对眼电信号进行识别，从而导致算法失效。

发明内容

本发明是为避免上述现有技术所存在的不足之处提供一种具有较高识别准确率、有一定抗干扰能力及较强应用性价值的眼电信号的特征提取与识别方法。

本发明解决技术问题采用如下技术方案：

本发明眼电信号的特征提取与识别方法的特点是包括眼电信号预处理、眼电信号特征参数提取及眼电信号模式识别三个阶段；

所述眼电信号预处理阶段是对眼电信号进行端点检测和带通滤波；

所述眼电信号特征参数提取阶段对眼电信号进行分帧、加窗，将连续的眼电信号转化为多段短时眼电信号后，提取出随时间变化的眼电特征参数序列；

所述眼电信号模式识别阶段通过动态时间规整法DTW，将输入的眼电特征参数序列依次与模板库中的每个模板进行相似度的比较，以判断操作者相应的眼部运动，包括：不同眨眼次数、向左扫视、向右扫视、向上扫视和向下扫视。

所述模板库的建立：使用者在使用之前采用不同的眼部动作，包括：不同眨眼次数、向左扫视、向右扫视、向上扫视和向下扫视分别进行训练，每个动作对应得到一个参考模板，以所有不同动作的参考模板的集合建立模板库。

本发明眼电信号的特征提取与识别方法的特点也在于：

所述眼电信号预处理阶段的端点检测是检测眼部不同动作对应的眼电信号的起始点和终止点；

所述眼电信号预处理阶段的带通滤波截止频率为0.159-10Hz。

本发明眼电信号的特征提取与识别方法的特点也在于：

所述眼电信号特征参数提取阶段的分帧和加窗是用一个有限长度的窗序列截取一段眼电信号，将连续的眼电信号转化为多段短时眼电信号；

所述提取特征参数是对眼电信号分帧、加窗后所形成的多帧短时信号通过自相关分析，提取出线性预测系数LPC；对所述线性预测系数LPC求取其线性预测倒谱系数LPCC作为特征参数；进一步对所述线性预测倒谱系数LPCC求取一阶差分信号ΔLPCC；最终将所述线性预测倒谱系数LPCC与一阶差分信号ΔLPCC合并组成一个眼电信号特征参数。

眼电信号的特征提取与识别方法的特点也在于：所述动态时间规整法DTW是在计算待识别的眼电信号与模板库中每个模板的相似度时，将所获取的操作者眼部动作的眼电信号波形进行非线性的伸长或压缩，直至所述眼电信号波形与所述模板库中参考模板的长度相一致。

本发明眼电信号的特征提取与识别方法的特点还在于按以下步骤进行：

a、训练

a1、将眼电传感器分别放置在使用者的颢侧、眼眉正上方、乳凸处及额头正中间位置；

a2、根据使用者眼睛的不同动作，包括：眨眼、向右扫视、向右扫视向上扫视和向下扫视，分别提取特征参数；

a3、将不同眼部动作所对应的特征参数保存为参考模板，并以所有参考模板的集合建立模板库；

b、测试

b1、将眼电传感器分别旋转在使用者的颢侧、眼眉正上方、乳凸处及额头正中间；

b2、使用者眼部产生不同动作时，实时提取出对应于该动作的由眼电传感器获得的眼电信号的特征参数；

b3、将所提取的眼电信号的特征参数与训练步骤中所建立的模板库中的每个模板通过动态时间规整的方法进行相似度比较，将相似度最高者作为识别结果输出。

与现有技术相比，本发明有益效果体现在：

1、本发明具有较高眼电识别准确率

本发明一方面可以采用具有抗噪能力的LPCC与ΔLPCC组合参数，在特征级实现降噪；另一方面通过采用动态时间规整的方法实现眼电信号的识别，即通过寻找最优化路径，将复杂的全局优化问题转化为许多局部优化的问题，解决了由于眼电信号的可变性(检测电极位置不同或者不同的使用者相同眼部动作进，眼电输出的幅度、眨眼速度等参数不同)所带来的参考模板和测试模板不相匹配的问题，有效地提高了眼电信号识别的准确率。

2、本发明具有一定鲁棒性

本发明在线性预测系数LPC的基础上，为了提高抗干扰能力，对其进一步求取其线性预测倒谱系数LPCC作为一个特征参数。同时，为了反映出眼电信号的动态变化信息，本发明对LPCC系数求取了一阶差分信号ΔLPCC，作为另一个特征参数。最终，将LPCC与ΔLPCC合并组成一个新的具有一定鲁棒性的眼电信号特征参数。

3、本发明具有较强的应用价值

本发明在诸多领域具有重大的应用意义，可以适于肢体有残疾的人员与计算机之间的交互，操作者可以通过眼睛的运动来操控计算机、书写文本、浏览网页等，帮助肢体残疾人象正常人般使用计算机，或实现对其他电子设备，如对家电的无线控制。同时还可以用于正常人不便用手操作计算机的场合，比如：矿井、营救手术、航天器、水下等条件苛刻或狭窄的环境中。

附图说明

图1为本发明原理框图。

图2为本发明的电极接线示意图。

图3为本发明的眼电信号分帧示意图。

图4为本发明所采用的动态时间规整原理图。

图5为本发明动态归整时搜索路径示意图。

图6为本发明的程序流程图。

以下通过具体实施方式，结合附图对本发明作进一步说明。

具体实施方式

参见图1，本实施例中对于眼电信号的特征提取与识别是由眼电信号预处理、眼电信号特征参数提取及眼电信号模式识别三个阶段组成。其中，眼电信号预处理阶段主要是对眼电信号进行端点检测、带通滤波等预处理操作，以去除干扰，降低特征提取时的计算量；眼电信号特征参数提取阶段是对眼电信号进行分帧、加窗，以实现将连续的眼电信号转化为多段短时信号后，提取出随时间变化的特征参数序列；眼电信号模式识别阶段是通过DTW动态时间规整的方法将输入眼电特征矢量时间序列依次与模板库中的每个模板进行相似度的比较，以获取操作者相应的眼部运动。

参见图2，本实施例中电极贴放方式为：第一通道为采集眼球水平方向运动的眼动信号，电极位于颢侧，如图2中电极I的位置；第二通道为采集眼球垂直方向运动的眼电信号，电极位于眼眉正上方，如图2中电极II的位置；参考电极位于乳凸处，如图2中电极C的位置；接地电极位于额头正中间，如图2中电极GND的位置。

图3所示为本实施例中眼电信号分帧示意图。为了使帧与帧之间平滑过渡，保持其连续性，本实施例采用交叠分段的方法，交叠部分称为帧移，本实施例帧移与帧长的比值为1/2。假定s(n)为始眼电信号，w(n)窗函数，那么加窗后眼电信号s_w(n)＝s(n)*w(n)。为了保护较高的分辨率，减少频谱泄漏，采用汉明窗作为窗函数，其表达式如式1所示：

$w\left(n\right)=\left\{\begin{array}{cc}0.54-0.46\cos [2\mathrm{\πn}/(N-1)],& 0\≤n\≤N-1\\ 0,& n=\mathrm{else}\end{array}\right.---\left(1\right)$

图4所示为本实施例中动态时间规整原理。

动态时间规整是把时间规整和距离测度计算结合起来的一种非线性规整。通过寻找最优化路径，将复杂的全局优化问题转化为许多局部优化的问题，解决由于眼电信号的可变性(检测电极位置不同或者不同使用者进行相同的眼部动作时，眼电信号输出的幅度、峰值、眼球转动速度等参数不同)所带来的参考模板和测试模板不相匹配的问题，可以有效提高眼电信号识别的准确率。

设参考模板表示为R＝{R(1)，R(2)，…，R(m)，…，R(M)}，M为参考模板所包含的眼电信号的帧总数，m为眼电信号帧的时序标号，R(m)为第m帧的眼电信号特征矢量；设测试模板表示为T＝{T(1)，T(2)，…，T(n)，…，T(N)}，N为测试模板所包含的眼电信号的帧总数，n为眼电信号帧的时序标号，T(n)T(n)为第n帧的眼电信号的特征矢量。比较测试模板和参考模板的相似度，可以计算出它们之间的失真D[T，R]，失真越小相似度越高。为了计算这一失真，应对T和R中的每个对应帧之间的失真算起。设n、m分别为T、R中任意选择的帧号，则这两帧之间的帧失真用D[T(n)，R(m)]来表示。本实施例采用了欧几里德距离来度量失真度，即：

$D[T\left(n\right),R\left(m\right)]=\underset{n=1}{\overset{P}{\mathrm{\Σ}}}{(t_n-r_n)}^2---\left(2\right)$

其中，

和

分别为帧T(n)和R(m)对应的特征矢量，p为特征矢量的维数。

显然，线性映射并没有反映出眼电信号在不同情况下的时间变化。动态时间规整就是寻找时间规整函数m＝w(n)，把测试模板的时间轴n非线性地映射到参考模板的时间轴m上。动态规划的方法如图4所示：设测试模板T共有N帧，参考模板R共有M帧，将测试模板和参考模板的帧号分别在坐标系的横轴和纵轴上标出，则各个帧号之间的关系形成一个网格，网格中的任何一个交叉点(n，m)表示T(n)和R(m)相交，并且该交叉点拥有的帧失真度为D[T(n)，R(m)]。

动态时间规整方法可以归结为寻找一条通过图4所示网格中若干格点的路径，路径通过的格点即为测试和参考模板中进行距离计算的帧号。

参见图5所示为本实施例中动态归整时搜索路径示意。假设路径通过的所有格点依次为(n₁，m₁)，…，(n_i，m_i)，…，(n_N，m_N)。

1、由端点约束条件：可以确定(n₁，m₁)＝(1，1)，(n_N，m_N)＝(N，M)。设路径可以用函数m_i＝w(n_i)描述，其中n_i＝i，i＝1，2，…，N，w(1)＝1，w(N)＝M。

2、由斜率的约束条件：假设相同眼部动作的测试眼电信号持续时间t_test与训练眼电信号持续时间t_train的误差范围为：(1/2)*t_train＜t_test＜2*t_train，因此，为了减小计算量，选取斜率在1/2～2的范围内进行计算。如果路径的当前格点为(n_i-1，m_i-1)，那么下一个通过的格点(n_i，m_i)只可能是下列三种情况之一：(n_i，m_i)＝(n_i-1，m_i-1+2)，(n_i，m_i)＝(n_i-1，m_i-1+1)，(n_i，m_i)＝(n_i-1，m_i-1)(如图5所示)，这三个约束条件用η表示。

求最佳路径的问题可以归结为求最佳路径函数 $m_i=\hat{w}\left(n_i\right)$ 的问题，当满足约束条件η时，该函数使得沿路径的积累距离达到最小，即：

$\underset{n_i=1,m_i=\widehat{w\left(n_i\right)}\∈\mathrm{\η}}{\overset{N}{\mathrm{\Σ}}}D[n_i,m_i]=\min \underset{n_i=1,m_i=w\left(n_i\right)\∈\mathrm{\η}}{\overset{N}{\mathrm{\Σ}}}D[n_i,m_i]---\left(3\right)$

搜索该路径的方法为：搜索从(n₁，m₁)点出发，由约束条件η可知，对于点(n_i，m_i)，其可能到达该格点的前一个格点只可能是(n_i-1，m_i-1)、(n_i-1，m_i)和(n_i-1，m_i-2)三个格点之一，那么(n_i，m_i)一定选择这三个距离中最小者所对应的格点作为其前续格点，若用(n_i-1，m_i-1)代表此格点，并将通过该格点延伸到(n_i，m_i)，此时的路径累积距离为：

D[(n_i，m_i)]＝d[T(n_i)，R(m_i)]+D[(n_i-1，m_i-1)]                        (4)

其中(n_i-1，m_i-1)由式(5)决定：

D[(n_i-1，m_i-1)]＝min{D[(n_i-1，m_i)]，D[(n_i-1，m_i-1)]，D[(n_i-1，m_i-2)]}    (5)

这样，可以从(n₁，m₁)＝(1，1)出发搜索(n₂，m₂)，再搜索(n₃，m₃)...，对每一个(n_i，m_i)都保存相应的前一格点(n_i-1，m_i-1)及相应的帧匹配距离d[n_i，m_i]。搜索到(n_N，m_N)时，只保留一条最佳路径，然后通过逐点向前寻找可以得到整个最优路径。

本实施例中，基于眼电信号的特征提取与识别方法的具体实施过程如图6所示：

1、训练

1.1眼电传感器中用于采集水平眼电信号的电极I安放在使用者颢侧、用于采集垂直眼电信号的电极II安放在眼眉正上方、参考电极C设置在乳凸处，地电极GND设置在额头正中间；

1.2使用者根据提示，完成一次眼部动作后，比如：眨眼、向右扫视、向右扫视向上扫视、向下扫视，针对本次眼部运动所触发的眼电信号进行端点检测、分帧加窗及自相关分析后，提取12维的LPCC与12维的ΔLPCC特征参数，并将所述12维的LPCC与ΔLPCC的特征参数进行组合，形成24维的对应于这一次眼动的特征参数；

1.3将所提取的特征参数作为对应于该动作的参考模板存入模板库中，同时等待下一次训练；

1.4将所有动作训练完毕后，即得到模板库。

2、测试

2.1眼电传感器中用于采集水平眼电信号的电极I安放在使用者颢侧、用于采集垂直眼电信号的电极II安放在眼眉正上方、乳凸处安放参考电极C，额头正中位置安放接地电极G；

2.2当使用者进行不同的眼部动作时，比如：眨眼、向右扫视、向右扫视向上扫视、向下扫视，针对本次眼部运动所触发的眼电信号进行端点检测、分帧加窗及自相关分析后，提取12维的LPCC与12维的ΔLPCC特征参数，并将所述12维的LPCC与ΔLPCC的特征参数进行组合，形成24维的对应于这一次眼动的特征参数；

2.3将所提取的特征参数与训练步骤中所建立的眼电信号模板库中的每个模板通过动态时间规整的方法进行相似度的比较，并将相似度最高者作为识别结果输出，并等待下次输入。

Claims (3)

1.眼电信号的特征提取与识别方法，其特征是包括眼电信号预处理、眼电信号特征参数提取及眼电信号模式识别三个阶段；

所述眼电信号预处理阶段是对眼电信号进行端点检测和带通滤波；

所述眼电信号特征参数提取阶段对眼电信号进行分帧、加窗，将连续的眼电信号转化为多段短时眼电信号后，提取出随时间变化的眼电特征参数序列；所述眼电信号特征参数提取阶段的分帧和加窗是用一个有限长度的窗序列截取一段眼电信号，将连续的眼电信号转化为多段短时眼电信号；所述提取特征参数是对眼电信号分帧、加窗后所形成的多帧短时信号通过自相关分析，提取出线性预测系数LPC；对所述线性预测系数LPC求取其线性预测倒谱系数LPCC作为特征参数序列；进一步对所述线性预测倒谱系数LPCC求取一阶差分信号ΔLPCC；最终将所述线性预测倒谱系数LPCC与一阶差分信号ΔLPCC合并组成一个所述眼电特征参数序列；

所述眼电信号模式识别阶段通过动态时间规整法DTW，将输入的所述眼电特征参数序列依次与模板库中的每个参考模板进行相似度的比较，以判断操作者相应的眼部运动，包括：不同眨眼次数、向左扫视、向右扫视、向上扫视和向下扫视；

所述模板库的建立：使用者在使用之前采用不同的眼部动作，包括：不同眨眼次数、向左扫视、向右扫视、向上扫视和向下扫视分别进行训练，每个动作对应得到一个参考模板，以所有不同动作的参考模板的集合建立模板库。

2.根据权利要求1所述的眼电信号的特征提取与识别方法，其特征是：

所述眼电信号预处理阶段的端点检测是检测眼部不同动作对应的眼电信号的起始点和终止点；

所述眼电信号预处理阶段的带通滤波截止频率为0.159-10Hz。

3.根据权利要求1所述的眼电信号的特征提取与识别方法，其特征是所述动态时间规整法DTW是在计算待识别的眼电信号与模板库中每个参考模板的相似度时，将所获取的操作者眼部动作的眼电信号波形进行非线性的伸长或压缩，直至所述眼电信号波形与所述模板库中参考模板的长度相一致。 

Images