CN108629302A - 一种基于卷积神经网络的用眼行为识别方法 - Google Patents

Abstract

本发明涉及的是一种基于卷积神经网络的用眼行为识别方法，具体是采用卷积神经网络实现对多通道的眼电(Electro‑oculogram，EOG)信号的个体用眼行为模式识别方法，包括EOG信号采集模块、信号预处理模块和眼动信号‑行为状态判断模块。EOG信号采集模块有别于传统采集方法，适用于可穿戴移动设备，且采用干电极，更好的实现对眼电信号的采集。信号预处理模块使用Butterworth滤波器，对原始数据中干扰信号进行滤波，并用Z‑score方法进行标准化，接着用信号分帧提取算法将原始信号切割成一个个数据帧，便于神经网络训练。眼动信号‑行为状态判断模块使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机用眼行为的判断。

Description

一种基于卷积神经网络的用眼行为识别方法

技术领域

本发明涉及的是一种基于卷积神经网络的用眼行为识别方法，具体是采用卷积神经网络实现对多通道的眼电(Electro-oculogram，EOG)信号的个体用眼行为模式识别方法。

背景技术

眼电(EOG)信号是因眼球运动产生的一种微弱生物电信号，该信号可以被贴在眼球周围的电极记录下来。研究表明，人在进行特定活动时所引发的眼动信号在很大程度上能够揭示其当前的行为状态，所以对于眼动信号的识别可以得到用眼行为模式信息。目前，基于EOG的研究与应用主要在医学检查、司机疲劳检测、个体行为识别、人机交互及上下文感知等方面。

目前，基于眼电信号的行为识别的研究主要集中在信号预处理、特征提取和识别算法三个领域。信号预处理是对采集的信号进行滤波、分帧及端点检测等预处理，例如使用Butterworth滤波器对EOG信号进行滤波。特征提取包括线性预测，即对原始EOG信号进行预处理操作后，提取线性预测(LPC)系数作为EOG信号的特征参数。使用支持向量机(SVM)进行分类，算法的平均识别率为90.3％，最高识别率为96％，最低识别率为82％。但以上传统的眼电信号处理方法，不仅需要对复杂的信号进行预处理，还需要选择最优的特征提取方法，存在计算复杂、参数多、运算时间长等缺点。

卷积神经网络是近几年发展起来，并引起广泛重视的一种高效识别算法。第一个卷积神经网络计算模型是在Fukushima的神经认知机中提出的，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun等人在该思想的基础上，用误差梯度设计并训练卷积神经网络，在一些模式识别任务上得到优越的性能。至今，基于卷积神经网络的模式识别系统是最好的实现系统之一，尤其在手写字体识别任务上表现出非凡的性能。

发明内容

针对现有技术上存在的不足，本发明目的在于提供对多通道的眼电(Electro-oculogram，EOG)信号的个体用眼行为模式识别方法，该方法具有识别正确率高，拓展性强，应用前景良好等优点。

其具体技术方案为：

一种基于卷积神经网络的用眼行为识别方法，包括EOG信号采集模块、信号预处理模块和眼动信号-行为状态判断模块；

所述的EOG信号采集模块有别于传统采集方法，适用于可穿戴移动设备，且采用干电极，更好的实现对眼电信号的采集。

所述的信号预处理模块使用Butterworth滤波器，对原始数据中干扰信号进行滤波，并用Z-score方法进行标准化，接着用信号分帧提取算法将原始信号切割成一个个数据帧，便于神经网络训练。

所述的眼动信号-行为状态判断模块使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机用眼行为的判断。

进一步，所述EOG信号识别模块中信号采集电极的安装位置描述如下。使用三个电极来测量EOG。一个电极(C)位于两眼中心的鼻梁顶部附近,另外两个电极(L和R)分别放置在鼻梁顶部下0.5-1cm处鼻子的左右两侧。由于电极C，L和R的位置分别对应于眼镜部件的位置：桥接部分和鼻托的左右两侧，该布置系统适合安装到眼镜。

进一步，所述的EOG信号识别模块中对原始信号的预处理过程：在数字滤波阶段，采用两个截止频率为1-15Hz的Butterworth滤波器，第一个滤波器为用于过滤交流电干扰的三阶带阻滤波器。第二个滤波器为用于过滤其他生物电信号干扰的三阶带通滤波器。在数据标准化阶段，使用Z-score标准化方法，其转化函数为：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

进一步，所述的眼动信号-行为状态关系模块使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机用眼行为的判断。具体各层定义如下：

(1)卷积层：由于眼动信号采集是一个多维时序信号存在一定的干扰，所以将原始信号切割成一个个的数据帧，再用一维卷积层对眼电信号数据帧进行卷积。通过对隐含单元和输入单元间的连接加以限制，每个隐含单元仅仅只能连接输入单元的一部分，同时使用参数共享技术，大幅度减少了参数个数。卷积公式：

(2)池化层：卷积完成后就是池化(pool)，目的是为了减少特征。池化操作对每个深度切片独立，主要利用最大池化(Max Pooling)。

(3)全连接层：在神经网络的最后使用全连接层，将学习到的特征映射到样本标记空间，使得整个网络输出为预测的分类结果。同时使用softmax函数，得到预测的每个分类的概率。

与现有技术相比，本发明的有益效果为：本发明的一种基于深度卷积神经网络的眼电图识别方法，具有识别正确率更高、扩展性更强、应用前景良好等优点。本发明的有益效果具体体现在以下几个方面的特点。

1、本发明对用眼行为状态的识别具有更高的识别正确率。

传统的用眼行为识别通常是孤立地分析一个单元EOG信号，或者根据时序建立简单的码表，这种做法忽略了不同眼动信号单元间的上下文关系，因此很难得到一个较高的识别正确率。而本发明通过采集大量EOG信号样本，对CNN神经网络进行训练，提取不同单元间先后发生的上下文关系并建立一个眼动信号-行为状态关系模型，有效提高了用眼行为分类正确率。

2、本发明在基于用眼行为状态识别分类上具有较强的扩展能力。

本发明虽然只对阅读、休息和使用手机用眼行为状态的特征提取和识别方法，但本发明中眼动信号-行为状态判断模型的建立并不限制行为状态的种类个数，因此本发明所提的方法具有较强的分类扩展能力，可以进行更多不同行为状态的特征提取与识别。此外，基于行为状态分类可以扩展浏览网页、观看视频等行为状态识别。该方法除了应用于EOG信号的处理，对其他生物电信号，如：脑电、肌电等信号处理都具有较好的分类性能。

3、本发明具有良好的应用前景。

眼电图是一种用于记录角膜和视网膜由于眼动产生的电势信号的技术，具有成本低、便于采集、信噪比高等优势，已广泛应用于医学辅助设备、虚拟键盘控制等方面。而基于EOG的HCI技术也不仅限于严重残疾的人，还可以扩展到运动功能正常的群体。近来，基于EOG的个体行为识别、驾驶员疲劳检测及上下文感知等方面的研究，具有广泛的应用前景。

附图说明

图1为眼电采集方法图；

图2为流程设计图；

图3为信号预处理图；

图4为卷积神经网络设计效果图；

图5为行为识别结果图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案作进一步详细地说明。

一种基于卷积神经网络的用眼行为识别方法，其特征主要包括如下模块：

模块1、EOG信号采集模块：有别于传统采集方法，适用于可穿戴移动设备，且采用干电极，更好的实现对眼电信号的采集；

模块2、信号预处理模块：使用Butterworth滤波器，对原始数据中干扰信号进行滤波，并用Z-score方法进行标准化，接着用信号分帧提取算法将原始信号切割成一个个数据帧，便于神经网络训练；

模块3、眼动信号-行为状态判断模块：使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机等用眼行为的判断。

所述EOG信号识别模块中信号采集电极的安装位置描述如下。使用三个电极来测量EOG。一个电极(C)位于两眼中心的鼻梁顶部附近,另外两个电极(L和R)分别放置在鼻梁顶部下0.5-1cm处鼻子的左右两侧。由于电极C，L和R的位置分别对应于眼镜部件的位置：桥接部分和鼻托的左右两侧，该布置系统适合安装到眼镜。

所述的EOG信号识别模块中对原始信号的预处理过程：在数字滤波阶段，采用两个截止频率为1-15Hz的Butterworth滤波器，第一个滤波器为用于过滤交流电干扰的三阶带阻滤波器。第二个滤波器为用于过滤其他生物电信号干扰的三阶带通滤波器。在数据标准化阶段，使用Z-score标准化方法，其转化函数为：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

所述的眼动信号-行为状态关系模块使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机用眼行为的判断。具体各层定义如下：

(1)卷积层：由于眼动信号采集是一个多维时序信号存在一定的干扰，所以将原始信号切割成一个个的数据帧，再用一维卷积层对眼电信号数据帧进行卷积。通过对隐含单元和输入单元间的连接加以限制，每个隐含单元仅仅只能连接输入单元的一部分，同时使用参数共享技术，大幅度减少了参数个数。卷积公式：

(2)池化层：卷积完成后就是池化(pool)，目的是为了减少特征。池化操作对每个深度切片独立，主要利用最大池化(Max Pooling)；

(3)全连接层：在神经网络的最后使用全连接层，将学习到的特征映射到样本标记空间，使得整个网络输出为预测的分类结果。同时使用softmax函数，得到预测的每个分类的概率。

参见图1，图1为眼电采集方法图，使用三个电极来测量EOG。一个电极(C)位于两眼中心的鼻梁顶部附近,另外两个电极(L和R)分别放置在鼻梁顶部下0.5-1cm处鼻子的左右两侧。由于电极C，L和R的位置分别对应于眼镜部件的位置：桥接部分和鼻托的左右两侧。

参见图2，图2为流程设计图。说明了本实施例中用眼行为识别框图。具体实施中，主要包括数据采集设备、行为模式识别系统、眼动信号检测系统、数据分析系统和用户客户端五大块。

参见图3，图3为信号预处理图。使用Butterworth滤波器，对原始数据中干扰信号进行滤波，并用Z-score方法进行标准化，接着用信号分帧提取算法将原始信号切割成一个个数据帧。

参见图4，图4为卷积神经网络设计效果图。使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机用眼行为的判断。

参见图5，图5为行为识别结果图。分别对应在阅读、休息和使用手机情况下的波形图。平均识别率约为96.3％。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (4)

1.一种基于卷积神经网络的用眼行为识别方法，包括EOG信号采集模块、信号预处理模块和眼动信号-行为状态判断模块；

所述的EOG信号采集模块有别于传统采集方法，适用于可穿戴移动设备，且采用干电极，更好的实现对眼电信号的采集；

所述的信号预处理模块使用Butterworth滤波器，对原始数据中干扰信号进行滤波，并用Z-score方法进行标准化，接着用信号分帧提取算法将原始信号切割成一个个数据帧，便于神经网络训练；

所述的眼动信号-行为状态判断模块使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机等用眼行为的判断。

2.根据权利要求1所述的基于卷积神经网络的用眼行为识别方法，其特征在于，所述EOG信号识别模块中信号采集电极的安装位置描述如下；使用三个电极来测量EOG，一个电极(C)位于两眼中心的鼻梁顶部附近,另外两个电极(L和R)分别放置在鼻梁顶部下0.5-1cm处鼻子的左右两侧，由于电极C，L和R的位置分别对应于眼镜部件的位置：桥接部分和鼻托的左右两侧，该布置系统适合安装到眼镜。

3.根据权利要求1所述的基于卷积神经网络的用眼行为识别方法，其特征在于，所述的EOG信号识别模块中对原始信号的预处理过程：在数字滤波阶段，采用两个截止频率为1-15Hz的Butterworth滤波器，第一个滤波器为用于过滤交流电干扰的三阶带阻滤波器；第二个滤波器为用于过滤其他生物电信号干扰的三阶带通滤波器；在数据标准化阶段，使用Z-score标准化方法，其转化函数为：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

4.根据权利要求1所述的基于卷积神经网络的用眼行为识别方法，其特征在于，所述的眼动信号-行为状态关系模块使用CNN神经网络对EOG信号进行分类，实现对阅读、休息和使用手机用眼行为的判断；

具体各层定义如下：

(1)卷积层：由于眼动信号采集是一个多维时序信号，存在一定的干扰，所以将原始信号切割成一个个的数据帧，再用一维卷积层对眼电信号数据帧进行卷积；通过对隐含单元和输入单元间的连接加以限制，每个隐含单元仅仅只能连接输入单元的一部分，同时使用参数共享技术，大幅度减少了参数个数；

卷积公式：

(2)池化层：卷积完成后就是池化(pool)，目的是为了减少特征；池化操作对每个深度切片独立，主要利用最大池化(Max Pooling)；

(3)全连接层：在神经网络的最后使用全连接层，将学习到的特征映射到样本标记空间，使得整个网络输出为预测的分类结果；同时使用softmax函数，得到预测的每个分类的概率。