CN106491129B - 一种基于eog的人体行为识别系统及方法 - Google Patents

一种基于eog的人体行为识别系统及方法 Download PDF

Info

Publication number
CN106491129B
CN106491129B CN201610885750.0A CN201610885750A CN106491129B CN 106491129 B CN106491129 B CN 106491129B CN 201610885750 A CN201610885750 A CN 201610885750A CN 106491129 B CN106491129 B CN 106491129B
Authority
CN
China
Prior art keywords
signal
eog
model
electrode
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610885750.0A
Other languages
English (en)
Other versions
CN106491129A (zh
Inventor
吕钊
张超
陆雨
吴小培
周蚌艳
张磊
卫兵
高湘萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201610885750.0A priority Critical patent/CN106491129B/zh
Publication of CN106491129A publication Critical patent/CN106491129A/zh
Application granted granted Critical
Publication of CN106491129B publication Critical patent/CN106491129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurosurgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于EOG的人体行为识别系统及方法，首先建立一个基于Hjorth参数的EOG信号识别模型，用于实现对原始单元EOG信号的识别；同时，使用N‑gram方法统计背景任务下不同行为状态的上下文关系，并建立一个眼动信号‑行为状态关系模型；最后，通过置信度参数对两个模型输出的结果进行综合的分析与判断，以获取受试者最可能的行为状态。本发明的一种基于EOG的人体行为识别方法，具有识别正确率更高、扩展性更强、应用前景良好等优点。

Description

一种基于EOG的人体行为识别系统及方法
技术领域
本发明属涉及一种人体行为识别系统及方法，具体地说，涉及一种基于EOG的人体行为识别系统及方法。
背景技术
人体行为识别(Human activity recognition,HAR)指对被观测个体的动作类型、行为模式等信息进行综合地分析与识别，并将识别结果通过自然语言等方式进行描述。研究表明，人在进行特定活动时所引发的眼动模式在很大程度上能够揭示其行为状态，如：阅读、写作、休息等，而这种眼动模式可以通过对眼球运动情况的跟踪来获取，因此基于眼动信息的人体行为识别算法的设计与实现已经成为新的研究热点。
近年来，眼电图(Electro-oculogram,EOG)因价格低廉、容易获取、处理简单、易于携带等优点被证明是用于测量眼球运动最有效的工具之一。因此，使用EOG方法进行HAR系统设计具有重要的研究价值。EOG-HAR系统是指将EOG信号作为被观测对象，通过对其分析与识别，获取被观测对象的动作类型、行为模式等信息。在系统实现过程中，行为状态的检测和分析较为关键，为此研究者们做出大量研究，其中Bulling A首次提出一种新的方法检测扫视、眨眼、凝视，并通过对重复的眼动模式序列进行编码，从而提取不同行为状态的特征。后来，Shreyasi Datta将小波变换和AAR模型以及Hjorth参数结合起来用于提取不同行为状态的特征，从而进行识别。上述检测方法虽然取得了一定的成功，但是他们仅仅是从基本EOG单元的识别与根据时序建立简单的码表的层面上进行人体行为的识别，难以保证信号的识别正确率。
发明内容
本发明的目的在于克服上述技术存在的缺陷，提供一种基于EOG的人体行为识别系统及方法，识别正确率更高、扩展性更强、应用前景良好。
其具体技术方案为：
一种基于EOG的人体行为识别系统，包括单元EOG信号识别模块、眼动信号-行为状态关系模块和信息融合模块；
所述单元EOG信号识别模块通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断，该模块包括多导联EOG信号的采集、预处理及基于信号平均功率，平均频率，信号带宽参数的特征提取与识别单元；
所述眼动信号-行为状态关系模块使用N-gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；
所述信息融合模块指使用置信度参数对单元EOG信号识别模块和眼动信号-行为状态关系模块的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态。
进一步，所述单元EOG信号识别模块中信号采集电极的安装位置为：
(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；
(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；
(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；
(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处。
进一步，所述单元EOG信号识别模块中对原始信号的预处理过程：采用的是截止频率为0.01-10Hz的32阶fir带通滤波器。
进一步，所述单元EOG信号识别模块中使用信号平均功率、信号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：
A(x)＝var(x) (1)
上式中，x为输入EOG信号，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。
将得到的三个特征参数数据集分为训练和测试两部分，训练部分送入支持向量机(Support Vector Machine,SVM)模型中进行训练，测试部分送入训练好的SVM模型中进行识别，其中SVM模型采用了径向基函数(Radial Basis Function，RBF)，惩罚因子设定为1。
进一步，所述的眼动信号-行为状态关系模型建立的具体方法为：
假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就可以写为其中表示状态序列S1,S2,...,Sn-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：
和分别表示状态序列(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数。本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：
通过公式(5)，能够求得当前每种行为状态出现的概率，即每种行为状态之间的转移概率。
进一步，所述的信息融合模块中置信度参数的获取步骤如下：
(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；
(2)用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；
(3)对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；
(4)计算到两个模型的距离差dd＝dr-de。
当dd>＝CM时，就认为识别结果正确；当dd<CM时，就认为识别结果错误，其中，CM为置信度门限，需要根据经验进行人为的设置。
一种基于EOG的人体行为识别方法，包括如下步骤：
步骤1：建立单元EOG信号识别模型，该模型主要分为以下三个部分：
(1)信号采集：实验使用NeuroScan采集设备，使用6个生物电极采用双极导联方式进行数据采集，电极安放位置如本发明所要求，并在设计好的实验范式条件下采集大量的阅读、写作、休息数据。采集到的数据分成两部分，一部分作为训练数据，另一部分作为测试数据。
(2)信号预处理：对上述所说的训练数据采用截止频率为0.01-10Hz的32阶fir带通滤波器进行滤波，并对测试数据做相同处理。
(3)特征提取和识别：将上述预处理后的训练数据和测试数据使用信号平均功率、信
号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：
A(x)＝var(x) (1)
上式中，x为输入的EOG信号，var(x)表示信号的方差，x’表示输入信号x的一阶导，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。
将训练数据得到的特征参数送入SVM模型中进行训练，测试数据得到的特征参数送入训练好的SVM模型中进行识别，其中SVM模型采用了RBF核函数，惩罚因子设定为1。
步骤2：使用N-gram方法建立眼动信号-行为状态关系模型，具体方法如下所述：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。我们用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就可以写为其中表示状态序列S1,S2,...,Sn-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：
和分别表示状态序列(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数。在本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：
通过公式(5)，能够求得当前每种行为状态出现的概率，即状态转移概率。
步骤3：通过本发明所述的方法得到的置信度参数会先对EOG信号识别模型的每一个识别结果进行判断。首先，根据经验算法预设一个初始检测门限，当置信度参数大于或等于所设置的门限时，就表示EOG信号识别模型的识别结果有较高的可靠性，则算法认定结果是正确的。当置信度参数小于所设置的门限时，表明EOG信号识别模型的识别结果可靠性较低，则算法认定结果是错误的。由于本发明所述的眼动信号-行为状态关系模型统计出了不同行为状态间的转移概率，即当前行为状态发生后，下一时刻最可能出现的行为状态。因此，当EOG信号识别模型的识别结果出现错误时，我们使用眼动信号-行为状态关系模型中最大转移概率所对应的行为状态结果进行替代，以提高识别正确率。
与现有技术相比，本发明的有益效果为：本发明的一种基于EOG的人体行为识别系统和方法，具有识别正确率更高、扩展性更强、应用前景良好等优点。本发明的有益效果具体体现在以下几个方面的特点。
1、本发明对人体行为状态的识别具有更高的识别正确率。
传统的人体行为识别通常是孤立地分析一个单元EOG信号，或者根据时序建立简单的码表，上述做法忽略了不同眼动单元间的上下文关系，因此很难获取较高的识别正确率。而本发明通过对大量EOG单元的统计，提取不同单元间先后发生的上下文关系并建立一个眼动信号-行为状态关系模型，结合EOG单元的识别结果进行个体行为的判断，有效提高了人体行为状态分类正确率。
2、本发明在行为状态类型的识别上具有较强的扩展能力。
本发明虽然只对阅读、写作、休息三种不同行为状态的特征提取和识别方法，但本发明中EOG信号识别模型和眼动信号-行为状态关系模型的建立并不限制行为状态的种类个数，因此，本发明所提方法具有较强的分类扩展能力，可以进行更多不同行为状态眼动类型的特征提取与识别，如观看视频、浏览网页等；另外，该方法不仅可以应用在EOG信号的处理，对其它生物电信号，如：脑电、肌电等或者视频信号处理都具有较好的分类性能。
3、本发明具有良好的应用前景。
本发明所提方法是以有效提高人体行为识别系统性能为根本出发点，用以提高系统能够主动感知用户意图的能力，因此，本发明已经成为了人工智能与模式识别领域中一个新兴的研究内容，在智能视频监控、医疗诊断、运动分析及人-机交互等领域均具有广泛的应用前景。
附图说明
图1为不同行为下的EOG波形图；
图2为本发明的算法流程图；
图3为本发明EOG信号采集过程中电极分布图；
图4为不同行为状态之间的转移状态图；
图5为本发明中置信度参数获取流程图；
图6为识别结果图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步详细地说明。
一种基于EOG的人体行为识别方法，其特征主要包括如下模块：
模块1、单元EOG信号识别模块：通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断。该模型包括多导联EOG信号的采集、预处理及基于信号平均功率，平均频率，信号带宽参数的特征提取与识别单元；
模块2、眼动信号-行为状态关系模块：使用N-gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；
模块3、信息融合模块：指使用置信度参数对模块1和模块2的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态。
所述单元EOG信号识别模块中信号采集电极的安装位置为：
(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；
(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；
(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；
(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处。
所述单元EOG信号识别模块中对原始信号的预处理过程：采用的是截止频率为0.01-10Hz的32阶fir带通滤波器。
所述单元EOG信号识别模块中使用信号平均功率、信号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：
A(x)＝var(x) (1)
上式中，x为输入的EOG信号，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x) 表示信号带宽。
所述的眼动信号-行为状态关系模型建立的具体方法为：
假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就可以写为其中表示状态序列S1,S2,...,Sn-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：
和分别表示状态序列(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数。本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：
通过公式(5)，能够求得当前每种行为状态出现的概率，即状态转移概率。
所述的信息融合模块中置信度参数的获取步骤如下：
(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；
(2)用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；
(3)对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；
(4)计算到两个模型的距离差dd＝dr-de。
当dd>＝CM时，就认为识别结果正确；当dd<CM时，就认为识别结果错误，其中，CM为置信度门限，需要根据经验进行人为的设置。
一种基于EOG的人体行为识别方法，包括如下步骤：
步骤1：建立单元EOG信号识别模型，该模型主要分为以下三个部分：
(1)信号采集：实验使用NeuroScan采集设备，使用6个生物电极采用双极导联方式进行数据采集，电极安放位置如本发明所要求，并在设计好的实验范式条件下采集大量的阅读、写作、休息数据。将采集到的数据分成两部分，一部分作为训练数据，另一部分作为测试数据。
(2)信号预处理：对上述所说的训练数据采用截止频率为0.01-10Hz的32阶fir带通滤波器进行滤波，并对测试数据做相同处理。
(3)特征提取和识别：将上述预处理后的训练数据和测试数据使用信号的平均功率、平均频率、信号带宽三个参数作为特征，具体定义如下：
A(x)＝var(x) (1)
上式中，x为输入的EOG信号，var(x)表示信号的方差，x’表示输入信号x的一阶导，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。
将训练数据得到的特征参数送入SVM模型中进行训练，测试数据得到的特征参数送入训练好的SVM模型中进行识别，其中SVM模型采用了RBF核函数，惩罚因子设定为1。
步骤2：使用N-gram方法建立眼动信号-行为状态关系模型，具体方法如下所示：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。我们用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就可以写为其中表示状态序列S1,S2,...,Sn-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：
和分别表示状态序列(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数。
在本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：
通过公式(5)，能够求得当前每种行为状态出现的概率，即行为状态之间的转移概率。
步骤3：通过本发明所述的方法得到的置信度参数会先对EOG信号识别模型的每一个识别结果进行判断。首先，根据经验算法预设一个初始检测门限，当置信度参数大于或等于所设置的门限时，就表示EOG信号识别模型的识别结果有较高的可靠性，则算法认定结果是正确的。当置信度参数小于所设置的门限时，表明EOG信号识别模型的识别结果可靠性较低，则算法认定结果是错误的。由于本发明所述的眼动信号-行为状态关系模型统计出了不同行为状态间的转移概率，即当前行为状态发生后，下一时刻最可能出现的行为状态。因此，当EOG信号识别模型的识别结果出现错误时，我们使用眼动信号-行为状态关系模型中最大转移概率所对应的行为状态结果进行替代，以提高识别正确率。
参见图1，图1为不同行为下的EOG波形图。当人眼球运动时，眼电信号的幅值会随着眼球的运动而不断发生变化，我们将这种变化的电势绘制到时间轴上则可以构成一条曲线，这条曲线就称之为眼电图。人在进行某种行为时，人眼会呈现出不同的运动规律，这种规律能够用眼电图记录下来。如图1左边代表的是阅读时的眼电信号波形，右边是写作的眼电信号波形，中间的是休息眼电信号波形，从这三种不同行为表现出的波形可以看出眼电信号与行为状态有较明确的对应关系。
参见图2，图2为本发明的算法流程图。说明了本实施例中人体行为识别框图。具体实施中，主要包括以下三个模块：
1)单元EOG信号的识别模块：该模型分别由EOG信号的采集、预处理、特征提取和识别这三部分组成；
2)眼动信号-行为状态关系模块：使用N-gram方法统计出状态之间潜在的上下文关系，并通过概率的大小来推断某时刻所处的最佳状态；
3)信息融合模块：通过置信度参数实现对两个模型输出结果的综合分析与判断并推断出受试者最可能的行为状态。
参见图3，图3为本发明的眼动信号采集过程中电极分布图。本发明采用双极导联方式进行数据采集，共使用了6个生物电极，电极U和电极D分别放置于左眼的上方和下方2cm处用于采集垂直眼电信号，电极L安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处和电极R安放于受试者的右眼眼球水平中心点右方2.5-3.0cm用于采集水平眼电信号，电极A和电极G分别安放于右耳后和左耳后乳凸处分别作为为参考电极和接地电极。
参见图4，图4为不同状态之间可能的转移路径。在办公室场景下的阅读、休息、写作这三种不同的状态表面上是独立不相关的，但实际上这三种状态具有上下文关系。例如：当我们因为阅读而感到疲惫时，会选择休息，阅读和休息就有了上下文关系；当我们阅读到重要的内容需要写下来时，阅读和写作就构成了上下文关系。因此我们使用特定上下文关系网络建立一个眼动信号-行为状态关系模型。具体来说，该模型就是利用眼动单元上下文中的搭配模式(每个状态的转移路径)，试图捕捉并预测在当前连续眼动行为中的下一个眼动行为，并计算出具有最大可能的局部连续眼动序列，在此基础上推断此序列对应的行为状态。
参见图5，图5为本发明的置信度参数获取的流程图。图5说明了本实施例中置信度参数获取的具体过程。首先将EOG信号识别模型的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；其次，用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；然后，对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；最后，计算到两个模型的距离差dd＝dr-de，该距离差就是所求的置信度参数。
参见图6，图6为单元EOG信号识别模型和结合了眼动信号-行为状态关系模型的单元EOG信号识别模型的识别正确率。其中，横坐标1-6分别对应6位不同的受试者，纵坐标表示识别正确率(a代表的是前者，b代表的是后者)。统计后发现，前者的平均识别率为85.5％，后者的平均识别率为86.5％，后者的平均识别率比前者的平均识别率高出1％。这一结果表明本发明所提出的结合EOG信号识别模型与行为关系模型的人体行为识别算法能够有效提高识别正确率与系统实用性。
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (5)

1.一种基于EOG的人体行为识别系统，其特征在于，包括单元EOG信号识别模块、眼动信号-行为状态关系模块和信息融合模块；
所述单元EOG信号识别模块通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断，该单元EOG信号识别模块包括多导联EOG信号的采集、预处理及基于信号平均功率、平均频率和信号带宽三个参数的特征提取与识别单元；
所述眼动信号-行为状态关系模块使用N-gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；
所述的眼动信号-行为状态关系模块建立的具体方法为：
假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关；
用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就写为其中S1 n-1表示状态序列S1,S2,...,Sn-1，在有大量训练数据的前提下，根据最大似然准则，得到：
和分别表示状态变量(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数，取n＝3来构建这个模型，当n＝3时，公式(4)就写成
所述信息融合模块指使用置信度参数对单元EOG信号识别模块和眼动信号-行为状态关系模块的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态；
所述的信息融合模块中置信度参数的获取步骤如下：
(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；
(2)用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；
(3)对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；
(4)计算到两个模型的距离差，即dd＝dr-de；
当dd>＝CM时，就认为识别结果正确；当dd<CM时，就认为识别结果错误，其中，CM为置信度门限，需要根据经验进行人为的设置。
2.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述单元EOG信号识别模块中信号采集电极的安装位置为：
(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；
(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；
(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；
(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处。
3.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述单元EOG信号识别模块中对原始信号的预处理过程：采用的是截止频率为0.01-10Hz的32阶fir带通滤波器。
4.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述单元EOG信号识别模块中使用了信号平均功率、平均频率和信号带宽作为眼动信号特征参数，具体定义如下：
A(x)＝var(x) (1)
上式中，x为输入的EOG信号，var(x)表示信号的方差，x’表示输入信号x的一阶导，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。
5.一种基于EOG的人体行为识别方法，其特征在于，包括如下步骤：
步骤1：建立单元EOG信号识别模型，该模型主要分为以下三个部分：
(1)信号采集：实验使用NeuroScan采集设备，使用6个生物电极采用双极导联方式进行数据采集，电极安放位置如下：(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；
(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；
(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；
(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处；
在设计好的实验范式条件下采集大量的阅读、写作、休息数据；将采集到的数据分成两部分，一部分作为训练数据，另一部分作为测试数据；
(2)信号预处理：对上述所说的训练数据采用截止频率为0.01-10Hz的32阶fir带通滤波器进行滤波，并对测试数据做相同处理；
(3)特征提取和识别：将上述预处理后的训练数据和测试数据使用信号平均功率、平均频率和信号带宽作为特征参数，具体定义如下：
A(x)＝var(x) (1)
上式中，x为输入的EOG信号，var(x)表示信号的方差，x’表示输入信号x的一阶导，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽；
将训练数据得到的特征参数送入SVM模型中进行训练，测试数据得到的特征参数送入训练好的SVM模型中进行识别，其中SVM模型采用了RBF核函数，惩罚因子设定为1；
步骤2：使用N-gram方法建立眼动信号-行为状态关系模型，具体方法如下：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关；用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就写为其中S1 n-1表示状态序列S1,S2,...,Sn-1，在有大量训练数据的前提下，根据最大似然准则，得到：
和分别表示状态变量(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数，取n＝3来构建这个模型，当n＝3时，公式(4)就写成
通过公式(5)，能够求得当前每种行为状态出现的概率，即行为状态之间的转移概率；
步骤3：获取信息融合模块中置信度参数，方法如下：
(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；
(2)用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；
(3)对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；
(4)计算到两个模型的距离差，即dd＝dr-de；
当dd>＝CM时，就认为识别结果正确；当dd<CM时，就认为识别结果错误，其中，CM为置信度门限，需要根据经验进行人为的设置；
通过得到的置信度参数会先对EOG信号识别模型的每一个识别结果进行判断；
首先，根据经验算法预设一个初始检测门限，当置信度参数大于或等于所设置的门限时，就表示EOG信号识别模型的识别结果有较高的可靠性，则算法认定结果是正确的；当置信度参数小于所设置的门限时，表明EOG信号识别模型的识别结果可靠性较低，则算法认定结果是错误的；由于眼动信号-行为状态关系模型统计出了不同行为状态间的转移概率，即当前行为状态发生后，下一时刻最可能出现的行为状态；
当EOG信号识别模型的识别结果出现错误时，使用眼动信号-行为状态关系模型中最大转移概率所对应的行为状态结果进行替代，以提高识别正确率。
CN201610885750.0A 2016-10-10 2016-10-10 一种基于eog的人体行为识别系统及方法 Active CN106491129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610885750.0A CN106491129B (zh) 2016-10-10 2016-10-10 一种基于eog的人体行为识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610885750.0A CN106491129B (zh) 2016-10-10 2016-10-10 一种基于eog的人体行为识别系统及方法

Publications (2)

Publication Number Publication Date
CN106491129A CN106491129A (zh) 2017-03-15
CN106491129B true CN106491129B (zh) 2019-09-10

Family

ID=58295000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610885750.0A Active CN106491129B (zh) 2016-10-10 2016-10-10 一种基于eog的人体行为识别系统及方法

Country Status (1)

Country Link
CN (1) CN106491129B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107049329B (zh) * 2017-03-28 2020-04-28 南京中医药大学 一种眨眼频率检测装置及其检测方法
CN107480716B (zh) * 2017-08-15 2021-01-29 安徽大学 一种结合eog和视频的扫视信号识别方法及系统
CN108491792B (zh) * 2018-03-21 2022-07-12 安徽大学 基于眼电信号的办公场景人机交互行为识别方法
CN109447096B (zh) * 2018-04-13 2022-05-06 西安电子科技大学 一种基于机器学习的扫视路径预测方法和装置
CN110353672B (zh) * 2019-07-15 2022-02-22 西安邮电大学 一种脑电信号中眼部伪迹去除系统及去除方法
CN111539389B (zh) * 2020-06-22 2020-10-27 腾讯科技（深圳）有限公司 人脸防伪识别方法、装置、设备及存储介质
CN113842113A (zh) * 2021-07-22 2021-12-28 陆烁 发展性阅读障碍智能识别方法、系统、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105640500A (zh) * 2015-12-21 2016-06-08 安徽大学 基于独立分量分析的扫视信号特征提取方法和识别方法
CN105447475A (zh) * 2015-12-21 2016-03-30 安徽大学 一种基于独立分量分析的扫视信号样本优化方法

Also Published As

Publication number Publication date
CN106491129A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106491129B (zh) 一种基于eog的人体行为识别系统及方法
CN104504404B (zh) 一种基于视觉行为的网上用户类型识别方法及系统
US8374687B2 (en) Rapid serial visual presentation triage prioritization based on user state assessment
CN103793058A (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN110151203B (zh) 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法
CN104049761B (zh) 眼电检测方法及眼电检测装置
CN103019382B (zh) 一种利用诱发电位反映脑部主观动机信号的脑机接口方法
CN110037693A (zh) 一种基于面部表情和eeg的情绪分类方法
CN107822645B (zh) 一种基于WiFi信号的情绪识别方法
CN105640500A (zh) 基于独立分量分析的扫视信号特征提取方法和识别方法
CN107480716B (zh) 一种结合eog和视频的扫视信号识别方法及系统
CN106491125B (zh) 一种脑电状态识别方法及装置
CN101488162A (zh) 一种用于脑电信号自动评估的脑电信号特征提取方法
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
CN110974219A (zh) 一种基于侵入式bci的人脑意念识别系统
CN105700687B (zh) 基于folding HDCA算法的单试次脑电P300成分检测方法
CN105447475A (zh) 一种基于独立分量分析的扫视信号样本优化方法
CN109276243A (zh) 脑电心理测试方法及终端设备
CN106874872A (zh) 工频噪声滤除装置与方法
Wang et al. Dual-modal information bottleneck network for seizure detection
CN107480635B (zh) 一种基于双模态分类模型融合的扫视信号识别方法及系统
Wang et al. Recognition of approximate motions of human based on micro-Doppler features
CN103488995A (zh) 一种识别颈部转动的方法
CN103892797B (zh) 一种用于睡眠结构分析的信号处理方法和装置
CN208677390U (zh) 一种脑电波获取仪

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant