CN107480716B - 一种结合eog和视频的扫视信号识别方法及系统 - Google Patents
一种结合eog和视频的扫视信号识别方法及系统 Download PDFInfo
- Publication number
- CN107480716B CN107480716B CN201710695447.9A CN201710695447A CN107480716B CN 107480716 B CN107480716 B CN 107480716B CN 201710695447 A CN201710695447 A CN 201710695447A CN 107480716 B CN107480716 B CN 107480716B
- Authority
- CN
- China
- Prior art keywords
- data
- eog
- video
- preprocessed
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004434 saccadic eye movement Effects 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 230000004424 eye movement Effects 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013145 classification model Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims abstract description 8
- 239000000523 sample Substances 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 5
- 239000012496 blank sample Substances 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 235000014676 Phragmites communis Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开一种结合EOG和视频的扫视信号识别方法及系统，属于眼电图技术领域，包括：同步采集扫视动作的EOG数据与视频数据；对EOG数据和视频数据进行预处理；对EOG数据采集通道进行端点检测，得到端点检测结果；将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，将有效眼动数据分为训练集和测试集；对训练集和测试集中两种模态下的数据进行特征提取得到有效眼动数据的特征；将两种模态下有效眼动数据的特征进行融合；将融合后扫视特征参数送入SVM分类器中进行训练，得到分类模型；利用测试集中数据对分类模型进行测试，得到测试后分类模型以进行信号识别。本发明中融合后的特征具有更多互补信息，提高了信号识别鲁棒性。
Description
技术领域
本发明涉及眼电图技术领域，特别涉及一种结合EOG和视频的扫视信号识别方法及系统。
背景技术
人体行为识别(HumanActivity Recognition，HAR)的目的是通过自然语言来感知用户的意图，通过信号获取和模式识别等方法全面的反映行为类型和行为模式。随着人机交互技术的发展，人体行为识别系统已经在智能监控、视频检索、运动分析、虚拟现实以及病人监护系统等重点研究领域得到了广泛的应用。
目前，可穿戴式生物信息传感器和无接触式环境传感器已经被用于实现人体行为识别。其中，可穿戴式生物信息传感器指的是常见的环境传感器，包括簧片开关、温度传感器、加速传感器、陀螺仪和生物传感器等。但是簧片开关、温度传感器等受到接收基本行为状态的限制，比如通过进出房间的动作来控制设备的开关。加速传感器、陀螺仪主要关注身体活动的感受，不能用于显性视觉任务，因此忽略了一些为人体行为识别提供有价值信息的微妙提示。
在表征人体行为的生物电信号中，眼电信号EOG具有成本低、操作简单、无创伤和影响较小的优点。与EOG数据类似，视频传感器在采集眼动信息时，不需要接触用户皮肤且安装较为简单，因此，基于视频的眼动信息记录方法也成为人体行为识别的一种有效手段。在在线人体行为识别系统的设计和实现过程中，单元眼动检测单元和识别是关键步骤，为了实现这一目标，研究者们提出的一些方法包括：在基于眼电图的方法中，Bulling等人开发了连续小波变换扫视算法CWT-SD，该算法将水平和垂直的眼电图信号作为EOG数据分量，去除噪声后作为计算连续小波系数的输入参数，然后应用特定的阈值将水平和垂直的眼电图信号分成扫视或非扫视。Larsson等人提出了一种新颖的视频跟踪和眨眼检测方法，该方法使用的采集设备是普通网络摄像机，此外在不受控制的照明条件下可以显示出良好的性能。
但是上述检测和识别方法在实际应用中存在的缺陷在于：传统的方法是单独的对眼电EOG数据或者眼动视频数据进行处理，这种单模态的眼动记录方法不可避免的受到一些限制，例如在EOG采集的条件下，虽然正常活动没有受到影响，但活动范围有限，采集到的EOG数据所表示的行为特征也有限。而且，在EOG采集的条件下，用户轻微的动作将导致严重的干扰，并影响人体行为识别的性能。在视频数据采集下，采集过程受光线的干扰，特别是在黑暗条件下，性能会急剧下降。因此单一模态下的生物电信号较难实现鲁棒扫视检测。
发明内容
本发明的目的在于提供一种结合EOG和视频的扫视信号识别方法及系统，以提高人体行为识别准确率。
为实现以上目的，第一方面，本发明提供一种结合EOG和视频的扫视信号识别方法，包括：
S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；
S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；
S3、对EOG数据进行端点检测，得到端点检测结果；
S4、将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；
S5、分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征；
S6、将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数；
S7、将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型；
S8、利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型以进行信号识别。
其中，所述的步骤S2，具体包括：
对所述EOG数据进行带通滤波处理，得到预处理后的EOG数据；
对所述眼动视频数据进行粒子滤波处理，计算瞳孔中心位置，获得瞳孔运动轨迹。
其中，所述的步骤S3，具体包括：
对预处理后的EOG数据进行分帧加窗处理，并设置经验能量门限值E0；
计算当前滑动窗内的能量值E，判断能量值E是否大于能量门限值E0；
若E>E0，则将该点标记为可能起始点，并从起始点向后搜索，判断后续点对应的能量值是否大于能量门限值E0；
若是，则EOG信号段样本点数加1；
若否，则空白段样本点数加1；
判断空白段样本点数是否小于空白段允许的最大样本点数；
若是，则判断当前滑动窗还在EOG信号段，若否，则判断EOG信号段样本点数是否大于EOG信号段允许的最小样本点数；
若是，则确定EOG信号有效起止段；
若否，则重置EOG信号段和空白样本段的样本点数为0，重新确定EOG信号段起点；
将EOG数据的端点检测结果应用在视频数据中，确定视频数据的有效起止段。
其中，所述的步骤S5，具体包括：
对所述预处理后的EOG数据进行小波包变换处理，提取EOG数据的特征；
对所述预处理后的视频数据进行二维小波变换处理，提取视频数据的特征。
其中，所述的对预处理后的EOG数据进行小波包变换处理，具体包括：
利用母函数为sym函数、分解层数为3层的小波包对所述预处理后的EOG数据进行处理；
从分解得到的小波包系数中选取第一个低频稀疏作为EOG模态下的特征参数。
其中，所述的对预处理后的视频数据进行二维小波变换处理，具体包括：
将所述预处理后的视频数据中的眼动扫视图片采用二维小波变换进行分解，得到水平、垂直、对角线和低频四个频带，其中母函数为db2，分解层数为4层；
将分解得到的四个子图像按照第一行低频、垂直，第二行水平、对角线的顺序组合成一个总图；
将总图中每行首尾相连得到一个向量并放入矩阵中，将矩阵每行首尾相连得到表示扫视状态的视频特征参数。
第二方面，本发明提供一种结合EOG和视频的扫视信号识别系统，包括：依次连接的采集模块、预处理模块、端点检测模块、有效数据段检测模块、特征提取模块、特征融合模块、训练模块以及测试模块；
采集模块用于同步采集扫视动作的EOG数据与视频数据，并将采集的数据传输至预处理模块；
预处理模块用于对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据，并将预处理后的数据传输至端点检测模块；
端点检测模块用于对EOG数据进行端点检测，得到端点检测结果，并将检测结果传输至有效数据段检测模块；
有效数据段检测模块用于将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；
特征提取模块用于分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征，并将提取的特征传输至特征融合模块；
特征融合模块用于将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数，并将融合后的扫视特征参数传输至训练模块；
训练模块用于将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型，并将分类模型传输至测试模型；
测试模型用于利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型以进行信号识别。
与现有技术相比，本发明存在以下技术效果：本发明通过采用EOG数据和眼动视频数据两种模态下的扫视信号，将两种模态下的扫视信号特征进行融合，得到新的融合特征参数，并依据该新的融合特征参数进行训练得到分类模型。该分类模型可以很好的避免单模态的EOG信号采集范围受限，采集的EOG信号表示的行为特征有限的问题，同时也避免了单模态的视频数据抗干扰能力弱的问题。当视频数据受到光线影响时，可以利用EOG数据的稳定性来提高信号识别率，当受试者的轻微动作影响到EOG的识别时，可以利用视频数据对分类结果进行调整，因此本发明公开的方法对多变的环境的适应性较强，具有较好的鲁棒性。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是本发明中一种结合EOG和视频的扫视信号识别方法的流程示意图；
图2是本发明中的眼球解剖图；
图3是本发明中眼动信号采集过程的电极分布示意图；
图4是本发明中眼动信号采集过程中观测目标与受试者的相对位置示意图；
图5是本发明中单次眼动实验范式图；
图6是本发明中步骤S3的细分步骤的流程示意图；
图7是本发明中八个方向原始眼电信号波形图；
图8是本发明中一种结合EOG和视频的扫视信号识别系统的结构示意图；
图9是本发明中眼动信号采集过程的基本算法流程图；
图10是本发明中8个受试者在试验下得到的平均正确率折线图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种结合EOG和视频的扫视信号识别方法，包括如下步骤S1至S8：
S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；
如图2所示，眼球可以看做是角膜正极和视网膜负极的双极模型，眼球的运动可以在角膜和视网膜之间产生电势差，称之为角膜视网电势差CRP，这种电信号的幅度随着眼球的移动而改变，我们将这种变化的电信号画成在时间轴上的信号。形成眼电图EOG曲线。与其他生物信号相比，EOG具有相对较大的信噪比SNR，信号幅度范围为5～20μV/度。如图3所示，本实施例中在采集眼动信号过程中，眼电信号的采集使用Ag/AgCl电极。为了获得受试者上、下、左、右、左上、右上、左下、右下八个方向的眼动信息，在采集过程中使用了6个电极，电极VEOU与电极VEOD粘贴于受试者左侧(或右侧)眼球上3cm与下3cm处，用以采集垂直眼动信号；电极HEOL与电极HEOR分别粘贴于受试者左眼左侧3cm与右眼右侧3cm处，用以采集水平眼动信号；参考电极A1和接地电极GND分别放置于左右两侧乳凸处，在采集过程中同步的采集受试者上、下、左、右、左上、右上、左下、右下八个方向的EOG和视频数据。其中EOG信号的采样率为250HZ，视频的帧率为30fps。
具体地，如图4所示，在眼动信号采集过程中，受试者与观测者的位置是相对的，在实验过程中，受试者坐着，其前方一米处的墙上分别设置上、下、左、右、左上、右上、左下、右下八个方向的观测目标，上、下观测点和左、右观测点距离受试者视觉中心O分别为1m和1.5m。
具体地，视频数据的采集过程如图5所示，在实验开始时，屏幕上会出现“开始”字符，并伴随20ms长的声音刺激，1秒的黑屏过后，受试者会在屏幕上看到一个随机显示的红色箭头，红色箭头的方向可以为：向上箭头、向下箭头、向左箭头、向右箭头、向左上箭头、向右上箭头、向右下箭头与向左下箭头，箭头在屏幕上显示的时间是3秒，在这3秒内受试者被要求朝着箭头指示的方向转动眼球，在看到观测点后转回到中心点，在这一过程中受试者不能眨眼。之后是2秒的休息时间，受试者可以眨眼休息。
S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；
具体地，对输入的EOG数据使用32阶、截止频率为0.01-8Hz的带通滤波器进行滤波处理；对输入的视频眼动数据使用粒子滤波方法进行瞳孔中心位置的计算，从而获取瞳孔运动轨迹。
S3、对EOG数据进行端点检测，得到端点检测结果；
具体地，如图6所示，步骤S3具体包括如下细分步骤：
对预处理后的EOG数据进行分帧加窗处理，并设置经验能量门限值E0；
计算当前滑动窗内的能量值E，判断能量值E是否大于能量门限值E0；
若E>E0，则将该点标记为可能起始点，并从起始点向后搜索，判断后续点对应的能量值是否大于能量门限值E0；
若是，则EOG信号段样本点数加1；
若否，则空白段样本点数加1；
判断空白段样本点数是否小于空白段允许的最大样本点数；
若是，则判断当前滑动窗还在EOG信号段，若否，则判断EOG信号段样本点数是否大于EOG信号段允许的最小样本点数；
若是，则确定EOG信号有效起止段；
若否，则重置EOG信号段和空白样本段的样本点数为0，重新确定EOG信号段起点；
将EOG数据的端点检测结果应用在视频数据中，确定视频数据的有效起止段。
这里需要说明的是，在对EOG数据进行端点检测过程中，能量的初始阈值为0.5053，窗长为80个采样点(0.36秒)，窗移为1。由于EOG与视频为同步采集，因此，将EOG数据的端点检测结果应用于视频模态下有效眼动数据段的检测，如步骤S4所述。
S4、将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；
具体地，对EOG数据和视频数据进行端点检测处理后，得到的EOG数据的原始波形如图7所示。其中，将每个受试者的所有数据分割成3个子样本，一个单独的子样本被保留作为验证模型的数据，其它两个样本用来训练分类模型。
S5、分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征；
具体地，对预处理后的EOG数据进行小波包变换处理，得到EOG数据的特征参数，具体过程为：
采用的小波包变换的母函数为sym4函数，分解层数为3层，从分解得到的小波包系数中选取第一个低频系数作为EOG模态下的特征参数。
对预处理后的视频数据进行二维小波变换处理，得到视频数据的特征参数，具体过程为：
a、采用二维小波变换的母函数为db2，分解层数为4层，将预处理后的视频中眼动扫视帧图片分解成水平、垂直、对角线和低频四个频带，得到不同方向、不同频率成份的4个子图像；
b、将分解得到的四个子图像按照第一行低频、垂直，第二行水平、对角线的顺序组合成一个总图，将总图每行首尾相连形成一个特征向量；
c、重复步骤a至b，直至对端点检测后有效视频段内所有帧图片处理完毕，并将结果记录到一个特征矩阵中；
d、将步骤c所得到的特征矩阵每一行首尾相连，得到表示扫视眼动状态的视频模态下的特征参数。
S6、将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数；
具体地，用基于特征层面的融合方法将两种特征参数融合的公式如下：
xFLF＝xeog+xvideo，
式中：xFLF为基于特征层面融合后的表示眼动的特征向量，xeog表示EOG特征提取后的特征向量，xvideo表示视频特征提取后的特征向量。最后，将xFLF送入SVM进行分类识别。
S7、将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型；
需要说明的是，本实施例中支持向量机(Support Vector Machine,SVM)所使用的核函数为线性核函数，惩罚系数设为1。
S8、利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型以进行信号识别。
需要说明的是，在对分类模型进行测试的过程中，将EOG数据和视频数据的有效眼动数据段分别为三份子样本，轮流的将其中一份子样本作为测试样本，剩下两份子样本作为训练子样本。如此轮流交叉进行三次训练，得到三个融合分类模型，并得到三个测试结果，并将3次的验证结果进行求平均，得到一个单一估测。
如图8至图9所示，本实施例公开了一种结合EOG和视频的扫视信号识别系统，包括：依次连接的采集模块10、预处理模块20、端点检测模块30、有效数据段检测模块40、特征提取模块50、特征融合模块60、训练模块70以及测试模块80；
采集模块10用于同步采集扫视动作的EOG数据与视频数据，并将采集的数据传输至预处理模块20；
预处理模块20用于对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据，并将预处理后的数据传输至端点检测模块30；
端点检测模块30用于对EOG数据进行端点检测，得到端点检测结果，并将检测结果传输至有效数据段检测模块40；
有效数据段检测模块40用于将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；
特征提取模块50用于分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征，并将提取的特征传输至特征融合模块60；
特征融合模块60用于将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数，并将融合后的扫视特征参数传输至训练模块70；
训练模块70用于将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型，并将分类模型传输至测试模型80；
测试模型80用于利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型以进行信号识别。
需要说明的是，对八个受试者在EOG单模态、视频数据单模态以及EOG、视频数据多模态下得到的信号进行识别的准确率如图10所示。图中可以看出，单独对EOG或者视频数据进行识别的平均精度分别达到80.33％和82.41％，采用EOG和视频数据特征层面的融合进行识别的平均精度为89.37％。结果表明，采用本实施了公开的多模态结合方法可以在每一个单模态中组合补充信息，使得与单一模态相比，识别正确率得到了极大的提升。
需要说明的是，本实施例公开的EOG和视频结合进行扫视信号识别的方法，对同步采集的EOG数据和视频数据进行预处理后，各自提取了小波包和二维小波特征。然后将提取的特征进行了特征层面的融合，融合后的特征具有更多的互补信息，当视频数据受到光线影响时，可以利用EOG数据的稳定性来提高识别率；受试者的轻微动作影响到EOG的识别时，也可以用视频数据来对分类结果进行调整，因此具有较强的鲁棒性。对多名受试者进行多次实验，其结果表明本发明平均正确率达到89.37％以上，比使用EOG方法和视频方法分别高出9.04％和6.96％。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种结合EOG和视频的扫视信号识别方法，其特征在于，包括：
S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；
S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；
S3、对EOG数据进行端点检测，得到端点检测结果；
S4、将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；
S5、分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征；
步骤S5，具体包括：对所述预处理后的EOG数据进行小波包变换处理，提取EOG数据的特征；对所述预处理后的视频数据进行二维小波变换处理，提取视频数据的特征；
所述的对预处理后的视频数据进行二维小波变换处理，具体包括：将所述预处理后的视频数据中的眼动扫视图片采用二维小波变换进行分解，得到水平、垂直、对角线和低频四个频带，其中母函数为db2，分解层数为4层；将分解得到的四个子图像按照第一行低频、垂直，第二行水平、对角线的顺序组合成一个总图；将总图中每行首尾相连得到一个向量并放入矩阵中，将矩阵每行首尾相连得到表示扫视状态的视频特征参数；
S6、将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数；
S7、将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型；
S8、利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型，以进行信号识别。
2.如权利要求1所述的方法，其特征在于，所述的步骤S2，具体包括：
对所述EOG数据进行带通滤波处理，得到预处理后的EOG数据；
对所述视频数据进行粒子滤波处理，计算瞳孔中心位置，获得瞳孔运动轨迹。
3.如权利要求1所述的方法，其特征在于，所述的步骤S3，具体包括：
对预处理后的EOG数据进行分帧加窗处理，并设置经验能量门限值E0；
计算当前滑动窗内的能量值E，判断能量值E是否大于能量门限值E0；
若是，则将该预处理后的EOG数据点标记为可能起始点，并从起始点向后搜索，判断后续点对应的能量值是否大于能量门限值E0；
若是，则EOG信号段样本点数加1；
若否，则空白段样本点数加1；
判断空白段样本点数是否小于空白段允许的最大样本点数；
若是，则确定当前滑动窗还在EOG信号段；
若否，则判断EOG信号段样本点数是否大于EOG信号段允许的最小样本点数；
若是，则确定EOG信号有效起止段；
若否，则重置EOG信号段和空白样本段的样本点数为0，重新确定EOG信号段起点；
将EOG数据的端点检测结果应用在视频数据中，确定视频数据的有效起止段。
4.如权利要求1所述的方法，其特征在于，所述的对预处理后的EOG数据进行小波包变换处理，具体包括：
利用母函数为sym函数、分解层数为3层的小波包对所述预处理后的EOG数据进行处理；
从分解得到的小波包系数中选取第一个低频系数作为EOG模态下的特征参数。
5.一种结合EOG和视频的扫视信号识别系统，其特征在于，包括：依次连接的采集模块（10）、预处理模块（20）、端点检测模块（30）、有效数据段检测模块（40）、特征提取模块（50）、特征融合模块（60）、训练模块（70）以及测试模块（80）；
采集模块（10）用于同步采集扫视动作的EOG数据与视频数据，并将采集的数据传输至预处理模块（20）；
预处理模块（20）用于对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据，并将预处理后的数据传输至端点检测模块（30）；
对所述预处理后的EOG数据进行小波包变换处理，提取EOG数据的特征；对所述预处理后的视频数据进行二维小波变换处理，提取视频数据的特征；
所述的对预处理后的视频数据进行二维小波变换处理，具体包括：将所述预处理后的视频数据中的眼动扫视图片采用二维小波变换进行分解，得到水平、垂直、对角线和低频四个频带，其中母函数为db2，分解层数为4层；将分解得到的四个子图像按照第一行低频、垂直，第二行水平、对角线的顺序组合成一个总图；将总图中每行首尾相连得到一个向量并放入矩阵中，将矩阵每行首尾相连得到表示扫视状态的视频特征参数；
端点检测模块（30）用于对EOG数据进行端点检测，得到端点检测结果，并将检测结果传输至有效数据段检测模块（40）；
有效数据段检测模块（40）用于将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；
特征提取模块（50）用于分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征，并将提取的特征传输至特征融合模块（60）；
特征融合模块（60）用于将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数，并将融合后的扫视特征参数传输至训练模块（70）；
训练模块（70）用于将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型，并将分类模型传输至测试模型（80）；
测试模型（80）用于利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型以进行信号识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710695447.9A CN107480716B (zh) | 2017-08-15 | 2017-08-15 | 一种结合eog和视频的扫视信号识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710695447.9A CN107480716B (zh) | 2017-08-15 | 2017-08-15 | 一种结合eog和视频的扫视信号识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107480716A CN107480716A (zh) | 2017-12-15 |
| CN107480716B true CN107480716B (zh) | 2021-01-29 |
Family
ID=60599516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710695447.9A Active CN107480716B (zh) | 2017-08-15 | 2017-08-15 | 一种结合eog和视频的扫视信号识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107480716B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491792B (zh) * | 2018-03-21 | 2022-07-12 | 安徽大学 | 基于眼电信号的办公场景人机交互行为识别方法 |
| CN109144238B (zh) * | 2018-05-14 | 2021-09-28 | 孙佳楠 | 一种基于眼电编码的人机交互系统及其交互方法 |
| CN109308118B (zh) * | 2018-09-04 | 2021-12-14 | 安徽大学 | 基于eog的中文眼写信号识别系统及其识别方法 |
| CN109199411B (zh) * | 2018-09-28 | 2021-04-09 | 南京工程学院 | 基于模型融合的案件知情者识别方法 |
| CN110119775B (zh) * | 2019-05-08 | 2021-06-08 | 腾讯科技（深圳）有限公司 | 医疗数据处理方法、装置、系统、设备和存储介质 |
| CN110432900B (zh) * | 2019-07-01 | 2020-07-10 | 华中科技大学 | 一种用于恒河猴眼动决策解码的多视图学习方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103892829A (zh) * | 2014-04-17 | 2014-07-02 | 安徽大学 | 一种基于共同空间模式的眼动信号识别系统及其识别方法 |
| CN105640500A (zh) * | 2015-12-21 | 2016-06-08 | 安徽大学 | 基于独立分量分析的扫视信号特征提取方法和识别方法 |
| CN105816181A (zh) * | 2016-03-11 | 2016-08-03 | 安徽大学 | 基于eog的阅读行为识别方法及设备 |
| CN106491129A (zh) * | 2016-10-10 | 2017-03-15 | 安徽大学 | 一种基于eog的人体行为识别系统及方法 |
| CN106682589A (zh) * | 2016-12-06 | 2017-05-17 | 深圳市纽贝尔电子有限公司 | 人脸识别及监狱点名系统 |
-
2017
- 2017-08-15 CN CN201710695447.9A patent/CN107480716B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103892829A (zh) * | 2014-04-17 | 2014-07-02 | 安徽大学 | 一种基于共同空间模式的眼动信号识别系统及其识别方法 |
| CN105640500A (zh) * | 2015-12-21 | 2016-06-08 | 安徽大学 | 基于独立分量分析的扫视信号特征提取方法和识别方法 |
| CN105816181A (zh) * | 2016-03-11 | 2016-08-03 | 安徽大学 | 基于eog的阅读行为识别方法及设备 |
| CN106491129A (zh) * | 2016-10-10 | 2017-03-15 | 安徽大学 | 一种基于eog的人体行为识别系统及方法 |
| CN106682589A (zh) * | 2016-12-06 | 2017-05-17 | 深圳市纽贝尔电子有限公司 | 人脸识别及监狱点名系统 |
Non-Patent Citations (1)
| Title |
|---|
| Online Vigilance Analysis Combining Video and Electrooculography Features;Ruo-Fei Du et.al;《International Conference on Neural Information Processing ICONIP 2012: Neural Information Processing》;20121231;第447-454页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107480716A (zh) | 2017-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107480716B (zh) | 一种结合eog和视频的扫视信号识别方法及系统 | |
| CN110151203B (zh) | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 | |
| CN107480635B (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及系统 | |
| US20130096453A1 (en) | Brain-computer interface devices and methods for precise control | |
| CN109976525B (zh) | 一种用户界面交互方法、装置及计算机设备 | |
| CN109875583B (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 | |
| Cuppens et al. | Using spatio-temporal interest points (STIP) for myoclonic jerk detection in nocturnal video | |
| EP3932303B1 (en) | Method and system for detecting attention | |
| CN108958489A (zh) | 一种基于脑电和眼动仪的图像感兴趣区域快速检出方法 | |
| CN110037693A (zh) | 一种基于面部表情和eeg的情绪分类方法 | |
| CN105640500A (zh) | 基于独立分量分析的扫视信号特征提取方法和识别方法 | |
| CN103019382A (zh) | 一种利用诱发电位反映脑部主观动机信号的脑机接口方法 | |
| Paul et al. | Emotional eye movement analysis using electrooculography signal | |
| Lv et al. | Design and implementation of an eye gesture perception system based on electrooculography | |
| Lu et al. | A dual model approach to EOG-based human activity recognition | |
| Lv et al. | An ICA-based spatial filtering approach to saccadic EOG signal recognition | |
| CN106096544B (zh) | 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法 | |
| CN109308118B (zh) | 基于eog的中文眼写信号识别系统及其识别方法 | |
| Singh et al. | Emotion recognition using electroencephalography (EEG): a review | |
| CN111222464A (zh) | 情感分析方法以及系统 | |
| CN108491792A (zh) | 基于眼电信号的办公场景人机交互行为识别方法 | |
| Ding et al. | A robust online saccadic eye movement recognition method combining electrooculography and video | |
| CN112957049A (zh) | 基于脑机接口设备技术的注意力状态监测装置及方法 | |
| JP2016030096A (ja) | 生体電気ノイズ同定システム及び生体電気ノイズ除去システム | |
| CN114237383B (zh) | 基于前额单导联脑电信号的多状态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |