CN109009094B - 基于脑电信号kc复杂度的视觉诱导晕动症检测方法 - Google Patents
基于脑电信号kc复杂度的视觉诱导晕动症检测方法 Download PDFInfo
- Publication number
- CN109009094B CN109009094B CN201810635091.4A CN201810635091A CN109009094B CN 109009094 B CN109009094 B CN 109009094B CN 201810635091 A CN201810635091 A CN 201810635091A CN 109009094 B CN109009094 B CN 109009094B
- Authority
- CN
- China
- Prior art keywords
- complexity
- motion sickness
- electroencephalogram
- detection
- lobe area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
Abstract
本发明公开了一种基于脑电信号KC复杂度的视觉诱导晕动症检测方法,在用户的左右额叶区、左颞叶区分别设置一个脑电信号传感器,分别采集用户在正常阶段和检测阶段的三个通道脑电信号,计算出每个脑电信号的KC复杂度,当正常阶段与检测阶段的检测信号差异较大时判定出现视觉诱导晕动症现象,从而实现视觉诱导晕动症的检测。
Description
技术领域
本发明属于立体显示技术领域,更为具体地讲,涉及一种基于脑电信号KC复杂度的视觉诱导晕动症检测方法。
背景技术
近年来,显示技术的快速发展使得越来越多的人们不断接触到全新的显示环境,例如高分辨率和强深度对比的宽屏电视机、裸眼3D电视机以及在虚拟现实和游戏中所使用的头戴式显示器。此外,伴随视频处理和计算机图形学技术的发展,出现了大量的包含复杂且频繁的视点运动的新颖的图像,例如裸眼3D手机壳,这些是传统摄像技术所不能实现的。这些技术的发展与运用,使得图像不再仅仅局限于显示器的平面上,而是体现出图像的深度感、层次感、真实感以及图像的显示分布情况,使画面变得立体逼真,带给了观众人们前所未有的观影体验。与此同时,伴随这些技术的不断发展与成熟,立体显示技术在现代医疗、军事国防、教育教学、智能家居等许多领域也获得了巨大的运用和推广。
先进的显示技术因其强烈的立体感和沉浸感,很大程度上推进了其在各个领域的应用与发展,但也存在一定的弊端,最突出的问题就是在观影过程中往往会引发视觉诱导晕动症(visually induced motion sickness,VIMS),包括视觉疲劳、视力模糊、复视、恶心、呕吐、眩晕等症状,这些都严重威胁着人们的身体健康,同时也阻碍了显示技术的进一步发展与推广。为了降低视觉诱导晕动症所带来的风险,有必要分析造成视觉诱导晕动症的因素与条件。而为了实现这一目的,必须首先探寻出一种可以定量评估视觉诱导晕动症影响的方法。在视觉诱导晕动症评估方法方面,较为主流的方法是主观分析法和主客观相结合的分析法。
主观分析法就是受试者在实验过程中,依据模拟晕动症问卷(SimulatorSickness Question,SSQ)中的问题及级别划分来作答,以完成对自身晕动级别的评估。Kennedy等人提出的模拟器疾病问卷(SSQ,simulator sickness questionnaire)是一种非常有效的评估VIMS的方法。大量研究都采用了这种问卷调查方法,并且证明通过该方法所得到的分数对于评估视觉诱导晕动症水平是较为有效的。然而,这种方法的弊端在于其所获得的结果对于受试者个人心理基准和偏好有着较大的依赖,因此会存在较大的个体差异性。此外,这种问卷调查方法很难实现对晕动水平的实时测量,这一缺点使得构建自动VIMS评估系统很难实现。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于脑电信号KC复杂度的视觉诱导晕动症检测方法,通过分析脑电信号的KC复杂度,来实现对视觉诱导晕动症的实时检测。
为实现上述发明目的,本发明基于脑电信号KC复杂度的视觉诱导晕动症检测方法包括以下步骤:
S1:在用户的左右额叶区、左右颞叶区分别设置一个脑电信号传感器,分别采集用户在正常阶段(未使用立体视觉设备)的脑电信号EEG0和检测阶段(使用立体视觉设备过程中)的脑电信号EEG1,其中每个脑电信号分别包括3个通道的脑电信号表示正常阶段脑电信号,i=1表示检测阶段脑电信号,分别表示用户左额叶区和右额叶区的脑电信号,分别表示用户左颞叶区的脑电信号;
S3:根据步骤S2获取的3对KC复杂度分别计算每对KC复杂度之间的相对比例如果Δj小于预设阈值TH1,则判定根据该脑电信号得到的视觉诱导晕动症检测结果标识Pi=1,否则Pi=0;当Pi=1的脑电信号数量大于预设阈值TH2时,判定该用户在检测阶段出现视觉诱导晕动症现象,否则未出现。
本发明基于脑电信号KC复杂度的视觉诱导晕动症检测方法,在用户的左右额叶区、左颞叶区分别设置一个脑电信号传感器,分别采集用户在正常阶段和检测阶段的三个通道脑电信号,计算出每个脑电信号的KC复杂度,当正常阶段与检测阶段的检测信号差异较大时判定出现视觉诱导晕动症现象,从而实现视觉诱导晕动症的检测。
附图说明
图1是基于脑电信号KC复杂度的视觉诱导晕动症检测方法的具体实施方式流程图;
图2是Muse可穿戴设备的电极位置示意图;
图3是基于虚拟现实的主动式汽车驾驶模拟器图;
图4是受试者在实验过程中的主观VIMSL变化图;
图5是本实施例10次实验数据中3对脑电信号KC复杂度的实验数据散点图;
图6是本实施例10次实验数据中视觉诱导晕动症前后的KC复杂度变化图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是基于脑电信号KC复杂度的视觉诱导晕动症检测方法的具体实施方式流程图。如图1所示,本发明基于脑电信号KC复杂度的视觉诱导晕动症检测方法包括以下步骤:
S101:采集脑电信号:
在用户的左右额叶区、左颞叶区分别设置一个脑电信号传感器,分别采集用户在正常阶段(未使用立体视觉设备)的脑电信号EEG0和检测阶段(使用立体视觉设备过程中)的脑电信号EEG1,其中每个脑电信号分别包括3个通道的脑电信号表示正常阶段脑电信号,i=1表示检测阶段脑电信号,分别表示用户左额叶区和右额叶区的脑电信号,分别表示用户左颞叶区的脑电信号。
S102:计算脑电信号KC复杂度:
复杂度的概念是在1965年由Kolmgorov首先提出,一般是用描述某个事务的计算机语言长度来衡量,通常认为描述一件事务的计算机语言长度越长,该事物就越复杂。目前所用的KC复杂度概念实际上指的是Lempel—Ziv复杂度(lempel—ziv complexity,LZC)。LZC定义的是随机序列的复杂性,认为复杂性反映的是时间序列随着长度变长呈现新模式的快慢,该方法是针对有限长序列提出的一种判别序列随机程度的手段。两者的区别在于:Kolmogorov复杂度算法目前只是一种思想,而LZC为其简化模型,在数学上将Kolmogorov复杂度的可计算性变为现实。因此本实施例中将LZC复杂度作为KC复杂度。
LZC是一种针对时间序列分析而出现的模型独立的非线性测度方法,表示呈现不重复模式的速度,LZC值越大则说明时间序列呈现新模式的概率也越大,同时也说明动力学行为越复杂。任何影响模式的变化,只有真正影响到了底层系统才可能引起LZC变化。而LZC的变化并不取决于系统是随机的还是确定的。脑电信号已经被证明来自于一个即非随机又非混沌的动力学系统,因此使用LZC分析脑电信号是合理的。
本发明经过研究发现,当用户发生视觉诱导晕动症时,左额叶区、右额叶区和左颞叶区的脑电信号KC复杂度会降低,因此可以通过比较检测阶段和正常阶段中脑电信号的KC复杂度的大小,就可以检测用户是否发生了视觉诱导晕动症。
本实施例中计算KC复杂度的具体方法如下:对于脑电信号采用长度为N的滑动窗口对脑电信号进行遍历,计算每次滑动所得到的数据序列的LZC复杂度,将遍历得到的所有LZC复杂度进行平均,将平均值作为脑电信号的LZC复杂度
LZC复杂度的计算方法一般包括三个步骤:时间序列重构;扫描重构序列,得到不重复子序列数量,即计算KC值;最后归一化求得KC复杂度。
S103:视觉诱导晕动症检测:
根据步骤S102获取的3对KC复杂度分别计算每对KC复杂度之间的相对比例即检测后与正常阶段脑电信号KC复杂度的比例。如果Δj小于预设阈值TH1,则判定根据该脑电信号得到的视觉诱导晕动症检测结果标识Pj=1,否则Pj=0。当Pj=1的脑电信号数量大于预设阈值TH2时,判定该用户在检测阶段出现视觉诱导晕动症现象,否则未出现。
显然,理想情况下阈值TH1的取值为TH1=1。由于本文所选取用于检测视觉诱导晕动症的信号为左额叶区、右额叶区和左颞叶区的脑电信号KC复杂度,当出现视觉诱导晕动症时会降低,因此Δj<1时可以认为出现了视觉诱导晕动症现象。但是由于实际检测过程中信号可能出现波动,因此一般将阈值TH1的取值范围设置为0.85≤TH1≤0.95,具体值可以根据实际情况来确定。因为本发明中KC复杂度有3对,因此阈值TH2的取值范围为1≤TH2≤3,通常设置TH2=2,即2个检测结果标识为1,即判定出现视觉晕动症现象。
为了更好地说明本发明的技术效果,采用一个具体场景对本发明进行了实验验证。本实施例中采用Muse(InteraXon Inc.,Ontario Canada)可穿戴设备来采集脑电信号。图2是Muse可穿戴设备的电极位置示意图。如图2所示,Muse可穿戴设备在额叶区有两个脑电信号传感器FP1、FP2,颞叶区有两个脑电信号传感器TP9、TP10,其中FP1采集用户左额叶区脑电信号,FP2采集用户右额叶区脑电信号,TP9采集用户左颞叶区脑电信号,TP10采集用户右颞叶区脑电信号,本发明中只使用了FP1、FP2、TP9的脑电信号。本实施例中选取了8名受试者,其中女性3位,男性5位,8名受试者中近视者4位。
本实施例中采用的立体视觉设备为基于虚拟现实的主动式汽车驾驶模拟器(Vehicle Driving Simulator,VDS),由一个运动的驾驶室和220°的情景投影屏组成。由于VR技术能够带给受试者立体感和沉浸感,在驾驶过程中容易通过视觉刺激诱发受试者产生视觉诱导晕动症。图3是基于虚拟现实的主动式汽车驾驶模拟器图。经过实验可以得知,本次实验中的8名受试者均在驾驶该主动式汽车驾驶模拟器时存在不同程度的晕动感。
本实验中将驾驶流程分为以下三个阶段:
1)基线阶段:受试者坐着休息大约5分钟,以消除驾驶前的疲劳,这一阶段受试者没有出现VIMS症状;
2)驾驶阶段:受试者驾驶汽车长时间绕行在道路上,从而诱发产生VIMS症状,而且随着驾驶时间的增加,受试者的晕动增强,本阶段实验的时间长度依据受试者个人的晕动状态而定;
3)恢复阶段:受试者停止驾驶进行休息,睁眼站立3min,闭眼站立3min,在这一阶段受试者的晕动感得到减缓。
在整个驾驶流程中,受试者需要每分钟口头报告一次主观的视觉诱导晕动症级别(VIMS Level,VIMSL),本次实验中将VIMSL划分为五个级别:未晕动(0级)、轻微晕动(1级)、中度晕动(2级)、严重晕动(3级)和过度晕动(4级)。
本实施例中8位受试者共进行10次实验,此处从8位受试者选择其中一位受试者的一次实验数据进行说明。图4是受试者在实验过程中的主观VIMSL变化图。如图4所示,该受试者的主观VIMSL在驾驶开始一段时间左右开始增长,在驾驶结束后一段时间后开始下降。
本发明中选取了3个脑电信号,即FP1、FP2、TP9的脑电信号。为了说明本发明选取这3个信号的合理性,对整个驾驶流程中3个脑电信号的KC复杂度和VIMSL变化的相关性进行计算,计算方法为:对于每个整个驾驶流程的脑电信号,采用滑动窗口进行遍历,求取每次滑动得到的数据序列的KC复杂度,将数据序列中间序列对应时刻的VIMSL作为该KC复杂度对应的VIMSL,从而得到整个驾驶流程的KC复杂度序列和VIMSL序列,然后计算KC复杂度序列和VIMSL序列的斯皮尔曼等级相关性。在计算相关性的过程中,把8个受试者共10次实验数据综合在一起做斯皮尔曼等级相关性分析,从而说明KC复杂度与VIMSL变化之间的联系。表1是本发明中3个脑电信号KC复杂度和VIMSL的斯皮尔曼等级相关性。
表1
如表1所示,FP1、FP2、TP9的脑电信号的KC复杂度均和VIMSL存在显著差异性(sig<0.05),并且斯皮尔曼等级相关性系数分别为-0.288、-0.228和-0.251,相关系数结果接近相关度衡量标准中的中度相关,且均为负相关。
本次实验中计算了8位受试者10组实验数据在正常阶段(基线阶段)和检测阶段(VIMS阶段)的3对脑电信号的KC复杂度。图5是本实施例10次实验数据中3对脑电信号KC复杂度的实验数据散点图。如图5所示,横坐标表示正常阶段(基线阶段)下的KC复杂度,纵坐标表示检测阶段(VIMS阶段)下的KC复杂度,实线为阈值TH1取值为1(即理想情况),虚线为阈值TH1取值为0.9(本实施例中设置)。根据图5可以明显看出,在受试者发生视觉诱导晕动症时,3对脑电信号KC复杂度在正常阶段和检测阶段在统计学上具有显著差异,如果对10组实验数据的散点求取中心点,显然该中心点所对应的相对比例是小于1的。但是由于实际检测的误差以及阈值TH1通常需要设置一定的容限,并非每组实验数据中每对检测信号之间的相对比例都能得到正确的检测标识,因此本发明采用3对脑电信号KC复杂度来综合判断,从而可以提高检测的准确度。
图6是本实施例10次实验数据中视觉诱导晕动症前后的KC复杂度变化图。如图6所示,FP1、FP2、TP9三个通道脑电信号的KC复杂度在视觉诱导晕动症发生前后出现显著性差异,在检测阶段的FP1、FP2、TP9三个通道脑电信号的KC复杂度折线均位于正常阶段的下方,即视觉诱导症发生后的KC复杂度低于发生前的KC复杂度。
综上可知本发明中采用这3对脑电信号KC复杂度来进行视觉诱导晕动症是具有合理依据的,且能得到较为可靠的检测结果。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于脑电信号KC复杂度的视觉诱导晕动症检测方法,其特征在于,包括以下步骤:
S1:在用户的左右额叶区、左右颞叶区分别设置一个脑电信号传感器,分别采集用户在正常阶段(未使用立体视觉设备)的脑电信号EEG0和检测阶段(使用立体视觉设备过程中)的脑电信号EEG1,其中每个脑电信号分别包括3个通道的脑电信号表示正常阶段脑电信号,i=1表示检测阶段脑电信号,分别表示用户左额叶区和右额叶区的脑电信号,分别表示用户左颞叶区的脑电信号;
3.根据权利要求1所述的视觉诱导晕动症检测方法,其特征在于,所述步骤S3中阈值TH的取值范围为0.85≤TH1≤0.95。
4.根据权利要求1所述的视觉诱导晕动症检测方法,其特征在于,所述步骤S3中阈值TH2=2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810635091.4A CN109009094B (zh) | 2018-06-20 | 2018-06-20 | 基于脑电信号kc复杂度的视觉诱导晕动症检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810635091.4A CN109009094B (zh) | 2018-06-20 | 2018-06-20 | 基于脑电信号kc复杂度的视觉诱导晕动症检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109009094A CN109009094A (zh) | 2018-12-18 |
CN109009094B true CN109009094B (zh) | 2021-03-30 |
Family
ID=64609663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810635091.4A Active CN109009094B (zh) | 2018-06-20 | 2018-06-20 | 基于脑电信号kc复杂度的视觉诱导晕动症检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109009094B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569923A (zh) * | 2019-09-18 | 2019-12-13 | 五邑大学 | 一种基于样本熵的晕动症量化方法、装置和存储介质 |
CN115153591A (zh) * | 2022-07-29 | 2022-10-11 | 山东大学 | 一种视觉诱导虚拟现实晕动症生理数据采集方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104586387A (zh) * | 2015-01-19 | 2015-05-06 | 秦皇岛市惠斯安普医学系统有限公司 | 一种时、频、空域多参数脑电特征提取与融合方法 |
CN106683034A (zh) * | 2016-12-29 | 2017-05-17 | 上海拆名晃信息科技有限公司 | 一种用于虚拟现实的异步时间卷曲计算方法 |
CN106691474A (zh) * | 2016-11-25 | 2017-05-24 | 中原电子技术研究所(中国电子科技集团公司第二十七研究所) | 融合脑电信号与生理信号的疲劳检测系统 |
CN106974621A (zh) * | 2017-03-16 | 2017-07-25 | 小菜儿成都信息科技有限公司 | 一种基于脑电信号重心频率的视觉诱导晕动症检测方法 |
CN107684483A (zh) * | 2017-08-17 | 2018-02-13 | 浙江大学 | 一种基于脑机接口的防晕车头戴式智能设备 |
CN107714038A (zh) * | 2017-10-12 | 2018-02-23 | 北京翼石科技有限公司 | 一种脑电信号的特征提取方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9511289B2 (en) * | 2009-07-10 | 2016-12-06 | Valve Corporation | Player biofeedback for dynamically controlling a video game state |
-
2018
- 2018-06-20 CN CN201810635091.4A patent/CN109009094B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104586387A (zh) * | 2015-01-19 | 2015-05-06 | 秦皇岛市惠斯安普医学系统有限公司 | 一种时、频、空域多参数脑电特征提取与融合方法 |
CN106691474A (zh) * | 2016-11-25 | 2017-05-24 | 中原电子技术研究所(中国电子科技集团公司第二十七研究所) | 融合脑电信号与生理信号的疲劳检测系统 |
CN106683034A (zh) * | 2016-12-29 | 2017-05-17 | 上海拆名晃信息科技有限公司 | 一种用于虚拟现实的异步时间卷曲计算方法 |
CN106974621A (zh) * | 2017-03-16 | 2017-07-25 | 小菜儿成都信息科技有限公司 | 一种基于脑电信号重心频率的视觉诱导晕动症检测方法 |
CN107684483A (zh) * | 2017-08-17 | 2018-02-13 | 浙江大学 | 一种基于脑机接口的防晕车头戴式智能设备 |
CN107714038A (zh) * | 2017-10-12 | 2018-02-23 | 北京翼石科技有限公司 | 一种脑电信号的特征提取方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109009094A (zh) | 2018-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Horswill et al. | The crash involvement of older drivers is associated with their hazard perception latencies | |
Lee et al. | The comparative measurements of eyestrain caused by 2D and 3D displays | |
JP6426105B2 (ja) | エンゲージメント及び知覚刺激顕著性のマーカーとして瞬き抑制を検出するためのシステム及び方法 | |
Kim et al. | EEG based comparative measurement of visual fatigue caused by 2D and 3D displays | |
Lim et al. | Investigation of driver performance with night vision and pedestrian detection systems—Part I: Empirical study on visual clutter and glance behavior | |
US20060189886A1 (en) | System and method for quantifying and mapping visual salience | |
CN105852797A (zh) | 一种基于心电信号的立体显示视觉疲劳检测系统 | |
CN113554597B (zh) | 一种基于脑电特征的图像质量评价方法及装置 | |
CN109009094B (zh) | 基于脑电信号kc复杂度的视觉诱导晕动症检测方法 | |
CN106913333B (zh) | 一种持续性注意水平的敏感性特征指标的选取方法 | |
DE102015219868B4 (de) | System und Verfahren für das Trainieren von Kopfbewegungen | |
Mustafa et al. | EEG analysis of implicit human visual perception | |
JP2012196279A (ja) | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム | |
Lohr et al. | GazeBaseVR, a large-scale, longitudinal, binocular eye-tracking dataset collected in virtual reality | |
US10568557B2 (en) | System and method for analyzing involuntary eye movements of a human subject in response to a masked visual stimulating content | |
CN110613429A (zh) | 一种晕动症的检测方法 | |
CN103945218B (zh) | 一种基于双眼视觉融合的立体图像质量评测方法 | |
Chung et al. | Block-building performance test using a virtual reality head-mounted display in children with intermittent exotropia | |
CN106667429A (zh) | 基于眼动信号的视觉诱导晕动检测方法 | |
CN111724896B (zh) | 一种基于多刺激图片或视频erp的毒瘾评估系统 | |
Son et al. | Sensitivity of multiple cognitive workload measures: A field study considering environmental factors | |
Kawagoe et al. | Automatic gaze to the nose region cannot be inhibited during observation of facial expression in Eastern observers | |
De Wit et al. | Distinct task-independent visual thresholds for egocentric and allocentric information pick up | |
Sun | Research on respiratory signals for visual fatigue caused by 3D display | |
de Wit et al. | Delayed pointing movements to masked Müller–Lyer figures are affected by target size but not the illusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |