CN110353671A - 一种基于视频调制和脑电信号的视觉注视位置测量方法 - Google Patents
一种基于视频调制和脑电信号的视觉注视位置测量方法 Download PDFInfo
- Publication number
- CN110353671A CN110353671A CN201910612654.2A CN201910612654A CN110353671A CN 110353671 A CN110353671 A CN 110353671A CN 201910612654 A CN201910612654 A CN 201910612654A CN 110353671 A CN110353671 A CN 110353671A
- Authority
- CN
- China
- Prior art keywords
- visual indicia
- video
- eeg signals
- visual
- viewer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 119
- 238000000691 measurement method Methods 0.000 title claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 35
- 210000005252 bulbus oculi Anatomy 0.000 claims description 60
- 210000004556 brain Anatomy 0.000 claims description 34
- 230000004438 eyesight Effects 0.000 claims description 30
- 230000008904 neural response Effects 0.000 claims description 21
- 210000000869 occipital lobe Anatomy 0.000 claims description 10
- 238000005314 correlation function Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000005316 response function Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 description 39
- 210000001508 eye Anatomy 0.000 description 16
- 238000005259 measurement Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000004424 eye movement Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 206010034960 Photophobia Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 206010015037 epilepsy Diseases 0.000 description 4
- 230000000763 evoking effect Effects 0.000 description 4
- 208000013469 light sensitivity Diseases 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 208000028780 ocular motility disease Diseases 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000000700 radioactive tracer Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003565 oculomotor Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010021283 IIIrd nerve paralysis Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 206010030875 ophthalmoplegia Diseases 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000002374 sebum Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Power Engineering (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于视频调制和脑电信号的视觉注视位置测量方法,其包括以下步骤:S1、根据视觉标记序列对自然视频进行动态调制;S2、通过显示器向观看者呈现调制完成后的视频,同时记录观看者的脑电信号;S3、对脑电信号进行预处理;S4、对脑电信号和调制所用的视觉标记序列进行响应计算,依据计算结果判断记录者视觉注视位置。本方案自由度高,适用于不同类型病人,具有较强实时性。
Description
技术领域
本发明涉及视觉注视的测量,尤其是涉及一种基于视频调制和脑电信号的视觉注视位置测量方法。
背景技术
在日常生活中,人对于周围环境中信息的感知在很大程度上依赖于视觉,至少有80%以上的外界信息是通过视觉获得的。比如人对外界物体的大小、明暗、颜色等信息的获得都需要借助于视觉,从而在大脑中进行高层次的认知与处理。与此同时,日常生活的环境中包含了大量的视觉刺激作为信息输入,由于大脑资源有限以及外界环境信息重要性区别,大脑对外界环境信息的处理表现出选择特性。因此,人需要通过眼睛注视对视觉信息进行过滤和筛选,使大脑能够有效地加工关键的视觉信息而排除无关信息的干扰。由于视觉注视是人对视觉信息进行获取的重要过程,视觉注视的测量方法在人机交互、脑机接口、临床以及认知科学等领域都具有广泛应用前景。
传统的视觉注视的测量方法是视觉追踪技术(Eye-Tracking),也称为眼动追踪技术,具体来说就是利用软件算法、机械、电子、光学等各种检测手段追踪眼睛运动,从而获取受试者当前注视方向的技术。眼动测量的方法主要有两种,瞳孔-角膜反射向量法(PCCR)和眼电图法(EOG)。瞳孔-角膜反射向量法是通过瞳孔和角膜的角度计算眼动的向量。该方法通过固定眼摄像机获取眼球图像,利用亮瞳孔和暗瞳孔的原理,提取出眼球图像内的瞳孔,利用角膜反射法矫正眼摄像机与眼球的相对位置,把角膜反射点数据作为眼摄像机和眼球的相对位置的基点,此时的瞳孔中心位置坐标表示视线的位置,从而实时地检测人在屏幕中所凝视的兴趣点。该方法的映射函数对于头的位置是非常敏感的,在测量期间需要对被测试者的头部位置进行固定。如果在测量期间被测试者的头部位置发生较大的变化,测量的精度就会急剧的下降。眼电图法是通过测量眼睛附近的电位从而获得眼球运动的位置信息。眼球在正常情况下由于视网膜代谢水平较高,因此眼球后部的视网膜与前部的角膜之间存在着一个数十毫伏的静止电压,角膜区为正,视网膜区为负。当眼球转动时,眼球的周围的电势也随之发生变化。将电极分别置于眼睛的左右和上下两侧,就能测量眼球变化方向上的微弱电信号,经放大后得到眼球运动的信息。该方法测量的是眼球前后极之间的电位差,反应的只是眼球位置的相对变化,而由于电极安放在皮肤上,皮肤电阻会受到皮角质、皮脂等因素的影响,所以测量结果对注视定位的精度不高。
随着认知科学的研究和发展,一些基于脑电图(EEG)的方法也被应用于眼球注视的检测,常见的方法有事件相关电位P300和稳态视觉响应(SSVEP)。P300是一种事件相关电位,主要是与心理因素相关的一种电位,是一种内源性与认知功能相关的特殊诱发正电位,是一种对小概率新异事件的反应,其经常出现于事件相关刺激后300~400毫秒的范围内。当人的眼球注视范围内出现新异刺激时,其脑电信号中将出现P300的成分。由于P300需要新异刺激的出现才能进行激发(某种视觉刺激偶然出现才会触发P300),测量眼球注视的实时性不佳。稳态视觉诱发响应是当人的眼睛受到一定频率的闪光刺激时,大脑会自动产生与外界刺激频率或者其谐波频率相同的响应。当人的眼球注视范围内出现固定频率的闪光刺激时,其脑电信号中将出现与闪光频率相同的诱发视觉响应。稳态视觉诱发响应由于其视觉刺激的高频率闪动,测量眼球注视具有较好的实时性,但是由于其恒定频率呈现目标的方式,每个目标需要以特定的频率闪动,不同目标闪动的频率不能太过接近并且闪动的频率不能过高或者过低,从而导致在有限频带范围内可呈现的目标数有限。于此同时,恒定频率的闪光刺激具有极其强烈的不舒适感,容易诱发光敏性癫痫。上述两种方法在脑机接口方面的应用较为广泛,但通常是在静态图形或者图片中嵌入新异刺激或者恒定频率的闪光,很少应用于动态视频中。
发明内容
本发明主要是解决现有技术所存在的装置复杂、自由度低、不适用于无法长时间配合的测量人群、不适用于眼球运动障碍或有光敏性癫痫的病人的技术问题,提供一种自由度高,适用于不同类型病人,具有较强实时性的基于视频调制和脑电信号的视觉注视位置测量方法。
本发明针对上述技术问题主要是通过下述技术方案得以解决的:一种基于视频调制和脑电信号的视觉注视位置测量方法,包括以下步骤:
S1、根据视觉标记序列对自然视频进行动态调制;
S2、通过显示器向观看者呈现调制完成后的视频,同时记录观看者的脑电信号;
S3、对脑电信号进行预处理;
S4、对脑电信号和调制所用的视觉标记序列进行响应计算,依据计算结果判断记录者视觉注视位置。
作为优选,所述步骤S2中,记录观看者的脑电信号时采集脑电信号的电极数量为1-256个,至少有一个电极的位置与大脑枕叶区对应。
作为优选,所述步骤S1具体为:
将视频画面划分为若干个区域;选择1段视频画面中的至少1个区域,使用视觉标记序列对所选的区域进行调制;如果选择的区域大于1个,则不同的被选区域采用不同的视觉标记序列进行调制;
记第i段视频画面中某个被选择区域所使用的视觉标记序列为 视觉标记序列的长度为N+1,与第i段视频画面帧数相同,由数字0和1组成,序列值为1表示在当前时刻视频画面中存在视觉标记,序列值为0表示当前时刻视频画面中不存在视觉标记,被调制视频画面的总帧数为P,即视觉标记序列中有P个序列值为1;
视觉标记的调制方式包括亮度改变、对比度改变和图形覆盖中的任意一种或若干种,视觉标记序列中1的平均时间间隔为10毫秒至1000毫秒。
作为优选,步骤S3中,对脑电信号进行预处理包括去除低频漂移,滤除工频干扰,进行带通滤波,降采样至频率与调制后播放的视频的频率一致,记预处理后的脑电信号为yi为与第i段视频帧数等长的序列。
作为优选,所述步骤S4中,响应计算采用时域叠加方式,具体为:
截取视觉标记序列中序列值为1的时刻为对该视觉标记的神经响应的起始时刻点,即截取神经响应起始时刻点之后包含M个采样点的脑电信号对截取的脑电信号进行叠加得到被测试者对视觉标记的神经响应,具体公式为:
P为被调制视频画面的总帧数
若通过时域叠加得到的神经响应中存在明显的视觉诱发响应成分,即存在较大的视觉诱发响应幅值,则表示当前时段内,视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
作为优选,所述步骤S4中,响应计算采用互相关方式,具体为:
将已知的视觉标记序列xi和预处理得到的脑电信号yi作互相关,得到两者的相关函数,具体公式为:
其中,m为信号的采样点,m取0,1,…,N;n为互相关函数点,n值取-N,…,0,1,…,N,R(n)即为视觉标记序列xi和预处理得到的脑电信号yi的互相关函数。互相关函数存在峰值则表示视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
作为优选,所述步骤S4中,响应计算采用时间响应函数方式,具体为:
设hi为对应于第i段视频画面的脑电响应的时间序列,hi的序列长度为t,在每个xi前加t-1个0,即其中的值均为0;
将xi中的数值带入计算矩阵Xi:
结合yi根据以下公式
计算得到hi,即为通过视觉标记序列和脑电数据作为输入和输出构建出观看者观看第i段视频画面时,人脑对该段视频画面中视觉标记区域的神经响应;
由建模得到的人脑对视觉标记的系统响应hi与视觉标记序列xi,根据以下公式:
计算得到即为由建模得到的系统响应hi与视觉标记序列xi仿真得到的人脑对视觉标记区域的神经响应,将预测的神经响应与实际测得的神经响应yi作相关,得到的相关系数即为由视觉标记序列xi与测得的神经响应yi建模得到的模型预测度,若预测度高于阈值,则视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
本发明带来的实质性效果是,不同于传统眼动追踪技术对观看者的眼睛运动进行测量,本方案使用脑电信号对观看者的眼球注视位置进行刻画;不同于基于事件相关电位P300的方法,本方案监测脑电信号中的视觉诱发响应;不同于基于稳态视觉诱发响应的编码方式,本方案采用非恒定周期的视频调制序列对自然视频进行调制。本方案采用特定方法调制视频,可以采用任意视频进行测试,无需测量观看者的眼动信息,而直接通过神经响应测量观看者的眼球注视位置,相比于传统的基于脑电图的方法具有无创性且实时性更强,有更广泛的使用场景和人群。
附图说明
图1是本发明的一种系统流程模块图;
图2是本发明的一种视频调制示意图;
图3是本发明的一种信号分析处理流程图;
图4是本发明的一种电极布置示意图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
实施例:
传统的眼球注视位置测量方法具有以下问题:
问题1:传统的基于眼动追踪技术的眼球注视位置测量方法由于其精度的需求,其设备造价昂贵,装置复杂,并且需要被测试者在测量期间进行身体姿势、眼睛位置的固定,自由度较低,应用场景单一,不适用于无法长时间配合的测量人群,比如低龄儿童。
问题2:传统的基于眼动追踪技术的眼球注视测量方法测量的是眼睛运动的轨迹,通过眼睛运动来表征眼球注视的位置,实际上是间接地测量眼球注视位置,该方法不适用于眼球运动障碍的病人,如眼肌瘫痪、动眼神经麻痹等患者。
问题3:传统的基于事件相关电位P300的眼球注视测量方法的实时性不强,具有较强实时性的稳态视觉诱发响应由于其恒定频率呈现目标的方式,导致在有限频带范围内可呈现的目标数有限,同时恒定频率的闪光刺激具有极其强烈的不舒适感,容易诱发光敏性癫痫。
问题4:目前还没有一套成熟的基于视频调制和脑电信号的眼球注视测量方法用于测量动态场景下的眼球注视位置。
本专利基于认知神经科学的新方法,提出并设计了基于视频调制和脑电信号的视觉眼球注视方法,其主要原理为:将自然视频的视觉特征(如亮度、对比度等)进行动态调制,视频调制序列满足一定时间特征,人在观看调制视频时,其大脑枕叶的视觉皮层产生视觉诱发电位(Visual Evoked Potential,VEP)。并且,该视觉诱发电位的强弱与观看者的眼球注视范围相关。在呈现调制视频的同时,同步记录观看者的脑电信号,对脑电数据和调制序列进行处理,识别脑电信号中是否存在与视频调制序列同步的指标特征,若存在则视为视频调制区域在观看者的眼球注视范围之内,若不存在则视为视频调制区域在观看者的眼球注视范围之外。
对应于问题1:基于视频调制和脑电信号的眼球注视测量方法在播放调制视频时仅需在被测试的大脑枕叶处贴若干个电极进行数据采集,在检测过程中,观看者仅需静坐观看测试视频,无需对观看者的身体姿势和眼睛位置进行固定,具有比较高的自由度,应用场景较多。
对应于问题2:基于视频调制和脑电信号的眼球注视测量方法是直接测量人的脑电信号,通过大脑的神经响应监测被测试者的眼球注视位置,更加直接、客观,并且适用于眼球运动障碍的患者,用于检测眼球运动障碍患者基于头动的眼球注视位置。
对应于问题3:基于视频调制和脑电信号的眼球注视测量方法由于视频调制序列的脉冲间隔短,相比于基于事件相关电位P300的眼球注视测量方法具有更强的实时性。同时,由于视频调制序列为非恒定周期的序列,可呈现的目标数无限制,并且为一种无创型视觉刺激,不会诱发光敏性癫痫。
对应于问题4:基于视频调制和脑电信号的眼球注视测量方法对任意自然视频进行动态调制,通过脑电图技术对被测试者在观看动态视频的过程中的眼球注视位置进行测量。
图1是本发明的一种系统流程模块图。
本方案的一种具体实施方式如下:
步骤1:
对视频进行动态调制。视频材料可针对不同年龄的观看者选进行择,可选择任意的数字视频,案例中选用儿童动画以测量低龄儿童的眼球注视位置。视频的时长为900秒,播放帧率为60帧/秒,与显示器的刷新频率一致避免出现漏帧的情况。调制视频的方法如图2所示,选取视频中非周期、不连续的P帧画面,调整画面中5°的圆形区域的亮度使之变暗,P取值可自定义,案例中P取值为9000,即将视频中非周期、不连续的9000帧视频画面进行调制,调整画面的亮度值可自定义,案例中亮度为0即显示为黑色,此时调制区域的亮度变化不会影响视频画面的连续性,并且能够使观看者在注视该区域时产生较强的视觉诱发响应。圆形黑色区域即为调制视频画面中的视觉标记,存在黑色圆形的视频帧时序已知,即视觉标记序列已知,平均时间间隔为100毫秒,记第i段视频画面中的视觉序列为xi,xi为与第i段视频画面帧数相等的序列,由数字0和1组成,序列值为1表示在当前时刻第i段视频画面中存在视觉标记,序列值0表示当前时刻第i段视频画面为正常的视频画面。
步骤2:
使用显示器向观看者呈现调制的视频并同步采集观看者的脑电信号。脑电采集设备使用Biosemi脑电记录仪对观看者枕叶处的脑电信号进行采集,脑电传感电极通过脑电帽依附于被测试者的头皮枕叶处进行信号采集。
步骤3:
对观看者的脑电信号进行分析,处理流程如图3所示,其中脑电信号预处理后可以分时段对脑电信号进行分析,监测在各个时段中,调制视频中央5°的圆形区域是否处于观看者的眼球注视范围之内。本案例使用三种数据处理方法对脑电信号中的视觉诱发响应进行举例分析,所述方法均可以在计算机中编程实现实时处理,下文描述分析脑电数据的具体处理流程和分析算法。
流程①预处理:
预处理主要采用带通滤波的方式对脑电数据进行降噪,去除低频漂移、工频干扰等噪声,以提高数据信噪比。带通滤波的带宽选择为高通0.5赫兹,低通30赫兹。滤波后将脑电信号降采样至60赫兹,使采样频率与视觉刺激的播放频率一致。yi表示经过带通滤波和降采样后,观看者观看第i段视频画面的脑电信号,yi为与第i段视频帧数等长的序列,即序列的长度为N+1,由视频画面播放的帧率和视频的时长决定。另外,已知第i段视频画面的视觉标记序列为xi,该序列由数字0和1组成,记为序列的长度为N+1,由视频画面播放的帧率和视频的时长决定,若在m时刻视频画面播放的为黑屏,则为1,否则为0,m取0,1,…,N。
当前时段内观看者的大脑中是否存在对视觉标记区域的视觉诱发响应可以采用流程②或③或④三种不同方式实现,具体如下:
流程②时域叠加:
分析脑电信号中是否存在对视频画面中视觉标记的响应,可以采用时域叠加的方法,已知视觉标记序列xi和对应的脑电信号yi。截取视觉标记序列xi中为1的时刻为对该视觉标记的神经响应的起始时刻点k,即截取神经响应起始时刻点之后的500毫秒长度的脑电信号由于采样频率为60赫兹,所以500毫秒长度的信号为30个采样点,M=30。对截取的脑电信号进行叠加得到被测试者对视觉标记的神经响应,其公式为:
P为被调制视频画面的总帧数
若通过时域叠加得到的神经响中存在明显的视觉诱发响应成分,即存在较大的视觉诱发响应幅值,则表示当前时段内,视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
流程③互相关:
分析脑电信号中是否存在对视频画面中视觉标记的响应,可以采用互相关的方法,其公式为:
其中,m为信号的采样点,m值取0,1,2…,N-1,N;n为互相关函数点,n值取-N,-N+1,…,0,1,…N-1,N,R(n)即为视觉标记序列xi和预处理得到的脑电信号yi的互相关函数。将已知的视觉标记序列xi和预处理得到的脑电数据yi作互相关,即可得到两者的互相关函数。互相关函数存在峰值表示视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
流程④时间响应函数:
分析脑电信号中是否存在对视频画面中视觉标记的响应,也可以采用时间响应函数的方法。
设置hi为对应于第i段视频画面的脑电响应的时间序列,时间窗口设置为0.5秒,视频播放的帧率为60帧/秒,即hi的序列长度为t,此时t=30。在每个xi前加t-1个0,更新其中的值为0。
将xi中的数值代入计算矩阵Xi:
结合yi根据下列公式,
计算得到hi,即为通过视觉标记序列和脑电数据作为输入和输出构建出观看者观看第i段视频画面时,人脑对该视频画面中视觉标记区域的神经响应。
由建模得到的人脑对视觉标记的系统响应hi与视觉标记序列xi,根据以下公式:
计算得到即为由建模得到的系统响应hi与视觉标记序列xi仿真得到的人脑对视觉标记区域的神经响应,将预测的神经响应与实际测得的神经响应yi作相关,得到的相关系数即为由视觉标记序列xi与测得的神经响应yi建模得到的模型预测度,若预测度高于阈值,则视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
流程⑤监测视觉诱发响应:
时域叠加、互相关和时间响应函数三种方法都可以测得当前时段内观看者的大脑中是否存在对视觉标记区域的视觉诱发响应,若存在则视为视频在被观看者的眼球注视范围之内,若不存在则视为视频在观看者眼球注视范围之外。
调整视频材料中不连续的、非周期的若干帧画面的亮度,使之成为黑屏,视频中黑屏出现的时序位置已知,即视觉标记序列已知。需要注意的是,在视频中嵌入黑屏序列作为视觉标记,其作用在于,让观看者在注视视频画面时产生与该视频画面中视觉标记相关的视觉诱发响应。技术方案中仅以改变画面亮度使之成为黑屏为例,实际上在视频中嵌入或者改变任何能够使观看者产生视觉诱发响应的视觉标记均可达到与嵌入黑屏相同的效果,例如嵌入特定图形、图片;改变视频若干帧画面的对比度等。
为了使得调制视频中的视觉标记所产生的视觉诱发响应更具备实时性,需要在不影响视频画面连续性的情况下尽可能快地呈现视觉标记,故对视觉标记出现的时间特征进行限定,视觉标记的平均出现时间间隔为10毫秒到500毫秒之间;为了对观看者眼球注视的空间范围有分辨力,可在调制视频的不同区域中分别嵌入不同的视觉标记序列,观看者在注视视频中的不同区域时会产生与不同区域内视觉标记序列同步的视觉诱发响应。
脑电信号可以选用但不限于EGI、Biosemi等EEG设备进行采集。采集脑电信号时,将脑电电极通过电极帽戴在被测试者的头上。由于人脑的枕叶是对视觉刺激诱发电位的主要响应区域,故优选的将被测试者大脑枕叶附近电极采集得到的脑电信号作为主要分析的脑电数据。大脑枕叶电极范围如图4所示,其中Pz、CPz、POz、PO3、PO4五个电极的分布即为人脑的枕叶区位置,优选该五个电极中的一个或者若干个电极的脑电信号进行记录和分析。
本实施案例仅举例基于视频调制和脑电信号的眼球注视测量方法,以儿童动画的形式进行播放,监测视觉诱发响应的灵敏度在3秒以内,眼球注视位置的监测结果可应用于注视点追踪、人机互动、注意评估等多种场景。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了视觉标记序列、脑电信号、相关度等术语,但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质;把它们解释成任何一种附加的限制都是与本发明精神相违背的。
Claims (7)
1.一种基于视频调制和脑电信号的视觉注视位置测量方法,其特征在于,包括以下步骤:
S1、根据视觉标记序列对自然视频进行动态调制;
S2、通过显示器向观看者呈现调制完成后的视频,同时记录观看者的脑电信号;
S3、对脑电信号进行预处理;
S4、对脑电信号和调制所用的视觉标记序列进行响应计算,依据计算结果判断记录者视觉注视位置。
2.根据权利要求1所述的一种基于视频调制和脑电信号的视觉注视位置测量方法,其特征在于,所述步骤S2中,记录观看者的脑电信号时采集脑电信号的电极数量为1-256个,至少有一个电极的位置与大脑枕叶区对应。
3.根据权利要求1或2所述的一种基于视频调制和脑电信号的视觉注视位置测量方法,其特征在于,所述步骤S1具体为:
将视频画面划分为若干个区域;选择1段视频画面中的至少1个区域,使用视觉标记序列对所选的区域进行调制;如果选择的区域大于1个,则不同的被选区域采用不同的视觉标记序列进行调制;
记第i段视频画面中某个被选择区域所使用的视觉标记序列为 视觉标记序列的长度为N+1,与第i段视频画面帧数相同,由数字0和1组成,序列值为1表示在当前时刻视频画面中存在视觉标记,序列值为0表示当前时刻视频画面中不存在视觉标记,被调制视频画面的总帧数为P,即视觉标记序列中有P个序列值为1;
视觉标记的调制方式包括亮度改变、对比度改变和图形覆盖中的任意一种或若干种,视觉标记序列中1的平均时间间隔为10毫秒至1000毫秒。
4.根据权利要求3所述的一种基于视频调制和脑电信号的视觉注视位置测量方法,其特征在于,步骤S3中,对脑电信号进行预处理包括去除低频漂移,滤除工频干扰,进行带通滤波,降采样至频率与调制后播放的视频的频率一致,记预处理后的脑电信号为yi为与第i段视频帧数等长的序列。
5.根据权利要求4所述的一种基于视频调制和脑电信号的视觉注视位置测量方法,其特征在于,所述步骤S4中,响应计算采用时域叠加方式,具体为:
截取视觉标记序列中序列值为1的时刻为对该视觉标记的神经响应的起始时刻点,即截取神经响应起始时刻点之后包含M个采样点的脑电信号对截取的脑电信号进行叠加得到被测试者对视觉标记的神经响应,具体公式为:
P为被调制视频画面的总帧数
若通过时域叠加得到的神经响应中存在明显的视觉诱发响应成分,即存在较大的视觉诱发响应幅值,则表示当前时段内,视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
6.根据权利要求4所述的一种基于视频调制和脑电信号的视觉注视位置测量方法,其特征在于,所述步骤S4中,响应计算采用互相关方式,具体为:
将已知的视觉标记序列xi和预处理得到的脑电信号yi作互相关,得到两者的相关函数,具体公式为:
m取0,1,…,N;n取-N,…,0,1,…,N
互相关函数存在峰值则表示视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
7.根据权利要求4所述的一种基于视频调制和脑电信号的视觉注视位置测量方法,其特征在于,所述步骤S4中,响应计算采用时间响应函数方式,具体为:
设hi为对应于第i段视频画面的脑电响应的时间序列,hi的序列长度为t,在每个xi前加t-1个0,即其中的值均为0;
将xi中的数值带入计算矩阵Xi中:
结合yi根据以下公式
计算得到hi,即为通过视觉标记序列和脑电数据作为输入和输出构建出观看者观看第i段视频画面时,人脑对该段视频画面中视觉标记区域的神经响应;
由建模得到的人脑对视觉标记的系统响应hi与视觉标记序列xi,根据以下公式:
计算得到即为由建模得到的系统响应hi与视觉标记序列xi仿真得到的人脑对视觉标记区域的神经响应,将预测的神经响应与实际测得的神经响应yi作相关,得到的相关系数即为由视觉标记序列xi与测得的神经响应yi建模得到的模型预测度,若预测度高于阈值,则视觉标记区域处于观看者的眼球注视范围之内,否则视觉标记区域处于观看者的眼球注视范围之外。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910612654.2A CN110353671B (zh) | 2019-07-09 | 2019-07-09 | 一种基于视频调制和脑电信号的视觉注视位置测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910612654.2A CN110353671B (zh) | 2019-07-09 | 2019-07-09 | 一种基于视频调制和脑电信号的视觉注视位置测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110353671A true CN110353671A (zh) | 2019-10-22 |
CN110353671B CN110353671B (zh) | 2022-02-18 |
Family
ID=68218209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910612654.2A Expired - Fee Related CN110353671B (zh) | 2019-07-09 | 2019-07-09 | 一种基于视频调制和脑电信号的视觉注视位置测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110353671B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113406663A (zh) * | 2021-06-17 | 2021-09-17 | 王高 | 基于p300与关联成像的视觉成像系统及方法 |
CN113712501A (zh) * | 2021-11-03 | 2021-11-30 | 山东中医药大学附属眼科医院 | 一种眼脑数据同步变化的检测方法及系统 |
CN116269447A (zh) * | 2023-05-17 | 2023-06-23 | 之江实验室 | 一种基于语音调制和脑电信号的言语认知评估系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080221969A1 (en) * | 2007-03-07 | 2008-09-11 | Emsense Corporation | Method And System For Measuring And Ranking A "Thought" Response To Audiovisual Or Interactive Media, Products Or Activities Using Physiological Signals |
US20100185113A1 (en) * | 2009-01-21 | 2010-07-22 | Teledyne Scientific & Imaging, Llc | Coordinating System Responses Based on an Operator's Cognitive Response to a Relevant Stimulus and to the Position of the Stimulus in the Operator's Field of View |
CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
CN105615830A (zh) * | 2015-12-03 | 2016-06-01 | 天津大学 | 亮度偏差引起的立体观看舒适度影响的脑电分析方法 |
CN106371451A (zh) * | 2016-11-07 | 2017-02-01 | 东南大学 | 基于稳态视觉诱发电位的无人机操控方法及装置 |
CN109151530A (zh) * | 2018-06-29 | 2019-01-04 | 合肥互意智能技术有限公司 | 一种基于脑电波和语音识别的视频控制装置及其控制方法 |
CN109199410A (zh) * | 2018-06-28 | 2019-01-15 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
CN109271020A (zh) * | 2018-08-23 | 2019-01-25 | 西安交通大学 | 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法 |
CN109645994A (zh) * | 2019-01-04 | 2019-04-19 | 华南理工大学 | 一种基于脑-机接口系统辅助评估视觉定位的方法 |
CN109893093A (zh) * | 2019-02-20 | 2019-06-18 | 华南理工大学 | 一种隐式注视脑机接口的意识状态检测系统 |
-
2019
- 2019-07-09 CN CN201910612654.2A patent/CN110353671B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080221969A1 (en) * | 2007-03-07 | 2008-09-11 | Emsense Corporation | Method And System For Measuring And Ranking A "Thought" Response To Audiovisual Or Interactive Media, Products Or Activities Using Physiological Signals |
US20100185113A1 (en) * | 2009-01-21 | 2010-07-22 | Teledyne Scientific & Imaging, Llc | Coordinating System Responses Based on an Operator's Cognitive Response to a Relevant Stimulus and to the Position of the Stimulus in the Operator's Field of View |
CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
CN105615830A (zh) * | 2015-12-03 | 2016-06-01 | 天津大学 | 亮度偏差引起的立体观看舒适度影响的脑电分析方法 |
CN106371451A (zh) * | 2016-11-07 | 2017-02-01 | 东南大学 | 基于稳态视觉诱发电位的无人机操控方法及装置 |
CN109199410A (zh) * | 2018-06-28 | 2019-01-15 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
CN109151530A (zh) * | 2018-06-29 | 2019-01-04 | 合肥互意智能技术有限公司 | 一种基于脑电波和语音识别的视频控制装置及其控制方法 |
CN109271020A (zh) * | 2018-08-23 | 2019-01-25 | 西安交通大学 | 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法 |
CN109645994A (zh) * | 2019-01-04 | 2019-04-19 | 华南理工大学 | 一种基于脑-机接口系统辅助评估视觉定位的方法 |
CN109893093A (zh) * | 2019-02-20 | 2019-06-18 | 华南理工大学 | 一种隐式注视脑机接口的意识状态检测系统 |
Non-Patent Citations (2)
Title |
---|
PEIQING JIN, JIAJIE ZOU, TAO ZHOU,NAI DING: "Eye activity tracks task-relevant structures during speech and auditory sequence perception", 《NATURE COMMUNICATIONS》 * |
周丽霞,范影乐,李轶: "基于Hilbert-Huang变换的目标注视脑电模式分类研究", 《计算机工程与应用》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113406663A (zh) * | 2021-06-17 | 2021-09-17 | 王高 | 基于p300与关联成像的视觉成像系统及方法 |
CN113406663B (zh) * | 2021-06-17 | 2024-03-12 | 王高 | 基于p300与关联成像的视觉成像系统及方法 |
CN113712501A (zh) * | 2021-11-03 | 2021-11-30 | 山东中医药大学附属眼科医院 | 一种眼脑数据同步变化的检测方法及系统 |
CN113712501B (zh) * | 2021-11-03 | 2022-03-11 | 山东中医药大学附属眼科医院 | 一种眼脑数据同步变化的检测方法及系统 |
CN116269447A (zh) * | 2023-05-17 | 2023-06-23 | 之江实验室 | 一种基于语音调制和脑电信号的言语认知评估系统 |
CN116269447B (zh) * | 2023-05-17 | 2023-08-29 | 之江实验室 | 一种基于语音调制和脑电信号的言语认知评估系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110353671B (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110801237B (zh) | 一种基于眼动和脑电特征的认知能力评估系统 | |
Strüber et al. | MEG alpha activity decrease reflects destabilization of multistable percepts | |
Jia et al. | Measurement of saccadic eye movements by electrooculography for simultaneous EEG recording | |
CN109645994B (zh) | 一种基于脑-机接口系统辅助评估视觉定位的方法 | |
US20110109879A1 (en) | Multivariate dynamic profiling system and methods | |
CN110353671A (zh) | 一种基于视频调制和脑电信号的视觉注视位置测量方法 | |
US11723566B2 (en) | Deception detection system and method | |
JP2015530895A (ja) | 被検者による刺激特性の知覚を評価するための方法およびシステム | |
CN110600103B (zh) | 一种提升视力的可穿戴智能服务系统 | |
US20220148728A1 (en) | System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein | |
Hamamé et al. | Functional selectivity in the human occipitotemporal cortex during natural vision: Evidence from combined intracranial EEG and eye-tracking | |
CN109222888A (zh) | 一种基于眼动技术判断心理测试可靠性的方法 | |
US20180279935A1 (en) | Method and system for detecting frequency domain cardiac information by using pupillary response | |
Pourtois et al. | Time course of brain activity during change blindness and change awareness: performance is predicted by neural events before change onset | |
US20030163060A1 (en) | Merhod and apparatus for assessing neural function by sparse stimuli | |
KR20230169160A (ko) | 정신건강 진단 및 모니터링을 위한 안구 시스템 | |
Casson et al. | Enabling free movement EEG tasks by eye fixation and gyroscope motion correction: EEG effects of color priming in dress shopping | |
CN108451494A (zh) | 使用瞳孔反应来检测时域心脏参数的方法及系统 | |
CN111265209A (zh) | 一种基于心电图和脑电图来评判着装接触舒适度的方法 | |
CN110367981A (zh) | 一种弱视脑电客观定量检测方法 | |
Borawska et al. | Best practices of neurophysiological data collection for media message evaluation in social campaigns | |
US10667714B2 (en) | Method and system for detecting information of brain-heart connectivity by using pupillary variation | |
CN108451526A (zh) | 使用瞳孔反应来检测频域心脏信息的方法及系统 | |
Müller | Oscillatory cortical activities in the human brain | |
Keil et al. | Imaging cortical activity following affective stimulation with a high temporal and spatial resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220218 |
|
CF01 | Termination of patent right due to non-payment of annual fee |