CN107517375A - 对立体深度运动引起的立体观看疲劳的评价分析方法 - Google Patents

Abstract

本发明涉及一种对立体深度运动引起的立体观看疲劳的评价分析方法，包括以下步骤：对实验立体图像素材图像进行处理，在正负一度的视差范围内，使目标做周期性往复匀速运动，分为不同的运动速度等级；对主观评定标准进行划分，分为分数等级；对被试者的主观评价结果进行分析；分别测量观看立体深度运动前后即疲劳前后诱发被试者的脑电波，并提取出八个脑区的三个基本频段；对各个脑区指标在不同疲劳状况下进行比较分析，并与主观评价结果比较，得出衡量立体深度运动引发的立体视觉疲劳最有效的脑电指标。

Description

对立体深度运动引起的立体观看疲劳的评价分析方法

技术领域：

本发明涉及立体图像质量评价领域。

背景技术：

3D电视能够带来身临其境的感觉以及更好的视觉体验,所谓的3D时代已经到来。然而，如果长时间观看3D电视将会引起一些生理或心理症状：视觉疲劳、头晕、恶心等[1]。为了解决这个问题，很有必要找到度量立体视觉疲劳的合适指标。传统的度量方法是采用主观评价，主要形式有心理物理法和问卷调查法[2][3]，这种方法的弊端在于：评价状况受到被试个体差异的影响，被试能够达到隐瞒主观感受的目的。并且评价的标准目前也尚不统一。因此，衡量立体视觉疲劳的客观指标亟待提出。客观评价的优点是操作简单、易实现，缺点是常与主观评价得到的结果相差较远，无法覆盖所有立体内容，不具备普适性和鲁棒性。随着脑科学技术的发展，EEG技术作为一种衡量人体脑活动的技术业已成熟，使其成为立体视觉疲劳客观评价的有效方法。EEG中包含了丰富的生理心理信息，当然也包括疲劳信息，是一项具有广泛发展前景的立体疲劳检测指标[4]。因此，采用EEG频谱分析技术，结合主观评价，将得到对立体视觉疲劳更加有效的评价与监测。

[1]Ukai K,Howarth P A.Visual fatigue caused by viewing stereoscopicmotion images:Background,theories,and observations.Displays,2008,29(2):106.

[2]Li H C O,Seo J,Kham K,et al.Method of Measuring Subjective 3-DVisual Fatigue:A Five-Factor Model//Optical Society of America:DigitalHolography and Three-Dimensional Imaging.St.Petersburg,2008:DWA5.

[3]Gutiérrez J,Pérez P,Jaureguizar F,et al.Subjective assessment ofthe impact of transmission errors in 3DTV compared to HDTV//3DTV Conference:The True Vision-Capture,Transmission and Display of 3D Video.Antalya,2011:1.

[4]Frey J,Pommereau L,Lotte F,et al.Assessing the zone of comfort instereoscopic displays using EEG//ACM Conference on Human Factors in ComputingSystems-Proceedings.Toronto,2014:2041.

发明内容：

本发明解决的技术问题：提出一种运用脑电技术进行立体深度运动引发的立体视觉疲劳的分析方法，基于该分析方法，为各种因素引发的立体视觉疲劳的分析提供了基础。本发明技术方案如下：

一种对立体深度运动引起的立体观看疲劳的评价分析方法，包括以下步骤：

1)对实验立体图像素材图像进行处理，在正负一度的视差范围内，使目标做周期性往复匀速运动，运动速度等级为：520mm·s^-1、640mm·s^-1、3120mm·s^-1、3900mm·s^-1。分辨率为1366×768¹

2)对主观评定标准进行划分，分为五个分数等级：1：无，2：轻微，3：一般，4：严重，5：非常严重。

3)对被试者的主观评价结果进行分析，包括：疲劳症状量化后的平均值，不同疲劳症状的变异系数。

4)分别测量观看立体深度运动前后即疲劳前后诱发被试者的脑电波，并提取出八个脑区的三个基本频段：θ(4–8Hz)、α(8–13Hz)、β(13–22Hz)，及其比值：(α+θ)/β、α/β、(α+θ)/(α+β)。

5)借助双因素方差分析、配对t检验及灰色关联度分析对各个脑区指标在不同疲劳状况下进行比较分析，并与主观评价结果比较，得出衡量立体深度运动引发的立体视觉疲劳最有效的脑电指标：顶区的脑电指标α/β。

主观评价得出的立体深度运动引发的立体视觉疲劳的结果是确切的，分析不同疲劳状况下被试者各个脑区频段指标成分的差异，得出其与主观评价结果存在规律客观的联系。进而确定脑电可以作为立体深度运动引发的立体视觉疲劳评价的客观指标，所以在此分析方法的基础上，可以做更多基于脑电的立体视觉疲劳的评价工作。

附图说明：

通过附图，可以使本发明的实施步骤及优点更加凸显，也更加有利于使用者的理解与操作。

图1为实验所用的立体深度运动场景的左右视图；

图2为主观行为实验疲劳症状量化平均值；

图3为疲劳前后θ(4–8Hz)、α(8–13Hz)、β(13–22Hz)三个频段相对能量在脑区的分布脑电地形图；

图4为t检验分析具有显著性差别的24个脑电指标的灰色关联度分析结果。

具体实施方式：

为使本发明的方案更加清楚明了，便于实施，以便于更加凸显本发明的优点及目的，对实施方案作详细的阐述与说明。

101：搭建EEG平台

ERP实验平台的组成包括：高性能计算机2台、Neuroscan信号放大器、立体显示器(刺激呈现装置)、32导电极帽(Ag-AgCl电极，根据国际10-20系统分布)、偏光式立体眼镜。

立体显示器为分辨率为1366×768，刷新频率为60Hz的长虹立体电视，用E-prime2.0呈现图像刺激。被试者被要求佩戴偏光式立体眼镜及Neuroscan公司的64导电极帽(阻抗小于等于5KΩ.被试距显示屏距离为显示屏垂直高度3倍处，图像水平视角为32.86°，垂直视角为18.48°。整个实验环境的灯光被严格控制，在一个较暗淡的环境中进行。实验室周围相对比较安静，以免引入干扰。

实验立体图像素材图像分辨率为1366×768，如图1所示。处理后的立体深度运动速度等级划为：520mm·s^-1、640mm·s^-1、3120mm·s^-1、3900mm·s^-1。共有被试12个人，4女8男，年龄为22～25岁。每个被试均有正常或矫正正常的视力，以及合格的立体视觉与立体锐度，并且都没有药物禁忌症，比如，伴发疾病，酗酒，药物滥用等以及精神和智力问题。被试不得在实验前二十四小时饮酒、抽烟、喝咖啡、服用药物。为了避免昼夜节律的潜在影响，所有参与者在中午后1.5小时参与实验。

实验刺激通过E-prime程序呈现。整个实验共有480个试次，每种速度模式均为120个试次。一个试次结束后有1s停顿时间，紧接着展示下一个试次，四种速度模式采用随机呈现的方式。整个刺激时间大约为50分钟。整个刺激呈现前，被试被要求闭上眼睛，处于放松安静状态，采集5分钟脑电数据作为非疲劳状态样本。整个刺激一结束，被试紧接着再次闭上眼睛被采集5分钟脑电数据，作为疲劳状态样本。脑电数据采集过程结束后，立即对被试做一个立体视觉疲劳问卷调查，对列出的各项疲劳症状进行主观打分。实验刺激开始前的2分钟和结束后的2分钟的脑电数据被用于分析，寻找指示立体深度运动引发的立体视觉疲劳的最佳脑电指标。

102：主观行为数据的统计分析

图2为被试主观行为实验疲劳症状量化平均值柱状统计图，观察柱状图发现，视力模糊、眼睛沉重、眼睛干涩、呕吐、头沉、眩晕平均得分较高，尤其视力模糊和眼睛沉重症状得分在4分以上，而畏光、流泪、背部疼痛和腿沉平均得分较低。说明被试立体深度运动刺激引发了被试不同程度的症状反应。

为了得出各个症状是否对被试具有普遍意义，计算这十二个样本中每个症状得分相对平均值的离散程度。对所有被试样本采用变异系数反映每个症状的离散程度分析，表1为相应的统计图。在平均得分较高的症状中，视力模糊、眼睛沉重、眩晕的变异系数远低于50％，而眼睛干涩、呕吐和头沉的变异系数较高，说明在观看立体深度运动刺激时，出现视力模糊、眼睛沉重和眩晕的症状相对严重的结论在一定条件下具有普遍意义，眼睛干涩、呕吐和头沉虽然平均得分较高，但其严重程度可能因人而异。同理，在平均得分较低的症状中，在一定程度上可以承认畏光和流泪症状普遍比较轻微。行为数据分析结果表明，实验所用立体深度运动刺激普遍引起了立体视觉疲劳。

表1：主观行为实验不同疲劳症状的变异系数

103：测量被试的脑电信号，存储于离线分析

脑电数据由32导联、国际10-20系统的电极帽记录，数据采样频率为1000Hz，滤波的低通截止频率为0.05Hz、高通截止频率为100Hz。参考电极为右侧乳突电极，各个电极电阻值不大于5kΩ。使用EEGlab软件对脑电数据离线分析，对脑电进行预处理，以去除伪迹和不必要的频谱成分。其中包括1-30Hz的带通滤波，以去除工频干扰和基线漂移。滤波后借助独立成分分析，去除眼电和肌电等伪迹干扰。

104:对被试的脑电信号进行离线处理，分析相应脑区的EEG信号

采用Matlab对实验中采集到的脑电信号进行分析。包括：

1.根据10-20电极导联系统电极名称匹配一览表，从除记录眼电外的30个电极中挑选出19个电极。把整个脑区细分为八个不同脑区：前额(Fp1、Fp2)，侧额(F7、F8)，额(F3、Fz、F4)，颞(T7、T8)，中央(C3、Cz、C4)，后颞(P7、P8)，顶(P3、PZ、P4)，枕(O1、O2)。

2.把观看刺激场景前和观看后2分钟的脑电信号提取出来，并分别切成120份1s长的脑电片段；然后，以1Hz的频谱分辨率对每个脑电片段进行快速傅里叶变换，把能量划分为三个频段θ(4–8Hz)、α(8–13Hz)、β(13–22Hz)，并计算每个电极上三个频段相对能量。(α+θ)/β、α/β、(α+θ)/(α+β)三种能量比值也分别在每个电极的各个脑电片段上计算出来，取三个基本频段相对能量及四种能量比值在2分钟120个脑电片段上的平均值。接着再按照上述脑区划分，分别计算三个基本频段及四种能量比值在八个脑区及整个脑区电极上的平均值，作为未疲劳与疲劳状态的最终待选指标。

3.借助双因素方差分析、配对t检验及灰色关联度分析从待选指标筛选出优越指标指示立体深度运动引起的立体视觉疲劳。

4.以观看刺激场景前后2分钟的240个脑电片段作为样本，把筛选出的优越指标及其组合作为特征，训练线性核函数的支持向量机(SVM)，并验证正确率，进一步确定最具效率的指示立体深度运动引发的立体视觉疲劳的指标。

105：对不同疲劳状况下θ(4–8Hz)、α(8–13Hz)、β(13–22Hz)的脑电地形图进行分析。

β频段的相对能量在观看刺激后，出现了很大程度的下降，即疲劳状态下，该频段的相对能量相对未疲劳状态降低。α频段疲劳状态的相对能量与未疲劳状态相比，出现了显著上升。两者的变化在后颞、顶区和枕区最为明显。而θ波段的相对能量则在未疲劳与疲劳状态下几乎保持稳定。(如表3所示)

106：最优脑电指标的筛选。

配对t检验被用于各个类别的脑电指标在不同脑区及整个脑区在观看刺激前后的分析。表2为观看刺激前后不同脑区脑电指标配对t检验分析结果，其中有24个指标出现显著性差异。

表2为观看刺激前后不同脑区脑电指标配对t检验分析结果；

表3灰色关联度较高的五个脑电波指标作为特征及其组合对立体视觉疲劳分类识别正确率。

为了从这24个指标中选出相对优越的指标，采用了灰色关联度分析。图4为t检验分析具有显著性差别的24个脑电指标的灰色关联度分析结果。关联度相对较高的前五个指标从高到低依次为：枕区α/β、枕区(α+θ)/β、顶区α/β、顶区(α+θ)/β、后颞区α/β。从这个结果来看，有效指示立体视觉疲劳的脑电指标主要集中在后颞、顶区，枕区，与相对能量脑电地形图分析结果相一致。有效的脑电指标类别主要是α/β、(α+θ)/β。

为了进一步验证以上5个通过灰色关联度度分析筛选出的脑电指标对立体视觉疲劳识别的有效性，把每个被试观看刺激场景前后两分钟的240个脑电片段作为样本，分别以筛选出的五个指标及其组合作为特征，随机把样本分量的7/10作为训练样本，3/10作为验证样本，利用支持向量机(SVM)，以10次交叉验证的正确率的平均值作为每个被试的正确率结果，最后取12个被试正确率的平均值作为最终表示五个脑电指标及其组合作为特征对疲劳状态识别有效性的指示。分类结果如表3。分类正确率结果来看，5个指标及其组合指标均表现出可分性，表明所选指标对识别立体视觉疲劳具有有效性。其中顶区指标的有效性最高，后颞区、枕区指标有效性略低。且5个指标组合的有效性比之顶区指标有效性并未有提升。枕区指标组合有效性比之枕区各个指标有效性也未有提升，顶区指标组合的有效性比之顶区各个指标有效性未有显著提升。

综上来看，就有效性而言，顶区α/β、顶区(α+θ)/β及其组合对立体视觉疲劳的识别最优越。但结合频段提取及计算复杂度，则顶区的脑电指标α/β是最合适有效的指示由立体深度运动引起的立体视觉疲劳的指标。

Claims (1)

1.一种对立体深度运动引起的立体观看疲劳的评价分析方法，包括以下步骤：

1)对实验立体图像素材图像进行处理，在正负一度的视差范围内，使目标做周期性往复匀速运动，运动速度等级为：520mm·s^-1、640mm·s^-1、3120mm·s^-1、3900mm·s^-1。分辨率为1366×768¹。

2)对主观评定标准进行划分，分为五个分数等级：1：无，2：轻微，3：一般，4：严重，5：非常严重；

3)对被试者的主观评价结果进行分析，包括：疲劳症状量化后的平均值，不同疲劳症状的变异系数；

4)分别测量观看立体深度运动前后即疲劳前后诱发被试者的脑电波，并提取出八个脑区的三个基本频段：θ(4–8Hz)、α(8–13Hz)、β(13–22Hz)，及其比值：(α+θ)/β、α/β、(α+θ)/(α+β)；

5)借助双因素方差分析、配对t检验及灰色关联度分析对各个脑区指标在不同疲劳状况下进行比较分析，并与主观评价结果比较，得出衡量立体深度运动引发的立体视觉疲劳最有效的脑电指标：顶区的脑电指标α/β。