CN105395197A - 旋转偏差对立体观看舒适度影响的脑电分析方法 - Google Patents

Abstract

本发明涉及一种旋转偏差对立体观看舒适度影响的脑电分析方法，包括：选取内容符合实验要求的左右格式的立体图像对，保持左视图不变，右视图分别旋转不同角度作为测试序列；对被试进行测试练习；记录被试的脑电信号；对被试的脑电信号进行离线处理，分析不同区域之间的差异；提取ERP成分，根据测试图像类型将其分类，分析不同偏差等级之间的幅值差异性；对不同偏差等级的ERP波形幅值进行统计分析；结合分析脑电信号的客观评价结果与主观评价结果，通过分析得出立体内容观看舒适度的旋转偏差阈值，获取立体图像舒适度的不同旋转偏差等级的最终评价结果。本发明可以为建立基于ERP的立体图像观看舒适度客观评价方法提供基础。

Description

旋转偏差对立体观看舒适度影响的脑电分析方法

技术领域

本发明将事件相关电位(EventRelatedPotentials，ERP)技术应用于评价由旋转偏差引起的立体观看舒适度影响。

背景技术

随着3D(ThreeDimensional)成像技术的发展，立体视频的制作在视觉与信息处理领域已经掀起了研究热潮。目前3D立体视频正处于由实验室研究迈向产品化、市场化的关键时期。视觉舒适度的可行范围是促进其市场发展的重要因素之一^[1-2]。为了推进立体产品的市场化，了解立体显示的相关原理及产生不舒适的相关因素尤其重要，其相关内容已经成为国内外的研究焦点。诱发观看立体产品不舒适的因素有多种，如调节与汇聚矛盾、视差分布、双目不匹配、深度不一致以及认知矛盾。立体产品的制作原理使得左右视图的不协调会引发观看者双眼焦点调节和辐辏的冲突，这是引起不舒适度的主要原因^[3-4]。

立体内容的评价方法可以分为主观评价方法和客观评价方法两种。主观评价方法的时间分辨率相对较低，无法同步地对生理以及心理信息进行反馈，加上被试对于立体信息的感知质量差异较大，主观臆断甚至会致使实验结果与事实相悖。针对主观评价方法的局限性，以及解决视觉疲劳因素的影响，出现了各种结合人类视觉特性的客观评价方法，比如测量生物信号的方法，但是这种方法受限于被试的疲劳状况。在此基础上的改进客观评价方法如利用生物电信号的事件相关电位(ERP)、稳态视觉诱发电位(SSVREP：Steady-statevisualevokedpotential)以及核磁共振(FMRI:Functionalmagneticresonanceimaging)等方法。脑电信号因为不受外界因素影响，能够忠实地记录观看者的真实反映，而具有较高的准确性。事件相关电位具有高时间分辨率，可以连续记录被试观看立体内容时的脑电信号。考虑设备性价比，实验复杂度等因素，本发明选取ERP研究左右视图旋转偏差对于观看舒适度的影响。

采用sidebyside格式的3D图像作为研究样本，人们通过左右眼对样本双边信息的独立感知，经过大脑对视觉信息的接收、分析、处理得出图像的深度信息，从而得到图像的立体感觉[5-6]。针对影响立体产品观看舒适度的旋转偏差指标问题，调整左右视图的旋转角度，得到具有定量的旋转偏差指标的立体视图作为测试图像。

事件相关电位，即对特定的感知(视觉、听觉、触觉等)器官施加特定的实验刺激时，所引起的生理电信号的变化^[7]。ERP具有波形及潜伏期恒定的重要特征，因此可以从随机变化的自发脑电(EEG)信号中将其提取出来。应用随机信号的基本原理，依据ERP信号潜伏期恒定及波形不变性，获取预期的事件相关电位。

[1]KortYAW,IjsselstenijnWA.RealityCheck：Theroleofrealismreductionusingmediatechnology[J].CyberPsychology&Behavior,2006,9(2):230-233.

[2]WilliamAM,BaileyDL.StereoscopicVisualizationofscientificandmedicalContent[A].IEEEInternationalConferenceone-Science[C].Boston,theUnitedStates,2008:319-320.

[3]LambooijM,FortuinM,HeynderickxI,etal.Visualdiscomfortandvisualfatigueofstereoscopicdisplays:areview[J].JournalofImagingScienceandTechnology,2009,53(3):30201-1-30201-14.

[4]LambooijM,IJsselsteijnWA,HeynderickxI.Visualdiscomfortof3DTV:Assessmentmethodsandmodeling[J].Displays,2011,32(4):209-218.

[5]YanoS.Experimentalstereoscopichigh-definitiontelevision[J].Displays,1991,12(2):58-64.

[6]PastoorS,M.3-Ddisplays:Areviewofcurrenttechnologies[J].Displays,1997,17(2):100-110.

[7]WeiJinghan,LuoJiayue.Event-relatedpotentialsprincipleandTechnology[M].Beijing:ScienceandTechnologypress,2010:68-73.

[8]EskiciogluAM,FisherPS.Imagequalitymeasuresandtheirperformance[J].Communications,IEEETransactionson,1995,43(12):2959-2965.

[9]KuzeJ,UkaiK.Subjectiveevaluationofvisualfatiguecausedbymotionimages[J].Displays,2008,29(2):159-166.

[10]LiHCO,SeoJ,KhamK,etal.Measurementof3Dvisualfatigueusingevent-relatedpotential(ERP):3Doddballparadigm[C]//3DTVConference:TheTrueVision-Capture,TransmissionandDisplayof3DVideo,2008.IEEE,2008:213-216.

[11]WangG,BingoJ.Three-dimensionalobjectrecognitionlearningaltersanearlyERPcomponentofN1[J].ClinicalNeurophysiology,2010,121(9):1473-1480.

[12]赵仑,ERPS实验教程[M],南京：东南大学出版社,2010：62-78.

[13]SchollerS,BosseS,TrederMS,etal.TowardadirectmeasureofvideoqualityperceptionusingEEG[J].ImageProcessing,IEEETransactionson,2012,21(5):2619-2629.

发明内容

本发明的目的是，提供一种旋转偏差对立体观看舒适度影响的脑电分析方法。本发明以旋转偏差作为刺激进而从EEG信号中提取ERP信号，建立具有旋转偏差的立体图像引起人的不舒适度性与脑电信号之间的关联。本发明的技术方案如下：

本发明为了达到上述目的，是通过下面所述技术方案来实现：

一种旋转偏差对立体观看舒适度影响的脑电分析方法，包括下列步骤：

1)选取内容符合实验要求的左右格式的立体图像对，保持左视图不变，右视图分别旋转0°，0.36°，0.72°，1.08°与1.44°作为测试序列；

2)选取符合实验要求的被试，对被试进行测试练习；

3)记录被试的脑电信号；

4)对被试的脑电信号进行离线处理，分析不同区域之间的差异；

5)提取枕区，枕顶区的ERP成分，根据测试图像类型将其分类，分析不同偏差等级之间的幅值差异性；

6)对不同偏差等级的ERP波形幅值进行统计分析；

7)结合分析脑电信号的客观评价结果与主观评价结果，通过分析得出立体内容观看舒适度的旋转偏差阈值，获取立体图像舒适度的不同旋转偏差等级的最终评价结果。

本发明可以为建立基于ERP的立体图像观看舒适度客观评价方法提供基础。

附图说明

图1实验的立体测试图像(右视图)其中，(1)为Snow(雪景)；(2)Horse(马)；(3)Windmill(风车)

图2旋转偏差的不协调检测曲线

图3脑电地形图

图4不同测试图像不同偏差等级的波形图，(1)测试图像“Snow”诱发的平均ERP信号；(2)测试图像“Horse”诱发的平均ERP信号；(3)测试图像“Windmill”诱发的平均ERP信号

图5ERP信号的总平均

图6不同旋转等级的脑空间地形图，(a)0.00°；(b)0.36°；(c)0.72°；(d)1.08°；(e)1.44°

图7ERP信号平均幅值统计

具体实施方案

101：实验平台的搭建及被试的准备工作：

ERP实验平台包括立体显示器(刺激呈现装置)、Neuroscan信号放大器、高性能计算机2台、32导电极帽(Ag-AgCl电极，根据国际10-20系统分布)、偏光式立体眼镜。图1所示为正在进行实验的被试与实验平台及环境。

数据采集由32导联系统的Nueroscan公司脑电设备完成，电极帽(Ag-AgCl电极)为国际标准的10-20格式。以1000HZ的采样率记录EEG(Electroencephalogram)信号，选取NueroscanSuAmps放大器与0.05-100HZ带通滤波器对本实验数据进行放大滤波处理。将A2电极放置在右侧乳突处作为记录脑电数据的参考电极。为了更好的分析及处理数据，左右水平眼电(记录被试斜视情况)贴置在左右眼角角2cm处，上下垂直眼电(记录被试眨眼情况)贴置在左眼上下2cm处与待测数据同时被记录。为了保证实验结果的准确性，需要注射适量导电膏确保每个电极的电阻低于5kΩ。

为了消除人眼视觉系统的辐辏及其自动调节的冲突，在本实验中采用平均亮度值偏高的立体图像测试序列。实验过程中让被试坐在距离显示屏中心的正前方3倍距离处。立体图像的测试序列包含3幅左右视图具有不同旋转偏差等级的图像(分别为Snow、Horse、Windmill)，分辨率为1366*768，如图1所示。根据图像失真处理对测试图像的右视图旋转0°、0.36°、0.72°、1.08°和1.44°，并根据旋转参数指标设置五个等级。图1所示为本发明所选取的立体测试图像。

由于快门式3D显示器存在容易导致观看者视疲劳，并且其刷新频率低等问题，本实验选取32英寸长虹立体电视(不闪式，分辨率1366*768)呈现立体图像。实验正式开始前要进行实验内容训练，让被试对标准图像序列以及刺激序列进行初步的感知。保证被试在屏高3倍距离处，并佩戴偏光式3D眼镜，此时被试水平观看视角33.97°，垂直观看视角19.10°。通过“练习序列”，列出实验中全部刺激序列，让被试熟悉实验内容。在该研究中将实验划分为450个试次(每一试次指一实验刺激序列开始至下一实验刺激序列开始的全部流程)。每一试次如图1实验流程图所示：(1)在每试次开始后500ms，要求被试注视屏幕中央事先设定的白色亮点，目的是将被试注意力集中于该试次并使双眼汇聚。(2)点击鼠标后首先在屏幕上呈现该刺激的标准3D图像，呈现时间为500ms；随后以伪随机方式呈现已划分的五种偏差等级的一幅刺激图像，呈现时间为500ms。(3)该试次最后呈现白色圆点，被试被要求立即对立体测试图像的舒适性进行按键判断，鼠标左右键分别表示舒适与不舒适。待被试做好判断点击鼠标后，实验进入下一个试次。若被试感觉疲劳、不适等症状，可在呈现圆点进行判断后稍作休息。本实验包含的5种旋转偏差指标被均等分为90个试次。

102:脑电数据的记录与处理

为了得到被试对测试图像舒适与否的判断结果，在采集被试观看不同偏差等级3D图像脑电信号的同时，被试的行为数据也被记录并保存。整个实验过程需要在噪音较小的环境中进行，以免被试受外界因素影响导致脑电数据异常。

将实验记录的脑电信号导入SCAN与eeglab软件进行离线处理。首先对水平眼电超过阈值以及因被试主观因素而引起的漂移过大的EEG数据进行剔除。然后以垂直眼电电平为基准祛除眨眼对EEG信号的影响。第三步以试次的持续时间为基准对实验数据进行分段处理同时矫正偏离基线的脑电数据。第四步选取0.01～35Hz的带通滤波器祛除伪迹大于75μV的脑电信号。最后根据刺激的偏差等级对ERP信号进行叠加平均，滤除ERP信号频带外的噪声成分，得到ERP信号对其分析处理。

103：行为数据分析

当行为数据超过75％时，通常认为此时的立体图像旋转偏差等级已经使观看者不舒适。图2为旋转偏差的不协调检测率曲线，蓝色、红色、黑色曲线代表图名为Snow、Horse、Windmill的测试图像。观察该图不难得出，曲线随着偏差等级的增加而增大，并且上升区间集中体现在0°～0.72°之间。并且在0.72°时，其不协调率已经在80％左右。在0.72°以后，不协调率趋近100％。Snow测试图像与Horse及Windmill测试图像的实验结果在0.36°时稍有不同，原因可能是图像内容不同而引起行为数据的结果差异。通过对行为数据分析得出，在最佳观看距离处，针对一般情况的旋转偏差应小于0.72°的初步结论。

104：ERP分析

采用Neuroscan32脑电记录的处理系统，对实验数据采集分析。图3为实验刺激诱发ERP信号幅值最大处(2)以及前100ms(1)、后100ms(3)脑空间地形图的分布。观察图2可知，与实验刺激相关的N270成分主要集中在枕(颞)区以及枕顶区。主要包含脑电采集系统的O1、O2、Oz以及Pz电极所记录的区域。这也与大脑枕区是视觉神经的集中区域相符。

选取N270幅值较大出的电极O1、O2、O3，即通过空间分析得到的活动最强点所对应的电极的ERP进行叠加平均，作为枕区的ERP。图4为测试图像“Snow”、“Horse”和“Windmill”的旋转偏差在大脑皮层枕区诱发的平均ERP信号。通过观察不难发现，曲线在0～500ms的ERP波形没有明显差异，这是由于在这个时间内呈现给被试的图像为相同的测试图像，都是无旋转偏差的测试图像。此时大脑对相同的测试图像进行识别处理，呈现出近似一致的电位波形。在500～790ms之间不同旋转偏差等级的测试图像诱导出差异较大的ERP波形N270，并且随着旋转偏差等级的增加，信号幅度明显增大。无偏差以及0.36°的偏差等级对应的N270成份的峰值幅度不明显，但随着偏差等级的提高，当左右视图的偏差达到0.72°、1.08°以及1.44°时，N270成份的幅度逐级增大。

对O1、O2、Oz电极的ERP信号进行总体叠加平均后得到图5所示波形。在无偏差等级与旋转偏差等级为036°时，诱发ERP波形的幅值较小。当偏差等级增大到0.72°时，出现幅值为-1.98μν的N270成分。偏差等级增加，诱发的ERP成分幅值会随之增大。进一步统计分析得出，潜伏期随着偏差等级增加而降低。

对各个测试图像不同偏差等级诱发的ERP进行统计分析，得到了测试图像诱发的N270成分的潜伏期与幅值(见表1)。

表1测试图像不同偏差等级诱发ERP波的潜伏期与幅度(x±s，置信水平取95％)

本发明针对左右格式立体产品在播放过程中可能出现的旋转偏差结合ERP技术对其进行客观评价。为了得到合适的旋转偏差阈值，选取内容不同的左右格式立体图像进行研究。通过对各个测试的图像的主观行为数据分析，当左右视图旋转偏差小于0.72°时，各被试平均检测率小于55％(0.00°平均检测率为3.1％，0.36°平均检测率为53.8％)；当旋转偏差大于0.72°时，平均检测率增加至90％以上(0.72°平均检测率为96.3％,1.08°平均检测率为98.9％,1.44°平均检测率为99.1％)。这说明大脑对旋转偏差大于0.72°的左右格式图像反映强烈，被试可以感知旋转偏差引起的不舒适感。

N270成份是在S1～S2匹配任务中诱发出的一个负成分。当被比较的标准序列与测试序列之间存在冲突时，可以在测试序列S2呈现的270ms附近检测到N270成分。由于N270成分仅由存在差异的刺激对所诱发，由此可见N270成份可以作为检测大脑对冲突的反映的指标。一对数字彼此间的数值冲突可以诱发出N270成分，由刺激物之间的颜色、形状、朝向等冲突同样可以。N270可以由外来刺激(S1与S2)之间的特征引出，并且可以由刺激序列与人脑内源信息之间的冲突诱发^[12]。由脑电地形图分布得出旋转偏差所诱发的N270成分最先出现在枕区，其后广泛分布，并随着偏差等级的提高，ERP信号幅度也随着等级的提升逐级递增。这表明人脑对高等级刺激反应强烈。

事件相关刺激越发能够引起被试的注意，ERP信号的潜伏期越短，幅值越大^[13]。表明大脑对旋转偏差大的立体图片会募集更多神经元参与，导致视觉神经活动增强，因此诱发波形幅值增高，潜伏期缩短。本发明实验结果中，旋转偏差等级为0.72°时诱发的ERP波形幅值远高于低偏差等级诱发的ERP幅值，并且潜伏期会随着偏差等级的增大而缩短。说明左右格式立体图像的旋转偏差为0.72°时比低等级偏差更能引起大脑注意，使更多神经元受调配参与了信息冲突的加工过程。当旋转偏差等级小于0.72°时，各测试图像诱发的平均ERP幅值低于2.5μν；当旋转偏差等级大于0.72°时，各测试图像诱发的平均ERP幅值高于4.0μν。对各偏差等级的ERP信号平均幅值进行统计分析，得到旋转偏差等级小于0.72°时与偏差等级为0.72°、1.08°以及1.44°之间均具有极显著差异(p<0.01)，0°与0.36°偏差等级之间无显著差异(p>0.05)；0.72°偏差等级与1.44°偏差等级无显著差异(p>0.05)；1.08°偏差等级与1.44°偏差等级无显著差异(p>0.05)。

通过对ERP结果分析，可以得出N270在枕区有最大反应。行为数据分析与ERP分析结果一致，我们得出在最佳观看距离处旋转偏差应控制在0.72°以内。

本发明由于采取以上技术方案，其具有以下优点：

(1)本发明搭建的实验平台，是被试可以全身心投入实验当中，能够最大程度的减少噪声干扰，有利于采集实验所需的脑电信号。

(2)本发明设计的实验包含多种旋转偏差等级的立体图像测试序列，能够更加准确的测量出人眼观看舒适度的旋转偏差阈值，对立体图像舒适度评价提供精准的数据。

(3)本发明将ERP技术应用于客观评价，由于ERP波形具有高时间分辨率以及波形恒定等特点，对立体图像进行舒适度评价，比传统的客观评价方法具有刚高的可靠性及鲁棒性。

(4)本发明结合被试的主观评价和客观评价结果，认为右视图旋转0.72°是引起立体观看舒适度的阈值，当右视图尺寸旋转超过0.72°，则会引起立体观看不舒适。

Claims (1)

1.一种旋转偏差对立体观看舒适度影响的脑电分析方法，包括下列步骤：

1)选取内容符合实验要求的左右格式的立体图像对，保持左视图不变，右视图分别旋转0°，0.36°，0.72°，1.08°与1.44°作为测试序列；

2)选取符合实验要求的被试，对被试进行测试练习；

3)记录被试的脑电信号；

4)对被试的脑电信号进行离线处理，分析不同区域之间的差异；

5)提取枕区，枕顶区的ERP成分，根据测试图像类型将其分类，分析不同偏差等级之间的幅值差异性；

6)对不同偏差等级的ERP波形幅值进行统计分析；

7)结合分析脑电信号的客观评价结果与主观评价结果，通过分析得出立体内容观看舒适度的旋转偏差阈值，获取立体图像舒适度的不同旋转偏差等级的最终评价结果。