发明内容
发明目的:本发明的目的在于,宏观上从用户的角度为视频质量服务供应商给出了一个 估计用户可能接受的卡顿现象的极限时长,若出现卡顿现象的关键在于下游的设备上,则也 为故障的消除提供了一个评价方法。
本发明的特征在于,视频卡顿极限值是指从各卡顿时段开始或结束时刻起到大脑皮层中顶 叶或枕叶区产生第一个β波这段时间在不同被试者处于同一卡顿时段内时的最大值,所述第一个 β波是指在卡顿开始时刻由专注视频时的α波转换到情绪沮丧时刻的β波时产生的第一个β波, 或者是指在卡顿结束时刻被试者由平静等待的α波转换到情绪亢奋的β波时产生的第一个β波, 所述第一个β波偶尔还包括电磁屏蔽实验室内由仪器产生的电磁干扰或/和当受试者疲劳时由大 脑皮层上的中前额区发往眼睛神经元执行眨眼动作的脑电波在大脑皮质中顶叶或/和枕叶区诱导 的干扰电位,这种情况不能排除,这时所述的第一β波往往是mV级的,比正常时产生的μV级 的脑电波要大的多,这种第一β波的测量方法是在一个基于脑电波的视频卡顿极限值测量系统 中依次按以下步骤实现的:
步骤(1),构造一个基于脑电波的视频卡顿极限值测量系统,以下简称系统,包括:视频观 看客户端电脑、脑电信号采集仪和数字信号处理器DSP:
脑电信号采集仪,采用德国BRAIN PRODUCTS公司的actiCAP Xpress Twist产品,其中包括: 脑电波EEG电极帽,以下简称电极帽,64通道EEG放大器和脑电信号记录仪,其中:
电极帽,包含64个actiCAP主动电极,以国际10-20标准分布,地电极在FP1和FP2之间,FP1和FP2是大脑皮层上的额叶,
64通道EEG放大器,其附设的模拟滤波器的截止频率为0.531~70Hz,
脑电信号记录仪,采样频率为500Hz,
步骤(2),在所述的电磁屏蔽实验室内依次按以下方法测量所述视频卡顿极限值:
步骤(2.1),数据处理器DSP形成含有不同时长卡顿的合成视频,存储在视频观看客户端 电脑中
步骤(2.1.1),向所述数据处理器DSP输入BBC动物纪录片,
步骤(2.1.2),从所述BBC动物纪录片中设定片段个数、设定片段时长的内容不重复的 多个片段,
步骤(2.1.3),把全部片段按设定的组数均分,每组内的片段数均相等,再从其中任选 一组视频片段为对照组,其余均为测试组,
步骤(2.1.4),对各所述测试组,在视频片段开始播放后的设定时刻,分别随机插入不 同时长的卡顿,构成合成的卡顿视频,输出到视频观看客户端电脑,存储;
步骤(2.2),选定设定数量D的合格被试者,当各人的脑电波处于平静状态下在所述视频 观看客户端电脑上观看所述合成的卡顿视频,逐个作脑电波采集实验,“合格”是指身体条件合 格、大脑皮层和每个电极间的阻抗小于10KΩ以及观看行为符合规范,
步骤(2.3),舍去视频观看专注度不合格的被试者的数据,得到数据合格的被试者的脑电 波数据,
步骤(2.4),EEG数据预处理:
步骤(2.4.1),把合格EEG数据的参考电位改为TP9和TP10信号的平均值,所述TP9、TP10位于大脑皮层的顶颞区;
步骤(2.4.2),把每位被试者所有片段信号按时序相连;
步骤(2.5),对预处理后的时域信号进行时频分析:
步骤(2.5.1),把每段信号与设定频率范围、设定个数的复Morlet进行卷积,所述复 Morlet小波为复正弦函数与高斯函数的乘积,所述复Morlet小波为其中σt是 高斯函数波形的宽度,σt=c(f)/(2πf),c(f)是每个频率小波的个数,
步骤(2.5.2),把每个时频点的功率P(t,f)归一化,所述每个时频点的功率为卷积后 的复信号的实部与虚部的平方和,归一化的每个时频点的功率dBP(t,f), dBP(t,f)=10log10(P(t,f)/B(f)),B(f)为该信号在距离卡顿(-4)~(-2)秒处的功率 平均值,
步骤(2.5.3),设受试者人数为M,则得到M×N×C个dBP矩阵,dBPm,n,c表示第m人 第n次第c通道的dBP矩阵,m=1,2,…m,…,M,n=1,2,…,n,…,N,c=1,2,…c,…C,C表示电极个数,即 通道数。每次实验包括:卡顿发生时和卡顿终止时的两类dBP矩阵。
步骤(2.5.4),通过求出EEG反应的起始时刻计算出卡顿极限值:
步骤(2.5.4.1),求出无卡顿时的dBP_timeno-stalling矩阵和有卡顿时的 dBP_timestalling矩阵:
其中,通道范围包括23个电极,共有C=23个:
顶中央,CP:1~8,CPz,共9个电极;
顶,P:1~8,Pz,共9个电极;
顶枕,PO:3~4,7~8,POz,共5个电极
频率范围,14~30Hz,
F为所选频率范围的采样点数,f=1,2,…,f,…,F,
C是通道数,C=23,
dBPstalling(c,t,f)是每一次卡顿发生时刻或卡顿终止时刻的时频变换后各通道位于 时刻t,频率f的功率幅值,
dBPno-stalling(c,t,f)是无卡顿时刻的时频变换后各通道位于时刻t,频率f的功率幅 值,
步骤(2.6.4.2),在设定的重复分组次数下,对有卡顿样本和无卡顿样本进行双边置 换检验,求出卡顿发生后首个两组样本差异显著性p<0.05的时刻,设定为脑电波反应的起始时 刻。
发明效果:在移动视频播放过程中本发明为在卡顿现象发生时用户负面情绪反应时间提 供了仅供参考的极限值,同时也为消除卡顿故障的评价标准提供了一个最低的时间标准。
具体实施方式
本发明提供了一种基于脑电波的视频卡顿极限值的测量方法,为基于脑电波监测用户在 观看视频时遇到卡顿现象的情绪反应提供监测方法。本发明的技术方案主要包括如下四个部 分:卡顿视频合成、脑电信号采集、数据处理和获得极限值等。其中,脑电信号采集部分, 包括视频观看和脑电信号采集装置两个模块。
本发明的四个部分分别完成如下功能:(1)在电磁屏蔽的实验室环境下,给被试者呈现 存在不同时长卡顿的合成视频材料;(2)在被试者观看该合成视频材料的同时,将对其脑电 信号进行监测与记录;(3)将对脑电信号进行时频分析,在频域上观察信号随时间的变化; (4)通过统计检验手段,检测出特征信号出现显著性差异时的卡顿时长。
本发明的第一部分:卡顿视频合成,主要是准备本发明测试素材的过程。由于想要获得 人在观看视频时,对视频卡顿的脑电信号反应,所以需要尽量减少测试视频内容本身对脑电 信号影响的干扰。因此,合成的视频内容选择需要满足以下两个条件:(1)合成的卡顿视频 不能具有深层次语义或情节理解的内容;(2)合成的卡顿视频尽可能避免各类情绪的诱导。
本发明的第二部分:脑电信号采集,主要是在被试者观看本发明的第一部分准备的合成 视频材料时,通过脑电采集装置采集相应脑电信号的过程,包括视频观看和采集装置两个模 块。该部分需要在电磁屏蔽实验室的环境下,进行部署本发明的相应测试设备和仪器,以及 观看相应视频。
进一步地,所述的视频观看模块,主要为选择特定的被试者,按特定的要求,观看本发 明的第一部分准备的合成视频材料的过程,需要注意如下事项:(1)所有被试者要求具有正 常或矫正至正常的视力,也没有神经学疾病的历史;(2)所有被试者在正式实验前,首先需 要洗头以除去头皮上的油脂;(3)电磁屏蔽室内应保持安静,室内亮度和温度也要求调到令 被试者感到适宜为佳;(4)被试者单独在电磁屏蔽室进行实验前,首先对其进行注意事项讲 解,向被试者说明实验过程中不能出现的动作以及尽量少出现的动作,包括肢体的大幅度活 动,重度眨眼或咬牙等会产生强烈肌电信号的动作,以避免实验过程中脑电信号被污染。(5) 使用美国NBS公司开发的功能强大、可编程的实验开发和控制的心理学专用系统软件 Presentation(版本号:19.0)来播放合成视频片段。
进一步地,所述的采集装置模块,主要包括EEG电极帽、EEG放大器和上位机EEG显示 软件等三部分组成。主要根据使用需求选择目前世界上科研机构常用的电极帽制式,以能够 达到满足测量精度的要求。对于每个被试者脑电信号采集过程来说,观看结束后,将从所有 视频片段中随机选取若干个,在视频片段播放完毕后,向被试者提出有关视频片段中内容的 问题。问题均是以“是否出现过某动物?”的形式向被试者呈现,被试只需要客观地回答“是 /否”即可。设置问题的目的是保持被试者观看视频的专注度。将片段大致平均分为6组依 次播放。每组视频片段播放完毕后,被试有3分钟左右的休息时间。
本发明的第三部分:数据处理,包括EEG数据预处理、时频分析等两个模块。该部分的 首要任务是,将根据采集结束时问题反馈的正确率来判断该被试者是否认真实验,以确保实 验数据的有效性,无效数据将直接舍弃。
进一步地,所述的EEG数据预处理模块,在观看视频采集脑电信号期间,将全程记录被 试者的脑电波信号与问题反馈的信号。EEG数据预处理主要包括如下流程:(1)将EEG数据 的参考电位改变为TP9和TP10信号的平均值;(2)第二,使用0.1Hz高通滤波器(FIR)进行滤波。
进一步地,所述的时频分析模块,主要是将预处理后的时域信号进行基于Morlet小波 变换的时频分析,得到功率幅度谱随时间的变化,处理流程如下:(1)将每段时域信号与1 到30Hz的60个复Morlet小波进行卷积;(2)在每个时频点的功率定义为卷积后复信号实 部与虚部的平方和。(3)将功率归一化。本发明的第四部分:获得卡顿极限值,即通过 求出EEG反应的起始时刻计算得出卡顿极限值。主要包括如下流程:(1)将每段时频分析后 的信号按照β波段频率范围和顶叶、枕叶通道范围取平均,得到无卡顿和有不同卡顿对应的信号;(2)将每个被试对应的所有无卡顿信号取平均值,所有有卡顿信号取平均值,这样每个被试都有这两个一维信号;(3)对每个时刻的卡顿样本和无卡顿样本进行双边置换检验,将卡顿发生后首个两组样本差异显著(p<0.05)的时刻设定为EEG反应的起始时刻。
本发明提供了一种基于脑电波的视频卡顿极限值的测量方法,主要针对视频卡顿现象引 起的用户负面情绪的检测,利用脑电波监测手段,在大脑顶叶、枕叶部分对β波段进行分析, 并运用统计方法检验特征信号出现显著性差异时的时间约为350ms,即当单次卡顿时长超过 350ms时,用户会产生明显的负面情绪。为基于脑电波监测用户在观看视频时遇到卡顿现象 的情绪反应提供监测方法。
下面结合附图,对本发明的具体实施方式说明如下:
本发明主要包括卡顿视频合成、脑电信号采集、数据处理和获得极限值等四个部分,如 图1所示为本发明的系统组成框图。其中,脑电信号采集部分,包括视频观看和脑电信号采 集装置两个模块。本发明的四个部分分别完成如下功能:(1)在电磁屏蔽的实验室环境下, 给被试者呈现存在不同时长卡顿的合成视频材料;(2)在被试者观看该合成视频材料的同时, 将对其脑电信号进行监测与记录;(3)将对脑电信号进行时频分析,在频域上观察信号随时 间的变化;(4)通过统计检验手段,检测出特征信号出现显著性差异时的卡顿时长。
在准备实施本发明之前,相关技术人员,前提要在电磁屏蔽实验室的环境下,部署本发 明的相应测试设备及仪器。
实施本发明的第一部分:卡顿视频合成,是本发明得以顺利实施的一个关键环节,主要 通过在视频片段里,插入一定的卡顿时长,即通过在卡顿起始时刻开始重复前一帧视频,直 到卡顿结束时刻重新播放卡顿后相应的帧视频来实现,主要流程如下:
(1)依据发明内容的技术方案部分,合成的视频内容选择需要满足的两个条件,本实 施方案中,被合成的视频源选择动物纪录片是比较合适的,我们选择了BBC动物纪录片《Life Story》。
(2)从BBC动物纪录片《Life Story》中随机截取170个30秒时长的无重叠片段。
(3)将(2)中的170个视频片段随机平均分为5组,每组34个。
(4)选择其中一组视频片段作为对照组,不做任何处理。另外4组,分别在视频片段开始后的10秒到20秒之间,随机选取一个时刻,插入1秒、或3秒、或5秒、或7秒时长 的卡顿,并将每个片段时长超过30秒的部分舍弃,即总时长重新截成30秒。
(5)将合成后的卡顿视频,存储在供脑电信号采集时用到的视频观看客户端电脑上。
实施本发明的第二部分:脑电信号采集,主要是在被试者观看本发明的第一部分准备的 合成视频材料时,通过脑电采集装置采集相应脑电信号的过程,包括视频观看和采集装置两 个模块。脑电信号采集仪器主要采用德国BRAIN PRODUCTS公司的actiCAPXpress Twist。 EEG电极帽包含64个actiCAP主动电极(Brain Products,Germany),以国际10-20标准 分布。地电极设置在Fp1和Fp2电极之间。64导10-20分布是目前世界上科研机构常用的 电极帽制式,能够满足本专利的测量精度需求。该部分的实施阶段主要包括准备、采集设置、 视频观看与信号采集、采集结束等过程,详细说明如下:
(1)准备
根据测试试验需要,选择14个被试者依次进行实验,所有被试者要求具有正常或矫正 至正常的视力,也没有神经学疾病的历史。每名被试者在正式实验前,首先需要洗头以除去 头皮上的油脂。吹干后,为被试佩戴电极帽并涂抹导电膏,头皮和每个电极之间的阻抗都应 小于10kΩ。同时,在测试时,电磁屏蔽室内应保持安静,室内亮度和温度也要求调到令被 试者感到适宜为佳。
EEG电极帽的电极分布图如图2所示,包括64个电极,按照对应大脑皮层区域位置可 分为:额极(Fp:1-2)、前额(AF:3-4、7-8,AFz)、额(F:1-8,Fz)、额中央(FC:1-6)、 额颞(FT:7-10)、中央(C:1-6,Cz)、颞(T:7-8)、顶中央(CP:1-8,CPz)、顶颞(TP: 9-10)、顶(P:1-8,Pz)和顶枕(PO:3-4、7-8,POz)、枕(O:1-2,Oz)等几个区域。
(2)采集设置
使用64导EEG放大器(BrainAmps,Brain Products,Germany)采集上述64个电极脑电信号,并使用Brain Vision Recorder(Brain Products,Germany)以500Hz采样频率记录脑电信号。将EEG放大器自带的模拟带通滤波器截至频率设置为0.531-70Hz。
随后被试者单独在电磁屏蔽室进行实验,首先进行注意事项讲解,向被试者说明实验过 程中不能出现的动作以及尽量少出现的动作,包括肢体的大幅度活动,重度眨眼或咬牙等会 产生强烈肌电信号的动作,以避免实验过程中脑电信号被污染。然后进行视力检验预实验, 此期间首先确认被试者不具有视力方面问题,其次给出被试者一定的缓冲时间以稳定脑电波 信号。等待被试的脑电波处于平静状态下再开始正式实验。
(3)视频观看与信号采集
使用Presentation 19.0来播放合成视频片段,在被试者观看过程中,使用64导EEG 放大器(BrainAmps,Brain Products,Germany)采集脑电信号,并使用Brain VisionRecorder(Brain Products,Germany)以500Hz采样频率记录脑电信号。将放大器自带的模拟带通滤波器截至频率设置为0.531-70Hz。EEG电极帽包含64个actiCAP主动电极(BrainProducts,Germany),以国际10-20标准分布。地电极设置在Fp1和Fp2电极之间。
(4)采集结束
对于每个被试者脑电信号采集过程来说,观看结束后,将从所有视频片段中随机选取 55个,在视频片段播放完毕后,向被试者提出有关视频片段中内容的问题。问题均是以“是 否出现过某动物?”的形式向被试者呈现,被试只需要客观地回答“是/否”即可。设置问 题的目的是保持被试者观看视频的专注度。将片段大致平均分为6组依次播放。每组视频片 段播放完毕后,被试有3分钟左右的休息时间。
实施本发明的第三部分:数据处理,主要包括EEG数据预处理、时频分析、确定频段和 确定通道等四个模块,详细说明如下:
(1)EEG数据预处理
在观看视频采集脑电信号期间,将全程记录被试者的脑电波信号与问题反馈的信号。在 该阶段的首要任务是,将根据问题反馈的正确率来判断该被试者是否认真实验,以确保实验 数据的有效性,无效数据将直接舍弃,有效性检验后的波形图如图3所示。
EEG数据预处理流程,预处理需分别对每个被试数据操作:
第一,将EEG数据的参考电位改变为TP9和TP10信号的平均值;
第二,使用0.1Hz高通滤波器(FIR)进行滤波;
信号预处理后的波形图如图5所示。
(2)时频分析
时频分析主要是将预处理后的时域信号进行基于Morlet小波变换的时频分析,得到功 率幅度谱随时间的变化,处理流程如下:
首先,将每段时域信号与1到30Hz的60个复Morlet小波进行卷积,其中,复小波为复正弦函数与高斯函数的乘积:σt是高斯函数波形的宽度,f是频率,t是 时间。σt=c(f)/(2πf),c(f)是每个频率小波的波数。
其次,在每个时频点的功率定义为卷积后复信号实部与虚部的平方和。
最后,再将功率归一化:dBP(t,f)=10log10(P(t,f)/B(f)),其中B(f)是段信号 在距离卡顿-4到-2秒功率的平均值。
通过所有人的数据时频分析得到(M(人数)×N(每人的实验次数)×C(电极数量))个dBP矩阵。以dBPm,n,c表示第m人第n次第c通道的归一化功率矩阵。
时频分析后的功率分布图如图6所示,横轴表示时间、纵轴表示频率,颜色色度表示功 率幅度,两条垂直线表示卡顿开始和结束时刻。
实施本发明的第四部分:获得卡顿极限值,即通过求出EEG反应的起始时刻计算得出卡 顿极限值,获得卡顿极值的流程图如图7所示。
首先,将每段时频分析后的信号dBPm,n,c按照所选频率范围(β波,14-30Hz)和通道范围(顶叶、枕叶,CP:1-8,CPz,P:1-8,Pz,PO:3-4、7-8,POz)取平均,得到无卡 顿dBP_timeno-stalling和1、3、5、7秒卡顿对应的五组一维信号dBP_timestalling,即
其中,通道范围包括23个电极,共有C=23个:
顶中央,CP:1~8,CPz,共9个电极;
顶,P:1~8,Pz,共9个电极;
顶枕,PO:3~4,7~8,POz,共5个电极
频率范围,14~30Hz,
F为所选频率范围的采样点数,
C是通道数,C=23,
dBPstalling(c,t,f)是每一次卡顿发生时刻或卡顿终止时刻的时频变换后各通道位于时刻t, 频率f的功率幅值,
dBPno-stalling(c,t,f)是每一次卡顿发生时刻或终止时刻的时频变换后各通道位于时刻t,频 率f的功率幅值,
其次,将每个被试对应的所有无卡顿信号取平均值,所有有卡顿信号取平均值,这样每 个被试都有这两个一维信号,
最后,按时刻对每个时刻的卡顿样本和无卡顿样本进行双边置换检验,
对每时刻有卡顿信号14个被试的样本X={x1,x2,...,x14}与无卡顿信号14个被试样本 Y={y1,y2,...,y14},首先计算统计量其中是样本X的平均值,是样本Y的平均值。接下来,将两组样本混在一起,打乱后随机分成数量为n和m的两组,分别记为X1和Y1。再次计算统计量其中是样本X1的平均值,是样本Y1的平均值, 多次重复打乱、分组、计算统计量的过程,一般重复1000次。这样,得到一组1000个统计 量计算这组统计量的平均值μd和标准差σd,一般来说,这组统计量应服 从平均值μd和标准差σd的正态分布。如果原始的统计量位于这个分布的双尾,则说明两 组样本的均值具有显著差异。具体地,计算若或则两 组样本具有显著差异,
将卡顿发生后首个两组样本差异显著(p<0.05)的时刻设定为EEG反应的起始时刻。计 算卡顿时间极限值的效果图如图7所示,细线是每个个体有无卡顿信号幅值之差,粗线是所 有人的平均值。阴影标出了差异显著的时段。
从卡顿发生或终止时的信号到视网膜成像产生视觉约需75毫秒,大脑处理信息需200 毫秒,经处理的信号传到大脑皮层产生脑电波不到100毫秒,这时,对应于卡顿开始时刻的 是用户的沮丧情绪,对应于卡顿终止时刻的是亢奋情绪,确定发生时刻第一个β波出现的最 迟时刻反映的是开始产生沮丧情绪的最迟时刻,确定用户开始产生沮丧情绪的极限时刻,确 定终止时刻第一个β波出现的最迟时刻反映的是用户沮丧—平静—开始亢奋情绪的最迟时 刻,其意义在于,用户从开始产生沮丧情绪的最迟时刻到用户开始产生亢奋情绪这两者之间 的时长,虽然对于每个被试者是不同的,但对于被试者群体的宏观统计结果反映了虽然卡顿 现象不可能绝对避免,但客观上反映了用户情绪变化的时间过程,也反映了用户对允许卡顿时段多长的一个诉求,由于卡顿现象主要是由基站的硬件设备缺陷造成的,从而为评价基站 消除卡顿现象的效果提供了一个相当宽容的标准,有其现实意义,而卡顿发生时的极限值, 更为研究用户对视频播放过程研究用户的负面情绪提供了客观数据。
参考文献
【1】葛燕.陈亚楠.刘艳芳.李稳.孙向.电生理测量在用户体验中的应用[J].心理科学进 展,2014,22(6):959-967.