CN112137614A

CN112137614A - 基于脑电的立体视频舒适度相关的运动特征识别方法

Info

Publication number: CN112137614A
Application number: CN202010894312.7A
Authority: CN
Inventors: 沈丽丽; 陈雄飞; 侯春萍
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2020-12-29

Abstract

本发明涉及一种基于脑电的立体视频舒适度相关的运动特征识别方法，包括以下步骤：)主观实验：找出运动场景中目标运动加速度与舒适度的关系，得到可用于EEG实验的两类准确材料，一类为舒适的加速度运动场景，另一类为不舒适的加速度运动场景；EEG实验：对于被试，采集两类运动场景的EEG信号并进行预处理；通道筛选：基于经过预处理的EEG信号，利用基于CSP权重的l1范数方法和SVM进行通道选择；特征提取：对EEG信号进行分解得到一系列不同频带的窄带IMF，对IMF进行筛选，对信号进行重构，重构后通过CSP提取空域特征；分类：利用SVM，进行立体视频的两类运动场景的分类。

Description

基于脑电的立体视频舒适度相关的运动特征识别方法

技术领域：

本发明涉及基于视觉认知的脑电信号的特征提取及分类算法领域。

背景技术：

随着3D技术的逐渐发展，立体显示逐步进入人们的生活，3D显示带来的强烈感和沉浸感是2D影像无法比拟的，3D时代已经到来。然而，观看立体显示会给观看者带来一些不良反应：头痛，恶心和视觉疲劳等。因此，评估观看者舒适与否在立体显示技术的发展中尤为重要。对立体视觉舒适度评价的方法分为主观评价和客观评价，主观评价依据实验设计，但常受实验设计者和被试的影响；客观实验依据算法和生物信号，脑电(electroencephalography，EEG)信号是大脑内部神经细胞活动在大脑皮层的综合反映，具有非入侵，实时性等优势，故用EEG信号研究视觉认知已经成为了国际上的大趋势。但是EEG信号极其微弱且噪声很多，提取任务相关的有用信息是难点。时域分析法，频域分析法和空域分析法是EEG信号分析常用的方法，时域分析法适合特征明显的EEG信号，故一般情况下EEG信号的分析使用频域和空域方法，其中，小波变换，傅里叶变换，熵，以及空域共空间模式(Common Spatial Pattern，CSP)等方法都是常用方法。为了区分两类匀加速深度运动下EEG信号的可分性，需提出一种EEG信号特征提取与分类的模型，通过模型得到的最终分类准确率来说明两类信号的可分性，得到更合理的实验结果。

发明内容：

本发明的目的是提供一种立体视频舒适度相关的运动特征识别方法。本发明技术方案如下：

一种基于脑电的立体视频舒适度相关的运动特征识别方法，包括以下步骤：

(1)主观实验：找出运动场景中目标运动加速度与舒适度的关系，得到可用于EEG实验的两类准确材料，一类为舒适的加速度运动场景，另一类为不舒适的加速度运动场景；

(2)EEG实验：对于被试，采集对两类运动场景的EEG信号并进行预处理；

(3)通道筛选：基于经过预处理的EEG信号，利用基于CSP权重的l1范数方法和SVM进行通道选择，选择使分类率最大的通道组合进行后续处理；

(4)特征提取：对EEG信号进行分解得到一系列不同频带的窄带IMF，对IMF进行筛选，对信号进行重构，重构后通过CSP提取空域特征；

(5)分类：利用SVM，进行立体视频的两类运动场景的分类。

附图说明：

通过附图，可以使本发明的实施步骤及优点更加凸显，也更容易地理解本发明的流程与操作。

图1为本发明采用的PMEMD-2JSD-CSP模型算法流程；

图2为EEG实验流程；

图3为被试s分解后的IMF3～6边际谱(a)舒适试次(b)不舒适试次；

表1为主观实验中的运动模式；

表2不同被试的最优通道组合及对应的最大分类率；

表3被试s的IMF3～9的有效因子平均值及标准差；

表4分类结果；

具体实施方式：

为使本发明的方案更加清楚明了，便于实施，以便于更加凸显本发明的优点及目的，下面结合附图对本发明实施方案作进一步地详细阐述与说明。

101：主观实验及脑电实验

主观实验共15名右利手(6女，9男)大学生参与实验，脑电实验共5名右利手(2女，3男)大学生参与实验，年龄均在23～26之间。对每个被试进行严格检查，确保被试均具备正常视力及立体视觉。被试不得在试验前24h饮酒、抽烟、喝咖啡、服用药物等。实验应在一个较暗淡且安静的环境中进行，以免引入干扰。

1)主观实验

实验素材由Maya制作。刺激场景中运动目标为深灰色球体，在深度方向上做周期性匀加速运动，加速度a＝0,1,2,3,4,5,6m/s²，平均速度为2m/s，单次运动时长为0.6s。运动模式如表1。整个实验包括4个子部分，每部分之间有三分钟休息。每个子部分包括70个试次，试次时长为6s，其中七种运动模式各10次，且采用随机呈现的方式，每一试次呈现后被试进行舒适度判断(分数1～5,1为非常舒适，5为非常不舒适)，判断之后进入下一试次。

模式S1-S7条件下主观判断分数:4.75,4.52,3.98,3.19,2.41,1.64,1.23。可以看出加速度超过4m/s²时，将引起被试的不舒适感；加速度低于2m/s²时，则为舒适。因此我们选择加速度为1、1.5m/s²的运动模式作为EEG实验中标签为舒适类别的实验素材，选择加速度为5.5、6m/s²的运动模式作为标签为不舒适类别的实验素材。

2)EEG实验及信号预处理

EEG实验包括10个子部分，子部分之间休息2min。每个子部分包括20个试次，试次时长为4.2s，子部分中运动模式数量均匀且随机呈现，试次之间有2s停顿。实验流程如图2。

脑电数据采集采用国际10-20系统，嵌入式34导脑电帽与Neuroscan系统。参考电极使用左耳电极A1。采样频率为1000Hz。对EEG进行预处理：1～30Hz的带通滤波及利用独立成分分析去处信号伪迹。

102：通道筛选

多通道EEG信号会带来噪声和冗余，故通道优化对于后续信号处理是非常必要的。本发明利用基于CSP权重的l1范数方法进行通道选择，得到被试的通道排序，选择前n个通道组合，通过CSP和SVM得到30个分类率，选择使分类率最大的通道组合进行后续处理。被试的通道组合结果如表2。

103：特征提取及分类

1)PNA-MEMD

经验模态分解(EMD)适用于非平稳非线性信号的时频分析，可将信号分解为多尺度IMF和残差信号。PNA-MEMD利用高频带限噪声代替NA-MEMD中的白噪声，分离了干扰成分且对残留信号的分解不会造成干扰，由于添加的白噪声去掉了很多无用频率成分，故IMF成分数量相比NA-MEMD明显减少，PNA-MEMD算法的具体步骤如下：

1.生成m通道的随机高斯白噪声信号W(t)＝{w₁(t),w₂(t),…,w_m(t)}，w(t)中信号长度均为T；

2.对m通道白噪声进行多元经验模态分解(MEMD)，分解后得到的第二个IMF分量IMF2作为PNA-MEMD叠加的噪声，记为S(t)＝{s₁(t),s₂(t),…,s_m(t)}；

3.将2中产生的m通道噪声S(t)与N通道EEG输入X(t)结合，生成信号Y(t)，其通道数为p＝m+N；

4.对Y(t)进行MEMD分解。

本发明使用四通道高斯白噪声，长度为4200点，均值为0，方差为输入信号方差的10％将白噪声进行MEMD分解，得到的四通道IMF2作为独立噪声与EEG结合得到混合信号，使用MEMD对其进行分解得到IMF分量。

为了探究IMF分量包含哪些频带，需观察IMF分量的边际谱，对IMF进行希尔伯特变换，计算IMF分量的边际谱。图3为被试s的IMF3～6的平均边际谱，3(a)为单次舒适试次，3(b)为单次不舒适试次。观察被试s分解后的IMF3～6边际谱，IMF3几乎包含整个β频段；IMF4包含部分α和β频段；IMF5包含α和θ频段；IMF6包含θ及更低频段。由于视觉认知任务对EEG信号的α，β频段影响较大，对θ频段影响较小，故进行信号重构时要考虑包含α,β,θ频段的成分。

2)基于JSD的IMF筛选

JSD和相对熵用于衡量相同事件空间里两个概率分布的差异情况，JSD是相对熵对称化变形。设两个随机离散变量X,Y，概率分布为P,Q。相对熵和JSD公式如下：

EEG信号经过分解具有多尺度IMF成分，在每个尺度上考虑两种JS散度值：EEG与其多尺度IMF之间的JS散度值，EEG的IMF与噪声的IMF之间的JS散度值。m通道噪声与N通道EEG结合后的信号为Y(t)＝{x₁(t),x₂(t),…,x_N(t),s₁(t),s₂(t),…,s_m(t)}。分解后j尺度的IMF表示为YF_j(t)＝{xf_1j(t),xf_2j(t),…,xf_Nj(t),sf_1j(t),sf_2j(t),…,sf_mj(t)}，信号长度均为L。

有效指标由两部分构成：

1.D^x _ij代表EEGi通道的j尺度IMF分量xf_ij(t)和EEG的i通道的原始信号x_i(t)之间的JS散度值；

2.D^xs _ikj代表了EEG的i通道的j尺度IMF分量xf_ij(t)和噪声k通道的j尺度IMF分量sf_kj(t)之间的JS散度值；

有效因子如下：

α_j＝e_j-es_j (5)

α_j为最终用于筛选IMF成分的有效指标，若e_j越小，es_j越大，则α_j越小，对应的j尺度IMF分量包含的有用信息越多。

本发明提出的自适应筛选准则具体步骤如下:

1.原始EEG信号经过自适应通道选择及模式分解，得到各通道相同数量的IMF分量；

2.将IMF分量分为两个集合，集合H(IMF3～5)包含大量α,β频段，集合L(IMF6～10)包含少量α,θ及更低频段；

3.根据公式(3～5)计算IMF分量的有效指标α_j，在集合H和L中分别进行升序排序；

4.本发明依据最佳分类准确率，IMF选择个数为3。取集合H升序排序后前两个IMF分量IMF_h1,IMF_h2和集合L升序排序后第一个IMF分量IMF_l1；

5.对三个IMF分量按权重相加得重构信号,公式如下：

EEG_r＝IMF_h1+IMF_h2+0.5*IMF_l1 (6)

本发明的筛选准则不仅考虑了α,β频段，也考虑了θ频段等低频频段对于任务的轻微影响。该筛选准则结合排序的机制，可更加清晰地得知任务对EEG信号的何种频带影响更大。为方便显示，只列出被试s的IMF3～9的有效因子平均值及标准差，如表3所示。

3)特征提取及分类

CSP算法使用线性变换将多通道时域信号投影到低维空间的子空间中，使信号的某类别方差最大化且另一类别方差最小化。SVM能较好地解决高维数、小样本等问题。因此本发明采用CSP处理重构信号，SVM对所得特征进行分类。分类时，选用RBF核，使用网格搜索选择其最优参数c和gamma，训练样本和测试样本按150:50的比例随机选取，对测试集进行1000次测试取平均值为最后结果。

104：实验结果

表1为主观实验中的运动模式

表2不同被试的最优通道组合及对应的最大分类率

表3被试s的IMF3～9的有效因子平均值及标准差

表4分类结果

本发明提出的方法记作2JSD，手动筛选IMF3～5和IMF3～4并叠加重构的方法分别记作IMF3+4+5和IMF3+4，三种方法使用相同的数据和参数。分类结果如表4。对于被试2，IMF3+4+5取得最高分类率，对于其他被试，2JSD均取得了最高分类结果，这表明个体差异影响实验结果。2JSD的平均分类率为69.324％，为三种方法中的最高，表明立体视频的匀加速深度运动舒适与否的可分性。

Claims

1.一种基于脑电的立体视频舒适度相关的运动特征识别方法，包括以下步骤：

(5)分类：利用SVM，进行立体视频的两类运动场景的分类。