CN112568915A

CN112568915A - 基于多任务学习的立体显示视疲劳评估方法、系统、装置

Info

Publication number: CN112568915A
Application number: CN201910859867.5A
Authority: CN
Inventors: 王丹力; 宋亚光; 郑楠
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2021-03-30
Anticipated expiration: 2039-09-11
Also published as: CN112568915B

Abstract

本发明属于模式识别及神经科学领域，具体涉及了一种基于多任务学习的立体显示视疲劳评估方法、系统、装置，旨在解决传统方法以及采集用户的脑电信号并通过深度学习网络评估视疲劳的方法评估过程复杂、准确率低的问题。本发明方法包括：对获取的设定脑电信号数据进行预处理；采用视疲劳等级评估模型计算预处理后的二维矩阵数据对应各视疲劳等级的概率；以概率值最大的视疲劳等级作为获取的视疲劳等级并输出。本发明通过多任务学习模型训练，通过两个任务的交互，中间层共享特征同时具有了分类和重建的能力，模型泛化能力得到提高，在脑电标记数据有限的情况下，提升了立体显示视疲劳评估的准确率。

Description

基于多任务学习的立体显示视疲劳评估方法、系统、装置

技术领域

本发明属于模式识别及神经科学领域，具体涉及了一种基于多任务学习的立体显示视疲劳评估方法、系统、装置。

背景技术

当用户长时间观看3D内容时，会出现恶心、呕吐、出汗等视疲劳症状。这些症状会严重降低用户体验，进而极大的阻碍了3D技术的普及和发展，因此研究一种能够对用户视疲劳状态进行评估的方法十分必要。当前用户视疲劳评估方法主要分为两大类：一是主观方法，其主要是通过被测对象在观看3D内容时的自我评估打分或者填写问卷的方式评估视疲劳；二是客观方法。这种方法通过监测用户在观看3D内容时的生理信号变化情况来对其当前视疲劳状态进行预测。主观方法因为其便于实施的特点成为目前主流的方法，但是存在较明显的缺点。首先就是因为采用用户打分或填写问卷的方法，评估结果容易存在较大的主观偏差从而偏离真正的疲劳状态情况。另外主观评测往往需要用户中断观看体验转向打分或填写问卷环节，进而破坏了用户3D体验的完整性降低了用户体验，存在得不偿失的问题。相比于主观方法，客观方法通过连续采集的客观生理信号评价用户状态，填补了主观方法的上述不足，具备非打断式评估和客观性等特点，因而成为未来用户视疲劳状态评估的发展方向。

在众多的客观生理信号中，脑电信号被认为是最有效和可靠的生理信号，因为所有的感知和高级的认知信息都是在大脑中处理的，大脑中的神经元活动能够反映出连续观看立体显示内容后的疲劳状态。研究人员主要利用机器学习方法分析脑电波信号,评估视疲劳程度。然而传统的手工特征提取方法需要研究人员具备足够的领域专业知识，而且整个特征提取和选择的过程十分耗时和复杂。与此同时由于人类本身的局限性，手工提取的特征无法在某些任务上具备良好的泛化性能。

近两年，部分研究人员将深度学习方法应用于脑电信号分类任务中并取得了不错的效果。虽然这些方法都有某种程度上的创新，但与传统机器学习相比提升并不明显，分类准确率有待进一步提高。深度学习最大的问题的是需要大规模的标记数据用于监督学习，然而由于数据采集和标记的高成本，视疲劳评估领域几乎没有大规模标记的数据集。在这种情况下，标记数据不足限制了深度学习方法的进一步提升。

总的来说，传统的主观方法评估过程复杂、效率低、准确率低，而且评估过程降低用户的观看体验，而现有的采集用户的脑电信号并通过深度学习网络评估视疲劳的方法，由于训练数据集采集和标记过程复杂、成本高，导致其评估结果的准确率有待进一步提高。

发明内容

为了解决现有技术中的上述问题，即传统方法以及采集用户的脑电信号并通过深度学习网络评估视疲劳的方法评估过程复杂、准确率低的问题，本发明提供了一种基于多任务学习的立体显示视疲劳评估方法，该评估方法包括：

步骤S10，获取观看立体画面的被测对象设定时间段的脑电信号数据作为待处理数据；

步骤S20，对所述待处理数据进行滤波、成分分析、去噪、设定时间片段截取处理，获得多个二维矩阵数据；

步骤S30，基于所述多个二维矩阵数据，通过视疲劳等级评估模型，获取对应的视疲劳等级；

其中，所述视疲劳等级评估模型基于多任务学习框架构建，包括表示学习模块、分类模块、重建模块。

在一些优选的实施例中，所述视疲劳等级评估模型，其训练方法为：

步骤B10，通过上述的基于多任务学习的立体显示视疲劳评估方法步骤S10-步骤S20对应的方法，分别获取多个观看立体画面的被测对象设定时间段的脑电信号数据对应的多个二维矩阵数据；

步骤B20，获取所述多个二维矩阵数据对应的真实视疲劳等级作为训练样本标签；

步骤B30，随机选取一组二维矩阵数据及其对应的训练样本标签，通过视疲劳等级评估模型，获取二维矩阵数据的评估视疲劳等级；

步骤B40，基于所述评估视疲劳等级、训练样本标签，计算所述视疲劳等级评估模型的损失值；

步骤B50，判断所述损失值是否低于预设阈值，是则跳转步骤B60；否则，采用反向传播算法计算网络各参数梯度，并采用随机梯度下降法更新网络参数权值，跳转步骤B30；

步骤B60，完成视疲劳等级评估模型训练，获得训练好的视疲劳等级评估模型。

在一些优选的实施例中，所述视疲劳等级评估模型的损失值为：

Loss_multi-task＝Loss_{classification}+α·Loss_{resconstrction}

其中，Loss_{classificatio}、Loss_{resconstrction}分别代表视疲劳等级评估模型中分类模块、重建模块对应的分类损失、重建损失，α为预设的权重系数。

在一些优选的实施例中，所述分类损失为：

其中，N为样本总数，y^k代表第k个样本对应的真实视疲劳等级，

代表采用视疲劳等级评估模型评估的第k个样本对应的评估视疲劳等级，

代表第k个样本对应的交叉熵损失。

在一些优选的实施例中，所述重建损失为：

其中，N为样本总数，X^k代表第k个样本对应的脑电信号样本数据，

代表采用视疲劳等级评估模型重建的第k个样本对应的脑电信号数据。

在一些优选的实施例中，所述二维矩阵数据，其矩阵高为数据的时间维度，宽为数据的空间维度。

在一些优选的实施例中，步骤S30中“基于所述多个二维矩阵数据，通过视疲劳等级评估模型，获取对应的疲劳等级”，其方法为：

步骤S31，基于所述多个二维矩阵数据，采用视疲劳等级评估模型计算所述待处理数据对应各视疲劳等级的概率；

步骤S32，所述待处理数据对应各视疲劳等级的概率中概率值最大的视疲劳等级作为所述待处理数据对应的视疲劳等级。

本发明的另一方面，提出了一种基于多任务学习的立体显示视疲劳评估系统，该评估系统包括输入模块、预处理模块、视疲劳等级评估模块、输出模块；

所述输入模块，配置为获取观看立体画面的被测对象设定时间段的脑电信号数据作为待处理数据并输入；

所述预处理模块，配置为对所述待处理数据进行滤波、成分分析、去噪、设定时间片段截取处理，获得多个二维矩阵数据；

所述视疲劳等级评估模块，配置为基于所述多个二维矩阵数据，通过视疲劳等级评估模型，获取对应的视疲劳等级；

所述输出模块，配置为输出获取的视疲劳等级。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于多任务学习的立体显示视疲劳评估方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于多任务学习的立体显示视疲劳评估方法。

本发明的有益效果：

本发明基于多任务学习的立体显示视疲劳评估方法，通过多任务学习模型训练，利用训练好的多任务网络对被试的视疲劳程度进行预测，通过两个任务的交互，中间层共享特征同时具有了分类和重建的能力，深度学习分类模型的泛化能力得到提高，在脑电标记数据有限的情况下，提升了立体显示视疲劳评估的准确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于多任务学习的立体显示视疲劳评估方法的流程示意图；

图2是本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的数据预处理流程示意图；

图3是本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的多任务学习框架示意图；

图4是本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的表示学习模块示意图；

图5是本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的模型训练流程示意图；

图6是本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的本发明方法与现有方法视疲劳等级评估结果准确率对比图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种基于多任务学习的立体显示视疲劳评估方法，该评估方法包括：

为了更清晰地对本发明基于多任务学习的立体显示视疲劳评估方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于多任务学习的立体显示视疲劳评估方法，包括步骤S10-步骤S30，各步骤详细描述如下：

步骤S10，获取观看立体画面的被测对象设定时间段的脑电信号数据作为待处理数据。

本发明一个实施例中，通过NeuroScan设备采集被测对象脑电信号数据，通过Scan4.5软件将采集的脑电信号数据传输给MATLAB软件完成数据预处理。

首先进行实验设置部分，完成脑电信号采集设备的佩戴和调试，以及观看内容的选定。在本实施例中，假定我们要评估被测对象在观看某立体显示电影A的视疲劳情况。先从电影A中随机抽取8个片段作为建模环节的观看内容，观看时长25分钟左右，被测对象在观看过程中通过自我评估对自身的疲劳状态进行打分，打分范围为1-3，分别对应轻微疲劳、中等疲劳、严重疲劳。

使用NeuroScan设备采集使用者脑电数据，脑电信号采集频率取1000Hz，选取的电极是Fp1、Fp2、F3、F4、F7、F8、Fz、FC3、FC4、FT7、FT8、FCZ、C3、C4、T3、T4、CZ、CP3、CP4、TP7、TP8、CPZ、P3、P4、T5、T6、PZ、O1、O2、Oz，参考电极为左侧乳突。电极选取NeuroScan配备的电极帽上的默认位置。

步骤S20，对所述待处理数据进行滤波、成分分析、去噪、设定时间片段截取处理，获得多个二维矩阵数据。

二维矩阵数据，其矩阵高为数据的时间维度，宽为数据的空间维度。

如图2所示，为本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的数据预处理流程示意图，对获取的原始脑电信号进行降采样、带通滤波、ICA去噪去伪迹、数据切片处理，并采用二维矩阵作为输入数据形式，对每个被测对象的数据进行划分，得到训练集、测试集。

本发明实施例中，采用1-40Hz带通滤波，在脑电信号中低于1Hz的信号通常是基线漂移导致的伪迹，而高于40Hz的大多数是肌电成分，所以选取1-40Hz的频带作为目标频段并使用matlab内置的filtfilt函数完成带通滤波；由于脑电信号是非平稳随机信号，其容易受到心电、眼动、肌电信号的干扰，另外也受到情绪、心态的影响，这种影响反映在脑电信号中就是各种伪迹，利用独立成分分析法(ICA)将眼电、心电、肌电成分从脑电信号中提取出来；将分离后的脑电信号按照2秒时长切片，相邻片之间设置1秒重叠。

步骤S30，基于所述多个二维矩阵数据，通过视疲劳等级评估模型，获取对应的视疲劳等级：

步骤S31，基于所述多个二维矩阵数据，采用视疲劳等级评估模型计算所述待处理数据对应各视疲劳等级的概率。

步骤S32，所述待处理数据对应各视疲劳等级的概率中概率值最大的视疲劳等级作为所述待处理数据对应的视疲劳等级，如式(2)所示：

Fatigue_Pre＝argmaxP(i) 式(2)

其中，i为视疲劳等级，P(i)代表待处理数据的视疲劳等级为i的概率，argmax代表求最大值。

视疲劳等级评估模型基于多任务学习框架构建，包括表示学习模块、分类模块、重建模块，如图5所示，为本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的模型训练流程示意图，其模型训练具体过程为：

步骤B10，通过上述的基于多任务学习的立体显示视疲劳评估方法步骤S10-步骤S20对应的方法，分别获取多个观看立体画面的被测对象设定时间段的脑电信号数据对应的多个二维矩阵数据。

步骤B20，获取所述多个二维矩阵数据对应的真实视疲劳等级作为训练样本标签。

步骤B30，随机选取一组二维矩阵数据及其对应的训练样本标签，通过视疲劳等级评估模型，获取二维矩阵数据的评估视疲劳等级。

步骤B40，基于所述评估视疲劳等级、训练样本标签，计算所述视疲劳等级评估模型的损失值。

视疲劳等级评估模型的损失值为：

Loss_multi-task＝Loss_{classification}+α·Loss_{resconstrction}

分类损失为：

代表第k个样本对应的交叉熵损失。

重建损失为：

步骤B50，判断所述损失值是否低于预设阈值，是则跳转步骤B60；否则，采用反向传播算法计算网络各参数梯度，并采用随机梯度下降法更新网络参数权值，跳转步骤B30。

如图3所示，为本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的多任务学习框架示意图，表示学习模块从输入的脑电信号提取特征，将得到的中间层共享特征分别送入分类模块和重建模块，完成分类任务和重建任务，其中表示学习模块由两个任务共享。

表示学习模块由卷积层、池化层等组成，如图4所示，本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的表示学习模块示意图，按照顺序分布为一个时间维度卷积、批归一化层和非线性层、一个空间维度卷积、批归一化层和非线性层、一个池化层和一个Dropout层。时空卷积层分别提取脑电信号的时间特征和空间特征，其中时间卷积层与池化层构成了堆叠结构，同时可以提取时间维度的局部特征和全局特征。空间卷积层则提取空间维度的全局特征。分类任务和重建任务共享表示学习模块，共享部分实现多任务学习中数据共享、信息交换，两个任务信息共享，有助于提高模型的泛化能力。

分类模块包含一个全卷积层和一个softmax分类层，表示学习模块输出的中间层共享特征送入分类模块，全卷积层处理得到每个类别对应的激活值，softmax层将激活值映射为一个概率分布，分别对应每个类别的可能性大小。

重建模块由反卷积层组成，共享中间层特征送入重建模块用于重建原输入，这里可以将表示学习模块看作一个编码器，而重建模块则可以看作一个解码器。对于解码过程，模型使用反卷积，也被称为转置卷积，来对输入的中间层特征进行解码，整个过程是表示学习模块中卷积层的镜像操作。在连续的反卷积操作之前，首先对中间层特征进行上采样，作为池化层的镜像操作恢复到池化层之前特征的大小，然后经过两个反卷积层的处理，输出特征的尺寸不断增大，并最终恢复到原输入的大小，作为最终重建的输出。重建模块包括一个池化层、两个反卷积层，分别对应表示学习模块中的时空卷积。

如图6所示，为本发明基于多任务学习的立体显示视疲劳评估方法一种实施例的本发明方法与现有方法视疲劳等级评估结果准确率对比图，共有11个被测对象，ShallowConvNet、Deep ConvNet、EEGNet、本发明方法分别代表视疲劳评估方法，其对应的数据为采用各方法对各被测对象进行视疲劳等级评估的准确率。从图中可看出，本发明方法明显优于现有方法，准确率有很大的提升。

本发明第二实施例的基于多任务学习的立体显示视疲劳评估系统，该评估系统包括输入模块、预处理模块、视疲劳等级评估模块、输出模块；

所述输出模块，配置为输出获取的视疲劳等级。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于多任务学习的立体显示视疲劳评估系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于多任务学习的立体显示视疲劳评估方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于多任务学习的立体显示视疲劳评估方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。