CN109871124B - 基于深度学习的情感虚拟现实场景评估方法 - Google Patents

Abstract

本发明涉及视频图像数据处理领域，具体为基于深度学习的情感虚拟现实场景评估方法，包括步骤：获取多种情绪类型的样本图像组成样本库并进行预处理；标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中截取一系列图像，获取待评估的图像数据组成待评估样本库；利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。该方法对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，可充分在时间轴上对虚拟现实场景进行情绪触发评估。

Description

基于深度学习的情感虚拟现实场景评估方法

技术领域

本发明涉及视频图像数据处理领域，具体为基于深度学习的情感虚拟现实场景评估方法。

背景技术

虚拟现实场景在日常生活中的应用正在逐步地广泛起来，其中一部分围绕着情感触发及情感评估进行的健康监测、辅助治疗和游戏设计的应用正是发展的重要领域之一。已有的研究表明，利用虚拟现实技术创建出虚拟场景进行心理疾病诊断、治疗可以诊断被试者的心理状况或有效地缓解被试者的焦虑症、恐惧症等精神疾病。虚拟现实场景通过整合计算机图像处理、运动追踪、视觉呈现等技术，具备优秀的沉浸性、可交互性，可以让患者安全可控地完全沉浸在虚拟的场景中进行治疗,从而逐步改善患者的症状。

虚拟现实场景在投入正式使用之前，需要进行情感评估，对虚拟现实场景所处的情感触发类别进行评估。在虚拟现实场景情感评估方面中，目前普遍使用的方法还是运用传统情感评估手段进行情感评估，即是通过规范化的心理学实验，获取主观的情感报告。主观情感报告作为主流实验手段，存在数据结果主观、个体差异大、耗费人力物力等不足之处。所以，需要搭建一个神经网络，自动识别一定时长的虚拟现实场景。这样既节省了严格心理学实验评估的一系列需求，又可对一段时间内虚拟现实场景的视觉画面进行多维度、全方位的评估，得出场景的情感类型，分析场景的基础情绪构成，在时间维度、空间维度和复合情绪分析上更具科学性。

在相关研究中，通过神经网络进行情感评估的研究主要集中在图片、音频、视频等方面，即利用人工智能、计算机视觉等技术对情感评估素材的情感类型进行自动评估的研究。通过机器学习、图像数据处理等手段找出情感评估素材中的颜色、元素等各类因子，分析之间关系及权重，并自动进行评估。从现有的自动评估系统的研究来看，基本上是围绕着图像、文字、声音等情感评估素材进行短时、单维度的评估，而这种单次评分机制并不适用于虚拟现实场景这类多维、持续一定时长且连续变化的情感评估素材。

在预处理环节中，通常把情绪评估素材的尺寸规格变成一致的并且进行裁剪，而虚拟现实场景不同于图片素材，每一帧都是360度的全景图片，有多角度的视角可以变化。

此外，在特征提取及选择的环节中，现有技术主要进行素材中重要特征的提取和筛选，或者是直接利用现有特征，根据启发式、完全搜索式等方法抽取特征子集。然而，在实际应用中，对虚拟现实场景的特征筛选的过程中，仅仅做以上考虑是不足够的。

发明内容

为了解决现有技术所存在的问题，本发明提供基于深度学习的情感虚拟现实场景评估方法，在虚拟现实场景的特征筛选的过程中，该方法依据场景摄像头主视角以及其他视角之间的主次关系对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，加入时间维度上的考量，可充分在时间轴上对虚拟现实场景进行情绪触发评估。

本发明采用如下技术方案来实现：基于深度学习的情感虚拟现实场景评估方法，包括以下步骤：

S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理；

S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库；

S3、利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；

S4、使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。

在一个优选的实施方案中，步骤S2中获取待评估的图像数据组成待评估样本库，包括步骤：

S21、判断虚拟现实场景是否满足所需的时长要求，若不满足，则将虚拟现实场景分至不合格类别，结束评估；如满足，则进入步骤S22；

S22、对步骤S21中满足时长需求的虚拟现实场景，以摄像机主视角为基准，将其在水平方向均分成多个视角；

S23、每间隔相等的时间，从各个视角均截取一张图像，直至虚拟现实场景结束放映，获得一组图像数据；

S24、将步骤S23中同一个虚拟现实场景截取的图像数据，统一命名，并打包至同一数据包内。

优选地，步骤S22中，虚拟现实场景截取图像的命名表示为a-b-c，其中，a为所属虚拟现实场景序号，b表示图像截取所在的时间段编号，c表示图像截取所在的视角；导出时，将a值相同的图像数据打包到同一数据集中。

基于本发明的评估方法，可虚拟现实场景的动态视觉部分进行智能评估。与现有技术相比，本发明具有如下优点和有益效果：从虚拟现实场景中获取时长符合要求的待评估图像数据组成待评估样本库，可充分在时间轴上对虚拟现实场景进行情绪触发评估，综合分析其触发的情绪构成，评估其情绪触发的离散度是否符合标准，同时得出动态视觉方面的情绪触发类型。本发明依据场景摄像头主视角以及其他视角之间的主次关系对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，加入时间维度上的考量，可充分在时间轴上对虚拟现实场景进行情绪触发评估。本发明通过构建和训练深度神经网络模型，自动识别虚拟现实情感场景的情绪触发类型，节省了心理学评估实验所需的大量受试者资源与较长的实验时间成本，并摆脱了严格的实验环境限制，可应用于视觉情感评估领域。

附图说明

图1是本发明基于深度学习的情感虚拟现实场景评估流程图；

图2是本发明待评估图像数据样本集的获取流程图；

图3是虚拟现实场景视场角划分示意图；

图4是本发明所使用的神经网略模型结构。

具体实施方式

为了便于本发明的实施，下面结合附图和实施例对本发明作进一步描述，但本发明的实施方式不限于此。

实施例

如图1，本发明基于深度学习的情感虚拟现实场景评估方法，包括如下步骤：

S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理。

S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集。在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库。

从虚拟现实场景中获取待评估的图像数据并组成待评估样本库，参见图2，包括以下步骤：

S21、以时长80s作为虚拟现实场景是否符合要求的分界线，时长小于80s的虚拟现实场景不满足评判要求，被判定为不合格虚拟现实场景，并完成评估；时长大于或等于80s的虚拟现实场景满足评判要求，进入下一个步骤。

S22、虚拟现实场景中摄像机主视角的中轴线一般与摄像机移动路径方向相一致，且处于水平面上。将摄像机主视角中轴线在水平面上顺时针旋转，每旋转90°即定义一个新视角的中轴线，将虚拟现实场景在水平面上依次分为①、②、③、④四个视角，即前视、右视、后视、左视共四个视角，如图3所示。

由于现有虚拟现实头戴显示设备视场角大部分为110°，本实施例可取110°为每个视角可视的角度大小。每两个相邻视角之间存在重叠部分，重叠部分为20°，保证重要的元素不被边缘切割而导致无法识别。

S23、取1s作为时间间隔，每一秒钟四个视角各截取一张图像，则预计截取图像数据样本≥320张。这里，获取图像的分辨率为2160*1200像素。

S24、将虚拟现实场景中截取的图像按照统一命名规则命名。命名内容包括：所属虚拟现实场景序号、图像截取所在的时间段编号、图像截取所在的视角编号，则最终得到的命名为一串数字符。例如，图像12-75-3是指12号虚拟现实场景在75s时截取的③号视角的图像。

S25、将属于同一虚拟现实场景(即虚拟现实场景序号相同)的图像数据打包到同一数据集中，数据集统一以虚拟现实场景序号命名。

S3、利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型。

本实施例设计的深度神经网络模型，其结构选择了深度残差网络VGG16，包括相连接的基础网络部分和分类器部分。基础网络部分有五段相串行的卷积，每段卷积包括有2～3个卷积层，每段卷积的尾部用池化层来缩小图片尺寸，基础网络部分用于提取图像由浅至深的深度特征图。分类器部分即头部任务网络，头部任务网络包括情感识别分类网络，由多个全连接层组成，对图像情感分类进行识别，输出该图像所触发人的情绪类型及情绪离散度。如图4所示，具体如下：

第一段卷积包含2层卷积层和1层池化层。卷积层的卷积核大小均为3×3，卷积核个数均为64，滑动步长为1。池化层的池化范围大小为2×2，滑动步长为1。

第二段卷积包含2个卷积层和1层池化层，前两层卷积层的卷积核大小均为3x 3，卷积核个数均为128，滑动步长为1。池化层的池化范围大小为2×2，滑动步长为1。

第三段卷积包含3层卷积层和1层池化层。前两层卷积层的卷积核大小均为3×3，卷积核个数均为256，滑动步长为1。第三层卷积层的卷积核大小为1x1，卷积核个数为256，滑动步长为1。池化层的池化范围大小为2×2，滑动步长为1。

第四段卷积包含3层卷积层和1层池化层。前两层卷积层的卷积核大小均为3×3，卷积核个数均为512，滑动步长为1。第三层卷积层的卷积核大小为1x1，卷积核个数为512，滑动步长为1。池化层的池化范围大小为2×2，滑动步长为1。

第五段卷积包含3层卷积层和1层池化层。前两层卷积层的卷积核大小均为3×3，卷积核个数均为512，滑动步长为1。第三层卷积层的卷积核大小为1x1，卷积核个数为512，滑动步长为1。池化层的池化范围大小为2×2，滑动步长为1。

分类器部分包含三个全连接层，第一个全连接层有4096个通道，第二个全联接层有4096个通道，第三个全连接层有8个通道。整个VGG16网络共有16个卷积层。

在本实施例中，深度神经网络模型的具体训练步骤包括：

S31、对预处理后的样本库中的情绪刺激样本图像进行标注，获取带有标记的虚拟现实场景样本图像，并获取各带有标记的情感类型标记结果；

对步骤S1形成的所有样本，按20％的比例划分出验证集，用于训练过程中的模型评价。

S32、利用预设初始参数的深度神经网络模型对带有标记的虚拟现实场景样本图像进行分类，获取带有标记的虚拟现实场景样本图像的输出结果；

本实施例中，VGG16残差网络的预设参数选用了公开的针对agg数据集图像识别任务的模型参数，作为预训练模型参数。

S33、根据步骤S32所获取的输出结果与标记结果之间的误差，按从后至前的方式反向逐层传播至整个所述深度神经网络模型，更新深度神经网络模型的所有参数；

S34、读取新的带有标记的虚拟现实场景样本图像，利用更新参数后的深度神经网络模型对新的带有标记的虚拟现实场景样本图像进行分类识别；

S35、判断是否满足收敛条件或停止条件，若满足则停止训练，若不满足，回到步骤S33，继续训练。

在本实例中，设置的收敛条件是：验证集上的误差<0.4，停止条件是训练周期epoch＝20。训练过程中的其他重要参数还包括学习率learning_rate为0.001，学习动量learning_momentum为0.9，权重衰减系数weight_decay为0.0001。

S4、使用所述深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。通过离散度是否小于阈值判断是否符合系统标准，情绪识别类型为其视觉情绪标签。

使用所述深度神经网络模型对待评估虚拟现实场景进行评估的步骤具体包括：

S41、输入待评估虚拟现实场景动态图像；

S42、将输入图像经全局图像特征提取子网络处理，提取输入图像不同层次特征，输出固定维度特征图；

S43、将所输出的固定维度特征图，输入情感识别网络进行识别，输出各情绪类型分类概率；

S44、根据所输出的各情感类型分类概率，计算得出情感离散度，并输出主概率最高的情感识别类型。

总的来说，针对虚拟现实场景的情感评估问题，本发明充分利用深度学习中图像基础特征的共性，将深度神经网络模型划分为基础主干网络与头部任务网络两大部分，提出了一种对动态视觉的智能情感评估模型。本发明的核心内容是提出了基于深度学习的情感虚拟现实场景评估任务模型。而本发明的基础技术是深度学习技术，其本身就具有对图像的优秀描述能力，相比传统的浅层模型，能更充分的描述目标特征，识别的准确率、查全率均大大提高，使得情绪识别更加准确。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.基于深度学习的情感虚拟现实场景评估方法，其特征在于，包括以下步骤：

S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理；

S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库；

S3、利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；

S4、使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型；

步骤S2中获取待评估的图像数据组成待评估样本库，包括步骤：

S21、判断虚拟现实场景是否满足所需的时长要求，若不满足，则将虚拟现实场景分至不合格类别，结束评估；如满足，则进入步骤S22；

S22、对步骤S21中满足时长需求的虚拟现实场景，以摄像机主视角为基准，将其在水平方向均分成多个视角；

S23、每间隔相等的时间，从各个视角均截取一张图像，直至虚拟现实场景结束放映，获得一组图像数据；

S24、将步骤S23中同一个虚拟现实场景截取的图像数据，统一命名，并打包至同一数据包内；

步骤S22中，均分成多个视角的过程为：取摄像机主视角中轴线在水平面顺时针旋转，每旋转90°为一个新视角的中轴线，即依次分为四个视角；每两个相邻视角之间存在重叠部分；

依据摄像机主视角以及其他视角之间的主次关系对每帧视频画面各个视角中包含特征的权重进行分配，并综合考虑虚拟现实场景持续的时长，加入时间维度上的考量，充分在时间轴上对虚拟现实场景进行情绪触发评估，综合分析其触发的情绪构成，评估其情绪触发的离散度是否符合标准，同时得出动态视觉方面的情绪触发类型。

2.根据权利要求1所述的情感虚拟现实场景评估方法，其特征在于，每两个相邻视角之间的重叠部分为20°。

3.根据权利要求1所述的情感虚拟现实场景评估方法，其特征在于，步骤S22中，虚拟现实场景截取图像的命名表示为a-b-c，其中，a为所属虚拟现实场景序号，b表示图像截取所在的时间段编号，c表示图像截取所在的视角；导出时，将a值相同的图像数据打包到同一数据集中。

4.根据权利要求1所述的情感虚拟现实场景评估方法，其特征在于，深度神经网络模型包括相连接的基础网络部分和分类器部分；基础网络部分有五段相串行的卷积，每段卷积包括有2～3个卷积层，每段卷积的尾部用池化层来缩小图片尺寸，基础网络部分用于提取图像由浅至深的深度特征图；分类器部分包括情感识别分类网络，由多个全连接层组成，对图像情感分类进行识别，输出该图像所触发人的情绪类型及情绪离散度。

5.根据权利要求1所述的情感虚拟现实场景评估方法，其特征在于，步骤S3中深度神经网络模型的训练步骤包括：

S31、对预处理后的样本库中的情绪刺激样本图像进行标注，获取带有标记的虚拟现实场景样本图像，并获取各带有标记的情感类型标记结果；

S32、利用预设初始参数的深度神经网络模型对带有标记的虚拟现实场景样本图像进行分类，获取带有标记的虚拟现实场景样本图像的输出结果；

S33、根据步骤S32所获取的输出结果与标记结果之间的误差，按从后至前的方式反向逐层传播至整个所述深度神经网络模型，更新深度神经网络模型的所有参数；

S34、读取新的带有标记的虚拟现实场景样本图像，利用更新参数后的深度神经网络模型对新的带有标记的虚拟现实场景样本图像进行分类识别；

S35、判断是否满足收敛条件或停止条件，若满足则停止训练，若不满足，回到步骤S33，继续训练。

6.根据权利要求5所述的情感虚拟现实场景评估方法，其特征在于，对步骤S1形成的所有样本，按20％的比例划分出验证集，用于训练过程中的模型评价；所述收敛条件是验证集上的误差<0.4，停止条件是训练周期epoch＝20。

7.根据权利要求1所述的情感虚拟现实场景评估方法，其特征在于，步骤S4使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估的步骤包括：

S41、输入待评估虚拟现实场景动态图像；

S42、将输入图像经全局图像特征提取子网络处理，提取输入图像不同层次特征，输出固定维度特征图；

S43、将所输出的固定维度特征图，输入情感识别网络进行识别，输出各情绪类型分类概率；

S44、根据所输出的各情感类型分类概率，计算得出情感离散度，并输出主概率最高的情感识别类型。

Images