CN116301473A - 基于虚拟现实的用户行为预测方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种基于虚拟现实的用户行为预测方法、装置、设备及介质，通过获取待测用户对应的虚拟现实VR任务集，并向VR设备下发VR任务集，以使VR设备向待测用户展示预设VR场景，从而有效降低待测用户面对心理辅导员或试题时的抵抗心理，进而更好的引导待测用户表达其真实心理状态；采集待测用户在预设VR场景下的生物信息集，以利用用户身体在特定场景下会产生特定生理信号等潜意识行为，获取能够更好地表征待测用户真实心理的生物信息集；基于目标多模态融合网络，对生物信息集进行融合决策，预测待测用户的用户行为；从而利用多模态融合网络，考虑多种生物信息对真实心理表征的权重影响，提高用户行为预测结果的准确性和客观性。

Description

基于虚拟现实的用户行为预测方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于虚拟现实的用户行为预测方法、装置、设备及介质。

背景技术

随着社会高速发展，人们越来越关注心理健康发展。其中对于青少年的心理健康教育或心理病人的心理健康辅导，开展行为预测以实时了解个体心理和行为情况，是引导个体心理健康发展和预防青少年实施负面行为的重要基础。因此，对个体进行行为预测是十分必要的。

目前，传统的用户行为预测主要通过心理试题测试和心理辅导员面谈的方式进行开展，但是传统方式受心理辅导员的主观性判断影响，并且测试对象容易隐匿其真实意图，从而无法表征测试对象的真实心理情况，进而无法客观准确地预测测试对象是否存在自杀或自伤等负面行为意图。

发明内容

本申请提供了一种基于虚拟现实的用户行为预测方法、装置、设备及介质，以解决传统方式无法客观准确地预测测试对象是否存在负面行为意图的技术问题。

为了解决上述技术问题，第一方面，本申请提供了一种基于虚拟现实的用户行为预测方法，包括：

获取待测用户对应的虚拟现实VR任务集；

向VR设备下发VR任务集，以使VR设备向待测用户展示预设VR场景，VR任务集包括多个目标VR任务；

采集待测用户在预设VR场景下的生物信息集；

基于目标多模态融合网络，对生物信息集进行融合决策，以预测待测用户的用户行为。

在一些实现方式中，获取待测用户对应的虚拟现实VR任务集，包括：

获取待测用户的待测行为类型；

基于预设任务数据库，匹配与待测行为类型对应的多个VR任务组，VR任务组包括同任务种类的多个VR任务；

从多个VR任务组中筛选出满足预设任务集条件的多个目标VR任务，多个目标VR任务组成VR任务集。

在一些实现方式中，从多个VR任务组中筛选出满足预设任务集条件的多个目标VR任务，包括：

获取待测用户的用户信息；

基于所述用户信息，确定待测用户的用户类型；

对于每个任务组，筛选出任务组中符合用户类型的目标VR任务。

在一些实现方式中，向VR设备下发VR任务集，以使VR设备向待测用户展示预设VR场景，包括：

向VR设备下发VR任务集，以使VR设备根据VR任务集调取与目标VR任务对应的预设VR场景数据，并基于预设VR场景数据，向待测用户展示预设VR场景。

在一些实现方式中，生物信息包括脑电信息和脑功能磁共振信息中的至少一种，以及眼部信息、微表情信息和身体动作信息中的至少一种。

在一些实现方式中，基于目标多模态融合网络，对生物信息集进行融合决策，以预测待测用户的用户行为，包括：

提取生物信息集中每种生物信息的特征信息；

利用待测用户的待测行为类型对应的目标多模态融合网络，基于多种特征信息，预测待测用户的用户行为。

在一些实现方式中，提取生物信息集中每种生物信息的特征信息，包括：

从所述生物信息集中确定与VR特征场景对应的多个目标生物信息，所述VR特征场景为能够区分所述待测行为类型的特征生物信息的VR场景；

对多个目标生物信息进行特征提取，得到特征信息。

在一些实现方式中，对多个目标生物信息进行特征提取，得到特征信息，包括：

对于目标生物信息为脑电信息，提取脑电信息中的脑电频谱参数，脑电频谱参数包括功率谱密度以及脑电信号的近似熵、小波熵、Hurst指数、小波系数、多尺度熵、分形维数和相位同步值中的一种或多种。

在一些实现方式中，所述对多个所述目标生物信息进行特征提取，得到所述特征信息，包括：

对于所述目标生物信息为脑功能磁共振信息，针对所述脑功能磁共振信息中的目标区域信息进行特征提取，得到核磁共振特征信息。

在一些实现方式中，所述目标区域信息为从待测用户的大脑特定区域中采集到的能够用于表征用户行为意念的脑功能磁共振信息，所述大脑特定区域包括杏仁核区域、额叶区域和脑岛区域中的至少一个区域。

在一些实现方式中，所述基于目标多模态融合网络，对所述生物信息集进行融合决策，以预测所述待测用户的用户行为之前，还包括：

基于预设训练数据采集策略，采集多个目标用户在多种预设VR场景下的生物信息样本，所述目标用户包括正常心理用户和非正常心理用户；

对比所述正常心理用户的生物信息样本与所述非正常心理用户的生物信息样本，以生成目标训练样本集；

利用所述目标训练样本集，对预设多模态融合网络进行迭代训练，直至所述预设多模态融合网络达到预设收敛条件，得到所述目标多模态融合网络。

在一些实现方式中，所述基于预设训练数据采集策略，采集多个目标用户在多种预设VR场景下的生物信息样本，包括：

在VR场景下播放预设音频，并采集多个所述目标用户的第一生物信息样本，所述预设音频包括诱发正性情绪的第一音频、诱发负性情绪的第二音频和诱发中性情绪的第三音频；

在VR场景下展示预设情绪面孔图像，并采集多个所述目标用户的第二生物信息样本，所述预设情绪面孔图像包括负性情绪面孔图像和中性情绪面孔图像；

在VR场景下展示预设文本图像，并采集多个所述目标用户的第三生物信息样本，所述预设文本图像包括带有颜色的正性情绪文本、负性情绪文本和中性情绪文本。

第二方面，本申请还提供一种基于虚拟现实的用户行为预测装置，包括：

获取模块，用于获取待测用户对应的虚拟现实VR任务集；

下发模块，用于向VR设备下发VR任务集，以使VR设备向待测用户展示预设VR场景，VR任务集包括多个目标VR任务；

采集模块，用于采集待测用户在预设VR场景下的生物信息集；

预测模块，用于基于目标多模态融合网络，对生物信息集进行融合决策，以预测待测用户的用户行为。

第三方面，本申请还提供一种计算机设备，包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时实现如第一方面的基于虚拟现实的用户行为预测方法。

第四方面，本申请还提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如第一方面的基于虚拟现实的用户行为预测方法。

与现有技术相比，本申请至少具备以下有益效果：

通过获取待测用户对应的虚拟现实VR任务集，VR设备下发VR任务集，以使VR设备向用户展示预设VR场景，用户对特定VR场景会自然地出现自己的反应，从而有效降低用户面对心理辅导员或量表测试时的抵抗或者掩饰心理，能够过滤掉用户对其真实潜意识心理状态的伪装；利用人们在特定潜意识心理状态下，比如有特定的意念、想法的时候，会有独特的情绪和认知特点，用户身体在特定场景下会产生特定情绪和认知生理信号，采集用户在预设VR场景下任务集的生物信息集，获取最佳地表征用户待测的真实潜意识心理状态的生物信息集；结合人工智能技术，基于目标多模态融合网络，对特征生物信息集进行融合决策，预测用户真实潜意识心理状态，进而预测用户的可能将发生的行为。考虑多种生物信息做为变量对真实潜意识心理表征的影响，利用多模态融合网络评估系统，以提高用户行为预测结果的准确性和客观性。

此外，本申请通过针对不同行为类型配置不同的VR任务，以能够有目的性的待测行为类型进行测试，提高用户行为预测结果的准确性。

本申请根据用户类型，对VR任务进行筛选，以筛选出符合当前待测用户的VR任务集，有助于利用更有针对性的VR任务集反映当前待测用户行为意图的生物信息特征，从而保证输入到多模态融合网络的生物信息特征的特异性，从而提高用户行为预测的效度。

本申请通过预设训练数据采集策略，采用正常心理用户和非正常心理用户在相同VR场景下的生物信息，以对比不同心理状态的用户之间的生物特征差异，从而能够提取到反映不同用户心理的生物信息用于模型训练，并通过多模态融合网络放大生物特征差异，以进一步提高模型预测结果的准确性。

附图说明

图1为本申请实施例示出的基于虚拟现实的用户行为预测方法的流程示意图；

图2为本申请实施例示出的基于虚拟现实的用户行为预测装置的结构示意图；

图3为本申请实施例示出的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，图1为本申请实施例提供的一种基于虚拟现实的用户行为预测方法的流程示意图。本申请实施例的基于虚拟现实的用户行为预测方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。

可选地，该计算机设备连接有VR设备、脑机接口、核磁共振仪、摄像头和眼动追踪仪等外接设备。VR设备可以是移动端头显设备、一体式头显设备和外接式头显设备。可选地，眼动追踪仪可以集成于VR设备。

如图1所示，本实施例的基于虚拟现实的用户行为预测方法包括步骤S101至步骤S104，详述如下：

步骤S101，获取待测用户对应的虚拟现实VR任务集。

在本步骤中，VR任务集包括多种任务种类的VR任务，任务种类包括但不限于视频、音频和文本中一种或多种的结合。可选地，根据待测用户的待测行为类型，选择与该待测行为类型对应的VR任务集，以针对性的进行用户行为预测。例如，针对抑郁患者是否存在自杀行为意念的预测任务，选取该预测任务对应的VR任务集；又例如，针对用户是否存在特定意念、想法的预测任务，比如强迫观念、物质成瘾的心理渴求、恐惧症、进食障碍等等特定意念和想法，选取该预设任务对应的VR任务集。

步骤S102，向VR设备下发所述VR任务集，以使所述VR设备向所述待测用户展示预设VR场景，所述VR任务集包括多个目标VR任务。

在本步骤中，待测用户可以佩戴头戴式VR设备，计算机设备将VR任务集下发到该VR设备，VR设备执行VR任务集中的目标VR任务，以向待测用户展示预设VR场景。

可选地，预设VR场景包括动态场景画面和静态场景画面，动态场景画面可以为视频单独组成的画面，也可以是视频与音频组成的画面，音频可以是音乐或旁白等；静态场景画面可以为图片或文本单独组成的画面，也可以图片或文本与音频组成的画面。

可选地，预设VR场景还包括交互提醒信息，例如语言交互提醒信息和画面交互提醒信息等。

步骤S103，采集所述待测用户在所述预设VR场景下的生物信息集。

在本步骤中，生物信息集为表征用户心理状态的生物信息的集合，其包括但不限于脑电信息、脑功能磁共振信息、眼部信息、微表情信息和身体动作信息等。其中，脑电信息可以通过脑电接口获得，其主要以脑电图像进行信息表征；脑功能磁共振信息可以通过核磁共振仪获得，其主要以磁共振图像进行信息表征；眼部信息可以通过眼动追踪仪获得，微表情信息和身体动作信息可以通过摄像头获得。

对于脑电信息和脑核磁共振信息：情绪与认知存在密切关系，即情绪会影响认知的各个维度，也可以通过调节认知控制情绪。积极情绪(正性情绪)促进认知功能，而消极情绪(负性情绪)障碍正常认知。具体表现在以下几个方面：①知觉：情绪影响对事物的感知，即使是已经根深蒂固的事情，也会因情绪状态的不同而发生偏移。②注意：心境温和时会对周围的事物观察得更加仔细，而烦躁时常会忽略很多细节。③决策：在证明情绪状态下，用户常常思维敏捷，条理清晰，推理严谨，能更好地进行决策。而在负性情绪会干扰用户对事物的正确认识和理解，致使其作出不正确的决定。其中杏仁核－海马交互系统被认为是情绪和认知相互作用的神经基础，杏仁核调节海马依赖性记忆的编码和储存，而海马通过解读刺激来影响杏仁核，所以可以针对杏仁核－海马交互系统获取脑电信号或核磁共振信号，从而分析用户的潜在情绪，进而分析影响用户行为的认知。

对于眼部信息：用户眼部瞳孔在受外界信息刺激时会出现收缩或放大的现象，不同情绪下的收缩程度或放大程度存在差异，所以可以针对用户在预设VR场景下的眼部信息，分析用户的潜在情绪。

对于微表情信息和身体动作信息：用户在接受外界信息刺激时，面部表情或身体通常存在瞬间的潜意识动作，不同情绪下的微表情特征和身体动作特征存在差异，所以可以针对用户在预设VR场景下的微表情信息或身体动作信息，分析用户的潜在情绪。

可选地，生物信息集包括所述脑电信息和脑功能磁共振信息中的至少一种，以及眼部信息、微表情信息和身体动作信息中的至少一种。由于脑电信息和脑功能磁共振信息是用户受外界信息刺激后的生理信息，不容易被用户控制，其能够更加准确地表征用户的真实心理。因此，将脑电信息和脑功能磁共振信息作为用户行为预测主要特征输入，以提高用户行为预测结果的准确性。

步骤S104，基于目标多模态融合网络，对所述生物信息集进行融合决策，以预测所述待测用户的用户行为。

在本步骤中，目标多模态融合网络可以为基于多核学习的多核分类器模型或者基于深度学习的深层非线性网络。

可选地，在步骤S104之前，还包括：

基于预设训练数据采集策略，采集多个目标用户在多种预设VR场景下的生物信息样本，所述目标用户包括正常心理用户和非正常心理用户；

对比所述正常心理用户的生物信息样本与所述非正常心理用户的生物信息样本，以生成目标训练样本集；

利用所述目标训练样本集，对预设多模态融合网络进行迭代训练，直至所述预设多模态融合网络达到预设收敛条件，得到所述目标多模态融合网络。

在本实施例中，通过任务设定提取不同情绪的生物特征，并采集多种用户在VR场景下的生物信息，以生物特征对生物信息设置标签，构建训练集；基于训练集，利用多核学习或深度学习建立多模态融合网络。

可选地，对于多模态融合网络：通过构建不同的算法模型(例如机器学习算法Machine learning algorithm)，以建立统计数学模型，模型针对多个预测因素、多模态、多变量进行计算分析和研究，从而有效预测和分类未知数据。

由于特征指标过多可能会影响分类器的性能，导致网络模型过拟合，即对新样本的准确预测能力较差，而每个VR场景侧重于测评用户行为不同内容，所以可以根据不同的VR场景，选择至少一种VR场景，每个场景至少一种特征指标作为输入数据。

可选地，构建多模态融合网络所使用的分类器：基于经典机器学习(例如支持向量机(SVM)、人工神经网络(Artificial Neural Network，ANN))以及基于深度学习算法(例如SVM模型、卷积神经网络(CNN)模型以及基于caffe模型)来训练和优化模型。其中，开发环境可以使用TensorFlow、Python、MXNet、Torch、Theano、CNTK、cuda、cuDNN、Caffe开源库和LibSVM工具箱等。

示例性地，下面分别基于SVM和深度学习算法的网络训练举例说明：

(1)选择SVM建立多模态融合网络：由于SVM适合于小样本的学习方法，在实际的SVM分类应用中，核函数和惩罚因子是两个非常重要的参数，选定合适的核函数之后，需要对核函数的参数进行确定并选取合适的惩罚因子C。

例如，选择一种特征指标作为输入：基于脑电诱发电位时频域为特征输入的SVM递归特征消除法(support vector machine recursive featureelimination，SVM－RFE)分类方法，对目标用户进行相关任务作业时的脑电诱发电位，并进行时－频域特征提取，利用支持向量机进行特征分类，实现对个体的预测。

例如，选择多种特征指标作为输入：集成学习方法用于组合单一分类方法，多核学习(multiple kernel learning，MKL)方法用于组合多个核函数，可显著提高分类能力。采集脑电信息和脑功能磁共振信息中的至少一种以及眼部信息、微表情信息和身体动作信息等多模态数据中的至少一种，基于多核学习(multiple kernel learning，MKL)融合以上多种特征数据训练出一个多核分类器。利用SVM采用嵌套交叉验证(nested crossvalidation)方法，对各类数据进行预处理、特征提取和特征选择，最后进行分类。

(2)基于深度学习的多模态融合网络：深度神经网络可以对多类型、跨模态、海量生物医学信号进行有效处理与分析。深度学习可通过深层非线性网络结构学习特征，并通过组合低层特征形成更加抽象的深层表示(属性类别或特征)，实现复杂函数逼近，从而可以学习到数据集的本质特征。

例如，在输入层设置多个节点，以脑电信息、脑功能磁共振信息、眼部信息、微表情信息和身体动作信息等作为输入向量，输出层为正常心理和有自杀行为意念的行为分类组成。各节点通过激活函数实现非线性变换后输入，可以通过多个隐藏层进行输出；将神经网络输出与实际输出或期望输出进行比较，计算损失函数。根据损失函数，采用反向传播算法改变连接权值w值和b值，通过模型不断迭代最小化损失函数，使各预测结果值和真实结果值越来越接近，直至损失函数值不再变化，例如直到误差达到接近0.001，则得到目标多模态融合网络。

例如，基于CNN的二分类方法：单种输入参数的分类CNN网络结构是由一系列卷积、池化和ReLU激活层组成的CNN模型，包含一系列的卷积、最大值池化和ReLU激活操作。将多个VR任务场景下采集的生物信息样本(即第一生物信息样本、第二生物信息样本和第三生物信息样本中的至少一个，其中每个生物信息样本均包括脑电信息、脑功能磁共振信息、眼部信息、微表情信息和身体动作信息中的至少一个)的各个分类过程统一到一个完整的CNN网络结构之中，该网络同样是由一系列卷积、池化和ReLU激活层组成的CNN模型。将两个CNN的最后一层特征向量进行拼接，拼接后的特征向量作为PGBM部分可见层的输入进行该部分的训练，PGBM部分可采用对比散度方法进行训练。通过训练后得到的网络连接权重，可以获得拼接后特征向量中任务相关部分的特征表示，该部分特征表示作为新加入的全连接层的输入，对新加入的全连接层进行训练。同样，网络的反向传播深度被限定在新加入的全连接层。

在一些实施例中，任务设定包括：

在VR场景下播放预设音频，并采集多个所述目标用户的第一生物信息样本，所述预设音频包括诱发正性情绪的第一音频、诱发负性情绪的第二音频和诱发中性情绪的第三音频；

在VR场景下展示预设情绪面孔图像，并采集多个所述目标用户的第二生物信息样本，所述预设情绪面孔图像包括负性情绪面孔图像和中性情绪面孔图像；

在VR场景下展示预设文本图像，并采集多个所述目标用户的第三生物信息样本，所述预设文本图像包括带有颜色的正性情绪文本、负性情绪文本和中性情绪文本。

可选地，对于播放预设音频的VR场景：通过播放情绪诱发音乐(例如中国情感数码声音系统(Chinese Affective Digital Sound System，CADS))采集受试用户的生物信息。示例性地，为了采集表征正性情绪的生物信息，可以播放由Hubert Laws演奏的《勃兰登堡协奏曲3》；为了采集表征负性情绪的生物信息，可以播放以半速演奏的《亚历山大·涅夫斯基：俄罗斯在蒙古人的枷锁下》；为了采集表征中性情绪的生物信息，让受试用户默读基本情况介绍的文字材料，例如国土面积、风土人情、国民生产总值等。进一步地，在受试用户情绪诱发后，记录受试用户的脑电信号、脑功能磁共振图、眼部信息、微表情信息和身体动作信息等生物信息。

可选地，对于展示预设情绪面孔图像的VR场景：向受试用户展示中国人情感面孔图片系统(Chinese Affective Face Picture System，CAFPS)中愉快、悲伤、恐惧、厌恶等情绪面孔图片，并提示受试用户尽快按键指出所展示图片是负性图片还是中性图片，以及记录受试用户的脑电信号、脑功能磁共振图、眼部信息、微表情信息和身体动作信息等生物信息。

可选地，对于展示预设文本图像的VR场景：词汇Stroop任务：通过情绪词汇判定任务和情绪图片颜色命名任务来测量情绪Stroop效应。在情绪Stroop任务中，向受试用户呈现不同颜色的词语(包括情绪词和中性词)，要求他们忽略词语的语义，尽可能快地命名词语的颜色，并记录受试用户的脑电信号、脑功能磁共振图、眼部信息、微表情信息和身体动作信息等生物信息。其中受试用户命名威胁相关词语的颜色的时间较中性词语的时间长，即词语的情绪信息得到了加工，干扰了对颜色的命名，这一现象被称之为情绪Stroop效应。抑郁症患者在情绪Stroop任务中，在中性词、正性词和负性词条件下的反应速度亦慢于正常人。

需要说明的是，本实施例通过任务设定采集正常心理用户和非正常心理用户在相同VR场景的不同生物特征，以实现构建用于训练多模态融合网络的训练集，从而使多模态融合网络能够学习到正常心理用户与非正常心理用户之间的生物特征差异，并以此实现用户行为预测，有效解决传统方法的局限性。同时，目前在基于人工智能的用户行为预测领域中，缺少针对用户脑电和脑磁共振等生物信息的用户行为预测的相关研究，导致相关生物样本不足；且相关生物样本的采集方式不统一而存在样本质量差问题。而本实施例通过任务设定能够稳定采集到足够数量的生物样本以及能够保证生物样本质量，从而提高用户行为预测的信度。

在一些实施例中，所述步骤S101，包括：

获取所述待测用户的待测行为类型；

基于预设任务数据库，匹配与所述待测行为类型对应的多个VR任务组，所述VR任务组包括同任务种类的多个VR任务；

从多个所述VR任务组中筛选出满足预设任务集条件的多个目标VR任务，多个所述目标VR任务组成所述VR任务集。

在本实施例中，待测行为类型包括但不限于自杀行为，还可以是其他特定意念和想法导致的特定行为，比如强迫观念导致的强迫行为、物质成瘾的心理渴求导致的觅药行为、恐惧症的回避行为、进食障碍的厌食或贪食行为等等，其中每种待测行为类型对应有多个VR任务组，即包括多个动态画面的VR任务和多个静态画面的VR任务等。例如，针对用户A的自杀行为，匹配与自杀行为对应的多个VR任务组，再从多个VR任务组中筛选出与该用户A特征相符的多个VR任务，形成VR任务集。

需要说明的是，通过与待测行为类型匹配出任务组，以针对待测行为类型进行用户行为预测，使得预测过程更具有针对性。同时通过对任务组进行筛选，以筛选出符合当前待测用户的VR任务集，找出可具区别的具有一定特征属性的关键VR场景任务，从而保证所获输入人工智能网络的客观生物信息特征的有效性和敏感性。

可选地，所述从多个所述VR任务组中筛选出满足预设任务集条件的多个目标VR任务，包括：获取所述待测用户的用户信息；基于所述用户信息，确定所述待测用户的用户类型；对于每个所述任务组，筛选出所述任务组中符合所述用户类型的所述目标VR任务。

在本可选实施例中，用户信息包括但不限于性别、年龄、职业、性格类型和已接受测试次数等；根据用户信息与用户类型之间的对应关系，对待测用户进行分类，以确定待测用户的用户类型，并选取与用户类型对应的目标VR任务。

示例性地，对于已有测试经历的待测用户，其可能对已知场景耐受而敏感性下降，或者进行故意的曲解，从而导致生物特征不明显；而对于性格敏感用户，可能因VR场景测试导致其出现急促不安，从而导致生物特征不明显。因此，本实施例通过测试次数匹配任务，以避免用户应对VR场景出现耐受或者厌烦；通过用户性格匹配任务，以避免用户在VR场景下出现非客观状态等，从而避免使生物信息特征不明显，进而进一步保证生物信息的真实性。

在一些实施例中，所述步骤S102，包括：

向所述VR设备下发所述VR任务集，以使所述VR设备根据所述VR任务集调取与所述目标VR任务对应的预设VR场景数据，并基于所述预设VR场景数据，向所述待测用户展示所述预设VR场景。

在本实施例中，将VR场景数据设置于VR设备，能够有效避免VR场景数据过大而导致从计算机设备进行数据加载时间过长的问题，提高VR场景展示的流畅性。

在一些实施例中，所述步骤S103，包括：

在所述VR设备展示所述预设VR场景过程中，采集所述待测用户的多种生物信息；

基于所述VR任务集的执行时序和所述生物信息的采集时序，生成所述待测用户在所述预设VR场景下的生物信息集，所述生物信息集包括所述执行时序与所述采集时序之间的对应关系以及多种所述生物信息。

在本实施例中，通过建立执行时序与采集时序之间的对应关系，以能够将VR场景与生物信息进行关联，以便于更好地针对用户在特定VR场景中的生物信息进行分析，进一步提高用户行为预测结构的准确性。

在一些实施例中，所述步骤S104，包括：

提取所述生物信息集中每种所述生物信息的特征信息；

利用所述待测用户的待测行为类型对应的所述目标多模态融合网络，基于多种所述特征信息，预测所述待测用户的用户行为。

在本实施例中，将提取到的多种特征信息输入到目标多模态融合网络，目标多模态融合网络根据多种特征信息进行分类决策，输出待测用户出现某种行为的概率值。

可选地，根据所述VR任务集的执行时序与所述生物信息的采集时序之间的对应关系，从所述生物信息集中确定与特征执行时序对应的多个目标生物信息，其中所述特征执行时序为执行所述VR任务集以展示VR特征场景时的时序，所述VR特征场景为能够触发所述待测行为类型的行为信号的VR场景；对多个所述目标生物信息进行特征提取，得到所述特征信息。

在本可选实施例中，对于所述目标生物信息为脑电信息，提取所述脑电信息中的脑电频谱参数，所述脑电频谱参数包括功率谱密度以及脑电信号的近似熵、小波熵、Hurst指数、小波系数、多尺度熵、分形维数和相位同步值中的一种或多种。

需要说明的是，基于大脑进行不同思维活动时产生的脑电信号(EEG)，EEG数据中蕴含了大量脑内活动的状态信息，对其进行特征提取与识别，能够发现不同VR场景下的负面行为意念者的脑电信号特征。建立完整的EEG数据预处理、特征提取与特征识别等处理流程，完成负面行为意念类别的识别。

可选地，对于目标生物信息为脑电信息，提取脑电信号的功率谱密度(powerspectral density，PSD)特征用于情绪分类；提取脑电信号的近似熵，小波熵，Hurst指数和小波系数四种特征，通过特征融合，进行情绪识别。此外，多尺度熵、分形维数、相位同步值等特征也被用于分析EEG信号。

可选地，对于所述目标生物信息为脑功能磁共振信息，针对所述脑功能磁共振信息中的目标区域信息进行特征提取，得到核磁共振特征信息。

可选地，所述目标区域信息为从待测用户的大脑特定区域中采集到的能够用于表征用户行为意念的脑功能磁共振信息，所述大脑特定区域包括杏仁核区域、额叶区域和脑岛区域中的至少一个区域。应理解，大脑特定区域也可以是表征用户行为意念的其他脑区。

在本可选实施例中，脑功能磁共振成像可以检测到脑结构与功能的异常，其中大脑磁共振(Magnetic Resonance Imaging，MRI)可以看到脑结构的情况，功能磁共振(fMRI)可以看到大脑神经的活动状态。

脑功能磁共振的工作原理：fMRI并不是直接观测神经元的活动，而是依靠血氧水平依赖效应(Blood Oxygenation Level Dependent，BOLD)来间接测定。简单来说，在神经活动活跃的脑区，局部的耗氧量增加、血流增多，这样的变化会引起局部磁场的变化，而磁共振成像这是通过这样的变化来反映神经活动。

可选地，对于每种用户行为类型的行为预测，针对该种用户行为类型对应的大脑特定区域的脑功能磁共振信息进行采集，以获得能够用于表征该种用户行为意念的脑功能磁共振信息，并相应脑功能磁共振信息进行特征提取，从而能够以更精准的特征信息作为多模态融合网络的模型输入，进而提高本申请用于多种用户行为类型的行为预测的适用性和行为预测结果的准确性。

示例性地，对于重度抑郁症患者的结构MRI数据：与健康对照组相比，重度抑郁症患者的灰质皮层厚度在眶额皮层、扣带和脑岛更小；而双相情感障碍的患者左侧额下回后部、左侧梭状回以及左侧额中回下部的灰质皮层厚度相比于正常人更小。因此，针对这些区域的磁共振特征信息进行识别。

对于脑功能磁共振成像：静息态功能MRI数据(安静不动脑子的状态下，磁共振扫描的情况下)：发现重度抑郁症的严重程度与杏仁核与额叶区域(包括：背外侧前额叶皮质和前扣带皮层)的连接减少有关。任务态功能MRI：(患者在执行给定的任务时，磁共振扫描的情况下)：发现心境障碍患者在执行情绪加工任务时在内侧前额叶皮层、杏仁核以及脑岛都呈现出异常的神经反馈，并且在执行情绪调节任务时在背外侧前额叶皮层呈现出神经反馈弱化。因此，针对这些区域的磁共振特征信息进行识别。

为了执行上述方法实施例对应的基于虚拟现实的用户行为预测方法，以实现相应的功能和技术效果。参见图2，图2示出了本申请实施例提供的一种基于虚拟现实的用户行为预测装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的基于虚拟现实的用户行为预测装置，包括：

获取模块201，用于获取待测用户对应的虚拟现实VR任务集；

下发模块202，用于向VR设备下发所述VR任务集，以使所述VR设备向所述待测用户展示预设VR场景，所述VR任务集包括多个目标VR任务；

采集模块203，用于采集所述待测用户在所述预设VR场景下的生物信息集；

预测模块204，用于基于目标多模态融合网络，对所述生物信息集进行融合决策，以预测所述待测用户的用户行为。

在一些实施例中，所述获取模块201，包括：

获取单元，用于获取所述待测用户的待测行为类型；

匹配单元，用于基于预设任务数据库，匹配与所述待测行为类型对应的多个VR任务组，所述VR任务组包括同任务种类的多个VR任务；

筛选单元，用于从多个所述VR任务组中筛选出满足预设任务集条件的多个目标VR任务，多个所述目标VR任务组成所述VR任务集。

在一些实施例中，所述筛选单元，具体用于：

获取所述待测用户的用户信息；

基于所述用户信息，确定所述待测用户的用户类型；

对于每个所述任务组，筛选出所述任务组中符合所述用户类型的所述目标VR任务。

在一些实施例中，所述下发模块202，具体用于：

向所述VR设备下发所述VR任务集，以使所述VR设备根据所述VR任务集调取与所述目标VR任务对应的预设VR场景数据，并基于所述预设VR场景数据，向所述待测用户展示所述预设VR场景。

在一些实施例中，所述采集模块203，具体用于：

在所述VR设备展示所述预设VR场景过程中，采集所述待测用户的多种生物信息；

基于所述VR任务集的执行时序和所述生物信息的采集时序，生成所述待测用户在所述预设VR场景下的生物信息集，所述生物信息集包括所述执行时序与所述采集时序之间的对应关系以及多种所述生物信息。

在一些实施例中，所述生物信息包括所述脑电信息和脑功能磁共振信息中的至少一种，以及眼部信息、微表情信息和身体动作信息中的至少一种。

在一些实施例中，所述预测模块204，包括：

提取单元，用于提取所述生物信息集中每种所述生物信息的特征信息；

预测单元，用于利用所述待测用户的待测行为类型对应的所述目标多模态融合网络，基于多种所述特征信息，预测所述待测用户的用户行为。

在一些实施例中，所述提取单元，包括：

确定子单元，用于从所述生物信息集中确定与VR特征场景对应的多个目标生物信息，所述VR特征场景为能够区分所述待测行为类型的特征生物信息的VR场景；

提取子单元，用于对多个所述目标生物信息进行特征提取，得到所述特征信息。

在一些实施例中，所述提取子单元，具体用于：

对于所述目标生物信息为脑电信息，提取所述脑电信息中的脑电频谱参数，所述脑电频谱参数包括功率谱密度以及脑电信号的近似熵、小波熵、Hurst指数、小波系数、多尺度熵、分形维数和相位同步值中的一种或多种。

在一些实施例中，所述提取子单元，还用于：

对于所述目标生物信息为脑功能磁共振信息，针对所述脑功能磁共振信息中的目标区域信息进行特征提取，得到核磁共振特征信息。

在一些实施例中，所述目标区域信息为从待测用户的大脑特定区域中采集到的能够用于表征用户行为意念的脑功能磁共振信息，所述大脑特定区域包括杏仁核区域、额叶区域和脑岛区域中的至少一个区域。

在一些实施例中，所述用户行为预测装置，还包括：

采集模块，用于基于预设训练数据采集策略，采集多个目标用户在多种预设VR场景下的生物信息样本，所述目标用户包括正常心理用户和非正常心理用户；

对比模块，用于对比所述正常心理用户的生物信息样本与所述非正常心理用户的生物信息样本，以生成目标训练样本集；

训练模块，用于利用所述目标训练样本集，对预设多模态融合网络进行迭代训练，直至所述预设多模态融合网络达到预设收敛条件，得到所述目标多模态融合网络。

在一些实施例中，所述采集模块，包括：

第一采集单元，用于在VR场景下播放预设音频，并采集多个所述目标用户的第一生物信息样本，所述预设音频包括诱发正性情绪的第一音频、诱发负性情绪的第二音频和诱发中性情绪的第三音频；

第二采集单元，用于在VR场景下展示预设情绪面孔图像，并采集多个所述目标用户的第二生物信息样本，所述预设情绪面孔图像包括负性情绪面孔图像和中性情绪面孔图像；

第三采集单元，用于在VR场景下展示预设文本图像，并采集多个所述目标用户的第三生物信息样本，所述预设文本图像包括带有颜色的正性情绪文本、负性情绪文本和中性情绪文本。

上述的基于虚拟现实的用户行为预测装置可实施上述方法实施例的基于虚拟现实的用户行为预测方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。

图3为本申请一实施例提供的计算机设备的结构示意图。如图3所示，该实施例的计算机设备3包括：至少一个处理器30(图3中仅示出一个)、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算机程序32时实现上述任意方法实施例中的步骤。

所述计算机设备3可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，该处理器30还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器31在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。

另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。

在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种基于虚拟现实的用户行为预测方法，其特征在于，包括：

获取待测用户对应的虚拟现实VR任务集；

向VR设备下发所述VR任务集，以使所述VR设备向所述待测用户展示预设VR场景，所述VR任务集包括多个目标VR任务；

采集所述待测用户在所述预设VR场景下的生物信息集；

基于目标多模态融合网络，对所述生物信息集进行融合决策，以预测所述待测用户的用户行为。

2.如权利要求1所述的基于虚拟现实的用户行为预测方法，其特征在于，所述获取待测用户对应的虚拟现实VR任务集，包括：

获取所述待测用户的待测行为类型；

基于预设任务数据库，匹配与所述待测行为类型对应的多个VR任务组，所述VR任务组包括同任务种类的多个VR任务；

从多个所述VR任务组中筛选出满足预设任务集条件的多个目标VR任务，多个所述目标VR任务组成所述VR任务集。

3.如权利要求2所述的基于虚拟现实的用户行为预测方法，其特征在于，所述从多个所述VR任务组中筛选出满足预设任务集条件的多个目标VR任务，包括：

获取所述待测用户的用户信息；

基于所述用户信息，确定所述待测用户的用户类型；

对于每个所述任务组，筛选出所述任务组中符合所述用户类型的所述目标VR任务。

4.如权利要求1所述的基于虚拟现实的用户行为预测方法，其特征在于，所述向VR设备下发所述VR任务集，以使所述VR设备向所述待测用户展示预设VR场景，包括：

向所述VR设备下发所述VR任务集，以使所述VR设备根据所述VR任务集调取与所述目标VR任务对应的预设VR场景数据，并基于所述预设VR场景数据，向所述待测用户展示所述预设VR场景。

5.如权利要求1所述的基于虚拟现实的用户行为预测方法，其特征在于，所述生物信息包括脑电信息和脑功能磁共振信息中的至少一种，以及眼部信息、微表情信息和身体动作信息中的至少一种。

6.如权利要求1所述的基于虚拟现实的用户行为预测方法，其特征在于，所述基于目标多模态融合网络，对所述生物信息集进行融合决策，以预测所述待测用户的用户行为，包括：

提取所述生物信息集中每种所述生物信息的特征信息；

利用所述待测用户的待测行为类型对应的所述目标多模态融合网络，基于多种所述特征信息，预测所述待测用户的用户行为。

7.如权利要求6所述的基于虚拟现实的用户行为预测方法，其特征在于，所述提取所述生物信息集中每种所述生物信息的特征信息，包括：

从所述生物信息集中确定与VR特征场景对应的多个目标生物信息，所述VR特征场景为能够区分所述待测行为类型的特征生物信息的VR场景；

对多个所述目标生物信息进行特征提取，得到所述特征信息。

8.如权利要求7所述的基于虚拟现实的用户行为预测方法，其特征在于，所述对多个所述目标生物信息进行特征提取，得到所述特征信息，包括：

对于所述目标生物信息为脑电信息，提取所述脑电信息中的脑电频谱参数，所述脑电频谱参数包括功率谱密度以及脑电信号的近似熵、小波熵、Hurst指数、小波系数、多尺度熵、分形维数和相位同步值中的一种或多种。

9.如权利要求7所述的基于虚拟现实的用户行为预测方法，其特征在于，所述对多个所述目标生物信息进行特征提取，得到所述特征信息，包括：

对于所述目标生物信息为脑功能磁共振信息，针对所述脑功能磁共振信息中的目标区域信息进行特征提取，得到核磁共振特征信息。

10.如权利要求9所述的基于虚拟现实的用户行为预测方法，其特征在于，所述目标区域信息为从待测用户的大脑特定区域中采集到的能够用于表征用户行为意念的脑功能磁共振信息，所述大脑特定区域包括杏仁核区域、额叶区域和脑岛区域中的至少一个区域。

11.如权利要求1所述的基于虚拟现实的用户行为预测方法，其特征在于，所述基于目标多模态融合网络，对所述生物信息集进行融合决策，以预测所述待测用户的用户行为之前，还包括：

基于预设训练数据采集策略，采集多个目标用户在多种预设VR场景下的生物信息样本，所述目标用户包括正常心理用户和非正常心理用户；

对比所述正常心理用户的生物信息样本与所述非正常心理用户的生物信息样本，以生成目标训练样本集；

利用所述目标训练样本集，对预设多模态融合网络进行迭代训练，直至所述预设多模态融合网络达到预设收敛条件，得到所述目标多模态融合网络。

12.如权利要求11所述的基于虚拟现实的用户行为预测装置，其特征在于，所述基于预设训练数据采集策略，采集多个目标用户在多种预设VR场景下的生物信息样本，包括：

在VR场景下播放预设音频，并采集多个所述目标用户的第一生物信息样本，所述预设音频包括诱发正性情绪的第一音频、诱发负性情绪的第二音频和诱发中性情绪的第三音频；

在VR场景下展示预设情绪面孔图像，并采集多个所述目标用户的第二生物信息样本，所述预设情绪面孔图像包括负性情绪面孔图像和中性情绪面孔图像；

在VR场景下展示预设文本图像，并采集多个所述目标用户的第三生物信息样本，所述预设文本图像包括带有颜色的正性情绪文本、负性情绪文本和中性情绪文本。

13.一种基于虚拟现实的用户行为预测装置，其特征在于，包括：

获取模块，用于获取待测用户对应的虚拟现实VR任务集；

下发模块，用于向VR设备下发所述VR任务集，以使所述VR设备向所述待测用户展示预设VR场景，所述VR任务集包括多个目标VR任务；

采集模块，用于采集所述待测用户在所述预设VR场景下的生物信息集；

预测模块，用于基于目标多模态融合网络，对所述生物信息集进行融合决策，以预测所述待测用户的用户行为。

14.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至12任一项所述的基于虚拟现实的用户行为预测方法。

15.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的基于虚拟现实的用户行为预测方法。

Images