CN115657846A

CN115657846A - 一种基于vr数字内容的互动方法和系统

Info

Publication number: CN115657846A
Application number: CN202211288288.8A
Authority: CN
Inventors: 王会
Original assignee: Suzhou Shutwin Digital Technology Co ltd
Current assignee: Suzhou Shutwin Digital Technology Co ltd
Priority date: 2022-10-20
Filing date: 2022-10-20
Publication date: 2023-01-31

Abstract

本发明涉及一种基于VR数字内容的互动方法和系统，所述方法包括:获取当前用户身份信息和用户固有属性信息；实时采集多维度用户交互信息；确定用户意图，并基于用户意图确定候选意图场景；确定目标场景并将目标场景数据提前加载到本地客户端或VR设备中。本发明通过分层次，分模块的逐级逐块加载，实现目标场景的快速加载，大大的减少了交互顿感，提升了互动体验。

Description

一种基于VR数字内容的互动方法和系统

【技术领域】

本发明属于VR互动技术领域，尤其涉及一种基于VR数字内容的互动方法和系统。

【背景技术】

随着互联网技术的进步，人类的交流方式逐渐向虚拟现实时代迈进。虚拟现实(VirtualReality，以下简称VR)是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种交互式的三维动态视景，其实体行为的仿真系统能够使用户沉浸到该环境中。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中，增强现实，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，

这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，随着随身电子产品运算能力的提升，预期增强现实的用途将会越来越广，目前，我们现在体验到的很多VR在游戏、地产、影视、教育、医疗等行业的应用，VR视频本质是一个包含了360°x180°全方位视角信息的球面视频，允许观众在观看时改变视角，选择感兴趣区域进行观看，由于VR视频覆盖全方位视角，因此需要更高的分辨率(8K及以上)以保证其清晰度和沉浸感。用户基于VR视频可足不出户身临其境体验精彩赛事，游览世界名胜，感受实景沉浸式教学。VR设备主要分为两种，一种是作为游戏的控制游览设备的专业VR设备，这种VR设备需要通过线缆接入高配置的电脑并使用手柄进行相应操作。另一种是VR眼镜，需要在智能终端中安装应用程序来播放相应的VR片源进行观看，用户操作需要通过人体移动来操作按钮和VR场景进行交互。随着VR体育、展览、教育等高价值化应用场景的推动，VR视频片源逐步走向超高清化。利用高像素摄像机和拼接技术，能够生产超高分辨率的VR视频，这必将带来更好的用户体验；但是随之而来的是为了提供更好的用户体验，需要瞬间或者快速展示的场景数据剧增，远程获取所需要展示数据必然会大大降低用户体验，而直接将所有数据都加载到VR设备中显然也是不显示的；因此，如何在用户实时交互过程中提供数据有效记载从而避免固化、顿感以提高交互体验是当前的热点问题也是待解决的问题；本发明基于多维度用户交互信息来确定待加载的场景集合，针对不同使用情况和预测使用情况，通过分层次，分模块的逐级逐块加载，实现目标场景的快速加载，大大的减少了交互顿感，提升了互动体验。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种基于VR数字内容的互动方法和系统，所述方法包含：

步骤S1：基于用户历史数据构建场景转移图；所述场景转移图中包括一个或多个场景节点及其转移连接关系构成的边；第一节点i到第二节点j之间边l_i,j的权重wl_i,j等于从第一节点到第二节点对应场景的转移概率；

步骤S2：获取当前用户身份信息和用户固有属性信息；

步骤S3：实时采集多维度用户交互信息；

步骤S4：确定用户意图，并基于用户意图确定候选意图场景；所述确定用户意图，具体为：基于用户交互数据获取意图特征向量；获取和用户固有属性信息对应的意图特征向量；基于意图特征向量查找对照表以获取和所述意图特征向量对应的意图；所述对照表是意图特征向量和意图之间对应关系的对照表；

步骤S5：在基于场景转移图，根据当前场景和候选意图场景确定目标场景；将目标场景数据提前加载到本地客户端；当前场景是当前用户所处的场景；

步骤S6：基于用户对场景模块的历史操作记录和目标场景的历史停留时间将目标场景中的全部或者部分模块加载到VR设备中。

进一步的，所述用户交互数据包括身体动作数据、眼神动作数据和/或触摸交互数据。

进一步的，每个意图具有一个或者多个意图特征。

进一步的，对照表有多个，每种不同的用户固有属性对应的对照表是不同的；所述对照表为预先存储的对照表。

进一步的，基于用户交互指示加载依次选择位于VR设备、本地客户端以及远端服务器中的场景数据。

一种用于实现上述基于VR数字内容的互动方法的基于VR数字内容的互动系统，所述系统设置于云服务器上，并从大数据服务器中获取所需要的用户历史数据和包括在用户历史数据中的用户操作记录；

还包括一个或多个本地客户端和一个或者多个VR设备；每个本地客户端服务于一个或者多个VR设备；VR设备在提供VR数字内容的互动时，本地客户端能够对VR设备提供场景数据以及对VR设备作管理和控制。

一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的基于VR数字内容的互动方法。

一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的基于VR数字内容的互动方法。

一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的基于VR数字内容的互动方法。

一种云服务器，其特征在于，所述云服务器被配置为执行所述的基于VR数字内容的互动方法。

本发明的有益效果包括：

(1)基于多维度用户交互信息来确定待加载的场景集合，在用户个性化数据的引导下，针对不同使用情况和预测使用情况，通过分层次，分模块的逐级逐块加载，实现目标场景的快速加载，大大的减少了顿感的发生，提升了互动体验；

(2)提出场景转移图，通过当前用户的意图猜测从全局范围内圈定目标场景，根据本地加载能力选择最可能被后续使用的场景作预加载，提高了后续的数据读取速度，避免了网络卡顿带来的体验影响；

(3)明基于停留时间和用户历史操作记录使得VR设备能够加载到更多的符合用户操作习惯的场景及其场景模块，用户无论进入哪条路径，在交互过程中都能得到良好的交互反应速度。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明提供的基于VR数字内容的互动方法的示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定通过

本发明提出一种基于VR数字内容的互动方法和系统，所述方法包括如下步骤：

步骤S1：基于用户历史数据构建场景转移图；所述场景转移图中包括一个或多个场景节点及其转移连接关系构成的边；第一节点i到第二节点j之间边l_i,j的权重wl_i,j等于从第一节点到第二节点对应场景的转移概率；该转移概率是根据用户历史数据的分析得到的；

步骤S2：获取当前用户身份信息和用户固有属性信息；其中：所述用户身份信息包括用户标识，例如：手机号、身份证号等；用户固有属性信息包括用户区别于其他用户的不易改变的属性信息；例如：性别、年龄(生日)、职业、出生地等；

步骤S3：实时采集多维度用户交互信息；其中：所述用户交互数据包括身体动作数据、眼神动作数据、触摸交互数据等维度中的一个或者多个维度；

步骤S4：确定用户意图，并基于用户意图确定候选意图场景；用户在场景之间进行的切换或停留都是有内在意图存在的，用户试图在VR之旅中寻找意图所在，所以每个人所进行的场景切换围绕该意图进行的；例如：用户意图进入花屋、意图吃饭等；

所述确定用户意图，具体为：基于用户交互数据获取意图特征向量；获取和用户固有属性信息对应的意图特征向量；基于意图特征向量查找对照表以获取和所述意图特征向量对应的意图；所述对照表是意图特征向量和意图之间对应关系的对照表；每个意图都具有一个或者多个意图特征；

优选的：所述对照表为预先存储的对照表；更进一步的，所述对照表有多个，每种用户固有属性对应的对照表是不同的，这样就能够形成对不同用户的初步区分；

所述步骤S4具体包括如下步骤：

步骤S4A1：获取一未处理维度的用户交互数据；

步骤S4A2：对于每个意图特征，判断所述用户交互数据中是否有满足所述意图特征的数据值，如果是，则将意图特征向量中对应该项意图特征的意图特征值设置为1，否则，设置为0；处理完所有的意图特征后就得到了和所述用户交互数据对应的意图特征向量；

当然设置方法是多样的，只要是将有意图和没有意图做区分即可；

步骤S4A3：判断是否所有维度的用户交互数据均处理完毕，如果是，则进入下一步骤，否则，进返回步骤S4A1；最终得到的意图特征向量的个数和用户交互数据的维度相同；

步骤S4A4：用每个意图特征向量查找用户固有属性对应的意图特征向量与意图的对照表，以获得和所述意图特征向量对应的意图集合；将所有意图特征向量对应的意图集合作并集或交集以得到最终的意图集合；最终的意图为一个或多个；

可替换的：求取所有意图特征向量的叠加向量，基于所述叠加向量查找对照表，以获得和所述意图特征向量对应的意图集合，作为最终的意图集合；

可替换的：所述确定用户意图，具体为：将用户交互信息和用户固有属性输入意图确定模型以得到用户意图；所述意图确定模型是神经网络模型，将N维的用户交互信息和1维的用户属性信息进行归一化后转换为N+1维向量，将所述N+1维向量作为所述神经网络模型的输入；预先采用用户历史数据训练所述意图确定模型；

优选的：所述意图确定模型是深度神经网络模型；

所述基于用户意图确定候选意图场景，具体为：预先设置用户意图和候选意图场景之间的关联关系，基于所述关联关系和用户意图查找并确定候选意图场景；候选意图场景能够为能够满足用户意图的场景；这里的用户意图为一个或者多个，当有多个时，需要一一确定并进行叠加；

本发明基于多维度用户交互信息来确定待加载的场景集合，针对不同使用情况和预测使用情况，通过分层次，分模块的逐级逐块加载，实现目标场景的快速加载，大大的减少了顿感的发生，提升了互动体验；

所述步骤S5具体包括如下步骤：

步骤S51：基于场景转移图，获取从当前场景到候选意图场景所经过的所有路径pt；此时，将路径中包括的所有节点对应的场景作为候选目标场景；

步骤S53：计算每条路径pt的转移概率Pr_pt；

Pr_pt＝∑wl_i,j，其中：边l_i,j∈pt；

步骤S53：获取转移概率的转移阈值TRPR；

优选的：转移阈值是预设值；使得本地客户端存储空间的大小和转移概率之间的成反相关；当本地客户端存储空间越大，则转移概率阈值越小，反之，本地客户端存储空间越小，则转移概率阈值越大；当然也可以直接设置一个合理的转移阈值；

步骤S54：确定转移概率Pr_pt大于转移阈值TRPR的路径上的所有场景作为目标场景；

步骤S55：将目标场景的场景数据提前加载到本地客户端；

本发明通过当前用户的意图猜测圈定相对全局范围内的目标场景，根据本地加载能力选择最可能被后续使用的场景作预加载，提高了后续的数据读取速度，避免了网络卡顿带来的体验影响

步骤S6：基于用户对场景模块的历史操作记录和目标场景的历史停留时间将目标场景中的全部或者部分模块加载到VR设备中；其中：每个场景包括一个或者多个场景模块，所述场景模块包括用户提供交互服务的场景交互模块；

所述步骤S6具体包括如下步骤：

步骤S61：从当前用户的对各种类型场景模块的历史操作记录获取当前用户对场景中场景模块的使用情况；

优选的：所述使用情况为对各种类型场景模块的交互次数的统计值(ItN_c)；其中：ItN_c是对c类型场景模块的交互次数的统计值；对场景模块的分类可以是多个角度的，例如：按照交互类型分，按照交互目的分等，也可以是根据使用体验分等；

步骤S62：将所述使用情况和目标场景的场景模块类型作比较以得到匹配程度MD；

优选的：将当前用户对各种类型场景模块的交互次数分布和目标场景中各种类型场景模块的数量分布(TPN_c)做比较以得到匹配程度,其中：TPN_c是目标场景中c类型场景模块的数量；两者分布情况越一致则匹配程度越高，反之，一致性越差则匹配程度越低；

可替换的：将当前用户对各种类型场景模块的交互次数分布和目标场景中各种类型场景模块的重要程度分布(TPN_c)做比较以得到匹配程度,其中：TPN_c是目标场景中c类型场景模块的重要程度；两者分布情况越一致则匹配程度越高，反之，一致性越差则匹配程度越低；

优选的：基于下式计算匹配程度MD；

其中：

是

的均值，ε是极小值；

步骤S63：基于匹配程度和目标场景历史停留时间计算目标场景的关注度IMS；具体的：基于目标场景历史停留时间TS和匹配程度MD确定目标场景的关注度IMS，使得历史停留时间和匹配程度越高，则关注度越高，反之，历史停留时间和匹配程度越低，则关注度越低；

IMS＝α×TS×MD；

其中：α是调整值，为预设值；

步骤S64：基于所述目标场景的关注度IMS选择目标场景中的全部或部分场景模块并加载到VR设备中；具体的：选择关注度大于等于上限关注度的目标场景中的全部场景模块到VR设备中；选择关注度小于等于下限关注度的目标场景中的必要场景模块到VR设备中；对于关注度在上限关注度和下限关注度之间的目标场景，选择其部分场景模块加载到VR设备中；

优选的：上限关注度大于下限关注度；必要场景是为了满足场景使用而必须加载的场景模块；

可替换的：对于关注度在上限关注度和下限关注度之间的目标场景，根据关注度的多少选择对应数量部分的场景模块加载到VR设备中，使得关注度高者被加载的场景模块数量多，而关注度低者被加载的场景模块数量少；

在场景数据被加载到本地客户端后，抵达场景的各条路径涉及场景的数据加载相对顺畅，但是对应反应速度要求更高的交互操作来说还是不够的；本发明基于停留时间和用户历史操作记录使得VR设备能够加载到更多的符合用户操作习惯的场景及其场景模块，用户无论进入哪条场景相关路径，都能得到良好的交互反应速度；也就是说，能够基于目标场景的预测交互特征确定目标场景中全部或者部分模块加载到VR设备中；此时，停留时间很短的场景由于不涉及或者设计很少的用户操作，因此，其加载质量对用户体验影响较小；而且还可以结合先加载概要场景数据等技术来提高这种情况下的用户体验；

基于相同的发明构思，本发明还提供一种基于VR数字内容的互动系统,所述系统用于实现上述基于VR数字内容的互动方法；

所述系统设置于云服务器上，并从大数据服务器中获取所需要的用户历史数据和包括在用户历史数据中的用户操作记录；

所述系统还包括一个或多个本地客户端和一个或者多个VR设备；每个本地客户端服务于一个或者多个VR设备；VR设备在提供VR数字内容的互动时，本地客户端能够对VR设备提供场景数据以及对VR设备作管理和控制；

优选的：所述控制是近距离和中距离通信控制；

术语“大数据服务器”、“云服务器”、“VR设备”或“本地客户端”包涵用于处理数据的所有种类的装置、设备和机器，举例包括可编程处理器、计算机、片上系统、或者上述中的多个或其组合。所述装置能够包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件，所述装置还可以包括代码，创建用于所述计算机程序的执行环境，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或上述一个或多个的组合的代码。该装置和执行环境可以实现各种不同计算模型基础设施，诸如web服务、分布式计算、和网格计算基础设施。

计算机程序(也被称为程序、软件、软件应用、脚本或代码)能够以编程语言的任何形式来撰写，包括汇编或解释语言、说明或过程性语言，且其可以以任何形式部署，包括作为单机程序或者作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算机程序可以但不必与文件系统中的文件相对应。程序能够存储在保持其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中，在专用于所述程序的单个文件中，或者在多个协同文件中(例如，存储一个或多个模块、子例程或代码部分的文件)。计算机程序可以部署为在一个计算机上或位于一个站点或跨多个站点分布且由通信网络互连的多个计算机上执行。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims

1.一种基于VR数字内容的互动方法，其特征在于，所述方法包含：

步骤S2：获取当前用户身份信息和用户固有属性信息；

步骤S3：实时采集多维度用户交互信息；

2.根据权利要求1所述的基于VR数字内容的互动方法，其特征在于，所述用户交互数据包括身体动作数据、眼神动作数据和/或触摸交互数据。

3.根据权利要求2所述的基于VR数字内容的互动方法，其特征在于，每个意图具有一个或者多个意图特征。

4.根据权利要求3所述的基于VR数字内容的互动方法，其特征在于，对照表有多个，每种不同的用户固有属性对应的对照表是不同的；所述对照表为预先存储的对照表。

5.根据权利要求4所述的基于VR数字内容的互动方法，其特征在于，基于用户交互指示加载依次选择位于VR设备、本地客户端以及远端服务器中的场景数据。

6.一种用于实现上述权利要求1-5中任一项方法的基于VR数字内容的互动系统，其特征在于，所述系统设置于云服务器上，并从大数据服务器中获取所需要的用户历史数据和包括在用户历史数据中的用户操作记录；

7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-5中任一项所述的基于VR数字内容的互动方法。

8.一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1-5中任一项所述的基于VR数字内容的互动方法。

9.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的基于VR数字内容的互动方法。

10.一种云服务器，其特征在于，所述云服务器被配置为执行如权利要求1-5中任一项所述的基于VR数字内容的互动方法。