CN113315963A - 扩展现实显示方法、装置、系统和存储介质 - Google Patents

Abstract

本申请涉及一种扩展现实显示方法、装置、系统和存储介质。所述方法包括：获取体验空间对应的虚拟场景模型，所述体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个所述平面显示屏呈角度设置；在所述虚拟场景模型的设定位置，朝向所述虚拟场景模型与各个所述平面显示屏对应的边界拍摄所述虚拟场景模型，得到与各个所述平面显示屏对应的虚拟场景图像；将所述虚拟场景图像传输至对应的平面显示屏进行显示。采用本方法能够改善用户视觉疲劳。

Description

扩展现实显示方法、装置、系统和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种扩展现实显示方法、装置、系统和存储介质。

背景技术

随着计算机技术的发展，出现了XR(扩展现实)技术。扩展现实是指所有由计算机技术和可穿戴设备产生的真实与虚拟结合的环境和人机交互，包括AR(AugmentedReality，增强现实)、VR(Virtual Reality，虚拟现实)、MR(Mixed Reality，混合现实)等所有描述形式。

目前XR显示设备先通过键盘、鼠标、手柄、可穿戴设备中的至少一种获取用户的交互动作，再通过VR眼镜、VR头盔等头戴式显示设备向用户展示交互效果。

然而，头戴式显示设备受限于自身的物理呈现能力，只能在用户的正前方展现虚拟图像，并遮挡用户在其它方向的视野范围。这样导致用户在体验过程中一直盯着正前方，眼球一直保持不变，很容易出现视觉疲劳。

发明内容

基于此，有必要针对上述技术显示设备的物理呈现能力受限的问题，提供一种能够改善用户视觉疲劳的扩展现实显示方法、装置、系统和存储介质。

一种扩展现实显示方法，所述方法包括：

获取体验空间对应的虚拟场景模型，所述体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个所述平面显示屏呈角度设置；

在所述虚拟场景模型的设定位置，朝向所述虚拟场景模型与各个所述平面显示屏对应的边界拍摄所述虚拟场景模型，得到与各个所述平面显示屏对应的虚拟场景图像；

将所述虚拟场景图像传输至对应的平面显示屏进行显示。

在其中一个实施例中，所述设定位置为所述虚拟场景模型的中心，围成所述体验空间的平面显示屏相互垂直或者平行。

在其中一个实施例中，所述方法还包括：

获取所述体验空间内用户的姿态信息和位置信息；

基于所述姿态信息，建立虚拟人物模型，所述虚拟人物模型的姿态与所述用户的姿态一致；

基于所述位置信息，将所述虚拟人物模型融入到所述虚拟场景模型内，所述虚拟人物模型在所述虚拟场景模型内的位置与所述用户在所述体验空间内的位置一致。

在其中一个实施例中，所述获取所述体验空间内用户的姿态信息和位置信息，包括：

对所述体验空间进行三维扫描，得到所述体验空间内用户的点云数据；

根据所述点云数据，确定所述体验空间内用户的姿态信息和位置信息。

在其中一个实施例中，所述方法还包括：

基于所述姿态信息和所述位置信息，确定所述体验空间内用户的交互指令；

通过所述平面显示屏显示与所述交互指令对应的虚拟场景模型。

在其中一个实施例中，所述方法还包括：

在所述虚拟场景模型内融入虚拟宠物模型；

将所述虚拟宠物模型映射到所述体验空间内，所述虚拟宠物模型在所述体验空间内的位置与所述虚拟宠物模型在所述虚拟场景模型内的位置一致。

在其中一个实施例中，所述方法还包括：

在保存的音频数据中搜索与所述交互指令对应的音频数据；

在通过所述平面显示屏显示与所述交互指令对应的虚拟场景模型时，通过播放器播放与所述交互指令对应的音频数据。

一种扩展现实显示装置，所述装置包括：

模型获取模块，用于获取体验空间对应的虚拟场景模型，所述体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个所述平面显示屏呈角度设置；

图像获取模块，用于在所述虚拟场景模型的设定位置，朝向所述虚拟场景模型与各个所述平面显示屏对应的边界拍摄所述虚拟场景模型，得到与各个所述平面显示屏对应的虚拟场景图像；

图像传输模块，用于将所述虚拟场景图像传输至对应的平面显示屏进行显示。

一种扩展现实显示系统，所述系统包括计算机设备和至少两个连成一体的平面显示屏，相互连接的两个所述平面显示屏呈角度设置；所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取体验空间对应的虚拟场景模型，所述体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个所述平面显示屏呈角度设置；

在所述虚拟场景模型的设定位置，朝向所述虚拟场景模型与各个所述平面显示屏对应的边界拍摄所述虚拟场景模型，得到与各个所述平面显示屏对应的虚拟场景图像；

将所述虚拟场景图像传输至对应的平面显示屏进行显示。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取体验空间对应的虚拟场景模型，所述体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个所述平面显示屏呈角度设置；

在所述虚拟场景模型的设定位置，朝向所述虚拟场景模型与各个所述平面显示屏对应的边界拍摄所述虚拟场景模型，得到与各个所述平面显示屏对应的虚拟场景图像；

将所述虚拟场景图像传输至对应的平面显示屏进行显示。

上述扩展现实显示方法、装置、系统和存储介质，通过至少两个连成一体的平面显示屏围成体验空间，相互连接的两个平面显示屏呈角度设置，可以在至少两个方向显示虚拟图像，用户在体验过程中可以转动眼球来观看不同方向上显示的虚拟图像，避免眼球一直保持不变而出现视觉疲劳。具体来说，获取由至少两个平面显示屏围成的体验空间对应的虚拟场景模型，可以在虚拟场景模型的设定位置朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像。将得到的虚拟场景图像传输至对应的平面显示屏进行显示，即可实现在至少两个方向显示虚拟图像。

附图说明

图1为一个实施例中扩展现实显示方法的应用环境图；

图2为一个实施例中扩展现实显示方法的流程示意图；

图3为一个实施例中对虚拟场景模型进行拍摄的示意图；

图4为一个实施例中虚拟相机的视野角度的示意图；

图5为一个实施例中SkeletonAnimator和Unity客户端的交互流程图；

图6为一个实施例中扩展现实显示方法整体实现的结构框图；

图7为一个实施例中扩展现实显示方法的具体应用过程的示意图；

图8为一个实施例中虚拟宠物模型为睡觉状态的示意图；

图9为一个实施例中呈现体验空间真实图像的示意图；

图10为一个实施例中在道具达到用户手上时呈现展示道具动画的示意图；

图11为一个实施例中呈现虚拟宠物模型逃跑动画的示意图；

图12为一个实施例中扩展现实显示装置的结构框图；

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的扩展现实显示方法，可以应用于如图1所示的应用环境中。其中，体验空间102由至少两个连成一体的平面显示屏104围成，相互连接的两个平面显示屏104呈角度设置，计算机设备分别与各个平面显示屏104通信连接。计算机设备获取体验空间102对应的虚拟场景模型，在虚拟场景模型的设定位置，朝向虚拟场景模型与各个平面显示屏104对应的边界拍摄虚拟场景模型，得到与各个平面显示屏104对应的虚拟场景图像，并将虚拟场景图像传输至对应的平面显示屏104进行显示。

其中，计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和服务器。

在一个实施例中，如图2所示，提供了一种扩展现实显示方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

步骤S202，获取体验空间对应的虚拟场景模型。

其中，体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个平面显示屏呈角度设置。

体验空间为用户体验虚拟场景的真实空间。用户在体验空间内，可以感受到虚拟场景带来的感官刺激。例如，将多个平面显示屏安装在同一个房间内的不同墙壁上，这个房间内的空间即为体验空间。

虚拟场景模型为在一个与体验空间大小相同的虚拟空间内构建的场景模型。虚拟场景模型与体验空间对应，每个虚拟场景模型所占用的虚拟空间与对应的体验空间所占用的真实空间大小一致。例如，体验空间为一个长为a、宽为b、高为c的长方体，则虚拟场景模型也是一个长为a、宽为b、高为c的长方体，体验空间内每个点在虚拟场景模型中都有对应的位置。

本实施例中，体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个平面显示屏呈角度设置，各个平面显示屏展现虚拟图像的方向各不相同。获取体验空间对应的虚拟场景模型，可以由各个平面显示屏显示不同视角的虚拟图像，逼真呈现出虚拟场景模型。用户在各个平面显示屏所围空间内可以有多个视角的视觉感受，产生与人眼相同的三维视觉效果，与周围环境自然融合，产生沉浸式体验。而且用户在体验过程中可以转动眼球来观看不同方向上显示的虚拟图像，避免眼球一直保持不变而出现视觉疲劳。

示例性地，如图1所示，围成体验空间的平面显示屏相互垂直或者平行，有利于呈现不同视角的图像。

以图1为例，在体验空间的正面、底面和两个侧面分别设置平面显示屏。两个侧面的平面显示屏采用10*6个显示屏板拼接而成，每个显示屏板为50厘米*50厘米。正面的平面显示屏采用9*6个显示屏板拼接而成，每个显示屏板为50厘米*50厘米。底面的平面显示屏采用9-10个显示屏板拼接而成，每个显示屏板为50厘米*50厘米。

具体地，可以先由用户通过MAYA等三维建模软件制作虚拟场景中的各个三维模型，并通过计算机设备进行保存，如保存为FBX格式文件。计算机设备再将保存的FBX格式文件导入到Unity3D等资源文件中以供使用。最后通过计算机设备按照设计场景在各个位置调用相应的模型，并进行贴图、光照渲染和比例调整，形成虚拟场景模型。

例如，用户先通过三维建模软件制作星球、陨石、着陆表面等三维模型，并通过计算机设备保存为FBX格式文件。计算机设备再将保存的FBX格式文件导入到Unity3D等资源文件中。最后通过计算机设备按照宇宙场景的设计，在不同位置调用星球、陨石、着陆表面等三维模型，并相应进行贴图光照渲染和比例调整，形成虚拟场景模型。

在实际应用中，第一次获取虚拟场景模型时，可以采用上述方式建立虚拟场景模型并进行保存，以得到虚拟场景模型。第二次以上获取虚拟场景模型时，可以直接调用保存的虚拟场景模型，以得到虚拟场景模型。

步骤S204，在虚拟场景模型的设定位置，朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像。

其中，设定位置为虚拟场景模型中的固定位置，以在同一个位置采用不同的拍摄方向拍摄虚拟场景模型，得到不同拍摄角度的虚拟场景图像。

在本实施例中，体验空间由至少两个连成一体的平面显示屏围成，平面显示屏位于体验空间的边界上。虚拟场景模型与体验空间对应，虚拟场景模型的边界与各个平面显示屏所在的体验空间的边界对应。朝向虚拟场景模型与一个平面显示屏对应的边界拍摄虚拟场景模型，可以得到这个平面显示屏对应的虚拟场景图像。因此，计算机设备朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，可以得到与各个平面显示屏对应的虚拟场景图像，进而在至少两个方向展示相应视角的虚拟场景图像，逼真地呈现出虚拟场景模型，使虚拟空间内的用户与虚拟环境融合地更加自然，产生沉浸式的体验效果。

以图1所示的平面显示屏为例，朝向虚拟场景模型与正面的平面显示屏对应的边界拍摄虚拟场景模型，即朝向虚拟场景模型的正面拍摄虚拟场景模型，得到与正面的平面显示屏对应的虚拟场景图像。朝向虚拟场景模型与左侧的平面显示屏对应的边界拍摄虚拟场景模型，即朝向虚拟场景模型的左侧拍摄虚拟场景模型，得到与左侧的平面显示屏对应的虚拟场景图像。朝向虚拟场景模型与右侧的平面显示屏对应的边界拍摄虚拟场景模型，即朝向虚拟场景模型的右侧拍摄虚拟场景模型，得到与右侧的平面显示屏对应的虚拟场景图像。朝向虚拟场景模型与底面的平面显示屏对应的边界拍摄虚拟场景模型，即朝向虚拟场景模型的底面拍摄虚拟场景模型，得到与底面的平面显示屏对应的虚拟场景图像。

具体地，如图3所示，在虚拟场景模型的设定位置，设置朝向虚拟场景模型与平面显示屏对应的边界的虚拟相机302，对视野范围内的虚拟场景模型304进行拍摄，将投影到虚拟场景模型的边界上的图像306作为与这个平面显示屏对应的虚拟场景图像。

示例性地，如图4所示，虚拟相机的视野角度可以采用反三角函数公式计算，以使虚拟相机的视野范围与虚拟场景模型的边界范围重合；

α＝2*arctan(X/Y)；

其中，α为视野角度，X为感光芯片的横向长度，Y为感光芯片的竖向长度。

示例性地，设定位置为虚拟场景模型的中心。此时，朝各个方向拍摄虚拟场景模型得到的虚拟场景图像比较全面，有利于虚拟场景的逼真呈现。

步骤S206，将虚拟场景图像传输至对应的平面显示屏进行显示。

在本实施例中，计算机设备将虚拟场景图像传输至对应的平面显示屏进行显示，相互连接的两个平面显示屏呈角度设置，因此虚拟场景图像显示在至少两个方向上，用户在体验过程中可以转动眼球来观看不同方向上显示的虚拟图像，避免眼球一直保持不变而出现视觉疲劳。

以图1所示的平面显示屏为例，将与正面的平面显示屏对应的虚拟场景图像传输至正面的平面显示屏进行显示，将与左侧的平面显示屏对应的虚拟场景图像传输至左侧的平面显示屏进行显示，将与右侧的平面显示屏对应的虚拟场景图像传输至右侧的平面显示屏进行显示，将与底面的平面显示屏对应的虚拟场景图像传输至底面的平面显示屏进行显示。

上述扩展现实显示方法中，通过至少两个连成一体的平面显示屏围成体验空间，相互连接的两个平面显示屏呈角度设置，可以在至少两个方向显示虚拟图像，用户在体验过程中可以转动眼球来观看不同方向上显示的虚拟图像，避免眼球一直保持不变而出现视觉疲劳。具体来说，获取由至少两个平面显示屏围成的体验空间对应的虚拟场景模型，可以在虚拟场景模型的设定位置朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像。将得到的虚拟场景图像传输至对应的平面显示屏进行显示，可以在不同方向分别展示虚拟场景模型在相应方向的图像，逼真地呈现出虚拟场景。而且不需要用户头戴显示设备，使用户摆脱传统XR显示设备的束缚，可以与虚拟环境融合地更加自然，产生沉浸式的体验效果。

在一个实施例中，该方法还包括：获取体验空间内用户的姿态信息和位置信息；基于姿态信息，建立虚拟人物模型，虚拟人物模型的姿态与用户的姿态一致；基于位置信息，将虚拟人物模型融入到虚拟场景模型内，虚拟人物模型在虚拟场景模型内的位置与用户在体验空间内的位置一致。

其中，姿态信息为相邻人体关节之间的方位关系。例如，手指关节、腕部关节、肘部关节自上而下排列，表明抬手姿势。又如，盆关节在膝关节下方，表明下蹲姿势。在获取到姿态信息之后，将人体通用模型中各个关节之间的方位关系调整为与姿态信息一致，即可得到虚拟人物模型。

位置信息为人体关节在体验空间内的相对位置。例如，体验空间的平面为2*X的宽度、2*Y的长度的矩形，人体关节的平面坐标为(X，Y)，表明用户位于体验空间的中心位置，如图4所示。在获取到位置信息之后，将虚拟人物模型放置到虚拟场景模型内与位置信息一致的位置处。

在本实施例中，计算机设备在用户位于体验空间内时，获取体验空间内用户的姿态信息和位置信息，可以基于姿态信息，建立虚拟人物模型，使得虚拟人物模型的姿态与用户的姿态一致，进而可以基于位置信息，将虚拟人物模型融入到虚拟场景模型内，使得虚拟人物模型在虚拟场景模型内的位置与用户在体验空间内的位置一致，实现真实人物与虚拟场景的融合。

相应地，步骤S202至步骤S206中体验空间对应的虚拟场景模型是融入有虚拟人物模型的虚拟场景模型。

在实际应用中，计算机设备循环执行步骤S202至步骤S206。如果有用户位于体验空间内，则获取体验空间内用户的姿态信息和位置信息，基于姿态信息建立虚拟人物模型，并基于位置信息，将虚拟人物模型融入到虚拟场景模型内，从而获取融入有虚拟人物模型的虚拟场景模型，进而在虚拟场景模型的设定位置朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像，并将虚拟场景图像传输至对应的平面显示屏进行显示。如果没有用户位于体验空间内，则直接获取没有融入虚拟人物模型的虚拟场景模型，进而在虚拟场景模型的设定位置朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像，并将虚拟场景图像传输至对应的平面显示屏进行显示。

在一个实施例中，获取体验空间内用户的姿态信息和位置信息，包括：对体验空间进行三维扫描，得到体验空间内用户的点云数据；根据点云数据，确定体验空间内用户的姿态信息和位置信息。

在本实施例中，通过对体验空间进行三维扫描，可以得到用户的点云数据，从而根据点云数据，确定用户的姿态信息和位置信息。与通过配有陀螺仪传感器和定位器的可穿戴设备获取姿态信息和位置信息的方式相比，对体验空间进行三维扫描的激光雷达安装在体验空间内即可，无需用户穿戴任何设备。因此，用户不会受到穿戴设备的束缚，更容易融入到显示屏呈现出来的虚拟场景中，产生沉浸式体验。

在另一个实施例中，获取体验空间内用户的姿态信息和位置信息，包括：与无标记点人体姿态服务软件建立通信连接；通过软件协议接收无标记点人体姿态服务软件实时捕获的体验空间内用户的姿态信息和位置信息。

其中，无标记点人体姿态服务软件专门用于实时捕获真实场景中真实人物的姿态信息和位置信息。

在本实施例中，通过无标记点人体姿态服务软件获取体验空间内用户的姿态信息和位置信息，可以直接利用无标记点人体姿态服务软件获取姿态信息和位置信息，在实现上更加方便。

示例性地，可以对接收的姿态信息和位置信息进行坐标转换，如将真实场景中的右手坐标系转换为虚拟场景中的左手坐标系。在左手坐标系中，x轴指向右方，y轴指向上方，z轴指向前方。在右手坐标系中，x轴指向右方，y轴指向上方，z轴指向后方。因此，将姿态信息和位置信息相对x轴和y轴形成的平面进行镜面映射，即可实现坐标转换。

具体地，无标记点人体姿态服务软件设置在服务端上。Unity(游戏引擎)客户端通过采用TCP(Transmission Control Protocol，传输控制协议)协议的SuperSocket(超级套接字)客户端实现与服务端的网络连接。计算机设备通过SkeletonAnimator(骨骼动画制作者)从Unity客户端获取骨骼数据。

如图5所示，SkeletonAnimator先向Unity客户端发送关联客户机的请求，并接收Unity客户端返回的默认客户机。再向Unity客户端发送骨骼描述信息的请求，并接收Unity客户端返回的可用状态。然后创建Avatar(替身)对象，向Unity客户端发送获取最新骨骼数据的请求，并接收Unity客户端返回的当前状态对象。最后向Unity客户端发送骨骼匹配重定向的请求，并接收Unity客户端返回的描述信息，构建Avatar和pose(姿势)处理程序。

在一个实施例中，基于姿态信息，建立虚拟人物模型，包括：获取骨骼模型；基于姿态信息，改变骨骼模型；对骨骼模型进行蒙皮，形成虚拟人物模型。

其中，改变骨骼模型包括粗调和细调。粗调是调整骨骼模型中骨骼的大小，细调是调节骨骼模型中关节点的位置。

示例性地，可以修改关节点对骨骼模型的影响权重，避免骨骼模型出现扭曲。

本实施例中，通过获取骨骼模型，可以基于姿态信息改变骨骼模型，再对骨骼模型进行蒙皮，即可形成姿态与用户一致的虚拟人物模型。

在实际应用中，第一次获取骨骼模型时，可以先扫描真实人物得到建模数据，再基于建模数据搭建骨骼模型并进行保存，从而得到骨骼模型。第二次以上获取骨骼模型时，直接获取保存的骨骼模型即可。

示例性地，计算机设备先将虚拟人物模型保存为FBX格式文件，再将保存的FBX格式文件导入到Unity3D中使用。

在一个实施例中，该方法还包括：基于姿态信息和位置信息，确定体验空间内用户的交互指令；通过平面显示屏显示与交互指令对应的虚拟场景模型。

在本实施例中，基于姿态信息和位置信息，确定体验空间内用户动作对应的交互指令，进而通过平面显示屏显示与交互指令对应的虚拟场景模型，实现人机交互，增强用户的代入感，产生沉浸式体验。

在实际应用中，将姿态信息和位置信息展现的动作与交互指令对应，有利于交互指令的准确判定，减少误识别概率以及非常规触发现象产生的概率。

例如，当用户做出拍手动作时，虚拟场景模型中的道具朝用户所在位置移动。当道具移动到用户所在位置时，虚拟场景模型中的道具变成动画播放。当用户停止拍手动作时，虚拟场景模型中动画播放暂停。其中，拍手动作的展现除了两个手部关节点接触之外，还有两个手部关节点的距离间断增大和减小。如果两个手部关节点的距离没有间断增大和减小，则即使识别出两个手部关节点接触，也判定不是拍手动作，避免由于误识别两个手部关节点接触而判定拍手动作的情况。

又如，当用户朝一个方向旋转时，虚拟场景模型向反方向旋转。具体地，用户顺时针旋转时，虚拟场景模型逆时针旋转；用户逆时针旋转时，虚拟场景模型顺时针旋转。这样，用户可以观看到整个虚拟场景模型，避免视野盲区的出现。另外，当用户下蹲时，虚拟场景模型暂停旋转；当用户起立时，虚拟场景模型继续旋转；当用户沿一条直线移动设定距离时，虚拟场景模型停止旋转。

在一个实施例中，该方法还包括：在虚拟场景模型内融入虚拟宠物模型；将虚拟宠物模型映射到体验空间内，虚拟宠物模型在体验空间内的位置与虚拟宠物模型在虚拟场景模型内的位置一致。

在本实施例中，在虚拟场景模型内融入虚拟宠物模型，并将虚拟宠物模型映射到体验空间内，虚拟宠物模型在体验空间内的位置与虚拟宠物模型在虚拟场景模型内的位置一致。这样，用户可以在体验空间内与虚拟宠物模型进行交互，并通过平面显示屏呈现交互结果。

具体地，先由用户通过MAYA等三维建模软件制作虚拟宠物模型，并通过计算机设备进行保存，如保存为FBX格式文件。计算机设备再将保存的FBX格式文件导入到Unity3D等资源文件中。最后通过计算机设备按照设计场景在各个位置调用相应的模型，如虚拟宠物模型、虚拟人物模型等，并进行贴图、光照渲染和比例调整，形成虚拟场景模型，此时虚拟宠物模型和虚拟人物模型自然融入到虚拟场景模型内。

可选地，该方法还包括：若虚拟宠物模型的交互对象未确定，并且目标用户触碰到虚拟宠物模型，则将目标用户确定为虚拟宠物模型的交互对象。

其中，虚拟宠物模型的交互对象在每个时刻只有一个，并且虚拟宠物模型的交互对象的交互指令决定平面显示屏显示的虚拟场景模型。目标用户为体验空间内的一个用户。

在本实施例中，目标用户通过触碰交互对象未确定的虚拟宠物模型，成为虚拟宠物模型的交互对象，并且获取体验空间内的控制权，平面显示屏显示的虚拟场景模型由目标用户的交互指令决定，使得虚拟宠物模型的交互、以及虚拟场景模型的展现都由体验空间内的一个用户决定，避免体验空间内多个用户的交互指令造成虚拟场景模型的呈现出现混乱。

在一个实施例中，该方法还包括：若虚拟宠物模型与虚拟宠物模型的交互对象的间距大于设定距离，则控制虚拟宠物模型在体验空间内向虚拟宠物模型的交互对象移动，直到虚拟宠物模型与虚拟宠物模型的交互对象的间距小于设定距离。

本实施例中，通过虚拟宠物模型与虚拟宠物模型的交互对象保持间距小于设定距离，能够方便用户与虚拟宠物模型进行交互，同时为用户提供逼真的虚拟场景，产生沉浸式体验。

在一个实施例中，该方法还包括：在保存的音频数据中搜索与交互指令对应的音频数据；在通过平面显示屏显示与交互指令对应的虚拟场景模型时，通过播放器播放与交互指令对应的音频数据。

本实施例中，通过在将改变的虚拟场景模型传输至对应的平面显示屏进行显示时，将音频数据传输至播放器进行播放，同时给予用户视觉和听觉感受，产生沉浸式体验。

例如，当虚拟宠物模型的交互对象未确定时，如果体验空间内的一个用户的手部关节点移动到虚拟宠物模型映射到体验空间内的位置，识别出这个用户的动作为触碰到虚拟宠物模型，则根据触摸到虚拟宠物模型对应的交互指令，将体验空间内用户确定为虚拟宠物模型的交互对象，并且通过播放器播放这个交互指令对应的音频数据“你好，我是陀螺”。这样，一方面与用户交互，使用户同时感受到视觉和听觉的反馈；另一方面，可以给予用户反馈，让用户获知已成为虚拟宠物模型的交互对象。

又如，如果目标用户的脚关节移动到虚拟宠物模型映射到体验空间内的位置，识别出目标用户的动作为踢打虚拟宠物模型，则根据踢打虚拟宠物模型对应的交互指令，通过平面显示屏显示这个交互指令对应的虚拟场景模型，虚拟宠物模型的逃跑动画，同时通过播放器播放这个交互指令对应的音频数据“没踢到，继续加油吧”。这样，同时给予用户视觉和听觉感受，产生沉浸式体验。

如图6所示，服务端获取体验空间内用户的姿态信息和位置信息，建立虚拟人物模型，并将虚拟人物模型和位置信息传输到Unity客户端。Unity客户端从MAYA等三维建模软件获取制作的虚拟场景模型和虚拟宠物模型，并基于位置信息，将虚拟人物模型和虚拟宠物模型融入到虚拟场景模型内。包括多个平面显示屏的XR装置接收融入有虚拟人物模型和虚拟宠物模型的虚拟场景模型并进行呈现。另外，MAYA等三维建模软件还制作有动画资源，Unity客户端还可以获取交互触发条件和音频资源，从而在交互触发条件下，通过XR装置呈现相应的音频资源和动画资源。

在一个实施例中，提供了一种扩展现实显示方法的具体应用过程，如图7所示，包括以下步骤：

第一，客户端接收用户在桌面快捷键上的点击操作，启动游戏。

第二，客户端进入游戏的配置界面，自动识别客户端的IP地址、选择服务器的IP地址和端口号，并接收用户选择的平面显示屏。例如，选择所有平面显示屏进行XR显示。

第三，客户端接收用户点击的“连接测试”按钮，与服务器连接成功之后进行游戏并通过平面显示屏提示给用户。

第四，客户端接收用户点击的“PLAY”按钮，加载游戏并在平面显示屏上呈现游戏加载界面给用户。

第五，客户端完成游戏加载后，平面显示屏呈现游戏主场景。此时，如果体验空间内没有用户，则虚拟宠物模型为睡觉状态，如图8所示。如果体验空间内有用户，则平面显示屏还可以呈现体验空间的真实图像，如图9所示，以了解用户在体验空间内的实际位置。

第六，如果体验空间内有用户，则虚拟宠物模型头顶出现摸头提示图标，提示用户获得控制权。此时，如果用户摸到虚拟宠物模型，则用户获得控制权，虚拟宠物模型从睡觉状态变为跟随状态，虚拟宠物模型的朝向与用户相同，并且与用户的距离不超过设定距离。

第七，用户与虚拟宠物模型进行交互。如果用户触摸虚拟宠物模型的脑袋，则播放器播放“你好，我是陀螺”的语音信息，同时平面显示器显示“你好，我是陀螺”的文字信息。如果用户做出拍手动作，则平面显示器呈现虚拟宠物模型传递道具的动画，并在道具达到用户手上时呈现展示道具的动画，如图10所示。如果用户踢打虚拟宠物模型，则随机进入导游模式和非导游模式中的一种。如果是非导游模式，则平面显示器呈现虚拟人物模型踢打虚拟宠物模型、以及虚拟宠物模型逃跑的动画，如图11所示，并带有文字提示，同时播放器播放相应的语音信息。如果是导游模式，则平面显示器呈现的虚拟场景模型按照与用户旋转方向的相反方向转动。此时，如果用户蹲下，则虚拟场景模型暂停旋转；如果用户起立，则虚拟场景模型继续旋转；如果用户向前、向后、向左和向右中的一个方向移动50公分的距离，则退出导游模式。

第八，如果用户离开虚拟空间，则失去控制权，虚拟宠物模型恢复到睡眠状态。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图12所示，提供了一种扩展现实显示装置1200，包括：模型获取模块1201、图像获取模块1202和图像传输模块1203，其中：

模型获取模块1201，用于获取体验空间对应的虚拟场景模型，体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个平面显示屏呈角度设置。

图像获取模块1202，用于在虚拟场景模型的设定位置，朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像。

图像传输模块1203，用于将虚拟场景图像传输至对应的平面显示屏进行显示。

上述扩展现实显示装置中，通过至少两个连成一体的平面显示屏围成体验空间，相互连接的两个平面显示屏呈角度设置，可以在至少两个方向显示虚拟图像，用户在体验过程中可以转动眼球来观看不同方向上显示的虚拟图像，避免眼球一直保持不变而出现视觉疲劳。具体来说，获取由至少两个平面显示屏围成的体验空间对应的虚拟场景模型，可以在虚拟场景模型的设定位置朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像。将得到的虚拟场景图像传输至对应的平面显示屏进行显示，即可实现在至少两个方向显示虚拟图像。

在一个实施例中，设定位置为虚拟场景模型的中心，围成体验空间的平面显示屏相互垂直或者平行。

在一个实施例中，该装置还包括：信息获取模块、模型建立模块和人物融入模块，其中：信息获取模块，用于获取体验空间内用户的姿态信息和位置信息。模型建立模块，用于基于姿态信息，建立虚拟人物模型，虚拟人物模型的姿态与用户的姿态一致。人物融入模块，用于基于位置信息，将虚拟人物模型融入到虚拟场景模型内，虚拟人物模型在虚拟场景模型内的位置与用户在体验空间内的位置一致。

在一个实施例中，信息获取模块包括：数据获取单元和信息获取单元，其中：数据获取单元，用于对体验空间进行三维扫描，得到体验空间内用户的点云数据。信息获取单元，用于根据点云数据，确定体验空间内用户的姿态信息和位置信息。

在一个实施例中，该装置还包括：指令确定模块和模型显示模块，其中：指令确定模块，用于基于姿态信息和位置信息，确定体验空间内用户的交互指令。模型显示模块，用于通过平面显示器显示与交互指令对应的虚拟场景模型。

在一个实施例中，该装置还包括：宠物融入模块和宠物映射模块，其中：宠物融入模块，用于在虚拟场景模型内融入虚拟宠物模型。宠物映射模块，用于将虚拟宠物模型映射到体验空间内，虚拟宠物模型在体验空间内的位置与虚拟宠物模型在虚拟场景模型内的位置一致。

在一个实施例中，该装置还包括：音频获取模块和音频传输模块，其中：音频获取模块，用于在保存的音频数据中搜索与交互指令对应的音频数据。音频传输模块，用于在通过平面显示屏显示与交互指令对应的虚拟场景模型时，通过播放器播放与交互指令对应的音频数据。

关于扩展现实显示装置的具体限定可以参见上文中对于扩展现实显示方法的限定，在此不再赘述。上述扩展现实显示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种扩展现实显示系统，该系统包括计算机设备和至少两个连成一体的平面显示屏，相互连接的两个平面显示屏呈角度设置。该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种扩展现实显示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取体验空间对应的虚拟场景模型，体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个平面显示屏呈角度设置；在虚拟场景模型的设定位置，朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像；将虚拟场景图像传输至对应的平面显示屏进行显示。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：设定位置为虚拟场景模型的中心，围成体验空间的平面显示屏相互垂直或者平行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取体验空间内用户的姿态信息和位置信息；基于姿态信息，建立虚拟人物模型，虚拟人物模型的姿态与用户的姿态一致；基于位置信息，将虚拟人物模型融入到虚拟场景模型内，虚拟人物模型在虚拟场景模型内的位置与用户在体验空间内的位置一致。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对体验空间进行三维扫描，得到体验空间内用户的点云数据；根据点云数据，确定体验空间内用户的姿态信息和位置信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于姿态信息和位置信息，确定体验空间内用户的交互指令；通过平面显示屏显示与交互指令对应的虚拟场景模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在虚拟场景模型内融入虚拟宠物模型；将虚拟宠物模型映射到体验空间内，虚拟宠物模型在体验空间内的位置与虚拟宠物模型在虚拟场景模型内的位置一致。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在保存的音频数据中搜索与交互指令对应的音频数据；在通过平面显示屏显示与交互指令对应的虚拟场景模型时，通过播放器播放与交互指令对应的音频数据。

上述扩展现实显示系统中，通过至少两个连成一体的平面显示屏围成体验空间，相互连接的两个平面显示屏呈角度设置，可以在至少两个方向显示虚拟图像，用户在体验过程中可以转动眼球来观看不同方向上显示的虚拟图像，避免眼球一直保持不变而出现视觉疲劳。具体来说，获取由至少两个平面显示屏围成的体验空间对应的虚拟场景模型，可以在虚拟场景模型的设定位置朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像。将得到的虚拟场景图像传输至对应的平面显示屏进行显示，即可实现在至少两个方向显示虚拟图像。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取体验空间对应的虚拟场景模型，体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个平面显示屏呈角度设置；在虚拟场景模型的设定位置，朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像；将虚拟场景图像传输至对应的平面显示屏进行显示。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：设定位置为虚拟场景模型的中心，围成体验空间的平面显示屏相互垂直或者平行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取体验空间内用户的姿态信息和位置信息；基于姿态信息，建立虚拟人物模型，虚拟人物模型的姿态与用户的姿态一致；基于位置信息，将虚拟人物模型融入到虚拟场景模型内，虚拟人物模型在虚拟场景模型内的位置与用户在体验空间内的位置一致。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对体验空间进行三维扫描，得到体验空间内用户的点云数据；根据点云数据，确定体验空间内用户的姿态信息和位置信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于姿态信息和位置信息，确定体验空间内用户的交互指令；通过平面显示屏显示与交互指令对应的虚拟场景模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在虚拟场景模型内融入虚拟宠物模型；将虚拟宠物模型映射到体验空间内，虚拟宠物模型在体验空间内的位置与虚拟宠物模型在虚拟场景模型内的位置一致。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在保存的音频数据中搜索与交互指令对应的音频数据；在通过平面显示屏显示与交互指令对应的虚拟场景模型时，通过播放器播放与交互指令对应的音频数据。

上述存储介质中，通过至少两个连成一体的平面显示屏围成体验空间，相互连接的两个平面显示屏呈角度设置，可以在至少两个方向显示虚拟图像，用户在体验过程中可以转动眼球来观看不同方向上显示的虚拟图像，避免眼球一直保持不变而出现视觉疲劳。具体来说，获取由至少两个平面显示屏围成的体验空间对应的虚拟场景模型，可以在虚拟场景模型的设定位置朝向虚拟场景模型与各个平面显示屏对应的边界拍摄虚拟场景模型，得到与各个平面显示屏对应的虚拟场景图像。将得到的虚拟场景图像传输至对应的平面显示屏进行显示，即可实现在至少两个方向显示虚拟图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种扩展现实显示方法，其特征在于，所述方法包括：

获取体验空间对应的虚拟场景模型，所述体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个所述平面显示屏呈角度设置；

在所述虚拟场景模型的设定位置，朝向所述虚拟场景模型与各个所述平面显示屏对应的边界拍摄所述虚拟场景模型，得到与各个所述平面显示屏对应的虚拟场景图像；

将所述虚拟场景图像传输至对应的平面显示屏进行显示。

2.根据权利要求1所述的方法，其特征在于，所述设定位置为所述虚拟场景模型的中心，围成所述体验空间的平面显示屏相互垂直或者平行。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述体验空间内用户的姿态信息和位置信息；

基于所述姿态信息，建立虚拟人物模型，所述虚拟人物模型的姿态与所述用户的姿态一致；

基于所述位置信息，将所述虚拟人物模型融入到所述虚拟场景模型内，所述虚拟人物模型在所述虚拟场景模型内的位置与所述用户在所述体验空间内的位置一致。

4.根据权利要求3所述的方法，其特征在于，所述获取所述体验空间内用户的姿态信息和位置信息，包括：

对所述体验空间进行三维扫描，得到所述体验空间内用户的点云数据；

根据所述点云数据，确定所述体验空间内用户的姿态信息和位置信息。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于所述姿态信息和所述位置信息，确定所述体验空间内用户的交互指令；

通过所述平面显示屏显示与所述交互指令对应的虚拟场景模型。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述虚拟场景模型内融入虚拟宠物模型；

将所述虚拟宠物模型映射到所述体验空间内，所述虚拟宠物模型在所述体验空间内的位置与所述虚拟宠物模型在所述虚拟场景模型内的位置一致。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在保存的音频数据中搜索与所述交互指令对应的音频数据；

在通过所述平面显示屏显示与所述交互指令对应的虚拟场景模型时，通过播放器播放与所述交互指令对应的音频数据。

8.一种扩展现实显示装置，其特征在于，所述装置包括：

模型获取模块，用于获取体验空间对应的虚拟场景模型，所述体验空间由至少两个连成一体的平面显示屏围成，相互连接的两个所述平面显示屏呈角度设置；

图像获取模块，用于在所述虚拟场景模型的设定位置，朝向所述虚拟场景模型与各个所述平面显示屏对应的边界拍摄所述虚拟场景模型，得到与各个所述平面显示屏对应的虚拟场景图像；

图像传输模块，用于将所述虚拟场景图像传输至对应的平面显示屏进行显示。

9.一种扩展现实显示系统，其特征在于，所述系统包括计算机设备和至少两个连成一体的平面显示屏，相互连接的两个所述平面显示屏呈角度设置；所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images