CN114201039A - 一种实现虚拟现实的显示设备 - Google Patents

Abstract

本申请涉及通信技术领域，特别地，涉及一种虚拟界面显示方法及第一客户端，所述方法包括：确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，根据所述中心点的坐标在虚拟场景中生成虚拟家具；根据从服务端接收到的第二客户端上传的人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，基于所述第一位置点设置所述第一客户端的视点，以使得在所述第一客户端的视点中，所述第二人体图像绕所述虚拟家具占位。从而实现了对实际开会场景的模拟。

Description

一种实现虚拟现实的显示设备

技术领域

本申请涉及通信技术领域，特别地，涉及一种实现虚拟现实的显示设备。

背景技术

VR(Virtual Reality：虚拟现实)或AR(Augmented Reality：增强现实)是可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。

发明内容

本申请提供了一种虚拟界面显示方法，应用于第一客户端，所述方法包括：

确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，其中，在所述虚拟会议的虚拟场景中，诉讼湖第一位置点和所述第二位置点围绕所述中心点设置；

根据所述中心点的坐标在虚拟场景中生成虚拟家具；根据从服务端接收到的第二客户端上传的人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，基于所述第一位置点设置所述第一客户端的视点，以使得在所述第一客户端的视点中，所述第二人体图像绕所述虚拟家具占位。

本申请的另一方面提供了一种第一客户端，包括处理器，显示器，

所述显示器用于显示虚拟会议的界面；

所述处理器，用于：

确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，其中，在所述虚拟会议的虚拟场景中，诉讼湖第一位置点和所述第二位置点围绕所述中心点设置；

根据所述中心点的坐标在显示器的虚拟场景中生成虚拟家具；根据从服务端接收到的第二客户端上传的人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，基于所述第一位置点设置所述第一客户端的视点，以使得在所述第一客户端的视点中，所述第二人体图像绕所述虚拟家具占位。

附图说明

为了更清楚地说明本申请一些实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一些实施例中显示设备的部件分解示意图；

图2为本申请一些实施例中显示设备进行采集预览的示意图；

图3为本申请一些实施例中显示设备显示器进行采集预览的示意图；

图4为本申请一些实施例中AR/VR眼镜的连接示意图；

图5为本申请一些实施例中AR/VR眼镜的连接提示信息示意图；

图6为本申请一些实施例中AR/VR眼镜的连接提示信息示意图；

图7为本申请一些实施例中AR/VR眼镜的连接提示信息示意图；

图8为本申请一些实施例中AR/VR眼镜的连接配对示意图；

图9为本申请一些实施例中AR/VR眼镜的预览提示示意图；

图10为本申请一些实施例中AR/VR眼镜的采集效果预览示意图；

图11为本申请一些实施例中AR/VR眼镜的采集效果预览示意图；

图12为本申请一些实施例中AR/VR眼镜的采集效果预览示意图；

图13为本申请一些实施例中AR/VR眼镜的采集效果预览示意图；

图14为本申请一些实施例中AR/VR眼镜的采集效果预览示意图；

图15为本申请一些实施例中虚拟社交启动后用户界面的示意图；

图16为本申请一些实施例中虚拟社交应用加入房间的操作示意图；

图17为本申请一些实施例中虚拟社交房间内的示意图；

图18为本申请一些实施例中虚拟社交房间内落座顺序的示意图；

图19为本申请一些实施例中采集场景下主相机坐标设置的示意；

图20为本申请一些实施例中虚拟设备显示图像时调整用户三维图像的示意；

图21为本申请一些实施例中虚拟社交房间内落座的示意图；

图22为本申请一些实施例中虚拟社交房间内进入虚拟用户的示意图；

图23为本申请一些实施例中虚拟社交唤起菜单的操作示意图；

图24为本申请一些实施例中虚拟社交唤起菜单的操作示意图；

图25为本申请一些实施例中虚拟社交退出房间的操作示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

本申请一些实施例可以应用于各种类型用于实现虚拟现实的显示设备，下文将就显示设备实现虚拟社交的应用为例，对显示设备的配置、及操作UI进行阐述。

图1为本申请一些实施例中显示设备的部件分解示意图。

在一些实施例中，本申请提供的用于实现虚拟现实显示设备(客户端)可可以包括如下部件：深度摄像头及其对应的摄像头支架，AR/VR眼镜，显示器，用于显示用户界面；主机等等。还可以包括连接线和其他配件。

在一些实施例中，也可以没有显示器，所有的参与端均佩戴AR/VR眼镜。

在一些实施例中，可以没有AR/VR眼镜，所有参与端均设置有显示器。

在一些实施例中，显示器是可以呈现立体图像的立体显示器。

需要说明的是，图1中用于实现虚拟现实显示设备的各个部件、及部件数量仅为一个实施例中的配置方案，以从整体上理解本文所公开的装置和方法的结构、功能、制造和用途的原理。本领域的普通技术人员可以给出其他可实现方案的示例。

在一些实施例中，所述深度摄像头可布置在一个矩形区域内，例如布置在3米×3米的正方形区域空间范围内，将深度摄像头放置于所述正方形区域的四个顶点附近，并且所述深度摄像头调整其角度使得其全部对准所述正方形区域空间范围的中心，如图2所示。

需要说明的是，所述四个深度摄像头在排布放置时其排序位置可随机摆放。

图2为本申请一些实施例中显示设备进行采集预览的示意图。

在用于实现虚拟现实的显示设备安装完成开机后，在显示器的用户界面启动虚拟社交应用，通过检测预览窗口是否正常开启、以及各个深度摄像头是否正常运行。

在一些实施例中，将四个深度摄像头的其中任意一个进行标识以供用户识别，例如标识为红色。

用户可以站立、或落坐于深度摄像头采集范围的中心区域，并且用户的面部朝向为具有红色标识的深度摄像头；于此同时，显示器将显示采集预览，用户界面将出现用户的影像。

在一些实施例中，用户面向指定的摄像头是为了方便图像采集设备进行定标，例如，将红色摄像头采集的图像作为基准侧，将用户左侧的摄像头作为第一侧，将用户右侧的摄像头作为第二侧，从根据预定好的方位对各摄像头采集的数据进行分别标记，进而在合成虚拟图像过程中，根据不同的标记调用不同侧的数据进行人像的渲染。

在一些实施例中，采集端设置4个摄像头组成矩形区域，每个摄像头朝向矩形中心。

图3为本申请一些实施例中显示设备显示器进行采集预览的示意图。在一些实施例中，显示设备放置在图像采集设备的临近位置，以便于用户查看渲染出的图像效果。

在一些实施例中，用户站立、或就坐于所述中心区域后，可以通过显示器的预览窗口播放用户当前的虚拟成像、或成像效果，以判断用户虚拟成像的采集状态是否正常。

显示设备的采集预览操作通常可以包括以下情况：显示设备是否能够展示用户的三维影像，例如不能展示用户的三维影像；显示设备是否能够完整的展示用户的三维影像，例如，用户的部分躯体展示不完整。

对应的，当显示设备不能完整的展示用户的三维影像时，可以通过调整用户位置、或深度摄像头角度，以实现显示设备能够完整的展示用户三维影像。

图4至图8示出了主机与VR眼镜连接的UI，所述连接操作可以通过VR眼镜进行操作，也可以通过主机进行操作，对应的所述UI即可以显示于VR眼镜的用户界面、也可以显示于显示器的用户界面。

图4为本申请一些实施例中AR/VR眼镜的连接示意图。

在一些实施例中，当VR眼镜和主机具备进行配对连接的通信条件时，用户界面将显示提示信息，如图4所示。所述通信条件例如可实施为所述AR/VR眼镜、主机处于相同局域网时。

所述提示信息可展示于显示器的用户界面中、和/或展示于VR眼镜的用户界面中，以方便用户操作。

图5为本申请一些实施例中AR/VR眼镜的连接提示信息示意图。

在一些实施例中，VR眼镜连接至主机，在所述VR眼镜与所述主机不能进行通信配对时，例如所述VR眼镜与所述主机处于不同的局域网时，即VR眼镜与主机跨网无法发现主机时，VR眼镜的用户界面将显示提示信息如图5所示，所述提示信息可以包括当前眼镜连接网络信息、提示文本、刷新按钮。例如，所述当前眼镜连接网络信息可以包括网络名称、所述提示文本可以包括“未能发现服务器主机；请确保当前眼镜和服务器连接到同一局域网内”、所述刷新按钮用于重新检测配对连接。

图6为本申请一些实施例中AR/VR眼镜的连接提示信息示意图。

在一些实施例中，主机连接至VR眼镜，在所述VR眼镜与所述主机不能进行通信配对时，例如所述VR眼镜与所述主机处于不同的局域网时、或VR眼镜离线关机，主机的用户界面，即显示器的用户界面将显示提示信息如图6所示，所述提示信息可以包括当前眼镜连接网络信息、提示文本、刷新按钮。例如，所述当前眼镜连接网络信息可以包括“当前眼镜未联网”、所述提示文本可以包括“当前设备已离线；请确保当前眼镜和服务器连接到同一局域网内”、所述刷新按钮用于重新检测配对连接。

图7为本申请一些实施例中AR/VR眼镜的连接提示信息示意图。

在一些实施例中，VR眼镜连接至主机，当存在多个可连接配对的主机时，VR眼镜的用户界面将显示提示信息如图7所示，所述提示信息可以包括主机信息、提示文本、刷新按钮。例如，所述主机信息可以包括主机名称、所述提示文本可以包括“选择主机连接”、所述刷新按钮用于重新检测配对连接。

在图7用户界面中，用户选择任意一个主机点击，将进行对应主机与VR眼镜的配对，所述用户界面将跳转至图8。

图8为本申请一些实施例中AR/VR眼镜的连接配对示意图。

在一些实施例中，用户选择任意一个与VR眼镜配对的主机点击后，对应的主机在用户界面中将进行高亮度显示、并配置勾选图标，当VR眼镜与主机配对成功后，图8所示的用户界面将自动关闭进入下级页面。

在一些实施例中，每一个客户端的设备可以包括采集设备，AR/VR显示器和主机，和/或成像效果显示器(例如图3的显示设备)。

在一些实施例中，主机可以和图像采集设备通信连接，可以对图像采集设备采集的数据进行处理和渲染，在和AR/VR显示器(眼镜)连接后，可以将本端显示主机提供的界面信息。示例性的，在采集过程中，可以将AR/VR显示器连接，通过AR/VR显示器显示用户的站位是否合适，以及渲染的图像效果。

图9为本申请一些实施例中AR/VR眼镜的预览提示示意图。

在一些实施例中，基于图8所示的用户界面，VR眼镜与主机配对连接成功后用户界面跳转至图9所示的AR/VR眼镜预览提示界面，主机经过一定时间的预检测，例如基本的用户位置等检测，达到检测条件后，用户界面将跳转至图10。

用户保持VR眼镜与主机的网络连接，可以通过用户界面的播放窗口所展示的用户三维影像，优化、调整用户位置、用户姿态、深度摄像头位置。

图10为本申请一些实施例中AR/VR眼镜的采集效果预览示意图。

在一些实施例中，VR眼镜与主机配对连接成功后、且用户位于深度摄像头的采集范围时，用户界面将显示为如图10所示，所述用户界面可以包括用户环境三维影像、提示文本、进入按钮、退出按钮，所述提示文本、进入按钮、退出按钮位于所述用户环境三维影像的上层显示，所述用户环境三维影像可以包括用户当前的虚拟成像以及深度摄像头、所述提示文本可以包括“采集效果预览；当前站位符合进入条件”、所述进入按钮用于进入下级界面、所述退出按钮用于退出VR眼镜预览操作。

图11为本申请一些实施例中AR/VR眼镜的采集效果预览示意图。

在一些实施例中，VR眼镜与主机配对连接成功后、且用户超出深度摄像头采集范围时，用户界面将显示为如图11所示，所述用户界面可以包括用户环境三维影像、提示文本、中心区域标识、错误提示图标。

所述用户环境三维影像可以包括用户当前的虚拟成像、深度摄像头的位置、深度摄像头采集区域、用户超出所述深度摄像头采集区域的示意图；所述提示文本可以包括“采集效果预览；请站在采集摄像头中心区域同时面向红色采集摄像头”；所述中心区域标识用于表示深度摄像头采集区域的中心位置，例如可以用一个虚拟的空心圆进行标识，并使用箭头建立所述中心区域标识与提示文本的关联，以帮助用户理解提示文本的含义；所述错误提示图标例如可实施为红色的错号，以实现明显的提示。

图12为本申请一些实施例中AR/VR眼镜的采集效果预览示意图。

在一些实施例中，VR眼镜与主机配对连接成功后、且用户没有面向标识为红色的深度摄像头、没有站立于深度摄像头采集区域的中心时，用户界面将显示为如图12所示，所述用户界面可以包括用户环境三维影像、提示文本、中心区域标识、错误提示图标。

所述用户环境三维影像可以包括用户当前的虚拟成像、深度摄像头的位置、深度摄像头采集区域、用户距离所述中心区域标识的示意、用户朝向示意；所述提示文本可以包括“采集效果预览；请站在采集摄像头中心区域同时面向红色采集摄像头”；所述中心区域标识用于表示深度摄像头采集区域的中心位置，例如可以用一个虚拟的空心圆进行标识，并使用箭头建立所述中心区域标识与提示文本的关联，以帮助用户理解提示文本的含义；所述错误提示图标例如可实施为红色的错号，以实现明显的提示。

图13为本申请一些实施例中AR/VR眼镜的采集效果预览示意图。

在一些实施例中，VR眼镜与主机配对连接成功后、深度摄像头摆放不符合标准时，用户界面将显示为如图13所示，所述用户界面可以包括用户环境三维影像、提示文本、错误提示图标。

所述用户环境三维影像可以包括深度摄像头的位置、深度摄像头采集区域；所述提示文本可以包括“采集效果预览；请将采集摄像头布置在3米x3米的矩形区域的四角”；所述错误提示图标例如可实施为红色的错号，以实现明显的提示。

需要说明的是，所述提示文本对于摄像头数量、摆放位置可以根据虚拟现实的实施技术具体内容进行配置。

图14为本申请一些实施例中AR/VR眼镜的采集效果预览示意图。

在一些实施例中，VR眼镜与主机配对连接成功后、用户位置姿态、及深度摄像头的布置符合要求时，即用户面向标识为红色的深度摄像头、站立于深度摄像头采集区域的中心时，用户界面将显示为如图14所示，所述用户界面可以包括用户环境三维影像、提示文本、正确提示图标、退出按钮、进入按钮。

所述用户环境三维影像可以包括用户当前的虚拟成像、深度摄像头的位置、深度摄像头采集区域；所述提示文本可以包括“采集效果预览；当前站位符合进入条件”；所述正确提示图标例如可实施为绿色的对号，以实现明显的提示；所述进入按钮用于进入下级界面；所述退出按钮用于取消VR眼镜预览操作。

图15为本申请一些实施例中虚拟社交启动后用户界面的示意图。

在一些实施例中，在VR眼镜与主机成功配对连接、深度摄像头的布置、用户位置及朝向符合要求时，虚拟社交应用可以进入图15所示的用户界面。

用户可以选择自己建立房间、或加入别人已建立的房间，所述房间可以实现虚拟会议室、或虚拟聊天室的效果，多个用户可以在同一房间内实现虚拟三维影像的面对面交谈、虚拟社交。

当用户自己建立房间时，可以将自己的房间号码通过社交分享的方式发送给好友，邀请好友加入用户所属房间号码的房间；

当用户加入别人的房间时，可以在用户界面输入待加入的房间号码，以加入房间，其输入过程如图16所示，图16为本申请一些实施例中虚拟社交应用加入房间的操作示意图。

在一些实施例中，用户加入别人房间的过程中，如果输入房间号码的房间不存在时，用户界面将提示房间不存在的消息，例如，在虚拟键盘上显示提示文本，所述提示文本可以包括“加入房间；当前房间不存在，请输入正确的房间号”、所述待输入区域用于输入房间号码。

在一些实施例中，用户加入别人房间的过程中，如果房间号码所属的房间已经满员时，用户界面将提示房间已满的消息，例如，在虚拟键盘上显示提示文本，所述提示文本可以包括“加入房间；当前房间已满员，请加入其他房间”、所述待输入区域用于输入房间号码。

图17为本申请一些实施例中虚拟社交房间内的示意图。

在一些实施例中，虚拟社交应用中，用户加入别人的房间、或进入自己的房间后，用户界面将显示如图17所示，所述用户界面显示了用户的个人视角范围，可以包括虚拟用户、虚拟家具，所述虚拟用户可以包括当前佩戴VR眼镜、处于深度摄像头采集区域的用户，以及房间内其他的虚拟用户的虚拟影像虚拟用户；所述虚拟家具，例如可可以包括桌子、椅子等虚拟设备，以实现虚拟社交的场景配置。

在一些实施例中，本申请提供了一种虚拟界面的显示方法，包括：

步骤01，确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，其中，在所述虚拟会议的虚拟场景中，诉讼湖第一位置点和所述第二位置点围绕所述中心点设置。

步骤02，根据所述中心点的坐标在虚拟场景中生成虚拟家具；根据从服务端接收到的第二客户端上传的人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，基于所述第一位置点设置所述第一客户端的视点，以使得在所述第一客户端的视点中，所述第二人体图像绕所述虚拟家具占位。

在一些实施例中，在加入房间后，客户端会获取会议的三维场景下的中心点和位置点，并可以根据位置点进行虚拟场景中显示位置的的选取。

在一些实施例中，服务端会根据预设的规则为加入的客户端设置显示位置。

在一些实施例中，客户端根据获取到的中心点创建虚拟家具。

在一些实施例中，用户在加入房间后，根据各用户的位置点对应的虚拟用户将按照预设的默认座次进入相应的位置。

在一些实施例中，用户在加入房间后，对应的虚拟用户将按照预设的默认座次进入相应的位置，并且虚拟用户将朝向众多虚拟用户所在区域的中心；需要说明的是，面向标识为红色的摄像头方向视为正面。

在一些实施例中，在客户端显示的人体数据为其他客户端上传的人体数据。本端的人体数据不予以显示。

在一些实施例中，在客户端显示的人体数据包括其他客户端上传的人体数据和本端采集的人体数据。

在一些实施例中，在本客户端显示的本端采集的人体数据可以是服务器处理后的数据，也可以是未通过服务器的数据。

在一些实施例中，服务器在虚拟坐标系中设定中心点，以及围绕中心点设置的位置点，接收客户端上传的采集的人体图像后，服务器根据所述中心点渲染出桌面控件，并根据所述中心点为所述人体图像进行定标，将客户端的人体图像在所述座位位置渲染出现。

在一些实施例中，各客户端对应的位置点是根据各客户端加入所述会议的时间先后顺序确定的。

在一些实施例中，各客户端对应的位置点是建立会议后预先为各客户端设置的。

在一些实施例中，在虚拟坐标系中，上述位置点与中心点之间的距离相同。

在一些实施例中，服务器在渲染人体图像时，使每一个人体图像的正面朝向所述中心点。

在一些实施例中，将渲染后的三维图像下发给各个客户端，以及各客户端的位置点，以及各位置点和中心点之间的方向矢量分别下发给各个客户端。

在一些实施例中，使客户端在显示图像的过程中，将本客户端的位置点作为本端图像的客户端基准点进行图像的渲染，并根据本客户端和中心点之间的方向矢量确定本客户端的默认视角。

在一些实施例中，本客户端使客户端在显示图像的过程中，接收服务器下发的第二客户端的人体数据，第二客户端为参会的其他客户端中的一个。本客户端会根据第二客户端的位置点作为第二客户端的人体数据的基准点进行图像的渲染，并根据第二客户端和中心点之间的方向矢量使第二客户端人体数据的正面朝向中心点。

在一些实施例中，以所述第二位置点为基准，根据所述第二人体数据，在所述虚拟场景中渲染生成第二人体图像；根据第一向量和第二向量之间的夹角，转动所述第二人体图像以使所述人体图像面向所述中心点，其中所述第一向量是所述第二位置点朝向所述中心点的向量，所述第二向量为所述第二人体数据中表征在所述第二人体数据采集时的用户朝向所述第二采集设备中的主采集设备的方向。

在一些实施例中，以所述第一位置点为基准，设置所述第一客户端的视点；根据第三向量和第四向量之间的夹角，转动所述视点以使所述人体图像面向所述中心点，其中所述第三向量是所述第一位置点朝向所述中心点的向量，所述第四向量表征在所述第一客户端进行人体数据采集时的用户朝向所述第一客户端的第一采集设备中的主采集设备的方向

在一些实施例中，在各客户端中在中心点位置设置为虚拟视点，并将虚拟视点的坐标设置为和各客户端采集设备的主相机的坐标方位相同。实现了所有人员均朝向会议桌中心的效果。图18为本申请一些实施例中虚拟社交房间内落座顺序的示意图。

在一些实施例中，虚拟社交应用中，用户加入别人的房间、或进入自己的房间后，用户界面将显示如图18所示，所述用户界面为落座后的用户视角，其落座后的角度例如可实施为45度偏移，以使得用户可以看到视野范围内更多的其他虚拟用户。

在一些实施例中，进入房间后的用户界面还可以包括预设的落座顺序标识，例如图中所示的1区、2区、3区及4区。

如图18所示，为4路虚拟会议场景示意图。图中4个用户的位置和朝向(落座姿态)为标准姿态，即都朝向会议桌中心。

对如图12所示的采集端而言，由四个摄像头组成，每个摄像头可以重建一个角度的用户虚拟模型，最后4份数据融合可生成一个完整的用户三维模型。四个摄像头有一个主摄像头(被标记的摄像头)，重建出来的三维模型的空间坐标即为在主摄像头三维空间坐标系中的坐标。如图19所示为图12的俯视二维图，假设摄像头3为主摄像头。采集端进行数据采集时用户站在摄像头组成的区域中心，正面朝向主摄像头，这样人的正前方即为主摄像头。

在一些实施例中，客户端会读取虚拟场景的中心点和作为点的三维坐标，在一些实施例中，这个读取的过程可以在会议开始之前，以便于用户选择对应不同位置点的座位。

在一些实施例中，客户端在接收到用户对作为的选择后，会上报给服务端，服务端或讲其他客户端中对应该座位的显示区域置灰，以提醒其他用户该作为不可选择。

在一些实施例中，可以在加入会议后获取虚拟场景的中心点和位置点的三维坐标，此时服务端会分配各客户端对应哪一个位置点，无需用户选择。

在一些实施例中，在显示客户端，根据中心点的位置为每个人物建立一个虚拟摄像机，模拟采集端用户和相机的空间关系。虚拟摄像机位于桌面中央，人物位于虚拟相机的正前方，即Z轴方向。四个人物的虚拟相机如图20所示。我们同样以人物3为例说明：

在一些实施例中，显示端获得到人物3的重建模型，模型导入虚拟会议场景后的人物3的默认坐标是在采集端主摄像头坐标系中的坐标，因此我们根据位置点3的坐标将人物3的模型移动到座位3处(各个座位在虚拟场景中的坐标已知)。

在一些实施例中，由于此时人物并未处于标准姿态，即并没有面朝会议桌中心。计算人物模型与会议桌中心坐标组成射线和其局部坐标系Z轴之间的夹角(即人物模型朝向与虚拟相机朝向夹角)α，并按此角度旋转人物模型。此时人物模型朝向了会议桌中心位置，使人物模型朝向虚拟相机。

在一些实施例中，计算虚拟场景中用户视点与会议桌中心坐标组成射线和用户视线之间的夹角，并按此角度旋转用户视线，此时用户视线朝向了会议桌中心位置。

在一些实施例中，根据位置点和中心点在虚拟场景中的方位朝向，确定第一向量。确定用户时限对应的第二向量，第二向量为人体数据中表征采集时的被采集人朝向主相机的方向的向量。由于此时根据位置点绘制了人体图像，因此将第二向量和第一向量旋转重合后，客户端的视角被调整为朝向会议桌的中心位置。

在一些实施例中，根据本客户端对应的位置点，确定本客户端的视点。

在一些实施例中，本客户端的视点的设置使用户的观察视角处于正常观看位置。

由于在三维场景中座位的正面朝向虚拟相机，与采集端的情况一致，所以经过旋转后，人物模型真正的朝向了会议桌中心。以上的过程相当于将虚拟场景中的人物坐标系与采集端相机系统中的坐标系进行了统一，在随后的采集端，无论用户怎么转动身体，在虚拟场景中的虚拟模型也进行了正确匹配，从而也表现出正确的身体转动。

对于用户在头戴设备中的视角：

由于用户在采集时佩戴了虚拟显示设备，人物转动身体时头戴设备的陀螺仪会产生旋转数据从而驱动虚拟现实设备中的用户视角变化。当用户佩戴虚拟现实设备后，选择相应的参会座位，则立刻将虚拟场景中的用户视点移动到相应座位的坐标处，并旋转虚拟场景中的用户视角，使其朝向会议桌中心(即虚拟相机的位置)。而在真实的采集场景中，根据上文的采集要求，用户朝向了主摄像头，而在虚拟场景中用户朝向了虚拟相机的位置，所以用户在真实采集场景中的坐标系与虚拟场景中的虚拟用户的坐标系进行了匹配统一。当用户转动时，其在虚拟显示设备中的虚拟视角也发生正确的转动。

当4路用户都经过以上的操作后，4路异地分散的用户就相聚在了一个虚拟会议场景中，大家的初始落座姿态均为标准姿态，朝向会议桌中心，所有人的坐标系都进行了统一，然后就可以像真实会议中一样进行交流了。

在一些实施例中，对于进入房间虚拟用户的数量进行了限制，例如配置的最大人数为4人，当进入房间的虚拟用户数量达到4人时，将根据上述落座顺序标识依次按照1-4的顺序依次就位落座。

在一些实施例中，对于进入房间虚拟用户的数量进行了限制，例如配置的最大人数为4人，当进入房间的虚拟用户数量为3人时，将根据上述落座顺序标识依次按照1-3的顺序依次就位落座，4区的椅子将不再显示、或显示为没有人的椅子，如图21所示，图21为本申请一些实施例中虚拟社交房间内落座的示意图。

图22为本申请一些实施例中虚拟社交房间内进入虚拟用户的示意图。

在一些实施例中，在房间内有新的虚拟用户加入时，用户界面将提示声音、及动画效果，所述动画效果可可以包括光效、文字、影像，例如所述动画效果可实施为场景环境光辐射光效；所述声音提示及动画提示可以实现有新人进入时，即使不在视野范围内也能及时感知。

在一些实施例中，由于不同客户端加入虚拟会议的时间可能存在差异，同时，用户进入后的视角默认朝向中心点位置，或者用户会转头看向其他视角，这会导致人们不能及时查看全场的新加入人员。为此，本申请提供了一种提示信息，该提示信息可以是声音信息或光效信息，以使得用户意识到在新加入的客户端对应的位置点位置有新人物出现。

在一些实施例中，根据新加入的客户端的位置点，和第一位置点在虚拟坐标系中的位置点，确定两者之间的方位矢量，根据所述方位矢量定位声像点，以使得用户意识到在新加入的客户端对应的位置点位置有新人物出现。

在一些实施例中，上述声像点的定位和新加入的客户端的位置点与第一位置点之间的方位矢量有关，由于客户端具有两个或以上的扬声器，因此通过呈现立体声音的声像点，来使用户根据接收到的立体声判断需要转头的方向。示例性的，对于图21所示的场景，在4区有新加入的客户端时，对于2区对应的客户端，确定声像点在2区位置点的右侧，因此可以通过立体声来提醒用户默认视角的右侧位置点有新加入的人物。与此同时，对于3区对应的客户端，确定声像点在3区位置点的左侧，因此可以通过立体声来提醒用户默认视角的左侧位置点有新加入的人物。在一客户端加入虚拟会议时，由于不同参乎的客户端的位置点不同，因此他们各自计算出的声像点也不同。

在一些实施例中，声像点可以被光源点来替换，以用光照效果来取代声音。在现有的虚拟会议进行中，在新人物加入时，通过在对应位置点创建的光照效果，使得用户视角内的亮度发生变化，由于光照效果所产生的亮斑和/或阴影和/或光照强弱在不同终端中有不同的显示，人眼感觉到光照效果的变化后，既可以根据亮斑和/或阴影和/或光照强弱确定光源点的相对位置，从而意识到光源点对应的位置点上有新的人物加入。

图23为本申请一些实施例中虚拟社交唤起菜单的操作示意图。

在一些实施例中，处于虚拟社交房间内的用户在发出动作指令后，可以唤起操作菜单。

在一些实施例中，正常情况下用户的坐姿为近似的直坐，其身体与数值方向竖直线夹角近似为0，这样的情况下用于实现虚拟现实的显示设备不会唤起操作菜单。

当用户产生俯视动作，引起身体与竖直线夹角超过预设阈值时，显示设备将唤起操作菜单，并控制用户界面显示所述操作菜单，例如所述预设阈值为30度，所述操作菜单可以包括退出房间按钮，用户通过操作所述退出房间按钮可以实现退出虚拟社交的房间，如图24所示，图24为本申请一些实施例中虚拟社交唤起菜单的操作示意图。

图25为本申请一些实施例中虚拟社交退出房间的操作示意图。

在一些实施例中，处于虚拟社交房间内的用户在发出动作指令后，可以唤起操作菜单，用户点击所述操作菜单的退出房间按钮，用户界面将跳转至如图25所示，所述用户界面可以包括当前房间虚拟影像、提示文本、取消按钮、确定按钮。

所述当前房间虚拟影像仍然可以实时显示房间内的虚拟用户影像和声音；所述提示文本可可以包括“确定退出房间？”；所述取消按钮用于返回房间；所述确定按钮用于退出房间。

在一些实施例中，客户端可以包括处理器和显示器，显示器用于显示虚拟会议的界面，处理器用于执行上述任一一项的方法。在一些实施例中，客户端还可以包括采集如前文介绍的采集设备。

为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请一些实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (10)

1.一种虚拟界面显示方法，应用于第一客户端，其特征在于，所述方法包括：

确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，其中，在所述虚拟会议的虚拟场景中，诉讼湖第一位置点和所述第二位置点围绕所述中心点设置；

根据所述中心点的坐标在虚拟场景中生成虚拟家具；根据从服务端接收到的第二客户端上传的人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，基于所述第一位置点设置所述第一客户端的视点，以使得在所述第一客户端的视点中，所述第二人体图像绕所述虚拟家具占位。

2.如权利要求1所述的方法，其特征在于，所述根据从服务端接收到的第二客户端上传的第二人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，包括：

接收服务端发送的第二人体数据，其中，所述第二人体数据是所述第二客户端的第二采集设备采集后上传的；

以所述第二位置点为基准，根据所述第二人体数据，在所述虚拟场景中渲染生成第二人体图像；

根据第一向量和第二向量之间的夹角，转动所述第二人体图像以使所述人体图像面向所述中心点，其中所述第一向量是所述第二位置点朝向所述中心点的向量，所述第二向量为所述第二人体数据中表征在所述第二人体数据采集时的用户朝向所述第二采集设备中的主采集设备的方向。

3.如权利要求1所述的方法，其特征在于，所述第一客户端所述设置所述第一客户端的视点包括：

以所述第一位置点为基准，设置所述第一客户端的视点；

根据第三向量和第四向量之间的夹角，转动所述视点以使所述人体图像面向所述中心点，其中所述第三向量是所述第一位置点朝向所述中心点的向量，所述第四向量表征在所述第一客户端进行人体数据采集时的用户朝向所述第一客户端的第一采集设备中的主采集设备的方向。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

采集第一客户端的用户的三维数据以得到第一人体数据；

将所述第一人体数据上传到服务器，以使所述服务器下发给所述虚拟会议的其他客户端进行显示。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：所述确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，包括：

启动所述虚拟会议，接收服务器发送的中心点以及可选择的位置点；

接收用户对位置点的选择，将被选择的位置点作为对应所述第一客户端的第一位置点；

接收服务器发送的对应第二客户端的第二位置点。

6.第一客户端，其特征在于，包括处理器，显示器，

所述显示器用于显示虚拟会议的界面；

所述处理器，用于：

确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，其中，在所述虚拟会议的虚拟场景中，诉讼湖第一位置点和所述第二位置点围绕所述中心点设置；

根据所述中心点的坐标在显示器的虚拟场景中生成虚拟家具；根据从服务端接收到的第二客户端上传的人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，基于所述第一位置点设置所述第一客户端的视点，以使得在所述第一客户端的视点中，所述第二人体图像绕所述虚拟家具占位。

7.如权利要求1所述的第一客户端，其特征在于，所述根据从服务端接收到的第二客户端上传的第二人体数据和所述第二位置点，在所述虚拟场景中生成第二人体图像，包括：

接收服务端发送的第二人体数据，其中，所述第二人体数据是所述第二客户端的第二采集设备采集后上传的；

以所述第二位置点为基准，根据所述第二人体数据，在所述虚拟场景中渲染生成第二人体图像；

根据第一向量和第二向量之间的夹角，转动所述第二人体图像以使所述人体图像面向所述中心点，其中所述第一向量是所述第二位置点朝向所述中心点的向量，所述第二向量为所述第二人体数据中表征在所述第二人体数据采集时的用户朝向所述第二采集设备中的主采集设备的方向。

8.如权利要求1所述的第一客户端，其特征在于，所述第一客户端还包括第一采集设备，所述第一客户端所述设置所述第一客户端的视点包括：

以所述第一位置点为基准，设置所述第一客户端的视点；

根据第三向量和第四向量之间的夹角，转动所述视点以使所述人体图像面向所述中心点，其中所述第三向量是所述第一位置点朝向所述中心点的向量，所述第四向量表征在所述第一客户端进行人体数据采集时的用户朝向所述第一采集设备中的主采集设备的方向。

9.如权利要求8所述的第一客户端，其特征在于，

接收所述第一采集设备采集第一客户端的用户的三维数据；

生成第一人体数据并将所述第一人体数据上传到服务器，以使所述服务器下发给所述虚拟会议的其他客户端进行显示。

10.如权利要求1所述的第一客户端，其特征在于，所述方法还包括：所述确定虚拟会议的中心点，以及对应所述第一客户端的第一位置点，和对应第二客户端的第二位置点，包括：

启动所述虚拟会议，接收服务器发送的中心点以及可选择的位置点；

接收用户对位置点的选择，将被选择的位置点作为对应所述第一客户端的第一位置点；

接收服务器发送的对应第二客户端的第二位置点。

Images