CN114615487B - 一种三维模型的显示方法及设备 - Google Patents

Abstract

本申请涉及VR技术领域，提供一种三维模型的显示方法及设备，应用于三维通信系统，采集终端和渲染终端显示同一三维场景。交互过程中，渲染终端将自身相机参数集合发送给采集终端，采集终端根据该相机参数集合重置自身相机，并确定重建的人体模型到重置后相机的距离以及渲染该人体模型对应的人物图像，将确定的距离和人物图像发送渲染终端。渲染终端根据距离以及自身的相机参数集合，将人物图像渲染在三维场景中进行显示。二维人物图像相对于三维模型数据，数据量小，降低了网络带宽的传输压力；且渲染终端开启了透明度混合功能，保证人物图像的纯色背景区域的透明度被设置为全透明时，不会遮挡三维场景中的三维模型，保证了三维场景的正常显示。

Description

一种三维模型的显示方法及设备

技术领域

本申请涉及虚拟现实(Virtual Reality，VR)技术领域，尤其涉及一种三维模型的显示方法及设备。

背景技术

近年来，三维重建技术逐渐成为VR和三维显示领域的重点研究内容，广泛应用于远程三维通信、三维视频直播等场景。

在实时远程三维通信系统中，不同终端之间通过传输数据进行交互。由于交互过程中的三维重建数据是动态生成的，每一帧三维重建数据都不同，这样，在多终端进行远程三维通信时，一个终端每显示一帧画面需要同时接收多路三维重建数据，总的数据量巨大，对网络带宽的要求较高，往往需要几百兆的网络带宽，这对家用网络和专线网络来说都是不小的挑战。当网络带宽不满足传输实时传输要求时，容易造成显示卡顿的现象，影响用户体验。

在相关技术中，通过降低三维模型的重建精度以减少传输的数据量，降低对网络带宽的压力，但会降低模型的显示效果。目前，在实时远程三维通信系统中，大多采用″预建模+实时驱动″的方式进行显示，即只传输一帧用于重建初始模型的完整三维重建数据，后续便实时传输数量级较小的人物骨架数据，利用实时骨架数据，驱动初始模型运动。这种方式虽然可以减少实时传输的数据量，但由于驱动初始模型的骨架数据往往仅有十几或二十几个关节点，导致驱动效果的不够逼真，容易产生模型僵硬、扭曲、变形等问题，降低了模型的真实性。

发明内容

本申请实施例提供了一种三维模型的显示方法及设备，用以减少三维模型的数据量，降低网络带宽压力，进而提高远程三维通信的实时性。

第一方面，本申请实施例提供一种三维模型的显示方法，应用于三维通信系统中的至少一个采集终端，所述采集终端与所述三维通信系统中的至少一个渲染终端连接；针对每一个采集终端，所述方法包括：

获取目标三维场景数据进行渲染显示；

针对每一视频帧，重建人体模型，并按照预设的空间位置关系进行放置；

接收各个渲染终端发送的相机参数集合，并根据各个相机参数集合，重置自身的相机；

针对每一个相机参数集合，隐藏三维场景，将所述相机参数集合下显示的人体模型的空间背景设置为纯色，并确定所述人体模型到按照所述相机参数集合重置后的相机的距离；以及，渲染所述相机参数集合下显示的人体模型的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

将所述各个相机参数集合各自对应的距离和人物图像，分别发送给相应的渲染终端，以使所述渲染终端根据自身的相机参数以及接收的距离，将相应的人物图像渲染显示在所述三维场景中。

第二方面，本申请实施例提供一种三维模型的显示方法，应用于三维通信系统中的至少一个渲染终端，所述渲染终端与所述三维通信系统中的至少一个采集终端连接；针对每一个渲染终端，所述方法包括：

开启透明度混合功能，获取目标三维场景数据进行渲染显示；

将自身的相机参数集合发送给各个采集终端，所述相机参数集合用于所述各个采集终端确定相应的人体模型到按照所述相机参数集合重置后相机的距离，以及用于所述各个采集终端渲染相应的人体模型对应的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡三维场景中的三维模型；

接收所述各个采集终端分别发送的距离和人物图像；

根据各个距离以及自身的相机参数集合，分别确定视景体内相应数量的可视裁剪面；将各个人物图像，分别渲染在相应的可视裁剪面上，并在所述三维场景中进行显示。

第三方面，本申请实施例提供一种采集终端，应用于三维通信系统，与所述三维通信系统中的至少一个渲染终端连接，包括处理器、存储器、显示器和通信接口；所述通信接口、所述显示器、所述存储器与所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

通过所述通信接口，获取目标三维场景数据，根据所述目标三维场景数据渲染三维场景，并由所述显示器进行显示；

针对每一视频帧，重建人体模型，并按照预设的空间位置关系放置在所述三维场景中；

通过所述通信接口，接收各个渲染终端发送的相机参数集合，并根据各个相机参数集合，重置自身的相机；

针对每一个相机参数集合，隐藏三维场景，将所述相机参数集合下显示的人体模型的空间背景设置为纯色，并确定所述人体模型到按照所述相机参数集合重置后的相机的距离；以及，渲染所述相机参数集合下显示的人体模型的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

通过所述通信接口，将所述各个相机参数集合各自对应的距离和人物图像，分别发送给相应的渲染终端，以使所述渲染终端根据自身的相机参数以及接收的距离，将相应的人物图像渲染显示在所述三维场景中。

第四方面，本申请实施例提供一种渲染终端，应用于三维通信系统，与所述三维通信系统中的至少一个采集终端连接，包括处理器、存储器、显示器和通信接口；所述通信接口、所述显示器、所述存储器与所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

开启透明度混合功能，并通过所述通信接口，获取目标三维场景数据，根据所述目标三维场景数据渲染三维场景，由所述显示器进行显示；

通过所述通信接口，将自身的相机参数集合发送给各个采集终端，所述相机参数集合用于所述各个采集终端确定相应的人体模型到所述渲染终端的相机的距离，以及用于所述各个采集终端渲染相应的人体模型对应的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

通过所述通信接口，接收所述各个采集终端分别发送的距离和人物图像；

根据各个距离以及自身的相机参数集合，分别确定视景体内相应数量的可视裁剪面；

将各个人物图像，分别渲染在相应的可视裁剪面上，并通过所述显示器显示在三维场景中。

第五方面，本申请实施例提供一种三维通信系统，包括至少一个采集终端、至少一个渲染终端和传输终端：

所述传输终端用于连接所述采集终端和所述渲染终端，并传输所述采集终端和所述渲染终端的数据，所述采集终端用于执行第一方面所述的方法，所述渲染终端用于执行第二方面所述的方法。

第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的三维模型的显示方法。

本申请的上述实施例中，三维通信系统中的至少一个采集终端和至少一个渲染终端连接，每个渲染终端均开启了透明度混合功能，且获取的目标三维场景数据相同。针对每一个采集终端，根据获取的目标三维场景数据渲染三维场景并显示，重建每一视频帧的人体模型，并放置在三维空间中的预设位置，每次接收到渲染终端发送的相机参数集合后，重置自身的相机，并隐藏三维场景，将人体模型的空间背景设置为纯色，确定该相机参数集合下显示的人体模型到重置后相机的距离，并按照该相机参数集合，渲染人体模型对应的人物图像，将确定的距离和人物图像发送给该相机参数集合对应的渲染终端。渲染终端根据接收的距离以及自身的相机参数集合，确定视景体内的可视裁剪面，将人物图像渲染在该可视裁剪面上，并在三维场景中进行显示。由于人物图像的纯色背景区域的透明度被设置为全透明，因此，人物图像中背景不会遮挡三维场景中的三维模型，保证了三维场景的正常显示；并且，二维的人物图像相对于三维模型数据，数据量较小，降低了网络带宽的传输压力，减少了渲染终端显示延迟，提高了远程三维通信的实时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的远程三维通信系统的架构图；

图2示例性示出了本申请实施例提供的采集终端实现的三维模型的显示方法流程；

图3示例性示出了本申请实施例提供的去除三维场景后单独人体模型；

图4示例性示出了本申请实施例提供的人物图像；

图5示例性示出了本申请实施例提供的渲染终端实现的三维模型的显示方法流程；

图6示例性示出了本申请实施例提供的人物图像的穿帮显示效果；

图7示例性示出了本申请实施例提供的相机的视景体的透视图；

图8示例性示出了本申请实施例提供的确定可视裁剪面的示意图；

图9示例性示出了本申请实施例提供的人物图像在可视裁剪面上的显示效果图；

图10示例性示出了本申请实施例提供的多张人物图像的显示效果图；

图11示例性示出了本申请实施例提供的采集终端和渲染终端的交互流程图；

图12示例性示出了本申请实施例提供的采集终端的结构图；

图13示例性示出了本申请实施例提供的渲染终端的结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

三维重建是指根据单视图或者多视图的图像重建三维信息的过程。对于一些静态场景、物体，通过静态三维重建算法重建场景和物体的三维模型，然后渲染在三维场景中进行显示。对于一些动态的物体(比如：人、动物等)，由于是动态变化的，往往需要建立一系列的三维模型，将这些三维模型按顺序进行渲染显示以描述物体的运动状态。

动态三维重建技术的一个重要应用场景为实时远程三维通信系统。由采集终端基于采集的图像重建三维模型后，将三维重建数据通过云端传输给渲染终端进行渲染显示。

例如，在实时远程三维通信系统的虚拟社交场景中，不同用户端通过三维重建将各自的动态三维模型数据传输给其它用户端，其它用户端接收到这些数据后在本端进行渲染显示。相对于传统的语音或者视频通讯方式，该方式可以让处于异地的用户达到身临其境的社交体验。

需要说明的是，本申请实施例中的采集终端和渲染终端是相对用户而言的。例如，用户A对应一个显示终端1，用户B对应一个显示终端2，显示终端1对于用户A来说是采集终端，对于用户B来说则是渲染终端，同理，显示终端2对于用户B来说是采集终端，对于用户A来说则是渲染终端。

实时远程三维通信主要关注人体的三维重建，需要将每一帧人体的三维重建数据(包括模型顶点、面片、和纹理等)进行实时传输。因此，在保证三维人体重建模型的精度和真实性的同时，又可以实现模型数据的实时传输，成为远程实时远程三维通信系统产品化的研究重点。

如果通过降低三维人体模型的重建精度以减少传输的数据量，降低对网络带宽的压力，则会降低模型的显示效果。因此，目前的实时远程三维通信系统中，大多采用″预建模+实时驱动″的方式进行显示，即只传输一帧用于重建初始人体模型的完整三维重建数据，后续便实时传输数量级较小的人物骨架数据，利用实时骨架数据，驱动初始人体模型运动。这种方式虽然可以减少实时传输的数据量，但由于驱动初始模型的骨架数据往往仅有十几或二十几个关节点，导致驱动效果的不够逼真，容易产生模型僵硬、扭曲、变形等问题，降低了模型的真实性。

鉴于此，本申请实施例提供一种三维模型的显示方法及设备，可以解决实时远程三维通信系统中数据量大、带宽不足的问题，确保不会因为数据量和带宽限制而无法实时渲染显示。考虑到三维模型最终是以二维图像进行显示的，因此，在该方法中，采集终端通过传输三维人体模型的二维投影图像来降低网络传输的数据量，保证了三维模型的精度；渲染终端将接收的二维投影图像中的人物渲染在三维场景中合适的位置、角度进行显示，由于二维投影图像是采集终端根据渲染终端的相机参数生成的，确保了图像中的人物能够与三维场景准确融合。相对于相关技术，二维投影图像相对于三维人体模型数据(包括几何和纹理数据)的数据量小，降低了网络带宽压力，从而在保证模型精度和真实性的情况下，实现模型的实时渲染显示，提升用户体验。

下面结合附图详细描述本申请的实施例。

图1示例性示出了本申请实施例提供的一种远程三维通信系统的架构图，如图1所示，该系统包括采集终端101、传输终端102、渲染终端103，渲染终端103开启了透明度混合功能。

采集终端101和渲染终端103分别从传输终端102获取同一目标三维场景数据，根据目标三维场景数据渲染三维场景并显示。

交互过程中，采集终端101针对每一视频帧，重建人体模型，并按照预设的空间位置关系放置在三维场景中。渲染终端103通过传输终端102，将自身的相机参数集合发送给采集终端101，采集终端101根据该相机参数集合重置自身的相机参数后，隐藏三维场景，并将该相机参数集合下显示的人体模型的空间背景设置为纯色，然后确定人体模型到重置后相机的距离，以及渲染该相机参数集合下显示的人体模型对应的人物图像，并设置该人物图像的纯色背景区域的透明度分量为全透明。进一步地，采集终端101通过传输终端102，将确定的距离和该人物图像发送给渲染终端103。渲染终端103根据自身的相机参数和接收的距离，确定视景体内的可视裁剪面，将该人物图像，渲染在相应的可视裁剪面上，并在三维场景中进行显示。

其中，采集终端101和渲染终端103可以是电视、手机、电脑、VR/AR设备等显示设备。传输终端102可以是独立的物理服务器，或者，多个物理服务器构成的服务器集群或者分布式系统，或者，提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、以及大数据和人工智能平台等基础云计算服务的云服务器等。

需要说明的是，图1仅是一种示例，远程三维通信系统中可以有多个采集终端101和多个渲染终端103。

基于图1所示的系统架构，以一个采集终端为例，图2示例性示出了本申请实施例提供的三维模型的显示方法流程，该流程由采集终端执行，主要包括以下几步：

S201：获取目标三维场景数据进行渲染显示。

在本申请的实施例中，采集终端与渲染终端连接后，从传输终端获取目标三维场景数据，根据获取的目标三维场景数据，渲染三维场景并显示。其中，三维场景为当前相机的可视范围，如图3所示，三维场景为一间封闭的屋子。

其中，目标三维场景数据可以是由渲染终端根据用户的选择预先确定后通知给采集终端的，也可以是由采集终端根据用户的选择预先确定后通知给渲染终端的，这样，可以保证采集终端和渲染终端需获取相同的目标三维场景数据，从而使各交互终端对应的用户处于同一虚拟环境。

S202：针对每一视频帧，重建人体模型，并按照预设的空间位置关系进行放置。

交互过程中，人体可能处于动态的变化过程，因此，在执行S202时，采集终端针对每一视频帧，根据采集的数据重建人体模型，并按照预先设定的空间位置关系，将重建的人体模型放置在三维场景中，如图3所示。其中，采集终端采集的数据可以是RGB图像，也可以是RGB图像和深度图像。

通常的，在相关技术中，采集终端将人体模型的三维重建数据发送给渲染终端后，渲染终端根据接收的三维重建数据将人体模型渲染显示在三维场景中的相应位置处，如图3所示。但渲染终端对三维场景以及人体模型进行显示时，最终是以二维图像的形式显示的，如图4所示。因此，在本申请的实施例中，渲染终端可以将自身的相机参数集合发送给采集终端后，采集终端将除重建的人体模型以外的三维场景全部隐藏，并按接收的相机参数集合设置自身相机，然后渲染一帧人体模型对应的人物图像。由于采集终端重置后和渲染终端的相机参数是相同，这样，渲染出的二维人物图像中人物的位置，与人体模型在三维场景中的相应位置的显示效果是一致的。具体实施过程参见S203-S206。

S203：接收各个渲染终端发送的相机参数集合，并根据各个相机参数集合，重置自身的相机。

在本申请的实施例中，采集终端可以连接一个或多个渲染终端，不同渲染终端的相机参数不同，相机用于模拟用户的视角。下面以一个渲染终端为例，描述相机的重置过程。

具体实施时，渲染终端通过传输终端，将自身的相机参数集合发送给采集终端，其中，相机参数集合包括相机视场角(包括水平视场角和垂直视场角)、相机位置、相机朝向。采集终端接收到该相机参数集合后，重新设置自身的相机参数，这样，采集终端重置后的相机和渲染终端的相机的视角范围、方向就完全一致了，此时，当前相机参数集合下显示的人体模型，可以代表该渲染终端中看到的人体模型。

例如，采集终端按照渲染终端的相机参数集合重置后，当前相机参数集合下显示的人体模型从三维空间的边缘位置移动到中间位置，即该人体模型在渲染终端中显示在三维空间的中间位置。

S204：针对每一个相机参数集合，隐藏三维场景，将该相机参数集合下显示的人体模型的空间背景设置为纯色，并确定该人体模型到按照该相机参数集合重置后的相机的距离。

在S204中，针对每一个相机参数集合，隐藏三维场景后，三维空间中只剩下该人体模型。由于采集终端按照该相机参数集合重置了相机，这样，人体三维模型在按照该相机参数集合设置的后的相机中的位置可能会发生变化，因此，在隐藏三维场景后，将该相机参数集合下显示的人体模型的空间背景设置为纯色，以便进行前后背景的分割。

需要说明的是，不同相机参数集合集重置后的相机，人体模型的位置不同，得到不同区域的空间背景。

进一步地，在S204中，确定该人体模型到按照该相机参数集合重置后的相机的距离。由于采集终端按照该相机参数集合重新设置了自身的相机参数，这样，人体模型到重置后相机的距离，可以反映渲染终端中的相机到三维场景中人体模型的距离。

S205：渲染该相机参数集合下显示的人体模型的人物图像，并将该人物图像的纯色背景区域的透明度被设置为全透明。

在S205中，采集终端按照该相机参数集合重置相机后，当前相机参数集合下显示的人体模型代表了一个渲染终端中看到的人体模型，因此，按照该相机参数集合，渲染的该人体模型对应的人物图像，由于重置后的采集终端中相机的参数与渲染终端中相机的参数相同，渲染出的二维人物图像中人物的位置，与人体模型在三维场景中的相应位置的显示效果是一致的，人物在图像中的位置可以反映人体模型在三维空间的位置。渲染后的人物图像效果如图4所示。

进一步地，得到人物图像后，对该人物图像进行前后背景的分割，得到纯色背景区域，为了使人物图像与三维场景更好的融合，在S205中，将该人物图像的纯色背景区域的透明度被设置为全透明，即A分量的取值为0.0，以便不会遮挡三维场景中的三维模型(包括场景模型和其它人体模型)。

S206：将各个相机参数集合各自对应的距离和人物图像，分别发送给相应的渲染终端，以使渲染终端根据自身的相机参数以及接收的距离，将相应的人物图像渲染显示在三维场景中。

其中，人体模型到重置后相机的距离用于确定三维场景中相应的人物图像所在的可视裁剪面，由于采集相机按照各个渲染终端发送的相机参数集合进行了重置，人体模型到重置后相机的距离等于人物模型到相应的渲染终端中相机的距离，每一个相机参数集合对应的距离，小于等于采集终端按照该相机参数集合重置后的相机的视景体内远裁剪面与该相机的第一距离，且大于等于采集终端按照该相机参数集合重置后的相机的视景体内近裁剪面与该相机的第一距离。可视裁剪面的具体描述参见渲染终端侧的方法描述。

在S206中，由于二维的人物图像相对于三维重建数据，数据量较小，可以降低网络带宽的压力，这样，每个渲染终端可以实时接收到采集终端发送的人物图像和距离，从而按照接收的距离，将人物图像合理的显示在三维场景中，减少了视频卡顿的现象，提升了用户体验；并且，由于人物图像的纯色背景区域的透明度分量被设置为全透明，因此，人物图像的背景不会遮挡三维场景中的其它模型，保证了视频帧的正常显示。

基于图2所示的采集终端的流程，图5从一个渲染终端的角度，示例性示出了本申请实施例提供的三维模型的显示方法流程，主要包括以下几步：

S501：获取目标三维场景数据进行渲染显示，并开启透明度混合功能。

在本申请的实施例中，渲染终端与一个或多个采集终端连接后，从传输终端获取目标三维场景数据，以保证远程三维通信系统中的交互终端均处于同一虚拟环境，提升面对面交互的沉浸感。获取目标三维场景数据后，根据获取的三维场景数据，渲染三维场景并显示。

透明度混合功能开启后，针对任一张二维图像，对于透明度(A)分量取值不为1.0的像素点的颜色值，可以实现透明效果，当A分量取值为0.0时，可以实现全透明，全透明像素点的颜色值为背景颜色，当A分量取值大于0.0且小于1.0时，可以实现非全透明，非全透明像素点的颜色值会根据A分量的值与背景颜色的颜色混合生成。

S502：将自身的相机参数集合发送给各个采集终端。

其中，相机参数集合包括相机视场角、相机位置和相机朝向，相机视场角包括水平视场角和垂直视场角。

各个采集终端接收到该相机参数集合后，根据该相机参数集合，重置自身的相机，以保证重置后相机中显示的人体模型，与渲染终端中的相机中显示的人体模型的效果一致。当相机重置后，各个采集终端分别确定人体模型到重置后相机的距离，该距离表征了该人体模型到渲染终端中相机的距离。以及，各个采集终端根据该相机参数集合重置自身相机后，渲染的人体模型的人物图像可以表征渲染终端中看到的人物图像，并且，每一张人物图像的纯色背景区域的透明度分量被设置为全透明，从而不会遮挡三维场景中的三维模型。

S503：接收各个采集终端分别发送的距离和人物图像。

在S503中，渲染终端通过传输终端接收各个采集终端发送的距离和人物图像，距离与人物图像一一对应。

S504：根据各个距离以及自身的相机参数集合，分别确定视景体内相应数量的可视裁剪面。

以连接一个采集终端为例，渲染终端接收一个距离和一张人物图像，渲染终端根据该距离和自身的相机参数集合，确定视景体内的一个可视裁剪面，该可视裁剪面用于显示接收的人物图像。

由于人物图像是二维的，且是按照渲染终端的相机参数集合渲染的特定角度的图像，如果可视裁剪面的位置、角度、大小不能准确的确定，人物图像在三维场景中的显示效果就会与真实的人体模型在三维场景中显示效果不同，造成穿帮现象，如图6所示，降低了用户的沉浸式体验。因此，在本申请的实施例中，用于在三维场景中显示人物图像的可视裁剪面的位置、角度、大小是显示的关键。

图7示例性示出了本申请实施例提供的三维可视化领域中相机视景体的示意图，在图7中，E为相机的位置，E-D1D2D3D4表示的四棱锥称为视锥体(也称为视景体)，A1A2A3A4和D1D2D3D4分别为视景体的近裁剪面和远裁剪面，近裁剪面和远裁剪面分别表示了人眼可以看到的最近范围和最远范围。近裁剪面、远裁剪面和视锥体组成的台型A1A2A3A4-D1D2D3D4内部的所有三维场景模型都是可见的，都能够投影到屏幕B1B2B3B4上进行渲染显示。

基于图7中的透视关系，对于完整的置于近裁剪面和远裁剪面之间的任意可视裁剪面(如：C1C2C3C4组成的裁剪面)上同一张人物图像，其投影到屏幕B1B2B3B4上的结果都是相同的。也就是说，将屏幕上渲染显示的人物图像放置于近裁剪面和远裁剪面之间的任意可视裁剪面上，其渲染结果与人体模型的渲染结果相同。因此，在S504中，确定的用于显示人物图像的可视裁剪面需位于近裁剪面和远裁剪面之间，即可视裁剪面与渲染终端中相机的距离，小于等于视景体内远裁剪面与渲染终端中相机的第三距离，且大于等于视景体内近裁剪面与渲染终端中相机的第四距离。其中，由于采集终端是根据渲染终端的相机参数集合进行了相机重置，因此，第三距离等于第一距离，第四距离等于第二距离。

在S504中，以一个距离和人物图像为例，具体实施时，首先，按照该距离，在渲染终端中相机的朝向方向上截取一段线段，并将该线段中非相机的端点作为可视裁剪面的中心点；然后，利用三角函数，根据该距离和相机的水平视场角，确定该可视裁剪面的宽度，以及，根据该距离和相机的垂直视场角，确定可视裁剪面的高度；最后，根据确定的中心点、宽度和高度，绘制一个可视裁剪面。

例如，如图8所示，假设距离为D，相机的朝向为EC，C为可视裁剪面的中心点，相机的水平视场角为α，相机的垂直视场角为β，利用三角函数，可以确定可视裁剪面四个顶点的三维坐标，得到一个位置、角度、大小确定的可视裁剪面C1C2C3C4。

S505：将各个人物图像，分别渲染在相应的可视裁剪面上，并在三维场景中进行显示。

以一个人物图像为例，对该人物图像的纹理进行采样，将采样结果渲染在该人物图像对应的距离绘制的可视裁剪面上进行显示，如图9所示。由于开启了透明度混合，且该人物图像中除人物以外的纯色背景区域的A分量的取值为0.0，因此，该人物图像中的纯色背景区域不会对三维场景中的其它模型造成遮挡。

在本申请的实施例中，当渲染终端连接多个采集终端时，需要逐一渲染每一路采集终端传输的人物图像，由于每一路人物图像所在的可视裁剪面是根据相应的采集终端传输的距离确定的，这样，可以避免距离相机远的人物反而遮挡了距离相机近的人物。

例如，如图10所示，屏幕B1B2B3B4上最终渲染显示的三维场景中采集终端1对应的人物图像和采集终端2对应的人物图像，其中，可视裁剪面C1C2C3C4上渲染显示的人物图像是采集终端1传输的，可视裁剪面F1F2F3F4上渲染显示的人物图像是采集终端2传输的，在三维场景中，采集终端2对应的人物2到渲染终端中相机的距离，比采集终端1对应的人物1到渲染终端中相机的距离远，人物1未遮挡人物2。

在本申请实施例提供的三维模型的显示方法中，三维通信系统中的至少一个采集终端和至少一个渲染终端连接，每个渲染终端均开启了透明度混合功能，且与采集终端获取的目标三维场景数据相同。针对交互过程中的每一视频帧，各个渲染终端将自身的相机参数集合分别发送给各个采集终端，各个采集终端根据接收的相机参数集合，分别重置自身的相机，并确定相机重置后人体模型到相机的距离，和渲染人体模型在重置后相机视角下对应的人物图像，并将距离和人物图像发送给相机参数集合对应的渲染终端，各个渲染终端将人物图像显示在三维场景中，达到与在三维场景中渲染人体模型一致的显示效果。而二维的人物图像相对于三维模型数据，数据量较小，降低了网络带宽的传输压力，减少了渲染终端显示延迟，提高了远程三维通信的实时性，解决了渲染终端卡顿的问题；并且，人物图像的纯色背景区域的透明度被设置为全透明，因此，人物图像中背景不会遮挡三维场景中的三维模型，保证了三维场景的正常显示。

在一些实施例中，各个采集终端可以根据采集数据重建人体模型后，可以将重建的人体模型的完整的三维重建数据发送给传输终端，传输终端接收到渲染终端发送的相机参数集合后，针对每一组完整的三维重建数据，按照接收的相机参数集合，根据该三维重建数据渲染相应的人体模型对应的人物图像，和确定相应的人物模型到该相机参数集合表征的相机的距离。

下面从一个采集终端和一个渲染终端交互的过程，描述本申请实施例提供的三维模型的显示方法流程，参见图11：

S1101：采集终端和渲染终端从服务器下载相同的三维场景数据，并根据该三维场景数据，渲染三维场景并显示。

S1102：渲染终端开启透明度混合功能。

接下来，针对交互过程中的每一视频帧，执行如下步骤：

S1103：采集终端根据采集数据重建人体模型，并将重建的人体模型放置在三维场景中的预设位置处。

S1104：渲染终端通过服务器向采集终端发送自身的相机参数集合。

S1105：采集终端根据接收的相机参数集合，重置自身相机。

S1106：采集终端隐藏三维场景，并将相机重置后显示的人体模型的空间背景设置为纯色。

S1107：采集终端确定人体模型到重置后的相机的距离；

S1108：采集终端渲染相机重置后人体模型对应的人物图像，并将人物图像的纯色背景区域的透明度分量设置为全透明。

S1109：采集终端将确定的距离和对应的人物图像，通过服务器发送给渲染终端。

S1110：渲染终端根据接收的距离和自身的相机参数集合，确定自身相机视景体内的一个可视裁剪面。

S1111：渲染终端将接收的人物图像，渲染在该可视裁剪面上，并显示在三维场景中。

基于相同的技术构思，本申请实施例提供一种采集终端，该终端可实现上述实施例中的三维模型的显示方法步骤，且能达到相同的技术效果。

参见图12，该采集终端与三维通信系统中的至少一个渲染终端连接包含处理器1201、存储器1202、显示器1203和通信接口1204，其中，通信接口1204、显示器1203、存储器1202与处理器1201通过总线1205连接；

所述存储器1202存储有计算机程序，所述处理器1201根据所述计算机程序，执行以下操作：

通过所述通信接口1204，获取目标三维场景数据，根据所述目标三维场景数据渲染三维场景，并由所述显示器1203进行显示；

针对每一视频帧，重建人体模型，并按照预设的空间位置关系放置在所述三维场景中；

通过所述通信接口1204，接收各个渲染终端发送的相机参数集合，并根据各个相机参数集合，重置自身的相机；

针对每一个相机参数集合，隐藏三维场景，将所述相机参数集合下显示的人体模型的空间背景设置为纯色，并确定所述人体模型到按照所述相机参数集合重置后的相机的距离；以及，渲染所述相机参数集合下显示的人体模型的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

通过所述通信接口1204，将所述各个相机参数集合各自对应的距离和人物图像，分别发送给相应的渲染终端，以使所述渲染终端根据自身的相机参数以及接收的距离，将相应的人物图像渲染显示在所述三维场景中。

可选的，所述距离用于确定所述三维场景中所述人物图像所在的可视裁剪面，所述距离小于等于所述采集终端重置后的相机的视景体内远裁剪面与重置后的相机的第一距离，且大于等于所述采集终端重置后的相机的视景体内近裁剪面与重置后的相机的第二距离。

可选的，所述相机参数集合包括相机视场角、相机位置和相机朝向。

需要说明的是，图12仅是一种示例，给出了采集终端执行本申请实施例提供的三维模型的显示方法步骤所必要的硬件，未示出的，该采集终端还包含摄像头、显示设备的常用硬件，如扬声器、麦克风等。

基于相同的技术构思，本申请实施例提供一种渲染终端，该终端可实现上述实施例中的三维模型的显示方法步骤，且能达到相同的技术效果。

参见图13，该渲染终端与三维通信系统中的至少一个采集终端连接，包含处理器1301、存储器1302、显示器1303和通信接口1304，其中，通信接口1304、显示器1303、存储器1302与处理器1301通过总线1305连接；

所述存储器1302存储有计算机程序，所述处理器1301根据所述计算机程序，执行以下操作：

开启透明度混合功能，并通过所述通信接口1304，获取目标三维场景数据，根据所述目标三维场景数据渲染三维场景，由所述显示器1303进行显示；

通过所述通信接口1304，将自身的相机参数集合发送给各个采集终端，所述相机参数集合用于所述各个采集终端确定相应的人体模型到所述渲染终端的相机的距离，以及用于所述各个采集终端渲染相应的人体模型对应的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

通过所述通信接口1304，接收所述各个采集终端分别发送的距离和人物图像；

根据各个距离以及自身的相机参数集合，分别确定视景体内相应数量的可视裁剪面；

将各个人物图像，分别渲染在相应的可视裁剪面上，并通过所述显示器1303显示在三维场景中。

可选的，所述相机参数集合包括相机视场角、相机位置和相机朝向。

可选的，所述可视裁剪面与所述渲染终端中相机的距离小于等于视景体内远裁剪面与所述渲染终端中相机的第三距离，且大于等于所述视景体内近裁剪面与所述渲染终端中相机的第四距离。

可选的，所述根据各个距离以及自身的相机参数，分别确定视景体内相应数量的可视裁剪面，包括：

针对每一个距离，执行以下操作：

按照所述距离，在所述渲染终端中相机的朝向方向上截取一段线段，并将所述线段中非所述相机的端点作为一个可视裁剪面的中心点；

利用三角函数，根据所述距离和所述相机的水平视场角，确定所述可视裁剪面的宽度，以及，根据所述距离和所述相机的垂直视场角，确定所述可视裁剪面的高度；

根据所述中心点、所述宽度和所述高度，绘制所述可视裁剪面。

需要说明的是，图13仅是一种示例，给出了渲染终端执行本申请实施例提供的三维模型的显示方法步骤所必要的硬件，未示出的，该渲染终端还包含摄像头、显示设备的常用硬件，如扬声器、麦克风等。

本申请实施例图12和图13中涉及的处理器可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，图形处理器(Graphics Processing Unit，GPU)数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-specificIntegrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种三维模型的显示方法，其特征在于，应用于三维通信系统中的至少一个采集终端，所述采集终端与所述三维通信系统中的至少一个渲染终端连接；针对每一个采集终端，所述方法包括：

获取目标三维场景数据进行渲染显示；

针对每一视频帧，重建人体模型，并按照预设的空间位置关系进行放置；

接收各个渲染终端发送的相机参数集合，并根据各个相机参数集合，重置自身的相机；

针对每一个相机参数集合，隐藏三维场景，将所述相机参数集合下显示的人体模型的空间背景设置为纯色，并确定所述人体模型到按照所述相机参数集合重置后的相机的距离；以及，渲染所述相机参数集合下显示的人体模型的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

将所述各个相机参数集合各自对应的距离和人物图像，分别发送给相应的渲染终端，以使所述渲染终端根据自身的相机参数以及接收的距离，将相应的人物图像渲染显示在所述三维场景中。

2.如权利要求1所述的方法，其特征在于，所述距离用于确定所述三维场景中所述人物图像所在的可视裁剪面，所述距离小于等于所述采集终端重置后的相机的视景体内远裁剪面与重置后的相机的第一距离，且大于等于所述采集终端重置后的相机的视景体内近裁剪面与重置后的相机的第二距离。

3.如权利要求1所述的方法，其特征在于，所述相机参数集合包括相机视场角、相机位置和相机朝向。

4.一种三维模型的显示方法，其特征在于，应用于三维通信系统中的至少一个渲染终端，所述渲染终端与所述三维通信系统中的至少一个采集终端连接；针对每一个渲染终端，所述方法包括：

开启透明度混合功能，获取目标三维场景数据进行渲染显示；

将自身的相机参数集合发送给各个采集终端，所述相机参数集合用于所述各个采集终端确定相应的人体模型到按照所述相机参数集合重置后相机的距离，以及用于所述各个采集终端渲染相应的人体模型对应的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡三维场景中的三维模型；

接收所述各个采集终端分别发送的距离和人物图像；

根据各个距离以及自身的相机参数集合，分别确定视景体内相应数量的可视裁剪面；

将各个人物图像，分别渲染在相应的可视裁剪面上，并在所述三维场景中进行显示。

5.如权利要求4所述的方法，其特征在于，所述相机参数集合包括相机视场角、相机位置和相机朝向。

6.如权利要求4所述的方法，其特征在于，所述可视裁剪面与所述渲染终端中相机的距离小于等于视景体内远裁剪面与所述渲染终端中相机的第三距离，且大于等于所述视景体内近裁剪面与所述渲染终端中相机的第四距离。

7.如权利要求4-6中任一项所述的方法，其特征在于，所述根据各个距离以及自身的相机参数，分别确定视景体内相应数量的可视裁剪面，包括：

针对每一个距离，执行以下操作：

按照所述距离，在所述渲染终端中相机的朝向方向上截取一段线段，并将所述线段中非所述相机的端点作为一个可视裁剪面的中心点；

利用三角函数，根据所述距离和所述相机的水平视场角，确定所述可视裁剪面的宽度，以及，根据所述距离和所述相机的垂直视场角，确定所述可视裁剪面的高度；

根据所述中心点、所述宽度和所述高度，绘制所述可视裁剪面。

8.一种采集终端，其特征在于，应用于三维通信系统，与所述三维通信系统中的至少一个渲染终端连接，包括处理器、存储器、显示器和通信接口；所述通信接口、所述显示器、所述存储器与所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

通过所述通信接口，获取目标三维场景数据，根据所述目标三维场景数据渲染三维场景，并由所述显示器进行显示；

针对每一视频帧，重建人体模型，并按照预设的空间位置关系放置在所述三维场景中；

通过所述通信接口，接收各个渲染终端发送的相机参数集合，并根据各个相机参数集合，重置自身的相机；

针对每一个相机参数集合，隐藏三维场景，将所述相机参数集合下显示的人体模型的空间背景设置为纯色，并确定所述人体模型到按照所述相机参数集合重置后的相机的距离；以及，渲染所述相机参数集合下显示的人体模型的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

通过所述通信接口，将所述各个相机参数集合各自对应的距离和人物图像，分别发送给相应的渲染终端，以使所述渲染终端根据自身的相机参数以及接收的距离，将相应的人物图像渲染显示在所述三维场景中。

9.一种渲染终端，其特征在于，应用于三维通信系统，与所述三维通信系统中的至少一个采集终端连接，包括处理器、存储器、显示器和通信接口；所述通信接口、所述显示器、所述存储器与所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

开启透明度混合功能，并通过所述通信接口，获取目标三维场景数据，根据所述目标三维场景数据渲染三维场景，由所述显示器进行显示；

通过所述通信接口，将自身的相机参数集合发送给各个采集终端，所述相机参数集合用于所述各个采集终端确定相应的人体模型到所述渲染终端的相机的距离，以及用于所述各个采集终端渲染相应的人体模型对应的人物图像，所述人物图像的纯色背景区域的透明度分量被设置为全透明以便不会遮挡所述三维场景中的三维模型；

通过所述通信接口，接收所述各个采集终端分别发送的距离和人物图像；

根据各个距离以及自身的相机参数集合，分别确定视景体内相应数量的可视裁剪面；

将各个人物图像，分别渲染在相应的可视裁剪面上，并通过所述显示器显示在三维场景中。

10.一种三维通信系统，其特征在于，包括至少一个采集终端、至少一个渲染终端和传输终端：

所述传输终端用于连接所述采集终端和所述渲染终端，并传输所述采集终端和所述渲染终端的数据，所述采集终端用于执行如权利要求1-3中任一项所述的方法，所述渲染终端用于执行如权利要求4-7中任一项所述的方法。

Images