CN115802076A - 一种三维模型分布式云端渲染方法、系统及电子设备 - Google Patents

Abstract

本申请公开了一种三维模型分布式云端渲染方法、系统及电子设备。应用于客户端的三维模型渲染方法包括：控制模型拆分服务器将目标模型拆分为多个子模型，并使每台渲染服务器渲染一个子模型；响应于针对目标模型的预设浏览操作生成渲染指令，并将渲染指令同时发送至各个渲染服务器，以使各个渲染服务器分别对各自的子模型进行渲染生成对应的视频流并反馈视频流；分别对每个视频流进行解码操作生成对应的视频图像帧集合；分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；显示所有新生成的目标图像帧。服务器分担渲染，具备实时流畅的渲染能力，以及延时小、渲染效率高等优点，提升了使用体验。

Description

一种三维模型分布式云端渲染方法、系统及电子设备

技术领域

本申请涉及计算机图形及流媒体编解码技术领域，特别地涉及一种三维模型分布式云端渲染方法、三维模型渲染显示装置、三维模型拆分系统、三维模型渲染系统、存储介质以及电子设备。

背景技术

建筑信息模型(Building Information Modeling，简称BIM)的核心是通过建立虚拟的建筑工程三维模型，利用数字化技术提供完整的、与实际情况一致的建筑工程信息库。该信息库不仅包含描述建筑物构件的几何信息、专业属性及状态信息，还包含了非构件对象(如空间、运动行为)的状态信息。借助这个包含建筑工程信息的三维模型，可大大提高建筑工程的信息集成化程度，从而为建筑工程项目的相关利益方提供了一个信息交换和共享的平台。

在当前的实际应用中，BIM三维数据模型通常需要在计算机桌面上通过二维的方式进行展现。BIM三维数据模型在计算机桌面上进行二维展示，是通过模型的材质、纹理、光线和视角的模拟，以及对模型的旋转、移动和缩放的操作，从而可感受到三维模型的真实效果。以上转换的过程，就是对BIM三维数据模型进行的渲染过程。

BIM三维数据模型渲染通常分为两种模式，一种是客户端渲染，一种是实时云渲染。客户端渲染是指：用户通过浏览器访问服务器端的模型，浏览器把模型数据下载缓存到本地，通过WebGL驱动访问本地显卡进行渲染，这种渲染方式需要本地有较高的计算资源(显卡、CPU、内存)。云渲染是指：渲染计算发生在远程服务器端，客户端只是一个可以交互的显示器，将渲染指令发送到服务器端同时接收渲染结果(通常为实时流媒体)，这种渲染方式对于本地计算资源需求比较低。

为推广BIM三维数据模型的应用及降低对本地计算资源的需求，目前已逐步采用在云端渲染BIM三维数据模型的方式。然而针对超大规模的模型(比如：飞机、产业园区等)单台服务器不具备对其进行实时的、流畅的渲染的能力。

发明内容

针对上述问题，本申请提出一种三维模型分布式云端渲染方法、三维模型渲染显示装置、三维模型拆分系统、三维模型渲染系统、存储介质以及电子设备，至少解决了针对超大规模的模型(比如：飞机、产业园区等)单台服务器不具备对其进行实时的、流畅的渲染的能力的缺陷。

本申请的第一个方面，提供了一种三维模型分布式云端渲染方法，应用于客户端，所述方法包括：

控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；

控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；

响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；

将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；

分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；

对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；

显示所有新生成的目标图像帧。

进一步的，所述渲染指令包括以下信息中的一项或多项：

指令ID、操作参数、渲染参数、编码参数、指令时间戳以及最大网络传输时延。

进一步的，所述分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧，包括：

分别获取所述多个视频图像帧的像素点可视距离值集合；

从多个像素点可视距离值集合中确定最小可视距离数据值集合；

根据所述最小可视距离数据值集合和所述多个视频图像帧确定新的像素点集合；

根据所述新的像素点集合生成所述一个目标图像帧。

本申请的第二个方面，提供了一种三维模型分布式云端渲染方法，应用于模型拆分服务器，所述方法包括：

响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型；

分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。

进一步的，基于所述目标模型的坐标系根据预设拆分策略将所述目标模型拆分为多个子模型，其中拆分后的多个子模型之间的相对坐标位置保持不变。

本申请的第三个方面，提供了一种三维模型分布式云端渲染方法，应用于渲染服务器，所述方法包括：

响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延；

响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所述渲染结果进行视频编码生成视频流以及将所述视频流发送至所述客户端。

进一步的，所述响应于所述客户端发送的渲染指令对当前子模型进行渲染操作，包括：

响应于所述客户端发送的渲染指令，在当前时间到达预设时刻的情况下对所述当前子模型进行渲染操作，所述预设时刻包括在指令时间戳的基础上延迟所述最大网络传输时延后的时刻。

进一步的，在渲染过程中的像素处理阶段，针对每个视频图像帧确定每个像素点对应内容到观察点的可视距离值，并根据所述每个视频图像帧中所有像素点对应内容到观察点的可视距离值生成所述每个视频图像帧的像素点可视距离值集合。

进一步的，在所述对渲染结果进行视频编码生成视频流之后，以及在所述并将所述视频流发送至所述客户端之前，还包括：

在所述视频流中嵌入渲染信息，所述渲染信息包括所述渲染指令的指令ID、所述像素点可视距离值集合中的一项或多项。

本申请的第四个方面，提供了一种三维模型渲染显示装置，所述装置包括：

拆分模块，用于控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；

确定模块，用于控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；

指令生成模块，用于响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；

指令发送模块，用于将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；

解码模块，用于分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；

合并模块，用于对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；

显示模块，用于显示所有新生成的目标图像帧。

本申请的第五个方面，提供了一种三维模型拆分系统，其特征在于，包括：

拆分模块，用于响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型；

发送模块，用于分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。

本申请的第六个方面，提供了一种三维模型渲染系统，所述系统包括：

一台或多台渲染服务器；其中，在所述一台或多台渲染服务器中均包括：

同步模块，用于响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延；

渲染模块，用于响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所述渲染结果进行视频编码生成视频流以及将所述视频流发送至所述客户端。

本申请的第七个方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储的计算机程序，可被一个或多个处理器执行，用以实现如上所述的应用于渲染服务器的三维模型分布式云端渲染方法或应用于模型拆分服务器的三维模型分布式云端渲染方法或应用于客户端的三维模型分布式云端渲染方法。

本申请的第八个方面，提供了一种电子设备，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，该计算机程序被所述一个或多个处理器执行时，实现如上所述应用于渲染服务器的三维模型分布式云端渲染方法或应用于模型拆分服务器的三维模型分布式云端渲染方法或应用于客户端的三维模型分布式云端渲染方法。

与现有技术相比，本申请的技术方案具有以下优点或有益效果：

本申请所公开的针对三维数据模型分布式云端渲染方法，可由多台服务器分担渲染，不论是中小规模的模型还是超大规模的模型，均具备对其进行实时的流畅的渲染能力，具备延时小、渲染效率高等优点，提升了针对三维数据模型渲染的用户使用体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于所属领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种应用于客户端的三维模型渲染方法的流程图；

图2为本申请实施例提供的一种应用于模型拆分服务器的三维模型渲染方法的流程图；

图3为本申请实施例提供的一种模型拆分示意图；

图4为本申请实施例提供的一种模型旋转遮挡关系示意图；

图5为另一种模型旋转遮挡关系示意图；

图6为本申请实施例提供的一种应用于渲染服务器的三维模型渲染方法的流程图；

图7为本申请实施例提供的一种三维模型渲染显示装置的结构示意图；

图8为本申请实施例提供的一种渲染服务器端的架构示意图；

图9为本申请实施例提供的一种电子设备的连接框图。

具体实施方式

以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突的前提下可以相互结合，所形成的技术方案均在本申请的保护范围之内。

实施例一

本实施例提供一种三维模型分布式云端渲染方法，所述方法应用于客户端。

图1为本申请实施例提供的一种应用于客户端的三维模型渲染方法的流程图，如图1所示，本实施例的方法包括：

步骤110、控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器。

可选的，目标模型包括BIM三维数据模型，在目标模型已被拆分为多个子模型的情况下可跳过该步骤。

可选的，具体的拆分工作也可独立于客户端单独提前完成，并将拆分后的多个子模型发送至多台渲染服务器使每台渲染服务器渲染一个子模型。子模型与渲染服务器之间是一一对应的关系。

步骤120、控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延。

可选的，以客户端为参考时钟与渲染服务器进行时间同步，在时间同步的同时获取与渲染服务器之间的网络时延。

在一些实施例中，基于时钟同步协议向多台渲染服务器发送时钟同步指令，以使所述多台渲染服务器分别进行时钟同步操作并确定网络传输时延。

可选的，基于时钟同步协议，实现客户端与渲染服务器的时钟同步，时钟同步协议可为IEEE 1588V2协议。

需要说明的是，时钟同步可以为按照预设时间间隔持续执行的步骤，因为一旦不进行同步的流程，客户端和服务端的时钟就会慢慢的不同步。

在一些实施例中，根据所述多台渲染服务器发送的网络传输时延确定与所述多台渲染服务器之间的最大网络传输时延。

在与渲染服务器进行时钟同步的过程中，同时获取与各服务端的网络传输时延，并根据各个渲染服务器的网络传输时延确定最大网络传输时延DelayMax。

步骤130、响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令。

可选的，预设浏览操作可包括基于用户对键盘、鼠标的操作或者对触摸屏的手势操作。

进一步的，根据用户相应的操作获取操作参数。

在一些实施例中，所述渲染指令包括以下信息中的一项或多项：

指令ID、操作参数、渲染参数、编码参数、指令时间戳以及最大网络传输时延。

可选的，渲染指令内容包括有：指令ID、操作参数、渲染参数、编码参数、指令时间戳、客户端到多台渲染服务器间的最大网络传输时延(DelayMax)。

可选的，在渲染指令即将发出之前，获取当前时间戳，并根据当前时间戳、操作参数、最大网络传输时延生成渲染指令(可以理解的是，在渲染指令内容中所述当前时间戳即为指令时间戳)，并将渲染指令同时发送给多个渲染服务器，此时即能保证发送给多个渲染服务器的渲染指令中的指令时间戳均为同一值。进一步的，对渲染指令中的一些内容进行解释：

1)指令ID：指令ID可唯一确认一个指令，也即渲染指令的流水号；

2)操作参数：如平移、旋转、缩放的动作，及动作的速度、方向、起点和终点等；

3)渲染参数：如相机视角、裁剪平面、像素分辨率；

4)编码参数：如编码方式、码率、帧率等；

5)指令时间戳：由客户端发出渲染指令的时间(发给多台渲染服务器的操作指令用同一个时间戳)；

6)与所述多台渲染服务器之间的最大网络传输时延DelayMax，即客户端到多台渲染服务器间的最大网络传输时延。需要说明的是，客户端向各渲染服务器发送渲染指令，各渲染服务器获取的渲染指令内容一致，待渲染的各子模型所用的参数一致。

步骤140、将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流。

进一步的，多台渲染服务器响应于渲染指令分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流至当前客户端。

步骤150、分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合。

可选的，对渲染服务器发来的视频流进行解码，并恢复出每个视频流中每一帧的图像信息，进而生成每个视频流对应的视频图像帧集合。

步骤160、对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧。

可选的，针对各个视频图像帧集合中所有的视频图像帧，分别获取各个视频图像帧集合中同一时刻的视频图像帧得到同一时刻的多个视频图像帧，然后根据同一时刻的多个视频图像帧生成与所述同一时刻对应的一个目标图像帧。

可选的，各渲染服务器对子模型的渲染和编码是同步进行的，所以在客户端收到多路视频流后，其解码后的每一帧图像需要进行同步。

在一些实施例中，所述分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧，包括：

分别获取所述多个视频图像帧的像素点可视距离值集合；

从多个像素点可视距离值集合中确定最小可视距离数据值集合；

根据所述最小可视距离数据值集合和所述多个视频图像帧确定新的像素点集合；

根据所述新的像素点集合生成所述一个目标图像帧。

可选的，在根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个新的目标图像帧时，可基于来自不同服务器的图像像素的测距，获取其遮挡关系并根据遮挡关系分别将所有视频图像帧集合同一时刻的多个视频图像帧整合成一个新的目标图像帧。

可选的，客户端接收来自各服务器的视频流，需要完成以下操作：

1)在各视频流中提取服务端嵌入的信息数据，如渲染指令流水号(指令ID)、拆分后的模型编号、视频流每一帧/每个像素点对应的内容到相机的距离(模型像素点到观测点的距离Ln_xy，其中，n表示是拆分后的模型编号，xy表示为像素位置)等；

2)对各视频流进行解码，恢复出每一帧，每一像素点；

3)对各视频流的图像帧进行同步、合并，考虑到多个小模型在角度旋转后，模型的遮挡关系会发生变化(参考图4)，所以要比对各图像帧每个像素的Ln_xy值，图像帧合并时，只取Ln_xy数值最小的像素点(离观察者最近的点)。

所属领域技术人员可以理解的是，针对各个视频图像帧集合中同一时刻的多个视频图像帧进行视频帧的合并处理之后会生成一个新的目标图像帧，针对各个视频图像帧集合中另外同一时刻的多个视频图像帧进行视频帧的合并处理之后也会生成另一个新的目标图像帧。比如，共有5个视频图像帧集合(其中，每个视频图像帧集合均包含有100帧图像)，进行同步操作后；然后再分别从5个视频图像帧集合中取出各自的第1帧图像，然后再将这5个第1帧图像合并处理为1帧新的图像(第1个目标图像帧)；然后再分别从5个视频图像帧集合中取出各自的第2帧图像，然后再将所有第2帧的这5个图像合并处理为1帧新的图像(第2个目标图像帧)；…以此类推；当每个视频图像帧集合中的100帧图像全部都被合并处理后，即会生成一个包含有100个新生成的目标图像帧的集合。

步骤170、显示所有新生成的目标图像帧。

在客户端显示所有新生成的目标图像帧，进而将三维模型通过一系列的二维图像帧进行展示。

本实施例提供的三维模型分布式云端渲染方法将视频渲染的过程拆开，分别由一组渲染服务器均衡负担。具体的：通过客户端控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；最终在客户端显示所有新生成的目标图像帧。针对三维数据模型分布式云端渲染方法，可由多台服务器分担渲染，不论是中小规模的模型还是超大规模的模型，均具备对其进行实时的流畅的渲染能力，具备延时小、渲染效率高等优点，提升了针对三维数据模型渲染的用户使用体验。

实施例二

本实施例提供一种三维模型分布式云端渲染方法，所述方法应用于模型拆分服务器，图2为本申请实施例提供的一种应用于模型拆分服务器的三维模型渲染方法的流程图，如图2所示，本实施例的方法包括：

步骤210、响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型。

可选的，客户端发送拆分指令以控制模型拆分服务器将目标模型拆分为多个子模型。

可选的，拆分过程可包括：模型的拆分、服务端模型的加载、发布等这几个部分。可以响应于客户端发送的拆分指令进行拆分操作，以基于目标模型的坐标系根据预设拆分策略将所述目标模型拆分为多个子模型。

在一些实施例中，所述预设拆分策略，包括：

基于所述目标模型的坐标系根据预设拆分策略将所述目标模型拆分为多个子模型，其中拆分后的多个子模型之间的相对坐标位置保持不变。

可选的，如何对目标模型进行拆分可根据实际需求进行选择，但拆分后的多个子模型仍基于大模型的坐标系，多个子模型之间的相对位置不变。

具体的拆分原理可参考图3～图5，其中，图3为本申请实施例提供的一种模型拆分示意图，图4为本申请实施例提供的一种模型旋转遮挡关系示意图，图5为另一种模型旋转遮挡关系示意图。

步骤220、分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。

可选的，拆分后的小模型由多台渲染服务器分别渲染，一台渲染服务器承担一个小模型的渲染。

本实施例提供的三维模型分布式云端渲染方法包括：响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型，分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。将超大规模的模型拆分为多个子模型，并由多台服务器分别渲染一个子模型，从而能够具备使用户在客户端实时且流畅地浏览三维模型的效果。

实施例三

本实施例提供一种三维模型分布式云端渲染方法，所述方法应用于渲染服务器，图6为本申请实施例提供的一种应用于渲染服务器的三维模型渲染方法的流程图，如图6所示，本实施例的方法包括：

步骤610、响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延。

可选的，客户端发送时钟同步指令，以控制各个渲染服务器分别与客户端进行时钟同步操作，各个渲染服务器并分别将各自的网络传输时延反馈给客户端。客户端也可根据各个渲染服务器的响应数据获得网络传输时延。

可选的，渲染服务器基于时钟同步协议(如IEEE 1588V2协议)，实现与客户端的时钟同步。

时钟同步精度不低于±200μs，通过IEEE 1588V2协议，客户端可获取到各渲染服务器的时延，并从中取最大的时延值，记为DelayMax。

步骤620、响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所述渲染结果进行视频编码生成视频流以及将所述视频流发送至所述客户端。

可选的，渲染服务器接收客户端的渲染指令，并进行解析、执行相关渲染指令要求，最后对渲染的结果(一系列的二维图像)进行编码操作以生成视频流。

在一些实施例中，所述响应于所述客户端发送的渲染指令对当前子模型进行渲染操作，包括：

响应于所述客户端发送的渲染指令，在当前时间到达预设时刻的情况下对所述当前子模型进行渲染操作，所述预设时刻包括在指令时间戳的基础上延迟所述最大网络传输时延后的时刻。

可选的，在各渲染服务器接收到渲染指令后，基于本地时钟，在指令时间戳+DelayMax的时间后进行独立渲染模型(确保各服务器渲染的同步性)，其中指令时间戳可从渲染指令中获取。

在一些实施例中，在渲染过程中的像素处理阶段，针对每个视频图像帧确定每个像素点对应内容到观察点的可视距离值，并根据所述每个视频图像帧中所有像素点对应内容到观察点的可视距离值生成所述每个视频图像帧的像素点可视距离值集合。

可选的，对模型的渲染包括应用(Application)、几何处理(GeometryProcessing)、光栅化(Rasterization)、像素处理(Pixel Processing)，通过同步机制使服务器间保存渲染过程的同步性。

进一步的，在模型渲染过程中的像素处理阶段，计算每个像素点对应的内容到相机(或称作为观察点)的距离记为Ln_xy，其中，n表示是拆分后的模型编号，xy表示为像素位置。

进一步的，在相机测距操作时，测量从相机观测点到模型的距离，需要对每个像素点进行测距，图5为另一种模型旋转遮挡关系示意图，如图5所示，相机到黄球、红球某个像素点的位置是不同的。不同渲染服务器之间，渲染出的像素点的位置是一一对应的。

进一步的，服务器对渲染的结果进视频编码，形成实时流媒体。由于渲染服务器之间的时钟是同步的，启动渲染的时间点一致的，接收到的客户端的指令内容也是一致的，所以服务器模型渲染形成的流媒体的图像帧也是可以同步上的。

在一些实施例中，在所述对渲染结果进行视频编码生成视频流之后，以及在所述并将所述视频流发送至所述客户端之前，还包括：

在所述视频流中嵌入渲染信息，所述渲染信息包括所述渲染指令的指令ID、所述像素点可视距离值集合中的一项或多项。

可选的，在各渲染服务器对各自的子模型渲染形成流媒体后，为能在客户端进行整合，需要在流媒体数据中嵌入一些信息数据(渲染信息)，包括：渲染指令的流水号(指令ID)、该视频流所对应的拆分后的子模型的模型编号、Ln_xy数值等。

可选的，视频流以MPEG-2标准TS(Transport stream)封装格式为例，TS包PacketHead的PID字段是TS流中唯一识别标志，Packet Data的内容由PID决定的。当PID为0是，表示Packet Data为PAT表(节目关联表Program Association Table，简称PAT)，用于表示视频内容序号对应的PMT表(节目映射表Program Map Table，简称PMT)PID号；当PID为PMT的PID号，表示Packet Data为某一内容序号的PMT表，用于表示该内容相关的视频、音频和数据TS所对应的PID号码。可以在PMT表中增加一行，用于表示渲染指令的指令ID、子模型的模型编号和每一帧每像素的距离值。

进一步的，为减少服务端向客户端发送数据的数据量，仅考虑在I帧视频图像中嵌入相关渲染信息数据，而P帧和B帧不用嵌入。

另外，为压缩Ln_xy的数据字节，对于在观察者视野中不存在的内容物体的像素，Ln_xy可为空；且I帧的第一帧的Ln_xy为绝对数值，后续I帧上传的Ln_xy可为与第一帧Ln_xy之间的相对值。

可选的，通过网络接口及协议栈渲染服务器和客户端之间可用于指令收发、视频流媒体收发、时钟同步信号的收发。

本实施例提供的三维模型分布式云端渲染方法包括：响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延；响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所沪渲染结果进行视频编码生成视频流以及将所述视频流发送至所述客户端。通过多台渲染服务器分别渲染各自的子模型，从而能够具备使用户在客户端实时且流畅地浏览三维模型的效果。

实施例四

本实施例提供一种三维模型渲染显示装置，本装置实施例可以用于执行本申请应用于客户端的三维模型分布式云端渲染方法实施例，对于本装置实施例中未披露的细节，请参照本申请方法实施例。本实施例提供的装置包括：

拆分模块，用于控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；

确定模块，用于控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；

指令生成模块，用于响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；

指令发送模块，用于将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；

解码模块，用于分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；

合并模块，用于对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；

显示模块，用于显示所有新生成的目标图像帧。

在一些实施例中，所述渲染指令包括以下信息中的一项或多项：

指令ID、操作参数、渲染参数、编码参数、指令时间戳以及最大网络传输时延。

在一些实施例中，所述合并模块，包括：获取单元，第一确定单元，第二确定单元，合成单元；其中，

获取单元，用于分别获取所述多个视频图像帧的像素点可视距离值集合；

第一确定单元，用于从多个像素点可视距离值集合中确定最小可视距离数据值集合；

第二确定单元，用于根据所述最小可视距离数据值集合和所述多个视频图像帧确定新的像素点集合；

合成单元，用于根据所述新的像素点集合生成所述一个目标图像帧。

可选的，本申请实施例中的三维模型渲染显示装置可参考图7，图7为本申请实施例提供的一种三维模型渲染显示装置的结构示意图。

所属领域技术人员可以理解，图7中示出的结构并不构成对本申请实施例装置的限定，可以包括比图示更多或更少的模块/单元，或者组合某些模块/单元，或者不同的模块/单元布置。

需要说明的是，上述各个模块/单元可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块/单元而言，上述各个模块/单元可以位于同一处理器中；或者上述各个模块/单元还可以按照任意组合的形式分别位于不同的处理器中。

本实施例提供的装置包括：拆分模块，用于控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；确定模块，用于控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；指令生成模块，用于响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；指令发送模块，用于将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；解码模块，用于分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；合并模块，用于对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；显示模块，用于显示所有新生成的目标图像帧。针对三维数据模型分布式云端渲染方法，可由多台服务器分担渲染，不论是中小规模的模型还是超大规模的模型，均具备对其进行实时的流畅的渲染能力，具备延时小、渲染效率高等优点，提升了针对三维数据模型渲染的用户使用体验。

实施例五

本实施例提供一种三维模型拆分系统，本系统实施例可以用于执行本申请应用于模型拆分系统的三维模型渲染方法实施例，对于本系统实施例中未披露的细节，请参照本申请方法实施例。本实施例提供的系统包括：

拆分模块，用于响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型；

发送模块，用于分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。

在一些实施例中，所述预设拆分策略，包括：

基于所述目标模型的坐标系根据预设拆分策略将所述目标模型拆分为多个子模型，其中拆分后的多个子模型之间的相对坐标位置保持不变。

本实施例提供的系统包括：拆分模块，用于响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型；发送模块，用于分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。将超大规模的模型拆分为多个子模型，并由多台服务器分别渲染一个子模型，从而能够具备使用户在客户端实时且流畅地浏览三维模型的效果。

实施例六

本实施例提供一种三维模型渲染系统，本系统实施例可以用于执行本申请应用于模型拆分系统的三维模型渲染方法实施例，对于本系统实施例中未披露的细节，请参照本申请方法实施例。本实施例提供的系统包括：

一台或多台渲染服务器；其中，在所述一台或多台渲染服务器中均包括：

同步模块，用于响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延；

渲染模块，用于响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所述渲染结果进行视频编码生成视频流以及将所述视频流发送至所述客户端。

在一些实施例中，所述渲染模块用于响应于所述客户端发送的渲染指令，在当前时间到达预设时刻的情况下对所述当前子模型进行渲染操作，所述预设时刻包括在指令时间戳的基础上延迟所述最大网络传输时延后的时刻。

在一些实施例中，在渲染过程中的像素处理阶段，针对每个视频图像帧确定每个像素点对应内容到观察点的可视距离值，并根据所述每个视频图像帧中所有像素点对应内容到观察点的可视距离值生成所述每个视频图像帧的像素点可视距离值集合。

在一些实施例中，还包括嵌入模块，用于在所述对渲染结果进行视频编码生成视频流之后，以及在所述并将所述视频流发送至所述客户端之前，在所述视频流中嵌入渲染信息，所述渲染信息包括所述渲染指令的指令ID、所述像素点可视距离值集合中的一项或多项。

可选的，本申请实施例中的渲染服务器可参考图8，图8为本申请实施例提供的一种渲染服务器端的架构示意图。

所属领域技术人员可以理解，图8中示出的结构并不构成对本申请实施例装置的限定，可以包括比图示更多或更少的模块/单元，或者组合某些模块/单元，或者不同的模块/单元布置。

本实施例提供的系统包括：一台或多台渲染服务器；其中，在所述一台或多台渲染服务器中均包括：同步模块，用于响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延；渲染模块，用于响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所述渲染结果进行视频编码生成视频流以及将所述视频流发送至所述客户端。通过多台渲染服务器分别渲染各自的子模型，从而能够具备使用户在客户端实时且流畅地浏览三维模型的效果。

实施例七

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时可以实现如前述方法实施例中的方法步骤，本实施例在此不再重复赘述。

其中，计算机可读存储介质还可单独包括计算机程序、数据文件、数据结构等，或者包括其组合。计算机可读存储介质或计算机程序可被计算机软件领域的技术人员具体设计和理解，或计算机可读存储介质对计算机软件领域的技术人员而言可以是公知和可用的。计算机可读存储介质的示例包括：磁性介质，例如硬盘、软盘和磁带；光学介质，例如，CDROM盘和DVD；磁光介质，例如，光盘；和硬件装置，具体被配置以存储和执行计算机程序，例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存；或服务器、app应用商城等。计算机程序的示例包括机器代码(例如，由编译器产生的代码)和包含高级代码的文件，可由计算机通过使用解释器来执行高级代码。所描述的硬件装置可被配置为用作一个或多个软件模块，以执行以上描述的操作和方法，反之亦然。另外，计算机可读存储介质可分布在联网的计算机系统中，可以分散的方式存储和执行程序代码或计算机程序。

实施例八

图9为本申请实施例提供的一种电子设备的连接框图，如图9所示，该电子设备900可以包括：一个或多个处理器901，存储器902，多媒体组件903，输入/输出(I/O)接口904，以及通信组件905。

其中，一个或多个处理器901用于执行如前述方法实施例中的全部或部分步骤。存储器902用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。

一个或多个处理器901可以是专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如前述方法实施例中的方法。

存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

多媒体组件903可以包括屏幕和音频组件，该屏幕可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器，用于输出音频信号。

I/O接口904为一个或多个处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。

通信组件905用于该电子设备900与其他设备之间进行有线或无线通信。有线通信包括通过网口、串口等进行通信；无线通信包括：Wi-Fi、蓝牙、近场通信(Near FieldCommunication，简称NFC)、2G、3G、4G、5G，或它们中的一种或几种的组合。因此相应的该通信组件905可以包括：WiFi模块，蓝牙模块，NFC模块。

综上，本申请提供的一种三维模型分布式云端渲染方法、三维模型渲染显示装置、三维模型拆分系统、三维模型渲染系统、存储介质以及电子设备。本实施例提供的三维模型分布式云端渲染方法将视频渲染的过程拆开，分别由一组渲染服务器均衡负担。其中，应用于客户端的三维模型分布式云端渲染方法包括：通过客户端控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；最终在客户端显示所有新生成的目标图像帧。针对三维数据模型分布式云端渲染方法，可由多台服务器分担渲染，不论是中小规模的模型还是超大规模的模型，均具备对其进行实时的流畅的渲染能力，具备延时小、渲染效率高等优点，提升了针对三维数据模型渲染的用户使用体验。

另外应该理解到，在本申请所提供的实施例中所揭露的方法或系统，也可以通过其它的方式实现。以上所描述的方法或系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法和装置的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、计算机程序段或计算机程序的一部分，模块、计算机程序段或计算机程序的一部分包含一个或多个用于实现规定的逻辑功能的计算机程序。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，实际上也可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序的组合来实现。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、装置或者设备中还存在另外的相同要素；如果有描述到“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系；在本申请的描述中，除非另有说明，术语“多个”、“多”的含义是指至少两个；如果有描述到服务器，需要说明的是，服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是能够提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器；在本申请中如果有描述到智能终端或移动设备，需要说明的是，智能终端或移动设备可以是手机、平板电脑、智能手表、上网本、可穿戴电子设备、个人数字助理(Personal Digital Assistant，PDA)、增强现实技术设备(Augmented Reality，AR)、虚拟现实设备(Virtual Reality，VR)、智能电视、智能音响、个人计算机(Personal Computer，PC)等，但并不局限于此，本申请对智能终端或移动设备的具体形式不做特殊限定。

最后需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“一个示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式进行结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例都是示例性的，所述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种三维模型分布式云端渲染方法，其特征在于，所述方法应用于客户端，所述方法包括：

控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；

控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；

响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；

将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；

分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；

对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；

显示所有新生成的目标图像帧。

2.根据权利要求1所述的方法，其特征在于，所述渲染指令包括以下信息中的一项或多项：

指令ID、操作参数、渲染参数、编码参数、指令时间戳以及最大网络传输时延。

3.根据权利要求1所述的方法，其特征在于，所述分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧，包括：

分别获取所述多个视频图像帧的像素点可视距离值集合；

从多个像素点可视距离值集合中确定最小可视距离数据值集合；

根据所述最小可视距离数据值集合和所述多个视频图像帧确定新的像素点集合；

根据所述新的像素点集合生成所述一个目标图像帧。

4.一种三维模型分布式云端渲染方法，其特征在于，所述方法应用于模型拆分服务器，所述方法包括：

响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型；

分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。

5.根据权利要求4所述的方法，其特征在于，所述预设拆分策略，包括：

基于所述目标模型的坐标系根据预设拆分策略将所述目标模型拆分为多个子模型，其中拆分后的多个子模型之间的相对坐标位置保持不变。

6.一种三维模型分布式云端渲染方法，其特征在于，所述方法应用于渲染服务器，所述方法包括：

响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延；

响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所述渲染结果进行视频编码生成视频流并将所述视频流发送至所述客户端。

7.根据权利要求6所述的方法，其特征在于，所述响应于所述客户端发送的渲染指令对当前子模型进行渲染操作，包括：

响应于所述客户端发送的渲染指令，在当前时间到达预设时刻的情况下对所述当前子模型进行渲染操作，所述预设时刻包括在指令时间戳的基础上延迟所述最大网络传输时延后的时刻。

8.根据权利要求6所述的方法，其特征在于，

在渲染过程中的像素处理阶段，针对每个视频图像帧确定每个像素点对应内容到观察点的可视距离值，并根据所述每个视频图像帧中所有像素点对应内容到观察点的可视距离值生成所述每个视频图像帧的像素点可视距离值集合。

9.根据权利要求8所述的方法，其特征在于，在所述对渲染结果进行视频编码生成视频流之后，以及在所述并将所述视频流发送至所述客户端之前，还包括：

在所述视频流中嵌入渲染信息，所述渲染信息包括所述渲染指令的指令ID、所述像素点可视距离值集合中的一项或多项。

10.一种三维模型渲染显示装置，其特征在于，包括：

拆分模块，用于控制模型拆分服务器将目标模型拆分为多个子模型并分别将各个子模型发送至各个子模型对应的渲染服务器；

确定模块，用于控制各个渲染服务器分别进行时钟同步操作并确定与所述各个渲染服务器之间的最大网络传输时延；

指令生成模块，用于响应于针对所述目标模型的预设浏览操作确定指令时间戳，并根据所述预设浏览操作的操作参数、所述指令时间戳和所述最大网络传输时延生成渲染指令；

指令发送模块，用于将所述渲染指令同时发送至所述各个渲染服务器，以使所述各个渲染服务器分别对各自的子模型进行渲染并生成各自子模型对应的视频流以及反馈所述视频流；

解码模块，用于分别对各个视频流进行解码操作，生成各个视频流对应的视频图像帧集合；

合并模块，用于对所有视频图像帧集合进行时钟同步操作，并分别根据所有视频图像帧集合中同一时刻的多个视频图像帧生成一个目标图像帧；

显示模块，用于显示所有新生成的目标图像帧。

11.一种三维模型拆分系统，其特征在于，包括：

拆分模块，用于响应于客户端发送的拆分指令根据预设拆分策略将目标模型拆分为多个子模型；

发送模块，用于分别将各个子模型发送至各个子模型对应的渲染服务器，以使各个渲染服务器渲染对应的子模型并记录所述对应的子模型的模型编号。

12.一种三维模型渲染系统，其特征在于，包括：

一台或多台渲染服务器；其中，在所述一台或多台渲染服务器中均包括：

同步模块，用于响应于客户端发送的时钟同步指令，与所述客户端进行时钟同步操作并获取网络传输时延，以及将所述网络传输时延发送至所述客户端以使所述客户端确定最大网络传输时延；

渲染模块，用于响应于所述客户端发送的渲染指令对当前子模型进行渲染操作以生成渲染结果，并对所述渲染结果进行视频编码生成视频流以及将所述视频流发送至所述客户端。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储的计算机程序，当被一个或多个处理器执行时，实现如权利要求1～3或4～5或6～9中任一项所述的方法。

14.一种电子设备，其特征在于，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，当所述计算机程序被所述一个或多个处理器执行时，执行如权利要求1～3或4～5或6～9中任一项所述的方法。

Images