CN116228514A - 渲染数据处理方法、装置、计算机设备、介质和程序产品 - Google Patents

Abstract

本申请涉及一种渲染数据方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取渲染数据；根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，所述渲染类型包括二维类型和三维类型；根据所述渲染类型对所述渲染数据进行渲染。采用本方法并不是所有的渲染数据都以三维类型进行渲染，部分渲染数据会以二维类型进行渲染，从而可以降低渲染过程中的性能消耗。

Description

渲染数据处理方法、装置、计算机设备、介质和程序产品

技术领域

本申请涉及显示技术领域，特别是涉及一种渲染数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

AR/MR的三个基本特征是虚实融合、三维配准、实时交互。整个过程需要对环境信息进行实时采集、计算和分析，再进行虚拟内容的叠加渲染，并响应用户的交互。其中，无论是摄像头运行、空间计算、模型渲染、用户交互检测和响应均耗费大量的计算性能，这与眼镜体积的小型化、设备发热处于安全范围等客观用户需求存在矛盾，当前芯片的发展情况在短期也无法满足所需的性能算力，因此降低每个子过程对性能的消耗非常必要。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低对性能的消耗的渲染数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供一种渲染数据处理方法，所述方法包括：

获取渲染数据；

根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，所述渲染类型包括二维类型和三维类型；

根据所述渲染类型对所述渲染数据进行渲染。

在其中一个实施例中，所述预设渲染规则包括业务数据规则和/或距离信息规则。

在其中一个实施例中，所述业务数据规则包括故事情节规则、业务数据流规则以及场景信息规则中的至少一个。

在其中一个实施例中，所述根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，包括：

获取当前业务数据；

根据所述当前业务数据确定所述渲染数据对应的渲染类型。

在其中一个实施例中，所述根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，包括：

确定当前用户的位置信息；

计算所述位置信息与所述渲染数据对应的各元素的距离信息；

基于所述距离信息确定所述渲染数据的渲染类型。

在其中一个实施例中，所述根据所述渲染类型对所述渲染数据进行渲染，包括：

基于所述渲染类型生成对应的渲染指令，所述渲染指令包括渲染二维类型元素的渲染指令和渲染三维类型元素的渲染指令；

基于所述渲染指令对渲染数据进行渲染。

在其中一个实施例中，所述根据所述渲染类型对所述渲染数据进行渲染，包括：

当所述渲染类型为二维类型时，获取所述渲染数据对应的二维数据；

对所述二维数据进行渲染。

在其中一个实施例中，所述获取所述渲染数据对应的二维数据，包括：

获取所述渲染数据对应的角度信息；

基于所述角度信息得到所述二维数据。

在其中一个实施例中，所述获取所述渲染数据对应的角度信息，包括：

基于当前用户的位姿信息确定所述渲染数据的角度信息。

在其中一个实施例中，所述当前对象的位姿信息的确定方式，包括：

基于定位算法确定所述当前用户的位姿信息。

第二方面，本申请还提供一种渲染数据处理装置，所述装置包括：

渲染数据获取模块，用于获取渲染数据；

渲染类型确定模块，用于根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，所述渲染类型包括二维类型和三维类型；

渲染模块，用于根据所述渲染类型对所述渲染数据进行渲染。

第三方面，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的任意一个实施例中的方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。

第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。

上述渲染数据处理方法、装置、计算机设备、存储介质和计算机程序产品，在获取到渲染数据后，根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，该类型包括二维类型和三维类型，这样并不是所有的渲染数据都以三维类型进行渲染，部分渲染数据会以二维类型进行渲染，从而可以降低渲染过程中的性能消耗。

附图说明

图1为一个实施例中渲染数据处理方法的流程示意图；

图2为一个实施例中的采集花朵故事情节的示意图；

图3为一个实施例中食用花朵提升精神力故事情节的示意图；

图4为一个实施例中与机器人对战故事情节的示意图；

图5为一个实施例中获取装备故事情节的示意图；

图6为一个实施例中处于观赏花朵场景的游览者的视场示意图；

图7为一个实施例中处于机器人战斗场景的游览者的视场示意图；

图8为另一个实施例中处于观赏花朵场景的游览者的视场示意图；

图9为另一个实施例中处于机器人战斗场景的游览者的视场示意图；

图10为一个实施例中的场景的俯视图；

图11为一个实施例中的不同的位置的视场示意图；

图12为一个实施例中的渲染流程的示意图；

图13为一个实施例中大空间定位算法的架构图；

图14为一个实施例中渲染数据处理装置的结构框图；

图15为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种渲染数据处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。所述终端例如为用户设备，该用户设备包括但不限于具有摄像装置及显示装置(例如显示屏、投影仪)的人机交互设备，例如智能眼镜、智能头盔等头戴设备、智能手机、个人电脑、平板电脑、投影装置等，其中该用户设备可以是内置安装摄像装置及显示装置，也可以外接摄像装置及显示装置，在此不进行限定。在一些实施例中，该用户设备进一步包括检测装置(例如各种传感器)等。该方法中的用户通过用户设备查看所处的真实场景，如通过用户设备中的摄像装置捕获真实场景中的图像信息，又如用户佩戴用户设备、透过透明/半透明的光学显示元件查看真实场景等，并获取渲染数据，根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，基于渲染类型和渲染数据获取到最后实际渲染的数据，并通过用户设备的显示装置中显示，使得渲染数据叠加显示在真实场景中，从而获得较优的增强现实体验。

本实施例中，该方法包括以下步骤：

S102：获取渲染数据。

具体地，渲染数据用于表示将要渲染显示的虚拟元素的数据，其可以是二维数据、三维数据、数据标识等，而非虚拟元素最后实际渲染的数据，在其他的实施例中，该渲染数据可以为虚拟元素最后实际渲染的数据，在此不做具体限定。其中，虚拟元素是指用于叠加到真实场景中显示的元素，该些元素可以包括但不限于多媒体文件信息、标识信息、文件信息、表单信息、应用调用信息和实时传感信息。例如，标识信息可以包括箭头、画笔在屏幕上随意涂鸦、圆圈、几何形状等标识信息。又例如，多媒体文件信息可以包括图片、视频、3D模型、PDF文件、office文档等各类文件等。又例如，该些元素还可以包括表单信息，例如在对应目标位置生成表单，以供用户查看或输入内容等。又例如，该些元素还可以包括应用调用信息，用于执行应用的相关指令等，如打开应用、调用应用具体的功能，具体地，拨打电话、打开链接等。又例如，该些元素还可以包括实时传感信息，用于连接传感装置(如传感器等)并获取目标对象的传感数据。在一些实施例中，该些元素包括以下任一项标记信息：如元素的图标、名称、颜色等；元素内容，如PDF文件的内容、3D模型的内容等；元素类型，如文件信息、应用调用信息等。当然，本领域技术人员应能理解上述该些元素仅为举例，其他现有的或今后可能出现的标识信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。此外，需说明的是，在一些实施例中，所述应用调用信息用于调用终端中已安装的第一目标应用。例如，终端当前已安装多个应用，该应用调用信息用于调用该终端当前已安装的应用之一；比如启动对应应用后并执行相关快捷指令，如启动电话应用，并发起呼叫请求等。当然，该些元素呈现于当前用户设备，则该应用调用信息用于调用当前用户设备中的应用，若该标识信息呈现于其他终端，则该应用调用信息用于调用对应终端中的应用，如启动其他终端的电话应用，并发起呼叫请求等。

在一些可选的实施例中，用户视场中存在虚拟元素显示提示，如用户设备的显示装置呈现显示提示等，则可以基于用户的交互以确定是否显示，例如接收用户的显示指令，然后基于该显示指令查询对应该用户视场的已存储的虚拟元素的渲染数据，后续基于该已存储的虚拟元素的渲染数据进行虚拟元素的显示。

在一些可选的实施例中，终端获取到用户视场中的虚拟元素的渲染数据，然后接收用户做出的交互动作，基于该交互动作确定用户的输入，最后基于用户的输入来确定是否显示虚拟元素，若是需要显示，则终端基于获取到的渲染数据进行处理并显示对应的虚拟元素。可选地，该交互动作包括但不限于点击、触摸、手势、语音、按键、头部运动、眼部运动等。在一些实施例中，虚拟元素的属性包括虚拟元素的隐藏和显示，当基于用户的输入确定虚拟元素的状态为显示时，则确定元素需要显示，从而终端基于获取到的渲染数据进行处理并显示对应的虚拟元素。

S104：根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，渲染类型包括二维类型和三维类型。

渲染类型即虚拟元素最后的显示的类型，其可以包括二维类型和三维类型，其中二维类型即通过二维平面数据的方式显示该元素，三维类型即通过三维立体数据的方式，例如通过三维模型的方式显示该元素。

预设渲染规则包括业务数据规则和/或距离信息规则。业务数据规则包括故事情节规则、业务数据流规则以及场景信息规则中的至少一个。

其中故事情节规则可以是获取预先设定的故事情节，然后设置每个故事情节中所涉及的元素的渲染类型，这样后续终端获取到故事情节后，可以查询与故事情节对应的各个元素的渲染类型，并基于渲染类型进行虚拟元素的渲染显示，其中对于各个故事情节中各元素的渲染类型的设置可以是由业务人员自行设置的，或者是用户基于用户的习惯设置的，在此不做具体限定。

其中业务数据流规则可以是获取预先规划的业务处理的流程，如巡检点任务的处理顺序等等，然后设置每个流程中所涉及的元素的渲染类型，这样后续终端获取到业务处理的流程后，可以查询与业务处理的流程对应的各个元素的渲染类型，并基于渲染类型进行虚拟元素的渲染显示，其中对于各个业务处理的流程中各元素的渲染类型的设置可以是由业务人员自行设置的，或者是用户基于用户的习惯设置的，在此不做具体限定。

其中场景信息规则可以是获取预先规划的各个场景，然后设置每个场景中所涉及的元素的渲染类型，这样后续终端获取到场景后，可以查询与场景对应的各个元素的渲染类型，并基于渲染类型进行虚拟元素的渲染显示，其中对于各个场景中各元素的渲染类型的设置可以是由业务人员自行设置的，或者是用户基于用户的习惯设置的，在此不做具体限定。

距离信息规则可以是基于用户(如用户设备、用户设备的摄像装置等)与各个虚拟元素的距离来确定各个虚拟元素的渲染类型，例如若虚拟元素与用户的距离大于或等于阈值，则渲染类型为二维类型，若虚拟元素与用户的距离小于阈值，则渲染类型与三维类型。在其他的可选的实施例中，还可以加入用户的姿态信息，例如，基于用户的位姿(位置和姿态信息)确定各个元素的渲染类型，增加姿态信息对渲染类型的判断，从而提升用户体验。其中用户的位姿信息可以是基于定位算法确定，该定位算法将在下面详细说明。各个虚拟元素的位置是预先设定或者基于用户的交互实时添加设定的，在此不做具体的限定。

需要说明的是，上文中仅单独介绍了各个规则，但是在实际应用中，在一次渲染类型的判断时，至少需要采用上述一个规则，使用多规则组合判定，这种判定能够兼顾广泛的场景，而非仅使用一种规则(如距离等)。当多个规则进行判断时，可以并行判断或按照规则的优先级进行判断，并行判断时，各个规则的优先级相同，终端可以通过综合各个规则的判断结果以确定最终的渲染类型；按照规则的优先级进行判断时，则各个规则的判断结果需要基于规则对应的优先级进一步判断，高优先级规则的判断结果优先低优先级规则的判断结果，如当距离规则和故事情节规则的判断结果不同时，如果距离规则的优先级高于故事情节规则的优先级，则以距离规则的判断结果为准，在此不对规则的执行做具体限定，本领域技术人员可以根据业务需求等进行设置。此外，用户还可以选择预设渲染规则，也就是说用户可以选择确定参与计算的预设渲染规则，而无需采用所有的或者某一个或多个预设渲染规则。

在实际应用中，终端基于预设渲染规则对渲染数据进行处理的过程可以是一个判断过程，基于至少一个预设渲染规则进行判定从而确定渲染数据的渲染类型。

S106：根据渲染类型对渲染数据进行渲染。

具体地，终端在确定了渲染类型后，基于渲染类型和渲染数据获取到对应的最后实际渲染的数据，并进行渲染。其中渲染数据用于表示将要渲染显示的虚拟元素的数据，包括各类型的数据，例如包括二维数据、三维数据和数据标识等，其中三维数据可以理解为3D元素，例如3D模型等，二维数据可以为2D数据，包括但不限于元素的模型原画、元素对应的3D模型的某一角度的渲染图、任意的2D图像等，数据标识用于唯一标识虚拟元素，可以是任意类型数据，如字符串、数字等，并可匹配对应数据库中预先存储的虚拟元素的数据，也即通过数据标识可以获取对应虚拟元素的数据。在一些实施例中，渲染数据对应的虚拟元素的数据类型可以是一种或多种，如可以同时包括二维数据和三维数据等，每种数据类型的数量不进行限定，可以是一个或多个，如其中二维数据的数量是多个等。

实际应用中，当渲染类型为二维类型时，则获取到该渲染数据对应的二维数据，例如，渲染数据仅包括二维数据，则直接将该二维数据作为最后实际渲染的数据；又如，渲染数据仅包括三维数据，则基于该三维数据确定相应的二维数据作为最后实际渲染的数据，其中，该相应的二维数据可以是该三维数据生成的二维数据，也可以是预先存储的该三维数据匹配对应的二维数据；再如，渲染数据仅包括数据标识，则将数据库中预先存储的该数据标识匹配对应的二维数据、或者三维数据进一步生成的二维数据作为最后实际渲染的数据，然后渲染该二维数据；再如，渲染数据包括两种以上类型的数据，如包括二维数据、三维数据、数据标识中的至少两种类型，则可以直接将渲染数据中包括的二维数据作为最后实际渲染的数据，或者，将基于渲染数据中的三维数据和/或数据标识确定的相应的二维数据作为最后实际渲染的数据，然后渲染该二维数据。当渲染类型为三维类型时，则获取到该渲染数据对应的三维数据，例如，渲染数据仅包括三维数据，则直接将该渲染数据作为最后实际渲染的数据；又如，渲染数据仅包括二维数据，则基于该二维数据确定相应的三维数据作为最后实际渲染的数据，其中，该相应的三维数据可以是该二维数据生成的三维数据，如基于多个二维数据生成对应的三维数据，也可以是预先存储的该二维数据匹配对应的三维数据；再如，渲染数据仅包括数据标识，则将数据库中预先存储的该数据标识匹配对应的三维数据、或者二维数据进一步生成的三维数据作为最后实际渲染的数据，然后渲染该三维数据；再如，渲染数据包括两种以上类型的数据，如包括二维数据、三维数据、数据标识中的至少两种类型，则可以直接将渲染数据中包括的三维数据作为最后实际渲染的数据，或者，将基于渲染数据中的二维数据和/或数据标识确定的相应的三维数据作为最后实际渲染的数据，然后渲染该三维数据。

上述渲染数据处理方法，在获取到渲染数据后，根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，该类型包括二维类型和三维类型，根据渲染类型对渲染数据进行渲染，这样并不是所有的渲染数据都以三维类型进行渲染，部分渲染数据会以二维类型进行渲染，从而可以降低渲染过程中的性能消耗。此外，通过对前期工作流程中的模型原画等二维数据的使用，在不增加工作量、保证呈现效果的情况下更灵活、智能的降低渲染消耗。

在其中一个实施例中，根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：获取当前业务数据；根据当前业务数据确定渲染数据对应的渲染类型。

具体地，本实施例中主要介绍业务数据规则，在一些实施例中，数据库中预先设定并存储了各业务数据与各渲染数据对应的渲染类型的关联关系，通过查询该关联关系即可得到各渲染数据对应的渲染类型。当前业务数据是基于用户的交互实时确定的，例如实时确定用户所在的故事情节、场景信息以及业务流程等等，然后基于所确定的当前业务数据查询数据库，得到与当前业务数据对应的各渲染数据对应的渲染类型。可选地，数据库中设置了所有的渲染数据，但实际应用中可以仅查询基于用户交互所确定的当前业务数据实际要显示的渲染数据对应的渲染类型。在另一些实施例中，各业务数据与各渲染数据对应的渲染类型的关联关系可以基于用户需求实时更改，提升了用户体验。

其中为了方便，以业务数据规则中的故事情节规则和场景规则为例进行说明。

对于故事情节规则参见图2至图5所示，其中图2为一个实施例中的采集花朵故事情节的示意图，图3为一个实施例中食用花朵提升精神力故事情节的示意图，图4为一个实施例中与机器人对战故事情节的示意图，图5为一个实施例中获取装备故事情节的示意图。

在该实施例中，预先规划的故事情节可以是基于业务确定的，为了方便理解，本实施例中预先规划的故事情节依次包括：采集花朵故事情节，食用花朵提升精神力故事情节，与机器人对战故事情节以及获取装备故事情节，即先进行采集花朵故事情节以采集花朵，然后进入食用花朵提升精神力故事情节，通过食用采集后的花朵后可提升精神力，提升精神力后可与机器人对战，所以再进入与机器人对战故事情节，打倒机器人后可获取装备，所以最后进入获取装备故事情节。其中预先设置了各个故事情节中各元素的渲染类型，具体地：

用户设备通过摄像装置获取真实场景信息，对于采集花朵故事情节，在采集花朵时，用户视场中涉及到的虚拟元素为花朵和机器人，此时花朵的渲染类型为三维类型，机器人的渲染类型为二维类型，所以用户设备的显示屏幕中渲染3D的花朵和2D的机器人，叠加显示在真实场景中；对于食用花朵提升精神力故事情节，用户视场中涉及到的虚拟元素为用户的手、花朵以及机器人，此时用户的手的渲染类型为三维类型，花朵、机器人等的渲染类型为二维类型，所以用户设备的显示屏幕中渲染3D的手和2D的花朵和机器人，叠加显示在真实场景中；对于与机器人对战故事情节，用户视场中涉及到的虚拟元素为机器人和花朵，此时花朵的渲染类型为二维类型，机器人的渲染类型为三维类型，所以用户设备的显示屏幕中渲染3D的机器人和2D的花朵，叠加显示在真实场景中；对于获取装备故事情节，用户视场中涉及的虚拟元素为装备、机器人和花朵，此时装备的渲染类型为三维类型，花朵的渲染类型为二维类型，机器人的渲染类型为二维类型，所以用户设备的显示屏幕中渲染3D的装备和2D的机器人、花朵，叠加显示在真实场景中。

这样在实际应用中，终端获取到当前故事情节，然后查询与当前故事情节对应的元素的渲染类型即可。

对于场景规则参见图6至图9所示，其中图6为一个实施例中处于观赏花朵场景的游览者的视场示意图，图7为一个实施例中处于机器人战斗场景的游览者的视场示意图，图8为另一个实施例中处于观赏花朵场景的游览者的视场的示意图，图9为另一个实施例中处于机器人战斗场景的游览者的视场示意图。

在该实施例中，预先规划了相同的真实场景中面向不同类型的用户对应的不同虚拟场景，在一些实施例中，在相同的真实场景中，仅显示该真实场景中对应用户类型的虚拟场景，不显示该真实场景中对应其他用户类型的虚拟场景，如其他用户类型的虚拟场景中的虚拟元素的属性为隐藏等，结合图6所示，观赏花朵场景一般面向乐于旅游的游览者，对处于观赏花朵场景的游览者，花朵的渲染类型为三维类型，其视场中可以看到虚拟的三维花朵叠加显示在真实场景(如地点A)中。结合图7所示，机器人对战场景一般面向热衷游戏的游览者，对处于机器人战斗场景的游览者，机器人的渲染类型为三维类型，其视场中可以看到虚拟的三维机器人叠加显示在真实场景(如地点A)中。其中，用户的类型可以由业务人员或用户自行设定，用户类型可以是游览前设定，也可以在游览过程中调整，在此不做具体限定。具体地，在实际应用中，先获取到用户的类型，然后获取到用户的类型对应的场景信息，根据场景信息确定对应的虚拟元素的渲染类型。在另一些实施例中，不同类型的游览者在实际游览过程中也会因为各种因素调整其游览的场景，此时能够让场景中的游览者看到还有其他的不同的场景至关重要，此时使用二维渲染类型渲染另外场景的内容可以在不影响用户体验的情况下达到此目标，也即在相同的真实场景中，不仅显示该真实场景中对应用户类型的虚拟场景，还可以显示该真实场景中对应其他用户类型的虚拟场景，如其他用户类型的虚拟场景中的虚拟元素的渲染类型为二维类型等。结合图8所示，对处于观赏花朵场景的游览者，由于其主要是为了观赏花朵，所以在其视场中花朵的渲染类型为三维类型，机器人的渲染类型为二维类型，可以看到虚拟的三维花朵和二维机器人叠加显示在真实场景(如地点A)中。结合图9所示，对处于机器人战斗场景的游览者，在其视场中机器人的渲染类型为三维类型，花朵的渲染类型为二维类型，可以看到虚拟的三维机器人和二维花朵叠加显示在真实场景(如地点A)中。

上述实施例中，基于业务数据规则获取渲染数据对应的渲染类型，以对不同的渲染数据进行不同的渲染，节省资源消耗，提高效率。

在其中一个实施例中，根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：确定当前用户的位置信息；计算位置信息与渲染数据对应的各元素的距离信息；基于距离信息确定渲染数据的渲染类型。

具体的用户的位置信息可以通过定位算法来确定，例如基于GPS、WIFI、蓝牙、5G等无线网络设备的定位方案，又如视觉定位方案(使用相机捕获图像，提取图像的特征并与已知的特征匹配)，包括图像跟踪、3D模型跟踪、视觉定位VPS等，还如视觉里程计定位方案，包括VO、VIO、SLAM等，渲染数据中各个虚拟元素的位置是预先设定或者基于用户的交互实时添加设定，通过用户的位置信息与各渲染数据对应的各元素的位置计算用户的位置信息与各渲染数据对应的各元素的距离信息，部分具体的定位算法可以参见下文。

基于距离信息确定渲染数据的渲染类型可以是将距离与阈值进行比较，若是距离大于或等于阈值，则渲染类型为二维类型，若距离小于阈值，则渲染类型为三维类型。例如在某一个AR/MR游览中，包括多个鲜花模型需要渲染，如果需要渲染的鲜花距离用户过远(可定义阈值)，则仅渲染鲜花的2D图像。

具体地，本实施例主要介绍距离信息规则，请结合图10至图11所示，其中图10为一个实施例中的场景的俯视图，图11为一个实施例中的不同的位置的视场示意图。

在该实施例中，真实场景为博物馆大厅，该大厅的长宽(俯视)分别为100m、45m，在大厅中摆放了同样的虚拟花朵1、虚拟花朵2。

用户携带用户设备走到其中3个点位查看环境，通过用户设备的摄像装置捕获场景信息后，用户设备的显示装置显示画面(用户视场)如图11所示。在入口处，距离虚拟花朵1较近、距离虚拟花朵2较远，此时虚拟花朵1的渲染类型为三维类型，虚拟花朵2的渲染类型为二维类型。在大厅中部，此时视场中仅存在虚拟花朵2且距离较近，则虚拟花朵2的渲染类型为三维类型。在大厅尽头回看入口，距离虚拟花朵2较近、距离虚拟花朵1较远，此时虚拟花朵1的渲染类型为二维类型，虚拟花朵2的渲染类型为三维类型。

上述实施例中，通过距离信息来确定各个渲染数据的渲染类型，以对不同的渲染数据进行不同的渲染，节省资源消耗，提高效率。

在其中一个实施例中，根据渲染类型对渲染数据进行渲染，包括：基于渲染类型生成对应的渲染指令，渲染指令包括渲染二维类型元素的渲染指令和渲染三维类型元素的渲染指令；基于渲染指令对渲染数据进行渲染。

具体地，结合图12所示，图12为一个实施例中的渲染流程的示意图。该渲染流程包括应用阶段、几何阶段以及光栅化阶段，其中应用阶段是在CPU执行，几何阶段和光栅化阶段是在GPU执行，应用阶段主要是由CPU进行计算数据准备、设置渲染状态并向GPU发送渲染指令；几何阶段由GPU根据CPU的指令及数据进行顶点着色、裁剪、屏幕映射等；光栅化阶段则包括三角形设置、遍历、逐片元操作等，最终将图片呈现在屏幕中。

其中本实施例中，在应用阶段CPU根据预设渲染规则对渲染数据进行处理得到渲染类型后，基于渲染类型生成渲染指令，并将渲染指令发送至GPU，GPU基于该渲染指令对渲染数据进行渲染，即执行几何阶段和光栅化阶段，最终呈现在屏幕。

在其中一个实施例中，根据渲染类型对渲染数据进行渲染，包括：当渲染类型为二维类型时，获取渲染数据对应的二维数据；对二维数据进行渲染。具体地，当渲染类型为二维类型时，则获取到渲染数据对应的二维数据，例如，渲染数据仅包括二维数据，则直接渲染该二维数据；又如，渲染数据仅包括三维数据，则渲染基于该三维数据确定相应的二维数据，其中，该相应的二维数据可以是该三维数据生成的二维数据，也可以是预先存储的该三维数据匹配对应的二维数据；再如，渲染数据仅包括数据标识，则渲染从数据库中预先存储的该数据标识匹配对应的二维数据、或者三维数据进一步生成的二维数据；再如，渲染数据包括两种以上类型的数据，如包括二维数据、三维数据、数据标识中的至少两种类型，则可以直接渲染渲染数据中包括的二维数据，或者，渲染基于渲染数据中的三维数据和/或数据标识确定的相应的二维数据。二维数据可以为2D数据，包括但不限于元素的模型原画、元素对应的3D模型的某一角度的渲染图、任意的2D图像等，其中二维数据应用了在素材生产流程中产生的2D素材，而不会额外增加工作量。

在其中一个实施例中，获取渲染数据对应的二维数据，包括：获取渲染数据对应的角度信息；基于角度信息得到二维数据。

在一些实施例中，渲染数据仅包括三维数据，或者，渲染数据除三维数据外还包括其他类型的数据且需要基于其中包括的三维数据确定最后实际渲染的数据的情况下，当渲染类型为二维类型时，则需要确定该三维数据对应的二维数据。具体地，角度信息可以理解为渲染数据中三维数据所对应的角度，其可以是任意角度或者是用户角度，基于该角度信息可以获取到三维数据对应的二维数据。

在其中一个可选的实施例中，获取渲染数据对应的角度信息，包括：基于当前用户的位姿信息确定渲染数据的角度信息。在另外的可选的实施例中，获取渲染数据对应的角度信息，包括：获取随机或任意角度。其中，当角度信息是随机或任意角度时，可以基于渲染数据中包括的三维数据确定其随机或任意角度的二维数据，如某一随机或任意角度的2D渲染图等。

其中随机或任意角度可以是终端随机或用户人为选择获取的，在此不做具体限制。用户角度则是基于当前用户(如用户设备、用户设备的摄像装置等)的位姿信息实时确定的，即实时确定用户相对于真实场景中虚拟元素的位姿，基于该位姿信息确定虚拟元素(如三维模型)的角度信息，如面向用户的角度等，从而基于该角度提取到三维模型对应面向用户的2D渲染图。

在其中一个实施例中，当前对象的位姿信息的确定方式，包括：基于定位算法确定当前用户的位姿信息。

其中定位算法可以是任意定位算法，包括但不限于基于GPS、WIFI、蓝牙、5G等无线网络设备的定位方案、视觉定位方案(包括图像跟踪、3D模型跟踪、视觉定位VPS等)、视觉里程计定位方案(包括VO、VIO、SLAM等)，其中，不同类型的定位算法可以组合使用(如视觉里程计定位方案和视觉定位方案进行融合定位等)，也可以单独使用，为了方便本领域技术人员理解，本申请中采用大空间定位算法来确定当前用户的位姿信息。

具体地，在一些实施例中，大空间定位算法的核心思想是利用在线服务器的充足算力，提前对用户所处的真实场景进行离线地图重建，后续通过稀疏点云和关键帧进行大空间定位。具体地，结合图13所示，图13为一个实施例中大空间定位算法的架构图，在实时位姿估计时，服务器接收到来自用户终端采集的真实场景的图像序列后，在服务器上进行特征点提取、位姿估计。然后，服务器把估计出的位姿信息发送到用户终端上。最后，用户终端上的SLAM算法优化器根据收到的位姿信息校正当前自身位姿，从而提高系统定位精度。

结合图13所示，大空间定位系统主要包括离线建图模块、在线位姿估计模块、端上的实时的数据采集模块、viSLAM模块和位姿融合模块，该些模块分别实现离线建图功能、在线位姿估计功能，实时数据采集功能、实时定位与建图功能和位姿融合校正功能。离线建图模块运行在服务器上，利用服务器的计算资源提前对真实场景图像进行高精地图重建。在线位姿估计模块根据实时从用户终端获得的关健帧和已建图的数据库进行实时在线位姿计算，并把计算结果下发给用户终端。在用户终端，数据采集模块实时采集图像与IMU数据，输入viSLAM模块进行位姿计算，同时把关键帧发送给服务器，进行在线位姿计算，位姿融合模块使用来自在线位姿估计信息对端上的viSLAM算法进行校正，从而提高定位精度。

在另一些实施例中，采用视觉里程计位姿和视觉定位位姿来进行定位，具体地，首先获取到当前时刻用户设备的摄像装置采集的图像的视觉里程计位姿和视觉定位位姿(均包括6Dof的位姿)，视觉里程计位姿与视觉定位位姿组成融合帧，该融合帧包括时间戳、视觉里程计位姿与视觉定位位姿，如获取连续N帧本地视觉里程计位姿P1，获取连续M帧的视觉定位位姿P2，则融合帧包括时间戳、视觉里程计位姿P1与视觉定位位姿P2。保存最近时间内固定数量的融合帧，固定数量一般大于三个，这样通过固定数量的融合帧求解视觉里程计位姿和视觉定位位姿的相似变换的尺度参数和固定数量的转换矩阵，对于固定数量的转换矩阵的参数进行松耦合求解得到稳定的相似变换，将稳定的相似变换进行平滑转换得到平滑的相似变换，最后根据平滑的相似变换将视觉里程计位姿转换至视觉定位位姿坐标系，输出与视觉里程计同帧率的视觉定位位姿，也即在整个坐标系中，能够获取用户设备目前看到的是虚拟元素的哪一个角度、距离多远。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的渲染数据处理方法的渲染数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个渲染数据处理装置实施例中的具体限定可以参见上文中对于渲染数据处理方法的限定，在此不再赘述。

在一个实施例中，如图14所示，提供了一种渲染数据处理装置，包括：渲染数据获取模块1401、渲染类型确定模块1402和渲染模块1403，其中：

渲染数据获取模块1401，用于获取渲染数据；

渲染类型确定模块1402，用于根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，渲染类型包括二维类型和三维类型；

渲染模块1403，用于根据渲染类型对渲染数据进行渲染。

在其中一个实施例中，预设渲染规则包括业务数据规则和/或距离信息规则。

在其中一个实施例中，业务数据规则包括故事情节规则、业务数据流规则以及场景信息规则中的至少一个。

在其中一个实施例中，上述渲染类型确定模块1402包括：

业务数据获取单元，用于获取当前业务数据；

第一渲染类型确定单元，用于根据当前业务数据确定渲染数据对应的渲染类型。

在其中一个实施例中，上述渲染类型确定模块1402包括：

位置信息确定单元，用于确定当前用户的位置信息；

距离信息确定单元，用于计算位置信息与渲染数据对应的各元素的距离信息；

第二渲染类型确定单元，用于基于距离信息确定渲染数据的渲染类型。

在其中一个实施例中，上述渲染模块1403包括：

渲染指令生成单元，用于基于渲染类型生成对应的渲染指令，渲染指令包括渲染二维类型元素的渲染指令和渲染三维类型元素的渲染指令；

第三渲染类型确定单元，用于基于渲染指令对渲染数据进行渲染。

在其中一个实施例中，上述渲染模块1403包括：

二维数据获取单元，用于当渲染类型为二维类型时，获取渲染数据对应的二维数据；

第四渲染类型确定单元，用于对二维数据进行渲染。

在其中一个实施例中，上述二维数据获取单元包括：

角度信息获取子单元，用于获取渲染数据对应的角度信息；

二维数据获取子单元，用于基于角度信息得到二维数据。

在其中一个实施例中，上述角度信息获取子单元还用于基于当前用户的位姿信息确定渲染数据的角度信息。

在其中一个实施例中，上述装置还包括：

位姿信息获取模块，用于基于定位算法确定当前用户的位姿信息。

上述渲染数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种渲染数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取渲染数据；根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，渲染类型包括二维类型和三维类型；根据渲染类型对渲染数据进行渲染。

在一个实施例中，处理器执行计算机程序时所涉及的预设渲染规则包括业务数据规则和/或距离信息规则。

在一个实施例中，处理器执行计算机程序时所涉及的业务数据规则包括故事情节规则、业务数据流规则以及场景信息规则中的至少一个。

在一个实施例中，处理器执行计算机程序时所实现的根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：获取当前业务数据；根据当前业务数据确定渲染数据对应的渲染类型。

在一个实施例中，处理器执行计算机程序时所实现的根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：确定当前用户的位置信息；计算位置信息与渲染数据对应的各元素的距离信息；基于距离信息确定渲染数据的渲染类型。

在一个实施例中，处理器执行计算机程序时所实现的根据渲染类型对渲染数据进行渲染，包括：基于渲染类型生成对应的渲染指令，渲染指令包括渲染二维类型元素的渲染指令和渲染三维类型元素的渲染指令；基于渲染指令对渲染数据进行渲染。

在一个实施例中，处理器执行计算机程序时所实现的根据渲染类型对渲染数据进行渲染，包括：当渲染类型为二维类型时，获取渲染数据对应的二维数据；对二维数据进行渲染。

在一个实施例中，处理器执行计算机程序时所实现的获取渲染数据对应的二维数据，包括：获取渲染数据对应的角度信息；基于角度信息得到二维数据。

在一个实施例中，处理器执行计算机程序时所实现的获取渲染数据对应的角度信息，包括：基于当前用户的位姿信息确定渲染数据的角度信息。

在一个实施例中，处理器执行计算机程序时所实现的当前对象的位姿信息的确定方式，包括：基于定位算法确定当前用户的位姿信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取渲染数据；根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，渲染类型包括二维类型和三维类型；根据渲染类型对渲染数据进行渲染。

在一个实施例中，计算机程序被处理器执行时所涉及的预设渲染规则包括业务数据规则和/或距离信息规则。

在一个实施例中，计算机程序被处理器执行时所涉及的业务数据规则包括故事情节规则、业务数据流规则以及场景信息规则中的至少一个。

在一个实施例中，计算机程序被处理器执行时所实现的根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：获取当前业务数据；根据当前业务数据确定渲染数据对应的渲染类型。

在一个实施例中，计算机程序被处理器执行时所实现的根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：确定当前用户的位置信息；计算位置信息与渲染数据对应的各元素的距离信息；基于距离信息确定渲染数据的渲染类型。

在一个实施例中，计算机程序被处理器执行时所实现的根据渲染类型对渲染数据进行渲染，包括：基于渲染类型生成对应的渲染指令，渲染指令包括渲染二维类型元素的渲染指令和渲染三维类型元素的渲染指令；基于渲染指令对渲染数据进行渲染。

在一个实施例中，计算机程序被处理器执行时所实现的根据渲染类型对渲染数据进行渲染，包括：当渲染类型为二维类型时，获取渲染数据对应的二维数据；对二维数据进行渲染。

在一个实施例中，计算机程序被处理器执行时所实现的获取渲染数据对应的二维数据，包括：获取渲染数据对应的角度信息；基于角度信息得到二维数据。

在一个实施例中，计算机程序被处理器执行时所实现的获取渲染数据对应的角度信息，包括：基于当前用户的位姿信息确定渲染数据的角度信息。

在一个实施例中，计算机程序被处理器执行时所实现的当前对象的位姿信息的确定方式，包括：基于定位算法确定当前用户的位姿信息。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取渲染数据；根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，渲染类型包括二维类型和三维类型；根据渲染类型对渲染数据进行渲染。

在一个实施例中，计算机程序被处理器执行时所涉及的预设渲染规则包括业务数据规则和/或距离信息规则。

在一个实施例中，计算机程序被处理器执行时所涉及的业务数据规则包括故事情节规则、业务数据流规则以及场景信息规则中的至少一个。

在一个实施例中，计算机程序被处理器执行时所实现的根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：获取当前业务数据；根据当前业务数据确定渲染数据对应的渲染类型。

在一个实施例中，计算机程序被处理器执行时所实现的根据预设渲染规则对渲染数据进行处理，得到渲染数据的渲染类型，包括：确定当前用户的位置信息；计算位置信息与渲染数据对应的各元素的距离信息；基于距离信息确定渲染数据的渲染类型。

在一个实施例中，计算机程序被处理器执行时所实现的根据渲染类型对渲染数据进行渲染，包括：基于渲染类型生成对应的渲染指令，渲染指令包括渲染二维类型元素的渲染指令和渲染三维类型元素的渲染指令；基于渲染指令对渲染数据进行渲染。

在一个实施例中，计算机程序被处理器执行时所实现的根据渲染类型对渲染数据进行渲染，包括：当渲染类型为二维类型时，获取渲染数据对应的二维数据；对二维数据进行渲染。

在一个实施例中，计算机程序被处理器执行时所实现的获取渲染数据对应的二维数据，包括：获取渲染数据对应的角度信息；基于角度信息得到二维数据。

在一个实施例中，计算机程序被处理器执行时所实现的获取渲染数据对应的角度信息，包括：基于当前用户的位姿信息确定渲染数据的角度信息。

在一个实施例中，计算机程序被处理器执行时所实现的当前对象的位姿信息的确定方式，包括：基于定位算法确定当前用户的位姿信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种渲染数据处理方法，其特征在于，所述方法包括：

获取渲染数据；

根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，所述渲染类型包括二维类型和三维类型；

根据所述渲染类型对所述渲染数据进行渲染。

2.根据权利要求1所述的方法，其特征在于，所述预设渲染规则包括业务数据规则和/或距离信息规则。

3.根据权利要求2所述的方法，其特征在于，所述业务数据规则包括故事情节规则、业务数据流规则以及场景信息规则中的至少一个。

4.根据权利要求2所述的方法，其特征在于，所述根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，包括：

获取当前业务数据；

根据所述当前业务数据确定所述渲染数据对应的渲染类型。

5.根据权利要求2所述的方法，其特征在于，所述根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，包括：

确定当前用户的位置信息；

计算所述位置信息与所述渲染数据对应的各元素的距离信息；

基于所述距离信息确定所述渲染数据的渲染类型。

6.根据权利要求1所述的方法，其特征在于，所述根据所述渲染类型对所述渲染数据进行渲染，包括：

基于所述渲染类型生成对应的渲染指令，所述渲染指令包括渲染二维类型元素的渲染指令和渲染三维类型元素的渲染指令；

基于所述渲染指令对渲染数据进行渲染。

7.根据权利要求1或6所述的方法，其特征在于，所述根据所述渲染类型对所述渲染数据进行渲染，包括：

当所述渲染类型为二维类型时，获取所述渲染数据对应的二维数据；

对所述二维数据进行渲染。

8.根据权利要求7所述的方法，其特征在于，所述获取所述渲染数据对应的二维数据，包括：

获取所述渲染数据对应的角度信息；

基于所述角度信息得到所述二维数据。

9.根据权利要求8所述的方法，其特征在于，所述获取所述渲染数据对应的角度信息，包括：

基于当前用户的位姿信息确定所述渲染数据的角度信息。

10.根据权利要求9所述的方法，其特征在于，所述当前对象的位姿信息的确定方式，包括：

基于定位算法确定所述当前用户的位姿信息。

11.一种渲染数据处理装置，其特征在于，所述装置包括：

渲染数据获取模块，用于获取渲染数据；

渲染类型确定模块，用于根据预设渲染规则对所述渲染数据进行处理，得到所述渲染数据的渲染类型，所述渲染类型包括二维类型和三维类型；

渲染模块，用于根据所述渲染类型对所述渲染数据进行渲染。

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

Images