CN117095100A - 多任务系统中渲染三维内容的方法、装置及设备 - Google Patents

Abstract

本说明书涉及计算机系统、计算机图形及人机交互技术领域，尤其涉及一种多任务系统中渲染三维内容的方法、装置及设备。包括，应用负责处理应用逻辑，生成渲染对象的渲染指令，然后将渲染指令发送给系统，由系统根据渲染指令对渲染对象进行渲染，此方法可以减少应用和系统之间的数据传输压力，降低传输延迟，节约渲染资源，提高XR系统的显示画面的质量和用户体验，降低XR设备的功耗。

Description

多任务系统中渲染三维内容的方法、装置及设备

技术领域

本说明书实施例涉及计算机系统、计算机图形及人机交互技术领域，尤其涉及一种多任务系统中渲染三维内容的方法、装置及设备。

背景技术

在XR等的多任务系统中，支持同时运行多个任务(即多个进程)。每个进程的内部完成对象的逻辑处理和渲染，并将每一帧渲染得到的图像发送给系统，由系统内的合成器对多个进程发送的图像进行合成，形成最终的画面显示在屏幕上。在二维多任务系统中，此方式可以很好的将渲染压力分散给各个进程，在系统可以通过平面遮挡关系进行渲染方面的优化，比如被其他进程遮挡的部分不进行渲染，只渲染、传输可见区域，从而节约渲染资源降低传输带宽压力。但是当进程和系统都是三维场景时，如在XR眼镜中的三维多任务效果，每个进程的内容都是一个三维场景，系统最终合成的场景也是三维的。在XR三维环境中，用户的画面的分辨率要求较高，各进程需要根据用户的分辨率要求对渲染对象进行渲染，生成高分辨率的图像，并将高分辨率的图像发送给系统，这造成了巨大的传输带宽压力，增加了传输延迟，并浪费了部分渲染资源。高传输带宽压力及传输延迟降低了XR系统的显示画面的质量和用户体验，同时增加了XR设备的功耗。

现在亟需一种多任务系统中渲染三维内容的方法，从而解决现有的三维多任务渲染技术中存在应用和系统间传输带宽压力大、传输延迟高、渲染资源紧张的问题。

发明内容

为解决现有技术中存在的问题，本说明书实施例提供了一种多任务系统中渲染三维内容的方法、装置及设备，应用负责根据应用逻辑，生成渲染对象的渲染指令，然后将渲染指令发送给系统，由系统根据渲染指令对渲染对象进行渲染，此方法可以减少应用和系统之间的数据传输压力，降低传输延迟，提高XR系统的双目画面的质量和用户体验。

为了解决上述技术问题，本说明书实施例的具体技术方案如下：

一方面，本说明书实施例提供了一种多任务系统中渲染三维内容的方法，应用于支持显示三维内容设备多任务系统中，由支持显示三维内容设备多任务系统中的应用执行，所述方法包括：

根据应用逻辑，生成渲染对象的渲染指令，所述渲染指令用于指导生成渲染对象的渲染图像；

将所述渲染指令发送给系统，以便于所述系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面。

进一步地，根据应用逻辑，生成渲染对象的渲染指令，进一步包括：

解析触发的渲染事件，获取渲染对象的元数据，其中，所述渲染对象的元数据包括渲染对象的描述信息以及属性信息；

对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令。

进一步地，渲染事件包括：操作用户的操作信息；

所述系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，具体包括：

所述系统根据接收到的多个应用发送的渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染。

进一步地，所述渲染对象的元数据还包括增量信息，所述渲染事件包括对象初始化事件和对象调整事件；

所述方法还包括：

对所述对象初始化事件进行所述应用逻辑处理，生成所述渲染对象的初始渲染指令，并将所述初始渲染指令发送给所述系统，以便于所述系统根据接收到的多个应用发送的初始渲染指令对多个应用的渲染对象进行渲染；

对所述对象调整事件进行所述应用逻辑处理，生成所述渲染对象的增量渲染指令，并将所述增量渲染指令发送给所述系统，以便于所述系统根据所述增量渲染指令对多个应用的渲染对象进行渲染。

进一步地，所述渲染对象的元数据还包括渲染对象的运动模型；

所述方法还包括：

将所述渲染对象的运动模型进行所述应用逻辑处理，生成所述渲染对象的模型渲染指令，并将所述模型渲染指令发送给所述系统，以便于所述系统根据所述模型渲染指令对多个应用的渲染对象进行渲染。

另一方面，本发明实施例还提供了一种多任务系统中渲染三维内容的方法，应用于支持显示三维内容设备多任务系统中，由支持显示三维内容设备多任务系统中的系统执行，所述方法包括：

接收多个应用发送的渲染对象的渲染指令，所述渲染指令是所述应用根据应用逻辑所生成的，所述渲染指令用于指导生成所述渲染对象的渲染图像；

根据支持显示三维内容设备获取操作用户的观察角度信息；

根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面。

进一步地，所述渲染指令是所述应用根据应用逻辑所生成的，进一步包括：

应用解析触发的渲染事件，获取渲染对象的元数据，其中，所述渲染事件包括操作用户的操作信息，所述元数据包括渲染对象的描述信息以及属性信息；

对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令。

进一步地，所述渲染对象的元数据还包括增量信息，所述渲染事件包括对象初始化事件和对象调整事件，初始渲染指令是所述应用对所述对象初始化事件进行所述应用逻辑处理生成的，所述增量渲染指令是所述应用对所述对象调整事件进行所述应用逻辑处理生成的；

所述方法还包括：

根据接收到的应用发送的初始渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染；

根据接收到的应用发送的增量渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染。

进一步地，所述渲染对象的元数据还包括所述渲染对象的运动模型，模型渲染指令是所述应用对所述渲染对象的运动模型进行所述应用逻辑处理生成的；

所述方法还包括：

根据接收到的应用发送的模型渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染。

进一步地，根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，进一步包括：

获取所述支持显示三维内容设备的画布范围；

在所述画布范围内根据渲染指令以及所述观察角度信息对多个应用的渲染对象进行渲染。

进一步地，根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，进一步包括：

根据所述操作用户的观察角度信息以及所有渲染指令计算所述元数据之间的遮挡关系；

对不存在遮挡的所述元数据进行渲染，得到所述渲染画面。

另一方面，本发明实施例还提供了多任务系统中渲染三维内容的装置，所述装置包括：

渲染指令生成单元，用于根据应用逻辑，生成所述渲染对象的渲染指令，所述渲染指令用于指导生成所述渲染对象的渲染图像；

渲染指令发送单元，用于将所述渲染指令发送给系统，以便于所述系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，得到包括所述渲染对象的渲染画面。

另一方面，本发明实施例还提供了一种多任务系统中渲染三维内容的装置，所述装置包括：

渲染指令接收单元，用于接收多个应用发送的渲染对象的渲染指令，所述渲染指令是所述应用根据接应用逻辑所生成的，所述渲染指令用于指导生成所述渲染对象的渲染图像；

观察角度信息获取单元，用于根据支持显示三维内容设备获取操作用户的观察角度信息；

渲染单元，用于根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包括所述渲染对象的渲染画面。

另一方面，本说明书实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

最后，本说明书实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法。

利用本说明书实施例，多任务系统的支持显示三维内容设备的应用根据应用逻辑，生成渲染对象的渲染指令，然后将渲染指令发送给系统，相比于传统的应用对渲染对象进行渲染并将渲染得到的图像发送给系统的方法，本发明应用发送的渲染指令的大小远小于渲染得到的图像，因此能够有效地减少应用和系统之间的数据传输压力，降低传输延迟。最后系统对接收到的多个应用发送的渲染指令以及用户的观察角度信息对多个应用的渲染对象进行渲染，得到渲染画面。本发明仍将应用逻辑的执行保留在应用中执行，系统执行渲染，即使某个应用处理逻辑崩溃，也不会影响到系统的运行，其余正常工作的应用的渲染对象仍能够正常渲染，提高了系统的整体稳定性。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本说明书实施例中一种多任务系统中渲染三维内容的方法的实施系统示意图；

图2、图3所示为本说明书实施例中一种多任务系统中渲染三维内容的方法的流程图；

图4所示为本说明书实施例中根据应用逻辑，生成渲染对象的渲染指令的步骤；

图5所示为本说明书实施例中系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染的步骤；

图6所示为本说明书实施例中系统根据渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染的步骤；

图7所示为本说明书实施例中渲染对象的元数据还包括增量信息的根据应用逻辑，生成渲染对象的渲染指令的数据流图；

图8、图9所示为本说明书实施例中一种多任务系统中渲染三维内容的装置的结构示意图；

图10所示为多任务系统中渲染三维内容的渲染系统的结构示意图；

图11所示为本说明书实施例中计算机设备的结构示意图；

图12所示为本说明书实施例中实现操作用户和渲染的对象的互动的示意图。

【附图标记说明】：

101、支持显示三维内容设备；

102、应用交互模块；

103、系统合成模块；

104、显示三维界面模块；

801、渲染事件接收单元；

802、渲染指令生成单元；

803、渲染指令发送单元；

901、渲染指令接收单元；

902、观察角度信息获取单元；

903、渲染单元；

1001、渲染系统；

1002、应用；

1102、计算机设备；

1104、处理设备；

1106、存储资源；

1108、驱动机构；

1110、输入/输出模块；

1112、输入设备；

1114、输出设备；

1116、呈现设备；

1118、图形用户接口；

1120、网络接口；

1122、通信链路；

1124、通信总线。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

需要说明的是，本说明书的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本说明书的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示为本发明实施例一种多任务系统中渲染三维内容的方法的实施系统示意图，应用于支持显示三维内容设备101的多任务系统中，支持显示三维内容设备可以为XR设备、3D投影设备等，多任务渲染系统1001可以包括：系统合成模块103以及多个应用交互模块102，每一个应用1002的应用交互模块102都可以与操作用户进行交互，应用交互模块102中的应用能够根据应用逻辑，生成渲染对象的渲染指令。具体为，解析触发的渲染事件，获取渲染对象的元数据，对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令。应用交互模块102与系统合成模块103之间可以通过IPC等方式进行通信，应用将渲染指令发送给系统合成模块103。系统合成模块103能够获取操作用户的观察角度信息，对接收到的渲染指令以及操作用户的观察角度信息对渲染对象进行渲染，得到包括多个应用的渲染对象的渲染画面。渲染画面可以通过显示三维界面模块104向操作用户显示该渲染画面。

随后，操作用户还可以通过应用交互模块102与显示三维界面模块104中渲染出来的对象进行互动，示例性地，应用交互模块102获取到操作用户的操作信息，应用交互模块102对接收到的渲染事件(即操作用户的操作信息)进行逻辑处理，得到渲染指令，并将渲染指令发送给系统合成模块103，系统合成模块103对接收到的渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面，并将渲染画面通过显示三维界面模块104展示给操作用户，实现操作用户与渲染对象的互动效果。

当然，应用交互模块102进行解析的所触发的渲染事件，也可以是由应用内部产生的内容，应用根据自身内容进行逻辑处理，得到渲染指令，并将渲染指令发送给系统合成模块103，系统合成模块103中对接收到的渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面。

在本发明实施例中，应用交互模块102与系统合成模块103之间还可以通过其他的数据传输方式传输数据，本发明实施例不做限制。此外，需要说明的是，图1所示的仅仅是本公开提供的一种情形，在实际中，还可以包括其他场景，本发明不做限制。

现有技术中每个应用均对自己的渲染对象进行渲染，得到渲染图像，然后将渲染图像发送给系统进程进行合成。由于XR的高分辨率要求，应用所渲染的图像的分辨率较高，渲染图像所占的存储空间较大，使得进程间传输高分辨率的渲染图像存在巨大的传输压力，增加了传输延迟。

为了解决现有技术中存在的问题，本说明书实施例提供了一种多任务系统中渲染三维内容的方法，应用负责根据应用逻辑，生成渲染对象的渲染指令，然后将渲染指令发送给系统，由系统根据渲染指令对渲染对象进行渲染。图2所示为本说明书实施例一种多任务系统中渲染三维内容的方法的流程图。在本图中描述了应用到系统进行渲染的过程，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。具体的如图2所示，可以由应用执行，所述方法可以包括：

步骤201：根据应用逻辑，生成渲染对象的渲染指令，其中，渲染指令用于指导生成渲染对象的渲染图像；

步骤202：将渲染指令发送给系统。

以便于系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面。

相对应地，本发明实施例还提供了一种多任务系统中渲染三维内容的方法，由系统执行，如图3所示，方法可以包括：

步骤301：接收多个应用发送的渲染对象的渲染指令，渲染指令是应用根据应用逻辑所生成的，渲染指令用于指导生成所述渲染对象的渲染图像；

步骤302：根据支持显示三维内容设备获取操作用户的观察角度信息；

步骤303：根据渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面。

通过本说明书实施例的方法，应用根据应用逻辑，生成渲染对象的渲染指令，然后应用将渲染指令发送给系统，相比于传统的应用对渲染对象进行渲染并将渲染得到的图像发送给系统的方法，本发明应用发送的渲染指令的大小远小于渲染得到的图像，因此能够有效地减少应用和系统之间的数据传输压力，降低传输延迟。最后系统对接收到的应用发送的渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到渲染画面。本发明仍将应用逻辑的执行保留在应用中执行，系统执行渲染，即使某个应用因处理逻辑崩溃，也不会影响到系统的运行，其余正常工作的应用的渲染对象仍能够正常渲染，提高了系统的整体稳定性。

应用根据应用逻辑，生成渲染指令。在本发明实施例中，渲染指令并非是对渲染对象进行渲染得到的图像，而是用于指导生成渲染对象的渲染图像，应用将渲染指令发送给系统，可以理解为，系统在渲染指令的指导下，生成渲染图像。渲染指令为任何可以指导系统控制硬件进行画面渲染的指令。当然渲染指令也可以包括两部分，一部分为任何可以转化为硬件指令的内容，另一部分则为硬件指令，硬件指令控制硬件进行画面渲染，而硬件指令的类型可以为GPU指令，例如OpenGL/Vulkan/DirectX等的GPU API等，本发明不对渲染指令的具体形式进行限定。

当然，本发明也不对限制某个或者某些应用直接将渲染画面(例如，可以是较为简单、内存小或者更适宜以渲染画面的方式)发送给系统。系统接收多个应用发送的渲染指令以及渲染画面，系统基于渲染指令对多个应用的渲染对象进行渲染，同时合成接收的多个应用发送的渲染画面，最终得到包含多个应用的渲染对象的渲染画面。

在本说明书实施例中，渲染指令的粒度可以根据实际的需要设定，本发明不做限制。

如图4所示，根据应用逻辑，生成渲染对象的渲染指令，进一步包括：

步骤401：解析触发的渲染事件，获取渲染对象的元数据；

步骤402：对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令。

以便于系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染。

在本发明实施例中，渲染事件可以包括操作用户的操作信息，也可以包括应用根据应用逻辑所产生的内容。渲染对象的元数据包括渲染对象的描述信息以及属性信息，渲染对象的描述信息的类别可以是图片或视频内容、文字内容、模型几何信息、材质、贴图等，渲染对象的属性信息可以是如位置、旋转、缩放、透明度、动画以及是否显示等。

例如，需要渲染对象是一只“小狗”，应用将“小狗”渲染内容的元数据(例如当前状态(如蹲坐)，样貌，位置旋转大小等信息)转换为对应的渲染指令发送给系统，系统根据收到的渲染指令将“小狗”在指定位置进行渲染，得到渲染画面。多个用户就能看到一只“小狗”蹲坐在环境中一个位置上。

应用可以支持操作用户和“小狗”进行互动，比如交互后躺下。则当操作用户与“小狗”互动，如触摸，操作用户的交互操作作为渲染事件发送给应用，应用解析渲染事件，获取相应的“小狗”元数据，然后根据应用内部的逻辑判定“小狗”在被触摸时会躺下，所以应用会将“小狗”更新的状态转换为渲染指令传给系统，由系统根据渲染指令将触摸操作后的姿态进行绘制。这两个动作之间也可以支持动画，动画相关的内容(如运动模型)可以通过模型渲染指令通知系统进行渲染。

步骤401中的解析触发的渲染事件，进一步的包括：

应用解析触发的渲染事件，创建需要渲染的三维内容。三维内容可以是应用直接生成的，也可以通过读取文件解析；

三维内容可以通过几何、材质等传统三维模型方式描述，从fbx，obj等三维模型文件格式读取，也可以通过NeRF等其他方式描述。三维内容的文件也可以是其他自定义的文件格式。应用将渲染事件解析转化为渲染对象的元数据，即渲染对象的模型几何信息、文字内容、材质等描述信息，以及位置、旋转、缩放等属性信息。

例如，需要的渲染对象是一只“小狗”，“小狗”有自己的动画效果A，操作用户点击或触碰“小狗”，会触发另外的动画效果B。此时，动画效果B即为渲染事件。

应用解析触发的渲染事件，创建需要渲染的动画效果B的三维内容，将动画效果B转化解析为元数据，即包括“小狗”的模型几何信息、材质等描述信息，也包括“小狗”的位置、旋转、缩放等属性信息。

步骤402中的对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令，进一步的包括：

将渲染对象的元数据进行时间序列化处理，获取渲染对象的帧元数据；

基于系统的渲染逻辑，生成对应渲染对象的帧元数据的控制指令。

此时的渲染指令既包括渲染对象的帧元数据又包括与帧元数据对应的控制指令。帧元数据与控制指令均传递给系统，由系统执行渲染，得到渲染画面。

在本发明实施例中，渲染事件包括操作用户的操作信息，系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，具体包括：

系统根据接收到的多个应用发送的渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染。

元数据还可以为渲染对象的运动模型，对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令。此时的渲染指令可以为模型渲染指令，系统可以根据接收的多个应用发送的模型渲染指令生成渲染对象的图像。

在本发明实施例中，将渲染对象的运动模型进行应用逻辑处理，生成渲染对象的模型渲染指令，并将模型渲染指令发送给系统，以便于系统根据模型渲染指令对多个应用的渲染对象进行渲染。

同样的，也可以是，系统根据接收到的多个应用发送的模型渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染。

而传统的方法，各应用均有对应的画布范围，即应用只能在规定的画布范围内渲染图像，即渲染对象在规定的画布范围内的部分可以被渲染，不在该画布范围内的部分将不能被渲染，因此无法实现各应用对应的对象之间的互动效果，XR系统表达及交互的灵活性低，用户的使用体验较为单一。

相比于传统应用渲染图像的方法，本发明通过传输渲染指令的方式，解除了应用的渲染对象只能在该应用的画布范围内渲染的限制。具体地，根据本说明书的一个实施例，如图5所示，系统根据接收到的多个应用发送的渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染进一步包括：

步骤501：获取支持显示三维内容设备的画布范围；

步骤502：在画布范围内根据渲染指令以及观察角度信息对多个应用的渲染对象进行渲染。

在本说明书实施例中，支持显示三维内容设备的画布范围表示整个显示界面的范围，系统可以通过调用系统硬件接口的方式获取整个显示界面的范围，然后在操作用户指定渲染对象在整个显示界面中的属性(即属性信息)对元数据进行渲染。通过本发明的方法，操作用户可以在显示界面中随意指定渲染对象的属性，所以能够实现多个渲染对象之间的互动，丰富了操作用户体验。

现有技术中，应用对渲染对象进行渲染，在系统对多个应用发送的渲染后的图像进行合成时，需要根据渲染后的图像的属性以及操作用户的观察角度计算渲染后的图像的遮挡关系，将各图像中存在遮挡的部分剔除。2D多任务系统可以知道遮挡情况，是因为视角固定，且画面都是完整的矩形区域。3D多任务视角每帧都会有变化，即使不动也会有细微差别，另外3D应用的画面内容不规则，可能有透明区域，所以遮挡情况比较复杂，每帧计算此类信息传给应用开销比较大，性能受损比不考虑遮挡都渲染可能更大，因此应用只能渲染对象的整体，而对于系统在合成时需要剔除的部分，应用进行了多余的渲染，造成了应用计算资源的浪费。

本发明应用不再对渲染对象进行渲染，而是将渲染指令发送给系统，系统对接收到的渲染指令进行渲染。因为系统得到了渲染指令，所以系统可以先根据渲染指令计算渲染对象的遮挡关系，然后仅对不存在遮挡的元数据进行渲染。具体地，根据本发明的一个实施例，如图6所示，根据渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染，进一步包括：

步骤601：根据操作用户的观察角度信息以及所有渲染指令计算元数据之间的遮挡关系；

步骤602：对不存在遮挡的元数据进行渲染，得到渲染画面。

在本发明实施例中，遮挡关系计算的步骤是图形渲染的基础操作，基于深度检测，其过程已经封装在如OpenGL之类的通用API之内，在GPU驱动层完成。

本发明实施例中渲染对象元数据的传输方式可以提供GPU足够的三维场景信息，以便进行遮挡剔除。可以理解为，通过图6所示的方法，系统实现了先计算元数据的遮挡关系，在对不存在遮挡的元数据进行渲染，减小了渲染的计算量，节约了计算资源。

现有技术中，因为系统只负责对接收到的渲染图像进行合成，系统没有渲染对象的元数据，若渲染对象的形状、颜色和属性等发生变化，则应用需要再次对变化后的渲染对象进行渲染，并将再次渲染的图像发送给系统进行合成，若渲染对象是不断运动变化的，则应用需要对各个时刻的渲染对象进行渲染，生成每一帧的渲染图像，再将每一帧的渲染图像按照顺序发送给系统，这种方法造成了应用和系统之间传输的数据量过大，传输延时明显。

为了解决上述问题，根据本发明的一个实施例，渲染对象的元数据还包括增量信息，渲染事件包括对象初始化事件和对象调整事件；

如图7所示，方法还包括：

步骤701：应用对对象初始化事件进行应用逻辑的处理，生成渲染对象的初始渲染指令；

步骤702：应用将初始渲染指令发送给系统；

步骤703：系统根据接收到的多个应用发送的初始渲染指令对多个应用的渲染对象进行渲染；

步骤704：应用对对象调整事件进行应用逻辑的处理，生成渲染对象的增量渲染指令；

步骤705：应用将增量渲染指令发送给系统；

步骤706：系统根据增量渲染指令对多个应用的渲染对象进行渲染。

在本发明实施例中，对象初始化事件和对象调整事件可以为操作用户发出的，也可以由应用内部产生。在由操作用户发出时，操作用户首先初始化渲染对象的元数据，应用对对象初始化事件进行应用逻辑的处理，生成渲染对象的初始渲染指令；系统对操作用户初始化的渲染对象进行渲染，然后操作用户可以通过手持手柄等输入设备与渲染的对象进行互动，即通过手持手柄等输入设备发出渲染的对象的调整事件，可以调整对象的元数据(例如描述信息中文字内容、材质等，或者属性信息中位置、旋转、缩放等)，应用对对象调整事件进行应用逻辑的处理，生成渲染对象的增量渲染指令，系统根据增量渲染指令进行渲染，实现用户和渲染对象的互动。

例如，如图12所示：

操作用户打开应用A进行如下对象初始化操作，触发对象初始化事件。对应用A对应的渲染对象“小恐龙”的元数据(如颜色、大小等)进行初始化；

打开应用B进行如下对象初始化操作，触发对象初始化事件。对应用B对应的渲染对象“椰子树”的元数据(如大小等)进行初始化；

应用A获取到对象初始化事件之后，进行解析，获取到根据操作用户指定的颜色、大小等“小恐龙”的元数据，对“小恐龙”的元数据进行适用系统的调用转化，生成“小恐龙”的初始渲染指令，然后应用A将“小恐龙”的初始渲染指令发送给系统；

应用B获取到对象初始化事件之后，进行解析，获取到根据操作用户指定的大小等“椰子树”的元数据，对“椰子树”的元数据进行适用系统的调用转化，生成“椰子树”的初始渲染指令，然后应用B将“椰子树”的初始渲染指令发送给系统；

系统根据“小恐龙”的初始渲染指令以及“椰子树”的初始渲染指令渲染“小恐龙”和“椰子树”；

操作用户想要让“小恐龙”走到“椰子树”下，通过应用A解析触发的对象调整事件，获取“小恐龙”的元数据，对“小恐龙”的元数据进行适用系统的调用转化，生成“小恐龙”的增量渲染指令；

应用A将“小恐龙”的增量渲染指令发送给系统；

系统根据“小恐龙”的增量渲染指令等重新计算“小恐龙”和“椰子树”的遮挡关系，并重新对“小恐龙”和“椰子树”进行渲染。

通过图7所示的方法，本发明在渲染对象发生调整、变化后，应用只需要发送渲染对象的增量渲染指令给系统即可，减小了数据传输的压力。

在本发明的一些其他实施例中，用户初始化渲染对象之后，可能在一段时间内没有调整该渲染对象的需求，该渲染对象只需要根据应用设定好的逻辑静止不动或规律性运动即可，这种情况下，为了进一步减小应用和系统之间的数据传输量，渲染对象的元数据还包括渲染对象的运动模型；继续如图7所示，方法还包括：

步骤707：应用将渲染对象的运动模型进行应用逻辑的处理，生成渲染对象的模型渲染指令，将模型渲染指令发送给系统；

步骤708：系统根据接收到的模型渲染指令对多个应用的渲染对象进行渲染。

例如，应用A的应用逻辑包含：渲染一只“小恐龙”，“小恐龙”有自己的动画效果，当收到操作用户点击或触碰“小恐龙”的渲染事件后，会触发另一种动画效果。

应用B的应用逻辑包含：渲染一棵“椰子树”，“椰子树”有自己的动画效果，如随风晃动效果。

当操作用户开启应用A后，应用生成“小恐龙”对应的渲染指令，来描述“小恐龙”的样子(即元数据，例如大小，旋转，位置，动画等信息)，发送给系统。

当操作用户开启应用B后，应用生成“椰子树”对应的渲染指令，来描述“椰子树”的样子(即元数据，例如大小，旋转，位置，动画等信息)，发送给系统。

系统根据应用A和B的渲染指令进行统一的渲染合成。

操作用户点击“小恐龙”，应用A收到渲染事件后，根据应用逻辑，触发小恐龙对应的动画效果，并将这部分的变化生成对应的增量渲染指令，发送给系统。

操作用户移动“小恐龙”位置到“椰子树”下，“小恐龙”与“椰子树”发生遮挡，系统根据“小恐龙”位置变化的增量信息重新计算两者的遮挡关系，重新对“小恐龙”和“椰子树”进行渲染，被遮挡的部分此时被剔除，不需要做渲染，节省了渲染资源。

当“小恐龙”处于“椰子树”的两片叶子之间时，也可以根据元数据信息实现正确的遮挡关系，这种情况对于之前应用发送渲染好的图像的情况是无法处理的，只能实现“小恐龙”完全遮挡“椰子树”，或“椰子树”完全遮挡“小恐龙”的效果。

在本说明书实施例中，运动模型可以规定渲染对象的运动规律，应用在向系统发送模型渲染指令之后，可以不再需要解析触发的渲染事件，获取渲染对象的元数据，系统根据模型渲染指令实时计算渲染对象的初始渲染指令和增量渲染指令，实时对渲染对象进行动态渲染，从而减小了该应用与系统之间的数据传输量，因为系统需要与多个应用进行数据传输，其数据传输均是通过同一消息传输接口，例如IPC通信，所以减小该应用和系进之间的数据传输量之后，整体交互间通信的效率也有明显提升。

基于同一发明构思，本发明实施例还提供了一种多任务系统中渲染三维内容的装置，如图8所示，包括，

渲染事件接收单元801，用于接收触发的渲染事件；

渲染指令生成单元802，用于根据应用逻辑，生成渲染对象的渲染指令，渲染指令用于指导生成渲染对象的渲染图像；

渲染指令发送单元803，用于将渲染指令发送给系统，以便于系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，得到包括渲染对象的渲染画面。

相对应地，本发明实施例还提供了一种多任务系统中渲染三维内容的装置，如图9所示，包括，

渲染指令接收单元901，用于接收多个应用发送的渲染对象的渲染指令，渲染指令是应用根据接应用逻辑所生成的，渲染指令用于指导生成渲染对象的渲染图像；

观察角度信息获取单元902，用于根据支持显示三维内容设备获取操作用户的观察角度信息；

渲染单元903，用于根据渲染指令以及操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包括渲染对象的渲染画面。

进一步地，本发明实施例还提供了一种多任务系统中渲染三维内容的渲染系统，如图10所示，包括渲染系统1001和多个应用1002；

任一应用1002在进行渲染时，执行上述应用所执行的方法；

渲染系统1001在进行渲染时，执行上述系统所执行的方法。

通过上述装置和系统所取得的有益效果与上述方法所取得的有益效果一致，本说明书实施例不做赘述。

如图11所示为本发明实施例计算机设备的结构示意图，本发明中的装置可以为本实施例中的计算机设备，执行上述本发明的方法。计算机设备1102可以包括一个或多个处理设备1104，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备1102还可以包括任何存储资源1106，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储资源1106可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储资源都可以使用任何技术来存储信息。进一步地，任何存储资源可以提供信息的易失性或非易失性保留。进一步地，任何存储资源可以表示计算机设备1102的固定或可移除部件。在一种情况下，当处理设备1104执行被存储在任何存储资源或存储资源的组合中的相关联的指令时，计算机设备1102可以执行相关联指令的任一操作。计算机设备1102还包括用于与任何存储资源交互的一个或多个驱动机构1108，诸如硬盘驱动机构、光盘驱动机构等。

计算机设备1102还可以包括输入/输出模块1110(I/O)，其用于接收各种输入(经由输入设备1112)和用于提供各种输出(经由输出设备1114)。一个具体输出机构可以包括呈现设备1116和相关联的图形用户接口(GUI)1118。在其他实施例中，还可以不包括输入/输出模块1110(I/O)、输入设备1112以及输出设备1114，仅作为网络中的一台计算机设备。计算机设备1102还可以包括一个或多个网络接口1120，其用于经由一个或多个通信链路1122与其他设备交换数据。一个或多个通信总线1124将上文所描述的部件耦合在一起。

通信链路1122可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1122可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。

本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

本说明书实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行上述方法。

应理解，在本说明书的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本说明书实施例的实施过程构成任何限定。

还应理解，在本说明书实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本说明书中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本说明书中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本说明书的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本说明书实施例方案的目的。

另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中应用了具体实施例对本说明书的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本说明书的方法及其核心思想；同时，对于本领域的一般技术人员，依据本说明书的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本说明书的限制。

Claims (15)

1.一种多任务系统中渲染三维内容的方法，其特征在于，应用于支持显示三维内容设备多任务系统中，由支持显示三维内容设备多任务系统中的应用执行，所述方法包括：

根据应用逻辑，生成渲染对象的渲染指令，所述渲染指令用于指导生成渲染对象的渲染图像；

将所述渲染指令发送给系统，以便于所述系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面。

2.根据权利要求1所述的方法，其特征在于，根据应用逻辑，生成渲染对象的渲染指令，进一步包括：

解析触发的渲染事件，获取渲染对象的元数据，其中，所述渲染对象的元数据包括渲染对象的描述信息以及属性信息；

对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令。

3.根据权利要求2所述的方法，其特征在于，渲染事件包括：操作用户的操作信息；

所述系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，具体包括：

所述系统根据接收到的多个应用发送的渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染。

4.根据权利要求2所述的方法，其特征在于，所述渲染对象的元数据还包括增量信息，所述渲染事件包括对象初始化事件和对象调整事件；

所述方法还包括：

对所述对象初始化事件进行所述应用逻辑的处理，生成所述渲染对象的初始渲染指令，并将所述初始渲染指令发送给所述系统，以便于所述系统根据接收到的多个应用发送的初始渲染指令对多个应用的渲染对象进行渲染；

对所述对象调整事件进行所述应用逻辑的处理，生成所述渲染对象的增量渲染指令，并将所述增量渲染指令发送给所述系统，以便于所述系统根据所述增量渲染指令对多个应用的渲染对象进行渲染。

5.根据权利要求2所述的方法，其特征在于，所述渲染对象的元数据还包括渲染对象的运动模型；

所述方法还包括：

将所述渲染对象的运动模型进行所述应用逻辑的处理，生成所述渲染对象的模型渲染指令，并将所述模型渲染指令发送给所述系统，以便于所述系统根据所述模型渲染指令对多个应用的渲染对象进行渲染。

6.一种多任务系统中渲染三维内容的方法，其特征在于，应用于支持显示三维内容设备多任务系统中，由支持显示三维内容设备多任务系统中的系统执行，所述方法包括：

接收多个应用发送的渲染对象的渲染指令，所述渲染指令是所述应用根据应用逻辑所生成的，所述渲染指令用于指导生成所述渲染对象的渲染图像；

根据支持显示三维内容设备，获取操作用户的观察角度信息；

根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包含多个应用的渲染对象的渲染画面。

7.根据权利要求6所述的方法，其特征在于，所述渲染指令是所述应用根据应用逻辑所生成的，进一步包括：

应用解析触发的渲染事件，获取渲染对象的元数据，其中，所述渲染事件包括操作用户的操作信息，所述元数据包括渲染对象的描述信息以及属性信息；

对渲染对象的元数据进行适用系统的调用转化，生成渲染对象的渲染指令。

8.根据权利要求7所述的方法，其特征在于，所述渲染对象的元数据还包括增量信息，所述渲染事件包括对象初始化事件和对象调整事件，初始渲染指令是所述应用对所述对象初始化事件进行所述应用逻辑处理生成的，增量渲染指令是所述应用对所述对象调整事件进行所述应用逻辑处理生成的；

所述方法还包括：

根据接收到的应用发送的初始渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染；

根据接收到的应用发送的增量渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染。

9.根据权利要求7所述的方法，其特征在于，所述渲染对象的元数据还包括所述渲染对象的运动模型，模型渲染指令是所述应用对所述渲染对象的运动模型进行所述应用逻辑处理生成的；

所述方法还包括：

根据接收到的应用发送的模型渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染。

10.根据权利要求6所述的方法，其特征在于，根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，进一步包括：

获取所述支持显示三维内容设备的画布范围；

在所述画布范围内根据渲染指令以及所述观察角度信息对多个应用的渲染对象进行渲染。

11.根据权利要求7所述的方法，其特征在于，根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，进一步包括：

根据所述操作用户的观察角度信息以及所有渲染指令计算所述元数据之间的遮挡关系；

对不存在遮挡的所述元数据进行渲染，得到所述渲染画面。

12.一种多任务系统中渲染三维内容的装置，其特征在于，所述装置包括：

渲染指令生成单元，用于根据应用逻辑，生成渲染对象的渲染指令，所述渲染指令用于指导生成所述渲染对象的渲染图像；

渲染指令发送单元，用于将所述渲染指令发送给系统，以便于所述系统根据接收到的多个应用发送的渲染指令对多个应用的渲染对象进行渲染，得到包括所述渲染对象的渲染画面。

13.一种多任务系统中渲染三维内容的装置，其特征在于，所述装置包括：

渲染指令接收单元，用于接收多个应用发送的渲染对象的渲染指令，所述渲染指令是所述应用根据接应用逻辑所生成的，所述渲染指令用于指导生成所述渲染对象的渲染图像；

观察角度信息获取单元，用于根据支持显示三维内容设备获取操作用户的观察角度信息；

渲染单元，用于根据渲染指令以及所述操作用户的观察角度信息对多个应用的渲染对象进行渲染，得到包括所述渲染对象的渲染画面。

14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任意一项所述方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至11中任意一项所述方法。