CN117234657B - 一种基于虚拟子图层的多窗口渲染优化方法 - Google Patents

Abstract

本发明公开了一种基于虚拟子图层的多窗口渲染优化方法，通过在安卓系统创建图层时同步为非SurfaceView类视图相关的图层创建多个虚拟子图层，这些虚拟子图层的总可见区域与图层相同，并为每个虚拟子图层创建用于保存坐标和显示状态的共享内存，当应用窗口发生变化时根据多个图层间的重叠关系确定图层的当前可见区域，采用创建的虚拟子图层表示当前可见区域，再通过在图层栈中移除或添加图层或虚拟子图层完成应用窗口的渲染，实现了在多窗口模式下多图层重叠时仅对可见区域执行渲染操作，由此有效降低了多图层合并渲染时与CPU及系统内存复制相关的性能开销，提升了多窗口模式下多图层的渲染性能。

Description

一种基于虚拟子图层的多窗口渲染优化方法

技术领域

本发明属于移动应用开发技术领域，具体涉及一种基于虚拟子图层的多窗口渲染优化方法。

背景技术

安卓系统的SurfaceFlinger以图层为单位执行渲染操作，通常情况下应用的窗口与图层之间一一对应，而视频播放窗口中SurfaceView类的视图较为特殊，它会单独对应于特定图层。现有基于图层的渲染机制主要包括以下两种方式：一是单窗口模式，该模式下仅渲染最上层窗口所对应的图层；二是多窗口模式，该模式下先由SurfaceFlinger将各图层分别转换为纹理，再根据各窗口之间的重叠关系自底向上逐图层合并纹理后执行渲染操作。

由此可见，现有渲染机制中的多窗口模式是将所有图层均完整转换为纹理并传输到显存中再进行合并渲染操作，然而由于窗口之间存在重叠因此有些图层中的部分区域可能是不可见的，即渲染操作不需要处理上述这些区域，那么现有渲染机制将其转换并传输到显存的操作实际上是没有必要执行的，而这些操作还会带来一定的系统开销，尤其是对于跨运行环境的应用场景这种开销的影响就会更大，跨运行环境如安卓兼容环境实现方案xDroid，xDroid包括xDroidUI和xDroidServer，xDroidUI为安卓应用显示单元，xDroidServer为安卓应用兼容服务。

发明内容

有鉴于此，本发明提供了一种基于虚拟子图层的多窗口渲染优化方法，能够实现多窗口模式下多个图层的高效合并渲染。

本发明提供的一种基于虚拟子图层的多窗口渲染优化方法，具体包括以下步骤：

步骤1、在安卓应用启动后，将处于打开状态的安卓应用的应用窗口对应的图层中除SurfaceView类视图相关图层之外的图层作为目标图层，为每个目标图层创建多个虚拟子图层，多个虚拟子图层的总可见区域与目标图层相同；

步骤2、将多个虚拟子图层的显示状态均设置为可见，从多个虚拟子图层中选取虚拟子图层作为第一子图层，将第一子图层的坐标设置为与目标图层相同的坐标，其余虚拟子图层的坐标均设置为零；为虚拟子图层创建共享内存作为虚拟子图层共享内存，用于保存各虚拟子图层的坐标及显示状态；

步骤3、若安卓系统运行在安卓兼容环境中则执行步骤4，否则执行步骤8；

步骤4、安卓应用兼容服务向安卓应用显示单元发送虚拟子图层共享内存的地址；同时桌面端开始监听已启动应用的应用窗口相关状态变化事件，当监听到状态变化事件时，若该状态变化事件相关应用为安卓应用则执行步骤5，否则执行桌面端的标准处理流程并结束本流程；

步骤5、若当前已启动安卓应用的应用窗口的可见区域发生变化，则以该应用窗口作为当前目标窗口，获取当前目标窗口的当前可见区域；设置当前目标窗口对应的某个或多个虚拟子图层表示当前可见区域，将其作为第一虚拟子图层，并将第一虚拟子图层的坐标作为第一坐标值，将第一虚拟子图层的显示状态设置为可见，将除第一虚拟子图层之外的虚拟子图层的显示状态均设置为不可见；

步骤6、桌面端将当前目标窗口的所有虚拟子图层的坐标及显示状态写入其对应的虚拟子图层共享内存中，并通知安卓应用兼容服务对当前目标窗口执行渲染更新操作；

步骤7、安卓应用兼容服务采用标准处理方式渲染当前图层栈中位于最上层的图层，然后移除当前图层栈中的所有目标图层，再将当前图层栈中的显示状态为不可见的虚拟子图层移除，最后执行安卓系统的标准渲染流程完成渲染，结束本流程；

步骤8、安卓系统确定已启动应用窗口所对应目标图层间的位置关系，将被完全覆盖的目标图层及与其对应的虚拟子图层均从当前图层栈中移除，若不存在未被完全覆盖的目标图层则执行安卓系统的标准渲染流程完成渲染并结束本流程，否则获取未被完全覆盖的目标图层所对应的纹理作为目标纹理，若目标纹理为非压缩纹理则执行步骤9，若目标纹理为压缩纹理则执行步骤10；

步骤9、将目标图层从当前图层栈中移除，获取目标图层的当前可见区域，确定目标图层对应的虚拟子图层表示当前可见区域并将其作为第二虚拟子图层，将第二虚拟子图层的坐标作为第二坐标值，将第二虚拟子图层的显示状态设置为可见，将除第二虚拟子图层之外的虚拟子图层的显示状态均设置为不可见；移除当前图层栈中显示状态为不可见的虚拟子图层，再执行安卓系统的标准渲染流程完成渲染，结束本流程；

步骤10、将目标图层对应的虚拟子图层从当前图层栈中移除，获取目标图层的当前可见区域，将目标纹理设置为包含多个虚拟子纹理的纹理图集，确定当前可见区域对应的虚拟子纹理记为可视子纹理，可视子纹理与当前可见区域具有相同大小且保存当前可见区域的显示数据，确定除当前可见区域之外的区域对应的虚拟子纹理记为非可视子纹理，将非可视子纹理标记为完全透明，再执行安卓系统的标准渲染流程完成渲染，结束本流程。

进一步地，所述步骤1中创建的所述多个虚拟子图层之间互不重叠。

进一步地，所述虚拟子图层采用JNI方式实现。

进一步地，所述步骤1中所述为每个目标图层创建多个虚拟子图层的方式为：为每个目标图层创建五个虚拟子图层，该五个虚拟子图层分别分布于中心区域、左上角区域、左下角区域、右上角区域及右下角区域，其中，左上角区域与部分右上角区域覆盖目标图层的上部，部分左下角区域、中心区域及其余部分的右上角区域覆盖目标图层的中部，其余部分的左下角区域与右下角区域覆盖目标图层的下部。

进一步地，所述步骤2中所述第一子图层为分布于中心区域的虚拟子图层。

进一步地，所述步骤2中所述其余虚拟子图层的坐标设置为非零初始值。

进一步地，所述安卓应用兼容服务为安卓兼容环境xDroid的xDroidServer，所述安卓应用显示单元为安卓兼容环境xDroid的xDroidUI。

有益效果

本发明通过在安卓系统创建图层时同步为非SurfaceView类视图相关的图层创建多个虚拟子图层，这些虚拟子图层的总可见区域与图层相同，并为每个虚拟子图层创建用于保存坐标和显示状态的共享内存，当应用窗口发生变化时根据多个图层间的重叠关系确定图层的当前可见区域，采用创建的虚拟子图层表示当前可见区域，再通过在图层栈中移除或添加图层或虚拟子图层完成应用窗口的渲染，实现了在多窗口模式下多图层重叠时仅对可见区域执行渲染操作，由此有效降低了多图层合并渲染时与CPU及系统内存复制相关的性能开销，提升了多窗口模式下多图层的渲染性能。

附图说明

图1为本发明提供的一种基于虚拟子图层的多窗口渲染优化方法构建的虚拟子图层的布局示意图。

具体实施方式

下面列举实施例，对本发明进行详细描述。

本发明提供的一种基于虚拟子图层的多窗口渲染优化方法，其核心思想是：在安卓系统创建图层时同步为非SurfaceView类视图相关的图层创建多个虚拟子图层，这些虚拟子图层的总可见区域与该图层相同，并为每个虚拟子图层创建用于保存坐标和显示状态的共享内存，当应用窗口发生变化时根据图层间的重叠关系确定该图层的当前可见区域，采用创建的虚拟子图层表示当前可见区域，再通过在图层栈中移除或添加图层或虚拟子图层完成应用窗口的渲染。

本发明提供的一种基于虚拟子图层的多窗口渲染优化方法，具体包括以下步骤：

步骤1、在安卓应用启动后，将处于打开状态的安卓应用的应用窗口对应的图层中除SurfaceView类视图相关图层之外的图层作为目标图层，为每个目标图层创建多个虚拟子图层，多个虚拟子图层的总可见区域与目标图层相同。

最佳情况下，上述多个虚拟子图层之间互不重叠。

在方法实现过程中为保证本发明在跨运行环境中的可用性，上述虚拟子图层可采用JNI（Java Native Interface）方式实现，通过使用Java本地接口能够确保在跨运行环境时其他进程对虚拟子图层相关变量的访问和修改。具体来说，虚拟子图层的核心成员变量为左上角坐标、右下角坐标及显示状态，其中显示状态即为是否可见标识，上述三个变量均保存在动态创建的共享内存中，虚拟子图层以JNI方式实现即可保证其他进程对这三个变量的访问及修改。

为了进一步提高后续的处理效率，根据应用窗口之间的重叠样式本发明可为目标图层创建五个虚拟子图层，该五个虚拟子图层分别分布于中心区域、左上角区域、左下角区域、右上角区域及右下角区域，其中，左上角区域与部分右上角区域覆盖目标图层的上部，部分左下角区域、中心区域及其余部分的右上角区域覆盖目标图层的中部，其余部分的左下角区域与右下角区域覆盖目标图层的下部。

步骤2、对步骤1创建的虚拟子图层进行初始化，选择其中某个虚拟子图层作为第一子图层，将第一子图层的坐标设置为与目标图层相同的坐标值且显示状态设置为可见，其他虚拟子图层的坐标均设置为零且显示状态设置为可见；为所有虚拟子图层创建共享内存作为虚拟子图层共享内存，虚拟子图层共享内存用于保存各虚拟子图层的坐标及显示状态。

进一步地，当为目标图层创建五个虚拟子图层时，第一子图层可优先选择位于中心区域的虚拟子图层。此外，此时其他虚拟子图层的坐标也可设置为初始值，使其具有确定分布位置。

步骤3、若安卓系统运行在安卓兼容环境中则执行步骤4，否则执行步骤8。

步骤4、安卓应用兼容服务向安卓应用显示单元发送共享内存的地址；同时桌面端开始监听已启动应用的应用窗口相关状态变化事件，当监听到状态变化事件时，若该状态变化事件相关应用为安卓应用则执行步骤5，否则执行桌面端的标准处理流程并结束本流程。

具体来说，上述状态变化事件包括应用窗口移动事件、应用窗口大小改变事件等。安卓应用兼容服务可通过RPC向安卓应用显示单元发送共享内存的地址。

步骤5、桌面端判断当前已启动安卓应用的应用窗口的可见区域是否发生变化，若发生变化，则以该应用窗口作为当前目标窗口，获取当前目标窗口的当前可见区域，并调整或设置当前目标窗口对应的虚拟子图层的坐标实现以某个或多个虚拟子图层表示当前可见区域，将此次调整或设置的虚拟子图层作为第一虚拟子图层，并将调整或设置的坐标作为第一虚拟子图层的第一坐标值，将第一虚拟子图层的显示状态设置为可见，将除第一虚拟子图层之外的虚拟子图层的显示状态均设置为不可见。

步骤6、桌面端将当前目标窗口的所有虚拟子图层的坐标及显示状态采用跨进程共享内存的方式写入其对应的虚拟子图层共享内存中，并通知安卓应用兼容服务对当前目标窗口执行渲染更新操作。

步骤7、安卓应用兼容服务采用标准处理方式渲染当前图层栈中位于最上层的图层，然后移除当前图层栈中的所有目标图层，再将当前图层栈中的显示状态为不可见的虚拟子图层移除，最后执行安卓系统的标准渲染流程完成渲染，结束本流程。

在实际执行过程中，图层栈中包含所有的目标图层及与其对应的虚拟子图层。

步骤8、安卓系统获取已启动应用的应用窗口所对应目标图层的坐标，并根据坐标确定各目标图层间的位置关系，对于被完全覆盖的目标图层则将其及与其对应的虚拟子图层均从当前图层栈中移除；再判断是否存在未被完全覆盖的目标图层，若不存在未被完全覆盖的目标图层则执行安卓系统的标准渲染流程完成渲染并结束本流程，否则获取未被完全覆盖的目标图层对应的纹理作为目标纹理，若目标纹理为非压缩纹理则执行步骤9，若目标纹理为压缩纹理则执行步骤10。

步骤9、将目标图层从当前图层栈中移除，即将当前整个目标图层设置为不可见图层；获取目标图层的当前可见区域，确定并计算与目标图层对应的虚拟子图层的坐标实现以某个或多个虚拟子图层表示当前可见区域，将确定的虚拟子图层作为第二虚拟子图层，将计算得到的坐标值作为第二虚拟子图层的第二坐标值；将当前图层栈中第二虚拟子图层的显示状态设置为可见、坐标设置为第二坐标值，将除第二虚拟子图层之外的虚拟子图层的显示状态均设置为不可见；移除当前图层栈中显示状态为不可见的虚拟子图层，再执行安卓系统的标准渲染流程完成渲染，结束本流程。

步骤10、将目标图层对应的虚拟子图层从当前图层栈中移除，获取目标图层的当前可见区域，将目标纹理设置为纹理图集，目标纹理被分割为纹理图集所包含的多个虚拟子纹理，确定当前可见区域对应的虚拟子纹理记为可视子纹理，可视子纹理与当前可见区域具有相同大小且保存当前可见区域的显示数据，确定除当前可见区域之外的区域对应的虚拟子纹理记为非可视子纹理，将非可视子纹理标记为完全透明，再执行安卓系统的标准渲染流程完成渲染，结束本流程。

实施例

本实施例以xDroid作为跨运行环境，采用本发明提供的一种基于虚拟子图层的多窗口渲染优化方法实现了多窗口模式下多个图层的高效合并渲染，具体包括以下步骤：

S1、修改安卓系统的系统框架，实现在安卓系统创建标准图层类的同时为其创建虚拟子图层类VirtualSubLayer，具体过程为：

本实施例中采用为标准图层类创建五个虚拟子图层的方式，虚拟子图层的布局方式如图1所示，即五个虚拟子图层分别分布于中心区域、左上角区域、左下角区域、右上角区域及右下角区域，其中，左上角区域与部分右上角区域覆盖目标图层的上部，部分左下角区域、中心区域及其余部分的右上角区域覆盖目标图层的中部，其余部分的左下角区域与右下角区域覆盖目标图层的下部。

虚拟子图层类VirtualSubLayer采用JNI方式实现，VirtualSubLayer的C++类核心成员变量为左上角坐标、右下角坐标及是否可见标识（isVisible），这三个变量保存在动态创建的共享内存中。

S2、修改安卓系统中标准图层类的构造函数，修改后的内容为：

S2.1、当图层不是由SurfaceView类创建的时，为当前图层创建五个虚拟子图层包括虚拟子图层0、虚拟子图层1、虚拟子图层2、虚拟子图层3及虚拟子图层4，且将虚拟子图层0的初始状态设置为各坐标与当前图层保持一致且isVisible取值为true，其余四个虚拟子图层的面积为0，即初始状态设置为各坐标为零且isVisible取值为true。

S2.2、为每个虚拟子图层创建共享内存，用于保存该虚拟子图层的两个坐标和isVisible取值。

S2.3、由于当前安卓系统在xDroid中执行渲染，则通过RPC将共享内存的地址发送至xDroidUI，该地址包括用于表示两个坐标的四个整数的地址和isVisible取值的地址。

S3、通知Linux系统监视每个Linux应用窗口的移动事件、大小改变事件，当发生上述事件时，则判断是否至少一个安卓应用窗口的可见区域发生了变化，如果是则对于Linux系统中的每个安卓应用窗口执行窗口的坐标或者大小是否发生变化的判断，当发生变化时计算应用窗口的可见区域，该可见区域可对应于一个或多个矩形，采用构建的一个或多个虚拟子图层表示可见区域，即确定一个或多个虚拟子图层的坐标；通过跨进程共享内存的方式将一个或多个虚拟子图层的坐标写入到与其对应的共享内存中，同时将当前可见的虚拟子图层的isVisible取值设置为true，将当前不可见的虚拟子图层的isVisible取值设置为false；通知xDroidServer执行渲染更新操作。

本实施例中安卓系统采用跨运行环境的运行方式，其渲染操作将被xDroid传递到Linux端执行，因此这一过程需要监视每个Linux应用窗口的移动事件、大小改变事件。

S4、xDroidServer修改安卓系统的渲染流程中的不同图层间重叠关系计算的相关步骤，具体如下：

按照安卓系统的标准处理方式执行图层栈中最上层图层的渲染；

由于此时每个虚拟子图层的坐标和isVisible取值都在Linux端完成了设置，因此将所有虚拟子图层对应的标准图层都移出图层栈，当前图层栈中保留就是将要渲染的图层的集合，将图层移出图层栈的实际效果与将图层的isVisible取值设置为false效果相同；

再将所有isVisible取值为false的虚拟子图层移出图层栈；

执行后续安卓系统的标准渲染流程。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于虚拟子图层的多窗口渲染优化方法，其特征在于，具体包括以下步骤：

步骤1、在安卓应用启动后，将处于打开状态的安卓应用的应用窗口对应的图层中除SurfaceView类视图相关图层之外的图层作为目标图层，为每个目标图层创建多个虚拟子图层，多个虚拟子图层的总可见区域与目标图层相同；

步骤2、将多个虚拟子图层的显示状态均设置为可见，从多个虚拟子图层中选取虚拟子图层作为第一子图层，将第一子图层的坐标设置为与目标图层相同的坐标，其余虚拟子图层的坐标均设置为零；为虚拟子图层创建共享内存作为虚拟子图层共享内存，用于保存各虚拟子图层的坐标及显示状态；

步骤3、若安卓系统运行在安卓兼容环境中则执行步骤4，否则执行步骤8；

步骤4、安卓应用兼容服务向安卓应用显示单元发送共享内存的地址；同时桌面端开始监听已启动应用的应用窗口相关状态变化事件，当监听到状态变化事件时，若该状态变化事件相关应用为安卓应用则执行步骤5，否则执行桌面端的标准处理流程并结束本流程；

步骤5、若当前已启动安卓应用的应用窗口的可见区域发生变化，则以该应用窗口作为当前目标窗口，获取当前目标窗口的当前可见区域；设置当前目标窗口对应的某个或多个虚拟子图层表示当前可见区域，将其作为第一虚拟子图层，并将第一虚拟子图层的坐标作为第一坐标值，将第一虚拟子图层的显示状态设置为可见，将除第一虚拟子图层之外的虚拟子图层的显示状态均设置为不可见；

步骤6、桌面端将当前目标窗口的所有虚拟子图层的坐标及显示状态写入其对应的虚拟子图层共享内存中，并通知安卓应用兼容服务对当前目标窗口执行渲染更新操作；

步骤7、安卓应用兼容服务采用标准处理方式渲染当前图层栈中位于最上层的图层，然后移除当前图层栈中的所有目标图层，再将当前图层栈中的显示状态为不可见的虚拟子图层移除，最后执行安卓系统的标准渲染流程完成渲染，结束本流程；

步骤8、安卓系统确定已启动应用窗口所对应目标图层间的位置关系，将被完全覆盖的目标图层及与其对应的虚拟子图层均从当前图层栈中移除，若不存在未被完全覆盖的目标图层则执行安卓系统的标准渲染流程完成渲染并结束本流程，否则获取未被完全覆盖的目标图层所对应的纹理作为目标纹理，若目标纹理为非压缩纹理则执行步骤9，若目标纹理为压缩纹理则执行步骤10；

步骤9、将目标图层从当前图层栈中移除，获取目标图层的当前可见区域，确定目标图层对应的虚拟子图层表示当前可见区域并将其作为第二虚拟子图层，将第二虚拟子图层的坐标作为第二坐标值，将第二虚拟子图层的显示状态设置为可见，将除第二虚拟子图层之外的虚拟子图层的显示状态均设置为不可见；移除当前图层栈中显示状态为不可见的虚拟子图层，再执行安卓系统的标准渲染流程完成渲染，结束本流程；

步骤10、将目标图层对应的虚拟子图层从当前图层栈中移除，获取目标图层的当前可见区域，将目标纹理设置为包含多个虚拟子纹理的纹理图集，确定当前可见区域对应的虚拟子纹理记为可视子纹理，可视子纹理与当前可见区域具有相同大小且保存当前可见区域的显示数据，确定除当前可见区域之外的区域对应的虚拟子纹理记为非可视子纹理，将非可视子纹理标记为完全透明，再执行安卓系统的标准渲染流程完成渲染，结束本流程；

所述步骤1中所述为每个目标图层创建多个虚拟子图层的方式为：为每个目标图层创建五个虚拟子图层，该五个虚拟子图层分别分布于中心区域、左上角区域、左下角区域、右上角区域及右下角区域，其中，左上角区域与部分右上角区域覆盖目标图层的上部，部分左下角区域、中心区域及其余部分的右上角区域覆盖目标图层的中部，其余部分的左下角区域与右下角区域覆盖目标图层的下部。

2.根据权利要求1所述的多窗口渲染优化方法，其特征在于，所述步骤1中创建的所述多个虚拟子图层之间互不重叠。

3.根据权利要求1所述的多窗口渲染优化方法，其特征在于，所述虚拟子图层采用JNI方式实现。

4.根据权利要求1所述的多窗口渲染优化方法，其特征在于，所述步骤2中所述第一子图层为分布于中心区域的虚拟子图层。

5.根据权利要求1所述的多窗口渲染优化方法，其特征在于，所述步骤2中所述其余虚拟子图层的坐标设置为非零初始值。

6.根据权利要求1所述的多窗口渲染优化方法，其特征在于，所述安卓应用兼容服务为安卓兼容环境xDroid的xDroidServer，所述安卓应用显示单元为安卓兼容环境xDroid的xDroidUI。