CN115562793B - 一种基于镜像操作的跨运行环境ui快速渲染方法 - Google Patents

Abstract

本发明公开了一种基于镜像操作的跨运行环境UI快速渲染方法，通过将安卓兼容环境内的Canvas API操作直接映射到桌面系统端的相同API的操作，采用桌面系统端的Canvas API调用取代了安卓兼容环境内部的执行过程，从根本上节省了OpenGL ES上下文切换的开销、通过RPC向桌面系统端传递Bitmap等类型对象的开销以及将OpenGL ES调用转换为OpenGL或DirectX调用的性能开销，有效提高了安卓应用UI的渲染速度。

Description

一种基于镜像操作的跨运行环境UI快速渲染方法

技术领域

本发明属于移动应用开发技术领域，具体涉及一种基于镜像操作的跨运行环境UI快速渲染方法。

背景技术

目前通常采用在桌面平台上安装安卓兼容环境的方式运行安卓应用，以解决安卓应用跨平台使用的问题，典型的安卓兼容环境主要包括安卓应用显示单元和安卓应用兼容服务，安卓应用显示单元用于在桌面操作系统上实现安卓应用的用户界面，安卓应用兼容服务用于提供运行于桌面操作系统上的安卓兼容环境，通过安卓应用显示单元与安卓应用兼容服务的相互配合实现安卓应用在桌面操作系统上的有效运行，例如，现有安卓兼容环境的实现方案有xDroid，它包括xDroidUI和xDroidServer，xDroidUI为安卓应用显示单元，xDroidServer为安卓应用兼容服务。

现有安卓模拟器等安卓兼容环境中，通常情况下视图内UI元素的渲染流程是：视图调用onDraw函数，onDraw函数的参数为Canvas对象，在onDraw函数内部通过调用Canvas的各种API进行2D绘图，包括绘制点、线、面、位图等各种图元，并能够实现各种图元之间的变换；在Canvas库中则是通过调用Skia库的2D绘图API，如android_graphics_Canvas.cpp等，来实现2D绘图；Skia则是调用安卓模拟器内的OpenGL ES的函数实现2D绘图；在安卓模拟器内， OpenGL ES函数将OpenGL ES调用的各种参数进行二次封装后通过RPC（如Socket等）传递给桌面系统端（Linux或Windows等桌面系统）的渲染服务端；桌面系统端的渲染服务端再将OpenGL ES调用转换为OpenGL或DirectX调用最终完成2D绘图。

安卓兼容环境内UI元素渲染过程中主要的性能开销包括：一是OpenGL ES上下文切换的开销；二是通过RPC向桌面系统端传递Bitmap等类型对象的开销，由于传递此类对象操作的过程中安卓兼容环境及桌面系统端均需保存对象，因此该操作会占用系统内存，同时消耗CPU资源；三是将OpenGL ES调用转换为OpenGL或DirectX调用的性能开销，包括参数转换的开销、纹理转换的开销以及着色器语言转换的开销。

综上所述，现有技术中安卓兼容环境内UI元素渲染过程的性能开销较大，在一定程度上降低了安卓应用在跨运行环境使用时的流畅性，降低了用户体验。

发明内容

有鉴于此，本发明提供了一种基于镜像操作的跨运行环境UI快速渲染方法，能够提供跨运行环境时安卓应用UI的快速渲染。

本发明提供的一种基于镜像操作的跨运行环境UI快速渲染方法，具体包括以下步骤：

在安卓应用初始化时，安卓应用显示单元根据安卓应用桌面窗口的大小完成图形库的初始化，并创建图形库的上下文，该图形库的上下文将用作Canvas的容器；

在安卓应用显示单元接收到Canvas创建消息后，根据视图的尺寸及坐标确定桌面系统中的视图窗口作为目标视图窗口，基于创建的图形库的上下文在目标视图窗口中创建Canvas，再根据Canvas构造函数完成Canvas属性的初始化；

安卓应用显示单元接收到Canvas API调用消息后，若消息中包含图像类对象的API参数则根据消息内容创建桌面图像对象，并建立桌面图像对象与唯一标识符间的映射关系，否则不做处理；根据Canvas API调用消息完成Canvas API调用的执行；

在安卓应用初始化时，安卓兼容环境在创建Canvas同时，将由Canvas构造函数和其所在视图的尺寸及坐标组成的Canvas创建消息发送至安卓应用显示单元；当安卓应用调用Canvas API时，安卓兼容环境构建Canvas API调用消息，Canvas API调用消息包括API名字、API参数类型取值对、时间戳及渲染范围，其中，渲染范围是调用Canvas API执行渲染后所改变的矩形区域，对于属于图像类对象的API参数将其取值设置为构造参数、唯一标识符及对象存储位置，安卓兼容环境将Canvas API调用消息发送至安卓应用显示单元。

进一步地，所述安卓应用显示单元接收到Canvas API调用消息后，还包括：

步骤1.1、判断API请求队列的状态，若API请求队列处于解锁状态则将Canvas API调用消息内的API名字、API参数类型取值对、时间戳及渲染范围加入API请求队列的顶部，若API请求队列处于锁定状态则等待直至解锁后再将Canvas API调用消息内的API名字、API参数类型取值对、时间戳及渲染范围加入API请求队列的顶部；

步骤1.2、锁定API请求队列，再按照时间戳越新越排在顶部的方式对API请求进行排序，同时对于渲染范围相同的API请求仅保留其中具有最新时间戳的API请求；

步骤1.3、将API请求队列中的内容复制到API请求执行队列中，清空API请求队列后解锁API请求队列；

步骤1.4、按照从底部到顶部的顺序执行API请求执行队列中的API请求。

进一步地，所述对于属于图像类对象的API参数将其取值设置为构造参数、唯一标识符及对象存储位置的方式为：

步骤2.1、若图像类对象加载自文件则执行步骤2.2，若图像类对象加载自内存则执行步骤2.3；

步骤2.2、将图像类对象的文件全路径从安卓兼容环境内映射到桌面系统端得到图像文件路径，将图像文件路径作为对象存储位置，并为图像类对象创建唯一标识符，同时获取图像类对象的构造参数；

步骤2.3、将图像类对象所在内存进行内存映射形成映射地址，将映射地址作为对象存储位置，并为图像类对象创建唯一标识符，同时获取图像类对象的构造参数。

进一步地，所述步骤2.2及步骤2.3中安卓兼容环境均不加载图像类对象对应的文件。

进一步地，所述渲染范围的计算方式为：从图像类对象的图元相关绘制方法的参数中获取。

进一步地，还包括当桌面系统端检测到安卓应用桌面窗口进行缩放时执行以下步骤：

步骤3.1、桌面系统端暂停对窗口的刷新操作；

步骤3.2、截取安卓应用的当前窗口保存为位图截图，并构建以该位图截图为显示内容的桌面系统端子窗口作为遮盖子窗口；

步骤3.3、将遮盖子窗口置顶，安装安卓应用窗口的缩放比例缩放遮盖子窗口；

步骤3.4、当安卓应用窗口完成缩放处理后，更新桌面系统端各Canvas的位置和大小；

步骤3.5、隐藏遮盖子窗口。

有益效果：

本发明通过将安卓兼容环境内的Canvas API操作直接映射到桌面系统端的相同API的操作，采用桌面系统端的Canvas API调用取代了安卓兼容环境内部的执行过程，从根本上节省了OpenGL ES上下文切换的开销、通过RPC向桌面系统端传递Bitmap等类型对象的开销以及将OpenGL ES调用转换为OpenGL或DirectX调用的性能开销，有效提高了安卓应用UI的渲染速度。

具体实施方式

下面列举实施例，对本发明进行详细描述。

通过对现有技术的分析可知，Canvas实质上是通过调用Skia库完成渲染的，由于Skia库支持跨平台使用，同时针对不同平台的API接口也是一致的，因此通过将Canvas移植到桌面系统端，即将安卓兼容环境内的Canvas API操作直接映射到桌面系统端的相同API的操作，就能够减小现有UI渲染的性能开销。基于上述分析，本发明提供了一种基于镜像操作的跨运行环境UI快速渲染方法。

本发明提供的一种基于镜像操作的跨运行环境UI快速渲染方法，具体包括以下步骤：

在安卓应用初始化时，安卓应用显示单元根据安卓应用桌面窗口的大小完成图形库的初始化，并创建图形库的上下文，该图形库的上下文将用作Canvas的容器；

在安卓应用显示单元接收到Canvas创建消息后，根据视图的尺寸及坐标确定桌面系统中的视图窗口作为目标视图窗口，基于创建的图形库的上下文在目标视图窗口中创建Canvas，再根据Canvas构造函数完成Canvas属性的初始化；

安卓应用显示单元接收到Canvas API调用消息后，若消息中包含图像类对象的API参数则根据消息内容创建桌面图像对象，并建立桌面图像对象与唯一标识符间的映射关系，否则不做处理；根据Canvas API调用消息完成Canvas API调用的执行。

为了进一步提高，桌面系统端对Canvas API调用执行的可靠性，安卓应用显示单元接收到Canvas API调用消息时，还执行以下步骤：

步骤1.1、判断API请求队列的状态，若API请求队列处于解锁状态则将Canvas API调用消息内的API名字、API参数类型取值对、时间戳及渲染范围加入API请求队列的顶部，若API请求队列处于锁定状态则等待直至解锁后再将Canvas API调用消息内的API名字、API参数类型取值对、时间戳及渲染范围加入API请求队列的顶部；

步骤1.2、锁定API请求队列，再按照时间戳越新越排在顶部的方式对API请求进行排序，同时对于渲染范围相同的API请求仅保留其中具有最新时间戳的API请求；

步骤1.3、将API请求队列中的内容复制到API请求执行队列中，清空API请求队列后解锁API请求队列；

步骤1.4、按照从底部到顶部的顺序执行API请求执行队列中的API请求。

在安卓应用初始化时，安卓兼容环境在创建Canvas同时，将由Canvas构造函数和其所在视图的尺寸及坐标组成的Canvas创建消息发送至安卓应用显示单元；当安卓应用调用Canvas API时，安卓兼容环境构建Canvas API调用消息，Canvas API调用消息包括API名字、API参数类型取值对、时间戳及渲染范围，其中，渲染范围是调用Canvas API执行渲染后所改变的矩形区域，对于属于图像类对象的API参数将其取值设置为构造参数、唯一标识符及对象存储位置，安卓兼容环境将Canvas API调用消息发送至安卓应用显示单元。

为了提高方法的适应性，本发明中还提供了对于属于图像类对象的API参数将其取值设置为构造参数、唯一标识符及对象存储位置的以下方式：

步骤2.1、若图像类对象加载自文件则执行步骤2.2，若图像类对象加载自内存则执行步骤2.3；

步骤2.2、将图像类对象的文件全路径从安卓兼容环境内映射到桌面系统端得到图像文件路径，将图像文件路径作为对象存储位置，并为图像类对象创建唯一标识符，同时获取图像类对象的构造参数；

步骤2.3、将图像类对象所在内存进行内存映射形成映射地址，将映射地址作为对象存储位置，并为图像类对象创建唯一标识符，同时获取图像类对象的构造参数。

进一步地，为了减小安卓兼容环境的内存开销，上述过程中安卓兼容环境不执行图像类对象文件的加载过程。

进一步地，渲染范围所对应的矩形区域可采用如下方式进行计算：

对于图像类对象的图元，由于在绘制此类图元时需要指定绘制区域，因此通过获取绘制方法的参数即可获取渲染范围所对应的矩形区域；

对于线条类图元，由于绘制线条时需要指定起始坐标和结束坐标，因此通过获取绘制方法的参数即可得到以起始坐标和结束坐标为对角顶点的矩形区域，即为渲染范围所对应的矩形区域；

对于文本类图元，由于绘制文本时需要确定Paint类对象，因此通过获取绘制方法的参数中Paint类对象即可获取渲染范围所对应的矩形区域。

为了进一步改善用户体验，本发明中当桌面系统端检测到安卓应用桌面窗口进行缩放时，执行以下操作：

步骤3.1、桌面系统端暂停对窗口的刷新操作；

步骤3.2、截取安卓应用的当前窗口保存为位图截图，并构建以该位图截图为显示内容的桌面系统端子窗口作为遮盖子窗口；

步骤3.3、将遮盖子窗口置顶，安装安卓应用窗口的缩放比例缩放遮盖子窗口；

步骤3.4、当安卓应用窗口完成缩放处理后，更新桌面系统端各Canvas的位置和大小；

步骤3.5、隐藏遮盖子窗口。

此外，为了进一步提高安卓应用UI的渲染速度，本发明在安卓兼容环境与安卓应用显示单元之间的消息传递均采用快速RPC的方式实现。

实施例：

本实施例采用本发明提供的一种基于镜像操作的跨运行环境UI快速渲染方法，在xDroid中实现了安卓应用UI的快速渲染，具体包括以下步骤：

桌面系统端在安卓应用初始化时，根据安卓应用桌面窗口的大小初始化OpenGL或DirectX库，创建OpenGL或DirectX库上下文。创建Canvas时需要有OpenGL/DirectX库上下文，OpenGL或DirectX库上下文将作为Canvas的容器。

安卓兼容环境在安卓应用初始化时，将Canvas的创建及调用通过快速RPC（如Binder等）映射为桌面系统端的Canvas创建及调用，这一过程可通过修改安卓框架Canvas的JNI实现（如android_graphics_Canvas.cpp）完成。具体来说，通过修改Canvas的构造函数实现Canvas创建过程的初始化。Canvas创建过程会调用Canvas的构造函数，当Canvas的构造函数被调用时，将当前Canvas的构造函数、所在View的大小及坐标通过快速RPC传递至桌面系统端的xDroidUI内对应的安卓应用桌面窗口，其中，View的坐标为相对于安卓应用窗口左上角的坐标。

桌面系统端的xDroidUI根据接收到的View的大小及坐标，采用创建的OpenGL或DirectX库上下文在桌面系统的OpenGL或DirectX窗口中创建对应的Canvas，再根据接收到的Canvas的构造函数完成Canvas相关属性的初始化。

此外，安卓兼容环境内安卓应用执行过程中会调用Canvas API，此时会将CanvasAPI调用传递至桌面系统端，对于Canvas API调用的处理过程为：

S1.1、在安卓兼容环境中当产生Canvas API调用时，安卓兼容环境为每个CanvasAPI在原有参数的基础上增加两个参数，即：高精度时间戳记为apiTimeStamp和渲染范围记为renderRect。其中，渲染范围是指调用该Canvas API渲染后可能影响的矩形区域，该矩形区域记为renderRect，renderRect的计算方法例如：对于drawBitmap方法，renderRect的左上角就是drawBitmap方法调用参数中的left/top或rect的取值；对于drawLine方法，renderRect则是以startX/startY和stopX/stopY为对角顶点形成的矩形区域；对于drawText方法，则是drawText方法调用参数中的Paint所设定的区域。

S1.2、当Canvas API的调用参数中包含Bitmap/Picture的参数时，则判断Bitmap/Picture的来源，若Bitmap/Picture是加载自文件则执行S1.3，若Bitmap/Picture是加载自内存则执行S1.4。

S1.3、将Bitmap/Picture的文件全路径从安卓兼容环境内部映射到桌面系统端，并为Bitmap/Picture创建UUID，将API名字、Bitmap构造参数、映射后的全路径及UUID传递至桌面系统端的xDroidUI，同时不实际加载Bitmap/Picture文件。

S1.4、将Bitmap/Picture的位图纹理所在内存通过内存映射形成映射地址，并为Bitmap/Picture创建UUID，将API名字、Bitmap构造参数、映射地址及UUID传递至桌面系统端的xDroidUI，同时不实际加载Bitmap/Picture文件。

在桌面系统端当xDroidUI接收到API名字、Bitmap构造参数、全路径或映射地址及UUID后，根据映射后的全路径或映射地址以及Bitmap构造参数创建桌面系统端的Bitmap/Picture对象，并构造UUID到Bitmap/Picture的映射列表（Map）；在后续检测到新的API请求时，如果其中包含Bitmap/Picture类型的对象，则在映射列表中根据UUID查找与之对应的桌面系统端的Bitmap/Picture对象，再使用桌面系统端的Bitmap/Picture对象完成实际调用。

在桌面系统端存在两个独立线程分别处理Canvas API调用请求的获取和CanvasAPI调用请求的处理，在接收到Canvas API调用请求后执行以下操作：

S2.1、Canvas API调用请求的获取线程判断API请求队列pendingAPIRequest是否处于被锁定的状态，若未被锁定则将Canvas API请求加入pendingAPIRequest的顶部，若已锁定则等待pendingAPIRequest解锁后再将Canvas API请求加入pendingAPIRequest的顶部。

S2.2、按照apiTimeStamp对pendingAPIRequest进行排序，时间越新越靠近顶部，从顶部开始针对每个Canvas API请求查找位于其后且与其具有相同renderRect属性的条目，如存在则删除这些条目，否则不做处理。

S2.3、将pendingAPIRequest的内容复制到API请求执行队列pendingAPIRequestClone中，清空pendingAPIRequest，解锁pendingAPIRequest。

S2.4、Canvas API调用请求的处理线程从尾部到顶部依次执行pendingAPIRequestClone中的Canvas API请求。

此外，当xDroidUI检测到安卓应用桌面窗口发生缩放时，执行以下步骤：

S3.1、暂停桌面系统端窗口的刷新操作；

S3.2、截取当前安卓应用桌面窗口的截图保存为位图，构建以该位图为内容的桌面系统端子窗口；

S3.3、将该桌面系统端子窗口置顶，按照安卓应用桌面窗口的缩放比例缩放的该桌面系统端子窗口及其内部的截图；

S3.4、等待安卓内部布局调整完毕后，同步更新桌面系统端各Canvas的位置和大小；

S3.5、隐藏桌面系统端子窗口。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于镜像操作的跨运行环境UI快速渲染方法，其特征在于，具体包括以下步骤：

在安卓应用初始化时，安卓应用显示单元根据安卓应用桌面窗口的大小完成图形库的初始化，并创建图形库的上下文，该图形库的上下文将用作Canvas的容器；

在安卓应用显示单元接收到Canvas创建消息后，根据视图的尺寸及坐标确定桌面系统中的视图窗口作为目标视图窗口，基于创建的图形库的上下文在目标视图窗口中创建Canvas，再根据Canvas构造函数完成Canvas属性的初始化；

安卓应用显示单元接收到Canvas API调用消息后，若消息中包含图像类对象的API参数则根据消息内容创建桌面图像对象，并建立桌面图像对象与唯一标识符间的映射关系，否则不做处理；根据Canvas API调用消息完成Canvas API调用的执行；

在安卓应用初始化时，安卓兼容环境在创建Canvas同时，将由Canvas构造函数和其所在视图的尺寸及坐标组成的Canvas创建消息发送至安卓应用显示单元；当安卓应用调用Canvas API时，安卓兼容环境构建Canvas API调用消息，Canvas API调用消息包括API名字、API参数类型取值对、时间戳及渲染范围，其中，渲染范围是调用Canvas API执行渲染后所改变的矩形区域，对于属于图像类对象的API参数将其取值设置为构造参数、唯一标识符及对象存储位置，安卓兼容环境将Canvas API调用消息发送至安卓应用显示单元。

2.根据权利要求1所述的跨运行环境UI快速渲染方法，其特征在于，所述安卓应用显示单元接收到Canvas API调用消息后，还包括：

步骤1.1、判断API请求队列的状态，若API请求队列处于解锁状态则将Canvas API调用消息内的API名字、API参数类型取值对、时间戳及渲染范围加入API请求队列的顶部，若API请求队列处于锁定状态则等待直至解锁后再将Canvas API调用消息内的API名字、API参数类型取值对、时间戳及渲染范围加入API请求队列的顶部；

步骤1.2、锁定API请求队列，再按照时间戳越新越排在顶部的方式对API请求进行排序，同时对于渲染范围相同的API请求仅保留其中具有最新时间戳的API请求；

步骤1.3、将API请求队列中的内容复制到API请求执行队列中，清空API请求队列后解锁API请求队列；

步骤1.4、按照从底部到顶部的顺序执行API请求执行队列中的API请求。

3.根据权利要求1所述的跨运行环境UI快速渲染方法，其特征在于，所述对于属于图像类对象的API参数将其取值设置为构造参数、唯一标识符及对象存储位置的方式为：

步骤2.1、若图像类对象加载自文件则执行步骤2.2，若图像类对象加载自内存则执行步骤2.3；

步骤2.2、将图像类对象的文件全路径从安卓兼容环境内映射到桌面系统端得到图像文件路径，将图像文件路径作为对象存储位置，并为图像类对象创建唯一标识符，同时获取图像类对象的构造参数；

步骤2.3、将图像类对象所在内存进行内存映射形成映射地址，将映射地址作为对象存储位置，并为图像类对象创建唯一标识符，同时获取图像类对象的构造参数。

4.根据权利要求3所述的跨运行环境UI快速渲染方法，其特征在于，所述步骤2.2及步骤2.3中安卓兼容环境均不加载图像类对象对应的文件。

5.根据权利要求1所述的跨运行环境UI快速渲染方法，其特征在于，所述渲染范围的计算方式为：从图像类对象的图元相关绘制方法的参数中获取。

6.根据权利要求1所述的跨运行环境UI快速渲染方法，其特征在于，还包括当桌面系统端检测到安卓应用桌面窗口进行缩放时执行以下步骤：

步骤3.1、桌面系统端暂停对窗口的刷新操作；

步骤3.2、截取安卓应用的当前窗口保存为位图截图，并构建以该位图截图为显示内容的桌面系统端子窗口作为遮盖子窗口；

步骤3.3、将遮盖子窗口置顶，安装安卓应用窗口的缩放比例缩放遮盖子窗口；

步骤3.4、当安卓应用窗口完成缩放处理后，更新桌面系统端各Canvas的位置和大小；

步骤3.5、隐藏遮盖子窗口。