CN111880868A

CN111880868A - 一种基于多级缓存的异步图像绘制方法和装置

Info

Publication number: CN111880868A
Application number: CN202010548930.6A
Authority: CN
Inventors: 龙柏仲
Original assignee: Shanghai Quyun Network Technology Co ltd
Current assignee: Shanghai Quyun Network Technology Co ltd
Priority date: 2020-06-16
Filing date: 2020-06-16
Publication date: 2020-11-03

Abstract

本发明涉及一种基于多级缓存的异步图像绘制方法和系统，其中，所述方法包括在接收到图像绘制通知时异步启动绘制线程；根据图像绘制信息通过所述绘制线程在内存中绘制图像；以及响应于绘制线程发送的图像显示通知将内存中的图像显示到屏幕上。所述装置包括线程调度模块、绘图模块、显示模块和缓存管理模块，所述线程调度模块用于发送绘制线程启动通知和UI线程启动通知；所述绘图模块响应于绘制线程启动通知启动绘制线程绘制图像；所述显示模块响应于UI线程启动通知启动所述UI线程将绘制完的图像显示到屏幕上；所述缓存管理模块经配置为所述绘制线程分配缓存。本发明降低了UI线程阻塞，因而提升了应用客户端界面的流畅性。

Description

一种基于多级缓存的异步图像绘制方法和装置

技术领域

本发明涉及移动应用技术领域，特别地涉及一种基于多级缓存的异步图像绘制方法和装置。

背景技术

随着移动应用技术的快速发展，越来越多样的应用程序(APP)为人们的生活、学习带来了巨大的便利。优越的性能、完美的用户体验成为应用程序开发者追求的目标。对于Android系统，当应用程序启动时，用户端的Android系统为所述应用程序建立界面线程(即UI线程或主线程)来管理界面上发生的一切活动，如UI的显示、更新及控件交互等。根据Android系统的规定，只能在UI线程中对UI组件进行操作，而不能由子线程或有别于UI线程的其他工作线操作UI组件。当操作某个UI组件的触发事件发生时，发生了事件的工作线程会将事件从工作线程本身里推送到主线程的消息队列中。主线程从消息队列中获取工作块并执行，从而为事件提供服务。

在用户操作应用程序、发生需要在屏幕上绘制图片或显示动画等的场景时，UI线程会每隔16ms左右尝试执行一个工作块，用于绘制屏幕，从而以每秒60帧的流畅速度渲染屏幕。由于界面/视图层次结构必须在UI线程上更新，如果UI线程的消息队列中的任务太多或太长，则会导致UI线程无法及时完成更新。在应用客户端发生频繁的屏幕绘制事件场景时，例如，根据客户端需要，在屏幕显示游戏图像或对某个应用(如QQ)头像等进行图像编辑(如在编辑框中正方形、圆形等)时，客户端频繁地向UI线程的消息队列中添加任务消息，会导致UI线程因过多的屏幕绘制事件而被阻塞。对于用户来说，用户会发觉屏幕卡顿、延迟或甚至界面对输入无响应，严重时会显示“应用无响应”(ANR)对话框，要求用户直接关闭该应用，对于用户来说，这是极其不好的体验。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种基于多级缓存的异步图像绘制方法和装置，用于提升应用客户端界面的流畅性。

为了解决上述技术问题，根据本发明的一个方面，本发明提供了一种基于多级缓存的异步图像绘制方法，其中包括：

在接收到图像绘制通知时异步启动绘制线程；

根据图像绘制信息通过所述绘制线程在缓存中绘制图像；以及

响应于绘制线程发送的图像显示通知将缓存中的图像显示到屏幕上。

根据本发明另一个方面，本发明还提供了一种基于多级缓存的异步图像绘制装置，所述装置包括线程调度模块、绘图模块、显示模块和缓存管理模块，其中所述线程调度模块在接收到图像绘制通知时发送绘制线程启动通知；在接收到图像显示通知时发送UI线程启动通知；所述绘图模块响应于绘制线程启动通知，启动绘制线程根据图像绘制信息在内存中绘制图像，并发送图像显示通知；所述显示模块响应于UI线程启动通知，启动所述UI线程将绘制完的图像显示到屏幕上；所述缓存管理模块经配置为所述绘制线程分配缓存。

本发明降低了客户端绘制界面时造成的UI线程阻塞，因而提升了应用客户端界面的流畅性。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1A-B是根据本发明一个实施例的基于多级缓存的异步图像绘制方法流程图；

图2是根据本发明的一个实施例的缓存块示意图；

图3是根据本发明的一个实施例缓存表示意图；

图4是根据本发明的一个实施例的缓存块正在使用时的示意图；

图5是根据本发明一个实施例的基于多级缓存的异步图像绘制装置的原理框图；

图6是根据本发明一个实施例的绘图模块的原理框图；

图7是根据本发明一个实施例的缓存管理模块的原理框图；以及

图8是根据本发明一个实施例的显示模块的原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

图1A-B是根据本发明一个实施例的基于多级缓存的异步图像绘制方法流程图，其中所述方法包括以下步骤：

步骤S101，监测是否有图像绘制通知。当应用中发生了绘图事件，如显示游戏图像、用户在应用界面内修改图片等时，产生绘图事件，由于绘图事件涉及应用界面的改变，而有关应用界面的处理是由应用程序的UI线程完成，因而该绘图事件向所述UI线程发送绘图通知。如果有图像绘制通知，则转到步骤S2，如果没有，则返回步骤S1继续监测是否有图像绘制通知。

步骤S102，UI线程首先查询线程池中是否有空线程。如果有空线程，则在步骤S103启动所述空线程作为绘制线程。如果没有，则在步骤S104，在线程池中再创建一个工作线程作为绘制线程。

步骤S105，在内存中开辟多个缓存块。其中，在开辟缓存块时，在其中开辟多个与终端屏幕的大小相匹配的子区域，用于正好可以存储一帧可在屏幕上显示的图像数据。

步骤S106，为多个缓存块及其中的多个子区域设置优先级别。

步骤S107，将优先级别及该缓存块的状态记载到状态寄存器中。如图2所示，其中包括两个缓存块，每个缓存块中包括有5个子区域，采用两个寄存器来标记每个子区域。例如，数字11，12……25中的第一个数字表示缓存块的优先级，第二个数字表示子区域的优先级。数字“0”表示当前子区域空闲。图2中的优先级标记方法仅为一种示例性说明，本领域技术人员可知，该标记可以采用二进制或十六进制来标记或其他标记方法。并且，为了便于理解每一个缓存及优先级和状态，图2将优先级标记和状态标记与缓存绘制在了一起，然而，本领域的普通技术人员应知，可以在内存中另开辟一处来记录缓存块及其子区域的优先级和状态，从而形成一个缓存表，如图3所示。

步骤S108，绘制线程按照缓存块优先级从高到低的次序在一个缓存块中绘制图像，其中，在每一个子区域中绘制一帧图像。例如，绘制线程读取缓存表，在优先级最高的缓存块绘制一帧图像，然后在下一优先级的缓存块中绘制下一帧图像，以此类推。在每一个缓存块绘制完后，修改其在缓存表中的状态，将原来的“空闲”修改为“占有”。如图4所示，绘制完第一个缓存块之后，从第二个缓存块绘制。

步骤S109，绘制线程在绘制完预置数量的图像后，发送显示通知。在一个实施例中，绘制完第一个缓存块发送显示通知。在本实施例中，每一个缓存块中包括5个子区域，也就是在绘制完5帧图像时发送显示通知。

步骤S110，UI线程接收到显示通知时，读取数据。例如，UI线程读取缓存表，从中确定处于占有状态、优先级最高的缓存块的地址，读取该地址缓存块中的图像数据。

步骤S111，在同步信号来临时将该帧图像显示到屏幕上。

步骤S112，在UI线程读取完一个缓存块时，清除所述缓存块的所有数据，为绘制线程准备绘制的内存空间。在清除了缓存块的数据后，修改缓存表中的状态数据。

步骤S113，判断是否完成所有的绘图信息。如果已绘制完，在步骤114释放绘制线程，使其为空闲线程并执行步骤S115。如果没有，则返回步骤S108。

步骤S115，判断缓存块是否还有未读取的数据，如果还有，则在步骤S116等待读数，如果没有未读取的数据，则在步骤S117释放创建的所有缓存，并结束。

在本发明中，在绘制图像时由其他工作线程完成，不在UI线程绘制，二者采用异步工作方式，因而降低了客户端绘制UI时造成的阻塞，提升了UI流畅性。

图5是根据本发明一个实施例的基于多级缓存的异步图像绘制装置的原理框图。所述装置包括线程调度模块1、绘图模块2、显示模块3和缓存管理模块4，其中，所述线程调度模块1管理UI线程的消息队列。在该消息队列中存储了其他线程发送给UI线程的有关UI的各种事件消息，其中包括了绘图事件的通知和绘图线程返回的显示通知。线程调度模块1接收到图像绘制通知时，发送绘制线程启动通知；线程调度模块1接收到图像显示通知时发送UI线程启动通知。所述绘图模块2响应于绘制线程启动通知，启动绘制线程根据图像绘制信息在内存中绘制图像，并发送图像显示通知。所述显示模块3响应于UI线程启动通知，启动所述UI线程将绘制完的图像显示到屏幕上。

其中，如图6所示，所述绘图模块2经进一步配置包括查询单元21、线程启动单元22、绘图单元23和通知单元24。所述线程启动单元在接收到绘制线程启动通知时，发送查询指给所述查询单元21，所述查询单元21查询线程池中是否有空闲线程，并将查询结果返回给线程启动单元22。在线程池中有空闲线程时，所述线程启动单元22启动所述空线程作为绘制线程，如果线程池中没有空闲线程，则创建一个新的工作线程作为绘制线程，例如使用实现接口Runnable的对象创建一个线程。绘图单元23调用绘制线程根据图像绘制信息在内存中绘制图像。所述通知单元24在所述绘制线程在完成N帧的图像绘制后发送显示通知给线程调度模块1。

其中，在一个实施例中，绘图单元23为了提高绘图效率，在绘制每一帧的图像时，可将绘制好的前一子区域的内容拷贝到下一子区域中，不用重新绘制屏幕要显示的所有区域，而只需要绘制那些脏区域即可。因而本发明所有子区域的宽度和高度相同，且像素格式相同。

为了配合UI线程对屏幕的刷新速率和绘图效率，在本发明的一个实施例中，所述绘图单元23在绘制完一定帧数的图像后通知UI线程来显示图像。为了实现分批存储以供显示的图像，本发明通过所述缓存管理模块4对存储区域进行划分，并设置优先级别，使UI线程按照一定的优先顺序读取数据。在一个实施例中，如图7所示，缓存管理模块4包括缓存块创建单元41和优先级分配单元42，缓存管理模块4在接收到绘制模块2发送的通知后，在内存中按照预置数量创建多个缓存块。如图3所示，共有两个缓存块401、402。其中，在每一个缓存块中还设置了多个，如5个，子区域，如缓存块401中的子区域4011，其中，每一个子区域存储的图像大小与屏幕大小相同，因而，每一个子区域可以存储一帧图像数据。为了保证数据读取与数据写入的有序进行，优先级分配单元42为缓存块及其子区域设置优先级级别，并将每一个缓存块子区域的优先级别、状态等数据写入一块寄存器区，如图3所示。使得绘图模块2在写入数据和显示模块3读取数据时查询优先级及缓存块的状态来确定要写入、读取的缓存块。绘图模块2在绘制完成全部图像时发送显示通知，或者在绘制完部分图像时发送显示通知。在一个实施例中，绘图模块2的绘图单元23在一个缓存块，如缓存块401，内绘制完5帧图像后，所述通知单元24发送显示通知给线程调度模块1。而后绘图单元23继续在下一个缓存块，如缓存块402，内绘制5帧图像。为了对该块缓存块再利用，在一个实施例中，所述缓存管理模块4还包括数据清除单元43，当显示模块3读取完一个缓存块，如缓存块401，的数据后，清除所述子区域中的帧图像数据，并更新对应寄存器的状态。

在另一个实施例中，如图8所示，所述显示模块3经进一步配置包括图像读取单元31和显示单元32，其中，所述图像读取单元31接收到显示通知后，调用UI线程查询缓存表，按照优先级的高低依次从缓存块中读取图像数据。如果有多个缓存块可以读取数据，则先从优先级别高的缓存块开始读取，例如，如果缓存块401、402都存储了数据，则先从缓存块401读取，然后再读取缓存块402。当一个缓存块中有多个子区域时，则从优先级高的子区域开始读取。显示单元32调用UI线程在垂直同步信号到来时将读取到的一帧图像显示到屏幕上。

当有绘图事件发生时，启动工作线程进行图像的异步绘制，降低了客户端由于UI任务过多造成的阻塞，因而提升了UI流畅性，从而提高了用户体验。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims

1.一种基于多级缓存的异步图像绘制方法，包括：

在接收到图像绘制通知时异步启动绘制线程；

2.根据权利要求1所述的方法，其中进一步包括：

在线程池中启动所述绘制线程。

3.根据权利要求2所述的方法，其中进一步包括：查询线程池中是否有空闲线程，启动空闲线程作为所述绘制线程。

4.根据权利要求3所述的方法，其中进一步包括：响应于线程池中没有空闲线程，创建一新的工作线程作为所述绘制线程。

5.根据权利要求1所述的方法，其中进一步包括：在内存中依次开辟多块优先级不同的缓存块，各个缓存块中包括多块优先级不同的子区域。

6.根据权利要求5所述的方法，其中进一步包括：所述绘制线程按照优先级依次在所述子区域内绘制图像。

7.根据权利要求6所述的方法，其中进一步包括：所述绘制线程在完成预置帧数的图像绘制后发送图像显示通知。

8.根据权利要求7所述的方法，其中进一步包括：响应于图像显示通知，从优先级排序最高的缓存块的子区域开始读取图像数据。

9.根据权利要求8所述的方法，其中进一步包括：从缓存状态寄存器中获取缓存块中每个子区域的优先级及状态。

10.根据权利要求7所述的方法，其中进一步包括：在读取完一帧图像数据后，清空对应的子区域。

11.一种基于多级缓存的异步图像绘制装置，其中包括：

线程调度模块，经配置在接收到图像绘制通知时发送绘制线程启动通知；在接收到图像显示通知时发送UI线程启动通知；

绘图模块，经配置以响应于绘制线程启动通知，启动绘制线程根据图像绘制信息在内存中绘制图像，并发送图像显示通知；

显示模块，经配置以响应于UI线程启动通知，启动所述UI线程将绘制完的图像显示到屏幕上；以及

缓存管理模块，经配置为所述绘制线程分配缓存。

12.根据权利要求11所述的装置，其中，所述绘图模块经进一步配置包括：

查询单元，经配置以查询线程池中是否有空闲线程；以及

线程启动单元，经配置以启动线程池中的空闲线程作为绘制线程；响应于在线程池中没有空闲线程时创建新的工作线程作为绘制线程。

13.根据权利要求12所述的装置，其中，所述绘图模块经进一步配置包括：

绘图单元，经配置以调用绘制线程根据图像绘制信息在内存中绘制图像；以及

通知单元，经配置在所述绘制线程在完成预置帧数的图像绘制后发送图像显示通知。

14.根据权利要求11或13所述的装置，其中，所述缓存管理模块包括：

缓存块创建单元，经配置以按照预置数量创建多个缓存块；以及

优先级分配单元，经配置以按照预置级数为所述多个缓存块设置优先级级别。

15.根据权利要求14所述的装置，其中，所述缓存块创建单元根据显示屏幕的大小在每一个缓存块中创建多个子区域，每一个子区域用于存储一帧绘制好的图像数据。

16.根据权利要求15所述的装置，其中，所述优先级分配单元为每个缓存块中的多个子区域设置优先级级别。

17.根据权利要求16所述的装置，其中，所述优先级分配单元在缓存状态寄存器中标记缓存块和子区域的优先级及状态。

18.根据权利要求15所述的装置，其中，所述缓存管理模块还包括：数据清除单元，经配置以在子区域中的一帧图像数据被读取后，清除所述子区域中的图像数据。

19.根据权利要求11所述的装置，其中，所述显示模块经进一步配置包括：

图像读取单元，经配置以调用UI线程按照优先级的高低依次从缓存块中读取图像数据；以及

显示单元，经配置以调用UI线程将读取到的一帧图像显示到屏幕上。