CN116089056A - 用于图像绘制的方法及相关装置 - Google Patents
用于图像绘制的方法及相关装置 Download PDFInfo
- Publication number
- CN116089056A CN116089056A CN202211008414.XA CN202211008414A CN116089056A CN 116089056 A CN116089056 A CN 116089056A CN 202211008414 A CN202211008414 A CN 202211008414A CN 116089056 A CN116089056 A CN 116089056A
- Authority
- CN
- China
- Prior art keywords
- view
- pointer
- rendering
- target
- corresponding relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种用于图像绘制的方法及相关装置,有利于避免在应用内列表以高刷新率滑动的场景下产生的画面卡顿和丢帧的现象。该方法包括:确定应用界面的视图树中发生变化的目标视图,视图树中的每一视图配置有对应的渲染节点;根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针,其中,该对应关系是以视图树中的每一视图的指针为键,每一视图对应的渲染节点的指针为值存储的;从目标渲染节点的指针所指向的目标渲染节点的内存地址中获取绘制指令;更新该绘制指令,以根据更新后的绘制指令绘制图像。
Description
技术领域
本申请涉及终端领域,尤其涉及一种用于图像绘制的方法及相关装置。
背景技术
当前,终端设备中的应用程序(application,APP)的种类越来越多,不同的应用可能有不同的刷新率要求,终端设备可以为不同的应用配置不同的刷新率。一些应用要求较高的刷新率,例如微信、微博等应用按照120赫兹(Hz)刷新显示内容时,要求终端设备绘制、渲染、合成各阶段在8ms内完成,以保证图像数据可以稳定送显。
但是在高刷新率场景下,当应用的布局复杂、界面变化剧烈时,渲染线程(renderthread)的渲染节点(render node)树发生变化,大量的渲染内容需要在短时间内快速更新,渲染线程需要遍历渲染节点树以找到需要更新的渲染节点,更新绘制指令(DrawOp,也可以称为DisplayList)。
上述遍历渲染节点树的操作耗时过多,导致在应用内列表以高刷新率滑动的场景下造成对下一帧图像的绘制的延迟,从而产生应用的画面卡顿和丢帧的现象。
发明内容
本申请提供一种用于图像绘制的方法及相关装置,有利于减少渲染线程绘制图像的时间,从而避免在应用内列表以高刷新率滑动的场景下产生的画面卡顿和丢帧的现象。
第一方面,提供了一种用于图像绘制的方法,该方法包括:确定应用界面的视图树中发生变化的目标视图,视图树中的每一视图配置有对应的渲染节点;根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针,其中,对应关系是以视图树中的每一视图的指针为键,每一视图对应的渲染节点的指针为值存储的;从目标渲染节点的指针所指向的目标渲染节点的内存地址中获取绘制指令;更新该绘制指令,以根据更新后的绘制指令绘制图像。
基于本申请的技术方案,终端设备根据视图和渲染节点的树型关系,将视图的指针与渲染节点的指针的对应关系以键值对的形式存储起来,由于直接存储了两个对象的指针,因此当视图树中的目标视图发生变化时,可以直接从存储的所述对应关系中获取与目标视图对应的目标渲染节点的指针,这样,可以将终端设备遍历渲染节点树的时间复杂度从O(log2N)降为O(1),有利于减少用户界面(user interface,UI)线程等待渲染线程的时间,从而避免在高刷新率滑动列表的场景下产生应用的画面卡顿和丢帧的现象。
结合第一方面,在第一方面的某些实现方式中,在确定应用界面的视图树中发生变化的目标视图之后,该方法还包括:根据目标视图更新所述对应关系,得到更新后的对应关系。
结合第一方面,在第一方面的某些实现方式中,目标视图包括待更新的视图。根据目标视图更新所述对应关系,得到更新后的对应关系,包括:在所述对应关系中标记待更新的视图的指针,得到更新后的对应关系。
在本申请中,视图树中发生变化的目标视图包括视图树中已有的视图,视图树中已有的视图发生了变化,终端设备可以通过在所述对应关系中标记待更新的视图的指针以更新所述对应关系。
结合第一方面,在第一方面的某些实现方式中,目标视图包括新增的视图。根据目标视图更新对应关系,得到更新后的对应关系,包括:在所述对应关系中添加视图树中新增的视图的指针,并标记新增的视图的指针,得到更新后的对应关系。
在本申请中,视图树中发生变化的目标视图包括新增的视图,终端设备可以通过在所述对应关系中标记新增的视图的指针以更新所述对应关系。
结合第一方面,在第一方面的某些实现方式中,目标视图包括失效的视图。根据目标视图更新对应关系,得到更新后的对应关系,包括:在所述对应关系中删除失效的视图的指针及其对应的渲染节点的指针,得到更新后的对应关系。
在本申请中,视图树中发生变化的目标视图包括失效的视图,终端设备可以通过在所述对应关系中删除失效的视图的指针及其对应的渲染节点的指针以更新所述对应关系。
结合第一方面,在第一方面的某些实现方式中,在根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针之前,该方法还包括:通过渲染代理将更新后的对应关系插入渲染队列。根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针,包括:根据更新后的对应关系中标记的视图的指针,获取与标记的视图的指针对应的目标渲染节点的指针。
结合第一方面,在第一方面的某些实现方式中,在根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针之前,该方法还包括:判断应用界面对应的应用是否满足预设条件;在应用满足预设条件的情况下,根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针。
在本申请中,终端设备可以判断应用是否满足预设条件,在满足预设条件的情况下,可以开启单点更新策略。本申请描述的单点更新策略是指根据视图的指针与渲染节点的指针的对应关系,在视图树结构发生变化时,终端设备可以根据所述对应关系快速获取渲染节点中存储的待更新的绘制指令。
结合第一方面,在第一方面的某些实现方式中,预设条件包括以下一项或多项:应用的级别在预设级别之内;应用处于列表滑动场景;或,应用内连续丢帧的数量大于预设阈值。
第二方面,提供一种用于图像绘制的装置,包括:用于执行上述第一方面中任一种可能的实现方式中的方法。具体地,该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。
第三方面,提供了另一种用于图像绘制的装置,包括处理器和存储器,该处理器与存储器耦合,该存储器可用于存储计算机程序,该处理器可用于调用并执行存储器中的计算机程序,以实现上述第一方面中任一种可能实现方式中的方法。
在一种实现方式中,该用于图像绘制的装置为终端设备。当该用于图像绘制的装置为终端设备时,通信接口可以是收发器,或,输入/输出接口。
在另一种实现方式中,该用于图像绘制的装置为配置于终端设备中的芯片。当该用于图像绘制的装置为配置于终端设备中的芯片时,通信接口可以是输入/输出接口。
第四方面,提供了一种处理器,包括:输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号,并通过输出电路发射信号,使得处理器执行上述第一方面中任一种可能实现方式中的方法。
在具体实现过程中,上述处理器可以为芯片,输入电路可以为输入管脚,输出电路可以为输出管脚,处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的,输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的,且输入电路和输出电路可以是同一电路,该电路在不同的时刻分别用作输入电路和输出电路。本申请对处理器及各种电路的具体实现方式不作限定。
第五方面,提供了一种处理装置,包括处理器和存储器。该处理器用于读取存储器中存储的指令,并可通过接收器接收信号,通过发射器发射信号,以执行上述第一方面中任一种可能实现方式中的方法。
可选地,处理器为一个或多个,存储器为一个或多个。
可选地,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
在具体实现过程中,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,ROM),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请对存储器的类型以及存储器与处理器的设置方式不作限定。
应理解,相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程,接收能力信息可以为处理器接收输入能力信息的过程。具体地,处理输出的数据可以输出给发射器,处理器接收的输入数据可以来自接收器。其中,发射器和接收器可以统称为收发器。
上述第五方面中的处理装置可以是一个芯片,该处理器可以通过硬件来实现也可以通过软件来实现,当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于该处理器之外,独立存在。
第六方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序代码,当该计算机程序代码被运行时,使得计算机执行上述第一方面中任一种可能实现方式中的方法。
第七方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当该计算机程序被运行时,使得计算机执行上述第一方面中任一种可能实现方式中的方法。
附图说明
图1是本申请实施例适用的一种终端设备的结构示意图;
图2是本申请实施例适用的终端设备的一种软件结构框图;
图3是一种遍历渲染节点树的示意图;
图4是本申请实施例提供的一种用于图像绘制的方法的示意性流程图;
图5是本申请实施例提供的一种单点更新策略的示意图;
图6是本申请实施例提供的一种开启单点更新策略的方法的示意性流程图;
图7是本申请实施例提供的另一种开启单点更新策略的方法的示意性流程图;
图8是本申请实施例提供的再一种开启单点更新策略的方法的示意性流程图;
图9是本申请实施例提供的一种用于图像绘制的装置的示意性框图;
图10是本申请实施例提供的另一种用于图像绘制的装置的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
此外,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b和c中的至少一项(个),可以表示:a,或b,或c,或a和b,或a和c,或b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。
图1是本申请实施例适用的一种终端设备的结构示意图。如图1所示,该终端设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。可以理解的是,本实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件,或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,显示处理单元(displayprocess unit,DPU),和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,终端设备100也可以包括一个或多个处理器110。其中,处理器可以是终端设备100的神经中枢和指挥中心。处理器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。这就避免了重复存取,减少了处理器110的等待时间,因而提高了终端设备100的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或USB接口等。其中,USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,MicroUSB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电,也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本申请实施例示意的各模块间的接口连接关系为示意性说明,并不构成对终端设备100的结构限定。在本申请另一些实施例中,终端设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks,WLAN),蓝牙,全球导航卫星系统(global navigation satellitesystem,GNSS),调频(frequency modulation,FM),NFC,红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括GSM,GPRS,CDMA,WCDMA,TD-SCDMA,LTE,GNSS,WLAN,NFC,FM,和/或IR技术等。上述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端设备100通过GPU、显示屏194以及应用处理器等可以实现显示功能。应用处理器可以包括NPU和/或DPU。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行指令以生成或改变显示信息。NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。DPU也称为显示子系统(display sub-system,DSS),DPU用于对显示屏194的色彩进行调整,DPU可以通过颜色三维(3dimensions,3D)查找表(look up table,LUT)对显示屏的色彩进行调整。DPU还可以对画面进行缩放、降噪、对比度增强、背光亮度管理、hdr处理、显示器参数Gamma调整等处理。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、Miniled、MicroLed、Micro-oLed或量子点发光二极管(quantum dot lightemitting diodes,QLED)。在一些实施例中,终端设备100可以包括1个或N个显示屏194,N为大于1的正整数。
终端设备100可以通过ISP,一个或多个摄像头193,视频编解码器,GPU,一个或多个显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得终端设备100执行各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得终端设备100执行各种功能应用及数据处理。
终端设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放、录音等。其中,音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐,或收听免提通话。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。麦克风170C,也称“话筒”或“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中,终端设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform,OMTP)标准接口,还可以是美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
终端设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,示例性说明终端设备100的软件结构。
图2是本申请实施例适用的终端设备的一种软件结构框图。分层架构将终端设备100的软件系统分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,可以将Android系统分为应用程序层(application,APP)、应用程序框架层(application framework)、安卓运行时(Android runtime,ART)和原生C/C++库、硬件抽象层(hardware abstraction layer,HAL)以及内核层(kernel)。在一些实施例中,终端设备100还包括硬件,如GPU、中央处理器(central processing unit,CPU)、显示屏等。
应用程序层可以包括一系列应用程序包,应用程序层通过调用应用程序框架层所提供的应用程序接口(application programming interface,API)运行应用程序。如图2所示,应用程序包可以包括相机、日历、地图、电话、音乐、WLAN、蓝牙、视频、社交、图库、导航、短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括窗口管理器、内容提供器、资源管理器、通知管理器、视图系统、电话管理器、活动管理器、输入管理器、硬件绘制(hardware UI,HWUI)模块、单点更新模块等。
窗口管理器提供窗口管理服务(window manager service,WMS),WMS用于窗口(window)管理、窗口动画管理、表面(surface)管理以及作为输入系统的中转站。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。该数据可以包括视频图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备100振动,指示灯闪烁等。
活动管理器可以提供活动管理服务(activity manager service,AMS),AMS可以用于系统组件(例如活动、服务、内容提供者、广播接收器)的启动、切换、调度以及应用进程的管理和调度工作。
输入管理器可以提供输入管理服务(input manager service,IMS),IMS可以用于管理系统的输入,例如触摸屏输入、按键输入、传感器输入等。IMS从输入设备节点取出事件,通过和WMS的交互,将事件分配至合适的窗口。
硬件绘制模块主要使用三维图形处理库(例如:OpenGL ES)来进行GPU绘图,提升系统的绘制性能。
单点更新模块用于按照视图与渲染节点一一对应的关系实现点对点的单点更新策略。
安卓运行时包括核心库和安卓运行时。安卓运行时负责将源代码转换为机器码。安卓运行时主要包括采用提前(ahead or time,AOT)编译技术和及时(just in time,JIT)编译技术。
核心库主要用于提供基本的Java类库的功能,例如基础数据结构、数学、输入输出(input-output,IO)、工具、数据库、网络等库。核心库为用户进行安卓应用开发提供了API。
原生C/C++库可以包括多个功能模块。例如:表面管理器(surface manager),媒体框架(media framework),libs,三维图形处理库(例如:OpenGL ES),二维(2dimensions,2D)图形引擎(例如:SGL),SQLite,Webkit等。
其中,表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体框架支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体框架可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成和图层处理等。2D图形引擎是2D绘图的绘图引擎。SQLite为终端设备100的应用程序提供轻量级关系型数据库。
硬件抽象层是设备内核驱动的抽象接口,运行于用户空间(user space),对内核层驱动进行封装,实现向更高级别的java API框架提供访问底层设备的应用程序接口。硬件抽象层可以包括多个库模块,例如,显示模块,音频模块,蓝牙模块,摄像头模块等,每个模块可以为特定类型的硬件组件实现一个接口。当框架API要求访问设备硬件时,Android系统将为该硬件组件加载库模块。
内核层是硬件和软件之间的层。内核层用于驱动硬件,使得硬件工作。内核层至少包含显示驱动、音频驱动、蓝牙驱动、摄像头驱动等,本申请实施例对此不作限定。
下面结合捕获拍照场景,示例性说明终端设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
本申请实施例的终端设备可以是具有无线连接功能的手持式设备、车载设备等,该终端设备也可以称为终端(terminal)、用户设备(user equipment,UE)、移动台(mobilestation,MS)、移动终端(mobile terminal,MT)等。目前,一些终端设备的举例为:手机(mobile phone)、平板电脑、智能电视、笔记本电脑、平板电脑(Pad)、掌上电脑、移动互联网设备(mobile internet device,MID)、虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiation protocol,SIP)电话、无线本地环路(wirelesslocal loop,WLL)站、个人数字助理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备,5G网络中的终端设备或者未来演进的公用陆地移动通信网络(public land mobilenetwork,PLMN)中的终端设备等,本申请的实施例对终端设备所采用的具体技术和具体设备形态不作限定。
作为示例而非限定,在本申请实施例中,该终端设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。
应理解,本申请实施例中,终端设备可以是用于实现终端设备功能的装置,也可以是能够支持终端设备实现该功能的装置,例如芯片系统,该装置可以被安装在终端中。本申请实施例中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。
本申请实施例中的终端设备也可以称为:用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。
为便于理解,首先对本申请涉及的专业术语进行解释。
1、硬件加速:
硬件加速是指终端设备通过GPU实现应用界面的绘制加速,创建了独立的渲染线程,并对构建绘制区域进行了优化。在Android系统4.0版本开始应用程序默认配置开启硬件加速,在部分应用程序接口(application programming interface,API)不支持硬件加速时,可以主动选择软件绘制,即终端设备采用中央处理器CPU实现应用界面的绘制加速,但与GPU相比CPU绘制性能较差。
通常,硬件加速包括构建阶段和绘制阶段,其中,构建阶段主要做的是构建视图树(view tree),在UI线程中实现,递归遍历视图树中的所有视图(view),将需要的操作缓存起来,之后再交给单独的渲染线程(render thread)利用渲染管线进行渲染。
2、UI线程:
在安卓系统中,UI线程是APP的主线程,负责将点击、绘制事件分发给应用界面的各个控件,通过与UI组件交互,可以获得绘制应用界面所需的各种资源。在应用的垂直同期(vertical synchronization,VSync)信号的触发下,视图框架的编舞者(choreographer)发起每一帧绘制,包含测量(measure)、布局(layout)、绘制(draw)视图树,最终将渲染任务发送给渲染线程(render thread)排队处理。
3、渲染线程:
为了减轻UI线程的负载,UI线程通过创建渲染代理(render proxy)对象持有渲染线程,并创建画布上下文(canvas contest)实现GPU绘制操作的上下文,面向不同平台可选择OpenGL、SkiaGL、SkiaVulkan等渲染管线。初始化完成之后,在每一帧绘制中会注册绘制回调通知UI线程绘制结果,并做渲染节点的更新与销毁,下发计算机语言(GL)指令,最终GPU向图像合成服务(surface flinger)发送图形缓冲区,图像合成服务接收图像缓冲区后准备合成并送显。
图像合成服务(surface flinger):接收应用进程的图形缓冲区,对图像数据进行合成,然后发送到显示屏进行硬件叠加。
4、视图、渲染节点与绘制指令:
对应用来说,每个绘制目标对应一个视图,通过视图的集成、组合,最终得到一个完整的视图树,它构成了当前应用的用户界面。在安卓硬加速框架中,与视图树对应构建了渲染节点树(render node tree),渲染线程的渲染节点与UI线程的视图对应,视图被抽象为渲染节点(render node),视图中的绘制都会被抽象成一个个绘制指令。例如,视图中的DrawLine操作在构建中被抽象成一个DrawLineOp;视图中的DrawBitmap操作构建过程中被抽象成一个DrawBitmapOp,每个子视图的绘制被抽象成DrawRenderNodeOp,每个绘制指令都有对应的OpenGL绘制命令,同时也有绘图所需的数据。渲染节点树完整记录了由视图的绘制操作转换后的绘制指令,最终将绘制指令转换成图形库(例如,skia)封装的OpenGL指令完成真正的GPU绘制。
渲染节点可以理解为对绘制指令以及一些视图的显示属性的进一步封装。在代码逻辑上,一个视图对应一个渲染节点,其中管理着对应的绘制指令。每个向WMS注册的窗口对应一个根渲染节点,通过根渲染节点可以找到视图树中所有视图的绘制指令。渲染树运行在渲染线程,GPU绘制所需的所有的GL指令都在渲染线程上执行。渲染线程在渲染节点中存储有渲染帧的所有信息。
渲染节点中存储的绘制指令相当于从视图的绘制操作到GL指令之间的“中间语言”,记录了绘制视图所需的全部信息,之后只要重放(replay)即可完成内容的绘制。这样,如果视图没有改变或者只有部分改变,便可以重用或者修改绘制指令,从而避免调用一些上层代码,提高处理效率。
当前,不少终端设备具有“智能”刷新率功能,基于该功能可以为每个应用类别或者每个应用包名配置不同的刷新率。以微信、微博、头条等应用为例,可以为这些应用设置较高的刷新率,例如120Hz,当这些应用以120Hz的刷新率显示内容时,要求绘制、渲染、合成等各阶段在8ms内完成,保证图像数据可以稳定送显。
然而,在高刷新率场景下,当应用的布局复杂、界面变化剧烈时,可能存在应用内画面卡顿的现象,发生卡顿时可能有一段时间应用界面没有更新,出现丢帧的现象。
通过构造应用内列表滑动场景以及压测复现发现,在高刷新率场景下,当应用的布局复杂、界面变化剧烈时,有大量的渲染内容需要更新,CPU遍历渲染节点树的操作耗时过多,绘制和渲染共耗时12ms,超过8ms的要求,UI线程需要等待接收到drawframe函数的回调后才可以执行下一次绘制操作,这样阻塞了下一次编舞者的绘制操作,导致下一帧图像的绘制有4ms的延迟,从而导致应用内画面出现卡顿和丢帧的现象。
CPU遍历渲染节点树时找到需要发生变化的渲染节点,然后更新渲染节点中的绘制指令。频繁遍历渲染节点树会增加渲染线程的运行时长,耗时较长,这会加剧CPU的负载、增加终端设备的功耗,可能导致用户在长时间以高刷新率滑动列表的场景下使得终端设备发热。
图3是一种遍历渲染节点树的示意图。如图3所示,视图树包括父视图(ViewRootlmpl)、根节点视图(DecorView)、视图1、视图2、视图3,其中,视图2和视图3是视图1的子视图。渲染节点树包括根渲染节点(RootRenderNode)、渲染节点1、渲染节点2、渲染节点3、渲染节点4。
示例性地,添加的视图可以包括列表视图(ListView)、图像视图(ImageView)、文本视图(TextView)等。
其中,视图树的父视图与渲染节点树的根节点对应,根节点视图与渲染节点1对应,视图1与渲染节点2对应,视图2与渲染节点3对应,视图3与渲染节点4对应。
父视图是连接窗口管理器和视图树中的根节点视图的纽带,视图的三大流程(测量、布局、绘制)均通过父视图来完成。父视图接收事件并分发,基于安卓系统的终端设备的所有触屏事件、按键事件、界面刷新事件等可以通过底层硬件传递给父视图,接着父视图将事件传递给根节点视图。根节点视图是一个顶层视图,是所有视图的最外层布局,代表了整个应用的界面。
当视图中的绘制发生变化时,例如,当用户的一个触屏事件发生时,父视图通过硬件的感知通知视图3发生变化时,CPU需要先向上遍历到视图树的根节点,然后通过视图树的根节点触发一次绘制(draw)操作,通知渲染节点的根节点需要遍历渲染节点树,CPU再从渲染节点树的根节点向下找到渲染节点4,对渲染节点4中的绘制指令进行更新。当渲染节点树的层次很深时,CPU对视图树和渲染节点树的全遍历操作耗时严重。
以视图3和渲染节点4为例,渲染节点4是视图3的一个成员属性,两者的指针具有关联性。当视图3发生变化时,CPU通过访问视图3的指针可以间接得到渲染节点4的指针,渲染节点4的指针指向的是渲染节点4的内存地址,渲染节点4的内存地址中存储有与视图3的绘制操作对应的绘制指令,CPU可以在获取渲染节点4的绘制指令之后对其进行更新。
有鉴于CPU遍历渲染节点树耗时较长,可能导致在应用内列表以高刷新率滑动的场景下造成对下一帧图像的绘制的延迟,从而产生应用的画面卡顿和丢帧的现象,本申请提供一种用于图像绘制的方法及相关装置,根据视图和渲染节点的树型关系,将视图的指针与渲染节点的指针的对应关系以键值对的形式存储起来,这样可以将终端设备遍历渲染节点树的时间复杂度从O(log2N)降为O(1),有利于减少UI线程等待渲染线程的时间,从而避免在应用内以高刷新率滑动列表的场景下造成对下一帧图像的绘制的延迟,从而产生应用的画面卡顿和丢帧的现象。
其中,N表示树型结构的节点数,O(1)和O(log2N)用来表示对应算法的时间复杂度。
图4是本申请实施例提供的一种用于图像绘制的方法400的示意性流程图,方法400的步骤可以由终端设备执行,终端设备可以具有如图1和/或图2所示的结构,本申请实施例对此不作限定。方法400包括S401至S404,具体步骤如下:
S401,确定应用界面的视图树中发生变化的目标视图,视图树中的每一视图配置有对应的渲染节点。
参见上文中的描述可知,用户针对终端设备的屏幕上输入事件(例如,触屏事件、按键事件等)可以通过硬件传输至视图树中的父视图,之后父视图向根节点视图传输输入事件传输,根节点视图根据输入事件对应的控件从视图树中找到发生变化的视图并进行标记。确定应用界面的视图树中发生变化的目标视图可以理解为,将标记的发生变化的视图确定为目标视图。
示例性地,发生的变化可以包括为目标视图添加动画、改变目标视图的大小、颜色等。
S402,根据视图的指针与渲染节点的指针的对应关系,获取与所述目标视图的指针对应的目标渲染节点的指针。
参见上文中的描述可知,视图的指针与渲染节点的指针具有对应关系,在本申请实施例中,视图的指针与渲染节点的指针的对应关系是以视图树中的每一视图的指针为键,每一视图对应的渲染节点的指针为值存储的。
S403,从目标渲染节点的指针所指向的目标渲染节点的内存地址中获取绘制指令。
参见上文中的描述可知,渲染节点中存储有绘制指令,终端设备可以通过目标视图的指针得到对应的目标渲染节点的指针,从而可以从目标渲染节点的指针所指向的内存地址中获取绘制指令。
S404,更新绘制指令,以根据更新后的绘制指令绘制图像。
终端设备的CPU在获取到绘制指令之后,更新需要更新的绘制指令,并将更新后的绘制指令转换成skia封装的OpenGL指令发送给终端设备的GPU,以使GPU根据更新后的OpenGL指令绘制应用界面。
本申请实施例根据视图和渲染节点的树型结构,按照视图和渲染节点一一对应的关系,将视图的指针与渲染节点的指针以键值对的形式存储起来。由于直接存储了两个对象的指针,因此当视图树中的目标视图发生变化时,可以直接从存储的所述对应关系中获取与目标视图对应的目标渲染节点的指针,确定目标渲染节点的指针指向的内存地址,地址拷贝、管理更加灵活。
本申请实施例是一种以空间换时间的优化方式,终端设备只需在应用进程中创建与视图数量相等尺寸的对应关系,这样可以将遍历渲染节点树的时间复杂度从O(log2N)降低为O(1),减小UI线程等待渲染线程的概率。当应用进程退出或者父视图销毁,对应关系所占的内存也会随之释放。
作为一个可选的实施例,在S401之后,方法400还包括:终端设备的CPU在UI线程中根据目标视图更新所述对应关系,得到更新后的对应关系。所述对应关系表示视图的指针与渲染节点的指针的对应关系。
其中,目标视图可以包括待更新的视图、新增的视图或者失效的视图。
在目标视图包括待更新的视图的情况下,根据目标视图更新所述对应关系,得到更新后的对应关系,包括:在所述对应关系中标记待更新的视图的指针,得到更新后的对应关系。
示例性地,应用界面中目标视图对应的控件的形状由直角变为了圆角,这时目标视图的绘制操作为绘制为圆角,因此CPU在UI线程中标记待更新的视图,将绘制圆角所需的数据发送给渲染线程,以使CPU在渲染线程中更新标记的视图对应的渲染节点中存储的绘制指令。
通常,在视图中更新任务UI组件时会将相应的视图标记为脏(dirty),称为脏标记,通过这样设置视图内部更新标记的方法指示需要重新布局已标记的视图。
在目标视图包括新增的视图的情况下,根据目标视图更新所述对应关系,得到更新后的对应关系,包括:在所述对应关系中添加视图树中新增的视图的指针,并标记新增的视图的指针,得到更新后的对应关系。
在视图树中新增视图时,每个新增的视图都有对应的名称和唯一的标识,终端设备的CPU可以通过新增的视图的标识标记新增的视图。
示例性地,应用界面中需要新增一个表格,对应视图树中新增一个表格视图(TableView),CPU可以在对应关系中新增表格视图的指针,表格视图标记有名称和标识,UI线程在绘制完表格之后,将绘制表格的操作解析为绘制指令,并根据表格视图的名称和标识存入与表格视图对应的渲染节点中。
在目标视图包括失效的视图的情况下,根据目标视图更新所述对应关系,得到更新后的对应关系,包括:在所述对应关系中删除失效的视图的指针及其对应的渲染节点的指针,得到更新后的对应关系。
示例性地,视图失效可能是由于该视图的属性设置错误。在本申请实施例中,终端设备的CPU在UI线程中根据失效的视图删除对应关系中失效的视图的指针及其对应的渲染节点的指针,在渲染节点的指针删除之后,渲染节点的指针所指向的内存地址也被释放,也即渲染节点中存储的绘制指令被清除。
作为一个可选的实施例,在S402之前,方法400包括:通过渲染代理将更新后的对应关系插入渲染队列。S402包括:根据更新后的对应关系中标记的视图的指针,获取与标记的视图的指针对应的目标渲染节点的指针。
在本申请实施例中,终端设备的CPU在UI线程中通过标记待更新的视图和/或新增的视图来更新所述对应关系,并将更新后的对应关系插入渲染线程的渲染队列,从而终端设备的CPU可以从渲染线程的渲染队列中获取更新后的对应关系,根据更新后的对应关系中已标记的视图的指针,获取与标记的视图的指针对应的渲染节点的指针,已标记的视图包括待更新的视图和/或新增的视图。
示例性地,本申请实施例的视图的指针与渲染节点的指针的对应关系存储在字典(dictionary)中。字典是一种以键值对形式存储的数据结构,键是值在字典中的索引,值是查找到的结果,在字典中可以添加元素和删除元素。
下面结合图5,以视图的指针与渲染节点的指针的对应关系存储于字典中为例,对用于图像绘制的业务逻辑进行介绍。本申请实施例将用于存储视图的指针与渲染节点的指针的对应关系的字典称为VR字典。
图5是本申请实施例提供的一种单点更新策略的示意图,在应用启动后的初始化阶段,终端设备的CPU在UI线程开始绘制第一帧应用界面,创建视图树。终端设备的CPU初始化VR字典,将每个视图的指针作为键,每个视图对应的渲染节点的指针作为值插入VR字典,UI线程持有VR字典。
在之后的绘制过程中,如果视图树中的视图发生变化,例如图5中的视图1和视图3,为保证UI线程和渲染线程的同步,终端设备的CPU先对UI线程加锁,在UI线程修改VR字典,其中,修改VR字典包括:标记待更新视图的指针、删除失效的视图的指针及其对应的渲染节点的指针、插入新增的视图的指针。
在修改完VR字典之后,终端设备的CPU对UI线程解锁。当一次绘制信号到来时,触发UI线程做一次绘制,通过硬件渲染(hardware render)对象调用渲染代理的同步绘制帧(SyncAndDrawFrame)操作驱动渲染线程工作。终端设备的CPU将此次硬件绘制任务和修改后的VR字典插入渲染线程的渲染队列,渲染线程在进入遍历渲染节点树逻辑时,首先检查VR字典的单点更新策略是否打开,若策略打开,渲染线程对VR字典加锁,采用单点更新的方式,从VR字典中获取与标记的视图的指针对应的渲染节点的指针,从而对获取到的渲染节点的指针所指向的内存地址中的绘制指令进行更新,并在更新完之后对VR字典解锁。之后CPU将更新后的绘制指令进行封装发送给GPU,由GPU开始进行渲染。
若终端设备的CPU在渲染线程检测到VR字典的单点更新策略未开启,终端设备的CPU按照原生流程从根渲染节点开始重构渲染节点树。
基于VR字典,终端设备的CPU不仅可以直接操作当前的渲染节点,还可以基于当前查找到的渲染节点继续向下搜索,实现渲染节点子树的全遍历。以图5中的渲染节点2及其右子树的更新为例,终端设备的CPU先通过VR字典找到与发生变化的视图1对应的渲染节点2,更新或者销毁渲染节点2的绘制指令,然后根据缓存的右子树的指针继续向下查找,得到完整的右子树的绘制指令。
在实际业务中,终端设备可以判断应用是否满足预设条件,在满足预设条件的情况下,可以开启单点更新策略。预设条件包括如下一项或多项:应用的级别在预设级别之内、应用处于列表滑动场景(也可理解为应用界面处于列表滑动状态)或应用内连续丢帧的数量大于或等于预设阈值。下面结合图6至图8对开启单点更新策略的流程进行介绍。
图6是本申请实施例提供的一种开启单点更新策略的方法600的示意性流程图,如图6所示,方法600可以由终端设备内部的功能模块交互执行,方法600包括步骤S601至S605,具体步骤如下:
S601,应用A向活动管理服务发送启动请求。相应地,活动管理服务接收启动请求。
示例性地,用户在终端设备的桌面点击应用A,应用A响应于用户的操作,向活动管理服务发送启动请求,启动请求中包括应用A的包名。活动管理服务接收到启动请求后,首先确定启动哪一个活动(activity),生成对应的活动对象,并确定活动对象的布局文件,将布局文件装载进来之后生成布局文件中所声明的控件的对象,在活动中显示出来。
S602,活动管理服务判断应用A的级别是否在预设级别之内。
可选地,活动管理服务根据应用A的包名检测应用A的级别是否在预设级别之内。
示例性地,预设级别可以为下载量排名前10。
S603,活动管理服务向视图系统发送绘制任务,该绘制任务用于绘制应用A的应用界面。相应地,视图系统接收绘制任务。
活动管理服务启动的活动就像一个控制器,是存放视图对象的容器,统筹视图的添加与显示,并通过回调方法与窗口以及视图进行交互。活动构造时会初始化一个窗口(phone window),视图系统在接收到绘制任务后通过初始化的窗口添加视图构建视图树,例如添加文本控件(TextView)、按钮(button)等。
应理解的是,若活动管理服务确定应用A的级别在预设级别之内,则活动管理服务在绘制任务中携带请求开启单点更新策略的信息。
S604,视图系统向单点更新模块请求开启单点更新策略。
S605,单点更新模块开启单点更新策略。
在本申请实施例中,终端设备可以判断应用A的级别是否在预设级别之内,当确定应用A的级别在预设级别之内,开启单点更新策略,根据以键值对方式存储的视图的指针与渲染节点的指针的对应关系快速获取待更新的绘制操作。
图7是本申请实施例提供的另一种开启单点更新策略的方法700的示意性流程图,如图7所示,方法700可以由终端设备内部的功能模块交互执行,方法700包括步骤S701至S706,具体步骤如下:
S701,触控服务接收列表滑动事件。
当用户在应用界面上滑动,触发列表滑动事件时,触控驱动向触控服务发送列表滑动事件。
S702,触控服务向活动管理服务分发列表滑动事件。相应地,活动管理服务接收列表滑动事件。
触控服务接收到列表滑动事件之后,通过进程间通信通知活动管理服务发生列表滑动事件。
S703,活动管理服务向视图系统发送绘制任务,该绘制任务用于绘制应用A的应用界面。相应地,视图系统接收绘制任务。
S704,视图系统判断是否发生列表滑动事件。
在列表滑动场景下,终端设备中的滑动速率模块会计算列表滑动速率,视图系统中的列表视图确定在计算列表滑动速率,即表明当前应用界面正处于列表滑动状态,确定发生了列表滑动事件。
S705,视图系统在接收到绘制任务并且确定当前为列表滑动事件的情况下,向单点更新模块请求开启单点更新策略。
S706,单点更新模块开启单点更新策略。
在本申请实施例中,终端设备可以判断应用A的界面是否处于列表滑动的状态,当确定应用A的界面处于列表滑动的状态,开启单点更新策略,根据以键值对方式存储的视图的指针与渲染节点的指针的对应关系快速获取待更新的绘制操作。
图8是本申请实施例提供的再一种开启单点更新策略的方法800的示意性流程图,如图8所示,方法800可以由终端设备内部的功能模块交互执行,方法800包括步骤S801至S806,具体步骤如下:
S801,应用A向活动管理服务发送启动请求。相应地,活动管理服务接收启动请求。
S802,活动管理服务向视图系统发送绘制任务,该绘制任务用于绘制应用A的应用界面。相应地,视图系统接收绘制任务。
S803,视图系统执行绘制任务,判断连续丢帧的数量是否大于或等于预设阈值。
示例性地,预设阈值为两帧,应用A设置的刷新率为120Hz,要求每一帧图像的绘制在8ms内完成,如果连续两帧每一帧的绘制任务没有在8ms内完成,则可以确定连续丢帧的数量为两帧,等于预设阈值。
S804,视图系统向硬件绘制模块请求启动硬件绘制。
S805,硬件绘制模块向单点更新模块请求开启单点更新策略。
S806,单点更新模块开启单点更新策略。
在本申请实施例中,终端设备可以判断绘制应用A的界面时连续丢帧的数量是否大于或等于预设阈值,当确定连续丢帧的数量大于或等于预设阈值,开启单点更新策略,根据以键值对方式存储的视图的指针与渲染节点的指针的对应关系快速获取待更新的绘制操作。
在基于图6至图8的描述中,视图系统通过调用单点更新模块的接口开启单点更新策略,单点更新模块基于视图树和渲染节点树的对应关系,将每一视图的指针与其对应的渲染节点的指针以键值对的形式存储起来,当视图树中的视图发生变化时,可以根据存储的视图的指针与渲染节点的指针快速找到在渲染节点中存储的待更新的绘制指令,从而提升绘制性能。
应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上文中结合图4至图8,详细描述了根据本申请实施例的用于图像绘制的方法,下面将结合图9和图10详细描述根据本申请实施例的用于图像绘制的装置。
图9是本申请实施例提供的一种用于图像绘制的装置900的示意性框图,。装置900包括处理模块910和获取模块920。
其中,处理模块910用于:确定应用界面的视图树中发生变化的目标视图,视图树中的每一视图配置有对应的渲染节点。获取模块920用于:根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针,其中,对应关系是以视图树中的每一视图的指针为键,每一视图对应的渲染节点的指针为值存储的;以及,从目标渲染节点的指针所指向的目标渲染节点的内存地址中获取绘制指令。处理模块910还用于:更新绘制指令,以根据更新后的绘制指令绘制图像。
可选地,处理模块910用于:根据目标视图更新所述对应关系,得到更新后的对应关系。
可选地,目标视图包括待更新的视图。处理模块910用于:在所述对应关系中标记待更新的视图的指针,得到更新后的对应关系。
可选地,目标视图包括新增的视图。处理模块910用于:在所述对应关系中添加视图树中新增的视图的指针,并标记新增的视图的指针,得到更新后的对应关系。
可选地,目标视图包括失效的视图。处理模块910用于:在所述对应关系中删除失效的视图的指针及其对应的渲染节点的指针,得到更新后的对应关系。
可选地,处理模块910用于:通过渲染代理将更新后的对应关系插入渲染队列。获取模块920用于:根据更新后的对应关系中标记的视图的指针,获取与标记的视图的指针对应的目标渲染节点的指针。
可选地,处理模块910用于:判断应用界面对应的应用是否满足预设条件。获取模块920用于:在应用满足预设条件的情况下,根据视图的指针与渲染节点的指针的对应关系,获取与目标视图的指针对应的目标渲染节点的指针。
可选地,预设条件包括以下一项或多项:应用的级别在预设级别之内;应用处于列表滑动场景;或,应用内连续丢帧的数量大于预设阈值。
在一个可选的例子中,本领域技术人员可以理解,装置900可以具体为上述实施例中的终端设备,或者,上述实施例中终端设备的功能可以集成在装置900中。上述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。装置900可以用于执行上述方法实施例中与终端设备对应的各个流程和/或步骤。
应理解,这里的装置900以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在本申请的实施例,装置900也可以是芯片或者芯片系统,例如:片上系统(system on chip,SoC)。
图10示出了本申请实施例提供的另一种用于图像绘制的装置1000的示意性框图。该装置1000包括处理器1010、通信接口1020和存储器1030。其中,处理器1010、通信接口1020和存储器1030通过内部连接通路互相通信,该存储器1030用于存储指令,该处理器1010用于执行该存储器1030存储的指令,以控制该通信接口1020发送信号和/或接收信号。
应理解,装置1000可以用于执行上述方法实施例中与终端设备对应的各个步骤和/或流程。可选地,该存储器1030可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如,存储器还可以存储设备类型的信息。该处理器1010可以用于执行存储器中存储的指令,并且该处理器执行该指令时,该处理器可以执行上述方法实施例中与终端设备对应的各个步骤和/或流程。
应理解,在本申请实施例中,该处理器1010可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时可实现上述任一方法实施例中终端设备所执行的方法。
本申请实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时可实现上述任一方法实施例中终端设备所执行的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种用于图像绘制的方法,其特征在于,包括:
确定应用界面的视图树中发生变化的目标视图,所述视图树中的每一视图配置有对应的渲染节点;
根据视图的指针与渲染节点的指针的对应关系,获取与所述目标视图的指针对应的目标渲染节点的指针;所述对应关系是以所述视图树中的每一视图的指针为键,所述每一视图对应的渲染节点的指针为值存储的;
从所述目标渲染节点的指针所指向的所述目标渲染节点的内存地址中获取绘制指令;
更新所述绘制指令,以根据更新后的绘制指令绘制图像。
2.根据权利要求1所述的方法,其特征在于,在所述确定应用界面的视图树中发生变化的目标视图之后,所述方法还包括:
根据所述目标视图更新所述对应关系,得到更新后的对应关系。
3.根据权利要求2所述的方法,其特征在于,所述目标视图包括待更新的视图;
所述根据所述目标视图更新所述对应关系,得到更新后的对应关系,包括:
在所述对应关系中标记所述待更新的视图的指针,得到所述更新后的对应关系。
4.根据权利要求2所述的方法,其特征在于,所述目标视图包括新增的视图;
所述根据所述目标视图更新所述对应关系,得到更新后的对应关系,包括:
在所述对应关系中添加所述视图树中新增的视图的指针,并标记所述新增的视图的指针,得到所述更新后的对应关系。
5.根据权利要求2所述的方法,其特征在于,所述目标视图包括失效的视图;
所述根据所述目标视图更新所述对应关系,得到更新后的对应关系,包括:
在所述对应关系中删除所述失效的视图的指针及其对应的渲染节点的指针,得到所述更新后的对应关系。
6.根据权利要求3或4所述的方法,其特征在于,在所述根据视图的指针与渲染节点的指针的对应关系,获取与所述目标视图的指针对应的目标渲染节点的指针之前,所述方法还包括:
通过渲染代理将所述更新后的对应关系插入渲染队列;
所述根据视图的指针与渲染节点的指针的对应关系,获取与所述目标视图的指针对应的目标渲染节点的指针,包括:
根据所述更新后的对应关系中标记的视图的指针,获取与所述标记的视图的指针对应的目标渲染节点的指针。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在所述根据视图的指针与渲染节点的指针的对应关系,获取与所述目标视图的指针对应的目标渲染节点的指针之前,所述方法还包括:
判断所述应用界面对应的应用是否满足预设条件;
在所述应用满足所述预设条件的情况下,根据视图的指针与渲染节点的指针的对应关系,获取与所述目标视图的指针对应的目标渲染节点的指针。
8.根据权利要求7所述的方法,其特征在于,所述预设条件包括以下一项或多项:
所述应用的级别在预设级别之内;
所述应用处于列表滑动场景;或,
所述应用内连续丢帧的数量大于或等于预设阈值。
9.一种用于图像绘制的装置,其特征在于,包括用于执行如权利要求1至8中任一项所述方法的模块。
10.一种用于图像绘制的装置,其特征在于,包括:处理器和存储器,其中,
所述存储器用于存储计算机程序;
所述处理器用于调用并执行所述计算机程序,以使所述装置执行如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,用于存储计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至8中任一项所述的方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品中包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211008414.XA CN116089056B (zh) | 2022-08-22 | 2022-08-22 | 用于图像绘制的方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211008414.XA CN116089056B (zh) | 2022-08-22 | 2022-08-22 | 用于图像绘制的方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116089056A true CN116089056A (zh) | 2023-05-09 |
CN116089056B CN116089056B (zh) | 2023-10-20 |
Family
ID=86185546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211008414.XA Active CN116089056B (zh) | 2022-08-22 | 2022-08-22 | 用于图像绘制的方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116089056B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117687771A (zh) * | 2023-07-24 | 2024-03-12 | 荣耀终端有限公司 | 一种缓冲区分配方法、装置、电子设备及存储介质 |
CN117689785A (zh) * | 2023-06-30 | 2024-03-12 | 荣耀终端有限公司 | 渲染方法、电子设备及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190197068A1 (en) * | 2016-11-25 | 2019-06-27 | Tencent Technology (Shenzhen) Company Limited | Page rendering method, device, and data storage medium |
CN110597512A (zh) * | 2019-08-23 | 2019-12-20 | 华为技术有限公司 | 显示用户界面的方法及电子设备 |
CN111338729A (zh) * | 2020-02-21 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 一种播放视图的方法、装置、介质和电子设备 |
CN111382161A (zh) * | 2020-03-31 | 2020-07-07 | 北京达佳互联信息技术有限公司 | 状态数据处理方法、装置、电子设备及存储介质 |
CN112136101A (zh) * | 2018-06-03 | 2020-12-25 | 苹果公司 | 为用户界面和动画提供应用程序编程接口的框架 |
CN112199088A (zh) * | 2020-10-19 | 2021-01-08 | 广东工业大学 | 一种二叉树数据结构的可视化演变方法 |
CN114584825A (zh) * | 2022-02-25 | 2022-06-03 | 青岛海信宽带多媒体技术有限公司 | 一种带有视频窗口的页面显示方法和网关设备 |
-
2022
- 2022-08-22 CN CN202211008414.XA patent/CN116089056B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190197068A1 (en) * | 2016-11-25 | 2019-06-27 | Tencent Technology (Shenzhen) Company Limited | Page rendering method, device, and data storage medium |
CN112136101A (zh) * | 2018-06-03 | 2020-12-25 | 苹果公司 | 为用户界面和动画提供应用程序编程接口的框架 |
CN110597512A (zh) * | 2019-08-23 | 2019-12-20 | 华为技术有限公司 | 显示用户界面的方法及电子设备 |
CN111338729A (zh) * | 2020-02-21 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 一种播放视图的方法、装置、介质和电子设备 |
CN111382161A (zh) * | 2020-03-31 | 2020-07-07 | 北京达佳互联信息技术有限公司 | 状态数据处理方法、装置、电子设备及存储介质 |
CN112199088A (zh) * | 2020-10-19 | 2021-01-08 | 广东工业大学 | 一种二叉树数据结构的可视化演变方法 |
CN114584825A (zh) * | 2022-02-25 | 2022-06-03 | 青岛海信宽带多媒体技术有限公司 | 一种带有视频窗口的页面显示方法和网关设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117689785A (zh) * | 2023-06-30 | 2024-03-12 | 荣耀终端有限公司 | 渲染方法、电子设备及计算机可读存储介质 |
CN117687771A (zh) * | 2023-07-24 | 2024-03-12 | 荣耀终端有限公司 | 一种缓冲区分配方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116089056B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021013158A1 (zh) | 显示方法及相关装置 | |
WO2020224485A1 (zh) | 一种截屏方法及电子设备 | |
CN116089056B (zh) | 用于图像绘制的方法及相关装置 | |
US20220350602A1 (en) | Multi-Thread Synchronization Method and Electronic Device | |
WO2022127632A1 (zh) | 一种资源管控方法及设备 | |
CN116360725B (zh) | 显示交互系统、显示方法及设备 | |
WO2023005282A9 (zh) | 一种消息推送方法及装置 | |
US20230105934A1 (en) | Cross-Device Allocation Method for Service Element, Terminal Device, and Storage Medium | |
WO2023066395A1 (zh) | 一种应用运行方法以及相关设备 | |
WO2023005751A1 (zh) | 渲染方法及电子设备 | |
WO2022179390A1 (zh) | 一种拼接显示的方法、电子设备和系统 | |
CN116077943B (zh) | 调度系统资源的方法及相关装置 | |
WO2023160179A9 (zh) | 倍率切换方法和倍率切换装置 | |
CN117784991A (zh) | 最近任务列表的显示方法及电子设备 | |
WO2020051916A1 (zh) | 一种传输信息的方法及电子设备 | |
CN116095225B (zh) | 终端设备的图像处理方法及装置 | |
CN116088715B (zh) | 消息提醒方法及电子设备 | |
WO2024083031A1 (zh) | 一种显示方法、电子设备和系统 | |
WO2022206709A1 (zh) | 应用程序的组件加载方法及相关装置 | |
CN116541188B (zh) | 通知显示方法、终端设备及存储介质 | |
CN117689796B (zh) | 一种渲染处理方法及电子设备 | |
WO2023134525A1 (zh) | 一种外观设置方法和电子设备 | |
WO2024046010A1 (zh) | 一种界面显示方法、设备及系统 | |
EP4290375A1 (en) | Display method, electronic device and system | |
WO2024093431A1 (zh) | 一种图像绘制方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |