CN117806745A - 界面生成方法及电子设备 - Google Patents
界面生成方法及电子设备 Download PDFInfo
- Publication number
- CN117806745A CN117806745A CN202211281435.9A CN202211281435A CN117806745A CN 117806745 A CN117806745 A CN 117806745A CN 202211281435 A CN202211281435 A CN 202211281435A CN 117806745 A CN117806745 A CN 117806745A
- Authority
- CN
- China
- Prior art keywords
- rendering
- electronic device
- tree
- instruction
- instructions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 166
- 238000009877 rendering Methods 0.000 claims abstract description 1039
- 239000000872 buffer Substances 0.000 claims description 128
- 230000008569 process Effects 0.000 claims description 85
- 230000015654 memory Effects 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000036961 partial effect Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 45
- 238000004891 communication Methods 0.000 description 35
- 230000006854 communication Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 27
- 238000007726 management method Methods 0.000 description 21
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 230000002829 reductive effect Effects 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 9
- 239000002184 metal Substances 0.000 description 9
- 239000000203 mixture Substances 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Generation (AREA)
Abstract
本申请公开了界面生成方法及电子设备,涉及电子技术领域。本申请提供的界面生成方法包括:将渲染树拆分为多个子渲染树,通过多个线程并行地将多个子渲染树转换为渲染指令,进而基于渲染指令生成界面,进而可以降低渲染树转换为渲染指令的时延,避免界面出现掉帧和卡顿。
Description
技术领域
本申请涉及电子技术领域,尤其涉及界面生成方法及电子设备。
背景技术
随着技术的发展,电子设备的屏幕的分辨率和刷新率越来越高,其中,屏幕的分辨率影响一帧界面中包含的像素,刷新率影响生成一帧界面的时间。
在电子设备显示第一帧界面前,电子设备需要花费计算资源生成该第一帧界面;在电子设备显示第二帧界面前,电子设备需要重新花费计算资源生成该第二帧界面。
当电子设备未及时生成该第二帧界面时,电子设备的屏幕上显示的内容会发生卡顿。而电子设备为了保障能够及时生成该第二帧界面,往往通过提高CPU的工作频率以提升电子设备的计算能力,进而导致电子设备生成一帧界面的能耗较高,降低了界面生成的能效比。
发明内容
本申请实施例提供了界面生成方法及电子设备。本申请实施例提供的界面生成方法通过将渲染树拆分为多个子渲染树,进而并行的将多个子渲染树转换为渲染指令,降低子渲染树转换为渲染指令的时长,进而降低界面生成的时长,避免界面发生卡顿、掉帧等。
第一方面,本申请实施例提供了一种界面生成方法,应用于运行第一应用程序的电子设备,该方法包括:该电子设备生成第一渲染树,该第一渲染树包括用于生成该第一应用程序的一帧界面的绘制操作;该电子设备拆分该第一渲染树得到N个子渲染树,该N大于1;该电子设备并行地将该N个子渲染树转化为第一渲染指令,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;该电子设备基于该第一渲染指令生成该第一应用程序的一帧界面。
在上述实施例中,将渲染树拆分为多个子渲染树,进而并行的将多个子渲染树转换为渲染指令,降低子渲染树转换为渲染指令的时长,进而降低界面生成的时长,避免界面发生卡顿、掉帧等。
结合第一方面的一些实施例,在一些实施例中,该电子设备拆分该第一渲染树得到N个子渲染树,具体包括:该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于指示该第一渲染树转换为该第一渲染指令的耗时或计算量;响应于该电子设备确定该第一任务量大于第一阈值,该电子设备拆分该第一渲染树得到该N个子渲染树。
在上述实施例中,考虑到渲染树的任务量大于阈值的情况下,渲染树转换为渲染指令的时间较长,在该情况下,才将渲染树拆分为多个子渲染树,进而降低时长;在渲染树的任务量小于阈值的情况下,可以不拆分渲染树。
结合第一方面的一些实施例,在一些实施例中,在该电子设备确定第一任务量后,该方法还包括:该电子设备基于该第一任务量和该第一阈值确定M,该M小于等于该N,该M为大于等于该第一任务量与该第一阈值的比值的整数;该电子设备确定大于等于该M的整数为该N。
在上述实施例中,拆分渲染树可以先确定最少需要拆分子渲染树的个数,进而确定拆分渲染树的方式;确定拆分子渲染树的个数可以通过阈值和渲染树的任务量确定。
结合第一方面的一些实施例,在一些实施例中,该电子设备确定第一任务量,具体包括:该电子设备通过确定该第一渲染树中的绘制操作的任务量以确定该第一任务量。
在上述实施例中,可以通过多种方式确定第一任务量。
结合第一方面的一些实施例,在一些实施例中,该N个子渲染树包括第二渲染树和该第三渲染树,第二任务量和第三任务量的差距小于差距阈值,该第二任务量为该第二渲染树的任务量,该第二任务量用于衡量该第二渲染树被转换为渲染指令的耗时或计算量,该第三任务量为该第三渲染树的任务量,该第三任务量用于衡量该第三渲染树被转换为渲染指令的耗时或计算量。
在上述实施例中,在确定最少需要拆分子渲染树的个数,并拆分出对应个数的子渲染树后,可以对子渲染树进一步拆分以使得每一个子渲染树的任务量均小于阈值。
结合第一方面的一些实施例,在一些实施例中,该电子设备拆分该第一渲染树得到N个子渲染树,具体包括:该电子设备确定该第一渲染树的根渲染节点具有N个子节点,该子节点为该跟渲染节点直接连接的渲染节点;该电子设备拆分该第一渲染树为N个子渲染树。
在上述实施例中,可以按照渲染树的数据结构拆分得到多个渲染子树。
结合第一方面的一些实施例,在一些实施例中,该电子设备拆分该第一渲染树得到N个子渲染树,具体包括:该电子设备将该第一应用程序的界面划分为N个区域;该电子设备基于该N个区域拆分该第一渲染树得到N个子渲染树,该N个子渲染树与该N个区域一一对应。
在上述实施例中,可以先在界面上划分N个区域,然后按照区域拆分渲染树得到N个子渲染树。
结合第一方面的一些实施例,在一些实施例中,该电子设备拆分该第一渲染树得到N个子渲染树,具体包括:该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为渲染指令的耗时或计算量,该第一任务量大于第一阈值;该电子设备确定该第一渲染树的根渲染节点具有K个子节点,该K小于N;该电子设备拆分该第一渲染树为K个子渲染树;该电子设备确定第四渲染树的任务量大于该第一阈值后,该电子设备拆分该第四渲染树得到N-K+1个渲染子树,该K个子渲染树包括该第四渲染树,该N个渲染子树的任务量均小于该第一阈值。
在上述实施例中,可以拆分渲染树以及拆分渲染子树,使得渲染子树均的任务量均小于阈值,进而保证渲染子树转换为渲染指令的时长不会超时,进而保证界面的及时生成。
结合第一方面的一些实施例,在一些实施例中,该电子设备并行地将该N个子渲染树转化为第一渲染指令,具体包括:该电子设备通过N个线程分别将该N个子渲染树转换的指令填入N个缓冲中;该电子设备将该N个缓冲的指令提交至第一缓冲中,该第一缓冲中的指令为该第一渲染指令。
在上述实施例中,在将多个渲染子树转换为多个渲染指令后,还需要将渲染指令合并在一个缓冲中,进而将该穿穿提交到GPU以驱动GPU生成界面。
第二方面,本申请实施例提供了一种界面生成方法,应用于运行第一应用程序的电子设备,该方法包括:该电子设备通过该第一进程生成第一渲染树,该第一渲染树包括用于生成该第一进程的一帧界面的绘制操作;该电子设备拆分该第一渲染树为第二渲染树和第三渲染树,该第二渲染树包括第一渲染树中的部分绘制操作,该第三渲染树包括该第一渲染树中的部分绘制操作,该第二渲染树和该第三渲染树不同;该电子设备通过第一线程将该第二渲染树转换为第一渲染指令,该第一渲染指令保存在第一缓冲中,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;该电子设备通过第二线程将该第三渲染树转换为第二渲染指令,该第二指令保存在第二缓冲中;该电子设备基于该第一渲染指令和该第二渲染指令生成该第一进程的一帧界面。
在上述实施例中,电子设备可以将进程生成的渲染树拆分为多个渲染树,并通过不同的线程生成多组渲染指令,最后基于多组渲染指令生成一帧界面,由于线程是并行的,所以可以降低渲染树转换为渲染指令的时长。
结合第二方面的一些实施例,在一些实施例中,该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为渲染指令的耗时或计算量,该第一任务量大于第一阈值。
在上述实施例中,考虑到渲染树的任务量大于阈值的情况下,渲染树转换为渲染指令的时间较长,在该情况下,才将渲染树拆分为多个子渲染树,进而降低时长;在渲染树的任务量小于阈值的情况下,可以不拆分渲染树。
结合第二方面的一些实施例,在一些实施例中,该电子设备基于该第一指令和该第二指令生成该第一进程的一帧界面,具体包括:该第一渲染指令位于该第一线程持有的第一缓冲中,该第二渲染指令位于该第二线程持有第二缓冲中,该电子设备提交该第一缓冲中的指令和该第二缓冲中的渲染指令至第三缓冲中;该电子设备基于该第三缓冲生成该第一进程的一帧界面。
在上述实施例中,电子设备可以将多个缓冲中的渲染指令提交至一个缓冲中,进而驱动GPU生成界面。
结合第二方面的一些实施例,在一些实施例中,该第三缓冲为该第二缓冲,或者该第三缓冲为该第一缓冲。
第三方面,本申请实施例提供了一种界面生成方法,应用于运行第一应用程序的电子设备,该方法包括:该电子设备生成第一渲染树,该第一渲染树包括用于生成该第一应用程序的一帧界面的绘制操作;该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为渲染指令的耗时或计算量,该第一任务量大于第一阈值,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;若该第一任务量大于该第一阈值,该电子设备配置CPU的工作频率从第一频率变为第二频率,该第二频率高于该第一频率;该电子设备基于该第一渲染树生成该第一应用程序的一帧界面;在该电子设备生成该第一应用程序的一帧界面的过程中,该电子设备以该第二频率工作。
在上述实施例中,电子设备可以根据渲染树的任务量和阈值的大小关系判断是否调整CPU的频率,若渲染树的任务量大于阈值,则以更高的频率工作,使得渲染树可以及时的转换为渲染指令。
结合第三方面的一些实施例,在一些实施例中,该电子设备基于该第一渲染树生成该第一应用程序的一帧界面,具体包括:该电子设备拆分该第一渲染树得到N个子渲染树,该N为大于1的整数;该电子设备并行地将该N个子渲染树转化为第一渲染指令;该电子设备基于该第一渲染指令生成该第一应用程序的一帧界面。
在上述实施例中,电子设备还可以将渲染树拆分为多个子渲染树,通过并行地将多个子渲染树转换为渲染指令以将渲染树转换为渲染指令的时长。
第四方面,本申请实施例提供了一种界面生成方法,应用于运行第一应用程序的电子设备,该方法包括:该电子设备生成第一渲染树,该第一渲染树包括用于生成该第一应用程序的一帧界面的绘制操作;该电子设备通过多个不同的线程遍历该第一渲染树中的不同部分以生成第一渲染指令,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;该电子设备基于该第一渲染指令生成该第一应用程序的一帧界面。
在上述实施例中,电子设备以不同的顺序遍历渲染树,通过多个线程并行地将渲染树转换为渲染指令,降低了渲染树转换为渲染指令的时延,保证电子设备能够及时地生成界面。
结合第四方面的一些实施例,在一些实施例中,在该电子设备通过多个不同的线程以不同的顺序遍历该第一渲染树以生成第一指令前,该方法还包括:该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为该第一渲染指令的耗时或计算量;该电子设备确定该第一任务量大于第一阈值。
在上述实施例中,考虑到渲染树的任务量大于阈值的情况下,渲染树转换为渲染指令的时间较长,在该情况下,才通过多个线程并行地将渲染树转换为渲染指令,进而降低转换的时长。
结合第四方面的一些实施例,在一些实施例中,该电子设备通过多个不同的线程以不同的顺序遍历该第一渲染树以生成第一指令,具体包括:该电子设备通过第一线程遍历该第一渲染树中的第一部分,将生成的第二渲染指令保存在第一缓冲中;该电子设备通过第二线程遍历该第一渲染树中的第二部分,将生成的第三渲染指令保存在第二缓冲中;该电子设备将该第一缓冲的渲染指令和该第二缓冲中的渲染指令提交到第三缓冲中以获取该第一渲染指令。
在上述实施例中,不同线程转换生成的渲染指令可以位于不同的缓冲中,最后将不同缓冲中的渲染指令提交到同一个缓冲中,进而驱动GPU生成界面。
结合第四方面的一些实施例,在一些实施例中,该电子设备将该第一缓冲的渲染指令和该第二缓冲中的渲染指令提交到第三缓冲中以获取该第一渲染指令,具体包括:该第一缓冲的渲染指令包括第二渲染指令和第三渲染指令,该第二缓冲的指令包括第四渲染指令;该第三缓冲的指令的排列顺序依次为:第二渲染指令、第四渲染指令、第三渲染指令。
在上述实施例中,在将不同缓冲中的渲染指令提交到同一个缓冲中,可以调整渲染指令的顺序,进而恢复渲染节点的依赖性。
第五方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:该电子设备生成第一渲染树,该第一渲染树包括用于生成该第一应用程序的一帧界面的绘制操作;该电子设备拆分该第一渲染树得到N个子渲染树,该N大于1;该电子设备并行地将该N个子渲染树转化为第一渲染指令,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;该电子设备基于该第一渲染指令生成该第一应用程序的一帧界面。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于指示该第一渲染树转换为该第一渲染指令的耗时或计算量;响应于该电子设备确定该第一任务量大于第一阈值,该电子设备拆分该第一渲染树得到该N个子渲染树。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:该电子设备基于该第一任务量和该第一阈值确定M,该M小于等于该N,该M为大于等于该第一任务量与该第一阈值的比值的整数;该电子设备确定大于等于该M的整数为该N。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备通过确定该第一渲染树中的绘制操作的任务量以确定该第一任务量。
结合第五方面的一些实施例,在一些实施例中,该N个子渲染树包括第二渲染树和该第三渲染树,第二任务量和第三任务量的差距小于差距阈值,该第二任务量为该第二渲染树的任务量,该第二任务量用于衡量该第二渲染树被转换为渲染指令的耗时或计算量,该第三任务量为该第三渲染树的任务量,该第三任务量用于衡量该第三渲染树被转换为渲染指令的耗时或计算量。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备确定该第一渲染树的根渲染节点具有N个子节点,该子节点为该跟渲染节点直接连接的渲染节点;该电子设备拆分该第一渲染树为N个子渲染树。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备将该第一应用程序的界面划分为N个区域;该电子设备基于该N个区域拆分该第一渲染树得到N个子渲染树,该N个子渲染树与该N个区域一一对应。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为渲染指令的耗时或计算量,该第一任务量大于第一阈值;该电子设备确定该第一渲染树的根渲染节点具有K个子节点,该K小于N;该电子设备拆分该第一渲染树为K个子渲染树;该电子设备确定第五渲染树的任务量大于该第一阈值后,该电子设备拆分该第五渲染树得到N-K+1个渲染子树,该K个子渲染树包括该第五渲染树,该N个渲染子树的任务量均小于该第一阈值。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备通过N个线程分别将该N个子渲染树转换的指令填入N个缓冲中;该电子设备将该N个缓冲的指令提交至第一缓冲中,该第一缓冲中的指令为该第一渲染指令。
第六方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:该电子设备通过该第一进程生成第一渲染树,该第一渲染树包括用于生成该第一进程的一帧界面的绘制操作;该电子设备拆分该第一渲染树为第二渲染树和第三渲染树,该第二渲染树包括第一渲染树中的部分绘制操作,该第三渲染树包括该第一渲染树中的部分绘制操作,该第二渲染树和该第三渲染树不同;该电子设备通过第一线程将该第二渲染树转换为第一渲染指令,该第一渲染指令保存在第一缓冲中,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;该电子设备通过第二线程将该第三渲染树转换为第二渲染指令,该第二指令保存在第二缓冲中;该电子设备基于该第一渲染指令和该第二渲染指令生成该第一进程的一帧界面。
结合第六方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为渲染指令的耗时或计算量,该第一任务量大于第一阈值。
结合第六方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:该第一渲染指令位于该第一线程持有的第一缓冲中,该第二渲染指令位于该第二线程持有第二缓冲中,该电子设备提交该第一缓冲中的指令和该第二缓冲中的渲染指令至第三缓冲中;该电子设备基于该第三缓冲生成该第一进程的一帧界面。
结合第六方面的一些实施例,在一些实施例中,该第三缓冲为该第二缓冲,或者该第三缓冲为该第一缓冲。
第七方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:该电子设备生成第一渲染树,该第一渲染树包括用于生成该第一应用程序的一帧界面的绘制操作;该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为渲染指令的耗时或计算量,该第一任务量大于第一阈值,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;若该第一任务量大于该第一阈值,该电子设备配置CPU的工作频率从第一频率变为第二频率,该第二频率高于该第一频率;该电子设备基于该第一渲染树生成该第一应用程序的一帧界面;在该电子设备生成该第一应用程序的一帧界面的过程中,该电子设备以该第二频率工作。
结合第七方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备拆分该第一渲染树得到N个子渲染树,该N为大于1的整数;该电子设备并行地将该N个子渲染树转化为第一渲染指令;该电子设备基于该第一渲染指令生成该第一应用程序的一帧界面。
第八方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:该电子设备生成第一渲染树,该第一渲染树包括用于生成该第一应用程序的一帧界面的绘制操作;该电子设备通过多个不同的线程遍历该第一渲染树中的不同部分以生成第一渲染指令,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;该电子设备基于该第一渲染指令生成该第一应用程序的一帧界面。
结合第八方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:该电子设备确定第一任务量,该第一任务量为该第一渲染树的任务量,该第一任务量用于衡量该第一渲染树被转换为该第一渲染指令的耗时或计算量;该电子设备确定该第一任务量大于第一阈值。
结合第八方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备通过第一线程遍历该第一渲染树中的第一部分,将生成的第二渲染指令保存在第一缓冲中;该电子设备通过第二线程遍历该第一渲染树中的第二部分,将生成的第三渲染指令保存在第二缓冲中;该电子设备将该第一缓冲的渲染指令和该第二缓冲中的渲染指令提交到第三缓冲中以获取该第一渲染指令。
结合第八方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该第一缓冲的渲染指令包括第二渲染指令和第三渲染指令,该第二缓冲的指令包括第四渲染指令;该第三缓冲的指令的排列顺序依次为:第二渲染指令、第四渲染指令、第三渲染指令。
第九方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面、第二方面、第三方面、第四方面、第一方面中任一可能的实现方式、第二方面中任一可能的实现方式、第三方面任一可能的实现方式以及第四方面任一可能的实现方式描述的方法。
第十方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在电子设备上运行时,使得上述电子设备执行如第一方面、第二方面、第三方面、第四方面、第一方面中任一可能的实现方式、第二方面中任一可能的实现方式、第三方面任一可能的实现方式以及第四方面任一可能的实现方式描述的方法。
第十一方面,本申请实施例提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面、第二方面、第三方面、第四方面、第一方面中任一可能的实现方式、第二方面中任一可能的实现方式、第三方面任一可能的实现方式以及第四方面任一可能的实现方式描述的方法。
可以理解地,上述第五方面、第六方面、第七方面和第八方面提供的电子设备、第九方面提供的芯片系统、第十方面提供的计算机程序产品和第十一方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的应用程序生成位图的一个示例性示意图。
图2为本申请实施例提供的电子设备生成界面过程的一个示例性示意图。
图3为本申请实施例提供的界面生成方法的一个示例性示意图。
图4为本申请实施例提供的确定渲染树的任务量的一个示例性示意图。
图5A和图5B为本申请实施例提供的拆分渲染树的一个示例性示意图。
图6A和图6B为本申请实施例提供的一个拆分渲染树的一个示例性示意图。
图7为本申请实施例提供的拆分渲染树的另一个示例性示意图。
图8为本申请实施例提供的并行地将渲染树转换为GPU指令的一个示例性示意图。
图9A和图9B为本申请实施例提供的电子设备生成界面过程的另一个示例性示意图。
图10为本申请实施例提供的界面生成方法的流程的另一个示例性示意图。
图11为本申请实施例提供的基于渲染树的任务量调整CPU计算能力的一个示例性示意图。
图12为本申请实施例提供的界面生成方法的另一个示例性示意图。
图13为本申请实施例提供的渲染线程以不同的顺序遍历渲染树的一个示例性示意图。
图14为本申请实施例提供的提交GPU指令至指令队列的一个示例性示意图。
图15为本申请实施例提供的电子设备的硬件结构的一个示例性示意图。
图16为本申请实施例提供的电子设备的软件结构的一个示例性示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“该”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
为了便于理解,下面先对本申请实施例涉及的相关术语及相关概念进行介绍。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释,而非旨在限定本发明。
界面作为应用程序与用户之间的交互和信息交互的介质接口,在每一次垂直同步信号到来时,电子设备需要为前台的应用程序生成该应用程序的界面。其中,垂直同步信号的频率与电子设备的屏幕的刷新率有关,例如垂直同步信号的频率与电子设备的屏幕的刷新率相同。
即每次电子设备刷新屏幕上显示的内容前,都需要为前台应用生成该应用程序的界面,以在屏幕刷新时向用户展现应用程序的新生成的界面。
其中,电子设备生成应用程序的界面需要应用程序自己渲染生成位图(bitmap),将自己的位图传递给表面合成器(SurfaceFlinger)。即,应用程序作为生产者执行绘制生成位图,将该位图存入表面合成器提供的缓冲队列(BufferQueue)中;表面合成器作为消费者不断地从BufferQueue获取应用程序生成的位图。其中,位图位于应用程序生成的surface上,该surface会被填入BufferQueue中。
在表面合成器获得可见的应用程序的位图后,表面合成器与硬件合成策略模块(Hardware Composer,HWC)确定位图作为图层(layer)的图层合成的方式。
在表面合成器和/或硬件合成策略模块执行位图合成后,由表面合成器和/或硬件合成策略模块将合成后的位图填入帧缓冲(Frame Buffer)中传递给显示子系统(DisplaySubsystem,DSS),DSS在拿到合成后的位图可以将该合成后的位图显示到屏幕上。该帧缓冲可以是在屏缓冲(on-screenbuffer)。其中,位图在表面合成器上也可以称为图层。
其中,应用程序生成位图的过程如下图1所示。
图1为本申请实施例提供的应用程序生成位图的一个示例性示意图。
如图1所示,应用程序在接收到垂直同步信号(Vsync)后,开始生成位图,具体的步骤可以分为三步,分别为步骤S101、步骤S102和步骤S103。
S101:主线程遍历应用程序的视图,将每个视图的绘制操作保存至新生成的渲染树中。
主线程(UI线程,UI Thread)让视图结构(viewhierarchy)失效,UI线程通过测量方法调用(measure())、布局方法调用(layout())、绘制方法调用(draw())遍历该应用程序的视图(view),确定并保存每个视图的绘制操作,并将视图和该视图涉及的绘制操作如(如drawline)录制到渲染树的渲染节点(RenderNode)的绘制指令列表(displaylist)中。其中,绘制指令列表中保存的数据可以为绘制操作结构体(DrawOP或DrawListOP)。
其中,视图是构成应用程序界面的基本元素,界面上的一个控件可以对应于一个或多个视图。
可选的,在本申请一些实施方式中,在绘制方法调用内,应用程序的UI线程还会读取视图上承载的内容至内存中。例如,图片视图(imageview)承载的图片,文本视图(textview)承载的文本。或者,在绘制方法调用内,应用程序的UI线程确定读取视图上承载的内容至内存中的操作,并录制到绘制指令列表中。绘制指令列表中的绘制操作结构体也可以称为绘制指令。
其中,绘制操作结构体为一个数据结构体,用于绘制图形,例如绘制线条、绘制矩形、绘制文本等。绘制操作结构体在渲染节点被遍历时会通过渲染引擎进而转换为图像处理库的API调用,OpenGLES库、Vulkan库、Metal库中的接口调用。例如在渲染引擎(Skia库)中,drawline会被封装为DrawLineOp,DrawLineOp是一个数据结构体,数据结构体里面包含有绘制的数据如线的长度、宽度等信息。DrawLineOp进一步会被封装为OpenGLES库、Vulkan库、Metal库中的接口调用,进而得到GPU指令。在后文中,统一称Skia库中的接口调用、OpenGLES库接口调用、Vulkan库接口调用和/或Metal库中的接口调用为渲染指令。即,渲染树会被渲染线程转换为渲染指令,进而进一步转为GPU可以识别并处理的GPU指令。其中,OpenGLES库、Vulkan库、Metal库可以统称为图像处理库或图形渲染库,在一帧界面的生成过程中,电子设备通过OpenGLES库、Vulkan库或Metal库生成渲染指令。图像处理库提供图形渲染的API以及驱动支持等。
其中,DrawOP可以以链式的数据结构存储在应用程序的栈中。
其中,绘制指令列表可以是一个缓冲区,该缓冲区中记录有应用程序一帧界面所包括的所有绘制操作结构体或是所有绘制操作的标识,如地址、序号等。当应用程序有多个窗口、或者在不同的显示区域(display)上显示时,需要独立地生成与多个窗口对应的多个渲染树。
其中,渲染树是UI线程生成的,用于生成应用程序界面的一个数据结构体,渲染树可以包括多个渲染节点,每个渲染节点包括渲染属性和绘制指令列表。渲染树记录有生成应用程序一帧界面的部分或所有信息。
可选地,在本申请一些实施方式中,UI线程可以只对脏区域(也可以称为需要被重绘的区域)的视图执行遍历,生成差分渲染树。其中,差分渲染树在被传递/同步到渲染线程后,渲染线程可以差分渲染树和上一帧渲染使用的渲染树确定本帧界面渲染需要使用的渲染树。
S102:主线程将渲染树同步到渲染线程,渲染树位于应用程序的栈中。
UI线程将渲染树传递/同步给渲染线程(Render Thread),其中,渲染树位于应用程序对应的进程的栈(stack)中。
S103:渲染线程执行渲染树中的绘制指令,生成位图。
渲染线程首先获取一个硬件画布(HardwareCanvas),并在该硬件画布上执行渲染树中的绘制操作,进而生成位图。其中,该硬件画布位于该应用程序持有的surface中,该surface中承载有位图或者其他格式的用于保存图像信息的数据。
S104:渲染线程发送承载位图的表面至表面合成器。
渲染线程通过表面将生成的位图发送到表面合成器上以参与图层合成。
可以认为步骤S101为构建阶段,主要负责确定该应用程序中每个视图的大小、位置、透明度等属性。例如,视图中的drawLine,构建中可以被封装成一个DrawLineOp,里面包含有绘制的数据如线的长度、宽度等,还可以包含有底层图形处理库的DrawLineOp对应的接口调用,用于在渲染阶段调用底层图形库生成位图。
类似的,可以认为步骤S103为渲染阶段,主要负责遍历渲染树的渲染节点,并执行每个渲染节点的绘制操作,进而在硬件画布上生成位图,在该过程中,渲染线程通过调用底层图形处理库,如OpenGLES库、Vulkan库、Metal库等,进而调用GPU完成渲染以生成位图。
图2为本申请实施例提供的电子设备生成界面过程的一个示例性示意图。
如图2所示,其中,生成第一帧界面的过程为图2中①、②、③、④和⑤;生成第二帧界面过程为图2中的⑥、⑦和⑤。
电子设备生成第一帧界面的过程包括:应用程序的UI线程在接收到垂直同步信号后,应用程序的UI线程生成渲染树,如图2中的①;应用程序的渲染线程在接收到渲染树需要将渲染树中的绘制指令列表和渲染属性转换为GPU指令,如Vulkan库指令、OpenGLES库指令、Metal指令等GPU驱动可以识别并处理的指令,如图2中的②;GPU或GPU驱动在接收到GPU指令后,生成位图,如图2中的③;表面合成器和/或硬件合成策略模块接收位图,并将位图作为图层执行图层合成,如图2中的④;显示子系统从表面合成器和/或硬件合成策略模块接收合成后的位图,然后送显,如图2中的⑤。
电子设备生成第二帧界面的过程包括:应用程序的UI线程在接收到垂直同步信号后,应用程序的UI线程生成渲染树,如图2中的⑥;应用程序的渲染线程在接收到渲染树需要将渲染树中的绘制指令列表和渲染属性转换为GPU指令,如Vulkan库指令、OpenGLES库指令、Metal指令等GPU驱动可以识别并处理的指令,如图2中的⑦。
但是,在电子设备生成第二帧界面的过程中,由于渲染线程将渲染树中的绘制指令列表和渲染属性转换为GPU可以识别并处理的指令的耗时较长,不能及时将位图传递到表面合成器和/或硬件合成策略模块。在接收到垂直同步信号后,表面合成器和/或硬件合成策略模块就会执行图层合成,进而以送显,而由于表面合成器和/或硬件合成策略模块没有接收到第二帧界面中应用程序的界面,故表面合成器和/或硬件合成策略模块会将第一帧界面中应用程序的界面作为第二帧界面中应用程序的界面执行图层合成,进而送显,如图2中的⑤。
很显然的,由于渲染线程未能及时的将渲染树中的渲染属性和绘制指令列表转换为GPU指令,GPU不能及时的生成位图,进而导致应用程序的界面发生卡顿。
其中,在不同的场景下,渲染线程不能及时的将渲染树转换为GPU指令的原因可以归纳为:需要生成的应用程序的界面对应的渲染树的负载和电子设备的运算能力的不匹配。渲染树的负载可以用多种方式表示,在此不作限定,例如,渲染树被转换为GPU指令的计算量、渲染树的内存占用等。其中,渲染树的负载和电子设备的运算能力的匹配是指:电子设备的运算能力在某个范围内的情况下,总是使得可以在预设的时长内将渲染树转换为GPU指令;相反的,当渲染树被转换为GPU指令的时长超过预设时长,则应用程序的界面会发生卡顿或掉帧,此时,渲染树的负载和电子设备的运算能力不匹配。
可选地,在本申请一些实施方式中,可以通过提高CPU的频率以增加电子设备的计算能力,进而使渲染线程总是能及时将渲染树转换为GPU指令。
但是,CPU的频率的提高会增加电子设备的功耗,降低电子设备生成一帧界面的能效比。进一步地,在渲染线程要将渲染树的转化为GPU指令前,渲染线程不能确定转换该渲染树为GPU指令这一操作的负载,无法选择适当的CPU频率。
基于此,本申请实施例提供了界面生成方法及电子设备。
本申请实施例提供的界面生成方法可以在电子设备上内置负载打分模型,在应用程序的UI线程生成渲染树的过程中,或者在应用程序的UI线程生成渲染树后,应用程序的UI线程或渲染线程或统一渲染进程可以基于负载打分模型确定渲染树被转换为GPU指令的负载,进一步的电子设备基于该负载选择合适的CPU频率。
其中,统一渲染进程(unirender)为与应用程序独立的进程,用于接收不同应用程序的UI线程生成的渲染树。其中,应用程序与统一渲染进程通过进程间通信(inter-processcommunication,IPC)完成数据的交互。关于统一渲染进程的具体内容可参考申请号为2021114105136的发明名称为“界面生成方法及电子设备”的专利申请和申请号为202111410643X的发明名称为“界面生成方法及电子设备”的专利申请,在此不再赘述。
可以理解的是,本申请实施例提供的界面生成方法,通过负载打分模型确定渲染树被转换为GPU指令的负载,进而选择合适的CPU频率,使得渲染线程或统一渲染进程能及时地执行完GPU指令的转换,同时降低由于提升CPU频率提升带来的功耗提升。
可选地,在本申请一些实施方式中,本申请实施例提供的界面生成方法可以拆分应用程序的渲染树,拆分后的多个渲染树分别被不同的线程转换为GPU指令。
可选地,在本申请一些实施方式中,本申请实施例提供的界面生成方法可以通过修改渲染树遍历的顺序使得可以通过多个线程同时遍历一个渲染树进而生成GPU指令。
可以理解的是,本申请实施例提供的界面生成方法,通过多线程并行的方式降低渲染树被转换为GPU指令的耗时,进而降低界面发生卡顿的概率。并且,在不考虑多线程并行的开销的情况下,若电子设备的CPU的低频能效比较高,则可以通过降低频率后通过多线程并行的方式将渲染树转换为GPU指令,在不增加生成一帧界面的耗时的情况下,可以提升生成一帧界面的能效。
下面结合图3所示的内容,示例性介绍本申请实施例提供的界面生成方法及电子设备。
图3为本申请实施例提供的界面生成方法的流程的一个示例性示意图。
S301:应用程序的UI线程在接收到垂直同步信号后,生成本帧界面对应的渲染树,在生成渲染树的过程中确定渲染树的任务量。
其中,应用程序的UI线程生成本帧界面对应的渲染树可以参考上文中图1中的文字描述,此处不再赘述。
应用程序的UI线程在生成渲染树的过程中,可以通过确定每一个绘制操作或绘制操作结构体的任务量进而确定渲染树的任务量。其中渲染树的任务量用于表征本帧界面生成过程中,将渲染树转换为GPU指令的任务量。
其中,在CPU的计算能力相同的情况下,如频率相同,则渲染树的任务量与渲染树被转换为GPU指令的耗时成正相关。
由于GPU指令越复杂,将渲染树转换为GPU指令的耗时越长;并且,GPU指令越复杂,GPU渲染生成位图的耗时就越长,所以,可以认为渲染树的任务量与生成本帧界面的耗时成正相关。
负载打分模型可以为如下文所示的任务模型表。
电子设备本地或电子设备可以访问的云端可以存有一个任务模型表,任务模型表中有不同绘制操作结构体对应的任务量评分,任务模型表如下表1和表2所示。
表1和表2为本申请实施例提供的一个任务模型表的一个示例性示意表。
表1
绘制操作或绘制操作结构体 | 任务量 |
DrawRect(参数1,参数2)(DrawRectOP) | F1(参数1,参数2) |
DrawImage(参数3,参数4)(DrawImageOP) | F2(参数3,参数4) |
ClipRect(参数5) | F3(参数5) |
如表1所示,任务模型表内部保存有绘制操作或绘制操作结构体与任务量的对应关系,例如,DrawRect(参数1,参数2)对应的任务量为F1(参数1,参数2),DrawImage(参数3,参数4)对应的任务量为F2(参数3,参数4),ClipRect(参数5)对应的任务量为F3(参数5)。其中,F1()、F2()、F3()为不同绘制操作或绘制操作结构体对应的任务量计算函数。
可选地,在本申请一些实施例中,任务模型表中可以保存绘制操作或绘制操作结构体与不同CPU计算能力下绘制操作或绘制操作结构体被转换为GPU指令的耗时的对应关系,如表2所示。
表2
绘制操作或绘制操作结构体 | 耗时 |
DrawRect(参数1,参数2)(DrawRectOP) | T1(CPU参数,参数1,参数2) |
DrawImage(参数3,参数4)(DrawImageOP) | T2(CPU参数,参数3,参数4) |
ClipRect(参数5) | T3(CPU参数,参数5) |
如表2所示,DrawRect(参数1,参数2)对应的耗时为T1(CPU参数,参数1,参数2),DrawImage(参数3,参数4)对应的耗时为T2(CPU参数,参数3,参数4),ClipRect(参数5)对应的任务量为T3(CPU参数,参数5)。其中,T1()、T2()、T3()为不同绘制操作或绘制操作结构体对应的耗时计算函数。
其中,任务模型表可以离线进行测试以生成,例如,终端厂商的开发人员可以测试每个绘制操作或绘制操作结构体进行测试,并将耗时或任务量记录下来,进而生成任务模型表。
或者,任务模型表可以在线生成以及更新,例如,用户在使用电子设备的时候,电子设备上的操作系统记录生成界面过程中不同绘制操作或绘制操作结构体的耗时或任务量,进而实时记录并更新任务模型表。在该情况下,由于同一型号的电子设备的状况不同,同一型号的电子设备的任务模型表可以不同,进而更准确地评估一帧界面的负载。电子设备的状况可以包括电子设备的老化程度等,在此不作限定。
可选地,在本申请一些实施方式中,渲染属性也会参与到任务量的计算中,这是因为在后续被转换为图像处理库的接口调用过程中,渲染节点的渲染属性也会作用在渲染节点的绘制指令列表中的绘制操作,进而影响到转换后的GPU指令。
可选地,在本申请一些实施方式中,可以不考虑绘制操作的输入参数,不同的绘制操作对应于不同的任务量,相同的绘制操作,即绘制操作的输入参数可以不同,对应于相同的任务量。
可选地,在本申请一些实施方式中,在应用程序的UI线程确定渲染树的任务量后,可以将渲染树的任务量保存为单独的参数,并将该单独的参数与渲染树传递给渲染线程或统一渲染进程。
可选地,在本申请一些实施方式中,应用程序的UI线程在生成渲染树的过程中确定每个渲染节点的任务量,则可以将每个渲染节点的任务量保存到渲染节点中,如图4所示。其中,用于保存渲染节点的任务量的参数可以称为任务参数。
图4为本申请实施例提供的确定渲染树的任务量的一个示例性示意图。
如图4所示,应用程序本帧界面对应的视图结构为:根视图(视图容器0)的子视图为视图容器1和视图容器2,视图容器1有若干子视图,视图容器2的子视图包括视图22。
在应用程序的UI线程遍历视图的过程中,应用程序的UI线程生成渲染树;在应用程序的UI线程生成渲染树的过程中,应用程序的UI线程基于任务模型表确定每个渲染节点的任务量,然后应用程序的UI线程将每个渲染节点的任务量保存在对应渲染节点的任务参数中。例如,应用程序的UI线程已经遍历了根视图和视图容器1,则生成过程中的渲染树包括根渲染节点和渲染节点1,并在根渲染节点和渲染节点1中增加了任务参数。其中,在图4中,根渲染节点为与根视图对应的渲染节点;渲染节点1为与视图容器1对应的渲染节点。
在应用程序的UI线程完成遍历视图后,渲染树的各个渲染节点均包括任务参数,任务参数保存有该渲染节点的任务量。在后续处理中,UI线程、渲染线程或渲染进程可以基于渲染节点中的任务参数确定渲染节点的任务量。
可选地,在本申请一些实施方式中,渲染树的根渲染节点中的任务参数中除了保存有该渲染节点的任务量外,任务参数还可以保存整个渲染树的任务量。再进一步地,对于渲染树中的任意渲染节点来说,该渲染节点中的任务参数除了保存有该渲染节点的任务量外,还可以保存以该渲染节点作为根渲染节点的子渲染树的任务量。
可选地,在本申请一些实施方式中,UI线程可以确定差分渲染树的任务量并将差分渲染树的任务量保存在任务参数中。在将差分渲染树传递到渲染线程或统一渲染进程后,由渲染线程或统一渲染进程基于差分渲染树和上一帧界面对应的渲染树生成本帧界面对应的渲染树,进而确定本帧界面对应的渲染树,再进而由渲染线程或统一渲染进程确定本帧界面对应的渲染树的任务量。
S302:在渲染树的任务量大于任务量阈值的情况下,应用程序基于任务量拆分渲染树得到多个子渲染树。
若渲染节点的任务参数用于确定渲染树的任务量,如上表1所示,则应用程序的UI线程、渲染线程或统一渲染进程判断渲染树的任务量是否大于任务量阈值1,若渲染树的任务量大于任务量阈值1,则应用程序的UI线程、渲染线程或统一渲染进程拆分渲染树得到多个子渲染树。其中,拆分后的多个子渲染树需要满足的条件为:拆分后的多个子渲染树中的任意一个子渲染树的任务量小于任务量阈值1。
其中,任务量阈值和任务量阈值1均可以称为第一阈值。
或者,若渲染节点的任务参数用于确定渲染树转换为GPU指令的耗时,如上表2所示,则应用程序的UI线程、渲染线程或统一渲染进程判断渲染树的任务量是否大于时间阈值1,若渲染树的任务量大于时间阈值1,则应用程序的UI线程、渲染线程或统一渲染进程拆分渲染树得到多个子渲染树。其中,拆分后的多个子渲染树需要满足的条件为:拆分后的多个子渲染树中的任意一个子渲染树转换为GPU指令的耗时小于时间阈值1。其中,时间阈值1可以与屏幕刷新率有关,例如,屏幕刷新率越高时间阈值1越小。
在后文中,以渲染树的任务量为例继续介绍。其中,渲染树的任务量可以和渲染树转换为GPU指令的耗时的作用相同,所以可以互相替换。
可选地,在本申请一些实施方式中,当应用程序的UI线程拆分渲染树得到多个子渲染树后,应用程序的UI线程传递或同步到渲染线程或统一渲染进程的数据为多个子渲染树。
可选地,在本申请一些实施方式中,拆分渲染树可以考虑线程的并发开销和/或渲染节点之间的依赖关系。其中,渲染节点的依赖关系是指渲染节点的父子关系导致的子节点的绘制操作需要在父节点的绘制操作后执行。其中,渲染节点的父子关系可能会影响界面是否能够正确生成,这是因为当父节点的绘制操作和子节点中的绘制操作对同一像素点均有操作,则父节点的绘制操作需要先于子节点中的绘制操作被执行。反之,当父节点的绘制操作和子节点中的绘制操作之间对同一像素点不是均有操作,则父渲染节点的绘制操作与子节点中的绘制操作独立,没有依赖关系。
可选地,在本申请一些实施方式中,在不考虑线程并发的开销的情况下,拆分渲染树使得任一个子渲染树的任务量(或耗时)小于任务量阈值1(或时间阈值1)。其中,线程并发的开销也可以通过任务量或耗时表征。
可选地,在本申请一些实施方式中,在考虑线程并发的开销的情况下,拆分渲染树使得任一个子渲染树的任务量(或耗时)和线程并发的任务量(或耗时)的和小于任务量阈值1(或时间阈值1)。
可选地,在本申请一些实施方式中,在确定渲染树的任务量大于任务量阈值的情况下,操作系统可以调整CPU的计算能力,如调整CPU的工作频率。或者,在确定的渲染树转换为GPU指令的耗时超过时间阈值的情况下,操作系统可以调整CPU的计算能力,例如调整CPU的工作频率。其中,基于渲染树的任务量调整CPU的频率的方式可以参考下文中图10和图11对应的文字描述,此处不在赘述。
下面示例性介绍几种拆分渲染树的方式:
(1)子渲染树的任务量小于任务量阈值的拆分方式。
图5A和图5B为本申请实施例提供的拆分渲染树的一个示例性示意图。
S501:判断渲染树的任务量是否大于任务量阈值1。
应用程序的UI线程、渲染线程或统一渲染进程确定渲染树的任务量是否大于任务量阈值1,若是则执行步骤S502;若否,则结束。
S502:根据根渲染节点与根渲染节点的子节点的依赖关系划分N个子渲染树。
若渲染树的根渲染节点具有N个子节点,则拆分渲染树为N个子渲染树。其中,根渲染节点的子节点可以分别作为N个子渲染树的根节点。其中,N个子渲染树中某个子渲染树持有根渲染节点,即根渲染节点作为子渲染树的根节点。其中,子节点为根节点直接连接的节点,在渲染树中,根节点即为根渲染节点。
S503:判断全部子渲染树中每个子渲染树的任务量是否小于等于任务量阈值1。
应用程序的UI线程、渲染线程或统一渲染进程确定拆分后的子渲染树的任务量是否大于任务量阈值1,若是则执行步骤S502;若否,则结束。
可选地,在本申请一些实施方式中,在考虑线程并行开销的情况下,每个子渲染树的任务量还需要加上一个线程并行的开销。
S504:拆分任务量大于任务量阈值1的子渲染树。
其中,拆分子渲染树的方式可以参考步骤S502或图5B中的文字描述,此处不再赘述。
若任务量阈值1为100,如图5B所示,任务量为200的渲染树的根渲染节点的子节点为渲染节点51和渲染节点52;渲染节点51的子节点为渲染节点512和渲染节点513;渲染节点52的子节点为渲染节点521、渲染节点522和渲染节点523,渲染节点522的子节点为渲染节点5221。
在第一次拆分后,得到任务量为40的子渲染树和任务量为160的子渲染树。其中,任务量为40的子渲染树的根节点为根渲染节点,根渲染节点的子节点为渲染节点51,渲染节点51的子节点为渲染节点512和渲染节点513。其中,任务量为160的渲染树的根节点为渲染节点52,渲染节点52的子节点为渲染节点521、渲染节点522和渲染节点523,渲染节点522的子节点为渲染节点5221。
由于任务量为160的渲染树的任务量大于任务量阈值1,则执行第二次拆分。
在第二次拆分后,得到任务量为70的渲染树、任务量为50的渲染树、任务量为40的渲染树,任务量为70的渲染树的根节点为渲染节点52,渲染节点52的子节点为渲染节点512;任务量为50的渲染树的根节点为渲染节点522,渲染节点522的子节点为渲染节点5221,任务量为40的渲染树的根节点为渲染节点523。
在第二次拆分后,得到四个子渲染树,四个子渲染树的任务量均小于任务量阈值1;进一步的,在四个子渲染树中,渲染节点的依赖关系都得到了保留。在四个子渲染树被转换为GPU指令后,只需要将四个子渲染树对应的GPU指令依次地提交到命令队列(CommandQueue)中的命令缓冲(command buffer)就可以恢复出完整的GPU指令,具体的内容可以参考下文中的步骤S303的文字描述,此处不再赘述。
其中,渲染节点的依赖关系得到了保留是指:由于没有新增渲染节点之间的父子关系,每一个子渲染树对应的GPU指令内部的顺序没有发生变化;进一步的,在将GPU指令提交到命令队列后,命令队列中的所有GPU指令的顺序也不会发生变化。可以理解的是,子渲染树的任务量小于任务量阈值的拆分方式可以使得在后续将渲染树转换为GPU指令的过程中,不会有任意一个线程的工作时间超过任务量阈值对应的时间,进而避免出现界面掉帧、界面卡顿等情况。
(2)负载均衡的拆分方式。
图6A和图6B为本申请实施例提供的一个拆分渲染树的一个示例性示意图。
S601:判断渲染树的任务量是否大于任务量阈值1。
应用程序的UI线程、渲染线程或统一渲染进程确定渲染树的任务量是否大于任务量阈值1,若是则执行步骤S602;若否,则结束。
S602:根据根渲染节点与根渲染节点的子节点的依赖关系划分N个子渲染树。
若根渲染节点具有N个子节点,则拆分渲染树为N个渲染树。其中,根渲染节点的子节点可以分别作为N个子渲染树的根节点。其中,N个子渲染树中某个子渲染树持有根渲染节点,即根渲染节点作为子渲染树的根节点。其中,子节点为与根节点直接连接的渲染节点。
S603:判断全部子渲染树中每个子渲染树的任务量是否满足约束关系。
应用程序的UI线程、渲染线程或统一渲染进程判断子渲染树的任务量是否满足约束关系,若是,则结束;若否,则执行步骤S604。
可选地,在本申请一些实施方式中,可以先通过渲染树的任务量和任务量阈值1确定最小需要的子渲染树个数。例如,渲染树的任务量为200,任务量阈值1为30,则确定最小需要的子渲染树个数为7。在拆分得到7个渲染树后,判断子渲染树中的每一个子渲染树是否满足下文所示的约束关系,若不满足约束关系则继续拆分子渲染树;若满足约束关系,则不再拆分子渲染树。
例如,设渲染树的任务量为loadtotal,任务量阈值1为loadthreshold,线程并发开销为cost,子渲染树的任务量阈值为其中i为第i个子渲染树,且N为并发线程数(子渲染树的个数),则需要满足约束关系/>并且
其中,在不考虑线程并发开销的情况下,约束关系为并且/>
若loadthreshold=80,loadtotal=200,N=5,ε=10,则即需要所有的子渲染树的任务量位于30到50之间才满足约束关系。
若N=2,则先调整N的大小(渲染树的个数)使得后,再判断是否满足/>或/>
可选地,在本申请一些实施方式中,也可以先根据确定渲染树的拆分梳理。若loadthreshold=80,loadtotal=200,则可以通过/>计算得到N,其中/>为向上取整函数。
S604:移动渲染节点或进一步拆分子渲染树。
应用程序的UI线程、渲染线程或统一渲染进程可以通过移动渲染节点,将任务量高的子渲染树中的渲染节点移动到任务量低的子渲染树。其中,移动渲染节点后,渲染节点之间的依赖关系可能会被破坏。
或者,应用程序的UI线程、渲染线程或统一渲染进程拆分任务量高的子渲染树。
图6B与图5B所示内容中的渲染树相同,而由于按照图6A所示的方法,若loadthreshold=80,loadtotal=200,ε=11,在N=4的情况下,约束关系为由于第二次拆分的渲染树中存在任务量为70的子渲染树,不满足约束条件需要移动渲染节点或继续拆分子渲染树。其中,渲染节点52的任务量为40并且渲染节点521的任务量为30,无法通过移动渲染节点满足约束条件所以进一步拆分任务量为70的子渲染树。
在N=5的情况下,则拆分后的子渲染树的任务量分别为40、40、30、50、40,满足约束条件。
可以理解的是,负载均衡的拆分渲染树的方法由于平衡了不同拆分后的子渲染树的任务量,可以后续将渲染树转换为GPU指令的时候避免短板效应,即避免由于个别子渲染树的任务量过大延长将渲染树转换为GPU指令的时长。
可选地,在本申请一些实施方式中,拆分渲染树或拆分子渲染树的过程中,可以优先拆分具有兄弟关系的渲染节点。
可选地,在本申请一些实施方式中,拆分渲染树或拆分子渲染树的过程中,若渲染节点的渲染属性为空,则该渲染节点的绘制操作可以被拆分到不同的子渲染树中。
可选地,在本申请一些实施方式中,拆分渲染树或拆分子渲染树的过程中,若渲染节点不依赖于任何渲染节点,则可以将渲染节点任意移动到不同的渲染子树中。例如,在图5B中,若根渲染节点为透明的渲染节点,则渲染节点51不依赖于任何渲染节点,渲染节点52不依赖任何渲染节点。
(3)显示区域划分的拆分方式。
图7为本申请实施例提供的拆分渲染树的另一个示例性示意图。
应用程序要生成的、下一帧显示的界面为界面701。其中,可以通过多种方式在应用程序的窗口上划分互不遮蔽的区域,不同区域上显示内容即为拆分后不同子渲染树对应的显示内容。
例如,界面701中(不包含状态栏)被分为区域1和区域2;区域1对应的视图包括视图容器1以及视图容器1的子节点;区域2对应的视图包括视图容器2以及视图容器2的子节点如视图22。则应用程序的UI线程在生成渲染树的过程中,可以直接生成两个子渲染树,分别为对应于区域1的子渲染树1,对应于区域2对应子渲染树2。
或者,在应用程序的UI线程在生成渲染树后,按照区域的划分将渲染树划分为子渲染树1和子渲染树2。
(4)对DrawOP进行拆分
可选地,在本申请一些实施方式中,在渲染线程或统一渲染进程的渲染子线程遍历渲染树得到链式存储的DrawOP后,可以直接对DrawOP进行拆分。
S303:应用程序创建多个渲染线程,并行地将多个子渲染树转换为GPU指令。
应用程序创建多个渲染线程,或者统一渲染进程创建多个子渲染线程,进而并行的将多个子渲染树转换为GPU指令。
其中,渲染线程的数量与拆分后的子渲染树的数量一致或者子渲染线程的数量与拆分后的子渲染树的数量一致。
图8为本申请实施例提供的并行地将渲染树转换为GPU指令的一个示例性示意图。
如图8所示,在拆分渲染树后,得到子渲染树1至子渲染树N。
不同的线程如渲染线程或子渲染线程,分别遍历不同的子渲染树,得到GPU指令。其中,统一渲染进程、应用程序的UI线程或渲染线程还可以从命令缓冲池(commandBufferpool)申请N个命令缓冲,如图8中的命令缓冲1至命令缓冲N,N个命令缓冲分别用于保存不同子渲染树对应的GPU指令。
可选地,在本申请一些实施方式中,线程在遍历渲染树的过程中,先将绘制操作封装为绘制操作结构体(例如,DrawOP),然后转换为GPU指令,如OpenGLES库、Vulkan库、Metal库中的接口调用。
在不同的线程得到GPU指令后,按照顺序将每个命令缓冲中的GPU指令依次提交到指令队列中的缓冲(如Primarily Buffer)。其中,顺序与渲染树中渲染节点的遍历顺序相同,即若子渲染树1中的渲染节点的被遍历顺序均早于子渲染树N中的渲染节点的被遍历顺序,则Primarily Buffer中命令缓冲1中的GPU指令会被在先执行,Primarily Buffer中命令缓冲2中的GPU指令会被在后执行。其中,将不同命令缓冲中的数据提交到指令队列中的缓冲可以通过如下的多种方式实现,在此不做限定。
可选地,在本申请一些实施方式中,当电子设备通过Vulkan库将渲染树转换为GPU指令,则,示例性地,可以通过vkQueueSubmit方法调用将命令缓冲1或命令缓冲N中的GPU指令提交到指令队列中的Primarily Buffer中。其中,由于涉及到多个命令缓冲至指令队列中的缓冲的数据同步,电子设备可以通过信号量(Semaphore)完成同步。
可选地,在本申请一些实施方式中,电子设备也可以通过指针操作的方式将多个命令缓冲的数据移动到指令队列中的缓冲。
可选地,在本申请一些实施方式中,电子设备也可以通过拷贝的方式将多个命令缓冲的数据移动到指令队列中的缓冲。
可选地,在本申请一些实施方式中,命令缓冲1可以为指令队列中的缓冲,如Primarily Buffer,则其他命令缓冲中的GPU指令需要提交到该命令缓冲1中。
或者,可选地,在本申请一些实施方式中,也可以不从命令缓冲池中申请N个命令缓冲,而是在Primarily Buffer划分N个地址范围,分别用于承载不同子渲染树对应的GPU指令。例如,0x000000-0x0000FF为第一个命令缓冲对应的地址范围,0x000100-0x0001FF为第二个命令缓冲对应的地址范围。
S304:GPU执行GPU指令生成位图后,表面合成器和/或硬件合成策略模块对位图执行图层合成以送显。
其中,生成位图后,位图会被表面合成器和/或硬件合成策略模块获取,进而参数到图层合成,合成后的位图会被显示子系统获取以送显。
电子设备在按照如图3所示的界面生成方法执行后,电子设备生成界面的过程如图9A和图9B所示。
图9A和图9B为本申请实施例提供的电子设备生成界面过程的另一个示例性示意图。
对比图9A和图2所示的内容,其中图9A和图2所示相同的内容不再赘述,在图9A中⑦,由于电子设备通过两个渲染线程(如图9A中的渲染线程1和渲染线程2)将渲染树转化为GPU指令,降低了渲染树转换为GPU指令的延时;GPU可以及时地接收到GPU指令生成位图,如图9A中的⑧;然后,GPU可以将生成的位图传递到表面合成器和/或硬件合成策略模块,如图9A中⑨;最后,显示子系统可以将该参与图层合成后的位图送显,如图9A中的⑩,不会出现界面卡顿。
图9A与图9B所示的不同的是,渲染树转换为GPU指令的过程可以由统一渲染进程的渲染子线程执行,如图9B中的⑦。例如,统一渲染进程的渲染子线程可以为图9B中的渲染子线程1、渲染子线程2,图9A与图9B相同的内容不再赘述。
上文结合图3所示的内容,介绍了本申请一个实施例中界面生成方法的流程。下面介绍其他与图3所示内容不同界面生成方法的流程。
可选地,在本申请一些实施方式中,在确定渲染树的任务量后,可以不对渲染树执行拆分,而是通过提供CPU的计算能力以降低渲染树被转换为GPU指令的耗时。
图10为本申请实施例提供的界面生成方法的流程的另一个示例性示意图。
S1001:应用程序的UI线程在接收到垂直同步信号后,生成本帧界面对应的渲染树,在生成渲染树的过程中确定渲染树的任务量。
步骤S1001的内容可以参考上文中步骤S301的文字描述,此处不再赘述。
S1002:在渲染树的任务量大于任务量阈值的情况下,基于渲染树的任务量调整CPU的计算能力。
在渲染树的任务量大于任务量阈值的情况下,应用程序的UI线程、渲染线程、统一渲染进程将渲染树的任务量传递到操作系统。由操作系统基于渲染树的任务量去调整CPU的计算能力,例如,调整CPU的频率。
图11为本申请实施例提供的基于渲染树的任务量调整CPU计算能力的一个示例性示意图。
例如,如图11所示,当渲染树的任务量为0-100时,可以不向操作系统发送渲染树的任务量,或者,操作系统在接收到渲染树的任务量后不调整CPU的频率;当渲染树的任务量为101-200时,操作系统在接收到渲染树的任务量后调整CPU的频率至频率1;当渲染树的任务量为201-300时,操作系统在接收到渲染树的任务量后调整CPU的频率至频率2,其中,频率2高于频率1。
在渲染树被转换为GPU指令后,由操作系统将CPU的计算能力调整至调整前的状态,如图11中的默认频率。
可选地,在本申请一些实施方式中,在拆分渲染树后并通过多线程遍历渲染树的情况下,可以降低CPU的频率。例如,当渲染树的任务量为101-200时,操作系统在接收到渲染树的任务量后确定通过三个线程并行处理渲染树,并调整CPU的频率至频率3;当渲染树的任务量为201-300时,操作系统在接收到渲染树的任务量后确定通过五个线程并行处理渲染树,并调整CPU的频率至频率4,其中,频率3低于频率4。
可以理解的是,通过调整CPU的计算能力可以降低渲染树被转换为GPU指令的耗时,进而降低界面卡顿、掉帧的概率。
S1003:将渲染树转换为GPU指令后,生成位图,表面合成器和/或硬件合成策略模块对位图执行图层合成以送显。
其中,步骤S1003的内容可以参考图1以及步骤304中的文字描述,此处不再赘述。
可选地,在本申请一些实施方式中,在确定渲染树的任务量后,可以不对渲染树执行拆分,而是通过多个线程以不同的遍历顺序遍历渲染树,进而降低渲染树被转换为GPU指令的耗时。
图12为本申请实施例提供的界面生成方法的另一个示例性示意图。
S1201:应用程序的UI线程在接收到垂直同步信号后,生成本帧界面对应的渲染树,在生成渲染树的过程中确定渲染树的任务量。
其中,步骤S1201可以参考步骤S301中的文字描述,此处不再赘述。
S1202:在渲染树的任务量大于任务量阈值的情况下,多个渲染线程并行地以不同的顺序遍历渲染树,并将渲染树转换为GPU指令。
其中,渲染线程的个数可以通过渲染树的任务量确定。例如,设渲染树的任务量为loadtotal,任务量阈值为loadthreshold,渲染线程的个数为N,则其中/>为向上取整函数。不同的渲染线程以不同的顺序遍历渲染树以生成GPU指令,如图13和图14所示。
可选地,在本申请一些实施方式中,渲染线程的个数也可以是预配置的固定值。
图13为本申请实施例提供的渲染线程以不同的顺序遍历渲染树的一个示例性示意图。
如图13所示,渲染树的根节点为根渲染节点,根渲染节点的子节点为渲染节点1和渲染节点2,渲染节点1的子节点为渲染节点11和渲染节点12,渲染节点2的子节点为渲染节点21、渲染节点22和渲染节点23,渲染节点22的子节点为渲染节点221。
首先,线程1的遍历顺序依次为:根渲染节点、渲染节点1、渲染节点11和渲染节点12。线程2的遍历顺序依次为:渲染节点2、渲染节点21、渲染节点22、渲染节点23和渲染节点221。
其次,当线程1遍历完根渲染节点、渲染节点1、渲染节点11和渲染节点12时,线程2遍历至渲染节点21。
可选地,在本申请一些实施方式中,当线程1遍历完渲染节点1、渲染节点11和渲染节点12时,线程2遍历至渲染节点21后,线程2继续遍历渲染节点22、渲染节点23和渲染节点221。然后,按照图8所示的内容,不同线程遍历渲染节点生成的GPU指令位于不同的命令缓冲中,需要按照顺序提交至指令队列的缓冲中。
可选地,在本申请一些实施方式中,当线程1遍历完渲染节点1、渲染节点11和渲染节点12时,线程2遍历至渲染节点21后,线程2的遍历顺序依次为渲染节点22、渲染节点23和渲染节点221,线程1的遍历顺序依次为渲染节点23、渲染节点22和渲染节点221。在按照该方式遍历的情况下,渲染节点23由线程2遍历,渲染节点22和渲染节点221由线程1遍历。然后,按照图14所示的内容,将不同命令缓冲的GPU指令提交至指令队列的缓冲中。
图14为本申请实施例提供的提交GPU指令至指令队列的一个示例性示意图。
由于渲染节点23被线程2遍历,并将渲染节点23对应GPU指令保存在命令缓冲2中。为了重构渲染树中渲染节点的依赖关系,其中,在将命令缓冲1和命令缓冲2中的GPU指令提交至命令队列的过程中,需要调整不同GPU指令之间的顺序。
例如,首先从命令缓冲2中将对应于根渲染节点、渲染节点1、渲染节点11和渲染节点12对应的GPU指令提交至命令队列中的缓冲;然后,将命令缓冲1中的全部GPU指令提交至命令队列中的缓冲;最后,将命令缓冲2中的剩余GPU指令(即与渲染节点23对应的GPU指令)提交至命令队列的缓冲中。
可选地,在本申请一些实施方式中,可以依次地将命令缓冲2和命令缓冲1的全部GPU指令提交至命令队列的缓冲中。在该情况下,渲染树的渲染节点的依赖关系可能没有被重构。若渲染节点23与渲染节点2有依赖关系,则渲染树的渲染节点的依赖关系没有被重构;若渲染节点23与渲染节点2没有依赖关系,则渲染树的渲染节点的依赖关系被重构。
S1203:GPU执行GPU指令生成位图后,表面合成器和/或硬件合成策略模块对位图执行图层合成以送显。
其中,步骤S1203的内容可以参考上文中步骤S304中的文字描述,此处不在赘述。
下面介绍本申请实施例提供的电子设备的硬件结构和软件架构。
图15为本申请实施例提供的电子设备的硬件结构的一个示例性示意图。
电子设备可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmentedreality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备的具体类型不作特殊限制。
电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备充电,也可以用于电子设备与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在本申请另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noiseamplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波执行滤波,放大等处理,传送至调制解调处理器执行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其执行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度执行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量执行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以包括静态随机存储器(static random-access memory,SRAM)、动态随机存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等;
非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等,按照存储规范划分可以包括通用闪存存储(英文:universalflash storage,UFS)、嵌入式多媒体存储卡(embedded multi media Card,eMMC)等。
随机存取存储器可以由处理器110直接执行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接执行读写。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备可以设置至少一个麦克风170C。在另一些实施例中,电子设备可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备根据压力传感器180A检测所述触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备是翻盖机时,电子设备可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备通过发光二极管向外发射红外光。电子设备使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备附近有物体。当检测到不充分的反射光时,电子设备可以确定电子设备附近没有物体。电子设备可以利用接近光传感器180G检测用户手持电子设备贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备对电池142加热,以避免低温导致电子设备异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备的接触和分离。电子设备可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备中,不能和电子设备分离。
图16为本申请实施例提供的电子设备的软件结构的一个示例性示意图。
电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图16所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图16所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
可选地,在本申请一些实施方式中,视图系统中包括渲染树任务量估计模块,在生成渲染树的过程中,在生成渲染树后,确定渲染树的任务量。
可选地,在本申请一些实施方式中,视图系统中包括渲染树拆分模块,可以通过不同的方式拆分渲染树。其中,不同的渲染树被不同的线程遍历后以生成GPU指令。
可选地,在本申请一些实施方式中,CPU调度模块可以基于渲染树的任务量调整CPU的计算能力,例如调整CPU的频率。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:浏览器引擎(webkit)、渲染引擎、表面合成器,硬件合成策略模块,媒体库(Media Libraries),图像处理库(例如:OpenGL ES),渲染引擎(如Skia库)等。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
图像处理库用于实现三维图形绘图,图像渲染等。
渲染引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层包括显示驱动,摄像头驱动,音频驱动,传感器驱动等。
可选地,在本申请一些实施方式中,显示子系统包括显示驱动。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (23)
1.一种界面生成方法,其特征在于,应用于运行第一应用程序的电子设备,所述方法包括:
所述电子设备生成第一渲染树,所述第一渲染树包括用于生成所述第一应用程序的一帧界面的绘制操作;
所述电子设备拆分所述第一渲染树得到N个子渲染树,所述N大于1;
所述电子设备并行地将所述N个子渲染树转化为第一渲染指令,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;
所述电子设备基于所述第一渲染指令生成所述第一应用程序的一帧界面。
2.根据权利要求1所述的方法,其特征在于,所述电子设备拆分所述第一渲染树得到N个子渲染树,具体包括:
所述电子设备确定第一任务量,所述第一任务量为所述第一渲染树的任务量,所述第一任务量用于指示所述第一渲染树转换为所述第一渲染指令的耗时或计算量;
响应于所述电子设备确定所述第一任务量大于第一阈值,所述电子设备拆分所述第一渲染树得到所述N个子渲染树。
3.根据权利要求2所述的方法,其特征在于,在所述电子设备确定第一任务量后,所述方法还包括:
所述电子设备基于所述第一任务量和所述第一阈值确定M,所述M小于等于所述N,所述M为大于等于所述第一任务量与所述第一阈值的比值的整数;
所述电子设备确定大于等于所述M的整数为所述N。
4.根据权利要求2所述的方法,其特征在于,所述电子设备确定第一任务量,具体包括:
所述电子设备通过确定所述第一渲染树中的绘制操作的任务量以确定所述第一任务量。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述N个子渲染树包括第二渲染树和所述第三渲染树,第二任务量和第三任务量的差距小于差距阈值,所述第二任务量为所述第二渲染树的任务量,所述第二任务量用于衡量所述第二渲染树被转换为渲染指令的耗时或计算量,所述第三任务量为所述第三渲染树的任务量,所述第三任务量用于衡量所述第三渲染树被转换为渲染指令的耗时或计算量。
6.根据权利要求1或2所述的方法,其特征在于,所述电子设备拆分所述第一渲染树得到N个子渲染树,具体包括:
所述电子设备确定所述第一渲染树的根渲染节点具有N个子节点,所述子节点为所述跟渲染节点直接连接的渲染节点;
所述电子设备拆分所述第一渲染树为N个子渲染树。
7.根据权利要求1或2所述的方法,其特征在于,所述电子设备拆分所述第一渲染树得到N个子渲染树,具体包括:
所述电子设备将所述第一应用程序的界面划分为N个区域;
所述电子设备基于所述N个区域拆分所述第一渲染树得到N个子渲染树,所述N个子渲染树与所述N个区域一一对应。
8.根据权利要求1所述的方法,其特征在于,所述电子设备拆分所述第一渲染树得到N个子渲染树,具体包括:
所述电子设备确定第一任务量,所述第一任务量为所述第一渲染树的任务量,所述第一任务量用于衡量所述第一渲染树被转换为渲染指令的耗时或计算量,所述第一任务量大于第一阈值;
所述电子设备确定所述第一渲染树的根渲染节点具有K个子节点,所述K小于N;
所述电子设备拆分所述第一渲染树为K个子渲染树;
所述电子设备确定第四渲染树的任务量大于所述第一阈值后,所述电子设备拆分所述第四渲染树得到N-K+1个渲染子树,所述K个子渲染树包括所述第四渲染树,所述N个渲染子树的任务量均小于所述第一阈值。
9.根据权利要求1-7中任一项所述的方法,其特征在于,所述电子设备并行地将所述N个子渲染树转化为第一渲染指令,具体包括:
所述电子设备通过N个线程分别将所述N个子渲染树转换的指令填入N个缓冲中;
所述电子设备将所述N个缓冲的指令提交至第一缓冲中,所述第一缓冲中的指令为所述第一渲染指令。
10.一种界面生成方法,其特征在于,应用于电子设备,所述电子设备上运行有第一进程,所述方法包括:
所述电子设备通过所述第一进程生成第一渲染树,所述第一渲染树包括用于生成所述第一进程的一帧界面的绘制操作;
所述电子设备拆分所述第一渲染树为第二渲染树和第三渲染树,所述第二渲染树包括第一渲染树中的部分绘制操作,所述第三渲染树包括所述第一渲染树中的部分绘制操作,所述第二渲染树和所述第三渲染树不同;
所述电子设备通过第一线程将所述第二渲染树转换为第一渲染指令,所述第一渲染指令保存在第一缓冲中,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;
所述电子设备通过第二线程将所述第三渲染树转换为第二渲染指令,所述第二指令保存在第二缓冲中;
所述电子设备基于所述第一渲染指令和所述第二渲染指令生成所述第一进程的一帧界面。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述电子设备确定第一任务量,所述第一任务量为所述第一渲染树的任务量,所述第一任务量用于衡量所述第一渲染树被转换为渲染指令的耗时或计算量,所述第一任务量大于第一阈值。
12.根据权利要求10或11所述的方法,其特征在于,所述电子设备基于所述第一指令和所述第二指令生成所述第一进程的一帧界面,具体包括:
所述第一渲染指令位于所述第一线程持有的第一缓冲中,所述第二渲染指令位于所述第二线程持有第二缓冲中,所述电子设备提交所述第一缓冲中的指令和所述第二缓冲中的渲染指令至第三缓冲中;
所述电子设备基于所述第三缓冲生成所述第一进程的一帧界面。
13.根据权利要求12所述的方法,其特征在于,所述第三缓冲为所述第二缓冲,或者所述第三缓冲为所述第一缓冲。
14.一种界面生成方法,其特征在于,应用于电子设备,所述电子设备上运行有第一应用程序,所述方法包括:
所述电子设备生成第一渲染树,所述第一渲染树包括用于生成所述第一应用程序的一帧界面的绘制操作;
所述电子设备确定第一任务量,所述第一任务量为所述第一渲染树的任务量,所述第一任务量用于衡量所述第一渲染树被转换为渲染指令的耗时或计算量,所述第一任务量大于第一阈值,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;
若所述第一任务量大于所述第一阈值,所述电子设备配置CPU的工作频率从第一频率变为第二频率,所述第二频率高于所述第一频率;
所述电子设备基于所述第一渲染树生成所述第一应用程序的一帧界面;
在所述电子设备生成所述第一应用程序的一帧界面的过程中,所述电子设备以所述第二频率工作。
15.根据权利要求14所述的方法,所述电子设备基于所述第一渲染树生成所述第一应用程序的一帧界面,具体包括:
所述电子设备拆分所述第一渲染树得到N个子渲染树,所述N为大于1的整数;
所述电子设备并行地将所述N个子渲染树转化为第一渲染指令;
所述电子设备基于所述第一渲染指令生成所述第一应用程序的一帧界面。
16.一种界面生成方法,其特征在于,应用于电子设备,所述电子设备上运行有第一应用程序,所述方法包括:
所述电子设备生成第一渲染树,所述第一渲染树包括用于生成所述第一应用程序的一帧界面的绘制操作;
所述电子设备通过多个不同的线程遍历所述第一渲染树中的不同部分以生成第一渲染指令,渲染指令为渲染引擎、图像处理库或GPU驱动中的指令;
所述电子设备基于所述第一渲染指令生成所述第一应用程序的一帧界面。
17.根据权利要求16所述的方法,其特征在于,在所述电子设备通过多个不同的线程以不同的顺序遍历所述第一渲染树以生成第一指令前,所述方法还包括:
所述电子设备确定第一任务量,所述第一任务量为所述第一渲染树的任务量,所述第一任务量用于衡量所述第一渲染树被转换为所述第一渲染指令的耗时或计算量;
所述电子设备确定所述第一任务量大于第一阈值。
18.根据权利要求16或17所述的方法,其特征在于,所述电子设备通过多个不同的线程以不同的顺序遍历所述第一渲染树以生成第一指令,具体包括:
所述电子设备通过第一线程遍历所述第一渲染树中的第一部分,将生成的第二渲染指令保存在第一缓冲中;
所述电子设备通过第二线程遍历所述第一渲染树中的第二部分,将生成的第三渲染指令保存在第二缓冲中;
所述电子设备将所述第一缓冲的渲染指令和所述第二缓冲中的渲染指令提交到第三缓冲中以获取所述第一渲染指令。
19.根据权利要求18所述的方法,其特征在于,所述电子设备将所述第一缓冲的渲染指令和所述第二缓冲中的渲染指令提交到第三缓冲中以获取所述第一渲染指令,具体包括:
所述第一缓冲的渲染指令包括第二渲染指令和第三渲染指令,所述第二缓冲的指令包括第四渲染指令;
所述第三缓冲的指令的排列顺序依次为:第二渲染指令、第四渲染指令、第三渲染指令。
20.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-19中任一项所述的方法。
21.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-19中任一项所述的方法。
22.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-19中任一项所述的方法。
23.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-19中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211281435.9A CN117806745A (zh) | 2022-10-19 | 2022-10-19 | 界面生成方法及电子设备 |
PCT/CN2023/124034 WO2024083014A1 (zh) | 2022-10-19 | 2023-10-11 | 界面生成方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211281435.9A CN117806745A (zh) | 2022-10-19 | 2022-10-19 | 界面生成方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117806745A true CN117806745A (zh) | 2024-04-02 |
Family
ID=90432198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211281435.9A Pending CN117806745A (zh) | 2022-10-19 | 2022-10-19 | 界面生成方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117806745A (zh) |
WO (1) | WO2024083014A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2574660B (en) * | 2018-06-15 | 2020-07-22 | Swiftclass Sa | Graphics rendering |
CN110764849A (zh) * | 2018-07-25 | 2020-02-07 | 优视科技有限公司 | 用户界面的渲染方法、设备、客户端装置及电子设备 |
CN113138655B (zh) * | 2021-04-02 | 2023-11-28 | Oppo广东移动通信有限公司 | 处理器频率的调整方法、装置、电子设备及存储介质 |
CN114443197B (zh) * | 2022-01-24 | 2024-04-09 | 北京百度网讯科技有限公司 | 界面处理方法、装置、电子设备及存储介质 |
CN114748873B (zh) * | 2022-06-14 | 2022-09-20 | 北京新唐思创教育科技有限公司 | 界面渲染方法、装置、设备和存储介质 |
-
2022
- 2022-10-19 CN CN202211281435.9A patent/CN117806745A/zh active Pending
-
2023
- 2023-10-11 WO PCT/CN2023/124034 patent/WO2024083014A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024083014A1 (zh) | 2024-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115473957B (zh) | 一种图像处理方法和电子设备 | |
WO2020093988A1 (zh) | 一种图像处理方法及电子设备 | |
CN113553130B (zh) | 应用执行绘制操作的方法及电子设备 | |
EP4160596A1 (en) | Video synthesis method and apparatus, electronic device, and storage medium | |
CN116048933B (zh) | 一种流畅度检测方法 | |
WO2023016014A1 (zh) | 视频编辑方法和电子设备 | |
CN115994006A (zh) | 动画效果显示方法及电子设备 | |
CN115964231A (zh) | 基于负载模型的评估方法和装置 | |
WO2024083014A1 (zh) | 界面生成方法及电子设备 | |
CN116795476B (zh) | 一种删除壁纸的方法及电子设备 | |
WO2024082987A1 (zh) | 界面生成方法及电子设备 | |
WO2024046010A1 (zh) | 一种界面显示方法、设备及系统 | |
WO2022143891A1 (zh) | 焦点同步方法及电子设备 | |
WO2024061292A1 (zh) | 界面生成方法及电子设备 | |
EP4390677A1 (en) | Animation effect display method and electronic device | |
WO2024067551A1 (zh) | 界面显示方法及电子设备 | |
CN115482143B (zh) | 应用的图像数据调用方法、系统、电子设备及存储介质 | |
WO2022166550A1 (zh) | 数据传输方法及电子设备 | |
WO2024083009A1 (zh) | 界面生成方法及电子设备 | |
US20240211509A1 (en) | Image Data Invoking Method and System for Application, Electronic Device, and Storage Medium | |
CN117311484A (zh) | 调整设备功耗的方法及电子设备 | |
CN117764853A (zh) | 人脸图像增强方法和电子设备 | |
CN114816028A (zh) | 屏幕刷新方法、电子设备和计算机可读存储介质 | |
CN117692714A (zh) | 视频显示方法和电子设备 | |
CN114385282A (zh) | 主题色变换方法、电子设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |