CN117785343A - 界面生成方法及电子设备 - Google Patents
界面生成方法及电子设备 Download PDFInfo
- Publication number
- CN117785343A CN117785343A CN202211155586.XA CN202211155586A CN117785343A CN 117785343 A CN117785343 A CN 117785343A CN 202211155586 A CN202211155586 A CN 202211155586A CN 117785343 A CN117785343 A CN 117785343A
- Authority
- CN
- China
- Prior art keywords
- rendering
- view
- application
- interface
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 229
- 238000009877 rendering Methods 0.000 claims abstract description 854
- 230000008569 process Effects 0.000 claims abstract description 136
- 230000015654 memory Effects 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007667 floating Methods 0.000 claims description 12
- 239000000523 sample Substances 0.000 claims 1
- 230000002829 reductive effect Effects 0.000 abstract description 9
- 238000007726 management method Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 34
- 230000006854 communication Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 22
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 230000005236 sound signal Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 10
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Generation (AREA)
Abstract
本申请实施例提供了界面生成方法及电子设备,涉及电子技术领域。本申请提供的界面生成方法首先可以识别被完全遮蔽的控件,然后通过删除或者不生成该控件对应的渲染节点,降低界面生成过程中的过度绘制,进而提高了界面生成的能效比。其中,被完全遮蔽的视图可以是被同应用程序内的其他视图遮蔽的,也可以被其他应用程序的界面遮蔽的。
Description
技术领域
本申请涉及电子技术领域,尤其涉及界面生成方法及电子设备。
背景技术
随着电子技术的发展,电子设备的屏幕的分辨率和刷新率越来越高,其中,屏幕的分辨率影响一帧界面中包含的像素,刷新率影响生成一帧界面的时间。
界面的生成过程中,视图(view)的渲染是基于画家算法(painter’s algorithm)实现的,即按照从底层到上层的顺序依次渲染界面中的视图。按照这种渲染顺序,电子设备可以实现视图或图层(layer)的透明度混合、阴影、线性叠加等效果。
但是,这种渲染顺序会导致有部分视图被完全遮蔽。在渲染过程中,被完全遮蔽的视图对应的区域内的像素会被多次覆盖,其中,最后一次渲染得到的像素会覆盖之前渲染得到的像素。即,应用程序会调用GPU来生成界面上不显示的像素,进而增加界面卡顿的概率,降低界面生成的能效比。
发明内容
本申请实施例提供了界面生成方法及电子设备,涉及电子技术领域。本申请提供的界面生成方法首先可以识别被完全遮蔽的控件,通过删除或者不生成该控件对应的渲染节点,降低界面生成过程中的过度绘制,提高界面生成的能效比。
第一方面,本申请实施例提供了一种界面生成方法,应用于包括屏幕的电子设备,该方法包括:确定被第一应用内的其他视图完全遮蔽的视图包括第一视图;生成第一渲染树,该第一渲染树不包括第一渲染节点,该第一渲染节点为该第一视图对应的渲染节点,渲染节点保存有对应的视图的绘制指令;基于该第一渲染树生成第一界面,该第一界面包括该第一应用的界面。
在上述实施例中,电子设备先确定被完全遮蔽的视图,由于被完全遮蔽的视图与显示内容无关,故,可以生成不包含该被完全准备的视图对应的渲染节点的渲染树,进而基于该渲染树生成界面,由于该渲染树不包含该被完全准备的视图对应的渲染节点,在生成该界面的过程中,不会绘制该视图。
结合第一方面的一些实施例,在一些实施例中,该确定被第一应用内的其他视图完全遮蔽的视图包括第一视图,具体包括:在遍历该第一应用的视图的过程中,确定第二视图的位置为第二位置;在遍历到该第一视图时,确定该第一视图的位置为第一位置,基于该第二位置和该第一位置确定该第一视图为被该第一应用内的其他视图完全遮蔽的视图。
在上述实施例中,应用程序遍历视图的过程中,可以确定不同视图的位置,进而确定视图之间的互相遮蔽关系,再进而可以确定任意一个视图是否被完全遮蔽。
结合第一方面的一些实施例,在一些实施例中,在该基于该第二位置和该第一位置确定该第一视图为被完全遮蔽的视图后,该方法还包括:不保存第一视图的绘制指令至该第一渲染树中;跳过该第一视图的子视图以继续遍历,该第一渲染树不包括该第一视图的子视图对应的渲染节点。
在上述实施例中,在应用程序遍历视图的过程中,当先确定第二视图的位置后确定第一视图的位置后,可以跳过第一视图的绘制方法调用,不将第一视图和第一视图的子视图的绘制指令保存在渲染树中,就可以直接生成不包含无用的绘制指令的渲染树。
结合第一方面的一些实施例,在一些实施例中,该确定被第一应用内的其他视图完全遮蔽的视图包括第一视图,具体包括:在遍历该第一应用的视图的过程中,确定该第一视图的位置为第一位置后,确定第二视图的位置为第二位置;基于该第一位置和该第二位置确定该第一视图被该第二视图完全遮蔽,记录该第一视图的标识至第一参数中。
在上述实施例中,在应用程序遍历视图的过程中,当先确定第一视图的位置后确定第二视图的位置后,由于此时已经遍历过第一视图,则需要保存第一视图的标识,该第一视图的标识用于在后续步骤中确定被完全遮蔽视图对应的渲染节点。
结合第一方面的一些实施例,在一些实施例中,该生成第一渲染树,具体包括:遍历该第一应用的视图后,生成第二渲染树,该第二渲染树包括第一渲染节点;基于该第一参数删除该第二渲染树中的第一渲染节点得到该第一渲染树。
在上述实施例中,第一参数记录有完全被遮蔽视图的标识,则应用程序可以基于第一参数删除被被完全遮蔽视图对应的渲染节点。
结合第一方面的一些实施例,在一些实施例中,该确定被第一应用内的其他视图完全遮蔽的视图包括第一视图,具体包括:遍历该第一应用的视图后,生成第二渲染树,该第二渲染树包括该第一渲染节点和第二渲染节点;基于该第一渲染节点的渲染属性和该第二渲染节点的渲染属性确定该第一视图被第二视图完全遮蔽,该第二视图与该第二渲染节点对应。
在上述实施例中,应用程序也可以在生成渲染树后,才去确定被完全遮蔽的视图对应的渲染节点。
结合第一方面的一些实施例,在一些实施例中,该生成第一渲染树,具体包括:删除该第二渲染树中的第二渲染节点得到该第一渲染树。
在上述实施例中,电子设备可以删除第一渲染树中的被完全遮蔽的视图对应的渲染节点。
结合第一方面的一些实施例,在一些实施例中,该方法还包括:合并该第一渲染树与第二渲染树得到目标渲染树,该第二渲染树是第二应用生成的,该第二渲染树用于生成该第二应用的界面,该第一界面还包括该第二应用的界面,该目标渲染树不包括该第三渲染节点,该第三渲染节点与第三视图对应,该第三视图为该第一应用的视图,该第三视图被该第二应用的界面完全遮蔽;该基于该第一渲染树生成第一界面,具体包括:基于该目标渲染树生成该第一界面。
在上述实施例中,还可以删除被其他应用程序的界面完全遮蔽的视图,进而生成一个对应于多个应用程序的界面的渲染树,并且该渲染树不包括被完全遮蔽的视图的渲染节点。
结合第一方面的一些实施例,在一些实施例中,在该基于该目标渲染树生成第一界面前,该方法还包括:确定被该第二应用的界面完全遮蔽的视图对应的渲染节点包括该第三渲染节点;该合并该第一渲染树与第二渲染树得到目标渲染树,具体包括:在合并该第一渲染树与该第二渲染树得到目标渲染树的过程中,从该第一渲染树或该目标渲染树中删除该第三渲染节点。
在上述实施例中,可以在合并不同应用程序生成的渲染树的过程中,删除被完全遮蔽的视图对应的渲染节点。
结合第一方面的一些实施例,在一些实施例中,在该基于该目标渲染树生成第一界面前,该方法还包括:确定被该第二应用的界面完全遮蔽的视图对应的渲染节点包括该第三渲染节点;该合并该第一渲染树与第二渲染树得到目标渲染树,具体包括:合并该第一渲染树与该第二渲染树得到第三渲染树;从该第三渲染树中删除该第三渲染节点得到该目标渲染树。
在上述实施例中,也可以在合并渲染树得到目标渲染树后,删除被完全遮蔽视图对应的渲染节点。
结合第一方面的一些实施例,在一些实施例中,该确定被完全遮蔽的视图对应的渲染节点包括该第三渲染节点,具体包括:基于该第一应用的窗口Z序、该第二应用的窗口Z序、该第一渲染树和该第二渲染树确定被该第二应用的界面完全遮蔽的第一应用的视图对应的渲染节点包括该第三渲染节点;或者,确定完全遮蔽区域,并基于该第一渲染树和该完全遮蔽区域确定被该第二应用的界面完全遮蔽的第一应用的视图对应的渲染节点包括该第三渲染节点,该完全遮蔽区域为该第二应用的界面遮蔽第一应用的界面的区域。
在上述实施例中,可以通过不同应用程序的窗口Z序确定不同应用程序界面的显示遮蔽关系,进而确定被完全遮蔽的视图。
结合第一方面的一些实施例,在一些实施例中,该方法还包括:该第一界面还包括第二应用的界面,该第二应用的界面完全遮蔽该第一应用的界面的第一区域,确定该第一区域;基于该第一区域确定被该第二应用的界面完全遮蔽的视图包括第四视图,该第一渲染树不包括第四渲染节点,该第四渲染节点与该第四视图对应。
在上述实施例中,电子设备可以先确定两个应用中遮蔽的区域,进而使得应用程序在生成渲染树的过程中,不生成该区域中的视图对应的渲染节点。
结合第一方面的一些实施例,在一些实施例中,该方法还包括:确定被部分遮蔽的视图包括第五视图;在第五渲染节点中的绘制指令列表中增加裁剪指令,该裁剪指令用于指示不渲染该第五视图中被部分遮蔽的内容,该第五渲染节点与该第五视图对应。
在上述实施例中,对于被部分遮蔽的视图来说,可以通过增加剪裁指令,在生成位图的过程中,不渲染被部分遮蔽的内容,可以降低GPU的负载。
第二方面,本申请实施例提供了一种界面生成方法,应用于包括屏幕的电子设备,该电子设备上运行有第一应用、第二应用和第一进程,该方法包括:该第一应用向第一进程发送第一渲染树,该第一渲染树用于生成该第一应用的界面;该第二应用向该第一进程发送第二渲染树,该第二渲染树用于生成该第二应用的界面;该第一进程基于该第一渲染树和该第二渲染树生成目标渲染树,该目标渲染树用于生成第一界面,该第一界面包括该第一应用的界面和该第二应用的界面;该第一进程确定第一区域后,基于该第一区域删除第一渲染节点,该第二应用的界面完全遮蔽该第一应用的界面的该第一区域,该目标渲染树不包括该第一渲染节点,该第一渲染节点为该第一渲染树中的渲染节点,该第一渲染节点对应的第一视图位于该第一区域中,渲染节点保存有对应的视图的绘制指令;该第一进程基于该目标渲染树生成该第一界面。
在上述实施例中,第一进程可以接收不同应用程序生成的渲染树,并确定跨应用程序的被完全遮蔽的视图,进而删除被完全遮蔽的视图对应的渲染节点,降低生成位图过程中的过度绘制,降低GPU的负载。
结合第二方面的一些实施例,在一些实施例中,在该第一应用程序发送第一渲染树前,该方法还包括:该第一应用通过遍历视图确定第三渲染树,该第三渲染树用于生成该第一应用的界面;该第一应用确定被该第一应用程序的其他视图完全遮蔽的视图包括第二视图;该第一应用删除该第三渲染树中的第二渲染节点得到该第一渲染树,该第二渲染节点与该第二视图对应。
在上述实施例中,应用程序在向第一进程发送渲染树前,可以先删除被完全遮蔽的视图对应的渲染节点,进而降低后续在生成位图过程中GPU的负载。
结合第二方面的一些实施例,在一些实施例中,该方法还包括:该第一进程删除第二渲染节点,该第二渲染节点为该第一渲染树中的渲染节点,该第二渲染节点与该第二视图对应,该第二视图被该第一应用的其他视图完全遮蔽。
在上述实施例中,第一进程可以删除被同一应用程序内的其他视图完全遮蔽的视图的渲染节点,进而降低后续在生成位图过程中GPU的负载。
第三方面,本申请实施例提供了一种界面生成方法,应用于包括屏幕的电子设备,该方法包括:该电子设备在该屏幕显示第一界面,在该第一界面中,该第一应用程序的界面全屏显示第一内容,该第二应用程序的界面在该第一应用程序的界面上悬浮显示第二内容,该第二应用程序的界面在该第一界面中位于第一区域;在显示该第一界面的过程中,该电子设备生成第一渲染树,该第一渲染树用于生成该第一应用的界面;该电子设备在该屏幕显示第二界面,在该第二界面中,该第一应用程序的界面全屏显示该第一内容,该第二应用程序的界面在该第一应用程序上悬浮显示该第二内容,该第二应用程序在该第一界面中位于第二区域,该第一区域与该区域不同;在显示该第二界面的过程中,该电子设备生成第二渲染树,该第二渲染树用于生成该第一应用的界面,该第一渲染树与该第二渲染树不同。
在上述实施例中,第二应用的界面悬浮显示在第一应用的界面上,在第二应用的界面的位置发生变化前后且第一应用的界面没有发生变化的情况下,由于第一应用程序删除了被完全遮蔽视图对应的渲染节点,所以第一应用程序生成的渲染树不一样,不包含冗余的信息,进而降低后续在生成位图过程中GPU的负载。
结合第三方面的一些实施例,在一些实施例中,该第一渲染树用于生成该第一应用的界面中不包括该第一区域的界面;该第二渲染树用于生成该第一应用的界面中不包括该第二区域的界面。
在上述实施例中,由于第一渲染树和第二渲染树中不包括被完全遮蔽视图对应的渲染节点,可以降低后续在生成位图过程中GPU的负载。
结合第三方面的一些实施例,在一些实施例中,该电子设备生成第一渲染树,具体包括:该电子设备基于该第一区域确定该第二应用的界面遮蔽的该第一应用的视图包括第一视图;该电子设备生成第三渲染树;该电子设备删除该第三渲染树中的第一渲染节点得到该第一渲染树,该第一渲染节点与该第一视图对应,渲染节点保存有对应的视图的绘制指令。
在上述实施例中,电子设备可以删除被第二应用程序的界面遮蔽的第一应用程序的视图,进而降低后续在生成位图过程中GPU的负载,提高界面生成的能效比。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器、存储器和屏幕;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:确定被第一应用内的其他视图完全遮蔽的视图包括第一视图;生成第一渲染树,该第一渲染树不包括第一渲染节点,该第一渲染节点为该第一视图对应的渲染节点,渲染节点保存有对应的视图的绘制指令;基于该第一渲染树生成第一界面,该第一界面包括该第一应用的界面。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:在遍历该第一应用的视图的过程中,确定第二视图的位置为第二位置;在遍历到该第一视图时,确定该第一视图的位置为第一位置,基于该第二位置和该第一位置确定该第一视图为被该第一应用内的其他视图完全遮蔽的视图。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:不保存第一视图的绘制指令至该第一渲染树中;跳过该第一视图的子视图以继续遍历,该第一渲染树不包括该第一视图的子视图对应的渲染节点。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:在遍历该第一应用的视图的过程中,确定该第一视图的位置为第一位置后,确定第二视图的位置为第二位置;基于该第一位置和该第二位置确定该第一视图被该第二视图完全遮蔽,记录该第一视图的标识至第一参数中。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:遍历该第一应用的视图后,生成第二渲染树,该第二渲染树包括第一渲染节点;基于该第一参数删除该第二渲染树中的第一渲染节点得到该第一渲染树。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:遍历该第一应用的视图后,生成第二渲染树,该第二渲染树包括该第一渲染节点和第二渲染节点;基于该第一渲染节点的渲染属性和该第二渲染节点的渲染属性确定该第一视图被第二视图完全遮蔽,该第二视图与该第二渲染节点对应。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:删除该第二渲染树中的第二渲染节点得到该第一渲染树。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:合并该第一渲染树与第二渲染树得到目标渲染树,该第二渲染树是第二应用生成的,该第二渲染树用于生成该第二应用的界面,该第一界面还包括该第二应用的界面,该目标渲染树不包括该第三渲染节点,该第三渲染节点与第三视图对应,该第三视图为该第一应用的视图,该第三视图被该第二应用的界面完全遮蔽;该基于该第一渲染树生成第一界面,具体包括:基于该目标渲染树生成该第一界面。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:确定被该第二应用的界面完全遮蔽的视图对应的渲染节点包括该第三渲染节点;该合并该第一渲染树与第二渲染树得到目标渲染树,具体包括:在合并该第一渲染树与该第二渲染树得到目标渲染树的过程中,从该第一渲染树或该目标渲染树中删除该第三渲染节点。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:确定被该第二应用的界面完全遮蔽的视图对应的渲染节点包括该第三渲染节点;该合并该第一渲染树与第二渲染树得到目标渲染树,具体包括:合并该第一渲染树与该第二渲染树得到第三渲染树;从该第三渲染树中删除该第三渲染节点得到该目标渲染树。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:基于该第一应用的窗口Z序、该第二应用的窗口Z序、该第一渲染树和该第二渲染树确定被该第二应用的界面完全遮蔽的第一应用的视图对应的渲染节点包括该第三渲染节点;或者,确定完全遮蔽区域,并基于该第一渲染树和该完全遮蔽区域确定被该第二应用的界面完全遮蔽的第一应用的视图对应的渲染节点包括该第三渲染节点,该完全遮蔽区域为该第二应用的界面遮蔽第一应用的界面的区域。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:该第一界面还包括第二应用的界面,该第二应用的界面完全遮蔽该第一应用的界面的第一区域,确定该第一区域;基于该第一区域确定被该第二应用的界面完全遮蔽的视图包括第四视图,该第一渲染树不包括第四渲染节点,该第四渲染节点与该第四视图对应。
结合第四方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:确定被部分遮蔽的视图包括第五视图;在第五渲染节点中的绘制指令列表中增加裁剪指令,该裁剪指令用于指示不渲染该第五视图中被部分遮蔽的内容,该第五渲染节点与该第五视图对应。
第五方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器、存储器和屏幕;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:该第一应用向该第一进程发送第一渲染树,该第一渲染树用于生成该第一应用的界面;该第二应用向该第一进程发送第二渲染树,该第二渲染树用于生成该第二应用的界面;该第一进程基于该第一渲染树和该第二渲染树生成目标渲染树,该目标渲染树用于生成第一界面,该第一界面包括该第一应用的界面和该第二应用的界面;该第一进程确定第一区域后,基于该第一区域删除第一渲染节点,该第二应用的界面完全遮蔽该第一应用的界面的该第一区域,该目标渲染树不包括该第一渲染节点,该第一渲染节点为该第一渲染树中的渲染节点,该第一渲染节点对应的第一视图位于该第一区域中,渲染节点保存有对应的视图的绘制指令;该第一进程基于该目标渲染树生成该第一界面。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:该第一应用通过遍历视图确定第三渲染树,该第三渲染树用于生成该第一应用的界面;该第一应用确定被该第一应用程序的其他视图完全遮蔽的视图包括第二视图;该第一应用删除该第三渲染树中的第二渲染节点得到该第一渲染树,该第二渲染节点与该第二视图对应。
结合第五方面的一些实施例,在一些实施例中,该一个或多个处理器,还用于调用该计算机指令以使得该电子设备执行:该第一进程删除第二渲染节点,该第二渲染节点为该第一渲染树中的渲染节点,该第二渲染节点与该第二视图对应,该第二视图被该第一应用的其他视图完全遮蔽。
第六方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器、存储器和屏幕;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:该电子设备在该屏幕显示第一界面,在该第一界面中,该第一应用程序的界面全屏显示第一内容,该第二应用程序的界面在该第一应用程序的界面上悬浮显示第二内容,该第二应用程序的界面在该第一界面中位于第一区域;在显示该第一界面的过程中,该电子设备生成第一渲染树,该第一渲染树用于生成该第一应用的界面;该电子设备在该屏幕显示第二界面,在该第二界面中,该第一应用程序的界面全屏显示该第一内容,该第二应用程序的界面在该第一应用程序上悬浮显示该第二内容,该第二应用程序在该第一界面中位于第二区域,该第一区域与该区域不同;在显示该第二界面的过程中,该电子设备生成第二渲染树,该第二渲染树用于生成该第一应用的界面,该第一渲染树与该第二渲染树不同。
结合第六方面的一些实施例,在一些实施例中,该第一渲染树用于生成该第一应用的界面中不包括该第一区域的界面;该第二渲染树用于生成该第一应用的界面中不包括该第二区域的界面。
结合第六方面的一些实施例,在一些实施例中,该一个或多个处理器,具体用于调用该计算机指令以使得该电子设备执行:该电子设备基于该第一区域确定该第二应用的界面遮蔽的该第一应用的视图包括第一视图;该电子设备生成第三渲染树;该电子设备删除该第三渲染树中的第一渲染节点得到该第一渲染树,该第一渲染节点与该第一视图对应,渲染节点保存有对应的视图的绘制指令。
第七方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面、第二方面、第三方面、第一方面中任一可能的实现方式、第二方面中任一可能的方式以及第三方面中任一可能的实现方式描述的方法。
第八方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在电子设备上运行时,使得上述电子设备执行如第一方面、第二方面、第三方面、第一方面中任一可能的实现方式、第二方面中任一可能的方式以及第三方面中任一可能的实现方式描述的方法。
第九方面,本申请实施例提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面、第二方面、第三方面、第一方面中任一可能的实现方式、第二方面中任一可能的方式以及第三方面中任一可能的实现方式描述的方法。
可以理解地,上述第四方面提供的电子设备、第五方面提供的电子设备、第六方面提供的电子设备、第七方面提供的芯片系统、第八方面提供的计算机程序产品和第九方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的应用程序生成位图的一个示例性示意图。
图2为本申请实施例提供的渲染线程基于渲染树生成位图的一个示例性示意图。
图3A-图3C为本申请实施例提供的视图互相遮蔽情况下界面的一个示例性示意图。
图4为本申请实施例提供的视图互相遮蔽情况下界面的另一个示例性示意图。
图5为本申请实施例提供的电子设备生成界面的一个示例性示意图。
图6为本申请实施例提供的界面生成方法的流程的一个示例性示意图。
图7为本申请实施例提供的确定被完全遮蔽视图的一个示例性示意图。
图8为本申请实施例提供的确定被完全遮蔽视图的一个示例性示意图。
图9为本申请实施例提供的确定被完全遮蔽的视图的另一个示例性示意图。
图10A-图10D本申请实施例提供的渲染线程或统一渲染进程删除渲染节点的一个示例性示意图。
图11为本申请实施例提供的界面生成方法的数据流动的一个示例性示意图。
图12为本申请实施例提供的界面生成方法的数据流动的另一个示例性示意图。
图13和图14为本申请实施例提供的界面生成方法的数据流动的另一个示例性示意图。
图15为本申请实施例提供的电子设备的硬件结构的一个示例性示意图。
图16A和图16B为本申请实施例提供的电子设备的软件架构的另一个示例性示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“该”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
为了便于理解,下面先对本申请实施例涉及的相关术语及相关概念进行介绍。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释,而非旨在限定本发明。
界面作为应用程序与用户之间的交互和信息交互的介质接口,在每一次垂直同步信号(vsync)到来时,电子设备需要为前台的应用程序生成该应用程序的界面。其中,垂直同步信号的频率与电子设备的屏幕的刷新率有关,例如垂直同步信号的频率与电子设备的屏幕的刷新率相同。
即每次电子设备刷新屏幕上显示的内容前,都需要为前台应用生成该应用程序的界面,以在屏幕刷新时向用户展现应用程序的新生成的界面。
其中,电子设备生成应用程序的界面需要应用程序自己渲染生成位图(bitmap),将自己的位图传递给表面合成器(SurfaceFlinger)。即,应用程序作为生产者执行渲染生成位图,将该位图存入表面合成器提供的缓冲队列(BufferQueue)中;表面合成器作为消费者不断的从BufferQueue获取应用程序生成的位图。其中,位图位于应用程序生成的surface上,该surface会被填入BufferQueue中。
在表面合成器获得可见的应用程序的位图后,表面合成器与硬件合成策略模块(Hardware Composer,HWC)确定位图作为图层(layer)的图层合成的方式。
在表面合成器和/或硬件合成策略模块执行位图合成后,由表面合成器和/或硬件合成策略模块将合成后的位图(位图在表面合成器上也可以称为图层)填入帧缓冲(FrameBuffer)中传递给显示子系统(Display Subsystem,DSS),DSS在拿到合成后的位图可以将该合成后的位图显示到屏幕上。该帧缓冲可以是在屏缓冲(on-screen buffer)。
其中,应用程序生成位图的过程如下图1所示。
图1为本申请实施例提供的应用程序生成位图的一个示例性示意图。
如图1所示,应用程序在接收到垂直同步信号后,开始生成位图,具体的步骤可以分为三步,分别为①、②、③。
①让视图结构(viewhierarchy)失效,主线程(UI线程,UI Thread)通过测量方法调用(measure())、布局方法调用(layout())、绘制方法调用(draw(),或绘制录制方法调用)遍历该应用程序的视图(view)(后文不作特殊说明,通过测量方法调用、布局方法调用和绘制方法调用生成渲染输的操作统称为遍历),确定并保存每个视图的绘制操作,并将视图和该视图涉及的绘制操作结构体(Draw Operation Struct,如DrawOP)或绘制操作(绘制指令)录制到渲染树的渲染节点(RenderNode)的绘制指令列表(displaylist)中。
其中,视图是构成应用程序界面的基本元素,界面上的一个控件可以对应于一个或多个视图。
可选的,在本申请一些实施方式中,在绘制方法调用内,应用程序的UI线程还会读取视图上承载的内容至内存中。例如,图片视图(imageview)承载的图片,文本视图(imageview)承载的文本。或者,在绘制方法调用内,应用程序的UI线程确定读取视图上承载的内容至内存中的操作,并录制到绘制指令列表中。
其中,绘制操作结构体为一个数据结构体,用于绘制图形,例如绘制线条、绘制矩形、绘制文本等。绘制操作结构体在渲染节点会被转换为图像处理库的API调用,如OpenGLES的接口调用。例如DrawLineOp是一个数据结构体,数据结构体里面包含有绘制的数据如线的长度、宽度等信息。
其中,绘制指令列表可以是一个缓冲区,该缓冲区中记录有应用程序一帧界面所包括的所有绘制操作结构体或是所有绘制操作的标识,如地址、序号等。当应用程序有多个窗口、或者在不同的显示区域(display)上显示时,需要独立的生成多个渲染树,其中,会独立的生成多个对应不同窗口、显示区域的绘制指令列表。
其中,渲染树是UI线程生成的,用于生成应用程序界面的一个数据结构体,渲染树可以包括多个渲染节点,每个渲染节点包括渲染属性和绘制指令列表。渲染树记录有生成应用程序一帧界面的部分或所有信息。渲染树中的渲染节点包括绘制指令列表和渲染属性,其中,渲染属性用于决定该渲染节点要渲染的视图在表面(也可以称为表面上的画布)中的位置、大小、透明度等属性,绘制指令列表用于决定该渲染节点要渲染的视图的内容,如线条、矩形、圆形等。
其中,应用程序需要显示的界面由多个视图嵌套组成,不同的视图之间具有父子关系,所以遍历视图生成的渲染树的渲染节点之间的父子关系与视图的父子关系相同。即视图之间的父子关系决定了不同渲染节点的之间的嵌套关系(后文中,渲染节点之间的嵌套关系也可以称为父子关系),进而渲染线程在依据渲染树生成位图时可以正确渲染出应用程序的界面。一个视图可以对应一个或多个渲染节点,根视图(DecorView)对应根渲染节点(RootRenderNode)。其中,渲染节点中还包括有渲染属性(properties),用与在渲染生成位图时确定被该渲染节点对应的view在surface上的位置、大小、透明度等。
可选地,在本申请一些实施方式中,主线程可以只对脏区域(也可以称为需要被重绘的区域)的视图执行遍历,生成差分渲染树。其中,差分渲染树在被传递/同步到渲染线程后,渲染线程可以差分渲染树和上一帧渲染使用的渲染树确定本帧界面渲染需要使用的渲染树。
②UI线程将渲染树传递/同步给渲染线程(Render Thread),其中,渲染树位于应用程序对应的进程的栈(stack)中,并且在物理地址上可以不是连续分布的。
③渲染线程首先获取一个硬件画布(HardwareCanvas),并在该硬件画布上执行渲染树中的绘制操作,进而生成位图。其中,该硬件画布位于该应用程序持有的surface中,该surface中承载有位图或者其他格式的用于保存图像信息的数据。
可以认为①为构建阶段,主要负责确定该应用程序中每个view的大小、位置、透明度等属性。例如,视图中的drawLine,构建中可以被封装成一个DrawLineOp,里面包含有绘制的数据如线的长度、宽度等,还可以包含有底层图形处理库的DrawLineOp对应的接口调用,用于在渲染阶段调用底层图形库生成位图。
类似的,可以认为③为渲染阶段,主要负责遍历渲染树的渲染节点,并执行每个渲染节点的绘制操作,进而在硬件画布上生成位图,在该过程中,渲染线程通过调用底层图形处理库,如OpenGLES库、Skia库等,进而调用GPU完成渲染以生成位图。
值得说明的是,构建阶段需要占用CPU的计算资源,渲染阶段需要占用GPU的资源。
值得说明的是,若不开启硬件加速,则应用程序通过UI线程完成构建阶段、渲染阶段的所有操作,并且不需要封装绘制操作为渲染节点,在遍历应用程序的视图后以及确定视图的绘制操作后,向表面合成器申请一块匿名共享内存,在该内存上直接调用底层图形库(如二维图像引擎)生成一个位图。
其中,在渲染线程基于渲染树生成位图的过程如图2所示。
图2为本申请实施例提供的渲染线程基于渲染树生成位图的一个示例性示意图。
如图2所示,应用程序对视图执行遍历后,生成的渲染树包括根渲染节点、渲染节点1、渲染节点2和渲染节点3。其中,渲染节点1为根渲染节点的左子节点和渲染节点2为根渲染节点的右子节点,渲染节点3为渲染节点2的子节点。
其中,渲染节点1对应的渲染内容包括渲染位图1,渲染节点2对应的渲染内容包括渲染位图2。
若渲染线程在生成位图的过程中遍历渲染树的顺序从前到后依次为:根渲染节点、渲染节点1、渲染节点2、渲染节点3。则,渲染线程先执行渲染节点1中的绘制操作、然后执行渲染节点2中的绘制操作,即渲染线程调用GPU在表面合成器提供的表面上首先渲染视图1、然后渲染视图2。由于视图2完全遮蔽视图1,在渲染线程渲染视图2后,视图1变为不可见。
其中,应用程序内视图的互相遮蔽的情况如图3A-图3C所示。
图3A-图3C为本申请实施例提供的视图互相遮蔽情况下界面的一个示例性示意图。
如图3A所示,电子设备上应用程序显示的界面为界面3001,界面3001包括多个与控件对应的视图,其中,控件301为视图3,控件302视图8。在接收到用户对视图3的点击操作后,应用程序显示的界面从界面3001变为界面3002。
在界面3001变化为界面3002的过程中,控件301不断变大,在变大的过程中控件301完全遮蔽控件302,即视图3完全遮蔽视图8。
如图3B所示,电子设备上应用程序显示的界面为界面3003,界面3003包括多个控件,如控件303、控件304、控件305、控件306。在接收到用户点击控件303后,应用程序显示切片(fragment)307,切片307完全遮蔽控件304、控件305、控件306。
如图3C所示,当视频以悬浮窗(或画中画、小窗)的形式播放的情况下,电子设备上应用程序显示的界面从界面3005变为界面3006。其中,界面3005包括控件308、界面3006包括悬浮窗309,悬浮窗309为用于播放视频的窗口,并且悬浮窗309完全遮蔽控件308。
结合图2和图3A所示的内容,当电子设备显示的界面变为界面3002,渲染视图8或渲染控件302的操作为无效的操作;结合图2和图3B所示的内容,当电子设备显示的界面为界面3004,渲染控件304、控件305和控件306的操作为无效的操作;结合图2和图3C所示的内容,当电子设备显示的界面为界面3006,渲染控件308的操作为无效的操作。
除了上文所示应用程序内视图的互相遮蔽的情况,应用程序间视图的互相遮蔽的情况如图4和图5所示。
图4为本申请实施例提供的视图互相遮蔽情况下界面的另一个示例性示意图。
如图4所示,当应用程序2以悬浮窗的形式显示的情况下,电子设备上显示的界面从界面3007变为界面3008。其中,界面3007为应用程序1的界面,界面3008为应用程序1和应用程序2的界面,应用程序的界面显示在悬浮窗311中,并且在界面3008中,图标控件310被悬浮窗311完全准备。
其中,电子设备生成界面3008的过程如图5所示。
图5为本申请实施例提供的电子设备生成界面的一个示例性示意图。
如图5所示,应用程序1生成位图1,并将位图1传递给表面合成器和/或硬件合成策略模块;应用程序2生成位图2,并将位图2传递给表面合成器和/或硬件合成策略模块;表面合成器和/或硬件合成策略模块对位图1和位图2执行图层合成,进而得到位图3。在图4所示的内容中,位图1即为界面3007对应的位图,位图2即为悬浮窗311对应的位图,位图3即为界面3008的位图。
结合图5和图4所示的内容,在电子设备显示如界面3008所示的界面的情况下,渲染图标控件310的操作为无效的操作。
综上,可以理解的是,渲染线程渲染被完全遮蔽的视图至表面上的操作为无效的操作,浪费了渲染线程和GPU的资源,降低了界面生成的能效比。除此之外,由于渲染线程执行渲染前还需要UI线程对视图执行遍历,则UI线程确定并保存被完全遮蔽的视图的绘制操作为无效的操作,浪费了UI线程的资源,降低了界面生成的能效比。
基于此,本申请实施例提供了一种界面生成方法,本申请实施例提供的界面生成方法包括:在UI线程遍历视图的过程中,确定任意视图为被完全遮蔽的视图后,跳过该视图以继续执行遍历;其次,在确定任意视图为被被完全遮蔽的视图后,跳过该视图的子视图的测量方法调用、布局方法调用;最后,应用程序的UI线程生成的渲染树不包含被完全遮蔽的视图的对应的渲染节点。
可以理解的是,由于UI线程没有确定并保存被完全遮蔽的视图的绘制操作,降低UI线程的计算量;其次,由于UI线程跳过了该完全遮蔽的视图的子节点的遍历操作,进一步降低了UI线程的计算量;再次,渲染树不包含被完全遮蔽的视图的对应的渲染节点,降低了渲染线程渲染生成位图的计算量,进而提高了界面生成的能效比。
可选地,在本申请一些实施方式中,应用程序的UI线程在生成渲染树后,UI线程或渲染线程对渲染树执行遍历,确定并剪裁被完全遮蔽的视图的对应的渲染节点,进而降低渲染线程渲染生成位图的计算量。
可选地,在本申请一些实施方式中,应用程序的UI线程在生成渲染树后,由统一渲染进程(unirender)将一个或多个应用程序的渲染树合并生成目标渲染树后,或者在合并生成目标渲染树的过程中,统一渲染进程确定并剪裁被完全遮蔽的视图的对应的渲染节点,进而降低渲染线程渲染生成位图的计算量。其中,统一渲染进程为与应用程序独立的进程,负责位图的渲染、图层合成等。统一渲染进程在生成位图后,会将位图传递到显示子系统以送显。
可选地,在本申请一些实施方式中,在应用程序开始生成下一帧界面前,由统一渲染进程或窗口管理服务(WindowManagerService,WMS)向应用程序发送通知,该通知用于指示应用程序的窗口中被其他应用程序完全遮蔽的区域的位置。应用程序的UI线程遍历视图的过程中,确定任意视图为被完全遮蔽的视图后,跳过该视图以继续执行遍历;应用程序的UI线程在生成渲染树后,确定并剪裁被完全遮蔽的视图的对应的渲染节点。
下面结合图6所示的内容,示例性的介绍本申请实施例提供的界面生成方法的流程。
图6为本申请实施例提供的界面生成方法的流程的一个示例性示意图。
S601:接收到垂直同步信号后,电子设备确定被完全遮蔽的视图包括第一视图。
其中,电子设备可以通过多种方式确定被完全遮蔽的视图,下面示例性的介绍几种确定被完全遮蔽的视图的几种方法,在此不作限定。
可选地,在本申请一些实施例中,应用程序的UI线程可以在遍历视图(可以是仅对脏区域的遍历)的过程中,确定被完全遮蔽的视图。
例如,在图3A所示的界面3002中,应用程序的UI线程可以通过测量方法调用和布局方法调用,确定视图3的大小和位置以及视图8的大小和位置。根据视图的海拔属性(elevation)或视图默认的先后顺序,确定视图3完全遮蔽视图8,即视图8为被完全遮蔽的视图。
其中,视图默认的先后顺序,可以是指视图在视图结构中的顺序。其中,视图结构中的视图的顺序为同级视图节点中左视图节点高于右视图节点。即视图8可以认为是视图3的右视图节点。在视图8为视图3的左视图节点的情况下,视图8不会被视图3完全遮蔽。
若是在遍历的过程中,确定被完全遮蔽的视图包括第一视图,则跳过第一视图的子视图的遍历,继续遍历,如图7所示。
图7为本申请实施例提供的确定被完全遮蔽视图的一个示例性示意图。
若应用程序的UI线程遍历视图的顺序从前至后为:Decorview、根视图(视图容器1)、视图容器2、视图2、视图3、第一视图、视图4、视图5、视图容器3。其中,视图2和视图3为视图容器2的子节点,视图4和视图5为第一视图的子节点,视图容器2、第一视图和视同容器3为根视图的子节点。
在应用程序的UI线程遍历视图的过程中,在遍历到第一视图后,确定第一视图的位置后,确定第一视图被完全遮蔽,如被视图2或视图3完全遮蔽。应用程序的UI线程确定第一视图被完全遮蔽后,不会遍历视图4和视图5,也不会确定并保存第一视图、视图4和视图5的绘制操作,进而节约应用程序的UI线程的计算资源,进而提高界面生成的能效比。
值得说明的是,应用程序的UI线程也可以以其他顺序遍历视图,在此不作限定。
可选地,在本申请一些实施例中,应用程序的UI线程可以在遍历视图后,确定被完全遮蔽的视图。
一方面,应用程序的UI线程对渲染树进行剪裁,保持应用程序的UI线程的原始的对视图遍历的逻辑,对视图系统的修改较少;另一方面,应用程序的UI线程对视图遍历的顺序不一定与视图的互相遮蔽关系一致,进而导致在遍历视图容器2的时候,才会确定已经遍历过的第一视图被视图容器2完全遮蔽,无法在遍历的过程中跳过第一视图,如图8所示。
图8为本申请实施例提供的确定被完全遮蔽视图的一个示例性示意图。
如图8所示,若应用程序的UI线程遍历视图的顺序从前至后为:Decorview、根视图(视图容器1)、第一视图、视图2、视图3、视图容器2、视图4、视图5、视图容器3。其中,视图2和视图3为第一视图的子节点,视图4和视图5为视图容器2的子节点,视图容器2、第一视图和视同容器3为根视图的子节点。
可选地,在本申请一些实施方式中,在应用程序的UI线程遍历视图的过程中,单独记录一个参数,该参数用于指向被遮蔽的视图,应用程序的UI线程可以确定第一视图、视图2、视图3被完全遮蔽。
可选地,在本申请一些实施方式中,应用程序的UI线程、渲染线程或统一渲染进程基于渲染树可以确定第一视图、视图2、视图3被完全遮蔽,例如,应用程序的UI线程、渲染线程或统一渲染进程遍历渲染树,进而通过渲染节点的渲染属性确定视图之间的遮蔽关系。
可选地,在本申请一些实施方式中,在应用程序显示的界面包括至少两个窗口的情况下,应用程序还可以基于窗口Z序(Z-order)确定被完全遮蔽的视图。在该情况下,应用程序的UI线程在收到垂直同步信号后,会生成多个渲染树(渲染树的数量可以与窗口的数量相同),UI线程可以在遍历任意一个渲染树的过程中确定被完全遮蔽的视图,然后基于窗口Z序进一步确定被完全遮蔽的视图。或者,UI线程、渲染线程或统一渲染进程基于渲染树,确定完全遮蔽关系来自渲染树内部的被完全遮蔽的视图,然后基于窗口Z序进一步确定被被完全遮蔽的视图。其中,窗口Z序可以由应用程序或窗口管理服务指定,用于指示不同窗口之间的上下关系(互相遮蔽关系),或者,窗口的Z序表示窗口在Z轴上的高度,Z轴为垂直与表面的法线。
例如,在上文中的图3C所示的界面3006中,悬浮窗309完全遮蔽的控件308为基于窗口Z序进一步确定的被完全遮蔽的视图。其中,悬浮窗309所在窗口的窗口Z序高于控件308所在窗口的窗口Z序。
可选地,在本申请一些实施方式中,在电子设备显示的界面包括多个应用程序的界面的情况下,由统一渲染进程基于窗口Z序确定不同应用程序的渲染树中渲染节点对应的视图的互相遮蔽关系,进而由统一渲染进程确定被完全遮蔽的视图。其中,统一渲染进程会接收窗口管理服务确定并发送的不同窗口的窗口Z序。
例如,在上文中的图4所示的界面3008中,统一渲染进程在确定悬浮窗311所在窗口的窗口Z序高于图标控件310所在窗口的窗口Z序后,统一渲染进程可以确定图标控件310被完全遮蔽。
可选地,在本申请一些实施方式中,电子设备显示的界面包括多个应用程序的界面的情况下,窗口管理服务基于窗口Z序,确定不同窗口中被完全遮蔽的区域,进而使得应用程序的UI线程、渲染线程可以确定被其他窗口完全遮蔽的视图。其中,应用程序的UI线程可以在遍历的过程中确定,或者,在应用程序的UI线程遍历视图后,由UI线程或渲染线程确定被其他窗口完全遮蔽的视图。
图9为本申请实施例提供的确定被完全遮蔽的视图的另一个示例性示意图。
窗口管理服务在确定任意应用程序的窗口中存在被完全遮蔽区域后,向该应用程序发送消息,该消息用于通知该应用程序被完全遮蔽的区域在窗口中的位置。
如图9所示,窗口管理服务在确定应用程序1的窗口会被应用程序2的窗口完全遮蔽一部分后,向应用程序1发送消息,该消息用于通知应用程序1被完全遮蔽的区域在窗口中的位置。
应用程序1的UI线程、渲染线程或统一渲染进程可有基于该消息确定被完全遮蔽的视图。渲染线程或统一渲染进程在渲染生成位图时,不会渲染被完全遮蔽的视图。
其中,没有被完全遮蔽(残缺遮蔽或被部分遮蔽)的视图,例如被部分遮蔽的视图,对应的渲染节点还是会出现在渲染树中,并被渲染线程或统一渲染进程渲染在表面上。或者,残缺遮蔽对应的渲染节点还是会出现在渲染树中,并在渲染的过程中通过裁剪指令如Clip()中止该残缺遮蔽在被完全遮蔽的区域上进行渲染。
可选地,在本申请一些实施方式中,在确定被完全遮蔽的视图为视频视图(videoview)的情况下,应用程序的UI线程可以暂停或停止视频的播放,暂停或停止视频的播放可以通过媒体编解码器(mediacodec)、媒体播放器(mediaplayer)等多种功能模块实现,例如,可以删除媒体编解码器的输入缓冲、通过媒体编解码器暂停视频的解码、删除媒体编解码器的输出缓冲实现暂停或停止视频的播放。
可选地,在本申请一些实施方式中,在确定被完全遮蔽的视图为视频视图(videoview)的情况下,应用程序的UI线程可以将视频转为后台播放,即只播放视频的音频。
值得说明的是,承载视频的控件并不局限于视频视图,还可以是其他第三方库提供的视图、自定义视图等。
可选地,在本申请一些实施方式中,在确定被完全遮蔽的视图为图像视图的情况下,应用程序的UI线程也不会执图像的加载,不会对图像执行解码。
值得说明的是,承载视频的控件并不局限于图像视图,还可以是其他第三方库提供的视图、自定义视图等。
S602:电子设备生成不包含第一视图对应的渲染节点的渲染树。
在步骤S601中,应用程序的UI线程、渲染线程和/或统一渲染进程已经确定被完全遮蔽的视图,进而可以生成目标渲染树。其中,目标渲染树不包括第一视图以及其他被完全遮蔽的视图对应的渲染节点。
可选地,在本申请一些实施例中,应用程序的UI线程、渲染线程或统一渲染进程可以在残缺遮蔽对应的渲染节点的绘制指令列表中增加裁剪指令如Clip(),进而使得残缺遮蔽不会渲染到被完全遮蔽区域,降低无效的渲染,提升界面生成的能效比。
可选地,在本申请一些实施方式中,应用程序的UI线程在遍历视图的过程中,不生成被完全遮蔽的视图对应的渲染节点,也不会确定并保存该被完全遮蔽的视图的绘制操作,在该情况下,应用程序的UI线程生成的渲染树不包括第一视图及其它被完全遮蔽视图对应的渲染节点。
可选地,在本申请一些实施方式中,在应用程序的UI线程在遍历视图后才确定被完全遮蔽的视图的情况下,应用程序的UI线程可以删除该被完全遮蔽视图的对应的渲染节点,进而生成不包括第一视图及其它被完全遮蔽视图对应的渲染节点的渲染树。
可选地,在本申请一些实施方式中,在应用程序的UI线程在遍历视图后才确定被完全遮蔽的视图的情况下,应用程序的UI线程可以将被完全遮蔽的视图的标识发送到渲染线程或统一渲染进程,进而由渲染线程或统一渲染进程删除该被完全遮蔽视图的对应的渲染节点,再进而生成不包括第一视图及其它被完全遮蔽视图对应的渲染节点的渲染树。
可选地,在本申请一些实施方式中,在应用程序的UI线程在遍历视图后才确定被完全遮蔽的视图的情况下,应用程序的UI线程可以在将被完全遮蔽的视图对应的渲染节点的渲染属性或绘制指令列表中增加参数,该参数用于标识该渲染节点对应的视图为被完全遮蔽的视图。渲染线程或统一渲染进程在接收到渲染树后,由渲染线程或统一渲染进程删除该被完全遮蔽视图的对应的渲染节点,进而生成不包括第一视图及其它被完全遮蔽视图对应的渲染节点的渲染树。
可选地,在本申请一些实施方式中,应用程序的UI线程执行遍历视图后,将生成的渲染树传递给渲染线程或统一渲染进程,渲染线程或统一渲染进程确定被完全遮蔽的视图后,由渲染线程或统一渲染进程删除该被完全遮蔽视图的对应的渲染节点,进而生成不包括第一视图及其它被完全遮蔽视图对应的渲染节点的渲染树。
可选地,在本申请一些实施方式中,应用程序的UI线程、渲染线程和统一渲染进程均布删除被完全遮蔽的视图对应的渲染节点,而是在渲染的过程中跳过该渲染节点以及该渲染节点的子渲染节点。其中,应用程序的UI线程、渲染线程或统一渲染进程需要在渲染节点添加参数以使得渲染线程或统一渲染进程在生成位图时确定该渲染节点为被完全遮蔽视图对应的渲染节点。
其中,上文中,渲染线程或统一渲染进程删除渲染节点的过程如图10A和图10B所示。
图10A-图10D本申请实施例提供的渲染线程或统一渲染进程删除渲染节点的一个示例性示意图。
渲染线程删除渲染节点如图10A所示。渲染树1包括跟渲染节点1、渲染节点1、渲染节点2、渲染节点3,其中,渲染线程可以确定渲染节点3对应被完全遮蔽的视图,如第一视图。渲染线程删除渲染节点3。
其中,渲染线程基于渲染树1(删除渲染节点3前的渲染树)执行渲染得到的位图为位图1,渲染线程基于目标渲染树(删除渲染节点3后的渲染树)执行渲染得到位图同样为位图1。
统一渲染进程删除渲染节点如图10B和图10C所示。与渲染线程不同,统一渲染进程会接收不同应用程序的UI线程生成的渲染树。
如图10B所示,统一渲染进程接收到应用程序1的UI线程生成的渲染树1以及应用程序性2的UI线程生成的渲染树2。
渲染树1包括根渲染节点1,渲染节点1、渲染节点2和渲染节点3,其中,渲染节点3是渲染节点2的子渲染节点,渲染节点1和渲染节点2为根渲染节点1的子节点。渲染树2包括根渲染节点2、渲染节点4、渲染节点5和渲染节点6,其中,渲染节点6是渲染节点5的子渲染节点,渲染节点5和渲染节点4是根渲染节点2的子渲染节点。渲染节点6对应被完全遮蔽的视图。
统一渲染进程在合并渲染树的过程中,删除渲染节点6,得到目标渲染树。其中,合并渲染树的过程,包括新建新根渲染节点,并将根渲染节点1和根渲染节点2作为新根渲染节点的子渲染节点。
可选地,在本申请一些实施方式中,若统一渲染进程在渲染生成位图的过程中,从左到右遍历,且应用程序2的窗口的窗口Z序大于应用程序1的窗口的窗口Z序,则根渲染节点2为新根渲染节点的右子渲染节点,根渲染节点1为新根渲染节点的右子渲染节点。
可选地,在本申请一些实施方式中,若应用程序2的窗口的窗口Z序大于应用程序1的窗口的窗口Z序,且应用程序1中的视图不存在残缺遮蔽,则根渲染节点2和根渲染节点1的同级顺序可以互换。
可选地,在本申请一些实施方式中,若目标渲染树中的残缺遮蔽对应的渲染节点被添加了裁剪指令,则根渲染节点2和根渲染节点1的同级顺序可以互换。
可选地,在本申请一些实施方式中,若目标渲染树中的残缺遮蔽对应的渲染节点被添加了裁剪指令,或者,若目标渲染树中不存在残缺遮蔽,则可以改变渲染树在渲染生成位图遍历渲染节点的遍历顺序(不改变父子关系决定的遍历顺序)。
可选地,在本申请一些实施方式中,若目标渲染树中的残缺遮蔽对应的渲染节点被添加了裁剪指令,或若目标渲染树中不存在残缺遮蔽,统一渲染进程对渲染节点的绘制指令列表进行解封装得到一系列绘制操作结构体,进而将目标渲染树作为整体进行绘制操作结构体操作进行次批次(Batch)和合并(Merge),在步骤S603中得到使用更少计算量就可以生成位图。
其中,批次和合并的范围可以大于原生的Skia库所支持的范围。
一方面,原生的Skia库并不能将依赖于后续结果(如在后渲染的同级视图)的绘制操作结构体与发生在后续结果前的绘制操作结果提执行批次和合并。但是,在本申请实施例提供的界面生成方法中,在一些情况下,由于目标渲染树的同级渲染节点的遍历顺序可以互换,可以将依赖于后续结果(如在后渲染的同级视图)的绘制操作结构体与发生在后续结果前的绘制操作结果提执行批次和合并。
另一方面,原始的Skia库所支持的合并和批次仅针对一个应用程序的界面(或者是一个应用程序中的一个窗口中的界面)对应的绘制操作结构体执行合并和批次,优化潜力上限低。但是,在本申请实施例提供的界面生成方法中,由于目标渲染树包括不同应用程序的渲染树,能最大程度的利用合并和批次提升界面生成的能效比,优先潜力上限高。
可选地,在本申请一些实施方式中,若目标渲染树中的残缺遮蔽对应的渲染节点被添加了裁剪指令,或若目标渲染树中不存在残缺遮蔽,统一渲染进程可以采取多线程(如vlukan库所支持的多线程渲染)分别渲染目标渲染树的不同子树,即并行的渲染生成位图,可以降低界面生成花费的时间,提升界面生成的能效比。
如图10C所示,与图10B所示内容不同的是,统一渲染进程在合并渲染树后,删除渲染节点6,进而得到目标渲染树。与图10A所示内容相同的是,合并后的渲染树对应的位图与目标渲染树对应的位图的显示内容相同。
如图10D所示,结合图4所示的内容,当电子设备显示界面3008时,应用程序1生成的渲染树对应于界面3009。对比界面3009和界面3007,界面3009不包括处于完全遮蔽区域内的视图,其余与界面3007相同。
即,若界面3007对应的渲染树为渲染树1,渲染树1包括根渲染节点,根渲染节点1的子渲染节点包括渲染节点1、渲染节点2、渲染节点3,渲染节点1的子渲染节点为渲染节点4和渲染节点5,渲染节点2的子渲染节点为渲染节点6和渲染节点7。
则界面3009对应的渲染树为从渲染树1删除渲染节点1、渲染节点4、渲染节点5后得到的渲染树。其中,渲染节点1、渲染节点4和渲染节点5对应的视图处于完全遮蔽区域中。
对应的,当应用程序2的窗口变化后,完全遮蔽区域变化,被完全遮蔽的视图发生变化,应用程序生成的渲染树也会发生变化。
其中,不完全处于完全遮蔽区域的视图为残缺遮蔽视图。
S603:电子设备基于渲染树生成位图,并送显。
渲染线程生成位图后,将位图传递到表面合成器和/或硬件合成策略模块,表面合成器和/或硬件合成策略模块在执行图层合成后,将合成后的位图发送到显示子系统以送显。
统一渲染进程生成位图后,可以直接将位图发送到显示子系统与送显。或者,统一渲染进程在生成位图后,可以将位图发送到表面合成器和/或硬件合成策略模块,表面合成器和/或硬件合成策略模块在执行图层合成后,将合成后的位图发送到显示子系统以送显。
综上,本申请实施例提供的界面生成方法,可以降低由于被完全遮蔽的视图引起的无效的测量方法调用、布局方法调用、绘制方法调用,以及降低由于被完全遮蔽的视图对应的渲染节点引起的无效的渲染,进而提高了界面生成的能效比。
图11为本申请实施例提供的界面生成方法的数据流动的一个示例性示意图。
如图11所示,界面生成方法的数据流动包括如下步骤。
S1101:发送被完全遮蔽区域的位置。
窗口管理服务器在确定有应用程序的界面被其他应用程序的界面遮蔽后,可以向被遮蔽的应用程序发送被完全遮蔽区域的位置。例如,窗口管理服务向应用程序1的UI线程发送被完全遮蔽区域的位置。
可选地,在本申请一些实施方式中,步骤S1101不被执行,在步骤S1102和步骤S1105中,应用程序只能分别确定被同应用程序的其他视图完全遮蔽的视图,并生成不包括该完全遮蔽的视图的渲染树。
S1102:接收到垂直同步信号后,构建生成不包含被完全遮蔽视图对应的渲染节点的渲染树1。
应用程序1的UI线程构建生成不包含被完全遮蔽视图对应的渲染节点的渲染树1。其中,被完全遮蔽的视图包括:视图完整地处于被完全遮蔽区域的位置和被其他应用程序1的视图遮蔽的视图。
S1103:传递或同步渲染树1。
应用程序1的UI线程向应用程序1的渲染线程传递或同步渲染树1。
S1104:基于渲染树1生成位图1。
应用程序1的渲染线程基于渲染树1生成位图1,其中,在渲染生成位图1的过程中,由于渲染树1中不包含被完全遮蔽的视图对应的渲染节点,故也不会在表面上渲染该被完全遮蔽的视图。
S1105:接收到垂直同步信号后,构建生成不包含被完全遮蔽视图对应的渲染节点的渲染树2。
类似的,应用程序2的UI线程构建生成不包含被完全遮蔽视图对应的渲染节点的渲染树2。其中,被完全遮蔽的视图包括:被其他应用程序2的视图遮蔽的视图。
S1106:传递或同步渲染树2。
应用程序2的UI线程向应用程序2的渲染线程传递或同步渲染树2。
S1107:基于渲染树2生成位图2。
应用程序2的渲染线程基于渲染树2生成位图2,其中,在渲染生成位图2的过程中,由于渲染树2中不包含被完全遮蔽的视图对应的渲染节点,故也不会在表面上渲染该被完全遮蔽的视图。
S1108:发送位图1。
应用程序1的渲染线程向表面合成器和/或硬件合成策略模块发送位图1。
S1109:发送位图2。
应用程序2的渲染线程向表面合成器和/或硬件合成策略模块发送位图2。
S1110:对位图1和位图2执行图层合成以获得位图3。
表面合成器和/或硬件合成策略模块在对位图1和位图2执行图层合成后,生成位图3。表面合成器和/或硬件合成策略模块可以将为位图3发送到显示子系统以送显。
图12为本申请实施例提供的界面生成方法的数据流动的另一个示例性示意图。
如图12所示,应用程序1的UI线程生成渲染树1,会删除渲染树1中的渲染节点,其中被删除的渲染节点对应于被完全遮蔽的视图,其中,被完全遮蔽的视图为应用程序1中被应用程序1的其他视图完全遮蔽的视图。
应用程序1的UI线程生成渲染树2,会删除渲染树2中的渲染节点,其中被删除的渲染节点对应于被完全遮蔽的视图,其中,被完全遮蔽的视图为应用程序2中被应用程序2的其他视图完全遮蔽的视图。
应用程序1的UI线程将渲染树1传递或同步到统一渲染进程,应用程序2将渲染树2传递或同步到统一渲染进程。统一渲染进程基于渲染树1和渲染树2生成目标渲染树,并删除渲染节点。被删除的渲染节点对应于被完全遮蔽的图,其中,被完全遮蔽的视图为被其他应用程序的界面完全遮蔽的视图。
统一渲染进程基于目标渲染树生成位图,该位图等价与图11中的位图3。
图13和图14为本申请实施例提供的界面生成方法的数据流动的另一个示例性示意图。
如图13所示,界面生成方法的数据流动包括如下步骤。
S1301:接收到垂直同步信号后,构建生成渲染树。
不同的应用程序的UI线程在接收到垂直同步信号后,构建生成渲染树。不同的应用程序如应用程序1、应用程序2、…、应用程序N。
S1302:跨进程传递或同步渲染树。
不同的应用程序的UI线程向统一渲染进程跨进程传递或同步渲染树。
S1303:发送应用程序的窗口控制信息。
窗口管理服务向统一渲染进程窗口控制信息,窗口控制信息可以包括不同应用程序的窗口的信息,如尺寸、位置等。统一渲染进程可以基于窗口控制信息确定界面被遮蔽的应用程序,以及被完全遮蔽的区域,进而确定完全处于被完全遮蔽的区域的视图。
S1304:合并渲染树,并删除被完全遮蔽的视图对应的渲染节点,生成目标渲染树。
统一渲染进程在接收到不同应用程序发送的渲染树,合并多个渲染树生成目标渲染树,并且删除被完全遮蔽的视图对应的渲染节点。其中,被完全遮蔽的视图包括被同应用程序内的其他视图遮蔽的视图,也包括完全处于被完全遮蔽的区域的视图。
S1305:基于目标渲染树生成位图1。
统一渲染进程基于目标渲染树生成位图1,位图1等价于图11中的位图3。
图13与图14所示内容不同的,应用程序(如应用程序1)的UI线程在构建生成渲染树时,可以删除完全被遮蔽的视图,其中,被完全遮蔽的视图包括被同应用程序内的其他视图遮蔽的视图,如步骤S1306所示。
S1306:接收到垂直同步信号后,构建生成不包含被完全遮蔽的视图对应的渲染节点的渲染树。
对应的,在步骤S1304中,统一渲染进程删除的被完全遮蔽的视图对应的渲染节点,其中,被完全遮蔽的视图包括处于被完全遮蔽的区域的视图,即不需要统一渲染进程删除被同应用程序内的其他视图遮蔽的视图对应的渲染节点。
最后,介绍本申请实施例提供的电子设备的硬件结构和软件架构。
图15为本申请实施例提供的电子设备的硬件结构的一个示例性示意图。
电子设备可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmentedreality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备的具体类型不作特殊限制。
电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备充电,也可以用于电子设备与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在本申请另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以包括静态随机存储器(static random-access memory,SRAM)、动态随机存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等;
非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等,按照存储规范划分可以包括通用闪存存储(英文:universalflash storage,UFS)、嵌入式多媒体存储卡(embedded multi media Card,eMMC)等。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备可以设置至少一个麦克风170C。在另一些实施例中,电子设备可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备根据压力传感器180A检测所述触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备是翻盖机时,电子设备可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备通过发光二极管向外发射红外光。电子设备使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备附近有物体。当检测到不充分的反射光时,电子设备可以确定电子设备附近没有物体。电子设备可以利用接近光传感器180G检测用户手持电子设备贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备对电池142加热,以避免低温导致电子设备异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备的接触和分离。电子设备可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备中,不能和电子设备分离。
图16A和图16B为本申请实施例提供的电子设备的软件架构的另一个示例性示意图。
电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runt ime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图16A所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图16A所示,应用程序框架层可以包括窗口管理服务,活动管理服务、内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理服务用于管理窗口程序,可以确定不同应用程序的窗口的窗口Z序。
可选地,在本申请的一些实施方式中,统一渲染进程可以从窗口管理服务器获取不同应用程序的窗口的窗口Z序,进而确定不同渲染树中的被其他应用程序的界面遮蔽的视图对应的渲染节点。
可选地,在本申请一些实施方式中,窗口管理服务可以确定被完全遮蔽区域,并将被完全遮蔽区域发送到应用程序的UI线程。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
视图系统中还包括遮蔽模块,遮蔽模块用于确定被完全遮蔽的视图,即被同应用程序的其他视图遮蔽的视图,以及被其他应用程序的界面完全遮蔽的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runt ime包括核心库和虚拟机。Android runt ime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:浏览器引擎(webkit)、表面合成器,硬件合成策略模块,媒体库(Med ia Librar ies),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层包括显示驱动,摄像头驱动,音频驱动,传感器驱动等。
如图16B所示,与图16A所示内容不同的是,视图系统还可以包括统一渲染进程,统一渲染进程用于接收不同应用程序的渲染树,并将渲染树合并为目标渲染树后,基于目标渲染树生成位图。
可选地,在本申请一些实施方式中,由于统一渲染进程直接是基于目标渲染树生成位图的,故在图16B所示的软件架构中,系统库可以不包括表面合成器,或者在生成界面的过程中,表面合成器不执行图层合成。
可选地,在本申请一些实施方式中,显示子系统可以认为是包括部分显示驱动、部分显示的功能模块。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (23)
1.一种界面生成方法,其特征在于,应用于包括屏幕的电子设备,所述方法包括:
确定被第一应用内的其他视图完全遮蔽的视图包括第一视图;
生成第一渲染树,所述第一渲染树不包括第一渲染节点,所述第一渲染节点为所述第一视图对应的渲染节点,渲染节点保存有对应的视图的绘制指令;
基于所述第一渲染树生成第一界面,所述第一界面包括所述第一应用的界面。
2.根据权利要求1所述的方法,其特征在于,所述确定被第一应用内的其他视图完全遮蔽的视图包括第一视图,具体包括:
在遍历所述第一应用的视图的过程中,确定第二视图的位置为第二位置;
在遍历到所述第一视图时,确定所述第一视图的位置为第一位置,基于所述第二位置和所述第一位置确定所述第一视图为被所述第一应用内的其他视图完全遮蔽的视图。
3.根据权利要求2所述的方法,其特征在于,在所述基于所述第二位置和所述第一位置确定所述第一视图为被完全遮蔽的视图后,所述方法还包括:
不保存第一视图的绘制指令至所述第一渲染树中;
跳过所述第一视图的子视图以继续遍历,所述第一渲染树不包括所述第一视图的子视图对应的渲染节点。
4.根据权利要求1所述的方法,其特征在于,所述确定被第一应用内的其他视图完全遮蔽的视图包括第一视图,具体包括:
在遍历所述第一应用的视图的过程中,确定所述第一视图的位置为第一位置后,确定第二视图的位置为第二位置;
基于所述第一位置和所述第二位置确定所述第一视图被所述第二视图完全遮蔽,记录所述第一视图的标识至第一参数中。
5.根据权利要求4所述的方法,其特征在于,所述生成第一渲染树,具体包括:
遍历所述第一应用的视图后,生成第二渲染树,所述第二渲染树包括第一渲染节点;
基于所述第一参数删除所述第二渲染树中的第一渲染节点得到所述第一渲染树。
6.根据权利要求1所述的方法,其特征在于,所述确定被第一应用内的其他视图完全遮蔽的视图包括第一视图,具体包括:
遍历所述第一应用的视图后,生成第二渲染树,所述第二渲染树包括所述第一渲染节点和第二渲染节点;
基于所述第一渲染节点的渲染属性和所述第二渲染节点的渲染属性确定所述第一视图被第二视图完全遮蔽,所述第二视图与所述第二渲染节点对应。
7.根据权利要求6所述的方法,其特征在于,所述生成第一渲染树,具体包括:
删除所述第二渲染树中的第二渲染节点得到所述第一渲染树。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
合并所述第一渲染树与第二渲染树得到目标渲染树,所述第二渲染树是第二应用生成的,所述第二渲染树用于生成所述第二应用的界面,所述第一界面还包括所述第二应用的界面,所述目标渲染树不包括所述第三渲染节点,所述第三渲染节点与第三视图对应,所述第三视图为所述第一应用的视图,所述第三视图被所述第二应用的界面完全遮蔽;
所述基于所述第一渲染树生成第一界面,具体包括:基于所述目标渲染树生成所述第一界面。
9.根据权利要求8所述的方法,其特征在于,在所述基于所述目标渲染树生成第一界面前,所述方法还包括:
确定被所述第二应用的界面完全遮蔽的视图对应的渲染节点包括所述第三渲染节点;
所述合并所述第一渲染树与第二渲染树得到目标渲染树,具体包括:在合并所述第一渲染树与所述第二渲染树得到目标渲染树的过程中,从所述第一渲染树或所述目标渲染树中删除所述第三渲染节点。
10.根据权利要求9所述的方法,其特征在于,在所述基于所述目标渲染树生成第一界面前,所述方法还包括:
确定被所述第二应用的界面完全遮蔽的视图对应的渲染节点包括所述第三渲染节点;
所述合并所述第一渲染树与第二渲染树得到目标渲染树,具体包括:合并所述第一渲染树与所述第二渲染树得到第三渲染树;从所述第三渲染树中删除所述第三渲染节点得到所述目标渲染树。
11.根据权利要求9或10所述的方法,其特征在于,所述确定被完全遮蔽的视图对应的渲染节点包括所述第三渲染节点,具体包括:
基于所述第一应用的窗口Z序、所述第二应用的窗口Z序、所述第一渲染树和所述第二渲染树确定被所述第二应用的界面完全遮蔽的第一应用的视图对应的渲染节点包括所述第三渲染节点;
或者,确定完全遮蔽区域,并基于所述第一渲染树和所述完全遮蔽区域确定被所述第二应用的界面完全遮蔽的第一应用的视图对应的渲染节点包括所述第三渲染节点,所述完全遮蔽区域为所述第二应用的界面遮蔽第一应用的界面的区域。
12.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
所述第一界面还包括第二应用的界面,所述第二应用的界面完全遮蔽所述第一应用的界面的第一区域,确定所述第一区域;
基于所述第一区域确定被所述第二应用的界面完全遮蔽的视图包括第四视图,所述第一渲染树不包括第四渲染节点,所述第四渲染节点与所述第四视图对应。
13.根据权利要求1-12所述的方法,其特征在于,所述方法还包括:
确定被部分遮蔽的视图包括第五视图;
在第五渲染节点中的绘制指令列表中增加裁剪指令,所述裁剪指令用于指示不渲染所述第五视图中被部分遮蔽的内容,所述第五渲染节点与所述第五视图对应。
14.一种界面生成方法,其特征在于,应用于包括屏幕的电子设备,所述电子设备上运行有第一应用、第二应用和第一进程,所述方法包括:
所述第一应用向所述第一进程发送第一渲染树,所述第一渲染树用于生成所述第一应用的界面;
所述第二应用向所述第一进程发送第二渲染树,所述第二渲染树用于生成所述第二应用的界面;
所述第一进程基于所述第一渲染树和所述第二渲染树生成目标渲染树,所述目标渲染树用于生成第一界面,所述第一界面包括所述第一应用的界面和所述第二应用的界面;
所述第一进程确定第一区域后,基于所述第一区域删除第一渲染节点,所述第二应用的界面完全遮蔽所述第一应用的界面的所述第一区域,所述目标渲染树不包括所述第一渲染节点,所述第一渲染节点为所述第一渲染树中的渲染节点,所述第一渲染节点对应的第一视图位于所述第一区域中,渲染节点保存有对应的视图的绘制指令;
所述第一进程基于所述目标渲染树生成所述第一界面。
15.根据权利要求14所述的方法,其特征在于,在所述第一应用程序发送第一渲染树前,所述方法还包括:
所述第一应用通过遍历视图确定第三渲染树,所述第三渲染树用于生成所述第一应用的界面;
所述第一应用确定被所述第一应用程序的其他视图完全遮蔽的视图包括第二视图;
所述第一应用删除所述第三渲染树中的第二渲染节点得到所述第一渲染树,所述第二渲染节点与所述第二视图对应。
16.根据权利要求14所述的方法,其特征在于,所述方法还包括:
所述第一进程删除第二渲染节点,所述第二渲染节点为所述第一渲染树中的渲染节点,所述第二渲染节点与所述第二视图对应,所述第二视图被所述第一应用的其他视图完全遮蔽。
17.一种界面生成方法,其特征在于,应用于包括屏幕的电子设备,所述方法包括:
所述电子设备在所述屏幕显示第一界面,在所述第一界面中,所述第一应用程序的界面全屏显示第一内容,所述第二应用程序的界面在所述第一应用程序的界面上悬浮显示第二内容,所述第二应用程序的界面在所述第一界面中位于第一区域;
在显示所述第一界面的过程中,所述电子设备生成第一渲染树,所述第一渲染树用于生成所述第一应用的界面;
所述电子设备在所述屏幕显示第二界面,在所述第二界面中,所述第一应用程序的界面全屏显示所述第一内容,所述第二应用程序的界面在所述第一应用程序上悬浮显示所述第二内容,所述第二应用程序在所述第一界面中位于第二区域,所述第一区域与所述区域不同;
在显示所述第二界面的过程中,所述电子设备生成第二渲染树,所述第二渲染树用于生成所述第一应用的界面,所述第一渲染树与所述第二渲染树不同。
18.根据权利要求17所述的方法,其特征在于,
所述第一渲染树用于生成所述第一应用的界面中不包括所述第一区域的界面;
所述第二渲染树用于生成所述第一应用的界面中不包括所述第二区域的界面。
19.根据权利要求17或18所述的方法,其特征在于,所述电子设备生成第一渲染树,具体包括:
所述电子设备基于所述第一区域确定所述第二应用的界面遮蔽的所述第一应用的视图包括第一视图;
所述电子设备生成第三渲染树;
所述电子设备删除所述第三渲染树中的第一渲染节点得到所述第一渲染树,所述第一渲染节点与所述第一视图对应,渲染节点保存有对应的视图的绘制指令。
20.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器、存储器和屏幕;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:如权利要求1-19中任一项所述的方法。
21.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-19中任一项所述的方法。
22.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-19中任一项所述的方法。
23.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-19中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211155586.XA CN117785343A (zh) | 2022-09-22 | 2022-09-22 | 界面生成方法及电子设备 |
PCT/CN2023/120200 WO2024061292A1 (zh) | 2022-09-22 | 2023-09-20 | 界面生成方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211155586.XA CN117785343A (zh) | 2022-09-22 | 2022-09-22 | 界面生成方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117785343A true CN117785343A (zh) | 2024-03-29 |
Family
ID=90391563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211155586.XA Pending CN117785343A (zh) | 2022-09-22 | 2022-09-22 | 界面生成方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117785343A (zh) |
WO (1) | WO2024061292A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9619529B2 (en) * | 2013-03-14 | 2017-04-11 | Adobe Systems Incorporated | Method and system of visualizing rendering data |
US20170221242A1 (en) * | 2016-02-01 | 2017-08-03 | Facebook, Inc. | Automatic overdraw reduction before rendering |
CN110476188B (zh) * | 2017-03-30 | 2024-03-22 | 奇跃公司 | 集中式渲染 |
CN113791706A (zh) * | 2020-09-04 | 2021-12-14 | 荣耀终端有限公司 | 显示处理方法及电子设备 |
-
2022
- 2022-09-22 CN CN202211155586.XA patent/CN117785343A/zh active Pending
-
2023
- 2023-09-20 WO PCT/CN2023/120200 patent/WO2024061292A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024061292A1 (zh) | 2024-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115473957B (zh) | 一种图像处理方法和电子设备 | |
WO2020093988A1 (zh) | 一种图像处理方法及电子设备 | |
EP4160596A1 (en) | Video synthesis method and apparatus, electronic device, and storage medium | |
CN116048933B (zh) | 一种流畅度检测方法 | |
CN115119048B (zh) | 一种视频流处理方法及电子设备 | |
WO2023016014A1 (zh) | 视频编辑方法和电子设备 | |
CN115994006A (zh) | 动画效果显示方法及电子设备 | |
CN117785343A (zh) | 界面生成方法及电子设备 | |
CN113495733A (zh) | 主题包安装方法、装置、电子设备及计算机可读存储介质 | |
WO2024083009A1 (zh) | 界面生成方法及电子设备 | |
WO2024046010A1 (zh) | 一种界面显示方法、设备及系统 | |
CN116795476B (zh) | 一种删除壁纸的方法及电子设备 | |
CN117221713B (zh) | 参数加载方法和电子设备 | |
CN115482143B (zh) | 应用的图像数据调用方法、系统、电子设备及存储介质 | |
CN116193275B (zh) | 视频处理方法及相关设备 | |
CN116522400B (zh) | 图像处理方法和终端设备 | |
WO2024067551A1 (zh) | 界面显示方法及电子设备 | |
CN117909000A (zh) | 界面生成方法及电子设备 | |
WO2024083014A1 (zh) | 界面生成方法及电子设备 | |
CN116089057B (zh) | 资源调度方法、设备、存储介质和程序产品 | |
US20240061549A1 (en) | Application switching method, graphical interface, and related apparatus | |
CN117764853A (zh) | 人脸图像增强方法和电子设备 | |
CN117689796A (zh) | 一种渲染处理方法及电子设备 | |
CN115994007A (zh) | 动画效果显示方法及电子设备 | |
CN117784990A (zh) | 在任务栏显示应用程序的图标的方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |