CN116028149A - 窗口渲染方法、系统、设备、存储介质和计算机程序产品 - Google Patents
窗口渲染方法、系统、设备、存储介质和计算机程序产品 Download PDFInfo
- Publication number
- CN116028149A CN116028149A CN202211058778.9A CN202211058778A CN116028149A CN 116028149 A CN116028149 A CN 116028149A CN 202211058778 A CN202211058778 A CN 202211058778A CN 116028149 A CN116028149 A CN 116028149A
- Authority
- CN
- China
- Prior art keywords
- window
- rendering
- target
- instruction set
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 315
- 238000000034 method Methods 0.000 title claims abstract description 128
- 238000004590 computer program Methods 0.000 title claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 43
- 238000007667 floating Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 70
- 239000010410 layer Substances 0.000 description 45
- 238000010586 diagram Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 28
- 230000006854 communication Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000001960 triggered effect Effects 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 239000003999 initiator Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007858 starting material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种窗口渲染方法、系统、设备、存储介质和计算机程序产品。该方法包括：响应于窗口渲染请求，获取能够将窗口渲染成原始形状的第一渲染指令集，在对此第一渲染指令集中的窗口属信息进行调整以得到包含第二窗口属性信息的第二渲染指令集，其中，第二渲染指令集能够将窗口渲染成目标形状。最终，将第二指令集发送至图形处理器，以由图形处理器直接根据此第二渲染指令集将待渲染的窗口渲染成目标形状。可见，图形处理器能够直接用指令集将窗口渲染成目标形状，图形处理器不存在将原始形状适配为目标形状的过程，因此能够实现渲染流程的简化，降低图形处理器的渲染压力。
Description
技术领域
本发明涉及界面渲染技术领域，尤其涉及一种窗口渲染方法、系统、设备、存储介质和计算机程序产品。
背景技术
随着电子技术以及终端技术的不断发展，在手机、平板电脑等电子设备上可以安装各类应用程序(Application，简称APP)，各类APP可以为用户提供娱乐、餐饮、交通、医疗等多方面的服务。在实际中，当用户对终端设备上安装的APP产生比如启动、退出、显示窗口悬浮等各种触控操作后，电子设备的显示界面上可以以窗口的形式显示与触控操作对应的界面内容。
通常情况下，显示界面上显示的窗口可以由电子设备中的图形处理器(GraphicsProcessing Unit，简称GPU)渲染得到，且窗口的形状是在APP开发时进行的设置固定形状。但随着电子设备屏幕形状的改变，预先设置的窗口形状可能与电子设备屏幕的形状不匹配。
现有技术中，为了优化窗口的显示效果，GPU还需要对窗口形状进行适配处理，比如将窗口的形状渲染成与屏幕形状相同的形状，但此适配过程会增大GPU的渲染压力，而过大的渲染压力又有可能造成电子设备具有界面卡顿等不佳的视觉效果。
发明内容
本发明的多个方面提供一种窗口渲染方法、系统、设备、存储介质和计算机程序产品，用以减小GPU的渲染压力。
本发明实施例提供一种窗口渲染方法，包括：
响应于窗口渲染请求，获取用于将窗口渲染成原始形状的第一渲染指令集；
根据所述第一渲染指令集中的第一窗口属性信息，确定第二窗口属性信息；
根据所述第二窗口属性信息，生成用于将窗口渲染成目标形状的第二渲染指令集发送所述第二渲染指令集至图形处理器，以由图形处理器通过执行所述第二渲染指令集将待渲染的目标窗口渲染成所述目标形状。
本发明实施例提供一种渲染系统，包括：中央处理器以及图形处理器；
所述中央处理器，用于响应于窗口渲染请求，获取用于将窗口渲染成原始形状的第一渲染指令集；根据所述第一渲染指令集中的第一窗口属性信息，确定第二窗口属性信息；根据所述第二窗口属性信息，生成用于将窗口渲染成目标形状的第二渲染指令集；
所述图形处理器，执行所述第二渲染指令集将待渲染的目标窗口渲染成所述目标形状。
本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述的窗口渲染方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现上述的窗口渲染方法。
本发明实施例提供了一种计算机程序产品，计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的窗口渲染方法。
本发明实施例提供的窗口渲染方法中，响应于窗口渲染请求，GPU先获取能够将窗口渲染成原始形状的第一渲染指令集，并从此第一渲染指令集中提取出第一窗口属性信息。再根据此第一窗口属性信息确定第二窗口属性信息，以进一步生成包含第二窗口属性信息的第二渲染指令集。其中，第二渲染指令集能够将窗口渲染成目标形状。最终，发送第二渲染指令集至图形处理器，以由此图形处理器直接根据此第二渲染指令集将待渲染的目标窗口渲染成目标形状。
上述过程中，通过窗口属性信息的重新计算可以得到用于将窗口渲染成目标形状的第二渲染指令集，GPU直接执行此第二渲染指令集即可将目标窗口渲染成目标形状。可见，上述实际上是一种直接渲染的方式，在该过程中，图形处理器不存在先将目标窗口渲染成原始形状，再将原始形状适配为目标形状的过程，因此，能够实现渲染流程的简化，降低图形处理器的渲染压力。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一示例性实施例提供的一种电子设备的结构示意图；
图2为本发明一示例性实施例提供的另一种电子设备的结构示意图；
图3为本发明另一示例性实施例提供的一种场景示意图；
图4a为本发明又一示例性实施例提供的一种电子设备显示过程的示意图；
图4b为本发明又一示例性实施例提供的另一种电子设显示过程的示意图；
图4c为本发明又一示例性实施例提供的又一种电子设备显示过程的示意图；
图4d为本发明又一示例性实施例提供的又一种电子设备显示过程的示意图；
图5为本发明又一示例性实施例提供的GPU渲染窗口的示意图；
图6为本发明又一示例性实施例提供的一种窗口渲染方法的流程图；
图7为本发明又一示例性实施例提供的圆角化处理的示意图；
图8为本发明图6所示实施例提供中步骤S101的一种可实现方式的流程图；
图9为本发明又一示例性实施例提供的GPU和硬件渲染器渲染窗口的示意图；
图10a为本发明又一示例性实施例提供一种渲染系统的结构示意图；
图10b为与图10a所示实施例对应的图形处理系统的结构示意图；
图11a为本发明又一示例性实施例提供另一种渲染系统的结构示意图；
图11b为与图11a所示实施例对应的图形处理系统的结构示意图；
图12为本发明又一示例性实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
针对现有的技术问题，本发明实施例提供一种解决方案，该方案的基本思路是：图形处理器通过窗口属性信息的调整以得到用于将窗口渲染成目标形状的渲染指令集，并使用此渲染指令渲染出形状满足要求的窗口。通过属性信息的调整，可以使图形处理器省去窗口形状适配的过程，从而达到简化渲染流程，降低渲染压力的效果。
下面再结合附图对本发明各实施例提供的技术方案作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
本发明实施例提供的窗口渲染方法可以应用于电子设备上，电子设备包括但不限于手机、平板电脑、笔记本电脑、可穿戴设备等支持触控功能的触控一体机。
以手机为例，图1为本发明实施例提供的一种电子设备100的结构示意图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(Subscriber Identification Module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本发明另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(Application Processor，简称AP)，调制解调处理器，图形处理器(Graphics ProcessingUnit，简称GPU)，图像信号处理器(Image Signal Processor，简称ISP)，控制器，视频编解码器，数字信号处理器(Digital Signal Processor，简称DSP)，和/或基带处理器，等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(Inter-integrated Circuit，简称I2C)接口，集成电路内置音频(Inter-integratedCircuit Sound，简称I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，简称UART)接口，移动产业处理器接口(Mobile Industry Processor Interface，简称MIPI)，通用输入输出(General-purpose Input/Output，简称GPIO)接口，用户标识模块(Subscriber IdentityModule，简称SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(Serial Data Line，SDA)和一根串行时钟线(Derail Clock Line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。在一些实施例中，处理器110和摄像头193通过MIPI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过MIPI接口通信，实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。
USB接口130是符合USB标准规范的接口，USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。
充电管理模块140用于从无线充电器或有线充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks，简称WLAN)，蓝牙(Bluetooth，简称BT)，全球导航卫星系统(GlobalNavigation Satellite System，简称GNSS)，调频(Frequency Modulation，简称FM)，近距离无线通信技术(Near Field Communication，简称NFC)，红外技术(Infrared，IR)等无线通信的解决方案。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(Global System for Mobile Communications，GSM)，通用分组无线服务(General Packet Radio Service，简称GPRS)，码分多址接入(Code Division Multiple Access，简称CDMA)，宽带码分多址(Wideband Code DivisionMultiple Access，简称WCDMA)，时分码分多址(Time-Division Code Division MultipleAccess，简称TD-SCDMA)等。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图形处理器，连接显示屏194和应用处理器。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，简称LCD)，有机发光二极管(Organic Light-Emitting Diode，简称OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-Matrix Organic Light Emitting Diode，简称AMOLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。
摄像头193用于捕获静态图像或视频。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(Open Mobile Terminal Platform，简称OMTP)标准接口，或者美国蜂窝电信工业协会(Cellular Telecommunications Industry Association ofthe USA，简称CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。
气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体，否则电子设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。在一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热或对电池142的输出电压执行升压，以避免低温导致电子设备100异常关机。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。
图2为本发明实施例提供的另一种电子设备100的结构示意图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，硬件抽象层以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface，简称API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示，应用程序框架层可以包括视图系统及其接口，图形系统及其接口、以及其他系统服务。其中，系统服务可以包括：窗口管理器，内容提供器，电话管理器，资源管理器，通知管理器等等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
图形系统及其接口包括：画笔(paint)、缓存队列(buffer queue)、渲染顶点(render node)、初始化组件、图形API。其中，初始组件用于完成缓存队列的初始化。图形API比如可以是Canvas，其是一个2D图形的API，初始化组件比如可以是Blast BufferQueue。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(Surface Manager)，显示合成系统(Surface Flinger)媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，二维图形引擎(例如：SGL)等。
表面管理器用于对显示合成系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成和图层处理等。
二维图形引擎是二维绘图的绘图引擎。
硬件抽象层(Hardware Abstraction Layer,简称HAL)，位于操作系统内核与硬件电路之间的接口层，其目的在于将硬件抽象化。HAL包含多个库模块，其中每个模块都为特定类型的硬件组件实现一个界面，例如相机或蓝牙模块。当框架API要求访问设备硬件时，安卓系统将为该硬件组件加载库模块。
HAL具体可以包括：图形内存分配器Gralloc，用于对图形系统中的缓存队列分配内存。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
需要说明的有，图2所示的结构示意图中的HAL、图形系统及其接口和系统库可以构成电子设备100中的图形处理系统。
为了更好的理解本发明的技术方案，先对本发明涉及的重要技术名词“窗口”进行介绍。
窗口可以认为是每个应用程序在启动、退出等不同的使用阶段，在终端设备上所显示的图形界面。以视频应用程序为例，其提供的图形界面可以包括该应用程序在启动过程中产生的启动界面，在退出过程中产生的退出界面，以及该应用程序启动完成后显示的主界面、搜索结果界面、视频播放界面等等。并且在每个窗口还对应有至少一个窗口元素。举例来说，视频应用程序的主界面或者搜索结果界面中显示的待播放剧集对应的图标，或者视频播放界面中控制视频播放进度和/或播放方式的功能按键。这些控件也可以称为该窗口对应的窗口元素。视频应用程序的启动界面或者退出界面也可以对应有至少一个窗口元素，该窗口元素的具体内容的具体内容可以结合下述各实施例中的相关描述进行理解。
基于上述介绍，图3为本发明所应用的一种场景的示意图，如图1和图2所示的电子设备可以应用在图3所示的场景中。本发明下述各实施例中以电子设备为手机为例进行示意性描述，但电子设备并非对限定于手机。
图3为手机的主屏幕界面，该主屏幕界面包括界面顶部的状态栏(Status Bar)、界面底部的导航栏(Navigation Bar)(图中并未示出)、壁纸和桌面启动器(Launcher)。用户可以对桌面启动器中目标应用程序的目标图标触发触控操作，其中，目标图标可以是桌面启动器中任一应用程序对应的图标，如图3给出的示例，目标应用程序可以是视频应用程序。并且在实际中，触控操作的产生时机可以包括以下几种：
一种时机是在目标图标对应的应用程序的启动或者退出时产生。此时，可选地，触控操作可以是在目标应用程序启动时，用户对目标图标触发的点击操作；触控操作也可以是在目标应用程序退出时，用户对导航栏中的退出控件触发的点击操作或者用户对手机主界面触发的上划操作等等。
另一种时机是在目标应用程序启动之后产生，即在目标应用程序退出之前产生。此时，可选地，此触控操作可以是用户对目标界面中特定控件触发的点击操作。其中，目标界面可以是目标应用程序中的视频播放界面，特定控件被触控后能够使该目标界面具有悬浮窗口的显示效果。
当触控操作在目标应用程序启动时产生，则手机的GPU可以将目标应用程序在启动过程中产生的启动界面作为目标窗口进行渲染，GPU还需要对启动完成后目标应用程序的主界面进行渲染，从而最终实现目标应用程序的启动。
在将启动界面作为目标窗口的渲染过程中，GPU渲染出的目标窗口的形状可以是目标应用程序的开发方预先设置的原始形状，比如正方形、矩形等形状。但由于此原始形状往往与手机屏幕的形状不同，因此，会导致用户的使用体验不佳。当原始形状具体为矩形时，GPU渲染目标窗口的过程可以结合图4a理解。该图中的第二幅图和第三幅图实际上是目标应用程序启动过程中出现的启动界面。在该启动界面中，矩形的、处于放大状态的目标应用程序的图标即为目标窗口，而手机主屏幕中的状态栏、启动栏、桌面启动器、壁纸等部分即为启动界面(即目标窗口)对应的窗口元素。图4a中的最后一幅图实际上是完成启动后目标应用程序的主界面。
在上述情况下，为了优化目标窗口的显示效果，即使得目标窗口与手机屏幕具有相同的形状，则GPU在将目标窗口渲染成原始形状之后，GPU还可以对目标窗口的形状进行调整，即调整成与手机屏幕相同的形状，也即是实现窗口形状的适配。此形状调整过程也可以认为是将原始形状剪裁为目标形状。当存在此形状适配过程时，在目标应用程序启动阶段，GPU需要进行窗口的渲染和剪裁，从而最终实现具有目标形状的目标窗口的渲染。此渲染过程可以结合图4b理解。该图中的后三幅图都可以认为是GPU需要渲染的、具有目标形状的目标窗口。
类似的，当触控操作在目标应用程序退出时产生，则GPU同样可以以窗口的形式对产生触发操作时显示的界面进行渲染，从而实现目标应用程序的前台退出。在该退出界面中，矩形的、处于缩小状态的目标应用程序的主界面即为目标窗口，而手机主屏幕中的状态栏即为退出界面(即目标窗口)对应的窗口元素。如果目标窗口形状不适配即依旧为矩形，则同样存在上述使用体验不佳的问题。则可选地，GPU还可以对窗口的形状进行调整，即使得窗口的形状可以与手机显示屏的形状相同。存在形状调整的渲染过程可以结合图4c理解。
当目标应用程序中的目标界面要以悬浮窗口的样式进行显示时，则GPU也可以对此悬浮窗口进行渲染。渲染过程可以结合图4d理解。
根据上述图4b～图4d所示的渲染过程可知，GPU在将目标窗口渲染为目标形状的过程中存在形状调整过程，这种先渲染再调整的处理方式可以导致GPU的处理压力增大。
根据上述图4b～图4d所示的渲染过程还可知，对于用户在不同时机触发的触控操作，GPU可以将待渲染的目标窗口并对其进行多次渲染，从而使得应用程序在启动、退出或者窗口的悬浮显示过程中窗口的动效是顺滑的，但这种多次渲染的方式显然也会增大GPU的渲染压力。
并且多次渲染中的每一次渲染，GPU除了要将目标窗口渲染成原始形状再调整成目标形状，还要渲染目标窗口对应的窗口元素，比如手机的状态栏、导航栏以及桌面启动器等等。其中，目标窗口的形状、目标窗口对应的各窗口元素都可以称为一个Layer。以图4b中第二幅图所示的渲染状态为例，在GPU将目标窗口渲染成与手机显示屏形状相同的过程中，一种具体的渲染方式可以如图5所示。根据该图可知，GPU需要先分别渲染Layer1～Layer5，然后对Layer4进行形状适配，即将原始形状(即矩形)的Layer4重新渲染成目标形状(即圆角矩形)的Layer4’，最终GPU还需要将Layer1～3、Layer4’和Layer5进行合成并送显。由于上述的渲染过程中，GPU在进行窗口适配后，还要进行渲染结果的合成送显，从而进一步增大了GPU的渲染压力。
综上所述，在按照上述方式进行窗口渲染的过程中，在保证窗口动效顺滑的同时，也能够保证窗口形状与手机屏幕匹配，但此时GPU会因为多种原因造成自身的渲染压力大。而要想在保证窗口动效顺滑显示的同时还想要减小GPU的渲染压力，则可以使用本发明下述各实施例提供的窗口渲染方法。
图6为本发明一示例性实施例提供的窗口渲染方法的流程示意图。本实施例所提供方法可以由手机中配置的CPU执行。如图6所示，该方法可以包括以下步骤：
S101，响应于窗口渲染请求，获取用于将窗口渲染成原始形状的第一渲染指令集。
响应于窗口渲染请求，手机中的中央处理器(central processing unit，简称CPU)可以通过系统调用的方式获取第一渲染指令集。
其中，窗口渲染请求可以对应于目标应用程序提供的任一窗口(即目标窗口)，第一渲染指令集也可以对应于该目标应用程序。可选地，第一渲染指令集可以由目标应用程序的开发方编写。
其中，可选地，手机中配置的GPU可以利用渲染线程获取到第一渲染指令集，该渲染线程也即为手机中运行的众多渲染线程中目标应用程序所对应的渲染线程。第一渲染指令集被GPU执行后可以将目标窗口渲染成原始形状。原始形状可以是在目标应用程序开发时进行设置的，比如可以设置成正方形、矩形等与手机屏幕形状不匹配的形状。
对于该窗口渲染请求的生成，一种可选地方式，响应于用户对安装目标应用程序的手机产生非触控指令比如语音指令或者摇晃等动作，可以生成窗口渲染请求。另一种可选地方式，正如图4b～图4d所示的使用场景，响应于用户对目标应用程序触发触控指令，可以生成窗口渲染请求。
并且针对后一种生成方式，用户产生触控指令的时机不同，GPU所要渲染的目标窗口可以是该目标应用程序的启动界面、退出界面、主界面、搜索结果界面、视频播放界面等任一界面。具体来说，以目标应用程序为视频应用程序为例，正如图4b～图4d所示的，当触控操作在视频应用程序的启动时产生，待渲染的目标窗口可以为视频应用程序的启动界面，该启动界面可以包括在视频应用程序启动过程中手机上显示的所有界面以及应用启动完成后的视频应用程序的主界面。当触控操作在视频应用程序的退出时产生，待渲染的目标窗口可以为退出界面，而该退出界面可以包括触发触控操作时手机屏幕上正在显示的界面，比如结果搜索界面、主界面等等。当触控操作在应用程序启动之后产生，待渲染的目标窗口可以为视频播放界面。
S102，根据第一渲染指令集对应的第一窗口属性信息，确定第二窗口属性信息。
S103，根据第二窗口属性信息，生成用于将窗口渲染成目标形状的第二渲染指令集。
S104，发送第二渲染指令集至图形处理器，以由图形处理器执行第二渲染指令集将待渲染的目标窗口渲染成目标形状。
然后，CPU可以从第一渲染指令集中提取出第一窗口属性信息，并按照目标窗口需要渲染成的目标形状对第一窗口属性信息进行重新计算，从而得到第二窗口属性信息。其中，第一窗口属性信息可以作为第一渲染指令集的参数。第一窗口属性信息具体可以包括：原始形状的目标窗口的尺寸信息以及目标窗口在手机显示屏中的显示位置。举例来说，当原始形状为矩形时，则第一窗口属性信息包括目标窗口的长、宽以及目标窗口与手机显示屏4个边界之间的距离。
接着，CPU还可以根据第二窗口属性信息生成第二渲染指令集，并发送第二渲染指令集至GPU。GPU可以通过执行此第二渲染指令集以将目标窗口渲染成目标形状，也即是实现窗口形状的调整和适配。
对于第二渲染指令集的生成，一种可选地方式，可以将第二窗口属性信息作为输入参数填写到预先编写完成的原始指令集中，从而得到第二渲染指令集。其中，原始指令集可以由手机系统的开发方编写，且原始指令集中的参数未被设置。
为了保证GPU的顺利渲染，可选地，CPU还可以对第二渲染指令集进行编译，以得到GPU能够直接执行的渲染程序，并将该渲染程序发送至GPU。
另外，对于原始形状和目标形状之间的对应关系，还可以进行以下说明：
正如上述提及的，原始形状可以是在应用程序开发时设置的，比如可以是正方形、矩形等等。而目标形状可以是与原始形状不同的任一种其他形状，从而实现窗口形状在不同场景下的适配。但根据背景技术中提到的场景，一种最常见的适配场景为：通过窗口形状改变来优化窗口在手机上的显示效果，考虑到手机屏幕具有的圆角形状，则可选地，目标形状通常可以为对原始形状进行圆角化处理后得到的处理结果。对某一形状进行圆角化处理可以结合图7理解。
在本实施例中，响应于窗口渲染请求，CPU可以执行后续的处理过程以使GPU将目标窗口渲染成目标形状，因此，CPU和GPU可以将窗口渲染请求作为是否启动圆角渲染的标识。本实施例中，响应于窗口渲染请求，CPU可以先获取能够将窗口渲染成原始形状的第一渲染指令集，并从此第一渲染指令集中提取出第一窗口属性信息。再根据此第一窗口属性信息确定第二窗口属性信息，以进一步生成包含第二窗口属性信息的第二渲染指令集。其中，第二渲染指令集能够将窗口渲染成目标形状。最终，发送第二渲染指令集至GPU，以由GPU直接根据此第二渲染指令集将待渲染的目标窗口渲染成目标形状。
上述过程中，通过窗口属性信息的重新计算可以直接得到用于将窗口渲染成目标形状的第二渲染指令集，GPU直接执行此第二渲染指令集即可将目标窗口渲染成目标形状。也即是上述方法实际上是一种直接渲染的过程，在该过程中，GPU不存在先将目标窗口渲染成原始形状，再将原始形状适配为目标形状的过程，因此，能够实现渲染流程的简化，降低GPU的渲染压力。
根据图6所示实施例中的描述可知，响应于窗口渲染指令，CPU可以通过系统调用的方式获取第一渲染指令集。对于具体的获取方式，可选地，图8为本发明一示例性实施例提供的获取第一渲染指令集的流程示意图，也即是步骤S101的一种可选实现方式的流程图。如图8所示，可以包括以下步骤：
S1011，响应于窗口渲染请求，获取目标窗口对应的控件树以及渲染控件树中各节点所需的第三渲染指令集。
S1012，遍历控件树，以得到描述目标窗口的窗口属性的目标节点。
S1013，在第三渲染指令集中，将渲染目标节点所需的指令确定为第一渲染指令集。
响应于窗口渲染请求，CPU可以通过系统调用的方式获取待渲染的目标窗口对应的控件树。控件树中的一个节点对应于此目标窗口所对应的一个窗口元素。举例来说，如图4b所示的显示过程，对于作为目标窗口的启动界面，该界面的属性信息、该界面顶部的状态栏、桌面启动器、手机的壁纸以及界面底部的导航栏中的每个按钮都可以认为是一个窗口元素即控件树中的一个节点。其中，界面的属性信息即为目标窗口的窗口属性信息，而窗口属性信息的具体内容可以参见上述实施例中的相关描述。类似的，如图4c所示的显示过程，对于作为目标窗口的搜索结果界面，该界面的属性信息、界面顶部的状态栏可以认为是一个窗口元素。如图4d所示的显示过程，对于作为目标窗口的视频播放界面，该界面的属性信息、播放界面中的任一功能按钮也都可以认为是一个窗口元素。
同时，响应于窗口渲染请求，CPU还可以通过系统调用的方式获取到渲染控件树中各节点所需的第三渲染指令集。第三渲染指令集可以包括多条指令，控件树中的每个节点对应于第三渲染指令集中的至少一条指令，GPU通过执行与某一节点对应的至少一条指令从而完成该节点对应的窗口元素的渲染。
进一步地，CPU遍历控件树，将控件树中描述目标窗口的窗口属性的节点确定为目标节点，并在第三指令集中确定渲染此目标节点所需的至少一条指令确定为第一渲染指令集。
本实施例中，CPU可以通过遍历控件树的方式获取目标窗口对应的第一渲染指令集，基于此，与图6所示实施例相同的，GPU可以执行此第二渲染指令集以将目标窗口渲染成目标形状。可见，上述实际上是一种直接渲染的方式，在该过程中，GPU不存在先将目标窗口渲染成原始形状，再将原始形状适配为目标形状的过程，因此，能够实现渲染流程的简化，降低GPU的渲染压力。
如图4b～图4d所示的显示过程可知，GPU将目标窗口渲染成目标形状的同时，还需要渲染目标窗口对应的窗口元素，对于不同的目标窗口，GPU所要渲染的窗口元素也不同。并且GPU渲染得到的目标形状的目标窗口、以及该窗口中各窗口元素的渲染结果、以及手机的状态栏以及导航栏的渲染结果都可以存储于内存缓冲区(framebuffer)中。其中，GPU渲染出的具有目标形状的窗口、该窗口中各窗口元素的渲染结果都可以称为一个Layer。内存缓冲区中的多个Layer可以发送至硬件渲染器，以由此硬件渲染器进行Layer合成和显示。可选地，此硬件渲染器可以是HWC(hwcomposer)，在手机支持的安卓系统中，该硬件渲染器可以位于安卓系统中的HAL层。
举例来说，如图4b所示的显示过程，启动界面顶部的状态栏、桌面启动器和底部的导航栏各都可以认为是需要渲染的窗口元素。类似的，如图4c所示的显示过程，状态栏可以认为是一个窗口元素。如图4d所示的显示过程，视频播放界面中的任一功能按钮都可以认为是一个窗口元素。
在图5所示此渲染过程，GPU负责渲染多个Layer即渲染目标窗口以及窗口元素，并进一步将渲染结果进行合成并送显，也即是GPU负责窗口渲染的所有流程，从而增加了GPU渲染压力和合成压力。而在本实施例中，在GPU将目标窗口以及窗口元素都渲染完成后，可以由硬件渲染器进行渲染结果的合成，并将合成结果送显。也即是在窗口渲染的流程中，窗口的渲染和合成可以分别由GPU和硬件渲染器执行，相比于由GPU完成全部的渲染、合成和送显，上述方式能够减轻GPU的工作压力，保证目标窗口的动态效果能够在手机上流畅性地显示。上述实施例的过程也可以结合图9理解。
根据上述各实施例中的描述可知，GPU执行包含第一窗口属性信息的第一渲染集即可将目标窗口渲染成原始形状，且GPU渲染出的此目标窗口还是符合手机的显示要求的。可选地，显示要求可以包括手机的屏幕尺寸，则原始形状的目标窗口的尺寸需要与手机屏幕的大小适配，即原始形状的目标窗口能够铺满手机屏幕。可选地，显示要求还可以包括手机的屏幕亮度，即原始形状的目标窗口中各像素点的像素值也需要和手机屏幕的亮度适配。
然而，在实际中，由于手机的屏幕大小是多种多样的，并且屏幕亮度也是用户根据需要自身设置的，因此，响应于窗口渲染请求，CPU可以先得到第一渲染指令集对应的原始窗口属性信息，该原始窗口属性信息即为应用程序的开发方针对预设屏幕亮度和预设屏幕尺寸设置的属性信息。同时，响应于窗口渲染请求，CPU还可以获取到手机的显示要求，并利用此显示要求调整原始窗口属性信息，以得到上述步骤S101中的第一窗口属性信息。其中，显示要求可以具体表现为窗口属性信息的变换矩阵。
为了便于理解，可以以下举例对以上提供的窗口渲染方法的具体实现过程进行示例性说明。下述内容可以结合图4b～图4d所示的显示过程和图9所示的渲染过程理解。
假设一款屏幕为圆角矩形的手机上安装有视频应用程序，则响应于用户对该应用程序触发的启动操作，生成窗口渲染请求。CPU响应于此窗口渲染请求，获取第一渲染指令集并从中提取出第一窗口属性信息。接着，根据第一窗口属性信息计算出第二窗口属性信息，并生成包含第二窗口属性信息的第二渲染指令集。其中，第一窗口属性信息对应的窗口形状为矩形，第二窗口属性信息对应的窗口形状为圆角矩形。
接着，CPU对第二渲染指令集进行编译并将编译得到的渲染程序发送给GPU，以由GPU执行此渲染程序将视频应用程序的图标作为一个Layer渲染成圆角矩形。由于GPU是直接执行渲染程序以将图标渲染成圆角矩形的，GPU不存在先将图标渲染成矩形再将矩形适配为圆角矩形的过程，因此，能够实现渲染流程的简化，降低GPU的渲染压力。同时，GPU还可以将手机的状态栏、导航栏以及手机主屏幕中的各图标作为不同的Layer进行渲染。
GPU渲染出的渲染结果可以存储于framebuffer中，并在渲染结果的数据量达到framebuffer的存储容量上限时发送至HWC。最终，HWC可以对framebuffer中的渲染结果进行合成并送显，此时，手机屏幕上即可显示有HWC的合成结果。合成结果如图4b的第一幅图所示。即CPU、GPU和HWC经过上述的一轮协同工作，使得手机屏幕上显示的内容如图4b的第二幅图所示，与上述过程相同的，CPU、GPU和HWC再经过至少一轮轮协同工作，手机屏幕上显示的内容可以如图4b的第三幅图所示。其中，CPU、GPU和HWC的具体协同工作过程可以参见上述图6～图8所示实施例中的相关描述。
最终，GPU执行此渲染程序将视频应用程序主界面中的各待播放剧集对应的图标以及手机的状态栏、导航栏以及手机主屏幕中的各图标作为不同的Layer进行渲染，并将渲染结果缓存与framebuffer，以使HWC可以对framebuffer中的渲染结果进行合成并送显，此时，手机屏幕上显示的内容可以如图4b的第四幅图所示。此时也即是完成了视频应用程序主界面的渲染，也即是完成了视频应用程序的启动。并且主界面的窗口形状与手机的屏幕形状相适应，即都是圆角矩形。上述的多次渲染能够保证主界面平滑展示给用户的。
上述过程中，由于应用程序主界面的渲染和合成可以分别由GPU和HWC执行，相比于由GPU完成全部的渲染、合成和送显流程，上述方式能够减轻GPU的工作压力，从而保证目标窗口的动态效果能够在手机上流畅性地显示。
在视频应用程序的主界面渲染完成后，用户还可以在视频应用程序的主界面中输入关键词，此时，手机的显示状态可以如图4c中的第一幅图所示。进一步地，用户可以选择其中的一个剧集进入观看，此时，手机的显示状态可以如图4d中的第一幅图所示。当用户对当前正在播放的剧集触发退出操作后，还可以生成窗口渲染请求。则CPU响应于该请求，依旧可以根据从第一渲染指令集提取出第一窗口属性信息计算出第二窗口属性信息，并进一步生成包含第二窗口属性信息的第二渲染指令集。最终，GPU和HWC经过多次协同工作可以使手机的显示状态如图4d中的第二幅图所示，即视频以悬浮窗口的样式显示上手机屏幕上。其中，在实现图4d中的第二幅图所示的悬浮窗口的过程，GPU和HWC同样需要渲染和合成多次，以实现窗口形状的渐变。在视频以悬浮窗口进行播放的过程中，用户还可以选择关闭该悬浮窗口，此时，手机的显示状态被还原可以成如图4c中的第一幅图所示的样子。
在手机的显示状态为图4c中的第一幅图时，用户也可以想要退出此视频应用程序，此时，用户还可以对视频应用程序触发退出操作，以生成窗口渲染请求。如图4c所示，用户触发的推迟操作可以是用户在屏幕底部触发的向上滑动操作。则CPU可以再次响应于此请求，根据第一渲染指令集生成第二渲染指令集。此时，GPU和HWC经过至少一次协同工作可以使手机的显示状态如图4c中第一幅图所示的状态切换到如图4b中第二幅图所示的状态。GPU和HWC再经过至少一次次协同工作即可使手机的显示状态如图4b中第二幅图所示的状态切换到如图4c中第三幅图所示的状态。此时，也即是实现了视频应用程序的前台退出，并且该应用程序在后台运行的窗口的形状与手机的屏幕形状相适应，即都是圆角矩形。
在上述各方法实施例提供的渲染方法的基础上，图10a为本发明实施例提供的一种图形渲染系统的结构示意图。如图10a所示，该系统可以包括：中央处理器(CPU)以及图形处理器(GPU)。
具体来说，CPU可以先响应于用户触发的触控操作，获取用于将窗口渲染成原始形状的第一渲染指令集。然后，根据第一渲染指令集中的第一窗口属性信息，确定第二窗口属性信息。再根据第二窗口属性信息，生成用于将窗口渲染成目标形状的第二渲染指令集。最终，GPU可以执行第二渲染指令从而实现将待渲染的目标窗口渲染成目标形状。本实施例中，CPU具体得到第二渲染指令集的过程可以参见上述各方法实施例中的相关描述，在此不再赘述。
本实施例中，响应于窗口渲染请求，CPU可以执行后续的处理过程以使GPU将目标窗口渲染成目标形状，因此，CPU和GPU可以将窗口渲染请求作为是否启动圆角渲染的标识。本实施例中，响应于窗口渲染请求，CPU可以先获取能够将窗口渲染成原始形状的第一渲染指令集，并从此第一渲染指令集中提取出第一窗口属性信息。再根据此第一窗口属性信息确定第二窗口属性信息，以进一步生成包含第二窗口属性信息的第二渲染指令集。其中，第二渲染指令集能够将窗口渲染成目标形状。最终，发送第二渲染指令集至GPU，以由GPU直接根据此第二渲染指令集将待渲染的目标窗口渲染成目标形状。
上述过程中，通过窗口属性信息的重新计算可以直接得到用于将窗口渲染成目标形状的第二渲染指令集，GPU直接执行此第二渲染指令集即可将目标窗口渲染成目标形状。也即是上述方法实际上是一种直接渲染的过程，在该过程中，GPU不存在先将目标窗口渲染成原始形状，再将原始形状适配为目标形状的过程，因此，能够实现渲染流程的简化，降低GPU的渲染压力。
基于上述描述，图10a中图形处理器的具体工作过程还可以结合图10b所示的图形处理系统理解。其中，图10b所示的图形处理系统可以包含于图2所示的结构中。
如图10b所示，图形处理系统具体可以包括图形系统及其接口和系统库、以及HAL。其中，如图所示，图形系统具体又可以包括画笔、缓存队列、渲染顶点、初始化组件。系统库具体可以包括显示合成系统、二维图形引擎、三维图像处理库等等。可选地，初始化组件具体可以是上述提及的Blast Buffer Queue，其用于完成缓存队列的初始化。可选地，图形系统的图形API比如也可以是上述提及的Canvas。HAL具体可以包括图形内存分配器，用于为作为图形生产者的GPU分配内存。
基于上述的图形处理系统，目标窗口的渲染过程可以描述为：图形处理系统中的图形API比如Canvas可以调用第二指令集。由于在本发明各实施例提供的方法或系统的具体应用场景中，渲染的都是二维图像，则可以借助系统库中的表面管理器、二维图形引擎等组件实现第二指令集的执行，从而得到具有目标形状的目标窗口，比如图9中的Layer4。同时由于目标窗口还对应于至少一个窗口元素，比如手机的状态栏、壁纸、导航栏等等，因此，还可以借助图形处理系统中的系统库对目标窗口对应的窗口元素进行渲染，以分被得到图9中的Layer1～3以及Layer5。此时，Layer1～5都可以作为渲染结果存储于图形处理系中的缓存队列中。其中，在Layer1～5的渲染过程中，图形系统可以使用画笔，并按照渲染顶点进行渲染。得到的渲染结果可以存储于图形内存分配器分配的内存中。
按照上述方式，当一个目标窗口及其对应的所有窗口元素都渲染完成后，即选染出一个目标窗口及其对应的所有Layer后，可选地，GPU还可以作为图形消费者对缓存队列中一个目标窗口对应的所有渲染结果进行合成并送显。
根据图10b所示的渲染过程可知，目标窗口以及目标窗口对应的各窗口元素的渲染可以借助图形处理系统中应用程序框架层中的图形系统及其接口、系统库中的表面管理器、二维图形引擎以及硬件抽象层中的图形内存分配器协同完成。此渲染过程消耗的是GPU的资源。并且渲染结果的合成可以借助图形处理系统中系统库包含合成显示系统实现。并且使用合成显示系统对渲染结果的合成消耗的是GPU的资源。
在图10a和图10b所示的实施例中，GPU可以作为图形生产者将目标窗口渲染成目标形状并且也对目标窗口对应的所有窗口元素进行渲染，同时，GPU还可以作为图形消费者进一步对缓存队列中的渲染结果进行合成并送显。但这种GPU既充当图形生产者有充当图形消费者的方式，会增加GPU资源的消耗即显然会增大GPU的数据处理压力。
则为了改善此问题，可选地，图11a为本发明实施例提供的另一种图形渲染系统的结构示意图。如图11a所示，在图10a所示实施例的基础上，该系统还可以包括：硬件渲染器。
硬件渲染器，用于将缓存队列中目标形状的目标窗口以及目标窗口对应的所有窗口元素各自对应的渲染结果进行合并并送显。
本实施例中，由于目标窗口以及目标窗口对应的各窗口元素的渲染和合成可以分别由GPU和硬件渲染器执行，相比于由GPU完成全部的渲染、合成和送显流程，上述方式能够减轻GPU的工作压力，从而保证目标窗口的动态效果能够在手机上流畅性地显示。
基于上述描述，图11a中图形处理器的具体工作过程还可以结合图11b所示的图形处理系统理解。在图11b所示的图形处理系统的基础上，图形处理系统中的HAL还可以包括：硬件渲染器。
具体来说，承接图10a和图10b所示实施例中的举例，当缓存队列中缓存有图9中的Layer1～5时，系统库中的合成显示系统可以向HAL中的硬件渲染器发送通知，以使硬件渲染处理器响应于该通知从缓存队列中获取Layer1～5各自对应的渲染结构，并对Layer1～5进行合成并送显。HAL包含的硬件渲染器具体可以表现上述实施例中HWC。
根据图11b所示的渲染方式可知，目标窗口以及目标窗口对应的各窗口元素的渲染同样可以由图形处理系统中应用程序框架层中的图形系统及其接口、系统库中的表面管理器、二维图形引擎以及硬件抽象层中的图形内存分配器协同完成。此渲染过程消耗的是GPU的资源。渲染结果的合成送显可以由图像处理系统中的硬件渲染器完成，此合成过程消耗的是硬件渲染器的资源。相比于消耗GPU的资源完成全部的渲染、合成和送显流程，上述方式能够减轻GPU的工作压力，从而保证目标窗口的动态效果能够在手机上流畅性地显示。
在一个可能的设计中，上述各实施例提供的窗口渲染方法可以应用在一电子设备中，如图12所示，该电子设备可以包括：处理器21和存储器22。
存储器22，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。
处理器21，与存储器22耦合，用于执行存储器21中的计算机程序，以用于：
响应于窗口渲染请求，获取用于将窗口渲染成原始形状的第一渲染指令集；
根据所述第一渲染指令集中的第一窗口属性信息，确定第二窗口属性信息；
根据所述第二窗口属性信息，生成用于将窗口渲染成目标形状的第二渲染指令集发送所述第二渲染指令集至图形处理器，以由图形处理器执行所述第二渲染指令集将待渲染的目标窗口渲染成所述目标形状。
进一步，电子设备的结构中还可以包括通信组件23，用于该电子设备与其他设备或通信网络通信。
进一步，该电子设备还包括：显示器24、电源组件25、音频组件26等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
相应地，本发明实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (16)
1.一种窗口渲染方法，其特征在于，包括：
响应于窗口渲染请求，获取用于将窗口渲染成原始形状的第一渲染指令集；
根据所述第一渲染指令集中的第一窗口属性信息，确定第二窗口属性信息；
根据所述第二窗口属性信息，生成用于将窗口渲染成目标形状的第二渲染指令集；
发送所述第二渲染指令集至图形处理器，以由图形处理器通过执行所述第二渲染指令集将待渲染的目标窗口渲染成所述目标形状。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于对应用程序的触控操作，生成所述窗口渲染请求，所述目标窗口与所述触控操作的生成时机对应。
3.根据权利要求2所述的方法，其特征在于，若所述触控操作在所述应用程序启动或者退出时生成，则所述目标窗口对应于所述应用程序的主界面；
若所述触控操作在所述应用程序启动之后生成，则所述目标窗口对应于所述应用程序中的悬浮窗口。
4.根据权利要求2所述的方法，其特征在于，所述目标形状与电子设备显示屏的形状匹配，所述电子设备安装有所述应用程序。
5.根据权利要求1或4所述的方法，其特征在于，所述目标形状为所述原始形状的圆角化处理结果。
6.根据权利要求1所述的方法，其特征在于，所述响应于窗口渲染请求，获取第一渲染指令集，包括：
响应于所述窗口渲染请求，获取所述目标窗口对应的控件树以及渲染所述控件树中各节点所需的第三渲染指令集；
遍历所述控件树，以得到描述所述目标窗口的窗口属性的目标节点；
在所述第三渲染指令集中，将渲染所述目标节点所需的指令确定为所述第一渲染指令集。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述第一渲染指令集对应的原始窗口属性信息，以及安装有所述应用程序的电子设备对所述目标窗口的显示要求；
根据所述显示要求，调整所述原始窗口属性信息，以得到所述第一窗口属性信息。
8.根据权利要求7所述的方法，其特征在于，所述第一窗口属性信息包括：具有所述原始形状的所述目标窗口的尺寸信息和所述目标窗口在电子设备的显示屏的显示位置；
所述显示要求包括：所述电子设备的屏幕亮度和/或屏幕尺寸。
9.根据权利要求1所述的方法，其特征在于，所述根据所述第二窗口属性信息，生成第二渲染指令集，包括：
将所述第二窗口属性信息作为输入参数输入原始指令集，以得到所述第二渲染指令集。
10.根据权利要求1所述的方法，其特征在于，所述发送所述第二渲染指令集，以由所述图形处理器通过执行所述第二渲染指令集将待渲染的目标窗口渲染成所述目标形状，包括：
编译所述第二渲染指令集，以得到渲染程序；
发送所述渲染程序至所述图形处理器，以由所述图形处理器通过执行所述渲染程序将所述目标窗口渲染成所述目标形状。
11.根据权利要求1所述的方法，其特征在于，所述由图形处理器通过执行所述第二渲染指令集将待渲染的目标窗口渲染成所述目标形状，包括：
渲染所述目标窗口对应的窗口元素；
将所述窗口元素的渲染结果以及具有所述目标形状的目标窗口发送至硬件渲染器，以由所述硬件渲染器将所述渲染结果和具有所述目标形状的目标窗口进行合成。
12.一种渲染系统，其特征在于，包括：中央处理器以及图形处理器；
所述中央处理器，用于响应于窗口渲染请求，获取用于将窗口渲染成原始形状的第一渲染指令集；根据所述第一渲染指令集中的第一窗口属性信息，确定第二窗口属性信息；根据所述第二窗口属性信息，生成用于将窗口渲染成目标形状的第二渲染指令集；
所述图形处理器，执行所述第二渲染指令集将待渲染的目标窗口渲染成所述目标形状。
13.根据权利要求12所述的系统，其特征在于，所述系统还包括：硬件渲染器；
所述图形处理器，用于渲染所述目标窗口中的窗口元素；
所述硬件渲染器，用于合成具有所述目标形状的目标窗口和所述窗口元素的渲染结果。
14.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～11中任一项所述的窗口渲染方法。
15.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1～11中任一项所述的窗口渲染方法。
16.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1至11中任一项所述的窗口渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211058778.9A CN116028149B (zh) | 2022-08-31 | 2022-08-31 | 窗口渲染方法、系统、设备、存储介质和计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211058778.9A CN116028149B (zh) | 2022-08-31 | 2022-08-31 | 窗口渲染方法、系统、设备、存储介质和计算机程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116028149A true CN116028149A (zh) | 2023-04-28 |
| CN116028149B CN116028149B (zh) | 2024-03-26 |
Family
ID=86078389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211058778.9A Active CN116028149B (zh) | 2022-08-31 | 2022-08-31 | 窗口渲染方法、系统、设备、存储介质和计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116028149B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116775172A (zh) * | 2023-08-25 | 2023-09-19 | 成都太阳高科技有限责任公司 | 一种通过反射实现Android获取数据的方法及系统 |
| CN117095100A (zh) * | 2023-06-05 | 2023-11-21 | 北京虹宇科技有限公司 | 多任务系统中渲染三维内容的方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106155477A (zh) * | 2016-06-24 | 2016-11-23 | 北京奇虎科技有限公司 | 屏幕图标尺寸的调整方法、装置及终端 |
| CN110516179A (zh) * | 2019-08-07 | 2019-11-29 | Oppo广东移动通信有限公司 | 图形渲染方法、装置、电子设备及存储介质 |
| CN111611031A (zh) * | 2019-02-26 | 2020-09-01 | 华为技术有限公司 | 一种图形绘制方法和电子设备 |
| CN114513574A (zh) * | 2022-01-12 | 2022-05-17 | 荣耀终端有限公司 | 界面显示方法、电子设备及存储介质 |
-
2022
- 2022-08-31 CN CN202211058778.9A patent/CN116028149B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106155477A (zh) * | 2016-06-24 | 2016-11-23 | 北京奇虎科技有限公司 | 屏幕图标尺寸的调整方法、装置及终端 |
| CN111611031A (zh) * | 2019-02-26 | 2020-09-01 | 华为技术有限公司 | 一种图形绘制方法和电子设备 |
| CN110516179A (zh) * | 2019-08-07 | 2019-11-29 | Oppo广东移动通信有限公司 | 图形渲染方法、装置、电子设备及存储介质 |
| CN114513574A (zh) * | 2022-01-12 | 2022-05-17 | 荣耀终端有限公司 | 界面显示方法、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095100A (zh) * | 2023-06-05 | 2023-11-21 | 北京虹宇科技有限公司 | 多任务系统中渲染三维内容的方法、装置及设备 |
| CN116775172A (zh) * | 2023-08-25 | 2023-09-19 | 成都太阳高科技有限责任公司 | 一种通过反射实现Android获取数据的方法及系统 |
| CN116775172B (zh) * | 2023-08-25 | 2023-11-03 | 成都太阳高科技有限责任公司 | 一种通过反射实现Android获取数据的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116028149B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102522266B1 (ko) | 애플리케이션 디스플레이 방법 및 전자 장치 | |
| CN112217923B (zh) | 一种柔性屏幕的显示方法及终端 | |
| CN113726950B (zh) | 一种图像处理方法和电子设备 | |
| JP2022532102A (ja) | スクリーンショット方法及び電子装置 | |
| CN116028149B (zh) | 窗口渲染方法、系统、设备、存储介质和计算机程序产品 | |
| CN113553130B (zh) | 应用执行绘制操作的方法及电子设备 | |
| US12032938B2 (en) | Plug-in installation method, apparatus, and storage medium | |
| CN116009999A (zh) | 卡片分享方法、电子设备及通信系统 | |
| CN116055856B (zh) | 相机界面显示方法、电子设备和计算机可读存储介质 | |
| CN113495744B (zh) | 一种版本升级方法及相关装置 | |
| CN112783418B (zh) | 一种存储应用程序数据的方法及移动终端 | |
| CN114691248B (zh) | 显示虚拟现实界面的方法、装置、设备和可读存储介质 | |
| CN113467821A (zh) | 应用程序的修复方法、装置、设备及可读存储介质 | |
| CN113495733A (zh) | 主题包安装方法、装置、电子设备及计算机可读存储介质 | |
| CN117689796B (zh) | 一种渲染处理方法及电子设备 | |
| CN116700578B (zh) | 图层合成方法、电子设备以及存储介质 | |
| CN117009023B (zh) | 显示通知信息的方法及相关装置 | |
| CN117908999A (zh) | 界面生成方法及电子设备 | |
| CN117689796A (zh) | 一种渲染处理方法及电子设备 | |
| CN117675881A (zh) | 一种应用数据保存方法及电子设备 | |
| CN117369914A (zh) | 显示方法及电子设备 | |
| CN118646821A (zh) | 一种卡片显示方法及电子设备 | |
| CN116414493A (zh) | 图像处理方法、电子设备及存储介质 | |
| CN117689776A (zh) | 一种音频播放方法、电子设备及存储介质 | |
| CN116991532A (zh) | 一种虚拟机窗口的显示方法、电子设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |