CN114494547A - 一种绘制命令处理方法及其相关设备 - Google Patents

一种绘制命令处理方法及其相关设备 Download PDF

Info

Publication number
CN114494547A
CN114494547A CN202011271672.8A CN202011271672A CN114494547A CN 114494547 A CN114494547 A CN 114494547A CN 202011271672 A CN202011271672 A CN 202011271672A CN 114494547 A CN114494547 A CN 114494547A
Authority
CN
China
Prior art keywords
rendering
command
commands
drawing command
gpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011271672.8A
Other languages
English (en)
Inventor
尚钦
徐良成
张志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011271672.8A priority Critical patent/CN114494547A/zh
Priority to PCT/CN2021/130249 priority patent/WO2022100685A1/zh
Priority to EP21891205.3A priority patent/EP4231147A4/en
Publication of CN114494547A publication Critical patent/CN114494547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了一种绘制命令处理方法，通过将一个渲染通道内部分OpenGL指令转换为Vulkan指令之后就提交到GPU，而不是全部转换都完成之后再提交到GPU，避免了GPU因CPU在进行OpenGL至Vulkan的命令转换过程中得不到及时提交导致GPU利用率低，使得可以在部分游戏场景下最大化地提高GPU利用率，从而提高帧率。

Description

一种绘制命令处理方法及其相关设备
技术领域
本申请涉及计算机领域，尤其涉及一种绘制命令处理方法及其相关设备。
背景技术
OpenGL(open graphics library)是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，应用于包含内容创作、能源、娱乐、游戏开发、制造业、制药业及虚拟现实等行业领域中，OpenGL可以帮助程序员实现在个人计算机(personalcomputer，PC)、工作站、超级计算机等硬件设备上实现高性能、高视觉表现力图形处理软件的开发。
OpenGL已成为游戏最常用的图形应用程序接口(application programminginterface，API)之一，它被广泛用于图形处理器(graphics processing unit，GPU)的交互和硬件加速。随着硬件资源的发展，人们也发现了它的缺点，当前多核架构越来越普遍，而OpenGL只能提供有限的单线程负载，所以帧率、能耗都很难取得突破。Vulkan的出现很好的解决了这个问题，Vulkan提供了对现代显卡更好的抽象，支持多线程渲染，相对于OpenGL，Vulkan大幅降低了CPU在提供重要特性、性能和影像质量时的API开销。然而由于OpenGL应用存量巨大，Vulkan替代OpenGL是一个缓慢的过程，因此业界出现了将基于OpenGL实现的绘制命令转换为基于Vulkan实现的绘制命令，以兼容OpenGL应用。
在现有的实现中，当前由OpenGL至Vulkan的绘制命令转换技术通常直接将一整个渲染通道的基于OpenGL实现的绘制命令转换为基于Vulkan实现的绘制命令，之后将一整个渲染通道的渲染指令提交至GPU。而实际一个渲染通道包括的绘制命令数量可能较多，GPU会长时间等待CPU完成由OpenGL至Vulkan的绘制命令转换后才能执行工作，造成GPU的资源浪费。
发明内容
第一方面，本申请提供了一种绘制命令处理方法，所述方法应用于终端设备，所述终端设备包括图形处理器GPU，所述方法包括：
获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令，其中，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令可以理解为：M1个第一绘制命令和所述M2个第三绘制命令均用于调用OpenGL相关的API，所述M1个第一绘制命令属于同一个渲染通道属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令；将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令，具体的，CPU可以依照渲染通道中绘制命令的排列顺序，依次获取第一绘制命令，且每获取一个第一绘制命令之后，将第一绘制命令转换为基于Vulkan实现的绘制命令，得到对应的第二绘制命令，直到获取到渲染通道中的第M1个第一绘制命令，也就是说，CPU完成了渲染通道中部分绘制命令的转换；在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
绘制命令(也可以称为渲染指令或者渲染命令)是指用于绘制(也称生成)图像帧中的绘制目标的指令，例如基于OpenGL实现的的绘制调用(draw call)(即CPU对底层图形绘制接口的调用命令)。本申请中所述的“绘制命令”可以是一条指令，例如一个API调用函数；也可以是多条指令的集合，例如在openGL中，一个基于openGL实现的draw call通常包含多个API调用函数，这一个draw call可以认为是一个绘制命令，完成一次绘制。一个drawcall可以绘制一个绘制目标，也可以多个draw call绘制一个绘制目标或一个draw call绘制多个绘制目标。
M1的具体数值可以根据渲染通道中包括的绘制命令的数量来确定，在一种实现中，CPU可以基于预先配置好的渲染通道分割模型来确定该提交渲染通道中的哪些绘制命令。包括不同数量绘制命令的渲染通道可以对应不同的渲染通道分割模型，例如，针对于包括很多数量的绘制命令或者绘制命令中指示需要绘制的顶点数量过多的渲染通道，其对应的渲染通道分割模型可以规定将渲染通道中的绘制命令分割成更多份。具体的，若当前帧的渲染通道draw call数量以及顶点数较多，说明该渲染通道负载较重，在转换为Vulkan后需要等待较长时间才能完全提交给GPU，因此需要对该渲染通道进行分割，在原始渲染通道中加入分割点，把该渲染通道分割成若干渲染通道后提交至GPU。
和现有技术中只有在完成了一个渲染通道中全部绘制命令的转换之后，才将转换后的绘制命令提交到CPU的不同，本申请实施例中，在完成了渲染通道中部分绘制命令的转换之后，就将绘制命令提交到GPU，避免了GPU因CPU在进行OpenGL至Vulkan的命令转换过程中得不到及时提交而导致GPU利用率低，使得可以在部分游戏场景下最大化地提高GPU利用率，从而提高帧率。
在一种可能的实现中，所述渲染通道包括依照预设次序排列的N个绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所谓被执行是指在游戏文件中规定的渲染指令所在代码的先后顺序，该先后顺序指示了CPU处理绘制命令的时序先后顺序，所述M1个第一绘制命令为所述N个绘制命令中排列前M1的绘制命令，所述N大于或等于所述M1和所述M2的和的正整数。
在一种可能的实现中，所述终端设备还包括：图像处理缓存器，所述方法还包括：将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，将所述至少一个第二绘制命令存储至所述图像处理缓存器；
所述在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，包括：
基于所述图像处理缓存器中存储的待提交的绘制命令满足第一预设条件，将所述至少一个第二绘制命令提交至所述GPU；其中，所述第一预设条件包括如下的至少一种：
所述图像处理缓存器中待提交的绘制命令的数量达到所述M1；以及，
所述图像处理缓存器中待提交的绘制命令所需绘制的顶点数量等于或超过预设值，其中，所述至少一个第二绘制命令所需绘制的顶点数量等于或超过所述预设值。
在一种可能的实现中，所述将所述至少一个第二绘制命令提交至所述GPU，包括：
基于所述GPU满足第二预设条件，将所述至少一个第二绘制命令提交至所述GPU，所述第二预设条件包括如下的至少一种：
所述GPU当前的负载小于预设值；以及，
所述GPU当前的绘制帧率小于预设帧率。
本申请实施例中，CPU若确定当前已完成转换的绘制命令数量达到要求，CPU还可以获取当前GPU的负载，并判断当前GPU的负载是否小于预设值(也可以称之为负载阈值，负载阈值可以根据不同的场景自由配置)，若小于负载阈值，说明当前GPU处于较空闲状态，则可以将完成转换的绘制命令提交到GPU，否则继续转换下一个draw call，直至GPU的负载小于预设值，或者完成了渲染指令中全部绘制命令的转换之后，将已完成转换的绘制命令提交到GPU。
CPU若确定当前已完成转换的绘制命令数量达到要求，CPU还可以获取当前GPU的绘制帧率，并判断当前GPU的绘制帧率是否小于预设帧率(预设帧率可以根据不同的场景自由配置)，若小于预设帧率，则可以将完成转换的绘制命令提交到GPU，否则继续处理下一个draw call，直至GPU的绘制帧率的负载小于预设帧率，或者完成了渲染指令中全部绘制命令的转换之后，将已完成转换的绘制命令提交到GPU。
本申请实施例中，CPU除了基于渲染通道中当前已完成转换的第一绘制命令的数量已达到M1，还可以基于所述图像处理缓存器中存储的待提交的绘制命令是否满足第一预设条件，以及GPU满足第二预设条件，才将所述至少一个第二绘制命令提交至所述GPU。具体的，在CPU进行渲染通道中绘制命令的处理时，CPU可以获取当前GPU的绘制帧率，若帧率满帧(或者高于或等于预设帧率)，则渲染通道结束，若帧率未满帧(或者低于预设帧率)，则从缓存的分割模型(上述实施例中称之为渲染通道分割模型)中获取上一帧的分割模型，在进行渲染通道中绘制命令的处理时，每进行一个绘制命令的转换之后，判断是否存在分割点，若存在则获取当前GPU的负载，并在GPU负载小于负载阈值时，将已完成转换的待提交绘制命令提交至GPU，若不存在分割点，或者当前GPU的负载高于负载阈值时，则继续进行渲染通道中下一个绘制命令的转换。
应理解，在不存在技术矛盾时，第一预设条件和第二预设条件中的各个条件可以相互组合，来组成是否将所述至少一个第二绘制命令提交至所述GPU的判断依据。
在一种可能的实现中，所述方法还包括：获取所述GPU当前的绘制帧率以及负载；根据所述绘制帧率以及负载，确定所述M1的大小，其中，在所述绘制帧率相同的情况下，所述负载越高，所述M1越大，在所述负载相同的情况下，所述绘制帧率越高，所述M1越大。
本实施例可以基于当前GPU的绘制帧率以及负载，来确定M1的大小，其中在GPU负载较大的情况下，由于此时GPU处在忙绿状态，CPU可以在完成较多的绘制命令转换之后，才将绘制命令提交至GPU，在保证了GPU不会出现很长的空闲时间的前提下，降低了CPU提交绘制命令的开销，此外，在GPU绘制帧率较高的情况下，即使提高了GPU的使用率，也很难提交GPU的绘制帧率，因此CPU可以在完成较多的绘制命令转换之后，才将绘制命令提交至GPU，在保证了GPU不会出现很长的空闲时间的前提下，降低了CPU提交绘制命令的开销。通过基于当前GPU的绘制帧率以及负载，来确定M1的大小，实现了对每次提交的绘制命令的数量的动态控制。
在一种可能的实现中，所述方法还包括：
将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令，所述第四绘制指令为基于Vulkan实现的绘制命令；
将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
CPU在将所述至少一个第二绘制命令提交至所述GPU之后，可以将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。也就是说，CPU还可以对渲染通道中剩余的未进行转换的绘制命令进行分割或者全部提交，并在完成渲染通道中剩余的未进行格式转换的绘制命令中部分或全部绘制命令的转换后提交至GPU。
第二方面，本申请提供了一种绘制命令处理方法，所述方法应用于终端设备，所述终端设备包括图形处理器GPU，所述方法包括：
获取基于OpenGL实现的M个第一绘制命令，所述M个第一绘制命令属于第一渲染通道，并将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令；获取基于OpenGL实现的N个第三绘制命令，所述N个第三绘制命令属于第二渲染通道，并将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；和现有技术中只有在完成了渲染通道中全部绘制命令的转换之后，就将绘制命令提交到CPU的不同，本申请实施例中，在完成了渲染通道中部分绘制命令的转换之后，并不会直接将绘制命令提交到GPU，而是继续进行下一个渲染通道(第二渲染通道)中绘制指令的转换；在得到至少一个第四绘制指令之后，将所述至少一个第二绘制命令和所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
本实施例中，在将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，以及在将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令之后，CPU可以执行vkQueueSubmit提交，以使得上述转换到的至少一个第二绘制命令和所述至少一个第四绘制命令作为一个Vulkan渲染通道提交至GPU。
本实施例在完成了渲染通道中部分绘制命令的转换之后，并不直接将绘制命令提交到GPU，而是继续进行下一个渲染通道(第二渲染通道)中绘制指令的转换，减少了一个分辨率的渲染通道，进而降低了终端设备的功耗。且在部分场景下减少了DDR的数据拷贝次数，进一步降低了功耗。
在一种可能的实现中，所述M和所述N小于50。在一些场景中，渲染通道的绘制指令draw call数量不多，则可以分析是否可以将多个渲染通道中的绘制命令转换后，一起提交至GPU。
在一种可能的实现中，所述第一渲染通道和所述第二渲染通道为相邻的渲染通道，且所述第二渲染通道中的绘制指令被配置为在所述第一渲染通道中的绘制指令被执行之后执行。
在一种可能的实现中，所述M个第一绘制命令用于绘制目标场景，所述N个第三绘制命令用于在所述目标场景上进行如下操作的至少一种：绘制特效、进行着色以及绘制用户界面UI。也就是说，第二渲染通道中的绘制命令是在第一渲染通道中的绘制命令绘制结果的基础上进行绘制的(绘制内容可以包括绘制特效、进行着色以及绘制用户界面UI中的至少一种)。
在一种可能的实现中，所述N个第三绘制命令包括第一目标绘制命令，所述第一目标绘制命令用于清除执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于清除执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
在一种可能的实现中，所述第二渲染通道包括依照预设次序排列的N个第三绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述第一目标绘制命令为所述N个第三绘制命令中排列最靠前的绘制命令。
在一种可能的实现中，所述N个第三绘制命令包括第二目标绘制命令，所述第二目标绘制命令在所述第一目标绘制命令被执行之后执行，所述第二目标绘制命令用于获取执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
通常情况下，每个渲染通道的起始绘制指令是一个用于清除执行前一个渲染通道中的绘制命令得到的绘制结果的clear命令，在OpenGL中，在后一个渲染通道中的绘制命令是在前一个渲染通道中的绘制命令绘制结果的基础上进行绘制的情况下，后一个渲染通道中还会包括一个获取前一个渲染通道中的绘制命令绘制结果的命令(或者称之为对第一渲染通道的绘制结果进行1:1采样)。也就是说，对N个第二绘制命令进行转换后得到的至少一个第四绘制命令中没有用于清除执行所述至少一个第二绘制命令得到的绘制结果的clear命令以及用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。具体的，可以参照图10，第二渲染通道和第一渲染通道是相邻的渲染通道，且第二渲染通道的起始绘制命令为clear命令，在clear命令之后的绘制命令用于获取执行所述至少一个第二绘制命令得到的绘制结果。对N个第二绘制命令进行转换后得到的至少一个第四绘制命令中，clear命令以及在clear命令之后的绘制命令被剔除。相当于将两个渲染通道合并到一个，且第二渲染通道中的第一个Clear命令和在clear命令之后的绘制命令需要跳过，直接在第一渲染通道的绘制结果上绘制第二渲染通道的内容，相当于减少了2次DDR数据的拷贝。
在一种可能的实现中，所述M个第一绘制命令和所述N个第三绘制命令用于绘制同一个图像帧。
第三方面，本申请提供了一种绘制命令处理装置，所述装置应用于终端设备，所述终端设备包括图形处理器GPU，所述装置包括：
指令获取模块，用于获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令；
指令转换模块，用于将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令；
指令提交模块，用于在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
在一种可能的实现中，所述渲染通道包括依照预设次序排列的N个绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述M1个第一绘制命令为所述N个绘制命令中排列前M1的绘制命令，所述N大于或等于所述M1和所述M2的和的正整数。
在一种可能的实现中，所述终端设备还包括：图像处理缓存器，所述装置还包括：存储模块，用于将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，将所述至少一个第二绘制命令存储至所述图像处理缓存器；
所述指令提交模块，用于基于所述图像处理缓存器中存储的待提交的绘制命令满足第一预设条件，将所述至少一个第二绘制命令提交至所述GPU；其中，所述第一预设条件包括如下的至少一种：
所述图像处理缓存器中待提交的绘制命令的数量达到所述M1；以及，
所述图像处理缓存器中待提交的绘制命令所需绘制的顶点数量等于或超过预设值，其中，所述至少一个第二绘制命令所需绘制的顶点数量等于或超过所述预设值。
在一种可能的实现中，所述指令提交模块，用于基于所述GPU满足第二预设条件，将所述至少一个第二绘制命令提交至所述GPU，所述第二预设条件包括如下的至少一种：
所述GPU当前的负载小于预设值；以及，
所述GPU当前的绘制帧率小于预设帧率。
在一种可能的实现中，所述装置还包括：
确定模块，用于获取所述GPU当前的绘制帧率以及负载；
根据所述绘制帧率以及负载，确定所述M1的大小，其中，在所述绘制帧率相同的情况下，所述负载越高，所述M1越大，在所述负载相同的情况下，所述绘制帧率越高，所述M1越大。
在一种可能的实现中，所述指令转换模块，用于将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令，所述第四绘制指令为基于Vulkan实现的绘制命令；
所述指令提交模块，用于将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
第四方面，本申请提供了一种绘制命令处理装置，所述装置应用于终端设备，所述终端设备包括图形处理器GPU，所述装置包括：
指令获取转换模块，用于获取基于OpenGL实现的M个第一绘制命令，所述M个第一绘制命令属于第一渲染通道，并将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令；
获取基于OpenGL实现的N个第三绘制命令，所述N个第三绘制命令属于第二渲染通道，并将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；
指令提交模块，用于在得到至少一个第四绘制指令之后，将所述至少一个第二绘制命令和所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
在一种可能的实现中，所述M和所述N小于50。
在一种可能的实现中，所述第一渲染通道和所述第二渲染通道为相邻的渲染通道，且所述第二渲染通道中的绘制指令被配置为在所述第一渲染通道中的绘制指令被执行之后执行。
在一种可能的实现中，所述M个第一绘制命令用于绘制目标场景，所述N个第三绘制命令用于在所述目标场景上进行如下操作的至少一种：
绘制特效、进行着色以及绘制用户界面UI。
在一种可能的实现中，所述N个第三绘制命令包括第一目标绘制命令，所述第一目标绘制命令用于清除执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于清除执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
在一种可能的实现中，所述第二渲染通道包括依照预设次序排列的N个第三绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述第一目标绘制命令为所述N个第三绘制命令中排列最靠前的绘制命令。
在一种可能的实现中，所述N个第三绘制命令包括第二目标绘制命令，所述第二目标绘制命令在所述第一目标绘制命令被执行之后执行，所述第二目标绘制命令用于获取执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
在一种可能的实现中，所述M个第一绘制命令和所述N个第三绘制命令用于绘制同一个图像帧。
第五方面，本申请提供了一种终端设备，所述终端设备包括处理器和存储器，所述处理器获取存储器中存储的代码，以执行第一方面以及其可选的实现方式中的任意一种。
第六方面，本申请提供了一种终端设备，所述终端设备包括处理器和存储器，所述处理器获取存储器中存储的代码，以执行第二方面以及其可选的实现方式中的任意一种。
第七方面，本申请提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质包含计算机指令用于执行上述第一方面及其可选的实现中任一所述的绘制命令处理方法。
第八方面，本申请提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质包含计算机指令用于执行上述第二方面及其可选的实现中任一所述的绘制命令处理方法。
第九方面，本申请还提供了一种计算机程序产品，包括代码，当所述代码被执行时，用于实现上述第一方面及其可选的实现中任一所述的绘制命令处理方法。
第十方面，本申请还提供了一种计算机程序产品，包括代码，当所述代码被执行时，用于实现上述第二方面及其可选的实现中任一所述的绘制命令处理方法。
第十一方面，提供了一种芯片，所述芯片包括处理器，所述处理器用于执行上述第一方面所描述的方法中的部分或全部操作。
本申请实施例提供了一种绘制命令处理方法，所述方法应用于终端设备，所述终端设备包括图形处理器GPU，所述方法包括：获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令；将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令；在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。在完成了渲染通道中部分绘制命令的转换之后，就将绘制命令提交到GPU，避免了GPU因CPU在进行OpenGL至Vulkan的命令转换过程中得不到及时提交导致GPU利用率低，使得可以在部分游戏场景下最大化地提高GPU利用率，从而提高帧率。
附图说明
图1为本申请提供的电子设备的结构示意；
图2为本申请提供的电子设备的结构示意；
图3为本实施例提供的绘制命令处理方法的流程示意；
图4为本实施例提供的一个渲染通道示意；
图5为本实施例提供的一个渲染通道示意；
图6为本实施例提供的一个渲染通道示意；
图7为本实施例提供的绘制命令处理示意；
图8为本申请实施例提供的一种绘制命令处理方法的示意图；
图9为本实施例提供的一个渲染通道示意；
图10为本实施例提供的一个渲染通道示意；
图11为本申请的一个系统架构图示意；
图12为本申请实施例提供的一种绘制命令处理方法的示意图；
图13为本申请实施例提供的一种绘制命令处理装置的示意图；
图14为本申请实施例提供的一种绘制命令处理装置的示意图；
图15为本申请提供的一种终端设备的结构示意。
具体实施方式
下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请实施例中的命令也可以称之为指令，在一些实现方式中，指令可以包括指令名称(或称函数名称)和参数等信息，指令名称也可以认为是“参数”的一种。在一些实现方式中，指令还可以继续拆分成更多的指令，例如一个指令内部展开后本质是调用多个函数，每个函数又有各自的参数，在该种情况下，该指令的参数包括内部的函数名称以及函数的参数。计算机系统和程序语言有多种，所以指令存在多种形式，本申请对指令的具体形式不做限定。
绘制命令(也可以称为渲染指令或者渲染命令)是指用于绘制(也称生成)图像帧中的绘制目标的指令，例如基于OpenGL实现的的绘制调用(draw call)(即CPU对底层图形绘制接口的调用命令)。可选地，该绘制目标可以通过存储在内存中的数据表示。相应的，根据该渲染命令生成的绘制目标的集合可以组成对应图形帧的显示数据。示例地，假设某个图像帧包括人物A和人物B，该图像帧的渲染命令可以包括用于生成人物A的绘制目标的一个或多个渲染命令，及生成人物B的绘制目标的一个或多个渲染命令，相应的，GPU通过运行这些渲染命令即可得到该图像帧的显示数据。在OpenGL中，该渲染命令也称为渲染指令，该绘制目标也称为渲染目标。本申请将以OpenGL为例来介绍实现方法，但本申请不局限于OpenGL，也可以应用于其他类型的图形库。渲染命令中携带有绘制参数。该绘制参数用于生成绘制目标。进一步的，渲染命令中还可以携带绘制模型信息，该绘制模型信息用于指示生成绘制目标时所基于的绘制模型。GPU通过运行渲染命令可以生成以该绘制模型为基础形状，且形状特性满足绘制参数的绘制目标。
举例来说，绘制命令中携带的绘制模型为正面站立的亚瑟王(亚瑟王是游戏中的一个角色)的绘制模型信息，携带的绘制参数用于指示绘制模型整体向左转30度，以及携带指示亚瑟王在该图像帧中的光照和材料等参数信息，则GPU运行该渲染命令后，可以得到表征亚瑟王整体向左转30度，且被添加了光照和材料等信息的图像数据。
本申请中所述的“绘制命令”可以是一条指令，例如一个API调用函数；也可以是多条指令的集合，例如在openGL中，一个基于openGL实现的draw call通常包含多个API调用函数，这一个draw call可以认为是一个绘制命令，完成一次绘制。一个draw call可以绘制一个绘制目标，也可以多个draw call绘制一个绘制目标或一个draw call绘制多个绘制目标。本申请对如何划分绘制目标不做限定，例如一个房子是一个不可分的绘制目标，或者一个房子是一个绘制目标，但该绘制目标又包括房顶和墙这两个绘制目标。
终端设备可以通过安装不同的应用软件实现各种各样的功能。在终端提供多样化的功能的同时，如何提升用户对终端的使用体验是各个终端厂商亟待解决的问题。其中，终端功耗和发热问题是影响用户体验的重要因素，尤其是对移动终端。而GPU负载是影响该功耗和发热问题的因素之一。例如，当GPU负载较高时，GPU的运行频点较高，会导致移动终端出现发热严重和耗电快的问题，使用户的用户体验较差。
OpenGL已成为游戏最常用的图形应用程序接口(application programminginterface，API)之一，它被广泛用于图形处理器(graphics processing unit，GPU)的交互和硬件加速。随着硬件资源的发展，人们也发现了它的缺点，当前多核架构越来越普遍，而OpenGL只能提供有限的单线程负载，所以帧率、能耗都很难取得突破。Vulkan的出现很好的解决了这个问题，Vulkan提供了对现代显卡更好的抽象，支持多线程渲染，相对于OpenGL，Vulkan大幅降低了CPU在提供重要特性、性能和影像质量时的API开销。然而由于OpenGL应用存量巨大，Vulkan替代OpenGL是一个缓慢的过程，因此业界出现了将基于OpenGL实现的渲染命令转换为基于Vulkan实现的渲染命令，以兼容OpenGL应用。
在现有的实现中，当前由OpenGL至Vulkan的绘制命令转换技术通常直接将一整个渲染通道的基于OpenGL实现的绘制命令转换为基于Vulkan实现的绘制命令，之后将一整个渲染通道的绘制指令提交至GPU。而实际一个渲染通道包括的绘制命令数量可能较多，GPU会长时间等待CPU完成由OpenGL至Vulkan的绘制命令转换后才能执行工作，造成GPU的资源浪费。
具体的，传统的OpenGL，没有接口去显式提交命令到GPU上执行，只能在切换渲染通道时提交；现代图形API Vulkan，提供了vkQueueSubmit接口，可以显式控制提交时机，应用程序可以基于该特性做出更精细化的优化处理。在现有的实现中，只是单纯的将OpenGL的一个渲染通道转换为Vulkan的一个渲染通道统一执行vkQueueSubmit提交。在理想情况下OpenGL中每个渲染通道的绘制命令draw Call个数分布均匀，在大部分场景下，OpenGL中每个渲染通道的绘制命令draw Call个数分布都不均匀，一部分渲染通道中的绘制命令draw Call数量很少，另一部分渲染通道中绘制命令draw Call又很多，OpenGL的渲染通道中的绘制命令draw Call转换为Vulkan中的绘制命令draw Call，可以提交给GPU，且GPU很快就可以处理完，此时GPU会处于空闲状态，直到下一个渲染通道中的绘制命令draw Call全部转换完才会再次提交给GPU，而由于GPU在这段时间内处于空闲状态，GPU的运算资源利用率低。
为了解决上述问题，本申请提供了一种绘制命令处理方法。
接下来首先描述本申请的应用架构，本申请实施例提供的绘制命令处理方法可以应用于终端设备，终端设备又可称之为用户设备(user equipment，UE)或者电子设备，可以部署在陆地上，包括室内或室外、手持或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。电子设备可以是手机(mobile phone)、平板电脑(pad)、具备无线通讯功能的可穿戴设备(如智能手表)、具有定位功能的位置追踪器、带无线收发功能的电脑、虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、智慧家庭(smart home)中的无线设备等，本申请对此不作限定。本申请中将前述电子设备及可设置于前述电子设备的芯片统称为电子设备。
本申请中的电子设备可以包括但不限于：智能移动电话、电视、平板电脑、手环、头戴显示设备(Head Mount Display，HMD)、增强现实(augmented reality，AR)设备，混合现实(mixed reality，MR)设备、蜂窝电话(cellular phone)、智能电话(smart phone)、个人数字助理(personal digital assistant，PDA)、平板型电脑、车载电子设备、膝上型电脑(laptop computer)、个人电脑(personal computer，PC)、监控设备、机器人、车载终端、自动驾驶车辆等。当然，在以下实施例中，对该电子设备的具体形式不作任何限制。
示例性地，参阅图1，下面以一个具体的结构为例，对本申请提供的电子设备的结构进行示例性说明。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M，运动传感器180N等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括但不限于：第五代移动通信技术(5th-Generation，5G)系统，全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multipleaccess，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(longterm evolution，LTE)，蓝牙(bluetooth)，全球导航卫星系统(the global navigationsatellite system，GNSS)，无线保真(wireless fidelity，WiFi)，近距离无线通信(nearfield communication，NFC)，FM(也可以称为调频广播)，紫蜂协议(Zigbee)，射频识别技术(radio frequency identification，RFID)和/或红外(infrared，IR)技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)等。
在一些实施方式中，电子设备100也可以包括有线通信模块(图1中未示出)，或者，此处的移动通信模块150或者无线通信模块160可以替换为有线通信模块(图1中未示出)，该有线通信模块可以使电子设备通过有线网络与其他设备进行通信。该有线网络可以包括但不限于以下一项或者多项：光传送网(optical transport network，OTN)、同步数字体系(synchronous digital hierarchy，SDH)、无源光网络(passive optical network，PON)、以太网(Ethernet)、或灵活以太网(flex Ethernet，FlexE)等。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB摄像头，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。
运动传感器180N，可以用于对摄像头拍摄的范围内的运动物体进行检测，采集运动物体的运动轮廓或者运动轨迹等。例如，该运动传感器180N可以是红外传感器、激光传感器、动态视觉传感器(dynamic vision sensor，DVS)等，该DVS具体可以包括DAVIS(Dynamicand Active-pixel Vision Sensor)、ATIS(Asynchronous Time-based Image Sensor)或者CeleX传感器等传感器。DVS借鉴了生物视觉的特性，每个像素模拟一个神经元，独立地对光照强度(以下简称“光强”)的相对变化做出响应。当光强的相对变化超过阈值时，像素会输出一个事件信号，包括像素的位置、时间戳以及光强的特征信息。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
如图2所示，电子设备100包括和硬件，硬件包括CPU、GPU、DDR等，其结构请参考图1，在此不再赘述。
应理解的是，图2示出的软硬件仅是举例，在其他实施例中，可以采用其它类型的软件或硬件，例如图2中DDR作为显存使用，在其他实施例中显存也可以由同步动态随机存取内存(synchronous dynamic random-access memory，SDRAM)或其他类型的存储器实现。
软件包括应用(APP)、渲染引擎以及框架(framework)。应用包括游戏应用、视频应用、即时通信应用、拍照应用等。渲染引擎包括一个或多个引擎，例如Unity 3D/Unreal等渲染引擎。框架内部包括各种图形库，例如嵌入式开放图形库(open graphics library foremb edded system，OpenGL ES)、EGL(图形渲染API与本地平台窗口系统的一层接口)或Vulk an(一个跨平台的绘图应用程序接口)等。进一步的，本实施例提供的方案可以设置在框架内，展现为GL(或者称之为OpenGL)转Vulkan系统，该GL转Vulkan系统被执行后用于实现本实施例提供的绘制命令处理方法。
下面通过图3对本实施例提供的绘制命令处理方法的步骤进行详细说明，如图3所示，该绘制命令处理方法可以包括以下步骤：
301、获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令。
本申请实施例中，终端设备中的CPU可以获取到基于OpenGL实现的M1个第一绘制命令，其中，基于OpenGL实现的M1个第一绘制命令可以理解为：M1个第一绘制命令用于调用OpenGL相关的API。
例如，当终端设备为终端且终端的系统为Android系统，可以使用该Android系统的OpenGL ES图形库渲染游戏应用中的图像帧，并在使用该图形库之前，通过调用eglInitia lize函数(一种初始化函数)对图形库的运行环境进行初始化。同时，可以在该eglInitialize函数中增加钩子(hook)函数，以使用该钩子函数拦截获取M1个第一绘制命令。
应理解，当终端设备为手机时，这里的CPU可以具体是应用处理器AP。
本申请实施例中，第一绘制命令可以携带有绘制参数。可选地，该绘制参数可以包括以下一个或多个：绘制模型的顶点信息、颜色信息或渲染材质信息等。
本申请实施例中，所述M1个第一绘制命令属于同一个渲染通道，该渲染通道为某一待渲染图像帧中的一个渲染通道，参照图4，图4示出了一个渲染通道示意，如图4所示，OpenGL渲染通道可以包括多个绘制命令(draw call 1至draw call N)，具体的，所述渲染通道可以包括依照预设次序排列的N个绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所谓被执行是指在游戏文件中规定的渲染指令所在代码的先后顺序，该先后顺序指示了CPU处理绘制命令的时序先后顺序。本申请实施例中，所述M1个第一绘制命令为所述N个绘制命令中排列前M1的绘制命令。
具体的，CPU可以依照渲染通道中绘制命令的排列顺序，依次获取第一绘制命令，且每获取一个第一绘制命令之后，将第一绘制命令转换为基于Vulkan实现的绘制命令，得到对应的第二绘制命令，直到获取到渲染通道中的第M1个第一绘制命令。也就是说，CPU完成了渲染通道中部分绘制命令(前M1个绘制命令)的转换。
和现有技术中只有在完成了渲染通道中全部绘制命令的转换之后，才将绘制命令提交到CPU的不同，本申请实施例中，在完成了渲染通道中部分绘制命令的转换之后，就将绘制命令提交到GPU。
接下来首先描述，CPU如何确定该提交渲染通道中的哪些绘制命令。
在一种实现中，CPU可以基于预先配置好的渲染通道分割模型来确定该提交渲染通道中的哪些绘制命令。上述渲染通道分割模型可以规定CPU在完成了渲染通道中排列前M1个绘制命令的转换之后，就可以将绘制命令提交到CPU。在一些实现中，上述渲染通道分割模型可以规定如何对渲染通道中绘制命令进行分割(例如，渲染通道分割模型可以规定将渲染通道中的绘制命令分割成多少个以及分割后得到的每一段包括多少个绘制命令)。示例性的，可以参照图5，针对于图5中的渲染通道，渲染通道分割模型可以规定将渲染通道中的绘制命令分割成3个(或者规定存在两个分割点)，进而，CPU可以在每完成分割后的每一部分绘制指令的转换之后，就将转换后的绘制指令提交至GPU。
本申请实施例中，CPU可以针对游戏每一帧每个渲染通道提交的绘制命令进行统计，考虑到游戏大部分场景下渲染通道个数以及其绘制命令的数量比较稳定，因此可以根据历史提交信息划分每个渲染通道分割点用于后续每帧渲染通道的分割。具体的，CPU可以在游戏每帧结束时统计该帧的每一个渲染通道绘制命令的数量以及顶点数，之后可以根据统计的该帧绘制命令的信息生成渲染通道分割模型，并缓存下来供后续实际分割使用。
本申请实施例中，CPU可以针对不同特征的渲染通道，配置不同的渲染通道分割模型。也就是说，针对于包括不同数量绘制命令以及绘制命令中指示需要绘制的顶点数量不同的渲染通道，CPU可以配置不同的渲染通道分割模型。
在一种实现中，包括不同数量绘制命令的渲染通道可以对应不同的渲染通道分割模型，例如，针对于包括很多数量的绘制命令或者绘制命令中指示需要绘制的顶点数量过多的渲染通道，其对应的渲染通道分割模型可以规定将渲染通道中的绘制命令分割成更多份。具体的，若当前帧的渲染通道draw call数量以及顶点数较多，说明该渲染通道负载较重，在转换为Vulkan后需要等待较长时间才能完全提交给GPU，因此需要对该渲染通道进行分割，在原始渲染通道中加入分割点，把该渲染通道分割成若干渲染通道后提交至GPU。
本申请实施例中，渲染通道分割模型可以规定当前CPU在处理的渲染通道需要被分割，则CPU在完成了渲染通道的前M1个第一绘制命令的转换之后，得到至少一个第二绘制命令，就将转换完成的至少一个第二绘制命令提交至GPU。
应理解，上述渲染通道分割模型仅为CPU确定该提交渲染通道中的哪些绘制命令的一种方式，CPU还可以通过其他方式确定该提交渲染通道中的哪些绘制命令，本申请并不限定。
302、将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令。
本申请实施例中，所述终端设备还包括：图像处理缓存器，CPU在将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，可以将所述至少一个第二绘制命令存储至所述图像处理缓存器。
应理解，CPU可以依照渲染通道中绘制命令的排列顺序，依次获取第一绘制命令，且每获取一个第一绘制命令之后，将第一绘制命令转换为基于Vulkan实现的绘制命令，得到对应的第二绘制命令，直到获取到渲染通道中的第M1个第一绘制命令，并将第M1个第一绘制命令转换为基于Vulkan实现的绘制命令。通常情况下，一个第一绘制命令转换为基于Vulkan实现的绘制命令之后可以得到对应的一个第二绘制命令，然而在一些场景中，一个第一绘制命令转换为基于Vulkan实现的绘制命令之后可以得到多个对应的一个第二绘制命令，或者一个第一绘制命令转换为基于Vulkan实现的绘制命令之后会被剔除。
303、在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
本申请实施例中，若CPU确定渲染通道中当前已完成转换的第一绘制命令的数量已达到M1，则可以将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。具体的CPU可以向存储所述至少一个第二绘制命令的图形缓存器发送指示，以便GPU从图形缓存器中获取所述至少一个第二绘制命令。
本申请实施例中，在将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，CPU可以执行vkQueueSubmit提交，以使得上述转换到的至少一个第二绘制命令可以作为一个vulkan渲染通道提交至GPU。
示例性的，可以参照图6，渲染通道(OpenGL)中的绘制命令被分割为三份，CPU在完成第一份绘制命令的转换后，得到渲染通道1(Vulkan)，渲染通道1包括至少一个第二渲染命令，之后CPU可以将渲染通道1包括的绘制命令提交至GPU。
本申请实施例中，CPU除了基于渲染通道中当前已完成转换的第一绘制命令的数量已达到M1，还可以基于所述图像处理缓存器中存储的待提交的绘制命令是否满足第一预设条件，以及GPU满足第二预设条件，才将所述至少一个第二绘制命令提交至所述GPU；其中，所述第一预设条件包括如下的至少一种：所述图像处理缓存器中待提交的绘制命令的数量达到所述M1；以及，所述图像处理缓存器中待提交的绘制命令所需绘制的顶点数量等于或超过预设值，其中，所述M1个第二绘制命令所需绘制的顶点数量等于或超过所述预设值。所述第二预设条件包括如下的至少一种：所述GPU当前的负载小于预设值；以及，所述GPU当前的绘制帧率小于预设帧率。
本申请实施例中，CPU若确定当前已完成转换的绘制命令数量达到要求，CPU还可以获取当前GPU的负载，并判断当前GPU的负载是否小于预设值(也可以称之为负载阈值，负载阈值可以根据不同的场景自由配置)，若小于负载阈值，说明当前GPU处于较空闲状态，则可以将完成转换的绘制命令提交到GPU，否则继续处理下一个draw call，直至GPU的负载小于预设值，或者完成了渲染指令中全部绘制命令的转换之后，将已完成转换的绘制命令提交到GPU。
类似的，CPU若确定当前已完成转换的绘制命令数量达到要求，CPU还可以获取当前GPU的绘制帧率，并判断当前GPU的绘制帧率是否小于预设帧率(预设帧率可以根据不同的场景自由配置)，若小于预设帧率，则可以将完成转换的绘制命令提交到GPU，否则继续处理下一个draw call，直至GPU的绘制帧率的负载小于预设帧率，或者完成了渲染指令中全部绘制命令的转换之后，将已完成转换的绘制命令提交到GPU。
应理解，在不存在技术矛盾时，第一预设条件和第二预设条件中的各个条件可以相互组合，来组成是否将所述至少一个第二绘制命令提交至所述GPU的判断依据。
示例性的，可以参照图7，在CPU进行渲染通道中绘制命令的处理时，CPU可以获取当前GPU的绘制帧率，若帧率满帧(或者高于或等于预设帧率)，则渲染通道结束，若帧率未满帧(或者低于预设帧率)，则从缓存的分割模型(上述实施例中称之为渲染通道分割模型)中获取上一帧的分割模型，在进行渲染通道中绘制命令的处理时，每进行一个绘制命令的转换之后，判断是否存在分割点，若存在则获取当前GPU的负载，并在GPU负载小于负载阈值时，将已完成转换的待提交绘制命令提交至GPU，若不存在分割点，或者当前GPU的负载高于负载阈值时，则继续进行渲染通道中下一个绘制命令的转换。
在一种可能的实现中，CPU还可以获取所述GPU当前的绘制帧率以及负载；根据所述绘制帧率以及负载，确定所述M1的大小，其中，在所述绘制帧率相同的情况下，所述负载越高，所述M1越大，在所述负载相同的情况下，所述绘制帧率越高，所述M1越大。
本实施例可以基于当前GPU的绘制帧率以及负载，来确定M1的大小，其中在GPU负载较大的情况下，由于此时GPU处在忙绿状态，CPU可以在完成较多的绘制命令转换之后，才将绘制命令提交至GPU，在保证了GPU不会出现很长的空闲时间的前提下，降低了CPU提交绘制命令的开销，此外，在GPU绘制帧率较高的情况下，即使提高了GPU的使用率，也很难提交GPU的绘制帧率，因此CPU可以在完成较多的绘制命令转换之后，才将绘制命令提交至GPU，在保证了GPU不会出现很长的空闲时间的前提下，降低了CPU提交绘制命令的开销。通过基于当前GPU的绘制帧率以及负载，来确定M1的大小，实现了对每次提交的绘制命令的数量的动态控制。
本申请实施例中，CPU在将所述至少一个第二绘制命令提交至所述GPU之后，还可以将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令，所述第四绘制指令为基于Vulkan实现的绘制命令；将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。也就是说，CPU在将所述至少一个第二绘制命令提交至所述GPU之后，可以将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。也就是说，CPU还可以对渲染通道中剩余的未进行转换的绘制命令进行分割或者全部提交，并在完成渲染通道中剩余的未进行格式转换的绘制命令中部分或全部绘制命令的转换后提交至GPU。
和现有技术中只有在完成了渲染通道中全部绘制命令的转换之后，才将绘制命令提交到CPU的不同，本申请实施例中，在完成了渲染通道中部分绘制命令的转换之后，就将绘制命令提交到GPU，避免了GPU因CPU在进行OpenGL至Vulkan的命令转换过程中得不到及时提交导致GPU利用率低，使得可以在部分游戏场景下最大化地提高GPU利用率，从而提高帧率。
本申请实施例提供了一种绘制命令处理方法，所述方法应用于终端设备，所述终端设备包括图形处理器GPU，所述方法包括：获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令；将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令；在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。在完成了渲染通道中部分绘制命令的转换之后，就将绘制命令提交到GPU，避免了GPU因CPU在进行OpenGL至Vulkan的命令转换过程中得不到及时提交导致GPU利用率低，使得可以在部分游戏场景下最大化地提高GPU利用率，从而提高帧率。
参照图8，图8为本申请实施例提供的一种绘制命令处理方法的示意图，本申请实施例提供的绘制命令处理方法可以应用于终端设备，所述终端设备包括图形处理器GPU，所述方法包括：
801、获取基于OpenGL实现的M个第一绘制命令，所述M个第一绘制命令属于第一渲染通道，并将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令。
本申请实施例中，终端设备中的CPU可以获取到基于OpenGL实现的M个第一绘制命令，其中，基于OpenGL实现的M个第一绘制命令可以理解为：M个第一绘制命令用于调用OpenGL相关的API。
例如，当终端设备为终端且终端的系统为Android系统，可以使用该Android系统的OpenGL ES图形库渲染游戏应用中的图像帧，并在使用该图形库之前，通过调用eglInitia lize函数(一种初始化函数)对图形库的运行环境进行初始化。同时，可以在该eglInitialize函数中增加钩子(hook)函数，以使用该钩子函数拦截获取M个第一绘制命令。
具体的，CPU可以依照渲染通道中绘制命令的排列顺序，依次获取第一绘制命令，且每获取一个第一绘制命令之后，将第一绘制命令转换为基于Vulkan实现的绘制命令，得到对应的第二绘制命令，直到获取到渲染通道中的第M个第一绘制命令。
本申请实施例中，所述M个第一绘制命令属于同一个渲染通道，该渲染通道为某一待渲染图像帧中的第一渲染通道，第一渲染通道可以包括依照预设次序排列的N个绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所谓被执行是指在游戏文件中规定的渲染指令所在代码的先后顺序，该先后顺序指示了CPU处理绘制命令的时序先后顺序。本申请实施例中，所述M个第一绘制命令为所述N个绘制命令中排列靠后M的绘制命令。特别的，在M和N相等时表示第一渲染通道由M个第一绘制命令组成。
802、获取基于OpenGL实现的N个第三绘制命令，所述N个第三绘制命令属于第二渲染通道，并将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令。
本申请实施例中，所述终端设备还包括：图像处理缓存器，CPU在将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，可以将所述至少一个第二绘制命令存储至所述图像处理缓存器。
和现有技术中只有在完成了渲染通道中全部绘制命令的转换之后，就将绘制命令提交到CPU的不同，本申请实施例中，在完成了渲染通道中部分绘制命令的转换之后，并不会直接将绘制命令提交到GPU，而是继续进行下一个渲染通道(第二渲染通道)中绘制指令的转换。
在一种可能的实现中，所述M和所述N小于50。在一些场景中，渲染通道的绘制指令draw call数量不多，则可以分析是否可以将多个渲染通道中的绘制命令转换后，一起提交至GPU。
在合并时，由于第一渲染通道和第二渲染通道之间具有某些特征，可以删减一些指令，以达到减少渲染通道的DDR拷贝，进而达到降低功耗的目的。接下来描述在第一渲染通道和第二渲染通道之间具有哪些特征时，可以删减一些指令。
本申请实施例中，所述M个第一绘制命令和所述N个第三绘制命令用于绘制同一个图像帧，所述M个第一绘制命令用于绘制目标场景，所述N个第三绘制命令用于在所述目标场景上进行如下操作的至少一种：绘制特效、进行着色以及绘制用户界面UI。也就是说，第二渲染通道中的绘制命令是在第一渲染通道中的绘制命令绘制结果的基础上进行绘制的(绘制内容可以包括绘制特效、进行着色以及绘制用户界面UI中的至少一种)。
在一种可能的实现中，所述第一渲染通道和所述第二渲染通道为相邻的渲染通道，且所述第二渲染通道中的绘制指令被配置为在所述第一渲染通道中的绘制指令被执行之后执行，所述N个第三绘制命令包括第一目标绘制命令，所述第一目标绘制命令用于清除执行M个第一绘制命令后得到的绘制结果。所述第二渲染通道包括依照预设次序排列的N个第三绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述第一目标绘制命令为所述N个第三绘制命令中排列最靠前的绘制命令。
在一种可能的实现中，所述N个第三绘制命令包括第二目标绘制命令，所述第二目标绘制命令在所述第一目标绘制命令被执行之后执行，所述第二目标绘制命令用于获取执行M个第一绘制命令后得到的绘制结果。
通常情况下，每个渲染通道的起始绘制指令是一个用于清除执行前一个渲染通道中的绘制命令得到的绘制结果的clear命令，在OpenGL中，在后一个渲染通道中的绘制命令是在前一个渲染通道中的绘制命令绘制结果的基础上进行绘制的情况下，后一个渲染通道中还会包括一个获取前一个渲染通道中的绘制命令绘制结果的命令(或者称之为对第一渲染通道的绘制结果进行1:1采样)。示例性的，可以参照图9，其中第二渲染通道和第一渲染通道是相邻的渲染通道，且第二渲染通道的起始绘制命令为clear命令。
本申请实施例中，所述至少一个第四绘制命令中不包括用于清除执行所述至少一个第二绘制命令得到的绘制结果的绘制命令，所述至少一个第四绘制命令中不包括用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
也就是说，对N个第二绘制命令进行转换后得到的至少一个第四绘制命令中没有用于清除执行所述至少一个第二绘制命令得到的绘制结果的clear命令以及用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。具体的，可以参照图10，第二渲染通道和第一渲染通道是相邻的渲染通道，且第二渲染通道的起始绘制命令为clear命令，在clear命令之后的绘制命令用于获取执行所述至少一个第二绘制命令得到的绘制结果。对N个第二绘制命令进行转换后得到的至少一个第四绘制命令中，clear命令以及在clear命令之后的绘制命令被剔除。相当于将两个渲染通道合并到一个，且第二渲染通道中的第一个Clear命令和在clear命令之后的绘制命令需要跳过，直接在第一渲染通道的绘制结果上绘制第二渲染通道的内容，相当于减少了2次DDR数据的拷贝。
803、在得到至少一个第四绘制指令之后，将所述至少一个第二绘制命令和所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
本申请实施例中，在将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，以及在将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令之后，CPU可以执行vkQueueSubmit提交，以使得上述转换到的至少一个第二绘制命令和所述至少一个第四绘制命令作为一个Vulkan渲染通道提交至GPU。
本申请实施例中，以N个第三绘制命令用于在第一渲染通道绘制的目标场景上进行绘制特效为例，在第一渲染通道中绘制主场景，在第二渲染通道中绘制特效，则在转换为Vulkan的过程中可以利用Vulkan的子渲染通道特性，第一渲染通道的主场景绘制转换为Vulkan子渲染通道1，渲染通道的特效绘制转换为Vulkan子渲染通道2，在主场景绘制完成之后，不从GPU写出到DDR，而是直接在子渲染通道1的基础上绘制特效。
本申请实施例提供了一种绘制命令处理方法，所述方法应用于终端设备，所述终端设备包括图形处理器GPU，所述方法包括：获取基于OpenGL实现的M个第一绘制命令，所述M个第一绘制命令属于第一渲染通道，并将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令；获取基于OpenGL实现的N个第三绘制命令，所述N个第三绘制命令属于第二渲染通道，并将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；在得到至少一个第四绘制指令之后，将所述至少一个第二绘制命令和所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。在完成了渲染通道中部分绘制命令的转换之后，并不直接将绘制命令提交到GPU，而是继续进行下一个渲染通道(第二渲染通道)中绘制指令的转换，减少了一个分辨率的渲染通道，进而降低了终端设备的功耗。且在部分场景下减少了DDR的数据拷贝次数，进一步降低了功耗。
接下来从产品实现的角度介绍一个本申请的架构，本申请的应用场景可以在移动终端的游戏上，将OpenGL游戏转换为Vulkan运行。
图11给出了本申请的一个系统架构图示意，由游戏APP(1001)、系统Framework(1002)、GL转Vulkan系统(1003)(GL也可以称之为OpenGL)、Vulkan驱动(1004)、GPU(1005)五个部分组成，其中本申请实施例可以应用在OpenGL转Vulkan系统部分。OpenGL转Vulkan系统可以包括以下几个组件：EGL处理(1031)、GL指令处理(1032)、Shader转换(1033)、GL转换层(1034)。GL转换层负责GL指令缓存、GL指令转换、指令提交、负载统计、渲染通道分割算法、渲染通道合并算法，其中，渲染通道分割算法可以执行上述实施例中图3至图7以及对应的实施例所描述的方法，渲染通道合并算法可以执行上述实施例中图8至图10以及对应的实施例所描述的方法。
本申请实施例可以包含在平台固件framework中，在framework中截取GL指令转换为Vulkan，并做渲染通道的合并及分割优化。如图12所示，GL转Vukan系统作用于平台framework中，GL拦截模块(2001)在OpenGL指令调用到OpenGL DDK之前拦截GL指令，通过Shader转换(2002)和GL指令转换(2003)对GL指令进行转换。GPU历史提交信息统计(2004)负责根据历史指令提交估算GPU负载，并缓存历史提交信息；渲染通道合并(2005)模块负责转换过程中渲染通道合并的算法；渲染通道分割(2006)模块负责转换过程中渲染通道分割的算法。合并或分割后的渲染通道通过Vulkan后端(2007)提交给Vulkan DDK(2008)，最终再由DDK提交给硬件资源GPU(2009)。
参照图13，本申请实施例还提供了一种绘制命令处理装置，所述装置应用于终端设备，所述终端设备包括图形处理器GPU，所述装置包括：
指令获取模块1301，用于获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令；
指令转换模块1302，用于将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令；
指令提交模块1303，用于在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
在一种可能的实现中，所述渲染通道包括依照预设次序排列的N个绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述M1个第一绘制命令为所述N个绘制命令中排列前M1的绘制命令，所述N大于或等于所述M1和所述M2的和的正整数。
在一种可能的实现中，所述终端设备还包括：图像处理缓存器，所述装置还包括：存储模块，用于将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，将所述至少一个第二绘制命令存储至所述图像处理缓存器；
所述指令提交模块，用于基于所述图像处理缓存器中存储的待提交的绘制命令满足第一预设条件，将所述至少一个第二绘制命令提交至所述GPU；其中，所述第一预设条件包括如下的至少一种：
所述图像处理缓存器中待提交的绘制命令的数量达到所述M1；以及，
所述图像处理缓存器中待提交的绘制命令所需绘制的顶点数量等于或超过预设值，其中，所述至少一个第二绘制命令所需绘制的顶点数量等于或超过所述预设值。
在一种可能的实现中，所述指令提交模块，用于基于所述GPU满足第二预设条件，将所述至少一个第二绘制命令提交至所述GPU，所述第二预设条件包括如下的至少一种：
所述GPU当前的负载小于预设值；以及，
所述GPU当前的绘制帧率小于预设帧率。
在一种可能的实现中，所述装置还包括：
确定模块，用于获取所述GPU当前的绘制帧率以及负载；
根据所述绘制帧率以及负载，确定所述M1的大小，其中，在所述绘制帧率相同的情况下，所述负载越高，所述M1越大，在所述负载相同的情况下，所述绘制帧率越高，所述M1越大。
在一种可能的实现中，所述指令转换模块，用于将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令，所述第四绘制指令为基于Vulkan实现的绘制命令；
所述指令提交模块，用于将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
图13中描述的绘制命令处理装置的具体描述可以参照图4至图7以及对应实施例中的描述，这里不再赘述。
参照图14，本申请实施例还提供了一种绘制命令处理装置，所述装置应用于终端设备，所述终端设备包括图形处理器GPU，所述装置包括：
指令获取转换模块1401，用于获取基于OpenGL实现的M个第一绘制命令，所述M个第一绘制命令属于第一渲染通道，并将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令；
获取基于OpenGL实现的N个第三绘制命令，所述N个第三绘制命令属于第二渲染通道，并将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；
指令提交模块1402，用于在得到至少一个第四绘制指令之后，将所述至少一个第二绘制命令和所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
在一种可能的实现中，所述M和所述N小于50。
在一种可能的实现中，所述第一渲染通道和所述第二渲染通道为相邻的渲染通道，且所述第二渲染通道中的绘制指令被配置为在所述第一渲染通道中的绘制指令被执行之后执行。
在一种可能的实现中，所述M个第一绘制命令用于绘制目标场景，所述N个第三绘制命令用于在所述目标场景上进行如下操作的至少一种：
绘制特效、进行着色以及绘制用户界面UI。
在一种可能的实现中，所述N个第三绘制命令包括第一目标绘制命令，所述第一目标绘制命令用于清除执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于清除执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
在一种可能的实现中，所述第二渲染通道包括依照预设次序排列的N个第三绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述第一目标绘制命令为所述N个第三绘制命令中排列最靠前的绘制命令。
在一种可能的实现中，所述N个第三绘制命令包括第二目标绘制命令，所述第二目标绘制命令在所述第一目标绘制命令被执行之后执行，所述第二目标绘制命令用于获取执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
在一种可能的实现中，所述M个第一绘制命令和所述N个第三绘制命令用于绘制同一个图像帧。
图14中描述的绘制命令处理装置的具体描述可以参照图8至图10以及对应实施例中的描述，这里不再赘述。
参照图15，图15为本申请提供的一种终端设备1500的结构示意，如图15示出的那样，所述终端设备包括处理器1501和存储器1502，所述处理器包括中央处理器CPU和图形处理器GPU，所述GPU支持嵌入式系统开放图形库openGL ES中的目标扩展，所述CPU用于获取所述存储器的代码以执行上述图3至图10描述的实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者其他网络设备等)执行本申请图2实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (31)

1.一种绘制命令处理方法，所述方法应用于终端设备，所述终端设备包括图形处理器GPU，其特征在于，所述方法包括：
获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令；
将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令；
在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
2.根据权利要求1所述的方法，其特征在于，所述渲染通道包括依照预设次序排列的N个绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述M1个第一绘制命令为所述N个绘制命令中排列前M1的绘制命令，所述N大于或等于所述M1和所述M2的和的正整数。
3.根据权利要求2所述的方法，其特征在于，所述终端设备还包括：图像处理缓存器，所述方法还包括：将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，将所述至少一个第二绘制命令存储至所述图像处理缓存器；
所述在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，包括：
基于所述图像处理缓存器中存储的待提交的绘制命令满足第一预设条件，将所述至少一个第二绘制命令提交至所述GPU；其中，所述第一预设条件包括如下的至少一种：
所述图像处理缓存器中待提交的绘制命令的数量达到所述M1；以及，
所述图像处理缓存器中待提交的绘制命令所需绘制的顶点数量等于或超过预设值，其中，所述至少一个第二绘制命令所需绘制的顶点数量等于或超过所述预设值。
4.根据权利要求1至3任一所述的方法，其特征在于，所述将所述至少一个第二绘制命令提交至所述GPU，包括：
基于所述GPU满足第二预设条件，将所述至少一个第二绘制命令提交至所述GPU，所述第二预设条件包括如下的至少一种：
所述GPU当前的负载小于预设值；以及，
所述GPU当前的绘制帧率小于预设帧率。
5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
获取所述GPU当前的绘制帧率以及负载；
根据所述绘制帧率以及负载，确定所述M1的大小，其中，在所述绘制帧率相同的情况下，所述负载越高，所述M1越大，在所述负载相同的情况下，所述绘制帧率越高，所述M1越大。
6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：
将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令，所述第四绘制指令为基于Vulkan实现的绘制命令；
将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
7.一种绘制命令处理方法，所述方法应用于终端设备，所述终端设备包括图形处理器GPU，其特征在于，所述方法包括：
获取基于OpenGL实现的M个第一绘制命令，所述M个第一绘制命令属于第一渲染通道，并将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令；
获取基于OpenGL实现的N个第三绘制命令，所述N个第三绘制命令属于第二渲染通道，并将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；
在得到至少一个第四绘制指令之后，将所述至少一个第二绘制命令和所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
8.根据权利要求7所述的方法，其特征在于，所述M和所述N小于50。
9.根据权利要求7或8所述的方法，其特征在于，所述第一渲染通道和所述第二渲染通道为相邻的渲染通道，且所述第二渲染通道中的绘制指令被配置为在所述第一渲染通道中的绘制指令被执行之后执行。
10.根据权利要求7至9任一所述的方法，其特征在于，所述M个第一绘制命令用于绘制目标场景，所述N个第三绘制命令用于在所述目标场景上进行如下操作的至少一种：
绘制特效、进行着色以及绘制用户界面UI。
11.根据权利要求7至10任一所述的方法，其特征在于，所述N个第三绘制命令包括第一目标绘制命令，所述第一目标绘制命令用于清除执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于清除执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
12.根据权利要求11所述的方法，其特征在于，所述第二渲染通道包括依照预设次序排列的N个第三绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述第一目标绘制命令为所述N个第三绘制命令中排列最靠前的绘制命令。
13.根据权利要求11或12所述的方法，其特征在于，所述N个第三绘制命令包括第二目标绘制命令，所述第二目标绘制命令在所述第一目标绘制命令被执行之后执行，所述第二目标绘制命令用于获取执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
14.根据权利要求7至13任一所述的方法，其特征在于，所述M个第一绘制命令和所述N个第三绘制命令用于绘制同一个图像帧。
15.一种绘制命令处理装置，所述装置应用于终端设备，所述终端设备包括图形处理器GPU，其特征在于，所述装置包括：
指令获取模块，用于获取M1个第一绘制命令，所述M1个第一绘制命令属于同一个渲染通道，且所述渲染通道还包括M2个第三绘制命令，所述M1和所述M2为正整数，所述M1个第一绘制命令和所述M2个第三绘制命令均为基于嵌入式系统开放图形库OpenGL实现的绘制命令；
指令转换模块，用于将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令，所述第二绘制指令为基于Vulkan实现的绘制命令；
指令提交模块，用于在完成所述M2个第三绘制命令向基于Vulkan实现的绘制命令的转换之前，将所述至少一个第二绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
16.根据权利要求15所述的装置，其特征在于，所述渲染通道包括依照预设次序排列的N个绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述M1个第一绘制命令为所述N个绘制命令中排列前M1的绘制命令，所述N大于或等于所述M1和所述M2的和的正整数。
17.根据权利要求15或16所述的装置，其特征在于，所述终端设备还包括：图像处理缓存器，所述装置还包括：存储模块，用于将所述M1个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令之后，将所述至少一个第二绘制命令存储至所述图像处理缓存器；
所述指令提交模块，用于基于所述图像处理缓存器中存储的待提交的绘制命令满足第一预设条件，将所述至少一个第二绘制命令提交至所述GPU；其中，所述第一预设条件包括如下的至少一种：
所述图像处理缓存器中待提交的绘制命令的数量达到所述M1；以及，
所述图像处理缓存器中待提交的绘制命令所需绘制的顶点数量等于或超过预设值，其中，所述至少一个第二绘制命令所需绘制的顶点数量等于或超过所述预设值。
18.根据权利要求15至17任一所述的装置，其特征在于，所述指令提交模块，用于基于所述GPU满足第二预设条件，将所述至少一个第二绘制命令提交至所述GPU，所述第二预设条件包括如下的至少一种：
所述GPU当前的负载小于预设值；以及，
所述GPU当前的绘制帧率小于预设帧率。
19.根据权利要求15至18任一所述的装置，其特征在于，所述装置还包括：
确定模块，用于获取所述GPU当前的绘制帧率以及负载；
根据所述绘制帧率以及负载，确定所述M1的大小，其中，在所述绘制帧率相同的情况下，所述负载越高，所述M1越大，在所述负载相同的情况下，所述绘制帧率越高，所述M1越大。
20.根据权利要求15至19任一所述的装置，其特征在于，所述指令转换模块，用于将所述M2个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令，所述第四绘制指令为基于Vulkan实现的绘制命令；
所述指令提交模块，用于将所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
21.一种绘制命令处理装置，所述装置应用于终端设备，所述终端设备包括图形处理器GPU，其特征在于，所述装置包括：
指令获取转换模块，用于获取基于OpenGL实现的M个第一绘制命令，所述M个第一绘制命令属于第一渲染通道，并将所述M个第一绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第二绘制命令；
获取基于OpenGL实现的N个第三绘制命令，所述N个第三绘制命令属于第二渲染通道，并将所述N个第三绘制命令转换为基于Vulkan实现的绘制命令，得到至少一个第四绘制命令；
指令提交模块，用于在得到至少一个第四绘制指令之后，将所述至少一个第二绘制命令和所述至少一个第四绘制命令提交至所述GPU，以便所述GPU执行绘制任务。
22.根据权利要求21所述的装置，其特征在于，所述M和所述N小于50。
23.根据权利要求21或22所述的装置，其特征在于，所述第一渲染通道和所述第二渲染通道为相邻的渲染通道，且所述第二渲染通道中的绘制指令被配置为在所述第一渲染通道中的绘制指令被执行之后执行。
24.根据权利要求21至23任一所述的装置，其特征在于，所述M个第一绘制命令用于绘制目标场景，所述N个第三绘制命令用于在所述目标场景上进行如下操作的至少一种：
绘制特效、进行着色以及绘制用户界面UI。
25.根据权利要求21至24任一所述的装置，其特征在于，所述N个第三绘制命令包括第一目标绘制命令，所述第一目标绘制命令用于清除执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于清除执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
26.根据权利要求25所述的装置，其特征在于，所述第二渲染通道包括依照预设次序排列的N个第三绘制命令，其中，所述预设次序用于表示绘制命令的被执行顺序，所述第一目标绘制命令为所述N个第三绘制命令中排列最靠前的绘制命令。
27.根据权利要求25或26所述的装置，其特征在于，所述N个第三绘制命令包括第二目标绘制命令，所述第二目标绘制命令在所述第一目标绘制命令被执行之后执行，所述第二目标绘制命令用于获取执行M个第一绘制命令后得到的绘制结果，且所述至少一个第四绘制命令中不包括用于获取执行所述至少一个第二绘制命令得到的绘制结果的绘制命令。
28.根据权利要求21至27任一所述的装置，其特征在于，所述M个第一绘制命令和所述N个第三绘制命令用于绘制同一个图像帧。
29.一种非易失性计算机可读存储介质，其特征在于，所述非易失性可读存储介质包含计算机指令，用于执行权利要求1至14任一所述的渲染命令处理方法。
30.一种运算设备，其特征在于，所述运算设备包括存储器和处理器，所述存储器中存储有代码，所述处理器用于获取所述代码，以执行权利要求1至14任一所述的渲染命令处理方法。
31.一种计算机程序产品，其特征在于，所述计算机程序产品包括代码，当所述代码被执行时，用于实现权利要求1至14任一所述的绘制命令处理方法。
CN202011271672.8A 2020-11-13 2020-11-13 一种绘制命令处理方法及其相关设备 Pending CN114494547A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011271672.8A CN114494547A (zh) 2020-11-13 2020-11-13 一种绘制命令处理方法及其相关设备
PCT/CN2021/130249 WO2022100685A1 (zh) 2020-11-13 2021-11-12 一种绘制命令处理方法及其相关设备
EP21891205.3A EP4231147A4 (en) 2020-11-13 2021-11-12 DRAWING ORDER PROCESSING METHOD AND RELATED DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011271672.8A CN114494547A (zh) 2020-11-13 2020-11-13 一种绘制命令处理方法及其相关设备

Publications (1)

Publication Number Publication Date
CN114494547A true CN114494547A (zh) 2022-05-13

Family

ID=81490209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011271672.8A Pending CN114494547A (zh) 2020-11-13 2020-11-13 一种绘制命令处理方法及其相关设备

Country Status (3)

Country Link
EP (1) EP4231147A4 (zh)
CN (1) CN114494547A (zh)
WO (1) WO2022100685A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664375B (zh) * 2022-10-17 2024-04-12 荣耀终端有限公司 图像预测方法、装置、设备及存储介质
CN115729557B (zh) * 2022-11-16 2024-01-26 格兰菲智能科技有限公司 脚本处理方法和装置
CN116310243B (zh) * 2023-05-24 2023-08-15 山东捷瑞数字科技股份有限公司 基于人工智能的ar防抖方法、系统、设备及存储介质
CN116991600B (zh) * 2023-06-15 2024-05-10 上海一谈网络科技有限公司 图形调用指令的处理方法、装置、设备及存储介质
CN117437451B (zh) * 2023-12-21 2024-04-16 芯瞳半导体技术(山东)有限公司 图像匹配方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9632848B1 (en) * 2015-12-29 2017-04-25 Advanced Micro Devices, Inc. Asynchronous submission of commands
CN111724293B (zh) * 2019-03-22 2023-07-28 华为技术有限公司 图像渲染方法及装置、电子设备
CN110515623B (zh) * 2019-07-09 2023-01-20 北京达佳互联信息技术有限公司 图形操作实现方法、装置、电子设备及存储介质
CN110647325A (zh) * 2019-08-21 2020-01-03 北京达佳互联信息技术有限公司 图形资源转换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4231147A1 (en) 2023-08-23
EP4231147A4 (en) 2024-01-24
WO2022100685A1 (zh) 2022-05-19

Similar Documents

Publication Publication Date Title
CN111724293B (zh) 图像渲染方法及装置、电子设备
WO2022100685A1 (zh) 一种绘制命令处理方法及其相关设备
WO2020093988A1 (zh) 一种图像处理方法及电子设备
CN112532892B (zh) 图像处理方法及电子装置
WO2022017261A1 (zh) 图像合成方法和电子设备
CN110572866B (zh) 一种唤醒锁的管理方法及电子设备
WO2021213031A1 (zh) 图像合成方法及相关装置
CN113542580B (zh) 去除眼镜光斑的方法、装置及电子设备
WO2022017474A1 (zh) 任务处理方法及相关装置
CN110968247B (zh) 一种电子设备操控方法及电子设备
WO2022001258A1 (zh) 多屏显示方法、装置、终端设备及存储介质
WO2021068926A1 (zh) 模型更新方法、工作节点及模型更新系统
CN114727220B (zh) 一种设备搜寻方法以及电子设备
CN115589051B (zh) 充电方法和终端设备
WO2023241209A9 (zh) 桌面壁纸配置方法、装置、电子设备及可读存储介质
CN112684969B (zh) 始终显示方法及移动设备
CN113986162A (zh) 图层合成方法、设备及计算机可读存储介质
CN114880251A (zh) 存储单元的访问方法、访问装置和终端设备
CN111651254A (zh) 一种执行应用的方法及装置
CN113490291A (zh) 数据下载方法、装置和终端设备
CN114915721A (zh) 建立连接的方法与电子设备
CN113781548A (zh) 多设备的位姿测量方法、电子设备及系统
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
CN113950045B (zh) 签约数据的下载方法和电子设备
CN115206308A (zh) 一种人机交互的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination