CN110751592A - 图形资源转换方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于图形资源转换方法、装置、电子设备及存储介质，所述方法包括：获取用户输入的图形资源操作，所述图形资源操作包括：OpenGL的图形资源操作或OpenGL ES的图形资源操作；根据所述图形资源操作确定中间图形资源接口，根据所述中间图形资源接口确定对应的至少一种目标图形资源接口；通过所述至少一种目标图形资源接口向图形资源库申请对应图形处理器GPU；将申请到的所述GPU分配给所述用户，实现所述图形资源与对应的至少一种目标图形资源的转换。也就是说，本公开实施例旨在不改变原来OpenGL或OpenGL ES上层代码架构的基础上，将所述图形资源操作转换成对应的至少一种目标图形资源接口，实现了图形资源的转换，减少了渲染研发人员的工作量及研发成本。

Description

图形资源转换方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机领域，尤其涉及一种图形资源转换方法、装置、电子 设备及存储介质。

背景技术

随着终端技术的快速发展，智能终端的一些应用程序(APP)中都设置 了美颜、美妆、魔法表情等功能，由于多年的代码积累，目前这些功能都基 于OpenGL或OpenGL ES编写了相应的渲染器及图形引擎。其中，OpenGL 或OpenGL ES支持多种嵌入式平台等，且支持功能完善的2D和3D图形应 用程序接口(API)，主要针对多种嵌入式系统而专门设计的，它由精心定 义的桌面OpenGL或OpenGL ES子集组成，创造了软件与图形加速间灵活 强大的底层交互接口。

但是，随着图形硬件快速发展，OpenGL或OpenGL ES这种针对早期性 能有限的图形硬件所设计的单线程、全局状态集的编程接口无法发挥现代图 形硬件的性能优势，导致这几年每个主流厂家纷纷推出专门针对自家硬件特 点的图形可编程接口，同时逐步停止跟进新版本的OpenGL或OpenGL ES， 甚至干脆公开声明不再支持OpenGL ES、要求App开发者使用厂家自己的 新API重新开发现有功能。而对于多数APP而言，如果重新研发基于OpenGL 或OpenGL ES的图形渲染功能，针对不同的操作系统，均需要重新编写对 应的渲染器来实现图形渲染/计算功能。由于新旧图形API设计理念差异过 大，如果重新编写图像代码不但影响到渲染器之上的2/3D渲染引擎的架构， 还会增加了研发人员的工作量及研发成本。

发明内容

为克服相关技术中存在的问题，本公开提供一种图形资源转换方法、装 置、电子设备及存储介质，以解决现有技术中由于新旧图形API设计理念差 异过大，如果重新编写图像代码导致研发人员的工作量及研发成本增加的技 术问题。

根据本公开实施例的第一方面，提供一种图形资源转换方法，包括：

获取用户输入的图形资源操作，其中，所述图形资源操作包括：OpenGL 的图形资源操作，或OpenGL ES的图形资源操作；

根据所述图形资源操作确定中间图形资源接口；

根据所述中间图形资源接口对应的至少一种目标图形资源接口；

通过所述至少一种目标图形资源接口向图形资源库申请对应的图形处 理器GPU；

将申请到的所述GPU分配给所述用户，实现所述图形资源与所述至少一 种目标图形资源的转换。

可选的，所述根据所述图形资源操作确定中间图形资源接口，包括：

根据所述图形资源操作查找预设的第一映射关系，得到对应的中间图形 资源接口；

在所述第一映射关系中记录所述图形资源操作与所述中间图形资源接 口的对应关联状态。

可选的，所述根据所述中间图形资源接口确定对应的至少一种目标图形 资源接口，包括：

根据所述中间图形资源接口查找第二映射关系，得到对应的至少一种目 标图形资源接口；

在所述第二映射关系中记录所述中间图形资源接口与所述至少一种目 标图形资源接口的对应关联状态。

可选的，在所述获取用户输入的图形资源操作之前，所述方法还包括：

建立OpenGL或OpenGL ES图形资源接口与所述中间图形资源接口之间 的第一映射关系；以及建立所述中间图形资源接口与所述至少一种目标图形 资源接口之间的第二映射关系，其中，所述至少一种目标图形资源接口包括： Metal图形资源接口、Vulkan图形资源接口和DX图形资源接口中的至少一 种。

可选的，所述建立OpenGL或OpenGL ES图形资源接口与所述中间图形 资源接口之间的第一映射关系，具体包括：

按照OpenGL或OpenGL ES规范要求，将OpenGL或OpenGL ES图形资源 接口代码转换成对应的中间图形资源接口代码；

建立所述OpenGL或OpenGL ES图形资源接口代码与中间图形资源接口 代码之间的第一映射关系；

所述建立所述中间图形资源接口与所述至少一种目标图形资源接口之 间的第二映射关系，包括：

按照OpenGL或OpenGL ES规范要求，将中间图形资源接口代码转换成 对应至少一种目标形资源接口代码；

建立所述中间图形资源接口代码与对应的所述至少一种目标图形资源 接口代码之间的第二映射关系。

可选的，所述按照OpenGL或OpenGL ES规范要求，将OpenGL或OpenGL ES图形资源接口代码转换成对应的中间图形资源接口代码包括：

按照OpenGL或OpenGL ES规范要求中不同图形资源接口代码所占的内 存布局、坐标轴和裁剪空间，将OpenGL或OpenGL ES图形资源接口代码转 换成对应的中间图形资源接口代码；

所述OpenGL或OpenGL ES规范要求，建立所述中间图形资源接口代码 与对应的所述至少一种目标图形接口代码之间的映射关系，包括：

按照OpenGL或OpenGL ES规范要求中不同图形资源接口代码所占的内 存布局、坐标轴和裁剪空间，将所述中间图形资源接口代码转换成至少一种 目标图形资源接口代码。

可选的，在所述获取用户输入的图形资源操作前，所述方法还包括：

按照多级别状态检查方式来检查图形资源库中各设备的参数和状态的 有效性；其中，所述多级别状态检查方式包括：第一级别检查，用来对所述 各设备的参数和状态的检查，并对检查出错误的参数和状态提供文字描述； 第二级别检查，用来对状态机的状态进行有效检查；以及第三级别检查，用 来在系统确定所述各设备的所有函数的参数与调用顺序均正确的情况下，不 再对所有函数的参数和调用顺序进行检查，或者在系统确定所述各设备的所 有函数的参数与调用顺序不正确的情况下，对不正确函数的参数与调用顺序进行检查；

如果所述各设备的参数和状态均有效，则执行所述获取用户输入的图形 资源操作的步骤。

可选的，在将申请到的所述GPU分配给所述用户后，所述方法还包括：

将申请到的所述GPU记录在所述映射关系中。

根据本公开实施例的第二方面，提供一种图形资源转换装置，包括：

获取模块，被配置为获取用户输入的图形资源操作,其中，所述图形资 源操作包括：OpenGL的图形资源操作，或OpenGL ES的图形资源操作；

第一确定模块，被配置为根据所述图形资源操作确定对应的中间图形资 源接口；

第二确定模块，被配置根据所述中间图形资源接口确定对应的至少一种 目标图形资源接口；

资源申请模块，被配置为通过所述至少一种目标图形资源接口向图形资 源库申请对应的图形处理器GPU；

资源分配模块，被配置为将申请到的所述图形处理器GPU分配给所述用 户，实现所述图形资源与所述至少一种目标图形资源的转换。

可选的，所述所述第一确定模块包括：

第一查找模块，被配置为根据所述图形资源操作查找预设的第一映射关 系，得到对应的中间图形资源接口；

第一记录模块，被配置为在所述第一映射关系中记录所述图形资源操作 与所述中间图形资源接口的对应关联状态。

可选的，第二确定模块包括：

所述第二确定模块包括：

第二查找模块，被配置为根据所述第一查找模块查找到的所述中间图形 资源接口查找预设的第二映射关系，得到对应的至少一种目标图形资源接 口；

第二记录模块，被配置为在所述第二映射关系中记录所述中间图形资源 接口与所述至少一种目标图形资源接口的对应关联状态。

可选的，所述装置还包括：

第一建立模块，被配置为在所述获取模块获取用户输入的图形资源操作 之前，建立OpenGL或OpenGL ES图形资源接口与所述中间图形资源接口之 间的第一映射关系；

第二建立模块，被配置为建立所述中间图形资源接口与所述至少一种目 标图形资源接口之间的映射关系，其中，所述至少一种目标图形资源接口包 括：Metal图形资源接口、Vulkan图形资源接口和DX图形资源接口中的至 少一种。

可选的，所述第一建立模块包括：

第一转换模块，被配置为按照OpenGL或OpenGL ES规范要求，将OpenGL 或OpenGLES图形资源接口代码转换成对应的中间图形资源接口代码；

第一建立子模块，被配置为建立所述OpenGL或OpenGL ES图形资源接 口代码与对应的中间图形资源接口代码之间的第一映射关系；

所述第二建立模块包括：

第二转换模块，被配置为按照OpenGL或OpenGL ES规范要求，将中间 图形资源接口代码转换成对应至少一种目标形资源接口代码；

第二建立子模块，被配置为建立所述中间图形资源接口代码与对应的所 述至少一种目标图形资源接口代码之间的第二映射关系。

可选的，所述第一转换模块，具体被配置为按照OpenGL或OpenGL ES 规范要求中不同图形资源接口代码所占的内存布局、坐标轴和裁剪空间，将 OpenGL或OpenGL ES图形资源接口代码转换成对应的中间图形资源接口代 码；

所述第二转换模块，具体被配置为按照OpenGL或OpenGL ES规范要求 中不同图形资源接口代码所占的内存布局、坐标轴和裁剪空间，将所述中间 图形资源接口代码转换成至少一种目标图形资源接口代码。

可选的，所述装置还包括：

检查模块，被配置为在所述获取模块获取用户输入的图形资源操作前， 按照多级别状态检查方式来检查各设备的参数和状态的有效性，其中，所述 多级别状态检查方式包括：第一级别检查，用来对所述各设备的参数和状态 的检查，并对检查出错误的参数和状态提供文字描述；第二级别检查，用来 对状态机的状态进行有效检查；以及第三级别检查，用来在系统确定所述各 设备的所有函数的参数与调用顺序均正确的情况下，不再对所有函数的参数 和调用顺序进行检查，或者在系统确定所述各设备的所有函数的参数与调用顺序不正确的情况下，对不正确函数的参数与调用顺序进行检查；

所述获取模块，还被配置为在所述检查模块检查到所述各设备的参数和 状态均有效时，获取用户输入的图形资源操作。

可选的，所述装置还包括：

第三记录模块，被配置为在所述资源分配模块将申请到的所述GPU分 配给所述用户后，将申请到的所述GPU记录在所述映射关系中。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用 于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述任 一种图形资源转换方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介 质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设 备执行上述任一种图形资源转换方法。

根据本公开实施例的第五方面，提供根据一种计算机程序产品，当所述 计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执 行上述任一种图形资源转换方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本示例性实施 例示出的图形资源转换方法，在获取用户输入的图形资源操作后，确定与所 述图形资源操作对应的至少一种目标图形资源接口；通过所述至少一种目标 图形资源接口向图形资源库申请对应的图形处理器GPU；以及将申请到的所 述GPU分配给所述用户，实现所述图形资源与至少一种目标图形资源的转 换。也就是说，本公开实施例旨在不改变原来OpenGL或OpenGLES上层 代码架构的基础上，将所述图形资源操作转换成对应的至少一种目标图形资 源，实现了图形资源的转换，减少了研发人员的工作量及研发成本。。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性 的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发 明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种图形资源转换方法的流程图；

图2是根据一示例性实施例示出的一种图形资源转换方法的另一流程 图；

图3是根据一示例性实施例示出的一种图形资源转换装置的结构示意 图；

图4是根据一示例性实施例示出的一种图形资源转换装置的另一结构示 意图；

图5是根据一示例性实施例示出的一种图形资源转换装置的又一结构示 意图；

图6是根据一示例性实施例示出的一种电子设备的结构示意图；

图7是根据一示例性实施例示出的一种电子设备的另一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的 描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的 要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所 有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一 些方面相一致的装置和方法的例子。

在介绍本公开之前，先介绍与本公开相关的技术术语：

OpenGL(Open Graphics Library)，为开放图形库或者开放式图形库， 是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(API)， 这个接口由近350个不同的函数调用组成，用来从简单的图形比特绘制复杂 的三维景象。也就是说，OpenGL定义了一个跨编程语言、跨平台的编程接口 的规格，它用于三维图像(二维图像的也可)。OpenGL是个专业的图形程序接 口，是一个功能强大，调用方便的底层图形库。

OpenGL ES(OpenGL for Embedded Systems)，是OpenGL三维图 形API的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。

Metal，是一种比OpenGL与OpenGL ES更接近硬件的图形应用程序编程接 口，提供了软件所需的最底层、最靠近图形硬件的应用程序接口(API， Application ProgramInterface)，保证软件可以运行在不同的图形芯片上。 相对于OpenGL ES，Metal框架及其着色器(shader)语言，更能体现现代图形 硬件的性能优势。

在理解上述技术术语的基础上，请参阅图1，是根据一示例性实施例示 出的一种图形资源转换方法的流程图，如图1所示，图形资源转换方法用于 终端中，包括以下步骤：

步骤101：获取用户输入的图形资源操作,其中，所述图形资源操作包括： OpenGL的图形资源操作，或OpenGL ES的图形资源操作。

该步骤中，在用户打开终端上的APP后，如果想美颜或美妆，则需要向 图形资源库(该图形数据库中，可以包括Metal图形资源、Vulkan图形资源 和DX图形资源等)申请图像资源请求，即后台服务器获取到该用户输入的 图形资源操作，其中，该图形资源操作中可以包括图像资源请求名称，用户 ID以及图像资源接口等信息，当然并不限于此，还可以是根据需要包括其他 参数，本实施例不做限制。

需要说明的是，该实施例中，所述OpenGL ES是OpenGL三维图形API 的子集，本公开将OpenGL和OpenGL ES统称为图形资源。

步骤102：根据所述图形资源操作确定中间图形资源接口；

该步骤中，后台服务器可以根据所述图形资源操作查找预设的第一映射 关系，根据该第一映射关系可以得到与图形资源操作对应的一种中间图形资 源接口；之后，在所述第一映射关系中记录所述图形资源操作与所述中间图 形资源接口的对应关联状态。

进一步，在所述获取用户输入的图形资源操作之前，预先建立第一映射 关系，即建立OpenGL或OpenGL ES图形资源接口与中间图形资源接口之间 的第一映射关系，其中，该第一映射关系为输入层与中间层是一对一的映射 关系。其具体的建立过程为：按照OpenGL或OpenGL ES规范要求，将OpenGL 或OpenGL ES图形资源接口代码转换成对应的中间图形资源接口代码；建立 所述OpenGL或OpenGL ES图形资源接口代码与中间图形资源接口代码之间 的第一映射关系。其中，所述按照OpenGL或OpenGL ES规范要求，将OpenGL 或OpenGL ES图形资源接口代码转换成对应的中间图形资源接口代码包括： 按照OpenGL或OpenGL ES规范要求中不同图形资源接口代码所占的内存布 局、坐标轴和裁剪空间，将OpenGL或OpenGL ES图形资源接口代码转换成 对应的中间图形资源接口代码。

步骤103：根据所述中间图形资源接口确定对应的至少一种目标图形资 源接口。

该步骤中，后台服务器可以根据所述中间图形资源接口查找预设的第二 映射关系，根据该第二映射关系，可以得到与中间图形资源接口对应的至少 一种目标图形资源接口；之后，在所述第二映射关系中记录所述中间图形资 源接口与所述至少一种目标图形资源接口的对应关联状态。

进一步，在所述建立第一映射关系后，预先建立第二映射关系，即建立 中间图形资源接口与至少一种目标图形资源接口之间的第二映射关系，其 中，所述至少一种目标图形资源接口可以包括：Metal图形资源接口、Vulkan 图形资源接口和DX图形资源接口中的至少一种等，二者是一对多的映射关 系。其具体的建立过程为：

按照OpenGL ES规范要求，将中间图形资源接口代码转换成对应的至少 一种目标图形资源接口代码；其中，所述至少一种目标图形资源接口代码包 括：Metal图形资源接口代码、Vulkan图形资源接口代码和DX图形资源接 口代码等；之后，建立中间图形资源接口代码与所述至少一种目标图形接口 代码之间的第二映射关系。

也就是说，本公开中，中间层维护两类映射关系，一类是，输入层到中 中间层的映射关系，称为第一映射关系，这类映射关系是一对一的映射关系， 另一类是中间层到输出层之间的映射关系，称为第二映射关系，这类映射关 系为一对多的映射关系。

输入层，就是指用户输入的图形资源操作，可以包括：OpenGL的图形资 源操作，或OpenGL ES的图形资源操作等。

中中间层，技术用来对接收到输入层输入的图形资源操作转换成输出层 能实现的所有图形资源接口，即实现输入层到输出层之间的所有功能的集 合，比如，针对不同厂家的API所支持的操作的集合。而中间层的作用是能 够描述输入层的操作转换成输出层的操作，其目的，减少计算量，方便维护。

需要说明的是，中间层到输出层的输出是不确定的，输出可能是三种图 形资源接口中的任意一种；或者输出层输出的是三种接口中的两种或三种， 此时，就需要在输入层和输出层的中间设置一个中间层，其一个输入层对应 一个中间层，一个中间层对应多个(N个)输出层。

进一步，在中间层到输出层的这种一对多映射的情况下，比如进行了一 次OpenGL到Metal的映射，在映射完成后，中间层把输入层OpenGL可实现 的操作、把Metal可实现的操作收集在中间层，即记录在中间层对应的映射 关系中，这就建立了输入层到中间层的一次映射，以及中间层到Metal输出 层的一次映射，并且保存了OpenGL到Metal映射的特征；如果下次需要 OpenGL到Vulcan的映射，这就不需要从输入层重新建立映射，而是可以利用上一次输入层和中间层的映射，这时候只需要从中间层触发建立到Vulcan 的映射即可，上一次的很多操作可以通过中间层复用。

其中，一种转换过程为；

按照OpenGL或OpenGL ES规范要求中不同图形资源接口代码所占的内 存布局、坐标轴和裁剪空间，将中间图形资源接口代码转换成对应的至少一 种目标图形资源接口代码。

下面以将glBufferData操作转换成对应的图形资源操作为例，但并不 限于此。

首先，按OpenGL或OpenGL ES规范要求进行参数检查，对于错误的参 数进行相应的错误记录。其次，根据参数要求，创建一个图形资源缓冲区对 象实例，最后，向此实例传递glBufferData参数中表示要定向数据缓冲区 的实现数据。

步骤104：通过所述至少一种目标图形资源接口向图形资源库申请对应 的图形处理器GPU。

该步骤中，调用至少一种目标图形资源接口向图像资源库申请对应的图 形处理器(GPU，Graphics Processing Unit)，其中，图形处理器可以对图 形渲染，或者图形绘制等进行处理。

步骤105：将申请到的所述GPU分配给所述用户，实现所述图形资源与 至少一种目标图形资源的转换。

该步骤中，图形处理器(GPU)通常称为显卡的处理器，它是显卡的"心脏 "，与CPU类似，只不过GPU是专为执行复杂的数学和几何计算而设计的， 这些计算是图形渲染所必需的。

目前，GPU多数拥有2D或3D图形加速功能。比如，如果CPU想画一个 二维图形，只需要发个指令给GPU，如"在坐标位置(x,y)处画个长和宽为a ×b大小的长方形"，GPU就可以迅速计算出该图形的所有像素，并在显示器 上指定位置画出相应的图形，画完后就通知CPU"我画完了"，然后等待CPU 发出下一条图形的操作指令。也就是说，使用了GPU，CPU就从图形处理的 任务中解放出来，可以执行其他更多的系统任务，这样可以大大提高计算机的整体性能。

本示例性实施例示出的图形资源转换方法，在获取用户输入的图形资源 操作后，确定中间图形资源接口；根据所述中间图形资源接口与所述图形资 源操作对应的至少一种目标图形资源接口；通过所述至少一种目标图形资源 接口向图形资源库申请对应的图形处理器GPU；以及将申请到的所述GPU分 配给所述用户，实现所述图形资源与至少一种目标图形资源的转换。也就是 说，本公开实施例旨在不改变原来OpenGL或OpenGL ES上层代码架构的基 础上，将所述图形资源操作转换成对应的至少一种目标图形资源接口，实现了图形资源功能的转换，减少了渲染研发人员的工作量及研发成本。

也就是说，本公开中，在OpenGL API或OpenGL ES API(比如美颜、美 妆和3D引擎等这些功能)与Vulkan(Metal或Metal等)API之间增加一 个面向用户的转换模块，该转换模块包括三个层，本申请应用在第三层，在 第三层按照OpenGL ES或OpenGL规范要求重新实现这些OpenGL API或 OpenGL ES API的功能，即将第一层OpenGL或OpenGL ES业务代码所需的 图形操作通过映射关系实时转动到硬件设备对于到图形操作上。该转换模块 完全兼容OpenGL API或OpenGL ES API，所有基于这些API编写的上层业务 代码无需修改，底层自动实时转为对应不同图形资源的API调用，实现了现 有代码无缝切换，接入成本几乎零。另外，利用不同图形资源下API特性， 提高不同图形资源下多核CPU利用率，改善绘制性能。转换模块中的中间层 将不同图形API的动态重定向处理，通过中间层指向一个项目内的GPU，避 免传统工作流程中不同业务团队都需要分配研发资源去适配新图形API，降 低了新图形API的学习及研发成本。

需要说明的是，本公开中的图形API，为行业规范文档定义的API，通 过特定厂家来实现，比如在iOS上苹果的实现，在Android上高通的实现等。

而本公开中的图形API重定向，是在研发阶段对图形API作了特殊处理， 即以不修改源码的前提下实现了不同平台上的同一API的不同实现，最大限 度地提高同一份代码在不同平台上的最佳性能与最大化研发调试效率。所谓 重定向，即是通过C/C++语言的函数指针加载成不同的函数实现，或者用宏 将函数名重定义到新的函数名上，从而实现了客户无需修改源码，只需要在 编译阶段包含本公开提供的头文件，在链接阶段链接预设的静态库即可实现 图形API的重定向，该重定向也称为转发功能。而本公开通过重定向操作， 可以为图形API使用者最大化利用中间层所提供的任何性能来提高研发效率 等额外功能。

还请参阅图2，是根据一示例性实施例示出的一种图形资源转换方法的 另一流程图，所述方法还可以包括：

步骤201：按照多级别状态检查方式来检查图形资源库中各设备的参数 和状态的有效性；其中，所述多级别状态检查方式包括：第一级别检查，用 来对所述各设备的参数和状态的检查，并对检查出错误的参数和状态提供文 字描述；第二级别检查，用来对状态机的状态进行有效检查；以及第三级别 检查，用来在系统确定所述各设备的所有函数的参数与调用顺序均正确的情 况下，不再对所有函数的参数和调用顺序进行检查；或者在系统确定所述各 设备的所有函数的参数与调用顺序不正确的情况下，对不正确函数的参数和 调用顺序进行检查；

该步骤中，根据图形API规范要求，几乎每个图形API都需要检查自身 的参数以及整个图形状态机的当前状态是否满足规范要求，只有满足规范要 求才能进行正常的图形操作，否则会触发硬件错误，导致操作系统处于异常 工作状态，从而影响用户使用当前设备。

而本公开提供的图形渲染接口的中间层可以提供多级别状态检查。这是 因为，现有状态检查是按照OpenGL或OpenGL ES规范要求来检查，但是， 在进行状态检查时，由于OpenGL或OpenGL ES规范并不知道当前代码处于 研发调试状态，还是线上运行阶段，从而导致线上运行阶段的代码执行了冗 余的状态检查计算，浪费了性能，无法达到最高效的运行状态。

基于此，本公开提出了多级别状态检查方式，也就是在不同的阶段采用 不同的检查方式，比如，在研发实践中采用三大级别的检查方式：1)第一 级别检查，即最细检查；2)第二级别检查，即必要检查；3)第三级别检查， 即最简检查等。其中，

1)最细检查，是指研发阶段，用来对所述各设备的参数和状态的检查， 并对检查出错误的参数和状态提供文字描述；通过该最细检查可以提高问题 定位效率的检查，也就是说，在图形API规范的基础上，根据特效，和不同 的音视频研发团队的需求作了改善，提供了最详细的错误解释，方便不同水 平的工程师快速上手。相对于规范文档的要求，本公开特意添加了当前出错 的函数名称、错误值的文字详细描述、错误信息记录到文档等。

另外，规范文档定义模糊之处，本公开作了改进，根据当前硬件厂家的 手册(包含厂家不支持的操作或功能)，作了补充检查。

2)必要检查，即上代码阶段，用来对状态机的状态进行有效检查，即 将代码应用在某些用户的设备上，如果出错了，可以使用此模式辅助定位问 题。也就是说，只检查图形状态机核心的几个状态：是否存在有效的shader program、framebuffer及其自身状态是否正确等。

3)最简检查，即线上运行阶段，用来在系统确定所述各设备的所有函 数的参数与调用顺序均正确的情况下，不再对所有函数的参数和调用顺序进 行检查；或者在系统确定所述各设备的所有函数的参数与调用顺序不正确的 情况下，对不正确函数的参数和调用顺序进行检查。也就是说，如果系统确 定所有函数的参数与调用顺序都正确，则完全不检查，如果错误，只检测错 误函数的参数和调用顺序，实现了最大化执行效率。

步骤202：如果所述各参数和状态均有效，则获取用户输入的图形资源 操作,其中，所述图形资源操作包括：OpenGL的图形资源操作，或OpenGL ES 的图形资源操作；

步骤203：根据所述图形资源操作中间图形资源接口；

步骤204：根据所述中间图形资源接口对应的至少一个目标图形资源接 口；

步骤205：通过所述至少一种目标图形资源接口向图形资源库申请对应 的图形处理器GPU；

步骤206：将申请到的所述GPU分配给所述用户，实现所述图形资源与 所述至少一种目标图形资源的转换。

其中，该实施例中的步骤202至步骤206与步骤101至步骤105同，具 体详见上述，在此不再赘述。

本公开实施例中，旨在不改变原来OpenGL或OpenGL ES上层代码架构 的基础上，在OpenGL或OpenGL ES原有架构的基础上增加一个转换模块该 转换模块包括三层，并在第三层存储有功能代码关系映射表，通过该功能代 码的映射关系，可以将OpenGL或OpenGLES图形数据转换成对应的不同的 图形数据，也就是说，通过设定的功能代码的映射关系可以将基于OpenGL 或OpenGL ES的美颜、美妆、魔法表情等功能转换成基于Metal、Vulkan或DX的美颜、美妆、魔法表情等功能。实现代码自动优化，提高GPU计算性能， 改善绘制性能，从而改善用户体验。进一步，本公开在绘制前，先检查各设 备的参数和状态的有效性，从而避免不合理的绘制行为，降低了图形相关崩 溃率。

可选的，在另一实施例中，该实施例在上述实施例的基础上，在将申请 到的所述GPU分配给所述用户后，所述方法还可以包括：将申请到的所述GPU 记录在所述映射关系中。

该实施例中，将申请到的GPU记录到映射关系中，以体现该用户申请的 GPU与目标图形资源接口之间对应关系，便于后续查找和维护。

图3是根据一示例性实施例示出的一种图形资源转换装置的结构示意 图。参照图3，该装置包括：获取模块301，第一确定模块302、第二确定模 块303、资源申请模块304和资源分配模块305，其中，

该获取模块301，被配置为获取用户输入的图形资源操作,其中，所述图 形资源操作包括：OpenGL的图形资源操作，或OpenGL ES的图形资源操作；

该第一确定模块302，被配置为根据所述图形资源操作确定对应的中间 图形资源接口；

该第二确定模块303，被配置根据所述中间图形资源接口确定对应的至 少一种目标图形资源接口；

该资源申请模块304，被配置为通过所述至少一种目标图形资源接口向 图像资源库申请对应的图形处理器GPU；

该资源分配模块305，被配置为将申请到的所述图形处理器GPU分配给 所述用户，实现所述图形资源与所述至少一种目标图形资源的转换。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一 确定模块302包括：第一查找模块401和第一记录模块403，其结构示意图 如图4所示，其中，

该第一查找模块401，被配置为根据所述图形资源操作查找预设的第一 映射关系，得到对应的中间图形资源接口；

该第一记录模块402，被配置为在所述第一映射关系中记录所述图形资 源操作与所述中间图形资源接口的对应关联状态。

可选的，所述第二确定模块包括：第二查找模块和第二记录模块(图中 未示)，其中，

该第二查找模块，被配置为根据所述第一查找模块查找到的所述中间图 形资源接口查找预设的第二映射关系，得到对应的至少一种目标图形资源接 口；

该第二记录模块，被配置为在所述第二映射关系中记录所述中间图形资 源接口与所述至少一种目标图形资源接口的对应关联状态

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置 还可以包括：第一建立模块和第一建立模块(图中未示)，其中，

该第一建立模块，被配置为在所述获取模块获取用户输入的图形资源操 作之前，建立OpenGL或OpenGL ES图形资源接口与所述中间图形资源接口 之间的第一映射关系；

该第二建立模块，被配置为建立所述中间图形资源接口与至少一种目标 图形资源接口之间的映射关系，其中，所述至少一种目标图形资源接口包括： Metal图形资源接口、Vulkan图形资源接口和DX图形资源接口中的至少一 种。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一 建立模块包括：第一转换模块和第一建立子模块，其中，

该转换模块，被配置为按照OpenGL或OpenGL ES规范要求，将OpenGL 或OpenGL ES图形资源接口代码转换成与对应的中间图形资源接口代码；

该第一子模块，被配置为建立OpenGL或OpenGL ES图形资源接口代码 与对应的所述中间图形资源接口代码之间的第一映射关系。

所述第二建立模块包括：第二转换模块和第二建立子模块，其中，

该第二转换模块，被配置为按照OpenGL或OpenGL ES规范要求，将中 间图形资源接口代码转换成对应至少一种目标形资源接口代码；

该第二建立子模块，被配置为建立所述中间图形资源接口代码与对应的 所述至少一种目标图形资源接口代码之间的第二映射关系。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一 转换模块，具体被配置为按照OpenGL或OpenGL ES规范要求中不同图形资 源接口代码所占的内存布局、坐标轴和裁剪空间，将OpenGL或OpenGL ES 图形资源接口代码转换成对应的中间图形资源接口代码；

所述第二转换模块，具体被配置为按照OpenGL或OpenGL ES规范要求 中不同图形资源接口代码所占的内存布局、坐标轴和裁剪空间，将所述中间 图形资源接口代码转换成至少一种目标图形资源接口代码。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置 还可以包括：检查模块501，其结构示意图如图5所示，其中，

该检查模块501，被配置为在所述获取模块301获取用户输入的图形资 源操作前，按照多级别状态检查方式来检查各设备的参数和状态的有效性， 其中，所述多级别状态检查方式包括：第一级别检查，用来对所述各设备的 参数和状态的检查，并对检查出错误的参数和状态提供文字描述；第二级别 检查，用来对状态机的状态进行有效检查；以及第三级别检查，用来在系统 确定所述各设备的所有函数的参数与调用顺序均正确的情况下，不再对所有 函数的参数和调用顺序进行检查，或者在系统确定所述各设备的所有函数的 参数与调用顺序不正确的情况下，对不正确函数的参数和调用顺序进行检 查；

所述获取模块301，还被配置为在所述检查模块501检测到所述各设备 的参数和状态均有效时，获取用户输入的图形资源操作。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置 还可以包括：第三记录模块，其中，

第三记录模块，被配置为在所述资源分配模块将申请到的所述GPU分 配给所述用户后，将申请到的所述GPU记录在所述第二映射关系中。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有 关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例中，由于无需改变原有系统的代码架构，通过自定义的映 射关系(或自定义数据结构)实现资源功能的转换，减少了研发人员的工作 量及研发成本。兼容现有基于OpenGL API或者OpenGL ES API实现的图形 图像功能，实现了现有代码无缝切换。进一步利用Metal API、Vulkan API 或DX API特性，提高多核CPU利用率，改善绘制性能，从而改善用户体验。 利用Metal API、Vulkan API或DX API等提供的更丰富的图形接口，绘制出更好的图形图像。以及通过加入绘制前设备状态检查，避免不合理的绘制 行为，从而降低图形相关崩溃率。以及通过自研shader转换/编译器，实现 代码自动优化，提高GPU计算性能，改善绘制性能，从而改善用户体验。

图6是根据一示例性实施例示出的一种电子设备600的框图。电子设备 可以为移动终端也可以为服务器，本公开实施例中以电子设备为移动终端为 例进行说明。例如，电子设备600可以是移动电话，计算机，数字广播终端， 消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助 理等。

参照图6，电子设备600可以包括以下一个或多个组件：处理组件602， 存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/ O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼 叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括 一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。 此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组 件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组 件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这 些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指 令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任 何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取 存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只 读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁 存储器，快闪存储器，磁盘或光盘。

电源组件606为电子设备600的各种组件提供电力。电源组件606可以 包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理 和分配电力相关联的组件。

多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接 口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板 (TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用 户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触 摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而 且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中， 多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处 于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以 接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光 学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610 包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记 录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音 频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实 施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围 接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按 钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为电子设备600提供各个 方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭 状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘， 传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改 变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/ 减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还 可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。 在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感 器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于电子设备600和其他设备之间有线或无线方 式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，运营 商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中， 通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相 关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC) 模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他 技术来实现。

在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程 逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处 理器或其他电子元件实现，用于执行上述所示的图形资源转换方法。

在示例性实施例中，还提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述的图形资源转换方法。

在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当所 述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执 行上述的图形资源转换方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储 介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620 执行以完成上述所示的图形资源转换方法。例如，所述非临时性计算机可读 存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数 据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品 中的指令由电子设备600的处理器620执行时，使得电子设备600执行上述 上述所示的图形资源转换方法。

图7是根据一示例性实施例示出的一种电子设备700的框图。例如，电 子设备700可以被提供为一服务器。参照图7，电子设备700包括处理组件 722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器 资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732 中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模 块。此外，处理组件722被配置为执行指令，以执行上述方法图形资源转换方法。

电子设备700还可以包括一个电源组件726被配置为执行电子设备700 的电源管理，一个有线或无线网络接口750被配置为将电子设备700连接到 网络，和一个输入输出(I/O)接口758。电子设备700可以操作基于存储在 存储器732的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本 发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性 变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公 开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确 结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所 附的权利要求来限制。

Claims (10)

1.一种图形资源转换方法，其特征在于，包括：

获取用户输入的图形资源操作，其中，所述图形资源操作包括：OpenGL的图形资源操作，或OpenGL ES的图形资源操作；

根据所述图形资源操作确定中间图形资源接口；

根据所述中间图形资源接口确定对应的至少一种目标图形资源接口；

通过所述至少一种目标图形资源接口向图形资源库申请对应的图形处理器GPU；

将申请到的所述GPU分配给所述用户，实现所述图形资源与所述至少一种目标图形资源的转换。

2.根据权利要求1所述的图形资源转换方法，其特征在于，所述根据所述图形资源操作确定中间图形资源接口，包括：

根据所述图形资源操作查找预设的第一映射关系，得到对应的中间图形资源接口；

在所述第一映射关系中记录所述图形资源操作与所述中间图形资源接口的对应关联状态。

3.根据权利要求2所述的图形资源转换方法，其特征在于，所述根据所述中间图形资源接口确定对应的至少一种目标图形资源接口，包括：

根据所述中间图形资源接口查找第二映射关系，得到对应的至少一种目标图形资源接口；

在所述第二映射关系中记录所述中间图形资源接口与所述至少一种目标图形资源接口的对应关联状态。

4.根据权利要求3所述的图形资源转换方法，其特征在于，在所述获取用户输入的图形资源操作之前，所述方法还包括：

建立OpenGL或OpenGL ES图形资源接口与所述中间图形资源接口之间的第一映射关系；以及建立所述中间图形资源接口与所述至少一种目标图形资源接口之间的第二映射关系，其中，所述至少一种目标图形资源接口包括：Meta l图形资源接口、Vulkan图形资源接口和DX图形资源接口中的至少一种。

5.根据权利要求4所述的图形资源转换方法，其特征在于，

所述建立OpenGL或OpenGL ES图形资源接口与所述中间图形资源接口之间的第一映射关系，具体包括：

按照OpenGL或OpenGL ES规范要求，将OpenGL或OpenGL ES图形资源接口代码转换成对应的中间图形资源接口代码；

建立所述OpenGL或OpenGL ES图形资源接口代码与中间图形资源接口代码之间的第一映射关系；

所述建立所述中间图形资源接口与所述至少一种目标图形资源接口之间的第二映射关系，包括：

按照OpenGL或OpenGL ES规范要求，将中间图形资源接口代码转换成对应至少一种目标形资源接口代码；

建立所述中间图形资源接口代码与对应的所述至少一种目标图形资源接口代码之间的第二映射关系。

6.根据权利要求5所述的图形资源转换方法，其特征在于，

所述按照OpenGL或OpenGL ES规范要求，将OpenGL或OpenGL ES图形资源接口代码转换成对应的中间图形资源接口代码包括：

按照OpenGL或OpenGL ES规范要求中不同图形资源接口代码所占的内存布局、坐标轴和裁剪空间，将OpenGL或OpenGL ES图形资源接口代码转换成对应的中间图形资源接口代码；

所述OpenGL或OpenGL ES规范要求，建立所述中间图形资源接口代码与对应的所述至少一种目标图形接口代码之间的映射关系，包括：

按照OpenGL或OpenGL ES规范要求中不同图形资源接口代码所占的内存布局、坐标轴和裁剪空间，将所述中间图形资源接口代码转换成至少一种目标图形资源接口代码。

7.根据权利要求1至6任何一项所述的图形资源转换方法，其特征在于，在所述获取用户输入的图形资源操作前，所述方法还包括：

按照多级别状态检查方式来检查图形资源库中各设备的参数和状态的有效性；其中，所述多级别状态检查方式包括：第一级别检查，用来对所述各设备的参数和状态的检查，并对检查出错误的参数和状态提供文字描述；第二级别检查，用来对状态机的状态进行有效检查；以及第三级别检查，用来在系统确定所述各设备的所有函数的参数与调用顺序均正确的情况下，不再对所有函数的参数和调用顺序进行检查，或者在系统确定所述各设备的所有函数的参数与调用顺序不正确的情况下，对不正确函数的参数与调用顺序进行检查；

如果所述各设备的参数和状态均有效，则执行所述获取用户输入的图形资源操作的步骤。

8.一种图形资源转换装置，其特征在于，包括：

获取模块，被配置为获取用户输入的图形资源操作,其中，所述图形资源操作包括：OpenGL的图形资源操作，或OpenGL ES的图形资源操作；

第一确定模块，被配置为根据所述图形资源操作确定对应的中间图形资源接口；

第二确定模块，被配置根据所述中间图形资源接口确定对应的至少一种目标图形资源接口；

资源申请模块，被配置为通过所述至少一种目标图形资源接口向图形资源库申请对应的图形处理器GPU；

资源分配模块，被配置为将申请到的所述图形处理器GPU分配给所述用户，实现所述图形资源与所述至少一种目标图形资源的转换。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7中任一项所述的图形资源转换方法。

10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行权利要求1-7中任一项所述的图形资源转换方法。

Images