CN115294261A - 图像着色处理方法及相关设备 - Google Patents

Abstract

本申请提供一种图像着色处理方法及相关设备。其中，方法包括：通过开放图形库调取中央处理器中的待处理图像，对待处理图像进行图形化处理，得到图形化处理结果；通过开放图形库调取中央处理器中深度学习模型的参数数据，利用参数数据对深度学习模型进行配置；通过开放图形库将图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。这样使得得到的着色渲染结果无需回传至中央处理器，可以直接将该着色渲染结果发送至显示装置进行显示，能够减少数据传输的耗时，以及减少数据传输时资源的空间占用，提高着色渲染的效率。

Description

图像着色处理方法及相关设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像着色处理方法及相关设备。

背景技术

一些终端的板卡上的硬件资源有限，一般没有设置专门的深度学习模型对应的硬件资源。因此深度学习模型一般设置于图形处理器(graphics processing unit，GPU)中。利用深度学习模型进行处理时，会将CPU(central processing unit，中央处理器)发来的图像，在GPU中利用深度学习模型进行着色处理，得到的输出结果需要再次传回CPU。通过CPU将输出结果发送给显示装置显示。

但是，现有技术中的这种着色处理方法，需要CPU再进行回传，增加传输工作，影响工作效率。

发明内容

有鉴于此，本申请的目的在于提出一种图像着色处理方法及相关设备，能够解决或部分解决上述技术问题。

基于上述目的，本申请第一方面提供了一种图像着色处理方法，包括：

通过开放图形库调取中央处理器中的待处理图像，对所述待处理图像进行图形化处理，得到图形化处理结果；

通过所述开放图形库调取中央处理器中深度学习模型的参数数据，利用所述参数数据对所述深度学习模型进行配置；

通过所述开放图形库将所述图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

基于同一个发明构思，本申请第二方面提供了一种图像着色处理装置，包括：

图形化处理模块，被配置为通过开放图形库调取待处理图像，对所述待处理图像进行图形化处理，得到图形化处理结果；

参数配置模块，被配置为通过所述开放图形库调取中央处理器中深度学习模型的参数数据，利用所述参数数据对所述深度学习模型进行配置；

着色渲染模块，被配置为通过所述开放图形库将所述图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

基于同一个发明构思，本申请第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如第一方面所述的方法。

基于同一个发明构思，本申请第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其中，所述计算机指令用于使计算机执行第一方面所述的方法。

基于同一个发明构思，本申请第五方面提供了一种计算机程序产品，包括计算机程序指令，其中，当所述计算机程序指令在计算机上运行时，使得所述计算机执行如第一方面所述的方法。

从上面所述可以看出，本申请提供的图像着色处理方法及相关设备，能够利用开放图形库直接调取中央处理器中的待处理图像，并对其进行图形化处理之后；再利用开放图形库调取深度学习模型所需的参数数据，按照参数数据对该深度学习模型进行配置，配置完成后，将图形化处理结果利用配置完成的深度学习模型进行着色渲染处理；最后将着色渲染结果直接发送至显示装置进行显示。这样，通过开放图形库与深度学习模型的配合能够完成着色渲染的过程，这样使得得到的着色渲染结果无需回传至中央处理器，可以直接将该着色渲染结果发送至显示装置进行显示，能够减少数据传输的耗时，以及减少数据传输时资源的空间占用，提高着色渲染的效率。

附图说明

为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的应用场景的结构示意图；

图2为本申请实施例的图像着色处理方法的流程图；

图3A为本申请实施例的图像着色处理方法的流程简图；

图3B为本申请实施例的纹理绑定过程的流程简图；

图3C为本申请实施例的着色渲染过程的逻辑处理图；

图4为本申请实施例的图像着色处理方法的结构框图；

图5为本申请实施例的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

对本申请涉及的各个名词进行解释如下：

开放图形库：OpenGL，Open Graphics Library，是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(API)。

中央处理器：CPU，central processing unit，作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。

图形处理器：GPU，graphics processing unit，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。

深度学习模型：是利用神经网络构建的包括多层算法神经元的数据模型。

顶点着色器：Vertex Shader，是一组指令代码，这组指令代码在顶点被渲染时执行。

片段着色器：Fragment Shader，又称为像素着色器，能够对拆分的多个图元分别进行着色处理。

TBO：Texture Buffer Objects，纹理缓冲区对象。

FBO：Frame Buffer Objects，帧缓冲区对象。

EBO：Element Buffer Objects，索引缓冲区对象。

VBO：Verter Buffer Objects，顶点缓冲区对象。

VAO：Verter Array Objects，顶点数组对象。

参考图1，其为本申请实施例提供的图像着色处理方法的应用场景示意图。该应用场景包括：CPU、GPU和显示装置，CPU、GPU和显示装置之间通过有线或无线连接。

CPU中存储有需要进行着色处理的待处理图像，GPU中设置有OpenGL，通过OpenGL调取CPU中的待处理图像，在GPU中基于OpenGL对待处理图像进行图形化处理，进而得到图形化处理结果。GPU再利用OpenGL从CPU中调取深度学习模型所需的参数数据，根据这些参数数据对深度学习模型进行配置。在GPU中将图形化处理结果输入至配置完成的深度学习模型中进行着色渲染处理，整个着色渲染的过程都是在GPU中进行的，着色渲染过程中利用OpenGL在GPU中进行数据调用，配合深度学习网络进行着色渲染处理。这样，GPU就可以将得到的着色渲染结果直接发送至显示装置显示，无需回传给CPU，简化了传输的过程，减少数据传输时资源的空间占用，提高着色渲染的效率。

下面结合图1的应用场景，来描述根据本申请示例性实施方式的图像着色处理方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

基于上述描述，本申请的实施例提出的一种图像着色处理方法，应用于图形处理器GPU，如图2所示，包括：

步骤201，通过开放图形库调取中央处理器中的待处理图像，对所述待处理图像进行图形化处理，得到图形化处理结果。

具体实施时，该待处理图像可以是一帧也可以是多帧，会预先将开放图形库OpenGL内置在GPU中，这样通过GPU进行图像着色处理时，可以通过OpenGL从中央处理器CPU中调取，然后再在GPU中进行图形化处理。

在一些实施例中，所述图形化处理通过顶点着色器完成；步骤201包括：

步骤2011，利用顶点着色器获取所述待处理图像的顶点数据，将所述顶点数据转换为图元数据，所述图元数据为矢量图。

步骤2012，利用顶点着色器对所述图元数据进行光栅化处理得到栅格化数据，将所述栅格化数据作为所述图形化处理结果。

具体实施时，OpenGL配合进行着色处理(shader)时，会通过编译、链接等过程，生成着色器的程序，该着色器的程序包括：顶点着色器的程序和片段着色器的程序。步骤201的过程就是通过顶点着色器来完成图像化处理的过程。

具体为：顶点着色器将待处理图像的顶点数据进行运算处理，然后再通过图元装配过程，将顶点数据转换为图元数据。由于图元数据是矢量图，需要对图元数据进行光栅化处理，转化成栅格化数据。这样一个待处理图像就能够被拆分成多个栅格化数据。这样方便对于每个栅格化数据分别进行片段着色处理，方便后续的片段着色过程。

步骤202，通过所述开放图形库调取中央处理器中深度学习模型的参数数据，利用所述参数数据对所述深度学习模型进行配置。

在一些实施例中，步骤202包括：

步骤2021，利用所述片段着色器执行。

步骤2022，通过所述开放图形库从中央处理器中调取深度学习模型的参数数据。

步骤2023，利用所述开放图形库调取纹理数据，利用所述纹理数据对所述参数数据进行绑定纹理处理，得到参数纹理对象。

步骤2024，根据所述参数纹理对象对所述深度学习模型进行配置，得到配置完成的深度学习模型。

具体实施时，深度学习模型是设置在片段着色器中，由多层神经元构成的网状模型，各层神经元之间是需要通过参数(即，权重系数)来连接的。这些参数数据会预先存储在CPU，同样需要OpenGL从CPU中调取这些参数数据。在GPU中设置有TBO(Texture BufferObjects，纹理缓冲区对象)。由于这些参数数据无法直接配置在片段着色器的深度学习模型中，需要利用TBO将这些参数数据进行绑定纹理处理，形成参数纹理对象后，就可以将其在深度学习模型中进行配置。所有参数纹理对象全部配置完成后，就得到了配置完成的深度学习模型。

通过上述方案，能够利用OpenGL配合深度学习模型，完成对参数数据进行纹理绑定以及配置的过程，进而保证配置完成的深度学习模型能够更好进行后续的片段着色处理过程。

在一些实施例中，步骤2023中调取纹理数据的过程，包括：利用所述开放图形库中的纹理提取函数调取纹理缓冲区对象中的纹理数据。

具体实施时，在OpenGL中，需要利用纹理提取函数(例如，TextureFetch)访问GPU中的纹理缓冲区，调取其中的纹理数据，其中纹理缓冲区中的纹理是一种一维纹理数据，该一维纹理数据来自纹理缓冲区对象(TBO)，TBO用于允许片段着色器访问由纹理缓冲区对象管理的内存表。其中，对应的缓冲区纹理的纹理提取函数(即，采样器)类型为samplerBuffer。

步骤203，通过所述开放图形库将所述图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

在一些实施例中，将所述深度学习模型配置在片段着色器中。

具体实施时，按照上述步骤202的过程，对该深度学习模型配置完成后，可以结合片段着色器的功能实现着色渲染的过程。

在一些实施例中，步骤203利用所述片段着色器执行，会将图形化处理结果以sample2D的形式传递给片段着色器，包括：

步骤2031，获取所述图形化处理结果中每个图元数据的栅格化数据。

其中，上述步骤2011至2012过程，能够利用顶点着色器得到图元数据，以及每个图元数据的栅格化数据，这样片段着色器就可以从顶点着色器中调取这些栅格化数据，或者顶点着色器处理完之后将这些栅格化数据传给片段着色器。

步骤2032，利用所述开放图形库调取纹理数据，利用所述纹理数据对所述栅格化数据进行绑定纹理处理，得到图元纹理对象。

具体实施时，由于栅格化处理不能直接在片段着色器的深度学习模型中直接处理，需要利用纹理缓冲区对象TBO对这些栅格化数据进行绑定纹理处理，形成与各个图元数据对应的图元纹理对象。

步骤2033，将所述图元纹理对象输入至所述配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

在一些实施例中，所述深度学习模型为卷积神经网络模型，所述卷积神经网络模型中包括至少一个卷积层。

步骤2033包括：

步骤20331，将所述图元纹理对象输入至卷积神经网络模型中，利用至少一个卷积层对所述图元纹理对象进行卷积着色处理，得到图元着色结果输出。

具体实施时，该卷积神经网络模型还包括：输入层和输出层，在片段着色器中利用OpenGL调取图元纹理对象，将图元纹理对象输入至卷积神经网络模型的输入层，输入层将图元纹理数据传给至少一个卷积层进行层层卷积着色处理，然后最后一个卷积层将最终的卷积结果发送至输出层，通过输出层输出，进而得到各个图元数据对应的图元着色结果。

但是由于这些图元着色结果是分散的，无法整合，因此需要下面的步骤进行矢量整合。

步骤20332，确定所述顶点着色器中的图元数据对应的矢量关系。

具体实施时，同样利用OpenGL从顶点着色器中调取之前进行顶点着色处理时得到的各个图元数据对应的矢量关系，该矢量关系中包含有各个图元数据对应的位置关系。

在一些实施例中，步骤20332包括：

利用所述顶点着色器执行：

步骤203321，获取顶点数据和图元数据。

步骤203322，根据所述顶点数据确定顶点缓冲对象。

步骤203323，根据所述图元数据确定索引缓冲对象。

步骤203324，将所述顶点缓冲对象和所述索引缓冲对象进行数据组合处理，得到顶点数组对象(即，VAO，Vertex Buffer Objects)。

步骤203325，对所述顶点数据对象进行数据激活处理得到所述矢量关系。

其中，上述步骤203322和步骤203323可以并列执行，可以顺序执行，也可以先执行步骤203323再执行步骤203322，具体可以根据实际需要进行选择，这里不做具体限定。

通过上述方案，能够很好的根据顶点缓冲对象和索引缓冲对象确定各个图元数据之间的关联关系，进行得到顶点数组对象，对该顶点数组对象进行激活数据处理之后，就能够得到代表各个图元数据对应的位置关系的矢量关系，这样便于后续根据该矢量关系给图元着色结果进行排布，进而保证后续的排布效果。

步骤20333，将所述图元着色结果依据所述矢量关系进行排布处理得到所述着色结果。

具体实施时，将各个图元着色结果按照该矢量关系进行排布之后能够得到一个着色数据矩阵，将该着色数据矩阵作为着色结果。

步骤20334，将所述着色结果进行渲染得到着色渲染结果发送至显示装置进行显示。

在一些实施例中，步骤20334包括：

步骤203341，确定所述开放图形库对应的表面视图窗口。

例如，对于安卓终端，如果需要通过OpenGL在窗口进行调用渲染，对应提供的表面视图窗口为Android glsurfaceview。

步骤203342，利用所述开放图形库调用渲染函数，利用渲染函数对所述着色结果在所述表面视图窗口进行渲染，得到着色渲染结果。

步骤203343，将所述着色渲染结果发送至显示装置进行显示。

具体实施时，上述顶点着色器和片段着色器进行着色处理之后，将得到的着色结果需要在表面视图窗口进行渲染，才能得到最终显示装置能够直接用于显示的着色渲染结果。

通过上述实施例描述的技术方案，能够利用开放图形库直接调取中央处理器中的待处理图像，并对其进行图形化处理之后；再利用开放图形库调取深度学习模型所需的参数数据，按照参数数据对该深度学习模型进行配置，配置完成后，将图形化处理结果利用配置完成的深度学习模型进行着色渲染处理；最后将着色渲染结果直接发送至显示装置进行显示。这样，通过开放图形库与深度学习模型的配合能够完成着色渲染的过程，这样使得得到的着色渲染结果无需回传至中央处理器，可以直接将该着色渲染结果发送至显示装置进行显示，能够减少数据传输的耗时，以及减少数据传输时资源的空间占用，提高着色渲染的效率。

下面以一个具体实施例描述图像着色渲染处理方法的实施过程。

具体如图3A所示，主要分为两个过程：

第一，利用顶点着色器进行图元配置过程，具体为：

顶点着色器将图像的顶点数据进行运算处理，然后再通过图元配置过程，将顶点数据转换为图元数据。由于图元数据是矢量图，需要对图元数据进行光栅化处理，转化成栅格化数据。这样一个待处理图像就能够被拆分成多个栅格化数据。

第二，利用片段着色器对图元中的栅格化数据进行着色渲染。

着色渲染之前，需要通过TBO进行纹理话处理，具体如图3B所示。

利用OpenGL调取纹理数据0和纹理数据1，利用纹理数据0对图元数据中的栅格化数据进行绑定纹理处理得到图元纹理对象(即，图3C中FBO处理过程)，利用纹理数据1对参数数据(例如权重系数)进行绑定纹理处理得到参数纹理对象(即，图3C中TBO处理过程)。

然后将图元纹理对象和参数纹理对象在片段着色器中利用深度学习模型进行着色处理。

如图3C所示，在顶点着色器中：

顶点数据和图元数据中分别存储图像像素的位置信息和颜色信息。根据顶点数据确定VBO顶点缓冲区对象，根据图元数据确定EBO图元缓冲区对象，其存储位置均在GPU中。

然后，将VBO和EBO进行组合处理得到顶点数组对象VAO，便于管理VBO和EBO。

在片段着色器中：

将图元数据通过帧缓冲区对象FBO进行绑定纹理处理得到图元纹理对象。将参数数据通过纹理缓冲区对象TBO进行绑定纹理处理得到参数纹理对象。

然后利用设置在片段着色器中的深度学习模型按照该参数纹理对象进行配置后对图元纹理对象进行着色处理，将着色处理结果通过Android glsurfaceview提供窗口进行渲染处理。

最后将渲染结果在显示装置上进行播放。

综上所述，能够将深度学习模型与OpenGL进行结合，在GPU上做图形化等相关操作，之后会根据不同的着色器直接渲染到屏幕进行播放，而不需要将处理后的数据再回传给GPU，省下了这部分数据传输的工作，非常适用于一些经过深度学习计算后之间进行屏幕播放的情况，例如视频、图像画质增强、超分等。

需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种图像着色处理装置。

参考图4，所述装置，包括：

图形化处理模块41，被配置为通过开放图形库调取待处理图像，对所述待处理图像进行图形化处理，得到图形化处理结果；

参数配置模块42，被配置为通过所述开放图形库调取中央处理器中深度学习模型的参数数据，利用所述参数数据对所述深度学习模型进行配置；

着色渲染模块43，被配置为通过所述开放图形库将所述图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

在一些实施例中，图形化处理模块41，被配置为通过顶点着色器完成图形化处理过程，包括：

利用顶点着色器获取所述待处理图像的顶点数据，将所述顶点数据转换为图元数据，所述图元数据为矢量图；利用顶点着色器对所述图元数据进行光栅化处理得到栅格化数据，将所述栅格化数据作为所述图形化处理结果。

在一些实施例中，将所述深度学习模型配置在片段着色器中。

在一些实施例中，参数配置模块42，包括：

参数调取单元，被配置为利用所述片段着色器通过所述开放图形库从中央处理器中调取深度学习模型的参数数据；

参数纹理处理单元，被配置为利用所述开放图形库调取纹理数据，利用所述纹理数据对所述参数数据进行绑定纹理处理，得到参数纹理对象；

模型配置单元，被配置为根据所述参数纹理对象对所述深度学习模型进行配置，得到配置完成的深度学习模型。

在一些实施例中，参数纹理处理单元，还被配置为：

利用所述开放图形库中的纹理提取函数调取纹理缓冲区对象中的纹理数据。

在一些实施例中，着色渲染模块43，包括：

图元获取单元，被配置为利用所述片段着色器获取所述图形化处理结果中每个图元数据的栅格化数据；

图元纹理处理单元，被配置为利用所述开放图形库调取纹理数据，利用所述纹理数据对所述栅格化数据进行绑定纹理处理，得到图元纹理对象；

着色渲染单元，被配置为将所述图元纹理对象输入至所述配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

在一些实施例中，所述深度学习模型为卷积神经网络模型，所述卷积神经网络模型中包括至少一个卷积层；

着色渲染单元，还被配置为：

将所述图元纹理对象输入至卷积神经网络模型中，利用至少一个卷积层对所述图元纹理对象进行卷积着色处理，得到图元着色结果输出；确定所述顶点着色器中的图元数据对应的矢量关系；将所述图元着色结果依据所述矢量关系进行排布处理得到所述着色结果；将所述着色结果进行渲染得到着色渲染结果发送至显示装置进行显示。

在一些实施例中，着色渲染单元，还被配置为：

利用所述顶点着色器执行：获取顶点数据和图元数据；根据所述顶点数据确定顶点缓冲对象；根据所述图元数据确定索引缓冲对象；将所述顶点缓冲对象和所述索引缓冲对象进行数据组合处理，得到顶点数组对象；对所述顶点数据对象进行数据激活处理得到所述矢量关系。

在一些实施例中，着色渲染单元，还被配置为：

确定所述开放图形库对应的表面视图窗口；利用所述开放图形库调用渲染函数，利用渲染函数对所述着色结果在所述表面视图窗口进行渲染，得到着色渲染结果；将所述着色渲染结果发送至显示装置进行显示。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的方法。

图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种计算机程序产品，其包括计算机程序。在一些实施例中，所述计算机程序由一个或多个处理器可执行以使得所述处理器执行所述的方法。对应于方法各实施例中各步骤对应的执行主体，执行相应步骤的处理器可以是属于相应执行主体的。

上述实施例的计算机程序产品用于使处理器执行如上任一实施例所述的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像着色处理方法，包括：

通过开放图形库调取中央处理器中的待处理图像，对所述待处理图像进行图形化处理，得到图形化处理结果；

通过所述开放图形库调取中央处理器中深度学习模型的参数数据，利用所述参数数据对所述深度学习模型进行配置；

通过所述开放图形库将所述图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

2.根据权利要求1所述的方法，其中，所述图形化处理通过顶点着色器完成；

所述对所述待处理图像进行图形化处理，得到图形化处理结果，包括：

利用顶点着色器获取所述待处理图像的顶点数据，将所述顶点数据转换为图元数据，所述图元数据为矢量图；

利用顶点着色器对所述图元数据进行光栅化处理得到栅格化数据，将所述栅格化数据作为所述图形化处理结果。

3.根据权利要求1或2所述的方法，其中，将所述深度学习模型配置在片段着色器中。

4.根据权利要求3所述的方法，其中，所述通过所述开放图形库调取中央处理器中深度学习模型的参数数据，利用所述参数数据对所述深度学习模型进行配置，包括：

利用所述片段着色器执行：

通过所述开放图形库从中央处理器中调取深度学习模型的参数数据；

利用所述开放图形库调取纹理数据，利用所述纹理数据对所述参数数据进行绑定纹理处理，得到参数纹理对象；

根据所述参数纹理对象对所述深度学习模型进行配置，得到配置完成的深度学习模型。

5.根据权利要求4所述的方法，其中，所述利用所述开放图形库调取纹理数据，包括：

利用所述开放图形库中的纹理提取函数调取纹理缓冲区对象中的纹理数据。

6.根据权利要求3所述的方法，其中，所述通过所述开放图形库将所述图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示，包括：

利用所述片段着色器执行：

获取所述图形化处理结果中每个图元数据的栅格化数据；

利用所述开放图形库调取纹理数据，利用所述纹理数据对所述栅格化数据进行绑定纹理处理，得到图元纹理对象；

将所述图元纹理对象输入至所述配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

7.根据权利要求6所述的方法，其中，所述深度学习模型为卷积神经网络模型，所述卷积神经网络模型中包括至少一个卷积层；

所述将所述图元纹理对象输入至所述配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示，包括：

将所述图元纹理对象输入至卷积神经网络模型中，利用至少一个卷积层对所述图元纹理对象进行卷积着色处理，得到图元着色结果输出；

确定所述顶点着色器中的图元数据对应的矢量关系；

将所述图元着色结果依据所述矢量关系进行排布处理得到所述着色结果；

将所述着色结果进行渲染得到着色渲染结果发送至显示装置进行显示。

8.根据权利要求7所述的方法，其中，所述确定所述顶点着色器中的图元数据对应的矢量关系，包括：

利用所述顶点着色器执行：

获取顶点数据和图元数据；

根据所述顶点数据确定顶点缓冲对象；

根据所述图元数据确定索引缓冲对象；

将所述顶点缓冲对象和所述索引缓冲对象进行数据组合处理，得到顶点数组对象；

对所述顶点数据对象进行数据激活处理得到所述矢量关系。

9.根据权利要求7所述的方法，其中，所述将所述着色结果进行渲染得到着色渲染结果发送至显示装置进行显示，包括：

确定所述开放图形库对应的表面视图窗口；

利用所述开放图形库调用渲染函数，利用渲染函数对所述着色结果在所述表面视图窗口进行渲染，得到着色渲染结果；

将所述着色渲染结果发送至显示装置进行显示。

10.一种图像着色处理装置，包括：

图形化处理模块，被配置为通过开放图形库调取待处理图像，对所述待处理图像进行图形化处理，得到图形化处理结果；

参数配置模块，被配置为通过所述开放图形库调取中央处理器中深度学习模型的参数数据，利用所述参数数据对所述深度学习模型进行配置；

着色渲染模块，被配置为通过所述开放图形库将所述图形化处理结果调取至配置完成的深度学习模型中进行着色渲染处理，得到着色渲染结果发送至显示装置进行显示。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的方法。

12.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其中，所述计算机指令用于使计算机执行权利要求1至9任意一项所述的方法。

13.一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得所述计算机执行如权利要求1-9中任一项所述的方法。

Images