CN105741228A - 图形处理方法及装置 - Google Patents

Abstract

本申请公开了图形处理方法，应用于图形处理组件，其提供包括多个像素着色器程序的着色器程序集，其中，每一像素着色器程序对应于一种滤镜；该方法包括：通过CPU确定图片各顶点的纹理坐标并将其传入GPU的顶点着色器；通过CPU获得图片的纹理贴图，将其传入GPU的缓存，并将纹理贴图与各顶点的纹理坐标绑定；响应于用户选择的滤镜，通过CPU加载对应的像素着色器程序，并将其传入GPU的像素着色器；通过CPU调用GPU的绘制函数，使得GPU根据各顶点纹理坐标、纹理贴图、像素着色器程序，绘制图片并将其保存在帧缓冲区。本申请还公开了相应的装置。此方法及装置能提高滤镜处理效率。

Description

图形处理方法及装置

技术领域

本申请涉及信息技术(IT，InformationTechnology)技术领域，尤其涉及一种图形处理方法及装置。

背景技术

随着互联网的发展，涌现了各种图形处理应用软件(如：美图秀秀、天天P图等)。各种图形处理应用软件中的一个主要功能就是提供多种滤镜(比如各种LOMO风格、各种美颜效果等)，用户可以选择某种滤镜，应用软件可以采用该滤镜对应的滤镜算法对目标图片进行渲染处理，显示具有相应滤镜效果的图片。

但是，目前这些图形处理应用软件的滤镜处理效率还不够高，用户在选择一种滤镜之后，经过一段时延才能显示出相应滤镜效果的图片。此外，这种应用软件的扩展性也较差，各种滤镜算法固化在应用软件中，在增加新的滤镜功能时，需要开发针对该应用软件的专门的滤镜算法程序，如果要为多种应用软件增加同一滤镜功能，就要分别针对这些应用软件开发相应的滤镜算法程序，这样，开发效率就很低，不易于扩展。

发明内容

有鉴于此，本申请提供了一种图形处理方法及装置，以提高图形处理应用软件的滤镜处理效率。

本申请的技术方案是这样实现的：

本申请提供了一种图形处理方法，该方法应用于图形处理组件，该图形处理组件提供包括多个像素着色器程序的着色器程序集，其中，每一像素着色器程序对应于一种滤镜；当对一图片进行图形处理时，该方法包括：通过中央处理单元(CPU)确定所述图片各顶点的纹理坐标并将其传入图形处理单元(GPU)的顶点着色器中；通过所述CPU获得所述图片的纹理贴图，将其传入所述GPU的缓存中，并将所述纹理贴图与所述各顶点的纹理坐标绑定在一起；响应于用户选择的滤镜，通过所述CPU加载所选的滤镜对应的像素着色器程序，并将其传入所述GPU的像素着色器中；通过所述CPU调用所述GPU的绘制函数，使得所述GPU根据所述顶点着色器中的各顶点纹理坐标、所述缓存中的纹理贴图、所述像素着色器中的像素着色器程序，重新绘制所述图片，并将绘制得到的图片保存在所述GPU的帧缓冲区以供显示。

本申请还提供了一种图形处理装置，该装置包括：顶点模块、纹理模块、滤镜模块和绘制模块，其中，所述滤镜模块提供包括多个像素着色器程序的着色器程序集，每一像素着色器程序对应于一种滤镜；当对一图片进行图形处理时，该装置中的各模块完成如下处理：所述顶点模块通过所述CPU确定所述图片各顶点的纹理坐标并将其传入所述GPU的顶点着色器中；所述纹理模块通过所述CPU获得所述图片的纹理贴图，将其传入所述GPU的缓存中，并将所述纹理贴图与所述各顶点的纹理坐标绑定在一起；所述滤镜模块，响应于用户选择的滤镜，通过所述CPU加载所选的滤镜对应的像素着色器程序，并将其传入所述GPU的像素着色器中；所述绘制模块通过所述CPU调用所述GPU的绘制函数，使得所述GPU根据所述顶点着色器中的各顶点纹理坐标、所述缓存中的纹理贴图、所述像素着色器中的像素着色器程序，重新绘制所述图片，并将绘制得到的图片保存在所述GPU的帧缓冲区以供显示。

采用上述方法及装置，由CPU进行主流程控制而由GPU完成复杂的滤镜算法计算，进而能提高应用程序对于图片的滤镜处理效率，具有较高并发性。

附图说明

为了更清楚的说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中，

图1为本申请提供的方法所涉及的系统构架图；

图2为本申请一实例中的方法流程示意图；

图3为本申请一实例中CPU和GPU配合完成的处理流程示意图；

图4为本申请一实例中的装置组成结构示意图；及

图5为本申请一实例中的计算设备组成结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实例是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。

本申请提出了一种图形处理方法，其可应用于图形处理组件，该图形处理组件提供包括多个像素着色器程序的着色器程序集，其中，每一像素着色器程序对应于一种滤镜；当对一图片进行图形处理时，该方法可使得CPU和GPU相互配合完成对于该图片的滤镜处理。

图1示出了该方法所涉及的系统构架图。如图1所示，图形处理组件102内置于应用程序(APP)101之中并支持GPU可编程渲染管线，当采用该方法对一图片进行处理时，图形处理组件102调用GPU可编程渲染管线提供的应用程序接口(API)103，进而通过操作系统104使得CPU105和GPU106相互配合来完成对于该图片的处理。这里，API103是在操作系统104之上提供给APP101的调用接口，APP101通过调用API103可以使操作系统104去执行APP101的各种命令(动作)，这些命令(动作)通过操作系统104的解释之后可以转换成CPU105可执行的指令，CPU105通过执行这些指令可以控制GPU106与其相互配合来完成对于图片的图形处理。

具体的，图形处理组件可使CPU和GPU相互配合，由CPU进行主流程控制而由GPU完成复杂的滤镜算法计算，进而能提高图片的滤镜处理效率，图2所示，在一实例中，相关的处理包括如下步骤：

步骤201：图形处理组件通过CPU确定图片各顶点的纹理坐标并将其传入GPU的顶点着色器中。

步骤202：图形处理组件通过CPU获得图片的纹理贴图，将其传入GPU的缓存中，并将所述纹理贴图与各顶点的纹理坐标绑定在一起。

步骤203：响应于用户选择的滤镜，图形处理组件通过CPU加载所选的滤镜对应的像素着色器程序，并将其传入GPU的像素着色器中。

步骤204：图形处理组件通过CPU调用GPU的绘制函数，使得GPU根据顶点着色器中的各顶点纹理坐标、缓存中的纹理贴图、像素着色器中的像素着色器程序，重新绘制图片，并将绘制得到的图片保存在GPU的帧缓冲区以供显示。

上述步骤中，图形处理组件可以调用GPU可编程渲染管线提供的API来通过CPU和GPU完成上述处理。

在此实例中，通过GPU进行滤镜运算(即执行像素着色器程序)，因此有并发性高、图形指令支持更充分等特点。此外，绘制后的图片直接经过GPU的帧缓冲区以供显示器显示输出，则可以省去不必要的从CPU到GPU的编码转换过程，这是因为，在现有的由CPU进行滤镜运算的方案中，绘制后的图片需要重新编码，再将重新编码的图片交给GPU输出(如：处理完成的Bitmap传入GPU后，要转换成GPU支持的ETC等格式才能最终在显示屏上输出)。

以下结合图3对上述方法各步骤进行详细说明。如图3所示，CPU负责主流程控制，包括：步骤301～305，并在步骤执行的过程中与GPU进行交互。在此实例中，本申请提供的图形处理组件和GPU所支持的GPU可编程渲染管线为OpenGLES2.0GraphicsPipeline，其中所采用的像素着色器为片元着色器(FragmentShader)。如图3所示，具体流程如下：

步骤301：CPU在世界坐标系中构建一个矩形作为公告板，并将该矩形所使用的顶点坐标依次传入到GPU的顶点缓冲区31中，这里顶点缓冲区31可被称为顶点阵列/缓冲区对象(VertexArrays/BufferObjects)。其中，公告板一共有4个顶点，分别描述公告板的左上、左下、右上、右下四个坐标的位置，例如可以分别为坐标(-0.5,0.5)、(-0.5,-0.5)、(0.5,0.5)、(0.5,-0.5)。

步骤302：CPU计算得到模型视图投影(MVP)矩阵并将其传入GPU中的顶点着色器(VertexShader)32。这样，顶点着色器32可利用MVP矩阵和来自顶点缓冲区31的顶点坐标进行公告板空间位置的转换，比如可产生，从视点以正交投影方式观察公告板的视觉效果。

具体的，可根据如下变换公式，在CPU中计算MVP矩阵：

MVP矩阵＝投影矩阵*摄像机矩阵*变换矩阵

其中，投影矩阵为三维空间到二维平面的投影矩阵，可以是一个正交投影矩阵或透视投矩阵；视点矩阵(也被称为摄像机矩阵)代表视点在世界坐标系中所处的位置，要求其朝向为正对上述公告板；变换矩阵代表上述公告板在世界坐标系中所处的位置，要求其位置在上述投影矩阵所描述的视景体之内(即近平面和远平面之间)，这样，即使没有被裁剪，也可以保证被视点看到。

上述步骤301和302可以预先执行也可以在确定了待处理图片之后执行。

步骤303：CPU将待处理的图片与上述公告板绑定，根据该公告板的顶点坐标获得所述图片各顶点的纹理坐标并将其传入GPU的顶点着色器32。例如：公告板的左上、左下、右上、右下四个顶点的坐标分别为(-0.5,0.5)、(-0.5,-0.5)、(0.5,0.5)、(0.5,-0.5)，所获得的图片的左上、左下、右上、右下四个顶点的纹理坐标可以依次为(0.0,0.0)、(0.0,1.0)、(1.0,0.0)、(1.0,1.0)。

步骤304：CPU读取待处理的图片的数据，获得该图片的纹理贴图并将其传入GPU的纹理缓存33中，同时，CPU还将纹理贴图和图片各顶点的纹理坐标绑定在一起。

步骤305：响应于用户对于应用程序的操作，可以确定用户选择的滤镜，在着色器程序集中选择该滤镜对应的一个像素着色器程序进行加载，并将此像素着色器程序送入到片元着色器34中。这里，像素着色器程序中包含该滤镜所使用的参数和对每个像素点的具体运算代码。

之后，CPU可以通过调用GPU的绘制函数来使GPU处理得到具有该滤镜效果的图片。具体的，片元着色器34根据纹理缓存34中的纹理贴图、当前加载的像素着色器程序、经过模块35和36处理后的图片各顶点的数据(如纹理坐标等)，重新绘制图片，并将绘制得到的图片保存在GPU的帧缓冲区37以供显示。

这里，图片的顶点坐标和纹理坐标在经过顶点着色器32处理后会通过以下两个步骤再传入片元着色器34中：

1、在模块35中经过图元装配(PrimitiveAssembly)处理：这个阶段主要是做叫做“透视剔除”的处理，以将通过视点看不到的或者不在视景体中的多边形剔除掉，进而提高渲染性能。

2、在模块36中经过光栅化(Rasterization)处理：这个阶段主要是把顶点数据转换为片元(像素级)数据的过程。如传入的四个顶点，会被光栅化插值成对应屏幕像素的多个片元。纹理坐标也会同样被会经过插值算法被插值成对应像素点的诸多纹理坐标。

上述实例是基于OpenGL的可编程管线，本申请提供的图形处理方法还可基于DirectX的可编程管线，如DirectX9.0或以上版本。在基于DirectX的可编程管线实现上述方法时，上述的片元着色器34由像素着色器(PixelShader)代替，工作原理基本相同，这里不再赘述。

在一实例中，上述的像素着色器程序由HLSL、GLSL、RM等跨平台语言编写。这样，上述图形处理组件可以很方便的移植到基于不同平台开发的图形处理应用软件中，能够显著提高程序开发效率。比如：在基于IOS平台开发一美图软件时，可以嵌入本申请提供的图形处理组件，其中，各种滤镜算法由跨平台的语言编写，当基于安卓平台开发其它美图软件时，则直接嵌入此图形处理组件即可，而不必重复开发滤镜算法的像素着色器程序代码。此外，上述图形处理组件面向应用程序提供了通用接口，可供不同的应用程序调用，具有较好的移植性。

在一实例中，当为应用程序新增一滤镜时，可以将该滤镜对应的像素着色器程序增加至(或者说是加载到)上述的着色器程序集中。像素着色器程序的开发与应用程序的开发相互独立，当推出新的滤镜时，无需更新应用程序的软件产品，直接通过网络等方式将新的滤镜添加到着色器程序集中即可实现滤镜系统的升级。原本一个应用程序的更新可能有数10MB，而一个像素着色器程序只需要数百个字节，所涉及的数据量显然少很多，用户也无需重新安装或更新应用程序。可见，采用本申请提供的图形处理方法也能显著提高滤镜功能的可扩展性以及数据处理效率。

基于上述方法，本申请还提供了一种图形处理装置，该装置可作为图形处理组件。如图4所示，在一实例中，该装置400包括：顶点模块401、纹理模块402、滤镜模块403和绘制模块404，其中，滤镜模块403提供包括多个像素着色器程序的着色器程序集，每一像素着色器程序对应于一种滤镜。

当对一图片进行图形处理时，该装置中的各模块完成如下处理：

顶点模块401通过CPU确定该图片各顶点的纹理坐标并将其传入GPU的顶点着色器中。

纹理模块402通过CPU获得该图片的纹理贴图，将其传入GPU的缓存中，并将该纹理贴图与各顶点的纹理坐标绑定在一起。

滤镜模块403，响应于用户选择的滤镜，通过CPU加载所选的滤镜对应的像素着色器程序，并将其传入GPU的像素着色器中。

绘制模块404通过CPU调用GPU的绘制函数，使得GPU根据顶点着色器中的各顶点纹理坐标、缓存中的纹理贴图、像素着色器中的像素着色器程序，重新绘制该图片，并将绘制得到的图片保存在GPU的帧缓冲区以供显示。

上述装置可以为内置于应用程序的图形处理组件，并支持GPU可编程渲染管线。上述模块401～404可以调用GPU可编程渲染管线提供的API来通过CPU和GPU完成上述处理。

在一实例中，当为上述应用程序新增一滤镜时，滤镜模块403将该新增的滤镜对应的像素着色器程序增加至着色器程序集中。

在一实例中，该装置进一步包括接口模块405，其面向应用程序提供可供不同应用程序调用的通用接口，响应于任一应用程序的调用请求而调用顶点模块401、纹理模块402、滤镜模块403和绘制模块404中的任一者或者任意组合。

上述各模块的具体工作原理在方法实例中已有描述，这里不再赘述。

另外，在本申请各个实例中的装置及各模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上装置或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

在一实施例中，上述的图形处理装置400可运行在各种可做图形处理的计算设备中，并加载在该计算设备的存储器中。如图5所示，该计算设备除了包括上述图形处理装置400中的各个模块，还可包括：存储器501、处理器503、总线502、端口504。处理器503和存储器501通过总线502互联。处理器503可通过端口504接收和发送数据以实现网络通信和/或本地通信。上述各模块401～404可以是存储器501中存储的机器可执行指令模块。处理器503通过执行存储器501中各模块401～404中包含的机器可执行指令，进而能够实现上述各模块401～404的功能。

上述计算设备中，各模块401～404实现各自功能的具体方法在前述方法实例中均有描述，这里不再赘述。

另外，本申请的每个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此，本申请还提供了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述方法的任何一种实例。

以上所述仅为本申请的实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种图形处理方法，其特征在于，应用于图形处理组件，该图形处理组件提供包括多个像素着色器程序的着色器程序集，其中，每一像素着色器程序对应于一种滤镜；当对一图片进行图形处理时，该方法包括：

通过中央处理单元CPU确定所述图片各顶点的纹理坐标并将其传入图形处理单元GPU的顶点着色器中；其中，所述GPU支持GPU可编程渲染管线；

通过所述CPU获得所述图片的纹理贴图，将其传入所述GPU的缓存中，并将所述纹理贴图与所述各顶点的纹理坐标绑定在一起；

响应于用户选择的滤镜，通过所述CPU加载所选的滤镜对应的像素着色器程序，并将其传入所述GPU的像素着色器中；

通过所述CPU调用所述GPU的绘制函数，使得所述GPU根据所述顶点着色器中的各顶点纹理坐标、所述缓存中的纹理贴图、所述像素着色器中的像素着色器程序，重新绘制所述图片，并将绘制得到的图片保存在所述GPU的帧缓冲区以供显示。

2.根据权利要求1所述的方法，进一步包括：

当为所述应用程序新增一滤镜时，将该滤镜对应的像素着色器程序增加至所述着色器程序集。

3.根据权利要求1所述的方法，其中，各所述像素着色器程序由跨平台语言编写；和/或，所述GPU可编程渲染管线为OpenGL的可编程管线或者DirectX的可编程管线。

4.根据权利要求1所述的方法，其中，所述图形处理组件面向应用程序提供可供不同应用程序调用的通用接口。

5.根据权利要求1所述的方法，其中，所述确定所述图片各顶点的纹理坐标，包括：

获得公告板在世界坐标系中的顶点坐标以及模型视图投影矩阵；

将所述图片与所述公告板绑定，根据所述公告板的顶点坐标以及所述模型视图投影矩阵获得所述图片各顶点的纹理坐标。

6.根据权利要求5所述的方法，其中，所述获得公告板在世界坐标系中的顶点坐标以及模型视图投影矩阵，包括：

所述CPU确定一矩形在所述世界坐标系中的各顶点坐标并将其传入所述GPU的顶点缓冲区；

所述CPU根据从三维空间到二维平面的投影矩阵、代表视点在所述世界坐标系中位置的视点矩阵、代表所述公告板在所述世界坐标系中位置的变换矩阵，计算得到一模型视图投影矩阵并将其传入所述GPU的顶点着色器中；其中，所述公告板的所述位置位于所述投影矩阵所描述的视景体之内。

7.一种图形处理装置，其特征在于，该装置包括：顶点模块、纹理模块、滤镜模块和绘制模块，其中，所述滤镜模块提供包括多个像素着色器程序的着色器程序集，每一像素着色器程序对应于一种滤镜；

当对一图片进行图形处理时，该装置中的各模块完成如下处理：

所述顶点模块通过所述CPU确定所述图片各顶点的纹理坐标并将其传入所述GPU的顶点着色器中；

所述纹理模块通过所述CPU获得所述图片的纹理贴图，将其传入所述GPU的缓存中，并将所述纹理贴图与所述各顶点的纹理坐标绑定在一起；

所述滤镜模块，响应于用户选择的滤镜，通过所述CPU加载所选的滤镜对应的像素着色器程序，并将其传入所述GPU的像素着色器中；

所述绘制模块通过所述CPU调用所述GPU的绘制函数，使得所述GPU根据所述顶点着色器中的各顶点纹理坐标、所述缓存中的纹理贴图、所述像素着色器中的像素着色器程序，重新绘制所述图片，并将绘制得到的图片保存在所述GPU的帧缓冲区以供显示。

8.根据权利要求7所述的装置，其中，当为所述应用程序新增一滤镜时，所述滤镜模块将该新增的滤镜对应的像素着色器程序增加至所述着色器程序集。

9.根据权利要求7所述的装置，进一步包括：

接口模块，面向应用程序提供可供不同应用程序调用的通用接口，响应于任一应用程序的调用请求而调用所述顶点模块、所述纹理模块、所述滤镜模块和所述绘制模块中的至少一个。