CN108322722A

CN108322722A - 基于增强现实的图像处理方法、装置及电子设备

Info

Publication number: CN108322722A
Application number: CN201810068563.2A
Authority: CN
Inventors: 袁飞虎; 张敏琪
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd; Advantageous New Technologies Co Ltd
Priority date: 2018-01-24
Filing date: 2018-01-24
Publication date: 2018-07-24
Anticipated expiration: 2038-01-24
Also published as: TWI695295B; WO2019144744A1; CN108322722B; TW201933046A

Abstract

本说明书提供一种基于增强现实的图像处理方法、装置及电子设备，针对RGBA格式图像，通过在图形处理器中读取RGBA格式图像中像素点的RGBA值，图形处理器可以根据所述像素点的RGBA值快速计算得到YUV分量值，之后读取出所述图像处理器计算出的YUV分量值，可以获得YUV格式图像。本说明书实施例利用GPU的硬件加速能力，可以快速地进行RGBA格式与YUV格式的转换，图像处理速度较快，从而可以满足AR场景中对速度的要求。

Description

基于增强现实的图像处理方法、装置及电子设备

技术领域

本说明书涉及图像处理技术领域，尤其涉及基于增强现实的图像处理方法、装置及电子设备。

背景技术

AR是一种在设备摄像模块所拍摄画面上添加虚拟模型的技术，这种技术可以将真实的环境和虚拟的模型叠加到了同一个画面而同时存在，从而给与用户超越现实的感官体验。在AR场景中，需要将AR素材进行处理后渲染显示在电子设备屏幕上，因此对处理速度的要求较高。

发明内容

为克服相关技术中存在的问题，本说明书提供了基于增强现实的图像处理、图像处理方法、装置及电子设备。

根据本说明书实施例的第一方面，提供一种基于增强现实的图像处理方法，所述方法包括：

获取AR素材，所述AR素材包括RGBA格式图像；

利用图形处理器读取所述RGBA格式图像中像素点的RGBA值，根据所述像素点的RGBA值计算得到YUV分量值；

读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像，利用所述YUV格式图像进行AR处理。

可选的，所述根据所述像素点的RGBA值计算得到YUV分量值，包括：

根据YUV格式所指定的YUV分量排列顺序、以及RGBA格式转换YUV格的转换算法，根据所述像素点的RGBA值计算得到YUV分量值。

可选的，所述图像处理器提供有OpenGL接口，所述OpenGL接口采用片元作为基本存储单元；

所述根据YUV格式所指定的YUV分量排列顺序、以及RGBA格式转换YUV格的转换算法，根据所述像素点的RGBA值计算得到YUV分量值，包括：

将RGBA格式图像中每个像素点的RGBA值存储于每个原始片元中；

配置用于存储YUV格式图像的存储区域；

根据YUV格式确定所述存储区域中的目标片元后，根据所述YUV分量排列顺序确定所述目标片元需存储YUV分量；

针对目标片元需存储YUV分量，获取所述原始片元中的RGBA值，根据所述转换算法计算得到YUV分量后存储于所述目标片元中；

输出所述存储区域中各所述目标片元存储的数据量，获得所述YUV格式图像。

根据本说明书实施例的第二方面，提供一种图像处理方法，所述方法包括：

获取待转换的RGBA格式图像；

读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像。

配置用于存储YUV格式图像的存储区域；

根据本说明书实施例的第三方面，提供一种基于增强现实的图像处理装置，所述装置包括：

获取模块，用于：获取AR素材，所述AR素材包括RGBA格式图像；

计算模块，用于：利用图形处理器读取所述RGBA格式图像中像素点的RGBA值，根据所述像素点的RGBA值计算得到YUV分量值；

读取模块，用于：读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像，利用所述YUV格式图像进行AR处理。

可选的，所述计算模块，具体用于：

所述计算模块，具体用于：

配置用于存储YUV格式图像的存储区域；

根据本说明书实施例的第四方面，提供一种图像处理装置，所述装置包括：

获取模块，用于：获取待转换的RGBA格式图像；

读取模块，用于：读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像。

根据本说明书实施例的第五方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取AR素材，所述AR素材包括RGBA格式图像；

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书中，针对RGBA格式图像，通过在图形处理器(GPU，Graphics ProcessingUnit)中读取RGBA格式图像中像素点的RGBA值，图形处理器可以根据所述像素点的RGBA值快速计算得到YUV分量值，之后读取出所述图像处理器计算出的YUV分量值，可以获得YUV格式图像。本说明书实施例利用GPU的硬件加速能力，可以快速地进行RGBA格式与YUV格式的转换，图像处理速度较快，从而可以满足AR场景中对速度的要求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1A是本说明书根据一示例性实施例示出的一种基于增强现实的图像处理方法的应用场景图。

图1B是本说明书根据一示例性实施例示出的一种基于增强现实的图像处理方法的流程图。

图1C是本说明书根据一示例性实施例示出的一种RGBA格式图像的示意图。

图1D是本说明书根据一示例性实施例示出的一种YUV格式图像的示意图。

图1E是本说明书根据一示例性实施例示出的一种示出了计算Y分量的过程示意图。

图1F是本说明书根据一示例性实施例示出的一种示出了计算UV分量的过程示意图。

图2是本说明书根据一示例性实施例示出的一种图像处理方法的流程图。

图3是本说明书图像处理装置/基于增强现实的图像处理装置所在电子设备的一种硬件结构图。

图4是本说明书根据一示例性实施例示出的一种基于增强现实的图像处理装置的框图。

图5是本说明书根据一示例性实施例示出的一种图像处理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

增强现实(Augmented Reality，简称AR)技术，是一种将真实世界信息和虚拟世界信息无缝集成的新技术，该技术可以将虚拟的信息应用到真实世界，真实环境和虚拟物体实时地叠加到了同一个画面或空间同时存在。

如图1A所示，是本说明书根据一示例性实施例示出的一种基于增强现实的图像处理方法的应用场景图，图1A中用户所持有的智能手机内置有摄像模块，用户可以持该智能手机拍摄真实环境画面，智能手机可以根据所拍摄的真实环境画面中叠加渲染有AR素材。AR素材中可以包括有图像，在某些电子设备的显示模块中，需要获取YUV格式图像进行AR处理。然而，电子设备获取到的图像素材有可能是以其他格式进行存储，例如RGBA等。因此，在进行AR处理前，需要对图像的格式进行转换。

AR场景中对数据处理速度的要求通常较高，因此，本说明书实施例提供一种基于增强现实的图像处理方案，针对RGBA格式图像，通过在图形处理器(GPU，GraphicsProcessing Unit)中读取RGBA格式图像中像素点的RGBA值，图形处理器可以根据所述像素点的RGBA值快速计算得到YUV分量值，之后读取出所述图像处理器计算出的YUV分量值，可以获得YUV格式图像。本说明书实施例利用GPU的硬件加速能力，可以快速地进行RGBA格式与YUV格式的转换，从而可以满足AR场景中对速度的要求。接下来对本说明书实施例进行详细说明。

如图1B所示，图1B是本说明书根据一示例性实施例示出的一种基于增强现实的图像处理方法的流程图，可应用于电子设备中，包括以下步骤：

在步骤102中，获取AR素材，所述AR素材包括RGBA格式图像；

在步骤104中，利用图形处理器读取所述RGBA格式图像中像素点的RGBA值，根据所述像素点的RGBA值计算得到YUV分量值；

在步骤106中，读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像，利用所述YUV格式图像进行AR处理。

其中，RGBA是代表Red(红色)、Green(绿色)、Blue(蓝色)和Alpha的色彩空间。如图1C所示，是本说明书根据一示例性实施例示出的一种RGBA格式图像的示意图，该图像的长为w、宽为h，每个像素点的像素值占用4个字节，分别是该像素的R、G、B和A四个分量值。

而YUV格式图像包括Y、U和V三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

图形处理器可以利用RGBA格式与YUV格式的转换算法，将所述像素点的RGBA值进行转换计算得到YUV分量值。具体转换时，RGBA格式图像输入至图形处理器，图像数据存储于图形处理器内存中，图形处理器读取内存中的图像数据后进行格式转换。

其中，对于RGBA格式图像，图像数据存储时像素点的R、G、B和A四个分量值是连续存储的；而YUV格式图像，YUV格式的Y分量和U、V分量是分离的。YUV格式图像中，根据图像存储方式的不同，还细分有多种类型，例如：YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411或YUV420等。其中，不同类型对应不同的Y、U和V分量的排列顺序。

举例来说，如图1D所示，是本说明书根据一示例性实施例示出的一种YUV格式图像的示意图，图1D所示图像的YUV格式以NV12为例，前w*h个字节是Y分量，每个分量占用一个字节，分别表示第(i，j)个像素的Y分量。而后续的w*h/2个字节表示UV分量，每一行是以UVUVUV交替的形式来进行存储的。

以720×488大小的图像为例，按照存储方式分为如下三个部分：

Y分量：(720×480)个字节

U分量：(720×480/2)个字节

V分量：(720×480/2)个字节

三个部分内部均是行优先存储，三个部分之间的排列顺序是Y分量排列在前，之后由U和V交替顺序存储。也即是，YUV数据的0至720×480字节是Y分量值，后续的字节是U和V交替存储。

再以其他存储格式存储的YUV格式图像为例，例如，Y41P(和Y411)的存储格式中，YUV分量排列顺序如下：U0Y0V0Y1U4Y2V4Y3Y4Y5Y6Y8…。

基于此，图形处理器可以根据所述像素点的RGBA值计算得到YUV分量值，考虑到RGBA格式与YUV格式的存储方式不同，在一个可选的实现方式中，可以包括：

其中，作为示例，所述RGBA格式转换YUV格式的转换算法具体可以采用如下公式表示：

Y＝0.299×R+0.587×G+0.114×B+0

U＝-0.169×R-0.331×G+0.499×B+0.5

V＝0.499×R-0.418×G-0.0813×B+0.5

通过上述方式，针对YUV格式图像中像素点YUV分量排列顺序，图形处理器可以读取RGBA图像中像素点的RGBA值，并按照转换算法计算得到YUV分量值。计算完成后，图形处理器中内存区域所存储的计算结果即是YUV格式图像中像素点YUV分量值，也就是YUV格式图像。

实际应用中，GPU通用计算方面的标准包括有OpenCL、CUDA、ATI STREAM等，这些标准可以理解为GPU底层所提供的应用程序编程接口，因此，可以根据不同GPU所提供的编程接口类型灵活地实现本说明书方案。

接下来以OpenCL(全称Open Computing Language，开放运算语言)接口为例进行说明，OpenCL是第一个面向异构系统通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，便于软件开发人员为高性能计算服务器、桌面计算系统、手持设备编写高效轻便的代码。

OpenGL采用片元作为基本存储单元，在一些例子中，OpenGL在处理RGBA格式图像时，一个片元对应一个像素的RGBA值。仍以图1C所示的RGBA格式图像转换为图1D所示的YUV格式图像为例，图1E示出了计算Y分量的过程示意图，图1E中左边是RGBA格式，右边是YUV格式。本说明书实施例中以一个片元对应一个像素的RGBA值为例，转换前，内存区域中存储的RGBA值可以通过如下表格所示，其中，为了示例方便，以下表格仅以3个像素点(像素点(0，0)、像素点(0，1)和像素点(0，2))为例进行说明：

而相应的YUV格式图像，其内存区域中存储的YUV分量值可以通过如下表格所示：

通过上述对比可知，根据YUV分量排列顺序，我们期望转换后的YUV格式图像中片元1是4个像素点的Y分量，而这一个片元(4个像素点)的Y分量，需要读取RGBA格式图像中四个片元(4个像素点)的像素值而计算得到。

基于此，为了实现快速的转换，在一个可选的实现方式中，所述根据YUV格式所指定的YUV分量排列顺序、以及RGBA格式转换YUV格式的转换算法，根据所述像素点的RGBA值计算得到YUV分量值，可以包括：

配置用于存储YUV格式图像的存储区域；

作为例子，针对图1E再次进行说明。GPU在转换时，将RGBA格式图像中每个像素点的RGBA值存储于每个原始片元中，并且，需要配置用于存储YUV格式图像的存储区域。

图1E中，以图像的长为w、宽为h为例，对于Y分量的计算，Y分量需要存储于前w*h个字节的内存区域中，本实施例将四个像素点的Y分量看成一个片元，也即是这四个Y分量占据了一个目标片元。而这个目标片元，涉及到四个像素点，因此需要读取RGBA格式图像中相应的四个片元(4个像素点)进行计算得到。具体的，因为宽度是w，所以一行有w/4个片元。对于每一行，将左边的w个像素点绘制到右边的w/4个片元中。所以对于(i，j)位置的片元(Ya，Yb，Yc，Yd)，其对应着坐标中的(Pa，Pb，Pc，Pd)，Pa对应着(m，n-1.5)位置的像素点，Pb对应(m，n-0.5)位置的像素点，其它依此类推。这里的两个相邻像素距离为1，是以总宽度来计算的。若OpenGL中需要归一化，像素间距可以归一化为1/w，所以Pa即对应着(m，n-1.5*1/w)。因此，根据YUV格式可以确定存储区域中的目标片元，之后根据所述YUV分量排列顺序确定所述目标片元需存储YUV分量，接着再获取所述原始片元中的RGBA值，根据所述转换算法计算得到YUV分量后存储于所述目标片元中。

根据RGBA格式转换YUV格的转换算法，因此对于YUV格式图像中的片元(i，j)，可以求出其需要存储为Y分量为：

Ya＝0.299×Ra+0.587×Ga+0.114×Ba+0

Yb＝0.299×Rb+0.587×Gb+0.114×Bb+0

Yc＝0.299×Rc+0.587×Gc+0.114×Bc+0

Yd＝0.299×Rd+0.587×Gd+0.114×Bd+0

根据YUV分量排列顺序，存储YUV格式图像的存储区域中，Y分量的起始点为存储区域的起点，宽度为w/4，高度为h，作为一个可选的实现方式，可以由OpenGL集中进行Y分量的转换计算，根据OpenGL接口函数，可以设置视口为glViewport(0，0，w/4，h)，再利用上述转换公式在该存储区域内集中转换存储得到Y分量。

针对UV分量的计算，如图1F所示，UV分量是紧接着Y分量后面大小为w*h/2的存储区域，这里将两个UV，即UVUV看成一个片元，也分别对应着片元中的RGBA。同样每一行有w/4个片元，但与Y分量不同的是，它的高度只有一半，因为是4个像素才有一个UV。所以可以理解为对于RGBA图像中两行2w个像素点，映射到了YUV格式图像中的一行w/4个片元中。所以对于(i，j)位置的片元(Ua,Va,Uc,Vc)，其需要RGBA格式图像中八个像素点才可计算得到，也即是八个片元，例如Pa对应着(m-0.5,n-1.5)位置的像素点，Pc对应(m-0.5,n+0.5)位置的像素点。为简化理解和计算，这里可以将a和c的横坐标都取m。若需要归一化，可以得到Pa为像素点(m,n-1.5*1/w)，Pb为像素点(m,n+0.5*1/w)。根据转换公式得到：

Ua＝-0.169×Ra-0.331×Ga+0.499×Ba+0.5

Va＝0.499×Ra-0.418×Ga-0.0813×Ba+0.5

Ub＝-0.169×Rb-0.331×Gb+0.499×Bb+0.5

Vb＝0.499×Rb-0.418×Gb-0.0813×Bb+0.5

根据YUV分量排列顺序，存储YUV格式图像的存储区域中，UV分量的起始点为Y分量后的位置，宽度也为w/4，高度为h/2，作为一个可选的实现方式，可以由OpenGL集中进行Y分量的转换计算，根据OpenGL接口函数，可以设置视口为glViewport(0,h,w/4,h/2)，再利用上述转换公式在该存储区域内集中转换存储得到UV分量。

如图2所示，是本说明书根据一示例性实施例示出的另一种图像处理方法，所述方法包括：

在步骤202中，获取待转换的RGBA格式图像；

在步骤204中，利用图形处理器读取所述RGBA格式图像中像素点的RGBA值，根据所述像素点的RGBA值计算得到YUV分量值；

在步骤206中，读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像。

配置用于存储YUV格式图像的存储区域；

本实施例的具体细节可参考图1A至图1F所示的实施例，在此不再赘述。

与前述图像处理方法、基于增强现实的图像处理的实施例相对应，本说明书还提供了图像处理装置、基于增强现实的图像处理装置及其所应用的电子设备的实施例。

本说明书图像处理装置/基于增强现实的图像处理装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本说明书图像处理装置/基于增强现实的图像处理装置所在电子设备的一种硬件结构图，除了图3所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外，实施例中装置331所在的电子设备，通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图4所示，图4是本说明书根据一示例性实施例示出的一种基于增强现实的图像处理装置的框图，所述装置包括：

获取模块41，用于：获取AR素材，所述AR素材包括RGBA格式图像；

计算模块42，用于：利用图形处理器读取所述RGBA格式图像中像素点的RGBA值，根据所述像素点的RGBA值计算得到YUV分量值；

读取模块43，用于：读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像，利用所述YUV格式图像进行AR处理。

可选的，所述计算模块42，具体用于：

所述计算模块42，具体用于：

配置用于存储YUV格式图像的存储区域；

如图5所示，图5是本说明书根据一示例性实施例示出的一种图像处理装置的框图，

获取模块51，用于：获取待转换的RGBA格式图像；

计算模块52，用于：利用图形处理器读取所述RGBA格式图像中像素点的RGBA值，根据所述像素点的RGBA值计算得到YUV分量值；

读取模块53，用于：读取出所述图像处理器计算出的YUV分量值，获得YUV格式图像。

可选的，所述计算模块52，具体用于：

所述计算模块52，具体用于：

配置用于存储YUV格式图像的存储区域；

相应的，本说明书还提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取AR素材，所述AR素材包括RGBA格式图像；

本说明书还提供另一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取待转换的RGBA格式图像；

上述图像处理装置/基于增强现实的图像处理装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里说明书的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未说明书的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims

1.一种基于增强现实的图像处理方法，所述方法包括：

获取AR素材，所述AR素材包括RGBA格式图像；

2.根据权利要求1所述的方法，所述根据所述像素点的RGBA值计算得到YUV分量值，包括：

3.根据权利要求2所述的方法，所述图像处理器提供有OpenGL接口，所述OpenGL接口采用片元作为基本存储单元；

配置用于存储YUV格式图像的存储区域；

根据YUV格式确定所述存储区域中的目标片元后，根据所述YUV分量排列顺序确定所述目标片元需存储YV分量；

4.一种图像处理方法，所述方法包括：

获取待转换的RGBA格式图像；

5.根据权利要求4所述的方法，所述根据所述像素点的RGBA值计算得到YUV分量值，包括：

6.根据权利要求4所述的方法，所述图像处理器提供有OpenGL接口，所述OpenGL接口采用片元作为基本存储单元；

配置用于存储YUV格式图像的存储区域；

7.一种基于增强现实的图像处理装置，所述装置包括：

8.根据权利要求7所述的装置，所述计算模块，具体用于：

9.根据权利要求7所述的装置，所述图像处理器提供有OpenGL接口，所述OpenGL接口采用片元作为基本存储单元；

所述计算模块，具体用于：

配置用于存储YUV格式图像的存储区域；

10.一种图像处理装置，所述装置包括：

获取模块，用于：获取待转换的RGBA格式图像；

11.一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取AR素材，所述AR素材包括RGBA格式图像；