CN104835135B - 图像数据处理方法及其装置 - Google Patents

Abstract

本发明提供一种图像数据处理方法及其装置。该图像数据处理方法包括：接收图像数据，其中该图像数据为第一像素格式；根据该第一像素格式和第二像素格式之间的关系，重组该图像数据，以产生已重组的数据；以及通过适合于压缩该第二像素格式的数据的压缩模块压缩该已重组的数据，以产生已压缩的数据。本发明所提供的图像数据处理方法及其装置，可改善具有多种像素格式的图像数据的压缩率。

Description

图像数据处理方法及其装置

技术领域

本发明是有关于图像数据处理方法及其装置，特别是有关于一种能够改进多种像素格式的压缩率的图像数据重组方法及其装置，以及一种对应的图像数据解重组方法(de-shuffling method)及其装置。

背景技术

由于支持各种不同的图像数据格式，图形处理单元(graphics processingunits,GPU)的规模增长十分迅速。为支持对应于不同图像数据格式的专用的数据路径，在图形处理单元中的一些模块需要被复制和微调。具体来说，支持4个不同的图像数据格式的图形处理单元可能需要4个不同的内置压缩模块，以完成对于所有格式的较高的压缩率。由此发生的硬件成本和路由问题可能很快地达到几乎不可接受的程度。然而，若在一些折衷的情况下丢弃一些专用数据路径，则通过对这些不同的图像数据格式的某一种图像数据执行压缩获得的压缩率将会极大地降低。因此，需要迫切关注解决图像数据处理领域的这一困境。

发明内容

有鉴于此，本发明提出一种图像数据处理方法及其装置。

根据本发明第一实施方式，提供一种图像数据处理方法，该图像数据处理方法包括：接收图像数据，其中该图像数据为第一像素格式；根据该第一像素格式和第二像素格式之间的关系，重组该图像数据，以产生已重组的数据；以及通过适合于压缩该第二像素格式的数据的压缩模块压缩该已重组的数据，以产生已压缩的数据。

根据本发明第二实施方式，提供一种图像数据处理装置。该图像数据处理装置包括：接收模块，接收第一像素格式的图像数据；数据重组模块，被配置为根据该第一像素格式和第二像素格式之间的关系，重组该图像数据，以产生已重组的数据；以及压缩模块，被配置为压缩该已重组的数据，以产生已压缩的数据，其中该压缩模块适合于压缩该第二像素格式的数据。

根据本发明第三实施方式，提供一种图像数据处理方法，该图像数据处理方法包括：接收已压缩的图像数据；通过适合于解压缩第二像素格式的数据的解压缩模块解压缩该已压缩的图像数据，以产生已解压缩的图像数据；以及根据第一像素格式和该第二像素格式解重组该已解压缩的图像数据，以产生图像数据。

根据本发明第四实施方式，提供一种图像数据处理装置。该图像数据处理装置包括：接收模块，被配置为接收已压缩的图像数据；解压缩模块，适合于解压缩第二像素格式的数据，被配置为解压缩该已压缩的图像数据，以产生已解压缩的图像数据；以及数据解重组模块，被配置为根据第一像素格式和该第二像素格式之间的关系解重组该已解压缩的图像数据，以产生图像数据。

本发明所提出的图像数据处理方法及其装置，可改善具有多种像素格式的图像数据的压缩率。

附图说明

图1为根据本发明实施方式的图像数据处理装置的示意图。

图2为根据本发明实施方式的图像数据处理方法的流程图。

图3为根据本发明实施方式的图像数据处理装置的示意图。

图4为根据本发明实施方式的图像数据处理方法的流程图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来称呼特定的元件。本领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的“包含”是开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此是包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或通过其它装置或连接手段间接地电气连接到第二装置。

在多媒体技术中，有支持不同图像像素的不同颜色深度或比特的不同图像格式，例如，RGB颜色模型和YUV颜色模型。RGB颜色模型为将红绿蓝光以不同方式加在一起以产生再现一系列颜色的加色模型(additive color model)。该模型的名称来自加色三元色，红、绿、蓝。YUV颜色模型为用于颜色图像管线(pipeline)的一部分的色彩空间。它编码人类感知到的颜色图像或视频，允许降低色度分量的带宽，从而比使用直接的RGB表示法更有效地掩蔽人类感知的传输误差或压缩伪影(compression artifacts)。尽管RGB颜色模型已经用于现有的摄影，RGB颜色模型的主要目的是用于检测、表示和显示电子系统中的图像，例如，电视或计算机。在电子时代之前，基于人类的颜色感知，RGB颜色模型已经有了坚实的理论基础。RGB颜色模型中的颜色是由包括其中的三种颜色的数量来描述的。颜色被表示为RGB三元组(r,g,b)，其中每一个分量为零到定义的最大值(例如，255)。若所有的分量均为零，则为黑色；若所有的分量为最大值，则为可以表示的最亮的白色。

RGB颜色模型是在计算编码颜色的最常用的方法。当前使用几种不同的二进制数表示方式。所有表达方式的主要特点是利用在一定范围内(通常是从0到2的某次幂减一(2n-1))的整数来量化每个分量(技术上称为采样/信号)的可能值，以使其适合一些比特组。通常可以找到每个颜色的1、2、4、5、8和16比特的编码；用于一个RGB颜色的总比特数通常称为颜色深度，以及像素的具体表达方式通常称为像素格式。在下文中，使用的像素格式仅用于说明本发明。

在图形处理单元(GPU)嵌入的压缩模块是基于RGBA8像素格式来微调的情况下，当RGBA8图形数据输入至压缩模块时，获得示范性压缩率为60.02％。若其他像素格式的输入数据被馈入用于微调RGBA8像素格式的压缩模块，则会降低相应的压缩率。请参考表1，表1描述了其他示范性像素格式通过应用用于微调RGBA8像素格式的压缩模块获得的压缩率。

表1

从上述可知，可以明显得知对应于RGBA8的压缩率最高，并且剩余其他格式的压缩率承受较大范围的变换。具体来说，对应于RGBA4的压缩率平均为57.04％，是第二高的压缩率，并且与RGBA8的性能相差不远。但是RGB565的压缩率平均为21.33％，为最低的压缩率。由于两个RGBA4像素与一个RGBA8像素的R、G、B和A分量的相同，本领域技术人员可以了解RGBA4的结构与RGBA8的结构相似。另一方面，RGB565不包含A分量，以及RGB565与RGBA8的相似之处较少。因此，可以做出一个简单的推论，即与RGBA8相似的像素格式(例如，RGBA4)仍可以维持具有竞争力的压缩率，但是使用适合于RGBA8或微调RGBA8的压缩模块来对与RGBA8很大不同的像素格式执行压缩会具有较差的压缩率。

为处理具有不同像素的输入数据，可以使用对于每一个像素格式的专用压缩引擎。举例来说，当输入数据是第一像素格式时，使用对于第一像素格式的专用压缩引擎来压缩输入数据。以及当输入数据切换至第二像素数据时，使用对于第二像素格式的专用压缩引擎来压缩输入数据。尽管这种方法保持了较高的压缩率，但是它的成本是无法让人接受的。

本发明使用对于特定像素格式的一个压缩引擎设计，但是维持具有竞争力的压缩结果。本发明的概念是重组(shuffle)输入数据的内容，使输入数据与特定像素格式一致，以产生相似于特定格式的已重组(shuffled)的数据。通过馈送已重组的数据至压缩引擎，压缩率可能接近采用对于输入数据的每一个像素格式的专用压缩引擎的结果。根据本发明的实施方式，图像数据处理方法包括：接收图像数据，其中图像数据为第一像素格式；根据第一像素格式和第二像素格式之间的关系，重组图像数据，以产生已重组的数据；以及通过适合于压缩第二像素格式的数据的压缩模块压缩已重组的数据，以产生已压缩的数据。根据本发明的另一个实施方式，图像数据处理方法包括：接收已压缩的图像数据；通过适合于解压缩(decompress)第二像素格式的数据的解压缩模块解压缩已压缩的图像数据，以产生已解压缩的图像数据；以及根据第一像素格式和第二像素格式解重组(de-shuffling)已解压缩的图像数据，以产生图像数据。在下文中，采用RGBA8作为特定像素格式的示例，并描述在不同像素格式下输入数据是如何重组的。对于每一个像素格式，将输入数据的尺寸设为1k比特。然而，其仅用于解释说明的目的，而不是禁止使用作为特定的像素格式的其他格式组合和其他输入数据尺寸。

对于像素格式为R8的输入数据，R8的像素格式＝{R[7:0]}。可以明显得知，与RGBA8的像素格式相比，R8的像素格式缺少三个额外的分量，其中RGBA8的像素格式＝{R[7:0],G[7:0],B[7:0],A[7:0]}。因此，需要添加三个额外的分量(G8、B8和A8)来扩展基本内部格式(base internal format)。然而，假设在R8像素格式中的相邻三个像素直接作为三个额外的分量，即认为连续的四个R8像素为类似RGBA8像素，由此产生的压缩率将会不可避免地降低。一个主要的原因是在相邻两个类似RGBA8像素中的两个R8分量实际来自通过三个其他R8像素分离的两个R8像素，而不是来自两个相邻R8像素。因此，如此产生的类似RGBA8像素的增量差异(delta difference)以及压缩率可能极大地降低。因此，根据本发明的实施方式，对于1k比特的R8图像数据R8_data[1023:0]来说，重新排列的格式R8_data’[1023:0]可以用公式表示为：

R8_data’[32*(32-n)-1:32*(32-n-1)]＝{R8_data[1023-8n:1016-8n],R8_data[767-8n:760-8n],

R8_data[511-8n:504-8n],R8_data[255-8n:248-8n]},

其中n＝0～31

(1.a)

通过将n＝0～31代入公式(1.a)，得到：

R8_data’[1023:0]＝{R8_data[1023:1016],R8_data[767:760],R8_data[511:504],

R8_data[255:248],R8_data[1015:1008],R8_data[759:752],

R8_data[503:496],R8_data[247:240],…,R8_data[775:768],

R8_data[519:512],R8_data[263:256],R8_data[7:0]}.

(1.b)

可以看出，对于在R8_data中的一些原始的相邻数据来说，三个字节被插入其中以产生R8_data’，其中R8_data’的数据排列(arrangement)与RGBA8像素格式相似。具体来说，R8_data[1023:1016]和R8_data[1015:1008]为相邻像素，并且通过R8_data[767:760]、R8_data[511:504]和R8_data[255:248]来分开。需要注意的是，根据两个像素格式之间的关系重组一个图像数据来产生已重组的数据的方法并不限于上述提及的示例。

通过适合RGBA8格式的压缩图像数据的压缩模块来压缩R8_data’[1023:0]可以获得50.60％的改善的压缩率。

对于RG88的输入数据，RG88的像素格式＝{R[7:0],G[7:0]}。可以看出，与RGBA8的像素格式相比，RG88的像素格式缺少两个额外的分量，其中RGBA8的像素格式＝{R[7:0],G[7:0],B[7:0],A[7:0]}。由于格式对齐，需要添加两个额外的分量(B8和A8)来扩展基本内部格式(base internal format)。然而，与R8输入数据的情况下相似的理由，直接使用RG88像素的相邻像素会使得压缩率极大地降低。因此，根据本发明的实施方式，重新安排1k比特RG88图像数据RG88_data[1023:0]的格式可以用公式表示为：

RG88_data’[32*(32-n)-1:32*(32-n-1)]＝{RG88_data[1023-16n:1008-16n],

RG88_data[511-16n:496-16n]},其中n＝0～31

(2.a)

通过将n＝0～31代入公式(2.a)，得到：

RG88_data’[1023:0]＝{RG88_data[1023:1008],RG88_data[511:496],

RG88_data[1007:992],RG88_data[495:480],…,

RG88_data[527:512],RG88_data[15:0]}.

(2.b)

可以看出，在RG88_data中的一些原始的相邻像素被在RG88_data’中的两个其他字节分开，这在某种程度上相似于RGBA8格式。具体来说，RG88_data[1023:1008]和RG88_data[1007:992]为相邻像素，并且通过RG88_data[511:496]分开以产生RG88_data’，其中RG88_data[511:496]包括两个字节。

通过适合/微调RGBA8的压缩图像数据的压缩模块来压缩RG88_data’[1023:0]可以获得改善的压缩率为50.38％。

对于RGB565的输入数据，RGB565的像素格式＝{R[4:0],G[5:0],B[4:0]}。可以明显得知，与RGBA8的像素格式相比，RGB565的像素格式具有显著差异，其中RGBA8的像素格式＝{R[7:0],G[7:0],B[7:0],A[7:0]}。由于格式对齐，RGB565的像素格式可以被重新安排(或称为比特级重组)为:

RGB565’＝{G[5],R[4],R[3],G[3],R[2],R[1]G[1],R[0],B[4],G[4],B[3],

B[2],G[2],B[1],B[0],G[0]}

(3)

其中，G[5:0]被分解并均匀地分布在重新排列的图像数据结构的第一半和第二半之间。RGB565的像素格式转变为两个主要部分，其中第一半包括R的所有分量和G的一部分分量，以及第二半包括B的所有分量和G的分量的剩余部分。因此，由于根据RG88的像素格式结构调整RGB565’的像素格式结构，RG88的像素格式的公式(2.a)可以应用于RGB565’中。需要注意的是，分解G分量的概念并不限于上述方法。本领域技术人员可知，装置和方法可以做出许多修改和变化。只要保持本发明的精神，这些修改和变换均可以落入本发明的保护范围。

与上述没有重组的结果(压缩率为21.33％)相比，通过适合/微调RGBA8的压缩图像数据的压缩模块来压缩RGB565’可以获得改善的压缩率为51.63％。

对于RGBA4的输入数据，RGBA4的像素格式＝{R[3:0],G[3:0],B[3:0],A[3:0]}。可以明显得知，与RGBA8的像素格式相比，RGBA4的数据结构与RGBA8的数据结构相似，但是与RGBA8的数据结构仍有一定的差异，其中RGBA8的像素格式＝{R[7:0],G[7:0],B[7:0],A[7:0]}。因此，由于格式对齐，RGBA4的像素格式可以被重新安排(或称为比特级重组)为:

RGBA4’＝{R[3],G[3],R[2],G[2],R[1],G[1],R[0],G[0],

B[3],A[3],B[2],A[2],B[1],A[1],B[0],A[0]}

(4)

其中，分量R[3:0]和分量G[5:0]被分解并均匀地分布在重新排列的图像数据结构的第一半中，以及分量B[3:0]和分量A[3:0]被分解并均匀地分布在重新排列的图像数据结构的第二半中。RGBA4的像素格式转变成两个主要部分。其中，第一半包括R和G的所有分量，以及第二半包括B和A的所有分量。因此，由于根据RG88的像素格式结构调整RGBA4’的像素格式结构，RG88的像素格式的公式(2.a)可以应用于RGBA4’。需要注意的是，分解R、G、B和A分量的概念并不限于上述方法。本领域技术人员可知，装置和方法可以做出许多修改和变化。只要保持本发明的精神，这些修改和变换均可以落入本发明的保护范围。

与上述没有重组的结果(压缩率为57.04％)相比，通过适合/微调RGBA8的压缩图像数据的压缩模块压缩RGBA4’可以获得64.41％的改善的压缩率。与上述其他像素格式相比，改善不是很明显，但这是在预料之中的，因为RGBA4与RGBA8具有较高的数据排列上的相似性。

如上所述，给出了在表1中的一些不同像素格式利用各自的数学公式被重组至特定像素格式的示例。由于基于上述提到的原理不难推导出其他像素格式各自的数学公式，为简明起见，没有详细讨论在表1中的其他像素格式。然而，对于许多先进的图像处理应用，为满足严格的计算要求(例如，高吞吐量和速度)，不可避免的使用定制的硬件实现，来代替通用的数字信号处理或软件实现。因此，门数和路由的复杂性可能是处理的主要问题。由于路由本身的复杂性太高，没有复杂的设计，实现上述具有1k比特数据尺寸的重组过程可能引起物理设计问题或导致较大的硬件区域。更不用说数据尺寸大于1k比特的情况。在下文中，介绍一些硬件结构的实施方式，这些实施方式能够实现不同像素格式的数据重组，并且具有低路由复杂性和面积开销(area overhead)。为说明本发明的实施方式，直接使用上述提到的具有1k比特的输入图像数据尺寸的像素格式；然而，此仅用于解释说明的目的，并非对于本发明的限制。

请参考图1，图1为根据本发明实施方式的图像数据处理装置100的示意图。图像数据处理装置100包括接收模块102、数据重组模块104和压缩模块106，其中接收模块102用于接收在第一像素格式的图像数据d_in。第一像素格式可以为R8、RG88、RGB565、RGBA4、RGB5_A1、RGB10_A2、R16F、RG16F、RGBA16F、R32F、RG32F、RGBA8和RGBA32F中的一种像素格式，但并非用于限制本发明。数据重组模块104被配置为根据第一像素格式和第二像素格式(例如，RGBA8)之间的关系重组图像数据d_in，以产生已重组的数据d_sf。在数据重组模块104中的控制单元1049根据第一像素格式和第二像素格式之间的关系配置在数据重组模块104中的关于格式变换的其他单元。适合于第二像素格式的压缩模块106被配置为压缩已重组的数据d_sf以产生已压缩的数据d_cp。在此实施方式中，压缩模块106适合/微调以执行在RGBA8像素格式中的图像数据的数据压缩。请注意，在此采用RGBA8的像素格式作为第二格式来表示一般的情况，但并非用于限制本发明。在另一种实施方式中，压缩模块106可以适合/微调以执行不是RGBA8的像素格式的图像数据的数据压缩。通过执行数据重组来改善压缩率的目标通过图1所示的示范性结构来完成。本领域技术人员可以在不脱离本发明教导的前提下做出关于本发明装置或方法的修改和变化。

出于硬件实现上的考虑，需要分解图像数据d_in以进一步操作。根据本发明的实施方式，1k比特图像数据d_in包括8个区段(sections)，其中每一个区段为128比特，每一个区段包括4个子区段。每一个子区段包括DWORD(例如，32位)。首先，考虑在R8像素格式的图像数据d_in。

根据关于从R8到RGBA8变换和公式(1.b)的先前描述，在R8到RGBA8的格式变换的情况中，控制单元1049旁通比特重组单元1042。这是由于没有比特级数据重组出现在公式(1.b)中的原因。如此一来，旁通比特重组单元1042并且图像数据d_in直接输入至DWORD重组单元1044。

DWORD重组单元1044被配置为执行DWORD重组，以用于改变图像数据d_in的顺序，而产生DWORD重组图像数据。DWORD重组单元1044包括存储写控制单元10442，存储写控制单元10442被配置为接收R8中的图像数据d_in，并根据DWORD映射信息一个区段接一个区段(128比特)地存储图像数据d_in至存储模块1046中。如图1所示，存储模块1046包括4个存储单元(存储单元10462～存储单元10468)，其中每一个存储单元具有8个条目，以及每一个条目能够存储图像数据d_in的一个子区段。DWORD映射信息也根据R8来配置，以及映射图像数据d_in的8个区段中的一个的4个子区段(32比特)至存储单元10462～存储单元10468的相同条目。请参考下面的表2，表2描述了R8的图像格式的DWORD映射信息。

表2

表2指示R8的图像格式的DWORD映射信息的重新排列，其中第7～0行指示图像数据d_in的8个区段，以及第15～0列指示图像数据d_in的每一个区段的16个字节。关于每一字节的记法(notation)，举例来说，对应于第7行、第15列的字节为f127＝字节127＝比特[1023:1016]。请注意，R8的图像格式的DWORD映射信息的字节可能部分无序(out oforder)。具体来说，对应于第5行、第12列和第5行、第11列的字节为f80和f95。从DWORD的角度来看，1k比特图像数据d_in的原始的第5行(区段5)为f95-f80，但是根据表1的DWORD重组之后，重新排列的DWORD重组图像数据的第5行被修改为f83-f80、f95-f84。从硬件的观点来看，对应于第7～0行、第15～12列的字节被存储至存储单元10462的8个条目中，其中对应于第7～0行、第11～8列的字节被存储至存储单元10464的8个条目中，对应于第7～0行、第7～4列的字节被存储至存储单元10466的8个条目中，以及对应于第7～0行、第3～0列的字节被存储至存储单元10468的8个条目中。

存储模块1046连接至字节重组单元1048。字节重组单元1048被配置为执行字节重组，以用于改变DWORD重组图像数据的顺序，而产生已重组的数据d_sf。其中字节重组单元1048包括存储读控制单元10482和复用单元10484。存储读控制单元10482被配置为根据R8的图像格式的字节映射信息存取存储单元10462～存储单元10468，以输出已存取的数据，其中存储单元10462～存储单元10468的已存取条目是不同的。复用单元10484被配置为根据复用控制信号，复用已存取的数据于字节数据级，以产生已重组的数据d_sf。请参考如下所示的表3和表4，表3和表4指示R8的图像格式的字节映射信息和复用单元10484的多路复用规则。符号“C0-C7”代表周期0～周期7。

表3

表4

对于周期0来说，分别读出与表3一致的存储单元10462的条目4、存储单元10464的条目2、存储单元10466的条目0、以及存储单元10468的条目6，即{f67-f64,f35-f32,f3-f0和f99-f96}，以及4个DOWRD被输入至复用单元10484。在复用控制信号的控制下，最后产生合成的(resultant)已重组的数据d_sf为{f99,f67,f35,f3,f98,f66,f34,f2,f97,f65,f33,f1,f96,f64,f32和f0}，其中复用控制信号的操作与如表4的倒数第一行所示的周期0的字节顺序(即{3,15,11,7,2,14,10,6,1,13,9,5,0,12,8,4})一致。

对于周期1来说，分别读出与表3一致的存储单元10462的条目2、存储单元10464的条目0、存储单元10466的条目6、以及存储单元10468的条目4，即{f39-f36,f7-f4,f103-f100,和f71-f68}，以及4个DOWRD被输入至复用单元10484。在复用控制信号的控制下，最后产生合成的已重组数据d_sf为{f103,f71,f39,f7,f102,f70,f38,f6,f101,f69,f37,f5,f100,f68,f36和f4}，该复用控制信号的操作与如表4中的倒数第二列所示的周期1的字节顺序一致(即{7,3,15,11,6,2,14,10,5,1,13,9,4,0,12,8})。

对于周期2来说，分别读出与表3一致的存储单元10462的条目0、存储单元10464的条目6、存储单元10466的条目4、以及存储单元10468的条目2，即{f11-f8,f107-f104,f75-f72,和f43-f40}，以及4个DOWRD被输入至复用单元10484。在复用控制信号的控制下，最后产生合成的已重组数据d_sf为{f107,f75,f43,f11,f106,f74,f42,f10,f105,f73,f41,f9,f104,f72,f40和f8}，该复用控制信号的操作与如表4中的倒数第三列所示的周期2的字节顺序一致(即{11,7,3,15,10,6,2,14,9,5,1,13,8,4,0,12})。

由于可以通过参考表3和表4已知周期3～7的已重组数据d_sf，为求在此省略详细的描述。通过观察从周期0到周期7的已重组数据d_sf的输出模式，可以发现数据重排列如公式(1.b)所示。以在周期7中输出已重组数据d_sf为例，在此周期中，字节f95、f63和f31分别表示为在公式(1.b)中的R8_data[767:760]、R8_data[511:504]和R8_data[255:248]，并将字节f95、f63和f31插入分别表示公式(1.b)中的R8_data[1023:1016]和R8_data[1015:1008]的f127和f126之间。因此，上述的硬件操作根据R8和RGBA8像素格式之间的关系来实现数据重组。

最后，压缩模块106适合/微调RGBA8像素格式中的压缩图像数据，并且压缩模块106被配置为压缩已重组的数据d_sf来产生已压缩的数据d_cp。与通过直接馈送R8的图像数据d_in至压缩模块106得到的压缩率(压缩率为36.91％)相比，如上所述的方法所得的压缩率显著地提高到50.60％。

对于RG88来说，请参考图1。根据上述的关于从RG88到RGBA8的变换和公式(2.b)的描述，在RG88到RGBA8的格式变换的情况下，控制单元1049旁通比特重组单元1042。这是由于至公式(2.b)中没有比特级数据重组。因此，旁通比特重组单元1042以及直接将图像数据d_in输入至DWORD重组单元1044。存储写控制单元10442被配置为接收RG88的图像数据d_in，并根据DWORD映射信息一个区段接着一个区段地存储图像数据d_in至存储模块1046。如图1所示，存储模块1046包括4个存储单元(存储单元10462～存储单元10468)，其中每一个存储单元具有8个条目，以及每一个条目能够存储图像数据d_in的一个子区段。根据RG88配置DWORD映射信息，以及映射图像数据d_in的8个区段中的一个的4个子区段(32比特)至存储单元10462～存储单元10468的相同条目。请参考如下的表5，表5指示RG88图像格式的DWORD映射信息。

表5

表5指示RG88的图像格式的DWORD映射信息的重排列，其中第7～0行指示图像数据d_in的8个区段，以及第15～0列指示图像数据d_in的每一个区段的16个字节。关于每一字节的记法(notation)，举例来说，对应于第7行、第15列的字节为f127＝字节127＝比特[1023:1016]。请注意，RG88的图像格式的DWORD映射信息的字节可以部分无序(out oforder)。具体来说，对应于第3行、第8列和第3行、第7列的字节为f48和f63。从DWORD的角度来看，1k比特的图像数据d_in的原始的第3行(区段3)为f63-f48，但是根据表5的DWORD重组之后，重新排列的第3行被修改为f55-f48、f63-f56。从硬件的观点来看，对应于第7～0行、第15～12列的字节被存储至存储单元10462的8个条目中，其中对应于第7～0行、第11～8列的字节被存储至存储单元10464的8个条目中，对应于第7～0行、第7～4列的字节被存储至存储单元10466的8个条目中，以及对应于第7～0行、第3～0列的字节被存储至存储单元10468的8个条目中。

存储模块1046连接至字节重组单元1048，其中字节重组单元1048包括存储读控制单元10482和复用单元10484。存储读控制单元10482被配置为根据RG88的图像格式的字节映射信息存取存储单元10462～存储单元10468，以输出已存取的数据，其中存储单元10462～存储单元10468的已存取条目是不同的。请参考如下所示的表6和表7，表6和表7分别指示RG88的图像格式的字节映射信息和复用单元10484的多路复用规则。符号“C0-C7”代表周期0～周期7。

表6

表7

对于周期0来说，分别读出与表6一致的存储单元10462的条目0、存储单元10464的条目0、存储单元10466的条目4、以及存储单元10468的条目4，即{f7-f0和f15-f8}，以及4个DOWRD被输入至复用单元10484。在复用控制信号的控制下，最后产生合成的(resultant)已重组数据d_sf为{f71,f70,f7,f6,f69,f68,f5,f4,f67,f66,f3,f2,f65,f64,f1和f0}，其中复用控制信号的操作与如表7的倒数第一行所示的周期0的字节顺序一致(即{7,6,15,14,5,4,13,12,3,2,11,10,1,0,9,8})。

对于周期1来说，分别读出与表6一致的存储单元10462的条目4、存储单元10464的条目4、存储单元10466的条目0、以及存储单元10468的条目0按照表6读出，即f79-f72和f15-f8}，以及4个DOWRD被输入至复用单元10484。在复用控制信号的控制下，最后产生合成的重组数据d_sf为{f79,f78,f15,f14,f77,f76,f13,f12,f75,f74,f11,f10,f73,f72,f9和f8}，该复用控制信号的操作与如表7中的倒数第二列所示的周期1的字节顺序一致(即{15,14,7,6,13,12,5,4,11,10,3,2,9,8,1,0})。

对于周期2来说，分别读出与表6一致的存储单元10462的条目1、存储单元10464的条目1、存储单元10466的条目5、以及存储单元10468的条目5按照表6读出，即{f23-f16和f87-f80}，以及4个DOWRD被输入至复用单元10484。在复用控制信号的控制下，最后产生合成的重组数据d_sf为{f87,f86,f23,f22,f85,f84,f21,f20,f83,f82,f19,f18,f81,f80,f17和f16}，该复用控制信号的操作与如表7中的倒数第三列所示的周期2的字节顺序一致(即{7,6,15,14,5,4,13,12,3,2,11,10,1,0,9,8})。

由于可以通过参考表6和表7已知周期3～7的已重组数据d_sf，为求在此省略详细的描述。通过观察从周期0到周期7的已重组数据d_sf的输出模式，可以发现数据重排列如公式(2.b)所示。以在周期7中输出已重组数据d_sf为例，在此周期中，字节{f63,f62}分别表示为在公式(2.b)中的RG88_data[511:496]，并将字节{f63,f62}插入分别代表公式(2.b)中的RG88_data[1023:1008]和R8_data[1007:992]的{f127,f126}和{f125,f124}之间。因此，上述的硬件操作根据RG88和RGBA8像素格式之间的关系来实现数据重组。

最后，压缩模块106适合/微调RGBA8像素格式中的压缩图像数据，并且压缩模块106被配置为压缩已重组的数据d_sf来产生已压缩的数据d_cp。与通过直接馈送RG88的图像数据d_in至压缩模块106得到的压缩率(压缩率为36.50％)相比，如上所述的方法所得的压缩率显著地提高到50.38％。

在图像数据d_in具有RGB565的像素格式的情况下，控制单元1049确定比特重组单元1042需要从RGB565的像素格式变换至RGBA8的像素格式。这是由于比特级重组出现在公式(3)中的原因。依照上述方法(即，每一个16比特的比特级重组顺序为{10,15,14,8,13,12,6,11,4,9,3,2,7,1,0,5})，操作比特重组单元1042的比特重组子单元10422、比特重组子单元10424、比特重组子单元10426以及比特重组子单元10428以重排列已输入图像数据d_in。然后输出结果至DWORD重组单元1044。由于比特重组单元1042的结果输出可以视为RG88，以下的步骤和RG88的像素格式相同。这样，通过同样的过程，与RG88的像素格式相关的相同的DWORD映射信息和相同的字节映射信息也可以在此应用。

在图像数据d_in具有RGBA4的像素格式的情况下，控制单元1049确定比特重组单元1042需要变换至RGBA8的像素格式。这是由于比特级重组出现在公式(4)中的原因。因此，依照上述方法(即，每一个32比特的比特级重组顺序为{31,27,30,26,29,25,28,24,23,19,22,18,21,17,20,16,15,11,14,10,13,9,12,8,7,3,6,2,5,1,4,0})，操作比特重组单元1042的比特重组子单元10422、比特重组子单元10424、比特重组子单元10426以及比特重组子单元10428以重排列已输入图像数据d_in。然后输出结果至DWORD重组单元1044。由于比特重组单元1042的结果输出可以视为RG88，以下的步骤和RG88的像素格式相同。这样，通过同样的过程，与RG88的像素格式相关的相同的DWORD映射信息和相同的字节映射信息也可以在此应用。

如上所述，给出了表1中的一些不同像素格式是怎样重组至特定像素格式的硬件操作的详细示例。由于不难了解硬件所公开的实施方式是如何支持这些不同像素格式的，为求简洁省略描述表1中的其他像素格式。请参考如下所示的表8，表8概括了通过在数据重组之后基于其他图像格式应用适合于RGBA8格式的压缩模块获得的压缩率。

表8

请注意，以上描述的像素格式R8、RG88、RGB565、RGBA4、RGB5_A1、RGB10_A2、R16F、RG16F、RGBA16F、R32F、RG32F、RGBA8和RGBA32F的重组的图像数据处理方法仅用于解释说明的目的。在实践中，本发明可以应用于像素格式的其他任何类型中而不脱离本发明的精神。此外，压缩引擎也适合于其他像素格式，而不仅是RGBA8。装置和方法可以做出许多修改和变化。只要保持本发明的精神，这些修改和变换均可以落入本发明的保护范围。

图2为根据本发明实施方式的图像数据处理方法200的流程图。若结果实质上相同，不必要求图2所示的步骤按所示的顺序严格执行也不必要求图2所示的步骤连续，即可以将其他步骤插入其中。图2所示的一些步骤也可以根据各种实施方式和要求而省略。图像数据处理方法200可以包括如下步骤:

步骤202：开始。

步骤204：接收图像数据，其中图像数据为第一图像格式。

步骤206：是否需要比特重组？若是，则转至步骤208；否则，转至步骤210。

步骤208：根据比特重组来改变图像数据的顺序以产生比特已重组数据作为图像数据。

步骤210：是否需要DWORD重组？若是，则转至步骤212；否则，转至步骤214。

步骤212：根据DWORD映射信息一个区段接着一个区段地存储图像数据至存储模块。

步骤214：是否需要字节重组？若是，则转至步骤216；否则，转至步骤220。

步骤216：根据字节映射信息存取4个存储单元中的每一个的一个条目以输出已存取的数据。

步骤218：根据复用控制信号复用已存取的数据于字节数据级，以产生已重组的数据。

步骤220：通过适合于压缩第二像素格式的图像数据的压缩模块来压缩已重组的数据，以产生已压缩的数据。

步骤222：结束。

在阅读上述关于图1所示的图像数据处理装置100的相关段落之后，本领域技术人员可以理解图2所示的各个步骤的细节。为求简洁，省略进一步的描述。

在实践中，可以存储已压缩的数据于高速缓存或其他数据存储元件中以进一步处理。对于一些应用来说，可能需要解压缩已压缩的数据，并将已压缩的数据恢复至不同的图像数据格式。请参考图3，图3为根据本发明实施方式的图像数据处理装置300的示意图。图像数据处理装置300包括接收模块(图未示)、解压缩模块302和数据解重组模块304。其中接收模块被配置为接收已压缩的图像数据。解压缩模块302被配置为解压缩具有RGBA8的特征的像素格式的已压缩的数据d_cp，以产生已解压缩的图像数据d_sf。数据解重组模块304被配置为根据第一像素格式和第二像素格式(RGBA8)之间的关系解重组已解压缩的图像数据d_sf，以产生图像数据d_in，其中第一像素格式可以为像素格式R8、RG88、RGB565、RGBA4、RGB5_A1、RGB10_A2、R16F、RG16F、RGBA16F、R32F、RG32F、RGBA8和RGBA32F中的一个。请注意，此处采用像素格式RGBA8作为第二像素格式来表示一般的情况。在另一种设计中，解压缩模块302可以适合/微调以用于执行不是像素格式RGBA8的图像数据的数据压缩。本领域技术人员可知，装置和方法可以做出许多修改和变化，而保持本发明的精神。

数据解重组模块304包括字节解重组单元3048、存储模块3046、DWORD解重组单元3044、比特解重组单元3042以及控制单元3049。举例来说，图像数据d_in包括8个区段，其中8个区段中的每一个包括4个子区段。存储模块3046包括4个存储单元(存储单元30462～存储单元30468)，其中，存储单元30462～存储单元30468中的每一个包括8个条目，以及每一个条目能够存储图像数据d_in的一个子区段。字节解重组单元3048被配置为执行字节解重组以用于改变已解压缩的图像数据d_sf的顺序，而产生字节解重组图像数据。字节解重组单元3048包括解复用单元30484和存储写控制单元30482，其中解复用单元30484被配置为根据解复用控制信号解复用已解压缩的图像数据d_sf于字节级，以产生解复用数据。存储写控制单元30482被配置为根据字节映射信息存取存储单元30462～存储单元30468的每一个中的一个条目，以存储解复用数据。其中，存储单元30462～存储单元30468中的每一个的已存储条目是不同的。DWORD解重组单元3044被配置为执行DWORD解重组，以用于改变字节解重组图像数据的顺序，从而产生DWORD解重组图像数据。比特解重组单元3042被配置为执行比特解重组，以用于改变DWORD解重组图像数据的顺序，从而产生图像数据d_in。比特解重组单元3042包括比特解重组子单元30422～30428。DWORD解重组单元3044包括存储读控制单元30442，存储读控制单元30442被配置为根据DWORD映射信息从存储模块输出字节解重组数据。其中，DWORD映射信息将来自存储单元30462～存储单元30468中的每一个的相同条目的第二解重组图像数据对应至图像数据的8个区段中的一个的4个子区段。

发送端采用图像数据处理装置100，以及在接收端采用图像数据处理装置300。具体来说，图像数据处理装置300应基于图像数据处理装置100来设计，以及图像数据处理装置300被配置为执行由图像数据处理装置100执行的操作(例如，重组和压缩)的逆操作(例如，解压缩和解重组)，以恢复馈入至图像数据处理装置100的图像数据d_in。在阅读完图1所示的图像数据处理装置100的上述相关段落之后，本领域技术人员可知图3所示的每一个模块的细节。为求简洁，省略进一步的描述。

图4为根据本发明实施方式的图像数据处理方法400的流程图。若结果实质上相同，不必要求图4所示的步骤按所示的顺序严格执行也不必要求图4所示的步骤连续，即可以将其他步骤插入其中。图4所示的一些步骤也可以根据各种实施方式和要求而省略。图像数据处理方法400可以包括如下步骤:

步骤402：开始。

步骤404：通过适合于解压缩第二像素格式的图像数据的解压缩模块来解压缩已压缩的数据，以产生解压缩的数据。

步骤406：是否需要字节解重组？若是，则转至步骤408；否则，转至步骤412。

步骤408：根据解复用控制信号解复用已解压缩的图像数据于字节数据级，以产生已解复用的数据。

步骤410：根据字节映射信息存取4个存储单元中的每一个的一个条目以存储已解复用的数据。

步骤412：是否需要DWORD解重组？若是，则转至步骤414；否则，转至步骤416。

步骤414：根据DWORD映射信息从存储模块一个区段接着一个区段地读出字节解重组图像数据。

步骤416：是否需要比特解重组？若是，则转至步骤418；否则，转至步骤420。

步骤418：根据比特级解重组改变图像数据的顺序产生比特解重组数据，以作为图像数据。

步骤420：结束。

在阅读上述关于图3所示的图像数据处理装置300的相关段落之后，本领域技术人员可以理解图4所示的各个步骤的细节。为求简洁，省略进一步的描述。

虽然本发明已以较佳实施方式揭露如上，然而必须了解其并非用以限定本发明。相反，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围应当以权利要求书所界定的保护范围为准。

Claims (16)

1.一种图像数据处理方法，其特征在于，包括：

(a)接收图像数据，其中该图像数据为第一像素格式；

(b)根据该第一像素格式和第二像素格式之间的关系，重组该图像数据，以产生已重组的数据；以及

(c)通过适合于压缩该第二像素格式的数据的压缩模块压缩该已重组的数据，以产生已压缩的数据；

其中，该步骤(b)包括：

(b1)根据第一数据重组改变该图像数据的顺序，以产生第一已重组的数据；以及

(b2)根据第二数据重组改变该第一已重组的数据的顺序，以产生该已重组的数据，其中该第一数据重组具有的数据长度大于该第二数据重组具有的数据长度；

其中，该图像数据包括N个区段，该N个区段中的每一个包括M个子区段，存储模块包括M个存储单元，该M个存储单元中的每一个包括N个条目，以及该N个条目中的每一个能够存储该图像数据的该M个子区段中的一个子区段，以及该第一数据重组包括：

根据第一映射信息一个区段接着一个区段地存储该图像数据至该存储模块，其中该第一映射信息将该图像数据的该N个区段中的一个区段的该M个子区段对应至该M个存储单元中的相同条目。

2.根据权利要求1所述的图像数据处理方法，其特征在于，该第一像素格式为像素格式R8、RG88、RGB565、RGBA4、RGB5_A1、RGB10_A2、R16F、RG16F、RGBA16F、R32F、RG32F、RGBA8和RGBA32F中的一个。

3.根据权利要求1所述的图像数据处理方法，其特征在于，该第二数据重组包括：

根据第二映射信息存取该M个存储单元的每一个存储单元的该N个条目中一个条目，以输出已存取的数据，其中该M个存储单元的每一个存储单元的已存取的条目是不同的；以及

根据复用控制信号，复用该已存取的数据，以产生该已重组的数据。

4.根据权利要求1所述的图像数据处理方法，其特征在于，该步骤(b)包括：

根据第三数据重组改变该图像数据的顺序，以产生第三已重组的数据；

根据第一数据重组改变该第三已重组数据的顺序，以产生第一已重组的数据；以及

根据第二数据重组改变该第一已重组的数据的顺序，以产生该已重组的数据，其中该第三数据重组具有的数据长度小于该第二数据重组具有的数据长度，以及该第二数据重组具有的数据长度小于该第一数据重组具有的数据长度。

5.一种图像数据处理装置，其特征在于，包括

接收模块，接收第一像素格式的图像数据；

数据重组模块，被配置为根据该第一像素格式和第二像素格式之间的关系，重组该图像数据，以产生已重组的数据；以及

压缩模块，被配置为压缩该已重组的数据，以产生已压缩的数据，其中该压缩模块适合于压缩该第二像素格式的数据；

其中，该数据重组模块包括：

第一重组单元，被配置为执行改变该图像数据的顺序的第一数据重组，以产生第一已重组的数据；以及

第二重组单元，被配置为执行改变该第一已重组的数据的顺序的第二数据重组，以产生该已重组的数据，其中该第一数据重组具有的数据长度大于该第二数据重组具有的数据长度；

其中，该图像数据包括N个区段，该N个区段中的每一个包括M个子区段，存储模块包括M个存储单元，该M个存储单元中的每一个包括N个条目，以及该N个条目中的每一个能够存储该图像数据的该M个子区段中的一个子区段，以及该第一重组单元包括：

存储写控制单元，被配置为接收该图像数据，并根据第一映射信息一个区段接着一个区段地存储该图像数据至该存储模块，其中该第一映射信息将该图像数据的该N个区段中的一个区段的该M个子区段对应至该M个存储单元中的相同条目。

6.根据权利要求5所述的图像数据处理装置，其特征在于，该第一像素格式为像素格式R8、RG88、RGB565、RGBA4、RGB5_A1、RGB10_A2、R16F、RG16F、RGBA16F、R32F、RG32F、RGBA8和RGBA32F中的一个。

7.根据权利要求5所述的图像数据处理装置，其特征在于，该第二重组单元包括：

存储读控制单元，被配置为根据第二映射信息存取该M个存储单元，以输出已存取的数据，其中该M个存储单元的每一个存储单元的已存取的条目是不同的；以及

复用单元，被配置为根据复用控制信号，复用该已存取的数据，以产生该已重组的数据。

8.根据权利要求5所述的图像数据处理装置，其特征在于，该数据重组模块包括：

第三重组单元，被配置为执行改变该图像数据的顺序的第三数据重组，以产生第三已重组的数据；

第一重组单元，被配置为执行改变该第三已重组的数据的顺序的第一数据重组，以产生第一已重组的数据；以及

第二重组单元，被配置为执行改变该第一已重组的数据的顺序的第二数据重组，以产生该已重组的数据，其中该第三数据重组具有的数据长度小于该第二数据重组具有的数据长度，以及该第二数据重组具有的数据长度小于该第一数据重组具有的数据长度。

9.一种图像数据处理方法，其特征在于，包括：

(a)接收已压缩的图像数据；

(b)通过适合于解压缩第二像素格式的数据的解压缩模块解压缩该已压缩的图像数据，以产生已解压缩的图像数据；以及

(c)根据第一像素格式和该第二像素格式解重组该已解压缩的图像数据，以产生图像数据；

其中，该步骤(c)包括：

(c1)根据第二数据解重组改变该已解压缩的图像数据的顺序，以产生第二解重组的图像数据；以及

(c2)根据第一数据解重组改变该第二解重组的图像数据的顺序，以产生该图像数据，其中该第一数据解重组具有的数据长度大于该第二数据解重组具有的数据长度；

其中，该图像数据包括N个区段，该N个区段中的每一个包括M个子区段，存储模块包括M个存储单元，该M个存储单元中的每一个包括N个条目，以及该N个条目中的每一个能够存储该图像数据的该M个子区段中的一个子区段， 以及该第二数据解重组包括：

根据解复用控制信号解复用该已解压缩的图像数据，以产生解复用的数据；以及

根据第二映射信息存取该M个存储单元的每一个存储单元的该N个条目中的一个条目，以存储该解复用的数据，其中该M个存储单元的每一个存储单元的已存取的条目是不同的。

10.根据权利要求9所述的图像数据处理方法，其特征在于，该第一像素格式为像素格式R8、RG88、RGB565、RGBA4、RGB5_A1、RGB10_A2、R16F、RG16F、RGBA16F、R32F、RG32F、RGBA8和RGBA32F中的一个。

11.根据权利要求9所述的图像数据处理方法，其特征在于，该第一数据解重组包括：

根据第一映射信息从该存储模块一个区段接着一个区段地读该第二解重组的图像数据，以产生该图像数据，其中该第一映射信息将来自该M个存储单元中的相同条目的该第二解重组的图像数据对应至该图像数据的该N个区段中的一个区段的该M个子区段。

12.根据权利要求9所述的图像数据处理方法，其特征在于，该步骤(c)包括：

(c1)根据第二数据解重组改变该已解压缩的图像数据的顺序，以产生第二解重组的图像数据；

(c2)根据第一数据解重组改变该第二解重组的图像数据的顺序，以产生第一解重组的图像数据；以及

(c3)根据第三数据解重组改变该第一解重组的图像数据的顺序，以产生该图像数据，其中该第三数据解重组具有的数据长度小于该第二数据解重组具有的数据长度，以及该第二数据解重组具有的数据长度小于该第一数据解重组具有的数据长度。

13.一种图像数据处理装置，其特征在于，包括：

接收模块，被配置为接收已压缩的图像数据；

解压缩模块，适合于解压缩第二像素格式的数据，被配置为解压缩该已压缩的图像数据，以产生已解压缩的图像数据；以及

数据解重组模块，被配置为根据第一像素格式和该第二像素格式之间的关系解重组该已解压缩的图像数据，以产生图像数据；

其中，该数据解重组模块包括：

第二数据解重组单元，被配置为执行改变该已解压缩的图像数据的顺序的第二数据解重组，以产生第二解重组的图像数据；以及

第一数据解重组单元，被配置为执行改变该第二解重组的图像数据的顺序的第一数据解重组，以产生该图像数据；其中该第一数据解重组具有的数据长度大于该第二数据解重组具有的数据长度；

其中，该图像数据包括N个区段，该N个区段中的每一个包括M个子区段，存储模块包括M个存储单元，该M个存储单元中的每一个包括N个条目，以及该N个条目中的每一个能够存储该图像数据的该M个子区段中的一个子区段，以及该第二数据解重组单元包括：

解复用单元，被配置为根据解复用控制信号解复用该已解压缩的图像数据，以产生解复用的数据；以及

存储写控制单元，被配置为根据第二映射信息存取该M个存储单元的每一个存储单元的该N个条目中的一个条目，以存储该解复用的数据，其中该M个存储单元的每一个存储单元的已存取的条目是不同的。

14.根据权利要求13所述的图像数据处理装置，其特征在于，该第一像素格式为像素格式R8、RG88、RGB565、RGBA4、RGB5_A1、RGB10_A2、R16F、RG16F、RGBA16F、R32F、RG32F、RGBA8和RGBA32F中的一个。

15.根据权利要求13所述的图像数据处理装置，其特征在于，该第一数据解重组单元包括：

存储读控制单元，被配置为根据第一映射信息从该存储模块一个区段接着一个区段地读该第二解重组的图像数据，以产生该图像数据，其中该第一映射信息将来自该M个存储单元中的相同条目的该第二解重组的图像数据对应至该图像数据的该N个区段中的一个区段的该M个子区段。

16.根据权利要求13所述的图像数据处理装置，其特征在于，该数据解重组模块包括：

第二数据解重组单元，被配置为执行改变该已解压缩的图像数据的顺序的第二数据解重组，以产生第二解重组的图像数据；

第一数据解重组单元，被配置为执行改变该第二解重组图像数据的顺序的第一数据解重组，以产生第一解重组的图像数据；以及

第三数据解重组单元，被配置为执行改变该第一解重组的图像数据的顺序 的第三数据解重组，以产生该图像数据，其中该第三数据解重组具有的数据长度小于该第二数据解重组具有的数据长度，以及该第二数据解重组具有的数据长度小于该第一数据解重组具有的数据长度。