CN105917651A

CN105917651A - 图像编码方法、装置以及图像处理设备

Info

Publication number: CN105917651A
Application number: CN201480072694.8A
Authority: CN
Inventors: 朱建清; 徐张磊; 叶姜莉; 数井君彦
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-05-30
Filing date: 2014-05-30
Publication date: 2016-08-31
Anticipated expiration: 2034-05-30
Also published as: CN105917651B; WO2015180139A1

Abstract

提供一种图像编码方法、装置以及图像处理设备。所述图像编码方法包括：对于待编码图像区域的一当前像素，将所述当前像素与已被扫描的一比较像素进行比较；根据比较结果来判断所述当前像素是否采用拷贝模式；以及在判断为采用拷贝模式的情况下，对所述当前像素采用拷贝模式进行比特流编码。可以充分利用已扫描的像素信息，进一步提高编码效率。

Description

图像编码方法、装置以及图像处理设备技术领域

本发明涉及一种图形图像技术领域，特别涉及一种图像编码方法、装置以及图像处理设备。

背景技术

基于调色板（Palette-based) 的编码在图形图像技术（尤其是视频编码技术）中得到了广泛应用。在编码过程中，对于待编码图像区域，例如一个编码单元（CU， coding Unit), 包含多个具有色彩值（例如采用 RGB模式，具有 24比特的真彩色）的像素；为了减少用于存储位图图像的存储容量，通常可以将像素指向调色板的数据索引。在译码过程中，每一输出像素的色彩值可以通过査找具有相应数据索引的调色板来决定。

其中，调色板为一系列像素值（pixel value) 的集合，对于像素值位于调色板中的像素，仅需使用该像素值在调色板中对应的像素索引（pixel inde_X)。由此可以仅将调色板以及编码单元中的像素所对应的索引进行比特流编码，可以减少编码的比特代价（bit cost )。

下面列出了对于理解本发明和常规技术有益的文献，通过引用将它们并入本文中，如同在本文中完全阐明了一样。

[非专利文献 1]： JCTVC-O0182. Xun Guo, etc, Microsoft, Major-color-based screen content coding.

[非专利文献 2]: JCTVC-N0249. Liwei Guo, etc, Qualcomm, Modified Palette Mode for Screen Content Coding.

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

目前，为了进一步降低比特代价，若一像素在调色板中的索引值与前一行相同位置的像素在调色板中的索引值相同，则可以采用拷贝模式（copy mode) 对该像素进行比特流编码。但是发明人发现：目前的技术方案中，将待编码的像素与之前一行或一列的相同位置的像素进行比较，如果比较结果为相同或相近则采用拷贝模式。由此不能充分利用已扫描的像素信息，不能进一步提高编码效率。

本发明实施例提供一种图像编码方法、装置以及图像处理设备。将待编码像素与已被扫描的一比较像素进行比较，根据比较结果来判断待编码像素是否采用拷贝模式；由此充分利用已扫描的像素信息，可以进一步提高编码效率。

根据本发明实施例的第一个方面，提供一种图像编码方法，包括：

对于待编码图像区域的一当前像素，将所述当前像素与已被扫描的一比较像素进行比较；

根据比较结果来判断所述当前像素是否采用拷贝模式；以及

在判断为采用拷贝模式的情况下，对当前像素采用拷贝模式进行比特流编码。根据本发明实施例的第二个方面，提供一种图像编码装置，包括：

比较单元，对于待编码图像区域的一当前像素，将所述当前像素与已被扫描的一比较像素进行比较；

判断单元，根据比较结果来判断所述当前像素是否采用拷贝模式；以及流编码单元，在判断为采用拷贝模式的情况下，对所述当前像素采用拷贝模式进行比特流编码。

根据本发明实施例的第三个方面，提供一种图像处理设备，包括：

如上所述的图像编码装置；以及

解码装置，对比特流进行解码以获得图像。

根据本发明实施例的又一个方面，提供一种计算机可读程序，其中当在图像处理设备中执行所述程序时，所述程序使得计算机在所述图像处理设备中执行如上所述的图像编码方法。

根据本发明实施例的又一个方面，提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在图像处理设备中执行如上所述的图像编码方法。

本发明实施例的有益效果在于，将待编码像素与已被扫描的一比较像素进行比较，根据比较结果来判断待编码像素是否采用拷贝模式；由此并不限于仅与前一行或前一列的相同位置的像素进行比较，因此可以充分利用已扫描的像素信息，可以进一步提高编码效率。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和 /或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语 "包括 /包含"在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。附图说明

参照以下的附图可以更好地理解本发明的很多方面。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大或缩小。

在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。

图 1是本发明实施例的编码单元的一实例示意图；

图 2是本发明实施例的编码单元的另一实例示意图；

图 3是本发明实施例的图像编码方法的一流程示意图；

图 4是本发明实施例的编码单元的另一实例示意图；

图 5是本发明实施例的另一实例示意图；

图 6是本发明实施例的另一实例示意图；

图 7是本发明实施例的另一实例示意图；

图 8是本发明实施例的图像编码装置的一构成示意图；

图 9是本发明实施例的图像编码装置的另一构成示意图；

图 10是本发明实施例的图像处理设备的一构成示意图。具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

图 1是本发明实施例的编码单元的一实例示意图，示出了一个编码单元的情况。如图 1所示，该编码单元具有 8 X 8个像素；其中具有相同像素值的像素采用同一符号来表示像素值，例如 C0、 Cl、 ……、 C7。如果采用基于调色板的编码方法，则会采用调色板大小（用 ma_X_palette_size表示）大于像素值个数的调色板进行编码，即 max_palette_size>9, 例如 max_palette_size= 32。由此使得编码单元中的所有像素都采用调色板模式进行编码。此时调色板 Palettel={ C0、 Cl、 C2、 C3、 C4、 C5、 C6、 C7 }，该调色板中具有 8个元素。

图 2是本发明实施例的编码单元的另一实例示意图，示出了图 1的编码单元采用 Palettel后像素索引的情况。如果采用目前的 copy mode方法，则采用图 2中的像素索引进行比较来判断像素是否采用 copy mode。即对于其中某一个像素，在采用水平扫描的情况下，判断该像素的像素索引和前一行相同位置的像素索引是否相同，如果相同则确定该像素采用 copy mode。

例如，在图 2中，对于第二行的第二个像素（1， 1 ) 以及第三个像素（2， 1 )，索引与第一行的相同位置的像素索引相同（均为 00) ; 而第二行的第四个像素（3， 1 ) 的索引（为 0) 与第一行的相同位置的像素索引（为 2) 不相同，则可以确定图 1中对应的这两个像素可以采用 copy mode。由此，像素（1， 1 ) 的 copy ran =2。在这种情况下，不能进一步提高编码效率。

以下对本发明进行详细说明。实施例 1

本发明实施例提供一种图像编码方法。图 3是本发明实施例的图像编码方法的一流程示意图，如图 3所示，所述图像编码方法包括：

步骤 301，对于待编码图像区域的一当前像素，将所述当前像素与已被扫描的一比较像素进行比较；步骤 302，根据比较结果来判断所述当前像素是否采用拷贝模式；以及步骤 303，在判断为采用拷贝模式的情况下，对所述当前像素采用拷贝模式进行比特流编码。

在本实施例中，可以使用像素值或者像素索引对多个像素一一进行比较并判断。在判断为采用拷贝模式的情况下，对所述像素采用拷贝模式进行比特流编码；在判断为不采用拷贝模式的情况下，对所述像素按照现有的方法（例如使用像素索引或者使用像素值）进行比特流编码。关于比特流编码的具体内容，可以参考相关技术。

在本实施例中，对于水平扫描和垂直扫描均可适用。

在一个实施方式中，在采用水平扫描方式时，当前像素（即待编码像素）在编码单元中的位置表示为（x， y 比较像素在编码单元中的位置表示为〔x-i， y-j) , 或者为（x， y-j) , 或者为（x+， y-j) ; 其中，和为大于或等于 1的正整数；此外，和 j的最大值可以根据编码单元的大小来确定。

以 ί=1， 7=1为例，可以将当前像素（x， y) 与比较像素（x-l， y-1 ) 进行比较，此时可以称这种方式中拷贝方向为左上，即copy_direction为above left。例如，当前像素为（1， 1 )，则比较像素为（0， 0)。

或者，也可以将当前像素（x， y) 与比较像素（x， y-1 ) 进行比较，此时可以称这种方式中拷贝方向为向上，即 copy_direction为 above。例如，当前像素为（1， 1 )，则比较像素为（1， 0)。

或者，还可以将当前像素（x， y) 与比较像素（x+l， y-1 ) 进行比较，此时可以称这种方式中拷贝方向为右上，即 copy_direction为 above right。例如，当前像素为 ( 1， 1 )，则比较像素为（2， 0)。

图 4是本发明实施例的编码单元的另一实例示意图，示出了图 2的编码单元采用本发明实施例后的索引情况。以图 2所示的编码单元为例，如果拷贝方向为左上，则像素（1， 1 ) 与像素（0， 0 ) 比较， ……，像素（7， 1 ) 与像素（6， 0 ) 比较。如图 4所示，这种方式下像素（1， 1 ) 的 copy run =7，由此可以进一步提高编码效率。

图 5是本发明实施例的另一实例示意图，简单示出了拷贝方向为左上的情况；图 6是本发明实施例的另一实例示意图，简单示出了拷贝方向为向上的情况；图 7是本发明实施例的另一实例示意图，简单示出了拷贝方向为右上的情况。

值得注意的是，以上仅以 =1， 1为例，通过拷贝方向为左上、向上或右上对本发明进行了说明。但本发明不限于此，例如还可以是 =2， 1等。可以根据实际情况确定当前像素所具体对应的比较像素；只要将当前像素与已被扫描的一比较像素进行比较，均应在本发明的保护范围之内。

在另一个实施方式中，在采用垂直扫描方式时，当前像素在编码单元中的位置表示为（x， y) ; 比较像素在编码单元中的位置可以表示为 x-i， y-j) , 或者为 x-i， y) , 或者为 x-i， y+j) ; 其中，和为大于或等于 1的正整数。

此外，图 1、 2、 4中均以像素索引的比较为例进行了说明，但本发明不限于此，例如还可以在采用非调色板模式（例如 escape mode) 的情况下，通过比较像素值来确定是否采用拷贝模式。

在本实施例中，步骤 302中根据比较结果来判断当前像素是否采用拷贝模式，具体可以包括：在当前像素的像素值与比较像素的像素值相同的情况下（例如采用 escape mode) , 确定当前像素采用拷贝模式。或者，在当前像素的像素索引与比较像素的像素索引相同的情况下（例如采用 palette mode) , 确定当前像素采用拷贝模式。

或者，在当前像素的像素值与比较像素的像素值的差小于预设阈值的情况下，确定当前像素采用拷贝模式。或者当前像素的像素索引与比较像素的像素索引的差小于预设阈值的情况下，确定当前像素采用拷贝模式。

在本实施例中，可以将标识拷贝方向的信息编码到比特流中，由此可以根据该标识拷贝方向的信息来选择进行比较的比较像素。其中，该信息可以是编码单元 CU级别的，也可以是像素级别的。

在一个实施方式中，可以为编码单元设置用于标识拷贝方向的标识位；以及根据该标识位为编码单元中的每一像素选择进行比较的比较像素。

例如，可以采用如下的伪代码表示：

"cuo

例如， Copy_direction为 0，表示拷贝方向为左上，则该编码单元的每一像素均与左上的像素进行比较来确定是否采用拷贝模式。

在另一个实施方式中，可以为一个或多个像素设置用于标识拷贝方向的标识位；以及根据标识位为一个或多个像素选择进行比较的比较像素。

例如，可以采用如下的伪代码表示：

cu()

{

Palette mode flag;

If (Palette mode flag=l)

{ " "

For (scan_pos=0; scan_pos <number of pixels in a CU; scan_pos +Run )

{

Run—mode;

If (Run mode=copy mode)

{ _

Copy—direction;

Copy run;

Run= Copy run;

} _

Else

{

}

例如， Copy_direction为 0，表示拷贝方向为左上，则该像素与左上的像素进行比较来确定是否采用拷贝模式。

其中， "Copy_directi_0n"能够采用多种形式进行编码。例如可以是固定长度的，也可以是可变长度的。本发明不限于此，可以根据实际情况确定具体的实施方式。

由上述实施例可知，将待编码像素与已被扫描的一比较像素进行比较，根据比较结果来判断待编码像素是否采用拷贝模式；由此并不限于仅与前一行或前一列的相同位置的像素进行比较，因此可以充分利用已扫描的像素信息，可以进一步提高编码效率。实施例 2

本发明实施例提供一种图像编码装置，对应于实施例 1中的图像编码方法，相同的内容不再赘述。

图 8是本发明实施例的图像编码装置的一构成示意图。值得注意的是，附图 8仅示意性示出了与本发明相关的各部件，对于图像编码装置的其他部件没有示出，可以参考现有技术。

如图 8所示，该图像编码装置 800包括：比较单元 801、判断单元 802和流编码单元 803 ; 其中，比较单元 801对于待编码图像区域的一当前像素，将所述当前像素与已被扫描的一比较像素进行比较；判断单元 802根据比较结果来判断所述当前像素是否采用拷贝模式；以及流编码单元 803在判断为采用拷贝模式的情况下，对所述当前像素采用拷贝模式进行比特流编码。

在一个实施方式中，在采用水平扫描方式时，所述当前像素在编码单元中的位置表示为（x， y) ; 所述比较像素在所述编码单元中的位置表示为 x-i， y-j) , 或者为（x， y-j) , 或者为（x+， y-j) ; 其中，和为大于或等于 1的正整数。

在另一个实施方式中，在采用垂直扫描方式时，所述当前像素在编码单元中的位置表示为（x， y) ; 所述比较像素在所述编码单元中的位置表示为 x-i， y-j) , 或者为 (x-i, y) , 或者为 x-i， y+j ; 其中，和为大于或等于 1的正整数。

在本实施例中，判断单元 802具体可以用于：在所述当前像素的像素值与所述比较像素的像素值相同、或者所述当前像素的像素索引与所述比较像素的像素索引相同的情况下，确定所述当前像素采用拷贝模式；或者在所述当前像素的像素值与所述比较像素的像素值的差小于预设阈值、或者所述当前像素的像素索引与所述比较像素的像素索引的差小于预设阈值的情况下，确定所述当前像素采用拷贝模式。

图 9是本发明实施例的图像编码装置的另一构成示意图。如图 9所示，该图像编码装置 900包括：比较单元 801、判断单元 802和流编码单元 803 ; 如上所述。如图 9所示，图像编码装置 900还可以包括：设置单元 904和选择单元 905。

在一个实施方式中，设置单元 904为编码单元设置用于标识拷贝方向的标识位；以及选择单元 905 根据所述标识位为所述编码单元中的每一像素选择进行比较的所述比较像素。

在另一个实施方式中，设置单元 904为一个或多个像素设置用于标识拷贝方向的标识位；以及选择单元 905根据所述标识位为所述一个或多个像素选择进行比较的所述比较像素。

由上述实施例可知，将待编码像素与已被扫描的一比较像素进行比较，根据比较结果来判断待编码像素是否采用拷贝模式；由此并不限于仅与前一行或前一列的相同位置的像素进行比较，因此可以充分利用已扫描的像素信息，可以进一步提高编码效率。实施例 3

本发明实施例提供一种图像处理设备，所述图像处理设备包括：如实施例 2所述的图像编码装置；以及解码装置。

图 10是本发明实施例的图像处理设备的一构成示意图。如图 10所示，图像处理设备 1000可以包括：中央处理器（CPU) 200和存储器 210; 存储器 210耦合到中央处理器 200。其中该存储器 210可存储各种数据；此外还存储信息处理的程序，并且在中央处理器 200的控制下执行该程序。

在一个实施方式中，图像编码装置 800或 900 的功能可以被集成到中央处理器 200中。其中，中央处理器 200可以被配置为实现如实施例 1所述的图像编码方法。

在另一个实施方式中，图像编码装置 800或 900可以与中央处理器分开配置，例如可以将图像编码装置 800配置为与中央处理器 200连接的芯片，通过中央处理器的控制来实现图像编码装置 800的功能。

此外，如图 10所示，图像处理设备 1000还可以包括：输入输出单元 220和显示单元 230等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，图像处理设备 1000也并不是必须要包括图 10中所示的所有部件；此外，图像处理设备 1000还可以包括图 10中没有示出的部件，可以参考现有技术。

本发明实施例还提供一种计算机可读程序，其中当在图像处理设备中执行所述程序时，所述程序使得计算机在所述图像处理设备中执行实施例 1 所述的图像编码方法。本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在图像处理设备中执行实施例 1所述的图像编码方法。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、 DVD、 flash存储器等。

针对附图中描述的功能方框中的一个或多个和 /或功能方框的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器（DSP)、专用集成电路（AS )、现场可编程门阵列（FPGA) 或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和 /或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如， DSP和微处理器的组合、多个微处理器、与 DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

Claims

权利要求书

1、一种图像编码方法，其特征在于，所述图像编码方法包括：

对于待编码图像区域的一当前像素，将所述当前像素与已被扫描的一比较像素进行比较；

根据比较结果来判断所述当前像素是否采用拷贝模式；以及

在判断为采用拷贝模式的情况下，对所述当前像素采用拷贝模式进行比特流编码。

2、根据权利要求 1所述的图像编码方法，其中，在采用水平扫描方式时，所述当前像素在编码单元中的位置表示为（x， y) ; 所述比较像素在所述编码单元中的位置表示为（x-， y-j , 或者为（x， y-j , 或者为（x+， y-j ; 其中，和为大于或等于 1的正整数。

3、根据权利要求 1所述的图像编码方法，其中，在采用垂直扫描方式时，所述当前像素在编码单元中的位置表示为（x， y ; 所述比较像素在所述编码单元中的位置表示为 ίχ-i, y-j) , 或者为 ίχ-i, y) , 或者为 x-i, y+j) ; 其中，和为大于或等于 1的正整数。

4、根据权利要求 1所述的图像编码方法，其中，根据比较结果来判断所述当前像素是否采用拷贝模式，包括：

在所述当前像素的像素值与所述比较像素的像素值相同、或者所述当前像素的像素索引与所述比较像素的像素索引相同的情况下，确定所述当前像素采用拷贝模式；或者

在所述当前像素的像素值与所述比较像素的像素值的差小于预设阈值、或者所述当前像素的像素索引与所述比较像素的像素索引的差小于预设阈值的情况下，确定所述当前像素采用拷贝模式。

5、根据权利要求 1所述的图像编码方法，其中，所述图像编码方法还包括：为编码单元设置用于标识拷贝方向的标识位；以及

根据所述标识位为所述编码单元中的每一像素选择进行比较的所述比较像素。 6、根据权利要求 1所述的图像编码方法，其中，所述图像编码方法还包括：为一个或多个像素设置用于标识拷贝方向的标识位；以及根据所述标识位为所述一个或多个像素选择进行比较的所述比较像素。

7、一种图像编码装置，其特征在于，所述图像编码装置包括：

比较单元，对于待编码图像区域的一当前像素，将所述当前像素与已被扫描的一比较像素进行比较；

判断单元，根据比较结果来判断所述当前像素是否采用拷贝模式；以及流编码单元，在判断为采用拷贝模式的情况下，对所述当前像素采用拷贝模式进行比特流编码。

8、根据权利要求 7所述的图像编码装置，其中，在采用水平扫描方式时，所述当前像素在编码单元中的位置表示为（x， y ; 所述比较像素在所述编码单元中的位置表示为 ίχ-i, y-j) , 或者为（x， y-j) , 或者为（x+， y-j) ; 其中，和为大于或等于 1的正整数。

9、根据权利要求 7所述的图像编码装置，其中，在采用垂直扫描方式时，所述当前像素在编码单元中的位置表示为（x， y ; 所述比较像素在所述编码单元中的位置表示为（x-， y-j , 或者为 ίχ-i, y) , 或者为 x-i, y+j) ; 其中，和为大于或等于 1的正整数。

10、根据权利要求 7所述的图像编码装置，其中，所述判断单元具体用于：在所述当前像素的像素值与所述比较像素的像素值相同、或者所述当前像素的像素索引与所述比较像素的像素索引相同的情况下，确定所述当前像素采用拷贝模式；或者

在所述当前像素的像素值与所述比较像素的像素值的差小于预设阈值、或者所述当前像素的像素索引与所述比较像素的像素索引的差小于预设阈值的情况下，确定所述当前像素采用拷贝模式。

11、根据权利要求 7所述的图像编码装置，其中，所述图像编码装置还包括：设置单元，为编码单元设置用于标识拷贝方向的标识位；以及

选择单元，根据所述标识位为所述编码单元中的每一像素选择进行比较的所述比较像素。

12、根据权利要求 7所述的图像编码装置，其中，所述图像编码装置还包括：设置单元，为一个或多个像素设置用于标识拷贝方向的标识位；以及

选择单元，根据所述标识位为所述一个或多个像素选择进行比较的所述比较像 13、一种图像处理设备，所述图像处理设备包括：如权利要求 7至 12任一项所述的图像编码装置；以及解码装置，对比特流进行解码以获得图像。