CN105992003A

CN105992003A - 依据排序或频度对调色板颜色编号的图像压缩方法和装置

Info

Publication number: CN105992003A
Application number: CN201510091095.7A
Authority: CN
Inventors: 林涛
Original assignee: Shanghai Tianhe Electronic Information Co Ltd
Current assignee: Shanghai Tianhe Electronic Information Co Ltd
Priority date: 2015-03-01
Filing date: 2015-03-01
Publication date: 2016-10-05
Anticipated expiration: 2035-03-01
Also published as: CN105992003B

Abstract

本发明提供了对部分或全部调色板颜色，依据像素及其索引在编码块或解码块中的前后排列顺序进行编号或者依据像素及其索引在编码块或解码块中的出现频度进行编号的图像编码与解码的方法和装置。

Description

依据排序或频度对调色板颜色编号的图像压缩方法和装置

技术领域

本发明涉及一种数字视频压缩编码及解码系统，特别是含计算机屏幕图像的复合图像和视频的编码及解码的方法和装置。

背景技术

随着电视机和显示器进入超高清（4K）和特超高清（8K）的分辨率，以及以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及，对视频图像数据压缩的需求也走向更高分辨率和包含摄像机摄取图像和计算机屏幕图像的复合图像。对视频图像进行超高压缩比和极高质量的数据压缩成为必不可少的技术。

充分利用4K/8K图像和计算机屏幕图像的特点，对视频图像进行超高效率的压缩，也是正在制定中的最新国际视频压缩标准HEVC（High Efficiency Video Coding）和其他若干国际标准、国内标准、行业标准的一个主要目标。

图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域，而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。在任一时刻，正在编码中的那一帧图像称为当前编码图像。同样，对数字视频信号的压缩后的视频码流（简称码流也称为比特流）进行解码就是对一帧一帧压缩图像的码流进行解码。在任一时刻，正在解码中的那一帧图像称为当前解码图像。当前编码图像或当前解码图像都统称为当前图像。

在几乎所有视频图像编码的国际标准如MPEG-1/2/4，H.264/AVC以及HEVC中，对一帧图像进行编码（以及相应的解码）时，把一帧图像划分成若干块MxM像素的子图像，称为编码块（从解码的角度也就是解码块，统称为编解码块）或“编码单元（Coding Unit简称CU）”，以CU为基本编码单位，对子图像一块一块进行编码。常用的M的大小是4，8，16，32，64。因此，对一个视频图像序列进行编码就是对各帧图像的各个编码单元即CU依次一个一个CU进行编码。在任一时刻，正在编码中的CU称为当前编码CU。同样，对一个视频图像序列的码流进行解码也是对各帧图像的各个CU依次一个一个CU进行解码，最终重构出整个视频图像序列。在任一时刻，正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU统称为当前CU。

为适应一帧图像内各部分图像内容与性质的不同，有针对性地进行最有效的编码，一帧图像内各CU的大小可以是不同的，有的是8x8，有的是64x64，等等。为了使不同大小的CU能够无缝拼接起来，一帧图像通常先划分成大小完全相同具有NxN像素的“最大编码单元（Largest Coding Unit简称LCU）”，然后每个LCU再进一步划分成树状结构的多个大小不一定相同的CU。因此，LCU也称为“编码树单元（Coding Tree Unit简称CTU）”。例如，一帧图像先划分成大小完全相同的64x64像素的LCU（N＝64）。其中某个LCU由3个32x32像素的CU和4个16x16像素的CU构成，这样7个成树状结构的CU构成一个CTU。而另一个LCU由2个32x32像素的CU、3个16x16像素的CU和20个8x8像素的CU构成。这样25个成树状结构的CU构成另一个CTU。对一帧图像进行编码，就是依次对一个一个CTU中的一个一个CU进行编码。在HEVC国际标准中，LCU与CTU是同义词。大小等于CTU的CU称为深度为0的CU。深度为0的CU上下左右四等分得到的CU称为深度为1的CU。深度为1的CU上下左右四等分得到的CU称为深度为2的CU。深度为2的CU上下左右四等分得到的CU称为深度为3的CU。

CU也可以再进一步被划分成若干子区域。子区域包括但不限于预测单元（PU），变换单元（TU），不对称划分（AMP）的区域。

一个彩色像素通常有3个分量（component）组成。最常用的两种像素色彩格式（pixel color format）是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度（luma）分量及两个色度（chroma）分量组成的YUV色彩格式。通称为YUV的色彩格式实际包括多种色彩格式，如YCbCr色彩格式。因此，对一个CU进行编码时，可以把一个CU分成3个分量平面（G平面、B平面、R平面或Y平面、U平面、V平面），对3个分量平面分别进行编码；也可以把一个像素的3个分量捆绑组合成一个3元组，对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像（及其CU）的平面格式（planar format），而后一种像素及其分量的排列方式称为图像（及其CU）的叠包格式（packed format）。像素的GBR色彩格式和YUV色彩格式都是像素的3分量表现格式。

除了像素的3分量表现格式，像素的另一种常用的现有技术的表现格式是调色板索引表现格式。在调色板索引表现格式中，一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的颜色的3个分量的数值或近似数值，调色板的地址被称为这个地址中存储的像素的颜色的索引。一个索引可以表现像素的颜色的一个分量，一个索引也可以表现像素的颜色的3个分量。调色板可以是一个，也可以是多个。在多个调色板的情形，一个完整的索引实际上由调色板序号（表示多个调色板中的哪一个）和该序号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。如果一个图像区域（如编码块或解码块）中的像素不能全部都用调色板颜色来表现（即对该图像区域中至少一个像素，没有3个分量的数值与该像素相等或近似相等的调色板颜色及其索引），则调色板中通常有一个特殊的称为逃逸颜色的索引，用来表现不能用正常的调色板颜色来表现的像素。因此，如果一个像素的索引是逃逸颜色的索引，则该像素需要用另外的专用的3个分量来表现其颜色。调色板中的正常颜色和逃逸颜色都称为调色板颜色，但逃逸颜色是一个虚拟颜色，在调色板中并没有一个物理空间来存放这个颜色，只有一个特殊的专门的虚拟的索引。逃逸颜色的索引通常是调色板的最后一个索引。像素的索引表现格式在现有技术中也被称为像素的索引颜色（indexed color）或仿颜色（pseudo color）表现格式，或者常常被直接称为索引像素（indexed pixel）或仿像素（pseudo pixel）或像素索引或索引。索引有时也被称为指数。把像素用其索引表现格式来表现也称为索引化或指数化。

其他的常用的现有技术的像素表现格式包括CMYK表现格式和灰度表现格式。

YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式：1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式；左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式；左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值（pixel sample）或简单地称为一个样值（sample）。

编码或解码时的最基本元素可以是一个像素，也可以是一个像素分量，也可以是一个像素索引（即索引像素）。作为编码或解码的最基本元素的一个像素或一个像素分量或一个索引像素统称为一个像素样值，有时也通称为一个像素值，或简单地称为一个样值。

在本发明和本发明专利申请中，“像素样值”、“像素值”、“样值”、“索引像素”、“像素索引”是同义词，根据上下文，可以明确是表示“像素”还是表示“一个像素分量”还是表示“索引像素”或者同时表示三者之任一。如果从上下文不能明确，那么就是同时表示三者之任一。

在本发明和本发明专利申请中，编码块或解码块（统称为编解码块）是由若干像素值组成的一个区域。编解码块的形状可以是矩形、正方形、平行四边形、梯形、多边形、圆形、椭圆形及其他各种形状。矩形也包括宽度或高度为一个像素值的退化为线（即线段或线形）的矩形。一帧图像中，各个编解码块可以具有各不相同的形状和大小。一帧图像中，某些或全部编解码块可以有互相重叠部分，也可以所有编解码块都互不重叠。一个编解码块，可以由“像素”组成，也可以由“像素的分量”组成，也可以由“索引像素”组成，也可以由这3者混合组成，也可以由这3者中之任意2种混合组成。从视频图像编码或解码的角度，编解码块是指一帧图像中对其施行编码或解码的一个区域，包括但不限于以下至少一种：最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU。

计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样（pixel pattern）。例如，计算机屏幕图像中常出现的中文或外文文字，都是由少数几种基本笔划所构成，同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等，也具有很多相似或相同的图样。因此，现有的图像和视频压缩技术中通常采用各种复制方式，至少包括下列复制方式：

1) 调色板索引复制即调色板或称索引复制。在调色板编码和对应的解码方式中，首先构造或获取一个调色板，然后将当前编码块或当前解码块（简称为当前块）的部分或全部像素用调色板的索引来表现，再对索引进行编码和解码，包括但不限于：把一个当前块的索引分成几个长度可变的索引串，即进行索引串复制编码和解码。索引串复制编码或解码的基本运算是对当前块中的每一个索引编码串或索引解码串（简称为当前索引串），从索引化的重构参考像素样值集内复制一个参考索引串，并将所述参考索引串的索引数值赋值予当前索引串。索引串复制方式的复制参数包括当前索引串的位移矢量和复制长度即复制大小，分别表示参考索引串与当前索引串之间的相对位置和当前索引串的长度即对应的像素样值的数目。当前索引串的长度也是参考索引串的长度。一个当前索引串有一个位移矢量和一个复制长度。一个当前块分成多少个索引串就有多少个位移矢量和多少个复制长度。

2) 帧内串复制即帧内串匹配或称串匹配或称串复制或称像素串复制。在像素串复制中，把一个当前编码块或一个当前解码块（简称为当前块）分成几个长度可变的像素样值串。这里的串是指把一个任意形状的二维区域内的像素样值排列成一个长度远大于宽度的串（如宽度为1个像素样值而长度为37个像素样值的串或宽度为2个像素样值而长度为111个像素样值的串，通常但不限于长度是一个独立编码或解码参数而宽度是一个预定的或由其他编码或解码参数导出的参数）。串复制编码或解码的基本运算是对当前块中的每一个编码串或解码串（简称为当前串），从重构参考像素样值集内复制一个参考串，并将所述参考串的数值赋值予当前串。串复制方式的复制参数包括当前串的位移矢量和复制长度即复制大小，分别表示参考串与当前串之间的相对位置和当前串的长度即像素样值的数目。当前串的长度也是参考串的长度。一个当前串有一个位移矢量和一个复制长度。一个当前块分成多少个串就有多少个位移矢量和多少个复制长度。

3) 索引复制与像素串复制混合的混合复制方式。对一个当前编码块或当前解码块（简称为当前块）进行编码或解码时，部分或全部像素采用像素串复制方式，部分或全部像素采用索引复制方式。

其他的复制方式还包括块复制方式，微块复制方式、条复制方式，矩形复制方式、以及若干种复制方式混合的复制方式等。

块复制方式中的块，微块复制方式中的微块，条复制方式中的条，串复制方式中的串，矩形复制方式中的矩形，调色板索引方式中的像素索引串，统称为像素样值段，简称样值段。样值段的基本组成元素是像素或像素分量或像素索引。一个样值段有一个复制参数，用来表示当前像素样值段与参考像素样值段之间的关系。一个复制参数包括若干复制参数分量，复制参数分量至少包括：位移矢量水平分量、位移矢量垂直分量、1维位移矢量、线性地址、相对线性地址、索引、调色板线性地址、相对索引、调色板相对线性地址、复制长度、复制宽度、复制高度、矩形宽度、矩形长度、未匹配像素（又称无参考像素，即不是从其他地方复制过来的非复制像素）。

在各种复制方式中，像素样值或索引需要按照一定顺序排列。排列方式也称为扫描方式。扫描方式根据其路径形状，可分为下列几种：

A）水平Z形扫描方式又称水平光栅扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一行一行排列，在所有的行内都按照同一方向（全部从左向右或者全部从右向左）排列。行与行之间可以从上向下排列，也可以从下向上排列。

B）垂直Z形扫描方式又称垂直光栅扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一列一列排列，在所有的列内都按照同一方向（全部从上向下或者全部从下向上）排列。列与列之间可以从左向右排列，也可以从右向左排列。

C）水平弓形扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一行一行排列，在奇数行内按照一个方向（如：从左向右）排列而在偶数行内按照另一个（相反）方向（如：从右向左）排列。行与行之间可以从上向下排列，也可以从下向上排列。

D）垂直弓形扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一列一列排列，在奇数列内按照一个方向（如：从上向下）排列而在偶数列内按照另一个（相反）方向（如：从下向上）排列。列与列之间可以从左向右排列，也可以从右向左排列。

在调色板索引复制方式或索引与像素串混合复制方式中，都需要对调色板颜色和索引进行编码后写入视频码流。当调色板比较大时，对索引值进行编码所需的比特数也比较多。如调色板有30个像素时，使用截断二进制码（Truncated Binary Code简称TBC）对索引值进行编码，每个索引值需要的比特数是5个比特或4个比特。在现有技术中，索引通常按照在一种扫描方式下出现的先后顺序来排列并在码流中存在和出现，调色板颜色的编号（即调色板颜色对应的索引值）与索引的排列顺序或在码流中存在和出现的顺序无关。调色板通常按照调色板颜色在一个编解码块中出现的频度从高到低进行编号。因此，对索引值进行编码所需的编码比特数由调色板颜色的总数决定。这是现有对调色板颜色编号和对索引值编码的方式中存在的一个问题。

在调色板索引复制方式或索引与像素串混合复制方式中，当前编码块或解码块的调色板（简称为当前调色板）中可能含有从当前编码块或解码块之前的多个编码块或解码块的调色板颜色的集合（称为调色板颜色预测集）中挑选和保留（继承）下来的调色板颜色。当前调色板中从调色板颜色预测集中挑选和保留（继承）下来的调色板颜色称为当前编码块或解码块的初始调色板颜色，简称为初始调色板颜色。当前编码块或解码块的调色板中不是从调色板颜色预测集中挑选和保留（继承）下来的调色板颜色称为当前编码块或解码块的非初始调色板颜色，简称为非初始调色板颜色。与初始调色板颜色对应的索引（或索引值）称为初始索引（或初始索引值）。与非初始调色板颜色对应的索引（或索引值）称为非初始索引（或非初始索引值）。一个调色板中，初始调色板颜色的数目可能为零。一个调色板中，非初始调色板颜色的数目可能为零。

初始调色板颜色是在对当前编码块或解码块之前的编码块或解码块进行编码或解码时写入码流或从码流中获取的，因此，在对当前编码块或解码块进行编码或解码时不需要重新写入码流或从码流中获取。初始调色板颜色在当前调色板中的编号（即调色板颜色对应的索引值）通常是依据其在调色板颜色预测集之中的顺序来确定。也就是说，初始调色板颜色既不是依据其在当前编码块或解码块中出现的频度来进行编号，也不是依据其在当前编码块或解码块中第一次出现的顺序来进行编号。因此，对初始调色板颜色所对应的索引值进行编码所需的编码比特数由当前调色板的调色板颜色的总数决定。这也是现有对调色板颜色编号和对索引值编码的方式中存在的一个问题。

如上所述，现有对调色板颜色编号和对索引值编码的方式中，存在着所述编码比特数比较多的问题，降低了对图像的压缩效率。

发明内容

为了解决图像视频编码与解码的现有技术中的这一问题，本发明提供了一种依据索引的排列顺序，通常是像素及其索引在编码块或解码块中的前后排列顺序，通常也是索引在码流中存在和出现的顺序，对调色板颜色进行编号（即分配索引值）的图像编码与解码的方法和装置。优选地，依据索引在其排列中第一次出现的顺序对调色板颜色进行编号。优选地，依据索引在编码块或解码块中的出现频度对调色板颜色进行编号。按照本发明，部分或全部调色板颜色的编号（即调色板颜色对应的索引值）依据像素及其索引的前后排列顺序从小变大。按照本发明，部分或全部调色板颜色的编号（即调色板颜色对应的索引值）依据像素及其索引的出现频度从小变大。

在调色板索引复制方式或索引与像素串混合复制方式中，通常按照编码块或解码块中像素及其索引的一种扫描排列顺序对像素及其索引进行编码或解码。如果调色板颜色的编号（索引值）在编码或解码时从小变大，那么在编码或解码开始的时候，只需要使用较少的比特数对调色板颜色的编号（索引值）进行编码或解码，随着编码过程或解码过程的进展，对调色板颜色的编号（索引值）进行编码或解码所需要使用的比特数也逐步增多，最后达到由调色板颜色的总数决定的最大比特数。另一方面，对在编码块或解码块中出现频度很高的部分调色板颜色，不管其是初始调色板颜色还是非初始调色板颜色，都按照所述出现频度对其进行编号（分配索引值），从而对出现频度很高的索引值进行编码或解码所需要使用的比特数就能减少。因此，本发明可显著提高图像编码效率。

本发明的首要技术特征，如图1所示，是依据像素及其索引在编码块或解码块中的排列顺序对调色板颜色及其索引进行编号。将编码块中的全部或部分像素或解码块中的全部或部分像素及其索引按照一种扫描方式排列后，首先出现的调色板颜色及其索引被编号为0（或K₀），放在调色板的首位（或K₀的位置），其次出现的调色板颜色及其索引被编号为1（或K₀＋1），放在调色板的次位（或K₀＋1的位置），依此类推，最后出现的调色板颜色及其索引被编号为K，放在调色板的末位。

本发明中，优选地，当前编码块或解码块的调色板可以有若干（设为K₀个）初始调色板颜色即从调色板颜色预测集之中继承下来的K₀个调色板颜色，其索引值（即调色板颜色的编号）分别是0至K₀－1，在这种情形，将编码块中的全部或部分像素或解码块中的全部或部分像素及其索引按照一种扫描方式排列后，首先出现的新的（K₀个初始调色板颜色之外的）调色板颜色及其索引被编号为K₀，放在调色板的K₀个初始调色板颜色之后的首位，其次出现的新的调色板颜色及其索引被编号为K₀＋1，放在调色板的K₀个初始调色板颜色之后的次位，依此类推，最后出现的新的调色板颜色及其索引被编号为K，放在调色板的末位。

本发明中，优选地，对调色板中的非初始调色板颜色及其索引采用的索引分配方式是依据其在当前编码块或解码块中按一种扫描方式排列后的前后顺序进行编号（索引值分配），在编码或解码过程中，新的非初始调色板颜色及其索引总是按照其编号（索引值）逐步加一递增的规律出现。因此，在编码或解码过程中，索引的最大可取值也是逐步加一递增，从而，对索引值进行编码或解码所需的比特数也逐步增多。

例如，在当前编码块或解码块的调色板中初始调色板颜色的数目为零（没有初始调色板颜色）的情形，如图2所示，在开始编码或解码的时候，调色板为空，没有调色板颜色被分配编号，第一个出现的索引总是取值为0（第一个出现的调色板颜色被分配编号0），不需要任何比特来表示其索引值；从第二个索引开始到第一个取值为1的索引出现为止，所有索引的可能取值为0或1，所以只需用1个比特对所有每个索引的索引值进行编码或解码，表示其取值是0还是1；从第一个取值为1的索引之后，到第一个取值为2的索引出现为止，所有索引的可能取值为0或1或2，所以只需用1个或2个比特（例如：0，10，11）对所有每个索引的索引值进行编码或解码，表示其取值是0还是1还是2；从第一个取值为2的索引之后，到第一个取值为3的索引出现为止，所有索引的可能取值为0或1或2或3，所以只需用2个比特（例如：00，01，10，11）对所有每个索引的索引值进行编码或解码，表示其取值是0还是1还是2还是3；依此类推，对索引值进行编码或解码的比特数逐步增多，最后达到由调色板颜色的总数决定的最大比特数。

本发明中，优选地，对包括部分或全部初始调色板颜色在内的部分或全部调色板颜色（即部分或全部初始调色板颜色以及部分或全部非初始调色板颜色）及其索引采用的索引分配方式是依据其在当前编码块或解码块中按一种扫描方式排列后的前后顺序进行编号（索引值分配）。这样的调色板颜色称为按出现顺序编号（分配索引值）的调色板颜色，而其他的调色板颜色则称为非按出现顺序编号（分配索引值）的调色板颜色。在编码或解码过程中，按出现顺序编号的调色板颜色及其索引总是遵循其编号（索引值）逐步加一递增的规律出现。

本发明中，优选地，对部分或全部初始调色板颜色依据一定规则进行重新编号和/或重新分配索引值。

本发明中，优选地，对部分或全部初始调色板颜色依据其在当前编码块或解码块中出现的频度来进行重新编号和/或重新分配索引值。

本发明中，优选地，对部分或全部初始调色板颜色依据其在当前编码块或解码块中第一次出现的顺序来进行重新编号和/或重新分配索引值。

本发明的编码方法和装置的最基本的特有技术特征是在对当前编码块的全部或部分像素及其索引按照一种扫描方式下的排列顺序进行编码时，对调色板颜色及其索引，按照其出现的顺序进行编号，分配索引值；在编码中，从索引的一个初始最大可取值（例如，初始最大可取值等于1或等于2或等于初始调色板颜色的数目或等于非按出现顺序编号的调色板颜色的数目）起步，索引的最大可取值逐步增加，每出现一个新的调色板颜色和/或对应的索引值，索引的最大可取值加一；对索引值进行编码并写入码流时，根据最大可取值确定的所需的比特数也从少到多逐步增多，最后达到由调色板颜色的总数决定的最大比特数，而不是从编码一开始就需要使用由调色板颜色的总数决定的最大比特数来对索引值进行编码并写入码流；使用逐步增多的比特数对索引值进行编码并将编码结果写入码流，视频码流中至少包括在解码方法和装置中确定索引值所需要的信息。图3是本发明的编码方法和装置的一个示意图。

本发明的解码方法和装置的最基本的特有技术特征是在对当前解码块的全部或部分像素及其索引按照一种扫描方式下的排列顺序进行解码时，对调色板颜色及其索引，按照其从视频码流中解析和获取的顺序进行编号，分配索引值；在解析和解码中，从索引的一个初始最大可取值（例如，初始最大可取值等于1或等于2或等于初始调色板颜色的数目或等于非按出现顺序编号的调色板颜色的数目）起步，索引的最大可取值逐步增加，每次从视频码流中解析和获取一个新的调色板颜色和/或对应的索引值，索引的最大可取值加一；从码流中解析和获取索引值时，根据最大可取值确定的所需的比特数也从少到多逐步增多，最后达到由调色板颜色的总数决定的最大比特数，而不是从解码一开始就需要使用由调色板颜色的总数决定的最大比特数来对索引值进行解码；图4是本发明的解码方法和装置的一个示意图。

根据本发明的一个方面，提供了一种图像编码方法或装置，至少包括：完成下列功能和操作的步骤或模块的至少之一：

1）对部分或全部调色板颜色，至少依据编码像素和/或索引在编码块中的排列顺序（第一次出现的顺序）确定调色板颜色的编号；

2）对部分或全部初始调色板颜色，至少依据编码像素和/或索引在编码块中的排列顺序（第一次出现的顺序）确定调色板颜色的编号，进行重新编号或/和重新分配索引值；

3）对部分或全部非初始调色板颜色，至少依据编码像素和/或索引在编码块中的排列顺序（第一次出现的顺序）确定调色板颜色的编号；

4）对部分或全部调色板颜色，至少依据编码像素和/或索引在编码块中的出现频度确定调色板颜色的编号；

5）对部分或全部初始调色板颜色，至少依据编码像素和/或索引在编码块中的出现频度确定调色板颜色的编号，进行重新编号或/和重新分配索引值；

6）对部分或全部非初始调色板颜色，至少依据编码像素和/或索引在编码块中的出现频度确定调色板颜色的编号；

7）至少依据编码像素和/或索引在编码块中的排列顺序（第一次出现的顺序），动态地随时调整和确定调色板颜色的索引的最大可取值；

8）至少依据所述最大可取值对索引值进行编码并产生视频码流；视频码流中至少包括在解码方法和装置中确定索引值所需要的信息；

9）视频码流中至少包括在解码方法和装置中对部分或全部初始调色板颜色进行重新编号或/和重新分配索引值所需要的信息。

根据本发明的另一个方面，还提供了一种图像解码方法或装置，至少包括：完成下列功能和操作的步骤或模块的至少之一：

1）对部分或全部调色板颜色，至少依据解码像素和/或索引在解码块中的排列顺序（第一次出现的顺序）确定调色板颜色的编号；

2）对部分或全部初始调色板颜色，至少依据解码像素和/或索引在解码块中的排列顺序（第一次出现的顺序）确定调色板颜色的编号，进行重新编号或/和重新分配索引值；

3）对部分或全部非初始调色板颜色，至少依据解码像素和/或索引在解码块中的排列顺序（第一次出现的顺序）确定调色板颜色的编号；

4）对部分或全部调色板颜色，至少依据解码像素和/或索引在解码块中的出现频度确定调色板颜色的编号；

5）对部分或全部初始调色板颜色，至少依据解码像素和/或索引在解码块中的出现频度确定调色板颜色的编号，进行重新编号或/和重新分配索引值；

6）对部分或全部非初始调色板颜色，至少依据解码像素和/或索引在解码块中的出现频度确定调色板颜色的编号；

7）至少依据解码像素和/或索引在解码块中的排列顺序（第一次出现的顺序），动态地随时调整和确定调色板颜色的索引的最大可取值；

8）至少依据所述最大可取值从视频码流中解析和获取索引值及其对应的像素；

9）从视频码流中解析和获取对部分或全部初始调色板颜色进行重新编号或/和重新分配索引值所需要的信息。

本发明适用于叠包格式图像的编码和解码。本发明也同样适用于分量平面格式图像的编码和解码。

以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。

以下是本发明的更多的实施细节或变体。

实施或变体例1

所述编码方法或装置或解码方法或装置中，在对所述编码块的部分或全部像素或解码块的部分或全部像素按照一种扫描方式的排列顺序进行编码或进行解码或将编码结果写入码流或从码流中解析和获取编码结果时，对尚未分配编号的调色板颜色依据其排列顺序分配递增的编号。

实施或变体例2

所述编码方法或装置或解码方法或装置中的所述至少依据编码或解码像素及索引在编码块或解码块中的排列顺序确定调色板颜色的编号或/和确定索引的最大可取值的操作至少包括下列之一或其组合：

1）K₀个初始调色板颜色（即所述编码块或解码块的调色板中从所述编码块或解码块之前的编码块或解码块的调色板中挑选和保留下来的调色板颜色）在所述编码块或解码块的调色板中分配的编号分别为0至K₀－1，即K₀个初始索引值（与初始调色板颜色对应的索引值）分别为0至K₀－1；

2）索引的所述最大可取值的初始值等于初始调色板颜色的数目即初始索引值的数目K₀；

3）在对所述编码块的部分或全部像素或解码块的部分或全部像素按照一种扫描方式的排列顺序进行编码或进行解码或将编码结果写入码流或从码流中解析和获取编码结果时，对首次出现的调色板颜色依据其首次出现的先后顺序分配递增的编号。

实施或变体例3

所述编码方法或装置或解码方法或装置中，索引的所述最大可取值随着调色板颜色的已分配编号中最大的编号的逐步递增而递增。

所述最大可取值通常等于所述最大的编号加一或加二。

实施或变体例4

所述编码方法或装置或解码方法或装置中的索引的所述最大可取值依据一定规则逐步加一递增。

所述一定规则的四个例：

1）对所述编码块的部分或全部像素或解码块的部分或全部像素按照一种扫描方式的排列顺序进行编码或进行解码或将编码结果写入码流或从码流中解析和获取编码结果时，当出现一个尚未出现过的非初始调色板颜色时，所述最大可取值加一。

2）对所述编码块的部分或全部像素或解码块的部分或全部像素按照一种扫描方式的排列顺序进行编码或进行解码或将编码结果写入码流或从码流中解析和获取编码结果时，当出现一个尚未出现过的非初始索引值时，所述最大可取值加一。

3）对所述编码块的部分或全部像素或解码块的部分或全部像素按照一种扫描方式的排列顺序进行编码或进行解码或将编码结果写入码流或从码流中解析和获取编码结果时，当出现一个等于所述最大可取值的索引值时，所述最大可取值加一。

4）对所述编码块的部分或全部像素或解码块的部分或全部像素按照一种扫描方式的排列顺序进行编码或进行解码或将编码结果写入码流或从码流中解析和获取编码结果时，当出现一个等于所述最大可取值减一的索引值时，所述最大可取值加一。这种情况通常在所述编码块或解码块的调色板索引中有一个逃逸颜色的索引并且分配给逃逸颜色的索引值等于所述最大可取值时发生。

实施或变体例5

所述编码方法或装置或解码方法或装置中，依据所述最大可取值，采用截断二进制码对索引值进行编码或解码。

截断二进制码的例1：1，2，3，4，5（或0，1，2，3，4）这5个值的截断二进制码是：

00

01

10

110

111

截断二进制码的例2：1至K（或0至K－1）这K个值的截断二进制码的计算方式是：

1）k ＝ floor(log₂K)，即k是满足2^k ≤ K的最大整数；显然，k和K还满足K < 2^k+1；

2）J ＝ 2^k+1 – K；显然，J和k满足0 < J ≤ 2^k+1 –2^k = 2^k，即0至J－1可以用k比特表示；

3）对1至J（或0至J－1）这J个值，使用k比特的二进制码（表示的二进制数是0至J－1的J个数）进行编码或解码；

4）对J＋1至K（或J至K－1）这K－J个值，使用k＋1比特的二进制码（表示的二进制数是2J至2^k+1－1的2^k+1－1－2J＋1＝K－J个数）进行编码或解码。

实施或变体例6

所述编码方法或装置或解码方法或装置中，所述编解码块的部分或全部调色板颜色和所述编解码块的部分或全部索引经编码后以下列形式之一或其组合存在于视频码流中：

1）部分或全部调色板颜色互相邻接集中存在于视频码流中；如：

… … 调色板颜色K₀, 调色板颜色K₀+1, … … , 调色板颜色K-2, 调色板颜色K-1, … …

2）部分或全部索引互相邻接集中存在于视频码流中；如：

… …索引, 索引值K₀的索引, …索引, 索引值K₀+1的索引, …索引, 索引值K-1的索引, … …

3）部分或全部索引、部分或全部调色板颜色、其他参数交织存在于视频码流中；如：

… …索引或其他参数, 索引值K₀的索引, 调色板颜色K₀, …索引或其他参数, 索引值K₀+1的索引, 调色板颜色K₀+1, …索引或其他参数, 索引值K-1的索引, 调色板颜色K-1, … …

其中，索引值K₀的索引、索引值K₀+1的索引、… … 、索引值K-1的索引分别表示在视频码流中首次出现的取值K₀的索引、首次出现的取值K₀+1的索引、… … 、首次出现的取值K-1的索引。

实施或变体例7

所述编码方法或装置或解码方法或装置中，对依据排列顺序已经确定了编号（分配了索引值）的调色板颜色，依据其出现的频度，在已经确定了编号的调色板颜色的范围内，重新调整编号，将频度高的调色板颜色调整为较小的编号，频度低的调色板颜色调整为较大的编号。

实施或变体例8

所述编码方法或装置或解码方法或装置中，对包括部分或全部初始调色板颜色在内的部分或全部调色板颜色，至少依据编码或解码像素及索引在编码块或解码块中的排列顺序确定调色板颜色的编号。

实施或变体例9

所述编码方法或装置或解码方法或装置中，对包括部分或全部初始调色板颜色在内的部分或全部调色板颜色，至少依据编码或解码像素及索引在编码块或解码块中的出现频度确定调色板颜色的编号。

附图说明

图1是本发明中依据像素在编码块或解码块中的排列顺序对调色板颜色进行编号的一个示意图

图2是本发明中对索引值进行编码所需比特数逐步增加的一个例

图3是本发明的编码方法或装置的一个示意图

图4是本发明的解码方法或装置的一个示意图。

Claims

1.一种图像编码方法或装置，其特征在于，至少包括完成下列功能和操作的步骤或模块的至少之一：

2.一种图像解码方法或装置，其特征在于，至少包括完成下列功能和操作的步骤或模块的至少之一：

3.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

所述编码块或所述解码块是图像的一个编码区域或一个解码区域，包括以下至少一种：最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU。

4.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

在对所述编码块的部分或全部像素或所述解码块的部分或全部像素按照一种扫描方式的排列顺序进行编码或进行解码或将编码结果写入码流或从码流中解析和获取编码结果时，对尚未分配编号的调色板颜色依据其排列顺序分配递增的编号。

5.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

所述至少依据编码或解码像素及索引在编码块或解码块中的排列顺序确定调色板颜色的编号或/和确定索引的最大可取值的操作至少包括下列之一或其组合：

1）K₀个初始调色板颜色在所述编码块或解码块的调色板中分配的编号分别为0至K₀－1，即K₀个初始索引值分别为0至K₀－1；

6.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

索引的所述最大可取值随着调色板颜色的已分配编号中最大的编号的逐步递增而递增。

7.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

索引的所述最大可取值依据一定规则逐步加一递增。

8.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

依据所述最大可取值，采用截断二进制码对索引值进行编码或解码。

9.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

所述编解码块的部分或全部调色板颜色和所述编解码块的部分或全部索引经编码后以下列形式之一或其组合存在于视频码流中：

1）部分或全部调色板颜色互相邻接集中存在于视频码流中；

2）部分或全部索引互相邻接集中存在于视频码流中；

3）部分或全部索引、部分或全部调色板颜色、其他参数交织存在于视频码流中。

10.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置，其特征在于：

对依据排列顺序已经确定了编号（分配了索引值）的调色板颜色，依据其出现的频度，在已经确定了编号的调色板颜色的范围内，重新调整编号，将频度高的调色板颜色调整为较小的编号，频度低的调色板颜色调整为较大的编号。