CN115037927A - 融合全色度与混合色度的图像编码和解码方法及其应用 - Google Patents

Abstract

本发明公开了一种融合全色度方式与混合色度方式的编码和解码的方法及装置。在对一个数据集进行编码或对一个压缩数据码流进行解码时，根据预定条件，对一部分内容的数据使用全色度方式而对另一部分内容的数据使用混合色度方式。也就是说，在编码或解码过程中，如果满足预定条件，则使用全色度方式；否则，使用混合色度方式。对一大类视频内容数据，融合全色度方式与混合色度方式能够有效提高编码效率。

Description

融合全色度与混合色度的图像编码和解码方法及其应用

技术领域

本发明涉及图像编解码技术领域，涉及一种融合全色度与混合色度的图像编码和解码方法及其应用，即一种对数据进行有损或无损压缩的编码及解码系统，特别是对含计算机产生内容与光电感应器摄取内容的混合视频内容进行压缩的编码和解码方法、装置、设备及其应用。

背景技术

随着人类社会进入人工智能、大数据、虚拟现实、增强现实、混合现实、云计算、移动计算、云-移动计算、超高清(4K)和特超高清(8K)视频图像分辨率、4G/5G通讯的时代，对各种数据，包括大数据、图像数据、图像序列数据即视频数据、以及各种新形态的数据，如含计算机产生内容与光电感应器摄取内容的混合视频(包括图像即单帧视频)内容的数据，进行超高压缩比和极高质量的数据压缩成为必不可少的技术。

数据集是由数据元素(例如：字节、比特、像素、像素分量、空间采样点、变换域系数)组成的集合。

在数据压缩中，编码器对输入数据集也称原始数据集进行编码，产生压缩数据码流；而解码器对压缩数据码流进行解码，产生输出数据集也称重构数据集或重建数据集。输入数据集与输出数据集完全相同即无失真的压缩称为无损压缩。输入数据集与输出数据集不完全相同即有失真的压缩称为有损压缩。

对数据集进行编码或解码(简称为编解码)时，通常将数据元素按照预定规则排序即规定前后顺序，依前后顺序进行编解码。

对排列成一定空间(一维、二维、或多维)形状的数据集(例如：一个一维数据队列、一个二维数据文件、一帧图像、一个视频序列、一个变换域、一个变换块、多个变换块、一个三维场景、一个持续变化的三维场景的序列)，特别是二维或以上数据集进行数据压缩的编码(以及相应的解码)时，一般将此数据集划分成若干具有预定形状和/或大小(即元素数目)的压缩子集，以压缩子集为单位，以预定的顺序，一个压缩子集接着一个压缩子集地依次进行编码或者解码。

在对一个压缩子集进行编码或者解码时，通常将此压缩子集划分成若干具有预定形状和/或大小(即元素数目)的最大压缩单元，以最大压缩单元为单位，以预定的顺序，一个最大压缩单元接着一个最大压缩单元地依次进行编码或者解码。从左向右排列成一行的最大压缩单元组成最大压缩单元行。

在一个最大压缩单元内，还把此最大压缩单元进一步划分成若干具有预定形状和/或大小(即元素数目)的子单元，称为整压缩单元，以整压缩单元为单位，以预定的顺序，一个一个整压缩单元地进行编码或者解码。

简而言之，以上过程最终将数据集划分成若干具有预定形状和/或大小(即元素数目)的子集，称为整压缩单元，以整压缩单元为单位，以预定的顺序，一个一个整压缩单元地进行编码或者解码。

在任一时刻，正在编码或者解码中的压缩子集称为当前压缩子集。正在编码或者解码中的最大压缩单元称为当前最大压缩单元。正在编码或者解码中的最大压缩单元行称为当前最大压缩单元行。正在编码或者解码中的整压缩单元称为当前整压缩单元。正在编码或者解码中的数据元素(有时也简称为元素)称为当前编码数据元素或者当前解码数据元素，统称为当前数据元素，简称为当前元素。元素由N个分量(通常1≤N≤5)组成，因此数据集、压缩子集、最大压缩单元和整压缩单元也都由N个分量组成。元素的分量也称为分量元素。

例如，压缩子集是一帧图像，其元素即像素排列成矩形形状，具有3840(宽度)x2160(高度)的大小(分辨率)，由3个分量组成：G(绿色)分量，B(蓝色)分量，R(红色)分量或Y(亮度)分量，U(Cb色度)分量，V(Cr色度)分量。一帧图像被划分为128x128大小的最大压缩单元。每个最大压缩单元又进一步被划分成从4x4到64x64的大小各异的正方形或矩形的整压缩单元。

在数据集划分成压缩子集、最大压缩单元和整压缩单元的情形，对元素进行排序的一种预定规则是首先对压缩子集排序、继而对每个压缩子集内的最大压缩单元排序，然后对每个最大压缩单元内的整压缩单元排序，再对每个整压缩单元内的元素排序。

也就是说，在数据集最终划分成整压缩单元的情形，排序的一种预定规则是首先对整压缩单元排序，再对每个整压缩单元内的元素排序。

作为编码对象的多分量数据集和整压缩单元的各分量的采样率之间的关系通常用采样格式来表示。N个分量都具有同样的采样率和大小(即分量样值的数目)的数据被称为全采样格式数据。N个分量具有不同的采样率和大小，其中N1个分量，称之为主分量，的采样率和大小是其余N－N1个分量，称之为次分量，的采样率和大小的整数倍的数据被称为下采样格式数据。所述整数倍通常是2倍、4倍、8倍、2x2倍、4x2倍等。全采样格式数据中，所有分量都被认为是主分量，没有次分量。下采样格式数据中，至少有一个分量是主分量并且至少有一个分量是次分量。例如，对于包括计算机产生的含图形和文字的图像的一类二维数据元素的阵列，通常采用一种称为4:4:4(简称444)的采样格式，就是数据集的3个分量都具有同样的采样率和大小(即分量样值的数目)。对于包括摄像机摄取的自然图像和视频的另一类二维数据元素的阵列，通常采用一种称为4:2:0(简称420)的采样格式，就是具有矩形形状和3个分量的数据集(如图像或视频)的2个称为次分量的分量(D分量和E分量)的采样率和尺寸分别是另一个称为主分量的分量(F分量)的四分之一，也就是主分量与次分量之间具有4:1的下采样关系。在这种情形，一个D分量D[i][j]和一个E分量E[i][j]对应于四个(2×2个)F分量F[2i][2j]，F[2i+1][2j]，F[2i][2j+1]，F[2i+1][2j+1]。如果F分量的分辨率是2M×2N(水平2M个分量元素，垂直2N个分量元素)，即数据集的F分量是F＝{F[m][n]：m＝0～2M-1，n＝0～2N-1}，那么D分量和E分量的分辨率分别都是M×N(水平M个分量元素，垂直N个分量元素)，即数据集的D分量和E分量分别是D＝{D[m][n]：m＝0～M-1，n＝0～N-1}和E＝{E[m][n]：m＝0～M-1，n＝0～N-1}。在对次分量也需要较高质量的场合，则常常使用一种称为4:2:2(简称422)的采样格式，就是具有矩形形状和3个分量的数据集(如图像或视频)的2个次分量(D分量和E分量)的采样率和尺寸分别是另一个主分量(F分量)的二分之一，也就是主分量与次分量之间具有2:1的下采样关系。在这种情形，在数据集(如图像或视频)的一个方向(如水平方向)，一个D分量D[i][j]和一个E分量E[i][j]对应于两个(2×1个)F分量F[2i][j]和F[2i+1][j]。如果F分量的分辨率是2M×N，，即数据集的F分量是F＝{F[m][n]：m＝0～2M-1，n＝0～N-1}，那么D分量和E分量的分辨率分别都是M×N，即数据集的D分量和E分量分别是D＝{D[m][n]：m＝0～M-1，n＝0～N-1}和E＝{E[m][n]：m＝0～M-1，n＝0～N-1}。在采用YUV或YCbCr或YCgCo色彩格式的图像和视频中，以上所述F、D、E分量通常分别是Y、U、V分量或Y、Cb、Cr分量或Y、Cg、Co分量。在采用RGB色彩格式的图像和视频中，以上所述F、D、E分量通常分别是G、B、R分量或G、R、B分量。在数据是图像或视频的场合，采样格式也常称为色度格式。各分量都具有相同采样率的色度格式称为全色度格式。一部分分量与另一部分分量之间具有下采样关系的色度格式称为下采样色度格式。

在下采样格式中，一个次分量所在的位置(通常称为次分量位置)及其元素对应于多个主分量所在的位置(通常称为主分量位置，即使简称为位置也不会产生混淆)及其元素。这种一对多的对应关系具有不确定性。为了消除这种不确定性，通常在与一个次分量位置及其元素对应的多个位置(如420格式中的2x2个位置或422格式中的2x1个位置)及其元素中预先指定一个主分量正位置及其正元素(如指定2x2个位置及其元素中位于左上角的位置及其元素或2x1个位置及其元素中位于左边的位置及其元素为主分量正位置及其正元素)作为与所述次分量位置及其元素一一对应的唯一正规的主分量位置及其元素。主分量正位置与次分量位置之间具有一一对应关系，因此，主分量正位置与次分量位置合称为正位置，表示该位置既是主分量正位置也是次分量位置，正位置与次分量位置之间也同样具有一一对应关系，与一个次分量位置对应的多个位置中的除了正位置之外的其他位置都称为非正位置。主分量正元素与次分量元素之间也具有一一对应关系，因此，主分量正元素与次分量元素合称为正元素，表示该元素既是主分量正元素也是次分量元素，正元素与次分量元素之间也同样具有一一对应关系，与一个次分量元素对应的多个元素中的除了正元素之外的其他元素都称为非正元素。另一方面，在全采样格式中，所有位置都被认为是主分量正位置和正位置，所有元素都被认为是主分量正元素和正元素。

在数据是420采样格式的二维数据元素的阵列或阵列的序列的情形，有一个主分量F和两个次分量D和E；

次分量D和E的采样率和尺寸分别是主分量F的四分之一，也就是主分量与次分量之间具有4:1即2x2:1的下采样关系；

一个D分量元素D[i][j]和一个E分量元素E[i][j]对应于2×2个即上下左右排列的4个F分量元素F[2i][2j]，F[2i+1][2j]，F[2i][2j+1]，F[2i+1][2j+1]；

F分量元素的分辨率是2M×2N，即F分量元素组成阵列F＝{F[m][n]：m＝0～2M-1，n＝0～2N-1}，

D分量元素的分辨率是M×N，即D分量元素组成阵列D＝{D[m][n]：m＝0～M-1，n＝0～N-1}，

E分量元素的分辨率也是M×N，即E分量元素组成阵列E＝{E[m][n]：m＝0～M-1，n＝0～N-1}。

预先指定的正位置上的主分量正元素是F[2i][2j]，称为左上角类型的主分量正位置及其正元素；

或者，

预先指定的正位置上的主分量正元素是F[2i+1][2j]，称为右上角类型的主分量正位置及其正元素；

或者，

预先指定的正位置上的主分量正元素是F[2i][2j+1]，称为左下角类型的主分量正位置及其正元素；

或者，

预先指定的正位置上的主分量正元素是F[2i+1][2j+1]，称为右下角类型的主分量正位置及其正元素。

在数据集划分成整压缩单元的情形，排序的一种预定规则是首先对整压缩单元排序，再对每个整压缩单元内的元素排序。

由于数据，特别是混合视频内容数据的多样性，需要采用多种编码模式对其进行压缩。常用的编码模式包括帧内预测、帧间预测、帧内块预测、串预测、通用串预测、线条预测。

现有技术中，存在下列两种不同的色度方式。

全色度方式：所有编码模式都采用全采样格式，如444采样格式。

混合色度方式：编码模式分为预定的两类，第一类编码模式采用全采样格式，如444采样格式，而第二类编码模式采用下采样格式，如420采样格式。

现有技术中，全色度方式和混合色度方式都是独立单一分别使用的。一个数据集仅使用单一的全色度方式或者仅使用单一的混合色度方式。也就是说，一个压缩数据码流仅使用单一的全色度方式或者仅使用单一的混合色度方式。

但是，一个数据集内可能存在多种多样的内容，有的内容适合于使用全色度方式，而有的内容适合于使用混合色度方式。现有使用单一色度方式(单一全色度方式或者单一混合色度方式)的技术显著降低了对一大类视频内容数据的编码效率。

因此，开发一种能够融合全色度与混合色度的图像信号处理方法极具现实意义。

发明内容

由于现有技术存在上述缺陷，本发明提供了一种融合全色度方式与混合色度方式的图像编码和解码方法、装置、设备及其应用，克服了现有技术仅能使用单一色度方式，编码效率低的缺陷。

为了实现上述目的，本发明提供以下技术方案：

本发明的方法具体是在对一个数据集进行编码或对一个压缩数据码流进行解码时，根据预定条件，对一部分内容的数据使用全色度方式而对另一部分内容的数据使用混合色度方式。也就是说，在编码或解码过程中，如果满足预定条件，则使用全色度方式；否则，使用混合色度方式。这种处理方式对于一大类视频内容数据而言，融合全色度方式与混合色度方式能够有效提高编码效率。

优选地(优选1)，

包括下列特征之一，

特征1：

将一个数据集及其相应的压缩数据码流划分为多个由整数个整压缩单元组成的数据子集及其相应的码流子集；以数据子集及其相应的码流子集为单位判断是否满足预定条件；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式；

特征2：

将一个数据集及其相应的压缩数据码流划分为多个由整数个整压缩单元组成的数据子集及其相应的码流子集；以数据子集及其相应的码流子集为单位判断是否满足预定条件；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式；在混合色度方式中，所述第一类编码模式至少包括通用串预测编码模式，所述第二类编码模式至少包括传统帧内预测编码模式也称普通帧内预测编码模式；

特征3：

将一个数据集及其相应的压缩数据码流划分为多个由整数个整压缩单元组成的数据子集及其相应的码流子集；以数据子集及其相应的码流子集为单位判断是否满足预定条件；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式；在混合色度方式中，所述第一类编码模式至少包括通用串预测编码模式，所述第二类编码模式至少包括传统帧内预测编码模式也称普通帧内预测编码模式；所述编码模式是整压缩单元的编码模式。

优选地(优选2)，

在编码方法或装置中，

分别使用全色度方式和混合色度方式这两种色度方式对一个数据子集进行预编码；

和/或

判断一个数据子集的内容是纯自然视频(包括自然图像)内容还是混合视频(包括混合图像)内容还是有其他预定特征的内容；

根据预编码和/或判断的结果，选择最优色度方式；

预定条件是所述最优色度方式为全色度方式：如果最优色度方式是全色度方式，则使用全色度方式对该数据子集进行编码，否则，使用混合色度方式对该数据子集进行编码；

将表示最优色度方式的信息写入压缩数据码流；

在解码方法或装置中，

解析压缩数据码流，获得各码流子集的表示最优色度方式的信息，预定条件是所述最优色度方式为全色度方式：如果最优色度方式是全色度方式，则使用全色度方式对该码流子集进行解码，否则，使用混合色度方式对该码流子集进行解码。

优选地(优选3)，

所述编码方法或者编码装置或者解码方法或者解码装置或者以上优选项中，原始数据(即对应编码方法中的数据集)是包括图像、图像的序列、视频的二维数据元素的阵列或阵列的序列；

压缩子集及其相应的码流段包括下列编码单位之一或其组合：图像、图像的子图像、片块tile、条带slice、片patch；

最大压缩单元及其相应的码流段包括下列编码单位之一或其组合：片块tile、最大编码单元LCU、编码树单元CTU；

整压缩单元及其相应的码流段包括下列编码单位之一或其组合：宏块、编码单元CU、CU的子区域、子编码单元SubCU、预测块、预测单元PU、PU的子区域、子预测单元SubPU、变换块、变换单元TU、TU的子区域、子变换单元SubTU；

数据子集及其相应的码流子集包括下列编码单位之一或其组合：序列、序列的子序列、图像、图像的子图像、片块tile、条带slice、片patch、整数个最大编码单元LCU、最大编码单元LCU、整数个编码树单元CTU、编码树单元CTU、整数个编码单元CU、编码单元CU。

优选地(优选4)，

表示最优色度方式的信息以直接存在或隐含推导或两者混合的形式包含在码流子集的头单位中；

所述直接存在的形式由压缩数据码流中的一个或多个语法元素所组成；

所述隐含推导的形式是约定的语法元素缺省值或者从其他编码参数和/或编解码变量和/或压缩数据码流的其他语法元素导出的参数或变量；

所述两者混合的形式是所述直接存在与所述隐含推导这两种形式的混合；

所述码流子集的头单位包括下列头单位之一或其组合：

1)序列参数集；

2)图像参数集；

3)序列头；

4)图像头；

5)片块tile头；

6)条带slice头；

7)片patch头；

8)最大编码单元LCU头；

9)编码树单元CTU头；

10)编码单元CU头；

11)编解码块头；

12)整压缩单元头。

优选地(优选5)，

包括下列特征之一，

特征1：

数据子集及其相应的码流子集是序列；表示最优色度方式的信息是直接存在于序列参数集和/或序列头中的下列语法元素universal_string_prediction_enable_flag：

序列头定义或序列参数集定义	描述符
		sequence_header(){或seq_parameter_set(){
…………
		universal_string_prediction_enable_flag	u(1)
…………
		}

universal_string_prediction_enable_flag的值为0表示使用全色度方式对当前序列进行编解码(相对于最优色度方式为全色度方式)，否则，使用混合色度方式对当前序列进行编解码；

特征2：

数据子集及其相应的码流子集是序列；表示最优色度方式的信息是直接存在于序列参数集和/或序列头中的下列语法元素universal_string_prediction_enable_flag：

序列头定义或序列参数集定义	描述符
		sequence_header(){或seq_parameter_set(){
…………
		universal_string_prediction_enable_flag	u(1)
…………
		}

universal_string_prediction_enable_flag的值为0表示使用全色度方式对当前序列进行编解码(相对于最优色度方式为全色度方式)，否则，使用混合色度方式对当前序列进行编解码；

使用全色度方式对当前序列进行编解码时，对当前序列内所有编码单元CU，不管其编码模式是哪种编码模式，都采用全采样格式对其进行编解码；使用混合色度方式对当前序列进行编解码时，对当前序列内的传统帧内预测编码模式也称普通帧内预测编码模式的编码单元CU，采用下采样格式对其进行编解码，对当前序列内的非传统帧内预测编码模式的编码单元CU，采用全采样格式对其进行编解码。

优选地(优选6)，

在以上优选5的基础上，还具有下列特征：

在解码器中，变量CuTypeUspFlag和IntraCuFlag用于表示编码单元CU的编码模式；在universal_string_prediction_enable_flag的值为1的情况下，当CuTypeUspFlag的值为0并且IntraCuFlag的值为1时，以4:2:0格式的方式将编码单元划分为帧内预测块和变换块，进行变换块解码、帧内预测、预测补偿，产生4:2:0格式的补偿后样本，然后按以下规定进行色度上采样得到4:4:4格式的补偿后样本；否则，以4:4:4格式的方式将编码单元划分为帧间预测单元、帧内预测块和变换块，进行变换块解码、帧间预测、通用串预测、预测补偿，产生4:4:4格式的补偿后样本，然后按以下规定进行色度下采样得到4:2:0格式的补偿后样本，用于后续的帧内预测块的参考样本；

关于4:2:0格式与4:4:4格式之间的色度下采样与上采样的规定是：

从4:4:4格式的补偿后样本的色度样值矩阵C444[i][j](i＝0～2M-1，j＝0～2N-1)，按以下方法获得4:2:0格式的补偿后样本的色度样值矩阵C420[i][j]：

C420[i][j]＝(C444[2i][2j]+C444[2i+1][2j]+C444[2i][2j+1]+C444[2i+1][2j+1]+2)>>2

其中，i＝0～M-1，j＝0～N-1；

从4:2:0格式的补偿后样本的色度样值矩阵C420[i][j](i＝0～M-1，j＝0～N-1)，按以下方法获得4:4:4格式的补偿后样本的色度样值矩阵C444[i][j](i＝0～2M-1，j＝0～2N-1)：

C444[2i][2j]＝C420[i][j]

C444[2i+1][2j]＝C420[i][j]

C444[2i][2j+1]＝C420[i][j]

C444[2i+1][2j+1]＝C420[i][j]

其中，i＝0～M-1，j＝0～N-1。

根据本发明的第一个方面，本发明提供了一种融合全色度方式与混合色度方式的图像编码方法，至少包括下列步骤：

1)至少输入一个数据集；

2)至少根据预定条件，对一部分内容的数据使用全色度方式进行编码而对另一部分内容的数据使用混合色度方式进行编码；如果满足预定条件，则使用全色度方式作为最优色度方式进行编码；否则，使用混合色度方式作为最优色度方式进行编码；在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

3)至少输出一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集。

根据本发明的第二个方面，本发明提供了一种融合全色度方式与混合色度方式的图像编码装置，至少包括下列模块：

1)输入模块：至少输入一个数据集；

2)编码模块：至少根据预定条件，对一部分内容的数据使用全色度方式进行编码而对另一部分内容的数据使用混合色度方式进行编码；如果满足预定条件，则使用全色度方式作为最优色度方式进行编码；否则，使用混合色度方式作为最优色度方式进行编码；在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

3)输出模块：至少输出一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集。

根据本发明的第三个方面，本发明提供了一种融合全色度方式与混合色度方式的图像解码方法，至少包括下列步骤：

1)至少输入一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集；

2)解析压缩数据码流，至少获得表示最优色度方式的信息；

3)至少根据包括最优色度方式的预定条件，对一部分内容的数据使用全色度方式进行解码而对另一部分内容的数据使用混合色度方式进行解码；如果满足预定条件，则使用全色度方式作为最优色度方式进行解码；否则，使用混合色度方式作为最优色度方式进行解码，在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

4)至少输出重建元素。

根据本发明的第四个方面，本发明提供了一种融合全色度方式与混合色度方式的图像解码装置，至少包括下列模块：

1)输入模块：至少输入一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集；

2)解析模块：解析压缩数据码流，至少获得表示最优色度方式的信息；

3)解码模块：至少根据包括最优色度方式的预定条件，对一部分内容的数据使用全色度方式进行解码而对另一部分内容的数据使用混合色度方式进行解码；如果满足预定条件，则使用全色度方式作为最优色度方式进行解码；否则，使用混合色度方式作为最优色度方式进行解码，在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

4)输出模块：至少输出重建元素。

本发明适用于对数据进行有损压缩的编码和解码，本发明也同样适用于对数据进行无损压缩的编码和解码。本发明适用于一维数据如字符串数据或字节串数据或一维图形或分维图形的编码和解码，本发明也同样适用于二维或以上维度的数据如图像、图像序列或视频数据的编码和解码。

本发明中，数据压缩所涉及的数据包括下列类型的数据之一或其组合：

一维数据；

二维数据；

多维数据；

图形；

分维图形；

图像；

图像的序列；

视频；

音频；

文件；

字节；

比特；

像素；

三维场景；

持续变化的三维场景的序列；

虚拟现实的场景；

持续变化的虚拟现实的场景的序列

像素形式的图像；

图像的变换域数据；

二维或二维以上字节的集合；

二维或二维以上比特的集合；

像素的集合；

单分量像素的集合；

三分量像素(R，G，B，A)的集合；

三分量像素(Y，U，V)的集合；

三分量像素(Y，Cb，Cr)的集合；

三分量像素(Y，Cg，Co)的集合；

四分量像素(C，M，Y，K)的集合；

四分量像素(R，G，B，A)的集合；

四分量像素(Y，U，V，A)的集合；

四分量像素(Y，Cb，Cr，A)的集合；

四分量像素(Y，Cg，Co，A)的集合。

以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征将会变得更加明显。

图1为本发明的融合全色度方式与混合色度方式的图像编码方法的步序示意图或图像编码装置处理的步序示意图；

图2为本发明的融合全色度方式与混合色度方式的图像解码方法的步序示意图或图像解码装置处理的步序示意图。

具体实施方式

下面结合附图和具体的实施例对本发明中的结构作进一步的说明，但是不作为本发明的限定。

以下方法及装置中涉及的单元等具体如下：

原始数据是包括图像、图像的序列、视频的二维数据元素的阵列或阵列的序列；

压缩子集及其相应的码流段包括下列编码单位之一或其组合：图像、图像的子图像、片块tile、条带slice、片patch；

最大压缩单元及其相应的码流段包括下列编码单位之一或其组合：片块tile、最大编码单元LCU、编码树单元CTU；

整压缩单元及其相应的码流段包括下列编码单位之一或其组合：宏块、编码单元CU、CU的子区域、子编码单元SubCU、预测块、预测单元PU、PU的子区域、子预测单元SubPU、变换块、变换单元TU、TU的子区域、子变换单元SubTU；

数据子集及其相应的码流子集包括下列编码单位之一或其组合：序列、序列的子序列、图像、图像的子图像、片块tile、条带slice、片patch、整数个最大编码单元LCU、最大编码单元LCU、整数个编码树单元CTU、编码树单元CTU、整数个编码单元CU、编码单元CU。

一种融合全色度方式与混合色度方式的图像编码方法，如图1所示，包括下列步骤：

(1)至少输入一个数据集；

(2)至少根据预定条件，对一部分内容的数据使用全色度方式进行编码而对另一部分内容的数据使用混合色度方式进行编码；如果满足预定条件，则使用全色度方式作为最优色度方式进行编码；否则，使用混合色度方式作为最优色度方式进行编码；在全色度方式中，所有编码模式都采用全采样格式；在混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(3)至少输出一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集。

优选地，将一个数据集划分为多个由整数个整压缩单元组成的数据子集；以数据子集为单位判断是否满足预定条件(最优色度方式为全色度方式)；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式。

优选地，在混合色度方式中，第一类编码模式至少包括通用串预测编码模式，第二类编码模式至少包括传统帧内预测编码模式也称普通帧内预测编码模式。

优选地，编码模式是整压缩单元的编码模式。

优选地，分别使用全色度方式和混合色度方式这两种色度方式对一个数据子集进行预编码；

和/或

判断一个数据子集的内容是纯自然视频(包括自然图像)内容还是混合视频(包括混合图像)内容还是有其他预定特征的内容；

根据预编码和/或判断的结果，选择最优色度方式；

预定条件是最优色度方式为全色度方式：如果最优色度方式是全色度方式，则使用全色度方式对该数据子集进行编码，否则，使用混合色度方式对该数据子集进行编码；

至少将表示最优色度方式的信息写入压缩数据码流。

优选地，数据子集是序列；表示最优色度方式的信息是直接存在于序列参数集和/或序列头中的下列语法元素universal_string_prediction_enable_flag：

序列头定义或序列参数集定义	描述符
		sequence_header(){或seq_parameter_set(){
…………
		universal_string_prediction_enable_flag	u(1)
…………
		}

universal_string_prediction_enable_flag的值为0表示使用全色度方式对当前序列进行编码，否则，使用混合色度方式对当前序列进行编码。

优选地，使用全色度方式对当前序列进行编解码时，对当前序列内所有编码单元CU，不管其编码模式是哪种编码模式，都采用全采样格式对其进行编码；使用混合色度方式对当前序列进行编码时，对当前序列内的传统帧内预测编码模式也称普通帧内预测编码模式的编码单元CU，采用下采样格式对其进行编码，对当前序列内的非传统帧内预测编码模式的编码单元CU，采用全采样格式对其进行编码。

一种融合全色度方式与混合色度方式的图像编码装置，包括以下模块：

(1)输入模块：至少输入一个数据集；

(2)编码模块：至少根据预定条件，对一部分内容的数据使用全色度方式进行编码而对另一部分内容的数据使用混合色度方式进行编码；如果满足预定条件，则使用全色度方式作为最优色度方式进行编码；否则，使用混合色度方式作为最优色度方式进行编码；在全色度方式中，所有编码模式都采用全采样格式；在混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(3)输出模块：至少输出一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集。图像编码装置中的具体设定与上述融合全色度方式与混合色度方式的图像编码方法相同。

一种融合全色度方式与混合色度方式的图像解码方法，如图2所示，包括下列步骤：

(1)至少输入一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集；

(2)解析压缩数据码流，至少获得表示最优色度方式的信息；

(3)至少根据包括最优色度方式的预定条件，对一部分内容的数据使用全色度方式进行解码而对另一部分内容的数据使用混合色度方式进行解码；如果满足预定条件，则使用全色度方式作为最优色度方式进行解码；否则，使用混合色度方式作为最优色度方式进行解码，在全色度方式中，所有编码模式都采用全采样格式；在混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(4)至少输出重建元素。

优选地，将压缩数据码流集划分为多个由整数个整压缩单元组成的码流子集；以码流子集为单位判断是否满足预定条件(最优色度方式为全色度方式)；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式。

优选地，在混合色度方式中，第一类编码模式至少包括通用串预测编码模式，第二类编码模式至少包括传统帧内预测编码模式也称普通帧内预测编码模式。

优选地，编码模式是整压缩单元的编码模式。

优选地，解析压缩数据码流，至少获得各码流子集的表示最优色度方式的信息，预定条件是最优色度方式为全色度方式：如果最优色度方式是全色度方式，则使用全色度方式对该的码流子集进行解码，否则，使用混合色度方式对该的码流子集进行解码。

优选地，表示最优色度方式的信息以直接存在或隐含推导或两者混合的形式包含在码流子集的头单位中；

直接存在的形式由压缩数据码流中的一个或多个语法元素所组成；

隐含推导的形式是约定的语法元素缺省值或者从其他编码参数和/或编解码变量和/或压缩数据码流的其他语法元素导出的参数或变量；

两者混合的形式是所述直接存在与所述隐含推导这两种形式的混合；所述码流子集的头单位包括下列头单位之一或其组合：

1)序列参数集；

2)图像参数集；

3)序列头；

4)图像头；

5)片块tile头；

6)条带slice头；

7)片patch头；

8)最大编码单元LCU头；

9)编码树单元CTU头；

10)编码单元CU头；

11)编解码块头；

12)整压缩单元头。

优选地，码流子集是序列；表示最优色度方式的信息是直接存在于序列参数集和/或序列头中的下列语法元素universal_string_prediction_enable_flag：

序列头定义或序列参数集定义	描述符
		sequence_header(){或seq_parameter_set(){
…………
		universal_string_prediction_enable_flag	u(1)
…………
		}

universal_string_prediction_enable_flag的值为0表示使用全色度方式对当前序列进行解码，否则，使用混合色度方式对当前序列进行解码。

优选地，使用全色度方式对当前序列进行解码时，对当前序列内所有编码单元CU，不管其编码模式是哪种编码模式，都采用全采样格式对其进行解码；使用混合色度方式对当前序列进行解码时，对当前序列内的传统帧内预测编码模式也称普通帧内预测编码模式的编码单元CU，采用下采样格式对其进行解码，对当前序列内的非传统帧内预测编码模式的编码单元CU，采用全采样格式对其进行解码。

优选地，变量CuTypeUspFlag和IntraCuFlag用于表示编码单元的编码模式；在universal_string_prediction_enable_flag的值为1的情况下，当CuTypeUspFlag的值为0并且IntraCuFlag的值为1时，以4:2:0格式的方式将编码单元划分为帧内预测块和变换块，进行变换块解码、帧内预测、预测补偿，产生4:2:0格式的补偿后样本，然后按以下规定进行色度上采样得到4:4:4格式的补偿后样本；否则，以4:4:4格式的方式将编码单元划分为帧间预测单元、帧内预测块和变换块，进行变换块解码、帧间预测、通用串预测、预测补偿，产生4:4:4格式的补偿后样本，然后按以下规定进行色度下采样得到4:2:0格式的补偿后样本，用于后续的帧内预测块的参考样本；

关于4:2:0格式与4:4:4格式之间的色度下采样与上采样的规定是：

从4:4:4格式的补偿后样本的色度样值矩阵C444[i][j](i＝0～2M-1，j＝0～2N-1)，按以下方法获得4:2:0格式的补偿后样本的色度样值矩阵C420[i][j]：

C420[i][j]＝(C444[2i][2j]+C444[2i+1][2j]+C444[2i][2j+1]+C444[2i+1][2j+1]+2)>>2

其中，i＝0～M-1，j＝0～N-1；

从4:2:0格式的补偿后样本的色度样值矩阵C420[i][j](i＝0～M-1，j＝0～N-1)，按以下方法获得4:4:4格式的补偿后样本的色度样值矩阵C444[i][j](i＝0～2M-1，j＝0～2N-1)：

C444[2i][2j]＝C420[i][j]

C444[2i+1][2j]＝C420[i][j]

C444[2i][2j+1]＝C420[i][j]

C444[2i+1][2j+1]＝C420[i][j]

其中，i＝0～M-1，j＝0～N-1。

一种融合全色度方式与混合色度方式的图像解码装置，包括下列模块：

(1)输入模块：至少输入一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集；

(2)解析模块：解析压缩数据码流，至少获得表示最优色度方式的信息；

(3)解码模块：至少根据包括最优色度方式的预定条件，对一部分内容的数据使用全色度方式进行解码而对另一部分内容的数据使用混合色度方式进行解码；如果满足预定条件，则使用全色度方式作为最优色度方式进行解码；否则，使用混合色度方式作为最优色度方式进行解码，在全色度方式中，所有编码模式都采用全采样格式；在混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(4)输出模块：至少输出重建元素。图像解码装置中的具体设定与上述融合全色度方式与混合色度方式的图像解码方法相同。

本领域技术人员应该理解，本领域技术人员在结合现有技术以及上述实施例可以实现变化例，在此不做赘述。这样的变化例并不影响本发明的实质内容，在此不予赘述。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种融合全色度方式与混合色度方式的图像编码方法，其特征在于，至少包括下列步骤：

(1)至少输入一个数据集；

(2)至少根据预定条件，对一部分内容的数据使用全色度方式进行编码而对另一部分内容的数据使用混合色度方式进行编码；如果满足预定条件，则使用全色度方式作为最优色度方式进行编码；否则，使用混合色度方式作为最优色度方式进行编码；在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(3)至少输出一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集。

2.一种融合全色度方式与混合色度方式的图像编码装置，其特征在于，至少包括下列模块：

(1)输入模块：至少输入一个数据集；

(2)编码模块：至少根据预定条件，对一部分内容的数据使用全色度方式进行编码而对另一部分内容的数据使用混合色度方式进行编码；如果满足预定条件，则使用全色度方式作为最优色度方式进行编码；否则，使用混合色度方式作为最优色度方式进行编码；在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(3)输出模块：至少输出一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集。

3.一种融合全色度方式与混合色度方式的图像解码方法，其特征在于，至少包括下列步骤：

(1)至少输入一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集；

(2)解析压缩数据码流，至少获得表示最优色度方式的信息；

(3)至少根据包括最优色度方式的预定条件，对一部分内容的数据使用全色度方式进行解码而对另一部分内容的数据使用混合色度方式进行解码；如果满足预定条件，则使用全色度方式作为最优色度方式进行解码；否则，使用混合色度方式作为最优色度方式进行解码，在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(4)至少输出重建元素。

4.一种融合全色度方式与混合色度方式的图像解码装置，其特征在于，至少包括下列模块：

(1)输入模块：至少输入一个融合全色度方式与混合色度方式的至少含表示最优色度方式的信息的压缩数据码流集；

(2)解析模块：解析压缩数据码流，至少获得表示最优色度方式的信息；

(3)解码模块：至少根据包括最优色度方式的预定条件，对一部分内容的数据使用全色度方式进行解码而对另一部分内容的数据使用混合色度方式进行解码；如果满足预定条件，则使用全色度方式作为最优色度方式进行解码；否则，使用混合色度方式作为最优色度方式进行解码，在所述全色度方式中，所有编码模式都采用全采样格式；在所述混合色度方式中，编码模式分为预定的两类，第一类编码模式采用全采样格式，而第二类编码模式采用下采样格式；

(4)输出模块：至少输出重建元素。

5.根据权利要求3所述的图像解码方法或权利要求4所述的图像解码装置，其特征在于，包括下列特征之一，

特征1：

将一个数据集及其相应的压缩数据码流划分为多个由整数个整压缩单元组成的数据子集及其相应的码流子集；以数据子集及其相应的码流子集为单位判断是否满足预定条件；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式；

特征2：

将一个数据集及其相应的压缩数据码流划分为多个由整数个整压缩单元组成的数据子集及其相应的码流子集；以数据子集及其相应的码流子集为单位判断是否满足预定条件；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式；在混合色度方式中，所述第一类编码模式至少包括通用串预测编码模式，所述第二类编码模式至少包括传统帧内预测编码模式也称普通帧内预测编码模式；

特征3：

将一个数据集及其相应的压缩数据码流划分为多个由整数个整压缩单元组成的数据子集及其相应的码流子集；以数据子集及其相应的码流子集为单位判断是否满足预定条件；如果满足预定条件，则使用全色度方式；否则，使用混合色度方式；在混合色度方式中，所述第一类编码模式至少包括通用串预测编码模式，所述第二类编码模式至少包括传统帧内预测编码模式也称普通帧内预测编码模式；所述编码模式是整压缩单元的编码模式。

6.根据权利要求5所述的图像解码方法或图像解码装置，其特征在于，解析压缩数据码流，至少获得各码流子集的表示最优色度方式的信息，预定条件是最优色度方式为全色度方式：如果最优色度方式是全色度方式，则使用全色度方式对该数据子集进行解码，否则，使用混合色度方式对该数据子集进行解码。

7.根据权利要求3、4、5或6所述的图像解码方法或图像解码装置，其特征在于，原始数据是包括图像、图像的序列、视频的二维数据元素的阵列或阵列的序列；

压缩子集及其相应的码流段包括下列编码单位之一或其组合：图像、图像的子图像、片块tile、条带slice、片patch；

最大压缩单元及其相应的码流段包括下列编码单位之一或其组合：片块tile、最大编码单元LCU、编码树单元CTU；

整压缩单元及其相应的码流段包括下列编码单位之一或其组合：宏块、编码单元CU、CU的子区域、子编码单元SubCU、预测块、预测单元PU、PU的子区域、子预测单元SubPU、变换块、变换单元TU、TU的子区域、子变换单元SubTU；

数据子集及其相应的码流子集包括下列编码单位之一或其组合：序列、序列的子序列、图像、图像的子图像、片块tile、条带slice、片patch、整数个最大编码单元LCU、最大编码单元LCU、整数个编码树单元CTU、编码树单元CTU、整数个编码单元CU、编码单元CU。

8.根据权利要求3所述的图像解码方法或权利要求4所述的图像解码装置，其特征在于，所述表示最优色度方式的信息以直接存在或隐含推导或两者混合的形式包含在码流子集的头单位中；

所述直接存在的形式由压缩数据码流中的一个或多个语法元素所组成；

所述隐含推导的形式是约定的语法元素缺省值或者从其他编码参数和/或编解码变量和/或压缩数据码流的其他语法元素导出的参数或变量；

所述两者混合的形式是所述直接存在与所述隐含推导这两种形式的混合；

所述码流子集的头单位包括下列头单位之一或其组合：

1)序列参数集；

2)图像参数集；

3)序列头；

4)图像头；

5)片块tile头；

6)条带slice头；

7)片patch头；

8)最大编码单元LCU头；

9)编码树单元CTU头；

10)编码单元CU头；

11)编解码块头；

12)整压缩单元头。

9.根据权利要求8所述的图像解码方法或图像解码装置，其特征在于，包括下列特征之一，

特征1：

数据子集及其相应的码流子集是序列；表示最优色度方式的信息是直接存在于序列参数集和/或序列头中的下列语法元素universal_string_prediction_enable_flag：

序列头定义或序列参数集定义 描述符 sequence_header(){或seq_parameter_set(){ ………… universal_string_prediction_enable_flag u(1) ………… }

universal_string_prediction_enable_flag的值为0表示使用全色度方式对当前序列进行编解码，否则，使用混合色度方式对当前序列进行编解码；

特征2：

数据子集及其相应的码流子集是序列；表示最优色度方式的信息是直接存在于序列参数集和/或序列头中的下列语法元素universal_string_prediction_enable_flag：

序列头定义或序列参数集定义 描述符 sequence_header(){或seq_parameter_set(){ ………… universal_string_prediction_enable_flag u(1) ………… }

universal_string_prediction_enable_flag的值为0表示使用全色度方式对当前序列进行编解码，否则，使用混合色度方式对当前序列进行编解码；

使用全色度方式对当前序列进行编解码时，对当前序列内所有编码单元CU，不管其编码模式是哪种编码模式，都采用全采样格式对其进行编解码；使用混合色度方式对当前序列进行编解码时，对当前序列内的传统帧内预测编码模式也称普通帧内预测编码模式的编码单元CU，采用下采样格式对其进行编解码，对当前序列内的非传统帧内预测编码模式的编码单元CU，采用全采样格式对其进行编解码。

10.根据权利要求9所述的图像解码方法或图像解码装置，其特征在于，变量CuTypeUspFlag和IntraCuFlag用于表示编码单元的编码模式；

在universal_string_prediction_enable_flag的值为1的情况下，当CuTypeUspFlag的值为0并且IntraCuFlag的值为1时，以4:2:0格式的方式将编码单元划分为帧内预测块和变换块，进行变换块解码、帧内预测、预测补偿，产生4:2:0格式的补偿后样本，然后按以下规定进行色度上采样得到4:4:4格式的补偿后样本；否则，以4:4:4格式的方式将编码单元划分为帧间预测单元、帧内预测块和变换块，进行变换块解码、帧间预测、通用串预测、预测补偿，产生4:4:4格式的补偿后样本，然后按以下规定进行色度下采样得到4:2:0格式的补偿后样本，用于后续的帧内预测块的参考样本；

关于4:2:0格式与4:4:4格式之间的色度下采样与上采样的规定是：

从4:4:4格式的补偿后样本的色度样值矩阵C444[i][j](i＝0～2M-1，j＝0～2N-1)，按以下方法获得4:2:0格式的补偿后样本的色度样值矩阵C420[i][j]：

C420[i][j]＝(C444[2i][2j]+C444[2i+1][2j]+C444[2i][2j+1]+C444[2i+1][2j+1]+2)>>2

其中，i＝0～M-1，j＝0～N-1；

从4:2:0格式的补偿后样本的色度样值矩阵C420[i][j](i＝0～M-1，j＝0～N-1)，按以下方法获得4:4:4格式的补偿后样本的色度样值矩阵C444[i][j](i＝0～2M-1，j＝0～2N-1)：

C444[2i][2j]＝C420[i][j]

C444[2i+1][2j]＝C420[i][j]

C444[2i][2j+1]＝C420[i][j]

C444[2i+1][2j+1]＝C420[i][j]

其中，i＝0～M-1，j＝0～N-1。

Images