CN101796843A - 图像编码方法及装置、图像解码方法及装置、程序、集成电路 - Google Patents

Abstract

图像编码方法包括：色彩空间转换步骤(S12)，将彩色图像的色彩空间从第一色彩空间转换为第二色彩空间，从而生成色彩空间转换后彩色图像；子采样步骤(S13)，除去色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；编码步骤(S14)，对子采样后彩色图像进行编码，从而生成编码后彩色图像；上采样系数计算步骤(S16)，计算用于上采样处理的上采样系数；色彩空间逆转换系数计算步骤(S17)，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间转换后彩色图像的色彩空间从第二色彩空间逆转换为第一色彩空间；以及输出步骤(S19)，输出编码后彩色图像、上采样系数以及色彩空间逆转换系数。

Description

图像编码方法及装置、图像解码方法及装置、程序、集成电路

技术领域

本发明涉及由多个基色构成的彩色图像的转换和逆转换、以及与其相对应的装置。

背景技术

用于拍摄彩色图像的数字摄像机或数字相机包括传感器，该传感器能够感知以不同彩色滤光器进行滤光而得到的光的强度。在这些传感器上能够覆盖所谓拜耳滤光器，该拜耳滤光器包括以马赛克状交替排列红以及绿的行与绿以及蓝的行的红、蓝、绿的滤光器。与红色以及蓝色相比，对绿色的人的眼睛的敏感度更高，因此，使用绿的滤光器的情况较多。典型而言，拍摄后的颜色样本的马赛克被转换为其它的色彩空间，从而存储效率以及描绘到显示器的效率提高。该转换被称为“去马赛克”。通常，由红、绿、蓝的样本构成的马赛克被转换为，同样由红(R)、绿(G)、蓝(B)的样本构成的RGB色彩空间。

RGB色彩空间的彩色图像(RGB图像)由三色的基色构成，即，由所谓像素构成，且该像素由红、绿、蓝构成。各个组合的值示出为了再现像素的颜色而需要的红、绿、蓝的光的强度。像素是图像的最小构成单位。在RGB色彩空间内，能够以该像素的坐标(r，g，b)示出各个RGB图像的各个像素的基色。利用q位，这些坐标的值被量化。周知的是，每一个像素的位数为颜色深度。在本申请中，在大多情况下，针对所有的基色一律适用q＝8或q＝16的值，从而分别成为24位或48位的颜色深度。一般而言，有以下的情况，即按每个基色改变位数来进行量化，还有以下的情况，即按每个像素改变位数来进行量化。

RGB图像的像素被排列为N×M尺寸的矩阵，且被称为图像的(空间)分辨率。在N以及M的值针对三色的所有的基色都相同的情况下，即，在能够将图像的基色值整理为三色的尺寸相同的基色的情况下，这些图像的彩色格式(color format)被称为RGB4:4:4。能够直接获得RGB4:4:4彩色格式的数据的传感器也存在。一般而言，存在以下的情况，即，按每个基色适用不同采样格子，其结果为单一图像的基色的尺寸不同。例如，图像的基色的值是，在将该图像描绘到显示器画面、存储到照相机或外部存储器、印刷、进行附加的处理、或经由传输通道传输的情况下能够利用的。

例如，附加的处理是指，转换为其它的色彩空间的转换以及/或包含基色的选择性子采样(sub sampling)的彩色格式转换等。在子采样之前进行滤光。

进而，在以传输为目的以及以存储为目的的情况下，一般而言，使用标准制品或专利产品的图像编码装置或影像编码装置，对规定的彩色格式的彩色图像进行编码，或者，在由这些彩色图像构成影像的情况下，对其序列进行编码。编码是为了减少图像或影像的存储或传输所需要的数据量而进行的。对于这些编码，利用已标准化或已获得专利的各种可逆以及/或不可逆压缩机制即可。

为了将编码后的图像或影像描绘到显示器，而需要经由通道接收图像数据、或从存储器得到图像数据，从而进行解码。通过进行与编码处理相反的解码，从而获得对编码使用了的彩色格式的图像。在大多情况下，最近的显示器，利用基于RGB4:4:4彩色格式的值的信号，控制显示像素的驱动。因此，也存在解码后需要转换为该彩色格式换的情况。对于解码后的彩色格式的逆转换，在进行了子采样的情况下，也可以包含子采样后的彩色图像的上采样(up sampling)。通常，利用插值滤光器进行上采样。

图1示出以往技术的影像传输电路的一个例子。

摄像机或照相机110，拍摄现实场景后，送出第一彩色格式的原图像数据111，具体而言，送出每个颜色样本为8位的RGB4:4:4彩色格式的原图像数据111。其次，RGB4:4:4彩色格式的原图像数据111被转换为不同色彩空间，在此情况下，被转换为YUV色彩空间等的利用了不同基色的色彩空间。在该色彩空间中，输入的原图像数据111被分为记载为Y的亮度、和记载为U、V的两种不同基色(色差)。为了获得YUV色彩空间的数据，在色彩空间转换部120适用色彩空间转换。因此，通过加上R、G、B的加权值，从而生成单一的Y信号，该Y信号示出对象的像素整体的光亮度，即示出亮度。其次，从原来的RGB的蓝的信号中减去Y信号，并且进行比例缩放，从而得到U信号。与此相对应，从红中减去Y，并且以不同系数进行比例缩放，从而得到V信号。如此以YUV色彩空间得到的图像数据121包含与拍摄了的图像的光的强度相对应的亮度分量和两种色差分量，典型而言，该两种色差分量比该亮度分量大大平滑。若色差图像为平滑，则能够进行更好的压缩。

此时，在YUV色彩空间中的图像数据121的尺寸，与RGB4:4:4彩色格式的原图像数据111相同。也就是说，亮度以及两个色差这三个值，按每个像素分别被记忆8位。该图像格式被称为YUV4:4:4格式。然后，由编码部130将YUV4:4:4格式的图像数据121压缩，并且经由通道140传输。在该例子中，编码部130进行H.264/AVC视频编码。在此，所使用的通道140，例如，不论有线还是无线而可以是任何方式的网络，并且，也可以是磁盘、光盘、闪存、磁光存储介质等的存储器。

为了将图像或影像描绘到显示器170，首先，从通道140获得/接收数据，并且由解码部150进行解码。解码部150，进行与编码部130相反的处理。若编码部130进行了不可逆压缩，则存在以下的情况，即，重新构筑后的YUV4:4:4格式的图像数据151与原来的YUV4:4:4格式的图像数据121不同。在解码后，若由色彩空间逆转换部160适用色彩空间逆转换而获得解码RGB4:4:4格式的图像数据161，则能够将其显示在显示器170，进一步能够将其存储或印刷。

图1示出以往技术的传输电路的另一个例子。由照相机110拍摄现实场景。由照相机110输出RGB4:4:4彩色格式的原图像数据111。其次，为了获得YUV4:4:4格式的图像数据121，由色彩空间转换部120对RGB4:4:4格式的原图像数据111进行色彩空间转换。在大多情况下，将色彩空间转换后，YUV4:4:4格式的图像的色差分量U、V比亮度分量Y更平滑。在此阶段，已经成为平滑，能够减少图像的传输/存储所需要的数据量。为了执行其处理，在左右方向以及/或上下方向，由滤光-子采样部210对色差分量进行子采样。例如，子采样是指，通过将一定的样本除外，从而减少每一个图像的样本数。包含未被除外的样本的子采样格子是原图像或滤光后的图像的值的子集，且通常具有规则性的形状。在进行子采样之前，通常适用低通滤光器，但也可以适用某种滤光器。对于用于所述目的的低通滤光器有，由国际标准化组织(ISO)提出，并且由运动图像编码专家组(MPEG)以及视频编码专家组(VCEG)这组织批准的几种低通滤光器。为了对该滤光后图像进行子采样，例如，通过按每隔一行以及每隔一列省略行以及列，从而使色差分量值的数量成为亮度分量值的数量的四分之一。这些格式被称为YUV4:2:0格式。如此，在此情况下，彩色格式转换部201包括色彩空间转换部120以及滤光-子采样部210。在原图像数据111的色彩空间已经成为所希望的色彩空间的情况下，彩色格式转换部201仅进行子采样(根据情况，有时还加上滤光)即可。其次，第二彩色格式YUV4:2:0的图像数据211，由编码部130编码，并被存储到通道140、或经由通道140被传输后，由解码部150解码。也可以使用其它的子采样格子，例如，可以是按每隔一列省略了(滤光后的)色差分量的4:2:2格子，也可以是与此以外的子采样格子。

例如，编码部130是，根据图像压缩标准的JPEG或JPEG2000，或影像编码标准的H.261、H.263、H.264/AVC、MPEG-1、MPEG-2、MPEG-4等的已标准化或已获得专利的图像标准或视频标准的图像编码部或影像编码部。一般而言，这些编码部进行以下的工作，即，将图像数据分割为更小的块，按每个块以线性转换(例如，离散余弦转换)将其数据转换后，由熵编码部对转换后的数据有效率地进行编码。也可以采用运动补偿或空间预测等其它的技术。通常，在这些处理的全部中，图像的亮度分量和色差分量分别被处理。

从通道140接收/获得的数据，由与使用了的编码部130相对应的解码部150解码。其次，YUV4:2:0格式的图像数据151，输入到包括上采样-插值部220以及色彩空间逆转换部160的彩色格式逆转换部202，并通过对丢失了的像素进行插值，从而将子采样后的色差分量上采样为原来的尺寸。其次，由色彩空间逆转换部160将YUV4:4:4彩色格式的图像数据221逆转换为RGB色彩空间后，将得到的RGB4:4:4彩色格式的图像数据161显示在显示装置170，或者，将得到的RGB4:4:4彩色格式的图像数据161印刷或存储。

彩色格式转换部201包括色彩空间转换部120以及滤光-子采样部210，对图像数据执行预处理，以使得图像数据的存储效率或由编码部130的图像数据的编码效率提高。在仅进行色彩空间转换的情况下，每一像素的基色的量不减少，但是，在进行所述的子采样处理(将YUV4:4:4变为YUV4:2:0的处理)的情况下，每一像素的基色的量减少到原来的量的一半。根据图像内容，有时，即使插值后如此减少，也以人的眼睛几乎不能知觉。特别是，在自然图像的情况下，没有明显的恶化，因此，能够由上采样-插值部220重新构成。一般而言，对于用于转换为YUV色彩空间的色彩空间转换部120，通过从剩下的基色中减去亮度分量，从而已经降低基色之间的互相关度。

专利文献1：欧洲专利申请公开第1176832号公报

但是，有的图像，若进行其它种类的色彩空间转换，则有可能得到更好的结果。在大多情况下，使用固定型的插值滤光器即可。但是，有可能肯定存在包含以下的内容的图像，对该内容优选的是使用其它种类的滤光器进行滤光。根据图像内容，有时，若子采样后进行上采样，则伪差(Artifact)会明显。对于图像的重新构成的质量，与压缩增益相同，根据彩色格式(色彩空间，子采样)，并且根据编码对象的图像或影像的性质而大不同。进而，对于最近大部分的影像编码标准中所采用的YUV色彩空间，若以编码为目的，则并不是有效率的，并且，编码(压缩)增益有限度。并且，通常，利用固定型插值滤光器进行上采样，但是，如此进行上采样后的图像中，有时产生明显的不均匀性。

发明内容

本发明的目的在于，为了解决所述的问题，提供针对各种图像内容有效率地进行彩色格式的转换以及逆转换的方法以及装置。

本发明的方案之一涉及的图像编码方法，对彩色图像进行编码。具体而言，包括：色彩空间转换步骤，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样步骤，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；编码步骤，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；上采样系数计算步骤，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；色彩空间逆转换系数计算步骤，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出步骤，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

如所述结构，由图像编码装置计算解码装置所使用的参数(色彩空间逆转换系数以及上采样系数)，从而降低图像解码装置的复杂度。并且，由于针对所述参数的计算能够利用仅在图像编码装置可利用的原图像(彩色图像)，因此能够改善解码图像的质量。而且，也可以是，在子采样以及上采样中的“样本”是指，例如像素值、基色，更具体而言，各个像素的色差分量。

进而，该图像编码方法，包括：解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；以及上采样步骤，对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像。而且，在所述上采样系数计算步骤也可以，计算所述上采样系数，以使得所述解码后彩色图像与所述色彩空间转换后彩色图像之间的平均平方误差成为最小。

进而，该图像编码方法包括色彩空间逆转换步骤，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成色彩空间逆转换后彩色图像。而且，在所述色彩空间逆转换系数计算步骤也可以，计算所述色彩空间逆转换系数，以使得所述色彩空间逆转换后彩色图像与所述彩色图像之间的平均平方误差成为最小。

若对图像数据进行编码，则量化噪声被重叠，因此，即使对编码数据进行解码，也不能获得与编码前的图像数据完全相同的图像数据。于是，在色彩空间逆转换步骤，不仅进行与色彩空间转换步骤相反的处理，还进行除去在编码过程中重叠的量化噪声的处理。也就是说，优选的是，决定在色彩空间逆转换步骤所使用的色彩空间逆转换系数，以使得编码前以及解码后的图像的平均平方误差成为最小。对于上采样步骤也是同样的。

进而，该图像编码方法包括色彩空间预测步骤，根据所述彩色图像的特性，计算色彩空间转换系数。而且，也可以是，在所述色彩空间转换步骤，根据在所述色彩空间预测步骤计算出的所述色彩空间转换系数，将所述彩色图像的色彩空间从所述第一色彩空间转换为所述第二色彩空间，在所述输出步骤，还输出所述色彩空间转换系数。

进而，该图像编码方法包括辅助信息编码步骤，对包含所述上采样系数、所述色彩空间逆转换系数以及所述色彩空间转换系数的辅助信息进行编码，从而生成编码后辅助信息。而且，在所述输出步骤也可以，输出所述编码后彩色图像以及所述编码后辅助信息。

本发明的方案之一涉及的图像解码方法，对彩色图像进行解码。具体而言，包括：获得步骤，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；上采样步骤，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及色彩空间逆转换步骤，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

如所述结构，利用由图像编码方法生成的上采样系数以及色彩空间逆转换系数，执行上采样处理以及色彩空间逆转换处理，从而能够除去因编码而被重叠的舍入误差。并且，通过连续执行所述的两个处理，从而能够将处理最佳化。

本发明的方案之一涉及的图像编码装置，对彩色图像进行编码。具体而言，具有：色彩空间转换部，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样部，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；编码部，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；上采样系数计算部，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；色彩空间逆转换系数计算部，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出部，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

本发明的方案之一涉及的图像解码装置，对彩色图像进行解码。具体而言，具有：获得部，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；解码部，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；上采样部，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及色彩空间逆转换部，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

本发明的方案之一涉及的程序，使计算机对彩色图像进行编码。具体而言，包括：色彩空间转换步骤，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样步骤，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；编码步骤，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；上采样系数计算步骤，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；色彩空间逆转换系数计算步骤，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出步骤，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

本发明的其它的方案涉及的程序，使计算机对彩色图像进行解码。具体而言，包括：获得步骤，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；上采样步骤，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及色彩空间逆转换步骤，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

本发明的方案之一涉及的集成电路，对彩色图像进行编码。具体而言，具有：色彩空间转换部，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样部，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；编码部，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；上采样系数计算部，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；色彩空间逆转换系数计算部，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出部，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

本发明的其它的方案涉及的集成电路，对彩色图像进行解码。具体而言，具有：获得部，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；解码部，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；上采样部，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及色彩空间逆转换部，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

而且，对于本发明，不仅可以以运动图像编码方法(装置)以及动图像解码方法(装置)来实现，还可以以实现这些功能的集成电路来实现，或可以以使计算机执行这些功能的程序来实现。而且，当然也可以通过CD-ROM等记录介质或互联网等传输介质来流通这些程序。

根据独立权利要求所述的特征来实现所述内容。

具体实施方式是从属权利要求的主题。

在本发明的方法中，在彩色格式转换一侧决定彩色格式逆转换参数，并且，将该彩色格式逆转换参数与图像或影像的转换数据一起提供。本发明的特征是，进一步，在逆转换一侧接收彩色格式逆转换参数，并使用于彩色格式逆转换处理。

在彩色格式转换一侧决定彩色格式逆转换参数的优点是，能够利用与(非转换)彩色原图像以及其原来的格式有关的所有的信息。进而，在转换一侧决定彩色格式逆转换参数，从而能够降低解码装置的复杂度，并且在编码装置考虑可利用的信息来能够选择各种彩色格式的逆转换系数，因此能够改善质量。

作为本发明的第一方案，提供将彩色图像从第一彩色格式转换为第二彩色格式的彩色格式转换方法。该方法包括，决定用于将彩色图像从第二彩色格式逆转换为第一彩色格式的处理的彩色格式逆转换系数的步骤。彩色图像的彩色格式是指，图像的基色被存储时的格式，例如，包含色彩空间以及/或子采样。在此，作为确定色彩空间的方法，例如，在其色彩空间已标准化以及/或周知的情况下，根据其名称确定，在其色彩空间未被标准化以及/或未周知的情况下，根据从公知的色彩空间转换为指定的色彩空间的系数确定。根据子采样格子以及每一样本的位数确定子采样。反复而言，特定的彩色格子有，例如4:4:4(示出未进行子采样)、4:2:0或4:2:2等的已标准化且有名称的彩色格子，并且，后者两个彩色格子表示每一基色的样本数之间的比率。由于存在进行4:2:0采样的样本的准确的位置偏离的情况，因此，解码部/逆转换部不一律接收与从编码部/转换部得到的子采样格子本身有关的信息。

作为本发明的第二特征，提供将彩色图像从第一彩色格式转换为第二彩色格式的彩色格式转换部。该彩色格式转换部包括，决定用于将彩色图像从第二彩色格式逆转换为第一彩色格式的处理的彩色格式逆转换系数的决定单元。转换后图像和决定的彩色格式逆转换系数，例如，不论有线还是无线，而通过某种方式的通道被传输。并且，转换后图像和决定的彩色格式逆转换系数，也可以被存储在USB棒或DVD、CD、BD等的光或磁气的硬盘或介质的各种存储器或介质。转换后图像和决定的彩色格式逆转换系数也可以一起被编码。

优选的是，根据转换对象的彩色图像的性质，决定彩色格式逆转换系数。据此，能够根据彩色图像的性质，自适应地选择逆转换系数。彩色图像被逆转换后是否画质恶化，取决于该图像的性质，因此，通过自适应地选择彩色格式逆转换参数，从而能够改善逆转换后的图像的画质。

优选的是，在进行所述决定时，还将转换后彩色图像逆转换，根据逆转换后图像的性质以及适用了的转换处理，预测彩色格式逆转换系数。进而，优选的是，使非转换原图像能够利用。使逆转换后图像能够利用，根据情况，还使非转换图像能够利用，从而按照逆转换后图像的性质，且按照适用了的彩色格式的转换，能够自适应地选择逆转换参数。通过利用了规定的成本函数的线性或非线性的最佳化方法，能够预测彩色格式逆转换参数。具体而言，在能够利用第一彩色格式的彩色图像和逆转换后图像这两者的情况下，优选的是，使这些彩色图像与逆转换后图像之间的平均平方误差成为最小来进行预测。

优选的是，在彩色格式的转换中，将彩色图像的色彩空间从第一色彩空间转换为第二色彩空间。彩色格式逆转换系数中包含色彩空间逆转换系数，色彩空间逆转换是指，将彩色图像从第二色彩空间转换为第一色彩空间。也可以是，第一色彩空间以及第二色彩空间分别是周知的色彩空间的任一种。例如，可以举出：基于红、绿、蓝的组合的色彩空间(RGB，sRGB等)；基于亮度分量以及色差分量的色彩空间(YIQ，YUV，YCbCr等)；基于色度以及彩度的色彩空间(HSV，HSI等)；CMYK以及其它的色彩空间等。

但是，在利用预测的色彩空间转换系数将彩色图像从第一色彩空间转换为第二色彩空间的彩色格式转换的情况下，优选的是，第二色彩空间是根据将要转换的彩色图像预测色彩空间转换系数而自适应地被决定的自适应色彩空间。具体而言，根据无相关转换来预测色彩空间转换系数，尤其根据KL(Karhunen-Loeve：卡赫能-咯埃夫)转换来预测色彩空间转换系数。通过无相关转换，色彩空间组合之间的无相关转换被无相关化。根据得到的自适应色彩空间，能够有效率地显示图像。也有以比固定的色彩空间转换的的情况低的率来得到相同画质的情况。据此，能够预测色彩空间逆转换系数。

优选的是，在彩色格式的转换中，将第一彩色格式或第二色彩空间格式的彩色图像子采样，从而子采样后的彩色图像的样本比输入的彩色图像少。具体而言，由彩色格式转换滤光器将第一彩色格式或第二色彩空间格式的彩色图像滤光后，进行子采样。具体而言，由低通滤光器进行滤光。并且，也可以使用其它的滤光器。针对具有某种性质的图像，例如，针对包含多个边缘的图像，也有优选的是使用低通滤光器以外的滤光器的情况。

优选的是，彩色格式逆转换系数中包含用于对下采样后的彩色图像的上采样的插值滤光器的插值滤光系数。具体而言，插值滤光系数被预测为维纳滤光系数。但是，可以将平均平方误差以外的数值最佳化来预测插值滤光系数，也可以配置非线性滤光器，并不一定需要使用上采样(逆转换)后的图像来预测。

优选的是，熵编码部对彩色格式逆转换系数进行编码。熵编码部对应于哈夫曼(Huffman)编码、哥伦布(Golomb)编码、指数哥伦布(exponentialGolomb)编码、算术编码、除此以外的熵编码等的公知的熵编码即可。通过对系数进行熵编码，从而能够降低该系数的传输或向介质的存储所需要的率。

优选的是，在结构上，按每个彩色图像，或按每个由彩色图像构成的视频序列的片，分别决定彩色格式逆转换系数。据此，能够进行除了适应于转换对象的图像的性质以外、还适应于该图像部分的性质的彩色格式的转换以及/或逆转换。也可以使用片以外的单位，例如，也可以使用宏块、片以外的宏块群、场(在交错时)、帧等。

也可以按多幅彩色图像一次决定彩色格式逆转换系数，而取代所述内容。多幅彩色图像也可以是预先决定的一定的幅数的彩色图像，为了减少传输或存储所需要的数据量，而例如按每个图像的二幅、三幅、四幅等的幅数能够决定彩色格式逆转换系数。在视频序列在时间上平滑的情况下，通过按多幅图像决定转换以及/逆转换参数，从而能够得到充分的质量增益/编码增益。但是，在适用时间上的预测编码机制的情况下，以及，在图片组的尺寸变化的情况下，有时优选的是，例如彩色格式逆转换系数与每个图片组的彩色图像(影像帧等)的幅数的变化相对应。图像的幅数是，按照时间上的平滑度、场面变化的发生频度等视频序列的性质也能够选择的。

对于彩色格式逆转换系数，存在有关色彩空间逆转换的系数、和有关插值滤光器的系数，优选的是，决定有关色彩空间逆转换的系数的频度比决定有关插值滤光器的系数的频度低。据此，能够测量适应度，根据情况，有时优选的是，例如在图片组内不将色彩空间转换而维持。有时，包含插值滤光系数的彩色格式逆转换系数发生急速变化。也可以采用其它的结构，即，使决定有关色彩空间逆转换的系数的图像的规定的幅数比决定有关插值滤光的系数的图像的规定的幅数少。但也可以，以比有关色彩空间逆转换的色彩空间逆转换系数的决定频度低的频度来决定有关插值滤光的色彩空间逆转换系数。

优选的是，在彩色格式转换后，根据JPEG、JPEG2000、MPEG-2、MPEG-4、H.263、H.264/AVC等的图像或影像的编码标准，对由彩色图像构成的视频序列的彩色图像进行编码。也可以同样采用其它的影像编码标准或已获得专利的影像编码方法。对彩色图像或彩色视频序列进行编码，从而存储或传输所需要的数据量减少。另一方面，能够直接存储或传输已转换为第二色彩空间的图像或影像数据。

具体而言，在适用影像编码标准H.264/AVC的情况下，将彩色格式逆转换系数包含在H.264/AVC补充增强信息(SEI)消息中的状态下提供。因此，本发明的结构基于H.264/AVC标准。

根据本发明的其它的特征，在图像编码方法以及图像编码装置中，包含所述的彩色格式的转换以及彩色格式转换后的图像的压缩。对于这些图像编码装置以及影像编码装置，只要将本发明的彩色格式的转换作为必要的特征或任意的特征来执行，就可以是已标准化或已获得专利的图像编码装置以及影像编码装置。

根据本发明的另外的特征，能够提供将转换后彩色图像从第二色彩空间逆转换为第一色彩空间的彩色格式逆转换方法。首先，与已转换为第二色格式的彩色图像一起获得彩色格式逆转换系数，利用获得的彩色格式逆转换系数，将转换后彩色图像从第二彩色格式逆转换为第一彩色格式。

根据本发明的还另外的特征，能够提供将转换后彩色图像从第二色彩空间逆转换为第一色彩空间的彩色格式逆转换部。逆转换部，能够与已转换为第二彩色格式的彩色图像一起获得彩色格式逆转换系数。进而，逆转换部，能够利用获得的彩色格式逆转换系数，将转换后彩色图像从第二彩色格式逆转换为第一彩色格式。为了获得转换后图像和彩色格式逆转换系数，例如，不论有线还是无线，而通过某种方式的通道接收它们。并且，也可以从USB棒或DVD、CD、BD等的光或磁气的硬盘或介质的各种存储器或介质读出并获得转换后图像和彩色格式逆转换系数。也可以转换后图像与决定的彩色格式逆转换系数一起被编码。

优选的是，彩色格式的逆转换包含彩色图像的色彩空间的从第二色彩空间转换为第一色彩空间的转换。第一色彩空间以及第二色彩空间的各自也可以是RGB、YUV、HIS等的公知的色彩空间的任一种。优选的是，彩色格式逆转换系数包含色彩空间逆转换系数。具体而言，根据转换对象的彩色图像预测色彩空间转换系数，从而自适应地选择第二色彩空间。具体而言，根据无相关转换来预测色彩空间转换系数，尤其根据KL(Karhunen-Loeve：卡赫能-咯埃夫)转换来预测色彩空间转换系数。

优选的是，在彩色格式的逆转换中，将转换后彩色图像上采样，从而上采样后的图像的样本比输入的转换后彩色图像少。

具体而言，由插值滤光进行上采样，插值滤光系数包含在彩色格式逆转换系数中。通过获得插值滤光系数，从而能够进行由获得的系数的自适应插值滤光，例如，由后处理方法，不使解码部复杂化而能够得到质量增益。具体而言，插值滤光系数是维纳滤光系数。但也可以采用其它的滤光以及滤光系数决定方法。

优选的是，彩色格式逆转换系数，在被获得时被熵解码。

根据本发明的适当的结构，按每个彩色图像，或按每个由彩色图像构成的视频序列的片，分别决定彩色格式逆转换系数。

也可以按多幅彩色图像一次决定彩色格式逆转换系数，而取代所述内容。

对于彩色格式逆转换系数，存在有关色彩空间逆转换的系数、和有关插值滤光器的系数，优选的是，决定有关色彩空间逆转换的系数的频度比决定有关插值滤光器的系数的频度低。

优选的是，根据JPEG、JPEG2000、MPEG-2、MPEG-4、H.263、H.264/AVC等的图像或影像的编码标准，已转换为第二色彩空间的图像在被获得时被解码。

具体而言，在适用影像编码标准H.264/AVC的情况下，将彩色格式逆转换系数(滤光系数以及/或色彩空间逆转换系数)包含在H.264/AVC补充增强信息(SEI)消息中的状态下获得。

根据本发明的还另外的特征，能够提供如上所述包含获得图像的扩展和扩展图像的彩色格式的逆转换的图像解码方法以及图像解码装置。

如所述结构，由编码装置计算解码装置所使用的参数(色彩空间逆转换系数以及上采样系数)，从而降低解码装置的复杂度。并且，由于针对所述参数的计算能够利用仅在编码装置可利用的原图像(彩色图像)，因此能够改善解码图像的质量。

附图说明

图1是说明包含色彩空间转换的、由以往技术的图像彩色格式或影像彩色格式的转换以及逆转换的方框图。

图2是说明包含色彩空间转换以及由滤光的子采样/上采样的、由以往技术的图像彩色格式或影像彩色格式的转换以及逆转换的方框图。

图3是说明在本发明为图像传输系统的构成要素的情况下的实施例之一涉及的彩色格式的转换以及逆转换的方框图。

图4A是说明本发明的实施例之一涉及的彩色格式的转换的方框图。

图4B是说明本发明的实施例之一涉及的彩色格式的逆转换的方框图。

图5是示出本发明的实施例之一涉及的自适应色彩空间的采样的略图。

图6A是说明本发明的其它实施例涉及的彩色格式的转换的方框图。

图6B是说明本发明的其它实施例涉及的彩色格式的逆转换的方框图。

图7A是示出图6A所示的图像编码装置的工作的流程图。

图7B是示出图6B所示的运动图像解码装置的工作的流程图。

图8A是说明本发明的另一个其它实施例涉及的彩色格式的转换的方框图。

图8B是说明本发明的另一个其它实施例涉及的彩色格式的逆转换的方框图。

图9是说明本发明的另一个其它实施例涉及的彩色格式的转换以及逆转换的方框图。

具体实施方式

关于本申请，参照附图，在后述的说明以及具体实施例中，使所述的目的以及特征与其它的目的以及特征更明确。

本发明涉及由多个基色构成的彩色图像的彩色格式的转换以及逆转换。这些基色也可以属于任意的色彩空间。每一组合的样本数并不一定相同。一般而言，图像的格式，即特定的色彩空间以及采样，取决于源图像。在大多情况下，在从照相机输出由该照相机拍摄的图像时，以通常为同数的由红、绿、蓝这三种的组合构成的RGB格式来输出各个组合的样本，成为每个样本的位数相同的RGB4:4:4彩色格式，典型而言，成为8位或16位的RGB4:4:4彩色格式。

彩色格式转换的目的在于，将彩色图像从原来的第一彩色格式(即，基色输入到彩色格式转换部时的格式)转换为其它的格式。在此，格式是指，色彩空间以及/或采样方法。

所述的以往技术中彩色格式的转换是固定的。也就是说，与转换对象的图像的图像内容无关，而同样进行色彩空间转换以及/或，根据情况，有时进行滤光以及子采样。色彩空间转换与滤光以及子采样这双方被设计为，针对大部分的典型的图像发挥高效率的作用。该良好的效率有两个意义。第一，色彩空间转换的目的在于降低特定的基色之间的相关度。该目的是，以由一个亮度分量和两个不同色差分量构成的YUV色彩空间来实现的。这些色彩空间的色差分量比亮度分量更平滑，因此，以后能够进行子采样，从而因这些率的降低而导致的失真变小。第二，在执行例如压缩等的其它的编码步骤的情况下，根据输入图像的格式，针对产生的失真的压缩增益不同。若是进行适当的彩色格式转换后的图像，则能够更有效率地进行压缩。也就是说，得到更高的压缩增益。因此，若进行以往的固定且独立的彩色格式的转换以及逆转换，则编码效率有限度。

在本发明中，在彩色格式转换一侧决定彩色格式逆转换系数，将该彩色格式逆转换系数与编码数据一起提供，从而使更有效率的彩色格式的转换以及逆转换成为可能。

图3示出在本发明为影像传输系统的构成要素的情况下的实施例之一涉及的图像编码装置10以及图像解码装置20。

图3示出的图像编码装置10至少包括彩色格式转换部310、决定部(色彩空间预测部)320以及编码部130。该图像编码装置10，对从照相机110获得的原图像数据(彩色图像)111进行编码，从而生成编码后彩色图像。而且，照相机110可以是连接于图像编码装置10的外部装置，也可以是图像编码装置10的构成要素之一。以后的实施例中也是同样的。

照相机110，提供在RGB色彩空间(RGB4:4:4彩色格式)中由有分别同数的样本的三种基色构成的原图像数据(视频帧)111的序列。也可以是拜耳模式等的不同采样格子。原图像数据111输入到彩色格式转换部310，在此，从第一彩色格式转换为第二彩色格式的图像数据311。原图像数据111也可以输入到决定部320。决定部320能够决定在彩色格式逆转换部330使用的彩色格式逆转换系数321。决定的彩色格式逆转换系数321与已转换为第二彩色格式的图像数据311一起被提供。

对于转换后彩色格式的图像数据311，能够由编码部130还进行编码，在本实施例中，能够由H.264/AVC视频编码器还进行编码。而且，编码部130，例如包括将图像数据正交转换的正交转换部(省略图示)、将图像数据量化的量化部(省略图示)以及进行可变长编码的可变长编码部(省略图示)。并且，也可以还包括运动补偿部(省略图示)或空间预测部(省略图示)等。

而且，编码数据伴随包含彩色格式逆转换系数321的编码补助信息，并且通过通道140被传输。只要符合目标用途的条件，就不论有线还是无线而可以是任何方式，通道140的传输形式也可以是单点传输(unicast)、多点传输(multicast)以及广播(broadcast)之中的任一种。

图3所示的图像解码装置20至少包括解码部150以及彩色格式逆转换部330。该图像解码装置20，对经由通道140从图像编码装置10获得的编码数据进行解码，并且显示在显示器170。而且，显示器170可以是连接于图像解码装置20的外部装置，也可以是图像解码装置20的构成要素之一。以后的实施例中也是同样的。

编码数据，由解码部150接收并解码后，被提供到彩色格式逆转换部330。而且，解码部150，例如包括将图像数据可变长解码的可变长解码部(省略图示)、进行反量化的反量化部(省略图示)以及进行反正交转换的反正交转换部(省略图示)。并且，也可以还包括运动补偿部(省略图示)或空间预测部(省略图示)等。

解码部150进行与编码部130相反的处理。本实施例中，解码部150是H.264/AVC解码器。彩色格式逆转换系数322也被提供到彩色格式逆转换部330。而且，在彩色格式逆转换部330，接收的彩色格式逆转换系数322，被用于图像数据312的逆转换。然后，也可以将得到的图像数据331显示在显示器170。

在本实施例中照相机110是摄像机。但也可以是仅拍摄静止图像的照相机。照相机110可以以RGB4:4:4格式以外的格式来输出图像，例如，可以以成为马赛克状的原来的数据的格式、YUV格式或其它的彩色格式来输出图像，但是，在此情况下，输出的基色的样本以及深度并不一定相同。也可以是，在每次进行色彩空间转换、并且/或滤光以及/或子采样时，决定彩色格式逆转换系数322。对于经由通道140的数据的传输或向存储介质的数据的存储，可以按每个图像数据分别进行，也可以按每个包含彩色格式逆转换系数322的补助信息分别进行。彩色格式逆转换系数322，与对应的图像数据一起被存储或传输，除此以外/替代此，以对应的图像数据被多路复用。在进行编码以及解码的情况下，不仅限于H.264/AVC标准，例如，也可以是JPEG、JPEG2000、MPEG-1、MPEG-2、MPEG-4、H.261、H.263、DIRAC、其他的已标准化或已获得专利的编码以及解码机制等的图像数据压缩标准或视频数据压缩标准之中的任一种。进行彩色格式的逆转换后，可以将图像数据显示在位于各种终端的CRT(Cathode Ray Tube：阴极射线管)、OLED(Organic Electro-Luminescence：有机电致发光二极管)、LCD(Liquid Crystal Display：液晶显示器)等的各种显示器，也可以将图像数据印刷或存储。

图4A以及图4B是示出本发明的其它的实施例涉及的包括彩色格式转换部400以及彩色格式逆转换部480的传输电路的方框图。在此，图4A示出发送一侧的图像编码装置10，图4B示出接收一侧的图像解码装置20。

图4A示出的图像编码装置10包括彩色格式转换部400、编码部130、色彩空间预测部430、系数预测部440、解码部450以及系数编码部460。并且，彩色格式转换部400包括色彩空间转换部410以及滤光-子采样部420，还可以包括色彩空间预测部430。

摄像机110提供RGB4:4:4彩色格式的原图像数据111。RGB4:4:4彩色格式的原图像数据111的基色分别被成为R、G、B。彩色格式转换部400包括用于预测色彩空间转换矩阵的色彩空间预测部430。在此，根据RGB4:4:4彩色格式的原图像数据111的统计值(例如，第一矩以及第二矩)等的性质，进行预测。其次，利用预测的色彩空间转换矩阵，将原图像数据111从RGB4:4:4彩色格式转换为新的色彩空间的自适应色彩空间(ACS)。依然，得到的ACS图像数据411是4:4:4采样格式。在色彩空间转换部410，按照预测目的，可以采用各种基准。对于基准之一，可以举出ACS色彩空间的三种基色A、C、S的无相关化。根据KL(Karhunen-Loeve：卡赫能-咯埃夫)转换，从三种RGB基色能够生成相互无相关的三种ACS基色。该处理是，例如在对三种基色分别进行编码的编码部的情况下合适的。得到的ACS色彩空间的影像数据，然后，例如由以ISO所规定的低通滤光器进行低域滤光并下采样(down sampling)。而且，也可以使用其它的滤光器。

首先，如公式1，由色彩空间预测部430决定生成无相关色分量A、C、S的KL(Karhunen-Loeve：卡赫能-咯埃夫)转换的转换矩阵T_KLT。T_KLT是能够最佳地减轻相关性的正交转换系数，能够使转换后的坐标系中的任意的轴之间无相关化。此事宜意味着信号被转换为冗余性最少的坐标系，因此，最合适于用于压缩的正交转换系数。

(公式1)

$\left(\begin{array}{c}A(x,y)\\ C(x,y)\\ S(x,y)\end{array}\right)=T_{\mathrm{KLT}}\·\left(\begin{array}{c}R(x,y)\\ G(x,y)\\ B(x,y)\end{array}\right)$ (式1)

在此，x以及y是示出特定的空间样本的基色的索引。由基色A、C、S构成的色彩空间是自适应色彩空间。在此，称为自适应，这是因为，适应于彩色图像数据或彩色影像数据的性质的缘故。例如，在决定转换矩阵T_KLT时，利用彩色图像的统计性质。

然后，在色彩空间转换部410将转换矩阵T_KLT使用于色彩空间转换。并且，在色彩空间转换部410，进行公式2的比例缩放-平均化调整处理。

(公式2)

$\left(\begin{array}{c}{A}^{\′}(x,y)\\ C^{\′}(x,y)\\ S^{\′}(x,y)\end{array}\right)=T_{\mathrm{KLT}}\·\left(\begin{array}{c}(A(x,y)-m_A)\·s_A+2^{(b_A-1)}\\ (C(x,y)-m_C)\·s_C+2^{(b_c-1)}\\ (S(x,y)-m_S)\·s_S+2^{(b_S-1)}\end{array}\right)$ (式2)

在此，系数m_A是A的平均值，系数m_C是C的平均值，系数m_S是S的平均值。这些平均值的全部由色彩空间预测决定。比例缩放系数s_A，按照以下的公式3调整A’的动态范围。

(公式3)

$s_A=\min (1,\frac{2^{(b_A-1)}}{\max \left(\right|A(x,y)-m_A\left|\right)})$ (式3)

比例缩放系数s_C，按照以下的公式4调整C’的动态范围。

(公式4)

$s_C=\min (1,\frac{2^{(b_C-1)}}{\max \left(\right|C(x,y)-m_C\left|\right)})$ (式4)

比例缩放系数s_S，按照以下的公式5调整S’的动态范围。

(公式5)

$s_S=\min (1,\frac{2^{(b_S-1)}}{\max \left(\right|S(x,y)-m_S\left|\right)})$ (式5)

参数b_A是基色A’的样本显示用位数，参数b_C是基色C’的样本显示用位数，参数b_S是基色S’的样本显示用位数。所有的比例缩放系数由色彩空间预测部430决定。

在色彩空间转换部410进行色彩空间转换后，例如，若按照非专利文献1：ISO/IEC JTC1/SC29/WG11 N6295“Color format down-conversionfor test sequence generation”(测试序列用彩色格式-下采样)，在滤光-子采样部420对基色C’、S’进行滤光并子采样，则成为基色C”、S”，彩色格式成为ACS4:2:0。图5示出RGB色彩空间以及ACS色彩空间的基色的采样格子。按照H.264/AVC标准的规定选择ACS色彩空间的样本位置。

其次，通过将基色A’、C”、S”舍入为下一个整数，从而分别成为[0；2^bA-1]，[0；2^bC-1]，[0；2^bS-1]的值域。

进而，由编码部130对以自适应色彩空间的舍入后的基色A’、C”、S”来表示的图像数据421进行编码。在本实施例中，编码部130是基于H.264/AVC标准的编码部。

在彩色格式转换一侧，也由H.264/AVC的解码部450对编码数据131进行解码。在编码部130进行不可逆压缩的情况下，执行图像解码之后的图像数据451也可以与执行图像编码之前的图像数据421不同。

若进行解码，则得到以基色A”、C”’、S”’来表示的图像数据451。其次，利用色彩空间转换系数s_A、s_C、s_S、m_A、m_C、m_S，在系数预测部440预测其它的彩色格式逆转换系数。

ACS4:2:0彩色格式的解码影像数据，如下被转换为RGB4:4:4彩色格式的解码影像数据。根据公式6进行比例缩放-平均化调整处理，以作为第一步骤。

(公式6)

(式6)

在第二步骤，计算RGB4:4:4彩色格式的解码图像数据。该解码图像数据的三种基色被称为R^～、G^～、B^～。在此，符号“～(波浪号)”分别示出在紧前的文字的上方附上的符号，在本说明书中，以下所使用的符号“～(波浪号)”的含意相同。为了计算位于x＝0，2，4…，y＝0，2，4…的位置的R^～、G～^～、B^～，而利用以下的公式7。

(公式7)

$\left(\begin{array}{c}\tilde{R}(x,y)\\ \tilde{G}(x,y)\\ \tilde{B}(x,y)\end{array}\right)=\tilde{A}(x,y)\·\left(\begin{array}{c}{w}_{1,A,R}\\ w_{1,A,G}\\ w_{1,A,B}\end{array}\right)+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{C}(x,y+0.5+2i)\·\left(\begin{array}{c}{w}_{1,C,R}\left(i\right)\\ w_{1,C,G}\left(i\right)\\ w_{1,C,B}\left(i\right)\end{array}\right)+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{S}(x,y+0.5+2i)\·\left(\begin{array}{c}{w}_{1,S,R}\left(i\right)\\ w_{1,S,G}\left(i\right)\\ w_{1,S,B}\left(i\right)\end{array}\right)$ (式7)

滤光长度n和滤光系数w_1，A，R、w_1，A，G、w_1，A，B、w_1，C，R(i)、w_1，C，G(i)、w_1，C，B(i)、w_1，S，R(i)、w_1，S，G(i)、w_1，S，B(i)是由系数预测部440预测的逆转换系数。为了计算位于x＝0，2，4…，y＝1，3，5…的位置的R^～、G^～、B^～，而利用以下的公式8。

(公式8)

$\left(\begin{array}{c}\tilde{R}(x,y)\\ \tilde{G}(x,y)\\ \tilde{B}(x,y)\end{array}\right)=\tilde{A}(x,y)\·\left(\begin{array}{c}{w}_{1,A,R}\\ w_{1,A,G}\\ w_{1,A,B}\end{array}\right)+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{C}(x,y-0.5-2i)\·\left(\begin{array}{c}{w}_{1,C,R}\left(i\right)\\ w_{1,C,G}\left(i\right)\\ w_{1,C,B}\left(i\right)\end{array}\right)+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{S}(x,y-0.5-2i)\·\left(\begin{array}{c}{w}_{1,S,R}\left(i\right)\\ w_{1,S,G}\left(i\right)\\ w_{1,S,B}\left(i\right)\end{array}\right)$ (式8)

为了计算位于x＝1，3，5…，y＝0，2，4…的位置的R^～、G^～、B^～，而利用以下的公式9。

(公式9)

$\left(\begin{array}{c}\tilde{R}(x,y)\\ \tilde{G}(x,y)\\ \tilde{B}(x,y)\end{array}\right)=\tilde{A}(x,y)\·\left(\begin{array}{c}{w}_{2,A,R}\\ w_{2,A,G}\\ w_{2,A,B}\end{array}\right)+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\underset{j=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{C}(x+1+2i,y+0.5+2j)\left(\begin{array}{c}{w}_{2,C,R}\left(i\right)\\ w_{2,C,G}\left(i\right)\\ w_{2,C,B}\left(i\right)\end{array}\right)$

$+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\underset{j=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{S}(x+1+2i,y+0.5+2j)\·\left(\begin{array}{c}{w}_{2,S,R}\left(i\right)\\ w_{2,S,G}\left(i\right)\\ w_{2,S,B}\left(i\right)\end{array}\right)$ (式9)

滤光系数w_2，A，R、w_2，A，G、w_2，A，B、w_2，C，R(i，j)、w_2，C，G(i，j)、w_2，C，B(i，j)、w_2，S，R(i，j)、w_2，S，G(i，j)、w_2，S，B(i，j)是由系数预测部440预测的逆转换系数。为了计算位于x＝1，3，5…，y＝1，3，5…的位置的R^～、G^～、B^～，而利用以下的公式10。

(公式10)

$\left(\begin{array}{c}\tilde{R}(x,y)\\ \tilde{G}(x,y)\\ \tilde{B}(x,y)\end{array}\right)=\tilde{A}(x,y)\·\left(\begin{array}{c}{w}_{2,A,R}\\ w_{2,A,G}\\ w_{2,A,B}\end{array}\right)+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\underset{j=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{C}(x+1+2i,y-0.5-2j)\left(\begin{array}{c}{w}_{2,C,R}\left(i\right)\\ w_{2,C,G}\left(i\right)\\ w_{2,C,B}\left(i\right)\end{array}\right)$

$+\underset{i=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\underset{j=-\frac{n}{2}}{\overset{\frac{n}{2}-1}{\mathrm{\Σ}}}\tilde{S}(x+1+2i,y-0.5-2j)\·\left(\begin{array}{c}{w}_{2,S,R}\left(i\right)\\ w_{2,S,G}\left(i\right)\\ w_{2,S,B}\left(i\right)\end{array}\right)$ (式10)

其次，通过将基色R^～、G^～、B^～舍入为下一个整数，从而分别成为原来的R、G、B基色的值域。

在本实施例中，逆转换系数是作为色彩空间转换系数的s_A、s_C、s_S、m_A、m_C、m_S，以及作为滤光系数的w_1，A，R、w_1，A，G、w_1，A，B、w_1，C，R(i)、w_1，C，G(i)、w_1，C，B(i)、w_1，S，R(i)、w_1，S，G(i)、w_1，S，B(i)、w_2，A，R、w_2，A，G、w_2，A，B、w_2，C，R(i，j)、w_2，C，G(i，j)、w_2，C，B(i，j)、w_2，S，R(i，j)、w_2，S，G(i，j)、w_2，S，B(i，j)。

通过使原来的基色R、G、B与解码后基色R、G、B之间的平均平方误差成为最小，从而预测滤光系数。根据该基准，能够确实计算所有的滤光系数。

例如，为了降低彩色格式逆转换系数的传输所需要的数据率，以哈夫曼(Huffman)编码、哥伦布(Golomb)编码、指数哥伦布(exponential Golomb)编码、算术编码或除此以外的可变长编码方法，由系数编码部460对所述的系数进行编码，并从通道140被输出，以作为编码彩色格式逆转换系数461。并且，根据需要，也可以通过检查和、或前向纠错编码来保护数据。

编码数据401以及编码彩色格式逆转换系数402，通过通道140被传输，并由图像解码装置20接收。图4B所示的图像解码装置20包括解码部470、彩色格式逆转换部480以及系数解码部490。

编码彩色格式逆转换系数402由系数解码部490解码，彩色格式逆转换系数491被提供到彩色格式逆转换部480。接收的编码数据401由H.264/AVC的解码部470解码，解码后的图像数据471被提供到彩色格式逆转换部480。而且，如上所述，利用接收的彩色格式逆转换系数491，进行彩色格式逆转换。对于上采样和色彩空间逆转换，在本实施例中，在彩色格式逆转换的单一步骤进行，但也可以分别进行。并且，也可以仅进行上采样以及色彩空间逆转换的任一方。在此情况下，有时分别需要用于色彩空间逆转换的系数和用于上采样的系数。然后，以舍入后的基色R^～、G^～、B^～来表示的图像数据481被传输到显示器170。

图6A以及图6B示出本发明的其它的实施例涉及的包括彩色格式的转换以及逆转换的传输电路的方框图。在此，图6A示出发送一侧的图像编码装置10，图6B示出接收一侧的图像解码装置20。并且，图7A是示出图6A的图像编码装置10的工作的流程图，图7B是示出图6B的图像解码装置20的工作的流程图。

图6A所示的图像编码装置10包括彩色格式转换部600、编码部130、解码部450、色彩空间预测部630、插值滤光系数预测部640、色彩空间逆转换预测部650、上采样-插值部660以及辅助信息编码部670。并且，彩色格式转换部600包括色彩空间转换部610以及滤光-子采样部620。

色彩空间预测部630，根据从照相机110获得的原图像(彩色图像)111的特性，计算色彩空间转换系数。色彩空间转换部610，根据色彩空间预测部630计算出的色彩空间转换系数，将原图像数据111的色彩空间从第一色彩空间转换为与第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像。滤光-子采样部620，除去色彩空间转换后彩色图像中包含的样本的一部分，从而生成采样后彩色图像。

编码部130，对采样后彩色图像进行编码，从而生成编码后彩色图像。解码部450，对编码后彩色图像进行解码，从而生成解码后彩色图像。上采样-插值部660，对解码后彩色图像的样本进行插值，从而生成插值后彩色图像。

插值滤光系数预测部640，计算用于对样本进行插值的上采样处理的上采样系数。更具体而言，计算上采样系数，以使得解码后彩色图像与所述色彩空间转换后彩色图像之间的平均平方误差成为最小。

色彩空间逆转换预测部650，计算用于将色彩空间从第二色彩空间逆转换为第一色彩空间的色彩空间逆转换系数。具体而言，将插值后彩色图像的色彩空间从第二色彩空间逆转换为第一色彩空间，从而生成色彩空间逆转换后彩色图像。而且，计算色彩空间逆转换系数，以使得色彩空间逆转换彩后色图像与彩色图像之间的平均平方误差成为最小。

辅助信息编码部670，对包含上采样系数、色彩空间逆转换系数以及色彩空间转换系数的辅助信息进行编码，从而生成编码后辅助信息。而且，该图像编码装置10，将编码后彩色图像以及编码后辅助信息输出到通道140。

在此，分别预测色彩空间逆转换的逆转换系数和插值滤光的逆转换系数。与此相对应，在逆转换一侧，与色彩空间逆转换分开进行上采样以及插值滤光。参照图6A以及图7A，说明图像编码装置10的工作。

与图4A以及图4B示出的处理相同，照相机110提供RGB4:4:4格式的原图像数据111(S11)。该原图像数据111，在色彩空间预测部630被用于色彩空间预测，在此决定转换矩阵T_KLT。而且，进行预测的转换后，输入的原图像数据111的色彩空间，在色彩空间转换部610被转换为与决定的转换相对应的自适应色彩空间的图像数据611(S12)。被色彩空间转换为ACS4:4:4彩色格式的图像数据611，其次，在滤光-子采样部620被进行滤光以及子采样，从而成为ACS4:2:0彩色格式的图像数据621(S13)。ACS4:4:4彩色格式的图像数据621，由H.264/AVC的编码部130编码(S14)，并被传输到解码部450，以作为编码数据622(S15)。

解码后，得到的数据被用于插值滤光系数预测部640(S16)。有时预测插值滤光为维纳滤光。在此情况下，使进行了上采样以及插值的ACS4:2:0彩色格式的解码图像数据与ACS4:4:4彩色格式的图像数据611之间的平均平方误差成为最小，从而预测滤光系数。也可以采用其它的预测基准。例如，也可以使数据率以及平均平方误差的拉格朗日成本(Lagrangiancosts)成为最小。利用预测的滤光系数，在上采样-插值部660对图像数据进行采样并插值。并且，上采样后的图像数据，也在色彩空间逆转换预测部650被用于色彩空间逆转换的预测(S17)。色彩空间逆转换预测部650，除了利用ACS4:4:4彩色格式的解码图像数据以及RGB4:4:4彩色格式的原图像数据111以外，还利用由色彩空间预测部630预先决定的色彩空间转换参数，进行预测。据此，也可以使RGB4:4:4彩色格式的解码图像数据与RGB4:4:4彩色格式的原图像数据之间的平均平方误差成为最小，从而预测色彩空间逆转换系数。而且，插值滤光系数以及色彩空间逆转换系数，由辅助信息编码部670编码(S18)，并与编码数据622一起被传输，以作为编码辅助信息671(S19)。

如图6B所示，接收一侧的图像解码装置20包括解码部470、辅助信息解码部675、上采样-插值部680以及色彩空间逆转换部690。该图像解码装置20，通过通道140获得编码后彩色图像以及编码后辅助信息。解码部470，对编码后彩色图像进行解码，从而生成解码后彩色图像。辅助信息解码部675，对编码后辅助信息进行解码，从而生成解码后辅助信息。

上采样-插值部680，利用上采样系数，对解码后彩色图像的样本进行插值，从而生成插值后彩色图像。色彩空间逆转换部690，利用色彩空间逆转换系数，将插值后彩色图像的色彩空间从第二色彩空间逆转换为第一色彩空间，从而生成彩色图像。

参照图6B以及图7B，说明图像解码装置20的工作。首先，通过通道140，获得编码数据601以及编码辅助信息602(S21)。编码数据601，由解码部470解码，从而成为图像数据603(S22)。另一方面，编码辅助信息602，由辅助信息解码部675解码，从而成为插值滤光系数604以及色彩空间逆转换系数605(S23)。插值滤光系数604，与由解码部470对编码数据601进行解码而得到的图像数据603一起，被提供到上采样-插值部680。利用该插值滤光系数604，进行图像数据603的插值滤光(S24)。其结果为，得到ACS4:4:4色彩空间的图像数据，对其，在色彩空间逆转换部690利用色彩空间逆转换系数605，还进行色彩空间逆转换(S25)。而且，将如此得到的图像显示在显示器170(S26)。

图8A以及图8B示出本发明涉及的彩色格式的转换部以及逆转换部的结构的其它的例子。在此，图8A示出发送一侧的图像编码装置10，图8B示出接收一侧的图像解码装置20。

在本实施例中，由标准的色彩空间转换部710进行色彩空间转换，而取代自适应色彩空间转换。在此，由色彩空间转换部710将RGB4:4:4彩色格式转换为YUV4:4:4彩色格式，但也可以是其它的色彩空间。

图8A示出的图像编码装置10包括编码部130、解码部450、色彩空间转换部710、滤光-子采样部720、插值滤光系数预测部730以及辅助信息编码部740。

在该例子中，由照相机110提供的原图像数据111，由色彩空间转换部710转换为YUV4:4:4彩色格式。得到的图像数据711，其次，在滤光-子采样部720被进行滤光并子采样，从而成为YUV4:2:0格式的图像数据721，然后，将其由H.264/AVC的编码部130编码。编码数据722，其次，由解码部450解码后，在插值滤光系数预测部730被用于插值滤光系数的预测。与所述的实施例相同，该预测也可以是维纳预测，该维纳预测使图像数据711与解码图像数据之间的平均平方误差成为最小，从而预测系数。并且，也可以采用其它的线性或非线性预测方法。根据需要，也可以将RGB以外的色彩空间中的插值滤光系数以及色彩空间逆转换系数最佳化，例如，也可以将YUV色彩空间中的插值滤光系数以及色彩空间逆转换系数最佳化。

预测的插值滤光系数731，然后，由辅助信息编码部740编码，并与编码数据722一起被传输，以作为编码辅助信息741。

如图8B所示，接收一侧的图像解码装置20包括解码部470、上采样-插值部750、辅助信息解码部760以及色彩空间逆转换部770。编码数据701，由H.264/AVC的解码部470解码，从而成为图像数据703。并且，与编码数据701一起接收的编码辅助信息702，由辅助信息解码部760解码，从而成为插值滤光系数704。而且，上采样-插值部750，利用图像数据703以及插值滤光系数704，进行上采样并插值滤光。上采样后，由标准的色彩空间逆转换部770，将YUV4:4:4的图像数据751转换为RGB4:4:4色彩空间的图像数据771。然后，将RGB4:4:4的图像数据771显示在显示器170。

图9示出本发明涉及的其它的实施例。在此，彩色格式转换部310以及决定部320是图像编码装置10的构成要素，图像编码装置10还包括图像压缩部830。也可以将本发明涉及的彩色格式的转换，包含在例如H.264/AVC、DIRAC、JPEG2000、此后的各个标准等的图像标准或影像标准中，以作为任意或必须的特征。并且，也可以是作为专利产品的视频编码器的一部分。而且，也可以提供彩色格式逆转换系数321，以作为包含压缩影像、压缩影像的解码所需要的信息要素以及色彩空间参数的编码视频流的一部分。可以将彩色格式逆转换系数321包含在包含视频数据信息的数据包中来发送，也可以将彩色格式逆转换系数321作为辅助信息，并以其它的数据包中来发送。据此，进一步，也可以利用哥伦布(Golomb)编码、指数哥伦布(exponential Golomb)编码、算术编码、哈夫曼(Huffman)编码等的熵编码，或者，利用除此以外的熵编码，来对彩色格式逆转换参数进行编码。对于利用的熵编码，可以是与对与图像数据以及/或影像数据有关的信息要素进行编码时利用了的熵编码相对应的熵编码，也可以是为了利用于色彩空间逆转换参数而特别设计、且适应于其统计值的熵编码。

与此相对应，彩色格式逆转换部330以及图像扩展部850是图像解码装置20的构成要素。彩色格式逆转换系数322是视频流的一部分、还是其它的辅助信息，这是根据所述的图像编码装置10而不同的，但是，从通道140与图像/影像数据一起获得彩色格式逆转换系数322。进而，它们被进行熵解码后，与从通道140获得且由图像扩展部850扩展后的图像数据312一起被提供到彩色格式逆转换部330。图像的扩展是，通过影像解码装置或图像解码装置的当前或将来的标准产品或专利产品来能够执行的。具体而言，对于解码部，可以考虑H.264/AVC、DIRAC、JPEG2000。

在此，对于彩色格式的转换或逆转换，根据所述实施例中的任一个进行即可，也可以包含色彩空间的转换以及/或插值滤光的预测。

根据本发明的其它的实施例，并且根据图9，彩色格式逆转换系数321，通过通道140被传送，并且被提供到图像压缩部830。同样，在接收一侧的图像解码装置20，从通道140获得的彩色格式逆转换系数322，被提供到彩色格式逆转换部330，并且也被提供到图像扩展部850。对于该特征，即，对于彩色格式逆转换系数321的向图像编码装置10以及/或图像解码装置20的提供，当然可以适用于图3、图4A、图4B、图6A、图6B、图8A以及图8B示出的所述实施例中的任一个，也可以适用于本发明的其它的实施例。尤其优选的是，在图像压缩部830进行时间上的预测时，将彩色格式逆转换系数321给图像压缩部830。例如，在预测帧的色彩空间与参考帧的色彩空间不同等的情况下，即，在相同图片组内的色彩空间不同的情况下，为了容易进行预测，而需要由编码装置进行色彩空间的转换以及逆转换。因此，需要彩色格式逆转换系数321。

同样，在图像解码装置20一侧，为了对一边在相同图片组内使彩色格式变化一边进行时间上的预测而编码后的视频流进行解码，而也需要将彩色格式逆转换系数322提供到图像扩展部850。

所述的各个结构可以适用于图像数据或影像数据的不同部分。例如，彩色格式逆转换系数也可以是，针对宏块、宏块组、片、场、图片、图片组等的图像或影像的一部分而决定的。决定系数的对象部分越小，就越能够进行适应于输入图像且适应于对象部分相互之间的转换以及逆转换。另一方面，为了传输彩色格式系数，而需要提高率，因此，根据情况，也可以找出不变更系数的影像部分的最佳尺寸。该最佳条件，可以根据用途不同，也可以根据编码设定不同。可以使决定系数的部分固定还是可变。例如，也可以是，在使色彩空间不同，以及/或，进行插值，从而图像/影像内容发生变化时等需要的情况下，发送彩色格式逆转换系数。

决定以及/或提供彩色格式逆转换系数的频度，并不一定需要与色彩空间系数以及插值滤光系数的情况相同。优选的是，在影像的一部分，例如在图片组内，存在以下的情况，即，若色彩空间不变化，则传输用于对更小的部分进行插值以及采样的参数。

在影像的预测编码(由H.264/AVC规定的预测编码等)的情况下，可以将用于预测当前图片的参考图片转换为与当前图片相同的色彩空间，以用于预测。

在利用H.264/AVC的编码装置以及解码装置的编码方法的情况下，也可以以H.264/AVC标准的所谓补充增强信息(SEI)消息来传输彩色格式转换系数。

在CCD/CMOS照相机的采样格子是按照拜耳模式的采样格子等不是一般的4:4:4采样格子的情况下，可以将位于相同位置的RGB样本也用于彩色格式转换系数的预测。也可以将与照相机内的RGB信号的原来的采样格子有关的信息编码并发送到接收器。在此，可以进行示出多个规定的采样格子中的一个采样格子的指示符的编码以及传输。并且，也可以进行与采样格子有关的所有的信息的编码以及传输。这事宜，在采样格子不是规定的采样格子时有效的。

进而，也可以决定用于进行从第一色彩空间转换为第二色彩空间的色彩空间转换、且将色彩空间从第二色彩空间逆转换为第一色彩空间的彩色格式逆转换系数。在显示器使用与彩色格式转换输入数据的色彩空间不同的色彩空间的情况下，有时，该方法是合适的。

在所述的实施例中，说明了图像数据或影像数据的发送以及接收，但是，对于存储以及读出，也可以同样参照所述的所有的实施例。在这些情况下，通道140是硬盘、光介质、磁介质、USB棒等的闪存等的存储介质。

(其它变形例)

而且，根据所述的各个实施例说明了本发明，但是，当然本发明不仅限于所述的各个实施例。本发明还包括以下的情况。

具体而言，所述的各个装置是由微处理器、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。所述RAM或硬盘单元存储有计算机程序。所述微处理器根据所述计算机程序来工作，从而各个装置实现其功能。在此，为了实现规定的功能，组合示出对计算机的指令的多个指令码来构成计算机程序。

构成所述的各个装置的构成要素的一部分或全部，可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成要素集成在一个芯片上而制造的超多功能LSI，具体而言，包含微处理器、ROM、RAM等来构成计算机系统。所述RAM存储有计算机程序。所述微处理器根据所述计算机程序来工作，从而系统LSI实现其功能。

构成所述的各个装置的构成要素的一部分或全部，可以由与各个装置可拆卸的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包含所述的超多功能LSI。微处理器根据计算机程序来工作，从而所述IC卡或所述模块实现其功能。该IC卡或该模块也可以具有防窜改性。

本发明，也可以是所述的方法。并且，也可以是通过计算机实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。

并且，本发明也可以是由计算机能够读入所述计算机程序或所述数字信号的记录介质所记录的，例如，由软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc：蓝光光盘)、半导体存储器等记录。并且，也可以是这些记录介质所记录的所述数字信号。

并且，本发明，也可以将所述计算机程序或所述数字信号经由电通信电路、无线或有线通信电路、以互联网为代表的网络、数据广播等传输。

并且，本发明也可以是包括微处理器和存储器的计算机系统，所述存储器存储有所述计算机程序，所述微处理器根据所述计算机程序来工作。

并且，也可以是，通过将所述计算机程序或所述数字信号记录并转送到所述记录介质，或者，通过将所述计算机程序或所述数字信号经由所述网络等转送，从而由独立的其它的计算机系统来实施。

也可以将所述实施例以及所述变形例分别组合。

以上，参照附图说明了该发明的实施例，但是，该发明不仅限于以图示出的实施例。对于以图示出的实施例，可以附加与该发明的范围相同的范围内的、或与该发明的范围均等的范围内的各种修改或变形。并且，只要不脱离本发明的目的，就可以任意组合所述的各个实施例。

本发明有效地利用于图像编码方法(装置)以及图像解码方法(装置)。

符号说明

10图像编码装置

20图像解码装置

110照相机

111原图像数据

120、410、610、710色彩空间转换部

121、151、161、211、221、311、312、331、411、421、451、471、481、603、611、621、711、721、703、751图像数据

130编码部

131、401、601、622、701、722编码数据

140通道

150、450、470解码部

160、690、770色彩空间逆转换部

170显示器

201、310、400、600彩色格式转换部

202、330、480彩色格式逆转换部

210、420、620、720滤光-子采样部

220、660、680、750上采样-插值部

320决定部

321、322、491彩色格式逆转换系数

402、461编码彩色格式逆转换系数

430、630色彩空间预测部

440系数预测部

460系数编码部

490系数解码部

602、671、702、741编码辅助信息

604、704、731插值滤光系数

605色彩空间逆转换系数

640、730插值滤光系数预测部

650色彩空间逆转换预测部

670，740辅助信息编码部

675、760辅助信息解码部

830图像压缩部

850图像扩展部

Claims (12)

1.一种图像编码方法，对彩色图像进行编码，包括：

色彩空间转换步骤，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；

子采样步骤，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；

编码步骤，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；

上采样系数计算步骤，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；

色彩空间逆转换系数计算步骤，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及

输出步骤，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

2.如权利要求1所述的图像编码方法，

该图像编码方法，还包括：

解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；以及

上采样步骤，对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；

在所述上采样系数计算步骤，计算所述上采样系数，以使得所述解码后彩色图像与所述色彩空间转换后彩色图像之间的平均平方误差成为最小。

3.如权利要求2所述的图像编码方法，

该图像编码方法还包括色彩空间逆转换步骤，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成色彩空间逆转换后彩色图像；

在所述色彩空间逆转换系数计算步骤，计算所述色彩空间逆转换系数，以使得所述色彩空间逆转换后彩色图像与所述彩色图像之间的平均平方误差成为最小。

4.如权利要求1所述的图像编码方法，

该图像编码方法还包括色彩空间预测步骤，根据所述彩色图像的特性，计算色彩空间转换系数；

在所述色彩空间转换步骤，根据在所述色彩空间预测步骤计算出的所述色彩空间转换系数，将所述彩色图像的色彩空间从所述第一色彩空间转换为所述第二色彩空间；

在所述输出步骤，还输出所述色彩空间转换系数。

5.如权利要求4所述的图像编码方法，

该图像编码方法还包括辅助信息编码步骤，对包含所述上采样系数、所述色彩空间逆转换系数以及所述色彩空间转换系数的辅助信息进行编码，从而生成编码后辅助信息；

在所述输出步骤，输出所述编码后彩色图像以及所述编码后辅助信息。

6.一种图像解码方法，对彩色图像进行解码，包括：

获得步骤，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；

解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；

上采样步骤，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及

色彩空间逆转换步骤，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

7.一种图像编码装置，对彩色图像进行编码，具有：

色彩空间转换部，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；

子采样部，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；

编码部，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；

上采样系数计算部，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；

色彩空间逆转换系数计算部，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及

输出部，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

8.一种图像解码装置，对彩色图像进行解码，具有：

获得部，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；

解码部，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；

上采样部，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及

色彩空间逆转换部，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

9.一种程序，使计算机对彩色图像进行编码，该程序包括：

色彩空间转换步骤，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；

子采样步骤，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；

编码步骤，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；

上采样系数计算步骤，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；

色彩空间逆转换系数计算步骤，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及

输出步骤，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

10.一种程序，使计算机对彩色图像进行解码，该程序包括：

获得步骤，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；

解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；

上采样步骤，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及

色彩空间逆转换步骤，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

11.一种集成电路，对彩色图像进行编码，具有：

色彩空间转换部，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；

子采样部，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；

编码部，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；

上采样系数计算部，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；

色彩空间逆转换系数计算部，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及

输出部，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。

12.一种集成电路，对彩色图像进行解码，具有：

获得部，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数；

解码部，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；

上采样部，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及

色彩空间逆转换部，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。

Images