CN102763417B - 单独地针对每个色彩平面的视频编码器、视频解码器、视频编码方法和视频解码方法 - Google Patents

Abstract

如今，高保真视频编码趋向于采用RGB编码以直接降低RBG色间冗余而无色彩空间转换。已知方法使用基于块的色间补偿算法以通过定义每个编码块内的色彩平面之间的关联为斜率和偏移参数的线性模型来移除RGB色彩平面上的色间冗余，编码基础平面块，然后从该基础平面块中预测其他两个色块。但是，对于大多数编码块，成分块内的纹理变化非常大。用于改进的视频编码的新方法使用基色成分块的适应性分段、其他色彩成分块的对应分段以及预测每个片段的各个斜率和偏移参数。

Description

单独地针对每个色彩平面的视频编码器、视频解码器、视频编码方法和视频解码方法

技术领域

本发明涉及视频编码和视频解码，其中独立地编码/解码不同的色彩平面（colourplane）。

背景技术

高保真视频编码趋向于采用RGB编码，直接降低RGB色间冗余（inter-colorredundancy）而无外部色彩空间转换。对于高分辨率（HD）和精确清晰度的饱和度和色调，RGB编码是所期待的。已经开发了在RGB色彩空间中支持4:4:4格式的多个编码工具以改进RGB域4:4:4视频编码效率。例如，Woo-ShikKim、DmitryBirinov和HyunMunKim在2004年7月提出的“ResidueColorTransform（残余色彩变换）”（ISO/IECJTC1/SC29/WG11和ITU-TQ6/SG16，文献JVT-L025）对4:4:4RGB编码使用残余色彩变换，其首先依照和H.264/AVC相同的过程对红（R）、绿（G）和蓝（B）做内/间预测，然后对残余色彩变换采用YCoCg-R色彩变换。这具有色彩残余变换生成大量色彩失真的缺点。

已经提出一些方法以避免源自色彩空间转换的色彩失真。上述相同作者在2003年5月的“ColorFormatExtension（色彩格式扩展）”（ISO/IECJTC1/SC29/WG11和ITU-T/Q6/SG16，文献JVT-H018）中以及在2003年12月的“Inter-planePredictionforRGBCodingII（RGB编码II的平面间预测）”（ISO/IECJTC1/SC29/WG11和ITU-TQ6/SG16，文献JVT-J017）中提出用于RGB编码的平面间预测（IPP，inter-planeprediction）编码方法。在此提议中，首先对三种色彩成分完成内/间预测，然后使用重建的G平面残余作为每一个R和B残余的预测值（predictor）块。最后，和G残余一样，所预测的R残余和B残余依照现有JVT规范的相同的编码过程。IPP编码避免了源自色彩空间变换的色彩失真以及编码错误传播（propagation）。但是，存在以下一些情况：在内/间预测之后会减少色彩成分间的关联性。在这样的情况下，IPP惨淡地工作。

在另一提议中，ByungCheolSong、YunGuLee和NakHoonKim在2008年10月发表的“BlockAdaptiveInter-ColorCompensationAlgorithmforRGB4:4:4VideoCoding”（IEEETrans.Circuitsandsystemsforvideotechnology,vol.18,no.10,pp.1447-1451）提出一种基于块的色间补偿算法用以在用于视频编码的RGB色彩平面上移除色间冗余。它将在每个编码块内的色彩平面间的关联定义为斜率（slope）和偏移参数的线性模型，使用H.264/AVC标准编码基色平面块，然后进行加权预测以从基色（basecolor）平面块估计另外两个色彩块。它使用单一的公共H.264内预测来预测像素值用以针对B/R平面中的所有块计算它的所定义的线性模型中的偏移。但是，此预测值的精度通常较差，且因此降低线性预测的准确性。

进一步，Yong-HwanKim、ByeonghoChoi和JoonkiPaik于2009年7月在“High-FidelityRGBVideoCodingUsingAdaptiveInter-PlaneWeightedPrediction”（IEEETrans.Circuitsandsystemsforvideotechnology,vol.19,no.7,pp.1051-1056）中提出在编码块中使用G/B、G/R和B/R平面之间的平面内和平面间关联。对于这两种途径，每个色彩成分块内的全部子块共享单一斜率值。这是基于以下假设：当前块内的色彩成分的纹理是同质的（homogeneous）并强烈地关联着。但是，对于大多数编码块，成分块内的纹理变化相当大。

发明内容

已发现，通过对成分块的自适应（adaptive）片段使用各自的斜率和偏移参数而不是单一的斜率参数，可以改进预测诸如宏块之类的成分块的编码效率。通过边沿检测确定适应性片段，从而每个片段具有比完整成分块更同质的或更类似的纹理。

本发明使用此识别，原因在于，对基色平面的图片单元定义色彩平面、进行纹理分段，其中在该图片单元内确定相对类似/同质纹理的一个或多个区域，向图片单元的余留色彩平面中的至少一个应用该纹理区域，且从基色平面的对应区域中线性地预测该余留色彩平面的每个区域。图片单元或图像单元是例如块、宏块（MB）、帧或完整图片。大体上，这些MB可以具有任何大小或形状。通常，MB是正方形且具有16×16个像素。注意，“区域”和“片段”在此作为等效物使用。

在一个方面，一种用于在图像单元层面上对每个色彩平面独立地编码视频的方法包括以下步骤：选择基色平面，编码和重建图像单元的基色平面，在重建的图像单元的基色平面上进行纹理分段，其中确定至少两个纹理片段，使用为基色而确定的纹理片段，将图像单元的至少一个其他色彩平面分离为纹理片段。进一步的步骤是：对于每个纹理片段或区域，确定重建的基色平面和至少一个其他色彩平面之间的线性关联（从亮度或强度方面）；基于为各自的纹理片段所获得的所述线性关联，从图像单元的基色平面的对应纹理片段的像素中，预测在图像单元的所述至少一个其他色彩平面的纹理片段中的像素；确定残余（例如，通过比较所预测的像素和原始像素并将差别确定为残余）；和编码定义线性关联的残余和信息。可以通过加权因子和偏移表示所述关联，但是大体上，也可以使用定义线性关联的其他值。

对图像部分或对图像或图像序列可以选择基色平面。在一个实施例中，编码图像单元的基色平面的步骤使用预测性内编码。在另一实施例中，基于先前重建的编码/解码图像使用间编码（inter-coding）来编码基色平面。

在另一方面，用于在图像单元层面（即，宏块、帧或图片）上单独地编码色彩平面的视频编码器包括：

选择器，用于为图像单元、图像或图像序列选择基色平面，

编解码器，用于编码并重建图像单元的基色平面，

分段单元，用于在重建的图像单元的基色平面上进行纹理分段，其中确定至少两个纹理片段，

分离器，用于将图像单元的其他色彩平面的至少一个分离为纹理片段，其中使用为基色而确定的纹理片段，

关联器，用于对每个纹理片段确定重建的基色平面和至少一个其他色彩平面之间的（亮度或强度）关联，其中获得定义线性关联的值，

预测性编码器，具有用于基于定义线性关联并为此特定纹理片段获得的所述值，从基色平面的对应纹理片段的像素中预测在图像单元的所述至少一个其他色彩平面的纹理片段中的像素的预测值，并具有用于确定残余的鉴别器，例如用于比较其他色彩平面的原始像素和所预测像素并确定差别为残余的比较器，

以及

编码器，用于编码定义线性关联的残余和信息。

在一个实施例中，编码并重建图像单元的基色平面的编解码器进行内编码。

在另一方面，一种对不同色彩平面单独地解码在图像单元层面上编码的视频数据的方法，其中图像单元是例如块、宏块、帧或图片，所述方法包括以下步骤：

从编码的视频数据中提取包括图像单元的编码的基色平面的数据的第一数据块；

从编码的视频数据中提取包括所述图像单元的编码的第二色彩平面的数据的第二数据块，并从编码的视频数据中提取定义至少两个线性关联函数的权重因子和偏移的关联数据；

内解码第一数据块，其中获得重建的基色平面；

对重建的图像单元的基色平面进行纹理分段，其中确定至少两个纹理片段；

使用为基色平面而确定的纹理片段，将图像单元的至少第二色彩平面分离为至少两个纹理片段；

对第二色彩平面的至少两个纹理片段的每一个，从定义权重因子和偏移的所述数据中确定重建的基色平面和第二色彩平面之间的强度关联函数；

使用为片段而确定的各自关联函数从基色平面的各自纹理片段中预测第二色彩平面的至少两个纹理片段的每一个；以及

重建第二色彩平面的图像单元，其中将从第二数据块中提取的残余数据与第二色彩平面的所述预测纹理片段组合。

在一个实施例中，从图像单元的编码视频数据中提取的第一数据块包括内编码基色平面的数据。

在另一方面，一种用于对不同色彩平面单独地解码在图像单元层面上编码的视频数据的视频解码器，包括：

第一提取装置，用于从编码的视频数据中提取包括图像单元的编码基色平面的数据的第一数据块，

第二提取装置，用于从编码的视频数据中提取包括所述图像单元的编码第二色彩平面的数据的第二数据块，以及第三提取装置，用于从编码的视频数据中提取定义至少两个线性关联函数的权重因子和偏移的关联数据，

第一编解码器，用于内编码第一数据块，其中获得重建的基色平面，

分段单元，用于在重建的图像单元的基色平面上进行纹理分段，其中确定至少两个纹理片段，

分段应用单元，用于使用为基色平面而确定的纹理片段，将图像单元的至少第二色彩平面分离为至少两个纹理片段，

确定单元，用于对于第二色彩平面的至少两个纹理片段的每一个，从定义权重因子和偏移的所述数据中确定重建的基色平面和第二色彩平面之间的强度关联函数，

预测单元，用于使用为片段而确定的各自关联函数，从该基色平面的各自纹理片段中预测第二色彩平面的至少两个纹理片段的每一个，和

重建单元，用于重建第二色彩平面的图像单元，其中从第二数据块中提取的残余数据与第二色彩平面的所述预测纹理片段组合。

在一个实施例中，从图像单元的编码的视频数据中提取的第一数据块包括内编码基色平面的数据，且第一编解码器包括用于内解码的解码器。

本发明的有利实施例在从属权利要求、下列描述和附图中公开。

附图说明

参考如下所示的附图描述本发明的示例性实施例，

图1示出在MB中的R和G成分之间的示例性关联；

图2示出示例性16×16MB的纹理分段的G、R和B色彩平面；

图3示出编码的方块图；

图4示出在MB层面或帧层面上编码B平面的流程图；

图5示出编码器的结构；

图6示出可替代编码器的结构；

图7示出解码器的结构；和

图8示出可替代解码器的结构。

具体实施方式

基本纹理冗余存在于图片的G、R和B成分之间，因为色彩成分中的纹理分布是互相很类似的。在大多数情形下，单一块内的纹理区别很大，从而在块中总是存在多个不同的纹理区域。因为，例如现有的JVT规范将帧分为多个MB并独立地编码每个MB，我们调查了MB基础上的色彩成分间的关联。图1说明在高清晰度视频帧中的两个示例性MB（是著名的“交通”序列的第一帧中的第28、26MB）的R和G成分之间的色间关联。此MB的R和G成分高度关联，主要依照两个关联组c1、c2中的一个。此MB内的数据基于不同纹理分布，主要分为具有不同斜率的两部分。此外，可见的是，每个部分在R和G成分间具有强烈的关联。本发明通过使用基色成分预测其他成分来移除大量的此纹理冗余。在内编码阶段期间，对色彩成分内的每个纹理区域，预测可以使用单独加权的参数。因此，本发明避免了由色彩空间转换所生成的色彩失真，移除在（通常三个）色彩成分间存在的纹理冗余，并充分地使用不同色彩成分的纹理关联。

在下列实施例中，本发明提出基于纹理的自适应色间预测途径以对RGB4:4:4格式帧内编码，其将绿色（G）成分视为基色成分并从该G成分中预测红色和蓝色（R/B）成分。预测对不同纹理区域使用不同的权重因子。所提出的方案可以在不同的层面（例如，MB（16×16像素块）层面和帧层面）上实现。这里注意到的是，也可以在其他MB大小（诸如8×16、32×32、64×64等）上使用本发明。图片单元不应该小于8×8像素，因为这样下面所述的分段将十分困难。

在实施例中，依照和现有JVT规范中的MB层面所使用的相同的内预测方法编码GMB。在编码和重建该GMB之后，然后使用重建的GMB以进行纹理分段，生成一个或多个纹理区域。此后，将R和BMB分离为与G成分相同的纹理区域，且从对应的G纹理区域中的像素预测每个纹理区域中的像素。预测使用对每个纹理区域各自确定的特定预测权重因子。

在另一实施例中，依照和现有JVT规范中的帧层面所使用的相同的内预测方法编码G平面。基于纹理分布，将重建的G平面（其具有帧大小）分离为自适应数量的区域。此后，将R和/或B平面（具有帧大小）分离为与G平面相同的纹理区域。然后，从G块（MB大小）的对应区域中的像素预测（MB大小的）R/B块的纹理区域中的像素。

即，可以在诸如MB或帧的各种图片单元上进行纹理分段。可以使用边缘检测和/或其他著名的图像分析方法，并生成或者更确切地说识别一个或多个纹理区域。

以下，描述MB层面上的纹理分段的实施例。如H.264/AVC中，以G平面、B平面和R平面的顺序示例性地编码色彩成分。即，G是基色平面。在其他实施例中，其他序列顺序是可能的。由许多MB构成的基色平面是在第一阶段中依照H.264/AVC中指定的内预测方法编码的。此后，对对应的重建GMB完成纹理分段。然后，准备编码由与G和R平面相同数量的MB构成的B平面。选择对应的BMB作为当前MB。当谈及“对应的”像素、块或MB时，我们指具有和当前像素、块或MB相同坐标的像素、块或MB。

然后，将当前BMB分离为纹理区域，即MB的每个像素关联着一个区域。例如，这可以通过用基于基色平面的不同纹理区域的不同的区域记号标记区域来实现。例如，如果在基于纹理的分段之后将当前GMB分离为K区域，且用如图2a）所示的标识符R₁、R₂、…R_k标记每个区域，则然后在图2b）中所示的一个实施例中，将对应的B和/或RMB分离为相同的区域。在其他实施例中，使用基色平面的分段作为一个或多个其他色彩平面的渐增式改进的基础，这可能要求额外的简化的或完整的纹理分析。在简单实施例中，全部色彩平面直接地重新使用基色平面的分段，诸如图2c）中所示的纹理区域。例如，第一区域R₁覆盖G平面R_1g、B平面R_1b和R平面R_1r中的相同像素。

所提出的预测方案可以可替代地在两个或更多层面，至少MB层面（16×16像素）和帧层面（帧大小）上实现。图3示出所提出的通道间预测架构的一些方面的方块图。例如，选择G作为基色平面，以及使用共H.264内预测内编码GMB和然后重建。在将已编码MB传递给诸如DCT的进一步的编码步骤的时候，也将重建的基色平面输入到基于纹理的分段72，其导致上面所说明的区域。基于纹理的分段72取得重建的基色平面的MB或全部帧作为其输入。在一个实施例中，提供开关单元SW以在不同输入部分之间选择。然后，向其他色彩平面B、R应用分段，为此然后进行如下所述的基于纹理的内预测。

如上所述，认为不同色彩平面之间的关联是大体线性的。该关联用被用于线性预测的线性关系表示。这样的线性关系具有通用形式

b＝s＊g+o(1)

这意味着，例如蓝色像素b的强度可以通过对应绿色像素g（此处是基色平面像素）的强度乘以斜率s并具有附加偏移o来表达。在编码蓝色像素中，从基色平面进行预测，该基色平面每个区域和预测的色彩平面具有独立的斜率和偏移，例如，蓝色平面区域的s_b1和o_b1被表示为“1”。然后，通过确定残余（即，所预测的像素和实际像素之间的区别）编码蓝色像素。对于蓝色像素的重建，这足以具有对应的重建的基色像素、残余和当前片段的斜率和偏移。

使b（i，j）和b_p（i，j）分别是原始蓝色像素的强度及其预测值。使用下列线性模型以预测当前BMB的像素值：

$b_p(i,j)=s_{B_k}\×g_{\mathrm{rec}}(i,j)+o_{B_k}---\left(2\right)$

其中，g_rec(i,j)是对应的GMB的重建像素，和表示当前BMB中区域k的线性模型的斜率和偏移参数。将蓝色MB及其预测值之间的残余能量J定义为

$J=\underset{k={\mathrm{region}}_I}{\overset{{\mathrm{region}}_K}{\mathrm{\Σ}}}{J}_k---\left(3\right)$

$J_k=\mathrm{\Σ\Σ}{(b(i,j)-b_p(i,j))}^2=\mathrm{\Σ\Σ}{(b(i,j)-(s_{B_k}\×g_{\mathrm{rec}}(i,j)+o_{B_k}))}^2,$

其中(i，j)εregion_k(4)

其中，J_k是当前蓝色MB中的region_k的像素及其预测值之间的残余能量。通过最小化每个J_k可以取得最小化的残余能量J。通过使用偏微分以最小化J_k，如下计算最优的斜率和偏移

$s_{B_k}=\frac{\underset{(i,j)\∈{\mathrm{region}}_k}{\mathrm{\Σ}}(g_{\mathrm{rec}}(i,j)-\stackrel{\‾}{g_{\mathrm{reck}}})\×(b(i,j)-\stackrel{\‾}{b_k})}{\underset{(i,j)\∈{\mathrm{region}}_k}{\mathrm{\Σ}}{(g_{\mathrm{rec}}(i,j)-\stackrel{\‾}{g_{\mathrm{reck}}})}^2},$ $o_{B_k}=\stackrel{\‾}{b_k}-s_{B_k}\×\stackrel{\‾}{g_{\mathrm{reck}}}---\left(5\right)$

其中和分别是属于region_k的重建的蓝色和绿色像素的均值或平均。

无需向解码器发送关于纹理区域的数量或者当前蓝色MB的区域边缘的信息，因为在解码器处可以对重建的基色成分重复相同的分段处理（和相同的区域命名算法）。但是，似乎需要向解码器传送当前蓝色MB的斜率和偏移两者，因为它们在解码器处是不可用的。在一个实施例中，向解码器传送斜率和偏移。

在另一实施例中，为了给偏移节约编码位而不降低预测值的精度，分别利用和取代和这里，和是当前蓝色MB和对应绿色MB中的region_k的H.264内预测所产生的像素预测值的平均值。因此，为了取得在对当前蓝色MB完成所提出的基于纹理的内预测之前必须完成H.264内预测。不像G块，B/R块不需要速率失真优化（RDO），因为由于G和B/R成分之间的纹理分布类似性，假定B/R块使用相同的MB模式和内预测模式作为对应的GMB。所以将等式（5）重写为

$o_{B_k}=(\stackrel{\‾}{b_{\mathrm{Hpk}}}-s_{B_k}\×\stackrel{\‾}{g_{\mathrm{Hpk}}})---\left(6\right)$

因此，将等式（2）重定义为

$b_p(i,j)=s_{B_k}\×g_{\mathrm{rec}}(i,j)+(\stackrel{\‾}{b_{\mathrm{Hpk}}}-s_{B_k}\×\stackrel{\‾}{g_{\mathrm{Hpk}}})---\left(7\right)$

其在一个实施例中是用来使用所提出的基于纹理的通道间内预测从G成分中预测B成分的线性模型。

类似地，红色成分的预测值由下面获得：

$r_p(i,j)=s_{R_k}\×g_{\mathrm{rec}}(i,j)+(\stackrel{\‾}{r_{\mathrm{Hpk}}}-s_{R_k}\×\stackrel{\‾}{g_{\mathrm{Hpk}}})---\left(8\right)$

通过计算原始像素及其由等式（8）所计算的预测值之间的差别可以获得最终残余。内预测之后的后续工作与H.264中所描述的过程相同。通常，可以顺序地或同时地向不同非基色成分应用内预测处理。

基于上述分析，没有任何B/RMB的MB类型、内预测模式或模型偏移必须被编码到比特流，仅需要将B/RMB的斜率发送给解码器，其节约了大量的编码位。这里，可以将偏移编码到比特流作为MB层信息。

接下来，说明帧层面上预测的实施例。如上所述，帧层面上所提出的方案与MB层面上类似，其中，在编码其他色彩平面的对应MB之前对基色平面MB完成基于纹理的分段。在帧层面上，在编码其他色彩平面之前需要对重建的基色帧（例如，G帧）完成图像分段。在图4b）中，帧层面上的块大小是帧大小，并且将整个平面的斜率信息编码到比特流作为片层（slicelayer）信息。在图4a）和图4b）中示出了MB层面和帧层面上编码非基色平面（例如，B平面）的流程处理。

在关于MB层面的图4a）中，处理从基色平面（例如，G平面）的重建的MB的分段开始。然后，进行常规的H.264内预测，其中确定并使用编码模式。对于对应的B平面MB，使用与曾对G平面MB确定和使用的相同的编码模式。然后，如上所述，完成基于纹理的内预测，并且像在H.264/AVC一样常规地编码得到的残余。作为差别，斜率也被写入输出比特流。在一个实施例中，偏移也被写入比特流，而在另一实施例中，定义偏移的残余数据被写入比特流，从而可以在解码器处生成偏移。然后，处理复归到下一个B平面MB。

图4b）示出了帧层面上的编码处理的流程图。在对重建的基色平面（即，例如G平面的整个图像）完成分段之后，确定斜率并将其写入比特流。对于完整图像的区域，斜率值的每一个都是有效的。仅此，开始B平面的H.264内预测，其中对每一个MB使用与曾对基色平面的对应MB所确定和所使用的相同的编码模式。余下的步骤如上所述。

尽管在上述示例中总是使用G平面作为基色平面，但是原则上可以选择任何色彩平面作为基色平面。第二和第三色彩平面的选择也是可变的。编码器包括为图像单元、图像或图像序列选择基色平面的隐性或显性选择器。即，由定义或由控制信息（例如，标志）可以预定义色彩平面为基色平面，或者可以自适应地选择一个色彩平面为基色平面。这样的自适应选择分析521、522优选地在帧层面或序列层面上比较可用的色彩平面，确定523比其他色彩平面具有更多纹理区域、对象或边沿的色彩平面，并选择它作为基色平面，参见图5b）。将比其他色彩平面具有较少纹理区域、对象或边沿的另一色彩平面选择为“最后”色彩平面。例如，在一个实施例中，可以使用R作为基色平面、G作为第二色彩平面且B作为第三色彩平面，编码/解码在红色平面具有最大纹理区域和在蓝色平面具有最小纹理区域的序列，且从R平面或G平面中的一个中预测B平面。在视频信号中编码色彩平面序列顺序的各自指示。对于下一个序列，可以改变色彩平面序列顺序。

图5a）示出了根据本发明一方面的编码器的第一实施例。上部分支指基色平面，这里是G。在编码器51中编码并在重建单元52中重建该基色平面。在准备输出编码的基色平面g_enc的时候，向分段单元53提供重建的基色平面以对重建的图像单元的基色平面进行纹理分段，其中确定至少两个纹理片段。然后，分离器54b、54r应用基色平面片段以将图像单元的其他色彩平面分离为纹理片段。在此应用中，在一个实施例中直接重新使用为基色确定的纹理片段，或者在另一个实施例中稍微修改，该另一实施例要求一些额外的将被传送的区域信息（例如，在不同色彩平面中属于不同区域的像素或者像素块的位置）。

对于每一个纹理片段，关联器55b、55r确定重建的基色平面和原始的其他色彩平面之间的线性（光亮度或强度）关联函数。可以通过定义线性关联的值（诸如，斜率和偏移）表达线性关联。在图5a）中，对蓝色平面的三个片段找到三个关联函数cor_B1、cor_B2、cor_B3，且每一个都以斜率和偏移参数s_B1、s_B2、s_B3、o_B1、o_B2、o_B3为特征。对R平面获得类似的结果。这里注意的是，线性关联一般只是近似，但是基本上认为它好得足以改进预测精度。

进一步，预测性编码器56b、56r从基色平面的对应纹理片段的像素中真实地预测当前图像单元的其他色彩平面的纹理片段中的像素，编码器具有该预测性编码器并生成残余图片。对于预测，将分段的色彩平面图像（例如，每个MB的B平面输入图像和分段信息）、用于预测的每个片段的关联函数或者为此特定纹理片段获得的值，以及基色平面的重建的图像作为预测参考使用。在一个实施例中，基于定义线性关联和为此特定纹理片段获得的值进行用于特定片段的预测。在一个实施例中，编码器具有确定残余的鉴别器，例如，将其他色彩平面的原始像素与预测像素比较并确定作为残余的区别的比较器。进一步，编码器具有编码定义线性关联的残余和信息的编码单元57b、57r，诸如S_Bk、和当图5a）所示的编码器对每一个色彩平面使用独立单元时，可以对两个或多个不同色彩平面使用一些单元。可以同时地或顺序地处理不同色彩平面。根据上述，可以节约一些单元或单元内的一些模块。图6示出了编码器的第二实施例，其中仅一个分离器（多平面分离器）54应用基色平面片段以分离两个色彩平面，多平面关联器65在两个色彩平面中对每个纹理片段进行上述关联，多平面预测性编码器66预测两个色彩平面的纹理片段中的像素，并且多平面编码单元67编码定义线性关联的残余和信息。

以下，描述图7中所示的解码器的第一实施例。第一步骤（图7中未显示）是通过在预定义色彩平面、在配置设置中查找基色平面或评估与将被解码的视频信号一同接收的标识符中的一个来确定基色平面。因此，可以隐性地利用基色平面选择器，或者其可以是显式单元。在此示例中，绿色G是基色平面。在解码和重建单元71中照常解码和重建所接收的基色平面。在一个实施例中，解码和重建单元71是对单一色彩平面的常规H.264/AVC内解码器。重建的基色平面g_rec被输出用以进一步的处理步骤，并也在分段单元72中被分割为片段。

因为进行相同的分段算法和片段命名算法，所以所获得的片段与在编码器侧的分段单元53、63中获得的相同。在一些实施例中，预定义这些算法。在其他实施例中，分段算法是自适应的，且也接收定义或微调算法的参数。进一步，接收与其他色彩平面有关的数据。对于每个色彩平面，这些数据至少是一些关联函数的残余和参数s_B1、s_B2、s_B3、o_B1、o_B2、o_B3、S_R1、S_R2、S_R3、o_R1、o_R2、o_R3。从这些参数，在从参数中确定关联函数的关联函数生成器73b、73r中重新配置各自的关联函数cor_B1、cor_B2、cor_B3、cor_R1、cor_R2、cor_R3。在一个实施例中，例如在可选的熵解码器75b、75r中解码所接收的残余，而在另一实施例中残余不要求显式解码。

从残余、基色平面分段g_seg和关联函数cor_B1、…、cor_R3中，对每一个片段使用各自的关联函数，在重建单元中76b、76r中逐个片段地重建各自的色彩平面。

图8示出了解码器的第二实施例，其中，由于如上所述的相同原因，在不同的色彩平面之间共享该解码器中的处理单元或模块。

在一个实施例中，对其他色彩平面br_seg两者都使用基色平面的分段图g_seg，从而仅要求一个分段图作为重建单元86的输入。在另一实施例中，如上所述，使用可能不同于彼此的单独的分段图b_seg、r_seg。

在一个实施例中，视频编码器具有诸如缓冲器的延迟元件，以便延迟基色平面输出从而在时间上与其他色彩平面的输出关联。

类似地，在一个实施例中，视频解码器具有诸如缓冲器的延迟元件，以便延迟基色平面输出从而在时间上与其他色彩平面的输出关联。

在多个实施例中，基色平面的编码使用内编码。在其他实施例中，基色平面的编码可以使用间编码（inter-coding），例如，基于其他图片的基色平面。这可以是不同视图等的较早或较晚的帧、图像。

一些实施例包括将编码的基础层和该一个或多个残余组合为编码的视频信号的最终处理。

在此描述的每一个实施例（包括下列实施例）都可以单独使用或与任何一个或多个其他实施例组合使用（除非实施例是不同的替换）。

在解码和重建基色平面之后，解码器进行和编码器相同的分段，并得到相同的结果。在一个实施例中，因此没有编码或解码显式的（explicit）分段信息。

在一个实施例中，在选择步骤中将预定义色彩平面作为基色平面使用。在一个实施例中，该预定义色彩平面是通常包括比其他平面（诸如绿色（G）平面）更多纹理信息的平面。在另一实施例中，自适应地选择基色平面，且基色平面的选择包括至少两个色彩平面的纹理分析。该纹理分析包括确定至少两个色彩平面的对应片段间的（强度、亮度或纹理）关联。

在一个实施例中，将图像单元的其他两个色彩平面分离为与曾为基色而确定的相同的纹理片段（即，具有完全相同坐标的片段）。此简化对于大多数图像都是可应用的且具有仅需要对基色平面完成分段的优点。

在另一实施例中，将图像单元的其他两个色彩平面分离为与曾为基色而确定的相似但不完全相同的纹理片段。例如，这个可以通过对至少一个非基色平面的色彩平面的精细分段来完成，其中该基色分段作为增量改进的开始。这里，以附加的处理努力为代价可以达到更高的压缩率。

在一个实施例中，为图像单元的其他两个色彩平面的至少一个而将基色平面的两个或多个纹理片段组合为一个，从而得到比曾为基色平面确定的纹理片段更少的纹理片段。

在一个实施例中，关联器仅可以确定色彩平面之间的线性关联，并提供定义这样的线性关联的值。在另一实施例中，关联器可以确定色彩平面之间的更复杂的关联，并提供定义这样更复杂的关联的值。在另一实施例中，关联器也可以确定不同关联类型中的一个，并额外地提供关联类型的指示符。

在一个实施例中，通过最小化基色片段和其他色彩平面的对应片段之间的残余能量来获得所述关联的权重因子和偏移。在另一实施例中，使用其他方法获得色彩平面的权重因子和偏移，例如，从时间上在先的图像中、从不同视图等的图像中获得的值的重新使用。例如，对不同的色彩平面可以组合后面两个实施例。

在一个实施例中，对纹理片段的每一个分配区域识别符，其中对应的纹理片段具有相同的区域识别符。可以使用该区域识别符以指示输出信号中的编码数据块属于哪一个片段。

在一个实施例中，定义权重因子和偏移的信息包括每个色彩平面的斜率值、预测值b_HPk、g_HPk和偏移O_B,K的残余，其中该偏移是基于所述预测值b_HPk、g_HPk和基色的预测差错。在一个实施例中，在片层面、帧层面或图片编码的情况下，作为层控制信息（例如，片层信息）包括斜率值S_B，K。

在一个实施例中，第一预测值g_HPk是重建的基色纹理片段中的像素的平均值，且第二预测值b_HPk是所述其他色彩的对应纹理片段中的像素的平均值。

在一个实施例中，用边缘检测和简单的区域增长方法进行纹理分段。可以使用任何边沿检测方法，其中更佳的边沿检测结果导致更高的压缩率。在一个实施例中，苏贝尔算子（Sobeloperator）被用于边缘检测。

在一个实施例中，宏块（MB）具有16×16个像素。在另一实施例中，MB具有多于16×16（或者至少多于8×8）个像素，其中MB不需要是正方形。

本发明的一个优点是不需要编码或解码区域信息，因为通过在编码和解码期间对重建的图片单元（例如，MB）执行相同的纹理分段而含蓄地给出了区域。

本发明不仅可用于视频编码和解码，也可以用在图像去马赛克、用来从与滤色片阵列（colorfilterarray）重叠的图像传感器输出的不完整的色彩样本中重建完全彩色图像的数字图像处理中。进一步，可以将本发明用于错误隐藏和数据保护。

尽管已经示出、描述和指出如应用于本发明的优选实施例的其基础性新颖特征，但是将理解的是，在所述装置和方法中以所公开设备的形式和细节以及它们操作中的各种省略和替换和改变可以由本领域技术人员做出而不偏离本发明的精神。尽管关于RGB色彩平面地公开本发明，但是本领域技术人员应当意识到这里所描述的方法和设备也可以被用于包含空间冗余的其他类型的色彩平面。清晰的意图是，以基本相同的方式进行基本上相同的功能以完成相同的结果的那些要素的全部组合都处于本发明的范围之内。从一个所描述实施例到另一个实施例的要素的替换也是完全意图的和预料的。

将理解的是，本发明仅仅通过示例的方式描述，且可以做出不偏离本发明的范围的细节的修改。可以独立地或以任何恰当的组合提供在描述中和恰当的权利要求和/或附图中所公开的每一个特征。可以恰当地在硬件、软件或两者的组合中实现特征。可行的话，可以作为无线连接或有线连接实现连接，不需要是直接的或专用的连接。权利要求中出现的附图标记仅用作说明且不该对权利要求的范围具有任何限制效果。

Claims (17)

1.一种用于在图像单元层面上对不同色彩平面独立地视频编码的方法，其中图像单元是宏块、帧或图片，包括以下步骤：

-选择基色平面(G)，编码(51)和重建(52)图像单元的基色平面；

-在重建的图像单元的基色平面上进行纹理分段(53)，其中确定至少两个纹理片段(R_1g,R_2g)；

-使用为基色平面而确定的纹理片段，将图像单元的至少一个其他色彩平面(B)分离(54b)为纹理片段(R_1b,R_2b)；

-对于每一个纹理片段，确定(55b)重建的基色平面和至少一个其他色彩平面之间的强度关联(cor_B1,…,cor_B3)，其中获得权重因子(s_B1,s_B2)和偏移(o_B1,o_B2)；

-基于为纹理片段获得的所述强度关联(cor_B1,…,cor_B3)或者所述权重因子(s_B1)和偏移(o_B1)，从重建的基色平面的对应纹理片段的像素中预测(56b)所述至少一个其他色彩平面的纹理片段中的像素，并确定残余(b_enc)；以及

-至少编码(57b)定义权重因子(s_B1,s_B2)和偏移(o_B1,o_B2)的信息，

其中，定义权重因子(s_B,k)和偏移(o_B,k)的信息包括每个色彩平面的斜率值(s_B,k)和至少一个预测值(b_Hpk,g_Hpk)，各自色彩平面的当前图片单元的当前纹理片段的预测值是通过各自色彩平面的图片单元的纹理片段的内预测所产生的像素预测值的均值。

2.根据权利要求1的方法，其中，基色平面的编码使用内编码。

3.根据权利要求1的方法，进一步包括将编码的基色平面、一个或多个残余、以及定义权重因子和偏移的信息组合为编码的视频信号的最终步骤。

4.根据权利要求1的方法，其中，基色平面的选择包括至少两个色彩平面的纹理分析(521，522)，其中纹理分析包括确定纹理片段之间的关联(523)。

5.根据权利要求1的方法，其中，通过最小化基色片段和其他色彩平面的对应片段之间的残余能量获得所述关联的权重因子(s)和偏移(o)。

6.根据权利要求1的方法，其中，图像单元的其他色彩平面被分离为与为基色而确定的纹理片段相同的纹理片段。

7.根据权利要求1的方法，其中，图像单元的其他色彩平面被分离为与为基色而确定的纹理片段相似但不相同的纹理片段。

8.根据权利要求1的方法，其中，图像单元的其他色彩平面的至少一个被分离为比为基色而确定的纹理片段更少的纹理片段，其中，基色平面的两个或多个纹理片段被组合为一个纹理片段。

9.根据权利要求1的方法，其中，对每一个纹理片段分配区域识别符，并且其中，对应的纹理片段具有相同的区域识别符，区域识别符可用于指示输出信号中的编码数据块属于哪一个纹理片段。

10.根据权利要求1的方法，其中，用编码色彩平面的偏移(o_B,k)，其中第一预测值是重建的基色片段k中的像素的均值，且第二预测值是所述其他色彩的对应片段k中的像素的均值。

11.根据权利要求1的方法，其中，所述编码(57b)定义偏移(o_B1,o_B2)的信息的步骤包括预测编码，其中获得定义偏移数据的残余数据。

12.一种对不同色彩平面单独地解码在图像单元层面上编码的视频数据的方法，其中图像单元是宏块、帧或图片，所述方法包括以下步骤：

-从编码的视频数据中提取包括图像单元的内编码基色平面的数据的第一数据块；

-从编码的视频数据中提取包括所述图像单元的编码的第二色彩平面的数据的第二数据块，并从编码的视频数据中提取定义至少两个关联函数的权重因子(s_B1,s_B2)和偏移(o_B1,o_B2)的关联数据；

-内解码(71)第一数据块，其中获得重建的基色平面(g_rec)；

-对重建的图像单元的基色平面进行纹理分段(72)，其中确定至少两个纹理片段(R_1g,R_2g)；

-使用为基色平面而确定的纹理片段，将图像单元的至少第二色彩平面(B)分离为至少两个纹理片段(R_1b,R_2b)；

-对第二色彩平面(B)的至少两个纹理片段的每一个，从定义权重因子(s_B1,s_B2)和偏移(o_B1,o_B2)的所述数据中确定(73b)重建的基色平面和第二色彩平面之间的强度关联函数(cor’_B1,…,cor’_B3)，其中，定义权重因子(s_B,k)和偏移(o_B,k)的信息包括每个色彩平面的斜率值(s_B,k)和至少一个预测值(b_Hpk,g_Hpk)，其中，各自色彩平面的当前图片单元的当前纹理片段的预测值是通过各自色彩平面的图片单元的纹理片段的内预测所产生的像素预测值的均值；

-使用为基色平面的各自纹理片段而确定的各自关联函数(cor’_B1,…,cor’_B3)，从基色平面的各自纹理片段中预测(74b)第二色彩平面的至少两个纹理片段的每一个；以及

-重建(76b)第二色彩平面的图像单元，其中将从第二数据块中提取(75b)的残余数据与第二色彩平面的所述预测纹理片段组合。

13.根据权利要求12的方法，其中，所述偏移是残余值，并且所述方法还包括：

对所述残余值进行差分编码以便获得所述偏移。

14.一种用于在图像单元层面上单独地编码色彩平面的视频编码器，其中图像单元是宏块、帧或图片，包括：

-选择器模块，用于为图像单元、图像或图像序列选择基色平面，

-编解码器，用于编码并重建图像单元的基色平面，

-分段模块，用于在重建的图像单元的基色平面上进行纹理分段，其中确定至少两个纹理片段，

-分离器模块，用于将图像单元的其他色彩平面的至少一个分离为纹理片段，其中使用为基色而确定的纹理片段，

-关联器模块，用于对每个纹理片段确定重建的基色平面和至少一个其他色彩平面之间的关联，其中获得定义线性关联的值，所述值至少包括定义权重因子(s_B,k)和偏移(o_B,k)的值，其中定义权重因子(s_B,k)和偏移(o_B,k)的值包括每个色彩平面的斜率值(s_B,k)和至少一个预测值(b_Hpk,g_Hpk)，其中各自色彩平面的当前图片单元的当前纹理片段的预测值是通过各自色彩平面的图片单元的纹理片段的内预测所产生的像素预测值的均值，

-预测性编码器，具有预测器和鉴别器，所述预测器用于基于定义线性关联并为此特定纹理片段获得的所述值，从基色平面的对应纹理片段的像素中预测在图像单元的所述至少一个其他色彩平面的纹理片段中的像素，所述鉴别器用于确定残余，所述鉴别器包括用于比较其他色彩平面的原始像素和所预测像素并确定差别为残余的比较器，和

-编码器，用于编码定义线性关联的残余和信息。

15.根据权利要求14的视频编码器，其中，所述用于编码定义线性关联的残余和信息的编码器对偏移使用差分编码，其中获得定义偏移数据的残余数据。

16.一种用于对不同色彩平面在图像单元层面上单独地编码的视频数据的视频解码器，包括：

-第一提取模块，用于从编码的视频数据中提取包括图像单元的编码基色平面的数据的第一数据块；

-第二提取模块，用于从编码的视频数据中提取包括所述图像单元的编码第二色彩平面的数据的第二数据块；和

-第三提取模块，用于从编码的视频数据中提取定义至少两个关联函数的权重因子和偏移的关联数据；

-第一编解码器，用于内解码第一数据块，其中获得重建的基色平面；

-分段模块，用于对重建的图像单元的基色平面进行纹理分段，其中确定至少两个纹理片段；

-分段应用模块，用于使用为基色平面而确定的纹理片段，将图像单元的至少第二色彩平面分离为至少两个纹理片段；

-强度关联确定模块，用于对于第二色彩平面的至少两个纹理片段的每一个，从定义权重因子和偏移的所述相关数据中确定重建的基色平面和第二色彩平面之间的强度关联函数，其中定义权重因子(s_B,k)和偏移(o_B,k)的所述相关数据对于每个权重因子和偏移包括每个色彩平面的斜率值(s_B,k)和至少一个预测值(b_Hpk,g_Hpk)，其中各自色彩平面的当前图片单元的当前纹理片段的预测值是通过各自色彩平面的图片单元的纹理片段的内预测所产生的像素预测值的均值，

-预测模块，用于使用为基色平面的各自纹理片段而确定的各自关联函数，从基色平面的各自纹理片段中预测第二色彩平面的至少两个纹理片段的每一个纹理片段；以及

-重建模块，用于重建第二色彩平面的图像单元，其中将从第二数据块中提取的残余数据与第二色彩平面的所述预测纹理片段组合。

17.根据权利要求16的视频解码器，其中，所述偏移是残余值，并且所述从编码的视频数据中提取定义至少两个关联函数的权重因子和偏移的关联数据包括：

对所述残余值进行差分编码以便获得所述偏移。