CN101366284B - 为多视点视频编码提供降低分辨率更新模式的方法和装置 - Google Patents

Abstract

提出了一种用于多视点视频编码的光照补偿和颜色补偿方法以及装置。视频编码器包含编码器(100)，该编码器(100)根据与图像和另一图像之间的颜色数据有关的相关因子，对图像预测中至少一个颜色分量实现颜色补偿，从而对图像进行编码。图像和另一图像具有不同的视点，且均对应于相同或相似场景的多视点内容。

Description

为多视点视频编码提供降低分辨率更新模式的方法和装置

相关申请的交叉引用

本申请要求2006年1月9日提交的、题为“Illumination and ColorCompensation System for Multi-view Video Coding”的美国临时申请序号60/757,372的优先权，并将其全部内容一并在此作为参考。此外，本申请要求2006年1月9日提交的、题为“Multi-view Video CodingSystem”的美国临时申请序号60/757,289的优先权，并将其全部内容一并在此作为参考。此外，本申请涉及共同转让的、题为“Methods andApparatus for Multi-view Video Coding”的、代理人文档号为PU060004的非临时申请，并将其全部内容一并在此作为参考。

技术领域

本发明总体涉及视频编码和解码，更具体地说，涉及多视点视频编码(MVC)的光照补偿和颜色补偿的方法和装置。颜色补偿可适用于至少一个颜色分量。

背景技术

多视点视频编码(MVC)序列是从不同视点捕获同一场景得到的两个或多于两个的视频序列的集合。目前人们已广泛认识到，多视点视频编码是实现包含自由视点以及3D视频应用、家庭娱乐、监视等多种应用的关键技术。在上述多视点应用中，通常需要涉及大量的视频数据。

在实际情形中，多视点视频编码系统使用由不同种类的摄像机或尚未精确校准的摄像机组成的大量摄像机。这导致，当以不同摄像机观察场景的相同部分时，亮度和色度间存在差异。此外，当从不同角度观察时，同一表面可以不同方式对光进行反射，因而摄像机距离和位置也会影响光照。在上述情形下，亮度和色度的差异将降低交叉视图预测的效率。

为了解决图像对之间的光照失配问题，现已开发出多种现有技术方法。在第一种现有技术方法中，根据互熵值来判断是否应用局部亮度变化模型。如果互熵大于阈值，就用乘法器(缩放)以及偏移字段进行全局和局部亮度变化补偿。然而，只有在找到最佳匹配块后才能选择局部参数，当光照失配极为严重时，这种方法可能十分不便。类似地，第二种现有技术方法提出了一种修正的运动估计方法，使用全局光照补偿模型。此外，第二种现有技术方法提出了一种逐块开/关控制方法，然而该方法基于MSE。在第三种现有技术方法中，解决了视频序列中的光照失配问题。在第三种现有技术方法中，提出了一种针对16×16宏块的缩放/偏移参数，以及该参数的预测编码。第三种现有技术方法还提出了一种基于速率失真代价的启动开关。然而，第三种现有技术方法主要研究时间视频序列。在视频序列中，光照失配问题不像在交叉视图预测中那样始终都会发生。

发明内容

本发明针对于多视点视频编码(MVC)的光照补偿和颜色补偿方法以及装置，解决了现有技术的上述和其他缺陷以及缺点。颜色补偿可适用于至少一个颜色分量。

依照本发明的一方面，提出了一种视频编码器。该视频编码器包含编码器，该编码器根据与图像和另一图像之间的颜色数据有关的相关因子，对图像预测中至少一个颜色分量实现颜色补偿，从而对图像进行编码。该图像和另一图像具有不同的视点，且均对应于相同或相似场景的多视点内容。

依照本发明的另一方面，提出了一种视频编码方法。该方法包括，根据与图像和另一图像之间的颜色数据有关的相关因子，对图像预测中至少一个颜色分量实现颜色补偿，从而对图像进行编码。该图像和另一图像具有不同的视点，且均对应于相同或相似场景的多视点内容。

依照本发明的又一方面，提出了一种视频解码器。该视频解码器包含解码器，该解码器根据与图像和另一图像之间的颜色数据有关的相关因子，对图像预测中至少一个颜色分量实现颜色补偿，从而对图像进行解码。该图像和另一图像具有不同的视点，且均对应于相同或相似场景的多视点内容。

依照本发明的又一方面，提出了一种视频解码方法。该方法包括，根据与图像和另一图像之间的颜色数据有关的相关因子，对图像预测中至少一个颜色分量实现颜色补偿，从而对图像进行解码。该图像和另一图像具有不同的视点，且均对应于相同或相似场景的多视点内容。

根据以下结合附图加以阅读的典型实施例的详细说明，本发明的上述和其他方案、特征以及优势将变得更加明显。

附图说明

根据以下典型附图，本发明将可以得到更好的理解，附图中：

图1是依照本发明实施例应用了本发明原理的典型多视点视频编码(MVC)编码器的方框图；

图2是依照本发明实施例应用了本发明原理的典型多视点视频编码(MVC)解码器的方框图；

图3是依照本发明实施例的具有多视点视频内容光照补偿的典型视频编码方法的流程图；

图4是依照本发明实施例的具有多视点视频内容光照补偿的典型视频解码方法的流程图；以及

图5是依照本发明实施例应用了本发明原理的具有多视点视频内容光照补偿的典型的参考块生成装置的方框图。

具体实施方式

本发明针对多视点视频编码(MVC)的光照补偿和颜色补偿方法以及装置。颜色补偿可适用于至少一个颜色分量。

有利的是，本发明的实施例提供了改进的同播(simulcast)多视点数据的编码压缩。正如此处所用，多视点序列是从不同视点捕获同一场景得到的两个或大于两个的视频序列的集合。应当理解的是，在不偏离本发明范围的前提下，可以在依照本发明原理的各种实施例中联合或单独使用此处公开的光照补偿和颜色补偿的教导。

说明书阐释了本发明的原理。因而，应意识到，所属领域技术人员将能够设计出此处虽未明确说明或示出，但体现了本发明原理，并处于其精神和范围内的各种配置。

此处叙述的所有示例以及条件式语言均为达到教学目的，旨在帮助读者理解由发明者提出的改进了现有技术的发明原理以及发明构思，因而应将其看成不限于那些具体叙述的示例以及条件。

此外，此处叙述的发明原理、方案和实施例的所有说明及其具体示例均意在涵盖其结构以及功能上的等价物。此外，这些等价物意在包括现存等价物以及将于未来开发出来的等价物，即，不管结构如何，被开发用于执行同一功能的任意元件。

因而，举例而言，所属领域技术人员应意识到此处所示的方框图表示体现本发明原理的示意电路的概念视图。同样，应意识到流程图、状态转移图、伪码等表示可在计算机可读介质中表现，因而无论是否明确说明了计算机或处理器，均能够用计算机或处理器予以执行的过程。

可以通过采用专用硬件以及能够连同适当软件执行有关软件的硬件实现附图所示的各个元件的功能。如果用处理器来提供功能，则可以用单独的专用处理器、单独的共享处理器或者若干独立的处理器(其中一些可以共享)来提供功能。此外，不应将术语“处理器”或“控制器”的明确使用看成专指能够执行软件的硬件，而可以无限制地隐含包括，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。

还可以包括常规的和/或定制的其他硬件。同样，附图中的所有开关也只是概念上的。可以通过程序逻辑操作、专用逻辑、程序控制以及专用逻辑的相互作用，或者甚至手动实现它们的功能，其中具体技术可以根据上下文更加具体的理解后，由实施者加以选择。

在权利要求中，任意被表示为用于执行指定功能的装置都意在包含执行该功能的任意方式，后者包括：比如，a)执行该功能的电路元件的组合或b)任意形式的软件，因而包括：同用于执行该软件以实现所述功能的适当电路相结合的固件、微代码或类似软件。由这种权利要求所限定的发明在于以权利要求所请求的方式结合在一起的各种所述装置所提供的功能。因而，应将能够提供这种功能的任意装置看做此处说明的装置的等价物。

说明书中对本发明原理“一个实施例”的引用意味着，至少在依照本发明原理的一个实施例中包含了结合实施例进行说明的特定的特征、结构、特点等等。因而，在整个说明书中各处出现的短语“在一个实施例中”未必指同一实施例。

下面参考图1，附图标记100总体指示可以应用本发明原理的典型多视点视频编码(MVC)编码器。编码器100包含：连接至变换器110的输入，并与之进行信号通信的合并器105。变换器110的输出连接至量化器115的输入，并与之进行信号通信。量化器115的输出连接至熵编码器120的输入以及逆量化器125的输入，并与之进行信号通信。逆量化器125的输出连接至逆变换器130的输入，并与之进行信号通信。逆变换器130的输出连接至合并器135的第一正相输入，并与之进行信号通信。合并器135的输出连接至帧内预测器145的输入以及解块(deblocking)滤波器150的输入，并与之进行信号通信。解块滤波器150的输出连接至(针对视图i的)参考图像存储器155的输入，并与之进行信号通信。参考图像存储器155的输出连接至运动补偿器175的第一输入以及运动估计器180的第一输入，并与之进行信号通信。运动估计器180的输出连接至运动补偿器175的第二输入，并与之进行信号通信。

(针对其他视图的)参考图像存储器160的输出连接至差异(disparity)/光照估计器170的第一输入以及差异/光照补偿器165的第一输入，并与之进行信号通信。差异/光照估计器170的输出连接至差异/光照补偿器165的第二输入，并与之进行信号通信。

可以用熵编码器120的输出作为编码器100的输出。合并器105的正相输入作为编码器100的输入，并且合并器105的正相输入连接至差异/光照估计器170的第二输入以及运动估计器180的第二输入，并与之进行信号通信。开关185的输出连接至合并器135的第二正相输入以及合并器105的反向输入，并与之进行信号通信。开关185包括：连接至运动补偿器175的输出并与之进行信号通信的第一输入，连接至差异/光照补偿器165的输出并与之进行信号通信的第二输入，以及连接至帧内预测器145的输出并与之进行信号通信的第三输入。

模式判决模块140的输出连接至开关185，用于控制开关185进行输入选择。

下面参考图2，附图标记200总体指示可以应用本发明原理的典型多视点视频编码(MVC)解码器。解码器200包括熵解码器205，后者的输出连接至逆量化器210的输入，并与之进行信号通信。逆量化器的输出连接至逆变换器215的输入，并与之进行信号通信。逆变换器215的输出连接至合并器220的第一正相输入，并与之进行信号通信。合并器220的输出连接至解块滤波器225的输入以及帧内预测器230的输入，并与之进行信号通信。解块滤波器225的输出连接至(针对视图i的)参考图像存储器240的输入，并与之进行信号通信。参考图像存储器240的输出连接至运动补偿器235的第一输入，并与之进行信号通信。

(针对其他视图的)参考图像存储器245连接至差异/光照补偿器250的第一输入，并与之进行信号通信。

熵编码器205的输入可用作解码器200的输入，用于接收残余比特流。此外，模式模块260的输入也可用作解码器200的输入，用于接收控制语法(syntax)以控制开关255进行输入选择。此外，运动补偿器235的第二输入可用作解码器200的输入，用于接收运动矢量。另外，差异/光照补偿器250的第二输入可用作解码器200的输入，用于接收差异矢量以及光照补偿语法。

开关255的输出连接至合并器220的第二正相输入，并与之进行信号通信。开关255的第一输入连接至差异/光照补偿器250的输出，并与之进行信号通信。开关255的第二输入连接至运动补偿器235的输出，并与之进行信号通信。开关255的第三输入连接至帧内预测器230的输出，并与之进行信号通信。模式模块260的输出连接至开关255并与之进行信号通信，用于控制开关255进行输入选择。解块滤波器225的输出可用作解码器200的输出。

本发明的实施例针对多视点视频序列的高效编码。多视点视频序列是从不同视点捕获同一场景得到的两个或大于两个的视频序列的集合。具体而言，依照本发明的各实施例针对多视点视频序列的编解码的光照补偿和/或颜色补偿。

本发明考虑到，由于多视点视频源包含同一场景的多个视图，因而多幅视图图像之间存在高度的相关。因此，除时间冗余外还可以利用视图冗余，通过对不同视图执行视图预测(交叉视图预测)来实现。

为了加以说明，此处给出的说明针对于国际标准化组织/国际电工委员会(ISO/IEC)的多视点视频编码扩展运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信标准化部门(ITU-T)的H.264推荐标准(以下称“MPEG-4AVC标准”)。然而，应该意识到的是，正如所属领域以及相关领域技术人员易于判定的那样，本发明的原理还适用于其他视频编码标准。也就是说，给定此处提供的本发明原理的教导，本领域以及相关领域的技术人员将能够在不背离本发明原理范围的前提下，对包括MPEG-4AVC标准以及其他视频编码标准的各种视频编码标准轻易地应用本发明的原理。

在MPEG-4AVC标准的框架中，可以将光照补偿看做差异补偿处理的一部分，其中交叉视图预测(对多视点序列中的不同视图进行视图预测)包括用于解决不同摄像机视图间的光照差异的偏移。由于空间上相邻的块之间存在高度相关，因而在量化和熵编码前对偏移进行差分编码。由于不同信号块受到不同程度的光照失配的影响，因而可以逐块地以可切换方式实现光照补偿。除了光照补偿，还提出了用于解决不同摄像机视图之间的颜色差异的颜色补偿设计。

在包括光照补偿以及颜色补偿(针对MPEG-4AVC标准的多视点视频编码(MVC)扩展)的本发明的示意性实施例中，阐释了如下的典型框架。在片(slice)级，引入了新的语法元素(ic_prediction_flag)用于指示是否能够对当前片进行光照补偿。在宏块级，引入了两个新的语法元素：其一(ic_enable)用于指示是否将光照补偿用于每一个块；另一个(ic_sym)用于传送光照偏移参数。

下面参考图3，附图标记300总体指示具有多视点视频内容光照补偿的典型视频编码方法。方法300包括将控制权交予循环边界方框310的起始方框305。循环边界方框310开始执行遍历当前片中每个宏块的循环，包括使用变量mb＝0到MacroBlockInPic-1来设置循环范围，并将控制权交予判决方框315。判决方框315判断是否启用了对当前片的光照补偿(IC)。如果是，就将控制权交予功能方框320。反之，将控制权交予功能方框350。

功能方框320执行具有光照补偿的运动估计，并将控制权交予功能方框325。功能方框325形成IC预测值ic_offset_p，并将控制权交予功能方框330。功能方框330对ic_offset执行差分光照补偿编码，将ic_offset量化成ic_sym，并将控制权交予功能方框335。功能方框335执行光照补偿模式判决，判定ic_prediction_flag，并将控制权交予功能方框340。功能方框340执行语法写入，并将控制权交予循环边界方框345。循环边界方框345终止遍历当前片中每个宏块的循环，并将控制权交予终止方框355。

功能方框350执行运动估计，进行不带光照补偿的运动判决，并将控制权交予功能方框340。

下面参考图4，附图标记400总体指示具有多视点视频内容光照补偿的典型视频解码方法。方法400包括将控制权交予循环边界方框410的起始方框405。循环边界方框410开始执行遍历当前片中每个宏块的循环，包括使用变量mb＝从0到MacroBlocksInPic-1来设置循环范围，并将控制权交予功能方框415。功能方框415读取语法，并将控制权交予判决方框420。判决方框420判段是否启用了对当前片的光照补偿。如果是，就将控制权交予判决方框425。反之，将控制权交予功能方框450。

判决方框425判断ic_prediction_flag是否等于1。如果是，就将控制权交予功能方框430。反之，将控制权交予功能方框450。

功能方框430形成IC预测值ic_offset_p，并将控制权交予功能方框435。功能方框435对ic_sym进行逆量化，对ic_offset进行差分解码，并将控制权交予功能方框440。功能方框440执行带光照补偿的运动补偿，并将控制权交予循环边界方框445。循环边界方框445终止遍历当前片中每个宏块的循环，并将控制权交予终止方框455。

功能方框450执行不带光照补偿的运动补偿，并将控制权交予循环边界方框445。

下面将依照本发明一典型实施例，对将光照补偿用作交叉视图预测处理的一部分予以说明。

光照补偿是在多视点视频编码的交叉视图预测的上下文中执行的。在这种情形下，交叉视图预测通常涉及计算源自不同视图的图像间的差异场。交叉视图预测中的差异场就是时间预测中的运动场。当应用于编码方案时，交叉视图预测是利用视图冗余的有效工具。

为简单起见，以下将假定基于块来执行交叉视图预测进而执行差异估计。然而，应当意识到，给定此处提供的本发明原理的教导，本领域以及相关领域的技术人员将能够在不背离本发明原理范围的前提下，轻易地确定并实现把该教导扩展至其他样组。

同样，还应意识到，虽然此处就应用于启用运动补偿以及差异补偿的MPEG-4AVC标准的多视点视频编码扩展的情形对本发明的若干实施例进行说明，然而，正如本领域以及相关领域的技术人员能够在不背离本发明原理范围的前提下，轻易地判断出并予以实现的那样，给定此处提供的本发明原理的教导，本发明的实现还可针对启用差异补偿的任意的其他多视点视频编码方案。

此外，应当意识到，虽然此处关于多视点视频编码对针对于光照补偿的本发明的若干实施例进行了说明，然而，给定此处提供的本发明原理的教导，本领域以及相关领域的技术人员能够在不背离本发明原理范围的前提下，轻易构想出可以应用本发明原理的其他与视频相关的情形。举例而言，本发明原理可应用于，但不局限于图像配准以及摄像机校准。

下面将依照本发明的典型实施例，对光照补偿语法元素的传输予以说明。

在应用于MPEG-4AVC标准的多视点视频编码扩展的本发明原理的典型实施例中，在片头部中引入被称为ic_prediction_flag的新语法，其用于指示是否对该片应用光照补偿(IC)。如果对整个片禁用交叉视图预测，那么ic_prediction_flag就等于0，并且该片中将不存在其它与IC相关的语法。

视图图像各部分间的光照失配程度有所不同。因此，为所有使用差异补偿的块发送IC参数可能并非高效。为实现该目的，在宏块/子宏块级引入了用于指示是否对某一特定块应用IC的、基于块的新的语法标记，被称为ic_enable。

MPEG-4AVC标准支持块尺寸范围从16×16到4×4的可变块尺寸运动补偿。为减少发送过多ic_enable标记以及ic_sym导致的开销，无需对所有块尺寸应用IC开关。在一特定实施例中，只对尺寸大于或等于8×8的块应用IC开关。

按如下方式设计针对ic_enable编码的上下文自适应二进制算术编码(CABAC)上下文设计：(1)对于{16×16，16×8或8×16}的块尺寸，根据左和上宏块的ic_enable标记而应用三个CABAC上下文；以及(2)对于8×8的块尺寸，在不参考相邻块的情况下，分配单独的CABAC上下文。

为了加以说明，表1至表3示出了与IC相关的语法表。表1示出了多视点视频编码(MVC)的片头部语法。表2示出了宏块级语法。表3示出了子宏块预测语法。

表1

slice_header( ){	C	描述符
			flrst_mb_in_slice	2	ue(v)
view_id	2	u(log2_max_view_num_minusl+1)
			view_slice_type	2	ue(v)
if(view_slice_type＝＝VL_SLICE){
			num_ref_idx_11_aetive_minusl		ue(v)
for(i＝O；i＜＝num_ref_idx_11_active_minusl；i++){
			left_ref_view_id[i]	2	ue(v)
}
			}
if(view_slice_type＝＝VR_SLICE){
			num_ref_idx_Ir_active_minusl	2	ue(v)
for(i＝O；i＜＝num_ref_idx_Ir_active_minusl；i++){
			right_ref_view_id[i]	2	ue(v)
}
			}
if(view_slice_type＝＝VB_SLICE){
			num_ref_idx_11_active_minusl	2	ue(v)
for(i＝O；i＜＝num_ref_idx_11_active_minusl；i++){
			left_ref_view_id[i]	2	ue(v)
}
			num_ref_idx_Ir_active_minusl	2	ue(v)
for(i＝O；i＜＝num_ref_idx_Ir_active_minusl；i++){
			right_ref_view_id[i]	2	ue(v)
}
			}
ic_prediction_flag	2	u(l)
			...
slice_type	2	ue(v)
			pic_parameter_set_id	2	ue(v)
frame_num	2	u(v)
			...

表2

macroblock_layer(){	C	描述符
			mvc_pred_flag	2	u(l)lae(v)
mb_type	2	ue(v)lae(v)
			if(ic_prediction_flag&&mvc_pred_flag&&mb_type＞＝1&&mb_type＜＝3){
ic_enable	2	u(l)lae(v)
			for(mbPartldx＝0；mbPartIdx＜NumMbPart(mb_type)；mbPartIdx++){
ic_sym[mbPartIdx]	2	se(v)lae(v)
			}
}
			if(mb_type＝＝I_PCM){
while(！byte_aligned())
			pcm_alignment_zero_bit	2	f(l)
for(i＝0；i＜256；i++)
			pcm_sample_Iuma[i]	2	u(v)
...

表3

sub_mb_pred(mb_type){	C	描述符
			for(mbPartIdx＝0；mbPartIdx＜4；mbPartIdx++)
sub_mb_type[mbPartIdx]	2	ue(v)lae(v)
			if(ic_prediction_flag&&mvc_pred_flag){
for(mbPartIdx＝0；mbPartIdx＜4；mbPartIdx++){
			if(sub_mb_type[mbPartIdx]＝＝P_L0_8×8){
sub_mb_ic_enable[mbPartIdx]	2	u(l)lae(v)
			if(sub_mb_ic_enable[mbPartIdx]){
sub_mb_ic_sym[mbPartIdx]	2	se(v)lae(v)
			}
}
			}
}
			for(mbPartIdx＝0；mbPartIdx＜4；mbPartIdx++)
if((num_ref_idx_10_active_minusl＞0||mb_field_decoding_flag)&&mb_type！＝P_8×8ref0&&sub_mb_type[mbPartIdx ]！＝B_Direct_8×8&&SubMbPredMode(sub_mb_type[mbPartIdx])！＝Pred_L1)
			ref_idx_10[ mbPartIdx]	2	te(v)lae(v)
for(mbPartIdx＝0；mbPartIdx＜4；mbPartIdx++)
			if((num_ref_idx_11_active_minusl＞0||mb_field_decoding_flag)&&sub_mb_type[mbPartIdx]！＝B_Direct_8×8&&SubMbPredMode(sub_mb_type[mbPartIdx})！＝Pred_L0)
ref_idx_11[mbPartIdx]	2	te(v)lae(v)
			...

下面将依照本发明典型实施例，对带有光照补偿的差异估计予以说明。

在编码应用的特定情形下，光照补偿(IC)将被看作差异补偿处理的一部分。更具体地说，如果在块的差异补偿中启用IC，则按照以下公式计算光照补偿参考块B_r：

B_r(x，y)＝R(x+Δx，y+Δy)+ic_offset

其中R(x，y)是交叉视图参考图像，(Δx，Δy)是差异矢量(DV)。如图5所示，在差异补偿处理中，DV/ic_offset/ic_enable一同使用。

下面参考图5，附图标记500总体指示具有多视点视频内容光照补偿的典型的参考块生成装置。装置600包含光照补偿量化器505，后者的输出连接至合并器515的第一正相输入并与之进行信号通信。合并器515的输出连接至合并器515的第二正相输入以及合并器520的第一正相输入，并与之进行信号通信。

(针对其他视图的)参考图像存储器510的输出连接至合并器520的第二正相输入以及开关525的第一输入，并与之进行信号通信。

开关525的第二输入连接至合并器520的输出，并与之进行信号通信。

光照补偿量化器505的输入可用作装置500的输入，用于接收ic_sym语法。此外，参考图像存储器510的输入可用作装置500的输入，用于接收差异矢量。此外，装置500包含用于接收使控制开关525进行输入选择的ic_enable。开关525的输出可用作装置500的输出。

在块级，通过差分编码以及均匀量化获得光照补偿参数ic_offset。

下面将依照本发明的典型实施例，对ic_offset的差分编码予以说明。

相邻块的ic_offset间存在高度相关。为了利用这一属性，在量化前按如下方式对ic_offset进行差分：

ic_offset＝ic_offset_p+ic_offset_d

其中ic_offset_d是差分光照补偿偏移，使用来自相邻块的ic_offset形成光照补偿预测值ic_offset_p。

按照以下规则计算ic_offset_p。第一条规则，ic_offset_p的缺省值为0。如果不存在可应用IC的相邻块，就使用缺省值。第二条规则，按如下方式，根据左侧MB的块尺寸对ic_offset_p进行设置：(1)如果块尺寸＝16×16，就使用左侧块的ic_offset；(2)如果块尺寸＝16×8或8×16，就使用第二块的ic_offset；以及(3)如果块尺寸＝8×8或者更小，就使用索引为3，1，2，0(按照这个顺序)的8×8块的可用ic_offset。第三条规则，如果左侧不存在相邻块，可以用上方块的ic_offset代替。

下面将依照本发明的一典型实施例，对ic_sym的量化予以说明。

对差分ic_offset应用均匀量化：

ic_offset＝ic_offset_p+ic_sym＊μ

如果采用固定步长量化方法，则无需信号μ的额外语法。如果不使用固定步长量化，则应考虑语法的传输。

下面将依照本发明的典型实施例，对ic_sym的熵编码予以说明。

对于ic_sym，CABAC中采用一元二进制化(unary binarizatoin)。举例而言，如果|ic_sym|为1，则将其二进制化为“10”，如果ic_sym为3，就将其二进制化为“1110”。由于ic_sym采用差分编码，因而ic_sym的值更可能接近于0。为了利用这一属性，为每个二进制化符号分配四个不同的上下文。二进制化后，可以在末端添加一个不带上下文的编码符号位。

下面将依照本发明的典型实施例，对颜色补偿予以说明。

除光照失配以外，槽糕的摄像机校准也会引起颜色失配。本发明的若干实施例通过将前述光照补偿(IC)方法扩展至颜色补偿(CC)而解决了该问题。为简单起见，假设对YUV颜色空间的UV颜色分量应用颜色补偿。然而，应意识到，给定此处提供的本发明原理的教导，本领域以及相关领域的技术人员将能够在不背离本发明原理范围的前提下，针对其他颜色空间地想出并容易地实现本发明的原理。

下面将依照本发明的典型实施例，对颜色补偿予以说明。第一种方法是局部颜色补偿法，第二种方法是全局颜色补偿法。毫无疑问，给定此处提供的本发明原理的教导，本领域以及相关领域的技术人员将能够在不背离本发明原理范围的前提下，轻易地想出此处说明的两种方法的变形以及扩展。

在局部颜色补偿法中，同光照补偿(IC)类似，引入了局部颜色补偿参数cc_offset。U和V通道的两个不同的cc_offset共享相同的ic_enable标记以及相同的差异矢量。

对于YUV420色度采样格式，色度块的宽度和高度是亮度块的一半。为避免在颜色补偿语法上消耗过多比特，将颜色补偿的块尺寸定为8×8。cc_enable标记或者可独立于ic_enable进行表示，或者可由ic_enable推导得出。

对于全局颜色补偿方法，通常色度通道比亮度通道平滑得多。颜色补偿的一种更经济的方法是使用全局补偿参数：cc_offset_global。可以在片或帧的级别上计算全局cc_offset，并将其应用于同一片或帧中的每个块。

下面将对本发明的某些附属优势/特征予以说明，其中某些优势/特征已在上文有所提及。举例而言，一种优势/特征在于一种视频编码器，该视频编码器包含编码器，该编码器根据与图像和另一图像间的颜色数据有关的相关因子，对图像预测中至少一个颜色分量实现颜色补偿，从而对图像进行编码。该图像和另一图像具有不同的视点，且均对应于相同或相似场景的多视点内容。

另一优势/特征在于上述视频编码器，其中编码器对图像进行编码，以提供与如下至少一种兼容的结果比特流：国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信标准化部门的H.264推荐标准及其扩展。

再一优势/特征在于上述视频编码器，其中编码器使用高级语法实现颜色补偿。

此外，另一优势/特征在于上述使用高级语法的视频编码器，其中高级语法包括片级语法。

此外，另一优势/特征在于上述视频编码器，其中编码器使用块级语法指来示是否使在图像预测中使用颜色补偿。

另外，另一优势/特征在于上述使用块级语法的视频编码器，其中编码器使用上下文自适应二进制算术编码上下文对块级语法进行编码，该上下文自适应二进制算术编码上下文基于块尺寸而选择。

此外，另一优势/特征在于上述视频编码器，其中编码器使用块级语法来发信号通知颜色补偿信息。

此外，另一优势/特征在于上述使用块级语法的视频编码器，其中编码器使用上下文自适应二进制算术编码上下文对块级语法进行编码，该上下文自适应二进制算术编码上下文根据块尺寸而选择。

此外，另一优势/特征在于上述使用块级语法的视频编码器，其中颜色补偿信息包括颜色偏移参数。

此外，另一优势/特征在于上述视频编码器，其中编码器使用片级语法来发信号通知应用于与图像相对应的整个片的色度通道的颜色补偿量。

此外，另一优势/特征在于上述视频编码器，其中编码器还根据与图像和另一图像间的光照数据有关的相关因子，在图像预测中实现光照补偿，从而对图像进行编码。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码的视频编码器，其中编码器使用片级语法实现光照补偿。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码的视频编码器，其中编码器使用块级语法来指示是否在图像预测中使用光照补偿。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码的视频编码器，其中分别用不同的块级语法来指示光照补偿和颜色补偿，并且独立地发信号通知不同的块级语法。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码的视频编码器，其中分别用不同的块级语法来指示光照补偿和颜色补偿，并且不同块级语法中的一个是根据不同块级语法中的另一个推导得出的。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码的视频编码器，其中编码器使用块级语法来发信号通知光照补偿信息。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码的视频编码器，其中编码器使用上下文自适应二进制算术编码上下文对块级语法进行编码，该上下文自适应二进制算术编码上下文根据块尺寸而选择。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码并使用块级语法的视频编码器，其中光照补偿信息包括光照偏移参数。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码的视频编码器，其中编码器对块级的光照补偿参数和颜色补偿参数中至少一项进行差分编码。

此外，另一优势/特征在于上述还通过实现光照补偿对图像进行编码并且还采用差分编码的视频编码器，其中编码器对差分编码的光照补偿参数和差分编码的颜色补偿参数中至少一项应用均匀量化。

根据这里的教导，所属领域技术人员易于弄清本发明的上述和其他特征以及优势。应当理解的是，可以硬件、软件、固件、专用处理器或其组合的各种形式实现本发明的教导。

优选情况下，用硬件和软件的组合实现本发明的教导。此外，可以用程序存储单元上有形体现的应用程序实现该软件。该应用程序可上载至具有任意适当架构的机器，并由后者予以执行。优选情况下，在具有诸如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输入(“I/O”)接口等硬件的计算机平台上实现该机器。计算机平台还可以包含操作系统以及微指令代码。此处说明的各种处理和功能可以是由CPU执行的微指令代码的一部分、应用程序的一部分或者其任意组合。此外，可以将诸如附加数据存储单元和打印单元等各种其他外围设备单元连接至计算机平台。

还应当理解的是，由于附图中所描绘的某些构成系统组件以及方法在优选情况下是用软件来实现的，因而系统组件或处理函数方框之间的实际连接根据本发明的实现方式可能会有所不同。给定此处的教导，所属领域技术人员将能够构想出本发明的上述以及类似的实现或者配置。

虽然参考附图对说明性实施例进行了描述，然而应当理解的是，本发明不局限于这些具体的实施例，所属领域技术人员可以在不背离本发明范围或精神的前提下进行各种改进以及修改。正如附属权利要求所阐释的那样，意图将所有此类修改以及改进包含于本发明的范围之内。

Claims (13)

1.一种视频编码器，包含：

编码器(100)，根据与图像和另一图像之间的颜色数据有关的相关因子，选择性地在图像预测中对至少一个颜色分量实现颜色补偿，并且根据与图像和另一图像之间的光照数据有关的相关因子，在图像预测中实现光照补偿，从而对图像进行编码，其中该图像和该另一图像具有不同的视点，且均对应于相同或相似场景的多视点内容，其中编码器(100)使用片级语法来指示是否利用颜色补偿。

2.根据权利要求1所述的视频编码器，其中所述编码器(100)对图像进行编码，以提供与如下至少一项标准兼容的结果比特流：国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准，国际电信联盟电信标准化部门的H.264推荐标准，以及上述标准的扩展。

3.根据权利要求1所述的视频编码器，其中所述编码器(100)使用上下文自适应二进制算术编码上下文对块级语法进行编码，上下文自适应二进制算术编码上下文是根据块尺寸而选择的。

4.根据权利要求1所述的视频编码器，其中所述编码器(100)使用上下文自适应二进制算术编码上下文对块级语法进行编码，上下文自适应二进制算术编码上下文是根据块尺寸而选择的。

5.根据权利要求1所述的视频编码器，其中所述编码器(100)使用片级语法实现光照补偿。

6.根据权利要求1所述的视频编码器，其中所述编码器(100)使用块级语法来指示是否在图像预测中使用光照补偿。

7.根据权利要求1所述的视频编码器，其中分别用不同的块级语法来指示光照补偿和颜色补偿，并且独立地发信号通知不同的块级语法。

8.根据权利要求1所述的视频编码器，其中分别用不同的块级语法来指示光照补偿和颜色补偿，并且不同块级语法中的一个是根据不同块级语法中的另一个推导得出的。

9.根据权利要求1所述的视频编码器，其中所述编码器(100)使用块级语法来发信号通知光照补偿信息。

10.根据权利要求9所述的视频编码器，其中所述编码器(100)使用上下文自适应二进制算术编码上下文对块级语法进行编码，上下文自适应二进制算术编码上下文是根据块尺寸而选择的。

11.根据权利要求9所述的视频编码器，其中光照补偿信息包括光照偏移参数。

12.根据权利要求1所述的视频编码器，其中所述编码器(100)对块级的光照补偿参数和颜色补偿参数中至少一项进行差分编码。

13.根据权利要求12所述的视频编码器，其中所述编码器(100)对差分编码的光照补偿参数和差分编码的颜色补偿参数中至少一项应用均匀量化。