CN103081468A - 用于视频编码和处理的光照补偿和转变的方法及系统 - Google Patents

Abstract

描述了针对视频编码和处理应用的光照补偿参数推导和光照主转变类型的确定。检测光照变化如淡入、淡出、交叉淡入淡出和闪光等。然后将这些光照变化的检测用于加权预测以提供改善了的光照补偿。

Description

用于视频编码和处理的光照补偿和转变的方法及系统

相关申请的交叉引用

本申请要求于2010年9月3日提交的美国临时专利申请No.61/380,111的优先权，出于所有目的将其全部内容通过引用合并到本申请中。

技术领域

本发明一般涉及图像处理。更具体地，本发明的实施例涉及针对视频编码和处理的光照补偿参数推导以及光照主转变类型检测。

背景技术

视频信号的从一个画面到下一个画面的转变经常表征为：新画面相对于先前画面的可能经历了压缩或处理操作的运动、对象或对象的一部分的出现或消失，或新场景的完全出现，使得先前编码的、处理的、或原始的画面不太适合用作预测参考。可以使用运动补偿（帧间预测的特殊情况）和帧内预测来对这些事件的大多数进行建模。运动补偿用于使用一个或多个先前编码的画面中的样本对当前画面中的样本进行预测。更具体地，在基于块的运动补偿中，根据来自一些已经解码的参考画面的样本块预测当前画面中的样本块。已经解码的参考画面称为预测块。预测块可以像一些先前编码画面中的布置块（collocated block）一样简单，其与全零运动向量对应。但是为了说明运动，传输以下运动向量：该向量指导解码器使用与正在被预测的块较为匹配的一些其他的、位移的块。该运动模型能够像平移运动模型（其中运动参数由水平和竖直位移运动向量组成）一样简单，或像需要6或8个运动参数的仿射运动模型或透视运动模型一样复杂。更复杂的运动补偿方案还可以产生预测块，预测块是与不同的运动参数对应的多个块的组合。但是，视频信号还包含不能有效地通过运动补偿（帧间预测）或帧内预测来建模的全局或局部光照变化。这些光照变化通常被发现为淡入淡出（fade）、交叉淡入淡出（cross-fade）、闪光和其他局部光照变化，其例如可以由多个光源的存在而引起。加权预测（WP），例如，光照补偿能够有益于对于淡入淡出、交叉淡入淡出、闪光和其他局部光照变化的预测效率。加权预测包括：将颜色分量样本（例如，亮度样本和/或色度样本）与增益加权（相乘），再通过加上附加的偏移进一步增大。请注意，在本公开内容中，可以将颜色参数或颜色分量用于指代包括颜色域或空间的各个分量。还请注意，在一些域或空间中，颜色分量可以包括与强度有关的分量和与颜色有关的分量。与强度有关的分量可以包括一个或多个亮度值，并且与颜色有关的分量可以包括一个或多个色度值。现有技术中的编解码器如H.264/AVC支持可能位于许多可能的颜色空间/域之一中的样本的加权预测。加权预测还具有时间预滤波和后滤波用途，其能够用于减小传感器噪声、压缩或其他失真和时域闪烁/不一致等。实践中，负责光照变化的图像处理操作可以不必在用于压缩或处理图像的域例如YCbCr中发起。受实验发现支持的直觉显示：这些操作通常在一些其它域中进行，通常是sRGB域（sRGB是广泛地用于PC和数字相机的RGB颜色空间），其也接近于人类对颜色信息的感知观念。注意，存在转换至RGB颜色空间或由RGB颜色空间转换的许多可能的YCbCr转换公式。此外，必须说明在产生光照变化的操作之前或之后已经被伽马校正了的RGB值的问题。除了由处理（主要是淡入淡出和交叉淡入淡出）产生的光照变化以外，还存在作为内容的一部分的光照变化，例如全局或局部的闪光、来自闪光灯和灯具的改变的光照、以及偏移自然光照等。

通过某种加权预测参数搜索/估计（WP搜索）来导出加权预测参数例如增益w和偏移f，其用于根据样本p对样本s进行光照补偿s＝w×p+f。在其最直接和最高复杂度形式中，可以使用暴力（brute force）搜索方案，该方案考虑了在某个受限窗口内的增益和偏移的所有可能的组合，与暴力搜索类似，用于运动估计的全搜索方案计算光照补偿参考信号与源信号相比的失真/相似性并且选择产生最小失真的光照补偿参数。在这样的搜索期间还可以考虑运动估计和补偿。但是全搜索是计算密集的。已经提出了估计对于某个给定的块、区域或甚至是整个帧（对于全局光照补偿）的“最佳”增益和偏移的各种加权参数估计技术。例如，参见K.Kamikura,et al."Global Brightness-Variation Compensation for VideoCoding,"IEEE Transactions on Circuits and Systems for VideoTechnology，vol.8,no,8,December1998,pp.988–1000，其描述了一种提高视频场景的编码效率的全局亮度变化补偿方案，上述视频场景包含由淡入/淡出、相机光圈调节、闪烁、光照变化等引起的全局亮度变化。还参见Y.Kikuchi and T.Chujoh,"Interpolation coefficient adaptation inmulti-frame interpolative prediction",Joint VideoTeam ofISO/IECMPEG and ITU-T VCEG, JVT-C103,Mar.2002以及H.Kato and Y.Nakajima,"Weighting factor determination algorithm for H.264/MPEG-4AVC weighted prediction,"Proc.IEEE6th Workshop onMultimediaSignal Proc.,Siena,Italy，Oct.2004。

为了最好的可能结果，如上面在参考文献中所讨论的方法必须单独地应用到每个颜色分量。加权参数搜索可能还从运动估计与补偿中受益。例如，参见J.M.Boyce,"Weighted prediction in the H.264/MPEG-4AVCvideo coding standard,"Proc.IEEE International Symposium on Circuitsand Systems,Vancouver，Canada,May2004,vol.3,pp.789-792。在H.264/AVC标准中，在对样本的运动补偿后接着应用加权预测以产生最终的预测样本。因此，在WP搜索期间，运动向量与加权参数之间有互依性。这可以通过进行如下的多次迭代来解决：使用某种简单算法来初始化加权参数并且使用加权参数来按比例缩放和偏移参考帧。然后将所按比例缩放并且偏移的参考帧用于产生运动向量的运动估计。可替代地，可以将对样本的按比例缩放和偏移结合到运动估计步骤中。在这样的实施中，动态（on-the-fly）考虑按比例缩放和偏移并且不需要产生加权参考的离散步骤。在第二次迭代中，在WP搜索期间使用这些运动向量以针对每个MB使用实际的预测参考块来导出WP参数。然后再一次在这之后接着生成按比例缩放和偏移的参考帧，该参考帧经历了考虑已经导出的按比例缩放和偏移的运动估计或单一的运动估计步骤。通常，如果WP参数已经会聚则这些算法终止。

如上面所表示的，现有技术中已知的用于解决光照补偿的方法可能是计算地密集的，这导致图像显示的性能降低或提供所期望的性能的硬件成本增加。注意，即使可以互换地使用术语帧与画面，可互换的用途仍不应该解释为排除隔行扫描的内容如场画面。本公开内容的教示可以应用于渐进扫描的帧以及隔行扫描的场（顶部或底部）画面。

附图说明

结合到本说明书并且构成本说明书的一部分的附图示出了本公开内容的一个或多个实施例并且与详细的描述及示例一起用于说明本公开内容的原理和实施。

图1示出了用于确定局部或全局光照变化的算法的流程图；

图2示出了针对淡入淡出的颜色WP参数估计的流程图；

图3示出了在增益w_Y不等于1并且偏移f_Y不等于0的情况下颜色参数推导算法的流程图；

图4示出了针对闪光的颜色WP参数的推导算法的流程图；

图5示出了针对淡入淡出的在线性域中的WP参数推导算法的流程图；

图6示出了淡入淡出的结束的图，其中DC减小直至帧m+2。

图7示出了淡入淡出的结束的图，其中DC增加直至帧m+2。

图8示出了淡入淡出的开始的图，其中DC从帧m+2增加。

图9示出了淡入淡出的结束的图，其中DC从帧m+2减小。

图10示出了使用光照关系的淡入淡出检测算法的流程图。

图11示出了低复杂度交叉淡入淡出检测器的算法的流程图；

图12示出了从黑色淡入的情况下的具有饱和背景的全局光照示例；

图13示出了一般的具有饱和背景的全局光照示例；

图14示出了基于标记集合的WP参数搜索算法的流程图；

图15示出了使用迭代消除的WP搜索算法的流程图；以及

图16示出了混合视频解码器的框图。

具体实施方式

如在下面的示例所提出的，本发明的一个实施例是一种用于在视频信号的从一个画面到下一个画面的转变中检测淡入淡出和确定所述淡入淡出的全局或局部性质，该方法包括：提供画面的多个帧和有关的预测参考帧；对于每个帧和有关的预测参考帧，计算第一颜色域中的一个或多个与强度有关的值和一个或多个与颜色有关的分量值；对于每个帧和有关的预测参考帧，计算对于第一颜色域中的每个颜色分量值的加权预测增益；如果加权预测增益是全为非负并且彼此基本上相似，则确定具有0偏移的全局转变主要发生在第二颜色域中；如果加权预测增益不是全为非负并且彼此基本上相似，则确定以下各项中的至少一项不发生：全局淡入淡出转变；具有零偏移的全局淡入淡出转变；或在第二颜色域中具有零偏移的全局淡入淡出转变。

如在下面的示例中进一步提出的，本发明的另一个实施例是一种用于在视频信号的从一个画面到下一个画面的转变中检测淡入淡出和确定所述淡入淡出的全局或局部性质，该方法包括提供画面的多个帧和有关的预测参考帧；对于每个帧和有关的预测参考帧，计算第一颜色域中的与强度有关的值和与颜色有关的值；对于每个帧和有关的预测参考帧，计算与强度有关的加权预测参数；对于每个帧和有关的预测参考帧，根据所计算（例如，通过数学计算（calculated））的与强度有关的值和与颜色有关的值并且根据所计算的与强度有关的加权预测参数来计算加权预测增益；如果加权预测增益是全为非负并且彼此基本上相似，则确定具有0偏移的全局转变主要发生在第二颜色域中；如果加权预测增益不是全为非负并且彼此基本上相似，则测试是否发生局部转变。

本发明的又一实施例是一种用于对视频信号的从一个画面到下一个画面的转变中的淡入淡出的全局或局部性质进行确定的方法，所述方法包括：提供画面的多个帧和有关的预测参考帧；对于每个帧和有关的预测参考帧，计算（例如，通过数学计算（calculating））第一颜色域中与强度有关的值和与颜色有关的值；对于每个帧和有关的预测帧，计算对于第一颜色域中的每个与强度有关的值和与颜色有关的值的加权增益；对于每个帧和有关的预测参考帧，对加权预测增益彼此进行比较；如果加权预测增益是全为非负并且彼此基本上相似，则确定淡入淡出是全局的；如果加权预测增益不是全为非负并且彼此基本上相似，则确定淡入淡出是局部的。

本发明的又一实施例是一种用于在发生图像转变时根据关于颜色空间转换的信息和第一颜色分量加权预测参数来计算第二加权预测参数和第三颜色分量加权预测参数，该方法包括：计算第一颜色分量加权预测增益和偏移；以及基于所计算的第一颜色分量加权预测增益和偏移的值，根据颜色转换偏移、颜色转换矩阵的系数和第一颜色分量加权预测增益和偏移来计算第二颜色分量加权预测增益和第三颜色分量加权预测增益和偏移。

另一个实施例是一种用于在发生图像闪光时根据与强度有关的参数和关于颜色空间转换的信息来计算与颜色有关的参数的方法，该方法包括：计算与强度有关的增益和偏移；如果与强度有关的增益不为1并且与强度有关的增益为非0，则将与颜色有关的增益设置成等于与强度有关的增益，并且根据颜色格式转换偏移、与强度有关的增益、与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移；如果与强度有关的增益不为1并且与强度有关的偏移为0，则将与颜色有关的增益设置成等于与强度有关的增益，并且根据颜色格式转换偏移、与强度有关的增益和颜色转换矩阵的系数来计算与颜色有关的偏移；如果与强度有关的增益为1或接近1，则将与颜色有关的增益设置成等于1并且根据与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移。

又一实施例是一种用于在视频信号的从一个场景到下一个场景的转变中检测淡入淡出的方法，所述方法包括以下步骤：步骤A：提供来自视频信号的多个帧；步骤B：选择所述多个帧的当前帧；步骤C：基于在当前帧之前的帧和接着当前帧的帧的一个或多个颜色分量的帧值来计算对于当前帧的一个或多个颜色空间分量的属性集合；步骤D：基于当前帧之前的在前帧之前的帧和所述在前帧之后的帧的一个或多个颜色分量的帧值来计算在前帧的一个或多个颜色空间分量的属性集合；以及步骤E：对当前帧的一个或多个颜色空间参数的属性集合和在前帧的一个或多个颜色空间参数的属性集合进行比较，以确定当前帧是具有增加或减小的帧值的淡入淡出的结束帧或确定当前帧之前的帧是否是具有增加或减小的帧值的淡入淡出的开始帧。

又一实施例是一种用于检测交叉淡入淡出的方法，包括：提供视频序列的多个帧和有关的双向预测参考帧；以及基于针对当前帧和有关的双向预测参考帧的第一颜色域的颜色空间分量所计算的平均增益、和针对当前帧和有关的双向预测参考帧的第二颜色域的颜色空间分量所计算的平均增益来确定是否存在交叉淡入淡出。

又一实施例是一种用于在存在淡入淡出条件的情况下确定加权参数的方法，该方法包括以下步骤：步骤A：提供画面的多个帧和有关的预测参考帧；步骤B：选择颜色分量；步骤C：对于每个帧和有关的预测参考帧，确定所述帧和它的有关的预测参考帧内的对于所选择的颜色分量的饱和分区；步骤D：对于每个帧和有关的预测参考帧，确定两个帧是否共享具有对于所选择的颜色分量的饱和值的大范围，如果没有共享的具有饱和值的大范围，则去往步骤H；步骤E：对于每个帧和有关的预测参考帧，确定所述帧和它的有关的预测参考帧内的不饱和分区；步骤F：对于每个帧和有关的预测参考帧，确定两个帧是否共享具有对于所选择的颜色分量的不饱和值的大范围；如果没有共享的具有不饱和值的大范围，则去往步骤H；步骤G：对于每个帧和有关的预测帧，基于共享的并且可选地标准化到相同的像素计数的具有不饱和值的大范围来计算加权预测增益和因子；以及步骤H：对于每个帧和有关的预测参考帧，基于整个帧来计算加权预测增益和因子。

又一实施例是一种用于在存在淡入淡出条件的情况下确定加权参数的方法，该方法包括以下步骤：步骤A：提供画面的多个帧和包括颜色样本数据的有关的预测参考帧；步骤B：选择颜色分量；步骤C：对于每个帧，基于对于颜色样本数据选择的颜色域来设置对于所选择的颜色分量的当前最低饱和值和当前最高饱和值；步骤D：对于每个有关的预测参考帧，基于对于颜色样本数据所选择的颜色域来设置对于所选择的颜色分量的当前参考最低饱和值和当前参考最高饱和值；步骤E：对于每个帧和有关的预测参考帧，基于当前最低饱和值、当前最高饱和值、当前参考最低饱和值、当前参考最高饱和值来估计加权预测参数；步骤F：对于每个有关的预测参考值，基于所估计的加权预测参数来计算更新的当前参考最低饱和值和更新的当前参考最高饱和值；步骤G：将当前参考最低饱和值设置成等于更新的当前参考最低饱和值，将当前参考最高饱和值设置成等于更新的当前参考最高饱和值；步骤H：如果本次迭代的加权预测参数与紧在前的迭代的加权预测参数相差所选择的值，或如果迭代的数量大于所选择的迭代计数，则对于后续的迭代重复步骤D到步骤G。

本发明的又一实施例是一种用于对视频信号的从一个画面到下一个画面的淡入淡出转变中的加权预测增益和偏移进行估计的方法，所述方法包括：提供来自视频信号内的画面的当前帧和有关的预测参考帧；对于每个当前帧和有关的预测参考帧，计算颜色域中的颜色分量值，其中A_m指代当前帧的第一颜色分量，B_m指代当前帧的第二颜色分量，C_m指代当前帧的第三颜色分量，并且其中A_m+1指代有关的预测参考帧的第一颜色分量，B_m+1指代有关的预测参考帧的第二颜色分量，C_m+1指代有关的预测参考帧的第三颜色分量；对于所有颜色分量将加权预测增益设置成相等，其中w指代对于所有的颜色分量的等值加权预测增益；将所述颜色分量中的两个颜色分量的加权预测偏移设置成彼此相等，其中f_A指代第一颜色分量的偏移，f_C指代所述颜色分量中的两个颜色分量的等值加权预测偏移；以及对关于加权预测增益w和加权预测偏移f_A和f_C的公式进行求解。

本发明的又一实施例是一种用于对视频信号的从一个画面到下一个画面的淡入淡出转变中的加权预测增益和偏移进行估计的方法，所述方法包括：提供来自所述视频信号内的画面的当前帧和有关的预测参考帧；对于每个当前帧和有关的预测参考帧，计算颜色域中的颜色分量值，其中A_m指代当前帧的第一颜色分量，B_m指代当前帧的第二颜色分量，C_m指代当前帧的第三颜色分量，并且其中A_m+1指代有关的预测参考帧的第一颜色分量，B_m+1指代有关的预测参考帧的第二颜色分量，C_n+1指代有关的预测参考帧的第三颜色分量；对于所有的颜色分量将加权预测偏移设置成相等，其中f指代对于所有颜色分量的等值加权预测偏移；将对于所述颜色分量中的两个颜色分量的加权预测增益设置成彼此相等，其中w_A指代第一颜色分量的偏移，w_C指代所述颜色分量中的两个颜色分量的等值加权预测偏移；对关于加权预测增益w_A和w_C以及加权预测偏移f的公式进行求解。

本发明的又一实施例是一种用于将加权预测参数从第一颜色域转换到第二颜色域的方法，其中从第一颜色域到第二颜色域的转换是非线性的，该方法包括：基于从第一颜色域到第二颜色域的转换表达式来计算第二域中一个或多个帧的第二颜色域加权预测参数。

概述

本公开内容描述了涉及具有颜色空间考虑的光照补偿的方法及实施例。具体地，这些方法及实施例涉及可以结合到使用用于2维应用和3维应用两者的视频编码和解码的设备和软件中的光照补偿。这样的设备可以包括视频光盘系统、空中广播系统、互联网协议电视（IPTV）系统和其他这样的设备。

最广泛地用于视频表示的颜色空间是RGB颜色空间。每个分量表示每个原色的强度，在该情况下，为红原色、绿原色和蓝原色。从表示颜色信息的方面来讲，RGB域是非常有效的。此外，在将RGB值发送至显示器或图形卡之前对RGB值进行伽马校正。可以将伽马校正操作概括为如下面在等式1中所示。

$R^{\′}={\mathrm{\α}}_R\×R^{{\mathrm{\γ}}_R}+{\mathrm{\β}}_R$

$G^{\′}={\mathrm{\α}}_G\×G^{{\mathrm{\γ}}_G}+{\mathrm{\β}}_G$

$B^{\′}={\mathrm{\α}}_B\×B^{{\mathrm{\γ}}_B}+{\mathrm{\β}}_B$ 等式1

参数γ_R、γ_G和γ_B是伽马校正指数，而增益α_R、α_G和α_B控制对比度并且偏移β_R、β_G和β_B控制黑电平和强度。对于本公开内容的剩余部分，假设α_R＝α_G=α_B＝1和β_R＝β_G＝β_B=0。即使伽马指数可以对于每个分量都是不同的，对于本公开内容的剩余部分以及出于简化表示和分析的目的，有γ_R＝γ_G＝γ_B＝γ。但是，应当理解，即使在指数不同的情况下，本文所描述的许多方法也是适用的。对于基本的和大多数实际的应用，还假设伽马增益和伽马偏移贯穿颜色通道上是一致的。

从颜色表示和显示方面来讲，RGB颜色空间是有效的，但是，由于贯穿颜色通道可能存在明显的相关性，所以RGB颜色空间对于视频压缩通常不是有效的。为了提高电视广播系统的压缩性能，已经提出并标准化了将RGB信号去相关为新的颜色空间的若干变换，其中一个分量集中亮度信息并且通常被表示为Y（如果被伽马校正则为Y’），并且剩余的两个分量主要保留色度信息。这些变换包括模拟美国NTSC Y’T’Q’和模拟欧洲EBUY’U’V’以及Y’CbCr的各种数字风格。例如，参见A.Ford and A.Roberts,"Color Space Conversions"，这可在http://www.poynton.com/PDFs/coloureq.pdf处获得。下面所描述的是这些变换的使用得最广泛的版本以及可能由它们的应用所引起的问题。请注意，下面所描述的变换和等式是出于示例性目的而提出并且不应被解释为将本发明限制在所描述的具体变换和等式。本领域普通技术人员应当理解，其它变化和等式也在本发明的范围内。

用于对标清（SD）分辨率的数字TV画面进行编码的国际标准是ITUBT.601。用于从模拟RGB空间到模拟YCbCr空间的转换的非线性编码矩阵在下面的等式2中示出：

$\left[\begin{array}{c}{E^{\′}}_Y\\ {E^{\′}}_{\mathrm{PB}}\\ {E^{\′}}_{\mathrm{PR}}\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.168736& -0.331264& 0.500\\ 0.500& -0.418688& -0.081312\end{array}\right]\left[\begin{array}{c}{E^{\′}}_R\\ {E^{\′}}_G\\ {E^{\′}}_B\end{array}\right]$ 等式2

等式2对于范围从0到1的RGB颜色通道表示（(E_R，E′_G，E′_B)∈[0，1]）是有效的并且产生取值为E′_Y∈[0，1]、E′_PB∈[-0.5，0.5]和E′_PR∈[-0.5，0.5]的E’_YE’_PBE’_PR的“模拟”值。在数字计算机中，RGB颜色分量通常使用N比特如8比特的无符号整数值来表示，允许值从0到255。使(R′，G′，B’)∈[0，255]。模拟E’_YE’_PBE’_PR值到数字Y’CbCr值的转换（其是实质上是量化处理）可以通过根据ITU和SMPTE规格使用在下面的等式3中示出的变换来完成：

Y′＝219×E′_Y+16

Cb＝224×E′_PB+128

Cr＝224×E′_PR+128    等式3

使用等式2和等式3，按照下面等式4所示来导出Y’CbC分量的8比特表示：

$\left[\begin{array}{c}{Y}^{\′}\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.0\\ 112.0& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{E^{\′}}_R\\ {E^{\′}}_G\\ {E^{\′}}_B\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]$ 等式4

在8比特数字表示中，RGB分量的范围从0到255。当应用到Y’CbCr空间的变换时可以对该动态范围进行限制。使用下面所示的等式5的变换，有效的范围变为：Y′∈[16，235]，Cb∈[16,240]和Cr∈[16，240]。

$\left[\begin{array}{c}{Y}^{\′}\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.257& 0.504& 0.098\\ -0.148& -0.291& 0.439\\ 0.439& -0.368& -0.071\end{array}\right]\left[\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]$ 等式5

可以对等式5中示出的表达式进一步进行简化以能够如在等式6中示出的仅整型SIMD运算来进行快速的计算：

等式6

等式5和等式6的衍生式使用对于亮度分量的16偏移。除了由ITU和SMPTE建议的等式3以外，JPEG组的JFIF标准已经对模数转换的替代等式进行了标准化，主要是针对图像压缩，其中期望保留动态范围的较大切片。在下面的等式7中示出了该替代等式：

Y′＝256×E″_Y

Cb＝256×E″_PB+128

Cr＝256×E′_PR+128    等式7

等式7中示出的转换保留了原始模拟信号的更多的动态范围。此外，亮度值不再限于大于或等于16并且小于235。色度值也具有较高的动态范围。但是，还注意对于Y’值的偏移的缺失。这里注意，不应将本发明的该分析和方法限于以8比特采样的颜色空间分量。较高位深内容已经可用于如数字电影等应用。在那些情况下，例如变换的偏移被按比例缩放至适当的位深。此外，以下不是必需的：所变换的颜色空间保留与原始颜色空间的动态范围相同的动态范围。最后，动态范围（或位深）可以基于分量而不同。

用于对高清（HD）分辨率的数字TV画面进行编码的国际标准是ITUBT.709。在下面的等式8中示出了非线性编码矩阵：

$\left[\begin{array}{c}{E^{\′}}_Y\\ {E^{\′}}_{\mathrm{PB}}\\ {E^{\′}}_{\mathrm{PR}}\end{array}\right]=\left[\begin{array}{ccc}0.2215& 0.7154& 0.0721\\ -0.1145& -0.3855& 0.500\\ 0.5016& -0.4556& -0.0459\end{array}\right]\left[\begin{array}{c}{E^{\′}}_R\\ {E^{\′}}_G\\ {E^{\′}}_B\end{array}\right]$ 等式8

等式8中所示的公式对于范围从0到1的RGB颜色通道表示（(E′_R,E′_G,E′_B)∈[0,1]）是有效的并且产生取值为E′_Y∈[0,1]、E′_PB∈[-0.5，0.5]和E′_PR∈[-0.5,0.5]的E’_Y，E’_PB和E’_PR的“模拟”值。

使用等式5作为基础，RGB到Y’CbCr的转换可以按照在下面的等式9中来概括：

$\left[\begin{array}{c}{Y}^{\′}\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}{c}_{00}& c_{01}& c_{02}\\ c_{10}& c_{11}& c_{12}\\ c_{20}& c_{21}& c_{22}\end{array}\right]\left[\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right]+\left[\begin{array}{c}{d}_0\\ d_1\\ d_2\end{array}\right]$ 等式9

上面的表达式在对光照变化进行建模时是有用的。请注意，除非另外指出，否则Y’CbCr和RGB是指经伽马校正的值。当尽管RGB与R’G’B’用在相同的等式或环境中时，则前者符号指代线性值而后者符号指代经伽马校正的值。

利用上面所提供的对RGB到Y’CbCr的转换的描述，通过本发明的一些实施例解决的光照变化可以按照下面所述来分类。

淡入（fade-in）是从没有内容的帧（通常为空白或单个颜色）开始而结束于新场景的开始的全局光照变化。如果开始颜色为黑色，例如针对8比特ITU BT.601颜色空间，Y’值小于17并且Cb、Cr值接近128，则存在从黑色的淡入，并且如果开始帧颜色为白色，例如8比特ITU BT.601颜色空间，Y’值大于234并且Cb、Cr值接近128，则存在从白色的淡入。可以将开始帧与结束帧（边缘帧）之间的帧建模为两个边缘帧的线性组合。还可以从单一方向来预测淡入：取决于开始帧为亮还是暗，在最后一帧之前的帧将会是结束帧的较亮或较暗的版本。假设集合的DC表示集合的平均值。假设第一帧为帧n并且最后一帧是帧n+N。假设Y’_n表示帧n的亮度DC。可以类似地定义Cb_n、Cr_n、R_n、G_n和B_n。全局光照变化被建模为具有对于每个颜色空间分量cmp的增益w_cmp和偏移f_cmp的转变。对于淡入，可以使用在等式10和等式11中示出的表达式：

Y′_m＝w_Y×Y′_m+k+f_Y

Cb_m＝w_Cb×Cb_m+k+f_Cb

Cr_m＝w_Cr×Cr_m+k+f_Cr    等式10

R_m＝w_R×R_m+k+f_R

G_m＝w_G×G_m+k+f_G

B_m＝w_B×B_m+k+f_B    等式11

项k被限定为k≥1和k≤-1（任何非零的整数）。下面在等式12中示出了基于等式11的淡入模型：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=w\×\left[\begin{array}{c}{R}_{m+k}\\ G_{m+k}\\ B_{m+k}\end{array}\right]+\left[\begin{array}{c}{f}_R\\ f_G\\ f_B\end{array}\right]$ 等式12

根据等式12，可以假定单个增益w可以对RGB颜色空间中的变化进行建模。通常将偏移f假定为0。注意，如在等式10中的淡入建模与具有按照例如在H.264视频编码标准中实施的偏移和增益的加权预测对应。假设p表示预测块中的样本，f表示最终的预测值。还假设w_x表示增益，O_x表示偏移以及logWD表示对操作的数学精度进行控制的项。可以按照下面等式13所示来实施加权预测：

等式13

淡出（fade-out）是从作为场景的结束的帧开始并且以无内容（通常为空白或单一颜色）的帧结束的全局光照变化。如果结束颜色为黑色，则存在到黑色的淡出，如果结束帧颜色是白色，则存在到白色的淡出。可以将开始帧与结束帧（边缘帧）之间的帧建模为两个边缘帧的线性组合。还可以从单一方向预测淡出：取决于结束帧为亮或暗，最后一帧之前的帧将会是结束帧的较暗或较亮的版本。

交叉淡入淡出（cross-fade）是以下全局光照变化：开始帧是属于一个场景的帧并且结束帧是属于下一个场景的帧。可以将开始帧与结束帧（边缘帧）之间的帧建模为两个边缘帧的线性组合。但是，不同于淡入和淡出，不能有效地从单一方向预测交叉淡入淡出。原因是交叉淡入淡出中的帧根据定义为属于两个非常不同的场景的两个帧的混合。在大多数情况下为线性的这种混合通常发生在RGB颜色空间，并且可以建模为来自每个预测方向的两个样本的加权平均。下面等式14示出了可以用于交叉淡入淡出的模型：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=w_1\×\left[\begin{array}{c}{R}_{m+p}\\ G_{m+p}\\ B_{m+p}\end{array}\right]+w_2\×\left[\begin{array}{c}{R}_{m+q}\\ G_{m+q}\\ B_{m+q}\end{array}\right]+\left[\begin{array}{c}{f}_R\\ f_G\\ f_B\end{array}\right]$ 等式14

假定增益的和等于1：w₁+w₂＝1。此外，通常将偏移f假定为0。将参数p限定成等于或小于-1，例如，p≤-1，而将参数q限定为等于或大于1，例如，q≥1。

闪光和混杂光照变化是不符合前面的种类中的任何一种的光照变化，如通过图像处理操作所强加的、最经常的人工（合成）光照变化的淡入淡出和交叉淡入淡出。闪光是最自然地出现的光照变化，而混杂光照变化可以是人工类型（例如，在后处理期间所引入的）和自然类型。然而注意到当考虑计算机模拟内容时难以区分人工类型与自然类型。这些光照变化的持续时间不同并且经常可以短至单个帧，如在闪光的情况下。此外，它们通常影响画面的单个部分并且不能简单地通过全局光照补偿（全局加权预测参数）来建模。另外的困难因素是它们的行为取决于内容和光源并且通常不顺从于受限建模。例如，建立贯穿颜色空间分量的变化之间的关系可能是挑战性的。关于光源的性质的信息和对象距传感器的距离会有助于建立这些关系。例如，如果光源具有具体的颜色例如红色，则相比影响其他颜色的分量，保持红色信息的分量更会受到影响。相比之下，针对淡入淡出和交叉淡入淡出，能够做出可以提供光照补偿算法的基础的一些直观假设。下面所描述的是混杂光照变化和闪光的一些示例：

混杂光照变化可以是合成或自然的。合成变化包括淡入/出和交叉淡入淡出的局部对应之处。例如，在新闻节目中，局部化光照变化可以是非常普通的，例如，由于画面片段插入中的标志或画面等。许多自然光照变化还可以影响以下场景：（a）移动和/或偏移（在强度或甚至色温中）内部光源（例如，灯），（b）移动或再次偏移（例如，穿过云移动的太阳）外部光源（夕阳、聚光灯等），（c）存在同时影响对象的多个光源，（d）从光源到相机或对象上的反射，（e）由一些其他的对遮挡光源的对象的移动引起或由光源自身的移动引起的对对象的遮蔽，（f）高度动态事件如会导致还影响特定颜色的多个光源的爆炸，（g）透明并且运动的物质比如水的存在，其既在时间上又在空间上影响来自光源的光的方向和强度，等等。取决于光的强度，可以保存颜色信息，尽管会有这不会成立的情况。

闪光持续几帧（通常仅一帧）并且涉及局部或全局光照变化。对颜色分量如RGB颜色空间的权重和偏移不是必需被关联。如果光源是白色，则可以将所有的权重建模为近似地具有相同的值。但是，光源具有主色也是可能的。此外，即使闪光源是白色，但是因为弱光易于冲走场景中的所有颜色信息，所以闪光源还是能增强颜色饱和度。但是类似的理由适用于具有类似效果的非常明亮的光。因此，在闪光期间，维护颜色信息的概念由于在淡入淡出下或多或少为真，所以不是必需地成立。

局部化、移动的和定向的光源如闪光灯导致局部光照变化，并且因为它们显示在先前帧中不存在的颜色信息，所以经常能够使颜色饱和或改变颜色分量。因此，不必维护颜色信息。

本公开内容对根据本发明的与考虑了颜色空间的光照补偿有关的若干实施例进行了描述。注意，不应将使用具体颜色空间的示例陈述解释为将本发明的实施例限制于那些颜色空间。具体地，出于描述目的提出了对使用利用亮度和色度分量的颜色空间的实施例的描述，本领域普通技术人员理解，可以将这样的示例扩展到其他颜色空间。下面简要地描述了并且按照下面所示的章节标题所指示的另外详细地提出了本发明的实施例及其示例。

一个实施例包括用于检测淡入淡出和确定光照变化的性质的方法：无论是局部还是全局。该方法对于指导在下段描述的实施例的操作也是有用的。该方法要求如亮度和色度DC值的一些全局参数或直方图模式等，并且利用不同的颜色空间（RGB对YCbCr）中的关系来确定是否存在淡入淡出以及确定其是局部的还是全局的。

另一个实施例包括以下方法：在给出亮度参数和颜色空间转换信息的情况下推导用于光照补偿的缺失的色度参数。如果基于局部（块或区域）而知道亮度参数，则该方法使得能够也基于局部来推导色度参数，而不考虑以下事实：即色度先验信息被限制为在范围中受限并且是全局的。该方法使得能够在不必诉诸于对所有分量的全搜索的情况下针对亮度和色度分量两者来获得局部和全局光照补偿参数。下面针对每种类型的光照变化来描述不同的实施例。另外的实施例可以将该方法实施为视频解码系统的一部分。当推导局部参数时其他实施例可以通过考虑分段来增强色度参数估计。分段可以受益于运动补偿并且对于追踪位于共享相似色度信息的场景中的对象是有用的。因此，色度参数能够受益于提高推导正确的缺失色度参数的可能性的一些初始化值并且能够加速这样做的处理。

又一实施例包括用于在以下情况下推导光照补偿参数的方法：光照变化发生在颜色空间表示而不是压缩期间使用的表示（域）中，上述情况可以包括转换矩阵/等式不是线性的情况。一个目标是在给出关于在一些其他域中的参数的值或特征的知识的情况下确定一个域中的参数。例如，可以通过在线性域或伽马域4:4:4RGB颜色空间中直接处理样本来产生淡入淡出和交叉淡入淡出，而例如在伽马域或对数域4:2:0YCbCr颜色空间中发生预测之后接着压缩。这可以扩展到包括XYZ颜色空间、广色域（WCG）空间或现有或未来的颜色空间的任意其他组合的应用中。类似的问题可能出现在可伸缩视频编码中，其中一个层（基本层；BL）包含一个颜色空间中的内容，例如帧的低动态范围（LDR）版本，并且增强层（EL）包含不同颜色空间中的内容，例如帧的视觉动态范围（VDR）版本。该实施例的另一种应用处理成对的立体图像。在立体相机对中，每个相机可以具有不同的颜色空间特征，其不仅可以是不适当校准的结果而且也可以是以下事实的结果：即没有两个透镜或相机传感器会具有相同的频率传递特征。因此，用每个相机捕获的图像可以显示颜色偏移。因此，针对一个图像导出的光照补偿参数可能不直接适用于另一个图像。但是，在给定与从一个相机到另一个相机的颜色空间坐标有关的转换（通过校准）知识的情况下，可以应用该实施例来推导第二图像的参数。因此，可以将该实施例应用在可伸缩编码系统中，其中BL对立体图像对的第一图像进行编码并且EL对立体图像对的第二图像进行编码。下面另外详细地描述了针对这些及类似的情况最佳化参数推导的方法。

又一种实施例包括使用光照变化关系来检测淡入淡出和交叉淡入淡出。在下面另外详细描述了以下低复杂度方法：该方法能够用于使用在搜索光照补偿参数期间提取的参数来划分淡入淡出序列。

另一种实施例包括使用限幅补偿和饱和补偿来推导光照补偿参数。下面描述了对以下事实进行说明的方法：亮度和色度分量中的样本被限幅并且饱和至预定值。如限幅和饱和等操作打破了使得加权预测能够按照预期工作的许多标准假设。这些方法的基础是将样本归类成远离边界的样本和接近这些边界的样本。还限定了以下附加的实施例：使用分段和运动补偿来改进对上面的区域/种类的跟踪和推导。

其他实施例包括用于光照补偿参数的低复杂度估计的方法。

用于检测淡入淡出和确定淡入淡出的性质（全局或局部）的方法。由于如H.264/AVC等现代编解码器的非常好的去相关属性，所以其通常工作在Y’CbCr域中。注意，尽管是针对H.264/AVC的情况，但是输入和解码的画面可以位于以下颜色空间中的任一颜色空间：仅Y(灰度）、Y’CbCr或YCgCo、RGB和其它未指定的单色或三色颜色空间（例如，YZX，也已知为XYZ）。无论如何，在显示之前，通常将解压缩的视频转换回源RGB域。RGB域接近人类视觉系统的操作，并且如果在如上所述的该域中进行研究则能够更好地理解淡入淡出转变。经常用于创造人工淡入淡出的后期制作软件很可能操作在RGB域中。注意，对于本公开内容，RGB和YCbCr用于示例实施例。但是，只要已知转换矩阵/算法，本文所公开的方法可以应用于任何给定的颜色空间组合（例如，XYZ对YCgCo）。注意，为了简化符号，在本公开内容的剩余部分会使用项YCbCr替代Y'CbCr。

在淡入淡出转变期间，假设当光照变化时保存颜色信息。这导致对于所有分量的共同的增益w并且是格雷斯曼的第二颜色混合定律的结果。还可以通过假定遍及所有分量（小）偏移都是统一的来进一步简化等式12，如下面等式15所示：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=w\×\left[\begin{array}{c}{R}_{m+k}\\ G_{m+k}\\ B_{m+k}\end{array}\right]+f\×\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$ 等式15

假设(Y’_m,Cb_m，Cr_m)表示对于帧m的Y’CbCr分量。下面的等式16是通过组合等式15和等式9来推导的：

$\left[\begin{array}{c}{Y^{\′}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w\×\left[\begin{array}{c}{Y^{\′}}_{m+k}\\ {\mathrm{Cb}}_{m+k}\\ {\mathrm{Cr}}_{m+k}\end{array}\right]+\left[\begin{array}{c}f\\ 0\\ 0\end{array}\right]+(1-w)\×\left[\begin{array}{c}{d}_0\\ d_1\\ d_2\end{array}\right]$ 等式16

对于广泛使用的ITU BT.601RGB到YCbCr转换矩阵，可以将等式16简化成如下面所示的等式17：

$\left[\begin{array}{c}{Y^{\′}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w\×\left[\begin{array}{c}{Y^{\′}}_{m+k}\\ C{b}_{m+k}\\ {\mathrm{Cr}}_{m+k}\end{array}\right]+\left[\begin{array}{c}f\\ 0\\ 0\end{array}\right]+(1-w)\×\left[\begin{array}{c}{d}_0\\ d_1\\ d_2\end{array}\right]$ 等式17

由于上面的等式17示出了将RGB域中的所有分量的统一偏移转换成对于Y'CbCr域中的Y（亮度）分量的单一偏移，所以等式17是非常直观的。此外，取决于如何将模拟值量化为它们的数字当量，可以获得两种情况。通过下面的等式18来表示使用ITU/SMPTE模数转换（等式3）的一种情况：

$\left[\begin{array}{c}{Y^{\′}}_m\\ C{b}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w\×\left[\begin{array}{c}{Y^{\′}}_{m+k}\\ {\mathrm{Cb}}_{m+k}\\ {\mathrm{Cr}}_{m+k}\end{array}\right]+\left[\begin{array}{c}f\\ 0\\ 0\end{array}\right]+(1-w)\×\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]$ 等式18

下面在等式19中示出了使用JPEG的JFIF模数转换（等式7）的另一种情况：

$\left[\begin{array}{c}{Y^{\′}}_m\\ C{b}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w\×\left[\begin{array}{c}{Y^{\′}}_{m+k}\\ {\mathrm{Cb}}_{m+k}\\ {\mathrm{Cr}}_{m+k}\end{array}\right]+\left[\begin{array}{c}f\\ 0\\ 0\end{array}\right]+(1-w)\×\left[\begin{array}{c}0\\ 128\\ 128\end{array}\right]$ 等式19

上面的表达式会产生以下算法（下面将对其做进一步描述）：将对于Y分量的增益和偏移转换成对于Cb和Cr分量的权重和偏移。某些方面可能有助于收集关于潜在的淡入淡出的更多信息如其按照局部或全局的分类，而不需要诉诸于耗时的加权预测搜索。假设f=0，则能够扩展在等式17中表示的操作以获得下面等式20中示出的以下表达式：

${Y^{\′}}_m=w\×{Y^{\′}}_{m+k}+(1-w)\×d_0\⇔{Y^{\′}}_m-d_0=w\×({Y^{\′}}_{m+k}-d_0)$

${\mathrm{Cb}}_m=w\×{\mathrm{Cb}}_{m+k}+(1-w)\×d_1\⇔{\mathrm{Cb}}_m-d_1=w\×({\mathrm{Cb}}_{m+k}-d_1)$

${\mathrm{Cr}}_m=w\×{\mathrm{Cr}}_{m+k}+(1-w)\×d_2\⇔{\mathrm{Cr}}_m-d_2=w\×({\mathrm{Cr}}_{m+k}-d_2)$ 等式20

假设每分量增益可能不相等，则获得等式21如下所示：

$w_Y=\frac{{Y^{\′}}_m-d_0}{{Y^{\′}}_{m+k}-d_0},$ $w_{\mathrm{Cb}}=\frac{{\mathrm{Cb}}_m-d_1}{{\mathrm{Cb}}_{m+k}-d_1},$ $w_{\mathrm{Cr}}=\frac{{\mathrm{Cr}}_m-d_2}{{\mathrm{Cr}}_{m+k}-d_2}$ 等式21

在一些实施例中，项d₀是0或16，而出于大多数实际目的，项d₁和d₂等于128。当考虑具有大于8的位深的内容时这些项取不同的值。注意本发明的实施例请求任意内容位深。注意，当Y’_m和Y’_m+k都被限制成大于d₀，则对于Cb_m、Cb_m+k、Cr_m和Cr_m+k，以上不成立。实际上，当保证w_Y为非负，则可以获得对于w_Cb和w_Cr的负值。基于此，可以使用测试来验证到目前为止是否满足假设。到目前为止，已经假设：（a）f=0，（b）淡入淡出发生在RGB域中，以及（c）使用等式15来建模淡入淡出。

然后可以使用以下测试来确定是否满足上述假设：

（a）给出当前帧m和其预测参考帧m+k，计算它们的平均亮度和色度分量值并且将它们表示为Y’_m、Y’_m+k、Cb_m、Cb_m+k、Cr_m和Cr_m+k。在替代实施例中，替代DC值，可以使用直方图信息。因为与仅考虑DC值相比，直方图的最大和第二大峰值或其组合很少会倾向于异常值（outlier），所以可以使用直方图的最大和第二大峰值或其组合。

（b）使用等式21计算增益w_Y、w_Cb和w_Cr并且对它们进行比较。如果它们都是非负的并且足够相似，则确定针对帧m和m+k的所评估的帧配对满足上面的假设。可以通过检查增益是否在彼此的5%到10%以内来确定增益的相似性。这可以通过使用对数函数将增益转换为在0到1之间的数值范围并且检查增益的差是否小于0.05或0.1来完成。

对于帧序列中从第一帧开始的每个帧都调用上面的测试。可替代地，可以仅针对已经通过一些外部工具如场景归类器或预处理器等指示具有光照变化的帧应用上面的测试。如果上面的测试确定满足假设，其意味着存在主要发生在RGB域中的具有零偏移的全局淡入淡出转变，则可选地，能够仅使用（如紧接着在下面描述的）全局的加权预测参数导出颜色参数并且能够避免耗时的局部的加权预测。如果不满足这些假设，则能够推测光照变化不是全局的或没有发生在RGB域中或者偏移不为0。在该情况下，可以基于局部可选地解决光照变化。在图1中描绘了用于确定局部或全局光照变化的算法。

使用上面的测试的负结果还能够指向没有任何淡入淡出转变。因此，还可以将上面的算法用作淡入淡出检测器或用作淡入淡出分量的检测方案。此外，如果存在帧包含淡入淡出的一些外部知识，则负结果能够有助于将其归类为局部淡入淡出而不是全局淡入淡出。通过对图1所描绘的算法进行如下修改，另外的实施例是可能的：（a）淡入淡出类型的确定可以使用替代的现有方法来完成，（b）能够使用现有的方法来在上面测试的步骤（b）中得出权重，（c）其它方法（例如，DC方法、直方图方法、迭代运动补偿方法等）可以在不诉诸于色度的规则WP搜索的情况下估计色度参数。注意，色度估计可以提供对于迭代WP搜索算法的种子，其可以改进这些初始值，因此减少迭代的数量。

图1示出了可以在对上面在等式21中示出的增益进行计算和比较之前进行局部亮度WP参数的计算。但是，这仅是可选的。在替代的实施例中，可以仅根据全局亮度和色度DC值来计算等式21中所示的增益。然后可以比较这些增益以确定淡入淡出是局部的还是全局的淡入淡出，例如，如果增益是非负的并且相似的，则淡入淡出是全局的淡入淡出，并且可以在没有局部搜索的情况下估计颜色WP参数（对于亮度和色度）。但是，如果增益是负的和/或不是相似的，则应该针对色度WP参数和亮度WP参数两者进行可选地局部的搜索。

推导用于光照补偿的缺失色度参数

在本实施例中，当存在某些参数的先验知识时使用改进了的光照补偿的算法。假设预先知道以下统计数据：（a）亮度分量（Y）的每块（例如，8×8像素）或每区域（例如，切片）或画面水平的加权预测增益和偏移；以及（b）关于颜色空间转换的信息。注意，块或区域可以交叠。目标是获得对于全局和局部（例如，每块）的光照补偿两者的缺失的色度加权预测参数。这样的技术通过搜索关于单个颜色空间分量而不是关于所有三个颜色空间分量的局部加权预测参数来减小计算复杂度。该方法除了加速对缺失颜色参数的估计以外还能够用作解码器处的加权预测方案的分量：在这样的应用场景中，压缩的比特流仅携带前述信息（对于颜色分量的Y参数和仅全局DC参数），并且解码器使用所提出的方法推断（类似于H.264/AVC中的隐含的加权预测）缺失的颜色参数。在另一实施例中，还可以将关于亮度和色度关系的解码器信息传输到解码器。

将首先解决包括淡入淡出的情形。从以下情况开始：基于（例如，8×8像素）块或区域来估计亮度WP偏移和增益并且压缩系统缺乏色度WP参数。如果色度WP参数不可用，则压缩效率会受损。对于该问题的通常使用的但是为次佳的解决方案是使用色度分量的一些缺省的加权预测参数：对于色度加权预测来说增益为1和偏移为0。另一种相当易懂的解决方案是将亮度增益也用作色度增益。但是，两种前述解决方案可能是不精确的。在以下段中，提出并且描述了以下算法：将亮度WP参数转换成色度WP参数以用于有效的淡入和淡出加权预测。

下面描述了以下算法：即在给出全局和局部Y亮度参数和关于颜色空间转换的信息的情况下估计色度加权预测参数的算法。如在上面关于淡入淡出的性质的确定的章节中所描述的，如果满足假设，则可以触发该算法。但是，这是可选的，并且不需要耦合到该方法。假设对于像素、块、区域或整个帧m，已经在根据帧m+k给出参考的情况下提供了其亮度增益和偏移：Y′_m=w_Y×Y′_m+k+f_Y。目标是根据等式10估计色度参数w_Cb、w_Cr、f_Cb和f_Cr。存在三种主要情况：

（a）增益w_Y不等于1并且偏移f_Y为非零。

（b）增益w_Y不等于1并且偏移f_Y为零。

（c）增益w_Y等于1并且偏移f_Y为非零。

图2示出了估计WP参数同时解决紧上面描述的三种情况的流程图。下面所述的是关于针对这三种情况中的每一种情况的估计算法的细节。

对于增益w_Y不等于1并且偏移f_Y为非零的情况（情况（a）），采用等式17提供：将色度增益设置成等于亮度权重，如下面在等式22中示出的：

w_Cb＝w_Y

w_Cr＝w_Y    等式22

等式17要求RGB域增益等于亮度增益w＝w_Y并且Y’CbCr域的偏移等于RGB域中的偏移加上基于RGB域增益和对于亮度分量的偏移的修改量f_Y＝f+(1-w)d₀，其使得能够按照以下计算RGB增益偏移：f＝f_Y-(1-w_Y)d₀。对于色度分量的偏移，使用等式16获得下面的等式23：

f_Cb＝f×(c₁₀+c₁₁+c₁₂)+(1-w)×d₁＝(f_Y-(1-w_Y)d₀)×(c₁₀+c₁₁+c₁₂)+(1-w_Y)×d₁

f_Cr=f×(C₂₀+C₂₁+C₂₂)+(1-w)×d₂＝(f_Y-(1-w_Y)d₀)×(c₂₀+c₂₁+c₂₂)+(1-w_Y)×d₂  等式23

注意，根据颜色格式转换偏移d_cmp、Y亮度增益w_Y、亮度偏移f_Y和RGB到Y'CbCr转换矩阵的系数来计算色度分量的偏移。

现考虑该情况的更加实际和复杂的变型。可以假设仅使用增益就可以在RGB域中域中实现淡入淡出过渡，其应该是相当普通的实践。在该变型中，RGB域偏移f被设置成0并且还假设颜色格式转换偏移为非零：d₀≠0。这意味着为了使得该算法成立，对以下表达式进行评估以确定其是否仍然有效：f_Y≈(1-w_Y)d₀。如果这两个量足够接近，则该模型成立并且色度偏移可以按照下面的等式24所示的来计算：

f_Cb＝(1-w_Y)×d₁

f_Cr＝(1-w_Y)×d₂   等式24

另一方面，如果先前表达式无效f_Y≠(1-w_Y)d₀，则不是假设出错就是提供f_Y和w_Y的机制出错。在这种情况下，可以考虑以下选项之一：

（a）做出支持w_Y是两个参数中最可靠的参数的判决。用f'_Y取代f_Y，f'_Y计算如下：f′_Y＝(1-w_Y)d_O。从满足如充分地接近原始提供的f_Y的一些合理边界的方面来检查新偏移，例如，对于[f_Y-64，f_Y+64]内的8比特准确度。注意，然而这些边界也可以是取决于内容的并且可以是自适应的。如果满足，则声明它是可靠的。

（b）做出支持f_Y是两个参数中最可靠的参数的判决。用w’_Y取代w_Y，w’_Y计算如下：w′_Y＝(d₀-f_Y)/d₀。从满足如在[0.0，1.0]之间等一些合理边界的方面来检查新的增益。注意，虽然使用负增益完全有效，但是对于淡入淡出，非常有可能的增益可以是非负值。如果满足，则声明它是可靠的。

（c）做出支持w_Y是两个参数中最可靠的参数的判决。将f_Y设置为0。

（d）做出支持f_Y是两个参数中最可靠的参数的判决。将w_Y设置为1。

对于上面4个选项中的每一个，应用包括等式22、等式23和等式24的上面描述的方法来获得色度增益和偏移。取决于复杂度考虑，可以测试4个选项之一，即，例如已经通过预分析或其他外部知识被视为是最可能发生的那一个选项，与在单选项的情况下类似的理由不止一个但不是所有它们四个，或并行或串行地它们全部，并且通过满足一些准则来选择这些选项之一的导出参数。该准则可以包括最小化或最大化一些度量（例如，失真度量）或满足一些健全检查（例如，所导出的参数是否位于合理的边界内？）。

针对增益w_Y不等于1并且偏移f_Y为非零的情况（情况（a）），在图3中描绘了推导颜色参数的算法。注意，可以局部地（例如，基于块）或全局地（对于整个帧）应用图3的算法。如果亮度参数信息基于局部可用，则优选地还基于局部来估计颜色分量参数以确保最佳可能的性能。注意，不是所有的使用运动补偿的包括H.264/AVC的编解码器或预/后处理方案都支持基于局部用信号传递WP参数。但是，在H.264的情况下，可以通过编解码器的一些特征来使用局部参数：例如，多个参考运动补偿预测和参考画面列表修改特征。这些特征使得能够针对帧的运动补偿预测的每个预测列表使用上至WP参数的16个不同的集合。因此，在另外的实施例中，处理对于亮度和色度的局部WP参数以选择每个预测列表的上至16个更加重要的集合并且将这些集合在比特流中传输以在参考画面列表修改信号的帮助下用于运动补偿加权预测。注意，P编码帧使用单列表预测而B编码帧支持单列表和来自两个列表的双向预测运动补偿。

对于增益w_Y不等于1并且偏移f_Y为零（情况（b））的情况，色度增益与在增益w_Y不等于1并且偏移f_Y为非零的情况下计算的那些色度增益相同。对于0亮度偏移f_Y＝0，如在等式25所示给出色度Y’CbCr分量的偏移：

f_Cb＝(c₁₀+c₁₁+c₁₂)×(w_Y-1)×d₀+(1-w_Y)×d₁

f_Cr＝(c₂₀+c₂₁+c₂₂)×(w_Y-1)×d₀+(1-w_Y)×d₂    等式25

再一次，根据颜色格式转换偏移d_cmp、Y亮度权重w_Y、和RGB到Y’CbCr转换矩阵的系数来计算色度分量的偏移。

对于增益w_Y等于1并且偏移f_Y为非零的情况（情况（c）），色度增益全部都等于1.0。对于亮度偏移f_Y，按照下面等式26所示给出色度Y’CbCr分量的偏移：

f_Cb＝f_Y×(c₁₀+c₁₁+c₁₂)

f_Cr＝f_Y×(c₂₀+c₂₁+c₂₂)    等式26

根据亮度偏移f_Y和RGB到Y’CbCr转换矩阵的系数来计算色度分量的偏移。

注意，在大多数实际的RGB到Y’CbCr变换中，变换矩阵的色度分量行的和如下面在等式27中示出的等于0：

c₁₀+c₁₁+c₁₂＝0

c₂₀+c₂₁+c₂₂＝0    等式27

对于增益w_Y等于1并且偏移f_Y为非零的情况，例如，情况（c），等式27意味着两个偏移均会为0。给出ITU/SMPTE（等式3）或JFIF（等式7）模数转换，对于前面的三种情况可以导出下面简化：

情况(a):将色度偏移写为：f_Cb＝f_Cr＝(1-w_Y)×128。

情况(b):将色度偏移写为：f_Cb＝f_Cr＝(1-w_Y)×128。

情况(c):将色度偏移写为：f_Cb＝f_Cr＝0。

现将解决包括交叉淡入淡出的情况。为了对交叉淡入淡出进行建模，使用等式14并且通过假设偏移都是0以及通过对参考索引进行重命名来进一步简化等式14，如在下面的等式28中示出的：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=w_1\×\left[\begin{array}{c}{R}_1\\ G_1\\ B_1\end{array}\right]+w_2\×\left[\begin{array}{c}{R}_2\\ G_2\\ B_2\end{array}\right]$ 等式28

再次假设w₁+w₂=1。组合等式28与等式9，导出下面在等式29和等式30中示出的表达式：

$\left[\begin{array}{c}{Y^{\′}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=\left[\begin{array}{ccc}{c}_{00}& c_{01}& c_{02}\\ c_{10}& c_{11}& c_{12}\\ c_{20}& c_{21}& c_{22}\end{array}\right]\left(\begin{array}{c}{w}_1\×\left[\begin{array}{c}{R}_1\\ G_1\\ B_1\end{array}\right]+w_2\×\left[\begin{array}{c}{R}_2\\ G_2\\ B_2\end{array}\right]\end{array}\right)+\left[\begin{array}{c}{d}_0\\ d_1\\ d_2\end{array}\right]$ 等式29

$\left[\begin{array}{c}{Y^{\′}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w_1\×\left(\begin{array}{c}\left[\begin{array}{ccc}{c}_{00}& c_{01}& c_{02}\\ c_{10}& c_{11}& c_{12}\\ c_{20}& c_{21}& c_{22}\end{array}\right]\left[\begin{array}{c}{R}_1\\ G_1\\ B_1\end{array}\right]+\left[\begin{array}{c}{d}_0\\ d_1\\ d_2\end{array}\right]\end{array}\right)+w_2\×\left(\begin{array}{c}\left[\begin{array}{ccc}{c}_{00}& c_{01}& c_{02}\\ c_{10}& c_{11}& c_{12}\\ c_{20}& c_{21}& c_{22}\end{array}\right]\left[\begin{array}{c}{R}_2\\ G_2\\ B_2\end{array}\right]+\left[\begin{array}{c}{d}_0\\ d_1\\ d_2\end{array}\right]\end{array}\right)$ 等式30

以获得下面的等式31：

$\left[\begin{array}{c}{Y^{\′}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w_1\×\left[\begin{array}{c}{Y^{\′}}_1\\ {\mathrm{Cb}}_1\\ {\mathrm{Cr}}_1\end{array}\right]+w_2\×\left[\begin{array}{c}{Y^{\′}}_2\\ {\mathrm{Cb}}_2\\ {\mathrm{Cr}}_2\end{array}\right]$ 等式31

注意，尽管偏移d_i可以是非零，但是条件w₁+w₂＝1足以确保RGB域中的线性加权组合也是Y′CbCr域中的线性加权组合。因此，在对于交叉淡入淡出的双向预测中，增益在两个颜色空间中是相同的。因此，如果帧m属于交叉淡入淡出，则将对于每个参考帧的色度分量（Cb和Cr）增益设置成等于亮度分量的增益。等式31的模型与H.264编码标准的加权双向预测实施有关，现对其进行简要的描述。使p₀和p₁表示每个预测块中的样本，并且f表示最终的预测值。还使w₀和w₁表示增益，o₀和o₁表示偏移以及logWD表示控制操作的数学精度的项。然后可以按照下面等式32中所示来实施加权预测：

f＝((p₀×w₀+p₁×w₁+2^logWD)＞＞(logWD+1))

+((O₀+o₁+1)＞＞1)              等式32

闪光和局部光照（而非局淡入淡出和交叉淡入淡出）：

相比淡入淡出和交叉淡入淡出的建模，闪光和局部光照的建模固有地更加困难。尽管可以对全局Y’CbCr分量平均进行访问，但是这些平均对处理局部光照变化不会非常有用。如果对于亮度分量可获得非1的增益，则可以使用与针对淡入淡出所讨论的那些技术相同的技术来确定色度分量的增益。否则，如果增益非常接近1并且存在非0偏移，则可以对这些偏移做出一些假设以导出缺失的色度偏移。

现在对RGB域样本被偏移的情况进行描述。通过下面等式33所示的表达式来对RGB域中的偏移进行建模：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=\left[\begin{array}{c}{R}_{m+k}\\ G_{m+k}\\ B_{m+k}\end{array}\right]+\left[\begin{array}{c}{f}_R\\ f_G\\ f_B\end{array}\right]$ 等式33

通过将等式33与等式9组合，获得等式34所示的表达式：

$\left[\begin{array}{c}{Y^{\′}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=\left[\begin{array}{c}{Y^{\′}}_{m+k}\\ {\mathrm{Cb}}_{m+k}\\ {\mathrm{Cr}}_{m+k}\end{array}\right]+\left[\begin{array}{c}{c}_{00}{f}_R+c_{01}{f}_G+c_{02}{f}_B\\ c_{10}{f}_R+c_{11}{f}_G+c_{12}{f}_B\\ c_{20}{f}_R+c_{21}{f}_G+c_{22}{f}_B\end{array}\right]$ 等式34

由于f_Y是已知的，所以c₀₀f_R+c₀₁f_G+c₀₂f_B＝f_Y，其是具有三个未知量：(f_R,f_G,f_B)的等式。将每块f_Y转化成缺失的每块f_Cb和f_Cr偏移。如果做出一些简化假设，则可以获得对于该问题的解决方案。下面示出了4种可能的解决方案：

（a）假设f_R＝f_G＝f_B。因为c₀₀+c₀₁+c₀₂＝1，则f_Y＝f_R＝f_G＝f_B。因为对于等式2的BT.601转换有c₁₀+c₁₁+c₁₂＝0和c₂₀+c₂₁+c₂₂＝0，所以有：f_Cb=0和f_Cr＝0。

（b）假设f_R＝f_G＝0。这提供了然后按照f_Cb＝(c₁₂×f_Y)/c₀₂和f_Cb＝(c₂₂×f_Y)/c₀₂来计算色度偏移。

（c）假设f_R＝f_B＝0。这提供了

然后按照f_Cb＝(c₁₁×f_Y)/c₀₁和f_Cb＝(c₂₁×f_Y/c₀₁来计算色度偏移。

（d）假设f_G＝f_B＝0。这提供了

然后按照f_Cb＝(c₁₀×f_Y/c₀₀和f_Cb＝(c₂₀×f_Y)/c₀₀来计算色度偏移。

上面的四种解决方案分别表示以下假设：（a）光源是白色，（b）光源主要是蓝色的，（c）光源主要是绿色的以及（d）光源主要是红色的。在编码期间，这些解决方案中的任何解决方案都能够在对闪光场景进行编码时使用，或能够启用所有这些解决方案并且通过最小化某一成本如拉格朗日（lagrangian）成本来选择最佳的解决方案。在图4中示出了该方法。在附加的实施例中，可以使用具有三个未知量的等式来加速搜索。针对上述未知量中的两个进行搜索并且使用该等式导出第三个未知量。这对于三个未知量的任何成对组合是可能的。还描述了另一种变型：通过进行搜索来导出对于第一分量的参数并且通过搜索以及测试上面四种解决方案之一两者来导出第二分量。如果第二分量的值接近上面的解决方案之一，则使用上面所讨论的方法来估计第三分量。否则，针对第三分量进行搜索。通过考虑先前判决例如对于以前的帧，额外的加速是可能的。如果帧共享相似的特征如方差、亮度、色度和/或纹理信息等，可以使用该信息来加速处理。

解码器实施例。根据已知的局部或全局亮度参数和关于颜色空间转换方案的知识来对缺失的色度参数进行估计的上面的方法能够用作如在图16中示出的视频解码器的一部分。在这样的实施例中，压缩的比特流携带可容易获得的信息并且解码器在进行作为视差补偿模块的一部分的加权预测之前应用上述方法来导出局部或全局色度参数。在另外的实施例中，替代完全地导出缺失的色度参数，可以使用它们作为预测值以在编码的比特流中传输WP参数的预测残差（residual）。解码器接收所传输的残差并且向其添加通过上述方法获得的预测以产生缺失的色度参数并且形成加权预测样本。不同的实施例在比特流中传输关于亮度参数与色度参数之间或一般地颜色空间分量之间的关系的信息/参数。该信息可以包括以下矩阵：如用于获得颜色空间分量的转换矩阵、对于不同分量的增益和偏移的转变等式或矩阵（例如，从亮度到色度、从U到V等）、或一些等式参数的矩阵。该信息还可以包括表征信息，如当前帧是否为淡入淡出或交叉淡入淡出，或是否满足导出上述方法的假设中的一些假设。在解码器处可以使用该信息连同我们的方法以及其他比特流信息来导出缺失的颜色空间分量参数。

与上述实施例类似的另外的实施例被限定在以下情况中：压缩的比特流不传递WP参数而是在解码器侧使用可用的因果信息来导出WP参数。例如，参见P.Yin,A.M.Tourapis和J.M.Boyce,“Localized weightedprediction for video coding,”Proc.IEEE International Symposisum onCircuits and Systems,May2005,vol.5,pp.4365-4368。替代在解码器处搜索所有颜色分量的参数，可以使用根据本发明实施例的方法来将搜索限制在例如仅在亮度分量中，然后帮助推导缺失的例如颜色分量参数。该实施例对于局部加权预测和全局加权预测两者都有效。

另外的实施例。可以基于局部来应用上面的方法来导出局部色度参数。这甚至在编解码器中也是可以的，如H.264/AVC，如早先通过用于运动补偿预测的参考画面列表修改和多个参考的用途来描述的。通过针对每个图像区域和光照变化的类型来应用不同的方法可以提高性能。例如，可以将一个区域归类为淡入并且将另一个区域归类为闪光。上述区域可以是交叠的。将通过适当的算法来处理每个区域（对于前者为淡入淡出方法而对于后者为局部光照/闪光方法）。使用一些现有的算法或使用通过这些方法提取的色度或亮度信息，可以有利于将图像分割成区域。例如，因此可以基于区域/局部来计算DC值或直方图信息。分割可以受益于运动补偿并且对于跟踪场景中共享相似的色度信息的对象是有用的，因此，色度参数可以受益于一些初始化值，上述初始化值可以提高推导正确的缺失的色度参数的可能性并且加速该推导。

简单地通过反转某些项的使用来导出的另一实施例使得根据已知的色度参数推导缺失的亮度参数成为可能。由于所使用转换矩阵相当地普通，所以对等式进行修改使得问题重新阐述为：在给定来自其他分量的参数和关于颜色空间转换矩阵/等式的知识的情况下寻找任何分量的缺失的参数，这并不麻烦。还可以将该实施例与上面的解码器实施例组合。

根据本发明实施例的方法还可以与使用运动估计和补偿扩充的迭代WP参数估计组合。如在J.M.Boyce,“Weighted prediction in theH.264/MPEG-4AVC video coding standard”中所描述的，可以首先估计初始WP参数，然后进行运动估计，再然后使用在先前步骤中获得的运动信息来重新估计WP参数，接着进行另一轮运动估计并且进一步迭代直至满足了某一准则（例如，最大迭代数目等）。在另外的实施例中，可以使用根据本发明实施例的方法来启动（seed）/初始化这样的迭代方法的第一次迭代。为了进一步加速计算，其可以可选地与中间迭代一起使用。最后，可以使用来自先前迭代的信息来预先判决哪一种可用模式，例如情况（a）或（b），对于给定的内容是正确的模式，以导致额外的加速。

在一个实施例中，如果编解码器支持在区域、宏块或块级别上用信号传递WP增益和因子，则使用上述方法的基于局部的加权预测是可能的。区域或块可以是交叠的。对于采用如仅支持在切片级别上用信号传递WP参数的H.264编解码器的实施例，通过联合使用多个参考运动补偿预测和参考重新排序/修改可以在局部级别上使用不同的WP参数。在不同的实施例中，可以将上面的方法结合到还可能包含结合了加权预测的运动估计和补偿的预处理或后处理模块（运动补偿的时间预滤波器或后滤波器）中。对于以下情况的光照补偿参数推导：光照变化发生在颜色空间域中而不是在压缩期间使用的域中，并且转换矩阵/等式是非线性的。

上面的描述做出如下假设：从开始的颜色空间到结束的颜色空间的转换是线性的。但是，也有该假设不成立的示例。例如，考虑以下情况：在应用伽马校正之前，通过直接在线性域RGB颜色空间中处理样本来人工地产生淡入淡出和交叉淡入淡出。这对于将线性空间RGB（或甚至是伽马空间RGB）转换成对数空间RGB或YCbCr颜色空间时也是成立的。例如，这发生在当考虑在对数空间RGB或YCbCr、图像和视频内容中描述的高动态范围编码时。按照下面所述的对WP参数的从开始的颜色空间的结束的颜色空间的变化进行建模。描述了两个实施例，一个针对伽马校正RGB（R’G'B'），另一个针对对数空间RGB（R”G”B”）。

可以将等式1的一般的伽马校正等式简化成如下所示的等式35：

R’＝R^γ

G’＝G^γ

B'＝B^γ    等式35

对于对数空间RGB，导出如下所示的等式36：

R″＝logR

G″＝logG

B″＝logB        等式36

下面描述对淡入淡出和交叉淡入淡出的预测的转换效果。

淡入淡出。对于伽马校正RGB，最简单的情况是使用下面等式37所示的单一增益来建模淡入淡出：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=w\×\left[\begin{array}{c}{R}_{m+k}\\ G_{m+k}\\ B_{m+k}\end{array}\right]$ 等式37

为了计算w′和f’，对于它们的伽马校正对应之处，可以使用如下面所示的等式38：

$\left[\begin{array}{c}{R^{\′}}_m\\ {G^{\′}}_m\\ {B^{\′}}_m\end{array}\right]=w^{\′}\×\left[\begin{array}{c}{R^{\′}}_{m+k}\\ {G^{\′}}_{m+k}\\ {B^{\′}}_{m+k}\end{array}\right]+f^{\′}\×\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$ 等式38

组合等式35和等式38，获得等式39所示的表达式：

$\left[\begin{array}{c}{R^{\′}}_m\\ {G^{\′}}_m\\ {B^{\′}}_m\end{array}\right]=\left[\begin{array}{c}{(w\×R_{m+k})}^{\mathrm{\γ}}\\ {(w\×G_{m+k})}^{\mathrm{\γ}}\\ {(w\×B_{m+k})}^{\mathrm{\γ}}\end{array}\right]=\left[\begin{array}{c}{w}^{\mathrm{\γ}}\×R_{m+k}^{\mathrm{\γ}}\\ w^{\mathrm{\γ}}\×G_{m+k}^{\mathrm{\γ}}\\ w^{\mathrm{\γ}}\×B_{m+k}^{\mathrm{\γ}}\end{array}\right]=w^{\mathrm{\γ}}\×\left[\begin{array}{c}{R^{\′}}_{m+k}\\ {G^{\′}}_{m+k}\\ {B^{\′}}_{m+k}\end{array}\right]$ 等式39

上面的等式示出了在线性RGB域中使用增益因子w建模的淡入淡出可以再使用增益因子w^γ在伽马校正R’G'B’域中进行建模。可以得出结论：可以在伽马校正R'G'B’域中对在线性RGB域中通过增益因子建模的淡入淡出转变进行补偿。注意，尽管使用了项γ，但是这并不暗示γ对于每个分量都是相同的假设。由于上面的操作可以基于分量来应用，所以所描述的方法适用于每分量的指数各不相同的情况。例如，对于分量R，导出因子

对于对数空间RGB，类似于上面，针对它们的对数空间对应之处计算w″和f”，如下面等式40所示：

$\left[\begin{array}{c}{R^{\′\′}}_m\\ {G^{\′\′}}_m\\ {B^{\′\′}}_m\end{array}\right]=w^{\′\′}\×\left[\begin{array}{c}{R^{\′\′}}_{m+k}\\ {G^{\′\′}}_{m+k}\\ {B^{\′\′}}_{m+k}\end{array}\right]+f^{\′\′}\×\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$ 等式40

组合等式36和等式40，获得等式40所示的表达式：

$\left[\begin{array}{c}{R^{\′\′}}_m\\ {G^{\′\′}}_m\\ {B^{\′\′}}_m\end{array}\right]=\left[\begin{array}{c}\log (w\×R_{m+k})\\ \log (w\×G_{m+k})\\ \log (w\×B_{m+k})\end{array}\right]=\left[\begin{array}{c}\log w+{R^{\′\′}}_{m+k}\\ \log w+{G^{\′\′}}_{m+k}\\ \log w+{B^{\′\′}}_{m+k}\end{array}\right]=\left[\begin{array}{c}{R^{\′\′}}_{m+k}\\ {G^{\′\′}}_{m+k}\\ {B^{\′\′}}_{m+k}\end{array}\right]+\log w\×\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$ 等式41

上面的等式41示出：在线性RGR域中使用增益因子w建模的淡入淡出可以在具有设置成logw的偏移的对数空间R”G”B”域中进行建模。

交叉淡入淡出。现考虑使用等式28的简单但实用的模型的伽马校正RGB的实施例。使用具有该模型的等式37，获得等式42所示的表达式：

$\left[\begin{array}{c}{R^{\′}}_m\\ {G^{\′}}_m\\ {B^{\′}}_m\end{array}\right]=\left[\begin{array}{c}{(w_1\×R_1+w_2\×R_2)}^{\mathrm{\γ}}\\ {(w_1\×G_1+w_2\×G_2)}^{\mathrm{\γ}}\\ {(w_1\×B_1+w_2\×B_2)}^{\mathrm{\γ}}\end{array}\right]$ 等式42

考察上面等式42，变得明显的是：推导两个参考帧的伽马校正分量与当前帧m的伽马校正分量之间线性关系是很有挑战性的。可以通过尝试分析设置成γ次幂的和之一（例如，(W₁×R₁+w₂×R₂)^γ）来获得一定的理解。这可以首先按照下面等式43所示的来简化：

${(w_1\×R_1+w_2\×R_2)}^{\mathrm{\γ}}={(w_1\×R_1)}^{\mathrm{\γ}}{(1+\frac{w_2\×R_2}{w_1\×R_1})}^{\mathrm{\γ}}$ 等式43

可以采用二项式级数来扩展最右边的项，其按照等式44所示来限定：

${(1+x)}^{\mathrm{\α}}=\underset{k=0}{\overset{\∞}{\mathrm{\Σ}}}\left(\begin{array}{c}\mathrm{\α}\\ k\end{array}\right)x^k$ 等式44

因为α是实数并且非整数，所以二项式系数可以按照等式45所示来计算：

$\left(\begin{array}{c}z\\ k\end{array}\right)=\underset{n=1}{\overset{k}{\mathrm{\Π}}}\frac{z-k+n}{n}$ 等式45

因此，获得如等式46所示的等式：

${(w_1\×R_1+w_2\×R_2)}^{\mathrm{\γ}}={(w_1\×R_1)}^{\mathrm{\γ}}+\mathrm{\γ}\×{(w_1\×R_1)}^{\mathrm{\γ}-1}\×(w_2\×R_2)+\frac{\mathrm{\γ}\×(\mathrm{\γ}-1)}{2}\×{(w_1\×R_1)}^{\mathrm{\γ}-2}\×{(w_2\×R_2)}^2+...$

$={(w_1\×R_1)}^{\mathrm{\γ}}+\mathrm{\γ}\×{\left(\frac{w_1\×R_1}{w_2\×R_2}\right)}^{\mathrm{\γ}-1}\×{(w_2\×R_2)}^{\mathrm{\γ}}+\frac{\mathrm{\γ}\×(\mathrm{\γ}-1)}{2}\×{\left(\frac{w_1\×R_1}{w_2\×R_2}\right)}^{\mathrm{\γ}-2}\×{(w_2\×R_2)}^{\mathrm{\γ}}+...$

$={(w_1\×R_1)}^{\mathrm{\γ}}+{(w_2\×R_2)}^{\mathrm{\γ}}\×(\mathrm{\γ}\×{\left(\frac{w_1\×R_1}{w_2\×R_2}\right)}^{\mathrm{\γ}-1}+\frac{\mathrm{\γ}+(\mathrm{\γ}-1)}{2}\×{\left(\frac{w_1\×R_1}{w_2\×R_2}\right)}^{\mathrm{\γ}-2}+...)$ 等式46

但是，等式45所示的扩展可能不是特别有用。一个结论是可以使用两个（伽马校正的）参考的加权平均加上非0偏移来在伽马校正R'G’B'域中补偿交叉淡入淡出：该交叉淡入淡出是通过在线性RGB域中的包括两个参考的加权平均的处理来产生的。可替代地，可以仅使用增益来对交叉淡入淡出进行建模，但是在该情况下，它们最通常将会不相等并且相加不会等于1。如果访问原始增益和R₁和R₂值，则可以计算结果的偏移直至达到特定的精度。对于表现好的内容和对于距帧m距离相等的参考帧，可以假设w₁=w₂=1/2。这样的假设可以简化上面对于RGB域的增益和偏移的计算。

此外，注意，上面的解基于通过将乘数(w₂×R₂)^γ保持在括号内的无穷小的总和外面来扩展该和。很有可能获得替代的扩展，其中时间项(w₁×R₁)^γ会是替代的无穷小的总和的乘数。因此，能够获得对于确定线性域产生的交叉淡入淡出的伽马校正域中的增益和偏移的问题的两种不同但是同样正确的解（假设）。对两种解的增益和偏移进行平均可以提高光照补偿。在图5中示出了该方法。注意，尽管使用了项γ，但是这不暗示γ对于每个分量都相同的假设。因为可以基于分量来应用上面的操作，所以所描述的方法还适用于每分量的指数各不相同的情况。

与上面所述解决方案类似的解决方案可以应用于对数空间中的交叉淡入淡出。在该实施例中，主要的差异是：不是主要借助增益因子对交叉淡入淡出进行建模，在该情况下，主要借助于偏移来对交叉淡入淡出进行建模，如发现对于淡入淡出的情况是成立的。易懂的解决方案是将对于加权双向预测的偏移设置成等于开始域（例如，线性RGB域）中增益因子的对数。

另外的实施例。注意，对于从以及到其他颜色空间的转换的类似实施例也是可能的，例如，伽马校正RGB到对数空间RGB，或通过非线性变换根据第一颜色空间获得某一其它第二颜色空间。

在一个实施例中，如果编解码器支持在宏块、块或区域级别上用信号传递WP增益和因子，则使用上面的方法基于局部的加权预测是可能的。区域或块可以交叠。对于采用如仅支持在切片级别上用信号传递WP参数的H.264等编解码器的实施例，通过联合使用多个参考运动补偿预测和参考重新排序/修改可以在局部级别上使用不同的WP参数。在不同的实施例中，可以将上面的方法结合到还可以包括结合了加权预测的运动估计和补偿的预或后处理模块（运动补偿的时间的预或后滤波器）。

另一实施例在可伸缩视频编码中找到应用，其中内容被压缩成两层，基本层（BL）和增强层（EL），其中通常根据BL来预测EL。可以有以下情况：使用第一颜色表示来压缩BL，而使用第二颜色表示来压缩EL，相比第一颜色表示，第二颜色表示例如可以是非线性（对数空间），第一颜色表示可以是线性或伽马校正的。可以使用在此描述的方法来将针对一个层导出的WP参数转化成另一个层。这可以在解码器以及编码器两者上来实施，因此，不需要对于两种不同颜色表示传递参数。可选地，光照和运动补偿残差可以传递到EL中的解码器中以通过添加来自BL的预测来帮助重构和使用实际的参数，光照和运动补偿残差是通过从实际的EL参数减去给定一层（例如BL）的情况下预测的（例如EL）WP参数来计算的。

使用光照变化关系来检测淡入淡出和交叉淡入淡出。

在本章节中，描述了一种对于淡入淡出和交叉淡入淡出检测两者都有用的算法。其通过检测淡入淡出和交叉淡入淡出的开始帧和结束帧来完成。该算法基于以下假设：淡入淡出和交叉淡入淡出很大程度上是线性的并且因此通过等式如等式31和等式37的等式来进行建模。该假设转化为与当前帧和一个或多个参考帧之间的距离成比例的增益因子w_i。提出了对于Y’分量的算法的一个可能的实施例，但是注意，可以考虑RGB域的任何其他分量，或某一其它线性颜色空间域，并且仍然划分淡入淡出和交叉淡入淡出。在一些条件下，可以将该算法扩展至Cb和Cr分量，但是，出于检测淡入淡出和交叉淡入淡出的目的，它们的DC可能是不可靠的。在不同的实施例中，联合使用一个或多个颜色空间分量能够增加该淡入淡出检测方法的可靠性。出于描述的目的，使Y'_mdc表示帧m的Y’分量的DC平均值。

首先，下面示出源于淡入淡出转变是线性的假设的一些属性。

A．帧m的DC值近似等于其前一帧和后续帧的DC值的平均：

该属性由于等式31和等式37而成立。

B．帧m的DC值近似等于其下一个帧的DC值的两倍减去接着其下一帧的帧的DC值：

这由于上面的属性A而成立。

C.帧m的DC值近似等于其前一帧的DC值的两倍加上接着其下一帧的帧的DC值再除以3： ${Y^{\′}}_{m,\mathrm{dc}}\≅\frac{2\×{Y^{\′}}_{m-1,\mathrm{dc}}+{Y^{\′}}_{m+2,\mathrm{dc}}}{3}={Y^{\′}}_{m,\mathrm{dc}}\left(C\right).$ 这由于属性A和B而成立。情况c和d也可以以相反的顺序定义。这些定义如下。

D.帧m的DC值近似等于其前一帧的DC值的两倍减去在其前一帧之前的帧的DC值：

这由于属性A而成立。

E．帧m的DC值近似等于其下一帧的DC值的两倍加上在其前一帧之前的帧的DC值的和再除以3：

这由于属性A和D而成立。

下面将对将上面的情况应用至在图6、图7、图8和图9中描绘的情形连同和上述情形中的每一种情形有关系的一些条件的推导进行描述。

条件1：对于具有减小的DC值的淡入淡出的结束的情况（参见图6），下面的不等式会成立：属性C的帧m+2的DC值会大于属性A的帧m+2的DC值，而属性A的帧m+2的DC值会大于属性B的帧m+2的DC值Y′_m+2,dc(C)＞Y′_m+2，dc(A)＞Y′_m+2,dc(B)，并且这对于帧m+1的DC值也会是成立的Y′_m+1，dc(C)＞Y′_m+1,dc(A)＞Y′_m+1，dc(B)。

条件2：对于具有增加的DC值的淡入淡出的结束的情况（参见图7），下面的不等式会成立：属性C的帧m+2的DC值会小于属性A的帧m+2的DC值，而属性A的帧m+2的DC值会小于属性B的帧m+2的DC值Y′_m+2,dc(C)＜Y′_m+2,dc(A)＜Y′_m+2,dc(B)，并且这对于帧m+1的DC值也会是成立的Y′_m+1，dc(C)＜Y′_m+1，dc(A)＜Y'_m+1,dc(B)。

条件3：对于具有增加的DC值的淡入淡出的开始的情况（参见图8），下面的不等式会成立：属性E的帧m+2的DC值会大于属性A的帧m+2的DC值，而属性A的帧m+2的DC值会大于属性D的帧m+2的DC值Y'_m+2,dc(E)＞Y′_m+2,dc(A)＞Y'_m+2，dc(D)，并且这对于帧m+3的DC值也会是成立的Y′_m+3，dc(E)＞Y′_m+3，dc(A)＞Y′_m+3，dc(D)。

条件4：对于具有减小的DC值的淡入淡出的开始的情况（参见图9），下面不等式会成立：属性E的帧m+2的DC值会小于属性A的帧m+2的DC值，而属性A的帧m+2的DC值会小于属性D的帧m+2的DC值Y'_m+2,dc(E)＜Y′_m+2，dc(A)＜Y′_m+2,dc(D)，并且这对于帧m+3的DC值也会是成立的Y′_m+3，dc(E)＜Y′_m+3,dc(A)＜Y′_m+3，dc(D)。

在替代的实施例中，可以通过在时间上和空间上对输入序列进行子采样来测试上面的条件。这对于例如较长的淡入淡出转变的情况下的较快速的计算可以是有益的。它还可以有助于消除异常值，因此增加检测器的效率。时间轴上的子采样还可以受益于对用于检测算法的统计数据的时域滤波。

下面对由上面的情况和条件的分析产生的淡入淡出和交叉淡入淡出检测算法进行描述。在图10中示出了该算法的流程图（步骤号指代在图10中使用的附图标记）。

（a）步骤101：初始化帧计数器和开始解析帧。去往步骤102。

（b）步骤102：对于当前帧m，计算Y’CbCr和RGB域分量的DC值。去往步骤3。

（c）步骤103：对于当前帧m，计算对于RGB域的所有分量DC和Y’CbCr域的Y’分量的Y′_m,dc(A)、Y′_m,dc(B)、Y′_m,dc(C)、Y′_m,dc(D)和Y′_m，dc(E)。去往步骤4。

（d）步骤104：选择还没有测试的域的分量。

（e）步骤105：相对于帧m-1和m测试条件1。如果满足，则将帧m标记为具有减小的DC值的淡入淡出的结束帧。

（f）步骤106：相对于帧m-1和m测试条件2。如果满足，则将帧m标记为具有增加的DC值的淡入淡出的结束帧。

（g）步骤107：相对于帧m-1和m测试条件3。如果满足，则将帧m-1标记为具有增加的DC值的淡入淡出的开始帧。

（h）步骤108：相对于帧m-1和m测试条件4。如果满足，则将帧m-1标记为具有减小的DC值的淡入淡出的开始帧。

（i）步骤109：如果有更多的未选择的颜色空间域分量，则更新分量计数器114并且去往步骤104；否则，去往步骤110。

（j）步骤110：处理标记：如果存在冲突标记，则选择出现次数最多的标记。此处还可以由些某个分量标记比其他分量标记更加重要（例如，Y比Cb或Cr更加重要）而对其进行加权。因此可以对判决度量进行加权。存储最终的标记。去往步骤111。

（k）步骤111：检查在对当前帧m之前的帧进行处理前后是否已经存储了任何先前最终的标记。如果没有，则去往步骤112。否则，检查当前存储的标记和先前存储的标记是否“兼容”（步骤115）：例如，如果先前标记是“具有增加的DC的淡入淡出的开始帧”而当前标记是“具有增加的DC的淡入淡出的结束帧”，则可以声明这些帧的序列包括淡入。但是，如果当前标记是“具有减小的DC的淡入淡出的开始帧”，则存在假警报。可替代地，如果当前标记是“具有减小的DC的淡入淡出的结束帧”，则可以推测帧序列是同时交叉淡入淡出。去往步骤112。

（l）步骤112：确定是否要解析更多的帧。如果是，则更新帧计数器（步骤115）并且去往步骤102。否则，去往步骤113。

（m）步骤113：终止对帧的解析。

注意，在另外的实施例中，替代考虑帧的DC，可以考虑帧的直方图的模式或直方图的最高值的组合。还可以使用时间和/或空间子采样来限制计算复杂度。子采样可能基于颜色分量而各不相同：已知更多地受淡入淡出影响的颜色空间分量可以受益于较小的子采样因子。当使用不止一个分量来进行联合检测时，通过采取判决层次，额外的加速是可能的：根据它们如何更好地有利于检测淡入淡出来对分量进行排序。如果使用该检测处理第一分量并且结果为负，则不需要检查剩余的分量。在不同的实施例中，还可以基于区域来应用该方法，可选地通过分割来增强以检测局部淡入淡出和交叉淡入淡出。在这样的情况下，应该针对给定的区域来计算如DC或甚至直方图等统计数据。在不同的实施例中，可以将上面的方法联合加权预测结合到还可以包括有运动估计和补偿的预或后处理模块（运动补偿时间预或后滤波器）。

低复杂度的交叉淡入淡出检测。可以通过第三方算法或通过如在图11所示出以及下面所描述的算法等算法来完成按照淡入淡出对的帧分类：

（a）对于当前m，计算其RGB和Y’CbCr颜色空间分量的平均值：(R_m,G_m，B_m)和(Y′_m，Cb_m,Cr_m)。还计算针对其双向预测参考帧的RGB和Y’CbCr颜色空间分量的平均值：(R₁，G₁，B₁)、(Y′₁Cb₁，Cr₁)、(R₂，G₂，B₂)和(Y′₂，Cb₂，Cr₂)。这些平均值可以作为整个帧或某个区域上的DC值，或按照直方图模式或直方图的最高峰或直方图的组合（假设每帧计算多个直方图）来计算。

（b）验证来自每个参考帧的平均增益w₁和w₂加起来是否为1。还验证增益的大小是否与参考帧距当前帧的距离成反比，例如，对于等距离的帧，预期是会观察到大约一半的增益。

（c）最终，当插入来自前两个步骤中的值时测试等式28和等式31是否满足。如果色度分量增益未知（如在该情况下），则将它们设置成对于两个颜色空间的亮度分量增益的值。

如果满足上面的测试，则声明帧为交叉淡入淡出帧并且按照上面所述来设置对于Y’CbCr域的色度分量权重。

使用限幅和饱和来推导光照补偿参数

Y’CbCr域的量化数字版本的先前推导示出了以下可能：Y’CbCr分量可以不使用对于8比特无符号整数的全范围[0，255]。实际上，对于BT.601转换（等式6）和建议的模数转换方法（等式3），产生的范围是Y′∈[16，235]，Cb∈[16，240]和Cr∈[16，240]。即使当使用整个范围时（使用等式7的JFIF模数转换），仍然会将值限幅并且使其饱和在0和255处。注意，尽管在上面提出的分析中使用8比特位深内容，但是经常会随着限幅和饱和出现问题（注意，在本文中术语饱和的（saturated）、饱和（saturation）和限幅可以互换地使用）。例如，如10或12比特内容等较高位深内容也会遭受相同的问题。与内容位深和颜色空间（例如，XYZ、YCbCr、YCgCo等）无关地应用本发明的实施例。限幅和饱和操作不利于全局加权预测的预测效率。此外，它们还妨碍对最佳的全局和局部加权预测参数（增益和偏移）的搜索。下面在具有饱和的像素值的情况下讨论两种广泛地使用的加权预测搜索方法的操作。

图12示出了全局光照变化的情况。背景C是暗色并且保持暗色：其被限幅在值16处。在图12中，假设这些数字代表Y’分量的值。对象的第一部分A使用值32在帧n中稍微可见，并且在值为64的强度下在帧n+1中变得更明亮。相同对象的具有值32的另一部分B出现在帧n+1中。使分区C等于帧的一半。使分区A和分区B各自等于区域中帧的四分之一。还假设分区C的内容非常单调，因此可以以很少的比特进行编码。相比而言，分区A和分区B是纹理化的，因而更加难以进行编码。该情形反映了标志的淡入或淡出，这在电影预告片中是极其常见的。

全局加权预测（偏移f和增益w）可以用于使用预测参考帧n来预测帧n+1。可以使用基于DC的方法、基于迭代运动补偿方法和直方图方法等来完成对增益和偏移的估计。下面的描述提出了三种现有的基于DC的技术：

技术1：第一种技术是将偏移设置成0并且按照DC_n+1/DC,来计算增益。

技术2：第二种技术是将增益设置成1并且按照DC_n+1-DC_n来计算偏移。

技术3：第三种技术是将增益设置成w＝(E{I_n+1-DC_n+1|})/(E{|I_n-DC_n})，并且按照f＝DC_n+1-w×DC_n来计算偏移。这种技术是通过解决如在以下文献中描述的均方最小化之一的问题来导出的：K.Kamikura等人的“GlobalBrightness-Variation Compensation for Video Coding”和Y.Kikuchi和T.Chujoh的“Interpolation coefficient adaption in multi-frame interpolativeprediction.”。DC值被定义为DC_n=E{I_n}，其中I_n是帧n中的像素值，并且运算E{X}表示X的平均值。

下面对使用上面的技术估计增益和偏移以及将它们用于光照变化补偿的结果进行描述。

技术1：使用技术1，获得(w，f)＝(1.2，0)。将具有这些参数的全局光照补偿应用于参考帧n，分区B和分区C具有值19.2，并且分区A具有值38.4。因此，所有分区都被误预测。

技术2：使用技术2，获得(w,f)＝(1.0，4)。将具有这些参数的全局光照补偿应用于参考帧n，分区B和分区C具有值20，并且分区A具有值36。因此，所有分区被误预测。由于分区A更以难进行编码，所以可以得出结论，对于这种预测情形，技术1胜过技术2。

技术3：使用技术3，获得(w，f)＝(2.67，-29.34)。将具有这些参数的全局光照补偿应用于参考帧n，分区B和分区C具有值2.66，并且分区A具有值56.1。因此，所有分区被误预测。由于分区A和B相比C更加难以进行编码，所以关于技术3的相对于技术1和技术2针对该预测情形的性能没有结论。

根据上面的分析，以下变得明显：这三个基于DC的技术不能解决接近限幅/饱和值的转变。实际上，尽管上面的描述示出了从初始地饱和在16处的黑色的淡入，但是如果研究到饱和在16或0处的黑色的淡出，或到饱和在255或240处的白色的淡出，则会建立相同的结论。类似的结论对于较高位深或不同的颜色空间是有效的。一般地，当操作接近饱和点例如亮度和色度动态范围的最小点和最大点时，加权参数估计变糟。在本说明书中，可以将这些饱和值概括为I_s和h_s，它们不一定是非零（因为值被限幅成不小于0，所以0仍然是饱和点）。在下面的子章节中，讨论了能够解决淡入淡出的边缘处的全局加权预测问题的两种算法，其中像素值的饱和是普通的。

基于标记集合的算法。该算法基于对属于以下像素的像素位置进行标记：

（a）对于帧n-1饱和并且在帧n处取不饱和值，例如，像素值分别在过去在最低饱和值处饱和I_n-1=l_s或在最高饱和值处饱和I_n-1＝h_s，并且在现在它们大于最低饱和值I_n-1＞l_s或小于最大饱和值I_n-1＜h_s；

（b）或者，对于帧n-1不饱和并且在帧n处取饱和值，例如，像素值分别在过去大于最低饱和值I_n-1＞l_s或小于最大饱和值I_n-1＜h_s，并且在现在其在最低饱和值处饱和I_n-1=l_s，或在最高饱和值处饱和I_n-1＝h_s。

在图13中，对于帧n+k，分区C保持饱和，而分区B最初饱和，然后取不饱和值（在帧n+k中）。分区A被限定为值在预测帧和参考帧两者中都不饱和的分区的集合。分区D被限定为值对于给定的帧不饱和的分区的集合。注意，与图13中示出的说明形成对照，多个分区不需要邻接。只要分区遵守上述条件，它们就可以包括多个区域。为了将此概括成进出白色和黑色（或任何其他单一的颜色）的淡入和淡出，假设k是任何非零的整数。所以取决于情形，帧n可以用作当前帧或预测参考。对于帧n+k，相反的情况也是成立的。值得一提的是A_n+k＝D_n+k∩D_n。还注意，D_n+k＝A_n+k∪B_n+k。

在图14中示出了基于标记集合的WP参数搜索算法（步骤号指代在图中示出的附图标记）并且下面另外详细地对其进行了描述：

（a）步骤201：对于每个预测帧和参考帧配对，初始化帧号并且去往步骤202；

（b）步骤202：对于每个预测帧和参考帧配对，初始化帧计数器并且去往步骤203；

（c）步骤203：确定是否有任何饱和分区位于每个预测帧和参考帧配对内，然后去往步骤204；

（d）步骤204：确定两个帧是否共享具有饱和亮度值的大范围。这可以通过现有的方法来完成，或可替代地，通过相应地在帧中对像素进行测试和分类来完成。如果是，则去往步骤205；否则去往步骤208；

（e）步骤205：确定是否有任何不饱和分区位于每个预测帧和参考帧配对内，然后去往步骤206；

（f）步骤206：确定两个帧是否共享具有不饱和值的大的共用范围（A_n+k＝A_n）。可以使用现有的方法或每像素测试和分类来完成该任务。如果是，则去往步骤207；否则，去往步骤208；

（g）步骤207：对标准化（至相同数量的像素）的集合A_n+k和A_n应用某一WP搜索方法（基于DC的方法、基于直方图的方法、具有运动估计和补偿的迭代方法等）。重新使用来自先前帧的WP参数来初始化对于当前帧的搜索。获得增益和因子。去往步骤209；

（h）步骤208：对标准化（至相同数量的像素）帧n和n+k应用某一WP搜索方法（基于DC的方法、基于直方图的方法、具有运动估计和补偿的迭代方法等）。重新使用来自先前帧的WP参数来初始化对于当前帧的搜索。获得增益和因子。去往步骤209；

（i）步骤209：确定是否有另外的分量要分析，如果是，则更新参考计数器（步骤211）并且去往步骤203，否则，去往步骤210；

（j）步骤210：如果必须评估更多的预测帧和参考帧，选择一个配对，存储针对当前帧配对导出的WP参数，更新帧计数器（步骤212）并且去往步骤202；否则终止该算法。

另外的实施例。饱和和不饱和区域的推导可以受益于对分割方法的使用。还可以使用运动补偿来跟踪从一个帧到下一个帧的这些区域并且因此用于作为这些方法的至关重要的分量的分区A、B、C和D的形成的根据。在替代的实施例中，替代对分区A应用WP参数估计方法，如同它们表示相同的单一区域，分割能够将它们分成不同的对象，并且可以单独地对每个对象/区域应用算法。在一个实施例中，如果编解码器支持宏块、块或区域级别上用信号传递WP增益和因子，则使用上面的方法基于局部的加权预测是可能的。区域或块可以是交叠的。对于采用如仅支持在切片级别上用信号传递WP参数的H.264等编解码器的实施例，通过联合使用多个参考运动补偿预测和参考重新排序/修改，在局部级别上使用不同的WP参数是可能的。在不同的实施例中，可以将上面的方法联合加权预测结合到还包含运动估计和补偿的预或后处理模块中（运动补偿时间预或后滤波器）。

基于迭代消除的算法。该算法不同地解决饱和值的问题。此外，它解决先前算法的主要问题，分支操作方面的增加的复杂度。共用集合相交部分A_n+k＝D_n+k∩D_n的确定可能听起来简单，但是需要每像素的条件性分支以确定这些集合。此外，即使在确定了这些集合之后，取决于加权参数估计算法，针对所得到的集合，仍然需要重新计算DC值。对于特定的WP搜索方法如复杂技术3，这还需要承担必须再次针对具体的集合进行限制的每像素加和。因此，基于直方图和多次迭代的不同的算法可能是有用的。注意，该算法顺从应用到加权参数估计技术如基于DC方法、基于直方图的方法、具有运动估计和补偿的迭代方法等。

在基于迭代消除的算法中，使帧n为当前帧并且帧n+k为用于加权预测的参考帧。参考帧可以是原始帧或在压缩残差的重构后的解压缩帧。可以按照以下来初始化下面的参数：

（a）当前迭代数量t=0；

（b）对于当前帧n的当前最小饱和值

（c）对于当前帧n的当前最高饱和值

（d）对于参考帧n+k的当前最低饱和值

（e）对于参考帧n+k的当前最高饱和值

使当前迭代数量为t。可选地，算法首先可以计算两个帧的直方图。由于该运算避免了每像素的分支并且使用每像素的矩阵存储器访问来取代分支，而256元素矩阵可以很容易适应任何处理器的高速缓存存储器，所以一般可以较快地实施每像素的矩阵存储器访问，从而该运算具有低复杂度。这样的可选计算对于取决于例如直方图匹配或取决于DC值的WP搜索方法是有用的。下一个步骤包括使用参考帧n+k预测帧n的加权参数的估计（WP搜索）。WP搜索可以考虑基于DC的方法、基于直方图的方法（例如，直方图匹配）、具有运动估计和补偿的迭代方法等。此外，可以使用在迭代t-1处导出的WP参数来提高和加速迭代t处的WP搜索。

WP搜索还可以考虑采用直方图来确定偏移和增益的的算法。这些直方图现在可以通过给定帧m的参数

和参数

来限制。一般地，该方法的新颖性在于：每次迭代处的WP搜索被限制为考虑对于当前帧和参考帧的预定的最低饱和边界和最高饱和边界。

在完成加权预测参数的估计之后，必须更新边界参数

和

一般地，当前帧的参数和

与迭代无关保持不变。因此，有

和

然而通过如在下一段中描述的一种算法来更新参考帧的参数

和

在用于更新参考帧的参数的算法中，使(w_t，f_t)表示由加权预测估计算法确定的偏移和增益。将用于下一次迭代的参数和

可以通过满足下面在等式47中示出的不等式来确定：

$l_{s,0}^n<w_t\&times;p_{n+k}+f_t<h_{s,0}^n\&DoubleRightArrow;\frac{l_{s,0}^n-f_t}{w_t}<p_{n+k}<\frac{h_{s,0}^n-f_t}{w_t}$ 等式47

使p_n+k为参考帧n+k中的任何像素值。通过新近导出的增益和偏移使其饱和和限幅的像素值被标记为非期望的。一般地，根据本发明实施例的更新算法会将以以下方式设置对于参考帧的下边界和上边界：当使用加权预测来根据参考帧预测当前帧时，得到的像素值会被饱和或限幅。因此，根据上面的等式，按照下面等式48所示来确定对于下一个迭代t+1的新的饱和边界：

$l_{s,t+1}^{n+k}=\frac{l_{s,0}^n-f_t}{w_t}+1$

$h_{s,t+1}^{n+k}=\frac{h_{s,0}^n-f_t}{w_t}-1$ 等式48

接着，确定增益和偏移(w_t,f_t)是否充分地不同，例如假设对于8比特内容和实值增益，与先前迭代的增益和偏移(w_t-1,f_t-1)的绝对增益差大于0.03并且绝对偏移差大于3。如果不是，则算法收敛并且加权参数估计终止。如果已经达到迭代的最大数量则算法也终止。否则，迭代计数器增加到t+1，并且执行返回到加权参数(w_t+1，f_t+1)的估计。在图15中示出了该算法。

另外的实施例。还可以通过考虑与场景中的不同对象或内容对应的分割区域来增进本发明的该实施例。在区域的分割和推导之后，可以单独地对每个区域应用上面的方法。运动补偿可以有助于跟踪。上面的方法考虑颜色空间的单个分量。如果在整个颜色空间中同时考虑每个增益和偏移选择的影响则能够获得更佳的性能。可能存在这种情况：分量中的两个分量不饱和，但是最后一个分量可以展示饱和问题。此外更加重要地是，还可以考虑样本值经历了颜色空间转换后对样本值的影响：例如，虽然样本值在用于压缩的初始颜色空间（例如，Y'CbCr）中可能是不饱和的，但是出于显示或例如层间预测（在使用增强层中的高动态范围样本进行可伸缩性编码的情况下）的目的，在将上述样本转换到另一个颜色空间（例如，RGB）之后，饱和值可能产生一个或多个分量。该算法可以将此考虑在内并且将边界限制在甚至不饱和颜色空间分量上。在一个实施例中，如果编解码器支持在宏块或块级别上用信号传递WP增益和因子，则使用上面的方法的基于局部的加权预测是可能的。对于采用如仅支持在切片级别上用信号传递WP参数的H.264等编解码器的实施例，通过联合使用多个参考运动补偿预测和参考重新排序/修改，在局部级别上使用不同的WP参数是可能的。在不同的实施例中，可以将上面的方法联合加权预测结合到还可以包括运动估计和补偿的预处理或后处理模块（运动补偿时间预滤波器或后滤波器）中。

光照补偿参数的低复杂度估计。

先前针对WP参数估计所提出的方法具有以下共同的特征：三种方法都是对单一颜色分量进行操作。因此，例如在不考虑对于Cb和Cr分量的结果的情况下来计算对于Y’的偏移和增益。类似地，在不考虑R和B分量的情况下计算对于G分量的偏移和增益。然而上面的讨论已经示出了基于淡入淡出类型存在多种关系。可以用公式阐述下面的问题：对于当前帧m和参考帧m+k（其中k是任何非零整数），RGB和Y’CbCr分量的DC值是已知的。此外，假设全局光照变化。然后寻找进行加权预测的增益和偏移。一般地，这样做经常导致具有6个未知量的三个等式（例如，等式10和等式11），其产生无穷解。但是，如果强加某些限制以使得未知量的数量变得等于等式的数量，则可以获得可靠并且唯一的解。限制/假设可以是先验知识的结果。对应于多个假设/限制，可以产生多个解，然后可以通过进行一致性/完整性检查来选择最佳解（不考虑对于超出边界的值或无理数值的解）。

如果权重被限制成在所有分量上相等例如对于Y’CbCr，其通常对于大多数淡入淡出场景都是成立的，则可能是一个解。此外，按照下面等式49所示来将色度偏移设置为相等：

$\left[\begin{array}{c}{Y^{\&prime;}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w\&times;\left[\begin{array}{c}{Y^{\&prime;}}_{m+k}\\ {\mathrm{Cb}}_{m+k}\\ {\mathrm{Cr}}_{m+k}\end{array}\right]+\left[\begin{array}{c}{f}_{Y^{\&prime;}}\\ f_C\\ f_C\end{array}\right]$ 等式49

然后可以解等式48以导出增益w和偏移f_Y'和f_C。

在RGB域（但仅不限于这两个域）中可能有另一个实施例。将RGB偏移设置成相等，而可以按照下面等式50所示来限制增益：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=\left[\begin{array}{c}{w}_R\&times;R_{m+k}\\ w\&times;G_{m+k}\\ w\&times;B_{m+k}\end{array}\right]+\left[\begin{array}{c}f\\ f\\ f\end{array}\right]$ 等式50

替代的推导可以如下面等式51所示：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=\left[\begin{array}{c}w\&times;R_{m+k}\\ w_G\&times;G_{m+k}\\ w\&times;B_{m+k}\end{array}\right]+\left[\begin{array}{c}f\\ f\\ f\end{array}\right]$ 等式51

上面的等式系统是可解的，然后可以将增益和偏移转换到Y’CbCr域以用在操作在Y’CbCr域中的预测方案内。对在何处进行计算，即RGB域还是Y’CbCr域的判决取决于关于序列存在什么样的先验知识：如果在RGB域完成大多数处理，则在RGB域进行估计是有意义的。如果在Y’CbCr域中完成处理，则在Y’CbCr域中进行估计是有意义的。

另外的实施例。可以通过以下分割来基于全局（整个帧或分量）或基于局部来应用上面的方法：上述分割在主方法之前进行并且导出具有更加统一的特征的内容的区域。因此，可以基于区域/局部来计算例如DC值。在一个实施例中，如果编解码器支持在宏块或块级别上用信号传递WP增益和因子，则使用上述方法的基于局部的加权预测是可能的。对于采用如仅支持在切片级别上用信号传递WP参数的H.264等编解码器的实施例，通过联合使用多个参考运动补偿预测和参考重新排序/修改，在局部级别上使用不同的WP参数是可能的。在不同的实施例中，可以将上面的方法联合加权预测结合到还可以包括运动估计和补偿的预处理或后处理模块（运动补偿时间预滤波器或后滤波器）中。

总之，根据若干实施例，本公开内容考虑数据增强或处理系统及方法，如循环内（编码/解码处理的一部分）或循环外（预处理或后处理阶段）处理，如对于可能已经使用各种方法采样和复用的数据的去块或去噪。可以将这些系统及方法应用到现有的编解码器（编码器和解码器），但是还可以通过对核心组件进行修改将其扩展到未来的编码器和解码器。应用可以包括蓝光视频编码器和播放器、机顶盒、软件编码器及播放器而且还包括更加带宽受限的广播和下载解决方案。另外的应用包括BD视频编码器、播放器和以适当格式创建的视频光盘，或甚至包括针对其他应用的内容及系统如广播、卫星和IPTV系统等。

本公开内容所描述的方法及系统可以以硬件、软件、固件或其组合来实施。可以一起（例如，在如集成逻辑器件等逻辑器件中）或单独地（例如，作为单独的连接逻辑器件）来实施描述为块、模块或组件的特征。本公开内容的方法的软件部分可以包括计算机可读介质，该介质包括当被执行时至少部分地进行所描述的方法的指令。例如，计算机可读介质可以包括随机存取存储器（RAM）和/或只读存储器（ROM）。上述指令可以由处理器（例如，数字信号处理器（DSP）、专用集成电路（ASIC）或现场可编程逻辑阵列（FPGA））来执行。

如本文所述的，因此，本发明的实施例可以涉及下面在表1中列举的示例实施例中的一个或多个。从而，本发明可以以本文所描述的任何形式来体现，包括但不限于下面描述了本发明的一些部分的结构、特征和功能的列举的示例实施例（EEE）。

表1

列举的示例实施例

EEE1.一种用于在视频信号的从一个画面到下一个画面的转变中检测淡入淡出并且确定所述淡入淡出的全局或局部性质的方法，所述方法包括：

提供画面的多个帧和有关的预测参考帧；

对于每个帧和有关的预测参考帧，计算第一颜色域中的一个或多个与强度有关的值和一个或多个与颜色有关的值；

对于每个帧和有关的预测参考帧，计算所述第一颜色域中的每个分量值的加权预测增益；

如果所述加权预测增益是全为非负并且彼此基本上相似，则确定具有零偏移的全局转变主要发生在第二颜色域中；以及

如果所述加权预测增益不是全为非负并且彼此基本上相似，则确定以下各项中至少一项不发生：全局淡入淡出转变；具有零偏移的全局淡入淡出转变；或在所述第二颜色域中具有零偏移的全局淡入淡出转变。

EEE2.根据列举的示例实施例1所述的方法，其中所述与强度有关的值包括一个或多个亮度值。

EEE3.根据列举的示例实施例1所述的方法，其中所述与颜色有关的值包括一个或多个色度值。

EEE4.根据列举的示例实施例1所述的方法，其中所述第一颜色域是YCbCr域并且根据下面的公式来计算所述加权预测增益：

$w_Y=\frac{{Y^{\&prime;}}_m-d_0}{{Y^{\&prime;}}_{m+k}-d_0},$ $w_{\mathrm{Cb}}=\frac{{\mathrm{Cb}}_m-d_1}{{\mathrm{Cb}}_{m+k}-d_1},$ $w_{\mathrm{Cr}}=\frac{{\mathrm{Cr}}_m-d_2}{{\mathrm{Cr}}_{m+k}-d_2}$

其中

Y’_m和Y’_m+k分别是帧的亮度分量和所述帧的预测参考帧的亮度分量；

Cb_m和Cr_m是所述帧的色度分量值；

Cb_m+k和Cr_m+k是所述帧的所述预测参考帧的色度分量值；以及

d₀、d₁和d₂是颜色格式转换偏移。

EEE5.根据列举的示例实施例1所述的方法，其中所述与强度有关的值和所述与颜色有关的值是平均的与强度有关的值和与颜色有关的值。

EEE6.根据列举的示例实施例1所述的方法，其中所述与强度有关的值和所述与颜色有关的值是根据直方图信息来计算的。

EEE7.根据列举的示例实施例1所述的方法，其中所述多个帧是帧序列的一部分。

EEE8.根据列举的示例实施例1所述的方法，其中所述多个帧是被指示具有光照变化的一组帧的一部分。

EEE9.根据列举的示例实施例1所述的方法，其中限定从所述第一颜色域到所述第二颜色域的转变的颜色空间矩阵是线性的。

EEE10.根据列举的示例实施例1所述的方法，其中如果所述加权预测增益在彼此的5%到10%以内，则所述加权预测增益基本上相似。

EEE11.根据列举的示例实施例1所述的方法，还包括：用对数换算所述加权预测增益，使所述加权预测增益具有0到1之间的值，并且通过计算所述加权预测增益值之间的差是否小于0.1来确定所述加权预测增益是否基本上相似。

EEE12.一种用于在视频信号的从一个画面到下一个画面的转变中检测淡入淡出和确定所述淡入淡出的全局或局部性质的方法，所述方法包括：

提供画面的多个帧和有关的预测参考帧；

对于每个帧和有关的预测参考帧，计算第一颜色域中与强度有关的值和与颜色有关的值；

对于每个帧和有关的预测参考帧，计算与强度有关的加权预测参数；

对于每个帧和有关的预测参考帧，根据所计算的与强度有关的值和与颜色有关的值以及根据所计算的与强度有关的加权预测参数来计算加权预测增益；

如果所述加权预测增益是全为非负并且彼此基本上相似，则确定具有零偏移的全局转变主要发生在第二颜色域中；以及

如果所述加权预测增益不是全为非负并且彼此基本上相似，则测试是否发生局部转变。

EEE13.根据列举的示例实施例12所述的方法，其中所述与强度有关的值包括一个或多个亮度值。

EEE14.根据列举的示例实施例13所述的方法，其中所述与颜色有关的值包括一个或多个色度值。

EEE15.根据列举的示例实施例12所述的方法，其中所述第一颜色域是YCbCr域并且所述加权预测增益是根据下面的公式来计算的：

$w_Y=\frac{{Y^{\&prime;}}_m-d_0}{{Y^{\&prime;}}_{m+k}-d_0},$ $w_{\mathrm{Cb}}=\frac{{\mathrm{Cb}}_m-d_1}{{\mathrm{Cb}}_{m+k}-d_1},$ $w_{\mathrm{Cr}}=\frac{{\mathrm{Cr}}_m-d_2}{{\mathrm{Cr}}_{m+k}-d_2}$

其中

Y’_m和Y’_m+k分别是帧的亮度分量和所述帧的预测参考帧的亮度分量；

Cb_m和Cr_m是所述帧的色度分量值；

Cb_m-k和Cr_m+k是所述帧的所述预测参考帧的色度分量值；以及

d₀、d₁和d₂是颜色格式转换偏移。

EEE16.根据列举的示例实施例12所述的方法，其中所述与强度有关的值和所述与颜色有关的值是平均的与强度有关的值和与颜色有关的值。

EEE17.根据列举的示例实施例12所述的方法，其中所述与强度有关的值和所述与颜色有关的值是根据直方图信息来计算的。

EEE18.根据列举的示例实施例12所述的方法，其中所述多个帧是帧序列的一部分。

EEE19.根据列举的示例实施例12所述的方法，其中所述多个帧是被指示具有光照变化的一组帧的一部分。

EEE20.根据列举的示例实施例12所述的方法，其中限定从所述第一颜色域到所述第二颜色域的转变的颜色空间矩阵是线性的。

EEE21.根据列举的示例实施例12所述的方法，其中如果所述加权预测增益在彼此的5%到10%以内，则所述加权预测增益基本上相似。

EEE22.根据列举的示例实施例12所述的方法，还包括：

用对数换算所述加权预测增益，使所述加权预测增益具有0到1之间的值，并且通过计算所述加权预测增益值之间的差是否小于0.1来确定所述加权预测增益是否基本上相似。

EEE23.一种用于对视频信号的从一个画面到下一个画面的转变中的淡入淡出的全局或局部性质进行确定的方法，所述方法包括：

提供所述画面的多个帧和有关的预测参考帧；

对于每个帧和有关的预测参考帧，计算第一颜色域中与强度有关的值和与颜色有关的值；

对于每个帧和有关的预测参考帧，计算对于所述第一颜色域中的每个与强度有关的值和与颜色有关的值的加权预测增益；

对于每个帧和有关的预测参考帧，将所述加权预测增益彼此进行比较；

如果所述加权预测增益是全为非负并且彼此基本上相似，则确定所述淡入淡出是全局的；以及

如果所述加权预测增益不是全为非负并且彼此基本上相似，则确定所述淡入淡出是局部的。

EEE24.根据列举的示例实施例23所述的方法，其中所述与强度有关的值包括一个或多个亮度值。

EEE25.根据列举的示例实施例23所述的方法，其中所述与颜色有关的值包括一个或多个色度值。

EEE26.一种用于在发生图像转变时根据关于颜色空间转变的信息和第一颜色分量加权预测参数来计算第二颜色分量加权预测参数和第三颜色分量加权预测参数的方法，所述方法包括：

计算第一颜色分量加权预测增益和偏移；以及

基于所计算的第一颜色分量加权预测增益和偏移的值，根据所述颜色转换偏移、颜色转换矩阵的系数和所述第一颜色分量加权预测增益和偏移来计算所述第二颜色分量加权预测增益和偏移以及第三颜色分量加权预测增益和偏移。

EEE27.根据列举的示例实施例26所述的方法，其中所述第二颜色分量加权预测参数和所述第三颜色分量加权预测参数包括与颜色有关的增益和偏移，并且所述第一颜色分量加权预测参数包括与强度有关的增益和偏移，并且所述图像转变包括淡入淡出，其中所述方法包括：

计算与强度有关的增益和偏移；

如果所述与强度有关的增益不为1并且与强度有关的偏移为非零，则将与颜色有关的增益设置为等于与强度有关的增益，并且根据颜色格式转换偏移、与强度有关的增益、与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移；

如果与强度有关的增益不为1并且与强度有关的偏移为零，则将与颜色有关的增益设置为等于所述与强度有关的增益，并且根据颜色格式转换偏移、与强度有关的增益和颜色转换矩阵的系数来计算与颜色有关的偏移；以及

如果与强度有关的增益为1并且与强度有关的偏移为非零，则将与颜色有关的增益设置成等于1，并且根据与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移。

EEE28.根据列举的示例实施例27所述的方法，其中所述与强度有关的增益和偏移包括亮度增益和偏移。

EEE29.根据列举的示例实施例27所述的方法，其中所述与颜色有关的增益和偏移包括色度增益和偏移。

EEE30.根据列举的示例实施例27所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，如果与强度有关的增益不等于1并且与强度有关的偏移为零，则根据下面的公式来计算与颜色有关的偏移：

f_Cb＝(c₁₀+c₁₁+c₁₂)×(w_Y-1)×d₀+(1-w_Y)×d₁

f_Cr＝(c₂₀+c₂₁+c₂₂)×(w_Y-1)×d₀+(1-w_Y)×d₂

其中f_Cb和f_Cr是色度偏移；

c₁₀、c₁₁、c₁₂、c₂₀、c₂₁和c₂₂是所述颜色转换矩阵的系数；

w_Y是亮度增益；以及

d₀、d₁和d₂所述颜色格式转换偏移。

EEE31.根据列举的示例实施例27所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，如果与强度有关的增益为1并且与强度有关的偏移为非零，则根据下面的公式来计算与颜色有关的偏移：

f_Cb＝f_Y×(c₁₀+c₁₁+c₁₂)

f_Cr＝f_Y×(c₂₀+c₂₁+c₂₂)

其中f_Cb和f_Cr是色度偏移；

f_Y是亮度偏移；以及

c₁₀、c₁₁、c₁₂、c₂₀、c₂₁和c₂₂是所述颜色转换矩阵的系数；

EEE32.根据列举的示例实施例27所述的方法，其中所述颜色空间转换是从RGB到到Y’CbCr，并且其中如果与强度有关的增益不为1并且与强度有关的偏移为非零，则根据下面的公式来计算与颜色有关的偏移：

f_Cb＝(f_Y-(1-w_Y)d₀)×(c₁₀+c₁₁+c₁₂)+(1-w_Y)×d₁

f_Cr＝(f_Y-(1-w_Y)d₀)×(c₂₀+c₂₁+c₂₂)+(1-w_Y)×d₂

其中f_Cb和f_Cr是色度偏移；

c₁₀、c₁₁、c₁₂、c₂₀、c₂₁和c₂₂是所述颜色转换矩阵的系数；

w_Y是亮度增益；

f_Y是亮度偏移；以及

d₀、d₁和d₂是颜色格式转换偏移。

EEE33.根据列举的示例实施例27所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，其中所述与强度有关的增益和偏移包括亮度增益和偏移，并且其中与颜色有关的增益和偏移包括色度增益和偏移，并且其中d₀、d₁和d₂是颜色格式转换偏移，f_Y是亮度偏移以及w_Y是亮度增益，其中如果所述亮度偏移是非零并且所述亮度增益不为1并且如果f_Y近似等于(1-w_Y)d₀，则色度增益等于亮度增益并且根据下面的公式来计算色度偏移：

f_Cb＝(1-w_Y)×d₁

f_Cr＝(1-w_Y)×d₂，

其中f_Cb和f_Cr是色度偏移。

EEE34.根据列举的示例实施例33所述的方法，其中如果f_Y不近似等于(1-w_Y)d₀，则还包括选择下面的选项A、选项B、选项C或选项D之一：

选项A：选择亮度增益为可靠的并且根据下面的公式来计算亮度偏移：

f_Y＝(1-w_Y)d_O

检查f_Y的合理性；

将色度增益设置成等于亮度增益；

根据下面的公式计算色度偏移：

f_Cb＝(1-w_Y)×d₁

f_Cr＝(1-w_Y)×d₂，

选项B：选择亮度偏移为可靠的并且根据下面的公式来计算亮度增益：

w_Y＝(d_O-f_Y)/d₀；

检查w_y的合理性；

将色度增益设置成等于亮度增益；

根据下面的公式来计算色度偏移：

f_Cb＝(1-w_Y)×d₁

f_Cr＝(1-w_Y)×d₂

选项C：选择亮度增益为可靠的并且将亮度偏移设置成等于0；

将色度增益设置成等于亮度增益；

根据下面的公式来计算色度偏移：

f_Cb＝(c₁₀+c₁₁+c₁₂)×(w_Y-1)×d₀+(1-w_Y)×d₁

f_Cr＝(c₂₀+c₂₁+c₂₂)×(w_Y-1)×d₀+(1-w_Y)×d₂

其中c₁₀、c₁₁、c₁₂、c₂₀、c₂₁和c₂₂是所述颜色转换矩阵的系数；

选项D：选择亮度偏移为可靠的并且将亮度增益设置为1；

将色度增益设置成等于亮度增益；

根据下面的公式来计算色度偏移：

f_Cb＝f_Y×(c₁₀+c₁₁+c₁₂)

f_Cr＝f_Y×(c₂₀+c₂₁+c₂₂)

其中c₁₀、c₁₁、c₁₂、c₂₀、c₂₁和c₂₂是所述颜色转换矩阵的系数。

EEE35.根据列举的示例实施例34所述的方法，其中选择选项A、选项B、选项C或选项D之一以满足所选择的准则。

EEE36.根据列举的示例实施例35所述的方法，其中所述选择的准则包括最小化或最大化选择的度量或确定所计算的增益或偏移是否位于选择的边界内。

EEE37.根据列举的示例实施例35所述的方法，其中所选择的准则基于单个色度分量或两个色度分量。

EEE38.根据列举的示例实施例27所述的方法，其中所述与强度有关的增益和偏移和所述与颜色有关的增益和偏移是根据对于整个图像帧的数据来计算的。

EEE39.根据列举的示例实施例27所述的方法，其中所述与强度有关的增益和偏移和所述与颜色有关的增益和偏移是根据对于图像帧的所选择的一部分的数据来计算的。

EEE40.根据列举的示例实施例27所述的方法，其中所述颜色空间转换是根据ITU/SMPTE或JFIF规范的从RGB到Y’CbCr，并且其中所述与强度有关的增益和偏移包括亮度增益和偏移，并且其中与颜色有关的增益和偏移包括色度增益和偏移，所述方法包括：

如果亮度增益不为1，则将所述色度增益设置成等于所述亮度增益并且根据下面的公式来计算色度偏移：

f_Cb＝f_Cr＝(1-w_Y)×128

其中f_Cb和f_Cr是所述色度偏移并且w_Y是所述亮度增益，以及

如果所述亮度增益为零，则将所述色度偏移设置为0并且将所述色度增益设置成等于1。

EEE41.根据列举的示例实施例27所述的方法，当发生图像交叉淡入淡出时，所述方法还包括：

计算与强度有关的增益和亮度偏移，以及

将与颜色有关的增益设置成等于与强度有关的增益。

EEE42.根据列举的示例实施例27所述的方法，其中所述第一颜色分量加权预测参数包括色度增益和色度偏移配对中的一个，并且所述第二颜色分量加权预测参数和所述第三颜色分量加权预测参数包括所述色度增益和偏移配对中的第二个以及亮度增益和亮度偏移。

EEE43.一种用于在发生图像闪光时根据与强度有关的参数和关于颜色空间转换的信息来计算与颜色有关的参数的方法，所述方法包括：

计算与强度有关的增益和偏移；

如果与强度有关的增益不为1并且与强度有关的偏移为非零，则将与颜色有关的增益设置成等于与强度有关的增益，并且根据颜色格式转换偏移、与强度有关的增益、与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移；

如果与强度有关的增益不为1并且与强度有关的偏移为零，则将与颜色有关的增益设置成等于所述与强度有关的增益，并且根据颜色格式转换偏移、与强度有关的增益和颜色转换矩阵的系数来计算与颜色有关的偏移；以及

如果与强度有关的增益是1或接近1，则将与颜色有关的增益设置成等于1，并且根据与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移。

EEE44.根据列举的示例实施例43所述的方法，其中所述与强度有关的增益和偏移包括亮度增益和偏移。

EEE45.根据列举的示例实施例43所述的方法，其中所述与颜色有关的增益和偏移包括色度增益和偏移。

EEE46.根据列举的示例实施例43所述的方法，其中如果所述与强度有关的增益是1或接近1，则计算与颜色有关的偏移包括：基于所述图像闪光的主要光源的颜色来计算与颜色有关的偏移。

EEE47.根据列举的示例实施例43所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，并且其中与强度有关的增益和偏移包括亮度增益和偏移，所述与颜色有关的增益和偏移包括色度增益和偏移，并且其中如果所述亮度增益为1或接近1，则计算所述色度偏移包括选择下面的计算中的至少之一：

f_Cb=0 和f_Cr＝0；

f_Cb＝(c₁₂×f_Y)/c₀₂和f_Cb＝(c₂₂×f_Y)/c₀₂；

f_Cb＝(c₁₁×f_Y)/c₀₁和f_Cb＝(c₂₁×f_Y)/c₀₁；以及

f_Cb＝(c₁₀×f_Y)/c₀₀和f_Cb＝(c₂₀×f_Y)/c₀₀；

其中c₀₀、c₀₁、c₀₂、c₁₀、c₁₁、c₁₂、c₂₀、c₂₁和c₂₂是所述颜色转换矩阵的系数，并且f_Cb和f_Cr是色度偏移。

EEE48.根据列举的示例实施例43所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，并且其中与强度有关的增益和偏移包括亮度增益和偏移，所述与颜色有关的增益和偏移包括色度增益和偏移，并且其中如果所述亮度增益为1或接近1，则计算所述色度偏移包括：

假设所述图像闪光包括白光，以及

按照下面来计算所述色度偏移f_Cb和f_C：

f_Cb＝0和f_Cr＝0。

EEE49.根据列举的示例实施例43所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，并且其中与强度有关的增益和偏移包括亮度增益和偏移，所述与颜色有关的增益和偏移包括色度增益和偏移，并且其中如果所述亮度增益为1或接近1，计算所述色度偏移包括：

假设所述图像闪光包括蓝光，以及

按照下面来计算所述色度偏移f_Cb和f_C：

f_Cb＝(c₁₂×f_Y)/c₀₂和f_Cb＝(c₂₂×f_Y)/c₀₂，

其中c₀₂、c₁₂和c₂₂是所述颜色转换矩阵的系数。

EEE50.根据列举的示例实施例43所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，并且其中与强度有关的增益和偏移包括亮度增益和偏移，所述与颜色有关的增益和偏移包括色度增益和偏移，并且其中如果所述亮度增益是1或接近1，计算所述色度偏移包括：

假设所述图像闪光包括绿光，以及

按照下面来计算所述色度偏移f_Cb和f_C：

f_Cb＝(c₁₁×f_Y)/c₀₁和f_Cb＝(c₂₁×f_Y)/c₀₁

其中c₀₁、c₁₁和c₂₁是所述颜色转换矩阵的系数。

EEE51.根据列举的示例实施例43所述的方法，其中所述颜色空间转换是从RGB到Y’CbCr，并且其中与强度有关的增益和偏移包括亮度增益和偏移，所述与颜色有关的增益和偏移包括色度增益和偏移，并且其中如果所述亮度增益是1或接近1，则计算所述色度偏移包括：

假设所述图像闪光包括红光，以及

按照下面来计算所述色度偏移：

f_Cb＝(c₁₀×f_Y)/c₀₀和f_Cb＝(c₂₀×f_Y)/c₀₀

其中c₀₀、c₁₀和c₂₀是所述颜色转换矩阵的系数。

EEE52.根据列举的示例实施例47所述的方法，其中选择不止一个计算并且基于选择的准则来选择来自所述计算之一的解。

EEE53.根据列举的示例实施例47所述的方法，其中基于关于先前帧的信息来选择计算。

EEE54.一种用于在视频信号的从一个场景到下一个场景的转变中检测淡入淡出的方法，所述方法包括下面的步骤：

步骤A：提供来自所述视频信号的多个帧；

步骤B：选择所述多个帧的当前帧；

步骤C：基于所述当前帧之前的帧和所述当前帧之后的帧的一个或多个颜色空间分量的帧值来计算所述当前帧的一个或多个颜色空间分量的属性集合；

步骤D：基于所述当前帧之前的在前帧之前的帧和所述在前帧之后的帧的一个或多个颜色分量的帧值来计算对于所述在前帧的一个或多个颜色空间分量的属性集合；以及

步骤E：将所述当前帧的一个或多个颜色空间参数的属性集合与所述在前帧的一个或多个颜色空间参数的属性集合进行比较，以确定所述当前帧是否是具有增加或减小的帧值的淡入淡出的结束帧，或确定所述当前帧之前的帧是否是具有增加或减小的帧值的淡入淡出的开始帧。

EEE55.根据列举的示例实施例54所述的方法，其中帧m指代所述多个帧中的所选择的帧，帧m-1指代所述多个帧中的在帧m之前的帧，帧m-2指代所述多个帧中的在帧m-1之前的帧，帧m+1指代所述多个帧中的帧m之后的帧以及帧m+2指代所述多个帧中的在帧m+1之后的帧，并且其中计算一个或多个颜色分量的属性集合包括计算下面的属性：

属性A，其中帧m的属性A帧值等于帧m+1和帧m-1的帧值的平均；

属性B，其中帧m的属性B帧值等于帧m+1的帧值的两倍减去帧m+2的帧值；

属性C，其中帧m的属性C帧值等于属性C被除数除以属性C除数，其中所述属性C被除数等于帧m-1的帧值的两倍加上帧m+2的帧值，并且属性C除数是3；

属性D，其中帧m的属性D帧值等于帧m-1的帧值的两倍减去帧m-2的帧值；以及

属性E，其中帧m的属性E帧值等于属性E被除数除以属性E除数，其中，属性E被除数等于帧m+1的帧值的两倍加上帧m-2的帧值，并且属性E除数是3。

EEE56.根据列举的示例实施例54所述的方法，其中所述将所述当前帧的一个或多个颜色空间参数的属性集合与所述在前帧的一个或多个颜色空间参数的属性集合进行比较包括测试以下条件中的至少一个条件：

条件1，如果所述当前帧的所述属性C帧值大于所述当前帧的所述属性A帧值，并且所述当前帧的所述属性A帧值大于所述当前帧的所述属性B帧值，并且所述在前帧的所述属性C帧值大于所述在前帧的所述属性A帧值，并且所述在前帧的所述属性A帧值大于所述在前帧的所述属性B帧值，则条件1满足；

条件2，如果所述当前帧的所述属性C帧值小于所述当前帧的所述属性A帧值，并且所述当前帧的所述属性A帧值小于所述当前帧的所述属性B帧值，并且所述在前帧的所述属性C帧值小于所述在前帧的所述属性A帧值，并且所述在前帧的所述属性A帧值小于所述在前帧的所述属性B帧值，则条件2满足；

条件3，如果所述在前帧的所述属性E帧值大于所述在前帧的所述属性A帧值，并且所述在前帧的所述属性A帧值大于所述在前帧的所述属性D帧值，并且所述当前帧的所述属性E帧值大于所述当前帧的所述属性A帧值，并且所述当前帧的所述属性A帧值大于所述当前帧的所述属性D帧值，则条件3满足；以及

条件4，如果所述在前帧的所述属性E帧值小于所述在前帧的所述属性A帧值，并且所述在前帧的所述属性A帧值小于所述在前帧的所述属性D帧值，并且所述当前帧的所述属性E帧值小于所述当前帧的所述属性A帧值，并且所述当前帧的所述属性A帧值小于所述当前帧的所述属性D帧值，则条件4满足；

以及其中：

如果条件1满足，将所述当前帧指定为具有减小的帧值的淡入淡出的结束帧；

如果条件2满足，将所述当前帧指定为具有增加的帧值的淡入淡出的结束帧；

如果条件3满足，将紧邻的所述在前帧指定为具有增加的帧值的淡入淡出的开始帧；以及

如果条件4满足，将紧邻的所述在前帧指定为具有减小的帧值的淡入淡出的开始帧。

EEE57.根据列举的示例实施例49所述的方法，还包括：

从所述多个帧选择另一个帧；

将所选择的帧指定为所述当前帧；

重复步骤C到步骤E；

比较来自步骤E对于在前的当前帧的结果和对于现在的当前帧的结果以确定结果是否兼容；以及

基于一个或多个帧值来确定淡入淡出是淡入还是淡出或是交叉淡入淡出。

EEE58.根据列举的示例实施例55所述的方法，其中帧的所述帧值包括对于一个或多个颜色空间分量的整个帧的DC值。

EEE59.根据列举的示例实施例55所述的方法，其中帧的所述帧值包括对于一个或多个颜色空间分量的帧的指定的一个或多个部分的DC值。

EEE60.根据列举的示例实施例55所述的方法，其中帧的所述帧值包括对于一个或多个颜色空间分量的帧的直方图。

EEE61.根据列举的示例实施例55所述的方法，其中帧的所述帧值包括对于一个或多个颜色空间分量的帧的指定的一个或多个部分的直方图。

EEE62.根据列举的示例实施例55所述的方法，其中帧m-1紧邻在帧m之前，帧m-2紧邻在帧m-1之前，帧m+1紧接着帧m以及帧m+2紧接着帧m+1。

EEE63.根据列举的示例实施例55所述的方法，其中帧m-1指代时间上在帧m之前的任何帧，帧m-2指代时间上在帧m-1之前的任何帧，帧m+1指代时间上接着帧m的任何帧以及帧m+2指代时间上接着帧m+1的任何帧。

EEE64.根据列举的示例实施例63所述的方法，其中帧m-1、m-2、m+1、m+2中任何一个在时间上的选择是可变的。

EEE65.根据列举的示例实施例64所述的方法，其中时间上的选择取决于帧内容而变化。

EEE66.根据列举的示例实施例54所述的方法，其中所述颜色空间分量包括与强度有关的分量和与颜色有关的分量，并且所述属性集合仅针对每个帧的亮度分量来计算。

EEE67.根据列举的示例实施例66所述的方法，其中所述与强度有关的分量包括一个或多个亮度值。

EEE68.根据列举的示例实施例66所述的方法，其中所述与颜色有关的分量包括一个或多个色度值。

EEE69.根据列举的示例实施例54所述的方法，还包括针对所有的颜色空间分量进行步骤C、D和E。

EEE70.根据列举的示例实施例54所述的方法，还包括针对颜色空间分量的第一选择集合进行步骤C、D和E，并且如果基于仅测试所述颜色空间分量的第一选择集合确定淡入淡出条件，则在步骤E之后终止。

EEE71.一种用于检测交叉淡入淡出的方法，包括：

提供视频序列的多个帧和有关的双向预测参考帧；以及

基于针对当前帧和有关的双向预测参考帧的第一颜色域的颜色空间分量计算的平均增益和针对当前帧和有关的双向预测参考帧的第二颜色域的颜色空间分量计算的平均增益来确定是否存在交叉淡入淡出，

其中，如果所有条件1至6都满足，则确定存在交叉淡入淡出。

EEE72.根据列举的示例实施例71所述的方法，其中确定是否存在交叉淡入淡出包括：

计算所述当前帧的所述第一颜色域的颜色空间分量的平均值和所述有关的双向预测参考帧的所述第一颜色域的颜色空间分量的平均值；

计算当前帧的所述第二颜色域的颜色空间分量的平均值和所述有关的双向预测参考帧的所述第二颜色域的颜色空间分量的平均值；

确定是否满足条件1至条件6中的每一个条件：

条件1：如果所述第一颜色空间域的每个双向预测参考帧的平均增益加起来等于1或接近1；

条件2：如果所述第二颜色空间域的每个双向预测参考帧的平均增益加起来等于1或接近1；

条件3：如果所述第一颜色空间域的每个双向预测参考帧的平均增益的大小与双向预测参考帧距当前帧的距离成反比；

条件4：如果所述第二颜色空间域的每个双向预测参考帧的平均增益的大小与双向预测参考帧距当前帧的距离成反比；

条件5：如果所述第一颜色空间域的平均增益在所述第一颜色空间域中提供了正确的交叉淡入淡出模型；

条件6：如果所述第二颜色空间域的平均增益在所述第二颜色空间域中提供了正确的交叉淡入淡出模型。

EEE73.根据列举的示例实施例72所述的方法，其中所述第一颜色空间域是RGB域并且所述第二颜色空间域是YCbCr域，并且其中确定是否满足条件5和条件6包括确定是否满足下面的等式：

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=w_1\&times;\left[\begin{array}{c}{R}_1\\ G_1\\ B_1\end{array}\right]+w_2\&times;\left[\begin{array}{c}{R}_2\\ G_2\\ B_2\end{array}\right]$

$\left[\begin{array}{c}{Y^{\&prime;}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]=w_1\&times;\left[\begin{array}{c}{Y^{\&prime;}}_1\\ {\mathrm{Cb}}_1\\ {\mathrm{Cr}}_1\end{array}\right]+w_2\&times;\left[\begin{array}{c}{Y^{\&prime;}}_2\\ {\mathrm{Cb}}_2\\ {\mathrm{Cr}}_2\end{array}\right]$

其中

$\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]$ 指代所述当前帧在RGB域中的向量，

$\left[\begin{array}{c}{R}_1\\ G_1\\ B_1\end{array}\right]$ 和 $\left[\begin{array}{c}{R}_2\\ G_2\\ B_2\end{array}\right]$ 指代所述双向参考帧在RGB域中的向量，

$\left[\begin{array}{c}{Y^{\&prime;}}_m\\ {\mathrm{Cb}}_m\\ {\mathrm{Cr}}_m\end{array}\right]$ 指代所述当前帧在YCbCr域中的向量，

$\left[\begin{array}{c}{Y^{\&prime;}}_1\\ {\mathrm{Cb}}_1\\ {\mathrm{Cr}}_1\end{array}\right]$ 和 $\left[\begin{array}{c}{Y^{\&prime;}}_2\\ {\mathrm{Cb}}_2\\ {\mathrm{Cr}}_2\end{array}\right]$ 指代所述双向参考帧在YCbCr域中的向量，

w₁和w₂指代所述平均增益。

EEE74.根据列举的示例实施例71所述的方法，所述方法还包括如果存在交叉淡入淡出，则将色度分量增益设置成等于亮度分量增益。

EEE75.一种用于在存在淡入淡出条件的情况下确定加权参数的方法，所述方法包括以下步骤：

步骤A：提供画面的多个帧和有关的预测参考帧；

步骤B：选择颜色分量；

步骤C：对于每个帧和有关的预测参考帧，确定所述帧和所述帧的有关的预测参考帧内所选择的颜色分量的饱和分区；

步骤D：对于每个帧和有关的预测参考帧，确定两个帧是否共享具有所选择的颜色分量的饱和值的大范围，如果没有共享的具有饱和值的大范围，则去往步骤H；

步骤E：对于每个帧和有关的预测参考帧，确定所述帧和所述帧的有关的预测参考帧内的不饱和分区；

步骤F：对于每个帧和有关的预测参考帧，确定两个帧是否共享具有所选择的颜色分量的不饱和值的大范围，如果没有共享的具有不饱和值的大范围，则去往步骤H；

步骤G：对于每个帧和有关的预测帧，基于所共享的并且可选地标准化到相同的像素计数的、具有不饱和值的大范围来计算加权预测增益和因子；以及

步骤H：对于每个帧和有关的预测参考帧，基于整个帧来计算加权预测增益。

EEE76.根据列举的示例实施例75所述的方法，还包括选择另一个颜色分量并且对于所选择的颜色分量重复步骤C到步骤H。

EEE77.根据列举的示例实施例75所述的方法，其中基于先前帧的加权预测增益和因子来计算加权预测增益和因子。

EEE78.根据列举的示例实施例75所述的方法，其中对每个帧和有关的预测帧进行分割，并且对每个帧和有关的预测帧的一个或多个分段进行步骤A到步骤H，并且针对每个分段计算加权预测增益和因子。

EEE79.根据列举的示例实施例78所述的方法，其中运动补偿跟踪从一个帧到另一个帧的分段。

EEE80.一种用于在淡入淡出条件存在的情况下确定加权参数的方法，所述方法包括以下步骤：

步骤A：提供画面的多个帧和包含颜色样本数据的有关的预测参考帧；

步骤B：选择颜色分量；

步骤C：对于每个帧，基于对于所述颜色样本数据的选择的颜色域来设置所选择的颜色分量的当前最低饱和值和当前最高饱和值；

步骤D：对于每个有关的预测参考帧，基于对于所述颜色样本数据所选择的颜色域来设置所选择的颜色分量的当前参考最低饱和值和当前参考最高饱和值；

步骤E：对于每个帧和有关的预测参考帧，基于所述当前最低饱和值、所述当前最高饱和值、所述当前参考最低饱和值和所述当前参考最高饱和值来估计加权预测参数。

步骤F：对于每个有关的预测参考帧，基于所估计的加权预测参数来计算更新的当前参考最低饱和值和更新的当前参考最高饱和值；

步骤G：将所述当前参考最低饱和值设置成等于更新的当前参考最低饱和值，并且将所述当前参考最高饱和值设置成等于所述更新的当前参考最高饱和值；以及

步骤H：如果本次迭代的加权预测参数与紧在前的迭代的加权预测参数相差所选择的值，或迭代的数量大于所选择的迭代计数，则对于后续的迭代重复步骤D到步骤G。

EEE81.根据列举的示例实施例80所述的方法，其中对于迭代t的所述加权预测参数包括加权增益w_t和因子f_t，并且根据下面的公式来计算所述更新的当前参考最低饱和值和所述更新的当前参考最高饱和值：

$l_{s,t+1}^{n+k}=\frac{l_{s,O}^n-f_t}{w_t}+1$

$h_{s,t+1}^{n+k}=\frac{h_{s,O}^n-f_t}{w_t}-1$

其中

是所述当前最低饱和值，

是所述当前最高饱和值，

是所述更新的当前参考最低饱和值以及是所述更新的当前参考最高饱和值。

EEE82.根据列举的示例实施例81所述的方法，在估计加权预测参数之前还计算所述帧和所述有关的预测参考帧的直方图，其中所述加权预测参数的估计基于所计算的直方图。

EEE83.根据列举的示例实施例81所述的方法，还包括选择另一个颜色分量并且对所选择的颜色分量重复步骤C到步骤H。

EEE84.根据列举的示例实施例81所述的方法，其中基于对紧在前的迭代所估计的加权预测参数来估计加权预测参数。

EEE85.根据列举的示例实施例80所述的方法，其中对每个帧和有关的预测帧进行分割并且对每个帧和有关的预测参考帧的一个或多个分段进行步骤C到步骤H。

EEE86.根据列举的示例实施例84所述的方法，其中所述基于所估计的加权预测参数计算更新的当前参考最低饱和值和更新的当前参考最高饱和值包括计算更新的当前参考最低饱和值和更新的当前参考最高饱和值以提供：没有像素值被饱和或限幅作为加权预测的结果。

EEE87.根据列举的示例实施例84所述的方法，其中所述选择的颜色域包括初始的颜色空间。

EEE88.根据列举的示例实施例84所述的方法，其中所述选择的颜色域包括根据从第一颜色域的转换导出的第二颜色域，并且其中所述估计的加权预测参数包括所述第一颜色域中的加权预测参数。

EEE89.根据列举的示例实施例84所述的方法，其中根据从第一颜色域的转换导出多个颜色域，并且所述选择的颜色域包括选择所述多个颜色域中的每一个，并且其中所估计的加权预测参数基于所述选择的颜色域的每一个颜色域。

EEE90.一种用于对视频信号的从一个画面到下一个画面的淡入淡出转变中的加权预测增益和偏移进行估计的方法，所述方法包括：

提供来自所述视频信号内的画面的当前帧和有关的预测参考帧；

对于每个当前帧和有关的预测参考帧，计算颜色域中的颜色分量值，其中A_m指代所述当前帧的第一颜色分量，B_m指代所述当前帧的第二颜色分量，C_m指代所述当前帧的第三颜色分量，并且其中A_m+1指代所述有关的预测参考帧的第一颜色分量，B_m+1指定所述有关的预测参考帧的第二颜色分量，C_m+1指代所述有关的预测参考帧的第三颜色分量；

对于所有的颜色分量将加权预测增益设置成相等，其中w指代对于所有分量的等值加权预测增益；

将所述颜色分量中的两个颜色分量的加权预测偏移设置成彼此相等，其中f_A指代所述第一颜色分量的偏移以及f_C指代所述颜色分量中的两个颜色分量的等值加权预测偏移；

对关于加权预测增益w和加权预测偏移f_A和f_C的下面的公式进行求解：

$\left[\begin{array}{c}{A}_m\\ B_m\\ C_m\end{array}\right]=w\&times;\left[\begin{array}{c}{A}_{m+k}\\ C_{m+k}\\ C_{m+k}\end{array}\right]+\left[\begin{array}{c}{f}_A\\ f_C\\ f_C\end{array}\right]$

EEE91.根据列举的示例实施例90所述的方法，其中所述颜色域是YCbCr域，并且被设置成彼此相等的所述颜色分量中的两个颜色分量的所述加权预测偏移包括色度颜色分量的加权预测偏移。

EEE92.根据列举的示例实施例90所述的方法，其中对于所述当前帧和所述有关的预测参考帧的一个或多个分段来计算颜色分量值。

EEE93.一种用于对视频信号的从一个画面到下一个画面的淡入淡出转变中的加权预测增益和偏移进行估计的方法，所述方法包括：

提供来自所述视频信号内的画面的当前帧和有关的预测参考帧；

对于每个当前帧和有关的预测参考帧，计算颜色域中的颜色分量值，其中A_m指代所述当前帧的第一颜色分量，B_m指代所述当前帧的第二颜色分量，C_m指代所述当前帧的第三颜色分量，并且其中A_m+1指代所述有关的预测参考帧的第一颜色分量，B_m+1指代所述有关的预测参考帧的第二颜色分量，C_m+1指代所述有关的预测参考帧的第三颜色分量；

对于所有的颜色分量将加权预测偏移设置成相等，其中f指代对于所有颜色分量的等值加权预测偏移；

将对于所述颜色分量中的两个颜色分量的加权预测增益设置成彼此相等，其中w_A指代所述第一颜色分量的偏移，并且w_C指代所述颜色分量中的两个颜色分量的等值加权预测偏移；

对关于加权预测增益w_A和w_C以及加权预测偏移f的下面的公式进行求解：

$\left[\begin{array}{c}{A}_m\\ B_m\\ C_m\end{array}\right]=\left[\begin{array}{c}w\&times;A_{m+k}\\ w\&times;B_{m+k}\\ w\&times;C_{m+k}\end{array}\right]+\left[\begin{array}{c}f\\ f\\ f\end{array}\right]$

EEE94.根据列举的示例实施例93所述的方法，其中所述颜色域是RGB域，并且被设置成彼此相等的所述颜色分量中的两个颜色分量的所述加权预测增益包括绿色分量和蓝色分量的加权预测偏移。

EEE95.根据列举的示例实施例93所述的方法，其中所述颜色域是RGB域，并且被设置成彼此相等的所述颜色分量中的两个颜色分量的所述加权预测增益包括红色分量和蓝色分量的加权预测偏移。

EEE96.根据列举的示例实施例93所述的方法，其中对于所述当前帧和所述有关的预测参考帧的一个或多个分段来计算颜色分量值。

EEE97.一种用于将加权预测参数从第一颜色域转换到第二颜色域的方法，其中从所述第一颜色域到所述第二颜色域的转换是非线性的，所述方法包括：

基于从所述第一颜色域到所述第二颜色域的转换表达式来计算一个或多个帧在所述第二颜色域中的第二颜色域加权预测参数。

EEE98.根据列举的示例实施例97所述的方法，其中加权预测参数的转换发生在存在图像转变的情况下。

EEE99.根据列举的示例实施例97所述的方法，其中从所述第一颜色域到所述第二颜色域的所述转换表达式包括指数转换，所述方法还包括：

计算一个或多个帧的在所述第一颜色域中的第一颜色域加权预测参数以获得第一颜色域增益值，以及

其中计算第二颜色域加权预测参数包括计算等于被提升到所述指数转换中的指数的幂的所述第一颜色域增益值的第二颜色域增益值。

EEE100.根据列举的示例实施例99所述的方法，其中加权预测参数的转换出现在存在图像淡入淡出的情况下。

EEE101.根据列举的示例实施例99所述的方法，其中所述指数转换包括伽马校正，其中γ指代所述指数，所述第一颜色域值被指代为w，所述第二颜色域值等于w^γ。

EEE102.根据列举的示例实施例97所述的方法，其中从所述第一颜色域到所述第二颜色域的所述转换表达式包括对数空间转换表达式，并且所述图像转变包括淡入淡出，所述方法还包括：

计算一个或多个帧的在所述第一颜色域中的第一颜色域加权预测参数以获得第一颜色域增益值，

并且其中计算第二颜色域加权预测参数包括计算等于所述第一颜色域增益值的对数的第二颜色域偏移值。

EEE103.根据列举的示例实施例98所述的方法，其中从所述第一颜色域到所述第二颜色域的所述转换表达式包括指数转换，并且所述图像转变包括淡入淡出，并且其中计算第二颜色域加权预测参数包括计算不等于1的第二颜色域增益值和等于零的第二颜色域偏移。

EEE104.根据列举的示例实施例98所述的方法，其中从所述第一颜色域到所述第二颜色域的所述转换表达式包括对数空间转换表达式，并且所述图像转变包括淡入淡出，并且其中计算第二颜色域加权预测参数包括计算等于1的第二颜色域增益值和不为零的第二颜色域偏移值。

EEE105.根据列举的示例实施例97所述的方法，其中所述图像转变包括交叉淡入淡出并且从所述第一颜色域到所述第二颜色域的所述转换表达式包括指数转换，并且所述方法还包括：

计算第一颜色域加权预测参数，所述第一颜色域加权预测参数包括第一参考帧的第一参考增益值和第二参考帧的第二参考增益值，以及

其中计算第二颜色域加权预测参数包括：基于所述第一参考增益值和所述第二参考增益值来计算第二颜色域增益值。

EEE106.根据列举的示例实施例105所述的方法，其中计算第二颜色域加权预测参数包括：基于所述第一参考增益值、一个或多个参考帧值、所述第二参考增益值和一个或多个第二参考帧值来求解两个二项式展开式。EEE107.根据列举的示例实施例97所述的方法，其中所述图像转变包括交叉淡入淡出，并且从所述第一颜色域到所述第二颜色域的所述转换表达式包括对数空间转换，所述方法还包括：

计算第一颜色域加权预测参数，所述第一颜色域加权预测参数包括第一参考帧的第一参考增益值和第二参考帧的第二参考增益值；以及

其中计算第二颜色域加权预测参数包括：基于所述第一参考帧增益值和所述第二参考增益值来计算第二颜色域增益值。

EEE108.根据列举的示例实施例107，其中将所述第二颜色域加权参数中的偏移设置成等于所述第一参考增益值和所述第二参考增益值的对数。

EEE109.根据列举的示例实施例97所述的方法，还包括：

使用所述第一颜色域将内容压缩到第一层中，以及

使用所述第二颜色域将内容压缩到第二层中，

从而将针对所述第一层计算的加权预测参数转换成所述第二层的加权预测参数。

EEE110.根据列举的示例实施例109所述的方法，其中所述第一层包括基本层，所述第二层包括增强层。

EEE111.根据列举的示例实施例110所述的方法，其中将所述第一层的加权预测参数传输到所述第二层的解码器或编码器。

EEE112.一种根据在列举的示例实施例1到111中的一项或多项所述的方法来对视频信号进行编码的编码器。

EEE113.一种根据在列举的示例实施例1到111中的一项或多项所述的方法来对视频信号进行编码的装置。

EEE114.一种根据在列举的示例实施例1到111中的一项或多项所述的方法来对视频信号进行编码的系统。

EEE115.一种根据在列举的示例实施例1到111中的一项或多项所述的方法来对视频信号进行解码的解码器。

EEE116.根据列举的示例实施例115所述的解码器，其中加权预测参数不用传递到解码器，并且其中根据发送到所述解码器的画面信息来导出加权预测参数。

EEE117.一种根据在列举的示例实施例1到111中的一项或多项所述的方法来对视频信号进行解码的装置。

EEE118.根据列举的示例实施例117所述的装置，其中加权预测参数不用传递到所述装置，并且其中根据发送到所述装置的画面信息来导出所述加权预测参数。

EEE119.一种根据在列举的示例实施例1到111中的一项或多项所述的方法来对视频信号进行解码的系统。

EEE120.根据列举的示例实施例119所述的系统，其中加权预测参数不用传递到所述系统，并且其中根据发送到所述系统的画面信息来导出所述加权预测参数。

EEE121.一种包括指令集的计算机可读存储介质，所述指令集使得计算机执行在列举的示例实施例1到111中的一项或多项所述的方法。

EEE122.列举的示例实施例1到111中的一项或多项所述的方法的对视频信号进行编码的用途。

EEE123.列举的示例实施例1到111中的一项或多项所述的方法的对视频信号进行解码的用途。

EEE124.一种包括指令集的计算机可读存储介质，所述指令集使得、控制、编程或配置一个或多个计算机或集成电路（IC）器件来执行列举的示例实施例1到111中的一项或多项所述的方法。

EEE125.一种被配置、编程、控制或设计成执行按照列举的示例实施例1到111中的一项或多项所述的处理的集成电路器件。

应当理解，本公开内容不限于具体的方法或系统，其当然可以变化。还应当理解，本文所使用的术语是仅出于描述具体的实施例的目的，而不意图是限制性的。如在本说明书和所附权利要求中所使用的，单数形式“一个（a）”、“一个（an）”、和“该（the）”包括多个所指对象，除非内容明确地指出别的情况。除非另外指出，否则本文所使用的所有技术术语和科学术语的含义与本公开内容所属领域内的普通技术人员之一所通常的理解的含义相同。

提供上面所提出的示例以给本领域普通技术人员提供对如何做出和使用本公开内容的针对采样和复用的图像及视频数据的增强方法的实施例的完整公开与描述，并且上面所提出的示例无意限制发明人对他们的公开内容的看法的范围。视频领域的技术人员可以使用用于执行所述公开内容的上述模式的修改，并且上述模式的修改将落入权利要求的范围内。

已经描述了本公开内容的许多实施例。尽管如此，也应当注意，在不背离本公开内容的精神和范围的情况下可以做出各种修改。从而，其他实施例也在接着下面的参考文献列表的权利要求的范围内。

参考文献列表

[1]Ford and A.Roberts,"Color Space Conversions",

http://www.poynton.com/PDFs/coloureq.pdf.

[2]K.Kamikura,H.Watanabe,H.Jozawa,H.Kotera,and S.Ichinose,"Global Brightness-Variation Compensation for Video Coding,"IEEETransactions on Circuits and Systems for Video Technology，vol.8,no.8,Wavelet Applications in Industrial Processing,Dec.1998,pp.988-1000.

[3]Y.Kikuchi and T.Chuj oh,"Interpolation coefficient adaptation inmulti-frame interpolative prediction",Joint Video Team of ISO/IECMPEG and ITU-T VCEG,JVT-C103,Mar.2002.

[4]H.Kato and Y.Nakajima,"Weighting factor determination algorithmfor H.264/MPEG-4AVC weighted prediction,"Proc.IEEE6th Workshopon Multimedia Signal Proc,Siena,Italy，Oct.2004.

[5]J.M.Boyce,"Weighted prediction in the H.264/MPEG-4AVC videocoding standard,"Proc.IEEE International Symposium on Circuits andSystems,Vancouver，Canada,May2004,vol.3,pp.789-792.

[6]P.Yin,A.M.Tourapis,and J.M.Boyce,"Localized weightedprediction for video coding,"Proc.IEEE International Symposium onCircuits and Systems,May2005,vol.5,pp.4365-4368.

此外，在本说明书中提及的所有专利和出版物表明本公开内容所属领域的技术人员的水平。在本公开内容中所引用的所有参考文献通过引用而合并，如同将每个参考文献的全部内容单独地通过引用而合并。

Claims (32)

1.一种用于在视频信号的从一个画面到下一个画面的转变中检测淡入淡出和确定所述淡入淡出的全局或局部性质的方法，所述方法包括：

提供画面的多个帧和有关的预测参考帧；

对于每个帧和有关的预测参考帧，计算第一颜色域中的一个或多个与强度有关的值和一个或多个与颜色有关的值；

对于每个帧和有关的预测参考帧，计算所述第一颜色域中的每个分量值的加权预测增益；

如果所述加权预测增益是全为非负并且彼此基本上相似，则确定具有零偏移的全局转变主要发生在第二颜色域中；以及

如果所述加权预测增益不是全为非负并且彼此基本上相似，则确定以下各项中的至少一项不发生：全局淡入淡出转变；具有零偏移的全局淡入淡出转变；或在所述第二颜色域中具有零偏移的全局淡入淡出转变。

2.根据权利要求1所述的方法，其中所述与强度有关的值包括一个或多个亮度值。

3.根据权利要求1所述的方法，其中所述与颜色有关的值包括一个或多个色度值。

4.根据权利要求1所述的方法，其中所述第一颜色域包括YCbCr域，并且使用包括以下项的值来计算所述加权预测增益：

帧和所述帧的预测参考帧的亮度分量；

所述帧的色度分量值；

所述帧的所述预测参考帧的色度分量值，以及

颜色格式转换偏移值。

5.根据权利要求1所述的方法，其中所述与强度有关的颜色值和所述与颜色有关的值包括平均的与强度有关的值和与颜色有关的值。

6.根据权利要求1所述的方法，其中所述与强度有关的值和所述与颜色有关的值是根据直方图信息来计算的。

7.根据权利要求1所述的方法，其中所述多个帧包括帧序列的一部分。

8.根据权利要求1所述的方法，其中所述多个帧包括被指示具有光照变化的一组帧的一部分。

9.根据权利要求1所述的方法，其中限定从所述第一颜色域到所述第二颜色域的转变的颜色空间矩阵是线性的。

10.根据权利要求1所述的方法，其中如果所述加权预测增益在彼此的5%到10%以内，则所述加权预测增益基本上相似。

11.根据权利要求1所述的方法，还包括：

用对数换算所述加权预测增益，使所述加权预测增益具有0到1之间的值，并且通过计算所述加权预测增益值之间的差是否小于0.1来确定所述增益是否基本上相似。

12.一种用于在视频信号的从一个画面到下一个画面的转变中检测淡入淡出和确定所述淡入淡出的全局或局部性质的方法，所述方法包括：

提供画面的多个帧和有关的预测参考帧；

对于每个帧和有关的预测参考帧，计算第一颜色域中的与强度有关的值和与颜色有关的值；

对于每个帧和有关的预测参考帧，计算与强度有关的加权预测参数；

对于每个帧和有关的预测参考帧，根据所计算的与强度有关的值和与颜色有关的值以及所计算的与强度有关的加权预测参数来计算加权预测增益；

如果所述加权预测增益是全为非负并且彼此基本上相似，则确定具有零偏移的全局转变主要发生在第二颜色域中；以及

如果所述加权预测增益不是全为非负并且彼此基本上相似，则测试是否发生局部转变。

13.一种用于对视频信号的从一个画面到下一个画面的转变中的淡入淡出的全局或局部性质进行确定的方法，所述方法包括：

提供所述画面的多个帧和有关的预测参考帧；

对于每个帧和有关的预测参考帧，计算第一颜色域中的与强度有关的值和与颜色有关的值；

对于每个帧和有关的预测参考帧，计算对于所述第一颜色域中的每个与强度有关的值和与颜色有关的值的加权预测增益；

对于每个帧和有关的预测参考帧，将所述加权预测增益彼此进行比较；

如果所述加权预测增益是全为非负并且彼此基本上相似，则确定所述淡入淡出是全局的；以及

如果所述加权预测增益不是全为非负并且彼此基本上相似，则确定所述淡入淡出是局部的。

14.一种用于对视频信号的从一个画面到下一个画面的转换中的淡入淡出的全局或局部性质进行确定的方法，所述方法包括：

提供所述画面的多个帧和有关的预测参考帧；

对于每个帧和有关的预测参考帧，计算第一颜色域中的与强度有关的值和与颜色有关的值；

对于每个帧和有关的预测参考帧，计算对于所述第一颜色域中的每个与强度有关的值和与颜色有关的值的加权预测增益；

对于每个帧和有关的预测参考帧，将所述加权预测增益彼此进行比较；

如果所述加权预测增益是全为非负并且彼此基本上相似，则确定所述淡入淡出是全局的；以及

如果所述加权预测增益不是全为非负并且彼此基本上相似，则确定所述淡入淡出是局部的。

15.一种用于在发生图像转变时根据关于颜色空间转换的信息和第一颜色分量加权预测参数来计算第二颜色分量加权预测参数和第三颜色分量加权预测参数的方法，所述方法包括：

计算第一颜色分量加权预测增益和偏移；以及

基于所计算的所述第一颜色分量加权预测增益和偏移的值，根据颜色转换偏移、颜色转换矩阵的系数和所述第一颜色分量加权预测增益和偏移来计算所述第二颜色分量加权预测增益和偏移以及第三颜色分量加权预测增益和偏移。

16.一种用于在发生图像闪光时根据与强度有关的参数和关于颜色空间转换的信息来计算与颜色有关的参数的方法，所述方法包括：

计算与强度有关的增益和偏移；

如果与强度有关的增益不为1并且与强度有关的偏移为非零，则将与颜色有关的增益设置成等于与强度有关的增益，并且根据颜色格式转化偏移、与强度有关的增益、与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移；

如果与强度有关的增益不为1并且与强度有关的偏移为零，则将与颜色有关的增益设置成等于所述与强度有关的增益，并且根据颜色格式转换偏移、与强度有关的增益和颜色转换矩阵的系数来计算与颜色有关的偏移，以及

如果与强度有关的增益为1或接近1，则将与颜色有关的增益设置成等于1，并且根据与强度有关的偏移和颜色转换矩阵的系数来计算与颜色有关的偏移。

17.一种用于在视频信号的从一个场景到下一个场景的转变中检测淡入淡出的方法，所述方法包括以下步骤：

步骤A：提供来自所述视频信号的多个帧；

步骤B：选择所述多个帧的当前帧；

步骤C：基于在所述当前帧之前的帧和接着所述当前帧的帧的一个或多个颜色分量的帧值来计算所述当前帧的一个或多个颜色空间分量的属性集合；

步骤D：基于在所述当前帧之前的在前帧之前的帧和所述在前帧之后的帧的一个或多个颜色分量的帧值来计算所述在前帧的一个或多个颜色空间分量的属性集合；以及

步骤E：将所述当前帧的一个或多个颜色空间参数的属性集合与所述在前帧的一个或多个颜色空间参数的属性集合进行比较，以确定所述当前帧是否是具有增加或减小的帧值的淡入淡出的结束帧，或确定在所述当前帧之前的帧是否是具有增加或减小的帧值的淡入淡出的开始帧。

18.一种用于在存在淡入淡出条件的情况下确定加权参数的方法，所述方法包括下面的步骤：

步骤A：提供画面的多个帧和包括颜色样本数据的有关的预测参考帧；

步骤B：选择颜色分量；

步骤C：对于每个帧，基于对于所述颜色样本数据选择的颜色域来设置所选择的颜色分量的当前最低饱和值和当前最高饱和值；

步骤D：对于每个有关的预测参考帧，基于对于所述颜色样本数据所选择的颜色域来设置所选择的颜色分量的当前参考最低饱和值和当前参考最高饱和值；

步骤E：对于每个帧和有关的预测参考帧，基于所述当前最低饱和值、所述当前最高饱和值、所述当前参考最低饱和值和所述当前参考最高饱和值来估计加权预测参数；

步骤F：对于每个有关的预测参考帧，基于所估计的加权预测参数来计算更新的当前参考最低饱和值和更新的当前参考最高饱和值；

步骤G：将所述当前参考最低饱和值设置成等于更新的当前参考最低饱和值，并且将所述当前参考最高饱和值设置成等于所述更新的当前参考最高饱和值；以及

步骤H：如果本次迭代的加权预测参数与紧在前的迭代的加权预测参数相差所选择的值，或者如果迭代的数量大于所选择的迭代计数，则对于后续的迭代重复步骤D到步骤G。

19.一种方法，包括：

基于从第一颜色域到第二颜色域的转换表达式来计算第二域中的一个或多个帧的对于所述第二颜色域的一个或多个加权预测参数；以及

将一个或多个加权预测参数从所述第一颜色域转换到所述第二颜色域，其中从所述第一颜色域到所述第二域的所述转换是非线性的。

20.一种用于根据权利要求1至19中的一项或多项所述的方法来对视频信号进行编码的编码器。

21.一种用于根据权利要求1至19中的一项或多项所述的方法来对视频信号进行编码的装置。

22.一种用于根据权利要求1至19中的一项或多项所述的方法来对视频信号进行编码的系统。

23.一种用于根据权利要求1至19中的一项或多项所述的方法来对视频信号进行解码的解码器。

24.根据权利要求23所述的解码器，其中根据发送到所述解码器的画面信息来导出加权预测参数。

25.一种用于根据权利要求1至19中的一项或多项所述的方法来对视频信号进行解码的装置。

26.根据权利要求25所述的装置，其中根据发送到所述装置的画面信息来导出加权预测参数。

27.一种用于根据权利要求1至19中的一项或多项所述的方法来对视频信号进行解码的系统。

28.根据权利要求27所述的系统，其中根据发送到所述系统的画面信息来导出加权预测参数。

29.一种包括指令集的计算机可读存储介质，所述指令集使得、控制、编程或配置一个或多个计算机或集成电路IC器件来执行权利要求1至19中的一项或多项所述的方法。

30.一种被配置、编程、控制或设计成执行权利要求1至19中的一项或多项所述的处理的集成电路器件。

31.权利要求1至19中的一项或多项所述的方法的对视频信号进行解码的用途。

32.权利要求1至19中的一项或多项所述的方法的对视频信号进行编码的用途。

Images