CN107852513B - 对输入视频序列的像素进行编码 - Google Patents

Abstract

一种对像素进行编码的方法包括：对第一颜色空间中的像素的第二和第三颜色分量值进行编码。获得用于该像素的第二颜色空间中的第一颜色分量值。基于使得基于第二颜色空间中的第一颜色分量值与基于编码的第二和第三颜色分量值导出的第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定第一颜色空间中的第一颜色分量值。然后对第一颜色空间中的第一颜色分量值进行编码。在给定对第二和第三颜色分量进行编码的情况下，由此适配用于对第一颜色分量进行编码的目标值。因此，改进了像素的视觉质量。

Description

对输入视频序列的像素进行编码

技术领域

本实施例一般涉及用于对输入视频序列的像素进行编码的方法、装置和计算机程序。

背景技术

高动态范围（HDR）在过去几年中在TV和多媒体产业内已经变成越来越热的话题。同时，具有显示HDR视频信号能力的屏幕在消费市场上正在涌现。互联网电视（OTT）播放器（诸如Netflix）已经宣布，HDR内容将被递送给端用户。标准化团体正在致力于规定对于HDR的要求。比如，在数字视频广播（DVB）的路线图中，超高清电视(UHDTV)阶段2将包含HDR支持。运动图片专家组（MPEG）当前正致力于开发能够如何压缩HDR视频。

HDR成像是相比标准数字成像允许有更大动态范围光度的摄影术内的一组技术。数字相机中的动态范围通常以f-stop测量，其中1个f-stop是光量的双倍。使用标准动态范围（SDR）的标准液晶显示器（LCD）高清电视（HDTV）能显示小于或等于10个stop。HDR由MPEG定义成具有超过16个f-stop的动态范围。

在视频编码（也称为压缩）期间，luma分量Y’和两个chroma分量Cb’和Cr’通常独立处置，因为它们被标准化成在解码（也被称为解压缩）期间是独立的。然而，在解码之后，重构的luma和chroma分量被转换成红绿蓝RGB颜色。从而，如果在将解码考虑进去之后进行到RGB的转换，则luma和chroma分量不再是独立的。

因此，在编码期间例如chroma分量Cb’或Cr’中的误差将在R、G和B颜色分量中引入误差。具体地说，它可能导致不正确的亮度，这是我们的眼睛所最敏感的。

从而，存在对于在视频序列编码内的改进的需要。

发明内容

一般性目的是提供对输入视频序列的像素的改进编码。

这个目的以及其它目的通过本文公开的实施例得以满足。

实施例的一方面涉及对输入视频序列的像素进行编码的方法。所述方法包括对第一颜色空间中的所述像素的第二颜色分量值和第三颜色分量值进行编码。所述方法还包括获得用于所述像素的第二颜色空间中的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间。所述方法进一步包括：基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定所述第一颜色空间中的所述像素的第一颜色分量值，其中所述测试颜色分量值基于所述编码的第二颜色分量值和所述编码的第三分量值被导出。所述方法此外包括对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

实施例的另一方面涉及用于对输入视频序列的像素进行编码的装置。所述装置配置成对第一颜色空间中的所述像素的第二颜色分量值和第三颜色分量值进行编码。所述装置还配置成获得用于所述像素的第二颜色空间中的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间。所述装置进一步配置成：基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定所述第一颜色空间中的所述像素的第一颜色分量值，其中所述测试颜色分量值基于所述编码的第二颜色分量值和所述编码的第三分量值被导出。所述装置此外配置成对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

实施例的另外方面涉及用于对输入视频序列的像素进行编码的装置。所述装置包括对第一颜色空间中的所述像素的第二颜色分量值和第三颜色分量值进行编码的编码部件。所述装置还包括用于获得用于所述像素的第二颜色空间中的第一颜色分量值的获得部件，其中所述第二颜色空间不同于所述第一颜色空间。所述装置进一步包括：修改部件，其用于基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定所述第一颜色空间中的所述像素的第一颜色分量值，其中所述测试颜色分量值基于所述编码的第二颜色分量值和所述编码的第三分量值被导出。所述装置此外包括用于对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码的编码部件。

实施例的还有的另一方面涉及包括指令的计算机程序，所述指令当由处理器执行时促使处理器：对第一颜色空间中的输入视频序列的像素的第二颜色分量值和第三颜色分量值进行编码。还使所述处理器获得用于所述像素的第二颜色空间中的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间。进一步使所述处理器基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定所述第一颜色空间中的所述像素的第一颜色分量值，其中所述测试颜色分量值基于所述编码的第二颜色分量值和所述编码的第三分量值被导出。此外使所述处理器对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

实施例的相关方面定义包括根据上文的计算机程序的载体。所述载体是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质之一。

实施例的另一方面涉及表示输入视频序列图片的像素的编码版本的信号。编码版本包括根据以上方法或由根据上文的装置进行编码的第一颜色空间中的第一颜色分量值、第二颜色分量值和第三颜色分量值。

实施例通过在对像素的第一颜色分量值进行编码时考虑由编码器在对用于像素的第二和第三颜色分量值进行编码中已经引入的任何误差而提供了对输入视频序列中的像素的改进编码。作为改进编码的结果，可改进视觉质量，诸如在像素亮度中所看到的视觉质量。

附图说明

通过参考结合附图进行的如下描述，可最好地理解实施例连同其另外的目的和优点，附图中：

图1是例证根据实施例对像素进行编码的方法的流程图；

图2是例证图1中的编码步骤S1的实施例的流程图；

图3是例证图1中的获得步骤S2的实施例的流程图；

图4是例证根据实施例的图1中的方法的附加可选步骤的流程图；

图5是例证图1中的编码步骤S4的实施例的流程图；

图6是例证根据另一实施例的图1中的方法的附加可选步骤的流程图；

图7是例证根据另外实施例的图1中的方法的附加可选步骤的流程图；

图8是例证根据还有的另一实施例的图1中的方法的附加可选步骤的流程图；

图9是例证根据实施例对输入视频序列的至少一个样本进行编码的方法的流程图；

图10示意性例证了在编码和解码期间使用不同上采样过滤器的实施例；

图11示意性例证了组织在图片组(GOP)结构中的输入视频序列的图片；

图12是根据实施例的装置的硬件实现的示意性说明；

图13是根据实施例具有处理器和存储器的装置的实现的示意性说明；

图14是根据实施例的用户设备的示意性说明；

图15是根据实施例具有功能模块的装置的实现的示意性说明；

图16示意性例证了在多个网络装置之间实施例的分布式实现；

图17是根据实施例具有一个或更多基于云的网络装置的无线通信系统的示例的示意性说明；

图18例证了导出正确的Y’的实施例；

图19是例证在不同颜色区域中能存在不同线性化的图解；

图20例证了对比度敏感性的Barten曲线；以及

图21例证了Rec 709与BT.2020色域之间的比较。

具体实施方式

在整个附图中，对于类似或对应的元件使用相同的参考数字。

本实施例一般涉及用于对输入视频序列的像素进行编码的方法、装置和计算机程序。

在视频编码中，使用几个不同颜色空间或格式表示颜色值。在此文档中，使用如下术语：

RGB: 线性RGB值，其中每个值与cd/m²（“光子数”）成比例。

XYZ: CIE 1931颜色空间中的线性XYZ值，其中每个值是RGB的线性组合。Y被称为“亮度”，并且很好地反映眼睛感知为明亮度的事物。XYZ空间是重要的，因为它很好地绘制人类视觉系统的颜色感知。在实施例中，是在这个颜色空间中我们想要最小化由压缩或编码引起的误差。

pq(Y)xy: 非线性XYZ值，其最好地对应于人类颜色感知。pq(Y)是非线性表示，其中非线性函数pq(.)已被应用于线性亮度Y。xy是色度的非线性表示，因为它已经通过x=X/(X+Y+Z), y=Y/(X+Y+Z)，对于“明亮度”进行归一化。

pq(Y)u’v’: 颜色的表示，其中pq(Y)含有所有亮度且u’v’含有所有色度。从pq(Y)中，有可能提取Y，并且从Y、u’和v’中，有可能提取XYZ，其能被变换成RGB。

R’G’B’: 非线性RGB值。R’=pq(R), G’=pq(G), B’=pq(B), 其中pq(.)是非线性函数。

Y’Cb’Cr’: 非线性表示，其中每个值是R’、G’和B’的线性组合。Y’被称为“luma”，并且Cb’ 和Cr’被统称为“chroma”。这是为了区分Y’与亮度，因为Y’也含有一些色度，并且Cb’和Cr’也含有一些亮度。Y’Cb’Cr’值是通常由视频编码器编码和压缩的值。在解码之后，它们将被转换成R’G’B’，并且然后转换成能被显示的RGB。

ICtCp:为HDR和广色域（WCG）影像设计的颜色表示并且其打算作为Y’Cb’Cr’的备选。I表示强度，并且是luma信息的表示，而CtCp携带chroma信息。

Yopt’-导出的最佳Y’，使得Y中的误差被最小化。

4:2:0-第二和第三颜色分量（诸如chroma分量）已经通过相比于第一颜色分量（诸如luma分量）的因子2进行水平和垂直下采样。

4:2:2-第二和第三颜色分量（诸如chroma分量）已经通过因子2进行水平或垂直下采样，与第一颜色分量（诸如luma分量）相比。

4:4:4 - 尚未应用下采样，或者已经应用了下采样和随后的上采样，即，所有分量具有相同分辨率。

实施例基于适配用于给定压缩的一个颜色分量的编码或至少一个其它颜色分量的编码的目标值以及在显示之前发生在解压缩或解码视频上的处理。这么做的途径是修改感知上量化的原始第一颜色分量值（诸如在给定重构即下采样、编码、解码和上采样情况下的Y’值）、第二和第三颜色分量值（诸如Cb’Cr’值）以及在显示之前发生在解压缩或解码视频上的处理，使得它更好地对应于原始线性亮度（诸如Y）或原始感知上量化的线性亮度（诸如pq(Y)）。

图1是例证对输入视频序列的像素进行编码的方法的流程图。所述方法包括：在步骤S1中，对第一颜色空间中的所述像素的第二颜色分量值和第三颜色分量值进行编码。所述方法还包括：在步骤S2中，获得用于像素的第二颜色空间中的第一颜色分量值。第二颜色空间不同于第一颜色空间。所述方法然后继续到步骤S3，其包括确定第一颜色空间中的像素的第一颜色分量。在步骤S3中，基于最小化基于第二颜色空间中的第一颜色分量值与第二颜色空间中的测试颜色分量值之间的差计算的误差来确定这个第一颜色分量值。测试颜色分量值基于编码的第二颜色分量值和编码的第三颜色分量值被导出。然后，在步骤S4中，对第一颜色空间中的像素的第一颜色分量值进行编码。

像素的编码表示由此包括来自步骤S4的编码的第一颜色分量值和来自步骤S1的编码的第二和第三颜色分量值。

对于包括多个（即至少两个）图片的输入视频序列的至少一个像素执行在图1示出的方法步骤S1至S4，并且其中每个图片包括多个像素。在优选实施例中，该方法被应用于输入视频序列的图片中的多个像素（诸如被应用于图片中的所有像素），这在图1中通过线L1示意性地进行例证。该方法还可应用于静止图像或图片的像素。

在图1中对像素进行编码的方法由此在步骤S3中适配第一颜色分量值以便基于步骤S1中的第二和第三颜色分量值的编码以及优选地还有在显示之前发生在解码视频上的处理来进行编码。基于对第二颜色空间的第一颜色分量与测试颜色分量的值的比较来确定用于第一颜色空间中的像素的最优第一颜色分量值，第二颜色空间优选是人类视觉系统感知的颜色空间。至少部分通过基于来自步骤S1的编码的第二和第三颜色分量值导出测试颜色分量值，实现了基于编码和解码过程适配最优第一颜色分量值。

图2是例证图1中的编码步骤S1的实施例的流程图。在此实施例中，对于第二颜色分量值和第三颜色分量值中的每个颜色分量值，执行步骤S10至S12。步骤S10包括确定颜色分量值的帧内预测和帧间预测。然后在步骤S11中变换按照颜色分量值与帧内预测或帧间预测之间的差计算的预测误差以形成变换系数。在步骤S12量化来自步骤S11的变换系数。量化的变换系数然后是颜色分量值的编码版本。在可选实施例中，量化的变换系数被输入到编码器（诸如熵编码器）进行编码。所述方法然后继续到图1中的步骤S2。

一般而言，帧内预测涉及基于与当前像素处在相同的图片内的相邻像素的值，找到颜色分量值的帧内（I）预测或空间预测。从而，帧内预测使用来自同一图片内之前已经解码的像素的相邻预测块的数据。

对应地，帧间预测涉及运动补偿，其中基于视频序列的先前解码图片中的像素块中的像素值或基于视频序列的两个先前解码图片中的像素块中的像素值导出当前图片中的像素块中的像素预测。帧间预测也被称为时间预测，并且由此使用来自先前解码参考图片的帧间（P）或双向帧间（B）预测达成。

原始像素数据与预测像素数据之间的差（称为预测误差或残差）被变换到频域中，并使用量化参数（QP）进行量化。

对于帧内预测和帧间预测的更多信息，参考文档[4]中的章节8.4和8.5。文档[4]中的章节8.6包含有关变换预测误差和量化变换系数的更多信息。

步骤S1中的第二和第三颜色分量值的编码能够按照已知视频编码/解码标准来被执行，诸如按照高效率视频编码（HEVC），也称为H.265；H.264/高级视频编码（AVC）；用于HDR或广色域（WCG）视频的视频编码/解码标准等。在后面的情况中，输入视频序列是HDR或WCG视频序列。

图3是例证图1中的步骤S2的实施例的流程图。所述方法从图1中的步骤S1或图2中的步骤S12继续。在此实施例中，在步骤S20中，对所述第一颜色空间中的所述第二颜色分量值和所述第三颜色分量值进行上采样，以获得所述第一颜色空间中的上采样的第二颜色分量值和上采样的第三颜色分量值。所述方法然后继续到步骤S21，其包括将所述第一颜色空间中的所述像素的原始第一颜色分量值和所述第一颜色空间中的所述上采样的第二颜色分量值和所述上采样的第三颜色分量值转换成所述第二颜色空间中的所述第一颜色分量值。所述方法然后继续到图1中的步骤S3。

第二和第三颜色分量优选采用二次采样形式，诸如4:2:0或4:2:2格式。能根据已知上采样技术执行步骤S20中的上采样。比如，能够通过使用双线性或更长过滤器来执行上采样。在文档[5]中的章节B.1.5.6 Chroma upsampling from 4:2:0 to 4:4:4（Y’CbCr域）中公开了根据该实施例能使用的上采样技术的示例。步骤S20中的上采样的结果是以4:4:4格式的上采样第二和第三颜色分量值。

在一实施例中，第二和第三颜色分量是Y’Cb’Cr’颜色空间中的chroma分量Cb’Cr’4:2:0或4:2:2。步骤S20中的上采样由此生成以4:4:4格式的Cb’Cr’分量值。在此实施例中，原始第一颜色分量值是以Y’Cb’Cr’格式的原始Y’值。一般而言，要编码的输入视频序列的像素具有采用4:2:0或4:2:2的原始Y’Cb’Cr’颜色。在此类情况下，原始Y’值是像素的输入luma分量值，其中第二和第三颜色分量值是像素的输入二次采样chroma分量值。Y’ 4:4:4值和Cb’Cr’ 4:4:4值然后被转换成第二颜色空间中的第一颜色分量值。第二颜色空间中的这个第一颜色分量值能够是XYZ颜色空间中的线性亮度值Y，或者是pq(Y)xy颜色空间中的非线性亮度值pq(Y)。另一示例是pq(Y)u’v’颜色空间中的pq(Y)。因此，Y=function(Y’,Cb’,Cr’)或pq(Y)=function(Y’,Cb’,Cr’)。

在第一情况下，即，Y=function( Y’,Cb’,Cr’)，步骤S21中的转换优选包括应用第一颜色变换以获得第三颜色空间中的非线性颜色，优选是RGB颜色空间中的R’G’B’颜色，比如使用等式1。

（等式1）

第一传递函数（诸如附录A中的等式A1中的传递函数）被应用于第三颜色空间中的非线性颜色以获得第三颜色空间中的线性颜色，优选是RGB颜色空间中的RGB颜色。

第二颜色变换然后被应用于第三颜色空间中的线性颜色以获得第二颜色空间中的第一颜色分量，优选是RGB到XYZ颜色变换，参见等式2或3：

（等式2）

（等式3）

实际上，仅需要计算等式2或3中的第二行以便获得XYZ颜色空间中的线性亮度分量值Y，即，在此实施例中是第二颜色空间中的第一颜色分量值。

上面描述的实施例由此能被描述为涉及如下方法步骤：Y’Cb’Cr’ 4:2:0–(上采样)-> Y’Cb’Cr’ 4:4:4–(颜色变换)-> R’G’B’ 4:4:4–(传递函数)-> RGB 4:4:4–(颜色变换)-> XYZ 4:4:4并且然后保留Y，或者如下所示，将Y转换成pq(Y)。

在第二种情况下，即，pq(Y)=function(Y’,Cb’,Cr’)，步骤S21中的转换能够如上所述执行，直到计算XYZ颜色空间中的线性亮度分量值Y。第二传递函数（诸如附录A中的等式A1中的传递函数的逆）然后被应用于线性亮度分量值以获得pq(Y)xy颜色空间中的非线性亮度分量值pq(Y)，即，在此实施例中是第二颜色空间中的第一颜色分量值。

在这些实施例中，第一颜色空间(Y’)中的原始第一颜色分量值优选根据附录A中的Ajusty方法被确定。

在另一实施例中，第二颜色空间中的第一颜色分量值基于第三颜色空间中的像素的线性颜色（诸如RGB 4:4:4颜色）被确定。第三颜色空间中的这个线性颜色在一实施例中是在任何预编码处理之前像素的原始颜色。预编码处理然后涉及将第三颜色空间(RGB 4:4:4)中的线性颜色转换成第一颜色空间（即，Y’Cb’Cr’ 4:2:0）中的第一、第二和第三颜色分量值。如果第三颜色空间中的线性颜色在编码器处可用，则第二颜色空间中的第一颜色分量值能通过应用颜色变换（诸如等式2或3中所示的）从中直接被计算。

这个实施例由此能被描述为涉及如下方法步骤：RGB 4:4:4–(颜色变换)->XYZ 4:4:4并且然后保留Y，或者将Y转换成pq(Y)。

在还有的另一实施例中，编码器有权访问采用未被采样形式（即在进行二次采样之前）的第一颜色空间中的第二和第三颜色分量值。在此类情况下，能根据如下方法步骤从这个Y’Cb’Cr’ 4:4:4颜色中计算第一颜色分量值。

Y’Cb’Cr’ 4:4:4–(颜色变换)-> R’G’B’4:4:4–(传递函数)-> RGB 4:4:4–(颜色变换)->XYZ 4:4:4并且然后保留Y，或者将Y转换成pq(Y)。

上面呈现的获得第二颜色空间中的第一颜色分量值的实施例能作为预先步骤被执行，而并不一定按像素块执行。比如，有可能在开始编码之前确定用于整个图片的第二颜色空间中的第一颜色分量值，或者至少其一部分。

还可以是可能的是，将第二颜色空间中的预先计算的第一颜色分量值作为额外的输入信号发送到编码器。

图4是例证在图1中示出的方法的附加可选步骤的流程图。所述方法从图1中的步骤S1或图3中的步骤S21继续。下一步骤S30包括对所述编码的第二颜色分量值和所述编码的第三颜色分量值进行解码，以获得所述第一颜色空间中的重构的第二颜色分量值和重构的第三颜色分量值。在步骤S31中，然后对重构的第二和第三颜色分量值进行上采样，以获得第一颜色空间中的上采样的重构第二颜色分量值和上采样的重构第三颜色分量值。在此实施例中，在步骤S32中，基于所述第一颜色空间中的测试颜色分量值、所述第一颜色空间中的所述上采样的重构第二颜色分量值和所述上采样的重构第三颜色分量值，导出所述第二颜色空间中的所述测试颜色分量值。所述方法然后继续到图1中的步骤S3。

步骤S30中的解码通常是如在步骤S1中所执行的编码的逆过程。因此，解码可选地包括对经编码的量化变换系数进行解码，诸如使用熵解码器。所得到的解码量化变换系数然后进行逆量化，并且然后进行逆变换，以获得重构残差或预测误差。然后通过向像素的相应帧内预测或帧间预测添加重构残差来获得重构的第二和第三颜色分量值。在文档[4]中，并且具体地说是章节8.4-8.6和9.4.3，能找到解码过程的更多信息。

步骤S30中的解码优选按照可用的视频编码/解码标准（诸如HEVC; H.264/AVC;用于HDR或WCG视频的视频编码/解码标准等）来执行。

步骤S31中的上采样优选类似于图3中的步骤S20中的上采样执行，即，从4:2:0或4:2:2 格式上采样成4:4:4。步骤S31与S20之间的差异是，步骤S20包括原始或输入的第二和第三颜色分量值的上采样，而步骤S31包括在对原始或输入的第二和第三颜色分量值进行编码并且然后解码之后获得的重构的第二和第三以及颜色分量值的上采样。

然后在步骤S32中，基于第一颜色空间（优选是Y’Cb’Cr’颜色空间）中的上采样的重构第二和第三颜色分量值(Cb’Cr’)和测试颜色分量值(Y’_测试)导出第二颜色空间（优选是XYZ或pq(Y)xy颜色空间）中的测试颜色分量值(Y_测试或pq(Y)_测试)。因此，Y_测试 = function(Y’_测试, Cb’, Cr’ ) 或者pq(Y)_测试 = function(Y’_测试, Cb’, Cr’ )。

这个步骤S32优选如先前结合图3中的步骤S21所描述的那样来执行，其中差异是，第一颜色空间中的原始第一颜色分量值由第一颜色空间中的测试颜色分量值替代，第一颜色空间中的上采样的第二和第三颜色分量值由第一颜色空间中的上采样的重构第二和第三颜色分量值替代，并且第二颜色空间中的第一颜色分量值由第二颜色空间中的测试颜色分量值替代。

上面描述的实施例由此能被描述为涉及如下方法步骤：Y’_测试 Cb’Cr’ 4:2:0–(上采样)-> Y’_测试 Cb’Cr’ 4:4:4 –(颜色变换)-> R’G’B’ 4:4:4 –(传递函数)-> RGB 4:4:4–(颜色变换)-> X Y_测试 Z 4:4:4，并且然后保留Y_测试，或者如下所示，将Y_测试转换成pq(Y_测试)。

第二颜色空间中的测试颜色分量值(Y_测试或pq(Y)_测试)如上所述在一实施例中基于第一颜色空间中的上采样的重构第二和第三颜色分量值(Cb’Cr’)被导出。这些上采样的重构第二和第三颜色分量值由此反映并包含在第二和第三颜色分量值的二次采样和/或第二和第三颜色分量值的其它预编码处理和/或第二和第三颜色分量值的编码（图1中的步骤S1）期间和/或在解码之后执行的处理（图4中的步骤S31）期间引入的任何误差。第一颜色空间中的像素的第一颜色分量值(Y’)然后能在图1的步骤S3中被确定，以补偿在编码、解码和后解码处理期间引入的任何误差。因此，由此能够改进视觉质量，诸如通过像素的线性或非线性亮度值Y或pq(Y)来进行评估的视觉质量。

在一实施例中，图1中的步骤S3包括：选择第一颜色空间中的测试颜色分量值，其使得基于第二颜色空间中的第一颜色分量值与基于第一颜色中的测试颜色分量值以及编码的第二和第三颜色分量值导出的第二颜色空间中的测试颜色分量值之间的差来计算的误差最小化。

因此，在一实施例中，第一颜色空间中的多个测试颜色分量值可用并且被测试。在此类情况下，对于第一颜色空间中的多个测试颜色分量值中的每个，导出第二颜色空间中的相应测试颜色分量值，优选如上面结合图4中的步骤S32所描述的那样。然后基于第二颜色空间中的第一颜色分量值（诸如上面结合图3中的步骤S21所描述的那样被导出的）与第二颜色空间中的相应第一颜色分量值的差，对于第一颜色空间中的多个测试颜色分量值中的每个计算相应误差。

然后选择第一颜色空间中的多个测试颜色分量值中间导致最小误差的第一颜色空间中的第一颜色分量值，并将其用作在步骤S3中用于像素的第一颜色空间中的最优第一颜色分量值。然后在图1中的步骤S4中，对这个最优第一颜色分量值进行编码。

第一颜色空间中的最优第一颜色分量值的选择能根据类似于在附录A中所描述的实施例的各种实施例被执行。在这些实施例中，第一颜色空间中的第一颜色分量值是Y’Cb’Cr’颜色空间中的luma或Y’值，并且第二颜色空间中的第一颜色分量值是XYZ颜色空间中的线性亮度或Y值或者是pq(Y)xy颜色空间中的pq(Y)值或非线性亮度。

在一实施例中，能够使用二进制搜索找到Y’Cb’Cr’颜色空间中的最优或最佳Y’值。比如，如果最小Y’值是0且最大Y’值是1023，则首先尝试在Y’值的可用范围的中间的测试Y’值，比如512。如果在步骤S32中基于这个测试Y’值和上采样的重构Cb’Cr’值导出的测试Y或pq(Y)值大于来自步骤S21的原始Y或pq(Y)值，则我们应该继续在间隔[0,512]中进行搜索。如果测试Y或pq(Y)值相反大于原始Y或pq(Y)值，则我们应该在间隔[512,1023]中继续针对最优测试Y’值的搜索。该规程通过计算在选择的间隔中间的新测试Y’值而得以继续，并且继续进行直到测试Y或pq(Y)值等于原始Y或pq(Y)值，或者与原始Y或pq(Y)值相差不超过定义的值，或者间隔包含单个值或两个值，诸如[363,363]或[363,364]。这保证了仅采取log₂(N)个步骤，其中N是可能的测试Y’值的数量，其在此示例中是1024。因此，二进制搜索仅采取log₂ (1024)=10个步骤。

计算最优或最佳Y’值的还有的另一种方式是将步骤S3中的确定看作优化问题，并最小化相对于Y’_测试的误差E=( Y_测试 -Y_o)²或E = (pq(Y_测试)-pq(Y_o))²，其中Y_o指代在图3中的步骤S21中所导出的像素的原始亮度值。这能通过梯度下降、通过计算E相对于Y’_测试的梯度dE/d Y’_测试以及在梯度的相反方向中更新Y’_测试一小量来进行：Y’_{测试, n+1} = Y’_{测试, n} - αdE/dY’_测试 ，其中α是小常数。

梯度下降能够是慢的，因此较快的方式可以是使用二阶优化算法，其计算或近似二阶导数d²E/d Y’_测试 ²，诸如Gauss-Newton。

上面所提到的梯度下降和二阶优化算法全都相当于基于使得基于第二颜色空间中的第一颜色分量值与第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定第一颜色空间中的像素的第一颜色分量值。

也有可能在误差中包含其它成分。比如，误差E能够被定义为E = w₁(pq(Y_测试)-pq(Y_o))² + w₂(x_测试-x_o)² + w₃(y_测试-y_o)₂，其中x_o、y_o与pq(Y_o)一起从XYZ 4:4:4中获得，正如本文先前所描述的那样，并且w1、w2、w3是不同权重。通过分别用Y_测试和Y_o替代pq(Y_测试)和pq(Y_o)也能使用类似途径。

找到最优或最佳Y’值的另一种方式是执行如在附录A中所进一步描述的线性化。在此类途径中，我们令Y=f(Y’)，并且我们想要这个等式的输出值Y匹配最优Y_o。由于Y取决于采用非线性方式的在三个不同位置中的Y’，因此看起来好像没有容易的方式对函数求逆，使得我们能得到Y’= f^-1(Y)。

然而，有可能对非线性传递函数tf(x)~kx+m进行线性化。在所述三个不同位置进行上述操作给出Y ~ k1×Y’+m1+ k2×Y’+m2+k3×Y’+m3，其相当于Y~(k1+k2+k3)×Y’+(m1+m2+m3)。这能够被求逆成Y’~ Y’k =( Y_o–(m1+m2+m3))/(k1+k2+k3)。

从而，有可能Y’k将产生比以前更靠近Y_o的值Y’k。在这个新点Y’k能再次对函数进行线性化，从而得到新值Y’k+1等。

因而，在这个途径中，使用下式能将Y’、Cb’和Cr’转换成R’、G’、B’：

其中a13、a22、a23和a32是正的常数，它们取决于使用哪个颜色空间。对于BT.2020，我们具有a13 = 1.4746, a22 = 0.1646, a23 = 0.5714, 并且a32 = 1.8814。为了便于标示，我们引入更有帮助的变量：

这意味着转换能够替代地被写成：

我们现在能将亮度计算为：

，

其中w_R、w_G和w_B是常数，诸如用于Y的CIE1931 XYZ常数，或者用于BT2020的（类似）常数，比如w_R=0.2627、w_G=0.6780、w_B=0.0593。使用上面的等式，我们能将这个写作：

。

用这个公式，仅允许Y’按像素变化。作为示例，Rt取决于Cr’（其在几个像素之间共享）。从而，我们能将Rt、Gt和Bt视为常数，并且关于luma调整的想法是找到将生成期望亮度Y_o的Y’。要指出，由于在上面的等式的右手边存在三个非线性函数，因此不可能对右手边求逆。因此，我们转而对于红色分量引入

的线性近似。

，

其中R_O’是原始像素的线性分量R_O的变换版本，

。对绿色分量和蓝色分量进行相同处理给出：

。

将每个表达式中的第一项移到左手边，我们得到：

。

但是由于

，因此第一行的负项共计为原始亮度，并且第一行变成0。收集用于Y’的项目现在给出：

并且从而我们能将Y’计算为：

上面描述的实施例指示，线性化过程能用于确定第一颜色空间中像素的第一颜色分量值Y’，并且此类线性化过程相当于基于最小化如前所述的误差来确定Y’。

用来找到最优或最佳Y’值的还有的另一方式是使用查找表（LUT）。如果我们具有Cb’Cr’值和目标Y或pq(Y)值（即Y_o或pq(Y_o)），则有可能使用上面提到的任何迭代技术找到最佳Y’值。因此，有可能对于Cb’Cr’和Y或pq(Y)的每个可能组合创建LUT。比如，假定Cb’和Cr’被量化到10位，并且Y或pq(Y)也被量化成10位。则需要具有2¹⁰×2¹⁰×2¹⁰ = 2³⁰ 个Y’值的LUT。如果每个Y’值采用两个字节，则这意味着2³¹个字节或2Gb。然而，有可能删减LUT，例如通过将Cb’、Cr’和Y_o或pq(Y_o)中的一个或多个舍入到6位或8位。然后，LUT大小将是2¹⁸或2²⁴ 个Y’值或2¹⁹或2²⁵字节，其相当于512k字节或34M字节。

因此，在这些实施例中，最优或最佳Y’值=LUT(Cb’,Cr’, Y_o) 或 LUT(Cb’,Cr’,pq(Y_o))。

图5是例证图1中的步骤S4的实施例的流程图。所述方法从图1中的步骤S3继续。下一步骤S40包括确定第一颜色空间中的第一颜色分量值的帧内预测或帧间预测。下一步骤S41包括变换按照第一颜色空间中的第一颜色分量值与帧内预测或帧间预测之间的差计算的预测误差以形成变换系数。然后在步骤S42中对变换系数进行量化。在最优实施例中，量化的变换系数被输入到编码器（诸如熵编码器）。

图5中的步骤S40-S42基本上如先前参考图2在本文中所描述的那样被执行，其中差异是，图2涉及对第一颜色空间中的第二和第三颜色分量值进行编码，而图5涉及对第一颜色空间中的第一颜色分量值进行编码。

如上文所提到的，根据实施例对像素进行编码能够被应用于输入视频序列的图片中的多个像素。的确有可能向所有图片中的所有像素应用该编码方法。在备选实施例中，仅对于输入视频序列内的一些像素、区域或图片选择该编码方法。这个的原因是，该编码方法与简单地对像素的原始Y’Cb’Cr’ 4:2:0或4:2:2颜色进行编码的现有技术方法相比能引入额外复杂性。目前的实施例提供了附加处理以便确定改进的或优化的luma分量值。实施例所取得的质量中的提升由此以在编码侧略微增加的处理或复杂性的代价而得来。

相应地，能够有利的是仅对于一些关键图片或一些图片中的一些区域应用该编码方法。此类关键图片的非限制性示例能够是所谓的随机接入点（RAP）图片，也称为内随机接入图片（IRAP），或者在分级图片组（GOP）结构中位于最低层的图片或在低延迟编码中具有低QP值的图片。还有可能的是，编码器基于其处理能力和针对当前视频应用的延迟要求，选择根据实施例应进行编码的图片或图片区域。

在一实施例中，图1的方法包括如图6中所示的附加步骤。此实施例包括执行如下步骤：获得第一颜色分量值和确定第一颜色分量值（如果像素是输入视频序列的RAP图片的像素的话）。

在此实施例中，该方法从图1中的步骤S1继续，并且步骤S50包括调查研究当前图片是否是RAP图片。如果当前图片是RAP图片，则该方法继续到图1中的步骤S2。然而，如果当前图片是非RAP图片，则该方法转而继续到步骤S51。这个步骤S51包括对第一颜色空间中的像素的第一颜色分量值进行编码。这个第一颜色分量值是作为到编码过程的输入的第一颜色分量的原始值。因此，与RAP图片形成鲜明对比（在RAP图片中在步骤S3中确定第一颜色空间中的第一颜色分量值），并且如本文先前所描述的那样，对于非RAP图片，原始和输入的第一颜色分量值被用于像素，并且由此在步骤S51中被编码。来自步骤S51的编码的第一颜色分量值然后与来自步骤S1的编码的第二和第三颜色分量值一起被用作像素的经编码的表示。

步骤S51中的编码优选包括：确定第一颜色分量值的帧内预测或帧间预测，变换计算的预测误差，并对应于本文先前结合图2和图5所已经描述的内容来量化变换系数。

一般而言，RAP或IRAP图片的质量在视频序列中特别重要。原因是，视频序列中的其它非RAP/IRAP图片使用RAP/IRAP图片作为参考图片直接或间接地被编码和解码。因此，在编码期间在RAP/IRAP图片中引入的误差可被传播到使用RAP/IRAP图片作为直接参考图片或间接参考图片（即第二或另外生成参考图片）被编码的随后图片中。相应地，一般而言，重要的是采用高质量对RAP/IRAP图片进行编码。

图7是示出在图1中示出的方法的附加可选步骤的流程图。所述方法从图1中的步骤S1继续。在此实施例中，该方法还包括执行如下步骤：获得第一颜色分量值并确定第一颜色分量值（如果像素是在具有组织成分级GOP结构的图片的输入视频序列中的最低层中的图片的像素的话）。

在此实施例中，该方法从图1中的步骤S1继续，并且步骤S60包括调查研究当前图片是否属于将图片组织在分级GOP结构中的输入视频序列中的最低层。

图11示意性示出了将图片组织在此类分级GOP结构中的输入视频序列1。在图11中，GOP开始于RAP/IRAP图片2（编号0）。在典型的途径中，此类RAP/IRAP图片2以固定间隔（诸如每秒）定位。RAP/IRAP图片2之间的图片然后通常采用GOP结构被编码，其中图片（编号8）通常在显示时间之前8个图片被预测和编码，并且然后使用该图片（编号8）和之前编码的图片（编号0）对显示时间之前4个图片的图片（编号4）进行预测和编码。然后，对在显示时间之前2个和6个图片的图片（编号2和6）进行预测和编码，之后对显示时间之前1个、3个、5个和7个图片的图片（编号1、3、5、7）进行预测和编码。层3中的图片（编号1、3、5、7）属于最高分级级别，级别2中的图片（编号2、6）属于下一最高分级级别，层1中的图片（编号4）属于下一最低分级层，并且层0中的图片（编号0、8）属于最低分级层。通常，最高分级层中的图片不用于预测任何其它图片，即，所谓的非参考图片。非参考图片能被移除，而不破坏视频比特流的解码能力。然后重复图11的GOP结构，直到下一IRAP图片。

图11中的箭头示出了对于参考图片的预测方向。比如，使用图片编号0、8作为参考图片对图片编号4进行编码。

如果当前图片是最低层（即图11中的层0）中的图片，则该方法从图6中的步骤S60继续到图1中的步骤S2。然而，如果当前图片是分级GOP结构中比最低层高的层（即，图11中的层1-3）中的图片，则该方法转而继续到步骤S61。这个步骤S61包括对第一颜色空间中的像素的第一颜色分量值进行编码。这个第一颜色分量值是作为到编码过程的输入的第一颜色分量的原始值。因此，与最低层中的图片（其中在步骤S3中确定第一颜色空间中的第一颜色分量值）形成鲜明对比，并且如本文先前所描述的那样，对于较高层中的图片，原始和输入的第一颜色分量值被用于像素，并且由此在步骤S61中被编码。来自步骤S61的编码的第一颜色分量值然后与来自步骤S1的编码的第二和第三颜色分量值一起被用作像素的经编码的表示。

这个步骤S61对应于图6中的步骤S51。

一般而言，最低层图片的质量在分级或多层视频序列中特别重要。原因是，视频序列中的较高层中的图片使用最低层中的图片作为参考图片来直接或间接地被编码和解码，参见图11。因此，在编码期间在最低层图片中引入的误差可被传播到使用这个图片作为直接参考图片或间接参考图片被编码的随后图片中。相应地，一般而言，重要的是采用高质量对最低层中的图片进行编码。

图8是示出在图1中示出的方法的附加可选步骤的流程图。所述方法从图1中的步骤S4或图5中的步骤S42继续。下一步骤S70包括：对编码的第一颜色分量值解码以获得第一颜色空间中的重构的第一颜色分量值。下一步骤S71包括：确定样本自适应偏移（SAO），其最小化1）第一颜色空间中的第一颜色分量值与SAO和第一颜色空间中的重构的第一颜色分量值的和之间的平方误差或绝对值或2）按照失真的函数计算的速率失真成本，其中该失真表示第一颜色空间中的第一颜色分量值与对SAO进行编码所花费的比特量和SAO以及第一颜色空间中的重构的第一颜色分量值的和之间的差。

在HEVC中使用的环过滤的一种技术是SAO。当规定对于像素块使用SAO时，在HEVC词汇编码树单元（CTU）中，它或者修改像素值的邻近带中的像素值，或者修改具有某一边缘特性的像素值。在前一情况中，带偏移被定义在4个带或分类中，其中规定具有最小像素值的带的位置，并且具有越来越大像素值的其余带跟随其后。在后一情况中，边缘偏移被定义在规定方向上的4个分类（即，边缘偏移类）中：最大值、最小值、增大台阶或减小台阶。SAO对于每个像素块是特定的，但也能从相邻像素块拷贝。对于相应颜色分量，例如luma和chroma分量，能够独立地使用SAO。

步骤S70中对编码的第一颜色分量值的解码基本上是在步骤S4中执行的编码的逆。因此，解码优选包括对编码的量化变换系数进行解码，诸如使用熵解码器来进行。 在编码器侧，不需要熵解码，因为它是损耗较少的过程，并且因为编码器已经具有量化的变换系数，等。所得到的解码量化变换系数然后进行逆量化，并且然后进行逆变换，以获得重构残差或预测误差。然后通过向针对像素的帧内预测或帧间预测添加重构残差来获得重构的第一颜色分量值。在文档[4]中，并且具体地说是章节8.4-8.6和9.4.3中，能找到解码过程的更多信息。

在第一实施例中，通过最小化在图1中的步骤S3中所确定的第一颜色空间中的第一颜色分量值与在步骤S70中获得的重构的第一颜色分量值与SAO的和之间的平方误差或绝对误差来确定SAO。

在第二实施例中，通过最小化计算为J = D + λR的速率失真（RD）成本J来确定SAO，其中D是表示在图1中的步骤S3中所确定的第一颜色空间中的第一颜色分量值与在步骤S70中获得的重构的第一颜色分量值与SAO的和之间的差的失真，R是对SAO进行编码所花的比特量，且λ是拉格朗日乘数。

上面描述的途径也能用于或者备选地用于确定传统上在视频序列编码和解码期间使用的其它偏移或者过滤器参数。比如，环内过滤器（诸如本文进一步论述的去块过滤器和自适应环过滤器（ALF）），能够大体上如上文参考SAO偏移所描述的那样被确定。

在一些应用中，可能有利的是关掉SAO。比如，在HEVC中，可对于64×64像素块被关掉。

还有可能的是，通过最小化第二颜色空间（诸如XYZ或pq(Y)xy）中而不是第一颜色空间（诸如Y’Cb’Cr’）中的误差或RD成本来确定SAO、去块过滤器、ALF等。在此类情况下，步骤S71优选包括：确定用于第一颜色空间中的至少一个颜色分量值的编码工具参数（诸如SAO、环内过滤器、去块过滤器、ALF过滤器等），该参数最小化1）第二颜色空间中的第一颜色分量值与第二颜色空间中的重构的第一颜色分量值和转换到第二颜色空间中的编码工具参数的和之间的平方误差或绝对误差，或2）按照失真的函数计算的速率失真成本，该失真表示第二颜色空间中的第一颜色分量值与第二颜色空间中的重构的第一颜色分量值和转换到第二颜色空间中的编码工具参数以及用于对编码工具参数进行编码所花费的比特量的和之间的差。

在具体实施例中，图1的对输入视频序列中的像素进行编码的方法包括：在步骤S1中，对Y’Cb’Cr’颜色空间中的chroma分量值Cb’Cr’进行编码。在此实施例中，步骤S2包括获得用于XYZ颜色空间中的像素的亮度值Y。下一步骤S3包括：基于使得基于XYZ颜色空间中的亮度值Y与XYZ颜色空间中的测试亮度值之间的差计算的误差最小化来确定Y’Cb’Cr’颜色空间中的像素的luma分量值Y’，其中测试亮度值基于编码的chroma分量值Cb’Cr’导出。在此实施例中，步骤S4包括对Y’Cb’Cr’颜色空间中的luma分量值Y’进行编码。

在另一具体实施例中，图1的对输入视频序列中的像素进行编码的方法包括：在步骤S1中，对Y’Cb’Cr’颜色空间中的chroma分量值Cb’Cr’进行编码。在此实施例中，步骤S2包括获得用于pq(Y)xy颜色空间中的像素的非线性亮度值pq(Y)。下一步骤S3包括：基于使得基于pq(Y)xy颜色空间中的非线性亮度值pq(Y)与pq(Y)xy颜色空间中的测试亮度值之间的差计算的误差最小化来确定Y’Cb’Cr’颜色空间中的像素的luma分量值Y’，其中测试亮度值基于编码的chroma分量值Cb’Cr’导出。在此实施例中，步骤S4包括对Y’Cb’Cr’颜色空间中的luma分量值Y’进行编码。

在上文中，已经例示了实施例，其中第一颜色空间中的第一颜色分量值是Y’Cb’Cr’颜色空间中的luma分量值Y’，并且第一颜色空间中的第二和第三颜色分量值是Y’Cb’Cr’空间中的chroma分量值Cb’Cr’。这是实施例的优选实现示例。

然而，实施例不限于此。ICtCp是备选颜色空间，其中I值携带luma信息，并且CtCp值携带chroma信息。在此类实现示例中，第一颜色空间中的第一颜色分量值是ICtCp颜色空间中的I值，且第一颜色空间中的第二和第三颜色分量值是ICtCp颜色空间中的CtCp值。

在一实施例中，LMS颜色空间中的LMS值能根据等式4从RGB值和颜色变换中获得：

（等式4）

传递函数（诸如EOTF_PQ的逆）然后能应用于LMS值以便获得非线性L’M’S’值。最后，向这些L’M’S’值应用颜色变换以获得ICtCp值：

（等式5）

这意味着，有可能基本上通过执行上面提到的步骤的逆而将ICtCP值转换成RGB值，并且然后进一步将RGB值转换成XYZ或pq(Y)xy值，如本文之前所述。

实施例的一方面定义如在图9中所示出的用于对输入视频序列的像素的至少一个样本进行编码的方法。输入视频序列在第一颜色空间中表示。所述方法，包括：

- 获得第二颜色空间中的输入视频序列的至少一个样本，其中第二颜色空间不同于第一颜色空间；

- 对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码；

- 基于最小化按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差来修改输入视频序列的即第一颜色空间的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码样本；以及

- 对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

前述实施例已经主要结合对包括多个图片的输入视频序列的像素进行编码而被公开。然而，实施例也可被采用来对静止图像或图片的像素进行编码。

某些实施例的优点是，编码考虑了在解码之后将对压缩数据进行的处理以及已经由编码器在一个或两个颜色通道中引入的误差。编码器能改变要在另一颜色通道中压缩的数据，以便在已经执行这个处理之后产生导致更好结果的压缩数据。

编码器希望压缩采用Y’Cb’Cr’ 4:2:0或4:2:2格式的像素块。第一步骤是应用chroma分量Cbpred’、Crpred’的帧内样本或帧间样本预测，然后变换预测误差Cb’-Cbpred’、Cr’-Crpred’。变换通常将独立进行，并且所得到的变换系数被量化，从而引起最终像素值中的误差。根据实施例，代替简单地变换针对luma分量的预测误差Y’-Y’pred，编码器可在将Y’值与解码的Cb’和Cr’值一起变换到pq(Y)xy或XYZ空间之后尝试找到最小化误差的用于像素块的新Y’值(Yopt’)，与原始pq(Y)xy或XYZ值相比。从而，在此类途径中，转而将针对变换luma分量的预测误差Yo pt’-Y’pred。

一种途径是仅考虑对亮度分量的影响。在此情况下，编码器首先确定原始亮度。这通过将原始Y’Cb’Cr’ 4:2:0 或4:2:2上采样到4:4:4然后通过RGB转换到pq(Y)xy或XYZ来进行。然后，我们应用优化规程，其非常类似于在附录A中所描述的Ajusty方法中使用的规程，以便找到产生当以类似方式与Cb’和Cr’的压缩版本一起转换时最佳匹配原始值的pq(Y)或Y的值的每个像素中Y’的值。

根据另外实施例，编码器配置成向采用Y’Cb’Cr’ 4:2:0或4:2:2格式的像素块应用帧内样本或帧间样本预测。第一步骤是应用chroma分量的帧内样本或帧间样本预测Cbpred’、Crpred’。预测通常将独立进行。现在代替简单地应用luma分量的预测，编码器在将Y’值与预测的Cb’和Cr’值一起变换到pq(Y)xy或XYZ空间之后将尝试找到最小化误差的用于块的新Y’值(Yopt’)，与原始pq(Y)xy或XYZ值相比。

根据另一实施例，原始亮度Y和/或原始xy被给到编码器，而不是从Y’Cb’Cr’ 4:2:0或4:2:2样本中导出。

根据另一实施例，其它上采样过滤器F1可用于在编码和重构期间转换颜色分量的至少一个样本，例如将Cbrec’Crrec’从4:2:0或4:2:2转换到4:4:4以便导出最优Y’，而上采样过滤器F2用于在解压缩之后但显示之前的处理中将Cbrec’ Crrec’上采样到全分辨率。见图10，其中编码器由最后一个视频解码步骤之前的所有部分（即，位于垂直阴影线左侧）构成。然而，在编码器侧的解码仅需要重构像素值。在附录A中所定义的Ajusty方法使用用于颜色分量（例如Cbrec’Crrec’）的至少一个样本的重构像素值。原因是当部署Ajusty方法时要降低上采样的复杂性和/或降低噪声敏感性。降低噪声的影响能降低压缩Yopt’所需的比特量。取决于对编码可用的比特率，应用Ajusty方法比基于样本在样本上最优的方法稍微有些更加保守可以是有意义的。

在Ajusty方法中用于估计的上采样过滤器F1能被看作在对Cb’和Cr’进行编码和上采样之前对Y’的预过滤的组合。从而，作为用于Ajusty方法中的估计的上采样的一部分，噪声能够被移除。更保守地应用Ajusty方法的一种途径是使用具有对更高频率的更多衰减的上采样过滤器F1。双线性过滤器是既大程度地衰减更高频率而且计算起来简单的此类过滤器的一个示例。然而，也能够有兴趣地使用其它更长过滤器。当使用Ajusty方法时，这种途径也能被用作在视频编码器之前的预处理。在那种情况下，所有颜色分量未被压缩。

根据另一实施例，其它实施例用于修改将针对用于视频的至少一个样本、一个块或一个图片的一个颜色分量而被编码的“原始”样本。从而，基于任何编码工具的编码能针对修改的原始样本而不是未修改的原始样本。视频编码中的编码工具的示例是运动补偿样本预测、帧内样本预测、环过滤、去块过滤、样本自适应偏移、自适应环过滤、自适应运动补偿样本预测等。

HEVC包含旨在减少由于基于块的编码引起的成块伪影的环内去块过滤器。对于luma和chroma分量二者都应用去块过滤器，但仅对位于块边界的样本或像素上的luma和chroma分量应用去块过滤器。过滤器强度基于在边界的每个侧上的块类型关系确定是否任何块具有在运动向量和参考索引中的差异和/或变换系数。根据过滤器强度和平均QP，确定两个值tC和beta。对tC和beta的偏移可在图片级别被发信号通知。

在另一实施例中，对于luma分量的修改版本，例如针对Yopt’而不是原始Y’，在使用重构的chroma分量Cbrec’Crrec’的情况下优化SAO。该实施例在此假定到编码器的输入是Y’Cb’Cr’ 4:2:0或4:2:2以及还有来自XYZ的线性亮度Y（其能够已经从Y’Cb’Cr’导出，参见后面的实施例，或者是“真”原始线性亮度），该实施例包括如下步骤：

1. 将Cbrec’Crecr’上采样到4:4:4。在重构的像素上进行该操作意味着，在残差有可能已经被添加到帧内/帧间预测并且还有可能去块过滤已经被应用于导出以4:2:0或4:2:2的Y’Cb’Cr’之后。

2. 导出最优Y’，新“原始”，在给定采用4:4:4的Cbrec’Crrec’的情况下在此标示为Yopt’，该最优Y’使得相对Y的误差被最小化，其中Y是校正的线性亮度。作为用来找到Yopt’的优化的一部分，当前测试的Y’（标示为Ycurr’）与采用4:4:4的Cbrec’Crrec’一起被转换到R’G’B’ ，并且然后感知地被进行逆量化，以导出线性RGB，其然后被转换成线性亮度Ycurr。最佳Ycurr’是最小化相对Y的差的那个，即Yopt’。可选地，Y已经被感知地量化，并且被逆量化，之后它被用于优化。

3. 确定用于SAO的偏移以最小化重构的luma Yrec’和Yopt’中的误差，使得Yrec’+偏移尽可能地靠近Yopt’。选择针对带偏移或边缘偏移的偏移，在此情况下方向也是最佳的，其最小化平方误差或速率失真（RD）成本。RD成本被计算为所花的比特量和失真的函数，其中比特由lambda值进行缩放，缩放因子取决于量化参数。

假若用于SAO的新偏移值不同于在常规编码中使用的偏移值，例如它们的值或类型不同，则可以设想一些比特流修改。在那种情况下，解码器还将需要知晓这些修改。

根据用于视频编码器的另一个更一般的实施例，首先执行chroma(Cbrec’Crrec’)编码，同时对于视频编解码器的可应用视频编码工具和/或模式，针对Yopt’而不是原始Y’来优化luma编码。具体地说，可根据视频编码工具执行如下步骤：

在运动补偿预测中：

1. 最佳半像素或整像素运动向量能够用于导出chroma预测Cbpred’Crpred’。然后，能导出Yopt’，其最小化与线性亮度中的原始值相比较的误差。作为用来找到Yopt’的优化的一部分，当前测试的Y’（标示为Ycurr’）与采用4:4:4的Cbpred’Crpred’一起被转换到R’G’B’ ，并且然后感知地进行逆量化，以导出线性RGB，其然后被转换成线性亮度Ycurr。最佳Ycurr’是最小化与Y的差的那一个，例如Yopt’。

2. 找到带有包含Yopt’与luma预测Ypred’之间的差的失真项采用分数像素准确度的用于luma的最佳运动向量。通常，绝对差（SAD）之和或平方差（SSD）之和被用于失真。RD成本计算包含具有缩放lambda（其取决于量化参数）的附加成本项，，以及对运动向量进行编码所需的比特量。

在帧内预测中：

1. 最佳chroma模式能首先确定，并且然后chroma预测Cbpred’Crpred’被上采样到4:4:4，并且用于导出Yopt’。

2. 然后，最佳luma模式使用Yopt’作为原始值来被确定，例如，最佳luma模式是使得包含Yopt’与luma预测Ypred’之间的差的失真项最小化的模式。

在残差编码中：

1. 最佳chroma变换系数被首先导出，逆量化和逆变换，并被添加到生成重构chroma Cbrec’Crrec’的预测。

2. 然后通过将chroma重构Cbrec’Crrec’上采样到4:4:4并测试标示为Ycurr’的Y’的变体，能够找到Yopt’，其中测试Y’的变体在将Ycurr’和上采样的chroma转换到R’G’B’，应用逆感知量化以导出线性RGB并且然后将RGB转换成线性亮度（例如XYZ的Y）后进行。选择与原始线性亮度相比给出最小误差的测试的Ycurr’，例如Yopt’。

3. 然后，对于luma，对残差Yopt’-Ypred’而不是原始Y’–Ypred’来进行编码，其中Ypred’是帧内预测或帧间预测。

在HEVC标准化期间已被用于环过滤的另一技术是自适应环过滤（ALF）。当对于块使用ALF时，它根据规定的过滤器系数和偏移对块的像素值进行过滤。

在ALF中：

1. 根据上面的步骤1将chroma重构Cbrec’Crrec’上采样到4:4:4。

2. 根据上面的步骤2中的Ajusty方法导出Yopt’。

3. 确定用于ALF的过滤器系数和偏移，使得Yrec’与Yopt’之间的误差被最小化。

本文描述的任何步骤都仅仅是某些实施例的说明。不要求所有实施例都结合公开的所有步骤，也不要求按本文描述或描绘的确切次序执行这些步骤。更进一步，一些实施例可包含本文未示出或描述的步骤，这包含本文公开的其中一个或更多步骤所固有的步骤。

实施例的另一方面涉及用于对输入视频序列的像素进行编码的装置。所述装置配置成对第一颜色空间中的像素的第二颜色分量值和第三颜色分量值进行编码。所述装置还配置成获得用于所述像素的第二颜色空间中的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间。所述装置进一步配置成基于使得基于第二颜色空间中的第一颜色分量值与第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定第一颜色空间中的像素的第一颜色分量值。测试颜色分量值基于编码的第二颜色分量值和编码的第三分量值被导出。所述装置此外配置成对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

在一实施例中，所述装置配置成对于第二颜色分量值和第三颜色分量值中的每个颜色分量值，确定颜色分量值的帧内预测或帧间预测。所述装置还配置成对于所述第二颜色分量值和所述第三颜色分量值中的每个颜色分量值，变换按照所述颜色分量值与所述帧内预测或帧间预测之间的差计算的预测误差以形成变换系数。所述装置进一步配置成对于所述第二颜色分量值和所述第三颜色分量值中的每个颜色分量值，量化所述变换系数。

在一实施例中，所述装置配置成对所述第一颜色空间中的所述第二颜色分量值和所述第三颜色分量值进行上采样，以获得所述第一颜色空间中的上采样的第二颜色分量值和上采样的第三颜色分量值。所述装置还配置成：将所述第一颜色空间中的所述像素的原始第一颜色分量值和所述第一颜色空间中的所述上采样的第二颜色分量值和所述上采样的第三颜色分量值转换成所述第二颜色空间中的所述第一颜色分量值。

在一实施例中，所述装置配置成对所述编码的第二颜色分量值和所述编码的第三颜色分量值进行解码，以获得所述第一颜色空间中的重构的第二颜色分量值和重构的第三颜色分量值。所述装置还配置成对所述重构的第二颜色分量值和所述重构的第三颜色分量值进行上采样，以获得所述第一颜色空间中的上采样的重构第二颜色分量值和上采样的重构第三颜色分量值。所述装置进一步配置成基于所述第一颜色空间中的测试颜色分量值、所述第一颜色空间中的所述上采样的重构第二颜色分量值和所述上采样的重构第三颜色分量值，导出所述第二颜色空间中的所述测试颜色分量值。

在一实施例中，所述装置配置成选择使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的所述测试颜色分量值之间的差计算的误差最小化的所述第一颜色空间中的所述测试颜色分量值，其中所述第二颜色空间中的所述测试颜色分量值基于所述第一颜色空间中的测试颜色分量值、所述编码的第二颜色分量值和第三编码的分量值被导出。

在一实施例中，所述装置配置成确定所述第一颜色空间中的所述第一颜色分量值的帧内预测或帧间预测。所述装置还配置成变换按照第一颜色空间中的第一颜色分量值与帧内预测或帧间预测之间的差计算的预测误差以形成变换系数。所述装置进一步配置成量化所述变换系数。

在一实施例中，所述装置配置成执行如下步骤：获得第一颜色分量值并确定第一颜色分量值（如果像素是输入视频序列的随机接入点RAP图片的像素的话）。

在另一实施例中，所述装置配置成执行如下步骤：获得第一颜色分量值并确定第一颜色分量值（如果所述像素是具有组织在分级图片组GOP结构中的图片的输入视频序列中的最低层中的图片的像素的话）。

在一实施例中，所述装置配置成对所述编码的第一颜色分量值解码以获得所述第一颜色空间中的重构的第一颜色分量值。所述装置还配置成确定样本自适应偏移，该偏移最小化1）所述第一颜色空间中的所述第一颜色分量值与所述样本自适应偏移和所述第一颜色空间中的所述重构的第一颜色分量值的和之间的平方误差或绝对误差或2）按照失真的函数计算的速率失真成本，其中失真表示所述第一颜色空间中的所述第一颜色分量值与样本自适应偏移和对所述样本自适应偏移进行编码所花费的比特量以及所述第一颜色空间中的所述重构的第一颜色分量值的和之间的差。

某些实施例的另一方面定义编码器。在此实施例中，编码器包括处理部件和存储器，存储器包括指令，所述指令当由处理部件执行时促使编码器获得第二颜色空间中的输入视频序列的至少一个样本，其中第二颜色空间不同于第一颜色空间。还促使编码器对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码。进一步使编码器基于使得按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差最小化来修改输入视频序列的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码样本。此外使编码器对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

编码器还能够包括：获得部件，配置成获得第二颜色空间中的输入视频序列的至少一个样本，其中第二颜色空间不同于第一颜色空间。编码器能够进一步包括：编码部件，配置成对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码。编码器还可包括：修改部件，配置成基于使得按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差最小化来修改输入视频序列的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码样本。编码部件进一步配置成对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

编码器可用硬件、用软件或硬件和软件的组合来实现。编码器可实现在例如包括在用户设备中，所述用户设备诸如移动电话，诸如智能电话、平板、台式计算机、上网本、多媒体播放器、视频流播服务器、机顶盒或计算机。

实施例是通用的，并且能应用于任何编码器以用于确定视频编码器中的编码模式。它还能够是用于优化新编码工具或适配现有编码工具以更好地实现这个的基础。本发明的某些实施例可应用于其它颜色空间，诸如XYZ、xyz, Yxy等，以及其它二次采样格式，例如4:2:2，其仅在水平或垂直方向上进行二次采样。

图12示出了根据实施例的装置100的具体硬件实现。在一实施例中，装置100包括配置成获得第二颜色空间中的输入视频序列的至少一个样本的输入单元104，其中第二颜色空间不同于第一颜色空间。

装置100还包括配置成对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码的编码单元101。装置100还包括：导出器102，配置成基于使得按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差最小化来修改输入视频序列的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码样本。编码单元101进一步配置成对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

装置100还可包括配置成输出编码的比特流的输出单元105。

输入单元104能够采用通用输入单元的形式（具体地说在到外部装置的有线连接的情况中）。备选地，输入单元104能够采用接收器或收发器的形式（具体地说在到外部装置的无线连接的情况中）。对应地，输出单元105能够采用通用输出单元的形式（具体地说在到外部装置的有线连接的情况中）。备选地，输出单元105能够采用传送器或收发器的形式（具体地说在到外部装置的无线连接的情况中）。

输入单元104优选连接到编码单元101以将要编码的视频转发到那儿。编码单元101优选连接到导出器102。导出器102优选连接到输出单元105以将编码的比特流转发到解码器。

备选地，本文所描述的步骤、功能、规程、模块和/或块中的至少一些可用软件（诸如用于由适合的处理电路诸如一个或更多处理器或处理单元执行的计算机程序）实现。

处理电路的示例包含但不限于一个或更多微处理器、一个或更多数字信号处理器（DSP）、一个或更多中央处理单元（CPU）、视频加速硬件和/或任何适合的可编程逻辑电路，诸如一个或更多现场可编程门阵列（FPGA）或一个或更多可编程逻辑控制器（PLC）。

还应该理解到，有可能再用所提出的技术在其中被实现的任何常规装置或单元的一般处理能力。还可以是可能的是再用现有软件，例如通过对现有软件重新编程，或者通过添加新的软件组件来进行。

在具体实施例中，装置110（参见图13）包括处理器111和含有由处理器111可执行的指令的存储器112。处理器111操作以获得第二颜色空间中的输入视频序列的至少一个样本，其中第二颜色空间不同于第一颜色空间。处理器111还操作以对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码。处理器111进一步操作以基于使得按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差最小化来修改输入视频序列的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码样本。此外，处理器111操作以对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

在另一具体实施例中，图13中所示的装置110包括处理器111和含有由处理器111可执行的指令的存储器112。处理器111然后操作以对第一颜色空间中的第二颜色分量值和第一颜色分量值进行编码。处理器111还操作以获得第二颜色空间中的第一颜色分量值。处理器111还操作以确定第一颜色空间中的第一颜色分量值。处理器111此外操作以对第一颜色空间中的像素的第一颜色分量值进行编码。

在一实施例中，装置110还包括配置成接收要编码的视频的输入单元113。在此类情况下，处理器111操作以从输入单元113接收要编码的视频。

在一实施例中，装置110还包括配置成输出从处理器111所接收的编码的比特流的输出单元114。

在具体实施例中，处理器111操作以当执行存储在存储器112中的指令时执行上面描述的操作。处理器111由此互连到存储器112以能够实现正常的软件执行。

图13的组件被描绘为定位在单个较大框内的单个框。然而，实际上，装置110可包括构成单个示出的组件的多个不同物理组件，例如，输入单元113可包括用于耦合用于有线连接的导线的端子和用于无线连接的无线电收发器。类似地，装置110可由多个物理上分开的组件构成，这些组件各自可具有它们自己的相应处理器、存储器和接口组件。在其中装置110包括多个分开的组件的某些情形下，所述分开的组件中的一个或多个可在几个装置之间共享。例如，单个存储器单元可由多个装置110共享。

处理器111可以是微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列或任何其它适合的计算装置、资源中的一个或多个的组合或者硬件、软件和/或编码的逻辑（其可操作以或单独或结合其它装置组件（诸如存储器112）或装置功能性来进行提供）的组合。例如，处理器111可执行存储在存储器112中的指令。此类功能性可包含提供各种编码或解码特征和/或本文公开的任何其它特征或益处。

存储器112可包括任何形式的易失性或非易失性计算机可读存储器，包含但不限于持久性存储器、固态存储器、远程安装的存储器、磁介质、光介质、随机接入存储器（RAM）、只读存储器（ROM）、可移除介质或者任何其它适合的本地或远程存储器组件。存储器112可存储由装置110利用的任何适合的指令、数据或信息，其包含软件和编码的逻辑。存储器112可用于存储由处理器111进行的任何计算和/或经由I/O接口（包含输入单元113）接收的任何数据。

装置110还包括输入单元113和输出单元114（即I/O接口），它们可用在来往于装置110的视频和/或数据的有线或无线通信中。I/O接口可包含可耦合到天线或作为其一部分的无线电传送器和/或接收器。I/O接口可接收要被编码或解码的视频。

任何适当的步骤、方法或功能可通过计算机程序产品执行，计算机程序产品例如可由在附图中示出的组件和设备执行。例如，存储器112可包括其上能存储计算机程序的计算机可读部件。计算机程序可包含指令，所述指令使处理器111以及任何操作上耦合的实体和装置（诸如输入单元113、输出单元114和存储器112）执行根据本文描述的实施例的方法。计算机程序和/或计算机程序产品从而可提供用于执行本文公开的任何步骤的部件。

任何适当的步骤、方法或功能可通过一个或更多功能模块执行。每个功能模块可包括软件、计算机程序、子例程、库、源代码或例如由处理器执行的任何其它形式的可执行指令。在一些实施例中，每个功能模块可用硬件和/或用软件实现。例如，一个或多个或所有功能模块可由处理器111可能地与存储器112进行协作来实现。处理器111和存储器112从而可布置成允许处理器111从存储器112取指令，并执行所取指令以允许相应功能模块执行本文公开的任何步骤或功能。

图14是示出用户设备（UE）200的示例的示意性框图，其包括处理器210、关联的存储器220和通信电路230。

在这个具体示例中，本文描述的步骤、功能、规程、模块和/或块中的至少一些用计算机程序240实现，计算机程序240被加载到存储器220中以便由包含一个或更多处理器210的处理电路进行执行。处理器210和存储器220彼此互连以能够实现正常的软件执行。通信电路230还互连到处理器210和/或存储器220以能够实现视频数据的输入和/或输出以及收听或寻找请求。

用户设备200能够是能接收和处理视频数据的任何装置或设备。比如，用户设备200能够是或者固定或者便携式的计算机，诸如膝上型计算机、智能电话、平板、机顶盒等。

术语“处理器”应该采用一般意义解释为能够执行程序代码或计算机程序指令以执行具体处理、确定或计算任务的任何系统或装置。

包含一个或多个处理器的处理电路从而配置成当执行计算机程序时执行明确定义的处理任务，诸如本文描述的那些。

处理电路没有必要仅专用于执行上面描述的步骤、功能、规程和/或块，而是也可执行其它任务。

在一实施例中，计算机程序240包括指令，所述指令当由处理器210执行时使处理器210获得第二颜色空间中的输入视频序列的至少一个样本，其中第二颜色空间不同于第一颜色空间。 处理器210还被促使对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码。处理器210被进一步促使基于使得按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差最小化来修改输入视频序列的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码的样本。此外还使处理器210对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

在具体实施例中，计算机程序240包括包括指令，所述指令当由处理器210执行时使处理器210对第一颜色空间中的输入视频序列的像素的第二颜色分量值和第三颜色分量值进行编码。还使处理器210获得用于所述像素的第二颜色空间中的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间。进一步使处理器210基于使得基于第二颜色空间中的第一颜色分量值与第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定第一颜色空间中的像素的第一颜色分量值。测试颜色分量值基于编码的第二颜色分量值和编码的第三分量值被导出。此外使处理器210对第一颜色空间中的像素的第一颜色分量值进行编码。

在另一具体实施例中，用于编码器的计算机程序240包括计算机程序代码，所述计算机程序代码当被执行时促使编码器获得第二颜色空间中的输入视频序列的至少一个样本，其中第二颜色空间不同于第一颜色空间。还使编码器对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码。进一步使编码器基于使得按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差最小化来修改输入视频序列的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码的样本。此外使编码器对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

所提出的技术还提供了包括计算机程序240的载体250。载体250是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质250之一。

作为示例，软件或计算机程序240可被实现为计算机程序产品，其正常情况下被携带或存储在计算机可读介质240（优选是非易失性计算机可读存储介质250）上。计算机可读介质250可包含一个或多个可移除或不可移除存储装置，包含但不限于只读存储器（ROM）、随机存取存储器（RAM）、紧致盘（CD）、数字多功能盘（DVD）、蓝光盘、通用串行总线（USB）存储器、硬盘驱动器（HDD）存储装置、闪速存储器、磁带或任何其它常规存储装置。计算机程序240从而可被加载到由图14中的用户设备200表示的计算机或等同处理装置的操作存储器中以便由其处理器210执行。

某些实施例的另外方面定义用于编码器的计算机程序产品，包括用于编码器的计算机程序240和在其上存储用于编码器的计算机程序240的计算机可读部件250。

本文呈现的流程图或多个流程图因此当由一个或多个处理器执行时可被视为计算机流程图或多个计算机流程图。对应装置可被定义为一组功能模块，其中由处理器执行的每个步骤对应于一功能模块。在此情况下，功能模块可被实现为在处理器上运行的计算机程序。因此，装置备选地可被定义为一组功能模块，其中功能模块被实现为在至少一个处理器上运行的计算机程序。

驻留在存储器中的计算机程序从而可被组织为配置成当由处理器执行时执行本文描述的步骤和/或任务的至少一部分的适当功能模块。在图15中示出了此类功能模块的示例。

图15是具有功能模块的装置120的示意性框图。装置120包括配置成获得第二颜色空间中的输入视频序列的至少一个样本的用于获得的获得单元/获得部件121，其中第二颜色空间不同于第一颜色空间。装置120还包括配置成对第一颜色空间中的输入视频序列的一个或两个第一颜色分量的至少一个样本进行编码的用于编码的编码单元/编码部件123。装置120进一步包括：用于修改的修改单元/修改部件122，其配置成基于使得按照第二颜色空间中的输入视频序列的至少一个样本与第二颜色空间中的导出的测试样本之间的差计算的误差最小化来修改输入视频序列的第二颜色分量的至少一个样本，其中测试样本的导出包含用于第一颜色空间中的一个或两个第一颜色分量的至少一个编码样本。编码单元进一步用于编码/编码部件123进一步配置成对输入视频序列的第二颜色分量的至少一个修改的样本进行编码。

在一实施例中，图15中用于对输入视频序列的像素进行编码的装置120包括用于对第一颜色空间中的像素的第二颜色分量值和第三颜色分量值进行编码的编码部件123。装置120还包括用于获得用于所述像素的第二颜色空间中的第一颜色分量值的获得部件121，其中所述第二颜色空间不同于所述第一颜色空间。装置120进一步包括修改部件122，其用于基于使得基于第二颜色空间中的第一颜色分量值与第二颜色空间中的测试颜色分量值之间的差计算的误差最小化来确定第一颜色空间中的像素的第一颜色分量值。测试颜色分量值基于编码的第二颜色分量值和编码的第三分量值被导出。编码部件123还用于对第一颜色空间中的像素的第一颜色分量值进行编码。

实施例的另外方面涉及包括根据实施例的装置（诸如图12、13或15中任一图中所2的装置）的用户设备。用户设备从由以下项组成的群组中被选择：计算机、膝上型计算机、台式计算机、多媒体播放器、视频流播服务器、移动电话、智能电话、平板和机顶盒。

实施例的还有的另一方面涉及表示输入视频序列图片的像素的编码版本的信号。编码的版本包括根据任一实施例编码的第一颜色空间中的第一颜色分量值、第二颜色分量值和第三颜色分量值。在一实施例中，所述信号是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号和微波信号之一。

在诸如网络节点和/或服务器的网络装置中提供诸如硬件和/或软件的计算服务正变得日益流行，其中资源作为服务通过网络被输送到远程位置。作为示例，这意味着如本文中所描述的，功能性能够被分布或重新安置到一个或多个分离的物理节点或服务器。功能性可被重新安置或分布到能够位于分离的物理节点中的一个或多个联合行动的物理和/或虚拟机，即在所谓的云中。这有时也称为云计算，其是用于能够实现对可配置计算资源（诸如网络、服务器、存储装置、应用及通用或定制服务）池的普遍存在的按需网络接入的模型。

图16是图示在一般情况下能够如何在不同网络装置300、301、302之间分布或划分功能性的示例的示意图。在此示例中，存在至少两个单独但互连的网络装置300、301，其可具有在网络装置300、301之间被划分的不同功能性，或者相同功能性的不同部分。可存在作为此类分布式实现的部分的附加网络装置302。网络装置300、301、302可以是相同无线通信系统的部分，或者网络装置中的一个或多个可以是位于无线通信系统外的所谓基于云的网络装置。

图17是图示无线通信系统的示例的示意图，所述无线通信系统包括与一个或多个基于云的网络装置300协作的接入网络1和/或核心网络2和/或操作和支持系统（OSS）3。该图还图示了根据实施例的接入网络1的网络节点4和用户设备5。

上面参照几个实施例，已主要描述了本发明概念的某些方面。然而，如本领域技术人员容易领会的，与上面公开的实施例不同的实施例同样是可能的，并且在本发明概念的范围内。类似地，虽然已讨论多个不同组合，但未公开所有可能组合。本领域技术人员将领会，其它组合存在并且在本发明概念的范围内。另外，如技术人员所理解的，本文中公开的实施例同样地也适用于其它标准和编码器或解码器系统，并且结合其它特征公开的来自特定图的任何特征可适用于任何其它图和或与不同特征组合。

附录A

本附录A包括对根据实施例能够使用以便导出第二颜色空间中的非线性luma分量值的Ajusty方法的描述。

高度非线性的传递函数、4:2:0或4:2:2二次采样和非恒定亮度排序的组合引发了在饱和颜色中的严重伪影。附录B中描述了示例，其中在类似亮度的两个颜色之间的改变能够产生亮度大不相同的重构图像。

在数字视频信号中，样本（即像素）的每个分量由整数或浮点值表示。诸如屏幕、电视或监视器等呈现视频的显示器基于视频信号的数字值来忽略可见光。将数字值V转换成可见光Y的函数是电光传递函数（EOTF）。EOTF在传统上一直表述为称为伽玛(gamma)函数的指数函数，其中，伽玛γ是指数值。这一般为2.4（但也能够是其它值）：

。

使用伽玛函数对低亮度信号效果很好，但在亮度超过100尼特（cd/m²）时，伽玛函数未很好地与人类视觉系统的对比度敏感性一致。因此，定义了更非线性的传递函数，例如：

(等式A1)

此传递函数比伽玛函数更非线性，表现为在超过从0到1的范围上其一阶导数的最大值大于伽玛函数的该最大值。

Chroma二次采样一般在压缩前作为减少数据量的初始步骤进行。在4:2:2中，chroma信号在垂直方向被降低到一半分辨率。在4:2:0中，chroma信号在垂直方向和水平方向均被降低到一半分辨率。这一般通过某一过滤操作来进行，以获得良好质量的信号，但也能够使用最近邻居来进行。

为显示4:2:0或4:2:2视频，解码器执行chroma信号的上采样，这能够使用双线性过滤器或更长过滤器来进行。

然而，高度非线性传递函数、4:2:0或4:2:2二次采样和非恒定亮度排序的组合引发了视频数据的严重伪影，特别是对于饱和颜色，即接近色域边缘的颜色。

有几种回避此问题的方式。一种方式是不使用4:2:0或4:2:2二次采样，而是转而使用4:4:4。然而，那是昂贵的，因为4:2:0在压缩前将比特的数量减半，而4:2:2将比特数量减少到三分之二。另一方式是不使用高度非线性传递函数。然而，那意味着难以在暗区域中无条带的情况下表示极高峰值亮度的内容。第三种方式是使用恒定亮度，即，在转换到CIE1931 XYZ颜色空间后应用传递函数。然而，此类解决方案与广播业内的通常实践不一致，并且在一些情形下实现起来可能是困难和成本高昂的。

下面描述典型的压缩链。范围在从0到10,000的入射线性光像素（R，G，B）先被馈送到传递函数，这产生在0与1之间的新像素（R’，G’，B’）。在此之后，像素经历颜色变换，从而产生Y’Cb’Cr’。随后，将Cb’和Cr’分量二次采样到4:2:0。

在解压缩后，再次对4:2:0序列进行上采样到4:4:4，逆颜色空间转换产生（R’，G’，B’），并且最后逆传递函数返还能够在监视器上输出的线性光像素（R，G，B）。

麻烦来源于Cb’和Cr’chroma分量是经过内插值的，而Y’分量不经过内插值的事实。因此，在像素中的Y’分量中能够存在锐利的移动，但Cb’和Cr’分量由于它们是经过内插值的，因此不能跟随。对于一些颜色，特别是饱和颜色，结果是完全错误强度的像素，而且其是明显可见的。

提议是在这些情况下更改Y’分量，使得从经内插值的颜色生成的元组（Y’Cb’Cr’）与原始颜色不是如此不同。理想的情况是差别将很小，以致它不可被察觉。

基本上，它发散到意识到Cb’和Cr’分量是假的，并且因而也使Y’分量是假的，以致（Y’Cb’Cr’）更接近真实颜色。换言之，通过在Y’中引入误差，我们能够补偿在Cb’和Cr’中已经存在的误差以更接近实际像素。通过比较Cb’–Cb和Cr–Cr与阈值（例如，通过比较你从先对chroma进行二次采样（4:2:0），然后进行上采样（到4:4:4）而得到的Cb’），能够确定Cb’和Cr’分量是假的。

根据第一方面，提供了Ajusty方法。该方法能够在编码器中或者在到编码器的预处理中被执行。在该方法中，在确定Cb’和/或Cr’分量包括误差时，导出校正的Y’分量以补偿在Cb’和/或Cr’分量中的误差。

根据第二方面，提供了诸如预处理器或编码器的单元。单元配置成确定Cb’和/或Cr’分量包括误差，并且在已确定Cb’和/或Cr’分量包括误差时，它配置成导出校正的Y’分量以补偿在Cb’和Cr’分量中的误差。

根据如下所述的不同实施例，能够导出校正的Y’分量。因此，随后对校正的Y’分量、Cb’和Cr’进行压缩，从而使得图像或视频以更高质量被感知。

通过更改Y’分量，即，导出校正的Y’分量，我们能够补偿所得到的亮度值。眼睛对亮度更改比对色度更改更加敏感得多，因此，第一规则必须总是确保亮度与原始值偏差不会太大。

如上所述，在压缩前调整非线性亮度Y’，使得像素的线性亮度Y更接近其正确值。这在下面进一步被描述。

假设有一张图片，其中屏幕的左侧部分（例如像素0到96）具有值（2142，0，138），并且右侧部分（例如像素97到1920）具有值（2142，4，138）。使用常规处理链时，我们将得到表A1中的结果。

表A1 – 对于4:2:0二次采样针对“最坏”颜色的数据

* 这指示通过对在4:2:0格式中的二次采样的颜色进行上采样而获得的值。

这里，Y值是线性亮度。也就是说，原始的Y值是在你采用原始线性光RGB（2142，4，138）并且将它转换到XYZ时你得到的值。例如，如果RGB是在BT.2020颜色空间中，则你能够使用以下等式转换到XYZ:

X = 0.636958 × R + 0.144617 × G + 0.168881 × B

Y = 0.262700 × R + 0.677998 × G + 0.059302 × B （等式A2）

Z = 0.000000 × R + 0.028073 × G + 1.060985 × B

此Y分量是眼睛最敏感的亮度。它不应与上面提及的非线性地取决于R、G和B的Y’分量相混淆。

如在表A1中能够看到的，在使用RGB 4:2:0二次采样和上采样时，Y值对于像素97是显著错误的。注意在此示例中，没有进行压缩，只量化到10比特，并且Y值还具有85 %的相对误差。使用对眼睛能够看到多大差别进行预测的Barten模型，我们看到此误差为195个Barten步，或者比所将恰可察觉的误差大195倍。

如果我们查看表A2，我们能够看到发生了什么。

表A2 - 像素97在颜色二次采样之前和之后大不相同

如果我们查看Cb’分量，它具有值607，其大约处在间断前的650，即像素94，与间断后的575之间的中途，但正确值是575。麻烦的是误差不但影响像素的色度，而且影响像素的亮度，其变得太亮了。我们的想法是通过更改像素的Y’分量来补偿此情况。根据实施例，我们不让针对该像素的Y’分量为422，而是转而选择值363。在表A3中，我们显示结果。

表A3 - 像素97在颜色二次采样之前和之后类似的多

我们现在能看到，新颜色更类似于其正确值。绿色分量已位于错误方向上，但只有1.72 cd/m²，但同时红色分量已几乎为其正确值的一半，移动1849 cd/m²，以及蓝色分量已按照类似方式更改。在表A4中，我们示出对于亮度发生的情况。

表A4 – 在校正后对于4:2:0二次采样针对“最坏”颜色的数据

* 这指示通过对在4:2:0格式中的二次采样的颜色进行上采样而获得的值。

如在表A4中所看到的，我们得到在亮度Y中小得多的误差。相对误差为0.2465 %，这等效于0.5602 Barten步，即不可能看到。

误差现在转而在色度中，但在给定事实是人类视觉系统对色度中的误差比在亮度中的误差更不敏感的情况下，这不是大的问题。另外，由于色度被二次采样，因此，无论如何在色度中将存在误差。此外，人们可更改Y’分量，以得到在亮度中的误差与在色度中的误差之间的良好折中。

此外，色度中的更改可能甚至是不可察觉的 - 唯一的不同在于绿色分量是0.7008 cd/m²而不是3.9750 cd/m²，但由于红色分量为2145，几乎大1000倍，因此，它极可能还被红色分量所变小。查看它的另一方式是在绿色与红色分量之间的比率变成0.7008/2145.11 = 0.000327，而不是正确的3.9750/2142.6617 = 0.001855。不清楚的是，对于人眼可能看到色调中的此轻微变动。因此，我们已将比恰可察觉的误差大200倍的在亮度中的误差交换成在色度中的误差，在色度方面误差如此小，它可能不可能被看到。

好的事情是更改的Y’值只影响单独的像素。因此，通过更改Y’分量，不牺牲其它像素。

在一实施例中，值Y’未被优化用于Cb’和Cr’的特定值。相反，Y’值经选择，使得它最小化对于Cb’和Cr’的一些不同值或对于某个范围的Cb’和Cr’值的亮度误差。这能够在其中chroma上采样方法未知的情形中进行。

一种变化是要执行特定数量的chroma上采样方法，并且随后选择使对于不同上采样方法的平均平方误差最小化的Y’值。在另一版本中，Y’值经选择，使得最小化最坏情况（即最大误差）。

另一变化是使用Cb’和Cr’的两个或更多相邻值，并且直接使用它们计算可能的Cb’和Cr’值的范围。

存在几种方式用来查找对于Y’的最佳值，我们将讨论它们中的多个方式。一种方式在图18中示出。

首先，我们需要查找要朝向其优化的值Y_O。如上所提及的，原始像素R_O、G_O、B_O从RGB被变换到XYZ。这产生了X_O、Y_O、Z_O，其中我们只关注Y_O。实际上，我们不需要计算X_O和Z_O。此Y_O是线性光中的原始亮度，并且它正是眼睛所敏感的。在我们的测试情况中，Y_O等于573.5991，参见表A1。

其次，我们采用我们现有的Y’值连同一起还有Cb’和Cr’值。在上述情况下，我们将馈入（422，607，812），参见表2。现在，我们将进行从Y’Cb’Cr’到R’G’B’的颜色变换。这通过使用以下等式进行：

R’= Y’+ 1.47460 × Cr’

G’= Y’- 0.16455 × Cb’- 0.57135 × Cr’（等式A3）

B’= Y’+ 1.88140 × Cb’.

接着，我们调用传递函数。在此情况下，我们使用PQ-EOTF，其能够使用以下Matlab码实现，例如：

function L = pq_eotf(c)

%%%

%%% c goes from 0.0 to 1.0

%%% L是以尼特为单位的输出亮度

%%%

c1 = 0.8359375;

c2 = 18.8515625;

c3 = 18.6875;

n = 0.1593017578125;

m = 78.84375;

c = max(c,0);

c = min(c,1);

L = 10000*((max(c.^(1/m)-c1, 0)./(c2 - c3*c.^(1/m))) .^ (1/n));

结果是线性光中的颜色（R，G，B）。如上所提及的，现在我们将此转换到XYZ，或者真正地，我们只需要计算Y。此Y是像素的线性亮度，并且我们想使其尽可能接近Y_O的正是此亮度。在我们的测试情况中，Y开始是1066.4311，参见表A1。

现在我们比较Y和Y_O。如果Y大于Y_O，则我们将我们的Y’值从422减小到某个更小值。例如，我们能够采用一步并且尝试421。随后，再次执行整个计算，生成新Y值。再次地，将此值与Y_O进行比较，并且如果它仍太大，则我们进一步减小Y’。最后，我们将到达363和得到的Y值，即572.1852现在小于Y_O，即573.5991。该过程现在停止。

在上述实施例中，采用422-363=59个迭代以到达最佳值。这可以是高成本的。

因此，实施例将进行二分法搜索以查找最佳Y’值。可选的是，先尝试最大Y’值，例如1023。可选的是，随后尝试最小Y’值，例如0。随后，尝试在中间的值，例如512。如果由Y’=512产生的Y值大于Y_O，则我们应在间隔[0, 512]中搜索。如果Y值小于Y_O，则我们应转而搜索间隔[512, 1023]。随后，我们通过计算在选择的间隔的中间中的新值来继续，并且继续直至间隔只包含单个数字，如[363, 363]或[363, 364]。这被保证只采用log₂（N）步，其中，N是可能值的数量，在此情况中它是1024。因此，仅log₂（1024）=10步便足够。

计算最佳值还有的另一方式是将图18视为优化问题，并且最小化相对于Y’的误差E=（Y-Y_O）²。能够通过梯度下降来进行此操作：通过计算E相对于Y’的梯度，即，dE/dY’，并且在梯度的相反方向上小量更新Y’，即Y’_n+1=Y’_n-α× dE/dY’，其中，α是小的常数。

梯度下降能够是慢的，因此，更快的方式可以是使用计算或近似二阶导数d²E/dY’²的二阶优化算法。高斯-牛顿法（Gauss-Newton）是此类算法的示例。

在另一实施例中，应用以下过程以便计算Y’：

-通过XYZ到RGB转换，转换X、Y_O和Z以产生新值R1、G1和B1

-通过逆传递函数，转换R1、G1和B1以产生R1’、G1’和B1’。

-通过逆颜色变换，转换R1’、G1’和B1’以产生Y’

在一实施例中，校正图像或图片中所有像素的Y’值。在一备选实施例中，仅校正处于具有可见亮度误差风险的像素。这可包括靠近色域边缘的像素，但排除更靠近色域三角形的中间的像素。

查看图18中的底行，处理的第一步是

R’=Y’+1.47460×Cr’

G’=Y’-0.16455×Cb’-0.57135×Cr’（等式A3）

B’=Y’+1.88140×Cb’。

但由于Cr’和Cb’是固定的，它们被内插值而不是被发送，因此，我们能够将Y’右侧的任何内容替换为常数：

R’=Y’+c1

G’=Y’+c2

B’=Y’+c3

下一步是采用颜色分量的传递函数：

R = TF(R’)

G = TF(G’)

B = TF(B’)

其随后变成

R=TF（Y’+c1）

G=TF（Y’+c2）

B=TF（Y’+c3）

处理的最后步骤是从RGB转到XYZ。这通过使用以下等式进行：

X=0.636958×R+0.144617×G+0.168881×B

Y=0.262700×R+0.677998×G+0.059302×B （等式A2）

Z=0.000000×R+0.028073×G+1.060985×B

这个中我们只关注Y分量，因此我们使用

Y=0.262700 × R+0.677998 × G + 0.059302 × B.

将前面的等式插入此中产生了

Y=0.262700×TF（Y’+c1）+0.677998×TF（Y’+c2）+0.059302×TF（Y’+c3），

或缩写成

Y = f（Y’）

我们想要此等式的输出值Y匹配原始Y_O。由于Y以非线性方式在三个不同位置中取决于Y’，似乎没有简单的方式倒置该函数，使得我们能够得到Y’=f^-1（Y）。

然而，可能使非线性TF(x) ~ kx+m线性化。在三个不同位置中进行此操作产生了

Y ~ k1×Y’+m1+k2×Y’+m2+k3×Y’+m3

这等效于

Y ~（k1+k2+k3）×Y’+（m1+m2+m3）。

这能够被倒置成

Y’~Y’k=（Y_O–（m1+m2+m3））/（k1+k2+k3）。 （A4）

因此，可能Y’k将产生比以前更接近Y_O的值Yk。该函数能够在此新点Y’k再次被线性化，产生新值Y’k+1等等。

应注意的是，对于所有这些迭代技术，查找生成最接近Y_O值的Y值的绝对最佳10比特值不是必需的。可能只使用几次迭代或甚至一次迭代便足够。由单个迭代产生的校正的Y值将极可能比根本不校正要好得多。

一些线性化也可事先进行。如上所提出的，最坏的问题发生在域边缘上。因此，人们能够具有用于连接红基色到绿基色的线的一个线性化，用于连接红基色到蓝基色的线的一个线性化及用于连接绿基色到蓝基色的线的一个线性化。另一方式可以是要具有将接近红基色使用的线性化，接近绿基色的另一线性化和接近蓝基色使用的第三线性化。此外，如图19中所示，可能沿域的线具有几个线性化。

因此，在不同区域中能够有不同线性化。如果颜色是在实线圆内，则我们接近绿基色，并且我们能够使用一个线性化。如果我们进一步沿线移向红基色，即，在虚线框内，则我们能够使用第二线性化。如果我们接近域的边缘，并且大致在红基色与绿基色之间的中途，即，在虚点框内，则能够使用第三线性化。如果我们甚至更接近红基色，即，在实线框内，则能够使用第四线性化。如果我们在虚点圆内，即接近红基色，则能够使用第五线性化。也能够使用三角形中其它两条线的相同划分。最后，在三角形内但不在框或圆中的区域能够被划分成一个或多个区域，每个区域具有不同线性化。

另一方式是要创建查找表（LUT）。如从上面的公式所能够看到的，如果我们具有Cb’、Cr’和想要的Y值，则可能使用上面提及的任何迭代技术，查找最佳Y’。因此，我们能够为Cb’、Cr’和Y的每个可能组合创建查找表。例如，假设Cb’和Cr’被量化到10比特。还假设我们也将Y量化到10比特。随后，我们在我们的查找表中需要2¹⁰×2¹⁰×2¹⁰个不同值。这等效于2³⁰个值。如果每个值是两个字节，这意味着2³¹个字节或2 Gb。这是大的但也许不是不可行的，特别是在将来。

在量化Y时需要小心。由于Y是完全线性，因此，只将其量化可能是不足的。可能转而更好的是创建Ynonlinear=TF（Y），并且转而使用Cb’、Cr’和Ynonlinear作为输入变量，为Y创建LUT。给定Cb’、Cr’和Y，我们随后将先计算Ynonlinear=TF（Y），且然后查找Y’=LUT（Cb’，Cr’，Ynonlinear）。

也可能可使用更小的LUT。例如，可能可将Y（或Ynonlinear）、Cb’和Cr’量化到比如6比特。随后，表大小将是2^(6+6+6) = 2¹⁸个值或2¹⁹个字节，这等于512 kbytes。即使使用今天的硬件，这也是个合理的大小。

可能可采用最接近真正值的量化的值Cb’、Cr’和Y，并且对它们进行内插值。例如，如果Cb’的实际值大于被量化到6比特的Cb’，但小于被量化到6比特+1的Cb’，则以下可以是很好的近似：

Y’=（LUT（Cb’6比特，Cr’6比特，Y6比特）+（LUT（Cb’6比特+1，Cr’6比特，Y6比特））/2

在不止两个值之间的内插值也是可能的。

在一实施例中，查找表用于导出Y’的值。在一个版本中，查找表包含Y_O、Cb’和Cr’的每个可能值。对于10比特视频，那将产生1024×1024×1024个条目，且在一些应用中，此大小是可接受的。在另一版本中，查找表（LUT）被删减，例如，通过将Y_O、Cb’和Cr’的一项或更多项舍入到例如8比特。如果使用被删减的查找表，则能够通过从检索于LUT的Y’开始来查找最佳Y’的精炼步骤，扩展算法。在一版本中，仅在Cb’值和/或Cr’值使得Y’能够变得与Y_O大不相同时，即在初始计算的Y’给出与Y_O大不相同的线性Y值时才使用LUT，并且由此LUT的大小能够实质减小，因为Cb’和Cr’的许多值将不造成任何问题。

在一实施例中，Y_O、Cb’和Cr’的函数（例如线性组合、多项式函数、指数函数、对数函数、三角函数）被用于导出Y’。函数能够经定义，使得对于Y_O、Cb’和Cr’的任何值，在Y与Y_O之间的差低于某个阈值，或者在导出的Y’与最佳Y’之间的差低于某个阈值。

在一实施例中，为导出Y’，定义了Y_O、Cb’和Cr’的几个不同函数。要使用哪个函数的选择基于Y_O、Cb’和Cr’的值。

对于本文中描述的每个实施例，情况能够是仅在Y’与Y_O之间的差高于用来开始的某个阈值时，才调用用于导出Y’的方法。

附录B

此附录B调查由于4:2:0二次采样造成的颜色伪影。首先，进行交叉检查的尝试，但可能由于已经固定的HDRTools中的错误（bug），不能再现最坏的值。接着，执行对由4:2:0二次采样引发的亮度中最坏相对误差的搜索。被发现的是，即使在限于4000尼特的屏幕上显示，也能够发生86 %的相对误差（195个Barten步）。即使数据被限制到Rec709并且保留在BT.2020容器中，30个Barten步的误差是可能的。对于在BT.2020容器中的P3内容，40个Barten步的误差是可能的。

1 简介

已被注意到的是，使用4:2:0二次采样时，即使未进行压缩，颜色中小的更改能够引入惊人的大伪影。

1.1 交叉检查差异

此调查作为m35255[1]的交叉检查开始，尝试复制在下面表B1中再印的在幻灯片13上的结果。结果来自测试图像，其中直至像素95的图像的左侧部分具有颜色（3000，0，100），并且右侧部分、像素96和前面具有颜色（3000，4，100）。

表B1 – m35255的值

在使用与用于锚（n14548，[2]）相同的规程进行交叉检查时，我们得到表B2中示出的结果。对于下采样，采用在[2]的段2.4.7中描述的滤波器（2和3个抽头），并且对于上采样，采用[2]的段2.4.8（4抽头滤波器）。

表B2 - 在尝试交叉检查时的值

如所能看到的，这匹配确实地差，并且仅像素号94和98匹配，而未发现对于像素号95-97或99的匹配。然而，将间断移到像素97转而给出了要好得多的匹配，如表B3中所示。

表B3 - 在移动间断时的值

在表B3中，仅像素号96不匹配。那也是有着最奇怪值（10000，1.57，402.25）的像素，取决于你放置间断的位置，正确的答案是（3000，0，100）或（3000，4，100）。

看起来好像交叉检查中的不匹配是由于在HDRtools中已经校正的误差。如果回到版本492，我们能够产生与在m35255 [1]中相同的值。为确认HDRtools的更新版本（修订版573）是正确的，我们已在Matlab中独立实现处理链，并且我们得到与在表B3中相同的结果。我们必须移动间断以得到匹配的原因可能是由于在当前版本中已解决的在修订版492中的有错过滤。

1.2 舍入问题

在实现Matlab交叉检查时，我们认识到在HDRtools中浮点型到EXR的转换缺乏舍入。尾数的23比特不是舍入到10比特，它们只是被向右移位，基本是将round( )替代为floor( )。这影响最终结果。例如，即便3008.0是更接近得多的值，但浮点型的3007.9将被转换到3006.0。为得到匹配，我们在HDRtools的当前修订版（[3]的修订版587）中使Matlab代码仿真floor( )-型转换。

1.3颜色异常点

注意，即使像素96不再是极度异常点，但像素97仍离正确值差很远，正确值是（5860，2.58，199）而不是（300，4，100）。这引起了问题；4:2:0二次采样能够生成多差的异常点，并且这发生在何处

为回答此问题，我们先必须定义我们对“差”的解释。我们集中在亮度上，因为人类视觉系统对亮度中的更改比对色度中的更改更敏感。因此，我们将输入EXR图像和输出EXR图像均从线性光变换到XYZ，并且形成在Y中的差。为得到相对误差，我们随后除以原始的Y分量。随后，我们编写一个小程序，最大化用于在该类型的所有可能图像上的像素97的此相对误差，其中左侧部分具有一个颜色，并且右侧部分是相同颜色加长度为4的小delta，恰如在m35255 [1]中进行的一样。

运行此程序给出的答案是，具有在左侧部分中的颜色（2142，0，138）和在右侧部分中的颜色（2142，4，138）给出最大可见误差，如表B4中所示。不保证寻找“最坏”误差的优化软件找到全局最大值，因此，在色域中可存在甚至更坏的位置。

表B4 – 对于4:2:0二次采样用于“最坏”颜色的数据

应注意的是，具有比2142更高的红色分量将生成甚至更高的相对误差。然而，我们假设高于4000的RGB值将被监视器削减到4000，因此，我们相信如果使用更高值，则实际屏上差别将开始缩小。

如在表B4中能够看到的，用于RGB 4:4:4的相对误差是0.0304%。确切地说，我们比较了该误差和Barten曲线，参见示出用于对比度敏感性的Barten曲线的图20。曲线之下的对比度不可察觉。表B5示出用于绘制图20中的曲线的值。

表B5 - 用于绘制Barten曲线的值

如在图20中能看到的，用于相对误差的容限随着亮度的增大而减小。在100尼特，0.44 %的误差能够是恰可察觉的，而在1000尼特，0.40 %的误差能够是恰可察觉的。由于455尼特正好在这些值之间，因此，我们使用0.44 %的更高值。这给出0.069的Barten步，这意味着它是不可察觉。

另一方面，对于4:2:0二次采样，相对误差是85.92 %。这等效于超过195个Barten步，这应是明显可见的。因此，断定4:2:0二次采样能够形成明显可见伪影似乎是合理的，如在锚生成中的情况一样至少伴随带有非恒定亮度和高度非线性传递函数。

注意，最坏误差正好在色域的边界上；因为绿颜色为零，颜色（2142，0，138）是在红基色与绿基色之间的线上。这与在也指出域边缘上的颜色有问题的m35255 [1]中报告的内容一致。

1.4在输入是709数据时

表B1中呈现的数据是用于BT.2020基色。如果输入数据与Rec709基色有关，但容器是BT.2020，则将不可能到达色域边界。这是由于事实是Rec709域三角形是在BT.2020三角形内，未接触域边界（如在图21中所能看到的）。因此，假设相对误差将更小是合理的。

我们已运行优化软件以查找在转换到BT.2020后将产生最大相对误差的Rec709颜色。所得到的两个颜色是用于屏幕的左侧部分的（0，0，50）和右侧部分中的（2，3，49）。这呈现在表B6中。

表B6 - 如果输入是Rec709，并且容器格式是BT.2020，则针对4:2:0二次采样用于“最坏”颜色的数据

此处，我们已使用了在10尼特的Barten曲线，其等于0.54 %。对于RGB 4:4:4，我们随后得到在1.2305个Barten步恰可察觉的误差，而在RGB 4:2:0中的误差等于33个Barten步，其应是明显可见的。由于以Rec709数据开始排除了颜色到达BT.2020的域边缘的所有部分，因此，误差更小（33个Barten步对195个Barten步）也是合理的。

同样注意，优化结果是如何已发现最坏误差在蓝基色附近可用。这可能是因为蓝Rec709基色最接近BT.2020域边缘（如在图21中所能看到的）。

1.5在输入是P3数据时

相同测试能够为在BT.2020容器中包含的P3源数据执行。最坏颜色然后是（2.48，3.32，4.63）和（3.29，0，6.71），如表B7中所示。

表B7 - 如果输入是P3，并且容器格式是BT.2020，则针对4:2:0二次采样用于“最坏”颜色的数据

我们将假设误差将在Rec709与BT.2020之间某处，并且情况也是如此，我们现在得到等效于40.38个Barten步的误差。注意，由于Barten值更改，因此，重要的是在搜索最坏值时在循环中包括它。我们已使用了用于1 cd/m²的Barten值，其等于0.85 %。

1.6 结论

此附录调查了由于4:2:0二次采样造成的在亮度中的误差。虽然我们尚不能匹配来自m35255 [1]的最坏异常点，但最坏情况误差仍是显著的，对于一般数据达到几乎200个Barten步。即使源数据受限于Rec709，并且被放置在BT.2020容器中，误差仍是显著的，超过30个Barten步，并且对于在BT.2020容器中的P3数据，超过40个Baren步。

上述实施例要理解为本发明的几个说明性示例。本领域的技术人员将理解，在不脱离本发明范围的情况下，可对实施例进行各种修改、组合和改变。具体地说，不同实施例中的不同部分解决方案能够在技术上可能的情况下被组合在其它配置中。然而，本发明的范围由随附权利要求定义。

参考文献

[1]International Organization for Standardization, ISO/IEC JTC1/SC29/WG11, Coding of moving pictures and audio, MPEG2013/M35255, October 2014,Strasbourg, France, Francois et al., About using a BT.2020 container forBT.709 content

[2] International Organization for Standardization, ISO/IEC JTC1/SC29/WG11, Coding of moving pictures and audio, MPEG2014/N14548, July 2014,Sapporo, Japan, Luthra et al., Test sequences and anchor generation for HDRand Wide Gamut Content Distribution

[3]https://wg11.sc29.org/svn/repos/Explorations/XYZ/HDRTools/branches/0.9-dev

[4] ITU-T, TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU, SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services –Coding of moving video, High efficiency video coding, 04/2015

[5] International Organization for Standardization, ISO/IEC JTC1/SC29/WG11, Coding of moving pictures and audio, MPEG2014/N15083, February2015, Geneva, Switzerland, Luthra et al., Call for Evidence (CfE) for HDR andWCG Video Coding。

Claims (24)

1.一种对输入视频序列（1）的像素进行编码的方法，所述方法包括：

对第一颜色空间中包括表示所述像素的chroma值的第二颜色分量值和第三颜色分量值进行编码（S1）；

获得（S2）第二颜色空间中包括对所述像素的亮度表示的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间；

基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差减小，来确定（S3）所述第一颜色空间中包括表示所述像素的luma值的第一颜色分量值，其中所述测试颜色分量值表示所述第二颜色空间中所述像素的测试亮度值，所述第二颜色空间中所述像素的所述测试亮度值基于通过解码所述像素的所述编码的第二颜色分量值和所述编码的第三颜色分量值而获得的所述像素的颜色分量值而导出；以及

对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码（S4）。

2.根据权利要求1所述的方法，其中对所述第二颜色分量值和所述第三颜色分量值进行编码（S1）包括对于所述第二颜色分量值和所述第三颜色分量值中的每个颜色分量值，执行如下操作：

确定（S10）所述颜色分量值的帧内预测和帧间预测；

变换（S11）按照所述颜色分量值与所述帧内预测或帧间预测之间的差计算的预测误差以形成变换系数；以及

量化（S12）所述变换系数。

3.根据权利要求1或2所述的方法，其中获得（S2）所述第二颜色空间中的所述第一颜色分量值包括：

对所述第一颜色空间中的所述第二颜色分量值和所述第三颜色分量值进行上采样（S20），以获得所述第一颜色空间中的上采样的第二颜色分量值和上采样的第三颜色分量值；以及

将所述第一颜色空间中的所述像素的原始第一颜色分量值和所述第一颜色空间中的所述上采样的第二颜色分量值和所述上采样的第三颜色分量值转换（S21）成所述第二颜色空间中的所述第一颜色分量值。

4.根据权利要求1或2所述的方法，进一步包括：

对所述编码的第二颜色分量值和所述编码的第三颜色分量值进行解码（S30），以获得所述第一颜色空间中所述像素的重构的第二颜色分量值和所述像素的重构的第三颜色分量值；以及

对所述重构的第二颜色分量值和所述重构的第三颜色分量值进行上采样（S31），以获得所述第一颜色空间中所述像素的上采样的重构第二颜色分量值和所述像素的上采样的重构第三颜色分量值；以及

基于所述第一颜色空间中包括表示所述像素的测试luma值的测试颜色分量值、所述第一颜色空间中的所述上采样的重构第二颜色分量值和所述上采样的重构第三颜色分量值，导出（S32）所述第二颜色空间中的所述测试颜色分量值。

5.根据权利要求1或2所述的方法，其中确定(S3)所述第一颜色空间中的所述第一颜色分量值包括：选择（S3）使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的所述测试颜色分量值之间的差计算的所述误差减小的所述第一颜色空间中的所述第一颜色分量值的测试颜色分量值，其中所述第二颜色空间中的所述测试颜色分量值基于所述第一颜色空间中的所述第一颜色分量值的所述测试颜色分量值与通过解码所述编码的第二颜色分量值和所述编码的第三颜色分量值获得的所述像素的颜色分量值而导出。

6.根据权利要求1或2所述的方法，其中对所述第一颜色分量值进行编码（S4）包括：

确定（S40）所述第一颜色空间中的所述第一颜色分量值的帧内预测或帧间预测；

变换（S41）按照所述第一颜色空间中的所述第一颜色分量值与所述帧内预测或帧间预测之间的差计算的预测误差以形成变换系数；以及

量化（S42）所述变换系数。

7.根据权利要求1或2所述的方法，进一步包括：如果所述像素是所述输入视频序列（1）的随机接入点RAP图片（2）的像素，则执行（S50）获得（S2）所述第一颜色分量值和确定（S3）所述第一颜色分量值。

8.根据权利要求1或2所述的方法，进一步包括：如果所述像素是具有组织在分级图片组GOP结构中的图片（2）的所述输入视频序列（1）中的最低层中的图片（2）的像素，则执行（S60）获得（S2）所述第一颜色分量值和确定（S3）所述第一颜色分量值。

9.根据权利要求1或2所述的方法，进一步包括：

对所述第一颜色空间中的所述像素的所述编码的第一颜色分量值进行解码（S70）以获得所述第一颜色空间中所述像素的重构的第一颜色分量值；以及

确定（S71）样本自适应偏移，所述样本自适应偏移最小化1）所述第一颜色空间中的所述第一颜色分量值与所述样本自适应偏移和所述第一颜色空间中的所述重构的第一颜色分量值的和之间的平方误差或绝对误差或2）按照失真的函数计算的速率失真成本，所述失真表示所述第一颜色空间中的所述第一颜色分量值与所述样本自适应偏移和对所述样本自适应偏移进行编码所花费的比特量以及所述第一颜色空间中的所述重构的第一颜色分量值的和之间的差。

10.根据权利要求1或2所述的方法，其中

对所述第二颜色分量值和所述第三颜色分量值进行编码（S1）包括对Y’Cb’Cr’颜色空间中的chroma分量值Cb’Cr’进行编码（S1）；

获得(S2)所述第二颜色空间中的所述像素的所述第一颜色分量值包括获得(S2)XYZ颜色空间中的用于所述像素的亮度值Y；

确定（S3）所述第一颜色空间中的所述像素的所述第一颜色分量值包括：基于使得基于所述XYZ颜色空间中的所述亮度值Y与基于所述编码的chroma分量值Cb’Cr’导出的所述XYZ颜色空间中的测试亮度值之间的差计算的误差减小，来确定（S3）所述Y’Cb’Cr’颜色空间中的所述像素的luma分量值Y’；以及

对所述第一颜色空间中所述像素的所述第一颜色分量值进行编码（S4）包括对所述Y’Cb’Cr’颜色空间中的所述luma分量值Y’进行编码（S4）。

11.根据权利要求1或2所述的方法，其中

对所述第二颜色分量值和所述第三颜色分量值进行编码（S1）包括对Y’Cb’Cr’颜色空间中的chroma分量值Cb’Cr’进行编码（S2）；

获得(S2)所述第二颜色空间中所述像素的所述第一颜色分量值包括获得(S2)pq(Y)xy颜色空间中的非线性亮度值pq(Y)；

确定（S3）所述第一颜色空间中所述像素的所述第一颜色分量值包括：基于使得基于所述pq(Y)xy颜色空间中的所述非线性亮度值pq(Y)与所述pq(Y)xy颜色空间中的测试亮度值之间的差计算的误差减小，来确定（S3）所述Y’Cb’Cr’颜色空间中的所述像素的luma分量值Y’，其中所述pq(Y)xy颜色空间中的所述测试亮度值基于通过解码所述编码的chroma分量值Cb’Cr’获得的所述像素的chroma分量值而导出；以及

对所述第一颜色空间中所述像素的所述第一颜色分量值进行编码（S4）包括对所述Y’Cb’Cr’颜色空间中的所述luma分量值Y’进行编码（S4）。

12.一种用于对输入视频序列（1）的像素进行编码的装置(100,110)，其中

所述装置(100,110)配置成对第一颜色空间中包括表示所述像素的chroma值的第二颜色分量值和第三颜色分量值进行编码；

所述装置(100,110)配置成获得第二颜色空间中包括对所述像素的亮度表示的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间；

所述装置(100,110)配置成：基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差减小，来确定所述第一颜色空间中的包括表示所述像素的luma值的第一颜色分量值，其中所述测试颜色分量值表示所述第二颜色空间中所述像素的测试亮度值，所述第二颜色空间中所述像素的所述测试亮度值基于通过解码所述编码的第二颜色分量值和所述编码的第三颜色分量值获得的所述像素的颜色分量值而导出；以及

所述装置(100,110)配置成对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

13.根据权利要求12所述的装置，其中：

所述装置(100,110)配置成：对于所述第二颜色分量值和所述第三颜色分量值中的每个颜色分量值，确定所述颜色分量值的帧内预测或帧间预测；

所述装置(100,110)配置成：对于所述第二颜色分量值和所述第三颜色分量值中的每个颜色分量值，变换按照所述颜色分量值与所述帧内预测或帧间预测之间的差计算的预测误差以形成变换系数；以及

所述装置(100,110)配置成：对于所述第二颜色分量值和所述第三颜色分量值中的每个颜色分量值，量化所述变换系数。

14.根据权利要求12或13所述的装置，其中

所述装置(100,110)配置成：对所述第一颜色空间中的所述第二颜色分量值和所述第三颜色分量值进行上采样，以获得所述第一颜色空间中的上采样的第二颜色分量值和上采样的第三颜色分量值；以及

所述装置(100,110)配置成将所述第一颜色空间中的所述像素的原始第一颜色分量值与所述第一颜色空间中的所述上采样的第二颜色分量值和所述上采样的第三颜色分量值转换成所述第二颜色空间中的所述第一颜色分量值。

15.根据权利要求12或13所述的装置，其中

所述装置(100,110)配置成对所述编码的第二颜色分量值和所述编码的第三颜色分量值进行解码，以获得所述第一颜色空间中的重构的第二颜色分量值和重构的第三颜色分量值；以及

所述装置(100,110)配置成对所述重构的第二颜色分量值和所述重构的第三颜色分量值进行上采样，以获得所述第一颜色空间中的上采样的重构第二颜色分量值和上采样的重构第三颜色分量值；以及

所述装置(100,110)配置成：基于所述第一颜色空间中的包括表示所述像素的测试luma值的测试颜色分量值、所述第一颜色空间中的所述上采样的重构第二颜色分量值和所述上采样的重构第三颜色分量值，导出所述第二颜色空间中的所述测试颜色分量值。

16.根据权利要求12或13所述的装置，其中所述装置(100,110)配置成：选择使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的所述测试颜色分量值之间的差计算的所述误差减小的所述第一颜色空间中的所述第一颜色分量值的测试颜色分量值，其中所述第二颜色空间中的所述测试颜色分量值基于所述第一颜色空间中的所述第一颜色分量值的所述测试颜色分量值、以及通过解码所述编码的第二颜色分量值和所述编码的第三颜色分量值获得的所述像素的颜色分量值而导出。

17.根据权利要求12或13所述的装置，其中

所述装置(100,110)配置成确定所述第一颜色空间中的所述第一颜色分量值的帧内预测或帧间预测；

所述装置(100,110)配置成变换按照所述第一颜色空间中的所述第一颜色分量值与所述帧内预测或帧间预测之间的差计算的预测误差以形成变换系数；以及

所述装置(100,110)配置成量化所述变换系数。

18.根据权利要求12或13所述的装置，其中所述装置(100,110)配置成：如果所述像素是所述输入视频序列（1）的随机接入点RAP图片（2）的像素，则执行获得所述第一颜色分量值和确定所述第一颜色分量值。

19.根据权利要求12或13所述的装置，其中所述装置(100,110)配置成：如果所述像素是具有组织在分级图片组GOP结构中的图片（2）的所述输入视频序列（1）中的最低层中的图片（2）的像素，则执行获得所述第一颜色分量值和确定所述第一颜色分量值。

20.根据权利要求12或13所述的装置，其中

所述装置(100,110)配置成对所述第一颜色空间中所述像素的所述编码的第一颜色分量值进行解码以获得所述第一颜色空间中的重构的第一颜色分量值；以及

所述装置(100,110)配置成确定样本自适应偏移，所述样本自适应偏移最小化1）所述第一颜色空间中的所述第一颜色分量值与所述样本自适应偏移和所述第一颜色空间中的所述重构的第一颜色分量值的和之间的平方误差或绝对误差或2）按照失真的函数计算的速率失真成本，所述失真表示所述第一颜色空间中的所述第一颜色分量值与所述样本自适应偏移和对所述样本自适应偏移进行编码所花费的比特量以及所述第一颜色空间中的所述重构的第一颜色分量值的和之间的差。

21.根据权利要求12或13所述的装置，进一步包括：

处理器（111）；以及

存储器（112），包括由所述处理器（111）可执行的指令，其中

所述处理器（111）操作以对所述第一颜色空间中的所述第二颜色分量值和所述第三颜色分量值进行编码；

所述处理器（111）操作以获得所述第二颜色空间中的所述第一颜色分量值；

所述处理器（111）操作以确定所述第一颜色空间中的所述第一颜色分量值；以及

所述处理器（111）操作以对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

22.一种用于对输入视频序列（1）的像素进行编码的装置(120)，所述装置（120）包括：

编码部件（123），用于对第一颜色空间中包括表示所述像素的chroma值的第二颜色分量值和第三颜色分量值进行编码；

获得部件（121），用于获得第二颜色空间中包括对所述像素的亮度表示的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间；

修改部件（122），用于基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差减小，来确定所述第一颜色空间中包括表示所述像素的luma值的第一颜色分量值，其中所述测试颜色分量值表示所述第二颜色空间中所述像素的测试亮度值，所述第二颜色空间中所述像素的所述测试亮度值基于通过解码所述像素的所述编码的第二颜色分量值和所述编码的第三颜色分量值获得的所述像素的颜色分量值而导出；以及

编码部件（123），用于对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

23.一种用户设备(5,200)，其包括根据权利要求12至22中任一项的装置(100,110,120)，其中所述用户设备(5,200)从以下项组成的群组中被选择：膝上型计算机、台式计算机、多媒体播放器、视频流播服务器、移动电话、智能电话、平板和机顶盒。

24.一种计算机可读介质，其上存储有指令，所述指令当由处理器（210）执行时促使所述处理器（210）：

对第一颜色空间中包括表示输入视频序列的像素的chroma值的第二颜色分量值和第三颜色分量值进行编码；

获得第二颜色空间中包括对所述像素的亮度表示的第一颜色分量值，其中所述第二颜色空间不同于所述第一颜色空间；

基于使得基于所述第二颜色空间中的所述第一颜色分量值与所述第二颜色空间中的测试颜色分量值之间的差计算的误差减小，来确定所述第一颜色空间中包括表示所述像素的luma值的第一颜色分量值，其中所述测试颜色分量值表示所述第二颜色空间中所述像素的测试亮度值，所述第二颜色空间中所述像素的所述测试亮度值基于通过解码所述像素的所述编码的第二颜色分量值和所述编码的第三颜色分量值获得的所述像素的颜色分量值而导出；以及

对所述第一颜色空间中的所述像素的所述第一颜色分量值进行编码。

Images