CN103493489B

CN103493489B - 基于原色分级模型的图像预测

Info

Publication number: CN103493489B
Application number: CN201280018040.8A
Authority: CN
Inventors: 苏冠铭; 曲晟; 胡贝特·克普费尔; 袁玉斐; 萨米尔·胡利亚尔卡尔; 沃尔特·吉什
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2011-04-14
Filing date: 2012-04-13
Publication date: 2016-10-19
Anticipated expiration: 2032-04-13
Also published as: US8731287B2; US8837825B2; CN103493489A; EP2697972B1; WO2012142506A1; EP2697972A1; US20140185930A1; US20140037205A1

Abstract

颜色间图像预测是基于颜色分级建模。将预测应用于高动态范围的图像和视频信号的有效编码。预测模型可以包括对色调和饱和度颜色变化进行建模的颜色变换矩阵和对颜色校正变化进行建模的非线性函数。在颜色分级处理使用斜率、偏移和幂（SOP）操作的假定下，提出了示例非线性预测模型。

Description

基于原色分级模型的图像预测

相关申请的交叉引用

本申请要求于2011年4月14日提交的美国临时专利申请No.61/475,372的权益，其全部内容通过引用结合于此。

本申请还涉及于2012年4月13日同时提交的共同未决的国际专利申请No.PCT/US2012/033605，其全部内容通过引用结合于此。

技术领域

本发明大体涉及图像。更具体地，本发明的实施例涉及基于原色分级模型的高动态范围图像与标准动态范围图像之间的多颜色通道预测算子。

背景技术

如本文中所使用的术语“动态范围”(DR，dynamic range)涉及人类视觉系统(HVS，human psychovisual system)对图像中例如从最暗的暗部到最亮的亮部的强度(例如，亮度)范围进行感知的能力。从这个意义上讲，DR涉及“与场景相关”的强度。DR还可涉及显示设备适当地或近似地呈现特定宽度的强度范围的能力。从这个意义上讲，DR涉及“与显示器相关”的强度。除非在本文的描述中的任何一点处明确地指出特定的意义具有特定含义，否则应推断该术语可以(例如，互换地)用在任意一种意义中。

如本文中所使用的术语高动态范围(HDR，high dynamic range)涉及跨越人类视觉系统(HVS)的某14-15个数量级的DR宽度。例如，基本正常的适应良好的人(例如，在一个或更多个统计学意义上、计量生物学意义上或眼科学意义上)具有跨越约15个数量级的强度范围。适应的人可感知少到只有极少数光子的微弱光源。然而，同样的人可感知沙漠、海或雪中正午太阳的近乎刺痛的耀眼强度(或甚至看着太阳，然而只是短暂地看着，以防止伤害)。虽然这个跨度对“适应的”人而言是可达到的，但例如那些人的HVS具有进行重置和调节的时间段。

相比之下，较之HDR，人类可同步感知强度范围中的扩展宽度的DR可在一定程度上缩短。如在本文中所使用的术语“视觉动态范围”或“可变动态范围”(VDR，variabledynamic range)可单独地或互换地涉及可由HVS同时感知的DR。如本文中所使用的VDR可涉及跨越5-6个数量级的DR。因此，尽管与真实场景相关的HDR可能在一定程度上变窄，但VDR仍表示较宽的DR宽度。如本文中所使用的术语“同步动态范围”可涉及VDR。

直至最近，显示器具有了比HDR或VDR明显更窄的DR。使用常规阴极射线管(CRT，cathode ray tube)，带有恒定的荧光白背光照明的液晶显示器(LCD，liquid crystaldisplay)或等离子屏幕技术的电视(TV)和计算机监视装置在它们的DR呈现能力上会限制于约三个数量级。因此这种传统的显示器特征是低动态范围(LDR，low dynamic range)，对于VDR和HDR，还称为标准动态范围(SDR，standard dynamic range)。

然而，在它们的基础技术中的进步允许更新式的显示器设计，以便相对于呈现在不够新式的显示器上的图像和视频内容，以在多种质量特征上具有显著改进的方式来呈现该内容。例如，更新式的显示设备可能能够呈现高清晰度(HD，high definition)内容和/或可根据多种显示能力(诸如，图像定标器(image scaler))进行定标的内容。此外，某些更新式的显示器能够以比传统显示器的SDR更高的DR来呈现内容。

例如，某些新式LCD显示器具有包括发光二极管(LED，light emitting diode)阵列的背光单元(BLU，backlight unit)。BLU阵列的LED可与有源LCD元件的偏振态的调制分开地进行调制。这种双调制方法是可(诸如)通过BLU阵列与LCD屏幕元件之间的可控中间层来扩展的(例如，扩展成N调制层，其中N包括大于2的整数)。其基于LED阵列的BLU和双(或N)调制有效地增加了具有这种特征的LCD监视器的与显示器相关的DR。

关于传统SDR显示器，通常所称的这种“HDR显示器”(尽管实际上，它们的能力可能更近似VDR的范围)和它们可能的DR扩展在显示图像、视频内容和其他视频信息的能力上表现出显著进步。这种HDR显示器可以呈现的色域还可显著地超出多数传统显示器的色域，甚至到能呈现宽色域(WCG，wide color gamut)的程度。与场景相关的HDR或VDR和WCG图像内容，诸如可通过“下一代”电影和TV摄像机产生，现在可通过“HDR”显示器(下文中称为“HDR显示器”)来更真实有效地显示。

就可扩展视频编码和HDTV技术而言，扩展图像DR通常涉及分叉方法。例如，通过新式HDR功能摄像机获取的与场景相关的HDR内容可用于产生内容的SDR版本，该内容的SDR版本可显示在传统SDR显示器上。在一种方法中，根据所获取的VDR版本产生SDR版本，可能涉及将全局色调映射算子(TMO，global tone mapping operator)应用于在HDR内容中的与强度(例如，亮度)相关的像素值。在第二种方法(如为了所有的目的通过引用结合在本文中的、国际专利申请NO.PCT/US2011/048861中所描述的)中，产生SDR图像可涉及将可逆算子(或预测算子)应用在VDR数据上。为了保留带宽或出于其他考虑，同时传输实际获取的VDR内容和SDR内容可能不是最好的方法。

因此，关于初始TMO的逆的逆色调映射算子(iTMO，inverse tone mappingoperator)或者关于初始预测算子的逆算子可应用于所产生的SDR内容版本，这允许预测VDR内容的版本。所预测的VDR内容版本可与初始获取的HDR内容相比较。例如，从初始VDR版本减去预测的VDR版本可产生残余图像。编码器可将所产生的SDR内容作为基层(BL，baselayer)发送，并且将所产生的SDR内容版本、任意残余图像以及iTMO或其他预测算子打包作为增强层(EL，enhancement layer)或作为元数据。

发明内容

相比于将HDR内容和SDR内容这两者直接发送进比特流所占用的带宽，将EL和元数据(具有其SDR内容、残余图像和预测算子)发送进比特流中通常占用更少的带宽。接收由编码器发送的比特流的可兼容解码器可对SDR进行解码并且呈现在传统显示器上。然而，可兼容解码器还可使用残余图像，iTMO预测算子或元数据，以根据它们来计算HDR内容的预定版本，以用在更多功能的显示器上。本发明的目的是提供用于产生预测算子的新方法，该预测算子允许利用对应的SDR数据对VDR数据进行有效的编码、传输以及解码。

在本发明的一个示例实施例中，提出了一种基于原色分级的新的VDR预测算子。其将矩阵乘法操作与缩放、偏移以及幂(SOP，scale，offset and power)操作结合。假设利用传统颜色分级操作(诸如，提升(lift)、增益(gain)、伽玛、色调以及饱和度变化)创建了SDR内容，则所公开的预测算子优于现有技术之处在于在仅需要估计很少的预测系数的同时产生了更少的预测误差。

在这一部分中描述的方法是能够执行的方法，但并不一定是以前所设想或执行的方法。因此，除非另有指示，否则不应认为在这一部分所描述的方法中的任何一种因包括在这一部分中而被限定为现有技术。类似地，关于一种或多种方法所确定的问题不应认为已基于这部分在任何现有技术中确定，除非另有指示。

附图说明

通过示例(但不是通过限制的方式)在附图部分的图中例示了本发明的实施例，附图中相同的附图标记指示类似的元件，其中：

图1描绘了用于根据本发明的实施例的VDR-SDR系统的示例数据流；

图2描绘了根据本发明的实施例的示例VDR编码系统；

图3描绘了根据本发明的实施例的基于原色分级模型的预测算子的输入和输出接口；

图4描绘了考虑到根据本发明的实施例的颜色分级处理的示例预测处理；

图5描绘了根据本发明的SOP+M颜色分级模型的示例预测处理；

图6描绘了带有根据本发明的实施例进行操作的预测算子的示例图像解码器。

具体实施方式

在本文中描述基于颜色分级建模的颜色间(inter-color)图像预测。给定一对对应的VDR和SDR图像，即，表示相同场景但是在不同的动态范围等级的图像，这部分描述了允许编码器根据SDR图像和基于原色分级模型的颜色间预测算子来对VDR图像进行近似的方法。在下面的描述中，为了解释的目的，陈述了许多特定细节以提供对本发明的充分理解。然而，显然的是，本发明无需这些特定细节仍可实现。在其他情形中，为了避免不必要的掩盖、模糊或者混淆了本发明，并不详尽地描述已知的结构和设备。

概述

本文中所描述的示例实施例涉及具有高动态范围的编码图像。实施例创建了允许VDR图像关于其对应的SDR表示和颜色分级模型的参数来进行表达的预测算子。

示例VDR-SDR系统

图1描绘了在根据本发明的实施例的VDR-SDR系统100中的示例数据流。利用HDR摄像机110获取了HDR图像或视频序列。在获取之后，所获取的图像或视频通过灌制处理(mastering process)来进行处理以创建目标VDR图像125。灌制处理可包含多个处理步骤，诸如：编辑，一次和二次颜色校正(或分级)、颜色变换以及噪声过滤。此处理的VDR输出125表示关于所获取的图像将如何在目标VDR显示器上进行显示的负责人的意图。

灌制处理还可输出对应的SDR图像145，其表示关于所获取的图像将如何在合法的SDR显示器上进行显示的负责人的意图。SDR输出145可直接从灌制电路120提供或者SDR输出145可通过分开的VDR至SDR转换器140来产生。

在本示例实施例中，VDR 125和SDR 145信号被输入进编码器130。编码器130的目的是创建经编码的比特流，其中该经编码的比特流减少了传输VDR和SDR信号所需的带宽；并且还允许对应的解码器150进行解码并且呈现SDR信号或者VDR信号。在示例实现方式中，编码器130可以是分层编码器，诸如通过MPEG-2和H.264编码标准定义的那些编码器中的一个编码器，该编码标准将其输出表示为基层、可选增强层以及元数据。我们将嵌入经编码的比特流或者与经编码的比特流并行地传输并且帮助解码器呈现经解码的图像的任何辅助信息定义为“元数据”。这种元数据可包括(但是不限于)如下这些数据：色空间或色域信息、动态范围信息、色调映射信息或者预测系数，诸如本文所描述的那些。

在接收器上，解码器150使用所接收的经编码的比特流和元数据，以根据目标显示器的能力来呈现SDR图像或者VDR图像。例如，SDR显示器可仅使用基层和元数据来呈现SDR图像。相比之下，VDR显示器可使用来自所有输入层的信息和元数据来呈现VDR信号。

图2更详细地示出了包括本发明的方法的编码器130的示例实现方式。在图2中，SDR’表示增强的SDR信号。SDR视频现在是8比特、4:2:0、ITU Rec.709数据。SDR’可具有与SDR相同的颜色空间(原色和白点)，但是，对在全空间分辨率下的所有颜色成分(例如，4:4:4RGB)可使用高精度，比方说每个像素12比特。根据图2，能够利用一组正变换从SDR’信号容易地导出SDR，所述一组正变换可包括从比方说每个像素12比特到每个像素8比特的量化，比方说从RGB到YUV的颜色变换以及比方说从4:4:4到4:2:0的颜色子采样。变换器210的SDR输出施加于压缩系统220。根据应用，压缩系统220可能是有损耗的(诸如H.264或MPEG-2)或者无损耗的。压缩系统220的输出可作为基层225传输。为了减小经编码的信号与经解码的信号之间的偏移，编码器130可在压缩处理220之后紧接对应的解压缩处理230和对应于正变换210的逆变换240。因此，预测算子250可具有下列输入：VDR 125输入，以及SDR’信号245(当该信号将由对应的解码器接收时其对应于SDR’信号)或输入SDR’207。使用输入的VDR和SDR’数据的预测算子250将创建信号257，信号257表示输入VDR 125的近似或估计。加法器260从初始的VDR 125减去经预测的VDR 257以形成输出残余信号265。随后(未示出)，残余265也可由另一有损耗或无损耗的编码器进行编码并且可作为增强层传输至解码器。

预测算子250还可提供在预测处理中使用的预测参数，作为元数据255。由于预测参数可在编码处理期间例如逐帧地或者逐场景地变化，所以这些元数据可作为还包括基层及增强层的数据的一部分传输至解码器。

由于VDR 125和SDR’207都表示相同的场景，但针对的是具有不同特征(诸如，动态范围和色域)的不同显示器，所以期望这两个信号具有非常紧密的关联性。例如，于2012年4月13日提交的国际专利申请No.PCT/US2012/033605描述了多变量、多元回归(MMR)预测算子250，其允许所输入的VDR信号使用其对应的SDR’信号和多变量MMR算子来进行预测。这样的预测算子就其不考虑如何从初始VDR信号产生SDR’信号而言可认为是“盲”预测算子。在本发明中，提出了一种新的预测算子，其在利用原色校正操作(诸如，提升、增益、伽玛、色调以及饱和度变化)从VDR信号产生SDR’信号的假设下使预测误差最小化。

示例颜色分级模型

我们将专业调色师、负责人等可设定图像中的像素的色调和颜色，使得当观看时图像具有符合负责人的创造意图的期望外观时的前期制作或灌制定义为颜色分级。例如，负责人会希望天空看上去更亮或者场景看上去更暗，突出或不突出。调节图像中的像素的色调和颜色可包括对源视频数据执行颜色分级(有时用传统术语“颜色调解”来称呼)。可利用硬件/软件系统来执行颜色分级，所述硬件/软件系统允许用户以多种方式改变视频数据以在目标显示器上实现期望的外观。

原色校正方面的主要控制是：提升、增益以及伽玛(LGG，lift，gain and gamma)控制和色调和饱和度(H.S.，hue and saturation)控制。提升改变暗部，增益改变亮部以及伽玛改变中间色调。

给定输入x，以及提升(L)、增益(G)以及伽玛参数，经LGG校正的输出由下式给出：

y＝G.(x+L.(1-x))^gamma。 (1)

给定了输入1×r向量x(比方说，x＝[x₀，...，x_r])，其中r表示输入像素的颜色成分的数量，色调和饱和度操作可表示为矩阵向量相乘

y＝xM， (2)

其中，M是r×r变换矩阵，y是1×r输出向量。例如，如果在RGB颜色空间中定义了输入像素，则r＝3，并且M将是3×3矩阵。

图3示出了根据本发明的示例实施方式的预测算子250的输入和输出接口。根据图3，预测算子250接收分别表示VDR图像数据和SDR图像数据的输入向量v 125和s 145，并且输出表示输入v的预测值的向量可选地，预测算子250还可接收输入元数据330，所述元数据330涉及用于从v导出s的颜色分级处理。预测算子250还可输出所计算的预测参数350，所述预测参数350可作为元数据传递至解码器。

示例标记法和命名法

假设通过像素来表示图像，其中，每个像素具有n个颜色成分，在示例实现方式中，在n＝3时，SDR图像145中的第i个像素的颜色成分标记为

s_i＝[s_i1 s_i2 s_i3]。 (3)

VDR 125输入中的第i个像素的三个颜色成分标记为：

v_i＝[v_i1 v_i2 v_i3]。 (4)

预测的VDR 257中的第i个像素的经预测的三个颜色成分标记为：

{\hat{v}}_{i} = [\begin{matrix} {\hat{v}}_{i 1} & {\hat{v}}_{i 2} & {\hat{v}}_{i 3} \end{matrix}] . - - - (5)

一个颜色成分中的像素总数标记为p。在等式(3-5)中，图像像素可以是RGB、YUV、YCbCr、XYZ，或者任意其他颜色表示。尽管等式(3-5)针对每个图像或视频帧中的每个像素假定三个颜色表示，但还如后面所示，本文所描述的方法可容易地扩展至每个像素具有多于三个颜色成分的图像和视频表示，或者扩展至这样的图像表示：其中输入中的一个输入可具有颜色成分数量与其他输入不同的像素。

根据等式(1)和(2)，给定VDR输入v，假定经由两个阶段的操作来创建SDR信号；即，对每个单独颜色通道进行范围调节的非线性操作，用于色调和饱和度调节的线性变换，然后根据本发明的示例实现方式，VDR至SDR模型可表示为

s＝N(v)M， (6)

其中，N()是非线性函数并且M是矩阵算子。函数N()可以是用在色调映射或色域变换中的任意非线性函数。可取地，但并不是必要地，函数N()是可逆的；即，给定y＝N(x)，存在对应的函数N^-1()，使得，x＝N^-1(y)。

于2012年3月15日提交的国际专利申请No.PCT/US2012/029189中给出了S状N()函数的示例。可选地，在本文所述的其他示例实现方式中，N()可表示斜率偏移幂(SOP，slope-offset-power)形式的非线性函数，如在“ASC color decision list(ASC CDL)transferfunctions and interchange syntax”，by J.Pines and D.Reisner,published by theAmerican Society of Cinematographers,(document:ASC-CDL_Release1.2，2009-05-04)中所描述的。

根据等式(6)，给定输入SDR信号s，输出可以利用下式导出初始VDR信号v的近似，

\hat{v} = N^{- 1} ({sM}^{- 1}), - - - (7)

其中，N^-1()是N()的逆，M^-1是M的逆。

传统的提升、增益以及伽玛操作能够单独地或者结合地轻易转换成本文中所描述的斜率、偏移以及幂(SOP)操作。给定输入x和SOP参数Slope，P(幂)以及O(偏移)，SOP操作可表示为，

N(x)＝(Slope·x+O)^P， (8)

以及

N^{- 1} (y) = \frac{1}{S l o p e} (y^{1 / P} - O) . - - - (9)

根据等式(6-9)，如果VDR至SDR处理的输出(比方说，145)向预测算子(比方说，250)提供用于创建SDR输入的颜色分级参数，则预测算子250能够利用等式(7)和(9)导出VDR输入的估计。在这个预测模型(本文称为SOP+M模型)中，所使用的颜色分级参数是slope、P以及O参数的列表(总称为ASC颜色确定表(ASC CDL))，和线性变换矩阵M的元素，该线性变换矩阵M可表示用于色调和饱和度变换的所有矩阵的乘积。然而，在实际中，可能得不到这些M和SOP参数。在那种情况下，预测算子250将必须估计M和SOP参数。接下来描述估计这些参数的示例预测算子。

使用SOP+M颜色分级模型的示例预测

在等式(7)中，由于矩阵M^-1可表示如下，所以简化了标记法，

M^{- 1} = [\begin{matrix} m_{1} \\ m_{2} \\ m_{3} \end{matrix}], - - - (10)

其中，对于j＝1,2,3，m_j＝[m_j1 m_j2 m_j3]表示1×3向量，所述1×3向量对应于M^-1中的第j行并且表示与导出预测输出像素的第j个颜色成分有关的线性色调和饱和度颜色变换。

根据(7)和(9)，N^-1()和M^-1可结合成单个的预测函数并且应用非线性回归方法来估计自由参数m_ij、Slope_i、P_i以及O_i(i和j＝1,2,3)，如下：

在等式(11)中，s_i ^T表示向量s_i的转置，并且像素的第j个颜色成分取决于对应的s_i像素的所有三个颜色成分。因此，与其他单个颜色通道预测算子不同的是，SOP+M预测算子是颜色间预测算子并且因此能够在颜色分级处理期间更好地预测色调和饱和度变换。

根据等式(11)，每个经预测的VDR颜色通道j能够表示为取决于六个自由参数(m_j1，m_j2，m_j3，Slope_j，P_j以及Q_j)的非线性函数。因此，对于具有3个颜色成分的VDR和SDR图像，SOP+M预测模型需要总共18个预测参数。考虑图像中所有的像素，则等式(11)还可表示

\hat{V} = {NS}^{- 1} (c, S), - - - (12)

其中，NS^-1()表示具有如下输入的非线性函数

S = [\begin{matrix} s_{0} \\ s_{1} \\ . \\ . \\ . \\ s_{p - 1} \end{matrix}], - - - (13)

并且1×18“SOP+M”参数向量c＝[c₁ c₂ c₃]，其中，c_j＝[m_j1，m_j2，m_j3，Slope_j，P_jO_j]，(j＝1,2,3)，以及

\hat{V} = [\begin{matrix} {\hat{v}}_{0} \\ {\hat{v}}_{1} \\ . \\ . \\ . \\ {\hat{v}}_{p - 1} \end{matrix}] . - - - (14)

给定非线性等式(12)的系统，对参数向量c进行求解的一种方法是通过求解优化问题来进行

\min_{c} ϵ = | | V - \hat{V} | |^{2}, - - - (15)

其中，ε表示预测误差。

示例实施例通过应用数值的非线性回归处理来计算这个最小化问题。例如，通过在“Chapter 10of the book“Numerical Optimization,”by J.Nocedal and S.J.Wright,Springer,1999”中描述的Levenberg-Marquard(莱温柏杰-马夸德)方法，实施例可以实现数值的、非线性回归处理。尽管Levenberg-Marquard方法是描述性的示例，但实施例不限于通过这个特定的方法来计算数值的非线性回归处理。相反，本发明的实施例也适合于通过其他方法来计算数值的非线性回归处理。

图4描绘了考虑到颜色分级处理的预测处理400的示例实现方式，所述颜色分级处理应用来从输入VDR导出输入SDR。在步骤410，处理400接收了具有从VDR信号导出SDR信号的颜色分级处理的特征的可选元数据和SDR和VDR输入。例如，这种元数据可包括颜色映射函数N()、颜色变换矩阵M、或者表示应用于初始VDR图像的LGG或SOP步骤的序列的色彩确定列表(CDL，color decision list)。在步骤420中，处理400应用逆颜色分级模型以计算VDR输入的估计。如果颜色分级模型参数中的任意参数缺失，则也将在步骤420估计这些参数。最后，在步骤430中输出预测的VDR和任意相关预测参数。

可根据需要以多种时间间隔来重复预测处理400，以在处理需求在可用的计算资源内的同时保持编码效率。例如，当对视频信号进行编码时，处理400可在预测残余误差超过特定阈值时或者利用准则的结合来针对每一帧、帧的一部分或者一组帧进行计算。

预测处理400还能够使用所有可用的输入像素或者那些像素的子采样。在一个示例实现方式中，可以使用仅来自输入数据的每第k个像素行和每第k个像素列的像素，其中k是等于或大于2的整数。在另一示例实现方式中，可以决定跳过处于特定裁剪阈值(例如，非常接近于0)以下的输入像素或者处于特定饱和阈值(例如，对于n比特数据，非常接近于2ⁿ-1的像素值)以上的像素。在另一实现方式中，可使用这种子采样和阈值化技术的结合，以减小像素采样大小并且适应特定实现方式的计算约束。

图5更详细地描绘了当颜色分级处理是基于SOP+M模型时的步骤420的示例实现方式。如果，预测算子可完全获取色调/饱和度变换矩阵M和颜色确定表(CDL)，则在步骤540，预测算子能够应用等式(7)。否则，在步骤520中，预测算子能够使用等式(12)的系统，以用公式表示优化问题并且求解预测参数向量c。在示例实现方式中，能够通过利用之前所讨论的非线性回归技术使预测误差最小化来求解这个方程系统。

将SOP+M模型应用于具有多于三个原色的图像

所有所提出的基于颜色分级的预测模型能够容易地扩展至用多于三个的原色表示的图像。作为示例，我们考虑这样的情况，其中，SDR信号具有三个原色，比方说RGB，但是VDR信号在具有六个原色的P6颜色空间中定义。在这种情况下，等式(3-5)能够重写为

s_i＝[s_i1 s_i2 s_i3]， (16)

v_i＝[v_i1 v_i2 v_i3 v_i4 v_i5 v_i6]， (17)

并且

{\hat{v}}_{i} = [\begin{matrix} {\hat{v}}_{i 1} & {\hat{v}}_{i 2} & {\hat{v}}_{i 3} & {\hat{v}}_{i 4} & {\hat{v}}_{i 5} & {\hat{v}}_{6} \end{matrix}] . - - - (18)

与前面一样，将一个颜色成分中的像素数量标记为p。给定等式(16-18)，等式(11)的SOP+M预测算子可表示为

其中，如前面所描述的，m_j表示6×3矩阵M^-1的第j行系数向量。在这种示例实现方式的情况下，在等式(12)的SOP+M模型中，对于每p个图像像素的组，参数向量c将由总共36个未知参数组成，将利用上述的方法来计算这些参数。还应注意的是，本文中所定义的M^-1只是在SOP+M模型下的逆颜色变换处理的近似表示。对于非方形M矩阵(当VDR和SDR图像不具有相同的颜色成分数量时所得到的)，M^-1与M的伪逆矩阵更密切相关。

图像解码

可在图像编码器或在图像解码器上实现本发明的实施例。图6示出了根据本发明的实施例的解码器150的示例实现方式。

解码系统600接收经编码的比特流，该经编码的比特流可兼有基层157、可选的增强层(或残余)665以及元数据645，它们在解压缩630和多种逆变换640之后被提取。例如，在VDR-SDR系统中，基层157可表示经编码的信号的SDR表示，元数据645可包括与在编码器预测算子250中使用的预测模型和对应的预测参数有关的信息。在一种示例实现方式中，当编码器使用根据本发明的方法的基于颜色分级的预测模型时，元数据可包括颜色变换矩阵M、CDL数据、与N()颜色变换函数有关的信息或者颜色分级参数向量c的值。给定基层157和从元数据645提取的颜色分级参数，则预测算子650能够利用等式(7)或等式(11-12)计算预测的680。如果不存在残余，或者残余可忽略，则经预测的值680能够作为最后的VDR图像直接输出。否则，在加法器660中，预测算子(680)的输出添加至残余665，以输出VDR信号155。

示例计算机系统实现方式

可通过计算机系统、以电子电路和组件配置的系统、集成电路(IC，integratedcircuit)器件(诸如微控制器、现场可编程门阵列(FPGA，field programmable gatearray)或另一可配置或可编程逻辑器件(PLD，programmable logic device))、离散时间或数字信号处理器(DSP，digital signal processor)、专用IC(ASIC，application specificIC)和/或包括一个或更多个这样的系统、器件或组件的装置来实现本发明的实施例。计算机和/或IC可执行、控制或运行与基于颜色分级的预测(诸如，如本文中所描述的那些)有关的指令。计算机和/或IC可计算与如本文所描述的基于颜色分级的预测有关的多种参数或值中的任一个。可以以硬件、软件、固件以及它们的多种组合来实现图像和视频动态范围扩展实施例。

本发明的特定实现方式包括计算机处理器，其执行软件指令，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、代码转换器等中的一个或更多个处理器可通过执行处理器可访问的程序存储器中的软件指令来实现如上所述的基于颜色分级的预测方法。本发明还以程序产品的形式提供。程序产品可包括任意介质，所述任意介质承载包括指令的一套计算机可读信号，所述指令在通过数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是多种多样的形式中的任意一种形式。程序产品可包括例如物理介质，诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光数据存储介质，包括ROM、闪存RAM的电子数据存储介质，等。程序产品上的计算机可读信号可选地可以进行压缩或加密。

上面所指的组件(例如，软件模块、处理器、配件、器件、电路等)，除非另有指示，否则对该组件的引用(包括对“装置”的引用)应被解释为包括作为那个组件的等同物的、执行所描述的组件的功能(例如，功能上等同)的任意组件，包括结构上不等同于执行本发明的所例举示例实施例中的功能的所公开结构的组件。

等同、扩展、替换以及多样化

因此描述了涉及在对VDR和SDR图像进行编码的过程中应用基于颜色分级的预测的示例实施例。在前述的说明书中，已参考会因实现方式不同而变化的很多具体细节来描述了本发明的实施例。因此，本发明的技术方案以及申请人认为发明所涉及的技术方案的唯一指示是一套权利要求，所述一套权利要求源于本申请、按照公布这样的权利要求所遵循的特定形式、包括后续的修正。本文针对在这样的权利要求中所包含的术语所给出的任何明确定义应涵盖如权利要求中所使用的这种术语的含义。因此，权利要求中没有明确陈述的限制、元件、属性、特征、优点或标志不应以任何方式限制这种权利要求的范围。因此说明书和附图被看作是说明性的而没有限制的意思。

Claims

1.一种图像预测方法，包括：

接收第一图像v(125)和第二图像s(145)，其中，所述第二图像s(145)具有与所述第一图像v(125)不同的动态范围；

接收与颜色分级处理有关的元数据(330)，其中，所述颜色分级处理用于从所述第一图像v(125)导出所述第二图像s(145)；

其中，涉及所述颜色分级处理的元数据(330)包括颜色变换矩阵M和非线性函数的斜率S、偏移O以及幂P参数；

将所述第一图像v(125)和所述第二图像s(145)应用到逆颜色分级预测处理，以计算表示所述第一图像v(125)的预测值的输出图像(257)；

其中，所述逆颜色分级预测处理包括非线性预测处理，所述非线性预测处理包括斜率S、偏移O以及幂P参数并且与所述颜色变换矩阵M有关；

其中，所述非线性预测处理包括根据下面的等式将线性算子M^-1应用于第二图像s(145)以产生中间值并且将非线性函数N^-1应用于所述中间值以产生所述输出图像(257)：

\hat{v} = N^{- 1} ({sM}^{- 1}),

其中，所述线性算子M^-1包括所述颜色变换矩阵M的逆，所述非线性函数N^-1包括根据下列等式的斜率S、偏移O以及幂P参数：

以及

输出所述逆颜色分级处理的预测参数(350)和所述输出图像(257)。

2.根据权利要求1所述的方法，其中，所述逆颜色分级预测处理进一步包括将颜色变换矩阵与颜色分级函数s(145)的输出相乘，其中，所述颜色分级函数s(145)的输出通过斜率S、偏移O以及幂P参数以及输入v(125)来表示。

3.根据权利要求1所述的方法，其中，所述颜色分级处理包括具有斜率S、偏移O以及幂P参数的非线性函数。

4.根据权利要求2所述的方法，其中，所述函数的输出包括自乘所述幂P次的中间和，其中，所述中间和包括偏移O参数加上将所述函数的输入v(125)与所述斜率S参数相乘的结果。

5.一种图像预测方法，包括：

将所述第一图像v(125)和所述第二图像s(145)应用到非线性预测处理，以计算表示所述第一图像v(125)的预测值的输出图像(257)，所述非线性预测处理包括非线性函数的斜率S、偏移O、和幂P参数以及颜色转换矩阵M的逆M^-1；

\hat{v} = N^{- 1} ({sM}^{- 1}),

其中，所述非线性函数N^-1包括与根据下列等式的斜率S、偏移O和幂P参数有关的参数：

N^{- 1} (y) = \frac{1}{S} (y^{1 / P} - O);

响应于所述第一图像v(125)和所述第二图像s(145)，通过根据下列等式求解优化问题以使预测误差ε最小化从而确定参数向量c，来产生模型的预测参数M^-1、S、O以及P：

\min_{c} ϵ = | | V - \hat{V} | |^{2}

其中，

\hat{V} = {NS}^{- 1} (c, S),

NS¹O表示输入为所述第二图像s(145)和所述参数向量c的非线性函数，以及

所述参数向量c包括所述模型的预测参数M^-1、S、O以及P；以及

输出所述模型的预测参数M^-1、S、O以及P和所述输出图像(257)。

6.根据权利要求5所述的方法，其中，所述第一图像v(125)包括视觉动态范围(VDR)图像并且所述第二图像s(145)包括标准动态范围(SDR)图像。

7.根据权利要求5所述的方法，其中，所述预测处理包括：

计算第一结果，其中，计算所述第一结果包括：

将第一向量与第二向量之间的向量相乘的结果自乘1/第j个幂参数次；

其中，所述第一向量表示来自所述第二图像s(145)的第i个像素的颜色成分的值；

其中，所述第二向量表示颜色变换矩阵M的第j行；以及

将第i个输出像素的每个第j个颜色成分表示为分子除以第j个斜率参数的比率；

其中，所述分子包括从所述第一结果减去第j个偏移参数。

8.根据权利要求7所述的方法，其中，所述输出(257)总共具有n个颜色成分，其中，n包括正整数。

9.根据权利要求8所述的方法，其中，n等于3。

10.一种图像解码方法，包括：

接收具有第一动态范围的第一图像s(157)；

接收与颜色分级处理有关的元数据(645)，其中，所述颜色分级处理用于从第二图像导出所述第一图像s(157)，所述第二图像具有与所述第一动态范围不同的第二动态范围；

其中，涉及所述颜色分级处理的元数据(645)包括颜色变换矩阵M和非线性函数的斜率S、偏移O以及幂P参数；

将所述第一图像s(157)和所述元数据(645)应用到逆颜色分级预测处理(650)以计算输出图像(680)，所述输出图像表示所述第二图像的预测值；

其中，所述逆颜色分级预测处理(650)包括非线性预测处理，所述非线性预测处理包括斜率S、偏移O以及幂P参数并且与所述颜色变换矩阵M有关；

其中，所述非线性预测处理包括根据下面的等式将线性算子M^-1应用于所述第一图像s(157)以产生中间值并且将非线性函数N^-1应用于所述中间值以产生所述输出图像(680)：

\hat{v} = N^{- 1} ({sM}^{- 1}),

N^{- 1} (y) = \frac{1}{S} (y^{1 / P} - O) .

11.根据权利要求10所述的方法，其中，所述第一图像s(157)包括标准动态范围(SDR)图像并且所述第二图像包括视觉动态范围(VDR)图像。

12.根据权利要求10所述的方法，其中，所述逆颜色分级预测处理(650)包括：

计算第一结果，其中，计算所述第一结果包括：

其中，所述第一向量表示来自所述第二图像的第i个像素的颜色成分的值；

其中，所述第二向量表示颜色变换矩阵的第j行；以及

其中，所述分子包括从所述第一结果减去第j个偏移参数。

13.一种装置，包括处理器并且配置成执行权利要求1-12中所述的方法中的任意一种方法。