CN103493490A - 非线性视觉动态范围残留量化器 - Google Patents

Abstract

在分层VDR编码中，在由后续编码器进行编码之前通过非线性量化器来量化层间的残留。呈现了若干非线性量化器。这些非线性量化器可以基于由一个或多个控制其中间范围斜率的自由参数来控制的类似sigmoid的传递函数。这些函数也可以依赖于补偿、输出范围参数和输入数据的最大绝对值。量化器参数可以是时变的并且被发送至分层解码器。本文中所描述的示例非线性量化器可以基于μ律函数、sigmoid函数和/或拉普拉斯分布。

Description

非线性视觉动态范围残留量化器

相关申请的交叉引用

本申请要求于2011年4月25日提交的美国专利临时申请No.61/478,836的优先权，其全部内容通过引用合并到本文中。

技术领域

本发明一般涉及图像。更具体地，本发明的实施方式涉及高动态范围图像的分层编码中残留信号的非线性量化和解量化。

背景技术

如本文中所使用的，术语“动态范围”（DR）可以涉及人类心理视觉系统（HVS）感知图像的强度（例如亮度（luminance、luma））的范围（例如从最暗到最亮）的能力。在这种意义上，DR涉及“场景相关”的强度。DR也可以涉及显示装置充分地或近似地渲染具体带宽的强度范围的能力。在这种意义上，DR涉及“显示相关”的强度。除非在本文的描述中的任何点明确指定具体的意义具有具体的含义，否则应当推断例如可交换地使用该术语的任一意义。

如本文中所使用的，术语高动态范围（HDR）涉及跨越人类视觉系统（HVS）的大约14至15个数量级的DR宽度。例如，良好地适应的具有基本正常（例如，在统计学、生物计量学或眼科学中的一个或多个的意义上）的人具有跨越大约15个数量级的强度范围。适应了的人可以感知具有为数不多的少量光子的黯光源。然而，同样的人可以感知沙漠、大海或雪中正午的太阳的近乎刺痛的明亮强度（或甚至看一眼太阳，但是短暂地以防止伤害）。然而该跨度可用于“适应了的”人，例如，那些HVS具有用于重置和调整的时间段的人。

相比之下，人可以同时感知强度范围的广泛宽度的DR相比于HDR可能有些缩减。如本文中所使用的，术语“视觉动态范围”或“可变动态范围”可以单独地或可互换地涉及可由HVS同时感知的DR。如本文所使用的，VDR可以涉及跨越5至6个数量级的DR。因而尽管与涉及真实情景的HDR相比可能有些窄，VDR仍然呈现宽的DR宽度。如本文中所使用的，术语“同时动态范围”可以与VDR有关。

直到最近，显示器已经具有显著地比HDR或VDR窄的DR。使用典型的阴极射线管（CRT）、具有恒定的荧光白色背光照明的液晶显示器（LCD）或等离子屏幕技术的电视机（TV）和计算机显示器设备在其DR渲染能力方面被限制在接近3个数量级。因而与VDR和HDR相比，这种传统显示器代表低动态范围（LDR），也被称为标准动态范围（SDR）。

然而，其底层技术的发展使得更加现代的显示器设计能够呈现与在比较不现代的显示器上呈现的同样内容相比具有显著的改进的各种质量特性的图像和视频内容。例如，更现代的显示装置可能能够呈现高清晰度（HD）内容和/或可根据不同的显示性能（如图像缩放器）来缩放的内容。此外，一些更现代的显示器能够渲染具有比传统显示器的SDR更高的DR的内容。

例如，一些现代LCD显示器具有包括发光二级管（LED）阵列的背光单元（BLU）。BLU阵列的LED可以与有源LCD元件的偏振状态的调制分离地被调制。该双调制方法是可扩展的（例如，扩展至N调制层，其中N包括大于2的整数），如使用在BLU阵列与LCD屏幕元件之间的可控中间层。其基于LED阵列的BLU和双（或N）调制有效地增加具有这种特征的LCD显示器的涉及显示的DR。

这种通常称为“HDR显示器”（尽管实际上其性能可能更接近VDR的范围）以及其能够进行的DR扩展，与传统的SDR显示器相比在显示图像、视频内容和其他可视信息的能力上表现出显著的进步。这种HDR显示器可呈现的色域也可以显著地超过更传统的显示器的色域，甚至达到能够渲染广色域（WCG）的程度。场景相关HDR或VDR以及WCG图像内容（如可以由“下一代”电影和TV相机生成的），现在可以使用“HDR”显示器更加忠实和有效地显示（以下称为“HDR显示器”）。

如通过可伸缩视频编码和HDTV技术，扩展图像DR通常包括分叉方法。例如，使用现代的具有HDR能力的相机拍摄的场景相关HDR的内容可以用于生成该内容的SDR版本，该SDR版本可以在传统的SDR显示器上显示。在一种方法中，根据所拍摄的VDR版本生成SDR版本可以涉及将色调映射算子（TMO）应用于在HDR内容中强度（例如，亮度（luminance、luma））相关的像素值。在第二种方法中，如在2011年8月23日提出的国际专利申请PCT/US2011/048861中描述的（其内容为所有目的通过引用合并到本文中），生成SDR图像可以包括将可逆算子（或预测器）应用于VDR数据。为保护带宽或为其他原因，传输实际拍摄的VDR内容可能不是最好的方法。

因而，可以将相对于原始TMO相反的反色调映射算子（iTMO）、或相对于原始预测算子的反算子应用于所生成的SDR内容版本，其使得能够预测VDR内容的版本。可以将所预测的VDR内容版本与原始拍摄的HDR内容相比较。例如，从原始的VDR版本中减去所预测的VDR版本可以生成残余图像。编码器可以将所生成的SDR内容作为基本层（BL）发送，以及将所生成的SDR内容版本、任何残留图像以及iTOM或其他预测器打包为增强层（EL）或作为元数据。

在比特流中连同其SDR内容、残留和预测器发送EL和元数据通常所消耗的带宽少于在将HDR内容和SDR内容二者直接发送至比特流时消耗的带宽。接收由编码器发送的比特流的兼容解码器可以解码SDR并且将SDR在传统的显示器上呈现。然而兼容解码器也可以使用残留图像、iTMO预测器或元数据来计算由其产生的HDR内容的预测版本，以在性能更高的显示器上使用。

在这种分层VDR编码中，残留比特流可能要求多于传统的每色彩像素8位以用于适当的呈现。在没有任何预处理的情况下，使用传统的SDR压缩器（如由MPEG编码标准所描述的压缩器）的VDR残留的直接编码，可以造成严重的图片伪影，如块化伪影和带化伪影。本发明的目的是提供用于VDR分层编码中的残留的高效的预处理和编码的新方法。

在本发明的一种实施方式中，在编码前使用非线性量化器来预处理残留。残留VDR信号的这种压缩扩展（或比较）使得后续编码器能够更高效的操作并且降低编码伪影。

在本发明的一种实施方式中，残留量化器基于μ律非线性量化器和A律非线性量化器。在本发明的第二种实施方式中，残留量化器基于通用的Sigmoid函数。在本发明的第三种实施方式中，残留量化器基于传递函数，该传递函数基于拉普拉斯累积分布函数。也呈现了共同地修改残留非线性量化器和后续残留编码器二者的参数的方法的示例实现。

在本部分中描述的方法是可以执行的方法，但是不一定是先前已经构思或者执行过的方法。因此，除非另外指明，不应该假定在本部分中描述的方法仅由于其被包括在本部分中就被视作现有技术。类似地，除非另外指明，不应该基于本部分假定在任何现有技术中已经认识到了关于一个或多个方法而确定的问题。

附图说明

在附图的图形中通过示例而非以限制的方式示出了本发明的一种实施方式，并且其中同样的附图标记指代相似的元件，其中：

图1描绘了根据本发明的一种实施方式的用于VDR-SDR系统的示例数据流；

图2描绘了根据本发明的一种实施方式的示例分层VDR编码系统；

图3描绘了根据本发明的一种实施方式的示例分层VDR解码系统；

图4描绘了根据本发明的实施方式的非线性量化传递函数的示例；

图5A描绘了根据本发明的一个实施方式的示例非线性量化过程；

图5B描述了根据本发明的第二实施方式的示例非线性量化过程；

具体实施方式

给定一对相应的VDR和SDR图像，如表现同一场景的图像，每个图像处于不同的动态范围水平，已完成分层VDR编码中残留信号的改进的编码。通过结合基本层（如，SDR图像）与作为增强层的残留，对VDR图像进行编码。在一种实施方式中，增强层包括原始VDR图像与其被预测的（例如根据基本层而预测的）版本之间的差。在下面的描述中，为了说明的目的，陈述了许多具体细节以提供对本发明的透彻理解。然而，显然本发明可以不通过这些具体细节来实践。在其他情况下，为避免不必要地遮挡、掩盖和混淆本发明，在详尽的细节中没有描述众所周知的结构和装置。

概述

本文中所描述的示例实施方式涉及具有高动态范围的图像的分层编码。一种实施方式将非线性、基于Sigmoid的量化器应用于残留VDR图像，因而产生有利的编码效率以及改进的总体视频品质。

示例VDR-SDR系统

图1描绘了根据本发明的一种实施方式的VDR-SDR系统100中的示例数据流。使用HDR相机110拍摄HDR图像或视频序列。在拍摄之后，由母带处理（mastering）过程处理所拍摄的图像或视频，以创建目标VDR图像125。该母带处理过程可以包括多种处理步骤，如：编辑、初级色彩校正和次级色彩校正、色彩转换和噪声过滤。这个过程的VDR输出125表现指导者关于所拍摄的图像如何在目标VDR显示器上显示的意图。

母带处理过程也可以输出相应的SDR图像145，表现指导者关于所拍摄的图像如何在传统的SDR显示器上显示的意图。可以从母带处理电路120直接提供SDR输出145，或可以由单独的VDR至SDR转换器140生成SDR输出145。

在一种示例实施方式中，VDR125和SDR145信号被输入至编码器130。编码器130产生经编码的比特流，该比特流降低传输VDR信号和SDR信号所需要的带宽。此外，编码器130用于对信号进行编码，该信号使得相应解码器150能够解码和呈现SDR信号分量或VDR信号分量。在一种示例实施中，编码器130可以是分层编码器，如由MPEG-2和H.264编码标准定义的分层编码器之一，分层编码器将其输出呈现为基本层、可选增强层和元数据。如本文中所定义的，术语“元数据”涉及作为编码比特流的一部分传输并且帮助解码器呈现解码图像的任何辅助信息。这种元数据可以包括但不限于诸如这样的数据：色彩空间或色域信息、动态范围信息、色调映射信息或如本文中所描述的其他预测器和量化器算子。

在接收器上，解码器150根据目标显示器的性能使用所接收的编码比特流和元数据来呈现SDR图像或VDR图像。例如，SDR显示器可以仅使用基本层和元数据来呈现SDR图像。相反地，VDR显示器可以使用来自所有输入层的信息和元数据来呈现VDR信号。

图2描述了结合本发明的方法的编码器130的示例实现。在图2中，SDR输入207通常是8位、4:2:0、ITU Rec.709数据；然而该实施方式的方法也适用于其他SDR呈现。例如，一些实施方式可以使用增强SDR输入——SDR’，SDR’可以具有与SDR一样的色彩空间（原色和白度），但是可以使用高精度，例如每像素12位，在全空间分辨率下具有全部色彩分量（例如，4:4:4RGB）。SDR输入207被施加到压缩系统240。取决于应用，压缩系统240可以是有损的如根据H.264或MPEG-2标准，或无损的。压缩系统240的输出可以作为基本层225传输。为降低编码信号与解码信号之间的偏差，编码器130可以在压缩过程240之后跟随相应的解压缩过程230。信号235表示SDR输入，因为信号235将由解码器所接收。如例如在2012年4月13日提交的国际专利申请PCT/US2012/033605中所描述的，使用输入VDR205和SDR235数据的预测器250将产生信号257，信号257表示输入VDR205的近似或估计。加法器260从原始VDR205减去所预测的VDR257以形成输出残留信号265。也可以由另一有损或无损编码器220（如由MPGE标准定义的有损编码器或无损编码器）对残留信号265进行编码，以及可以在输出比特流中复用并且作为增强层传输至解码器。

预测器250也可以提供在预测处理中作为元数据255使用的预测参数。因为在编码过程期间预测参数可以改变（例如，逐帧地，或逐场景地），可以将这些元数据作为也包括基本层和增强层的数据的一部分传输至解码器。

残留265表示两个VDR信号之间的差，因而希望使用大于每色彩分量8位来表示残留265。在许多可能的实现中，编码器220可能不能支持该残留的全部动态范围。在一种示例实现中，残留可以是16位的而残留编码器220可以是标准H.2648位编码器。为使编码器220适应残留265的动态范围，量化器210把残留265从其原始位深度表示（如12位或16位）量化成较低的位深度表示。也可以将量化器参数复用至元数据比特流255。

在一种可能的实现中，可以通过线性量化器来预处理残留265。这样的编码是可能的；然而，因为在大多数情况下残留265中输出值的分布是不均衡的，因此可能经历严重的编码伪影，如块化伪影和带化伪影。

在本发明的一种示例实施方式中，描述了基于Sigmoid传递函数（如μ律传递函数）的特性的新的非线性量化器。

如本文中所使用的，术语“Sigmoid函数”涉及具有“S”形状的非线性函数并且在其中间范围具有相对线性的响应。图4描绘了这种传递函数的示例。

图3更详细地描绘了解码器150的示例实现。解码系统300接收可以将解压330之后被抽取的基本层337、增强层（或残留）332和元数据335进行组合的编码比特流。例如，在VDR-SDR系统中，基本层337可以表示编码信号的SDR呈现而元数据335可以包括关于在编码器中使用的预测（250）步骤和量化（210）步骤的信息。残留332被解码（340）、解量化（350）并且与预测器390的输出395相加以生成输出VDR信号370。在本发明的一种示例性实施方式中，描述了基于Sigmoid传递函数（如μ律传递函数）的特性的新的非线性解量化器。

残留量化

残留量化器210的目的是在由残留编码器（或压缩器220）如H.264编码器来编码之前限制残留VDR信号265的动态范围（位深度）。存在压缩方法如H.264压缩标准，该压缩方法在高于8位的位深度调整输入；然而，大多数市售的基于硬件的编码器和解码器不支持该特性。本发明的一个目的是使用目前市售的基于SDR的编解码器来实现VDR编码。

量化残留265的一种方法是应用均匀（线性）量化器。然而，可以发现VDR残留的分布不服从均匀分布并且经常呈现出类似高斯的非均匀分布。另外，当使用均匀量化器时，所重建的VDR图像通常包括块化伪影。

为克服均匀量化器的这些局限性的一种方法是使用非均匀量化器，如Lloyd-Max最优量化器。如果预先知道输入信号的概率分布函数（PDF），这种量化器可能是最优的。然而，因为残留的分布在帧与帧之间变化，当传输量化的元数据时，这种解决方案可能意味着较高的总开销成本。本文中在一个示例实现中呈现了基于拉普拉斯PDF的这种量化器。

另一方法是使用压缩扩展器如由sigmoid函数（如μ律函数或A率函数）定义的压缩扩展器。这种压缩扩展器已经成功地用于语音信号和音频信号的编码和传输；然而，据我们所知，没有这种方法被应用于残留VDR信号的量化。本发明的替代示例实施方式中也呈现了这中量化器。

如本文中所定义的，μ律和A律的正向传递函数和逆传递函数如下所述：

μ律

$y=c\left(x\right)=x_{\max }\frac{\ln (1+\mathrm{\μ}\frac{\left|x\right|}{x_{\max }})}{\ln (1+\mathrm{\μ})}\mathrm{sign}\left(x\right),---\left(1\right)$

$c^{-1}\left(y\right)=\frac{x_{\max }}{\mathrm{\μ}}[{(1+\mathrm{\μ})}^{\frac{\left|y\right|}{x_{\max }}}-1]\mathrm{sign}\left(y\right).---\left(2\right)$

其中x_max表示输入信号的最大绝对值。

A律

$y=c\left(x\right)=\left\{\begin{array}{cc}\frac{A\left|x\right|}{1+\ln A}\mathrm{sign}\left(x\right)& 0\≤\frac{\left|x\right|}{x_{\max }}\≤\frac{1}{A}\\ x_{\max }\frac{1+\ln \frac{A\left|x\right|}{x_{\max }}}{1+\ln A}\mathrm{sign}\left(x\right)& \frac{1}{A}\≤\frac{\left|x\right|}{x_{\max }}\≤1\end{array}\right.---\left(3\right)$

$c^{-1}\left(y\right)=\left\{\begin{array}{cc}\frac{\left|y\right|}{A}(1+\ln A)\mathrm{sign}\left(y\right)& 0\≤\frac{\left|y\right|}{x_{\max }}\≤\frac{1}{1+\ln A}\\ \frac{x_{\max }}{A}\exp [\frac{\left|x\right|}{x_{\max }}(1+\ln A)-1]\mathrm{sign}\left(y\right)& \frac{1}{1+\ln A}\≤\frac{\left|y\right|}{x_{\max }}\≤1\end{array}\right..---\left(4\right)$

根据等式（1）和等式（3），可以仅使用参数μ、x_max和A定义原始的μ律函数和A律函数。当残留编码器220的输入典型地在0到255（表示8位数字的范围）之间的范围内时，从编码效率的角度可能希望更加限制这个范围。将残留量化器的输出的期望最大动态范围的一半记为L_max，以及将使得量化器的输出始终为正的正偏置记为O，然后基于μ律的VDR残留量化器的示例实现可以定义为：

$c\left(x\right)=O+L_{\max }\frac{\ln (1+\mathrm{\μ}\frac{\left|x\right|}{x_{\max }})}{\ln (1+\mathrm{\μ})}\mathrm{sign}\left(x\right),---\left(5\right)$

$c^{-1}\left(y\right)=\frac{x_{\max }}{\mathrm{\μ}}[{(1+\mathrm{\μ})}^{\frac{|y-O|}{L_{\max }}}-1]\mathrm{sign}(y-O).---\left(6\right)$

对于基于A律的VDR残留量化器也可以推导出类似的函数。

图4示出了等式（5）中c(x)的一组曲线的示例，其针对归一化的输入x在-1到1（x_max=1）的范围内，O=128，L_max=128以及μ的值为1(m-1)、10(m-10)和100(m-100)。在实际应用中，等式(5)中的c(x)可以被上取整（ceiling）函数或任何其他取整（rounding）函数跟随，所以其结果总是整数。类似地，为补偿取整误差，在等式（6）中，可以使用|y-O|-0.5代替使用|y-O|。O的值依赖于量化器的输出的位深度。

根据图4，可以注意到等式（5）类似sigmoid函数，其中μ对于其中段输入值控制函数的斜率。对于大的μ值，c(x)在其中段几乎是线性的。

当仅根据4个参数表达等式（5）中的c(x)时，可以容易地以替代的参数化实现（如分段线性函数或高阶非线性函数）来表达同样的等式。也可以使用查找表实现传递函数。此外，因为视频信号典型地具有3个或更多个色彩分量，例如YUV、YCbCr或RGB，所以需要对于每个色彩分量优化残留量化器。因而，在一种示例实现中，使用等式（5）的μ律VDR量化器，量化器210需要将多达4组O、μ、x_max和L_max参数传递至解码器，一组用于残留的色彩分量中的一个。

在另一示例实现中，可以通过更普通的sigmoid函数来描述非线性量化传递函数，如：

$c\left(x\right)=O+L_{\max }\frac{\left|x\right|}{x_{\max }\mathrm{\σ}+\left|x\right|}\mathrm{sign}\left(x\right),---\left(7\right)$

和

$c^{-1}\left(y\right)=\left[\frac{{\mathrm{\σx}}_{\max }}{\frac{L_{\max }}{(y-O)}-1}\right]\mathrm{sign}(y-O),---\left(8\right)$

其中类似等式(5)中的μ，σ控制函数的中间范围斜率，而x_max、O和L_max参数的定义与之前相同。例如，在一种示例实现中，一组参数为x_max=1、O=128、L_max=128以及σ=0.1。

也可以通过以某个随机分布如拉普拉斯分布、指数分布、γ分布、高斯分布、柯西分布等为残留信号的分布建模，来设计非线性量化器。在另一示例实现中，通过使用如下拉普拉斯分布为残留信号建模来设计最佳量化器：

$p\left(x\right)=\frac{1}{2\mathrm{\α}}{e}^{-\frac{|x-\mathrm{\μ}|}{\mathrm{\α}}},---\left(9\right)$

其中μ是残留信号的平均值，以及

$\mathrm{\σ}=\sqrt{2}\mathrm{\α}---\left(10\right)$

是标准偏差。假设来自残留信号的N个采样，α可以被估计为：

${\widehat{\mathrm{\α}}}^2=\frac{1}{2N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|x_i-\widehat{\mathrm{\μ}}|}^2,---\left(11\right)$

其中

表示对平均值的估计。

给定等式(9)的拉普拉斯PDF，可以得出相应的累积分布函数（CDF）为

$c\left(x\right)=0.5[1+\mathrm{sign}(x-\mathrm{\μ})(1-e^{\left(\frac{-|x-\mathrm{\μ}|}{\mathrm{\α}}\right)})].---\left(12\right)$

等式（12）中的函数c(x)也具有sigmoid表示，以及α可以用于控制其中间部分的斜率。如前所述，可以缩放以及偏置等式（12）的值以适应跟随在非线性量化器之后的残留编解码器的输入要求。

在基于拉普拉斯CDF的非线性量化器的示例实现中，给定量化表的长度L，可以使用等式（9）至等式（12）和非线性量化器优化技术以得出控制输入值如何被映射至输出量化值的阈值。例如，在一种可能的实现中，可以使用最小均方根误差优化标准和优化技术如由M.D.Paez和T.H.Glisson在"Minimum Mean-Square-Error Quantization in Speech PCMand DPCM Systems",IEEE Trans.On Comm.,v.COM-20,n.2,pp.225-230,April1972中所描述的。

在一种示例实现中，仅在假设μ=0以及σ=1的情况下设计这些量化阈值并且这些量化阈值能够被编码器和解码器二者知道。然而，因为输入残留数据可以对于μ和σ具有不同的值，所以编码器可以根据需要调整这些阈值。编码器可以将所估计的μ值和σ值传递解码器，使其能够相应地调整相应的解量化器。

针对非线性VDR残留量化器的示例过程

图5A示出了根据本发明的示例实现的针对基于非线性的VDR残留量化的示例过程。

该过程开始于步骤510，其中量化器如量化器210接收VDR信号与其预测值之间的残留图像。在步骤520中，过程500计算用于等式（5）的量化器函数的精确表示所需的参数。这些参数包括对于整个视频序列不变的O、以及可以针对每个色彩分量以及针对每帧或每组帧分别计算的L_max、μ和x_max。最后，在步骤530中，残留VDR信号被量化。量化器参数可以作为元数据比特流的一部分被发送至解码器。

如认为有必要，残留量化器程序500可以以多种时间间隔重复，以在使用可用的计算资源的同时维持编码效率。例如，当对视频信号进行编码时，过程500可以在每预定的视频片段大小的基础上，对于每一帧、一组帧或任何其他合适的标准进行重复。

在很多可能的实现中，有利的是编码器130共同地调整非线性量化器210和残留编码器220中的量化参数。图5B示出了一种示例实现，其中步骤520目前接收两组输入：VDR残留510和来自残留编码器220的量化器输入。在一种示例实现中，量化器输入515可以是帧中块量化参数的平均值。在另一可能的实现中，输入515也可以由正在由残留编码器220使用的量化器的值的最大值、最小值或其他组合组成。

可以使用输入515来调整非线性量化器传递函数的参数中的任意参数。在一种实施方式中，给定所期望的输出比特流大小和帧中块量化参数的平均值（例如QP_avg），可以对于后续帧如下调整非线性量化器的最大输出值（等式（5）和等式（7）中的L_max）：

L_max=L_{max_ini}//将L_max设置为初始值

使用非线性量化参数来量化输入帧并且使用残留编码器对其进行压

缩；

从残留编码器读取QP_avg；

如果（QP_avg>第一阈值）

则降低（L_max）

如果（QP_avg<第二阈值）

则增大（L_max）

上面的算法考虑到当QP_avg过高，残留编码器可能工作负荷太大而不能满足比特流大小限制，并且如果L_max降低可以改进压缩效率。类似地，当QP_avg过低，残留编码器将不能有效地使用所分配比特流大小并且如果L_max升高其压缩效率可以改进。

VDR残留解码

本发明的实施方式可以实现在图像编码器上或图像解码器上。图3示出了根据本发明的实施方式的解码器150的示例实施。给定在一种示例实现中从元数据335中抽取的残留量化参数，例如使用等式（6）或等式（8）或通过使用查找表，残留解量化器350可以执行基于非线性的VDR解量化。如前面所解释的，可以将解量化的残留添加至预测器输出395以重建原始VDR信号。

示例计算机系统实现

本发明的实施方式可以通过下列系统实现：计算机系统、电子电路和部件中配置的系统、集成电路（IC）装置如微控制器、现场可编程门阵列（FPGA）、或另外的可配置或可编程逻辑装置（PLD）、离散时间信号处理器或数字信号处理器（DSP）、专用IC（ASIC）、和/或包括一个或多个这样的系统、装置或部件的设备。计算机和/或IC可以进行、控制或执行涉及如本文中所描述的残留量化的指令。计算机和/或IC可以计算涉及如本文所描述的非线性残留量化的各种参数或值中的任意参数或值。图像和视频动态范围扩展实施方式可以在硬件、软件、固件和其各种组合中实现。

本发明的某些实现包括计算机处理器，其执行使处理器进行本发明的方法的软件指令。例如，在显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现如上所述的基于非线性的残留量化方法。也可以以程序产品的形式提供本发明。该程序产品可以包括任何携带一组计算机可读信号的介质，该计算机可读信号包括指令，当由数据处理器来执行该指令时，使数据处理器执行本发明的方法。根据本发明的程序产品可以以多种形式中的任意形式。该程序产品可以包括例如物理介质如磁性数据存储介质（包括软盘、硬盘驱动器）、光学数据存储介质（包括CD ROM、DVD）、电子数据存储介质（包括ROM、闪存）等。程序产品上的计算机可读信号可选地可以是压缩的或加密的。

除非另外指明，上述部件（例如，软件模块、处理器、组件、装置、电路等）被提及的地方，到该部件的引用（包括对“装置”的引用）应该被理解为包括作为该部件的等同物的执行所描述的部件（例如，即功能等同物）的功能的任何部件，包括结构上与所披露的执行所示出的本发明的示例实施方式中的功能的结构不等同的部件。

等同物、延伸、替选和杂项

因而描述了涉及将基于非线性的残留量化应用于对VDR图像和SDR图像编码的示例实施方式。在前面的详述中，已经参照多个具体细节描述了本发明的实施方式，这些具体细节因实施方式的不同而不同。因而，本发明的内容以及由申请人意在作为本发明的唯一指示是以权利要求得出的具体形式从本发明得出的一组这样的权利要求，包括任何后来的修改。本文中为了包括在这样的权利要求中的术语所明确阐述的任何概念可以支配在权利要求中使用的这样的术语的含义。因此没有在权利要求中明确地陈述的所有限制、元素、属性、特征或优点不应当以任何方式限制这样的权利要求的范围。因此说明书和附图被看作是说明性的意义而不是限制的意义。

Claims (22)

1.一种用于对VDR图像进行编码的方法，包括：

接收残留VDR输入图像；

将非线性量化应用于所述残留VDR输入图像以输出量化VDR残留图像；以及

使用残留编码器对所述量化VDR残留图像进行编码；

其中所述残留VDR输入图像的位深度高于所述残留编码器所支持的位深度。

2.根据权利要求1所述的方法，其中，用于非线性量化的方法包括：

根据非线性传递函数，将所述输入残留VDR数据的像素值转换为相应的量化像素值；所述传递函数由一个或更多个自由参数、补偿参数和输出动态范围参数来表征；

其中所述传递函数的中间范围斜率被一个或更多个所述自由参数控制。

3.根据权利要求2所述的方法，其中，所述非线性传递函数还由所述输入像素值的最大绝对值来表征。

4.根据权利要求1所述的方法，其中，所述残留VDR图像的位深度为12位或16位，而所述残留编码器支持位深度为8位的输入信号。

5.根据权利要求2所述的方法，其中，所述自由参数是μ律函数或A律函数的参数μ和参数A。

6.根据权利要求2所述的方法，其中，所述补偿参数包括等于128的值。

7.根据权利要求2所述的方法，其中，所述输出动态范围参数包括0到128之间的值。

8.根据权利要求2所述的方法，其中，所述非线性传递函数包括可由以下表达式表示的过程：

$c\left(x\right)=O+L_{\max }\frac{\ln (1+\mathrm{\&mu;}\frac{\left|x\right|}{x_{\max }})}{\ln (1+\mathrm{\&mu;})}\mathrm{sign}\left(x\right)$

其中O表示所述补偿参数，L_max表示所述输出动态范围参数，x是输入像素值，c(x)是量化输出值，x_max是所述输入像素值的最大绝对值，而μ是所述自由参数。

9.根据权利要求2所述的方法，其中，所述非线性传递函数包括sigmoid函数。

10.根据权利要求2所述的方法，其中，所述非线性传递函数基于拉普拉斯概率密度函数（PDF）的累积分布函数（CDF）。

11.根据权利要求2所述的方法，其中，用于计算所述非线性传递函数的所述参数的方法还包括：

从所述残留编码器接收与所述残留编码器所使用的量化参数有关的信息；

基于所接收的信息调节所述非线性传递函数的所述参数。

12.根据权利要求11所述的方法，其中，用于计算所述非线性传递函数的所述输出动态范围参数的方法包括：

（a）将所述输出动态范围设置为初始值；

（b）应用所述非线性量化器的参数来量化输入残留VDR数据；

（c）针对所述数据计算所述残留编码器所使用的块量化参数的平均值；

（d）如果所述平均值高于第一阈值，则降低所述输出动态范围参数，或者如果所述平均值低于第二阈值，则增大所述输出动态范围参数。

13.根据权利要求2所述的方法，其中，所述非线性传递函数的所述参数作为元数据被用信号通知给解码器。

14.一种用于对VDR图像进行解码的方法，包括：

接收编码残留VDR图像；

对所述编码残留VDR图像进行解码以输出量化残留VDR图像；

使用非线性解量化器对所述量化残留VDR图像进行解量化以输出残留VDR输出图像。

15.根据权利要求14所述的方法，其中，所述非线性解量化器的传递函数是在权利要求2中使用的非线性量化器的传递函数的逆函数。

16.根据权利要求15所述的方法，其中，所述非线性量化器的所述传递函数为根据权利要求8所述的非线性传递函数，并且所述非线性解量化器的所述传递函数由下式给出：

$c^{-1}\left(y\right)=\frac{x_{\mathrm{amx}}}{\mathrm{\&mu;}}[{(1+\mathrm{\&mu;})}^{\frac{|y-O|}{L_{\max }}}-1]\mathrm{sign}(y-O),$

其中O表示补偿参数，L_max表示所述非线性量化器的所述输出动态范围参数，y是输入量化像素值，c^-1(y)是所述解量化输出值，x_max是所述量化像素值的最大绝对值，而μ是所述自由参数。

17.根据权利要求1所述的方法，其中所述残留编码器是MPEG编码器。

18.根据权利要求14所述的方法，其中使用MPEG解码器对所述编码残留VDR图像进行解码。

19.一种包括处理器并且被配置成执行权利要求1所述的方法的设备。

20.一种包括处理器并且被配置成执行权利要求18所述的方法的设备。

21.一种计算机可读存储介质，其上存储有用于执行根据权利要求1所述的方法的计算机可执行指令。

22.一种计算机可读存储介质，其上存储有用于执行根据权利要求18所述的方法的计算机可执行指令。

Images