CN103563376A

CN103563376A - 视频编码和解码

Info

Publication number: CN103563376A
Application number: CN201280027557.3A
Authority: CN
Inventors: C.达卡特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2011-04-08
Filing date: 2012-03-30
Publication date: 2014-02-05
Also published as: US20140029665A1; WO2012137114A1; EP2695382A1; RU2013149856A; JP2014517556A

Abstract

一种编码器包括用于接收包含至少一个图像的视频信号接收器（101）。估计器（107）响应于所述至少一个图像中的一个或多个图像的图像内容，确定用于所述至少一个图像中的第一图像的至少一部分的光幕亮度估计。所述光幕亮度估计在图像被再现时反映由图像在眼中生成的眩目光的量。量化适配器（109）响应于所述光幕亮度估计，确定用于第一图像的所述至少一部分的量化方案，并且编码单元（103，105）使用用于第一图像的所述至少一部分的量化方案对视频信号进行编码。所述光幕亮度估计可以被低通滤波以仿真人类亮度适应性。提供了一种对应的解码器。特别是针对高动态范围图像，可以实现改进的编码。

Description

视频编码和解码

发明领域

本发明涉及视频编码和/或解码，并且特别地而非排他地涉及高动态范围图像的编码和解码。

背景技术

随着数字信号表示和通信日益取代模拟表示和通信，各种源信号的数字编码在过去几十年已变得日益重要。在如何改进可以从编码图像和视频序列获得的品质而同时将数据速率保持在可接受的水平方面，正在进行持续的研究和开发。

感知的图像品质的一个重要因素是当显示图像时可以复现的动态范围。然而，常规上，复现的图像的动态范围相对于正常视觉已倾向于显著地减小。事实上，在真实世界中遇到的亮度水平跨越从无月光的夜晚到直视太阳的多达14个数量级的动态范围。

然而，传统上显示器（特别是电视机）的动态范围与真实生活环境受到限制。典型地，显示器的动态范围被限制在大约2-3个数量级。例如，大多数工作室参考监视器具有80-120cd/m²的峰值亮度和1:250的对比率。对于这些显示器，亮度水平、对比率和色域已被标准化（例如NTSC、PAL和最近用于数字TV的：Rec.601和Rec.709）。传统上有可能存储和传输8位伽玛编码格式的图像，而不在传统再现设备上引入明显感知的伪像。

然而，近来，正在引入具有高得多的峰值亮度（例如4000cd/m²）和导致明显更大的动态范围（5-6个数量级）的更深黑色水平的显示器。与被称作低动态范围（LDR）显示器的常规显示器相比，这些显示器典型地被称作高动态范围（HDR）显示器。这些HDR显示器接近我们在日常生活中看见的对比度和亮度水平。期待未来的显示器将能够提供甚至更高的动态范围并特别地提供更高的峰值亮度和对比率。

在视频生产链的另一侧，使用胶片或电子传感器的照相机被经常使用。模拟胶片照相机曾在过去使用并且仍被广泛使用。模拟胶片的动态范围（幅度（latitude））相当好（5-6个数量级），并且因此产生了具有高动态范围的内容。直到最近，使用电子器件的数字摄像机与模拟胶片相比，倾向于具有显著减小的动态范围。然而，已经开发出能够记录多于6个数量级的动态范围的增加的动态范围图像传感器，并且期待未来这将进一步增加。而且，大多数特效、计算机图形增强和其它后期制作工作已经以更高的位深和更高的动态范围常规地进行。另外，视频内容越来越多地人工生成。例如，计算机图形被用来生成例如视频游戏中的视频内容，但是也越来越多地生成为电影等。因此，越来越多地以高动态范围捕获视频内容。

当传统编码的8位信号被用来表示这样的增加的动态范围图像时，经常引入可见的量化和剪切伪像。而且，传统的视频格式提供不充分的净空和准确性以传达新的HDR图像中包含的丰富信息。

结果，存在对于新方法的增长的需求，这些方法允许消费者充分地受益于最新技术的（和未来的）传感器和显示系统的能力。一般地，总是希望提供改进的编码和/或解码并且特别地实现对数据速率比的改进的感知的品质。

因此，一种改进的用于编码和/或解码图像且特别是增加的动态范围图像的方法将是有利的。

发明内容

相应地，本发明寻求单个地或以任意组合地减轻、缓解或消除以上提到的缺点中的一个或多个。

根据本发明的一个方面，提供了一种用于对视频信号进行编码的编码器，所述编码器包括：接收器，其用于接收包含至少一个图像的视频信号；估计器，其用于响应于所述至少一个图像中至少一个的图像亮度测量，确定用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计；量化适配器，其用于响应于所述光幕亮度估计确定用于第一图像的所述至少一部分的量化方案；以及编码单元，其用于使用用于第一图像的所述至少一部分的所述量化方案对视频信号进行编码。

本发明可以提供改进的编码并且可以特别地提供数据速率与感知的品质之间的改进的权衡。特别地，它可以允许编码使用与量化的感知的影响更紧密地相符（align）的量化。

本发明可以特别地提供对诸如HDR图像之类的动态范围增加的图像的改进的编码。该方法可以允许量化对视觉影响的改进的适配，并且可以特别地允许量化的适配聚焦在更加可见的视亮度间隔上。

发明人认识到，与传统的编码方案对照，在很多场景中可以通过在确定用于编码的量化方案时考虑眩目光和光幕亮度的感知效果而实现显著改进的性能。发明人认识到，特别是对于新的HDR内容，眩目光和光幕亮度的影响当在量化的适配中被考虑时可能变得感知上明显并且导致明显的改进。

眩目光由于光在眼睛中的散射而发生，光在眼睛中的散射促使例如明亮的光源导致遮蔽视野中的相对较暗区域的光幕眩光。常规上，这样的效果被查看环境光源（例如观看明亮的日光）的影响所主导，并且当对信号进行编码时未被考虑。然而，发明人已经认识到，特别是对于新的显示器，当对信号进行量化时，可以有利地考虑由显示器自身造成的眩目光的效果。因而，该方法可以考虑当对图像进行编码时由图像的显示器自身造成的眩目的效果。

发明人进一步认识到，可以在没有不可接受地提高复杂度和资源需求的情况下实现这种方法。事实上，已发现为了估计光幕亮度而响应于甚至低复杂度模型来适配量化可以提供显著改进的编码效率。

光幕亮度被确定的第一图像的部分可以是像素、一组像素、图像区域或作为整体的第一图像。类似地，图像亮度测量可以针对一组像素、图像区域或一个或多个图像整体来确定。图像亮度测量可以典型地从第一图像自身来确定。

量化方案可以具体地是亮度量化方案。量化方案可以具体地对应于将连续（亮度）范围转换成离散值的量化函数。

在一些实施例中，视频信号可以仅包括一个图像，即所述至少一个图像可以是单个图像。在一些实施例中，视频信号可以是图像信号（具有单个图像）。

光幕亮度估计和/或量化方案的确定可以基于标称或标准显示器。例如，具有标称亮度输出（例如，由黑色水平、峰值水平或标称亮度水平表示）的标称（例如HDR）显示器可以被考虑并且被用作确定例如光幕亮度估计的基础。在一些实施例中，光幕亮度估计的确定可以基于要被用于再现的特定显示器的特性，例如最大视亮度、尺寸等。在一些实施例中，估计器可以被布置成基于标称显示器确定光幕亮度估计，然后响应于用于对图像进行再现的显示器的特性来调适光幕亮度估计。

根据本发明的可选特征，所述量化方案对应于用于光幕亮度估计的均匀感知的明亮度（luma）量化方案。

这可以提供特别高效的编码，并且特别地可以允许量化紧密地适应于观看者在观看图像时的感知。

均匀感知明亮度量化可以是在表示量化的感知明亮度域中的量化，其中每一个量化步长导致相同的光亮（lightness）感知的增加（如在实施例中由用于人类视觉系统的特定模型所测量的）。因而，均匀感知明亮度量化表示感知的亮度中的感知上均匀的步长。因而，均匀感知明亮度量化可以对应于在感知明亮度域中的明亮度值的等距离取样。

均匀感知明亮度量化方案可以包括对于给定人类感知模型具有相等感知意义（significance）的量化步长。具体地，均匀感知明亮度量化方案的每个量化间隔可以对应于相同（可能是分数）数量的恰可察觉差异（JND）。因而，均匀感知明亮度量化方案可以被生成为若干量化间隔，其中每一个量化间隔具有的尺寸是JND乘以给定的比例因子（可能具有小于1的值），其中比例因子对于所有量化间隔都是相同的。

根据本发明的可选特征，所述量化适配器被布置成：确定感知明亮度域中的均匀量化方案；响应于所述光幕亮度估计，确定将感知明亮度值与显示器值相关联的映射函数；并且响应于感知明亮度域中的所述均匀量化方案和映射函数确定用于显示器值的非均匀量化方案。

这可以提供对量化的特别高效的调适。可以在允许高效的实现方式的同时实现数据速率与感知品质之间的有利权衡。该方法可以允许资源需求保持相对较低。

特别地，该方法可以允许一种低复杂度的方法，用于确定用于显示器值的量化方案，以使得每一量化步长具有大致相等的感知意义。

确定感知明亮度域中的均匀量化方案的步骤可以是隐式操作，并且可以简单地通过考虑映射函数的特定值来执行。类似地，确定映射函数的步骤可以是隐式的，并且可以例如通过使用预定的映射函数来实现，该映射函数的输入值或输出值响应于光幕亮度估计而被补偿。确定均匀量化和映射函数的步骤可以通过应用合适的模型来执行。

用于显示器值的量化方案可以具体地是非均匀量化方案。

显示器值可以是表示要从显示器输出的亮度的任何值。因此，它们可能与从照相机接收的值、要提供给显示器的值或任何中间表示相关。显示器值可以表示任何表示要显示的图像的值，并且具体地可以表示在从图像捕捉到图像再现的路径中任何地方的值。

显示器值可以是线性亮度值或者可以是非线性亮度值。例如，显示器值可以是伽马补偿的（或否则变换的）值。伽马补偿（或其它变换）可以被包括在特定的映射函数中和/或可以作为预处理和/或后处理被包括。

感知明亮度域根据给定人类感知模型反映感知的光亮差异。感知明亮度域中的均匀量化方案可以是包括根据人类感知模型具有相等的感知意义的量化步骤的均匀感知亮度量化方案。具体地，均匀感知明亮度量化方案的每一量化间隔可以对应于相同（可能是分数）数量的JND。因而，均匀量化方案可以被生成为若干量化间隔，其中每一个量化间隔具有的尺寸是JND乘以给定的比例因子，其中比例因子对于所有量化间隔是相同的。

显示器值典型地对应于像素值。像素值可以例如在（线性）亮度域中，比如YUV或YCrCb值，或者可以例如在显示器驱动明亮度域（例如伽马补偿域）中，比如Y’UV或Y’CrCb值（其中’表示伽马补偿）。

用于显示器值的非均匀量化方案可以具体地是用于显示器亮度值的非均匀量化方案。例如，非均匀量化方案可以被应用于颜色表示方案的亮度分量，比如应用于YUV或YCrCb颜色方案的Y分量的样本。作为另一示例，亮度域中的非均匀量化方案可以被用作诸如伽马补偿方案之类的显示器驱动明亮度颜色方案中的量化方案。例如，所确定的量化方案可以被应用于Y’UV或Y’CbCr颜色方案的Y’分量。因而，用于显示器值的非均匀量化方案可以是用于显示器驱动明亮度值的量化方案。

显示器值可以具体地是显示器亮度值。例如，显示器亮度值可以是颜色表示方案的亮度分量的样本，比如YUV或YCbCr颜色方案的Y分量的样本。

显示器值可以具体地是显示器驱动明亮度值。例如，显示器明亮度值可以从颜色呈现方案的显示器驱动明亮度分量得出，比如来自Y’UV或Y’CbCr颜色方案的Y’分量的样本。

例如，RGB、YUV或YCbCr信号可以被转换成Y’UV或Y’CbCr信号，反之亦然。

映射函数可以典型地提供感知明亮度值与显示器（亮度）值之间的一对一映射，并且可以相应地例如被提供为从显示器亮度值计算感知明亮度值的函数，或等价地被提供为从感知明亮度值计算显示器亮度值的函数（即，它可以等价地是反函数）。

该方法于是可以特别地使用用于眩目光的感知影响的模型，该模型由感知明亮度值与显示器值之间的有可能低复杂度的映射函数表示，其中该映射函数取决于光幕亮度估计。

映射函数可以表示假设的标称或标准显示器，例如，映射函数当呈现在标准或标称显示器上时可以表示感知明亮度域与显示器值之间的关系。可以考虑标称显示器提供样本值与所得的来自显示器的亮度输出之间的对应。例如，映射函数当由具有从例如0.05到2000cd/m²的动态范围的标准HDR显示器再现时可以表示感知明亮度值与显示器值之间的关系。在一些实施例中，映射函数可以响应于用于再现的显示器的特性被修改或确定。例如，可以由映射函数来表示特定显示器相对于标称显示器的偏差。

根据本发明的可选特征，用于显示器值的非均匀量化方案的量化间隔包括比感知明亮度域中均匀量化方案更少的量化级别。

这可以允许对于给定感知品质的降低的数据速率。特别地，它可以允许用来表示显示器的位数减少至只有提供希望感知所需的位数。例如，仅需要使用导致在感知上可分辨的值的位数。

特别地，对于一些光幕亮度估计，非均匀感知明亮度量化方案的量化间隔的一些可以对应于在可被显示器呈现（或由特定格式表示）的范围之外的显示器亮度。

根据本发明的可选特征，用于显示器值的所述非均匀量化方案的量化间隔过渡根据所述映射函数对应于所述感知明亮度域中的均匀量化方案的量化间隔过渡。

这提供了特别有利的操作、实现方式和/或性能。

根据本发明的可选特征，估计器被布置成响应于第一图像的至少一个图像区域的平均亮度生成光幕亮度估计。

这提供了特别有利的操作、实现方式和/或性能。特别地，已发现甚至对于用于光幕亮度估计的很低复杂度的模型，可以实现改进的性能。

图像区域可以是所述第一图像的部分或者可以是第一图像的整体。图像区域可以与光幕亮度估计被确定的第一图像的部分相同。

根据本发明的可选特征，估计器被布置成将所述光幕亮度估计基本上确定为平均亮度的缩放。

在许多实施例中，可以有利地将光幕亮度估计确定为在平均亮度的5%与25%之间。

根据本发明的可选特征，估计器被布置成将光幕亮度估计确定为连续图像的部分中的亮度的加权平均。这提供了特别有利的操作、实现方式和/或性能。特别地，它允许量化在保持低复杂度的同时将眼的亮度适应性考虑在内。

亮度适应性是这样的效应：尽管人类视力能够覆盖约14个数量级的亮度范围，但在任何给定时间却仅能够覆盖约3-5个数量级的动态范围。然而，眼睛能够针对当前的光输入调适该有限的即时动态范围。发明人已认识到，这种眼睛亮度适应性的效应可以通过对光幕亮度估计的适当低通滤波来估计。因而，该方法允许亮度适应性与眩目光效应二者的组合建模。

将光幕亮度估计确定为连续图像的（至少）部分的加权平均可以对图像序列中的给定图像区域（有可能包括整个图像）的光幕亮度估计进行时域（temporally）低通滤波。

根据本发明的可选特征，所述加权平均对应于具有不高于2Hz的3dB截止频率的滤波器。

这可以提供特别有利的性能。特别地，很慢的适应可以提供对人眼的亮度适应行为的更精确的仿真。事实上，在许多实施例中，生成加权平均的低通滤波器的3dB截止频率可以特别有利地不高于1Hz、0.5Hz或甚至0.1Hz。

根据本发明的可选特征，加权平均是非对称的，其对于光幕亮度估计中的递增比对于光幕亮度估计中的递减具有更快的适应。

这可以提供特别有利的性能。特别地，非对称适应可以提供对人眼的亮度适应行为的更精确的仿真。

事实上，在许多实施例中，对于光幕亮度估计中的递减而言，加权平均的3dB截止频率可以特别有利地不高于2Hz、1Hz、0.5Hz或甚至0.1Hz，而对于光幕亮度估计中的递增，加权平均的3dB截止频率可以特别有利地不低于3 Hz、10Hz或甚至20Hz。在一些实施例中，过滤的光幕亮度估计可以直接遵循用于递增的即时光幕亮度估计，并且对于递减可以被低通滤波。在许多实施例中，对于光幕亮度估计中的递增的低通滤波器的3dB截止频率可以不少于对于光幕亮度估计中的递减的低通滤波器的3dB截止频率的10倍。

根据本发明的可选特征，编码器单元被布置成将光幕亮度估计的指示包括在编码的输出信号中。

这提供了特别有利的操作、实现方式和/或性能。

根据本发明的可选特征，对于第一图像区域确定量化方案，并且对于第二图像区域确定光幕亮度估计。

这可以在许多场景中提供改进的性能，并且可以特别地允许量化针对观看者分辨细节的能力的改进的适应。第一和第二图像区域可以不同。

根据本发明的可选特征，第一图像区域是具有比平均亮度更高的亮度的图像区域，而第二图像区域是具有比平均亮度更低的亮度的图像区域。这可以在许多场景中提供改进的性能，并且可以特别地允许量化针对观看者分辨细节的能力的改进的适应。第一图像区域可以具有比图像的平均亮度更高的亮度，并且可以特别地具有不低于比图像的平均亮度高50%的平均亮度。第二图像区域可以具有比图像的平均亮度更低的亮度，并且可以特别地具有不超过图像的平均亮度的25%的平均亮度。

根据本发明的一个方面，提供了一种用于对包含至少一个图像的编码视频信号进行解码的解码器，所述解码器包括：接收器，其用于接收编码的视频信号，所述编码的视频信号包括用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计的指示；去量化适配器（adaptor），其用于响应于光幕亮度估计确定用于第一图像的所述至少一部分的去量化方案；以及解码单元，其用于使用用于第一图像的所述至少一部分的去量化方案对编码的视频信号进行解码。

根据本发明的一个方面，提供了一种对视频信号进行编码的方法；所述方法包括：接收包含至少一个图像的视频信号；响应于所述至少一个图像中的至少一个图像的图像亮度测量，确定用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计；响应于光幕亮度估计确定用于第一图像的所述至少一部分的量化方案；以及使用用于第一图像的所述至少一部分的量化方案对视频信号进行编码。

根据本发明的一个方面，提供了一种对包含至少一个图像的编码视频信号进行解码的方法；所述方法包括：接收编码的视频信号，所述编码的视频信号包括用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计的指示；响应于光幕亮度估计确定用于第一图像的所述至少一部分的去量化方案；以及使用用于第一图像的所述至少一部分的去量化方案对编码的视频信号进行解码。

本发明的这些和其它方面、特征和优点将根据下文描述的实施例而清楚明白并且参照这些实施例进行阐述。

附图说明

将参照附图，仅通过示例来描述本发明的实施例，在附图中：

图1是根据本发明的一些实施例的视频信号编码器的元件的示例的图示；

图2图示了眩目光的效应；

图3图示了将感知明亮度与显示器亮度相关的函数的示例；

图4是人眼的光适应的示例的图示；

图5是根据本发明的一些实施例的视频信号解码器的元件的示例的图示；以及

图6是根据本发明的一些实施例的视频信号编码器的元件的示例的图示。

具体实施方式

以下描述聚焦于本发明的适用于供高动态范围（HDR）图像的序列用的编码和解码系统的实施例。然而，应当领会，本发明不限于这一应用，而是可以应用于许多其它类型的图像以及应用于诸如数字照片之类的个体单个图像。

以下示例将聚焦于这样的场景：其中物理视频信号和颜色表示使用不包括显示器驱动补偿并且具体地不包括伽马补偿的亮度表示。例如，像素可以使用在例如计算机生成的、分发的和再现的视频内容中广泛使用的RGB、YUV或YCbCr颜色表示方案。然而，应当领会，所描述的原理可以被应用于或转换成显示器驱动补偿方案并且特别地应用于或转换成显示器驱动补偿方案，以及特别地应用于或转换成在视频系统中广泛使用的诸如R’G’B’、Y’UV或Y’CbCr之类的伽马补偿方案。

图1图示了根据本发明的一些实施例的视频信号编码器的元件的示例。编码器包括接收要被编码的视频信号的接收器101。视频信号可以例如从照相机、计算机图形源或从任何其它适当的外部或内部源接收。在示例中，视频信号是包括用于图像序列的非压缩像素样本数据的数字视频信号。视频信号具体地是颜色信号，其中样本数据根据适当的颜色表示来提供。在特定示例中，颜色表示使用一个亮度分量和两个色度分量。例如，这些样本可以根据YUV或YCrCb颜色表示格式来提供。在示例中，亮度表示是线性亮度表示（即，亮度的值加倍对应于来自对应的显示器的光输出的加倍）。

在其它示例中，这些样本可以根据诸如例如R’G’B’、Y’UV或Y’CbCr之类的显示器驱动补偿颜色方案来提供。例如，这些样本可以根据标准Rec.709从摄像机提供。在这样的示例中，可以例如应用颜色空间变换以转换成亮度表示（比如例如在Y’UV和RGB之间）。

作为一个示例，对于常规的摄像机，所记录的视频信号可以在伽马补偿表示中，其中使用适当的伽马补偿将所捕获的光的线性表示转换成非线性表示。在这样的示例中，因而可以以伽马补偿表示提供输入信号。类似地，对于常规的视频显示器，典型地可以根据非线性伽马补偿表示来提供驱动信号（例如对应于从常规照相机提供的信号）。在一些实施例中，相应地还可以根据伽马补偿格式提供编码的数据输出。可替代地，在一些实施例中，例如，如果输入图像由计算机图形源提供，则可以以线性表示格式提供输入信号。在一些实施例中，例如，如果将编码的数据提供给计算机以供进一步处理，则可以类似地以线性表示提供编码的数据。应当领会，以下描述的原则可以同样地应用于根据任何适当的线性或非线性表示的信号，包括例如其中输入信号被伽马补偿而输出不被伽马补偿（或反之亦然）的实施例。

视频信号被转发到根据适当的量化方案执行图像样本的量化的感知量化器103。然后将量化的图像样本馈送至编码器单元105，该编码器单元105继续执行对图像样本的适当编码。

应当领会，尽管在图1的示例中编码和量化功能被图示为顺序操作，但该功能可以以任何次序实现并且典型地可以被集成。例如，量化可以应用于编码的信号的一部分。例如，编码可以将片段包括在基于应用在其上的DCT而被编码的宏块内。在一些实施例中，感知量化可以应用在对应的频域中。

然而，在以下描述的特定实施例中，在由编码单元105编码之前，将感知量化应用于视频信号的图像的亮度样本。

在图1的系统中，量化不是静态量化，而是基于由正在呈现的图像在眼中生成的光幕亮度或眩目光的估计而动态地调适。

具体地，图1的编码器包括估计器107，其从接收器101接收输入图像并且确定用于视频序列的图像的至少一部分的光幕亮度估计。光幕亮度估计基于用于视频信号的一个或多个图像的至少一部分的图像亮度测量来确定。典型地，光幕亮度估计基于从图像自身确定的亮度测量来确定。光幕亮度估计还可以（或有可能可替代地）基于先前图像的亮度测量来确定。

作为一个示例，可以计算图像的整体或部分的亮度，并且光幕亮度估计可以通过其与适当的因子的相乘来确定。

图1的编码器进一步包括量化适配器109，该量化适配器109耦合至估计器107并且从该估计器107接收光幕亮度估计。然后量化适配器109继续确定要由已确定了光幕亮度估计的图像的部分使用的量化方案。量化方案基于光幕亮度估计来确定。

量化方案可以具体地对应于将连续（亮度）范围转换成离散值的量化函数。

因而，用于给定图像区域的量化方案取决于针对该图像区域生成的光幕亮度估计。在许多实施例中，可以为整个图像生成单个光幕亮度估计，并且该光幕亮度估计可以用于确定用于所有图像区域的量化方案。事实上，量化方案对于整个图像可以是相同的。然而，在其它实施例中，每个光幕亮度估计可以仅应用于更小的图像区域，并且例如可以针对每一图像确定多个光幕亮度估计。结果，不同的量化方案可以用于图像的不同区域，从而允许系统针对局部状况调适量化方案并且例如允许不同的量化方案用于图像的低和高对比度区域。

基于关于在观看者的眼中生成多少眩目光的估计的量化的调适可以提供显著改进的数据速率与感知品质的比率。系统不仅考虑图像的显示的各方面和所得到的生成图像，而且考虑感知的暗示并且使用其调适系统的操作。

因而，该方法可以使用眩目光水平的估计来良好视觉上冗余的视频数据。这特别地可能导致在相对黑暗的区域中的增加的量化，从而允许降低的数据速率。

进一步发现，用于确定光幕亮度估计的感知模型不必是复杂的，而是甚至对于很低复杂度的模型可以实现显著的性能改进。事实上，在许多实施例中，可以使用用于作为整体的图像的全局光幕亮度估计。因而，可以在逐个图像（逐帧）的基础上针对图像全局地选择量化方案。

用于指示所使用的量化方案所需的附加数据的编码开销可能很有限，并且容易被由于改进的量化引起的数据减少所超出。例如，可以将单值光幕亮度估计传送至用于每一图像的解码器。

特别地，对于诸如HDR图像之类的动态范围增加的图像，眩目光可以变得愈发显著，并且所描述的方法可以针对由HDR图像自身在呈现给观看者时引入的眩目光调适。事实上，因光在眼睛中的散射而发生的眩目光或光幕亮度的效应对于高对比度刺激来说重要得多。包括图像自身中的那些在内的明亮光源可能导致将视野中相对较暗区域遮蔽的光幕眩光或亮度。该效应限制观看者在存在诸如太阳或天空之类的明亮光源的情况下看到场景的较暗区域中的细节的能力。

图2图示了眼睛模型的示例，该模型图示了眩目光/光幕亮度的感知概念。本图图示了从实景201发射的光到感知的图像203的转换。首先，光穿过晶状体205和眼体以在视网膜207上形成图像，视网膜图像209。光在穿过眼睛时被散射。这影响视网膜图像209的形成，即它添加光幕眩光/亮度。然后由感光体将视网膜图像转换成神经元响应，这最终导致感知。这些感光体具有有限的动态范围，并且在时间亮度变化的情况下它们需要时间调适。在该映射过程中，可能遮蔽大量的图像细节。遮蔽的细节的量取决于实景的动态范围和相对于当前刺激亮度的当前适应状态。

眩目光或光幕亮度的效应可以通过考虑由人类视觉系统对亮度差异的感知来展示。事实上，对人类视觉系统的研究已展示，亮度的时间或空间变化的可见性主要取决于亮度比、对比度，而不是取决于绝对亮度差异。结果，亮度感知是非线性的并且实际上近似于亮度的对数函数。这一非线性感知可以使用复杂模型来建模，但是由眩目光造成的遮蔽效应可以通过考虑感知的对比度的测量来展示。例如，可以使用韦伯（Weber）对比度作为感知测量。韦伯对比度由下式给出：

其中Y表示从背景脱颖而出的物体的亮度或强度，而Y_b是局部背景亮度。

眩光的效应已被详细地检测并且在Vos，J.J.，van de Berg，T.J.T.P.，“Report on disability glare”，CIE Collection on Colour and Vision 135(1)，1999，p. 1-9中描述了一种模型。根据该模型，可以创建点扩散函数以局部地计算光幕眩光。该光幕眩光由添加至局部背景亮度的光幕亮度来建模。这改变了局部感知的对比度。实际上，黑暗区域中的细节的对比度被显著降低。这就是散射是如何影响视网膜图像的形成的。

具有散射诱导的光幕亮度的对比度可以如下计算：

其中Y_veil是由眼睛中的散射即眩目光造成的光幕亮度。该等式表明总是存在对比度降低，即C_glare<C。

由于眩光引起的对比度降低的量可以由下式计算：

。

因而，如该等式所示，光幕亮度的存在降低了感知的对比度并且还以非线性方式影响相对的感知的亮度变化。在图1的系统中，当确定如何对图像数据进行量化时考虑这些感知因素。

应当领会，可以使用许多不同的方法和手段来估计光幕亮度。一般地，用于人眼的光幕亮度模型可以用来基于图像自身和/或一个或多个先前图像的图像内容生成光幕亮度估计。

在一些实施例中，可以响应于用于图像区域的平均亮度而生成光幕亮度估计。确定了平均亮度的图像区域可以对应于确定了光幕亮度估计的图像区域。例如，图像区域可以对应于整个图像，并且因此可以基于图像的平均亮度（和/或一个或多个先前图像的平均亮度）确定图像的单个光幕亮度估计。

在图1的系统中，光幕亮度估计基于图像的图像样本确定。然而，这些值指示相对亮度而不是来自显示器的绝对物理亮度。事实上，与给定像素样本对应的实际亮度取决于再现信号的特定显示器而且其实是显示器的设定（比如例如当前明亮度设定）。因此，在编码阶段编码器通常不知道实际再现的亮度，并且因此编码典型地可以基于标称或标准显示器的特性。具体地，假设具有标准设定的给定标准显示器，图像采样可以与显示器输出亮度相关。例如，可以假设图像样本与亮度输出之间的相关性是从在标称HDR显示器上图像的再现得来的，该标称HDR显示器具有从0.05-2000cd/m²的输出动态亮度范围。

在其它实施例中，可以使用用于图像的再现的特定显示器的特性。例如，如果已知要使用具有从0.05-4000cd/m²的输出动态亮度范围的HDR显示器，则可以相应地调适系统。

在针对相对小的区域确定了光幕亮度估计的场景中（比如例如当针对图像确定多个光幕亮度估计时），平均亮度可以基于更大的区域。例如，可能地，对于每个个体宏块，可以基于例如以该宏块为中心的5×5宏块的图像区域的平均亮度来确定光幕亮度估计。

在一些实施例中，可以通过响应于第一图像的不超过10%的区域的平均亮度确定光幕亮度估计来实现有利的性能。在一些实施例中，可以针对甚至更小的区域实现进一步有利的性能，并且特别地在一些实施例中可以针对个体宏块确定平均亮度。区域不一定是单个的连续区域。可以例如基于图像的整体或部分的子取样根据适当的模式来确定平均亮度。

在一些实施例中，光幕亮度估计可以被确定为平均亮度的缩放。事实上，在许多场景中，可以将光幕亮度简单地估计为所呈现的图像的平均亮度的一部分。在许多典型应用中，光幕亮度估计可以被估计以对应于平均亮度的5%与25%之间。

事实上，已经发现，眩目光的效应倾向于空间上低频并且因此在许多实施例中可以忽略空间变动。在这样的实施例中，在感知量化中的光幕亮度的效应可以被近似为全局的、恒定的效应。而且已经发现，对于全局光幕亮度的可靠而高效的近似是通过认为光幕亮度与再现的图像的平均亮度成比例而实现的。

因而，具体地，光幕亮度估计可以被给出为：

Y_veil=α? Y_average

其中α是与散射在眼睛中的光的量相关的调谐参数。对于许多应用来说，大约10%的值特别地适宜。因而，尽管散射的光的量可以因人而异并且倾向于随年龄增加，但它经常处在大约10%。

在许多实施例中，量化适配器109被布置成确定用于具有感知明亮度域中希望特性的图像样本的亮度的亮度量化方案。特别地，量化适配器109可以确定亮度量化方案，使得它对应于均匀的感知明亮度量化方案。因而，亮度量化方案可以被设计成具有与相等的感知的亮度变化对应的量化步长。

均匀感知明亮度量化方案可以具体地对应于这样的示例：其中每一量化步长对应于给定量的恰可察觉差异（JND）。JND是恰好可被感知的亮度变化的量。因而，在感知明亮度量化使用一个JND的步长的场景中，每一量化步长恰好可被观看者察觉。另外，由于人类视力的特性（如前所述）的缘故，感知域中的均匀量化步长对应于真实世界中取决于实际亮度（和光幕亮度）的不同亮度步长，即它对应于用于显示面板亮度的不同亮度步长。换句话说，用于黑暗像素/图像区域的感知明亮度JND量化步长可以对应于给定的显示器亮度间隔（例如以cd/m²来测量的）。然而，对于明亮像素/图像区域，感知明亮度JND量化步长可以对应于明显更高的显示器亮度间隔（例如以cd/m²来测量的）。

因而，为了实现感知上均匀的亮度量化，显示器亮度量化（且由此图像数据亮度量化）必须是非均匀的。另外，感知明亮度域中的均匀量化步长与显示器亮度域中的非均匀量化步长之间的对应取决于眩目光，并且这在图1的系统中通过取决于光幕亮度估计所确定的量化方案而被考虑在内。

为了避免疑义，要注意感知明亮度是指如由在特定示例中使用的人类视觉的模型所确定、人类视觉系统造成的模型的感知的光亮变动。这与如有时在本领域中应用的、供显示器补偿操作用的术语“明亮度”的使用有区别。例如，补偿传统的阴极射线管中的非线性的伽马幂律（或其它类似的非线性显示器驱动操作）有时被提及使用术语“明亮度”。然而，在本说明书中使用该术语意在反映感知明亮度，即感知的光亮改变。因而，术语感知明亮度是指心理视觉差异而不是显示器特性补偿。术语“显示器驱动明亮度”被用来指包括显示器驱动补偿的值，比如例如物理伽马补偿信号。因而，“显示器驱动明亮度”术语是指已应用了非线性函数的非线性亮度域，从而显示器驱动明亮度值的加倍不直接对应于相应显示器的亮度输出的加倍。在许多当前场景中，信号以非线性显示器驱动明亮度格式提供，因为这（碰巧）也近似于人类视觉的非线性性质。

在图1的系统中，量化适配器109具体地被布置成首先确定感知明亮度域中的均匀量化方案。这种均匀感知明亮度量化方案可以例如通过生成对JND而言是线性的感知明亮度范围来确定。然后通过将该范围分成与可用于每个亮度值的最大位数对应的若干相等的间隔，可以生成感知明亮度量化步长。例如，如果10位是可用的，则线性感知明亮度范围被分成1024个相等的间隔，导致1024个量化步长，每个量化步长对应于明亮度/视亮度中相同的感知差异。

然后量化适配器109继续将这些均匀量化步长转换成显示器亮度域中的非均匀量化步长，即转换成视频信号的亮度样本值的非线性量化。

该转换基于映射函数，该映射函数将感知明亮度值与显示器值相关联，并且在特定示例中直接与显示器亮度值相关联。因而，映射函数直接定义了与给定的感知明亮度值对应的显示器亮度值（典型地由对应的亮度样本值表示，假设给定与显示器亮度的相关性）。这种映射函数可以基于实验来确定，并且已开始进行了各种研究来识别感知的明亮度步长与对应的显示器亮度步长之间的关系。应当领会，可以使用任何适当的映射函数。

然而，不是仅仅使用与感知和显示器域相关的固定映射函数，而是布置图1的量化适配器109以调适映射函数以将光幕亮度估计考虑在内。因而，映射函数进一步取决于光幕亮度估计并且于是被动态地调适以反映这一点。

再次地，应当领会，图像样本值与实际显示器输出之间的关系可以基于标准或标称显示器的假设。例如，编码可以假设由具有从0.05-2000cd/m²的动态范围的标准HDR显示器来再现。

然后量化适配器109使用取决于光幕亮度估计的映射函数从感知明亮度域中的均匀量化步长确定用于显示器亮度的非均匀量化步长。具体地，可以将映射函数应用于感知明亮度域中的每一量化间隔过渡值，以提供显示器亮度域中的对应的量化间隔过渡值。这导致量化间隔的非均匀集合。

应当领会，可以将任何感知相关函数用作映射函数。

更详细地，假设没有眩目光或光幕亮度，可以定义将亮度值转换成感知上均匀的明亮度值的映射函数：

其中l是感知上均匀的明亮度空间，而Y是显示器亮度。

在图3中示例函数被描绘为实线曲线。应当注意，水平轴是对数（log）亮度，并且除了最低强度水平外，该曲线清楚地示出了人类感光体的近似的对数响应。应当领会，在不同的实施例中，可以使用人类视觉感知的不同模型并且因而可以使用不同的对应的映射函数。

由于映射函数是一对一映射，因此可以类似地定义等价的对应的反函数：

。

由于所定义的函数是保守/不精确的，因为它不考虑眩目光的效应。因而，量化适配器109使用非眩光映射函数作为光幕亮度估计相关函数的基础。

具体地，量化适配器109通过以下调整来修改基础函数：

其中l_glare是包括眩光效应的感知上均匀的亮度值，而Y_veil是估计的光幕亮度水平。

实际上，量化适配器109将估计的全局光幕亮度添加至图像亮度以对眼睛中的散射进行建模。图3的基础函数的水平线性移位提供了对显示器亮度与对于给定光幕亮度的感知明亮度之间的关系的适当估计。然而，它也导致偏移（即，即使对于无显示器亮度（例如在明亮图像中的黑色像素）而言感知亮度值不是零）。然而，由于意在提供适当的量化方案，因而优选地对于数据样本以数据值0开始。相应地，感知明亮度偏移通过减去光幕亮度的亮度映射而被去除。作为效果，感知明亮度缩放表示JND的积累。

光幕亮度相关映射可以如下被逆转：

。

因而，该函数可以被用来提供均匀感知明亮度量化到非均匀显示器亮度量化的光幕亮度相关映射。

如从图示了从亮度到对于不同眩光量的明亮度的一些示例映射的图3中可见，为了增加光幕亮度，需要更少的量化级别。而且，如图示，随着光幕亮度增加，更低（更黑暗）的量化级别被量化得更粗糙、甚至到零。

由于明亮度值是感知上均匀的，因而它们可以被均匀地量化：

其中Q是均匀量化器，其将信号量化成编码可用的或需要的精度。例如，如果使用10位则有1024级别可用。然而，因为需要的级别数因眩光而可变，所以有时需要更少的位。因此，可以量化针对内容调适。另外，在熵编码中可以利用某些区域的更粗糙的量化。

例如，在图3的示例中，感知明亮度范围被分成与10位对应的、可供每一数据样本的编码用的1024个量化间隔/级别。显示器亮度范围是0.05cd/m²到2000cd/m²。可见，当没有眩目光（基础函数）时，需要所有1024个级别来量化从0.05cd/m²到2000cd/m²的范围。因而，基础曲线提供从每一感知明亮度量化级别到对应的显示器亮度值的转换。例如，级别100对应于大致1cd/m²而级别500对应于大致25cd/m²。

然而，对于1cd/m²的光幕亮度，产生更平坦的映射函数并且因此最初的几个感知明亮度量化步长对应于大得多的显示器亮度步长（反映出由于眩目光而不能分辨出黑暗的区域）。对于该光幕亮度估计，级别100对应于大致2cd/m²，而级别500对应于大致80cd/m²。另外，鉴于当不存在眩目光时需要1024个级别以覆盖从0.05cd/m²到2000cd/m²的显示器亮度范围，当光幕亮度增加时的更大的量化步长导致仅需要约920步长以覆盖全部显示器亮度范围。

该效应对于更高的光幕亮度甚至更为明显。例如，对于100cd/m²的光幕亮度，最初的几个感知量化级别覆盖大范围的显示器亮度。事实上，对于该光幕亮度估计，级别100对应于大致150cd/m²而级别500对应于远在2000cd/m²以上的显示器亮度并且因而不被使用。事实上，在该场景中，从0.05cd/m²到2000cd/m²的整体显示器亮度范围仅需要约400个量化级别。因而，在该示例中，9位足够用于图像的每一亮度样本，因而可实现显著的编码改进而没有任何显著的感知降质。另外，更粗糙的量化可能导致样本值中减少的变动（例如，对于黑暗的图像，更多的像素可能被量化成0），这使得所得到的量化图像适合于高效得多的编码（例如，使用熵编码）。

映射函数（不管是作为显示器亮度的函数而表达成感知明亮度还是反过来）可以被实现为例如数学算法或实现为查找表。例如，用于无眩光的基础映射函数可以被存储在查找表中，并且如以上等式所示，由于光幕亮度引起的偏移可以被用来移位查找输入值和/或查找输出值。

如前面所述，显示器值与实际亮度或显示器输出之间的相关性可以基于标称或标准显示器。尽管在给定场景中使用的特定显示器可能偏离该标称或标准显示器，但该方法典型地将提供显著改进的性能，即使当实际显示器具有与标称或标准显示器不同的关系时。

系统可以使用例如可以针对每一图像调整的自适应量化。可以改进编码效率。编码器可以进一步包括在输出数据流中使用的量化方案的指示。具体地，它可以包括输出流中的光幕亮度估计的指示。这允许解码器确定所使用的量化方案并且因而应用对应的去量化方案。

在一些实施例中，一个图像区域的量化可以基于为另一图像区域确定并表示该另一图像区域的光幕亮度估计来确定。典型地，在这样的场景中可以针对明亮区域确定光幕亮度估计，并且量化可以应用于黑暗区域。因而，典型地针对具有比图像的平均亮度更高亮度（并且显得更明亮）的区域确定光幕亮度估计。所得的量化可以应用于具有比图像的平均亮度更低亮度（并且显得更暗）的图像区域。

例如，可以使用HDR显示器来再现太阳显示在例如右上角的图像。物体可以例如在左下角投射阴影。在这样的场景中，与太阳对应的非常明亮的图像区域典型地引起用户眼中光幕亮度，该光幕亮度阻止用户感知阴影部分中的任何细节。这可以反映在量化中，该量化因太阳的存在而可能在黑暗区域中进行得更粗糙。如果太阳随后移出图像（例如，因照相机平移引起），则光幕亮度将降低，从而允许观看者看到阴影区域中的细节。这将被系统反映出，因为量化可以被自动地适于在黑暗区域中提供更精细的量化。

在一些实施例中，量化方案可以进一步取决于对眼睛的亮度适应的估计。该效应反映出视网膜中的感光体神经元取决于它们接收到的平均光强度而调适它们的敏感度。由于该调适的缘故，人类能够看到约14个数量级的亮度范围。然而，在固定适应状态中，这些神经元具有有限的动态范围，即3-5个数量级。因此，在“明亮适应状态”的情况下，神经元对于显著更低的光水平的响应是可忽略的。因而，在光幕眩光之后，感光体的有限动态范围进一步限制了人类实际能够感知的动态范围。另外，适应不是即时的而是具有相对较慢的响应，该响应具有作为结果的时域遮蔽。例如，在明亮的爆发后人类暂时失明，因为在爆发后神经元对相对较低的光水平没有做出响应。该时域遮蔽效应对于LDR显示器而言是可忽略的，但是对于HDR显示器则可能相当重要。因而，HDR帧中的某些区域不仅可能因为该帧的其它部分中的明亮区域而被遮蔽或感知上不太相关，而且它还可能由于先前帧中的明亮区域而被遮蔽或感知上不太相关。

该效应在图4中被图示，图4图示了曲线401、403，它们指示作为锥体中的输入光的函数的感测的神经元信号输出（即，神经元的输出）。对于示例401示出了相关性，在示例401中眼睛针对相对较暗的环境调适，并且对于示例403示出了相关性，在示例403中眼睛针对相对较亮的环境调适。可见，眼睛能够生成遍布给定动态范围的神经元信号输出。然而，被动态范围覆盖的视亮度取决于眼睛的适应性。

例如，人可能在日照明亮的白天站在外面。他的眼睛将针对明亮的环境调适，并且他将能够感知环境中的许多细微差别。这可以具体地对应于由图4中的曲线403所表示的眼睛的适应性。如果此人之后进入黑暗洞穴，则来自环境的光输入将显著地减少。在这种情况下此人首先因为神经元不适应低光而不能看见黑暗中的细节。如图4所示，曲线403指示在此适应状态中神经元输出信号对于低光而言几乎是恒定的。

然而，神经元将逐渐适应黑暗，并且具体地该关系可以从曲线403的关系切换至曲线401的关系。因而，随着关系移向曲线403，此人将逐渐地能够看见黑暗中越来越多的细节。

如果此人然后退出洞穴进入日光下，则由曲线401所表示的对黑暗的适应阻止用户看见明亮的细节。随着此人的眼睛随后逐渐地调适回曲线403，他将越来越能够看见越来越多的明亮的细节。

应当注意，该效应与光幕亮度相比是完全不同的物理效应。事实上，鉴于光幕亮度表示光在眼睛内且朝向视网膜的散射，适应效应则反映视网膜的化学行为。

与眩目光造成的限制相对照，即时动态范围的限制也可以降低对很亮的图像细节的敏感度，并且最重要的是，由于眼睛花时间适应，因而亮度上有引入时域效应。在图1的系统中，由于经常可以精确地假设适应的状态中的动态范围的限制主要由观看自然图像时的眩目光造成，因而焦点放在适应的时域效应上。实际上，在极端条件下，眼睛散射可以将感知的图像的可见动态范围限制于约1:30。

另外，不适应的状态引起的遮蔽将主要考虑图像的黑暗区域。这是因为光适应（仅几秒钟或更少）比黑暗适应（10秒到分钟的数量级）快得多并且因为人们经常适应图像的明亮区域。因此，高亮细节可见性的降低是可忽略的。因而，系统聚焦在因有限即时动态范围（结合适应状态）引起的黑暗细节损失上，并且通过针对黑暗区域的量化调适眩光模型而将该效应考虑在内。具体地，通过扩展前面描述的基于眩光的量化模型而对亮度适应进行建模。这具体地通过引入虚拟眩光来完成，该虚拟眩光将不适应状态建模成眩光模型。这在图1的系统中通过对光幕亮度估计进行时域低通滤波来完成。

特别地，可以将递归时间（IIR）滤波器应用于所生成的光幕亮度估计。例如，可以引入以下滤波器：

其中Y_{virtual veil}(t)表示在时间t处生成的光幕亮度估计，并且β是滤波器参数。

因而，低通滤波确保量化使得：在明亮的图像后（即高光幕亮度估计），量化仅缓慢地适应更黑暗的图像，从而导致黑暗区域的重量化。

低通滤波可以有利地具有不高于2Hz、或甚至在一些实施例中有利地具有1Hz、0.5Hz或0.1Hz的3dB截止频率。这将确保模型的适应遵循人眼的缓慢的亮度适应。

在许多实施例中，低通滤波器可以有利地是非对称滤波器，其对于光幕亮度估计中的递增比对于光幕亮度估计中的递减具有更快的适应性。因而，低通滤波器可以是非对称的，以反映黑暗和光适应的时间响应中的差异。而且，既然我们忽略了明亮区域中的敏感度损失并且既然光适应快，那么在许多实施例中可能有利的是仅包括用于黑暗适应的时间常数，并且假设光适应是即时的。例如，用于递归滤波器的设计参数α可以如下给出：

其中τ_dark，黑暗适应时间常数，是大约例如4秒。因而，对于25帧的帧速率，当图像变暗时，时间常数为约100帧，对应于β＝0.01。

图4图示了根据本发明的一些实施例的解码器的元件的示例。解码器包括从图1的编码器接收编码的视频信号的接收器501。因而，接收器501接收具有若干编码的图像的编码视频信号，这些编码的图像根据取决于光幕亮度估计的给定量化方案来量化。而且，接收的信号包括由编码器生成并在量化中使用的光幕亮度估计的指示。该指示可以是光幕亮度估计的直接指示（比如其值）或者可以是间接指示（比如适合的编码方案的指示）。

在示例中，接收的信号直接地包括光幕亮度估计值的指示。相应地光幕亮度估计被馈送至解码量化适配器503，该解码量化适配器503基于光幕亮度估计来选择合适的去量化方案。具体地，解码量化适配器503可以被布置成基于光幕亮度估计应用与编码器的量化适配器109所使用的完全相同的的选择算法。因而，解码量化适配器503确定与编码器中使用的量化方案对应的/互补的去量化方案。

解码器还包括接收编码的图像的解码器单元505。解码器单元505通过执行与编码器的编码单元105互补的操作对编码的图像进行解码。

解码器进一步包括耦合至解码器单元505和解码量化适配器503的去量化器507。去量化器507将所选择的去量化方案应用于解码的图像数据以再生（近似的）原始视频信号。

因而，图1的编码器以及图4的解码器的编码和解码系统使用光幕亮度相关的量化提供了视频信号的高效分发。可以实现与人类感知系统更接近的编码过程的适应，从而允许改进的感知品质与数据速率比。

应当领会，在一些实施例中量化适配器503还可以向解码器505提供控制输入（如图4的虚线所示）。例如，量化适配器503可以向解码器指示是利用10位还是9位亮度样本表示对当前图像进行编码。还应当领会，尽管解码器单元505和去量化器409的功能块被图示为分离的和顺序的块，但是它们事实上可以被集成，并且合并的功能可以以任何合适的次序被分布和执行。

该方法可以特别地应用于HDR信号，该HDR信号被布置成提供显著更高的动态范围，并且因而导致强得多的眩目光和亮度适应效应。

在一些实施例中，HDR图像可以被表示为相对于相应LDR图像的差分图像。然而，仍然可以应用所描述的方法。在图5中提供了这种编码器的一个示例，图5示出了根据本发明的一些实施例的视频信号编码器的元件的示例。

该示例对应于图1的编码器，其附加了用于创建差分HDR图像的LDR编码路径和功能。在该示例中，与HDR图像对应的LDR图像（例如，通过颜色分级/色调映射生成的）被馈送至LDR编码器601，该LDR编码器601生成包括编码的LDR图像的编码的LDR输出流。编码的LDR数据进一步被耦合至LDR解码器603，该LDR解码器603执行与在远程解码器中将要执行的LDR数据解码相同的LDR数据解码。

所得到的解码的LDR图像被馈送至HDR预测器605，其从解码的LDR图像生成预测的HDR图像。应当领会，各种HDR预测算法对技术人员都是已知的，并且可以使用任何合适的方法。作为低复杂度示例，可以使用预定的查找表将输入动态亮度范围简单地映射至更大的亮度范围。HDR预测器605复现可以在远程解码器中执行的HDR预测，并且预测的HDR图像因此对应于解码器可以仅基于LDR数据生成的HDR图像。该图像被用作用于HDR图像编码的参考图像。

在图5的系统中，由量化器103生成的量化的HDR图像因此在减法器607中被预测的HDR图像减去。然后将所得到的差分（误差）图像馈送至对其进行编码以提供（差异）HDR输出数据的编码器105。

应当领会，在一些实施例中，感知自适应量化可以在差异图像上执行，即，它可以在减法器607的输出上执行（换句话说，图5的感知量化器103和减法器607的位置可以互换）。然而，在这种实施例中，感知量化可以不仅取决于编码的差分HDR图像而且（或此外）取决于预测的HDR图像（或原始HDR图像），因为感知量化取决于绝对亮度值而不仅仅是相对的或差分亮度值。事实上，在一些实施例中，可以排他地基于HDR预测图像来确定用于差分图像的光幕亮度估计和相应的量化。例如，可以对于每一HDR预测图像确定光幕亮度估计。对于HDR预测图像的每一个像素，可以确定与预测的HDR亮度对应的量化步长大小。然后可以将该量化步长大小应用于误差（对于该像素的差值）。将预测的HDR图像用于确定量化而不是原始HDR图像可以便利操作，因为预测的HDR图像在解码器中也是可用的。

图5的示例表示HDR图像的可缩放的编码，其中通过从LDR图像的预测来生成相对于HDR图像的残留数据。然而，应当领会，在其它实施例中，HDR图像可以被编码为绝对图像而不是相对于LDR或估计HDR图像。例如，图5的系统可以通过去除LDR解码器603、HDR预测器605和减法器607而生成HDR图像和LDR图像的独立编码。

前面的描述聚焦在其中图像样本直接包括亮度样本的示例上。在示例中，所确定的量化方案被直接应用于亮度样本。色度样本的量化可以例如遵循均匀的或任何合适的量化。

然而，应当领会，该方法不限于包括直接亮度样本的表示，而是也可以应用于诸如例如RGB表示之类的其它表示。例如，RGB信号可以转换成YUV表示，随后是如针对YUV信号描述的量化。然后，可以将所得到的量化的YUV信号转换回RGB信号。作为另一示例，量化方案可以是三维取样方案，其中光幕亮度估计被直接转换成三维的量化立方（cube）的集合。因而，在这种示例中，执行例如RGB样本的组合的量化（例如，R样本的量化也可以取决于G和B值，从而反映RGB样本的对应亮度）。

前面的描述聚焦于这样的场景：其中视频信号包括根据亮度颜色表示、特别是根据线性亮度颜色表示的样本。然而，应当领会，所描述的方法适用于许多不同的表示。特别地，该方法也可以用于显示器补偿表示，比如具体地用于伽马补偿表示。

例如，输入视频信号可以接收自提供根据Rec.709的信号（即提供具有伽马补偿样本的信号）的视频照相机。在这种示例中，接收器101可以将伽马补偿输入样本转换成亮度域中的样本。例如，它可以将Y’CrCb输入信号转换成YCrCb，其然后如前面描述的那样被处理。

类似地，在示例中在（线性）亮度域中而不是在显示器驱动明亮度空间中提供编码器的输出。然而，在其它实施例中，可以根据诸如Y’CrCb之类的显示器驱动明亮度方案来提供编码器的输出。在这种示例中，由图1的编码器所生成的线性亮度样本可以被转换成显示器驱动明亮度样本，具体地比如伽马补偿样本，例如，输出YCrCb样本可以被转换成Y’CrCb样本（或RGB样本可以被转换成R’G’B’样本）。

另外，在以显示器驱动明亮度表示提供输出样本的实施例中，亮度域中的量化可以被转换成显示器驱动明亮度域，并且被直接用来对在该域中提供的信号进行补偿。因而，图1的编码器可以与显示器驱动补偿的样本（具体地根据伽马补偿方案、比如根据Rec.709样本）一起操作。这可以通过将亮度域中的所确定的量化级别转换成显示器驱动明亮度域中的对应级别来实现。这可以使用到亮度域的映射函数、随后是（伽马）补偿来完成，或可以通过直接确定将伽马补偿（或更一般地，显示器驱动明亮度）值与感知明亮度值相关联的映射函数来完成。例如，图3的水平轴可以被映射至伽马补偿值。该映射可以基于假设的标称或通用显示器（具体地是具有假定特性的HDR显示器）。

因而，可以在确定的样本或在量化方案（具体地在量化级别）上执行从线性亮度到显示器驱动明亮度的映射。

在其中样本留在显示器驱动明亮度表示中的场景中，估计器107在确定光幕亮度估计时（例如在确定平均亮度时）应当将驱动（例如伽马）补偿考虑在内。

类似地，解码器可以被布置成以显示器驱动明亮度值或以线性亮度值来进行操作。例如，解码器可以如针对图4的示例所描述的那样操作，其所得到的输出亮度值被伽马补偿，以便为期望伽马补偿输入的显示器（如许多CRT，或根据更旧的显示器标准工作的较新的显示器）提供合适的输出。

应当领会，以上为了清楚起见的描述已参照不同的功能电路、单元和处理器描述了本发明的实施例。然而，应当明白，可以在不同的功能电路、单元或处理器之间使用任何适当的功能分布，而不脱离本发明。例如，被图示为要由单独的处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对特定功能单元或电路的引用仅应被视为对用于提供所描述的功能的合适装置的引用，而不指示严格的逻辑或物理的结构或组织。

本发明可以以包括硬件、软件、固件或这些的任何组合在内的任何适当的形式实现。本发明可选地可以至少部分地被实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和组件可以以任何适当的方式物理地、功能性地和逻辑性地实现。事实上，功能可以在单个单元中、在多个单元中或作为其它功能单元的一部分来实现。因而，本发明可以在单个单元中实现，或者可以在不同的单元、电路和处理器之间物理地和功能性地分布。

尽管已经结合一些实施例描述了本发明，但是并非意在将本发明限制在本文阐述的特定形式。相反，本发明的范围仅由所附权利要求来限制。此外，尽管特征可能看似是结合特定实施例来描述的，但是本领域的技术人员将认识到：可以根据本发明将所描述的实施例的各种特征结合起来。在权利要求中，术语“包括”不排除其它元件或步骤的存在。

另外，尽管是单独列出，但是多个装置、元件、电路或方法步骤也可以由例如单个电路、单元或处理器来实现。此外，尽管在不同的权利要求中可以包括各个特征，但这些特征有可能可以被有利地组合，并且不同权利要求中的包含不暗示特征的组合是不可行的和/或不是有利的。而且，特征包含在一个类别的权利要求中不暗示仅限于该类别，而是指示特征同等地酌情适用于其它权利要求类别。另外，权利要求中的特征的次序不暗示特征必须按其工作的任何特定次序，并且特别地方法权利要求中的各个步骤的次序不暗示步骤必须以该次序被执行。相反，这些步骤可以以任何适当的次序来执行。此外，单数引用不排除多个。因而，对于“一”、“一个”、“第一”、“第二”等的引用不排除多个。在权利要求中的附图标记仅作为阐明示例而提供，而不应被解释为以任何方式限制权利要求的范围。

Claims

1.一种用于对视频信号进行编码的编码器，所述编码器包括：

接收器（101），其用于接收包含至少一个图像的视频信号；

估计器（107），其用于响应于所述至少一个图像中的至少一个图像的图像亮度测量，确定用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计；

量化适配器（109），其用于响应于所述光幕亮度估计确定用于所述第一图像的所述至少一部分的量化方案；以及

编码单元（103，105），其用于使用用于所述第一图像的所述至少一部分的所述量化方案对视频信号进行编码。

2.权利要求1的编码器，其中所述量化方案代表用于所述光幕亮度估计的均匀感知明亮度量化方案。

3.权利要求1或2的编码器，其中所述量化适配器（109）被布置成：

确定感知明亮度域中的均匀量化方案；

响应于所述光幕亮度估计确定将感知明亮度值与显示器值相关联的映射函数；并且

响应于所述感知明亮度域中的所述均匀量化方案和所述映射函数确定用于显示器值的量化方案。

4.权利要求3的编码器，其中用于显示器值的非均匀量化方案的量化间隔包括比所述感知明亮度域中的所述均匀量化方案更少的量化级别。

5.权利要求3的编码器，其中用于显示器值的所述非均匀量化方案的量化间隔过渡根据所述映射函数对应于所述感知明亮度域中的所述均匀量化方案的量化间隔过渡。

6.权利要求1、2或3的编码器，其中所述估计器（107）被布置成响应于所述第一图像的至少一个图像区域的平均亮度生成光幕亮度估计。

7.权利要求6的编码器，其中所述估计器（107）被布置成将所述光幕亮度估计基本上确定为所述平均亮度的缩放。

8.权利要求1、2或3的编码器，其中所述估计器（107）被布置成将所述光幕亮度估计确定为连续图像的部分的亮度的加权平均。

9.权利要求8的编码器，其中所述加权平均实现了具有不高于2Hz的3dB截止频率的时间滤波器。

10.权利要求8或9的编码器，其中所述加权平均是非对称的，其对于所述光幕亮度估计中的递增比对于所述光幕亮度估计中的递减具有更快的适应性。

11.权利要求1的编码器，其中所述编码器单元（103，105）被布置成将所述光幕亮度估计的指示包括在编码的输出信号中。

12.权利要求1的编码器，其中对于第一图像区域确定量化方案，并且对于第二图像区域确定光幕亮度估计。

13.权利要求12的编码器，其中所述第一图像区域是具有比平均亮度更高的亮度的图像区域，并且所述第二图像区域是具有比平均亮度更低的亮度的图像区域。

14.一种用于对包含至少一个图像的编码的视频信号进行解码的解码器，所述解码器包括：

接收器（501），其用于接收所述编码的视频信号，所述编码视频信号包括用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计的指示；

去量化适配器（503），其用于响应于所述光幕亮度估计确定用于所述第一图像的所述至少一部分的去量化方案；以及

解码单元（505，507），其用于使用用于所述第一图像的所述至少一部分的去量化方案对编码的视频信号进行解码。

15.一种对视频信号进行编码的方法；所述方法包括：

接收包含至少一个图像的视频信号；

响应于所述至少一个图像中的至少一个图像的图像亮度测量，确定用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计；

响应于所述光幕亮度估计确定用于所述第一图像的所述至少一部分的量化方案；以及

使用用于所述第一图像的所述至少一部分的量化方案对视频信号进行编码。

16.一种对包含至少一个图像的编码的视频信号进行解码的方法；所述方法包括：

接收编码的视频信号，所述编码视频信号包括用于所述至少一个图像的第一图像的至少一部分的光幕亮度估计的指示；

响应于所述光幕亮度估计确定用于所述第一图像的所述至少一部分的去量化方案；以及

使用用于所述第一图像的所述至少一部分的去量化方案对所述编码的视频信号进行解码。

17.一种包括计算机程序代码装置的计算机程序，当所述程序运行在计算机上时，所述计算机程序代码装置适于执行如权利要求15或16的所有步骤。

18.一种在计算机可读介质上体现的如权利要求17所述的计算机程序。