CN103621084A

CN103621084A - 用于生成图像编码信号的方法和装置

Info

Publication number: CN103621084A
Application number: CN201280032100.1A
Authority: CN
Inventors: P.S.纽顿; W.德哈安; M.J.W.梅坦斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2011-04-28
Filing date: 2012-04-17
Publication date: 2014-03-05
Also published as: EP2702765A1; WO2012147010A1; JP2014519221A; US20140037206A1; US9292940B2; RU2013152741A; JP5992997B2

Abstract

一种装置生成图像编码信号，该图像编码信号对于每幅图像包括具有照度分量和彩度分量的第一像素化图片和第二像素化图片。该装置包括将用于编码的第一图像的图像编码数据包含在第一像素化图片中的第一图片处理器（203，211）。第二图片处理器（205，207，209，211）将动态范围扩展数据包含在第二像素化图片中。该动态范围扩展数据可以是包含在第二像素化图片的彩度分量中的用于基于编码的第一图像生成动态范围增加的图像的动态范围扩展数据。补偿数据可以例如是用于校正另一个LDR至HDR变换（例如预先固定的全局伽玛变换）的补偿数据。动态范围扩展数据可以包含在照度分量中，并且包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据。

Description

用于生成图像编码信号的方法和装置

技术领域

本发明涉及一种用于生成图像编码信号的方法和装置，并且具体地但是非排他性地，涉及包括低动态范围（LDR）图像和高动态范围（HDR）图像二者的表示的图像编码信号的生成。

背景技术

随着数字信号表示和通信日益取代模拟表示和通信，各种不同的源信号的数字编码在过去的几十年变得越来越重要。如何在将数据率保持为可接受的水平的同时改进可以从编码的图像和视频序列获得的质量的持续的研究和开发正在进行着。

感知的图像质量的一个重要因素是在显示图像时可以复现的动态范围。然而，常规上，复现的图像的动态范围倾向于相对于正常的视觉大大降低。事实上，真实世界中遇到的照度（luminance）水平跨越从无月亮的夜晚改变到直视太阳的高达14个数量级的动态范围。在晴天或者在夜晚，瞬时照度动态范围和相应的人类视觉系统响应可以落在10.000:1与100.000:1之间（明亮的反射对暗影区块（region））。传统上，显示器的动态范围局限于大约2-3个数量级，并且传感器也具有有限的范围，例如<10.000:1，这取决于噪声可接受性。因此，传统上有可能存储和传输8比特伽玛编码格式的图像，而不在传统再现设备上引入明显感知的伪像。然而，在记录更精确且更活泼的图像的努力中，开发了新颖的能够记录超过6个数量级的动态范围的高动态范围（HDR）图像传感器。而且，大多数特效、计算机图形学增强和其他的后制作工作已经在更高的比特深度且以更高的动态范围例行地进行。

此外，最新技术的显示系统的对比度和峰值照度继续增大。近来，已经提出了新的原型显示器，其具有高达3000 Cd/m²的峰值照度和5-6个数量级的对比率（显示器是原始的，观看环境也将影响最终再现的对比率，该对比率对于白天观看电视而言可能甚至下降至50:1以下）。期望的是，未来的显示器将能够提供甚至更高的动态范围以及特别是更高的峰值照度和对比率。当在这样的显示器上显示传统上编码的8比特信号时，令人讨厌的量化和剪切伪像可能出现。而且，传统的视频格式提供不充分的净空高度（headroom）和准确性来传达新的HDR图像中包含的丰富信息。

结果，存在对于新方法的增长的需求，这些方法允许消费者完全地受益于最新技术的（和未来的）传感器和显示系统的能力。优选地，这样的附加信息的表示是向后兼容的，使得旧式装备仍然可以接收普通的视频流，而新的支持HDR的设备可以充分利用新格式传达的附加信息。因此，希望的是，编码的视频数据不仅表示HDR图像，而且允许编码可以在常规装备上显示的相应传统低动态范围（LDR）图像。

最直接的方法将是彼此独立地压缩和存储LDR和HDR流（同时联播）。然而，这将导致高数据率。

因此，引入动态范围增加的视频和图像的关键问题是如何有效地编码、表示、存储和分发关联的信息。特别地，希望的是维持向后兼容性。数据率和处理复杂度方面的效率也是有重大意义的。当然，另一个关键问题是得到的图像质量。

因此，一种改进的用于表示动态范围增加的图像的方法将是有利的。

发明内容

相应地，本发明寻求优选地单独地或者以任意组合地缓解、减轻或者消除上述缺点中的一个或多个。

依照本发明的一个方面，提供了一种生成图像编码信号的方法，该信号包括[对于每个图像时刻（在对视频序列编码的情况下），并且可以存在诸如摄像机角度、焦点堆号等等之类的另外的图像枚举变量]具有照度分量和至少一个颜色分量的第一像素化图片编码和第二像素化图片编码；该方法包括：将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及将动态范围扩展数据包含在第二像素化图片的所述至少一个颜色分量（例如作为二维例如8比特数据字集合的色度Cr，其通过诸如例如锯齿形扫描之类的几何分配或者像素集合到数据字的更复杂的映射与像素位置相应，我们也将在本文的其余部分中使用类似的措词彩度）中，动态范围扩展数据包括表示如何通过动态范围扩展变换将编码的第一图像变换成诸如例如原始捕获场景的HDR图像（的近似）之类的动态范围增加的图像的数据。即，对于像素或者区块而言（例如，可以在像DCT或者纹理表示那样的数学变换空间中应用该变换），存在通过变换（其可以预先固定，例如按图像选自有限的变换集合，或者作为用于每个区块的特定变换而提供，等等）使高动态范围图像与低动态范围图像有关的方式，并且利用该变换与称为补偿数据的例如用于细调或者优化该变换等等（预先假定的变换的任何修改都可以）的另外的特定数据（至少一个数值）关联。为了简单起见，可以考虑例如利用例如作为缩放因子的可以对于图像的不同区块变化的变量的LDR像素照度值的线性缩放，但是当然可以编码更加复杂的变换，例如由多线性逼近的斜率表示的非线性函数。

我们想要强调，由于本发明的具体细节，存在若干不应当混淆的术语。首先，存在例如由摄像机捕获或者由计算机图形学装置计算的要表示的原始场景。我们将术语“图像”用于场景的某种实际表示，作为一个问题来说（as a matter of speaking），其“物理”表示。可以存在各种不同的表示相同场景（例如视频序列中的片刻时间）的方式，例如，可以利用两个对于场景具有不同视角的摄像机对其成像（在这种情况下，可以获得例如左右视图，即对场景属性的几何编码中的差异进行编码的图像），或者所述两个视图可以具有如摄像机所看见的场景对象表面纹理属性的的不同表示或者换言之，光如何与对象交互的不同表示（这可能导致具有不同的表示准确性、不同的颜色空间或者由相同的所捕获的原始图像的甚至可能的不同分级（grading）引起的特定希望的外观等等的图像）。我们将这与术语“图片”形成对照，图片被保留用于任何这样的图片的数学表征，作为一个问题来说，占位符。我们想要强调，我们正在谈论这样的图像信号（作为需要被编码以便允许解码的东西的全体（即例如包括像帧率那样的元数据）的信号，或者作为特定照度或亮度（luma）码字与来自显示器的哪个实际要再现的照度相应的规定的信号），其中存在至少两幅一起共同编码到该信号中的图像或“视图”（例如，对于视频而言，在相同的捕获时间可能存在用于场景的两个视图的两个图片占位符），我们将此称为第一和第二图片编码。应当指出的是，技术人员会理解这样的编码可能看起来像什么，并且其不必一定为像MPEG标准的DCT一样的“压缩的”编码（虽然其典型地可能是这样）。例如，它可以是码字集合，一个8比特字编码二维图片中的每像素位置的照度，并且颜色字处于颜色分量中，等等。即，它可以是二维彩色图像的任何RAW编码，或者例如比如依照MPEG2或AVC或HEVC压缩标准的任何规定的基于DCT的编码。图像编码领域的视图通常被解释为与摄像机或者摄像机角度有关，然而，也可以将视图解释为例如相同捕获的不同再现，例如不同的艺术分级或者色度变换。应当指出的是，我们将在其动词和名词意义二者中使用编码（例如，图像编码可以是该特定图像的JPEG DCT表示），其差异对于阅读本文的具有图像编码技术人员的知识的任何人来说应当是非常清楚的。应当指出的是，使用图像的术语在需要像素位置时是有用的，因为那些位置典型地将是正常的采样像素位置，而图片也可以具有像素位置，但是其可能经由例如DCT基函数而与图像中的各个不同的其他像素位置相应。只要对于图像的至少一些像素，可以基于图片中的字导出变换，例如误差补偿值，那么就可以应用所述方法。当然，例如当在稀疏编码的情况下插值方案用来创建最终值时，这通过定义确切地在图片编码中何处写入什么而总是可能的（光照效果不必非常精确，因为图像处理可以使用对象对齐结构，比如对象属性调整的非线性自适应过滤器）。

现在，令人惊奇的事情在于，由于我们具有两个视图，或者更精确地说，可用于编码两个视图的占位符，因而我们不必一定要以相同的方式对其编码。第一图像/图片可以用经典方法编码，例如如在LDR图像编码中通常进行的标准摄像机捕获的MPEG2 8比特编码。然而，如果第二图片为例如相同捕获几何结构（尤其是具有更高的照度动态范围）的不同色度表示或者可替换地为第二几何视图，那么可以想象，对于第二图像/视图不再需要图像对象颜色的编码，因为它已经充分地存在于第一图片编码中（由于色度是大体与照度无关的对象属性，因而对于3D左/右编码而言，可以理解，可以使用协同定位算法将来自左视图对象的颜色映射到仅仅通过其照度分量定义和编码的右视图对象）。这典型地剩下第二图片编码的两个色度图片分量免于被重新使用，即对于编码数据而言，其可以用来使LDR图片与捕获的场景的HDR图片有关。

特别地，可以不放入“完整变换数据”，诸如例如局部地应用的伽玛函数拉伸，而是替换地将“补偿数据”置于这样的颜色分量中，例如在例如通过使用被编码为每图像时刻的元数据的单个固定伽玛从第一图片到更高动态范围图像预测的第一近似映射之后与要不同地编码的原始HDR图像相比较的剩余的误差。这具有以下优点，仅当原始近似被认为不够准确（由于例如条带的原因）时，可以局部地将一些补偿数据添加到（多个）颜色分量中，这意味着只需花费很少的附加比特。

实施例允许以这样的哲理工作：HDR可以大体编码为看起来合理的8或10比特LDR分级（例如通过施加最佳伽玛函数或者其他像S形函数那样的色调映射），并且然后可以将例如从LDR/第一图片编码预测不好的关键HDR效果编码到（多个）第二图片颜色分量中。我们称此为第二高动态范围预测图像和第二动态范围变换，以便在形式上将其与第一高动态范围预测图像和第一动态范围变换区别，其中动态范围变换至少部分地（并且经常完全）由第二图片编码的颜色分量中的编码确定，而在这些实施例中，它由例如像典型的LDR-HDR伽玛映射那样的预先固定的变换确定，并且于是利用补偿数据细调该第二预测HDR图像，这可以是加性“误差校正”或者另一种变换，例如在某些照度区块中与伽玛有偏差的色调映射。但是通常，HDR数据不必与HDR图片相同，或者甚至不必具有图片几何结构，因为它可以例如是用于要施加到第一图像的若干区块上的各种不同的多线性照度变换的分量集合。应当指出的是，动态范围变换主要需要沿着照度/亮度轴的变换（尤其是，无论代码是什么——即使以8比特字编码——也需要规定将在再现显示器上生成多明亮的颜色），即一切将参照颜色空间的这样的明度（lightness）相关维度进行编码，并且尽管也可能涉及颜色修改（比如校正颜色空间非线性、考虑可显示色域的形状、利用光与饱和度的影响的折衷等等），但是这不应当与像例如多基色或者更饱和基色那样的宽色技术混淆。

技术人员会理解如何以这样的双图片方式编码各种各样的HDR变体，即例如HDR和LDR分级二者可以从分级者获得，并且然后例如根据具有其自己特定的指令准则（由标准LDR分级监视器上的分级规定）的LDR信号在尽可能忠实的差分预测中编码HDR版本。或者可替换地，可能仅仅存在HDR图像，但是其依照本发明以根据LDR预测（predication-from-LDR）的方式编码。或者，于是对于要完全在图像或视频传输系统中进一步使用的这些HDR信号编码方法的任何实施例而言，可以借助于智能图像处理装置从单独可用的（例如旧式）LDR视频预测HDR版本。LDR或HDR图像以及相应的图片编码中的任何一个可以直接从摄像机获得，或者可替换地从图像处理软件获得，该图像处理软件例如包括像火球或者在窗口之外看见的风景那样的HDR图形效果。此外，这些图像中的任何一幅可能经历了一次或多次图像变换，例如，可以依照MPEG或JPEG模型压缩以及后来解压缩原始RAW LDR图像，以便不根据原始图像，而是根据在接收侧可重建的图像预测HDR。

当然，技术人员会理解，当例如通过计算单元从输入格式达到输出格式时可能涉及哪种中间操作，比如格式化、（解）封装、图像变换等等。

本发明可以提供一种改进的用于在许多系统中支持动态范围增加的图像的方法。该方法可以允许在第一较低动态范围表示和相应的较高动态范围图像二者中高效地表示图像。

尽管存在若干可以在数学上编码为图像的物理实体，例如运动矢量场或者深度图，但是在这些当前实施例的背后存在许多新颖而令人惊奇的考量。我们具有已经被预先调整为以特定的方式（即介质上的足够空间，元数据格式描述结构，该结构原则上将反向教导技术人员以非标准的方式重新使用它，除非满足若干严格的条件，例如技术领域中认识到的良好需求以及容易的修改，尤其是如果它是合理地向后兼容的，等等）使占位符图片在一起的信号，即针对若干有关视图图像（典型地为用于例如立体系统的几何视图）预先调整该系统。该原理起作用，因为一些数据可能不是必要的，即，即使第二亮度图像（即编码亮度分量的第二图片）可用，我们也可以将颜色分量重新用于与第二图片中的图像视图完全不同的、有关的或者甚至不与所述图像之一有关的、尤其是潜在地无关的或者仅仅略微有关但是几何上不与图像对象并置的某物。该新的含义然后将用新的元数据以信号发出，诸如例如允许一些较小能力的系统忽略所述数据的一些，并且允许较高能力的系统以特定的方式使用它。特别地，编码的动态范围扩展数据可能与仅仅编码图像的真实纹理的部分的实际像素值关系不大，但是它们可能具有取决于使用的实际LDR至HDR数学运算的数学含义。更为有趣的是，一个考虑是，未来人们可能不仅仅想要具有经由LDR的HDR编码（尤其是允许具有旧式显示器或者较低质量显示器的系统使用LDR第一图像，而不是必须进行图像处理以便根据仅仅HDR编码的图像导出其最佳的LDR图像），但是对于消费者而言，像高质量蓝光盘那样的高质量视频可能需要提供3D和HDR能力二者。更加令人惊奇的是，所述实施例也考虑到这点，因为图片占位符可以以这样的方式使用，使得系统部分地按照其所期望的表现（（多个）第二图片的Y分量承载（多个）3D右视图），而颜色分量承载完全不同的东西，与像在实例3D中那样的任何单一编码技术无关。

本发明可以允许改进的向后兼容性。特别地，在第二图片中提供动态范围扩展数据允许重新使用许多多图片编码方法。例如，（几何）多视图编码方法和标准可以在较大程度上经常被重新使用。此外，可以减少对现有方法和标准的修正和改变，同时仍然允许实现高质量动态范围扩展图像。此外，存在这样的令人感兴趣的属性：对于几何多视图编码而言，需要仅仅不同照度的图片，并且那些图片可以基于仅仅一幅彩色图片的详述（例如通过移位映射）而被（重新）着色，即可以既存储立体编码，又使用提供高数据容量的可用第二图片颜色分量以便同时编码良好质量的HDR信息。[注意：我们将几何视图与相同场景的一般视图相区别，因为前者典型地包括变化的角度或者在与场景平行的线上的摄像机位置或者尺度或者离焦等等，而后者包括诸如灰度值或颜色的变换之类的属性以表示场景（例如使得场景看起来更加模糊）]

与高动态范围图像的直接编码或者第一编码的图像和高动态范围图像之间的差异的直接编码相比，所述方法可以进一步提供例如大大降低的数据率。

动态范围扩展变换可以是可以施加到第一图像以生成具有增加的动态范围的图像的任何操作、函数和/或算法。例如，可以施加简单的伽玛变换，其已经给出良好的第一近似，至少给出HDR外观（例如，可以这样选择伽玛，使得它大体保留较低照度对象颜色的照度，并且增强亮点）。补偿数据可以提供要应用到动态范围扩展变换的结果（或者相反的情况，输入）的补偿的指示，并且特别地可以是添加到由变换得到的图像样本（或者添加到输入至变换的图像样本）的加性补偿值。除别的以外，这允许实现HDR外观的高程度的可调性，对于诸如例如比如通过互联网、电缆专用通道或者移动体的低带宽输送之类的应用感兴趣。但是，也可以使用该原理直接将内容制作现场的变换共同编码为补偿数据（例如，将由颜色分级者定义的增强给出更加突出的外观的几个区块的变换或者甚至例如第一改进变换的进一步修改与旧电影的原始LDR编码一起存储，所述第一变换可以用作用于非常高质量的显示的最佳再现，并且与其偏离的第二变换可以用作用于中间动态范围显示的引导变换）。

特别地，第一图像可以是低动态范围（LDR）图像并且第二图像可以是高动态范围（HDR）图像。

所述方法可以例如允许高效地传送关联的LDR和HDR信息，同时允许如所希望的优化各图像。例如，可以对LDR和HDR图像中的一个或者二者进行人工颜色分级以提供希望的（艺术）图像。可以单独地对LDR和HDR图像进行颜色分级以提供希望的效果，同时允许在图像编码信号中有效地表示该单独的颜色分级。

所述补偿可以是或者可以包括用于动态范围扩展变换的预先补偿。该预先补偿可以与施加动态范围扩展变换之前编码的第一图像的补偿相应。

动态范围增加的图像典型地可以在照度方向上具有比编码的第一图像更大的色域。

第一和第二像素化图片可以与多视图图像表示兼容。

依照本发明的一个可选的特征，所述方法进一步包括将动态范围扩展数据包含在第二像素化图片的照度分量中的步骤，该动态范围扩展数据例如包括表示动态范围扩展变换的数据，或者可用作动态范围扩展变换的参数化等等。即，如果无需3D表示，那么可以将这两个分量（照度和至少一幅色度图片）用于进行LDR-HDR变换，例如，照度图片可以包含局部近似映射，比如例如增强，并且色度可以提供用于细调该映射的另外的校正图片。单独地存储映射是有利的，因为它可以包括关于捕获的场景的两种（LDR与HDR）表示如何彼此有关的非常令人感兴趣的信息——具体而言，是否存在潜在的针对特定表示能力规定艺术家希望的外观的最佳颜色分级——哪些变换信息可以用于（没有校正数据或者与校正数据一起）映射到不同的中间表示（例如用于最大照度降低的HDR显示器）。它允许通过例如基本上根据第二图片的照度分量中的数据定义新的函数变换而实现非常通用的分解，所述变换可能甚至不是以下内容的准确规定：可以如何根据LDR图像导出高质量HDR图像（而是相反地，它可以例如粗略地表示指示某种HDR效果的潜在应用的局部变换，该局部变换然后可以通过显示器本身最终地被选择或确定）并且然后通过一个或多个颜色分量中的校正数据形成准确的HDR图像。

这可以改进变换的变型和灵活性，和/或可以提供改进的动态范围增加的图像。表示动态范围扩展变换的数据可以例如定义变换的参数，例如用于变换的权重（或者可以施加具有局部权重的两个变换）、用于功率变换的伽玛值，等等。

该方法可以例如通过人工颜色分级者例如允许编码的第一图像（例如LDR图像）和动态范围增加的图像（例如原始HDR图像或者其任何近似或导出）的单独的优化中的进一步的自由度。

依照本发明的一个可选的特征，动态范围扩展补偿数据包括用于第一图像，即例如用于第一图像中的像素位置的像素误差校正值。

这样的误差字段允许在希望的函数变换部分和校正部分上实现更好的分布，这例如鉴于最终再现环境的设想的光谱（尤其是在这些环境具有其自身的图像颜色变换能力的各种不同的变体的情况下）或者在可以预期（多个）图像信号的另外的分级或修改时作为中间物等等而可能是有用的。典型地，如果设想特定像素照度靶值用于所述（至少一幅）HDR图像，那么误差校正值是补偿值的特定变体（其通常可以是能够修改设想的照度变换的任何东西）。当然，补偿值可以是多种形式的，允许变换到场景对象的照度范围的若干区块。

依照本发明的一个可选的特征，像素误差校正值指示动态范围增加的图像的图像像素值与相应的输入的高动态范围图像的图像像素值之间的加权差。

这在许多情景中可以允许在复杂性、准确性和灵活性之间实现非常有利的折衷。在一些情景中，编码的第一图像可以根据输入的高动态范围图像（即例如由来自高质量摄像机的数据和计算机效果组成的数字主图像）生成。动态范围增加的图像可以是对于输入的高动态范围图像或输入的较低动态范围图像或者二者等等的预测。

例如，可以接收HDR图像并且将其转换成LDR图像（人工地、半自动地或者自动地）。可以将动态范围扩展变换施加到LDR图像以便对于输入的HDR图像生成预测的HDR图像。然后，可以确定输入的HDR图像与预测的HDR图像之间的差异。在一些情景中，这些误差值可以同等地被加权（例如被缩放），但是在其他实施例中，可以将不同的权重（例如缩放因子）施加到不同的误差值。应当指出的是，可以应用各种不同的误差度量以便测量各种不同的误差效应，例如亮光在值上可能与原始捕获不同，但是在其具有在乘法因子乘以平均环绕照度以上的平均像素照度值的情况下仍然被评定为良好表示。

依照本发明的一个可选的特征，所述方法进一步包括响应于动态范围增加的图像和相应的输入的高动态范围图像的比较而生成动态范围扩展补偿数据。

在许多情景中，这可以允许在复杂性、准确性和灵活性之间实现非常有利的折衷。编码的第一图像可以根据输入的高动态范围图像生成。动态范围增加的图像可以是对于输入的高动态范围图像的预测或者近似。

例如，可以接收HDR图像并且将其转换成LDR图像（人工地、半自动地或者自动地）。可以将动态范围扩展变换施加到LDR图像以便对于输入的HDR图像生成预测的HDR图像。然后，可以确定输入的HDR图像与预测的HDR图像之间的差异。

依照本发明的一个可选的特征，动态范围扩展补偿数据包括颜色饱和度补偿数据。

已知的是，由于经典LDR显示器（以及尤其是驱动它们所用的视图或者换言之其中在与颜色通道的最大和最小驱动相应的黑色与白色之间的范围上表示颜色的视图）具有尖色域，因而在较高的照度与较高的饱和度之间存在折衷关系。较高动态范围显示器具有选择这些（例如形成明亮饱和蓝色）的增大的自由度，因此可能有利的是也在彩色方向上进一步规定用于至少一种或若干种设想的显示器或者显示策略的校正函数。

第一颜色分量（例如Cr）可以包括照度补偿数据并且第二颜色分量（Cb）包括颜色补偿数据。

在许多实施例和情景中，在所述（至少）两个颜色分量中智能地分配数据可以提供特别有利的性能。特别地，它可以允许对于最终的动态范围增加的图像的生成具有非常高程度的控制的系统。例如，第二视图的照度图片可以用于3D立体系统，第一颜色分量图片用于局部细调局部LDR至HDR变换，并且第二颜色分量可以包括用于至少一些像素（可能地被子采样）的加性补偿值。或者，如果代替存储第二几何视图的第二图片的照度分量已经包含用于获得合理的HDR变换/外观的良好质量数据，那么这两个彩色图片可以例如包含用于例如根据可利用照度分量确定的变换获得的外观创建若干导出的HDR外观的若干细调或偏差策略。可以甚至依照混合方案混合两个分量中的表示，例如像素位置中的可用码字中的系数的特定子采样，或者与分量编码相应的图像的空间子部分中的几何子分配，等等。

依照本发明的一个可选的特征，第一编码的图像为场景的第一视图图像，并且所述方法进一步包括：将用于编码的第二图像的图像编码数据包含在第二像素化图片中，该编码的第二图像是用于该场景的第二视图图像。

这在许多实施例中可能是特别有利的，并且特别地可以允许实现这样的功能，例如发送器，接收器以及被设计用于诸如3D信号之类的容易用于组合的LDR/HDR图像的分发的几何多视图信号的通信介质。

依照本发明的一个可选的特征，编码的第二（例如3D多视图集合成员）图像和动态范围扩展补偿数据中的仅仅一个被包含在第二像素化图片中（例如至少在照度分量中）；并且所述方法进一步包括：在图像编码信号中包含第二像素化图片是包括编码的第二图像还是包含动态范围扩展补偿数据的指示（例如预定义的码字）。虽然典型地将对于整个电影或者视频节目标记该选择，但是通过允许该指示随时间变化，可以例如每场景（集合）这样做，在这种情况下，可以形成例如仅仅对于某些部分具有3D（或者对于某些部分具有较高质量3D——可以设想这样的新闻节目，其中报道是高质量的3D，但是中间的新闻播音员的谈话在电视中经过2D至3D转换）并且因此具有更多的可用于HDR或者2D部分中的其他属性的数据空间的节目。

这可以允许促进用于多视图图像以及较高动态范围图像的功能的互操作性。它可以允许例如分发介质容易地用于一个或者另一个（或者可能地二者），同时允许容易地确定信宿（sink）端/接收端处的适当处理。

依照本发明的一个可选的特征，将用于编码的第二图像的图像编码数据包含在第二像素化图片的照度分量中，并且将动态范围扩展补偿数据包含在第二像素化图片的颜色分量中。

这可以允许在相同的图像信号中高效地表示多视图图像和高动态范围图像二者。在一些情景中，编码的第二图像的数据可以只是照度数据。

在一些情景中，将用于编码的第二图像的图像编码数据包含在第二像素化图片的颜色分量中，并且将动态范围扩展补偿数据包含在第二像素化图片的另一个颜色分量中或者可能地包含在其照度分量中。

依照本发明的一个可选的特征，所述方法进一步包括：将另外的动态范围扩展补偿数据包含在第二像素化图片的另外的颜色分量中，该另外的动态范围扩展补偿数据包括表示用于动态范围增加的图像的第二补偿的数据。

这可以允许实现动态范围增加的图像的优化/适应性调节中的进一步的灵活性。该方法可以例如允许可替换的补偿，或者可以例如允许所述另外的颜色分量提供更加准确的补偿数据，然而该补偿数据是可选的并且因此仅仅由更加强大的接收器使用（可以考虑允许较高准确性的显示器，具有更加强大的图像处理计算引擎，这些引擎可以每秒进行更多的操作，或者具有不同的图像处理功能，比如可编程图元，等等）。

依照本发明的一个可选的特征，动态范围扩展补偿数据包括用于在动态范围扩展变换之前应用到编码的第一图像的预先补偿数据。

在许多实施例和情景中，这可以提供特别有利的性能/操作。

依照本发明的一个方面，提供了一种用于生成图像编码信号的装置，该图像编码信号对于每幅图像包括具有照度分量和颜色分量的第一像素化图片和第二像素化图片；该装置包括：第一图片处理器，其用于将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及第二图片处理器，其用于将诸如例如动态范围补偿数据或者任何动态范围修改函数数据之类的动态范围扩展数据包含在第二像素化图片的所述颜色分量中。

依照本发明的一个方面，提供了一种生成动态范围增加的图像的方法，该方法包括：接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量和颜色分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的颜色分量中的动态范围扩展数据，动态范围扩展数据；根据用于编码的第一图像的图像编码数据生成第一图像；将动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像。

例如，典型地该方法可以包括步骤：

- 根据用于编码的第一图像的图像编码数据生成第一图像；

- 确定动态范围扩展变换并且将动态范围扩展变换施加到第一图像以生成动态范围增加的图像；以及

- 基于表示用于生成的动态范围增加的图像的补偿的数据生成动态范围增强的图像。

即，该方法于是为迭代类型。所述确定动态范围扩展变换可以像选择用于所有HDR图像的固定变换（例如纯粹的缩放）那样简单，或者涉及每像素区块的参数组成。从那里修改的第二步骤可以例如构建第二变换。补偿通过在施加无论什么样的第一动态范围扩展变换之前将这样的校正图像（例如子采样并且然后上转换）施加到任一输入的（LDR）图像而可以是简单的加法或乘法类型，或者它可以是校正后的，但是也可以涉及变换本身的修改或者规定。例如，可以设想对于一些区块施加缺省变换的逆变换（T^-1）并且然后施加基于至少一些补偿数据确定的修改的、局部更加适当的变换（T₂）。当然，可以实施在单遍中这样做的一些策略（即例如作为缺省变换策略的覆盖，其用于根据补偿数据确定适当的变换并且代替它）。

[因此，我们通过以下措词区别两幅高动态范围图像（典型地可基于低动态范围图像而获得），即可以被看作“粗糙变体”HDR图像的动态范围增加的图像，与依照当前描述的发明实施例的、称为动态范围增强的图像的质量或者可用性等更好的最终HDR图像。在颜色分量仅仅包含单一DR变换而没有进一步的补偿的情况下，当然所述预测将是最终编码的HDR图像]

依照本发明的一个方面，提供了一种用于生成动态范围增加的图像的装置，该装置包括：接收器，其用于接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量和颜色分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的颜色分量中的动态范围扩展数据；解码器，其用于根据用于第一图像的图像编码数据生成第一图像；以及变换单元520，其被布置成将基于动态范围扩展数据形成的总动态范围扩展变换施加到第一图像以生成动态范围增强的图像。

在许多实施例或者实际实现中，将构建变换单元520，其包括用于将第一（典型地粗糙的，例如缺省选自有限的变换集合的）动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像的变换器507，并且包括补偿器509，该补偿器用于通过对该动态范围增加的图像应用另外的校正策略，例如应用加性误差校正图片，以获得最终希望的动态范围增强的图像HDR而生成动态范围增强的图像（这是通过将总动态范围扩展变换实现为分解的初等变换集合而实现它的方式之一）。技术人员会认识到，可以如何对此重新实施以便在由变换器507施加变换之前将例如预先补偿应用到LDR图像（通过预先补偿单元），或者在变换器中加载其他变换策略，不管该变换器被实现为单个的还是多个的单元、硬件或软件等等。

依照本发明的一个方面，提供了一种生成图像编码信号的方法，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片；该方法包括：将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及将动态范围扩展数据包含在第二像素化图片的照度分量中，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据。

本发明可以提供一种改进的用于在许多系统中支持动态范围增加的图像的方法。该方法可以允许高效地表示图像和相应的较高动态范围图像二者。

本发明可以允许改进的向后兼容性。特别地，在第二图片中提供动态范围扩展数据允许重新使用许多多图片编码方法。例如，（几何）多视图编码方法和标准经常可以在较大的程度上被重新使用。此外，可以减少对现有方法和标准的修正和改变，同时仍然允许实现高质量动态范围扩展图像。

与高动态范围图像的直接编码或者第一图像和高动态范围图像之间的差异的直接编码相比，所述方法可以进一步提供例如大大降低的数据率。

动态范围扩展变换可以是可以施加到第一图像以生成具有增加的动态范围的图像的任何操作、函数和/或算法。例如，可以施加简单的伽玛变换。

所述变换提供了一种用于在无需传送用于高动态范围图像的详细信息的情况下增加动态范围的高效方法。因此，动态范围扩展变换的使用允许高效地扩展动态范围而无需传送精确地描述该扩展的详细数据（只需包含与必要的或者所希望的一样多的HDR图像对象改进）。

该方法可以例如允许高效地传送关联的LDR和HDR信息，同时允许如所希望的优化各图像。例如，可以对LDR和HDR图像中的一个或者二者进行人工颜色分级以提供希望的（艺术）图像。可以对LDR和HDR图像进行单独的颜色分级以提供希望的效果，同时允许在图像编码信号中有效地表示该单独的颜色分级。

动态范围增加的图像可以在照度方向上具有比编码的第一图像更大的色域。

第一和第二像素化图片可以与多视图图像表示兼容。

依照本发明的一个可选的特征，动态范围扩展数据包括用于编码的第一图像的至少一个颜色分量的缩放因子。

这可以提供一种用于增加动态范围的低复杂性然而高效的变换。

在一些实施例中，动态范围扩展数据可以包括用于编码的第一图像的至少一个照度分量的缩放因子。

依照本发明的一个可选的特征，缩放因子包括对于图像的至少一个像素导致减小的动态范围的值。

本发明可以允许动态范围增加的图像的灵活的优化/适应性调节。特别地，该方法可以允许扩展一些区域的照度或视亮度，但是可能地可以调暗或者减弱其他区域。

这在许多实施例中可能是特别有利的，并且特别地可以允许实现这样的功能，例如发送器，接收器以及被设计用于诸如3D信号之类的容易用于组合的LDR/HDR图像的分发的多视图信号的通信介质。

依照本发明的一个可选的特征，所述方法进一步包括：将另外的动态范围扩展数据包含在第二像素化图片的分量中，该另外的动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的另外的动态范围扩展变换的数据。

这可以允许实现动态范围增加的图像的优化/适应性调节中的进一步的灵活性。该方法可以例如允许可替换的补偿，或者可以例如允许所述另外的颜色分量提供更加准确的补偿数据，然而该补偿数据是可选的并且因此仅仅由更加强大的设备使用。

依照本发明的一个方面，提供了一种用于生成图像编码信号的装置，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片；该装置包括：第一图片处理器，其用于将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及第二图片处理器，其用于将动态范围扩展数据包含在第二像素化图片的照度分量中，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据。

依照本发明的一个方面，提供了一种生成动态范围增加的图像的方法，该方法包括：接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的照度分量中的动态范围扩展数据，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据；根据用于编码的第一图像的图像编码数据生成第一图像；将动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像；以及响应于动态范围扩展数据而适应性调节动态范围扩展变换。

依照本发明的一个方面，提供了一种用于生成动态范围增加的图像的装置，该装置包括：接收器，其用于接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的照度分量中的动态范围扩展数据，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据；解码器，其用于根据用于编码的第一图像的图像编码数据生成第一图像；变换器，其用于将动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像；以及调节器，其用于响应于动态范围扩展数据而适应性调节动态范围扩展变换。

本发明的这些和其他方面、特征和优点根据以下描述的（多个）实施例将是清楚明白的，并且将参照所述（多个）实施例进行阐述。

附图说明

本发明的实施例仅仅通过实例的方式参照附图进行描述，在附图中

图1为用于视听内容的分发路径的图示；

图2图示出依照本发明一些实施例的图像编码器的元件的一个实例；

图3图示出HDR图像的照度值与LDR图像的照度值之间的一种可能的变换；

图4图示出依照本发明一些实施例的图像编码器的元件的一个实例；

图5图示出依照本发明一些实施例的图像解码器的元件的一个实例；

图6图示出依照本发明一些实施例的动态范围扩展数据的元素的一个实例；

图7图示出依照本发明一些实施例的用于AVC流的访问单元的一个实例；

图8和图9图示出依照现有技术的用于传送立体图像的格式的一个实例；

图10和图11图示出依照本发明一些实施例的用于传送LDR和HDR图像的结构的一个实例；

图12图示出用于生成视听内容的系统的一个实例；

图13图示出用于处理视听内容的系统的一个实例；以及

图14图示出子采样配置中几个HDR变换模型数据参数的可能的编码。

具体实施方式

图1图示出视听分发路径的一个实例。在该实例中，内容提供商装置101生成用于诸如例如电影、电视节目等等之类的视听内容项的视听内容信号。特别地，内容提供商装置101可以依照适当的编码格式和颜色表示对视听内容编码。特别地，内容提供商装置101可以依照诸如例如YCrCb之类的适当表示编码视听内容项的视频序列的图像。内容提供商装置101可以存在于创建或者广播该内容的制作或分发工作室的现场。

视听内容信号可以经由分发路径105分发至内容处理设备103。内容处理设备103可以例如为与内容项的特定消费者居住的机顶盒（该机顶盒可以具有显著的存储和计算资源，例如能够施加各种不同的简单和/或高级图像处理变换）。

视听内容被编码并且从内容提供商装置101通过介质、因特网或者广播分发，所述介质可以例如包括封装的介质（DVD或BD等等）。然后，它到达内容处理设备103形式的源设备，该设备包括用于解码和回放该内容的功能。

应当意识到，分发路径105可以是任何分发路径并且经由任何介质或者使用任何适当的通信标准。此外，分发路径无需是实时的，而是可以包括永久的或者临时的存储装置。例如，分发路径可以包括因特网、卫星或地面广播等等，诸如DVD或蓝光盘或者记忆卡之类的物理分布介质上的存储，等等。同样地，内容处理设备103可以是诸如蓝光播放器、卫星或地面电视接收器等等之类的任何适当的设备。

内容处理设备103经由通信路径109耦合到显示器107。内容处理设备103生成包括表示视听内容项的视听信号的显示信号。该显示信号特别地可以与视听内容信号相同。因此，该源设备将解码的内容流送至信宿设备，该信宿设备可以是电视或者将数字信号转换成物理表示的另一个设备。就所有的图示而言，它们仅仅示意性地用来以简单、可理解的方式阐明和教导发明构思，并且技术人员会认识到，利用当今先进的系统，可以将内容处理功能与显示设备集成，例如所有功能处于便携式HDR设备中，该便携式HDR设备例如是可以临时附接到例如墙壁的平板或者设备。类似地，这些功能可以通过家庭网络例如利用高质量显示器散布，该高质量显示器再现在夜间再现于卧室中的高分辨率大尺度HDR场景，在其上可以局部地叠加另外的信号（例如与朋友的视觉通信路径，其可以具有不同的HDR照度质量，例如动态范围或者分级灰度值范围分配等等），但是也可以将这些信号中的一些重新传送至例如小的便携式显示器。

在一些实施例中，表示视听内容的图像的数据对于视听内容信号以及对于显示信号是相同的。在该实例中，显示器107可以包括用于图像处理的功能，包括例如生成具有增加的动态范围的图像。然而，应当意识到，在一些实施例中，内容处理设备103可以对该数据执行例如图像增强或者信号处理算法，并且特别地可以解码和重新编码（所处理的）视听信号。重新编码特别地可以是与用于视听内容信号的编码或表示格式不相同的编码或表示格式。例如，该显示器可能由于其固有的能力（可以借助于握手而使得机顶盒知道这点，并且从而将一般输入HDR信号变换成用于显示器或者用于临时存储器（其知道显示器仅仅具有某些能力）等等的特定HDR信号）而需要不同的HDR特征编码。

图1的系统被布置成提供高动态范围（HDR）视频信息。此外，为了提供例如改进的向后兼容性，它也提供允许呈现LDR图像的低动态范围（LDR）信息。特别地，该系统能够在单个信号（不管是视听内容信号还是显示信号）中传送/分发与LDR和HDR图像二者有关的信息，信号是一起可用于处理、传输等等的有关数据集合（例如并列的、交错的和/或共同编码的，等等……）。该方法基于使用这样的格式的图像编码信号（视听内容信号或者显示信号），其中使用多幅图片编码视频信号的每幅图像或者每帧。这样的编码例如用于传送其中对于每个视图对图片编码的立体或者多视图图像。特别地，对于立体图像而言，图像编码信号包括用于视频序列的每帧或图像的左右图片。

图1的系统使用用于每幅图像的图片中的第一图片提供LDR图像。典型地，该LDR图像可以由内容提供商或者内容创作者通过自动的或者更典型地半自动的或人工的过程生成。例如，电影的内容提供商可以执行人工颜色分级或者到原始HDR视频序列的色调映射以生成相应的LDR视频序列。该方法允许分发改进的LDR图像，这些图像被优化以提供优选的视觉印象。尽管这种过程是复杂且耗时的，但是它典型地每内容项需要执行仅仅一次。例如，制作者可以在从要在蓝光盘或DVD上发布的电影格式转换电影时将原始胶片（例如数字母片（master））从较高动态范围转换成较低动态范围。

所述LDR图像可以依照任何编码格式和颜色表示编码到第一图片中，并且特别地可以使用具有一个照度分量和至少一个彩度分量的像素颜色表示进行编码（其中技术人员会理解变体，为了简单起见我们将利用经典电视（例如MPEG2）彩度信号和有关信号描述一些实施例）。在该实例中，对于图像编码信号的第一图片中的每个图元，第一图片提供了照度样本值以及一个或多个彩度样本值。特别地，所述系统可以具有一个照度和两个彩度分量，并且在许多实施例中可以有利地为YCrCb颜色表示。

图像编码信号进一步至少包括用于每图像/帧的第二图片（典型地，图像与视频序列的单个时刻相应）。然而，第二图片并不仅仅包含诸如不同的几何视图图像之类的可替换图像，而是包含允许接收器生成与LDR图像相应的HDR图像的HDR数据。因此，第二图片包含指示可以如何根据第一图片的LDR图像生成HDR图像的动态范围扩展数据。

此外，该动态范围扩展数据以图片格式提供，并且因此与图片表示和结构兼容/一致（即，该数据相同，并且可以例如用来形成立体配对，只是这看起来将是奇怪的，但是通过以各种不同的相应物（典型地被共同编码）之一重新解释它，例如通过策略标识或说明——可能的HDR编码策略，它允许形成至少一幅HDR图像）。特别地，可以使用与第一图片相同的图片结构。因此，动态范围扩展数据可以基于像素来编码以适合像素化图片数据结构（只不过，这些像素值的含义将不同，并且该含义可以甚至与诸如用于预定类型的类型代码之类的小数据共同编码）。第二图片包括至少一个照度分量或者一个彩度分量。在下文中，描述将集中于其中第二图片包括一个照度分量和两个彩度分量的实例，并且特别地集中于其中第二图片采用YCrCb结构的实例。

因此，第二图片为像素化图片，其包括用于根据编码的第一图像（即第一图片中的LDR图像）生成动态范围增加的扩展图像的动态范围扩展数据。应当意识到，该扩展数据可能与第二图片的每个像素有关。第二图片无需包括用于每个像素的数据值。例如，一些像素可以使用无需传送的标称或缺省值，或者一些值可以用于多个像素（应当指出的是，HDR修改无需一定具有与编码图片内容/纹理的基础结构相同的高清晰度）。然而，典型地，第二图像将提供关于用于第一图像的每个像素的动态范围扩展的信息（即，这样的变换可以被导出，例如，如果对于给定像素没有包括明确的数据，那么这意味着该像素应当使用缺省值或者为另一个像素提供的值，或者甚至只是向LDR像素值施加像恒等变换那样的标准变换等等；应当指出的是，甚至可以将用于半全局变换的参数编码为像素值）。因此，虽然第二图片可能不一定包括用于每个像素的数据值，但是它仍然可以提供用于每个像素的信息，并且第二图片的结构特别地可以允许为每个像素定义（可能不同的）值。应当指出的是，尤其是对于低的子采样比率而言，插值策略可能是非常简单的（例如，如果必须重新照亮局部纹理图案，那么这可以通过使用用于一些LDR像素的重新照亮信息并且进一步依赖LDR图片中编码的LDR纹理而完成）。再者，对于逐渐变化的明度修改而言，如例如LED背光源的较低分辨率或者许多分级变换所证明的，甚至形成微小的空间误差都不是大问题。

在本文中，我们将区分术语图像和术语图片，图像是例如由摄像机捕获（或者在计算机图形环境中生成）的像素化对象的几何组成，图片是该图像的许多可能的编码尤其是分级之一（即，图像有点像图片家族的父亲，并且它可以例如为摄像机原始文件，而由此导出的第一图片可以是8比特线性编码，并且第二图片是伽玛为0.45的8比特非线性编码）。分级典型地为像素颜色的艺术变换（通过人类颜色分级者），而编码倾向于纯粹是技术/数学的。

图片是可以编码正常地可观看/可再现的场景对象纹理捕获的占位符，但是如当前实施例中所看到的，它无需实际地包括这样的数据。如例如图14中所看到的，空间相邻字可以包括诸如例如伽玛系数和偏移量之类的用于局部地将LDR第一图像像素变换成HDR图像像素（依照例如14比特字中的数学运算）的参数。在此情景中可能存在仍然可见的某种图像结构，因为虽然例如伽玛系数可能看起来像例如暗灰度值，但是考虑到不同的局部要求的变换，它们典型地仍然遵循对象边界。在模型编号也沿着颜色分量从例如“伽玛亮化”变化到“线性增强”，变化到“S形曲线拟合”等等的情况下，当显示时颜色分量实际如何看起来像图像可能与原始场景的任何视图图像非常不同（因此术语“动态范围扩展数据”）。再者，例如，误差图片并不直接提供场景的视觉表示，而是仅仅提供两幅图片之间的视觉差异的表示（即，它最多示出潜在对象的粗略边缘，如果太简单化，预测在那里出错）。因此，误差图片与参考图像有关。图片本身可以不表示实际场景，但是可以在与具有若干像素的阵列/布置（诸如例如具有WxH像素的矩形阵列）相应的结构中提供视觉信息。因此，典型地向系统用信号发出在进行其HDR处理时如何对待这些奇怪的新编码。

该方法可以应用于从内容提供商装置101到内容处理设备103的分发链路105以及从内容处理设备103到显示器107的链路109中的任一个或者二者上。此外，该方法可以例如通过使用不同的颜色表示或者编码标准而不同地应用在这两个路径上。

该方法提供了这样的系统，其中较高动态范围信息可以与较低动态范围图像一起传送。因此，提供了可以由适当的装备直接使用的图像，同时提供了供适当的装备提供具有增加的动态范围的改进图像的附加信息。此外，这可以在维持低数据率并且使用需要对当前的标准和方法进行很少的修改的方法和结构的同时实现。

该方法特别适合于相应的低动态范围（LDR）图像和高动态范围（HDR）图像的组合分发。LDR图像被编码到第一图片中，而第二图片被编码为包含（至少部分地）描述可以如何将LDR图像扩展以提供HDR图像的扩展数据。系统因此可以提供优化的LDR图像，该图像例如已经从具有较高动态范围的原始电影源进行色调映射（典型地利用智能选择的S形曲线或者相似物，但是可以对其应用更特别的局部照度调整）。该LDR图像可以例如通过特定的色调映射生成。此外，动态范围扩展数据允许生成HDR图像，其可以有针对性地为HDR图像提供优化的性能（在理想情况下，从LDR图像生成的HDR图像具有与原始HDR捕获电影相似的外观，但是对于这样的外观，也可以特别地考虑到特定再现技术和观看环境而对HDR分级）。

因此可以动态和局部地改变LDR与HDR图像之间的直接关系，使得可以生成大大改进的HDR图像。事实上，在一定程度上，该方法允许LDR和HDR图像的个性化优化。例如，对于非常明亮的区域，第一关系可以用来根据LDR图像生成HDR图像，而在暗区域中，可以使用不同的关系。因此，HDR图像可以提供比使用相同的固定关系的情况改进的视觉印象。此外，内容提供商可以动态地、灵活地且可能地人工地确定和定义所需转化，以生成所希望的HDR图像。这些优点可以在不一定需要HDR图像的详细编码的情况下实现（不管是直接地还是相对于LDR图像不同地）。相反地，可以定义可以向LDR图像施加的变换的参数，从而允许局部地适应性调节该变换。可替换地或者附加地，可以提供对于该变换的补偿。该补偿数据可以定义应当如何修改变换的输出以生成希望的图像。因此，可以提供这样的动态范围扩展数据，其提供应当如何修改动态范围扩展变换和/或该变换的输入或输出以提供希望的图像的信息。特别地，可以独立地将该变换施加到LDR图像的每个像素，并且第二图片可以允许对于每个像素单独地应用动态范围扩展数据。

常规显示器典型地使用LDR表示。典型地，这样的LDR表示通过与规定的基色有关的三分量8比特表示提供。例如，RGB颜色表示可以通过尊敬地参考红色、绿色和蓝色基色的三个8比特样本提供。另一种表示使用一个亮度分量和两个彩度分量（例如YCrCb）。这些LDR表示与给定视亮度或亮度范围相应（典型地，预先假定这些表示预期用于具有例如20尼特（nit）的平均环绕等等的500尼特白色显示器，并且在捕获侧，它们与由摄影导演选择的捕获的和剪切的照度的范围相应）。

然而，越来越多的可以捕获更大动态范围的图像捕获设备被提供。例如，摄像机典型地提供12比特、14比特或者甚至16比特的范围。因此，与常规标准LDR 8比特摄像机相比较，HDR摄像机可以忠实地捕获从更明亮的白色到给定黑色的12比特、14比特（或者更高）（线性）。因此，HDR可以与越来越多的用于与LDR相应的数据样本的比特数相应，从而允许表示更高的动态范围。

HDR特别地允许呈现明亮得多的图像（或者图像区域）。事实上，HDR图像可以提供比相应LDR图像所能提供的白色明亮得多的白色。事实上，HDR图像可以允许实现LDR图像的至少四倍亮的白色。视亮度特别地可以相对于可以表示的最暗黑色测量，或者可以相对于给定灰度或黑色水平测量。

LDR图像特别地可以与诸如和特定基色集合和/或特定白点有关的固定比特分辨率之类的特定显示参数相应。例如，可以为给定RGB基色集合以及例如500Cd/m²的白点（即规定色域内的颜色集合）提供8比特。HDR图像是包括应当超越这些限制再现的数据的图像。特别地，视亮度的亮可以是LDR白点亮的四倍以上（例如2000Cd/m²）或者更多。

高动态范围像素值具有这样的照度对比度范围（像素集合中的最亮的照度除以最暗的照度），其比可以在NTSC和MPEG-2时代标准化的显示器（具有其典型的RGB基色和D65白色，对于最大驱动水平[255，255，255]，参考视亮度为例如500尼特或者以下）上忠实地显示的范围大（得多）。典型地，对于这样的参考显示器，8比特就足以以视觉上的小步长显示近似500尼特与近似0.5尼特之间（即具有对比度范围1000:1或者以下）的所有灰度值（尤其是在考虑像源噪声那样的其他典型因素的情况下），而HDR图像以更高比特字，例如10比特编码（其也由具有更大的阱深（well depth）和DAC（例如14比特）的摄像机捕获）。特别地，HDR图像典型地包含场景白色以上的（亮图像对象的）许多像素值，特别地，若干像素比场景白色的2倍还亮。该场景白色典型地可以与NTSC或MPEG-2参考显示器的白色等同（并且在内容制作侧，可以在例如整个范围的良好照射的中间范围内定义场景白色、18%灰度和场景黑色）。

用于HDR图像的比特数M典型地可以大于或等于用于LDR图像的比特数N（N典型地可以为例如8或10比特（每颜色通道，如果使用了几个通道的话），并且M可以例如为14或16）。可能需要进行变换/映射以便使像素适合较小的范围，例如压缩缩放。典型地，可能涉及非线性变换，例如，对数编码可以用N比特字编码比线性编码大得多的照度范围（像亮度那样），即使从一个值到下一个值的照度差值步长于是不等距，但是对于人类视觉系统而言也不需要它们这样。

以下描述将集中于与立体图像表示兼容的像素化图片表示中的LDR和HDR图像信息的表示。特别地，将LDR图像编码到左图片中，并且将HDR扩展数据编码到右图像中，尤其是右图像的一个或多个颜色/彩度分量中。然而，应当意识到，这仅仅是为了清楚和简洁起见而提供的示例性描述，并且并不旨在指示所描述的图像的任何一般性的丧失。事实上，应当意识到，原理并不限于LDR和HDR图像，而是可以应用到寻求基于第一参考图像提供动态范围增加的扩展的任何系统。也应当意识到，对于左右图片的引用仅仅是为了简洁起见，并且并不预期编码与空间特性之间的特定相关。

图2图示出依照本发明一些实施例的编码器的一个实例。以下描述将集中于其中编码器位于内容提供商装置101处的实例，但是应当意识到，所描述的原理以及事实上图2的编码器也可以在例如内容处理设备103中提供。尽管我们更详细地叙述了用于例如全局或者几个局部预定义（例如在元数据中共同编码的）变换策略的编码补偿数据的令人感兴趣的实例，但是技术人员根据全部教导理解，可以如何也将其他的变换策略编码到颜色分量中。

在该实例中，编码器包括接收HDR输入图像的HDR输入201。HDR输入图像可以例如来源于使用例如每分量12或14比特（例如RGB或YCrCb或者数字电影编码等等）的HDR摄像机，或者可以例如是来自使用高动态范围赛璐珞电影和电视电影生成的主要电影版本的视频序列。作为另一个实例，输入图像可以是具有高动态范围和高比特表示的计算机生成为的HDR图像。

HDR输入201耦合到色调映射单元203，该色调映射单元继续以根据接收的HDR图像生成LDR图像。应当意识到，可以使用与HDR图像相应的LDR图像的任何适当的生成。在该实例中，可以例如使用半自动色调映射或分级，其中自动地生成初始LDR图像，随后是人工调节以便为LDR提供所希望的视觉印象。例如，操作者可以人工地修改单独的图像区域中的色调映射或颜色分级。例如，可以在与人脸等相应的图像区域中人工地优化LDR图像。可以生成LDR图像，使得它在旧式显示器上看起来是最佳的，或者依照像获得用于其他应用的特定场景描述那样的其他准则看起来是最佳的，并且使得它在旧式显示器上仍然看起来是合理的。

因此，编码器具有可用的原始的HDR图像和相应的LDR图像。然后，编码器继续以生成动态范围扩展数据，该数据描述可以如何根据LDR图像生成HDR图像。在该实例中，特别地这样确定动态范围扩展数据，使得得到的生成的HDR图像尽可能地类似于原始HDR图像（这可以基于像PSNR那样的纯数值准则或者人类视觉准则等等）。在其他实施例中，可以向HDR图像施加人工色调映射或者颜色分级。例如，可以通过人工过程向输入HDR图像提供修改，并且可以确定动态范围扩展数据，使得得到的生成的HDR图像尽可能地类似于该修改的HDR图像（这可以例如允许在显示侧进行调整，以便获得分级者在特定HDR外观中所预期的那样的密切相似）。

在图2的编码器中，色调映射单元203耦合到变换单元205，该变换单元接收LDR图像并且继续以施加动态范围扩展变换以便生成动态范围增加的图像（HDR_es）。动态范围增加的图像特别地为HDR图像并且具有比LDR图像更高的动态范围。特别地，它可以具有这样的白点，该白点至少是LDR图像的四倍亮。HDR图像可以用比LDR图像更多的数据比特来表示像素。例如，LDR图像可以每像素分量（例如RGB或YCrCb）使用8比特，而HDR_es图像可以每像素使用12、14或者甚至更多的比特。

作为一个特定的低复杂性实例，所述变换可以是指数或伽玛变换，其通过针对相应的LDR像素将幂应用到亮度值而生成HDR输出像素，例如

其中α为变换参数。

作为另一个实例，可以在LDR照度与HDR照度之间提供分段线性关系，诸如例如图3中所图示的。在这样的实施例中，线性段之间的每个过渡点可以通过适当的参数指示。应当意识到，变换函数可以例如通过将参考适当的颜色表示的输入照度范围[0.05, 1]依照相同的表示传递至大得多的范围而充分地增加动态范围。

作为又一个实例，可以将以下变换施加到图像中的位置i, j处的像素：

Y_HDR=k.Y_LDR+k₂(Y_LDR-e)^b

其中k、k₂、e和b为适当的变换参数（并且可以被编码为图像（的部分），即编码空间变化的参数，比如b(i,j)，其中i和j为空间像素位置；例如，可以在比幂修改器b更粗的尺度（例如50x50像素）上编码水平参数e）。

有用的可参数化变换的另一个实例为Y_HDR=[k(i,j)*Y_LDR+offset(i,j)]^pow(i,j)，意味着需要三个分量图片，然而，可以针对分块的大区块固定例如幂pow(i,j)，并且仅仅将其编码为间歇性元数据。

当然，通过子采样，可以在仅仅一个分量图片中编码若干这样的局部函数。

图14给出了在仅仅一个分量（例如完全分辨率Y，但是它也可以是彩度分量）中对若干模型参数进行复杂编码的一个实例。

在该实例中，许多参数在（通过子采样的局部位置标号k和l表示的）3x3重复性方案上交错，每个参数具有例如8比特值。在对角位置上的是要应用到潜在的LDR像素的变换模型的参数值，并且在其他（菱形）位置（Diff_1，Diff_2，...）上的是通过添加到来自模型的HDR预测（predication）（在插值之后）获得HDR图片的差值字段。Mod_nr指示模型编号，例如在该区块中将使用伽玛模型。其他的对角位置可以用于伽玛函数的局部参数，例如，3,1像素值可以包含指数Gam_VAL。2,2位置可以包含沿着这种伽玛函数的值的平移GAM_SHFT（即，作为标号的LDR像素值确定伽玛函数上的某个x位置，并且这被偏移到新的x位置，从该新的x位置可以读取HDR值）。另一个模型编码到参数3,3中，即线性增强（boost_1）中。参数1,3包含权重因子Wght，例如以8比特精度编码的0与1之间的因子，第一预测（伽玛修改）和第二预测（线性增强）应当利用该权重因子进行平均（该加权可以指示例如空间相邻性或者从轻微到强烈的效果层级中的优选的外观等等）。下一个3x3像素集合(k+1, l) 包含用于下一个HDR确定的类似参数。技术人员应当清楚，在这样的方式中可以如何以这样的可以对许多令人感兴趣的功能进行编码的方式共同规定若干编码，无论纯粹从最小信息的观点，还是从多功能性观点来看，从而允许有创造力的内容创造者共同编码在一定程度上可以由若干接收系统应用的许多HDR外观优化变换。例如，系统的用户可以选择在其遥控器上仅仅使用第一变换（具有完全的权重=1），因为他偏好该效果/再现等等。可升级系统也可以在例如通过移动链路向便携式显示器传输之前丢弃该信息中的一些信息。

应当指出的是，代码也可以与特定增强相应，例如1=+20照度单位，2=+40，3=+100等等。变换数据可以对预先规定的变换进行校正、补足、覆盖等等。

在图2的实例中，变换不是固定的变换，而是相反地可以通过修改各个不同的参数进行调节的变换。例如，在前一实例中，应用的幂b可以对于每个像素或者像素集合而不同，并且可以被动态地修改。类似地，图3的传递函数的线性段之间的过渡点可以对于每个像素是不同的，并且可以被动态地修改。在该实例中，单个参数值可以应用于每个像素，所有过渡点都作为其函数而提供。例如，传递函数可以简单地用对于每个像素单独地设置的缩放因子进行缩放。作为另一个实例，用于该变换的变换参数α的值：

可以针对LDR/HDR图像的每个单独的像素加以改变。

各参数可能不都是针对每个像素可单独地设置，而是例如可以对这些参数中的一个或多个进行子采样。

在一些实施例中，变换参数可以基于HDR图像或者例如LDR图像直接地确定。例如，对于图像的暗区域，可以将（多个）变换参数设置为第一值，并且对于亮区域，可以设置另一个变换参数。通过这种方式，可以基于输入HDR图像（或者LDR图像）自动地将变换参数设置为适当的值。

然而，在其他实施例中，可以半自动地或者完全人工地设置变换参数。例如，可以基于输入HDR图像自动地生成第一变换参数值集合。可以将得到的估计的HDR图像呈现给操作者，该操作者可以人工地修改这些参数以提供更加希望的估计的HDR图像。该修改可以用来提供与原始HDR图像更密切地相似的估计的HDR图像，但是可以潜在地附加地或者可替换地用来提供原始图像中不存在的希望的视觉印象。因此，可以人工地施加艺术性修改。

尽管这样的人工干预可能是复杂且耗时的，但是它可能适合于许多实际的应用，因为操作只需针对给定内容项执行一次。例如，当转换要在蓝光盘^TM上分发的电影时，用于LDR图像生成的色调映射只需执行一次。类似地，对变换参数细调以便根据LDR图像或者根据原始HDR图像生成HDR图像也需要只需执行一次。

在一些实施例中，可以自动地确定变换参数以得到与原始图像尽可能密切地近似的生成的HDR图像HDR_es。在这样的实例中，参数处理器207可以例如耦合到HDR输入201和（可选的）变换单元205，并且可以从HDR输入接收原始HDR图像且从变换单元205接收估计的HDR图像。然后，参数处理器207可以继续以便通过适当的优化过程确定变换参数。应当意识到，可以使用任何适当的自适应算法以及原始HDR图像与生成的HDR图像之间的距离度量。例如，可以应用最小均方适应方法。

作为一个特定的实例，可以基于针对每个像素的缺省变换参数（例如使用对于HDR图像的图像特性的固定依赖性）生成初始HDR图像。然后，参数处理器207可以对于第一像素顺序地修改变换参数值，直到在原始与生成的HDR图像之间实现了最小距离度量。接着，系统可以继续到下一个像素以便针对该像素找到局部最小值。在调节了所有像素之后，系统可以继续以执行第二遍。因此，可以执行递归和像素顺序优化。尽管这样的方法计算量相当大，但是它可以每内容项只执行一次并且因此可以是可接受的。

该示例性编码器进一步包括耦合到HDR输入201和变换单元205的比较器209。比较器209接收原始输入HDR图像和生成的HDR图像HDR_es二者（在变换参数优化之后）。接着，比较器209继续以生成动态范围扩展补偿数据，该数据表示可以应用到由变换单元205生成的HDR图像的补偿（即，可以例如认为变换中的数据是足够的或者需要附加的误差图片等等）。

因此，动态范围扩展补偿数据可以提供可以应用到变换过程的输出以便生成HDR图像的后处理数据。该补偿数据特别地可以提供可以应用到生成的HDR图像以便使其更接近原始HDR图像的数据。

该补偿数据特别地可以是指示生成的HDR图像与原始HDR图像之间的差值的误差数据。比较器209特别地可以将这两幅HDR图像的像素值互减以便生成用作补偿数据的差值图像，并且然后例如仅仅对于关键的区域（诸如例如对象上的精确（平滑）变化的颜色轮廓）保留该差值图片。

因此，在该特定实例中，编码器生成可以由LDR装备直接使用的LDR图像。此外，它确定用于适应性调节可以施加到LDR图像以便生成HDR图像的动态范围扩展变换的变换参数。生成的HDR图像特别地可以是基于LDR图像的针对原始HDR图像的预测HDR图像（或者可以是对于另一幅HDR图像的预测，该另一幅HDR图像例如是原始HDR图像的人工适应性调节的版本）。编码器进一步生成补偿数据，该补偿数据提供关于可以应用到生成的HDR图像的修改的信息。特别地，可以生成预测HDR图像相对于输入HDR图像的误差或差值数据。

应当意识到，尽管为了简洁起见描述涉及由色调映射单元203生成的LDR图像，但是用作变换的输入的LDR图像可以是也表示在解码器中执行的编码和解码过程的图像。特别地，可以依照适当的编码方案对生成的LDR图像编码以便生成编码的LDR数据。这可以包含在发送至解码器的输出流中。此外，可以使用与解码器使用的算法相应的解码算法对编码的LDR数据解码。这将生成这样的LDR图像，其直接与将在解码器处生成的图像相应。然后，该编码/解码的LDR图像用作变换的输入以便在编码器中生成预测的HDR图像。通过这种方式，编码器有可能执行与解码器完全相同的操作，并且生成与将在解码器中生成的图像相同的预测的HDR图像。因此，相对于HDR图像的残差或误差图像不仅反映了预测中的不准确性，而且反映了编码和解码过程中的不准确性。因此，可以实现改进的图像质量。

因此，对于由色调映射单元203生成的LDR图像的无损编码而言，色调映射的LDR图像可以如图2中所图示的由变换单元205直接使用。然而，对于LDR图像的有损编码而言，这样的方法可能由于解码器中的预测基于编码/解码的LDR图像而不是原始色调映射的LDR图像的原因而导致降质。该降质在一些实施例中可以是可接受的，但是典型地有利的是基于与解码器处生成的图像相应的编码/解码的LDR图像执行编码器中的变换。相应地，编码器可以包括用于对LDR图像编码的编码功能以及用于对得到的数据解码以便提供应用到所述变换的修改的LDR图像的解码功能。因此，从色调映射功能到变换功能的路径经常包括编码和解码操作。

应当意识到，这样的编码和解码功能可以以任何适当的方式且在任何适当的元件中实现。例如，对于图2，可以认为映射单元203包括编码功能并且变换单元205包括解码功能。作为另一个实例，可以将编码和解码功能包含在变换单元205中，或者包含在编码单元211中，其中变换单元205耦合到编码单元211并且从那里接收编码/解码的LDR图像。因此，技术人员会认识到，本发明的各个不同的实施例可以包括这样的选项：若干获得LDR图像的方式；若干构建LDR图片的任何HDR改进的方式，尤其是借助于任何共同编码的参数化变换和/或简单校正功能/图像（由209例示），其可以例如是加法的或乘法的、预先的或者后置的等等；若干编码与增强LDR图像以便获得HDR版本有关的任何数据的方式；等等。

应当意识到，对于LDR图像的引用包括该图像的各种不同的变型，并且特别地包括对于原始的色调映射的LDR图像的引用以及对于其编码/解码的版本的引用二者。

在图2的实例中，色调映射器203、参数处理器207和比较器209都耦合到多图片编码器单元211。多图片编码器单元211接收LDR图像、变换参数值和补偿数据并且然后继续以生成输出图像编码信号。

多图片编码器单元211被布置成对于编码的每幅图像或每帧提供两个或更多像素化图片结构。例如，它可以典型地在与临时图像瞬间相应的图片集合的第一图片P1中编码具有亮度Y和颜色/彩度C数据的规则LDR图像，并且在第二图片中它将典型地在可用彩度字段中至少编码一些HDR增强数据eh_HDR，并且P2的亮度通道可以可用于（用xx符号化）别的东西，例如用于3D应用的第二几何视图，或者其他HDR信息，诸如例如增强图等等。下文将集中于其中对于每图像/帧提供两幅像素化图片的实例，但是应当意识到，在其他实施例中，可以对于每幅图像提供更多的图片。

每幅图片为像素化阵列，其中提供用于相应图像的图元的信息。因此，提供了用于在再现时组成图像的图元的信息。每幅像素化图片特别地可以包括数据集合阵列，其中（潜在地）对于每个像素提供数据集合。每个数据集合可以包括多个分量，并且这些分量可以依照适当的表示而提供。

每幅像素化图片特别地可以作为具有若干可用于每个像素的N比特字的数据结构而被提供。对于图像的每个空间位置，提供多个分量，每个分量为数据比特字。

在该实例中，每幅图片使用与视觉图像的编码以及特别地与LDR图像一致的表示。此外，所述两幅图片可以遵循相同的格式。例如，可以对于每个像素提供相同数量和大小的数据字。

对于每个像素，每幅图片特别地可以提供M个数据字形式的M个分量。每个数据字典型地可以具有相同数量的比特N，但是有可能用于不同分量的比特数是不同的。

这些图片进一步使用其中不同的分量与不同的属性关联的结构。特别地，向这些图片提供作为亮度分量的至少一个分量以及作为彩度分量的至少一个分量。这些图片特别地可以被布置成对于每个像素具有一个亮度分量和两个彩度分量的数据阵列。例如，这些图片可以依照YCrCb数据结构提供数据。

在该实例中，相应地将LDR图像编码到第一像素化图片中。该编码的数据依照亮度和两个彩度样本值而被提供，并且特别地依照YUV或YCrCB格式而被提供。

将变换参数值和补偿值编码到第二像素化图片中。第二像素化图片典型地具有与第一像素化图片相同的结构，并且特别地可以具有相同数量的分量（并且特别地每个分量可以由相同的N比特字表示）。在该实例中，这两幅像素化图片具有相同的数据结构并且因而第二图片具有与第一像素化图片的亮度和（多个）彩度分量相应的至少一个亮度分量和至少一个彩度分量。特别地，第二像素化图像也可以具有与YUV或YCrCb格式相应的数据结构。

在图2的示例性系统中，将变换参数包含在第二像素化图片的亮度分量中和/或将补偿数据（例如变换后加性校正值）包含在第二像素化图片的彩度分量中。因此，不仅系统提供用于LDR图像和HDR图像二者的组合数据，而且这以非常高效的方式提供。特别地，该方法可以与许多现有的操作和功能兼容。

图4图示出多图片编码器单元211的可能实现的元件的一个实例。

在该实例中，多图片编码器单元211包括LDR输入401，该LDR输入接收来自色调映射单元203的LDR图像。LDR图像数据被馈送至第一图片处理器403，该第一图片处理器将LDR图像数据包含在第一像素化图片中。特别地，LDR数据被布置成数据集合的数据阵列，每个数据集合包括亮度分量和两个彩度分量。每个分量特别地可以是8比特值，这导致第一像素化图片每像素采用24比特（对于例如YUV444中的全彩度采样密度）。应当意识到，在许多实施例中，色调映射单元203可以直接以希望的格式提供数据，即像具有例如8比特亮度样本值和两个8比特彩度样本值的像素化图片一样，但是当然LDR图片也可以来自单独的源（例如包含先前LDR分级的结果的存储器）。

第一图片处理器403耦合到被布置成执行第一图片的编码（例如基于MPEG2或AVC DCT的编码）的可选的第一图片编码器405。该编码典型地引入显著的压缩，这导致大大地降低数据率。为了实现更高的压缩比率，优选的是该编码器是有损的。然而，这将导致解码器处解码的LDR图像偏离来自色调映射单元403的LDR图像。相应地，在这样的实施例中，可以解码第一图片编码器405的输出以生成编码/解码的LDR图像，该图像然后被馈送至变换单元205以用于HDR图像的预测。

多图片编码器单元211进一步包括接收来自参数处理器207的变换参数值的变换参数输入407以及接收来自比较器209的补偿值（以及特别地误差值）的补偿数据输入409。变换参数输入407和补偿数据输入409耦合到第二图片处理器411，该处理器可操作来生成第二像素化图片，该第二像素化图片具有与第一像素化图片相同的数据结构，但是例如在亮度分量中包括变换参数并且在彩度分量中包括补偿值。特别地，可以将变换参数包含在8比特亮度数据字中，并且可以将误差值包含在彩度分量之一的8比特彩度数据字中（或者可能地可以使用两个彩度分量将其作为16比特数据字而包含）。

第二图片处理器411耦合到第二图片编码器413，编码器413继续以便编码第二像素化图片。应当意识到，在一些实施例中，可以使用为压缩第二图片中的数据而优化的编码器。再者，典型地无损编码器可以用来确保数据值未被修改（例如仅仅像行程编码那样的数学编码；然而，某种进一步的有损减少也可以是可能的）。这可能是特别有利的，因为HDR变换和/或补偿对误差的灵敏度可能相对较高。然而，在一些实施例中，图像编码过程可以由第二图片编码器413使用，并且事实上在一些实施例中相同的编码算法可以用于第一图片编码器405和第二图片编码器413，虽然典型地考虑到数据的不同本质，可能使用不同的编码技术，或者至少参数的不同设置用在编码中。

这样的方法特别适合于无损编码，其中例如变换参数可以确切地在解码器处复现。然而，在一些情景中，也可以有可能的是将这样的方法用于有损编码。特别地，在一些实施例中，变换参数可以是对于误差相对不灵敏的参数。在这样的情况下，量化误差等可能导致降质，然而该降质在大多数情景中是可接受的。例如，如果变换参数指示照度拉伸因子，那么量化误差可能影响照度拉伸，但是仍然提供改进的（HDR）图像。再者，如果HDR变换轮廓为低分辨率，那么可以根据子采样和插值获得相对相似的轮廓，子采样和插值可能导致重新封装的缩小的图片，在这些图片的部分具有许多可容易编码的零。类似地，残余数据形式的补偿数据可能对于微小的误差不灵敏，并且考虑到数据率降低，编码误差相应地可以是可接受的。因此，在一些实施例中，甚至可以有可能的是，使用图像编码算法以便编码非图像数据并且特别是编码变换参数和/或补偿数据。

第一图片编码器405和第二图片编码器413耦合到输出处理器415，输出处理器将来自第一图片编码器405和第二图片编码器413的编码的数据组合成输出图像信号。特别地，来自这两个编码器405、413的数据可以复用成组合的数据流。

因此，图2的系统生成包括优化的LDR图像的输出图像信号。此外，提供了描述可以如何根据LDR图像生成HDR图像的特定信息。参考动态范围扩展变换而提供HDR扩展数据，从而提供了非常高效的通信以及相对于完整HDR表示降低的数据率。例如，原始HDR图像可以包括每像素16比特，这将需要LDR图像的数据率的（大约）两倍。形成对照的是，当前的方法可以仅仅使用例如每像素8或10比特（例如4比特用于变换并且6比特用于校正，或者8比特用于校正）而提供适当的动态范围扩展数据，从而大大地降低了除了LDR信息之外还提供HDR信息的开销。此外，附加信息以一定格式提供，该格式与现有标准或功能兼容或者需要对于现有标准或功能的非常少的修改。因此，实现了高程度的向后兼容性。这特别地允许许多现有的视听分发系统和标准容易地被布置成支持HDR内容。

在其中编码器位于内容处理设备103（例如具有用于存储若干电影的本地存储装置的机顶盒）中的实例中，色调映射器203典型地可以是不涉及任何操作者的自动化过程。然而，它可以根据例如分析用于当前场景的视频内容从智能色调映射的可用谱中进行选择（例如，如果在HDR中存在大量的可以稍微亮化的暗像素，那么映射器可以应用双区块策略，对较暗的像素暗化，并且将亮点置于适当亮化的照度水平上）。在其他实例中，内容处理设备103可以不包括用于根据HDR图像生成LDR图像的功能。在这样的情况下，内容处理设备103可以例如接收包括HDR和相应的LDR图像二者的输入信号。例如，蓝光盘^TM可以包括视听内容的HDR和LDR版本二者。因此，可以提供相应的HDR和LDR帧。作为又一个实例，内容处理设备103可以不接收任何HDR图像，但是可以仅仅接收LDR图像以及适当的动态范围扩展数据。当从内容提供商装置101到内容处理设备103的路径以及从内容处理设备103到显示器107的路径二者都使用所描述的方法时，情况可能尤其如此。

图5图示出依照本发明一些实施例的解码器的一个实例。图5的解码器与图2的编码器兼容/互补。

该解码器包括在该特定实例中接收来自图2的编码器的图像编码信号{P1{.,.}, P2{.,.}}的接收器501。接收器501提取与第一和第二像素化图片相应的编码的数据。解码器进一步包括第一图片解码单元503，第一图片解码单元被馈送第一像素化图片的提取的编码的数据。第一图片解码单元503然后继续以便应用与第一图片编码器405的编码过程相应/互补的解码过程。第一图片解码单元503因此生成LDR图像，该LDR图像可以例如由LDR装备用来提供LDR图像。然而，图5的解码器进一步包括用于生成HDR图像的功能。

特别地，解码器进一步包括第二图片解码单元505，该单元被馈送第二像素化图片的提取的编码的数据。第二图片解码单元503然后继续以便应用与第二图片编码器413的编码过程相应/互补的解码过程。第二图片解码单元505因此生成第二像素化图片，该第二像素化图片在亮度分量中包括变换参数值并且在彩度分量中包括补偿值。

解码器包括耦合到第一和第二图片解码单元503、505的HDR变换单元507。HDR变换单元507接收来自第一图片解码单元503的LDR图像以及来自第二图片解码单元505的变换参数。然后，它继续以便依照提供的变换参数适应性调节动态范围扩展变换。因此，对于给定参数值，HDR变换单元507应用变换单元205应用的相同变换（假设对LDR图像有损编码，或者变换单元205使用与解码器相应的编码/解码的LDR图像）。相应地，HDR变换单元507生成HDR图像。

解码器进一步包括耦合到第二图片解码单元503和HDR变换单元507的补偿单元509。补偿单元509接收来自HDR变换单元507的HDR图像以及来自第二图片解码单元503的补偿数据。补偿单元509然后应用补偿数据以便提供补偿的HDR图像。例如，可以将提取的误差图像添加到HDR变换单元507生成的预测的HDR图像。得到的HDR图像然后可以由适当的HDR装备再现。

在该实例中，补偿数据是应用到变换的输出的补偿后数据。然而，应当意识到，可替换地或者附加地，补偿数据可以是在变换之前应用到LDR图像的预先补偿数据。例如，图2的编码器可以包括用于确定哪些颜色补偿应当在优选的变换之后应用到LDR图像以便得到HDR图像的功能。编码器可以例如使用数学优化方法，或者预先补偿数据可以由操作者人工地引导。在相应的解码器中，可以在LDR图像上执行依照预先补偿数据（例如用于每个像素的颜色偏移量）的预先补偿。然后，可以将得到的LDR图像馈送至HDR变换单元507。

应当意识到，在不同的实施例中，可以使用不同的变换，并且可以根据独立实施例的特定要求和优选项使用不同的变换参数。

在一些实施例中，变换参数可以是应用到LDR像素值以生成（预测的）HDR像素值的增益或缩放因子。例如，LDR值可以作为表示区间[0，1]的8比特值而提供，并且增益或缩放因子可以是允许HDR到例如比如[0，10]（参照相同的颜色表示）的范围内的12比特值的乘法因子。因此，可以实现广泛得多的表示。

缩放或增益因子可以是与用于每个像素的单独的样本值相乘的分数值。

在一些实施例中，缩放或增益因子可以被提供用于LDR图像的分量之一，或者仅仅与其有关。例如，如果LDR图像以YCbCr格式提供，那么缩放因子可以仅仅提供给照度通道Y。

缩放参数的提供因此可以用来描述可以如何根据LDR图像生成HDR图像。该方法进一步允许非常可观的照度动态范围扩展，并且特别地可以按五倍、十倍或者甚至百倍（或者更多）对此增加。

增益参数可以为每个单独的像素而提供，并且可以作为8比特值编码到第二图片的照度颜色分量的相应8比特数据字中。

编码效率可以以各种不同的方式获得，包括例如仅仅提供照度增益因子，即仅仅为LDR图像的照度分量提供增益因子。再者，可以仅仅为一些像素提供特定增益值。例如，对于给定图像的大部分，可以使用标准缩放因子（特别地不应用缩放，即增益因子为1）生成相对准确的HDR图像。对于这些像素，不提供增益因子，并且因此仅仅为其中利用了增加的动态范围的图像的例如非常明亮的区域提供增益因子。

所述变换被布置成提供在照度方向上比第一图像更大的用于HDR图像的色域。该变换被布置成提供预期用于能够产生较高视亮度和对比度水平的显示器的较大的照度值集合。当然，也可以规定彩度方向上的另外的变换（例如在可用的分量或图片中，或者作为元数据）。

变换参数可以指示动态范围扩展的强度。例如，可以定义增强LDR图像的像素的动态范围的标准变换，并且可以将输出HDR像素生成为变换输出（即增强的像素）和原始LDR像素的加权和：

Y_HDR= Y_LDR+N?f(Y_LDR)

其中f(Y_LDR)表示施加到LDR照度值的可能固定的变换。类似地，通过形成例如2x2权重的子采样阵列，可以混合若干变换以获得希望的HDR外观。

例如，第二图像的照度分量于是可以提供值N。对于N=0，输出HDR像素直接与输入LDR像素相应。

图6图示出其中在第二图片中提供这样的权重值的一个实例。该图图示出第二图片的一部分的照度分量的数据值。该实例与小的图像区域相应，在该小的图像区域中，与可能在LDR图像中相比，非常明亮的光源在HDR图像中再现得明亮得多。在光源的中心，N等于导致非常强的照度增加（例如HDR像素由变换主导）的五，而这朝着光源的边缘逐渐减小。该方法因此提供了可以适应性调节和改进HDR生成的空间信息。也应当指出的是，在许多情景中，可以不对缺省值N=0编码，从而提高了编码效率。

应当意识到，在不同的实施例中，补偿值可能与不同的属性有关。在许多实施例中，动态范围扩展补偿数据可以是添加到动态范围扩展变换的结果的加性校正值。例如，在应用缩放因子或者生成加权和HDR像素输出之后，可以添加彩度分量中包含的补偿值。因此，变换的输出可以通过使用彩度分量中提供的补偿数据而进一步改进。

这样的方法向例如内容提供商提供了很大的灵活性以及对于LDR图像和得到的HDR图像二者的控制。事实上，它可以允许内容提供商为LDR和HDR图像二者提供艺术性优化/色调映射，同时允许编码效率和转换基于例如部分地预定的变换。特别地，从为LDR呈现优化的LDR图像到HDR图像的转换可以基于一般的或者预定的变换，从而提供降低的复杂性、计算效率、便利的实现和/或降低的编码效率。同时，可以通过灵活地、局部地且空间地适应性调节所述变换和/或补偿该变换的输出而对得到的HDR图像提供高程度的控制。

例如，颜色分级者可以根据HDR图像生成LDR图像。当这样做时，颜色分级者使用其专业知识和判断小心地为LDR优化该图像。因此，在他的系统上，他将花费时间小心地增强或减弱不同区域中的照度，修改颜色色调（彩度）等等。接着，他可以将一般变换施加到得到的优化的LDR图像，从而生成初始的HDR图像。接着，颜色分级者可以继续以修改和调节变换参数和/或补偿值以便修改得到的HDR图像。该调节可以例如通过颜色分级者人工地将变换结果与原始HDR图像进行比较而基于原始HDR图像。然而，颜色分级者也可以提供主观或者艺术性的调节以便生成被认为是原始HDR图像上的改进的HDR图像。然后，将得到的变换参数包含在第二图片的照度分量中并且将补偿值包含在彩度分量中。

在一些实施例中，动态范围扩展补偿数据包括用于第一图像的像素值误差值，并且这些像素值误差值可以指示动态范围增加的图像的图像像素值与相应的输入高动态范围图像的图像像素值之间的（加权）差值。该变换可以生成作为预测图像（用于HDR图像的估计的图像）的HDR图像，并且误差值可以被生成以反映这样的预测图像与原始（“正确”）HDR图像之间的差异。因此，该变换为根据LDR图像提供原始HDR图像的估计的预测函数。在这样的实例中，变换参数可以是提供预测函数的局部适应性调节的参数。误差值因此反映预测HDR图像与原始HDR图像之间的差值。（在一些实施例中，原始HDR图像可以由HDR图像的修改版本代替。）

特别地，补偿器209可以通过对于每个像素从来自变换单元205的变换HDR图像的Y值中减去原始HDR图像的Y值而生成误差值。

误差值可以直接提供，并且因此具有相等的加权，并且特别地可以直接是计算的差值。然而，在其他实例中，误差值可以例如通过不同地缩放的差值进行加权。作为另一个实例，可以应用非线性加权，得到例如与差值的非线性量化相应的彩度分量中的N比特数据字。

先前的实例集中于提供照度误差或差值的动态范围扩展补偿数据。然而，在一些实施例中，动态范围扩展补偿数据可以可替换地或者附加地包括颜色（彩度）补偿数据。特别地，动态范围扩展补偿数据可以包括颜色饱和度补偿数据。

事实上，在许多实施例中，动态范围扩展可以导致不同颜色的饱和度的变化的感知。例如，图像对象在LDR图像中可能被感知为具有给定的颜色饱和度，而在增强该图像对象的照度之后，相同的彩度值可能被感知为不同的颜色饱和度。这样的感知效果可以通过反映彩度调节以及特别是饱和度调节的补偿值加以解决。

在一些实施例中，动态范围扩展补偿数据包括照度和彩度补偿值。特别地，颜色饱和度补偿数据可以在第二图片的一个彩度分量中提供，其中照度补偿数据在另一个彩度分量中提供。这可以允许实现非常高效且灵活的系统，该系统允许源对于可以由信宿生成的HDR图像具有严格的控制。例如，由于可以有效地传送彩度和照度效果二者，因而提供的内容可以准确地控制在消费者一侧生成的HDR图像。此外，便利的操作和改进的重新使用/向后兼容性是可能的，例如，允许容易地提取和应用照度和彩度信息。颜色修改变换/数据在部分地在照度变换上建模的情况下（并且考虑到例如显示器色域形状）可以相对简单。

先前的实例集中于这样的实施例，其中动态范围扩展数据包括动态范围扩展补偿数据和表示用于动态范围扩展变换的一个或多个参数的数据二者。然而，应当意识到，在一些实施例中，动态范围扩展数据可以仅仅包括这些数据之一。

例如，在一些实施例中，可以在照度分量中提供仅仅变换参数数据，而没有在彩度分量中提供任何补偿数据。这将允许例如预测适于特定图像特性，同时仍然允许可以用于其他数据（或者未被使用，从而导致较低的数据率）的彩度分量。可以实现进一步降低的复杂性和降低的计算资源使用，这是因为无需补偿数据的处理。这些益处在一些实施例中可以胜过得到的HDR图像的可能的质量降低。

作为另一个实例，在许多实施例中，所述变换可以是预定的以及可能地固定的变换，对于该变换不提供自适应参数。因此，解码器可以施加标准的固定变换以生成基本HDR图像。然后，可以通过使用补偿数据修改和适应性调节该HDR图像。在这样的实施例中，相应地在第二图片的照度分量中不传送变换参数，而是提供仅仅彩度分量中的补偿数据。与提供变换参数和补偿数据二者的系统相比较，这可以降低数据率、复杂性、资源使用等等，但是可能地得到的图像质量或创造者控制降低。

作为另一个实例，变换功能可以是一种自适应变换，然而该自适应变换不被动态且局部地更新。相反地，该变换的参数或者事实上该变换本身的定义可以在例如包含在信号中而不是第二图片中的元数据中提供。

在一些实施例中，不同的动态范围扩展数据集合可以在第二图像的不同分量中提供。这些不同的集合可以是可替换的集合并且可以彼此无关。例如，多个变换参数集合可以在第二图片的不同分量中提供，其中每个集合可以描述要施加到LDR图片的可替换变换。因此，适当的HDR装备可以在这些不同的可替换集合之间选择以便选择希望的变换。

类似地，两个不同的补偿数据集合可以在第二图片的不同分量中提供。例如，可以提供与变换HDR图像和（例如摄像机捕获的）原始HDR图像之间的差异相应的第一差值集合，可以提供与变换HDR图像和人工生成的主观（艺术增强的）HDR图像之间的差异相应的第二差值集合。然后，HDR装备可以选择在生成HDR图像时使用这两个集合中的哪个集合。通过这种方式，人们不仅仅具有关于这两个LDR与HDR分级如何彼此有关的信息，而且具有它们如何与例如原始捕获的场景的（伪）线性编码有关的信息。

作为另一个实例，可以提供与可替换的变换相应的不同补偿数据集合。例如，第一彩度分量可以包括与第一预测函数相应的预测误差数据，并且第二彩度分量可以包括与第二预测函数相应的预测误差数据。然后，不同的HDR接收装置可以选择更加适当的函数，这是因为它（例如重新照亮建模函数）更加与显示器能力相应，或者是接收装置的图像处理IC中的函数集合中存在的函数，等等。

作为又一个实例，第二图片的第一彩度分量可以包括用于变换的预先补偿数据，并且第二彩度分量可以包括用于变换的补偿后数据。因此，第一彩度分量可以例如包括用于在施加变换之前的LDR图像的补偿数据，并且第二彩度分量可以提供用于得到的预测的HDR图像的补偿数据。补偿值可以与相同的属性有关，或者可能地可以与不同的属性有关。例如，预先补偿数据可以是在LDR像素的彩度平面内或者在其三个或更多颜色分量上操作的饱和度调节数据，并且补偿后数据可以是在照度方向上操作的照度数据。

因此，在一些实施例中，第二图片可以在不同的分量中包括多个动态范围扩展补偿数据集合。特别地，第二图片可以例如包括两幅误差图像（例如一幅在Cr分量中并且一幅在Cb分量中）。校正可以与相同的变换一起使用（例如在幂定律之前和之后），或者可以与不同的变换一起使用。

可替换地或者附加地，在一些实施例中，第二图片可以提供描述（或定义）不同变换的不同变换参数。例如，照度分量的变换参数可以应用到简单的动态范围扩展变换，例如简单的缩放（增强）或者幂定律变换。此外，用于非常复杂且计算要求高的变换的变换参数可以在第二图片的彩度分量中提供（例如，例如通过应用空间过滤或者边缘增强而不仅考虑像素本身，而且考虑该像素邻域中的其他像素的算法）。然后，给定的HDR装备可以在低复杂性且不那么准确的HDR扩展与更加准确但是更高计算要求的HDR扩展之间进行选择。该选择可以简单地基于装备的能力。

作为另一个实例，这两个变换（或者事实上这两个补偿集合）可以与用于HDR生成的不同优选项相应。因此，这两种方法可以导致不同的HDR图像，并且例如用户可能能够基于其个人偏好在它们之间人工地进行选择。例如，这些不同的集合可以与不同的色调映射相应。

作为另一个实例，这些不同的集合可以针对HDR再现的不同特性，例如针对不同的显示技术而优化。例如，一个集合可以针对LCD显示器上的显示而优化，而另一个集合可以针对DLP投影仪的再现而优化。

也应当意识到，所述多个集合不必是完整的。例如，照度分量可以包括用于整幅图像的低复杂性变换的变换参数。彩度分量可以包括用于非常复杂且资源要求高的变换的变换参数。然而，彩度分量可以为图像的子集才提供这样的变换参数。例如，它可以仅仅对于证明更复杂的处理正当的特定区域而被提供。例如，可以针对与人脸相应的图像区域才提供复杂变换参数。在一些实施例中，变换参数（或者等效地说补偿值）可以仅仅适于特定图像特性。例如，它们可以与人脸的HDR转换的特定优化相应，并且因此仅仅针对与人脸相应的图像区域提供该数据。

在一些实施例中，第一和第二像素化图片可以与多视图图像表示兼容。事实上，可替换地或者附加地，适合于或者被创建用于表示诸如三维以及特别地立体图像之类的多视图图像的图像编码信号格式可以用来表示（LDR）图像以及用于控制从其生成动态范围增加的图像的数据二者。

例如，第一和第二像素化图片中的每一个可以包括与例如用于三维立体图像的左右图像的YCrCb表示相应的照度和两个彩度分量。然而，代替对于立体图像使用立体图像格式的是，该格式可以用来如先前所描述的在第一图片中提供LDR图像并且在第二图片中提供动态范围扩展数据。特别地，Y分量可以提供变换参数，并且彩度分量中的一个或者全部两个可以提供误差数据。

在一些实施例中，第二像素化图像可以包括动态范围扩展数据或者第二视图图像数据。因此，相同的信号格式可以用于两个完全不同的目的，同时维持大量的兼容性和通用性，从而导致便利的操作和增加的功能的重新使用。事实上，已经开发了用于分发和处理用于多视图图像的信号的许多功能。所描述的方法允许将这样的功能用于处理动态范围扩展数据，特别是用于与如何生成LDR图像的信息一起分发LDR图像。因此，可以大大促进HDR能力的引入，因为现有的格式和功能可以重新使用，只有终端电路系统（即HDR装备）需要能够特别地处理HDR扩展数据。

在这样的实施例中，图像编码信号可以包括第二像素化图像是包括编码的第二图像还是包括动态范围扩展补偿数据的指示。这可以提供这样的低复杂性方法，其允许常见的格式重新用于不同的目的，同时仍然允许适当地处理特定数据。

在一些实施例中，第二像素化图片可以包括表示第二视图图像和动态范围扩展数据二者的数据。例如，第一图片可以包括左眼视图的LDR表示。第一分量可以包括用于右眼视图的图像数据，并且第二分量可以包括动态范围扩展数据。

例如，第二图片的照度分量可以包括用于三维图像的右眼视图的照度数据（第一图片提供左眼视图的全色表示）。3D再现设备于是能够基于来自左眼视图的颜色信息生成用于右眼视图的彩色图像（例如，技术人员将知道，可以使用任何适当的算法找到这两个视图之间的匹配像素。然后，可以给第二视图图像中的匹配像素分配与第一视图图像中的像素相同的彩度值。可以基于第二视图图像中的插值给任何其余的像素分配颜色值）。这允许再现全色3D图像。

同时，彩度分量中的一个（或多个）可以包括动态范围扩展数据。例如，第一彩度分量可以包括变换参数或补偿数据（例如误差值）。这允许将第一图片的LDR图像变换成HDR图像。

在一些实施例中，变换参数可以在第二图片的照度分量中提供，并且用于第二视图图像的照度数据可以在第二图片的彩度分量中提供。

在许多实施例中，第二像素图片可以包括用于第二视图图像的图像数据、用于动态范围扩展变换的变换参数以及用于该变换的补偿数据。事实上，具有三个分量的第二图像可以在一个分量中提供第二视图图像数据，在另一个分量中提供变换参数，并且在第三分量中提供误差数据。特别地，对于YCrCb表示而言，Y分量可以提供变换参数，Cr分量提供用于第二视图图像的照度像素值，并且Cb分量提供用于HDR变换的误差补偿数据。

不同实施例中使用的特定格式可以不同，并且取决于该实施例的单独的优选项和要求。特别地，承载信号的方式取决于特定的分发介质。

一种广泛使用的方法是使视频信号基于如ITU-T Rec. H.264和ISO/IEC 14496-10中所定义的AVC视频编码方案。在一些实施例中，与此类似的用于利用多视图视频编码（MVC）编码立体3D视频流的方法用于HDR数据。MVC是对由MPEG/VCEG的联合努力开发的H.264/MPEG-4 AVC视频压缩标准的修正，其允许使用单个视频流高效地编码同时从多个摄像机捕获的序列。

MVC基于使用AVC编码，但是对其进行了扩展，使得两个视频流被编码：2D（或左眼流）和增强视频流（右眼视频流）。增强流根据2D流进行编码，从而进一步提高了编码效率。

在一些实施例中，类似的方法用于HDR数据，其中将HDR增强数据（变换参数和/或校正数据）嵌入到MVC增强流中，使得HDR增强流（第二像素化图片）中的信息充当对于承载LDR视频（第一像素化图片）的基本层流的校正。

应当指出的是，MVC并不限于立体视图，而是可以包括超过两个不同的视图。应当意识到，这样的附加视图可以用于HDR数据并且特别地用于变换参数和补偿数据。也应当意识到，这样的附加视图可以用来提供立体（或多视图）HDR图像。例如，不同的MVC视图流可以包括用于与不同的视图相应的HDR图像的变换参数和补偿数据。

AVC定义了特别地用于与编码的视频有关的附加信令信息的特殊元数据容器。该元数据容器称为补充增强信息消息，缩写成SEI消息。该SEI消息与流中的视频数据一起在单独的数据块中承载。

H.264流由NAL单元（网络抽象层）构成。在AVC中，定义了若干不同类型的NAL单元，例如包含编码的图片数据的NAL单元以及包含SEI消息的NAL单元。这些NAL单元中的若干个一起形成访问单元。在访问单元中，启动解码和呈现一个或多个视频帧所需的所有数据是可用的。

图7中示出了访问单元的一个实例。该访问单元包括以下块：

701 指示AU单元的开始的NAL

703 其他NAL单元

705 SEI NAL单元

707 包含编码的图片数据的NAL单元

709 序列结束

每个SEI NAL单元进一步包括以下块：

711 HDR增强消息

713 其他SEI消息

用于承载HDR增强消息的SEI消息语法特别地可以如下：

HDR_enhancement _message(payloadsize) {	比特数	类型
			Marker bit	1
Reserved_for_future_use	3
			Frame_rate	4
PTS	32
			Number_of_operations	4
Reserved_for_future_use	4
			Number_of_frames_in_GOP	8
For (operator_sequence_id=0; operator_sequence_id< Number_of_operations; operator_sequence_id++){
			For(frame_num=0; frame_num< number_of_ frames_in_GOP; frame_num++;) {
operator	8
			} //frame_num结束
} //operator_sequence_id结束
			}

其中使用以下字段：

Marker bit（标记比特）：被设置为指示HDR的预定值（例如设置为1）

Frame_rate：该字段指示在该视频流中每秒的帧数

PTS：该字段指示如ISO 13818-(1)中所定义的90khz时钟内图片组（GOP）中的第一帧的呈现时间戳（PTS）。

Number_of_operations：应用到帧中的所有像素的操作（校正）数。

Number_of_frames_in_GOP：该图片组（GOP）中的帧数

Operator（运算符）：定义施加到基本流中的LDR视频的YCbCr像素值的运算的8比特值。因此，该值规定要使用哪种动态范围扩展变换。因此，它可以允许利用指示应当使用可能的变换中的哪个特定变换的运算符值预定义极大量的不同变换。在存在多个运算符字段的情况下，这些不同的变换在一些实施例中可以是可替换的，或者在一些实施例中可以通过组合运算，即LDR至HDR变换可以被定义为执行运算符字段中定义的运算的组合效果。

下表中列出了具有相应运算的一些可能的运算符值：

运算符值	运算
		1	将LDR图片的Y像素值与校正图片的Y像素值相乘。即，第二图片的照度值是用于第一图片的LDR照度值的缩放或增益因子。
2	将LDR图片的Cr像素值与校正图片的Y、Cr或Cb像素值相乘。该变换可以包括基于第二图片中包含的数据的彩度调节。
		3	将LDR图片的Cb像素值与校正图片的Y、Cr或Cb像素值相乘。该变换可以包括基于第二图片中包含的数据的彩度调节。
4	使用校正图片的Y像素值作为伽玛值将伽玛校正应用到LDR图片。第二像素化图片的照度分量因此定义了用于LDR像素的伽玛值。
		5	从LDR图片的Cr和Cb值中减去第二图片的Cr和Cb值。
6	TBD
		7	TBD

应当意识到，取决于特定的实施例，所述变换/动态范围扩展可以在许多不同的设备和实体中执行。例如，该变换和补偿可以在回放设备（例如机顶盒）中或者在显示器（例如电视）中执行。例如，LDR至HDR转换可以在回放设备中执行，如果该设备支持所述处理能力并且到显示器的视频接口支持HDR视频的传输的话。如果回放设备或者到显示器的视频接口不支持HDR内容的直接传输，那么SEI消息中的HDR增强信令也必须与LDR和增强图片数据一起传输至显示器。即，在这种情况下，信号到显示器的传送可以依照先前描述的原理。

视频信号在设备之间，例如在机顶盒与显示器之间的传送典型地依照适当的标准。两个当前流行的且有前景的视频接口标准是HDMI（高清晰度多媒体接口）和DisplayPort（显示端口）视频接口标准。所描述的方法特别适合于这样的视频接口标准。

诸如HDMI和DisplayPort之类的视频接口标准中的信令基于CEA 861-D。CEA 861-D定义了信息帧（infoframe）的概念。该信息帧在视频传输中的所谓的数据岛，“消隐间隔（blanking interval）”时段中传输。消隐间隔是来源于模拟CRT（阴极射线管）显示器的概念，在该CRT显示器中，阴极射线需要一定时间折回以绘制出线。在HDMI中，这些垂直和水平消隐时段用来传输音频和控制数据。HDMI中的控制数据在信息帧中传输并且这些数据限于30字节。

为了用信号发送HDR校正或“增强”数据，可以定义这样的信息帧。因此，可以在适当的信息帧中提供动态范围扩展数据的存在性的指示符以及可能地与其关联的各种不同的特性。这特别地可以承载如上面针对HDR增强SEI消息所定义的相同数据。然而，帧号的定时和指示在HDMI中与在MPEG中是不同的。

对于HDMI供应商特定的数据块HDR的一种可能的信息帧定义可以如下：

为了在HDMI和DisplayPort中传输HDR校正或增强数据，可以使用类似于针对立体3D格式所定义的机制，其中在具有扩展的尺寸的一个“帧”时段中传输左眼图片数据和右眼图片数据。该方法在图8-11中图示出。

图8和图9图示出用于立体图像的现有技术方法。图10图示出将有关原理应用到HDR增强数据的一个实例。图11图示出可以如何组合立体和HDR增强数据的一个实例。

即，依照当前实施例，可以在用于图片的地方以及在环绕数据地方中编码HDR数据。

应当意识到，所描述的系统可以与许多不同类型的内容创建、提供和消费一起使用，包括例如消费者系统。

图12示意性地示出了可以在创建（发送）侧存在的用于创建良好HDR信号的装置中的一些的一个实例。在该实例中，这些装置与经典的赛璐珞胶片摄像机一起集成（应当指出的是，场景的数字辅助表示将仅仅完全[关于模拟与数字记录的像素值]可与实际捕获的赛璐珞图片相联系，如果结合了用于映射这二者的电影材料校准模型的话（然而，显影于是仍然是个可以补充对待的未知变量），但是即使没有这些，数字记录仍然可以得到非常有价值的次要信息，例如，如果它在几何上与赛璐珞捕获的视图窗口共同配准（co-register），那么可以定义区块，并且除了赛璐珞捕获的显影颗粒值之外，可以经由数字捕获编码例如线性的实际场景视图值），这是因为技术人员会理解如何将这些部件移调到颜色分级者的房间或者对于例如老的劳莱（Laurel）与哈代（Hardy）图片做同样的事情的代码转换器。

图12示出附接到摄像机1201的数字显示器1203（其例如获得来自与摄像机透镜共同配准的CCD的馈送）。然而，连接1204不必是固定的，而是也可以是用于若干单独的显示器（例如一个用于摄像机操作者，并且一个在导演的概览堆中）的发送器。在显示器1203上，摄像机操作者或者摄影导演可以绘制例如他们知道他们利用其舞台照明校准为图像的暗部分的区块1250，这可以利用例如光笔1208或者其他用户接口输入构件完成[我们仅仅示出一个实例，因为我们认为技术人员可以很好地理解哪些类型的系统允许用户给出关于显示的图像的反馈]。显示器1203可以将添加的信息存储到存储器1206（例如可拆卸记忆棒）上，或者经由传输系统1205通信。它也可以经由它的传输系统1221接收来自拍摄现场场景分析设备1220（其可以简单地为测光计或者甚至为空间采样光谱仪）的另外的信息，其也可以传输到最终数据积累的地方（即1240）。此外，场景中仪表1230（即尤其是在具有非常多变的照明时测量如何照射演员的脸的局部光照计；查看环绕光照分布的球系统；等等）可以经由它们的传输系统1231将其数据传输至系统的任何部分。然后，接收显示器可以典型地依照用于创建相似外观（典型地协调不同颜色再现体系的外观）的某种心理视觉模型设法以其原始视亮度或者至少其部分（或函数）复现光。所有数据累积在具有板载存储器的数据累积装置1240上，该装置典型地为（具有传输系统1241的）计算机。

不是所有的部件都需要存在。然而，技术人员应当理解，系统可以利用详细地分析整个环境的装置扩充，这不仅对于当代计算机图形学效果插入有用，而且最终起居室显示器再现和周围环境照明二者将受益，如果关于其反射对象和实际光照二者的场景的更多细节与最终的图像信号被共同记录的话（这允许更好的重新照亮变得与观看者的环境更加协调）。

图12中图示出的系统因此可以由操作者用来通过人工的颜色分级/色调映射生成LDR图像。然后，可以在第一像素图片中编码和表示得到的LDR图像。该系统可以进一步自动地确定用于生成HDR图像的参数。可替换地，操作者也可以使用图12的系统例如通过半自动过程生成HDR扩展数据。

图13示出了例如消费者的起居室中的接收侧的示例性图像解码和显示系统（技术人员会理解依照我们的发明的原理的类似系统在例如数字影院中将看起来如何）。颜色再现图像处理装置1301的一个实施例为具有内置蓝光读取器的机顶盒（其可以与图1的内容处理设备103相应）（但是这也可以是例如膝上型计算机或者像移动电话那样的便携式设备等等，即装置1301可以与插卡一样小，或者与专业电影院代码转换工作室一样大），所述读取器能够接收在其上编码了整个LDR/HDR扩展图像信号（即包含了具有LDR的第一图片和具有HDR扩展数据的第二图片）的蓝光1302。

作为另一个实例，该装置可以经由到例如电视信号传输电缆（或者天线或者用于记忆卡上的数字照片的输入等等；图像信号也可以不同地表示例如电视标准编码信号或者原始图像文件等等）1304的第一连接1303接收信号，所述电缆承载（典型地压缩编码的）输入信号。在一些实施例中，所述两幅图片可以经由两个路径提供，例如，HDR描述数据可以经由例如连接到互联网1305的第二连接器1304通过另一种介质到达。

装置1301具有IC，该IC至少具有提取器1311，该提取器1311被布置成提取数据并且直接输出它或者将它转换成更适合于由图像处理单元1312进行受控的图像处理的新值。这可以如此简单地实施，以便对与要特别再现的体系相应的像素仅仅施加一些色调复现变换，或者具有例如典型地与可以在创建侧应用的任何算法（例如分割和/或跟踪算法/单元）相应的复杂算法。

播放器1301可以通过视频电缆1320将其改进的预期的再现输出图像IR’输出到显示器/电视（例如HDMI），但是由于电视可以（在其图像分析和/或处理IC 1331上）进行（或者被要求进行）附加的处理，第二连接（电缆或者无线的）1321可以存在以用于控制信号CS（其可以包括来自所述信号的任何数据和/或从那里导出的控制数据）。典型地，可以通过更新例如（无线）HDMI协议而通过视频电缆添加这些附加的控制信号。装置1323也可以通过连接1323向第二环境彩色显示器1340发送控制信号，该彩色显示器也可以经由显示器1330获得其预期的再现彩色输入信号。示例性的显示器具有LED背光源1332，这对于HDR再现是理想的。像测量设备1380那样的环境测量设备可以存在，例如可以检查电视的周围、房间中的光、电视前板上的反射、校准灰度级的可见性等等的廉价摄像机，并且它们可以将该信息传送至装置1301和/或显示器1330。

本文中公开的算法组件可以在实践中（完全地或者部分地）实现为硬件（例如专用IC的部分）或者实现为在专门的数字信号处理器或通用处理器等等上运行的软件。

技术人员根据我们的介绍应当可以理解哪些部件可以是可选的改进并且可以与其他部件组合地实现，以及方法的（可选）步骤如何与装置的各构件相应，并且反之亦然。在本申请中，措词“装置”在其最广泛的意义上使用，即允许实现特定目的的一组构件，并且因此可以例如是IC（的小部分）、或者专用器具（例如具有显示器的器具）或者联网系统的部分，等等。“布置”也预期在最广泛的意义上使用，因此除别的以外，它可以包括单个装置、装置的部分、协作装置（的部分）的集合，等等。

计算机程序产品外延应当被理解为涵盖命令集合的任何物理实现，这些命令在将命令输入到处理器中的一系列加载步骤（其可以包括中间转换步骤，例如翻译成中间语言和最终的处理器语言）之后使得通用或专用处理器能够执行发明的任何特有功能。特别地，计算机程序产品可以实现为诸如例如盘或带之类的载体上的数据、存储器中存在的数据、经由（有线的或者无线的）网络连接行进的数据，或者纸上的程序代码。除了程序代码之外，程序所需的特性数据也可以实施为计算机程序产品。操作所述方法所需的步骤中的一些可能已经存在于处理器的功能中，而不是在计算机程序产品中进行描述，例如数据输入和输出步骤。

应当意识到，上面的描述为了清楚起见参照不同的功能电路、单元和处理器描述了本发明的实施例。然而，应当显而易见的是，可以使用不同功能电路、单元或处理器之间的任何适当的功能分布而不减损本发明。例如，被示出由单独的处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对于特定功能单元或电路的引用应当仅仅视作对于用于提供所描述的功能的适当构件的引用，而不是表示严格的逻辑或物理结构或组织。

本发明可以以任何适当的形式实现，包括硬件、软件、固件或者这些的任意组合。可选地，本发明可以至少部分地实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和部件可以在物理上、功能上和逻辑上以任何适当的方式实现。事实上，所述功能可以在单个单元中、在多个单元中或者作为其他功能单元的部分而实现。同样地，本发明可以在单个单元中实现，或者可以在物理上和功能上分布在不同单元、电路和处理器之间。

尽管已经结合一些实施例描述了本发明，但是本发明并不预期限于本文阐述的特定形式。此外，虽然特征可能看起来结合特定实施例而被描述，但是本领域技术人员应当认识到，依照本发明可以组合所描述的实施例的各种特征。在权利要求书中，术语包括并没有排除其他元件或步骤的存在。技术人员应当理解的是，针对方法所描述的组合可以具有用于装置或者像信号那样的其他权利要求类别的相似版本，不管其是导出的还是本身具有的。再者，可以理解，可以在各种不同的版本中以各式各样的方式组合或消除各个不同的实施例选项，这仍然遵循本文中的实例所阐述的教导。

此外，尽管单独地被列出，但是多个构件、元件、电路或方法步骤可以由例如单个电路、单元或处理器实现。此外，尽管单独的特征可以包含于不同的权利要求中，但是这些特征可能地可以有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。此外，特征包含于一种权利要求类别中并不意味着限于该类别，而是表示该特征同样可适当地应用于其他权利要求类别。此外，权利要求中特征的顺序并不意味着其中特征必须起作用的任何特定顺序，并且特别地，方法权利要求中各步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用并没有排除多个。因此，对于“一”、“一个”、“第一”、“第二”等等的引用并没有排除多个。权利要求中的附图标记仅仅作为澄清的实例而被提供，不应当以任何方式被视为限制了权利要求的范围。

Claims

1. 一种生成图像信号的方法，该图像信号对捕获的物理场景的表示编码，该图像信号包括第一像素化图片编码和第二像素化图片编码，像素化图片编码具有作为N比特数目的码字集合的照度分量和颜色分量，与二维像素位置阵列相应；该方法包括：

利用照度和颜色码字将捕获的物理场景的第一图像编码到第一像素化图片编码中；以及

代替用于相应像素位置的颜色值，将动态范围扩展数据编码到第二像素化图片编码的颜色分量中，该动态范围扩展数据包括表示基于第一像素化图片获得动态范围增加的图像的照度方向上的动态范围扩展变换的数据。

2. 如权利要求1所述的生成图像信号的方法，其中将动态范围扩展数据包含在第二像素化图片编码的颜色分量中的步骤包括包含动态范围扩展补偿数据，该动态范围扩展补偿数据可用于通过第二动态范围扩展变换修改基于第一图片编码获得的第二动态范围增加的图像。

3. 权利要求2的方法，进一步包括将动态范围扩展数据包含在第二像素化图片编码的照度分量中的步骤，该动态范围扩展数据包括表示第二动态范围扩展变换的数据。

4. 权利要求2或3的方法，其中动态范围扩展补偿数据包括用于第一图像的像素位置的像素误差校正值。

5. 权利要求4的方法，其中像素误差校正值指示第二动态范围增加的图像的图像像素值与相应的输入高动态范围图像的图像像素值之间的加权差。

6. 权利要求2的方法，进一步包括响应于动态范围增加的图像与相应的输入高动态范围图像的比较而生成动态范围扩展补偿数据。

7. 权利要求2的方法，其中动态范围扩展补偿数据包括颜色饱和度补偿数据。

8. 权利要求2的方法，其中第一图像为场景的第一几何视图图像，并且该方法进一步包括：

将用于第二图像的图像编码数据包含在第二像素化图片编码中，该第二图像为用于场景的第二几何视图图像。

9. 权利要求8的方法，其中对于至少一些时刻，只有第二几何视图图像和动态范围扩展数据中的一个包含在第二像素化图片编码中；并且该方法进一步包括

在图像编码信号中包含第二像素化图片编码是包括第二几何视图图像还是包括动态范围补偿数据的指示。

10. 权利要求8或9的方法，其中将用于编码的第二几何视图图像的图像编码数据包含在第二像素化图片编码的照度分量中，并且将动态范围补偿数据包含在第二像素化图片编码的颜色分量中。

11. 权利要求1或2的方法，其中动态范围扩展变换包括应用预测函数。

12. 权利要求1或2的方法，进一步包括将另外的动态范围扩展补偿数据包含在第二像素化图片编码的另外的颜色分量中，该另外的动态范围扩展补偿数据包括表示用于动态范围增加的图像的第二补偿的数据。

13. 权利要求1的方法，其中动态范围扩展补偿数据包括用于在施加动态范围扩展变换之前应用到根据第一像素化图片编码解码的第一图像的预先补偿数据。

14. 权利要求1或2的方法，其中图像编码信号与高清晰度多媒体接口和显示端口视频接口标准中的至少一个兼容。

15. 一种用于生成图像编码信号的装置，该图像编码信号包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码；该装置包括：

第一图片处理器（203，211），其用于将用于第一图像的图像编码数据包含在第一像素化图片编码中；以及

第二图片处理器（205，207，209，211），其用于将动态范围扩展数据包含在第二像素化图片的颜色分量中，该动态范围扩展数据包括表示第一图像的到动态范围增加的图像的照度方向上的变换的数据。

16. 一种图像编码信号，包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码；该图像编码信号包括：

第一像素化图片编码中的用于第一图像的图像编码数据；以及

第二像素化图片编码的颜色分量中的动态范围扩展数据，该动态范围扩展数据包括在照度方向上将第一图像变换成动态范围增加的图像的数据。

17. 一种生成动态范围增加的图像的方法，该方法包括：

接收图像编码信号，该图像编码信号包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码，该图像编码信号包括：第一像素化图片编码中的用于第一图像的图像编码数据以及第二像素化图片编码的颜色分量中的动态范围扩展数据，该动态范围扩展数据对照度方向上第一图像到动态范围增加的图像的变换编码；该方法包括：

- 根据编码到第一像素化图片编码中的第一图像的图像编码数据生成第一图像；

- 基于动态范围扩展数据确定动态范围扩展变换过程，并且将该动态范围扩展变换过程施加到第一图像以生成动态范围增强的图像。

18. 一种用于生成动态范围增加的图像（HDR）的装置，该装置包括：

接收器（501），其用于接收图像编码信号，该图像编码信号包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码，该图像编码信号包括第一像素化图片编码中的用于第一图像的图像编码数据以及第二像素化图片编码的颜色分量中的动态范围扩展数据，该动态范围扩展数据包括表示第一图像的到动态范围增加的图像的照度方向上的变换的数据；

解码器（503），其用于根据第一像素化图片编码中的用于第一图像的图像编码数据生成第一图像（LDR）；以及

变换单元（520），其用于将基于动态范围扩展数据形成的动态范围扩展变换施加到第一图像以生成动态范围增加的图像。