CN108573475A - 用于具有视觉效果的图像的逆色调映射的方法 - Google Patents

Abstract

公开了一种用于具有计算机生成的图像分量的LDR图像的逆色调映射的方法和装置，这样的分量也称作视觉效果。公开的方法包括步骤：访问第一LDR图像，所述第一LDR图像是从渲染并合成进LDR参考图像或背景板的至少一个计算机生成的图像分量获得的；响应于从第一LDR图像的一部分和通过将第一通道逆色调映射应用于所述第一LDR图像获得的第一中间HDR图像的相应部分提取的信息确定HDR光线指示；通过将第二通道逆色调映射应用于LDR参考图像获得第二中级HDR图像；从使用HDR光线指示渲染并合成进第二中间HDR图像的计算机生成的图像分量获得第一HDR图像。

Description

用于具有视觉效果的图像的逆色调映射的方法

技术领域

本发明涉及高动态范围成像领域，并且显著地解决了包含视觉效果的低动态范围内容的逆色调映射的问题。

背景技术

本部分旨在向读者介绍可能与以下描述和/或要求保护的本发明的各个方面有关的领域的各个方面。该讨论被认为有助于为读者提供背景信息以便更好地理解本发明的各个方面。相应地，应该理解的是应从这个角度来理解这些陈述，而不是作为现有技术的承认。

显示技术的最新进展开始允许要显示的扩大范围的色彩、亮度(luminance)和对比度。允许扩大图像内容的亮度或明度(brightness)范围的技术被称为高动态范围成像，通常简称为HDR。HDR图像具有比传统的(以下将低动态范围称为LDR)图像更高的白光水平(white level)、更高的对比度或更高的比特深度(bit depth)中的一个。现今，大量的遗留的LDR内容是可用的，其需要扩展到HDR图像，例如，HDTV广播内容或为传统电影投影而分级的故事片电影色彩。

为了准备用于HDR显示设备的LDR内容，采用反向(reverse)或逆色调映射算子(inverse tone mapping operator，iTMO)。这样的算法处理图像内容中的亮度水平、对比度、色调和色度，其目的是恢复或重建原始场景的外观(appearance)。典型地，iTMO以传统的(即LDR)图像作为输入，以全局方式扩大该图像的色彩的亮度范围，并且随后局部地处理暗或亮区域以增强图像中的色彩的HDR外观。通常，生成的HDR图像是可信的，然而，在重建HDR图像时，LDR图像中存在的噪声、裁切(clipping)和量化可能会被放大。这对于包含视觉效果的图像来说尤其成问题。

不仅在现今的电影制作中，并且在游戏中，视觉效果(以下称为VFX)覆盖了操纵除了在现场拍摄镜头期间(以下称为自然图像)捕获图像的工作流和/或创建计算机生成的图像的过程。在非限制性的示例中，VFX包括人为创建的添加到自然图像以生成最终的预期图像(以下称为作为包含VFX的图像)的视觉元素，如动画对象和人物、光线效果、透明对象(如火，烟和雾)。一些视觉特效与光线效果相关，例如镜面反射和投射阴影，以及具体地在图像中引起暗部或亮部。VFX通常是从场景中的光发射、反射、透射和吸收的物理模型创建的。这些物理光模型是所谓的VFX素材(VFX asset)的一部分。VFX素材包含VFX生成所需的所有光线、形状、纹理和运动的相关信息。物理光模型使用高数值精度。从这些模型渲染图像。这是将高精度效果制作成通常精度有限(例如，由于每个颜色通道和像素量化成10或12位)的图像的步骤。根据与游戏相关的另一示例，根据MPEG-4第11部分，在视听流中使用用于场景的MPEG-4二进制格式(BIFS)将图像和合成对象发送到消费者设备。然后，消费者设备渲染合成对象并将它们插入到图像中。再一次地，这类人工图像示出最高为图像信号的量化的高精度的高亮度、饱和色彩和其他光线效果。由于与VFX有关的LDR图像的部分显示出明显的高亮度、暗影、饱和色彩和通常高视觉质量的光线效果，因此通过包含VFX的LDR图像的逆色调映射方法产生的HDR图像中的低质量的VFX是尤其麻烦的。值得注意的是，可以预期的是，这样的HDR图像的一部分遭受裁切、亮度压缩、细节缺乏、饱和度改变、噪声放大和色带。

尽管存在几种iTMO解决方案，如取决于部分图像或迭代的ITMO过程的不同iTMO，但这些方法都没有具体处理用VFX生成的图像的特异性。

发明内容

鉴于前述内容，需要一种新颖的iTMO，其目的在于提高包括VFX的HDR图像的视觉质量。本原理的突出想法是使用第一通道(pass)的逆色调映射从LDR图像生成HDR图像，并且使用来自通过第一通道iTMO获得的HDR图像的信息来再生成VFX以用于没有VFX的HDR图像。

根据本公开的一个方面，公开了一种用于将具有至少一个计算机生成的图像分量(或至少一个视觉效果或至少一个合分量量)的称作第一LDR图像(LDR w VFX)的低动态范围图像逆色调映射成具有所述至少一个计算机生成的图像分量(或视觉效果)的称作第一HDR图像(HDR w VFX)的高动态范围图像的方法。该方法包括访问第一LDR图像，其中第一LDR图像是从渲染并合成进LDR参考图像(LDR w/o VFX)的至少一个计算机生成的图像分量获得的；响应于从所述第一LDR图像的一部分和第一中间HDR图像的相应部分提取的信息，确定HDR光线指示(lighting indication)，通过将逆色调映射应用于第一LDR图像，或在一个变型中，应用于第一LDR图像的子部分获得第一中间HDR图像的相应部分；通过将所述逆色调映射应用于所述LDR参考图像获得第二中间HDR图像；从使用HDR光线指示渲染并合成进第二中间HDR图像的至少一个计算机生成的图像分量获得第一HDR图像。因此，避免了与VFX相关的LDR图像的部分中的裁切、亮度压缩、细节缺乏、饱和度修改、噪声放大和带化，这是因为VFX是在具有较高的白光水平、较高对比度或较高的比特深度中的至少一个的HDR图像内生成的。有益地，与VFX相关的HDR图像中的部分的图像质量大大增强，因为从用于那些部分的VFX素材中完全检索信息。因此，参考LDR图像对应于其中插入了视觉效果的自然图像，其中视觉效果是除捕获参考图像的工作流之外创建的计算机生成的图像分量。因此，用于获得第一高动态范围(HDR w VFX)图像的HDR光线信息是从经色调映射的第一低动态范围(LDR w VFX)图像的采样和通过对参考图像(换言之，对于用于合成的自然图像)应用逆色调映射计算的第一中间HDR图像的对应采样生成的。

根据具体的实施例，方法还包括选择与至少一个透明对象相关的至少一个计算机生成的图像分量的子集；

并且其中将至少一个计算机生成的图像分量的选择的子集包括在LDR参考图像中，并且使用HDR光线指示来渲染不在选择的子集中的计算机生成的图像分量。因此，只有部分在逆色调映射中引起问题的视觉效果或计算机生成的图像分量使用2通道iTMO方法处理。在该变型中，因此，参考LDR图像对应于进一步处理以包括一些计算机生成的图像分量的自然图像。

根据另一具体的实施例，确定HDR光线指示还包括从第一LDR图像的一部分和第一中间HDR图像的相应部分之间的差确定因子，将所述因子应用于所述至少一个计算机生成的图像分量(VFX素材)的光源的幅度。

根据另一具体的实施例，确定所述HDR光线指示还包括从第一LDR图像的一部分和第一中间HDR图像的相应部分之间的差确定亮度相关因子，亮度相关因子应用于关于渲染进LDR图像的至少一个计算机生成的图像分量的亮度的至少一个计算机生成的图像分量(VFX素材)的光源的幅度。

根据另一具体的实施例，HDR光线指示还响应于至少一个计算机生成的图像分量。有益地，迭代地应用该方法，以通过改变HDR光线指示来使将最终HDR w VFX图像与第一中间HDR图像之间进行比较，最终HDR w VFX图像的差最小化。

根据另一具体的实施例，使用MPEG-4视频编码标准对LDR参考图像进行编码，以及使用用于场景的MPEG-4二进制格式(BIFS)对光源或至少一个场景对象进行编码。有益地，该实施例有益地允许对LDR图像进行自动iTMO处理，因此可以将其集成到消费者设备中或降低内容制作的成本。

根据本公开的第二个方面，公开了一种用于将具有至少一个计算机生成的图像分量的称作第一LDR图像(LDR w VFX)的低动态范围图像逆色调映射成具有至少一个计算机生成的图像分量的称作第一HDR图像(HDR w VFX)的高动态范围图像的设备。该设备包括用于访问第一LDR图像的部件，第一LDR图像是从渲染并合成进LDR参考图像(LDR w/o VFX)的至少一个计算机生成的图像分量获得的；用于响应于从所述第一LDR图像的一部分和第一中间HDR图像的相应部分提取的信息确定HDR光线指示的部件，所述第一中间HDR图像的相应部分通过将逆色调映射应用于第一LDR图像获得；用于通过将逆色调映射应用于LDR参考图像获得第二中间HDR图像的部件；用于从使用HDR光线指示渲染并合成进第二中间HDR图像的计算机生成的图像分量(VFX素材)获得第一HDR图像的部件。

根据特定的实施例，设备包括实现任何实施例中的公开的方法的处理器。

根据特定的实施例，设备属于包括以下各项的集合：

-移动设备；

-通信设备；

-游戏设备；

-机顶盒；

-电视机；

-蓝光光盘播放器

-播放器

-平板(或平板电脑)；

-膝上型计算机；

-显示器；

-照相机；以及

-解码芯片。

根据本公开的第三方面，提供了计算机程序，其包括程序代码指令，其可以通过处理器执行用于实现根据本公开的第一方面的方法的步骤。

根据本公开的第四方面，提供了计算机程序产品，其存储在非暂态的计算机可读介质上，并包括程序代码指令，其可以通过处理器执行用于实现根据本公开的第一方面的方法的步骤。

根据第五方面，公开了处理器可读介质，其中存储由用于使得处理器至少执行公开的任一方法的步骤的指令。

根据第六方面，公开了一种非暂态的程序存储设备，其可以通过计算机读取，有形地体现可由计算机执行以执行任何公开的方法的指令的程序。

虽然没有明确地描述，但是本实施例可以采用任何组合或子组合的形式。例如，本发明不限于所描述的色彩变换，并且可以使用任何可调参数函数用于内插目的。

此外，针对方法描述的任何特征或实施例与旨在处理所公开的方法的设备以及存储程序指令的计算机可读存储介质兼容。

附图说明

根据以下参考附图对本公开的实施例的描述，本公开的以上和其他目的、特征和优点将变得显而易见，其中：

-图1是图示根据本公开的第一实施例的用于具有VFX的LDR图像的逆色调映射的方法的流程图；

-图2是图示根据本公开的第二实施例的用于具有VFX的LDR图像的逆色调映射的方法的流程图；以及

-图3是图示根据本公开的实施例的用于具有VFX的LDR图像的逆色调映射的装置的结构的示意图。

具体实施例

在下面的讨论中，为了解释而不是为了限制的目的阐述了本技术的特定实施例的具体细节。本领域技术人员将会理解，除了这些具体细节之外还可以采用其他实施例。此外，在一些情况下，省略了对众所周知的方法、界面、电路和设备的详细描述，以免不必要的细节使描述变得模糊。

本领域技术人员将理解，所描述的一些或全部功能可以使用硬件电路来实现，如互连以执行专用功能的模拟和/或离散逻辑门、ASIC、PLA等。同样，可以使用一些或全部功能可以使用软件程序和数据结合一个或多个数字微处理器或通用计算机来实现。

现在，将参照图1来图示根据本公开的第一实施例的用于具有VFX的LDR图像的逆色调映射的方法100。根据第一实施例，通过在预备步骤S100中合成不具有VFX的给定LDR图像(称为LDR w/o VFX或LDR参考图像或LDR背景板)以及使用给定的VFX素材渲染的LDR图像来创建称为LDR w VFX的具有VFX的LDR图像。这就是从VFX素材产生LDR人工图像的渲染。然后，通过合成融合LDR人工图像和LDR参考图像。LDR渲染/合成步骤S100不在第一实施例中的方法的范围内。在该第一实施例中仅需要LDR VFX图像。然而，本领域技术人员理解，取决于方法的输入信息，LDR渲染/合成步骤S100可以是下文中参照第二实施例描述的方法的一部分。根据非限制性的示例，VFX素材包含2D或3D对象(如合成字符、合成汽车、合成火或合成怪物等)的形状、纹理、表面反射以及运动或位置。根据其他非限制性的示例，VFX素材包含光源(如路灯、来自火或月光的光线)的强度、颜色、大小和运动或位置。我们使用如Addison-Wesley出版的Alan Watt所著的“3D计算机图像”(3D Computer Graphics)(第267-311页)中所公开的基于3D投影和射线追踪的公知的渲染技术。首先，光线追踪确定来自所有3D对象所有表面的光线量，然后将这些对象投影到2D平面中以形成图像。在该预备步骤S100中，渲染图像是LDR图像，因此使用LDR光线指示将渲染图像的白光水平、对比度或比特深度调整为低动态范围颜色坐标。LDR光线指示控制VFX素材的光照效果，如打算用于LDR图像的镜面反射和投射阴影。然后，合成将通过渲染产生的图像整合到已经存在的图像中。合成使用已知的方法，其中包括Z缓存(Z-buffering)方法和透明(transparency)方法，如Alan Watt的书(第150-151页)中描述的方法或混合方法，如Tamara Berg在她的计算摄影和合成与混合讲座中所描述的方法。该初步LDR渲染和合成步骤S100因此输出具有VFX的LDR图像。

然后在第一步骤S110中，访问具有VFX的LDR图像。如上所述，通过将至少一个使用低动态范围LDR光线指示渲染的视觉效果合成进LDR参考图像获得具有VFX的LDR图像。例如，从设备3的存储器中检索具有VFX的LDR图像。

在第二步骤S120中，通过将逆色调映射算子应用于LDR w VFX图像获得第一中间高动态范围HDR图像(第一HDR w VFX)。被称为iTMO的逆色调映射算子能够将具有低白光水平、低对比度和小比特深度中的至少一个的LDR图像变换为具有高白光水平，高对比度和高比特深度的至少一个的HDR图像。本原理兼容任何逆色调映射技术。根据非限制性的示例，使用来自同一申请人的EP3087730A1中描述的技术。该技术公开了扩展低动态范围内容的动态范围以准备具有非常高的峰值亮度的显示装置的这样的内容。这是通过改变这些颜色的亮度，特别是该亮度的对比度范围，有选择地以及动态地重新映射LDR图像的颜色来完成的。根据EP3087730A1，通过提取像素的空间邻域中的像素的颜色的高频率的亮度值，对图像的每个像素(p)获得像素亮度增强值Y_enhance(p)，将亮度将图像的每个像素(p)的亮度Y(p)逆色调映射为扩展的亮度Y_exp(p)，扩展的亮度Y_exp(p)是通过像素的亮度Y(p)的为该像素获得的像素扩展指数值E’(p)次幂与为该像素获得的像素亮度增强值的指数参数是c次的幂的乘积获得的，参数c大于或等于1。

也就是说Y_exp(p)＝Y(p)^E’(p)x[Y_enhance(p)]^c

指数参数c控制由像素亮度增强值带来的细节增强量。因此，较大的c值会逐渐增加图像边缘的对比度。优选使用c＝1.5的值。因此，该第一通道iTMO步骤S120输出具有本原理几种增强的VFX的第一HDR图像。

在第三步骤S130中，从响应于具有VFX的LDR图像的一部分以及不具有VFX的第一中间HDR图像的相应部分而提取的信息来确定HDR光线指示。有益地，HDR光线指示是使得由HDR光线指示控制的VFX的渲染S150产生的HDR图像很好地适配到在第二iTMO步骤S140中生成的没有VFX的第二HDR中间图像中。当暴露于LDR光线指示时，在非限制性示例中，HDR光线指示控制VFX素材的光线效果如意图用于HDR图像的镜面反射和投射阴影。然后，合成步骤S160将传递看起来自然的最终HDR图像。本领域技术人员将理解，这种用于HDR的VFX渲染避免了亮度压缩、缺少细节、饱和度的修改以及显著的裁切和由于表现为强光效果的LDR色坐标(如由如下所述的iTMO算法的投射阴影和高光)。实际上，iTMO并不直接涉及生成与对应于VFX的图像颜色。

HDR光线指示的确定利用了一系列输入信息。第一输入信息是具有VFX的LDR图像和第一中间HDR图像(具有VFX的第一HDR(称为第一HDR w VFX))之间的比较的结果。事实上，包含在LDR图像中的所有VFX将修改其颜色，特别是其亮度。因此，有益地，观察该修改的比较限于属于包含VFX的图像(是LDR或第一HDR)的一部分的像素。为此，第二输入信息是VFX素材。所观察到的VFX色彩修改与VFX素材的形状、纹理、反射和运动以及与和VFX相关的第一HDR w VFX图像和LDR w VFX图像的部分的强度、颜色、大小和运动相关联。通过这种方式，计算HDR光线指示使得渲染到图像中的VFX素材的形状、纹理、反射和运动与在第一中间HDR图像中观察到的VFX的经修改的颜色相关。换句话说，渲染到图像中的VFX素材的形状、纹理、反射和运动与在第一中间HDR图像中观察到的VFX的经修改的颜色之间的差异是最小的。使用HDR光线，第一HDR图像中的VFX可以通过以最佳质量渲染而重新生成，而第一中间HDR图像中存在的VFX受到iTMO的已知限制，如裁切和色带。所提到的最小差异可以通过不同的方式来理解。第一种基于信号的方式是针对所有渲染的颜色和第一HDR w VFX中的颜色之间的最小差异。第二种基于物理的方式是针对现实主义(realism)，因此针对物理元素的对齐，如第一HDR w VFX渲染的黑光水平，渲染的白光水平或渲染色域。

现在描述适于由单独的、不透明的、纹理化的、朗伯的VFX对象和光源组成的VFX素材的第一变型。此外，在第一变型中，对象表面(阴影)或场景(投影)中的光线效果应该以光线在对象表面的漫反射为特征。在该第一变型中，因此，HDR效果以反射光和可见光源的幅度的全局增加为特征。根据本原理，通过对VFX素材的LDR光源的幅度应用因子来估计HDR照明。通过将第一中间HDR图像和具有VFX的LDR的选择的部分进行比较来确定该因子。为了避免iTMO效应(如亮度压缩或饱和度修改)产生不必要的影响，选择的部分包含物理特性效果如明亮或白色对象表面上的强漫反射。为了避免iTMO效应(如裁切)产生不必要的影响，选择的部分不包含可见光源。为了避免iTMO效应(如噪声放大或色带)产生不必要的影响，选择的部分包含具有VFX的LDR图像和第一中间HDR图像的几个相邻的像素的每一个。然后，通过计算具有VFX的LDR图像和第一中间HDR图像的相关像素的亮度比率的选择的部分上的平均值来获得用于光源的因子。在一个变型中，该因子是应用于VFX素材光源幅度的线性乘法比率。

在另一个变型中，可选地，通过迭代地计算最终的HDR w VFX图像，将其与第一中间HDR图像进行比较，并且通过改变该因子来迭代地最小化这两个图像的差异，可以响应于VFX素材来优化该因子。

该实施例特别适合于包含可能被传统iTMO裁切的可见光源的LDR w VFX图像。

特别地，由于可以利用可见光源，因此该实施例可以允许更好地投射阴影的范围扩展。如果第一对象妨碍光源的光线到达第二对象，确实会产生阴影。在第二个对象上投射阴影通常比周围场景更暗，并导致图像区域具有非常小的LDR颜色坐标。LDR颜色坐标甚至可以被裁切到零或动态地强烈压缩到接近零的值。由于将该因子应用于LDR光源幅度，而不是LDR w VFX图像的接近零值，因此有益地，利用VFX素材的精度以创建高精度的HDR w VFX图像。

还描述了第二变型，其特别适于以漫反射和镜面反射为特征的所谓的非透明的VFX对象。这意味着图像中的VFX包含高光。HDR效果将由一些非线性光线增加来表示。实际上，高光通常包含大动态范围的颜色，包括高光中心的非常明亮的颜色和高光边缘处的相对较暗的像素。由于iTMO通常是非线性的，所以iTMO将以非线性方式修改这样大的动态范围。为了估计来自LDR w VFX图像的HDR光线指示，考虑高光。将LDR w VFX图像和第一中间HDR图像在VFX的选择部分内进行比较，其中存在高光，以便确定将应用于LDR光源的幅度的亮度相关因子F(L)。取决于通过将曲线拟合到{L,R}亮度比率元组以使得{L,F(L)}接近{L,R}而获得的亮度，用于光源的亮度相关因子表示为曲线F(L)。在这些元组中，亮度值L是LDRw VFX图像的选择部分的像素的亮度，并且比率R是像素的该亮度L与第一中间HDR图像的相关像素的亮度的反比。然后以如下方式将亮度相关因子F(L)应用于VFX素材的幅度。对于每个光源S，确定将在白色朗伯基准表面上的LDR图像中渲染的亮度值L_S。然后，将因子F(L_S)应用于该光源的振幅。

具体地，该实施例还允许更好范围的扩大镜面反射。与漫反射相反的镜面反射发生在反射大量光的对象的光滑表面处。这种效果导致图像中出现所谓的高光。由于大量的光线进入，高光区域内的镜面反射通常会导致亮度压缩、细节损失甚至是色彩坐标在其最大合法等级下的裁切。例如，如果颜色坐标的范围是从0到1023，则镜面反射区域中的颜色坐标可以被裁切并且通常被裁切到1023或者至少强烈地动态压缩成接近1023的值。同样，由于将亮度相关因子应用于VFX素材而不是LDR w VFX图像的裁切或压缩值，有益地，利用VFX素材的精确度和质量以创建高精度HDR w VFX图像。

为了处理这样的变型，可选步骤S170选择与透明对象相关的至少一个视觉效果的子集。与透明对象相关的视觉效果包括在LDR参考图像中；并且在步骤S150中仅使用HDR光线指示来渲染未选择的视觉效果子集(即，不在选择中的视觉效果，如果有的话)。有益地，选择步骤S170还允许针对不同类型的VFX素材实现本原理，所有不会在逆色调映射中引起质量问题的VFX。由合成和绘制步骤S180生成LDR参考图像，然后根据本原理使用其。换句话说，选择步骤S170允许实现来自图像的有针对性的HDR光线指示的确定，即，分别在第一和第二变型中分别描述的用于漫反射的确定目标HDR光线指示或用于镜面反射的HDR光线指示。以更一般的方式，选择步骤S170允许实现来自图像的HDR光线指示的简化的确定，当VFX素材包括部分透明对象(例如雾，玻璃和烟雾)时，非常适于这种简化的确定。一旦渲染到图像中，这些对象和相关光效果的特征在于透明度、高度非线性行为、空间不变性质，并且在LDR色坐标中不总是表现出裁切或压缩属性，或者这些属性在艺术工作流中是可接受的。例如，为了允许HDR光线指示的确定的简化实现，VFX子集的选择将从所选的VFX素材中排除这样的部分透明的对象。

在第四步骤S140中，通过将逆色调映射应用于LDR参考图像获得第二中间HDR图像(第二HDR w/o VFX)。根据不同的变体，使用与iTMO步骤S120中相同的逆色调映射技术或不同的技术。该步骤为产生具有VFX的增强型HDR图像的第二合成步骤S160提供HDR图像(第二HDR w/o VFX)，其中以HDR光线指示渲染VFX。本领域技术人员将理解，根据VFX素材的选择的变型，LDR参考图像将根本不包括VFX或包括从选择S170中排除的VFX的有限子集。

在最后的第五步骤S160中，通过将使用HDR光线指示渲染的视觉效果合成到第二中间HDR图像中来获得增强的HDR w VFX图像。由于VFX直接在HDR色彩坐标中渲染，因此所公开的方法防止了某些VFX的LDR色坐标中的裁切、压缩和噪声放大，以在HDR扩展图像中引起伪影。

图2示出根据本公开的第二实施例的用于具有VFX的LDR图像的逆色调映射的方法200。第二实施例与第一实施例的处理几乎相似，并且优选地暴露出下文中的不同之处。根据第一实施例的方法100描述的变型特征的任何组合与根据第二实施例的方法200兼容。在第二实施例中，使用MPEG4视频编码标准对输入的LDR参考图像进行编码，并且使用用于场景的MPEG-4二进制格式(BIFS)对场景对象或光源(VFX素材)中的至少一个进行编码。第二实施例非常适于在如游戏设备或虚拟现实头戴式显示器的消费者设备内实现。根据第二实施例，在步骤S210中，从MPEG-4LDR视频流生成LDR w VFX图像。有益地，第二实施例允许在与场景对象有关的图像的部分中生成具有增加的图像质量的HDR流。

因此，在第一步骤S210中，访问包括将LDR参考图像(从MPEG4流解码，流的视频分量)与通过渲染VFX(也从MPEG4流解码而获得，流的BIFS分量)获得的LDR图像合成的LDR wVFX图像。

在第二步骤S220中，通过将逆色调映射算子应用于LDR w VFX图像获得第一中间高动态范围HDR图像(第一HDR w VFX)。

在第三步骤S230中，如同第一实施例的方法的任何变形公开的，从VFX素材(即，场景和光源)以及响应于LDR w VFX图像的一部分以及第一中间HDR图像的相应部分所提取的信息来确定HDR光线指示。

在第四步骤S240中，通过将逆色调映射算子应用于LDR参考图像获得第二中间HDR图像(第二HDR w/o VFX)。

在最后的第五步骤S250中，通过将使用HDR光线指示渲染的视觉效果合成到第二中间HDR图像中来获得增强的HDR w VFX图像。

图3表示根据示例性且非限制性实施例的用于对具有视觉效果的低动态范围的图像进行逆色调映射的设备3的示例性架构。逆色调映射设备3配置成执行参照图1或图2描述的任何方法。逆色调映射设备3包括一个或多个处理器310，其可以包括例如CPU、GPU和/或DSP(数字信号处理器)以及内部存储器320(例如，RAM、ROM和/或EPROM)。逆色调映射设备3包括一个或多个输入/输出接口330，每个输入/输出接口330适于获得输入信息、显示输出信息和/或允许用户输入命令和/或数据(例如键盘、鼠标、触摸板、网络摄像头)；以及可以在逆色调映射设备3外部的电源340。逆色调映射设备还可以包括一个或多个网络接口(未示出)。逆色调映射设备还可以包括一个或多个用于渲染和合成或一个或多个iTMO的用于不同步骤(未示出)的串行或并行处理的专用硬件模块。根据第一实施例，LDR w VFX图像、VFX素材和LDR参考图像可以从源获得并存储在存储器320中。根据第二实施例，可以从源获得视频流并存储在存储器320中，视频流符合例如使用MPEG-4第11部分编码的视频以及场景对象，例如，用于场景的MPEG-4二进制格式(BIFS)。然后，本地生成LDR w VFX图像并存储在存储器320中。

根据不同的实施例，可以将HDR w VFX图像发送到目的地，例如，HDR显示设备。作为示例，图像的HDR w VFX图像版本存储在远程或本地存储器320中，例如，视频存储器或RAM、硬盘。在一个变型中，将HDR w VFX图像发送到存储接口，例如，与大容量存储器、闪速存储器、ROM、光盘或磁性支持体的接口和/或通过通信接口传输的接口，例如，与点对点链路、通信总线、点对多点链路或广播网络的接口。

根据示例性且非限制性的实施例，逆色调映射设备3还包括存储在存储器320中的计算机程序。计算机程序包括指令，所述指令在由逆色调映射设备3，特别是由处理器310执行时，使逆色调映射设备3能够执行参照图1(或图2)描述的方法。根据一个变型，计算机程序存储在逆向色调映射设备3外部的非临时性数字数据支持体上，例如，在如HDD、CD-ROM、DVD、只读和/或DVD驱动器和/或DVD读/写驱动器之类的外部存储介质上，这些都是本领域已知的。逆色调映射设备3因此包括读取计算机程序的机制。此外，逆色调映射设备3可以通过相应的USB端口(未示出)访问一个或多个通用串行总线(USB)型存储设备(例如“存储棒”)。

根据示例性和非限制性实施例，逆色调映射设备3可以是但不限于：

移动设备；

通信设备；

游戏设备；

机顶盒；

电视机；

平板(或平板电脑)；

膝上型计算机；

视频播放器，即蓝牙光盘播放器

显示器；

照相机；以及

解码芯片。

附图：

图1

S100 LDR渲染/合成

VFX asset VFX素材

S110 访问

S130 确定HDR光线

S150 渲染

S160 合成

S170 选择VFX

S180 LDR渲染/合成

图2

S210 LDR渲染/合成

S230 确定HDR光线

S250 HDR渲染/合成

MPEG-4 Video MPEG-4视频

图3

310 处理器

320 存储器

340 电源

Claims (13)

1.一种用于将低动态范围图像逆色调映射成高动态范围图像的方法，所述低动态范围图像具有至少一个计算机生成的图像分量被称作第一LDR图像(LDR w VFX),所述高动态范围图像具有所述至少一个计算机生成的图像分量被称作第一HDR图像(HDR w VFX)，所述方法包括：

访问(S110)所述第一LDR图像，所述第一LDR图像是通过渲染并合成到LDR参考图像(LDR w/o VFX)中的至少一个计算机生成的图像分量获得的；

所述方法的特征在于，其还包括：

响应于从所述第一LDR图像的部分以及第一中间高动态范围HDR图像的相应部分提取的信息，确定(S130)HDR光线指示，第一中间高动态范围HDR图像是通过将逆色调映射应用到所述第一LDR图像获得的；

通过将所述逆色调映射应用到所述LDR参考图像获得(S140)第二中间HDR图像；

从使用所述HDR光线指示渲染并合成到所述第二中间HDR图像中的所述至少一个计算机生成的图像分量获得(S150)所述第一HDR图像。

2.如权利要求1所述的方法，其中所述方法还包括选择(S170)与至少一个透明对象相关的所述至少一个计算机生成的图像分量的子集；

其中，将所述选择的至少一个计算机生成的图像分量的子集包括(S180)进所述LDR参考图像；以及

其中，不在选择的子集中的所述计算机生成的图像分量使用HDR光线指示渲染，并合成到所述第二中间HDR图像中。

3.如权利要求1所述的方法，其中确定所述HDR光线指示还包括从所述第一LDR图像的部分和所述第一中间HDR图像的相应部分之间的差确定因子，将所述因子应用于所述至少一个计算机生成的图像分量的光源的幅度。

4.如权利要求1所述的方法，其中确定所述HDR光线指示还包括从所述第一LDR图像的部分和所述第一中间HDR图像的相应部分之间的差确定亮度相关因子，将所述亮度相关因子应用于关于渲染到LDR图像中的所述至少一个计算机生成的图像分量的亮度的所述至少一个计算机生成的图像分量的光源的幅度。

5.如权利要求3或4所述的方法，其中所述HDR光线指示还响应于所述至少一个计算机生成的图像分量。

6.如权利要求1所述的方法，其中使用MPEG-4视频编码标准对所述LDR参考图像进行编码，以及使用用于场景的MPEG-4二进制格式(BIFS)对光源或至少一个场景对象进行编码。

7.一种用于将分量低动态范围图像逆色调映射成分量高动态范围图像的设备，所述低动态范围图像具有至少一个计算机生成的图像分量被称作第一LDR图像(LDR w VFX),所述高动态范围图像具有所述至少一个计算机生成的图像分量被称作第一HDR图像(HDR wVFX)，所述设备包括：

访问(330)所述第一LDR图像的部件，所述第一LDR图像是通过渲染分量并合成到LDR参考图像(LDR w/o VFX)中的至少一个计算机生成的图像分量获得的；

所述设备的特征在于，其还包括：

响应于从所述第一LDR图像的部分以及第一中间高动态范围HDR图像的相应部分提取的信息确定HDR光线指示的部件(310)，第一中间高动态范围HDR图像是通过将逆色调映射应用到所述第一LDR图像获得的；

通过将所述逆色调映射应用到所述LDR参考图像获得第二中间HDR图像的部件(310)；

从使用所述HDR光线指示渲染并合成到所述第二中间HDR图像中的所述至少一个计算机生成的图像分量获得所述第一HDR图像的部件(310)。

8.如权利要求7所述的设备，其中所述设备还包括选择与至少一个透明对象相关的所述至少一个计算机生成的图像分量的子集的部件；

其中，将所述选择的至少一个计算机生成的图像分量的子集包括进所述LDR参考图像；以及

其中，不在选择的子集中的所述计算机生成的图像分量使用HDR光线指示渲染，并合成到所述第二中间HDR图像中。

9.如权利要求7所述的设备，其中所述HDR光线指示响应于从所述第一LDR图像的部分和所述第一中间HDR图像的相应部分之间的差确定因子，将所述因子应用于所述至少一个计算机生成的图像分量的光源的幅度。

10.如权利要求7所述的设备，其中所述HDR光线指示响应于从所述第一LDR图像的部分和所述第一中间HDR图像的相应部分之间的差确定亮度相关因子，将所述亮度相关因子应用于关于渲染到LDR图像中的所述至少一个计算机生成的图像分量的亮度的所述至少一个计算机生成的图像分量的光源的幅度。

11.如权利要求9或10所述的设备，其中所述HDR光线指示还响应于所述至少一个计算机生成的图像分量。

12.如权利要求7所述的设备，其中使用MPEG-4视频编码标准对所述LDR参考图像进行编码，以及使用用于场景的MPEG-4二进制格式(BIFS)对光源或至少一个场景对象进行编码。

13.一种包括指令的计算机程序可读的介质，当由计算机执行所述指令时，使得计算机执行根据权利要求1所述的方法的步骤。