CN102763134A

CN102763134A - 用于高动态范围视频色调映射的参数内插

Info

Publication number: CN102763134A
Application number: CN2011800101609A
Authority: CN
Inventors: 翟杰夫; 王喆
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2010-02-19
Filing date: 2011-02-11
Publication date: 2012-10-31
Anticipated expiration: 2031-02-11
Also published as: CN102763134B; TWI470581B; JP5726914B2; KR101787788B1; WO2011102887A1; EP2537138A1; TW201214332A; US20130163868A1; EP2537138B1; KR20130008558A; US8737738B2; JP2013520687A

Abstract

一种用于对高动态范围（HDR）视频进行色调映射以显示在低动态范围显示器上的方法包括：获取HDR视频；生成单个帧的亮度信息；响应于亮度信息将不同的连续的帧组分割成片段；将片段分类为静态亮度片段和瞬态亮度片段；生成用于静态亮度片段的色调映射参数集；响应于相邻的静态亮度片段的色调映射参数集生成用于至少一个瞬态亮度片段的色调映射参数集；以及根据相应的色调映射参数集对静态亮度片段和瞬态亮度片段进行色调映射。

Description

用于高动态范围视频色调映射的参数内插

相关申请的交叉引用

本申请根据35U.S.C.§119（e）要求2010年2月19日提交的临时专利申请第61/338532号的申请日的权益。

技术领域

本发明涉及显示在低动态范围（LDR）显示器上的高动态范围（HDR）内容的色调再现，尤其涉及具有变化的光照条件（lighting conditions）的视频的色调再现。

背景技术

目前，大多数的显示设备具有比真实世界场景中更低的有限的动态范围。通常地，显示在低动态范围（LDR）显示设备上的HDR场景要么会变成与摄影中曝光过度对应的过饱和，要么会变成与曝光不足对应的非常暗。因为会丢失许多细节，所以任何一种都是不希望发生的。

HDR视频格式的视觉内容的数量已经大大增多。因此，用于HDR视频的色调映射吸引了来自学术界和工业界的许多关注。然而，与静态图像的色调映射相比，对HDR视频色调映射的研究所做出的努力依旧相对较少。

对于具有相对静态光照条件的视频场景来说，已知的参数估计方法就可以表现很好。在这种情形中，通常将固定的参数集合应用于具有静态光照条件的相同的视频片段（segment）内的所有帧。

然而，对于视频场景内的变化的光照条件来说，将固定的参数集合应用于帧会导致糟糕的色调映射结果，因为色调映射参数可以逐帧变化。因此，存在以下需求：一种可以合适并高效地在具有变化的光照的场景中执行色调映射的色调映射处理。

发明内容

一种用于对高动态范围（HDR）视频进行色调映射以显示在低动态范围显示器上的方法，该方法包括获取（access）HDR视频；生成单个帧的亮度信息；响应于亮度信息将不同的连续的帧组分割成片段；将这些片段分类为静态亮度片段和瞬态亮度片段；生成用于静态亮度片段的色调映射参数集；响应于相邻的静态亮度片段的色调映射参数集生成用于至少一个瞬态亮度片段的色调映射参数集；以及根据相应的色调映射参数集对静态亮度片段和瞬态亮度片段进行色调映射。该方法可以进一步包括内插至少一个参数类型以从两个相邻的瞬态亮度片段的色调映射参数集生成用于至少一个瞬态亮度片段的色调映射参数集，其中至少一个参数类型可以是锚点、对比度增强等级（a contrast boost level）和/或曝光值。该分割步骤可以包括将帧间低通滤波器（a frame-to-frame low-pass filter）应用于帧的帧级平均亮度以生成亮度信息，或可替代性地，该分割步骤可以进一步包括生成滤波后的帧级平均亮度的亮度梯度以产生亮度信息。从帧间低通滤波步骤中的任何一步获得的峰值和相关联的带宽数据都可以被用来分割组。并且，还可以将延迟应用于某些瞬态亮度片段，其中不使用用于瞬态亮度片段的参数集对位于至少一个瞬态亮度片段的开始处的至少一个帧进行色调映射，并且使用用于瞬态亮度片段的参数集对在至少一个瞬态亮度片段中的接下来的帧进行色调映射。

附图说明

将参考下列附图以实例的方式对本发明进行描述：

图1为根据本发明的确定用于色调映射的参数集的流程图；

图2为根据本发明的用于视频序列分割的流程图；

图3为展示在视频序列中平均亮度可以如何逐帧变化的实例的图；

图4为展示在视频序列中平均亮度在经过低通滤波后可以如何逐帧变化的实例的图；

图5为展示经过低通滤波后的图4中的视频序列的梯度的图；以及

图6为展示对图5中的梯度进行低通滤波的结果的图。

具体实施方式

本公开通常与含有具有变化的光照条件的某些场景的视频相关。大体的方法可以以首先检测视频内的场景的开始和结束时间开始。然后，该方法包括通过内插具有静态照明的之前和之后场景的参数值计算用于具有变化的光照条件的场景的每一帧的参数。

图1示例了公开的本发明的通用系统框图。总体上说，可以通过首先获得具有多于一个场景的HDR视频101来执行参数内插的方案。下一步可以包括分析视频和将其分割成场景或片段102。这里的分析包括将这些片段分类为静态或瞬态片段。其后面是估计用于静态片段的参数集103。然后内插104并评估105用于瞬态片段的参数集。该评估可以使用合适的用户界面进行。如果对用于静态或瞬态片段的参数集的应用感到满意，那么根据该参数集执行106色调映射。如果对参数集的应用不满意，那么重新运行步骤103、104和105以估计并找到新的用于静态片段的新参数集。

图2是根据本发明的用于步骤102中的视频序列分割的流程图。视频101被获得、分析并分割102成静态和瞬态片段。该过程流程如下：计算202每个帧的平均亮度；将帧间低通滤波203应用于平均亮度数据；计算204低通滤波的亮度数据的梯度；将帧间低通滤波205应用于梯度数据；检测峰值并从滤波后的梯度数据计算206相关联的带宽；以及从峰值和带宽数据计算207瞬态和静态片段的位置。

关于图2中的过程流程，分析了输入的HDR视频的帧级平均亮度。记住每个帧的平均亮度可以随时间变化是很重要的。这正如图3所示，图3展示了视频序列中的不同帧的平均亮度可以如何变化。并且，可以根据平均亮度的变化将视频分割成若干片段。这里将具有相似的平均亮度的连续的帧特征化（characterize）为静态片段。两个静态片段之间的帧可以具有随时间逐渐变化的平均亮度，它们可以被特征化为瞬态片段。例如，图3中，0到大约60的帧和具有相似的平均亮度的峰值处的帧90附近的帧可以是静态片段，而它们之间的帧可以包括瞬态片段。

为了检测每个瞬态片段的开始和结束时间点，提出基于平均亮度序列分析的方案。该方案如下：

a)将低通滤波器应用于图3中的平均亮度序列203以对亮度进行平滑，如图4所示；

b)计算平滑后的亮度序列的梯度204，如图5所示，并可选择地将低通滤波器205应用于图5中的梯度以获得平滑梯度，如图6所示。

c)检测图5中的梯度曲线或图6中低通滤波梯度曲线上的峰值和每个峰值的带宽206；以及

d)计算瞬态和静态位置207。可以通过从峰值帧序号减去带宽的一半来计算或估计每个瞬态区域的开始时间点。可以通过在峰值帧序号上加上带宽的一半来计算瞬态区域的结束时间点。

对静态和瞬态片段定位之后，估计用于静态片段的关键帧的参数集，然后应用于整个片段。该参数集可以包括从其可以将图像分割成若干区域的锚点、每个区域的曝光值、对比度增强参数和HDR色调映射需要的任何其它参数。对于参数集，可以通过许多技术中的任何技术来获得曝光值、锚点和对比度增强；然而，下面将更详细地讨论对比度增强和锚点。

在至少一个实现方式中，可以定义一系列锚点A_i(i＝1...N)，这样每个A_i可以被用来定义一个区域，并生成单个曝光图像。锚点可以被选择为：

A₁＝L_avg/E A_n+1＝4·A_n(n＝2…N-1)

其中上面等式中的E是常数，可以取值为8。上面等式中的区域数目N可以按照下面计算得到，它能够覆盖整个亮度范围。

L是亮度图像，其可以从HDR数据计算得到。如果HDR数据是在XYZ色彩空间中的，那么Y分量可以被用作亮度图像。如果HDR数据使用与Rec.709相同的原色，那么对RGB色彩空间的转换可以按照如下进行：

L(i，j)＝0.2126*R(i，j)+0.7152*G(i，j)+0.0722*B(i，j)

可以依据输入图像的格式使用RGB（或其它色彩空间）和亮度图像之间的其它转换。

一旦每个区域的锚点已知，就可以对每个区域计算每个像素的权重。整体上说，对于每个由相应的锚点A_i定义的区域，具有最接近单个曝光图像的值的像素是0.5，并且该像素对该区域来说具有比其它像素更大的权重。

因此，位置(i,j)处的像素对区域n（由锚点A_n定义）的权重可以计算如下：

W_{n} (i, j) {Ce}^{- \frac{{(S (\frac{L (i, j)}{{2 A}_{n}}) - 0.5)}^{2}}{σ^{2}}}

其中C是归一化因子，并被定义为：

C = \frac{1}{\underset{n}{Σ} e^{\frac{{(S (\frac{L (i, j)}{{2 A}_{n}}) - 0.5)}^{2}}{σ^{2}}}}

上面计算的权重在[0,1]的范围内取值，并因此定义了一个将亮度图像分割为N个区域的模糊分割。这意味着每个区域可以包含图像中的所有像素，尽管只有它们中的一部分会具有较大的权重。

使用线性缩放，可以规定一个锚点。如果像素的亮度超过该锚点，那么该像素将会饱和，并被映射到一，否则它将被映射到0到1之间的一个值。因此，线性缩放单个曝光可以被定义为：

I (i, j) = S (\frac{L (i, j)}{A})

其中A是锚点，并且S(x)可以被定义为：

参数ρ可以在[2.2,2.4]的范围内取值，并代表将要示出被色调映射后的图像的输出装置的伽马值（gamma）。结果图像可以被量化并显示在常规LDR显示器上。注意到，S(x)的其它定义是可能的。例如，可以使用S形曲线来代替幂函数。通常地，任何全局映射曲线都可以被用于S。

在另一个实现方式中，将权重二进制化，这样导致权重要么是0，要么是1，以及硬分割（hard segmentation）。

p = \underset{n}{Arg} Max (W_{n} (i, j)), n = 1,2, . . ., N

W_p(i，j)＝1 Wq(i，j)＝0(q≠p)

注意到一旦完成分割，锚点A_n和权重W_n就固定了是重要的。

可以通过使用带通金字塔，如已知的通过在金字塔的相邻等级之间形成差别获得的拉普拉斯金字塔（Laplacian pyramid），来获得对比度增强，其中在分辨率的相邻等级的表示之间执行内插，以使得像素到像素的差别的计算成为可能。I^k是图像I的拉普拉斯金字塔的一个等级，其中k={1,…,K}。k是等级，而K是金字塔内的等级的数目。I可以表示数字图像的色彩分量。I(i,j)表示坐标(i,j)处的像素的值。然后，通过金字塔I^k·B^k重构该图像，其中B是被特征化为幂函数的对比度增强：

\{\begin{matrix} B^{k} (i, j) = 1 & k = K \\ B^{k} (i, j) = {(\frac{| I^{k} (i, j) |}{α})}^{β - 1} & k = {1, . . ., K - 1} \end{matrix}

这里，形状控制系数α在[0,1]范围内，典型在0.2到0.4之间，增强强度β通常是在[0,2]范围内的正数。值得注意的是，β<1增加对比度，而β>1降低对比度。使用这两个参数，可以控制将多少增强（enhancement）应用于图像。应该注意的是，可以使用不同的公式计算对比度增强金字塔B^k，k={l，…,K}。

确定了用于静态片段的参数集之后，本发明的一个实现方式使用两个相邻的静态片段的参数用于内插。这样，图1中所示的下一步是内插用于瞬态片段104的参数集。使用两种插值方案。一个是没有光适应（light adaptation）的内插。另一个是有光适应的内插。

对于没有光适应的方法的瞬态片段，可以基于从前一步获得的静态片段的参数内插参数集。该内插可以被完成为对数域（logarithm domain）的线性内插，如下所示：

A_{j} = \frac{A_{m} - A_{n}}{m - n} \times (j - n) + A_{n}

B_{j} = \frac{B_{m} - B_{n}}{m - n} \times (j - n) + B_{n}

G_{j} = \frac{G_{m} - G_{n}}{m - n} \times (j - n) + G_{n}

其中，A、B和G分别表示对数域的锚点、对比度增强等级和曝光值；m和n表示瞬态片段的开始和结束的帧索引，j是位于瞬态片段中的当前帧的序号。如果不考虑光适应，那么A、B和G值被使用为用于瞬态片段的参数。

然而，人类视觉系统在从弱于星光到日光的很宽广的发光强度范围上都表现得非常有效。从暗到亮的变化或较小的光照减少量中更快的恢复(这可能需要花费数秒)就是已知的光适应。

在使用光适应的实现方式中，上述参数内插被执行以模拟人类视觉系统是如何适应光照条件变化的。当环境变得明亮得多的时候，这样做尤其有用。从本质上说，这个想法在参数内插中引入了延迟因子。对于转变时期的最开始的几帧来说，仍旧使用来自前一个场景的参数。这之后，将使用对数域的线性内插：

其中，A、B和G分别表示对数域的锚点、对比度增强等级和增益值；m和n表示瞬态片段的开始和结束的帧索引，以及j是位于瞬态片段中的当前帧的序号。l表示光照变化开始的时间延迟，这模拟人类视觉系统是如何适应突然的光照变化。通常地，取l的值为3～6帧。

一旦获得了用于瞬态片段的可以被直接应用到视频上以对视频进行色调映射的参数集106，那么就可以对参数集进行评估105。如上所提到的，可以使用合适的用户界面执行该评估，其中，如果对用于静态和瞬态片段的参数集的应用感到满意，那么根据参数集执行106色调映射，并且如果对该参数集的应用不满意，那么重新运行步骤103、104和105，使得估计并找到新的用于静态片段的参数集。重新运行步骤103、104和105可以包括将附加的低通滤波器操作应用于梯度数据和/或修改对比度增强参数。

虽然上面描述本发明的某些实施例，但是这些描述是为了示例和说明的目的给出。在不背离本发明的范围或精神实质的情况下，可以采用上面公开的系统和方法的变型、变化、修改和背离。

Claims

1.一种方法，所述方法包括：

获取具有多个单个帧的视频；

生成所述单个帧的亮度信息；

响应于亮度信息将不同的连续的帧组分割成片段；

将所述片段分类为静态亮度片段和瞬态亮度片段；

生成用于所述静态亮度片段的色调映射参数集；

响应于相邻的静态亮度片段的所述色调映射参数集生成至少一个所述瞬态亮度片段的色调映射参数集；

根据所述相应的色调映射参数集对所述静态亮度片段和瞬态亮度片段进行色调映射。

2.如权利要求1所述的方法，所述方法包括内插至少一个参数类型以从两个相邻的瞬态亮度片段的所述色调映射参数集生成用于所述至少一个瞬态亮度片段的所述色调映射参数集。

3.如权利要求2所述的方法，所述方法包括从包括锚点、对比度增强等级或曝光值的组中选择所述至少一个参数类型。

4.如权利要求1所述的方法，所述方法将帧间低通滤波器应用于所述帧的帧级平均亮度以生成用于所述分割步骤的所述亮度信息。

5.如权利要求1所述的方法，所述方法包括：

将帧间低通滤波器应用于所述帧的帧级平均亮度；和

生成所述滤波后的帧级平均亮度的亮度梯度以生成用于所述分割步骤的所述亮度信息。

6.如权利要求1所述的方法，所述方法包括：

将帧间低通滤波器应用于所述帧的帧级平均亮度；

生成所述滤波后的帧级平均亮度的亮度梯度；

从所述梯度检测峰值和相关联的带宽数据；

将所述峰值和所述相关联的带宽数据用作用于所述分割步骤的所述亮度信息。

7.如权利要求6所述的方法，其中，所述瞬态亮度片段的开始时间点由峰值帧的值和所述对应的带宽的一半的差确定，所述瞬态亮度片段的结束时间点由峰值帧的值和所述带宽的一半的和确定。

8.如权利要求2所述的方法，所述方法包括：

将帧间低通滤波器应用于所述帧的帧级平均亮度；和

9.如权利要求2所述的方法，所述方法包括：

将帧间低通滤波器应用于所述帧的帧级平均亮度；

生成所述滤波后的帧级平均亮度的亮度梯度；

从所述梯度检测峰值和相关联的带宽数据；

10.如权利要求9所述的方法，其中，所述瞬态亮度片段的开始时间点由峰值帧的值和所述对应的带宽的一半的差确定，以及所述瞬态亮度片段的结束时间点由峰值帧的值和所述带宽的一半的和确定。

11.如权利要求2所述的方法，所述方法将帧间低通滤波器应用于所述帧的帧级平均亮度以生成用于所述分割步骤的所述亮度信息。

12.如权利要求8所述的方法，所述方法包括从包括锚点、对比度增强等级或曝光值的组中选择所述至少一个参数类型。

13.如权利要求9所述的方法，所述方法包括从包括锚点、对比度增强等级或曝光值的组中选择所述至少一个参数类型。

14.如权利要求1所述的方法，所述方法包括将延迟应用于至少一个瞬态亮度片段，使得不使用用于所述瞬态亮度片段的所述参数集对位于所述至少一个瞬态亮度片段的开始处的至少一帧进行色调映射，以及使用用于所述瞬态亮度片段的所述参数集对在至少一个瞬态亮度片段中的随后的帧进行色调映射。

15.如权利要求14所述的方法，其中，所述延迟为3到6帧。