CN113728624B

CN113728624B - 高动态范围图像的显示管理

Info

Publication number: CN113728624B
Application number: CN202080030399.1A
Authority: CN
Inventors: R·阿特金斯; J·A·派拉兹; E·G·皮耶里
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2019-04-23
Filing date: 2020-04-16
Publication date: 2023-11-14
Anticipated expiration: 2040-04-16
Also published as: TWI765253B; US11803948B2; JP2022530340A; US20220164931A1; TW202101956A; EP3959709A1; KR20220002977A; WO2020219341A1; JP7483747B2; CN113728624A

Abstract

呈现了用于HDR视频信号的显示管理的方法和系统。该映射基于色调映射和色量映射，所述色调映射和色量映射将具有输入动态范围和色量的输入信号映射到具有目标动态范围和色量的目标显示器。呈现了使用金字塔滤波的全局色调映射和精确映射方法。

Description

高动态范围图像的显示管理

相关申请的交叉引用

本申请要求2019年4月23日提交的美国临时专利申请序列号62/837,288和2019年11月20日提交的美国临时专利申请序列号62/938,027的优先权，两者均以全文引用方式并入本文。

技术领域

本发明一般涉及图像。更具体地，本发明的实施例涉及高动态范围(HDR)图像和视频信号的显示管理。

背景技术

如本文所用，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度范围(例如亮度、亮度)的能力，例如从最暗的灰色(黑色)到最亮的白色(高亮)。从这个含义上说，DR与“场景相关”的强度有关。DR还可以与显示设备充分地或近似地呈现特定宽度的强度范围的能力有关。从这个含义上说，DR与“显示相关”的强度有关。除非在本文的描述中的任何点明确指定特定含义具有特定意义，否则应推断该术语可用于任一含义，例如可互换。

如本文所用，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14-15个数量级的DR宽度。在实践中，与HDR相比，在人类可以同时感知的强度范围的广泛宽度上的DR可能会被截断。如本文所用，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独或可互换地与包括眼睛运动的人类视觉系统(HVS)在场景或图像中可感知的DR相关，允许场景或图像中的一些光适应变化。

在实践中，图像包括一个或多个颜色分量(例如，亮度Y和色度Cb和Cr)，其中每个颜色分量由每像素n位(例如，n＝8)的精度表示。例如，使用伽马亮度编码，n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而n≥10的图像可能被认为是增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如16位)浮点格式被存储和分配，例如由Industrial Light and Magic开发的OpenEXR文件格式。

如本文所用，术语“元数据”涉及作为编码比特流的一部分传送并且帮助解码器呈现解码图像的任何辅助信息。这样的元数据可以包括但不限于颜色空间或色域信息、参考显示参数和辅助信号参数，如本文描述的那些。

大多数消费类桌面显示器当前支持200到300cd/m²或尼特的亮度。大多数消费类高清电视的亮度范围为300到500尼特，新型号达到1000尼特(cd/m²)。因此，这种传统显示器代表了与HDR或EDR相比的较低动态范围(LDR)，也称为标准动态范围(SDR)。由于捕捉设备(例如相机)和HDR显示器(例如杜比实验室的PRM-4200专业参考显示器)的进步，HDR内容的可用性不断增加，HDR内容可能会进行颜色分级并显示在支持更高的动态范围(例如，从1,000尼特到5,000尼特或更多)的HDR显示器上。一般而言，但不限于，本公开的方法涉及高于SDR的任何动态范围。

如本文所用，术语“显示管理”是指在接收器上执行以呈现目标显示器的图片的过程。例如，但不限于，这样的过程可以包括色调映射、色域映射、颜色管理、帧速率转换等。

高动态范围(HDR)内容创作现在变得普遍，因为该技术提供比早期格式更真实和逼真的图像。但是，目标显示器的特性可能与用于对原始内容进行颜色分级的参考显示器的特性不匹配。为了改进现有的显示方案，如本发明人在此理解的，开发了用于HDR图像的显示管理的改进技术。

本节中描述的方法是可以采用的方法，但不一定是先前已构想或采用的方法。因此，除非另有说明，否则不应假定本节中描述的任何方法仅因其包含在本节中而被认为是现有技术。类似地，除非另有说明，否则关于一种或多种方法确定的问题不应假设已在任何现有技术中基于本节得到认可。

附图说明

本发明的实施例通过示例而非限制的方式在附图中示出，其中相似的附图标记指代相似的要素，并且其中：

图1描绘了视频传送流水线的示例过程；

图2A和图2B描绘了根据本发明的实施例的用于显示管理的示例架构；

图3描绘了根据本发明实施例的帧分析器单元的示例处理流水线；

图4更详细地描绘了根据本发明实施例的图3的帧分析器单元的颜色转换处理流水线；

图5描绘了根据本发明实施例的用于显示映射的示例处理流水线；

图6A和图6B描绘了根据本发明的实施例的用于色量(color volume)映射的示例处理流水线；

图6C描绘了根据本发明的实施例的用于调整颜色修剪的示例处理流水线；

图7A描绘了根据实施例的生成上采样金字塔图像的示例过程；

图7B描绘了根据实施例的生成基础层图像的示例；以及

图7C描绘了根据实施例的边缘滤波的示例。

示例实施例的描述

这里描述了用于HDR图像的显示管理的方法。在以下描述中，为了解释的目的，阐述了许多具体细节以提供对本发明的透彻理解。然而，很明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情况下，为了避免不必要地遮挡、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。

发明内容

这里描述的示例实施例涉及用于HDR图像的显示管理的方法。在一个实施例中，处理器接收第一动态范围和第一空间分辨率中的第一图像(507)，该第一图像包括强度像素(507-I)和色度像素(507-C)。它将色调映射函数(615)应用于该第一图像的强度像素以生成目标动态范围内的色调映射图像的对应强度像素(I’)，其中目标动态范围不同于第一动态范围。它根据第一图像中的色度像素的值计算第一图像的像素的饱和度度量。它计算(660)饱和度映射强度(SMD缩放因子(缩放器，scaler)，其中SMI缩放因子(缩放器)根据第一图像和色调映射图像中强度的对应像素的函数来调整第一图像中色度像素的像素值。它基于第一图像中色度像素的饱和度度量的第一函数计算(640)色调映射图像中的强度像素的色调映射饱和度(TMS)缩放因子(缩放器)。它基于第一图像中色度像素的饱和度度量的第二函数计算(645)第一图像中色度像素的饱和度映射饱和度缩放因子(缩放器)(SMS)。它将TMS缩放因子(缩放器)应用于色调映射图像的强度像素以生成输出强度像素(I”)。它将SMS和SMI缩放因子(缩放器)与第一图像的色度像素相乘以生成中间色度像素，并生成包括输出强度像素和输出色度像素的输出图像(652)，其中输出色度像素包括中间色度像素或作为中间色度像素的函数生成的色度像素。

显示管理

HDR信号的视频编码

图1描绘了示出从视频捕获到视频内容显示的各个阶段的传统视频传送流水线(100)的示例过程。使用图像生成块(105)捕获或生成视频帧(102)的序列。视频帧(102)可以被数字捕获(例如通过数码相机)或由计算机生成(例如使用计算机动画)以提供视频数据(107)。或者，视频帧(102)可以由胶片相机在胶片上捕获。胶片被转换成数字格式以提供视频数据(107)。在制作阶段(110)，视频数据(107)被编辑以提供视频制作流(112)。

然后在块(115)处将制作流(112)的视频数据提供给处理器用于后期制作编辑。块(115)后期制作编辑可包括根据视频创作者的创作意图调整或修改图像的特定区域中的颜色或亮度以增强图像质量或实现图像的特定外观。这有时称为“颜色定时”或“颜色分级”。其他编辑(例如场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)可以在块(115)处执行以产生用于分配的产品的最终版本(117)。在后期制作编辑(115)期间，在参考显示器(125)上观看视频图像。

在后期制作(115)之后，最终制作(117)的视频数据可以被传送到编码块(120)以向下游传送到解码和回放设备，例如电视机、机顶盒、电影院等。在一些实施例中，编码块(120)可以包括音频和视频编码器，例如由ATSC、DVB、DVD、蓝光和其他传送格式定义的那些，以生成编码比特流(122)。在接收器中，编码比特流(122)由解码单元(130)解码以生成代表信号(117)的相同或近似值的解码信号(132)。接收器可以附接到目标显示器(140)，该目标显示器(140)可以具有与参考显示器(125)完全不同的特性。在那种情况下，显示管理块(135)可以用于通过生成显示映射信号(137)来将解码信号(132)的动态范围映射到目标显示器(140)的特性。

显示管理流水线

图2A和图2B描绘了根据实施例的用于显示管理的示例架构。如图2A所示，输入视频(132)可以包括从视频解码器(130)接收的视频和/或从图形处理单元(例如，从机顶盒)接收的视频，和/或其他视频输入(例如，从电视或机顶盒中的HDMI端口、图形处理单元(GPU)等)。输入视频(132)可以由分析器(205)处理并且它的输出可以存储在帧缓冲器(220)中。正如将在随后的部分中更详细地解释的那样，分析器以帧为基础分析输入，并且可以生成元数据、统计数据或其他与视频相关的数据以用于架构的后续阶段。分析器的输出还可以由金字塔下采样单元(230)(将在后面更详细地描述)处理，其生成图像金字塔(224)。分析器还可以生成馈送到帧缓冲器的仅强度信号(207)。

如图2B所示，来自帧缓冲器的输入视频和图形(226)可由三个视频流水线处理：主视频流水线、可选的画中画(PIP)流水线和可选的图形流水线。主视频流水线包括金字塔上采样器单元(235)并且可以包括诸如显示映射单元(210)、缩放电路、去噪单元和颜色管理单元之类的处理块。类似地，PIP流水线可以包括它自己的显示映射(212)(通常，显示映射210的子集)、缩放和帧速率转换。最后，图形流水线可以包括显示映射(212)和缩放。所有三个流水线的输出由复合单元(245)组合在一起以生成复合视频信号250，其在额外的颜色管理和后处理(未示出)之后被传递到目标显示器的面板(未示出)。整个架构可以由显示管理控制层(21 5)控制。接下来提供其他详细信息。

分析器单元

如图3所示，分析器单元(205)逐帧分析输入源并生成多种输出，包括：

·帧的最小、中间、最大元数据值(310)(也可称为L1元数据)

·与全局调光相关的元数据(310)(也可称为L4元数据)，例如，时间滤波的L1元数据；以及

·强度数据(207)和强度直方图(320)

分析器与金字塔下采样单元(230)结合还可以生成与输入帧(132)的金字塔表示相关的元数据，也称为精确映射或金字塔滤波元数据(224)。

在一个实施例中，分析器可以在输入帧的降低的分辨率下操作以降低计算复杂度。例如，在一个实施例中，分析器可以仅对如由2D缩放器(缩放因子)(260)生成的分辨率为1024×576或更小的子采样数据进行操作，。

图4描绘了与分析器单元相关的附加细节。如图4所示，视频输入(402-a、402-b或402-c)由下采样单元405(例如，通过使用2D缩放器(缩放因子)260)进行下采样，其将所有输入格式转换为较低分辨率(例如，小于或等于1024×576)的4∶4∶4表示。在一个实施例中，下采样单元(405)可以利用在解码器中可用的任何下缩放(缩小，down-scaling)硬件。在下采样(405)之后，多个颜色转换阶段将输入颜色格式转换为ICtCp颜色格式。这些阶段包括：

·输入格式(例如ICtCp、YCbCr、YUV等)到非线性RGB’的转换(410)

·非线性RGB’到线性RGB的转换(415)

·线性RGB到线性LMS的转换(420)

·线性LMS到非线性LMS’的转换(425)

·非线性LMS’到ICtCp的I分量(430)

·从第一线性RGB表示到第二线性RGB表示(435)；以及

·线性RGB到非线性RGB’的转换(440)

根据输入颜色格式，可以跳过这些阶段中的一个或多个。PQ和HLG编码数据的颜色空间之间的颜色转换示例可以在Rec.BT.2100，“用于制作和国际节目交换的高动态范围电视的图像参数值”(“Image parameter values for high dynamic range television foruse in production and international programme exchange”)中找到，其由ITU撰写，以全文引用方式并入本文。

给定线性RGB值(437)和非线性RGB’值442，元数据计算块445生成各种元数据值，例如最小像素值(MinPixel)、最大像素值(MaxPixel)、平均或平均像素值(MeanPixel)和帧中像素的标准差(StdPixel)，以及显示管理后续阶段所需的附加元数据值。

例如，使用伪代码，可以使用以下代码来生成这些元数据值。

初始化

MinPixel＝1

MaxPixel＝0

Scale＝1/(Wa x Ha)//Dimensions of input image

m ＝ 0，

m2＝0，

对于每个图像位置[x，y]

处理完每个图像位置后，计算

MeanPixel＝m＊Scale

StdPixel＝sqrt((m2＊Scale)-(m＊Scale)^2)

给定这些元数据，时间滤波器(450)对MinPixel、MeanPixel、MaxPixel和StdPixel值进行滤波以生成滤波后的元数据值(452)。这种时间滤波，如S.Farrell等人的美国专利10,242,627“高动态范围图像的背光控制和显示映射”(“Backlight control and displaymapping for high dynamic range images”)中所述，考虑场景变化并限制元数据值的突然变化，这可能导致显示输出不佳，尤其是当显示管理考虑到周围环境光的时侯。例如，在一个实施例中，对均值和标准差元数据的时间滤波可以表示为

L4Alpha＝CLAMP(24/FPS＊

(abs(FilteredFrameMean-MeanPixel)＊8+0.1)，0，1)

FilteredFrameMean＝FilteredFrameMean＊(1-L4Alpha)+MeanPixel＊

L4Alpha

FilteredFrameStd＝FilteredFrameStd＊(1-L4Alpha)+StdPixel＊L4Alpha其中FPS表示输入信号的帧速率(例如30fps)，L4Alpha表示滤波参数，CLAMP(x，min，max)函数将x的值限制在min和max之间，如下所示：

CLAMP(x，min，max)＝(x＜min)？min：((x＞max)？max：x)

给定强度(I)数据(207)，直方图计算单元455计算它们的直方图457。

金字塔下采样

如图2A所示，一个实施例包括金字塔下采样单元230，其生成输入帧的金字塔表示(224)，稍后用于改进的色调映射。在一些实施例中，可以跳过金字塔的层以减少存储器带宽。例如，对于4K输入图像，可以跳过第一层(例如，2K分辨率)。然后，在上采样期间，四分之一分辨率的图像将被简单地翻倍两次。例如，给定4K输入，在一个实施例中，金字塔可以生成以下层：1024×576、512×288、256×144、128×72、64×36、32×18和16×9。类似地，对于8K输入图像，一半和四分之一分辨率层都可以被跳过。这确保无论输入图像大小如何，金字塔的后续层都将具有相同的维度。

虽然根据使用子采样因子2、4、8等的子采样来描述金字塔，但是在不失一般性的情况下可以使用其他子采样因子。

作为一个示例，在创建金字塔时，在第n个金字塔层(例如，n＝2到7)处的第k行是通过对在上一层的行2*k和2*k-1进行适当滤波而生成的。在一个实施例中，使用可分离的2×2低通滤波器(例如，具有滤波器系数[1 1]/2)或可分离的4×4低通滤波器(例如，具有滤波器系数[1331]/8)来执行这样的滤波。4×4滤波器可在金字塔级别之间更好地对齐，但需要额外的行缓冲区。在另一实施例中，可以在水平和垂直方向上应用不同的滤波器，例如4抽头水平滤波器和2抽头垂直滤波器，或者相反。

在计算金字塔的第一级之前(例如，在1024×576)，输入的ICtCp图像(507)可以被填充以：

·保证所有空间维度都可以被2整除，从最小到最大的金字塔级别

·复制边界像素，同时考虑指定的感兴趣区域(ROI)

·复制边界像素，考虑各种尺寸或纵横比的输入图像

金字塔上采样

金字塔上采样器(235)，接收下采样的金字塔数据(224-1、224-2、…、224-7)，并在每一层使用边缘感知上采样滤波器以其原始分辨率重建原始图像。首先对金字塔的最小级别进行上采样，然后对其他级别进行上采样，直至最高金字塔级别的分辨率。七层金字塔的整个过程如图7A所示。

将第i层的金字塔图像表示为P(i)。从最低分辨率级别(例如，i＝7)开始，最低分辨率的金字塔图像(例如，P(7))被馈送到边缘保留滤波器(715)，该滤波器生成两个系数“图像”以被表示为Ima(7)和Imb(7)。接下来，Ima和Imb均以2为因子进行上采样以生成上采样系数图像ImaU(7)和ImbU(7)(720-7)。

在下一层，i＝6，金字塔的P(6)层与上采样系数图像ImaU(7)和ImbU(7)组合以生成图像

S(6)＝ImaU(7)*P(6)+ImbU(7)， (1)

它与图像P(6)一起被馈送到边缘上采样滤波器以生成系数“图像”Ima(6)和Imb(6)。接下来，Ima(6)和Imb(6)以2为因子进行上采样以生成上采样系数图像ImaU(6)和ImbU(6)(720-6)。对其他金字塔层继续相同的过程。一般来说，对于i＝7，6，5，...，2，

S(i-1)＝ImaU(i)*P(i-1)+ImbU(i)， (2)

其中将系数图像与图像相乘的操作对应于将它们的对应像素逐个像素地相乘。例如，在像素位置(m，n)，对于维度为W(i)×H(i)的金字塔级别i，

S(i-1)_m，n＝ImaU(i)_m，n*P(i-1)_m，n+ImbU(i)_m，n， (3)

对于m＝1，2，...，W(i-1)和n＝1，2，...，H(i-1)。

在处理金字塔的第二级(i＝2)之后，给定S(1)和P(1)，边缘滤波器将生成两个参数图像Ima(1)和Imb(1)(710)。为了生成4K图像，可以将Ima(1)和Imb(1)放大2倍。为了生成8K图像，可以将Ima(1)和Imb(1)放大4倍。如图7B所示，两个放大的系数图像(ImaU(1)和ImbU(1))(712)与输入视频的强度图像(I)组合可用于生成滤波后的基础层图像(730)，如下

BL＝I_F＝ImaU(1)*I+ImbU(1). (4)

如稍后将描述的，该滤波后的基础层图像可用于色量映射以生成最终输出图像。

概括地，给定具有N层图片(例如，P(1)到P(N))的金字塔，生成系数图像Ima(1)和Imb(1)包括：

使用边缘滤波器和P(N)，具有最低空间分辨率的N层金字塔图像生成Ima(N)和Imb(N)；

通过上缩放(放大，up-scaling)Ima(N)和Imb(N)以匹配N-1层的空间分辨率，生成ImaU(N)和ImbU(N)；

for(i＝N-1到2){

S(i)＝ImaU(i+1)*P(i)+ImbU(i+1)

使用边缘滤波器S(i)和P(i)生成Ima(i)和Imb(i)

}

计算S(1)＝ImaU(2)*P(1)+ImbU(2)；以及

使用边缘滤波器，S(1)和P(1)生成Ima(1)和Imb(1)。

图7C更详细地描绘了边缘滤波器(715)内部的操作，其给定滤波数据S(i)、金字塔层图像P(i)和金字塔权重PW(i)(经由元数据提供)，生成两个系数矩阵Ima(i)和Imb(i)以用于保留更高金字塔层的边缘。注意，对于最低空间分辨率的金字塔层N，例如，N＝7，S(N)＝P(N)。

如图7C所示，首先，使用3x3可分离低通滤波器(例如H＝[121]/4)对S(i)，P(i)，P²(i)和P(i)*S(i)输入进行水平和垂直卷积。它们的对应输出可以表示为Sout，Pout，P2out和PSout。虽然这些信号对于每一层是特定的，但为简单起见，不使用索引i。然后，如图7C所示，

Pvar＝P2out-Pout²，

显示映射单元

给定在参考显示器(例如，125)和目标显示器(例如，140)上呈现的输入图像，显示映射单元的作用是为目标图像生成输出图像，该输出图像充分利用了目标显示器的特点，同时还保留了原始图像的艺术意图。

图5描绘了根据实施例的显示映射单元的主要组件的示例框图。显示映射单元的输入包括：视频图像数据和元数据(502)、关于目标显示器的特征和可选用户偏好的信息(504)，以及与输入图像的金字塔表示相关的可选精度映射数据(例如，224)和来自金字塔第一层的边缘滤波器系数(710)，其通过在基础层生成单元(750)中生成前面描述的和图7B中所示的基础层图像(730)，可用于改进色调映射和色量映射操作。给定这些输入，显示映射单元(500)通过适当的色调映射和/或颜色映射(510)生成映射图像(522)。

在一个实施例中，但不限于，与色调映射和颜色映射(510)相关的操作可以在ICtCp颜色空间或ITP颜色空间中执行。取决于输入(502)和所需输出(522)的颜色格式，在ICtCp颜色空间中操作可能需要可选的输入空间转换(505)和输出颜色转换(520)。

例如，对于输入颜色转换(505)，可以遵循与图4中描绘的那些相同的颜色转换步骤。例如，YCbCr到ICtCp的颜色转换可以应用以下步骤：

·YUV到非线性RGB’(410)

·非线性RGB’到线性RGB(415)

·线性RGB到线性LMS(420)

·线性LMS到非线性LMS’(425)；以及

·非线性LMS’到ICtCp(507)

对于输出颜色转换，例如，可以遵循以下处理步骤：

·ICtCp到非线性LMS’

·非线性LMS’到线性LMS

·线性LMS到线性RGB(522)

·线性RGB到非线性RGB’(非线性RGB’可用于需要非线性RGB’输入的设备)

·非线性RGB’到YUV(或YCbCr)，对于需要YCbCr输入的设备例如，Rec.BT.2100提供了PQ和HLG编码数据的颜色格式之间的推荐颜色转换示例。

在一些实施例中，优选ICtCp中的1分量在[0，1]内并且Ct和Cp在[-0.5，0.5]内。如果输入ICtCp值超出这些范围，则可以使用简单的移位和缩放操作将它们转换到这些范围。例如，在一个实施例中，可以在“ITP”颜色空间中执行操作。除了一些偏移和缩放操作外，ITP空间与ICtCp色阶非常相似，例如，Ct分量以2进行缩放以实现更有效的内部表示。

金字塔滤波

在一些实施例中，稍后将更详细地描述，通过考虑输入图像的局部对比度和细节信息，可以进一步改进色量映射块(例如，510)内的显示色调映射。例如，滤波后的强度图像用于将图像分成两层：滤波后的基础层和细节层。通过将色调映射曲线应用于滤波后的基础层，然后将细节层添加回结果，图像的原始对比度可以在全局和局部保留。

在一个实施例中，这可以作为两阶段操作来执行：

a)生成一个基础层(BL)来指导映射

b)执行色调映射

在一个实施例中，生成的基础层表示原始图像的空间模糊、边缘保留版本。也就是说，它保留了重要的边缘，但模糊了更精细的细节。更具体地，生成BL图像可以包括：

·创建具有更低分辨率层的图像金字塔，并保存每一层

·从最低分辨率的层开始，上采样到更高层以生成基础层

用于创建图像金字塔和基础层图像的示例实施例已经作为金字塔下采样单元(230)和金字塔上采样(235)的一部分进行了讨论。

色量映射

图6A和图6B描绘了根据实施例的用于色量映射(510)的示例处理流水线。色量映射块的目标是调整强度和颜色的范围，以在指定的目标显示器和查看环境上呈现。本发明的实施例以先前的显示管理技术为基础，并添加了可选的金字塔滤波操作。执行了一种新颖的细节保留算法，这导致了前面讨论的新“金字塔滤波”操作。

色量映射主要是在保持色调的同时调整强度和饱和度的四个操作的函数。ToneMapI(615)和SaturationMapI(660)根据强度进行调整，ToneMapS(642)和SaturationMapS(645)根据饱和度进行调整。定义为P(Cp)和T(Ct)之间角度的色调保持不变。然而，为了启用局部映射，ToneMapI现在是输入强度I和金字塔滤波强度I_F的函数。此外，为了确保局部映射的颜色准确性，SaturationMapI现在是原始强度I和色调映射强度I’的函数。

一个实施例包括稍后将更详细描述的新型六矢量修剪模块(655)。

如图6A所示，如果根据输入元数据，看起来目标显示器的特征与参考显示器或输入的特征匹配(例如，旁路605设置为是)，则可以绕过整个色量映射，并且输入(507)直接传递到输出(652)。否则，输入的强度(507-1)和色度分量(507-C)将被传递到它们的透视映射流水线中。在一些实施例中，可以对要显示的每一帧内的某个感兴趣区域(ROI)进行特殊处理。例如，“确定ROI”单元(620)可以确定输入图像的像素(x，y)是否在感兴趣区域内以及如果操作在ROI之外，参数607是否被设置为默认设置，或者，如果在ROI内，这些控制参数(607)由输入元数据调整。类似地，如果在ROI之外，那么，如图6B所示，对于ROI之外的像素区域，可以完全绕过某些处理步骤。例如，ROI单元可以检测输入框周围的信箱区域内的图片区域或活动图片顶部的重叠窗口。在一个实施例中，但不限于，ROI单元可以将像素的区域标记为：

·带有要映射的修剪的主要区域

·没有要映射的修剪的主要区域

·要映射、设置为黑色或被绕过的次要区域(例如，“信箱”或信箱顶部的叠加层)

ToneMapI

ToneMapI块(615)基于像素的强度I以及金字塔滤波像素I_F的函数将色调映射应用于强度通道。ToneMapI功能可以包括各种处理阶段，包括动态范围减小和环境光调整。

动态范围减小执行大部分色调映射操作。如图6C所示，首先通过在原始图像I(705)和金字塔滤波图像I_F(730)之间进行插值来计算色调映射器的输入I_B，以允许对局部映射的强度进行一些控制：

I_B＝α*I_F+(1-α)*I. (7)

当a＝0时，色调映射等同于传统的全局色调映射。

在一个实施例中，然后通过基于源元数据和目标配置动态计算的色调映射曲线将图像I_B映射到输出强度(I′_B)。此类色调映射函数的示例在A.Ballestad和A.Kostin的美国专利8,593,480“用于图像数据转换的方法和装置”(“Method and apparatus for imagedata transformation”)以及J.A.Pytlarz和R.Atkins的WIPO出版物WO 2018/152063“用于高动态范围图像的色调曲线映射”(“Tone curve mapping for high dynamic rangeimages”)中有所描述，每一个都以引用的方式并入。

给定差异图像D(625)，其中D＝(I-I_B)，图像D上的可选缩放因子β可用于调整色调映射输出的锐化

I′＝I′_B+(I-I_B)*β， (8)

其中I′_B表示I_B的色调映射版本。

从概念上讲，该算法仅将色调映射操作应用于图像的大空间区域，而保留小空间区域未修改。结果是在高亮和阴影区域可以保留图像的一些原始局部对比度。在没有色调映射的地方，操作没有效果，因为没有理由恢复对比度。对于大的平坦区域，该操作也没有效果。该操作旨在对图像的小的色调映射区域保留对比度。为了防止不需要的光晕，局部映射算法在大幅度边缘附近的影响最小，在那里可以进行大的亮度变化而不会引起可见光晕。内容创建者对应用多少本地映射算法有一定程度的控制权，在无和完全强度之间变化。

色调曲线也可以基于局部映射的强度被修改。映射曲线的顶部和底部的斜率可以调整为更接等于1的近斜率，并根据α的值进行局部映射和混合。这确保有足够的空间来添加回细节，而不会发生任何剪裁或挤压。

环境光校正基于观看环境调整输出亮度以保持暗区细节的可见性。这通常涉及增加暗区的对比度，并在必要时相应降低图像中其他地方的对比度。环境光补偿模块背后的算法是根据周围环境计算出不同的PQ曲线。在更高的适应水平下，刚好可注意到的差异(JND)在黑暗区域变得更大。通过计算模拟这些更大JND的新PQ曲线，环境光算法可以保留对周围环境的不同适应程度之间的可见步骤的数量。除了补偿环绕照明之外，该模块还补偿估计的屏幕反射。环境光可以从安装在显示器上的一个或多个环境光传感器确定。

这种映射的示例在J.A.Pytlarz等人的WIPO出版物WO 2018/119161，“环境光自适应显示管理”(“Ambient light-adaptive display management”)以及于2019年1月9日提交的R.Atkins等人的美国临时专利申请序列号62/790,058，“具有环境光补偿的显示管理”(“Display management with ambient light compensation”)。此阶段还可用于根据用户偏好进行调整，例如对比度调整、亮度调整等。

回到图2B，显示映射(210)可以包括全局色调映射和精确映射，而显示映射(212)可以仅包括全局色调映射

所有这些处理步骤由标志和参数(607)控制，这些标志和参数(607)由显示管理控制层(215)或包括在比特流中的元数据提供。

SaturationMapI

SaturationMapI块(660)基于像素的强度和ToneMapI(615)的输出将饱和度映射应用于色度通道(例如，T和P)。映射分三个阶段应用：

SaturationMapI

＝SaturationScale*MesopicPreservation

*SaturationTrim

阶段1：饱和度保留比例调整饱和度，以解释强度的变化。随着颜色强度的降低，饱和度也会相应降低，以保持颜色的外观或平衡。调整饱和度的量计算为依赖于色调映射前后强度的比率。注意，为清楚起见，省略了额外的约束和限制。

一般来说，等式(9)可以表示为

其中f_s(I)函数是强度的单调递增函数，优选对中间色调使用线性映射，但对暗部和高亮使用非线性映射，类似于传统的sigmoid函数。

阶段2：昏暗保留和软挤压比例在映射到更高的黑度级别时进一步调整饱和度。昏暗保留(c₄)模拟源内容中低亮度像素中的颜色饱和度的感知损失，并在更高的亮度级别重现它。如果没有这种修改，当映射到具有更高的黑度级别的显示器时，暗细节可能会显得更加饱和。软挤压(c₂)是色域映射饱和度调整。它降低了接近目标显示器最小值的像素的饱和度，以便将它们带回色域。没有这种修改，暗像素可能会超出色域，并且可能会剪裁到高度饱和的令人反感的颜色。注意，为清楚起见，省略了额外的约束和限制。

阶段3：饱和度修剪比例允许内容创建者进一步修改来自自动映射的饱和度以更好地实现他们的创作意图。这简单地根据元数据中提供的SaturationGain值计算，在一个实施例中，该值具有[-0.5，0.5]的范围和大约0.05的典型值。

SaturationTrim＝1+SaturationGain. (11)

ToneMapS

ToneMapS块(640)基于色度通道的饱和度调整色调映射输入的强度通道(I’)。调整量由两个系数c₁和c₂确定的两个阶段控制。注意，为清楚起见，省略了额外的约束。

注意，在其他实施例中，ToneMapS可以表示S＞0时S的任何单调递增函数。

在一个实施例中，c₁和c₂系数计算如下。

第1阶段：主饱和度根据源显示器和目标显示器的原色之间的差异修改饱和颜色的亮度。这会导致高度饱和的颜色稍微变暗，这有助于保留明亮、饱和的颜色区域中的颜色饱和度和纹理。首先使用ITP颜色空间计算源显示器的红色原色的饱和度。然后系数c₁被计算为目标和源的红色原色强度的比率，并考虑到由ToneMapI执行的附加色调映射。系数c₁还通过红色原色的立方饱和度进一步被缩放，以便每个像素表示为像素饱和度与红色原色饱和度的归一化比率。注意，实际实现包括额外的约束，以限制每个值的范围并避免被零除——为了清楚起见，下面的等式省略了约束。

阶段2：ChromaWeight修剪允许内容创建者进一步修改来自自动映射的饱和颜色的亮度以更好地实现他们的创作意图。这仅仅是通过缩放元数据中提供的ChromaWeight值来计算的。

c₂＝ChromaWeight*4. (14)

ChromaWeight的范围在[-0.5，0.5]中，典型值为-0.05。

SaturationMapS

SaturationMapS块(645)基于色度通道的饱和度将饱和度映射应用于P和T通道。调节饱和度的量由两个阶段控制，由两个系数c₁和c₂确定。注意，为清楚起见，省略了额外的约束。

在一个实施例中，c₁和c₂系数计算如下。

阶段1：主饱和度根据源显示器和目标显示器的原色之间的差异修改饱和度。这会导致高度饱和的颜色略微地去饱和，这有助于保留明亮、饱和的颜色区域中的色调和纹理。首先使用ITP颜色空间计算源显示器和目标显示器的红色原色的饱和度。然后系数c₁被计算为目标和源的红色原色饱和度的比率，考虑到SaturationMapI执行的额外去饱和度。系数c₁通过红色原色的立方饱和度也进一步被缩放，以便每个像素表示为像素饱和度与红色原色饱和度的归一化比率。注意，实际实现包括额外的约束，以限制每个值的范围并避免被零除——为了清楚起见，下面的等式省略了约束。

阶段2：Chroma-Weight修剪允许内容创建者进一步修改自动映射中的饱和颜色映射，以更好地实现他们的创作意图。这仅仅是通过缩放元数据中提供的ChromaWeight值来计算的(例如，见等式(14))。

c₂＝ChromaWeight*3. (17)

六矢量修剪

六矢量修剪块(655)允许内容创建者在映射到具有更低动态范围的显示器时修改特定颜色的色调和饱和度，以更好地实现他们的创作意图。如这里所使用的，术语“修剪”表示内容创建者对色调曲线执行附加手动修改以获得期望的创作意图的控制。与修剪相关的元数据可以包括这样的参数，例如：目标显示器的最大亮度值、用于色调曲线处理的斜率偏移功率参数以及用于调整饱和度增益和其他色度相关参数的效果的权重。

这些步骤也描绘在图6B中，如下所示：

1、在块680中，计算每个像素的色调角

其中ct和甲表示来自图6A中描述的处理的修改色度值。

2、在块685和690中，使用色调角作为索引插入两个小的LUT(3位)

假设H介于0和360度之间，在一个实施例中，可以如下计算色调调整(r1)和饱和度调整(SMH)：

kH＝floor(H＜＜3)

aH＝(H＜＜3)-kH

SMH＝SMHLUT[kH]＊(1-aH)+SMHLUT[kH+1]＊aH

r1＝HMHLUT[kH]＊(1-aH)+HMHLUT[kH+1]＊aH

其中，SMHLUT[j]和HMHLUT[j]，j＝0，1，…，7是具有由调色师提供的修剪值的查找表，作为输入元数据的一部分。

3、最后，色调映射输出(652)的输出色度分量Ct′和Cp′(657)计算如下：

Ct′＝SMH*(ct*r₂-cp*r₁)

Cp′＝SMH*(ct*r₁+cp-r₂). (20)

这两个LUT由元数据提供并且包括对六种色调中的每一种的期望修改。每个像素的色调由色度通道的四象限反正切计算，用于插入到该表中，以找到要应用的色调和饱和度修改量。LUT适用于一个或多个特定的亮度级别。在插值之前，LUT会根据预期目标显示器的实际亮度级别进行修改，其方式与其他修剪的方式相同。

示例计算机系统实现

本发明的实施例可以用计算机系统、配置在电子电路和组件中的系统、集成电路(IC)设备，例如微控制器、现场可编程门阵列(FPGA)或其他可配置的或可编程的逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用集成电路(ASIC)和/或包括一个或多个此类系统、设备或组件的装置。计算机和/或集成电路可以执行、控制或进行与具有高动态范围的图像的图像变换相关的指令，例如本文所述的那些。计算机和/或集成电路可以计算与这里描述的HDR视频过程的显示管理相关的各种参数或值中的任何一个。图像和视频实施例可以以硬件、软件、固件及其各种组合来实现。

本发明的某些实现包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行在处理器可访问的程序存储器中的软件指令，来实现与上述HDR视频的显示管理相关的方法。本发明还可以以程序产品的形式被提供。程序产品可以包括任何有形和非暂态介质，其携带包括指令的一组计算机可读信号，所述指令在由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是多种有形形式中的任何一种。该程序产品可以包括例如物理介质，诸如包括软盘的磁性数据存储介质、硬盘驱动器、包括CDROM、DVD的光学数据存储介质、包括ROM、闪存RAM等的电子数据存储介质。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上文提及组件(例如软件模块、处理器、装配、装置、电路等)的情况下，除非另有说明，提及该组件(包括提及“装置”)应被解释为包括作为该组件的等效物的任何执行所描述组件的功能的组件(例如，即功能等同的)，包括在结构上与执行本发明所示示例实施例中的功能的公开结构不等同的组件。

等效物、扩展物、替代物和杂项

因此描述了涉及HDR视频的显示管理的示例实施例。在前面的说明书中，已经参考可能因实现而变化的许多具体细节描述了本发明的实施例。因此，什么是本发明，以及什么是申请人想要成为发明的唯一和排他性标志，就是从该申请发布的一系列权利要求，这些权利要求以特定的形式发布，包括任何后续的更正。此处对包含在此类权利要求中的术语的任何明确阐述的定义将支配在权利要求中使用的此类术语的含义。因此，未在权利要求中明确记载的限制、要素、特性、特征、优点或属性不应以任何方式限制此类权利要求的范围。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims

1.一种用于显示管理的方法，所述方法包括：

访问第一动态范围和第一空间分辨率的第一图像(507)，所述第一图像包括第一强度像素和色度像素，其中，所述第一图像的所述第一强度像素被生成为

I_B＝α*I_F+(1-α)*I，

其中α包括0到1之间的值，I表示输入图像的原始强度像素值，并且I_F表示滤波后的基础层图像的对应强度像素值，所述滤波后的基础层图像使用所述输入图像、金字塔下采样和金字塔上采样来生成；

将色调映射函数(615)应用于所述第一图像的所述第一强度像素以生成目标动态范围的色调映射图像的对应第二强度像素(I')，其中所述目标动态范围不同于所述第一动态范围；

基于所述第一图像中的所述色度像素的值计算所述第一图像的像素的饱和度度量；

计算(660)饱和度映射强度SMI缩放因子，其中所述SMI缩放因子根据所述第一图像和所述色调映射图像中的强度的对应像素的函数调整所述第一图像中的所述色度像素的像素值；

基于所述第一图像中的所述色度像素的所述饱和度度量的第一函数计算(640)所述色调映射图像中的所述第二强度像素的色调映射饱和度TMS缩放因子，其中，所述TMS缩放因子基于所述饱和度度量调整所述色调映射图像的所述第二强度像素；

基于所述第一图像中的所述色度像素的所述饱和度度量的第二函数计算(645)所述第一图像中的所述色度像素的饱和度映射饱和度SMS缩放因子，其中，所述SMS缩放因子基于所述饱和度度量将饱和度映射应用于P和T通道；

将所述TMS缩放因子应用于所述色调映射图像的所述第二强度像素以生成输出强度像素(I”)；

将所述SMS缩放因子和所述SMI缩放因子与所述第一图像的所述色度像素相乘以生成中间色度像素；以及

生成包括所述输出强度像素和输出色度像素的输出图像(652)，其中所述输出色度像素包括所述中间色度像素或作为所述中间色度像素的函数生成的色度像素。

2.根据权利要求1所述的方法，其中生成所述TMS缩放因子ToneMapS包括计算：

ToneMapS＝(1+S³*c₁)*(1+S*c₂)，

其中S表示色度像素值T和P的所述饱和度度量，c₁被计算为考虑附加色调映射的目标和源的红色原色强度的比率，并且c₂是通过缩放元数据中提供的值来被计算的。

3.根据权利要求1或2所述的方法，其中所述SMI缩放因子是包括SaturationScale的至少一个参数的乘积，并且其中，计算所述SMI缩放因子包括计算SaturationScale

其中I表示所述第一图像中的原始强度像素值，I’表示所述色调映射图像中的对应第二强度像素值，f_s(I)函数包括强度的单调递增函数。

4.根据权利要求3所述的方法，其中

5.根据权利要求1-2中任一项所述的方法，其中生成所述SMS缩放因子SaturationMapS包括计算：

SaturationMapS＝(1+S³*c₁)*(1+S*c₂)，

其中S表示色度像素值T和P的所述饱和度度量，c₁被计算为考虑附加去饱和度的目标和源的红色原色饱和度的比率，并且c₂是通过缩放元数据中提供的值来被计算的。

6.根据权利要求1-2中任一项所述的方法，其中生成所述中间色度像素包括：

ct＝T*SMI*SMS

cp＝P*SMI*SMS

其中T和P表示所述第一图像的所述色度像素的值，SMI表示所述SMI缩放因子，SMS表示所述SMS缩放因子，并且ct和cp表示所述中间色度像素。

7.根据权利要求6所述的方法，其中生成作为所述中间色度像素的函数的所述输出色度像素包括：

接收修剪元数据作为所述第一图像的一部分；

接收所述第一图像中的感兴趣区域；

对于属于所述感兴趣区域的所述第一图像中的像素：

计算所述中间色度像素的色调值；

基于所述色调值和所述修剪元数据计算饱和度映射色调SMH缩放因子；

基于所述色调值和所述修剪元数据计算色调映射值(r1)；以及

基于所述色调映射值、所述SMH缩放因子和所述中间色度像素生成所述输出色度像素。

8.根据权利要求7所述的方法，其中生成所述输出色度像素包括计算：

r2＝1-r1²/2；

ct＝ct*SMH；

cp＝cp*SMH；

Ct'＝r2*ct-r1*cp；

Cp'＝r1*ct+r2*cp，

其中r1表示所述色调映射值，SMH表示所述SMH缩放因子，并且Ct′和Cp′表示所述输出色度像素。

9.根据权利要求1所述的方法，其中所述方法还包括给定介于0和1之间的缩放因子β，调整所述色调映射函数输出的所述第二强度像素，包括：

I′＝I′_B+(I-I_B)*β，

其中I′_B表示I_B的色调映射版本的像素强度。

10.根据权利要求1所述的方法，其中金字塔下采样使用N个金字塔层图像生成所述输入图像的金字塔表示，其中N至少为2，其中第一金字塔层图像具有比所述输入图像的所述空间分辨率更低的空间分辨率，对于k＝2，…，N，第k层金字塔图像具有比第k-1层金字塔图像更低的空间分辨率。

11.根据权利要求10所述的方法，其中生成所述滤波后的基础层图像的所述强度像素值包括：

基于所述N个金字塔层图像生成一组边缘滤波器系数图像Ima(1)和Imb(1)(710)；

上采样所述一组边缘滤波器系数图像Ima(1)和Imb(1)以匹配所述输入图像的所述空间分辨率，并生成一组上采样边缘滤波器系数图像ImaU(1)和ImaU(1)(712)；以及

生成所述滤波后的基础层图像的所述强度像素值如下：

I_F＝ImaU(1)*I+ImbU(1)

12.根据权利要求11所述的方法，其中生成Ima(1)和Imb(1)包括：

使用边缘滤波器和P(N)生成Ima(N)和Imb(N)，其中P(N)表示空间分辨率最低的所述N个金字塔层图像；

通过上缩放Ima(N)和Imb(N)生成ImaU(N)和ImbU(N)，以匹配(N-1)个金字塔层图像的所述空间分辨率；

对于i＝N-1到2：

生成S(i)=ImaU(i+1)*P(i)＝ImbU(i+1)，

其中P(i)表示第i个金字塔层图像；

使用所述边缘滤波器、S(i)和P(i)生成Ima(i)和Imb(i)；以及

计算S(1)＝ImaU(2)*P(1)+ImbU(2)；以及

使用所述边缘滤波器S(1)和P(1)生成Ima(1)和Imb(1)。

13.根据权利要求12所述的方法，其中使用所述边缘滤波器、S(i)和P(i)生成Ima(i)和Imb(i)包括：

生成图像P2(i)＝P²(i)和PS(i)＝P(i)*S(i)；

将P2(i)与滤波器H卷积以生成P2out；

将P(i)与所述滤波器H卷积以生成Pout；

将S(i)与所述滤波器H卷积以生成Sout；

将PS(i)与所述滤波器H卷积以生成PSout；

计算：

Pvar＝P2out-Pout²，

PScov＝PSout-Sout*Pout，

Ima(i)＝PScov/(Pvar+PW(i))，

Imb(i)＝Sout-Ima(i)*Pout，

其中PW(i)表示经由元数据接收的一组权重。

14.一种用于显示管理的装置，包括处理器并且被配置为执行根据权利要求1-13中任一项所述的方法。

15.一种其上存储有计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令用于使用一个或多个处理器来执行根据权利要求1-13中任一项所述的方法。