CN110999300A - 用于图像/视频处理的单通道逆映射 - Google Patents

Abstract

在一些实施例中，公开了一种编码器设备，以生成单通道标准动态范围/高动态范围内容预测器。该设备接收标准动态范围图像内容和高动态范围图像内容的表示。该设备确定用于将标准动态范围图像内容映射到高动态范围图像内容的第一映射函数。该设备基于第一映射函数生成单通道预测元数据，使得解码器设备可以随后通过应用所述元数据将标准动态范围图像内容变换为预测的高清晰度图像内容来渲染预测的高动态范围图像内容。

Description

用于图像/视频处理的单通道逆映射

相关申请的交叉引用

本申请要求均于2017年7月24日提交的美国临时申请号62/536,215和欧洲专利申请号17182722.3的权益，这两个专利申请通过引用以其全文并入本文。

技术领域

本公开总体上涉及图像/视频。更具体地，本公开涉及图像/视频处理。

背景技术

如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，该强度范围例如是从最暗的深色(黑色)到最亮的亮色(白光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个或更多数量级的DR阔度。在实践中，相对于HDR，人类可以同时感知强度范围中的广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单独地或可互换地与这样的DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，EDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR可能稍微窄一些，但EDR可以表示宽DR阔度并且也可以被称为HDR。如本文所使用的，术语“iDM”(“逆显示映射信号”的缩写)也可以指基于输入标准动态范围(SDR)信号创建的EDR或HDR信号。

实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用线性光亮度编码，n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而n＞8的图像可被视为增强动态范围的图像。

给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，ITURec.ITU-R BT.1886，“HDTV工作室制作中使用的平板显示器的参考电光传递函数(Reference electro-optical transfer function for flat panel displays used inHDTV studio production)”(2011年3月)基于阴极射线管(CRT)的测量特性限定了平板显示器的参考EOTF，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其EOTF的信息通常作为元数据嵌入比特流中。如本文所使用的，术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这样的元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。

大多数消费者桌面显示器目前支持200到300cd/m²或尼特的光亮度。大多数消费者HDTV的范围从300到500尼特，其中新型号达到1000尼特(cd/m²)。这样的显示器因此代表了与HDR或EDR相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。HDR内容可以显示在支持较高动态范围(例如，从1000尼特到5000尼特或更高)的HDR显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10000尼特)的替代EOTF来限定。这种EOTF的示例在SMPTE ST 2084:2014“母版制作参考显示器的高动态范围EOTF(High Dynamic Range EOTFof Mastering Reference Displays)”中被限定，其内容通过引用以其全文并入本文。总体上，非限制性地，本公开的方法涉及高于SDR的任何动态范围。

附图说明

在附图中以举例而非限制的方式来说明本发明的实施例，其中相似的附图标记指示相似的元件。

图1示出了根据一个实施例的视频编码器/解码器的示例框图。

图2A、2B和2C示出了图像的ICtCp颜色空间中的SDR/EDR的示例性逆映射函数。

图3A示出了根据一个实施例的编码器的框图。

图3B示出了根据一个实施例的解码器的框图。

图4A和4B示出了根据一个实施例的从SDR到预测EDR的变换的示例性过程。

图5A是根据一个实施例的SDR的概率密度函数的示例图。

图5B是根据一个实施例的预整形SDR的概率密度函数的示例图。

图5C示出了根据本文描述的一个或多个实施例的亮度通道的映射函数(预整形SDR到预测EDR)。

图6A和6B示出了根据一个实施例的从SDR到预测EDR的变换的示例性过程。

图7A和7B示出了根据一个实施例的从SDR到预测EDR的变换的示例性过程。

图8是示出了根据一个或多个实施例的方法的流程图。

图9示出了数据处理系统的示例。

具体实施方式

将参照下文所讨论的详情描述本发明的各实施例和各方面，并且附图将对各实施例进行说明。以下描述和附图是对本发明的说明并且不应被解释为限制本发明。描述了许多特定细节以提供对本发明的各实施例的充分理解。然而，在某些情况下，未对熟知或常规的细节进行描述，从而提供对本发明的实施例的简明讨论。

本说明书中，对“一个实施例(one embodiment)”或“实施例(an embodiment)”的引用意味着结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。在本说明书中，短语“在一个实施例中(in one embodiment)”在各个地方的出现不一定都是指同一实施例。下图中描绘的过程由包括硬件(例如，电路、专用逻辑装置等)、软件或二者的组合的处理逻辑装置来执行。虽然下面按照一些顺序操作描述了所述过程，但是应该了解，可以按不同的顺序执行所描述的操作中的一些操作。而且，可以并行地而非顺序地执行一些操作。

如本文所使用的，术语“PDF”，或简称直方图，是指概率分布函数。“CDF”是指累积分布函数。SDR或HDR直方图可以分别基于一个或多个SDR或HDR图像中码字的分布来构建。“码字”是指表示彩色像素的比特信息序列。例如，‘00000000’可以表示8位码字的像素颜色黑色。“码字仓(Codeword bin)”或“仓(bin)”是指预定义的码字的序列或集合中的特定码字。如本文所使用的术语“PQ”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一个实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在SMPTE ST 2084:2014“母版制作参考显示器的高动态范围EOTF(High Dynamic Range EOTF of Mastering Reference Displays)”中描述了PQ映射函数的示例，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该光亮度水平处的最小可见对比度步长。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可能与人类视觉系统响应方式极大致相似的传统γ曲线相比，PQ曲线会使用相对简单的函数模型模仿人类视觉系统的真实视觉反应。

例如，根据SMPTE ST 2084，在1cd/m2下，一个12位代码值或码字对应于大约0.0048cd/m2的相对变化；然而，在1000cd/m2下，一个12位代码值或码字对应于大约2.24cd/m2的相对变化。需要这种非线性量化来适应人类视觉系统(HVS)的非线性对比度敏感度。

根据一些实施例，公开了用于生成单通道预测元数据以从SDR图像渲染预测的HDR图像的方法和系统。所述预测元数据随后可由解码器使用，以通过使用单通道预测元数据重建后向整形函数来渲染预测的HDR图像，所述后向整形函数用于将SDR图像的至少一个颜色通道变换为预测HDR图像的相应的至少一个颜色通道。

在第一实施例中，系统以SDR表示和HDR表示两者接收图像内容。系统访问预整形函数，用于缩放SDR表示的至少一个颜色通道。系统将预整形函数应用于SDR表示的至少一个颜色通道，以获得至少一个预整形颜色通道，用于传输到解码器。系统确定用于将输入码字映射到输出码字的第一映射函数。生成第一CDF和第二CDF，它们分别表示SDR表示的至少一个颜色通道的码字的累积分布和HDR表示的相应的至少一个颜色通道的码字的累积分布，其中，第一CDF和第二CDF将每个码字与相应的CDF值相关联。基于第一CDF和第二CDF应用累积分布函数匹配，包括将第一CDF的每个码字与第二CDF的码字匹配，第二CDF的所述码字具有与第一CDF的所述码字的CDF值匹配的CDF值，其中，第一CDF的码字限定第一映射函数的输入码字，并且第二CDF的匹配码字限定第一映射函数的输出码字。系统通过H＝T(F(b))的函数分解来确定后向整形函数，其中，H表示确定的第一映射函数，T表示要通过分解来确定的后向整形函数，F表示预整形函数，并且b表示预整形函数的输入。系统生成表示后向整形函数的单通道预测元数据。

在第二实施例中，系统以SDR表示和HDR表示两者接收图像内容。系统访问预整形函数，用于缩放SDR表示的至少一个颜色通道。系统将预整形函数应用于SDR表示的至少一个颜色通道，以获得至少一个预整形颜色通道，用于传输到解码器。系统确定用于将输入码字映射到输出码字的第一映射函数。生成第一CDF和第二CDF，它们分别表示至少一个预整形颜色通道的码字的累积分布和HDR表示的相应的至少一个颜色通道的码字的累积分布，其中，第一和第二CDF将每个码字与相应的CDF值相关联。基于第一CDF和第二CDF应用累积分布函数匹配，包括将第一CDF的每个码字与第二CDF的码字匹配，第二CDF的所述码字具有与第一CDF的所述码字的CDF值匹配的CDF值，其中，第一CDF的码字限定第一映射函数的输入码字，并且第二CDF的匹配码字限定第一映射函数的输出码字。系统基于第一映射函数确定后向整形函数。系统生成表示后向整形函数的单通道预测元数据。

如本文所使用的，术语“整形(reshaping)”是指对HDR图像进行预处理操作(诸如缩放、量化等)，以将其从其原始位深映射到较低或相同位深的图像，从而允许使用现有编码标准和设备进行更加高效的编码。“后向整形”用于描述从SDR到HDR的映射或预处理操作。如本发明人在此理解的，期望可以用于支持各种各样的SDR和HDR显示器和/或解码器设备的显示能力的用于对视频数据进行编码和解码的改进技术。

无预整形的单通道架构

图1示出了根据一个实施例的图像/视频编码器/解码器的示例框图。参考图1，编码器120包括后向整形函数生成器105、元数据生成器107和压缩109。在一个实施例中，编码器120可以是生成元数据(例如，通过使用元数据生成器107)和创建压缩内容(例如，通过使用压缩109)的一个或多个数据处理系统的集合，并且编码器120可以是传输元数据和压缩内容的传输系统的一部分，或者可以耦接到这样的传输系统以允许传输系统接收并可能存储和传输元数据和压缩内容。解码器130包括解压缩111和后向整形函数113。解码器130可以是数据处理系统的一部分，所述数据处理系统是如智能手机、平板电脑或游戏系统等消费者电子设备。解码器130可以通过各种不同的方式(诸如，通过因特网的流媒体或存储在消费者电子设备上的一组一个或多个文件等)接收压缩内容和元数据的传输。在一个实施例中，基于每个场景生成元数据，使得每个场景(参考HDR 101和SDR 103两种格式)具有其自己的元数据集合；在另一个实施例中，可以基于每个图像生成元数据，使得每个图像(诸如参考HDR 101和SDR 103两种格式的相同图像)具有其自己的元数据集合。生成器105可以确定后向整形函数或映射函数以将SDR变换成参考HDR。元数据生成器107可以基于映射函数或后向整形函数生成元数据。压缩109可以基于编解码器方案压缩SDR以生成用于传输的基层信号(诸如基层110)。解压缩111可以解压缩基层信号。解码器130可以使用元数据来构建后向整形函数113以应用于解压缩的基层信号来生成预测的EDR。

例如，参考图1，为了对信号编码，编码器120可以接收SDR 103和参考HDR 101。接收的SDR 103和参考HDR 101可以在通用中间颜色空间中，诸如RGB颜色空间。在一个实施例中，参考HDR 101可以从SDR 103得到或生成，或者可以与SDR 103分开创建。SDR 103和参考HDR 101在由后向整形函数生成器或生成器105接收之前可以被转换到兼容颜色空间(诸如ICtCp颜色空间)中。生成器105基于SDR 103(例如，SDR图像内容)和参考HDR 101(例如，HDR图像内容的表示)生成单通道预测器(例如，没有串色通道的后向整形函数)。元数据生成器107基于单通道预测器映射函数生成元数据以传输到解码器，诸如解码器130。压缩109基于编解码器方案压缩SDR 103以生成基层信号110。压缩信号或基层110被传输到解码器，诸如解码器130。解码器130接收元数据和基层信号110。解压缩111基于编解码器方案来解压缩信号110以重建SDR信号。后向整形函数113接收解压缩的信号并将单通道预测器函数应用于SDR以生成或重建HDR信号。

基于累积分布函数(CDF)的直方图逼近

在一个实施例中，生成器105通过CDF匹配生成单通道预测器。假设

是SDR数据中第l个颜色平面中第j个图像(或帧)的第i个像素值，并且

是参考HDR(或EDR或iDM)数据中第l个颜色平面中第j个图像(或帧)的第i个像素值。假设每个帧中第l个通道的像素数量为P⁽¹⁾。注意，由于不同的色度格式(例如，4:2:0、4:2:2、4:4:4)，亮度和色度可能具有不同的像素数。假设SDR中的位深为SDR_位深，这样SDR中的可能值的数量为N_S＝2^SDR_位深。假设EDR中的位深为IDM_位深，HDR中的可能值的数量为N_E＝2^IDM_位深。在IPT或ITP(例如，ICtCp)域中，将iDM图像的第j帧内的最小值和最大值表示为

和

在IPT或ITP域中，将SDR图像的第j帧内的最小值和最大值表示为

和

假设第l个通道的SDR和iDM的直方图/PDF分别为

和

其中b是仓索引。假设第l个通道的SDR和iDM的累积分布函数(CDF)分别为

和

通过对PDF应用累积和运算，可以从PDF中计算出CDF。假设CDF匹配操作是

假设

(或对于整个范围，

)是将SDR图片映射到iDM图片的后向整形函数。

下表1示出了用于获得直方图传递函数的示例详细算法，所述直方图传递函数用于将一个或多个SDR图像的直方图映射到与所述一个或多个SDR图像相对应的一个或多个目标HDR图像的直方图，所述直方图传递函数可以用作下游设备的后向整形函数以将SDR图像后向整形为与目标HDR图像非常接近的预测HDR图像。

表1

在一个实施例中，对于每对SDR和EDR图像或场景(可以是这两种格式的相同图像或场景)，对于每个颜色通道，生成器105生成单通道预测器。在一个实施例中，单通道预测器是映射函数或后向整形函数。在另一个实施例中，后向整形函数是查找表(LUT)。在另一个实施例中，生成器105为视频的每个帧(或图像)生成单通道预测器。在一些实施例中，限定或指定后向整形函数{T_j,b}的后向整形数据(例如，分析函数、非分析函数、查找表、序列等)可以作为与SDR图像一起传递到下游设备的图像元数据的一部分而包括在内。

在一些实施例中，多项式段集合(例如，表示8段二阶多项式，等等)可用于表示亮度通道的后向整形函数{T_j,b}。在一些实施例中，第二多项式段集合(例如，表示4段二阶多项式，等等)可用于表示色度通道。在一些实施例中，包括多项式系数、主元、偏移等(其限定多项式段集合)的后向整形元数据可以作为与SDR图像一起传递到下游设备的图像元数据的一部分而包括在内。

接收SDR图像和后向整形元数据的下游设备可以使用后向整形元数据来基于每个场景(当元数据基于每个场景时)或基于每个图像(当元数据基于每个图像时)确定或重建后向整形函数。然后，可以将后向整形函数应用于SDR图像以重建HDR图像。

图2A-2C示出了图像的ICtCp颜色空间中SDR和EDR的示例性逆映射函数(或单通道预测器)。对ICtCp(在本文中也称为ITP颜色空间)的描述可以在Rec.ITU-R BT.2100(07/2016)，“用于在生产和国际节目交换中使用的高动态范围电视的图像参数值(Imageparameter values for high dynamic range television for use in production andinternational programme exchange)”中找到，所述文献通过引用并入本文。参考图2A-2C，从逆映射函数中，为TestStill(测试静止)图像绘制颜色通道I、Ct和Cp。在一个实施例中，每个颜色通道(I、CT或Cp)可以由单通道预测器近似。在一个实施例中，每个单通道预测器与可以从特定颜色通道的相应逆映射函数得到的查找表相对应。逆映射函数或后向整形函数可以由后向整形函数生成器(诸如图1的生成器105)生成。逆映射函数或后向整形函数可以简化为具有SDR/HDR对的查找表或映射表，以将SDR码字映射到HDR码字，反之亦然。在另一个实施例中，基于查找表或映射表生成元数据，使得元数据可以与SDR数据一起传输到下游解码器。下游解码器可以从元数据和相应的SDR图像重建HDR图像。在另一个实施例中，当EDR图像不可用时，可以通过聚合数据库内的图片的样本的每个颜色通道的直方图来生成静态整形函数或静态查找表。然后，聚合的直方图可用作如表1所述的基于CDF的直方图逼近的输入iDM直方图以生成(多个)SDR图像的后向整形函数或静态查找表。然后可以从静态查找表中生成元数据。元数据可以应用于相应的(多个)SDR图像以重建HDR图像。

具有预整形的单通道架构

SDR可以直接在IPT或ITP颜色空间中编码。然而，众所周知，现有的编解码器不能很好地编码IPT或ITP信号。此外，SDR信号的可见光强度仅为100尼特，约占可用PQ码字的50％。即，基带量化具有显著的损耗(1比特损耗)。因此，编码效率降低，并且通过直接在ICtCp颜色空间中进行编码，产生条带伪像的可能性更大。为了克服这些低效，通过预整形模块对SDR信号进行预整形，使得预整形的信号可以是编解码器友好的并且可以提高编码效率。

图3A示出了根据一个实施例的编码器的框图。编码器300可以基于图1的编码器120，具有图3A所示的修改。编码器300包括颜色空间转换器301-303、CDF匹配305、预整形函数307、后向整形函数/元数据生成器309和压缩311。颜色空间转换器301-303可以将输入图像(或帧)从一个颜色空间转换到另一个颜色空间(诸如预定的颜色空间，例如ICtCp颜色空间)。CDF匹配305接收两个输入(例如，SDR和HDR)并且可以确定将SDR变换为HDR的映射函数。预整形函数307可以对SDR信号进行预整形。后向整形函数/元数据生成器309可以生成后向整形函数和相应的元数据(例如，元数据313)以传输到下游解码器。压缩311可以基于编解码器方案压缩SDR，以生成基层信号(例如，预整形/压缩的SDR 315)，用于传输到下游解码器。

图3B示出了根据一个实施例的解码器的框图。解码器330包括解压缩/后向整形函数331和可选的显示管理颜色变换器333，在一个实施例中，该显示管理颜色变换器333可以包括如杜比视觉(Dolby Vision)等显示管理系统。解压缩/后向整形函数331对基层信号(诸如预整形/压缩的SDR 315)进行解压缩。后向整形函数331接收元数据313并将单通道预测(由元数据313表示)应用到信号315的解压缩版本上以重建HDR信号。可选地，显示管理颜色变换器333对重建的HDR信号应用3×3矩阵颜色变换来进行颜色校正。变换器333生成重建的HDR 335以显示在目标显示设备上或通过解码器设备显示。

图4A和4B示出了根据一个实施例的从SDR到预测EDR的变换的示例性过程。参考图4A，在过程400中，首先由预整形模块403对输入SDR信号401(例如，

)进行转换(例如，

)，使得预整形信号405(例如，

)对编解码器友好。通过后向整形模块407转换(例如，

)预整形信号405为EDR信号409(例如，

)。参考图4B，在过程410中，由端到端整形模块411转换(例如，

)输入SDR信号401为EDR信号409。预整形模块或函数403和后整形模块或函数407可以如下得到。

预整形函数

将第l个颜色通道的预整形函数表示为

假设

是这个预整形过程之后第l个颜色平面中第j帧处的第i个像素值，即

可以使用后向整形函数

来映射EDR信号，如下所示：

一旦

和

是已知的，可以得到

可以从如上所述的从原始SDR到目标EDR的CDF匹配中得到函数

亮度/色度预整形

如下针对亮度通道和色度通道讨论

的各种实施方式，以便产生更好的信号从而提高压缩效率。公开了亮度(l＝0)预整形函数的两种实施方式：线性拉伸和幂函数。在一个实施例中，可以用线性拉伸函数来缩放输入范围到整个SDR容器范围。线性拉伸的方程式可以如下：

对于第j帧，将

的最大值表示为

并将最小值表示为

在另一个实施例中，输入范围到整个SDR容器范围可以用非线性函数(诸如幂函数)来缩放，如下所示：

对于第j帧将

的最大值表示为

并将最小值表示为

并且α是幂因子值。

在一个实施例中，可以根据SDR中色度动态范围与亮度动态范围之间的比率来重新缩放色度通道(l＝1，2)。例如，可以应用额外比例因子w^(l)来平衡色度通道和亮度通道的比特率分配以提高编码效率。每个通道的动态范围可以表示为：

其中l＝1和2。

假设量化值的中心是mid_range。量化后，第l个颜色通道中的最小值

和最大值

是：

并且

其中l＝1和2。

量化前和量化后的量化斜率被限定为：

其中l＝1和2。

可以通过首先减去SDR域中的最低值然后乘以斜率并且在量化域之后加上最低值来应用量化：

其中l＝1和2

假定预整形函数的每个颜色通道可以表示为线性函数，每个颜色通道可以重写为：

然后可以通过如基于H.264/AVC或H.265/HEVC的压缩等压缩方案使用3通道

图5A是根据一个实施例的SDR信号的示例直方图。图5B是示出了根据一个实施例的使用α＝1.5的幂函数的与图5A相对应的预整形直方图

的示例图。比较图5A和5B，原始SDR信号占据大约一半的码字仓，而预整形信号具有分布的码字仓以占据更多的仓，因此预整形信号是编解码器友好的。

后向整形函数

有几种方式可以构建后向整形函数(例如，

)。在一个实施例中，可以使用CDF匹配方法根据预整形信号

和EDR信号

的直方图来构建后向整形函数

使得

注意，需要准备好预整形信号

才能应用这种方法。

在一个实施例中，通过基于SDR信号(即，没有对其应用预整形的SDR信号)的直方图应用直方图传递算法来构建预整形信号

的直方图。假设第l个通道的SDR和iDM(或EDR)的直方图分别为

和

给定预整形函数

可以应用直方图传递来将SDR的直方图

传递到预整形信号的直方图

下表2示出了应用直方图传递函数来为预整形信号

构建直方图的算法。该算法可以应用于三个颜色通道中的每一个。

表2

给定

和

我们可以基于相应的直方图来构建第l个通道的CDF

和

然后可以基于所构建的CDF而应用CDF匹配来确定后向整形函数

图5C示出了根据一个实施例的通过将CDF匹配应用于图5A的SDR信号和图5B的预整形信号而构建的示例后向整形函数

(亮度通道)。该后向整形函数与预整形信号一起可以用于重建EDR信号。

在另一个实施例中，可以通过直接函数分解(DFD)直接构建

参考图4A和4B，

可以是端到端变换函数。可以从如上所述的从原始SDR到目标EDR的CDF匹配中得到函数

是对SDR信号进行预整形的预整形函数。一旦

和

是已知的，就可以构建

表3示出了应用DFD来确定后向整形函数

的算法。该算法可以应用于三个颜色通道中的每一个。注意，DFD算法的应用不需要预先整形的信号

因此，可以在确定预整形信号的同时或之前应用DFD算法。

表3

图6A和6B示出了根据一个实施例的从SDR到预测EDR的变换的第二示例性过程。参考图6A和6B，过程600和610分别类似于图4A和4B的过程400和410。除了过程600和610包括3×3颜色变换矩阵601。3×3颜色变换矩阵601可以是图3B的颜色变换器333。在一个实施例中，3×3变换矩阵601是显示管理系统的一部分。在一个实施例中，3×3变换矩阵601可以应用于预整形的EDR信号以调整颜色。

参考图6A，预整形函数403

可以被构建成如上所述将SDR信号预整形为编解码器友好的。那么预整形的EDR信号409

是，

其中，

是后向整形函数407，

是预整形信号405，并且

是SDR信号401。3×3颜色变换矩阵601(例如，G_j)可以应用于EDR信号409

其中l＝0、1和2(例如，三个颜色通道)，以生成最终估计的EDR信号603

该信号提供更好的颜色估计来估计EDR信号603。例如，

在这种情况下，

和G_j可以被构建成最小化三个颜色通道的参考EDR信号

(诸如图3A的参考HDR 101)与估计EDR信号603

之间的成本(cost)。

例如，成本可以是对于所有的参考EDR信号和估计EDR信号的对的

与

之间的距离。那么成本函数是：

可以求解或迭代最小化成本函数。例如，假设上标k为迭代次数。那么总成本函数或者要最小化的3×3颜色变换矩阵将是：

且

假设V_j,i和

分别是参考EDR信号(诸如图3A的信号101)和预整形EDR信号(诸如图6A-6B的信号409)的矢量，使得V_j,i和

存储三个颜色通道值，会是：

且

假设V_j和

分别是参考EDR信号和预整形EDR信号的矩阵，使得来自三个通道的所有像素组合在一起成为单个矩阵，会是：

且

的最小二乘解将是：

然后可以通过

的逆矩阵(即

)和参考EDR V_j通过以下公式获得预测的预整形EDR信号(例如，

)：

表4示出了迭代最小化成本函数的示例性算法。注意，CDFM是指累积分布函数(CDF)匹配。

表4

图7A和7B示出了根据一个实施例的从SDR到预测EDR的变换的示例性过程。参考图7A和7B，过程700和710分别类似于图6A和6B的过程600和610，除了在SDR 401被预整形之前，如3×3变换矩阵701等3×3变换矩阵被应用于SDR 401以校正颜色。在另一个实施例中，在SDR信号被预整形之前，2×2变换矩阵被应用于ICtCp颜色空间中的SDR信号以校正两个色度通道的颜色。

图8是示出了根据本发明的一个或多个实施例的方法的流程图，并且该方法可以由如图1的编码器120或图3A的编码器300等编码器设备来执行。方法或过程800可以由处理逻辑装置来执行，所述处理逻辑装置可以包括软件、硬件或其组合。例如，过程800可以由图1的生成器105和107来执行。参考图8，在框801处，处理逻辑装置以SDR表示和HDR表示两者接收图像内容。在框802处，处理逻辑装置确定用于将标准动态范围表示的至少一个颜色通道的码字映射到高动态范围表示的至少一个颜色通道的码字的第一映射函数。在框803处，处理逻辑装置基于第一映射函数生成单通道预测元数据，使得解码器可以随后通过使用元数据重建后向整形函数来从标准动态范围图像渲染或显示预测的高动态范围图像，该后向整形函数用于将标准动态范围图像内容的至少一个颜色通道变换为预测的高动态范围图像的相应的至少一个颜色通道。

过程800进一步包括访问预整形函数，用于缩放SDR表示的至少一个颜色通道。例如，预整形函数可以是预定函数，例如存储在非暂态计算机可读介质上。在另一个示例中，预整形函数基于SDR表示来确定，例如通过SDR表示的缩放。在第一示例中，缩放包括线性缩放，例如使用线性拉伸函数。在第二示例中，缩放包括非线性缩放，例如幂律缩放。

在第一实施例中，确定第一映射函数包括分别生成表示标准动态范围表示的至少一个颜色通道的码字的累积分布和高动态范围表示的相应的至少一个通道的码字的累积分布的第一累积分布函数(CDF)和第二累积分布函数，其中，第一CDF和第二CDF将每个码字与相应的CDF值相关联。确定第一映射进一步包括基于第一CDF和第二CDF应用累积分布函数匹配，包括将第一CDF的每个码字与第二CDF的码字匹配，第二CDF的该码字具有与第一CDF的该码字的CDF值匹配的CDF值，其中，第一CDF的码字限定第一映射函数的输入码字，并且第二CDF的匹配码字限定第一映射函数的输出码字。在第一实施例中，后向整形函数通过H＝T(F(b))的函数分解来确定，其中，H表示上述第一映射函数，T表示将由函数分解来确定的后向整形函数，F表示预整形函数，并且b表示预整形函数的输入。生成表示后向整形函数的单通道预测元数据。

在第一实施例中，第一映射函数将输入码字映射到输出码字。输入码字与第一CDF的码字相对应。输出码字与第二CDF的码字相对应。因此，第一映射函数将SDR表示的至少一个颜色通道的码字映射到HDR表示的相应的至少一个颜色通道的码字。

在第二实施例中，确定第一映射函数包括生成第一累积分布函数(CDF)和第二累积分布函数，所述第一累积分布函数和所述第二累积分布函数分别表示至少一个颜色预整形颜色通道的码字的累积分布和高动态范围表示的相应的至少一个通道的码字的累积分布，其中，第一CDF和第二CDF将每个码字与相应的CDF值相关联。确定第一映射进一步包括基于第一CDF和第二CDF应用累积分布函数匹配，包括将第一CDF的每个码字与第二CDF的码字匹配，第二CDF的所述码字具有与第一CDF的所述码字的CDF值匹配的CDF值，其中，第一CDF的码字限定第一映射函数的输入码字，并且第二CDF的匹配码字限定第一映射函数的输出码字。基于第一映射函数确定后向整形函数。生成表示后向整形函数的单通道预测元数据。

在第二实施例中，第一映射函数将输入码字映射到输出码字。输入码字与第一CDF的码字相对应。输出码字与第二CDF的码字相对应。因此，第一映射函数将至少一个预整形颜色通道的码字映射到HDR表示的相应的至少一个颜色通道的码字。

在示例中，后向整形函数被确定为与第一映射函数相同。在另一个示例中，例如通过对第一映射函数应用平滑和/或剪辑操作从第一映射函数得到后向整形函数。

在另一个实施例中，处理逻辑进一步将标准动态范围表示和高动态范围表示转换到预定颜色空间中，其中，可选地，所述预定颜色空间是IPT颜色空间或IC_TC_P颜色空间。

可选地，从标准动态范围表示中得到高动态范围表示。

在一个实施例中，单通道预测元数据包括用于多通道颜色空间的每个颜色通道的一维查找表，该一维查找表将标准动态范围图像内容映射到相应颜色通道的预测高动态范围图像内容。在另一个实施例中，一维查找表由二阶多项式表示，使得二阶多项式的三个系数用于近似一维查找表的映射。

在另一个实施例中，用于SDR表示的亮度通道的预整形函数包括第一变换，并且用于SDR表示的色度通道的预整形函数包括第二变换，其中第二变换是与第一变换不同的变换。

在另一个实施例中，处理逻辑装置进一步应用颜色空间变换来调整图像帧的颜色。在实施例第一示例中，在标准动态范围表示的至少一个颜色通道被预整形之前，将颜色空间变换应用于标准动态范围表示的至少一个颜色通道。在第二示例中，将颜色空间变换应用于至少一个后向整形的预整形颜色通道以估计HDR表示的相应颜色通道。在进一步的实施例中，处理逻辑装置通过最小化每个颜色通道的高动态范围表示的像素与估计的高动态范围表示的像素之间的距离的成本函数来确定颜色空间变换的参数。

图9示出了可用于实施如图1中的解码器130或图3B中的解码器330等解码器的数据处理系统的示例。本文描述的系统和方法可以在各种不同的数据处理系统和设备中实施，该数据处理系统和设备包括通用计算机系统、专用计算机系统、或者通用计算机系统与专用计算机系统的混合。可以使用本文描述的任何一种方法的数据处理系统包括台式计算机、膝上型计算机、平板计算机、嵌入式电子设备或其他电子设备。

图9是根据实施例的数据处理系统硬件的框图。注意，虽然图9示出了数据处理系统的各种部件，但是并不旨在表示互连所述部件的任何特定架构或方式，因为这些细节与本发明没有密切关系。还应当理解，具有比图9中所示的部件少的部件或者比所示部件多的部件的其他类型的数据处理系统也可以与本发明的一个或多个实施例一起使用。

如图9所示，数据处理系统包括用于互连系统的各种部件的一个或多个总线1309。如本领域中已知的，一个或多个处理器1303耦接到一个或多个总线1309。存储器1305可以是DRAM或非易失性RAM，或者可以是闪速存储器、或其他类型的存储器、或这些存储器设备的组合。使用本领域已知的技术将该存储器耦接到一个或多个总线1309。数据处理系统还可以包括非易失性存储器1307，该非易失性存储器可以是硬盘驱动器、或闪速存储器、或磁光驱动器、或磁存储器、或光驱动器、或甚至在系统断电之后中保存数据的其他类型的存储器系统。非易失性存储器1307和存储器1305都使用已知的接口和连接技术耦接到一个或多个总线1309。显示控制器1322耦接到一个或多个总线1309，以便接收要显示在源显示设备1323上的显示数据。源显示设备1323可以包括集成触摸输入以提供触摸屏。数据处理系统还可以包括一个或多个输入/输出(I/O)控制器1315，该一个或多个输入/输出控制器为一个或多个I/O设备(诸如一个或多个鼠标、触摸屏、触摸板、操纵杆以及其他输入设备(包括本领域已知的那些设备)和输出设备(例如，扬声器))提供接口。调色师可以使用所述一个或多个输入设备来调整一个或多个图像的颜色微调。输入/输出设备1317通过一个或多个I/O控制器1315耦接，如本领域中已知的。

虽然图9示出了非易失性存储器1307和存储器1305直接耦接到所述一个或多个总线而不是通过网络接口进行耦接，但是应当理解，本发明可以利用远离系统的非易失性存储器(诸如通过如调制解调器或以太网接口等网络接口耦接到数据处理系统的网络存储设备)。如本领域所公知的，总线1309可以通过各种桥接器、控制器和/或适配器彼此连接。在一个实施例中，I/O控制器1315包括用于控制USB(通用串行总线)外围设备的USB适配器、用于IEEE 1394兼容外围设备的IEEE 1394控制器、或用于控制Thunderbolt(雷电)外围设备的Thunderbolt控制器中的一个或多个。在一个实施例中，一个或多个网络设备1325可以耦接到(多个)总线1309。(多个)网络设备1325可以是从相机接收图像的有线网络设备(例如，以太网)或无线网络设备(例如，WiFi、蓝牙)等。

从本说明书中显而易见的是，本发明的一个或多个实施例可以至少部分地在软件中实施。即，可以响应于数据处理系统的一个或多个处理器执行包含在存储介质(诸如非暂态机器可读存储介质(例如，DRAM或闪速存储器))中的指令序列而在数据处理系统中执行这些技术。在各种实施例中，硬连线电路可以与软件指令相结合使用来实施本发明。因此，技术不限于硬件电路与软件的任何特定组合，也不限于用于由数据处理系统执行的指令的任何特定源。

在前述说明书中，已经参考本发明的特定示例性实施例描述了本发明。显而易见的是，在不脱离所附权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以对本发明进行各种修改。因此，说明书和附图应被视为具有说明性意义而非具有限制性意义。

可以从以下枚举的示例性实施例(EEE)中理解本发明的各个方面：

1.一种用于生成单通道预测器的方法，所述单通道预测器用于使用标准动态范围图像内容渲染高动态范围图像内容，所述方法包括：

接收标准动态范围图像内容和高动态范围图像内容的表示；

确定用于将所述标准动态范围图像内容映射到所述高动态范围图像内容的所述表示的第一映射函数；以及

基于所述第一映射函数生成单通道预测元数据，使得解码器可以随后通过应用所述元数据将所述标准动态范围图像内容变换为预测的高动态范围图像内容来渲染所述预测的高动态范围图像内容。

2.如EEE 1所述的方法，其中，确定第一映射函数包括：

分别基于所述标准动态范围图像内容和所述高动态范围图像内容的所述表示生成第一累积分布函数(CDF)和第二累积分布函数；以及

基于所述第一CDF和所述第二CDF应用累积分布函数匹配。

3.如EEE 1或2所述的方法，进一步包括将所述标准动态范围图像内容和所述高动态范围图像内容的所述表示转换到预定颜色空间中，并且其中，基于所述标准动态范围图像内容生成所述高动态范围图像内容的所述表示。

4.如任一前述EEE所述的方法，其中，所述元数据包括用于多通道颜色空间的每个颜色通道的一维查找表，所述一维查找表将标准动态范围图像内容映射到相应颜色通道的预测高动态范围图像内容。

5.如EEE 4所述的方法，其中，所述一维查找表由8段二阶多项式表示，使得所述二阶多项式在每一段中的三个系数用于近似所述一维查找表的映射。

6.如任一前述EEE所述的方法，其中，生成元数据包括为所述标准动态范围图像内容的视频记录的每个图像帧生成唯一元数据。

7.如任一前述EEE所述的方法，其中，生成元数据包括为所述标准动态范围图像内容的视频记录的每个场景生成唯一元数据。

8.如任一前述EEE所述的方法，进一步包括：

将第二映射函数应用于所述标准动态范围图像内容，其中，所述第二映射函数表示预整形变换，使得所述标准动态范围图像内容在被传输到解码器之前被预整形；以及

确定表示后向整形函数的第三映射函数，所述后向整形函数将所述预整形的标准动态范围图像内容映射到所述高动态范围图像内容的所述表示，其中，基于所述第三映射函数生成所述单通道预测元数据，使得解码器可以随后通过应用所述元数据将所述预整形的标准动态范围图像内容转换为预测的高动态范围图像内容来渲染所述预测的高动态范围图像内容。

9.如EEE 8所述的方法，其中，应用第二映射函数包括将第一变换应用于所述标准动态范围图像内容的亮度通道。

10.如EEE 9所述的方法，其中，应用第二映射函数包括将第二变换应用于所述标准动态范围图像内容的色度通道，其中，所述第二变换是与所述第一变换不同的变换。

11.如EEE 8或9所述的方法，其中，确定第三映射函数包括基于所述高动态范围图像内容的所述表示的CDF和所述预整形的标准动态范围图像内容的CDF来匹配累积分布函数。

12.如EEE 11所述的方法，其中，从所述预整形的标准动态范围图像内容的概率分布函数(PDF)生成所述预整形的标准动态范围图像内容的CDF，其中，通过以下方式为每个颜色通道的每个通道码字生成所述预整形的标准动态范围图像内容的PDF：将所述通道码字处的所述标准动态范围图像内容的PDF值移位到与所述通道码字和所述通道码字处的所述第二映射函数的乘积相对应的通道码字。

13.如EEE 8至12中任一项所述的方法，其中，确定第三映射函数包括基于所述第一映射函数和所述第二映射函数应用函数分解，其中，所述第一映射函数被分解成所述第二映射函数和所述第三映射函数。

14.如EEE 13所述的方法，其中，应用函数分解包括：

基于所述通道码字和所述第一映射函数确定第四映射函数，以及基于所述通道码字和所述第二映射函数确定第五映射函数；

基于所述通道码字、所述第四映射函数和所述第五映射函数，通过线性插值来确定每个颜色通道的每个通道码字的系数，以表示第三传递函数，使得可以在没有所述预整形的标准动态范围图像内容的情况下确定所述第三映射函数。

15.如EEE 8至14中任一项所述的方法，进一步包括应用颜色空间变换来调整所述标准动态范围图像内容的图像帧的颜色。

16.如EEE 15所述的方法，其中，在所述标准动态范围图像内容被预整形之前，将所述颜色空间变换应用于所述标准动态范围图像内容。

17.如EEE 15所述的方法，其中，将所述颜色空间变换应用于后向整形的预整形标准动态范围图像内容以估计高动态范围图像内容。

18.如EEE 17所述的方法，进一步包括基于所述高动态范围图像内容和所述估计的高动态范围图像内容的表示来最小化成本函数。

19.如EEE 18所述的方法，其中，通过减小与每个颜色通道的高动态范围图像内容和估计的高动态范围图像内容的表示相对应的每个像素的距离来最小化所述成本函数。

20.一种非暂态机器可读介质，所述非暂态机器可读介质存储有指令，所述指令当由数据处理系统执行时使所述系统执行如EEE 1至19中任一项所述的方法。

21.一种数据处理系统，所述数据处理系统包括存储器和处理器，所述处理器被配置为执行如EEE 1至19中任一项所述的方法。

Claims (13)

1.一种用于生成单通道预测元数据的方法，所述单通道预测元数据用于从标准动态范围SDR图像渲染预测高动态范围HDR图像，使得解码器能够随后通过使用所述单通道预测元数据重建后向整形函数来渲染所述预测HDR图像，所述后向整形函数用于将所述SDR图像的至少一个颜色通道变换为所述预测HDR图像的相应的至少一个颜色通道，所述方法包括：

接收图像内容，所述图像内容是以SDR表示和HDR表示两者被接收的；

访问预整形函数，所述预整形函数用于缩放所述SDR表示的所述至少一个颜色通道；

将所述预整形函数应用于所述SDR表示的所述至少一个颜色通道，以获得至少一个预整形颜色通道，用于传输到所述解码器；

确定用于将输入码字映射到输出码字的第一映射函数，包括：

生成第一累积分布函数(CDF)和第二累积分布函数，所述第一累积分布函数和所述第二累积分布函数分别表示所述SDR表示的所述至少一个颜色通道的码字的累积分布和所述HDR表示的所述相应的至少一个颜色通道的码字的累积分布，其中，所述第一CDF和所述第二CDF将每个码字与相应的CDF值相关联；以及

基于所述第一CDF和所述第二CDF应用累积分布函数匹配，包括将所述第一CDF的每个码字与所述第二CDF的码字匹配，所述第二CDF的所述码字具有与所述第一CDF的所述码字的CDF值匹配的CDF值，其中，所述第一CDF的码字限定所述第一映射函数的输入码字，并且所述第二CDF的匹配码字限定所述第一映射函数的输出码字；

通过H＝T(F(b))的函数分解来确定所述后向整形函数，其中，H表示所述所确定的第一映射函数，T表示要通过所述分解来确定的所述后向整形函数，F表示所述预整形函数，并且b表示所述预整形函数的输入；以及

生成表示所述后向整形函数的所述单通道预测元数据。

2.一种用于生成单通道预测元数据的方法，所述单通道预测元数据用于从标准动态范围SDR图像渲染预测高动态范围HDR图像，使得解码器能够随后通过使用所述单通道预测元数据重建后向整形函数来渲染所述预测HDR图像，所述后向整形函数用于将所述SDR图像的至少一个颜色通道变换为所述预测HDR图像的相应的至少一个颜色通道，所述方法包括：

接收图像内容，所述图像内容是以SDR表示和HDR表示两者被接收的；

访问预整形函数，所述预整形函数用于缩放所述SDR表示的所述至少一个颜色通道；

将所述预整形函数应用于所述SDR表示的所述至少一个颜色通道，以获得至少一个预整形颜色通道，用于传输到所述解码器；

确定用于将输入码字映射到输出码字的第一映射函数，包括：

分别基于所述至少一个预整形颜色通道的码字的累积分布和所述HDR表示的所述相应的至少一个颜色通道的码字的累积分布生成第一累积分布函数(CDF)和第二累积分布函数，其中，所述第一CDF和所述第二CDF将每个码字与相应的CDF值相关联；以及

基于所述第一CDF和所述第二CDF应用累积分布函数匹配，包括将所述第一CDF的每个码字与所述第二CDF的码字匹配，所述第二CDF的所述码字具有与所述第一CDF的所述码字的CDF值匹配的CDF值，其中，所述第一CDF的码字限定所述第一映射函数的输入码字，并且所述第二CDF的匹配码字限定所述第一映射函数的输出码字；

基于所述第一映射函数确定所述后向整形函数；以及

生成表示所述后向整形函数的所述单通道预测元数据。

3.如权利要求1或2所述的方法，其中，所述SDR表示的亮度通道的预整形函数包括第一变换，并且所述SDR表示的色度通道的预整形函数包括第二变换，其中，所述第二变换是与所述第一变换不同的变换。

4.如权利要求1或2所述的方法，进一步包括：将所述SDR表示和所述HDR表示转换到预定颜色空间中。

5.如权利要求4所述的方法，其中，所述预定颜色空间是IPT颜色空间或IC_TC_P颜色空间。

6.如任一前述权利要求所述的方法，其中，所述单通道预测元数据包括用于多通道颜色空间的每个颜色通道的一维查找表，所述一维查找表将SDR图像内容映射到相应颜色通道的预测HDR图像内容。

7.如权利要求6所述的方法，其中，所述一维查找表由8段二阶多项式表示，使得所述二阶多项式在每一段中的三个系数用于近似所述一维查找表的映射。

8.如权利要求1至7中任一项所述的方法，进一步包括：应用颜色空间变换来调整图像帧的颜色。

9.如权利要求8所述的方法，其中，在将所述预整形函数应用于所述SDR表示的所述至少一个颜色通道之前，将所述颜色空间变换应用于所述SDR表示的所述至少一个颜色通道。

10.如权利要求8所述的方法，其中，将所述颜色空间变换应用于至少一个后向整形的预整形颜色通道，以估计所述HDR表示的所述相应颜色通道。

11.如权利要求10所述的方法，进一步包括：通过最小化每个颜色通道的HDR表示的像素与估计的HDR表示的相应像素之间的距离的成本函数来确定所述颜色空间变换的参数。

12.一种非暂态机器可读介质，所述非暂态机器可读介质存储有指令，所述指令当由数据处理系统执行时使所述系统执行如权利要求1至11中任一项所述的方法。

13.一种数据处理系统，所述数据处理系统包括存储器和处理器，所述处理器被配置为执行如权利要求1至11中任一项所述的方法。

Images