CN112714923B

CN112714923B - 用于图像元数据优化的方法

Info

Publication number: CN112714923B
Application number: CN201980060937.9A
Authority: CN
Inventors: H·卡杜; 苏冠铭
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2018-09-19
Filing date: 2019-09-18
Publication date: 2022-03-11
Anticipated expiration: 2039-09-18
Also published as: EP3853810B1; KR102380164B1; WO2020061172A1; US20210350512A1; EP3853810A1; US11430095B2; KR20210046086A; CN112714923A

Abstract

评估不同的候选图像数据特征类型以识别一种或多种特定图像数据特征类型，以用于训练用于优化一个或多个图像元数据参数的预测模型。从一个或多个图像中提取一种或多种所选图像数据特征类型的多个图像数据特征。将所述一种或多种所选图像数据特征类型的所述多个图像数据特征简化为多个重要图像数据特征。所述多个重要图像数据特征中的图像数据特征的总数不大于所述一种或多种所选图像数据特征类型的所述多个图像数据特征中的图像数据特征的总数。将所述多个重要图像数据特征应用于训练用于优化一个或多个图像元数据参数的预测模型。

Description

用于图像元数据优化的方法

相关申请的交叉引用

本申请要求于2018年9月19日提交的美国临时专利申请号62/733,217和2018年9月19日提交的欧洲专利申请号18195471.0的优先权，所述专利申请中的每一个均通过援引以其全文特此并入。

技术领域

本发明总体上涉及图像。更具体地，本发明的实施例涉及用于游戏和/或SDR加(SDR+)视频内容的自动显示管理(DM)元数据生成。

背景技术

如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度范围(例如光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个或更多数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，EDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR可能稍微窄一些，但EDR可以表示宽DR阔度并且也可以被称为HDR。

实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n比特的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24比特JPEG图像)被视为标准动态范围的图像，而其中n＞8的图像可以被视为增强动态范围的图像。

给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，ITURec.ITU-R BT.1886年，“Reference electro-optical transfer function for flatpanel displays used in HDTV studio production(HDTV工作室制作中使用的平板显示器的参考电光传递函数)”(2011年3月)限定了平板显示器的参考EOTF，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其EOTF的信息可以作为(图像)元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。

如本文所使用的术语“PQ”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：在观看刺激物的特定时刻眼睛所适应的光亮度水平、刺激物的光亮度、刺激物的大小以及构成刺激物的空间频率。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在SMPTE ST 2084:2014“High Dynamic RangeEOTF of Mastering Reference Displays(母版制作参考显示器的高动态范围EOTF)”(下文称为“SMPTE”)中描述了示例PQ映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该光亮度水平处的最小可见对比度步长。

支持200至1,000cd/m²或尼特的光亮度的显示器代表了与EDR(或HDR)相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。EDR内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的EDR显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000或更高尼特)的替代EOTF来限定。SMPTE中定义了这种EOTF的示例。如本发明人在此理解的，期望可以用于支持各种SDR和HDR显示设备的显示能力的用于对视频数据进行编码和解码的改进技术。

在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。US 2015/0220813 A1公开了提供一组预调整图像，该组预调整图像包括预调整图像的源图像，这些预调整图像包括图像滤波器参数。US 2015/0220813A1进一步公开了计算每个源图像的直方图信息，并且将学习算法应用于该组预调整图像。US 2015/0220813 A1公开了学习算法被配置用于将直方图信息映射到图像滤波器参数，并且基于直方图信息到图像滤波器参数的映射来处理实时图像。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：

图1描绘了视频传输流水线的示例过程；

图2A图示了示例预测模型和特征选择系统；图2B图示了示例反向映射生成和应用系统；

图3A和图3B描绘了在预测阶段和测试阶段中L2参数的预测值与相同L2参数的对应的调色师手动生成的值之间的相关性；图3C描绘了样本点的预测值与样本点的对应的调色师手动生成的值之间的相关性；

图4A和图4B图示了示例过程流程；以及

图5图示了示例硬件平台的简化框图，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。

具体实施方式

本文描述了用于游戏和/或SDR+视频内容的自动DM元数据生成。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。

概述

本文描述的示例实施例涉及图像元数据优化。评估一组一个或多个不同的候选图像数据特征类型以识别一种或多种特定图像数据特征类型，以在用于优化一个或多个图像元数据参数的预测模型中使用。从一个或多个图像中提取一种或多种所选图像数据特征类型的多个图像数据特征。将所述一种或多种所选图像数据特征类型的所述多个图像数据特征简化为多个重要图像数据特征。所述多个重要图像数据特征中的图像数据特征的总数不大于所述一种或多种所选图像数据特征类型的所述多个图像数据特征中的图像数据特征的总数。将所述多个重要图像数据特征应用于训练用于优化一个或多个图像元数据参数的预测模型。

本文描述的示例实施例涉及图像元数据优化。确定多组训练图像和一个或多个图像元数据参数的多组目标值。所述多组目标值中的每组目标值对应于所述多组训练图像中的相应组一个或多个训练图像。从所述多组训练图像中提取一种或多种所选图像数据特征类型的多组图像数据特征。所述多组图像数据特征中的每组图像数据特征对应于所述多组训练图像中的相应组一个或多个训练图像。应用所述一种或多种所选图像数据特征类型的所述多组图像数据特征和所述一个或多个图像元数据参数的所述多组目标值，以训练用于优化所述一个或多个图像元数据参数的一个或多个预测模型。所述一个或多个预测模型用于为一个或多个非训练图像生成用于所述一个或多个图像元数据参数的一个或多个优化值。使所述一个或多个图像元数据参数的所述一个或多个优化值用于渲染所述一个或多个非训练图像。

示例视频传输处理流水线

图1描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获/生成到HDR或SDR显示的各个级。示例HDR显示器可以包括但不限于与游戏设备、HDR电视、移动设备、家庭影院等结合使用的图像显示器。示例SDR显示器可以包括但不限于SDR电视、移动设备、家庭影院等。

使用图像生成块(105)来捕获或生成视频帧(102)。视频帧(102)可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据(107)。替代性地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在一些实施例中，可以在将视频数据(107)传递到视频传输流水线(100)中的下一个处理级/阶段之前(例如，在无人工输入的情况下自动地、手动地、在人工输入的情况下自动地)将其编辑为图像序列。

视频数据(107)可以包括SDR或HDR视频内容(诸如游戏视频内容、SDR+视频内容等)以及图像元数据，所述图像元数据可以由视频传输流水线(100)下游的接收方设备用来对SDR或HDR视频内容的解码版本执行图像处理操作。

示例HDR视频内容可以是但不一定仅限于与视频游戏等相关的HDR图像。示例SDR视频内容可以是但不一定仅限于SDR+视频内容、SDR图像、SDR电影发行、SDR+图像、SDR媒体节目等。

如本文所使用的，术语“SDR+”表示SDR图像数据和元数据的组合，当这些元数据组合在一起时允许生成对应的HDR图像数据。SDR+元数据可以包括用于生成后向整形函数的数据，所述函数在应用于输入SDR图像时会生成对应的HDR图像。SDR+图像允许与传统SDR显示器后向兼容，这些显示器可以忽略SDR+元数据，而仅显示SDR图像。

与HDR视频内容和/或SDR视频内容一起传输到接收方设备的图像元数据还可以包括根据本文所描述的技术生成的DM元数据。DM元数据可以用于执行DM操作，以从HDR视频内容中的HDR图像和/或从通过对SDR视频内容中的SDR图像进行后向整形所生成的HDR图像来生成显示图像。

通过说明而非限制的方式，将视频数据(107)(例如，在编辑等之后)提供给处理器以用于自动DM元数据生成(115)。自动DM元数据生成(115)可以包括在没有或很少人机交互的情况下执行DM元数据的自动生成。自动生成的DM元数据可以由接收方设备用来调整或修改视频数据(107)中的图像(例如，SDR图像、HDR图像等)的颜色或亮度，以增强图像质量或实现图像的特定外观。自动DM元数据生成(115)可以服务于(例如，完全、部分等)调色师的一些或所有手动操作的功能，这些手动操作被称为“颜色调整(color timing)”或“颜色分级(color grading)”。因此，代替使用密集的手动调色师操作，在本文描述的技术下的自动DM元数据生成(115)可以自动(例如，无需调色师输入、无需用户输入等)生成用于视频数据(107)的DM元数据。

编码块(120)接收视频数据(107)、自动生成的DM元数据(177)和其他图像元数据；并将视频数据(107)以及自动生成的DM元数据(177)、其他图像元数据等一起编码为编码比特流(122)。示例编码比特流可以包括但不一定限于单层视频信号等。在一些实施例中，编码块(120)可以包括音频和视频编码器(诸如由ATSC、DVB、DVD、Blu-Ray和其他传输格式定义的那些)以生成编码比特流(122)。

然后，将编码比特流(122)向下游传输到如游戏设备、解码和回放设备、媒体源设备、媒体流客户端设备、电视机(例如，智能电视等)、机顶盒、电影院等接收器。在接收器(或下游设备)中，解码块(130)对编码比特流(122)进行解码以生成经解码图像182，所述经解码图像可以类似于或与以视频数据(107)表示的图像(例如，SDR图像、HDR图像)相同，但会经受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中生成的量化误差的影响。

在非限制性示例中，以编码比特流(122)表示的视频信号可以是HDR视频信号，例如，用游戏视频内容和图像元数据(包括但不限于自动生成的DM元数据(177))进行编码。下游解码器(或与解码器结合操作的客户端设备)可以使用自动生成的DM元数据(177)对从编码比特流(122)解码的HDR图像执行显示管理操作，以生成用于在HDR显示设备上渲染而优化的显示图像，所述HDR显示设备可以具有或可以不具有与参考HDR显示设备相当的显示能力，包括编码块(120)的视频编码器针对所述参考HDR显示设备对HDR图像进行了优化。

在另一个非限制性示例中，以编码比特流(122)表示的视频信号可以是后向兼容的SDR视频信号(例如，SDR+视频信号等)。在此，“后向兼容视频信号”可以指承载针对SDR显示器进行了优化的SDR图像的视频信号。

在一些实施例中，由编码块(120)输出的编码比特流(122)可以表示嵌入有图像元数据的输出SDR视频信号(例如，SDR+视频信号等)，所述图像元数据包括但不限于后向整形元数据(或合成器元数据)、逆色调映射元数据、逆DM元数据等、自动生成的DM元数据(177)等。后向整形元数据包括后向整形映射，所述后向整形映射可由下游解码器用来对从编码比特流(122)解码的SDR图像(例如，SDR+图像等)执行后向整形，以便生成用于在HDR参考显示器上渲染的后向整形图像。在一些实施例中，可以至少部分地基于后向整形元数据使用实施后向整形映射(或逆色调映射)的一个或多个SDR到HDR转换工具来从经解码的SDR图像生成后向整形图像。

如本文所使用的，后向整形是指将重新量化的图像转换回原始EOTF域(例如，伽玛、PQ、混合对数伽玛或HLG等)以进行进一步的下游处理(如显示管理)的图像处理操作。示例后向整形操作在2015年3月20日提交的美国临时申请序列号62/136,402(还公布于2018年1月18日，作为美国专利申请公开序列号2018/0020224)中进行了描述，所述申请的整个内容如本文充分阐述的那样通过引用并入本文。

另外，可选地或可替代地，图像元数据中的自动生成的DM元数据(177)可以由下游解码器用来对后向整形图像执行显示管理操作，以生成针对在HDR参考显示设备或其他显示设备(如非参考HDR显示设备等)上进行渲染而优化的显示图像(例如，HDR显示图像等)。

在接收器与支持标准动态范围或与标准动态范围相当或小于标准动态范围的相对窄动态范围的目标显示器140一起操作(或附接到所述目标显示器)并且经解码图像(182)是SDR图像的操作场景中，接收器可以直接或间接地在目标显示器(140)上渲染经解码的SDR图像。

在接收器与支持高动态范围(例如，400尼特、1000尼特、4000尼特、10000尼特或更高等)的HDR目标显示器140-1一起操作(或附接到所述目标显示器)并且经解码图像(182)是SDR图像的操作场景中，接收器可以从编码比特流(122)(例如，其中的元数据容器)中提取合成器元数据，并使用合成器元数据来合成HDR图像(132)，所述HDR图像可以是通过基于合成器元数据对SDR图像进行后向整形而生成的后向整形图像。另外，接收器可以从编码比特流(122)中提取自动生成的DM元数据，并基于自动生成的DM元数据对HDR图像(132)应用DM操作(135)，以生成针对在HDR目标显示设备(140-1)上渲染而优化的显示图像(137)，并在HDR目标显示设备(140-1)上渲染显示图像(137)。

在接收器与支持高动态范围(例如，400尼特、1000尼特、4000尼特、10000尼特或更高等)的HDR目标显示器140-1一起操作(或附接到所述目标显示器)并且经解码图像是HDR图像(图1的132，游戏视频内容等)的操作场景中，接收器可以从编码比特流中提取自动生成的DM元数据(122)，并基于自动生成的DM元数据对HDR图像(132)应用DM操作，以生成针对在HDR目标显示设备(140-1)上渲染而优化的显示图像(137)，并在HDR目标显示设备(140-1)上渲染显示图像(137)。

特征选择、特征修剪和预测模型选择

基于通过调色师的手动输入生成的图像元数据，可以显著提高图像的图像质量。然而，调色师操作可能会非常耗时，并且在大多数情况下(即使不是全部情况下)只能在离线状态下执行。本文所描述的技术可以用于自动生成显示管理元数据(包括但不限于L2元数据、按照行业标准(如ACES)的元数据参数、按照专有规范/设计的元数据参数等)，其等效于或模拟了调色师生成的图像元数据，目的是在无需调色师输入或很少调色师输入的情况下提高图像的图像质量。如本文所使用的，术语“L2元数据”提供和/或描述关于视频特性调整的信息，这些信息源自或追溯到由主管、颜色分级者、视频专业人员等在制作工作室中借助具有参考动态范围的参考显示器进行的调整。元数据S、O和P分别是L2或“修整处理(trim-pass)”元数据的示例。例如，给定输入Yi和SOP元数据，修整处理的输出可以表示为f_trim(Y_i)＝(S·Y_i+O)^P。

如本文所描述的技术所使用的训练和测试数据可以存储在诸如训练和测试数据库等数据存储库中。在一些实施例中，训练和测试数据库可以包括由调色师通过颜色调整或分级生成的多个HDR图像(例如，3600个EDR图像等)和L2元数据(用于提高多个HDR图像的图像质量)。以举例而非限制的方式，L2元数据可以以带外表示，也可以与XML文件中的HDR图像分开存储在数据库中。

在一些实施例中，训练和测试数据库可以包括数千、成千上万等个图像帧。训练数据(或训练数据集)可以包括所有图像帧的相对较高的百分比，如75％、80％、90％等，而测试数据(或测试数据集)可以包括所有图像帧中的除训练数据中的图像之外的其余部分。

可以基于(训练和测试数据库中的)训练数据来训练自动预测方法/算法/程序/模型，所述训练数据包括HDR图像和目标图像元数据(用作真实数据(ground truth)或标签)，如XML文件的L2元数据。如本文所描述的自动DM元数据/参数预测包括对(多个)预测模型和要应用于训练(多个)预测模型的图像数据特征(例如，完整的图像数据特征、修剪的图像数据特征等)的选择。如本文所描述的，并入预测模型中(或应用于训练预测模型)的示例图像数据特征可以包括但不一定仅限于3D(颜色)直方图。可以使用各种不同的预测(回归)算法。要与如本文所描述的预测模型一起实施的示例预测算法可以包括但不一定仅限于以下任何一个：参数化预测方法，如广义线性预测(GLM)、神经网络回归(NNR)等；非参数化预测方法，如高斯过程回归(GPR)；等等。

对于其中HDR图像可用于编码成编码比特流(例如，图1的122等)的游戏应用，可以应用预测算法来直接预测HDR图像的L2元数据/参数。

对于其中HDR图像不能直接获得、但诸如SDR+图像等SDR图像(例如，SDR图像加上合成器元数据等)可直接用于编码成编码比特流(例如，图1的122等)的显示应用，通过后向整形将SDR图像转换为对应的HDR图像(例如，利用(多个)预测模型进行训练、测试和/或预测)是计算密集型的。本文所描述的技术可以用于避免或最小程度地使用这种SDR-HDR图像转换操作。可以使用一种或多种不同的方式/方法(如特征传递、反向映射等)来从其中表示可用图像的SDR域中预测L2元数据/参数。

图2A图示了用于特征选择、特征修剪和预测模型选择的示例预测模型和特征选择系统200。所述系统(200)可以单独地但与视频传输流水线(100)结合地操作。另外，可选地或可替代地，系统(200)可以被实施为视频传输流水线(100)的一部分。系统(200)可以由一个或多个计算处理器来实施，如以下一个或多个：视频编码器、视频编解码器、视频解码器、视频转码器、视频流式传输服务器、游戏机、视频广播服务器等。在一些实施例中，系统(200)包括三个主要系统块或级中的一些或全部。

在第一块或级(202)中，选择用于预测的候选图像数据特征。示例候选图像数据特征可以包括但不一定仅限于以下任何一个：一维(1D)直方图(例如，128个仓、亮度直方图、色度直方图等)、原始线性直方图(例如，线性强度/亮度值等)、对数直方图(例如，对数强度/亮度值等)、二元直方图(例如，0表示像素计数为零的仓并且1表示像素计数非零的仓，例如，0表示像素计数低于像素计数阈值的仓并且1表示像素计数不低于像素计数阈值的仓等)、三维(3D)直方图(例如，亮度和/或色度码字的163、323个仓/立方体等)、亮度域中的标准差、亮度域中的颜色饱和度、亮度-色度组合1D直方图等等。

在第二块或级(204)中，从候选图像数据特征中修剪掉不太有效的特征，以减少预测所涉及的维度，从而降低计算成本。在一些实施例中，可以对用于计算候选特征的原始数据进行预处理、汇总、修剪和/或简化。可以从在第一级(202)中识别的候选图像数据特征中删除作为一些或所有不太有效的特征的低出现率特征。为了减少预测的维数，可以对训练图像数据和/或其得到的版本执行变换，以生成(多个)变换域中的特征。为了减少预测的维数，可以对候选特征执行主成分分析(PCA)。

在第三块或级(206)中，基于在修剪掉不太有效的特征之后从候选图像数据特征中最终选择的特征来执行一种或多种预测方法。可以从各种预测方法中选择一种或多种预测方法，诸如以下各项的任意组合：参数化预测方法，如广义线性预测(GLM)、神经网络回归(NNR)等；非参数化预测方法，如高斯过程回归(GPR)；等等。

如本文所描述的预测方法/算法/程序/模型可以应用于预测给定DM元数据参数(例如，SOP参数之一，其中，S代表用于调整色调映射曲线/函数的斜率，O代表用于调整曲线/函数的偏移量，P代表用于调整曲线/函数的幂等)的值。可以通过两个输入向量a和b的相关性来测量DM元数据参数的值的预测性能，这两个输入向量分别表示调色师手动生成的DM元数据参数值和DM元数据参数的预测值。

更具体地，输入向量a包括向量分量(表示为a_i，其中i是1到N之间的整数)，该向量分量表示从训练和测试数据库中的测试数据中可获得的N个测试图像的DM元数据参数的相应的调色师手动生成的值(例如，标签、真实数据等)。

输入向量b包括向量分量(表示为b_i，其中i是1到N之间的整数)，该向量分量表示从训练和测试数据库中的测试数据中可获得的N个测试图像的相同DM元数据参数的相应预测值。

输入向量a和b的相关性(表示为ρ(a，b))可以给出如下：

其中，μ_A和σ_A表示由输入向量a表示的DM元数据参数的调色师手动生成的值的平均值和标准差；其中，μ_B和σ_B表示由输入向量b表示的DM元数据参数的预测平均值和预测标准差。

根据如图2A所示预测模型和特征选择系统(200)的系统块或级(202-206)，可以确定(例如，最终、中间等)所选特征和(多种)预测方法的最佳组合(例如，基于通过与调色师手动生成的值的相关性而确定的性能来选择)。示例最佳组合可以包括但不一定限于以下中的一些或全部：删除了低出现率的仓/立方体(例如，像素计数<1000等)的3D对数直方图(例如323个仓、log 10域等)、基于GPR的预测方法/算法/过程等。

例如，与在许多非限制性实施例中考虑的许多其他图像数据特征相比，可以发现诸如log 10域中的3D直方图等图像数据特征能够实现更好的预测结果。还发现使用高出现率(例如，选择具有高于(多个)出现率阈值的高出现率的仓/立方体等)来减少维度比PCA稍微更有效。与使用来自3D直方图的相对较少的立方体相比，使用来自3D直方图的相对较多的立方体(例如300、400等)可以产生稍微更好的结果。与其他预测方法/算法/过程相比，基于GPR的预测方法/算法/过程产生的自动生成的DM参数值与(多个)调色师手动生成的DM参数值具有相对较高的相关性。例如，相比之下，具有相对较小大小的训练和测试数据的NNR产生的自动生成的DM参数值与调色师手动生成的DM参数值具有较低相关性(例如，低于0.5等)。

通过说明而非限制的方式，可以通过一个或多个示例最佳组合来描述特征选择、降维和特征修剪、预测训练等，所述一个或多个示例最佳组合可以包括但不一定限于以下任何一个：(多个)3D立方体直方图和/或亮度-色度组合1D直方图作为预测的所选特征、高频立方体选择作为降维方法、GPR作为最佳预测模型等。

可以基于特征向量的计算效率和相对于图像数据特征的预测准确度来选择用于估计/预测L2元数据/参数的图像数据特征。在本示例中，3D直方图和/或亮度-色度组合1D直方图可以用作用于如下训练GPR模型的可靠图像数据特征。

单图像元数据/参数预测

在一些实施例中，针对输入3颜色分量(或通道)视频信号中的输入图像(或图像帧)序列，可以通过将输入视频信号或其中的输入图像划分为颜色空间的每个维度(例如，每个颜色分量、每个颜色通道等)的M个仓来生成/得到3D直方图序列。3D直方图序列中的每个3D直方图可以对应于输入图像序列中的相应输入图像，或者可以针对输入图像序列中的相应输入图像而生成。在此，M是一个正整数，表示在3D直方图中的细分(或1D仓)的总数，如本文针对颜色空间的每个这样的维度(例如，每个这样的颜色分量、每个这样的颜色通道等)所描述的。每个3D直方图可以总共由M³个立方体(或3D仓)构成。

在预测模型的训练阶段中，输入视频信号可以表示训练视频信号，其包括训练图像/帧序列作为如前所述的输入图像序列。在预测模型的测试阶段中，输入视频信号可以表示测试视频信号，其包括测试图像/帧序列作为如前所述的输入图像序列。在预测模型的应用阶段中，输入视频信号可以表示要预测的视频信号，其包括要基于经训练和测试的预测模型来预测的图像/帧序列作为如前所述的输入图像序列。

在各种实施例中，根据如本文所描述的技术的预测模型可以离线训练和/或测试、事先训练和/或测试、在将预测模型应用于非训练非测试输入图像的同时进行训练和/或测试等等。

以举例而非限制的方式，在颜色空间的这3个颜色分量(或颜色通道)中，图像(或图像帧)的像素值包括表示为“y”的亮度颜色分量(或亮度颜色通道)和表示为“c0”和“c1”的两个色度颜色分量(或色度颜色分量)。

仅出于说明的目的，输入图像序列包括F个输入图像(例如，训练图像、测试图像、要预测的图像等)，其中，F是表示输入图像序列的输入图像总数的正整数。

第j个图像的第i个像素值

可以映射到索引为(α_ji，β_ji，γ_ij)的立方体，其中

第j个3D直方图中的每个3D立方体(表示为

)是表示F个图像中的第j个图像的输入像素值的特定立方体范围的三元组——在与M进行模运算或量化后，可以将其用作每个这样的3D立方体的索引。将图像中的像素总数表示为P。可从训练和测试数据库中获得的F个图像中的第j个图像的像素可以基于像素的像素值(如以第j个图像表示的)计入第j个3D直方图中的其对应3D立方体中。

在以下表1中示出了用于生成3D直方图和其中的3D立方体的示例程序/方法。仅出于说明的目的，已经描述了3D直方图可以是基于帧的。例如，可以从对应的第j个图像构建3D直方图(如第j个3D直方图)。应当注意，在其他实施例中，3D直方图可以不是基于帧的。例如，3D直方图可以是基于场景的(可以从表示对应的第j个场景的一组图像构建3D直方图(如第j个3D直方图))，这取决于是应当训练、测试和/或预测单个图像/帧还是单个(例如，整个等)场景。

表1

在以下表2中示出了用于在log 10域中生成3D直方图和其中的3D立方体的示例程序/方法。

表2

针对相同的F个图像，代替或除了计算3D直方图之外，还可以通过级联亮度和色度通道的1D直方图来构建亮度-色度组合1D直方图序列。亮度-色度组合1D直方图序列中的每个亮度-色度组合1D直方图可以对应于输入图像序列中的相应输入图像，或者可以针对输入图像序列中的相应输入图像生成。

可以将(例如，图像、场景等的)亮度通道划分为M_y个仓。可以将(例如，图像、场景等的)两个色度通道分别划分为M_c0和M_c1个仓。第j个图像的第i个像素值

将被映射到索引为(α_ji，β_ji，γ_ij)的仓，如下所示：

并且

可以通过首先计数每个仓中的像素数、然后将其组合或级联为亮度色度组合1D直方图来构建三个单独的1D直方图(每个颜色通道一个)。

在以下表3中示出了用于生成亮度-色度组合1D直方图(表示为

)和其中的1D仓的示例程序/方法。仅出于说明的目的，已经描述了亮度-色度组合1D直方图可以是基于帧的。例如，可以从对应的第j个图像构建亮度-色度组合1D直方图(如第j个亮度-色度组合1D直方图)。应当注意，在其他实施例中，亮度-色度组合1D直方图可以不是基于帧的。例如，亮度-色度组合1D直方图可以是基于场景的(可以从表示对应的第j个场景的一组图像构建亮度-色度组合1D直方图(如第j个亮度-色度组合1D直方图))，这取决于是应当训练、测试和/或预测单个图像/帧还是单个(例如，整个等)场景。

表3

3D直方图中的各个3D立方体和亮度色度组合1D直方图中的各个1D仓表示用于预测的候选特征。然而，与一些其他候选特征或一些其他基础3D立方体和一些其他1D仓相比，一些候选特征或一些基础3D立方体和一些1D仓可能并不重要。删除不重要的特征有助于减少要构造用于训练、测试、预测等的特征向量的维度。

在一些实施方式的示例中，亮度色度组合1D直方图特征中的维度总数远小于3D直方图的维度总数。可以执行或可以不执行降维以从用于预测的特征向量中识别和删除不重要的候选特征或基础1D仓。

以下表4中示出了3D直方图中降维的示例程序。在所述程序中，像素计数不大于像素计数阈值δ的3D立方体(或候选特征)被删除，不用于构造用于预测的特征向量，而像素计数大于像素计数阈值δ的3D立方体(或候选特征)用于构造用于预测的特征向量。

表4

通过如以上表4中所示的程序，生成表示为H的集合以包括像素计数大于像素计数阈值δ索引的多个所选立方体(在3D直方图中)的多个相应索引。由多个相应索引标识的所选立方体的总数为K。设H(n)是集合H中的第n个元素。

在基于GPR的预测模型的训练阶段，可以基于图像特征(例如，如本文所描述的3D直方图中的所选3D立方体)生成特征向量/矩阵。另外，可选地或可替代地，其他图像数据特征(如亮度色度组合1D直方图中的1D仓)可以并入特征向量/矩阵中。

以举例而非限制的方式，基于GPR的预测模型用于预测(L2元数据中的)L2参数，如L2元数据中的SOP参数中的幂参数P。高斯过程和基于GPR的预测模型的示例一般性描述可以在C.E.Rasmussen和C.K.I.Williams的“Gaussian Processes for Machine Learning[用于机器学习的高斯过程]”(麻省理工大学出版社，2006年)中找到，所述文献通过引用以其全文并入本文。

预测幂参数表示为

并且观测到的幂参数为

其中，j表示标识F个图像/帧(例如，训练图像等)中的第j个图像/帧的帧索引，并且其中，下标2将此参数标识为L2元数据的一部分。观测到的幂参数

表示目标观测值，如针对F个图像/帧中的第j个图像/帧的调色师手动生成的幂参数(值)。

在以下表5中示出了用于生成表示为X的输入(特征)矩阵的示例程序，所述输入矩阵包括特征向量和目标观测向量，所述目标观测向量包括这F个(训练)图像/帧的幂参数的目标观测值。

表5

将特征向量(其是如以上表5所示的特征矩阵X的第j列并且包括从第j个图像/帧中提取的特征)表示为x_j。

预测模型的优化目标是最小化原始或目标L2参数

与预测的L2参数

之间的总差异。

高斯过程可以定义为其中的任何有限数量都具有(例如，联合等)高斯分布的随机变量的集合(表示为f(x)的实函数)。高斯过程完全由实过程f(x)的均值函数(表示为m(x))和协方差函数(表示为r(x，x′))指定，如下所示：

m(x)＝E[f(x)] (4)

r(x，x')＝E[(f(x)-m(x))(f(x')-m(x'))] (5)

f(x)～Gp(m(x)，r(x，x′)) (6)设f_p＝f(x_p)为与预期的情况(x_p，y_p)相对应的随机变量。高斯过程中的一致性/边缘化要求是：如果(y₁，y₂)～N(μ，∑)，则(y₁)～N(μ₁，∑₁₁)，其中，∑₁₁是∑的相关子矩阵。换言之，检查较大变量集不会改变较小变量集的分布。

基于GPR的预测模型的基础是基于所选的协方差函数(或内核)

仅出于说明目的，所选的协方差函数采用有理二次(RQ)的形式，如下所示：

其中，超参数(σ_f，α，l)可以经由优化程序得到。

基于GPR的预测模型的协方差矩阵可以构造如下：

对于无噪声的情况，{(x_p，f_p)|p＝1，...，F}，训练输出f和表示为f_*的测试输出的联合分布可以给出如下：

用于产生测试输出f_*的观测值(例如，来自调色师手动生成的值的目标幂参数等)的联合高斯先验分布可以给出如下：

f_*|X_*，X，f～N(R(X_*，X)R(X，X)^-1f，R(X_*，X_*)-R(X_*，X)R(X，X)^-1R(X，X_*))

(10)

对于具有噪声

的嘈杂情况，训练输出f和表示为f_*的测试输出的联合分布可以给出如下：

来自GPR的预测值可以给出如下：

其中，

预测向量

可以经由如下高效方式进行计算：

w＝L^T\(L\y) (16)

实际上，对于有噪声的数据情况，可以基于收集到的数据直接计算协方差矩阵(例如，无需估计

等)。将w_q表示为分别对应这F个(训练)图像的一组F个加权因子w中的第q个元素。

对于要从中提取特征以构造特征向量

的新的输入图像(例如，测试图像、要预测的图像等)，来自基于GPR的预测模型的预测值

(或本示例中的预测L2幂参数)给出如下：

基于GPR的预测模型可以(例如，完全等)通过一组操作参数来指定，如以下参数中的一些或全部：内核的超参数θ＝{σ_f，α，l}；F个特征向量x_q，其中每个具有K个维度；F个加权因子w_q，等等。

超参数(σ_f，α，l)(或其值)在基于GPR的预测性能中具有重大影响，可以通过最大化边缘似然的对数来获得或求解。示例边缘似然给出如下：

p(y|X)＝∫p(y|f，X)p(f|X)df (19)

对于无噪声的情况，边缘似然的对数可以给出如下：

对于有噪声的情况，边缘似然的对数可以给出如下：

经由求解边缘似然的对数的偏导数，可以获得上述每个超参数的最优解，如下所示：

在以下表6中示出了用于从用于测试和/或预测目的的图像(例如，场景等)生成3D直方图和其中的3D立方体的示例程序/方法。仅出于说明的目的，已经描述了3D直方图可以是基于帧的。应当注意，在其他实施例中，3D直方图可以不是基于帧的。例如，3D直方图可以是基于场景的，这取决于是应当测试和/或预测单个图像/帧还是单个(例如，整个等)场景。

表6

在以下表7中示出了用于生成输入特征向量的示例程序/方法，所述输入特征向量包括从用于测试和/或预测目的的图像(例如，场景等)提取的图像数据特征(例如，3D直方图中的3D立方体、亮度色度组合1D直方图中的1D仓等)。

表7

如以上表7所示，可以使用调整因子λ来考虑训练、测试和/或预测中所涉及的图像在空间尺寸、采样格式等方面的差异。在一些实施例中，训练图像可以是1920×1080的4:4:4格式，并且在每个训练图像中具有1920×1080个像素的空间尺寸。因此，如果任何测试图像和/或要预测的图像具有不同的空间尺寸，则可以将它们缩放到1920×1080像素的空间尺寸。另外，可选地或可替代地，如果图像是4:2:0的采样格式，则可以将诸如亮度值等分量像素值缩放为与诸如色度值等其他分量像素值相同的尺寸，或者色度值可以是上采样到与亮度值相同的尺寸。

假设测试图像或要预测的图像(例如，在重采样之后、重采样后的图像等)的空间尺寸为W×H，则调整因子λ可以给出如下：

给定特征向量

可以从基于GPR的预测模型(或预测器)生成L2幂参数的预测值，如下所示：

其中，

表示预测器的内核。以上表达式(24)中的预测器的示例有理二次(RQ)内核

给出如下：

多参数预测

可以使用各种多参数预测方法来预测多个图像元数据参数(如L2参数)的最优值(例如，用于修整处理操作等)。在第一示例方法中，可以部署如本文所描述的单参数预测技术(例如，程序、算法/方法等)以针对每个L2参数单独地进行预测。更具体地，这些技术可以用于预测L2幂参数(例如，L2幂参数

用于修整处理操作等)的最优值，以及预测其他L2参数(例如，L2斜率参数

L2偏移量参数

用于修整处理操作等)的最优值。

示例修整处理操作在2018年1月4日公布的美国专利申请公开号2018/0007356中进行了描述，所述美国专利申请的整个内容如本文充分阐述的那样通过引用并入本文。

在预测多个图像元数据参数的第二示例方法中，可以首先预测(例如，最终修整处理、目标等)色调映射曲线。一旦预测了(例如，最终修整处理、目标等)色调映射曲线，就可以在进行和不进行修整的情况下从色调映射曲线预测修整处理参数，如L2参数。通过单独的参数预测进行多参数预测

预测多个图像元数据参数(如这三个L2参数(例如，SOP等))的直接方法是部署多个不同的预测器，每个预测器可以通过单独的训练进行优化。例如，这三个L2参数(例如，SOP等)中的每一个都可以利用通过单独训练进行优化的三个单独的预测器

中的相应预测器来预测。这些经过单独训练的预测器的内核可以共享相同的距离测量；然而，每个预测器可以具有不同的内核参数和加权因子，如下所示：

其中，

如由经过单独训练的预测器表示的整个基于多参数GPR的预测模型包括操作参数，如具有三个单独内核的整体内核的超参数——例如，

特征向量{x_q}，其中每个特征向量具有K个维度(例如，F个特征向量，每个具有K个维度，等等)；加权因子

和

(例如3×F个加权因子等)。

图3A和图3B分别描绘了在预测阶段和测试阶段中L2参数(如L2幂参数)的预测值(表示为“预测归一化L2幂”)与相同L2参数的对应的调色师手动生成的值(称为“XML归一化L2幂”)之间的相关性。

通过色调曲线预测进行多参数预测/估计

由于用于对色调映射曲线/映射执行调整或修整处理操作的一些图像元数据参数(如幂、斜率和偏移量)是紧密相关的，并结合使用以构建新的修整色调曲线，因此这些参数可能具有高相关性。因此，预测参数的另一种方法是通过两步程序：(1)首先估计(例如，修整、目标、最终等)色调曲线/映射；(2)然后估计用于执行曲线调整和/或修整处理操作的参数(例如，SOP、修整参数等)以逼近(例如，修整、目标、最终等)色调曲线/映射。

在一些实施例中，可以首先通过使用通过F个图像/帧进行训练的基于GPR的预测模型预测样本点来预测(例如，修整、目标、最终等)色调曲线/映射。

对于第j个图像/帧，色调映射曲线可以表示为L1参数(例如，第j个图像/帧的最大、最小、平均亮度值

等)和L2参数(第j个图像/帧的斜率、偏移量、幂参数

等)的函数。给定色调映射前的HDR图像中的色调映射前的样本点

(例如，表示亮度码字等)，色调映射的SDR图像中的色调映射值

可以从色调映射曲线/函数中得到，如下所示：

可以选择M个样本点

以分布在诸如[0，1]的归一化(例如，亮度等)码字范围等码字空间上。这M个样本点可以均匀或不均匀地分布在码字空间中。这M个(对应的)映射值

可以分别从这M个样本点

得到。基于GPR的预测模型可以用于使用从训练图像、测试图像和/或要预测的图像中收集或得到的图像数据特征来预测这M个映射值

例如，基于GPR的预测模型可以使用M个GPR预测器来预测这M个映射值

在以下表8中示出了用于生成表示为X的输入(特征)矩阵的示例程序，所述输入矩阵包括特征向量和目标观测向量，所述目标观测向量包括这F个(训练)图像/帧的这M个映射值

的目标观测值y^(m)[j]

表8

按照上面讨论的相同或类似程序，用于预测这M个映射值

中的第m个映射值的第m个预测器可以定义如下：

其中，

给定包括从图像/帧或从包括多个图像的场景(例如，训练图像/帧或场景、测试图像/帧或场景、要预测的图像/帧或场景等)中提取的图像数据特征的输入特征向量

可以使用如以上表达式(30)中所示的这M个预测器来预测映射值

图3C描绘了样本点的预测值(表示为“相关性”)与样本点的对应的调色师手动生成的值(表示为“样本点”)之间的相关性。

在该预测方法/算法/过程/程序的第二级，已经生成了从这M个样本点

预测的这些映射值

然后可以针对表示这M个样本点

与映射值

之间的映射的色调映射曲线/函数来估计L2参数。

可以首先使用没有L2参数(或设置为零)的第一色调映射曲线获得映射值

如下所示：

然后可以使用具有L2参数

(例如，未设置为零等)的第二色调映射曲线获得映射值

使用L2参数

获得的映射值

与在没有L2参数(或设置为零)的情况下获得的映射值

相关，如下所示：

给定如从以上表达式(29)所示的GPR预测器预测的预测值

确定L2参数

(例如，未设置为零等)的最优值的问题可以用公式表示为搜索L2参数

的最优值的优化问题，使得：

另外，可选地或可替代地，在一些实施例中，可以应用范围约束(例如，下面的C1、C2、C3等)以约束或限制L2参数的最优值的搜索空间，如下所示：

在一些实施例中，一些样本点可能位于图像/帧(如第j个图像/帧)的特定有效数据值范围之外(例如，低于下限数据值阈值、高于上限数据值阈值、低于特定有效数据值范围的5％、高于特定有效数据值范围的95％、低于分布的5％、高于分布的95％等)。

将最小有效样本点和最大有效样本点表示为

和

给定如从以上表达式(29)所示的GPR预测器预测的预测值

确定L2参数

(例如，未设置为零等)的最优值的问题可以用公式表示或重新用公式表示为基于特定有效数据值范围内的样本点来搜索L2参数

的最优值的优化问题，使得：

在一些实施例中，可以在以上表达式(34)中应用非线性曲线拟合操作，以找到L2参数的最优值。在一些非限制性实施方式的示例中，为了简化对优化问题的求解，可以对固定的离散数据点集进行简单的三个“for”循环搜索。

(1)直接估计L2参数与(2)首先预测样本点、然后通过求解优化问题来估计SOP之间的区别在于，至少在一些实施方式的示例中，前一种方法的计算效率可能更高，而后一种方法可能会消耗更多的计算资源。

从SDR域进行预测

在一些实施例中，用于训练和/或测试用于图像元数据参数(如L2参数(例如，SOP等))的预测器或预测模型的训练和测试数据库中的(例如，训练、测试等)图像是HDR域中的HDR图像。示例HDR域可以是但不一定仅限于4000尼特作为峰值亮度、P3作为色域、YCbCr作为颜色空间等的图像表示域。示例HDR图像可以是但不一定仅限于与视频游戏等相关的图像。

对于以SDR图像作为输入的应用(例如，游戏应用、视频应用、显示应用、增强现实或AR应用、虚拟现实或VR应用、远程呈现应用、移动应用等)，SDR图像可以以SDR域表示。示例SDR域可以是但不一定仅限于100尼特作为峰值亮度、Rec.709作为色域、RGB(例如，如Rec.709中指定的)作为颜色空间等的图像表示域。示例SDR图像可以是但不一定仅限于SDR+图像等。

可以实施如本文所描述的预测技术以允许直接根据从以SDR域表示的SDR图像(包括但不限于SDR+图像)中提取的图像数据特征来预测图像元数据参数的最优值。结果，可以避免原本将引起的大量密集计算。如本文所描述的示例预测技术可以包括但不一定仅限于用于训练和测试数据库中的(例如，训练、测试等)图像的特征传递技术、反向映射技术。

通过特征传递进行SDR域预测

特征传递技术可以用于生成从SDR域(包括但不限于SDR+域)到HDR域的直方图仓传递函数。

在一些实施例中，来自输入源(例如，输入SDR视频信号、输入SDR+视频信号等)的第j个输入图像(例如，第j个要预测的图像等)或第j个输入场景以SDR域表示。可以首先从输入SDR图像中的像素值中提取SDR图像数据特征，如具有像素计数的直方图仓或立方体(类似于前面讨论的与HDR图像相关的直方图中的仓和立方体)。然后，可以例如通过仓传递函数(表示为

)将这些SDR图像数据特征转换为对应的HDR图像数据特征，如HDR域(例如，峰值亮度为4000尼特等)中的具有像素计数的直方图仓或立方体，如下：

其中，(α_v，β_v，γ_v)表示HDR域或HDR码字空间中的像素/码字值，而(α_s，β_s，γ_s)表示SDR域或SDR码字空间中的像素/码字值。

SDR 3D直方图的仓/立方体的像素计数(第j个图像表示为

)可以直接从输入SDR图像的像素值中提取。HDR 3D直方图的仓/立方体的像素计数(第j个图像表示为

)可以使用如以上表达式(35)所示的仓传递函数

基于SDR 3D直方图的仓/立方体的像素计数来计算。换言之，仓传递函数

将SDR域中的SDR 3D直方图

传递到HDR域中的HDR 3D直方图

仓传递函数

可以通过将每个仓/立方体的中心点传递给第j个图像的后向整形函数来构建，如下所示：

其中，

表示第j个图像中的SDR分量码字；

表示与在第j个图像中的SDR分量码字

相对应的HDR分量码字；

表示亮度颜色分量/通道的后向整形函数；

和

表示色度颜色分量/通道的后向整形函数。

亮度和色度分量/通道的示例后向整形函数/映射在2018年2月28日提交的美国临时申请序列号62/636,388中进行描述，所述美国临时申请的整个内容如本文充分阐述的那样通过引用并入本文。

在以下表9中示出了构建仓传递函数的示例程序

表9

在一些实施例中(例如，静态模式等)，仓传递函数可以是要应用于来自输入源的一些或全部输入图像的固定函数。例如，仓传递函数

可以用在实施如本文所描述的预测技术的应用或系统启动之后被预先计算并存储在存储器(例如，核心存储器、主存储器、快速存取存储器等)中的映射表来表示。

在以下表10中示出了用于从第j个图像的像素值生成SDR 3D直方图的示例程序。

表10

在以下表11中示出了用于将SDR 3D直方图中的立方体/仓(或图像数据特征)传递到EDR 3D直方图中的立方体/仓的示例程序。

表11

以上表9至11中所示的程序将遍历SDR 3D直方图中的所有可能的立方体/仓(针对像素/码字值，覆盖SDR码字空间中的所有可能码字)。应当注意，在一些实施例中，可以使用(有限数量的)重要HDR图像特征(如像素计数大于像素计数阈值的HDR立方体/仓)代替可能重要或可能不重要的所有HDR图像特征来进行预测。这些重要的HDR特征可以形成覆盖HDR代码空间中的一个或多个码字部分/区域而非所有可能的HDR码字{α_v，β_v，γ_v}的HDR特征集(表示为H)。在应用仓传递函数之后产生重要HDR立方体/仓的SDR图像特征(如SDR立方体/仓)可以形成对应的SDR特征集H_s，而不是SDR码字空间中的所有可能的SDR码字{(α_s，β_s，γ_s)}。SDR特征集H_s可以通过逆向仓传递函数

反向追溯来构造。结果，特征构造可以从M³减为SDR域和/或HDR域中的K。

通过反向映射进行SDR域预测

SDR和HDR域中的直方图之间特征传递的准确性在很大程度上依赖于SDR直方图和仓传递函数两者的高精度。如果SDR直方图的精度较低，则传递的HDR直方图可能会遇到许多一对多的映射问题(例如，SDR直方图的SDR立方体/仓中的像素映射到HDR直方图中的多个HDR立方体)。其他问题包括直方图传递(或SDR和HDR中的直方图之间的特征传递)的附加计算成本。对于更高精度的直方图和传递函数，计算成本可能会变得更高。

在一些实施例中，代替或除了特征传递之外，可以实施反向映射技术以通过反向映射训练和测试数据库中的(例如，训练、测试等)HDR图像来生成SDR图像。一旦创建了反向映射的SDR图像，便可以使用通过对训练和测试数据库中的HDR图像进行反向映射生成的SDR图像来训练和/或测试(多个)预测器或预测模型。在一些实施例中，(例如，完整等)反向映射可以将HDR码字的每个仓映射到SDR码字的相应仓。

在一些实施例中，通过反向映射操作要实现的目标是通过向反向映射的SDR图像(其是通过对对应的原始HDR图像进行反向整形而生成的SDR图像)应用静态后向整形函数/映射而生成的后向整形HDR图像尽可能接近对应的原始HDR图像。换言之，反向映射近似于静态后向整形函数/映射的完整(例如，在数学上等)逆，其中，静态后向整形函数/映射被应用于反向映射的SDR图像以生成与对应的原始HDR图像非常接近的后向整形HDR图像。

图2B图示了与使用SDR图像作为输入的预测操作相关的示例反向映射生成和应用系统250。所述系统(250)可以单独地但与视频传输流水线(100)结合地操作。另外，可选地或可替代地，系统(250)可以被实施为视频传输流水线(100)的一部分。系统(250)可以由一个或多个计算处理器来实施，如以下一个或多个：视频编码器、视频编解码器、视频解码器、视频转码器、视频流式传输服务器、游戏机、视频广播服务器等。在一些实施例中，系统(250)包括三个主要系统块或级中的一些或全部。

在第一系统块或级(252)中，基于静态后向整形曲线/函数构造从SDR到EDR的映射对。首先，一组(例如，完整的等)3D SDR采样点可以分布在整个3D SDR码字空间(或SDR域)中。示例3D SDR码字空间(或SDR域)可以是但不一定仅限于包括可以以3D SDR RGB颜色空间中的SDR图像数据表示的所有可能RGB值(例如，在大多数TIFF文件中使用的等)范围的三维(3D)SDR RGB颜色空间。通常，3D SDR采样点可能会或可能不会均匀分布在3D SDR RGB颜色空间中。以举例而非限制的方式，通过对3D SDR RGB颜色空间进行均匀采样来创建3DSDR采样点。

在一些实施例中，M个仓(例如，非重叠仓、非重叠细分等)用于共同覆盖3D SDRRGB颜色空间的每个维度。另外，可选地或替代地，样本点或仓(与3D SDR RGB颜色空间中的那些采样点相同或相似)可以用于对除3D SDR RGB颜色空间之外的不同颜色空间(例如，目标YCbCr颜色空间等)进行采样。例如，颜色空间变换/转换可以用于将3D SDR RGB颜色空间中的RGB值或样本点转换为目标YCbCr颜色空间中的YCbCr值或样本点。

静态后向整形函数/映射/曲线可以应用于3D SDR(例如，YCbCr、RGB等)颜色空间中的样本点，并将3D SDR(例如，YCbCr、RGB等)颜色空间中的样本点转换为HDR颜色空间(或HDR域)中相应映射的HDR值。如上所述，可以使用3D SDR(例如，YCbCr、RGB等)颜色空间(或SDR域)中的样本点以及HDR颜色空间(或HDR域)中的相应映射HDR值来形成如上所述的映射对。更具体地，每个样本点及其相应映射的HDR值形成映射对。

在以下表12中示出了生成从SDR到HDR的映射对(表示为MTj)的示例程序。

表I2

在一些实施例中，包括SDR中的样本点和HDR中的相应映射值的映射对MT_j可以表示为映射表，如三维查找表(3D-LUT)。

在第二系统块或级(254)中，使用映射对MT_j(例如，映射表、3D-LUT等)获得反向映射。可以使用多种不同的方法从表示映射对MT_j的映射表中找到反向映射。最简单的方式是基于映射对MT_j(例如，映射表、3D-LUT等)使用(例如，线性、双三次等)插值以得到反向映射。在一些操作场景中，从插值获得的反向映射相对不准确。诸如神经网络、GPR等高级方法也可以用于从映射对MT_j(例如，映射表、3D-LUT等)中找到这种反向映射。

从神经网络得到反向映射

神经网络表示使用一个或多个隐藏层的通用函数逼近器。为了构造从HDR到SDR的反向映射函数，映射对MT_j(例如，映射表、3D-LUT等)中的输入(或要通过静态后向整形函数/曲线/映射进行映射的值)和输出(或通过静态后向整形函数/曲线/映射从输入生成的映射值)可以被反转或调换以成为神经网络的输出和输入。更具体地，映射对MT_j(例如，映射表、3D-LUT等)中的输入或要通过静态后向整形函数/曲线/映射进行映射的值可以用作要由神经网络生成的目标值，而映射对MT_j(例如，映射表、3D-LUT等)中的输出或通过静态后向整形函数/曲线/映射从输入生成的映射值可以用作要由神经网络用来生成目标值的输入或输入值，

在一些实施例中，可以用三个输入(例如，对应于3D HDR值等)和三个输出(例如，对应于3D SDR值等)来构建一个神经网络。另外，可选地或可替代地，可以构建三个神经网络；这三个神经网络中的每一个可以用三个输入(例如，对应于3D HDR值等)和仅一个输出(例如，对应于3D SDR值中的一个维度等)来构建。

所有映射的HDR值(如通过静态后向整形函数/曲线/映射来映射的)可以一起收集在矩阵中，如下所示：

与映射的HDR值相对应的所有SDR值可以一起收集在矩阵中(以用于三输入三输出神经网络)，如下所示：

另外，可选地或替代地，与映射的HDR值相对应的所有SDR值中的各个通道(例如，颜色分量值、颜色通道值)可以一起收集在三个矩阵中(以分别用于三个三输入一输出神经网络)，如下所示：

L隐层三输入三输出神经网络的反向映射可以表示如下：

其中，l是0到L-1之间的整数；W_l表示权重矩阵；b_l表示偏置向量；f_l()表示激活函数。可以使用各种激活函数，包括但不限于那些通常使用的激活函数。示例激活函数是如下S形函数：

在一些实施例中，目标是在所有(L)层中找到最小化所有M³个条目的总均方误差(MSE)的反向映射参数

如下所示：

最小化MSE的问题也可以在形式上用公式表示为

上面与三输入三输出神经网络相关地描述的技术可以相对容易地扩展到针对三个颜色通道分别使用三个单独的三输入一输出神经网络，而不是使用三输入三输出神经网络。

在一些实施例中，代替或除了使用(多个)神经网络从HDR值生成目标SDR值之外，还可以使用GPR来从HDR值预测目标SDR值。在一些操作场景中，GPR可能会导致相对较高的计算成本，尤其是在并行计算不可用时。

在第三系统块或级(256)中，可以应用如在第二系统块(254)中生成的反向映射以获得对应的SDR图像，以用于构建/训练和/或测试可以预测图像元数据参数(如先前讨论的L2参数)的基于GPR的预测器或预测模型。例如，反向映射可以应用于训练和测试数据库中的HDR图像(例如，HDR训练图像、HDR测试图像等)以获得对应的反向映射的SDR图像，以用于训练和/或测试可以用于直接预测SDR输入图像的这些基于GPR的预测器或预测模型。

训练或测试用于SDR图像的基于GPR的预测器或预测模型的程序与先前讨论的用于HDR图像的基于GPR的预测器或预测模型相同或相似。

如本文中所描述的预测器和预测模型可以在包括但不限于实时/线性编码框架在内的各种应用和视频编码帧中支持时间稳定性。这些预测器和预测模型可以用于在时域中(例如，在场景内、在淡入/淡出时、在渐隐场景中、考虑特殊的编辑效果等)做出相对平滑的预测(包括但不限于相对平滑的预测变化)，以避免或显著减少预测值的波动，并防止或减少任何类似抖动的伪影。

示例过程流程

图4A图示了根据本发明的实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、预测模型和特征选择系统、反向映射生成和应用系统等)可以执行此过程流程。在框402中，图像元数据预测系统评估一组一个或多个不同的候选图像数据特征类型以识别一种或多种特定图像数据特征类型，以在用于优化一个或多个图像元数据参数的预测模型中使用。

在框404中，系统从一个或多个图像中提取一种或多种所选图像数据特征类型的多个图像数据特征。

在框406中，系统将一种或多种所选图像数据特征类型的多个图像数据特征简化为多个重要图像数据特征，其中，多个重要图像数据特征中的图像数据特征的总数不大于一种或多种所选图像数据特征类型的多个图像数据特征中的图像数据特征的总数。

在框408中，系统将多个重要图像数据特征应用于训练用于优化一个或多个图像元数据参数的预测模型。

在实施例中，该组一种或多种不同的候选图像数据特征类型包括以下各项中的一种或多种：一维(1D)直方图、原始线性直方图、对数直方图、二元直方图、三维(3D)直方图、亮度域中的标准偏差、亮度域中的颜色饱和度、亮度-色度组合1D直方图等。

在实施例中，多个重要图像数据特征是至少部分通过将一种或多种所选图像数据特征类型的多个图像数据特征中的图像数据特征的子集变换到变换域中来生成的。在实施例中，该组重要图像数据特征是至少部分通过从一种或多种所选图像数据特征类型的多个图像数据特征中删除低出现率图像数据特征的子集来生成的。

在实施例中，预测模型基于以下各项中的一项或多项：参数化预测方法、广义线性预测(GLM)方法、非参数化预测方法、基于高斯过程回归(GPR)的预测方法、基于神经网络回归(NNR)的预测方法等。

图4B图示了根据本发明的实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、预测模型和特征选择系统、反向映射生成和应用系统等)可以执行此过程流程。在框452中，图像元数据预测系统确定多组训练图像和一个或多个图像元数据参数的多组目标值，多组目标值中的每组目标值对应于多组训练图像中的相应组一个或多个训练图像。

在框454中，系统从多组训练图像中提取一种或多种所选图像数据特征类型的多组图像数据特征，多组图像数据特征中的每组图像数据特征对应于多组训练图像中的相应组一个或多个训练图像。

在框456中，系统将一种或多种所选图像数据特征类型的多组图像数据特征和用于一个或多个图像元数据参数的多组目标值应用于训练用于优化一个或多个图像元数据参数的一个或多个预测模型。

在框458中，系统使用一个或多个预测模型为一个或多个非训练图像生成用于一个或多个图像元数据参数的一个或多个优化值。

在框460中，系统使用于一个或多个图像元数据参数的一个或多个优化值用于渲染一个或多个非训练图像。

在实施例中，一个或多个预测模型用于预测用于对一个或多个非训练图像进行色调映射的色调映射曲线的样本点；基于使用一个或多个预测模型预测的色调映射曲线的样本点来估计用于一个或多个非训练图像的一个或多个图像元数据参数的一个或多个优化值。

在实施例中，一个或多个预测模型用于为一个或多个非训练图像预测用于一个或多个图像元数据参数的一个或多个优化值。

在实施例中，一种或多种所选图像数据特征类型包括以下各项中的一种或多种：包括具有像素计数的三维(3D)立方体的3D直方图，或包括具有像素计数的1D仓的一维(1D)亮度色度组合直方图等。

在实施例中，一个或多个预测模型包括一个或多个基于高斯过程回归(GPR)的预测模型。

在实施例中，一个或多个非训练图像表示一个或多个标准动态范围(SDR)图像；多组训练图像表示高动态范围(HDR)图像；系统进一步被配置用于执行以下操作：从一个或多个非训练图像中提取一种或多种所选图像数据特征类型的一组非训练SDR图像数据特征；根据从一个或多个非训练图像中提取的一种或多种所选图像数据特征类型的一组非训练SDR图像数据特征来生成一种或多种所选图像数据特征类型的一组非训练HDR图像数据特征；使一个或多个预测模型使用一种或多种所选图像数据特征类型的一组非训练HDR图像数据特征来为一个或多个非训练图像生成用于一个或多个图像元数据参数的一个或多个优化值。

在实施例中，多组训练图像表示从多组高动态范围(HDR)训练图像中得到的多组标准动态范围(SDR)训练图像；系统进一步被配置用于执行以下操作：使用后向整形映射来生成从SDR码字到HDR码字的映射表；为多组HDR训练图像中的每个HDR图像生成后向整形映射的反向映射，其中，反向映射特定于每个这样的HDR图像；将反向映射应用于每个这样的HDR图像，以生成多组SDR训练图像中的相应SDR图像。

在实施例中，系统进一步被配置用于执行颜色转换操作，作为生成从SDR码字到HDR码字的映射表的一部分。

在实施例中，后向整形映射表示静态后向整形映射，静态后向整形映射对于多组SDR训练图像中的任何图像都是不变的。

在实施例中，一个或多个非训练图像表示以下一个或多个：游戏应用中的高动态范围(HDR)图像、SDR+视频信号中的标准动态范围加(SDR+)图像、增强现实(AR)应用中的图像、虚拟现实(VR)应用中的图像、远程呈现应用中的图像、与移动应用相关的图像、与剧院显示应用相关的图像、非剧院显示应用中的图像等等。

在实施例中，多组训练图像中的一组训练图像包括以下之一：单个图像、单个场景的图像等。

在实施例中，一个或多个图像元数据参数表示一个或多个显示管理参数。

在实施例中，一个或多个图像元数据参数表示用于调整色调映射曲线以执行显示管理的一组斜率、偏移量和幂参数。

在实施例中，色调映射曲线表示以下之一：基于标准的色调映射曲线或专有的色调映射曲线。

在实施例中，一个或多个非训练图像中的至少一个以下列各项之一表示：IPT PQ(ICtCp)颜色空间、YCbCr颜色空间、RGB颜色空间、Rec.2020颜色空间、Rec.709颜色空间、扩展动态范围(EDR)颜色空间、伽马/HLG/PQ颜色空间、标准动态范围(SDR)颜色空间，等等。

在实施例中，一个或多个非训练图像中的至少一个在比特深度为8、9、10、11、12、13、14或15+比特之一的视频信号中以相同动态范围的图像序列进行编码。

在实施例中，一种或多种所选图像数据特征类型的多组图像数据特征由直方图表示，直方图具有多个仓分区以覆盖在其中表示多组训练图像的颜色空间的每个颜色通道中的整个码字值范围。

在实施例中，如显示设备、移动设备、机顶盒、多媒体设备等计算设备被配置用于执行前述方法中的任何方法。在实施例中，一种装置包括处理器，并且被配置用于执行前述方法中的任何方法。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，软件指令当由一个或多个处理器执行时使得执行前述方法中的任何方法。

在实施例中，一种计算设备包括一个或多个处理器以及一个或多个存储介质，一个或多个存储介质存储指令集，指令集当由一个或多个处理器执行时使得执行前述方法中的任何方法。

注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。

示例计算机系统实施方式

本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这种系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实施与对具有增强动态范围的图像的自适应感知量化有关的指令，如本文所描述的那些。计算机和/或IC可以计算与本文所描述的自适应感知量化过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。

本发明的某些实施方式包括执行软件指令的计算机处理器，软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施与如上所述的对HDR图像的自适应感知量化有关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，一组计算机可读信号包括指令，指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速存储器RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则提及所述部件(包括提及“装置”)都应被解释为包括执行所描述部件的功能的任何部件为该部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。

根据一个实施例，本文所描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储设备或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备也可以将定制的硬接线逻辑、ASIC或FPGA与定制编程相结合来实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施所述技术的任何其他设备。

例如，图5是图示了可以在其上实施本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，如随机存取存储器(RAM)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这种指令使得计算机系统500变成被定制用于执行在指令中指定的操作的专用机器。

计算机系统500进一步包括只读存储器(ROM)508或耦接到总线502的用于存储处理器504的静态信息和指令的其他静态存储设备。提供存储设备510(如磁盘或光盘)，并将其耦接到总线502以用于存储信息和指令。

计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控制设备516，用于将方向信息和命令选择传送到处理器504并用于控制在显示器512上的光标移动。典型地，此输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在某个平面中指定方位。

计算机系统500可以使用自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文所描述的技术，固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行如本文所描述的技术。这种指令可以从另一个存储介质(如存储设备510)读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文所描述的过程步骤。在替代性实施例中，可以使用硬接线电路代替软件指令或与软件指令组合。

如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，如存储设备510。易失性介质包括动态存储器，如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪速EPROM、NVRAM、任何其他存储器芯片或存储盒。

存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。

各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，指令最初可以携带在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。

计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器，以向对应类型的电话线提供数据通信连接。作为另一个示例，通信接口518可以是局域网(LAN)卡，用于提供与相容LAN的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(ISP)526操作的数据设备的连接。ISP 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据载送到计算机系统500和从计算机系统载送数字数据)是传输介质的示例形式。

计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、ISP 526、本地网络522和通信接口518传输应用的请求代码。

所接收的代码可以在被接收到时由处理器504执行，和/或存储在存储设备510、或其他非易失性存储器中以供稍后执行。

等同物、扩展、替代方案和杂项

在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明以及本申请人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。

枚举的示例性实施例

本发明可以以本文描述的任何形式实施，包括但不限于以下描述了本发明一些部分的结构、特征和功能的枚举的示例实施例(EEE)。

EEE 1.一种用于图像元数据优化的方法，所述方法包括：

评估一组一个或多个不同的候选图像数据特征类型以识别一种或多种特定图像数据特征类型，以在训练用于优化一个或多个图像元数据参数的预测模型中使用；

从一个或多个图像中提取一种或多种所选图像数据特征类型的多个图像数据特征；

将所述一种或多种所选图像数据特征类型的所述多个图像数据特征简化为多个重要图像数据特征，其中，所述多个重要图像数据特征中的图像数据特征的总数不大于所述一种或多种所选图像数据特征类型的所述多个图像数据特征中的图像数据特征的总数；

将所述多个重要图像数据特征应用于训练用于优化一个或多个图像元数据参数的预测模型。

EEE 2.如EEE 1所述的方法，其中，该组一种或多种不同的候选图像数据特征类型包括以下一种或多种：一维(1D)直方图、原始线性直方图、对数直方图、二元直方图、三维(3D)直方图、亮度域中的标准偏差、亮度域中的颜色饱和度或亮度-色度组合1D直方图。

EEE 3.如前述任一EEE所述的方法，其中，所述多个重要图像数据特征是至少部分通过将所述一种或多种所选图像数据特征类型的多个图像数据特征中的图像数据特征的子集变换到变换域中来生成的。

EEE 4.如前述任一EEE所述的方法，其中，该组重要图像数据特征是至少部分通过从所述一种或多种所选图像数据特征类型的多个图像数据特征中删除低出现率图像数据特征的子集来生成的。

EEE 5.如前述任一EEE所述的方法，其中，所述预测模型基于以下中的一项或多项：参数化预测方法、广义线性预测(GLM)方法、非参数化预测方法、基于高斯过程回归(GPR)的预测方法或基于神经网络回归(NNR)的预测方法。

EEE 6.一种用于图像元数据优化的方法，所述方法包括：

确定多组训练图像和一个或多个图像元数据参数的多组目标值，所述多组目标值中的每组目标值对应于所述多组训练图像中的相应组一个或多个训练图像；

从所述多组训练图像中提取一种或多种所选图像数据特征类型的多组图像数据特征，所述多组图像数据特征中的每组图像数据特征对应于所述多组训练图像中的相应组一个或多个训练图像；

应用所述一种或多种所选图像数据特征类型的所述多组图像数据特征和所述一个或多个图像元数据参数的所述多组目标值，以训练用于优化所述一个或多个图像元数据参数的一个或多个预测模型；

使用所述一个或多个预测模型为一个或多个非训练图像生成所述一个或多个图像元数据参数的一个或多个优化值；

使所述一个或多个图像元数据参数的所述一个或多个优化值用于渲染所述一个或多个非训练图像。

EEE 7.如EEE 6所述的方法，其中，所述一个或多个预测模型用于预测用于对一个或多个非训练图像进行色调映射的色调映射曲线的样本点；并且其中，基于使用所述一个或多个预测模型预测的色调映射曲线的样本点来估计一个或多个非训练图像的一个或多个图像元数据参数的一个或多个优化值。

EEE 8.如EEE 6或EEE 7所述的方法，其中，所述一个或多个预测模型用于为一个或多个非训练图像预测所述一个或多个图像元数据参数的所述一个或多个优化值。

EEE 9.如EEE 6至EEE 8中任一项所述的方法，其中，所述一种或多种所选图像数据特征类型包括以下一种或多种：包括具有像素计数的三维(3D)立方体的3D直方图，或包括具有像素计数的1D仓的一维(1D)亮度色度组合直方图。

EEE 10.如EEE 6至EEE 9中任一项所述的方法，其中，所述一个或多个预测模型包括一个或多个基于高斯过程回归(GPR)的预测模型。

EEE 11.如EEE 6至EEE 10中任一项所述的方法，其中，所述一个或多个非训练图像表示一个或多个标准动态范围(SDR)图像；其中，所述多组训练图像表示高动态范围(HDR)图像；所述方法进一步包括：

从所述一个或多个非训练图像中提取所述一种或多种所选图像数据特征类型的一组非训练SDR图像数据特征；

根据从所述一个或多个非训练图像中提取的所述一种或多种所选图像数据特征类型的所述一组非训练SDR图像数据特征来生成所述一种或多种所选图像数据特征类型的一组非训练HDR图像数据特征；

使所述一个或多个预测模型使用所述一种或多种所选图像数据特征类型的所述一组非训练HDR图像数据特征来为所述一个或多个非训练图像生成所述一个或多个图像元数据参数的所述一个或多个优化值。

EEE 12.如EEE 6至EEE 11中任一项所述的方法，其中，所述多组训练图像表示从多组高动态范围(HDR)训练图像中得到的多组标准动态范围(SDR)训练图像；所述方法进一步包括：

使用后向整形映射来生成从SDR码字到HDR码字的映射表；

为所述多组HDR训练图像中的每个HDR图像生成所述后向整形映射的反向映射，其中，所述反向映射特定于每个这样的HDR图像；

将所述反向映射应用于每个这样的HDR图像，以生成所述多组SDR训练图像中的相应SDR图像。

EEE 13.如EEE 12所述的方法，进一步包括：执行颜色转换操作，作为生成从SDR码字到HDR码字的映射表的一部分。

EEE 14.如EEE 12所述的方法，其中，所述后向整形映射表示静态后向整形映射，所述静态后向整形映射对于所述多组SDR训练图像中的任何图像都是不变的。

EEE 15.如EEE 6至EEE 14中任一项所述的方法，其中，所述一个或多个非训练图像表示以下一个或多个：游戏应用中的高动态范围(HDR)图像、SDR+视频信号中的标准动态范围加(SDR+)图像、增强现实(AR)应用中的图像、虚拟现实(VR)应用中的图像、远程呈现应用中的图像、与移动应用相关的图像、与影院显示应用相关的图像或非影院显示应用中的图像。

EEE 16.如EEE 6至EEE 15中任一项所述的方法，其中，所述多组训练图像中的一组训练图像包括以下之一：单个图像或单个场景的图像。

EEE 17.如EEE 6至EEE 16中任一项所述的方法，其中，所述一个或多个图像元数据参数表示一个或多个显示管理参数。

EEE 18.如EEE 6至EEE 17中任一项所述的方法，其中，所述一个或多个图像元数据参数表示用于调整色调映射曲线以执行显示管理的一组斜率、偏移量和幂参数。

EEE 19.如EEE 18所述的方法，其中，所述色调映射曲线表示以下之一：基于标准的色调映射曲线或专有的色调映射曲线。

EEE 20.如EEE 6至EEE 19中任一项所述的方法，其中，所述一个或多个非训练图像中的至少一个以下列之一表示：IPT PQ(ICtCp)颜色空间、YCbCr颜色空间、RGB颜色空间、Rec.2020颜色空间、Rec.709颜色空间、扩展动态范围(EDR)颜色空间、伽马/HLG/PQ颜色空间或标准动态范围(SDR)颜色空间。

EEE 21.如EEE 6至EEE 20中任一项所述的方法，其中，所述一个或多个非训练图像中的至少一个在比特深度为8、9、10、11、12、13、14或15+比特之一的视频信号中以相同动态范围的图像序列进行编码。

EEE 22.如EEE 6至EEE 21中任一项所述的方法，其中，一种或多种所选图像数据特征类型的所述多组图像数据特征由直方图表示，所述直方图具有多个仓分区以覆盖在其中表示所述多组训练图像的颜色空间的每个颜色通道中的整个码字值范围。

EEE 23.一种计算机系统，被配置用于执行如EEE 1至22中任一项所述的方法。

EEE 24.一种装置，包括处理器并且被配置用于执行如EEE 1至22中任一项所述的方法。

EEE 25.一种非暂态计算机可读存储介质，具有存储于其上的用于执行如EEE 1至22中任一项所述的方法的计算机可执行指令。

Claims

1.一种用于图像元数据优化的方法，所述方法包括：

确定多组训练图像和用于一个或多个图像元数据参数的多组目标值，所述多组目标值中的每组目标值对应于所述多组训练图像中的相应组一个或多个训练图像；

将所述一种或多种所选图像数据特征类型的所述多组图像数据特征和用于所述一个或多个图像元数据参数的所述多组目标值应用于训练用于优化所述一个或多个图像元数据参数的一个或多个预测模型；

使用所述一个或多个预测模型为一个或多个非训练图像生成用于所述一个或多个图像元数据参数的一个或多个优化值；

使用于所述一个或多个图像元数据参数的所述一个或多个优化值用于渲染所述一个或多个非训练图像；

所述方法的特征在于，所述一个或多个非训练图像表示一个或多个标准动态范围SDR图像；其中，所述多组训练图像表示高动态范围HDR图像；所述方法的进一步特征在于所述方法包括：

使所述一个或多个预测模型使用所述一种或多种所选图像数据特征类型的所述一组非训练HDR图像数据特征来为所述一个或多个非训练图像生成用于所述一个或多个图像元数据参数的所述一个或多个优化值。

2.如权利要求1所述的方法，其中，所述一个或多个预测模型用于为一个或多个非训练图像预测用于所述一个或多个图像元数据参数的所述一个或多个优化值。

3.如权利要求1或2所述的方法，其中，所述一种或多种所选图像数据特征类型包括以下各项中的一种或多种：包括具有像素计数的三维3D立方体的3D直方图，或包括具有像素计数的一维1D仓的1D亮度色度组合直方图。

4.如权利要求1或2所述的方法，其中，所述一个或多个预测模型包括一个或多个基于高斯过程回归的预测模型。

5.如权利要求1或2求所述的方法，其中，所述一个或多个图像元数据参数表示一个或多个显示管理参数。

6.如权利要求1或2所述的方法，其中，所述一个或多个图像元数据参数表示用于调整色调映射曲线以执行显示管理的一组斜率、偏移量和幂参数。

7.如权利要求1或2所述的方法，其中，所述一个或多个非训练图像中的至少一个以下列各项之一表示：IPT PQ颜色空间、YCbCr颜色空间、RGB颜色空间、Rec.2020颜色空间、Rec.709颜色空间、扩展动态范围颜色空间、伽马/HLG/PQ颜色空间、或标准动态范围颜色空间。

8.如权利要求1或2所述的方法，其中，所述一个或多个非训练图像中的至少一个在比特深度为8、9、10、11、12、13、14或15+比特之一的视频信号中以相同动态范围的图像序列进行编码。

9.如权利要求1或2所述的方法，其中，一种或多种所选图像数据特征类型的所述多组图像数据特征由直方图表示，所述直方图具有多个仓分区以覆盖在其中表示所述多组训练图像的颜色空间的每个颜色通道中的整个码字值范围。