CN116034394A - 假轮廓减轻的自适应流式传输 - Google Patents

Abstract

生成前向整形映射以将源图像映射到较低动态范围的对应前向整形图像。对该源图像进行空间下采样以生成图像，噪声被注入到该大小调整后的图像中以生成注入噪声的图像。应用该前向整形映射来映射该注入噪声的图像，以生成该较低动态范围的嵌入噪声的图像。用该嵌入噪声的图像对视频信号进行编码并将其传输到接收方设备，以供该接收方设备渲染从该嵌入噪声的图像生成的显示图像。

Description

假轮廓减轻的自适应流式传输

相关申请的交叉引用

本申请要求均于2020年8月6日提交的美国临时申请No.63/061,937和欧洲专利申请No.20189859.0的优先权，这两件申请中的每一件都通过引用以其全文并入本文。

技术领域

本公开总体上涉及图像处理操作。更具体地，本公开的实施例涉及视频编解码器。

背景技术

如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度范围(例如，光亮度(luminance)、亮度(luma))的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上被(例如可互换地)使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个或更多数量级的DR阔度。实际上，相对于HDR，人类可在其上同时感知强度范围广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许跨该场景或图像的一些光适性变化。如本文所使用的，EDR可以涉及跨越5个到6个数量级的DR。虽然相对于参考真实场景的HDR可能稍微窄一些，但EDR表示宽DR阔度并且也可以被称为HDR。

实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度Y以及色度(chroma)Cb和Cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可被视为增强动态范围的图像。

给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，ITURec.ITU-R BT.1886,“Reference electro-optical transfer function for flat paneldisplays used in HDTV studio production[HDTV工作室制作中使用的平板显示器的参考电光传递函数]”(2011年3月)限定了平板显示器的参考EOTF，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其EOTF的信息可以作为(图像)元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。

如本文所使用的术语“PQ”是指感知光亮度幅度量化。人类视觉系统以显著的非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛已适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在SMPTE ST 2084:2014“High DynamicRange EOTF of Mastering Reference Displays[母版制作参考显示器的高动态范围EOTF]”(下文称为“SMPTE”)中描述了示例PQ映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该光亮度水平处的最小可见对比度步长。

支持200至1,000cd/m²或尼特的光亮度的显示器代表了与EDR(或HDR)相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。EDR内容可以被显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的EDR显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000或更高尼特)的替代EOTF来限定。在SMPTE 2084和Rec.ITU-RBT.2100,“Image parameter values for high dynamic range television for use inproduction and international programme exchange[用于在制作和国际节目交换中使用的高动态范围电视的图像参数值]”(06/2017)中定义了这种EOTF的示例。如本发明人在此理解的，期望用于合成视频内容数据的改进技术，所述视频内容数据可以用于将媒体内容传输到包括移动设备的各种SDR和HDR显示设备并支持其显示能力。

在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为已在任何现有技术中被认定。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中相似的附图标记指代类似的要素，并且在附图中：

图1描绘了视频传输流水线的示例过程；

图2A至图2F图示了用于自适应视频流式传输的示例系统配置；图2G图示了从输入视频信号生成输入视频片段的示例；图2H图示了由集群节点实施的示例系统配置或架构；

图3A图示了示例光亮度前向查找表(FLUT)；图3B图示了根据FLUT确定的码字仓中的示例码字增加；图3C图示了示例平滑噪声强度；图3D图示了用于生成噪声图像的示例频域图案或块；

图4A至图4C图示了示例过程流程；以及

图5图示了示例硬件平台的简化框图，在所述示例硬件平台上可以实施如本文所描述的计算机或计算设备。

具体实施方式

在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本公开。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本公开，没有详尽地描述众所周知的结构和设备。

概述

可以实施如本文描述的技术来支持或提供自适应流式传输框架，在所述自适应流式传输框架中，条带有效减轻的视频内容可以被自适应地流式传输到具有相对中等的解码能力和/或显示能力的终端用户设备。自适应流式传输框架可以实施基于视频编码的多分辨率/比特率阶梯，其中，可以生成多个空间分辨率视频信号以用于自适应地流式传输到终端用户设备。示例终端用户设备可以包括但不一定仅限于具有8位或10位视频编解码器(如高级视频编码(AVC)、HEVC、AV1等编解码器)的移动设备。

虽然在没有实施如本文描述的技术的其他方法下，8位视频信号通常非常容易受到条带伪影的影响，但是在如本文描述的技术下，如胶片颗粒噪声等噪声可以以光亮度相关的噪声强度被注入到用于生成视频信号(包括8位视频信号)的HDR视频信号中，以实现有效的假轮廓或条带减轻。

可以在各种系统配置(或架构)中实施条带减轻的自适应流式传输。在示例中，条带减轻的自适应视频流式传输可以与片段/节点风格并行处理结合操作。在另一个示例中，条带减轻的自适应视频流式传输可以与如广播应用等线性/实时编码结合操作。

媒体流式传输系统或服务(其可以被称为媒体流式传输器)可以使用多个空间分辨率和/或多个比特率下的多个视频信号来支持自适应流式传输。这些多个视频信号中的每一个都描绘了与输入源HDR视频信号相同的视觉语义内容，并且可以由媒体流式传输器从输入源HDR视频信号生成。

媒体流式传输器可以取决于各种客户端特定的媒体流式传输条件/因素中的一些或全部，动态地适配将视频内容流式传输到给定媒体流式传输客户端(包括但不限于移动客户端设备)的媒体流式传输操作。这些客户端特定的媒体流式传输条件/因素可以包括但不一定仅限于以下各项中的任一项：网络条件或网络带宽、可用的系统资源、传输延迟和/或系统延迟、用户特定的设置/选择等。

在给定时间，媒体流式传输器可以向给定媒体流式传输客户端流式传输特定空间分辨率和/或特定比特率的具体选择的视频信号的一个或多个视频片段或流部分。特定视频信号可以(例如，动态地、实时地、在运行时等)取决于特定于和/或通用于给定媒体流式传输客户端的一些或全部实时或非实时流式传输条件/因素而从多个空间分辨率和/或多个比特率的多个视频信号中被选择。

在一些操作场景中，如本文描述的媒体流式传输器可以实施包含完整媒体处理流水线的多个实例的系统配置。完整媒体处理流水线的每个实例可以用于生成所支持空间分辨率和/或所支持比特率的不同设置或组合的多个视频信号中的相应视频信号。例如，完整媒体处理流水线或其每个实例可以生成(输入)源图像与基层(BL)图像之间的前向整形映射和后向整形映射；将噪声注入到源图像中，以减轻或防止假轮廓伪影；调整注入噪声的源图像的大小或对其进行空间下采样；将大小调整后的注入噪声的源图像前向整形为经整形的嵌入噪声的(例如，条带掩盖的、注入噪声的等)BL图像；将注入噪声的BL图像编码/压缩为相应的视频信号，等等。

在一些操作场景中，如本文描述的媒体流式传输器可以实施用于多级编码的系统配置。作为说明而非限制，媒体流式传输器可以实施两级系统配置(包括但不限于两级单层后向兼容(SLBC)编码器系统配置或架构)，其包括执行如前所述的完整媒体处理流水线的第一部分的第一级和执行完整媒体处理流水线的剩余部分的第二级。

用于多级编码的系统配置可以被设计为对用于自适应流式传输应用的视频内容进行相对高效的编码，并利用云计算资源来创建具有空间分辨率(或图片分辨率)和比特率的多个组合的多个编码比特流。媒体流式传输器可以实施第一级的单个实例和第二级的多个实例，以生成比特率阶梯中所支持空间分辨率和/或所支持比特率的不同设置或组合的多个视频信号。在两级系统配置中，可以使用前向整形数据和胶片颗粒噪声注入机制来编码和输出多个编码比特流。噪声注入(包括但不限于胶片颗粒注入)可以用于掩盖或显著减少假轮廓伪影，并因而显著提高在如移动电话等终端用户设备上渲染视频内容时的视觉质量。

完整媒体处理流水线的第一部分由两级系统配置的第一编码级执行，并且包括：生成(输入)源图像与基层(BL)图像之间的前向整形映射和后向整形映射，将从前向整形映射得到的二进制数据前向传递到第二级等。前向整形映射和后向整形映射使得能够在相对高动态范围(例如，EDR等)的视频内容与相对低动态范围(例如，SDR等)的视频内容之间来回转换。HDR视频内容和SDR视频内容可以描绘相同的视觉语义内容，尽管具有不同的动态范围(例如，不同的光亮度范围等)。

完整媒体处理流水线的第二部分由两级系统配置的第二编码级的多个实例中的每个实例执行，并且包括：从第一级接收前向二进制数据，调整源图像的大小或对其进行空间下采样，使用前向二进制数据来确定光亮度相关的噪声强度，以所确定的光亮度相关的噪声强度将噪声注入到大小调整后的源图像中以减轻或防止假轮廓伪影，将大小调整后的注入噪声的源图像前向整形为嵌入噪声的BL图像，将嵌入噪声的BL图像编码/压缩为所支持空间分辨率和/或比特率的不同设置或组合的多个视频信号中的相应视频信号等。

与完整媒体处理流水线相反，两级系统配置有效地实施了完整/缩减媒体处理流水线。完整媒体处理流水线的第一部分可以用两级系统配置或完整/缩减媒体处理流水线的第一级只执行一次，而完整媒体处理流水线的第二部分可以用两级系统配置或完整/缩减媒体处理流水线的第二级的多个实例执行或实例化多次。

因此，在两级系统配置中，只有缩减流水线(或者从完整媒体处理流水线缩减的第二级)被完整/缩减媒体处理流水线的第二级(的多个实例)执行多次。然而，完整/缩减媒体处理流水线的第二级的每个实例可以与完整/缩减媒体处理流水线的第一级组合，以针对多个视频信号中的相应视频信号提供充分或完全等同于完整媒体处理流水线(的实例)的功能。附加地、可选地或替代性地，第二级的多个实例可以但不限于在一个或多个计算处理器的不同处理线程中或在多个不同计算处理器中独立地和/或并行地运行。

作为结果，与部署完整/缩减媒体处理流水线的多个实例相比，冗余媒体处理和计算成本能够在完整/缩减媒体处理流水线中被显著降低，以支持具有多个空间分辨率和/或多个比特率的自适应流式传输。

如本文描述的自适应流式传输可以用各种计算系统来实施，所述计算系统包括但不限于以下各项中的任一项：单个计算系统、多个计算系统的组合、地理分布式计算系统、一个或多个计算系统网络等。

在一些操作场景中，两级系统配置或完整/缩减媒体处理流水线可以由基于云的计算机集群来实施，所述基于云的计算机集群包括多个集群计算机节点，所述多个集群计算机节点中的每一个可以是通过云计算服务启动的虚拟计算机。输入源视频流可以用于生成多个连续的(例如，部分重叠的等)输入视频片段。从输入源视频流生成的多个输入视频片段中的每个输入视频片段可以被指派给云计算机集群中的特定集群计算节点，以产生支持用于自适应流式传输的空间分辨率和/或比特率的不同设置或组合的对应编码比特流部分或输出视频片段。

被流式传输到接收方媒体流式传输客户端的自适应流式传输视频信号可以包括连续编码比特流部分序列或连续输出视频片段序列。连续编码比特流部分序列或连续输出视频片段序列中的编码比特流部分或输出视频片段(覆盖共同表示由连续编码比特流部分序列或连续输出视频片段序列覆盖的整个媒体节目持续时间的多个时间片段/区间中的时间片段/区间)可以取决于特定于或通用于接收方媒体流式传输客户端的实时或非实时流式传输条件/因素具体地从空间分辨率和/或比特率的不同设置或组合的不同视频信号中选择。

视频信号可以被直接或间接地发射、流式传输和/或传输到接收方媒体流式传输客户端。例如，如果嵌入噪声的BL图像与接收方媒体流式传输客户端的适用显示能力相匹配，则从视频信号解码的嵌入噪声的BL图像可以直接由接收方媒体流式传输客户端渲染。

附加地、可选地或替代性地，视频信号可以进一步携带图像元数据，所述图像元数据包括但不限于后向整形映射(或合成器元数据)、显示管理(DM)元数据等中的一些或全部。接收方媒体流式传输客户端可以使用与视频信号或其中的部分/片段一起接收的图像元数据或后向整形映射来合成与接收方媒体流式传输客户端的适用显示能力相匹配的更高动态范围、更宽色域、更高空间分辨率等的图像。这些合成的(或重建的)图像可以由接收方媒体流式传输客户端渲染，而不是由从视频信号解码的BL图像渲染。

本文描述的示例实施例涉及编码视频数据。生成前向整形映射以将第一动态范围的源图像映射到比所述第一动态范围低的第二动态范围的对应前向整形图像。将噪声注入到第一动态范围和第一空间分辨率的图像中，以生成第一动态范围和第一空间分辨率的注入噪声的图像。第一动态范围和第一空间分辨率的图像是通过对第一动态范围的源图像进行空间下采样而生成的。应用前向整形映射来映射第一动态范围和第一空间分辨率的注入噪声的图像，以生成第二动态范围和第一空间分辨率的嵌入噪声的图像。向接收方设备传输用第二动态范围和第一空间分辨率的嵌入噪声的图像编码的视频信号，以供接收方设备渲染从嵌入噪声的图像生成的显示图像。

本文描述的示例实施例涉及解码视频数据。接收由上游编码器生成并用第二动态范围和第一空间分辨率的嵌入噪声的图像编码的视频信号。第二动态范围低于第一动态范围。第二动态范围和第一空间分辨率的嵌入噪声的图像已经通过上游编码器向第一动态范围和第一空间分辨率的注入噪声的图像应用前向整形映射而被生成。第一动态范围和第一空间分辨率的注入噪声的图像已经通过上游编码器将噪声注入到第一动态范围和第一空间分辨率的图像中而被生成。第一动态范围和第一空间分辨率的图像是通过对第一动态范围的源图像进行空间下采样而生成的。从第二动态范围和第一空间分辨率的嵌入噪声的图像生成显示图像。在图像显示器上渲染显示图像。

示例视频传输处理流水线

图1描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个级。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机等)数字地捕获或者由计算机(例如，使用计算机动画等)生成以提供视频数据(107)。附加地、可选地或替代性地，视频帧(102)可以由胶片相机捕获在胶片上。胶片可以被转换为数字格式以提供视频数据(107)。在制作级(110)，对视频数据(107)进行编辑以提供视频制作流(112)。

制作流(112)的视频数据然后被提供给处理器以进行后期制作编辑(115)。后期制作编辑(115)可以包括调整或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(colortiming)”或“颜色分级(color grading)”。可以在后期制作编辑(115)处执行其他编辑(例如，场景选择和排序、手动和/或自动场景剪切信息生成、图像裁剪、添加计算机生成的视觉特效等)以生成HDR图像的后期制作版本和SDR图像的内容映射版本。

HDR图像的后期制作版本和SDR图像的内容映射版本描绘了同一组视觉场景或语义内容。SDR图像的内容映射版本可以通过手动、自动执行的内容映射和/或颜色分级或手动和自动图像处理操作的组合从HDR图像的后期制作版本得到。在一些操作场景中，在后期制作编辑(115)期间，HDR图像的后期制作版本和SDR图像的内容映射版本中的一者或两者例如由配色师在分别支持(例如，引导等)渲染HDR和SDR图像的HDR和SDR参考显示器上进行查看和颜色分级。

作为示例而非限制，HDR图像(117-1)可以表示HDR图像的后期制作版本，而SDR图像(117)可以表示SDR图像的内容映射版本。编码块(120)从后期制作编辑(115)接收HDR图像(117-1)和SDR图像(117)，并且将HDR图像(117-1)前向整形为经(前向)整形的SDR图像。前向整形SDR图像可以接近地近似于来自自动或手动内容映射(和/或颜色分级)操作的SDR图像(117)。

编码块(120)可以实施如本文描述的一些或全部条带减轻和自适应流式传输操作，以针对空间分辨率和/或比特率的多种不同组合生成条带减轻的前向整形SDR图像的多个目标版本。

在一些操作场景中，条带减轻的前向整形SDR图像的多个目标版本中的一些或全部中的每个目标版本可以由编码块(120)以线性视频编码模式压缩/编码成编码比特流(122)。编码比特流(122)包括目标版本中的SDR图像(例如，前向整形条带减轻的SDR图像等)。附加地、可选地或替代性地，编码比特流(122)可以包括图像元数据(例如，后向整形元数据等)，所述图像元数据包括要由编码比特流(122)的接收方设备用来从目标版本中的前向整形条带减轻的SDR图像重建HDR图像的操作参数。

在一些操作场景中，条带减轻的前向整形SDR图像的多个目标版本中的一些或全部中的每个目标版本可以由编码块(120)以片段视频编码模式压缩/编码成连续视频片段序列(122-1)。构成条带减轻的前向整形SDR图像的多个目标版本中的一些或全部中的目标版本的连续视频片段序列(122-1)中的每个视频片段可以是可独立访问的视频流式传输文件(或包括主视频文件和零个或多个伴随文件的视频流式传输文件集)，其在目标版本所覆盖的整个时间区间中的时间子区间(例如，10秒、20秒等)内提供视频内容。附加地、可选地或替代性地，视频片段可以包括图像元数据(例如，后向整形元数据等)，所述图像元数据包括要由视频片段的接收方设备用来从被编码在视频片段中的前向整形条带减轻的SDR图像重建HDR图像的操作参数。

编码块(120)可以至少部分地用音频编码器和视频编码器来实施，如由ATSC、DVB、DVD、蓝光和其他传输格式等定义的那些音频编码器和视频编码器，以生成条带减轻的前向整形SDR图像的多个目标版本中的一些或全部，并将条带减轻的前向整形SDR图像的多个目标版本中的一些或全部中的每一个目标版本编码成相应的编码比特流(例如，122等)和/或相应的连续视频片段序列(例如122-1等)。

在一些操作场景中，编码比特流(例如，122等)或视频片段序列(例如122-1等)可以表示与多种SDR显示设备(例如，SDR显示器等)后向兼容的视频信号(例如，8位SDR视频信号、10位SDR视频信号等)。在非限制性示例中，用前向整形条带减轻的SDR图像编码的视频信号可以是单层后向兼容视频信号。在此，“单层后向兼容视频信号”可以指在单个信号层中携带针对SDR显示器进行了优化或颜色分级的SDR图像的视频信号。示例单层视频编码操作在G-M.Su等人的美国专利申请公开No.2019/0110054“Encoding and decodingreversible production-quality single-layer video signals[对可逆的、制作质量的单层视频信号进行编码和解码]”中进行了描述，所述美国专利申请的全部内容就像在本文充分阐述的一样通过引用并入本文。

与被编码在视频信号中的前向整形条带减轻的SDR图像一起提供的图像元数据中的一些或全部操作参数可以被视频信号的接收方设备解码并用于图像处理操作(例如，预测操作、后向整形操作、逆色调映射操作等)中，以生成动态范围比前向整形条带减轻的SDR图像所表示的动态范围更高的重建图像。

在一些操作场景中，经解码图像表示由上游视频编码器(例如，用编码块(120)等)进行了前向整形和条带减轻的SDR图像，其通过对HDR图像(117-1)的后期制作版本中的(例如，可能地经空间下采样的等)后期制作HDR图像进行前向整形以近似SDR图像(117)的内容映射版本中的(例如，可能地经空间下采样的等)后期制作SDR图像而被生成。使用在视频信号中传输的图像元数据中的操作参数从经解码图像生成的重建图像表示在编码器侧的HDR图像(117-1)的后期制作版本中近似(例如，可能地经空间下采样的等)后期制作HDR图像的HDR图像。

示例整形操作在G-M.Su等人的美国专利10,080,026“Signal reshapingapproximation[信号整形近似]”中进行了描述，所述美国专利申请的全部内容就像在本文充分阐述的一样通过引用并入本文。

附加地、可选地或替代性地，视频信号用附加图像元数据编码，所述附加图像元数据包括但不限于显示管理(DM)元数据，下游解码器可以使用所述DM元数据对经解码图像或后向整形图像执行显示管理操作以生成被优化用于在目标显示器上渲染的显示图像。

编码比特流(例如，122等)或视频片段序列(例如，122-1等)形式的视频信号随后被向下游传输到如移动设备、解码和回放设备、媒体源设备、媒体流式传输客户端设备、电视机(例如，智能TV等)、机顶盒、电影院等接收方。在接收方(或下游设备)中，解码块(130)对视频信号进行解码以生成经解码图像182，所述经解码图像182可以与由编码块(120)编码成视频信号的图像(例如，前向整形条带减轻的SDR图像等)相同，经受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中生成的量化误差的影响。

在接收方与支持渲染经解码图像(182)的目标显示器140一起操作(或者附接到或可操作地链接到所述目标显示器)的操作场景中，解码块(130)可以从编码比特流(122)(例如，编码比特流中的单层等)中解码图像(182)，并且直接或间接地使用经解码图像(182)(例如，前向整形SDR图像等)以在目标显示器(140)上进行渲染。

在一些操作场景中，目标显示器(140)具有与SDR参考显示器(125)类似的特性，并且经解码图像(182)为可在目标显示器(140)上直接观看的前向整形条带减轻的SDR图像。

在一些实施例中，接收方与目标显示器一起操作(或者附接到或可操作地链接到所述目标显示器)，所述目标显示器具有与经解码图像(182)的优化所针对的参考显示器不同的显示能力。图像元数据(或合成器元数据)中的一些或全部操作参数可以用于从针对目标显示器优化的经解码图像(182)中合成或重建图像。

例如，接收方可以与相比于经解码图像(182)支持更高动态范围(例如，100尼特、200尼特、300尼特、500尼特、1,000尼特、4,000尼特、10,000尼特或更多等)的HDR目标显示器140-1一起操作。接收方可以从视频信号(例如，其中的(多个)元数据容器等)中提取图像元数据，并使用图像元数据(或合成器元数据)中的操作参数来从解码图像(182)(如前向整形条带减轻的SDR图像)中合成或重建图像132-1。

在一些操作场景中，重建图像(132-1)表示针对在与结合接收方操作的HDR目标显示器相同或可比的HDR显示器(例如，参考显示器等)上查看而被优化的重建HDR图像。接收方可以直接使用重建图像(132-1)以在HDR目标显示器上进行渲染。

在一些操作场景中，重建图像(132-1)表示针对在与结合接收方操作的HDR目标显示器(140-1)不同的HDR显示器(例如，参考显示器等)上查看而被优化的重建HDR图像。显示管理块(例如，135-1等)(其可以位于接收方中、位于HDR目标显示器(140-1)中或位于单独的设备中)通过生成适于HDR目标显示器(140-1)的特性的显示器映射信号(137-1)来进一步根据HDR目标显示器(140-1)的特性调整重建图像(132-1)。可以在HDR目标显示器(140-1)上渲染显示图像或调整的重建图像。

条带减轻的自适应视频流式传输

如本文描述的技术可以用于例如在云计算环境中支持空间分辨率和比特率的多种不同组合下的自适应流式传输视频图像。同时，实施相对高效的假轮廓(或条带)减轻，以掩盖视频图像中的假轮廓或条带伪影。

这些技术使得媒体流式传输器能够在噪声或胶片颗粒注入的情况下保持相对高的(例如，尽可能好的等)条带减轻或掩盖能力，并且减少用于构建藉其生成空间分辨率和比特率的多种不同组合的视频图像的比特率阶梯的计算成本和磁盘空间使用率。

可以实施自适应视频流式传输，以生成、编码和/或流式传输具有不同空间分辨率和比特率的目标视频内容，从而适应于时变或动态变化的网络条件/带宽，并且在这些不同的网络条件/带宽下提供经流式传输的视频内容的相对平滑的视频回放。

如本文所述，可以在媒体流式传输器中实施比特率阶梯，以生成具有空间分辨率和/或比特率的不同组合的一些或全部目标视频内容。媒体流式传输器可以但不限于被称为媒体流式传输服务器/服务、视频流式传输服务器/服务、媒体/视频内容提供商、媒体或视频编码器、媒体广播系统、上游设备等。在一些操作场景中，可以在云计算环境中部署或访问媒体流式传输器。如本文描述的自适应流式传输架构可以以相对高的效率和相对低的(例如，基于云的等)计算资源使用率来实施，从而显著降低将媒体/视频内容流式传输到终端用户设备时的持续操作成本。示例计算资源使用率可以包括但不一定仅限于与(例如，基于云的等)CPU时间、磁盘空间等相关的任何使用率。

在一些操作场景中，可以针对比特率阶梯中的空间分辨率和/或比特率的每个设置或组合部署单独的完整媒体处理流水线。就相对高的CPU使用率、相对高的磁盘空间使用率等而言，这可能容易招致显著的计算成本。

如本文描述的媒体流式传输器实施如两级视频编码流水线等多级编码，利用所述多级编码执行成本有效的计算，以通过支持多个空间分辨率和/或多个比特率的比特率阶梯的条带减轻视频信号实现改善的视频质量。在一些操作场景中，可以用由云计算环境中的共用或共享的基于云的系统或服务提供或租借的计算资源来实施媒体流式传输器。

仅出于说明的目的，媒体流式传输器从输入HDR视频源接收包括相对高输入动态范围的输入或源HDR图像的夹层(mezzanine)视频内容项目。夹层视频内容项目可以是但不限于TV节目、电影、事件的视频记录等。在一些操作场景中，输入HDR视频源可以由实施或包括图1的端对端视频传输流水线中的后期制作块(115)的系统生成并提供给媒体流式传输器。媒体流式传输器(或与媒体流式传输器一起实施或操作的视频编码系统)可以在图1的端对端视频传输流水线中实施编码块(120)，以编码或生成不同空间分辨率和/或不同比特率的不同组合下的多个(例如，大于一(1)的正整数M等)视频信号，如编码比特流或输出视频片段序列。

媒体流式传输器可以从要实时地流式传输到终端用户设备以用于(例如，实时、近实时等)回放或图像渲染的一些或全部比特流或输出视频片段中选择(例如，时变的、波动的等)可用网络带宽/条件可支持的最佳可能质量的视频帧或视频图像。

如本文描述的编码比特流或输出视频片段可以包括用相对低动态范围的前向整形(SDR)图像编码的(例如，8位、图像数据等)基层，所述前向整形(SDR)图像由编码块(120)通过对源HDR图像(例如，其经空间下采样的胶片颗粒注入版本)进行前向整形而生成。

在一些操作场景中，目标条带(或伪轮廓)减轻的视频内容(例如，SDR图像的目标版本等)可以从媒体流式传输器流式传输到终端用户设备，包括但不限于具有相对小的显示屏尺寸和/或用(例如，仅等)8位视频解压缩或解码模块操作的相对暗的显示屏的移动设备。在不实施如本文描述的技术的情况下，8位视频系统可能没有足够的图像处理能力来避免或改善图像渲染操作中的假轮廓伪影。

在一些操作场景中，在编码器侧，可以在前向整形路径处注入胶片颗粒噪声。另外，可以在对应的后向整形路径处调整逆色调映射曲线，以减少或减轻条带伪影。在前向整形路径和后向整形路径两者中执行的这些操作可能招致相对高的计算成本。此外，为了减少条带伪影，这些操作可能会牺牲高光对比度。因此，在使用大而亮的显示屏(而不是显示能力有限的移动设备)来渲染图像的操作场景中，这些操作可能相对有效。即使对于大而亮的显示屏，在许多情况下，由于大显示屏尺寸和明亮显示屏上的假轮廓或条带伪影的高可见性，假轮廓或条带伪影在没有实施如本文描述的技术的其他方法下也不能被充分或完全去除。

鉴于移动设备的显示屏尺寸相比于如TV等典型的非移动设备图像显示器小得多且其图像显示器也更暗，与更大且更亮的非移动设备图像显示器相比，移动设备倾向于生成通常更少的假轮廓或条带/压缩伪影。附加地、可选地或替代性地，与非移动设备显示器相比，移动设备倾向于对注入胶片颗粒噪声产生较少的关注。

可以实施如本文描述的技术来利用移动设备显示屏的这些(例如，独特的、不同的等)特性。在这些技术下，可以实施相对高效和有效的条带减轻方法，以根据(例如，光亮度等)前向整形函数的斜率或者与其协变地简单地调制胶片颗粒强度直到达到相对强的胶片颗粒强度。

为了实现在(例如，8位等)基层中编码的图像内容的相对高质量的条带掩盖或减轻，可以由编码块(120)针对比特率阶梯中的空间分辨率和比特率的不同设置或组合来调谐如离散余弦变换(DCT)块大小、DCT频率、最小/最大噪声强度等胶片颗粒参数。

完整媒体处理流水线

图2A图示了用完整媒体处理流水线的多个实例实施用于自适应视频内容流式传输的比特率阶梯的示例系统配置。在该系统配置中，为了针对比特率阶梯中空间分辨率和比特率的每个设置或组合实现相对高的性能，为每个设置或组合创建完整的编码实例。例如，可以创建M个完整的编码实例(或完整媒体处理流水线的M个实例)，以针对服务器侧(例如，编码器侧、自适应流式传输服务侧等)的比特率阶梯中的M个空间分辨率和比特率的设置或组合生成比特流或视频片段序列。

M个完整的编码实例中的每一个都表示完整流水线，其中：对(例如，每一个等)输入HDR图像进行空间下采样以生成相应的大小调整后的图像(表示为“HDR1”、…“HDR M”之一)；对大小调整后的HDR图像进行内容映射(表示为“CM”)以生成对应的SDR图像，所述SDR图像描绘了与HDR图像相同的视觉语义内容，但是具有减小的动态范围和可能减小的空间分辨率；大小调整后的HDR图像和SDR图像可以用于生成前向整形映射(表示为“计算前向函数系数”)；前向整形映射用于将大小调整后的HDR图像前向整形为经整形的SDR图像；大小调整后的HDR图像和经整形的SDR图像用于生成后向整形映射，所述后向整形映射可以作为图像元数据的一部分(表示为“Rpu 1”、…“Rpu M”之一)提供给接收方设备，并被接收方设备用来对近似于大小调整后的HDR图像的HDR图像进行后向整形或重建；大小调整后的HDR图像被注入噪声(表示为“胶片颗粒注入”)；对注入噪声的大小调整后的HDR图像进行前向整形(表示为“执行前向整形”)以生成嵌入噪声的SDR图像；嵌入噪声的SDR图像被编码(表示为“视频压缩”)成BL图像数据层(表示为“BL 1”、…“BL M”之一)中的视频信号或输出视频片段序列；等等。

虽然比特率阶梯的这种实施方式可能生成相对高质量的比特流或视频片段，但是其计算效率可能相对低，因为比特率阶梯中的每个设置或组合的编码比特流或视频片段序列是通过运行多个完整的独立编码器侧处理流水线中的完整的独立编码器侧处理流水线来生成的，如图2A所图示。

在该系统配置中，如比特率阶梯中空间分辨率和比特率的每个不同设置或组合中的后向整形元数据等的图像元数据是不同的，并且相对于比特率阶梯中的其他设置或组合是单独生成的，因为不同设置或组合中的前向整形的SDR图像通过空间下采样过程具有不同的空间维度，并且具有不同的注入胶片颗粒。附加地、可选地或替代性地，在使用多级视频有损压缩/编码来实现相对高的视频质量并且要避免将图像数据昂贵地写入BL的操作场景中，每个编码实例可能不得不运行两次，从而导致相对高的成本低效性。

完整媒体处理流水线之后的下采样

图2B和图2C图示了在完整媒体处理流水线之后用下采样实施用于自适应视频内容流式传输的比特率阶梯的示例两级系统配置。在该系统配置中，为了实现相对高的计算效率，如图2B所图示，第一级和第二级(构成完整编码处理流水线)两者都是针对最高空间分辨率(与源HDR图像的空间分辨率相同或相当)执行的，以获得最高空间分辨率的未压缩BL图像(例如，SDR图像等)和对应于BL图像的图像元数据。

在如图2B所图示的完整流水线中，对(例如，每个等)输入HDR图像进行内容映射(表示为“CM”)以生成对应的SDR图像，所述SDR图像描绘了与HDR图像相同的视觉语义内容，但是具有减小的动态范围和可能减小的空间分辨率；HDR图像和SDR图像可以用于生成前向整形映射(表示为“计算前向函数系数”)；前向整形映射用于将HDR图像前向整形为经整形的SDR图像；HDR图像和经整形的SDR图像用于生成后向整形映射，所述后向整形映射可以作为图像元数据(表示为“Rpu”)提供给接收方设备，并被接收方设备用来对近似于HDR图像的HDR图像进行后向整形或重建；HDR图像被注入噪声(表示为“胶片颗粒注入”)；对注入噪声的HDR图像进行前向整形(表示为“执行前向整形”)以生成嵌入噪声的SDR图像或最高分辨率的未压缩BL图像；等等。

然后，在图2C所图示的第二级，对于比特率阶梯中空间分辨率和比特率的每个设置或组合，最高空间分辨率的BL图像被空间下采样到不同的空间分辨率(表示为“大小调整后的BL 1”、…“大小调整后的BL M”)。然后，根据设置或组合的比特率，不同空间分辨率的经下采样的BL图像被压缩(表示为“视频压缩”)或编码成不同的视频信号(表示为“BL1”、…“BL M”)或不同的输出视频片段序列。

因此，在如图2B和图2C所图示的系统配置中，对于除比特率阶梯中的最高质量组合之外的空间分辨率和比特率的每个组合，可以执行空间下采样和视频压缩操作以获得对应的比特流或视频片段序列。在该配置或架构中，从图2B的完整流水线生成的图像元数据可以在每个空间大小调整后的(或经空间下采样的)比特流或视频片段序列中被重新使用。

尽管节省了大量计算，但是由于胶片颗粒参数对于所有不同的空间分辨率和比特率都是相同的，因此该系统配置可能允许或可能不允许针对不同的空间分辨率和比特率优化胶片颗粒参数。因为在空间下采样操作期间，注入图像内容中的所注入的胶片颗粒与(主)图像内容一起被下采样，所以用最高空间分辨率图像生成的中空间频率胶片颗粒可以在这些空间下采样操作中被低通滤波。作为结果，尽管该系统配置使得能够在比特率阶梯中空间分辨率和比特率的其他设置或组合中重新使用从最高空间分辨率图像生成的图像元数据，但是在经空间下采样的图像中胶片颗粒的锐度下降，使得这些经下采样的图像中的条带减轻可能足够有效或可能不够有效。

该系统配置还可能招致高磁盘空间使用率，因为来自如图2B所图示的第一级的BL图像需要被写入磁盘空间，使得如图2C所图示的第二级的多个实例中的每个实例可以接收BL图像作为用于如空间下采样、视频压缩等相应编码操作的输入。替代性地，为了避免将来自如图2B所图示的第一级的BL图像写入磁盘空间，可以重复第一级中的操作。实际上，如图2B和图2C所图示的该系统配置或架构可以变成或退化成图2A的系统配置，该系统配置包括多个完整处理流水线，以生成比特率阶梯中空间分辨率和比特率的多种设置或组合。如果要支持多级视频压缩，则该问题可能会加剧。利用磁盘空间中可用的BL图像可以更好地执行多级视频压缩，而不是重复运行第一级。

完整/缩减媒体处理流水线

图2D和图2E图示了具有两级完整和缩减流水线的示例系统配置或架构，其在完整/缩减媒体处理流水线中具有第一级的单个实例和第二级的多个实例。该系统配置可以用于优化比特率阶梯中空间分辨率和比特率的每个设置或组合中的胶片颗粒设置，并且同时节省计算成本和磁盘空间。

在如图2D所图示的第一级，对(例如，每个等)输入HDR图像进行内容映射(表示为“CM”)以生成对应的SDR图像，所述SDR图像描绘了与HDR图像相同的视觉语义内容，但是具有减小的动态范围和可能减小的空间分辨率；HDR图像和SDR图像可以用于生成前向整形映射(表示为“计算前向函数系数”)；前向整形映射用于将HDR图像前向整形为经整形的SDR图像；HDR图像和经整形的SDR图像用于生成后向整形映射，所述后向整形映射可以作为图像元数据提供给接收方设备，并被接收方设备用来对近似于HDR图像的HDR图像进行后向整形或重建；等等。

在如图2D所图示的第一级，计算、生成指定前向整形(或前向整形函数)的操作参数或系数和/或将其输出到二进制文件(表示为“前向二进制”或FB)中。另外，计算、生成指定后向整形(或后向整形函数)的操作参数或系数和/或将其输出为要根据编码句法规范被编码或格式化为(多个)比特流或(多个)视频片段的图像元数据(表示为“Rpu”或“rpu”)。

在如图2D所图示的第一级，虽然计算或生成了用于前向整形的操作参数，但是不需要(例如，实际上等)执行基于这些操作参数的前向整形来获得用于压缩的BL图像。可以在第一级禁用噪声注入，以避免使用噪声注入的亮度码字来计算或生成用于前向整形(或前向整形函数)的操作参数。

在如图2E所图示的第二级的每个实例中，输入HDR图像的大小被调整到比特率阶梯所支持的空间分辨率和/或比特率的不同设置或组合中的每个(例如，目标等)空间分辨率(表示为“大小调整后的HDR 1”、…“大小调整后的HDR M”之一)。利用从第一级生成或输出的用于前向整形(或前向整形函数)的操作参数或系数，可以调整胶片颗粒参数，并且可以将胶片颗粒噪声以调整后的胶片颗粒参数注入(表示为“胶片颗粒注入”)到比特率阶梯中的每个这样的空间分辨率的大小调整后的HDR图像(“大小调整后的HDR 1”、…“大小调整后的HDR M”)中。包括一组特定胶片颗粒参数的胶片颗粒参数设置可以用于将噪声注入到如本文描述的HDR图像中；注入噪声的HDR图像可以用于前向整形为要编码成支持特定空间分辨率和/或比特率的视频信号的SDR或BL图像。向HDR图像中注入噪声与向HDR图像应用前向整形函数以生成经整形的SDR图像或BL图像是分开且独立的；在一些操作场景中，可以使用从前向整形函数得到的信息来计算光亮度相关的噪声强度。附加地、可选地或替代性地，可以在第二级中针对每个空间分辨率和/或比特率单独选择或挑选噪声注入参数。

在如图2E所图示的第二级中，可以对大小调整后的注入噪声的HDR图像执行(表示为“执行前向整形”)由如图2D所图示的从第一级计算或生成的操作参数或系数指定的前向整形，以生成对应的BL图像以用于压缩/编码(表示为“视频压缩”)成相应视频信号(表示为“BL 1”、…“BL M”)。

在如图2E所图示的第二级，不需要计算用于前向和后向整形的操作参数，因为这些操作参数已经在如图2D所图示的第一级被生成。因此，在第二级，不需要为了将内容映射的SDR图像用作参考SDR图像来生成用于前向和后向整形的操作参数的目的而生成所述内容映射的SDR图像。可以在第二级跳过对应的内容映射操作，这可能是视频编码中计算最密集的部分。作为结果，在第二级中，可以最佳地和相对高效地调整和应用胶片颗粒参数，而不会招致相对高的计算成本，如图2E所图示。

如图2E所图示的第二级表示如图2A所图示的完整编码流水线的缩减版本。如图2D和图2E所图示的系统配置或架构非常适合于实施两级视频压缩流水线。在用多级编码来编码比特流或视频片段的操作场景中，如图2E所图示的缩减流水线可以被运行多次。在如图2E所图示的第二级生成的BL图像不需要被写入到磁盘空间中。相反，这些BL图像(例如，以BL YUV文件的格式等)可以被直接输出或馈送到执行BL图像的视频压缩的后续视频压缩模块的输入存储器(例如，随机存取存储器、主存储器、缓存存储器等)中，从而显著降低云计算环境中的磁盘空间成本。

在一些操作场景中，在如图2D所图示的第一级，指定前向整形(或前向整形函数)的操作参数(如在图2D的第一级中生成的)被输出为或写入从图2D的第一级到图2E的第二级的前向二进制文件。前向二进制文件可以包括经下采样的亮度或色度整形数据。例如，在将较高位深度的亮度或色度码字映射到较低位深度的亮度或色度码字的FLUT中，较高位深度的亮度或色度码字可以从较高位深度下采样到低于较高位深度但高于较低位深度的中间位深度，以生成将中间位深度的亮度或色度码字映射到较低位深度的亮度或色度码字的经下采样的FLUT。作为结果，在如本文描述的多级编码系统配置中，可以生成较小数据大小的FLUT，并将其从第一级传递到第二级。附加地、可选地或替代性地，前向二进制文件可以包含没有下采样的亮度或色度整形数据。例如，多变量多元回归(MMR)表示中的整形数据可以不被下采样。

在多级编码中将前向二进制从第1级传递到第2级。

仅出于说明的目的，前向二进制文件包括文件头和按帧顺序的多个连续帧的每帧(或每图像)前向整形信息。

文件头包括一组头参数，所述一组头参数可以由第二级用来例如用来自前向二进制文件的每帧前向整形信息执行(例如，正确的等)读取操作。

在一些操作场景中，所述一组头参数包括以下各项中的一些或全部：(前向二进制文件)版本信息；在前向二进制文件中提供前向整形信息的帧/图像的数量；HDR位深度；SDR或BL位深度；前向查找表(前向LUT或FLUT)中指定每帧亮度前向整形的条目总数；指定每帧色度前向整形的MMR系数的最高阶；等等。

每帧前向整形信息包括用于将HDR亮度通道码字(例如，12位精度等)前向整形为前向整形SDR亮度通道码字(例如，8位精度等)的亮度一维(1D)LUT(或FLUT)以及用于将HDR亮度和色度码字映射为属于每个前向整形SDR色度通道的码字的MMR系数这两者。

给定HDR位深度，每帧前向整形信息的大小取决于SDR或BL位深度。对于8位BL位深度，1D-LUT(或FLUT)可以使用每条目一个字节。因此，1D-LUT(或FLUT)中的条目总数是2¹²*1＝4096字节，例如对于12位精度的视频/图像数据。

给定MMR系数的最高阶为3阶，用于生成前向整形色度(Cb和Cr)通道码字的浮点精度(4字节)的MMR系数可以使用2(通道)*22(高达3阶的MMR系数)*4(浮点精度的字节)＝176字节。

因此，用于将HDR图像前向整形为SDR图像的每帧前向整形信息每帧消耗少于5K字节，这与图像数据(例如，给定空间分辨率的亮度和色度码字等)相比相对小。

在一些操作场景中，如本文描述的源(或原始)HDR图像可以是16位HDR位深度。

设F(.)是由如图2D所图示的第一级生成或预测的原始16位亮度FLUT，以将16位HDR亮度码字前向整形为SDR亮度码字。

设F’(.)是二次采样(subsampled)的亮度FLUT，以将二次采样的(例如，比16位HDR亮度码字量化的程度更高，比16位HDR位深度更小的位深度等)HDR亮度码字前向整形为SDR亮度码字。F’(.)中的条目总数(或二次采样的亮度FLUT的大小)是N_F，其中，N_F表示经下采样或二次采样的HDR亮度码字的总数。在预二次采样(pre-subsampled)的HDR亮度码字是16比特的码字空间的一些操作场景中，下采样/二次采样的HDR亮度码字中的经下采样或二次采样的HDR亮度码字的总数N_F≤2¹⁶，如4096(对应于12位经下采样的HDR位深度)。

设ε为步长(或“步幅(stride)”)，

现在，每个条目索引u＝0,1,…N_F-1的二次采样的FLUT条目可以如下得到：

其中，F′(u)表示条目索引为u的二次采样的FLUT条目；

表示条目索引为

的原始FLUT条目。

作为示例而非限制，给定N_F＝4096，条目索引u＝2028的二次采样的FLUT条目可以如下得到：与条目索引的原始FLUT条目相对应的二次采样的FLUT条目

2028*16+8＝32456。因此，F′(208)＝F(32456)。该二次采样的FLUT(F’(.))可以作为适用或对应帧的亮度前向整形信息(例如，用f作为帧索引)被写入前向二进制文件。

下表1图示了用于为前向二进制文件所覆盖的图像/帧写入每帧亮度前向整形数据的示例程序。

表1

作为示例而非限制，色度前向整形(例如，将HDR亮度和色度码字映射到前向整形的SDR色度码字)可以使用在图2D的第一级中计算的(a)MMR系数或(b)(例如，单段(singlepiece)等)多项式来完成。在各种实施例中，每个帧可以用包括(例如，单独的、不同的等)MMR系数数目的每帧色度前向整形数据来进行映射，以生成该帧的前向整形色度(例如，Cb和Cr通道等)码字。

在各种操作场景中，如本文描述的色度整形数据可以采用可变的或固定的大小。MMR表示中的色度整形数据可以包括高达任何给定阶数的MMR系数。多项式表示中的色度整形数据可以包括某些多项式位置处的一些多项式系数的零值。

在一些操作场景中，从前向二进制文件写入/读取的每帧色度前向整形数据的大小对于每个帧可以保持相同。这允许相对大数据大小的色度前向整形数据(例如，对于多个帧等)被一次写入/读取，并且相对容易被正确地划分成多个每帧色度前向整形数据固定块，从而提高数据访问/更新速度和效率，这在基于云的存储或计算环境中特别有用。

为了使每帧色度整形数据大小固定或恒定，给定(例如，任何等)类型的每帧色度整形数据(无论是(a)或(b)还是另一种类型)可以被转换或变换成固定阶MMR系数(或高达最大最高MMR阶的MMR系数)。例如，可以在前向二进制文件的头中为前向二进制文件所覆盖的所有图像/帧的色度前向整形数据指定全局MMR阶Λ^fix。全局MMR阶(其对于前向二进制文件中覆盖的所有图像/帧都是相同的)指示对于每一帧要用信号通知多少个MMR系数。这可能意味着，可能对于前向二进制文件中覆盖的图像/帧的一些帧/图像，如果这些帧/图像的每帧色度前向整形数据采用比前向二进制文件的头中指示的全局MMR阶更低的次高MMR阶，则前向二进制文件中的一个或多个最高MMR阶系数可以被设置为零(0)。

如前所述，在一些操作场景中，使用在图2D的第一级中计算的(a)MMR系数来指定或定义每帧色度前向整形数据。将通过图2D的第一级计算的第m个C(Cb或Cr；替代性地可表示为c)通道MMR系数表示为

将所计算的MMR阶表示为λ^C。

下表2图示了用于为前向二进制文件所覆盖的图像/帧写入每帧色度前向整形数据(以MMR系数的形式)的示例程序。

表2

在一些操作场景中，使用在图2D的第一级中计算的(b)(例如，单段或1段2阶等)多项式来指定或定义每帧色度前向整形数据。此处，如本文描述的多项式的多项式系数可以被置于相应或对应的MMR位置。

可以使用亮度通道Y和色度通道Cb和Cr中的第i个归一化HDR像素值来形成包括MMR系数的MMR矩阵。第i个归一化HDR像素值包括要前向整形的HDR图像/帧中的色度通道Cb和Cr中的归一化HDR像素值(例如，在[0,1)之间等)。色度通道Cb和Cr中的归一化HDR像素值可以表示为

和

第i个归一化HDR像素值还包括在噪声注入(如果启用的话)之后下采样的HDR图像中的第i个像素处的亮度通道值中的归一化HDR像素值(例如，归一化到范围[0,1)中等)。亮度通道Y中的归一化HDR像素值可以表示为

在一些操作场景中，可以执行亮度下采样以匹配YUV 420图像(或420颜色空间二次采样格式的HDR图像/帧)的亮度和色度平面的大小。

第i个色度像素的MMR向量(表示为V_i)可以使用HDR像素值如下指定或定义：

其中，第k个索引条目是

例如

2阶Cb多项式可以如下指定或定义：

以上表达式(3)中的2阶Cb多项式的多个多项式系数

可以被置于其各自对应的MMR位置或索引处：以上表达式(2)中的0、2、9，其中以零(0)作为表达式(2)中的起始位置索引。

同样，2阶Cr多项式的多个多项式系数α^Cr(未示出，但类似于以上表达式(3))可以被置于其各自对应的MMR位置或索引处：以上表达式(2)中的1、3、10。

将色度通道c的多项式系数表示为α^C。下表3中图示了用于为前向二进制文件所覆盖的图像/帧写入每帧色度前向整形数据(以多项式系数的形式存储在对应的或转换的MMR位置/索引中)的示例程序。

表3

在第二级，可以使用前向二进制文件中用信号通知的前向整形数据对HDR图像数据进行前向整形，并生成和编码具有多个空间分辨率的对应BL或SDR图像数据。

噪声强度调整

如胶片颗粒噪声等噪声可以被注入到原始或大小调整后的HDR图像中，以防止或减少直接或间接从HDR图像得到的经渲染图像中的假轮廓或条带伪影，所述原始或大小调整后的图像如原始HDR图像、源HDR图像、输入HDR图像、大小调整后的HDR图像、经空间下采样的HDR图像等。

可以在噪声图像库中的多个胶片颗粒图像中随机地或非重复地选择不同的原始或大小调整后的HDR图像的注入噪声。对于要注入噪声的每个(例如，当前、HDR、源HDR等)帧，可以从噪声图像库中的多个胶片颗粒图像中随机地或非重复地选择胶片颗粒图像。在一些操作场景中，如胶片颗粒图像等噪声图像可以用相应索引值来索引。可以使用非重复伪随机数生成器来生成避免连续生成的索引值中的重复的索引值。作为结果，两个连续的图像被注入两个不同的噪声图像或胶片颗粒图像。附加地、可选地或替代性地，如本文描述的所选噪声或胶片颗粒图像中的如胶片颗粒(噪声)等噪声可以用光亮度相关的噪声强度来缩放、调整和/或调制，并且然后被添加到原始或大小调整后的HDR图像的亮度通道，在一些操作场景中，所述原始或大小调整后的HDR图像可以被表示为HDR YUV图像。

作为示例而非限制，HDR图像的位深度为n_v＝16，其可用光亮度码字范围为[0,65535]。噪声图像库中的噪声(例如，图案、胶片颗粒等)图像可以包括在[-1,1]的尺度上归一化的噪声值。

在一些操作场景中，恒定缩放(或恒定缩放因子)可以被应用于噪声图像中的噪声值。作为结果，噪声强度跨可用光亮度码字范围中的不同光亮度子范围或亮度仓(bin)是恒定的。一方面，当用于缩放跨这些不同光亮度仓的噪声强度的缩放因子相对低时，许多图像或视频剪辑仍可能显示条带伪影。另一方面，当用于缩放跨不同光亮度仓的噪声强度的缩放因子增加或相对高时，图像或视频剪辑的一些区域或部分(尤其是高亮部分)可能会示出过多的噪声，所述噪声对于观看者来说可能是视觉上可感知的和令人讨厌的。

在一些操作场景中，(例如，HDR至SDR等)前向整形函数(例如，如本文描述的前向二进制文件中的每帧亮度前向整形数据所表示的)可以用于计算可用光亮度码字范围内的每个HDR码字处的噪声强度。前向整形函数可以用于控制在各种亮度强度子范围或仓中分配码字。

例如，在HDR光亮度码字子范围或仓被映射到相对少的SDR码字的操作场景中，(例如，连续的HDR码字)子范围或仓的映射的SDR码字之间的(例如，平均等)距离相对大或相对高。这可能引起或导致通过对接收到的视频信号中的前向整形SDR或BL图像进行后向整形而被构建的图像(例如，重建HDR图像等)中的条带相对大或相对高。因此，对于那些HDR码字子范围或仓，可以应用相对高的噪声强度来防止、掩盖或减少条带伪影。

另一方面，在HDR仓被映射到相对众多的SDR码字的操作场景中，在通过对接收到的视频信号中的前向整形SDR或BL图像进行后向整形而被构建的后向整形HDR图像中，那些仓中可能存在较少的视觉条带。对于那些光亮度仓，较低的噪声强度足以掩盖任何假轮廓或条带伪影，并且同时防止不必要的恼人的高噪声。

在这些操作场景中，HDR亮度子范围或仓中的噪声强度可能与分配给HDR亮度子范围或仓的映射SDR码字的总数成逆相关。

在各种实施例中，如本文描述的噪声注入可以被注入到如16位源HDR图像、12位源HDR图像等原始HDR图像中。类似地，如本文描述的噪声注入可以被注入到经下采样的HDR图像(如通过下采样(其是位深度下采样而不是空间下采样)生成的12位经下采样的HDR图像)、16位原始或源HDR图像中。

噪声注入

图4A图示了用于将胶片颗粒噪声注入到n_v位HDR图像中的示例处理流程。设F(.)是将n_v位(例如，16位、12位等)HDR亮度码字映射到n_s位(例如，8位、10位等)SDR码字的FLUT。设v是HDR码字；因此，F(v)成为其映射的SDR码字。设整个HDR范围被划分成N_B个仓。每个HDR光亮度仓中HDR码字的总数

然后，HDR光亮度仓b包含HDR光亮度码字v＝[(b*π)，(b+1)*π)-1]，其中，仓索引b＝0、1、2、…、N_B-1。

框402包括在每个HDR光亮度(或亮度)仓中寻找相应的每仓码字增加。FLUT可以被构造为单调非减函数，或者如果v₂>v₁，则F(v₂)≥F(v₁)。在一些操作场景中，每个HDR光亮度仓可以被映射到至少一个SDR光亮度码字。分配给每个HDR光亮度仓(仓索引为b)的附加SDR光亮度码字的总数(超过1)可以表示为φ_b。换句话说，φ_b指示HDR光亮度仓b中的SDR码字增加量。

在16位HDR图像被映射或前向整形到8位SDR图像的操作场景中，SDR光亮度码字的总数是256。如果可用的16位HDR光亮度码字的整个范围被分成64个子范围或仓，则每个HDR光亮度仓具有65536/64＝1024个HDR码字，所述码字被映射或前向整形到可用的8位SDR光亮度码字的整个范围(例如，0-255个码字的总SDR光亮度码字范围等)中的子集。

例如，具有仓索引b＝5的HDR光亮度仓包含v＝[1024*5,(1024*6-1)]个HDR光亮度码字。假设该HDR光亮度仓被映射到SDR码字F(v)＝[30,35]。然后，对于具有仓索引b＝5的HDR光亮度仓，码字增加φ₅＝35-30＝5。

框404包括对所有HDR光亮度仓的每仓码字增加进行归一化。设φ_max是所有HDR光亮度仓中的最大每仓码字增加。最大每仓码字之间可以用于对所有每仓码字增加进行归一化，例如在[0,1]的标度上。具有仓索引b的HDR光亮度的每仓归一化码字增加

可以如下给出：

框406包括根据HDR光亮度仓中的每仓码字增加来指派噪声强度。

设ψ_min是要注入到光亮度通道中的HDR图像的最小噪声强度并且设ψ_max是最大噪声强度。在各种实施例中，这两个噪声强度(或强度值)可以由本文描述的系统自动设置和/或可以被指定为来自指定用户的用户输入。最小噪声强度和最大噪声强度可以被设置为最佳值或选定值(例如，根据经验或程序确定的最佳值等)，所述值会变化或取决于以下各项中的一些或全部：空间分辨率、目标比特率、所采用的视频压缩编解码器和对应的参数等。

每仓归一化码字增加可以用于获得HDR光亮度码字仓的所配置的最小噪声强度ψ_min与最大噪声强度ψ_max之间的对应的每仓噪声强度。设ψ_v是HDR光亮度码字仓中HDR光亮度码字v的每仓噪声强度。HDR光亮度码字仓的仓索引b_v可以被计算为

其中，

是向下取整(floor)操作。HDR光亮度码字v的每仓噪声强度ψ_v(介于[ψ_min，ψ_max]之间)可以利用基于具有仓索引b_v的HDR光亮度码字仓的归一化码字增加

(例如，

等)的缩放因子来如下计算：

图3A图示了示例光亮度FLUT。图3B图示了根据FLUT确定的示例每仓码字增加。

下表4图示了用于基于根据FLUT确定的每仓码字增加来计算每个HDR码字的每仓噪声强度的示例过程。

表4

使用逐仓测量结果计算的每仓噪声强度可以使用具有Θ个码字作为核(kernel)长度的自适应平滑滤波器来平滑。作为示例而非限制，对于16位HDR光亮度码字，自适应平滑滤波器的核长度Θ可以被设置为2049。

设

是HDR光亮度码字v的(每码字)滤波噪声强度。图3C图示了通过平滑每仓噪声强度生成的示例(每码字)噪声强度(例如，在图3B中等)。作为示例而非限制，所配置的最小噪声强度和最大噪声强度[ψ_min，ψ_max]＝[800，1200]。滤波前(pre-filtering)曲线表示使用表达式(5)计算的每仓噪声强度。滤波后(post-filtering)曲线表示通过向每仓噪声强度应用平滑滤波而生成的每码字噪声强度

图3C中的X轴表示整个HDR光亮度码字范围0-65535，其被处理或划分为64个仓。

下表5图示了用于基于平滑滤波计算每个HDR码字的(每码字)噪声强度的示例程序。

表5

随光亮度水平变化的噪声强度

用于计算噪声强度的技术可以应用于原始图像以及经下采样的(例如，经位深度下采样的、经空间下采样的等)图像。

这些技术可以在如图2E所图示的第二级中应用，以确定每个HDR光亮度码字的每码字噪声强度，所述HDR光亮度码字可以在原始HDR图像中或者在通过对(例如，更高位深度、更高空间分辨率等)源HDR图像进行(例如，位深度、空间等)下采样而获得的经下采样的HDR图像中。作为示例而非限制，可以对位深度为12位的经下采样的HDR图像执行噪声强度计算。经下采样的HDR图像的光亮度FLUT包含仅4096个条目的整个光亮度码字范围，所述条目少于位深度为16位的(例如，原始、源等)HDR图像的65536个条目。在一些操作场景中，可以通过对位深度为16位的(例如，原始、源等)HDR图像的原始65536条目FLUT F(.)进行二次采样来获得经下采样的HDR图像的光亮度FLUT F’(.)，如表达式(1)所展示。

这里，前向整形SDR或BL光亮度码字(16位(例如，原始、源等)HDR图像中的HDR光亮度码字v被映射到该码字)可以由经二次采样的FLUT F’(.)中的(查找前向映射)条目F’(floor(v/ε))来指定或定义，其中，floor(v/ε)表示经二次采样的FLUT F’(.)中的条目索引；ε表示“步幅”，其中，

并且floor(.)表示丢弃变元的小数部分并只保留变元的整数部分(或数字)的向下取整操作。

在示例中，

N_F＝4096；ε＝65536/4096＝16。为了查找16位HDR光亮度码字v＝32449的前向映射(或前向整形SDR或BL光亮度码字)，经二次采样的FLUT F’中的条目索引如下计算：floor(v/ε))＝floor(32456/16)＝2028。

下表6图示了用于基于经二次采样的FLUT F’中的每仓码字增加来确定每仓噪声强度并且用于基于对每仓噪声强度应用平滑滤波来确定每码字噪声强度的示例程序。

表6

在一些操作场景中，可以在图2E的第二级中应用如图4A所图示的相同过程流程，以使用用经二次采样的FLUT F’而不是原始的FLUT F计算的每码字噪声强度(其可以在前向二进制文件中从图2D的第一级传入到图2E的第二级)将如胶片颗粒噪声等噪声注入到如本文描述的比特率阶梯所支持的每个空间分辨率的大小调整后的(或经空间下采样的)HDR图像中。

可以通过基于前向二进制文件中的亮度和色度前向整形数据(例如，包括高达固定的最高阶的亮度FLUT和色度MMR系数等)的前向整形操作对大小调整后的注入噪声的HDR图像进行前向整形，以生成描绘了与HDR图像相同的视觉语义内容的对应前向整形SDR或BL图像。

将大小调整后的注入噪声的HDR图像中的第i个像素的HDR光亮度码字表示为

下表7展示了用于为第i个像素的HDR光亮度码字计算对应前向整形注入噪声的SDR或BL图像中第i个像素的对应n_s位前向整形SDR或BL光亮度码字

的示例程序。

表7

将大小调整后的注入噪声的HDR图像中的第i个像素的HDR色度(Cb/Cr)码字表示为

如前所示，可以使用在前向二进制文件中用信号通知的固定阶MMR系数将HDR光亮度和色度码字映射到Cb和Cr通道的前向整形SDR或BL色度码字。下表8展示了用于计算对应前向整形注入噪声的SDR或BL图像中的第i个像素的对应前向整形SDR或BL色度码字

的示例程序。

表8

用于实时编码的完整和缩减级联流水线架构

如图2D和图2E所图示的两级完整/缩减处理流水线可以在如图2F所图示的单个(组合的)级中级联在一起。图2F的该单个级可以但不一定仅限于用于对实时流式传输/广播场景中的比特流和/或视频剪辑进行编码。在图2F的单个级中，如图2D所图示的完整流水线部分(或第一级)的输出，如前向二进制((多个)前向二进制文件)，可以直接馈入到图2E的缩减流水线部分(或第二级)的输入中，以减少处理时间延迟。另外，图2F的单个级可以结合图2E的缩减流水线部分(或第二级)的多个实例，使得可以并行或同时编码所支持比特率阶梯中的空间分辨率和比特率的不同组合。

云计算的片段编码

如图2D和图2E所图示的完整/缩减流水线可以级联在一起作为如图2F所图示的单个级，以针对在包括输入或源HDR图像的输入或源HDR视频信号中表示的媒体节目的每个输入视频片段，在比特率阶梯中的空间分辨率和比特率的不同设置或组合下生成对应的输出比特流部分(或输出视频片段)。对应的输出比特流部分(或输出视频片段)和输入视频片段描绘了相同的视觉语义内容，但是具有不同的空间分辨率和比特率组合。

在一些操作场景中，实施图2D和图2E的完整/缩减级或图2F的单个组合级的媒体流式传输服务器/服务动态地或自适应地将所生成的输出视频片段流式传输到具有不同网络条件/比特率和/或不同显示能力(例如，在接收方回放设备所支持的空间分辨率和/或动态范围和/或色域等方面)的不同接收方回放设备。

在一些操作场景中，实施图2D和图2E的完整/缩减级或图2F的单个组合级的媒体流式传输服务器基于与媒体流式传输服务器/服务和接收方回放设备相关的实时网络条件和/或系统资源使用率，动态地或自适应地切换到所生成的输出视频片段的特定输出比特流部分(或输出视频片段)。可以从(多个)对应的输出比特流部分(或输出视频片段)中选择要从媒体流式传输服务器/服务流式传输到接收方回放设备的特定输出比特流部分(或输出视频片段)，作为实时网络条件和/或系统资源使用率下的最佳支持视觉质量的比特流(或视频片段)。

媒体流式传输服务器可以在基于云的媒体流式传输场景中用包括多个计算机节点(例如，虚拟计算机、用云计算服务启动的计算机实例等)的云计算集群来实施。可以指派集群中的单个计算机节点来处理从输入或源HDR视频信号生成的多个输入视频片段中的相应输入视频片段，以从相应输入视频片段生成或编码(多个)输出比特流部分(或输出视频片段)。

图2G图示了从输入HDR视频信号中的连续输入或源HDR图像序列生成多个输入视频片段的示例。对于空间分辨率和比特率的不同设置或组合，多个输入视频片段中的输入视频片段可以由(例如，基于云的等)计算机集群中的集群节点处理和编码成(多个)输出SLBC视频信号中的对应输出比特流部分或输出视频片段。

如图2G所图示，由连续输入或源HDR图像序列表示的整个媒体节目(或视频剪辑)可以包括总数为F_N的连续图像/帧。媒体节目(或视频剪辑)中的F_N个连续图像/帧可以被分成多个真实片段。如本文使用的，术语“真实片段”指的是媒体节目(或视频剪辑)中的连续输入或源HDR图像的子集(或帧块)，所述子集彼此不重叠并且包括连续输入或源HDR图像的(整体)序列的互斥部分(或子序列)。作为示例而非限制，从媒体节目(或视频剪辑)的连续输入或源HDR图像序列划分的多个真实片段中的每个真实片段包括F个图像/帧。

通过将开销(保险杠(bumper))帧的一个或两个相邻部分添加到对应的真实片段，可以从对应的真实片段生成或合成如本文描述的输入视频片段。开销(保险杠)帧的一个或多个相邻部分延伸到与对应的真实片段相邻的一个或多个相邻真实片段，或者与其(部分地)重叠。

更具体地，第一(或起始)输入视频片段(在图2G中表示为“Seg 0”，连续的输入视频片段表示为“Seg 1”、“Seg 2”、…“Seg(T-2)”和“Seg(T-1)”)(其作为边缘输入视频片段)可以通过添加开销(保险杠)帧的尾随相邻部分从第一(或起始)真实片段生成。添加在第一输入视频片段中的开销(保险杠)帧的尾随相邻部分延伸到紧接在第一真实片段之后的第二真实片段，或者与其(部分地)重叠。

第二输入视频片段(图2G中的“Seg 1”)(其作为内部输入视频片段)可以通过添加开销(保险杠)帧的前导相邻部分和尾随相邻部分从第二真实片段生成。添加在第二输入视频片段中的前导相邻部分和尾随相邻部分分别延伸到紧接在第二真实片段之前的第一真实片段和紧接在第二真实片段之后的第三真实片段，或者与其(部分地)重叠。

最后的(或结尾的)输入视频片段(在图2G中表示为“Seg(T-1)”)(其作为边缘输入视频片段)可以通过添加开销(保险杠)帧的前导相邻部分从最后的(或结尾的)真实片段生成。添加在最后的输入视频片段中的开销(保险杠)帧的前导相邻部分延伸到紧接在最后的真实片段之前的倒数第二个真实片段(“Seg(T-2)”)，或者与其(部分地)重叠。

因此，可以从媒体节目(或视频剪辑)生成总数为T的输入视频片段，其中，T＝F_N/F。每个输入视频片段可以由(例如基于云的等)计算机集群中的集群节点针对空间分辨率和比特率的不同组合来分发、处理或编码成对应的输出比特流部分或输出视频片段。

图2H图示了由表示为“节点K”的集群节点(例如，基于云的虚拟计算机等)实施的用于处理如本文描述的输入视频片段的示例系统配置或架构。作为示例而非限制，集群节点可以使用或实施如图2D和图2E所图示的两个级来处理视频片段。附加地、可选地或替代性地，如图2H所图示的这两个级可以组合成如图2F所图示的单个级。

在第一级(表示为“第1级”)，指派给集群节点的输入视频片段可以以最高空间分辨率进行处理，该最高空间分辨率可以与输入视频片段中的输入或源HDR图像的本地空间分辨率相同，以生成或产生前向二进制文件(表示为“.bin文件”)和如后向整形元数据等图像元数据(表示为“.rpu文件”)。

在第二级(表示为“第2级”)，对每个输入或源HDR图像(例如，HDR YUV图像等)进行下采样以获得如本文描述的比特率阶梯所支持的各种空间分辨率的多个(例如，M个，其中，M是大于一(1)的整数等)经下采样的HDR图像。这些空间分辨率被指示为Res 1(例如，720p等)、Res 2(例如，432p等)至Res M。

可以在第二级中使用在第一级中生成的前向二进制文件中的光亮度和色度前向映射数据和/或图像元数据(“rpu”)将这些不同空间分辨率的经下采样的HDR图像处理成不同空间分辨率的相应输出比特流部分或相应输出视频片段。对于不同的分辨率，可以在第二级中使用相同的RPU和前向二进制文件。在一些操作场景中，在给定相同的RPU和前向二进制文件的情况下，可以使用多个线程和/或多个进程来并行地和/或独立地生成输出比特流部分或输出视频片段。

在一些操作场景中，这些输出比特流部分或输出视频片段可以例如在(例如基于云的等)计算机集群的中央集群节点处与由其他集群节点(例如，其他基于云的虚拟计算机等)生成的其他输出比特流部分或输出视频片段组合成多个整体比特流或多个视频片段序列。

在使用线性编码模式的操作场景中，组合的多个整体比特流中的每一个可以包括计算机集群所支持的比特率阶梯中的相应空间分辨率和/或相应比特率的连续输出SDR或BL图像序列，并且表示相应空间分辨率和/或相应比特率下的媒体节目或视频剪辑的完整版本。

在使用片段编码模式的操作场景中，组合的多个视频片段序列中的每一个可以包括连续视频片段序列，所述连续视频片段序列中的每一个连续视频片段包括计算机集群所支持的比特率阶梯中的相应空间分辨率和/或相应比特率的多个连续输出SDR或BL图像，并且表示相应空间分辨率和/或相应比特率下的媒体节目或视频剪辑的完整版本。

最佳胶片颗粒设置

如前所述，如胶片颗粒噪声注入等噪声注入可以在单级组合的处理流水线/架构中或者在两级处理流水线/架构的第二级中被执行。如本文描述的噪声注入的操作参数可以针对不同空间分辨率和/或比特率的一个或多个设置或组合来具体设置。

可以使用空间频域中的二维(2D)随机场来构建胶片颗粒噪声。ω_G×ω_G个胶片颗粒噪声贴片(patch)G(m，n)可以通过以下方式来渲染：

G(m，n)＝p·iDCT(Q(x，y))  (6)

其中，Q(x，y)表示ω_G×ω_G个DCT系数，其中，ω_G是正整数；p表示胶片颗粒噪声的噪声标准偏差；iDCT(·)表示逆DCT运算或运算符。

在一些操作场景中，噪声贴片的ω_G×ω_G个DCT系数中的Q(x，y)的AC系数的子集(x或y中至少一个为非零的系数)可以被设置为平均值为0、标准差为1(或p＝1)的高斯随机数。噪声贴片的ω_G×ω_G个DCT系数中的所有其他系数(包括x和y都等于零的DC系数)被设置为零。

当用G(m，n)表示的多个空间频率中的频带子集在DCT域中具有非零AC系数时，与DCT域中的G(m，n)相对应的像素域中的噪声贴片表现为胶片颗粒噪声。非零AC系数分布的频带越低，胶片颗粒的大小就显得越大。DCT大小(ω_G×ω_G)控制最大可用胶片颗粒大小。

示例噪声注入操作包括但不限于Qing Song等人于2019年10月2日提交的并且公开为WO 2020/072651的PCT申请序列号PCT/US2019/054299,“Reducing BandingArtifacts in Backward-Compatible HDR Imaging[减少后向兼容HDR成像中的条带伪影]”以及H.Kadu等人于2019年12月19日提交的美国临时专利申请序列号62/950,466,“Noise synthesis for digital images[数字图像的噪声合成]”中的胶片颗粒噪声注入，所述申请的全部内容就像在本文充分阐述的一样通过引用并入本文。

胶片颗粒参数(如以下各项中的一项或多项：DCT大小(ω_G×ω_G)、具有非零AC系数的频带等)可以由系统和/或指定用户进行配置。

例如，设f_s和f_e是2D方向(水平和竖直)的每个方向上的开始频率和结束频率。这些频率可以用于如下控制或界定非零空间频率f：f_s≤f≤f_e。作为胶片噪声注入的操作参数的开始频率和结束频率可以根据图像空间分辨率和/或(要编码的)比特率来调整。在一些操作场景中，在所有不同的图像空间分辨率中或跨所有不同的图像空间分辨率，胶片颗粒大小与图像/帧尺寸的比率可以大致或近似保持相同，例如具有10％、20％、30％或另一百分位的误差容限。因此，在这些操作场景中，对于较小的空间分辨率，可以使用较小的胶片颗粒。

可以为胶片颗粒噪声注入单独设置最佳胶片颗粒设置，特别是针对空间分辨率和/或比特率的多个设置或组合中的空间分辨率和/或比特率的相应设置或组合。

图3D图示了示例16×16频域图案或块。频率位置子集处的字母“n”意指所述子集中的频率位置被设置为范数或高斯随机数。频率位置子集之外的其他不带字母“n”的频率位置被设置为零。

可以对在频率位置的子集中具有范数或高斯随机数的16×16频域图案或块应用逆DCT变换(IDCT)以在像素域中生成对应的胶片颗粒贴片。这可以重复以生成多于一个胶片颗粒贴片。具有单位标准偏差的特定空间分辨率的胶片颗粒噪声图像可以通过拼接多个不重叠的胶片颗粒噪声贴片来生成。

对于空间分辨率和/或比特率的第一和第二设置或组合的16位HDR视频信号，最小噪声强度和最大噪声强度可以如下设置：[ψ_min，ψ_max]＝[500，1000]。由于16位HDR视频信号的HDR码字范围为0-65535，因此HDR输入或源图像中像素的HDR光亮度(或亮度)码字的噪声添加或注入可以被设置为最小噪声强度和最大噪声强度在[500,1000]的范围内。

在另一个示例中，对于768×432的图像空间分辨率和1Mbps比特率下24fps的帧速率的第三设置或组合，以及480×360的图像空间分辨率和0.5Mbps比特率下24fps的帧速率的第四设置或组合，添加胶片颗粒噪声可能恶化压缩性能。这主要是因为以这些设置注入在图像中的噪声可能会使如标准8位AVC压缩器等编解码器难以高效地表示图像。因此，如上表4所指示，具有第三和第四设置或组合中的这些分辨率/比特率的图像在一些操作场景中可能不会被注入噪声。

示例过程流程

图4B图示了根据实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此过程流程。在框422中，图像处理系统生成前向整形映射，以将第一动态范围的源图像映射到比第一动态范围低的第二动态范围的对应前向整形图像。

在框424中，图像处理系统将噪声注入到第一动态范围和第一空间分辨率的图像中，以生成第一动态范围和第一空间分辨率的注入噪声的图像。第一动态范围和第一空间分辨率的图像是通过对第一动态范围的源图像进行空间下采样而生成的。

在框426中，图像处理系统应用前向整形映射来映射第一动态范围和第一空间分辨率的注入噪声的图像，以生成第二动态范围和第一空间分辨率的嵌入噪声的图像。

在框428中，图像处理系统向接收方设备传输用第二动态范围和第一空间分辨率的嵌入噪声的图像编码的视频信号，以供接收方设备渲染从嵌入噪声的图像生成的显示图像。

在实施例中，视频信号表示单层后向兼容信号。

在实施例中，第一动态范围是高动态范围；其中，第二动态范围是标准动态范围。

在实施例中，视频信号与包括后向整形映射的图像元数据一起被传输到接收方设备；显示图像表示第一动态范围的后向整形图像，所述后向整形图像是通过将后向整形映射应用于第二动态范围和第一空间分辨率的嵌入噪声的图像而生成的。

在实施例中，噪声为以下之一：胶片颗粒噪声或非胶片颗粒噪声。

在实施例中，以用前向整形映射计算的光亮度相关的噪声强度将噪声注入到第一动态范围和第一空间分辨率的图像中。

在实施例中，以一个或多个操作参数注入噪声，所述一个或多个操作参数是基于以下各项中的一项或多项配置的：第一空间分辨率、用于将视频信号传输到接收方设备的目标比特率等。

在实施例中，视频信号包括以下之一：用第二动态范围和第二空间分辨率的连续嵌入噪声的图像序列编码的编码比特流、连续视频片段序列，所述连续视频片段序列中的每一个连续视频片段包括第二动态范围和第二空间分辨率的连续嵌入噪声的图像的子序列等。

在实施例中，图像处理系统进一步被配置成执行以下操作：将第二噪声注入到第一动态范围和第二空间分辨率的第二图像中，以生成第一动态范围和第二空间分辨率的第二注入噪声的图像，第一动态范围和第二空间分辨率的第二图像是通过对第一动态范围的源图像进行空间下采样而生成的；应用相同的前向整形映射来映射第一动态范围和第二空间分辨率的第二注入噪声的图像，以生成第二动态范围和第二空间分辨率的第二嵌入噪声的图像；向第二接收方设备传输用第二动态范围和第二空间分辨率的第二嵌入噪声的图像编码的第二视频信号，以供第二接收方设备渲染从第二嵌入噪声的图像生成的第二显示图像。

在实施例中，视频信号和第二视频信号是针对基于云的媒体内容系统所支持的比特率阶梯中的空间分辨率和比特率的多个不同组合中的空间分辨率和比特率的不同组合而生成的。

在实施例中，在输入视频信号中提供第一动态范围的源图像；从输入视频信号中生成多个输入视频片段；多个输入视频片段中的每个输入视频片段被指派给基于云的计算机集群中的多个集群节点中的相应集群节点；相应集群节点将输入视频片段处理成以下各项之一：空间分辨率和比特率的不同组合的多个编码比特流部分、空间分辨率和比特率的不同组合的多个输出视频片段等。

图4C图示了根据实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此过程流程。在框442中，图像处理系统接收由上游编码器生成并用第二动态范围和第一空间分辨率的嵌入噪声的图像编码的视频信号，所述第二动态范围低于第一动态范围。

第二动态范围和第一空间分辨率的嵌入噪声的图像已经通过上游编码器对第一动态范围和第一空间分辨率的注入噪声的图像应用前向整形映射而生成。

第一动态范围和第一空间分辨率的注入噪声的图像已经通过上游编码器将噪声注入到第一动态范围和第一空间分辨率的图像中而生成；第一动态范围和第一空间分辨率的图像是通过对第一动态范围的源图像进行空间下采样而生成的。

在框444中，图像处理系统从第二动态范围和第一空间分辨率的嵌入噪声的图像生成显示图像。

在框446中，图像处理系统在图像显示器上渲染显示图像。

在实施例中，视频信号与包括后向整形映射的图像元数据一起被接收；显示图像表示第一动态范围和第一空间分辨率的注入噪声的图像；图像处理系统进一步被配置成执行以下操作：将所述后向整形映射应用于所述第二动态范围和所述第一空间分辨率的所述嵌入噪声的图像，以生成所述显示图像。

在实施例中，如显示设备、移动设备、机顶盒、多媒体设备等计算设备被配置用于执行前述方法中的任一种方法。在实施例中，一种装置包括处理器，并且被配置用于执行前述方法中的任一种方法。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时使得执行前述方法中的任一种方法。

在实施例中，一种计算设备包括一个或多个处理器以及一个或多个存储介质，所述一个或多个存储介质存储指令集，所述指令集当由所述一个或多个处理器执行时使得执行前述方法中的任一种方法。

注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。

示例计算机系统实施方式

本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这样的系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实施与对具有增强动态范围的图像的自适应感知量化有关的指令，如本文所描述的那些。计算机和/或IC可以计算与本文所描述的自适应感知量化过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。

本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本公开的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的对HDR图像的自适应感知量化有关的方法。还可以以程序产品的形式提供本发明的实施例。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时，使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对所述部件的引用(包括对“装置”的引用)都应该被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。

根据一个实施例，本文描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，比如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储设备或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这样的专用计算设备也可以将定制的硬接线逻辑、ASIC或FPGA与定制编程相结合来实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施技术的任何其他设备。

例如，图5是图示了可以在其上实施本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，比如随机存取存储器(RAM)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这样的指令使得计算机系统500变成被自定义为执行在指令中指定的操作的专用机器。

计算机系统500进一步包括只读存储器(ROM)508或耦接到总线502以用于存储处理器504的静态信息和指令的其他静态存储设备。提供存储设备510(如磁盘或光盘)，并将其耦接到总线502以用于存储信息和指令。

计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控件516，以用于将方向信息和命令选择传送到处理器504并用于控制在显示器512上的光标移动。典型地，此输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在平面中指定位置。

计算机系统500可以使用自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文描述的技术，这些自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行如本文所描述的技术。这样的指令可以从另一个存储介质(如存储设备510)读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文描述的过程步骤。在替代实施例中，可以使用硬接线电路来代替软件指令或者与软件指令相结合。

如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，比如存储设备510。易失性介质包括动态存储器，比如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪速EPROM、NVRAM、任何其他存储器芯片或存储盒。

存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，比如在无线电波和红外数据通信期间生成的那些声波或光波。

各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，最初可以在远程计算机的磁盘或固态驱动器上载送指令。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中载送的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。

计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供与对应类型电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网(LAN)卡，用于提供与兼容LAN的数据通信连接。还可以实施无线链路。在任何这样的实施方式中，通信接口518发送和接收载送表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(ISP)526操作的数据设备的连接。ISP 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用载送数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据载送到计算机系统500和从计算机系统载送数字数据)是传输介质的示例形式。

计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、ISP 526、本地网络522和通信接口518传输应用程序的请求代码。

接收到的代码可以在被接收到时由处理器504执行和/或存储在存储设备510或其他非易失性存储装置中以供稍后执行。

等同物、扩展、替代方案和杂项

在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明的要求保护的实施例以及申请人认为的本发明的要求保护的实施例的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这样的权利要求发布包括任何后续修正。本文中针对这样的权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这样的术语的含义。因此，权利要求中未明确引用的限制、要素、性质、特征、优点或属性不应该以任何方式限制这样的权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。

Claims (16)

1.一种用于对视频数据进行编码的方法，所述方法包括：

其中，所述方法通过在单个实例中执行的第一级和在分别针对一个或多个不同比特率的一个或多个实例中执行的第二级来执行；

在所述第一级，在所述单个实例中，执行以下操作：

生成前向整形映射，以将第一动态范围的源图像映射到比所述第一动态范围低的第二动态范围的对应前向整形图像；

在所述第二级，在所述一个或多个实例中的每个实例中，执行以下操作：

将噪声注入到所述第一动态范围和第一空间分辨率的图像中，以生成所述第一动态范围和所述第一空间分辨率的注入噪声的图像，所述第一动态范围和所述第一空间分辨率的所述图像是通过对所述第一动态范围的所述源图像进行空间下采样而生成的；

应用所述前向整形映射来映射所述第一动态范围和所述第一空间分辨率的所述注入噪声的图像，以生成所述第二动态范围和所述第一空间分辨率的嵌入噪声的图像；

向接收方设备传输用所述第二动态范围和所述第一空间分辨率的所述嵌入噪声的图像编码的视频信号，以供所述接收方设备渲染从所述嵌入噪声的图像生成的显示图像。

2.如权利要求1所述的方法，进一步包括：

在所述第一级，执行以下操作：

生成前向二进制文件，其中，所述前向二进制文件包括指定所述前向整形映射的操作参数或系数；以及

将所述前向二进制文件传递到所述第二级，以及

在所述第二级，执行以下操作：

从所述第一级接收所述前向二进制文件；

使用所述前向二进制文件来确定光亮度相关的噪声强度；以及

以所确定的光亮度相关的噪声强度将所述噪声注入到所述第一动态范围和所述第一空间分辨率的所述图像中。

3.如权利要求1或2所述的方法，其中，所述视频信号表示单层后向兼容信号。

4.如权利要求1至3中任一项所述的方法，其中，所述第一动态范围是高动态范围；其中，所述第二动态范围是标准动态范围。

5.如权利要求1至4中任一项所述的方法，其中，所述视频信号与包括后向整形映射的图像元数据一起被传输到所述接收方设备；其中，所述显示图像表示所述第一动态范围的后向整形图像，所述后向整形图像是通过将所述后向整形映射应用于所述第二动态范围和所述第一空间分辨率的所述嵌入噪声的图像而生成的。

6.如权利要求1至5中任一项所述的方法，其中，所述噪声为以下各项之一：胶片颗粒噪声或非胶片颗粒噪声。

7.如权利要求1至6中任一项所述的方法，其中，所述噪声是以用所述前向整形映射计算的光亮度相关的噪声强度被注入到所述第一动态范围和所述第一空间分辨率的所述图像中的。

8.如权利要求1至7中任一项所述的方法，其中，所述噪声是以一个或多个操作参数被注入的，所述一个或多个操作参数是基于以下各项中的一项或多项配置的：所述第一空间分辨率或用于将所述视频信号传输到所述接收方设备的目标比特率。

9.如权利要求1至8中任一项所述的方法，其中，所述视频信号包括以下各项之一：用所述第二动态范围和所述第二空间分辨率的连续嵌入噪声的图像序列编码的编码比特流、或连续视频片段序列，所述连续视频片段序列中的每一个连续视频片段包括所述第二动态范围和所述第二空间分辨率的连续嵌入噪声的图像的子序列。

10.如权利要求1至9中任一项所述的方法，进一步包括：

将第二噪声注入到所述第一动态范围和第二空间分辨率的第二图像中，以生成所述第一动态范围和所述第二空间分辨率的第二嵌入噪声的图像，所述第一动态范围和所述第二空间分辨率的所述第二图像是通过对所述第一动态范围的所述源图像进行空间下采样而生成的；

应用相同的前向整形映射来映射所述第一动态范围和所述第二空间分辨率的所述第二注入噪声的图像，以生成所述第二动态范围和所述第二空间分辨率的第二嵌入噪声的图像；

向第二接收方设备传输用所述第二动态范围和所述第二空间分辨率的所述第二嵌入噪声的图像编码的第二视频信号，以供所述第二接收方设备渲染从所述第二嵌入噪声的图像生成的第二显示图像。

11.如权利要求1至10中任一项所述的方法，其中，所述视频信号和/或所述第二视频信号是针对基于云的媒体内容系统所支持的比特率阶梯中的多个不同空间分辨率和比特率组合中的不同空间分辨率和比特率组合而生成的。

12.如权利要求1至11中任一项所述的方法，其中，第一动态范围的所述源图像在输入视频信号中被提供；其中，多个输入视频片段是从所述输入视频信号生成的；其中，所述多个输入视频片段中的每个输入视频片段被指派给基于云的计算机集群中的多个集群节点中的相应集群节点；其中，所述相应集群节点将所述输入视频片段处理成以下各项之一：不同空间分辨率和比特率组合的多个编码比特流部分，或不同空间分辨率和比特率组合的多个输出视频片段。

13.一种用于对视频数据进行解码和渲染的方法，所述方法包括：

接收由上游编码器生成并用第二动态范围和第一空间分辨率的嵌入噪声的图像编码的视频信号，所述第二动态范围低于第一动态范围；

其中，所述第二动态范围和所述第一空间分辨率的所述嵌入噪声的图像已经通过所述上游编码器向所述第一动态范围和所述第一空间分辨率的注入噪声的图像应用前向整形映射而被生成；

其中，所述第一动态范围和所述第一空间分辨率的所述注入噪声的图像已经通过所述上游编码器将噪声注入到所述第一动态范围和所述第一空间分辨率的图像中而被生成；其中，所述第一动态范围和所述第一空间分辨率的所述图像是通过对所述第一动态范围的源图像进行空间下采样而生成的；

从所述第二动态范围和所述第一空间分辨率的所述嵌入噪声的图像生成显示图像；

在图像显示器上渲染所述显示图像。

14.如权利要求13所述的方法，其中，所述视频信号与包括后向整形映射的图像元数据一起被接收；其中，所述显示图像表示所述第一动态范围和所述第一空间分辨率的注入噪声的图像；所述方法进一步包括：将所述后向整形映射应用于所述第二动态范围和所述第一空间分辨率的所述嵌入噪声的图像，以生成所述显示图像。

15.一种装置，所述装置包括处理器并且被配置成执行如权利要求1至14所述的方法中的任一种方法。

16.一种非暂态计算机可读存储介质，具有存储于其上的用于根据权利要求1至14所述的方法中的任一种方法、利用一个或多个处理器来执行方法的计算机可执行指令。

Images