CN116508324A - 用于sdr到hdr上转换的自适应局部整形 - Google Patents

Abstract

使用相对低动态范围的输入图像中的亮度码字生成用于为输入图像选择全局整形函数的全局索引值。对输入图像应用图像滤波以生成经滤波图像。经滤波图像的经滤波值提供了输入图像中的局部明亮度水平的度量。使用全局索引值和经滤波图像的经滤波值生成用于为输入图像选择特定局部整形函数的局部索引值。通过利用使用局部索引值选择的特定局部整形函数对输入图像进行整形来生成相对高动态范围的经整形图像。

Description

用于SDR到HDR上转换的自适应局部整形

相关申请的交叉引用

本申请要求均于2020年10月2日提交的美国临时申请号63/086,699和欧洲专利申请号20199785.5的优先权，这两个申请中的每一个都通过引用以其全文并入本文。

技术领域

本公开总体上涉及图像处理操作。更具体地，本公开的实施例涉及视频编解码器。

背景技术

如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度范围(例如，光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个或更多数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围中的广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，EDR可以涉及跨越5个到6个数量级的DR。虽然相对于参考真实场景的HDR可能稍微窄一些，但EDR表示宽DR阔度并且也可以被称为HDR。

实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可被视为增强动态范围的图像。

给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，ITURec.ITU-R BT.1886,“Reference electro-optical transfer function for flat paneldisplays used in HDTV studio production[HDTV工作室制作中使用的平板显示器的参考电光传递函数]”(2011年3月)限定了平板显示器的参考EOTF，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其EOTF的信息可以作为(图像)元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。

如本文所使用的术语“PQ”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在SMPTE ST 2084:2014“High Dynamic Range EOTFof Mastering Reference Displays[母版制作参考显示器的高动态范围EOTF]”(下文称为“SMPTE”)中描述了示例PQ映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择所述光亮度水平处的最小可见对比度步长。

支持200至1,000cd/m²或尼特的光亮度的显示器代表了与EDR(或HDR)相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。EDR内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的EDR显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000或更高尼特)的替代EOTF来限定。在SMPTE 2084和Rec.ITU-RBT.2100,“Image parameter values for high dynamic range television for use inproduction and international programme exchange[用于在制作和国际节目交换中使用的高动态范围电视的图像参数值]”(06/2017)中定义了这种EOTF的示例。如本发明人在此所理解的，期望用于将输入视频内容数据转换为具有高动态范围、高局部对比度和鲜艳颜色的输出视频内容的改进技术。

在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中相似的附图标记指代类似的要素，并且在附图中：

图1描绘了视频传输流水线的示例过程；

图2A图示了用于应用局部整形操作的示例流程；图2B图示了上转换过程通过局部整形操作将SDR图像转换为HDR图像的示例框架或架构；图2C图示了用于应用多级边缘保留滤波的示例流程；

图3A图示了示例后向整形函数；图3B图示了调整和修改之后的示例基本整形函数；图3C图示了示例最小二乘解；图3D图示了示例全局和局部整形函数；图3E和图3F图示了示例局部整形函数；图3G图示了用于调整用于预测L1中值的线性回归模型的示例非线性函数；

图4图示了示例过程流；以及

图5图示了示例硬件平台的简化框图，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。

具体实施方式

在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本公开。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本公开，没有详尽地描述众所周知的结构和设备。

发明内容

如本文所描述的局部整形技术可以被实施为将如SDR图像数据等相对窄动态范围的图像数据(后向)整形或上转换为如具有增强的局部对比度和颜色饱和度的HDR图像数据等更高动态范围的图像数据。

如本文所使用的，“上转换”或“(后向)整形”是指通过如本文所描述的技术下的局部整形操作、一些其他方法下的全局整形操作等整形操作将较低动态范围的图像数据转换为较高动态范围的图像数据。

全局整形是指对输入图像(如输入SDR图像)的所有像素应用相同的全局整形函数/映射以生成描绘与输入图像相同的视觉语义内容的对应输出图像——如经整形HDR图像——的上转换或后向整形操作。

例如，经整形HDR图像中的HDR亮度或光亮度码字可以通过对输入SDR图像中的所有像素的SDR亮度或光亮度码字应用相同的全局整形函数——如相同的8段二阶多项式或相同的后向查找表(BLUT))来构成或上转换。

同样地，经整形HDR图像中的HDR色度或色度码字可以通过对输入SDR图像中的所有像素的(亮度和色度通道中的)SDR码字应用相同的全局整形映射——如用一组MMR系数指定的相同的后向多元多重回归(后向MMR或BMMR)映射——来构成或上转换。

示例后向整形操作在于2015年3月20日提交的美国临时专利申请序列号62/136,402(还公布于2018年1月18日，作为美国专利申请公开序列号2018/0020224)和于2019年5月9日提交的PCT申请序列号PCT/US2019/031620中进行了描述，所述申请的全部内容如在本文充分阐述地通过引用并入本文。

与对输入图像的所有像素应用相同的整形函数或映射的全局整形相比，局部整形指的是对输入图像的不同像素应用不同的整形函数或者映射的上转换或后向整形操作。因此，在局部整形中，应用于输入图像的第一像素的第一整形函数可以是与应用于输入图像的第二不同像素的第二整形函数不同的函数。

可以针对输入图像中具有包含特定像素的局部区域的局部明亮度水平的特定像素来选择或识别特定整形函数。局部明亮水平可以通过图像滤波(如利用引导图像的多级边缘保留滤波)来估计。在如本文所描述的技术下，用于估计或预测局部明亮度水平的图像滤波可以以使不同视觉对象/字符/区域/片段之间的信息(例如，像素值、码字等)的泄漏最小化的方式来执行，目的是减少或防止如光晕伪像等视觉伪像。

如本文所描述的局部整形可以考虑输入图像中的局部区域图像特性。可以定位到输入图像的每一个像素的不同整形函数或映射增强了输出图像中的局部对比度和颜色饱和度(水平)，并且使整体输出图像具有更高的局部对比率、更好的观看者可感知的图像细节、更鲜艳的颜色等。

本文所描述的示例实施例涉及从低于第一动态范围的第二动态范围的输入图像生成所述第一动态范围的图像。生成用于为第二动态范围的输入图像选择全局整形函数的全局索引值。全局索引值是使用输入图像中的亮度码字来生成的。对输入图像应用图像滤波以生成经滤波图像。经滤波图像的经滤波值提供了输入图像中的局部明亮度水平的度量。生成用于为输入图像选择特定局部整形函数的局部索引值。局部索引值是使用全局索引值和经滤波图像的经滤波值来生成的。至少部分地通过利用使用局部索引值选择的特定局部整形函数对输入图像进行整形来使得生成第一动态范围的经整形图像。

示例视频传输处理流水线

图1描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获/生成到HDR或SDR显示的各个级。示例HDR显示器可以包括但不限于与TV、移动设备、家庭影院等结合操作的图像显示器。示例SDR显示器可以包括但不限于SDR TV、移动设备、家庭影院显示器、头戴式显示设备、可穿戴显示设备等。应当注意，SDR到HDR的上转换可以在编码器/服务器侧(视频压缩之前)或解码器/回放侧(视频解压缩之后)执行。为了支持回放侧SDR到HDR的上转换，可以使用除了图1所描绘的系统配置之外的不同系统配置。在这些不同系统配置中，可以使用除了图1所描绘的处理部件所使用的图像元数据格式之外的不同图像元数据格式来传送图像元数据。

在本发明的优选实施例中，图像元数据包括L1元数据。如本文所使用的，术语“L1元数据”表示与视频内容的特定部分(例如输入帧或图像)相关的最小(L1最小)光亮度值、中间(L1中间)光亮度值和最大(L1最大)光亮度值中的一个或多个。L1元数据与视频信号相关。为了生成L1元数据，优选地在编码端对视频内容进行像素级逐帧分析。可替代地，可以在解码端执行所述分析。分析描述了在分析过程所覆盖的视频内容的定义部分(例如单个帧或如场景等一系列帧)上的光亮度值分布。L1元数据可以在覆盖单个视频帧和/或如场景等一系列帧的分析过程中计算。L1元数据可以包括在分析过程期间得到的一起形成L1元数据的各种值，L1元数据与从中计算L1元数据的视频内容的相应部分相关联并且与视频信号相关联。L1元数据包括以下各项中的至少一个：(i)表示视频内容的相应部分中的最低黑度水平的L1最小值，(ii)表示视频内容的相应部分上的平均光亮度水平的L1中值，以及(iii)表示视频内容的相应部分中的最高光亮度水平的L1最大值。优选地，L1元数据针对每个视频帧和/或在视频信号中编码的每个场景生成并附加到其上。L1元数据还可以针对被称为局部L1值的图像的区域而生成。L1元数据可以通过将RGB数据转换为亮度-色度格式(例如，YCbCr)并且然后计算Y平面中的最小值、中值(平均值)和最大值中的至少一个或多个来计算，或者L1元数据可以直接在RGB空间中计算。

在一些实施例中，L1最小值表示视频内容的相应部分(例如，视频帧或图像)的PQ编码的min(RGB)值的最小值，同时仅考虑活动区域(例如，通过排除灰色条或黑色条、视频黑边等)，其中，min(RGB)表示像素的颜色分量值{R，G，B}的最小值。L1中值和L1最大值也可以以相同的方式计算。特别地，在实施例中，L1中值表示图像的PQ编码的max(RGB)值的平均值，并且L1最大值表示图像的PQ编码的max(RGB)值的最大值，其中，max(RGB)表示像素的颜色分量值{R，G，B}的最大值。在一些实施例中，L1元数据可以归一化为[0，1]。

仅出于图示的目的，图1用于图示或描绘在服务器侧使用如本文所描述的局部后向整形技术执行的SDR-HDR上转换过程。如图1中所图示的编码器/服务器侧的SDR到HDR的上转换使用输入SDR图像来生成经局部整形的HDR图像。输入SDR图像和经局部整形的HDR图像的组合可以由后向兼容编解码器或非后向兼容编解码器用于生成后向兼容或非后向兼容性SDR视频信号。在一些操作场景中，如图1中所图示的，视频信号可以用通过对经局部整形的HDR图像进行前向整形而生成的经整形SDR图像进行编码。

HDR图像生成块105可以接收如连续输入SDR图像102的序列等视频帧。这些SDR图像(102)可以从视频源接收或者从视频数据存储中取得。SDR图像(102)中的一些或全部可以从源图像生成，例如通过(例如，无人工输入的自动、手动、有人工输入的自动等)视频编辑或变换操作、颜色分级操作等。源图像可以(例如，由数字相机)以数字方式捕获，通过将在胶片上捕获的模拟相机图片转换为数字格式来生成，由计算机(例如，使用计算机动画、图像渲染等)生成，等等。SDR图像(102)可以是与以下各项中的一项或多项相关的图像：电影发行、存档媒体节目、媒体节目库、视频录制/剪辑、媒体节目、TV节目、用户生成的视频内容等。

HDR图像生成块(105)对连续SDR图像(102)序列中的每个SDR图像应用局部整形操作，以在对应的连续(整形)HDR图像序列中生成相应(经整形)HDR图像，所述HDR图像描绘了与SDR图像(102)相同的视觉语义内容，但与SDR图像(102)相比，具有更高的动态范围、更鲜艳的颜色等。

参数生成块142基于用于预测操作参数值的预测模型来生成在局部整形操作中使用的至少一些操作参数的具体值。可以使用如训练数据集中的HDR-SDR图像对等训练图像以及与训练图像或图像对相关的真实数据来训练预测模型。

亮度或Y通道整形函数族和色度通道整形映射族可以由整形映射生成块146生成，并且例如在SDR图像(102)被处理以生成经整形HDR图像之前的系统启动时间段期间由整形映射生成块(146)预加载到图像生成块(105)中。用于亮度或Y通道的整形函数族可以包括用于多个不同L1中值(或由其索引)的多个BLUT。色度通道的整形函数族可以包括用于相同的多个不同L1中值(或由其索引)的多个BMMR映射。

对于每个输入SDR图像，HDR图像生成块(105)根据输入SDR图像中的亮度或Y通道码字生成或计算高达每像素精度的局部明亮度水平。在一些操作场景中，可以从输入SDR图像的亮度或Y通道码字生成整体经滤波图像，例如，作为通过多级边缘保留滤波生成的经滤波图像的加权和。整体经滤波图像中的经滤波值可以用于估计或近似局部明亮水平，并且然后将局部明亮水平用作输入的一部分，以估计或预测高达每像素精度的局部L1中值。局部L1中值可以在L1中值映射中表示，并且用作索引以从BLUT族中选择亮度通道的高达每像素精度的局部整形函数或BLUT。用局部L1中值选择的这些局部整形函数或BLUT提供了更高的局部斜率或更高的局部对比率。另外地、可选地或可替代地，L1中值映射中所表示的局部L1中值可以用作索引，以从BMMR映射族中选择色度通道的高达每像素精度的局部整形映射或BMMR。

因此，基于针对输入SDR图像(102)和预加载的BLUT和BMMR族生成的单独局部中值映射，HDR图像生成块(105)可以对输入SDR图像(102)执行局部整形操作，以生成与SDR图像(102)相比具有更高动态范围、更高局部对比度、更鲜艳的颜色等的对应经整形HDR图像。

SDR图像(102)和经整形HDR图像中的一些或全部可以被提供给合成器元数据生成块115，以通过对经整形HDR图像进行前向整形来生成可以比输入SDR图像(102)更高效地编码的经整形SDR图像112并且生成图像元数据177(例如，合成器元数据等)。图像元数据(177)可以包括用于生成后向整形映射(例如，BLUT、后向整形函数/曲线或多项式集、MMR系数等)的合成器数据，后向整形映射在应用于输入SDR图像时生成对应HDR图像。

经整形SDR图像(112)和图像元数据(177)可以由视频信号122中的编码块120(例如，编码比特流等)或一组连续视频片段编码。在给定了视频信号(122)的情况下，作为设备上视频信号(122)的内部处理或后处理的一部分，如移动电话等接收设备可以决定将元数据与SDR图像数据一起使用，以生成并渲染在接收设备的显示能力内具有更高动态范围(如HDR)和更鲜艳的颜色的图像。另外地、可选地或可替代地，视频信号(122)或视频片段允许与可以忽略图像元数据(177)并简单地显示SDR图像的传统SDR显示器的后向兼容。

示例视频信号或视频片段可以包括但不一定限于单层视频信号/片段等。在一些实施例中，编码块(120)可以包括音频和视频编码器，如由ATSC、DVB、DVD、蓝光和其他传输格式定义的音频和视频编码器，以生成视频信号(122)或视频片段。

然后，将视频信号(122)或视频片段向下游传输到如移动设备、平板电脑、解码和回放设备、媒体源设备、媒体流客户端设备、电视机(例如，智能TV等)、机顶盒、电影院等接收器。在下游设备中，由解码块(130)对视频信号(122)或视频片段进行解码以生成经解码图像182，经解码图像可以类似于或相同于经受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中产生的量化误差和/或传输误差和/或同步误差和/或由数据包丢失引起的误差的经整形SDR图像(112)。

在非限制性示例中，视频信号(122)(或视频片段)可以是后向兼容性SDR视频信号(或视频片段)。在此，“后向兼容”是指携带针对SDR显示器进行了优化(例如，保留了特定艺术意图等)的SDR图像的视频信号或视频片段。

解码块(130)还可以从视频信号(122)或视频片段中取得或解码图像元数据(177)。图像元数据(177)指定了后向整形映射，后向整形映射可以由下游解码器用于对经解码SDR图像(182)执行后向整形，以生成用于在HDR(例如，目标、参考等)显示器上渲染的经后向整形的HDR图像。在图像元数据(177)中表示的后向整形映射可以由合成器元数据生成块(115)通过使利用图像元数据(177)生成的经后向整形的HDR图像与利用局部整形操作生成的经整形HDR图像之间的误差或差异最小化来生成。因此，图像元数据(177)有助于确保由接收器利用图像元数据(177)生成的经后向整形的HDR图像相对接近且准确地近似利用局部整形操作生成的经整形HDR图像。

另外地、可选地或可替代地，图像元数据(177)可以包括显示管理(DM)元数据，DM元数据可以由下游解码器用于对经后向整形的图像执行显示管理操作，以生成针对在HDR显示设备上渲染而优化的显示图像(例如，HDR显示图像等)。

在接收器与支持标准动态范围或相对窄动态范围的SDR显示器140一起操作(或附加到SDR显示器)的操作场景中，接收器可以直接或间接地在目标显示器(140)上渲染经解码的SDR图像。

在接收器与支持高动态范围(例如，400尼特、1000尼特、4000尼特、10000尼特或更高等)的HDR显示器140-1一起操作(或附加到HDR显示器)的操作场景中，接收器可以从视频信号(122)或视频片段(例如，其中的元数据容器等)中提取合成器元数据，并使用合成器元数据来合成HDR图像(132)，HDR图像可以是基于合成器元数据对SDR图像进行后向整形而生成的经后向整形的图像。另外，接收器可以从视频信号(122)或视频片段中提取DM元数据，并基于DM元数据对HDR图像(132)应用DM操作(135)，以生成针对在HDR显示设备(140-1)上渲染而优化的显示图像(137)，并在HDR显示设备(140-1)上渲染显示图像(137)。

仅出于图示的目的，已经描述了如本文所描述的局部整形操作可以由如视频编码器等上游设备执行，以从SDR图像生成经整形HDR图像。这些经整形HDR图像然后被视频编码器用作目标或参考HDR图像，以生成经后向整形的元数据，经后向整形的元数据帮助接收设备生成相对接近或准确地近似通过局部整形操作生成的经整形HDR图像的经后向整形的HDR图像。

应当注意，在各种实施例中，一些或所有局部整形操作可以由单独的视频编码器、单独的视频解码器、单独的视频转码器或前述的组合来执行。例如，视频编码器可以为SDR图像生成包括对整形函数/映射的索引的局部L1中值映射。另外地、可选地或可替代地，回放侧的视频解码器或视频编码器与视频解码器之间的视频转码器可以为SDR图像生成包括对整形函数/映射的索引的局部L1中值映射。视频编码器可以不应用局部后向整形操作来生成HDR图像。视频编码器可以推迟局部后向整形操作，以在随后的时间由视频转码器或视频解码器生成HDR图像。局部L1中值映射可以被视频编码器包括作为用视频信号或视频片段中的SDR图像编码的图像元数据的一部分。视频转码器或视频解码器可以利用BLUT族和/或BMMR映射族进行预加载。SDR图像的局部L1中值映射可以由视频转码器或解码器用于搜索或查找BLUT族和/或BMMR映射族中的特定整形函数或映射。然后，视频转码器或解码器可以对SDR图像执行高达每像素精度的局部整形操作，以至少部分地基于利用局部L1中值映射中的索引查找的特定整形函数/映射来生成经整形HDR图像。在一些操作场景中，一旦通过局部整形生成HDR图像，视频编码器就可以在视频信号(例如，视频信号的基层等)中编码HDR图像或从经局部整形的HDR图像中得到的HDR图像版本，而不是在视频信号(例如，视频信号的基层等)中编码SDR图像。从这种视频信号解码的HDR图像可以在HDR显示器上直接观看。

局部整形

图2A图示了用于应用局部整形操作(例如，212等)以从输入SDR图像生成对应HDR图像的示例流程。图像处理系统、其中的编码块(例如，图1的105等)或其中的解码块(例如，图1的130等)可以实施或执行该过程流。在一些操作场景中，给定了输入SDR图像202，全局整形函数204被选择为确定要通过局部整形操作从输入SDR图像(202)生成的输出HDR图像214的主HDR外观。

可以至少部分地(例如，针对光亮度或亮度通道中的码字等)经由多项式回归模型和MMR框架基于包括训练HDR图像和训练SDR图像的图像对的群体的训练数据集来确定多个基本整形函数，例如作为亮度通道的8段二阶多项式和色度通道的MMR。

在一些操作场景中，用于从SDR图像生成HDR图像的(后向)整形函数可以由L1元数据指定。L1元数据可以包括三个参数，如L1最大值、L1中值和L1最小值，所述参数可以从HDR图像的HDR码字(例如，RGB码字、YUV码字、YCbCr码字等)得到。L1最大值表示视频帧中的最高光亮度水平。L1中值表示视频帧上的平均光亮度水平。L1最小值表示视频帧中的最低黑度水平。可替代地或另外地，基于与当前帧所属的场景相关的L1元数据来执行(后向)整形。这些参数中的一个或多个指定整形函数。例如，不考虑L1最大值和L1最小值，但L1中值标识或指定整形函数。根据本发明，来自L1元数据的一个或多个参数——优选地L1中值——用于识别全局整形函数，并且被称为全局索引值。前向和后向整形函数的构造的示例构建在G-M.Su的于2020年4月21日提交的美国临时专利申请序列号63/013,063,“Reshapingfunctions for HDR imaging with continuity and reversibility constraints[具有连续性和可逆性约束的HDR成像的整形函数]”以及G-M.Su和H.Kadu的于2020年4月22日提交的美国临时专利申请序列号63/013,807“Iterative optimization of reshapingfunctions in single-layer HDR image codec[单层HDR图像编解码器中整形函数的迭代优化]”中进行了描述，所述美国临时专利申请的内容如在本文中充分阐述地通过引用整体并入本文。

可以使用根据输入SDR图像(202)确定、估计或预测的整体(例如，全局、每图像/帧等)L1中值从多个基本整形函数中选择特定的基本整形函数作为全局整形函数(204)。

应用高达每像素水平的局部整形操作以从输入SDR图像(202)生成HDR图像(214)的目标是增强HDR图像(214)的局部区域中的局部对比率，而不改变HDR图像(214)的这些局部区域的局部明亮度水平，从而维持利用全局整形函数(204)确定的HDR图像(214)的主HDR外观。

为了帮助防止或减少由于改变邻近视觉对象/字符的边缘/边界的局部明亮度水平而可能产生的如光晕伪像等常见伪像，可以对输入SDR图像(202)应用如多级边缘保留滤波206等高精度滤波以形成经滤波图像。可替代地，可以使用根据滤波输入SDR图像估计或预测的整体(例如，全局、每图像/帧等)L1中值来选择全局整形函数，而不是基于从(未滤波)输入SDR图像得到的L1中值来选择全局整形函数。经滤波图像可以用于得到或估计输入SDR图像(202)的不同局部区域(高达每像素精度或高达每个像素周围的局部区域)中的局部明亮度水平(或局部区域特定的明亮度水平)。输入SDR图像(202)的不同局部区域(高达每像素精度或高达每个像素周围的局部区域)中的估计的局部明亮度水平可以用于估计或预测HDR图像(214)中的局部L1中值(高达每像素精度或高达每个像素周围的局部区域)。局部L1元数据描述了光亮度值在像素周围的区域上的分布。可以将区域定义为单个像素，由此在应用局部整形时支持每像素精度。局部L1最大值表示区域中的最高光亮度水平。局部L1中值表示区域中的平均光亮度水平。局部L1最小值表示区域中的最低黑度水平。

用于估计SDR图像(202)的局部明亮度水平——其然后可以被用作预测模型的输入，以预测HDR图像(214)中的局部L1中值——的高精度滤波(206)可以被特别选择或调整为避免或减少不同视觉对象/字符之间、视觉对象/字符与背景/前景之间、邻近输入SDR图像(202)中描绘的和/或要在输出HDR图像(214)中描绘的视觉对象/字符的边缘/边界的信息泄漏(或像素值或码字信息扩散)。

为了提高局部整形操作的效率或响应时间，可以在系统启动时间段期间在如本文所描述的图像处理系统中(例如，最初、预先等)加载或构建(多个)局部整形函数208族。在至少部分地基于(多个)局部整形函数(208)族来执行将连续输入SDR图像序列(例如，包括输入SDR图像(202)等)整形或上转换为对应的连续输出HDR图像序列(例如，包括HDR图像(214)等)之前，可以执行(多个)局部整形函数(208)族的加载或构建。(多个)局部整形函数(208)族可以但不限于从用于选择全局整形函数(204)的多个基本整形函数中(例如通过外推法和/或内插法)生成。(多个)局部整形函数(208)族中的每个局部整形函数可以如在全局整形函数(204)或从中选择全局整形函数(204)的多个基本整形函数中的每个基本整形函数的情况下，全部或部分地使用来自局部L1元数据的相应值(优选地相应局部L1中值)来索引或标识。根据本发明，来自L1元数据的一个或多个参数(优选地局部L1中值)用于识别局部整形函数，并且被称为局部索引值。

如所提到的，通过对输入SDR图像(202)应用多级边缘保留滤波(206)而生成的经滤波图像可以用于生成或估计局部明亮度水平，局部明亮度水平可以与预测模型中的全局整形函数组合使用或参考全局整形函数使用，以生成或预测局部L1中值。这些局部L1中值形成局部L1中值映射210的索引，索引可以用于查找(多个)局部整形函数(208)族中的像素特定的局部整形函数。

通过局部L1中值映射(210)中的索引查找的像素特定的局部整形函数可以通过局部整形操作(表示为212)在每像素水平上应用于输入SDR图像(202)，以将亮度和色度通道中的SDR码字后向整形为亮度和色度通道中的HDR图像(214)的经整形HDR码字。这些呈微调(高达每像素精度)非线性函数形式的像素特定的局部整形函数中的每一个可以用于增强HDR图像(214)中的局部对比度和/或饱和度。

图2B图示了通过局部整形操作(例如，212等)将输入SDR图像转换为输出或经整形HDR图像的上转换过程的示例框架或架构。框架或架构将通过对输入SDR图像(例如，202等)进行多级边缘保留滤波而生成的多个级别的经滤波图像融合为整体经滤波图像。整体经滤波图像中的经滤波值用作局部明亮度水平的预测、估计和/或代理。这些经滤波值然后可以用作预测模型的输入的一部分，以生成或预测高达每像素精度的局部L1中值。局部L1中值用作用于选择或查找高达每像素精度的特定局部整形函数的索引。出于生成对应HDR图像(例如，214等)的目的，可以通过局部整形操作(212)将所选局部整形函数应用于输入SDR图像。框架或架构可以采用少数(例如，主要等)部件来执行与局部整形操作(212)有关的图像处理操作。

更具体地，可以首先构造如基本整形函数等多个整形函数。在一些操作场景中，这些基本整形函数可以对应于不同的L1中值并且可以用L1中值来索引，如在整个HDR码字空间或范围(例如，对于12位HDR码词空间或范围为4096等)的一些或全部中均匀或不均匀地分布的十二个不同的L1中值。

在给定了输入SDR图像(202)的情况下，多项式回归模型(例如，以下表达式(3)等)可以用于从输入SDR图像(202)中的亮度或Y通道SDR码字的平均值生成或预测全局L1中值。该全局L1中值可以用于生成(例如，利用近似法、利用内插法等)或从多个基本整形函数中选择特定整形函数作为输入SDR图像(202)的全局整形函数(例如，204等)。该全局整形函数提供或表示HDR图像(例如，214等)的主要HDR外观。该主要HDR外观可以保持在通过局部整形操作(212)从输入SDR图像(202)生成的经局部整形的HDR图像(214)中。

另外，可以应用多级边缘保留滤波(206)来针对多个不同级别(如1级到4级)生成多个经滤波图像(如206-1到206-4)。可以利用引导图像滤波器来执行或实施多个级别中的每个级别的边缘保留滤波，引导图像滤波器使用单个维度/通道或多个维度/通道的引导图像来引导对输入SDR图像(202)的滤波。可以从通过边缘保留滤波(例如，206-1到206-4等)针对多个级别生成的多个经滤波图像中生成整体经滤波图像作为加权和224。

在给定了由整体经滤波图像中的经滤波值估计或近似的高达每像素精度的局部明亮度水平的情况下，可以利用减法/差异算子222以高达每像素精度来确定局部明亮度水平与单独像素的亮度或光亮度值之间的差异。

高达每像素精度的差异(或输入SDR图像(202)中的每个像素的单个差异)可以用于估计例如具有增强水平216的期望的局部L1中值调整218，以生成高达每像素精度的L1中值调整(或针对输入SDR图像(202)中的每个像素的单独L1中值调整)。可以利用非线性激活函数来进一步修改L1中值调整，以生成高达每像素精度的经修改的L1中值调整(或者针对输入SDR图像(202)中的每个像素的单独的经修改的L1中值调整)。

用于局部L1中值生成/预测的预测模型(例如，如以下表达式(6)等所表示)可以用于根据经修改的L1中值调整和全局L1中值(204)生成高达每像素精度的局部L1中值(或输入SDR图像(202)中的每个像素的单个局部L1中值)。

这些局部L1中值(210)可以被共同表示为L1中值映射。局部L1中值(210)中的每一个可以用作用于从整形函数/映射族中为输入SDR图像(202)的像素中的对应像素选择局部整形函数/映射的索引值。因此，可以通过作为索引值的这些局部L1中值(210)来选择多个局部整形函数/映射。局部整形操作(212)可以通过对输入SDR图像(202)应用局部整形函数/映射以生成经整形HDR图像(214)来执行。

基本和非基本整形函数

图3A以用于多个目标L1中值设置的后向整形函数(也称为后向查找表或BLUT)的形式图示了用于如本文所描述的SDR到HDR上转换的示例基本后向整形函数。如所提到的，可以使用具有不同目标L1中值/设置的训练数据集来构建或构造基本后向函数。用于通知或表示输入SDR图像(202)的HDR外观的全局整形函数(204)可以基于针对输入SDR图像(202)确定或预测的全局L1中值从这些基本整形函数中选择或线性内插。

在一些操作场景中，用于多个目标L1中值/设置的这些基本整形函数可以用于进一步构造用于其他L1中值/设定的其他整形函数。在这些整形函数中的许多整形函数中，在给定了相同的输入SDR码字值的情况下，基本整形函数的L1中值/设置越高，由基本整形函数从输入SDR码字值生成的映射HDR码字值就越高，这转化为包括映射HDR码字值的HDR图像中更亮的输出HDR外观。

将输入SDR图像(202)和经全局整形的HDR图像分别表示为S和V，经全局整形的HDR图像是从输入SDR图像(202)全局整形的，并且表示从输入SDR图像(202)局部整形的HDR图像(214)的HDR外观。将输入SDR图像和经全局整形的HDR图像的亮度或Y通道分别表示为S^Y和V^Y。在给定了输入SDR图像(202)中第i个像素的SDR亮度或Y码字值(表示为)的情况下，并且在给定了对应于表示为L的L1中值/设置或由其索引的后向整形函数(表示为B_L())的情况下，可以如下给出(全局整形)HDR图像中第i个像素的对应输出HDR亮度或Y码字值(表示为/>)：

后向整形函数B_L()(或基本整形函数)可以被预先计算并存储为如本文所描述的图像处理系统中的后向查找表(BLUT)。对于比特深度为B^S的输入SDR码字，B_L()具有 个/>条目。在B^S＝10的操作场景中，基本整形函数B_L()具有1024个条目。

如所提到的，图像处理系统可以用多个基本整形函数进行预加载。在多个基本整形函数所对应的L1中值/设置具有12位精度的操作场景中，这些L1中值/设置占用分布在[04095]的12位范围内的多个不同值。

通过举例而非限制的方式，多个基本整形函数包括用于12个L1中值/设置的12个基本整形函数。12个L1中值/设置/>中的每个L1中值/设置对应于12个基本整形函数中的相应基本整形函数或曲线。在本示例中，最初在系统启动之后，可以获得12个基本的1024条目色调曲线(分别表示为B₅₁₂()，B₇₆₈()，...，B₃₃₂₈())。

可以根据对包括HDR-SDR训练图像对的训练数据集中的训练图像执行的内容映射(CM)、色调映射(TM)和/或显示管理(DM)算法/操作来训练或得到如前向和后向整形函数等整形函数。CM/TM/DM算法或操作可以或可以不提供不相交的整形函数。如图3A中所图示的，基本整形函数可以包括低L1中值范围内的一些整形函数，这些整形函数可以在不同的整形函数之间或之中相交。

可以调整或修改基本整形函数，以使得局部整形(或局部色调映射)能够实现比利用全局整形可以实现的更高的局部对比度以及更好、更一致的HDR外观。图3B图示了调整和修改之后的示例基本整形函数。

在一些操作场景中，可以通过外推法调整或修改基本整形函数，以使基本整形函数之间或之中不相交。为了确保基本整形函数在其之间或之中不相交，对于任何给定的SDR码字s^Y，可以调整或修改基本整形函数以满足关于相同给定SDR码字的L1中值/设置单调递增的约束，如下所示：

为了实现以上表达式(2)中所表示的这种单调递增性质，低L1中值的相交的预先调整或预先修改的基本整形函数可以由通过对预先调整或预先修改的基本整形函数执行外推而生成的经调整或修改的基本整形函数来代替。

仅出于图示的目的，假设L1中值的第一N_ext基本整形曲线(相交并且)将被代替。接下来的两个基本色调曲线(/>和/>)可以用于使用L1中值距离比率(或L1中值的两个差异/距离的比率)来执行(例如，线性等)外推。下表1中图示了用于这种外推的示例程序。

表1

如图3A中所图示的，当L1中值<＝1280时，从训练HDR-SDR图像对训练的原始基本整形函数/曲线或BLUT不会相对于L1中值单调递增。因此，前四个基本整形函数/曲线或BLUT(其中，L1中值分别＝512、768、1024、1280)可以通过对两个L1中值1536和1792的两个接下来的基本整形函数/曲线进行线性外推而被经调整或修改的基本整形函数/曲线代替。

如图3B中所图示的基本整形函数/曲线可以通过外推图3A的基本整形函数/曲线来生成。如在图3B中可以看到的，在给定了SDR码字的情况下，图3B的基本整形函数满足经映射或经整形HDR码字相对于L1中值单调递增的条件或约束。应当注意，与上表1中所图示的程序相比，也可以使用或实施更一般的清理程序。这种清理程序可以实施用于检测所有输入基本整形函数、曲线或BLUT中的相交(或相对于L1中值非单调递增)基本整形函数/曲线或BLUT的程序逻辑，并且经由从相邻的或编码的最近邻的基本整形函数、曲线或BLUT进行外推和/或内插来代替那些相交的基本整形函数、曲线或BLUT。

如果适用，非基本整形函数、曲线或BLUT可以从经调整或修改的基本整形函数、曲线或BLUT生成。在一些操作场景中，可以通过从最近的基本整形函数、曲线或BLUT进行双线性内插来从基本整形函数、曲线或BLUT生成非基本整形函数、曲线或BLUT。由于基本整形函数、曲线或BLUT已经是单调递增的，所以内插的非基本整形函数、曲线或BLUT也继承了这种单调递增的性质。下表2中图示了用于通过双线性内插从基本整形函数、曲线或BLUT生成非基本整形函数、曲线或BLUT的示例程序。

表2

在许多操作场景中，如本文所描述的通过外推法和内插法生成的基本整形函数和非基本整形函数可以使得局部整形操作(212)能够在(局部整形)HDR图像(214)中提供比使用预先调整或预先修改的整形函数在HDR图像中提供的局部对比度更高的局部对比度。使用经调整或修改的整形函数，经局部整形的HDR图像(214)中的暗区域具有较低的码字值，这指示或实现局部整形SDR图像(214)中较高的对比率。

全局整形函数选择

为了确定或实现要通过局部整形从SDR图像(202)生成的HDR图像(214)的整体(例如，最佳、期望、目标等)HDR外观，可以首先使用从输入SDR图像(202)提取的(一种或多种特征类型的)SDR特征基于用于全局L1中值预测的多项式回归模型来预测全局L1中值(表示为L^(g))。全局L1中值L^(g)然后可以用于搜索或识别表示整体HDR外观的对应全局整形函数(表示为)。

在一些操作场景中，对于模型效率和鲁棒性，用于全局L1中值预测的多项式回归模型可以是一阶多项式(线性)模型，如下所示：

其中，表示亮度或Y通道中的输入SDR图像(202)的SDR码字的平均值，其中，SDR码字可以在如[0，1]之间的特定值范围内归一化；c₀和c₁表示多项式回归模型的模型参数。

用于全局L1中值预测的多项式回归模型可以通过从如本文所描述的包括多个HDR-SDR图像对的训练数据集中的训练SDR图像中提取的(与实际预测操作中使用的特征类型相同的)SDR特征来训练，以获得模型参数c₀和c₁的最优值。

在一些操作场景中，为了避免SDR图像(202)中描绘的视觉语义内容中可能存在的字母框所导致的任何偏差——其可能最终影响整体HDR外观，在获取或计算亮度或Y通道平均值时可以排除这种字母框(如果存在)。

如本文所描述的字母框的排除可以在多项式回归模型的训练操作/过程和基于多项式回归模型进行的实际预测操作/过程中执行。

在用HDR-SDR图像对训练回归模型时，可以使用HDR-SDR图像对中的每个HDR-SDR图像对中的训练SDR图像来进行SDR特征的特征提取，而HDR-SDR图像对中的训练HDR图像可以用作目标，将通过使用由回归模型预测/估计的全局整形函数对SDR图像进行后向整形而生成或预测的经整形HDR图像与目标进行比较。

相似性度量(例如，成本、误差、质量度量等)可以用于将经整形HDR图像与训练HDR图像进行比较。在一些操作场景中，根据经验可能与L1中值具有相对较强的相关性的峰值信噪比(PSNR)可以用作相似性度量。

将亮度或Y通道中的(原始)训练HDR图像的HDR码字表示为V^Y。进一步将亮度或Y通道中的经整形HDR图像的HDR码字表示为(原始)训练HDR图像与经整形HDR图像之间的亮度或Y通道中的HDR码字的PSNR可以出于改进或优化模型参数c₀和c₁的目的来确定，并且如下表3中所图示。

表3

/>

对于给定的HDR-SDR(训练)图像对(V，S)及其亮度或Y通道码字(V^Y，S^Y)，用于模型训练目的的“真实数据”可以以最佳L1中值的形式构造(表示为L_best)。在一些操作场景中，可以通过应用蛮力计算来确定最佳L1中值，以生成经后向整形的图像并计算所有(候选)L1中值的对应PSNR。在一些操作场景中，为了避免或降低这种蛮力方法的相对高的计算成本，可以实施或执行两步方法以找到最佳L1中值L_best。两步方法包括：(1)粗搜索以找到表示为L_init的初始L1中值，(2)迭代精细搜索以找到最佳L1中值L_best的(例如，局部最优等)解。

在第一步骤中，可以通过在与基本整形函数相对应或对基本整形函数进行索引的L1中值{512，768，…，3328}中进行穷举搜索来决定初始L1中值L_init。在(候选)L1中值{512，768，…，3328}中，可以选择与生成具有最高PSNR(表示为PSNR_init)的经整形HDR图像的基本整形函数中的某个基本整形函数相对应的L1中值作为初始L1中值L_init。

在第二步骤中，假设作为L1中值的函数的PSNR具有(例如，全局、局部、收敛等)唯一的最大点，则梯度信息可以从作为当前最佳L1中值L_best的初始L1中值L_init开始迭代地或逐渐地细化样本点网格，以找到(最终)最佳L1中值L_best。在每次迭代中，可以在左方向和右方向上搜索具有相对小步长大小ΔL的(当前)最佳L1中值L_best(例如，其最初可以被设置为初始值，如ΔL_init＝128等)。(当前)最佳L1中值L_best移动到给出最大PSNR的位置或值。如果左方向和右方向都未给出最大或更大的PSNR，则步长大小可以减小到先前值的一半。可以重复该迭代过程，直到步长大小小于阈值(例如，∈_L＝10^-5等)和/或直到达到最大迭代次数(例如，N_iter，max＝20等)。由于(由(最终)最佳L1中值L_best表示的)L1中值的“真实数据”用于训练回归模型，因此(最终)最佳L1中值L_best可以是实数，而不一定仅限于整数。

对于针对给定的HDR-SDR训练图像对确定的不对应于(例如，缓存的、容易获得的、存储的、预加载的等)整形函数的任何(最终)最佳L1中值，可以通过对最近的可用L1中值(例如，相对于针对给定的HDR-SDR训练图像对确定的(最终)最佳L1中值等)的基本或非基本整形函数(例如，色调曲线等)进行内插来生成整形函数。

下表4和表5中图示了示例初始粗搜索程序和示例迭代搜索程序。

表4

表5

可以对训练数据集中的每个HDR-SDR训练图像对执行两步搜索方法，以获得呈最佳L1中值形式的每个这种图像对的所有“真实数据”。针对全局L1中值预测的回归问题可以被公式化以至少部分地基于预测的L1中值(在图3C中表示为“pred”)与真实数据(最佳L1中值；在图3C中表示为“gt”)之间的差异来优化模型参数(或多项式系数)c₀和c₁。可以使用如图3C中所图示的相对简单的最小二乘解来获得模型参数(或多项式系数)c₀和c₁。图3C中的每个数据点对应于HDR-SDR训练图像对，并且包括亮度或Y通道中的(HDR-SDR训练图像对中的)训练SDR图像的SDR码字的平均值以及HDR-SDR训练图像对的真实数据或(最终)最佳L1中值。回归模型的模型参数的示例值可以是(但不一定仅限于)：c₀＝396.6和c₁＝3396.4。

亮度局部整形函数选择

为了增加或增强HDR图像(214)中的局部对比率以高达每个像素，局部整形函数可以被创建或选择为具有比全局整形函数更高的斜率(其对应于更高的对比率)，全局整形函数是基于使用回归模型从亮度或Y通道中的输入SDR图像(202)的SDR码字的平均值预测的全局L1中值选择的。如前，可以利用HDR-SDR训练图像对来训练回归模型。

在一些操作场景中，对于输入SDR图像(202)中表示的每个像素，特定局部整形函数可以基于像素周围的局部区域中的局部明亮度水平或通过多级边缘保留滤波得到的呈滤波亮度值形式的局部明亮度水平的估计、近似或代理来选择，并且可能不同于基于全局L1中值选择的全局整形函数。该局部整形函数可以与局部整形操作(212)一起应用，以实现局部对比度增强的相对最优的性能，同时具有相对低的计算成本并且没有或几乎没有光晕伪像。

替代以相对高的计算成本和时间针对高达每个像素从头开始设计唯一的局部整形函数，可以使用包括如先前讨论的一些或全部基本和非基本整形函数的预先计算(或预加载)的BLUT族作为候选局部整形函数集合。对于每个像素，可以从BLUT族中特别选择局部整形函数(或BLUT)，以获得或实现像素的更高斜率或局部对比率。

局部整形函数的构造、选择和应用导致像素周围的局部区域中的局部对比度增加，但保持局部区域中整体局部明亮度不变。

概念上，在给定了输入SDR图像(202)中的第i个像素(或对应HDR图像(214)中的对应第i个像素)的情况下，该像素的局部区域可以是像素的集合，其中，/>表示第i个像素的k×k邻域；/>表示第i个像素周围的局部明亮度或局部明亮度水平；并且Δs^Y表示局部区域中的局部明亮度偏差/变化的小数。

目标是找到局部整形函数f^(l)，局部整形函数在下具有比全局整形函数f^(g)更高的斜率(因此具有更高的对比率)，并且满足条件/约束：在第i个像素下(或提供相同的局部明亮度)，如图3D中所图示的。

应当注意，可以实施如本文所描述的一些或所有技术，而不必要求对像素的局部区域进行严格定义。如本文所描述的局部区域可以与观看者有关(例如，不同的观看者可以感知不同空间分辨率的明亮度等)以及与内容有关(例如，可以以不同方式感知图像中不同内容或图像特征的局部明亮度等)。

在一些操作场景中，包括但不限于具有适用的空间内核大小(例如，根据经验确定等)的多级边缘保留滤波的空间滤波可以用于生成近似像素周围的局部明亮度的度量或代理。

与使用像素周围的局部区域的严格非柔性定义来计算局部明亮度的方法相比，如本文所描述的图像处理系统可以使用滤波来更好地考虑可以如何感知图像中的局部明亮度的观看者相关性(例如，通过滤波中的多级的空间大小等)和内容相关性(例如，通过滤波的边缘保留等)。

现有的全局整形函数B可以用于构造第i个像素的局部整形函数，以保证来自具有用于第i个像素的局部整形函数的局部整形的经局部整形的HDR码字值在合理范围内，或者与根据用于第i个像素的全局整形函数预测的预测HDR码字值没有显著偏差。

预测的HDR码字值可以从全局整形函数生成，全局整形函数采用第i个像素的全局L1中值和SDR亮度或Y码字值形式的输入。

同样地，经局部整形的HDR码字值可以从全局整形函数生成，全局整形函数采用第i个像素的局部L1中值和SDR亮度或Y码字值/>形式的输入，如下所示：

应当注意，如果成为/>的函数，则整形函数成为第i个像素的局部函数。更具体地，为了获得局部整形函数的更高斜率，可以利用取决于SDR亮度或Y码字值/>的BLUT索引来选择以上表达式(4)中的局部整形函数，如下所示：

或等效地：

其中，

通过计算局部整形函数和全局整形函数两者在下的导数/>可以示出局部整形函数在第i个像素处具有比全局整形函数更高的斜率。

对于全局整形函数，因此，全局整形函数的斜率如下给出：

对于局部整形，斜率如下给出：

如所讨论的，BLUT族中的基本和非基本整形函数可以满足相对于具有对应性质的L1中值单调递增的条件/约束，如下所示：

因此，假设在非平坦区域中α＞0且在/>处局部整形函数的斜率将大于全局整形函数的斜率，从而导致局部整形函数具有更大的局部对比率。因此，表达式(5)和(6)可以用于提供更高或更好的局部对比率。

在一些操作场景中，可以设置以下关系：α＝a_local×c₁，其中，c₁与以上表达式(3)中的相同，并且a_local表示局部增强水平。这些参数中的任何一个、一些或全部可以从模拟、训练或经验中获得。局部增强水平a_local的示例值可以是但不一定仅限于：根据局部对比率的(所选)强度介于0至3之间的常数。当a_local＝0时，局部整形函数等效于全局整形函数。

图3E图示了在本文中参考全局整形函数所描述的技术下选择的示例局部整形函数。这些示例局部整形函数是通过固定L^(g)和α并在以上表达式(5)和(6)中的不同的之间切换来创建的。每个局部整形函数对应于相应局部明亮度值/>局部明亮度值是与全局整形函数相交处的SDR值。如图3E中所示出的，在局部整形函数和全局整形函数的任何相交处，局部整形函数的斜率都大于全局整形函数。

图3F图示了在本文中参考多个(例如，实际的、候选的、可能的等)全局整形函数所描述的技术下选择的示例局部整形函数。如所示出的，与所有描绘的全局整形函数相比，局部整形函数的斜率在局部整形函数与任何全局整形函数的相交处都更大。

另外地、可选地或可替代地，作为确定或选择用于局部整形操作(212)的局部整形函数的一部分，可以进一步进行非线性调整。

如先前，可以从预先计算的(基本或非基本)整形函数的BLUT族中确定或选择高达每像素精度的局部整形函数，用于L1中值的所有整数值，如0至4095(包括两端)(0、1、2、…、4095)，整数值覆盖亮度或Y通道中整个HDR码字空间的一些或全部。可以使用外推法和/或内插法来获取预先计算的BLUT族中的这些(候选)整形函数中的一些或全部。这可以避免例如在运行时，当像素或图像/帧正在被处理时针对每个像素和/或每个图像/帧明确地计算确切的局部整形函数。

利用预先计算的(基本或非基本)整形函数的BLUT族，对于每个图像/帧，如输入SDR图像(202)，可以首先为图像/帧中的每个像素计算局部明亮度图像滤波可以用于生成或估计局部明亮度/>(例如，其代理或近似等)。局部明亮度/>可以然后用于根据以上表达式(5)和(6)为图像/帧中的每个这种像素生成或预测对应的L1中值(L^(l))，从而产生包括图像/帧中的每个像素的L1中值(L^(l))的L1中值映射。

在一些操作场景中，为了防止L1中值变得过低并在经整形HDR图像(214)上给出不自然的外观，可以引入非线性函数f^SL(.)来进一步调整根据以上表达式(5)或(6)获得的L1中值，如下所示：

或等效地：

通过举例而非限制的方式，非线性函数f^SL(.)或软限幅函数可以是S型线性形状函数(如图3G中所图示的)，其将最小值软限幅为如-d等偏移值，如下所示。

其中，d表示S型偏移。对于(或适用于)[0，4095]的整个L1中值范围，d的示例值可以是但不一定仅限于200。

如以上表达式(11)中所示出的，在非线性函数f^SL(.)中可以不调整最大值，从而允许较亮的像素获得或保持相对足够的高光。注意，非线性函数f^SL(.)在x＝0处的斜率可以被设置为等于一(1)。下表6中图示了使用S型线性形状函数来调整局部整形的L1中值的示例程序。

表6

在一些操作场景中，与(例如，原始等)线性函数/激活相比，S型线性函数/激活可以帮助避免或减少暗区中的过度增强(例如，进一步更暗等)。具有S型线性函数或激活的暗区可能看起来比具有线性函数或激活的暗区更亮。

引导滤波

虽然局部整形函数在局部区域中提供了更大的对比率，但应为每个像素适当地设置局部明亮度水平使得局部整形函数的增强看起来是自然的。与局部区域一样，局部明亮度是主观的(与观看者有关)并且与内容有关。直观地，像素的局部明亮度水平/>应设置为同一视觉对象/字符上的像素附近或周围的像素或共享同一光源的像素的平均明亮度，使得属于同一视觉对象/字符和/或共享同一光源的像素可以用(多个)相同或类似的局部整形函数进行整形。然而，寻找或识别视觉对象/字符和光源并不是一项轻松的任务。在一些操作场景中，例如，在不调用高计算成本来(例如，明确地等)寻找或识别图像/帧中的视觉对象/字符和光源的情况下，可以使用边缘保留图像滤波来近似或实现这样的效果，即属于同一视觉对象/字符和/或共享同一光源的像素可以用(多个)相同或类似的局部整形函数进行整形。

在一些操作场景中，可以利用引导图像滤波器来执行边缘保留图像滤波，引导图像滤波器可以以相对低或适度的计算成本高效地执行。示例引导图像滤波在以下文献中进行了描述：Kaiming He、Jian Sun和Xiaoou Tang,“Guided Image Filtering[引导图像滤波]”,IEEETransactions on Pattern Analysis and Machine Intelligence[模式分析与机器智能IEEE汇刊],第35卷,第6期,第1397-1409页(2013)，其内容通过引用以其全文并入本文。

在给定了如输入SDR图像(202)等输入图像P、引导图像I、内核大小k和期望/目标平滑度∈的情况下，引导图像滤波器可以类似于双边滤波器对输入图像(中的码字值)执行局部加权平均。可以以这样的方式计算或确定权重，即使得来自引导图像中边缘的同一侧(例如，类似颜色、同一视觉对象/字符等)上的像素对经滤波值的贡献大于来自边缘的相对侧(例如，不同颜色、不同视觉对象/字符等)上的像素的贡献。因此，引导图像中边缘同一侧的像素被平均在一起并主导经滤波值，从而产生高效地近似于可以通过调用高计算成本来(例如，明确地等)寻找或识别图像/帧中的视觉对象/字符和光源而获得的效果的边缘保留性质。

引导滤波器施加约束，即经滤波输出结果或经滤波图像是相对于添加了噪声的引导图像的线性函数。因此，可以公式化约束优化问题，以使输入图像的每个局部区域中的预测误差最小化。该优化问题可以通过每个局部区域中的岭回归来解决。通过实施逐像素岭回归的高效解决方案，可以加快基于引导滤波器的滤波过程。

下表6中图示了用引导图像滤波器对输入图像P进行滤波的示例程序。

表6

上表6中的均值滤波器(f_mean)可以至少部分地通过计算O(N)时间复杂度从引导图像I生成积分图像来获得或实施，其中，N是输入图像中的像素数。

在给定了大小为W×H的引导图像I的情况下，其积分图像J是大小为(W+1)×(H+1)的图像，其中，每个像素值是I中的上方和左侧所有像素的总和，如下所示：

注意，积分图像J可以包括具有比从中得到积分图像的(输入)引导图像I中的值更高精度的值。对于B^S比特深度和W×H大小的(输入)引导图像，其积分图像可以包括具有精度的值。例如，对于10位1080p输入图像，其积分图像可以包括具有精度1：1920×1080×2¹⁰≈1：2.2×10⁹的值。

下表7中图示了利用积分图像进行均值滤波的示例程序。下表8中图示了用于生成积分图像的示例程序。下表9中图示了在如表7中所图示的均值滤波中使用的示例辅助程序。

表7

/>

表8

表9

/>

当输入图像被用作引导图像时，滤波结果与双边滤波器生成的结果类似，并且具有类似颜色的像素被一起平均。

在一些操作场景中，可以实施或执行引导图像滤波器的更快版本，以加快在二次采样图像中执行回归的滤波器过程。

下表10中图示了通过二次采样图像利用引导图像滤波器对输入图像P进行滤波的示例程序。

表10

下表11和表12中图示了执行在上表10中提到的函数f_subsample和f_upsample。

表11

表12

/>

可以在不牺牲HDR图像(214)的最终质量的情况下选择上表11和表12中的二次采样因子，如稍后将进一步详细讨论的。

引导图像滤波器中使用的参数可以与其他图像滤波器所使用的参数进行比较。与内核相关的半径可以定义为σ_blur，并且与亮度或Y通道中的平滑度∈相关的半径可以定义为σ_Y。这些参数类似于高斯滤波器或双边滤波器中的标准偏差/半径，其中，可以对半径内的像素进行滤波或平均。因此，引导图像滤波器的参数可以被解释或指定如下：

k＝2*σ_blur+1

如本文所描述的图像滤波可以处理不同空间分辨率的输入。因此，可以与图像大小成比例地调整如σ_blur等参数。例如，出于在不同的空间分辨率中获得类似的视觉效果的目的，对于1920×1080分辨率的图像，σ_blur可以被设置为等于50，并且对于960×540分辨率的相同内容，其可以被设置为25。对于平滑度∈，可以设置以下内容：对于归一化SDR图像，σ_Y＝0.1且∈＝0.01(例如，在[0，1]的值范围内归一化的码字等)。

另外、可选地或可替代地，如本文所描述的引导图像可以具有与多个特征相关的多个维度。引导图像的这些维度不一定与颜色通道YUV或RGB相关。可以计算跨多个维度的协方差矩阵，而不是仅仅计算单个(例如，标量等)协方差。

下表13中图示了利用多个维度(例如，三维等)的引导图像滤波器对输入图像P进行滤波的示例程序。

表13

/>

在上表13中，U表示3×3单位矩阵。3维引导图像的参数∈可以基于维度的总数按比例缩放，如下所示：

光晕伪像减少

在图像中跨较大区域进行图像滤波可能导致的主要伪像是光晕伪像。光晕伪像可能是由局部滤波引起的，局部滤波引入视觉对象/字符的边缘的不期望的或一致的平滑梯度。例如，这种局部图像滤波可能会引入不期望的“增强”(明亮的光晕)，这是由前景视觉对象/字符诸如以诸如天空为背景的女孩的边缘的不期望的或一致的平滑梯度引起的。因此，在至少部分地通过局部图像滤波生成的输出图像中，可以在前景视觉对象/字符诸如女孩周围生成明亮的光晕。

尽管如本文所描述的引导图像滤波器可以被设计为保留边缘，但考虑到引导图像滤波器将局部线性模型强加在非零半径内并且以不完美(或近似)的岭回归解决方案操作，可以或可以不完全避免光晕伪像。

在一些操作场景中，图像梯度可以用作用于调整局部图像滤波的强度或程度的权重因子。当伪像发生在无纹理和平滑的区域诸如天空中时，观众或观看者可能更容易注意到光晕伪像。因此，可以在这些区域中降低局部图像滤波的强度或程度，以使任何光晕伪像变得不明显或不那么明显。通过比较，不需要减少纹理区域中的局部图像滤波。

应当注意，引导滤波器试图保留边缘，以避免沿着边缘的强平滑。如果引导图像在尖锐边缘附近具有相对大幅度的值(其可以是正的或负的)，则沿着边缘的引导图像滤波或平滑变得相对较弱，由此避免模糊边缘并减少边缘附近的光晕伪像。为了实现这种平滑结果，从输入图像提取的高频特征可以被引入引导图像的一个维度中，并且用于提供关于滤波/平滑的附加引导。高频特征可以通过图像梯度的倒数来加权，如下所示：

其中，f_Gauss(.)表示逐像素的高斯模糊；G_mag表示例如使用索贝尔(Sobel)滤波器获取或获得的逐像素图像梯度幅度；∈_gmag表示正则化常数(例如，对于作为输入图像的大小为1920×1080的归一化SDR图像为0.01)。∈_gmag的值可以与输入图像的图像分辨率成反比。

以上表达式(15)中的分子P-f_Gauss(P)表示输入图像的逐像素高频分量。使用高频(分量)特征替代(原始)输入图像的目标是利用(如基于输入图像与高斯模糊图像之间的差异从输入图像提取的高频分量所测量的)值差异而不是输入图像中边缘处或边缘附近的(例如，原始等)输入值来引导滤波/平滑。

以上表达式(15)中的分母f_Gauss(G_mag)+∈_gmag表示输入图像的纹理强度。以上表达式(15)中的加权高频特征feat可以用作引导图像的维度之一。如果这些位置或区域具有相对高频的分量(P-f_Gauss(P))和相对低的纹理强度(f_Gauss(G_mag)+∈_gmag)，则该引导图像的维度在边缘/边界附近提供相对高的值，从而导致在这些位置或区域附近的平滑或增强的强度或程度相对低。另一方面，如果位置或区域具有相对高频的分量和相对高的纹理强度，则引导图像的加权高频特征feat或维度在位置或区域附近或在位置或区域处提供相对低的值，从而导致在这种位置或区域附近的平滑或增强的强度或程度相对高。使用利用呈高频特征feat形式的该引导图像的维度实施的增强或平滑的缩放策略，如果边缘附近的位置或区域是非纹理和平滑的区域，则可以放大或保持边缘之间的差异。在给定了这些位置或区域处的较高feat值的情况下，引导图像滤波器将减少不想要的平滑或增强。

下表14中图示了使用索贝尔滤波器获得逐像素图像梯度G_mag(或G(i，j))的示例程序。下表15中图示了逐像素高斯模糊的示例程序。

表14

表15

如本文所使用的，如上表14中的b＝clip(a,x,y)的表达式中的限幅函数执行以下操作：如果(a<x)，则b＝x；否则如果(a>y)，则b＝y；否则b＝a。

在一些操作场景中，以上表达式(15)中的高频特征feat可以被用作引导图像的第三维度，而输入图像可以被用作引导图像的第一维度和第二维度。另外地、可选地或可替代地，引导图像中的这三个维度可以被调整到相同的动态范围。引导图像中的第三维度可以与常数a_gradfeat(例如，0.3等)相乘。因此，可以如下指定或定义引导图像的三个维度：

多级滤波

图像滤波的重要方面是用于滤波的内核大小。内核大小越小，在滤波以产生滤波结果期间考虑的局部区域就越小(因此局部区域中使用或整形的像素就越少)。另一方面，内核大小越大，在滤波以产生滤波结果期间考虑的局部区域就越大(因此局部区域中使用或整形的像素就越多)。对于相对小的内核(大小)，与相对小的局部区域相对应的相对精细的图像细节和纹理被增强或改变，而相对粗略的图像细节或纹理保持与之前类似或几乎没有改变。另一方面，对于相对大的内核(大小)，与相对大的局部区域相对应的相对粗略的图像细节和纹理被一起增强或改变，而相对精细的图像细节或纹理保持与之前类似或几乎没有改变。

如本文所描述的技术可以被实施为利用不同的内核大小(例如，以更好地说明如何感知局部区域或局部明亮度水平的观看者相关性或内容相关性等)。例如，可以在这些技术下实施多级滤波，以生成整体组合的经滤波图像作为以多个不同的N_K内核大小生成的多个不同经滤波图像/>的加权和，使得最终的经整形HDR图像(214)在与多个不同的N_K内核大小相对应的所有级别(多级滤波)中看起来都是增强的，如下所示：

其中，w_n表示在第n级别处的第n个经滤波图像的权重(或在第N_K个内核大小处的第n个内核大小)。

来自以上表达式(17)的组合的经滤波图像中的经滤波值(例如，用作输入SDR图像(202)中的局部明亮度水平的估计或代理等)可以用作表达式(10a)中的输入/>以用于局部整形函数选择。

在一些操作场景中，为了帮助提供经整形HDR图像的更好外观(例如，图2A或图2B的214等)，可以使用4个级别(或N_K＝4)或内核大小的图像滤波，并将其与相应权重因子组合在一起。这4个级别的示例内核大小可以是但不一定仅限于：对于1920×1080的图像大小为σ_blur(12，25，50，100)。权重因子的示例值可以是但不一定仅限于：(0.3，0.3，0.2，0.2)。

虽然计算成本和次数可能随着用于获得整体组合的经滤波图像的级别的总数而增加，但是可以通过在不同级别之中重复使用或共享一些变量或数量来减少这种计算成本和次数。另外地、可选地或可替代地，在适用时可以应用近似法，以帮助防止计算成本随着内核大小而增加。

出于在对应的经整形HDR图像中提供(局部对比度)增强而没有或几乎没有光晕伪像的目的，训练数据集中的HDR-SDR训练图像对可以用于帮助找到一些或所有操作参数的最佳值。视频注释工具可以应用于这些图像，以标记或识别图像对中的图像的前景、背景、图像对象/字符等。示例视频注释在由A.Khalilian-Gourtani等人于2019年12月6日提交的美国临时专利申请序列号62/944,847,“User guided image segmentation methods andproducts[用户引导图像分割方法和产品]”中进行了描述，美国临时专利申请通过引用以其全文并入本文。光晕伪像掩模(表示为HA)可以用于定义或识别前景周围的背景像素、图像对象/字符等。仅出于图示的目的，这些背景像素可以例如使用前景、图像对象/字符等的距离变换在一定距离范围(例如，5至30个像素等)内位于前景、图像对象或字符等附近，如在由视频注释工具或对象分割技术生成的前景掩模(表示为FG)中识别的或与前景掩模一起识别的。

为了定量地表示增强，可以定义局部前景区域FG_n，i中基于区域的纹理度量(表示为tex)。局部前景区域FG_n，i具有位于第n个图像的第i个像素处的中心。基于区域的纹理度量tex可以被定义或指定为局部前景区域FG_n，i中的经整形HDR图像(例如，图2A或图2B的214等)与输入SDR图像(例如，图2A或图2B的202等)之间的方差的比率，如下所示：

基于区域的纹理度量tex可以用于度量局部整形操作(例如，图2A或图2B的212等)中的增加的高频分量。基于区域的纹理度量tex的值越高，表明从对输入SDR进行局部整形到生成经整形HDR图像的局部对比率的增加就越高。

另外，光晕度量可以被定义为在光晕伪像掩模中识别的局部光晕伪像区域HA_n，i中的经整形HDR图像与输入SDR图像之间的相关系数，如下所示：

halo(HA_n，i)＝1-|corrcoef({(S^Y(x)，V^Y(x))|x∈HA_n，i})| (19)

光晕度量光晕可以用于度量经整形HDR图像与通过局部整形引入的输入SDR之间的不一致性。当经整形HDR图像中存在光晕伪像时，经整形HDR图像示出了与光晕伪像掩模(中定义的例如前景周围的背景像素、视觉对象/字符等)中的输入SDR不同的趋势。以上表达式(19)中的相关系数可以用于度量两个变量X与Y之间的线性相关性，如下所示：

corrcoef(X，Y)＝cov(X，Y)/(var(X)×var(Y))^0.5 (20a)

其中，协方差cov(X，Y)定义如下：

cov(X，Y)＝E[(X-E[X])×(Y-E[Y])] (20b)

在此，E[.]表示平均值。

以上表达式(19)中的光晕度量光晕的第二项的相对小的值意味着输入SDR图像与经整形HDR图像之间存在相对弱的线性关系(或相对大的不一致性)，由此表明光晕伪像相对较强。

找到如本文所描述的操作参数的最佳值的目标是为纹理度量提供或生成大值(例如，最大值等)以及为光晕度量提供或生成小值(例如，最小值等)。可以为其生成优化值的示例操作参数可以包括但不一定仅限于以下各项中的一些或全部：a_local、σ_Y、a_gradfeat、∈_gamag等。

在一些操作场景中，N_image(例如，N_image＝10等)HDR-SDR训练图像对中的SDR图像可以被随机采样到大小为r×r(例如，r＝31等)的N_sample(例如，N_sample＝100等)正方形区域中，可以为正方形区域生成前景掩模FG_n，i和光晕掩模HA_n，i。优化问题可以如下进行公式化，以获得操作参数的最优值：

在非限制性示例中，用于搜索操作参数的最佳值的参数空间可以如下定义：a_local＝[2，3]，σ_Y＝[0.08，0.12]，a_gradfeat＝[0.2，0.3]并且∈_gmag＝[0.03，0.1]。操作参数的最佳值可以至少部分地基于光晕度量和纹理度量来选择，如下所示：a_local＝3，σ_Y＝0.10，a_gradfeat＝0.3并且∈_gmag＝0.01，用于归一化输入SDR输入图像(例如，包括[0，1]的归一化值范围内的归一化SDR码字值等)。

在一些操作场景中，为了加快图像滤波，可以在局部整形操作(212)中共享或重复使用来自一些或所有计算的结果，例如在如下两个方面。第一，用于引导对输入SDR图像执行滤波的引导图像中的三个维度中的两个维度可以设置为输入SDR图像：I1＝I2＝P，其中，P表示输入SDR图像。因此，可以共享或重复使用与输入SDR图像和/或引导图像中的mean、mul、var和cov相关的计算和/或计算结果。第二，在多级滤波中，独立于内核大小或不受内核大小影响的变量(或数量)可以在不同级别之间共享。下表16中图示了在不同级别上简化或重新使用计算和/或计算结果(例如，I1′＝f_subsample(I1，s)、mul_I11＝I1′.*I1′等)的示例程序。

表16

/>

其次，可以加快高斯模糊，例如使用迭代盒滤波器来近似高斯滤波器。高斯滤波器与迭代盒滤波器的示例近似在以下文献中进行了描述：Pascal Getreuer[全变差正则化图像处理],“A Survey of Gaussian Convolution Algorithms[高斯卷积算法综述]”,ImageProcessing On Line[在线图像处理],第3卷,第286-310页(2013)；William M.Wells,“Efficient Synthesis of Gaussian Filters by Cascaded Uniform Filters[级联均匀滤波器对高斯滤波器的高效合成]”,模式分析与机器智能IEEE汇刊,第8卷,第2期,第234-239页(1986)，文献的内容通过援引以其全文并入本文。迭代盒滤波器的迭代总次数NG_iter可以(但不限于)设置为三(3)次。下表17中图示了使用迭代盒滤波器来近似高斯滤波器的示例程序。

表17

可以分析快速引导图像滤波器中的二次采样的有效性。可以比较以不同的二次采样因子值生成的经整形HDR图像的计算成本/次数和视觉质量，以确定二次采样因子的最佳值。在一些操作场景中，二次采样因子s的值2提供了显著的加速(例如，约17％等)，在经整形HDR图像中没有或几乎没有可见的降级，而二次采样因子s的值4示出了可见的降级或差异。因此，在计算资源可能受到限制的一些操作场景中，可以如本文所描述的以二次采样因子s的值2在多级滤波中实施或执行二次采样。

图2C图示了用于应用多级边缘保留滤波的示例流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此流程中的一些或全部操作。

框250包括接收输入SDR图像(例如，图2A或图2B的202等)并计算输入SDR图像(202)的图像梯度。框252包括使用输入SDR图像(202)和图像梯度来生成高斯模糊图像梯度和高斯模糊SDR图像，例如针对多个级别(或多次迭代)中的当前级别，其中，当前级别以特定处理顺序被设置为多个级别中的第一级别。框254包括从高斯模糊图像梯度和高斯模糊SDR图像生成引导图像。框256包括使用输入SDR图像(202)来计算(输入SDR图像(202)的)积分图像。框258包括利用引导图像和积分图像应用快速引导图像滤波，以生成当前级别的输入SDR图像(202)的滤波SDR图像260。框262包括将滤波SDR图像(260)添加到多个级别的经滤波SDR图像的加权和(其可以被初始化为零或空)。框264包括确定是否已经达到最大迭代或级别。如果已经达到最大迭代或级别(“是”)，则将加权和作为多级滤波SDR图像(266)。另一方面，如果尚未达到最大迭代或级别(“否”)，则当前级别递增并且流程返回到框252。

基于MMR的整形/映射可以用于执行或进行色度整形，色度整形根据输入SDR图像(例如，图2A或图2B的202等)中的亮度和色度SDR码字在色度通道中生成经整形HDR图像(例如，图2A或图2B的214等)的经整形HDR码字。

类似于预先计算用于亮度局部整形的多个不同L1中值的基本或非基本(BLUT)整形函数的BLUT族(或者从输入SDR图像中的局部整形亮度或Y通道SDR码字生成经整形HDR图像中的经整形亮度或Y通道HDR码字)，用于色度局部整形的多个不同L1中值的基本或非基本(BMMR)整形映射的后向MMR族(BMMR)。

基本或非基本(BMMR)整形映射可以分别由多个MMR系数集合指定。BMMR族中的每个(BMMR)整形映射可以用多个MMR系数集合中的相应MMR系数集合指定。可以在如本文所描述的图像处理系统的系统初始化/启动周期期间预先计算和/或预加载这些MMR系数集合。因此，当输入SDR图像被局部整形为HDR图像时，不需要在运行时生成用于色度局部整形的MMR系数。可以执行外推法和/或内插法，以将色度通道的基本BMMR系数集合扩展到BMMR族中的其他L1中值的非基本BBMR系数集合。

由于L1中值映射可以通过亮度局部整形生成，所以相同的L1中值映射可以用于选择或查找用于色度局部整形的特定L1中值的MMR系数的特定BMMR集合。特定L1中值的MMR系数的特定BMMR集合(其表示特定L1中值的特定BMMR整形/映射)与在BLUT族中选择或查找的特定L1中值的特定BLUT相结合可以应用于输入SDR图像，以在经整形HDR图像中生成整形颜色，即增加色彩饱和度，同时匹配整体HDR色调/外观(例如，如通过训练HDR-SDR图像确定的，等等)，如通过与根据输入SDR图像确定的全局L1中值相对应的全局亮度和色度整形函数/映射所指示的。

可以基于L1中值映射中指示的L1中值/索引以高达每像素精度来选择或查找MMR系数集合。针对高达每个像素，可以对色度通道Cb和Cr执行色度局部整形，如下所示：

在许多操作场景中，当L1中值变得更大时，尤其是对于相对低的输入SDR亮度或Y码字，整形Cb和Cr HDR码字导致对应的整形颜色变得更饱和(例如，如通过和/>测量的对应的整形颜色到中性或灰度颜色的距离变得更大)。因此，在利用局部L1中值映射的局部整形中，具有较亮亮度或光亮度水平的像素变得更加饱和，而具有较暗亮度或光亮度水平的像素变得不那么饱和。

在一些操作场景中，可以在将SDR图像局部整形为HDR图像时使用基于线性片段的结构。示例的基于线性片段的结构在H.Kadu和G-M.Su的美国专利10,397,576,“Reshapingcurve optimization in HDR coding[HDR编码中的整形曲线优化]”中进行了描述，该美国专利的全部内容如在本文充分阐述地通过引用并入本文。

如本文所描述的一些或所有技术可以被实施和/或执行为广播视频应用、实时流式传输应用等的实时操作的一部分。另外地、可选地或可替代地，如本文所描述的一些或所有技术可以被实施和/或执行为非实时流式传输应用、影院应用等的延时或离线操作的一部分。

示例过程流

图4图示了根据实施例的示例过程流。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此过程流。在框402中，图像处理系统生成用于为第二动态范围的输入图像选择全局整形函数的全局索引值。全局索引值是使用输入图像中的亮度码字来生成的。

在框404中，图像处理系统对输入图像应用图像滤波以生成经滤波图像。经滤波图像的经滤波值提供了输入图像中的局部明亮度水平的度量。

在框406中，图像处理系统生成用于为输入图像选择特定局部整形函数的局部索引值。局部索引值是使用全局索引值和经滤波图像的经滤波值来生成的。

在框408中，图像处理系统使得至少部分地通过利用使用局部索引值选择的特定局部整形函数对输入图像进行整形来生成第一动态范围的经整形图像。

在实施例中，局部索引值在局部索引值映射中表示。

在实施例中，第一动态范围表示高动态范围；第二动态范围表示低于高动态范围的标准动态范围。

在实施例中，使用局部索引值选择的特定局部整形函数将输入图像中的亮度码字整形为HDR图像中的亮度码字；局部索引值进一步用于选择特定局部整形映射，特定局部整形映射将输入图像中的亮度码字和色度码字映射为经整形图像中的色度码字。

在实施例中，特定局部整形函数由后向整形查找表表示；特定局部整形映射由后向多元多重回归映射表示。

在实施例中，局部索引值是使用利用训练数据集中的训练图像对而训练的预测模型从全局索引值和经滤波值生成的；训练图像对中的每一个包括第一动态范围的训练图像和第二动态范围的训练图像；第一动态范围的训练图像和第二动态范围的训练图像描绘相同的视觉语义内容。

在实施例中，特定局部整形函数中的每一个是基于局部索引值中的相应局部索引值从多个预加载的整形函数中选择的。

在实施例中，多个预加载的整形函数是通过以下各项之一从基本整形函数生成的：内插法、外推法或内插法和外推法的组合；基本整形函数是利用包括多个训练图像对的训练数据集来确定的；训练图像对中的每一个包括第一动态范围的训练图像和第二动态范围的训练图像；第一动态范围的训练图像和第二动态范围的训练图像描绘相同的视觉语义内容。

在实施例中，经整形图像是由已经生成全局索引值和局部索引值的视频编码器生成的。

在实施例中，经整形图像是由除了已经生成全局索引值和局部索引值的视频编码器之外的接收设备生成的。

在实施例中，经滤波图像是通过多个内核大小级别下的图像滤波生成的多个单独经滤波图像的加权和。

在实施例中，对具有引导图像的输入图像应用图像滤波，以减少光晕伪像。

在实施例中，图像滤波表示以下各项之一：引导图像滤波、非引导图像滤波、多级滤波、边缘保留滤波、多级边缘保留滤波、非多级边缘保留滤波、多级非边缘保留滤波、非多级非边缘保留滤波等。

在实施例中，局部索引值至少部分地基于软限幅函数来生成；软限幅函数接受亮度码字与经滤波值之间的经缩放差异作为输入；软限幅函数被特别选择为生成不小于输入图像的暗像素的最小值的输出值。

在实施例中，图像滤波表示用引导图像进行的引导图像滤波；引导图像包括针对多个像素位置计算的高频特征值，高频特征值分别由针对引导图像的一个或多个通道之一中的多个像素位置计算的图像梯度的倒数加权。

在实施例中，引导图像包括至少部分地基于光晕减少操作参数集合得到的引导图像值；图像处理系统进一步被配置成执行以下操作：针对多个图像对中的每个图像对，利用光晕减少操作参数集合的多个候选值集合将一个或多个局部前景区域中的局部前景区域的基于区域的纹理度量计算为图像对中第一动态范围的训练图像和第二动态范围的对应训练图像的方差比，一个或多个局部前景区域是从在图像对中的第一动态范围的训练图像中识别的前景掩模中采样的；针对多个图像对中的每个图像对，利用光晕减少操作参数集合的多个候选值集合将一个或多个局部光晕伪像区域中的某个局部光晕伪像区域中的光晕度量计算为图像对中的第一动态范围的训练图像与第二动态范围的对应训练图像之间的相关系数，一个或多个局部光晕伪像区域是从在第二动态范围的对应训练图像中识别的光晕掩模中采样的；针对光晕减少操作参数集合的多个候选值集合，计算以下的相应加权和：(a)从多个图像对中的第一动态范围的训练图像中识别的前景掩模中采样的所有局部前景区域的所有基于区域的纹理度量，以及(b)从多个图像对中的第二动态范围的对应训练图像中识别的光晕掩模中采样的所有局部光晕伪像区域的所有光晕度量；确定光晕减少操作参数集合的优化值集合，优化值集合用于生成以下的最小化加权和：(a)从多个图像对中的第一动态范围的训练图像中识别的前景掩模中采样的所有局部前景区域的所有基于区域的纹理度量，以及(b)从多个图像对中的第二动态范围的对应训练图像中识别的光晕掩模中采样的所有局部光晕伪像区域的所有光晕度量；对具有光晕减少操作参数集合的优化值集合的输入图像应用多个空间内核大小级别的图像滤波。

在实施例中，如显示设备、移动设备、机顶盒、多媒体设备等计算设备被配置用于执行前述方法中的任一种方法。在实施例中，一种装置包括处理器，并且被配置用于执行前述方法中的任一种方法。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，软件指令当由一个或多个处理器执行时使得执行前述方法中的任一种方法。

在实施例中，一种计算设备包括一个或多个处理器以及一个或多个存储介质，一个或多个存储介质存储指令集，指令集当由一个或多个处理器执行时使得执行前述方法中的任一种方法。

注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。

示例计算机系统实施方式

本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这种系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实施与对具有增强动态范围的图像的自适应感知量化有关的指令，如本文所描述的那些。计算机和/或IC可以计算与本文所描述的自适应感知量化过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。

本发明的某些实施方式包括执行软件指令的计算机处理器，软件指令使处理器执行本公开的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施与如上的对HDR图像的自适应感知量化有关的方法。还可以以程序产品的形式提供本发明的实施例。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，一组计算机可读信号包括指令，指令当由数据处理器执行时，使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对部件的引用(包括对“装置”的引用)都应该被解释为包括执行所描述部件的功能的任何部件为部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。

根据一个实施例，本文描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，比如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储设备或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备也可以将定制的硬接线逻辑、ASIC或FPGA与定制编程相结合来实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施技术的任何其他设备。

例如，图5是图示了可以在其上实施本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，比如随机存取存储器(RAM)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这种指令使得计算机系统500变成被自定义为执行在指令中指定的操作的专用机器。

计算机系统500进一步包括只读存储器(ROM)508或耦接到总线502以用于存储处理器504的静态信息和指令的其他静态存储设备。提供存储设备510(如磁盘或光盘)，并将其耦接到总线502以用于存储信息和指令。

计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控件516，以用于将方向信息和命令选择传送到处理器504并且用于控制在显示器512上的光标移动。典型地，此输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在平面中指定位置。

计算机系统500可以使用自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文描述的技术，这些自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行如本文所描述的技术。这种指令可以从如存储设备510等另一存储介质读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文描述的过程步骤。在替代性实施例中，可以使用硬接线电路来代替软件指令或者与软件指令相结合。

如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，比如存储设备510。易失性介质包括动态存储器，比如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪速EPROM、NVRAM、任何其他存储器芯片或存储盒。

存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，比如在无线电波和红外数据通信期间生成的那些声波或光波。

各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，最初可以在远程计算机的磁盘或固态驱动器上载送指令。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中载送的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。

计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供与对应类型电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网(LAN)卡，用于提供与兼容LAN的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收载送表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(ISP)526操作的数据设备的连接。ISP 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用载送数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据载送到计算机系统500和从计算机系统载送数字数据)是传输介质的示例形式。

计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、ISP 526、本地网络522和通信接口518传输应用程序的请求代码。

接收到的代码可以在被接收到时由处理器504执行和/或存储在存储设备510或其他非易失性存储装置中以供稍后执行。

等同物、扩展、替代方案和杂项

在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明的要求保护的实施例以及申请人认为的本发明的要求保护的实施例的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续校正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、性质、特征、优点或属性不应该以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。

枚举的示例性实施例

本发明可以以本文描述的任何形式实施，包括但不限于以下描述了本发明实施例的一些部分的结构、特征和功能的枚举的示例实施例(EEE)。

EEE1.一种用于从低于第一动态范围的第二动态范围的输入图像生成第一动态范围的图像的方法，方法包括：

使用输入图像中的亮度码字来生成用于为第二动态范围的输入图像选择全局整形函数的全局索引值；

对输入图像应用图像滤波以生成经滤波图像，经滤波图像的经滤波值提供输入图像中的局部明亮度水平的度量；

使用全局索引值和经滤波图像的经滤波值来生成用于为输入图像选择特定局部整形函数的局部索引值；

使得至少部分地通过利用使用局部索引值选择的特定局部整形函数对输入图像进行整形来生成第一动态范围的经整形图像。

EEE2.如EEE1的方法，其中，局部索引值在局部索引值映射中表示。

EEE3.如EEE1或EEE2的方法，其中，第一动态范围表示高动态范围；其中，第二动态范围表示低于高动态范围的标准动态范围。

EEE4.如EEE1至EEE3中任一项的方法，其中，使用局部索引值选择的特定局部整形函数将输入图像中的亮度码字整形为HDR图像中的亮度码字；其中，局部索引值进一步用于选择特定局部整形映射，特定局部整形映射将输入图像中的亮度码字和色度码字映射为经整形图像中的色度码字。

EEE5.如EEE4的方法，其中，特定局部整形函数由后向整形查找表表示；其中，特定局部整形映射由后向多元多重回归映射表示。

EEE6.如EEE1至EEE5中任一项的方法，其中，局部索引值是使用利用训练数据集中的训练图像对而训练的预测模型从全局索引值和经滤波值生成的；其中，训练图像对中的每一个包括第一动态范围的训练图像和第二动态范围的训练图像；其中，第一动态范围的训练图像和第二动态范围的训练图像描绘相同的视觉语义内容。

EEE7.如EEE1至EEE6中任一项的方法，其中，基于局部索引值中的相应局部索引值从多个预加载的整形函数中选择特定局部整形函数中的每一个。

EEE8.如EEE7的方法，其中，多个预加载的整形函数是通过以下各项之一从基本整形函数生成的：内插法、外推法或内插法和外推法的组合；其中，基本整形函数是利用包括多个训练图像对的训练数据集来确定的；其中，训练图像对中的每一个包括第一动态范围的训练图像和第二动态范围的训练图像；其中，第一动态范围的训练图像和第二动态范围的训练图像描绘相同的视觉语义内容。

EEE9.如EEE1至EEE8中任一项的方法，其中，经整形图像是由已经生成全局索引值和局部索引值的视频编码器生成的。

EEE10.如EEE1至EEE9中任一项的方法，其中，经整形图像是由除了已经生成全局索引值和局部索引值的视频编码器之外的接收设备生成的。

EEE11.如EEE1至EEE10中任一项的方法，其中，经滤波图像是通过多个内核大小级别下的图像滤波生成的多个单独经滤波图像的加权和。

EEE12.如EEE1至EEE11中任一项的方法，其中，对具有引导图像的输入图像应用图像滤波以减少光晕伪像。

EEE13.如EEE1至EEE10中任一项的方法，其中，图像滤波表示以下各项之一：引导图像滤波、非引导图像滤波、多级滤波、边缘保留滤波、多级边缘保留滤波、非多级边缘保留滤波、多级非边缘保留滤波或非多级非边缘保留滤波。

EEE14.如EEE1至EEE13中任一项的方法，其中，局部索引值至少部分地基于软限幅函数来生成；其中，软限幅函数接受亮度码字与经滤波值之间的经缩放差异作为输入；其中，软限幅函数被特别选择为生成不小于输入图像的暗像素的最小值的输出值。

EEE15.如EEE1至EEE14中任一项的方法，其中，图像滤波表示用引导图像进行的引导图像滤波；其中，引导图像包括针对多个像素位置计算的高频特征值，高频特征值分别由针对引导图像的一个或多个通道之一中的多个像素位置计算的图像梯度的倒数加权。

EEE16.如EEE1至EEE15中任一项的方法，其中，引导图像包括至少部分地基于光晕减少操作参数集合得到的引导图像值；方法进一步包括：

针对多个图像对中的每个图像对，利用光晕减少操作参数集合的多个候选值集合将一个或多个局部前景区域中的某个局部前景区域的基于区域的纹理度量计算为图像对中第一动态范围的训练图像和第二动态范围的对应训练图像的方差比，其中，一个或多个局部前景区域是从在图像对中的第一动态范围的训练图像中识别的前景掩模中采样的；

针对多个图像对中的每个图像对，利用光晕减少操作参数集合的多个候选值集合将一个或多个局部光晕伪像区域中的某个局部光晕伪像区域中的光晕度量计算为图像对中的第一动态范围的训练图像与第二动态范围的对应训练图像之间的相关系数，其中，一个或多个局部光晕伪像区域是从在第二动态范围的对应训练图像中识别的光晕掩模中采样的；

针对光晕减少操作参数集合的多个候选值集合，计算以下的相应加权和：(a)从多个图像对中的第一动态范围的训练图像中识别的前景掩模中采样的所有局部前景区域的所有基于区域的纹理度量，以及(b)从多个图像对中的第二动态范围的对应训练图像中识别的光晕掩模中采样的所有局部光晕伪像区域的所有光晕度量；

确定光晕减少操作参数集合的优化值集合，其中，优化值集合用于生成以下的最小化加权和：(a)从多个图像对中的第一动态范围的训练图像中识别的前景掩模中采样的所有局部前景区域的所有基于区域的纹理度量，以及(b)从多个图像对中的第二动态范围的对应训练图像中识别的光晕掩模中采样的所有局部光晕伪像区域的所有光晕度量；

对具有光晕减少操作参数集合的优化值集合的输入图像应用多个空间内核大小级别的图像滤波。

EEE17.一种计算机系统，被配置成执行如EEE1至EEE16中的方法中的任一种方法。

EEE18.一种装置，包括处理器并且被配置为执行如EEE1至EEE16中的方法中的任一种方法。

EEE19.一种非暂态计算机可读存储介质，具有存储于其上的用于执行如EEE1至EEE16中的方法中的任一种方法的计算机可执行指令。

Claims (15)

1.一种用于从低于第一动态范围的第二动态范围的输入图像生成所述第一动态范围的图像的方法，所述方法包括：

使用所述输入图像中的亮度码字来生成用于为所述第二动态范围的输入图像选择全局整形函数的全局索引值，其中，所述全局索引值是通过使用多项式回归模型根据所述输入图像中的亮度SDR码字的平均值预测的L1中值；

对所述输入图像应用图像滤波以生成经滤波图像，所述输入图像包括高达每像素精度的多个区域，并且针对每个区域生成所述经滤波图像的经滤波值，所述经滤波值提供所述输入图像的相应区域中的局部明亮度水平的度量；

使用所述全局索引值和所述经滤波图像的经滤波值来生成用于为所述输入图像的相应区域选择特定局部整形函数的局部索引值，其中，每个局部索引值是表示所述相应区域的平均光亮度水平的局部L1中值，其中，生成每个区域的局部索引值包括：

确定根据对应的经滤波值估计的局部明亮度水平与所述相应区域的单独像素的光亮度水平之间的差异；

根据所确定的差异来估计局部L1中值调整；

根据所述全局索引值和所述局部L1中值调整来预测局部L1中值，所述局部L1中值表示所述局部索引值；

使得至少部分地通过利用使用所述局部索引值选择的所述特定局部整形函数对所述输入图像进行整形来生成所述第一动态范围的经整形图像，其中，使用所述局部索引值选择的所述特定局部整形函数将所述输入图像中的亮度码字整形为HDR图像中的亮度码字。

2.如权利要求1所述的方法，其中，所述局部索引值在局部索引值映射中表示。

3.如权利要求1或2所述的方法，其中，所述第一动态范围表示高动态范围；其中，所述第二动态范围表示低于所述高动态范围的标准动态范围。

4.如权利要求1至3中任一项所述的方法，其中，所述局部索引值进一步用于选择特定局部整形映射，所述特定局部整形映射将所述输入图像中的亮度码字和色度码字映射为所述经整形图像中的色度码字。

5.如权利要求1至4中任一项所述的方法，其中，所述局部索引值是使用利用训练数据集中的训练图像对而训练的预测模型从所述全局索引值和所述经滤波值生成的；其中，所述训练图像对中的每一个包括所述第一动态范围的训练图像和所述第二动态范围的训练图像；其中，所述第一动态范围的训练图像和所述第二动态范围的训练图像描绘相同的视觉语义内容。

6.如权利要求1至5中任一项所述的方法，其中，基于所述局部索引值中的相应局部索引值从多个预加载的整形函数中选择所述特定局部整形函数中的每一个。

7.如权利要求1至6中任一项所述的方法，其中，所述经整形图像是由已经生成所述全局索引值和所述局部索引值的视频编码器生成的。

8.如权利要求1至7中任一项所述的方法，其中，所述经整形图像是由除了已经生成所述全局索引值和所述局部索引值的视频编码器之外的接收设备生成的。

9.如权利要求1至8中任一项所述的方法，其中，所述经滤波图像是通过多个内核大小级别下的图像滤波生成的多个单独经滤波图像的加权和。

10.如权利要求1至9中任一项所述的方法，其中，所述图像滤波被应用到具有引导图像的输入图像以减少光晕伪像。

11.如权利要求1至10中任一项所述的方法，其中，所述图像滤波表示以下各项之一：引导图像滤波、非引导图像滤波、多级滤波、边缘保留滤波、多级边缘保留滤波、非多级边缘保留滤波、多级非边缘保留滤波或非多级非边缘保留滤波。

12.如权利要求1至11中任一项所述的方法，其中，所述局部索引值至少部分地基于软限幅函数来生成；其中，所述软限幅函数接受所述亮度码字与所述经滤波值之间的经缩放差异作为输入；其中，所述软限幅函数被特别选择为生成不小于所述输入图像的暗像素的最小值的输出值。

13.如权利要求1至12中任一项所述的方法，其中，所述图像滤波表示用引导图像进行的引导图像滤波；其中，所述引导图像包括针对多个像素位置计算的高频特征值，所述高频特征值分别由针对所述引导图像的一个或多个通道之一中的所述多个像素位置计算的图像梯度的倒数加权。

14.一种装置，包括处理器并且被配置为执行如权利要求1至13所述的方法中的任一种方法。

15.一种非暂态计算机可读存储介质，具有存储于其上的用于根据权利要求1至13所述的方法中的任一种方法、利用一个或多个处理器来执行方法的计算机可执行指令。