CN109155853B - 用于高动态范围图像的色度整形 - Google Patents

Abstract

讨论了用于自适应色度整形的方法和系统。给定输入图像，基于其亮度分量首先生成亮度整形后的图像。对于输入图像的每个色度分量，亮度整形后的图像中的像素值的范围被分割成区段，并且对于每个区段，基于输入图像中与该区段中亮度整形后的图像的像素对应的色度像素值生成最大缩放因子。基于参考整形函数和最大缩放因子生成正向整形函数，并且基于正向整形函数和亮度整形后的图像中的对应的像素值生成色度分量的整形后的色度像素值。还描述了对于具有有限计算资源的移动平台使用查找表的实现选项。

Description

用于高动态范围图像的色度整形

相关申请的交叉引用

本申请要求2016年5月19日提交的欧洲专利申请号16170446.5和2016年5月19日提交的美国临时申请号62/338,638的优先权，这两个申请通过引用整体并入本文。

技术领域

本发明一般涉及图像。更特别地，本发明的实施例涉及具有高动态范围的图像的色度整形(reshape)。

背景技术

如本文所使用的，术语‘动态范围’(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，辉度(luminance)，亮度(luma))的范围(例如，从最暗的灰色(黑色)到最亮的白色(高亮))的能力。在这个意义上，DR涉及‘参考场景的’强度。DR还可以涉及显示设备充分地或近似地呈现特定宽度的强度范围的能力。在这个意义上，DR涉及‘参考显示的’强度。除非在本文的描述中的任何点明确地指定特定意义具有特定的重要性，否则应当推断该术语可以在任一意义上使用，例如，可互换地使用。

如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的一些14-15数量级的DR宽度。在实践中，相对于HDR，人可以同时感知强度范围中的广泛宽度的DR可能稍微被截断。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地涉及通过包括眼睛移动的人类视觉系统(HVS)在场景或图像内可感知的DR，其允许跨场景或图像的一些光适应改变。如本文所使用的，EDR可以涉及跨越5至6数量级的DR。因此，虽然相对于真实的参考场景的HDR可能稍微窄一些，但是EDR仍然表示广的DR宽度并且也可以被称为HDR。

在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用线性辉度编码，n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式(诸如由IndustrialLight and Magic开发的OpenEXR文件格式)存储和分发。

用于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，辉度)与由显示器产生的输出屏幕颜色值(例如，屏幕辉度)之间的关系。例如，通过引用整体包括在本文中的ITU Rec.ITU-R BT.1886，“Reference electro-optical transferfunction for flat panel displays used in HDTV studio production”(03/2011)基于测量的阴极射线管(CRT)的特性定义了平板显示器的参考EOTF。给定视频流，关于其EOTF的信息通常作为元数据嵌入位流中。如本文所使用的，术语“元数据”涉及作为编码的位流的一部分发送并且帮助解码器呈现解码的图像的任何辅助信息。这样的元数据可以包括但不限于颜色空间或色域信息、参考显示器参数和辅助信号参数，如本文所描述的那些。

大多数消费者桌面显示器当前支持200至300cd/m²或尼特的辉度。大多数消费者HDTV的范围从300到500尼特，其中新型号达到1000尼特(cd/m²)。因此，这样的传统显示器代表较低动态范围(LDR)，也称为标准动态范围(SDR)(相对于HDR或EDR而言)。随着HDR内容的可用性由于捕获装备(例如，相机)和HDR显示器(例如，来自Dolby Laboratories的PRM-4200专业参考监视器)这两者的进步而增长，HDR内容可以被颜色分级并显示在支持较高动态范围(例如，从1000尼特到5000尼特或更多)的HDR显示器上。可以使用支持高辉度能力(例如，0至10000尼特)的替代EOTF来定义这样的显示器。在通过引用整体并入本文的SMPTEST 2084：2014“High Dynamic Range EOTF of Mastering Reference Displays”中定义了这样的EOTF的示例。一般地，但没有限制，本公开的方法涉及高于SDR的任何动态范围。

如本文所使用的，术语“整形”是指对HDR图像的预处理操作(诸如缩放、量化等)，以将它从其原始位深映射到较低或相同位深的图像，以允许使用现有的编码标准和设备进行更高效的编码。可以使用元数据将由编码器使用的‘正向整形’参数作为编码的位流的一部分传送到接收器，使得相容的解码器可以应用‘逆向’或‘反向整形’操作以在其全动态范围重构原始信号。可以将整形应用于HDR信号的任何或所有的颜色分量。如这里发明人所意识到的，为了改进现有的和未来的编码标准，需要用于HDR视频的色度整形的改进技术。

本章节中描述的方法是可以追求的方法，但不一定是先前已构思或追求的方法。因此，除非另外表明，否则不应当假定本章节中描述的任何方法仅仅由于它们包括在本章节中而有资格作为现有技术。类似地，除非另外表明，否则关于一种或多种方法识别出的问题不应当在本章节的基础上假定在任何现有技术中被认识到。

附图说明

通过示例的方式而非以通过限制的方式在附图的图中示出了本发明的实施例，并且其中同样的附图标记指相似的元素，并且其中：

图1A描绘了视频递送管线的示例过程；

图1B描绘了根据本发明的实施例的、使用内容自适应量化或整形的数据压缩的示例过程；

图2描绘了根据本发明的实施例的示例参考色度整形函数；

图3描绘了根据本发明的实施例的依赖内容的最大可允许的缩放因子的示例；

图4描绘了根据本发明的实施例的依赖内容的整形函数的示例；

图5A和图5B描绘了根据本发明的实施例的色度整形的示例过程；以及

图6描绘了根据本发明的实施例的、可以在正向整形系数查找表(LUT)中表示的示例色度整形函数。

具体实施方式

本文描述了用于高动态范围(HDR)图像的色度整形技术。在以下的描述中，出于解释的目的，阐述了大量具体的细节，以便提供对本发明的透彻理解。然而，将清楚的是，可以在没有这些具体的细节的情况下实践本发明。在其它实例中，没有详尽地描述众所周知的结构和设备，以便避免不必要地封闭、模糊或混淆本发明。

概述

本文描述的示例实施例涉及HDR图像的色度整形。用于自适应色度整形的处理器接收具有亮度(辉度)分量和一个或多个色度分量的输入图像。处理器基于输入图像的亮度分量生成亮度整形后的图像。对于输入图像的色度分量，它将亮度整形后的图像中的像素值的范围分割成区段(bin)，并且对于每个区段，它基于与该区段中亮度整形后的图像的像素值对应的色度像素值生成最大缩放因子。它基于参考整形函数和最大缩放因子生成将整形后的亮度值映射到色度缩放因子的正向整形函数，并基于输入的色度像素值、正向整形函数和亮度整形后的图像中的对应的像素值生成色度分量的整形后的色度像素值。

在另一个实施例中，正向整形函数的参数使用具有多个正向整形函数的预先计算的参数的查找表来确定。这些函数中的每一个由表征正向整形函数的期望交叉点的一对(x_T,yn*)坐标完全地定义，其中x_T坐标与整形后的亮度值对应，对于该整形后的亮度值，参考整形函数下方的最大缩放值的值与参考整形函数具有最大距离。

在另一个实施例中，参考和正向整形函数是输入图像中的亮度像素值的函数，并且基于原始亮度像素值而不是亮度整形后的图像的像素值来执行色度整形。

示例视频递送处理管线

图1A描绘了常规的视频递送管线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)捕获或生成视频帧(102)的序列。视频帧(102)可以被数字地捕获(例如，由数码相机)或由计算机生成(例如，使用计算机动画)，以提供视频数据(107)。替代地，视频帧(102)可以由胶片相机在胶片上捕获。胶片被转换成数字格式，以提供视频数据(107)。在制作阶段(110)中，编辑视频数据(107)，以提供视频制作流(112)。

制作流(112)的视频数据然后被提供给在块(115)处的处理器，用于后期制作编辑。块(115)后期制作编辑可以包括根据视频创作者的创意意图调整或修改图像的特定区域中的颜色或明亮度，以增强图像质量或实现图像的特定外观。这有时被称为“颜色定时”或“颜色分级”。可以在块(115)处执行其它的编辑(例如，场景选择和排序、图像裁剪、计算机生成的视觉特效的添加等等)，以产生制作的最终版本(117)以供分发。在后期制作编辑(115)期间，视频图像在参考显示器(125)上被观看。

在后期制作(115)之后，最终制作(117)的视频数据可以被递送到编码块(120)，用于向下游递送到解码和回放设备(诸如电视机、机顶盒、电影院等)。在一些实施例中，编码块(120)可以包括音频和视频编码器(诸如由ATSC、DVB、DVD、Blu-Ray和其它递送格式定义的那些)，以生成编码的位流(122)。在接收器中，编码的位流(122)由解码单元(130)解码，以生成表示信号(117)的完全相同或接近的近似的解码的信号(132)。接收器可以附连到可以具有与参考显示器(125)完全不同的特性的目标显示器(140)。在那种情况下，显示管理块(135)可以用于通过生成显示映射信号(137)来将解码的信号(132)的动态范围映射到目标显示器(140)的特性。

信号整形

当前，用于视频递送的大多数数字接口(诸如串行数字接口(SDI))被限制为每分量每像素12位。此外，压缩标准的大多数实际实现(诸如H.264(或AVC)和H.265(或HEVC))被限制为每分量每像素10位。因此，需要高效的编码和/或量化来在现有基础设施和压缩标准内支持动态范围从近似0.001到10000cd/m²(或尼特)的HDR内容。

如本文所使用的术语“PQ”是指感知辉度幅值量化。人类视觉系统以非常非线性的方式对增加的光水平(level)进行响应。人类看到刺激的能力受那个刺激的辉度、刺激的大小、组成刺激的空间频率以及在观看刺激的特定时刻眼睛已适应的辉度水平影响。在优选实施例中，感知量化器函数将线性输入灰度水平映射到更好地匹配人类视觉系统中的对比灵敏度阈值的输出灰度水平。在通过引用整体并入本文的、SMPTE ST 2084：2014“HighDynamic Range EOTF of Mastering Reference Displays”中描述了示例PQ映射函数，其中给定固定的刺激大小，对于每一个辉度水平(即，刺激水平)，根据最灵敏的适应水平和最灵敏的空间频率(根据HVS模型)来选择在那个辉度水平的最小可见对比步长(step)。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地与人类视觉系统进行响应的方式可能具有非常粗略的相似性的传统伽马曲线相比，PQ曲线使用相对简单的函数模型模拟人类视觉系统的真实视觉响应。

例如，根据SMPTE ST 2084，在1cd/m²下，一个12位码值与近似0.0048cd/m²的相对改变对应；然而，在1000cd/m²下，一个12位码值与近似2.24cd/m²的相对改变对应。需要这种非线性量化以适应人类视觉系统(HVS)的非线性对比灵敏度。

图1B描绘了根据实施例的、用于内容自适应整形的示例过程。给定HDR信号的输入帧(117)，正向整形块(150)分析输入和编码约束并生成码字映射函数，该码字映射函数将输入帧(117)映射到重新量化的输出帧(152)。在一些实施例中，正向整形(150)还可以包括与颜色转换、色调映射和饱和度控制有关的过程。例如，输入(117)在颜色转换之后可以根据某个EOTF进行伽马编码或PQ编码。在一些实施例中，可以使用元数据将关于整形过程的信息传送到下游设备(诸如解码器)。在编码(120)和解码(130)之后，解码的帧(133)可以通过反向或逆向整形函数(160)处理，该反向或逆向整形函数(160)将重新量化的帧(133)转换回原始EOTF域(例如，伽马或PQ)，用于进一步的下游处理，诸如先前讨论的显示管理过程(135)。依赖于正向整形器(150)的变换，逆向整形(160)还可以包括附加(逆向)的过程，诸如逆向色调映射、颜色变换等。在一些实施例中，反向或逆向整形函数(160)可以与解码器(130)中的去量化器集成，例如，作为AVC或HEVC视频解码器中的去量化器的一部分。在一些实施例中，解码的信号(133)可能是反向兼容的SDR信号，其可以通过旧有SDR接收器解码和观看。因此，虽然旧有SDR接收器可能仅观看输入(112)的SDR版本。HDR接收器可以应用逆向整形并重构输入的HDR版本(162)。

信号整形函数的示例在通过引用整体并入本文的、J.Froehlich等人的2016年3月1日提交的标题为“Content-adaptive perceptual quantizer for high dynamic rangeimages”的PCT专利申请序列号PCT/US2016/020230中展现。使用HDR图像的对应的参考SDR图像进行的HDR图像的亮度和色度整形技术也在通过引用整体并入本文的、G-M Su等人的2016年3月23日提交的美国临时申请序列号62/312,450“Encoding and decodingreversible production-quality single-layer video signals”(也在2017年3月22日作为PCT/US2017/023543提交)中展现。在本发明中，展现了用于HDR图像的色度整形的新技术，其不需要访问HDR图像的对应的SDR图像。

色度整形技术

概述

如由发明人所观察到的，给定HDR视频序列，在亮度和色度整形以允许与SDR解码器的反向兼容之后，当在SDR显示器上观看整形后的HDR视频信号(例如，133)时，颜色看起来不饱和或者褪色。直观地，在正向整形过程期间，可以简单地将固定的、全局的缩放因子应用于每个色度通道以增加色度饱和度。然而，这样的全局缩放产生相当差的视觉质量的过饱和图片。在ISO/IEC JTC1/SC29/WG11，Geneva，CH，2015年10月K.Minoo等人的文献N15792“Exploratory Test Model for HDR extension of HEVC”中，以及在ITU-T SG16WP 3和ISO/IEC JTC 1/SC 29/WG 11，San Diego，USA，2016年2月A.K.Ramasubramonian等人的JCTVC-W0101，“HDR CE2.a-1:Report on LCS”中，提出了基于像素强度或亮度值的色度整形技术；然而，即使这些技术也未能解决过饱和的问题。

令

表示要被整形的HDR输入序列(例如，117)中的第j帧的第i像素的亮度(y)和色度(u，v)分量。令/>

表示正向整形后的SDR分量(例如，152或133)，并且令/>

表示反向或逆向整形后的EDR分量(例如，162)。所有这些不失一般性，在[0 1)之间归一化。

基于多个测试视频序列的数据库，根据实施例，图2描绘了正向色度整形函数f_r()的示例，该函数从现在起要被表示为参考整形函数，其对于输入的整形后的亮度值

生成对应的正向色度整形因子/>

该参考函数对大多数视频序列提供令人满意的结果；然而，如稍后将描述的，它可能需要根据输入内容进行调整。在实践中，这个函数可以被表达为多项式，例如：

其中α_rk，k＝0,1,…,K^F，表示多项式的系数。例如，如果K^F＝2，则可以使用二阶多项式来近似图2中的曲线。虽然

对于各种视频序列中的许多帧或场景可能是足够的，但是已观察到在某些条件下，直接应用/>

可能导致过饱和和削减(clip)；因此，整形后的色度值可能不能够在解码器中被适当地重构，从而导致较差的视觉质量的重构的HDR信号。

令

表示要被应用在第j帧上的正向(可逆向)整形函数。在实施例中，对于u颜色分量的色度整形可以被表达为整形后的亮度的函数，其由下式给出：

给定等式(2)，反向或逆向整形可以被表达为

其中

表示逆向整形函数。编码器可以向解码器发送与或者正向或者逆向整形函数有关的参数。

注意，在等式(2-3)中，使用整形后的亮度值来执行色度值的正向和逆向整形。这不应当被认为是限制。本文讨论的所有方法都可应用于基于原始的、未修改的HDR亮度值

生成整形函数；然而，这样的方法依赖于解码器能够生成未整形的HDR亮度值，当解码器是旧有SDR解码器时可能不是这种情况。

让我们假定，现在，函数f_j()＝f_r()。令整形后的亮度值为0.8，然后根据图2，f_r(0.8)＝3。根据等式(2)，对于色度值0.8，

它将被削减为1。为了维持可逆的整形函数(其允许完全重构原始HDR色度值)，期望改动f_r()函数使得不存在由于整形而丢失信息。接下来描述基于图像特性和参考整形函数/>

适当地定义/>

的实施例。

内容感知的色度整形

确定依赖内容的最大缩放因子

考虑被划分成相等宽度W的M个区段(例如，W＝1/M)的整形后的亮度值。区段的数量(M)通常依赖于计算资源(例如，M＝64)。在这些区段中的每一个中，期望识别

的最大绝对值的t百分位数，其中在0到100％的范围内的t表示想要保持可逆性的像素的百分比。例如，在t＝100％时，所有像素值将被保证是可逆的；然而，这样的强要求是不必要的并且可能影响整体质量。对于t＝99％，可能丢失大约1％的色度信息，这通常是完全可接受的。

对于第m区段，m＝0,1,…,M-1，对于在这个区段中具有整形后的亮度值

(例如，具有/>

之间的值)的原始图像中的所有像素，对于对应的色度值计算/>

并且计算这个区段中这些/>

值的t百分位数；令这个值表示为b_j,m。这可以被表达为：

其中p_t(x)是百分位数函数，其返回区间[0,100]中的向量x中的值的t百分位数，并且η(η≤1)是可选的加权因子(例如，t＝99％，η＝1)。例如，在MATLAB中，p_t(x)对应于prctile(x,t)函数。在实践中，使用t＝100和权重η<1相当于用maximum(x)函数替换p_t(x)函数，这在计算上比设置t<100和η＝1快得多，因为对于t<100，计算p_t(x)需要对数据进行分类，这涉及比简单地计算x的最大值多的计算。在测试中，对于大量的HDR序列，t＝100的情况下η＝0.85的值产生令人满意的结果。给定b_j,m值，在实施例中，对应的最大缩放因子由下式给出：

其中q_max是限制最大缩放并且如果等式(5)中的集合Ψ_j,m为空则避免无穷大的值(例如，q_max＝10)。因此，

值的集合为每个区段定义避免色度值上溢或下溢的最大缩放因子。

注意，为了简化表示法，b_j,m和

都不被表示为u颜色分量(例如，/>

)的函数；然而，可以针对每个色度分量单独计算这些值，并且如图3中所描绘的，它们可以不同。

作为示例，图3描绘了针对YCbCr颜色格式的测试序列中的两个色度分量计算的参考色度整形函数(205)和对应的最大缩放因子

(310，315)。如图3中所描绘的，对于(0.6，0.7)中的整形后的亮度值之间的某些区段，在u通道上应用参考整形函数将导致削减。

给定等式(1)，令

表示第m区段的参考缩放因子。然后，在实施例中，根据等式(6)和(7)，最佳缩放因子的集合由下式给出：

实验结果表明，使用等式(8)的缩放因子可能产生色度伪影。据信这些伪影可能是由于q_j,m值的不规则性(其导致相邻像素值的整形后的色度的突然改变)引起的。此外，基于不规则的正向整形值的集合来构造逆向整形函数是相当大的计算挑战。因此，期望构造既平滑又容易可逆的新的正向整形函数。

令新的正向整形函数表示为

其中

表示新的正向整形函数的多项式系数。这个函数提供与{r_m}相似的缩放因子，并且同时对于所有m满足约束：

新的整形函数的输出应当总是大于0，以防止改变输入的颜色(例如，改变为中性)。

在实施例中，可以通过最小化期望的缩放因子与参考缩放因子之间的距离来导出等式(9)中的最优

系数的解，例如：

对于所有m，服从

这样的解产生令人满意的结果；然而，某些颜色可能被认为去饱和。在另一个实施例中，基于第m区段中整形后的亮度值的数量，将距离

乘以加权因子w_j,m。令非空区段的集合为

Ω_j＝{m|w_j,m>0}， (11)

其中w_j，m＝|Ψ_j，m|表示区段m中整形后的亮度像素的数量(参见等式(5))。然后，根据等式(10)，可以将问题表述为优化问题

对于m∈Ω_j，服从

作为示例，图4描绘了参考整形值r_m(205)，对于色度分量中的一个的

值(310)，基于计算出的直方图而计算的对应的权重w_j,m(405)，使用等式(10)并且不考虑权重而计算的整形因子(415)，以及使用等式(12)并且通过考虑权重而计算的整形因子(420)。

确定正向整形函数的快速方法

给定多项式

的阶数，可以使用本领域中已知的任何多项式近似技术来求解等式(12)。例如，在brute-force模式中，如果每个系数可以被限制在k个值内，则对于具有三个未知系数的二阶多项式，可以在所有k³个值上进行迭代。接下来提出确定输出整形函数的系数的更快算法。

令(x₀,r₀)表示f_r()的起点。令

表示曲线中的另一个点(要被表示为第二(或B)交叉点)，其中

这个点与参考曲线下方的

值重合，并且与参考曲线具有最大距离。注意，如果/>

总是为正，则没有理由生成新的/>

函数，可以简单地使用/>

作为示例，在图4中，/>

点被描绘为点425。

给定这两个点，对于二阶多项式，可以将等式(12)中的优化问题简化为确定单个多项式系数

给定/>

其它两个系数可以导出为：

在实施例中，给定范围[-a，a]和步长D(例如，D＝2a/k)，通过在所有k+1个值-a,-a+D,-a+2D,..,a(例如，k＝100，a＝10)上进行迭代并确定哪个参数值产生最小加权均方误差(参见等式(12))来计算

逆向整形

给定正向整形函数f_j()(例如，根据等式(10)或(12)

)，编码器具有使解码器能够应用逆向整形的多种选项，包括：

·发送f_j()的定义(例如，多项式系数及其阶数，K^F)并让解码器重构其逆g_j()＝1/f_j()

·生成g_j()＝1/f_j()并将g_j()的表示或者作为单个多项式或者作为二阶多项式的组合集发送

·生成并发送查找表

例如，给定[0 1)之间的M个均匀采样点，令

其中m＝0,1,…,M-1。整形器单元可以

1.对于m＝0,1,…,M-1，生成y_jm＝f_j(x_m)

2.对于m＝0,1,…,M-1，生成逆缩放值

3.对样本{z_m}执行曲线拟合，以得到阶数为K^B的多项式：

4.将K^B和β_jk参数作为元数据与整形后的位流一起嵌入

根据等式(3)-(4)，在解码器中，逆向整形由下式给出

在测试中，K^B＝6提供了非常好的表示。当K^B>2时，还可以决定使用两个或更多个二阶多项式来近似等式(15)。还注意，在等式(15)中，基于重构的亮度分量

以及亮度和色度分量之间的交叉乘积这两者生成色度分量。如在通过引用整体并入本文的、KlaasH.Schueuer等人的2015年11月2日提交的美国临时申请序列号62/249,474“Layeredrepresentation and delivery of high dynamic range video”(也在2016年11月1日作为PCT/US2016/059862提交)中描述的，在一些现有的HDR解码器实现(例如，由Dolby提供的HDR Dolby Vision解码)中，用于预测的亮度或色度分量的预测函数也可以被表达为亮度和色度值这两者的组合。这个表示被称为多变量、多元回归(MMR)表示。例如，在实施例中，三阶MMR表示可以被表达为

其中m_jk，k＝0,1,…,9，表示MMR模型的系数。

给定等式(15)和(16)，对于给定的K^B(例如，K^B＝3)，可以依据β_jk系数以及整形后的亮度和色度数据值容易地对m_jk系数进行求解。例如，令等式(15)以矩阵向量形式表达

其中

是帧j中P个像素的P x 1向量，_Agj是P x(K^B+2)数据矩阵，并且β_j是(K^B+2)x1向量。等式(16)也可以被表达为/>

其中

是P x 1向量，A_mj是P x 10数据矩阵，并且m_j是10x 1向量。由于等式(17)和(18)表示相同的重构值，所以给定β_j，

m_j＝A_jβ_j， (19)

其中

是10x(K^B+2)矩阵。

在实践中，为每一个帧计算A_j可能超出实时处理的能力，因此可以使用“半固定”转换矩阵，其中，例如，使用A_mj和A_gj矩阵的运行平均在时间上更新半固定矩阵，A_mj和A_gj矩阵使用采样的帧计算。

图5A提供了根据实施例的色度整形过程(500A)的示例。给定HDR输入(117)，在亮度整形(505)之后，块(510)计算最大缩放因子

并且可选地计算基于亮度的权重w_j，m＝|Ψ_j，m|(例如，使用等式(5-6))。这些数据被传递到块515和520，其中，给定参考整形函数(f_r())，确定正向整形函数(f_j())。可以使用本领域中已知的任何曲线拟合近似技术(例如，使用等式(10-12))来计算正向整形函数。替代地，也可以采用使用两个或更多个交叉点的更快但不太准确的技术。

给定色度整形函数f_j()，根据输入的整形后的亮度数据(507)和输入的HDR色度数据(117-CbCr)这两者，使用整形单元(535)(例如，使用等式(2))生成色度整形后的数据(537)。使用正向色度整形函数f_j()，整形器(500A)在步骤(525)和(530)中生成对应的逆向整形函数(g_j())。与逆向整形函数有关的元数据(532)由块(530)生成。然后将整形后的亮度数据(507)、整形后的色度数据(537)和元数据(532)传递到下游(例如，传递到视频编码器(例如120))以用于进一步的处理(例如，压缩)。

移动平台

在诸如移动电话、平板电脑或其它便携式设备的移动平台中，计算资源是有限的。在实施例中，如图5B中所描绘的，原始的色度整形过程(例如，500A)被修改(例如，参见500B)，以尽可能多地依赖于预先计算的查找表(LUT)用于选择最好的正向整形函数(例如，步骤520)和生成与逆向整形函数有关的元数据(步骤525和530)。

如图2中所示，注意，在实践中，参考缩放因子r_m的值被界定在范围[r_min，r_max]内(例如，在[0.49,3.02]中)。在实践中，

的最低值从不小于1。如果/>

则不存在削减的危险，并且总是选择参考整形函数fr()。因此，在实践中，f_j()函数的输出总是在[1.0，r_max]范围中。在实施例中，这个范围可以被量化为N个均匀的区间，其中中点值被表示为y_n，n＝0,1,2,…,N-1。令图2的x轴由[0,1)中的M个x_n值表示，然后每对(x_i，y_j)(i＝0,1,M-1，并且j＝0,1,N-1)可以被认为是输出整形函数的可能的第二(B)交叉点(例如，425)。如果可以使用具有α_k系数(k＝0,1,…,K^F+1)的K^F阶多项式来表达这样的整形函数，则可以构造表示所有可能的正向整形多项式的N x M x(K^F+1)查找表。作为示例，图6描绘了x_i＝0.25(例如，610-0)以及y_j(605)的四个不同值的整形函数。注意，没有对y_j>f_r(0.25)计算函数。

因此，为了生成查找表α(i,j,k)(540)，可以使用以下过程：

对于每个x_i，y_j，n＝0,1,…,M-1，j＝0,1,…,N-1

如果y_j>f_r(x_i)，则α(i,j,k)＝α_r,k//使用参考整形函数的系数

否则

//使用来自求解等式(10)或(14)的系数为了对输入数据执行正向整形：

a)通过求解下式生成当前帧j的B交叉点的x坐标

b)识别列T中最接近

的y_n*值(或B交叉点的y坐标)：

c)对于所有k＝0,1,…,K^F，从系数LUT条目中提取整形滤波器的K^F+1个系数。

d)应用整形函数

其中

给定用于创建α(i,j,k)的正向整形函数的集合，可以应用先前讨论的技术来生成对应的逆向整形函数的集合，由此生成对应的β(i,j,k)LUT。因此，对于每个B交叉点(n*,T)，β(i,j,k)LUT可以输出或者β_jk或者m_jk系数。

因此，对于移动平台，色度整形过程(500B)包括以下步骤：

a)生成α(i,j,k)(540)和β(i,j,k)(545)查找表。这些LUT可以离线地或者在启动设备之后预先计算，并且在整形过程开始(例如，捕获和编码HDR视频序列)之前对编码器可用

b)给定输入(117)，计算b_j，m值和对应的最大缩放

值(参见等式(5-6))

c)确定整形函数的第二(B)固定点；例如，(x_T，y_n*)

d)使用点B(例如，(x_T，y_n*))作为α(i,j,k)LUT的索引输入，以生成正向整形函数的系数

e)应用来自α(i,j,k)LUT的系数进行正向整形并生成色度整形后的信号(537)

f)使用点B(例如，(x_T，y_n*))作为β(i,j,k)LUT的索引，以生成逆向整形函数的系数；将提取出的逆向整形函数的系数作为元数据发送。

示例计算机系统实现

本发明的实施例可以用计算机系统，以电子电路系统和部件配置的系统，诸如微控制器、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑器件(PLD)的集成电路(IC)设备，离散时间或数字信号处理器(DSP)，专用IC(ASIC)和/或包括一个或多个这样的系统、设备或部件的装置来实现。计算机和/或IC可以执行、控制或执行与诸如本文所描述的那些的具有增强动态范围的图像的色度整形有关的指令。计算机和/或IC可以计算与本文所描述的色度整形过程有关的各种参数或值中的任何一个。图像和视频实施例可以以硬件、软件、固件及其各种组合实现。

本发明的某些实施例包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可以通过执行在处理器可访问的程序存储器中的软件指令来实现与上述HDR图像的色度整形有关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括携带包括指令的计算机可读信号的集合的任何非暂时性介质，指令在由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样的形式中的任何一种。程序产品可以包括例如物理介质(诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光学数据存储介质，包括ROM、闪存RAM的电子数据存储介质等)。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提及部件(例如，软件模块、处理器、组件、设备、电路等)时，除非另外表明，否则对那个部件的提及(包括对“手段”的提及)应当被解释为包括那个部件的等同物(执行描述的部件的功能的任何部件(例如，在功能上等同)，包括与执行本发明的说明的示例实施例中的功能的所公开的结构在结构上不等同的部件)。

等同、扩展、替代和杂项

因此，描述了涉及HDR图像的高效色度整形的示例实施例。在前面的说明书中，已参考大量具体细节描述了本发明的实施例，这些细节可以从一个实现到另一个实现变化。因此，本发明是什么以及申请人预期将什么作为本发明的唯一和排他的指示是从本申请以权利要求发布的具体形式(包括任何后续的更正)而发布的这样的权利要求的集合。对于这样的权利要求中包含的术语在本文明确地阐述的任何定义将决定这样的术语在权利要求中使用时的含义。因此，权利要求中没有明确地记载的任何限制、元素、性质、特征、优点或属性不应当以任何方式限制这样的权利要求的范围。因而，说明书和附图要在说明性而不是限制性的意义上被看待。

在一些实施例中，方法可以包括基于参考整形函数和最大缩放因子生成正向整形函数的步骤。例如，生成正向整形函数可以包括使用最大缩放因子来调整参考整形函数。例如，参考整形函数可以是预定义的函数，例如，从存储器或网络位置获得。

从以下列举的示例实施例(EEE)可以意识到本发明的各个方面：

EEE1.一种用于利用处理器进行自适应色度整形的方法，所述方法包括：

利用处理器访问输入图像(117)，所述输入图像(117)包括亮度分量和一个或多个色度分量中的像素值；

基于输入图像的亮度分量的像素值生成亮度整形后的图像(507)；

访问参考整形函数，所述参考整形函数将整形后的亮度值映射到参考色度缩放因子；

对于输入图像的色度分量：

将亮度整形后的图像中的像素值的范围分割成两个或更多个区段；

基于与每个区段中亮度整形后的图像的像素对应的色度像素值，对每个区段生成(510)最大缩放因子；

基于参考整形函数和最大缩放因子生成(520)正向整形函数，其中正向整形函数将整形后的亮度值映射到正向色度缩放因子；以及

基于色度像素值、正向整形函数和亮度整形后的图像中的对应的像素值，生成(535)色度分量的整形后的色度像素值(537)。

EEE 2.如EEE 1所述的方法，还包括：

基于正向整形函数生成逆向整形函数；

生成表征逆向整形函数的参数；以及

基于表征逆向整形函数的参数生成并输出元数据。

EEE3.如EEE1所述的方法，其中对于每个区段，对于该区段中亮度整形后的图像的像素，基于该区段中对应的色度值的函数的t百分位值来计算最大缩放因子。

EEE 4.如EEE 3所述的方法，其中对于在[0 1)中归一化的像素值，对第m区段生成最大缩放因子包括计算

其中M是区段的数量，Ψ_j,m表示第m区段，

表示亮度整形后的图像中的第i像素，

表示输入图像(j)的色度分量的对应的色度像素，η是加权因子，q_max是固定值，并且p_t(x)返回区间[0,100]中的向量x中的值的t百分位值。

EEE5.如EEE4所述的方法，其中t＝100且η在0.85与0.95之间，或者η＝1且t在95％与99％之间。

EEE6.如EEE3所述的方法，其中对输入图像(j)生成正向整形函数

包括计算

对于所有m，其服从

其中M是区段的数量，

表示第m区段的最大缩放因子，对于m＝0,…,M-1，

其中f_r()表示参考整形函数，/>

表示亮度整形后的图像中的第i像素，并且

其中K^F表示正向整形函数的多项式的阶数。

EEE7.如EEE6所述的方法，其中生成正向整形函数

包括计算

其服从/>

其中w_j,m是权重。

EEE8.如EEE7所述的方法，其中对于第m区段，权重w_j,m表示第m区段中亮度整形后的图像的像素的数量。

EEE9.如EEE7所述的方法，其中基于参考整形函数的起点和要被正向整形函数交叉的第二个点生成正向整形函数

其中该第二个点对应于参考整形函数下方的所有最大缩放值的值与参考整形函数具有最大距离的坐标。

EEE10.如EEE9所述的方法，其中计算第二个点

包括计算

EEE11.如EEE1所述的方法，其中对于在[0 1)中归一化的像素值，生成输入图像(j)的颜色分量(u)的整形后的色度值

包括计算：

其中

表示对于整形后的亮度图像中的像素/>

正向整形函数的输出，并且

表示输入图像的颜色分量的对应的色度像素。

EEE12.如EEE2所述的方法，其中生成表征逆向整形函数的参数以匹配预测函数的三阶多变量、多元回归表示的语法(syntax)。

EEE13.如EEE3所述的方法，其中生成(520)正向整形函数包括：

计算表征正向整形函数的期望交叉点的

坐标，其中x_T坐标与整形后的亮度值对应，对于该整形后的亮度值，参考整形函数下方的最大缩放值的值与参考整形函数具有最大距离；以及

基于

点坐标和包括多个正向整形函数的多项式系数的第一查找表生成正向整形函数的多项式系数。

EEE14.如EEE13所述的方法，其中计算

坐标包括计算

其中m表示第m区段，

表示第m区段的最大缩放因子，对于m＝0,…,M-1，

其中f_r()表示参考整形函数，M表示区段的总数量，并且

其中对于n＝1,2,…,N-1，y_n表示第n区间的中心，当范围[1.0,r_max]被细分成N个区间时，其中r_max表示参考整形函数的最大值。

EEE 15.如EEEE13所述的方法，还包括：

基于

点坐标和包括多个逆向整形函数的多项式系数的第二查找表生成逆向整形函数的参数；以及

基于表征逆向整形函数的参数生成并输出元数据。

EEE 16.一种用于利用处理器进行自适应色度整形的方法，所述方法包括：

利用处理器访问输入图像(117)，所述输入图像(117)包括具有亮度分量和一个或多个色度分量的像素值；

访问参考整形函数，所述参考整形函数将输入的亮度像素值映射到参考色度缩放因子；

对于输入图像的色度分量：

将亮度像素值的范围分割成两个或更多个区段；

基于与每个区段中的亮度像素值对应的色度像素值，对每个区段生成(510)最大缩放因子；

基于参考整形函数和最大缩放因子生成(520)正向整形函数，其中正向整形函数将亮度像素值映射到正向色度缩放因子；以及

基于色度像素值、正向整形函数和对应的亮度像素值，生成(535)色度分量的整形后的色度像素值(537)。

EEE17.一种装置，所述装置包括处理器并且被配置为执行EEE1-16中记载的所述方法中的任一个。

EEE18.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有用于执行根据EEE1-16中任一项的方法的计算机可执行指令。

Claims (14)

1.一种用于利用处理器进行高动态范围(HDR)图像的自适应色度整形的方法，所述方法包括：

利用处理器访问HDR输入图像(117)，所述HDR输入图像(117)包括亮度分量和一个或多个色度分量中的像素值；

对于输入图像的色度分量：

将或者HDR输入图像的亮度分量或者HDR输入图像的整形后的亮度分量的像素值划分成两个或更多个区段；

基于与每个区段中相应的亮度或整形后的亮度像素值对应的色度像素值的函数的t百分位值，对每个区段生成(510)最大缩放因子；

基于参考整形函数和最大缩放因子生成(520)正向整形函数，所述正向整形函数将或者亮度像素值或者整形后的亮度像素值映射到正向色度缩放因子，并且对应地所述参考整形函数将亮度像素值或者整形后的亮度像素值映射到参考色度缩放因子；以及

基于色度像素值、正向整形函数以及HDR输入图像的对应的亮度像素值或者整形后的亮度像素值，生成(535)色度分量的整形后的色度像素值(537)。

2.如权利要求1所述的方法，还包括：

基于正向整形函数生成逆向整形函数；

生成表征逆向整形函数的参数；以及

基于表征逆向整形函数的参数生成并输出元数据。

3.如权利要求1所述的方法，其中对于在[0 1)中归一化的像素值，对第m区段生成最大缩放因子包括计算

其中M是区段的数量，Ψ_j,m表示HDR输入图像j的第m区段，

表示HDR输入图像j的相应的亮度分量或整形后的亮度分量的第i像素，/>

表示HDR输入图像j的色度分量的对应的色度像素，η是加权因子，q_max是固定值，并且p_t(x)返回向量x中的值的t百分位值，其中t＝100且η在0.85与0.95之间，或者η＝1且t在95与99之间。

4.如权利要求1所述的方法，其中对HDR输入图像j生成正向整形函数

包括计算

对于所有m，其服从

其中M是区段的数量，

表示第m区段的最大缩放因子，对于m＝0,…,M-1，

其中f_r()表示参考整形函数，/>

表示HDR输入图像的相应的亮度分量或者整形后的亮度分量的第i像素，并且

其中K^F表示正向整形函数的多项式的阶数。

5.如权利要求4所述的方法，其中生成正向整形函数

包括计算

其服从/>

其中w_j,m是用于HDR输入图像j的第m区段的权重。

6.如权利要求5所述的方法，其中对于第m区段，权重w_j,m与第m区段中HDR输入图像j的相应的亮度分量或整形后的亮度分量的像素值的数量成比例。

7.如权利要求5所述的方法，其中基于参考整形函数的起点和要被正向整形函数交叉的第二个点生成正向整形函数

其中该第二个点对应于参考整形函数下方的所有最大缩放值的值与参考整形函数具有最大距离的坐标，并且

其中计算第二个点

包括计算

8.如权利要求1至7中任一项所述的方法，其中对于在[0 1)中归一化的像素值，生成HDR输入图像(j)的颜色分量(u)的整形后的色度值

包括计算：

其中

表示对于HDR输入图像的第i像素的相应的亮度分量或整形后的亮度分量的像素值/>

正向整形函数的输出，并且/>

表示HDR输入图像的第i像素的颜色分量的对应的色度像素值。

9.如权利要求2所述的方法，其中生成表征逆向整形函数的参数以匹配预测函数的三阶多变量、多元回归表示的语法。

10.如权利要求1至7中任一项所述的方法，其中生成(520)正向整形函数包括：

计算表征正向整形函数的期望交叉点的(x_T,y_n*)坐标，其中x_T坐标与相应的亮度像素值或者整形后的亮度像素值对应，对于该相应的亮度像素值或者整形后的亮度像素值，参考整形函数下方的最大缩放值的值与参考整形函数具有最大距离；以及

基于(x_T,y_n*)点坐标和包括多个正向整形函数的多项式系数的第一查找表生成正向整形函数的多项式系数。

11.如权利要求10所述的方法，其中计算(x_T,y_n*)坐标包括计算

其中m表示第m区段，

表示第m区段的最大缩放因子，对于m＝0,…,M-1，

其中f_r()表示参考整形函数，M表示区段的总数量，并且/>

其中对于n＝1,2,…,N-1，y_n表示第n区间的中心，当范围[1.0,r_max]被细分成N个区间时，其中r_max表示参考整形函数的最大值。

12.如权利要求11所述的方法，还包括：

基于(x_T,y_n*)点坐标和包括多个逆向整形函数的多项式系数的第二查找表生成逆向整形函数的参数；以及

基于表征逆向整形函数的参数生成并输出元数据。

13.一种用于高动态范围(HDR)图像的自适应色度整形的装置，所述装置包括处理器并且被配置为执行根据权利要求1-12中任一项所述的方法。

14.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有用于执行根据权利要求1-12中任一项的方法的计算机可执行指令。

Images