CN107771392A - 用于高动态范围图像的实时内容自适应感知量化器 - Google Patents

用于高动态范围图像的实时内容自适应感知量化器 Download PDF

Info

Publication number
CN107771392A
CN107771392A CN201680036677.8A CN201680036677A CN107771392A CN 107771392 A CN107771392 A CN 107771392A CN 201680036677 A CN201680036677 A CN 201680036677A CN 107771392 A CN107771392 A CN 107771392A
Authority
CN
China
Prior art keywords
shaped
code word
image
locating depth
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680036677.8A
Other languages
English (en)
Other versions
CN107771392B (zh
Inventor
苏冠铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN107771392A publication Critical patent/CN107771392A/zh
Application granted granted Critical
Publication of CN107771392B publication Critical patent/CN107771392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

计算场景的时间窗口内的预整形图像中的具有预整形位深的预整形码字中的噪声水平。基于预整形码字中的计算的噪声水平来对预整形码字区间计算每一区间最小位深值。每个每一区间最小位深值对应于用于相应预整形码字区间的最小位深值。基于预整形位深、每一区间最小位深值以及小于预整形位深的目标位深来生成用于预整形图像中的特定预整形图像的特定码字映射函数。将特定码字映射函数应用于特定预整形图像的特定预整形码字以生成用于特定输出图像的具有目标位深的特定目标码字。

Description

用于高动态范围图像的实时内容自适应感知量化器
相关申请的交叉引用
本申请要求2015年6月30日提交的临时美国专利申请No.62/187,091的优先权，该申请全文通过引用并入于此。
技术领域
本发明大体上涉及图像。更具体地，本发明的实施例涉及具有高动态范围的图像的内容自适应感知量化。
背景技术
如本文所使用的，术语“动态范围”(DR)可以与人类视觉系统(HVS)感知图像中的强度(例如，辉度(luminance)、亮度(luma))范围(例如，从最黑暗的黑暗(黑色)或最明亮的明亮(白色))的能力有关。从这个意义上来说，DR与“场景参考(scene-referred)”强度有关。DR还可以与显示设备充分地或近似地渲染特定广度(breadth)的强度范围的能力有关。从这个意义上来说，DR与“显示器参考(display-referenced)”强度有关。除非特定意义在本文的描述中的任何地方被明确指定具有特定意思，否则应推断该术语可以以两者之中任何一种意义(例如，可互换地)使用。
如本文所使用的，术语高动态范围(HDR)与跨越人类视觉系统(HVS)的约14-15个数量级的DR广度有关。在实践中，DR相对于HDR可能在某种程度上被截短，在DR上，人类可以同时感知到强度范围内的广泛广度。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单个地或可互换地与由包括眼睛移动的人类视觉系统(HVS)在场景或图像内可感知的DR有关，使得一些光适应跨场景或图像改变。如本文所使用的，EDR可以与跨越5到6个数量级的DR有关。因此，虽然相对于真实的场景参考HDR可能在某种程度上较窄，但是EDR却表示宽泛的DR广度，并且也可以被称为HDR。
在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量用每像素n位(例如，n＝8)的精度表示。使用线性辉度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围图像，而其中n>8的图像可以被认为是增强动态范围图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式(诸如IndustrialLight and Magic开发的OpenEXR文件格式)存储和分布。
用于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，辉度)和由显示器生成的输出屏幕(screen)颜色值(例如，屏幕辉度)之间的关系。例如，ITURec.ITU-R BT.1886,“Reference electro-optical transfer function for flat paneldisplaysused in HDTV studio production”(03/2011)(其全文通过引用包括在本文中)基于测量的阴极射线管(CRT)的特性限定了用于平板显示器的参考EOTF。给定一视频流，关于其EOTF的信息通常被作为元数据嵌入在位流中。如本文所使用的，术语“元数据”与作为编码位流的一部分而被发送的并且帮助解码器渲染解码图像的任何辅助信息有关。这样的元数据可以包括但不限于，颜色空间或色域(gamut)信息、参考显示器参数以及辅助信号参数，如本文所描述的那些。
大多数消费者台式显示器目前支持200到300cd/m2或尼特的辉度。大多数消费者HDTV的范围为300到500尼特，新型号达到1000尼特(cd/m2)。与HDR或EDR相比，这样的常规显示器因此代表较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，照相机)和HDR显示器(例如，来自杜比实验室(Dolby Laboratories)的PRM-4200专业参考监视器)两者的发展而增长，HDR内容可以被进行颜色分级，并且显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更大)的HDR显示器上。这样的显示器可以使用支持高辉度能力(例如，0到10,000尼特)的替代EOTF来限定。SMPTE ST 2084:2014“High DynamicRange EOTF of Mastering Reference Displays”中限定了这样的EOTF的例子，该文献全文通过引用并入本文。一般来说，而非限制，本公开的方法涉及任何高于SDR的动态范围。如这里发明人所意识到的，用于高动态范围图像的感知量化的改进技术是期望的。
本节所描述的方法是可以实行的方法，但不一定是以前已经设想过的或实行过的方法。因此，除非另有指示，否则不应仅由于本节所描述的任何方法被包括在本节中就假定该方法有资格作为现有技术。类似地，除非另有指示，否则关于一种或多种方法识别出的问题不应基于本节就被假定为已经在任何现有技术中被认识到。
附图说明
本发明的实施例在附图的各图中被以举例的方式而非限制的方式示出，在附图中，相似的附图标记指代类似的元件，其中：
图1A描绘用于视频递送流水线的示例处理；
图1B描绘根据本文所公开的示例实施例的用于使用内容自适应量化或整形(reshape)进行数据压缩的示例处理；
图2描绘根据本文所公开的示例实施例的用于内容自适应感知量化的示例处理；
图3描绘根据本文所公开的示例实施例的用于噪声掩蔽(mask)生成的示例处理；
图4描绘根据本文所公开的示例实施例的基于场景的噪声掩蔽直方图；
图5描绘根据本文所公开的示例实施例的将噪声掩蔽水平映射到所需信号位深(bit depth)的映射函数的例子；
图6A和图6B描绘根据本文所公开的示例实施例的所计算的规范化码字分配的例子；
图6C描绘根据本文所公开的示例实施例的自适应感知量化映射的例子；
图7描绘根据本文所公开的示例实施例的用于码字映射的示例处理；
图8A描绘根据本文所公开的示例实施例的示例实时整形器；
图8B示出根据本文所公开的示例实施例的元数据的示例发送；
图9描绘根据本文所公开的示例实施例的对输入视频信号进行整形中的示例方法；
图10和图11示出根据本文所公开的示例实施例的对输入图像序列中的每两个相邻图像(或帧)计算的相似性值的示例绘图；
图12A和图12B示出根据本文所公开的示例实施例的示例处理流程系统；以及
图13示出在其上可以实现如本文所描述的计算机或计算设备的示例硬件平台的简化框图。
具体实施方式
示例实施例的描述
本文描述了用于高动态范围(HDR)图像的感知量化的内容自适应技术。在以下描述中，为了说明的目的，阐述了许多特定细节以便提供对本发明的透彻理解。然而，将清楚的是，可以在没有这些特定细节的情况下实施本发明。在其他情况下，没有对众所周知的结构和设备进行详尽的描述，以便避免不必要地封闭、模糊或混淆本发明。
概述
本文所描述的示例实施例涉及图像的自适应感知量化。内容自适应量化器处理器接收具有输入位深的输入图像。将噪声掩蔽生成处理应用于输入图像以生成噪声掩蔽图像，该噪声掩蔽图像就输入图像中的每个像素在掩蔽量化噪声中的感知相关性来表征该像素。基于输入图像和噪声掩蔽图像来生成噪声掩蔽直方图。对于噪声掩蔽直方图中的每个区间(bin)，将掩蔽噪声水平到位深函数应用于噪声掩蔽直方图以生成最小位深值。基于输入位深、目标位深和最小位深值来生成码字映射函数。将码字映射函数应用于输入图像以生成具有目标位深的输出图像，目标位深低于输入位深。
本文所描述的示例实施例涉及执行图像的从预整形(pre-reshaped)位深到低于预整形位深的目标位深的实时内容自适应整形。计算场景的时间窗口内的多个预整形图像中的具有预整形位深的预整形码字中的噪声水平。至少部分地基于预整形码字中的所计算的噪声水平来对多个预整形码字区间来计算多个每一区间最小位深值。多个每一区间最小位深值中的每个每一区间最小位深值对应于用于多个预整形码字区间中的相应预整形码字区间的最小位深值。至少部分地基于预整形位深、多个每一区间最小位深值和目标位深来生成用于多个预整形图像中的特定预整形图像的特定码字映射函数。将特定码字映射函数应用于特定预整形图像的特定预整形码字以生成用于特定输出图像的具有目标位深的特定目标码字。
示例视频递送处理流水线
图1A描绘了常规的视频递送流水线(100)的示例处理，该处理示出了从视频捕获到视频内容显示的各种阶段。使用图像生成方框(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被数字地捕获(例如，用数字照相机)或由计算机(例如，使用计算机动画)生成以提供视频数据(107)。可替代地，视频帧(102)可以被用胶片(film)照相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作(production)阶段(110)中，对视频数据(107)进行编辑以提供视频制作流(112)。
然后在方框(115)处将制作流(112)的视频数据提供给处理器以用于进行后期(post)制作编辑。方框(115)后期制作编辑可以包括调整或修改图像的特定区域中的颜色或明亮度以根据视频创建者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色定时”或“颜色分级”。其他编辑(例如，场景选择和排序(sequencing)、图像裁剪、计算机生成的视觉特殊效果的添加等)可以在方框(115)处执行以得到用于分布的最终版本(117)的作品。在后期制作编辑(115)期间，在参考显示器(125)上查看视频图像。
在后期制作(115)之后，可以将最终作品(117)的视频数据递送给编码方框(120)以用于向下游递送给解码和回放设备，诸如电视机、机顶盒、电影院等。在一些实施例中，编码方框(120)可以包括生成编码位流(122)的音频和视频编码器，诸如由ATSC、DVB、DVD、蓝光盘和其他递送格式限定的那些。在接收器中，解码单元(130)对编码位流(122)进行解码以生成解码信号(132)，解码信号(132)表示信号(117)的相同或接近的近似。接收器可以附连到目标显示器(140)，目标显示器(140)可以具有与参考显示器(125)完全不同的特性。在这种情况下，显示器管理方框(135)可以用于通过生成显示器映射信号(137)来将解码信号(132)的动态范围映射到目标显示器(140)的特性。
信号量化
目前，用于视频递送的大多数数字接口(诸如串行数字接口(SDI))限于每一分量、每一像素12位。此外，大多数压缩标准(诸如H.264(或AVC)和H.265(或HEVC))限于每一分量、每一像素10位。因此，需要高效的编码和/或量化来支持现有基础设施和压缩标准内的、具有从近似0.001到10,000cd/m2(或尼特)的动态范围的HDR内容。
如本文所使用的术语“PQ”是指感知辉度振幅量化。人类视觉系统以非常非线性的方式对增大的光水平做出响应。人类看见刺激的能力受该刺激的辉度、该刺激的大小、构成该刺激的空间频率以及眼睛在一个人正在看该刺激的特定时刻已经适应的辉度水平的影响。在优选实施例中，感知量化器函数将线性输入灰度水平映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度水平。SMPTE ST2084:2014“High Dynamic RangeEOTF of Mastering Reference Displays”中描述了PQ映射函数(或EOTF)的例子，该文献全文通过引用并入本文，其中给定固定刺激大小，对于每一个辉度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该辉度水平处的最小可见对比度步长。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可能与人类视觉系统的响应方式非常粗略地相似的传统gamma曲线相比，PQ曲线使用相对简单的函数模型来模拟人类视觉系统的真实视觉响应。
例如，根据，SMPTE ST 2084，在1cd/m2处，一个12位码值对应于近似0.0048cd/m2的相对改变；然而，在1,000cd/m2处，一个12位码值对应于近似2.24cd/m2的相对改变。该非线性量化是适应人类视觉系统(HVS)的非线性对比度敏感度所需要的。
感知量化的EOTF的另一例子在J.Stessen等人在2014年10月ISO/IEC JTC1/SC29/WG11MPEG2014/M3506上的“Chromaticity based color signals for wide color gamutand high dynamic range”中提出，该文献全文通过引用并入本文。
HVS的对比度敏感度不仅依赖于辉度，而且还依赖于图像内容的掩蔽特性(特别是噪声和纹理)以及HVS的适应状态。换句话说，根据图像的噪声水平或纹理特性，可以用比通过PQ或gamma量化器预测的那些量化步长大的量化步长来对图像内容进行量化，因为纹理和噪声掩蔽了量化伪像。PQ量化描述在图像中不存在噪声或掩蔽时发生的、HVS可以做的最好的程度。然而，对于许多图像(视频的帧)，存在显著的掩蔽。
除了噪声和纹理掩蔽之外，视觉行为的其他特性(诸如光学耀斑和局部适应)也可以被考虑以增大量化水平并且允许以每一颜色分量10位或更低位数表示HDR图像。如本文所使用的，术语“内容自适应PQ”或简称“自适应PQ”表示基于图像的内容来自适应地调整这些图像的感知量化的方法。
图1B描绘了根据实施例的用于自适应PQ的示例处理。给定输入帧(117)，前向整形方框(150)对输入和编码约束进行分析并且生成码字映射函数，这些码字映射函数将输入帧(117)映射到重新量化的输出帧(152)。例如，可以根据某个EOTF对输入(117)进行gamma编码或PQ编码。在一些实施例中，可以使用元数据将关于整形处理的信息传送到下游设备(诸如解码器)。在编码(120)和解码(130)之后，可以由将重新量化的帧(132)转换回原始EOTF域(例如，gamma或PQ)的反向整形函数(160)来对解码帧(132)进行处理，以用于进一步的下游处理，诸如早先讨论的显示器管理处理(135)。在一些实施例中，反向整形函数(160)可以与解码器(130)中的去量化器集成，例如，作为AVC或HEVC视频解码器中的去量化器的一部分。
自适应PQ
图2描绘了根据本发明的实施例的用于内容自适应感知量化的示例处理。如图2所描绘的，给定图像(例如，视频帧)(117)序列，使用方框(205)来生成噪声掩蔽图像，该噪声掩蔽图像就输入图像中的每个像素在掩蔽量化噪声中的感知相关性来表征该像素。在步骤(210)中组合使用噪声掩蔽图像与原始图像数据来生成噪声掩蔽直方图。方框(215)估计在步骤(210)中生成的直方图的每个区间所需的最小位数，最后，码字映射方框(220)计算将输入信号(117)转变为其量化输出的映射函数。接下来更详细地描述这些步骤中的每个步骤。
噪声掩蔽生成
自适应PQ的基本想法是，在图像的有噪声的或具有高纹理的区域中分配较少的位，而在图像的被感知为无噪声的或较平滑的区域中分配较多的位。给定输入图像(117)，噪声掩蔽生成方框(205)对图像中的每个像素生成掩蔽噪声的估计。在一些实施例中，输入(117)可能已经使用基于gamma或PQ的量化器进行了编码。在一些其他的实施例中，输入图像(117)可以在线性空间中。图3描绘了根据实施例的噪声掩蔽生成的示例处理。一些其他的实施例可以使用本领域中已知的用于测量图像中的局部熵的替代方法来生成噪声掩蔽，诸如移动窗口上的熵滤波、移动窗口上的标准差滤波或移动窗口上的范围滤波。
设Ijp表示输入序列(117)中的第j帧中的处于量化的颜色分量(例如，辉度)的第p像素，Ijp被规范化到[0 1)。设vLj和vHj表示该帧中的最小像素值和最大像素值，或者
vLj＝min{Ijp}，
vHj＝max{Ijp}。 (1)
如图3中所描绘的，在方框(305)中，第一低通滤波器被应用于图像帧Ij。在实施例中，该滤波器模仿人类视觉系统的特性。根据可用的计算能力，该滤波器可以从非常简单的滤波器(像箱式滤波器或高斯滤波器)到较复杂的滤波器组(像实现Cortex变换的那些)而变化。在实施例中，第一滤波器可以是具有支持范围rL和方差(例如，例如，rL＝9且或者rL＝33且)的二维高斯滤波器于是，其输出(L)可以被表达为：
其中符号表示卷积。给定第一滤波器的输出，输入帧的高频分量可以在方框(310)中被提取为：
方框(310)的输出然后可以用第二低通滤波器(315)再次进行滤波以生成噪声掩蔽(H)。这是要解决HVS掩蔽的低相位精度(也就是说，在掩蔽信号的过零处仍存在掩蔽)。在实施例中，第二LPF也可以是具有支持范围rH和方差(例如，例如，rH＝9，)的高斯滤波器。于是，噪声掩蔽(H)可以被表达为：
在实施例中，第一低通滤波器和第二低通滤波器的参数可以是相同的。在优选实施例中，第一低通滤波器和第二低通滤波器是可分离的滤波器以提高计算效率。在实施例中，可以使用可选的方框(320)来识别以下Hjp像素：这些Hjp像素因为它们可能使自适应量化处理偏斜，所以在后续处理中可以被忽略。例如，如果图像包括遮幅(letterbox)框架(也就是说，可以给原始图像加框以使得它符合特定的帧大小或纵横比的黑色像素)，则与遮幅像素相关的值可以被忽略。与图像边界或遮幅边界相关的值也可以被忽略，因为低通滤波器的输出假定这些边界处的数据被填充(pad)常数值，这将生成较低的噪声值。设Ωj表示考虑中的所有有效像素的集合，于是最终输出噪声掩蔽(322)可以被表达为：
Hj(i),i∈Ωj。 (5)
噪声掩蔽直方图生成
设BI表示输入图像(117)的位深(例如，BI＝16)，并且设于是动态范围0到K-1可以被划分到具有相等像素间隔值W的M个区间中，也就是说，W＝K/M。在实施例中，对于第j帧，可以如下生成噪声直方图bj(m)，其中m表示第m直方图区间(m＝0,1,2,…M-1)：a)识别原始图像中的具有范围内的像素值的所有像素(Iji，i∈Ωj)。
b)在这些像素之中，选择最小值Hj(i)，因为如前所述，掩蔽标高(maskingelevation)不是2D映射。
或者，给定
bj(m)＝min{Hj(i)|i∈Ψj,m}。 (6)
注意，有时某些区间可能是空的，因为在该区间的像素范围内可能没有任何图像像素。这些区间的索引可以被存储，并且它们的状态将在后来被解决。
自适应PQ值可以以帧水平或以场景水平进行调整。如本文所使用的，术语“场景”或对于视频序列来说“镜头(shot)”可以与视频信号中的共享类似的颜色和动态范围特性的一系列连续的帧有关。由于大多数视频压缩格式的视频预测的连续性质，可能优选的是仅在与视频编码器的典型边界匹配的边界(诸如场景改变或新的图片组(GOP))处调整量化参数。因此，给定具有F个帧的场景以及基于帧的噪声掩蔽直方图bj(m)，基于场景的噪声掩蔽直方图b(m)可以被导出为：
bm＝min{bj(m)|j＝0,1,...,F-1}。 (7)
在实施例中，假定噪声上界为1，于是如下这样的噪声区间可以被分配最大可能噪声水平值1：对于该噪声区间，对于整个场景不存在像素值。在一些实施例中，缺失的区间也可以从相邻的区间插值得到。对于j＝1,2,…,F，基于场景的最小像素值和最大像素值也可以如下生成：
vL＝min{vLj}，
vH＝max{vHj}。 (8)
图4描绘了关于HDR场景的、对于BI＝16和M＝64个区间的、基于场景的噪声掩蔽直方图的例子。在该例子中，黑暗区域包含比中间色调和高光高的掩蔽噪声水平。
每一直方图区间位深计算
给定用于噪声掩蔽直方图中的每个区间的噪声水平bm，下一步将是确定需要为每个区间分配的位数。在实施例中，可以基于实验用户研究结果来确定这样的映射。例如，在一个这样的研究中，用户被示出为对被量化到不同位深的测试图像进行评估，其中高斯噪声在量化之前被添加到这些图像。作为例子，图5描绘了使用具有rL＝9且＝3的高斯滤波器的用户研究的结果。例如，对于2-10的噪声掩蔽水平，所需位深是8位。如所预计的，图5表明具有较高掩蔽噪声水平的图像区域可以以较小的位深实现完全的视觉透明度(transparency)。可替代地，图像越平滑，精确的且感知上无损的表示所需要的位深就越大。
考虑一组数据对其中对于第i输入噪声水平已经确定(例如，通过用户研究或其他技术)对应的最小位深是在实施例中，这些对可以被表达为掩蔽噪声到位深函数：
Qm＝fN(bm)。 (9)
例如，而非限制，使用简单的线性插值，对于
在实施例中，可以使用查找表来计算Qm＝fN(bm)映射。在实施例中，基于直方图区间内的所需码字数量而不是直接使用位深数据来执行码字映射(220)可能是较方便的。在下一节中对此进行检查。
码字映射生成
设BT表示用于重新量化的信号(152)的目标位深(例如，BT＝每一颜色分量10位/像素)，于是将使用个码字来映射输出。在实施例中，码字的范围被规范化到1，因此设
表示每一区间m的规范化码字的数量。例如，如果Qm＝9，BI＝16且BT＝10，则Dm＝2-17。
设
di＝Dm对于(m-1)W≤i＜mW， (12)
表示每一输入的规范化码字的数量，于是di可以被认为是每一输入码字所需码字数量的下界。用于所有输入码字的规范化码字的总数量D以1为界，或者
图6A描绘了对于单个视频帧、对于BI＝16计算的规范化码字的数量(di(605))的示例绘图(输入码字的范围为从0到65535)。该绘图还示出了当一个人简单地从16位截短到9个最高有效位时的规范化码字的数量(610)或从16位截短到10个最高有效位时的规范化码字的数量(615)。如图6A中所描绘的，简单的10位截短不足以满足对于高光范围内的某些输入像素的位深要求。
设U＝1-D表示未使用的规范化码字的数量。这些未使用的码字需要根据给定标准被重新分配给输入码字。在实施例中，而非限制，可以利用以下分配方案中的任何一个(或它们的组合)：
i)比例分配
根据该标准，对于输入vL≤i≤vH，基于现有分布或以下公式来分配额外的码字：
其中表示规范化码字值的更新的数量。
ii)恒定偏移分配
根据该标准，均匀地分布过多(excess)的码字，或者对于输入vL≤i≤vH，
iii)基于直方图的分配
设hi表示原始输入图像的直方图，也就是说，对于vL≤i≤vH，hi＝k表示在P个像素之中，存在k个具有值i的像素。于是，根据该标准，根据直方图值来分配码字，或者对于输入vL≤i≤vH
在变型中，可以将输入范围分割为M个子范围(例如，对于M＝3，分割为黑色、中间色调和高光)，并且计算表示第m子范围内的输入像素的总数量的直方图Hm(m＝1,2,…,M)，然后，对于属于第m像素子范围内的i
iv)基于标量(scalar)的分配
这可以被认为是基于直方图的分配(例如，考虑仅具有两个区间的直方图；一个用于黑暗，一个用于高光)与恒定偏移分配的组合。设α表示在0和1之间的、表示“黑暗”对“高光”的相对重要性的参数，于是对于输入vL≤i≤vH，根据该标准
如果U＝0，则码字不可能重新分布。在这样的情形下，也如稍后将讨论的，编码器可以决定要么增大目标位深、将噪声添加到输入图像以有效地减小di分布，要么什么都不做而依赖于解码器和后期处理滤波来减小可观察的量化噪声。其余的处理步骤可以直接对数据进行操作；然而，在实施例中，可以用低通滤波器(例如，2N+1抽头平均滤波器)来对这些数据进行平滑，以用于改进性能。
设
对于i＜vL且i＞vH，
以及
其他， (18)
其中ak,k＝-N,-N+1,…,N，表示平滑滤波器的滤波器系数(例如，)。在实施例中，该滤波器的长度大得足以至少跨越噪声掩蔽直方图的两个连续区间的大小(例如，N＝W)。较大的滤波器将提供较好的平滑，但是需要较多的计算能力。
图6B描绘了数据(620)的示例绘图，数据表示根据恒定偏移分配方案计算的平滑的数据。在一些情况下，值的和可能超过1，因此，这些值需要再次被重新规范化为
si的值仍应满足下界约束，即
si≥di，对于vL≤i≤vH。 (20)
给定
于是，在第j帧中，对于给定输入像素最终的规范化的重新量化的像素值sjp可以被表达为：
在实施例中，FL(i)值可以被存储在预先计算的查找表(LUT)中。可替代地，规范化的sip值也可以被映射到范围0到内的去规范化值。图6C中描绘了基于(620)数据的FL(i)映射(630)的例子。
图7描绘了码字映射处理(220)中的步骤的示例总结。给定作为输入的每一噪声直方图区间的所需位深(Qm)(217)、输入位深(BI)和目标位深(BT)，步骤(705)根据方程(12)来计算每一输入Ijp＝i所需码字的规范化数量的下界。在步骤(710)中，根据数种重新分布方案中的任何一种来重新分布任何未使用的码字，例如如方程(14-17)所描述的那样。可选地，在步骤(715)中，对重新分布的数据进行滤波(例如参见方程(18))以生成码字的平滑的规范化数量，在步骤(720)中，使用码字的该平滑的规范化数量来基于累积和函数生成最终的码字映射。
基于帧的自适应量化
如早先所讨论的，根据方程(7)，在实施例中，自适应量化可以基于在场景中的多个帧上(across)收集的噪声掩蔽直方图数据。在多个帧上收集数据可能引入显著的延迟，在当自适应量化需要实时执行时的环境中，该延迟可能是不可接受的。在另一实施例中，可以使用来自场景中的第一帧的数据来执行码字映射(或整形)；然而，可以周期性地调整映射以适应场景的帧内的小的变化。在表1中用伪代码描述了这样的处理。
表1——基于帧的自适应量化
反向整形
在一些实施例中，可以应用反向整形(160)来将前向整形(150)的效果反过来。在实施例中，可以如下构造用于反量化的查找表：
a)对于量化域中的每个码字(sc)，识别对于其FL(i)＝sc的所有输入码字(vi)。设这个组(group)被表示为ω(sc)＝{vi|FL(vi)＝sc}；那么
b)构造作为ω(sc)的函数的反向整形函数(BL(sc))。
例如，在实施例中，而非限制，BL(sc)可以被构造为属于ω(sc)的所有码字的平均值，或者
如果|ω(sc)|>0,
则
其中|ω(sc)|表示集合ω(sc)中的元素数量。如果对于任何sc值，|ω(sc)|＝0，则在实施例中，这些值可以从其相邻非零值插值得到。
替代实施例
如早先所描述的，在一个实施例中，所提出的自适应量化可以在编码(压缩)步骤(120)之前执行以适应现有编解码器的位深相关限制。在量化之后，可以将与整形映射函数(630)(例如，逆(inverse)映射函数)相关的数据作为元数据(例如，作为多段线性或2次多项式的系数或者作为查找表)嵌入以允许解码器执行反映射。可替代地，如果不存在令人满意的可以在目标位深限制内运算的整形函数，则在实施例中，可以将如本领域中已知的噪声或抖动添加到图像的原始平滑区域以改进量化误差的掩蔽。可以根据噪声掩蔽直方图生成步骤(210)的输出来添加这样的噪声。
在一些实施例中，可以根据由解码器接收的信息来进一步改动和调整基于内容的感知量化处理。例如，如果下游设备附连到具有用于测量周围光的强度或观看距离的传感器的显示器，则这样的信息可以向上游发送给编码器以调整用于噪声掩蔽生成(205)的滤波器或自适应量化处理(例如，重新分布步骤)的其他参数。例如，对于高周围光，在黑暗区域中需要较少的量化步骤。
在一些实施例中，代替在编码器阶段执行噪声注入或抖动，可以在解码器中基于由编码器发送的元数据信息(例如，噪声掩蔽直方图)来执行该操作。
如图像处理领域中的普通技术人员将意识到的，所提出的内容自适应量化技术可以适用于通过应用加性噪声、抖动或位截短来减小位深要求的各种其他图像处理应用。
实时整形
图8A描绘了示例实时整形器802，其接收具有输入位深的输入视频信号，并且对从输入视频解码的图像执行实时整形操作以生成被编码到具有输出位深的输出视频信号中的整形图像。如本文所使用的，实时整形操作可以是指在特定的时间约束(例如，一直到容许延迟，一直到20毫秒，一直到100毫秒，在两个视频帧内，在五个视频帧内，等等)内完成的整形操作(例如，将输入图像整形为整形图像，等等)。
输出视频信号可以表示整形的视频信号、内容自适应PQ(CAQ)视频信号等。在一些实施例中，从输入视频信号解码出的输入图像(例如，由照相机拍摄、从场景实时捕获、在实时事件处生成的视频信号、会议电话的实时视频等)可以被缓冲在12+位帧缓冲器804中。
在一些实施例中，输入图像在目标感知量化(PQ)颜色空间(例如，IPT-PQ等)中。响应于确定输入图像(或从其解码输入图像的输入视频信号)在目标PQ颜色空间中，实时整形器(802)在目标PQ颜色空间中对输入图像执行整形操作以生成对应的整形图像。
在一些其他的实施例中，输入图像不在目标感知量化(PQ)颜色空间(例如，IPT-PQ等)中。响应于确定输入图像(或从其解码输入图像的输入视频信号)不在目标PQ颜色空间中，和/或响应于确定输入图像未被感知量化(例如，用PQ相关EOTF等)，实时整形器(802)将输入图像转换为目标感知量化(PQ)颜色空间(例如，IPT-PQ等)中的中间图像。实时整形器(802)然后在目标PQ颜色空间中对中间图像执行整形操作以生成对应的整形图像。
通过如本文所描述的整形操作生成的整形图像(例如，具有低于输入图像的输入位深的输出位深等等)可以被缓冲在10位CAQ帧缓冲器806中，该整形图像可以被视频编码器取出并且编码为输出视频信号，诸如位流810。
与由实时整形器(802)执行的整形操作相关的信息可以被作为元数据812嵌入在输出视频信号中。包括与整形操作相关的信息的元数据(812)可以被作为总体编码位流的一部分发送，该总体编码位流包括用整形图像编码的位流(810)。在一些实施例中，位流(810)和元数据(812)可以被承载在承载图像数据(例如，像素值、编码的或压缩的图像数据等)的相同位流中。另外地、可选地或可替代地，位流(810)和元数据(812)可以被承载在被复用在总体编码位流中的单独的位流中。
实时整形操作的挑战可能来自于高度动态的场景。在一些实现中，实时整形操作至少部分依赖于从每个输入图像(或帧)的图像内容导出的统计。统计可以是每个输入图像中的亮度值、色度值等的每一图像统计。因为从每个这样的图像的内容导出的每一图像统计可能是不同的，所以可以使用不同的整形曲线/函数来将图像整形为输出视频信号中的输出图像。这使视频压缩效率低下，因为每一图像统计在不同图像之间是变化的。更具体地说，整形曲线/函数中的高度频繁的改变、场景改变(或切换(cut))处的不匹配等可能导致低压缩效率。
在一些实施例中，CAQ整形操作可以是基于场景的以有利于视频压缩(例如，用于时间一致性、用于运动补偿等)。在一些实现中，实时整形操作可以至少部分依赖于从场景中的输入图像的图像内容导出的每一场景统计。然而，因为从场景的图像的内容导出的每一场景统计可能不同于从场景中的单个的输入图像导出的每一图像统计，所以基于每一场景统计的过于稳定的整形曲线/函数可能在场景中的单个的输入图像中引起错误的轮廓伪像。例如，场景可能在一些图像中包含极其明亮的区域(或动态范围的一个子范围内的非常平滑的区域)，而在一些其他的图像中包含极其黑暗的区域(或动态范围的另一子范围内的非常平滑的区域)。如果用于该场景的总体整形曲线/函数在长时间段内没有针对该场景的大部分或所有图像进行更新，则用于该场景的总体整形曲线/函数可能不能充分地覆盖非常大的动态范围的相对端处的两个子范围。结果，错误的轮廓伪像可能出现在使用基于每一场景统计的总体整形曲线/函数的整形图像中。
如本文所描述的技术可以用于保持用于高效压缩的时间稳定性(在统计和整形函数/曲线中)和用于避免实时整形函数中的错误的轮廓伪像的动态适应(适应改变的统计)之间的良好平衡。这些技术还可以用于依赖于特定应用而在(例如，固定的、配置的、设计的、等等的)容许延迟(诸如零帧延迟、很少(few)帧延迟等)内完成将输入图像整形为整形图像。在例子中，在视频会议应用中，可以对后续输入图像的数量设置相对较小的数量(诸如等同于如下这样的时间延迟，该时间延迟小于100毫秒、50毫秒等)(或者对应地小的前瞻帧缓冲器可以用于保存后续图像)。在另一例子中，在视频多播或广播应用中，可以对后续输入图像的数量设置相对大的数量、相对较大的数量(诸如等同于如下这样的时间延迟，该时间延迟大于3秒、2秒、1秒、100毫秒、50毫秒等)(或者对应地大的前瞻帧缓冲器可以用于保存后续图像)。
如本文所使用的，具有零帧延迟的(实时)CAQ整形可以意味着，输入图像在用于处理和传输延迟的(例如，严格的、相对短的等等的)时间限制内被(实时地)整形为整形图像，而不依赖于输入视频信号中的输入图像之后的任何后续输入图像中的内容信息。具有零帧延迟的实时CAQ整形可以包括在当前输入图像、同一场景的在当前输入图像之前的过去的输入图像中进行读取，并且输出对应的当前整形图像，而不需要在当前输入图像之后的(例如，同一场景的、不同场景的等等的)后续输入图像中读取。由具有零帧延迟的实时CAQ引用的统计和/或整形曲线/函数是从当前输入图像和过去的输入图像导出的。
相反，具有很少帧延迟的(实时)CAQ整形可以意味着，输入图像在以下(例如，严格的、大于零帧延迟的时间限制的等等的)时间限制内被整形为整形图像：该时间限制除了依赖于输入视频信号中的输入图像之后的多达一定数量的(例如，两个、五个、等等)后续输入图像的内容信息(因此引发这些后续输入图像的等待时间)之外，还用于处理和传输延迟。很少帧延迟：具有很少帧延迟的实时CAQ整形可以包括：除了在同一场景的在当前输入图像之后的多达一定数量的后续输入图像(例如，在前瞻帧缓冲器等中)中读取之外，还在当前输入图像和同一场景的在当前输入图像之前的过去的输入图像中读取，并且输出对应的当前整形图像。后续输入图像的数量可以依赖于特定应用，并且可能受到场景改变约束。由具有很少帧延迟的实时CAQ引用的统计和/或整形曲线/函数是从当前输入图像、过去的输入图像以及多达该一定数量的后续输入图像导出的。前瞻方法可以在总体视频信号整形操作中引起至少很少帧的延迟。
图9描绘了对输入视频信号进行整形中的示例方法。如图9(a)中所示，输入图像(或帧)序列可以包括当前场景，该当前场景以该当前场景的第一输入图像902-0开始，并且以该当前场景的最后一个输入图像902-(F-1)结束，其中F是正整数。第一输入图像(902-0)表示两个不同场景之间的(即，从前一场景(其以前面的最后一个图像904结束)到当前场景的)场景改变。当前场景包括当前图像或帧902-j，其中j是0和F-1之间的整数。
为了示例的目的，在其中执行整形操作的目标PQ颜色空间是IPT-PQ颜色空间。将当前场景的第j输入图像的I、P、T通道中的(在本例子中，IPT-PQ颜色空间中的)第p像素分别表示为Ij(p)、Pj(p)和Tj(p)。如以下表达式中所示，第j输入图像中的用于I通道(或亮度)的最小值和最大值分别被表示为vL,j和vH,j；第j输入图像中的用于P通道(或P色度通道)的最小值和最大值分别被表示为和第j输入图像中的用于T通道(或T色度通道)的最小值和最大值分别被表示为和
对于I通道，设BI表示输入图像(诸如，第j输入图像)的位深(例如，BI＝16)，并且设(例如，K＝65536)，于是动态范围0到K-1可以被划分到具有相等辉度(或亮度)间隔值W的M个区间中，也就是说，W＝K/M。
每个区间中的组值(诸如最小噪声水平、平均噪声水平等)可以对于输入图像基于输入图像的每个这样的区间中的像素值来确定。例如，可以首先识别第j输入图像中的具有用于第m区间(其中m＝0,1,…,M-1)的范围内的像素值的像素(Ij(i)，i∈Ωj)。在第m区间中的这些识别的像素之中，可以如下计算最小噪声水平bj,m和平均噪声水平aj,m：
bj,m＝min{Hj(i)|i∈Ψj,m} (25)
aj,m＝mean{Hj(i)|i∈Ψj,m} (26)
其中
零帧延迟—增长窗口
图9(b)示出了根据增长窗口方法的具有零帧延迟的示例CAQ整形(“零延迟IIR”)。在这种情况下，对每个区间m可以如下计算增长窗口906中的从场景的第一图像(902-0)到场景的当前图像(902-j)的最小噪声水平
可以如下计算从场景的第一图像(902-0)到场景的当前图像(902-j)、I通道(或亮度)的最小值和最大值(被表示为和)、P通道(或P色度通道)的最小值和最大值(被表示为和)以及T通道(或T色度通道)的最小值和最大值(被表示为和)：
给定噪声掩蔽直方图中的每个区间的噪声水平可以如下基于掩蔽噪声到位深函数来确定每一区间m的规范化码字的数量和需要分配的位数：
其中BI表示用于预整形信号(例如输入图像或帧缓冲器(804)中的中间图像)的I通道的预整形位深，而BT表示用于整形信号的I通道(例如，图8A的810的I通道)的目标(或整形)位深。
在预整形信号在IPT-PQ颜色空间中被输入(或被转换到IPT-PQ颜色空间中)的一些实施例中，BI可以是用于IPT-PQ颜色空间的I通道的16位/像素、12+位/像素等中的一个，而BT可以是用于IPT-PQ颜色空间的I通道的10位/像素、8位/像素等中的一个。
设
对于(m-1)W≤i＜mW， (31)
表示预整形信号(或输入视频信号)的输入动态范围(例如，EDR)中的每一输入的规范化码字的数量，于是可以被认为是每一输入码字所需码字数量的下界。用于所有输入码字的规范化码字的总数量D(j)以1为界，或者
在一些实施例中，可以以各种方式中的一种方式来将未使用的码字空间U(j)＝1-D(j)分布给每个规范化码字在非限制性例子中，可以如下从未使用的码字空间U(j)导出常数，并且将该常数分布给所有规范化码字
对于
在实施例中，可以用低通滤波器(例如，2N+1抽头平均滤波器)来对新的规范化字进行平滑，以用于改进性能。
设
对于及
以及
其中其他情况 (35)
其中ak,k＝-N,-N+1,…,N，表示平滑滤波器的滤波器系数(例如，)。在实施例中，该滤波器的长度(2N+1)大得足以至少跨越噪声掩蔽直方图的两个连续区间的大小(例如，N＝W)。
在一些情况下，值的和可能超过1(这可能意味着总所需码字超过目标视频信号或整形视频信号中的最大位深容量)，因此，可以如下再次对这些值进行重新规范化：
其中
可以如下基于来生成或限定用于场景的当前图像(902-j)的I通道的整形曲线/函数FL(j)(i)：
于是，在第j帧中，对于用于I通道的给定输入像素值 用于I通道的(例如，最终的、整形的、重新量化的等等的)规范化像素值或码字sjp可以被表达为：
用于目标(或整形)信号的P通道和T通道(例如，图8A的810的P通道和T通道)的目标(或整形)位深可以被表示为BL_bitdepth(或基本层位深)。用于P通道和T通道的目标位深BL_bitdepth在一些实施例中可以与用于目标信号(810)的I通道的目标位深(例如，BT)相同，或者在一些其他的实施例中，可以不同于用于目标信号(810)的I通道的目标位深(例如，BT)。在一些实施例中，BL_bitdepth可以是用于目标信号(810)的P通道和T通道的10位/像素、8位/像素等中的一个。
可以如下限定用于目标信号(810)的P通道和T通道中的每个的码字或可用像素值的中间范围以及用于目标信号(810)的P通道和T通道中的每个的最大像素值或码字：
mid_range＝2BL_bitdepth-1 (39)
max_LD_value＝2BL_bitdepth-1 (40)
在一些实施例中，可以如下将被表示为和的色度整形函数(用于将预整形信号的P通道和T通道的码字整形为目标信号(810)的P通道和T通道的整形色度码字)构造为线性关系：
其中min_value和max_value表示色度码字范围(例如，用于P通道的码字范围、用于T通道的码字范围等)的下限和上限。在一些实施例中，min_value可以为零，而max_value可以为max_LD_value。
在一些实施例(例如，整形信号穿过(traverse through)HD-SDI链路等)中，可以将从零(0)到max_LD_value范围内的某些值反过来，例如用于协议操作，用于制定(frame)(例如，HD-SDI等)数据通信中的位，等等。在这些实施例中，表达式(41)和表达式(42)中的min_value和max_value中的一个或两个可以分别被设置为除了0和max_LD_value中的一个或两个之外的不同值。例如，min_value可以被设置为四(4)，而不是零(0)。类似地，用于I通道的码字也可以以除了0或max_LD_value之外的不同值开始或结束。
零帧延迟—滑动窗口
图9(c)示出了根据滑动窗口方法的具有零帧延迟的示例CAQ整形(“零延迟FIR”)。在这种情况下，对每个区间m可以如下计算滑动窗口908中的从图9(a)中的场景的第K图像(902-0)到场景的当前图像(902-j)的最小噪声水平
K＝min(j-L+1,0) (44)
其中L是滑动窗口的大小。
注意，在场景的开头可能存在比滑动窗口的大小L少的图像，直到场景的头L个图像可用。在一些实施例中，当j小于L-1时，只有一直到第j图像的可用图像用于计算上面的表达式(42)和下面的表达式(44)中的参数。
从图9(a)中的场景的第K图像(902-0)到场景的当前图像(902-j)，可以如下计算、I通道(或亮度)的最小值和最大值(被表示为和)、P通道(或P色度通道)的最小值和最大值(被表示为和)以及T通道(或T色度通道)的最小值和最大值(被表示为和)：
最小噪声水平I通道的最小值和最大值(和)、P通道的最小值和最大值(和)以及T通道的最小值和最大值(和)可以用于导出如上面的表达式(28)至(41)所示的整形曲线/函数。
很少帧延迟—增长窗口
图9(d)示出了根据增长窗口方法的具有很少帧延迟的示例CAQ整形(“很少延迟IIR”)。在这种情况下，对每个区间m可以如下计算增长窗口910中的从图9(a)中的场景的第一图像(902-0)到场景的前瞻图像(例如，一直到场景的第(j+A)图像和场景的最后一个图像902-(F-1)中的较小者)的最小噪声水平
从图9(a)中的场景的第一图像(902-0)到场景的前瞻图像，可以如下计算I通道(或亮度)的最小值和最大值(被表示为和)、P通道(或P色度通道)的最小值和最大值(被表示为和)以及T通道(或T色度通道)的最小值和最大值(被表示为和)：
最小噪声水平I通道的最小值和最大值(和)、P通道的最小值和最大值(和)以及T通道的最小值和最大值(和)可以用于导出诸如由上面的表达式(28)至(41)所示的整形曲线/函数。
很少帧延迟—滑动窗口
图9(e)示出了根据增长窗口方法的具有很少帧延迟的示例CAQ整形(“很少延迟FIR”)。在这种情况下，对每个区间m可以如下计算滑动窗口912中的从图9(a)中的场景的第K图像(902-K)到场景的前瞻图像(例如，一直到场景的第(j+A)图像和场景的最后一个图像902-(F-1)中的较小者)的最小噪声水平b( mj)：
K＝min(j-L+1,0) (49)
从图9(a)中的场景的第K图像(902-K)到场景的前瞻图像，可以如下计算I通道(或亮度)的最小值和最大值(被表示为和)、P通道(或P色度通道)的最小值和最大值(被表示为和)以及T通道(或T色度通道)的最小值和最大值(被表示为和)：
最小噪声水平I通道的最小值和最大值(和)、P通道的最小值和最大值(和)以及T通道的最小值和最大值(和)可以用于导出诸如由上面的表达式(28)至(41)所示的整形曲线/函数。
可替代的实时整形实施例
如使用如表达式(27)、(43)、(46)和(48)中所示的增长窗口或滑动窗口中的一个中的所有图像上的噪声水平测量/计算的最差情况(或总体最小值)导出的整形曲线/函数可能太过保守(例如，过度分配码字)。在一些实施例中，可以使用较不保守的可替代的噪声水平测量/计算来导出整形曲线/函数。在例子中，可以使用噪声水平测量/计算(例如，在非当前图像帧中)的非最小值。另外地、可选地或可替代地，从增长窗口或滑动窗口内的不同图像计算的值可以被分配给不同的权重因子，而不是相同的权重因子。在一些实施例中，从增长窗口或滑动窗口中的离当前图像相对近的图像计算的值可以被给予比从增长窗口或滑动窗口中的离当前图像相对远的其他图像计算的其他值相对较大的权重因子。
例如，在根据滑动窗口方法的零帧整形操作(“零延迟FIR”)中，当前图像中的最小噪声水平可以用作确定用于当前图像的滑动窗口的总体噪声水平时的输入以避免或减小带状伪像。另外地、可选地或可替代地，其他图像中的均值(表达式(26))可以如下用作确定用于当前图像的滑动窗口的总体噪声水平时的另一输入：
像非最小噪声水平那样，非极端值(例如，在非当前图像中)可以用于计算除了噪声水平之外的整形参数。例如，I通道(或亮度)的最小值P通道(或P色度通道)的最小值以及T通道的最小值中的每个可以被计算为当前图像中的相同类型的最小值和滑动窗口中的所有非当前图像的最小值中的相同类型的均值中的较小者。类似地，I通道(或亮度)的最大值P通道(或P色度通道)的最大值以及T通道(或T色度通道)的最大值中的每个可以被计算为当前图像中的相同类型的最大值和滑动窗口中的所有非当前图像的最大值中的相同类型的均值中的较大者。
在一些实施例中，可以用如下表达式来计算I通道的最小值和最大值(和)、P通道的最小值和最大值(和)以及T通道的最小值和最大值(和)：
其中OP可以是均值算子(或其他类型的组值算子)，这些均值算子从它们各自的操作数值的集合而生成均值(或其他类型的组值)。
随后，可以使用至少部分基于非极端值计算的整形参数来导出诸如由上面的表达式(28)至(41)所示的整形曲线/函数。
已经描述了可以基于预整形图像的像素值来计算整形参数(诸如噪声水平)以用于生成整形函数/曲线的目的。应注意，在各种实施例中，可以使用其他整形参数来补充或代替如本文所描述的整形参数中的一些或全部。
例如，在增长窗口或滑动窗口中，代替保持/存储/高速缓存噪声水平(例如，最小噪声水平bm、平均噪声水平am等)，可以将噪声水平可以被(例如，一对一、等等)映射到的所需位深(例如，需要被分配的位数Qm等)如本文所描述的那样与增长窗口或滑动窗口一起保持/存储/高速缓存。代替使用增长窗口或滑动窗口中的噪声水平(例如，作为浮点值等)来导出实时整形函数/曲线或附加地，还可以使用增长窗口或滑动窗口中的所需位深(例如，作为整数值等)来如本文所描述的那样导出实时整形函数/曲线。
另外地、可选地或可替代地，在增长窗口或滑动窗口中，代替保持/存储/高速缓存噪声水平(例如，最小噪声水平bm、平均噪声水平am等)，可以将从噪声水平导出的每一区间的规范化码字的数量(例如，Dm等)如本文所描述的那样与增长窗口或滑动窗口一起保持/存储/高速缓存。代替使用增长窗口或滑动窗口中的噪声水平(例如，作为浮点值等)来导出实时整形函数/曲线或附加地，还可以使用增长窗口或滑动窗口中的每一区间的规范化码字的数量(例如，作为整数值等)来如本文所描述的那样导出实时整形函数/曲线。
在另一例子中，在增长窗口或滑动窗口中，代替保持/存储/高速缓存噪声水平(例如，最小噪声水平bm、平均噪声水平am等)，可以将从噪声水平导出的每一输入的规范化码字的数量(例如，di等)如本文所描述的那样与增长窗口或滑动窗口一起保持/存储/高速缓存。代替使用增长窗口或滑动窗口中的噪声水平(例如，作为浮点值等)来导出实时整形函数/曲线或附加地，可以使用增长窗口或滑动窗口中的每一输入的规范化码字的数量(例如，作为整数值等)来如本文所描述的那样导出实时整形函数/曲线。
在进一步的例子中，在增长窗口或滑动窗口中，代替保持/存储/高速缓存噪声水平(例如，最小噪声水平bm、平均噪声水平am等)，可以将从噪声水平导出的每一输入的平滑的规范化码字的数量(例如，si等)如本文所描述的那样与增长窗口或滑动窗口一起保持/存储/高速缓存。代替使用增长窗口或滑动窗口中的噪声水平(例如，作为浮点值等)来导出实时整形函数/曲线或附加地，还可以使用增长窗口或滑动窗口中的每一输入的平滑的规范化码字的数量(例如，作为整数值等)来如本文所描述的那样导出实时整形函数/曲线。
场景改变检测
在一些实施例中，场景切换可以在要被整形为整形信号的输入视频信号中指示。在一些实施例中，可以使用场景检测器来定位输入视频信号中的输入图像序列中的场景切换或场景改变。
在一些实施例中，可以在不单独计算仅用于检测场景切换(或场景改变)的目的的特定参数的情况下使用通过实时整形操作计算的一个或多个整形参数来确定输入图像(或帧)序列中的场景切换(或场景改变)。例如，可以使用噪声水平测量/计算来发现与场景切换或场景改变相对应的相对大的改变。因为噪声水平是为确定所需码字而计算的，所以用噪声水平改变来检测场景切换或场景改变可以提供优于利用不同类型的内容依赖的测量/计算的额外计算的其他场景检测方法的显著的计算效率。此外，即使在同一场景内，大的噪声水平改变也指示对于使用不同的整形函数/曲线的需要(例如，场景改变)。因此，就响应同一场景内的噪声水平变化(例如，多个场景改变)而改动整形操作来说，检测噪声水平改变也可以用于提供优于其他方法的显著的响应性。
在一些实施例中，可以计算测量图像序列中的两个相邻图像之间的噪声水平相似性的相似性值。例如，可以如下基于在两个相邻图像(索引为(j-1)和j)之间的在(输入码字的)M个区间上求和的、组噪声水平(诸如最小噪声水平等)中幅值的差来计算相似性值：
其中“||…||”是指包围(enclosed)的量的范数(例如，绝对值、幅值等)。
在一些情况下，图像中的相对少量的像素值可能对诸如基于表达式(54)计算的相似性值产成相对大的影响。为了改进测量相邻图像之间的相似性的精度，相邻图像之间的相似性值也可以以除了使用表达式(54)之外的方式计算得到。
在一些实施例中，代替基于表达式(54)的相似性值或除此之外，可以如下计算相似性值：
其中hj,m表示对于第j图像的第m区间中的像素数量的直方图计数，Th表示直方图计数阈值。这防止具有相对少量像素的码字区间主导相似性值。
另外地、可选地或可替代地，可以如下计算相似性值：具有加权因子的区间：
其中hj,m和hj-1,m分别表示对于第j图像和第(j+1)图像的第m区间中的像素数量的直方图计数。这些直方图用作计算相似性值的权重因子。
在各种实施例中，这些变化和其他变化可以用于计算其峰值可以用于检测场景切换或改变的相似性值。
图10示出了对输入图像序列中的每两个相邻图像(或帧)计算的相似性值的示例绘图。在图10中可以看出，场景切换或场景改变可以被检测为对应于相似性值的高峰(例如，1002-1至1002-4等)。
图11示出了对输入图像序列中的每两个相邻图像(或帧)计算的相似性值的另一示例绘图。在图11中可以看出，场景切换或场景改变可以被检测为对应于相似性值的高峰(例如，1102-1至1102-4等)。在一些实施例中，高峰中的一些(例如，1102-1、1102-4等)可以对应于场景切换(例如，由不同照相机捕获的图像、在不同位置捕获的图像、在不同天捕获的图像等)，而高峰中的一些(例如，1102-2、1102-3等)可以对应于同一场景中的场景改变(例如，同一场景中出现的不同物体、移动的物体或人物、摇拍等)。在一些实施例中，在如本文所描述的整形参数中的一些或全部的计算中，用相对大的噪声水平改变检测的场景改变可以被看作是开始新的场景。
整形函数嵌入
整形图像可以被编码为压缩(例如，无损等)整形信号，并且被输出到下游接收者设备。示例整形信号可以是，但不仅限于是，10位基带CAQ信号。与用于生成整形信号的整形操作相关的信息可以被作为整形相关元数据嵌入(例如，作为图8A的812嵌入在承载参考处理单元或RPU的数据字段的子位流中等)。整形相关元数据可以被下游接收者设备用来将整形信号解码为整形图像并且应用/执行反向整形以将整形图像(例如，10位的等等)转换为预整形图像(例如，12位的等等)的重构版本。
在一些实施例中，反向整形可以至少部分是基于用多个多项式表示或近似的反向整形函数(例如，用表达式(23)导出的函数等)，该多个多项式诸如用于IPT-PQ颜色空间(用于表示整形信号)的I通道中的反向整形的8段2次多项式、IPT-PQ颜色空间的P/T通道中的一个或多个一次多项式。用于限定这些多项式的多项式系数、枢轴(pivot)等可以作为整形相关元数据中的一些或全部被发送给下游接收者设备以用于执行反向整形操作的目的。另外地、可选地或可替代地，可以使用反向整形函数(例如，用多项式表示的等等)来生成查找表(例如，一维LUT或1D-LUT等)。LUT可以作为整形相关元数据来代替或补充其他类型的整形相关元数据(诸如多项式系数、枢轴等、位速率有关事项之类)被发送。LUT中包含的值可以被下游接收者设备直接用来执行反向整形，而不从多项式计算多项式值。
图8B示出了在整形图像内的元数据(例如，整形相关元数据等)的示例发送(例如，在图8B的10位帧缓冲器中等等)。除了将整形相关元数据作为副信息(side information)发送(例如，诸如图8A中所示那样等等)之外或代替将整形相关元数据作为副信息发送，整形相关元数据中的一些或全部可以在整形图像内发送。该方法可以有益地用于如下这样的一些实施例中，在这些实施例中，副信息发送难以实现或者甚至不可能实现，诸如在整形信号将通过包括不支持副信息承载或不支持足够的副信息的承载的高清晰度串行数字接口(HD-SDI)链路的路径发送的情形下。
在一些实施例中，如本文所描述的实时整形是由包括如图8A或图8B所示的设备/模块/单元的上游设备以帧水平执行的。对应地，下游接收者设备可以以帧水平对整形图像执行反向整形操作。这意味着，反向整形操作可以基于帧水平信息，该帧水平信息需要与和帧水平信息有关的相应图像或帧同步。在一些实施例中，要用于对图像执行反向整形的整形相关元数据可以被嵌入在该图像内或该图像之前的另一图像内。因此，与依赖于副信息承载(例如，与诸如图8A或图8B的810之类的图像数据分离的图8A的812等等)来发送整形相关元数据的其他方法相比，如本文所描述的技术显著地减少和避免了同步问题。
如本文所描述的技术可以用于支持将元数据嵌入在视频信号(诸如整形视频信号)中的无损和有损方法两者。观察到，在一些情形下，在特定位深(例如，10位等)的视频信号中，较低位深(例如，对应于512个可用整形码字的9位等等)对于P/T通道可能是足够的，因为由将预成形(shape)码字从较低位深整形为可用码字而得到的有损压缩相对于将预成形码字从高于较低位深的特定位深整形为可用码字来说并没有引入明显的视觉差异或伪像。
例如，在许多情形下，表达式(41)和(42)中的用于P/T通道中的整形操作的比率因子和不大于1。另外地、可选地或可替代地，这些表达式中的加权因子wp和wT可以被设置为0.5。这些隐含的和/或明确的约束(例如，比率因子≤1，加权因子≤0.5，等等)可以用于对用于P/T通道的整形操作中所使用的码字空间实现较低位深(例如，9位等)。用于P/T通道的码字空间可以包括第一码空间、第二码空间等(例如，由第一码空间、第二码空间等组成等等)，第一码空间包括用于P通道的所有可用码字，第二码空间包括用于T通道的所有可用码字。用于P通道的第一码空间和用于T通道的第二码空间中的值范围可以分别如下给出：
结果，用于P/T通道的整形码字可以被放入(fit into)较低位深的码字空间(例如，0～511)中，表达式(41)和(42)中的其他参数可以如下设置：
在一些实施例中，可以如下限定用于P/T通道的整形码字范围和预整形码字范围之间的量化斜率比：
对于P/T通道将码字从预整形码字(例如，EDR码字等)整形为整形码字(例如，9位、0到511等等)可以如下通过以下方式来进行，即，首先减去预整形码字空间(包括所有可用预成形码字)的最低值，然后乘以量化斜率比，并且添加整形码字空间的最低值：
其中“<<”是位移位操作，该位移位操作用于将整形码字放置在整形信号的具有特定深度(例如，10位)的码字的最高有效位中——这些最高有效位的用于承载整形码字的数量(例如，9位)等于较低位深——以使得最低有效位(位0)可以被留出用于承载元数据，诸如整形相关元数据。
将要被嵌入在最低有效位(LSB)位0中的元数据表示为E(p)。P/T通道中的整形信号可以如下表示：
在解码器侧(例如，图1A或图1B的130等)，可以如下执行提取处理以提取LSB并且恢复元数据：
可以如下使用右移位操作来执行P/T通道中的整形码字的提取：
Pj(p)＝Pj(p)>>1(62)
可以基于从整形信号提取的元数据来生成反向整形函数。在一些实施例中，可以如下用一次多项式来以闭合(closed)的形式导出和表达反向整形函数：
在高清晰度(HD)视频帧或图像中可能存在可用于对P/T通道的码字进行编码的大量位。因此，按比例来说大量的位(例如，十位中的一位)可以用于将元数据嵌入在视频帧或图像中。
在一些实施例中，从反向整形函数生成的1D-LUT可以被上游设备作为嵌入在图像中的元数据(例如，图像的P/T通道的LSB等)发送给下游接收者设备。LUT提供从10位整形码字到12位PQ码字的映射，该12位PQ码字可以是已经被上游设备整形为10位整形码字的预成形码字的重构版本。在一些实施例中，LUT中的每个条目(entry)可以采用12位。对于P/T通道中的每个，整个LUT可以总计为1024*12＝12,288位。根据该方法的LUT可以被具有相对小的计算能力(例如，在浮点计算中)的下游接收者设备以接收略微劣化的图像作为折衷而有益地使用。
在一些实施例中，可以使用多个多项式(诸如具有九个枢轴点的八个2次多项式)来表示或近似要被下游接收者设备用于反向整形的反向整形函数。对于表示I通道(或亮度)中的反向整形函数的多项式，可以使用32位来表示每个多项式系数，并且可以使用10位来表示每个枢轴点。因此，用于限定近似用于I通道的反向整形函数的多项式的总体有效载荷可以是用于系数的32*3*8＝768(位)和用于枢轴点的10*9＝70(位)。在一些实施例中，P/T通道中的每个中的反向整形函数可以用单个1次多项式来表示。对于P/T通道中的每个来说，用于限定近似P/T通道中的每个中的反向整形函数的多项式的有效载荷是用于系数的32*2＝64(位)和用于枢轴点的10*2＝20(位)。表示多项式系数和枢轴点的这些位可以被上游设备作为嵌入在图像中的元数据(例如，图像的P/T通道的LSB等)发送给下游接收者设备。该方法可以被具有相对大的计算能力(例如，在浮点计算中)的下游接收者设备以接收相对高质量的图像作为折衷而有益地使用。
示例处理流程
图12A示出了根据本发明的实施例的示例处理流程。在一些实施例中，一个或多个计算设备或部件(例如，处理器、媒体设备的编码方框120等)可以执行该处理流程。在方框1202中，处理器用处理器计算具有输入位深的输入图像(117)的集合的噪声水平。
在方框1204中，处理器将噪声掩蔽生成处理(205)应用于输入图像以生成噪声掩蔽图像。噪声掩蔽图像就输入图像中的像素对于掩蔽量化噪声的感知相关性来表征这些像素。
在方框1206中，处理器基于输入图像和噪声掩蔽图像来生成噪声掩蔽直方图(212)。
在方框1208中，对于噪声掩蔽直方图中的一个或多个区间，处理器将掩蔽噪声水平应用于位深函数(215)以生成用于一个或多个区间的最小位深值。
在方框1210中，处理器基于输入位深、最小位深值和目标位深来生成码字映射函数(220)。
在方框1212中，处理器将码字映射函数应用于输入图像以生成具有目标位深的输出图像，其中目标位深小于输入位深。
在实施例中，如本文所描述的噪声掩蔽生成包括：将第一滤波器(305)应用于输入图像以生成第一滤波图像(L)；通过计算输入图像和第一滤波图像之间的差值的绝对值来生成第二图像；通过将第二滤波器应用于第二图像来生成噪声掩蔽图像(H)；等等。
在实施例中，第一滤波器是低通高斯滤波器。
在实施例中，第二滤波器是低通高斯滤波器。
在实施例中，处理器被进一步配置为将像素选择处理应用于噪声掩蔽图像以消除被视为在量化处理中非必需的像素。
在实施例中，如本文所描述的噪声掩蔽直方图生成包括：基于输入位深来计算输入图像的动态范围；将动态范围分割为M个子范围，其中M是大于1的整数；对于第i子范围，识别输入图像中的具有第i子范围内的像素值的所有像素；对于第i子范围内的每个像素，确定其在噪声掩蔽图像中的对应的噪声掩蔽值；对于第i子范围内的所有像素确定噪声掩蔽值的最小值；将用于第i子范围内的像素的噪声掩蔽值的最小值分配给噪声掩蔽直方图中的第i区间；等等。
在实施例中，输入图像是根据gamma编码或SMPTE ST 2084的高动态范围图像。
在实施例中，根据来自感知用户研究的结果来生成掩蔽噪声水平到位深函数。
在实施例中，生成码字映射函数进一步包括：基于最小位深值、输入位深和目标位深来生成所需目标位深码字的规范化数量的下界；根据分配方案将未使用的规范化码字分配给输入图像的整个动态范围以生成所需码字的更新的规范化数量；通过计算所需码字的更新的规范化数量的累积和来生成码字映射函数；等等。
在实施例中，处理器被进一步配置为在生成码字映射函数之前用低通滤波器来对所需码字的更新的规范化数量进行滤波。
在实施例中，低通滤波器包括(2N+1)抽头平均滤波器；N是正整数。
在实施例中，分配方案包括比例分配方案，其中对于第i输入像素值：
其中表示码字值的更新的规范化数量，di表示所需码字的规范化数量，D表示di值的和，并且U＝1-D。
在实施例中，分配方案包括恒定偏移分配方案，其中对于第i输入像素值：
其中表示码字值的更新的规范化数量，di表示所需码字的规范化数量，如果D表示di值的和，则U＝1-D，vH表示最大输入像素值，vL表示最小输入像素值。
在实施例中，分配方案包括基于直方图的分配方案，其中对于第i输入像素值
其中表示码字值的更新的规范化数量，di表示所需码字的规范化数量，hi表示输入图像中具有等于i的值的像素的数量，如果D表示di值的和，则U＝1-D，P表示输入图像中的考虑中的像素的总数量。
在实施例中，分配方案包括基于标量的分配方案，其中对于第i输入像素值
其中表示码字值的更新的规范化数量，di表示所需码字的规范化数量，如果D表示di值的和，则U＝1-D，α是0和1之间的标量，vH表示最大输入像素值，vL表示最小输入像素值。
在实施例中，生成用于输入像素值i的码字映射函数包括计算
其中sk值是基于码字值的更新的规范化数量导出的。
在实施例中，生成输出图像包括计算：
其中对于输入图像中的像素Ip＝i，sp表示对应的规范化的量化输出像素，vH表示最大输入像素值，vL表示最小输入像素值。
在实施例中，基于在包括输入图像的视频场景中的多个连续帧上计算的最小位深值来计算最小位深值。
在实施例中，处理器被进一步配置为：当确定目标位深不能通过分配步骤被满足时，根据噪声掩蔽图像将噪声或抖动添加到输入图像，并且生成所需码字的规范化数量的较新的下界来取代所需码字的规范化数量的下界。
图12B示出了根据本发明的实施例的示例处理流程。在一些实施例中，一个或多个计算设备或部件(例如，处理器、媒体设备的编码方框120、图8A或图8B的实时整形器802等)可以执行该处理流程。在方框1252中，处理器计算场景的时间窗口内的多个预整形图像中的预整形码字中的噪声水平，该预整形码字具有预整形位深。
在方框1254中，处理器至少部分地基于预整形码字中的计算的噪声水平来对多个预整形码字区间确定多个每一区间最小位深值，该多个每一区间最小位深值中的每个每一区间最小位深值对应于用于该多个预整形码字区间中的相应预整形码字区间的最小位深值。
在方框1256中，处理器至少部分地基于预整形位深、该多个每一区间最小位深值以及小于预整形位深的目标位深来生成用于该多个预整形图像中的特定预整形图像的特定码字映射函数。
在方框1258中，处理器将特定码字映射函数应用于特定预整形图像的特定预整形码字以生成特定输出图像的特定目标码字，该特定输出图像的特定目标码字具有目标位深。
在实施例中，时间窗口表示以下中的一个：滑动窗口、增长窗口、场景的整个持续时间等。
在实施例中，时间窗口以以下中的一个结束：特定图像、远离特定图像固定数量的图像的预整形图像等。
在实施例中，该多个预整形图像表示场景的所有预整形图像的集合中的适当子集。
在实施例中，计算的噪声水平中的每个表示该多个预整形码字区间中的预整形码字区间的噪声水平的每一区间组值；基于预整形图像中的包含预整形码字区间中的预整形码字的像素值的部分来计算预整形码字区间的噪声水平。
在实施例中，每一区间组值是以下中的一个：最小值、均值或最大值。
在实施例中，该多个预整形图像是在感知量化的IPT颜色空间(IPT-PQ)中表示的。
在实施例中，该多个预整形图像表示以下中的一个：来自输入视频信号的多个输入图像、从来自输入视频信号的多个输入图像转换的多个转换图像等。
在实施例中，处理器被进一步配置为执行：计算场景的第二时间窗口内的第二多个预整形图像中的第二预整形码字中的第二噪声水平，第二预整形码字具有预整形位深；至少部分地基于第二预整形码字中的计算的第二噪声水平来对该多个预整形码字区间确定第二多个每一区间最小位深值，该第二多个每一区间最小位深值中的每个每一区间最小位深值对应于用于该多个预整形码字区间中的相应预整形码字区间的最小位深值；至少部分地基于预整形位深、第二多个每一区间最小位深值和目标位深值来生成用于第二多个预整形图像中的第二特定预整形图像的第二特定码字映射函数；将第二特定码字映射函数应用于第二特定预整形图像的第二特定预整形码字以生成第二特定输出图像的第二特定目标码字，第二特定输出图像的第二特定目标码字具有目标位深；等等。
在实施例中，第二多个预整形图像包括紧跟在多个预整形图像之后的预整形图像；第二特定预整形图像在场景的预整形图像的集合中紧跟在特定预整形图像之后。
在实施例中，预整形码字和特定预整形码字具有亮度类型；处理器被进一步配置为执行：生成用于多个预整形图像中的特定预整形图像的特定码字映射函数；将特定色度码字映射函数应用于特定预整形图像的特定预整形色度码字以生成特定输出图像的特定目标色度码字；等等。
在实施例中，特定码字映射函数是在不使用计算的噪声水平的情况下生成的。
在实施例中，特定输出图像的特定目标色度码字是在具有低于目标位深的位深的色度码字空间中表示的；处理器被进一步配置为将整形相关元数据与特定目标色度码字一起嵌入在特定输出图像的目标像素值的一个或多个色度通道中。
在实施例中，整形相关元数据包括以下中的一个或多个：限定特定码字映射函数或特定色度码字映射函数中的一个或多个的参数；从特定码字映射函数或特定色度码字映射函数中的一个或多个生成的查找表；限定近似特定码字映射函数或特定色度码字映射函数中的一个或多个的多项式的参数；等等。
在实施例中，处理器被进一步配置为将整形相关元数据与特定输出图像的目标像素值分开发送。
在实施例中，计算的噪声水平包括多个预成形图像中的最后一个预整形图像中的一个或多个噪声水平；处理器被进一步配置为执行：接收紧跟在所述多个预成形图像中的最后一个预整形图像之后的新的预整形图像；计算新的预整形图像中的第二预整形码字中的一个或多个第二噪声水平，第二预整形码字具有预整形位深；至少部分地基于该一个或多个噪声水平和该一个或多个第二噪声水平来导出所述多个预成形图像中的最后一个预整形图像和新图像之间的相似性值；确定相似性值是否指示以新的预成形图像开始的场景改变；等等。
在实施例中，计算设备(诸如显示设备、移动设备、机顶盒、多媒体设备等)被配置为执行前述方法中的任何一个。在实施例中，一种装置包括处理器，并且被配置为执行前述方法中的任何一个。在实施例中，一种存储软件指令的非暂时性计算机可读存储介质，这些软件指令在被一个或多个处理器执行时使前述方法中的任何一个被执行。
在实施例中，一种计算设备，包括一个或多个处理器以及存储指令集的一个或多个存储介质，该指令集在被一个或多个处理器执行时使前述方法中的任何一个被执行。
注意，尽管本文讨论了单独的实施例，但是可以组合本文所讨论的实施例和/或部分实施例的任何组合来形成进一步的实施例。
示例计算机系统实现
本发明的实施例可以用计算机系统、用电子电路和部件配置的系统、集成电路(IC)器件(诸如微控制器、现场可编程门阵列(FPGA)或其他可配置或可编程逻辑器件(PLD))、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这样的系统、设备或部件中的一个或多个的装置来实现。计算机和/或IC可以执行、控制或运行与具有增强动态范围的图像的自适应感知量化相关的指令(诸如本文所描述的那些)。计算机和/或IC可以计算与本文所描述的自适应感知量化处理相关的各种参数或值中的任何一个。图像和视频实施例可以用硬件、软件、固件和它们的各种组合来实现。
本发明的某些实现包括计算机处理器，这些计算机处理器执行使处理器执行本发明方法的软件指令。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现如上所述的与HDR图像的自适应感知量化相关的方法。本发明还可以以程序产品的形式提供。该程序产品可以包括承载包含指令的计算机可读信号的集合的任何非暂时性介质，这些指令在被数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以为多种多样的形式中的任何一个。程序产品可以包括例如物理介质，诸如磁性数据存储介质(包括软盘、硬盘驱动器)、光学数据存储介质(包括CD ROM、DVD)、电子数据存储介质(包括ROM、闪存RAM)等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在部件(例如，软件模块、处理器、组装件、设备、电路等)在上面被提及的情况下，除非另有指示，否则对于该部件的提及(包括对于“手段(means)”的提及)应被解释为包括作为该部件的等同物的、执行所描述的部件的功能(例如，在功能上等同)的任何部件，包括在结构上不等同于所公开的执行本发明的示出的示例实施例中的功能的结构的部件。
根据一个实施例，本文所描述的技术由一个或多个专用计算设备实现。专用计算设备可以被硬连线来执行该技术，或者可以包括数字电子器件(诸如被持久地编程为执行该技术的一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或者可以包括被编程为依照固件、存储器、其他储存器或组合中的程序指令来执行所述技术的一个或多个通用硬件处理器。这样的专用计算设备还可以组合具有自定义编程的自定义硬连线逻辑、ASIC或FPGA来实现该技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持设备、联网设备或包含硬连线和/或程序逻辑来实现该技术的任何其他设备。
例如，图13是示出在其上可以实现本发明的实施例的计算机系统1300的框图。计算机系统1300包括用于传送信息的总线1302或其他通信机制以及与总线1302耦合的用于处理信息的硬件处理器1304。硬件处理器1304可以例如是通用微处理器。
计算机系统1300还包括耦合到总线1302的、用于存储信息和要被处理器1304执行的指令的主存储器1306，诸如随机存取存储器(RAM)或其他动态存储设备。主存储器1306还可以用于在要被处理器1304执行的指令的执行期间存储临时变量或其他中间信息。这样的指令在被存储在处理器1304可访问的非暂时性存储介质中时使计算机系统1300变为被定制为执行这些指令中指定的操作的专用机器。
计算机系统1300进一步包括耦合到总线1302的、用于存储用于处理器1304的静态信息和指令的只读存储器(ROM)1308或其他静态存储设备。存储设备1310(诸如磁盘或光学盘)被提供，并且被耦合到总线1302以用于存储信息和指令。
计算机系统1300可以经由总线1302耦合到用于向计算机用户显示信息的显示器1312，诸如液晶显示器。包括字母数字和其他键的输入设备1314耦合到总线1302以用于将信息和命令选择传送给处理器1304。另一类型的用户输入设备是用于将方向信息和命令选择传送给处理器1304并且用于控制显示器1312上的光标移动的光标控件1316，诸如鼠标、跟踪球或光标方向键。该输入设备通常具有两个轴(第一轴(例如，x)和第二轴(例如，y))上的两个自由度，这两个自由度使得设备可以指定平面中的位置。
计算机系统1300可以使用与计算机系统组合而使计算机系统1300成为专用机器或者将计算机系统1300编程为专用机器的定制硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实现本文所描述的技术。根据一个实施例，如本文所描述的技术由计算机系统1300响应于处理器1304执行主存储器1306中包含的一个或多个指令的一个或多个序列来执行。这样的指令可以从另一存储介质(诸如存储设备1310)被读取到主存储器1306中。主存储器1306中所含的指令序列的执行使处理器1304执行本文所描述的处理步骤。在替代实施例中，硬连线电路可以用来代替软件指令或与软件指令组合使用。
如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂时性介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光学盘或磁盘，诸如存储设备1310。易失性介质包括动态存储器，诸如主存储器1306。常见形式的存储介质包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM以及EPROM、FLASH-EPROM、NVRAM、任何其他存储器芯片或盒。
存储介质不同于传输介质，但是可以与传输介质结合使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜线和光纤，这些包括包含总线1302的导线。传输介质还可以采取声波或光波的形式，诸如无线电波和红外数据通信期间生成的那些。
各种形式的介质可以涉及将一个或多个指令的一个或多个序列传载到处理器1304以供执行。例如，指令可以一开始承载于远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并且使用调制解调器通过电话线发送指令。计算机系统1300本地的调制解调器可以接收电话线上的数据，并且使用红外发射器来将数据转换为红外信号。红外探测器可以接收红外信号中承载的数据，并且适当的电路可以将数据放置在总线1302上。总线1302将数据传载到主存储器1306，处理器1304从主存储器1306检索并且执行指令。主存储器1306接收的指令可以可选地在被处理器1304执行之前或之后被存储在存储设备1310上。
计算机系统1300还包括耦合到总线1302的通信接口1318。通信接口1318提供耦合到网络链路1320的双向数据通信，网络链路1320连接到本地网络1322。例如，通信接口1318可以是综合服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或提供与对应类型的电话线的数据通信连接的调制解调器。作为另一例子，通信接口1318可以是提供与可兼容LAN的数据通信连接的局域网(LAN)卡。还可以实现无线链路。在任何这样的实现中，通信接口1318发送和接收传载表示各种类型的信息的数字数据流的电、电磁或光学信号。
网络链路1320通常通过一个或多个网络提供与其他数据设备的数据通信。例如，网络链路1320可以通过本地网络1322提供与主机计算机1324或由互联网服务提供商(ISP)1326运营的数据设备的连接。ISP 1326继而通过全球分组数据通信网络(现在常被称为“互联网”)1328来提供数据通信服务。本地网络1322和互联网1328两者使用传载数字数据流的电、电磁或光学信号。通过各种网络的信号以及网络链路1320上通过通信接口1318(其从/向计算机系统1300传载数字数据)的信号是传输介质的示例形式。
计算机系统1300可以通过网络(一个或多个)、网络链路1320和通信接口1318来发送消息和接收数据(包括程序代码)。在互联网例子中，服务器1330可以通过互联网1328、ISP 1326、本地网络1322和通信接口1318来发送对应用程序的请求代码。
接收的代码可以在它被接收时被处理器1304执行，和/或被存储在存储设备1310或其他非易失性储存器上以供以后执行。
等同、扩展、替代及其他
在前面的说明书中，已经参照在不同实现之间可以有所变化的许多特定细节描述了本发明的实施例。因此，本发明是什么以及申请人意图什么是本发明的唯一的且排他的指示是本申请以特定形式发布的权利要求的集合，包括任何后续修正，这样的权利要求以该特定形式发布。本文针对这样的权利要求中包含的术语明确阐述的任何限定应决定这样的术语在权利要求中使用的意义。因此，在权利要求中未明确记载的限制、元件、性质、特征、优点或属性不得以任何方式限制这样的权利要求的范围。说明书和附图因此要以说明性、而非限制性的意义来看待。
如此描述了与HDR图像的高效自适应感知量化相关的示例实施例。在前面的说明书中，已经参照在不同实现之间可以有所变化的许多特定细节描述了本发明的实施例。因此，本发明是什么以及申请人意图什么是本发明的唯一的且排他的指示是本申请以特定形式发布的权利要求的集合，包括任何后续修正，这样的权利要求以该特定形式发布。本文针对这样的权利要求中包含的术语明确阐述的任何限定应决定这样的术语在权利要求中使用的意义。因此，在权利要求中未明确记载的限制、元件、性质、特征、优点或属性不得以任何方式限制这样的权利要求的范围。说明书和附图因此要以说明性、而非限制性的意义来看待。

Claims (19)

1.一种方法，包括：
计算场景的时间窗口内的多个预整形图像中的预整形码字中的噪声水平，预整形码字具有预整形位深；
至少部分地基于所述预整形码字中的计算的噪声水平来对多个预整形码字区间确定多个每一区间最小位深值，所述多个每一区间最小位深值中的每个每一区间最小位深值对应于用于所述多个预整形码字区间中的相应预整形码字区间的最小位深值；
至少部分地基于所述预整形位深、所述多个每一区间最小位深值以及小于所述预整形位深的目标位深来生成用于所述多个预整形图像中的特定预整形图像的特定码字映射函数；以及
将所述特定码字映射函数应用于所述特定预整形图像的特定预整形码字以生成特定输出图像的特定目标码字，所述特定输出图像的特定目标码字具有所述目标位深。
2.根据权利要求1所述的方法，其中，所述时间窗口表示以下中的一个：(a)滑动窗口、(b)增长窗口、或(c)场景的整个持续时间。
3.根据权利要求1所述的方法，其中，所述时间窗口以以下中的一个结束：(a)所述特定图像、或(b)远离所述特定图像固定数量的图像的预整形图像。
4.根据权利要求1所述的方法，其中，所述多个预整形图像表示所述场景的所有预整形图像的集合中的适当子集。
5.根据权利要求1所述的方法，其中，所述计算的噪声水平中的每个表示所述多个预整形码字区间中的预整形码字区间的噪声水平的每一区间组值，并且其中，基于所述预整形图像中的包含所述预整形码字区间中的预整形码字的像素值的部分来计算所述预整形码字区间的噪声水平。
6.根据权利要求5所述的方法，其中，所述每一区间组值是以下中的一个：最小值、均值或最大值。
7.根据权利要求1所述的方法，其中，所述多个预整形图像是在感知量化的IPT颜色空间(IPT-PQ)中表示的。
8.根据权利要求1所述的方法，其中，所述多个预整形图像表示以下中的一个：(a)来自输入视频信号的多个输入图像、或(b)从来自输入视频信号的多个输入图像转换的多个转换图像。
9.根据权利要求1所述的方法，进一步包括：
计算所述场景的第二时间窗口内的第二多个预整形图像中的第二预整形码字中的第二噪声水平，所述第二预整形码字具有所述预整形位深；
至少部分地基于所述第二预整形码字中的计算的第二噪声水平来对所述多个预整形码字区间确定第二多个每一区间最小位深值，所述第二多个每一区间最小位深值中的每个每一区间最小位深值对应于用于所述多个预整形码字区间中的相应预整形码字区间的最小位深值；
至少部分地基于所述预整形位深、所述第二多个每一区间最小位深值和所述目标位深来生成用于所述第二多个预整形图像中的第二特定预整形图像的第二特定码字映射函数；以及
将所述第二特定码字映射函数应用于所述第二特定预整形图像的第二特定预整形码字以生成第二特定输出图像的第二特定目标码字，所述第二特定输出图像的第二特定目标码字具有所述目标位深。
10.根据权利要求9所述的方法，其中，所述第二多个预整形图像包括紧跟在所述多个预整形图像之后的预整形图像，并且其中，所述第二特定预整形图像在所述场景的预整形图像的集合中紧跟在所述特定预整形图像之后。
11.根据权利要求1所述的方法，其中，所述预整形码字和所述特定预整形码字具有亮度类型；进一步包括：
生成用于所述多个预整形图像中的所述特定预整形图像的特定码字映射函数；以及
将特定色度码字映射函数应用于所述特定预整形图像的特定预整形色度码字以生成所述特定输出图像的特定目标色度码字。
12.根据权利要求11所述的方法，其中，所述特定码字映射函数是在不使用计算的噪声水平的情况下生成的。
13.根据权利要求11所述的方法，其中，所述特定输出图像的特定目标色度码字是在具有低于目标位深的位深的色度码字空间中表示的；所述方法进一步包括将整形相关元数据与所述特定目标色度码字一起嵌入在所述特定输出图像的目标像素值的一个或多个色度通道中。
14.根据权利要求13所述的方法，其中，所述整形相关元数据包括以下中的一个或多个：(a)限定所述特定码字映射函数或所述特定色度码字映射函数中的一个或多个的参数；(b)从所述特定码字映射函数或所述特定色度码字映射函数中的一个或多个生成的查找表；或(c)限定近似所述特定码字映射函数或所述特定色度码字映射函数中的一个或多个的多项式的参数。
15.根据权利要求1所述的方法，进一步包括将整形相关元数据与所述特定输出图像的目标像素值分开发送。
16.根据权利要求1所述的方法，其中，所述计算的噪声水平包括所述多个预成形图像中的最后一个预整形图像中的一个或多个噪声水平；进一步包括：
接收紧跟在所述多个预成形图像中的所述最后一个预整形图像之后的新的预整形图像；
计算所述新的预整形图像中的第二预整形码字中的一个或多个第二噪声水平，所述第二预整形码字具有预整形位深；
至少部分地基于所述一个或多个噪声水平和所述一个或多个第二噪声水平来导出所述多个预成形图像中的所述最后一个预整形图像和新的图像之间的相似性值；
确定所述相似性值是否指示以新的预成形图像开始的场景改变。
17.一种系统，包括：
至少部分用硬件实现并且计算场景的时间窗口内的多个预整形图像中的预整形码字中的噪声水平的子系统，所述预整形码字具有预整形位深；
至少部分用硬件实现并且至少部分地基于所述预整形码字中的计算的噪声水平来对多个预整形码字区间确定多个每一区间最小位深值的子系统，所述多个每一区间最小位深值中的每个每一区间最小位深值对应于用于所述多个预整形码字区间中的相应预整形码字区间的最小位深值；
至少部分用硬件实现并且至少部分地基于所述预整形位深、所述多个每一区间最小位深值以及小于所述预整形位深的目标位深来生成用于所述多个预整形图像中的特定预整形图像的特定码字映射函数的子系统；以及
至少部分用硬件实现并且将所述特定码字映射函数应用于所述特定预整形图像的特定预整形码字以生成特定输出图像的特定目标码字的子系统，所述特定输出图像的特定目标码字具有所述目标位深。
18.一种装置，包括处理器，并且被配置为执行如权利要求1-17中任一项所述的方法。
19.一种非暂时性计算机可读存储介质，其上存储有用于执行根据权利要求1-17中任一项所述的方法的计算机可执行指令。
CN201680036677.8A 2015-06-30 2016-03-01 用于高动态范围图像的实时内容自适应感知量化器 Active CN107771392B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562187091P 2015-06-30 2015-06-30
US62/187,091 2015-06-30
PCT/US2016/020232 WO2017003525A1 (en) 2015-06-30 2016-03-01 Real-time content-adaptive perceptual quantizer for high dynamic range images

Publications (2)

Publication Number Publication Date
CN107771392A true CN107771392A (zh) 2018-03-06
CN107771392B CN107771392B (zh) 2021-08-31

Family

ID=55910329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680036677.8A Active CN107771392B (zh) 2015-06-30 2016-03-01 用于高动态范围图像的实时内容自适应感知量化器

Country Status (4)

Country Link
US (1) US10701359B2 (zh)
EP (1) EP3314893A1 (zh)
CN (1) CN107771392B (zh)
WO (1) WO2017003525A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114747224A (zh) * 2019-11-27 2022-07-12 杜比实验室特许公司 Hdr成像中的速率控制感知整形

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277610B2 (en) * 2015-09-23 2022-03-15 Arris Enterprises Llc Single layer high dynamic range coding with standard dynamic range backward compatibility
US10701375B2 (en) 2016-03-23 2020-06-30 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
GB201611253D0 (en) 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
CN108694030B (zh) * 2017-04-11 2020-07-28 华为技术有限公司 处理高动态范围图像的方法和装置
US10878273B2 (en) * 2017-07-06 2020-12-29 Texas Instruments Incorporated Dynamic quantization for deep neural network inference system and method
CN110999301B (zh) 2017-08-15 2023-03-28 杜比实验室特许公司 位深度高效图像处理
WO2019036522A1 (en) * 2017-08-15 2019-02-21 Dolby Laboratories Licensing Corporation EFFICIENT IMAGE PROCESSING IN BIT DEPTH
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
BR112020016821B1 (pt) * 2018-02-28 2022-08-09 Dolby Laboratories Licensing Corporation Método de geração de metadados de remodelagem de luma e croma com um sistema de processamento, meio legível por máquina e sistema de gerenciamento de exibição
US11244477B1 (en) 2018-08-21 2022-02-08 Perceive Corporation Compressive sensing based image processing
US20220150481A1 (en) * 2019-03-07 2022-05-12 Lg Electronics Inc. Video or image coding based on luma mapping with chroma scaling
US20210409742A1 (en) * 2019-07-17 2021-12-30 Solsona Enterprise, Llc Methods and systems for transcoding between frame-based video and frame free video
JP2023532083A (ja) * 2020-06-30 2023-07-26 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｐｑシフトを用いた周囲光補償のためのシステムおよび方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341825A (zh) * 2009-03-03 2012-02-01 微软公司 图像的多模式色调映射
WO2013086169A1 (en) * 2011-12-06 2013-06-13 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
US20130241931A1 (en) * 2012-03-14 2013-09-19 Dolby Laboratiories Licensing Corporation Efficient Tone-Mapping Of High-Bit-Depth Video To Low-Bit-Depth Display
CN103843058A (zh) * 2011-09-27 2014-06-04 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
WO2014160705A1 (en) * 2013-03-26 2014-10-02 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
CN104322072A (zh) * 2011-11-04 2015-01-28 杜比实验室特许公司 分层vdr编译码中的层分解

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015020009B1 (pt) * 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica
US9582888B2 (en) * 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
KR101939012B1 (ko) * 2015-03-02 2019-01-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기
KR101844732B1 (ko) * 2015-03-20 2018-04-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 신호 재정형 근사화
WO2016164235A1 (en) * 2015-04-06 2016-10-13 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341825A (zh) * 2009-03-03 2012-02-01 微软公司 图像的多模式色调映射
CN103843058A (zh) * 2011-09-27 2014-06-04 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN104322072A (zh) * 2011-11-04 2015-01-28 杜比实验室特许公司 分层vdr编译码中的层分解
WO2013086169A1 (en) * 2011-12-06 2013-06-13 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
US20130241931A1 (en) * 2012-03-14 2013-09-19 Dolby Laboratiories Licensing Corporation Efficient Tone-Mapping Of High-Bit-Depth Video To Low-Bit-Depth Display
WO2014160705A1 (en) * 2013-03-26 2014-10-02 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONALD J. NATALE: "High dynamic range (HDR) video processing for the exploitation of high bit-depth sensors in human-monitored surveillance", 《 2014 IEEE APPLIED IMAGERY PATTERN RECOGNITION WORKSHOP (AIPR)》 *
RAFAL MANTIUK等: "Lossy compression of high dynamic range images and video", 《PROC.SPIE 6057》 *
YANG ZHANG等: "Perception-based high dynamic range video compression with optimal bit-depth transformation", 《IMAGE PROCESSING (ICIP), 2011 18TH IEEE INTERNATIONAL CONFERENCE ON IEEE》 *
ZHANG YANG等: "High dynamic range video compression by intensity dependent spatial quantization in HEVC", 《2013 PICTURE CODING SYMPOSIUM (PCS), IEEE》 *
赵阳: "高动态范围连续影像技术的发展及前景", 《现代电影技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114747224A (zh) * 2019-11-27 2022-07-12 杜比实验室特许公司 Hdr成像中的速率控制感知整形
CN114747224B (zh) * 2019-11-27 2023-12-01 杜比实验室特许公司 一种用于生成整形函数的方法、装置以及存储介质

Also Published As

Publication number Publication date
US20180115774A1 (en) 2018-04-26
EP3314893A1 (en) 2018-05-02
CN107771392B (zh) 2021-08-31
WO2017003525A1 (en) 2017-01-05
US10701359B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
CN107771392A (zh) 用于高动态范围图像的实时内容自适应感知量化器
CN108885783B (zh) 编码和解码可逆制作质量单层视频信号
AU2022204421B2 (en) Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
CN109416832B (zh) 高效的基于直方图的亮度外观匹配
KR101939012B1 (ko) 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기
US10311558B2 (en) Efficient image processing on content-adaptive PQ signal domain
JP6609056B2 (ja) 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム
CN111314577B (zh) 支持交替色调渲染的动态元数据的变换
TWI812874B (zh) 張量乘積之b平滑曲線預測子
CN108141599B (zh) 在视频编解码器中保留纹理/噪声一致性
EP3586509A1 (en) Method and device for decoding a high-dynamic range image
WO2019000097A1 (en) METHODS AND APPARATUS FOR MAPPING TONE AND MAPPING INVERSE TONE
EP3371975A1 (en) Piecewise-linear inter-layer predictor for high-dynamic range video coding
JP2020524446A (ja) 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
CN114175647A (zh) 电光传递函数转换和信号合法化
CN114556940A (zh) 视频编解码器中的质量与计算复杂度之间的可调整的折衷
CN118476231A (zh) 基于观看环境的胶片颗粒参数适配

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant