CN107079137B - 感知量化视频内容的编码和解码 - Google Patents

感知量化视频内容的编码和解码 Download PDF

Info

Publication number
CN107079137B
CN107079137B CN201580051580.XA CN201580051580A CN107079137B CN 107079137 B CN107079137 B CN 107079137B CN 201580051580 A CN201580051580 A CN 201580051580A CN 107079137 B CN107079137 B CN 107079137B
Authority
CN
China
Prior art keywords
vision signal
color space
perception
color
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580051580.XA
Other languages
English (en)
Other versions
CN107079137A (zh
Inventor
J·弗若里奇
R·阿特金斯
王秋韡
苏冠铭
尹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN107079137A publication Critical patent/CN107079137A/zh
Application granted granted Critical
Publication of CN107079137B publication Critical patent/CN107079137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Abstract

与传统伽马编码视频相比，感知量化视频对于高动态范围视频的传输和显示提供给了更大的灵活性，但是其没有如同使用已有标准编解码器那样高效地进行压缩。描述了通过在RGB/XYZ到LMS变换之后应用颜色交互变换来提高感知编码视频的编码效率的技术。这样的变换增加了用于颜色外观模型的亮度和色度相关性，提高了宽色域、HDR信号的感知均匀性和整体编码效率。

Description

感知量化视频内容的编码和解码
相关申请的交叉引用
本申请要求于2014年9月26日提交的美国临时专利申请No.62/056,093的优先权，该申请的全部内容通过引用并入此。
技术领域
本发明总地涉及图像。更特别地，本发明的实施例涉及感知量化视频的编码、解码和显示管理。
背景技术
视频信号可以通过多个参数(例如比特深度、颜色空间、色域和分辨率)来表征。视频信号特性的一个重要方面是它的动态范围。动态范围(DR)是图像中的强度(例如，照度，亮度)的范围，例如从最黑暗的暗到最明亮的亮。如本文所使用的，术语“动态范围”(DR)可以涉及人类心理视觉系统(HVS)感知图像中的强度(例如，照度，亮度)的范围(例如从最暗的暗到最明亮的亮)的能力。在这个意义上，DR涉及“场景相关”强度。DR还可以涉及显示设备充分地或近似地渲染特定宽幅的强度范围的能力。在这个意义上，DR涉及“显示器相关”强度。除非在本文的描述中的任何点处明确指定特定意义具有特定重要性，否则应推断该术语可以在任何意义上使用，例如。可互换。
如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14-15个数量级(例如，1：10,000)的DR宽幅。实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n比特的精度表示(例如，n＝8)。例如，使用线性或经典伽马亮度编码(例如，根据ITU Rec.709)，n≤8(例如，颜色24比特JPEG图像)且动态范围为1：100至约1：1000的图像被认为是标准动态范围的图像，而n>8和动态范围更高的图像可以被认为是高动态范围的图像。还可以使用低比特深度、非线性亮度编码(例如，10比特和对数亮度编码)或高精度(例如16比特)浮点格式(例如由Industrial Light andMagic开发的OpenEXR文件格式)来存储和分发HDR图像。
HDR图像可能需要通过不支持其全动态范围的编码器来编码和传输。例如，视频编解码器可能仅支持8比特或10比特视频数据，这是比HDR视频的12-16比特的典型比特深度低得多的比特深度。使用感知量化(诸如在SMPTE标准ST 2084(2014)“Perceptually-basedEOTF”(其通过引用整体并入本文)中描述的)的HDR视频的预处理或后处理可以减少比特深度要求；然而，它可能影响编码效率，因为编码标准通常针对伽马编码的YCbCr视频信号被优化。如本文的发明人所理解的，改进的用于感知量化视频的编码和解码的技术是期望的。
在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应基于本部分而认为在任何现有技术中已被识别。
附图说明
在附图中以举例的方式、而非限制的方式例示本发明，在附图中，相似的标号表示类似的元件，其中：
图1A描绘了用于非感知量化颜色空间中HDR视频的编码和解码的处理管线的示例性实现；
图1B、1C、1D描绘了根据本发明的实施例的用于感知量化颜色空间中HDR视频的编码和解码的处理管线的示例性实现；
图2A描绘了用于将伽马编码或PQ编码的RGB信号转换到IPT-PQ颜色空间中的示例数据流；以及
图2B描绘了根据本发明的实施例的用于将伽马编码或PQ编码的RGB信号转换到修改的IPT-PQ颜色空间中的示例数据流；以及
图2C描绘了根据本发明的实施例的用于将IPT-PQ信号转换为伽马编码或PQ编码的RGB信号的示例数据流。
具体实施方式
本文中描述了用于感知量化视频信号的编码和解码技术。
在以下的描述中，出于解释的目的，为了使得能够彻底理解本发明，阐述了大量的特定细节。但应理解，可以在没有这些特定细节的情况下实施本发明。在其它情况下，为了避免不必要地遮蔽、掩盖或混淆本发明，没有以详尽的细节描述公知的结构和装置。
概述
本文描述的示例实施例涉及用于感知量化的视频信号的编码和解码技术。在第一颜色空间(例如，RGB-PQ或RGB伽玛)中访问第一HDR视频信号。将一个或多个颜色变换应用于第一视频信号以在感知量化的对立颜色空间(opponent color space)(例如，IPT-PQ)中产生输出视频信号。输出视频信号由视频编码器压缩以产生编码比特流，其中将一个或多个颜色变换应用于第一视频信号以产生输出视频信号还包括：对第一视频信号应用第一颜色变换以在线性原色空间(例如线性LMS)中产生第二视频信号；将颜色交互(color cross-talk)变换矩阵(C)应用于第二视频信号以在所述线性原色空间中产生第三视频信号；将感知量化器应用于第三视频信号以在感知量化的原色空间(例如，LMS-PQ)中产生第四视频信号；以及对第四视频信号应用第二颜色变换以在感知量化的对立颜色空间(例如，IPT-PQc)中产生输出视频信号。
在另一实施例中，在解码器中，编码比特流被解码以在感知量化的对立颜色空间(例如，IPT-PQ)中生成第一HDR信号。将一个或多个颜色变换应用于第一HDR信号以在第一线性原色空间(例如，线性LMS)中产生第二视频信号。然后，将彩色交互变换矩阵的逆应用于第二视频信号，在线性原色空间中生成第三视频信号，最后将第二组颜色变换应用于第三视频信号以在期望的颜色空间(例如，RGB-伽马或RGB-PQ)中生成第四视频信号。
在实施例中，在显示管理相同的感知量化颜色空间(例如，IPT-PQ)中执行视频编码和解码，该显示管理在视频解码之后执行。在这样的实施例中，可以组合与反向整形和色调映射相关的查找表，以减少解码器中的操作数量。
在实施例中，当在感知量化的颜色空间中编码和解码时，在编码之前，可以通过非线性函数对亮度分量进行整形，并且可以通过线性色度整形函数对色度分量进行整形，使得亮度和色度通道之间的动态范围比被保持。这些整形函数在应用任何显示管理处理之前在解码器中反转。
HDR信号的编码和解码
图1A描绘了用于HDR视频信号的编码和解码流水线的示例性实现。输入(102)可以是由HDR相机捕获的HDR视频信号，或者它可以表示视频后处理过程的输出，该视频后处理过程包括各种图像和视频处理步骤，诸如视频编辑，颜色分级等。在被视频编码器(110)压缩之前，视频信号(102)也可以由颜色变换单元(105)处理，使得视频编码器(110)的输入处的颜色格式匹配所支持的颜色格式，编码器已针对所支持的颜色格式被优化。例如，如果输入(102)是RGB4：4：4颜色格式并且视频编码器(110)以YCbCr 4：2：0格式操作，则单元(105)可以执行RGB到YCbCr颜色变换和颜色子采样。
视频编码器(110)可以是使用诸如MPEG-2，MPEG-4(部分4)，H.264，H.265(HEVC)，VP8等的本领域中已知的视频压缩方案中的任一种的单层编码器或多层编码器。视频编码器(110)的输出可以存储在存储介质(例如，硬盘驱动器或光学介质)中，或者可以向下游传输以由接收设备(例如机顶盒，媒体播放器等)解码。在接收机上，视频解码器(115)反转进行由视频编码器(110)执行的步骤以生成要在目标显示器(135)上显示的解压缩视频信号(117)。显示器(135)可能匹配或可能不匹配用于生成视频信号(102)的参考显示器的特性。例如，视频信号(102)可以使用2,000尼特显示器进行颜色分级；然而，目标显示器(135)可以是1000尼特或更低。为了匹配目标显示器(135)的特性，在一些实施例中，接收器(或显示器本身)可以执行各种视频信号处理步骤，诸如颜色变换和色调映射。这些处理步骤被通称为“显示管理”。显示管理过程的示例在2014年2月13日提交的PCT申请PCT/US2014/016304(以下称为'304申请)和2014年7月3日提交的美国临时申请第62/020,622号(以下称为'622申请)(也作为美国专利申请第14/755,755号被提交)中被描述，这两个申请通过引用整体并入本文。
如图1A所示，并且在'304申请中描述的，在一些实施例中，HDR视频信号的显示器管理过程(例如，步骤125和130)如果使用感知校正的或感知量化的颜色空间(例如IPT-PQ)来执行则可能受益。IPT颜色空间是人类视觉系统中的锥体之间的色差的模型，IPT颜色空间在“Development and testing of a color space(ipt)with improved hueuniformity”，by F.Ebner and M.D.Fairchild，in Proc.Natl.Acad.Sci。6th ColorImaging Conference：Color Science，Systems，and Applications，IS&T，Scottsdale，Arizona，1998年11月，第8-13页(被称为Ebner论文)中被描述，该论文通过引用整体并入本文。在这个意义上，IPT颜色空间类似于YCbCr或CIE-Lab颜色空间；然而，在一些科学研究中已经表明，IPT颜色空间比这些空间更好地模拟人类视觉处理。像CIE-Lab一样，IPT是对于一些参考照度的归一化空间。在实施例中，归一化是基于目标显示器的最大亮度的。
YCbCr，YUV，IPT，Lab等颜色空间通常被称为对立颜色空间，因为它们使用亮度分量(例如Y或Γ)和两个色度或色差分量(例如，CbCr或PT)来描述信号。相反，RGB，LMS，XYZ等颜色空间通常被称为原色空间。在图像和视频压缩中，优选在对立颜色空间而不是原色空间中操作，这是因为在对立颜色空间中，颜色分量较少相关，并且色度分量可以在压缩之前被子采样，而没有任何感知损失，从而提高整体可压缩性。
这里使用的术语“PQ”是指感知量化。人类视觉系统以非常非线性的方式响应增加的光水平。人的看见刺激的能力受到刺激的亮度、刺激的大小、组成刺激的空间频率以及眼睛在观看刺激的特定时刻所适应的亮度水平的影响。在优选实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比灵敏度阈值的输出灰度级。PQ映射函数的示例在SMPTE ST 2084：2014规范和于2012年12月06日提交的、JSMiller等人的、标题为“Perceptual luminance nonlinearity-based image data exchange acrossdifferent display capabilities”的PCT申请PCT/US2012/068212(以下称为'212申请)中被描述，该PCT申请通过引用整体并入本文，其中给定固定刺激大小，针对每个亮度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)选择在该亮度水平处的最小可见对比度步长。与传统的伽马曲线(其表示物理阴极射线管(CRT)装置的响应曲线并且碰巧与人类视觉系统响应的方式具有非常粗略的相似性)相比，由'212申请确定的PQ曲线使用相对简单的功能模型模仿人类视觉系统的真实视觉反应。如本文所使用的，术语RGB-PQ，IPT-PQ，YCbCr-PQ等表示已经使用感知量化函数量化或重新映射至少一个颜色通道的颜色空间。
表1描述了用于将数字视频代码值转换为显示点处的绝对线性照度水平的感知曲线电光学传递函数(EOTF)的计算。还包括用于将绝对线性照度转换为数字代码值的逆OETF计算。
表1
示例性方程定义：
D＝感知曲线数字代码值，SDI认可的无符号整数，10或12位
b＝数字信号表示中的每个分量的比特数
V＝归一化的感知曲线信号值，0≤V≤1
Y＝归一化的照度值，0≤Y≤1
L＝绝对照度值，0≤L≤10,000cd/m2
示例性EOTF解码方程：
L＝10,000·Y (t1)
示例性逆EOTF编码方程：
D＝INT(1015·V·2b-10)+4·2b-10 (t2)
示例性常数：
注释：
1.算子INT对于0至0.4999...范围中的分数部分返回值0，对于0.5至0.9999...范围中的分数部分返回值+1，即，它将大于0.5的分数上舍入。
2.所有常数都被定义为12比特有理数的正好整数倍以避免舍入问题。
3.以与上述Y信号分量相同的方式计算R、G或B信号分量。
如图1A所示，在感知校正的或感知量化的颜色空间(例如IPT-PQ)中操作可能需要多个处理步骤(120)，诸如：色度上采样和第一线性颜色变换(例如，从YCbCr 4：2：0到RGB4：4：4)，随后是第二非线性颜色变换(例如，从RGB到IPT-PQ)。作为示例，图2A和其相应的描述稍后在本说明书中更详细地描绘用于RGB到IPT-PQ颜色变换的处理流水线。
尽管在IPT-PQ空间中操作可以增强色调映射(125)和色域调整(130)操作的输出，但是将输入信号(117)变换到这种颜色空间的所需颜色变换(120)可能会超出一些设备(例如便携式计算平板或智能电话)的能力。因此，在一些实施例中，期望通过将一些操作转移到编码器中来降低解码器复杂性。例如，在实施例中，期望在感知校正的颜色空间(例如，IPT-PQ)中执行整个编码处理，使得在解码器中可以减少或完全消除颜色变换(120)。不幸的是，现有的视频编码方案针对通常在YCbCr颜色空间中编码的伽马编码的标准动态范围视频信号进行优化。如发明人所理解的，在感知校正颜色空间中将现有视频编解码器用于HDR信号需要一些附加步骤，诸如本文所描述的那些步骤。
正向和反向信号整形
图1B描绘了在感知校正颜色空间(例如，IPT-PQ)中编码的HDR视频的编码和解码的示例性实现。在实施例中，输入(102)可能已经处于感知编码的颜色空间(例如，RGB-PQ)。颜色变换步骤(105)将来自输入颜色空间(例如RGB-PQ 4：4：4)的输入信号(102)的颜色空间变换成适合于使用视频编码器(110)编码的感知校正颜色格式(例如，IPT-PQ 4：2：0)。为了利用现有的视频压缩方案，在编码(110)之前，在一个实施例中，感知编码的输入通过正向整形处理(107)被整形。在2014年3月25日提交的题为“Encoding perceptually-quantized video content in multi-layer VDR coding”的PCT申请PCT/US2014/031716(称为'716申请)中描述了正向整形处理的示例，该PCT申请全部内容通过引用并入本文。整形函数可以仅应用于亮度通道或应用于所有通道。在一些实施例中，亮度和色度通道可以采用不同的整形函数。
如'716申请中所述，对于PQ编码信号，在一个实施例中，信号整形函数(107)可以表示为：
其中νL和νH表示在考虑输入HDR信号(102)的情况下的颜色通道中的最小值和最大值，cL和cH表示对应的最小和最大输出值，νi表示第i输入像素，si表示对应的输出。例如，在一个实施例中，对于在(0,1)内的归一化颜色值，在单层系统中，cL＝0和cH＝1。α的值是常数，但可以在每帧、每场景或其他合适的标准基础上被适配和改变。在一个实施例中，如果对整形函数的输入是PQ编码的，则a>1，否则，如果是伽马编码的，则α<1。
在解码器中，在一个实施例中，逆整形或反向整形操作(122)可以表示为
其中，对于解码的输入像素，表示对应的输出。在实践中，可以使用查找表(LUT)来执行正向和反向整形操作。
给定解码信号(117)已经处于感知编码的颜色空间中，显示管理操作(例如125和130)仅需要非常简单的色度上采样(例如，从4：2：0到4：4：4)。在一些实施例中，色度上采样操作可以在反向整形操作(122)之前作为视频解码器(115)的一部分执行，因为视频解码器可以直接在硬件中支持这样的操作。
图1C描绘了图1B中描绘的系统(100B)的变型，其是将反向整形和色调映射操作组合在一起成为单个单元(122B)，通常是一组LUT。如前所述，可以使用单层编码系统(例如，视频编码器(110)可以利用单个10比特H.264或H.265视频编码器)或双层编码系统(例如，视频编码器(110)可应用两个或更多个8比特H.264或H.265视频编码器，如于2014年6月16日提交的PCT申请PCT/US2014/042583中所描述的，该PCT申请通过引用整体并入本文)来执行视频编码(110)和视频解码(115)。假设在每个颜色通道上独立地执行色调映射，则这两个函数可以如下地整合：
对于单层编解码器，设
y＝S(x)， (3)
描述了用于在给定解码信号x的情况下生成整形函数y的输出的查找表。还设
z＝T(y) (4)
描述了用于在给定输入y的情况下生成色调映射函数z的输出的查找表。然后，两个LUT可以合并为
z＝T(S(x))＝K(x). (5)
例如，对于10比特输入x，K(x)可以具有1024个条目。
在双层编解码器中，通常存在8比特基本层(BL)和8比特增强层(EL)，每个层具有其自己的重整单元。令SB(xB)和SE(xE)表示用于产生最终HDR信号的基本和增强层反向重整函数。给定
y＝SB(xB)+SE(xE)， (6)
然后2D LUT
U(xB，xE)＝T(SB(xB)+SE(xE))， (7)
可被用来组合这两个操作。对于8比特输入数据和10比特输出数据，这样的LUT对于每个颜色通道将需要大约256*256*2＝131千字节。
注意，色度上采样模块(124)也可以与视频解码器(115)的操作相结合，以利用接收器中的任何可用的硬件加速器。
在一些实施例中，即使编码、解码和显示管理都在感知颜色空间(例如，IPT-PQ)中执行，仍可以使用多个这样的颜色空间。例如，可以在对立颜色空间(例如，IPT-PQ或YCbCr-PQ)中执行编码和解码，但是可以在原色空间(例如，RGB-PQ)中执行显示管理。这样的示例实现在根据另一实施例的图1D中示出，其中在IPT-PQ颜色空间中执行编码和解码，但是在LMS-PQ颜色空间中执行显示管理。在'622申请中描述了LMS-PQ空间中的显示管理处理的示例。如'622申请中所述并且在图2A中部分地示出的，将视频数据变换到LMS-PQ颜色空间中可以包括以下步骤：
a)如果需要(未示出)，执行色度上采样和其他颜色变换(例如，IPT-PQ到RGB)，以将解码信号转换成伽马编码RGB或RGB-PQ编码信号(205)。
b)使RGB信号线性化(步骤210)。解码的HDR信号(123)可以是伽马编码或PQ编码的，其通常使用嵌入在编码比特流中的元数据(例如EOTF字段)来被发信号通知，以反转或撤消源显示器从代码值到亮度的转换。例如，如果输入信号是伽马编码的，则该步骤应用逆伽马函数。如果输入信号根据“212PCT申请被PQ编码的，则该步骤应用逆PQ函数。在实践中，可以使用三个预先计算的1D查找表(LUT)来执行该线性化步骤。
c)从线性RGB变换到LMS(步骤215和220)。在该步骤中，步骤b)的输出信号(212)被变换到LMS颜色空间中。通常，通过应用由输入元数据控制的3×3矩阵来执行该步骤。
d)将PQ编码(230)应用于L，M和S颜色分量中的每一个，以在LMS-PQ颜色空间中生成输出(232)。该步骤也可以使用三个1D LUT来执行。在一些实施例中，可以使用3D LUT来计算完整颜色变换流水线(例如，IPT-PQ到LMS-PQ)。如果在IPT-PQ空间而不是LMS-PQ中执行显示管理，则将附加的LMS到IPT颜色变换(235)应用于LMS-PQ信号(232)以生成IPT-PQ信号(237)。
在一些实施例中，在LMS-PQ空间中执行显示管理的计算量较少；然而，LMS-PQ颜色空间中的颜色通道是高度相关的，因此在该空间中操作视频编码器(110)和解码器(115)是不高效的；因而，编码器-解码器对需要在不同的颜色空间(通常，诸如YCbCr或IPT的对立颜色空间)中操作。
在一些实施例中，可优选地使用感知对立颜色空间(例如YCbCr-PQ或IPT-PQ)来编码HDR视频信号以减少对于视频编码器(110)和解码器(115)的总体比特深度要求。下一节描述了当在IPT-PQ颜色空间中编码时提高编码效率的方法。
增强的感知均匀性
在颜色科学中并且如本文所使用的，术语“颜色外观模型”表示“包括至少明度、色度和色调的相对颜色外观属性的预测器的任何模型”。(M.D.Celchild，”Color AppearanceModels，“Second Edition，John Wiley and Sons，2005。)这样的模型的示例包括CIE L*a*b*(CIELAB)，IPT和CIECAM02。如图2A所示并且将在后面更详细地讨论的，给定RGB信号，可以使用以下步骤将其转换到这样的颜色空间：
a)对于CIE XYX或任何其它RGB编码，变换到接近LMS锥基本空间的线性三色空间(步骤215,220)
b)应用可选的色适应变换，通常通过线性缩放(未示出)
c)应用非线性变换，例如PQ编码(230)
d)应用一些附加处理(例如，235)以进一步将颜色通道去相关
这种方法对于非广色域颜色空间(如ITU Rec.709)导致良好的感知均匀性和色调线性；然而，它不能精确预测通常用于HDR成像的宽色域颜色(例如Rec.2020)的颜色外观。存在克服CIECAM02的数值问题的现有提议，但是这些都没有解决在存在另一颜色通道的高幅度颜色刺激的情况下过度夸大一个RGB通道中的低幅度颜色贡献的色差的问题。因此，就发明人的知识而言，对于宽颜色刺激没有精确的颜色外观模型。在实施例中，在XYZ到LMS步骤之后的新颜色交互变换步骤显著地增强了颜色外观模型中对于饱和颜色的感知均匀性、色调线性度和编码效率。这种增强的颜色模型可以用于图像和视频编码和显示管理。作为示例，在下一部分中，针对IPT-PQ颜色空间导出交互变换矩阵；然而，类似的方法可以应用于其他颜色外观模型。
改善的IPT-PQ颜色空间中的感知均匀性和代码字使用
如前文所述并且还在图2A中描绘的，可以使用以下步骤来执行RGB到IPT-PQ颜色变换：
a)将输入信号(102)的像素值(例如，0到4095)归一化为动态范围在0和1之间的像素值。
b)(步骤210)使用EOTF(可以由输入元数据提供)线性化输入信号。例如，如果输入信号(205)是伽马编码的，则该步骤应用逆伽马函数。如果输入信号根据“212PCT申请进行了PQ编码，则该步骤应用逆PQ函数。
c)(步骤215和220)将步骤b)的输出(例如，信号212)转换到LMS颜色空间。该步骤通常包括RGB到XYZ变换(步骤215)，随后是XYZ到LMS变换(步骤220)。
d)根据Ebner论文，传统的LMS到IPT颜色空间转换包括首先将非线性幂函数应用于LMS数据，然后应用线性变换矩阵。虽然可以将数据从LMS转换为IPT，然后将PQ函数应用于IPT-PQ域中，但是在优选实施例中，在该步骤(230)中，用于LMS到IPT的非线性编码的传统幂函数被替换为PQ非线性编码。例如，非线性L，M和S值以与方程(t2)中的V信号相同的方式计算，其中Y信号由线性L、M或S分量值代替。在一些实施例中，可以使用PQ编码的归一化版本，其中可以省略式(t3)的步骤，并且输出PQ值的范围在0和1之间。
e)使用标准LMS到IPT线性变换，该步骤(235)完成步骤d)的输出(例如，信号232)到IPT-PQ颜色空间的转换。
为了简单起见，假设在值的[0 1]范围内的归一化3-D立方体(cube)上定义任何颜色空间，其中1表示对于给定比特深度的最大可能像素值。为了提高编码效率，在优选实施例中，在每次变换到感知编码的颜色空间之后，可以应用单独的颜色变换来适当地移动色度分量。
考虑PQ编码的RGB值(205)到IPT-PQ颜色空间的映射。此映射是高度非线性的，并将RGB-PQ立方体转换为非立方体形状。作为示例，图3A描绘了在将大约10,000个RGB-PQ点映射到IPT-PQ空间之后的P与T的相关性。观察到，原来的RGB-PQ立方体不再是立方体。在IPT-PQ空间中，存在两个尾部：区域P[-0.3，-0.1]×T[-0.4，-0.2](305)中的一个短尾，区域P[0.1，0.2]×T[0.6,1](310)中的另一个长尾。IPT-PQ空间的长尾由于尾部周围残留的未使用空白空间而导致码字的低效分配。这些尾部也似乎没有感知重要性。
现在考虑如图2B所示的RGB到IPT-PQ颜色变换流水线。如图2B所示，在应用非线性PQ编码(230)之前，将用于调整通道交互的附加步骤(225)应用于线性LMS数据(222)。设
非限制性地表示输入LMS数据到变换的LMS(LMSC)数据的颜色通道交互调整(225)的示例，其中C表示3×3颜色交互变换矩阵，其中c是控制三个颜色分量之间的交互水平的常数(例如，c＝0.02或c＝0.04)。在一些实施例中，C可以由多于一个的可变参数定义。
在一些实施例中，RGB到LMS步骤(215,220)和LMS到LMSc步骤(225)可以组合成单个步骤，使得添加交互变换不会为颜色处理流水线添加额外的计算。
假设IPT-PQc表示当应用颜色交互变换(225)时的变换后的颜色空间，图3B描绘了将大约10,000个RGB-PQ点映射到IPT-PQc空间中之后的P与T的相关性。如图3B所示，IPT-PQc颜色空间允许改进的码字使用，因此允许更高效的压缩。在一些实施例中，可以在每帧或每场景的基础上调整式(8)中的参数c，以最优地调整码字利用率。然后，该值可以作为编码比特流中的元数据的一部分被发送到解码器。
图2C描绘了用于将来自IPT-PQ或IPT-PQc颜色空间的信号(238)变换为RGB伽马编码或RGB-PQ编码颜色空间中的信号(205)的颜色处理流水线。如果输入(237)在IPT-PQ颜色空间中被编码(即，没有色度交互调整)，则应用式(8)的逆颜色交互(例如，C-1)的步骤可被省略。其余步骤包括：
a)(步骤240)将逆IPT变换应用于IPT-PQ输入(238)以产生PQ编码的LMS数据(242)。
b)(步骤245)从PQ编码的LMS数据(242)移除PQ编码以生成线性LMS数据(247)
c)在对编码(例如225)期间应用的颜色交互进行反转的可选步骤(250)之后，将线性LMS数据(252)或(247)转换为线性RGB数据(262)(步骤255和260)
d)(步骤265)根据需要将线性RGB信号(262)转换为伽马编码或PQ编码的RGB数据。
如前所述，应用逆交互矩阵(250)可以与LMS到RGB颜色变换步骤(255,260)组合。
确定颜色交互变换矩阵
从式(8)，颜色交互变换矩阵可以由变量c完全确定。增加c增加了P/T码字的效率；然而，它降低了总体压缩效率，这是因为它增加了I和P/T分量之间的相关性。对于给定的c值，令Pmax(c)和Pmin(c)表示P信道中的最大值和最小值，并且令Tmax(c)和Tmin(c)表示T信道中的最大值和最小值。在一个实施例中，色度(P/T)域可以被细分为AR(c)＝M(c)×N(c)区域，其中每个区域是D×D(例如D＝0.01)，并且
令UR(c)表示AR(c)范围内的码字使用。在实施例中，表2以伪码示出了关于如何确定UR(c)的示例。
表2
如本文所使用的，术语“一组可能的RGB(x,y)值”非限制性地表示用于导出输出IPT-PQc值的可能输入RGB值的集合或子集，
例如在输入视频的帧或场景、或者整个可能的RGB空间中所检测到的那些。一般来说，较高数目的这种样本有助于更准确地估计交互变换矩阵。
设
表示归一化码字使用，图4描绘了E(c)值对c的示例图。如图4所示，在大约c＝0.02处存在“拐点”(410)。实验结果表明，在一个实施例中，该拐点在码字使用和压缩效率之间提供了非常好的折衷。因此，在一个实施例中，可以选择c值作为使得E(c)数据曲线的一阶导数被最大化的值。总之，导出c可以包括以下步骤：
a)对于每个c，对于某一范围的RGB值，计算相应的IPT-PQc值。RGB值的范围可以包括所有可能的RGB值，或者可以仅包括帧或一组帧内的被测量的RGB值的范围。
b)识别IPT-PQc空间中的有效色度码字的数量；例如通过将P/T空间划分为M(c)*N(c)网格并对该网格内的有效码字进行计数。
d)使用经验或客观测量确定最佳c。例如，在一个实施例中，可以使用不同的c值来压缩帧序列，并选择产生最佳压缩率的值作为最佳c。作为替代地，在实施例中，给定有效码字对c的函数(例如，UR(c)或E(c))，可以将最佳c确定为使得这样的函数的一阶导数(例如)被最大化的值。
在一些实施例中，可以使用作为替代的颜色通道映射，诸如仅亮度(I')，亮度对色度(例如，I对P或I对T，或甚至通过使用亮度和色度的完整3D体积表示)来确定码字效率和颜色交互矩阵。
色度整形
给定IPT-PQ或IPT-PQc颜色空间中的视频数据，观察到P和T颜色通道包含大量能量。给定压缩比特流的有限比特率，这些信道的直接编码可能相当低效，这是因为对于这些信道的任何比特分配减少了对于I信道的比特分配。在实施例中，可以应用简单的线性量化器来减小P和T通道的动态范围，而不影响整体图像质量。例如：
表示用于P信道的量化器函数，其中对于给定的比特深度BL(例如，BL＝10比特)，mid表示中间值(例如，mid＝2BL-1)，max表示最大可能值(例如，max＝2BL-1)，表示P通道的输入像素值，表示量化值，wP是加权常数，典型地小于1(例如，wP＝0.8)， 和是在I和P通道的输入值的预期的(测量的)的下限和上限，以及和是量化I通道值的边界(例如，)。实际上，式(11)量化P/T信道，使得保持亮度(l)和色度(P/T)之间的动态范围比率。
类似的量化器也可以用于T信道。给定式(11)中的量化参数，编码器中的P和T分量的量化可以由解码器反转。在一个实施例中，对于IPT-PQc数据，P/T数据的典型范围在[-0.25 0.3]内。输出范围选择在[-0.5 0.5]内。
示例计算机系统实现
本发明的实施例可以用计算机系统、配置在电子电路和组件中的系统、诸如微控制器的集成电路(IC)设备、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑设备(例如，PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这样的系统、设备或组件中的一个或多个的装置来实现。计算机和/或IC可以执行、控制或实施与感知量化HDR视频的编码和解码相关的指令，诸如本文所描述的那些。计算机和/或IC可以计算与本文所述的感知量化HDR视频的编码和解码过程相关的各种参数或值中的任何一个。图像和视频实施例可以在硬件，软件，固件及其各种组合中实现。
本发明的某些实施方式包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器，编码器，机顶盒，代码转换器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现与如上所述的感知量化HDR视频的编码和解码相关的方法。本发明还可以以程序产品的形式被提供。程序产品可以包括携带一组计算机可读信号的任何非暂时性介质，所述计算机可读信号包括当由数据处理器执行时使数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是多种形式中的任一种。程序产品可以包括例如物理介质，诸如包括软盘的磁性数据存储介质，硬盘驱动器，包括CD ROM，DVD的光学数据存储介质，包括ROM，闪速RAM等的电子数据存储介质。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提及组件(例如，软件模块，处理器，组装件，设备，电路等)的情况下，除非另有说明，对该组件的引用(包括对“装置”的引用)应当被解释为包括作为该组件的等同物的执行所描述的组件的功能的任何组件(例如，功能上等效的)，包括在结构上不等同于在所示的本发明的示例性实施例中执行该功能的结构的组件。
等同，扩展，替代和杂项
因此描述了涉及感知量化HDR视频的编码和解码的示例实施例。以上的说明书中，参照可随实现而改变的大量的具体细节描述了本发明的实施例。因此，什么是本发明以及本发明的申请人意图什么成为本发明的专有和专用的指示是包含任何随后的校正的一组权利要求，这些权利要求以这些权利要求发布的特定的形式从本申请发发布。这里对于包含于这些权利要求中的术语明确阐述的任何定义应掌控在权利要求中使用的这些术语的意思。由此，没有在权利要求中明确详述的限制、要素、性能、特征、优点或属性不应以任何的方式限制这些权利要求的范围。因此，说明书和附图应视为解释性而不是限制性的。

Claims (45)

1.一种用于改善高动态范围(HDR)视频的编码效率和感知均匀性的方法，所述方法包括：
访问第一颜色空间中的第一视频信号(102)；以及
对所述第一视频信号应用一个或多个颜色变换以在感知量化的对立颜色空间中生成输出视频信号，
其中对所述第一视频信号应用一个或多个颜色变换以生成所述输出视频信号还包括：
将第一颜色变换应用于所述第一视频信号以在线性原色空间(222)中产生第二视频信号；
将颜色交互变换矩阵应用于所述第二视频信号以在所述线性原色空间中产生第三视频信号(227)；
将感知量化器应用于所述第三视频信号(227)，以在感知量化的原色空间中产生第四视频信号(232)；以及
对所述第四视频信号(232)应用第二颜色变换以在所述感知量化的对立颜色空间中生成所述输出视频信号。
2.根据权利要求1所述的方法，其中，所述第一颜色空间是伽马编码RGB(RGB伽马)或感知量化RGB(RGB-PQ)。
3.根据权利要求1所述的方法，还包括：
对所述第一视频信号应用线性化函数以生成线性化的第一视频信号，以及将所述第一颜色变换应用于所述线性化的第一视频信号。
4.根据权利要求1所述的方法，其中，感知量化颜色空间是根据SMPTE规范ST1084生成的。
5.根据权利要求1所述的方法，其中，所述线性原色空间是LMS颜色空间。
6.根据权利要求1所述的方法，其中所述感知量化的对立颜色空间是感知量化的IPT颜色空间(IPT-PQ)。
7.根据权利要求1所述的方法，其中，所述颜色交互变换矩阵包括：
其中c是常数。
8.根据权利要求7所述的方法，其中c的值作为所述感知量化的对立颜色空间的色度分量中的有效码字的量的函数被确定。
9.根据权利要求8所述的方法，其中，c的值被确定为使得E(c)的一阶导数被最大化的值，其中E(c)表示作为c的函数的、所述感知量化的对立颜色空间的色度分量中的有效码字的函数。
10.根据权利要求9所述的方法，其中所述感知量化的对立颜色空间包括IPT-PQ颜色空间，其中P和T包括色度分量。
11.根据权利要求1所述的方法，还包括将整形函数应用于所述输出视频信号以生成经整形的输出函数，并且利用视频编码器压缩所述经整形的输出函数以生成编码比特流。
12.根据权利要求11所述的方法，其中，所述整形函数对于所述输出视频信号的亮度分量是非线性的，并且对于所述输出视频信号的一个或多个色度分量是线性的。
13.根据权利要求12所述的方法，其中用于输出视频信号的色度通道(P)的整形函数包括由下式给出的输入输出函数：
其中mid和max表示整形函数的输入的中间值和最大值，表示整形函数的输入像素值，表示对应的输出值，WP是加权常数， 和是对于亮度(I)和色度(P)通道的输出视频信号的下限和上限，以及和分别是经整形的输出函数的对于亮度通道值的下边界和上边界。
14.根据权利要求1所述的方法，还包括用视频编码器压缩所述输出视频信号以生成编码比特流。
15.一种在解码器中产生未压缩HDR视频信号的方法，所述方法包括：
利用解码器(115)解码编码比特流，以在感知量化的对立颜色空间中生成第一HDR信号(117)；
将第一组一个或多个颜色变换应用于所述第一HDR信号以在第一线性原色空间中产生第二视频信号(247)；
将颜色交互变换矩阵的逆应用于所述第二视频信号，以在该线性原色空间中生成第三视频信号；以及
将第二组一个或多个颜色变换应用于所述第三视频信号，以在第二线性原色空间中产生第四视频信号。
16.根据权利要求15所述的方法，其中所述感知量化的对立颜色空间包括IPT-PQ颜色空间。
17.根据权利要求15所述的方法，其中所述第一线性原色空间包括线性LMS颜色空间，并且所述第二线性原色空间包括线性RGB颜色空间。
18.根据权利要求15所述的方法，其中，所述颜色交互变换矩阵的逆包括：
其中c是常数。
19.根据权利要求18所述的方法，其中，c的值从编码器用信号通知给所述解码器。
20.根据权利要求15所述的方法，还包括：将反向整形函数应用于所述第一HDR信号以产生经整形的第一HDR信号；以及将所述第一组一个或多个颜色变换应用于所述经整形的第一HDR信号以生成所述第二视频信号。
21.一种用于改善高动态范围(HDR)视频的编码效率和感知均匀性的装置，包括处理器并且被配置为执行根据权利要求1-14中任一项所述的方法。
22.一种用于产生未压缩HDR视频信号的装置，包括处理器并且被配置为执行根据权利要求15-20中任一项所述的方法。
23.一种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令用于通过处理器执行根据权利要求1-20中任一项所述的方法。
24.一种用于改善高动态范围(HDR)视频的编码效率和感知均匀性的设备，包括：
一个或多个处理器，
非暂时性计算机可读存储介质，存储有计算机可执行指令，所述指令在被所述一个或多个处理器执行时使得执行根据权利要求1-14中任一项所述的方法。
25.一种用于产生未压缩HDR视频信号的设备，包括：
一个或多个处理器，
非暂时性计算机可读存储介质，存储有计算机可执行指令，所述指令在被所述一个或多个处理器执行时使得执行根据权利要求15-20中任一项所述的方法。
26.一种用于改善高动态范围(HDR)视频的编码效率和感知均匀性的装置，所述装置包括：
用于访问第一颜色空间中的第一视频信号(102)的部件；以及
用于对所述第一视频信号应用一个或多个颜色变换以在感知量化的对立颜色空间中生成输出视频信号的部件，
其中用于对所述第一视频信号应用一个或多个颜色变换以生成所述输出视频信号的部件还包括：
用于将第一颜色变换应用于所述第一视频信号以在线性原色空间(222)中产生第二视频信号的部件；
用于将颜色交互变换矩阵应用于所述第二视频信号以在所述线性原色空间中产生第三视频信号(227)的部件；
用于将感知量化器应用于所述第三视频信号(227)，以在感知量化的原色空间中产生第四视频信号(232)的部件；以及
用于对所述第四视频信号(232)应用第二颜色变换以在所述感知量化的对立颜色空间中生成所述输出视频信号的部件。
27.根据权利要求26所述的装置，其中，所述第一颜色空间是伽马编码RGB(RGB伽马)或感知量化RGB(RGB-PQ)。
28.根据权利要求26所述的装置，还包括：
用于对所述第一视频信号应用线性化函数以生成线性化的第一视频信号的部件，以及
用于将所述第一颜色变换应用于所述线性化的第一视频信号的部件。
29.根据权利要求26所述的装置，其中，感知量化颜色空间是根据SMPTE规范ST1084生成的。
30.根据权利要求26所述的装置，其中，所述线性原色空间是LMS颜色空间。
31.根据权利要求26所述的装置，其中所述感知量化的对立颜色空间是感知量化的IPT颜色空间(IPT-PQ)。
32.根据权利要求26所述的装置，其中，所述颜色交互变换矩阵包括：
其中c是常数。
33.根据权利要求32所述的装置，其中c的值作为所述感知量化的对立颜色空间的色度分量中的有效码字的量的函数被确定。
34.根据权利要求33所述的装置，其中，c的值被确定为使得E(c)的一阶导数被最大化的值，其中E(c)表示作为c的函数的、所述感知量化的对立颜色空间的色度分量中的有效码字的函数。
35.根据权利要求34所述的装置，其中所述感知量化的对立颜色空间包括IPT-PQ颜色空间，其中P和T包括色度分量。
36.根据权利要求26所述的装置，还包括用于将整形函数应用于所述输出视频信号以生成经整形的输出函数的部件，以及用于利用视频编码器压缩所述经整形的输出函数以生成编码比特流的部件。
37.根据权利要求36所述的装置，其中，所述整形函数对于所述输出视频信号的亮度分量是非线性的，并且对于所述输出视频信号的一个或多个色度分量是线性的。
38.根据权利要求37所述的装置，其中用于输出视频信号的色度通道(P)的整形函数包括由下式给出的输入输出函数：
其中mid和max表示整形函数的输入的中间值和最大值，表示整形函数的输入像素值，表示对应的输出值，WP是加权常数， 和是对于亮度(I)和色度(P)通道的输出视频信号的下限和上限，以及和分别是经整形的输出函数的对于亮度通道值的下边界和上边界。
39.根据权利要求26所述的装置，还包括用于用视频编码器压缩所述输出视频信号以生成编码比特流的部件。
40.一种在解码器中产生未压缩HDR视频信号的装置，所述装置包括：
用于利用解码器(115)解码编码比特流、以在感知量化的对立颜色空间中生成第一HDR信号(117)的部件；
用于将第一组一个或多个颜色变换应用于所述第一HDR信号以在第一线性原色空间中产生第二视频信号(247)的部件；
用于将颜色交互变换矩阵的逆应用于所述第二视频信号、以在该线性原色空间中生成第三视频信号的部件；以及
用于将第二组一个或多个颜色变换应用于所述第三视频信号、以在第二线性原色空间中产生第四视频信号的部件。
41.根据权利要求40所述的装置，其中所述感知量化的对立颜色空间包括IPT-PQ颜色空间。
42.根据权利要求40所述的装置，其中所述第一线性原色空间包括线性LMS颜色空间，并且所述第二线性原色空间包括线性RGB颜色空间。
43.根据权利要求40所述的装置，其中，所述颜色交互变换矩阵的逆包括：
其中c是常数。
44.根据权利要求43所述的装置，其中，c的值从编码器用信号通知给所述解码器。
45.根据权利要求40所述的装置，还包括：用于将反向整形函数应用于所述第一HDR信号以产生经整形的第一HDR信号的部件；以及
用于将所述第一组一个或多个颜色变换应用于所述经整形的第一HDR信号以生成所述第二视频信号的部件。
CN201580051580.XA 2014-09-26 2015-09-24 感知量化视频内容的编码和解码 Active CN107079137B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462056093P 2014-09-26 2014-09-26
US62/056,093 2014-09-26
PCT/US2015/051964 WO2016049327A1 (en) 2014-09-26 2015-09-24 Encoding and decoding perceptually-quantized video content

Publications (2)

Publication Number Publication Date
CN107079137A CN107079137A (zh) 2017-08-18
CN107079137B true CN107079137B (zh) 2019-08-13

Family

ID=54330856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580051580.XA Active CN107079137B (zh) 2014-09-26 2015-09-24 感知量化视频内容的编码和解码

Country Status (7)

Country Link
US (1) US9936199B2 (zh)
EP (1) EP3198556B1 (zh)
JP (1) JP6302600B2 (zh)
KR (1) KR101794817B1 (zh)
CN (1) CN107079137B (zh)
RU (1) RU2648634C1 (zh)
WO (1) WO2016049327A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016140954A1 (en) 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
RU2666234C1 (ru) 2015-03-20 2018-09-06 Долби Лэборетериз Лайсенсинг Корпорейшн Аппроксимация восстановления формы сигнала
US10484684B2 (en) 2015-04-22 2019-11-19 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the IPT-PQ color space
CN107852511B (zh) 2015-07-16 2020-09-22 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
WO2017015397A1 (en) 2015-07-22 2017-01-26 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
TWI764870B (zh) * 2015-07-28 2022-05-21 法商內數位麥德遜專利控股有限公司 視訊訊號處理裝置及方法
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
EP3151562B1 (en) * 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
US10311558B2 (en) 2015-11-16 2019-06-04 Dolby Laboratories Licensing Corporation Efficient image processing on content-adaptive PQ signal domain
EP3433833B1 (en) 2016-03-23 2021-07-07 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
CN109076142B (zh) * 2016-04-04 2020-04-24 杜比国际公司 高精度色域映射
US10979601B2 (en) 2016-04-04 2021-04-13 Dolby Laboratories Licensing Corporation High precision gamut mapping
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
CN106851272B (zh) * 2017-01-20 2019-11-12 杭州当虹科技股份有限公司 一种hdr和sdr自适应码率控制的方法
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
CN110447051B (zh) 2017-03-20 2023-10-31 杜比实验室特许公司 在感知上保持参考场景的对比度和色度
CN110770787B (zh) 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
CN107197235B (zh) * 2017-06-26 2018-10-12 杭州当虹科技股份有限公司 一种hdr视频预处理方法
CN117793378A (zh) * 2017-06-29 2024-03-29 杜比实验室特许公司 整合的图像整形和视频编码
EP3659339B1 (en) 2017-07-24 2021-09-01 Dolby Laboratories Licensing Corporation Single-channel inverse mapping for image/video processing
KR102413839B1 (ko) 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
KR102230776B1 (ko) 2018-02-28 2021-03-22 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지/비디오 처리를 위한 선형 인코더
US10757428B2 (en) 2018-10-10 2020-08-25 Apple Inc. Luma and chroma reshaping of HDR video encoding
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
US11093682B2 (en) 2019-01-14 2021-08-17 Microsoft Technology Licensing, Llc Language and compiler that generate synchronous digital circuits that maintain thread execution order
US11144286B2 (en) 2019-01-14 2021-10-12 Microsoft Technology Licensing, Llc Generating synchronous digital circuits from source code constructs that map to circuit implementations
US11113176B2 (en) 2019-01-14 2021-09-07 Microsoft Technology Licensing, Llc Generating a debugging network for a synchronous digital circuit during compilation of program source code
US11275568B2 (en) 2019-01-14 2022-03-15 Microsoft Technology Licensing, Llc Generating a synchronous digital circuit from a source code construct defining a function call
US11106437B2 (en) * 2019-01-14 2021-08-31 Microsoft Technology Licensing, Llc Lookup table optimization for programming languages that target synchronous digital circuits
US11895416B2 (en) * 2019-07-30 2024-02-06 Dolby Laboratories Licensing Corporation Electro-optical transfer function conversion and signal legalization
CN110933416B (zh) * 2019-11-12 2021-07-20 宁波大学 高动态范围视频自适应预处理方法
CN112885300B (zh) * 2019-11-29 2024-04-05 美国像素公司 使用多个非线性模型的面板校准
CN112188179B (zh) * 2020-08-28 2022-07-08 北京小米移动软件有限公司 图像缩略图显示方法、图像缩略图显示装置及存储介质
US11557265B2 (en) 2020-11-13 2023-01-17 Samsung Electronics Co., Ltd. Perceptual color enhancement based on properties of responses of human vision system to color stimulus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812705A (zh) * 2010-01-19 2012-12-05 弗兰霍菲尔运输应用研究公司 图像编码器和图像解码器
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
WO2014018050A1 (en) * 2012-07-27 2014-01-30 Hewlett-Packard Development Company, L.P. Techniques for Video Compression

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422697B1 (ko) * 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
KR20040091667A (ko) * 2002-02-28 2004-10-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 칼라 비디오 시퀀스를 코딩하고 디코딩하기 위한방법 및 디바이스
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
EP1538826A3 (en) * 2003-12-05 2007-03-07 Samsung Electronics Co., Ltd. Color transformation method and apparatus
KR100601944B1 (ko) 2004-03-08 2006-07-14 삼성전자주식회사 색 변환 방법 및 장치
EP1569458A1 (en) * 2004-02-12 2005-08-31 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a non-linear quantization
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP4822396B2 (ja) * 2005-03-29 2011-11-24 株式会社メガチップス 画像強調装置
EP2988499B1 (en) 2006-01-23 2017-03-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
JP2010514315A (ja) * 2006-12-19 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号を符号化するための方法及びシステム、符号化された画像信号、画像信号を復号化するための方法及びシステム
US8085852B2 (en) 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
JP5309692B2 (ja) * 2008-05-28 2013-10-09 株式会社Ｓｕｍｃｏ シリコンウェーハの研磨方法
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
TWI407794B (zh) * 2009-11-17 2013-09-01 Alpha Imaging Technology Corp 檔案壓縮方法及檔案壓縮系統
KR101702948B1 (ko) * 2010-07-20 2017-02-06 삼성전자주식회사 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
ES2750234T3 (es) * 2011-04-14 2020-03-25 Dolby Laboratories Licensing Corp Predictor de regresión múltiple de múltiples canales de color
US9148645B2 (en) * 2011-05-14 2015-09-29 Dolby Laboratories Licensing Corporation Crosstalk cancellation in 3D displays
US9338463B2 (en) * 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
RS64021B1 (sr) 2011-12-06 2023-03-31 Dolby Laboratories Licensing Corp Računarski program i računarski čitljiv medijum koji ima skladišten tok bitova za poboljšanje razmene slikovnih podataka baziranih na perceptualnoj nelinearnosti osvetljenosti kroz različita svojstva displeja
US9756353B2 (en) * 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9076224B1 (en) * 2012-08-08 2015-07-07 Dolby Laboratories Licensing Corporation Image processing for HDR images
US20140105278A1 (en) * 2012-10-16 2014-04-17 Microsoft Corporation Color adaptation in video coding
US9445109B2 (en) * 2012-10-16 2016-09-13 Microsoft Technology Licensing, Llc Color adaptation in video coding
EP2750393A1 (en) * 2012-12-26 2014-07-02 Thomson Licensing Method of coding a first and a second version of an image into a base layer and an enhancement layer based on a color gamut mapping model
RU2647636C2 (ru) * 2013-02-21 2018-03-16 Долби Лабораторис Лайсэнзин Корпорейшн Управление отображением видео с расширенным динамическим диапазоном
BR112015024172B1 (pt) 2013-03-26 2023-01-31 Dolby Laboratories Licensing Corporation Método, sistema e meio de armazenamento legível por computador
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
JP6038360B2 (ja) 2013-06-17 2016-12-07 ドルビー ラボラトリーズ ライセンシング コーポレイション エンハンストダイナミックレンジ信号の階層符号化のための適応的再構成
US9628800B2 (en) * 2013-11-18 2017-04-18 Qualcomm Incorporated Adaptive control for transforms in video coding
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
US9613407B2 (en) 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP2017531382A (ja) * 2014-09-12 2017-10-19 ヴィド スケール インコーポレイテッド ビデオ符号化のための成分間相関解除
US10057578B2 (en) * 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US10158836B2 (en) * 2015-01-30 2018-12-18 Qualcomm Incorporated Clipping for cross-component prediction and adaptive color transform for video coding
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US20160360205A1 (en) * 2015-06-08 2016-12-08 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
WO2017083784A1 (en) * 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812705A (zh) * 2010-01-19 2012-12-05 弗兰霍菲尔运输应用研究公司 图像编码器和图像解码器
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
WO2014018050A1 (en) * 2012-07-27 2014-01-30 Hewlett-Packard Development Company, L.P. Techniques for Video Compression

Also Published As

Publication number Publication date
CN107079137A (zh) 2017-08-18
EP3198556A1 (en) 2017-08-02
EP3198556B1 (en) 2018-05-16
KR101794817B1 (ko) 2017-11-07
US20170251211A1 (en) 2017-08-31
JP2017534194A (ja) 2017-11-16
BR112017005667A2 (pt) 2017-12-12
US9936199B2 (en) 2018-04-03
KR20170036132A (ko) 2017-03-31
WO2016049327A1 (en) 2016-03-31
JP6302600B2 (ja) 2018-03-28
RU2648634C1 (ru) 2018-03-26

Similar Documents

Publication Publication Date Title
CN107079137B (zh) 感知量化视频内容的编码和解码
RU2762384C1 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
JP7114653B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
CN105324997B (zh) 用于增强动态范围信号的分层编码的自适应整形
KR102531489B1 (ko) 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US10419689B2 (en) Mapping between linear luminance values and luma codes
US20220021893A1 (en) High dynamic range adaptation operations at a video decoder
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
US9613407B2 (en) Display management for high dynamic range video
JP2021193806A (ja) カラー・ピクチャを符号化および復号する方法および装置
CN109076231A (zh) 用于对高动态范围图片进行编码的方法和设备、对应的解码方法和解码设备
CN110691227A (zh) 一种视频信号处理方法及装置
KR20220119316A (ko) 부호화 방법 및 부호기
CN110999300B (zh) 用于图像/视频处理的单通道逆映射
BR112017005667B1 (pt) Método para melhorar a eficiência de codificação e uniformidade perceptual para vídeo de elevada faixa dinâmica (hdr), método para gerar um sinal de vídeo de hdr não comprimido em um decodificador, aparelho e meio de armazenamento que pode ser lido por computador não transitório
Richter High Dynamic Range Imaging with JPEG XT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1236298

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant