CN107077726A - 使用扩展颜色范围的内容映射 - Google Patents

使用扩展颜色范围的内容映射 Download PDF

Info

Publication number
CN107077726A
CN107077726A CN201580058362.9A CN201580058362A CN107077726A CN 107077726 A CN107077726 A CN 107077726A CN 201580058362 A CN201580058362 A CN 201580058362A CN 107077726 A CN107077726 A CN 107077726A
Authority
CN
China
Prior art keywords
mrow
mapping function
mtd
msub
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580058362.9A
Other languages
English (en)
Other versions
CN107077726B (zh
Inventor
R·阿特金斯
苏冠铭
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN107077726A publication Critical patent/CN107077726A/zh
Application granted granted Critical
Publication of CN107077726B publication Critical patent/CN107077726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在高动态范围(HDR)编码中,内容映射将HDR信号转换为较低动态范围的信号。如果内容映射利用超出由传统电光传递函数(EOTF)或其逆(IEOTF或OETF)定义的信号颜色范围的信号颜色范围,那么HDR信号的分层编码中的编码和预测得到改进。扩展EOTF和IEOTF函数基于它们的镜像点而被导出。给出了用于ITU BT.1886和SMPTE ST 2084的扩展EOTF的示例。

Description

使用扩展颜色范围的内容映射
对相关申请的交叉引用
本申请要求于2014年10月27日提交的美国临时专利申请序列No.62/068,898的优先权,其全部内容通过引用被结合于此。
技术领域
本发明一般涉及图像。更具体地,本发明的实施例涉及当编码高动态范围视频时使用扩展颜色范围来改进内容映射。
背景技术
视频信号可以被特征化为多个参数,诸如位深度、颜色空间、色域和分辨率。视频信号的特征的一个重要方面是其动态范围。动态范围(DR)是图像中的强度(例如,亮度)范围,例如,从最黑的黑色到最亮的白色。如本文所使用的,术语“动态范围”(DR)可以涉及人类心理视觉系统(HVS)感知图像中的强度(例如,亮度)范围(例如,从最黑的黑色到最亮的白色)的能力。在这个意义上,DR涉及“援引场景(scene-referred)”的强度。DR还可以涉及显示设备充分地或近似地渲染特定宽度的强度范围的能力。在这个意义上,DR涉及“援引显示器(display-referred)”的强度。除非特定意义在本文描述中的任何点处被明确指定具有特定意思,否则应该推断该术语可以在任何意义上使用,例如,可互换地使用。
与可伸缩视频编码和HDTV技术一样,扩展图像DR通常涉及分叉方法。例如,用现代的具有HDR能力的相机捕获的援引场景的HDR内容可以用于生成可以在常规标准动态范围(SDR)显示器上显示的较低动态范围(LDR)或SDR版本的内容。在一种方法中,从捕获的VDR版本生成SDR版本可以包括将内容映射操作(诸如全局色调映射运算符(TMO))应用于HDR内容中的强度(例如,亮度)相关的像素值。
分层编码器可以向下游接收机发送基础层(BL)、一个或多个增强层(EL)以及与编码处理有关的元数据。这样的方法通常消耗比在将HDR和SDR内容直接发送到位流中消耗的带宽更少的带宽。接收由编码器发送的位流的兼容解码器可以在常规显示器上解码和呈现SDR。但是,兼容解码器也可以使用增强层和元数据来从中计算HDR内容的预测版本,以便在具有更多能力的显示器上使用。本发明的目的是提供用于在HDR数据的编码中提高效率的新颖方法。
本节中描述的方法是可以被实行的方法,但不一定是先前已经设想或实行的方法。因此,除非另外指出,否则不应当假定本节中描述的任何方法仅仅因为包含在本节中就有资格作为现有技术。类似地,除非另外指出,否则关于一个或多个方法识别出的问题不应当基于本节中而假定已在任何现有技术中被识别出。
附图说明
本发明的实施例在附图的各图中是作为例子而不是作为限制示出的,其中附图中相似的标号指代相似的元素并且其中:
图1绘出了根据本发明的实施例的分层HDR编码系统的示例实现;
图2A绘出了根据本发明的实施例的用于内容映射的示例处理;
图2B绘出了根据本发明的实施例的用于扩展EOTF或逆EOTF的输入范围的示例处理;以及
图3A和图3B绘出了根据本发明的实施例的具有扩展范围的EOTF及其对应的逆EOTF的示例。
具体实施方式
在给定要在分层编码器中编码的HDR输入的情况下,本文描述了内容映射技术,使得层间预测器在扩展颜色范围上操作,因此提供更好的预测值和更小的残差,从而提高整体编码效率。
在以下描述中,为了说明的目的,阐述了许多具体细节以便提供对本发明的透彻理解。但是,将清楚的是,本发明可以在没有这些具体细节的情况下实践。在其它情况下,众所周知的结构和设备没有进行详细描述,以避免不必要地模糊本发明。
概述
本文描述的示例实施例涉及当使用分层编码器时HDR信号的内容映射。作为内容映射处理的一部分生成的视频输入将根据目标显示器的显示特性映射到颜色空间(例如,RGB)。在给定将输入值映射到输出值、但仅针对包括最小值和最大值的第一范围内的输入值被定义的原始映射函数(例如,IEOTF或OETF)的情况下,扩展映射函数被推导如下:基于原始映射函数和第一范围来确定镜像点。对于大于第一范围的最大值的输入值,扩展映射函数与原始映射函数相同。对于低于第一范围的最小值的输入值,扩展映射函数是原始映射函数相对于镜像点以及映射函数的水平和垂直轴的镜像函数。第一视频输出通过使用扩展映射函数处理输入视频来生成。第二视频输出通过将第一视频输出转换为适于压缩的颜色空间(例如,YCbCr)并且通过允许编码空间中的颜色值超过通信标准通常允许的颜色值(例如,Rec.709)来生成。在分层编码器中,编码和预测在扩展编码颜色空间中执行,这产生减小的残差并提高编码效率。
在实施例中,原始映射函数包括ITU-R BT.1886和SMPTE ST 2084 EOTF。
HDR信号的分层编码
现有的显示和回放设备,诸如HDTV、机顶盒或蓝光播放器,通常支持高达1080p HD分辨率的信号(例如,每秒60帧的1920×1080)。对于消费者应用,这样的信号现在通常使用以伽马编码的亮度-色度格式的每颜色分量每像素8位的位深度来压缩。由于8位深度和对应的低动态范围,这样的信号通常被称为具有标准动态范围(SDR)的信号。
随着新的电视标准正在被开发(诸如超高清晰度(UHD)),可能期望以传统HDTV解码器和较新的UHD解码器都可以处理的格式利用增强的分辨率和/或增强的动态范围来编码信号。此外,现有或旧的内容可以以多种颜色等级获得,每种颜色等级针对特定的一组目标显示器(例如,SDR影院、HDR影院、HDR TV、SDR TV等)。如本文所使用的,术语“颜色分级”(color grading)表示改变图像或视频信号的颜色特性的处理。作为示例,使用目标显示器的特性,对于每个场景,每帧的颜色可以通过颜色分级器(color grader)来调整以根据导演的意图来匹配期望的“外观”或“感觉”。
图1绘出了支持具有高动态范围(HDR)的视频信号的编码的系统的示例实现的实施例。编码器包括基础层(BL)编码器(120)和增强层(EL)编码器(170)。在一实施例中,BL编码器(120)可以包括诸如HEVC编码器的新的基于标准的编码器,而EL编码器可以是诸如AVC(或H.264)编码器的传统编码器。但是,该系统适用于已知或未来编码器的任何组合,无论它们是基于标准的还是专有的。
在一些实施例中,可以例如由上游设备(例如,图1的HDR图像编码器(100))使用基础层和一个或多个增强层将一个或多个视频信号(或编码位流)中的HDR图像数据传送到下游设备。编码图像数据可以包括从较高位深度(例如,12位或更多位)HDR输入图像(102,107)量化并且承载在编码基础层图像容器(122)中的较低位深度(例如,8位或10位)的基础层图像数据(112),以及包括在HDR图像(102)和从基础层图像数据生成的预测图像数据(142)之间的残差值的增强层图像数据(172)。如本文所使用的,对于具有多个颜色分量(例如,RGB或YCbCr)的图像,术语n位图像(例如,12位或8位图像)表示其颜色分量的每个像素由n位像素表示的图像。例如,在8位RGB图像中,每个像素包括三个颜色分量,每个颜色分量(例如,R,G或B)由8位表示,每颜色像素总共24位。
基础层图像数据和增强层图像数据可以被下游设备(例如,机顶盒)接收和使用,以重构作为输入HDR图像(102)的近似的HDR输出。在一些实施例中,编码的基础层图像数据(122)可能不向后兼容传统编码的SDR格式;而是,基础层图像数据与增强层图像数据一起被优化以重构用于在HDR显示器上观看的高质量HDR图像。
HDR图像编码器(100)被配置为接收高分辨率(例如,UHD)输入HDR图像(102)。如本文所使用的,“输入HDR图像”是指可用于导出输入图像的HDR版本的增强或高动态范围图像数据(例如,由高端图像采集设备等捕获的原始图像数据)。输入HDR图像(102)可以在支持高动态范围色域的任何颜色空间中。在一些实施例中,HDR输入(102)可以由HDR处理单元(105)预处理以生成编码器兼容的HDR流(107)和(109)。这种预处理可以包括滤波、颜色变换(例如,从RGB到YCbCr)、下采样等。
BL输入(112)表示与HDR输入(102)相同的场景,但是可以被内容映射到不同的动态范围(例如,标准动态范围)。BL输入(112)可以通过对原始HDR输入(102或107)的手动、自动或半自动内容映射(110)而被导出到较低动态范围的信号。计算机辅助内容映射处理的一个示例在由G-M.Su等人的、于2012年11月1日提交的标题为“Layer decomposition inhierarchical VDR coding”、序列号为PCT/US2012/062932(‘932申请)的PCT申请中描述,该申请的全部内容通过引用被结合于此。内容映射的另一个示例在由R.Astkins等人的、于2014年2月13日提交的标题为“Display management for high dynamic range video”、序列号为PCT/US2014/016304(‘304申请)的PCT申请中描述,该申请的全部内容通过引用被结合于此。
在一些实施例中,可能BL输入(112)表示视频信号的传统SDR表示,并且HDR输入(102)可以表示手动(例如,使用颜色分级器)或自动(例如,经由预测器或其它方式)生成的HDR域中相同信号的近似。
BL图像编码器(120)被配置为编码/格式化BL图像(112)以生成编码(或压缩)的BL图像(122)。在一些实施例中,BL预处理单元(115)可以在其由BL编码器(120)处理之前对BL输入(112)应用附加的预处理操作。没有任何限制,这种预处理可以包括颜色变换、图像缩放、图像滤波、图像增强等。在一些实施例中,基础层图像容器中的图像数据不用于产生针对在SDR显示器上观看而优化的BL图像;相反,基础层图像容器中的图像数据被优化以出于最小化编码的HDR图像的总体位需求的目的、并为了提高最终解码图像的整体质量而在较低位深度图像容器中包含最佳数量的基础层图像数据。BL编码器可以是任何已知的视频编码器,诸如由ISO/IEC MPEG-2、MPEG-4(第二部分)、H.264或HEVC标准指定的视频编码器或诸如Google的VP8、Microsoft的VC-1等的其它编码器。
HDR图像编码器(100)中的BL解码器(130)将基础层图像容器中的图像数据解码为解码的基础层图像(132)。信号(132)表示如将被兼容接收机接收到的解码的BL。解码的基础层图像(132)与BL图像(112)不同,因为解码的基础层图像包括在由BL编码器(120)和BL解码器(130)执行的编码和解码操作中引入的编码改变、舍入误差和近似。
预测器处理(140)基于解码的BL流(135)(或在一些实施例中,BL信号(112))执行与预测HDR信号(102)有关的一个或多个操作。预测器(140)尝试实现HDR到BL映射(110)的反转。这种预测器的示例实施例在‘932PCT申请中和在由G-M.Su等人的、于2012年4月13日提交的标题为“Multiple color channel multiple regression predictor”、序列号为PCT/US2012/033,605的PCT申请中描述,该申请的全部内容通过引用被结合于此。预测器输出(142)被从HDR输入(107)中减去以生成残差(152)。
在一些实施例中,残差图像(152)可以由增强层量化器(NLQ)(160)处理,增强层量化器(NLQ)(160)被配置为使用由一个或多个NLQ参数确定的NLQ函数从高位深度数字表示(例如,16位)到较低数字表示(例如,8位)量化HDR残差值(152)。NLQ函数可以是线性的、分段线性的或非线性的。非线性NLQ设计的示例在由G-M Su等人的、于2012年4月24日提交的“Non-linear VDR residual quantizer”PCT申请PCT/US2012/034747中描述,该申请的全部内容通过引用被结合于此。
增强层(EL)编码器(170)被配置为在增强层图像容器中编码残差值以生成编码的EL流(172)。EL编码器(170)可以是任何已知的视频编码器,诸如由ISO/IEC MPEG-2、MPEG-4(第二部分)、H.264或HEVC标准指定的视频编码器或诸如Google的VP8、Microsoft的VC-1等的其它编码器。EL和BL编码器可以是不同的或者它们可以是相同的。
在HDR到BL映射(110)、预测器(140)和NLQ(160)中使用的参数集合可以被发送到下游设备(例如,HDR图像解码器),作为在视频位流中(例如,在增强层中)可用的补充增强信息(SEI)或者其它类似的元数据托架(carriage)的一部分作为元数据(144)。如本文所定义的,术语“元数据”可以涉及作为编码的位流的一部分被发送并且帮助解码器呈现解码的图像的任何辅助信息。这样的元数据可以包括但不限于以下信息:颜色空间或色域信息、动态范围信息、色调映射信息、或其它预测器、放大(up-scaling)、以及量化器操作符,诸如本文所描述的那些。
在生成分层HDR流的所有部分之后,编码的EL流(172)、编码的BL流(122)和相关的元数据(144)被多路复用和分包化,使得它们可以存储在存储介质中和/或被发送到解码器。
该编码流水线的效率在很大程度上由预测处理(140)的质量确定,预测处理(140)的质量又大部分由用于生成BL输入信号(112)的内容映射处理(110)的可逆程度来确定。换句话说,内容映射处理的可逆程度越高,那么预测器将越准确,这将对应于要编码的残差信息越小。在一实施例中,改进的颜色映射处理通过允许编码的信号由扩展颜色范围表示来提高预测器的效率和编码系统(100)的整体压缩效率。
使用扩展颜色范围的内容映射
图2A绘出了根据实施例的内容映射处理的示例。在给定HDR输入(204)的情况下,内容映射处理通常包括以下步骤:
a)(步骤210)将输入HDR信号从其原始颜色空间(例如,RGB)转换为工作颜色空间。例如,在一些实施例中,内容映射可以在感知量化的颜色空间中执行,诸如感知量化的IPT(IPT-PQ);
b)(步骤220)应用色调和色域映射以将输入HDR范围映射到较低的动态范围(例如,SDR);
c)(步骤230)将映射的SDR信号转换为用于特定目标SDR显示器的有效RGB数据;以及
d)(步骤240)将RGB SDR信号转换为适于应用压缩的颜色空间(例如,YCbCr)。
取决于输入内容,步骤b)(220)可能导致在允许的SDR范围之外的像素值。在步骤c)(230)中,这些值通常被转换和剪切(clip)以处在有效(或合法)的范围内(例如,在0和1之间的归一化RGB值)。最后,在步骤d)(240)中,RGB值被转换为有效的YCbCr值。例如,根据BT Rec.709,YCbCr值必须在16和235之间。
在实施例中,修改后的步骤c)(230)允许输出具有超过(0,1)的“合法”值的颜色范围的RGB信号。虽然有这种范围扩展,但是在步骤d)(240)之后,信号将处在YUV或YCbCr信号的合法范围内,即使它们仍然可能超出传输标准(诸如,Rec.709)的合法范围。这种修改允许预测器(140)和分层编码器(100)在稍微较宽的输入值范围上操作,从而提供改进的预测和较小的残差误差。
在解码器中,接收到的YUV或YCbCr信号(122)可以在目标SDR显示器上没有任何修改地被观看;但是,HDR接收机可以利用基础层和增强层二者中的扩展信号范围来执行更好的预测并提供更高质量的HDR信号。
扩展电光(Electro-Optical)传递函数的范围
作为前述步骤c)(230)的一部分,RGB非线性像素数据被使用由源数据电光传递函数(EOTF)描述的映射映射到线性数据。用于给定显示器的EOTF特征化输入视频信号的颜色值(例如,亮度)之间的关系以输出由显示器产生的屏幕颜色值(例如,屏幕亮度)。例如,ITURec.ITU-R BT.1886,“Reference electro-optical transfer function for flat paneldisplays used in HDTV studio production”(03/2011)基于测得的阴极射线管(CRT)的特性来定义用于平板显示器的参考EOTF,该文章的全部内容通过引用被结合于此。在给定EOTF的情况下,其逆EOTF(IEOTF)可以用于基于目标显示器的亮度特性导出非线性RGB值。
大多数市售的专业监视器的特征在于相对低的动态范围(例如,100到500尼特);但是,较新的专业监视器(诸如由杜比实验室演示的那些显示器)可以允许以更高的动态速率(例如,1000尼特至5000尼特或更多)显示信号。这样的显示器可以使用支持高亮度能力(例如,0至10,000尼特)的替代EOTF来定义。这样的EOTF的示例在SMPTE ST 2084:2014“High Dynamic Range EOTF of Mastering Reference Displays”中定义,其全部内容通过引用被结合于此。在给定视频流的情况下,关于其EOTF的信息通常作为元数据被嵌入在位流中。
由给定EOTFfE指定的输入-输出关系表示为
L=fE(V) (1)
并且对应的逆EOTF表示为
其中V表示输入视频信号电平(在0和1之间归一化),并且L表示屏幕亮度,通常以cd/m2(或尼特)为单位。例如,在不失一般性的情况下,对于ITU BT.1866,
L=fE(V)=a(max[(V+b),0])γ (3)
并且
其中a和b是基于用于白色和黑色的目标屏幕亮度定义的变量,并且γ表示指数幂函数(例如,γ=2.4)。
给定和输入EOTF(或其逆(IEOTF))(232),图2B绘出了根据一实施例的生成对应的扩展映射函数的示例处理。将所考虑的输入函数表示为
y=f(x)。
给定合法或允许的输入值范围(X0,Xm)(例如(0,1))表示为输入函数(232)的最左边有效输入-输出对(X0,Y0)(例如,(0,f(0)),其将在本文中被表示为“镜像点”(234)。根据步骤(236),在一实施例中,输入函数f(x)将在两个方向上扩展:a)对于大于Xm的x的正值和对于小于X0的x的值。在一实施例中,对于x>Xm,扩展EOTF或IEOTF函数fx应该与原始函数保持相同形状或者
y=fX(x)=f(x),对于x≥Xm (5)
对于x<X0,在一实施例中,扩展函数是原始函数跨x和y轴两者的镜像版本(例如,fx(x)=-f(-x));但是,通过将镜像函数-f(-x)向镜像点适当地移动来在镜像点处保持连续性是重要的;因此
y=fX(x)=-f(-x+2*Xo)+2*Yo,对于x<Xo (6)
围绕镜像点而不是原点(0,0)反映f(x)曲线是重要的,主要有两个原因:
a)根据用于镜像点上方的输入值的适当规范维护EOTF或IEOTF曲线的精确匹配;以及
b)维护曲线的连续导数以防止图像伪影。
作为示例,考虑如等式(3)所示的用于BT.1866的EOTF。根据等式(3),镜像点是(Xo=0,Yo=Lo=a*bγ)。然后,根据等式(5)和(6),扩展EOTF可以被确定为:
图3A绘出了基于BT.1866的扩展EOTF(等式(7))的2000尼特的最大屏幕亮度、0.01尼特的最小屏幕亮度和γ=2.4的示例曲线图。在图3A中,实线(305)表示由原始EOTF定义的曲线,并且虚线(310)表示由等式(7)的扩展EOTF定义的曲线。
也可以应用相同的方法来推导扩展逆EOTF。例如,根据等式(3),用于BT.1866的扩展逆EOTF的镜像点是(Xo=Lo=a*bγ,0)。然后根据等式(5-6):
图3B绘出了用于导出图3A的相同屏幕亮度值的等式(8)。在图3B中,实线(325)表示由原始IEOTF定义的曲线,并且虚线(320)表示由等式(8)的扩展IEOTF定义的曲线。
作为另一个示例,可以基于感知量化导出用于描述映射函数的SMPTE ST 2084的扩展EOTF。给定常数m1、m2、c1、c2和c3,用于ST 2084的EOTF被定义为:
并且逆EOTF被定义为
根据等式(10),其镜像点是(Lo=0,),因此从我们之前的讨论
给定镜像点,(Lo=0)
所提出的方法可以在任何编码系统上使用,而无需对BL编码器(120)或下游解码器上的SDR解码器进行任何修改。作为使用扩展信号范围的效果的示例,表1示出了使用8位YUV编码的三个视频剪辑中的最小和最大像素值。剪切的值由Rec.709确定并且需要在(16,235)的范围内。扩展值在整个范围(0,255)内。
表1:使用默认和扩展内容映射的示例像素范围值
Max Y Min Y Max Cb Min Cb Max Cr Min Cr
剪切#1 228 17 189 14 246 23
扩展#1 238 17 193 0 255 0
剪切#2 233 17 172 10 215 90
扩展#2 255 17 174 0 251 81
剪切#3 235 17 189 47 207 86
扩展#3 241 17 208 10 255 86
表2示出了使用传统编码(具有剪切值)和使用扩展信号范围编码和预测的相同三个剪辑的峰值信噪比(PSNR)。在所有情况下,基础层以5.2Mbits/s编码,而增强层以0.95Mbits/s编码。
表2:使用默认和扩展内容映射的示例PSNR性能
根据这些结果,观察到,具有扩展信号范围的预测亮度可以产生高达5.5dB的改进,而色度可以具有高达7.7dB的改进。
解码器考虑
在解码器中,当将解码的YCbCr数据转换为RGB值时,剪切可以在YCbCr空间(在解码器之后)或作为显示器管理处理的一部分发生。在优选实施例中,编码器应该具有通知解码器是使用了默认颜色范围还是扩展颜色范围的能力。例如,这种信息可以使用元数据传递给解码器。仅具有SDR的解码器可以简单地忽略这种信息,但是,扩展信号范围内的编码信号将显示得很好。
HDR解码器应该应用这种信息以防止YCbCr中的任何剪切(在视频解码器之后)。在解码器之后的任何剪切将阻止其预测器利用完整的信号范围;因此解码器中的预测器的输出可能与编码器中的预测器的输出不同。在优选实施例中,至少直到在基础层和增强层已被组合在一起以生成输出HDR信号之后为止,HDR解码器不应当剪切解码器的输出。
在一些实施例中,在HDR信号的解码之后的显示管理处理期间可以使用扩展信号范围。
示例计算机系统实现
本发明的实施例可以用计算机系统、以电子电路和部件配置的系统、诸如微控制器的集成电路(IC)设备、现场可编程门阵列(FPGA)或其它可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这些系统、设备或部件中的一个或多个的装置来实现。计算机和/或IC可以执行或控制与内容映射相关的指令,诸如本文描述的那些指令。计算机和/或IC可以计算与本文描述的内容映射处理相关的任何各种参数或值。图像和视频实施例可以用硬件、软件、固件及其各种组合来实现。
本发明的某些实现包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如,显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可以通过在处理器可访问的程序存储器中执行软件指令来实现与上述内容映射有关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括承载包括指令的一组计算机可读信号的任何非暂时性介质,所述指令在由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是任何各种各样的形式。程序产品可以包括例如物理介质,比如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪存RAM的电子数据存储介质,等等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在以上提到部件(例如软件模块、处理器、组件、设备、电路等)的地方,除非另外指出,否则对那个部件的提及(包括对“装置”的提及)应当被解释为包括作为那个部件的等同物的执行所描述的部件的功能的任何部件(例如,功能上等同),包括在结构上不等同于在本发明的所示示例实施例中执行功能的所公开的结构的部件。
等同物、扩展、替代方案和其它事项
因此描述了与内容映射相关的示例实施例。在前面的说明书中,本发明的实施例已经参考众多的具体细节进行了描述,这些细节可以从一种实现到另一种实现而不同。因此,作为本发明的内容以及申请人预期作为本发明的内容的唯一且排他指标是由本申请发布的、具体形式的权利要求书,包括任何后续的修正。本文针对在这些权利要求中包含的术语明确阐述的任何定义将决定如权利要求中使用的这些术语的含义。因此,未在权利要求中明确叙述的任何限制、元素、性质、特征、优点或属性均不得以任何方式限制这样的权利要求的范围。相应地,说明书和附图应当被认为是说明性而不是限制性的。

Claims (16)

1.一种用于使用计算机改进内容映射的方法,该方法包括:
访问视频输入;
访问将输入值映射到输出值的映射函数,其中仅针对在包括最小值和最大值的第一范围内的输入值定义映射函数;
基于映射函数和第一范围确定镜像点;
基于映射函数和镜像点确定扩展映射函数,其中针对在第二范围内的输入值定义扩展映射函数,其中第二范围大于第一范围,其中确定扩展映射函数进一步包括:
对于大于第一范围中的最大值的输入值,根据映射函数将输入值映射到输出值;以及
相对于镜像点取映射函数的镜像以生成镜像映射函数,并且对于小于第一范围中的最小值的输入值,根据镜像映射函数将输入值映射到输出值;以及
将扩展映射函数应用于视频输入以用计算机生成视频输出。
2.如权利要求1所述的方法,其中给定映射函数y=f(x),所述镜像点被确定为(Xo,Yo),其中Xo表示第一范围的最小值并且Yo=f(Xo)。
3.如权利要求2所述的方法,其中相对于镜像点取映射函数的镜像进一步包括计算
y=fX(x)=-f(-x+2*Xo)+2*Yo,对于x<Xo
其中fx(x)表示扩展映射函数。
4.如权利要求1所述的方法,其中映射函数包括电光传递函数(EOTF)或逆电光传递函数(IEOTF)。
5.如权利要求1所述的方法,其中计算机视频输出具有RGB颜色格式,并且计算机视频输出还被转换为YCbCr或YUV颜色格式的第二视频输出。
6.如权利要求5所述的方法,其中对于8位的位深度,第二视频输出的YCbCr像素值被允许超过由Rec.709规范定义的范围(16,235)。
7.如权利要求6所述的方法,还包括:
压缩第二视频输出以生成压缩输出位流;以及
响应于压缩输出位流的函数和预测函数来生成预测信号。
8.如权利要求1所述的方法,其中扩展映射函数包括计算:
<mrow> <mi>L</mi> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>E</mi> <mi>X</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>V</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>f</mi> <mi>E</mi> </msub> <mrow> <mo>(</mo> <mo>-</mo> <mi>V</mi> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>L</mi> <mi>o</mi> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>V</mi> <mo>&lt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>f</mi> <mi>E</mi> </msub> <mrow> <mo>(</mo> <mi>V</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>V</mi> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中映射函数L=fE(V)包括Rec.BT.1886的EOTF并且Lo=fE(0)。
9.如权利要求1所述的方法,其中扩展映射函数包括计算:
<mrow> <mi>V</mi> <mo>=</mo> <msubsup> <mi>f</mi> <mrow> <mi>E</mi> <mi>X</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <msubsup> <mi>f</mi> <mi>E</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mo>-</mo> <mi>L</mi> <mo>+</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>L</mi> <mi>o</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>L</mi> <mo>&lt;</mo> <msub> <mi>L</mi> <mi>o</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>f</mi> <mi>E</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>L</mi> <mo>&amp;GreaterEqual;</mo> <msub> <mi>L</mi> <mi>o</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中映射函数表示Rec.BT.1886的逆EOTF并且Lo=fE(0),其中L=fE(V)表示Rec.BT.1886的EOTF。
10.如权利要求1所述的方法,其中扩展映射函数包括计算:
<mrow> <mi>L</mi> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>E</mi> <mi>X</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>V</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>f</mi> <mi>E</mi> </msub> <mrow> <mo>(</mo> <mo>-</mo> <mi>V</mi> <mo>+</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>V</mi> <mi>o</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>V</mi> <mo>&lt;</mo> <msub> <mi>V</mi> <mi>o</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>f</mi> <mi>E</mi> </msub> <mrow> <mo>(</mo> <mi>V</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>V</mi> <mo>&amp;GreaterEqual;</mo> <msub> <mi>V</mi> <mi>o</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow> 1
其中映射函数L=fE(V)包括SMPTE ST 2084的EOTF并且其中表示ST 2084的逆EOTF。
11.如权利要求1所述的方法,其中映射函数包括SMPTE ST 2084的逆EOTF,并且扩展映射函数包括计算:
<mrow> <mi>V</mi> <mo>=</mo> <msubsup> <mi>f</mi> <mrow> <mi>E</mi> <mi>X</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <msubsup> <mi>f</mi> <mi>E</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mo>-</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>V</mi> <mi>o</mi> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>L</mi> <mo>&lt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>f</mi> <mi>E</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>L</mi> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中映射函数包括SMPTE ST 2084的逆EOTF并且
12.一种用于改进内容映射的装置,该装置包括:
输入端,用于访问视频输入;
计算机,用于执行以下操作:
访问将输入值映射到输出值的映射函数,其中仅针对在包括最小值和最大值的第一范围内的输入值定义映射函数;
基于映射函数和第一范围确定镜像点;
基于映射函数和镜像点确定扩展映射函数,其中针对在第二范围内的输入值定义扩展映射函数,其中第二范围大于第一范围,其中确定扩展映射函数进一步包括:
对于大于第一范围中的最大值的输入值,根据映射函数将输入值映射到输出值;以及
相对于镜像点取映射函数的镜像以生成镜像映射函数,并且对于小于第一范围中的最小值的输入值,根据镜像映射函数将输入值映射到输出值;以及
将扩展映射函数应用于视频输入以生成视频输出;以及
输出端,用于提供视频输出。
13.如权利要求12所述的装置,其中给定映射函数y=f(x),镜像点被确定为(Xo,Yo),其中Xo表示第一范围的最小值并且Yo=f(Xo)。
14.如权利要求13所述的装置,其中相对于镜像点取映射函数的镜像进一步包括计算
y=fX(x)=-f(-x+2*Xo)+2*Yo,对于x<Xo
其中fx(x)表示扩展映射函数。
15.如权利要求12所述的方法,其中映射函数包括电光传递函数(EOTF)或逆电光传递函数(IEOTF)。
16.一种非暂时性计算机可读存储介质,其上存储有用于用处理器执行根据权利要求1-11中的任一项所述的方法的计算机可执行指令。
CN201580058362.9A 2014-10-27 2015-10-26 使用扩展颜色范围的内容映射 Active CN107077726B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462068898P 2014-10-27 2014-10-27
US62/068,898 2014-10-27
PCT/US2015/057337 WO2016069459A1 (en) 2014-10-27 2015-10-26 Content mapping using extended color range

Publications (2)

Publication Number Publication Date
CN107077726A true CN107077726A (zh) 2017-08-18
CN107077726B CN107077726B (zh) 2019-04-09

Family

ID=54542516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580058362.9A Active CN107077726B (zh) 2014-10-27 2015-10-26 使用扩展颜色范围的内容映射

Country Status (4)

Country Link
US (1) US10015525B2 (zh)
EP (1) EP3213291B1 (zh)
CN (1) CN107077726B (zh)
WO (1) WO2016069459A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769804A (zh) * 2018-04-25 2018-11-06 杭州当虹科技股份有限公司 一种高动态范围视频的格式转换方法
CN111095931A (zh) * 2017-09-06 2020-05-01 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
CN111480177A (zh) * 2017-12-21 2020-07-31 交互数字Vc控股公司 改进的逆色调映射方法和对应装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712834B2 (en) * 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
TW201633779A (zh) * 2014-12-16 2016-09-16 湯姆生特許公司 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置
GB2554667B (en) * 2016-09-30 2021-10-20 Apical Ltd Image processing
JP7226337B2 (ja) 2018-01-16 2023-02-21 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
US11412174B2 (en) * 2020-09-22 2022-08-09 Microsoft Technology Licensing, Llc Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742892A (en) 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US7058234B2 (en) * 2002-10-25 2006-06-06 Eastman Kodak Company Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
JP5314029B2 (ja) 2008-08-29 2013-10-16 パナソニック株式会社 色信号変換装置及び色信号変換方法
WO2010104624A2 (en) 2009-03-10 2010-09-16 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
EP2406959B1 (en) 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US20130107956A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
MX2013002429A (es) * 2010-09-03 2013-04-08 Dolby Lab Licensing Corp Metodo y sistema para compensacion de iluminacion y transicion para codificacion y procesamiento de video.
US11049473B2 (en) 2011-03-24 2021-06-29 Koninklijke Philips N.V. Apparatuses and methods for analyzing image gradings
WO2012142471A1 (en) 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
CN103493490B (zh) 2011-04-25 2016-12-28 杜比实验室特许公司 非线性视觉动态范围残留量化器
EP2702765A1 (en) 2011-04-28 2014-03-05 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
CN103891294B (zh) 2011-04-28 2017-09-01 皇家飞利浦有限公司 用于hdr图像编码和解码的装置与方法
EP2745290A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
CN104185991B (zh) 2011-11-09 2018-07-06 弗劳恩霍夫应用研究促进协会 不同动态采样值范围的层之间的层间预测
EP2603000B1 (en) * 2011-12-08 2017-11-01 Dolby Laboratories Licensing Corporation Guided prediction-filtering in layered vdr image coding
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
WO2014053518A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
ES2702614T3 (es) 2013-01-02 2019-03-04 Dolby Laboratories Licensing Corp Codificación retrocompatible para señales de vídeo de ultra alta definición con dominio dinámico aumentado
WO2014130343A2 (en) 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095931A (zh) * 2017-09-06 2020-05-01 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
US11336895B2 (en) 2017-09-06 2022-05-17 Dolby Laboratories Licensing Corporation Tone-curve optimization method and associated video encoder and video decoder
CN111095931B (zh) * 2017-09-06 2022-05-27 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
CN111480177A (zh) * 2017-12-21 2020-07-31 交互数字Vc控股公司 改进的逆色调映射方法和对应装置
CN111480177B (zh) * 2017-12-21 2023-10-20 交互数字Vc控股公司 改进的逆色调映射方法和对应装置
CN108769804A (zh) * 2018-04-25 2018-11-06 杭州当虹科技股份有限公司 一种高动态范围视频的格式转换方法
CN108769804B (zh) * 2018-04-25 2020-12-15 杭州当虹科技股份有限公司 一种高动态范围视频的格式转换方法

Also Published As

Publication number Publication date
EP3213291B1 (en) 2019-11-06
US20170244983A1 (en) 2017-08-24
EP3213291A1 (en) 2017-09-06
CN107077726B (zh) 2019-04-09
WO2016069459A1 (en) 2016-05-06
US10015525B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
CN107077726B (zh) 使用扩展颜色范围的内容映射
US9277196B2 (en) Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
CN105580369B (zh) 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
US10575005B2 (en) Video coding and delivery with both spatial and dynamic range scalability
US9538155B2 (en) Decoding and display of high dynamic range video
CN107439012B (zh) 用于环内转换的方法、装置和计算机可读存储介质
CN103535038B (zh) 用于分层vdr编码的有效架构
CN105744277B (zh) 分层vdr编译码中的层分解
JP5992997B2 (ja) 映像符号化信号を発生する方法及び装置
TWI690211B (zh) 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
US8891863B2 (en) High dynamic range, backwards-compatible, digital cinema
KR102358368B1 (ko) 하이 다이나믹 레인지 픽처를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디코딩 디바이스
KR20180043807A (ko) 비디오 디코더에서의 높은 동적 범위 적응 동작들
KR20180021869A (ko) Hdr 컬러 픽처를 인코딩 및 디코딩하기 위한 방법 및 디바이스
WO2020089583A1 (en) Signal element coding format compatability within a hierarchical coding scheme using multiple resolutions
US20190281325A1 (en) Single-layer progressive coding for supporting multi-capability hdr composition
CN113170205B (zh) 整形函数生成方法及装置以及图像解码方法及装置
CN108370446B (zh) 具有减小的内插误差的低复杂度查找表构造
Gadgil et al. The technology behind the exceptional visual experience via high dynamic range
EP3226563B1 (en) Chroma reshaping
JP7540085B2 (ja) 色変換データ生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant