CN108027978B - 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定 - Google Patents

用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定 Download PDF

Info

Publication number
CN108027978B
CN108027978B CN201680054233.7A CN201680054233A CN108027978B CN 108027978 B CN108027978 B CN 108027978B CN 201680054233 A CN201680054233 A CN 201680054233A CN 108027978 B CN108027978 B CN 108027978B
Authority
CN
China
Prior art keywords
samples
luminance
sample
chroma
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680054233.7A
Other languages
English (en)
Other versions
CN108027978A (zh
Inventor
法布里斯·勒·利安纳西
塞巴斯蒂安·拉塞尔
爱德华·弗朗索瓦
弗兰克·盖尔平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN108027978A publication Critical patent/CN108027978A/zh
Application granted granted Critical
Publication of CN108027978B publication Critical patent/CN108027978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T5/90
    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Abstract

一种用于确定用于在解码器或编码器中处理颜色采样的亮度值的方法,包括:确定(33,44)与公共空间中的色度采样位置相关联的亮度采样;以及在如下处理中应用(34,492)所确定的亮度采样:该处理依赖于正被应用于色度采样的亮度。

Description

用于HDR编码/解码的颜色分量采样的同位置亮度采样的确定
技术领域
本公开总地涉及视频编码和/或解码,并且更具体地涉及使用颜色间隔的视频编码和/或解码。
背景技术
在数字信号处理中,数据压缩在数据传输中变得非常重要。减小数据文件大小的过程被称为数据压缩。压缩很有用,因为它有助于减少资源使用量,诸如数据存储空间或传输容量。然而,一旦数据被压缩,它就必须解压缩才能变为可使用。由于压缩数据必须进行解压才能使用,因此这种额外处理会通过解压缩来增加计算或其他成本。另外,数据压缩方案的设计涉及各种因素之间的权衡,包括压缩程度、(使用有损数据压缩时)引入的失真量以及压缩和解压缩数据所需的计算资源。例如,对于视频的压缩方案可能需要昂贵的硬件来足够快得解压缩视频,从而在解压缩时观看视频。在观看之前完全解压缩视频的选项可能是不方便的或需要额外的存储空间。
在视频压缩中,这种权衡可能成为一个非常重要的考虑因素,因为未压缩的视频需要非常高的数据速率。大多数视频压缩算法结合了空间图像压缩和时间运动补偿。另外,在一个封包中视频压缩流还伴随音频流。因此,在大多数视频编码标准的设计中,主要目标是具有最高的编码效率。编码效率是能够以尽可能低的比特率对视频进行编码同时保持一定的视频质量水平的能力。近年来,视频质量和比特率之间的权衡已经带来了许多实际挑战。
高效率视频编码(以下称为HEVC)是已普及的视频压缩标准。这种普及原因在于HEVC可以在相同水平的视频质量下将数据压缩率提高一倍。HEVC支持多种技术,例如颜色间隔(color spacing)、可扩展编码扩展和多视图扩展。此外,HEVC视频压缩标准特别指定了根据所谓的一致性点进行操作的视频解码过程。一致性点对应于视频解码和渲染过程中的点,在该点处可以检查经解码的视频序列与HEVC标准的一致性。这在任何后续操作应用于经解码的图像分量之前对应于视频解码器的固定点数输出。然而,在大多数情况下,同时使用这些功能是不可能的。因此,期望一种能够同时充分利用这些能力中的一些能力的技术。
已经提出了其他技术来编码和解码图像/视频,尤其是高动态范围的图像/视频。
图1是描述常规高动态范围(以下称为HDR)解码工作流的框图。在大多数HDR成像技术中,成像和摄影用于再现比标准数字成像或照相技术可能产生亮度动态范围更大的亮度动态范围。该技术能够产生出色的图像,该图像在视频和图像传输期间必须被保持。为此,如图1所示,在传统(HEVC)视频解码器11之后设置通用HDR重建系统(HDR重建12、颜色上采样13、HDR后处理14),其旨在从HEVC解码器产生的解码视频序列中重建HDR内容。在大多数视频分布使用实例中,HEVC编码序列以4:2:0色度格式表示,分量采样由10位固定点数表示。
HDR图像可以是通过合并多个低动态范围(LDR)或标准动态范围(SDR)照片产生的计算机渲染和图像。另外,HDR图像还可以使用特殊图像传感器(例如,过采样二进制图像传感器)获得。在分配经压缩HDR视频的情况下,当还同时以更有限的动态范围来分配代表HDR的相关联的SDR视频时,存在若干挑战。在不存在与SDR相关联的视频的情况下这些挑战加剧,因此SDR视频的生成也是待解决的问题的一部分。
重新参考图1,可以与HEVC编码序列一起使用的解码器和具体使用HDR成像的解码器必须具有如下配置文件(profile):其允许利用4:2:0色度采样的每个采样具有8位到10位的比特深度。这样的HEVC解码器必须能够解码具有更高比特深度的比特流,从而允许更多数量的颜色并且容纳更高的比特深度,以允许颜色的平滑过渡从而最小化色带问题。在图1中使用的示例中,HDR重建过程的大部分以4:4:4格式执行,而HEVC编码/解码过程中通常使用的颜色格式是4:2:0。结果是HDR重建过程的计算复杂度很高。
此外,HEVC视频压缩标准指定了根据所谓的一致性点(conformance point)进行操作的视频解码过程等。一致性点对应于视频解码和渲染处理中的点,在该点处可以检查解码的视频序列与HEVC标准的一致性。这在将任何后续操作应用于经解码的图像分量(如色度上采样、颜色空间转换和/或对输出显示的视频信号适配)之前对应于视频解码器的固定点数输出。可以被运动图像专家组(以下称为MPEG)标准化实体考虑用于MPEG/HDR视频压缩的一致性点就位于4:2:0至4:4:4色度上采样之前。
另外,于2015年8月24日递交的欧洲专利申请No.15290214.4公开了图像/视频编码和解码技术,实现了高动态范围图像/视频的编码和解码。这样的技术在编码器方面依靠映射,例如HDR图像到以与传统SDR工作流兼容的格式表示的SDR图像上的映射。例如,该格式可以是专用于高清晰度TV的8位YUV格式(如由ITU-R Rec BT.709标准所定义的)或专用于超高清晰度TV的10位YUV格式(如由ITU-R Rec BT.2020标准所定义的)。它还包括通过使用传统SDR图像编码器来编码所获得的SDR图像。例如,编码器可以是例如HEVC(或任何其他可通过工作流进行操作的编解码器)的标准8位h264/AVC主配置文件或标准10位HEVC主配置文件。此外,分配方案包括分配所获得的经编码的SDR图像的比特流。在解码器方面,依赖于所寻址的用户,可能有两种情况。在第一种情况下,从分配的比特流获得经解码的SDR图像并且显示在支持SDR的设备上。在第二种情况下,通过首先获得经解码的SDR图像并且通过其次应用从经解码的SDR图像到经解码的HDR图像的映射,从分布式的比特流获得经解码的HDR图像。
根据实现HEVC解码器的该技术,由于使用XYZ颜色空间,所以大多数SDR到HDR映射过程被应用于具有4:4:4色度格式的经解码的彩色图像,而不适用于在映射过程的开始处执行4:2:0至4:4:4的上采样。其结果是解码器的计算复杂度很高。
因此,希望具有其中大部分处理在4:2:0域中执行的HDR解码过程。此外,希望具有其中解码的输出由10位整数采样表示的HDR解码过程,使得HDR解码过程产生符合所建立的标准HDR视频信号的HDR信号。
发明内容
通过本原理的技术来实现附加的特征和优点。原理的其他实施例和方面在此详细描述并且被认为是权利要求的一部分。为了更好地理解具有优点和特征的原理,参考说明书和附图。
提供了一种用于确定用于在解码器或编码器中处理颜色采样的亮度值的方法,包括:确定与在所有有关编码/解码步骤中公共使用的空间中的色度采样位置相关联的亮度采样;以及在依赖于正被施加到色度采样的亮度的处理中采用所确定的亮度采样。
附图说明
参考附图,通过下面的实施例和执行示例将非限制性地更好地理解和说明原理,其中:
图1描绘了示出根据现有技术的解码工作流和一致性点的框图;
图2是描绘根据本原理的示例的使用颜色间隔方案的解码技术的流程图;
图3是描绘根据本原理的示例的具有同步同位器(co-locater)的解码器的框图;
图4是示出根据本原理的示例的具有重塑特征的编码技术的框图;以及
图5示出了根据本原理的示例的设备架构的示例;以及
在图1-4中,所表示的块是纯功能实体,其不一定对应于物理上分离的实体。即,它们可以被开发为软件、硬件的形式,或者可以在一个或多个集成电路(包括一个或多个处理器)中实现。
可能的情况下,将贯穿附图使用相同的附图标记来表示相同或相似的部分。
具体实施方式
应当理解,本原理的附图和描述已简化以示出与清楚理解本原理相关的元素,同时为了清楚的目的,省略了在典型的数字多媒体内容递送方法和系统中能够找到的许多其他元素。然而,因为这些元素在本领域中是众所周知的,所以本文未提供这些元素的详细讨论。本文的公开内容涉及所有这些变化和修改。
本原理旨在提供一种用于确定用于在解码器或编码器中处理颜色采样的亮度值的方法,包括:确定与公共空间中的色度采样位置相关联的亮度采样;以及将所确定的亮度采样应用到依赖于正应用于色度采样的亮度的处理中。
根据至少一个实施例,本公开提供了其中大多数处理以4:2:0色度格式执行的HDR编码或解码过程。
另外,根据至少一个实施例,本公开提供了其中编码的输入和解码的输出由10位整数采样表示的HDR编码或解码过程。
图2示出了解码的示例,其中以4:2:0格式执行解码和重建HDR图像的主要步骤。例如,图2所示的解码器在基于通过标准ST2084传递函数TF(在“控制参考显示的FCD SMPTE标准高动态范围电光传递函数(FCD SMPTE Standard High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays),SMPTE ST2084:201X,2014年6月18日的版本1.24”中公开的EOTF)获得的非线性(R,G,B)颜色采样而计算的YCbCr恒定亮度BT2020颜色空间中执行颜色上采样。
此外,为了确保良好的HDR压缩效率,提出了可以以与解码器同步的方式执行色度下采样的HDR编码过程。这在如图3和4所示的分别用于解码器和编码器的框图中提供。
例如,图2中说明的解码技术旨在从输入HDR比特流重建至少一个线性RGB HDR图像。
在步骤21中,将输入的HDR比特流解码为表示SDR内容的(L’,U’,V’)亮度和色度采样。解码例如符合HEVC视频编码标准。然后将两个连续的颜色转换步骤应用在HEVC解码的4:2:0的10比特图像上。
在用于HEVC编码/解码的YCbCr颜色空间中,第一颜色转换步骤22被应用于由HEVC解码器(步骤21)(或由在HEVC解码之后操作的另一处理阶段)给出的至少一个经解码的图像。它旨在在保持SDR动态的同时修改颜色分量。第一颜色转换步骤22的输出是具有通过以下等式获得的亮度和色度采样(Yr,Ur,Vr)的重建图像或图像采样:
Ur=β(Ycoloc)×U′
Vr=β(Ycoloc)×V′
其中,β(Ycoloc)是非线性函数。
例如,作为Y函数的β值可以在查找表(LUT)中被定义,例如,标准“ETSI TS 103433”的附录C.2.3(位于http://www.etsi.org/deliver/etsi_ts/103400_103499/103433/01.01.01_60/ts_103433v010101p.pdf)中所指定的LUT。
在以上等式中,Ycoloc对应于从全分辨率亮度采样Y推导出的亮度采样值L,并且其旨在提供对应于当前考虑的U’和V’色度采样的空间位置处的亮度值。Ycoloc的确定通常对应于位于当前(U’,V’)采样位置附近的两个或四个亮度采样之间的空间内插处理。例如,这可以是双线性或双三次内插。
根据更简单更快速的变体,给定(U’,V’)采样位置的同位置(co-located)采样Ycoloc可以被选择为空间位置上的(U’,V’)的左上最邻近亮度采样,这避免了内插处理中涉及的线性组合。
Yr是在可选的亮度采样校正之后,由视频(HEVC)解码器提供的亮度值。
如果实施初步亮度采样校正(可选步骤),则可以将Yr确定为:
Yr=L′+a.U′coloc+bV′coloc
其中,a和b为常数值。例如,值a和b被包括在0和0.5之间,包括0和0.5在内。可以选择这些值之间的值,在两个连续值之间以1/1638的步长进行选择。
在这种情况下,必须针对每个经校正的亮度采样L’确定同位置U′coloc和V′coloc色度采样。此外,给定亮度采样Yr的同位置(U′coloc,V′coloc)采样可以分别包含在空间位置上围绕当前L'采样的几个U'和V'采样之间的内插值。
根据更简单更快速的变体,可以选择左上最近的(U’,V’)采样作为给定亮度采样L’的同位置采样。
根据变体,Yr可以被确定为:
Yr=max(0,L′+a.U′coloc+bV′coloc)。
第二颜色转换步骤23或色度转换步骤,以降低的分辨率应用于两个重建的色度采样Ur、Vr,因为它是在4:2:0的10比特域中执行的。色度转换步骤23输出根据通过传递函数TF获得的非线性(R,G,B)颜色采样计算的色度采样UTF、VTF,其定义为例如:
其中:
A:从YUV颜色空间到RGB颜色空间的转换矩阵,
c1,c2,c3:三个常量,以及
M表示对YTF的线性运算,如ITU-R BT2020规范中所规定的:
其中,PB=0.7910,NB=-0.9702,PR=0.4969,NR=-0.8591。
如果包含(L’,U’,V’)的颜色空间是ITU-R BT709,则c1,c2,c3可以例如分别等于(-0.27372,-0.68402,-0.12562)。如果包含(L’,U’,V’)的颜色空间是ITU-R BT709,则c1,c2,c3可以例如分别等于(-0.22826,-0.79256,-0.12749)。
此外,经解码的图像的亮度分量在单独的信道中被处理(步骤24),以便借助于标准传递函数TF来表示:
其中,Yr是(可能在校正之后)由视频(HEVC)解码器提供的亮度值,并且g-1(Yr,Ba)是应用于编码器方面的亮度的非线性的逆。
然后从格式4:2:0到4:4:4的色度上采样步骤25被应用于分量YTF,UTF,VTF
在色度上采样步骤25之后,其余操作被如下执行:
·矩阵颜色转换步骤26和逆传递步骤27:
这些步骤能够通过应用UTF和VTF分量计算的逆,来实现非线性RGB颜色空间的非线性RTF和BTF分量采样的提取。
矩阵颜色转换步骤26的输出是分量YTF,RTF,BTF,并且逆传递步骤27的输出是Y,R,B,例如:
·最终矩阵颜色校正28:
该步骤能够得到作为线性光亮度Y、线性光R和线性光B的函数的线性G分量(根据ITU-R BT2020规范中定义的他们的关系):
G=Y-(0.2627R+0.0593B)/0.6780。
在考虑标准视频可用性信息(在HEVC标准规范中定义的VUI)时,在色度上采样25之后实施的矩阵颜色转换26、逆传递步骤27和最终矩阵颜色转换28是常见的,如利用标准的ST2084传递函数的YCbCr恒定亮度BT2020颜色空间。因此,不需要定义指定经历4:2:0到4:4:4的色度上采样的经解码视频信号的格式的特定SEI消息。
最终矩阵颜色转换28的输出是至少一个线性RGB HDR采样。
查看图2,示出的解码器在同位置亮度采样管理方面是不同步的,因为各种解码操作涉及应用于色度分量采样的一些操作,并且这些操作依赖于与这些色度分量采样相关联的亮度采样值。当在由亮度和两个色度分量组成的4:2:0颜色空间中表示图像时,两个颜色分量(Cb,Cr)的空间大小在宽度和高度上都为亮度分量大小的一半。因此,当修改(Cb,Cr)采样时,必须提取空间上与该色度采样相对应的亮度值。然后,考虑所谓的“同位置的”亮度或亮度采样,其根据在空间上位于所考虑的色度采样周围的亮度采样被导出。然而,在图2中呈现的HDR解码系统中,同位置亮度采样是在根据编码或解码阶段而变化的颜色空间中确定的。这导致非最佳的HDR压缩性能。
在一个实施例中,该问题可以通过如图3和图4中所示的HDR编码/解码方案来解决。图3和图4的HDR解码器和编码器方案减少了由于这种去同步的同位置亮度采样确定而发布的伪像。
具体地,图3和图4所示的解码器和编码器都在相同的颜色空间(诸如YCbCr恒定亮度BT2020颜色空间)内工作,以执行色度上采样和下采样。格式从4:2:0到4:4:4的上采样非常适合于这种特定的颜色空间,这使得解码过程主要以4:2:0格式实现。
但是,也可以使用其他颜色空间。
另外,在图3和4中示出的实施例中,不需要定义同位置色度采样Ucoloc和Vcoloc。只需要定义同位置亮度采样Ycoloc。根据这些实施例,在编码端和解码端可以在相同颜色空间中确定同位置亮度采样Ycoloc
在一个实施例中,图3的解码器提供与给定颜色采样相关联的同位置亮度采样。该采样被包含在经下采样的颜色分量中,并且该过程在相同的域中被执行,无论应用于所考虑的颜色采样的依赖于亮度的操作是什么。
在这个实施例中,图4的实施例包括HDR视频编码方案,其中在HDR到SDR映射处理之前,在与用于在解码器端执行色度上采样的颜色空间相同的空间中执行颜色下采样。
同时参考图3和图4,在一个实施例中,用于确定亮度值的方法被用于在解码器/编码器方案中处理颜色采样。在该实施例中,首先确定与公共空间中的色度采样位置相关联的亮度采样。随后,在如下处理中应用所确定的亮度采样:该处理依赖于正应用于色度采样的亮度。在一个实施例中,公共空间可以包括如所示的当应用标准传递函数时所获得的非线性亮度空间。此外,标准传递函数包括SMPTE ST2084逆电光传递函数(EOTF)(也称为PQ),可以进行调适。
在一个实施例中,可以通过计算位于色度采样附近的非线性像素值的平均值,来确定亮度采样。
为了提供与给定颜色采样相关联的同位置亮度采样,根据至少一个实施例的解码方法包括了如图3所示的以下步骤。
再一次,我们认为解码器在基于通过标准ST2084传递函数TF(诸如EOTF)获得的非线性(R,G,B)颜色采样而计算的YCbCr恒定亮度BT2020颜色空间中执行颜色上采样。然而,可以考虑其他颜色空间或其他传递函数。
在步骤31中,输入的HDR比特流被解码为表示SDR内容的(Y,U,V)亮度和色度采样。解码例如符合HEVC视频编码标准。
可以应用亮度重塑步骤321来将全分辨率亮度分量Y转换到非线性标准感知空间:
其中,Y是由视频(HEVC)解码器提供的亮度值,Yr等于Y,因为在图3上移除了可选的亮度采样校正步骤,并且g-1(Yr,Ba)是应用于编码器端的亮度的非线性的逆。在该实施例中,不需要应用初步亮度采样校正。
在步骤33中,针对每个色度采样获得非线性域中的同位置亮度采样YPQ,col。该步骤旨在确定与公共空间中的色度采样位置相关联的亮度采样(YPQ,col)。
色度重塑步骤322或颜色转换可以应用于线性分量U和V:
该步骤旨在在如下处理中应用所确定的亮度采样(YPQ,col):该处理器依赖于正被应用于色度采样的亮度。
可选的步骤323可以应用于重塑线性分量Ur和Vr,以改善颜色对比度。该步骤可以实现对CPCE类型的过滤(“保色对比度增强”)。
在步骤34中,可能在CPCE过滤之后,将色度校正应用于两个重塑的线性分量Ur和Vr。色度校正步骤34输出根据通过标准ST2084传递函数TF=PQ获得的非线性(R,G,B)颜色采样而计算的色度分量CbC,PQ、CrC,PQ,定义如:
其中:
MYUVtoRGB:从YUV颜色空间到RGB颜色空间的转换矩阵,
c1,c2,c3:三个常量,以及
PB=0.7910,NB=-0.9702,PR=0.4969,NR=-0.8591。
然后,将格式从4:2:0到4:4:4的色度上采样35应用于借助标准传递函数TF=PQ表示的分量YC,PQ、CbC,PQ、CrC,PQ
在色度上采样35之后执行的其余操作类似于关于图2描述的操作:
●矩阵颜色转换36和逆传递步骤37:
这些步骤能够通过应用CbC,PQ和CrC,PQ分量计算的逆(即,YCbCr恒定亮度BT2020颜色空间的逆公式)来实现非线性RGB颜色空间的非线性RPQ和BPQ分量采样的提取。
矩阵颜色转换步骤36的输出是分量YPQ、RPQ、BPQ,,并且逆传递步骤37的输出是Y,R,B,例如:
●最终矩阵颜色转换步骤38:
该步骤能够得到作为线性光亮度Y、线性光R和线性光B的函数的线性G分量(根据ITU-R BT2020规范中定义的他们的关系):
G=Y-(0.2627R+0.0593B)/0.6780。
在色度上采样35之后实施的矩阵颜色转换36、逆传递步骤37和最终矩阵颜色转换38是标准的和已知的。实现ITIU-R BT2020标准格式和PQ传递函数的设备能够应用它们。经解码的信号位于该颜色空间中的认知是通过HEVC比特流中包含的VUI消息获得的,该VUI消息指示利用标准ST2084传递函数使用YCbCr恒定亮度BT2020颜色空间。因此,不需要定义特定的SEI消息。
输出为至少有一个线性RGB HDR采样。
如果使用相同的传递函数和颜色空间,则图3所示的解码器能够解码经图4的编码器编码的信号。
参考图4,如果我们认为编码器在基于通过PQ传递函数获得的非线性(R,G,B)颜色采样而计算的YCbCr恒定亮度BT2020颜色空间中执行颜色下采样,则编码方法对于至少一个线性光HDR(R,G,B)采样执行以下步骤。
在步骤41中,线性光HDR(R,G,B)采样被转换到非线性感知空间:
在步骤42中,根据线性光HDR(R,G,B)采样确定当前像素的线性光亮度值Ylin
在步骤43中,线性光亮度值Ylin被转换到非线性感知空间,以获得全分辨率非线性亮度分量YC,PQ
YC,PQ=TF(Ylin)=PQ(Ylin)
并且在步骤44中,针对每个色度采样获得非线性域中的同位置亮度采样YPQ,col。该步骤旨在确定与公共空间中的色度采样位置相关联的亮度采样(YPQ,col)。
在步骤45中,根据非线性值Yc,PQ、RPQ和BPQ来计算非线性域中的色度分量Cb和Cr。该计算例如在ITU-R BT2020规范(建议ITU-R BT.2020-1(06/2014),Parameter values forultra-high definition,television systems for production and internationalprogram exchange,BT Series Broadcasting service(television)(超高清晰度电视系统节目制作和国际交换用参数值,BT系列广播服务(电视)))中指定:
在步骤46中,将色度分量CbC,PQ和CrC,PQ下采样为CbC,PQ,down和CrC,PQ,down
在步骤47中,根据ITU-B BT2020规范将同位置亮度采样和经下采样的色度分量(YPQ,col,CbC,PQ,down,CrC,PQ,down)转换到非线性GRB分量采样(RPQ,down,GPQ,down,BPQ,down)中。
因此,(RPQ,down,GPQ,down,BPQ,down)颜色分量具有与输入HDR图像相比一半的分辨率。
在步骤48中,通过应用逆函数TF-1=PQ-1(例如EOTF函数)将(RPQ,down,GPQ,down,BPQ,down)颜色分量转换到线性感知空间中,然后经历与ITU-R BT709建议接近的非线性函数,旨在向后兼容输入HDR信号的SDR表示
在步骤49中,通过基于矩阵的BT709RGB到YUV转换,将线性颜色分量(R′PQ,down,G′PQ,down,B′PQ,down)转换为线性YUV分量采样:
可选的步骤491可以应用于线性分量Ur和Vr,以改善颜色对比度。该步骤可以实现对CPCE类型(“保色对比度增强”)的过滤。
另外,色度重塑步骤492或颜色转换可以应用于线性分量Ur和Vr
该步骤在依赖于正被应用于色度采样的亮度的处理中应用所确定的亮度采样(YPQ,col)。其目标是一旦信号映射到目标SDR颜色空间,就生成SDR映射的颜色分量,该颜色分量保留了输入HDR信号的感知颜色。
亮度重塑步骤493还可以应用于全分辨率非线性亮度分量YC,PQ
YC=luminanceToneMapping(PQ-1(YC,PQ))
YC=g(PQ-1(YC,PQ),Ba)
该步骤提供将由编码器494(如标准HEVC编码器)编码的亮度分量。
在2016年1月25日提交的国际专利申请PCT/EP16/051449中更详细地描述了这种色度重塑步骤和亮度重塑步骤。
根据图4所示的编码器,在对亮度和颜色分量应用动态范围减少步骤之前完成了色度下采样。因此,颜色下采样可以在与解码器端执行的色度上采样相同的域中完成,从而改善整个HDR视频编码/解码链的HDR压缩效率。
图5表示可以被配置为实现结合图1-4描述的方法的设备50的示例性的架构。
设备50包括通过数据和地址总线51链接在一起的以下元件:
-微处理器52(或CPU),例如DSP(或数字信号处理器);
-ROM(或只读存储器)53;
-RAM(或随机存取存储器)54;
-用于从应用程序接收要发送的数据的I/O接口55;以及
-电池56
根据示例,电池56在设备外部。在每个提到的存储器中,说明书中使用的词语“寄存器”可以对应于小容量区域(一些比特)或非常大的区域(例如,整个程序或大量的接收或解码数据)。ROM 53至少包括程序和参数。ROM 53可以存储根据本原理执行技术的算法和指令。当被开启时,CPU 52上载RAM中的程序并且执行相应指令。
RAM 54在寄存器中包括由CPU 52执行并在设备50开启之后上载的程序、在寄存器中的输入数据、在寄存器中的方法的不同状态下的中间数据、以及在寄存器中用于执行该方法的其他变量。
本文描述的实现方式可以以例如方法或过程、装置、软件程序、数据流或信号实现。即使仅在单一形式的实现方式(例如,仅作为方法或设备讨论)的上下文中进行了讨论,但所讨论的特征的实现方式还可以以其他形式(例如程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。这些方法可以实现在例如诸如处理器之类的装置中,该装置通常指的是包括例如计算机、微处理器、集成电路、或可编程逻辑器件的处理器。处理器还包括通信设备、例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及辅助终端用户之间信息通信的其他设备。
根据解码或解码器的示例,从源获得经解码的4:2:0图像。例如,该源属于包括以下各项的集合:
-本地存储器(53或54),例如,视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘;
-存储接口(55),例如,与大容量存储器、RAM、闪存、ROM、光盘或磁性支持件的接口;
-通信接口(55),例如,有线接口(例如,总线接口、广域网接口、局域网接口)或无线接口(例如,IEEE 802.11接口或接口);以及
-图像捕获电路(例如,诸如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体)之类的传感器))。
根据解码或解码器的示例,在诸如CIE XYZ颜色或RGB颜色空间之类的颜色空间中表示的重建图像被发送到目的地;具体地,该目的地属于包括以下各项的集合:
-本地存储器(53或54),例如视频存储器或RAM、闪存、硬盘;
-存储接口(55),例如,与大容量存储器、RAM、闪存、ROM、光盘或磁性支持件的接口;
-通信接口(55),例如,有线接口(例如,总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清晰度多媒体接口)接口)或无线接口(诸如IEEE 802.11接口、或/>接口);以及
-显示器。
根据解码或解码器的示例,从源获得承载经解码的4:2:0图像的比特流。示例性地,比特流从本地存储器(例如,视频存储器(54)、RAM(54)、ROM(53)、闪存(53)或硬盘(53))被读取。在变体中,比特流从存储接口(55)(例如,与大容量存储器、RAM、ROM、闪存、光盘或磁性支持件的接口)接收,和/或从通信接口(55)(例如,与点对点链路、总线、点对多点链路、或广播网络的接口)接收。
根据示例,被配置为实现结合图5描述的解码方法的设备60属于包括以下各项的集合:
-移动设备;
-通信设备;
-游戏设备;
-机顶盒;
-电视机;
-平板电脑(或平板计算机);
-膝上型计算机;
-显示器;以及
-解码芯片。
本文描述的各种过程和特征的实现方式可以体现在各种不同的设备或应用中。这样的设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网页服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA以及用于处理图像或视频的任何其他设备或其他通信设备。应该清楚,该设备可能是移动的并且甚至可以安装在移动车辆中。
另外,方法可以通过由处理器执行的指令来实现,并且这样的指令(和/或由实现方式产生的数据值)可以被存储在计算机可读存储介质上。计算机可读存储介质可以采取在一个或多个计算机可读介质中体现并且其上具有可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。如本文使用的计算机可读存储介质被认为是非暂态存储介质,其具有将信息存储在其中的固有能力以及提供从中提取的信息的固有能力。计算机可读存储介质可以是例如但不限于电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备、或前述的任何合适的组合。应该理解的是,虽然以下内容提供了可应用本原理的计算机可读存储介质的更具体的示例,但仅是说明性的而非穷举的,如本领域普通技术人员容易理解的:便携式计算机软盘;硬盘;只读存储器(ROM);可擦除可编程只读存储器(EPROM或闪存);便携式光盘只读存储器(CD-ROM);光存储设备;磁存储设备;或前述的任何合适的组合。
这些指令可以形成有形地体现在处理器可读介质上的应用程序。
例如,指令可以是硬件、固件、软件或其组合。可以在例如操作系统、单独的应用程序、或两者的组合中找到指令。因此,处理器可以被特征化为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备两者。此外,除指令之外或代替指令,处理器可读介质可以存储由实现方式产生的数据值。
对于本领域技术人员而言显而易见的是,实现方式可以产生格式化为承载可以例如被存储或传输的信息的各种信号。该信息可以包括例如用于执行方法的指令或者由所描述的实现方式中的一个所产生的数据。例如,信号可以被格式化为承载作为用于写入或读取本原理的所描述的示例的语法规则的数据,或承载作为由本原理的所描述的示例写入的实际语法值的数据。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或作为基带信号。格式化可以包括例如对数据流进行编码和用编码数据流对载波进行调制。信号承载的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述了许多实现方式。然而,可以理解的是,可以进行各种修改。例如,不同实现方式的元件可以被组合、补充、修改、或移除以产生其他实现方式。另外,本领域普通技术人员将理解,其他结构和过程可以替代所公开的那些结构和过程,并且所得到的实现方式将至少大体上以(一个或多个)相同的方式执行(一个或多个)至少大体上相同的功能,以实现与所公开的实现方式至少大体上相同的结果。相应地,这些和其他实现方式是由本申请构思的。

Claims (9)

1. 一种用于根据重建的亮度采样(Yr)和重建的色度采样(Ur, Vr)来重建高动态范围HDR图像的方法,所述方法包括:
在如下颜色空间中解码(21)表示标准动态范围SDR图像的亮度采样(L’,Yr)和色度采样(U’,V’):在所述颜色空间中的两个色度分量(Cb, Cr)的空间大小在宽度和/或高度上为亮度分量大小的一半,所述SDR图像是所述HDR图像的较低动态范围描绘;
根据色度采样的空间位置来确定用于所述色度采样的同位置亮度采样值(Ycoloc),其中确定与所述颜色空间中的色度采样位置相关联的亮度采样,并且所述颜色空间包括当应用标准传递函数时所获得的非线性亮度空间;
通过根据所述同位置亮度采样值(Ycoloc)校正(22)色度采样(U’,V’),来获得所述重建的色度采样(Ur,Vr);以及
从亮度采样(L’)获得重建的亮度采样(Yr)。
2. 根据权利要求1所述的方法,其中,从亮度采样(L’)获得重建的亮度采样(Yr)包括:
根据所述亮度采样(L’)的空间位置来确定与所述亮度采样(L’)相关联的同位置色度采样值(Ucoloc,Vcoloc);以及
其中所述重建的亮度采样(Yr)是所述亮度采样(L’)和所述同位置色度采样值(Ucoloc,Vcoloc)的加权线性组合。
3. 根据权利要求1所述的方法,其中,所述标准传递函数包括SMPTE ST2084逆电光传递函数。
4.根据权利要求1-3中任一项所述的方法,其中,亮度采样是通过计算位于色度采样附近的非线性像素值的平均值来确定的。
5.一种用于根据重建的亮度采样(Yr)和重建的色度采样(Ur,Vr)来重建高动态范围HDR图像的设备,所述设备包括处理器,该处理器被配置为:
在如下颜色空间中解码(21)表示标准动态范围SDR图像的亮度采样(L’,Yr)和色度采样(U’,V’):在该颜色空间中的两个色度分量(Cb, Cr)的空间大小在宽度和/或高度上为亮度分量大小的一半,所述SDR图像是所述HDR图像的较低动态范围描绘;
根据色度采样的空间位置来确定用于所述色度采样的同位置亮度采样值(Ycoloc),其中确定与所述颜色空间中的色度采样位置相关联的亮度采样,并且所述颜色空间包括当应用标准传递函数时所获得的非线性亮度空间;
通过根据所述同位置亮度采样值(Ycoloc)校正色度采样(U’,V’),来获得所述重建的色度采样(Ur,Vr);以及
从亮度采样(L’)获得重建的亮度采样(Yr)。
6.根据权利要求5所述的设备,其中,从亮度采样(L’)获得重建的亮度采样(Yr)包括:
根据所述亮度采样(L’)的空间位置来确定与所述亮度采样(L’)相关联的同位置色度采样值(Ucoloc,Vcoloc);
其中所述重建的亮度采样(Yr)是所述亮度采样(L’)和所述同位置色度采样值(Ucoloc,Vcoloc)的加权线性组合。
7. 根据权利要求5所述的设备,其中,所述标准传递函数包括SMPTE ST2084逆电光传递函数。
8.根据权利要求5-7中任一项所述的设备,其中,亮度采样是通过计算位于色度采样附近的非线性像素值的平均值来确定的。
9.一种包括指令的计算机可读介质,所述指令在由计算机执行时使所述计算机执行权利要求1所述的方法。
CN201680054233.7A 2015-09-18 2016-09-19 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定 Active CN108027978B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15290234.2 2015-09-18
EP15290234 2015-09-18
PCT/EP2016/072101 WO2017046408A1 (en) 2015-09-18 2016-09-19 Determination of a co-located luminance sample of a color component sample, for hdr coding/decoding

Publications (2)

Publication Number Publication Date
CN108027978A CN108027978A (zh) 2018-05-11
CN108027978B true CN108027978B (zh) 2023-09-22

Family

ID=54337211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054233.7A Active CN108027978B (zh) 2015-09-18 2016-09-19 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定

Country Status (6)

Country Link
US (1) US10721484B2 (zh)
EP (1) EP3350774A1 (zh)
JP (1) JP6990172B2 (zh)
KR (1) KR102538197B1 (zh)
CN (1) CN108027978B (zh)
WO (1) WO2017046408A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086402A (ja) * 1999-09-09 2001-03-30 Nec Corp 高ダイナミックレンジ画像処理装置および方法
CN1529516A (zh) * 1998-06-02 2004-09-15 德国汤姆森-布兰特有限公司 对视频图像的对比度进行动态改进所用的方法及设备
CN101647292A (zh) * 2007-02-12 2010-02-10 英特尔公司 色度视频信号的运动自适应上采样
WO2012122426A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding
CN103458243A (zh) * 2005-04-13 2013-12-18 汤姆逊许可公司 视频解码方法和设备
CN103503429A (zh) * 2011-04-15 2014-01-08 杜比实验室特许公司 编码、解码和表现高动态范围图像
CN103650512A (zh) * 2011-07-12 2014-03-19 英特尔公司 基于亮度的色度帧内预测
CN103918269A (zh) * 2012-01-04 2014-07-09 联发科技(新加坡)私人有限公司 基于亮度的色度帧内预测方法及装置
CN104160706A (zh) * 2012-01-20 2014-11-19 诺基亚公司 用于视频编码的方法以及用于其的装置、计算机程序产品、系统和模块
CN104541301A (zh) * 2012-03-26 2015-04-22 皇家飞利浦有限公司 用于hdr图像编码和解码的基于视亮度区域的装置和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8175158B2 (en) 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
GB2503875B (en) * 2012-06-29 2015-06-10 Canon Kk Method and device for encoding or decoding an image
EP2894857A1 (en) * 2014-01-10 2015-07-15 Thomson Licensing Method and apparatus for encoding image data and method and apparatus for decoding image data
JP2015170905A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
US9832388B2 (en) * 2014-08-04 2017-11-28 Nvidia Corporation Deinterleaving interleaved high dynamic range image by using YUV interpolation
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
CN107211130B (zh) 2015-01-30 2020-07-24 交互数字Vc控股公司 对彩色画面进行编码和解码的方法和装置
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
WO2017032646A1 (en) 2015-08-24 2017-03-02 Thomson Licensing Coding and decoding method and corresponding devices
WO2017053849A1 (en) * 2015-09-23 2017-03-30 Arris Enterprises Llc Single layer high dynamic range coding with standard dynamic range backward compatibility
JP6619888B2 (ja) * 2016-01-28 2019-12-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrビデオの符号化及び復号化
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1529516A (zh) * 1998-06-02 2004-09-15 德国汤姆森-布兰特有限公司 对视频图像的对比度进行动态改进所用的方法及设备
JP2001086402A (ja) * 1999-09-09 2001-03-30 Nec Corp 高ダイナミックレンジ画像処理装置および方法
CN103458243A (zh) * 2005-04-13 2013-12-18 汤姆逊许可公司 视频解码方法和设备
CN101647292A (zh) * 2007-02-12 2010-02-10 英特尔公司 色度视频信号的运动自适应上采样
WO2012122426A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding
CN103503429A (zh) * 2011-04-15 2014-01-08 杜比实验室特许公司 编码、解码和表现高动态范围图像
CN103650512A (zh) * 2011-07-12 2014-03-19 英特尔公司 基于亮度的色度帧内预测
CN103918269A (zh) * 2012-01-04 2014-07-09 联发科技(新加坡)私人有限公司 基于亮度的色度帧内预测方法及装置
CN104160706A (zh) * 2012-01-20 2014-11-19 诺基亚公司 用于视频编码的方法以及用于其的装置、计算机程序产品、系统和模块
CN104541301A (zh) * 2012-03-26 2015-04-22 皇家飞利浦有限公司 用于hdr图像编码和解码的基于视亮度区域的装置和方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Visually_Favorable_Tone-Mapping_With_High_Compression_Performance_in_Bit-Depth_Scalable_Video_Coding;Zicong Mai等;《IEEE Transactions on Multimedia》;20131130;第15卷(第7期);第1503-1518页 *
基于DCT域的MPEG-2视频色度格式转换;王兴国等;《中国图象图形学报》;20020331;第7卷(第3期);第302-308页 *
基于颜色色差的彩色图像压缩技术研究;姚军财等;《液晶与显示》;20120630;第27卷(第3期);第391-395页 *
多媒体传感器网络中基于颜色空间的图像融合方案;王玉斐;王汝传;曾鸣;黄海平;孙力娟;肖甫;;电子学报(第08期);全文 *
高动态范围图像的色阶重建方法综述;刘辉;胡敏;;吉首大学学报(自然科学版)(第05期);全文 *

Also Published As

Publication number Publication date
US20180270490A1 (en) 2018-09-20
KR20180054623A (ko) 2018-05-24
JP6990172B2 (ja) 2022-01-12
EP3350774A1 (en) 2018-07-25
WO2017046408A1 (en) 2017-03-23
KR102538197B1 (ko) 2023-05-30
CN108027978A (zh) 2018-05-11
US10721484B2 (en) 2020-07-21
JP2018535569A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN113170218B (zh) 具有多级增强和可调编码格式的视频信号增强解码器
CN108513134B (zh) 根据解码后的图像数据重建图像数据的方法和设备
CN110521198B (zh) 用于重构hdr图像的方法和设备
US11741585B2 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
JP2017017684A (ja) 高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための方法およびデバイス
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
CN108027978B (zh) 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定
KR102369771B1 (ko) 디스플레이 적응형 hdr 이미지를 재구성하기 위한 방법 및 디바이스
JP2019097013A (ja) ディスプレイ適合hdr画像を再構成する方法およびデバイス
JP7464537B2 (ja) 画像を符号化するための方法および装置
RU2776101C1 (ru) Способ и устройство для восстановления адаптированного к дисплею изображения hdr
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
US20230412813A1 (en) Enhancement decoder for video signals with multi-level enhancement and coding format adjustment
EP3528201A1 (en) Method and device for controlling saturation in a hdr image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191111

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holdings

Address before: The French Yixilaimu Leo City

Applicant before: THOMSON LICENSING

GR01 Patent grant
GR01 Patent grant