CN110741623B - 用于色域映射的方法和设备 - Google Patents

用于色域映射的方法和设备 Download PDF

Info

Publication number
CN110741623B
CN110741623B CN201880038803.2A CN201880038803A CN110741623B CN 110741623 B CN110741623 B CN 110741623B CN 201880038803 A CN201880038803 A CN 201880038803A CN 110741623 B CN110741623 B CN 110741623B
Authority
CN
China
Prior art keywords
color
luminance
gamut
chromaticity
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880038803.2A
Other languages
English (en)
Other versions
CN110741623A (zh
Inventor
C.特鲍尔特
J.斯陶德
A.马赞特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN110741623A publication Critical patent/CN110741623A/zh
Application granted granted Critical
Publication of CN110741623B publication Critical patent/CN110741623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6061Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut involving the consideration or construction of a gamut surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Abstract

本原理涉及用于从第一色域向第二色域进行色域映射的方法和设备。该方法包括在恒定色调平面中,在恒定亮度下将颜色的色度从第一色域向第二色域进行映射。色度映射还包括获得第二色域边界上的目标颜色,其中目标颜色的亮度大于或等于第一色域的最大色度的颜色的亮度,并且其中目标颜色的亮度低于第二色域的最大色度的颜色的亮度。在颜色的亮度大于目标颜色的亮度的情况下,色度映射包括通过应用于亮度的色度递减函数在恒定亮度下映射第一色域边界上的颜色的色度,其中应用于目标颜色的亮度和白色的亮度的递减函数的相应输出是目标颜色的色度和白色的色度。

Description

用于色域映射的方法和设备
技术领域
本原理通常涉及图像/视频编码/解码。具体地但不排他地,本原理的技术领域涉及其像素值属于高动态范围的图像的色域映射以及其像素值属于低动态范围的图像的逆色域映射。
背景技术
本部分旨在向读者介绍技术的各个方面,其可能与以下描述和/或要求保护的本原理的各个方面有关。相信该讨论有助于向读者提供背景信息,以便于更好地理解本原理的各个方面。因此,应该理解的是,这些陈述要在该角度上解读,而不是作为对现有技术的承认。
在下文中,图像包含特定图像/视频格式的一个或若干个样本(像素值)阵列,其指定与图像(或视频)的像素值有关的所有信息,以及可以由显示器和/或任何其他设备使用以例如对图像(或视频)进行可视化和/或解码的所有信息。图像包括呈第一样本阵列的形状的至少一个分量,通常是照度(luma或luminance)分量,并且可能包括呈至少一个其他样本阵列的形状的至少一个其他分量,通常是色度分量。或者,等效地,相同的信息也可以由颜色样本阵列的集合来表示,诸如传统的三色RGB表示。
像素值由C个值的矢量表示,其中C是分量的数量。矢量的每个值用定义像素值的最大动态范围的多个比特表示。
低动态范围图像(LDR图像)是其照度值用有限数量的比特(常常是8个或10个)表示的图像。这种有限的表示不允许正确呈现小信号变化,特别是在暗和亮的照度范围内。在高动态范围图像(HDR图像)中,将信号表示进行扩展,以便在信号的整个范围内保持信号的高精度。在HDR图像中,表示照度水平的像素值通常以浮点格式表示(每个分量为32比特或16比特,即浮点或半浮点),最流行的格式是openEXR半浮点格式(每个RGB分量16比特,即每个像素48比特)或者以具有长表示的整数表示,典型地为至少16比特。
高效视频编码(HEVC)标准(ITU-T H.265ITU电信标准化部门(10/2014),系列H:视听和多媒体系统,视听服务的基础设施-运动视频编码,高效视频编码,ITU-T H.265建议书)的到来使得能够部署具有增强的观看体验的新视频服务,诸如超高清广播服务。除了提高空间分辨率外,与当前部署的标准动态范围(SDR)HD-TV相比,超高清可以带来更宽的色域(WCG)和更高的动态范围(HDR)。已提出针对HDR/WCG视频的表示和编码的不同解决方案(SMPTE 2014,“母版处理参考显示的高动态范围电光传递函数(High Dynamic RangeElectro-Optical Transfer Function of Mastering Reference Displays)”,或SMPTEST 2084,2014,或Diaz,R.、Blinstein,S.和Qu,S的“利用高动态范围视频管线的集成HEVC视频压缩(Integrating HEVC Video Compression with a High Dynamic Range VideoPipeline)”,SMPTE运动成像杂志,第125卷,第1期,2016年2月,第14-21页)。
在诸如广播或多播系统的一些视频分发系统中,与解码和呈现设备的SDR向后兼容性是重要特征。
双层编码是支持该特征的一种解决方案。但是,由于其多层设计,该解决方案并不适配于所有分发工作流程。
替代方案是如ETSI建议书ETSI TS 103 433定义的单层HDR分发解决方案。读者还可以参考IBC 2016文章(“具有SDR兼容性的单层HDR视频编码框架(A single-Layer HDRvideo coding framework with SDR compatibility)”,E.
Figure BDA0002313102520000021
和L.Van de Kerkhof,IBC 2016)以获取更多细节。该单层分发解决方案是SDR兼容的,并且利用已有的SDR分发网络和服务。它使得能够在启用HDR的CE(消费电子)设备上进行高质量HDR呈现,同时也在SDRCE设备上提供高质量SDR呈现。
该单层分发解决方案基于单层编码/解码过程,并且与编解码器无关(10比特编解码器是建议的)。
该单层分发解决方案使用可以在后处理阶段中使用的侧元数据(side metadata)(每个视频帧或场景几个字节的侧元数据),以从解码的SDR信号重建HDR信号。
当解码的SDR信号和重建的HDR信号不具有相同的颜色空间时,可以在这种后处理阶段中使用逆色域映射(是在HDR编码的预处理阶段中的色域映射的对偶函数)。在实践中,色域可以由诸如NTSC、ITU-R BT rec.709(“rec.709”)、ITU-R BT rec.2020(“rec.2020”)、Adobe RGB、DCI-P3之类的标准或者任何其他现有或将来的颜色再现标准或者任何其他颜色变化约束来定义。在HDR/WCG的单层分发的情况下,“色域映射”是将较宽色域的颜色(“源颜色”)映射或重新分布到较窄色域的颜色(“目标颜色”)的处理。当尝试定义将源色域(具有它自己的源边界)中的源颜色映射成位于目标色域(具有它自己的目标边界)中的目标颜色的方法以便利用目标色域中的整个颜色范围时,已经知道根据不同条件来定义色域映射,其中边界映射条件为:任何源边界颜色应被映射成目标边界颜色。然而,这种色域映射是有问题的,因为它导致褪色,如图1a上所示。图1a和图1b示出了根据现有技术的色调叶中的色域映射。色调叶是色域在恒定色调(图1a上的黄色,图1b上的蓝色)下的平面截面。通过在恒定亮度值下缩放色度值来执行边界色域映射。图1a示出了源尖端(cusp)颜色(源黄色)比目标尖端颜色亮的情况,这意味着在该色调叶中,具有最大色度的源颜色(源黄色)的亮度大于(亮于)具有最大色度的目标颜色(目标尖端颜色)的亮度。本领域技术人员将理解,如果源尖端颜色(图1a上的源黄色)对应于源色域的黄原色,则目标尖端颜色可能不一定对应于目标色域的黄原色,因为源色域的黄原色和目标色域的黄原色可能具有不同的色调。如图1a上所示,在没有亮度映射的情况下,源黄色被映射为淡黄色(faded yellow)(在恒定亮度下映射的黄色),该淡黄色是黄色和白色的混合。此外,源边界上具有增加的色度和亮度值的一些颜色(S0段上)从而被映射为目标边界上具有减小的色度值和增加的亮度值的颜色(S1段上)。这在视觉上特别尴尬。图1b示出了源尖端颜色(图1b上的源蓝色)比对应的目标尖端颜色暗的情况,这意味着在该色调叶中,具有最大色度的源颜色(源蓝色)的亮度低于(暗于)具有最大色度的目标颜色(目标尖端颜色)的亮度。如图1b上所示,在没有亮度映射的情况下,源蓝色(对应于具有最大色度的颜色)被映射为具有相同亮度的蓝色(在恒定亮度下映射的蓝色),但不对应于目标色域中具有最大色度的颜色。如图1b上所示,源尖端颜色(源蓝色)没有被映射为目标色域中该色调叶的最饱和颜色(目标尖端颜色)。因此,在没有亮度映射的情况下,源蓝色被映射为具有相同亮度但饱和度降低的蓝色(在恒定亮度下映射的蓝色)。然而,如图1b上所示,源色域中的表示与源蓝色相比的淡蓝色的另一颜色(源颜色)被映射为目标色域中该色调叶的最饱和颜色(目标尖端颜色),使得目标图像中的映射颜色(目标尖端颜色)将相对于在恒定亮度下映射的蓝色在感官上太饱和。这是饱和度的反转。实际上,利用已知的色度映射方法,源颜色段(S2)和映射颜色段(S3)具有相反的饱和度斜率。对于黄色色调叶出现同样的问题。类似地,在目标图像中,在恒定亮度下映射的黄色将相对于映射颜色(目标尖端颜色)在感官上不够饱和。图1c上所示的避免饱和度反转的一种可能的解决方案是应用初始亮度映射,以使源尖端颜色的亮度与目标尖端颜色的亮度对齐。但是,这种解决方案将增加源蓝色的映射颜色的亮度。这改变色域映射后图像的对比度,从而改变艺术意图:在该示例中,蓝色变得更亮,而黄色变得更暗。
因此,为了增强HDR信号的呈现,需要一种在避免或至少减少饱和度反转的同时更好地保持图像对比度的可逆色域映射方法。
发明内容
以下呈现本原理的简化概述,以便提供对本原理的一些方面的基本理解。该概述不是本原理的全面概述。它并不旨在确定本原理的关键或重要元素。以下概述仅以简化形式来呈现本原理的一些方面,作为下面提供的更详细描述的序言。
本原理提出了一种可还原的色度映射,该色度映射减少由恒定亮度下的色度映射引起的饱和度反转。这通过执行尊重源色域的斜率的新的色度映射来实现。对应于目标色域的较亮或较暗部分的修改,公开了两个实施例。
根据第一方面,公开了一种用于将颜色从第一色域(源色域)向第二色域(目标色域)进行色域映射的方法。该方法包括:在恒定色调平面中,获得第二色域边界上的目标颜色,其中目标颜色的亮度大于或等于第一色域的最大色度的颜色(源尖端颜色)的亮度,并且其中目标颜色的亮度低于第二色域的最大色度的颜色(目标尖端颜色)的亮度;以及在颜色的亮度大于目标颜色的亮度的情况下,通过应用于亮度的色度递减函数在恒定亮度下映射第一色域边界上的颜色的色度,其中应用于目标颜色的亮度和白色的亮度的递减函数的相应输出是目标颜色的色度和白色的色度。该第一特定实施例适用于目标尖端颜色的亮度高于源尖端颜色的亮度的情况。
根据特定特性,该方法还包括:对于该颜色,确定恒定亮度下的第一色域边界上的颜色;以及在该颜色的亮度大于目标颜色的亮度的情况下,关于用递减函数映射的所确定的第一色域边界上的颜色,执行颜色的恒定亮度下的色度映射。该特定特性允许映射色调叶中的任何颜色,而不仅是第一色域边界上的颜色。
根据另一特定特性,该方法还包括:获得中间目标颜色,并响应于目标颜色、白色和中间目标颜色来确定应用于亮度的色度递减函数。该特定特性允许进一步定义递减函数。
根据另一特定特性,目标颜色在第二色域边界上,并且目标颜色的亮度是源尖端颜色的亮度与目标尖端颜色的亮度之间的线性插值。该特定特性允许在饱和度反转范围和第二色域中映射颜色的重新划分之间的自适应折中。
根据另一特定特性,目标颜色在第二色域边界上,并且目标颜色的亮度等于源尖端颜色的亮度。该特定特性允许避免饱和度反转。
根据另一特定特性,源尖端颜色选自原色和间色(secondary color)的组。该特定特性允许减少要提供的目标颜色的数量。本领域技术人员将理解,对于在原色的色调叶和间色的色调叶之间的色调叶,对目标颜色进行插值。
根据另一特定特性,获得目标颜色包括:接收与用于可逆色域映射的参数相关的元数据。
根据第二特定实施例,在目标尖端颜色的亮度低于源尖端颜色的亮度的情况下,该方法包括:获得第二色域边界上的目标颜色,其中目标颜色的亮度大于第二色域的最大色度的颜色(目标尖端颜色)的亮度,并且其中目标颜色的亮度低于或等于第一色域的最大色度的颜色(源尖端颜色)的亮度。在颜色的亮度低于目标颜色的亮度的情况下,色度映射包括通过应用于亮度的色度递增函数在恒定亮度下映射第一色域边界上的颜色的色度,其中应用于目标颜色的亮度和黑色的亮度的递增函数的相应输出是目标颜色的色度和黑色的色度。对于第一实施例描述的任何特定特性经必要修改都适用于该第二实施例。
根据第二方面,公开了一种用于从第一色域向第二色域进行色域映射的设备。该设备包括处理器,该处理器被配置为在恒定色调平面中获得第二色域边界上的目标颜色,其中目标颜色的亮度大于或等于第一色域的最大色度的颜色(源尖端颜色)的亮度,并且其中目标颜色的亮度低于第二色域的最大色度的颜色(目标尖端颜色)的亮度;以及在颜色的亮度大于目标颜色的亮度的情况下,处理器还被配置为通过应用于亮度的色度递减函数在恒定亮度下映射第一色域边界上的颜色的色度,其中应用于目标颜色的亮度和白色的亮度的递减函数的相应输出是目标颜色的色度和白色的色度。
根据第三方面,公开了一种具有SDR视频和用于可逆色域映射的参数值的信号。该信号被进一步格式化以包括用于实现可逆色域映射的targetCroppingMode、crpWeightFactor。
根据第四方面,一种非暂时性处理器可读介质,其内容存储SDR视频和与用于可逆色域映射的参数相关的元数据,该非暂时性处理器可读介质还包括用于实现可逆性色域映射的targetCroppingMode、crpWeightFactor。
根据第五方面,公开了一种计算机程序产品,该计算机程序产品包括当在计算机上执行该程序时执行所公开的方法中的任何一个的步骤的程序代码指令。
根据第六方面,公开了一种处理器可读介质,该处理器可读介质中存储有用于使处理器至少执行任何所公开的方法的步骤的指令。
根据第七方面,公开了一种非暂时性程序存储设备,该非暂时性程序存储设备可由计算机读取,有形地体现可由计算机执行以执行任何所公开的方法的指令的程序。
尽管没有明确描述,但是可以以任何组合或子组合来采用本实施例。此外,针对方法描述的任何特性或实施例与旨在处理所公开的方法的设备以及与存储程序指令的计算机可读存储介质兼容。
附图说明
在附图中,示出了本原理的示例。其示出了:
-图1a示出了根据现有技术的色调叶中的色域映射;
-图1b示出了根据现有技术的另一色调叶中的色域映射;
-图1c示出了根据现有技术的色调叶中的色域映射;
-图2示出了支持内容产生以及递送到HDR和SDR显示器的端到端工作流程;
-图3a更详细地描绘了预处理阶段;
-图3b更详细地描绘了HDR到SDR分解;
-图4a更详细地描绘了后处理阶段;
-图4b更详细地描绘了HDR重建过程;
-图5示出了根据本原理的示例的用于可逆色域映射的方法的步骤的框图;
-图6a、图6b、图6c和图6d示出了根据本原理的示例的色调叶中的色度映射;
-图7示出了根据本原理的示例的设备的架构的示例;以及
-图8示出了根据本原理的示例的通过通信网络进行通信的两个远程设备;
相似或相同的元件用相同的参考标号来引用。
具体实施方式
在下文中将参考附图更全面地描述本原理,在附图中示出了本原理的示例。然而,本原理可以以许多替代形式来体现,并且不应被解释为限于在此阐述的示例。因此,尽管本原理易于有各种修改和替代形式,但是通过附图中的示例的方式示出其具体示例,并且将在此详细描述。然而,应理解,无意将本原理限制为所公开的特定形式,而是相反,本公开要涵盖落入如由权利要求限定的本原理的精神和范围内的所有修改、等同物和替代物。
在此使用的术语仅出于描述特定示例的目的,而无意于限制本原理。如在此所使用的,单数形式“一(a)”,“一(an)”和“该”也意图包括复数形式,除非上下文另外明确指出。还将理解的是,当在本说明书中使用时,术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”和/或“包含(including)”指定存在所陈述的特征、整数、步骤、操作、元件和/或组件,但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。此外,当元件被称为“响应”或“连接”于另一元件时,它可以直接响应或连接于另一元件,或者可以存在中间元件。相反,当元件被称为“直接响应”或“直接连接”于其他元件时,不存在中间元件。如在此所使用的,术语“和/或”包括相关联的所列项中的一个或多个的任何和所有组合,并且可以缩写为“/”。
将理解,尽管可以在此使用术语第一、第二等来描述各种元件,但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元件和另一个元件。例如,在不脱离本原理的教导的情况下,第一元件可以被称为第二元件,并且类似地,第二元件可以被称为第一元件。
尽管一些图包括通信路径上的箭头以示出通信的主要方向,但是要理解,通信可以发生在与所描绘的箭头相反的方向上。
关于框图和操作流程图描述一些示例,其中每个框表示电路元件、模块或包括用于实现(多个)指定的逻辑功能的一个或多个可执行指令的代码的一部分。还应当注意,在其他实现方式中,框中标注的(多个)功能可以不按标注的顺序发生。例如,取决于所涉及的功能,连续示出的两个框实际上可以基本同时执行,或者有时可以以相反的顺序执行。
在此对“根据示例”或“在示例中”的引用是指结合示例描述的特定特征、结构或特性可以包括在本原理的至少一个实现方式中。在说明书中各处的短语“根据示例”或“在示例中”的出现不一定都指代相同的示例,单独或替代的示例也不一定与其他示例相互排斥。
出现在权利要求中的参考标号仅作为说明,并且应对权利要求的范围没有限制作用。
尽管没有明确描述,但是可以以任何组合或子组合来采用本示例和变型。
本原理针对解码图像来描述,但是扩展到图像序列(视频)的解码,因为序列的每个图像被顺序地编码/解码,如下所述。
图2示出了支持内容产生以及递送到HDR和SDR显示器的端到端工作流程。它涉及具有例如在ETSI建议书ETSI TS 103 433中定义的侧元数据的单层SDR/HDR编码-解码。读者还可以参考IBC 2016文章(“具有SDR兼容性的单层HDR视频编码框架(A single-LayerHDR video coding framework with SDR compatibility)”,E.
Figure BDA0002313102520000081
和L.Van deKerkhof,IBC 2016)以获取更多细节。
在预处理阶段,将传入的HDR视频分解为SDR视频和元数据。然后,用任何SDR视频编解码器对SDR视频进行编码,并且在整个现有SDR分发网络中承载SDR比特流,具有在特定通道上传送的或嵌入在SDR比特流中的伴随元数据。
优选地,视频编解码器是HEVC编解码器,诸如H.265/HEVC编解码器或H.264/AVC。
在与H.265/HEVC或H.264/AVC编解码器结合使用时,元数据典型地由SEI消息承载。
对SDR比特流进行解码,然后经解码的SDR视频可用于SDR消费电子(CE)显示器。
接下来,在功能上为预处理阶段的逆的后处理阶段,从解码的SDR视频和获得自特定通道或SDR比特流的元数据重建HDR视频。
图3a更详细地描绘了预处理阶段。
预处理阶段的核心组成是HDR到SDR分解,该分解从HDR视频生成SDR视频和元数据。
更准确地,根据以下公开的实施例,HDR到SDR分解旨在将以特定输入格式表示的HDR视频转换为以特定输出格式表示的SDR视频,但是本原理不限于特定的输入/输出格式(颜色空间或色域)。
可选地,HDR视频的格式(相应地,SDR视频的格式)可以适配于所述特定输入格式(相应地,特定输出格式)。
所述输入/输出格式适配可以包括颜色空间转换和/或色域映射。可以使用通常的格式适配处理,诸如RGB到YUV或YUV到RGB转换、BT.709到BT.2020或BT.2020到BT.709、下采样或上采样色度分量等等。
HDR到SDR分解旨在将输入的线性光4:4:4RGB HDR视频转换为SDR兼容版本。该过程使用静态元数据,诸如HDR和SDR图像容器的颜色原色和色域。
可选地,HDR视频的格式可以预先适配于预处理阶段的预定输入格式,以及/或者当HDR视频(HDR分解阶段的输入)和SDR视频(HDR分解阶段的输出)在不同的颜色空间中表示时,可以使用色域映射。
图3b更详细地描绘了HDR到SDR分解。
在下文中,HDR视频样本在RGB颜色空间(特定输入格式)中表示,并且SDR视频样本在RGB颜色空间(特定输出格式)中表示。
在步骤1中,每个图像地分析HDR视频,以导出映射参数集,该映射参数集将进一步用于将HDR视频转换成SDR视频。
在步骤2中,将要分解的HDR视频的当前图像的照度分量L照度映射为SDR照度分量Yl。所得信号是SDR照度(SDR照度分量Yl),由下式给出:
Figure BDA0002313102520000091
Yl=TM[L] (2)
其中A=[A1A2A3]T是常规的3×3R'G'B'到Y'CbCr转换矩阵(例如,如ITU-RRec.BT.2020或ITU-R Rec.BT.709中所指定的,这取决于颜色空间),A1A2A3是1×3矩阵。
在图3b的步骤3中,如下导出色度分量。首先,通过比率(Yl/L)来缩放输入HDR视频的R、G、B值,这得到RGB的线性光SDR版本。然后,应用平方根,以重现接近于ITU-RRec.BT.709OETF(光电传递函数)的传递函数。注意,平方根的使用保证了过程的可逆性。
将所得的R、G、B信号转换为色度分量Ul、Vl
Figure BDA0002313102520000101
在步骤4中,应用最终颜色校正,以使SDR颜色与HDR视频颜色匹配。首先,通过缩放因子1/β(Yl)来调整色度分量,其中β(Yl)是能够控制所得SDR视频的颜色饱和度和色调的函数。
Figure BDA0002313102520000102
该步骤允许控制SDR颜色并保证它们与HDR颜色匹配。
在步骤6中,当在不同于HDR图片的目标BT.2020色域(如由变量recPicColourSpace指定)的BT.709色域(如由变量prePicColourSpace指定)中提供SDR到HDR重建过程的输入SDR图片时,可以应用可逆色域映射处理。定义颜色向后兼容性,以便SDR CE接收器仅支持BT.709颜色空间,而要使用SL-HDR1分发的视频可以支持BT.2020颜色空间。当recPicColourSpace不等于prePicColourSpace时,在HDR到SDR分解侧,应将WCGHDR视频转换为标准色域SDR视频(加上元数据),而在HDR重建侧的逆处理通过根据标准色域SDR视频(加上元数据)呈现WCG HDR视频来还原该转换。这两个颜色处理的级联应在视觉上无损,而标准色域SDR视频应以最小损害完全保留原始WCG HDR视频的艺术意图。颜色重建(逆色域映射)和压缩(色域映射)转换二者被指定为倒易的(reciprocal)。
在步骤5中,将与照度映射(步骤2)、颜色校正(步骤4)和可逆色域映射(步骤6)相关的元数据传送到后处理阶段。元数据作为静态元数据(在参数不随图片改变的情况下)或动态元数据(在参数随图片改变的情况下,如照度映射)被传送。
这些元数据使得能够精细地控制SDR版本的纹理和颜色,并确保良好地符合HDR意图。
图4a更详细地描绘了后处理阶段。
后处理阶段的核心组成是SDR到HDR重建,该重建从(解码的)SDR视频和元数据重建HDR视频。
更准确地,根据以下公开的实施例,HDR重建旨在将以特定输入格式表示的SDR视频转换为以特定输出格式表示的输出HDR视频,但是本原理不限于特定的输入/输出特定格式(颜色空间或色域)。
所述输入或输出格式适配可以包括颜色空间转换和/或色域映射。可以使用通常的格式适配处理,诸如RGB到YUV或YUV到RGB转换、BT.709到BT.2020或BT.2020到BT.709等等。例如,请参见ETSI建议书ETSI TS 103433的附录D,提供了逆色域映射的用例。
可选地,可以使重建的HDR视频的格式适配于目标系统特性(例如机顶盒、连网电视),以及/或者当解码的SDR视频(HDR重建阶段的输入)和重建的HDR视频(HDR重建阶段的输出)以不同的颜色空间和/或色域表示时,可以使用逆色域映射。
图4b更详细地描绘了HDR重建过程。
HDR重建是HDR到SDR分解(图3b)的功能性的逆。但是,由于实现方式复杂性的原因,某些操作以不同的顺序衔接或应用。
在步骤31中,例如从SDR比特流或从特定通道获得动态和/或静态元数据。
在步骤32中,从所获得的元数据导出照度映射查找表lutMapY(1D查找表)。该照度映射查找表对应于照度映射曲线的平方根的倒数。
在步骤33中,从所获得的动态元数据中导出颜色校正查找表lutCC。通过以下公式将颜色校正查找表lutCC链接到预处理颜色校正βp(Yl)(公式4)和照度映射查找表lutMapY:
β[Y]=2B×lutMapY[Y]×lutCC[Y] (5)
其中B是解码的SDR图像的照度分量的比特深度。
在步骤34中,通过使用导出的与照度相关的查找表lutMapY和导出的颜色校正查找表lutCC将HDR重建应用于解码的SDR视频的图像,来重建重建的HDR视频(线性光HDR视频)的图像。在步骤36中,颜色重建或逆色域映射处理使得能够从具有相关联的元数据的标准色域图片生成宽色域图片。该处理针对4:4:4色度采样和全范围YUV线性光信号而定义。得益于常规的R'G'B'到Y'CbCr矩阵(通过SMPTE RP 177[i.8]计算),输入的YUV信号来自输入的RGB线性光信号(SDR到HDR重建过程34的输出)到YUV颜色空间的转换。该处理还可以包括根据所描述的实施例的色度重新映射、亮度重新映射(如果有的话)和色调重新映射。
后处理对照度映射查表lutMapY(步骤32)、颜色校正查找表lutCC(步骤33)、和定义了保留饱和度斜率的色度映射的逆色域映射参数(步骤35)进行操作。根据重要的构思,所公开的色度映射在恒定亮度下进行操作,并且使用目标色域的裁剪版本,使得源色域中具有最大色度的颜色的亮度与目标色域的裁剪版本中具有最大色度的颜色的亮度几乎相同。此外,针对源边界和目标边界确定相同的边界斜率。因此,对定义色度映射模式以及每个原色和间色所需的色域裁剪量的参数进行定义。各个表和参数从元数据(步骤31)导出。
可以根据所谓的基于参数的模式或基于表的模式将元数据作为动态元数据来传送(步骤5),以便根据所获得的动态元数据(步骤31)导出照度映射查找表lutMapY(步骤32)和颜色校正查找表lutCC(步骤33)。与逆色域映射相关的元数据可以作为静态元数据来传送(步骤5)。在步骤5中要传送的一些元数据是代表色度映射方法的色度映射参数以及代表每个原色和/或间色所需的目标颜色的色度映射参数(ETSI建议书ETSI TS 103 433第6.3.10条)。因此,将描述以下参数:targetCroppingMode和crpWeightFactor。
targetCroppingMode
该变量指示可逆色域映射所使用的标准色域的裁剪模式。targetCroppingMode的值应如下表中定义:
Figure BDA0002313102520000121
Figure BDA0002313102520000131
crpWeightFactor
六个变量的该数组指定在目标色域裁剪处理中要应用于每个原色和间色的权重。应仅在targetCroppingMode等于3时调用该数组。索引值c等于0应当对应于红原色,c等于1应当对应于品红间色,c等于2应当对应于蓝原色,c等于3应当对应于青间色,c等于4应当对应于绿原色,c等于5应当对应于黄间色。crpWeightFactor[c]的值在步长为9/128的有界范围[0/128…135/128]内。
这些参数在ESTI建议书的较新版本中分别重命名为croppingModeSCG和cmWeightFactor。
可以使用HEVC色量重建信息(CVRI)用户数据注册的SEI消息来传送这些元数据,该SEI消息的语法基于SMPTE ST 2094-20规范(ETSI建议书ETSI TS 103 433附录A.3)。
在步骤31中,CVRI SEI消息因此被解析以获得照度映射参数、颜色校正参数和逆色域参数。
在步骤32中,从所获得的照度映射参数重建(导出)照度映射查找表lutMapY(参见ETSI TS 103 433的第7.2.3.1条以获取更多细节)。
在步骤33中,从所获得的颜色校正参数重建(导出)颜色校正查找表lutCC(参见ETSI TS 103 433的第7.2.3.2条以获取更多细节)。
在步骤35中,利用色域映射方法,如后所述,从所获得的逆色域映射参数确定(导出)色度映射的特征(即目标颜色)。色度映射参数提供对所有颜色进行全局色度映射、或仅映射冷色(诸如与源尖端色比目标尖端颜色暗的颜色相对应的蓝色、青色和绿色)或对每个单独的原色和间色的恒定亮度下的色度映射进行加权的可能性。
这些元数据可以使用HEVC颜色重新映射信息(CRI)SEI消息作为动态元数据来传送,该SEI消息的语法基于SMPTE ST 2094-30规范(ETSI建议书ETSI TS 103 433附录A.4)。
注意,静态元数据也可以由后处理阶段使用,并由SEI消息来传送。例如,targetCroppingMode和crpWeightFactor可以由如ETSI TS 103 433(第A.2.2条)所定义的TS 103 433信息(TSI)用户数据注册的SEI消息(payloadMode)来承载。静态元数据(诸如例如颜色原色或最大显示母版处理显示照度)由如在AVC、HEVC中定义的母版处理显示色量(MDCV)SEI消息来传送。
图5示出了根据本原理的示例的用于可逆色域映射的方法的步骤的框图。该方法与产生SDR图像和元数据的任何HDR到SDR分解过程兼容。出于说明性的目的,色域映射方法是如结合图3b描述的HDR到SDR分解过程的一部分(步骤6)。当要将宽色域HDR视频转换为标准色域SDR视频时,该过程特别适用。有利地,根据本原理的恒定亮度下的色度映射防止或减少饱和度反转,以便更好地保留HDR图像的源颜色的意图。如图6a、图6b、图6c和图6d上所示,将色度映射的输出裁剪到目标色域的灰色区域中。然而,由于该方法是完全可逆的,因此该方法还与产生HDR图像的任何SDR到HDR重建过程兼容。出于说明性的目的,色域映射方法也是如结合图4b描述的SDR到HDR重建过程的一部分(步骤36)。当要将标准色域SDR视频转换回宽色域HDR视频时,该过程特别适用。有利地,逆色域映射将应用在编码器侧的色度校正还原。在保持色调和亮度不变的同时校正色度。然而,该方法还与涉及从第一色域向第二色域进行色域映射的任何过程兼容。HDR视频样本和SDR视频样本可以表示在诸如YUV、CIELUV、L*a*b*或IPT的任何颜色空间中。出于说明性的目的,如图6a、图6b、图6c和图6d上所示,称为颜色的HDR视频样本表示在具有恒定色调的平面中,该平面称为色调叶。
在初始步骤51中,针对第一色域(源色域)的边界上的颜色获得目标颜色。根据图6a上所示的第一变型,目标颜色的亮度(L2)等于第一色域的最大色度的颜色(源尖端颜色)的亮度(L2),并且目标颜色的亮度(L2)低于第二色域的最大色度的颜色(目标尖端颜色)的亮度(L3)。根据图6b上所示的第二变型,目标颜色的亮度(L2)等于第一色域的最大色度的颜色(源尖端颜色)的亮度(L2),并且目标颜色的亮度(L2)大于第二色域的最大色度的颜色(目标尖端颜色)的亮度(L3)。根据图6d上所示的第三变型,目标颜色的亮度(L5)大于第一色域的最大色度的颜色(源尖端颜色)的亮度(L2),并且目标颜色的亮度(L5)低于第二色域的最大色度的颜色(目标尖端颜色)的亮度(L3)。尽管未示出,但是在第四变型中,目标颜色的亮度大于第二色域的最大色度的颜色(目标尖端颜色)的亮度,并且目标颜色的亮度低于第一色域的最大色度的颜色(源尖端颜色)的亮度。有利地,如后所示,第一和第二变型避免了任何饱和度反转,而第三和第四变型将饱和度反转限制到亮度属于第一色域的边界上具有最大色度的颜色(称为源尖端颜色)的亮度(L2)和目标颜色的亮度(L5)之间的区间的颜色。相反,在现有技术的方法中,对于亮度属于源尖端颜色的亮度(L2)和目标尖端颜色的亮度(L3)之间的区间的颜色,发生饱和度反转。源尖端颜色(相应地,目标尖端颜色)属于第一/源色域(相应地,第二/目标色域)的边界,并且具有最大色度,如图6a和图6b上所示。目标颜色代表色度校正量,该色度校正量在目标尖端颜色的亮度高于源尖端颜色的亮度的情况下应用于亮度大于目标颜色的亮度的颜色,或者在目标尖端颜色的亮度低于源尖端颜色的亮度的情况下应用于亮度低于目标颜色的亮度的颜色。根据第一和第二变型,第二色域边界与源尖端颜色的亮度线(L2)之间的交点定义目标颜色。在第三变型中,不针对源尖端颜色的亮度确定目标颜色,而是在第二色域(目标色域)的边界上针对响应于目标尖端颜色的亮度(L3)和源尖端颜色的亮度(L2)的亮度(L5)确定目标颜色,如图6d上所示。例如,目标颜色的亮度(L5)是目标尖端颜色的亮度(L3)和源尖端颜色的亮度(L2)的线性组合。该变型不防止饱和度反转,而是将其限制到亮度包括在源尖端颜色的亮度和目标颜色的亮度之间的颜色的范围内。有利地,该变型是饱和度反转和第二色域的覆盖范围(因为映射颜色属于第二色域的较大部分)之间的折中。根据另一非限制性示例,根据加权因子获得目标颜色的亮度值(L5),该加权因子是第二尖端颜色(源尖端颜色)的亮度(L3)与第二尖端颜色的亮度(L2)之间的亮度值之差的比率(或百分比),例如0.3或30%,但更通常地在区间[0-1]或[0%-100%]中。根据特定特性,颜色是从原色和间色的组中选择的关键颜色。如先前关于变量targetCroppingMode所解释的,色度映射应用于每个原色和间色,或仅应用于它们的一部分(诸如绿原色和蓝原色以及青间色),或者利用加权因子应用于每个原色和间色。因此,加权因子定义给定色调叶中的目标颜色的亮度(L5)。根据非限制性示例,将100%的因子应用于绿原色和蓝原色以及青间色,并且将50%的因子应用于黄间色和品红间色以及红原色。在如图6a上所示的该示例中,目标颜色的亮度(L2)对应于同一色调叶中的第一色域的边界上具有最大色度的源颜色(源尖端颜色)的亮度。根据另一非限制性示例,将50%的因子应用于绿原色和蓝原色以及青间色,并且将0%的因子应用于黄间色和品红间色以及红原色。在如图6d上所示的该示例中,目标颜色的亮度(L5)对应于同一色调叶中的源尖端颜色的亮度与目标尖端颜色的亮度的算术平均值((L2+L3)/2)。换句话说,加权因子定义目标尖端颜色的亮度(L3)与源尖端颜色的亮度(L2)之间的线性插值。有利地,针对关键颜色发送/接收用于获得目标颜色的参数,从而限制元数据的大小。根据颜色是任何颜色(意味着不是关键颜色)的特性,从关键颜色的对应值中对该颜色的目标颜色的值进行插值。根据这些示例,亮度映射有利地限制于某些色调,例如,其在源色域中的尖端颜色的亮度低于在目标色域中的尖端颜色的亮度的色调,如图1a上所示。在图6c上所示的又一第五变型中,利用相同亮度针对第一色域(源色域)的边界上的N个颜色将N(N是大于1的整数)个目标颜色仔细确定为相应的N个色度映射值。这N个目标颜色允许细化色度映射中使用的递增或递减函数。在HDR到SDR分解过程中,定义关键颜色和对应的目标颜色并将其编码为如上所述的可逆色域映射的参数。然后,发送用于可逆色域映射的色度映射参数,用于逆色域映射的元数据。在SDR到HDR重建过程中,接收与用于可逆色域映射的参数相关的元数据,并从接收到的参数中导出关键颜色和对应的目标颜色。
在步骤52中,应用在恒定亮度下从第一色域向第二色域的颜色的色度映射。有利地,该方法与在保持色调和亮度恒定的同时对颜色进行映射的已知方法兼容,意味着输出颜色与原始颜色在相同的恒定亮度线上并且在相同的恒定色调叶中。现在针对图6a的第一变型和图6d的第三变型解释根据本原理的色度映射方法。本领域技术人员将容易地使描述适用于其他变型,诸如图6b的变型。在第一和第三变型(其中目标尖端颜色亮于源尖端颜色(目标颜色介于中间))中,定义代表裁剪的目标色域(图1a上的虚线)的递减函数,使得应用于增加的亮度值的函数的色度值输出是减小的色度值,并且使得裁剪的目标色域边界穿过目标颜色和白色。换句话说,应用于目标颜色的亮度的函数的输出结果是目标颜色的色度,并且应用于白色的亮度的函数的输出结果是白色的色度(为零)。因此,在恒定亮度下映射(523)第一色域边界上的颜色的色度包括,在颜色的亮度大于目标颜色的亮度(并且直到白色的亮度)的情况下对颜色的亮度应用递减函数。对于第一色域边界上的其他颜色,即,在颜色的亮度低于目标颜色的亮度(并且下至黑色的亮度)的情况下,应用已知色度映射。因此,裁剪的目标色域边界遵循对于较亮的值减小源色域边界。在目标颜色的亮度对应于源尖端颜色的亮度的另一变型中,所公开的方法防止饱和度反转,同时避免任何初始亮度映射。本领域技术人员将理解,对于不在第一色域边界上的颜色,映射包括对于该颜色确定恒定亮度下的第一色域边界上的颜色;以及在该颜色的亮度大于目标颜色的亮度(L5)的情况下,关于用递减函数映射的所确定的第一色域边界上的颜色,执行该颜色的恒定亮度下的色度映射。更一般地,对于任何颜色,关于所确定的第一色域边界上的颜色的映射色度,执行该颜色的恒定亮度下的色度映射。根据特定实施例,使用线性色度缩放,该线性色度缩放映射每条恒定亮度线(L1,L2,L3,L4)上的颜色,使得该线(L2)上具有最高色度值的源颜色在该相同的恒定亮度线(L2)上被映射为用递减函数映射的所确定的第一色域边界上的颜色(在颜色的亮度大于目标颜色的亮度(L5)的情况下),或者该相同的恒定亮度线(L2)上的目标色域边界的颜色(在颜色的亮度低于亮度(L5)的情况下)。在蓝原色的情况下,如图6a上所示,由于目标色域的下部是线性的,所以应用于色度的递增函数是与目标色域相对应的仿射函数。此外,在恒定亮度下,在目标颜色和白色之间利用色度递减函数来映射源尖端颜色和白色之间的第一色域边界上的颜色。在蓝原色的情况下,如图6a上所示,由于目标色域是分段线性的,所以应用于色度的递减函数也是连接目标颜色和白色的仿射函数。有利地,在线性颜色空间中,在每个恒定色调叶中,映射颜色仅分布到由黑色、白色以及与源尖端颜色对应的目标颜色所限定的三角形中。换句话说,对映射色域进行裁剪,使得在其边界上,对于大于源尖端颜色的亮度的亮度值,饱和度不随亮度增加。因此,映射色域的形状更接近源色域的形状(因为在源色域的边界上,对于大于尖端颜色的亮度的亮度值,饱和度不随亮度增加)。为了简单起见,在示例中描述仿射函数,但是本原理与任何其他函数兼容。在另一示例中,在每个恒定色调叶中使用的函数是二次函数。根据如图6c上所示的变型,目标色域的上段的一部分或整段(连接白色与尖端目标颜色的线)由与该段相切并且连接N个目标中间颜色的抛物线代替。
为了完整起见,简要说明整个色度映射。在初始测试521中,确定色域边界的较暗或较亮部分被裁剪的变型。因此,如果目标尖端颜色的亮度大于源尖端颜色的亮度,则利用与图6a、图6c和图6d的变型相对应的递减函数523对目标色域的较亮部分进行裁剪。如果目标尖端颜色的亮度低于源尖端颜色的亮度,则利用与图6b的变型相对应的递增函数522对目标色域的较暗部分进行裁剪。
即使所公开的方法允许不使用初始亮度映射,但是该方法仍与亮度映射兼容,以实现令人满意的目标色域中颜色的折中分布以及对比度改变。因此,亮度映射可以用于将源尖端颜色映射为亮度更接近目标尖端颜色的中间目标颜色。这对应于使用亮度映射的色域而不是源色域在亮度映射之后应用所提出的方法。
本领域技术人员将理解,由于对于逆色域映射,源和目标色域边界是相逆的,因此该方法是完全可逆的。实际上,通过使用与前向色域映射期间所使用的相同的递增或递减函数来获得逆色度映射的颜色。
该方法基于需要SDR图像和动态元数据的任何HDR重建过程。
出于说明性的目的,HDR重建过程可以是如结合图4b描述的HDR重建过程。在这种情况下,从解码的SDR图像重建HDR图像。但是,用于重建HDR图像的SDR图像也可以被压缩存储并且无需解码即可获得。
然后,该方法例如通过对SDR比特流进行解码来获得(解码的)SDR图像,该SDR图像的照度值的动态范围低于要重建的HDR图像的照度值的动态范围。
在图2-图5上,模块是功能单元,其可以与可区分的物理单元相关或不相关。例如,这些模块或它们中的一些可以在唯一的组件或电路中集成在一起,或者有助于软件的功能。相反,一些模块可以可能地由单独的物理实体组成。使用纯硬件(例如使用诸如ASIC或FPGA或VLSI(分别是“专用集成电路”、“现场可编程门阵列”、“超大规模集成”)之类的专用硬件)、或者来自嵌入设备中的多个集成电子组件、或者来自硬件和软件组件的混合来实现与本原理兼容的装置。
图7表示设备60的示例性架构,设备60可以被配置为实现关于图2-图5描述的方法。
设备60包含通过数据和地址总线61链接在一起的以下元件:
-微处理器62(或CPU),其例如是DSP(或数字信号处理器);
-ROM(或只读存储器)63;
-RAM(或随机存取存储器)64;
-I/O接口65,用于从应用接收要传输的数据;以及
-电池66。
根据示例,电池66在设备外部。在每个提到的存储器中,说明书中使用的词语“寄存器”可以对应于小容量的区域(一些比特)或非常大的区域(例如整个程序或大量接收或解码的数据)。ROM 63至少包括程序和参数。ROM63可以存储算法和指令以执行根据所描述的实施例的技术。当接通时,CPU62在RAM中上载程序并执行对应的指令。
RAM 64包括寄存器中的由CPU 62执行并在设备60接通之后上载的程序、寄存器中的输入数据、寄存器中的处于方法的不同状态的中间数据以及寄存器中的用于执行方法的其他变量。
在此描述的实现方式可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的上下文中进行讨论(例如,仅作为方法或设备进行讨论),但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以例如在诸如例如处理器的装置中实现,处理器通常指处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备,诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”),以及有助于最终用户之间信息通信的其他设备。
根据编码或编码器的示例,从源获得HDR视频或HDR视频的HDR图像。例如,源属于包括以下的集合:
-本地存储器(63或64),例如视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘;
-存储接口(65),例如与大容量储存器、RAM、闪存、ROM、光盘或磁性支撑件的接口;
-通信接口(65),例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或
Figure BDA0002313102520000191
接口);以及
-图像捕获电路(例如传感器,诸如例如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体))。
根据解码或解码器的示例,将解码的SRD视频或重建的HDR视频发送到目的地;具体地,目的地属于包括以下的集合:
-本地存储器(63或64),例如视频存储器或RAM、闪存、硬盘;
-存储接口(65),例如与大容量储存器、RAM、闪存、ROM、光盘或磁性支撑件的接口;
-通信接口(65),例如有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清多媒体接口)接口)或无线接口(诸如IEEE 802.11接口,
Figure BDA0002313102520000201
Figure BDA0002313102520000202
接口);以及
-显示器。
根据编码或编码器的示例,将SDR比特流和/或承载元数据的其他比特流发送到目的地。作为示例,这些比特流中的一个或两者存储在本地或远程存储器中,例如视频存储器(64)或RAM(64)、硬盘(63)。在变型中,这些比特流中的一个或两者被发送到存储接口(65)(例如与大容量存储器、闪存、ROM、光盘或磁性支撑件的接口),和/或通过通信接口(65)(例如与点对点链路、通信总线、点对多点链路或广播网络的接口)传输。
根据解码或解码器的示例,从源获得SDR比特流和/或承载元数据的其他比特流。示例性地,从本地存储器(例如视频存储器(64)、RAM(64)、ROM(63)、闪存(63)或硬盘(63))读取比特流。在变型中,从存储接口(65)(例如与大容量储存器、RAM、ROM、闪存、光盘或磁性支撑件的接口)接收比特流,和/或从通信接口(65)(例如与点对点链路、总线、对多点链路或广播网络的接口)接收比特流。
根据示例,被配置为实现如上所述的编码方法的设备60属于包括以下的集合:
-移动设备;
-通信设备;
-游戏设备;
-平板(或平板计算机);
-膝上型计算机;
-静止图像相机;
-摄像机;
-编码芯片;
-静止图像服务器;以及
-视频服务器(例如,广播服务器、视频点播服务器或网络服务器)。
根据示例,被配置为实现如上所述的解码方法的设备60属于包括以下的集合:
-移动设备;
-通信设备;
-游戏设备;
-机顶盒;
-电视机;
-平板(或平板计算机);
-膝上型计算机;
-显示器,以及
-解码芯片。
根据图7中所示的本原理的示例,在通过通信网络NET的两个远程设备A和B之间的传输上下文中,设备A包括与存储器RAM和ROM相关的处理器,该处理器被配置为实现如上所述的用于对图像进行编码的方法,并且设备B包括与存储器RAM和ROM相关的处理器,该处理器被配置为实现如上所述的用于解码的方法。
根据示例,网络是广播网络,适用于从设备A向包括设备B的解码设备广播静止图像或视频图像。
意在由设备A传输的信号承载SDR比特流和/或承载元数据的其他比特流。SDR比特流包括如前面解释的编码的SDR视频。该信号还包括与用于从所述解码的SDR视频重建HDR视频的参数值相关的元数据。
在此描述的各种处理和特征的实现方式可以体现在各种不同的设备或应用中。这样的设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、为编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA,以及用于处理图像或视频的任何其他设备或其他通信设备。应当清楚,设备可以是移动的,并且甚至安装在移动交通工具中。
另外,可以通过由处理器执行的指令来实现方法,并且可以将这样的指令(和/或由实现方式产生的数据值)存储在计算机可读存储介质上。计算机可读存储介质可以采取计算机可读程序产品的形式,计算机可读程序产品体现在一个或多个计算机可读介质中,并且具有可由计算机执行的在其上体现的计算机可读程序代码。如在此使用的计算机可读存储介质被认为是非暂时性存储介质,给出在其中存储信息的固有能力以及提供从中取回信息的固有能力。计算机可读存储介质可以是例如但不限于电子的、磁性的、光学的、电磁的、红外的或半导体系统、装置或设备,或前述的任何适当组合。应当理解,以下内容虽然提供可以应用本原理的计算机可读存储介质的更多具体示例,但是仅仅是本领域普通技术人员容易理解的说明性而非详尽的列表:便携式计算机软盘;硬盘;只读存储器(ROM);可擦除可编程只读存储器(EPROM或闪存);便携式光盘只读存储器(CD-ROM);光学存储设备;磁存储设备;或前述内容的任何适当组合。
指令可以形成有形地体现在处理器可读介质上的应用程序。
指令可以在例如硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或这两者的组合中。因此,处理器可以表征为例如被配置为执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备两者。此外,除了指令或代替于指令,处理器可读介质可以存储由实现方式产生的数据值。
如对本领域技术人员将明显的,实现方式可以产生各种信号,这些信号被格式化以承载例如可以被存储或传输的信息。该信息可以包括例如用于执行方法的指令,或者由所描述的实现方式之一产生的数据。例如,信号可以被格式化为承载用于写入或读取本原理的所描述示例的语法的规则作为数据,或者承载由本原理的所描述示例写入的实际语法值作为数据。这样的信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及利用编码的数据流来调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路来传输。信号可以存储在处理器可读介质上。
已经描述了多个实现方式。然而,将理解,可以进行各种修改。例如,可以对不同实现方式的元素进行组合、补充、修改或移除以产生其他实现方式。另外,本领域普通技术人员将理解,可以用其他结构和处理代替所公开的结构和处理,并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式执行与所公开的实现方式至少基本相同的功能,以达到与所公开的实现方式至少基本相同的结果。因此,本申请考虑这些和其他实现方式。

Claims (15)

1.一种包括将当前颜色从第一色域向第二色域进行色域映射的方法,所述色域映射包括,在恒定色调平面中,在恒定亮度下将所述当前颜色的色度从所述第一色域向所述第二色域进行映射,所述方法的特征在于,色度映射还包括:
获得第二色域边界上的目标颜色,其中所述目标颜色的亮度大于或等于所述第一色域的最大色度的颜色的亮度,并且其中所述目标颜色的亮度低于所述第二色域的最大色度的颜色的亮度;
在所述当前颜色的亮度大于所述目标颜色的亮度的情况下,通过应用于亮度的色度递减函数在恒定亮度下映射第一色域边界上的颜色的色度,其中应用于所述目标颜色的亮度和白色的亮度的所述递减函数的相应输出是所述目标颜色的色度和白色的色度。
2.如权利要求1所述的方法,还包括在恒定色调平面中:
对于所述当前颜色,确定恒定亮度下的所述第一色域边界上的颜色;以及
在所述当前颜色的亮度大于所述目标颜色的亮度的情况下,关于用所述递减函数映射的所确定的第一色域边界上的颜色,执行颜色的恒定亮度下的色度映射。
3.如权利要求1所述的方法,还包括获得中间目标颜色,并响应于目标颜色、白色和中间目标颜色来确定所述应用于亮度的色度递减函数。
4.一种包括将当前颜色从第一色域向第二色域进行色域映射的方法,所述色域映射包括,在恒定色调平面中,在恒定亮度下将所述当前颜色的色度从所述第一色域向所述第二色域进行映射,所述方法的特征在于,色度映射还包括:
获得第二色域边界上的目标颜色,其中所述目标颜色的亮度大于所述第二色域的最大色度的颜色的亮度,并且其中所述目标颜色的亮度低于或等于所述第一色域的最大色度的颜色的亮度;
在所述当前颜色的亮度低于所述目标颜色的亮度的情况下,通过应用于亮度的色度递增函数在恒定亮度下映射第一色域边界上的颜色的色度,其中应用于所述目标颜色的亮度和黑色的亮度的所述递增函数的相应输出是所述目标颜色的色度和黑色的色度。
5.如权利要求1或4所述的方法,其中所述目标颜色的亮度是所述第一色域的最大色度的颜色的亮度和所述第二色域的最大色度的颜色的亮度之间的线性插值。
6.如权利要求1或4所述的方法,其中所述目标颜色的亮度等于所述第一色域的最大色度的颜色的亮度。
7.如权利要求1或4所述的方法,其中所述第一色域的最大色度的颜色选自原色和间色的组。
8.如权利要求1所述的方法,其中所述递减函数是分段仿射函数。
9.如权利要求4所述的方法,其中所述递增函数是分段仿射函数。
10.一种包括一个或多个处理器的设备,其中所述一个或多个处理器被配置为执行在恒定色调平面中当前颜色从第一色域向第二色域的色域映射,所述一个或多个处理器还被配置为:
·获得第二色域边界上的目标颜色,其中所述目标颜色的亮度大于或等于所述第一色域的最大色度的颜色的亮度,并且其中所述目标颜色的亮度低于所述第二色域的最大色度的颜色的亮度;以及
·执行在恒定亮度下所述当前颜色从所述第一色域向所述第二色域的色度映射,其中在所述颜色的亮度大于所述目标颜色的亮度的情况下,通过应用于亮度的色度递减函数在恒定亮度下映射第一色域边界上的颜色的色度,并且其中应用于所述目标颜色的亮度和白色的亮度的所述递减函数的相应输出是所述目标颜色的色度和白色的色度。
11.如权利要求10所述的设备,其中所述目标颜色的亮度是所述第一色域的最大色度的颜色的亮度和所述第二色域的最大色度的颜色的亮度之间的线性插值。
12.如权利要求10所述的设备,其中所述目标颜色的亮度等于所述第一色域的最大色度的颜色的亮度。
13.如权利要求10所述的设备,其中所述第一色域的最大色度的颜色选自原色和间色的组。
14.如权利要求10所述的设备,其中所述递减函数是分段仿射函数。
15.一种非暂时性处理器可读介质,所述非暂时性处理器可读介质中存储有用于使处理器执行权利要求1至9中任一项的方法的步骤的指令。
CN201880038803.2A 2017-05-02 2018-04-26 用于色域映射的方法和设备 Active CN110741623B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17305495.8 2017-05-02
EP17305495.8A EP3399735A1 (en) 2017-05-02 2017-05-02 Method and device for color gamut mapping
PCT/EP2018/060702 WO2018202531A1 (en) 2017-05-02 2018-04-26 Method and device for color gamut mapping

Publications (2)

Publication Number Publication Date
CN110741623A CN110741623A (zh) 2020-01-31
CN110741623B true CN110741623B (zh) 2021-11-30

Family

ID=58701580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038803.2A Active CN110741623B (zh) 2017-05-02 2018-04-26 用于色域映射的方法和设备

Country Status (7)

Country Link
US (1) US11095864B2 (zh)
EP (2) EP3399735A1 (zh)
KR (1) KR20200002029A (zh)
CN (1) CN110741623B (zh)
BR (1) BR112019022968A2 (zh)
MX (1) MX2019013092A (zh)
WO (1) WO2018202531A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
CN111836029B (zh) * 2019-04-18 2022-03-15 福州瑞芯微电子股份有限公司 一种基于色域映射的白平衡调整方法、系统及白平衡终端
EP3873096A1 (en) * 2020-02-25 2021-09-01 Koninklijke Philips N.V. Improved hdr color processing for saturated colors
CN116506630A (zh) * 2022-01-18 2023-07-28 华为技术有限公司 一种图像采集方法、图像显示方法及装置
CN116363232B (zh) * 2022-07-14 2024-02-09 上海玄戒技术有限公司 色域压缩方法、装置、电子设备、芯片及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1708097A (zh) * 2004-06-11 2005-12-14 三星电子株式会社 使用矢量伸展的色域映射装置及其方法
CN101312487A (zh) * 2007-05-21 2008-11-26 佳能株式会社 颜色信号转换方法和设备及生成映射参数的方法和设备
EP2375719A1 (en) * 2010-04-09 2011-10-12 Thomson Licensing Color gamut mapping method having one step preserving the lightness of the cusp colors
JP2016066195A (ja) * 2014-09-24 2016-04-28 株式会社Jvcケンウッド 色域変換装置、色域変換方法および色域変換プログラム
EP3110128A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Color gamut mapping based on the mapping of cusp colors obtained through simplified cusp lines

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602537B2 (en) 2004-05-06 2009-10-13 Canon Kabushiki Kaisha Gamut mapping with primary color rotation
KR100605164B1 (ko) 2005-01-28 2006-07-28 삼성전자주식회사 색역 매핑 장치 및 그 방법
JP2007013626A (ja) 2005-06-30 2007-01-18 Canon Inc 色処理方法および装置
US20070097389A1 (en) 2005-10-28 2007-05-03 Hewlett-Packard Development Company, L.P. Color set mapping
KR100834762B1 (ko) * 2006-09-29 2008-06-05 삼성전자주식회사 이 기종간 색역 사상 방법 및 장치
CN101169928B (zh) * 2006-10-27 2011-06-22 财团法人工业技术研究院 色彩调整电路、数字色彩调整装置与应用其的多媒体装置
CN102893610B (zh) 2010-05-13 2016-06-22 杜比实验室特许公司 视频显示设备的色域压缩
JP5880253B2 (ja) 2012-04-25 2016-03-08 富士ゼロックス株式会社 色処理装置及び色処理プログラム
EP3096510A1 (en) * 2015-05-18 2016-11-23 Thomson Licensing Method and device for processing color image data representing colors of a color gamut
JP2017011490A (ja) 2015-06-22 2017-01-12 株式会社リコー 配信サーバ装置、配信方法及び配信システム
EP3396936A1 (en) * 2017-04-27 2018-10-31 Thomson Licensing Method and device for color gamut mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1708097A (zh) * 2004-06-11 2005-12-14 三星电子株式会社 使用矢量伸展的色域映射装置及其方法
CN101312487A (zh) * 2007-05-21 2008-11-26 佳能株式会社 颜色信号转换方法和设备及生成映射参数的方法和设备
EP2375719A1 (en) * 2010-04-09 2011-10-12 Thomson Licensing Color gamut mapping method having one step preserving the lightness of the cusp colors
JP2016066195A (ja) * 2014-09-24 2016-04-28 株式会社Jvcケンウッド 色域変換装置、色域変換方法および色域変換プログラム
EP3110128A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Color gamut mapping based on the mapping of cusp colors obtained through simplified cusp lines

Also Published As

Publication number Publication date
EP3619912A1 (en) 2020-03-11
KR20200002029A (ko) 2020-01-07
BR112019022968A2 (pt) 2020-05-19
US20200404234A1 (en) 2020-12-24
CN110741623A (zh) 2020-01-31
EP3619912B1 (en) 2023-11-08
EP3399735A1 (en) 2018-11-07
US11095864B2 (en) 2021-08-17
WO2018202531A1 (en) 2018-11-08
MX2019013092A (es) 2020-02-12

Similar Documents

Publication Publication Date Title
CN110785989B (zh) 用于色域映射的方法和设备
US11671550B2 (en) Method and device for color gamut mapping
CN110741623B (zh) 用于色域映射的方法和设备
CN110521198B (zh) 用于重构hdr图像的方法和设备
US11741585B2 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
EP3453175B1 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
EP3557872A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
US11575944B2 (en) Method and apparatus for encoding an image
EP3528201A1 (en) Method and device for controlling saturation in a hdr image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant