CN110603806B - 用于色域映射的方法和设备 - Google Patents
用于色域映射的方法和设备 Download PDFInfo
- Publication number
- CN110603806B CN110603806B CN201880030271.8A CN201880030271A CN110603806B CN 110603806 B CN110603806 B CN 110603806B CN 201880030271 A CN201880030271 A CN 201880030271A CN 110603806 B CN110603806 B CN 110603806B
- Authority
- CN
- China
- Prior art keywords
- color
- key
- hue
- colors
- gamut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
- H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
- H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
- H04N1/6061—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut involving the consideration or construction of a gamut surface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6075—Corrections to the hue
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本原理涉及用于从第一颜色色域向第二颜色色域的色域映射的方法和设备。该方法包括对于至少3个关键颜色的每个关键颜色(colorK0),获得保留的关键颜色(prsv_colorK0)和关键颜色(colorK0)的色调对准角度(θK0)以定义保留的色域和旋转的色域;以及,执行从第一颜色色域向第二颜色色域的当前颜色(颜色)的色调映射,其中在当前颜色(颜色)在由保留的关键颜色(prsv_colorK0)定义的保留的色域中的情况下,色调映射的当前颜色保持不变,并且在当前颜色在保留的色域之外的情况下,从当前颜色的两个相邻关键颜色的色调对准角度(θK0)(旋转的色域)和保留的区域计算色调映射的当前颜色。
Description
技术领域
本原理一般涉及图像/视频编码/解码。特别地,但非排他地,本原理的技术领域涉及像素值属于高动态范围的图像的色域映射和像素值属于低动态范围的图像的逆色域映射。
背景技术
本部分旨在向读者介绍本领域的各个方面,其可以涉及下面描述和/或要求保护的本原理的各个方面。相信该讨论有助于向读者提供背景信息以便于更好地理解本原理的各个方面。因此,应该理解,这些陈述应该鉴于此地阅读,而不是对现有技术的承认。
在下文中,图像包含特定图像/视频格式的样本(像素值)的一个或若干阵列,该格式例如指定与图像(或视频)的像素值相关的所有信息以及可由显示器和/或任何其他设备使用以可视化和/或解码图像(或视频)的所有信息。图像包括至少一个分量,其形状为第一样本阵列,通常为亮度(或发光度)分量,以及可能还有至少一个其他分量,其形状为至少一个其他样本阵列,通常为色度分量。或者,等效地,相同的信息也可以由一组颜色样本阵列表示,诸如传统的三原色RGB表示。
像素值由C个值的矢量表示,其中C是分量的数量。矢量的每个值用多个比特表示,这些比特定义像素值的最大动态范围。
低动态范围图像(LDR图像)是其亮度值用有限数量的比特(最常见的是8或10)表示的图像。这种有限的表示不允许正确呈现小信号变化,特别是在黑暗和明亮的亮度范围内。在高动态范围图像(HDR图像)中,信号表示被扩展,以便在整个范围内保持信号的高精度。在HDR图像中,表示亮度级别的像素值通常以浮点格式表示(每个分量为32比特或16比特,即浮点或半浮点数),最流行的格式为openEXR半浮点格式(每个RGB分量16比特,即每像素48比特)或具有长表示的整数,通常至少16比特。
高效视频编码(HEVC)标准的到来(ITU-T H.265国际电联电信标准化部门(10/2014),H系列:视听和多媒体系统,视听业务基础设施-移动视频的编码,高效率视频编码,ITU-T H.265建议书)使得能够部署具有增强观看体验的新视频服务,诸如超高清广播服务。除了增加的空间分辨率外,Ultra HD还可以提供比目前部署的标准动态范围(SDR)HD-TV更宽的色域(WCG)和更高的动态范围(HDR)。已经提出了用于HDR/WCG视频的表示和编码的不同解决方案(SMPTE 2014,“High Dynamic Range Electro-Optical TransferFunction of Mastering Reference Displays,或SMPTE ST 2084,2014,或Diaz,R.,Blinstein,S.和Qu,S.“Integrating HEVC Video Compression with a High DynamicRange Video Pipeline”,SMPTE运动成像杂志,第125卷,第1期,2016年2月,第14-21页)。
SDR与解码和呈现设备的后向兼容性是一些视频分发系统(诸如广播或多播系统)中的重要特征。
双层编码是支持该特征的一种解决方案。但是,由于其多层设计,该解决方案不适用于所有分发工作流程。
替代方案是由ETSI推荐ETSI TS 103 433定义的单层HDR分发解决方案。读者还可以参考IBC 2016文章(“A single-Layer HDR video coding framework with SDRcompatibility”,E.弗朗索瓦和L.范德科克霍夫,IBC2016)了解更多细节。该单层分发解决方案兼容SDR,并利用已有的SDR分发网络和服务。其使得在HDR启用的CE(消费电子)设备上的高质量HDR呈现成为可能,同时还提供SDR CE设备上的高质量SDR呈现。
该单层分发解决方案基于单层编码/解码处理,并且与编解码器无关(推荐10比特编解码器)。
该单层分发解决方案使用可以在后处理阶段中使用的辅助元数据(每个视频帧或场景的几个字节),以从解码的SDR信号重构HDR信号。
当解码的SDR信号和重构的HDR信号不具有相同的颜色空间时,可以在这样的后处理阶段中使用逆色域映射(是HDR编码的预处理阶段中的色域映射的双重函数)。在实践中,颜色色域可以由诸如NTSC,ITU-R BT rec.709(“rec.709”),ITU-R BT rec.2020(“rec.2020”),Adobe RGB,DCI-P3或任何其他现有或未来的颜色再现标准或(多个)任何其他颜色变化的约束之类的标准来定义。在HDR/WCG的单层分发的情况下,“颜色色域映射”是将较宽颜色色域(“源颜色”)的颜色映射或重新分布为较窄颜色色域(“目标颜色”)的颜色的处理。但是,现有的颜色色域映射方法是有问题的,因为它们导致在颜色色域映射之后颜色的一致性的恶化(例如,所得到的目标颜色色域中的颜色的邻域的变形)。这样的问题源于现有方法相对于源和目标颜色色域的边界的饱和度和/或色调和/或颜色的明度的压缩或扩展。在颜色色域映射中并且特别是在边界颜色色域映射中,当定义源颜色色域的原色与定义目标颜色色域的原色之间存在显著的不匹配时(例如,未对准的色域边界),可能发生非均匀饱和度修改。因此,对于类似的色调,由颜色色域映射引起的饱和度的修改可以是完全不同的(例如,对于色调角度75°,饱和度可以除以因子1.6,而对于色调角度85°,饱和度可以除以因子1.2)。这导致颜色邻域中的映射颜色的一致性降级的问题。
当源颜色色域的色域边界中的奇点(例如,原色或二次色)与目标颜色色域的色域边界中的对应奇点具有不同的色调时,会出现另外的问题。实际上,当将颜色从宽颜色色域映射到较窄色域时,需要压缩饱和度,否则将颜色裁剪到较窄的颜色色域,导致视觉伪像(例如细节丢失)。然而,裁剪不可恢复并且引起细节丢失,这在HDR呈现期间不能通过逆色域映射来恢复。这样的裁剪的替代方案是压缩饱和度,这意味着颜色沿着“恒定色调”线在灰度轴方向上移动以尽可能少地改变色调(“恒定色调”对于工作颜色空间是特定的)。然而,在XYZ中甚至在诸如CIE L*a*b*或IPT之类的所谓的感知颜色空间中,感知的色调在色调线上没有完全对准(感知的色调与颜色空间的色调线)。因此饱和度压缩导致感知的色调偏移。例如,在L*a*b*颜色空间中,映射到rec.709的纯rec.2020红色看上去为橙色。此外,偏移色调线以使得最饱和的颜色(即在尖点上)的感知色调得以保留将导致较少饱和的颜色的色调偏移。
因此,期望一种保留感知色调的可逆色域映射方法,以增强HDR信号的呈现。
发明内容
以下呈现了本原理的简要概述,以便提供对本原理的一些方面的基本理解。本概述不是对本原理的广泛综述。不意图标识本原理的关键或重要元素。以下概述仅以简化形式呈现本原理的一些方面,作为下面提供的更详细描述的序言。
提出本原理以利用以下方法来弥补现有技术的至少一个缺点,该方法用于图像的可逆颜色色域映射,包括对于较少饱和度的颜色保持色调不变的保留区域,以及依赖于保留区域和对于具有较高饱和度的颜色的每个原色和/或二次色所需的色调颜色校正的几何色调映射。
根据第一方面,公开了用于图像的可逆颜色色域映射的方法,包括:对于至少3个关键颜色的每个关键颜色,获得保留的关键颜色和关键颜色的色调对准角度;和执行从第一颜色色域向第二颜色色域的当前颜色的色调映射,其中:
○在当前颜色在由保留的关键颜色定义的保留的区域中的情况下,色调映射的当前颜色是当前颜色,并且
○在当前颜色在保留的区域之外的情况下,从当前颜色的两个相邻关键颜色的色调对准角度和保留的区域计算色调映射的当前颜色。
根据特定特性,当前颜色由表示色调的角度和表示色度平面中的饱和度的绝对值定义。
根据另一特定特性,执行当前颜色的色调映射还包括:
·确定当前颜色的至少3个关键颜色中的2个相邻关键颜色;
·对于每个相邻关键颜色,通过将关键颜色投影在旋转的色调线上来确定旋转的关键颜色,旋转的色调线是被旋转了色调对准角度的通过关键颜色的色调线;
·对于每个相邻关键颜色,确定作为通过关键颜色和保留的关键颜色的线的前向关键色调线;
·对于每个相邻关键颜色,确定作为通过旋转的关键颜色和保留的关键颜色的线的后向关键色调线;
·确定所述2个相邻关键颜色的前向关键色调线之间的交点处的前向锚;
·确定所述2个相邻关键颜色的后向关键色调线之间的交点处的后向锚;
·确定在当前颜色和前向锚之间定义的前向色调线和在所述2个相邻关键颜色的保留的关键颜色之间定义的保留线的交点处的保留的当前颜色;和
·确定色调映射的当前颜色,其中
如果当前颜色的饱和度低于保留的当前颜色的饱和度,则色调映射的当前颜色是当前颜色;
否则,通过将当前颜色投影到由保留的颜色和后向锚定义的后向色调线上来获得色调映射的当前颜色。
根据另一特定特征的不同变型,保留的关键颜色位于以下之一上:色度平面的原点与关键颜色之间定义的关键色调线,通过将关键色调线旋转色调旋转角度而定义的旋转的关键色调线,通过将关键色调线旋转色调旋转角度一半而定义的中间关键色调线。
根据另一特定特性的不同变型,从一组原色和二次色中选择关键颜色。
根据另一特定特性的不同变型,投影关键颜色是以下之一:倾斜投影,正交投影,围绕色度平面的原点的旋转,围绕保留的关键颜色的旋转。
根据另一特定特性,获得保留的关键颜色和关键颜色的色调对准角度包括:接收与用于可逆颜色色域映射的参数相关的元数据。
根据第二方面,公开了用于从第一颜色色域向第二颜色色域的色域映射的设备。该设备包括处理器,配置为对于至少3个关键颜色的每个关键颜色,获得保留的关键颜色和色调对准角度;和执行从第一颜色色域向第二颜色色域的当前颜色的色调映射,其中:
○在当前颜色在由保留的关键颜色定义的保留的区域中的情况下,色调映射的当前颜色是当前颜色,并且
○在当前颜色在保留的区域之外的情况下,从当前颜色的两个相邻关键颜色的色调对准角度和保留的区域计算色调映射的当前颜色。
在变型中,用于从第一颜色色域向第二色域的颜色色域映射的设备包括用于获得至少3个关键颜色的保留的关键颜色和每个关键颜色的色调对准角度的部件;和用于执行从第一颜色色域到第二颜色色域的当前颜色的色调映射的部件,其中
○在当前颜色在由保留的关键颜色定义的保留的区域中的情况下,色调映射的当前颜色是当前颜色,并且
○在当前颜色在保留的区域之外的情况下,从当前颜色的两个相邻关键颜色的色调对准角度和保留的区域计算色调映射的当前颜色。
根据第三方面,公开具有SDR视频和用于可逆颜色色域映射的参数值的信号。信号被进一步格式化为包括HueAdjmode,HueGlobalPreservationRatio,huePreservationratio[c],hueAlignCorrectionPresentflag和hueAlignCorrection[c]。
根据第四方面,一种非暂时性处理器可读介质,其内容存储SDR视频和与用于可逆颜色色域映射的参数有关的元数据,该非暂时性处理器可读介质还包括HueAdjmode,HueGlobalPreservationRatio,huePreservation ratio[c],hueAlignCorrectionPresentflag和hueAlignCorrection[c]。
根据第五方面,公开一种计算机程序产品,包括程序代码指令,用于当在计算机上执行该程序时执行公开的方法的步骤。
根据第六方面,公开处理器可读介质,其中存储有用于使处理器至少执行公开的方法的步骤的指令。
根据第七方面,公开非暂时性程序存储设备,其可由计算机读取,有形地体现可由计算机执行以执行公开的方法的指令程序。
虽然未明确描述,但是本实施例可以以任何组合或子组合使用。此外,针对该方法描述的任何特征或实施例与旨在处理所公开的方法的设备兼容,并且与存储程序指令的计算机可读存储介质兼容。
附图说明
在附图中,例示本原理的示例。其示出:
-图1示出支持内容制作和向HDR和SDR显示器传送的端到端工作流程;
-图2a更详细地描述预处理阶段;
-图2b更详细地描述HDR到SDR的分解;
-图3a更详细地描述后处理阶段;
-图3b更详细地描述HDR重构处理;
-图4a示出根据本原理的示例的用于可逆色域映射的方法的步骤的框图;
-图4b示出根据本原理的示例的几何色调映射的步骤的框图;
-图5a例示根据本原理的示例的色度平面中的几何色调映射;
-图5b例示根据本原理的示例的色度平面中的几何色调映射;
-图5c例示根据本原理的示例的YUV颜色空间的色度平面中没有保留区域的几何色调映射;
-图5d例示根据本原理的示例的YUV颜色空间的色度平面中具有保留区域的几何色调映射;
-图6示出根据本原理的示例的设备的架构的示例;和
-图7示出根据本原理的示例通过通信网络通信的两个远程设备;
类似或相同的元件用相同的附图标记表示。
具体实施方式
在下文中将参考附图更全面地描述本原理,附图中示出本原理的示例。然而,本原理可以以许多替代形式实施,并且不应该被解释为限于这里阐述的示例。因此,虽然本原理易于进行各种修改和替换形式,但是其具体示例通过附图中的示例示出并且将在本文中详细描述。然而,应该理解,不意图将本原理限制于公开的特定形式,相反,本公开要覆盖落入权利要求定义的本原理的精神和范围内的所有修改,等同物和替代物。
本文使用的术语仅用于描述特定示例的目的,并不旨在限制本原理。如本文使用的,单数形式“一”,“一个”和“该”旨在也包括复数形式,除非上下文另有明确说明。将进一步理解,当在本说明书中使用时,术语“包括”,“包含”,“包括”和/或“包括”指定陈述的特征,整数,步骤,操作,元件和/或分量的存在,但是不排除存在或附加一个或多个其他特征,整数,步骤,操作,元素,分量和/或其分组。此外,当元件被称为“响应”或“连接”到另一个元件时,它可以直接响应或连接到另一个元件,或者可以存在中间元件。相反,当元件被称为“直接响应”或“直接连接”到其他元件时,不存在中间元件。如本文使用,术语“和/或”包括一个或多个相关所列项目的任何和所有组合,并且可以缩写为“/”。
将理解,尽管本文可以使用术语第一,第二等来描述各种元素,但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元素与另一个元素。例如,第一元素可以被称为第二元素,并且类似地,在不脱离本原理的教导的情况下,第二元素可以被称为第一元素。
尽管一些图包括通信路径上的箭头以示出通信的主要方向,但是要理解,通信可以在与所示箭头相反的方向上发生。
关于框图和操作流程图描述一些示例,其中每个框表示包括用于实现(多个)指定逻辑功能的一个或多个可执行指令的电路元件,模块或代码部分。还应注意,在其他实现方式中,框中标注的(多个)功能可以不按所述顺序发生。例如,连续示出的两个框实际上可以基本上同时执行,或者这些框有时取决于所涉及的功能可以以相反的顺序执行。
本文对“根据示例”或“在示例中”的引用意味着结合该示例描述的特定特征,结构或特性可以包括在本原理的至少一个实现方式中。在说明书中各处出现的短语“根据示例”或“在示例中”不一定都指代相同的示例,也不一定是与其他示例相互排斥的单独或替代示例。
权利要求中出现的附图标记仅是示例性的,并且对权利要求的范围没有限制作用。
虽然没有明确描述,但是这些示例和变型可以以任何组合或子组合使用。
描述本原理用于解码图像但延伸到图像序列(视频)的解码,因为序列的每个图像如下所述被顺序编码/解码。
图1示出支持内容制作和向HDR和SDR显示器传送的端到端工作流程。它涉及具有辅助元数据的单层SDR/HDR编码-解码,例如在ETSI推荐ETSI TS 103 433中定义。读者还可以参考IBC 2016文章(“A single-Layer HDR video coding framework with SDRcompatibility”,E.弗朗索瓦和L.范德科克霍夫,IBC 2016)了解更多细节。
在预处理阶段,输入的HDR视频被分解为SDR视频和元数据。然后用任何SDR视频编解码器对SDR视频进行编码,并且在整个现有SDR分发网络中承载SDR比特流,其中伴随的元数据在特定信道上传送或嵌入在SDR比特流中。
优选地,编码的视频是HEVC编解码器,诸如H.265/HEVC编解码器或H.264/AVC。
当与H.265/HEVC或H.264/AVC编解码器结合使用时,元数据通常由SEI消息承载。
解码SDR比特流,然后解码的SDR视频可用于SDR消费电子(CE)显示器。
接下来,在功能上与预处理阶段相反的后处理阶段,从解码的SDR视频和从特定信道或从SDR比特流获得的元数据重构HDR视频。
图2a更详细地描述预处理阶段。
预处理阶段的核心组件是HDR到SDR分解,其从HDR视频生成SDR视频和动态元数据。
更确切地说,HDR到SDR分解的目的在于根据下面公开的实施例将以特定输入格式表示的HDR视频转换为以特定输出格式表示的SDR视频,但是本原理不限于特定输入/输出格式(颜色空间或色域)。
可选地,HDR视频的格式和SDR视频的格式可以分别适配于特定输入格式、特定输出格式。
所述输入/输出格式适配可以包括颜色空间转换和/或颜色色域映射。可以使用通常的格式适配处理,诸如RGB到YUV或YUV到RGB转换,BT.709到BT.2020或BT.2020到BT.709,下采样或上采样色度分量等
HDR到SDR分解旨在将输入线性光4:4:4RGB HDR视频转换为SDR兼容版本。该处理使用静态元数据,诸如HDR和SDR图像的容器(container)的颜色原色和色域。
可选地,HDR视频的格式可以预先适配于预处理阶段的预定输入格式和/或当HDR视频(HDR分解阶段的输入)和SDR视频(HDR分解阶段的输出)在不同的颜色空间中表示时可以使用色域映射。
图2b更详细地描述HDR到SDR分解。
在下文中,HDR视频样本以RGB颜色空间(特定输入格式)表示,并且SDR视频样本以RGB颜色空间(特定输出格式)表示。
在步骤1中,按逐个图像分析HDR视频图像,以便推导将进一步用于将HDR视频转换为SDR视频的一组映射参数。
在步骤2中,要分解的HDR视频的当前图像的亮度分量L被亮度映射到SDR亮度分量Yl。得到的信号是由以下给出的SDR亮度(SDR亮度分量Yl):
Yl=TM[L](2)
其中A=[A1A2A3]T是规范的3x3 R′G′B′到Y′CbCr转换矩阵(例如,如取决于颜色空间的ITU-R Rec.BT.2020或ITU-R Rec.BT.709中规定的那样),A1A2A3是1x3矩阵,并且亮度映射基于感知传递函数TM(例如,也如取决于颜色空间的ITU-R Rec.BT.2020或ITU-RRec.BT.709中规定的那样)。
在图2b中的步骤3中,如下推导色度分量。首先,输入HDR视频的R,G,B值按比率(Yl/L)缩放,这导致RGB的线性光SDR版本。然后应用平方根,以再现接近ITU-RRec.BT.709OETF(光电传递函数)的传递函数。注意,平方根的使用保证了处理的可逆性。
作为结果的R,G,B信号被转换为色度分量Ul,Vl:
在步骤4中,应用最终颜色校正以使SDR颜色与HDR视频颜色匹配。首先,通过缩放因子1/β(Yl)调整色度分量,其中β(Yl)是使得能够控制作为结果的SDR视频的颜色饱和度和色调的函数。
该步骤允许控制SDR颜色并确保它们与HDR颜色匹配。
在步骤6中,当在BT.709颜色色域(由变量prePicColourSpace指定)中提供SDR到HDR重构处理的输入SDR画面时,可逆色域映射处理可以应用,并且与HDR画面的目标BT.2020颜色色域(由变量recPicColourSpace指定)不同。定义颜色后向兼容性使得SDR CE接收器仅支持BT.709颜色空间,而使用SL-HDR1分发的视频可以支持BT.2020颜色空间。当recPicColourSpace不等于prePicColourSpace时,在HDR到SDR分解侧,WCG HDR视频将被转换为标准颜色色域SDR视频(加上元数据),而HDR重构侧的逆处理通过呈现来自标准颜色色域SDR视频(加上元数据)的WCG HDR视频来恢复此转换。这两个颜色处理的级联应该是视觉上无损的,而标准颜色色域SDR视频应该以最小损伤完全保留原始WCG HDR视频的艺术意图。颜色重构(逆色域映射)和压缩(色域映射)转换被指定为是互逆的。
在步骤5中,将关于亮度映射(步骤2),颜色校正(步骤4)和可逆色域映射(步骤6)的元数据传送到后处理阶段。元数据作为静态元数据(在参数不随画面改变的情况下)或动态元数据(在参数随画面改变用于亮度映射的情况下)传送。
这些元数据使得能够精细控制SDR版本的纹理和颜色,并确保良好适合HDR意图。
图3a更详细地描述后处理阶段。
后处理阶段的核心组件是SDR到HDR重构,其从(解码的)SDR视频和元数据重构HDR视频。
更确切地说,HDR重构目的在于根据下面公开的实施例将以特定输入格式表示的SDR视频转换为以特定输出格式表示的输出HDR视频,但是本原理不限于特定输入/输出特定格式(颜色空间或色域)。
所述输入或输出格式适配可以包括颜色空间转换和/或色域映射。可以使用通常的格式适配处理,诸如RGB到YUV或YUV到RGB转换,BT.709到BT.2020或BT.2020到BT.709等。例如,见ETSI推荐ETSI TS 103 433的附录D提供逆色域映射的使用实例。
可选地,重构的HDR视频的格式可以适配于目标系统特性(例如机顶盒,连接的电视)和/或当以不同的颜色空间和/或色域表示解码的SDR视频(HDR重构阶段的输入)以及重构的HDR视频(HDR重构阶段的输出)时,可以使用逆色域映射。
图3b更详细地描述HDR重构处理。
HDR重构是HDR到SDR分解的功能的逆(图2b)。但是,由于实现方式复杂性的原因,某些操作以不同的顺序级联或应用。
在步骤31中,例如从SDR比特流或从特定信道获得动态和/或静态元数据。
在步骤32中,从获得的元数据推导亮度映射查找表lutMapY(1D查找表)。该亮度映射查找表对应于亮度映射曲线的平方根的倒数。
在步骤33中,从所获得的动态元数据中推导颜色校正查找表lutCC。通过以下等式将颜色校正查找表lutCC链接到预处理颜色校正βp(Yl)(等式4)和亮度映射查找表lutMapY。
β[Y]=2B× lutMapY[Y]×lutCC[Y] (5)
其中B是解码的SDR图像的亮度分量的比特深度。
在步骤34中,通过使用推导出的亮度相关的查找表lutMapY和推导出的颜色校正查找表lutCC对解码的SDR视频的图像应用HDR重构来重构被重构的HDR视频(线性光HDR视频)的图像。在步骤36中,颜色重构或逆色域映射处理使得能够从具有相关联的元数据的标准颜色色域画面生成宽颜色色域画面。该处理被定义用于4:4:4色度采样和全范围YUV线性光信号。由于规范的R′G′B′到Y′CbCr矩阵(由SMPTE RP 177[i.8]计算),输入YUV信号来自输入RGB线性光信号(SDR到HDR重构处理34的输出)到YUV颜色空间的转换。该处理还包括根据描述实施例的色度重新映射,明度重新映射和色调重新映射。
后处理在亮度映射查找表lutMapY(步骤32),颜色校正查找表lutCC(步骤33)以及定义对于较少饱和度的颜色保持色调不改变的保留区域以及对于其他颜色的按原色和二次色所需的颜色校正量的逆色域映射参数(步骤35)上操作。各个表和参数从元数据推导(步骤31)。
可以根据所谓的基于参数的模式或基于表格的模式来传递所述元数据(步骤5),以便从获得的元数据(步骤31)推导亮度映射查找表lutMapY(步骤32),颜色校正查找表lutCC(步骤33)和逆色域映射(步骤35)。
在步骤5中要传递的一些元数据是表示对于较少饱和度的颜色保持色调不变的保留区域并且表示对于具有较高饱和度的颜色(ETSI推荐ETSI TS 103433条款6.3.10)的按原色和/或二次色所需的色调颜色校正的色调映射参数。因此,描述以下参数:hueAdjMode,hueGlobalPreservationRatio,huePreservationRatio,hueAlignCorrectionPresentFlag,hueAlignCorrection。
hueAdjMode
该变量指示可逆色域映射使用的色调调整模式。hueAdjMode的值应如下表定义:
hueGlobalPreservationRatio
该变量指示用于色调调整的全局保留百分比。仅当hueAdjMode等于2时才应调用该变量。hueGlobalPreservationRatio的值应在有界范围[0到0,875]和(1÷8)的倍数内。
huePreservationRatio
该六个变量的阵列指示在色调调整处理期间应用于每个原色或二次色的保留率。仅当hueAdjMode等于3时才应调用该阵列。索引值c等于0应对应于红原色,c等于1应对应于品红二次色,c等于2应对应于蓝原色,c等于3应对应青二次色,c等于4应对应绿原色,c等于5应对应黄二次色。huePreservationRatio[c]的值应在有界范围[0到0,875]和(1÷8)的倍数内。
hueAlignCorrectionPresentFlag
该变量表示对于每个原色和二次色存在色调对准校正参数。hueAlignCorrectionPresentFlag的值等于0指示该参数不存在。hueAlignCorrectionPresentFlag的值等于1指示该参数存在。
hueAlignCorrection
该五个变量的阵列指示在色调调整处理期间与每个原色或二次色相关联的色调校正角度。当hueAlignCorrectionPresentFlag等于1并且hueAdjMode不等于0时,应调用该阵列。索引值c等于0应对应于红原色,c等于1应对应于品红二次色,c等于2应该对应于蓝原色,c等于3应对应青二次色,c等于4应对应于绿原色,c等于5应对应黄二次色。hueAlignCorrection[c]的值应在有界范围[0到0,875]和(1÷8)的倍数中。
可以使用HEVC颜色体积重构信息(CVRI)用户数据注册的SEI消息来传递这些动态元数据,该SEI消息的语法基于SMPTE ST 2094-20规范(ETSI推荐ETSI TS 103 433附件A.3)。
在步骤31中,因此解析CVRI SEI消息以获得亮度映射参数,颜色校正参数和逆色域参数。
在步骤32中,从获得的亮度映射参数重构(推导)亮度映射查找表lutMapY(更多细节参见ETSI TS 103 433条款7.2.3.1)。
在步骤33中,从获得的颜色校正参数重构(推导)颜色校正查找表lutCC(更多细节参见ETSI TS 103 433第7.2.3.2节)。
在步骤35中,从获得的逆色域映射参数确定(推导)用于逆色调映射的几何特征(即,旋转的色域和保留的色域),如下文中使用色域映射方法描述的。
可以使用HEVC颜色重新映射信息(CRI)SEI消息将这些元数据作为动态元数据传送,SEI消息的语法基于SMPTE ST 2094-30规范(ETSI推荐ETSI TS 103 433附件A.4)。
注意,静态元数据也可以由后处理阶段使用并由SEI消息传送。例如,色调映射方法的选择可以由ETSI TS 103 433(条款A.2.2)定义的TS 103 433信息(TSI)用户数据注册的SEI消息(payloadMode)来承载。静态元数据(诸如,例如,颜色原色或最大显示主显示亮度)通过AVC,HEVC中定义的主显示颜色体(MDCV)SEI消息来传递。
图4a示出根据本原理的示例的用于可逆色域映射的方法的步骤的框图。该方法与产生SDR图像和元数据的任何HDR到SDR分解处理兼容。出于说明性目的,色域映射方法是如关于图2b描述的HDR到SDR分解处理的一部分(步骤6)。当宽颜色色域HDR视频应转换为标准颜色色域SDR视频时,该处理尤其适用。然而,因为该方法是完全可逆的,所以该方法还与产生HDR图像的任何SDR到HDR重构处理兼容。出于说明性目的,色域映射方法也是关于图3b描述的SDR到HDR重构处理的一部分(步骤36)。当标准颜色色域SDR视频应转换回宽颜色色域HDR视频时,该处理尤其适用。然而,该方法还与涉及从第一颜色色域向第二颜色色域的后向和/或前向色域映射的任何处理兼容。HDR视频样本和SDR视频样本可以在任何颜色空间(例如YUV,CIELUV,L*a*b*或IPT)中表示。出于说明的目的,称为颜色的HDR视频样本由表示色调的角度和表示具有L*a*b*颜色空间的恒定明度的色度平面的极坐标中的饱和度的绝对值表示,如图5a所示。
在预备步骤41中,获得保留的关键颜色(prsv_color K0,prsv_color K1)和关键颜色(color K0,color K1)的色调对准校正角度(θK0,θK1)。从一组原色和二次色中选择关键颜色(color K0,color K1)。关键颜色(color K0,color K1)属于第一色域的边界。对应的映射的关键颜色(map_color K0)属于第二色域的边界。色调对准校正角度(θK0,θK1)被定义在关键颜色(color K0,color K1)的色调线(hue_line k0,hue_line k1)和对应的映射的关键颜色(map_color K0)的色调线(rot_hue_linek0)之间。因此,色调对准校正角度(θK0,θK1)表示第一色域和第二色域之间的关键颜色的色调校正量。例如,定义色调对准校正角度(θK0,θK1),使得映射的关键颜色(包括其他颜色色域映射步骤)的感知色调与源关键颜色的感知色调相同。如图5a表示,定义至少3个关键颜色和最多6个关键颜色。保留的关键颜色(prsv_color K0,prsv_color K1)定义在明度轴周围的保留的区域(prsv_area)或保留的色域,并对应于较少饱和度的颜色。在特定替代变型中,保留的键颜色位于色度平面的中心(即原点)和关键颜色(colorK0)之间定义的关键色调线(rot_hue_linek0)上,位于定义为被旋转了色调旋转角度(θK0)的关键色调线的旋转的关键色调线(rot_hue_line K0)上,或位于被定义为被旋转了色调旋转角度(θK0)一半的关键色调线的中间的关键色调线上。实际上,保留的关键颜色可以是色度平面中的任何地方,优选地在关键色调线(hue_linek0)和旋转的关键色调线(rot_hue_linek0)之间的部分中,如图5b所示。保留的关键颜色例如由相对于关键色调线(hue_line k0)的角度(在0和θK0之间)和饱和度(在0和colorK0的饱和度之间)来定义。根据特定特性,保留的区域中的颜色不被修改(意味着色调未改变的那种情况),并且不在保留的区域中的颜色根据可恢复几何色调映射进行色调映射,如下文详述。在HDR到SDR分解处理中,关键颜色和对应的保留的关键颜色,色调对准校正角被定义并编码为如上所述的可逆色域映射的参数。因此,色调映射参数定义了对于较少饱和度的颜色保持色调不变的保留区域(prsv_area)并且对于其他颜色按原色和二次色所需的颜色校正量。然后,发送用于可逆色域映射的色调映射参数作为用于逆色域映射的静态或动态元数据。在SDR到HDR重构处理中,接收与用于可逆色域映射的参数相关的元数据,并且从接收的参数推导关键颜色和对应的保留的关键颜色,色调对准校正角度。
在步骤42中,应用从第一色域向第二色域的当前颜色(颜色)的色调映射。在子步骤426中,测试属于保留的区域的当前颜色的条件。在当前颜色(颜色)属于由保留的关键颜色(prsv_color K0,prsv_color K1)定义的保留的区域(真实条件)的情况下,色调映射的当前颜色是当前颜色,对于当前颜色的色调没有改变的情况,不执行色调对准(428)。在当前颜色在保留的区域之外(错误条件)的情况下,从当前颜色的两个相邻关键颜色的色调对准角度(θK0,θK1)计算色调映射的当前颜色。色调映射被称为基于色度平面中的几何构造的几何色调映射。有利地,应用于HDR到SDR分解处理的色调补偿用于改善某些饱和的颜色的感知色调。在SDR到HDR重构处理中的逆色域映射处理中恢复该补偿。色调补偿保持亮度不变。该操作几乎等同于色度平面中的旋转,但是保留窄(标准)色域的显著部分(即,没有重新映射)。尽管保留的区域的特性作为色域映射方法的一部分呈现,但是几何色调映射可以应用于整个色度平面而没有保留的色域,如图5c例示。本领域技术人员将认识到,在这种情况下,保留的颜色和由此后者定义的前向和后向锚然后位于色度平面的原点。
图4b示出根据本原理的示例的几何色调映射的步骤的框图。图5b中示出几何构造的参考,其例示具有极坐标的色度平面中的几何色调映射。现在描述当前颜色(颜色)的色调映射的步骤42。
在子步骤421中,对于当前颜色确定至少3种关键颜色中的2个相邻关键颜色(color K0,color K1)。如图5a所示,色度平面被分成多个部分,每个部分由两个关键颜色定义。相邻关键颜色是定义当前颜色所属的部分的关键颜色。换句话说,相邻关键颜色或邻近关键颜色是2个关键颜色(color K0,color K1),使得当前颜色(颜色)被色度平面中的对应关键色调线包围。这样的相邻关键颜色例如基于当前颜色的色调角度与平面中的关键颜色的色调角度相比较来确定。在变型中,叉积用于确定当前颜色相对于前向色调线的位置(因为交叉矢量乘积的符号允许确定点相对于线的相对位置)。
在子步骤422中,对于每个相邻关键颜色(color K0),通过将关键颜色(color K0)投影在作为被旋转了色调对准角度(θK0)参数的关键颜色的色调线的旋转的色调线(rot_hue_line K0)上来确定旋转的关键颜色(rotated_color K0)。根据不同的变型,投影是以下之一:围绕色度平面的中心的旋转,倾斜投影(如图5b所示),正交投影,围绕保留的关键颜色的旋转。在色度平面中的色调旋转的变型中(即,围绕灰度轴或极坐标的原点),旋转的关键颜色被定义为以通过关键颜色(color K0)的灰度轴(即,明度轴)为中心的圆与由色调对准角度(θK0)定义的旋转的色调线的交点。该变型对应于真实的色调旋转,并且色调映射不改变饱和度。根据图5b所示的倾斜投影的变型,旋转的关键颜色(rotated_color K0)被定义为垂直于通过关键颜色(color K0)的关键色调线(hue_line K0)的线与由色调对准角度(θK0)定义的旋转的关键色调线(关键颜色在旋转的关键色调线上的倾斜投影)的交点。根据正交投影的变型,旋转的关键颜色(rotated_color K0)被定义为旋转的关键色调线与通过关键颜色(color K0)并垂直于旋转的关键色调线(rot_hue_line K0)的线(关键颜色在旋转的关键色调线上的正交投影)的交点。根据另一变型,完成围绕保留的关键颜色(prsv_color K0)的局部旋转。旋转的关键颜色(rotated_color K0)被定义为以通过关键颜色(color K0)的保留的关键颜色(prsv_color K0)为中心的圆与由色调对准角(θK0)定义的旋转的关键色调线的交点。与围绕色度平面的中心的旋转的变型不同,这3个最新变型引起饱和度的修改。然而,对于小的对准角度,这些变换接近具有低饱和度修改的真实的色调旋转(即,围绕灰度轴)。
在子步骤423中,对于每个相邻关键颜色(color K0,color K1),确定作为通过关键颜色(color K0,color K1)和保留的关键颜色(prsv_color K0,prsv_color K1)的线的前向关键色调线(forward hue linek0,forward hue linek1)。此外,在子步骤423中,对于每个相邻关键颜色(color K0,color K1),还确定作为通过旋转的关键颜色(rotated_color K0,rotated_color K1)和保留的关键颜色(prsv_color K0,prsv_color K0)的线的后向关键色调线(backward hue linek0,backward hue linek1)。
这2个相邻前向关键色调线(forward hue linek0,forward hue linek1)和后向色调线(backward hue linek0,backward hue linek1)在子步骤424中确定前向锚定和后向锚定。前向锚定被定义为2个相邻关键颜色(color K0,color K1)的前向关键色调线(forwardhue linek0,forward hue linek1)之间的交点。后向锚定被定义为2个相邻关键颜色(colorK0,color K1)的后向关键色调线(backward hue linek0,backward hue linek1)之间的交点。本领域技术人员将注意到,在保留的关键颜色(prsv_color k0)位于关键色调线(hue_linek0)上的变型中,前向锚是色度平面的中心;在保留的关键颜色(prsv_color k0)位于旋转的关键色调线(rot_hue_line k0)上的变型中,后向锚是色度平面的原点。
在子步骤425中,保留的当前颜色(prsrv_color)被定义为在当前颜色(颜色)和前向锚之间定义的前向色调线和在所述2个相邻关键颜色(color K0,color K1)的保留的关键颜色(prsv_color K0,prsv_color K1)之间定义的保留线(prsv_line)的交点。该保留的当前颜色(prsrv_color)允许确定当前颜色是否在保留的区域中。根据不同的变型,在保留的关键颜色(prsv_colorK0,prsv_color K1)之间定义的保留线是直线(如图5b所示)或曲线。
然后,在子步骤426中,将当前颜色(颜色)的饱和度与保留的当前颜色(prsrv_color)的饱和度进行比较。在当前颜色的饱和度低于保留的当前颜色(prsrv_color)的饱和度(分支t为真)的情况下,则色调映射的当前颜色是当前颜色。否则,通过将当前颜色投影在由保留的颜色(prsv_color)和后向锚定义的后向色调线上来获得色调映射的当前颜色。该投影与步骤422中使用的相同。本领域技术人员将理解,对于逆色域映射,前向和后向特征是逆的。因此,通过将当前颜色投影在由保留的颜色(prsv_color)和前向锚定义的前向色调线上来获得逆色调映射的当前颜色。
该方法基于需要SDR图像和动态元数据的任何HDR重构处理。
出于说明性目的,HDR重构处理可以是如关于图3b描述的HDR重构处理。在那种情况下,从解码的SDR图像重构HDR图像。但是,用于重构HDR图像的SDR图像也可以利用压缩来存储并且在不需要解码的情况下获得。
然后,该方法例如通过解码SDR比特流来获得(解码的)SDR图像,该SDR图像的亮度值的动态范围低于要重构的HDR图像的亮度值的动态范围。
在图1-4b中,模块是功能单元,其可以与可区分的物理单元相关或不相关。例如,这些模块或它们中的一些可以在单独的组件或电路中集合在一起,或者有助于软件的功能。相反,一些模块可能由独立的物理实体组成。与本原理兼容的装置使用纯硬件实现(例如使用专用硬件,诸如ASIC或FPGA或VLSI,分别为“专用集成电路”,“现场可编程门阵列”,“超大规模集成”),或来自嵌入在设备中的若干集成电子组件,或来自硬件和软件组件的混合。
图6表示可以被配置为实现关于图1-4b描述的方法的设备60的示例性架构。
设备60包括通过数据和地址总线61链接在一起的以下元件:
-微处理器62(或CPU),其例如是DSP(数字信号处理器);
-ROM(只读存储器)63;
-RAM(随机存取存储器)64;
-用于从应用程序接收要发送的数据的I/O接口65;和
-电池66
根据示例,电池66在设备外部。在每个提到的存储器中,说明书中使用的“寄存器”一词可以对应于小容量的区域(一些比特)或非常大的区域(例如,整个程序或大量接收的或解码的数据)。ROM 63至少包括程序和参数。ROM 63可以存储用于执行根据描述的实施例的技术的算法和指令。当接通时,CPU 62将程序上载到RAM中并执行相应指令。
RAM 64在寄存器中包括由CPU 62执行并在设备60接通之后上载的程序,寄存器中的输入数据,寄存器中方法的不同状态的中间数据,以及寄存器中用于执行方法的其他变量。
这里描述的实现方式可以在例如方法或处理,装置,软件程序,数据流或信号中实现。即使仅在单个实现方式的形式的上下文中讨论(例如,仅作为方法或设备讨论),讨论的特征的实现方式也可以以其他形式(例如程序)实现。装置可以在例如适当的硬件,软件和固件中实现。方法可以在例如诸如例如处理器之类的装置中实现,该处理器通常涉及处理设备,一般包括例如计算机,微处理器,集成电路或可编程逻辑设备。处理器还包括通信设备,诸如例如计算机,蜂窝电话,便携式/个人数字助理(“PDA”),以及便于最终用户之间的信息通信的其他设备。
根据编码或编码器的示例,从源获得HDR视频或HDR视频的HDR图像。例如,源属于包含以下的组:
-本地存储器(63或64),例如视频存储器或RAM(随机存取存储器),闪存,ROM(只读存储器),硬盘;
-贮存接口(65),例如,具有大容量贮存器,RAM,闪存,ROM,光盘或磁性载体的接口;
-图像捕获电路(例如,传感器,诸如例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体))。
根据解码或解码器的示例,将解码的SRD视频或重构的HDR视频发送到目的地;具体地,目的地属于包括以下的组:
-本地存储器(63或64),例如,视频存储器或RAM,闪存,硬盘;
-贮存接口(65),例如,具有大容量贮存器,RAM,闪存,ROM,光盘或磁性载体的接口;
-显示器。
根据编码或编码器的示例,SDR比特流和/或承载元数据的其他比特流被发送到目的地。作为示例,这些比特流之一或两者都存储在本地或远程存储器中,例如,视频存储器(64)或RAM(64),硬盘(63)。在变型中,这些比特流中的一个或两者被发送到贮存接口(65),例如,具有大容量贮存器,闪存,ROM,光盘或磁性载体的接口和/或通过通信接口(65)传输,例如,到点对点链路,通信总线,点对多点链路或广播网络的接口。
根据解码或解码器的示例,从源获得SDR比特流和/或承载元数据的其他比特流。示例性地,从本地存储器读取比特流,例如,视频存储器(64),RAM(64),ROM(63),闪存(63)或硬盘(63)。在变型中,比特流从贮存接口(65)接收,例如,具有大容量贮存器,RAM,ROM,闪存,光盘或磁性载体的接口和/或从通信接口(65)接收,例如,到点对点链路,总线,点对多点链路或广播网络的接口。
根据示例,被配置为实现上面描述的编码方法的设备60属于包括以下的组:
-移动设备;
-通信设备;
-游戏设备;
-平板电脑(或平板计算机);
-膝上型计算机;
-静止图像相机;
-摄像机;
-编码芯片;
-静止图像服务器;和
-视频服务器(例如,广播服务器,视频点播服务器或网络服务器)。
根据示例,被配置为实现上面描述的解码方法的设备60属于包括以下的组:
-移动设备;
-通信设备;
-游戏设备;
-机顶盒;
-电视机;
-平板电脑(或平板计算机);
-膝上型计算机;
-显示器和
-解码芯片。
根据图7例示的本原理的示例,在通信网络NET上的两个远程设备A和B之间的传输上下文中,设备A包括与存储器RAM和ROM相关的处理器,其被配置为实现上面描述的用于编码图像的方法,并且设备B包括与存储器RAM和ROM相关的处理器,其被配置为实现上面描述的用于解码的方法。
根据示例,网络是广播网络,适配为将来自设备A的静止图像或视频图像广播到包括设备B的解码设备。
意图由设备A发送的信号承载SDR比特流和/或承载元数据的其他比特流。SDR比特流包括前面解释的编码的SDR视频。该信号还包括与用于从所述解码的SDR视频重构HDR视频的参数值相关的元数据。
本文描述的各种处理和特征的实现方式可以体现在各种不同的设备或应用中。这样的设备的示例包括编码器,解码器,处理来自解码器的输出的后处理器,提供输入给编码器的预处理器,视频编码器,视频解码器,视频编解码器,网络服务器,机顶盒,膝上型计算机,个人计算机,蜂窝电话,PDA以及用于处理图像或视频的任何其他设备或其他通信设备。应该清楚的是,该设备可以是移动的,甚至可以安装在移动车辆中。
另外,该方法可以由处理器执行的指令来实现,并且这样的指令(和/或由实现方式产生的数据值)可以存储在计算机可读贮存介质上。计算机可读贮存介质可以采取计算机可读程序产品的形式,该计算机可读程序产品体现在一个或多个计算机可读介质中并且具有可由计算机执行的体现在其上的计算机可读程序代码。本文使用的计算机可读贮存介质被认为是非暂时性贮存介质,其被给定在其中存储信息的固有能力以及提供从其中检索信息的固有能力。计算机可读贮存介质可以是例如但不限于电,磁,光,电磁,红外或半导体系统,装置或设备,或者前述的任何合适的组合。要认识到,以下虽然提供本原理可以应用于的计算机可读贮存介质的更具体示例,但仅仅是本领域普通技术人员容易理解的例示性而非详尽的列表:便携式计算机盘;硬盘;只读存储器(ROM);可擦除可编程只读存储器(EPROM或闪存);便携式压缩盘只读存储器(CD-ROM);光学贮存设备;磁贮存设备;或者前述的任何合适的组合。
指令可以形成有形地体现在处理器可读介质上的应用程序。
指令可以是例如硬件,固件,软件或组合。指令可以在例如操作系统,单独的应用程序或两者的组合中找到。因此,处理器的特征在于,例如,被配置为执行处理的设备和包括具有用于实施处理的指令的处理器可读介质的设备(诸如,贮存设备)两者。此外,除了指令之外或代替指令,处理器可读介质可以存储由实现方式产生的数据值。
对于本领域技术人员明显的是,实现方式可以产生各种信号,这些信号被格式化以承载可以例如被存储或传输的信息。该信息可以包括例如用于执行方法的指令,或者由描述的实现方式之一产生的数据。例如,信号可以被格式化以承载用于写入或读取本原理的描述的示例的语法的规则作为数据,或者承载由本原理的描述的示例写入的实际语法值作为数据。这样的信号可以被格式化,例如,作为电磁波(例如,使用频谱的射频部分)或者作为基带信号。格式化可以包括,例如,编码数据流和用编码的数据流调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述多个实现方式。然而,将理解,可以进行各种修改。例如,可以组合,补充,修改或移除不同实现方式的元素以产生其他实现方式。另外,普通技术人员将理解,其他结构和处理可以替代公开的那些,并且作为结果的实现方式将以至少基本相同的(多个)方式执行至少基本相同的(多个)功能,以至少实现与公开的实现方式基本相同的(多个)结果。因此,本申请考虑这些和其他实现方式。
Claims (12)
1.一种方法,包括:从第一颜色色域向第二颜色色域进行色域映射,其中,所述第一颜色色域和所述第二颜色色域属于其中当前颜色由包括亮度值和两个色度值的三元组定义的颜色空间,所述两个色度值包括表示色度平面中的饱和度的绝对值和表示色调的角度,该色域映射包括:
·对于至少三个关键颜色的每个关键颜色(colorK0),获得保留的关键颜色(prsv_colorK0)和关键颜色(colorK0)的一个色调对准角度(θK0),所述色调对准角度(θK0)对应于被映射到第二颜色色域的关键颜色和第一颜色色域中的关键颜色之间关于色度平面中的原点形成的角度;和
·执行从第一颜色色域向第二颜色色域的当前颜色的色调映射,包括:
○确定当前颜色的至少三个关键颜色中的两个相邻关键颜色(colorK0,colorK1);
○对于每个相邻关键颜色(colorK0,colorK1),通过将关键颜色(colorK0,colorK1)投影到旋转的色调线上来确定旋转的关键颜色(rotated_colorK0,rotated_colorK1),所述旋转的色调线是从色度平面中的所述原点旋转了色调对准角度的通过关键颜色的色调线;
○对于每个相邻关键颜色(colorK0,colorK1),确定作为通过所述关键颜色(colorK0,colorK1)和保留的关键颜色(prsv_colorK0,prsv_colorK1)的线的前向关键色调线;
○对于每个相邻关键颜色(colorK0,colorK1),确定作为通过所述旋转的关键颜色(rotated_colorK0,rotated_colorK1)和保留的关键颜色(prsv_colorK0,prsv_colorK0)的线的后向关键色调线;
○确定所述两个相邻关键颜色的前向关键色调线之间的交点处的前向锚;
○确定所述两个相邻关键颜色的后向关键色调线之间的交点处的后向锚;
○确定在当前颜色和前向锚之间的前向色调线和所述两个相邻关键颜色的保留的关键颜色之间的保留线的交点处的保留的当前颜色(prsrv_color);和
○确定色调映射的当前颜色,其中
在当前颜色的饱和度低于所述保留的当前颜色(prsv_color)的饱和度的情况下,色调映射的当前颜色是当前颜色,并且
在当前颜色的饱和度并非低于所述保留的当前颜色的饱和度的情况下,通过将当前颜色投影到由所述保留的当前颜色和所述后向锚定义的后向色调线上来获得色调映射的当前颜色。
2.根据权利要求1所述的方法,其中,保留的关键颜色(prsv_colorK0)位于以下之一上:色度平面的原点与关键颜色(colorK0)之间的关键色调线、将关键色调线旋转了色调旋转角度(θK0)的旋转的关键色调线,将关键色调线旋转了色调旋转角度(θK0)的一半的中间关键色调线。
3.根据权利要求1所述的方法,其中,从原色的组和二次色的组中选择关键颜色。
4.根据权利要求1所述的方法,其中,投影关键颜色是以下之一:倾斜投影、正交投影、围绕色度平面的原点的旋转,围绕保留的关键颜色的旋转。
5.根据权利要求1所述的方法,其中,获得保留的关键颜色(prsv_colorK0)和关键颜色(colorK0)的色调对准角度(θK0)包括:接收与用于可逆色域映射的参数相关的元数据。
6.根据权利要求1所述的方法,其中,所述颜色空间是线性光YUV颜色空间。
7.一种用于色域映射的设备,包括一个或多个处理器,其中所述一个或多个处理器被配置为执行从第一颜色色域向第二颜色色域进行色域映射,其中,所述第一颜色色域和所述第二颜色色域属于其中当前颜色由包括亮度值和两个色度值的三元组定义的颜色空间,所述两个色度值包括表示色度平面中的饱和度的绝对值和表示色调的角度,所述一个或多个处理器被进一步配置为:
·对于至少三个关键颜色的每个关键颜色(colorK0),获得保留的关键颜色(prsv_colorK0)和关键颜色(colorK0)的一个色调对准角度(θK0),所述色调对准角度(θK0)对应于被映射到第二颜色色域的关键颜色和第一颜色色域中的关键颜色之间关于色度平面中的原点形成的角度;和
·执行从第一颜色色域向第二颜色色域进行当前颜色的色调映射,包括:
○确定当前颜色的至少三个关键颜色中的两个相邻关键颜色(colorK0,colorK1);
○对于每个相邻关键颜色(colorK0,colorK1),通过将关键颜色(colorK0,colorK1)投影到旋转的色调线上来确定旋转的关键颜色(rotated_colorK0,rotated_colorK1),所述旋转的色调线是从色度平面中的所述原点旋转了色调对准角度的通过关键颜色的色调线;
○对于每个相邻关键颜色(colorK0,colorK1),确定作为通过所述关键颜色(colorK0,colorK1)和保留的关键颜色(prsv_colorK0,prsv_colorK1)的线的前向关键色调线;
○对于每个相邻关键颜色(colorK0,colorK1),确定作为通过所述旋转的关键颜色(rotated_colorK0,rotated_colorK1)和保留的关键颜色(prsv_colorK0,prsv_colorK0)的线的后向关键色调线;
○确定所述两个相邻关键颜色的前向关键色调线之间的交点处的前向锚;
○确定所述两个相邻关键颜色的后向关键色调线之间的交点处的后向锚;
○确定在当前颜色和前向锚之间的前向色调线和所述两个相邻关键颜色的保留的关键颜色之间的保留线的交点处的保留的当前颜色(prsrv_color);和
○确定色调映射的当前颜色,其中
在当前颜色的饱和度低于所述保留的当前颜色(prsv_color)的饱和度的情况下,则色调映射的当前颜色是当前颜色;
在当前颜色的饱和度并非低于所述保留的当前颜色的饱和度的情况下,通过将当前颜色投影到由所述保留的当前颜色和所述后向锚定义的后向色调线上来获得色调映射的当前颜色。
8.根据权利要求7所述的用于色域映射的设备,其中,保留的关键颜色(prsv_colorK0)位于以下之一上:色度平面的原点与关键颜色(colorK0)之间的关键色调线、将关键色调线旋转了色调旋转角度(θK0)的旋转的关键色调线,将关键色调线旋转了色调旋转角度(θK0)的一半的中间关键色调线。
9.根据权利要求7所述的用于色域映射的设备,其中,从原色的组和二次色的组中选择关键颜色。
10.根据权利要求7所述的用于色域映射的设备,其中,投影关键颜色是以下之一:倾斜投影、正交投影、围绕色度平面的原点的旋转,围绕保留的关键颜色的旋转。
11.根据权利要求7所述的用于色域映射的设备,其中,为获得保留的关键颜色(prsv_colorK0)和关键颜色(colorK0)的色调对准角度(θK0),所述设备还包括:用于接收与用于可逆色域映射的参数相关的元数据的接收器。
12.根据权利要求7所述用于色域映射的设备,其中,所述颜色空间是线性光YUV颜色空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111489677.2A CN114338947B (zh) | 2017-03-31 | 2018-03-30 | 用于色域映射的方法和设备 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17305384.4 | 2017-03-31 | ||
EP17305384.4A EP3383017A1 (en) | 2017-03-31 | 2017-03-31 | Method and device for color gamut mapping |
PCT/EP2018/058353 WO2018178367A1 (en) | 2017-03-31 | 2018-03-30 | Method and device for color gamut mapping |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111489677.2A Division CN114338947B (zh) | 2017-03-31 | 2018-03-30 | 用于色域映射的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110603806A CN110603806A (zh) | 2019-12-20 |
CN110603806B true CN110603806B (zh) | 2021-11-30 |
Family
ID=58536920
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111489677.2A Active CN114338947B (zh) | 2017-03-31 | 2018-03-30 | 用于色域映射的方法和设备 |
CN201880030271.8A Active CN110603806B (zh) | 2017-03-31 | 2018-03-30 | 用于色域映射的方法和设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111489677.2A Active CN114338947B (zh) | 2017-03-31 | 2018-03-30 | 用于色域映射的方法和设备 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11184508B2 (zh) |
EP (3) | EP3383017A1 (zh) |
KR (2) | KR20240148928A (zh) |
CN (2) | CN114338947B (zh) |
BR (1) | BR112019020137A2 (zh) |
MX (2) | MX2019011385A (zh) |
WO (1) | WO2018178367A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3367659A1 (en) * | 2017-02-28 | 2018-08-29 | Thomson Licensing | Hue changing color gamut mapping |
US11928796B2 (en) * | 2017-12-01 | 2024-03-12 | Interdigital Patent Holdings, Inc. | Method and device for chroma correction of a high-dynamic-range image |
US11138765B2 (en) * | 2018-12-10 | 2021-10-05 | Gopro, Inc. | Non-linear color correction |
EP3672267A1 (en) * | 2018-12-20 | 2020-06-24 | InterDigital VC Holdings, Inc. | Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media |
CN114009148B (zh) | 2019-04-30 | 2024-05-14 | 昕诺飞控股有限公司 | 亮度分布确定 |
CN114175647A (zh) * | 2019-07-30 | 2022-03-11 | 杜比实验室特许公司 | 电光传递函数转换和信号合法化 |
EP3945719B1 (de) * | 2020-07-30 | 2023-12-27 | Hochschule Rheinmain University of Applied Sciences Wiesbaden Rüsselsheim | Verfahren zur farbraumtransformation |
US20230095785A1 (en) * | 2021-09-27 | 2023-03-30 | Ati Technologies Ulc | Chroma correction of inverse gamut mapping for standard dynamic range to high dynamic range image conversion |
WO2023140514A1 (ko) * | 2022-01-19 | 2023-07-27 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
WO2024023008A1 (en) * | 2022-07-27 | 2024-02-01 | Interdigital Ce Patent Holdings, Sas | Method for preventing clipping in sl-hdrx systems |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005109856A2 (en) * | 2004-05-06 | 2005-11-17 | Canon Kabushiki Kaisha | Gamut mapping with primary color rotation |
CN1753452A (zh) * | 2004-09-21 | 2006-03-29 | 三星电子株式会社 | 检测色域边界及使用其来映射色域的设备和方法 |
JP2013223053A (ja) * | 2012-04-16 | 2013-10-28 | Konica Minolta Inc | 色調整方法及び色調整プログラム |
WO2016184831A1 (en) * | 2015-05-18 | 2016-11-24 | Thomson Licensing | Method and device for processing color image data representing colors of a color gamut |
EP3110124A1 (en) * | 2015-06-25 | 2016-12-28 | Thomson Licensing | Hue changing color gamut mapping |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6882445B1 (en) | 1999-05-31 | 2005-04-19 | Mitsubishi Denki Kabushiki Kaisha | Color gamut compression apparatus and method |
JP2004104777A (ja) * | 2002-08-23 | 2004-04-02 | Fuji Xerox Co Ltd | 色域マッピング方法および色域マッピング装置、色域マッピングプログラム、記憶媒体 |
JP2006345187A (ja) | 2005-06-08 | 2006-12-21 | Canon Inc | 色処理方法およびその装置 |
KR101319335B1 (ko) * | 2007-06-22 | 2013-10-16 | 엘지디스플레이 주식회사 | 색역 맵핑 방법 및 그를 이용한 액정 표시 장치 |
TWI479898B (zh) | 2010-08-25 | 2015-04-01 | Dolby Lab Licensing Corp | 擴展影像動態範圍 |
US8576445B2 (en) * | 2011-06-28 | 2013-11-05 | Konica Minolta Laboratory U.S.A., Inc. | Method for processing high dynamic range images using tone mapping to extended RGB space |
CN104364820B (zh) * | 2012-10-08 | 2018-04-10 | 皇家飞利浦有限公司 | 具有颜色约束的亮度改变图像处理 |
CN105164994B (zh) * | 2013-05-31 | 2018-06-08 | 英特尔公司 | 半固定色调色域压缩 |
JP2015111779A (ja) | 2013-12-06 | 2015-06-18 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、画像処理方法およびコンピュータプログラム |
JP6539170B2 (ja) | 2014-09-24 | 2019-07-03 | 日本放送協会 | 色域変換装置および色域変換方法 |
EP3113495A1 (en) * | 2015-06-30 | 2017-01-04 | Thomson Licensing | Methods and devices for encoding and decoding a hdr color picture |
WO2017019818A1 (en) * | 2015-07-28 | 2017-02-02 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
US10841627B2 (en) * | 2016-07-01 | 2020-11-17 | Lg Electronics Inc. | Broadcast signal transmission method, broadcast signal reception method, broadcast signal transmission apparatus, and broadcast signal reception apparatus |
-
2017
- 2017-03-31 EP EP17305384.4A patent/EP3383017A1/en not_active Withdrawn
-
2018
- 2018-03-30 BR BR112019020137A patent/BR112019020137A2/pt unknown
- 2018-03-30 MX MX2019011385A patent/MX2019011385A/es unknown
- 2018-03-30 CN CN202111489677.2A patent/CN114338947B/zh active Active
- 2018-03-30 KR KR1020247032090A patent/KR20240148928A/ko unknown
- 2018-03-30 KR KR1020197028464A patent/KR102711993B1/ko active IP Right Grant
- 2018-03-30 CN CN201880030271.8A patent/CN110603806B/zh active Active
- 2018-03-30 WO PCT/EP2018/058353 patent/WO2018178367A1/en active Application Filing
- 2018-03-30 EP EP23195864.6A patent/EP4270916A3/en active Pending
- 2018-03-30 EP EP18718715.8A patent/EP3603046B1/en active Active
- 2018-03-30 US US16/499,839 patent/US11184508B2/en active Active
-
2019
- 2019-09-24 MX MX2023006932A patent/MX2023006932A/es unknown
-
2021
- 2021-10-25 US US17/510,195 patent/US11671550B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005109856A2 (en) * | 2004-05-06 | 2005-11-17 | Canon Kabushiki Kaisha | Gamut mapping with primary color rotation |
CN1753452A (zh) * | 2004-09-21 | 2006-03-29 | 三星电子株式会社 | 检测色域边界及使用其来映射色域的设备和方法 |
JP2013223053A (ja) * | 2012-04-16 | 2013-10-28 | Konica Minolta Inc | 色調整方法及び色調整プログラム |
WO2016184831A1 (en) * | 2015-05-18 | 2016-11-24 | Thomson Licensing | Method and device for processing color image data representing colors of a color gamut |
EP3110124A1 (en) * | 2015-06-25 | 2016-12-28 | Thomson Licensing | Hue changing color gamut mapping |
Also Published As
Publication number | Publication date |
---|---|
US20220103720A1 (en) | 2022-03-31 |
BR112019020137A2 (pt) | 2020-04-22 |
CN114338947A (zh) | 2022-04-12 |
US11184508B2 (en) | 2021-11-23 |
EP3603046A1 (en) | 2020-02-05 |
CN114338947B (zh) | 2024-04-02 |
MX2023006932A (es) | 2023-06-27 |
EP3383017A1 (en) | 2018-10-03 |
US11671550B2 (en) | 2023-06-06 |
EP4270916A2 (en) | 2023-11-01 |
MX2019011385A (es) | 2019-11-07 |
KR20190132399A (ko) | 2019-11-27 |
CN110603806A (zh) | 2019-12-20 |
WO2018178367A1 (en) | 2018-10-04 |
KR102711993B1 (ko) | 2024-10-02 |
EP3603046B1 (en) | 2023-10-18 |
KR20240148928A (ko) | 2024-10-11 |
EP4270916A3 (en) | 2024-01-10 |
US20200106928A1 (en) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110603806B (zh) | 用于色域映射的方法和设备 | |
CN110785989B (zh) | 用于色域映射的方法和设备 | |
CN111316625B (zh) | 用于从第一图像生成第二图像的方法和设备 | |
CN110574376B (zh) | 用于解码高动态范围图像的方法和设备 | |
CN110521198B (zh) | 用于重构hdr图像的方法和设备 | |
CN110741623B (zh) | 用于色域映射的方法和设备 | |
US10600163B2 (en) | Method and device for reconstructing a display adapted HDR image | |
US11006152B2 (en) | Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream | |
JP2019097013A (ja) | ディスプレイ適合hdr画像を再構成する方法およびデバイス | |
CN112425168B (zh) | 编码图像的方法和装置 | |
EP3528201A1 (en) | Method and device for controlling saturation in a hdr image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |