CN116508054A - 用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置 - Google Patents

用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置 Download PDF

Info

Publication number
CN116508054A
CN116508054A CN202180070572.5A CN202180070572A CN116508054A CN 116508054 A CN116508054 A CN 116508054A CN 202180070572 A CN202180070572 A CN 202180070572A CN 116508054 A CN116508054 A CN 116508054A
Authority
CN
China
Prior art keywords
initial
component
color correction
factor
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180070572.5A
Other languages
English (en)
Inventor
D·图兹
M-J·科莱蒂斯
R·勒纳尔
F·普利松诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN116508054A publication Critical patent/CN116508054A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

提供了一种方法，该方法包括修改颜色校正函数，该颜色校正函数旨在校正当前图像的初始色度分量，以获得归一化的校正后的色度分量，从而避免该初始色度分量的削波同时维持饱和度并保持色调。

Description

用于避免色调映射器中的色度削波同时维持饱和度并保持色 调的方法、设备和装置
1.技术领域
本发明实施方案中的至少一个实施方案总体上涉及使用SL-HDRx系统(x＝1、2或3)分发HDR视频的领域，并且更具体地涉及用于修改颜色校正函数的方法、设备和装备，该颜色校正函数旨在校正由初始亮度分量和初始色度分量表示的当前图像的该初始色度分量，以获得归一化的校正后的色度分量，从而在维持饱和度和保持色调的同时避免色度削波。
2.背景技术
显示技术的最新进展开始允许要显示的图像中颜色、亮度和对比度的扩展的动态范围。术语图像这里是指例如可以是视频或静态图片或图像的图像内容。
高动态范围视频(HDR视频)描述了动态范围大于标准动态范围视频(SDR视频)的动态范围的视频。HDR视频涉及捕获、制作、内容/编码和显示。HDR捕获和显示能够呈现更亮的白色和更深的黑色。为了适应这一点，HDR编码标准允许更高的最大亮度，并且使用至少10位动态范围(与非专业视频的8位和专业SDR视频的10位相比)，以便在此扩展范围内维持精度。
虽然技术上“HDR”严格地是指最大亮度和最小亮度之间的比率，但是术语“HDR视频”也通常被理解为意指宽色域。
尽管已经出现了许多HDR显示设备以及能够以增大的动态范围捕获图像的图像和视频相机，但可用的HDR内容的数量仍然非常有限。此外，大多数当前内容分发系统都被设计为用于传输SDR内容。
标准SL-HDR1(ETSI TS 103 433-1系列，最新版本为v1.3.1)通过使用元数据来提供直接向后兼容性，该元数据允许从SDR视频流重建HDR信号。SL-HDR1的一个优势是允许使用已经存在的SDR分发网络和服务来分发HDR内容。并且，SL-HDR1允许使用单层视频流，在HDR设备上进行HDR渲染，并且在SDR设备上进行SDR渲染。
标准SL-HDR2(ETSI TS 103 433-2系列，最新版本为v1.2.1)适用于HDR设备。标准SL-HDR2允许传输ST-2084(又名PQ(感知量化器)或HDR10)流以及元数据。当由仅与ST-2084兼容而与元数据不兼容的设备接收流时，后者忽略元数据并且在不了解其所有技术细节的情况下显示图像(取决于设备型号及其处理能力，颜色渲染和色阶详细信息可能与原始来源不符)。当支持ST-2084格式和元数据的设备接收流时，它会显示最符合内容制作者意图的经优化的图像。
标准SL-HDR3(ETSI TS 103 433-3v1.1.1)允许传输HLG(混合对数伽马)流以及元数据。SL-HDR3系统包括基于SL-HDR2 HDR/SDR重建块的HDR/SDR重建块，即它由HLG至ST-2084OETF(光电传递函数)转换器和SL-HDR2 HDR/SDR重建块的级联构成。OETF描述了传感器的动作，将场景亮度转换为数据。
在某些典型的SL-HDRx系统中，SDR信号的亮度部分(即SDR亮度)是通过对从原始HDR RGB分量计算出的原始HDR信号的亮度或从原始HDR信号的HDR RGB分量(即HDR亮度)的伽马校正的版本计算出的该原始HDR信号的亮度应用色调映射操作来计算的。该SDR信号的色度部分(即SDR色度)是根据该原始HDR信号的HDR RGB分量的伽马校正的版本以及根据取决于所计算的SDR亮度的颜色校正因子来计算的。
在某些情况下，所生成的SDR色度分量被削波到可能的最大值。当从该SDR信号重建该HDR信号时，该削波是重建误差的直接根源。
为了避免SDR色度分量削波，有一些方法是修改所计算的SDR色度分量的饱和度。然而，这些方法会产生饱和度非常低的SDR图像，这些图像在颜色(即色调)方面与原始HDR信号不再一致。
期望克服以上缺点。
特别期望定义一种方法以能够避免SDR色度分量削波同时维持所导出的SDR信号的饱和度并保持其色调。
3.发明内容
在第一方面，本发明实施方案中的一个或多个实施方案提供了一种用于修改颜色校正函数的方法，该颜色校正函数旨在校正由初始亮度分量和初始色度分量表示的当前图像的该初始色度分量，以获得归一化的校正后的色度分量，该颜色校正函数由包括第一坐标和第二坐标的初始元组的集合定义，对于该当前图像，该方法包括：
将该初始亮度分量的亮度值范围划分为部分亮度范围，两个连续部分亮度范围之间的每个边界对应于该初始元组中的一个初始元组的第一坐标；
在每个部分亮度范围中估计该初始色度分量的衰减值，每个衰减值允许降低该初始色度分量以避免该分量的削波；
根据针对每个部分亮度范围确定的该衰减值确定该初始色度分量的全局衰减值；
基于该全局衰减值和与每个部分亮度范围相关联的衰减值，计算每个部分亮度范围的因子，该因子允许维持该部分亮度范围中的饱和度；
针对两个连续亮度范围之间的每个边界，计算最小因子，该最小因子表示针对这两个连续部分亮度范围计算的因子中的最小值；
基于对应于两个连续部分亮度范围之间的每个边界的最小因子和该全局衰减值，计算该边界的最终校正因子；和，
使用该最终校正因子修改该初始元组中的至少一个初始元组的第二坐标，以获得定义新颜色校正函数的新元组。
在一个实施方案中，该方法包括该新元组的时间稳定，该时间稳定基于使用针对当前图像之前的图像计算的新元组的滤波。
在一个实施方案中，在属于两个场景切换之间相同场景的图像集合中执行该时间稳定。
在第二方面，本发明实施方案中的一个或多个实施方案提供了一种用于修改颜色校正函数的设备，该颜色校正函数旨在校正由初始亮度分量和初始色度分量表示的当前图像的该初始色度分量，以获得归一化的校正后的色度分量，该颜色校正函数由包括第一坐标和第二坐标的初始元组的集合定义，该设备包括：
划分构件，该划分构件用于将该初始亮度分量的亮度值范围划分为部分亮度范围，两个连续部分亮度范围之间的每个边界对应于该初始元组中的一个初始元组的第一坐标；
估计构件，该估计构件用于在每个部分亮度范围中估计该初始色度分量的衰减值，每个衰减值允许降低该初始色度分量以避免该分量的削波；
确定构件，该确定构件用于根据针对每个部分亮度范围确定的该衰减值确定该初始色度分量的全局衰减值；
因子计算构件，该因子计算构件用于基于该全局衰减值和与每个部分亮度范围相关联的衰减值，计算每个部分亮度范围的因子，该因子允许维持该部分亮度范围中的饱和度；
最小因子计算构件，该最小因子计算构件用于针对两个连续亮度范围之间的每个边界，计算最小因子，该最小因子表示针对这两个连续部分亮度范围计算的因子中的最小值；
最终校正因子计算构件，该最终校正因子计算构件用于基于对应于两个连续部分亮度范围之间的每个边界的最小因子和该全局衰减值，计算该边界的最终校正因子；和，
修改构件，该修改构件用于使用该最终校正因子修改该初始元组中的至少一个初始元组的第二坐标，以获得定义新颜色校正函数的新元组。
在一个实施方案中，该设备包括用于应用该新元组的时间稳定的构件，该时间稳定基于使用针对图像序列中的当前图像之前的图像计算的新元组的滤波。
在一个实施方案中，该设备包括用于在该图像序列中的属于两个场景切换之间相同场景的图像集合中应用该时间稳定的构件。
在第三方面，本发明实施方案中的一个或多个实施方案提供了一种用于色调映射图像的方法，该图像包括初始亮度分量和初始色度分量，该方法包括：
使用第一方面的方法修改颜色校正函数；和，
基于新颜色校正函数对该初始色度分量应用颜色校正。
在第四方面，本发明实施方案中的一个或多个实施方案提供了一种用于将图像联合分发到客户端系统的方法，该图像具有HDR和SDR格式的相同内容，该方法包括：
应用第一或第三方面的方法；以及
将表示该新元组的数据以元数据的形式传输到该客户端系统。
在第五方面，本发明实施方案中的一个或多个实施方案提供了一种用于色调映射图像的装置，该图像包括初始亮度分量和初始色度分量，该装置包括：
根据第二方面所述的设备；和，
颜色校正构件，该颜色校正构件用于基于新颜色校正函数对该初始色度分量应用颜色校正。
在第六方面，本发明实施方案中的一个或多个实施方案提供了一种用于将图像联合分发到客户端系统的装置，该图像具有HDR和SDR格式的相同内容，该装置包括：
根据第二方面所述的设备或根据第五方面所述的装置；以及
传输构件，该传输构件用于将表示该新元组的数据以元数据的形式传输到该客户端系统。
在第七方面，本发明实施方案中的一个或多个实施方案提供了一种装备，该装备包括根据第二方面所述的设备或根据第五方面或第六方面所述的装置。
在第八方面，本发明实施方案中的一个或多个实施方案提供了一种信号，该信号通过第一方面、第三方面或第四方面的方法或通过第二方面的设备或通过根据第五方面或第六方面所述的装置或通过根据第七方面所述的装备生成。
在第九方面，本发明实施方案中的一个或多个实施方案提供了一种计算机程序，该计算机程序包括程序代码指令，该程序代码指令用于实现根据第一方面、第三方面或第四方面所述的方法。
在第十方面，本发明实施方案中的一个或多个实施方案提供了一种信息存储介质，该信息存储介质存储程序代码指令，该程序代码指令用于实现根据第一方面、第三方面或第四方面所述的方法。
4.附图说明
图1示出了SL-HDR1系统的示例；
图2示意性地示出了SL-HDR1系统的预处理模块的细节；
图3示意性地示出了SL-HDR1系统的后处理模块的细节；
图4示意性地示出了能够实现各个方面和实施方案的处理模块的硬件架构的示例；
图5示出了在其中实现各个方面和实施方案的第一系统的示例的框图；
图6示出了在其中实现各个方面和实施方案的第二系统的示例的框图；
图7示意性地示出了预处理过程的示例；
图8示意性地示出了后处理过程的示例；
图9示意性地示出了色度限幅器处理的示例；
图10A示意性地示出了时间稳定过程的第一示例；
图10B示意性地示出了时间稳定过程的第二示例；
图11示意性地表示用于在部分亮度范围中确定色度分量的衰减值的过程；
图12示出了色度限幅器处理的执行；
图13示出了时间稳定过程的第一细节；并且，
图14示出了时间稳定过程的第二细节。
5.具体实施方式
下面将在SL-HDR1系统的上下文中描述各个方面和实施方案。然而，这些方面和实施方案可适用于包括颜色校正的任意SL-HDRx系统。
图1示出了SL-HDR1系统的示例。
图1的该SL-HDR1系统包括经由通信网络2通信的服务器1和客户端系统3。客户端系统3通过通信链路4连接到能够显示HDR内容的第一显示设备，并且通过通信链路6连接到能够显示SDR内容的第二显示设备，该第一显示设备被称为HDR显示设备5，该第二显示设备被称为SDR显示设备7。
服务器1获得原始HDR内容，并且生成编码的SDR信号和元数据。
客户端3接收该编码的SDR信号和该元数据、生成解码的SDR内容以及从该SDR解码的SDR内容和该元数据重建HDR内容。
服务器1包括结合图2详细描述的预处理模块、编码模块12和传输模块14。
预处理模块10应用以下结合图7和图9描述的过程从该原始HDR内容生成SDR内容和元数据。
编码模块12对该SDR内容和该元数据进行编码。编码模块12例如生成编码视频流，该编码视频流符合视频压缩标准HEVC(ISO/IEC 23008-2-MPEG-H第二部分，高效视频编码/ITU-T H.265)或AVC(ISO/IEC 14496-10-MPEG-4第十部分，高级视频编码)或正在开发的名为通用视频编码(VVC)的标准。该元数据例如由SEI消息(例如用户数据注册的SEI消息、HEVC颜色重映射信息(CRI)或主控显示颜色体积(MDCV)SEI消息)执行。
编码时，该编码的视频流由传输模块14经由通信网络2传输到客户端系统3。
客户端系统3包括结合图3详细描述的接收模块30、解码模块32和后处理模块34。
接收模块30接收包括该编码的SDR内容和该元数据的该编码视频流。
解码模块32对该编码视频流进行解码以重建该SDR内容和该元数据。不对直接传输到SDR显示设备7的SDR内容应用进一步的处理。
后处理模块34应用结合图8描述的过程从该解码的SDR内容和该元数据重建该HDR内容。
图2示意性地示出了预处理模块10的细节。
预处理模块10包括转换模块10A和HDR至SDR信号分解模块10C。
HDR至SDR信号分解模块10C在其输入端需要线性光RGB信号。转换模块10A能够对HDR至SDR信号分解模块10C所要求的输入进行格式适配，即，如果需要的话，该转换模块将可具有任意格式(OETF、YUV等)的输入的HDR视频转换至线性光RGB信号。
HDR至SDR信号分解模块10C使用结合图7的步骤701至步骤708描述的可逆过程来生成该原始HDR信号的SDR后向兼容版本，该可逆过程保证了高质量重建HDR信号。
在一个实施方案中，预处理模块10包括可选的色域映射模块10B。当用不同的色域或颜色空间表示该原始HDR信号和该SDR信号时，可以使用色域映射模块10B。
图3示意性地示出了后处理模块34的细节。
后处理模块34包括SDR至HDR重建模块34C和转换模块34A。
SDR至HDR重建模块34C接收该解码的SDR信号和该元数据，并执行HDR至SDR分解模块10C的逆向过程以重建HDR信号，如结合图8的步骤801步骤至807所描述。
转换模块34A能够使得该重建的HDR信号格式适配到与客户端系统3连接的目标系统(例如机顶盒(STB)、连接的TV等)。转换模块34A应用由图8的步骤808描述的过程。
在预处理模块10包括色域映射模块10B的实施方案中，后处理模块34包括可选的逆色域映射模块34B，该逆色域映射模块执行色域映射模块10B的逆向过程。
图4示意性地示出了处理模块100的硬件架构的示例，该处理模块包括在服务器1、预处理模块10、编码模块12或传输模块14中或包括在客户端系统3、接收模块30、解码模块32或后处理模块34中，并且能够实现不同的方面和实施方案。作为非限制性示例，处理模块100包括由通信总线1005连接的以下项：包含一个或多个微处理器的处理器或CPU(中央处理单元)1000、通用计算机、专用计算机和基于多核心架构的处理器；随机存取存储器(RAM)1001；只读存储器(ROM)1002；存储单元1003，该存储单元可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器，或者存储介质读取器，诸如SD(安全数字)卡读取器和/或硬盘驱动器(HDD)和/或可访问网络的存储设备；至少一个通信接口1004，该至少一个通信接口用于与其他模块、设备、系统或装备交换数据。通信接口1004可以包括但不限于被配置为通过通信网络2传输和接收数据的收发器。通信接口1004可包括但不限于调制解调器或网卡。
通信接口1004例如使处理模块100能够：
·当处理模块100包括在服务器1中时，接收该原始HDR内容并输出包括该编码的SDR内容和元数据的该编码视频流；
·当处理模块100包括在预处理模块10中时，接收该原始HDR内容并输出具有元数据的该SDR内容；
·当处理模块100包括在编码模块12中时，接收SDR内容和元数据并输出表示该SDR内容和该元数据的编码视频流；
·当该处理模块包括在传输模块14中时，接收该编码视频流并将该编码视频流传输到客户端系统3；
·当处理模块100包括在客户端系统3中时，从服务器1接收该编码视频流并输出对应的SDR和/或HDR内容；
·当处理模块100包括在接收模块30中时，从服务器1接收该编码视频流并将该编码视频流转发到解码模块32；
·当处理模块100包括在解码模块32中时，从接收模块30接收该编码视频流并输出重建的SDR内容和元数据；
·当处理模块100包括在后处理模块34中时，接该重建的SDR内容和元数据并输出重建的HDR内容。
处理器1000能够执行从ROM 1002、外部存储器(未示出)、存储介质或通信网络加载到RAM 1001中的指令。当处理模块100上电时，处理器1000能够从RAM 1001读取指令并执行这些指令。这些指令形成计算机程序，该计算机程序使得例如通过处理器1000实现结合图7和图9描述的预处理过程、编码过程、解码过程和/或结合图8描述的后处理过程。
所述过程的全部或部分算法和步骤可通过由诸如DSP(数字信号处理器)或微控制器的可编程机器执行一组指令而以软件形式实现，或者可通过诸如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的机器或专用部件而以硬件形式实现。
图5示出了系统A的示例的框图，该系统A适于实现服务器1、预处理模块10、编码模块12和/或传输模块14，并且在其中实现各个方面和实施方案。
系统A可体现为包括以上描述的各种部件或模块的设备，并且被配置为执行本文档描述的各方面和实施方案中的一个或多个方面和实施方案。此类系统的示例包括但不限于各种电子系统，诸如个人计算机、膝上型计算机、智能手机、平板计算机、连接的家用电器、服务器和相机。系统A的部件可以单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统A包括一个处理模块100，该处理模块实现预处理过程10、编码模块12或传输模块14或这些模块的任意组合。在各种实施方案中，系统A经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。
处理模块100的输入可通过如框60所示的各种输入模块来提供。此类输入模块包括但不限于：(i)射频(RF)模块，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入模块(或一组COMP输入模块)；(iii)通用串行总线(USB)输入模块；和/或(iv)高清晰度多媒体接口(HDMI)输入模块。图5中未示出的其他示例包括复合视频。
在各种实施方案中，框60的输入模块具有如本领域所已知的相关联的相应输入处理元件。例如，RF模块可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF模块包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF模块包括天线。
另外，USB和/或HDMI模块可包括用于跨USB和/或HDMI连接将系统A连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要例如在单独的输入处理IC内或在处理模块100内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理模块100内实现。解调、纠错和解复用的流被提供给处理模块100。
系统A的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如，在系统A中，处理模块100通过总线1005与该系统A的其他元件互连。
处理模块100的通信接口1004允许系统A在通信网络2上通信。例如，可在有线和/或无线介质中实现通信网络2。
在各种实施方案中，使用诸如Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会)之类的无线网络来将数据流式发射或以其他方式提供给系统A。这些实施方案中的Wi-Fi信号通过适用于Wi-Fi通信的通信网络2和通信接口1004进行接收。这些实施方案中的通信网络2通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其他跨顶通信。还有其他实施方案使用输入框60的RF连接向系统A提供流式数据。如上所述，例如，当系统A是相机、智能手机或平板计算机时，各种实施方案以非流式方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
系统A可以使用通信网络2或总线1005向各种输出设备提供输出信号。例如，在实现预处理模块10时，系统A使用总线1005或通信网络2将该输出信号提供给编码模块12。在实现服务器1时，系统A使用通信网络2向客户端系统3提供SDR信号和元数据。
各种具体实施涉及应用预处理过程和/或编码过程。如本申请中所用，预处理过程或编码过程可涵盖例如对所接收的HDR图像或视频流执行的过程中的全部或部分过程，以便制作SDR内容或具有元数据的编码的SDR内容。在与编码过程相关的各种实施方案中，此类过程包括通常由视频编码器(例如由称为联合视频专家组(JVET)编码器、AV1编码器或VP9编码器的ITU-T和ISO/IEC专家联合协作组开发的H.264/AVC(ISO/IEC 14496-10–MPEG-4第十部分、高级视频编码)、H.265/HEVC(ISO/IEC 23008-2-MPEG-H第二部分、高效视频编码/ITU-T H.265)编码器和H.266/VVC(通用视频编码)编码器)执行的过程中的一个或多个过程。
图6示出了系统B的示例的框图，该系统B适于实现客户端系统3、接收模块30、解码模块32和/或后处理模块34，并且在其中实现各个方面和实施方案。
系统B可体现为包括以上描述的各种部件或模块的设备，并且被配置为执行本文档描述的各方面和实施方案中的一个或多个方面和实施方案。
此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、和连接的家用电器。系统B的元件或模块可以单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统B包括一个处理模块100，该处理模块实现接收模块30、解码模块32和后处理模块34或者这些模块的任意组合。在各种实施方案中，系统B经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。
处理模块100的输入可通过结合图5描述过的如框60所示的各种输入模块来提供。
系统B的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如，在系统B中，处理模块100通过总线1005与该系统B的其他元件互连。
处理模块100的通信接口1004允许系统B在通信网络6上通信。例如，可在有线和/或无线介质中实现通信网络2。
在各种实施方案中，使用诸如Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会)之类的无线网络来将数据流式发射或以其他方式提供给系统B。这些实施方案中的Wi-Fi信号通过适用于Wi-Fi通信的通信网络2和通信接口1004进行接收。这些实施方案中的通信网络2通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其他跨顶通信。还有其他实施方案使用输入框60的RF连接向系统B提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
系统B可将输出信号提供到各种输出设备，包括显示器64(对应于图1中的显示设备5或显示设备7)、扬声器65和其他外围设备66。各种实施方案中的显示器64包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器64可用于电视机、平板计算机、膝上型计算机、手机(移动电话)或其他设备。显示器64还可以与其他部件集成(例如，如在智能电话中)，或者是独立的(例如，膝上型计算机的外部监视器)。显示设备64能够兼容SDR或HDR内容。在实施方案的各种示例中，其他外围设备66包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备66，其基于系统B的输出提供功能。例如，光盘播放器执行播放系统B的输出的功能。
在各种实施方案中，控制信号使用诸如AV.Link、消费电子产品控制(CEC)或其他通信协议的信令在系统B与显示器64、扬声器65或其他外围设备66之间传送，该其他通信协议使得在有或没有用户干预的情况下都能够进行设备到设备控制。输出设备可通过相应接口61、62和63经由专用连接通信地耦接到系统B。另选地，输出设备可使用通信网络2经由通信接口1004连接到系统B。显示器64和扬声器65可以与电子设备(例如电视机)中的系统B的其他部件集成在单个单元中。在各种实施方案中，显示器接口61包括显示驱动器，例如定时控制器(T Con)芯片。
例如，如果输入60的RF模块是单独机顶盒的一部分，则显示器64和扬声器65可另选地与其他部件中的一个或多个部件分开。在显示器64和扬声器65为外部部件的各种实施方案中，可以经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。
各种实施涉及应用包括解码过程的后处理过程。如本申请中所用，解码过程可涵盖例如对所接收的编码视频流执行的过程的全部或部分过程，以便产生SDR信号。在各种实施方案中，此类解码过程包括通常由图像或视频解码器(例如由称为联合视频专家组(JVET)解码器、AV1解码器或VP9解码器的ITU-T和ISO/IEC专家联合协作组开发的H.264/AVC(ISO/IEC 14496-10-MPEG-4第十部分、高级视频编码)解码器、H.265/HEVC(ISO/IEC23008-2-MPEG-H第二部分、高效视频编码/ITU-T H.265)解码器和H.266/VVC(通用视频编码)解码器)执行的过程中的一个或多个过程。该后处理过程涵盖从重建的SDR内容和元数据重建HDR内容所需的所有过程。
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施，
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息、从存储器检索信息或例如从另一设备、模块或从用户获得信息中的一者或多者。
此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”、“A和B中的一者或多者”的情况下，使用以下“/”、“和/或”以及“至少一种”、“一者或多者”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”、“A、B和C中的一者或多者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
对于本领域的普通技术人员将显而易见的是，具体实施或实施方案可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施或实施方案中的一个具体实施或实施方案产生的数据。例如，可格式化信号以携带所述实施方案的SDR图像或视频序列以及元数据。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。该格式化可包括例如使用编码视频流中的元数据对SDR图像或视频序列进行编码以及使用所编码的流调制载波。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
图7示意性地示出了预处理过程的示例。
预处理过程的该示例适于在NCL(非恒定亮度)模式下的SL-HDR1系统。在此示例中，预处理模块10接收原始HDR内容并生成SDR内容和元数据。该预处理过程由服务器1中包括的处理模块100针对原始HDR内容的每个图像的每个像素执行。在图7的示例中，像素包括对应于红色(R)、绿色(G)和蓝色(B)三种原色的三个颜色分量，即像素是RGB信号。
在步骤701中，处理模块100获得原始HDR内容的图像并从该图像及其特性导出映射参数，如例如在标准SL-HDR1中所描述。该映射参数作为元数据被传输到客户端系统3。
在步骤702中，处理模块100从该图像的线性光RGB信号导出亮度(luma)分量L’，如下所示：
其中，A1是转换矩阵，并且γ是伽马因子，例如等于“2.4”。
在步骤703中，处理模块100将色调映射应用于亮度分量L’以获得色调映射值y′sdr0，如下所示：
y′sdr0＝LUTTM(L′) (方程2)
其中，y′sdr0是在全范围亮度值中(y′sdr0∈[0；1023])，并且LUTTM()是表示色调映射函数的查找表。
在步骤704中，处理模块100对线性光RGB信号应用伽马校正，如下所示：
在步骤705中，处理模块100从伽马校正的RGB信号导出色度(chroma)分量，如下所示：
其中A2和A3是转换矩阵。A＝[A1A2A3]T例如为标准的3x3 RGB至YUV转换矩阵(例如，如根据颜色空间，在ITU-R Rec.BT.2020或ITU-R Rec.BT.709中所指定)。
在步骤706中，处理模块100将联合归一化和颜色校正应用于色度分量u′sdr0和v′sdr0以获得归一化的校正后的色度分量u′sdr1和v′sdr1，如下所示：
u′sdr1和v′sdr1在两个削波值[CLIP_MIN，CLIP_MAX]之间被削波(例如在[CLIP_MIN＝-512，CLIP_MAX＝511]中被削波)。
对应于颜色校正函数，并且在下文中称为ColorCorrection(y)。例如，可以从文档ETSI TS 103433-1v1.3.1的第7.2.3.2节中导出颜色校正函数ColorCorrection(y)的示例。在本文档中，该颜色校正函数由n元组(x[i]，y[i])的集合表示，该n元组在下文中称为初始元组，其中n＝6，并且在一个实施方案中，i是[0；n-1]中的整数值。
在步骤707中，处理模块100将色度注入应用于色调映射亮度值y′sdr0以获得所校正的色调映射亮度值y′sdr1，如下所示：
y′sdr1＝y′sdr0-max(0，a.u′sdr1+b.v′sdr1) (方程6)
在步骤708中，处理模块40将亮度和色度值y′sdr1、u′sdr1和v′sdr1转换至给定的输出格式。步骤708包括向色度分量u′sdr1和v′sdr1添加例如等于“512”的值midsample的子步骤，可选地为下采样色度分量的子步骤，该下采样通过减少色度样本的数量来压缩信号，以及可选地从全范围值(以10位编码时，YUV分量范围从“0”到“1023”)转换到有限范围值(Y分量范围从“64”到“940”，并且UV分量范围从“64”到“960”)的子步骤，以获得表示SDR信号的像素的亮度和色度分量Ysdr、Usdr、Vsdr。步骤708的目的是例如将全范围YUV444信号转换为有限范围YUV420信号。
有时，对于某些特定的HDRRGB值，所生成的SDR色度分量u′sdr1和v′sdr1高于CLIP_MAX或低于CLIP_MIN，因此这些SDR色度分量被削波到它们可能的最大值(即CLIP_MAX)或它们可能的最小值(即CLIP_MIN)。这种削波在客户端系统侧会产生HDR重建信号的重建误差。为了避免SDR色度分量削波，可通过减小系数矩阵或通过减小颜色校正函数ColorCorrection(y)(即/>)来降低u′sdr1和v′sdr1。
下面结合图9所提出的方法使用颜色校正函数ColorCorrection(y)来避免对u′sdr1和v′sdr1的削波同时维持饱和度和色调一致性。
图8示意性地示出了后处理过程的示例。当处理模块100实现后处理模块34并且更具体地SDR至HDR重建步骤34C时，由处理模块100执行图8的过程。重建过程应用于由解码模块32生成的解码的SDR内容的各个像素。图8的重建过程遵循例如图7的预处理过程。因此，由预处理过程输出的信号是重建过程的输入信号。因此，重建过程接收有限范围YUV 420信号。
在步骤801中，处理模块100将所接收的YUV 420信号转换为全范围YUV 444信号Ypost0，Upost0，Vpost0(步骤708的逆向过程)。
转换后，处理模块100将色度分量Upost0和，Vpost0居中，以获得居中的色度分量Upost1和Vpost1。该居中如下执行：
其中midsample例如是等于“512”。
在步骤802中，处理模块100将色度注入校正应用于亮度分量，如下所示：
Ypost1＝Ypost0+max(0；a×Upost1+b×Vpost1)
其中参数a和b在文档ETSI TS 103433-1v1.3.1的第7.2.4节中定义，max(x，y)取x和y的最大值。
随后亮度分量Ypost1然后在[0；1023]中被削波以产生Ypost2。
在步骤803中，处理模块100通过对亮度分量Ypost2应用逆色调映射来导出亮度分量L′：
L′(Ypost2)＝LUT_L[Ypost2]
在步骤804中，处理模块100对该居中的色度分量应用逆颜色校正Upost1和Vpost1，如下所示：
可以注意到，
在步骤805中，处理模块100计算中间RGB信号，如下所示：
在步骤806中，处理模块100将该中间RGB信号缩放L’：
在步骤807中，处理模块100从缩放后的RGB信号再次生成线性光信号：
在步骤808中，处理模块100将该线性光信号转换至期望的输出格式。
图9示意性地示出了色度限幅器处理的示例。
该方法主要有两个目的：
1.避免SDR色度分量削波同时保持色调：
如果需要对U(即u′sdr1)或V(即v′sdr1)分量中的一者或两者降低U的衰减值UDivMax和/或V的衰减值VDivMax以避免削波，则该U和V分量均应被降低相同的衰减值UVDivMax，即最大衰减值：UVDivMax＝MAX(UDivMax,VDivMax)。这确保可保持原始HDR内容的色调。由于颜色校正函数ColorCorrection(y)是同时应用于u′sdr0和v′sdr0的，当计算u′sdr1和v′sdr1时，将衰减值UVDivMax应用于颜色校正函数ColorCorrection(y)中(在步骤706中)。
在步骤804中，修改颜色校正函数ColorCorrection(y)(即)需要在合适的颜色校正函数βP(Ypost2)中通过相同量的校正来补偿，以确保正确的HDR重建。因此，描述颜色校正函数ColorCorrection(y)(即/>))形状的元组在由服务器1传输到客户端系统3的元数据中，被发送到后处理模块34。
2.尽可能维持SDR饱和度：
如果最大衰减值(即最大颜色校正量UVDivMax)被应用于ColorCorrection(y)函数的所有点，则有可能对整个亮度范围的色度分量进行不必要的去饱和，即使仅需要校正该亮度范围的一小部分。为了避免不必要的去饱和，颜色校正函数ColorCorrection(y)的亮度范围被分割为有限数量的部分亮度范围n。当处理“10”位的SDR内容时，部分亮度范围“n”的最大数量为“1023”，即，y的每个值都可以有一个特定的颜色校正函数ColorCorrection(y)值。
在每个部分亮度范围i(i＝[0；n–1])中，计算衰减值UDivMax[i]、VDivMax[i]和UVDivMax[i]。最大衰减值(即最大颜色校正量)UVDivMax是所有衰减值UVDivMax[i]中的最大值。
可通过计算再饱和因子Resaturation[i]＝UVDivMax/UVDivMax[i](i＝[0；n–1])，在每个部分亮度范围中应用最大颜色校正量UVDivMax上的再饱和因子。这潜在地允许针对每个部分亮度范围进行再饱和，因而也避免了在该部分亮度范围中的UV分量的削波。
两个连续部分亮度范围之间的每个边界被分配给表示颜色校正函数ColorCorrection(y)的n个初始元组(x[i],y[i])中的一个初始元组(在SL-HDR1的情况下n＝6)。可以在该边界处应用的再饱和因子ResaturationFrontier[j](j＝[0..n–2])是围绕该边界的两个连续范围的再饱和因子Resaturation[i]的最小值。
然后，可以在每个边界应用的颜色校正因子计算如下：
ColorCorrectionFrontier[j]＝UVDivMax/ResaturationFrontier[j]。
最后，使用各边界ColorCorrectionFrontier[j]的颜色校正因子来修改颜色校正函数ColorCorrection(y)。
下面结合图9详细描述的上述过程确保了对于每个部分亮度范围：
·避免UV削波同时保持色调；
·尽可能维持饱和度。
在步骤706之后，由服务器1的处理模块100在图7的预处理过程期间对当前图像执行图9的方法。
在步骤901中，处理模块100将全范围亮度值(例如，即[0..1023])划分为n+1个部分亮度范围。
两个连续部分亮度范围之间的每个边界对应于表示颜色校正函数ColorCorrection()的初始元组(x[i],y[i])中的一个初始元组的给定x[i]坐标。在SL-HDR1的示例中，定义了n+1＝7个部分亮度范围和n＝6个边界，对应于能够定义颜色校正函数ColorCorrection(y)的n＝6个初始元组(x[i],y[i])。在某些情况下，“6”个初始元组(x[i],y[i])具有默认值。作为示例，x[i]值可以均匀分布在全范围亮度值的“1024”个值上。例如x[0]＝146，x[1]＝292，x[2]＝438，x[3]＝584，x[4]＝730，x[5]＝876。
可选地，n个部分亮度范围边界的另一个映射例如可以从待预处理的当前图像的分析(例如从该当前图像的亮度直方图)导出。该映射可以是每个图像的动态映射，也可以是属于某个场景(该场景由在其两端的两个场景切换限定)的所有图像的静态映射。
y[i]值具有默认值y_default，即y[0]＝y[1]＝y[2]＝y[3]＝y[4]＝y[5]＝y_default。
在SL-HDR1的情况下，最多使用六个8位元组来描述颜色校正函数ColorCorrection(y)，该8位元组命名为sgf_x[i]和sgf_y[i]，因而范围为“0”到“255”。因此，这些特定的SL-HDR1值可以是例如sgf_x[0]＝36，sgf_x[1]＝73，sgf_x[2]＝109，sgf_x[3]＝146，sgf_x[4]＝182，sgf_x[5]＝219以及sgf_y[i]＝128(i＝[0..5])。然后可以分别从sgf_x[i]和sgf_y[i]中导出x[i]和y[i]，以用于更大范围，例如全亮度范围[0；1024]。
在步骤902中，处理模块100在每个部分亮度范围中估计色度分量的衰减值，该衰减值允许降低色度分量以避免该分量的削波。换句话说，处理模块100估计分量U的衰减值UDivMax[i]和分量V的衰减值VDivMax[i]以及最大衰减值UVDivMax[i](针对i＝0至n)。
图11示意性地表示用于在每个部分亮度范围中确定色度分量的衰减值的过程。
在步骤9020中，处理模块100将衰减值UDivMax[j]和VDivMax[j](针对从“0”到n的j的每个可能值)初始化为“1”，将中间衰减值UDivCur和VDivCur初始化为“1”，并且将变量i初始化为“0”。
在步骤9021中，处理模块100确定i是否等于值NbPixels，其中NbPixels表示要待预处理的当前图像中的像素数量。在步骤9021中，处理模块100获得该当前图像(y′sdr0，u′sdr1，v′sdr1)的第i个像素的分量的值。
如果i<NbPixels，则在步骤9021之后进行步骤9022。
在步骤9022中，处理模块100确定当前像素所属的部分亮度范围(由标识符j标识)。在一个实施方案中，部分亮度范围标识符j确定如下：
j＝INT(y′sdr0/(FullRangeMaxValue/(n+1))+0.5)
其中INT(x)取x的整数值，FullRangeMaxValue是全范围亮度值的最大值。在当前示例中，FullRangeMaxValue＝1023且n+1＝7(对应于部分亮度范围的数量，其取决于定义颜色校正函数ColorCorrection(y)的初始元组(x[i]，y[i])的数量)。
在步骤9023中，处理模块100将分量U的值u′sdr1与最大削波值CLIP_MAX进行比较。在实施方案的当前示例中，CLIP_MAX＝511。如果u′sdr1>CLIPMAX，则在步骤9023之后进行步骤9024。否则，在步骤9023之后进行步骤9026。
在步骤9024中，处理模块100计算分量U的中间衰减值UDivCur，如下所示：
UDivCur＝u′sdr1/CLIP_MAX
在步骤9025中，处理模块100计算步骤9022中识别到的该部分亮度范围的分量U的衰减值UDivMax[j]，如下所示：
UDivMax[j]＝max(UDivCur，UDivMax[j])
在步骤9025之后进行步骤9026。
在步骤9026中，处理模块100将分量U的值u′sdr1与最小削波值CLIP_MIN进行比较。在实施方案的当前示例中，CLIP_MIN＝-512。如果u′sdr1＜CLIPMIN，则在步骤9026之后进行步骤9027。否则，在步骤9026之后进行步骤9029。
在步骤9027中，处理模块100计算分量U的中间衰减值UDivCur，如下所示：
UDivCur＝u′sdr1/CLIP_MIN
在步骤9028中，处理模块100计算步骤9022中识别到的该部分亮度范围的分量U的衰减值UDivMax[j]，如下所示：
UDivMax[j]＝max(UDivCur，UDivMax[j])
在步骤9029中，处理模块100将V分量的值v′sdr1与最大削波值CLIP_MAX进行比较。如果v′sdr1＞CLIPMAX，则在步骤9029之后进行步骤9030。否则，在步骤9029之后进行步骤9032。
在步骤9030中，处理模块100计算分量V的中间衰减值VDivCur，如下所示：
VDivCur＝v′sdr1/CLIP_MAX
在步骤9031中，处理模块100计算步骤9022中识别到的该部分亮度范围的分量V的衰减值VDivMax[j]，如下所示：
VDivMax[j]＝max(VDivCur，VDivMax[j])
在步骤9032中，处理模块100将分量V的值v′sdr1与最小削波值CLIP_MIN进行比较。在实施方案的当前示例中，CLIP_MIN＝-512。如果v′sdr1＜CLIPMIN，则在步骤9032之后进行步骤9033。否则，在步骤9032之后进行步骤9035。
在步骤9033中，处理模块100计算分量V的中间衰减值VDivCur，如下所示：
VDivCur＝v′sdr1/CLIP_MIN
在步骤9034中，处理模块100计算步骤9022中识别到的该部分亮度范围的分量V的衰减值VDivMax[j]，如下所示：
VDivMax[j]＝max(VDivCur，VDivMax[j])
在步骤9035中，变量i递增一个单位。
如果i＝NbPixels，则在步骤9036中，在每个部分亮度范围中确定色度分量U和V的衰减值。在每个部分亮度范围中，确定色度分量U和V的衰减值，如下所示：
UVDivMax[j]＝MAX(UDivMax[j]，VDivMax[j])
在图11的过程的第一个变型中，应用滤波，以通过计算针对第i个像素相邻的至少一个像素的中间衰减值UDivCur和VDivCur的加权平均值来计算第i个像素的中间衰减值UDivCur和VDivCur。
在图11的过程的第二个变型中，计算UDivCur和VDivCur的所有不同值的直方图。这样能够检测一些较大的UDivCur值和VDivCur值，这些值可能由于当前图像中存在的噪声而不规律地出现。在这种情况下，不需要在所有像素上应用该噪声所对应的较大的中间衰减值UDivCur和VDivCur。因此，相同的中间衰减值UDivCur和VDivCur可以通过以下方式进行估计：通过统计直方图中存在的区间的数量(从最高区间开始)来强制得到中间衰减值UDivCur和VDivCur，其数量为固定的最小预定计数。
回到图9，在步骤903中，处理模块100根据针对每个部分亮度范围确定的色度分量U和V的衰减值UVDivMax[j]来确定色度分量的全局衰减值(即最大颜色校正量)UVDivMax：
UVDivMax＝MAX(UVDivMaxPartial[j])，j＝[0；n]
在步骤904中，处理模块100计算每个部分亮度范围的再饱和因子Resaturation[j]，如下所示：
Resaturation[j]＝UVDivMax/UVDivMax[j]，j＝[0；n]
该再饱和因子允许在每个部分亮度范围中维持饱和度(即允许再饱和)，因而也避免了在该部分亮度范围中色度分量U和V的削波。
在步骤905中，处理模块100针对两个连续部分亮度范围之间的每个边界，计算ResaturationFrontier[j]值(j＝[0；n–1])，该值表示针对这两个连续部分亮度范围计算的再饱和因子的最小值。作为示例，如果n＝6，则：
ResaturationFrontier[0]＝MIN(Resaturation[0],Resaturation[1])；
ResaturationFrontier[1]＝MIN(Resaturation[1],Resaturation[2])；
ResaturationFrontier[2]＝MIN(Resaturation[2],Resaturation[3])；
ResaturationFrontier[3]＝MIN(Resaturation[3],Resaturation[4])；
ResaturationFrontier[4]＝MIN(Resaturation[4],Resaturation[5])；
ResaturationFrontier[5]＝MIN(Resaturation[5],Resaturation[6])。
在步骤906中，处理模块100计算两个连续部分亮度范围之间的每个边界的最终校正因子ColorCorrectionFrontier[j]，如下所示：
ColorCorrectionFrontier[j]＝ResaturationFrontier[j]/UVDivMax，j＝[0；n–1]。
在步骤907中，处理模块100将表示颜色校正函数ColorCorrection(y)的初始元组(x[i]，y[i])的每个坐标y[i]乘以对应的最终校正因子ColorCorrectionFrontier[]：
y’[j]＝y[j]*ColorCorrectionFrontier[j]，j＝[0；n–1]。
通过步骤907能够获得新元组，以避免SDR色度分量的削波同时维持所导出的SDR信号的饱和度并且保持其色调。因此，步骤907包括使用最终校正因子ColorCorrectionFrontier[i]修改初始元组(x[i],y[i])的坐标y[i]，以获得新颜色校正函数ColorCorrection'(y)。步骤907对至少一个元组(x[i],y[i])的坐标y[i]进行修改。
n个新元组(y'[i],x[i])(其中i是[0；n–1]中的整数值)用于步骤706的第二次执行中，并且在元数据中代替初始元组(y[i],x[i])被传输到客户端系统3。除了使用新元组(y'[i],x[i])代替初始元组(y[i],x[i])来导出函数βP()之外，后处理过程与结合图8描述的过程保持相同。
图12示出了使用由BT2020原色和二次色构成的HDR测试图案执行图9中的色度限幅器处理。
在色度限幅器处理的一个实施方案中，该处理包括作为步骤908的新元组(x[i],y'[i])的时间稳定。
在步骤908的第一个变型中，将时间稳定应用于表示新颜色校正函数ColorCorrection'(y)的新元组(x[i],y'[i])的坐标y'[i]。例如，对于[0；n–1]中的每个i，最终参数yfinal[i]可以被计算为针对当前图像计算的参数y'[i]和针对至少一个先前图像计算的至少一个参数y'[i]的加权平均值。
在步骤908的第二个变型中，假设这些参数的值不是固定的预定值，而是经过分析该当前图像或包括该当前图像的场景而得到的值，则可以对初始元组(x[i],y[i])应用时间稳定(j＝[0；n–1])。
图10A示意性地示出了时间稳定过程的第一示例。这里仅考虑新元组(x[i],y'[i])的坐标y'[i]的时间稳定。完全相同的原理也可以应用于坐标x[i]的时间稳定。
时间稳定的主要构思是在当前时间之前的预定时间段内(即，在当前图像之前的图像的预定集合中)采集每个坐标y'[i]的值并且在当前时间递送这些坐标y'[j]中的每个坐标的滤波版本yfinal[i]。
在步骤9081中，处理模块100确定是否在该当前图像与该先前图像之间检测到场景切换。
如果检测到场景切换，则该处理模块执行步骤9083。
在步骤9083期间，初始化新元组(x[i],y'[i])的坐标y'[i]。
图13表示步骤9083的细节。
在步骤130中，针对每个坐标y'[i]，初始化大小为nbuf的可配置缓冲器。该缓冲器的大小nbuf表示为计算当前坐标y'[i]的滤波版本yfinal[i]而分析的连续图像的数量。对于所有坐标y'[i]，该缓冲器大小nbuf可以是相同的，也可以是不同的。对每个缓冲区的每个值都进行初始化，如下所述：
y_buf[i][j]＝y'[j]，i＝[0；nbuf–1]，且j＝[0；n–1]。
可以看出，这里通过变量i能够解析考虑用于时间滤波的连续图像的坐标y'[j]，并且通过j允许能够解析用于相同图像的坐标y'[j]。
在步骤131中，处理模块100针对每个参数y'[j]，计算表示对应缓冲器的所有值的累积值cum_y'[j]：
cum_y’[j]＝f(y_buf[i][j])，i＝[0；nbuf–1]且j＝[0；n–1]。
函数f()可以是简单总和，也可以是加权和，该加权和对缓冲器中的特定位置给予更多权重。
作为示例，如果该累积值是所有坐标的简单总和，则每个坐标y′[j]的累积值cum_y'[j]如下：
在步骤132中，处理模块100将表示当前帧在帧缓冲区中的位置的索引index初始化为“0”。
如果没有检测到场景切换，则该处理模块执行步骤9082。
图14表示步骤9082的细节。
在步骤140中，处理模块100通过以下方式更新每个参数y'[i]对应的累积值cum_y'[j]：
·从cum_y'[j]中减去缓冲区y_buf[i]中最早的坐标y'[i]的值。该最早的坐标在缓冲器y_buf[i][j]中处于i＝index的位置上。减去可以是该最早的坐标值与任一之后的坐标值的组合的简单减法或加权减法；
·将刚刚接收到的最新计算的坐标y'[i]的值加到cum_y'[j]。加法可以是该最新计算的坐标与任一先前坐标的组合的简单加法或加权加法。
在步骤141中，处理模块100针对每个坐标y'[i]，通过在缓冲器y_buf[i][j]中的位置i＝index处插入最新计算的坐标y'[i]来更新该缓冲器。
在步骤142中，处理模块100计算每个坐标y'[j]的滤波值yfinal[j]。在一个实施方案中，该滤波包括将相应的累积值cum_y'[j]简单除以相应的缓冲器的大小nbuf。在另一实施方案中，该滤波包括将相应的累积值cum_y'[j]除以在计算该累积值时考虑的帧的数量。
作为示例，如果该累积值是所有坐标的简单总和，并且如果该滤波值是简单除以缓冲器大小nbuf得到的，则所有滤波值计算如下：
cum_y’[j]＝cum_y’[j]–y_buf[index][j]+y’[j]；
y_buf[index][j]＝y[j]；
yfinal[j]＝cum_y'[j]/nbuf；
j＝[0；n–1]。
在步骤143中，处理模块100更新该索引index，如下所示：
index＝index+1，然后，如果index＝nbuf，则index＝0。
在一个实施方案中，缓冲区大小nbuf＝30。
图10B示意性地示出了时间稳定过程的第二示例。
与图10A相比，除了步骤9081被步骤9081bis代替之外，所有步骤都是相同的。
在步骤9081bis中，该处理模块判断当前图像是否是当前内容的第一个图像。如果是，则在步骤9081bis之后进行步骤9083。否则，在步骤9081bis之后进行步骤9082。
以上描述了多个实施方案。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
·包括所描述的图像或视频数据或其变型中的一个或多个图像或视频数据或其变型的比特流或信号。
·对包括所描述的图像数据或元数据或其变型中的一个或多个图像数据或元数据或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。
·执行所描述的实施方案中的至少一个实施方案的服务器、相机、电视机、机顶盒、手机、平板计算机或其他电子设备。
·执行所描述的实施方案中的至少一个实施方案并(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、手机、平板计算机或其他电子设备。
·(例如，使用调谐器)调谐信道以接收包括编码图像和元数据的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、手机、平板计算机、个人计算机或其他电子设备。
·通过空中(例如，使用天线)接收包括编码图像和元数据的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、手机、平板计算机或其他电子设备。
·(例如，使用调谐器)调谐信道以传输包括编码图像和元数据流的信号并执行所描述的实施方案中的至少一个实施方案的服务器、相机、手机、平板计算机、个人计算机或其他电子设备。
·通过空中(例如，使用天线)传输包括编码图像和元数据的信号并执行所描述的实施方案中的至少一个实施方案的服务器、相机、手机、平板计算机、个人计算机或其他电子设备。

Claims (14)

1.一种用于修改颜色校正函数的方法，所述颜色校正函数旨在校正由初始亮度分量和初始色度分量表示的当前图像的所述初始色度分量，以获得归一化的校正后的色度分量，所述颜色校正函数由包括第一坐标和第二坐标的初始元组的集合定义，对于所述当前图像，所述方法包括：
将所述初始亮度分量的亮度值范围划分(901)为部分亮度范围，两个连续部分亮度范围之间的每个边界取决于所述初始元组中的一个初始元组的第一坐标；
在至少一个部分亮度范围中估计(902)所述初始色度分量的衰减值，每个衰减值允许降低所述初始色度分量以避免所述分量的削波；
使用所估计的衰减值来确定(903)所述初始色度分量的全局衰减值；
基于所述全局衰减值和与每个部分亮度范围相关联的衰减值，计算(904)每个部分亮度范围的因子，所述因子允许维持所述部分亮度范围中的饱和度；
针对两个连续亮度范围之间的每个边界，计算(905)最小因子，所述最小因子表示针对这两个连续部分亮度范围计算的因子中的最小值；
基于对应于两个连续部分亮度范围之间的每个边界的最小因子和所述全局衰减值，计算(906)所述边界的最终校正因子；以及，
使用所述最终校正因子修改(907)所述初始元组中的至少一个初始元组的第二坐标，以获得定义新颜色校正函数的新元组。
2.根据权利要求1所述的方法，其中所述方法包括所述新元组的时间稳定，所述时间稳定基于使用针对图像序列中的所述当前图像之前的图像计算的新元组的滤波。
3.根据权利要求2所述的方法，其中在所述图像序列中的属于两个场景切换之间相同场景的图像集合中执行所述时间稳定。
4.一种用于色调映射图像的方法，所述图像包括初始亮度分量和初始色度分量，所述方法包括：
使用根据权利要求1、2或3所述的方法修改颜色校正函数；以及
基于新颜色校正函数对所述初始色度分量应用颜色校正。
5.一种用于将图像联合分发到客户端系统的方法，所述图像具有HDR和SDR格式的相同内容，所述方法包括：
应用根据权利要求1、2、3或4所述的方法；以及
将表示所述新元组的数据以元数据的形式传输到所述客户端系统。
6.一种用于修改颜色校正函数的设备，所述颜色校正函数旨在校正由初始亮度分量和初始色度分量表示的当前图像的所述初始色度分量，以获得归一化的校正后的色度分量，所述颜色校正函数由包括第一坐标和第二坐标的初始元组的集合定义，所述设备包括：
划分构件，所述划分构件用于将所述初始亮度分量的亮度值范围划分(901)为部分亮度范围，两个连续部分亮度范围之间的每个边界取决于所述初始元组中的一个初始元组的第一坐标；
估计构件，所述估计构件用于在至少一个部分亮度范围中估计(902)所述初始色度分量的衰减值，每个衰减值允许降低所述初始色度分量以避免所述分量的削波；
确定构件，所述确定构件用于使用针对每个部分亮度范围确定的所估计的衰减值来确定(903)所述初始色度分量的全局衰减值；
因子计算构件，所述因子计算构件用于基于所述全局衰减值和与每个部分亮度范围相关联的衰减值，计算(904)每个部分亮度范围的因子，所述因子允许维持所述部分亮度范围中的饱和度；
最小因子计算构件，所述最小因子计算构件用于针对两个连续亮度范围之间的每个边界，计算(905)最小因子，所述最小因子表示针对这两个连续部分亮度范围计算的因子中的最小值；
最终校正因子计算构件，所述最终校正因子计算构件用于基于对应于两个连续部分亮度范围之间的每个边界的最小因子和所述全局衰减值，计算(906)所述边界的最终校正因子；和，
修改构件，所述修改构件用于使用所述最终校正因子修改(907)所述初始元组中的至少一个初始元组的第二坐标，以获得定义新颜色校正函数的新元组。
7.根据权利要求6所述的设备，其中所述设备包括用于应用所述新元组的时间稳定的构件，所述时间稳定基于使用针对图像序列中的所述当前图像之前的图像计算的新元组的滤波。
8.根据权利要求7所述的设备，所述设备包括用于在所述图像序列中的属于两个场景切换之间相同场景的图像集合中应用所述时间稳定的构件。
9.一种用于色调映射图像的装置，所述图像包括初始亮度分量和初始色度分量，所述装置包括：
根据权利要求6、7或8所述的设备；和，
颜色校正构件，所述颜色校正构件用于基于新颜色校正函数对所述初始色度分量应用颜色校正。
10.一种用于将图像联合分发到客户端系统的装置，所述图像具有HDR和SDR格式的相同内容，所述装置包括：
根据权利要求6、7或8所述的设备或根据权利要求9所述的装置；和
传输构件，所述传输构件用于将表示所述新元组的数据以元数据的形式传输到所述客户端系统。
11.一种装备，所述装备包括根据权利要求6、7或8中任一前述权利要求所述的设备或根据权利要求9或10所述的装置。
12.一种信号，所述信号通过根据权利要求1至5中任一前述权利要求所述的方法或通过根据权利要求6至8中任一前述权利要求所述的设备或通过根据权利要求9或10所述的装置或通过根据权利要求11所述的装备生成。
13.一种计算机程序，所述计算机程序包括程序代码指令，所述程序代码指令用于实现根据权利要求1至5中任一前述权利要求所述的方法。
14.一种非暂态信息存储介质，所述非暂态信息存储介质存储程序代码指令，所述程序代码指令用于实现根据权利要求1至5中任一前述权利要求所述的方法。
CN202180070572.5A 2020-10-21 2021-10-14 用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置 Pending CN116508054A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20306253 2020-10-21
EP20306253.4 2020-10-21
PCT/EP2021/078420 WO2022084137A1 (en) 2020-10-21 2021-10-14 Method, device and apparatus for avoiding chroma clipping in a tone mapper while maintaining saturation and preserving hue

Publications (1)

Publication Number Publication Date
CN116508054A true CN116508054A (zh) 2023-07-28

Family

ID=73198246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180070572.5A Pending CN116508054A (zh) 2020-10-21 2021-10-14 用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置

Country Status (5)

Country Link
US (1) US20230394636A1 (zh)
EP (1) EP4233312A1 (zh)
KR (1) KR20230107545A (zh)
CN (1) CN116508054A (zh)
WO (1) WO2022084137A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019785B2 (en) * 2016-03-07 2018-07-10 Novatek Microelectronics Corp. Method of processing high dynamic range images using dynamic metadata
EP3714603A1 (en) * 2017-11-24 2020-09-30 InterDigital VC Holdings, Inc. Method and apparatus for colour correction during hdr to sdr conversion

Also Published As

Publication number Publication date
KR20230107545A (ko) 2023-07-17
US20230394636A1 (en) 2023-12-07
WO2022084137A1 (en) 2022-04-28
EP4233312A1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
CN107203974B (zh) 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统
KR102529013B1 (ko) 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치
RU2710291C2 (ru) Способы и устройства для кодирования и декодирования цветного изображения hdr
US20190164262A1 (en) Tone mapping adaptation for saturation control
RU2758035C2 (ru) Способ и устройство для реконструкции данных изображений по декодированным данным изображений
JP6948309B2 (ja) パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス
EP3430807A1 (en) A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
CN114189691A (zh) 用于对hdr图像和使用色彩映射函数的sdr图像两者进行编码的方法和设备
US11928796B2 (en) Method and device for chroma correction of a high-dynamic-range image
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
WO2019108899A1 (en) Saturation control for high-dynamic range reconstruction
EP3725078A1 (en) Processing an image
CN116508054A (zh) 用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置
US20240187616A1 (en) Chroma boost on sdr and hdr display adapted signals for sl-hdrx systems
WO2024023008A1 (en) Method for preventing clipping in sl-hdrx systems
WO2023194089A1 (en) Method for correcting sdr pictures in a sl-hdr1 system
TW202420806A (zh) 用於降低應用於視訊內容之色域修改程序中之量化效應的方法
WO2023138913A1 (en) Expansion function selection in an inverse tone mapping process
EP3900351A2 (en) Decoding an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination