CN118159998A - 具有可配置的hdr和sdr漫射白光水平的色调映射 - Google Patents
具有可配置的hdr和sdr漫射白光水平的色调映射 Download PDFInfo
- Publication number
- CN118159998A CN118159998A CN202280071114.8A CN202280071114A CN118159998A CN 118159998 A CN118159998 A CN 118159998A CN 202280071114 A CN202280071114 A CN 202280071114A CN 118159998 A CN118159998 A CN 118159998A
- Authority
- CN
- China
- Prior art keywords
- dynamic range
- mapping curve
- tone mapping
- high dynamic
- range data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 49
- 238000004891 communication Methods 0.000 description 31
- 238000010276 construction Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种方法,该方法包括:获得(401)高动态范围数据;根据对应于组合色调映射曲线的低高动态范围值的该高动态范围数据计算(402,403)第一色调映射曲线,该第一色调映射曲线以被称为第一点的点结束,该第一点具有表示高动态范围漫射白光的横坐标和表示标准动态范围漫射白光的纵坐标,该组合色调映射曲线允许从该高动态范围数据获得标准动态范围数据;以及针对从该第一点开始的高标准动态范围,用第二色调映射曲线完成(404)该组合色调映射曲线。
Description
1.技术领域
本实施方案中的至少一个实施方案总体上涉及一种用于从高动态范围(HDR)视频产生标准动态范围(SDR)视频的方法和设备,并且具体地涉及一种用于定义色调映射曲线的方法和设备。
2.背景技术
显示技术的最新进展允许要显示的图像中的扩展动态范围的色彩、亮度和对比度。术语图像这里是指例如可以是视频或静态图片或图像的图像内容。
高动态范围(HDR)视频在于相较于标准动态范围(SDR)视频的动态范围,视频具有扩展的动态范围。HDR视频由HDR捕获设备捕获并且由能够有更亮的白光和更深的黑色的显示设备显示。为了适应这一点,促成HDR的编码标准允许更高的最大亮度,并且使用至少10位动态范围(与非专业SDR(分别地,专业SDR)视频的8位(分别地,10位)的最大值相比),以便在此扩展范围内维持调适的精度。
HDR制作是新域,并且将存在过渡阶段,在该过渡阶段期间HDR内容和SDR内容两者将共存。在此共存阶段期间,将在HDR和SDR版本中同时产生相同的实况内容。然后,用户可以根据其偏好或能力来显示内容的HDR或SDR版本。
内容制作行业的当前趋势是:
·首先,产生HDR内容,并且接着使用自动工具从HDR内容自动导出SDR内容;以及,
·第二,将受控且安全的方法应用于HDR制作,以避免将不良的HDR内容递送给用户,否则可能对HDR技术是适得其反的。
在这方面,ITU-R文档“Report ITU-R BT.2408-3,Guidance for operationalpractices in HDR television production,07/2019”已引入一些建议,在下文中仅称为BT.2408-3报告。在BT.2408-3报告中引入的一个重要建议是将HDR漫射白光设置为等于“203”尼特(nit)的固定值的约束。该约束允许使用固定3D-LUT(查找表)来实现SDR至HDR的转换(即,逆色调映射(ITM))和HDR至SDR的转换(色调映射(TM))。
将HDR漫射白光设置为等于“203”尼特的固定值是对内容制作者的强烈约束。实际上,由于这些约束,HDR相机没有被利用到其最大能力,并且摄影的摄影师/导演在其选择/艺术意图方面非常受限制。
期望克服以上缺点。
特别期望提出一种在HDR/SDR内容制作中允许更灵活、更艺术自由的系统。
3.发明内容
在第一方面,本实施方案中的一个或多个实施方案提供了一种方法,该方法包括:获得高动态范围数据;根据对应于组合色调映射曲线的低高动态范围值的该高动态范围数据计算第一色调映射曲线,该第一色调映射曲线以被称为第一点的点结束,该第一点具有表示高动态范围漫射白光的横坐标和表示标准动态范围漫射白光的纵坐标,该组合色调映射曲线允许从该高动态范围数据获得标准动态范围数据;以及针对从该第一点开始的高标准动态范围,用第二色调映射曲线完成该组合色调映射曲线。
在一个实施方案中,该第二色调映射曲线是直线。
在一个实施方案中,该第二色调映射曲线包括抛物线。
在一个实施方案中,该方法还包括使用该组合色调映射曲线根据该高动态范围数据计算该标准动态范围数据。
在一个实施方案中,该方法包括估计表示该组合色调映射曲线的元数据。
在一个实施方案中,计算该第一色调映射曲线包括:从该高动态范围数据获得中间色调映射曲线,其中小于该高动态范围漫射白光的该高动态范围数据的非线性亮度值被映射为该标准动态范围数据的非线性亮度值;将该中间色调映射曲线的横坐标从该高动态范围数据介于零与该高动态范围漫射白光之间的亮度值范围重新缩放到该高动态范围数据介于零与该高动态范围数据的最大亮度值之间的亮度值范围;以及,将该中间色调映射曲线的纵坐标映射在该标准动态范围数据介于零与取决于该标准动态范围漫射白光的值之间的亮度值范围中,以获得该第一色调映射曲线。
在一个实施方案中,在该映射之前,该中间色调映射曲线的该纵坐标在感知均匀域中被转换,其中所转换的纵坐标值在零与对应于该标准动态范围数据的最大亮度值的最大纵坐标值之间。
在第二方面,本实施方案中的一个或多个实施方案提供了一种设备,该设备包括电子电路,该电子电路被配置为用于:获得高动态范围数据;根据对应于组合色调映射曲线的低高动态范围值的该高动态范围数据计算第一色调映射曲线,该第一色调映射曲线以被称为第一点的点结束,该第一点具有表示高动态范围漫射白光的横坐标和表示标准动态范围漫射白光的纵坐标,该组合色调映射曲线允许从该高动态范围数据获得标准动态范围数据;以及针对从该第一点开始的高标准动态范围,用第二色调映射曲线完成该组合色调映射曲线。
在一个实施方案中,第二曲线是直线。
在一个实施方案中,第二曲线包括抛物线。
在一个实施方案中,该电子电路还被配置为用于使用该组合色调映射曲线根据该高动态范围数据计算该标准动态范围数据。
在一个实施方案中,该电子电路还被配置为用于估计表示该组合色调映射曲线的元数据。
在一个实施方案中,计算该第一色调映射曲线包括:
从该高动态范围数据获得中间色调映射曲线,其中小于该高动态范围漫射白光的该高动态范围数据的非线性亮度值被映射为该标准动态范围数据的非线性亮度值;将该中间色调映射曲线的横坐标从该高动态范围数据介于零与该高动态范围漫射白光之间的亮度值范围重新缩放到该高动态范围数据介于零与该高动态范围数据的最大亮度值之间的亮度值范围;以及,将该中间色调映射曲线的纵坐标映射在该标准动态范围数据介于零与取决于该标准动态范围漫射白光的值之间的亮度值范围中,以获得该第一色调映射曲线。
在一个实施方案中,该中间色调映射曲线的该纵坐标在感知均匀域中被转换,其中在该映射之前,所转换的纵坐标值在零与对应于该标准动态范围数据的最大亮度值的最大纵坐标值之间。
在第三方面,本实施方案中的一个或多个实施方案提供了一种信号,该信号使用第一方面的方法或通过使用第二方面的设备生成。
在第四方面,本实施方案中的一个或多个实施方案提供了一种计算机程序,该计算机程序包括用于实现根据第一方面的方法的程序代码指令。
在第五方面,本实施方案中的一个或多个实施方案提供了一种非暂态信息存储介质,该非暂态信息存储介质存储用于实现根据第一方面所述的方法的程序代码指令。
4.附图说明
图1A示出了其中出现漫射白光的亮度值的标度;
图1B示出了当漫射白光被固定为“203”尼特时亮度值的标度的分隔;
图2示意性地示出了各种实施方案的上下文;
图3A示意性地示出了能够实现各种方面和实施方案的处理模块的硬件架构的示例;
图3B示出了在其中实现各个方面和实施方案的第一系统的示例的框图;
图3C示出了在其中实现各个方面和实施方案的第二系统的示例的框图;
图4示出了各种实施方案的色调映射曲线构建方法的示例;
图5提供了SL-HDR1上下文中的色调映射曲线的示例;
图6示出了通过SL-HDR1的色调映射曲线构建方法获得的色调映射曲线;
图7示出了通过各种实施方案的色调映射曲线构建方法获得的色调映射曲线;
图8提供了色调映射查找表的示例;
图9示意性地示出了应用于色调映射查找表的重新缩放过程的细节;
图10提供了对应于在感知均匀域中转换的色调映射查找表的色调映射曲线的形状的示例;
图11提供了对应于重新缩放的色调映射查找表的色调映射曲线的形状的示例;
图12提供了通过将细节TM曲线与使用直线实现的镜面TM曲线组合而获得的组合TM曲线的示例;
图13提供了通过将细节TM曲线与使用抛物线实现的镜面TM曲线组合而获得的组合TM曲线的示例;并且
图14示出了用于确定亮度映射变量的过程的示例。
5.具体实施方式
如前所述,BT.2408-3报告提出了一些建议,且特别是漫射白光的约束。漫射白光在BT.2408-3报告中被定义为“通过使镜面高光最小化以及使光谱功率吸收率最小化而由近似于完美反射漫射器的卡提供的白光,其在光谱上是灰色而不仅仅在量热学上为灰色”。“完美反射漫射器”被定义为“在每个感兴趣的波长处具有等于一的光谱辐射因子的理想各向同性、非荧光漫射器”。
换句话说,漫射白光是分隔如下内容的视频信号的亮度级:
·具有所有细节的场景,对应于低于漫射白光的亮度级;
·镜面:非常亮的像素,通常接近白光并且具有非常少的细节,对应于高于漫射白光水平的亮度级。
图1A示出了其中出现漫射白光的亮度值的标度。如可见,漫射白光将所有可能的亮度值的集合分成两部分。
漫射白光概念对于HDR信号和SDR信号是有效的。
BT.2408-3报告规定HDR漫射白光等于“203”尼特。
然而,“203”尼特约束仅是一个建议,并且许多内容制作者不认同此建议。
实际上,该规范带来了主要缺点:HDR内容受到约束,即,对于典型的1000尼特的HDR内容,仅少量的HDR亮度范围[0;203尼特]专用于场景的细节,而HDR亮度范围的最大部分[203;1000尼特]被保留用于不带来细节的镜面。
图1B示出了当漫射白光被固定为“203”尼特时亮度值的标度的分隔。
这种限制的原因之一是需要受控且“非常安全”的实况HDR内容制作。此外,这种限制具有以下优点:
·从HDR到SDR(即色调映射(TM))的转换的实现更简单,因为定义在“203”尼特的HDR漫射白光需要被映射到通常定义在最大SDR值的90%与100%之间(即在90尼特与100尼特之间)的SDR漫射白光。因此,可以使用非常基本的静态3D-LUT来实现色调映射。
·由于相同原因,从SDR到HDR(即,逆色调映射(ITM))的转换的实现也更简单,并且逆色调映射也可以利用非常基本的静态3D-LUT来实现。
然而,分配给场景细节的亮度值与分配给由“203”尼特处的漫射白光引起的镜面的亮度值之间的这种比率使得所得HDR图像非常暗淡并且不吸引人。
以下实施方案允许通过提出一种系统来克服这些缺点,该系统允许HDR创建中的更多灵活性和更多艺术自由,并且因此允许通过使用以下各项来获得更有吸引力的HDR内容:
·用于HDR到SDR(色调映射)的可配置且动态的HDR漫射白光水平;
·HDR到SDR(色调映射)的动态转换。
图2示出了其中实现各种实施方案的示例上下文。
在图2中,例如是HDR相机的源设备20生成HDR视频,并且将该HDR视频提供给编码设备21。编码设备将色调映射(TM)过程应用于HDR视频以生成SDR视频。然后使用诸如AVC((ISO/CEI 14496-10/ITU-T H.264)、HEVC(ISO/IEC 23008-2–MPEG-H Part 2、高效视频编码/ITU-T H.265))、VVC(ISO/IEC 23090-3–MPEG-I、多功能视频编码/ITU-T H.266)之类的视频压缩标准或任何其他视频压缩标准来编码SDR视频。
编码设备21向解码设备22提供(经由通信网络传输)包括编码的SDR视频的流。解码设备对编码的SDR视频进行解码,并将解码的SDR视频提供给显示设备23。显示设备23能够显示SDR视频。
在另一实施方案中,解码设备22对编码的SDR视频进行解码,并且将逆色调映射(ITM)过程应用于解码的SDR视频以生成HDR视频。接着将所生成的HDR视频提供给能够显示HDR视频的显示设备23。在该实施方案中,例如,编码设备21提供表示TM曲线的元数据连同SDR数据。这些元数据帮助引导由解码设备22应用的ITM过程。
图3A示意性地示出了能够实现由编码设备21或由解码设备22执行的各种过程的处理模块30的硬件架构的示例。例如,处理模块30适于实现稍后关于图4描述的过程。作为非限制性示例,处理模块30包括由通信总线305连接的以下项:涵盖一个或多个微处理器的处理器或CPU(中央处理单元)300、通用计算机、专用计算机以及基于多核心架构的处理器;随机存取存储器(RAM)301;只读存储器(ROM)302;存储单元303,该存储单元可以包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器,或者存储介质读取器,诸如SD(安全数字)卡读取器和/或硬盘驱动器(HDD)和/或可访问网络的存储设备;至少一个通信接口304,该至少一个通信接口用于与其他模块、设备或装备交换数据。通信接口304可包括但不限于被配置为通过通信信道发射和接收数据的收发器。通信接口304可以包括但不限于调制解调器或网卡。
如果处理模块30实现编码设备21的过程,则通信接口304使例如处理模块30能够接收HDR视频并提供包括编码的SDR视频的流。如果处理模块30实现解码设备22的过程,则通信接口304使例如处理模块30能够接收包括编码的SDR视频的流并提供解码的SDR视频或HDR视频。
处理器300能够执行从ROM 302、外部存储器(未示出)、存储介质或通信网络加载到RAM 301中的指令。当处理模块30上电时,处理器300能够从RAM 301读取指令,并且执行该指令。这些指令形成计算机程序,该计算机程序使得例如由处理器300实现稍后关于图4描述的编码设备21的过程或解码设备22的过程。
由编码设备21或解码设备22执行的过程的全部或部分算法和步骤可通过由诸如DSP(数字信号处理器)或微控制器的可编程机器执行一组指令而以软件形式实现,或者可通过诸如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的机器或专用部件而以硬件形式实现。
图3C示出了其中可实现各种方面和实施方案的解码设备22的示例的框图。解码设备22可以体现为包括下文描述的各种部件的设备,并且被配置为执行本文档中描述的方面和实施方案中的一者或多者。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、和连接的家用电器。解码设备22的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如,在至少一个实施方案中,解码设备22包括实现解码模块或ITM模块的一个处理模块30。然而,在另一实施方案中,解码设备22可包括实现解码模块的第一处理模块30和实现ITM模块的第二处理模块30,或者实现解码模块和ITM模块的一个处理模块30。在各种实施方案中,解码设备22经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中,解码设备22被配置为实现本文档中描述的各方面中的一个或多个方面。
解码设备22包括能够实现一个解码模块的至少一个处理模块30。
处理模块30的输入可以通过如输入框32中所指示的各种输入模块来提供。此类输入模块包括但不限于:(i)射频(RF)模块,其接收例如由广播器通过空中传输的RF信号;(ii)分量(COMP)输入模块(或一组COMP输入模块);(iii)通用串行总线(USB)输入模块;和/或(iv)高清晰度多媒体接口(HDMI)输入模块。图3C中未示出的其他示例包括复合视频。
在各种实施方案中,输入框32的输入模块具有如本领域所已知的相关联的相应输入处理元件。例如,RF模块可与适用于以下的元件相关联:(i)选择所需的频率(也称为选择信号,或将信号频带限制到一个频带),(ii)下变频选择的信号,(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带,(iv)解调下变频和频带限制的信号,(v)执行纠错,以及(vi)解复用以选择所需的数据包流。各种实施方案的RF模块包括用于执行这些功能的一个或多个元件,例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器,这些功能包括例如下变频接收信号至更低频率(例如,中频或近基带频率)或至基带。在一个机顶盒实施方案中,RF模块及其相关联的输入处理元件接收通过有线(例如,电缆)介质发射的RF信号,并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序,移除这些元件中的一些元件,和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件,例如,插入放大器和模数变换器。在各种实施方案中,RF模块包括天线。
另外,USB和/或HDMI模块可以包括用于跨USB和/或HDMI连接将解码设备22连接到其他电子设备的相应接口处理器。应理解,输入处理(例如Reed-Solomon纠错)的各个方面可以根据需要例如在单独的输入处理IC内或者在解码设备22内实现。类似地,USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理模块30内实现。经解调、纠错和解复用的流被提供给处理模块30。
解码设备22的各种元件可设置在集成壳体内。在集成壳体内,各种元件可使用合适的连接布置(例如,本领域已知的内部总线,包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如,在解码设备22中,处理模块30通过总线305与所述解码设备22的其他元件互连。
处理模块30的通信接口304允许解码设备22在通信信道31上通信。例如,可在有线和/或无线介质中实现通信信道31。
在各种实施方案中,使用无线网络(诸如Wi-Fi网络,例如IEEE 802.11(IEEE是指电气电子工程师学会))将数据流式传输或以其他方式提供给解码设备22。这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道31和通信接口304接收。这些实施方案的通信信道31通常连接到接入点或路由器,该接入点或路由器提供对外部网络(包括互联网)的访问,以允许流式传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向解码设备22提供流式传输的数据,该机顶盒通过输入框32的HDMI连接来递送数据。还有其他实施方案使用输入框32的RF连接向解码设备22提供流式传输的数据。如上所述,各种实施方案以非流传输方式提供数据。另外地,各种实施方案使用除了Wi-Fi以外的无线网络,例如蜂窝网络或蓝牙网络。
解码设备22可向各种输出设备(包括显示设备23、扬声器36和其他外围设备37)提供输出信号。各种实施方案的显示设备23包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示设备23可以用于电视机、平板电脑、膝上型计算机、蜂窝电话(智能电话)或其他设备。显示设备23还可与其他部件集成(例如,如在智能电话中),或可为独立的(例如,膝上型计算机的外部监视器)。在实施方案的各种示例中,其他外围设备37包括独立数字视频光盘(或数字多功能光盘)(DVR,可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备37,该一个或多个外围设备基于解码设备22的输出来提供功能。例如,光盘播放器执行播放解码设备22的输出的功能。
在各种实施方案中,使用信令(诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议),在解码设备22与显示设备23、扬声器36或其他外围设备37之间传送控制信号。可通过相应的接口33、34和35经由专用连接将输出设备通信地耦接到解码设备22。另选地,可经由通信接口304使用通信信道31将输出设备连接到解码设备22。在电子设备(诸如例如电视机)中,显示设备23和扬声器36可与解码设备22的其他部件集成在单个单元中。在各种实施方案中,显示器接口33包括显示驱动器,诸如例如定时控制器(T Con)芯片。
例如,如果输入32的RF模块是单独机顶盒的一部分,则显示设备23和扬声器36可另选地与其他部件中的一个或多个部件分开。在显示设备23和扬声器36为外部部件的各种实施方案中,可以经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。
图3B示出了其中实现各个方面和实施方案的编码设备21的示例的框图。编码设备21非常类似于解码设备22。编码设备21可以体现为包括下文描述的各种部件的设备,并且被配置为执行本文档中描述的方面和实施方案中的一者或多者。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板电脑、相机和服务器。编码设备21的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如,在至少一个实施方案中,编码设备21包括实现编码设备21的过程的一个处理模块30。在各种实施方案中,编码设备21经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中,编码设备21被配置为实现本文档中描述的各方面中的一个或多个方面。
对处理模块30的输入可通过如关于图3C已经描述的输入框32中所示的各种输入模块来提供。
编码设备21的各种元件可设置在集成壳体内。在集成壳体内,各种元件可使用合适的连接布置(例如,本领域已知的内部总线,包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如,在编码设备21中,处理模块30通过总线305与所述编码设备21的其他元件互连。
处理模块30的通信接口304允许编码设备21在通信信道31上通信。
在各种实施方案中,使用无线网络(诸如Wi-Fi网络,例如IEEE 802.11(IEEE是指电气电子工程师学会))将数据流式传输或以其他方式提供给编码设备21。这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道31和通信接口304接收。这些实施方案的通信信道31通常连接到接入点或路由器,该接入点或路由器提供对外部网络(包括互联网)的访问,以允许流式传输应用和其他越过运营商的通信。其他实施方案使用输入框32的RF连接向编码设备21提供流式传输的数据。
如上所述,各种实施方案以非流传输方式提供数据。另外地,各种实施方案使用除了Wi-Fi以外的无线网络,例如蜂窝网络或蓝牙网络。
提供给编码设备21的数据通常是例如由连接到编码设备21的HDR相机20提供的原始HDR视频。
编码设备21可以向能够存储和/或解码输出信号的各种输出设备(例如,解码设备22)提供输出信号。
各种具体实施参与解码。如本申请中所用,“解码”可涵盖例如对所接收的编码视频流执行的过程的全部或部分,以便产生适于显示的最终输出。在各种实施方案中,此类过程包括通常由解码器执行的一个或多个过程,例如熵解码、逆量化、逆变换和预测。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可涵盖例如对输入RAW SDR视频执行以便产生编码SDR视频流的全部或部分过程。在各种实施方案中,此类过程包括通常由编码器执行的一个或多个过程,例如,分区、预测、变换、量化和熵编码。
当附图呈现为流程图时,应当理解,其还提供了对应装置的框图。类似地,当附图呈现为框图时,应当理解,其还提供了对应的方法/过程的流程图。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如,仅作为方法讨论),讨论的特征的具体实施也可以其他形式(例如,装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施,该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型,意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此,短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外地,本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息、从存储器检索信息或例如从另一设备、模块或从用户获得信息中的一者或多者。
此外,本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如,从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外地,本申请可涉及“接收”各种信息。与“访问”一样,接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如,从存储器)中的一者或多者。此外,在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,“接收”通常以一种方式或另一种方式参与。
应当理解,例如,在“A/B”、“A和/或B”以及“A和B中的至少一者”、“A和B中的一者或多者”的情况下,使用以下“/”、“和/或”以及“至少一种”、“一者或多者”中的任一种旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或选择两个选项(A和B)。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一者”、“A、B和C中的一者或多者”的情况下,此类短语旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或仅选择第三列出的选项(C),或仅选择第一列出的选项和第二列出的选项(A和B),或仅选择第一列出的选项和第三列出的选项(A和C),或仅选择第二列出的选项和第三列出的选项(B和C),或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是,这可扩展到所列出的尽可能多的项目。
而且,如本文所用,词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如,在某些实施方案中,编码器发信号通知一些编码工具的使用。这样,在一个实施方案中,在编码器侧和解码器侧两者均可使用相同的参数。因此,例如,编码器可将特定参数传输(显式发信号通知)到解码器,使得解码器可使用相同的特定参数。相反,如果解码器已具有特定参数以及其他参数,则可在不传输(隐式发信号通知)的情况下使用发信号通知,以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能,在各种实施方案中实现了比特节省。应当理解,发信号通知可以各种方式实现。例如,在各种实施方案中,使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“发信号通知”的动词形式,但是词语“信号”在本文也可用作名词。
对于本领域的普通技术人员将显而易见的是,具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如,可格式化信号以携带编码的SDR视频。可格式化此类信号例如为电磁波(例如,使用频谱的射频部分)或基带信号。格式化可包括例如对编码视频流进行编码以及使用编码视频流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知,信号可通过各种不同的有线或无线链路传输。信号可存储在处理器可读介质上。
各种实施方案可以是指位流。位流包括例如位的任何系列或序列,且不要求例如发射、接收或存储数据位。
以下实施方案中的一些实施方案涉及色调映射曲线的构造。用于构造色调映射曲线以及定义该曲线的变量的方法详述于规范ETSI TS103 433-1v1.4.1的节段7.2.3.1中,用于消费电子设备的高性能单层高动态范围(HDR)系统;第1部分:标准动态范围(SDR)直接兼容HDR系统(SL-HDR1),08/2021,以下称为SL-HDR1。
图5提供了SL-HDR1上下文中的色调映射曲线的示例。
色调映射曲线应用于感知均匀域中,并且是包括三个部分的分段曲线:
·底部区段:底部区段为线性的,并且其陡度由参数shadowGain确定。
·上部区段:上部区段也为线性的,并且其陡度由参数highlightGain确定。
·中间区段:中间区段是在两个线性区段之间提供平滑桥接部的抛物线。交叉的宽度由参数midToneWidthAdjFactor确定。
图3的色调映射曲线的示例是既不考虑HDR漫射白光也不考虑SDR漫射白光的用于构建色调映射曲线的方法的结果。
SL-HDR1中描述的TM曲线构建方法所遵循的主要约束是:
·将HDR空亮度值(0尼特)映射到SDR最小值(0尼特),定义为原点;
·将HDR峰值亮度值(即,最大HDR亮度值)映射到SDR最大值(100尼特),定义为最大目标点;
·定义在原点与最大目标之间的TM曲线。
图6示出了通过SL-HDR1的色调映射曲线构建方法获得的TM曲线。
在以下实施方案中提出的TM曲线构建方法中,利用以下两个附加约束来考虑HDR漫射白光和SDR漫射白光:
·总是小于或等于HDR峰值亮度的HDR漫射白光值;
·总是小于或等于SDR最大值(100尼特)的SDR漫射白光值。
新的TM曲线构建方法的原理是:
·将HDR空亮度值(0尼特)映射到SDR最小值(0尼特),定义为原点(与SL-HDR1的TM曲线构建方法相同);
·将HDR漫射白光值(0<HDR漫射白光<HDR峰值亮度)映射到SDR漫射白光值(0<SDR漫射白光<SDR最大值),定义为漫射白光目标;
·定义在原点与漫射白光目标之间的TM曲线。使用SL-HDR1的这种TM曲线构建方法,其略微修改在于用漫射白光目标点代替最大目标点,即:
οHDR峰值亮度值由作为新输入参数的HDR漫射白光值替换;
οSDR最大值(100尼特)由作为新输入参数的SDR漫射白光值替换;
·定义漫射白光目标与最大目标之间的镜面映射曲线。对应的像素对应于内容的镜面部分。
图7示出了通过各种实施方案的色调映射曲线构建方法获得的TM曲线。
在下文中,通过各种实施方案的TM曲线构建方法获得的色调映射曲线被称为组合TM曲线。如图7的组合TM曲线的示例中可见,该组合TM曲线由两部分组成:称为细节TM曲线的第一部分和称为镜面TM曲线的第二部分。细节TM曲线负责图片的细节的映射。细节TM曲线在原点(0,0)与漫射白光目标起始点之间。镜面TM曲线负责图片的镜面的映射。镜面TM曲线可以是任何形状:直线、曲线、抛物线等。镜面TM曲线的唯一约束是在漫射白光目标起始点处开始并且在最大目标结束点处结束。认为,与常规TM曲线相比,组合TM映射曲线使用新的控制点:漫射白光目标起始点。
图4示出了各种实施方案的色调映射曲线构建方法的示例。图4的方法例如由编码设备21的处理模块30执行。
在步骤401中,处理模块30获得表示HDR视频内容的HDR数据。HDR数据例如是原始HDR视频内容。
步骤401之后是步骤402和403,其中处理模块30根据HDR数据计算如关于图7所表示的细节TM曲线。
在步骤402中,处理模块30根据HDR数据计算TM曲线。
在一个实施方案中,步骤402重新使用SL-HDR1的TM曲线构建方法的变体。SL-HDR1的原始TM曲线构建方法使用HDR数据的最大峰值亮度作为HDR最大值,并且将HDR数据的该最大峰值亮度值映射到SDR最大值,即“100”尼特。
在SL-HDR1的TM曲线构建方法的变体中,HDR最大峰值亮度值被HDR漫射白光值替换,这意味着现在TM曲线构建方法将HDR漫射白光值映射到SDR最大值。在这种情况下,高于HDR漫射白光的HDR值可以被忽略或设置为HDR漫射白光值。换句话说,SL-HDR1的TM曲线构建方法的变体在所有特性上与SL-HDR1的TM曲线构建方法相同,除了最大峰值亮度值被HDR漫射白光值替换的事实。
该变体的输出是伽马2.4域中的色调映射LUT,即色调映射LUT将HDR数据的非线性亮度值(伽马2.4)映射到SDR数据的非线性亮度值(伽马2.4)。对应于这种LUT的TM曲线的形状的示例由图8给出。在图8的示例中,TM LUT是1001条目LUT:
·横坐标范围从“0”到“1000”,每个条目表示((以尼特计的HDR亮度值)/(以尼特计的HDR漫射白光值))2,4*1000。换句话说,小于或等于HDR漫射白光的范围[0;1000]中的TMLUT的每个条目表示[0;HDR漫射白光]中的HDR值。
·纵坐标范围从“0”到“1023”,每个值表示((以尼特计的SDR亮度值)/(以尼特计的SDR最大值))2,4*1023。SDR亮度值保持在范围[0;SDR最大值]中。
在步骤403中,处理模块30将重新缩放应用于在步骤402中计算的TM曲线。
重新缩放TM曲线相当于将TM LUT的横坐标从[0;HDR漫射白光]重新缩放到[0;HDR峰值亮度](即,HDR值的范围从[0;HDR漫射白光]延伸到[0;HDR峰值亮度]),同时通过添加SDR漫射白光约束将纵坐标保持在[0;SDR最大值]中。
图9示意性地示出了在步骤403中应用的重新缩放过程的细节。
在步骤4031中,处理模块30在感知均匀域中转换TM LUT。为此,对于在“0”与LUTSize=1001之间的每个横坐标值i(即i∈[0;LUTSize-1]),所转换的纵坐标SDR_PU_Y[i]如下计算:
其中:
·PeakSDRLuminance:最大SDR亮度=100尼特;
·SdrOETF(.)是将线性SDR值Yin转换为SDR感知域值的函数。例如:
SdrOETF(Yin)=log(32.(100/10000)(1/2.4).(Yin)(1/2.4)+1)/log(32.(100/10000)(1/2.4)+1)
·LUTSize-1对应于HDR漫射白光值;
·SDR_PU_Y[i]纵坐标的范围从“0”到“1”,最大值“1”对应于最大SDR亮度值=100尼特。
图10提供了对应于在感知均匀域中转换的TM LUT的TM曲线的形状的示例。
在步骤4032中,处理模块30根据所转换的TM LUT计算重新缩放的TM LUT。换句话说,重新缩放的TM LUT是所转换的TM LUT的重新缩放版本,其中:
·重新缩放的TM LUT横坐标范围从“0”到(LUTSize-1),横坐标值(LUTSize-1)对应于HDR峰值亮度值(即,HDR数据的最大亮度值);
·重新缩放的纵坐标范围从“0”到“1”,最大值“1”对应于最大SDR亮度(=100尼特);
·对应于HDR漫射白光值的转换后的TM LUT横坐标的最大值现在映射到整数横坐标rescalePerceptualInputDiffuseWhitePoint,如下计算:
rescalePerceptualInputDiffuseWhitePoint=HDR_Diffuse_White/最大峰值亮度)(1/2.4)*LUTSize+0.5;
其中HDR_Diffuse_White是HDR漫射白光的值。
·对应于最大SDR亮度值(“100”尼特)的所转换的TM LUT纵坐标的最大值现在映射到纵坐标rescalePerceptualOutput,如下计算rescalePerceptualOutput:
rescalePerceptualOutput=SdrOETF((SDR_Diffuse_White/100)(1/2.4))
·如下计算从横坐标i=0到(rescalePerceptualInputDiffuseWhitePoint-1)的重新缩放的TM LUT纵坐标SDR_PU_Y_rescaled[i]的每个值:
curRescalePerceptualInput=(i/rescalePerceptualInput);
SDR_PU_Y_rescaled[i]=SDR_PU_Y[curRescalePerceptualInput]*rescalePerceptualOutput。
其中rescalePerceptualInput=(HDR_Diffuse_White/最大峰值亮度)(1/2.4))。
如可见,所转换的纵坐标SDR_PU_Y[i]映射到[0;rescalePerceptualOutput],以获得SDR_PU_Y_rescaled[i]。
图11提供了对应于重新缩放的TM LUT的TM曲线的形状的示例。
如图11中可见,对应于组合TM曲线的低SDR(和HDR)值的细节TM曲线是以最高SDR值的点结束,该点具有表示HDR漫射白光的横坐标(即rescalePerceptualInputDiffuseWhitePoint)以及表示SDR漫射白光的纵坐标(即rescalePerceptualOutput)。
在步骤404中,处理模块30针对rescalePerceptualInputDiffuseWhitePoint与(LUTSize-1)之间的横坐标以及针对纵坐标rescalePerceptualOutput与“1”之间的纵坐标完成重新缩放的TM LUT。换句话说,处理模块完成仅表示细节TM曲线的当前重新缩放的TMLUT,其中一部分表示镜面TM曲线。
在完成重新缩放的TM LUT之前,如果需要,处理模块30校正横坐标rescalePerceptualInputDiffuseWhitePoint和纵坐标rescalePerceptualOutput。
关于横坐标rescalePerceptualInputDiffuseWhitePoint,如果重新缩放的TMLUT的已计算值的最后值全部相等,即在步骤4032中计算的重新缩放的TM LUT以水平直线结束,直到rescalePerceptualInputDiffuseWhitePoint,则需要移除该直线。这通过更新横坐标rescalePerceptualInputDiffuseWhitePoint来完成。更新在于从横坐标i=rescalePerceptualInputDiffuseWhitePoint以相反顺序逐个迭代重新缩放的TM LUT的纵坐标SDR_PU_Y_rescaled[i],直到找到横坐标i的值,纵坐标的值针对其不同于对应于横坐标的下一个值(i-1)的纵坐标的值(即SDR_PU_Y_rescaled[i]≠SDR_PU_Y_rescaled[i-1])。
关于纵坐标rescalePerceptualOutput,如果重新缩放的TM LUT的纵坐标的最大值没有达到最大值(即,“1”),则纵坐标SDR_PU_Y_rescaled[rescalePerceptualInputDiffuseWhitePoint-1]低于以上计算的理论纵坐标rescalePerceptualOutput值。因此,需要如下更新rescalePerceptualOutput:
rescalePerceptualOutput=min(rescalePerceptualOutput,SDR_PU_Y_rescaled[rescalePerceptualInputDiffuseWhitePoint-1])
其中min(x,y)取x和y之间的最小值。
镜面TM曲线可以是任何形状:直线、曲线、抛物线等。
在下文中,我们给出了镜面TM曲线的两个示例:直线和抛物线:
使用直线实现的镜面TM曲线:
细节TM曲线在点(rescalePerceptualInputDiffuseWhitePoint–1,rescalePerceptualOutput)处结束,重命名为P1(x1,y1),其中:
·x1=rescalePerceptualInputDiffuseWhitePoint–1;
·y1=rescalePerceptualOutput。
镜面TM曲线由P1和重新缩放的TM LUT的最后点SDR_PU_Y_rescaled之间的直线(即LUTSize-1],1)表示。对于rescalePerceptualInputDiffuseWhitePoint与LUTSize之间的每个横坐标i(即,i∈[rescalePerceptualInputDiffuseWhitePoint;LUTSize-1],如下计算对应于镜面TM曲线的镜面TM LUT m_PerceptualDiffuseWhiteLUTY[i]:
m_PerceptualDiffuseWhiteLUTY[i]=rescalePerceptualOutput+(i-rescalePerceptualInputDiffuseWhitePoint)*specularStep。
其中specularStep=(1-rescalePerceptualOutput)/(LUTSize-1-rescalePerceptualInputDiffuseWhitePoint)。
图12提供了通过将细节TM曲线与使用直线实现的镜面TM曲线组合而获得的组合TM曲线的示例。
使用抛物线实现的镜面TM曲线:
同样,细节TM曲线在点(rescalePerceptualInputDiffuseWhitePoint–1,rescalePerceptualOutput)处结束,重命名为P1(x1,y1),其中:
·x1=rescalePerceptualInputDiffuseWhitePoint–1;
·y1=rescalePerceptualOutput。
细节TM曲线结束时的趋势可以由具有以下公式的直线表示:
(Dtm)Ytm=atm.x+btm;
认为镜面TM曲线由两部分组成:
·点P2(x2,y2)与重新缩放的TM LUT SDR_PU_Y_rescaled的最后一个点之间的直线(即LUTSize-1,1),具有以下公式:(Ds)y=as.x+bs;
·点P1和P2之间的抛物线,具有下式:(Ps)y=ap.x2+bp.x+cp。
图13提供了通过将细节TM曲线与使用抛物线实现的镜面TM曲线组合而获得的组合TM曲线的示例。
在图13中:
·Ptm1是(Dtm)与直线(Dy1):y=1之间的交点,具有横坐标xXmax。
·PX是(Dtm)与(Ds)之间的交叉点,点PX的横坐标xX是[x1;x2]的中间。
可以根据重新缩放的TM LUT SDR_PU_Y_rescaled的最后已计算值来计算(Dtm)的趋势atm。
例如,可以计算趋势atm:
·以两个最后点:atm=SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-2];
·以三个最后点:atm=(SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-3])/2;
·以四个最后点:atm=(SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-4])/3;
·以N个最后点:atm=(SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-N])/(N-1);
·或根据atm的先前值的任何组合。
然后可以计算btm:btm=y1-atm*x1。
然后,可以计算xXmax:xXmax=(1-y1+atm*x1)/atm。
点PX的位置取决于镜面TM曲线的直线部分的趋势或陡度。为了建立一致的抛物线曲线(Ps),点PX的xX横坐标只能在点P1的横坐标x1的下一个值和点Ptm1的横坐标xXmax的前一个值之间变化,即xX在范围[x1+1,xXmax-1]内。
取决于xX位置,镜面TM曲线(Ds)的直线部分的趋势或陡度变化,这意味着在映射HDR内容的镜面值时的不同精度。镜面映射曲线(Ds)的直线部分的陡度可经由范围[0;1]中的值Specular_Steepness来配置,该值固定PX点的xX横坐标,如下:
·如果Specular_Steepness=0,则xX=x1+1;
·否则,如果Specular_Steepness=1,则xX=xXmax–1;
·否则,xX=x1+1+Specular_Steepness*(xXmax-x1-2)。
然后可以如下计算yX和x2:
·yX=atm*xX+btm;
·x2=2*xX-x1。
可以如下计算as和bs:
·as=(1-yX)/(LUTSize-1-xX);
·bs=(1000*yX-xX)/(LUTSize-1-xX)。
可以如下计算y2:
·y2=as*x2+bs。
并且,可以如下计算ap、bp和cp:
·ap=(as-atm)/2/(x2-x1);
·bp=(y2-y1)/(x2-x1)-ap*(x2+x1);
·cp=y1-ap*x1*x1-bp*x1。
现在计算了所有参数,针对x1与x2之间的每个i(即i∈[x1;x2[),可计算表示镜面TM曲线的抛物线部分的重新缩放的TM LUT SDR_PU_Y_rescaled[i]如下:
SDR_PU_Y_rescaled[i]=ap*i*i+bp*i+cp;
针对x2与LUTSize之间的每个i(即,i∈[x2;LUTSize[),可计算表示镜面TM曲线的直线部分的重新缩放的TM LUT SDR_PU_Y_rescaled[i]:
SDR_PU_Y_rescaled[i]=as*i+bs;
直线部分和抛物线部分的组合形成镜面TM曲线,并且细节TM曲线和镜面TM曲线的组合形成组合TM曲线。
在SL-HDR1中,TM曲线由被称为亮度映射变量的变量表示。亮度映射变量例如以元数据的形式被提供给负责将色调映射应用于HDR数据的设备(或负责将逆色调映射应用于SDR数据的设备)。
在SL-HDR1的上下文中应用的步骤405中,处理模块30估计表示由在步骤404中获得的重新缩放的TM LUT SDR_PU_Y_rescaled表示的组合TM曲线的亮度映射变量。
如SL-HDR1中所述,亮度映射变量由两组参数定义:
·第一组参数包含用于定义亮度映射曲线的五个参数:tmInputSignalBlackLevelOffset、tmInputSignalWhiteLevelOffset、shadowGain、highlightGain、midToneWidthAdjFactor。
·第二组参数包含在色调映射输出微调函数中使用的有限数量的对(tmOutputFineTuningX[i],tmOutputFineTuningY[i])。这些对限定了枢转点的坐标,第一坐标tmOutputFineTuningX[i]对应于枢转点的位置,并且第二坐标tmOutputFineTuningY[i]对应于枢转点的值。枢转点的数量由参数tmOutputFineTuningNumVal给出。
图14示出了用于确定亮度映射变量的过程的示例。
在步骤1401中,处理模块30估计第一组参数。在步骤1401的第一实施方案中,作为HDR峰值亮度值的函数,默认地确定第一组参数,无论重新缩放的TM LUT SDR_PU_rescale[i]值为何。
在步骤1401的另一实施方案中,如果利用重新缩放的TM LUT SDR_PU_rescale查找获得的组合TM曲线与从根据第一实施方案计算的默认组参数导出的亮度映射曲线非常远,则实现附加过程。例如,如果在TM曲线和从默认组参数导出的亮度映射曲线的原点处的斜率高度不同,则修改如在SL-HDR1中定义的参数shadowGain以便在低亮度级处更好地匹配。
在步骤1402和1403中,处理模块30通过优化枢转点的位置(tmOutputFineTuningX)和值(tmOutputFineTuningY)来递归地确定第二组参数。在步骤1402的实施方案中,枢转点的数量(由参数tmOutputFineTuningNumVal给出)被固定为“10”,根据SL-HDR1的最大可能值。然而,参数tmOutputFineTuningNumVal的值也可以低于“10”。
在步骤1402中,处理模块30将初始化过程应用于枢转点。在该初始化过程中,定义初始组枢轴点。初始组中的枢轴点的数目可以被设置为不同的值,从“10”到重新缩放TMLUT SDR_PU_rescal中的点的数量。作为示例,枢转点的数量被设置为“65”。在初始化过程中,每个枢转点被赋予初始值。
在步骤1403中,处理模块30递归地删除枢转点,以便在步骤1403结束时保持该组中的枢转点的数量等于tmOutputFineTuningNumVal。基于成本函数的标准被应用于确定哪个枢转点可以被删除。可以使用若干成本函数:
·与重新缩放的TM LUT SDR_PU_rescale与基于估计参数的重构的重新缩放TMLUT SDR_PU_rescale之间的误差函数相对应的成本函数;
·与具有“65”个初始枢转点的色调映射输出微调函数的上采样版本和具有剩余枢转点的色调映射输出微调函数的上采样版本之间的误差函数相对应的成本函数。
当然,在与SL-HDR1上下文不同的上下文中,处理模块30可以计算表示TM曲线的其他变量,其不同于在SL-HDR1中定义的亮度映射变量。
在步骤406中,处理模块30从在步骤401中获得的HDR数据和组合TM曲线生成SDR数据。在一个实施方案中,编码设备的处理模块30例如根据格式VVC对SDR数据进行编码,并且将编码的SDR数据连同表示亮度映射变量的元数据一起传输到解码设备22。
可注意到,可以通过在步骤402中构造由LUT表示的TM曲线来避免重新缩放步骤403,其中横坐标在范围[0;HDR漫射白光]中,并且纵坐标在范围[0;SDR漫射白光]中。该LUT(称为另选的LUT)替换步骤404、405和406中的重新缩放的TM LUT,并且表示细节TM曲线。另外,步骤4031的感知均匀域中的TM LUT的转换可以是可选的,步骤4032的重新缩放被直接应用于TM LUT。
以上描述了多个实施方案。这些实施方案的特征可以单独提供或以任何组合形式提供。此外,实施方案可包括以下特征、设备或方面中的一者或多者,单独地或以任何组合,跨各种权利要求类别和类型:
·包括所描述的SDR或HDR数据或其变型中的一者或多者的位流或信号。
·对包括所描述的SDR或HDR数据和/或元数据或其变型中的一者或多者的位流或信号进行创建和/或传输和/或接收和/或解码。
·执行所描述的实施方案中的至少一个实施方案的服务器、相机、电视机、机顶盒、手机、平板计算机或其他电子设备。
·执行所描述的实施方案中的至少一个实施方案并(例如,使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、手机、平板计算机或其他电子设备。
·(例如,使用调谐器)调谐信道以接收包括编码SDR或HDR数据和/或元数据的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、手机、平板计算机、个人计算机或其他电子设备。
·通过空中(例如,使用天线)接收包括SDR或HDR数据和/或元数据的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、手机、平板计算机或其他电子设备。
·(例如,使用调谐器)调谐信道以传输包括SDR或HDR数据和/或元数据的信号并执行所描述的实施方案中的至少一个实施方案的服务器、相机、手机、平板计算机、个人计算机或其他电子设备。
·通过空中(例如,使用天线)传输包括SDR或HDR数据和/或元数据的信号并执行所描述的实施方案中的至少一个实施方案的服务器、相机、手机、平板计算机、个人计算机或其他电子设备。
Claims (17)
1.一种方法,所述方法包括:
获得(401)高动态范围数据;
根据对应于组合色调映射曲线的低高动态范围值的所述高动态范围数据计算(402,403)第一色调映射曲线,所述第一色调映射曲线以第一点结束,所述第一点具有表示高动态范围漫射白光的横坐标和表示标准动态范围漫射白光的纵坐标,所述组合色调映射曲线允许从所述高动态范围数据获得标准动态范围数据;以及
针对从所述第一点开始的高标准动态范围,用第二色调映射曲线完成(404)所述组合色调映射曲线。
2.根据权利要求1所述的方法,其中所述第二色调映射曲线是直线。
3.根据权利要求1所述的方法,其中所述第二色调映射曲线包括抛物线。
4.根据权利要求1、2或3所述的方法,其中所述方法还包括使用所述组合色调映射曲线根据所述高动态范围数据计算(406)所述标准动态范围数据。
5.根据任一前述权利要求所述的方法,所述方法包括估计(405)表示所述组合色调映射曲线的元数据。
6.根据任一前述权利要求所述的方法,其中计算所述第一色调映射曲线包括:
从所述高动态范围数据获得中间色调映射曲线,其中小于所述高动态范围漫射白光的所述高动态范围数据的非线性亮度值被映射为所述标准动态范围数据的非线性亮度值;
将所述中间色调映射曲线的横坐标从所述高动态范围数据介于零与所述高动态范围漫射白光之间的亮度值范围重新缩放到所述高动态范围数据介于零与所述高动态范围数据的最大亮度值之间的亮度值范围;以及,
将所述中间色调映射曲线的纵坐标映射在所述标准动态范围数据介于零与取决于所述标准动态范围漫射白光的值之间的亮度值范围中,以获得所述第一色调映射曲线。
7.根据权利要求6所述的方法,其中在所述映射之前,所述中间色调映射曲线的所述纵坐标在感知均匀域中被转换,其中所转换的纵坐标值在零与对应于所述标准动态范围数据的最大亮度值的最大纵坐标值之间。
8.一种设备,所述设备包括电子电路,所述电子电路被配置为用于:
获得(401)高动态范围数据;
根据对应于组合色调映射曲线的低高动态范围值的所述高动态范围数据计算(402,403)第一色调映射曲线,所述第一色调映射曲线以第一点结束,所述第一点具有表示高动态范围漫射白光的横坐标和表示标准动态范围漫射白光的纵坐标,所述组合色调映射曲线允许从所述高动态范围数据获得标准动态范围数据;以及
针对从所述第一点开始的高标准动态范围,用第二色调映射曲线完成(404)所述组合色调映射曲线。
9.根据权利要求8所述的设备,其中所述第二色调映射曲线是直线。
10.根据权利要求8所述的设备,其中所述第二色调映射曲线包括抛物线。
11.根据权利要求8、9或10所述的设备,其中所述电子电路还被配置为用于使用所述组合色调映射曲线根据所述高动态范围数据计算(406)所述标准动态范围数据。
12.根据权利要求8至11中任一前述权利要求所述的设备,其中所述电子电路还被配置为用于估计(405)表示所述组合色调映射曲线的元数据。
13.根据权利要求8至12中任一前述权利要求所述的设备,其中计算所述第一色调映射曲线包括:
从所述高动态范围数据获得中间色调映射曲线,其中小于所述高动态范围漫射白光的所述高动态范围数据的非线性亮度值被映射为所述标准动态范围数据的非线性亮度值;
将所述中间色调映射曲线的横坐标从所述高动态范围数据介于零与所述高动态范围漫射白光之间的亮度值范围重新缩放到所述高动态范围数据介于零与所述高动态范围数据的最大亮度值之间的亮度值范围;以及,
将所述中间色调映射曲线的纵坐标映射在所述标准动态范围数据介于零与取决于所述标准动态范围漫射白光的值之间的亮度值范围中,以获得所述第一色调映射曲线。
14.根据权利要求13所述的设备,其中在所述映射之前,所述中间色调映射曲线的所述纵坐标在感知均匀域中被转换,其中所转换的纵坐标值在零与对应于所述标准动态范围数据的最大亮度值的最大纵坐标值之间。
15.一种信号,所述信号使用根据权利要求1至7中任一前述权利要求所述的方法或通过使用根据权利要求8至14中任一前述权利要求所述的设备生成。
16.一种计算机程序,所述计算机程序包括用于实现根据权利要求1至7中任一前述权利要求所述的方法的程序代码指令。
17.一种非暂态信息存储介质,所述非暂态信息存储介质存储用于实现根据权利要求1至7中任一前述权利要求所述的方法的程序代码指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21306562.6 | 2021-11-08 | ||
EP21306562 | 2021-11-08 | ||
PCT/EP2022/079534 WO2023078707A1 (en) | 2021-11-08 | 2022-10-24 | Tone mapping with configurable hdr and sdr diffuse white levels |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118159998A true CN118159998A (zh) | 2024-06-07 |
Family
ID=78770569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280071114.8A Pending CN118159998A (zh) | 2021-11-08 | 2022-10-24 | 具有可配置的hdr和sdr漫射白光水平的色调映射 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4430557A1 (zh) |
CN (1) | CN118159998A (zh) |
MX (1) | MX2024005055A (zh) |
TW (1) | TW202327345A (zh) |
WO (1) | WO2023078707A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8050512B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US20230017160A1 (en) * | 2020-03-02 | 2023-01-19 | Interdigital Vc Holdings France | Method and apparatus for inverse tone mapping |
-
2022
- 2022-10-24 EP EP22803037.5A patent/EP4430557A1/en active Pending
- 2022-10-24 WO PCT/EP2022/079534 patent/WO2023078707A1/en active Application Filing
- 2022-10-24 MX MX2024005055A patent/MX2024005055A/es unknown
- 2022-10-24 CN CN202280071114.8A patent/CN118159998A/zh active Pending
- 2022-10-27 TW TW111140848A patent/TW202327345A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023078707A1 (en) | 2023-05-11 |
MX2024005055A (es) | 2024-05-10 |
TW202327345A (zh) | 2023-07-01 |
EP4430557A1 (en) | 2024-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5992997B2 (ja) | 映像符号化信号を発生する方法及び装置 | |
US10666990B2 (en) | Method and device for matching colors between color pictures of different dynamic range | |
JP6948309B2 (ja) | パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス | |
US11928796B2 (en) | Method and device for chroma correction of a high-dynamic-range image | |
EP3672219A1 (en) | Method and device for determining control parameters for mapping an input image with a high dynamic range to an output image with a lower dynamic range | |
CN111466117B (zh) | 处理图像 | |
CN118451447A (zh) | 耦合的逆色调映射和色调映射 | |
US11722704B2 (en) | Decoding an image | |
CN118159998A (zh) | 具有可配置的hdr和sdr漫射白光水平的色调映射 | |
US20240187616A1 (en) | Chroma boost on sdr and hdr display adapted signals for sl-hdrx systems | |
WO2024156546A1 (en) | Method for estimating tone mapping parameters and corresponding apparatus | |
EP3671626A1 (en) | Method and device for determining control parameters for mapping an input image with a high dynamic range to an output image with a lower dynamic range | |
WO2023194089A1 (en) | Method for correcting sdr pictures in a sl-hdr1 system | |
WO2024023008A1 (en) | Method for preventing clipping in sl-hdrx systems | |
CN116508054A (zh) | 用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置 | |
CN118541722A (zh) | 逆色调映射过程中的扩展函数选择 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |