CN110337667A - 高动态范围图像的色调曲线映射 - Google Patents
高动态范围图像的色调曲线映射 Download PDFInfo
- Publication number
- CN110337667A CN110337667A CN201880011955.3A CN201880011955A CN110337667A CN 110337667 A CN110337667 A CN 110337667A CN 201880011955 A CN201880011955 A CN 201880011955A CN 110337667 A CN110337667 A CN 110337667A
- Authority
- CN
- China
- Prior art keywords
- output
- dynamic range
- input
- smid
- tone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 70
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 241000251468 Actinopterygii Species 0.000 claims abstract description 13
- 230000007935 neutral effect Effects 0.000 claims description 50
- 235000019646 color tone Nutrition 0.000 claims description 41
- 210000003128 head Anatomy 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 40
- 238000013507 mapping Methods 0.000 abstract description 36
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000013501 data transformation Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提出了用于将图像从第一动态范围映射到第二动态范围的方法。所述映射基于包括两个样条多项式的函数,所述两个样条多项式是使用三个锚定点和三个斜率确定的。第一锚定点是使用输入的黑点水平和目标输出的黑点水平来确定的,第二锚定点是使用输入的白点水平和目标输出的白点水平来确定的,并且第三锚定点是使用输入的中间色调信息数据和目标输出的中间色调信息数据来确定的。所述目标输出的中间色调水平是基于理想的一对一映射并通过在黑色和高光两者中保持输入对比度来自适应地计算的。提出了基于三阶(三次)厄尔密样条的示例色调映射传递函数。
Description
相关申请的交叉引用
本申请要求均于2017年2月15日提交的美国62/459,141号临时专利申请和欧洲17156284.6号专利申请、以及于2017年3月1日提交的美国62/465,298号临时专利申请的优先权权益,这些专利申请中的每一个都通过引用并入本文。
技术领域
本发明总体上涉及图像。更具体地,本发明的实施例涉及确定用于将高动态范围(HDR)的图像和视频信号从第一动态范围映射到第二动态范围的色调曲线的参数。
背景技术
如本文所使用的,术语‘动态范围(DR)’可以涉及人类视觉系统(HVS)感知图像中的强度(例如光亮度(luminance)、亮度(luma))范围的能力,该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说,DR与‘参考场景的(scene-referred)’强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说,DR与‘参考显示的(display-referred)’强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思,否则应推断为所述术语可以在任一意义上例如可互换地使用。
如本文所使用的,术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR阔度。在实践中,相对于HDR,人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。如本文所使用的,术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单独地或可互换地与这样的DR相关:所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知,允许场景或图像上的一些光适性变化。
实际上,图像包括一个或多个颜色分量(例如,亮度Y以及色度Cb和Cr),其中,每个颜色分量由每像素n位的精度表示(例如,n=8)。使用线性光亮度编码,n≤8的图像(例如,彩色24位JPEG图像)被视为标准动态范围的图像,而n>8的图像可被视为增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如,16位)浮点格式来存储和分布,诸如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式。
如本文所使用的,术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这样的元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。
大多数消费者桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费者HDTV的范围从300到500尼特,其中新型号达到1000尼特(cd/m2)。因此,这样的传统显示器代表了与HDR或EDR相关的较低动态范围(LDR),也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如,相机)和HDR显示器(例如,杜比实验室的PRM-4200专业参考监视器)二者的发展而增加,HDR内容可以被颜色分级并被显示在支持更高动态范围(例如,从1,000尼特到5,000尼特或更高)的HDR显示器上。总体上,非限制性地,本公开的方法涉及高于SDR的任何动态范围。
高动态范围(HDR)内容创作现在正变得普遍,因为这种技术提供了比早期格式更逼真和栩栩如生的图像。然而,包括数亿个消费者电视显示器在内的许多显示系统不能再现HDR图像。此外,由于HDR显示器的范围很广(比如从1,000尼特到5,000尼特或更多),因此在一个HDR显示器上优化的HDR内容可能不适合在另一个HDR显示器上直接回放。用于服务整个市场的一种方法是创建多个版本的新视频内容——比如一个使用HDR图像,并且另一个使用SDR(标准动态范围)图像。然而,这要求内容作者以多种格式创建他们的视频内容,并且可能要求消费者知道针对他们的特定显示器购买哪种格式。一种可能更好的方法可以是创建一个版本的内容(在HDR中),并使用图像数据变换系统(例如,作为机顶盒功能的一部分)将输入HDR内容自动下转换(或上转换)为适当的输出SDR或HDR内容。为了改进现有显示方案,如本发明人理解的,开发了用于确定用于HDR图像的显示映射的色调曲线的改进技术。
在这一部分中描述的方法是可以追寻的方法,但不一定是之前已经设想到或追寻的方法。因此,除非另有指明,否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地,除非另有指明,否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。
附图说明
在附图中以举例而非限制的方式来图示本发明的实施例,并且其中相似的附图标记指代相似的元件,并且在附图中:
图1描绘了视频传输流水线的示例过程;
图2描绘了根据现有技术的用于使用三个锚定点将图像从第一动态范围映射到第二动态范围的示例映射函数;
图3描绘了根据本发明的实施例的用于将图像从第一动态范围映射到第二动态范围的示例映射函数;
图4A和图4B描绘了根据本发明的实施例的用于确定色调映射函数的示例过程;
图5描绘了根据本发明的实施例确定的两个示例映射函数;并且
图6A和图6B描绘了根据本发明实施例的示出输入中间色调值如何被映射到输出中间色调值以确定色调曲线映射函数的中间色调锚定点的示例曲线图。
具体实施方式
本文描述了用于确定用于高动态范围(HDR)图像的显示映射的色调曲线的方法。在以下说明中,出于解释的目的,阐述了许多具体细节以便提供对本发明的透彻理解。然而,明显的是,可以在没有这些具体细节的情况下实施本发明。在其他情形中,为了避免不必要的遮蔽、模糊或混淆本发明,没有详尽地描述众所周知的结构和设备。
概述
本文所描述的实施例涉及用于确定用于高动态范围(HDR)图像的显示映射的色调曲线的方法。在视频系统中,在一个实施例中,对于输入图像,处理器接收第一信息数据,所述第一信息数据包括第一动态范围中的输入黑点水平(x1,SMin)、输入中间色调水平(x2,SMid)和输入白点水平(x3,SMax)。处理器还访问第二动态范围中的输出图像的第二信息数据,所述第二信息数据包括第二动态范围中的第一输出黑点水平(TminPQ)和第一输出白点水平(TmaxPQ)。处理器基于第一信息数据和第二信息数据确定第二动态范围中的输出中间色调值。处理器基于第二信息数据和输出中间色调值计算第二动态范围中的第二输出黑点和第二输出白点。然后,处理器基于第一信息数据、第二信息数据和输出中间色调值计算尾部斜率、头部斜率和中间色调斜率。处理器确定用于将第一动态范围中的输入图像的像素值映射到第二动态范围中的输出图像的相应像素值的传递函数,其中,所述传递函数包括两个段,其中,第一段是基于尾部斜率、中间色调斜率、输入黑点水平、输入中间色调水平、第二输出黑点和输出中间色调值确定的,并且第二段是基于中间色调斜率、头部斜率、输入中间色调水平、输入白点水平、输出中间色调值和第二输出白点确定的。处理器使用所确定的传递函数将输入图像映射到输出图像。
在实施例中,处理器基于第一信息数据、第二信息数据和输出中间色调值来计算第二输出黑点和第二输出白点。
在实施例中,处理器基于输入黑点水平、输入中间色调水平、第二输出黑点和输出中间色调值来计算尾部斜率。
在实施例中,处理器基于输入白点水平、输入中间色调水平、第二输出白点和输出中间色调值来计算头部斜率。
在实施例中,处理器基于第一信息数据、第二输出黑点、第二输出白点和输出中间色调值来计算中间色调斜率。
动态范围转换
HDR信号的视频编码
图1描绘了传统视频传输流水线(100)的示例过程,其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如,由数码相机)数字地捕获或者由计算机(例如,使用计算机动画)生成以提供视频数据(107)。可替代地,视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110),对视频数据(107)进行编辑以提供视频制作流(112)。
制作流的视频数据(112)然后在块(115)处被提供给处理器以进行后期制作编辑。块(115)后期制作编辑可以包括调整或修改图像的特定区中的颜色或明亮度,以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在块(115)处执行其他编辑(例如,场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本(117)。在后期制作编辑(115)期间,在参考显示器(125)上观看视频图像。
在后期制作(115)之后,可以将最终作品(117)的视频数据传输到编码块(120),以便向下游递送到诸如电视机、机顶盒、电影院等解码和重放设备。在一些实施例中,编码块(120)可以包括诸如由ATSC、DVB、DVD、蓝光和其他传输格式定义的那些音频编码器和视频编码器,以生成编码比特流(122)。在接收器中,编码比特流(122)由解码单元(130)解码,以生成表示信号(117)的完全相同或接近近似版本的经解码信号(132)。接收器可以附接到目标显示器(140),所述目标显示器可以具有与参考显示器(125)完全不同的特性。在这种情况下,显示管理块(135)可以用于通过生成显示器映射信号(137)来将经解码信号(132)的动态范围映射到目标显示器(140)的特性。
使用S形映射的图像变换
在A.Ballestad和A.Kostin的美国专利8,593,480“Method and apparatus forimage data transformation(用于图像数据变换的方法和装置)”(本文称为‘480专利)中,发明人提出了使用可以使用三个锚定点和中间色调自由参数唯一确定的参数化S型(sigmoid)函数进行的图像变换映射,所述美国专利通过引用以其全文并入本文。图2中描绘了这种函数的示例。
如图2中所描绘的,映射函数(220)由三个锚定点(205,210,215)定义:黑点(x1,y1)、中间色调点(x2,y2)和白点(x3,y3)。这种变换具有以下属性:
·从x1到x3的值表示描述构成输入图像的像素的可能值的范围。这些值可以是特定原色(R,G或B)的明亮度水平,或者可以是像素的整体光亮度水平(比如YCbCr表示中的Y分量)。通常,这些值对应于用于创建内容的显示器(“母版制作显示器”(125))所支持的最暗(黑点)水平和最亮(白点)水平;然而,在一些实施例中,当参考显示器的特性未知时,这些值可以表示输入图像中的最小值和最大值(例如,在R,G或B中,表示光亮度等),这些最小值和最大值可以经由图像元数据接收或在接收器中计算。
·从y1到y3的值表示描述构成输出图像的像素的可能值的范围(再次,是原色明亮度或整体光亮度水平)。通常,这些值对应于预期输出显示器(“目标显示器”(140))所支持的最暗(黑点)水平和最亮(白点)水平。
·具有值x1的任何输入像素被约束为映射到具有值y1的输出像素,并且具有值x3的任何输入像素被约束为映射到具有值y3的输出像素。
·x2和y2的值表示从输入到输出的特定映射,其用作图像的某个“中间范围”(或中间色调水平)元素的锚定点。在x2和y2的特定选择中允许相当大的自由度,并且‘480专利教导了可以如何选择这些参数的许多替代方案。
一旦已经选择了这三个锚定点,传递函数(220)就可以被描述为
其中,C1、C1和C3是常数,x表示颜色通道或光亮度的输入值,y表示相应的输出值,并且n是可以用于调整中间色调对比度的自由参数。
如‘480专利中所描述的,C1、C1和C3的值可以通过求解下式来确定
等式(1)的色调曲线已成功应用于许多显示映射应用;然而,如本发明人所理解的,它还具有许多潜在的限制,包括:
·很难定义使得在目标显示器的特定范围内存在一对一映射的色调曲线参数
·很难确定用于控制对比度的参数(比如指数n)
·中间锚定(x2,y2)点的微小变化可能会产生意外行为
·在黑色锚定点(205)下方和/或白色锚定点(215)上方不允许线性映射
图3描绘了根据实施例的新色调映射曲线的示例。如图3中所描绘的,色调映射曲线(320)包括多达四个段:
·可选线性段L1,针对低于(x1,y1)的值(x1也可以为负)
·样条S1,从(x1,y1)到(x2,y2)
·样条S2,从(x2,y2)到(x3,y3)
·可选线性段L2,针对大于(x3,y3)的值(x1也可大于1)
在实施例中,非限制性地,段S1和S2是使用三阶(三次)厄尔密(Hermite)多项式确定的。
如稍后将讨论的,使用线性段L1和L2的映射在计算色调曲线的逆时(例如,在逆向色调映射期间,比如当需要从标准动态范围图像生成高动态范围图像时)可能特别有用。
如等式(1)中,曲线(320)由三个锚定点(305,310,315)控制:黑点(x1,y1)、中间色调值点(x2,y2)和白点(x3,y3)。另外,每个样条段可以进一步由每个端点处的两个斜率约束;因此,完整曲线由三个锚定点和三个斜率控制:(x1,y1)处的尾部斜率,(x2,y2)处的中间色调斜率和(x3,y3)处的头部斜率。
作为示例,考虑在点(x1,y1)与(x2,y2)之间确定的样条,其中在(x1,y1)处的斜率为s1,在(x2,y2)处的斜率为s2,则对于输入x,该三次厄尔密样条的传递函数可以定义为:
y=((2T3-3T2+1)*y1+(T3-2T2+T)*(x2-x1)*s1+(-2T3+3T2)*y2+(T3-T2)*(x2-x1)*s2), (3a)
其中,
T=(x-x1)/(x2-x1). (3b)
在实施例中,为了确保没有过冲或下冲(即,为了确保曲线是单调的),还可以将以下规则应用于斜率s1和s2:
其中,α表示常数(例如,α=3)。
在给定了等式(3)的厄尔密样条的情况下,在实施例中,非限制性地,对于比如使用感知量化器(PQ)(例如,根据SMPTE ST 2084:2014,“High Dynamic Range EOTF ofMastering Reference Displays(母版制作参考显示器的高动态范围EOTF)”)编码的视频输入,可以基于以下参数定义完整曲线:
·SMin=x1;表示源内容的最小光亮度。如果未给出,则可以将SMin设置为表示典型黑色的值(例如,SMin=0.0151)
·SMax=x3;表示源内容的最大光亮度。如果未给出,则可以将SMax设置为表示“高光”的大值(例如,SMax=0.9026)
·SMid=x2;表示源内容的平均(例如,算术、中值、几何)光亮度。在一些实施例中,其可以简单地表示输入图片中的“重要”光亮度特征。在某个其他实施例中,其还可以表示所选区域(比如面部)的平均值或中值。可以手动或自动定义SMid,并且可以基于偏好来偏移SMid的值以保持高光或阴影中的特定外观。如果未给出,则可以将SMid设置为典型的平均值(例如,SMid=0.36,表示肤色)。
这些数据可以使用图像或源元数据来接收,它们可以由显示管理单元(例如,135)计算,或者它们可以基于关于母版制作或参考显示环境的已知假设。另外,假设以下数据对于目标显示器是已知的(例如,通过读取显示器的扩展显示标识数据(EDID)来接收):
·TminPQ=目标显示器的最小光亮度
·TmaxPQ=目标显示器的最大光亮度
其中,如本文所使用的术语‘PQ’表示根据SMPTE ST 2084将这些值(通常以尼特给出)转换为PQ值。
为了完全确定映射曲线,需要计算以下点和参数:
TMin=y1;
TMax=y3;
TMid=y2;
slopeMin=(x1,y1)处的斜率;
slopeMid=(x2,y2)处的斜率;以及
slopeMax=(x3,y3)处的斜率。
图4A描绘了根据实施例的用于确定色调映射曲线的锚定点和斜率的示例过程。在给定了输入参数(405)SMin、SMid、SMax、TminPQ和TmaxPQ的情况下,步骤412计算y2(TMid)。例如,在一个实施例中,只要TMid处于TminPQ和TmaxPQ边界点内并且处于预定的缓冲区内,就可以将中间色调锚定点(SMid,TMid)选择为在1对1映射线上,即,强制TMid=SMid。对于接近TminPQ和TmaxPQ的TMid值,可以将TMid选择为处于固定距离内(例如,在TMinPQ+c与TmaxPQ-d之间,其中c和d是固定值),或者处于被计算为这些值的百分比的距离内。例如,可以强制TMid永远不会低于TminPQ+a*TminPQ或高于TmaxPQ-b*TMaxPQ,其中a和b是[0,1]内的常数,表示百分比值(例如,a=b=5%=0.05)。
在给定了TMid的情况下,步骤425计算剩余的未知参数(例如,y1、y2和三个斜率)。最后,步骤430计算这两个样条段和这两个线性段。
在另一实施例中,计算TMid可以通过尝试保持输入“尾部对比度”(即,黑色(SMin)与中间色调(SMid)之间的对比度)与输入“头部对比度”(即,中间色调(SMid)与高光(SMax)之间的对比度)之间的原始比率来进一步细化。根据实施例的这种过程的示例在图4B中进行描绘并且还在表1的伪代码中进行描述。这个过程的目标是:
·确定输出中间色调锚定点(SMid,TMid)尽可能接近对角线(1对1)映射。即,理想情况下,TMid应尽可能接近SMid以保持输入中间色调;
·如果不可能进行1对1映射,则确定TMid以使得“尾部对比度”和“头部对比度”范围的输出值处于相应输入范围的预定限制内。如本文所使用的,输入“头部对比度”是基于(SMax-SMid)的函数,并且输入“尾部对比度”是基于(SMid-SMin)的函数。
·在给定了中间锚定点(x2,y2)或(SMid,TMid)的情况下,确定这三个斜率以使得可以表征整个色调曲线。
表1:用于确定色调曲线参数的示例过程
在上文的步骤4中,为了计算头部和尾部偏移参数,将这些项乘以表示为“offsetScalar”的项,在实施例中,该项可以表达为
该函数的目的是在最大可能的偏移(例如,headroom*preservationHead或tailroom*preservationTail)与相应的头部斜率或尾部斜率之间提供平滑过渡。等式(5)中的s()函数可以是|2*midLoc-1|的任何合适的线性或非线性函数。例如,在另一实施例中:
在上文的步骤8中,slopeMid将被计算为接近对角线以进行1对1映射。相反,计算slopeMax以便与(x2,y2)和(x3,y3)之间的斜率headslopeh(例如,h=4)成比例地保持高光;同时计算slopeMin以便与(x1,y1)和(x2,y2)之间的斜率tailslopet(例如,t=2)成比例地保持黑色。指数h和t确定高光或灰色需要“崩溃(crashed)”的速度。h和t的典型值包括1、2或4。在实施例中,h=t。
在给定了这三个锚定点和这三个斜率的情况下,可以如下生成四个段:
如果(SMin<x≤SMid)//S1曲线
y=((2T3-3T2+1)*TMin+(T3-2T2+T)*(SMid-SMin)*slopeMin+(-2T3+3T2)*TMid+(T3-T2)*(SMid-SMin)*slopeMid), (7a)
其中
T=(x-SMin)/(SMid-SMin). (7b)
如果(SMid<x<SMax)//S2曲线
y=((2T3-3T2+1)*TMid+(T3-2T2+T)*(SMax-SMid)*slopeMid+(-2T3+3T2)*TMax+(T3-T2)*(SMax-SMid)*slopeMax), (7c)
其中
T=(x-SMid)/(SMax-SMid). (7d)
如果(x≤SMin)//L1段
y=TMin+(x-SMin)*slopeMin (7e)
如果(x≥SMax)//L2段
y=TMax+(x-SMax)*slopeMax (7f)
返回图4B,在给定了输入参数(405)(例如,SMin、SMid、SMax、TminPQ和TmaxPQ)的情况下,步骤(410)基于输入参数来计算第一目标中间色调值和相关联的目标headroom值和tailroom值(例如,参见表1中的步骤2)。在给定了头部和尾部对比度保持百分比(例如,约50%)、第一目标中间色调值以及相关联的目标headroom和tailroom的情况下,步骤(415)计算头部偏移和尾部偏移(例如,参见表1中的步骤4)。步骤(420)将头部偏移和尾部偏移应用于输入SMid值以计算目标TMid值(例如,参见表1中的步骤5)。接下来,步骤(425)基于输入参数和TMid计算TMax和TMin(例如,参见表1中的步骤6)。步骤(425)在试图保持单调性的同时还计算这两个样条的两个末端斜率和中间斜率(例如,参见表1中的步骤8)。在给定了输入参数TMid、TMin、TMax和这三个斜率的情况下,然后可以在步骤(430)中应用等式(7)来计算色调映射曲线。
图5描绘了所提出的色调曲线的将PQ编码的数据从第一动态范围映射到第二较低动态范围的两个不同示例。注意,相同的曲线还可以用于逆向映射,比如,用于将数据从较低的动态范围转换回原始的高动态范围。在实施例中,可以如下计算逆向映射:
·如前所述,得到比如表达为y=f(x)的色调映射曲线
·生成使用yi=f(xi)将输入xi值映射到输出yi值的前向查找表
·生成使用来自前向LUT的值将输入低动态范围的值y′k映射到输出更高动态范围的值x′k的后向查找表(即,如果y′k=yi,则x′k=xi)
·通过对现有值进行内插来生成后向LUT的附加值。例如,如果yi<y′k<yi+1,则可以通过在xi与xi+1之间进行内插来生成相应的输出x′k。
图6A描绘了根据实施例的示出输入中间色调值(SMid)如何被映射到输出中间色调值(TMid)以确定(例如,使用表1中的步骤1到4)色调曲线映射函数的中间色调锚定点的示例曲线图。在给定了SMin=0.01、SMax=0.92以及TminPQ=0.1的情况下,曲线图605描绘了当TmaxPQ=0.5时SMid如何映射到TMid,并且曲线图610描绘了当TmaxPQ=0.7时SMid如何映射到TMid。
从图6A中,观察到在SMid值的小范围中,函数605不是单调的,这可能产生意外的结果,比如在淡入或淡出期间。为了解决这个问题,在表1的步骤4中,可以替代地使用以下伪代码来计算头部偏移和尾部偏移:
cutoff=a;//例如,a=0.5.
offsetHead=min(max(0,(midLoc-cutoff))*TDR,
max(0,headroom*preservationHead+midLoc-1)*TDR);
offsetTail=min(max(0,(cutoff-midLoc))*TDR,
max(0,tailroom*preservationTail-midLoc)*TDR);
其中,cutoff是一个变量,它通过指定头部偏移和尾部偏移将被限幅到的目标动态范围百分比来对高光与阴影的维持进行优先级区分。例如,cutoff的值为0.5给予高光和阴影相等的优先级,而cutoff的值为0.7给予高光比阴影更高的优先级。
这种方法在计算上更简单(因为其不需要计算余弦函数或平方根函数)并且其如图6B所描绘的保持单调性。在图6B中,在给定了SMin=0.01、SMax=0.92以及TminPQ=0.1的情况下,曲线图615描绘了当TmaxPQ=0.5时SMid如何映射到TMid,并且曲线图620描绘了当TmaxPQ=0.7时SMid如何映射到TMid。
与等式(1)相比,所提出的色调曲线呈现出多个优点,包括:
·使用slopeMid参数使得可以在目标显示器的特定范围内定义SMid值与TMid值之间的一对一映射以保持对比度;
·可以经由slopeMid和contrastFactor变量显式地控制图像对比度(参见表1的步骤8)。例如,在实施例中,contrastFactor的值可以但不限于在0.5与2.0之间的范围内,其中,contrastFactor的默认值=1;
·通过将整个曲线分成两个样条,中间色调锚定点(x2,y2)周围不再出现意外行为;
·使用SlopeMin和SlopMax使得可以预先确定黑色锚定点之前和白色锚定点之后的映射曲线的行为;
·该曲线可以映射负输入值(例如,x<0)。这种情况可能由于噪声或其他系统条件(例如,空间滤波)而发生。通常将负值钳位为0;然而,这种钳位可能最终增加噪声并降低整体质量。通过能够映射负输入值,可以减少或消除这种基于限幅的伪像。
·通过简单地将x到y映射切换到y到x映射,可以容易地反转色调映射曲线;
·不需要使用任何非整数指数或幂函数,因此计算更快且更高效,因为从未使用过任何非整数指数。
关于最后一点,从计算的角度来看,确定等式(2)中的函数参数以获得有意义的对比度值(例如,n≠1和/或当n不是整数时)需要使用六个幂函数(例如,对于y=pow(x,n),y=xn)。相反,表1中的计算从不需要任何非整数幂函数(计算2或4的幂需要简单的乘法)。总的来说,与等式(1)相比,等式(7)需要每个输入样本一些更多的乘/除和加/减运算,但不需要任何幂函数。在一些实施例中,可以使用表查找来实施等式(7)。更重要的是,本发明人所进行的用户研究似乎表明用户更喜欢使用新色调映射函数(320)生成的图像的整体图像质量。
示例计算机系统实施方式
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(诸如微控制器、现场可编程门阵列(FPGA)、或另一可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))、和/或包括一个或多个这样的系统、设备或部件的装置来实施。计算机和/或IC可以执行、控制或实施与对具有高动态范围的图像的图像变换有关的指令,诸如本文所述的那些指令。计算机和/或IC可以计算与本文描述的图像变换过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
本发明的某些实施方式包括执行软件指令的计算机处理器,所述软件指令使处理器执行本发明的方法。例如,显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的针对HDR图像的图像变换相关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何非暂态介质,所述一组计算机可读信号包括指令,所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质,诸如包括软盘、硬盘驱动器的磁性数据存储介质,包括CD ROM、DVD的光学数据存储介质,包括ROM、闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如,软件模块、处理器、组件、设备、电路等)的情况下,除非另有说明,否则对此部件的引用(包括对“装置”的引用)都应被解释为包括为此部件的执行所描述部件的功能的任何部件的等效物(例如,功能上等同的),包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
等效物、扩展、替代品及其他
如此描述了涉及HDR视频到SDR视频的高效图像变换的示例实施例。在前述说明书中,已经参考许多具体细节描述了本发明的实施例,这些细节可以根据实施方式而变化。因此,作为本发明的、并且申请人意图作为本发明的唯一且独有的指示是从本申请中以这套权利要求发布的具体形式发布的权利要求,包括任何后续修改。本文中明确阐述的针对这种权利要求中包含的术语的任何定义应当支配着权利要求中使用的这种术语的含义。因此,权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此,说明书和附图应被视为说明性的而非具有限制性意义。
可以从以下枚举的示例性实施例(EEE)中理解本发明的各个方面:
EEE 1.一种用于使用处理器将图像从第一动态范围映射到第二动态范围的方法,所述方法包括:
访问所述第一动态范围中的输入图像的第一信息数据,所述第一信息数据包括所述第一动态范围中的输入黑点水平(x1,SMin)、输入中间色调水平(x2,SMid)和输入白点水平(x3,SMax);
访问所述第二动态范围中的输出图像的第二信息数据,所述第二信息数据包括所述第二动态范围中的第一输出黑点水平(TminPQ)和第一输出白点水平(TmaxPQ);
基于所述第一信息数据和所述第二信息数据确定所述第二动态范围中的输出中间色调值;
基于所述第二信息数据和所述输出中间色调值计算所述第二动态范围中的第二输出黑点和第二输出白点;
基于所述第一信息数据、所述第二信息数据和所述输出中间色调值计算尾部斜率、头部斜率和中间色调斜率;
确定用于将所述第一动态范围中的所述输入图像的像素值映射到所述第二动态范围中的所述输出图像的相应像素值的传递函数,其中,所述传递函数包括两个段,其中,第一段是基于所述尾部斜率、所述中间色调斜率、所述输入黑点、所述输入中间色调水平、所述第二输出黑点和所述输出中间色调值确定的,并且第二段是基于所述中间色调斜率、所述头部斜率、所述输入中间色调水平、所述输入白点、所述输出中间色调水平和所述第二输出白点确定的;以及
使用所确定的传递函数将所述输入图像映射到所述输出图像。
EEE 2.如EEE 1所述的方法,其中,所述第一动态范围包括高动态范围,并且所述第二动态范围包括标准动态范围。
EEE 3.如EEE 1或EEE 2所述的方法,其中,所述传递函数进一步包括针对低于所述第一动态范围中的所述输入黑点的输入值的第一线性段,其中,所述线性段的斜率等于所述尾部斜率。
EEE 4.如EEE 3所述的方法,其中,针对所述第一线性段的传递函数包括
y=TMin+(x-SMin)*slopeMin,
其中,x表示输入像素值,y表示输出像素值,slopeMin表示所述尾部斜率,TMin表示所述第二动态范围中的所述第二输出黑点,并且SMin表示所述第一动态范围中的所述输入黑点。
EEE 5.如EEE 1至4中任一项所述的方法,其中,所述传递函数进一步包括针对大于所述第一动态范围中的所述输入白点的输入值的第二线性段,其中,所述线性段的斜率等于所述头部斜率。
EEE 6.如EEE 5所述的方法,其中,针对所述第二线性段的传递函数包括
y=TMax+(x-SMax)*slopeMax,
其中,x表示输入像素值,y表示输出像素值,slopeMax表示所述头部斜率,TMax表示所述第二动态范围中的所述第二输出白点,并且SMax表示所述第一动态范围中的所述输入白点。
EEE 7.如EEE 1至6中任一项所述的方法,其中,所述第一段和/或所述第二段是基于三阶厄尔密样条多项式确定的。
EEE 8.如EEE 7所述的方法,其中,确定所述第一段包括计算
y=((2T3-3T2+1)*TMin+(T3-2T2+T)*(SMid-SMin)*slopeMin+(2T3+3T2)*TMid+(T3-T2)*(SMid-SMin)*slopeMid),
其中,T=(x-SMin)/(SMid-SMin),x表示输入像素值,y表示输出像素值,slopeMin表示所述尾部斜率,slopeMid表示所述中间色调斜率,TMin和TMid表示所述第二输出黑点和所述输出中间色调水平,并且SMin和SMid表示所述第一动态范围中的所述输入黑点和所述输入中间色调水平。
EEE 9.如EEE 7或EEE 8所述的方法,其中,确定所述第二段包括计算
y=((2T3-3T2+1)*TMid+(T3-2T2+T)*(SMax-SMid)*slopeMid+(-2T3+3T2)*TMax+(T3-T2)*(SMax-SMid)*slopeMax), (5c)
其中,T=(x-SMid)/(SMax-SMid),x表示输入像素值,y表示输出像素值,slopeMax表示所述头部斜率,slopeMid表示所述中间色调斜率,TMid和TMax表示所述第二动态范围中的所述输出中间色调水平和所述第二输出白点,并且SMid和SMax表示所述第一动态范围中的所述输入中间色调水平和所述输入白点。
EEE 10.如EEE 1至9中任一项所述的方法,其中,计算所述输出中间色调值包括计算:
如果SMid<TminPQ+a*TMinPQ
则TMid=TMinPQ+a*TMinPQ;
否则如果SMid>TmaxPQ-b*TmaxPQ
则TMid=TmaxPQ-b*TmaxPQ;
否则TMid=SMid;
其中,TMid表示所述输出中间色调值,a和b是[0,1]中的百分位值,SMid表示所述输入中间色调水平,并且TminPQ和TmaxPQ包括所述第二信息数据中的值。
EEE 11.如EEE 1至9中任一项所述的方法,其中,计算所述输出中间色调值进一步包括:
基于所述第一信息数据和所述第一输出黑点,确定所述第二动态范围中的初步输出中间色调值以及所述初步输出中间色调值的第一边界值和第二边界值;
基于所述初步输出中间色调值、所述第一边界值和所述第二边界值、以及一个或多个输入对比度保持值,计算所述第二动态范围中的头部偏移和尾部偏移;以及
基于所述第一动态范围中的所述输入中间色调水平以及所述头部偏移和所述尾部偏移,计算所述第二动态范围中的所述输出中间色调值。
EEE 12.如EEE 11所述的方法,其中,确定所述初步输出中间色调值以及所述第一输出中间色调值的所述第一边界值和所述第二边界值包括计算
midLoc=(SMid-TminPQ)/TDR;
headroom=(SMax-SMid)/TDR;
tailroom=(SMid-SMin)/TDR;
其中,
TDR=TmaxPQ-TminPQ,
midLoc表示所述初步输出中间色调值,tailroom和headroom表示所述第一输出中间色调值的所述第一边界值和所述第二边界值,SMin、SMid和SMax表示所述第一信息数据,并且TminPQ表示所述第一输出黑点水平。
EEE 13.如EEE 11或EEE 12所述的方法,其中,至少一个对比度保持值约为50%。
EEE 14.如EEE 11至13中任一项所述的方法,其中,计算所述输出中间色调值(TMid)包括计算:
TMid=SMid-offsetHead+offsetTail,
其中,SMid表示所述第一动态范围中的所述输入中间色调水平,并且offsetHead和offsetTail表示所述头部偏移和所述尾部偏移。
EEE 15.如EEE 14所述的方法,其中,计算所述第二动态范围中的所述第二输出白点和所述第二输出黑点包括计算
TMax=min(TMid+SMax-SMid,TmaxPQ),
TMin=max(TMid-SMid+SMin,TminPQ,
其中,TMin表示所述第二输出黑点,TMax表示所述第二输出白点,SMin和SMax表示所述第一动态范围中的所述输入黑点和所述输入白点,并且TminPQ和TmaxPQ表示第二动态范围中的所述第一输出黑点和所述第一输出白点。
EEE 16.如EEE 10或EEE 15所述的方法,进一步包括:将所述尾部斜率的最大值(maxMinSlope)和/或所述头部斜率的最大值(maxMaxSlope)计算为
maxMinSlope=3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope=3*(TMax-TMid)/(SMax-SMid).
EEE 17.如EEE 16所述的方法,其中,计算所述尾部斜率(slopeMin)、所述中间色调斜率(slopeMid)和所述头部斜率(slopeMax)进一步包括计算
slopeMin=min([maxMinSlope,((TMid-TMin)/(SMid-SMin))2]);
slopeMax=min([maxMaxSlope,1,((TMax-TMid)/(SMax-SMid))4]);
slopeMid=min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
其中,contrastFactor表示对比度参数。
EEE 18.如EEE 1至17中任一项所述的方法,进一步包括确定用于将图像从所述第二动态范围映射回所述第一动态范围的后向查找表,所述方法包括:
基于所确定的传递函数确定将所述第一动态范围中的多个x(i)值映射到所述第二动态范围中的y(i)值的前向查找表;以及
通过以下设置生成将所述第二动态范围中的多个y′(k)值映射到所述第一动态范围中的相应x′(k)值的所述后向查找表:
如果y′(k)=y(i),则x′(k)=x(i)
否则
如果y′(i)<y′(k)<y′(i+1),则通过在x(i)与x(i+1)之间内插一值来生成相应的输出x′(k)。
EEE 19.一种装置,包括处理器并且被配置用于执行如EEE 1至18中所述的方法中的任一种方法。
EEE 20.一种非暂态计算机可读存储介质,具有存储于其上的计算机可执行指令,所述指令用于利用一个或多个处理器来执行根据EEE 1至18任一项所述的方法。
Claims (19)
1.一种用于使用处理器将图像从第一动态范围映射到第二动态范围的方法,所述方法包括:
访问所述第一动态范围中的输入图像的第一信息数据,所述第一信息数据包括所述第一动态范围中的输入黑点水平(x1,SMin)、输入中间色调水平(x2,SMid)和输入白点水平(x3,SMax);
访问所述第二动态范围中的输出图像的第二信息数据,所述第二信息数据包括所述第二动态范围中的第一输出黑点水平(TminPQ)和第一输出白点水平(TmaxPQ);
基于所述第一信息数据和所述第二信息数据确定所述第二动态范围中的输出中间色调值;
基于所述第二信息数据和所述输出中间色调值计算所述第二动态范围中的第二输出黑点和第二输出白点;
基于所述第一信息数据、所述第二信息数据和所述输出中间色调值计算尾部斜率、头部斜率和中间色调斜率;
确定用于将所述第一动态范围中的所述输入图像的像素值映射到所述第二动态范围中的所述输出图像的相应像素值的传递函数,其中,所述传递函数包括两个段,其中,第一段是基于所述尾部斜率、所述中间色调斜率、所述输入黑点水平、所述输入中间色调水平、所述第二输出黑点和所述输出中间色调值确定的,并且第二段是基于所述中间色调斜率、所述头部斜率、所述输入中间色调水平、所述输入白点水平、所述输出中间色调值和所述第二输出白点确定的;以及
使用所确定的传递函数将所述输入图像映射到所述输出图像。
2.如权利要求1所述的方法,其中,计算所述第二动态范围中的所述第二输出黑点和所述第二输出白点进一步基于所述第一信息数据。
3.如权利要求1或2所述的方法,其中:
计算所述尾部斜率是基于所述输入黑点水平、所述输入中间色调水平、所述第二输出黑点和所述输出中间色调值;
计算所述头部斜率是基于所述输入白点水平、所述输入中间色调水平、所述第二输出白点和所述输出中间色调值;以及
计算所述中间色调斜率是基于所述第一信息数据、所述第二输出黑点、所述第二输出白点和所述输出中间色调值。
4.如权利要求1至3中任一项所述的方法,其中,所述第一动态范围包括高动态范围,并且所述第二动态范围包括标准动态范围。
5.如权利要求1至4中任一项所述的方法,其中,所述传递函数进一步包括针对低于所述第一动态范围中的所述输入黑点水平的输入值的第一线性段,其中,所述线性段的斜率等于所述尾部斜率,其中可选地,所述传递函数针对所述第一线性段包括
y=TMin+(x-SMin)*slopeMin,
其中,x表示输入像素值,y表示输出像素值,slopeMin表示所述尾部斜率,TMin表示所述第二动态范围中的所述第二输出黑点,并且SMin表示所述第一动态范围中的所述输入黑点水平。
6.如权利要求1至5中任一项所述的方法,其中,所述传递函数进一步包括针对大于所述第一动态范围中的所述输入白点水平的输入值的第二线性段,其中,所述线性段的斜率等于所述头部斜率,其中可选地,所述传递函数针对所述第二线性段包括
y=TMax+(x-SMax)*slopeMax,
其中,x表示输入像素值,y表示输出像素值,slopeMax表示所述头部斜率,TMax表示所述第二动态范围中的所述第二输出白点,并且SMax表示所述第一动态范围中的所述输入白点水平。
7.如权利要求1至6中任一项所述的方法,其中,所述第一段和/或所述第二段是基于三阶厄尔密样条多项式确定的。
8.如权利要求7所述的方法,其中,确定所述第一段包括计算
y=((2T3-3T2+1)*TMin+(T32T2+T)*(SMid-SMin)*slopeMin+(-2T3+3T2)*TMid+(T3-T2)*(SMid-SMin)*slopeMid),
其中,T=(x-SMin)/(SMid-SMin),x表示输入像素值,y表示输出像素值,slopeMin表示所述尾部斜率,slopeMid表示所述中间色调斜率,TMin和TMid表示所述第二输出黑点和所述输出中间色调值,并且SMin和SMid表示所述第一动态范围中的所述输入黑点水平和所述输入中间色调水平。
9.如权利要求7或权利要求8所述的方法,其中,确定所述第二段包括计算
y=((2T3-3T2+1)*TMid+(T3-2T2+T)*(SMax-SMid)*slopeMid+(-2T3+3T2)*TMax+(T3-T2)*(SMax-SMid)*slopeMax), (5c)
其中,T=(x-SMid)/(SMax-SMid),x表示输入像素值,y表示输出像素值,slopeMax表示所述头部斜率,slopeMid表示所述中间色调斜率,TMid和TMax表示所述第二动态范围中的所述输出中间色调值和所述第二输出白点,并且SMid和SMax表示所述第一动态范围中的所述输入中间色调水平和所述输入白点水平。
10.如权利要求1至9中任一项所述的方法,其中,计算所述输出中间色调值包括计算:
如果SMid<TminPQ+a*TMinPQ
则TMid=TMinPQ+a*TMinPQ;
否则如果SMid>TmaxPQ-b*TmaxPQ
则TMid=TmaxPQ-b*TmaxPQ;
否则TMid=SMid;
其中,TMid表示所述输出中间色调值,a和b是[0,1]中的百分位值,SMid表示所述输入中间色调水平,并且TminPQ和TmaxPQ包括所述第二信息数据中的值。
11.如权利要求1至10中任一项所述的方法,其中,计算所述输出中间色调值进一步包括:
基于所述第一信息数据和所述第一输出黑点,确定所述第二动态范围中的初步输出中间色调值以及所述初步输出中间色调值的第一边界值和第二边界值;
基于所述初步输出中间色调值、所述第一边界值和所述第二边界值、以及一个或多个输入对比度保持值,计算所述第二动态范围中的头部偏移和尾部偏移;以及
基于所述第一动态范围中的所述输入中间色调水平以及所述头部偏移和所述尾部偏移,计算所述第二动态范围中的所述输出中间色调值。
12.如权利要求11所述的方法,其中,确定所述初步输出中间色调值以及所述第一输出中间色调值的所述第一边界值和所述第二边界值包括计算
midLoc=(SMid-TminPQ)/TDR;
headroom=(SMax-SMid)/TDR;
tailroom=(SMid-SMin)/TDR;
其中,
TDR=TmaxPQ-TminPQ,
midLoc表示所述初步输出中间色调值,tailroom和headroom表示所述第一输出中间色调值的所述第一边界值和所述第二边界值,SMin、SMid和SMax表示所述第一信息数据,并且TminPQ表示所述第一输出黑点水平。
13.如权利要求11或权利要求12所述的方法,其中,至少一个对比度保持值约为50%。
14.如权利要求11至13中任一项所述的方法,其中,计算所述输出中间色调值(TMid)包括计算
TMid=SMid-offsetHead+offsetTail,
其中,SMid表示所述第一动态范围中的所述输入中间色调水平,并且offsetHead和offsetTail表示所述头部偏移和所述尾部偏移。
15.如权利要求14所述的方法,其中,计算所述第二动态范围中的所述第二输出白点和所述第二输出黑点包括计算
TMax=min(TMid+SMax-SMid,TmaxPQ),
TMin=max(TMid-SMic+SMin,TminPQ,
其中,TMin表示所述第二输出黑点,TMax表示所述第二输出白点,SMin和SMax表示所述第一动态范围中的所述输入黑点水平和所述输入白点水平,并且TminPQ和TmaxPQ表示所述第二动态范围中的所述第一输出黑点和所述第一输出白点。
16.如权利要求10或权利要求15所述的方法,进一步包括将所述尾部斜率的最大值(maxMinSlope)和/或所述头部斜率的最大值(maxMaxSlope)计算为
maxMinSlope=3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope=3*(TMax-TMid)/(SMax-SMid),
其中,可选地:
计算所述尾部斜率(slopeMin)、所述中间色调斜率(slopeMid)和所述头部斜率(slopeMax)进一步包括计算
slopeMin=min([maxMinSlope,((TMid-TMin)/(SMid-SMin))2]);
slopeMax=min([maxMaxSlope,1,((TMax-TMid)/(SMax-SMid))4]);
slopeMid=min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
其中,contrastFactor表示对比度参数。
17.如权利要求1至16中任一项所述的方法,进一步包括确定用于将图像从所述第二动态范围映射回所述第一动态范围的后向查找表,所述方法包括:
基于所确定的传递函数确定将所述第一动态范围中的多个x(i)值映射到所述第二动态范围中的y(i)值的前向查找表;以及
通过以下设置生成将所述第二动态范围中的多个y′(k)值映射到所述第一动态范围中的相应x(k)值的所述后向查找表:
如果y′(k)=y(i),则x′(k)=x(i)
否则
如果y(i)<y′(k)<y(i+1),则通过在x(i)与x(i+1)之间内插一值来生成相应的输出x′(k)。
18.一种装置,包括处理器并且被配置用于执行如权利要求1至17中所述的方法中的任一种方法。
19.一种非暂态计算机可读存储介质,具有存储于其上的用于利用一个或多个处理器来执行根据权利要求1至17中任一项所述的方法的计算机可执行指令。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762459141P | 2017-02-15 | 2017-02-15 | |
EP17156284.6 | 2017-02-15 | ||
US62/459,141 | 2017-02-15 | ||
EP17156284 | 2017-02-15 | ||
US201762465298P | 2017-03-01 | 2017-03-01 | |
US62/465,298 | 2017-03-01 | ||
PCT/US2018/017830 WO2018152063A1 (en) | 2017-02-15 | 2018-02-12 | Tone curve mapping for high dynamic range images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110337667A true CN110337667A (zh) | 2019-10-15 |
CN110337667B CN110337667B (zh) | 2023-09-08 |
Family
ID=61244840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880011955.3A Active CN110337667B (zh) | 2017-02-15 | 2018-02-12 | 高动态范围图像的色调曲线映射 |
Country Status (11)
Country | Link |
---|---|
US (1) | US10600166B2 (zh) |
EP (1) | EP3559901B1 (zh) |
JP (1) | JP6738972B2 (zh) |
KR (1) | KR102122165B1 (zh) |
CN (1) | CN110337667B (zh) |
BR (1) | BR112019016825A2 (zh) |
DK (1) | DK3559901T3 (zh) |
ES (1) | ES2817852T3 (zh) |
HU (1) | HUE050807T2 (zh) |
PL (1) | PL3559901T3 (zh) |
RU (1) | RU2713869C1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3552178B1 (en) * | 2016-12-12 | 2022-06-01 | Dolby Laboratories Licensing Corporation | Systems and methods for adjusting video processing curves for high dynamic range images |
US10917583B2 (en) * | 2018-04-27 | 2021-02-09 | Apple Inc. | Standard and high dynamic range display systems and methods for high dynamic range displays |
US10863157B2 (en) * | 2018-07-06 | 2020-12-08 | Samsung Electronics Co., Ltd. | Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device |
EP3853809A1 (en) * | 2018-09-17 | 2021-07-28 | Dolby Laboratories Licensing Corporation | Display mapping for high dynamic range images on power-limiting displays |
US11127124B2 (en) * | 2019-10-28 | 2021-09-21 | Adobe Inc. | Evenly spaced curve sampling technique for digital visual content transformation |
EP4136634A1 (en) | 2020-04-17 | 2023-02-22 | Dolby Laboratories Licensing Corp. | Chromatic ambient light correction |
CN115552511A (zh) | 2020-04-28 | 2022-12-30 | 杜比实验室特许公司 | 用于hdr显示器的图像相关对比度和亮度控制 |
EP4028987A4 (en) | 2020-05-08 | 2022-10-12 | Huawei Technologies Co., Ltd. | ENCODER, DECODER, SYSTEM AND METHOD FOR DETERMINING TONE MAPPING CURVE PARAMETERS |
US20230217067A1 (en) | 2020-06-11 | 2023-07-06 | Dolby Laboratories Licensing Corporation | Producing and adapting video images for presentation displays with different aspect ratios |
EP4172981A1 (en) | 2020-06-30 | 2023-05-03 | Dolby Laboratories Licensing Corporation | Systems and methods for ambient light compensation using pq shift |
JP2023551896A (ja) | 2020-12-04 | 2023-12-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 拡張次元ライトフィールド画像の処理 |
WO2022203826A1 (en) | 2021-03-22 | 2022-09-29 | Dolby Laboratories Licensing Corporation | Luminance adjustment based on viewer adaptation state |
WO2023009392A1 (en) | 2021-07-29 | 2023-02-02 | Dolby Laboratories Licensing Corporation | Neural networks for dynamic range conversion and display management of images |
WO2023028046A1 (en) | 2021-08-24 | 2023-03-02 | Dolby Laboratories Licensing Corporation | Neural networks for precision rendering in display management |
WO2023056267A1 (en) | 2021-09-28 | 2023-04-06 | Dolby Laboratories Licensing Corporation | Multi-step display mapping and metadata reconstruction for hdr video |
WO2023055612A1 (en) | 2021-09-30 | 2023-04-06 | Dolby Laboratories Licensing Corporation | Dynamic spatial metadata for image and video processing |
WO2023224917A1 (en) | 2022-05-16 | 2023-11-23 | Dolby Laboratories Licensing Corporation | Trim pass metadata prediction in video sequences using neural networks |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130155330A1 (en) * | 2011-12-19 | 2013-06-20 | Dolby Laboratories Licensing Corporation | Color Grading Apparatus and Methods |
CN105009580A (zh) * | 2013-02-21 | 2015-10-28 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
CN105379260A (zh) * | 2013-07-16 | 2016-03-02 | 皇家飞利浦有限公司 | 创建用于针对hdr图像的通用代码映射的eotf函数的方法和装置以及使用这些图像的方法和过程 |
CN105393525A (zh) * | 2013-07-18 | 2016-03-09 | 皇家飞利浦有限公司 | 创建用于对hdr图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置 |
CN105744114A (zh) * | 2011-03-15 | 2016-07-06 | 杜比实验室特许公司 | 用于图像数据变换的方法和装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7058234B2 (en) * | 2002-10-25 | 2006-06-06 | Eastman Kodak Company | Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions |
US7298373B2 (en) | 2003-06-11 | 2007-11-20 | Agfa Healthcare | Method and user interface for modifying at least one of contrast and density of pixels of a processed image |
JP3949684B2 (ja) * | 2004-04-30 | 2007-07-25 | 三菱電機株式会社 | 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ |
US7508550B2 (en) * | 2004-06-17 | 2009-03-24 | Fujifilm Corporation | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program |
JP4277773B2 (ja) * | 2004-09-21 | 2009-06-10 | 株式会社日立製作所 | 映像表示装置 |
JP4372747B2 (ja) * | 2005-01-25 | 2009-11-25 | シャープ株式会社 | 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体 |
KR100707270B1 (ko) * | 2005-08-17 | 2007-04-16 | 삼성전자주식회사 | Rgb값을 이용한 영상 콘트라스트 개선 방법 및 장치 |
JP5299867B2 (ja) * | 2009-06-30 | 2013-09-25 | 日立コンシューマエレクトロニクス株式会社 | 画像信号処理装置 |
JP2011228807A (ja) * | 2010-04-15 | 2011-11-10 | Nikon Corp | 画像処理プログラム、画像処理装置、および画像処理方法 |
US9036042B2 (en) * | 2011-04-15 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
TWI521973B (zh) * | 2011-04-15 | 2016-02-11 | 杜比實驗室特許公司 | 高動態範圍影像的編碼、解碼及表示 |
WO2013002146A1 (ja) * | 2011-06-27 | 2013-01-03 | シャープ株式会社 | 液晶表示装置 |
CN105787909B (zh) * | 2012-08-08 | 2018-07-20 | 杜比实验室特许公司 | 用于高动态范围图像的图像处理 |
EP2959672B1 (en) * | 2013-02-21 | 2019-12-04 | Koninklijke Philips N.V. | Improved hdr image encoding and decoding methods and devices |
JP6543442B2 (ja) * | 2014-07-30 | 2019-07-10 | ルネサスエレクトロニクス株式会社 | 画像処理装置および画像処理方法 |
DK3231174T3 (da) * | 2014-12-11 | 2020-10-26 | Koninklijke Philips Nv | Optimering af billeder med højt dynamikområde til bestemte displays |
CN107111980B (zh) * | 2014-12-11 | 2021-03-09 | 皇家飞利浦有限公司 | 针对特定显示器优化高动态范围图像 |
KR102317035B1 (ko) * | 2014-12-19 | 2021-10-25 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
WO2016192937A1 (en) * | 2015-05-29 | 2016-12-08 | Thomson Licensing | Methods, apparatus, and systems for hdr tone mapping operator |
MX2018000575A (es) * | 2015-07-16 | 2018-08-21 | Thomson Licensing | Metodo y dispositivo para asignar tono a una imagen usando una funcion de ajuste de tono parametrica. |
EP3131284A1 (en) * | 2015-08-13 | 2017-02-15 | Thomson Licensing | Methods, systems and aparatus for hdr to hdr inverse tone mapping |
CN108521859B (zh) * | 2015-11-24 | 2020-09-22 | 皇家飞利浦有限公司 | 用于处理多个hdr图像源的装置和方法 |
JP2017098845A (ja) * | 2015-11-26 | 2017-06-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
ES2808177T3 (es) * | 2015-12-21 | 2021-02-25 | Koninklijke Philips Nv | Optimización de imágenes de alto rango dinámico para pantallas particulares |
EP3220349A1 (en) * | 2016-03-16 | 2017-09-20 | Thomson Licensing | Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping |
CN106023916B (zh) * | 2016-06-08 | 2018-08-31 | 深圳市华星光电技术有限公司 | 伽马修正系统和方法 |
US10242435B2 (en) * | 2016-09-07 | 2019-03-26 | Gvbb Holdings S.A.R.L. | High dynamic range processing |
-
2018
- 2018-02-12 PL PL18706171T patent/PL3559901T3/pl unknown
- 2018-02-12 KR KR1020197023862A patent/KR102122165B1/ko active IP Right Grant
- 2018-02-12 EP EP18706171.8A patent/EP3559901B1/en active Active
- 2018-02-12 RU RU2019124451A patent/RU2713869C1/ru active
- 2018-02-12 BR BR112019016825A patent/BR112019016825A2/pt unknown
- 2018-02-12 JP JP2019543902A patent/JP6738972B2/ja active Active
- 2018-02-12 ES ES18706171T patent/ES2817852T3/es active Active
- 2018-02-12 CN CN201880011955.3A patent/CN110337667B/zh active Active
- 2018-02-12 DK DK18706171.8T patent/DK3559901T3/da active
- 2018-02-12 HU HUE18706171A patent/HUE050807T2/hu unknown
- 2018-02-12 US US16/486,392 patent/US10600166B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105744114A (zh) * | 2011-03-15 | 2016-07-06 | 杜比实验室特许公司 | 用于图像数据变换的方法和装置 |
US20130155330A1 (en) * | 2011-12-19 | 2013-06-20 | Dolby Laboratories Licensing Corporation | Color Grading Apparatus and Methods |
CN105009580A (zh) * | 2013-02-21 | 2015-10-28 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
CN105379260A (zh) * | 2013-07-16 | 2016-03-02 | 皇家飞利浦有限公司 | 创建用于针对hdr图像的通用代码映射的eotf函数的方法和装置以及使用这些图像的方法和过程 |
CN105393525A (zh) * | 2013-07-18 | 2016-03-09 | 皇家飞利浦有限公司 | 创建用于对hdr图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
KR102122165B1 (ko) | 2020-06-11 |
ES2817852T3 (es) | 2021-04-08 |
PL3559901T3 (pl) | 2020-11-16 |
EP3559901B1 (en) | 2020-08-05 |
DK3559901T3 (da) | 2020-08-31 |
US20200005441A1 (en) | 2020-01-02 |
US10600166B2 (en) | 2020-03-24 |
HUE050807T2 (hu) | 2021-01-28 |
RU2713869C1 (ru) | 2020-02-07 |
BR112019016825A2 (pt) | 2020-04-07 |
JP6738972B2 (ja) | 2020-08-12 |
KR20190100416A (ko) | 2019-08-28 |
CN110337667B (zh) | 2023-09-08 |
JP2020510913A (ja) | 2020-04-09 |
EP3559901A1 (en) | 2019-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110337667A (zh) | 高动态范围图像的色调曲线映射 | |
TWI671710B (zh) | 用於高動態範圍影像之色調曲線映射 | |
US10992898B2 (en) | Display method and display device | |
US9613407B2 (en) | Display management for high dynamic range video | |
RU2640750C2 (ru) | Устройство и способ для преобразования динамического диапазона изображений | |
CN110192223B (zh) | 高动态范围图像的显示映射 | |
JP6663214B2 (ja) | 表示方法および表示装置 | |
CN111095931B (zh) | 色调曲线优化方法以及相关联的视频编码器和视频解码器 | |
CN110050292B (zh) | 用于调整高动态范围图像的视频处理曲线的系统和方法 | |
CN112703529B (zh) | 功率限制显示器上高动态范围图像的显示映射 | |
WO2022203826A1 (en) | Luminance adjustment based on viewer adaptation state |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40016462 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |