CN110192223A - 高动态范围图像的显示映射 - Google Patents
高动态范围图像的显示映射 Download PDFInfo
- Publication number
- CN110192223A CN110192223A CN201880006178.3A CN201880006178A CN110192223A CN 110192223 A CN110192223 A CN 110192223A CN 201880006178 A CN201880006178 A CN 201880006178A CN 110192223 A CN110192223 A CN 110192223A
- Authority
- CN
- China
- Prior art keywords
- dynamic range
- level
- mapping
- range
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 49
- 230000009466 transformation Effects 0.000 claims description 11
- 238000012886 linear function Methods 0.000 claims description 3
- 241000251468 Actinopterygii Species 0.000 abstract 1
- 238000001816 cooling Methods 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013501 data transformation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
- G09G3/3413—Details of control of colour illumination sources
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2003—Display of colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
提出了用于将图像从一个动态范围映射到另一个动态范围的方法。所述映射基于由三个锚定点确定的类似S型的函数。第一锚定点是使用参考显示器和目标显示器的黑点水平来确定的,第二锚定点是使用所述参考显示器和所述目标显示器的白点水平来确定的,并且第三锚定点是使用输入图像的中间色调信息数据和所述目标显示器的中间色调水平来确定的。基于期望的恒定明亮度范围和映射函数自适应地计算所述目标显示器的中间色调水平。所述映射函数映射可以是分段线性的(在对数域中)、分段连续的、或者是S型的。提出了用于将高动态范围图像映射到标准动态范围显示器的示例。
Description
相关申请的交叉引用
本申请要求于2017年1月24日提交的美国临时专利申请序列号62/449,832、于2017年1月18日提交的美国临时专利申请序列号62/447,541和2017年1月10日提交的美国临时专利申请序列号62/444,747的优先权权益,所有这些美国临时专利申请都通过引用以其全文并入本文。
技术领域
本发明总体上涉及图像。更具体地,本发明的实施例涉及高动态范围(HDR)的图像和从第一动态范围到第二动态范围的视频信号的显示映射。
背景技术
如本文所使用的,术语“动态范围(dynamic range,DR)”可以涉及人类视觉系统(Human visual system,HVS)感知图像中的强度(例如亮度(luminance)、明度(luma))范围的能力,该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说,DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似呈现特定宽度的强度范围的能力。从这个意义上说,DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点处明确指定特定的意义具有特定的意思,否则应该推断为所述术语可以在任一意义上例如可互换地使用。
如本文所使用的,术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR宽度。在实践中,相对于HDR,人类可以同时感知强度范围广泛宽度的DR可能会被稍微截短。如本文所使用的,术语“增强动态范围(enhanced dynamic range,EDR)或视觉动态范围(visual dynamic range,VDR)”可以单个地或可互换地与DR相关,所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知,允许场景或图像上的一些光适应变化。
实际上,图像包括一个或多个颜色分量(例如,明度Y以及色度Cb和Cr),其中每个颜色分量由每像素n位的精度表示(例如,n=8)。使用线性亮度编码,其中n≤8的图像(例如,彩色24位JPEG图像)被视为标准动态范围的图像,而其中n>8的图像可被视为增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如,16位)浮点格式来存储和分布,诸如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式。
如本文所使用的,术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器呈现解码图像的任何辅助信息。这样的元数据可以包括但不限于如本文所描述的那些颜色空间或色域信息、参考显示器参数和辅助信号参数。
大多数消费类桌面显示器目前支持200到300cd/m2或尼特的亮度。大多数消费类HDTV的范围从300到500尼特,其中新型号达到1000尼特(cd/m2)。这样的传统显示器因此代表了与HDR或EDR相关的较低动态范围(LDR),也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如,相机)和HDR显示器(例如,杜比实验室的PRM-4200专业参考监视器)二者的进步而增加,HDR内容可以被颜色分级并被显示在支持更高动态范围(例如,从1,000尼特到5,000尼特或更高)的HDR显示器上。总体上,本公开的方法涉及但不限于高于SDR的任何动态范围。
高动态范围(HDR)内容创作现在正变得普遍,因为这种技术提供了比早期格式更逼真和栩栩如生的图像。然而,包括数亿个消费者电视显示器在内的许多显示系统不能再现HDR图像。用于服务整个市场的一种方法是创建两个版本的新视频内容——一个使用HDR图像,并且另一个使用SDR(标准动态范围)图像。然而,这要求内容作者以多种格式创建他们的视频内容,并且可能要求消费者知道针对他们的特定显示器购买哪种格式。一种可能更好的方法可以是创建一个版本的内容(HDR),并使用图像数据变换系统(例如,作为机顶盒功能的一部分)将HDR内容自动下变换(down-convert)为SDR以便实现与传统显示器的兼容性。为了改进现有显示方案,如在此由本发明人理解的,开发了用于将HDR图像映射到SDR图像的改进技术。
在这一部分中描述的方法是可以采用的方法,但不一定是之前已经设想到或采用的方法。因此,除非另有指明,否则不应认为这一部分中所述的任何方法仅凭其纳入这一部分就可称为现有技术。类似地,除非另有指明,否则关于一种或多种方法所识别的问题不应认为已基于这一部分在任何现有技术中被公认。
附图说明
在附图中以举例而非限制的方式来展示本发明的实施例,并且其中相同的附图标记指代相同的元件,并且在附图中:
图1描绘了视频递送流水线的示例过程;
图2描绘了用于使用三个锚定点将图像从第一动态范围映射到第二动态范围的示例映射函数;
图3描绘了根据本发明的实施例的确定图2中的映射函数的中间色调锚定点的示例;并且
图4描绘了根据本发明的实施例的用于确定用于图像变换的中间色调锚定点的示例过程。
具体实施方式
本文描述了用于将高动态范围(HDR)图像映射到SDR图像的方法。在以下说明中,出于解释的目的,阐述了许多具体细节以便提供对本发明的透彻理解。然而,明显的是,可以在没有这些具体细节的情况下实施本发明。在其他情形中,为了避免不必要的遮蔽、模糊或混淆本发明,没有详尽地描述众所周知的结构和设备。
概述
本文描述的示例实施例涉及用于将来自一个动态范围(例如,HDR)的图像映射到第二动态范围(例如,SDR)的图像的方法。在一个实施例中,在视频解码器中,处理器接收包括第一动态范围中的黑点水平(x1)、中间色调水平(x2)和白点水平(x3)的第一信息数据、以及包括第二动态范围中的黑点水平(y1)和白点水平(y3)的第二信息数据。处理器基于第二信息数据和期望的恒定明亮度范围来确定第二动态范围中的中间色调水平的第一边界值和第二边界值。然后,其基于第一信息数据和第二信息数据、第一边界值和第二边界值、以及映射函数来确定第二动态范围中的中间色调水平。处理器确定用于将第一动态范围中的输入图像的像素值映射到第二动态范围中的输出图像的相应像素值的传递函数,其中,传递函数包括三个锚定点,其中,第一锚定点是使用第一动态范围和第二动态范围中的黑点水平(black point level)来确定的,第二锚定点是使用第一动态范围和第二动态范围中的白点水平(white point level)来确定的,并且第三锚定点是使用第一动态范围和第二动态范围的中间色调水平(mid-tones level)来确定的。最后,处理器使用所确定的传递函数将输入图像映射到输出图像。
在一个实施例中,映射函数基于分段线性(在对数域中)函数。在另一实施例中,映射函数基于分段连续非线性函数映射。在另一实施例中,映射函数基于S型函数。
提供了使用样条函数(spline function)和S型函数(sigmoid function)计算第二动态范围中的中间色调水平来将HDR图像映射到SDR显示器中的示例。
动态范围转换
HDR信号的视频编码
图1描绘了传统视频递送流水线(100)的示例过程,其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如,由数码相机)数字地捕获或者由计算机(例如,使用计算机动画)生成以提供视频数据(107)。可替代地,视频帧(102)可以由胶片摄像机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110),对视频数据(107)进行编辑以提供视频制作流(112)。
制作流的视频数据(112)然后在块(115)处被提供给处理器以进行后期制作编辑。块(115)后期制作编辑可以包括调整或修改图像的特定区域中的颜色或明亮度,以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在块(115)处执行其他编辑(例如,场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本(117)。在后期制作编辑(115)期间,在参考显示器(125)上观看视频图像。
在后期制作(115)之后,可以将最终作品(117)的视频数据递送到编码块(120),以便向下游递送到诸如电视机、机顶盒、电影院等解码和重放设备。在一些实施例中,编码块(120)可以包括诸如由ATSC、DVB、DVD、蓝光和其他递送格式定义的那些音频编码器和视频编码器,以生成编码比特流(122)。在接收器中,编码比特流(122)由解码单元(130)解码,以生成表示信号(117)的完全相同或接近近似版本的经解码信号(132)。接收器可以附接到目标显示器(140),所述目标显示器可以具有与参考显示器(125)完全不同的特性。在这种情况下,显示管理块(135)可以用于通过生成显示器映射信号(137)来将经解码信号(132)的动态范围映射到目标显示器(140)的特性。
使用S型映射的图像变换
在A.Ballestad和A.Kostin的美国专利8,593,480“Method and apparatus forimage data transformation(用于图像数据变换的方法和装置)”(在此称为‘480专利)中,发明人提出了使用可以使用三个锚定点和中间色调自由参数唯一确定的参数化S型函数进行的图像变换映射,所述美国专利通过引用以其全文并入本文。图2中描绘了这种函数的示例。
如图2中所描绘的,映射函数(220)由三个锚定点(205,210,215)定义:黑点(x1,y1)、中间色调点(x2,y2)和白点(x3,y3)。这种变换具有以下属性:
·从x1到x3的值表示描述构成输入图像的像素的可能值的范围。这些值可以是特定原色(R,G或B)的明亮度水平,或者可以是像素的整体亮度水平(比如YCbCr表示中的Y分量)。通常,这些值对应于由用于创建内容的显示器所支持的最暗(黑点)水平和最亮(白点)水平(“主显示器(mastering display)”(125)的限制);然而,在一些实施例中,当参考显示器的特性未知时,这些值可以表示输入图像中的最小值和最大值(例如,在R,G或B中,亮度等),其可以通过图像元数据接收或在接收器中计算。
·从y1到y3的值表示描述构成输出图像的像素的可能值的范围(再次,原色明亮度或整体亮度水平)。通常,这些值对应于预期输出显示器所支持的最暗(黑点)水平和最亮(白点)水平(“目标显示器”(140)的限制)。
·具有值x1的任何输入像素被约束为映射到具有值y1的输出像素,并且具有值x3的任何输入像素被约束为映射到具有值y3的输出像素。
·x2和y2的值表示从输入到输出的特定映射,其用作图像的某个“中间范围”(平均或中间色调水平)元素的锚定点。例如,该中间范围可以表示算术均值或平均值、几何均值或某个其他感兴趣的值(例如,皮肤色调)。在x2和y2的特定选择中允许相当大的自由度,并且‘480专利教导了可以如何选择这些参数的许多替代方案。
一旦已经选择了这三个锚定点,传递函数(220)就可以被描述为
其中,C1、C2和C3是常数,x表示颜色通道或亮度的输入值,y表示相应的输出值,并且n是可以用于调整中间色调对比度的自由参数,并且在不失一般性的情况下,在本文中其将被认为设置为一(n=1)。
如‘480专利中所描述的,C1、C2和C3的值可以通过求解下式来确定
在实施例中,虽然可以基于参考显示器的特性来设置x1和x3,但是可以基于表示图像数据亮度的几何均值的值来设置x2。由于这种计算对于大图像而言可能是复杂的,因此在实施例中,这种信号相关的值可以由编码器预先计算并作为元数据(例如,作为mid(中间)值)传递给下游解码器。
自动下变换不是一项简单的任务。HDR图像能够在各种图像类型中显示大量细节,这些图像类型包括:
·以暗为主的图像,其中,重要细节处于阴影中(例如,夜间室外场景)
·以明亮为主的图像,其中,重要细节处于高光中(例如,明亮天空中的云图像)
·具有一些非常明亮的高光和一些非常暗的斑点的“普通”图像(例如,汽车图像,其中,太阳在几个点上闪闪发光,并且还有一些非常暗的阴影区域)
对于这三种示例图像中的每一种,自动下变换器的行为需要略有不同:
·对于夜间室外场景的图像,应当尽可能地保持亮度范围的较暗端。如果有必要,则应当将其向上移位以满足输出显示器的最小明亮度。在这种情况下,如果图像中存在任何明亮的像素,则可以将亮度范围的明亮端大力压缩为很少。
·对于明亮天空中的云图像,应当尽可能地保持亮度范围的较明亮端。如果有必要,则应当将其向下移位以满足输出显示器的最大明亮度。在这种情况下,如果图像中存在任何暗像素,则可以将亮度范围的暗端大力压缩为很少。
·对于具有一些非常明亮的高光和一些非常暗的斑点的汽车图像,应当尽可能地保持亮度范围的中间部分。如果可能的话,图像主要部分的明亮度实际上应该保持不变。对于非常明亮和非常暗的斑点,可以大力对其进行压缩——即,使闪光变暗并使阴影变亮。
在通过图2描述的图像数据变换映射的上下文中,相关问题是如何最佳地选择中间锚定点的值x2和y2:
·对于暗场景,x2和y2应被选择成确保在明亮度标度的低端具有良好的对比度再现
·对于明亮的场景,x2和y2应被选择成确保在明亮度标度的高端具有良好的对比度再现
·对于普通场景,x2和y2应被选择成确保在明亮度标度的中间具有良好的对比度再现
为了实现这些目的,好的开始方式是将x2的值设置成等于整个图像的中间范围或平均明亮度。这确保了接近平均整体明亮度的那些像素将保持良好的相对对比度,代价是远离平均值(更亮或更暗)的一些像素在很大程度上被压缩。更难的问题是如何选择y2的值。
图像变换中的中间色调控制
在SMPTE标准2094-10的附录B中,“Dynamic Metadata for Color VolumeTransform-Application#1(用于颜色体积变换的动态元数据——应用#1)”,SMPTE,2016,所述附录通过引用并入本文,提出使用以下等式计算y2:
然而,这种映射可能会产生远远不够理想的结果。首先,这种映射几乎总是改变输出图像相对于输入图像的平均明亮度。保持平均明亮度的唯一方式是y2与x2相同,但只有平均明亮度x2恰好与相同的那些图像才会发生这种情况。
在图像随时间变得更亮(或更暗)的情况下,这种映射的另一个缺陷变得明显。随着输入图像明亮度的增加,输出图像明亮度也会增加,但速率只有输入的一半。这是因为明亮度是在对数标度上理解的,并且因此,即使输出图像确实恰好具有与输入图像相同的平均明亮度,输入图像的明亮度作为时间的函数的任何变化也会导致输出图像失去这种等效性。
等式(3)的映射还存在几个其他问题,包括以下:
·足够高的x2值可能导致计算出的y2大于y3。在SMPTE 2094-10附录B中预计会出现此问题,其中,它建议上限可以强制为等于0.8*y3。这是一种极端的非线性,虽然只能在相当不寻常的情况下发生,但如果发生这种情况,则会导致不满意的结果。
·对于目标显示器和主显示器两者具有相同明亮度能力(即,x1=y1并且x3=y3)的情况,等式(3)的映射是不可用的。在这种情况下,可以预期输出图像应该与输入图像相同,但这通常不可能通过等式(3)定义的映射来进行——这种情况只有当x2恰好等于才会发生。
本发明描述了一种计算y2的改进方法,其避免了以上讨论的大多数问题。首先,认识到计算y2的理想方式是简单地将其设置为等于x2。这将确保输出图像的平均明亮度尽可能接近输入图像的平均明亮度,此外,当输入平均明亮度变化时,输出平均明亮度将以相等的度量变化;然而,这种简单的映射通常是不可能的。
通常,目标显示器的能力相对于主显示器而言是受限的,使得y1>x1或y3<x3或两者。因此,y2=x2的简单映射在该范围的低端或高端或这两种情况下都是不可能的。
在实施例中,良好的折衷是在尽可能多的明亮度范围(尤其是范围的中间)上使用映射y2=x2,并且对范围的末端处的那些值使用次最佳的映射。在本发明中,提出了两种替代选项来实现这一目的:a)分段线性映射、以及b)连续函数映射。
分段线性映射
在这种选项中,将Y值的范围划分为三个部分:高、中和低。这些部分的边界可以以多种方式设置,但是对于本发明,可以假设它们是静态设置的,例如但不限于,低部分可以覆盖Y值范围的大约底部20%,高部分覆盖大约顶部20%,并且中间部分覆盖剩余的60%。这些边界值可以如下计算:
b1=exp[ln(y1)+0.2(ln(y3)-ln(y1))],
b2=exp[ln(y1)+0.8(ln(y3)-ln(y1))]。
(4a)
可替代地,可以使用对数属性将等式(4a)简化为
其中,t1和t2是就最大亮度Y而言处于(0,1)内的期望百分比阈值(例如,t1=0.2且t2=0.8,或者t1=0.1且t2=0.3,等等)。
然后,使用分段线性曲线(尽管在对数域中为线性)来构建从x2到y2的映射,这可以使用以下一组三个选项来实施:
如果(x2<b1),则
如果(b1≤x2≤b2),则
y2=x2,
(5b)
如果(b2<x2),则
可替代地,使用对数属性,可以将(5a)和(5c)重写为
如果(x2<b1),则
如果(b1≤x2≤b2),则
y2=x2,
如果(b2<x2),则
其中,
此映射实现了几个有用的结果:
·在目标显示器的大部分范围内(即,中间60%),输出图像明亮度将跟踪输入图像明亮度
·如果目标显示器在范围的一端或另一端(或两者)恰好与主显示器相匹配,则此映射将在一端或另一端(或两者)缩减为简单的直线。换言之,如果x1=y1或x3=y3,则这个映射将是正确的。如果x1=y1且x3=y3,则此映射将计算在所有情况下与输入图像完全相同的输出图像。
·此映射将确保以合理的方式处理以明亮为主或以暗为主的图像。特别地,由于保证最低段和最高段的斜率为正,因此输入图像中的至少一些对比度将保留在输出图像中。
在最后一点上更深入一点,取决于x1、y1、x3和y3的实际值,为b1和/或b2选择导致20%/80%静态方法的更陡斜率的值可能是有用的。以这种方式,人们可以将在极端情况下保留的对比度与保持恒定明亮度的范围进行权衡。因此,在分段线性函数的情况下,本发明的另一方面在于以下想法:边界点的选择可以取决于期望的权衡。
连续函数映射
此选项与分段线性映射非常相似,但有一个显著差异。即,不是在所有三个部分中使用简单的线性段,而是在上部和下部中使用弯曲的函数(在中间部分仍然使用y2=x2的线性段)。如果我们将下部函数称为f(x),并且上部函数称为g(x),则整个映射可以定义如下:
如果(x2<b1),则
y2=f(x2), (6a)如果(b1≤x2≤b2),则
y2=x2, (6b)
如果(b2<x2),则
y2=g(x2). (6c)
在此选项中可以使用许多类型的弯曲的函数。一个选项是3阶样条函数。但其他类型也是可能的。无论使用何种函数类型,它都应符合以下特性:
·f(b1)=b1且g(b2)=b2,以确保映射是连续连接的
·f′(b1)=1且g′(b2)=1,以确保这些函数的一阶导数与线性段对齐,以获得平滑的整体结果
·f(x1)=y1且g(x3)=y3,以满足边缘处的映射要求
·f′(x1)>0且g′(x3)>0,以确保在明亮度范围的边缘保留一定量的对比度。
如果使用3阶样条函数,则将边缘的一阶导数(斜率)设置为如0.3的值可以是有用的。较高的值可能导致函数中的太多波动,这可能对具有变化明亮度水平的图像序列造成问题。将边界设置得更靠近在一起一点也可以是有用的,例如范围的30%和70%,因为弯曲函数的匹配斜率将倾向于使有效线性范围扩展超过这些边界。
这种映射选项实现(或几乎实现)了与分段线性映射相同的有用结果:
·在目标显示器的大部分范围内,输出图像明亮度将跟踪输入图像明亮度。
·如果目标显示器在范围的一端或另一端(或两者)恰好与主显示器相匹配,则此映射将缩减为非常接近于简单直线的曲线,并且如果边缘处的斜率被设置为1.0,则此映射可能实际上为直线。
·此映射将确保以合理的方式处理以明亮为主或以暗为主的图像(只要边缘处的斜率被设置为大于零的值,并且只要所产生的曲线不会有太多波动即可)
此外,这种映射选项实现了在其范围内没有任何“尖锐边缘”的额外好处。在分段线性映射中在边界点b1和b2处创建的边缘可能在图像序列以均匀速率变得更亮或更暗(淡入或淡出)的情况下导致明显的伪像,如输出图像的变化率在上部和下部可能会比在中间部分突然变慢。
图3比较了如SMPTE 2094-10附录B所描述的y2作为x2的函数的映射(305)与本发明所教导的这两个映射:分段线性映射(310)和连续函数映射(315)。在图3中,假设主显示器的范围从0.001尼特到10,000尼特,并且目标显示器的范围从0.01尼特到100尼特。在这种情况下,分段线性映射使用输出范围的20%和80%处的边界,并且连续函数映射使用3阶样条函数,其中,边界在输出范围的30%和70%处,并且边缘处的斜率为0.3。
图4描绘了根据实施例的用于确定图2中的中间色调锚定点的坐标的示例过程的示例。如前所述,在步骤(405)中,接收器可以访问(例如,通过元数据或其他手段)参考显示器的最小明亮度和最大明亮度或输入数据(例如,值x1和x3),并且访问目标显示器的最小明亮度和最大明亮度(例如,值y1和y3)、以及输入数据或参考显示器的中间色调值(例如,x2)。
在给定了期望的对比度明亮度范围(例如,高于最小明亮度的20%且低于最大明亮度的20%)、以及y1和y3值的情况下,在步骤(410)中,接收器可以计算边界点b1和b2(例如,参见等式(4))。然后,在步骤(415)中,接收器针对树范围(y1,b1)、和(b2,y3)检查x2的值,并根据对数域中的分段线性映射(参见等式(5))、或连续函数映射(参见等式(6))来计算y2的相应值。
在一些实施例中,可能无法知道参考显示器或主显示器(125)的特性。然后,可能需要基于输入图像信号的最小亮度和最大亮度来确定x1和x3的值。例如,考虑以下变量:
·S1:输入图像的最小亮度
·S2:输入图像的平均亮度
·S3:输入图像中的峰值亮度
·T1:目标显示器的最小亮度(黑点)
·T3:目标显示器的峰值亮度(白点)
·M1:主显示器的最小亮度
·M3:主显示器的峰值亮度
其中,亮度值是在线性化信号(例如,非伽马或PQ编码的)上以尼特为单位计算的。然后,作为示例,可以将x1、x2、x3、y1和y3的值计算如下:
如果M3已知,则x3=max(M3,S3)
否则x3=S3
如果M1已知,则x1=min(M1,S1)
否则x1=S1
y1和y3的值是基于目标显示器计算的,但是对于HDR到SDR的转换,可以调整这些值以确保它们始终表示不大于输入范围(x1,x3)的范围。例如,
y1=max(T1,x1)
y3=min(T3,x3)
x2的值=S2,并且根据图4中描绘的过程计算y2的值。
在另一实施例中,代替样条函数,可以使用与等式(1)中定义的相同的S型来确定x2和y2的坐标。考虑函数
其中,再次基于使用等式(2)通过用minx、midx和maxx替换x1、x2、x3并用miny、midy和maxy替换y1、y2、y3得到的三个锚定点(minx,miny)、(midx,midy)和(maxx,maxy)而得到C1、C2和C3。
考虑接收器访问(例如,通过元数据)参考显示器的(x1,x3)值(例如,参考显示器的最小亮度和最大亮度)、mid值(比如输入数据的平均值)、以及(y1,y3)值(例如,目标显示器的最小亮度和最大亮度)。在实施例中,假设但不限于(0.0001,10,000)尼特的最大动态范围,可以如以伪码示出的那样来计算中间色调锚定点(210)的(x2,y2)值,如下:
//初始化
x1=max(0.0001,min(x1,y1));
x3=min(10,000,max(x3,y3));
//约束中间色调(x2,y2)锚定点的范围,使其不太靠近下部或上部锚定点(例如,在15%和85%的范围内)
x2max=(x3/x1)^0.85*x1;
x2min=(x3/x1)^0.15*x1;
y2max=(y3/y1)^0.85*y1;
y2min=(y3/y1)^0.15*y1;
//求解x2
(minx,miny)=(0.0001,x2min);
(midx,midy)=(sqrt(x2min*x2max),sqrt(x2min*x2max));
(maxx,maxy)=(10,000,x2max)
使用这三个x2锚定点来求解c1、c2和c3;
x2=(c1+c2*mid)/(1+c3*mid);
//求解y2
(minx,miny)=(0.0001,y2min);
(midx,midy)=(sqrt(y2min*y2max),sqrt(y2min*y2max));
(maxx,maxy)=(10,000,y2max)
使用这三个y2锚定点来求解c1、c2和c3;
y2=(c1+c2*x2)/(1+c3*x2);
//应用最终的变换映射
(minx,miny)=(x1,y1);
(midx,midy)=(x2,y2);
(maxx,maxy)=(x3,x3);
使用这三个最终变换锚定点来求解c1、c2和c3;
//针对输入值x来计算相应的输出值y
y=(c1+c2*x)/(1+c3*x);
示例计算机系统实施方式
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(诸如微控制器、现场可编程门阵列(FPGA)、或其他可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))、和/或包括一个或多个这样的系统、设备或部件的装置来实施。计算机和/或IC可以执行、控制或实施与对具有高动态范围的图像的图像变换有关的指令,诸如本文所述的那些。计算机和/或IC可以计算与本文描述的图像变换过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
本发明的某些实施方式包括执行软件指令的计算机处理器,所述软件指令使处理器执行本发明的方法。例如,显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的针对HDR图像的图像变换相关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何非暂态介质,所述一组计算机可读信号包括指令,所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质,诸如包括软盘、硬盘驱动器的磁性数据存储介质,包括CD ROM、DVD的光学数据存储介质,包括ROM、闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如,软件模块、处理器、组件、设备、电路等)的情况下,除非另有说明,否则对此部件的引用(包括对“装置”的引用)都应被解释为包括为此部件的执行所描述部件的功能的任何部件的等效物(例如,功能上等同的),包括在结构上不等同于执行在本发明的所展示示例实施例中的功能的所公开结构的部件。
等效物、扩展、替代品及其他
如此描述了涉及HDR视频到SDR视频的高效图像变换的示例实施例。在前述说明书中,已经参考许多具体细节描述了本发明的实施例,这些细节可以根据实施方式而变化。因此,作为本发明的、并且申请人意图作为本发明的唯一且独有的指示是从本申请中以这套权利要求发布的具体形式发布的权利要求,包括任何后续修改。本文中明确阐述的针对这样的权利要求中包含的术语的任何定义应当支配着权利要求中使用的这样的术语的含义。因此,权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这样的权利要求的范围。因此,说明书和附图应被视为说明性的而非具有限制性意义。
Claims (15)
1.一种用于使用处理器将图像从第一动态范围映射到第二动态范围的方法,所述方法包括:
访问包括所述第一动态范围中的黑点水平(x1)、中间色调水平(x2)和白点水平(x3)的第一信息数据;
访问包括所述第二动态范围中的黑点水平(y1)和白点水平(y3)的第二信息数据;
基于所述第二信息数据和期望的恒定明亮度范围来确定所述第二动态范围中的中间色调水平的第一边界值和第二边界值;
基于所述第一信息数据和所述第二信息数据、所述第一边界值和所述第二边界值、以及映射函数来确定所述第二动态范围中的中间色调水平;
确定用于将所述第一动态范围中的输入图像的像素值映射到所述第二动态范围中的输出图像的相应像素值的传递函数,其中,所述传递函数包括三个锚定点,其中,第一锚定点是使用所述第一动态范围和所述第二动态范围中的黑点水平来确定的,第二锚定点是使用所述第一动态范围和所述第二动态范围中的白点水平来确定的,并且第三锚定点是使用所述第一动态范围和所述第二动态范围的中间色调水平来确定的;以及
使用所确定的传递函数将所述输入图像映射到所述输出图像。
2.如权利要求1所述的方法,其中,所述第一动态范围包括高动态范围,并且所述第二动态范围包括标准动态范围。
3.如权利要求1所述的方法,其中,基于参考显示器的黑点水平和/或输入信号的黑点水平来生成所述第一动态范围中的黑点水平,基于参考显示器的白点水平和/或所述输入信号的白点水平来生成所述第一动态范围中的白点水平,并且基于所述输入信号的中间色调水平来生成所述第一动态范围中的中间色调水平。
4.如权利要求1所述的方法,其中,基于目标显示器的黑点水平来生成所述第二动态范围中的黑点水平,并且基于所述目标显示器的白点水平来生成所述第二动态范围中的白点水平。
5.如权利要求1所述的方法,其中,所述第一边界值表示所述第二动态范围中的黑点水平与白点水平之间的范围的15%至30%之间的值。
6.如权利要求1所述的方法,其中,所述第二边界值表示在所述第二动态范围中的黑点水平与白点水平之间的范围的70%至85%之间的值。
7.如权利要求1所述的方法,其中,确定所述第二动态范围中的中间色调水平包括计算:
如果(x2<b1),则
y2=f(x2),
如果(b1≤x2≤b2),则
y2=x2,
如果(b2<x2),则
y2=g(x2),
其中,b1和b2表示所述第一边界值和所述第二边界值,y1和y3表示所述第二动态范围中的黑点水平和白点水平,x2表示所述第一动态范围中的中间色调水平,并且f()和g()表示映射函数。
8.如权利要求7所述的方法,其中,所述f()和g()映射函数包括样条函数。
9.如权利要求7所述的方法,其中,所述f()和g()映射函数包括对数空间线性函数。
10.如权利要求9所述的方法,其中,
11.如权利要求1所述的方法,其中,所述传递函数包括根据下式进行的变换:
其中,x表示输入像素值,y表示输出像素值,并且C1、C2和C3是使用所述三个锚定点确定的参数。
12.如权利要求1所述的方法,其中,用于计算所述第二动态范围中的中间色调水平y2的映射函数包括
其中,C1、C2和C3是使用包括(x1,b1)、(x3,b2)的第二组锚定点确定的参数,其中,b1和b2表示所述第一边界值和所述第二边界值,x1和x3表示所述第一动态范围中的黑点水平和白点水平,并且D表示基于所述第一动态范围中的中间色调水平计算的所述第一动态范围中的第二中间色调水平。
13.如权利要求12所述的方法,其中,计算所述第一动态范围中的所述第二中间色调水平D包括计算
其中,C1、C2和C3是使用包括(x1,d1)、(x3,d2)的第三组锚定点确定的参数,其中,d1和d2表示基于所述第一动态范围中的黑点水平与白点水平之间的范围的第二组第一边界值和第二边界值,x1和x3表示所述第一动态范围中的黑点水平和白点水平,并且x2表示所述输入图像的中间色调水平。
14.一种装置,包括处理器并且被配置用于执行如权利要求1至13中所述的方法中的任一种方法。
15.一种非暂态计算机可读存储介质,具有存储于其上的计算机可执行指令,所述指令用于利用一个或多个处理器来执行根据权利要求1至13中任一项所述的方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762444747P | 2017-01-10 | 2017-01-10 | |
US62/444,747 | 2017-01-10 | ||
US201762447541P | 2017-01-18 | 2017-01-18 | |
US62/447,541 | 2017-01-18 | ||
US201762449832P | 2017-01-24 | 2017-01-24 | |
US62/449,832 | 2017-01-24 | ||
PCT/US2018/012780 WO2018132329A1 (en) | 2017-01-10 | 2018-01-08 | Display mapping for high dynamic range images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110192223A true CN110192223A (zh) | 2019-08-30 |
CN110192223B CN110192223B (zh) | 2020-12-01 |
Family
ID=61074559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880006178.3A Active CN110192223B (zh) | 2017-01-10 | 2018-01-08 | 高动态范围图像的显示映射 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10580367B2 (zh) |
EP (1) | EP3568829B1 (zh) |
CN (1) | CN110192223B (zh) |
WO (1) | WO2018132329A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556954A (zh) * | 2019-12-04 | 2022-05-27 | 谷歌有限责任公司 | 混合动态范围内容的重映射 |
CN115052111A (zh) * | 2021-03-08 | 2022-09-13 | 晶晨半导体(上海)股份有限公司 | 图像处理方法、装置、图像处理设备及存储介质 |
CN115552511A (zh) * | 2020-04-28 | 2022-12-30 | 杜比实验室特许公司 | 用于hdr显示器的图像相关对比度和亮度控制 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109120859B (zh) * | 2017-06-26 | 2022-03-25 | 深圳光峰科技股份有限公司 | 一种影像数据处理装置及拍摄设备、显示系统 |
EP3853809A1 (en) * | 2018-09-17 | 2021-07-28 | Dolby Laboratories Licensing Corporation | Display mapping for high dynamic range images on power-limiting displays |
KR20200032584A (ko) * | 2018-09-18 | 2020-03-26 | 엘지전자 주식회사 | 영상표시장치 |
CN114359083B (zh) * | 2021-12-24 | 2022-11-29 | 北京航空航天大学 | 一种面向干扰环境的高动态热红外图像自适应预处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012166382A3 (en) * | 2011-05-27 | 2013-03-07 | Dolby Laboratories Licensing Corporation | Scalable systems for controlling color management comprising varying levels of metadata |
US20130076974A1 (en) * | 2011-09-26 | 2013-03-28 | Dolby Laboratories Licensing Corporation | Image Formats and Related Methods and Apparatuses |
CN105009580A (zh) * | 2013-02-21 | 2015-10-28 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
EP3051487A1 (en) * | 2015-01-30 | 2016-08-03 | Thomson Licensing | Method and device for mapping a HDR picture to a SDR picture and corresponding SDR to HDR mapping method and device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5012333A (en) * | 1989-01-05 | 1991-04-30 | Eastman Kodak Company | Interactive dynamic range adjustment system for printing digital images |
US7071947B1 (en) * | 2003-07-24 | 2006-07-04 | Nvidia Corporation | Automatic adjustment of floating point output images |
US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
TWI538474B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
US9024961B2 (en) * | 2011-12-19 | 2015-05-05 | Dolby Laboratories Licensing Corporation | Color grading apparatus and methods |
US10880557B2 (en) * | 2015-06-05 | 2020-12-29 | Fastvdo Llc | High dynamic range image/video coding |
-
2018
- 2018-01-08 EP EP18701977.3A patent/EP3568829B1/en active Active
- 2018-01-08 CN CN201880006178.3A patent/CN110192223B/zh active Active
- 2018-01-08 US US16/476,967 patent/US10580367B2/en active Active
- 2018-01-08 WO PCT/US2018/012780 patent/WO2018132329A1/en active Search and Examination
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012166382A3 (en) * | 2011-05-27 | 2013-03-07 | Dolby Laboratories Licensing Corporation | Scalable systems for controlling color management comprising varying levels of metadata |
US20130076974A1 (en) * | 2011-09-26 | 2013-03-28 | Dolby Laboratories Licensing Corporation | Image Formats and Related Methods and Apparatuses |
CN105009580A (zh) * | 2013-02-21 | 2015-10-28 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
EP3051487A1 (en) * | 2015-01-30 | 2016-08-03 | Thomson Licensing | Method and device for mapping a HDR picture to a SDR picture and corresponding SDR to HDR mapping method and device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556954A (zh) * | 2019-12-04 | 2022-05-27 | 谷歌有限责任公司 | 混合动态范围内容的重映射 |
CN114556954B (zh) * | 2019-12-04 | 2024-06-04 | 谷歌有限责任公司 | 混合动态范围内容的重映射 |
US12020411B2 (en) | 2019-12-04 | 2024-06-25 | Google Llc | Remapping for mixed dynamic range content |
CN115552511A (zh) * | 2020-04-28 | 2022-12-30 | 杜比实验室特许公司 | 用于hdr显示器的图像相关对比度和亮度控制 |
CN115052111A (zh) * | 2021-03-08 | 2022-09-13 | 晶晨半导体(上海)股份有限公司 | 图像处理方法、装置、图像处理设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3568829A1 (en) | 2019-11-20 |
US10580367B2 (en) | 2020-03-03 |
EP3568829B1 (en) | 2020-06-24 |
US20190355314A1 (en) | 2019-11-21 |
WO2018132329A1 (en) | 2018-07-19 |
CN110192223B (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3559901B1 (en) | Tone curve mapping for high dynamic range images | |
US12056863B2 (en) | Apparatus and method for dynamic range transforming of images | |
CN110192223B (zh) | 高动态范围图像的显示映射 | |
TWI671710B (zh) | 用於高動態範圍影像之色調曲線映射 | |
CN110050292B (zh) | 用于调整高动态范围图像的视频处理曲线的系统和方法 | |
CN112703529B (zh) | 功率限制显示器上高动态范围图像的显示映射 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |