CN117296076A - 经显示优化的hdr视频对比度适配 - Google Patents
经显示优化的hdr视频对比度适配 Download PDFInfo
- Publication number
- CN117296076A CN117296076A CN202280033652.8A CN202280033652A CN117296076A CN 117296076 A CN117296076 A CN 117296076A CN 202280033652 A CN202280033652 A CN 202280033652A CN 117296076 A CN117296076 A CN 117296076A
- Authority
- CN
- China
- Prior art keywords
- brightness
- image
- value
- maximum brightness
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006978 adaptation Effects 0.000 title claims description 69
- 238000013507 mapping Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000005286 illumination Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 203
- 238000004891 communication Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 abstract description 4
- 235000019557 luminance Nutrition 0.000 description 79
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 11
- 238000004880 explosion Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000005693 optoelectronics Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 101100356682 Caenorhabditis elegans rho-1 gene Proteins 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000011000 absolute method Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Abstract
为了以实用的方式获得针对各种潜在显著不同的查看环境光水平的更好的可观看图像,本发明人提出了一种处理输入图像以获得输出图像的方法,其中,所述输入图像具有输入明亮度落入第一明亮度动态范围(DR_1)内的像素,所述第一明亮度动态范围具有第一最大明亮度(PL_V_HDR),其中,接收参考明亮度映射函数(F_L),所述参考明亮度映射函数为与所述输入图像相关联的元数据,其中,所述参考明亮度映射函数指定第一参考图像的明亮度与第二参考图像的明亮度之间的关系,其中,所述第一参考图像具有第一参考最大明亮度,并且所述第二参考图像具有第二参考最大明亮度(PL_V_SDR),其中,所述输入图像等于所述第一参考图像,其中,所述输出图像既不等于所述第一参考图像也不等于所述第二参考图像;其中,所述输出图像具有低于所述第一最大明亮度的输出最大明亮度(PL_V_MDR);其中,所述处理包括确定基于所述参考明亮度映射函数(F_L)的经适配的明亮度映射函数(FL_DA),并且将所述经适配的明亮度映射函数(FL_DA)应用于所述输入像素明亮度,以获得输出明亮度,其特征在于,所述经适配的明亮度映射函数(FL_DA)是基于经调节的最大明亮度值(PL_V_CO)来计算的,其中,对所述经适配的明亮度映射函数(FL DA)的计算涉及在度量(SM)上找到最大明亮度的位置(pos),所述位置对应于所述经调节的最大明亮度值(PL_V_CO),其中,所述度量的第一端点对应于所述第一最大明亮度(PL_V_HDR),并且所述度量的第二端点对应于所述第二参考图像的第二参考最大明亮度(PL_V_SDR),其中,对于任何归一化输入亮度(Yn CCO),所述度量的所述第一端点并置在对角线上的点上,所述点的水平坐标和竖直坐标等于该归一化输入亮度,其中,所述第二端点与所述参考明亮度映射函数(F_L)的输出值并置;其中,所述经调节的最大明亮度值(PL_V_CO)是通过以下操作确定的:获得环境照明值(Lx sur);通过将参考照明值(GenVwLx)除以所述环境照明值(Lx sur)来获得相对环境光水平(SurMult);获得所述经调节的最大明亮度值(PL_V_CO),所述经调节的最大明亮度值为将所述输出最大明亮度(PL_V_MDR)乘以所述相对环境光水平(SurMult)的结果。
Description
技术领域
本发明涉及用于适配高动态范围视频的图像像素明亮度以产生在特定查看部位环境光量下显示HDR视频的情况的期望外观的方法和装置。
背景技术
几年前,除了其他事物之外,由申请人引入了高动态范围(HDR)视频编码的新颖技术(参见例如WO2017157977)。
视频的编码通常主要或仅涉及制作或更精确地定义颜色代码(例如,每像素一个亮度和两个色度)以表示图像。这与知道如何最佳地显示HDR图像有些不同(例如,最简单的方法仅仅采用高度非线性的光电传递函数OETF来将期望的明亮度转换为例如10比特亮度代码,并且反之亦然,可以通过使用反向整形的光电传递函数EOTF将10比特电亮度代码映射到要显示的光学像素明亮度来将那些视频像素亮度代码转换为要显示的明亮度,但是更复杂的系统可能会在若干方向上从编码图像的特定用途偏离,特别是通过将图像的编码与编码图像的特定用途断开)。
HDR视频的编码和处理与如何使用传统视频技术形成相当大的对比,根据传统视频技术直到最近才对所有视频进行编码,这现在被称为标准动态范围(SDR)视频编码(也称为低动态范围视频编码;LDR)。这种SDR在模拟时代一开始是PAL或NTSC,后来移动到基于Rec.709的编码,例如在数字视频时代中的MPEG2压缩。
尽管在20世纪是一种令人满意的用于传送移动图片的技术,但是超越20世纪CRT的电子束的物理极限或全球TL-背光LCD的显示技术的进步使得可能示出具有比在那些传统显示器上显著更亮(并且潜在地也更暗)的像素的图像,这促使需要能够编码和创建这样的HDR图像。
实际上,从用SDR标准(8比特Rec.709)不可编码的更亮并且也可能更暗的图像对象开始,出于各种原因,首先发明了能够在技术上表示那些增加的明亮度范围颜色的方式,并且由此逐个重新研究了视频技术的所有规则,并且常常必须重新发明。
由于其近似平方根OETF函数形状,Rec.709的SDR的亮度代码定义能够编码(具有8或10比特亮度)仅约1000:1的明亮度动态范围,亮度:Y_code=power(2,N)*sqrt(L_norm),其中,N是亮度信道的比特数,并且L_norm是物理明亮度的0与1之间归一化的版本。
此外,在SDR时代,没有定义要显示的绝对明亮度,因此实际上经由平方根OETF将最大相对明亮度L_norm_max=100%或1映射到对应于例如Y_code_max=255的最大归一化亮度代码Yn=1。与制作绝对HDR图像相比,这具有若干技术差异,即其中被编码为被显示为200尼特的图像像素理想地(即,在可能时)在所有显示器上都被显示为200尼特,而不是显示为完全不同的显示明亮度。在相对范例中,200尼特编码像素明亮度可以在更亮的显示器(即,具有更亮的最大可显示明亮度PL_D(也称为显示器最大明亮度)的显示器)上以300尼特显示,并且例如在更小能力的显示器上以100尼特显示。注意,绝对编码也可以对归一化明亮度表示或归一化3D色域起作用,但是1.0则例如唯一地意味着1000尼特。
在显示器处,通常通过将视频的最亮明亮度映射到最亮的可显示像素明亮度(这在不涉及进一步的明亮度映射的情况下经由通过max.luma Y_code_max电驱动显示面板而自动发生)来稍微启发式地显示这样的相对图像,因此如果你购买了200尼特PL_D显示器,你的白色看起来比在100尼特PL_D显示器上亮2倍,但是考虑到被认为不太重要的像眼睛适应的这样的因子,除了给出相同SDR视频图像的更亮、更好可观看且稍微更美丽的版本。
通常,如果现在(在绝对框架中)谈论SDR视频图像,则它通常具有PL_V=100尼特的视频峰值明亮度(例如,按照标准商定),因此在本申请中,我们认为SDR图像(或SDR分级)的最大明亮度正好是那个值,或在那个值周围一般化。
本申请中的分级旨在意指活动或结果图像,其中,像素已经例如由人类颜色分级器或自动机根据期望给予明亮度。如果查看图像,例如设计图像,则将存在若干图像对象,并且可能理想地想要给那些对象的像素一个分布在平均明亮度周围的明亮度,该平均明亮度对于该对象是最佳的,也给出了图像和场景的总体。例如,如果具有可用的图像能力,使得该图像的最亮可编码像素是1000尼特(图像或视频最大明亮度PL_V),则一个分级器可以选择给予800和1000尼特之间的爆炸明亮度值的像素,以使爆炸看起来相当有力,而另一电影制作者可以选择不比500尼特亮的爆炸,以例如在该时刻不太多地阻止图像的其余部分(并且当然技术应当能够处理两种情况)。
HDR图像或视频的最大明亮度可以显著变化,并且通常作为关于HDR视频或图像的元数据与图像数据共同传送(典型的值可以是例如1000尼特、或4000尼特、或10000尼特,非限制性的;通常可以说当PL_V至少为600尼特时具有HDR图像)。如果视频创建者选择将他的图像定义为PL_V=4000尼特,他当然可以选择创建更亮的爆炸,但是相对地它们将不会达到100%的PL_V水平,而是例如对于场景的这样的高PL_V定义仅达到50%。
HDR显示器可以具有最大能力,即最高可显示像素明亮度(从下端HDR显示器开始),例如600尼特、或1000尼特、或数字N乘以1000尼特。该显示器最大-或峰值-明亮度PL_D是除了视频最大明亮度PL_V之外的其他明亮度,并且这两者不应被混淆。视频创建者通常不能为每个可能的终端用户显示器制作最佳视频(即,其中,终端用户显示器的能力被视频最佳地使用,其中,视频的最大明亮度永远不会超过显示器的最大明亮度(理想地),但是也不会更低,即,在视频图像中的一些中应当至少存在具有像素明亮度L_p=PL_V的一些像素,其对于任何特定显示器的连续优化也将涉及PL_V=PL_D)。
创建者将做出他自己的决定中的一些(例如,他正在捕获什么类型的内容,以及以哪种方式),并且通常制作具有如此高的PL_V的视频,使得他至少可以服务于他今天的预期观众的最高PL_D显示器,并且可能还在将来,当可能已经出现更高PL_D显示器时。
然后出现辅助问题,如何在具有(通常很多)较低显示峰值明亮度PL_D的显示器上最佳地显示具有峰值明亮度PL_V的图像,这被称为显示适配。即使在将来,仍然将存在需要比例如2000尼特PL_V图像更低的动态范围图像的显示器,该图像被创建并且经由通信介质被接收。理论上,显示器总是可以重新分级(即映射)图像像素的明亮度,使得它们通过其自身的内部启发法变得可显示,但是如果视频创建者在确定像素明亮度时非常小心,则他还可以指示他的图像应当如何显示适配到更低PL_D值可能是有益的,并且理想地,显示器在很大程度上遵循这些技术需求。
关于最暗的可显示像素明亮度BL_D,情况更复杂。其中的一些可以是显示器的固定物理性质,例如如LCD盒漏光,但是,即使使用最佳显示(其是观察者最终可以辨别为不同的最暗的黑色),也取决于查看室的照明,这不是明确定义的值。该照明可以被表征为例如以勒克斯为单位的平均照度水平,但是为了视频显示目的,更优雅地被表征为最小像素明亮度。这通常还以比亮或中等明亮度的外观更强的方式涉及人眼,因为如果人眼正在看许多高明度的像素,则更暗的像素并且特别是其绝对明亮度可能变得较不相关。但是可以假设眼睛不是限制因素,例如当观看很暗的场景图像但仍然被显示屏前面的环境光掩蔽时。如果假设人类可以看到2%最小可觉差异,则存在一些最暗的驱动水平(或亮度)b,高于该最暗的驱动水平仍然可以看到下一暗亮度水平(即,比所显示的明亮度高X%,例如,显示多2%的明亮度水平)。
在LDR时代,人们根本不太关心最暗的像素。人们主要关心平均明亮度,大约是最大PL_V=100尼特的1/4。如果图像在该值附近曝光,则场景中的所有东西看起来都非常明亮和彩色,除了场景的明亮部分在100%最大值之上的裁剪。对于场景的最暗部分,在它们足够重要的情况下,在录制工作室或拍摄环境中创建具有足够量的基础照明的捕获图像。如果场景中的一些没有被很好地看到,例如因为它被淹没于代码Y=0中,则这被认为正常。
因此,如果没有进一步指定,则可以假设最黑的黑色为零,或在实践中如0.1或0.01尼特左右。在这种情况下,技术人员更关心HDR图像中的如编码和/或显示的高于平均的更亮像素。
关于编码,HDR和SDR之间的差异不仅是物理差异(要在更大的动态范围能力显示器上显示的更多不同的像素明亮度),而且是涉及不同亮度代码分配功能的技术差异(为此使用OETF;或在绝对方法中是EOTF的逆)并且还潜在地有另外的技术HDR概念,如例如额外动态(每个图像或时间上连续的图像的集合)改变元数据,其指定如何对各种图像对象像素明亮度进行重新分级以获得与起始图像动态范围不同的辅助动态范围的图像(两个明亮度范围通常以不同至少1.5x的峰值明亮度结束)等。
简单的HDR编解码器被引入到市场,HDR10编解码器,其例如用于创建最近出现的黑色首饰盒HDR蓝光。该HDR10视频编解码器使用比平方根更对数形状的函数作为OETF(逆EOTF),即在SMPTE 2084中标准化的所谓的感知量化器(PQ)函数。该PQ OETF允许定义足够用于实际HDR视频制作的更多得多(理想地要显示的)明亮度(即在1/10000尼特和10000尼特之间)的亮度,而不是像Rec.709OETF那样被限制于1000:1。
注意,读者不应简单地将HDR与亮度代码字中的大量比特混淆。这对于如模数转换器的比特量的线性系统可能是真实的,其中,比特量实际上遵循动态范围的以2为底的对数。然而,由于代码分配函数可以具有相当非线性的形状,因此理论上期望,可以仅用10比特亮度(并且甚至每个颜色分量HDR图像8比特)来定义HDR图像,这导致已经部署的系统的可重用性的优点(例如,IC可以具有一定的比特深度或视频线缆等)。
在计算亮度之后,具有像素亮度Y_code的10比特平面,每个像素的两个色度分量Cb和Cr被添加到该像素亮度Y_code的10比特平面作为色度像素平面。该图像可以典型地在数学上被进一步向下处理“好像”它是SDR图像,例如MPEG-HEVC压缩等。压缩器并不真正需要关心像素颜色或明亮度。
但是接收装置(例如显示器(或实际上其解码器))通常需要对{Y,Cb,Cr}像素颜色进行正确颜色解释,以显示正确外观图像,而不是具有例如漂白颜色的图像。
这通常通过将另外的图像定义元数据与三个像素化颜色分量平面一起共同传送来处理,这定义了图像编码,诸如使用哪个EOTF的指示,为此我们将不受限制地假设使用了PQ EOTF(或OETF)、以及PL_V的值等。
更复杂的编解码器可以包括另外的图像定义元数据,例如,处理元数据,例如,指定如何将高达PL_V=1000尼特的第一图像的明亮度的归一化版本映射到辅助参考图像(例如,PL_V=100尼特SDR参考图像)的归一化明亮度的函数(如我们关于图2更详细地阐明的)。
为了方便对HDR不太了解的读者了解最新情况,我们在图1中快速阐明了一些有趣的方面,图1示出了未来的HDR系统(例如,连接到1000尼特PL_D显示器)可能需要能够正确处理的许多可能的HDR场景的几个原型说明性示例。像素颜色的实际技术处理可以以各种方式在各种颜色空间定义中发生,但是重新分级的迫切需要可以被示出为跨越不同动态范围的明亮度轴之间的绝对明亮度映射。
例如ImSCN1是来自西部电影的阳光充足的户外图像,其具有大部分明亮的区。不应当误解的第一件事是任何图像中的像素明亮度通常不是在现实世界中可以实际测量的明亮度。
即使在输出HDR图像(其可以用作起始图像,我们应将其称为主HDR分级或图像)的创建中没有进一步的人类参与,无论通过调整一个参数多么简单,相机由于其虹膜至少总是测量图像传感器中的相对明亮度。因此,总是存在涉及其中至少最亮图像像素在主HDR图像的可用编码明亮度范围中结束的一些步骤。
例如,在现实世界中,可以测量太阳在警长的星徽上的镜面反射高于100000尼特,但是这既不可能在典型的近期显示器上显示,也不让观看电影中的图像的观察者(例如,在晚上光线昏暗的房间中)愉快。替代地,视频创建者可以决定5000尼特对于徽章的像素足够亮,因此如果这将是电影中的最亮像素,则视频创建者可以决定制作PL_V=5000尼特视频。尽管作为仅用于主HDR分级的原始版本的相对像素明亮度测量设备,但是相机还应当具有足够高的原生动态范围(完全超过噪声基底的全像素)以制作良好的图像。分级的5000尼特图像的像素通常以非线性方式从相机捕获的原始图像导出,其中,例如颜色分级器将考虑作为典型查看情况的这些方面,其将与站在实际拍摄位置(即炎热的沙漠)时不同。选择为该场景ImSCN1制作的最佳(最高PL_V)图像(即在该示例中,5000尼特图像)是主HDR分级。这是要创建和传送的最低要求的HDR数据,但不是在所有编解码器中传送的唯一数据,也不是在一些编解码器中甚至是完全传送的图像。
具有可用的这样的可编码高明亮度范围DR_1(例如在0.001尼特和5000尼特之间)将允许内容制作者向观察者提供明亮外部的更好体验,但也提供更暗的夜间场景(当在整个电影中被良好分级时),当然,只要观察者也将具有对应的高端PL_D=5000尼特显示器。良好的HDR电影不仅在一个图像中平衡各种图像对象的明亮度,而且在电影的故事或通常创建的视频材料(例如,精心设计的HDR足球节目)中随时间平衡各种图像对象的明亮度。
在图1的最左边的竖直轴上示出了一些(平均)对象明亮度,如想要在5000尼特PL_V主HDR分级中看到它们的那样,理想地旨在用于5000尼特PL_D显示器。例如,在电影中,可能想要示出具有大约500尼特的像素明亮度(即,通常比在LDR中亮10倍,尽管另一创建者可能期望稍微更少的HDR打孔,例如300尼特)的明亮的阳光照射牛仔,根据创建者,这将构成显示该西部图像的最佳方式,向终端消费者给出最佳可能的外观。
通过考虑在相同图像中具有相当暗的区域(诸如洞穴图像ImSCN3的阴影角)但也具有非常亮的像素的相对大的区(如通过洞穴入口看到的阳光照射的外部世界)的图像,更容易理解对明亮度的更高动态范围的需要。这产生了与例如其中仅路灯包含高明亮度像素区域的ImSCN2的夜间图像不同的视觉体验。
现在,问题是需要能够定义最优地对应于主HDR图像的PL_V_SDR=100尼特SDR图像,因为目前仍然许多消费者具有LDR显示器,并且即使在将来也将存在做出电影的两个分级而不是原型唯一HDR图像本身编码的良好原因。这是与关于编码本身的技术选择分开的技术需求,例如被证明的是,如果知道如何(可逆地)从另一个创建主HDR图像和该辅助图像之一,则可以选择编码和传送该对中的任一个(以一个的价格有效地传送两个图像,即,每个视频时刻仅传送一个像素颜色分量平面的一个图像)。
在这样的减小的动态范围图像中,当然可以不定义像真正明亮的太阳那样的5000尼特像素明亮度对象。最小像素明亮度或最深黑色也可以高达0.1尼特,而不是更优选的0.001尼特。
因此,以某种方式应当能够使该对应的SDR图像具有减小的明亮度动态范围DR_2。
这可以通过接收侧显示器中的一些自动算法来完成,例如,可以使用固定明亮度映射函数,或可以由如PL_V_HDR值的简单元数据以及潜在地一个或多个其他明亮度值来调节。
然而,通常可以使用更复杂的明亮度映射算法,但是对于本申请,我们假设不失一般性地由一些全局明亮度映射函数F_L(例如,每个图像一个函数)定义映射,其针对至少一个图像定义第一图像中的所有可能出现的明亮度(即,例如0.0001-5000)如何被映射到第二输出图像的对应的明亮度(例如,对于SDR输出图像为0.1到100尼特)。可以通过将沿着两个轴的明亮度除以其相应的最大值来获得归一化函数。在此背景下,全局意味着相同的函数用于图像的所有像素,而不管另外的条件,如例如其在图像中的位置(更通用的算法使用例如用于可根据一些准则分类的像素的若干函数)。
理想地,所有明亮度应当如何沿着辅助图像(SDR图像)的可用范围重新分布应当由视频创建者确定,因为他最好地知道如何针对减小的动态范围进行子优化,使得在给定限制的情况下,SDR图像仍然看起来至少像预期的主HDR图像一样可行地好。读者可以理解,实际定义(定位)这样的对象明亮度对应于定义明亮度映射函数F_L的形状,其细节超出了本申请。
理想地,函数的形状也应当根据不同的场景而改变,即在电影中稍后的洞穴场景与晴朗西部场景,或通常根据时间图像而改变。这被称为动态元数据(F_L(t),t指示图像时刻)。
现在理想地,内容创建者将针对每种情况(即,每个潜在服务的终端用户显示器,例如,具有PL_D_MDR=800尼特的显示器,其需要对应的PL_V_MDR=800尼特图像)做出最佳图像,但是这对于内容创建者而言通常是太多的努力,即使在最昂贵的离线视频创建中也是如此。
然而,申请人先前已经证明,(仅)进行场景的两个不同的动态范围参考分级就足够了(通常在极端端,例如5000尼特是最高必要的PL_V,并且100尼特通常足以作为最低需要的PL_V),因为然后可以经由一些(通常固定的,例如标准化的)显示适配算法(例如应用于接收两个分级的信息的终端用户显示器中)自动地从这两个参考分级(HDR和SDR)导出所有其他分级。通常,计算可以在任何视频接收器中进行,例如机顶盒、TV、计算机、电影装备等。用于HDR图像的通信信道也可以是任何通信技术,例如地面或有线广播、如蓝光盘的物理介质、因特网、到便携式设备的通信信道、专业站点间视频通信等。
该显示适配通常还可以将明亮度映射函数应用于例如主HDR图像的像素明亮度。但是显示适配算法需要确定与F_L_5000至100(其是连接两个参考分级的明亮度的参考明亮度映射函数)不同的明亮度映射函数,即经显示适配的明亮度映射函数FL_DA,其不一定与两个参考分级F_L之间的原始映射函数微不足道地相关(可以存在显示适配算法的若干变型)。在5000尼特PL_V动态范围和800尼特中等动态范围上定义的主明亮度之间的明亮度映射函数在本文中将被写为F_L_5000至800。
我们已经通过箭头象征性地示出了显示适配(仅针对平均对象像素明亮度之一),该箭头不映射到将“朴素地”预期F_L_5000至100函数穿过800尼特MDR图像明亮度范围之处,但是例如稍微更高(即,在这样的图像中,牛仔必须稍微更亮,至少根据所选择的显示适配算法)。因此,一些更复杂的显示适配算法可以将牛仔放置在所指示的更高位置处,但是一些客户可能对更简单的位置感到满意,其中,500尼特HDR牛仔和18尼特SDR牛仔之间的连接穿过800尼特PL_V明亮度范围。
通常,显示适配算法基于原始明亮度映射函数F_L(或参考明亮度映射函数,也称为参考重分级函数)的形状来计算经显示适配的明亮度映射函数FL_DA的形状。
该基于图1的阐明构成了任何HDR视频编码和/或处理系统的技术需求,在图2中,我们图示了根据本申请人的编解码器方法的用于实现需求(非限制性)的一些示例性技术系统及其部件。本领域读者应当理解,这些部件可以体现在各种设备等中。本领域技术人员应当理解,该示例仅作为用于各种HDR编解码器框架的全部部分呈现,以具有对一些操作原理的背景理解,并且不旨在特别限制下面呈现的创新贡献的实施例中的任何。
尽管是可能的,但是每个时刻的两个实际不同图像的技术通信(HDR和SDR分级均作为其相应的三个颜色平面进行传送)尤其在所需的数据量方面是昂贵的。
这也不是必需的,因为如果知道可以基于初级图像中的明亮度和函数F_L来计算所有对应的辅助图像像素明亮度,则可以决定每个时刻仅传送初级图像和函数F_L作为元数据(并且可以选择传送主HDR或SDR图像作为两者的代表)。由于接收器知道其-通常固定的-显示适配算法,因此它可以基于该数据在其末尾确定FL_DA函数(可能存在控制或引导显示适配的传送的另外的元数据,但是其当前没有部署)。
可以存在每个时刻传送唯一图像的两种模式和函数F_L。
在第一向后兼容模式中,传送SDR图像(“SDR通信模式”)。该SDR图像可以直接(不需要进一步的明亮度映射)显示在传统SDR显示器上,但是HDR显示器需要应用F_L或FL_DA函数以从SDR图像获得HDR图像(或其逆,取决于函数的哪个变型被传送,向上分级变型还是向下分级变型)。感兴趣的读者可以找到在以下中标准化的本申请人的示例性第一模式方法的所有细节:
ETSI TS103 433-1V1.2.1(2017-08):High-Performance Single Layer HighDynamic Range System for use in Consumer Electronics devices;Part 1:DirectlyStandard Dynamic Range(SDR)Compatible HDR System(SL-HDR1)。
另一模式传送主HDR图像本身(“HDR通信模式”),即例如5000尼特图像,以及允许从其计算100尼特SDR图像(或任何其他更低动态范围图像,经由显示适配)的函数F_L。主HDR传送图像本身可以例如通过使用PQ EOTF来编码。
图2还示出了整个视频通信系统。在传输侧,它以图像源201开始。取决于是否具有离线创建的视频(例如,来自因特网递送公司)或现实生活广播,这可以是从硬盘到来自例如电视演播室等的线缆输出的任何内容。
这产生了主HDR视频(MAST_HDR),例如由人类颜色分级器进行颜色分级,或相机捕获的阴影版本,或借助于自动明亮度重新分布算法等。
除了对主HDR图像进行分级之外,还定义了常常可逆的颜色变换函数F_ct的集合。在不旨在失去一般化的情况下,我们假设这包括至少一个明亮度映射函数F_L(然而,可以存在另外的函数和数据,例如,指定像素的饱和度应当如何从HDR改变到SDR分级)。
如上所述,该明亮度映射函数定义HDR和SDR参考分级之间的映射(图2中的SDR参考分级是要传送到接收器的SDR图像Im_SDR;经由例如MPEG或其他视频压缩算法或不经由MPEG或其他视频压缩算法进行数据压缩)。
不应将颜色变换器220的任何颜色映射与应用于原始相机馈送以获得主HDR视频的任何事物混淆,主HDR视频在此处已经被假设为输入,因为该颜色变换用于获得要传送的图像,并且同时获得重新分级需求,如在明亮度映射函数F_L中技术上公式化的。
对于示例性SDR通信类型(即SDR通信模式),主HDR图像被输入到颜色变换器202,颜色变换器202被配置为将F_L明亮度映射应用于主HDR图像(MAST_HDR)的明亮度,以获得写入输出图像Im_SDR中的所有对应的明亮度。为了阐明,让我们假设人类颜色分级器通过使用颜色分级软件来调整电影的类似场景的图像的每次拍摄的该函数的形状。所应用的函数F_ct(即,至少F_L)被写入(动态,处理)元数据以与图像共同传送,在示例MPEG补充增强信息数据SEI(F_ct)中,或在其他标准化或非标准化通信方法中的类似元数据机制中。
在已经将要传送的HDR图像正确地重新定义为对应的SDR图像Im_SDR的情况下,这些图像常常(至少例如用于向终端用户广播)使用现有的视频压缩技术(例如MPEG HEVC或VVC或AVI等)来压缩。这在视频压缩器203中执行,视频压缩器203形成视频编码器221的一部分(视频编码器221继而可以包括在各种形式的视频创建装置或系统中)。
压缩图像Im_COD通过一些图像通信介质205(例如,卫星或线缆或因特网传输,例如根据ATSC 3.0或DVB等;但是HDR视频信号也可以例如通过两个视频处理装置之间的线缆传送)被发送到至少一个接收器。
通常,在传送之前,传输格式化器204可以进行一些另外的变换,传输格式化器204可以根据系统应用如例如分组化、调制、传输协议控制等的技术。这通常将应用集成电路。
在任何接收站点处,对应的视频信号去格式化器206应用必要的去格式化方法来重新获得压缩视频作为例如压缩HEVC图像(即HEVC图像数据)的集合,例如解调等。
视频解压缩器207进行例如HEVC解压缩,以获得像素化的未压缩图像Im_USDR的流,其在本示例中是SDR图像,但是在另一模式中将是HDR图像。视频解压缩器还将从例如SEI消息中解包必要的明亮度映射函数F_L,或通常颜色变换函数F_ct。
图像和函数被输入到(解码器)颜色变换器208,颜色变换器208被布置为将SDR图像变换为(即,高于100尼特的PL_V并且通常至少高几倍(例如5x)的)任何非SDR动态范围的图像。
例如通过应用在编码侧使用的颜色变换F_ct的逆颜色变换F_ct,可以将5000尼特重建HDR图像Im_RHDR重建为主HDR图像(MAST_HDR)的紧密近似,以从MAST_HDR制作Im_LDR。然后可以将该图像发送到例如显示器210以进行进一步的显示适配,但是在解码期间,通过在颜色变换器中使用FL_DA函数(在离线循环中确定,例如在固件中)而不是F_L函数,也可以一次性发生经显示适配的图像Im_DA_MDR的制作。因此,颜色变换器还可以包括显示适配单元209,以导出FL_DA函数。
如果视频解码器220被包括在例如机顶盒或计算机等中,则可以将经优化的例如800尼特显示适配的图像Im_DA_MDR发送到例如显示器210,或如果解码器驻留在例如移动电话中,则可以将其发送到显示面板,或如果解码器驻留在例如特定因特网连接的服务器中,则可以将其传送到电影院投影仪等。
图3示出了HDR解码器(或编码器,其通常可以在很大程度上具有相同的拓扑,但是使用反函数,但是通常不包括显示适配)的颜色变换器300的内部处理的有用变型,即对应于图2的208。
像素(在该示例中,SDR图像像素)的明亮度作为对应的亮度Y’SDR被输入。色度(也称为色度分量Cb和Cr)被输入到颜色变换器300的下处理路径。
通过明亮度映射电路310将亮度Y’SDR映射到所需的输出明亮度L’_HDR-例如主HDR重建明亮度或一些其他HDR图像明亮度。它应用如从显示适配函数计算器350获得的合适函数,例如,特定图像和最大显示明亮度PL_D的经显示适配的明亮度映射函数FL_DA(t),显示适配函数计算器350使用元数据共同传送的参考明亮度映射函数F_L(t)作为输入。显示适配函数计算器350还可以确定用于处理色度的合适函数。目前,我们将仅假设每个可能的输入图像像素亮度Y的乘法因子mC[Y]的集合存储在例如颜色LUT 301中。彩色处理的确切性质可以变化。例如,可能想要通过首先通过输入亮度(颜色LUT中的对应的双曲线)归一化色度并且然后校正输出亮度来保持像素饱和度恒定,但是也可以使用任何差分饱和度处理。通常将维持色调,因为两个色度乘以相同的乘数。
当用当前正被颜色变换(明亮度映射)的像素Y的亮度值索引颜色LUT 301时,所需的乘法因子mC结果为LUT输出。乘法器302使用该乘法因子mC以将其乘以当前像素的两个色度值,即,以产生颜色变换的输出色度
Cbo=mC*Cb,
Cro=mC*Cr
经由固定的颜色矩阵化处理器303,应用标准比色计算,色度可以转换为缺乏明度的归一化非线性R’G’B’坐标R’/L’、G’/L’和B’/L’。
通过乘法器311获得给出输出图像的适当明亮度的R’G’B’坐标,乘法器311计算:
R’_HDR=(R’/L’)*L’_HDR,
G’_HDR=(G’/L’)*L’_HDR,
B’_HDR=(B’/L’)*L’_HDR,
其可以在颜色三元组R’G’B’_HDR中概括。
最后,可以通过显示映射电路320进一步映射到显示器所需的格式。这产生了显示器驱动颜色D_C,其不仅可以以显示器所需的比色法(例如甚至HLG OEFT格式)来制定,而且该显示映射电路320在一些变型中可以被布置为对显示器进行一些特定的颜色处理,即,其还可以例如重新映射像素明亮度中的一些。
在WO2016/091406或ETSI TS103 433-2V1.1.1(2018-01)中教导了阐明一些合适的显示适配算法以针对创建侧分级器可能已经确定的任何可能的F_L函数导出对应的FL_DA函数的一些示例。
然而,这些算法不太关心终端用户的显示器上的最小可显示黑色。
实际上,可以说他们假装最小明亮度BL_D足够小,以至于可以说它是零。因此,显示适配主要关注各种显示器的最大明亮度PL_D与视频PL_V的最大明亮度相比的差异。
如在现有申请WO2016/091406的第18附图中可以看到的,任何输入函数(在阐明示例中,由两个线性段形成的简单函数)基于沿着135度角定位的度量朝向对角线缩放,该135度角从通常归一化为1.0输入和输出明亮度的曲线图中的输入明亮度的水平轴开始。应当理解,这仅仅是整个类别的显示适配算法的显示适配的示例,其没有以旨在限制我们的新颖显示适配概念的适用性的方式提及,例如,特别地,度量方向的角度可以具有其他值。
但是,该度量及其对重新整形的F_L函数(即,所确定的FL_DA函数)的作用仅取决于要用最佳重新分级的中等动态范围图像服务的显示器的最大明亮度PL_V和PL_D。例如,5000尼特位置将对应于位于对角线上的零度量点(对于沿着对应于输入图像中的可能像素明亮度的对角线放置的任何位置),并且100尼特位置(标记为PBE)将是原始F_L函数的点。
作为该方法的有用变型的显示适配在图4中通过示出其在可能的归一化输入明亮度Ln_in对归一化输出明亮度Ln_out的曲线图上的动作来总结(这些将通过乘以与归一化明亮度相关联的显示器的最大明亮度(即PL_V值)而被转换为实际明亮度)。
例如视频创建者已经设计了两个参考分级之间的明亮度映射策略,如关于图1所解释的。因此,对于输入图像(比如说例如主HDR图像)中的像素的任何可能的归一化明亮度Ln_in,该归一化输入明亮度必须被映射到作为输出图像的第二参考分级的归一化输出明亮度Ln_out。所有明亮度的这种重新分级对应于特定函数F_L,其可以具有如由人类分级器或分级自动机确定的许多不同的形状,并且该函数的形状作为动态元数据被共同传送。
问题是现在在该简单的显示适配协议中,F_L函数的导出的辅助版本应当具有什么形状来映射到中间动态范围显示的MDR图像(而不是到参考SDR图像)(假设映射再次从作为输入图像的HDR参考分级图像开始)。例如,在度量上,可以计算例如800尼特显示器应当具有50%的分级效果,完全100%是主HDR图像到100尼特PL_V SDR图像的重新分级。通常,对于像素的任何可能的归一化输入明亮度(Ln_in_pix),可以经由度量来确定没有重新分级和完全重新分级到第二参考图像之间的任何点,其被指代为经显示适配的明亮度L_P_n,其位置当然取决于输入归一化明亮度,而且还取决于与输出图像相关联的最大明亮度的值(PL_V_out)。本领域技术人员理解,尽管可以用归一化明亮度表示来表示函数,但是可以用根据任何OETF定义的任何归一化明亮度表示来等效地表示它。
我们可以如下确定对应的经显示适配的明亮度映射FL_DA(参见图4a)。取所有输入明亮度中的任一个,例如Ln_in_pix。这对应于对角线上与归一化明亮度的输入和输出轴具有相等角度的起始位置(如正方形所示)。将度量的缩放版本(缩放度量SM)放置在对角线上的每个点处,使得其处于与对角线正交(或逆时针与输入轴成135度),在对角线处开始,并且-以其100%水平-在F_L曲线上的点处结束,即在F_L曲线与正交缩放度量SM的交叉点处(由五边形示出)。在度量的50%水平(在该示例中,对于必须为其计算图像的显示器的PL_D值)处放置一个点,即中途[注意,在这种情况下,输出图像的PL_V值将被设置为等于需要被供应有经显示优化的图像的显示器的PL_D值]。通过对对应于所有Ln_in值的对角线上的所有点这样做,获得FL_DA曲线,并且其与原始曲线类似地整形,即进行相同的重新分级,但是最大明亮度重新缩放/调节。给定Ln_in的任何输入HDR明亮度值,该函数现在准备好应用于计算所需的对应的经最佳重新分级/显示适配的800尼特PL_V像素明亮度。该函数FL_DA将由明亮度映射电路310应用。
通常,该显示适配的性质如下(并且不旨在具体地更受限制)。可以根据技术上的期望预先固定度量的取向。图4b示出了另一缩放度量,即竖直取向的缩放度量SMV(即,与归一化输入明亮度Ln_in的轴正交)。再次,0%和100%(或1.0)对应于没有重新分级(即,对输入图像明亮度的恒等变换),分别重新分级到两个参考分级图像中的第二参考分级图像(在该示例中,通过不同形状的明亮度映射函数F_L2相关)。
度量上的测量点的位置(即10%、20%等值所在之处)也可以在技术上变化,但通常是将非线性的。
它将在技术中预先设计,例如电视显示器。例如可以使用WO2015007505中描述的函数。还可以设计对数函数,使得对于PL_V_HDR值(例如5000尼特),特定a*(log(PL_V)+b)等于1.0,并且0.0点对应于100尼特PL_V_SDR参考水平,或反之亦然。然后,需要计算图像明亮度的任何PL_V_MDR的位置都遵循度量的设计数学。
关于图5总结了这种度量的动作。
例如电视或机顶盒等中的显示适配电路510可以包含配置处理器511。在图像的运行像素颜色开始被处理之前,它设置用于图像处理的值。例如,经显示优化的输出图像的最大明亮度值PL_V_out可以通过从连接的显示器轮询它来在机顶盒中设置一次(即,显示器将其最大可显示明亮度PL_D传送到机顶盒),或当电路驻留在电视机中时,这可以由制造商配置,等等。
在一些实施例中,明亮度映射函数F_L可以根据传入图像而变化(在其他变型中,它可以对于多个图像是固定的),并且是从一些元数据信息源512输入的(例如,这可以作为SEI消息广播,从像蓝光盘的存储器的扇区读取等)。该数据建立了归一化度量(Sm1、Sm2等)的归一化高度,在该归一化高度上可以从度量的数学等式中找到PL_D值的期望位置。
当输入图像513被输入时,连续的像素明亮度(例如,Ln_in_pix_33和Ln_in_pix_34;或亮度)运行穿过应用显示适配的颜色处理流水线,并且产生对应的输出明亮度,诸如Ln_out_pix_33。
注意,在该方法中没有任何特别满足最小黑色明亮度的内容。
这是因为正常方法将如下。黑水平非常依赖于实际查看情况,其可以比显示特性(即,最前的PL_D)更可变。可以发生各种效果,范围从物理照明方面到人眼中的光敏分子的最佳配置。
因此,人们制作“针对显示器”的良好图像,并且这是所有的(即,预期的HDR显示器-在明度方面-比典型的SDR显示器更有能力多少)。然后,在需要的情况下,可以稍后对查看情况进行后校正,这将是留给显示器的(未定义的)特设任务。
因此,通常假设显示器可以显示如图像中编码的所有必要的像素明亮度(目前我们假设其已经是针对PL_D值优化的MDR图像,即图像中的至少一些像素区域通常达到PL_D),直到其可变的高明亮度能力,即PL_D。这是因为人们通常不想遭受白色裁剪的苛刻结果,但是如所述的,图像的黑色通常不那么有趣。
无论如何,黑色可以是“大部分”可见的,因此如果其中的一些稍微不太好可见,则这不是最重要的。至少一个可以最佳地将主HDR分级的潜在相当亮的像素明亮度挤压到显示器的有限上范围中,例如高于200尼特,比如说从200到PL_D=600尼特(对于高达例如5000尼特的主HDR明亮度)。
对于所有图像和所有显示器(至少近似地),这类似于假设黑色总是0尼特。与丢失一些黑色相比,白色的裁剪能够是视觉上更令人烦恼得多的性质,其中,通常仍然可以看到一些东西,因为它不太舒适。
然而,有时该方法是不够的,因为在查看室(例如,在白天期间具有大窗口的消费者电视观察者的起居室)中的显著环境光下,最暗明亮度的相当显著的子范围可能变得不可见,或至少不充分可见。这将与创建视频的视频编辑室中的环境光情况不同,环境光情况可能是昏暗的,或甚至黑暗的。
因此,可能需要例如通常利用显示器上的控制按钮(所谓的明度按钮)来提高那些像素的明亮度。
如果我们采用如Rec.ITU-R BT.814-4(07/2018)中的电视电子行为模型,则HDR场景中的电视获得亮度+色度像素颜色(实际上驱动显示器),并将这些(根据标准色度计算)转换为非线性R’,G’,B’非线性驱动值以驱动其面板。然后,显示器将利用PQ EOTF处理这些R’,G’,B’非线性驱动值,以知道要显示哪些前屏幕像素明亮度(即,如何驱动例如OLED面板像素或LCD像素,其中,通常仍然存在考虑LCD材料的电光物理行为的内部处理,但是该方面与本讨论无关)。
然后,例如在显示器前面的控制旋钮可以给出亮度偏移值b(对于PLUGE或其他测试图案中高于最小黑色块2%变得可见而-2%黑色不可见的时刻)。
如果原始的未校正的显示行为是:
LR_D=EOTF[max(0,R’)]=PQ[max(0,R’)]
LG_D=EOTF[max(0,G’)]=PQ[max(0,G’)]
LB_D=EOTF[max(0,B’)]=PQ[max(0,B’)][等式1]
在该等式中,LR_D是要显示的红色贡献的(线性)量,以创建具有特定明亮度(以(部分)尼特为单位)的特定像素颜色,并且R’是非线性亮度代码值,例如10比特编码中的1023个值中的419个。
对于蓝色和绿色分量也会发生相同的情况。如果例如需要制作1尼特的特定颜色(该颜色对眼睛的总明亮度),则需要例如0.33单位的蓝色,并且对于红色和绿色也是如此。如果需要制作100尼特的相同颜色,则可以说LR_D=100*0.33尼特。
如果现在经由亮度偏移旋钮控制该显示器驱动模型,则一般等式变为:
LR_D_c=EOTF[max(0,a*R’+b)],其中,a=1-b/OETF[PL_D]等。[等式2]
代替于在隐藏在不可见显示器黑色中的某处显示图像的零黑色,利用这种方法仅将其提升到黑色恰好变得充分可辨别的水平(注意,对于消费者显示器,可以使用除了PLUGE之外的其他机制,例如观察者偏好,潜在地导致另一可能次优但观察者偏好和可用的亮度偏移b值)。
这是在创建最佳重新分级图像之后的显示器的后处理步骤。即首先,由解码器计算最佳理论上重新分级的图像,例如首先映射到重建主HDR图像,并且然后明亮度重新映射到例如550尼特PL_V MDR图像,即考虑显示器的明度能力PL_D。
并且在已经根据电影创建者的理想视觉确定了该最佳图像之后,还通过考虑图像中黑色的预期可见性的显示器映射该最佳图像。
根据发明人,问题在于这是要显示的图像的查看室环境光水平适配的相当粗糙的方式。开发了一种备选方式,特别地一种观察者至少在图像的一些部分中看到更多对比度图像的方式,其中,其重要。
US2019/0304379(Pytlarz)教导了一种对环境光的量进行适配的方式,但是它计算针对光情况进行预校正的虚拟图像,使得可以应用通常的显示管理映射,并且它未教导适配优化显示映射流程本身。
WO2020/146655(Atkins)描述了一种导出针对特定显示器的最佳图像的系统,通常使用分子和分母升高到幂m的可参数化S形曲线。可以通过考虑环境光来补偿映射,但仅在确定视频中发生场景改变时应用映射。该补偿再次应用于输入信号。
US2021/0096023(Yang)描述了可以对固定色调下映射函数进行的调节,以各种方式考虑查看环境的各方面。该方法基于确定较暗颜色与高亮颜色之间的锚,例如漫射白色水平,或者将中灰色(如例如漫射白色的20%)重新关联到该锚。然后,第一实施例可以针对各种经环境适配的明亮度映射函数保持该锚点固定,同时针对各种较亮的环境(例如,经由接近零的斜率的控制)升高锚以下的曲线的高度。这对于相对中等明亮环境是有利的,其中,可以提高将最遭受的像素明亮度(淹没在显示/可见黑色中,或者至少与黑色踏板相比给出几乎没有差异对比度),同时保持可用于高亮的范围,从而不破坏图像的HDR区域。另一实施例向上或向下偏移锚输出电平。这对于相对于周围的明度(例如,显示器后面的更强照明的白墙)增加场景的漫射白色的明度是有用的,然而以减小的头部空间并且因此输入图像的显示版本的较低质量(破碎)高亮和/或减少的动态范围为代价。
发明内容
可以通过一种处理输入图像以获得输出图像的方法来获得针对各种环境照明水平的视觉上更好的图像,
其中,所述输入图像具有输入明亮度落入第一明亮度动态范围(DR_1)内的像素,所述第一明亮度动态范围具有第一最大明亮度(PL_V_HDR),
其中,接收参考明亮度映射函数(F_L),所述参考明亮度映射函数为与所述输入图像相关联的元数据,
其中,所述参考明亮度映射函数指定两个图像中的并置像素的明亮度之间的关系,所述两个图像被不同地分级,其中,相同图像对象的像素明亮度在所述两个图像中具有不同的像素明亮度,
其中,所述参考明亮度映射函数指定所述输入图像的明亮度与具有第二参考最大明亮度(PL_V_SDR)的辅助参考图像的明亮度之间的关系,
其中,所述输出图像是与所述输入图像和所述辅助参考图像不同的对象像素明亮度的分级,并且其中,所述输出图像具有与所述第一最大明亮度和所述第二参考最大明亮度(PL_V_SDR)不同的输出最大明亮度(PL_V_MDR);
其中,所述处理包括确定基于所述参考明亮度映射函数(F_L)的经适配的明亮度映射函数(FL_DA),并且将所述经适配的明亮度映射函数(FL_DA)应用于所述输入像素明亮度,以获得输出明亮度,
其特征在于,所述经适配的明亮度映射函数(FL_DA)是基于经调节的最大明亮度值(PL_V_CO)来计算的,
其中,对所述经适配的明亮度映射函数(FL_DA)的所述计算涉及在度量(SM)上找到最大明亮度的位置(pos),所述位置对应于所述经调节的最大明亮度值(PL_V_CO),
其中,所述度量的第一端点对应于所述第一最大明亮度(PL_V_HDR),并且所述度量的第二端点对应于所述第二参考图像的第二参考最大明亮度(PL_V_SDR),
其中,对于任何归一化输入亮度(Yn_CC0),所述度量的所述第一端点并置在对角线上的点上,所述点的水平坐标和竖直坐标等于该归一化输入亮度,
其中,所述第二端点与所述参考明亮度映射函数(F_L)的输出值并置,其中,所述第二端点位于所述参考明亮度映射函数(F_L)的点的轨迹上;
其中,所述经调节的最大明亮度值(PL_V_CO)是通过以下操作确定的:
-获得环境照明值(Lx_sur);
-通过将参考照明值(GenVwLx)除以所述环境照明值(Lx_sur)来获得相对环境光水平(SurMult);
-获得所述经调节的最大明亮度值(PL_V_CO),所述经调节的最大明亮度值为将所述输出最大明亮度(PL_V_MDR)乘以所述相对环境光水平(SurMult)的结果。
参考明亮度映射函数通常是视频的内容创建者在制作例如在视觉上对应于主HDR图像的通常较低的最大(可能)明亮度的图像时指示其应当被重新分级的方式(对于视频,最大明亮度将通常是上限,如根据他选择的技术HDR编码变型,创建者可以使用该上限来使得对应于图像中的一些中的超亮对象的像素中的一些最为明亮)。即,函数将两个参考分级的各种图像对象的明亮度相关,至少一个对象的明亮度(以及通常对其进行编码的对应明亮度)在第一和第二参考分级中是不同的。所述输入图像(通常主分级HDR图像)将用作所述第一参考图像。因此,不同的分级意指尤其至少两个不同分级的图像的最大明亮度是不同的(例如,表示太阳的圆形中的像素),但是通常许多其他图像对象在第二分级中将具有与所述第一分级图像相比较不同的明亮度,例如,如果函数映射导致明亮度的降低,则与所述最大图像明亮度一样相对降低。计算经适配的明亮度映射函数的显示适配部分的选择度量将具体确定这样的输入明亮度可以具有的所有可能值的集合中的各种输入明亮度或亮度将如何改变为显示适配的输出图像的明亮度或亮度。所述函数通常可以在亮度域中定义(根据所选择的OETF函数风格),并且颜色处理也可以在亮度域中发生(但是所述度量,即使当叠加在所述明亮度重新分级函数的这样的亮度域图上时,也通常将指示最大明亮度的位置,而不是亮度)。所述亮度通常将被归一化。所述第二参考图像可以通常-不限于-是SDR,即100尼特最大明亮度图像,通常从所述主HDR图像重新分级(或者反之亦然,SDR图像可以是用于重新分级对应的HDR图像的起始图像,但该方面不改变所述对比度改进处理)。
发明人希望具有一种方法,在提出他的方法时,所述方法考虑了由函数F_L的形状指定的亮度或明亮度重新分级需求的该引导(创建侧,例如,表征HDR视频的人类艺术家及其重新分级需求)。
因此,可以使用如由本发明人发明的显示适配方法,所述方法现在将被不同地调谐(形状适配),即,朝向所述对角线的挤压将以不同的控制变量发生,即经调节的最大明亮度值(PL_V_CO)。
可以定义各种度量,但是它们通常将始终将它们的第一端点(对应于主HDR分级/图像的最大明亮度的位置)定位在所述对角线上,即在0与1之间的归一化亮度图中的线,该线与输入亮度轴和输出亮度轴两者具有45度角。具体地,对于每个可能的输入亮度Y_in,对于任何Y_in(以及竖直坐标的值),该点将具有水平坐标等于Y_in的对角线上的位置。所述度量的端点的位置,即在典型示例中定位PL_V_SDR的值的位置,将位于F_L函数的形状的轨迹上的某处,该位置取决于已经选择了哪个角度来进行所述显示适配算法(例如,对于竖直角度,度量端点将是h=Y_in;V=F_L(Y_in)。
指示值(即环境照明值(Lx_sur))的环境光水平将被测量(例如通过照度计),并且通常被转换为明亮度。参考照明值(GenVwLx)是典型值,例如预期值或良好工作值。理想情况下,它是与接收到的(一个或多个)图像对应地确定的,例如,它可以作为(一个或多个)图像的元数据进行共同传送,指示图像是为这样的环境照明而制作的,或者最好在这样的环境照明下查看。它可以是用于例如查看主HDR图像的值(例如VIEW_MET),或者从其中导出的值,例如通过还考虑用于SDR分级的值,并且应用等式来获得最终典型值。该等式可以在接收侧计算,或者其结果可以由视频或图像创建者计算并作为元数据共同传送。例如,如果未接收到用于当前图像(的集合)的元数据,则可以在存储器中重写GenVwLx值,该存储器可以包含固定的制造商值,或者通常传递的值(例如,来自先前的程序)等等。
如果输入明亮度(L_in)作为输入存在,则可以通过将光电传递函数(OETF_psy)应用于所述输入图像的输入明亮度(L_in)来计算任何亮度。在一些方法或装置中,输入图像像素颜色可以具有亮度分量。
所使用的光电传递函数(OETF_psy)优选地是心理视觉上均匀的光电传递函数。该函数通过以下来定义:将明亮度到亮度映射函数形状(通常在实验室中实验地)确定为使得第二亮度大致对应于与第一亮度对人类观察者的感知明度相比较的感知明度的类似差异,所述第二亮度比在亮度范围上的任何地方选择的第一亮度高固定整数N的亮度。然后可以在该视觉上均匀的亮度域中定义任何进一步重新分级映射。
即人类视觉是非线性的,因此它不会经历与例如2000尼特与(1.05)*2000尼特之间的差异相同的10尼特与(1.05)*10尼特之间的差异,并且该均匀感知曲线还取决于人类正在观看的内容,即特别是正在观看的显示器的动态范围(在特定环境中),即其最大PL_D和最小明亮度。
因此,理想地,为处理定义具有以下性质的OETF(或其逆EOTF):
如果采用任何第一亮度,例如在10比特中luma_1=10。并且然后更高地移动例如n=5个亮度代码,得到第二亮度luma_2=15。这对应于明度感觉的变化(即,表征人类观察者体验到的作为具有某个物理显示的明亮度的所显示的贴片的明度的值;其可以通过应用EOTF来确定)。
因此,假设在明度的1-200的范围内,亮度10给出5的明度印象,并且亮度15给出7的印象,即更亮2个单位的明度。
然后,可以采用对更亮的明亮度进行编码的两个亮度,例如800和800+5。然后,如果观察者由于亮度差异而经历相同的明度差异,则亮度标度在视觉上近似均匀。例如,亮度800可以给出160的明度感知,并且亮度805将看起来像明度162,即再次2个单位的明度差异。该函数不必确切地是明度确定函数,因为在感知上合理地均匀的亮度定义将已经很好地工作。
如果在这种心理视觉均匀系统中进行,则由于明亮度处理引起的任何变化的效应在视觉上不太令人反感(因为大脑可能更容易抵消)。
与所述SDR图像的参考重新分级相比较,显示适配通常将减小针对较暗对象亮度的斜率,但是现在目的是将斜率维持在所要求的值,以给出视觉上可良好观看的图像。
即,可以使用如关于图4和5阐明的进行特定整形的F_L函数的更小变型(对应于用于当前特异性HDR图像或场景以获得对应的更低最大明亮度辅助分级的特定所需的明亮度重新映射,也称为重新分级需要)的可能的实施例中的任何实施例或类似技术。明亮度映射函数通常被表示为亮度映射函数,即通过经由适当的OETF(使用输入和输出图像的适当最大明亮度值的归一化)将两个归一化明亮度轴转换为亮度轴。
注意,我们的方法不想要限于S形映射,尽管对于许多显示场景来说这是一种相当合理的经优化的映射的方式,但并不是最终的,并且我们想要我们的方法工作哪些系统向内容创建者给出了关于以下的高的自由度:他想要如何精确对他的图像进行重新分级,即利用哪个(些)函数形状。
具体地,定义F_L函数的辅助分级可以有利地是100尼特分级,其将适合于服务大多数未来的显示情况(注意,在将来也将存在低动态范围质量显示场景)。
在实际实施例中,可以存在缩放器和/或削波器,或者通常具有针对较高输入值的减少斜率的制动功能,使得经调节的最大明亮度值PL_V_CO不变得太低,例如,如果其变得低于PL_V_SDR,则可以将其设置为等于PL_V_SDR等。
有利地,处理输入图像的方法使用由所述输入图像的创建者创建的明亮度映射函数作为参考明亮度映射函数(F_L),并通过图像通信信道作为元数据被接收。
所述系统还可以用于确定其自身版本的工作良好的重新分级函数(即,确定F_L的良好形状,例如,基于对一些先前图像和/或当前图像的亮度出现的分析(在延迟输出的情况下)启发性地)的装置上,但是当利用创建者确定的重新分级函数时,它是特别有用的。
有利地,处理输入图像的方法包括:
-从显示器的用户获得输入值(UCBSliVal);
-通过将所述输入值乘以强度值(EXCS)和所述输出最大明亮度(PL_V_MDR)来计算用户控制值(UCBVal);
-从所述最大明亮度值(PL_V_CO)中减去所述用户控制值(UCBVal)以获得经用户调节的最大明亮度值(PL_V_CO_U);并且
-使用所述经用户调节的最大明亮度值(PL_V_CO_U)作为所述度量上的位置以确定所述经适配的明亮度映射函数(FL_DA)。
然后,所述用户还可以将最初确定的最佳设置(即,经显示适配的重新分级函数的重新计算)调谐到他的特定期望。
此外,通过包括将所述输入图像中的最暗黑色设置为作为环境照明值(Lx_sur)的函数的黑色偏移值的步骤,将处理输入图像的本方法与黑色偏移组合能够是有利的。两者的次序可以是可互换的,但是如果首先设置黑色水平,则它可能是有用的(例如,这可以针对该情况微调对比度)。作为示例,可以使用利用图6阐明的方法或任何其他黑色偏移技术。
概念可以有用地实现为一种用于处理输入图像以获得输出图像的装置,
其中,所述输入图像具有输入明亮度落入第一明亮度动态范围(DR_1)内的像素,所述第一明亮度动态范围具有第一最大明亮度(PL_V_HDR),所述装置包括:
-图像输入部(921),其被布置为获得所述输入图像(513);
-数据输入部(920),其用于接收参考明亮度映射函数(F_L),所述参考明亮度映射函数为与所述输入图像相关联的元数据,
其中,所述参考明亮度映射函数指定第一参考图像的明亮度与第二参考图像的明亮度之间的关系,
其中,所述第一参考图像具有第一参考最大明亮度,并且所述第二参考图像具有第二参考最大明亮度,
其中,所述输入图像等于所述第一参考图像,
其中,所述输出图像既不等于所述第一参考图像也不等于所述第二参考图像;
其中,所述输出图像具有低于所述第一最大明亮度的输出最大明亮度(PL_V_MDR);
-照度计(902),其被布置为确定落在显示器上的周围环境的光量,所述光量被表示为环境照明值(Lx_sur);
-显示适配电路(510),其被布置为确定基于所述参考明亮度映射函数(F_L)的经适配的明亮度映射函数(FL_DA),并且被布置为将所述经适配的明亮度映射函数(FL_DA)应用于输入像素明亮度或对应亮度,以获得输出明亮度或对应亮度,
其特征在于,所述装置包括最大明亮度确定单元(901),所述最大明亮度确定单元被布置为:确定经调节的最大明亮度值(PL_V_CO),并且将所述经调节的最大明亮度值供应给所述显示适配电路(510),
其中,所述最大明亮度确定单元(901)被布置为:从存储器(905)获得参考照明值(GenVwLx),并且获得输出最大明亮度(PL_V_MDR),并且接收所述环境照明值(Lx_sur),并且通过以下操作来确定所述经调节的最大明亮度值(PL_V_CO):
-通过将所述参考照明值(GenVwLx)除以所述环境照明值(Lx_sur)来确定相对环境光水平(SurMult),并且
-确定所述经调节的最大明亮度值(PL_V_CO),所述经调节的最大明亮度值为将所述输出最大明亮度(PL_V_MDR)乘以所述相对环境光水平(SurMult)的结果;
并且其特征在于,所述显示适配电路(510)被布置为基于所述经调节的最大明亮度值(PL_V_CO)来确定所述经适配的明亮度映射函数(FL_DA),
其中,对所述经适配的明亮度映射函数(FL_DA)的所述计算涉及在度量(SM)上找到与所述经调节的最大明亮度值(PL_V_CO)相对应的位置(pos),
其中,所述度量的第一端点与所述第一最大明亮度(PL_V_HDR)相对应,并且所述度量的第二端点与所述第二参考图像的最大明亮度相对应,
其中,对于任何归一化输入亮度(Yn_CC0),所述度量的所述第一端点并置在对角线上的点上,所述点的水平坐标和竖直坐标等于所述输入亮度,
其中,所述第二端点与所述参考明亮度映射函数(F_L)的输出值并置。
用于处理输入图像的装置还可以包括用户值电路(903),其被布置为:
-从显示器的用户获得输入值(UCBSliVal);
-通过将所述输入值乘以强度值(EXCS)和所述输出最大明亮度(PL_V_MDR)来计算用户控制值(UCBVal);
并且其中,所述最大明亮度确定单元(901)被布置为:
-接收所述用户控制值(UCBVal),并且从所述最大明亮度值(PL_V_CO)中减去所述用户控制值以获得经用户调节的最大明亮度值(PL_V_CO_U);并且
-其中,所述显示适配电路(510)被布置为使用所述经用户调节的最大明亮度值(PL_V_CO_U)作为所述度量上的位置以确定所述经适配的明亮度映射函数(FL_DA)。
用于处理输入图像的装置还可以包括:黑色适配电路,所述黑色适配电路被布置为将所述输入图像中的最暗黑色亮度设置为作为所述环境照明值(Lx_sur)的函数的黑色偏移亮度。
特别地,技术人员理解到,这些技术元件可以实现在各种处理元件中,如ASIC(专用集成电路,即通常IC设计者将使IC(的部分)执行所述方法)、FPGA、处理器等,并且可以驻留在各种消费者或非消费者装置中,无论是包括显示器还是可以外部连接到显示器的非显示装置,并且图像和元数据可以通过各种图像通信技术(诸如无线广播、基于线缆的通信)传入和传出,并且装置可以用于各种图像通信和/或使用生态系统,诸如例如电视广播、互联网点播等。
附图说明
参考下文描述的实施方式和实施例,并且参考附图,根据本发明的方法和装置的这些和其他方面将是显而易见的并得到阐述,附图仅用作例示更一般概念的非限制性具体说明,并且其中,虚线用于指示部件是任选的,非虚线部件不一定是必需的。虚线也能够用于指示被解释为必需的但隐藏在对象的内部的那些元件或用于无形的东西,诸如对对象/区域的选择。
在附图中:
图1示意性地图示了当最佳地将高动态范围图像映射到对应的最佳颜色分级的且类似外观的(与在给定第一动态范围DR_1相对于第二动态范围DR_2的差异的情况下期望的和可行的那样类似)更低动态范围图像(例如,100尼特最大明亮度的标准动态范围图像)时发生的多种典型颜色变换,其在可逆性的情况下也将对应于如所接收的SDR图像(其实际编码HDR场景)到该场景的重建HDR图像的映射。明亮度被示出为竖直轴上从最暗的黑色到最大明亮度PL_V的位置。明亮度映射函数由箭头象征性地示出,该箭头将平均对象明亮度从其在第一动态范围上的明亮度映射到在第二动态范围上的明亮度(本领域技术人员知道例如在归一化到1的轴上如何将其等效地绘制为经典函数,其通过除以相应的最大明亮度来归一化);
图2示意性地图示了对申请人最近开发的高动态范围图像(即能够具有通常至少600尼特或更多(通常1000尼特或更多)的明亮度的图像)进行编码的技术的高水平视图示例,其实际上可以传送HDR图像本身或作为对应的明亮度重新分级的SDR图像加上编码颜色变换函数的元数据,该颜色变换函数至少包括针对像素颜色的适当确定的明亮度映射函数(F_L),以由解码器使用以将接收到的(一个或多个)SDR图像转换为(一个或多个)HDR图像;
图3示出了作为(非限制性)优选实施例的图像解码器(特别是像素颜色处理引擎)的内部的细节;
由子图像图4a和图4b组成的图4示出了显示适配的两种可能的变型,以从参考明亮度映射函数F_L获得最终的经显示适配的明亮度映射函数FL_DA,该参考明亮度映射函数编纂两个参考图像之间的明亮度重分级需求,该最终的经显示适配的明亮度映射函数要用于针对特定显示能力(PL_D)计算输入图像的最佳经显示适配的版本;
图5更一般地总结了显示适配的原理,以更容易地将其理解为本实施例和权利要求的公式化中的部件;
图6示出了用于阐明关于环境照明补偿处理的技术要素的示例性装置;
图7解释了虚拟目标显示器的相关概念(特别是目标显示器的最小明亮度(mL_VD)),以及与实际显示器的关系或可相关性,该实际显示器例如通常是执行明亮度重新映射的观察者的终端用户显示器;
图8解释了可用于(例如,通常与像素颜色图像共同传送的)未来证明专业HDR编码框架的元数据类别中的一些,使得任何接收器具有其可能需要或至少优雅地利用的所有可用数据,特别是用于针对特定最终查看情况(显示器和环境)优化接收到的图像;
图9阐明了优化图像对比度的方式,特别是补偿各种查看环境光水平或情况,特别是当围绕现有的显示适配方法设计它时;
图10示出了在应用查看环境照明适配技术(关于图6进行解释)时发生的情况的具有特定参考映射函数F_L(为了容易理解,被选择为简单的线性曲线)的一些图像明亮度的实际示例;
图11示出了当应用关于图9解释的对比度改进技术时发生的情况的实际示例(没有查看环境照明,但是这两个处理也可以组合,这将导致最黑的黑色的额外偏移)。
具体实施方式
图6示出了一般阐明如何执行本创新的元素的装置,特别是颜色处理电路600。我们将一般性地描述它,并且然后给出实施例变型的一些细节。我们假设环境光适配颜色处理是在专用集成电路(ASIC)内部执行的,但是本领域技术人员将理解如何在其他材料装置中类似地实现颜色处理。一些方面将根据该ASIC是驻留在例如电视显示器(通常是终端用户显示器)中还是驻留在例如连接到显示器的机顶盒等的另一装置中而变化,以对显示器进行处理并向其提供已经经明亮度优化的图像。(本领域技术人员还可以将该装置构造图映射到对应的方法的方法流程图)。
在经由图像像素数据输入部690输入之后,要处理的输入图像(我们可以在不希望失去一般性的情况下将其假设为主HDR图像MAST_HDR)的输入明亮度(L_in)首先被变换成对应的亮度(例如,10比特编码亮度),为此使用光电传递函数,该光电传递函数通常将由其制造商固定在装置中(但是它可以是可配置的)。
采用感知均匀的OETF(OETF_psy)是有用的。
我们将假设使用以下OETF(将其亮度Yn_CC0定义为输出):
Yn_CC0=v(L_in;PL_V_in)=log[1+(RHO-1)*power(L_in;p)]/log[RHO],
其中,RHO是通过等式RHO(PL_V_in)=1+32*power((PL_V_in/10,000);p)取决于输入最大明亮度PL_V_in的常数,
并且p是幂函数的幂,其优选地等于1/(2.4)[等式3]
输入最大明亮度将是与输入图像相关联的最大明亮度(其不一定是视频序列的每个图像中的最亮像素的明亮度,而是将图像或视频表征为绝对上限值的元数据)。
它通常可以是可配置的,并且经由第一最大数据输入部691输入,作为PL_V_HDR,例如2000尼特。在其他变型中,它也可以是用于图像通信和/或处理系统的固定值,例如5000尼特,并且因此是光电转换电路601的处理中的固定值(因此指代PL_V_HDR的数据输入的竖直箭头被示出为虚线,因为它不存在于所有实施例中;注意,空心圆表示该数据供应的分支,以免与不混合的重叠数据总线混淆)。
随后,在一些实施例中,可以存在由明亮度映射电路602进行的进一步的明亮度映射,以获得本方法或颜色处理装置将针对特定查看环境最佳地适配的起始亮度Yn_CC。这种另外的明亮度映射通常可以是显示适配,以使图像预符合所连接的显示器的特定显示器最大明亮度PL_D。
更简单的实施例不存在该任选的明亮度映射,因此我们将首先解释颜色处理,假设2000尼特环境优化的图像将是针对传入的2000尼特主HDR图像(或固定的5000尼特HDR图像情况)计算的,即,其中,最大明亮度值在输入和输出图像之间保持相同。在这种情况下,起始亮度Yn_CC将简单地等于如由光电转换电路601输出的初始起始亮度Yn_CC0。
线性缩放电路603通过应用以下类型的函数来计算中间亮度Yim:
Yim=(Ydif+1)*Yn_CC-1.0*Ydif[等式4]
亮度差异Ydif是从(第二)光电转换电路611获得的。该电路将明亮度差异DIF转换为对应的亮度差异Ydif。该电路将使用与电路601相同的OETF等式,即也具有相同的PL_V_in值(和功率值)。
明亮度差异dif由明亮度差异计算器610计算,明亮度差异计算器610接收两个最暗的明亮度值,即给定查看室的特定照明特性的目标显示器的最小明亮度(mL_VD)和终端用户显示器的最小明亮度(mL_De),并且计算:
dif=mL_VD-mL_De[等式5]
mL_De将通常是一方面终端用户显示器的固定显示器最小黑色(mB_fD)和作为环境光量的函数的明亮度(mB_sur)的函数(通常是相加)。显示器最小黑色(mB_fD)的典型示例将是LCD显示器的泄漏光。如果这样的显示器用指示完美(即,零光子要输出,理想地)黑色的代码驱动,则由于LCD材料的物理特性,它仍然将总是输出例如0.05尼特的光,所谓的泄漏光。这与查看环境中的环境光无关,使得在完全黑暗的查看室中将是真实的。
mL_VD和mL_De的值通常经由第一最小元数据输入部693和第二最小元数据输入部694(例如,从相同或不同装置中的外部存储器,或经由来自光测量设备的电路等)来获得。在特定实施例中所需的最大明亮度值(诸如例如用于显示经颜色处理的输出图像的显示器的最大明亮度(PL_D))通常经由诸如第二最大元数据输入部692的输入连接器来输入。输出图像颜色将在像素颜色输出部699上写出(本领域技术人员可以理解如何将其实现为各种技术变型,例如IC的引脚、诸如HDMI的标准视频线缆连接、图像的像素颜色数据的基于无线信道的通信等)。
作为环境光量(mB_sur)的函数的明亮度的精确确定[我们应将其简称为环境黑色明亮度]不是本创新的典型方面,因为它可以以几种备选方式确定。例如,观察者可以使用测试信号(诸如PLUGE或更消费者友好的变型)来确定他认为表示掩蔽黑色的明亮度mB_sur的值,这通常将由显示器的前屏幕上的反射产生。我们甚至可以假设观众只是设置了一个值,无论是针对特定的夜晚,还是考虑到通常消费者例如在购买显示器时保持其房间照明配置固定。或甚至可以是电视制造商在至少一种典型的消费者查看情况下作为平均良好工作值烘烤的值。在该方法用于适配用于在移动设备上查看的明亮度的情况下,通常查看环境不是相对稳定的(例如,可能正在火车中观看视频,并且当火车进入隧道时,照明水平可能从室外改变到室内)。
在这样的情况下,可以采用例如内置照度计的时间滤波测量(不会太频繁地测量而不能随时间广泛地适配处理,而是例如当坐在太阳中的长凳上,并且然后在室内走动等)。
这样的计量器通常测量落在其上的平均光量(以勒克斯为单位),也测量显示器上的平均光量。
尽管不同的光度量,但是勒克斯值可以通过众所周知的光度等式转换为环境黑色明亮度:
mB_sur=R*Ev/pi[等式6]
在该等式中,Ev是以勒克斯为单位的周围环境照度,pi是常数3.1415,并且R是显示屏的反射率。通常,移动显示器的制造者会将该值放在等式中。
对于环境(例如房屋的墙壁)中的具有平均灰色和白色之间某处的颜色的法向反射表面,可以假设R值约为0.3,即根据经验说,明亮度值约为以勒克斯为单位的引用照度值的1/10。显示器的正面应当反射少得多的光:取决于是否已经采用了特殊的抗反射技术,R值可以例如是大约1%(但是可以更高,朝向玻璃的8%反射率,这在更亮的查看环境中可能尤其是一个问题)。
因此,mL_De=mB_fD+mB_sur[等式7]
将关于图7进一步阐明目标显示器的最小明亮度(mL_VD)的值的技术含义。
从左侧开始的前三个明亮度范围实际上是“虚拟”显示范例,即对应于图像而不一定是实际显示器的范围(即,它们对应于目标显示器,即理想地在其上显示图像的显示器,但是潜在地没有消费者拥有的显示器)。这些目标显示器是共同定义的,因为图像是针对目标显示器专门创建的(即,明亮度被分级为特定期望的对象明亮度):例如,爆炸在550尼特显示器上不能非常明亮,因此分级器可能想要降低一些其他图像对象的明亮度,使得爆炸至少看起来有些对比度。但是很可能没有人拥有这样的显示器,并且图像仍然需要通过对任何特定观察者拥有的实际显示器的显示适配来优化。该终端用户显示器上的物理可显示明亮度的范围被示出为最右明亮度范围(EU_DISP)。
一个或多个目标显示器的该信息构成元数据,其中一些通常与图像本身一起传送,即与图像像素明亮度一起传送。
因为用于表征(编码)HDR图像的这种方法显著偏离传统SDR图像编码,并且这些方面仅在最近被发明,并且因为重要的技术元素不应被误解,所以为了读者的利益,我们关于图8总结了所需的概念。
HDR视频由元数据丰富地补充,因为如此多的方面可以变化(例如,尽管SDR显示器的最大明亮度总是在100尼特左右的范围,但是现在人们可以具有相当不同的显示能力的显示器,例如PL_D等于50尼特、500尼特、1000尼特、2500尼特,并且在将来甚至可以是10000尼特;诸如视频PL_V的最大可编码明亮度的内容特性也可以显著变化,并且因此分级器将针对典型场景做出的暗与亮之间的明亮度分布也将主要在典型SDR图像与任何HDR图像之间变化,等等),并且由于对那些各种光滑范围的控制不足,不应当遇到问题。
如上所述,应当得到像素颜色的至少一个像素化矩阵,包括至少像素亮度,否则(即使错误地以比色方式显示),甚至不会看到图像几何结构。如上所述,可以通过每个时刻实际上仅传送一个图像来传送两个不同的动态范围图像(其可以兼作两个参考分级,用于在需要制作不同动态范围的图像(如MDR图像)时指示特定视频内容的明亮度重分级需要)。
我们将假设我们传送主HDR图像本身,因此第一数据集801(图像颜色)包含被传送的图像的像素的颜色分量三元组,并且成为颜色处理电路的输入,例如驻留在接收侧电视显示器中。
通常,这样的图像被数字化为(例如10比特)亮度和两个色度分量Cr和Cb(但是也可以传送非线性R’G’B’分量)。但是需要知道亮度1023或例如229表示哪个明亮度。
为此,共同传送容器元数据802。我们将假设亮度例如根据感知量化器EOTF(或其逆OETF)来定义,如在SMPTE ST.2084中标准化的。这是可以指定高达10000尼特的亮度的宽大容器,即使当前不会产生具有如此高的像素明亮度的图像,因此可以说它是包含实际使用的高达比如2500尼特的明亮度的“理论容器”。(注意,还将传达原色色度,但是那些细节将仅不必要地妨碍本说明)。
它变得感兴趣之处是视频的实际可编码(或经编码)的最大像素明亮度,并且这在另一视频表征元数据中被编码,该另一视频表征元数据通常是主显示器颜色量元数据803。
这是接收侧要知道的重要明亮度值,因为即使显示器不关心如何沿着范围重新映射所有明亮度的具体细节(至少根据内容创建者的期望显示适配),知道最大值仍然引导大致对所有明亮度最好做什么,因为对于任何图像像素,至少知道视频将不会超过什么明亮度。
对于我们的2000尼特示例,该主显示颜色量(MDCV)元数据803将包括主HDR图像最大明亮度,即图7的PL_V_HDR值,即表征主HDR视频(其在该示例中也实际上被传送为SMPTE2084定义的PQ像素亮度,但是该方面目前也可以被忽略,因为我们可以理解创新颜色处理的原理,好像(线性)像素明亮度本身是传入的,因为技术人员知道如何在两者之间转换)。
该MDCV是HDR主图像的“虚拟”显示,即目标显示。通过在元数据中指示这一点,视频创建者在他的传送的视频信号中向接收侧实际终端用户显示器指示在他的电影中的某处可能存在与2000尼特一样亮的像素,因此终端用户显示器在对当前图像的明亮度进行其处理时更好地考虑这一点。
图像集合的这些(实际)明亮度实际上是又一方面,因此存在另外的视频相关元数据集804。这给出了不是相关联的显示器的性质(即,例如,视频中可能的最大值),而是实际视频的进一步信息。为了容易地理解这一点,可以想象两个视频正在用相同的MDCV PL_V_HDR(和EOTF)进行注释:第一视频是夜间视频,并且因此实际上没有图像达到高于比如80尼特的像素明亮度(但是它仍然在2000尼特MDCV上指定;而且如果它是另一视频,则它可以在至少一个图像中具有一些闪光灯,该至少一个图像具有达到2000尼特水平或几乎该水平的几个像素),并且根据完全相同的编码技术指定/创建的第二视频(即,在802和803中用相同的数据注释)仅由爆炸组成,即,大部分具有1000尼特以上的像素。
一方面,可能想要比如另外关于该视频的一些东西,但是另一方面,本领域读者可以理解,如果想要将两个视频从其2000尼特主表示重新分级为例如200尼特输出表示,则将不同地这样做(可以简单地通过将明亮度除以10来缩放爆炸,而可以保持夜景的明亮度在主HDR和200尼特输出图像中相同)。
注释所传送的HDR图像的集合804中的可能的(对于本创新是任选的,但是为了完整性而解释的)有用元数据将是所有时间顺序图像的所有像素的平均像素明亮度,MaxFall例如是350尼特。接收侧颜色处理然后可以从该值理解,如果它是暗的,则明亮度可以按原样显示,即未映射,并且如果它是亮的,则调光可以是有序的。
还可以注释SDR视频(即,第二参考分级图像,示出SDR图像必须看起来如何根据内容创建者尽可能类似于主HDR图像(给定减小的动态范围能力)),即使实际上没有传送它,即,将仅发送该元数据(元数据814)。
因此,尽管一些HDR代码也可以发送包括SDR图像的像素亮度(Rec.709OETF定义的)的像素颜色三元组(即SDR像素颜色数据811),但是如上面所解释的,我们的阐明示例编解码器(SLHDR编解码器)实际上将不传送该SDR图像(即其像素颜色或取决于那些颜色的任何东西),因此传送交叉(如果没有传送的像素颜色,则也不需要传送SDR容器元数据812,其指示像素代码如何被定义并且如何被解码为线性RGB像素颜色分量的容器格式)。
理想地应当传送的内容(但是一些系统可以默认地假设它)是对应的以SDR为目标的显示元数据813。在这种情况下,通常将PL_V_SDR的值填充为等于100尼特。
对于本创新重要的是,这也是通常将填充视频创建者对其电影分级的理论目标SDR显示器的假定最小黑色的值之处,即SDR参考最小黑色mB_SDR。
例如如果创建者假设他使他的视频用于不能比0.1尼特更深的显示器(例如,由于LCD泄漏光),则他可能不想使太重要的图像对象像素明亮度接近该值,但是例如从0.2尼特SDR图像像素开始,并且可能稍微高于0.2尼特SDR图像像素,大多数像素高于1尼特水平。将存在表征主HDR图像的类似值,或更确切地说,其相关联的目标显示器,即HDR最小黑色mB_HDR(在元数据803中)。
重新分级需要是图像相关的,因此根据如上所述的我们选择的阐明编解码器,它们将有利地被编码在SDR视频元数据814中。如上所述,通常可以传送一个(或多个,甚至对于单个时刻)图像优化的明亮度映射函数,用于将归一化到最大-1HDR明亮度(或亮度)映射到归一化到最大-1SDR明亮度或亮度(即F_L参考明亮度映射函数形状(对这些函数进行编码的精确方式与本专利申请无关,并且可以在上述ETSI SLHDR标准中找到示例)。由于现在利用该函数形状(结合目标显示器、HDR和SDR的最大明亮度的元数据),规定了所有可能的图像像素明亮度的所需重新映射,因此实际上不需要关于图像的另外的元数据(如例如maxFall),但是它也可以被传送。
这将已经构成相当专业的HDR视频编码数据集合,在其上可以应用我们目前的环境自适应明亮度重映射技术。
然而(并且对于下面进一步详述的对比度优化实施例特别有用),可以(以各种方式)添加尚未很好地标准化的两个另外的元数据集。还可能的是,内容创建者在使用感知量化器的同时在默许假设下工作,即在特定照明水平(例如,10勒克斯)的查看环境中创建视频(并且因此理想地在可能时也在接收侧显示,如果想要最佳外观的话)(特定内容创建者是否也紧密遵循该照明建议是另一方式)。
如果想要增加的确定性,则可以关联主HDR图像针对其被具体分级的典型(预期)查看环境(HDR查看元数据805;任选的/点状的)。如所述的,可以制作2000尼特最大主HDR图像。但是如果该图像旨在在1000勒克斯的查看环境中查看,则分级器可能不会做出太多细微分级的暗对象明亮度(像通过包括前面的照亮的第一房间的场景的后部处的打开的门看到的暗室中略微不同的昏暗照亮的对象),因为观察者的大脑可能将只是将所有这些都视为“纯黑色”,但是如果图像通常是针对例如50勒克斯或10勒克斯的房间中的更暗的晚上查看而制作的,则情况将是不同的。对于典型的更明亮的查看情况(比如200勒克斯),还可以具体地对SDR图像进行重新分级,特别是F_L函数,并且在SDR周围元数据815中注释,并且如果期望,接收侧装置也可以采用该信息来获得其优点(或可以传送针对不同预期查看的不同SDR图像的重新分级)。
返回到图7,我们示出了一种配置,其中,期望(通过显示适配)为600尼特MDR显示器制作输出图像,即输出图像需要是PL_V_MDR=600尼特输出图像。
在我们根据本创新优化具有与输入图像相同的最大明亮度的输出图像的情况下(上面关于图6描述的简单情况),目标显示器的最小明亮度(mL_VD)的值将简单地是mB_HDR值。然而,现在我们需要为MDR显示器动态范围建立最小明亮度(作为目标显示器的最小明亮度mL_VD的适当值)。这将从两个参考图像的明亮度范围信息内插(即,在图8的标准化实施例解释中,MDCV和呈现显示颜色量PDCV通常分别在元数据803和813中共同传送或至少可获得)。
等式如下:
mL_VD=mB_SDR+(mB_HDR-mB_SDR)*(PL_V_MDR-PL_V_SDR)/(PL_V_HDR-PL_V_SDR)[等式8]
在该等式中,PL_V_MDR值被选择为等于要被提供有经显示优化的图像的显示器的PL_D显示器。
返回到图6,通过在光电转换电路611中应用等式3的v函数,将L_in替换为值dif除以PL_V_in(即,归一化明亮度差异),dif值将转换为心理视觉均匀的亮度差异(Ydif),其中,当使用PL_V_in的值时:在制作具有与输入主HDR图像相同的最大明亮度的环境调节的图像的情况下,值PL_V_HDR;分别对于适应于MDR显示器的显示的场景,PL_V_in的值是显示器的PL_D值,例如600尼特。
电光转换电路604计算中间亮度Yim的归一化线性版本,即中间明亮度Ln_im。它应用等式3的逆等式(对于RHO的相同定义等式)。对于RHO值,实际上在最简单的情况下将使用相同的PL_V_HDR值,其中,输出图像具有与输入图像相同的最大明亮度,并且仅存在更暗像素明亮度的调节。然而,在对MDR最大明亮度的显示适配的情况下,PL_D值将用于计算表征v函数的特定形状(陡度)的合适的RHO值。为了实现这一点,输出最大确定电路671可以存在于颜色处理电路600中。它通常将是逻辑处理器针对所配置的情况决定是否用作输出图像PL_O的最大明亮度,即用于确定由电光转换电路604施加的EOTF的RHO的值,分别为PL_V_HDR或PL_D(本领域技术人员理解,在一些特定的固定变型中,可以以固定等式来配置该情况)。
最终环境调节电路605通过用以下等式计算最终归一化明亮度Ln_f而在明亮度域中执行线性相加偏移:
Ln_f=(Ln_im-(mL_De2/PL_O))/(1-(mL_De2/PL_O))[等式9]
mL_De2是终端用户显示器的第二最小明亮度(也称为第二终端用户显示器最小明亮度),通常经由第三最小元数据输入部695(其可以经由中间处理电路连接到光度计)输入。它与终端用户显示器的第一最小明亮度mL_De的不同之处在于,mL_De还包含显示器的物理黑色的表征值(mB_fD),但是mL_De不包含,并且仅表征使所显示的图像劣化的环境光的量(例如,通过反射),即它仅表征mB_sur,它通常等于mB_sur。
在最终环境调节电路605内,通过可应用的PL_O值(即,例如PL_D)对mL_De2值进行归一化。
最后,在大多数变型中,如果出现通常的(即,未归一化的)输出明亮度L_o,则可能是有利的,这可以通过乘法器606来实现,乘法器606计算:
L_o=Ln_f*PL_O[等式10]
即,用输出图像的适用最大明亮度进行归一化。
有利地,一些实施例不仅可以针对环境光情况调节更暗的明亮度,而且可以在颜色处理中这样做,该颜色处理还针对显示器的减小的最大明亮度进行优化。在这种场景下,明亮度映射电路602将应用适当计算的经显示优化的明亮度映射函数FL_DA(t),其通常将由显示优化电路670加载到明亮度映射电路602中。本领域技术人员理解,显示优化的具体方式仅仅是这样的实施例的可变部分,对于环境适配元素不是典型的,但是已经利用图4和5图示了一些示例(尚未绘制可配置PL_O值的到670的输入,以免使图6过于复杂,如本领域技术人员可以理解的那样)。通常,显示适配将具有使函数处于更接近对角线以获得输入和输出最大明亮度之间的更小差异的性质,即,输出图像的期望最大明亮度(即PL_V_MDR=PL_D)将越接近输入最大明亮度(假设通常PL_V_HDR),并且因此离第二参考分级(通常PL_V_SDR)的最大明亮度越远,函数的形状将越平坦(即,在F_L和对角线之间,重分级函数版本FL_DA“越亮”)。注意,对于降级,通常将具有凸函数,这意味着(比一些中点)更暗的明亮度被相对提升,以更亮明亮度的压缩为代价。因此,对于降级,FL_DA通常将具有更不陡峭的斜率,以将最暗的输入明亮度提升到小于F_L函数(其完全重新分级到另一个极端第二参考分级)。
下面教导了第二个创新,以优化图像的对比度,这对于更亮的环境是有用的。在各种实施例中,这些元件可以与上述环境调节配合使用,但是每个创新也可以彼此分开应用。
处理输入图像以特别改进其对比度的这种方法通常包括:
获得与输入图像相关联的参考明亮度映射函数(F_L),其通过映射到对应的辅助参考图像的明亮度的明亮度(或等效亮度)来定义其重新分级需要。
输入图像通常将加倍作为第一分级参考图像。
输出图像通常将对应于在两个参考分级图像(也称为参考分级)的最大明亮度之间的最大明亮度情况,并且通常将针对对应的MDR显示器(与主HDR输入图像相比的中等动态范围HDR显示器)被计算,其中,经优化的输出图像的最大明亮度的关系是:PL_V_MDRPL_D_MDR。
应用-任何实施例的-显示适配,如通常用于更低最大明亮度显示器的显示适配,但现在以特别不同的方式(即,显示适配的大多数技术元素保持原样,但有一些改变)。
显示适配处理确定基于参考明亮度映射函数(F_L)的经适配的明亮度映射函数(FL_DA)。该函数F_L可以是静态的,即对于若干图像是相同的(在这种情况下,FL_DA仍然可以改变,例如,如果环境照明显著改变或在用户控制动作的情况下改变),但是它也可以随时间改变(F_L(t))。参考明亮度映射函数(F_L)通常可以来自内容创建者,但是也可以来自视频图像的接收侧处的任何装置中的最优重新分级函数计算自动机(正如归于关于图6-8阐明的偏移确定实施例)。
经适配的明亮度映射函数(FL_DA)将被应用于输入图像像素亮度,以获得输出明亮度,
与现有显示适配的关键差异(而度量定义(即用于定位各种最大明亮度的数学)和度量的取向可以是相同的;例如,可以通过使对角线上的任何位置上的一个点对应于归一化到1的Yn_CC0亮度并且另一个点在F_L函数的轨迹上的某处来缩放度量,例如,当竖直地在其上方时,当度量定位端点的另一坐标是函数F_L的输入Yn_CC0亮度时,其将对应于F_L的输出亮度或明亮度)是现在基于经调节的最大明亮度值(PL_V_CO)而不是所需输出图像的最大值(通常为PL_V_MDR)来计算用于获得经适配的明亮度映射函数(FL_DA)的度量上的位置(或更确切地说,通过F_L函数的形状的度量的所有缩放版本)。
该经调节的最大明亮度值(PL_V_CO)可以通过以下来确定:
-获得环境照明值(Lx_sur);
-通过将参考照明值(GenVwLx)除以环境照明值(Lx_sur)来获得相对环境光水平(SurMult);
-获得作为输出最大明亮度(PL_V_MDR)乘以相对环境光水平(SurMult)的结果的最大明亮度值(PL_V_CO)。
尽管环境照明值(Lx_sur)可以以各种方式获得,例如,观察者通过检查测试图案的可见性来凭经验确定它,但是它通常将由通过照度计902的测量产生,照度计902通常将相对于显示器适当地放置(例如,在边框边缘上,并且大致指向与屏幕前板相同的方向,或集成在移动电话的侧面上等)。
参考环境值GenVwLx也可以以各种方式确定,但通常是固定的,因为它与对于典型的目标查看情况预期的合理(“平均”)环境照明有关。
在电视显示查看的情况下,这通常可以是查看室。
起居室的实际照明可以显著变化,例如,取决于观察者是在白天还是在晚上观看,而且还取决于在哪种房间配置(例如,他具有小窗还是大窗,以及显示器与窗相比如何定位,或在晚上:是否使用一个大气灯,或是家庭的另一成员做需要足够照明量的精确工作)。
例如,即使在白天期间,当由于冰雹风暴来临而天空突然明显变暗时,外部照明可能低至200勒克斯(lx),并且来自自然照明的室内光水平通常低100x,因此室内其将仅为2lx。这开始具有夜间外观(在白天期间特别奇怪),因此这是一个点,其中,许多用户将通常为了舒适而打开至少一个灯,从而再次有效地提高水平。正常的室外水平可以是冬季的10000lx至夏季的100000lx,因此可以是50倍或更亮。
但是其他观察者可能发现在黑暗中观看视频(尤其是HDR视频)是方便的,使得他们可以例如更可怕地享受恐怖电影,和/或更好地看到黑暗场景。
尽管在中世纪是典型的,但是一支蜡烛的照明现在可能是下限,这仅仅是因为对于在这样的水平下的城市居民,更多的光总之可能从室外灯(如城市灯)泄漏。坎德拉通常被定义为典型蜡烛的明度,因此如果将表面放置为距离蜡烛一米,它将得到1lx,这仍然使得物体可观看,但是例如纸上的文本不是高度容易阅读的(作为参考,1lx对户外月亮场景也是典型的)。因此,如果用许多蜡烛照亮5米宽的房间,则将实现该照明水平。即使单个40W白炽灯泡也已经产生比蜡烛多大约40倍的光,因此对于大多数观察者,一个或几个这样的灯将是更典型的环境光水平。因此,可能预期像k*10lx之类的东西用于在没有太多(大气)光的情况下观看。然而,视频可能已经被定义为使得它们在白天期间也是合理可观看的,在这种情况下,照明可以是n*50lx(例如,如果200W的灯泡集合放置在大约2米远处,则得到大约3000/50勒克斯;如果要观看厨房中的食谱的显示,则可能想要大约3倍高的光水平,以安全地执行烹饪活动,如切割)。
对于移动/户外情况,光水平可以更高,例如当坐在火车的窗附近或在阴影中的树下等时,则光水平可以是例如1000lx。
我们将假设,但不希望限制,用于电视节目视频查看的GenVwLx的良好值将是100lux。
假设光传感器测量Lx_sur=550勒克斯。
然后,相对环境光水平可以被计算为:
SurMult=GenVwLx/Lx_sur=100/550=0.18.[等式11]
然后,针对1000尼特MDR显示器的经调节的最大明亮度值PL_V_CO将是:
PL_V_CO=PL_D*SurMult=1000*0.18=180尼特[等式12]
在实施例中,这可以由用户进一步控制,因为他认为自动对比度校正太强或反之亦然太弱(当然,在一些系统和/或情况下,自动设置可能是优选的,以免太多地打扰观察者)。
在这种情况下,显示适配将针对-即代替-在显示适配过程中的经调节的最大明亮度值PL_V_CO使用经用户调节的最大明亮度值(PL_V_CO_U),经用户调节的最大明亮度值(PL_V_CO_U)通常可以由下式定义:
PL_V_CO_U=PL_V_CO–UCBval[等式13]
用户控制值UCBVal可以通过任何适当缩放的用户输入(例如,以当滑块处于最大值时用户将不会荒谬地改变对比度使得例如所有暗图像区域看起来几乎像亮HDR白色的这种方式缩放的滑块设置(UCBSliVal,例如,在零校正周围对称地下降,或在零校正处开始等))来控制。
为此,装置(例如显示器)制造商可以预先设计合适的强度值(EXCS),并且然后等式可以是:
UCBVal=PL_D*UCBSliVal*EXCS[等式14]
例如如果想要100%对应于10%额外的基于最大明亮度的对比度变化,则得到:
PL_D*1*EXCS=0.1*PL_D,因此EXCS=0.1等(在特定实施例中,发现0.75的值是良好的)。
图9示出了典型装置构造中的可能实施例元件。
用于处理输入图像900以获得输出图像的装置(也称为环境优化显示优化装置)具有用于接收作为与输入图像相关联的元数据的参考明亮度映射函数(F_L)的数据输入(920)。该函数再次指定第一参考图像的明亮度与第二参考图像的明亮度之间的关系。在若干实施例中,这两个图像可以再次由视频的创建者分级,并且例如通过卫星电视广播与视频本身作为元数据共同传送。然而,适当的重新分级明亮度映射函数F_L也可以由接收侧装置(例如电视显示器)中的重新分级自动机来确定。该函数可以随时间变化(F_L(t))。
输入图像通常用作第一参考分级,从第一参考分级确定经显示和环境优化的图像,并且输入图像通常可以是HDR图像。经显示适配的输出图像的最大明亮度(即,输出最大明亮度PL_V_MDR)通常落在两个参考图像的最大明亮度之间。
该装置通常包括或等效地连接到照度计(902),该照度计(902)被布置为确定落在显示器(即被供应有要观看的经优化的图像的显示器)上的周围环境的光量。来自查看环境的该照明量被表示为环境照明值(Lx_sur),其可以以勒克斯为单位或被表示为以尼特为单位的等效明亮度,因为它将在划分中使用。
显示适配电路510被布置为确定基于参考明亮度映射函数(F_L)的经适配的明亮度映射函数(FL_DA)。它实际上还进行像素颜色处理,因此它包括类似于上述颜色变换器202的明亮度映射器(915)。还可能涉及颜色处理。配置处理器511可以在运行当前图像的每像素处理之前进行要使用的(经环境优化的)明亮度映射函数的实际确定。这样的输入图像(513)经由图像输入部(921)(例如,IC引脚)接收,图像输入部(921)本身可以连接到进入装置的某个图像供应,例如,HDMI线缆等。
根据上述显示适配算法变型,基于参考明亮度映射函数F_L和最大明亮度的某个值来确定经适配的明亮度映射函数(FL_DA),但是现在最大明亮度不是连接的显示器的典型最大明亮度(PL_D),而是被调节到查看环境中的光量(并且潜在地另外的用户校正)的具体调节的最大明亮度值(PL_V_CO)。明亮度映射器将经适配的明亮度映射函数(FL_DA)应用于输入像素明亮度,以获得输出明亮度,
为了计算经调节的最大明亮度值(PL_V_CO),该装置包括最大明亮度确定单元(901),其连接到显示适配电路510以将该经调节的最大明亮度值(PL_V_CO)供应给显示适配电路(510)。
该最大明亮度确定单元(901)从存储器905获得参考照明值(GenVwLx)(例如,该值可以由装置制造商预先存储,或可以基于进入哪种类型的图像来选择,或加载有与图像共同传送的典型预期周围元数据等)。它还获得最大明亮度(PL_V_MDR),其可以是例如存储在显示器中的固定值,或可在能够向各种显示器提供图像的装置(例如机顶盒或其他图像预处理装置)中配置。
经调节的最大明亮度值(PL_V_CO)由最大明亮度确定单元(901)确定如下:
-首先,通过将参考照明值(GenVwLx)除以环境明亮度值(Lx_sur)来确定相对环境光水平(SurMult);
-然后,经调节的最大明亮度值(PL_V_CO)被确定为输出最大明亮度(PL_V_MDR)乘以相对环境光水平(SurMult)的结果。
在一些实施例中,用户(观察者)还可以根据他的品味控制显示适配的自动环境优化。
用户接口控制部件904耦合到其上,例如滑块,其允许用户设置更高或更低的值,例如滑块设置UCBSliVal。该值被输入到用户值电路903,用户值电路903向最大明亮度确定单元901传送如由等式14(PL_D=PLV_MDR)计算的用户控制值UCBVal。
图10示出了特定明亮度映射函数F_L的处理的示例。我们假设参考映射函数(1000)是简单的明亮度恒等变换,即,其限幅至600尼特的最大显示能力以上。此处,明亮度映射在等效心理视觉均匀化亮度的曲线图上表示,如可根据等式3计算的。输入归一化亮度Yn_i对应于HDR输入明亮度,我们假设其是1000尼特最大明亮度HDR图像(即,在等式中使用针对PL_V_HDR=1000尼特的RHO)。对于输出归一化亮度Yn_o,我们假设600尼特的示例性显示,因此,通过使用对应于600尼特的RHO值将它们重新转换为明亮度。为方便起见,右侧和顶部是亮度位置的对应的明亮度。因此,该选定的F_L参考映射函数1000在视觉上均匀化的亮度域中执行均衡压缩。经(环境)适配的明亮度映射函数FL_DA被示出为曲线1001。一方面,我们看到偏移Bko,其尤其取决于显示器的漏黑。另一方面,我们看到主要增强最暗的黑色的曲率,这是由于非线性心理视觉均匀化亮度域中的处理的残余效应。
图11示出了对比度增强实施例的示例(其中,环境照明的偏移被设置为零,但是如上所述,两个处理可以被组合)。如果改变相对归一化心理视觉均匀化亮度域中的明亮度映射,则该相对域可以从值零开始。主HDR图像可以在某个黑色值处开始,但是对于更小的输出,可以使用黑色偏移来将其映射到零(或映射到显示器的最小黑色;注意:显示器可以具有更暗输入的各种行为,例如限幅,因此可以将真正的零置于那里)。
如果使用经修改的显示适配,则黑零输入通常将映射到黑零,无论经调节的最大明亮度值(PL_V_CO)的值如何。通常,输出亮度的零点可以在虚拟黑色水平mL_VD(理想地)或实际终端用户显示器的最小黑色mB_fD处开始,但是在任何情况下,存在这些最暗颜色的差分增亮,从而导致像夜景的暗图片的更好的可见对比度(输入明亮度直方图1010在输出亮度的归一化亮度轴上被拉伸为输出明亮度直方图1011,尽管更低的PL_V_MDR=PL_D=600尼特,其仍将给出足够的图像对比度)。当两种方法被组合时,获得适当的黑色水平偏移BK0的所有处理最好移位到关于图6等解释的处理(即,可以利用从零开始的图像和从零开始的函数来进行经调节的对比度处理)。在实践中,可以总是简单地定义从零开始的F_L曲线(将零HDR明亮度或亮度映射到零输出明亮度或亮度),而不管这样的值是否实际出现在输入图像中,因为显示适配明亮度(亮度)映射无论如何都将简单地发生。
注意,另一实施例可以不存在照度计,而仅存在用户控件(904、903)。然后,该实施例将仅基于用户输入来改变对比度,就好像没有等式13的PL_V_CO的自动环境校正一样。然后,终端用户显示器的最大明亮度PL_D将根据等式15用作中性点:
PL_V_CO_U=PL_D–UCBval[等式15]
本文中公开的算法分量可以(全部或部分地)实际上被实现为硬件(例如,程序特异性IC的部分)或在特殊数字信号处理器或通用处理器等上运行的软件。
从我们的介绍中技术人员应当可以理解哪些部件可以是任选的改进并且能够与其他部件组合实现,以及方法的(任选的)步骤如何对应于装置的相应单元,并且反之亦然。本申请中的“装置”一词以其最广泛的意义使用,即一组单元允许实现特定目标,并且因此能够例如是IC(的小电路部分)、或专用器具(例如带显示器的器具)、或网络系统的一部分等。“布置”也旨在以最广泛的意义使用,因此它可以尤其包括单个装置、装置的一部分、协作装置(的部分)的集合等。
计算机程序产品指代应当被理解为包括在一系列加载步骤(其可以包括中间转换步骤,例如翻译成中间语言,以及最终处理器语言)之后使得通用或专用处理器能够将命令输入到处理器中并且执行本发明的特征功能中的任何的命令集合的任何物理实现。特别地,计算机程序产品可以被实现为载体(例如,磁盘或磁带)上的数据、存在于存储器中的数据、经由网络连接-有线或无线-传输的数据、或纸上的程序代码。除了程序代码之外,程序所需的特征数据也可以被体现为计算机程序产品。
操作该方法所需的步骤中的一些可以已经存在于处理器的功能中而不是在计算机程序产品中描述,例如数据输入和输出步骤。
应注意,上述实施例说明而非限制本发明。在技术人员能够容易地实现所呈现的示例到权利要求的其他区域的映射的情况下,我们为了简洁而未深入提及所有这些选项。除了在权利要求中组合的本发明的元件的组合之外,元件的其他组合也是可能的。能够在单个专用元件中实现元件的任何组合。
权利要求中括号内的任何参考标记不旨在用于限制权利要求。“包括”一词不排除权利要求中未列出的元件或方面的存在。元件前面的词语“一个”或“一个”不排除存在多个这样的元件。
Claims (7)
1.一种处理输入图像以获得输出图像的方法,
其中,所述输入图像具有输入明亮度落入第一明亮度动态范围(DR_1)内的像素,所述第一明亮度动态范围具有第一最大明亮度(PL_V_HDR),
其中,接收参考明亮度映射函数(F_L),所述参考明亮度映射函数为与所述输入图像相关联的元数据,
其中,所述参考明亮度映射函数指定两个图像中的并置像素的明亮度之间的关系,所述两个图像被不同地分级,其中,相同图像对象的像素明亮度在所述两个图像中具有不同的像素明亮度,
其中,所述参考明亮度映射函数指定所述输入图像的明亮度与具有第二参考最大明亮度(PL_V_SDR)的辅助参考图像的明亮度之间的关系,
其中,所述输出图像是与所述输入图像和所述辅助参考图像不同的对象像素明亮度的分级,并且其中,所述输出图像具有与所述第一最大明亮度和所述第二参考最大明亮度(PL_V_SDR)不同的输出最大明亮度(PL_V_MDR);
其中,所述处理包括确定基于所述参考明亮度映射函数(F_L)的经适配的明亮度映射函数(FL_DA),并且将所述经适配的明亮度映射函数(FL_DA)应用于所述输入像素明亮度,以获得输出明亮度,
其特征在于,所述经适配的明亮度映射函数(FL_DA)是基于经调节的最大明亮度值(PL_V_CO)来计算的,
其中,对所述经适配的明亮度映射函数(FL_DA)的所述计算涉及在度量(SM)上找到最大明亮度的位置(pos),所述位置对应于所述经调节的最大明亮度值(PL_V_CO),
其中,所述度量的第一端点对应于所述第一最大明亮度(PL_V_HDR),并且所述度量的第二端点对应于所述第二参考图像的第二参考最大明亮度(PL_V_SDR),
其中,对于任何归一化输入亮度(Yn_CC0),所述度量的所述第一端点并置在对角线上的点上,所述点的水平坐标和竖直坐标等于该归一化输入亮度,
其中,所述第二端点与所述参考明亮度映射函数(F_L)的输出值并置,其中,所述第二端点位于所述参考明亮度映射函数(F_L)的点的轨迹上;
其中,所述经调节的最大明亮度值(PL_V_CO)是通过以下操作确定的:
-获得环境照明值(Lx_sur);
-通过将参考照明值(GenVwLx)除以所述环境照明值(Lx_sur)来获得相对环境光水平(SurMult);
-获得所述经调节的最大明亮度值(PL_V_CO),所述经调节的最大明亮度值为将所述输出最大明亮度(PL_V_MDR)乘以所述相对环境光水平(SurMult)的结果。
2.根据权利要求1所述的处理输入图像的方法,其中,所述参考明亮度映射函数(F_L)是由所述输入图像的创建者创建的,并且作为元数据通过图像通信信道被接收。
3.根据前述权利要求中的一项所述的处理输入图像的方法,包括:
-从显示器的用户获得输入值(UCBSliVal);
-通过将所述输入值乘以强度值(EXCS)和所述输出最大明亮度(PL_V_MDR)来计算用户控制值(UCBVal);
-从所述最大明亮度值(PL_V_CO)中减去所述用户控制值(UCBVal)以获得经用户调节的最大明亮度值(PL_V_CO_U);并且
-使用所述经用户调节的最大明亮度值(PL_V_CO_U)作为所述度量上的位置以确定所述经适配的明亮度映射函数(FL_DA)。
4.根据前述权利要求中的一项所述的处理输入图像的方法,其中,除了将所述输入图像中的最暗黑色设置为作为所述环境照明值(Lx_sur)的函数的黑色偏移值之外,执行所述处理。
5.一种用于处理输入图像以获得输出图像的装置,
其中,所述输入图像具有输入明亮度落入第一明亮度动态范围(DR_1)内的像素,所述第一明亮度动态范围具有第一最大明亮度(PL_V_HDR),所述装置包括:
-图像输入部(921),其被布置为获得所述输入图像(513);
-数据输入部(920),其用于接收参考明亮度映射函数(F_L),所述参考明亮度映射函数为与所述输入图像相关联的元数据,
其中,所述参考明亮度映射函数指定两个图像中的并置像素的明亮度之间的关系,所述两个图像被不同地分级,其中,相同图像对象的像素明亮度在所述两个图像中具有不同的像素明亮度,
其中,所述参考明亮度映射函数指定所述输入图像的明亮度与辅助参考图像的明亮度之间的关系,所述辅助参考图像具有第二参考最大明亮度(PL_V_SDR),
其中,所述第二参考图像具有与所述第一最大明亮度不同的第二参考最大明亮度,
其中,所述输出图像是与所述输入图像和所述辅助参考图像不同的对象像素明亮度的分级,并且其中,所述输出图像具有与所述第一最大明亮度和所述第二参考最大明亮度(PL_V_SDR)不同的输出最大明亮度(PL_V_MDR);
-照度计(902),其被布置为确定落在显示器上的周围环境的光量,所述光量被表示为环境照明值(Lx_sur);
-显示适配电路(510),其被布置为确定基于所述参考明亮度映射函数(F_L)的经适配的明亮度映射函数(FL_DA),并且被布置为将所述经适配的明亮度映射函数(FL_DA)应用于输入像素明亮度或对应亮度,以获得输出明亮度或对应亮度,
其特征在于,所述装置包括最大明亮度确定单元(901),所述最大明亮度确定单元被布置为:确定经调节的最大明亮度值(PL_V_CO),并且将所述经调节的最大明亮度值供应给所述显示适配电路(510),
其中,所述最大明亮度确定单元(901)被布置为:从存储器(905)获得参考照明值(GenVwLx),并且获得输出最大明亮度(PL_V_MDR),并且接收所述环境照明值(Lx_sur),并且通过以下操作来确定所述经调节的最大明亮度值(PL_V_CO):
-通过将所述参考照明值(GenVwLx)除以所述环境照明值(Lx_sur)来确定相对环境光水平(SurMult),并且
-确定所述经调节的最大明亮度值(PL_V_CO),所述经调节的最大明亮度值为将所述输出最大明亮度(PL_V_MDR)乘以所述相对环境光水平(SurMult)的结果;并且
其特征在于,所述显示适配电路(510)被布置为基于所述经调节的最大明亮度值(PL_V_CO)来确定所述经适配的明亮度映射函数(FL_DA),
其中,对所述经适配的明亮度映射函数(FL_DA)的所述计算涉及在度量(SM)上找到与所述经调节的最大明亮度值(PL_V_CO)相对应的位置(pos),
其中,所述度量的第一端点与所述第一最大明亮度(PL_V_HDR)相对应,并且所述度量的第二端点与所述第二参考图像的最大明亮度相对应,
其中,对于任何归一化输入亮度(Yn_CC0),所述度量的所述第一端点并置在对角线上的点上,所述点的水平坐标和竖直坐标等于所述输入亮度,
其中,所述第二端点与所述参考明亮度映射函数(F_L)的输出值并置。
6.根据权利要求5所述的用于处理输入图像的装置,包括用户值电路(903),所述用户值电路被布置为:
-从显示器的用户获得输入值(UCBSliVal);
-通过将所述输入值乘以强度值(EXCS)和所述输出最大明亮度(PL_V_MDR)来计算用户控制值(UCBVal);
并且其中,所述最大明亮度确定单元(901)被布置为:
-接收所述用户控制值(UCBVal),并且从所述最大明亮度值(PL_V_CO)中减去所述用户控制值以获得经用户调节的最大明亮度值(PL_V_CO_U);并且
-其中,所述显示适配电路(510)被布置为使用所述经用户调节的最大明亮度值(PL_V_CO_U)作为所述度量上的位置以确定所述经适配的明亮度映射函数(FL_DA)。
7.根据权利要求5或6所述的用于处理输入图像的装置,包括黑色适配电路,所述黑色适配电路被布置为将所述输入图像中的最暗黑色亮度设置为作为所述环境照明值(Lx_sur)的函数的黑色偏移亮度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21172660.9A EP4086843A1 (en) | 2021-05-07 | 2021-05-07 | Display-optimized hdr video contrast adaptation |
EP21172660.9 | 2021-05-07 | ||
PCT/EP2022/060792 WO2022233612A1 (en) | 2021-05-07 | 2022-04-24 | Display-optimized hdr video contrast adaptation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117296076A true CN117296076A (zh) | 2023-12-26 |
Family
ID=75870410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280033652.8A Pending CN117296076A (zh) | 2021-05-07 | 2022-04-24 | 经显示优化的hdr视频对比度适配 |
Country Status (3)
Country | Link |
---|---|
EP (2) | EP4086843A1 (zh) |
CN (1) | CN117296076A (zh) |
WO (1) | WO2022233612A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3022895B1 (en) | 2013-07-18 | 2019-03-13 | Koninklijke Philips N.V. | Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images |
JP6619813B2 (ja) | 2014-12-11 | 2019-12-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 特定のディスプレイに対する高ダイナミックレンジ画像の最適化 |
CN109219961B (zh) | 2016-03-18 | 2023-07-04 | 皇家飞利浦有限公司 | 对hdr视频进行编码和解码的方法和装置 |
US10930223B2 (en) * | 2016-12-22 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Ambient light-adaptive display management |
EP3909252A1 (en) * | 2019-01-09 | 2021-11-17 | Dolby Laboratories Licensing Corporation | Display management with ambient light compensation |
US11473971B2 (en) * | 2019-09-27 | 2022-10-18 | Apple Inc. | Ambient headroom adaptation |
-
2021
- 2021-05-07 EP EP21172660.9A patent/EP4086843A1/en not_active Withdrawn
-
2022
- 2022-04-24 WO PCT/EP2022/060792 patent/WO2022233612A1/en active Application Filing
- 2022-04-24 EP EP22724767.3A patent/EP4334888A1/en active Pending
- 2022-04-24 CN CN202280033652.8A patent/CN117296076A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4334888A1 (en) | 2024-03-13 |
WO2022233612A1 (en) | 2022-11-10 |
EP4086843A1 (en) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6596125B2 (ja) | Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 | |
JP6615251B2 (ja) | Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置 | |
CN108431886B (zh) | 针对特定显示器优化高动态范围图像 | |
US11521537B2 (en) | Optimized decoded high dynamic range image saturation | |
RU2589871C2 (ru) | Устройства и способы кодирования и декодирования изображения hdr | |
CN109219961B (zh) | 对hdr视频进行编码和解码的方法和装置 | |
JP2019504548A (ja) | 画像及びビデオのためのダイナミックレンジ符号化 | |
RU2723676C2 (ru) | Обработка множественных источников изображения hdr | |
JP2022541884A (ja) | Hdr画像のための表示最適化挙動の調節 | |
CN117296076A (zh) | 经显示优化的hdr视频对比度适配 | |
CN117280381A (zh) | 经显示优化的环境光hdr视频适配 | |
EP4086844A1 (en) | Display-optimized hdr video contrast adaptation | |
EP4086842A1 (en) | Content-optimized ambient light hdr video adaptation | |
JP2024517242A (ja) | ディスプレイに最適化された環境光hdrビデオ適応 | |
JP7300070B2 (ja) | 飽和色のための改善されたhdrカラー処理 | |
JP2024517241A (ja) | ディスプレイに最適化されたhdrビデオコントラスト適応 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |