CN107924559A - 通过使用参数化色调调整函数对图片进行色调映射的方法和设备 - Google Patents

通过使用参数化色调调整函数对图片进行色调映射的方法和设备 Download PDF

Info

Publication number
CN107924559A
CN107924559A CN201680049614.6A CN201680049614A CN107924559A CN 107924559 A CN107924559 A CN 107924559A CN 201680049614 A CN201680049614 A CN 201680049614A CN 107924559 A CN107924559 A CN 107924559A
Authority
CN
China
Prior art keywords
value
adjustment function
tone
picture
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680049614.6A
Other languages
English (en)
Other versions
CN107924559B (zh
Inventor
F.勒利内克
S.拉塞尔
T.波里尔
E.弗朗索瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP15306196.5A external-priority patent/EP3121787A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107924559A publication Critical patent/CN107924559A/zh
Application granted granted Critical
Publication of CN107924559B publication Critical patent/CN107924559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Television Receiver Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本原理涉及通过使用参数化色调调整函数对输入图片进行色调映射的方法和设备。该方法的特征在于，该方法包括，确定由输入图片的明亮度等级调制的所述色调调整函数的至少一个参数。

Description

通过使用参数化色调调整函数对图片进行色调映射的方法和 设备
技术领域
本原理通常涉及图片/视频色调映射。具体地但不排他地，本原理的技术领域涉及像素值属于高动态范围的图片的色调映射。
背景技术
本部分旨在向读者介绍可能与下面描述和/或要求保护的本原理的各个方面有关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本原理的各个方面。因此，应当理解，这些陈述要在该角度上来阅读，而不是作为对现有技术的承认。
在下文中，图片包含以特定的图片/视频格式的一个或若干采样(像素值)阵列，该特定的图片/视频格式指定与图片(或视频)的像素值有关的所有信息以及例如可以由显示器和/或任何其他设备使用以对图片(或视频)进行可视化和/或解码的所有信息。图片包括以第一采样阵列的形状的至少一个分量，通常为照度(或亮度)分量，以及可能的以至少一个其他采样阵列的形状的至少一个其他分量，通常为色彩分量。或者，等同地，相同的信息也可以通过彩色采样阵列的集合来表示，诸如传统的三色RGB表示。
像素值通过C个值的向量来表示，其中C是分量的数量。向量的每个值用定义像素值的最大动态范围的多个比特来表示。
标准动态范围图片(SDR图片)是其亮度值用通常以二的幂或光圈值(f-stop)测量的有限动态来表示的彩色图片。SDR图片具有10个光圈值左右的动态，即在线性域中最亮像素与最暗像素之间的比率为1000，并且用有限的比特数(在非线性域中的HDTV(高清晰度电视系统)和UHDTV(超高清晰度电视系统)中常常是8或10，例如通过使用ITU-R BT.709 OEFT(光电传递函数)(Rec.ITU-R BT.709-5，2002年4月)或ITU-R BT.2020 OETF(Rec.ITU-RBT.2020-1，2014年6月)进行编码以减少动态。这种有限的非线性表示不允许正确呈现小信号变化，特别是在暗和亮的亮度范围中。在高动态范围图片(HDR图片)中，信号动态高得多(多达20个光圈值，最亮像素与最暗像素之间的比率为一百万)，并且需要新的非线性表示，以便在其整个范围上保持信号的高精度。在HDR图片中，通常以浮点格式(对于每个分量为32比特或16比特，即浮点或半浮点)来表示原始数据，最流行的格式为openEXR半浮点格式(每RGB分量16比特，即每像素48比特)，或者以具有长表示的整数，通常至少16比特。更紧凑的表示确实存在，比如例如通过使用SMPTE 2084(SMPTE标准:High Dynamic RangeElectro-Optical Transfer Function of Mastering Reference Displays,SMPTE ST2084:2014)中定义的所谓的PQ OETF而获得的10或12比特格式。
色调映射是减少输入图片的动态范围的众所周知的操作。
色调映射操作可以被实现为色调调整函数，该色调调整函数为每个输入HDR值确定输出SDR值，或者相反。
图1示出了色调调整函数的示例(通过曲线在图形上表示)，如与SMPTE DG“Dynamic Metadata for Color Transforms of HDR and WCG Images”中讨论的“同一模型”有关的Philips HDR proposal Dynamic range conversion，R.Nijland KoninklijkePhilips N.V.20150421中定义的那样。
色调调整函数是在以下三个范围(时间区间)上定义的参数化色调调整函数：底部区间、中部区间和上部区间。
在底部区间上，色调调整函数是线性的：y＝SGC*x，其中SGC是实数参数值，y是输出值，x是输入值。
在上部区间上，色调调整函数也是线性的：y＝HGC*x+(1-HGC)，其中HGC是斜率(实数参数值)。
在中部区间上，色调调整函数是以平滑交叉连接两个线性区间的抛物线ax2+bx+c，xSGC。交叉的宽度由实数参数值MTA确定。
其中
并且
根据该现有技术，参数SGC、HGC和MTA参数值如下取决于三个输入参数值shadowGainControl、midTonesAdjustement和highlightGainControl：
其中且
例如，在以上等式中，Ltarget等于100尼特，Lsource优选等于4000尼特或5000尼特，并且函数v是恒等函数。
因此，必须给出三个输入参数shadowGainControl、highLightGainControl和midTonesAdjustement以指定色调调整函数，该色调调整函数是分段线性的和抛物线的。
本公开不限于特定的参数化色调调整函数。
指定参数化色调调整函数的输入参数可以根据人的艺术意图来手动选择，但是这使得难以以适当且稳健的方式在许多视频内容上配置自动色调映射方法以用于定义这些参数。
发明内容
以下给出本原理的简要概述，以便提供对本原理的一些方面的基本理解。该概述不是本原理的广泛概览。其并非旨在标识本原理的关键或重要元素。以下概述仅以简化形式呈现本原理的一些方面，作为对以下提供的更详细的描述的前序。
本原理提出利用一种通过使用在多个范围上定义的参数化调整函数对输入图片进行色调映射的方法来补救现有技术的至少一个缺陷，色调调整函数的至少一个参数与每个范围相关联。该方法包括，在至少一个范围上定义非线性色调调整函数，以及确定由输入图片的明亮度等级调制的所述色调调整函数的至少一个参数。
根据本原理的示例，在三个范围上定义色调调整函数。
根据本原理的示例，色调调整函数在第一范围上是线性的，在第二范围上是抛物线的，并且在第三范围上是线性的。
根据本原理的示例，定义色调调整函数：
-在第一范围上为：
y＝SGC*x
其中SGC是实数参数值，y是输出值，并且x是输入值；
-在第二范围上为：
ax2+bx+c，xSGC＜x＜xHGC
-在第三范围上为：
y＝HGC*x+(1-HGC)
其中HGC是斜率；
其中
其中MTA是实数参数值，以及
其中且
其中shadowGainControl和midTonesAdjustement是通过以下给出的实数值：
其中highlightGainControl是实数值，并且调制值Ba响应于输入图片的明亮度等级并以尼特表示。
根据本原理的示例，实数值highlightGainControl是常数值。
根据本原理的示例，除了调制值之外，实数值highlightGainControl被保持为另一参数。
根据本原理的示例，通过以下给出实数值highlightGainControl：
highlightGainControl＝2-2*exp(-0.26/Ba)。
根据本原理的示例，定义色调调整函数：
-在第一范围上为：
其中SGC是实数参数值，y是输出值，并且x是输入值；
-在第二范围上为：
-在第三范围上为：
其中HGC是斜率；
其中
其中MTA是实数参数值，以及
其中且
其中midTonesAdjustement是通过以下给出的实数值：
其中highlightGainControl是实数值，并且调制值Ba响应于所述输入图片的明亮度等级并以尼特表示。
根据本原理的示例，色调调整函数是通过以下定义的参数化对数函数：
baN＝Ba/PeakL
其中k是常数值，y是输出值，并且x是输入值，并且PeakL是输入图片的峰值亮度值。
根据本原理的示例，调制值响应于输入图片的中间色调等级。
根据本原理的示例，基于黑色等级和白色等级来确定中间色调等级。
根据本原理的示例，将中间色调等级确定为以下之一：黑色等级和白色等级的(1)几何均值以及(2)对数均值。
根据本原理的示例，输入图像是在视频序列中包括的多个图片中的一个，并且其中针对多个图片中的每一个执行调制值的确定，其中针对多个图片的调制值在时间上平滑。
根据本公开的其他方面，本公开涉及一种通过使用在多个范围上定义的参数化逆色调调整函数对输入图片的色调映射版本进行逆色调映射的方法，色调调整函数的至少一个参数与每个范围相关联。该方法的特征在于，该方法包括，在至少一个范围上定义非线性色调调整函数，以及获得由输入图片的明亮度等级调制的逆色调调整函数的至少一个参数。
根据本公开的其他方面，本公开涉及一种对输入图片进行编码的方法，包括：
-从输入图片的分量值获得最大值；
-根据以上方法，通过对所述最大值进行色调映射来获得线性值；
-将输入图片乘以线性值与最大值之间的比率。
根据本公开的其他方面，本公开涉及一种对图片进行解码的方法，包括：
-从经解码的图片的分量值获得最大值；
-根据以上方法，通过对所述最大值进行逆色调映射来获得非线性值；
-将经解码的图片乘以非线性值与最大值之间的比率。
根据本公开的其他方面，本公开涉及一种用于通过使用在多个范围上定义的参数化色调调整函数对输入图片进行色调映射的设备，色调调整函数的至少一个参数与每个范围相关联，其特征在于，所述设备包括处理器，所述处理器被配置为在至少一个范围上定义非线性色调调整函数，以及确定由输入图片的明亮度等级调制的所述色调调整函数的至少一个参数。
根据本公开的其他方面，本公开涉及一种用于对输入图片进行编码的设备，其包括处理器，所述处理器被配置为：
-从输入图片的分量值获得最大值；
-根据以上方法，通过对所述最大值进行色调映射来获得线性值；
-将输入图片乘以线性值与最大值之间的比率。
根据本公开的其他方面，本公开涉及一种用于对图片进行解码的设备，其包括处理器，所述处理器被配置为：
-从经解码的图片的分量值获得最大值；
-根据以上方法，通过对所述最大值进行逆色调映射来获得非线性值；
-将经解码的图片乘以非线性值与最大值之间的比率。
根据本公开的其他方面，本公开涉及一种携带编码图片的信号，其特征在于，所述信号还携带信息数据，所述信息数据指示响应于经编码的输入图片的明亮度等级的调制值。
根据本原理的其他方面，本原理涉及一种计算机程序产品，其包括当在计算机上执行该程序时执行以上方法的步骤的程序代码指令，以及一种非临时性存储介质，其携带程序代码的指令，用于当在计算设备上执行所述程序时执行以上方法的步骤。
根据以下结合附图对示例的描述，本原理的特定性质以及本原理的其他目的、优点、特征和使用将变得明显。
附图说明
在附图中图示了本原理的实施例。附图示出：
-图1示出了根据现有技术的色调调整函数的示例；
-图2示出了根据本原理的示例的对输入图片进行色调映射的方法的步骤的图；
-图3示出了根据现有技术的取决于输入图片的线性亮度Y的直方图的示例；
-图4-图5图示了如何确定调制值；
-图6示出了根据本原理的示例的对输入图片进行逆色调映射的方法的步骤的图；
-图7图示了根据本原理的示例的编码HDR内容的整体方法；
-图8图示了根据本原理的示例的解码HDR内容的整体方法；
-图9图示了根据本原理的示例的动态范围转换的子步骤；
-图10图示了根据本原理的示例的逆动态范围缩减的子步骤；
-图11示出了根据本原理的示例的通过对最大值T进行色调映射来获得线性值t的步骤的图；
-图12示出了根据本原理的示例的设备的架构的示例；以及
-图13示出了根据本原理的示例的通过通信网络进行通信的两个远程设备；
-图14示出了根据本原理的示例的信号的语法。
相似或相同的元素用相同的参考标号来指代。
具体实施方式
在下文中将参照附图更全面地描述本原理，附图中示出了本原理的示例。然而，本原理可以以许多替选形式来实施，并且不应被解释为限于在此阐述的示例。因此，虽然本原理可以具有各种修改和替选形式，但是其特定示例在附图中通过示例的方式示出，并且将在此详细描述。然而，应当理解，没有意图将本原理限制于所公开的具体形式，而是相反，本公开要涵盖落入由权利要求所限定的本原理的精神和范围内的所有修改、等同物和替选。
在此使用的术语仅用于描述具体示例的目的，并不旨在作为对本原理的限制。如在此使用的，单数形式“一(a)”，“一(an)”和“该”也旨在包括复数形式，除非上下文另外明确指示。还应理解，当在本说明书中使用时，术语“包含(comprise)”、“包含(comprising)”、“包括(include)”和/或“包括(including)”指定存在所述的特征、整数、步骤、操作、元素和/或组件，但不排除存在或添加一个或多个其他的特征、整数、步骤、操作、元素、组件和/或其组合。此外，当元素被称为“响应”或“连接”于另一元素时，其可以直接响应或连接于其他元素，或者可以存在中间元素。相反，当元素被称为“直接响应”或“直接连接”于其他元素时，不存在中间元素。如在此使用的，术语“和/或”包括相关所列项中的一个或多个的任何和所有组合，并且可以缩写为“/”。
应理解，虽然术语第一、第二等可以在此用于描述各种元素，但是这些素件不应受限于这些术语。这些术语仅用于将一个元素与另一个元素区分开。例如，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素，而不脱离本原理的教导。
虽然一些图包括通信路径上的箭头以示出通信的主要方向，但是应理解，通信可以在与所示箭头相反的方向上发生。
关于框图和操作流程图描述一些实施例，其中每个块表示电路元件、模块或包括用于实现指定逻辑功能的一个或多个可执行指令的代码的部分。还应注意，在其他实现方式中，块中注释的功能可以不按所注释的顺序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本同时执行，或者这些块有时可以以相反的顺序执行。
在此对“根据示例”或“在示例中”的引用意指结合示例描述的具体的特征、结构或特性可以包括在本原理的至少一个实现方式中。短语“根据示例”或“在示例中”在说明书中各处的出现不一定全部指代相同的示例，单独的或替选的示例也不一定与其他示例相互排斥。
权利要求中出现的参考标号仅作为说明，并且应该对权利要求的范围没有限制效果。
虽然没有明确描述，但是本示例和变型可以以任何组合或子组合来使用。
根据图2所示的本原理，通过使用参数化色调调整函数TAF对输入图片I进行色调映射的方法包括响应于调制值Ba来确定色调调整函数TAF的至少一个参数，调制值Ba本身响应于输入图片的明亮度等级。
根据图1所示的本原理的第一示例，色调调整函数TAF是由等式(1)、(2)和(3)给出的参数化色调调整函数，其中两个输入参数shadowGainControl和midTonesAdjustement从调制值Ba如下确定：
输入参数highlightGainControl等于常数值CST，例如CST＝2，其不取决于调制值Ba。
根据第一示例的变型，除了调制值Ba之外，输入参数highlightGainControl被保持为另一参数。
根据第一示例的变型，输入参数highlightGainControl如下取决于调制值Ba：
highlightGainControl＝2-2*exp(-0.26/Ba
在该第一示例及其变型中，调制值Ba以尼特表示，并且通常位于区间[1,40]中。
根据该第一示例及其变型，根据等式(4)从这三个输入参数获得参数SGC、HGC和MTA。
根据图1所示的本原理的第二示例，色调调整函数TAF是在以下三个不同范围上定义的参数化色调调整：底部区间、中部区间和上部区间。
在底部区间上，色调调整函数是线性的：其中SGC是实数参数值，y是输出值，x是输入值。
在上部区间上，色调调整函数也是线性的： 其中HGC是斜率(实数参数值)。
在中部区间上，色调调整函数是以平滑交叉连接两个线性部分的抛物线
交叉的宽度由实数参数值MTA确定。
简言之，色调调整函数TAF通过以下定义：
其中
并且
根据该第二示例的变型，参数SGC’、HGC’和MTA’参数值如下取决于两个输入参数值midTonesAdjustement和highlightGainControl：
其中且
例如，在以上等式中，Ltarget等于100尼特，Lsource优选等于4000尼特或5000尼特，并且v是恒等函数。
根据该第二示例的变型，输入参数midTonesAdjustement从调制值Ba如下确定：
输入参数highlightGainControl等于常数值CST，例如CST＝2。
根据第二示例的变型，除了调制值Ba之外，输入参数highlightGainControl被保持为另一参数。
根据第二示例的变型，输入参数highlightGainControl如下取决于调制值Ba：
highlightGainControl＝2-2*exp(-0.26/Ba)
在第二示例及其变型中，调制值Ba以尼特表示，并且优选位于区间[1,40]中。
根据本原理的第三示例，色调调整函数TAF是通过以下定义的参数化对数函数：
其中k是常数值，例如等于1000，并且PeakL是输入图片的峰值亮度值。
根据本原理的示例，如下获得调制值Ba：将输入图片的像素根据它们的线性亮度Y分类成直方图，如图3中的示例性直方图所示。如图3所示，直方图的最右边处于峰值亮度P。该亮度峰值假设是例如基于图片格式而提供的，并且当对视频进行色调映射时不逐图片而变化。接下来，将白色等级W定义为与直方图的最后百分位数相对应的亮度等级，将黑色等级B定义为与直方图的第一百分位数相对应的亮度等级，并且将中间色调等级M定义为黑色等级B和白色等级W的几何均值(或对数均值)：
因此，三个等级W、B和M取决于输入图片的内容。
通常，对调制值Ba和色调调整函数的选择应该保留非常暗的等级处的信息，并且还保留中间色调范围中(即，中间色调值附近)的细节。因此，在导出调制值Ba时使用两个条件：(1)黑色并不过于激进地向下截断至零；以及(2)将用于表示输入图像的中间色调范围的SDR图片中的码字数量最大化。
考虑第一个条件，即不应该将黑色过于激进向下截断至零，针对黑色等级设置下界，即，
πBa(B)≥ε (14)
其中πBa(.)是色调调整函数，B是亮度值，并且ε是参数值。
在图4中，使用示例性的色调调整函数πBa来说明将映射值πBa(B)设置为ε。不等式(14)不确定特定的调制值Ba。相反，其提供Ba的可接受的调制值的范围。
对于第二个条件(用于对中间色调范围进行编码的码字数量应该被最大化)，色调调整函数πBa在中间色调等级M处的斜率被最大化，如图5所示。
结合两个条件，可以通过求解以下最大化问题来唯一地确定调制值Ba：
为了在给出色调调整函数的情况下解出优化问题(15)，例如可以在可接受的Ba值范围内执行对Ba的系统性强力(brute-force)搜索，以针对视频的每个图片计算调制值Ba。色调调整函数可以是图1所示的色调调整函数，并且本原理可以应用于任何其他形式的色调调整函数。在等式(15)中，对于亮度Y使用对数尺度，因为它与线性域相比可以更好地表示人类亮度感知。在变型中，为了简单起见，可以基于Y而不是lnY来确定斜率。
在本原理的其他示例中，可以使用不同的方法来确定调制值，例如但不限于使用图片I的亮度的平均值、中值、最小值或最大值。这些操作可以在线性亮度域或者非线性域(诸如ln(I)或Iγ，其中γ<1)中执行。
为了进一步改善色调调整函数(曲线)，可以对调制值Ba施加一些界限，以便避免在非常暗的帧(Ba过低)和非常亮的帧(Ba过高)中超出范围(over-shooting)。例如，将调制值Ba设置为
以确定衰减的调制值Baatt，其中视觉上确定的值Bamin＝2尼特，Bamax＝50尼特，Bamid＝5尼特，以及衰减因子σ＝0.5。这可以提供与视觉上最佳的调制值更接近的调制值。
在视频序列中，可以针对所述视频序列的每个图片确定调制值Ba。为了避免快速明亮度改变的场景中的时间不一致，期望进行时间稳定化。快速改变的视频，比如示出爆炸或烟火的场景，可能导致调制值快速地逐图片变化，并且导致讨厌的照明效果。例如，假设具有静态背景和前景中的突然闪光(比如爆炸或烟火)的场景可能提供讨厌的视觉假象。在这样的情况下，由于闪光，白色W将增加，以及M然后调制值Ba也增加。当调制值Ba为高时，色调调整函数更多地抑制暗处，并且这可能导致色调调整后的图片中的背景未预期地突然变暗。为了防止色调调整后的视频序列中的发光度的这种非自然且讨厌的时间变化，提出时间稳定化，以平滑视频序列的整体发光度变化。
根据本原理的示例，使用指数稳定化。
令Ban为在图片n处确定的调制，并且Bat,n为时间稳定化之后的调制值。指数时间稳定化通过以下给出：
Bat，n＝λBan+(1-λ)Bat，n-1 (17)
其中λ是适配于图片速率的实数值。
其他时间平滑滤波器可以用于对调制值进行时间稳定化。
根据本原理的示例，该方法还包括在比特流中传送调制值Ba和可能的输入参数highlightGainControl。
例如，将调制值Ba和可能的输入参数highlightGainControl编码为包含在特定SEI消息中的元数据[Technicolor's response to CfE for HDR and WCG(category 1)-Single layer HDR video coding with SDR backward compatibility,ISO/IEC JTC1/SC29/WG11MPEG2014/M36263 2015年6月,华沙,波兰]。
根据图6所示的本原理，一种通过使用参数化逆色调调整函数ITAF对输入图片I的色调映射版本进行逆色调映射的方法。所述参数化逆色调调整函数ITAF是上述色调调整函数TAF的逆。
针对逆色调映射的所述方法包括，响应于输入图片I的明亮度等级获得调制值Ba，并且响应于所述调制值Ba获得逆色调调整函数ITAF的至少一个参数。
根据本原理的示例，当通过等式(1)定义色调调整函数TAF，并且通过等式(2)、(3)和(4)定义其参数时(第一示例或其变型之一)，如下获得逆色调调整函数ITAF，作为等式(1)中描述的色调调整函数的互反函数：
其中
xsgcInv＝xsgc*SGC
xhgcInv＝(HGC*xhgc+1.0-HGC)
并且其中SGC、HGC通过等式(4)给出。
根据本原理的示例，当通过等式(6)(第二示例)定义色调调整函数TAF，并且通过等式(7)、(8)和(9)定义其参数时，如下获得逆色调调整函数ITAF，作为公式(8)中描述的色调调整函数的互反函数：
其中
并且其中SGC’、HGC’通过等式(9)给出。
根据本原理的示例，当通过等式(7)(第三示例)定义色调调整函数时，如下定义逆色调调整函数ITAF：
baN＝Ba/PeakL
N＝log(1+1/(k.ba_N))
可以在需要色调映射(逆色调映射)处理的任何编码/解码方案中使用色调调整是(和逆色调调整函数)。
例如，Mpeg HDR/WCG Call for Evidence(Call for Evidence(CfE)for HDR andWCG Video Coding,ISO/IEC JTC1/SC29/WG11 MPEG2014/N15083,2015年2月,日内瓦,瑞士)所需的HDR/WCG编码/解码方案定义了两种类型的要求。第一种类型是HDR压缩性能，即作为编码比特率的函数的HDR视觉质量。第二种类型的要求是向后兼容性，即提供能够用现有的传统设备来解码和显示的压缩视频比特流的能力，同时提供可按原样观看的SDR(标准动态范围)图片(视频)，无需任何进一步处理。
图7图示了对HDR内容进行编码的整体方法，其提供HDR压缩和SDR向后兼容性特征(与SMPTE DG“Dynamic Metadata for Color Transforms of HDR and WCG Images”中讨论的“同一模型”有关的Philips HDR proposal Dynamic range conversion，R.NijlandKoninklijke Philips N.V.20150421)。
该方法包括动态转换步骤100，其将输入线性HDR(RHDR,GHDR,BHDR)图片转换成标注为(RSDR,GSDR,BSDR)的SDR线性RGB图片。输入HDR图片是线性光，具有优选由MasteringDisplay Max Lum元数据(SMPTE ST 2086)给出的峰值亮度。输出(RSDR,GSDR,BSDR)线性光图片为SDR，因此具有等于100尼特的峰值亮度。接下来的步骤包括伽马校正(步骤110)，其符合建议书1886的逆EOTF，色彩空间变换(步骤120)，其提供Y’CbCr输出图片，该Y’CbCr输出图片被编码成经编码的视频流F(步骤130)。
图8图示了用于解码HDR内容的整体方法。
该方法包括，对经编码的视频流F进行解码以获得经解码的Y’CbCr图片(步骤200)，逆色彩空间变换(步骤210)，其从经解码的Y’CbCr图片提供R’G’B’图片，逆伽玛校正(步骤220)以从R’G’B’图片获得SDR线性RGB图片，以及逆动态缩减(步骤230)，其将标注为(RSDR,GSDR,BSDR)的SDR线性RGB图片变换成标注为(RHDR,GHDR,BHDR)的输入HDR图片。
步骤210、220和230分别执行步骤120、110和100的相应操作。
图9示出了动态范围转换的子步骤(步骤100)。
可以看出，对于输入图片的每个像素p，步骤100包括，从输入HDR图片的每个像素的分量值(α.RHDR，β.GHDR，γ.BHDR，δ.YHDR)计算(步骤300)最大值T(p)，其中(α，β，γ，δ)是固定的加权因子，通常都等于1，通过对所述最大值T(p)进行色调映射获得(步骤310)线性值t(p)，以及将输入HDR图片的每个像素p的分量值乘以(步骤320)线性值t(p)与最大值T T(p)之间的比率
然后计算该比率，并将其作为乘法色调映射因子共同应用到输入(RHDR，GHDR，BHDR)分量值上，以提供经线性光色调映射的RGB值：
图10示出了逆动态范围缩减的子步骤(步骤230)。
可以看出，步骤230包括，从标注为(RSDR,GSDR,BSDR)的SDR线性RGB图片的每个像素的分量值获得计算(步骤400)最大值t(p)，通过对最大值t(p)进行逆色调映射获得(步骤410)非线性值T(p)，以及将经解码的Y’CbCr图片的每个像素的分量值乘以(步骤420)非线性值T(p)与最大值t(p)的之间的比率
图11示出了根据本原理的示例的通过对最大值T(p)进行色调映射来获得(步骤410)线性值t(p)的步骤的图。
在步骤500中，通过将线性值t(p)变换成非线性感知域来获得非线性值nt(p)。为此，使用感知曲线，例如建议书SMPTE 2084(High Dynamic Range Electro-OpticalTransfer Function of Mastering Reference ST 2084:2014)的逆EOTF，或者Philips在(与SMPTE DG“Dynamic Metadata for Color Transforms of HDR and WCG Images”中讨论的“同一模型”有关的Philips HDR proposal Dynamic range conversion，R.NijlandKoninklijke Philips N.V.20150421)中提出的传递函数。
在步骤520中，非线性值nt(p)被重塑以使其适配于输出图片(RSDR,GSDR,BSDR)的期望亮度或暗度等级。这是所谓的“局部斜率调整”处理，其允许产生具有期望亮度等级的输出SDR色调映射图片，以用于向后兼容性事宜。换句话说，曲线越高，产生的SDR图片越亮。此外，当局部斜率调整曲线变得更接近于恒等函数时，SDR图片变得更暗。
根据本原理，“局部斜率调整”处理使用如关于图1-图5描述的色调映射。换句话说，“局部斜率调整”处理采用通过需要选择的参数进行参数化的色调调整函数。根据本原理，局部斜率调整曲线的至少一个参数响应于调制值，调制值本身响应于输入图片的明亮度等级，如上所述。这是在HDR视频压缩链中对色调调整处理进行参数化(因此进行配置和调谐)的一种简化方式，该HDR视频压缩链包括HDR到SDR色调映射，其中经映射的SDR图片旨在与传统显示器向后兼容。这还提供自动导出良好的SDR向后兼容图片的方式，同时保持良好的压缩效率。
在步骤530中，通过将感知传递函数的逆应用于非线性值nt(p)来获得线性值t(p)。以等于100尼特的输出峰值亮度来配置感知传递函数的逆。
解码器200被配置为对已经由编码器130进行编码的数据进行解码。编码器130(和解码器200)可以是基于块的处理。
编码器130(和解码器200)不限于特定的编码器/解码器，其可以是例如有损的图像/视频编码器，比如JPEG、JPEG2000、MPEG2、HEVC建议书(“High Efficiency VideoCoding”,系列H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,建议书ITU-T H.265,ITU电信标准化部,2013年4月)或者H264/AVC建议书(“Advanced video coding for genericaudiovisual Services”,系列H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,建议书ITU-TH.264,ITU电信标准化部,2014年2月)。
在图1-图11上，模块是功能单元，其可以与可区分的物理单元有关或无关。例如，这些模块或它们中的一些可以集合在唯一的组件或电路中，或者有助于软件的功能。相反，一些模块可以可能地包括分离的物理实体。使用纯硬件，例如使用诸如ASIC或FPGA或VLSI(分别为“专用集成电路”、“现场可编程门阵列”、“超大规模集成”)之类的专用硬件，或者从嵌入在设备中的若干集成电子组件，或者从硬件和软件组件的混合，来实现与本原理一致的装置。
图12表示可以被配置为实现关于图1-图11描述的方法的设备1200的示例性架构。
设备1200包括通过数据和地址总线1201链接在一起的以下元件：
-微处理器1202(或CPU)，其为例如DSP(或数字信号处理器)；
-ROM(或只读存储器)1203；
-RAM(或随机存取存储器)1204；
-I/O接口1205，用于从应用接收用于传送的数据；以及
-电池1206。
根据示例，电池1206在设备的外部。在每个所提及的存储器中，说明书中使用的词语“寄存器”可以对应于小容量(一些比特)的区域或者非常大的区域(例如整个程序或大量的接收或解码的数据)。ROM 1203至少包括程序和参数。ROM 1203可以存储算法和指令以执行根据本原理的技术。当接通时，CPU 1202将程序上传到RAM中并执行对应的指令。
RAM 1204在寄存器中包括由CPU 1202执行并在设备1200接通之后被上传的程序，在寄存器中包括输入数据，在寄存器中包括方法的不同状态下的中间数据，以及在寄存器中包括用于执行该方法的其他变量。
在此描述的实现方式可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的背景下进行了讨论(例如，仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以在例如适当的硬件、软件和固件中实现。方法例如可以在诸如例如处理器(其一般指代处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件)之类的装置中实现。处理器还包括诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)之类的通信设备以及便于在最终用户之间进行信息通信的其他设备。
根据编码或编码器的实施例，从源获得图片I。例如，源属于包括以下的集合：
-本地存储器(1203或1204)，例如视频存储器或RAM(或随机存取存储器)、闪速存储器、ROM(或只读存储器)，硬盘；
-存储接口(1205)，例如与大容量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑的接口；
-通信接口(1205)，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)；以及
-图片捕获电路(例如传感器，诸如例如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体))。
根据解码或解码器的实施例，将经解码的图片发送到目的地；具体地，目的地属于包括以下的集合：
-本地存储器(1203或1204)，例如视频存储器或RAM、闪速存储器、硬盘；
-存储接口(1205)，例如与大容量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑的接口；
-通信接口(1205)，例如有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清晰度多媒体接口)接口)或无线接口(诸如IEEE 802.11接口、或接口)；以及
-显示器。
根据编码或编码器的示例，将经编码的视频流F发送到目的地。作为示例，将流F存储在本地或远程存储器中，例如视频存储器(1204)或RAM(1204)、硬盘(1203)。在变型中，将一个或两个比特流发送到储存器接口(1205)(例如与大容量储存器、闪速存储器、ROM、光盘或磁性支撑的接口)和/或通过通信接口(1205)(例如到点对点链路、通信总线、点对多点链路或广播网络的接口)传送。
根据解码或解码器的示例，从源获得流F。示例性地，从本地存储器(例如视频存储器(1204)、RAM(1204)、ROM(1203)、闪速存储器(1203)或硬盘(1203))读取流。在变型中，从储存器接口(1205)(例如与大容量储存器、RAM、ROM、闪速存储器、光盘或磁性支撑的接口)和/或从通信接口(1205)(例如到点对点链路、总线、点对多点链路或广播网络的接口)接收比特流。
根据示例，被配置为实现关于图1-图6描述的方法的设备1200属于包括以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-平板(或平板计算机)；
-膝上型设备；
-静止图片照相机；
-视频照相机；
-编码芯片；
-静止图片服务器；以及
-视频服务器(例如广播服务器、视频点播服务器或网络服务器)。
根据示例，被配置为实现关于图7、图9或图11描述的编码方法的设备1200属于包括以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-平板(或平板计算机)；
-膝上型设备；
-静止图片照相机；
-视频照相机；
-编码芯片；
-静止图片服务器；以及
-视频服务器(例如广播服务器、视频点播服务器或网络服务器)。
根据示例，被配置为实现关于图8或图10描述的解码方法的设备60属于包括以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-机顶盒；
-电视机；
-平板(或平板计算机)；
-膝上型设备；
-显示器以及
-解码芯片。
根据图13所示的本原理的示例，在通过通信网络NET、在两个远程设备A与B之间的传送背景下，设备A包括与被配置为实现关于图7描述的对图片进行编码的方法的存储器RAM和ROM有关的处理器，并且设备B包括与被配置为实现关于图8描述的解码的方法的存储器RAM和ROM有关的处理器。
根据示例，网络是广播网络，其适配于将静止图片或视频图片从设备A广播到包括设备B的解码设备。
意在由设备A传送的信号携带流F。流F包括调制值Ba，该调制值Ba响应于输入图片的明亮度等级，并且意在用于确定逆色调映射的参数，如前所述。可选地，流F还包括输入参数highlightGainControl。
图14示出了当通过基于分组的传送协议传送数据时这样的信号的语法的示例的示例。每个所传送的分组P包括首标H和有效载荷(payload)。例如，首标H的一比特专用于表示信息数据，该信息数据指示经编码的亮度块表示图片块的亮度分量之和，以及所述亮度分量的平均值的表示。
在此描述的各种处理和特征的实现方式可以以各种不同的设备或应用来实施。这样的设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型设备、个人计算机、蜂窝电话、PDA以及用于处理图片或视频的任何其他设备或者其他通信设备。应当清楚的是，设备可以是移动的，并且甚至安装在移动交通工具中。
此外，该方法可以通过处理器正执行的指令来实现，并且这样的指令(和/或由实现方式所产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采取以一个或多个计算机可读介质实施并且在其上实施有可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。在此使用的计算机可读存储介质被视为给出在其中存储信息的固有能力以及提供从中取回信息的固有能力的非临时性存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体系统、装置或设备、或前述的任何适当的组合。应当了解，下面虽然提供可以应用本原理的计算机可读存储介质的更具体的示例，但是本领域技术人员容易了解其仅仅是说明性而不详尽的列表：便携式计算机磁盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪速存储器)；便携式压缩盘只读存储器(CD-ROM)；光存储设备；磁存储设备；或者前述的任何适当的组合。
指令可以形成有形地实施在处理器可读介质上的应用程序。
指令可以在例如硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以表征为例如被配置为执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式产生的数据值。
如对于本领域技术人员将明显的那样，实现方式可以产生被格式化为携带例如可以被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一产生的数据。例如，可以将信号格式化为携带用于写入或读取所描述的本原理的示例的语法的规则作为数据，或者携带所描述的本原理的示例写入的实际语法值作为数据。这样的信号例如可以被格式化为电磁波(例如，使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及调制具有经编码的数据流的载波。信号携带的信息例如可以是模拟或数字信息。如已知的那样，可以通过各种不同的有线或无线链路来传送信号。信号可以存储在处理器可读介质上。
已经描述了多个实现方式。然而，应当理解的是，可以进行各种修改。例如，可以对不同实现方式的元素进行组合、补充、修改或移除，以产生其他实现方式。此外，本领域普通技术人员应理解的是，其他结构和处理可以代替所公开的那些结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以实现与所公开的实现方式至少基本相同的结果。因此，本申请想到这些以及其他实现方式。

Claims (25)

1.一种通过使用在多个范围上定义的参数化调整函数对输入图片进行色调映射的方法，所述色调调整函数的至少一个参数与每个范围相关联，其特征在于，所述方法包括，在至少一个范围上定义非线性色调调整函数，以及确定由所述输入图片的明亮度等级调制的所述色调调整函数的至少一个参数。
2.根据权利要求1所述的方法，其中在三个范围上定义所述色调调整函数。
3.根据权利要求2所述的方法，其中所述色调调整函数在第一范围上是线性的，在第二范围上是抛物线的，并且在第三范围上是线性的。
4.根据权利要求3所述的方法，其中定义所述色调调整函数：
-在第一范围上为：
y＝SGC*x
其中SGC是实数参数值，y是输出值，并且x是输入值；
-在第二范围上为：
ax2+bx+c，xSGC＜x＜xHGC
-在第三范围上为：
y＝HGC*x+(1-HGC)
其中HGC是斜率；
其中
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>a</mi> <mo>=</mo> <mo>-</mo> <mn>0.5</mn> <mo>&amp;CenterDot;</mo> <mi>S</mi> <mi>G</mi> <mi>C</mi> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> <mi> </mi> <mi>M</mi> <mi>T</mi> <mi>A</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>b</mi> <mo>=</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> <mrow> <mi>M</mi> <mi>T</mi> <mi>A</mi> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <mi>S</mi> <mi>G</mi> <mi>C</mi> <mo>+</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>c</mi> <mo>=</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> <mrow> <mi>S</mi> <mi>G</mi> <mi>C</mi> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <mi>M</mi> <mi>T</mi> <mi>A</mi> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mrow> <mi>S</mi> <mi>G</mi> <mi>C</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> <mrow> <mi>S</mi> <mi>G</mi> <mi>C</mi> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mi>M</mi> <mi>T</mi> <mi>A</mi> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mrow> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> <mrow> <mi>S</mi> <mi>G</mi> <mi>C</mi> <mo>-</mo> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <mi>M</mi> <mi>T</mi> <mi>A</mi> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中MTA是实数参数值，以及
其中且
其中shadowGainControl和midTonesAdjustement是通过以下给出的实数值：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mi>h</mi> <mi>a</mi> <mi>d</mi> <mi>o</mi> <mi>w</mi> <mi>G</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>t</mi> <mi>r</mi> <mi>o</mi> <mi>l</mi> <mo>=</mo> <mn>0.229</mn> <mo>+</mo> <mn>2.47</mn> <mo>*</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mrow> <mo>-</mo> <mn>0.333</mn> <mo>*</mo> <mi>B</mi> <mi>a</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>m</mi> <mi>i</mi> <mi>d</mi> <mi>T</mi> <mi>o</mi> <mi>n</mi> <mi>e</mi> <mi>s</mi> <mi>A</mi> <mi>d</mi> <mi>j</mi> <mi>u</mi> <mi>s</mi> <mi>t</mi> <mi>e</mi> <mi>m</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> <mo>=</mo> <mn>2.21</mn> <mo>*</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mn>0.16</mn> <mo>*</mo> <mi>B</mi> <mi>a</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中highlightGainControl是实数值，并且调制值Ba响应于所述输入图片的明亮度等级并以尼特表示。
5.根据权利要求4所述的方法，其中所述实数值highlightGainControl是常数值。
6.根据权利要求4所述的方法，其中除了所述调制值之外，所述实数值highlightGainControl被保持为另一参数。
7.根据权利要求4所述的方法，其中通过以下给出所述实数值highlightGainControl：
highlightGainControl＝2-2*exp(-0.26/Ba)。
8.根据权利要求2所述的方法，其中定义所述色调调整函数：
-在第一范围上为：
<mrow> <mi>y</mi> <mo>=</mo> <msup> <mi>SGC</mi> <mo>&amp;prime;</mo> </msup> <mo>*</mo> <mfrac> <mi>x</mi> <mrow> <mi>B</mi> <mi>a</mi> </mrow> </mfrac> </mrow>
其中SGC是实数参数值，y是输出值，并且x是输入值；
-在第二范围上为：
<mrow> <mi>y</mi> <mo>=</mo> <msup> <mi>a</mi> <mo>&amp;prime;</mo> </msup> <msup> <mrow> <mo>(</mo> <mfrac> <mi>x</mi> <mrow> <mi>B</mi> <mi>a</mi> </mrow> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mfrac> <mi>x</mi> <mrow> <mi>B</mi> <mi>a</mi> </mrow> </mfrac> <mo>+</mo> <msup> <mi>c</mi> <mo>&amp;prime;</mo> </msup> </mrow>
-在第三范围上为：
<mrow> <mi>y</mi> <mo>=</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> <mo>*</mo> <mfrac> <mi>x</mi> <mrow> <mi>B</mi> <mi>a</mi> </mrow> </mfrac> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mrow> <mi>B</mi> <mi>a</mi> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
其中HGC是斜率；
其中
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>a</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>B</mi> <mi>a</mi> <mo>.</mo> <mrow> <mo>(</mo> <mrow> <mo>-</mo> <mn>0.5</mn> <mo>&amp;CenterDot;</mo> <msup> <mi>SGC</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> <mo>.</mo> <msup> <mi>MTA</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mi>a</mi> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mrow> <msup> <mi>MTA</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <msup> <mi>SGC</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>c</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mi>a</mi> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mrow> <msup> <mi>SGC</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <msup> <mi>MTA</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>S</mi> <mi>G</mi> <mi>C</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>B</mi> <mi>a</mi> </msub> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mrow> <msup> <mi>SGC</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>MTA</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>H</mi> <mi>G</mi> <mi>C</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>B</mi> <mi>a</mi> </msub> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mrow> <msup> <mi>SGC</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <msup> <mi>MTA</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中MTA是实数参数值，以及
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>exp</mi> <mi>g</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> <mo>=</mo> <mi>v</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>L</mi> <mrow> <mi>s</mi> <mi>o</mi> <mi>u</mi> <mi>r</mi> <mi>c</mi> <mi>e</mi> </mrow> </msub> <msub> <mi>L</mi> <mrow> <mi>t</mi> <mi>arg</mi> <mi>e</mi> <mi>t</mi> </mrow> </msub> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>SGC</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>exp</mi> <mi>g</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>HGC</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mi>h</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>L</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> <mi>G</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>t</mi> <mi>r</mi> <mi>o</mi> <mi>l</mi> </mrow> <mn>4</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>MTA</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mi>m</mi> <mi>i</mi> <mi>d</mi> <mi>T</mi> <mi>o</mi> <mi>n</mi> <mi>e</mi> <mi>s</mi> <mi>A</mi> <mi>d</mi> <mi>j</mi> <mi>u</mi> <mi>s</mi> <mi>t</mi> <mi>e</mi> <mi>m</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中且
其中midTonesAdjustement是通过以下给出的实数值：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>m</mi> <mi>i</mi> <mi>d</mi> <mi>T</mi> <mi>o</mi> <mi>n</mi> <mi>e</mi> <mi>s</mi> <mi>A</mi> <mi>d</mi> <mi>j</mi> <mi>u</mi> <mi>s</mi> <mi>t</mi> <mi>e</mi> <mi>m</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> <mo>=</mo> <mn>2.21</mn> <mo>*</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mrow> <mo>-</mo> <mn>0.16</mn> <mo>*</mo> <mi>B</mi> <mi>a</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>h</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>l</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> <mi>G</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>t</mi> <mi>r</mi> <mi>o</mi> <mi>l</mi> <mo>=</mo> <mi>C</mi> <mi>S</mi> <mi>T</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中highlightGainControl是实数值，并且调制值Ba响应于所述输入图片的明亮度等级并以尼特表示。
9.根据权利要求8所述的方法，其中所述实数值highlightGainControl是常数值。
10.根据权利要求8所述的方法，其中除了所述调制值之外，所述实数值highlightGainControl被保持为另一参数。
11.根据权利要求8所述的方法，其中通过以下给出所述实数值highlightGainControl：
highlightGainControl＝2-2*exp(-0.26/Ba)。
12.根据权利要求1所述的方法，其中所述色调调整函数是通过以下定义的参数化对数函数：
baN＝Ba/PeakL
<mrow> <mi>N</mi> <mo>=</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mi>k</mi> <mo>.</mo> <msub> <mi>ba</mi> <mi>N</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mfrac> <mi>x</mi> <mrow> <mi>k</mi> <mo>.</mo> <msub> <mi>ba</mi> <mi>N</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> <mi>N</mi> </mfrac> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>x</mi> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> </mrow>
其中k是常数值，y是输出值，并且x是输入值，并且PeakL是所述输入图片的峰值亮度值。
13.根据权利要求4-11之一所述的方法，其中所述调制值响应于所述输入图片的中间色调等级。
14.根据权利要求13所述的方法，其中基于黑色等级和白色等级来确定所述中间色调等级。
15.根据权利要求14所述的方法，其中将所述中间色调等级确定为以下之一：所述黑色等级和所述白色等级的(1)几何均值以及(2)对数均值。
16.根据权利要求4-15之一所述的方法，其中输入图像是在视频序列中包括的多个图片中的一个，并且其中针对所述多个图片中的每一个执行所述调制值的确定，其中针对所述多个图片的调制值在时间上平滑。
17.一种通过使用在多个范围上定义的参数化逆色调调整函数对输入图片的色调映射版本进行逆色调映射的方法，所述色调调整函数的至少一个参数与每个范围相关联，其特征在于，所述方法包括，在至少一个范围上定义非线性色调调整函数，以及获得由所述输入图片的明亮度等级调制的所述逆色调调整函数的至少一个参数。
18.一种对输入图片进行编码的方法，包括：
-从所述输入图片的分量值获得(300)最大值；
-根据权利要求1-16之一的方法，通过对所述最大值进行色调映射来获得(310)线性值；
-将所述输入图片乘以(320)所述线性值与所述最大值之间的比率。
19.一种对图片进行解码的方法，包括：
-从经解码的图片的分量值获得(400)最大值；
-根据权利要求17之一的方法，通过对所述最大值进行逆色调映射来获得(410)非线性值；
-将经解码的图片乘以(420)所述非线性值与所述最大值之间的比率。
20.一种用于通过使用在多个范围上定义的参数化色调调整函数对输入图片进行色调映射的设备，所述色调调整函数的至少一个参数与每个范围相关联，其特征在于，所述设备包括处理器，所述处理器被配置为在至少一个范围上定义非线性色调调整函数，以及确定由所述输入图片的明亮度等级调制的所述色调调整函数的至少一个参数。
21.一种用于对输入图片进行编码的设备，其包括处理器，所述处理器被配置为：
-从所述输入图片的分量值获得最大值；
-根据权利要求1-16之一的方法，通过对所述最大值进行色调映射来获得线性值；
-将输入图片乘以所述线性值与所述最大值之间的比率。
22.一种用于对图片进行解码的设备，其包括处理器，所述处理器被配置为：
-从经解码的图片的分量值获得最大值；
-根据权利要求17之一的方法，通过对所述最大值进行逆色调映射来获得非线性值；
-将经解码的图片乘以所述非线性值与所述最大值之间的比率。
23.一种计算机程序产品，其包括当在计算机上执行该程序时执行根据权利要求1-19之一所述的方法的步骤的程序代码指令。
24.一种非临时性存储介质，其包括携带程序代码的指令，用于当在计算设备上执行所述程序时执行根据权利要求1-19之一所述的方法的步骤。
25.一种携带编码图片的信号，其特征在于，所述信号还携带信息数据，所述信息数据指示响应于经编码的输入图片的明亮度等级的调制值。
CN201680049614.6A 2015-07-16 2016-07-07 通过使用参数化色调调整函数对图片进行色调映射的方法和设备 Active CN107924559B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15306166 2015-07-16
EP15306166.8 2015-07-16
EP15306196.5A EP3121787A1 (en) 2015-07-23 2015-07-23 A method and device for tone-mapping a picture by using a parametric tone-adjustment function
EP15306196.5 2015-07-23
PCT/EP2016/066167 WO2017009182A1 (en) 2015-07-16 2016-07-07 A method and device for tone-mapping a picture by using a parametric tone-adjustment function

Publications (2)

Publication Number Publication Date
CN107924559A true CN107924559A (zh) 2018-04-17
CN107924559B CN107924559B (zh) 2022-05-24

Family

ID=56372901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680049614.6A Active CN107924559B (zh) 2015-07-16 2016-07-07 通过使用参数化色调调整函数对图片进行色调映射的方法和设备

Country Status (10)

Country Link
US (1) US11182882B2 (zh)
EP (1) EP3323104B1 (zh)
JP (1) JP6948309B2 (zh)
KR (1) KR102486233B1 (zh)
CN (1) CN107924559B (zh)
BR (1) BR112018000910A2 (zh)
CA (1) CA2992654A1 (zh)
MX (1) MX2018000575A (zh)
RU (1) RU2726290C2 (zh)
WO (1) WO2017009182A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
DK3559901T3 (da) * 2017-02-15 2020-08-31 Dolby Laboratories Licensing Corp Tonekurveafbildning for billeder med højt dynamikområde
JP6712822B2 (ja) * 2017-12-27 2020-06-24 パナソニックＩｐマネジメント株式会社 表示装置および表示方法
CN108900823B (zh) * 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
EP3672219A1 (en) * 2018-12-18 2020-06-24 Thomson Licensing Method and device for determining control parameters for mapping an input image with a high dynamic range to an output image with a lower dynamic range
KR102661824B1 (ko) 2019-03-26 2024-04-26 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
EP3734588B1 (en) * 2019-04-30 2022-12-07 Dolby Laboratories Licensing Corp. Color appearance preservation in video codecs
EP3934223A1 (en) * 2020-06-29 2022-01-05 AMS Sensors Belgium BVBA Converting digital image data
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4831434A (en) * 1986-08-29 1989-05-16 Agfa Gevaert Aktiengesellschaft Method of correcting color saturation in electronic image processing
US20040184673A1 (en) * 2003-03-17 2004-09-23 Oki Data Corporation Image processing method and image processing apparatus
CN1572118A (zh) * 2002-04-08 2005-01-26 松下电器产业株式会社 视频信号处理设备以及视频信号处理方法
CN104471939A (zh) * 2012-07-13 2015-03-25 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
JP2000137805A (ja) * 1998-10-29 2000-05-16 Canon Inc 画像処理装置及びその方法
CN1271567C (zh) 2000-11-30 2006-08-23 佳能株式会社 图像处理装置、图像处理方法、存储介质及程序
US7158686B2 (en) * 2002-09-19 2007-01-02 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
US8207932B2 (en) 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
JP5157753B2 (ja) 2008-08-27 2013-03-06 カシオ計算機株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP4900419B2 (ja) * 2009-05-20 2012-03-21 カシオ計算機株式会社 画像処理装置、及び画像処理プログラム
JP2010278890A (ja) * 2009-05-29 2010-12-09 Canon Inc 画像形成装置、画像形成方法
JP5165076B2 (ja) 2011-01-31 2013-03-21 シャープ株式会社 映像表示装置
RU2580093C2 (ru) 2012-08-08 2016-04-10 Долби Лабораторис Лайсэнзин Корпорейшн Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)
EP3054418A1 (en) 2015-02-06 2016-08-10 Thomson Licensing Method and apparatus for processing high dynamic range images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4831434A (en) * 1986-08-29 1989-05-16 Agfa Gevaert Aktiengesellschaft Method of correcting color saturation in electronic image processing
CN1572118A (zh) * 2002-04-08 2005-01-26 松下电器产业株式会社 视频信号处理设备以及视频信号处理方法
US20040184673A1 (en) * 2003-03-17 2004-09-23 Oki Data Corporation Image processing method and image processing apparatus
CN104471939A (zh) * 2012-07-13 2015-03-25 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备

Also Published As

Publication number Publication date
KR20180030534A (ko) 2018-03-23
US20180211369A1 (en) 2018-07-26
EP3323104A1 (en) 2018-05-23
CA2992654A1 (en) 2017-01-19
BR112018000910A2 (pt) 2018-09-11
RU2018105678A3 (zh) 2020-01-31
CN107924559B (zh) 2022-05-24
WO2017009182A1 (en) 2017-01-19
MX2018000575A (es) 2018-08-21
US11182882B2 (en) 2021-11-23
EP3323104B1 (en) 2021-10-27
KR102486233B1 (ko) 2023-01-06
RU2018105678A (ru) 2019-08-16
JP6948309B2 (ja) 2021-10-13
JP2018530031A (ja) 2018-10-11
RU2726290C2 (ru) 2020-07-10

Similar Documents

Publication Publication Date Title
CN107924559B (zh) 通过使用参数化色调调整函数对图片进行色调映射的方法和设备
EP3220350B1 (en) Methods, apparatus, and systems for extended high dynamic range hdr to hdr tone mapping
US20220210457A1 (en) Method and device for decoding a color picture
CN107209929B (zh) 用于对高动态范围图像进行处理的方法和装置
US20170324959A1 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
CN108513134B (zh) 根据解码后的图像数据重建图像数据的方法和设备
EP3113496A1 (en) Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
CN110521198B (zh) 用于重构hdr图像的方法和设备
US11741585B2 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
CN111434114B (zh) 处理图像
CN111386704A (zh) 用于在hdr到sdr转换期间的颜色校正的方法和装置
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
EP3121787A1 (en) A method and device for tone-mapping a picture by using a parametric tone-adjustment function
EP3051792A1 (en) Method and device for matching colors between color pictures of different dynamic range
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
RU2776101C1 (ru) Способ и устройство для восстановления адаптированного к дисплею изображения hdr
EP3528201A1 (en) Method and device for controlling saturation in a hdr image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190919

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holding Company

Address before: Icelemulino, France

Applicant before: Thomson Licensing Company

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210127

Address after: Paris France

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Delaware, USA

Applicant before: Interactive Digital VC Holdings

GR01 Patent grant
GR01 Patent grant