CN114556954A - 混合动态范围内容的重映射 - Google Patents

混合动态范围内容的重映射 Download PDF

Info

Publication number
CN114556954A
CN114556954A CN201980101269.XA CN201980101269A CN114556954A CN 114556954 A CN114556954 A CN 114556954A CN 201980101269 A CN201980101269 A CN 201980101269A CN 114556954 A CN114556954 A CN 114556954A
Authority
CN
China
Prior art keywords
dynamic range
pixel
value
determining
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980101269.XA
Other languages
English (en)
Other versions
CN114556954B (zh
Inventor
金现哲
崔源宰
尹相永
张先一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN114556954A publication Critical patent/CN114556954A/zh
Application granted granted Critical
Publication of CN114556954B publication Critical patent/CN114556954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

用于混合动态范围内容的重映射的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，一种用于混合动态范围内容的重映射的方法，方法包括：获得要显示包括第一动态范围内容和第二动态范围内容两者的图像；确定图像包括第一像素处的第一动态范围内容；基于第一动态范围内容的查找表和第一像素的初始值来确定第一像素的第一重映射值；提供第一像素的第一重映射值以用于显示；确定图像包括第二像素处的第二动态范围内容；基于第二像素的第二初始值来确定第二像素的第二重映射值；以及提供第二像素的第二重映射值以用于显示。

Description

混合动态范围内容的重映射
背景技术
可以在不同的动态范围内对图像内容编码。例如，可以将第一视频编码为高动态范围(HDR)内容，并且可以将第二视频编码为标准动态范围(SDR)内容。HDR视频可以提供比SDR视频更亮的白色和更深的黑色。动态范围可以指代像素的最大亮度与最小亮度之间的比率。
发明内容
本说明书描述了用于混合动态范围内容的重映射的技术、方法、系统和其他机制。通常来说，图像内容仅包括单个动态范围中的内容。例如，图像可能仅包括HDR内容而没有SDR内容。在另一示例中，图像可能不包括HDR内容而仅包括SDR内容。
然而，提供包括混合动态范围内容的图像可能是有利的。例如，要在显示器上显示的具有混合动态范围内容的图像可以包括用于将示出用HDR编码的视频的显示器的一部分的HDR内容，并且包括用于将示出表示为SDR内容的图形用户界面的显示器的剩余部分的SDR内容。
混合动态范围内容的问题可能在于，混合动态范围以不同的方式进行编码，因此可能需要以不同的方式进行解码。例如，SDR内容可以用伽马曲线进行编码，该伽马曲线不同于用于编码HDR内容的伽马曲线。因此，针对不同范围的内容的伽马解码可以基于内容的范围而不同。重映射可以包括伽马编码和伽马解码两者。例如，HDR内容可能需要用伽马曲线进行解码才能使HDR准确地显示，而SDR内容可能需要用伽马曲线进行解码才能使SDR准确地显示。
基于对另一动态范围的解码来解码动态范围中的内容可能导致不准确的显示。例如，将HDR内容解码为SDR内容可能会导致显示的内容比应显示的内容更暗，而将SDR内容解码为HDR内容可能会导致显示的内容比应显示的内容更亮。
要准确地对具有混合动态范围内容的图像进行伽马解码，系统可以动态地确定是将特定内容解码为第一动态范围还是第二动态范围。例如，系统可以确定是将第一像素解码为SDR内容还是HDR内容，并且还确定是将图像中的第二像素解码为SDR内容还是HDR内容。因此，系统可以支持HDR内容的细节在被显示为SDR内容时避免丢失，同时还可以在同一显示器上同时准确地显示SDR内容和HDR内容。
一般而言，本说明书中描述的主题的一个创新方面可以体现在一种方法中，该方法包括以下动作：获得要显示包括第一动态范围内容和第二动态范围内容两者的图像；确定图像包括为第一像素的第一动态范围内容；响应于确定图像包括为第一像素的第一动态范围内容，基于第一动态范围内容的查找表和第一像素的初始值来确定第一像素的第一重映射值；提供第一像素的第一重映射值以用于显示；确定图像包括为第二像素的第二动态范围内容；响应于确定图像包括为第二像素的第二动态范围内容，基于第二像素的第二初始值来确定第二像素的第二重映射值；以及提供第二像素的第二重映射值以用于显示。
该方面的其他实施例包括对应电路、计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，它们各自被配置成执行方法的动作。一个或多个计算机的系统可以被配置成借助于在系统上安装软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中致使系统执行动作。一个或多个计算机程序可以被配置成借助于包括指令来执行特定操作或动作，该指令在由数据处理装置执行时致使装置执行动作。
这些实施例和其他实施例可以各自任选地包括以下特征中的一个或多个。在一些方面，基于第一动态范围内容的查找表和第一像素的初始值来确定第一像素的第一重映射值包括：基于第一动态范围内容的查找表来确定第一像素的重映射值。
在某些方面，基于第二像素的第二初始值来确定第二像素的第二重映射值包括：基于第二动态范围内容的查找表来确定第二像素的第二重映射值。在一些实施方式中，基于第二像素的第二初始值来确定第二像素的第二重映射值包括：基于第一动态范围内容的查找表和第一动态范围到第二动态范围转换因子两者来确定第二像素的第二重映射值。
在一些方面，基于第一动态范围内容的查找表和第一动态范围到第二动态范围转换因子两者来确定第二像素的第二重映射值包括：基于第一动态范围内容的查找表来确定第二像素的中间重映射值；以及基于中间重映射值和第一动态范围到第二动态范围转换因子来确定第二重映射值。在某些方面，基于第二像素的第二初始值来确定第二像素的第二重映射值包括：基于第一动态范围到第二动态范围转换来确定第二像素的中间重映射值；以及基于中间重映射值和所述第一动态范围内容的查找表来确定第二重映射值。
在一些实施方式中，确定图像包括为第一像素的第一动态范围内容包括确定图像的元数据指示第一像素的位置包括第一动态范围内容。在某些方面，动作包括：获得包括第二动态范围内容但不包括第一动态范围内容的第二图像；确定该图像包括第二动态范围内容但不包括第一动态范围内容；以及响应于确定图像包括第二动态范围内容但不包括第一动态范围内容，选择第二第一动态范围到第二动态范围转换因子。在一些方面，第一动态范围内容包括高动态范围(HDR)内容，并且第二动态范围内容包括标准动态范围(SDR)内容。
在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施例的细节。本主题的其他特征、方面和优点将从说明书、附图和权利要求中变得显而易见。
附图说明
图1是具有基于不同重映射来显示的混合动态范围内容的示例图像的框图。
图2A至图2C是使用用于动态范围的不同查找表来重映射混合动态范围的示例系统的框图。
图3A至图3C是用应用于来自查找表的输出的动态范围转换因子重映射混合动态范围的示例系统的框图。
图4A至图4C是使用动态范围转换器作为查找表的输入的一部分来重映射混合动态范围的示例系统的框图。
图5是示出了用于混合动态范围内容的重映射的过程的流程图。
在各种附图中相似的附图标记和名称指示相似的元件。
具体实施方式
图1是具有基于不同重映射来显示的混合动态范围内容的示例图像110的框图。图像110包括被具有第二动态范围内容的区域包围的第一动态范围内容的区域。例如，第一动态内容可能是来自将在显示器的一部分上示出的HDR视频，并且第二动态内容可能是用于包括显示器的设备的图形用户界面的SDR表示形式，其中SDR表示形式将在显示器的剩余部分上示出。
第一，可以基于产生第二图像120的第二动态范围来解码整个图像110。例如，可以将整个图像110解码为SDR内容。第二图像120可以准确地显示第二动态范围内容但不准确地显示第一动态范围内容。例如，来自图形用户界面的SDR表示形式的内容可能会被准确地显示，但来自HDR视频的内容可能会显示得比它在被正确地解码为HDR内容时应当显示得更暗。
第二，可以基于产生第三图像130的第一动态范围来解码整个图像110。例如，可以将整个图像110解码为HDR内容。第三图像130可以准确地显示第一动态范围内容但不准确地显示第二动态范围内容。例如，来自HDR视频的内容可能会被准确地显示，但图形用户界面的SDR表示形式可能会不准确地显示为比它在被正确地解码为SDR内容时应当显示得更亮。
第三，可以基于产生第四图像140的混合动态范围来解码整个图像110。例如，可以将表示HDR内容的图像的像素解码为HDR内容并且可以将表示SDR内容的图像的像素解码为SDR内容。第四图像140可以准确地显示第一动态范围内容和第二动态范围内容两者。例如，可以准确地显示来自HDR视频的内容，并且可以准确地显示图形用户界面的SDR表示形式。
图2A至图2C是使用动态范围的不同查找表来重映射混合动态范围的示例系统200的框图。系统200包括动态范围标识符210、第一动态范围查找表映射器220、第二动态范围查找表重映射器230和重映射值选择器240。
动态范围标识符210可以获得图像并且确定图像中的哪些像素包括第一动态范围内容以及图像中的哪些像素包括第二动态范围内容。例如，动态范围标识符210可以确定图像中1、1位置处的第一像素包括HDR内容，并且图像中10、10位置处的第二像素包括SDR内容。
在一些实施方式中，动态范围标识符210可以基于图像的标头中的元数据来确定图像中的哪些像素包括第一动态范围内容以及图像中的哪些像素包括第二动态范围内容。例如，标识符210可以基于分析图像的标头来确定1、1处的像素包括HDR内容，该分析图像的标头存储指定1、1处的像素包括HDR内容并且10、10处的像素包括SDR内容的元数据。
基于确定，动态范围标识符210然后可以输出指示每个像素中包括哪种类型的动态范围内容的动态范围指示符。例如，动态范围标识符210可以：为位置1、1处的第一像素输出值“0”，其指示第一像素包括第一动态范围内容；并且为位置10、10处的第二像素输出值“1”，其指示第二像素包括第二动态范围内容。
第一动态范围查找表重映射器220基于第一动态范围查找表来将来自图像的输入值重映射为第一中间重映射值。例如，第一动态范围查找表重映射器220可以：针对1、1位置处的像素接收为G210的输入值，其表示伽马值为210；并将输入值重映射为为G200的第一中间重映射值，其表示伽马值为200。第一动态范围查找表可以包括输入值和成对对应输出值。例如，第一动态范围查找表可以包括具有为G210的输入值和为G200的成对第一中间重映射值的条目。第一动态范围查找表可以包括在0与255之间的整数的每个输入值的条目，其中每个条目还包括对应的成对第一中间重映射值。
第二动态范围查找表重映射器230基于第二动态范围查找表来将来自图像的输入值重映射为第二中间重映射值。例如，第二动态范围查找表重映射器230可以：针对1、1位置处的像素接收为G210的输入值，其表示伽马值为210；并将输入值重映射为为G180的第二中间重映射值，其表示伽马值为180。第二动态范围查找表可以包括一对输入值和对应输出值。例如，第二动态范围查找表可以包括具有为G210的输入值和为G180的成对第二中间重映射值的条目。第二动态范围查找表可以包括在0与255之间的整数的每个输入值的条目，其中每个条目还包括对应的输出值。
重映射值选择器240可以接收动态范围指示符、第一中间重映射值和第二中间重映射值，并且基于动态范围指示符、第一中间重映射值和第二中间重映射值来选择中间重映射值中的一个作为重映射值来进行显示。例如，如图2B中所示，重映射值选择器240可以针对位置1、1处的像素接收像素中的内容是来自动态范围标识符210的第一动态范围内容的指示，来自第一动态范围查找表重映射器220的为G200的第一中间重映射值，以及来自第二动态范围查找表重映射器230的为G180的第二中间重映射值，并选择为G200的第一中间重映射值作为重映射值进行显示，因为为像素中的内容被指示为第一动态范围内容。
在另一示例中，如图2C中所示，重映射值选择器240可以针对位置10、10处的像素接收为像素中的内容是第二动态范围内容、为G200的第一中间重映射值和为G180的第二中间重映射值的指示，并选择为G180的第二中间重映射值作为重映射值以用于显示，而不是第一中间重映射值，因为为像素中的内容被指示为第二动态范围内容。
可以针对图像中的每个像素执行上述针对动态范围标识符210、第一动态范围查找表映射器220、第二动态范围查找表重新映射器230和重映射值选择器240的操作。例如，上述针对动态范围标识符210、第一动态范围查找表映射器220、第二动态范围查找表重映射器230和重映射值选择器240的操作可以首先针对位置0、0处的像素依次执行，然后是位置0、1处的像素，然后是位置0、2处的像素，等等，直到重映射了为图像中的像素指定的值为止。在另一示例中，对于图形中的像素的所有位置，可以针对位置0、0处的像素、位置0、1处的像素、位置0、2处的像素等并行执行上述针对动态范围标识符210、第一动态范围查找表映射器220、第二动态范围查找表重映射器230和重映射值选择器240的操作。
然后可以将从系统200输出的重映射值提供给驱动器集成电路，该驱动器集成电路被配置成接收重映射值并向显示器中的像素提供电压。例如，为G200的重映射值可能导致2.5伏的电压被提供给显示面板中的像素，并且为G180的重映射值可能导致2.1伏的电压被提供给显示面板中的像素。驱动器集成电路可以接收其他控制因子，该其他控制因子基于重映射值来影响最终电压输出，此类控制因子包括显示亮度控制、显示一致性校准、色彩校准和图案加载效果控制。
图3A至图3C是用应用于来自查找表的输出的动态范围转换因子重映射混合动态范围的示例系统300的框图。系统200可能有缺点，即不同的查找表可能都需要在生产线中进行校准，这可能花费时间并增加成本。另外，包括不同的查找表可能会增加存储不同查找表所需的硬件大小要求。系统300可能支持存储仅单个查找表，与系统200相比，这可以减少需要校准的查找表的数量并降低硬件大小要求。
系统300包括动态范围标识符210、第一动态范围查找表重映射器220、第二动态范围转换因子确定器330和重映射值确定器340。动态范围标识符210和第一动态范围查找表重映射器220可以与针对系统200所描述的相似地操作。
第二动态范围转换因子确定器330可接收动态范围指示符并基于动态范围指示符来确定第二动态范围转换因子。例如，第二动态范围转换因子确定器330可以接收1、1处的像素包括来自动态范围标识符210的第一动态范围内容的指示，并且作为响应确定第二动态范围转换因子为1.0。在另一示例中，第二动态范围转换因子确定器330可以接收10、10处的像素包括来自动态范围标识符210的第二动态范围内容的指示，并且作为响应，确定第二动态范围转换因子为0.9。
在一些实施方式中，当内容被指示为第一动态范围时，第二动态范围转换因子确定器330可以将第二动态范围转换因子确定为1.0。例如，第二动态范围转换因子确定器330可以接收1、1处的像素包括来自动态范围标识符210的第一动态范围内容的指示，并且作为响应，确定第二动态范围转换因子为1.0。
在一些实施方式中，第二动态范围转换因子确定器330可以基于以下等式来确定第二动态范围转换因子：
F(xd)＝(xd/255)^γ·GHDR(xd)·Lmax(等式1)
其中F(xd)表示第二动态范围转换因子，xd表示作为输入的初始值，GHDR表示对应于HDR查找表的HDR伽马曲线，并且Lmax表示最大亮度。可以基于图像是仅包括第二动态范围内容还是包括混合动态范围内容来确定Lmax。例如，当图像仅包括第二动态范围内容时，Lmax可能是500，而当图像包括混合动态范围内容时，Lmax可能是250。
重映射值确定器340可从第一动态范围查找表重映射器接收第一中间重映射值，并且从第二动态范围转换因子确定器330接收第二动态范围转换因子，并基于第一中间重映射值和第二动态范围转换因子来提供重映射值。
如图3B中所示，对于10、10处第二动态范围内容的值为G210的像素，动态范围标识符210可以输出第二动态范围的指示，第二动态范围转换因子确定器330可以接收第二动态范围的指示和为G210的值，并确定第二动态范围转换因子为0.9，第一动态范围查找表重映射器220可以输出为G200的第一中间重映射值，并且重映射值确定器可以接收为G200的第一中间重映射值和为0.9的转换因子，并且作为响应，基于用为G200的第一中间重映射值乘以为0.9的转换因子来提供为G180的重映射值。
如图3C中所示，对于1、1处第一动态范围内容的值为G210的像素，动态范围标识符210可以输出第一动态范围的指示，第二动态范围转换因子确定器330可以接收第二动态范围的指示和为G210的值并确定第二动态范围转换因子为1.0，第一动态范围查找表重映射器220可以输出为G200的第一中间重映射值，并且重映射值确定器可以接收为G200的第一中间重映射值和为1.0的转换因子，并且作为响应，基于用为G200的第一中间重映射值乘以为1.0的转换因子来提供为G200的重映射值。
在一些实施方式中，第一中间重映射值可由十位表示，转换因子可由十位表示，并且重映射值可由十一位表示。因此，系统200可能不包括数据中由值表示的太多损失。
图4A至图4C是使用动态范围转换器410作为查找表的输入的一部分来重映射混合动态范围的示例系统400的框图。系统300包括动态范围标识符210、第一动态范围到第二动态范围转换器410、重映射值选择器240和第一动态范围查找表重映射器220。
第一动态范围到第二动态范围转换器410可以接收输入值并且基于输入值来输出第一中间重映射值。例如，转换器410可以接收为G210的输入并输出G198。在另一示例中，转换器410可以接收为G205的输入并输出G193。
如图4B中所示，对于1、1处第一动态范围内容的值为G210的像素，动态范围标识符210可以接收图像并输出第一动态范围的指示，转换器410可以从图像接收为G210的输入并输出G198，重映射值选择器240可以接收来自动态范围标识符210的第一动态范围的指示、来自图像的G210以及来自转换器410的作为第一中间重映射值的G198，并从图像中选择G210作为重映射值。
如图4C中所示，对于10、10处第二动态范围内容的值为G210的像素，动态范围标识符210可以接收图像并输出第二动态范围的指示，转换器410可以从图像接收为G210的输入并输出G198，重映射值选择器240可以接收来自动态范围标识符210的第一动态范围的指示、来自图像的G210以及来自转换器410的作为第一中间重映射值的G198，并从图像中选择G198作为重映射值。
在一些实施方式中，第一动态范围到第二动态范围转换器410可以接收和输出八位值。因此，在一些实施方式中，截断误差会降低在第二动态范围内显示内容的准确性。在一些实施方式中，标识符210、转换器410和选择器240可以被包括在包括重映射器220的驱动器集成芯片之前的片上系统中。
图5是示出了用于重映射混合动态范围内容的过程500的流程图。过程500可以由系统200、300或400执行。过程500包括获得要显示的包括第一动态范围内容和第二动态范围内容两者的图像(510)。例如，动态范围标识符210可以接收图像，该图像包括1、1位置处的像素下的G210作为第一动态范围和10、10位置处的像素下的G210作为第二动态范围。
过程500包括确定图像包括第一像素处的第一动态范围内容(520)。在一些实施方式中，确定图像包括第一像素处的第一动态范围内容包括：确定图像的元数据指示第一像素的位置包括第一动态范围内容。例如，动态范围标识符210可以确定存储在图像文件的标头中的元数据指定1、1位置处的像素包括第一动态范围内容，并且作为响应，确定1、1位置处的像素包括第一动态范围内容。在另一示例中，动态范围标识符210可以确定存储在图像文件的标头中的元数据指定10、10位置处的像素包括第二动态范围内容，并且作为响应，确定10、10位置处的像素包括第二动态范围内容。
过程500包括基于第一动态范围内容的查找表和第一像素的初始值来确定第一像素的第一重映射值(530)。例如，第一动态范围查找表重映射器220可以接收为G210的初始值并输出为G200的第一重映射值。
在一些实施方式中，基于第一动态范围内容的查找表和第一像素的初始值来确定第一像素的第一重映射值包括：基于第一动态范围内容的查找表来确定第一像素的重映射值。例如，重映射器220可以获得HDR内容的查找表，识别查找表中值为G210的单个条目作为输入值，并且然后选择单个条目中对应的成对值G200作为第一重映射值。在另一示例中，重映射器220可以获得HDR内容的查找表，识别查找表中值为G205的单个条目作为输入值，并且然后选择单个条目中对应的成对值G195作为第一重映射值。
过程包括提供第一像素的第一重映射值以用于显示(540)。例如，如图2B中所示，重映射值选择器240可以提供为G200的第一中间重映射值作为重映射值。在另一示例中，如图3C中所示，重映射值确定器340可以用为G200的第一中间重映射值乘以为1.0的因子，因此提供为G200的第一中间重映射值作为重映射值。在另一示例中，如图4B中所示，重映射器220可以提供为G200的第一重映射值以用于显示。
过程包括确定图像包括第二像素处的第二动态范围内容(550)。例如，动态范围标识符210可以确定存储在图像文件的标头中的元数据指定10、10位置处的像素包括第二动态范围内容，并且作为响应，确定10、10位置处的像素包括第二动态范围内容。
过程500包括基于第二像素的第二初始值来确定第二像素的第二重映射值(560)。在一些实施方式中，基于第二像素的第二初始值来确定第二像素的第二重映射值包括：基于第二动态范围内容的查找表来确定第二像素的第二重映射值。例如，如图2B中所示，第二动态范围查找表重映射器230可以基于为G210的第二初始值来确定为G180的第二重映射值。
在一些实施方式中，基于第二像素的第二初始值来确定第二像素的第二重映射值包括：基于第一动态范围内容的查找表和第一动态范围到第二动态范围转换因子两者来确定第二像素的第二重映射值。在一些实施方式中，基于第一动态范围内容的查找表和第一动态范围到第二动态范围转换因子两者来确定第二像素的第二重映射值包括：基于第一动态范围内容的查找表来确定第二像素的中间重映射值；以及基于中间重映射值和第一动态范围到第二动态范围转换因子来确定第二重映射值。例如，如图3B中所示，重映射值确定器340可以从第一动态范围查找表重映射器220接收为G200的第一中间重映射值，并且用为G200的值乘以接收到的为0.9的转换因子以获得为G180的第二重映射值。
在一些实施方式中，基于第二像素的第二初始值来确定第二像素的第二重映射值包括：基于第一动态范围到第二动态范围转换因子来确定第二像素的中间重映射值；以及基于中间重映射值和第一动态范围内容的查找表来确定第二重映射值。例如，如图4C中所示，转换器410可以接收为G210的第二初始值并将为G210的值转换为G198，然后重映射值选择器240可以从转换器410中选择为G198的值，并且然后重映射器220可以将为G198的值从选择器240重映射为G190。
过程500包括提供第二像素的第二重新映射值以用于显示(570)。例如，如图2C中所示，选择器240的输出可以被用作第二重映射值。在另一示例中，如图3B中所示，重映射值确定器340的输出可以被用作第二重映射值。在另一示例中，如图3C中所示，重映射器220的输出可以被用作第二重映射值。
在一些实施方式中，过程500包括：获得包括第二动态范围内容但不包括第一动态范围内容的第二图像；确定图像包括第二动态范围内容但不包括第一动态范围内容；以及响应于确定图像包括第二动态范围内容但不包括第一动态范围内容，选择第二第一动态范围到第二动态范围转换因子。例如，动态范围标识符210可以确定图像仅包括第二动态范围内容，并且作为响应，向转换因子确定器330提供增大转换因子的指示。
在一些实施方式中，第一动态范围内容包括高动态范围(HDR)内容，并且第二动态范围内容包括标准动态范围(SDR)内容。
本说明书中描述的主题和操作的实施例可以在数字电子电路中实现，或在计算机软件、固件或硬件中实现，其包括在本说明书中公开的结构以及其结构等效形式或它们中的一个或多个的组合。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即计算机程序指令的一个或多个模块，其被编码在计算机存储介质上以用于由数据处理装置执行或控制该数据处理装置的操作。
计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备或它们中的一个或多个的组合。此外，虽然计算机存储介质不是传播的信号，但计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或包括在一个或多个单独的物理部件或介质(例如，多个CD、磁盘或其他存储设备)中。
本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收到的数据执行的操作。
术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，包括例如可编程处理器、计算机、片上系统或前述项中的多个或组合。该装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础设施。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释性语言、声明性或过程性语言，并且可以以任何形式部署，包括作为独立程序或作为模块、部件、子例程、对象或其他适合于在计算环境中使用的单元。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在以下中：保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论的程序的单个文件或多个协调文件(例如，存储一个或多个模块、子程序或代码的各部分的文件)。计算机程序可以被部署成在一个计算机上或位于一个站点或分布在多个站点并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于执行计算机程序的处理器包括例如通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。通常来说，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器以及用于存储指令和数据的一个或多个存储器设备。通常来说，计算机还将包括或可操作地联接以从一个或多个用于存储数据的大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据或向其传递数据或两者。然而，计算机不必具有此类设备。此外，计算机可以嵌入到另一设备中，该另一设备例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)快闪驱动器)，仅举几例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)和快闪存储器设备；磁盘，例如内部硬盘或可移除磁盘；磁光盘；以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路。
要提供与用户的交互，本说明书中描述的主题的实施例可以在计算机上实现，该计算机具有：显示设备，例如CRT(阴极射线管)、LCD(液晶显示器)或OLED(有机发光二极管)监视器，用于向用户显示信息；以及键盘和指向设备，例如鼠标或轨迹球，用户可以通过它们向计算机提供输入。也可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如可视反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从其接收文档来与用户交互；例如，通过响应于从web浏览器收到的请求而将网页发送到用户的用户设备上的web浏览器。
本说明书中描述的主题的实施例可以在计算系统中实现，该计算系统包括后端部件(例如作为数据服务器)或包括中间件部件(例如，应用服务器)或包括前端部件(例如，具有图形用户界面或Web浏览器的用户计算机，用户可以通过其与本说明书中描述的主题的实施方式交互)，或一个或多个此种后端部件、中间件部件或前端部件的任何组合。系统的部件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)和对等网络(例如，自组织对等网络)。
计算系统可以包括用户和服务器。用户和服务器通常彼此远离并且通常通过通信网络进行交互。用户和服务器的关系是借助于在相应计算机上运行的计算机程序产生的，并且彼此之间具有用户-服务器关系。在一些实施例中，服务器将数据(例如，HTML页面)传输到用户设备(例如，出于向与用户设备交互的用户显示数据和接收来自用户的用户输入的目的)。可以在服务器处从用户设备接收在用户设备处生成的数据(例如，用户交互的结果)。
虽然本说明书包含许多具体的实施方式细节，但这些不应被解释为对任何特征或可能要求保护的内容的范围的限制，而是对特定实施例特有的特征的描述。本说明书中在单独实施例的语境中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的语境中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，虽然上文可将特征描述为以某些组合起作用，并且甚至最初如此要求保护，但在一些情况下，来自要求保护的组合的一个或多个特征可以从组合中删除，并且要求保护的组合可以针对子组合或子组合的变型。
相似地，虽然在附图中以特定次序绘示了操作，但这不应被理解为要求此类操作以示出的特定次序或按顺序执行，或者所有示出的操作都被执行以达成期望的结果。在某些情形下，多任务和并行处理可能是有利的。此外，上述实施例中各种系统部件的分离不应被理解为在所有实施例中都需要此种分离，并且应当理解的是，所描述的程序部件和系统通常可以一起集成在单个软件产品中或打包成多个软件产品。
因此，已经描述了本主题的特定实施例。其他实施例在以下权利要求的范围内。在一些情况下，权利要求中阐述的动作可以以不同的次序执行并且仍能达到期望的结果。另外，附图中绘示的过程不一定要求示出的特定次序或顺序来达成期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (20)

1.一种方法，包括：
获得要显示的包括第一动态范围内容和第二动态范围内容两者的图像；
确定所述图像包括第一像素处的第一动态范围内容；
响应于确定所述图像包括第一像素处的第一动态范围内容，基于第一动态范围内容的查找表和所述第一像素的初始值来确定所述第一像素的第一重映射值；
提供所述第一像素的所述第一重映射值以用于显示；
确定所述图像包括第二像素处的第二动态范围内容；
响应于确定所述图像包括第二像素处的第二动态范围内容，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值；以及
提供所述第二像素的所述第二重映射值以用于显示。
2.根据权利要求1所述的方法，其中，基于第一动态范围内容的查找表和所述第一像素的初始值来确定所述第一像素的第一重映射值包括：
基于第一动态范围内容的查找表来确定所述第一像素的重映射值。
3.根据权利要求1所述的方法，其中，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值包括：
基于第二动态范围内容的查找表来确定所述第二像素的第二重映射值。
4.根据权利要求1所述的方法，其中，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值包括：
基于所述第一动态范围内容的所述查找表和第一动态范围到第二动态范围转换因子两者来确定所述第二像素的第二重映射值。
5.根据权利要求4所述的方法，其中，基于所述第一动态范围内容的所述查找表和第一动态范围到第二动态范围转换因子两者来确定所述第二像素的第二重映射值包括：
基于所述第一动态范围内容的所述查找表来确定所述第二像素的中间重映射值；以及
基于所述中间重映射值和所述第一动态范围到第二动态范围转换因子来确定所述第二重映射值。
6.根据权利要求1所述的方法，其中，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值包括：
基于第一动态范围到第二动态范围转换来确定所述第二像素的中间重映射值；以及
基于所述中间重映射值和所述第一动态范围内容的所述查找表来确定所述第二重映射值。
7.根据权利要求1所述的方法，其中，确定所述图像包括第一像素处的第一动态范围内容包括：
确定所述图像的元数据指示所述第一像素的位置包括第一动态范围内容。
8.根据权利要求1所述的方法，包括：
获得包括第二动态范围内容但不包括第一动态范围内容的第二图像；
确定所述图像包括第二动态范围内容但不包括第一动态范围内容；以及
响应于确定所述图像包括第二动态范围内容但不包括第一动态范围内容，选择第二第一动态范围到第二动态范围转换因子。
9.根据权利要求1所述的方法，其中，所述第一动态范围内容包括高动态范围(HDR)内容，并且所述第二动态范围内容包括标准动态范围(SDR)内容。
10.一种包括电路的系统，所述电路被配置成执行操作，所述操作包括：
获得要显示的包括第一动态范围内容和第二动态范围内容两者的图像；
确定所述图像包括第一像素处的第一动态范围内容；
响应于确定所述图像包括第一像素处的第一动态范围内容，基于第一动态范围内容的查找表和所述第一像素的初始值来确定所述第一像素的第一重映射值；
提供所述第一像素的所述第一重映射值以用于显示；
确定所述图像包括第二像素处的第二动态范围内容；
响应于确定所述图像包括第二像素处的第二动态范围内容，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值；以及
提供所述第二像素的所述第二重映射值以用于显示。
11.根据权利要求10所述的系统，其中，基于第一动态范围内容的查找表和所述第一像素的初始值来确定所述第一像素的第一重映射值包括：
基于第一动态范围内容的查找表来确定所述第一像素的重映射值。
12.根据权利要求10所述的系统，其中，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值包括：
基于第二动态范围内容的查找表来确定所述第二像素的第二重映射值。
13.根据权利要求10所述的系统，其中，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值包括：
基于所述第一动态范围内容的所述查找表和第一动态范围到第二动态范围转换因子两者来确定所述第二像素的第二重映射值。
14.根据权利要求13所述的系统，其中，基于所述第一动态范围内容的所述查找表和第一动态范围到第二动态范围转换因子两者来确定所述第二像素的第二重映射值包括：
基于所述第一动态范围内容的所述查找表来确定所述第二像素的中间重映射值；以及
基于所述中间重映射值和所述第一动态范围到第二动态范围转换因子来确定所述第二重映射值。
15.根据权利要求10所述的系统，其中，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值包括：
基于第一动态范围到第二动态范围转换来确定所述第二像素的中间重映射值；以及
基于所述中间重映射值和所述第一动态范围内容的所述查找表来确定所述第二重映射值。
16.根据权利要求10所述的系统，其中，确定所述图像包括第一像素处的第一动态范围内容包括：
确定所述图像的所述元数据指示所述第一像素的位置包括第一动态范围内容。
17.根据权利要求10所述的系统，所述操作包括：
获得包括第二动态范围内容但不包括第一动态范围内容的第二图像；
确定所述图像包括第二动态范围内容但不包括第一动态范围内容；以及
响应于确定所述图像包括第二动态范围内容但不包括第一动态范围内容，选择第二第一动态范围到第二动态范围转换因子。
18.根据权利要求10所述的系统，其中，所述第一动态范围内容包括高动态范围(HDR)内容，并且所述第二动态范围内容包括标准动态范围(SDR)内容。
19.一种存储软件的非暂时性计算机可读介质，所述软件包括可由一个或多个计算机执行的指令，所述指令在执行后致使所述一个或多个计算机执行操作，所述操作包括：
获得要显示的包括第一动态范围内容和第二动态范围内容两者的图像；
确定所述图像包括第一像素处的第一动态范围内容；
响应于确定所述图像包括第一像素处的第一动态范围内容，基于第一动态范围内容的查找表和所述第一像素的初始值来确定所述第一像素的第一重映射值；
提供所述第一像素的所述第一重映射值以用于显示；
确定所述图像包括第二像素处的第二动态范围内容；
响应于确定所述图像包括第二像素处的第二动态范围内容，基于所述第二像素的第二初始值来确定所述第二像素的第二重映射值；以及
提供所述第二像素的所述第二重映射值以用于显示。
20.根据权利要求19所述的介质，其中，基于第一动态范围内容的查找表和所述第一像素的初始值来确定所述第一像素的第一重映射值包括：
基于第一动态范围内容的查找表来确定所述第一像素的重映射值。
CN201980101269.XA 2019-12-04 混合动态范围内容的重映射 Active CN114556954B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/064444 WO2021112838A1 (en) 2019-12-04 2019-12-04 Remapping for mixed dynamic range content

Publications (2)

Publication Number Publication Date
CN114556954A true CN114556954A (zh) 2022-05-27
CN114556954B CN114556954B (zh) 2024-06-04

Family

ID=

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257531A (zh) * 2008-12-19 2011-11-23 高通股份有限公司 高动态范围图像组合
CN105794216A (zh) * 2014-09-08 2016-07-20 索尼公司 图像处理设备和图像处理方法
CN106488141A (zh) * 2015-08-13 2017-03-08 汤姆逊许可公司 高动态范围到高动态范围逆色调映射的方法、系统和设备
WO2017196727A1 (en) * 2016-05-10 2017-11-16 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
CN108521859A (zh) * 2015-11-24 2018-09-11 皇家飞利浦有限公司 处理多个hdr图像源
US20180330674A1 (en) * 2017-05-12 2018-11-15 Apple Inc. Electronic Devices With Tone Mapping To Accommodate Simultaneous Display of Standard Dynamic Range and High Dynamic Range Content
US10148907B1 (en) * 2017-10-27 2018-12-04 Avago Technologies International Sales Pte. Limited System and method of luminance processing in high dynamic range and standard dynamic range conversion
CN110192223A (zh) * 2017-01-10 2019-08-30 杜比实验室特许公司 高动态范围图像的显示映射
EP3537717A1 (en) * 2018-03-09 2019-09-11 Dolby Laboratories Licensing Corp. Single-layer progressive coding for supporting multi-capability hdr composition

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257531A (zh) * 2008-12-19 2011-11-23 高通股份有限公司 高动态范围图像组合
CN105794216A (zh) * 2014-09-08 2016-07-20 索尼公司 图像处理设备和图像处理方法
CN106488141A (zh) * 2015-08-13 2017-03-08 汤姆逊许可公司 高动态范围到高动态范围逆色调映射的方法、系统和设备
CN108521859A (zh) * 2015-11-24 2018-09-11 皇家飞利浦有限公司 处理多个hdr图像源
WO2017196727A1 (en) * 2016-05-10 2017-11-16 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
CN110192223A (zh) * 2017-01-10 2019-08-30 杜比实验室特许公司 高动态范围图像的显示映射
US20180330674A1 (en) * 2017-05-12 2018-11-15 Apple Inc. Electronic Devices With Tone Mapping To Accommodate Simultaneous Display of Standard Dynamic Range and High Dynamic Range Content
US10148907B1 (en) * 2017-10-27 2018-12-04 Avago Technologies International Sales Pte. Limited System and method of luminance processing in high dynamic range and standard dynamic range conversion
EP3537717A1 (en) * 2018-03-09 2019-09-11 Dolby Laboratories Licensing Corp. Single-layer progressive coding for supporting multi-capability hdr composition

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOEL SOLE ET AL.: "Showcase of the Regional Nesting SEI message", 《JCTVC-Z0033》 *
RONAN BOITARD: "High Dynamic Range versus Standard Dynamic Range compression efficiency", 《2016 DIGITAL MEDIA INDUSTRY & ACADEMIC FORUM (DMIAF)》 *
李卫中 彭祺: "基于混合映射的高动态范围场景再现", 《光学精密工程》 *
王晓珂: "高动态图像色调映射在低动态范围显示和背光调节应用上的研究", 《硕士学位论文》 *

Also Published As

Publication number Publication date
EP4032309A1 (en) 2022-07-27
WO2021112838A1 (en) 2021-06-10
US20230196524A1 (en) 2023-06-22
TW202139718A (zh) 2021-10-16

Similar Documents

Publication Publication Date Title
US9679398B2 (en) Rendering images using color contribution values of render elements
US20180277056A1 (en) System and method for managing image colors
US20120242673A1 (en) Register allocation for graphics processing
US8913073B2 (en) Interpolation according to a function represented using unevenly spaced samples of the function
CN108279894A (zh) 投屏分辨率转换方法及转换装置
US9552208B2 (en) System, method, and computer program product for remapping registers based on a change in execution mode
CN114556954B (zh) 混合动态范围内容的重映射
US10621710B2 (en) Display device and display method therefor
US8232994B2 (en) Viewing multi-dimensional data in two dimensions
US10542176B2 (en) Enhancing graph visualization with supplemental data
CN114556954A (zh) 混合动态范围内容的重映射
CN107767327B (zh) 图像渲染方法及装置、计算设备、显示设备
US11783752B2 (en) Gamma lookup table compression
US20220366829A1 (en) Dual color management for a multi-pixel density display
CN114008701A (zh) 用于多像素密度oled显示面板的渐进分辨率面板驱动
US11640811B2 (en) Three sub-color correction based on two-dimensional graphs
US20220301516A1 (en) Gamma lookup table compression based on dimensionality reduction
CN113515300B (zh) 代码查看方法、装置、电子设备和存储介质
US20050088454A1 (en) Method of displaying an image of a windowless object
WO2023236013A1 (en) Data re-arrangement by mixed simt and simd execution mode
WO2023003752A1 (en) Resource graphs for inherent and derived resource attributes
CN115938297A (zh) 图像处理方法、装置、电子设备及存储介质
CN117649459A (zh) 图像绘制方法、数据生成方法和装置
CN116895254A (zh) 一种显示装置、亮度补偿方法、存储介质和计算机设备
CN112965699A (zh) 前端页面生成方法、装置、计算机系统和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant