CN113196378A - 改进高动态范围显示器的混合层中的可见性的方法和系统 - Google Patents

改进高动态范围显示器的混合层中的可见性的方法和系统 Download PDF

Info

Publication number
CN113196378A
CN113196378A CN201980081613.3A CN201980081613A CN113196378A CN 113196378 A CN113196378 A CN 113196378A CN 201980081613 A CN201980081613 A CN 201980081613A CN 113196378 A CN113196378 A CN 113196378A
Authority
CN
China
Prior art keywords
sdr
hdr
pixel
overlay
adjustments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081613.3A
Other languages
English (en)
Inventor
周杰
大卫·I·J·格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Original Assignee
ATI Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC filed Critical ATI Technologies ULC
Publication of CN113196378A publication Critical patent/CN113196378A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

在许多情况下，在高动态范围(“HDR”)显示器上的HDR内容上方显示标准动态范围(“SDR”)叠加物。因为叠加物是SDR，所以叠加物的最大亮度远低于HDR内容的最大亮度，如果SDR元素具有至少某一透明度，则可能导致SDR元素被遮盖。本公开提供了以下技术，该技术包括：当在HDR内容上方显示具有某一透明度的SDR层时，修改HDR和SDR内容中的任一者或两者的光亮度。提供了多种技术。在一个示例中，将固定调整应用于SDR层和HDR层中的一者或两者的像素。固定调整包括降低HDR层的光亮度和/或增加SDR层的光亮度。在另一个示例中，应用可变调整。

Description

改进高动态范围显示器的混合层中的可见性的方法和系统
相关申请的交叉引用
本申请要求于2018年12月13日提交的美国非临时专利申请第16/218,708号的权益，所述美国非临时专利申请的内容通过引用并入本文。
背景技术
与标准动态范围(“SDR”)显示器相比，高动态范围(“HDR”)显示器通过增加最大亮度和最小亮度之间的比率来提供更令人愉悦的视觉体验。与HDR显示器有关的改进正在不断进行。
附图说明
可从结合附图以举例的方式给出的以下描述中获得更详细的理解，在附图中：
图1是根据某些实现方式的示例性装置的框图；
图2是根据一个示例的示出图1的装置的各方面的框图；
图3是根据一个示例的示出底层内容层和叠加内容层的图；
图4A至图4B示出根据一个示例的显示器、底层内容层和叠加内容层的比较动态范围；
图5是根据一个示例的用于将调整应用于图像的方法的流程图。
具体实施方式
本文描述了用于改进混合层中的可见性的技术。具体地，在许多情况下，在高动态范围(“HDR”)显示器上的HDR内容上方显示标准动态范围(“SDR”)叠加物。在一个示例中，将HDR视频内容提供给有线电视机顶盒，该有线电视机顶盒添加了指南和菜单。因为叠加物是SDR，所以叠加物的最大亮度远低于HDR内容的最大亮度，如果SDR元素具有至少某一透明度(例如，α值充分低于1.0)，则可能导致SDR元素被遮盖。为了帮助解决这种情况，本公开提供了以下技术，该技术包括：当在HDR内容上方显示具有某一透明度的SDR层时，修改HDR和SDR内容中的任一者或两者的光亮度。提供了多种技术。在一个示例中，将固定调整应用于SDR层和HDR层中的一者或两者的像素。固定调整包括降低HDR层的光亮度和/或增加SDR层的光亮度。在另一个示例中，应用可变调整。可变调整是基于特定像素的特征值与从多个像素得出的统计结果之间的比较。术语“特征值”是指表征像素的任何值。特征值的示例包括α值、光亮度值、平均颜色值(或颜色值的其他函数)或表征像素的任何其他值。在一个示例中，取SDR层中所有像素的α值的均值。对每个像素进行调整，其中对像素的调整是基于像素的α值与均值的比较。本文公开了许多其他技术。
图1是其中可以实现本公开的一个或多个特征的示例性装置100的框图。装置100包括例如计算机、游戏装置、手持式装置、机顶盒、电视机、移动电话或平板计算机。所述装置100包括处理器102、存储器104、存储装置106、一个或多个输入装置108以及一个或多个输出装置110。装置100还任选地包括输入驱动器112和输出驱动器114。应当理解，装置100包括未在图1中示出的另外的部件。
在各种替代方案中，处理器102包括中央处理单元(CPU)、图形处理单元(GPU)、位于同一管芯上的CPU和GPU、或一个或多个处理器核，其中每个处理器核可能是CPU或GPU。在各种替代方案中，存储器104与处理器102位于相同的管芯上，或者与处理器102分开定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器(RAM)、动态RAM或高速缓存。
存储装置106包括固定或可移动存储装置，例如硬盘驱动器、固态驱动器、光盘或快闪驱动器。输入装置108包括但不限于键盘、小键盘、鼠标、触摸屏、触摸板、检测器、传声器、加速计、陀螺仪、生物特征扫描仪或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。输出装置110包括但不限于显示装置118、扬声器、打印机、触觉反馈装置、一个或多个灯、天线或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。
输入驱动器112与处理器102和输入装置108通信，并且容许处理器102接收来自输入装置108的输入。输出驱动器114与处理器102和输出装置110通信，并且容许处理器102将输出发送到输出装置110。注意，输入驱动器112和输出驱动器114为任选部件，并且装置100在不存在输入驱动器112和输出驱动器114的情况下将以相同方式操作。输出驱动器114包括耦合到显示装置118的加速处理装置(“APD”)116。APD 116被配置为从处理器102接受计算命令和图形渲染命令，处理那些计算命令和图形渲染命令，并将像素输出提供给显示装置118以进行显示。
图2是其中可以实现本公开的一个或多个特征的示例性系统200的框图。系统200包括与渲染引擎210通信的处理器102，所述渲染引擎将图像数据共同提供给预显示装置215。任选的预显示装置215读取图像数据，根据一种或多种技术任选地修改从图像数据导出的像素数据，并且将修改后的像素数据输出到显示装置118以进行显示。系统200代表使图形显示在屏幕上的各种装置中的一种。
在一个示例中，系统200是家用计算装置，诸如台式计算机、膝上型计算机、平板计算机、智能电话、视频游戏控制台或其他装置。处理器102是装置的主处理器(例如，中央处理单元(“CPU”))。在这样的系统中，处理器102将命令和数据提供给渲染引擎210。渲染引擎210代表专用或集成的图形渲染硬件。渲染引擎210生成像素输出以在显示装置118上显示。用于渲染引擎210的命令和数据指示渲染引擎210基于二维或三维对象来渲染帧。命令和数据还指定用于在显示装置118上显示的叠加物，渲染引擎210将所述叠加物与渲染的帧组合以生成最终输出以在显示装置118上显示。在这种情况下，不存在预显示装置215。
在系统200是家用计算装置的另一个示例中，渲染引擎210包括视频解码器，该视频解码器对视频数据进行解码以进行显示。处理器102向视频解码器发出命令以对视频数据进行解码。预显示装置215是视频后处理引擎，其添加了一个叠加物以在显示装置118上显示。
在另一个示例中，系统200是视频内容服务器，其通过互联网并且通过预显示装置215连接到显示装置118。在这样的系统中，处理器102和渲染引擎210协同工作以提供像素数据以在显示装置118上显示。预显示装置215是机顶盒或其他媒体播放器，其接收视频数据、添加叠加物，并将得到的合成图像帧输出到显示装置118以进行显示。
在另一个示例中，系统200是复合系统，其包括连接到视频内容提供者系统的显示系统，该视频内容提供者系统向显示系统提供视频内容。在这样的示例中，显示系统包括显示装置118和预显示装置215，其作用是生成叠加物并将叠加与从视频内容提供者系统接收的视频内容合成。内容提供者系统的示例是流式台式计算机或互联网视频内容服务器。显示系统的示例是包括预显示装置215的智能电视或非智能电视。
尽管描述了系统200的一些示例，但是应当理解，系统200可以表示接收或生成用于显示的底层图像内容并将该底层图像内容与叠加物组合以在显示装置118上显示的任何其他类型的计算装置。
叠加层的图形有可能与底层内容层透明地合成。通常称为“α”的值指定了叠加层的不透明度。换句话说，α值指定叠加层的颜色对混合像素的最终颜色值的贡献程度。按照惯例，α值为1.0表示叠加层是不透明的，因此最终颜色值将是叠加层提供的颜色，而底层内容层不会对其进行修改。α值为0.0表示叠加层是完全透明的并且对最终颜色值无贡献。α值为0.5表示底层内容和叠加层都对最终像素值有很大程度的贡献。
诸如显示装置118之类的显示装置具有固有的动态范围。动态范围指定了显示器能够产生的最高亮度和最低亮度之间的比率。传统显示器被认为具有“标准”动态范围(“SDR”)。尽管不同显示器的实际动态范围有所不同，但是典型应用的输出通常会色调映射到SDR范围。色调映射是一种用于将内容生成器(例如，渲染引擎210)输出的像素的亮度映射到显示器输出的实际亮度值的技术。通常，尽管显示有局限性，但还是进行了色调映射以近似图像的预期外观。
高动态范围(“HDR”)显示器具有显示远大于SDR显示器的亮度范围的能力。此外，HDR显示器的最大亮度远大于SDR显示器的最大亮度(例如，HDR显示器为1000尼特，而SDR显示器为300尼特)。但是，要使用HDR显示器的全部动态范围，需要将要在HDR显示器上显示的内容指定为HDR内容，HDR内容的动态范围远大于SDR内容。HDR显示器上显示的SDR内容将不会映射到显示器的全部范围，而是会映射到HDR显示器的动态范围的较暗淡部分。由于HDR显示器的亮度比SDR显示器更大，因此以这种方式“向下映射”了SDR内容。更具体地说，HDR内容通常包括“高光范围”，该高光范围包括HDR范围的上部。此高光范围用于HDR内容中的高光(诸如镜面高光)，并且通常映射到HDR显示器的最高亮度。但是，SDR内容不包括此高光范围，而是以更通用的方式使用SDR范围的上部。如果将SDR内容映射到整个HDR范围，则大部分SDR内容将位于HDR显示器的将会太亮的高光范围。因此，不是将SDR内容映射到HDR显示器的整个范围，而是将SDR内容映射到了更低的范围。在一个示例中，即使在HDR显示器上显示SDR内容时，SDR内容也被映射到SDR显示器的亮度范围，因此SDR内容将大致像在SDR显示器上一样出现在HDR显示器上。
显示包括HDR和SDR内容的组合的内容存在问题。更具体地，如上所述，对SDR内容进行色调映射，使得SDR内容的最大亮度低于HDR内容和显示器本身的最大亮度。这种映射可能会导致SDR叠加物由于其亮度远低于底层图像内容而变得被遮盖(失真或不可见)。请注意，如果SDR叠加物叠加在SDR显示器上的SDR内容上，则由于SDR叠加物的亮度与SDR内容相当，因此SDR叠加物更可见。但是，在HDR显示器上，SDR叠加物会被更亮的HDR内容压盖过去。
图3和图4A至图4B示出了在内容层上方存在SDR叠加物的情况。图3示出了具有底层内容层305的屏幕300，针对该底层内容层示出了一个对象312。尽管实际上在内容层中可能存在更多对象，但是为了图示清楚，仅示出了一个。另外，示出了叠加内容层310。叠加内容层310包括与底层内容层对象312至少部分重叠的叠加内容层311。
对于SDR显示器，图4A示出了其上示出屏幕300的显示器、底层内容层305和叠加内容层310的比较动态范围。因为显示器是SDR显示器，所以显示器动态范围402、底层内容动态范围404和叠加物动态范围406大致相同。底层内容中的明亮对象312具有比叠加对象311稍低的亮度级别，因此，即使叠加对象311以α混合显示，叠加对象311也不会被明亮对象312遮盖。
对于HDR显示器，图4B示出了其上示出屏幕300的显示器、底层内容层305和叠加内容层310的比较动态范围。因为显示器是HDR显示器，所以显示器动态范围452远大于SDR显示器动态范围402。此外，提供给显示器的底层内容也是HDR，并且具有与显示器相同的动态范围。然而，因为叠加物动态范围不是HDR，而是SDR，所以叠加物动态范围远低于显示器动态范围452。此外，叠加物动态范围456的最大亮度远低于显示器动态范围452的最大亮度。因为底层内容动态范围454是HDR，所以底层内容中的明亮对象312具有比叠加对象311的亮度大得多的亮度。出于这个原因，如果叠加对象311是充分透明的(例如，其α值充分低于1.0)，则该叠加对象311将被底层内容层305的明亮对象312遮盖。请注意，在SDR显示器400图和HDR显示器图450中代表叠加对象311和明亮对象的线代表那些相应对象的最大亮度。应当理解，HDR内容454的动态范围不必与显示器452的动态范围完全相同。
出于以上原因，提供了一种技术来调整包括底层HDR内容层和SDR叠加物两者的合成图像的至少一部分的亮度值，其中合成图像将被显示在HDR显示器上。具体地，图5是根据一个示例的用于调整包括具有SDR叠加物的HDR内容的帧的方法500的流程图。虽然相对于图1至图3和图4A至图4B的系统进行了描述，但是应当理解，以任何技术上可行的顺序执行方法500的步骤的任何系统都落入本公开的范围内。
方法500由合成器或不同于合成器的另一单元执行，所述合成器或另一单元可以是处理器102的一部分(例如，作为在处理器102上执行的硬件模块或软件模块)、渲染引擎210的一部分(例如，作为后处理硬件或软件模块)、预显示装置215的一部分(例如，作为硬件或软件模块)或显示装置118的一部分(例如，再次作为硬件或软件模块)。色调映射器首先处理内容，以将内容中定义的亮度映射到显示器的亮度。如上所述，将SDR内容映射到SDR动态范围，而将HDR内容映射到更大的HDR动态范围。当需要合成时，诸如在要在HDR内容上显示SDR叠加物的情况下，合成器会根据SDR叠加物的α值将SDR和HDR内容混合。合成器可以是位于上述任何单元中或未描述的另一个单元中的软件或硬件部件。为了克服与具有比HDR底层内容低的最大亮度的SDR叠加物相关联的困难，当合成HDR和SDR内容时，合成器执行方法500。合成器任选地分析输入内容的像素的一个或多个特征值(其中输入内容包括底层内容以及叠加内容)，并且(在至少某些情况下)调整底层内容和叠加内容中的一者或两者的一个或多个像素的亮度，使得在混合时叠加内容的外观与未进行任何调整且底层内容和叠加内容被混合时的外观不同。此修改有助于改进SDR叠加物和HDR底层内容之间的对比度，使得SDR叠加物对于观看者更可见。术语“特征值”是指表征像素的任何值。特征值的示例包括α值、光亮度值、平均颜色值(或颜色值的其他函数)或表征像素的任何其他值。
方法500在步骤502处开始，其中合成器确定要在显示装置118上显示的图像包括HDR底层内容和SDR叠加物。包括HDR底层内容和SDR叠加物的情况的示例包括在HDR中渲染的经渲染三维图像(底层内容)和SDR叠加物，它们由例如以下中的一个或多个生成：处理器102(在应用程序、操作系统、装置驱动器或者其他硬件或软件模块的请求下)；渲染引擎210；或预显示装置215；通过有线电视网络输送的HDR电视内容，其中机顶盒提供要在HDR电视内容上显示的SDR菜单；或者媒体播放器(例如，蓝光播放器)，其显示来自物理介质的HDR内容并且还在来自物理介质的HDR内容上方显示SDR菜单、文本和/或图形。尽管描述了这些示例，但是这些示例不应被认为是限制性的。
在步骤504处，合成器识别HDR底层内容和SDR叠加物之间的重叠区域。这些区域包括被SDR叠加物和HDR底层内容两者覆盖的像素。如果SDR叠加物的任何部分都不完全不透明(例如，具有小于1.0的α值)，则将在具有来自底层HDR内容的至少某一贡献的情况下显示该SDR叠加物。
在步骤506处，合成器确定要应用于SDR叠加物和HDR底层内容中的任一者或两者的一个或多个调整。多种调整是可能的，并且将在下面进一步详细讨论。在步骤508处，合成器将一个或多个调整应用于叠加物和底层内容中的任一者或两者。在方法500之后，将SDR叠加物和HDR底层内容进行合成以形成最终图像，然后将其显示在显示器118上。
现在描述合成器要应用的示例性调整。在一个示例中，合成器对HDR底层内容和SDR叠加物中的一个或多个的像素应用固定调整。在一些示例中，该固定调整包括以下中的一项或多项：将HDR底层内容像素的光亮度加上或减去固定值；将HDR底层内容像素的光亮度乘以固定值(例如，像介于0到1之间的值的减小值或像大于1的值的增大值)；将SDR叠加物的光亮度加上或减去固定值；将SDR叠加物的光亮度乘以固定值(例如，像介于0到1之间的值的减小值或像大于1的值的增大值)；以及对HDR层的光亮度进行限幅。上述调整中的一项或多项可以单独应用或者组合应用。限幅是为底层HDR内容设置最大光亮度值的调整。为了应用限幅调整，如果像素的光亮度值大于最大值，则将光亮度值设置为最大值，并且如果像素的光亮度值小于或等于最大值，则不应用限幅调整。在一些示例中，首先将其他调整(例如，乘法和/或加法)应用于像素的光亮度值，然后如果需要，将结果值限幅为最大值。限幅也可以单独使用，无需任何其他调整。在一个示例中，重叠区域中的所有像素(HDR内容和SDR内容之间的重叠区域中的像素)通过乘法和加法中的任一者或两者而使它们的光亮度降低。然后，通过设置为最大值或通过进一步降低光亮度值(例如，通过与介于0到1之间的值相乘)、之后进行限幅操作，进一步减小超出限幅最大值的结果值，其中超过限幅最大值的值将设置为最大值。
在一些实现方式中，以更复杂的方式应用限幅。更具体地，可以为像素的红色、绿色和蓝色分量设置限幅最大值，并独立应用。在一些实现方式中，红色、绿色或蓝色分量中的仅一个或两个被限幅。可以使用用于对像素值进行限幅的任何其他技术上可行的技术。
在一些示例中，固定调整包括加上或减去一值以及将结果与比例值相乘。在一些示例中，加法或减法运算然后是乘法运算被应用于SDR内容和HDR内容两者。
在一个示例中，固定调整是基于SDR叠加物的动态范围与HDR底层内容的动态范围之间的比较，而较大的视差会导致对光亮度的更强修改。在另一个示例中，固定调整是预定义的恒定值。在另一个示例中，固定调整是用户定义的。决定固定调整值的方式不应当理解为受本文提供的特定示例限制。
在另一个示例中，合成器应用内容自适应的调整。内容自适应调整在本文中也称为可变调整。通常，内容自适应调整对HDR底层内容和SDR叠加物中的任一者或两者的像素的光亮度值进行一个或多个修改，其中光亮度被调整的程度是基于对HDR底层内容和SDR叠加物中的任一者或两者的像素的特征值的分析。内容自适应调整的一些示例如下。
在内容自适应调整的一个示例中，合成器对HDR底层内容和SDR叠加物中的一个或多个的像素应用可变调整。在一些示例中，可变调整包括以下中的一项或多项：将HDR底层内容像素的光亮度加上或减去可变值；将HDR底层内容像素的光亮度乘以可变值(例如，诸如介于0到1之间的值的减小值或诸如大于1的值的增大值)；将SDR叠加物的光亮度加上或减去可变值；将SDR叠加物的光亮度乘以可变值(例如，诸如介于0到1之间的值的减小值或诸如大于1的值的增大值)。在任何以上示例中，可变值是基于HDR底层内容和SDR叠加物的一个或多个像素的特征值。可变调整是内容自适应的，因为要应用的调整是基于SDR叠加物或HDR底层内容中的任一者或两者的像素的某些方面。
在本公开的其他部分中参考了以上调整。对SDR叠加物像素的固定调整统称为“固定SDR调整”。术语“固定”意指对于屏幕的某个区域(诸如整个屏幕，整个屏幕的一小部分，或叠加物和底层内容之间的重叠区域)中的不同像素，调整不会发生变化。这些调整包括对上述SDR叠加物的固定调整。对HDR底层内容的固定调整统称为“固定HDR调整”。这些调整包括对上述HDR底层内容的固定调整。对SDR内容的可变调整在本文中称为“可变SDR调整”。这些调整包括对上述SDR叠加物的可变调整。对HDR底层内容的可变调整统称为“可变HDR调整”。这些调整包括对上述HDR底层内容的可变调整。术语“固定调整”统称为固定SDR调整和固定HDR调整。术语“可变调整”统称为可变SDR调整和可变HDR调整。当在没有任何其他修饰语的情况下使用时，本文中的术语“调整”统称为固定调整和可变调整两者。在本公开中，术语“较弱的调整”是对像素的某些特征的影响程度小于“较强的调整”的调整。
在一些实现方式中，将调整应用于在SDR叠加物和底层HDR内容之间存在重叠的像素，而不应用于没有这种重叠存在的像素。在一些示例中，对特定像素的可变调整是基于为被调整像素的像素的一个或多个特征值，而不是基于其他像素。在一个示例中，与具有低透明度的像素(其将接收较弱的调整，诸如较低的光亮度提升)相比，具有高透明度(即，α接近0)的SDR叠加物的像素将接收“较强的调整”(例如，较大的光亮度提升)。在其他示例中，应用于像素的调整是基于对多个像素的分析，这些像素全部来自一层(例如，全部来自SDR层，或全部来自HDR层)或来自两个层。
合成器按以下方式应用固定调整。首先，合成器确定特定像素是否要接收调整。然后，如果该像素要接收调整，则合成器对该像素应用固定调整。在一个示例中，通过确定像素的特征值是高于还是低于阈值来确定是否对像素应用调整。在一个示例中，如果SDR叠加物像素的α值低于特定阈值，则合成器对该SDR叠加物像素应用固定调整(例如，通过加上固定值或乘以固定增益来增加该像素的光亮度)，对底层HDR内容层的重叠像素应用固定调整(例如，通过减去固定值或乘以小于0的固定值来降低该像素的光亮度)，或者对SDR叠加物像素和HDR内容层像素进行应用这两种调整。
关于基于对多个像素的特征值的分析而对任何特定像素进行的调整的可变调整，合成器使用统计技术来确定特定像素是否接收调整以及要接收调整的程度。统计技术考虑了在SDR叠加物和HDR底层内容之间存在重叠的像素的特征值，并基于这些特征值产生统计结果。在一些实现方式中，合成器将统计结果与阈值进行比较。如果统计结果大于或小于阈值，则合成器将调整应用于SDR叠加物和HDR底层内容中的任一者或两者的像素。另外，在一些实现方式中，对像素进行的调整的强度是基于该像素的特征值与统计结果之间的比较。
在上述示例中，对SDR叠加物的像素进行调整，但不对HDR底层内容的像素进行调整。合成器计算SDR叠加物的像素的所有α值的均值，并确定该均值低于阈值(表明存在明显的透明度)。响应于此确定，合成器确定应将调整应用于SDR叠加物的像素。所做的调整是基于SDR像素的α值与计算出的平均α值之间的比较。对于具有比平均值低的α值的像素，将应用更大的光亮度提升。对于具有比平均值大的α值的像素，将应用较小的光亮度提升。
在一个示例中，合成器基于诸如直方图之类的更复杂的统计技术来确定将哪些调整应用于哪些像素。根据这种技术，合成器基于SDR叠加物的像素、HDR底层内容的重叠像素或两者的特征值生成直方图。直方图将像素的特征值分组为与特征值范围相对应的直方图直条。每个直条存储落在分配给该直条的范围内的值的数量。
合成器基于直方图确定是否将调整应用于SDR叠加物和/或HDR底层内容的像素，以及任选地，应用调整的程度。在一个示例中，存在阈值特征值，并且合成器使用直方图确定特征值高于(或低于)阈值的像素的数量。例如，如果高于阈值的直方图直条的计数高于计数阈值，则合成器将调整应用于SDR叠加物和/或HDR底层内容的一个或多个像素。在一个示例中，合成器将可变调整应用于SDR叠加物和/或HDR底层内容的一个或多个像素，其中要应用的调整是基于直方图定义的分布。对于具有大部分像素靠近不透明端的直方图(例如，超过阈值百分比的像素具有高于α值阈值的α值)，所应用的调整要比针对具有大部分像素靠近透明端的直方图弱。
在一个示例中，直方图是HDR底层内容的光亮度值的直方图。如果直方图表示底层内容平均比阈值亮(例如，阈值以上的直条的像素数大于计数阈值)，则合成器确定应当应用调整。在一个示例中，如果直方图指示底层HDR内容较亮，则调整会较强；如果直方图指示底层HDR内容较暗，则调整会较弱。
在一个示例中，合成器在多个阶段中执行步骤506和508。具体地，每个阶段都与不同的空间像素范围相关联。在一个阶段中，合成器基于一个空间像素范围确定特征值，并基于对这些特征值的分析对像素应用调整。然后在另一个阶段中，合成器基于不同的空间像素范围确定特征值，并基于对这些特征值的分析对像素应用调整。也可以执行另外的阶段，在这些阶段中，可以基于对不同空间像素范围的分析应用调整。在一些示例中，不同的空间像素范围包括全局、局部和单个像素。全局像素范围是这样的范围：其中在生成特征值进行分析时考虑来自图像的近似整个范围的像素。基于此分析对某些像素进行调整。例如，可以获取整个图像上像素的平均光度。局部像素范围是这样的范围：其中在生成特征值进行分析时考虑对其进行调整的像素周围的像素。单个像素范围是这样的范围：其中从对其进行调整的像素得出特征值。在示例中，合成器基于一个空间像素范围的特征值将调整应用于像素，然后基于不同像素范围的特征值将调整应用于像素。
应当理解，基于本文的公开内容，许多变型是可能的。虽然上面以特定的组合描述了特征和要素，但是每个特征或要素能够单独使用而无需其他特征和要素，或者以具有或不具有其他特征和要素的各种组合使用。
所提供的方法能够在通用计算机、处理器或处理器核中实现。合适的处理器例如包括通用处理器、专用处理器、常见处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。能够通过以下方式制造这种处理器：使用处理后的硬件描述语言(HDL)指令的结果和其他中间数据(包括网表)(这种指令能够存储在计算机可读介质上)来配置制造过程。此类处理的结果可为掩模作品，所述掩模作品接着被用于半导体制造过程中以制造实现实施方案的各方面的处理器。
本文提供的方法或流程图能够在并入非暂时性计算机可读存储介质的计算机程序、软件或固件中实现，以便由通用计算机或处理器执行。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器装置、磁性介质(诸如内部硬盘和可移动磁盘)、磁光介质以及诸如CD-ROM盘和数字通用光盘(DVD)等光学介质。

Claims (20)

1.一种用于调整包括高动态范围(“HDR”)底层内容层和标准动态范围(“SDR”)叠加物的图像的方法，所述方法包括：
确定所述图像包括所述HDR底层内容层和所述SDR叠加物两者；
识别在所述HDR底层内容层和所述SDR叠加物之间存在重叠的像素；
确定要对所述HDR底层内容层和所述SDR叠加物中的任一者或两者的像素进行的一个或多个调整；以及
将所述一个或多个调整应用于所述像素。
2.根据权利要求1所述的方法，其中所述一个或多个调整包括对于每个像素相同的固定调整。
3.根据权利要求1所述的方法，其中所述一个或多个调整包括对所述像素的光亮度的调整。
4.根据权利要求1所述的方法，其中所述一个或多个调整包括以下之一：将所述像素乘以一个值；对所述像素进行限幅；或者将所述像素加上或减去一个值。
5.根据权利要求1所述的方法，其中所述一个或多个调整包括对于不同像素不同的可变调整。
6.根据权利要求5所述的方法，其中可变调整的值是基于对所述像素的统计分析。
7.根据权利要求6所述的方法，其中所述统计分析包括计算所述像素的平均值。
8.根据权利要求6所述的方法，其中所述统计分析包括构建直方图。
9.根据权利要求6所述的方法，其中确定要进行的所述一个或多个调整包括：通过将像素的特征值与基于所述统计分析的统计结果进行比较来确定是否对所述像素进行调整。
10.一种用于调整包括高动态范围(“HDR”)底层内容层和标准动态范围(“SDR”)叠加物的图像的装置，所述装置包括：
合成器，其被配置为：
确定所述图像包括所述HDR底层内容层和所述SDR叠加物两者；
识别在所述HDR底层内容层和所述SDR叠加物之间存在重叠的像素；
确定要对所述HDR底层内容层和所述SDR叠加物中的任一者或两者的像素进行的一个或多个调整；
将所述一个或多个调整应用于所述像素；以及
将调整后的像素输出到显示装置以进行显示。
11.根据权利要求10所述的装置，其中所述一个或多个调整包括对于每个像素相同的固定调整。
12.根据权利要求10所述的装置，其中所述一个或多个调整包括对所述像素的光亮度的调整。
13.根据权利要求10所述的装置，其中所述一个或多个调整包括以下之一：将所述像素乘以一个值；对所述像素进行限幅；或者将所述像素加上或减去一个值。
14.根据权利要求10所述的装置，其中所述一个或多个调整包括对于不同像素不同的可变调整。
15.根据权利要求14所述的装置，其中可变调整的值是基于对所述像素的统计分析。
16.根据权利要求15所述的装置，其中所述统计分析包括计算所述像素的平均值。
17.根据权利要求15所述的装置，其中所述统计分析包括构建直方图。
18.根据权利要求15所述的装置，其中确定要进行的所述一个或多个调整包括：通过将像素的特征值与基于所述统计分析的统计结果进行比较来确定是否对所述像素进行调整。
19.一种非暂时性计算机可读介质，其存储指令，所述指令在由处理器执行时使所述处理器通过以下方式来调整包括高动态范围(“HDR”)底层内容层和标准动态范围(“SDR”)叠加物的图像：
确定所述图像包括所述HDR底层内容层和所述SDR叠加物两者；
识别在所述HDR底层内容层和所述SDR叠加物之间存在重叠的像素；
确定要对所述HDR底层内容层和所述SDR叠加物中的任一者或两者的像素进行的一个或多个调整；以及
将所述一个或多个调整应用于所述像素。
20.根据权利要求19所述的非暂时性计算机可读介质，其中所述一个或多个调整包括固定调整或可变调整中的一个或多个。
CN201980081613.3A 2018-12-13 2019-12-05 改进高动态范围显示器的混合层中的可见性的方法和系统 Pending CN113196378A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/218,708 2018-12-13
US16/218,708 US10832389B2 (en) 2018-12-13 2018-12-13 Method and system for improved visibility in blended layers for high dynamic range displays
PCT/IB2019/060495 WO2020121136A1 (en) 2018-12-13 2019-12-05 Method and system for improved visibility in blended layers for high dynamic range displays

Publications (1)

Publication Number Publication Date
CN113196378A true CN113196378A (zh) 2021-07-30

Family

ID=71070947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081613.3A Pending CN113196378A (zh) 2018-12-13 2019-12-05 改进高动态范围显示器的混合层中的可见性的方法和系统

Country Status (5)

Country Link
US (3) US10832389B2 (zh)
EP (1) EP3895155A4 (zh)
KR (1) KR20210103467A (zh)
CN (1) CN113196378A (zh)
WO (1) WO2020121136A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293994A (zh) * 2022-09-30 2022-11-04 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN115393197A (zh) * 2022-10-27 2022-11-25 摩尔线程智能科技(北京)有限责任公司 图像合成方法、装置以及图形处理设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832389B2 (en) * 2018-12-13 2020-11-10 Ati Technologies Ulc Method and system for improved visibility in blended layers for high dynamic range displays
KR20220131637A (ko) * 2021-03-22 2022-09-29 삼성전자주식회사 Hdr 영상을 제공하는 방법 및 이를 지원하는 전자 장치
US20230300421A1 (en) * 2022-03-15 2023-09-21 Roku, Inc. User interface responsive to background video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014130213A1 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US20170061625A1 (en) * 2015-08-26 2017-03-02 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
JP2018060075A (ja) * 2016-10-06 2018-04-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像処理方法
CN108701438A (zh) * 2015-11-18 2018-10-23 汤姆逊许可公司 高动态范围显示器的亮度管理

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
WO2012172460A1 (en) 2011-06-14 2012-12-20 Koninklijke Philips Electronics N.V. Graphics processing for high dynamic range video
EP3047642B1 (en) * 2013-09-16 2018-12-19 Thomson Licensing Method and apparatus for color detection to generate text color
RU2689411C2 (ru) 2014-11-10 2019-05-28 Конинклейке Филипс Н.В. Способ для кодирования, процессор видео, способ для декодирования, декодер видео
JP6519329B2 (ja) 2015-06-09 2019-05-29 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US10043251B2 (en) * 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video
CN108702514B (zh) * 2016-03-09 2020-07-07 华为技术有限公司 一种高动态范围图像处理方法及装置
US10832389B2 (en) * 2018-12-13 2020-11-10 Ati Technologies Ulc Method and system for improved visibility in blended layers for high dynamic range displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014130213A1 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
CN105009567A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 用于合成叠加图形的外观映射的系统和方法
US20170061625A1 (en) * 2015-08-26 2017-03-02 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
CN108701438A (zh) * 2015-11-18 2018-10-23 汤姆逊许可公司 高动态范围显示器的亮度管理
JP2018060075A (ja) * 2016-10-06 2018-04-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293994A (zh) * 2022-09-30 2022-11-04 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN115393197A (zh) * 2022-10-27 2022-11-25 摩尔线程智能科技(北京)有限责任公司 图像合成方法、装置以及图形处理设备

Also Published As

Publication number Publication date
KR20210103467A (ko) 2021-08-23
EP3895155A4 (en) 2022-08-10
EP3895155A1 (en) 2021-10-20
US20230267581A1 (en) 2023-08-24
WO2020121136A1 (en) 2020-06-18
JP2022511416A (ja) 2022-01-31
US20210027437A1 (en) 2021-01-28
US10832389B2 (en) 2020-11-10
US20200193572A1 (en) 2020-06-18
US11657483B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
US11657483B2 (en) Method and system for improved visibility in blended layers for high dynamic range displays
US9661239B2 (en) System and method for online processing of video images in real time
KR101234958B1 (ko) 적응성 콘트래스트 개선
US8577142B2 (en) Image processing device, image processing method and program with improved image contrast
US20210158488A1 (en) Image edge processing method, electronic device, and computer readable storage medium
JP6602789B2 (ja) 局所的なコントラスト強調のためのシステムおよび方法
US8698961B2 (en) Enhanced histogram equalization
WO2013129225A1 (ja) 画像処理装置及び方法
US10554900B2 (en) Display apparatus and method of processing image thereof
JP2008072692A (ja) 統合ヒストグラム自動適応型コントラスト制御（ａｃｃ）
CN112750086A (zh) 一种图像处理方法、装置、电子设备及存储介质
US20080123984A1 (en) System and method for efficiently enhancing videos and images
JP2006228184A (ja) 動的画像コントラスト処理装置
CN110545412B (zh) 影像强化方法及计算机系统
Krawczyk et al. Contrast restoration by adaptive countershading
JP2022539962A (ja) 異なるカラーフォーマットからの画像をアルファブレンドするための方法及び装置
JP7506069B2 (ja) ハイダイナミックレンジディスプレイ用のブレンド層の視認性を改善するための方法及びシステム
US20170168687A1 (en) Image processing method and apparatus for operating in low-power mode
Goudé et al. A perceptually coherent TMO for visualization of 360 HDR images on HMD
KR101911947B1 (ko) 정보 가독성 향상과 배경 이미지 조화를 위한 화면 디자인 방법 및 그 시스템
US8482574B2 (en) System, method, and computer program product for calculating statistics associated with a surface to be rendered utilizing a graphics processor
US20180102108A1 (en) Image processing apparatus and image processing method
US20230186440A1 (en) Display apparatus and operating method thereof
CN111010525B (zh) 动态调整图像清晰度的方法及其图像处理装置
WO2023192235A1 (en) Methods and systems for perceptually meaningful spatial content compositing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination