CN109983530B - 环境光自适应显示管理 - Google Patents

环境光自适应显示管理 Download PDF

Info

Publication number
CN109983530B
CN109983530B CN201780072161.3A CN201780072161A CN109983530B CN 109983530 B CN109983530 B CN 109983530B CN 201780072161 A CN201780072161 A CN 201780072161A CN 109983530 B CN109983530 B CN 109983530B
Authority
CN
China
Prior art keywords
ambient light
function
value
contrast
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780072161.3A
Other languages
English (en)
Other versions
CN109983530A (zh
Inventor
J·A·派拉兹
R·阿特金斯
G·拉克史敏阿拉亚南
H·加纳帕斯-卡斯瓦卢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority claimed from PCT/US2017/067754 external-priority patent/WO2018119161A1/en
Publication of CN109983530A publication Critical patent/CN109983530A/zh
Application granted granted Critical
Publication of CN109983530B publication Critical patent/CN109983530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0606—Manual adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了用于环境光自适应显示管理的方法。在给定了输入图像、图像元数据、环境光信号以及表征目标显示器的参数的情况下，处理器生成环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的。将所述环境光调节函数应用于所述输入图像和所述输入元数据以生成虚拟图像和新元数据。将基于所述新元数据和目标显示器参数的色调映射函数应用于所述虚拟图像以生成输出图像。所述目标显示器的参数是基于所述环境光信号、全局调光元数据、以及所述目标显示器的亮度特性来计算的。

Description

环境光自适应显示管理
相关申请的交叉引用
本申请要求于2016年12月22日提交的申请号为62/437,960的美国临时专利申请、于2017年7月11日提交的申请号为62/531,232的美国临时专利申请、于2017年9月26日提交的申请号为62/563,247的美国临时专利申请、以及于2017年2月1日提交的申请号为17154164.2的欧洲专利申请的权益，这些专利申请中的每一个都通过引用结合到本文中。
技术领域
本发明通常涉及图像。更特别地，本发明的实施例涉及用于在具有可变环境光的观看环境中通过调光控制在面板上显示图像的自适应显示管理。
背景技术
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如亮度(luminance)、明度(luma))范围的能力，该强度范围例如是从最暗的灰色(深色或黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似呈现特定宽度的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点处明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。
如本文所使用的，术语“显示管理”或“显示映射”表示将具有第一动态范围(例如，1000尼特)的输入视频信号的图像或图片映射到具有第二动态范围(例如，500尼特)的显示器所需的过程(例如，色调映射和色域映射)。可以在于2016年1月14日提交的名称为“Display management for high dynamic range images(用于高动态范围图像的显示管理)”的申请序列号为PCT/US2016/013352的PCT专利申请(将被称为‘352申请)中找到显示管理过程的示例，所述PCT专利申请的全文通过引用结合到本文中。
在典型的内容创建流水线中，在5尼特的周围环境中对视频进行颜色分级。在实践中，观看者可以在各种周围环境中显示内容，比如在5尼特下(例如，在黑暗的家庭影院中观看电影)、在100至150尼特下(例如，在相对明亮的起居室中观看电影)、或更高(例如，白天在非常明亮的房间或室外在平板计算机上观看电影)。
如本发明人在此所理解的，特别是当图像涉及变化的观看环境时，期望用于显示具有高动态范围的图像的改进技术。
在这一部分中描述的方法是可以采用的方法，但不一定是之前已经设想到或采用的方法。因此，除非另有指明，否则不应认为这一部分中所描述的任何方法仅因为其包括在这一部分中而被认为是现有技术。类似地，除非另有指明，否则关于一种或多种方法所识别的问题不应认为已基于这一部分在任何现有技术被公认。
附图说明
在附图中以举例而非限制的方式来示出本发明的实施例，并且其中相同的附图标记指代相同的元件，并且在附图中：
图1描绘了用于背光控制和显示管理的示例性过程；
图2描绘了根据本发明的实施例的用于背光控制和环境光自适应显示管理的示例性过程；
图3A和图3B描绘了根据本发明的实施例的用于环境光自适应显示管理的示例性过程；
图4描绘了根据本发明的实施例的用于环境光周围补偿的示例性函数；
图5描绘了根据本发明的实施例的周围环境亮度同信号亮度的比率与对比度缩放函数之间的示例性关系，所述对比度缩放函数用于在周围环境亮度下维持感知对比度；
图6描绘了根据本发明的实施例的用于PQ函数的基于环境光的自适应的示例性过程；并且
图7描绘了根据本发明的实施例的适于所计算的周围环境亮度的输入PQ到输出PQ映射的示例。
具体实施方式
本文描述了用于环境光自适应显示管理或图像的显示映射的技术。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，将明显的是，可以在没有这些具体细节的情况下实施本发明。在其他情形中，为了避免不必要的遮挡、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
概述
本文描述的示例性实施例涉及在变化的观看环境(例如，变化的环境光)的情况下对图像的显示管理。在实施例中，在给定了输入图像、图像元数据、环境光信号以及表征目标显示器的参数的情况下，处理器生成环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的。将所述环境光调节函数应用于所述输入图像和所述输入元数据以生成虚拟图像和新元数据。将基于所述新元数据和目标显示器参数的色调映射函数应用于所述虚拟图像以生成输出图像。
在一种利用处理器来进行环境光自适应显示管理的方法的实施例中，所述方法包括：
接收输入图像、与所述输入图像有关的元数据、以及环境光信号，其中，所述元数据包括所述输入图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
(例如，通过接收、选择或生成)获得环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的；
将所述环境光调节函数应用于所述输入图像以生成虚拟图像，并且将所述环境光调节函数应用于所述最小亮度值、中点亮度值和最大亮度值中的所述至少一个以生成所述虚拟图像的新元数据；
(例如，通过接收、选择或生成)获得基于所述新元数据和目标显示器的参数的色调映射函数；以及
将所述色调映射函数应用于所述虚拟图像以生成用于所述目标显示器的输出图像。
在另一实施例中，在给定了输入图像、图像元数据、环境光信号以及表征目标显示器的参数的情况下，处理器生成环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的。将所述环境光调节函数应用于所述输入元数据以生成新元数据。生成基于所述新元数据和所述目标显示器参数的第一色调映射函数。生成基于所述环境光调节函数和所述第一色调映射函数的第二色调映射函数，并且将所述第二色调映射函数应用于所述输入图像以生成要在所述目标显示器上显示的输出图像。
在一种利用处理器来进行环境光自适应显示管理的方法的实施例中，所述方法包括：
接收输入图像、与所述输入图像有关的元数据、以及环境光信号，其中，所述元数据包括所述输入图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
(例如，通过生成、选择或接收)获得环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的；
将所述环境光调节函数应用于所述最小亮度值、中点亮度值和最大亮度值中的所述至少一个，以生成新元数据；
(例如，通过生成、选择或接收)获得基于所述新元数据和目标显示器的参数的第一色调映射函数；
(例如，通过生成、选择或接收)获得基于所述环境光调节函数和所述第一色调映射函数的第二色调映射函数；以及
将所述第二色调映射函数应用于所述输入图像以生成用于所述目标显示器的输出图像。
环境光调节函数可以例如由处理器生成、或从一组预定义的环境光调节函数中选择，其中，针对不同的环境光信号(即，针对不同的环境光水平)来定义不同的环境光调节函数。
上文描述的色调映射函数和第一色调映射函数可以例如由处理器生成、或从一组预定义的色调映射函数中选择，其中，针对新元数据的不同值和目标显示器的参数的不同值来选择不同的色调映射函数。
表征目标显示器的参数是例如基于环境光信号、全局调光元数据、以及目标显示器的亮度特性来计算的。
在实施例中，一种装置包括用于将具有第一动态范围的图像映射到目标显示器的第二动态范围的显示管理器、处理器、以及提供环境光信号的环境光传感器。所述显示管理器被配置用于：
接收第一图像以及与所述第一图像有关的元数据，所述元数据包括所述第一图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
获得基于与所述第一图像有关的所述元数据和所述目标显示器的参数的色调映射函数；并且
将所述色调映射函数应用于所述第一图像以生成用于所述目标显示器的输出图像。
所述处理器被配置用于：
接收输入图像和与所述输入图像有关的元数据，所述元数据包括所述输入图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
获得环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光传感器的所述环境光信号来确定的；
将所述环境光调节函数应用于所述输入图像以生成虚拟图像，并且将所述环境光调节函数应用于所述输入图像的所述元数据的所述最小亮度值、中点亮度值和最大亮度值中的所述至少一个以生成所述虚拟图像的新元数据；并且
将所述虚拟图像和所述新元数据输出到所述显示管理器。
因此，所述处理器生成被输出到所述显示管理器的虚拟图像和新元数据。然后，所述显示管理器将所述虚拟图像和所述新元数据作为输入，获得基于所述新元数据和所述目标显示器的参数的色调映射函数，并将所述色调映射函数应用于所述虚拟图像以生成用于所述目标显示器的输出图像。因此，所述处理器在所述显示管理器将数据映射到所述目标显示器之前对所述输入图像应用环境光校正。这允许所述显示管理器的处理过程保持不变。例如，显示管理器可能已经以设置在不具有环境光控制的设备中的硬件的形式实现。
示例性显示控制和显示管理
图1描绘了根据实施例的用于显示控制和显示管理的示例性过程(100)。输入信号(102)将被显示在显示器(120)上。输入信号可以表示单个图像帧、图像的集合、或视频信号。图像信号(102)表示通常由电光信号转换函数(EOTF)定义的某个源或某个主显示器上的期望图像，所述电光信号转换函数描述输入视频信号的颜色值(例如，亮度)与由目标显示器(120)产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系，所述电光信号转换函数诸如是ITU-R BT.1886(也称为“伽马映射”)或SMPTE ST 2084(也称为“PQ映射”)。显示器可以是电影放映机、电视机、监视器等，或者可以是另一设备(诸如，平板计算机或智能电话)的一部分。
过程(100)可以是连接到消费内容的显示器(例如，电影放映机、电视机、机顶盒、平板计算机、智能电话、游戏控制台等)的接收器或媒体播放器的功能的一部分，或者过程可以是内容创建系统的一部分，其中，例如，输入(102)从一个颜色等级和动态范围映射到适合于目标显示器系列(例如，具有标准动态范围或高动态范围的电视、电影院放映机等)的目标动态范围。
在一些实施例中，输入信号(102)还可以包括元数据(104)。如本文所使用的，术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器呈现解码图像的任何辅助信息。这样的元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。这些元数据可以是表征信号本身的特性的信号元数据，或表征用于对输入信号进行颜色分级和处理的环境特性(例如，源显示器特性、环境光、编码元数据等)的源元数据。
在一些实施例中(例如，在内容创建期间)，过程100还可以生成嵌入到所生成的色调映射输出信号中的元数据。目标显示器(120)可以具有与源显示器不同的EOTF。接收器需要考虑源显示器与目标显示器之间的EOTF差异以便准确地显示输入图像，从而使所显示的输入图像被感知为与显示在源显示器上的源图像尽可能最佳地匹配。在实施例中，图像分析(105)块可以计算输入信号(102)的特性，诸如其最小(min(最小))亮度值、平均(mid(中点))亮度值和峰值(max(最大))亮度值，以用于处理过程流水线的其余部分。例如，在给定了min、mid和max亮度源数据(107或104)的情况下，图像处理块(110)可以计算将允许用于显示输入视频的尽可能最佳的环境的显示器参数(例如，显示器(120)的优选背光水平)。显示管理(115)是通过考虑这两个EOTF、以及源显示器和目标显示器可能具有不同能力(例如，在动态范围方面)的事实而将输入图像映射到目标显示器(120)中的过程。
在一些实施例中，输入(102)的动态范围可以低于显示器(120)的动态范围。例如，采用Rec.709格式的最大亮度为100尼特的输入可能需要被颜色分级并被显示在最大亮度为1000尼特的显示器上。在其他实施例中，输入(102)的动态范围可以与显示器的动态范围相同或者高于显示器的动态范围。例如，可以对最大亮度为5000尼特的输入(102)进行颜色分级，而目标显示器(120)可以具有1500尼特的最大亮度。
在实施例中，显示器(120)由显示控制器(130)控制。显示控制器(130)向显示映射过程(115)提供与显示器相关的数据(134)(诸如：显示器的最小亮度和最大亮度、色域信息等)和用于显示器的控制数据(132)，诸如用于调制显示器的背光或其他参数以进行全局或局部调光的控制信号。
在实施例中，显示控制器(130)可以接收关于观看环境的信息(106)，诸如环境光的强度。此信息可以从来自附接到设备的一个或多个传感器的测量结果导出，此信息可以是用户输入、位置数据、默认值或其他数据。例如，即使没有传感器，用户也可以从菜单中选择观看环境，诸如“暗”、“正常”、“亮”和“非常亮”，其中，菜单中的每个条目都与设备制造商选择的预定义亮度值相关联。可替代地，对环境光的估计可以基于一天中的时间。信号106还可以包括对观看环境中的屏幕反射的估计。此类估计可以从显示器(120)的屏幕反射率的模型以及观看环境中的环境光的测量结果导出。通常，传感器位于显示器的前方并测量显示屏上的照度，所述照度是根据反射率来提升黑电平的环境分量。还可以经由接口134将观看环境信息(106)传送到显示管理单元(115)。
使用全局或局部背光调制技术的显示器基于来自图像内容的输入帧的信息和/或由本地环境光传感器接收的信息来调节背光。例如，对于相对较暗的图像，显示控制器(130)可以调暗显示器的背光以增强黑色。类似地，对于相对较亮的图像，显示控制器可以增大显示器的背光以增强图像的高光并提高暗区域的亮度，因为暗区域将低于高周围环境(high ambient environment)的阈值对比度。
背光控制
在实施例中，显示器(120)可以经由全局或局部调光来支持背光控制。图2描绘了根据实施例的背光控制和环境光自适应显示管理的示例性过程。图2与图1非常相似，但描绘了与背光控制(110)有关的附加处理细节和信号。
如图2中所描绘的，在一些实施例中，可以接收与全局调光控制有关的元数据(202)作为比特流或HDMI输入数据中的元数据(104)的一部分。在一些实施例中，可以根据图像分析块(105)中的源输入(102)来计算全局调光元数据(202)。作为示例而非限制，在实施例中，背光控制元数据可以定义被表示为anchor_PQ和anchor_power的两个全局调光控制变量。例如，anchor_PQ可以描述图像内容的度量(metrix)(例如，min、mid(平均)或max亮度值)，并且anchor_power可以描述图像内容的某个其他参数(例如，亮度的标准偏差)，以描述与anchor_PQ的偏差量，从而帮助指导设置背光和其他显示器参数。例如，对于(0，1)中的归一化的亮度值，这些变量的输入值可以是：anchor_PQ＝0.4并且anchor_power＝0.2。
将目标显示器(120)的峰值亮度表示为target_backlight以显示输入图像。该峰值亮度的值将确定经由全局调光控制或局部调光控制来驱动显示器背光所需的功率。
显示器(120)还可以允许经用户调节的明亮度(brightness)控制，所述经用户调节的明亮度控制允许用户指导或重写默认的图片显示设置。作为示例而非限制，可以经由user_brightness变量(204)来确定经用户调节的明亮度，所述变量通常取0到100％之间的值。
显示器(120)可以包括环境光传感器，所述环境光传感器输出与入射光量相对应的某个数字代码(206)。这个值可以传递到环境光校准LUT(220)，所述环境光校准LUT输出相应的实际光通量(LUX)(例如，由变量ambient_lux(222)表示)。可替代地，环境光LUT的输出可以直接以亮度单位(例如，尼特)给出，由此消除了对基于光通量和反射来计算周围亮度的需要。可以通过用户偏好调节来缩放(scale)环境光传感器的校准响应。这可以小于100％以使面板变暗，或者大于100％以使面板更亮。结果是到背光计算算法的输入和全局调光元数据。
在实施例中，背光计算算法结合来自元数据(202)、用户控制(204)和光传感器(206)的输入以确定适当的背光明亮度。以下伪代码给出了示例性算法。
target_backlight＝anchor_pq*anchor_pq_weight+anchor_power*anchor_power_weight；
adjusted_backlight＝target_backlight*user_brightness*amb_gain*(ambient_lux*ambient_reflections-ambient_offset)；
clamped_backlight＝max(backlight_min*half_contrast，min(backlight_max/half_contrast，adjusted_backlight))；
target_display_max＝clamped_backlight*half_contrast；
target_display_min＝clamped_backlight/half_contrast；
anchor_pq_weight和anchor_power_weight表示用于缩放元数据的加权系数，通常分别为1和0.5。
amb_gain、ambient_reflections和ambient_offset是用于缩放来自环境光传感器的读数的加权系数和偏置，通常分别为0.01、0.2/π和5。
基于背光能力和对比率来确定half_contrast、backlight_min和backlight_max。例如，如果面板的对比率为1000∶1，则对比度为
Figure BDA0002067982800000081
如果最小黑电平为0.1尼特，并且峰值明亮度为600尼特，则钳位(clamped)背光将被钳位在600/31.6＝18.97与0.1*31.6＝3.16尼特之间。
然后将所得的target_display_min和target_display_max用于环境光自适应显示管理计算单元(230)以生成输出图像(232)。
还将target_display_max的值传递到背光查找表(LUT)(225)，所述背光查找表将所期望的背光亮度值转换成适当的背光控制值。例如，可以将相应控制值和所测量亮度的测量结果填入此LUT。
在可替代的实施例中，用于将背光水平调节到由环境光传感器感测的光水平的项
amb_gain*(ambient_lux*ambient_reflections-ambient_offset)
被吸收到元数据anchor_pq(表示min、mid或max亮度)和anchor_power中。换言之，基于环境光水平生成新元数据：
anchor_pq_new＝anchor_pq*amb_gain*(ambient_lux*ambient_reflections-ambient_offset)
anchor_power_new＝anchor_power*amb_gain*(ambient_lux*ambient_reflections-ambient_offset)
然后，按以下方式通过显示管理过程来调节背光：
target_backlight＝anchor_pq_new*anchor_pq_weight+anchor_power_new*anchor_power_weight；
adjusted_backlight＝target_backlight*user_brightness
clamped_backlight＝max(backlight_min*half_contrast，min(backlight_max/half_contrast，adjusted_backlight))；
target_display_max＝clamped_backlight*half_contrast；target_display_min＝clamped_backlight/half_contrast.
环境光自适应显示管理
图3A和图3B更详细地描绘了根据两个实施例的环境光自适应显示管理过程(230)的示例性过程。这些过程(230-A、230-B)将传统的色调映射和色域映射(315)的“与环境光无关的”显示管理操作(例如，如‘352申请中所描述的显示管理操作)与根据观看环境(222)的条件来调节源图像(102)和源元数据(104)的附加步骤相结合。
这个实施例中的一个新颖之处是在将数据映射到目标显示器之前对源图像数据(102)应用环境光校正。这使得即使观看环境发生变化，显示映射过程(315)也保持不变。例如，显示管理过程(315)可以已经在设置在不具有环境光控制的设备中的硬件中实现。然后，利用新软件，相同的硬件也可以适于在具有环境光控制的设备中使用。结合前面讨论的背光控制，生成虚拟图像并调节源元数据使得无论周围环境光如何都允许对目标显示器的最佳观看。接下来讨论过程230的这两个示例性实施例中的具体步骤。
源输入的环境光校正
可以通过考虑人类视觉系统的各方面来补偿周围环境光。具有较高环境光的环境需要较高的黑色对比度以增加感知上被碎片化(crushed)的黑色细节，并且需要较高的峰值白色(高光)以维持相同的明亮度视觉外观。对于较暗的周围环境则相反。应该使用环境光调节来补偿与参考观看环境(例如，5尼特)不同的观看环境。
如图3A中所描绘的，在实施例(230-A)中，在给定了与观看环境有关的信息(222)的情况下，在步骤(302)中，显示管理过程生成或从一组预先计算的亮度映射中选择用于补偿和/或调节周围环境光的映射。例如，这种映射可以表示为环境光补偿或调节LUT(304)。图4中提供了针对四种可能的观看环境的环境光补偿函数(304)的示例：在5尼特的观看环境(405)、100尼特的观看环境(410)、500尼特的观看环境(415)和零尼特的观看环境(420)下。在实施例中，但不限于，这些图是基于由R.Wanat等人于2016年10月20日提交的名称为“Ambient-Light-Corrected Display Management for High Dynamic Range Images(用于高动态范围图像的环境光校正显示管理)”的专利申请序列号为15/298,521的美国专利申请(‘521申请)中描述的方法导出的，所述美国专利申请通过引用以其全文结合到本文中。
如图4中所描绘的，当观看环境与参考环境(例如，5尼特)相匹配时，函数405表示斜率＝1的直线，即不需要调节。对于较暗的观看环境(例如，420)或较亮的观看环境(例如，410、415)，根据需要减小或增大输入亮度。
可以使用分析技术(例如，参见‘521申请)或插值技术来为其他观看环境导出类似的周围环境光补偿映射。例如，对于两个环境光值m1和m2，在给定了预先计算的曲线fL,m1(I)和fL,m2(I)的情况下，可以通过在fL,m1(I)值与fL,m2(I)值之间进行插值来生成对于m1<m<m2的新曲线fL,m(I)。
在给定了环境光调节LUT(304)的情况下，在步骤(305)中，将此LUT应用于输入图像(102)以生成虚拟图像(307)。虚拟图像表示在与观看环境相匹配的环境中生成的图像，因此传统的显示管理技术(其不考虑周围环境光)现在可以直接应用于虚拟图像。
在可替代的实施例中，要应用的周围补偿量还可以取决于图像内容。例如，描述源图像平均亮度的元数据可以用于调节要应用的环境补偿量。对于非常暗的图像，补偿量可能很高(全强度)，因为存在大量必须保留的暗细节。然而，对于亮的图像，可以减少补偿量，这可能降低暗细节的可见性，但是改善了整体图像对比度和外观。
源元数据调节
如‘352申请中所描述的，可以通过提供源元数据以指导显示映射过程(115)来改善所述过程，所述源元数据诸如为源min亮度值、源mid亮度值和源max亮度值。由于已经针对特定观看环境调节了源图像102，因此还需要调节源元数据(104)。在实施例中，可以通过使用与用于生成虚拟图像307的函数或LUT相同的环境光调节函数或LUT(304)将源元数据(104)映射到经更新的或新的元数据值(308)来执行此步骤(305)。
显示映射
如‘352申请中所描述的，显示映射涉及色调映射(用于向上或向下映射明亮度水平)和色域映射(用于将输入图像的颜色映射到目标显示器的颜色体积中)。例如，在步骤(310)中，遵循‘352申请中描述的技术，可以使用要被色调映射的信号的min亮度值、mid亮度值和max亮度值、以及目标显示器的min亮度值和max亮度值(例如，前面计算的target_display_min值和target_display_max值)来生成S形的色调映射曲线(312)。在给定了色调映射曲线(312)的情况下，在步骤(315)中，通过应用色调映射和色域映射来生成输出图像(232)。
传统的色调映射技术假设源显示器和目标显示器处于类似的环境光环境中。通过应用步骤(302)和(305)，不管使用哪种技术进行环境光补偿，核心显示映射算法(例如，310和315)都可以保持相同，从而简化设计并支持与现有软件和现有硬件的互操作性。经结合的环境光补偿和色调映射
如图4中所描绘的，环境光调节LUT(304)(例如，步骤(302)中生成的LUT)将输入亮度值(Iin)映射到虚拟图像的亮度值(Iv)，例如，Iv＝fL(Iin)。接下来，在色调映射期间，将虚拟图像的亮度值(Iv)映射到要显示到目标显示器的信号(232)的输出亮度值(Io)。这可以表示为Io＝fT(Iv)，其中，fT(.)表示在步骤(310)中生成的色调映射函数(312)。如在过程(230-B)中所描绘的，在实施例中，在步骤(320)中，这两个映射函数(fL(.)和fT(.))可以结合成一个映射函数以生成经结合的映射函数(或LUT)fLT(.)(314)，使得Io＝fLT(Iin)。为了生成适当的fT(.)，仍然需要使用fL(.)映射(304)来将输入元数据(104)重新映射到经调节的元数据(308)。如在生成经调节的元数据值(308)的步骤(306)中所描绘的，此实施例消除了对生成完整虚拟图像(307)的需要，从而减少了存储要求和总体计算资源。
基于保留感知对比度的亮度调节
通常也称为感知量化(PQ)映射的SMPTE ST 2084映射被设计用于12位输入数据以具有“刚好感知不到的(just-imperceptible)”步长，即，来自两个相邻码字的单个步长不会被普通观看者注意到。这种设计利用了“最佳情况的人类视觉系统”分析，其中，观看者理论上将适应每个亮度水平。这样，无论观看条件如何，量化伪像都将不可见。在实践中，存在观看者不可能适应每个亮度水平的观看条件。例如，在亮的房间中，观看者可能无法适应像电视、平板计算机、或移动电话等显示器上的暗的亮度水平。
如前所述，在实施例中，在应用显示管理操作(115)之前，将环境光调节曲线应用于传入的输入数据以补偿周围环境光可以是有益的。
将经调节的对比度定义为
Figure BDA0002067982800000121
其中，f是用于根据周围环境亮度来调节对比度(c)以便保留原始图像中的感知对比度的比例因子，并且Lmin和Lmax表示输入信号量化器(quantizer)(例如，PQ)中一个12位步长的上限亮度值和下限亮度值。如果f＝1，则无需调节对比度。在实施例中，基于心理物理实验根据周围亮度来确定f，其中，对于各种测试环境亮度水平，将最佳对比度值确定为使得适应测试环境亮度水平的观看者可以“刚好”再次检测到经调节的亮度水平的相邻码字之间的差异。图5描绘了针对LS/L值的各种值的测试的示例性结果，其中，L表示输入亮度，并且LS表示环境周围亮度。在实施例中，但不限于，f可以近似为
Figure BDA0002067982800000122
本领域技术人员将理解，f或1/f可以由可替代的表示方式来表示，例如，查找表(LUT)、分段线性函数、分段非线性函数、样条等。
在给定了LS/L值到对比度缩放值的映射(例如，等式(2)中的函数f(LS/L))的情况下，图6描绘了根据实施例的用于计算输入到输出亮度调节映射的示例性过程(600)。虽然本文的示例是针对使用PQ映射函数来编码的输入图像而提供的，但是本领域技术人员将理解，类似的方法可以应用于可替代的信号量化函数，诸如传统的伽马函数、混合对数型伽马(Hybrid-Log-gamma)函数(参见BT.2100)等。
所述过程的输入是：L0，初始亮度值(例如，0.001尼特)；LS，环境周围亮度(例如，100尼特)；以及N，输入亮度空间(例如，0.001至10000尼特)的归一化的PQ空间(例如，(0，1))中的量化步长数。在示例性实施例中，N＝4096提供了准确度、存储要求以及计算负荷之间的良好折衷。步骤605是变量A的初始化步骤，设置A＝L0。在给定了线性空间中的亮度值A(例如，以尼特为单位)的情况下，步骤610通过以下方式计算量化(例如，PQ)空间中1/N距离处的下一个码字(B)的亮度：a)使用线性到PQ函数L2PQ()将A值转换为PQ空间，b)加上PQ步长1/N，以及c)然后通过将PQ到线性函数PQ2L()应用于总和来生成返回到线性空间的值(B)。对于PQ编码的信号，L2PQ()和PQ2L()转换函数至少在名称为“Image parametervalues for high dynamic range television for use in production andinternational programme exchange(用于在生产和国际节目交换中使用的高动态范围电视的图像参数值)”(07/2016)的Rec.ITU-R BT.2100中进行了描述，所述文献通过引用结合到本文中。
在给定了这两个连续的亮度值A和B的情况下，步骤615使用等式(1)来计算假定不需要调节(例如，f＝1)的局部对比度值(M)。对于LS/L＝LS/A，其还使用等式(2)来计算对比度比例因子F＝f(LS/A)。在给定了M和F的值的情况下，根据等式(1)，步骤620将期望的(归一化的)输出亮度值(AS)计算为
Figure BDA0002067982800000131
在步骤(625)中，亮度值L(i)＝PQ2L(L2PQ(L0)+i/N)以及相应的AL(i)＝AS值可以用于生成亮度调节查找表(L(i)，AL(i))。重复N次步骤610至625以覆盖全输入动态范围。注意，在每次迭代(步骤630)之后，输出值AS作为新输入A。注意，对于i＝0，简单地将L0映射到L0。
图7描绘了如针对10、100和1000尼特下的周围环境光、使用图6的过程计算的三个亮度自适应曲线(705、710、715)的示例。
在实施例中，可以使用参数化表示来表示由过程600计算的也称为环境光调节函数的亮度自适应曲线。例如，对于PQ函数，
Figure BDA0002067982800000132
其中
Figure BDA0002067982800000133
Figure BDA0002067982800000134
在实施例中，当目标观看环境中的环境光强度与参考观看环境中的环境光强度相同时，所述环境光调节函数是恒等函数。进一步地，至少对于大于最小输入值(例如，零)且小于最大输入值(例如，一)的输入值，当目标观看环境中的环境光强度高于参考观看环境中的环境光强度时，环境光调节函数的输出值大于输入值。另一方面，至少对于大于最小输入值(例如，零)的输入值，当目标观看环境中的环境光强度低于参考观看环境中的环境光强度时，环境光调节函数的输出值低于输入值。可选地，最小输入值(例如，零)可以被映射到最小输出值(例如，零)，而与环境光强度无关。
在进一步的示例中，当目标观看环境中的环境光强度大于参考观看环境中的环境光强度时，输入值的上限范围可以被映射到最大输出值，即，对于超过预定阈值的所有输入值，环境光调节函数的输出值可以被限幅到最大输出值(例如，一)，其中，这个阈值随着环境光强度增大而减小。
在实施例中，在目标观看环境中的环境光强度高于参考观看环境中的环境光强度的情况下，可以根据三个相邻的输入值范围来定义环境光调节函数：下限范围、中间范围和上限范围。下限范围从零起始。在输入值等于零的情况下，环境光调节函数的输出值等于零。对于下限范围内的其他输入值，即，下限范围内大于零的输入值，输出值大于输入值。进一步地，在下限范围内，环境光调节函数的斜率随着输入值增大而减小。在中间范围内，环境光强度函数是线性的且具有等于一的斜率和大于零的截距，或者是至少近似于具有等于一的斜率和大于零的截距的线性函数。在上限范围内，环境光调节函数的输出值被限幅到最大输出值(例如，一)。
另一方面，在目标观看环境中的环境光强度低于参考观看环境中的环境光强度的情况下，可以根据两个相邻的范围来定义环境光调节函数：下限范围和上限范围。下限范围从零起始。在输入值等于零的情况下，环境光调节函数的输出值等于零。对于下限范围内的其他输入值，即，下限范围内大于零的输入值，输出值小于输入值。进一步地，在下限范围内，环境光调节函数的斜率随着输入值增大而减小。在上限范围内，环境光强度函数是线性的且具有等于一的斜率和小于零的截距，或者是至少近似于具有等于一的斜率和小于零的截距的线性函数。
这些函数也可以适用于从一个周围亮度条件转换到另一个周围亮度条件。例如，在给定了参考环境光R的情况下，考虑
Figure BDA0002067982800000141
查找表生成10尼特(例如，705)的环境光的经调节值。考虑
Figure BDA0002067982800000142
查找表生成100尼特(例如，710)的环境光的经调节值。然后，为了生成从10尼特到100尼特的新LUT，可以简单地将
Figure BDA0002067982800000143
值映射到
Figure BDA0002067982800000144
值。也就是说，如果
Figure BDA0002067982800000145
则
Figure BDA0002067982800000146
Figure BDA0002067982800000147
不能直接从
Figure BDA0002067982800000148
映射获得的L值可以从可用值进行插值。
环境光强度函数可以增加黑暗中的对比度，同时维持明亮中的对比度。
通过将环境光强度函数应用于元数据，例如最小亮度值、中点亮度值和最大亮度值中的至少一个，可以控制显示器的背光以针对环境光来调节。
示例计算机系统实施方式
本发明的实施例可以利用以下方式来实施：计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(诸如微控制器、现场可编程门阵列(FPGA)、或其他可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))、和/或包括一个或多个这样的系统、设备或部件的装置。计算机和/或IC可以执行、控制或实行与环境光自适应显示管理过程有关的指令，诸如本文所述的那些指令。计算机和/或IC可以计算与本文描述的环境光自适应显示管理过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以在硬件、软件、固件及其各种组合中实施。
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的环境光自适应显示管理过程有关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何非暂时性介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光学数据存储介质，包括ROM、闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有说明，否则对此部件的引用(包括对“装置”的引用)都应被解释为包括为执行所描述部件的功能的任何部件的此部件的等同物(例如，功能上等同的)，并包括在结构上不等同于执行在本发明的所展示示例性实施例中的功能的所公开结构的部件。
等同、扩展、替代和杂项
因此描述了涉及环境光自适应显示管理过程的示例性实施例。在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，作为本发明的、并且申请人意图作为本发明的唯一且独有的指示是从本申请中以这套权利要求发布的具体形式发布的权利要求，包括任何后续修改。本文中明确阐述的针对这样的权利要求中包含的术语的任何定义应当支配权利要求中使用的这样的术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这样的权利要求的范围。因此，说明书和附图应被视为说明性的而非具有限制性意义。
可以从以下列举的示例性实施例(EEE)中理解本发明的各个方面：
1.一种利用处理器来进行环境光自适应显示管理的方法，所述方法包括：
接收输入图像、输入图像元数据和环境光信号；
生成环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的；
将所述环境光调节函数应用于所述输入图像和所述输入元数据以生成虚拟图像和所述虚拟图像的新元数据；
生成基于所述新元数据和目标显示器的参数的色调映射函数；以及
将所述色调映射函数应用于所述虚拟图像以生成用于所述目标显示器的输出图像。
2.一种利用处理器来进行环境光自适应显示管理的方法，所述方法包括：
接收输入图像、输入图像元数据和环境光信号；
生成环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的；
将所述环境光调节函数应用于所述输入元数据以生成新元数据；
生成基于所述新元数据和目标显示器的参数的第一色调映射函数；
生成基于所述环境光调节函数和所述第一色调映射函数的第二色调映射函数；以及
将所述第二色调映射函数应用于所述输入图像以生成用于所述目标显示器的输出图像。
3.如EEE 1或EEE 2所述的方法，其中，当所述目标观看环境中的环境光强度与所述参考观看环境中的环境光强度近似相同时，所述环境光调节函数是恒等函数。
4.如任一前述EEE所述的方法，其中，在所述环境光调节函数中，对于一个或多个输入亮度值，当所述目标观看环境中的环境光强度高于所述参考观看环境中的环境光强度时，相应的输出值高于输入值。
5.如任一前述EEE所述的方法，其中，在所述环境光调节函数中，对于一个或多个输入亮度值，当所述目标观看环境中的环境光强度低于所述参考观看环境中的环境光强度时，相应的输出值低于输入值。
6.如任一前述EEE所述的方法，其中，所述目标显示器的参数包括目标显示器最小明亮度值和目标显示器最大明亮度值。
7.如EEE 6所述的方法，其中，计算所述目标显示器最小明亮度值和所述目标显示器最大明亮度值至少基于所述环境光信号。
8.如EEE 7所述的方法，其中，计算所述目标显示器最小明亮度值和所述目标显示器最大明亮度值包括：
接收一个或多个全局调光控制参数；
接收经用户调节的明亮度控制输入；
接收表征所述目标显示器的一个或多个参数；以及
基于所述全局调光控制参数、所述经用户调节的明亮度控制输入、所述环境光信号、以及表征所述目标显示器的所述一个或多个参数来确定所述目标显示器最小明亮度值和所述目标显示器最大明亮度值。
9.如EEE 8所述的方法，进一步包括：计算：
target_backlight＝anchor_pq*anchor_pq_weight+anchor_power*anchor_power_weight；
adjusted_backlight＝target_backlight*user_brightness*amb_gain*(ambient_lux*ambient_reflections-ambient_offset)；
clamped_backlight＝max(backlight_min*half_contrast，min(backlight_max/half_contrast，adjusted_backlight))；
target_display_max＝clamped_backlight*half_contrast；
target_display_min＝clamped_backlight/half_contrast；
其中，anchor_pq和anchor_power是全局调光参数，
anchor_pq_weight、anchor_power_weight、amb_gain、ambient_reflections、ambient_offset表示加权系数，half_contrast、backlight_min和backlight_max是表征所述目标显示器的参数，并且target_display_min和target_display_max分别表示所述目标显示器最小明亮度值和所述目标显示器最大明亮度值。
10.如EEE 1所述的方法，其中，生成所述环境光调节函数包括：
当不需要环境光调节时，访问对比度函数以生成两个输入亮度值之间的对比度值；
确定对比度缩放函数以对所述对比度函数的输出进行缩放，其中，所述对比度缩放函数将LS/L值映射到缩放因子(scaler)值(f)，其中，L表示输入亮度值，并且LS表示所述环境光信号；以及
基于所述对比度函数、所述对比度缩放函数、以及将线性亮度值映射到经量化亮度值的映射函数来生成所述环境光调节函数。
11.如EEE 10所述的方法，其中，计算所述对比度函数包括计算
Figure BDA0002067982800000181
其中，LA和LB表示输入线性亮度值，其中，LB>LA。
12.如EEE 11所述的方法，其中，所述对比度缩放函数包括计算函数
Figure BDA0002067982800000182
13.如EEE 12所述的方法，其中，生成所述环境光调节函数进一步包括：
接收线性亮度的起始亮度值L0；
接收输入N，其中，N表示代表非线性亮度中的多个量化步长的常数；
设置变量A＝L0；
对于迭代i，其中，i＝1至N：
计算B＝PQ2L(L2PQ(A)+1/N)，其中，L2PQ()表示将线性亮度值映射到经量化亮度值的函数，并且PQ2L()表示将经量化亮度值映射到线性亮度值的函数；
计算M＝(B-A)/(B+A)；
计算F＝f(LS/A)；
计算AS＝A(1+M*F)/(1-M*F)；
计算L(i)＝PQ2L(L2PQ(L0)+i/N)；
输出(L(i)，AS)，其中，给定亮度L(i)，AS表示根据所述环境光调节函数的相应映射；以及
对于下一次迭代，设置A＝AS。
14.如EEE 13所述的方法，其中，根据SMPTE ST 2084(PQ)的建议来确定将线性亮度值映射到经量化亮度值的所述映射函数。
15.如EEE 10所述的方法，其中，确定所述对比度缩放函数进一步包括：在给定了输入图像、以及周围环境光的值的情况下，确定缩放的对比度值，使得适应所述周围环境光的观看者能够以所述输入图像的原始对比度感知到所述输入图像。
16.一种装置，包括处理器并且被配置用于执行如EEE 1至15中所述的方法中的任一种方法。
17.一种非暂时性计算机可读存储介质，其上存储有用于执行根据EEE 1至15中任一EEE所述的方法的计算机可执行指令。

Claims (27)

1.一种利用处理器来进行环境光自适应显示管理的方法，所述方法包括：
接收输入图像、与所述输入图像有关的元数据、以及环境光信号，其中，所述元数据包括所述输入图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
获得环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的；
将所述环境光调节函数应用于所述输入图像以生成虚拟图像，并且将所述环境光调节函数应用于所述最小亮度值、中点亮度值和最大亮度值中的所述至少一个以生成所述虚拟图像的新元数据；
获得基于所述新元数据和目标显示器的参数的色调映射函数；以及
将所述色调映射函数应用于所述虚拟图像以生成用于所述目标显示器的输出图像，
其中，所述获得环境光调节函数包括接收所述环境光调节函数、选择所述环境光调节函数和生成所述环境光调节函数中的至少一个，
其中，生成所述环境光调节函数包括：
当不需要环境光调节时，访问对比度函数以生成两个输入亮度值之间的对比度值；
确定对比度缩放函数以对所述对比度函数的输出进行缩放，其中，所述对比度缩放函数将LS/L值映射到缩放值f，其中，L表示输入亮度值，并且LS表示所述环境光信号；以及
基于所述对比度函数、所述对比度缩放函数、以及将线性亮度值映射到经量化亮度值的映射函数来生成所述环境光调节函数，
其中，计算所述对比度函数包括计算
Figure FDA0003335082720000011
其中，LA和LB表示输入线性亮度值，其中，LB>LA，并且
其中，所述对比度缩放函数包括计算函数
Figure FDA0003335082720000012
2.如权利要求1所述的方法，其中，当所述目标观看环境中的环境光强度与所述参考观看环境中的环境光强度近似相同时，所述环境光调节函数是恒等函数。
3.如权利要求1所述的方法，其中，在所述环境光调节函数中，对于一个或多个输入亮度值，当所述目标观看环境中的环境光强度高于所述参考观看环境中的环境光强度时，相应的输出亮度值高于输入亮度值。
4.如权利要求1所述的方法，其中，在所述环境光调节函数中，对于一个或多个输入亮度值，当所述目标观看环境中的环境光强度低于所述参考观看环境中的环境光强度时，相应的输出亮度值低于输入亮度值。
5.如权利要求1至4中任一项所述的方法，其中，所述目标显示器的参数包括目标显示器最小明亮度值和目标显示器最大明亮度值。
6.如权利要求5所述的方法，其中，计算所述目标显示器最小明亮度值和所述目标显示器最大明亮度值至少基于所述环境光信号。
7.如权利要求6所述的方法，其中，计算所述目标显示器最小明亮度值和所述目标显示器最大明亮度值包括：
接收一个或多个全局调光控制参数；
接收经用户调节的明亮度控制输入；
接收表征所述目标显示器的一个或多个参数；以及
基于所述全局调光控制参数、所述经用户调节的明亮度控制输入、所述环境光信号、以及表征所述目标显示器的所述一个或多个参数来确定所述目标显示器最小明亮度值和所述目标显示器最大明亮度值。
8.如权利要求7所述的方法，进一步包括，计算：
target_backlight＝anchor_pq*anchor_pq_weight+anchor_power*anchor_power_weight；
adjusted_backlight＝target_backlight*user_brightness*amb_gain*(ambient_lux*ambient_reflections-ambient_offset)；
clamped_backlight＝max(backlight_min*half_contrast，min(backlight_max/half_contrast，adjusted_backlight))；
target_display_max＝clamped_backlight*half_contrast；
target_display_min＝clamped_backlight/half_contrast；
其中，anchor_pq和anchor_power是全局调光参数，
anchor_pq_weight、anchor_power_weight、amb_gain、ambient_reflections、ambient_offset表示加权系数，half_contrast、backlight_min和backlight_max是表征所述目标显示器的参数，并且target_display_min和target_display_max分别表示所述目标显示器最小明亮度值和所述目标显示器最大明亮度值。
9.如权利要求1所述的方法，其中，生成所述环境光调节函数进一步包括：
接收线性亮度的起始亮度值L0；
接收输入N，其中，N表示代表非线性亮度中的多个量化步长的常数；
设置变量A＝L0；
对于迭代i，其中，i＝1至N：
计算B＝PQ2L(L2PQ(A)+1/N)，其中，L2PQ()表示将线性亮度值映射到经量化亮度值的函数，并且PQ2L()表示将经量化亮度值映射到线性亮度值的函数；
计算M＝(B-A)/(B+A)；
计算F＝f(LS/A)；
计算AS＝A(1+M*F)/(1-M*F)；
计算L(i)＝PQ2L(L2PQ(L0)+i/N)；
输出(L(i)，AS)，其中，给定亮度L(i)，AS表示根据所述环境光调节函数的相应映射；并且
对于下一次迭代，设置A＝AS。
10.如权利要求9所述的方法，其中，根据SMPTEST2084的建议来确定将线性亮度值映射到经量化亮度值的所述映射函数。
11.如权利要求1所述的方法，其中，确定所述对比度缩放函数进一步包括：在给定了输入图像以及周围环境光的值的情况下，确定经缩放的对比度值，使得适应所述周围环境光的观看者能够以所述输入图像的原始对比度感知到所述输入图像。
12.如权利要求1所述的方法，其中，所述中点亮度值是平均亮度值、中值亮度值或众值亮度值。
13.一种利用处理器来进行环境光自适应显示管理的方法，所述方法包括：
接收输入图像、与所述输入图像有关的元数据、以及环境光信号，其中，所述元数据包括所述输入图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
获得环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光信号来确定的；
将所述环境光调节函数应用于所述最小亮度值、中点亮度值和最大亮度值中的所述至少一个，以生成新元数据；
获得基于所述新元数据和目标显示器的参数的第一色调映射函数；
获得基于所述环境光调节函数和所述第一色调映射函数的第二色调映射函数；以及
将所述第二色调映射函数应用于所述输入图像以生成用于所述目标显示器的输出图像，
其中，所述获得环境光调节函数包括接收所述环境光调节函数、选择所述环境光调节函数和生成所述环境光调节函数中的至少一个，
其中，生成所述环境光调节函数包括：
当不需要环境光调节时，访问对比度函数以生成两个输入亮度值之间的对比度值；
确定对比度缩放函数以对所述对比度函数的输出进行缩放，其中，所述对比度缩放函数将LS/L值映射到缩放值f，其中，L表示输入亮度值，并且LS表示所述环境光信号；以及
基于所述对比度函数、所述对比度缩放函数、以及将线性亮度值映射到经量化亮度值的映射函数来生成所述环境光调节函数，
其中，计算所述对比度函数包括计算
Figure FDA0003335082720000041
其中，LA和LB表示输入线性亮度值，其中，LB>LA，并且
其中，所述对比度缩放函数包括计算函数
Figure FDA0003335082720000051
14.如权利要求13所述的方法，其中，当所述目标观看环境中的环境光强度与所述参考观看环境中的环境光强度近似相同时，所述环境光调节函数是恒等函数。
15.如权利要求13所述的方法，其中，在所述环境光调节函数中，对于一个或多个输入亮度值，当所述目标观看环境中的环境光强度高于所述参考观看环境中的环境光强度时，相应的输出亮度值高于输入亮度值。
16.如权利要求13所述的方法，其中，在所述环境光调节函数中，对于一个或多个输入亮度值，当所述目标观看环境中的环境光强度低于所述参考观看环境中的环境光强度时，相应的输出亮度值低于输入亮度值。
17.如权利要求13至16中任一项所述的方法，其中，所述目标显示器的参数包括目标显示器最小明亮度值和目标显示器最大明亮度值。
18.如权利要求17所述的方法，其中，计算所述目标显示器最小明亮度值和所述目标显示器最大明亮度值至少基于所述环境光信号。
19.如权利要求18所述的方法，其中，计算所述目标显示器最小明亮度值和所述目标显示器最大明亮度值包括：
接收一个或多个全局调光控制参数；
接收经用户调节的明亮度控制输入；
接收表征所述目标显示器的一个或多个参数；以及
基于所述全局调光控制参数、所述经用户调节的明亮度控制输入、所述环境光信号、以及表征所述目标显示器的所述一个或多个参数来确定所述目标显示器最小明亮度值和所述目标显示器最大明亮度值。
20.如权利要求19所述的方法，进一步包括，计算：
target_backlight＝anchor_pq*anchor_pq_weight+anchor_power*anchor_power_weight；
adjusted_backlight＝target_backlight*user_brightness*amb_gain*(ambient_lux*ambient_reflections-ambient_offset)；
clamped_backlight＝max(backlight_min*half_contrast，min(backlight_max/half_contrast，adjusted_backlight))；
target_display_max＝clamped_backlight*half_contrast；
target_display_min＝clamped_backlight/half_contrast；
其中，anchor_pq和anchor_power是全局调光参数，
anchor_pq_weight、anchor_power_weight、amb_gain、ambient_reflections、ambient_offset表示加权系数，half_contrast、backlight_min和backlight_max是表征所述目标显示器的参数，并且target_display_min和target_display_max分别表示所述目标显示器最小明亮度值和所述目标显示器最大明亮度值。
21.如权利要求13所述的方法，其中，生成所述环境光调节函数进一步包括：
接收线性亮度的起始亮度值L0；
接收输入N，其中，N表示代表非线性亮度中的多个量化步长的常数；
设置变量A＝L0；
对于迭代i，其中，i＝1至N：
计算B＝PQ2L(L2PQ(A)+1/N)，其中，L2PQ()表示将线性亮度值映射到经量化亮度值的函数，并且PQ2L()表示将经量化亮度值映射到线性亮度值的函数；
计算M＝(B-A)/(B+A)；
计算F＝f(LS/A)；
计算AS＝A(1+M*F)/(1-M*F)；
计算L(i)＝PQ2L(L2PQ(L0)+i/N)；
输出(L(i)，AS)，其中，给定亮度L(i)，AS表示根据所述环境光调节函数的相应映射；并且
对于下一次迭代，设置A＝AS。
22.如权利要求21所述的方法，其中，根据SMPTE ST 2084的建议来确定将线性亮度值映射到经量化亮度值的所述映射函数。
23.如权利要求13所述的方法，其中，确定所述对比度缩放函数进一步包括：在给定了输入图像以及周围环境光的值的情况下，确定经缩放的对比度值，使得适应所述周围环境光的观看者能够以所述输入图像的原始对比度感知到所述输入图像。
24.如权利要求13所述的方法，其中，所述中点亮度值是平均亮度值、中值亮度值或众值亮度值。
25.一种用于环境光自适应显示管理的装置，包括：
存储器，所述存储器存储软件指令；和
一个或多个处理器，所述一个或多个处理器被配置为执行所述软件指令以执行如权利要求1至24中任一项所述的方法。
26.一种用于环境光自适应显示管理的装置，包括：
显示管理器，用于将具有第一动态范围的图像映射到目标显示器的第二动态范围，所述显示管理器被配置用于：
接收第一图像以及与所述第一图像有关的元数据，所述元数据包括所述第一图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
获得基于与所述第一图像有关的所述元数据以及所述目标显示器的参数的色调映射函数；并且
将所述色调映射函数应用于所述第一图像以生成用于所述目标显示器的输出图像，所述装置进一步包括：
环境光传感器，所述环境光传感器提供环境光信号；以及
处理器，所述处理器被配置用于：
接收输入图像以及与所述输入图像有关的元数据，所述元数据包括所述输入图像的最小亮度值、中点亮度值和最大亮度值中的至少一个；
获得环境光调节函数，所述环境光调节函数将参考观看环境中的输入亮度值映射到目标观看环境中的输出亮度值，其中，所述目标观看环境是基于所述环境光传感器的所述环境光信号来确定的；
将所述环境光调节函数应用于所述输入图像以生成虚拟图像，并且应用于所述输入图像的所述元数据的所述最小亮度值、中点亮度值和最大亮度值中的所述至少一个以生成所述虚拟图像的新元数据；并且
将所述虚拟图像和所述新元数据输出到所述显示管理器，
其中，所述获得环境光调节函数包括接收所述环境光调节函数、选择所述环境光调节函数和生成所述环境光调节函数中的至少一个，
其中，生成所述环境光调节函数包括：
当不需要环境光调节时，访问对比度函数以生成两个输入亮度值之间的对比度值；
确定对比度缩放函数以对所述对比度函数的输出进行缩放，其中，所述对比度缩放函数将LS/L值映射到缩放值f，其中，L表示输入亮度值，并且LS表示所述环境光信号；以及
基于所述对比度函数、所述对比度缩放函数、以及将线性亮度值映射到经量化亮度值的映射函数来生成所述环境光调节函数，
其中，计算所述对比度函数包括计算
Figure FDA0003335082720000081
其中，LA和LB表示输入线性亮度值，其中，LB>LA，并且
其中，所述对比度缩放函数包括计算函数
Figure FDA0003335082720000082
27.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有用于执行如权利要求1至24中任一项所述的方法的计算机可执行指令。
CN201780072161.3A 2016-12-22 2017-12-20 环境光自适应显示管理 Active CN109983530B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662437960P 2016-12-22 2016-12-22
US62/437,960 2016-12-22
EP17154164 2017-02-01
EP17154164.2 2017-02-01
US201762531232P 2017-07-11 2017-07-11
US62/531,232 2017-07-11
US201762563247P 2017-09-26 2017-09-26
US62/563,247 2017-09-26
PCT/US2017/067754 WO2018119161A1 (en) 2016-12-22 2017-12-20 Ambient light-adaptive display management

Publications (2)

Publication Number Publication Date
CN109983530A CN109983530A (zh) 2019-07-05
CN109983530B true CN109983530B (zh) 2022-03-18

Family

ID=60953976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072161.3A Active CN109983530B (zh) 2016-12-22 2017-12-20 环境光自适应显示管理

Country Status (3)

Country Link
US (1) US10930223B2 (zh)
EP (1) EP3559933A1 (zh)
CN (1) CN109983530B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389553B (zh) * 2018-03-27 2021-01-12 深圳创维－Rgb电子有限公司 背光控制方法、装置及计算机可读存储介质
EP3591955A1 (en) * 2018-07-06 2020-01-08 InterDigital VC Holdings, Inc. Method of processing data by an iterative application of a same lut
JP7242212B2 (ja) * 2018-08-07 2023-03-20 キヤノン株式会社 表示制御装置、表示制御方法、及び、プログラム
US11175177B2 (en) * 2018-12-19 2021-11-16 Synaptics Incorporated Systems and methods for detecting ambient light or proximity with an optical sensor
EP4250279A3 (en) 2020-04-28 2023-11-01 Dolby Laboratories Licensing Corporation Image-dependent contrast and brightness control for hdr displays
US11776503B2 (en) * 2020-05-28 2023-10-03 Apple Inc. Generating display data based on modified ambient light luminance values
JP2023532083A (ja) 2020-06-30 2023-07-26 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｐｑシフトを用いた周囲光補償のためのシステムおよび方法
CN114005401B (zh) * 2020-07-28 2023-01-20 惠州视维新技术有限公司 一种显示效果调节方法、终端及存储介质
JP2023537939A (ja) 2020-08-17 2023-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジビデオ用のピクチャメタデータ
US11398017B2 (en) 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
CN112261223A (zh) * 2020-10-20 2021-01-22 网易（杭州）网络有限公司 图像渲染方法、装置、设备及存储介质
US11526968B2 (en) 2020-11-25 2022-12-13 Samsung Electronics Co., Ltd. Content adapted black level compensation for a HDR display based on dynamic metadata
CN114640799A (zh) * 2020-12-15 2022-06-17 深圳Tcl数字技术有限公司 一种亮度调节方法、装置、存储介质及终端设备
CN114697592A (zh) * 2020-12-30 2022-07-01 海信视像科技股份有限公司 一种显示设备
US11348470B1 (en) * 2021-01-07 2022-05-31 Rockwell Collins, Inc. Apparent video brightness control and metric
EP4086842A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Content-optimized ambient light hdr video adaptation
EP4086843A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized hdr video contrast adaptation
EP4086841A1 (en) * 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized ambient light hdr video adaptation
EP4086844A1 (en) * 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized hdr video contrast adaptation
CN113628100A (zh) * 2021-08-10 2021-11-09 Oppo广东移动通信有限公司 视频增强方法、装置、终端及存储介质
CN113903299B (zh) * 2021-09-01 2024-02-02 北京集创北方科技股份有限公司 显示亮度调控方法、装置、设备、存储介质和显示屏
US11468546B1 (en) 2021-11-29 2022-10-11 Unity Technologies Sf Increasing dynamic range of a virtual production display
WO2023101416A1 (en) * 2021-11-30 2023-06-08 Samsung Electronics Co., Ltd. Method and electronic device for digital image enhancement on display
CN115328550A (zh) * 2022-08-11 2022-11-11 北京奕斯伟计算技术股份有限公司 驱动指令修改方法及应用于显示驱动集成电路的接收器
CN115512673B (zh) * 2022-10-25 2023-09-05 青岛海信移动通信技术有限公司 一种光强度值调整方法、装置、终端设备及介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057484A1 (en) 2003-09-15 2005-03-17 Diefenbaugh Paul S. Automatic image luminance control with backlight adjustment
JP2005308857A (ja) * 2004-04-19 2005-11-04 Sony Corp アクティブマトリクス型表示装置およびその駆動方法
WO2006003600A1 (en) 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Dominant color extraction using perceptual rules to produce ambient light derived from video content
US7782405B2 (en) 2004-12-02 2010-08-24 Sharp Laboratories Of America, Inc. Systems and methods for selecting a display source light illumination level
US7839406B2 (en) * 2006-03-08 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with ambient illumination input
US8531379B2 (en) 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
JP5321032B2 (ja) * 2008-12-11 2013-10-23 ソニー株式会社 表示装置、輝度調整装置、輝度調整方法及びプログラム
US20100163717A1 (en) 2008-12-26 2010-07-01 Yaw-Guang Chang Calibration method for calibrating ambient light sensor and calibration apparatus thereof
US20100201275A1 (en) 2009-02-06 2010-08-12 Cok Ronald S Light sensing in display device
EP2224696B1 (en) 2009-02-27 2016-11-09 BlackBerry Limited Automatic keypad backlight adjustment on a mobile handheld electronic device
US8096695B2 (en) 2009-05-08 2012-01-17 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Light guide for ambient light sensor in a portable electronic device
US8866837B2 (en) * 2010-02-02 2014-10-21 Microsoft Corporation Enhancement of images for display on liquid crystal displays
US8786585B2 (en) * 2010-02-22 2014-07-22 Dolby Laboratories Licensing Corporation System and method for adjusting display based on detected environment
US8242707B2 (en) 2010-07-26 2012-08-14 Apple Inc. Ambient light calibration for energy efficiency in display systems
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US8761539B2 (en) * 2012-07-10 2014-06-24 Sharp Laboratories Of America, Inc. System for high ambient image enhancement
EP2731055A1 (en) 2012-10-04 2014-05-14 Thomson Licensing Method and apparatus for ambient lighting color determination
US8576340B1 (en) 2012-10-17 2013-11-05 Sony Corporation Ambient light effects and chrominance control in video files
JP6334552B2 (ja) 2012-11-27 2018-05-30 フィリップス ライティング ホールディング ビー ヴィ ステージパフォーマンスから導かれるデータに基づきアンビエントライティング効果を生成する方法
MX346011B (es) * 2013-02-21 2017-02-28 Dolby Laboratories Licensing Corp Gestion de exhibicion para video de alto intervalo dinamico.
KR102190233B1 (ko) * 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
TR201815542T4 (tr) 2015-01-19 2018-11-21 Dolby Laboratories Licensing Corp Yüksek dinamik aralıklı videoya yönelik ekran yönetimi.
US10140953B2 (en) 2015-10-22 2018-11-27 Dolby Laboratories Licensing Corporation Ambient-light-corrected display management for high dynamic range images

Also Published As

Publication number Publication date
US10930223B2 (en) 2021-02-23
EP3559933A1 (en) 2019-10-30
US20190304379A1 (en) 2019-10-03
CN109983530A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109983530B (zh) 环境光自适应显示管理
US10140953B2 (en) Ambient-light-corrected display management for high dynamic range images
US11423523B2 (en) Apparatus and method for dynamic range transforming of images
US9685120B2 (en) Image formats and related methods and apparatuses
US9613407B2 (en) Display management for high dynamic range video
US9584786B2 (en) Graphics blending for high dynamic range video
WO2018119161A1 (en) Ambient light-adaptive display management
US10540920B2 (en) Display management for high dynamic range video
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
WO2014043005A1 (en) Display management for images with enhanced dynamic range
JP2020502707A (ja) ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法
US20240161706A1 (en) Display management with position-varying adaptivity to ambient light and/or non-display-originating surface light
JP2024518827A (ja) 周囲光および／または非ディスプレイ由来の表面光に対する位置変化する適応性のあるディスプレイ管理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003674

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant