CN108376389B - 亮度舒适性预测和调整 - Google Patents

亮度舒适性预测和调整 Download PDF

Info

Publication number
CN108376389B
CN108376389B CN201810033604.4A CN201810033604A CN108376389B CN 108376389 B CN108376389 B CN 108376389B CN 201810033604 A CN201810033604 A CN 201810033604A CN 108376389 B CN108376389 B CN 108376389B
Authority
CN
China
Prior art keywords
brightness
media content
discomfort
adaptation
perceived
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810033604.4A
Other languages
English (en)
Other versions
CN108376389A (zh
Inventor
T·O·艾丁
S·马赫玛拉特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN108376389A publication Critical patent/CN108376389A/zh
Application granted granted Critical
Publication of CN108376389B publication Critical patent/CN108376389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了亮度舒适性预测和调整。当可能丧失视敏度和/或可能体验不适时，计算相对于从低照度的时期到明亮照度的时期具有突然跳跃的媒体内容的帧的一个或更多个不良适应水平。可使这些不良适应水平与主观确定的感知亮度不适水平相互关联。基于可从不良适应水平导出的感知亮度不适水平，可调整媒体内容。

Description

亮度舒适性预测和调整
技术领域
本公开大体涉及图像处理。
背景技术
由于与常规标准动态范围(SDR)内容相比其能够提供增强的观看体验的能力，所以对分配具有高动态范围(HDR)的视频或其他视觉内容的兴趣正在增长。然而，以HDR拍摄和/或在HDR显示器上呈现的内容可具有与扩展的动态范围相关联的缺点。例如，在从暗的内容帧到更明亮的内容帧的突然转变期间，观看者的视觉系统可能变得紧张。这可致使观看不适。
发明内容
根据一个实施例，一种计算机实施的方法包括分析媒体内容，并且计算相对于媒体内容的一个或更多个适应状态。计算机实施的方法还包括使一个或更多个适应状态与由媒体内容的观看者体验的一个或更多个对应的感知亮度不适水平相互关联。进一步地，计算机实施的方法包括调整媒体内容的亮度以适合一个或更多个期望的基于亮度的效果。在一个方面，媒体内容的分析包括确定与媒体内容的帧的像素相关联的亮度水平。在另一个方面，媒体内容的分析包括确定与大致在像素周围的空间邻域相关联的亮度水平。还在另一个方面，媒体内容的分析包括确定相对于像素的环境亮度水平。
一个或更多个适应状态包括确定相对于像素被预测为由观看者体验的局部适应水平。相对于至少两个时间之间的时期确定局部适应水平，在该时期期间确定与像素相关联的亮度水平。
在一些实施例中，计算机实施的方法还包括应用池化函数(pooling function)以将与媒体内容的帧的一个或更多个像素的所确定的亮度水平相关联的一个或更多个对应的感知亮度不适水平组合，一个或更多个对应的感知亮度不适水平的组合包括感知亮度不适的帧宽估计。一个或更多个对应的感知亮度不适水平中的每个包括在暴露于具有与所分析的媒体内容相称的亮度特性的测试媒体内容期间体验的不适的主观确定。
权利要求的计算机实施的方法还可包括应用换能器函数，以将一个或更多个适应状态的表征(characterization)转化为感知亮度不适的表征。在一些实施例中，调整媒体内容的亮度以适合一个或更多个期望的基于亮度的效果包括应用适应于将媒体内容的平均亮度维持在亮度阈值以下的数学优化函数。在一些实施例中，调整媒体内容的亮度以适合一个或更多个期望的基于亮度的效果包括应用适应于增加媒体内容的一个或更多个帧中的亮度以与媒体内容的视觉主题元素一致的数学函数。
根据另一个实施例，一种系统包括一个或更多个处理器；以及存储器，该存储器具有计算机代码，该计算机代码被执行以引起一个或更多个处理器用于：分析媒体内容的帧的一个或更多个像素；计算相对于一个或更多个像素中的每个像素的一个或更多个适应状态；以及当一个或更多个适应状态指示观看媒体内容的视觉系统的不良适应时，将一个或更多个适应状态转化为感知亮度不适的一个或更多个估计。
根据一个实施例，被执行的计算机代码还引起一个或更多个处理器确定与大致在一个或更多个像素中的每个像素周围的空间邻域相关联的亮度水平。根据另一个实施例，被执行的计算机代码还引起一个或更多个处理器确定相对于一个或更多个像素中的每个像素的环境亮度水平。一个或更多个计算的适应状态可指示空间水平和时间水平上的不良适应。
在一些实施例中，被执行以引起一个或更多个处理器转化一个或更多个适应状态的代码包括当被执行时引起一个或更多个处理器将一个或更多个适应状态的表征从物理亮度单位转换为感知亮度不适的主观评级的计算机代码。
在一些实施例中，系统还可包括后处理系统，后处理系统具有被执行以引起后处理系统基于感知亮度不适的一个或更多个估计来调整媒体内容的亮度的计算机代码。被执行以引起后处理系统调整媒体内容的亮度的计算机代码包括当被执行时引起后处理系统应用适应于将媒体内容的平均亮度维持在亮度阈值以下的数学优化函数的计算机代码。
在一些实施例中，被执行以引起后处理系统调整媒体内容的亮度的计算机代码包括当被执行时引起后处理系统应用适应于增加媒体内容的一个或更多个帧中的亮度以与媒体内容的视觉主题元素一致的数学函数的计算机代码。
在一些实施例中，存储器还包括被执行以引起一个或更多个处理器将感知亮度不适的一个或更多个估计组合成感知亮度不适的帧宽估计的计算机代码。
附图说明
参考以下图详细描述根据一个或更多个各种实施例的本公开。仅出于说明的目的提供图，并且图仅描绘典型的或示例实施例。
图1是说明根据各种实施例的可被执行以预测亮度不适且调整内容的亮度的示例操作的流程图。
图2是根据各种实施例的视频处理流水线的示意图，在视频处理流水线中可实施图1的亮度不适预测和亮度调整。
图3A是光适应图形的示例。
图3B说明表示亮度转变的视频内容的示例帧。
图4是可用于实施本公开中描述的实施例的各种特征的示例计算部件。
图不是详尽的，并且不将本公开限于所公开的精确形式。
具体实施方式
如上面提到的，可存在与可显示内容的动态范围的提高相关联的折衷。例如，随着显示动态范围增加且显示器变得能够产生更低的黑面水平(black level)和更强的强光，可提高整体感知的图像质量。然而，在从一系列暗的视频帧到更明亮的帧的突然转变期间，观看者的视觉系统可经受应变。这种不利影响可能是由亮度跳跃(即，观看者的视觉系统需要适应的照度的突发或突然改变)引起的。因为亮度跳跃取决于动态范围，所以在SDR显示器上可能不容易注意到亮度跳跃。然而，在HDR TV和能够显示扩展的动态范围的其他显示器中，亮度跳跃变得明显。当紧密接近观看者的眼睛使用显示器(诸如被实施为头戴式显示器(HMD)的移动电话显示器)时，亮度跳跃更成为问题。因此，理解、测量和/或抵消动态范围与可由HDR装置上的内容呈现导致的不适之间的关系变得越来越重要。
本文公开的各种实施例提供用于以下的系统和方法：当在特定观看条件下在某一显示器上体验图像或帧的序列时评估不适水平，以及提供用于对这些图像序列进行后处理以确保它们保持在期望的亮度舒适区(或不适区)内的机制。
图1说明根据各种实施例执行的用于预测亮度不适且调整媒体内容的亮度的示例操作。将结合图2描述图1，图2是视频处理流水线，在视频处理流水线中可实施亮度不适预测和亮度调整。
在操作100处，可分析媒体内容，并且可计算相对于媒体内容的一个或更多个适应状态。可由接收媒体内容(例如，HDR视频内容)的不良适应分析和计算部件202实行媒体内容的分析。如下面将更详细描述的，可在逐帧的基础上执行媒体内容的分析。适应状态的计算可涉及确定媒体内容何时可导致观看者的视觉系统的适应水平与由观看者的视觉系统体验的亮度水平之间的差异(被称为不良适应)。
特别地，视觉系统可依靠适应以优化关于主导刺激水平的灵敏度。随着到达视网膜的光量改变，人类视觉系统不断地尝试适应新的观看条件。虽然亮度适应是快速的，但是并不是即时的。因此，如先前所描述的，当人类视觉系统必须迅速适应明亮条件时，可暂时丧失视敏度。图3A说明了这种情形。例如，观看者可体验代表暗的走廊的图像或视频(图像300)，使得观看者的视觉系统适应于低光情境。图像302说明适应低光(在走廊内)和适应亮光(日光)的效果。如可了解的，当视觉系统适应于或调整到低光时，视觉系统将体验敏度丧失，如通过例如缺乏通过窗户看到的对比度和细节所证明的。也就是说，当视觉系统调整到内部低光条件时，通过窗户的视图主要仅为亮光。这与当视觉系统已经调整到更亮的外部照明条件时通过窗户的视图相比，导致更好的视敏度。在这种转变期间，在人类视觉系统已经适应于更亮的条件之前，人类视觉系统可体验不良适应。
可通过阈值对强度(TVI)函数量化适应，阈值对强度(TVI)函数给出了在各种(背景)亮度水平L下产生可见对比度所需的阈值ΔL。经典地，使用背景上光斑(spot-on-background)模式来测量TVI函数。观察者的视觉系统适应于特定亮度(L)的圆形背景场，并且然后观察者的视觉系统被测试，以看到中心光斑必须有多强烈(ΔL)，以便为可见的。通过对一系列背景亮度重复该实验，可描述TVI函数。也就是说，可在某一亮度的背景上呈现测试刺激，其中刺激增加直到可针对背景检测到该刺激。
图3B是示例光适应图形300(代表从暗转移到亮的条件)。曲线302和曲线304可分别指示人类视觉系统的视杆细胞(rod)系统和视锥细胞(cone)系统的TVI函数，其中y轴表示以log10坎德拉/平方米为单位的前面提及的阈值，并且x轴表示以log10坎德拉/平方米为单位的亮度(在该实例中，背景亮度)。应当注意的是，为了易于表示，简单用对数呈现光适应图形300以缩小比例。
曲线302和曲线304在极低的亮度水平下是相对平坦的，并且在视觉系统良好适应的范围内(大致在306处)变得线性。随着背景亮度增加，视觉功能从视杆细胞系统转移到视锥细胞系统。当由于在308处的饱和而亮度为高时，视杆细胞曲线302向上弯曲。在饱和时，视杆细胞系统不再能够检测到刺激。这是因为视杆细胞系统具有用于适应更亮条件的有限能力。
已经研究了稳态局部亮度适应和亮度适应的时间过程，并且已经针对两种适应场景独立地提出计算模型。在Vangorp、Peter等人在2015年的ACM Trans.Graph.,34(6):166:1-166:13的“局部适应的模型(A Model of Local Adaptation)”中描述了稳态局部亮度适应模型的一个示例。在Irwan、Piti等人在2005年的关于呈现技术的第十六届欧洲图形学会议的会议录(Proceedings of the Sixteenth Eurographics Conference on RenderingTechniques),EGSR’05,pgs.231-242的“高动态范围图像流的基于感知的色调映射(Perceptually Based Tone Mapping of High Dynamic Range Image Streams)”中描述了时间亮度适应模型的一个示例。两个参考文献以其全部内容以引用方式并入本文。
函数
Figure BDA0001547227610000051
可如下被定义用于计算局部适应水平
Figure BDA0001547227610000052
(以cd/m2表达的)：
Figure BDA0001547227610000053
其中Lx可指在某个像素x处的以cd/m2为单位的显示器亮度，并且K可指代像素x周围的局部空间邻域。如果满足条件
Figure BDA0001547227610000054
则观看者在像素x处是空间不良适应的。
函数
Figure BDA0001547227610000055
假定稳态适应，即，函数
Figure BDA0001547227610000056
的参数都不是时间相关的。也就是说，函数
Figure BDA0001547227610000057
可描述理想化情况，其中观看者将他/她的注视保持在静态图像上足够长的时间以变得完全适应静态图像，并且环境照度保持相同。在实践中，虽然环境亮度Lamb可能在某些限制内保持恒定，但是显示内容经常动态改变，从而相应地触发人类视觉系统的适应机制。应当注意的是，环境亮度可指除了从呈现内容的显示器或屏幕发出的照明之外的照明。例如，这可包括顶灯、灯具、或显示器位于的房间中的其他光源。
另一方面，显示器亮度与适应之间的时间相关的相互作用可被表达为新函数Φ：
Figure BDA0001547227610000058
其中上标t指代时间，并且
Figure BDA0001547227610000061
表达在先前时刻测量的适应水平。类似于空间情况，如果满足条件
Figure BDA0001547227610000062
则该条件是时空不良适应的指示。应当注意的是，前面提及的函数是示例，并且不意味着以任何方式进行限制。可利用其他模型或模型组合来确定内容中的适应状态。
给定某些内容或内容的一个或更多个部分，可使用上面的函数来预测时空不良适应。可通过例如可应用于图像域和/或频域中的内容的滤波器的卷积，完成上面函数的实施方式。例如，如果内容包括在时间t＝2时在特定像素处的照度水平为100cd/m2，以及在时间t＝1时在该像素处的照度水平为20cd/m2，则可假定当在时间t＝1到t＝2之间的转变期间观看该像素时，观看者将是不良适应的。因此，可确定观看者的局部(空间)和时间相关的不良适应(考虑到环境照度、相同位置处的先前适应状态，以及空间邻域内的显示器亮度)。应当注意的是，可针对每个帧或可被认为适于解决亮度不适的其他图像序列预测亮度不适。
还应当注意的是，虽然先前描述的函数可以相对小的标度(即，在每个像素的基础上)预测不良适应，但是预测帧中的所有像素的适应状态可能是资源密集型和/或耗时的。而且，单个像素的亮度可能不代表整个帧。由此，可使用与多个像素或帧的部分相关联的某合计(aggregate)或平均亮度来预测适应状态。
相应地，本公开的一些实施例可实施“池化函数”，以避免以过于粒度的方式分析内容。例如，视频内容的帧可包含代表相对小的聚光灯的像素的子集，该聚光灯不影响观看者对该帧的整体亮度的感知。可利用池化函数以使不良适应模型适应于与像素的一些较大子集一起使用，以得到帧中亮度的更准确表示。
如上面提到的，各种实施例提供了一种度量，该度量通过利用指示亮度不适的主观数据连同测量的显示器亮度
Figure BDA0001547227610000064
以及人类视觉系统的所预测的适应状态
Figure BDA0001547227610000063
估计所感知的时空不良适应的量值。也就是说，虽然上面的时空不良适应模型可预测内容中何时和何处出现不良适应以及不良适应的水平，但是观看者在不适方面如何受到影响仍是未知的。
由此，在操作102处，可使一个或更多个适应状态与一个或更多个对应的感知亮度不适水平相互关联，或将一个或更多个适应状态映射到一个或更多个对应的感知亮度不适水平。如下面将描述的，可在一个或更多个内容呈现或亮度特性可变化的其他刺激期间，通过观看者的感知的不适的某一真实测试表征感知亮度不适。从此类测试获得的数据可用于生成亮度不适模型。指示该亮度不适模型的数据可存储在亮度不适数据库204内。亮度不适映射和计算部件206可实行媒体内容中的适应状态(从不良适应分析和计算部件202接收的)与感知亮度不适水平(存储在亮度不适数据库204中的)之间的相互关联。以该方式，可在感知不适的场景下量化导致潜在不良适应状态的媒体内容，即，不良适应模型可用于计算或确定适应状态，并且从该适应状态可导出感知不适。
在测试期间，可调整平均亮度、环境亮度和/或所显示的亮度。可将反映这些变化参数的条件呈现给观看者，以确定什么组合/变化的水平致使发光不适，以及体验多少发光不适或什么水平的发光不适。
特别地，可进行主观实验，其中可利用HDR显示器来示出短视频剪辑(例如，两秒剪辑)。视频剪辑的第一部分可包括具有低平均亮度LL的帧，并且视频剪辑的第二部分可包括具有较高平均亮度LH的帧。这可模拟导致不良适应的从暗到亮的突然转变。环境照度水平Lamb，可为待考虑的另一个亮度因数。
为了理解内容类型与亮度不适之间的关系，内容类型可在纯灰帧(无内容)、例如使用Perlin噪声产生的随机纹理(抽象内容)和实景帧(自然内容)之间变化。可要求此类实验的参与者对其不适水平进行评价。例如，参与者可以5点标度对不适进行评级，其中5指定由于感知不适而使人不想观看的内容，1指定不与任何不适相关联的内容，并且3指定由于感知不适而难以忍受的内容。在使测试对象进入具有20cd/m2环境照度的房间中且呈现其中视频帧照度从1cd/m2转变或跳跃至100cd/m2的内容的情形中，测试对象可指示亮度不适的等级为3。应当注意的是，可使用对感知不适进行评级的其他标度和/或方法。
通过在各种亮度参数范围上获得足够的主观响应，可获得用于校准亮度不适度量的主观数据。换句话说，可存储、分析和/或推断反映测试对象相对于已知亮度跳跃和/或亮度参数变化(例如，环境亮度)的感知的亮度不适的数据点，以生成统计上有意义的亮度不适模型。
注意，显示器亮度
Figure BDA0001547227610000071
以及预测的适应状态
Figure BDA0001547227610000072
以物理单位指代亮度值，换能器函数τ可用于获得由时空不良适应引起的感知不适。
Figure BDA0001547227610000073
Dt可指主观测试数据，即，感知亮度不适评级。以下给出换能器函数τ可以上面讨论的5点标度来预测感知亮度不适
Figure BDA0001547227610000081
在时刻t和时刻t-1的显示器亮度；环境亮度Lamb；以及当前的适应水平
Figure BDA0001547227610000082
应当理解的是，随着Lt与Lt-1之间的差异增加，可假定亮度不适会更大。
应当理解的是，上面的换能器函数包含从
Figure BDA0001547227610000083
到
Figure BDA0001547227610000084
的映射函数，该映射函数在所有获得的主观数据上使
Figure BDA0001547227610000085
最小化，以实现标准化的数据/提高数据完整性。也就是说，换能器函数τ被设计成使测试数据Dt与预测的亮度不适
Figure BDA0001547227610000086
的差异最小化。附加地，出于实际原因，如上面提到的，可每帧(或某个其他子集)而不是每像素定义转换函数τ。因此，上面提及的池化函数可将每像素的亮度不适估计或预测组合成帧宽亮度不适估计或预测。
在操作104处，可调整媒体内容(在该示例中的HDR视频内容)的亮度，以适合一个或更多个期望的基于亮度的效果。例如，可由内容制作者利用后处理系统208，以调整媒体内容中被预测为在观看者的视觉系统中产生亮度不适的一个或更多个帧的平均亮度。另一方面，内容制作者可能希望观看者体验某种亮度不适水平以增强观看体验，在这种情况下，可利用后处理系统208以提升媒体内容中的一个或更多个帧的亮度不适水平。
在一些实施例中，感知亮度不适的估计可被独自用于分析目的。然而，一些实施例还可能依靠感知亮度不适以在后处理中调整每个视频帧的平均亮度
Figure BDA0001547227610000087
总体目标是减少视觉不适。一种通用目的可被表达为：
Figure BDA0001547227610000088
可调整所显示的平均亮度
Figure BDA0001547227610000089
使得总体感知不适随时间被最小化。这可在后处理过程中通过尽可能多地保留内容的原始平均亮度(例如，使
Figure BDA00015472276100000810
最小化)来完成，以维持图像质量，防止剪辑，尝试均匀分配不适能量(随时间在
Figure BDA00015472276100000811
绘图下方的面积)等。例如，导演可利用后处理系统208来应用数学优化函数，以调整整个电影的平均亮度，以确保从未超过感知亮度不适水平3。
正如上面提及的函数，上面提到的方程仅是通用方程，该通用方程用于使某个能量函数最小化，以保持尽可能靠近适应亮度以避免不适。然而，可使用其他和/或更加显式的函数。例如，导演可利用后处理系统208来应用数学函数，以将一个或更多个帧的亮度重新调整为超过平均感知亮度不适水平。也就是说，在具有爆炸的场景期间，导演可期望亮度不适超过水平3。
图4说明了示例计算部件，所述示例计算部件可用于实施本文公开的系统和方法的各种特征，诸如上面提及的图2的部件202、部件204、部件206和/或部件208的一个或更多个方面的特征和功能。
如本文所使用的，术语部件可描述可根据本申请的一个或更多个实施例实行的给定功能单元。如本文所使用的，可利用任何形式的硬件、软件或其组合来实施部件。例如，可实施一个或更多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑部件、软件例程或其他机构以组成部件。在实施方式中，本文描述的各种部件可被实施为分立部件，或可在一个或更多个部件之间部分地或完全共享所描述的功能和特征。换句话说，如本领域普通技术人员在阅读本说明书之后显而易见的，可在任何给定的应用中实施本文所描述的各种特征和功能，并且可在各种组合和排列的一个或更多个单独或共享的部件中实施本文所描述的各种特征和功能。即使功能的各种特征或元件可被个别地描述或被主张为单独的部件，但是本领域的普通技术人员将理解，这些特征和功能可在一个或更多个公用软件和硬件元件之间共享，并且此类描述不应当要求或暗示使用单独的硬件或软件部件来实施此类特征或功能。
在使用软件全部或部分地实施部件或应用的部件的情况下，在一个实施例中，这些软件元件可被实施为与能够实行关于其描述的功能的计算或处理部件一起操作。图4中示出了一个此类示例计算部件。依据该示例计算部件400描述了各种实施例。在阅读本说明书之后，对于相关领域的技术人员将变得显而易见的是如何使用其他计算部件或架构来实施应用。
现在参考图4，例如，计算部件400可表示在以下内发现的计算或处理能力：自调整显示器、台式机、膝上型电脑、笔记本电脑和平板计算机；手持式计算装置(平板电脑、PDA、智能电话、移动电话、掌上电脑等)；工作站或具有显示器的其他装置；服务器；或如对于给定应用或环境可为期望的或适当的任何其他类型的专用或通用计算装置。计算部件400还可表示嵌入在给定装置内或以其他方式可用于给定装置的计算能力。例如，可在其他电子装置(诸如例如，导航系统、便携式计算装置和可包括某种形式的处理能力的其他电子装置)中发现计算部件。
例如，计算部件400可包括一个或更多个处理器、控制器、控制部件或其他处理装置(诸如处理器404)。可使用通用或专用处理引擎(诸如例如，微处理器、控制器或其他控制逻辑)来实施处理器404。在所说明的示例中，处理器404连接到总线402，但是任何通信介质可用于促进与计算部件400的其他部件交互或用于在外部进行通信。
计算部件400还可包括一个或更多个存储器部件，一个或更多个存储器部件在本文中简称为主存储器408。例如，优选地，随机存取存储器(RAM)或其他动态存储器可用于存储将由处理器404执行的信息和指令。主存储器408还可用于在执行将由处理器404执行的指令期间存储临时变量或其他中间信息。计算部件400可同样包括只读存储器(“ROM”)或耦合到总线402的用于针对处理器404存储静态信息和指令的其他静态存储装置。
计算部件400还可包括一个或更多个不同形式的信息存储机构410，一个或更多个不同形式的信息存储机构410可包括例如介质驱动器412和存储单元接口420。介质驱动器412可包括驱动器或其他机构以支持固定的或可移除的存储介质414。例如，可提供硬盘驱动器、固态驱动器、磁带驱动器、光盘驱动器、光碟机(CD)或数字视频光盘(DVD)驱动器(R或RW)，或其他可移除的或固定的介质驱动器。相应地，例如，存储介质414可包括硬盘、集成电路组件、磁带、盒式磁盘、光盘、CD或DVD，或由介质驱动器412读取、写入到介质驱动器412，或由介质驱动器412访问的其他固定的或可移除的介质。如这些示例说明的，存储介质414可包括在其中存储计算机软件或数据的计算机可用存储介质。
在可替代的实施例中，信息存储机构410可包括用于允许计算机程序或其他指令或数据被加载到计算部件400中的其他类似仪器。此类仪器可包括例如固定的或可移除的存储单元422和接口420。此类存储单元422和接口420的示例可包括程序盒式存储器和盒式接口、可移除的存储器(例如，闪速存储器或其他可移除的存储器部件)和存储器插槽、PCMCIA插槽和卡，以及允许软件和数据从存储单元422传递到计算部件400的其他固定的或可移除的存储单元422和接口420。
计算部件400还可包括通信接口424。通信接口424可用于允许在计算部件400与外部装置之间传递软件和数据。通信接口424的示例可包括调制解调器或软调制解调器、网络接口(诸如以太网、网络接口卡、WiMedia、IEEE802.XX或其他接口)、通信端口(诸如例如USB端口、IR端口、RS232端口
Figure BDA0001547227610000101
接口，或其他端口)，或其他通信接口。通常可在信号上携带经由通信接口424传递的软件和数据，所述信号可为电子信号、电磁信号(电磁信号包括光信号)，或能够通过给定通信接口424交换的其他信号。可经由信道428将这些信号提供给通信接口424。该信道428可携带信号，并且可使用有线或无线通信介质实施该信道428。信道的一些示例可包括电话线、蜂窝链路、RF链路、光链路、网络接口、局域网或广域网和其他有线或无线通信信道。
在该文档中，术语“计算机程序介质”和“计算机可用介质”通常用于指暂时性或非暂时性介质，诸如例如，存储器408、存储单元420、介质414和信道428。这些和其他各种形式的计算机程序介质或计算机可用介质可涉及将一个或更多个指令的一个或更多个序列携带到处理装置以供执行。体现在介质上的此类指令通常被称为“计算机程序代码”或“计算机程序产品”(“计算机程序代码”或“计算机程序产品”可以计算机程序或其他分组的形式进行分组)。当被执行时，此类指令可使得计算部件400能够执行如本文所讨论的本申请的特征或功能。
虽然上文依据各种示例性实施例和实施方式进行描述，但是应当理解，在个别实施例中的一个或更多个实施例中描述的各种特征、方面和功能不限于它们应用于描述它们的特定实施例，相反它们可独自或以各种组合应用于本申请的其它实施例中的一个或更多个，不论是否描述此类实施例或不论是否将此类特征呈现为所描述的实施例的一部分。因此，本申请的广度和范围不应当被任何上述示例性实施例限制。
除非另外明确规定，否则本文档中使用的术语和短语及其变型应被解释为与限制性相反的开放性的。作为前述的示例：术语“包括”应解读为意指“包括但不限于”等；术语“示例”用于提供讨论中的项目的示例性实例，而不是其详尽或限制性列表；术语“一个(a或an)”应解读为意指“至少一个”、“一个或更多个”等；并且形容词诸如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”以及类似意思的术语不应被解释为将描述的项目限制于给定时间段或限制于在给定时间时可用的项目，而是应解读为涵盖现在或将来的任何时间可为可用的或已知的常规的、传统的、正常的或标准的技术。同样地，在本文档涉及对于本领域普通技术人员来说显而易见或已知的技术的情况下，此类技术涵盖在现在或将来的任何时间对技术人员显而易见或已知的技术。
在一些实例中存在诸如“一个或更多个”、“至少”、“但不限于”或其他相似短语的拓宽词和短语不应解读为意指在可能不存在此类拓宽短语的实例中预期或需要较窄情况。术语“部件”的使用并不暗示被描述或主张作为部件的一部分的方面或功能均以公用封装进行配置。实际上，无论是控制逻辑还是其他部件，部件的各种方面中的任何或全部可以组合在单个封装中或被单独保持，并且还可分布在多个分组或封装中或在多个位置上。
附加地，依据示例性框图、流程图和其他插图描述本文阐述的各种实施例。如本领域普通技术人员在阅读本文档之后将变得显而易见的，可实施所示出的实施例和它们的各种可替代的方案而不局限于所说明的示例。例如，框图和它们的所附描述不应被理解为要求特定的架构或配置。

Claims (20)

1.一种用于调整媒体内容的亮度的计算机实施的方法，包括：
分析所述媒体内容，并且通过估计感知的不良适应的量值计算相对于所述媒体内容的一个或更多个适应状态；
通过使所述一个或更多个适应状态与由测试媒体内容的一个或更多个观看者体验的一个或更多个对应的感知亮度不适水平相互关联，用感知亮度不适来量化所述感知的不良适应的量值，所述测试媒体内容包括亮度的已知变化；以及
相对于所述感知亮度不适调整所述媒体内容的所述亮度以适合一个或更多个期望的基于亮度的效果。
2.根据权利要求1所述的计算机实施的方法，其中所述媒体内容的所述分析包括确定与所述媒体内容的帧的像素相关联的亮度水平。
3.根据权利要求2所述的计算机实施的方法，其中所述媒体内容的所述分析包括确定与大致在所述像素周围的空间邻域相关联的亮度水平。
4.根据权利要求3所述的计算机实施的方法，其中所述媒体内容的所述分析包括确定相对于所述像素的环境亮度水平。
5.根据权利要求2所述的计算机实施的方法，其中所述一个或更多个适应状态的所述计算包括确定相对于所述像素的被预测为由所述一个或更多个观看者体验的局部适应水平。
6.根据权利要求5所述的计算机实施的方法，其中相对于至少两个时间之间的时期确定所述局部适应水平，在所述时期期间确定与所述像素相关联的所述亮度水平。
7.根据权利要求1所述的计算机实施的方法，还包括应用池化函数，以将与所述媒体内容的帧的一个或更多个像素的所确定的亮度水平相关联的所述一个或更多个对应的感知亮度不适水平组合，所述一个或更多个对应的感知亮度不适水平的所述组合包括感知亮度不适的帧宽估计。
8.根据权利要求1所述的计算机实施的方法，其中所述一个或更多个对应的感知亮度不适水平中的每个包括在暴露于具有与所分析的媒体内容相称的亮度特性的测试媒体内容期间体验的不适的确定。
9.根据权利要求1所述的计算机实施的方法，还包括应用换能器函数，以将所述一个或更多个适应状态的表征转化为感知亮度不适的表征。
10.根据权利要求1所述的计算机实施的方法，其中所述调整所述媒体内容的所述亮度以适合一个或更多个期望的基于亮度的效果包括应用适应于将所述媒体内容的平均亮度维持在亮度阈值以下的数学优化函数。
11.根据权利要求1所述的计算机实施的方法，其中所述调整所述媒体内容的所述亮度以适合一个或更多个期望的基于亮度的效果包括应用适应于增加所述媒体内容的一个或更多个帧中的亮度以与所述媒体内容的视觉主题元素一致的数学函数。
12.一种用于调整媒体内容的亮度的系统，包括：
一个或更多个处理器，以及；
存储器，所述存储器具有计算机代码，所述计算机代码被执行以引起所述一个或更多个处理器用于：
分析所述媒体内容的帧的一个或更多个像素；
通过估计感知的不良适应的量值计算相对于所述一个或更多个像素中的每个像素的一个或更多个适应状态；
当所述一个或更多个适应状态指示观看所述媒体内容的视觉系统的不良适应时，通过将所述一个或更多个适应状态转化为由测试媒体内容的一个或更多个观看者体验的感知亮度不适的一个或更多个估计，以感知亮度不适来量化所述感知的不良适应的量值，所述测试媒体内容包括亮度的已知变化；以及
相对于所述感知亮度不适调整所述媒体内容的所述亮度以适合一个或更多个期望的基于亮度的效果。
13.根据权利要求12所述的系统，其中被执行的所述计算机代码还引起所述一个或更多个处理器确定与大致在所述一个或更多个像素中的每个像素周围的空间邻域相关联的亮度水平。
14.根据权利要求13所述的系统，其中被执行的所述计算机代码还引起所述一个或更多个处理器确定相对于所述一个或更多个像素中的每个像素的环境亮度水平。
15.根据权利要求12所述的系统，其中所述一个或更多个计算的适应状态指示空间水平和时间水平上的不良适应。
16.根据权利要求12所述的系统，其中被执行以引起所述一个或更多个处理器转化所述一个或更多个适应状态的所述计算机代码包括当被执行时引起所述一个或更多个处理器将所述一个或更多个适应状态的表征从物理亮度单位转换为感知亮度不适的主观评级的计算机代码。
17.根据权利要求12所述的系统，还包括后处理系统，所述后处理系统具有被执行以引起所述后处理系统基于所述感知亮度不适的一个或更多个估计来调整所述媒体内容的所述亮度的计算机代码。
18.根据权利要求17所述的系统，其中被执行以引起所述后处理系统调整所述媒体内容的所述亮度的所述计算机代码包括当被执行时引起所述后处理系统应用适应于将所述媒体内容的平均亮度维持在亮度阈值以下的数学优化函数的计算机代码。
19.根据权利要求17所述的系统，其中被执行以引起所述后处理系统调整所述媒体内容的所述亮度的所述计算机代码包括当被执行时引起所述后处理系统应用适应于增加所述媒体内容的一个或更多个帧中的亮度以与所述媒体内容的视觉主题元素一致的数学函数的计算机代码。
20.根据权利要求12所述的系统，其中所述存储器还包括被执行以引起所述一个或更多个处理器将所述感知亮度不适的一个或更多个估计组合成感知亮度不适的帧宽估计的计算机代码。
CN201810033604.4A 2017-02-01 2018-01-15 亮度舒适性预测和调整 Active CN108376389B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/422,210 US10380973B2 (en) 2017-02-01 2017-02-01 Luminance comfort prediction and adjustment
US15/422,210 2017-02-01

Publications (2)

Publication Number Publication Date
CN108376389A CN108376389A (zh) 2018-08-07
CN108376389B true CN108376389B (zh) 2022-04-26

Family

ID=62980123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810033604.4A Active CN108376389B (zh) 2017-02-01 2018-01-15 亮度舒适性预测和调整

Country Status (3)

Country Link
US (1) US10380973B2 (zh)
CN (1) CN108376389B (zh)
HK (1) HK1261922A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095077B (zh) * 2017-08-29 2022-08-05 苹果公司 具有自适应显示器的电子设备
US11587526B2 (en) * 2018-12-20 2023-02-21 Dolby Laboratories Licensing Corporation Luminance adaption to minimize discomfort and improve visibility
KR20220030392A (ko) * 2020-08-28 2022-03-11 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156624A (zh) * 2010-01-19 2011-08-17 迪士尼企业公司 用于显示系统的图像非意愿光污染的基于感知的补偿
CN104469386A (zh) * 2014-12-15 2015-03-25 西安电子科技大学 一种基于dof的恰可察觉误差模型的感知立体视频编码方法
CN105741817A (zh) * 2016-03-30 2016-07-06 苏州合欣美电子科技有限公司 一种播放器播放亮度自适应调整的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
JP5127638B2 (ja) * 2008-09-01 2013-01-23 キヤノン株式会社 画像処理装置およびその方法
US8847972B2 (en) * 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
US20130121419A1 (en) * 2011-11-16 2013-05-16 Qualcomm Incorporated Temporal luminance variation detection and correction for hierarchical level frame rate converter
US9406105B2 (en) * 2012-08-02 2016-08-02 The Chinese University Of Hong Kong Binocular visual experience enrichment system
JP2015106192A (ja) * 2013-11-28 2015-06-08 日本放送協会 不快度推定装置及び不快度推定プログラム
CN105630167B (zh) * 2015-12-24 2019-01-29 浙江吉利控股集团有限公司 屏幕自适应调整方法、屏幕自适应调整装置及终端设备
US9961236B2 (en) * 2016-06-13 2018-05-01 Gopro, Inc. 3D color mapping and tuning in an image processing pipeline

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156624A (zh) * 2010-01-19 2011-08-17 迪士尼企业公司 用于显示系统的图像非意愿光污染的基于感知的补偿
CN104469386A (zh) * 2014-12-15 2015-03-25 西安电子科技大学 一种基于dof的恰可察觉误差模型的感知立体视频编码方法
CN105741817A (zh) * 2016-03-30 2016-07-06 苏州合欣美电子科技有限公司 一种播放器播放亮度自适应调整的方法

Also Published As

Publication number Publication date
US20180218709A1 (en) 2018-08-02
US10380973B2 (en) 2019-08-13
HK1261922A1 (zh) 2020-01-10
CN108376389A (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
US8330768B2 (en) Apparatus and method for rendering high dynamic range images for standard dynamic range display
CN110447051B (zh) 在感知上保持参考场景的对比度和色度
RU2609760C2 (ru) Устройства и способы усовершенствованного кодирования изображений
CN108376389B (zh) 亮度舒适性预测和调整
CN112514359B (zh) 图像捕获方法、装置、机器可读存储装置
US10217198B2 (en) Simple but versatile dynamic range coding
Petit et al. Assessment of video tone-mapping: Are cameras’ S-shaped tone-curves good enough?
US11587526B2 (en) Luminance adaption to minimize discomfort and improve visibility
Huang et al. Enhancement of backlight-scaled images
Melo et al. Evaluation of HDR video tone mapping for mobile devices
Sun et al. Dynamic backlight scaling considering ambient luminance for mobile videos on lcd displays
JP2020017079A (ja) トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるｈｄｒ映像変換方法及びその装置
JP7180885B2 (ja) 画像調整装置及びプログラム
US9799108B2 (en) Image processing apparatus, image processing method, and storage medium
Zhang et al. High dynamic range video compression by intensity dependent spatial quantization in HEVC
Kocić et al. Image quality parameters: A short review and applicability analysis
KR101458242B1 (ko) 디스플레이에 대한 감마 특성의 예측을 위한 방법 및 시스템
Kane et al. System gamma as a function of image-and monitor-dynamic range
Kučera et al. Towards Calm Displays: Matching Ambient Illumination in Bedrooms
Mantel et al. Modeling the quality of videos displayed with local dimming backlight at different peak white and ambient light levels
Zhao et al. Measuring the relative image contrast of projection displays
Cyriac et al. Automatic, viewing-condition dependent contrast grading based on perceptual models
Daly et al. Pupillometry of HDR video viewing
Gille et al. Display characterization by eye: contrast ratio and discrimination throughout the grayscale
US20240169504A1 (en) Luminance adjustment based on viewer adaptation state

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261922

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant