CN115803802A - 用于使用pq偏移进行环境光补偿的系统和方法 - Google Patents
用于使用pq偏移进行环境光补偿的系统和方法 Download PDFInfo
- Publication number
- CN115803802A CN115803802A CN202180046938.5A CN202180046938A CN115803802A CN 115803802 A CN115803802 A CN 115803802A CN 202180046938 A CN202180046938 A CN 202180046938A CN 115803802 A CN115803802 A CN 115803802A
- Authority
- CN
- China
- Prior art keywords
- image
- offset
- compensation value
- value
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000006870 function Effects 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 14
- 230000000116 mitigating effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 4
- 241000023320 Luma <angiosperm> Species 0.000 claims description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 3
- 238000012887 quadratic function Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- -1 I) components Chemical compound 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
公开了用于补偿显示器周围的环境光的新颖的方法和系统。应用到图像的PQ曲线的偏移可以补偿显示器的次优的环境光状况，其中PQ偏移为在PQ空间中加上补偿值、然后在线性空间中减去补偿值，或者为在线性空间中加上补偿值、然后在PQ空间中减去补偿值。还可以进行对PQ曲线的进一步调整，以相对于图像亮度提供改进的图像质量。
Description
相关申请的交叉引用
本申请要求2020年6月30日提交的美国临时专利申请No.63/046,015和2020年6月30日提交的欧洲专利申请No.20183195.5的优先权，这两个专利申请通过引用整体并入本文。
技术领域
本公开涉及对视频信号的处理的改进。特别地，这个公开涉及处理视频信号以改进不同的环境光情况下的显示。
背景技术
给定显示器的参考电光传递函数(EOTF)表征输入的视频信号的颜色值(例如，亮度)与显示器产生的输出的屏幕颜色值(例如，屏幕亮度)之间的关系。例如，通过引用整体包括在本文中的ITU Rec.ITU-R BT.1886、“Reference electro-optical transferfunction for flat panel displays used in HDTV studio production”(03/2011)基于测量的阴极射线管(CRT)的特性定义平板显示器的参考EOTF。给定视频流，关于它的EOTF的信息通常作为元数据嵌入在比特流中。如本文所使用的，术语“元数据”涉及作为编码的比特流的一部分传输并且帮助解码器渲染解码的图像的任何辅助信息。这样的元数据可以包括但不限于颜色空间或色域信息、参考显示参数和辅助信号参数，如本文所描述的那些。
大多数消费者桌面显示器目前支持200至300cd/m2或尼特的亮度。大多数消费者HDTV的范围为从300到500尼特，其中新型号达到1000尼特。商用智能电话通常范围为从200到600尼特。这些不同的显示亮度水平在尝试在不同的环境照明场景下显示图像时带来挑战，如图1中所示。观看者110正在屏幕120上观看图像(例如，视频)。图像亮度130可能被环境光140“冲洗掉”。环境光140亮度水平可以由显示器中、显示器上或显示器附近的传感器150测量。环境光的亮度可以变化，例如，从暗房间中的5尼特到没有日光的灯光明亮房间中的200尼特、或者到具有间接阳光的房间中的400尼特、到室外的600+尼特。一个解决方案是对显示器的明亮度控制进行线性调整，但是这会导致显示器的明亮度不平衡。
发明内容
本文公开了各种视频处理系统和方法。一些这样的系统和方法可以涉及补偿图像以随着环境周围亮度水平的改变维持它的样子。在一些实施例中，方法可以是计算机实现的。例如，该方法可以至少部分地经由包括一个或多个处理器以及一个或多个非暂态存储介质的控制系统实现。
在一些示例中，描述了一种用于修改图像以补偿显示设备周围的环境光状况的系统和方法，其包括确定图像的PQ曲线；基于从环境光状况和图像确定的补偿值确定PQ曲线的PQ偏移，PQ偏移由以下组成：在PQ空间中加上补偿值、然后在线性空间中减去补偿值，或者在线性空间中加上补偿值、然后在PQ空间中减去补偿值；对PQ曲线应用PQ偏移，从而产生偏移的PQ曲线；以及利用偏移的PQ曲线修改图像。
在一些这样的示例中，该方法可以涉及在修改图像之前对图像应用色调映射。在一些这样的示例中，该方法可以由软件、固件或硬件执行，并且可以是视频解码器的一部分。
本文描述的方法中的一些或全部可以由一个或多个设备根据存储在一个或多个非暂态介质上的指令(例如，软件)执行。这样的非暂态介质可以包括诸如本文描述的那些的存储器设备，包括但不限于随机存取存储器(RAM)设备、只读存储器(ROM)设备等。因此，在这个公开中描述的主题的各种创新方面可以以其上存储有软件的非暂态介质实现。该软件例如可以由诸如本文公开的那些的控制系统的一个或多个组件可执行。该软件例如可以包括用于执行本文公开的方法中的一个或多个的指令。
本公开的至少一些方面可以经由一个装置或多个装置实现。例如，一个或多个设备可以被配置以用于至少部分地执行本文公开的方法。在一些实现中，装置可以包括接口系统和控制系统。接口系统可以包括一个或多个网络接口、控制系统与存储器系统之间的一个或多个接口、控制系统与另一个设备之间的一个或多个接口和/或一个或多个外部设备接口。控制系统可以包括通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、或分立的硬件组件中的至少一个。因此，在一些实现中，控制系统可以包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂态存储介质。
这个说明书中描述的主题的一个或多个实现的细节在附图和下面的描述中阐述。其它特征、方面和优点将从描述、附图和权利要求变得清楚。注意的是，以下图的相对尺寸可能没有按比例绘制。各个附图中的同样的参考数字和名称通常指示同样的元素，但是不同的参考数字不一定指定不同附图之间的不同元素。
附图说明
图1图示了显示器的环境光的示例。
图2图示了补偿显示器周围的环境光的方法的示例流程图。
图3图示了在不同的环境光状况下的补偿值vs.图像中间PQ的平方根的实验数据的示例图。
图4图示了实验数据的斜率vs.周围亮度PQ的拟合线的示例图。
图5图示了实验数据的y截距vs.周围亮度PQ的拟合线的示例图。
图6图示了示例PQ偏移补偿曲线。
图7图示了被调整以减少变亮的示例PQ偏移补偿曲线。
图8图示了具有被添加以避免伪影的缓和的示例PQ偏移补偿曲线。
图9A和9B图示了具有在视觉阈值以下被设置的箝制的示例PQ偏移补偿曲线。
图10图示了具有重新规范化的示例PQ偏移补偿曲线。
图11图示了针对反射而调整的示例PQ偏移补偿曲线。
具体实施方式
如本文所使用的术语“PQ”是指感知亮度幅值量化。人类视觉系统以非常非线性的方式响应逐渐增加的光水平。如本文所使用的术语“PQ空间”是指线性亮度幅值到非线性PQ亮度幅值的非线性映射，如Rec.BT.2100中所描述的。人看到刺激的能力受该刺激的亮度、刺激的大小、构成刺激的空间频率、以及在正在观看刺激的特定时刻眼睛已适应的亮度水平影响。在示例中，感知量化器函数将线性输入灰度水平映射到输出灰度水平，该输出灰度水平在人类视觉系统中更好地匹配对比敏感度阈值。PQ映射函数(或EOTF)的示例在SMPTEST 2084:2014“High Dynamic Range EOTF of Mastering Reference Displays”中描述，其中给定固定的刺激大小，对于每个亮度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)选择该亮度水平处的最小可见对比度步长。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可能具有与人类视觉系统响应的方式非常大致的类似性的传统伽马曲线相比，PQ曲线使用相对简单的功能模型模拟人类视觉系统的真实视觉响应。
本文通过将补偿作为PQ中的偏移应用到图像描述了调整显示器的亮度以适合环境照明状况的问题的解决方案。图2示出了用于对显示器上的图像应用补偿的示例方法。
取得显示器周围的区域的传感器数据210，以产生环境光的亮度测量的数据。传感器数据可以取自一个或多个亮度传感器，该传感器包括光敏元件，诸如光敏电阻、光电二极管和光电晶体管。这个传感器数据然后用于计算周围亮度PQ 220，其可以是指定的S。这个计算与本文描述的所有计算一样，可以在显示器本地执行，诸如在显示器中或连接到显示器的处理器或计算机上执行，或者它可以在将图像递送到设备的远程设备或服务器上执行。
给定周围亮度PQ S，两个中间值(本文中为M和B)可以作为S的函数被计算。在示例中，M和B从以下等式计算：
M＝a*S+b 等式1
B＝c*S2+d*S+e 等式2
其中a、b、c、d和e是常数。在这个示例中，M是S的线性函数，而B是S的二次函数。如本文所示，常数可以实验地确定。
可以针对图像240包含的亮度的范围(例如，luma值)分析图像240。图像可以是视频帧。图像可以是视频流的关键帧。从这些亮度数据，可以从完整的图像确定250中间PQ。中间PQ可以表示图像的平均亮度。计算中间PQ的示例是取下采样的图像的每个分量(例如，R、G和B)的最大值的平均。计算中间PQ的另一个示例是对YCBCR颜色空间中的图像的Y值求平均。这个中间PQ值可以被指定为X。中间PQ值、最小值和最大值可以在编码器侧计算并且在元数据中提供，或者它们可以在解码器侧计算。
从计算的M和B值230以及计算的X值250，可以计算260补偿值。这个补偿值可以被指定为C并且从以下等式计算：
在这个示例中使用X的平方根，因为它对于实验数据允许线性关系。可以进行从X计算C，但是它将产生更复杂的函数。保持函数线性允许计算更容易，特别是如果它在硬件而不是软件中实现。
然后可以在步骤270中使用补偿值C以通过PQ偏移的PQ曲线修改图像。PQ偏移可以通过以下等式表达：
PQout＝L2PQ(PQ2L(PQin+C)-PQ2L(C)) 等式4
其中PQout为偏移之后所得到的PQ，PQin为原始的PQ值，L2PQ()为从线性空间转换到PQ空间的函数，PQ2L()为从PQ空间转换到线性空间的函数，并且C为补偿值(对于测量的环境光的M和B以及讨论中的图像的X的给定值)。线性空间与PQ空间之间的转换在本领域中是已知的，例如，如在ITU-R BT.2100、“Image parameter values for high dynamicrange television for use in production and international programme exchange”中所描述的。因此，等式4表示PQ空间中的加法和线性空间中的减法。经补偿(经修改)的图像280然后呈现在显示器上。补偿可以发生在诸如ICTCP、YCBCR等的色度分离空间中的色调映射之后。处理可以对luma(例如，I)分量进行，但是色度调整也可能对维持图像的意图有用。补偿也可以发生在比如RGB的其它颜色空间中的色调映射之后，其中补偿被单独地应用到每个通道。
这个方法对图像提供补偿，使得在高外界周围亮度环境(例如，外部阳光下)中它与在理想周围环境(例如，非常暗的房间)中它将具有的样子匹配。理想周围环境目标的示例是5尼特(cd/m2)。增加暗细节对比度以确保细节仍然可见。比如对于外界周围亮度环境比参考值亮，这个方法对图像提供补偿。参考值可以是特定的值或值的范围。
在另一个实施例中，补偿被反转以允许对比理想暗的环境照明状况进行补偿。这样的补偿用于外界周围亮度环境比参考值暗。例如，如果最初打算在灯火通明的房间中观看图像，那么补偿可以被设置为使得它在暗的房间中具有正确的样子。对于这个实施例，操作被反转，在线性空间中进行加法并且在PQ空间中进行减法，如以下等式中所示。
PQout＝L2PQ(PQ2L(PQin)+PQ2L(C))-C 等式5
在实施例中，通过主观地确定不同环境光状况下的各种图像照明值的补偿值来实验地确定补偿值C。示例将是通过心理视觉实验获得数据，在该心理视觉实验中，观察者主观地对不同的周围亮度水平的各种图像选择适当的补偿量。图3中示出了这个类型的数据的示例。该图示出了针对为五种不同的环境光状况(在这个情况下为22、42、77、139和245尼特；范围为从暗的房间到灯光明亮的状况)主观地选择的补偿值绘制的图像中间PQ值的平方根的数据点310。从这些点310，可以对每个环境光状况的数据点拟合趋势线320。由于使用图像中间值的平方根，因此更容易利用线性回归来拟合这些点。在暗环境状况下具有亮PQ中间点的图像将具有在零补偿处触底的数据点330。那些点将错误地歪曲趋势线，因此它们不被考虑用于拟合。
从这些线320，可以确定两个有用的值：线的斜率，Δ补偿/Δsqrt(ImageMid)，以及y截距，sqrt(ImageMid)＝0处的补偿值，其中sqrt(x)表示x的平方根，例如，
)。这些斜率和y截距然后也可以被拟合到另外的函数，如图4和图5中所示。
图4示出了将线410拟合(线性回归)到补偿vs.sqrt(ImageMid)线(例如，如图3中所示)的斜率vs.周围(环境)亮度PQ的示例。在一些实施例中，对于拟合添加额外的数据点420，使得斜率和周围亮度PQ导致对参考(理想)周围亮度的0补偿。从这个拟合，可以找到用周围亮度S来表示的M的函数以用于等式1中(参见图2)。这允许计算用于等式1的补偿值a和b(a是这个拟合线的斜率，b是这个拟合线的y截距)。这些值然后可以与测量的S周围亮度一起放入等式1中以确定该周围亮度(例如，5尼特)的M值。
图5示出了将曲线510拟合(二阶多项式)到补偿vs.sqrt(ImageMid)线(例如，如图3中所示)的y截距vs.周围(环境)亮度PQ的示例。在一些实施例中，对于拟合添加额外的数据点520，使得y截距和周围亮度PQ导致对参考(理想)周围亮度的零补偿。
图6示出了如由等式4产生的示例PQ偏移(PQ周围调整)。三个黑圆圈表示已发生色调映射之后的图像的最小值610、中间点620和最大值630。实线640是使用补偿值为0.3(从等式4计算)的PQ偏移方法的调整。虚线650表示没有补偿的值。图像的最小值610位于大约[0.01,0,21]处。图像不包含低于这个水平的内容，因此在这个示例中图像可能过亮。
在一些实施例中，可以通过在PQ曲线中执行附加的偏移来克服这个过亮问题。这个补偿可以通过基于色调映射之后的图像的最小像素值使PQ值偏移来实现，使得对比度增强仅在像素所在的位置维持，并且过亮伪影被最小化。在图7中示出了这个的示例，其中来自图6的曲线640已被偏移以产生新的曲线740，其中最小点710被调整为零补偿650(PQin＝PQout)，并且其它值，包括中间点720和最大值730，从该偏移相应地调整。
在一些实施例中，可以进行对PQ补偿曲线的附加调整以防止由在最小值处的急剧截止引起的条带化伪影。可以通过在图像的最小PQ(TminPQ)的某个小值(例如，36/4,096)内的输入点的三次滚动来实现缓和。该值可以通过实验地确定使条带化伪影减少的最小值来找到。该值也可以被任意地选择，例如通过可视化缓和并且确定什么值提供到零补偿点的平滑转变。
图8示出了使用缓和以防止条带化的示例。原始的补偿曲线840在与零补偿线650的交点处具有急剧的转变845。从图像的最小PQ(对于这个示例，其在交点845处，如例如图7中所示)到在最小PQ之上增加某个小值(例如，TminPQ+36/4096)的点执行缓和入和出。
缓和可以是三次滚降函数，该三次滚降函数返回0与1之间的值，其中0在接近最小PQ时返回，并且1在增加的值处返回。(MATLAB)中的示例算法如下，其中，在实施例中并且没有限制，cubicEase()是对于TminPQ与TminPQ+36/4096之间的输入的PQ值的单调递增的sigmoid型函数，并且输出[0,1]中的alpha:
如本文所使用的，术语“缓和”是指将非线性函数应用到数据使得应用贝塞尔曲线或样条变换/插值(图形数据的曲率改变)的函数。“缓和入”是指数据的开始附近(零附近)的变换，并且“缓和出”是指数据的结束附近(最大值附近)的变换。“入和出”是指数据的开始和结束两者附近的变换。用于变换的具体算法取决于缓和的类型。存在本领域中已知的许多缓和函数。例如，三次入和出、正弦入和出、二次入和出、以及其它。缓和被应用在曲线的入和出两者中以防止急剧的转变。
在一些实施例中，补偿可以被箝制为在阈值PQ值以下不被应用，以便防止在理想的周围照明情况下(例如，5尼特环境光)本不可见的暗细节的不必要的延伸。阈值PQ值可以通过确定在理想状况下(例如，5尼特环境光，三个图片高度距离观看)人类观察者不能确定细节的点来实验地确定。对于这些实施例，在这个阈值PQ以下(对于PQin)不应用PQ偏移(等式4)。在图9A和9B中示出了这个的示例。图9A示出了PQ补偿910(如图6中所示)和具有过明亮度调整920的PQ补偿(如图7中所示)的图，其中线示出了PQ阈值930，细节在理想状况下在该PQ阈值930以下将不可辨别。图9B示出了在原点附近放大的图9A的图。这个过程发生在色调映射后，并且对于具有低黑水平的显示器(诸如OLED显示器)可能是重要的。
在一些实施例中，补偿可以被箝制为具有最大值，例如0.55。这可以在具有或不具有上述阈值PQ箝制的情况下进行。最大值箝制对于硬件实现可以是有用的。以下是用于示出在0.55处的最大值箝制的示例算法的示例MATLAB代码，其中要基于PQ中的目标环境周围亮度(Surr)和图像的源中间值(L1Mid)应用环境补偿。A、B、C、D和E是对于如上面的等式1和2中所示的a、b、c、d、e实验地导出的值：
在一些实施例中，PQ补偿曲线在某个PQin点以上可以被简化为是线性的。例如，补偿在([0 1]的总范围中的)0.5的PQ以上可以被计算为是线性的，从而提供以下的示例算法：
对于PQin<0.5，PQout＝L2PQ(PQ2L(PQin+C)-PQ2L(C))；以及等式6
对于PQin≥0.5，PQout＝PQin+C 等式7
在该某个PQ点以上的这个简化对于方法的硬件实现是有用的。
在一些情况下，环境光补偿可能将一些像素推出目标显示器的范围。在一些实施例中，滚降曲线可以附加地被应用以对这个进行补偿并且将图像重新规范化到正确的范围。这可以通过使用色调映射曲线与源元数据(例如，描述最小、平均(或中间点)和最大亮度的元数据)一起来进行。没有限制地，示例色调映射曲线在美国专利10,600,166和8,593,480中描述，该美国专利10,600,166和8,593,480均通过引用整体并入本文。取得色调映射图像的所得到的最小值、中间点值和最大值(在应用环境光补偿(例如，等式4)之前)，对这些值应用环境光补偿，然后使用色调映射技术将所得到的图像映射到目标显示器。参见例如美国专利申请公开No.2019/0304379，该美国专利申请公开No.2019/0304379通过引用整体并入本文。在图10中示出了滚降曲线的示例。这个滚降的主要特征是最小1010点和最大1020点仍然在目标显示器的范围内。结果是较亮的图像1030将具有较少的高亮滚降(损害暗/中间对比度增强)，并且较暗的图像1040将由于我们的色调曲线的动态色调映射特性而具有更多的暗细节增强(损害高亮细节)。
在一些实施例中，可以进行进一步的补偿以补偿显示屏幕的反射。在一些实施例中，如以下的等式8中，可以使用屏幕的反射特性从传感器值估计从屏幕反射的光的量。
ReflectedLight＝SensorLuminance*ScreenReflection 等式8
从屏幕反射的光可以被视为对图像的光的线性添加，从根本上提升了显示器的黑水平。在这些实施例中，对较高的黑水平(例如，对反射光的水平)进行色调映射，其中，在色调曲线计算的结束，在线性空间中进行减法以补偿由于反射而添加的光度。参见例如等式9。
PQout＝L2PQ(PQ2L(PQin)-ReflectedLight) 等式9
在图11中示出了具有反射补偿的色调曲线的示例。最小1110和最大1120水平仍然如它们在反射补偿被应用之前一样，但是底端1130处的对比度在要被应用到像素的曲线1140上大幅增加。添加预计的反射光产生更接近期望的图像质量的感知的色调曲线1150。
已描述了本公开的许多实施例。然而，将理解的是，在不脱离本公开的精神和范围的情况下可以进行各种修改。因此，其它实施例在随附的权利要求的范围内。
如本文所述，本发明的实施例因此可以涉及下面列举的示例实施例中的一个或多个。因此，本发明可以以本文描述的形式中的任何一个实施，包括但不限于描述本发明的一些部分的结构、特征和功能的以下列举的示例实施例(EEE)：
EEE1.一种用于对图像进行修改以补偿显示设备周围的环境光状况的方法，所述方法包括：确定所述图像的感知亮度幅值量化(PQ)数据；基于从所述环境光状况和所述图像确定的补偿值确定所述PQ数据的PQ偏移，所述PQ偏移由以下组成：在PQ空间中加上所述补偿值、然后在线性空间中减去所述补偿值，或者在线性空间中加上所述补偿值、然后在PQ空间中减去所述补偿值；对所述图像应用所述PQ偏移以修改所述图像的所述PQ数据。
EEE2.如列举的示例实施例1中所述的方法，还包括：在应用所述PQ偏移之前对所述图像应用色调映射。
EEE3.如列举的示例实施例1或2中所述的方法，其中：所述补偿值从C＝M√X+B计算，这里C是所述补偿值，M是周围亮度值的函数，X是所述图像的中间PQ值，并且B是周围亮度值的函数。
EEE4.如列举的示例实施例3中所述的方法，其中函数M和B从实验数据导出，所述实验数据从在不同的环境光状况下图像PQ补偿值的主观感知评估导出。
EEE5.如列举的示例实施例3或4中所述的方法，其中M是所述周围亮度值的线性函数并且B是所述周围亮度值的二次函数。
EEE6.如列举的示例实施例1-5中的任一个中所述的方法，还包括对所述图像应用附加的PQ偏移，所述附加的PQ偏移对所述图像进行调整使得最小像素值具有零补偿值。
EEE7.如列举的示例实施例1-6中的任一个中所述的方法，还包括对所述PQ偏移应用缓和。
EEE8.如列举的示例实施例1-7中的任一个中所述的方法，还包括对所述PQ偏移进行箝制使得它在阈值以下不被应用。
EEE9.如列举的示例实施例1-8中的任一个中所述的方法，其中所述PQ偏移在预定的PQ以上被计算为线性函数。
EEE10.如列举的示例实施例1-9中的任一个中所述的方法，还包括对所述图像应用滚降曲线。
EEE11.如列举的示例实施例1-10中的任一个中所述的方法，还包括在对所述显示设备上的预计的屏幕反射提供补偿的色调曲线计算的结束，在线性空间中从所述PQ数据减去反射补偿值。
EEE12.如列举的示例实施例11中所述的方法，其中所述反射补偿值是所述设备的周围亮度值的函数。
EEE13.如列举的示例实施例1-12中的任一个中所述的方法，其中应用所述PQ偏移在硬件或固件中执行。
EEE14.如列举的示例实施例1-12中的任一个中所述的方法，其中应用所述PQ偏移在软件中执行。
EEE15.如列举的示例实施例1-14中的任一个中所述的方法，其中所述环境光状况由所述显示设备中、所述显示设备上、或者所述显示设备附近的传感器确定。
EEE16.一种包括硬件或软件或两者的视频解码器，所述硬件或软件或两者被配置为执行如列举的示例实施例1-12中的任一个中所述的方法。
EEE17.一种包括存储的软件指令的非暂态计算机可读介质，所述存储的软件指令在由处理器执行时使如列举的示例实施例1-12中的任一个中所述的方法被执行。
EEE18.一种包括至少一个处理器的系统，所述至少一个处理器被配置为执行如列举的示例实施例1-12中的任一个中所述的方法。
出于描述本文描述的一些创新方面以及可以实现这些创新方面的背景的示例的目的，本公开针对某些实现。然而，可以以各种不同的方式应用本文的教导。此外，描述的实施例可以以各种各样的硬件、软件、固件等实现。例如，本申请的方面可以至少部分地以装置、包括多于一个设备的系统、方法、计算机程序产品等实施。因此，本申请的方面可以采取硬件实施例、软件实施例(包括固件、驻留软件、微代码等)和/或组合软件方面和硬件方面两者的实施例的形式。这样的实施例在本文中可以被称为“电路”、“模块”、“设备”、“装置”或“引擎”。本申请的一些方面可以采取计算机程序产品的形式，该计算机程序产品以一种或多种非暂态介质实施，该一种或多种非暂态介质具有在其上实施的计算机可读程序代码。这样的非暂态介质例如可以包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适的组合。因此，这个公开的教导不旨在限于图中所示和/或本文描述的实现，而是具有广泛的可应用性。
Claims (19)
1.一种用于对图像进行修改以补偿显示设备周围的环境光状况的方法，所述方法包括：
确定所述图像的感知亮度幅值量化(PQ)数据；
基于从所述环境光状况和所述图像确定的补偿值确定所述PQ数据的PQ偏移，所述PQ偏移由以下组成：在PQ空间中加上所述补偿值、然后在线性空间中减去所述补偿值，或者在线性空间中加上所述补偿值、然后在PQ空间中减去所述补偿值；
对所述图像应用所述PQ偏移以修改所述图像的所述PQ数据。
2.一种用于对图像进行修改以补偿显示设备周围的环境光状况的方法，所述方法包括：
确定所述图像的感知亮度幅值量化(PQ)数据；
基于从所述环境光状况和所述图像确定的补偿值确定所述PQ数据的PQ偏移，
其中所述补偿值从
计算，这里C是所述补偿值，M是周围亮度值S的函数，X是表示所述图像的平均亮度的所述图像的中间PQ值，并且B是周围亮度值的函数，其中M＝a*S+b并且B＝c*S2+d*S+e，这里a、b、c、d和e是常数；
所述PQ偏移由以下组成：对于外界周围亮度环境比参考值亮，在PQ空间中加上所述补偿值、然后在线性空间中减去所述补偿值，这通过PQout＝L2PQ(PQ2L(PQin+C))–PQ2L(C))进行计算，或者对于外界周围亮度环境比所述参考值暗，在线性空间中加上所述补偿值、然后在PQ空间中减去所述补偿值，这通过PQout＝L2PQ(PQ2L(PQin)+PQ2L(C))–C进行计算，其中PQout是偏移之后所得到的PQ，PQin是原始的PQ值，L2PQ()是从线性空间转换到PQ空间的函数，并且PQ2L()是从PQ空间转换到线性空间的函数；
对所述图像应用所述PQ偏移以修改所述图像的所述PQ数据。
3.根据权利要求1或2所述的方法，还包括：
在应用所述PQ偏移之前对所述图像应用色调映射。
4.根据权利要求1或3所述的方法，其中：
所述补偿值从
计算，这里C是所述补偿值，M是周围亮度值的函数，X是所述图像的中间PQ值，并且B是周围亮度值的函数。
5.根据权利要求4所述的方法，其中函数M和B从实验数据导出，所述实验数据从在不同的环境光状况下图像PQ补偿值的主观感知评估导出。
6.根据权利要求4或5所述的方法，其中M是所述周围亮度值的线性函数并且B是所述周围亮度值的二次函数。
7.根据权利要求1-6中的任一个所述的方法，还包括对所述图像应用附加的PQ偏移，所述附加的PQ偏移对所述图像进行调整使得最小像素值具有零补偿值。
8.根据权利要求1-7中的任一个所述的方法，还包括对所述PQ偏移应用缓和。
9.根据权利要求1-8中的任一个所述的方法，还包括对所述PQ偏移进行箝制使得它在阈值以下不被应用。
10.根据权利要求1-9中的任一个所述的方法，其中所述PQ偏移在预定的PQ以上被计算为线性函数。
11.根据权利要求1-10中的任一个所述的方法，还包括对所述图像应用滚降曲线。
12.根据权利要求1-11中的任一个所述的方法，还包括在对所述显示设备上的预计的屏幕反射提供补偿的色调曲线计算的结束，在线性空间中从所述PQ数据减去反射补偿值。
13.根据权利要求12所述的方法，其中所述反射补偿值是所述设备的周围亮度值的函数。
14.根据权利要求1-13中的任一个所述的方法，其中应用所述PQ偏移在硬件或固件中执行。
15.根据权利要求1-13中的任一个所述的方法，其中应用所述PQ偏移在软件中执行。
16.根据权利要求1-15中的任一个所述的方法，其中所述环境光状况由所述显示设备中、所述显示设备上、或者所述显示设备附近的传感器确定。
17.一种包括硬件或软件或两者的视频解码器，所述硬件或软件或两者被配置为执行如列举的示例实施例1-13中的任一个中所述的方法。
18.一种包括存储的软件指令的非暂态计算机可读介质，所述存储的软件指令在由处理器执行时使如列举的示例实施例1-13中的任一个中所述的方法被执行。
19.一种包括至少一个处理器的系统，所述至少一个处理器被配置为执行如列举的示例实施例1-13中的任一个中所述的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063046015P | 2020-06-30 | 2020-06-30 | |
| EP20183195.5 | 2020-06-30 | ||
| EP20183195 | 2020-06-30 | ||
| US63/046,015 | 2020-06-30 | ||
| PCT/US2021/039907 WO2022006281A1 (en) | 2020-06-30 | 2021-06-30 | Systems and methods for ambient light compensation using pq shift |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115803802A true CN115803802A (zh) | 2023-03-14 |
Family
ID=76972027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180046938.5A Pending CN115803802A (zh) | 2020-06-30 | 2021-06-30 | 用于使用pq偏移进行环境光补偿的系统和方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11869455B2 (zh) |
| EP (1) | EP4172981A1 (zh) |
| JP (1) | JP2023532083A (zh) |
| KR (1) | KR20230029938A (zh) |
| CN (1) | CN115803802A (zh) |
| BR (1) | BR112022026434A2 (zh) |
| WO (1) | WO2022006281A1 (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102187657A (zh) * | 2008-10-13 | 2011-09-14 | 皇家飞利浦电子股份有限公司 | 图像的对比度增强 |
| US20160005153A1 (en) * | 2014-07-03 | 2016-01-07 | Dolby Laboratories Licensing Corporation | Display Management for High Dynamic Range Video |
| US20170116963A1 (en) * | 2015-10-22 | 2017-04-27 | Dolby Laboratories Licensing Corporation | Ambient-Light-Corrected Display Management for High Dynamic Range Images |
| CN107211076A (zh) * | 2015-01-19 | 2017-09-26 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
| US20170324940A1 (en) * | 2016-05-05 | 2017-11-09 | Nvidia Corporation | Adjusting an image according to ambient light conditions |
| CN109983530A (zh) * | 2016-12-22 | 2019-07-05 | 杜比实验室特许公司 | 环境光自适应显示管理 |
| CN110447051A (zh) * | 2017-03-20 | 2019-11-12 | 杜比实验室特许公司 | 在感知上保持参考场景的对比度和色度 |
| US10555004B1 (en) * | 2017-09-22 | 2020-02-04 | Pixelworks, Inc. | Low frequency compensated encoding |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI538473B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
| JPWO2016031006A1 (ja) * | 2014-08-28 | 2017-04-27 | Ｎｅｃディスプレイソリューションズ株式会社 | 表示装置、階調補正マップ生成装置、階調補正マップ生成方法及びプログラム |
| WO2016140954A1 (en) * | 2015-03-02 | 2016-09-09 | Dolby Laboratories Licensing Corporation | Content-adaptive perceptual quantizer for high dynamic range images |
| WO2017003525A1 (en) * | 2015-06-30 | 2017-01-05 | Dolby Laboratories Licensing Corporation | Real-time content-adaptive perceptual quantizer for high dynamic range images |
| EP3552178B1 (en) | 2016-12-12 | 2022-06-01 | Dolby Laboratories Licensing Corporation | Systems and methods for adjusting video processing curves for high dynamic range images |
| WO2018119161A1 (en) | 2016-12-22 | 2018-06-28 | Dolby Laboratories Licensing Corporation | Ambient light-adaptive display management |
| HUE050807T2 (hu) | 2017-02-15 | 2021-01-28 | Dolby Laboratories Licensing Corp | Árnyalatgörbe-leképezés nagy dinamikus tartományú képek számára |
| EP3808068B1 (en) | 2018-06-18 | 2022-06-29 | Dolby Laboratories Licensing Corporation | Image capture methods and systems |
| EP3909252A1 (en) | 2019-01-09 | 2021-11-17 | Dolby Laboratories Licensing Corporation | Display management with ambient light compensation |
-
2021
- 2021-06-30 JP JP2022580799A patent/JP2023532083A/ja active Pending
- 2021-06-30 US US18/010,306 patent/US11869455B2/en active Active
- 2021-06-30 WO PCT/US2021/039907 patent/WO2022006281A1/en unknown
- 2021-06-30 EP EP21743357.2A patent/EP4172981A1/en active Pending
- 2021-06-30 KR KR1020237003179A patent/KR20230029938A/ko unknown
- 2021-06-30 BR BR112022026434A patent/BR112022026434A2/pt unknown
- 2021-06-30 CN CN202180046938.5A patent/CN115803802A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102187657A (zh) * | 2008-10-13 | 2011-09-14 | 皇家飞利浦电子股份有限公司 | 图像的对比度增强 |
| US20160005153A1 (en) * | 2014-07-03 | 2016-01-07 | Dolby Laboratories Licensing Corporation | Display Management for High Dynamic Range Video |
| CN107211076A (zh) * | 2015-01-19 | 2017-09-26 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
| US20170116963A1 (en) * | 2015-10-22 | 2017-04-27 | Dolby Laboratories Licensing Corporation | Ambient-Light-Corrected Display Management for High Dynamic Range Images |
| US20170324940A1 (en) * | 2016-05-05 | 2017-11-09 | Nvidia Corporation | Adjusting an image according to ambient light conditions |
| CN109983530A (zh) * | 2016-12-22 | 2019-07-05 | 杜比实验室特许公司 | 环境光自适应显示管理 |
| CN110447051A (zh) * | 2017-03-20 | 2019-11-12 | 杜比实验室特许公司 | 在感知上保持参考场景的对比度和色度 |
| US10555004B1 (en) * | 2017-09-22 | 2020-02-04 | Pixelworks, Inc. | Low frequency compensated encoding |
Also Published As
| Publication number | Publication date |
|---|---|
| BR112022026434A2 (pt) | 2023-01-17 |
| WO2022006281A1 (en) | 2022-01-06 |
| EP4172981A1 (en) | 2023-05-03 |
| US11869455B2 (en) | 2024-01-09 |
| US20230282182A1 (en) | 2023-09-07 |
| KR20230029938A (ko) | 2023-03-03 |
| JP2023532083A (ja) | 2023-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10930223B2 (en) | Ambient light-adaptive display management | |
| US10140953B2 (en) | Ambient-light-corrected display management for high dynamic range images | |
| RU2647636C2 (ru) | Управление отображением видео с расширенным динамическим диапазоном | |
| US10134359B2 (en) | Device or method for displaying image | |
| US8050511B2 (en) | High dynamic range images from low dynamic range images | |
| US20060104533A1 (en) | High dynamic range images from low dynamic range images | |
| JP5596075B2 (ja) | 階調補正装置またはその方法 | |
| US10798321B2 (en) | Bit-depth efficient image processing | |
| US20070041636A1 (en) | Apparatus and method for image contrast enhancement using RGB value | |
| WO2014043005A1 (en) | Display management for images with enhanced dynamic range | |
| WO2018119161A1 (en) | Ambient light-adaptive display management | |
| WO2019036522A1 (en) | EFFICIENT IMAGE PROCESSING IN BIT DEPTH | |
| JP2012178809A (ja) | 映像表示装置 | |
| KR20060056304A (ko) | 적응적 화질 개선 장치 및 그 방법 | |
| CN115803802A (zh) | 用于使用pq偏移进行环境光补偿的系统和方法 | |
| KR102370400B1 (ko) | 영상 처리 장치 | |
| JP2014211914A (ja) | 階調補正装置またはその方法 | |
| US20240161706A1 (en) | Display management with position-varying adaptivity to ambient light and/or non-display-originating surface light | |
| CN113850743B (zh) | 一种基于自适应参数的视频全局色调映射方法 | |
| KR20110036421A (ko) | 영상 신호 처리 방법 및 영상 신호 처리 장치 | |
| Daly et al. | 14.3: Reserved Highlight Region for HDR and Megacontrast Display Algorithms | |
| JP2024518827A (ja) | 周囲光および／または非ディスプレイ由来の表面光に対する位置変化する適応性のあるディスプレイ管理 | |
| Xiaoxia et al. | Color vision based high dynamic range images rendering | |
| JP2020190711A (ja) | 画像処理装置および画像処理方法 | |
| KR101073497B1 (ko) | 영상 보정 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40088074 Country of ref document: HK |