CN108476325B - 用于高动态范围颜色转换校正的介质、方法和设备 - Google Patents

用于高动态范围颜色转换校正的介质、方法和设备 Download PDF

Info

Publication number
CN108476325B
CN108476325B CN201680078398.8A CN201680078398A CN108476325B CN 108476325 B CN108476325 B CN 108476325B CN 201680078398 A CN201680078398 A CN 201680078398A CN 108476325 B CN108476325 B CN 108476325B
Authority
CN
China
Prior art keywords
value
color space
values
linear
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680078398.8A
Other languages
English (en)
Other versions
CN108476325A (zh
Inventor
安德烈·诺金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netflix Inc
Original Assignee
Netflix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netflix Inc filed Critical Netflix Inc
Publication of CN108476325A publication Critical patent/CN108476325A/zh
Application granted granted Critical
Publication of CN108476325B publication Critical patent/CN108476325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Ink Jet (AREA)

Abstract

本发明的一个实施例阐述了用于校正颜色值的技术。该技术包括对第一颜色空间值进行下采样以生成下采样的颜色空间值，以及对该下采样的颜色空间值进行上采样以生成第二颜色空间值。该技术还包括基于包括在第一颜色空间值中的第一分量值、包括在第二颜色空间值中的第二分量值、以及非线性传递函数的近似值，来修改包括在下采样的颜色空间值中的至少一个分量值。

Description

用于高动态范围颜色转换校正的介质、方法和设备
相关申请的交叉引用
本申请要求于2016年6月10日递交的具有申请序列号15/179,857和代理所档案号NETF/0109US的美国专利申请、于2015年11月9日递交的具有申请序列号62/253,098和代理所档案号NETF/0109USL的美国临时专利申请、以及于2015年11月16日递交的具有申请序列号62/256,080和代理所档案号NETF/0109USL2的美国临时专利申请的优先权。这些相关申请的主题通过引用合并于此。
技术领域
本发明的实施例通常涉及视听处理，并且更具体地，涉及高动态范围(HDR)颜色转换校正。
背景技术
高动态范围(HDR)成像是一种可以实现比通过传统成像技术通常可能表现的更宽范围的亮度值的技术。具体地，传统的成像设备仅能够捕获和再现有限的亮度范围，这通常会导致与阴影和/或高亮相关联的亮度范围中细节的损失。与之相比，HDR技术能够捕获和表示更接近人类视觉系统所感知范围的亮度范围。因此，HDR技术有望显著改善多种类型的多媒体内容的视觉质量。
为了通过使用中等的位深度(例如，每采样样本10到12个位)来表示与HDR内容相关联的亮度值(例如，大约0到10,000cd/m2的亮度值)，各种标准对HDR内容应用高度非线性传递函数。位深度通常是指用于表示一个图像分量采样样本(例如，亮度或色度值)的位数。更具体地，因为当亮度值较低时人类视觉系统对亮度值的差异更敏感，非线性传递函数一般应用于与HDR内容相关联的线性颜色值(例如，RGB值)，以便分配更多的数值到亮度范围的下端。将更多值分配到亮度范围的下端允许实现在中等位深度处的量化，而不会出现从观察者的角度可察觉的任何伪影。
将非线性传递函数应用于HDR内容后，将得到的非线性值转换到所期望的颜色空间并进行进一步处理，使得HDR内容可以被更高效地发送和播放。那些额外的处理操作通常包括色度子采样和视频压缩，其中每一个都被执行以减少HDR内容的位率。例如，关于最近由数字娱乐内容生态系统(DECE)采用的HDR10规范，ST.2084非线性传递函数被应用于线性RGB值。然后将非线性R’G’B’值转换到BT.2020颜色空间中，并且对得到的Y’CbCr 4:4:4值进行子采样以生成Y’CbCr 4:2:0值。Y’CbCr 4:2:0值然后通过高效视频编码(HEVC)Main10编码进行压缩以生成经压缩的视频流。
传统HDR转换过程的一个缺点在于，当对与HDR内容相关联的颜色值(例如，Y’CbCr4:4:4值)进行子采样时，通过类似于平均的过程对色度值而非亮度值进行子采样，例如通过应用低通滤波器并随后抽取采样样本(例如，为了生成Y’CbCr 4:2:2值或Y’CbCr 4:2:0值)。当重建HDR内容时，平均色度值被上采样，然后与原始亮度值组合。因此，因为在第一实例中色度值被修改，所以当非线性传递函数的逆被应用于上采样值时，重建的颜色值可能与原始HDR内容中呈现的颜色值有显著的不同。这些类型的差异对于落在具有陡峭斜率的非线性光电传递函数的区域内的颜色值(例如，具有低亮度值的颜色分量)是最明显的，因为在这些区域中，颜色分量的值的微小变化可能会对Y’、Cb和Cr值具有显著影响。
例如，如果一个颜色分量的值接近于零，而其他颜色分量具有较高的值(这一般是接近颜色色域边界的颜色的情况)，那么低强度颜色分量值将具有对得到的Y’CbCr 4:4:4信号不成比例的高贡献。即，虽然相应的线性RGB值是相似的，但是这种低强度颜色分量值的微小变化会导致Y’、Cb和Cr分量的值的显著不同。因此，当Y’CbCr 4:2:0颜色值稍后被上采样到Y’CbCr 4:4:4颜色值并且被应用逆非线性传递函数时，由于子采样导致的Cb和/或Cr值的变化可能会导致饱和的颜色被重建为显著不同的值，在最终图像中产生伪影。
上述问题的一个解决方案是对不同的亮度值进行迭代以选择这样的亮度值：当重建该亮度值时(例如，通过将Y’CbCr 4:2:0颜色值上采样为Y’CbCr 4:4:4颜色值)，得到最接近原始信号的线性亮度的线性亮度。然而，例如，为了选择10位信号的亮度值，该特定方法将需要针对每个亮度采样执行十次迭代。因为单次迭代需要计算逆非线性传递函数并应用逆颜色变换，所以即使当电光传递函数被实现为查找表时，这些类型的传统技术也可能非常缓慢。
如前所描述，用于转换和校正高动态范围(HDR)颜色值的改进技术将是有用的。
发明内容
本发明的一个实施例阐述了一种校正颜色值的方法。该方法包括对第一颜色空间值进行下采样以生成下采样的颜色空间值，并且对下采样的颜色空间值进行上采样以生成第二颜色空间值。该方法还包括基于包括在第一颜色空间值中的第一分量值、包括在第二颜色空间值中的第二分量值以及非线性传递函数的近似来修改包括在下采样的颜色空间值中的至少一个分量值。
除了其他方面，其他实施例还提供了被配置为实现上述方法的非暂态计算机可读介质和计算设备。
所公开的技术的至少一个优点是得到的重建HDR图像相对于原始HDR图像比经由传统色度下采样生成的图像更精确。此外，所公开的技术的复杂度显著低于传统方法的复杂度，实现了通过单次迭代实时地确定最佳分量值(例如，亮度值)。
附图说明
为了本发明的上述特征的方式能够被详细理解，可以通过参考实施例来获得上面简要总结的本发明的更具体描述，其中一些在附图中被示出。然而，应当注意，附图仅示出了本发明的典型实施例，因此不应被视为限制其范围，因为本发明可以允许其他等效实施例。
图1是被配置为实现本发明的一个或多个方面的计算设备的概念图；
图2示出了根据本发明的各种实施例的可以被实现以将线性光/颜色值转换为非线性光/颜色值的非线性光电传递函数(OETF)；
图3示出了根据本发明的各种实施例的用于转换、压缩和重建高动态范围(HDR)内容的过程；
图4A和图5A是原始HDR图像，图4B和图5B是根据传统技术处理的图像，而图4C和图5C是根据本发明的一个或多个实施例处理的图像；以及
图6示出了根据本发明的各种实施例的用于对图像执行HDR颜色转换校正的方法步骤的流程图。
具体实施方式
在以下描述中，阐述了许多具体细节以提供对本发明的实施例的更全面的理解。然而，对于本领域技术人员显然的是，可以在没有这些具体细节中的一个或多个的情况下实践本发明的实施例。
图1是被配置为实现本发明的一个或多个方面的计算设备100的概念图。如图所示，颜色转换系统包括计算设备100。计算设备100包括处理器102、输入/输出(I/O)设备104、和存储器110。存储器110包括被配置为与数据库114交互的颜色转换应用112。
处理器102可以是被配置为处理数据和执行程序代码的处理设备的任何技术上可行的形式。处理器102可以是例如但不限于中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列可编程门阵列(FPGA)等。
存储器110可以包括存储器模块或存储器模块的集合。存储器110内的颜色转换应用112由处理器102执行以实现颜色转换系统的整体功能。例如但不限于，由颜色转换系统接收的多媒体内容(例如，图像、视频等)可以由颜色转换应用112处理，以将线性和/或非线性传递函数应用于多媒体内容，以在一个或多个颜色空间之间转换多媒体内容，从而对多媒体内容执行下采样、子采样、上采样等，和/或将一个或多个压缩算法应用于多媒体内容。存储器110内的数据库114可以存储与传递函数、颜色空间、有损和/或无损编解码器等相关联的图像、视频、算法、参数、查找表和/或其他类型的数据。
I/O设备104可以包括输入设备、输出设备和能够接收输入并提供输出的设备。例如但不限于，I/O设备104可以包括将数据发送到照相机、显示屏幕、媒体播放器、存储设备、扬声器、麦克风、网络设备和/或其他计算设备，和/或从其接收数据的有线和/或无线通信设备。
通常，计算设备100被配置为协调颜色转换系统的整体操作。在其他实施例中，计算设备100可以耦合到颜色转换系统的其他组件，但与颜色转换系统的其他组件分离。然而，本文公开的实施例设想了被配置为实现颜色转换系统的功能的任何技术上可行的系统。
图2示出了根据本发明的各种实施例的可以被实现以将线性光/颜色值转换为非线性光/颜色值的非线性光电传递函数(OETF)。如图所示，由于当亮度值较低时人类视觉系统对亮度值的差异更敏感，因此传递函数的斜率在低亮度范围内陡峭且在高亮度范围内较平缓。其结果是，非线性传递函数在低亮度范围内分配更多的码字并且使用较小的量化步长，从而降低了量化将在图像中产生可视伪影的可能性。虽然本文公开的技术是结合图2中所示的OETF进行描述的，但在各种实施例中，任何形状的任何其他类型的非线性传递函数可被实现以转换和重建线性颜色值。
图3示出了根据本发明的各种实施例的用于转换、压缩和重建HDR内容的过程。如图所示，非线性传递函数被应用于线性RGB值以生成非线性R’G’B’值。然后将非线性R’G’B’值转换到所期望的颜色空间，并对得到的颜色值进行处理，使得可以更高效地发送和广播HDR内容。
例如，在一些实施例中，通过分别对每个线性光R、G和B分量应用OETF感知量化器(PQ)来生成非线性R’G’B’值。然后，根据如下所示的等式1将非线性R’G’B’值转换到非恒定亮度BT.2020颜色空间。接下来，可以对Y’CbCr 4:4:4颜色值执行进一步的处理，例如以减小位率以便于传输。
Figure GDA0002754069930000051
在一些实施例中，在将颜色值转换到特定颜色空间之后，通过诸如色度子采样之类的子采样进一步处理颜色值。当对颜色值进行子采样时，亮度和/或色度信息在相邻像素上取平均值，从而减少处理过的图像的位率。通常，图像的色度分量被子采样，同时保持亮度分量的原始分辨率，因为比起颜色差异，人类视觉系统能够更容易地检测亮度差异。因此，如图3所示，可以对以Y’CbCr 4:4:4格式指定的颜色值进行子采样以生成Y’CbCr4:2:2值或Y’CbCr 4:2:0值。然后，可选地通过诸如HEVC、H.264之类的编解码器压缩所得到的颜色值。
如上所述，这些传统的HDR转换过程的一个缺点是重建子采样颜色值会产生伪影。值得注意，虽然将颜色空间转换的逆和非线性传递函数的逆(例如，EOTF PQ)应用于Y’CbCr4:4:4颜色值将导致与原始线性RGB信号基本相同的重建的颜色值，但是当对Y’CbCr 4:4:4颜色值应用子采样时，色度值被有效平均。因此，当这些下采样色度值被上采样回Y’CbCr4:4:4颜色值并且该经上采样的值被应用非线性传递函数的逆时，重建颜色值可能显著不同于呈现于原始线性RGB信号中的颜色值。当一个或多个或颜色分量(例如，R、G、和/或B)具有接近于零的值，其中特定分量值(例如，R、G或B)的微小的变化可导致显著不同的Y’、Cb和Cr分量值，尽管线性光RGB值中的每个值都是相似的，这种伪影在饱和色彩中是尤其可察觉的。在图4B和图5B中示出了这种伪影的示例，其中的每一个都包括在图4A和5A中示出的原始图像中不存在的细节。
因此，在各种实施例中，为了减少伪影的出现和/或可视性，颜色转换应用112对一个或多个下采样的分量值进行调节，使得当上采样和重建时，这些值产生类似于在原始HDR内容中呈现的颜色值的颜色值。更具体地，颜色转换应用112对色度值进行下采样。在一些实施例中，如图3所示，颜色转换应用112可以从Y’CbCr 4:4:4颜色值直接获得下采样的色度。可选地，颜色转换应用112可直接对线性RGB颜色值进行下采样，然后将OETF PQ和颜色转换应用于该经下采样的值。
在获得下采样的色度之后，颜色转换应用112通过应用所选择的上采样滤波器来对该色度进行上采样。然后，颜色转换应用112修改Y’、Cb和Cr值中的一个或多个，使得将这些值重建为线性RGB信号会产生类似于呈现于原始线性RGB信号中颜色值的颜色值。作为参考，在以下的等式2中示出了可以用来从非线性R’G’B’值重建线性RGB值的EOTF PQ的示例。
Figure GDA0002754069930000071
m2＝78.84375,c1＝0.8359375,c2＝18.8515625,c3＝18.6875 (2)
在一些实施例中，颜色转换应用112通过同时估计Y’、Cb和Cr值中的每一个来修改Y’、Cb和Cr值。在其他实施例中，为了获得更快的估计，可以在Cb和Cr的值保持恒定时来获得Y’的值。后一种方法可能是有益的，因为用于对色度分量进行上采样的滤波器不是由标准定义的，因此可以在不同的硬件和软件平台之间变化。而且，取决于使用哪个上采样滤波器，修改色度采样还可以改变相邻位置处的上采样色度值。
因此，在各种实施例中，颜色转换应用112通过寻找对应于与RGBorg(x,y)值基本相似的RGBnew(x,y)值的新的Y’、Cb和Cr分量值来确定亮度分量Y’(x,y)的值。在这个表示中，x和y分别是采用样本的水平和垂直位置。
示例1-第一代价函数
在一些实施例中，RGBnew(x,y)和RGBorg(x,y)之间的距离(D)可以被测量为欧几里德范数(例如，每个分量的平方误差)：
D＝(Rnew(x,y)-Rorg(x,y))2+(Gnew(x,y)-Gorg(x,y))2+(Bnew(x,y)-Borg(x,y))2 (3)
出于更简单表达的目的而省略采样样本坐标，代价函数如下所示：
D＝(Rnew-Rorg)2+(Gnew-Gorg)2+(Bnew-Borg)2 (4)
在更通常的情况下，还可以用加权因子wx来加权每个颜色分量R、G和B的重要性，其中X对应于颜色分量wR、wG、和wB。然后，我们的代价函数将采用等式5或等式6的形式，其中f是EOTF函数，诸如ST.2084EOTF PQ.:
D＝wR(Rnew-Rorg)2+wG(Gnew-Gorg)2+wB(Bnew-Borg)2
(5)
D＝wR(f(R'new)–f(R'org))2+wG(f(G'new)–f(G'org))2+wB(f(B'new)–f(B'org))2
(6)
值R’、G’和B’可以通过应用逆颜色转换从原始Y’CbCr值获得，该转换取决于与Y’CbCr值相关联的颜色空间。例如，针对BT.709和BT.2020颜色空间内的Y’CbCr值的逆颜色变换具有以下形式：
Figure GDA0002754069930000081
尝试最小化针对具有诸如ST.2084之类的复杂表达的EOTF的代价函数D，需要大量的处理资源。因此，可以使用有限的泰勒级数(例如，一阶、二阶或三阶多项式)来近似EOTF，使得代价函数D能够通过闭式解被最小化。以下结合等式8-17描述用于将等式3-6中所示的代价函数D进行最小化的闭式解的两个示例。值得注意的是，虽然下面描述的技术是使用RGB值实现的，但也可以使用RGB以外的颜色空间。
EOTF的线性近似(第一代价函数)
为了获得闭合的形式，用于估计对应于与原始RGBorg(x,y)值基本相似的RGBnew(x,y)值的更好的亮度分量Y’(x,y)的一阶解EOTF f(X)可以用一阶多项式近似，其中，f'(Xi)是关于Xi处X的f(X')的导数的值：
f(Xi+Δ)＝f(Xi)+f'(Xi)Δ (8)
然后，通过将等式8的EOTF近似代入等式6，代价函数可以近似为：
D＝wR(f'(R'org)ΔR)2+wG(f'(G'org)ΔG)2+wB(f'(B'org)ΔB)2
(9)
接下来，基于逆颜色变换，将等式9中的ΔR替换为(a1,1Y'new+eR)并且对ΔG和ΔB进行类似的替换。然后关于Y’对代价函数D进行微分以找到局部极小值的闭式解。这个针对Y’值的闭式解可以如下来获得。首先，我们基于新的色度值、原始色度值、和逆颜色转换参数来计算eR、eG、和eB：
eR＝–Y'orga1,1+(Cbnew–Cborg)a1,2+(Crnew–Crorg)a1,3,
eG＝–Y'orga2,1+(Cbnew–Cborg)a2,2+(Crnew–Crorg)a2,3,
eB＝–Y'orga3,1+(Cbnew–Cborg)a3,2+(Crnew–Crorg)a3,3, (10)
Y’的值则等于：
Figure GDA0002754069930000091
当a1,1＝a2,1＝a3,1＝1时，如在BT.709和BT.2020中那样，表达式简化为：
Figure GDA0002754069930000092
此外，如果所有权重都等于1，则可通过如下得出Y’：
Figure GDA0002754069930000093
在一些实施例中，可以预先计算EOTF导数平方f'(X)2的值并将其存储在查找表中。具体地，对于具有位深度为10的视频，当使用10位的固定点处理时，可以使用具有1024个条目的查找表。在较高的定点或浮点精度的情况下，可以使用更多的表条目来提高精确度。
EOTF的二阶近似(第一代价函数)
可选地，可以使用二阶多项式来近似EOTF，如等式14所示：
f(Xi+Δ)＝f(Xi)+f'(Xi)Δ+f″(Xi)Δ2/2
(14)
由此得到的近似比线性近似更接近实际的EOTF。然而，寻找代价函数D的局部极小值需要找到三次方程的根，与上面讨论的线性近似相比，这涉及更大的复杂度和更多的处理资源。
关于二阶近似，可以以类似于线性近似的方式来执行推导，并且为了简洁的目的而省略该推导。假设a1,1＝a2,1＝a3,1＝1，解如下：
eR＝–Y'org+(Cbnew–Cborg)a1,2+(Crnew–Crorg)a1,3,
eG＝–Y'org+(Cbnew–Cborg)a2,2+(Crnew–Crorg)a2,3,
eB＝–Y'org+(Cbnew–Cborg)a3,2+(Crnew–Crorg)a3,3 (15)
则：
T3,X＝f″(X)2,
T2,X＝3f'(X)f″(X)+3f″(X)2eX,
T1,X＝2f'(X)2+6f'(X)f″(X)eX+3f″(X)2(eX)2,
T0,X＝2f'(X)2eX+3f'(X)f″(X)(eX)2+f″(X)2(eX)3 (16)
其中，X代表R、G和B，并且f'(X)代表一阶导数f'(R'org)、f'(G'org)、或f'(B'org)，并且f″(X)代表二阶导数f″(R'org)、f″(G'org)、或f″(B'org)。这些导数是关于相应的非线性颜色分量进行取导的。
为了使代价函数D最小化，关于Y’new来求解下面的三次方程：
(wRT3,R+wGT3,G+wBT3,B)(Ynew)3+(wRT2,R+wGT2,G+wBT2,B)(Ynew)2+(wRT1,R+wGT1,G+wBT1,B)Ynew+(wRT0,R+wGT0,G+wBT0,B)＝0 (17)
三次方程有一个或三个实根。在三个实根的情况下，由于代价函数D是二次的，并且在第四阶项处具有正系数，因此最小值可以在具有最大值或最小值的根中得到。然后计算两个根的代价函数D的值，并且得出的较小值的根被选择为Y’new。
如果等式3只有一个实根，则两个复数根的实部仍可以被认为是可能的解。具体地，因为使用EOTF的近似时，等式项的值的微小的变化可导致等式17仅具有一个实根而不是三个实根。然而，在某些情况下，当两个实根(其中一个会导致代价函数最小)成为两个复数根时，这对复数根的实部表示相比其余实根的值对解更好的近似。
示例2-第二代价函数
在一些实施例中，距离(D)可以测量为RGBnew(x,y)和RGBorg(x,y)的各个R、G和B分量之间的加权差的和。在这样的实施例中，可以根据等式18来计算两个值之间的差，其中，wR,、wG、和wB是对应于颜色分量R、G和B的权重。
D＝wR(Rnew(x,y)–Rorg(x,y))+wG(Gnew(x,y)–Gorg(x,y))+wB(Bnew(x,y)–Borg(x,y))(18)
然后，在为了更简单表达的目的而省略像素坐标之后，代价函数由等式19或等式20定义，其中f(X)是EOTF函数：
D＝wR(Rnew–Rorg)+wG(Gnew–Gorg)+wB(Bnew–Borg) (19)
D＝wR(f(R'new)–f(R'org))+wG(f(G'new)–f(G'org))+wB(f(B'new)–f(B'org)) (20)
如上所述，然后可以通过应用诸如BT.709和BT.2020转换之类的逆颜色转换从Y’CbCr获得传递函数域值R'、G'和B'：
Figure GDA0002754069930000111
在各种实施例中，为了最小化RGBnew(x,y)和RGBorg(x,y)之间的差，等式18-20中所示的代价函数D的绝对值(即，|D|)可以被最小化。然而，将D的绝对值最小化是一项不简单的任务，因为绝对值函数在0处不可微分。因此，在一些实施例中，替代地最小化函数D2，这是因为|D|和D2在同一点达到最小值，并且函数D2在实数R的整个范围上是可微分的。因此，替代地针对如下函数D1执行这样的优化：
D1＝(wR(f(R'new)–f(R'org))+wG(f(G'new)–f(G'org))+wB(f(B'new)–f(B'org)))2 (22)
接下来，EOTF用有限的泰勒级数来近似，从而找到闭式解来将代价函数D1最小化。
EOTF的线性近似(第二代价函数)
将(8)代入(22)中，代价函数可以被近似为如下：
D＝(wRf'(R'org)ΔR+wGf'(G'org)ΔG+wBf'(B'org)ΔB)2 (23)
然后，等式23中的ΔR用(a1,1Y'new+eR)替换，并且对ΔG和ΔB进行类似的替换。然后关于Y’对代价函数D进行微分以找到局部极小值的闭式解。为了找到Y’值的闭式解，我们首先根据等式10计算eR、eG和eB。Y’的值等于：
Figure GDA0002754069930000112
当a1,1＝a2,1＝a3,1＝1时，如在BT.709和BT.2020中那样，表达式简化为：
Figure GDA0002754069930000113
在一些实施例中，可以预先计算EOTF导数f'(X)的值并将其存储于查找表(例如，当使用10个位的固定点处理时，对于具有10位深度的视频，具有1024个条目的表)。在较高的定点或浮点精度的情况下，可以使用更多的表项来提高准确性。
EOTF的二阶近似(第二代价函数)
可选地，EOTF可以使用二阶多项式来近似，如等式14所示。然后，假设a1,1＝a2,1＝a3,1＝1，该解如下：
eR＝–Y'org+(Cbnew–Cborg)a1,2+(Crnew–Crorg)a1,3,
eG＝–Y'org+(Cbnew–Cborg)a2,2+(Crnew–Crorg)a2,3,
eB＝–Y'org+(Cbnew–Cborg)a3,2+(Crnew–Crorg)a3,3 (26)
则：
a＝wRf'(R'org)+wGf'(G'org)+wBf'(B'org),
c＝eRwRf'(R'org)+eGwGf'(G'org)+eBwBf'(B'org),
m2＝wRf″(R'org)+wGf″(G'org)+wBf″(B'org)
m1＝a+eRwRf″(R'org)+eGwGf″(G'org)+eBwBf″(B'org)
m0＝2c+(eR)2wRf″(R'org)+(eG)2wGf″(G'org)+(eB)2wBf″(B'org), (27)
其中，X代表R、G和B，f'(X)代表一阶导数f'(R'org)、f'(G'org)、或f'(B'org)，f″(X)表示二阶导数f″(R'org)、f″(G'org)、或f″(B'org)。
为了使代价函数D最小化，关于Y’new来求解下面的三次方程：
(m2)2(Ynew)3+3m2m1(Ynew)2+(2(m1)2+m2m0)Ynew+(m0n0)＝0
(28)
如上讨论，三次方程有一个或三个实根。如果确定是三个实根，则最小值可以在具有最大值或最小值的根中得到。然后针对两个实根计算代价函数D的值，并且将得到较小值的实根选择为Y’new。在等式28仅具有一个实根的情况下，其余复数根的实部可以是视为解。
在其他实施例中，上述任何技术可以用包括ST.2084或BT.1886的其他类型的传递函数来实现。此外，上述技术可以应用于其他颜色空间，诸如BT.709和BT.2020。此外，在一些实施例中，EOTF的导数可以通过对EOTF求微分或通过对EOTF求数值近似(例如，使用导数的定义(例如，将EOTF的值的变化除以在EOTF自变量中的变化))来获得。两个或两个以上的EOTF而非单个EOTF的平均值或加权平均值也可以实现于闭式解中，从而优化用于与多个传递函数兼容的方法。在这样的实施例中，EOTF的导数可以用EOTF导数的平均值或加权平均值(例如，加权和)代替。
本文描述的技术也可以使用更高阶的多项式对EOTF求近似。此外，在一些实施例中，可以关于诸如对应于相邻像素的几个值之类的几个值(例如，Y’、Cb和Cr)来最小化代价函数D。在这样的实施例中，可以关于每个Y’、Cb和Cr分量来采取导数以找到Y’、Cb和Cr的最优值。
在各种实施例中，可以基于每个颜色分量的期望精度或重要性来选择权重wR、wG、和wB。例如，权重可以设置为等于1。在一些实施例中，权重wR、wG、和wB是以图片为基础或以序列为基础来选择的。权重wR、wG、和wB还可以基于采样样本/像素自适应地设置，例如基于每个采样样本的原始R、G和B值(例如，基于与针对每个样本的R、G和B的强度的负相关关系)或基于一些其他算法。在其他实施例中，可以基于每个颜色分量对亮度的贡献来设置权重。例如，可以将权重分别设置为等于R、G和B分量对XYZ颜色空间的Y分量的贡献。在BT.709的情况下，权重0.212639、0.715169和0.072192可以分别被分配给wR、wG和wB。在BT.2020的情况下，权重0.262700、0.677998、和0.059302可分别分配给wR、wG和wB。
图6示出了根据本发明的各种实施例的用于对图像执行HDR颜色转换校正的方法步骤的流程图。虽然这些方法步骤是结合图1-图3的系统描述的，但本领域技术人员将理解，配置为以任何顺序执行这些方法步骤的任何系统都落入本发明的范围内。
如图6所示，方法600在步骤610处开始，其中颜色转换应用112基于非线性传递函数(例如，OETF PQ)将一个或多个线性RGB值转换为R'G'B'org(x,y)值。接下来，在步骤620处，颜色转换应用112基于与目标颜色空间相关联的转换参数将R'G'B'org(x,y)值转换为Y'CbCrorg4:4:4值。颜色转换应用112然后对Y'CbCrorg4:4:4值进行子采样以生成Y'CbCrnew4:2:2值或Y'CbCrnew4:2:0值。
在步骤640处，颜色转换应用112对Y'CbCrnew4:2:2值或Y'CbCrnew4:2:0值进行上采样以生成Y'CbCrnew4:4:4值。然后，在步骤650处，颜色转换应用112基于从EOTF的近似导出的闭式等式来计算亮度值Y'new(x,y)。在各种实施例中，颜色转换应用112可以基于等式11-13、17、24、25和/或28中的任何一个来计算亮度值Y'new(x,y)。例如，颜色转换应用112可以根据等式11-13、17、24、25和/或28中的一个或多个基于R'G'B'org(x,y)值、Y'CbCrorg(x,y)值、Y'CbCrnew(x,y)值、一个或多个颜色空间转换参数和/或非线性传递函数的近似，来计算Y'new(x,y)。
然后，在步骤660处，颜色转换应用112将Y'new(x,y)分配给相应的像素(x,y)。在步骤670处，颜色转换应用112确定是否应该针对一个或多个额外的像素来确定Y'new。如果要处理额外的像素，则方法600返回到步骤650，其中颜色转换应用112基于例如R'G'B'org(x,y)值、Y'CbCrorg(x,y)值、Y'CbCrnew(x,y)值、一个或多个颜色空间转换参数和/或非线性传递函数的近似，来计算Y'new(x,y)。然后，方法600终止。
尽管方法600是针对特定类型的颜色值、颜色空间参数、传递函数和近似进行描述的，但颜色转换应用112可以使用任何类型的颜色值、颜色空间参数、传递函数和近似值来修改Y’、Cb和/或Cr值。
实验结果和计算复杂度
如上所述，线性近似方法的复杂度明显低于传统的亮度细分方法。本文描述的技术使用闭式解来在单次迭代中找到Y’的值。相比之下，传统的细分方法需要对10位视频进行10次迭代，包括图2的链(即，获得R'G'B'值、应用EOTF、以及计算线性光亮度)中的最后两个块。因此，所提出的线性近似方法具有复杂度对质量的良好权衡，使得该方法非常适合于实时系统。
上述算法与实现亮度细分算法的传统技术相比较。每个算法在序列FireEater(吞火者)(在图4A-图4C中示出)、Market(集市)(在图5A-图5C中示出)和在BT.709容器中的Tibul上运行。每个序列是1920×1080p，具有峰值亮度4000cd/m2。在每次模拟中，[-2 1654 -4]/64和[-4 36 36 -4]/64滤波器分别用于垂直和水平上采样。可选地，其他上采样和下采样滤波器可以在该算法中使用。
图4A图-4C和图5A-图5C证明了线性近似算法的效果，其中权重wR、wG和wB分别等于R、G和B分量对XYZ颜色空间的Y分量的贡献的系数。在BT.709的情况下，针对wR、wG和wB权重可以分别为0.212639、0.715169、和0.072192。在BT.2020的情况下，针对wR、wG和wB权重可以分别为0.262700、0.677998、和0.059302。
如图4C和图5C所示，基于EOTF的线性近似的闭式解得到的图像相对于原始图像比通过传统色度下采样生成的图像更加精确。
客观结果在下表1-4中提供。表1-4中的值表示线性光域中的PSNR和tPSNR。tPSNR涉及将RGB颜色空间转换到XYZ颜色空间、对两个传递函数PQ(ST.2084)和Philips的输出求平均、然后计算X、Y和Z分量的PSNR。
从表1-4中的结果观察到，与传统的色度下采样相比，平均PSNR增加了1.75dB以上。此外，当实现EOTF的线性近似时，在tPSNR中看到了3.65dB的改善。与较慢的传统亮度细分方法相比，本文公开的各种实施例在实现EOTF的线性近似时增益0.07dB较低的平均PSNR，以及对于EOTF的二阶多项式近似为0.01dB较高的平均PSNR。平均地，tPSNR度量比传统的亮度细分方法低0.17dB。此外，二阶近似法的PSNR和tPSNR测量结果比线性近似略好。
值得注意，本文公开的每种技术显着改善了测试视频的主观质量，消除了可感知的伪影。另一观察结果是本文公开的技术产生比传统色度下采样更平滑的亮度，这可能导致随后压缩所得视频的增益。
表1.色度分量的直接下采样
Figure GDA0002754069930000151
表2.传统亮度细分的结果
Figure GDA0002754069930000152
表3.第二代价函数D和EOTF的线性近似
Figure GDA0002754069930000153
Figure GDA0002754069930000161
表4.第二代价函数D和EOTF的二阶近似
Figure GDA0002754069930000162
总之，颜色转换应用下采样色度值，然后通过应用上采样滤波器将色度值进行上采样。然后颜色转换应用修改一个或多个下采样的Y’CbCr值，使得这些值到线性RGB信号的重建产生与原始线性RGB信号类似的值。在各种实施例中，颜色转换应用通过估计基于非线性传递函数的近似的闭式解来计算Y’的最优值，同时保持Cb和Cr的值恒定。
所公开的技术的至少一个优点是与通过传统色度下采样生成的图像相比，所得到的重建的HDR图像相对于原始HDR图像更精确。此外，所公开的技术的复杂度显著低于传统方法的复杂度，使得能够通过单次迭代实时确定最优分量值(例如，亮度值)。
1.在一些实施例中，一种包括指令的非暂态计算机可读存储介质，当该指令由处理器执行时，使处理器执行以下步骤：对第一颜色空间值进行下采样，以生成下采样的颜色空间值；对下采样的颜色空间值进行上采样，以生成第二颜色空间值；以及基于包括在第一颜色空间值中的第一分量值、包括在第二颜色空间值中的第二分量值、以及非线性传递函数的近似，来修改包括在下采样的颜色空间值中的至少一个分量值。
2.条款1的非暂态计算机可读存储介质，其中，至少一个分量值包括至少一个亮度值。
3.条款1至2中任一条款的非暂态计算机可读存储介质，其中，非线性传递函数的近似包括电光传递函数EOTF的线性近似和EOTF的二阶近似中的至少一者。
4.条款1至3中任一项的非暂态计算机可读存储介质，其中，基于线性颜色值和非线性传递函数来生成第一颜色空间值。
5.条款1至4中任一项的非暂态计算机可读存储介质，还包括计算包括在第二颜色空间值中的第二分量值与包括在第一颜色空间值中的第一分量值之间的第一差，其中，至少一个分量值是根据第一差进行修改的。
6.条款1至5中任一项的非暂态计算机可读存储介质，其中，第一分量值、第二分量值、包括在第一颜色空间值中的第三分量值以及包括在第二颜色空间值中的第四分量值，包括色度值，并且其中，至少一个分量值是基于包括在第一颜色空间值中的色度值和亮度值进行修改的。
7.条款1至6中任一项的非暂态计算机可读存储介质，其中，第一颜色空间值与第二颜色空间值包括4:4:4的Y’CbCr值，并且下取样颜色空间值包括4:2:2的Y’CbCr值和4:2:0的Y’CbCr值中的至少一者。
8.条款1至7中任一项的非暂态计算机可读存储介质，其中，至少一个分量值是基于与非线性传递函数的近似相关联的查找表进行修改的。
9.条款1至8中任一项的非暂态计算机可读存储介质，其中，至少一个分量值是基于非线性颜色空间分量值和颜色空间转换参数进行修改的，并且其中，第一颜色空间值是通过将颜色空间转换参数应用到非线性颜色空间分量值生成的。
10.条款1至9中任一项的非暂态计算机可读存储介质，其中，至少一个分量值是基于以下各项中的至少一个进行修改的：应用于红色值的第一权重、应用于绿色值的第二权重、和应用于蓝色值的第三权重。
11.条款1至10中任一项的非暂态计算机可读存储介质，其中，第一权重对应于对非线性颜色空间亮度的红色贡献，第二权重对应于对非线性颜色空间亮度的绿色贡献，以及第三权重对应于与非线性颜色空间亮度相关联的蓝色贡献值。
12.条款1至11中任一项的非暂态计算机可读存储介质，其中，第一权重对应于对线性颜色空间亮度的红色贡献，第二权重对应于对线性颜色空间亮度的绿色贡献，并且第三权重对应于对线性颜色空间亮度的蓝色贡献。
13.在一些实施例中，一种方法包括：对第一颜色空间值进行下采样，以生成下采样的颜色空间值；对下采样的颜色空间值进行上采样，以生成第二颜色空间值；以及基于非线性传递函数的近似来修改包括在下采样颜色空间值中的至少一个分量值。
14.根据条款13的方法，其中，至少一个分量值是基于包括在第一颜色空间值中的第一分量值和包括在第二颜色空间值中的第二分量值进行修改的，并且至少一个分量值包括至少一个亮度值。
15.条款13-14中任一项的方法，还包括计算包括在第二颜色空间值中的第二分量值与包括在第一颜色空间值中的第一分量值之间的第一差，其中，该至少一个分量值是基于第一差进行修改的。
16.条款13-15中任一项的方法，其中，第一分量值、第二分量值、包括在第一颜色空间值中的第三分量值、以及包括在第二颜色空间值中的第四分量值，包括色度值，并且其中，基于包括在第一颜色空间值中的色度值和亮度值来修改至少一个分量值。
17.条款13-16中任一项的方法，其中，第一颜色空间值和第二颜色空间值包括4:4:4的Y’CbCr值，并且下采样颜色空间值包括4:2:2的Y’CbCr值和4:2:0的Y’CbCr值中的至少一者。
18.条款13-17中任一项的方法，其中，非线性传递函数的近似包括电光传递函数EOTF的线性近似和EOTF的二阶近似中的至少一者。
19.条款13-18中任一项的方法，其中，第一颜色空间值是基于线性颜色值和非线性传递函数生成的。
20.条款13-19中任一项的方法，根据权利要求13的方法，其中，至少一个分量值是基于与非线性传递函数的近似相关联的查找表进行修改的。
21.一种计算设备，包括：存储颜色校正应用的存储器；以及耦合到存储器的处理器，并且当执行颜色校正应用时，被配置为：下采样第一颜色空间值，以生成下采样的颜色空间值；对下采样的颜色空间值进行上采样，以生成第二颜色空间值；以及基于包括在第一颜色空间值中的第一色度值、包括在第二颜色空间值中的第二色度值、以及非线性传递函数的近似来修改包括在下采样的颜色空间值中的至少一个亮度值。
已经出于说明的目的呈现了各种实施例的描述，但是并非旨在穷举或限制到所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显然的
本实施例的各方面可以体现为系统、方法或计算机程序产品。因此，本公开的各方面可以采用完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合了软件和硬件方面的实施例的形式，这些实施例通常在本文可以被称为“模块”或“系统”。此外，本公开的各方面可以采用体现在一个或多个计算机可读介质中的计算机程序产品的形式，该(一个或多个)计算机可读介质具有包含在其上的计算机可读程序代码。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子的、磁的、光学的、电磁的、红外的或半导体系统、装置或设备，或前述的任何适当的组合。计算机可读存储介质的更具体的示例(非穷举列出)将包括以下内容：具有一条或多条导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述内容的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是任何包含或存储由指令执行系统、装置或设备使用的或与指令执行系统、装置或设备结合使用的程序的有形介质。
以上参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应该理解，流程图和/或框图中的每个块以及流程图和/或框图中的块的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机制，使得经由计算机或其他可编程数据处理装置的处理器执行的指令使得在流程图和/或框图的一个或多个块中指定的功能/动作的实现。这些处理器可以是但不限于通用处理器、专用处理器、专用处理器或现场可编程处理器或门阵列。
附图中的流程图和框图图示了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个块可以表示包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令的模块、段或代码部分。还应该注意，在一些替代实施方式中，块中提到的功能可以不按照附图中指出的顺序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以大体上同时执行，或者块有时可以以相反的顺序执行。还将注意到，框图和/或流程图图示的每个块以及框图和/或流程图图示中的块的组合，可以由执行指定的功能或动作的基于专用硬件的系统，或专用硬件和计算机指令的组合来实现。
尽管前面涉及本公开的实施例，但是可以在不脱离本公开的基本范围的情况下设计本公开的其他和进一步的实施例，并且其范围由随后的权利要求确定。

Claims (14)

1.一种包括指令的非暂态计算机可读存储介质，当该指令由处理器执行时，使所述处理器执行以下步骤：
对第一颜色空间值进行下采样，以生成下采样的颜色空间值；
对所述下采样的颜色空间值进行上采样，以生成第二颜色空间值；
计算包括在所述第二颜色空间值中的相应的第二分量值与包括在所述第一颜色空间值中的第一分量值之间的第一差；以及
基于所述第一差、以及非线性传递函数的近似，来修改包括在所述下采样的颜色空间值中的至少一个分量值。
2.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述至少一个分量值包括至少一个亮度值。
3.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述非线性传递函数的近似包括电光传递函数EOTF的线性近似和所述EOTF的二阶近似中的至少一者。
4.根据权利要求1所述的非暂态计算机可读存储介质，其中，基于线性颜色值和所述非线性传递函数来生成所述第一颜色空间值。
5.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述第一分量值、所述相应的第二分量值、包括在所述第一颜色空间值中的第三分量值、以及包括在所述第二颜色空间值中的相应的第四分量值，包括色度值，并且其中，所述至少一个分量值是基于包括在所述第一颜色空间值中的所述色度值和亮度值进行修改的。
6.根据权利要求5所述的非暂态计算机可读存储介质，其中，所述第一颜色空间值与所述第二颜色空间值包括4:4:4的Y’CbCr值，以及所述下采样的颜色空间值包括4:2:2的Y’CbCr值和4:2:0的Y’CbCr值中的至少一者。
7.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述至少一个分量值是基于与所述非线性传递函数的近似相关联的查找表进行修改的。
8.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述至少一个分量值是基于非线性颜色空间分量值和颜色空间转换参数进行修改的，并且其中，所述第一颜色空间值是通过将所述颜色空间转换参数应用到所述非线性颜色空间分量值生成的。
9.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述至少一个分量值是基于以下各项中的至少一个进行修改的：应用于红色值的第一权重、应用于绿色值的第二权重、和应用于蓝色值的第三权重。
10.根据权利要求9所述的非暂态计算机可读存储介质，其中，所述第一权重对应于对非线性颜色空间亮度的红色贡献，所述第二权重对应于对所述非线性颜色空间亮度的绿色贡献，以及所述第三权重对应于与所述非线性颜色空间亮度相关联的蓝色贡献值。
11.根据权利要求9所述的非暂态计算机可读存储介质，其中，所述第一权重对应于对线性颜色空间亮度的红色贡献，所述第二权重对应于对所述线性颜色空间亮度的绿色贡献，并且所述第三权重对应于对所述线性颜色空间亮度的蓝色贡献。
12.一种方法，包括：
对第一颜色空间值进行下采样，以生成下采样的颜色空间值；
对所述下采样的颜色空间值进行上采样，以生成第二颜色空间值；
计算包括在所述第二颜色空间值中的相应的第二分量值与包括在所述第一颜色空间值中的第一分量值之间的第一差；以及
基于所述第一差、以及非线性传递函数的近似来修改包括在所述下采样颜色空间值中的至少一个分量值。
13.根据权利要求12所述的方法，其中，所述至少一个分量值包括至少一个亮度值。
14. 一种计算设备，包括：
存储颜色校正应用的存储器；以及
耦合到所述存储器的处理器，并且当运行所述颜色校正应用时，被配置为：
下采样第一颜色空间值，以生成下采样的颜色空间值；
对所述下采样的颜色空间值进行上采样，以生成第二颜色空间值；
计算包括在所述第二颜色空间值中的相应的第二分量值与包括在所述第一颜色空间值中的第一分量值之间的第一差；以及
基于所述第一差、以及非线性传递函数的近似来修改包括在所述下采样的颜色空间值中的至少一个亮度值。
CN201680078398.8A 2015-11-09 2016-11-09 用于高动态范围颜色转换校正的介质、方法和设备 Active CN108476325B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562253098P 2015-11-09 2015-11-09
US62/253,098 2015-11-09
US201562256080P 2015-11-16 2015-11-16
US62/256,080 2015-11-16
US15/179,857 US10080005B2 (en) 2015-11-09 2016-06-10 High dynamic range color conversion correction
US15/179,857 2016-06-10
PCT/US2016/061190 WO2017083426A1 (en) 2015-11-09 2016-11-09 High dynamic range color conversion correction

Publications (2)

Publication Number Publication Date
CN108476325A CN108476325A (zh) 2018-08-31
CN108476325B true CN108476325B (zh) 2021-01-26

Family

ID=58668130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078398.8A Active CN108476325B (zh) 2015-11-09 2016-11-09 用于高动态范围颜色转换校正的介质、方法和设备

Country Status (12)

Country Link
US (2) US10080005B2 (zh)
EP (1) EP3375190B1 (zh)
JP (1) JP6719572B2 (zh)
KR (1) KR102054092B1 (zh)
CN (1) CN108476325B (zh)
AU (2) AU2016352896B2 (zh)
BR (1) BR112018009432B1 (zh)
CA (1) CA3004769C (zh)
DK (1) DK3375190T3 (zh)
MX (1) MX2018005859A (zh)
SG (1) SG11201803876UA (zh)
WO (1) WO2017083426A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080005B2 (en) 2015-11-09 2018-09-18 Netflix, Inc. High dynamic range color conversion correction
US10742986B2 (en) 2015-11-09 2020-08-11 Netflix, Inc. High dynamic range color conversion correction
US10715772B2 (en) 2015-11-09 2020-07-14 Netflix, Inc. High dynamic range color conversion correction
JP2019047223A (ja) * 2017-08-30 2019-03-22 シャープ株式会社 変換装置、変換方法、表示装置、プログラム、および記録媒体
WO2019071046A1 (en) * 2017-10-04 2019-04-11 Netflix, Inc. HIGH DYNAMIC RANGE OF COLOR CONVERSION CORRECTION
WO2019071045A1 (en) * 2017-10-04 2019-04-11 Netflix, Inc. HIGH DYNAMIC RANGE COLORING CORRECTION
CN111434114A (zh) 2017-12-01 2020-07-17 交互数字Vc控股公司 处理图像
US10832613B2 (en) 2018-03-07 2020-11-10 At&T Intellectual Property I, L.P. Image format conversion using luminance-adaptive dithering
EP3591955A1 (en) * 2018-07-06 2020-01-08 InterDigital VC Holdings, Inc. Method of processing data by an iterative application of a same lut

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888743A (zh) * 2011-04-15 2014-06-25 杜比实验室特许公司 编码、解码和表现高动态范围图像

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154557B2 (en) * 2003-02-11 2006-12-26 Texas Instruments Incorporated Joint pre-/post-processing approach for chrominance mis-alignment
AU2005269370B2 (en) 2004-07-29 2010-07-29 Microsoft Technology Licensing, Llc Image processing using linear light values and other image processing improvements
US7843465B1 (en) * 2007-05-31 2010-11-30 Zoran Corporation Method and apparatus for mapping a multi-dimensional signal from one space to another space
US8089670B2 (en) * 2007-12-20 2012-01-03 Xerox Corporation Method for upsampling color correction tables, an apparatus for creating an upsampled color corretion table, and a program for upsampling color correction tables
CN103747162B (zh) * 2013-12-26 2016-05-04 南京洛菲特数码科技有限公司 一种用于外置拼接器或混合矩阵的图像采样方法
CN103714570A (zh) * 2013-12-30 2014-04-09 四川九洲电器集团有限责任公司 一种通过粗采样深度值加速粒子渲染算法
CA2943216A1 (en) * 2014-03-19 2015-09-24 Arris Enterprises Llc Scalable coding of video sequences using tone mapping and different color gamuts
DK3257042T3 (da) 2015-02-13 2022-08-01 Ericsson Telefon Ab L M Pixel-forbehandling og -kodning
CN107211128B (zh) * 2015-03-10 2021-02-09 苹果公司 自适应色度下采样和色彩空间转换技术
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
US20170118489A1 (en) * 2015-10-23 2017-04-27 Broadcom Corporation High Dynamic Range Non-Constant Luminance Video Encoding and Decoding Method and Apparatus
US10080005B2 (en) 2015-11-09 2018-09-18 Netflix, Inc. High dynamic range color conversion correction
AU2015275320A1 (en) 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888743A (zh) * 2011-04-15 2014-06-25 杜比实验室特许公司 编码、解码和表现高动态范围图像

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于色彩感知的无参考图像质量评价;李俊峰1，方建良1，戴文战2;《仪器仪表学报》;20150228;全文 *

Also Published As

Publication number Publication date
MX2018005859A (es) 2018-11-12
US10750146B2 (en) 2020-08-18
US20170134703A1 (en) 2017-05-11
CA3004769C (en) 2020-08-04
JP2018537056A (ja) 2018-12-13
BR112018009432B1 (pt) 2023-12-26
CA3004769A1 (en) 2017-05-18
AU2016352896B2 (en) 2019-07-04
US10080005B2 (en) 2018-09-18
WO2017083426A1 (en) 2017-05-18
AU2019240705A1 (en) 2019-10-24
BR112018009432A2 (pt) 2018-12-04
US20190014297A1 (en) 2019-01-10
KR20180084861A (ko) 2018-07-25
SG11201803876UA (en) 2018-06-28
DK3375190T3 (da) 2022-10-03
EP3375190B1 (en) 2022-08-17
KR102054092B1 (ko) 2019-12-09
EP3375190A1 (en) 2018-09-19
CN108476325A (zh) 2018-08-31
JP6719572B2 (ja) 2020-07-08
AU2016352896A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
CN108476325B (zh) 用于高动态范围颜色转换校正的介质、方法和设备
US11265559B2 (en) High dynamic range image/video coding
JP6312775B2 (ja) エンハンストダイナミックレンジ信号の階層符号化のための適応的再構成
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
CN107615761B (zh) 用于像素处理和编码的方法、设备和计算机可读介质
JP5608245B2 (ja) イメージエンコーダ、イメージデコーダ、符号化されたイメージデータを提供するための方法、イメージデータを復号化するための方法およびコンピュータプログラム
EP2774370A1 (en) Layer decomposition in hierarchical vdr coding
US10742986B2 (en) High dynamic range color conversion correction
TWI573443B (zh) 使用顯著圖之視訊編碼技術
JP7384974B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
CN114556910A (zh) 一种视频信号处理方法及装置
Hanhart et al. Evaluation of JPEG XT for high dynamic range cameras
US20220295020A1 (en) Electro-optical transfer function conversion and signal legalization
US10715772B2 (en) High dynamic range color conversion correction
WO2019071045A1 (en) HIGH DYNAMIC RANGE COLORING CORRECTION
WO2019071046A1 (en) HIGH DYNAMIC RANGE OF COLOR CONVERSION CORRECTION
KR20200063058A (ko) 밝기 적응적 광전/전광 변환을 위한 방법 및 장치
KR20170058855A (ko) 픽셀의 정보를 이용한 적응적인 영상 변환 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant