CN114175647A - 电光传递函数转换和信号合法化 - Google Patents

电光传递函数转换和信号合法化 Download PDF

Info

Publication number
CN114175647A
CN114175647A CN202080054727.1A CN202080054727A CN114175647A CN 114175647 A CN114175647 A CN 114175647A CN 202080054727 A CN202080054727 A CN 202080054727A CN 114175647 A CN114175647 A CN 114175647A
Authority
CN
China
Prior art keywords
electro
transfer function
function
optical transfer
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054727.1A
Other languages
English (en)
Inventor
苏冠铭
H·卡杜
N·J·加德吉尔
宋青
李允荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN114175647A publication Critical patent/CN114175647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

一种设备包括电子处理器，所述电子处理器被配置为根据第一颜色空间的第一颜色表示中的第一电光传递函数(EOTF)从根据接收到的视频数据确定的样本像素集合定义第一样本像素集合；经由映射函数将所述第一样本像素集合转换到第二EOTF，从而产生根据所述第二EOTF的第二样本像素集合；将所述第一样本像素集合和所述第二样本像素集合从所述第一颜色表示转换到所述第一颜色空间的第二颜色表示；通过重复应用和调整样本后向整形函数以最小化通过将所述样本后向整形函数应用于转换后的第一集合中的像素和转换后的第二集合中的像素而获得的预测像素值之间的差异来确定后向整形函数。

Description

电光传递函数转换和信号合法化
相关申请的交叉引用
本申请要求于2019年7月30日提交的美国临时专利申请号62/880,266和2019年7月30日提交的欧洲专利申请号19189052.4的优先权，所述专利申请中的每一个均通过引用以其全文特此并入。
背景技术
技术领域
本申请总体上涉及高动态范围视频(HDR)的视频信号转换。
相关技术描述
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度范围(例如光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为该术语可以在任一意义上例如可互换地使用。
如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，EDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR可能稍微窄一些，但EDR可以表示宽DR阔度并且也可以被称为HDR。
实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用线性光亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可以被视为增强动态范围的图像。
给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，ITURec.ITU-R BT.1886基于阴极射线管(CRT)的测量特性定义了平板显示器的参考EOTF。在给定了视频流的情况下，关于其EOTF的信息通常作为元数据嵌入比特流中。如本文所使用的，术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。在本文中，BT.1886、Rec.2020、BT.2100等是指由国际电信联盟(ITU)颁布的HDR视频的各个方面的定义集。
大多数消费者桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费者HDTV的范围从300到500尼特，其中，一些型号达到1000尼特(cd/m2)。因此，这种传统显示器代表了与HDR或EDR相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的HDR显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000尼特)的替代EOTF来定义。这种EOTF的示例在SMPTE ST 2084:2014“High Dynamic Range EOTF of Mastering Reference Displays[母版制作参考显示器的高动态范围EOTF]”中被定义。总体上，非限制性地，本公开的方法涉及任何动态范围。
如本文所使用的，术语“前向整形”表示将图像从其原始位深度和编码格式(例如，伽马或SMPTE 2084)映射(或量化)到较低或相同位深度和不同编码格式的图像的过程，所述过程允许使用编码方法(如AVC、HEVC等)来改进压缩。在接收器中，在解压缩整形后的信号之后，接收器可以应用逆整形函数来将信号恢复到其原始高动态范围。接收器可以接收作为查找表(LUT)或参数形式的后向整形函数，例如，作为函数的多段多项式近似值的系数。
在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。
发明内容
本公开的各个方面涉及用于改进的电光传递函数转换、信号合法化和后向整形函数的系统和方法。
在本公开的一个示例性方面，提供了一种设备。所述设备包括电子处理器。所述设备用于确定用于在目标显示器上渲染视频的后向整形函数。
所述电子处理器被配置为从接收到的视频数据来确定样本像素集合；根据第一颜色空间的第一颜色表示中的第一电光传递函数从所述样本像素集合定义第一样本像素集合；经由映射函数将所述第一样本像素集合转换到所述第一颜色空间的第一颜色表示中的第二电光传递函数，从而从所述第一样本像素集合产生根据所述第二电光传递函数的第二样本像素集合；将所述第一样本像素集合和所述第二样本像素集合从所述第一颜色表示转换到所述第一颜色空间的第二颜色表示；以及基于转换后的第一样本像素集合和转换后的第二样本像素集合来确定后向整形函数。所述电子处理器被配置为通过重复应用和调整样本后向整形函数以最小化通过将所述样本后向整形函数应用于所述转换后的第一样本像素集合中的像素和所述转换后的第二样本集合中的像素而获得的预测像素值之间的差异来确定所述后向整形函数。
在本公开的另一示例性方面中，所述设备可以实施为一种方法或用所述方法实施，所述方法用于转换信号和/或非暂态计算机可读介质，所述非暂态计算机可读介质存储有指令，所述指令在由计算机的处理器执行时使计算机执行操作。
本公开的各个方面可以提供转换速度、转换效率、转换准确性等方面的改进。以这种方式，本公开的各个方面提供了图像的转换，并且提供了在至少HDR-TV图像渲染、信号处理等技术领域中的改进。
附图说明
附图和以下详细说明一起并入说明书并形成说明书的一部分，并且用于进一步说明方面并解释那些方面的各种原理和优点，在附图中相同附图标记在各个视图中指代相同或功能上类似的元件。
图1A是根据本公开的各个方面的视频传输流水线的示例性过程。
图1B是根据本公开的各个方面的内容自适应整形的示例性过程。
图2A是图示了根据本公开的各个方面的示例预测算法的输出的曲线图。
图2B是图示了根据本公开的各个方面的示例预测算法的输出的曲线图。
图2C是图示了根据本公开的各个方面的示例预测算法的输出的曲线图。
图3A是基于根据本公开的各个方面生成的预测函数来确定过程的示例性后向整形函数的过程流程图。
图3B是基于根据本公开的各个方面生成的预测函数来确定过程的示例性后向整形函数的过程流程图。
图3C是基于根据本公开的各个方面生成的预测函数来确定过程的示例性后向整形函数的过程流程图。
图3D是基于根据本公开的各个方面生成的预测函数来确定成像过程的示例性后向整形函数的过程流程图。
图4是图示了根据本公开的各个方面来确定后向整形函数的示例性方法的流程图。
图5A是根据本公开的各个方面的信号合法化的示例性分段方程的曲线图。
图5B是根据本公开的各个方面的信号合法化的示例性近似S形(sigmoid)曲线的曲线图。
图6是根据本公开的各个方面的能够实施图4的过程的示例性处理设备的框图。
技术人员应当理解，附图中的元件是为了清楚起见而图示的，并且不一定按比例绘制。例如，附图中的一些元件的尺寸可能相对于其他元件而被放大，以有助于改善对本公开的各方面的理解。
在适当的情况下，装置和方法部件已经由附图中的符号表示，仅示出了与理解本公开的各方面相关的那些具体细节，以免因对受益于本文的描述的本领域普通技术人员显而易见的细节而模糊本公开。
具体实施方式
概述
此概述介绍了对本公开的一些方面的基本描述。应当注意的是，此概述不是对本公开的各方面的广泛或详尽总结。此外，应当注意的是，此概述不旨在被理解为确认本公开的任何特别重要的方面或要素，也不旨在被理解为特别地描绘各方面的任何范围，也不是概括地描绘本公开。此概述仅以压缩和简化的格式介绍与示例方面相关的一些概念，并且应当被理解为仅仅是以下各方面的更详细说明的概念性前奏。注意，尽管本文讨论了单独的方面，但是本文讨论的方面和/或部分方面的任何组合都可以组合。
如本文所描述的技术可以用于最小化视频应用中对存储器带宽、数据速率和/或计算复杂性的要求，所述视频应用可以包括视频内容的显示和/或(多个)视频流服务器与(多个)视频流客户端之间的视频内容流式传输。
如本文所描述的视频应用可以指以下各项中的任何一项或多项：视频显示应用、虚拟现实(VR)应用、增强现实(AR)应用、汽车娱乐应用、远程呈现应用、显示应用等。示例视频内容可以包括但不限于以下各项中的任何一项或多项：视听节目、电影、视频节目、TV广播、计算机游戏、AR内容、VR内容、汽车娱乐内容等。
示例视频流客户端可以包括但不必限于以下各项中的任何一项或多项：显示设备、具有近眼显示器的计算设备、头戴式显示器(HMD)、移动设备、可穿戴显示设备、具有如电视等显示器的机顶盒、视频监视器等。
如本文所使用的，“视频流服务器”可以指准备全向视频内容并且将全向视频内容流式传输至一个或多个视频流客户端以便将全向视频内容的至少一部分(例如，与用户的视野或视口等相对应的部分)渲染在一个或多个显示器上的一个或多个上游设备。全向视频内容被渲染在其上的显示器可以是所述一个或多个视频流客户端的一部分，或者可以与所述一个或多个视频流客户端一起操作。
示例视频流服务器可以包括但不必限于以下各项中的任何一项：远离(多个)视频流客户端定位的基于云的视频流服务器、通过本地有线或无线网络与(多个)视频流客户端连接的本地视频流服务器、VR设备、AR设备、汽车娱乐设备、数字媒体设备、数字媒体接收器、机顶盒、游戏机(例如，Xbox(TM))、通用个人计算机、平板计算机、如苹果TV(TM)或罗库(Roku)(TM)盒等专用数字媒体接收器等。
本公开及其方面可以以各种形式实施，包括：由计算机实施的方法控制的硬件或电路、计算机程序产品、计算机系统和网络、用户接口和应用编程接口；以及硬件实施的方法、信号处理电路、存储器阵列、专用集成电路、现场可编程门阵列等。前述概述仅旨在给出本公开的各个方面的一般思想，并且不以任何方式限制本公开的范围。
在本公开的一些方面中，本文所描述的机制形成媒体处理系统的一部分，所述媒体处理系统包括但不限于以下各项中的任何一项或多项：基于云的服务器、移动设备、虚拟现实系统、增强现实系统、抬头显示设备、头盔式显示设备、CAVE式系统、墙壁大小的显示器、视频游戏设备、显示设备、媒体播放器、媒体服务器、媒体制作系统、相机系统、基于家庭的系统、通信设备、视频处理系统、视频编解码器系统、制作室系统、流媒体服务器、基于云的内容服务系统、手持式设备、游戏机、电视机、影院显示器、膝上型计算机、笔记本计算机、平板计算机、蜂窝无线电话、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机服务器、计算机亭(kiosk)、或各种其他类型的终端和媒体处理单元。为了便于描述，本文所呈现的一些或所有示例系统用其每个部件部分的单个示例来说明。一些示例可能没有描述或说明系统的所有部件。本公开的其他方面可以包括更多或更少的每个所图示的部件，可以组合一些部件，或者可以包括附加的或替代性部件。
示例视频传输处理流水线
图1A描绘了视频传输流水线100A的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成框105来捕获或生成视频帧102序列。视频帧102可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据107。替代性地，视频帧102可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据107。在制作阶段110，对视频数据107进行编辑以提供视频制作流112。
制作流的视频数据112然后在框115处被提供给处理器以进行后期制作编辑。框115后期制作编辑可以包括调整或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(colortiming)”或“颜色分级(color grading)”。可以在框115处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本117。在后期制作编辑115期间，在参考显示器125上观看视频图像。
在后期制作115之后，可以将最终作品117的视频数据传输到编码框120，以便向下游传输到如电视机、机顶盒、电影院等解码和回放设备。在一些方面，编码框120可以包括用于生成编码比特流122的音频编码器和视频编码器，如由ATSC、DVB、DVD、蓝光和其他传输格式定义的那些音频编码器和视频编码器。在接收器中，编码比特流122由解码单元130解码，以生成表示信号117的相同或接近近似版本的经解码信号132。接收器可以附接到目标显示器140，所述目标显示器可以具有与参考显示器125完全不同的特性。在这种情况下，显示管理框135可以用于通过生成显示映射信号137来将经解码信号132的动态范围映射到目标显示器140的特性。
附加地、可选地或替代性地，编码比特流122进一步用图像元数据进行编码，所述图像元数据包括但不限于后向整形数据，所述后向整形数据可以由下游解码器用来对信号117执行后向整形，以便生成可以优化以在HDR显示设备上进行渲染的与目标HDR图像相同或相似的经后向整形的图像。在本公开的一些方面，可以使用实施逆色调映射、逆显示管理等的一个或多个转换工具从信号117生成目标HDR图像。
在本公开的一些方面，可以在后期制作编辑115处从视频数据112直接生成目标HDR图像。在后期制作编辑115期间，由正在对目标HDR图像执行后期制作编辑操作的同一或不同调色师在支持高动态范围的第二参考显示器(未示出)上查看目标HDR图像。
信号整形
目前，用于视频传输的许多数字接口(如串行数字接口(SDI))限于每部件每像素12位。此外，许多压缩标准(如H.264(或AVC)和H.265(或HEVC))限于每部件每像素10位。因此，在现有基础设施和压缩标准内，需要高效编码和/或量化来支持动态范围从大约0.001到10,000cd/m2(或尼特)的HDR内容。
如本文所使用的术语“PQ”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在本公开的各方面，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在SMPTE ST 2084:2014“High Dynamic RangeEOTF of Mastering Reference Displays[母版制作参考显示器的高动态范围EOTF]”中描述了PQ映射函数的示例，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该光亮度水平处的最小可见对比度步长。例如，与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可能与人类视觉系统响应方式极大致相似的传统伽马曲线相比，PQ曲线会使用相对简单的函数模型模仿人类视觉系统的真实视觉反应。
图1B描绘了根据本公开的方面的内容自适应整形的示例过程100B。如与图1A相比，给定相同附图标记的项可以指代相同的元件。在给定了输入帧117的情况下，前向整形框150分析输入约束和编码约束，并生成将输入帧117映射到重新量化的输出帧152的码字映射函数。例如，根据某些EOTF，输入117可以是伽马编码的或PQ编码的。在本公开的一些方面，可以使用元数据将关于整形过程的信息传送至下游设备(如解码器)。在编码120之后，解码130内的帧可以通过将帧122转换回EOTF域(例如，伽马或PQ)的后向整形函数来处理以供进一步的下游处理，如前面讨论的显示管理过程135。
如上文所提及的，后向整形函数被理想地配置为使得产生的经后向整形的图像与可以优化以在显示设备上渲染的目标(例如，HDR)图像相同或近似。换句话说，在显示设备上产生的图像的质量取决于后向整形函数的准确性。
后向整形优化-最小均方误差预测器
在以下部分中，描述了后向整形函数的优化。在图1A的系统中，利用累积密度函数(CDF)匹配来构建亮度信号通道预测器。如美国专利号10,264,287中所描述的，基于从一个或多个SDR图像中的SDR码字的分布生成的SDR直方图来构建SDR CDF，所述美国专利通过引用以其全文并入本文。类似地，基于从与一个或多个SDR图像相对应的一个或多个HDR图像中的HDR码字的分布生成的HDR直方图来构建HDR CDF。然后，基于SDRCDF和HDRCDF来生成直方图传递函数。然后，可以使用直方图传递函数来确定后向整形元数据，以便确定后向整形函数。
当色度通道信息干扰亮度通道时，CDF中可能出现错误。因此，可以使用最小化均方误差(MMSE)预测器来最小化每个光亮度范围的预测误差(根据均方误差或MSE)。
尽管MMSE预测器是MSE方面的一种解决方案，但是所述预测器并不能保证单调非减性质。为了避免由非单调非减性质产生的任何伪影，经由MMSE预测器的CDF匹配来强制执行单调非减。还应用最终曲线平滑来确保曲线是平滑的。
首先，将源信号定义为sij并且将参考信号定义为rij(其中，i是帧索引j处的像素位置)并且将源信号和参考信号的比特深度分别定义为Bs和Br，对于每个源信号仓b，通过求具有仓b中的值的源信号集合(表示为Φb，j)，求从同一源信号仓映射的参考信号的平均值。非限制性地，作为示例，仓的数量可以被设置为信号中的总码字(例如2Bs)；然而，在其他实施例中，为了降低计算复杂性，可以选择更少数量的仓。已知
Φb，j＝{i|sii＝＝b}， (1)
平均值表示为：
Figure BDA0003493294060000081
映射tb，j＝fj MMSE(b)是MMSE预测器。图2A中示出了所得MMSE预测的示例(200A)。
后向整形优化-单调非减
如果单独使用MMSE预测器，则映射不是单调非减的。如图2A中所图示的，具有较大仓索引的一些仓的映射值比来自较小仓索引的映射值小。换句话说，在非单调非减曲线中，对于两个仓可以观察到：
Figure BDA0003493294060000091
为了避免伪影(由上述性质产生)，单调非减(MND)曲线对于所有仓应该具有以下性质：
Figure BDA0003493294060000092
如美国专利号10,264,278中所描述的，通过利用基于SDR直方图的累积密度函数(CDF)和基于HDR直方图的CDF，CDF匹配生成后向整形函数(或BLUT)。在实施例中，为了构建CDF，仍然可以使用源信号的SDR直方图；然而，可以通过使用方程(2)的MMSE预测函数来构建HDRCDF。例如，在给定了SDR直方图的情况下，使用MMSE预测函数将SDR直方图的每个元素映射到HDR直方图以确定直方图传递函数。给定了两个直方图的情况下，CDF的构建和CDF匹配算法的其余部分仍然与美国专利序列号10,264,278类似。来自该CDF匹配算法的输出BLUT也将满足方程(4)的MND性质。
使用最终映射表
Figure BDA0003493294060000094
在应用MND(应用于图2A中所示的曲线)之后，结果曲线在图2B的曲线图200B中示出。
后向整形优化-曲线平滑
CDF匹配可以确保MND；然而，映射函数需要足够平滑以使其可以用8段2阶多项式来近似。因此，对该曲线应用平滑滤波器，如下所示。
首先，设置了码字b(分别为bu和bl)的移动平均值的上限和下限，其中，n是整体滤波器抽头的一半。
bu＝min(b+n，bmax+1) (5)
bl＝max(b-n，bmin-1) (6)
然后应用第一移动平均值。
Figure BDA0003493294060000093
然后应用第二移动平均值。
Figure BDA0003493294060000101
注意，对于10位信号，n的值可以是4。如图2C中所示，曲线图200C中所示的结果曲线比图2B的先前曲线更平滑，使得更容易使用8段2阶多项式对所述结果曲线进行建模。
MMSE预测器可以应用于前向整形路径或后向整形路径。MMSE预测器也可以应用于各种EOTF，而不仅仅是HLG到PQ。
后向整形优化-BLUT相似度加权平滑
每个视频帧的亮度后向整形函数需要在时域中进行平滑处理，以防止场景内连续视频帧中突然的、意外的强度变化/视觉闪烁。场景剪切感知向后查找表(BLUT)平滑可以用于减轻闪烁。然而，由于自动场景剪切检测器的缺陷，在自动检测到的场景剪切实例中仍然可能出现视觉闪烁问题。因此，需要不受虚假场景剪切检测影响的平滑机制。因为相邻BLUT的差异已经表明了不同的内容，所以本文所描述的过程对具有类似形状的BLUT进行平均并且排除具有不同趋势的BLUT。换句话说，利用BLUT相似度加权平均值来解决这种时间稳定性问题。
将Tj定义为帧在j处的非平滑BLUT，帧j的第b个SDR亮度码字处的归一化HDR码字值
Figure BDA0003493294060000102
NS是SDR码字的总数。考虑用于平滑Tj的中心帧j([j-M，j+M])的每一侧(总共2M+1个帧)的M个帧的对称窗口，令
Figure BDA0003493294060000103
为j处的帧的平滑输出BLUT。
BLUT相似度是根据每个第j帧的每个SDR码字b处的归一化平方差来测量的，其中，整数m∈[j-M，j+M]。相对于j处的中心帧将第m帧的BLUT在第b码字处的BLUT相似度定义为
Figure BDA0003493294060000104
所得定义是：
Figure BDA0003493294060000105
注意，
Figure BDA0003493294060000106
依赖于内容的加权因子
Figure BDA0003493294060000107
被用作BLUT相似度的乘数，并且由第j帧
Figure BDA0003493294060000108
的SDR图像直方图针对每个第b码字确定，如下所示：
Figure BDA0003493294060000109
在上述示例中，取直方图的对数，使得直方图值的范围小于每个码字的实际像素数的范围。取对数时加1确保任何直方图的加权因子保持有限。
为了平滑第j帧的BLUT，使用每个第m帧BLUT的权重，其中，m来自其时间邻域[j-M，j+M]。例如，可以基于直方图和BLUT差异两者将权重计算为指数项或高斯项。用于平滑第j帧BLUT的第m帧BLUT的权重wj，m计算为：
Figure BDA0003493294060000111
其中，γ是根据经验确定使得平滑适当地起作用的常数(例如，130)。因此，权重特定于一个帧并且对于该帧中的所有码字是相同的。
使用权重wj，m作为每个
Figure BDA0003493294060000112
的乘数，使得m∈[j-M，j+M]，中心帧j的平滑BLUT
Figure BDA0003493294060000113
计算为
Figure BDA0003493294060000114
在一些方面，十二个帧(M＝12)用于BLUT平滑。第j帧的所得BLUT用于下一个曲线拟合过程。
多变量多元回归(MMR)优化
在视频处理中，可以实施多颜色通道MMR预测器，所述多颜色通道MMR预测器允许使用其第二动态范围的对应的增强动态范围信号和多元MMR运算符(例如，美国专利号8,811,490中所描述的预测器，所述美国专利号通过引用以其全文并入本文)来预测第一动态范围的输入信号。所得数据可以用于确定后向整形函数。下面描述了为MMR预测器选择预测参数(MMR系数)的过程。在从每个像素收集颜色映射对或作为3D映射表之后，通过最小二乘法求解MMR系数。从源图像到参考图像的映射表示如下：
Figure BDA0003493294060000115
其中
Figure BDA0003493294060000121
和
Figure BDA0003493294060000122
分别表示映射表中第k条目的平面Y、C0和C1的源值，
Figure BDA0003493294060000123
和
Figure BDA0003493294060000124
分别表示映射表中第k条目的平面Y、C0和C1的参考映射值。注意，K是映射表中的总条目。
使用平均参考色度值构建两个向量。
Figure BDA0003493294060000125
Figure BDA0003493294060000126
使用源值构建矩阵。
Figure BDA0003493294060000127
其中，pk T＝[1 s0 Y s0 C0 s0 C1 s0 Y·s0 C0 s0 Y·s0 C1 s0 Y·s0 C0·s0 C1...]包含MMR预测器支持的所有项。
通过解决以下优化问题来计算MMR：
Figure BDA0003493294060000128
Figure BDA0003493294060000129
其中，xC0和xC0分别是C0和C1的MMR系数。
表示：
A＝STS (19)
Figure BDA00034932940600001210
Figure BDA00034932940600001211
可以通过解决线性问题来计算MMR系数：
Figure BDA0003493294060000131
Figure BDA0003493294060000132
当A矩阵接近奇异时(上文的线性问题是病态性的)，可能出现问题。为了获得病态性问题的稳定解决方案，可以应用以下方法。
多变量多元回归优化-高斯消元
MMR系数可以通过以下求解：
Figure BDA0003493294060000133
Figure BDA0003493294060000134
然而，计算A的逆矩阵可能很耗时。一种解决方案是应用高斯消元。
在高斯消元期间，A矩阵被转换为其上三角形式。然后应用回代来求解MMR系数。当A矩阵的一些(多个)行接近一些其他行的线性组合时，A矩阵接近奇异。这意味着对应的(多个)MMR项与一些其他MMR项接近线性相关。去除这些项将使问题得到更好的条件化，从而产生更稳定的解决方案。
矩阵A、向量bC0和bC1表示如下，其中，P是MMR项的总数。
Figure BDA0003493294060000135
Figure BDA0003493294060000136
Figure BDA0003493294060000137
为了便于描述，以下过程按照C0进行描述。应当注意的是，C1可以类似地处理。以下消元参照以下矩阵进行描述：
Figure BDA0003493294060000141
如表1中更详细描述的，如果|am，m|≤ε，其中，ε是小阈值，则行m和列m将被忽略，这相当于从方程组中去除第m个MMR项(例如，集合
Figure BDA0003493294060000142
)和第m个方程，否则求解器继续消去该行的剩余部分。在一些方面，预定阈值ε为大约1e-6。然后应用回代来求解上文的方程(22)的
Figure BDA0003493294060000143
以便利用预定阈值ε来计算MMR系数。因此，线性问题A·xC0＝bC0和A·xC1＝bC1使用有效的MMR项来求解，而无效项的系数将为零。在上文描述的高斯消元过程期间，去除了MMR项的线性相关性，使得解决方案相对稳定。表1中描绘了伪代码示例过程。
表1：稳定高斯求解器的示例伪代码
Figure BDA0003493294060000144
Figure BDA0003493294060000151
EOTF转换-全数据点优化
图3A是图示了由控制器600实施的EOTF转换过程的过程图300A，所述控制器将在下文参考图6更详细地描述。下文结合图4描述图300A，图4是图示了用于确定视频转换(具体地，从第一EOTF到另一EOTF的转换)的后向整形函数的方法400的流程图。以下段落将描述从混合对数伽马(HLG)信号到感知量化器(PQ)信号(具体地，1,000尼特的HLG Rec.2020到1,000尼特的PQ Rec.2020)的示例EOTF转换。然而，应当理解，所述系统不一定限于这些特定类型的信号之间的转换。
首先，在框410处，控制器600根据来自颜色网格的合成的数据(例如，接收到的视频数据)来确定第一样本点集合。具体地，从合成的数据(例如，图1A的视频117)收集样本点(像素)集合，在图3A中表示为Φ。在本文件中，术语“样本点”和“样本像素”可以互换地使用来表示同一事物。样本点集合Φ是通过首先用M个样本和归一化域中的第i个点(i∈[0，M-1])构建1D采样阵列qi来定义的，如下所示，其中，i表示像素位置。
Figure BDA0003493294060000161
然后，使用1D阵列qi在3D空间中构建3D样本点，在下文中表示为3D阵列qijk，其中，j和k分别是像素的帧索引和深度。
qijk＝(qi，qj，qk) (27)
因此，样本点集合Φ是在3D空间{qijk}中收集的样本点。
返回到图4，在框415处，控制器600根据第一颜色空间的第一颜色表示中的第一电光传递函数从样本点集合定义第一样本点集合。例如，在框302(图3A)处，根据电光传递函数，样本点集合Φ被视为(或被定义为)Rec.2020颜色空间(RGB)中的HLG 1000尼特，表示为ΦHLG，RGB，R2020。注意，这里Φ中的值不变。在图4的框420处，处理器600经由映射函数将根据第一电光传递函数的第一样本点集合转换到第一颜色空间的第一颜色表示中的第二电光传递函数，从而产生根据第二电光传递函数的第二样本点集合。例如，如图3A的框304中所示，样本点集合ΦHLG，RGB，R2020经由ITU-RBT.2100转换到Rec.2020PQ 1000尼特RGB点，结果表示为ΦPQ，RGB，R2020(框306)。
在一些方面，在框425处，控制器600将根据第一电光传递函数的第一样本像素(点)集合和根据第二电光传递函数的第二样本像素(点)集合转换到第一颜色空间的第二颜色表示。例如，在本示例中，为了获得后向整形函数，样本点在同一颜色空间Rec.2020中从RGB颜色表示转换到YCbCr颜色表示。这里，经处理的样本像素(点)集合ΦHLG，RGB，R2020和ΦPQ，RGB，R2020两者从第一颜色表示RGB转换到同一颜色空间Rec.2020的第二颜色表示YCbCr(分别为图3A的框308和310)。对于样本像素(点)集合ΦHLG，RGB，R2020，Rec.2020HLG YCbCr像素(点)被定义为
Figure BDA0003493294060000171
并且整个样本像素(点)集合被定义为ΦHLG，YCbCr，R2020(框312)。
对于经处理的样本点集合ΦPQ，RGB，R2020，Rec.2020PQ YCbCr点被定义为
Figure BDA0003493294060000172
并且整个样本点集合被定义为ΦPQ，YCbCr，R2020(图3A的框314)。
后向整形函数公式定义如下：
Figure BDA0003493294060000173
其中，
Figure BDA0003493294060000174
是每个HLG像素的预测PQ值。
返回到图4，在框430处，控制器600基于根据第一电光传递函数的转换后的第一样本像素(点)集合和根据第二电光传递函数的转换后的第二样本像素(点)集合来确定后向整形函数。在本示例中，为了求后向整形函数公式，解决了以下优化问题(框316)。
Figure BDA0003493294060000175
优化方程(31)可以通过重复应用和调整样本后向整形函数以最小化来自方程(30)的样本后向整形函数的结果(通过将样本后向整形函数应用于转换后的第一样本像素集合中的像素而获得的预测PQ值)与根据第二电光传递函数的第二样本点集合(29)中的像素之间的差异来以迭代方法求解。如上文所指出的，根据本公开的一些方面，后向整形函数可以是多项式函数。如此，上文所解释的方法使得能够在HLG系统与PQ系统之间(例如在编码器侧)进行近似转换而不执行完全转换。使用上述过程，发现可能存在一些预测误差。
EOTF转换-常用数据点优化
下文所描述的方法和过程提供了用于通过利用Rec.2020颜色空间内的小范围来改进上文所描述的后向整形函数确定的准确性的解决方案。图3B是图示了由控制器600(图6)实施的修改的EOTF转换过程的过程图300B。应当注意的是，过程图300B包括与过程图300A中的步骤/框类似并且相应地被标记为相同的步骤/框(具体地，框302、304、306、308、310、312、314和316)。
在图3B中所图示的示例中，在从接收到的源数据来确定样本点集合之后，生成根据第一颜色空间的第一电光传递函数的第一样本点集合进一步包括，在框318处，从数据点集合产生根据第二颜色空间的第一颜色表示中的第三电光传递函数的第三样本点集合(这里，PQ 1000尼特Rec.709RGB)，并且基于根据第三电光传递函数的第三样本点集合来产生根据第一电光传递函数的第一样本点集合，其中，第二颜色空间小于第一颜色空间。在图3B中所图示的示例中，第二颜色空间的第一颜色表示中的第三电光传递函数被表示为ΦPQ，RGB，R709。如上文所提及的，第二颜色空间小于第一颜色空间。可以基于接收到的数据的视觉内容来确定或选择第二颜色空间。例如，在本示例中，数据可以是自然场景。因此，选择Rec.709是因为虽然其小于如Rec.2020等更高清晰度标准的颜色空间，但其包括了自然场景所需的大部分颜色。通过使用包括在特定场景中最常用的颜色的更小颜色空间，当使用预测器来近似转换像素值时，可以减少非线性，并且可以减少预测误差。
在框320处，控制器600将第二颜色空间的第一颜色表示中的第三电光传递函数转换到第一颜色空间的第一颜色表示的第一电光传递函数的容器，从而产生根据框302的第一电光传递函数的第一样本像素(点)集合。在本示例中，由第一样本点集合定义的第一颜色空间的第一颜色表示中的容器是Rec.2020HLG RGB，并且所得样本像素(点)集合被表示为ΦHLG，RGB，R2020(图3B的框302)。然后，与图3A的方法300A的对应的框(框304，306，308，310，312，314和316)类似地处理框302处的信号。
在本公开的一些方面，为了将数据包括在更宽的颜色空间中，控制器600可以在定义根据第一电光传递函数的第一样本点集合时，对根据第二颜色空间的第三电光传递函数的第三样本点集合和根据第三颜色空间的第一颜色表示的第四电光传递函数的第四样本点集合进行内插(下文描述)。因此，根据第一电光传递函数的所得第一样本点集合包括根据第二颜色空间的第三电光传递函数的第三样本点集合与根据第三颜色空间的第四电光传递函数的第四样本点集合的加权组合。应当注意的是，内插包括将第三样本点集合和第四样本点集合两者都转换到公共颜色空间的公共电光传递函数。
例如，在本示例中，可以从Rec.709和Rec.2020内插样本点。图3C图示了由控制器600(图6)实施的(利用插值)修改的EOTF转换过程。应当注意的是，过程图300C包括与过程图300A中的步骤/框类似并且相应地被标记为相同的步骤/框(具体地，框302、304、306、308、310、312、314和316)。还应当注意的是，在框322和324(以及326和328)处执行的过程与在图3B的方法300B的框318和320处执行的过程类似。
在框322处，控制器600将如在Rec.709PQ 1000尼特RGB颜色空间中的样本点集合Φ定义为与图3B的框318类似的Φ1 PQ，RGB，R709(根据第二颜色空间的第三电光传递函数的第三样本点集合)。然后，在框324处，控制器600将第三样本点集合Φ转换到Rec.2020HLG容器作为Φ1 HLG，RGB，R2020。然后，在框326处，如在Rec.2020PQ 1000尼特RGB颜色空间中，视频数据的原始样本点集合Φ的副本被定义为Φ2PQ，RGB，R2020(根据第三颜色空间的第四电光传递函数的第四样本点集合)。然后，在框328处，集合Φ2 PQ，RGB，R2020被转换到Rec.2020HLG容器作为Φ2 HLG，RGB，R2020(例如，转换到第三样本集合的公共颜色空间Rec.2020的第一颜色表示(RGB)的容器)。在框330处，控制器600对所有颜色通道中的数据点进行加权和组合，如
Figure BDA0003493294060000191
然后，来自上述方程(32)的所得HLG集合ΦHLG，RGB，R2020(框302)被转换到Rec.2020PQ 1000尼特RGB点(框304)，所得集合表示为ΦPQ，RGB，R2020(框306)。然后，集合ΦHLG，RGB，R2020和ΦPQ，RGB，R2020分别在框308和310处被转换到同一颜色空间Rec.2020的第二颜色表示YCbCr，并且在框316处，使用所得集合来计算后向整形函数。
信号合法化
为了进一步改进上文所描述的方法，可以实施信号合法化函数/过程。例如，如下文所描述的，被配置为将输入修改为符合预定范围的信号合法化函数可以应用于第一样本点集合Φ。信号合法化是纠正超出范围的输入信号，使其位于期望的合法范围内。流水线(例如，图1A的流水线100A)可以在处理期间将超出范围的信号引入到视频数据，这可能导致最终视频信号中不期望的伪影。如下文所描述的，在本公开的一些方面，信号合法化函数实施硬裁剪。在本公开的一些方面，信号合法化函数是分段线性函数。在本公开的一些方面，信号合法化函数是S形曲线。
信号合法化-输入信号合法化
输入信号合法化可以使用硬裁剪方法(裁剪期望的范围之外的信号)来实施。虽然实施起来很简单，但最终视觉产品可能还不够。为了解决这个问题，可以在合法范围的边界附近应用软裁剪或渐变过渡。
一种方法是应用分段线性合法化。分段线性合法化在中间范围维持输入与合法化信号之间的线性关系，并且对合法/非法边界附近的信号施加压缩。首先，将输入范围定义为[xL，xH]，将枢轴点定义为[xp1，xp2]，并且将合法化函数定义为fL pwl()，对应的合法化值为：
Figure BDA0003493294060000201
Figure BDA0003493294060000202
Figure BDA0003493294060000203
Figure BDA0003493294060000204
分段方程可以表示为
Figure BDA0003493294060000205
图5A是以上分段方程的曲线图500A，其中，输入范围是[xL，xH]＝[-0.2，1.2]，并且枢轴点是[xp1，xp2]＝[0.20.8]。如从曲线图500A可以看出的，在枢轴点502A和502B处存在一阶不连续性，这可能导致全局模型问题。这个问题可以通过用S形曲线近似分段线性来解决，所述S形曲线可以由以下方程表征：
Figure BDA0003493294060000206
以上变量a1、a2、a3和a4表示四个参数模型。使用给定分段模型fL pwl(x)，可以经由非线性优化来计算参数。图5B示出了通过给定分段参数[xL，xH]＝[-0.2，1.2]和[xp1，xp2]＝[0.20.8]得到的近似S形曲线(参数如下)的曲线图500B。
a1＝-0.0645 (39)
a2＝1.0645 (40)
a3＝0.5000 (41)
a4＝1.6007 (42)
EOTF转换-信号合法化
使用上述技术，图3A的方法300A(以及分别图3B和图3C的方法300B和300C)可以被进一步修改成并入信号合法化。图3D图示了由控制器500(图5)实施的(利用信号合法化)修改的EOTF转换过程。与上文所描述的EOTF转换类似，收集样本点集合Φ(如上文关于方程(1)和(2)所描述的)。该样本点集合Φ被定义为非法输入信号(框332)。接下来，控制器600通过将合法化函数(分别为以上方程(12)和(13)的fL pwl(x)或fL sgm(x)中的任一个)应用于每个样本点qi(框334)来构建对应的合法化集合，从而创建合法化值qi L(框336)。
Figure BDA0003493294060000211
以上1D阵列用于使用以下公式在3D空间中构建3D样本点。
Figure BDA0003493294060000212
收集的合法化点{qL ijk}被表示为集合ΦL。
为了获得后向整形函数，在框308处，集合Φ中的样本点在Rec.2020HLG YCbCr点中被定义为
Figure BDA0003493294060000213
并且转换后的集合被表示为Φin，YCbCr，R2020。
在框310处，合法化集合ΦL中的样本点在框310处在Rec.2020PQ YCbCr中被定义并且被表示为
Figure BDA0003493294060000214
并且转换后的合法化集合被表示为Φlg，YCbCr，R2020。
然后，从输入非法信号Φin，YCbCr，R2020到合法信号Φlg，YCbCr，R2020计算后向整形函数(框316)。与上文关于图3A所描述的框316类似，后向整形函数公式定义如下：
Figure BDA0003493294060000221
其中，
Figure BDA0003493294060000222
是预测值。
为了求后向整形函数公式，解决了以下优化问题(框316)。
Figure BDA0003493294060000223
示例硬件设备
图6是根据本公开的一些方面的控制器600的框图。控制器600可以是上文所描述的用于生成用于在目标显示器上渲染视频的后向整形函数的设备。控制器600包括电子处理器605、存储器610和输入/输出接口615。电子处理器605可以被配置为例如执行参考图4所描述的方法。电子处理器605(例如，从存储器610和/或输入/输出接口615)获得并提供信息，并且通过执行一个或多个软件指令或模块来处理信息，所述一个或多个软件指令或模块能够存储在例如存储器610的随机存取存储器(“RAM”)区域或存储器610的只读存储器(“ROM”)或另一个非暂态计算机可读介质(未示出)中。软件可以包括固件、一个或多个应用、程序数据、滤波器、规则、一个或多个程序模块以及其他可执行指令。电子处理器605可以包括多个核心或单独的处理单元。电子处理器605被配置为从存储器610取得并且执行与本文所描述的控制过程和方法相关的软件等。
存储器610可以包括一个或多个非暂态计算机可读介质，并且包括程序存储区域和数据存储区域。如本文所描述的，程序存储区域和数据存储区域可以包括不同类型存储器的组合。存储器610可以采取任何非暂态计算机可读介质的形式。
输入/输出接口615被配置为接收输入并且提供系统输出。输入/输出接口615从控制器600内部和外部的设备两者(例如，后期制作115(图1A)的视频数据源)获得信息和信号，并且(例如，通过一个或多个有线和/或无线连接)向所述设备提供信息和信号。控制器600可以包括或者被配置为用作编码器、解码器或两者。
等同物、扩展、替代方案和杂项
在前述说明书中，已经描述了本公开的特定方面。然而，本领域普通技术人员应理解，可以在不脱离以下权利要求书中阐述的本公开的范围的情况下作出各种修改和改变。因此，说明书和附图应该被视为具有说明性而非限制性意义，并且所有这些修改旨在包括在本公开教导范围内。
关于本文描述的过程、系统、方法、启发法等，应当理解，虽然这种过程等的步骤已经被描述为按照特定有序的顺序进行，但是这种过程可以利用所描述的步骤以与本文描述的顺序不同的顺序执行。还应当理解，某些步骤可以同时执行，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文的过程描述是出于说明某些方面的目的而提供的，并且决不应当被解释为为了限制权利要求。
此外，在本文件中，如第一和第二、顶部和底部等关系术语仅可以用于将一个实体或动作与另一个实体或动作进行区分，而不一定需要或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括(comprises/comprising)”、“具有(has/having)”、“包括(includes/including)”、“包含(contains/containing)”或其任何其他变体旨在覆盖非排他性的包括，使得包括、具有、包括、包含一系列要素的过程、方法、物品或装置不仅仅包括那些要素，而是可以包括未清楚地列出的或这样的过程、方法、物品或装置固有的其他要素。在没有更多约束的情况下，前面带有“包括…(comprises…a)”、“具有…(has…a)”、“包括…(includes…a)”、“包含…(contains…a)”的要素不排除在包括、具有、包括、包含要素的过程、方法、物品或装置中存在附加的相同要素。除非本文中另有明确说明，否则术语“一个(a)”和“一种(an)”被定义为一个或多个。术语“基本上(substantially)”、“本质上(essentially)”、“大约(approximately)”、“约(about)”或其任何其他形式被定义为接近本领域普通技术人员所理解的，并且在本公开的各方面，所述术语可以被定义为在10％以内、5％以内、1％以内或0.5％以内。如本文所使用的术语“耦接(coupled)”被定义为连接，但不一定是直接连接，并且也不一定是机械连接。以某种方式“配置”的设备或结构至少是以这种方式配置的，但是也可以以未列出的方式配置。
应当理解，本公开的一些方面可以包括一个或多个通用或专用处理器(或“处理设备”)，如微处理器、数字信号处理器、定制处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者)，所述唯一存储的程序指令控制一个或多个处理器结合某些非处理器电路来实施本文所描述的方法和/或装置的一些、大部分或全部功能。替代性地，一些或所有功能可以由没有存储程序指令的状态机实施，或者在一个或多个专用集成电路(ASIC)中实施，其中每个功能或某些功能的一些组合被实施为定制逻辑。当然，可以使用这两种方法的组合。
此外，本公开可以被实施为其上存储有计算机可读代码的计算机可读存储介质，用于对计算机(例如，包括处理器)进行编程以执行如本文所描述和要求保护的方法。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储设备、磁存储设备、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)和闪速存储器。进一步地，预期的是，尽管存在通过例如可用时间、当前技术和经济考虑激发的可能重大的努力和许多设计选择，但是当受本文所公开的概念和原理指导时，本领域的技术人员将容易通过最少的实验产生这种软件指令和程序以及IC。
权利要求中所使用的所有术语都旨在被赋予其如了解本文描述的技术的人所理解的最广泛的合理解释及普通含义，除非本文中出现相反的明确指示。特别地，如“一(a)”、“该(the)”、“所述(said)”等单数冠词的使用应被理解为叙述一个或多个所指示的要素，除非权利要求叙述了相反的明确限制。
本公开的各个方面可以采用以下示例性配置中的任何一种或多种配置：
(1)一种用于生成高动态范围视频数据并且包括存储器和电子处理器的设备。所述电子处理器被配置为：根据合成的数据来确定样本点集合；根据第一颜色空间的第一电光传递函数从所述样本点集合定义第一样本点集合；经由映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到第二电光传递函数；产生根据所述第二电光传递函数的第二样本点集合；以及基于根据所述第一电光传递函数的所述第一样本点集合和根据所述第二电光传递函数的所述第二样本点集合来确定后向整形函数。
(2)如(1)所述的设备，其中，所述电子处理器被配置为通过重复应用和调整样本后向整形函数以最小化所述样本后向整形函数的结果与根据所述第二电光传递函数的所述第二样本点集合之间的差异来确定所述后向整形函数。
(3)如(1)或(2)所述的设备，其中，经由所述映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到所述第二电光传递函数包括将信号合法化函数应用于根据所述第一电光传递函数的所述第一样本点集合。
(4)如(1)至(3)中任一项所述的设备，其中，所述第一电光传递函数是混合对数伽马。
(5)如(1)至(4)中任一项所述的设备，其中，所述第二电光传递函数是感知量化器。
(6)如(1)至(5)中任一项所述的设备，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：从所述数据点集合产生根据第二颜色空间的第三电光传递函数的第三样本点集合；以及基于根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合来产生根据所述第一电光传递函数的所述第一样本点集合，其中，所述第二颜色空间小于所述第一颜色空间。
(7)如(6)所述的设备，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：对根据所述第二颜色空间的第三电光传递函数的所述第三样本像素集合和根据第三颜色空间的第四电光传递函数的第四样本像素集合进行内插，使得根据所述第一电光传递函数的所述第一样本像素集合包括根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合和根据所述第三颜色空间的第四电光传递函数的所述第四样本点集合的加权组合，其中，内插包括将所述第三样本点集合和所述第四样本点集合转换到公共颜色空间的公共电光传递函数。
(8)如(1)至(7)中任一项所述的设备，其中，所述电子处理器进一步被配置为基于来自最小均方误差预测器的后向整形函数数据来确定所述后向整形函数。
(9)如(8)所述的设备，其中，最小均方误差预测器的多个参数是基于多通道多元回归模型来确定的。
(10)如(1)至(9)中任一项所述的设备，其中，所述电子处理器进一步被配置为基于平滑等权重后向查找表来确定所述后向整形函数。
(11)如(1)至(10)中任一项所述的设备，其中，所述设备是编码器。
(12)一种用于将与第一电光传递函数相对应的信号转换成与第二电光传递函数相对应的信号的方法，所述方法包括：根据合成的数据来确定样本点集合；根据第一颜色空间的第一电光传递函数从所述样本点集合定义第一样本点集合；经由映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到第二电光传递函数；产生根据所述第二电光传递函数的第二样本点集合；以及基于根据所述第一电光传递函数的所述第一样本点集合和根据所述第二电光传递函数的所述第二样本点集合来确定后向整形函数。
(13)如(12)所述的方法，其中，确定所述后向整形函数包括重复应用和调整样本后向整形函数以最小化所述样本后向整形函数的结果与根据所述第二电光传递函数的所述第二样本点集合之间的差异。
(14)如(12)或(13)所述的方法，其中，经由所述映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到所述第二电光传递函数包括将信号合法化函数应用于根据所述第一电光传递函数的所述第一样本点集合。
(15)如(14)所述的方法，其中，所述信号合法化函数实施硬裁剪。
(16)如(14)所述的方法，其中，所述信号合法化函数是分段线性函数。
(17)如(14)所述的方法，其中，所述信号合法化函数是S形曲线。
(18)如(12)至(17)中任一项所述的方法，其中，所述第一电光传递函数是混合对数伽马。
(19)如(12)至(18)中任一项所述的方法，其中，所述第二电光传递函数是感知量化器。
(20)如(12)至(19)中任一项所述的方法，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：从所述数据点集合产生根据第二颜色空间的第三电光传递函数的第三样本点集合；以及基于根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合来产生根据所述第一电光传递函数的所述第一样本点集合，其中，所述第二颜色空间小于所述第一颜色空间。
(21)如(20)所述的方法，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：对根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合和根据第三颜色空间的第四电光传递函数的第四样本点集合进行内插，使得根据所述第一电光传递函数的所述第一样本点集合包括根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合和根据所述第三颜色空间的第四电光传递函数的所述第四样本点集合的加权组合，其中，内插包括将所述第三样本点集合和所述第四样本点集合转换到公共颜色空间的公共电光传递函数。
(22)如(12)至(21)中任一项所述的方法，其中，所述后向整形函数是基于来自最小均方误差预测器的后向整形函数数据来进一步确定的。
(23)如(22)所述的方法，其中，最小均方误差预测器的多个参数是基于多通道多元回归模型来确定的。
(24)如(23)所述的方法，其中，计算所述多通道多元回归(MMR)模型的解包括使用高斯消元法来减少MMR模型中的病态条件。
(25)如(12)至(24)中任一项所述的方法，其中，确定所述后向整形函数基于平滑等权重后向查找表。
(26)一种非暂态计算机可读介质，所述非暂态计算机可读介质存储有指令，所述指令在由计算机的处理器执行时使所述计算机执行如(12)至(25)中任一项所述的方法。
可以从以下枚举的示例实施例(EEE)中理解本发明的各个方面：
1.一种用于生成高动态范围视频数据并且包括以下各项的设备：
存储器；以及
电子处理器，所述电子处理器被配置为：
根据合成的数据来确定样本点集合；
根据第一颜色空间的第一电光传递函数从所述样本点集合定义第一样本点集合；
经由映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到第二电光传递函数，从而产生根据所述第二电光传递函数的第二样本点集合；以及
基于根据所述第一电光传递函数的所述第一样本点集合和根据所述第二电光传递函数的所述第二样本点集合来确定后向整形函数。
2.如EEE 1所述的设备，其中，所述电子处理器被配置为通过重复应用和调整样本后向整形函数以最小化所述样本后向整形函数的结果与根据所述第二电光传递函数的所述第二样本点集合之间的差异来确定所述后向整形函数。
3.如EEE 1或2所述的设备，其中，经由所述映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到所述第二电光传递函数包括将信号合法化函数应用于根据所述第一电光传递函数的所述第一样本点集合，所述信号合法化函数被配置为将输入修改为符合预定范围。
4.如EEE 1至3中任一项所述的设备，其中，所述第一电光传递函数是混合对数伽马。
5.如EEE 1至4中任一项所述的设备，其中，所述第二电光传递函数是感知量化器。
6.如EEE 1至5中任一项所述的设备，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：
从所述数据点集合产生根据第二颜色空间的第三电光传递函数的第三样本点集合，以及
基于根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合来产生根据所述第一电光传递函数的所述第一样本点集合，其中，所述第二颜色空间小于所述第一颜色空间。
7.如EEE 6所述的设备，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：对根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合和根据第三颜色空间的第四电光传递函数的第四样本点集合进行内插，使得根据所述第一电光传递函数的所述第一样本像素集合包括根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合和根据所述第三颜色空间的第四电光传递函数的所述第四样本点集合的加权组合，其中，内插包括将所述第三样本点集合和所述第四样本点集合转换到公共颜色空间的公共电光传递函数。
8.如EEE 1至7中任一项所述的设备，其中，所述电子处理器进一步被配置为基于来自最小均方误差预测器的后向整形函数数据来确定所述后向整形函数。
9.如EEE 1至8中任一项所述的设备，其中，所述设备是编码器。
10.一种用于将与第一电光传递函数相对应的信号转换成与第二电光传递函数相对应的信号的方法，所述方法包括：
根据合成的数据来确定样本点集合；
根据第一颜色空间的第一电光传递函数从所述样本点集合定义第一样本点集合；
经由映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到第二电光传递函数，从而产生根据所述第二电光传递函数的第二样本点集合；以及
基于根据所述第一电光传递函数的所述第一样本点集合和根据所述第二电光传递函数的所述第二样本点集合来确定后向整形函数。
11.如EEE 10所述的方法，其中，确定所述后向整形函数包括重复应用和调整样本后向整形函数以最小化所述样本后向整形函数的结果与根据所述第二电光传递函数的所述第二样本点集合之间的差异。
12.如EEE 10或11所述的方法，其中，经由所述映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到所述第二电光传递函数包括将信号合法化函数应用于根据所述第一电光传递函数的所述第一样本点集合，所述信号合法化函数被配置为将输入修改为符合预定范围。
13.如EEE 12所述的方法，其中，所述信号合法化函数实施硬裁剪。
14.如EEE 12或13所述的方法，其中，所述信号合法化函数是分段线性函数。
15.如EEE 12或13所述的方法，其中，所述信号合法化函数是S形曲线。
16.如EEE 10至15中任一项所述的方法，其中，所述第一电光传递函数是混合对数伽马。
17.如EEE 10至16中任一项所述的方法，其中，所述第二电光传递函数是感知量化器。
18.如EEE 10至17中任一项所述的方法，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：
从所述数据点集合产生根据第二颜色空间的第三电光传递函数的第三样本点集合，以及
基于根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合来产生根据所述第一电光传递函数的所述第一样本点集合，其中，所述第二颜色空间小于所述第一颜色空间。
19.如EEE 18所述的方法，其中，定义根据所述第一电光传递函数的所述第一样本点集合包括：对根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合和根据第三颜色空间的第四电光传递函数的第四样本点集合进行内插，使得根据所述第一电光传递函数的所述第一样本像素集合包括根据所述第二颜色空间的第三电光传递函数的所述第三样本点集合和根据所述第三颜色空间的第四电光传递函数的所述第四样本点集合的加权组合，其中，内插包括将所述第三样本点集合和所述第四样本点集合转换到公共颜色空间的公共电光传递函数。
20.如EEE 10至19中任一项所述的方法，其中，所述后向整形函数是基于来自最小均方误差预测器的后向整形函数数据来进一步确定的。
21.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储有指令，所述指令在由计算机的处理器执行时使所述计算机执行如EEE 10至20中任一项所述的方法。

Claims (29)

1.一种用于确定后向整形函数的设备，所述设备包括：
电子处理器，所述电子处理器被配置为：
从接收到的视频数据来确定样本像素集合；
根据第一颜色空间的第一颜色表示中的第一电光传递函数从所述样本像素集合定义第一样本像素集合；
经由映射函数将根据所述第一电光传递函数的所述第一样本点集合转换到所述第一颜色空间的第一颜色表示中的第二电光传递函数，从而从所述第一样本像素集合产生根据所述第二电光传递函数的第二样本像素集合；
将所述第一样本像素集合和所述第二样本像素集合从所述第一颜色表示转换到所述第一颜色空间的第二颜色表示；
基于转换后的第一样本像素集合和转换后的第二样本像素集合来确定后向整形函数；其中，所述电子处理器被配置为通过重复应用和调整样本后向整形函数以最小化通过将所述样本后向整形函数应用于所述转换后的第一样本像素集合中的像素和所述转换后的第二样本像素集合中的像素而获得的预测像素值之间的差异来确定所述后向整形函数。
2.如权利要求1所述的设备，其中，所述接收到的视频数据包括第一动态范围中的一个或多个第一图像，并且所述第二样本像素集合属于第二动态范围中的一个或多个第二图像，所述第一动态范围低于所述第二动态范围，并且其中，所述电子处理器进一步被配置为：
-基于从所述一个或多个第一图像中的第一码字分布生成的第一直方图来确定第一累积密度函数，
-基于从所述一个或多个第二图像中的第二码字分布生成的第二直方图来确定第二累积密度函数，以及
-基于所述第一累积密度函数和所述第二累积密度函数来确定直方图传递函数，以用于确定所述后向整形函数。
3.如权利要求1或2所述的设备，其中，所述电子处理器进一步被配置为通过应用用于最小化均方误差的预测器来确定预测值。
4.如权利要求2和3所述的设备，其中，所述电子处理器被配置为使用所述预测器将每个码字从所述第一码字分布映射到所述第二码字分布，以确定所述直方图传递函数。
5.如权利要求3所述的设备，其中，最小均方误差预测器的多个参数是基于多通道多元回归模型来确定的。
6.如权利要求2至4中任一项所述的设备，其中，所述后向整形函数是光亮度后向整形函数。
7.如权利要求5所述的设备，其中，所述后向整形函数是色度后向整形函数。
8.如前述权利要求中任一项所述的设备，其中，所述电子处理器进一步被配置为基于平滑等权重后向查找表来确定所述后向整形函数。
9.如前述权利要求中任一项所述的设备，其中，所述电子处理器被配置为将所述样本像素集合确定为样本像素的三维像素阵列qijk，其中，i指示具有M个样本的对应的一维像素阵列qi的像素位置，并且其中，j和k是所述像素的帧索引和深度。
10.如前述权利要求中任一项所述的设备，其中，经由所述映射函数将根据所述第一电光传递函数的所述第一样本像素集合转换到所述第二电光传递函数包括将信号合法化函数应用于所述第一样本像素集合，以用于迫使所述第一样本像素集合的范围在预定范围内。
11.如权利要求10所述的设备，其中，所述信号合法化函数是以下函数之一：
-裁剪函数，所述裁剪函数包括对所述预定范围之外的所述第一集合中的样本像素进行裁剪，
-分段线性函数，或
-S形曲线函数。
12.如前述权利要求中任一项所述的设备，其中，所述第一电光传递函数是混合对数伽马。
13.如前述权利要求中任一项所述的设备，其中，所述第二电光传递函数是感知量化器。
14.如前述权利要求中任一项所述的设备，其中，定义根据所述第一电光传递函数的所述第一样本像素集合包括：
从所述数据像素集合产生根据第二颜色空间的所述第一颜色表示中的第三电光传递函数的第三样本像素集合，以及
基于根据所述第二颜色空间的第三电光传递函数的所述第三样本像素集合来产生根据所述第一电光传递函数的所述第一样本像素集合，其中，所述第二颜色空间小于所述第一颜色空间。
15.如权利要求14所述的设备，其中，定义根据所述第一电光传递函数的所述第一样本像素集合包括：对根据所述第二颜色空间的第一颜色表示中的第三电光传递函数的所述第三样本像素集合和根据第三颜色空间的所述第一颜色表示中的第四电光传递函数的第四样本像素集合进行内插，使得根据所述第一电光传递函数的所述第一样本像素集合包括根据所述第二颜色空间的第三电光传递函数的所述第三样本像素集合和根据所述第三颜色空间的第四电光传递函数的所述第四样本像素集合的加权组合。
16.如权利要求14或15所述的设备，其中，所述电子处理器被配置为将所述第二颜色空间的第一颜色表示中的第三电光传递函数转换到所述第一颜色空间的第一颜色表示中的第一电光传递函数的容器。
17.如权利要求15或16所述的设备，其中，所述电子处理器被配置为将所述第三颜色空间的第四电光传递函数转换到所述第一颜色空间的第一颜色表示中的第一电光传递函数的容器。
18.如权利要求1至17中任一项所述的设备，其中，所述设备是编码器或解码器。
19.一种用于确定后向整形函数的方法，所述方法包括：
从接收到的视频数据来确定样本像素集合；
根据第一颜色空间的第一颜色表示中的第一电光传递函数从所述样本像素集合定义第一样本像素集合；
经由映射函数将根据所述第一电光传递函数的所述第一样本像素集合转换到所述第一颜色空间的第一颜色表示中的第二电光传递函数，从而从所述第一样本像素集合产生根据所述第二电光传递函数的第二样本像素集合；
将所述第一样本像素集合和所述第二样本像素集合从所述第一颜色表示转换到所述第一颜色空间的第二颜色表示，以及
基于转换后的第一样本像素集合和转换后的第二样本像素集合来确定后向整形函数，其中，确定所述后向整形函数包括重复应用和调整样本后向整形函数以最小化通过将所述样本后向整形函数应用于所述转换后的第一样本像素集合中的像素和所述转换后的第二样本像素集合中的像素而获得的预测像素值之间的差异。
20.如权利要求19所述的方法，其中，经由所述映射函数将根据所述第一电光传递函数的所述第一样本像素集合转换到所述第二电光传递函数包括将信号合法化函数应用于所述第一样本像素集合，以用于迫使所述第一样本像素集合的范围在预定范围内。
21.如权利要求19或20所述的方法，其中，所述信号合法化函数是以下函数之一：
-裁剪函数，所述裁剪函数包括对所述预定范围之外的所述第一集合中的样本像素进行裁剪，
-分段线性函数，或
-S形曲线函数。
22.如权利要求19至21中任一项所述的方法，其中，所述第一电光传递函数是混合对数伽马。
23.如权利要求19至21中任一项所述的方法，其中，所述第二电光传递函数是感知量化器。
24.如权利要求19至23中任一项所述的方法，其中，定义根据所述第一电光传递函数的所述第一样本像素集合包括：
从所述数据像素集合产生根据第二颜色空间的所述第一颜色表示中的第三电光传递函数的第三样本像素集合，以及
基于根据所述第二颜色空间中的第三电光传递函数的所述第三样本像素集合来产生根据所述第一电光传递函数的所述第一样本像素集合，其中，所述第二颜色空间小于所述第一颜色空间。
25.如权利要求24所述的方法，其中，定义根据所述第一电光传递函数的所述第一样本像素集合包括：对根据所述第二颜色空间的第一颜色表示中的第三电光传递函数的所述第三样本像素集合和根据第三颜色空间的所述第一颜色表示中的第四电光传递函数的第四样本像素集合进行内插，使得根据所述第一电光传递函数的所述第一样本像素集合包括根据所述第二颜色空间的第三电光传递函数的所述第三样本像素集合和根据所述第三颜色空间中的第四电光传递函数的所述第四样本像素集合的加权组合。
26.如权利要求24或25所述的方法，进一步包括将所述第二颜色空间的第一颜色表示的第三电光传递函数转换到所述第一颜色空间的第一颜色表示中的第一电光传递函数的容器。
27.如权利要求25或26所述的方法，进一步包括将所述第三颜色空间的第四电光传递函数转换到所述第一颜色空间的第一颜色表示中的第一电光传递函数的容器。
28.如权利要求19至27中任一项所述的方法，其中，所述样本后向整形函数的预测值是通过应用用于最小化均方误差的预测器来确定的。
29.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储有指令，所述指令在由计算机的处理器执行时使所述计算机执行如权利要求19至28中任一项所述的方法。
CN202080054727.1A 2019-07-30 2020-07-27 电光传递函数转换和信号合法化 Pending CN114175647A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962880266P 2019-07-30 2019-07-30
EP19189052.4 2019-07-30
US62/880,266 2019-07-30
EP19189052 2019-07-30
PCT/US2020/043789 WO2021021762A1 (en) 2019-07-30 2020-07-27 Electro-optical transfer function conversion and signal legalization

Publications (1)

Publication Number Publication Date
CN114175647A true CN114175647A (zh) 2022-03-11

Family

ID=71950842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054727.1A Pending CN114175647A (zh) 2019-07-30 2020-07-27 电光传递函数转换和信号合法化

Country Status (6)

Country Link
US (1) US11895416B2 (zh)
EP (1) EP4005208A1 (zh)
JP (1) JP2022542312A (zh)
CN (1) CN114175647A (zh)
BR (1) BR112022001015A2 (zh)
WO (1) WO2021021762A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117426091B (zh) * 2021-06-08 2024-05-28 杜比实验室特许公司 用于生成或渲染图像的方法以及计算装置
CN117348496B (zh) * 2023-11-21 2024-07-26 广州思林杰科技股份有限公司 一种用于源表的数字环路控制系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0303336A (pt) 2002-07-02 2004-04-27 Matsushita Electric Ind Co Ltd Método de derivação do vetor de movimento, método de codificação de imagem animada e método de decodificação de imagem animada
US8437053B2 (en) * 2010-04-15 2013-05-07 Eastman Kodak Company Gamut mapping using hue-preserving color space
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
WO2012142471A1 (en) 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US9584701B2 (en) * 2014-01-06 2017-02-28 Panamorph, Inc. Image processing system and method
EP3198556B1 (en) * 2014-09-26 2018-05-16 Dolby Laboratories Licensing Corp. Encoding and decoding perceptually-quantized video content
US9747673B2 (en) * 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
WO2016172091A1 (en) * 2015-04-22 2016-10-27 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the ipt-pq color space
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
US10223774B2 (en) * 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
US10397586B2 (en) * 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10368099B2 (en) * 2016-08-09 2019-07-30 Qualcomm Incorporated Color remapping information SEI message signaling for display adaptation
US10264287B2 (en) 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
EP3383017A1 (en) * 2017-03-31 2018-10-03 Thomson Licensing Method and device for color gamut mapping
EP3396936A1 (en) * 2017-04-27 2018-10-31 Thomson Licensing Method and device for color gamut mapping
WO2019023202A1 (en) 2017-07-24 2019-01-31 Dolby Laboratories Licensing Corporation REVERSE MONOCANAL MAPPING FOR IMAGE / VIDEO PROCESSING
US10757428B2 (en) * 2018-10-10 2020-08-25 Apple Inc. Luma and chroma reshaping of HDR video encoding

Also Published As

Publication number Publication date
EP4005208A1 (en) 2022-06-01
JP2022542312A (ja) 2022-09-30
WO2021021762A1 (en) 2021-02-04
US20220295020A1 (en) 2022-09-15
US11895416B2 (en) 2024-02-06
BR112022001015A2 (pt) 2022-04-05

Similar Documents

Publication Publication Date Title
EP3479343B1 (en) Efficient histogram-based luma look matching
CN108885783B (zh) 编码和解码可逆制作质量单层视频信号
CN107995497B (zh) 高动态范围视频的屏幕自适应解码
EP3459248B1 (en) Chroma reshaping for high dynamic range images
US10419762B2 (en) Content-adaptive perceptual quantizer for high dynamic range images
US10311558B2 (en) Efficient image processing on content-adaptive PQ signal domain
US10645403B2 (en) Chroma reshaping for high dynamic range images
CN107771392B (zh) 用于高动态范围图像的实时内容自适应感知量化器
JP7472403B2 (ja) Ｓｄｒからｈｄｒへのアップコンバートのための適応的ローカルリシェーピング
CN110770787B (zh) 高效端到端单层逆向显示管理编码
CN113170205A (zh) 整形函数的插值
CN115152212A (zh) 图像处理中的联合前向和后向神经网络优化
US11895416B2 (en) Electro-optical transfer function conversion and signal legalization
US20240095893A1 (en) Image enhancement via global and local reshaping
WO2023096728A1 (en) Denoising for sdr-to-hdr local reshaping
CN116888959A (zh) 经由全局和局部整形实现的图像增强
WO2023150193A1 (en) Supporting multiple target display types
CN118765500A (zh) 支持多种目标显示器类型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination