CN115699077A - 单层hdr图像编解码器中整形函数的迭代优化 - Google Patents

单层hdr图像编解码器中整形函数的迭代优化 Download PDF

Info

Publication number
CN115699077A
CN115699077A CN202180039492.3A CN202180039492A CN115699077A CN 115699077 A CN115699077 A CN 115699077A CN 202180039492 A CN202180039492 A CN 202180039492A CN 115699077 A CN115699077 A CN 115699077A
Authority
CN
China
Prior art keywords
image
input
shaping function
sdr
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180039492.3A
Other languages
English (en)
Inventor
苏冠铭
H·卡杜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN115699077A publication Critical patent/CN115699077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种用于生成(a)用于将输入高动态范围(HDR)图像压缩为整形后的标准动态范围(SDR)图像的前向整形函数和(b)用于将该整形后的SDR图像解压缩为重建的HDR图像的后向整形函数的方法，该方法包括：(i)优化该前向整形函数以最小化该整形后的SDR图像与该输入HDR图像对应的输入SDR图像之间的偏差，(ii)优化该后向整形函数以最小化该重建的HDR图像与该输入HDR图像之间的偏差，以及(iii)直到满足终止条件，对该输入SDR图像应用校正，并基于该校正后的输入SDR图像，重复优化该前向整形函数和该后向整形函数的步骤。

Description

单层HDR图像编解码器中整形函数的迭代优化
相关申请的交叉引用
本申请要求均于2020年4月22日提交的美国临时申请号63/013,807和欧洲专利申请号20170837.7的优先权，这两个申请分别通过援引以其全文并入本文。
技术领域
本申请涉及高动态范围图像，更具体地，涉及以能够实现后续根据标准动态范围数据重建高动态范围图像的方式在标准动态范围上对高动态范围图像进行编码。
背景技术
从历史上看，大多数数字图像(例如数字电影)都是以8比特的比特深度创建的。然而，这个比特深度在对比度与分辨率之间提出了一个具有挑战性的权衡，因为这个比特深度不如人类视觉系统。如果以8比特的比特深度对最亮与最暗像素之间的高动态范围进行编码，则观看者可能会察觉到亮度等级上相邻像素值之间的离散步长。例如，对于只有非常平缓的亮度变化的场景部分，可能会出现条纹。另一方面，如果将像素值之间的离散步长设置为人类无法察觉的值，则动态范围将被限制为小于人类视觉系统的动态范围。为了克服这些问题并进一步提升观看体验，现在通常采用更大的比特深度(例如10比特或12比特)创建数字图像，以产生高动态范围(HDR)内容。为了确保与各种查看设备的兼容性，通常以8比特的标准比特深度和更高的比特深度(例如10或12比特)两者提供数字图像。
将数字图像中继到查看系统通常涉及编解码器。首先，图像被编码为所需数据格式的数据。编码数据可以包括图像数据和元数据两者。在经由通信链路将数据传送到查看系统后，查看系统对数据进行解码以重建和显示图像。即使在中继HDR内容时，通信链路通常也仅限于8比特的标准比特深度。因此，一些HDR编解码器被配置为(a)在编码时，将HDR图像压缩到8比特的比特深度，以及(b)在解码时，对压缩数据进行解压缩以至少近似地重建HDR图像。此外，由于并非所有查看系统都能够解码和显示HDR图像，因此可以使用双层编解码器来提供标准动态范围(SDR)图像和HDR图像两者。然而，在一些场景中，单层编解码器是优选的，其中，单个图像数据集被传送到查看系统的解码器，然后，根据查看系统的特性，图像数据集可以被解码以生成SDR图像或HDR图像。
在单层编解码器中，编码可以利用前向整形函数根据输入HDR图像数据生成整形后的SDR图像数据，并且解码可以利用后向整形函数根据整形后的SDR图像数据至少近似地重建输入HDR图像数据。后向整形函数从编码器中继到解码器，作为伴随整形后的SDR图像数据的元数据。如果查看系统未被配置为处理HDR图像数据，则解码器可以放弃使用后向整形函数，而是直接使用整形后的SDR图像数据来生成SDR图像。重建的HDR图像数据的质量至少部分地由前向整形函数和后向整形函数的质量决定。
传统上，对于输入SDR和HDR图像对，优化前向整形函数以最小化整形后的SDR图像与输入SDR图像之间的差异，并且优化后向整形函数以最小化重建的HDR图像与输入HDR图像之间的差异，其中，唯一可调整的优化参数是前向整形函数和后向整形函数的特性。
发明内容
本文公开了利用迭代优化过程来确定单层高动态范围编解码器中的前向整形函数和后向整形函数的方法、软件产品和设备。传统上，对于输入标准动态范围(SDR)和高动态范围(HDR)图像对，优化前向整形函数以最小化整形后的SDR图像与输入SDR图像之间的差异，并且优化后向整形函数以最小化重建的HDR图像与输入HDR图像之间的差异，其中唯一可调整的优化参数是前向整形函数和后向整形函数的特性。将这些常规确定的前向整形函数和后向整形函数的特性优化到高质量所需的处理可能需要大量计算，这在一些潜在的应用场景中是不可行的。本迭代优化过程不是仅仅调整整形函数的特性，而是迭代地评估优化误差并将该误差作为校正向后馈送到输入SDR图像。这种采用到输入SDR图像的后向误差传播的迭代过程简化了整形函数的优化，因此可以提高整形函数的性能和/或使相关联的编解码器适用于更广泛的应用。
在实施例中，一种方法，该方法用于生成(a)用于将输入高动态范围(HDR)图像压缩为整形后的标准动态范围(SDR)图像的前向整形函数和(b)用于将该整形后的SDR图像解压缩为重建的HDR图像的后向整形函数，该方法包括：(i)优化该前向整形函数以最小化该整形后的SDR图像与该输入HDR图像对应的输入SDR图像之间的偏差，(ii)优化该后向整形函数以最小化该重建的HDR图像与该输入HDR图像之间的偏差，以及(iii)直到满足终止条件，对该输入SDR图像应用校正，并基于校正后的输入SDR图像，重复优化该前向整形函数和该后向整形函数的步骤。
在实施例中，一种软件产品，该软件产品用于生成(a)用于将输入高动态范围(HDR)图像压缩为整形后的标准动态范围(SDR)图像的前向整形函数和(b)用于将该整形后的SDR图像解压缩为重建的HDR图像的后向整形函数，该软件产品包括存储有机器可读指令的非暂态计算机可读介质。这些指令包括(i)前向优化指令，当由处理器执行时，使处理器优化该前向整形函数以最小化该整形后的SDR图像与该输入HDR图像对应的输入SDR图像之间的偏差，(ii)后向优化指令，当由处理器执行时，使处理器优化该后向整形函数以最小化该重建的HDR图像与该输入HDR图像之间的偏差，(iii)SDR图像校正指令，当由处理器执行时，使处理器对该输入SDR图像应用校正，以及(iv)迭代控制指令，当由处理器执行时，使处理器评估是否满足终止条件，并且只要没有满足该终止条件，执行SDR图像校正指令并基于校正后的输入SDR图像重新执行前向优化指令和后向优化指令。
附图说明
图1图示了示例使用场景中的单层高动态范围(HDR)图像编解码器的实施例。
图2图示了根据实施例的用于生成(a)用于将输入HDR图像压缩为整形后的标准动态范围(SDR)图像的前向整形函数和(b)用于将整形后的SDR图像解压缩为重建的HDR图像的后向整形函数的方法。
图3图示了根据实施例的用于优化前向整形函数和后向整形函数的方法，该方法可以在整形函数的迭代优化的每次迭代中采用到输入SDR图像的后向误差传播来实施。
图4图示了根据实施例的用于在单层HDR图像编解码器中对输入SDR和HDR图像对进行编码的编码器。
图5A和图5B图示了根据实施例的用于仅在色度通道中采用后向误差传播来生成彩色图像的前向整形函数和后向整形函数的方法，其中，色度通道中的每次优化迭代利用多变量多重回归。
图6A和图6B图示了图5A和图5B的方法的基于逐像素处理的实施例。
图7A至图7C图示了图5A和图5B的方法的基于3D分箱的量化像素值的处理的实施例。
图8图示了根据实施例的用于生成彩色图像的前向整形函数和后向整形函数的基于像素的方法，其中在每个颜色分量通道中采用基于迭代张量积b样条近似的优化和后向误差传播。
图9至图16是图示应用于示例图像的图2的方法的实施例的绘图。
具体实施方式
图1图示了示例使用场景中的一个单层高动态范围(HDR)图像编解码器100。在该使用场景中，相同图像的标准动态范围(SDR)版本和HDR版本经由通信链路120从生产系统110中继到支持HDR的查看系统130。生产系统110包括编码器112。查看系统130包括解码器132和显示器136。编解码器100包括迭代整形函数优化器114和HDR重建器134。显示器136不是编解码器100的一部分，但依赖于编解码器100。迭代整形函数优化器114在编码器112中实施，HDR重建器134在解码器132中实施。
在操作中，生产系统110生成或接收输入SDR图像180和输入HDR图像182，它们表示相同图像的两个不同版本。在另一种场景下，输入SDR图像180表示原始图像内容，并且输入HDR图像182是根据输入SDR图像180产生的，作为输入SDR图像180的兼容HDR且可能增强的版本。编码器112运行迭代整形函数优化器114以处理输入SDR图像180和输入HDR图像182，以优化前向整形函数和后向整形函数。基于这些优化的整形函数，编码器112生成整形后的SDR图像184以及元数据190。元数据190至少对解码器132的HDR重建器134将要使用的优化的后向整形函数的规范进行编码。
生产系统110经由通信链路120将整形后的SDR图像184和元数据190中继到查看系统130。通信链路120可以被限于不允许HDR图像以其原生比特深度进行的方向传输的比特深度。在一个示例中，通信链路120包括一个或多个限于8比特或10比特的接口和/或存储介质。通信链路120可以包括一个或多个无线或有线传输路径，例如在电影流媒体中使用的。可替代地，通信链路120可以利用物理存储介质，比如DVD或蓝光盘。查看系统130可以是内置解码器132的电视机、与具有结合在DVD/蓝光播放器中的解码器132的DVD/蓝光播放器耦接的电视机(或其他显示器)、或者内置解码器132的计算机(例如，台式机、笔记本电脑、智能手机或平板电脑)。
在接收到整形后的SDR图像184和元数据190之后，解码器132运行HDR重建器134，以通过对整形后的SDR图像184应用由元数据190指定的后向整形函数来生成重建的HDR图像186。查看系统130然后可以在显示器136上显示重建的HDR图像186。
在替代性的使用场景中，如果不支持HDR的查看系统接收到整形后的SDR图像184和元数据190，则此不支持HDR的查看系统可以忽略元数据190中包括的后向整形函数规范，而是按原样显示整形后的SDR图像184，或者显示根据整形后的SDR图像184生成的SDR图像。
迭代整形函数优化器114被配置为执行迭代过程以确定前向整形函数和后向整形函数。在每次迭代中，迭代整形函数优化器114优化(a)前向整形函数以最小化整形后的SDR图像184与输入SDR图像180之间的偏差，以及(b)后向整形函数以最小化重建的HDR图像186与输入HDR图像182之间的偏差。在传统单层HDR编解码器的优化过程仅依赖于调整前向整形函数和后向整形函数的特性的情况下，迭代整形函数优化器114利用到输入SDR图像180的后向误差传播。更具体地，迭代整形函数优化器114持续校正SDR输入图像180并基于SDR输入图像180的校正版本重复迭代前向整形函数和后向整形函数的优化，直到满足终止条件。这种采用到输入SDR图像180的后向误差传播的迭代过程降低了优化整形函数的单个迭代的复杂性，并且不但可以提高所得整形函数的性能，还可以使编解码器100适合于比传统的单层HDR编解码器更广泛的应用。
编码器112可以包括处理器和非暂态存储器，其中，迭代整形函数优化器114被实施为存储在非暂态存储器中的软件。该软件可以作为独立产品提供，该独立产品将与第三方处理器一起在例如作为生产系统一部分的第三方计算机上实施。
图2图示了一个用于生成(a)用于将输入HDR图像压缩为整形后的SDR图像的前向整形函数和(b)用于将整形后的SDR图像解压缩为重建的HDR图像的后向整形函数的方法200。方法200将输入SDR图像180和输入HDR图像182作为输入。方法200采用到输入SDR图像180的后向误差传播使用整形函数的迭代优化，并且被配置用于单层HDR图像编解码器。迭代整形函数优化器114可以实施方法200以处理输入SDR图像180和输入HDR图像182，从而生成整形后的SDR图像184和指定后向整形函数的元数据190的一部分。方法200包括步骤210、220、230和240的若干次迭代。
在每次迭代中，步骤210优化前向整形函数以最小化整形后的SDR图像184与输入SDR图像180之间的偏差，并且步骤220优化后向整形函数以最小化重建的HDR图像186与输入HDR图像182之间的偏差。步骤210和220中的每一个可以利用多种优化方法，例如多变量多重回归(MMR)、张量积b样条(TPBS)近似、或者本领域已知的其他优化方法。步骤220可以实施步骤222，对在同一迭代的步骤210中优化的前向整形函数生成的整形后的SDR图像184应用后向整形函数。在步骤210的一个示例中，迭代整形函数优化器114接收输入SDR图像180和输入HDR图像182，优化前向整形函数以最小化(a)输入SDR图像180与(b)通过对输入HDR图像182应用前向整形函数而生成的整形后的SDR图像184之间的偏差。在步骤220的相关示例中，迭代整形函数优化器114处理输入HDR图像182和(通过对输入SDR图像180应用优化的前向整形函数而生成的)整形后的SDR图像184。在该处理中，迭代整形函数优化器114优化后向整形函数以最小化(a)输入HDR图像182与(b)通过对整形后的SDR图像184应用后向整形函数而生成的重建的HDR图像186之间的偏差。
步骤230是在步骤210和220之后执行的决策步骤，其评估是否满足终止条件。如果不满足该终止条件，则方法200进行到步骤240。如果满足该终止条件，则方法200可以继续执行步骤250和252中的一者或两者。步骤230可以由迭代整形函数优化器114执行。在一个实施例中，该终止条件是重建的HDR图像186与输入HDR图像182之间的偏差度量(以下称为单一HDR(HDR-only)偏差度量)不大于阈值量。在另一个实施例中，终止条件是满足复合偏差度量，其中，复合偏差度量是(i)重建的HDR图像186与输入HDR图像182之间的偏差和(ii)整形后的SDR图像184与输入SDR图像180之间的偏差的加权组合。这两个实施例中的任一个都可以扩展以进一步限制迭代的次数，使得当以下两种情况中的任一种发生时满足终止条件：(1)偏差度量(单一HDR或复合)不大于相关联的阈值量，以及(2)已经执行了预定义的最大次数的迭代。
输入SDR图像180和输入HDR图像182可以是具有多个颜色分量通道的彩色图像。在与彩色图像有关的一个实施例中，偏差度量(例如，单一HDR偏差度量和复合偏差度量中的任一者)基于所有多个颜色分量通道。在与彩色图像有关的另一个实施例中，偏差度量仅基于多个颜色分量通道的子集。例如，当颜色分量通道是亮度通道、第一色度通道和第二色度通道时，偏差度量可以基于该唯一的亮度通道，使得该亮度通道用作迭代过程的引导，偏差度量可以仅基于色度通道，使得色度通道用作迭代过程的引导。在方法200的另一个实施例中，与具有亮度通道和两个色度通道的彩色图像有关，迭代优化被应用于色度通道，而用于亮度通道的前向整形函数和后向整形函数仅在步骤210和220的单次迭代中被优化。
步骤240对输入SDR图像180应用校正。在步骤240的一个示例中，迭代整形函数优化器114在将校正后的输入SDR图像180馈送到步骤210、220和240的下一次迭代之前对输入SDR图像180应用校正。在实施例中，步骤230评估偏差度量(比如单一HDR偏差度量)，并且步骤240将输入SDR图像180校正一个量，该量是偏差度量的函数。例如，步骤240可以将输入SDR图像180校正一个量，该量与单一HDR偏差度量成比例，可选地被限制为小于预定义的最大校正量以防止对输入SDR图像的改变过大。在替代性的示例中，步骤240，将校正量与偏差度量相关联的函数更复杂，以便以期望的方式引导迭代优化。步骤240可以逐像素地校正输入SDR图像180，其中，输入SDR图像180的每个像素被校正一个量，该量取决于与该像素有关的偏差度量。
步骤250输出在步骤210的最后一次迭代中使用在本次迭代中优化的前向整形函数生成的整形后的SDR图像。在步骤250的一个示例中，迭代整形函数优化器114输出整形后的SDR图像184。步骤252输出表征在步骤220的最后一次迭代中优化的后向整形函数的一个或多个参数。在步骤252的一个示例中，迭代整形函数优化器114输出这些一个或多个参数作为元数据190的一部分。
尽管图2中未示出，方法200可以包括维持输入SDR图像180的未校正版本。在这样的实施例中，在步骤240的迭代中对输入SDR图像180的所有校正可以在输入SDR图像180的本地副本上执行。
当利用方法200来处理视频时，可以针对视频的每一帧重复方法200。可替代地，方法200可以不那么频繁地重新优化前向整形函数和后向整形函数，并且例如对若干连续帧使用相同的前向整形函数和后向整形函数。
方法200的一个实施例的数学描述：
在此，引入符号是为了讨论方法200的一个实施例，该方法应用于具有t个帧的输入信号，其中，t大于或等于一，并且每一帧由输入SDR图像180和输入HDR图像182表示。令
Figure BDA0003972811990000071
表示输入HDR信号的ch通道t帧处的第i像素。令
Figure BDA0003972811990000072
表示输入SDR信号的ch通道t帧处的第i像素。对于第k次迭代，令前向整形函数的第k次迭代表示为
Figure BDA0003972811990000073
令
Figure BDA0003972811990000074
中使用的参数集的第k次迭代表示为FPt ch,(k)，令后向整形函数的第k次迭代表示为
Figure BDA0003972811990000075
令
Figure BDA0003972811990000076
中使用的参数集的第k次迭代表示为BPt ch,(k)，令
Figure BDA0003972811990000077
表示整形后的SDR信号的ch通道t帧处的第i像素，令
Figure BDA0003972811990000078
表示重建的HDR信号的ch通道t帧处的第i像素，以及令
Figure BDA0003972811990000079
表示校正后的输入SDR信号的ch通道t帧处的第i像素。
在第一次迭代(k＝0)中，方法200的该实施例将校正后的输入SDR信号设置为原始输入SDR信号，即，
Figure BDA0003972811990000081
在方法200的这个实施例每次迭代k中，步骤210找到前向整形函数的参数FPt ch ,(k)，这些参数最小化整形后的SDR信号与校正后的输入SDR信号之间的差异：
Figure BDA0003972811990000082
其中，
Figure BDA0003972811990000083
在方法200的这个实施例的每次迭代k中，步骤210找到后向整形函数的参数，即BPt ch,(k)，这些参数最小化重建的HDR信号与输入HDR信号之间的差异：
Figure BDA0003972811990000084
其中，
Figure BDA0003972811990000085
在每次迭代k结束时，基于整形后的HDR信号和输入HDR信号，方法200的这个实施例中的步骤240确定要在迭代k+1中使用的校正输入SDR信号
Figure BDA0003972811990000086
的量
Figure BDA0003972811990000087
这个量是
Figure BDA0003972811990000088
和
Figure BDA0003972811990000089
的函数：
Figure BDA00039728119900000810
该g函数可以是简单的减法函数
Figure BDA00039728119900000811
可选地通过校正缩放因子缩放和/或进一步结合对后向整形函数的梯度的附加考虑。然后，步骤240将下一次迭代的校正后的输入SDR信号设置为：
Figure BDA00039728119900000812
方法200的这个实施例将HDR和SDR中的偏差度量分别定义为
Figure BDA00039728119900000813
和
Figure BDA00039728119900000814
在该实施例中，步骤230继续方法200的迭代，直到达到预设的最大迭代次数和复合偏差度量不大于阈值中的任一者：
Figure BDA0003972811990000091
其中，wv和ws是组合权重。在一个实施方式中，wv等于一，并且ws等于零，使得复合偏差度量塌陷为单一HDR偏差度量。在另一个实施方式中，组合权重wv和ws被设置为定义HDR失真与SDR失真之间的所需权衡，如下面在“示例1：多项式整形函数”中进一步详细讨论的，它展示了在使用4阶多项式整形函数的示例中使用方法200获得的结果。
图3图示了一个用于优化前向整形函数和后向整形函数的方法300，该方法可以在整形函数的迭代优化的每次迭代中采用到输入SDR图像的后向误差传播来实施。方法300是方法200的步骤210和220的实施例，并且可以由迭代整形函数优化器114来执行。方法300包括步骤310和320，它们分别是步骤210和220的实施例。步骤310使用前向预测模型优化前向整形函数的一个或多个参数390(例如，FPt ch,(k))以最小化(a)输入SDR图像180与(b)通过前向整形函数根据输入HDR图像182生成的整形后的SDR图像184之间的偏差。步骤320使用后向预测模型优化后向整形函数的一个或多个参数392，例如，BPt ch,(k)，以最小化(a)输入HDR图像182与(b)通过后向整形函数根据整形后的SDR图像184生成的重建的HDR图像186之间的偏差。
在步骤310和320的每一个中，预测模型可以结合MMR或TPBS近似。
当方法300在方法200中实施时，方法200的步骤252(如果包括的话)可以输出(多个)参数392。在一个实施方式中，在步骤310的每次迭代中生成的(多个)参数390不用于任何后续步骤。在另一个实施例中，在步骤310的迭代中生成的(多个)参数390可以用作步骤310的后续迭代的起点。在步骤320的每次迭代中生成的重建的HDR图像186可用于(a)步骤230以评估是否满足终止条件，以及(b)步骤240以确定输入SDR图像180被校正的量。
图4图示了一个用于在单层HDR图像编解码器中对输入SDR和HDR图像对进行编码的编码器400。编码器400是被配置为执行方法200的编码器112的实施例。编码器400包括处理器410、接口412和非暂态机器可读存储器420。存储器420存储机器可读指令430，这些机器可读指令包括前向优化指令440、后向优化指令450、SDR图像校正指令460和迭代控制指令470。存储器420可以进一步包括数据存储480，该数据存储被配置为存储编码器400使用的图像、参数和/或其他数据。
编码器400经由接口412接收输入SDR图像180和输入HDR图像182。编码器400可以将输入SDR图像180和输入HDR图像182存储在数据存储480中。一旦编码器400已经执行了方法200，编码器400可以经由接口412输出整形后的SDR图像184和元数据190，其中，元数据190包括通过编码器400优化的后向整形函数的规范。接口412可以同时包括输入接口和输出接口。
前向优化指令440被配置为，当由处理器410执行时，控制处理器410执行方法200的步骤210。为了执行步骤210，处理器410可以从数据存储480取得输入SDR图像180和输入HDR图像182，并将得到的整形后的SDR图像184存储或更新在数据存储480中。在步骤210中，在前向整形参数390的优化期间，处理器410可以进一步使用数据存储480来临时存储这些前向整形参数。
后向优化指令450被配置为，当由处理器410执行时，控制处理器410执行方法200的步骤220。为了执行步骤220，处理器410可以从数据存储480取得整形后的SDR图像184和输入HDR图像182，并将得到的后向整形参数392和重建的HDR图像186存储或更新到数据存储480中。
迭代控制指令470被配置为，当由处理器410执行时，控制处理器410执行方法200的步骤230。迭代控制指令470可以包括终止条件472。当执行迭代控制指令470时，处理器410可以从数据存储480取得输入HDR图像182、重建的HDR图像186、输入SDR图像180和整形后的SDR图像184中的一个或多个，以确定是否满足终止条件472。终止条件472可以包括偏差阈值474(例如，δ)。终止条件472还可以包括最大迭代次数476。
SDR图像校正指令460被配置为，当由处理器410执行时，控制处理器410执行方法200的步骤240。处理器410可以从数据存储480取得输入HDR图像182和重建的HDR图像186以确定输入SDR图像180要被校正的量，然后更新数据存储480中的输入SDR图像180。
指令430可以进一步包括MMR指令442和TPBS指令444中的一者或两者。MMR指令442可以被前向优化指令440和/或后向优化指令450调用以基于MMR执行相关联的优化。TPBS指令444可以被前向优化指令440和/或后向优化指令450调用以基于TPBS近似执行相关联的优化。
图5A和图5B图示了用于仅在色度通道中采用后向误差传播来生成彩色图像的前向整形函数和后向整形函数的方法500，其中，色度通道中的每次优化迭代利用MMR。方法500是方法200的实施例并且可以实施方法300。方法500可以由(例如在编码器400中实施的)迭代整形函数优化器114执行。图5A是用于生成输入SDR和HDR图像对的亮度分量的前向整形函数和后向整形函数的流程图。图5B是用于生成输入SDR和HDR图像对的每个色度分量的前向整形函数和后向整形函数的流程图。
对于输入SDR图像180和输入HDR图像182的彩色版本的亮度分量，方法500包括步骤510L和520L，它们分别是步骤210和220的亮度通道特定的实施例。对于亮度通道，方法500将输入SDR图像580和输入HDR图像582作为输入。输入SDR图像580和输入HDR图像582是彩色图像。输入SDR图像580具有亮度分量(称为输入SDR图像亮度分量580L)和两个色度分量(称为输入SDR图像色度分量580C0和580C1)。输入HDR图像582具有亮度分量(称为输入HDR图像亮度分量582L)和两个色度分量(称为输入HDR图像色度分量582C0和582C1)。步骤510L处理输入SDR图像亮度分量580L和输入HDR图像亮度分量582L。步骤510L优化前向整形函数(由亮度分量的前向整形参数590L表征)，以最小化整形后的SDR图像亮度分量584L与输入SDR图像亮度分量580L之间的偏差。步骤520L优化后向整形函数(由亮度分量的后向整形参数592L表征)，以最小化重建的HDR图像亮度分量586L与输入HDR图像亮度分量582L之间的偏差。
一旦完成步骤510L，方法500就可以执行输出整形后的SDR图像亮度分量584L的步骤550L。一旦完成步骤520L，方法500可以执行输出亮度分量的后向整形参数592L的步骤552L。
对于相关联的色度通道，方法500包括步骤510C、520C、530C和540C，它们分别是步骤210、220、230和240的色度特定的实施例。
步骤510C利用MMR来优化前向整形函数(由第一色度分量的前向整形参数590C0和第二色度分量的590C1表征)，以最小化(a)整形后的SDR图像色度分量584C0与输入SDR图像色度分量580C0之间的偏差和(b)整形后的SDR图像色度分量584C1与输入SDR图像色度分量580C1之间的偏差。步骤510C的MMR过程将输入HDR图像582的所有颜色分量作为输入以(a)同时预测整形后的SDR色度分量584C0和584C1以及(b)优化由各自的前向整形参数590C0和590C1表征的色度通道的前向整形函数。
接下来，步骤520C利用MMR来优化后向整形函数(由第一色度分量的后向整形参数592C0和第二色度分量的后向整形参数592C1表征)，以最小化(a)重建的HDR图像色度分量586C0与输入HDR图像色度分量582C0之间的偏差和(b)重建的HDR图像色度分量586C1与输入HDR图像色度分量582C1之间的偏差。作为预测重建的HDR色度分量和生成两个色度通道的后向整形函数的输入，步骤520的MMR过程采用(在同一次迭代的步骤510C中生成的)整形后的SDR色度分量584C0和584C1和在步骤510L中生成的整形后的SDR亮度分量584L。
步骤530C是评估是否满足色度分量的终止条件的决策步骤。如果不满足该终止条件，则方法500进行到步骤540C和步骤510C、520C和530C的下一次迭代。步骤540C对输入SDR图像色度分量580C0和580C1中的一者或两者应用校正。步骤530C和540C分别是步骤230和240的色度特定的实施例。如果步骤530C发现满足该终止条件，则方法500可以执行步骤550C和552C。步骤550C输出在步骤510C的最后一次迭代中生成的整形后的SDR图像色度分量584C0和584C1。步骤552C输出色度分量的在步骤520C的最后一次迭代中优化的后向整形参数592C0和590C1。
在一类实施例中，步骤510C、520C、510L和520L中的优化基于所涉及图像的单个像素。下面参考图6A和图6B讨论一个这样的实施例。在另一类实施例中，步骤510C、520C、510L和520L中的优化基于所涉及图像的量化值的三维(3D)箱(bin)。在这些实施例中，至少在方法500的一些或全部处理期间，整形后的SDR图像色度分量584C、整形后的SDR图像亮度分量584L、重建的HDR图像色度分量586C和重建的HDR图像亮度分量586C可以通过它们的3D箱表示，而不是更传统的像素表示进行表示。同样地，整形参数590C、592C、590L和592L可以与3D箱而不是单个像素有关。下面参考图7A和图7B讨论方法500的一个基于3D箱的实施例。下文还参考图7A和图7B更详细地讨论了3D箱。
图6A和图6B图示了一个基于像素的方法600，该方法用于仅在色度通道中采用后向误差传播来生成彩色图像的前向整形函数和后向整形函数，其中，色度通道中的每次优化迭代基于MMR。方法600是方法500的实施例。方法600可以由(例如在编码器400中实施的)迭代整形函数优化器114执行。图6A是用于生成输入SDR和HDR图像对的亮度分量的前向整形函数和后向整形函数的流程图。图6B是用于生成输入SDR和HDR图像对的每个色度分量的前向整形函数和后向整形函数的流程图。
对于亮度分量，方法600包括步骤610L和620L，它们分别是步骤510L和520L的实施例。
步骤610L优化亮度分量的前向整形函数，并且包括步骤612L和614L。步骤612L处理整形后的SDR图像亮度分量684L和输入SDR图像亮度分量580L的单个像素，以确定整形后的SDR图像亮度分量684L与输入SDR图像亮度分量580L之间的第一总(所有像素之间)偏差。步骤614L优化亮度通道的前向整形函数的基于像素的参数690L以最小化第一总偏差。步骤614L可以根据整形后的SDR图像亮度分量684L的直方图与输入SDR图像亮度分量580L的直方图之间的累积分布函数(CDF)匹配来确定亮度通道前向整形函数。
步骤620L优化亮度分量的后向整形函数，并且包括步骤622L和624L。步骤622L处理重建的HDR图像亮度分量686L和输入HDR图像亮度分量582L的单个像素，以确定重建的HDR图像亮度分量686L与输入HDR图像亮度分量582L之间的第二总(所有像素之间)偏差。步骤624L优化亮度通道的后向整形函数的基于像素的参数692L以最小化第二总偏差。步骤624L可以根据重建的HDR图像亮度分量686L的直方图与输入HDR图像亮度分量582L的直方图之间的CDF匹配来确定亮度通道前向整形函数。
一旦完成步骤610L，方法600就可以执行输出整形后的SDR图像亮度分量684L的步骤550L。一旦完成步骤620L，方法600就可以执行输出基于像素的参数692L的步骤552L。
对于色度通道，方法600包括步骤610C、620C、630C和640C，它们分别是步骤510C、520C、530C和540C的实施例。
步骤610C优化色度分量的前向整形函数，并且包括步骤612C和614C。对于每个色度分量，步骤612C处理整形后的SDR图像色度分量684C0/C1和输入SDR图像色度分量580C0/C1的单个像素，以确定整形后的SDR图像色度分量684C0/C1与输入SDR图像色度分量580C0/C1之间的第一总(所有像素之间)偏差。步骤612C因此计算每个色度通道的第一总偏差。步骤614C利用MMR来优化(a)第一色度通道的前向整形函数的基于像素的参数690C0，以最小化第一色度通道的第一总偏差，以及优化(b)第二色度通道的前向整形函数的基于像素的参数690C1，以最小化第二色度通道的第一总偏差。
步骤620C优化色度分量的后向整形函数，并且包括步骤622C和624C。对于每个色度分量，步骤622C处理重建的HDR图像色度分量686C0/C1和输入HDR图像色度分量582C0/C1的单个像素，以确定重建的HDR图像色度分量686C0/C1与输入HDR图像色度分量582C0/C1之间的第二总(所有像素之间)偏差。步骤622C因此计算每个色度通道的第二总偏差。步骤624C利用MMR来优化(a)第一色度通道的后向整形函数的基于像素的参数692C0，以最小化第一色度通道的第二总偏差，以及优化(b)第二色度通道的后向整形函数的基于像素的参数692C1，以最小化第二色度通道的第二总偏差。
步骤630C是评估是否满足色度分量的终止条件的决策步骤。如果不满足该终止条件，则方法600进行到步骤640C和步骤610C、620C和630C的下一次迭代。步骤640C对输入SDR图像色度分量580C0和580C1中的一者或两者应用校正。步骤630C和640C分别是步骤530C和540C的基于逐像素处理的实施例。如果步骤630C发现满足该终止条件，则方法600可以进行到步骤550C和552C，以分别输出整形后的SDR图像色度分量684C0和684C1以及基于像素的参数692C0和692C1。
下文在“示例2：基于像素的MMR”中更详细地讨论方法600的一个示例。
图7A至图7C图示了一个基于3D箱的方法700，该方法用于仅在色度通道上采用后向误差传播来生成彩色图像的前向整形函数和后向整形函数，其中，色度通道中的每次优化迭代基于MMR。方法700是方法500的实施例。方法700可以由(例如在编码器400中实施的)迭代整形函数优化器114执行。图7A是用于创建3D箱的流程图。图7B是用于生成输入SDR和HDR图像对的亮度分量的前向整形函数和后向整形函数的流程图。图7C是用于生成输入SDR和HDR图像对的每个色度分量的前向整形函数和后向整形函数的流程图。
方法700包括步骤702和704(见图7A)。步骤702对亮度通道、第一色度通道和第二色度通道中的每一个进行量化。步骤704对具有亮度分量582L、第一色度分量582C0和第二色度分量582C1的输入HDR图像582进行分箱。更具体地，步骤704将输入HDR图像582中的、在亮度分量582L、第一色度分量582C0和第二色度分量582C1的每一个中具有相同量化值的像素都分组到3D箱中。例如，步骤702可以在箱编号为0至99的100个像素值箱中量化每个颜色分量通道，然后步骤704将输入HDR图像582的所有像素都分组到所分配的3D箱编号为12、46、33的3D箱中，亮度分量582L的像素值在亮度通道的12号箱中，第一色度分量582C0的像素值在第一色度通道的46号箱中，以及第二色度分量582C1的像素值位于第二个色度通道的33号箱中。步骤704还对输入SDR图像580的像素应用因此由输入HDR图像582定义的像素的3D分箱。在方法700的后续步骤中，相同的3D分箱被用于通过方法700生成的整形后的SDR图像。
总之，步骤704生成输入HDR 3D分箱的图像数据782和输入SDR 3D分箱的图像数据780。输入HDR 3D分箱的图像数据782包括输入HDR 3D分箱的亮度分量782L、输入HDR 3D分箱的色度分量782C0和输入HDR 3D分箱的色度分量782C1。术语输入HDR 3D分箱的色度分量782C非特定地指输入HDR 3D分箱的色度分量782C0和782C1之一。输入SDR 3D分箱的图像数据780包括输入SDR 3D分箱的亮度分量782L、输入SDR 3D分箱的色度分量780C0和输入SDR3D分箱的色度分量780C1。术语输入SDR3D分箱的色度分量780C非特定地指输入SDR 3D分箱的色度分量780C0和780C1之一。
与基于像素的方法600相比，基于3D箱的方法700可以节省内存空间，并且提供更快的处理和/或减少对计算资源的需求，因为所有看起来相似的像素都被分组在一起。步骤702和704可以被编码在图4的编码器400的机器可读指令430中。
在完成步骤704之后，方法700行进到如图7B所示的亮度通道的优化和如图7C所示的色度通道的优化。
对于亮度分量，方法700包括步骤710L和720L，它们分别是步骤510L和520L的实施例。
步骤710L优化亮度分量的前向整形函数，并且包括步骤712L和714L。步骤712L和714L类似于步骤612L和614L，不同之处在于对3D箱而不是单个像素进行操作。因此，步骤710L生成3D分箱的整形后的SDR亮度分量数据784L来代替整形后的SDR图像亮度分量684L，并优化亮度通道的前向整形函数的基于3D箱的参数790L。
步骤720L优化亮度分量的后向整形函数，并且包括步骤722L和724L。步骤722L和724L类似于步骤622L和624L，不同之处在于对3D箱而不是单个像素进行操作。因此，步骤720L生成亮度通道的后向整形函数的基于3D箱的参数792L，并使用3D分箱的重建的HDR亮度分量数据786L代替重建的HDR图像亮度分量686L进行操作。
一旦完成步骤710L，方法700就可以执行输出整形后的3D分箱的整形后的SDR色度分量数据784C的步骤550L。在不脱离本公开范围的情况下，方法700可以包括将整形后的3D分箱的整形后的SDR亮度分量数据784L转换为整形后的SDR亮度分量的基于像素的表示，以及在步骤550L中输出这个基于像素的表示。一旦完成步骤720L，方法700就可以执行输出基于3D箱的参数792L的步骤552L。
对于色度通道，方法700包括步骤710C、720C、730C和740C，它们分别是步骤510C、520C、530C和540C的实施例。
步骤710C优化色度分量的前向整形函数，并且包括步骤712C和714C。步骤712C和714C类似于步骤612C和614C，不同之处在于对3D箱而不是单个像素进行操作。因此，步骤710C生成3D分箱的整形后的SDR色度分量数据784C0和784C1来代替整形后的SDR图像色度分量684C0和684C1，并分别优化第一色度通道和第二色度通道的前向整形函数的基于3D箱的参数790C0和790C1。
步骤720C优化色度分量的后向整形函数，并且包括步骤722C和724C。步骤722C和724C类似于步骤622C和624C，不同之处在于对3D箱而不是单个像素进行操作。因此，步骤720C生成第一色度通道的后向整形函数的基于3D箱的参数792C0和第二色度通道的后向整形函数的基于3D箱的参数792C1，并使用3D分箱的重建的HDR色度分量数据786C0和786C1代替重建的HDR图像色度分量686C0和686C1进行操作。
步骤730C是评估是否满足色度分量的终止条件的决策步骤。如果不满足该终止条件，则方法700进行到步骤740C和步骤710C、720C和730C的下一次迭代。步骤740C对输入SDR3D分箱的色度分量780C0和780C1中的一者或两者应用校正。步骤730C和740C分别类似于步骤630C和640C，不同之处在于基于逐3D箱处理而不是逐像素处理。如果步骤730C发现满足该终止条件，则方法700可以进行到步骤550C和552C，以分别输出整形后的3D分箱的整形后的SDR色度分量数据784C0和784C1以及基于3D箱的参数792C0和782C1。在不脱离本公开范围的情况下，方法700可以包括将整形后的3D分箱的整形后的SDR色度分量数据784C0和784C1转换为整形后的SDR色度分量的基于像素的表示，以及在步骤550C中输出这些基于像素的表示。
下文在“示例3：基于3D箱的MMR”中更详细地讨论方法700的一个示例。
在不脱离本公开范围的情况下，色度通道可以通过基于3D箱的方法700(根据图7A和图7B中概述的流程图)来处理，而亮度通道可以通过基于像素的方法600(根据图6B中概述的流程图)来处理。
图8图示了一个用于生成彩色图像的前向整形函数和后向整形函数的基于像素的方法800，其中在每个颜色分量通道中采用基于迭代TPBS近似的优化和后向误差传播。方法800是方法200的实施例并且可以实施方法300。方法800可以由(例如在编码器400中实施的)迭代整形函数优化器114执行。方法800包括步骤810、820、830和840，它们分别是步骤210、220、230和240的实施例。
每个颜色分量通道，方法800将输入SDR图像580和输入HDR图像582作为输入，并执行步骤810、820、830和840的一次或多次迭代以生成所考虑的颜色分量通道的前向整形函数和后向整形函数，以及相关联的整形后的SDR图像数据。对于颜色分量通道，如果只执行一次迭代，则从该颜色分量通道的处理中省略步骤840。
步骤810优化所考虑的颜色分量通道的前向整形函数，并且包括步骤812和814。步骤812处理整形后的SDR图像颜色分量784和输入SDR图像580的相关联的颜色分量(即颜色分量580L、580C0和580C1之一)的单个像素，以确定整形后的SDR图像颜色分量784与输入SDR图像580的颜色分量之间的第一总(所有像素之间)偏差。步骤814利用TPBS近似来优化颜色分量通道的前向整形函数的基于像素的参数790，以最小化第一总偏差。
步骤820优化所考虑的颜色分量通道的后向整形函数，并且包括步骤822和824。步骤822处理重建的HDR图像颜色分量786和输入HDR图像582的相关联的颜色分量(即颜色分量582L、582C0和582C1之一)的单个像素，以确定重建的HDR图像颜色分量786与输入HDR图像582的颜色分量之间的第二总(所有像素之间)偏差。步骤824利用TPBS近似来优化颜色分量通道的后向整形函数的基于像素的参数792，以最小化第二总偏差。
步骤830是评估是否满足颜色分量的终止条件的决策步骤。如果不满足该终止条件，则方法800进行到步骤840和步骤810、820和830的下一次迭代。步骤840对所考虑的输入SDR图像580的颜色分量应用校正。步骤830和840分别是步骤230和240的实施例。如果步骤830发现满足该终止条件，则方法800可以进行到步骤850和852。步骤850输出在步骤810的最后一次迭代中优化的所考虑的颜色分量通道的整形后的SDR图像颜色分量784。步骤852输出在步骤820的最后一次迭代中优化的所考虑的颜色分量通道的基于像素的参数792。
下文在“示例4：基于像素的TPBS近似”中更详细地讨论方法800的一个示例。
以方法700是基于像素的方法600的基于3D箱的替代方案的相同方式，方法800可以被修改以代替处理3D分箱的图像数据。下文在“示例5：基于3D箱的TPBS近似”中更详细地讨论这种方法的一个示例。
示例1：多项式整形函数
在本示例中，方法200是在前向整形函数
Figure BDA0003972811990000171
和后向整形函数
Figure BDA0003972811990000172
分别为4阶多项式的情况下执行的，使得步骤210和220中的每一个分别优化五个多项式系数。这种优化可以根据最小二乘最小化来完成。虽然更高级的优化算法有望提供更好的性能，但本示例在此处用作说明，并且可以在计算容易程度超过性能的场景下实现。在方法200的本示例中处理的输入数据仅具有单个颜色分量，相当于亮度分量、单个色度分量或灰度图像数据。
输入HDR图像182是使用随机像素值生成的。输入SDR图像180是通过裁剪动态范围、引入多项式失真以及添加噪声根据输入HDR图像182生成的。HDR像素值与SDR像素值之间的所得对应关系900绘制在图9中。方法200应用于输入SDR图像180和输入HDR图像182的这些示例，其中执行100次迭代。
图10针对输入HDR图像182的每第250个像素并且根据迭代次数绘制了输入HDR图像182与步骤220中生成的重建的HDR图像186之间的偏差。图10中的每条曲线对应于不同的像素。图11根据迭代次数绘制了在步骤240中被校正的输入SDR图像180的每第250个像素的像素值。图12针对输入SDR图像180的每第250个像素并且根据迭代次数绘制了输入SDR图像180与步骤240中校正的整形后的SDR图像184之间的偏差。图14根据迭代次数绘制了总SDR失真，该总SDR失真被计算为图12中绘制的SDR偏差之和。图13根据迭代次数绘制了总HDR失真，该总HDR失真被计算为图10中绘制的HDR偏差之和。从图10和图13中可以明显看出，方法200中的迭代优化收敛并减少了输入HDR图像182与重建的HDR图像186之间的差异。同时，从图11、图12和图14中可以明显看出，输入HDR图像182与重建的HDR图像186之间的改进的一致性是以向整形后的SDR图像184引入一些失真为代价的。根据应用场景和相关联的要求，组合权重wv和ws可以调整以定义HDR失真与SDR失真之间的所需权衡。
图15绘制了在步骤210的最后一次迭代中生成的前向整形函数1500以及对应关系900。前向整形函数1500解决了对应关系900中的裁剪问题，同时实现了与对应关系900的未裁剪部分的合理的一致性。由于前向整形函数避免了裁剪，因此在显示系统被配置为显示SDR图像的场景中，整形后的SDR图像184可能优于输入SDR图像180。图16绘制了在步骤220的最后一次迭代中生成的后向整形函数1600以及对应关系900。后向整形函数1600虽然间接地部分基于输入SDR图像180，但也没有表现出对应关系900中的裁剪问题，并且进一步实现了与对应关系900的未裁剪部分的合理的一致性。前向整形函数和后向整形函数两者都显示了对应关系900的未裁剪部分的一些残余失真。这种失真可能至少部分是本示例中应用的优化的相对简单的(4阶多项式)性质的结果。
示例2：基于像素的MMR
在下文中，我们概述了方法600的一个示例。
亮度通道：
在本示例中，亮度通道(表示为y)是单通道预测器。步骤620L中的前向整形函数是一维(1D)查找表(LUT)，并且步骤610L中的后向整形函数是8项2阶多项式预测器。后向整形函数也被表达为1D-LUT。注意，由于预测器是1D-LUT并且可以以可逆方式轻松获得，因此亮度通道中不涉及迭代。我们定义了以下符号：
Figure BDA0003972811990000191
Figure BDA0003972811990000192
Figure BDA0003972811990000193
并且
Figure BDA0003972811990000194
色度通道：
色度通道(c0和c1)使用MMR预测。在步骤610C的MMR前向整形中，我们采用来自HDR域中的所有三个颜色分量通道
Figure BDA0003972811990000195
作为输入来预测SDR色度分量
Figure BDA0003972811990000196
和
Figure BDA0003972811990000197
在第k次迭代中，所预测(整形)的值是
Figure BDA0003972811990000198
我们使用这三个SDR预测值作为步骤620C中后向整形优化的输入来预测HDR色度值
Figure BDA0003972811990000199
在第k次迭代中所预测(重建)的值是
Figure BDA00039728119900001910
注意，每次迭代中使用的一些矩阵不会发生改变并且可以预先被计算。
初始化：
在第一次迭代(k＝0)中，对于所有3个通道(ch＝y、c0和c1)，我们将校正后的输入SDR图像设置为原始输入SDR图像，即
Figure BDA00039728119900001911
将第i个输入HDR像素的MMR扩展形式表示为：
Figure BDA00039728119900001912
收集所有P个像素以获得扩展矩阵：
Figure BDA0003972811990000201
我们还可以定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA0003972811990000202
我们还准备了向量形式的输入HDR色度分量：
Figure BDA0003972811990000203
并且
Figure BDA0003972811990000204
注意
Figure BDA0003972811990000205
Vt、
Figure BDA0003972811990000206
和
Figure BDA0003972811990000207
在迭代期间中不会发生改变，因为它们表示输入HDR图像。它们可以预先被计算并存储在存储器中而无需重新计算。
前向整形：
通过c0和c1通道中的前向MMR系数
Figure BDA0003972811990000208
和
Figure BDA0003972811990000209
第k次迭代中的预测SDR值可以经由以下公式得到
Figure BDA00039728119900002010
以及
Figure BDA00039728119900002011
其中，
Figure BDA00039728119900002012
并且
Figure BDA00039728119900002013
在每次迭代中，我们从前一次迭代中收集校正后的SDR值作为向量
Figure BDA00039728119900002014
并且
Figure BDA00039728119900002015
这两个向量将是前向预测第k次迭代中要实现的目标值。注意，亮度预测值在每次迭代中都不会发生改变。
定义以下两个向量，方便讨论系数优化：
Figure BDA0003972811990000211
以及
Figure BDA0003972811990000212
系数优化的目标是找到MMR系数，以在第k次迭代中最小化校正后的输入SDR信号与预测(整形)的SDR信号之间的均方误差(MSE)：
Figure BDA0003972811990000213
Figure BDA0003972811990000214
前向整形中的最佳MMR系数可以作为最小二乘解找到：
Figure BDA0003972811990000215
以及
Figure BDA0003972811990000216
第k次迭代中的最佳预测SDR值可以被表达为
Figure BDA0003972811990000217
以及
Figure BDA0003972811990000218
后向整形：
在第k次迭代中，将预测SDR像素的MMR扩展形式表示为
Figure BDA0003972811990000219
我们可以收集所有P个像素一起构成矩阵
Figure BDA00039728119900002110
定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA00039728119900002111
通过c0和c1通道中的后向MMR系数
Figure BDA0003972811990000221
和
Figure BDA0003972811990000222
第k次迭代中的预测HDR值可以经由以下公式得到
Figure BDA0003972811990000223
以及
Figure BDA0003972811990000224
其中，
Figure BDA0003972811990000225
并且
Figure BDA0003972811990000226
我们还定义了以下向量，以促进系数优化：
Figure BDA0003972811990000227
Figure BDA0003972811990000228
优化目标是找到MMR系数，以在第k次迭代中最小化原始输入HDR信号与预测(重建)的HDR信号之间的MSE：
Figure BDA0003972811990000229
Figure BDA00039728119900002210
后向整形中的最佳MMR系数可以作为最小二乘解找到：
Figure BDA00039728119900002211
并且
Figure BDA00039728119900002212
预测HDR值可以被表达为
Figure BDA00039728119900002213
以及
Figure BDA00039728119900002214
步骤630C和640C中校正后的输入SDR信号的迭代控制和计算：
在每次迭代结束时，基于重建的HDR信号和输入HDR信号，我们确定分别校正输入SDR信号
Figure BDA0003972811990000231
和
Figure BDA0003972811990000232
的量
Figure BDA0003972811990000233
和
Figure BDA0003972811990000234
这些校正量是
Figure BDA0003972811990000235
和
Figure BDA0003972811990000236
的函数：
Figure BDA0003972811990000237
ε是确定是否继续在步骤640C中进行输入SDR图像校正的阈值。αch是收敛比例因子，用作收敛速度和失真之间的权衡。为了避免输入SDR信号发生太大变化，我们可以将校正上限设置为
Figure BDA0003972811990000238
在步骤640C中，更新校正后的输入SDR值用于下一次迭代：
Figure BDA0003972811990000239
迭代终止：
如上文参考图2在“方法200的一个实施例的数学描述”小节中所讨论的那样执行迭代终止。
示例3：基于3D箱的MMR
在下文中，我们概述了方法700的一个示例。
3D分箱的基础：
令
Figure BDA00039728119900002310
表示第t帧的来自输入HDR信号的第i像素的三个颜色值。令
Figure BDA00039728119900002311
表示第t帧第i像素处的输入SDR图像中的对应像素。我们对于每个颜色分量使用固定数量的箱Qy,
Figure BDA00039728119900002312
来量化具有三个通道值(Y，C0和C1)的HDR图像。我们使用在每个维度上覆盖最小/最大
Figure BDA00039728119900002313
值的统一分区边界来计算
Figure BDA00039728119900002314
3D直方图。每个通道的量化间隔是
Figure BDA00039728119900002315
将3D直方图箱表示为
Figure BDA00039728119900002316
其中，
Figure BDA00039728119900002317
因此，
Figure BDA00039728119900002318
总共包含
Figure BDA00039728119900002319
个箱，使得每个3D箱由箱索引
Figure BDA00039728119900002320
指定，该箱索引表示具有这些3通道量化值的像素数。为了简化符号，我们将3D箱索引{q}向量化到1D索引{q}。
Figure BDA0003972811990000241
我们还针对每个3D箱计算SDR中每个颜色分量之和。令
Figure BDA0003972811990000242
和
Figure BDA0003972811990000243
是SDR图像域中映射的亮度和色度值，使得这些箱中的每个箱都包含所有HDR亮度和色度(分别为C0和C1)像素值之和，其中，对应的像素值位于该箱中。
假设我们有P个像素，这些操作可以在伪代码中总结如下：
Figure BDA0003972811990000244
下一步骤是找到具有非零像素数的3D直方图箱。换句话说，我们收集所有非零条目来设置
Figure BDA0003972811990000251
我们计算HDR
Figure BDA0003972811990000252
和SDR
Figure BDA0003972811990000253
的平均值，在伪代码中概述如下：
Figure BDA0003972811990000254
令Pt表示
Figure BDA0003972811990000255
中元素的数量。
Figure BDA0003972811990000256
并且
Figure BDA0003972811990000257
然后，对于
Figure BDA0003972811990000261
中的元素，我们有映射对
Figure BDA0003972811990000262
和
Figure BDA0003972811990000263
优化：
方法700的本示例然后对3D映射对
Figure BDA0003972811990000264
和
Figure BDA0003972811990000265
应用迭代的基于MMR的优化，其中，
Figure BDA0003972811990000266
在前向整形中，我们将所有
Figure BDA0003972811990000267
作为输入来预测
Figure BDA0003972811990000268
中的色度(即
Figure BDA0003972811990000269
和
Figure BDA00039728119900002610
)。在第k次迭代中，所预测(整形后的SDR)的值是
Figure BDA00039728119900002611
我们使用这三个SDR预测3D值作为后向整形的输入来预测HDR色度值
Figure BDA00039728119900002612
Figure BDA00039728119900002613
在第k次迭代中所预测的值是
Figure BDA00039728119900002614
注意，每次迭代中使用的一些矩阵不会发生改变并且可以预先被计算。
初始化：
在第一次迭代(k＝0)中，我们将校正后的输入3D分箱的SDR设置为原始输入SDR，即，
Figure BDA00039728119900002615
对于所有3个通道(ch＝y、c0和c1)。
将第i个输入HDR条目的MMR的扩展形式表示为：
Figure BDA00039728119900002616
收集所有Pt个条目以获得扩展矩阵：
Figure BDA00039728119900002617
我们还定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA00039728119900002618
我们还准备了向量形式的输入3D分箱的HDR色度值：
Figure BDA00039728119900002619
以及
Figure BDA00039728119900002620
注意，
Figure BDA00039728119900002621
Vt、
Figure BDA00039728119900002622
和
Figure BDA00039728119900002623
在迭代期间中不会发生改变，因为它们表示HDR输入值。它们可以预先被计算并存储在存储器中而无需重新计算。
前向整形：
通过c0和c1通道中的前向MMR系数
Figure BDA0003972811990000271
和
Figure BDA0003972811990000272
第k次迭代中的预测SDR值可以经由以下公式得到
Figure BDA0003972811990000273
Figure BDA0003972811990000274
其中，
Figure BDA0003972811990000275
并且
Figure BDA0003972811990000276
在每次迭代中，我们从前一次迭代中收集校正后的SDR值作为向量
Figure BDA0003972811990000277
以及
Figure BDA0003972811990000278
这两个向量将是前向预测过程第k次迭代中要实现的目标值。注意，亮度预测值在每次迭代中都不会发生改变。
定义以下两个向量，以方便讨论系数优化：
Figure BDA0003972811990000279
并且
Figure BDA00039728119900002710
系数优化的目标是找到MMR系数，以在第k次迭代中最小化校正后的输入SDR信号与预测的SDR信号之间的MSE：
Figure BDA00039728119900002711
Figure BDA00039728119900002712
前向整形中的最佳MMR系数可以通过最小二乘解解决：
Figure BDA00039728119900002713
Figure BDA0003972811990000281
第k次迭代中的最佳预测SDR值可以被表达为
Figure BDA0003972811990000282
并且
Figure BDA0003972811990000283
后向整形：
在第k次迭代中，将预测SDR像素的MMR扩展形式表示为
Figure BDA0003972811990000284
我们可以收集所有P个像素一起构成矩阵
Figure BDA0003972811990000285
定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA0003972811990000286
通过c0和c1通道中的后向MMR系数
Figure BDA0003972811990000287
和
Figure BDA0003972811990000288
第k次迭代中的预测HDR值可以经由以下公式得到
Figure BDA0003972811990000289
并且
Figure BDA00039728119900002810
其中，
Figure BDA00039728119900002811
并且
Figure BDA00039728119900002812
我们还定义了以下向量，以促进系数优化：
Figure BDA00039728119900002813
Figure BDA00039728119900002814
优化目标是找到MMR系数，以在第k次迭代中最小化原始输入HDR条目与预测的HDR条目之间的MSE：
Figure BDA0003972811990000291
Figure BDA0003972811990000292
后向整形中的最佳MMR系数可以作为最小二乘解找到：
Figure BDA0003972811990000293
并且
Figure BDA0003972811990000294
预测HDR值可以被表达为
Figure BDA0003972811990000295
并且
Figure BDA0003972811990000296
校正后的输入SDR信号的迭代控制和计算：
在每次迭代结束时，基于整形后的HDR信号和原始输入HDR信号，我们确定校正输入SDR信号
Figure BDA0003972811990000297
和
Figure BDA0003972811990000298
的量
Figure BDA0003972811990000299
和
Figure BDA00039728119900002910
这些校正量是
Figure BDA00039728119900002911
和
Figure BDA00039728119900002912
的函数：
Figure BDA00039728119900002913
更新校正后的输入SDR值用于下一次迭代：
Figure BDA00039728119900002914
迭代终止：
如上文参考图2在“方法200的一个实施例的数学描述”小节中所讨论的那样执行迭代终止。
示例4：基于像素的TPBS近似
在下文中，我们概述了方法800的一个示例。
初始化：
在第一次迭代(k＝0)中，我们将校正后的输入SDR设置为原始输入SDR，即，
Figure BDA0003972811990000301
对于所有3个通道(ch＝y、c0和c1)。
回想一下，对于在第k次迭代处的ch通道，TPBS被定义为
Figure BDA0003972811990000302
其中，
Figure BDA0003972811990000303
是前向TPBS基函数，并且
Figure BDA0003972811990000304
是对应的前向系数。通过一个帧中的所有P个像素，我们可以构造设计矩阵的矩阵形式：
Figure BDA0003972811990000305
我们还可以定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA0003972811990000306
我们还准备了向量形式的输入HDR色度值：
Figure BDA0003972811990000307
注意，
Figure BDA0003972811990000308
和
Figure BDA0003972811990000309
在迭代期间中不会发生改变，因为它们表示HDR输入值。它们可以预先被计算并存储在存储器中而无需重新计算。
前向整形：
通过ch通道中的前向TPBS系数
Figure BDA00039728119900003010
第k次迭代中的预测SDR值可以经由以下公式得到
Figure BDA00039728119900003011
其中，
Figure BDA0003972811990000311
在每次迭代中，我们从前一次迭代中收集校正后的SDR值作为每个通道的向量：
Figure BDA0003972811990000312
这三个向量将是前向预测第k次迭代中要实现的目标值。定义该三个通道的以下向量，以方便讨论系数优化：
Figure BDA0003972811990000313
系数优化的目标是找到TPBS系数，以在第k次迭代中最小化校正后的输入SDR信号与预测的SDR信号之间的MSE。对于每个通道，我们解决以下优化问题：
Figure BDA0003972811990000314
前向整形中的最佳TPB系数可以作为最小二乘解找到：
Figure BDA0003972811990000315
第k次迭代中的最佳预测SDR值可以被表达为
Figure BDA0003972811990000316
后向整形：
在第k次迭代中，将HDR中的预测TPBS值表示为
Figure BDA0003972811990000317
其中，
Figure BDA0003972811990000318
是后向TPBS基函数，并且
Figure BDA0003972811990000319
是对应的后向系数。通过一个帧中的所有P个像素，我们可以构造设计矩阵的矩阵形式：
Figure BDA0003972811990000321
定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA0003972811990000322
通过ch通道中的后向TPBS系数
Figure BDA0003972811990000323
第k次迭代中的预测HDR值可以经由以下公式得到
Figure BDA0003972811990000324
其中，
Figure BDA0003972811990000325
我们还定义了以下向量，以促进系数优化：
Figure BDA0003972811990000326
优化目标是找到TPBS系数，以在第k次迭代中最小化原始输入HDR信号与预测的HDR信号之间的MSE：
Figure BDA0003972811990000327
后向整形中的最佳MMR系数可以作为最小二乘解找到：
Figure BDA0003972811990000328
预测HDR值可以被表达为
Figure BDA0003972811990000329
校正后的输入SDR信号的迭代控制和计算：
在每次迭代结束时，基于整形后的HDR信号和原始输入HDR信号，我们确定校正输入SDR信号
Figure BDA0003972811990000331
的量
Figure BDA0003972811990000332
该校正量是
Figure BDA0003972811990000333
和
Figure BDA0003972811990000334
的函数：
Figure BDA0003972811990000335
为了避免输入SDR信号发生太大变化，我们可以将校正上限设置为
Figure BDA0003972811990000336
更新校正后的输入SDR值用于下一次迭代：
Figure BDA0003972811990000337
迭代终止：
如上文参考图2在“方法200的一个实施例的数学描述”小节中所讨论的那样执行迭代终止。
示例5：基于3D箱的TPBS近似
在下文中，我们概述了方法800的修改为基于3D箱处理的一个示例。3D分箱与“示例3：基于3D箱的MMR”中的相同。按照这个3D分箱过程，我们有映射对
Figure BDA0003972811990000338
和
Figure BDA0003972811990000339
其中
Figure BDA00039728119900003310
在前向整形中，我们将所有
Figure BDA00039728119900003311
作为输入来预测
Figure BDA00039728119900003312
中的所有通道(即
Figure BDA00039728119900003313
和
Figure BDA00039728119900003314
)。在第k次迭代中，所预测的值是
Figure BDA00039728119900003315
我们使用这三个SDR预测3D分箱的值作为后向整形的输入来预测HDR值
Figure BDA00039728119900003316
Figure BDA00039728119900003317
在第k次迭代中所预测的值是
Figure BDA00039728119900003318
注意，每次迭代中使用的一些矩阵不会发生改变并且可以预先被计算。
初始化：
在第一次迭代(k＝0)中，我们将校正后的3D分箱的输入SDR信号设置为原始3D分箱的输入SDR信号，即，
Figure BDA00039728119900003319
对于所有3个通道(ch＝y、c0和c1)。
预测值为：
Figure BDA0003972811990000341
通过一个帧中的所有Pt个条目，我们可以构造设计矩阵的矩阵形式：
Figure BDA0003972811990000342
我们还可以定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA0003972811990000343
我们还准备了向量形式的输入HDR ch通道：
Figure BDA0003972811990000344
注意
Figure BDA0003972811990000345
和
Figure BDA0003972811990000346
在迭代期间中不会发生改变，因为它们表示输入HDR值。它们可以预先被计算并存储在存储器中而无需重新计算。
前向整形：
通过ch通道中的前向TPBS系数
Figure BDA0003972811990000347
第k次迭代中的预测SDR值可以经由以下公式得到
Figure BDA0003972811990000348
其中，
Figure BDA0003972811990000349
在每次迭代中，我们从前一次迭代中收集校正后的SDR值作为向量
Figure BDA0003972811990000351
这三个向量将是前向预测第k次迭代中要实现的目标值。定义该三个通道的以下向量，以方便讨论系数优化：
Figure BDA0003972811990000352
系数优化的目标是找到TPBS系数，以在第k次迭代中最小化校正后的输入SDR信号与预测的SDR信号之间的MSE：
Figure BDA0003972811990000353
前向整形中的最佳TPBS系数可以作为最小二乘解找到：
Figure BDA0003972811990000354
第k次迭代中的最佳预测SDR值可以被表达为
Figure BDA0003972811990000355
后向整形：
在第k次迭代中，将HDR中的预测TPB值表示为
Figure BDA0003972811990000356
其中，
Figure BDA0003972811990000357
是后向TPBS基函数，并且
Figure BDA0003972811990000358
是对应的后向系数。通过一个帧中的所有Pt个条目，我们可以构造设计矩阵的矩阵形式：
Figure BDA0003972811990000359
定义以下矩阵，该矩阵将在系数优化过程中使用：
Figure BDA00039728119900003510
通过ch通道中的后向TPBS系数
Figure BDA0003972811990000361
第k次迭代中的预测HDR值可以经由以下公式得到
Figure BDA0003972811990000362
其中，
Figure BDA0003972811990000363
我们还定义了以下向量，以促进系数优化：
Figure BDA0003972811990000364
优化目标是找到TPBS系数，以在第k次迭代中最小化原始输入HDR信号与预测的HDR信号之间的MSE：
Figure BDA0003972811990000365
后向整形中的最佳TPBS系数可以通过最小二乘解解决：
Figure BDA0003972811990000366
预测HDR值可以被表达为
Figure BDA0003972811990000367
校正后的输入SDR信号的迭代控制和计算：
在每次迭代结束时，基于整形后的HDR信号和原始输入HDR信号，我们确定校正输入SDR信号
Figure BDA0003972811990000368
的量
Figure BDA0003972811990000369
该校正量是
Figure BDA00039728119900003610
和
Figure BDA00039728119900003611
的函数：
Figure BDA00039728119900003612
更新校正后的输入SDR值用于下一次迭代：
Figure BDA00039728119900003613
迭代终止：
如上文参考图2在“方法200的一个实施例的数学描述”小节中所讨论的那样执行迭代终止。
特征组合
在不脱离其范围的情况下，上述特征以及以下要求保护的特征可以以各种方式组合。例如，将理解的是，本文描述的一个图像整形方法和产品的方面可以结合或交换本文描述的另一个图像整形方法或产品的特征。以下示例说明了以上所描述的实施例的一些可能的非限制性组合。应当清楚的是，在不脱离本公开的精神和范围的情况下，可以对本文的方法、产品和系统进行许多其他改变和修改：
(A1)一个方法，该方法用于生成(a)用于将输入高动态范围(HDR)图像压缩为整形后的标准动态范围(SDR)图像的前向整形函数和(b)用于将该整形后的SDR图像解压缩为重建的HDR图像的后向整形函数，该方法包括：(i)优化该前向整形函数以最小化该整形后的SDR图像与该输入HDR图像对应的输入SDR图像之间的偏差，(ii)优化该后向整形函数以最小化该重建的HDR图像与该输入HDR图像之间的偏差，以及(iii)直到满足终止条件，对该输入SDR图像应用校正，并基于校正后的输入SDR图像，重复优化该前向整形函数和该后向整形函数的步骤。
(A2)在表示为(A1)的方法中，应用该校正的步骤可以包括对该输入SDR图像的一个或多个颜色分量通道中的每一个颜色分量通道的每个像素应用基于偏差的校正值，对于对应的像素和对应的颜色分量通道，该校正值同该重建的HDR图像与该输入HDR图像之间的偏差成比例，至少只要该基于偏差的校正值小于预定义的最大校正值。
(A3)在表示为(A2)的方法中，对于该输入SDR图像的一个或多个颜色分量通道中的每一个颜色分量通道的每个像素，对于对应的像素和对应的颜色分量通道，该校正值可以同该重建的HDR图像与该输入HDR图像之间的偏差成比例。
(A4)在表示为(A2)和(A3)的任一方法中，至少直到达到优化该前向整形函数和该后向整形函数的步骤的预定义的最大迭代次数，该终止条件可以是至少该重建的HDR图像与该输入HDR图像之间的偏差度量不大于阈值量。
(A5)在表示为(A4)的方法中，该偏差度量可以是(i)该重建的HDR图像与该输入HDR图像之间的该偏差和(ii)该整形后的SDR图像与该输入SDR图像之间的偏差的加权组合。
(A6)在表示为(A4)和(A5)的任一方法中，该偏差度量可以仅基于定义该输入SDR图像和该输入HDR图像中的每一者的该颜色分量通道的子集。
(A7)在表示为(A6)的方法中，该颜色分量通道可以包括亮度通道和两个色度通道，并且该子集可以是该亮度通道。
(A8)在表示为(A6)的方法中，该颜色分量通道可以包括亮度通道和两个色度通道，并且该子集可以是该两个色度通道。
(A9)在表示为(A1)至(A8)的任一方法中，优化该后向整形函数的步骤可以包括对由优化的前向整形函数生成的该整形后的SDR图像应用该后向整形函数。
(A10)在表示(A1)至(A9)的任一方法中，优化该前向整形函数并对该输入SDR图像应用校正的步骤可以利用输入SDR图像的本地副本，并且该方法可以进一步包括维维持输入SDR图像的未校正版本。
(A11)表示为(A1)至(A10)的任一方法可以包括对多个颜色分量通道中的每一个颜色分量通道执行优化该前向整形函数和优化该后向整形函数的步骤。
(A12)在表示为(A11)的方法中，颜色分量通道可以包括亮度通道、第一色度通道和第二色度通道，其中，(a)对于该亮度通道，该方法仅在优化该前向整形函数和该后向整形函数的步骤的单次迭代中优化该前向整形函数和该后向整形函数，以及(b)对于该第一色度通道和该第二色度通道中的每一者，优化该前向整形函数和该后向整形函数的步骤利用多变量多重回归。
(A13)一种用于编码HDR图像的方法可以包括在接收到输入HDR图像和输入SDR图像之后，执行表示为(A1)至(A12)的任一方法以生成迭代优化的前向整形函数和迭代优化的后向整形函数。该方法可以进一步包括输出(i)在优化该前向整形函数的步骤的最后一次迭代中生成的该整形后的SDR图像和(ii)表征在优化该后向整形函数的步骤的最后一次迭代中优化的该后向整形函数的参数。
(B1)一个软件产品，该软件产品用于生成(a)用于将输入高动态范围(HDR)图像压缩为整形后的标准动态范围(SDR)图像的前向整形函数和(b)用于将该整形后的SDR图像解压缩为重建的HDR图像的后向整形函数，该软件产品包括存储有机器可读指令的非暂态计算机可读介质。这些指令包括(i)前向优化指令，当由处理器执行时，使处理器优化该前向整形函数以最小化该整形后的SDR图像与该输入HDR图像对应的输入SDR图像之间的偏差，(ii)后向优化指令，当由处理器执行时，使处理器优化该后向整形函数以最小化该重建的HDR图像与该输入HDR图像之间的偏差，(iii)SDR图像校正指令，当由处理器执行时，使处理器对该输入SDR图像应用校正，以及(iv)迭代控制指令，当由处理器执行时，使处理器评估是否满足终止条件，并且只要没有满足该终止条件，执行SDR图像校正指令并基于校正后的输入SDR图像重新执行前向优化指令和后向优化指令。
(B2)在表示为(B1)的软件产品中，SDR图像校正指令可以被配置为，当由处理器执行时，使处理器对该输入SDR图像的一个或多个颜色分量通道中的每一个颜色分量通道的每个像素应用基于偏差的校正值，对于对应的像素和对应的颜色分量通道，该校正值同该重建的HDR图像与该输入HDR图像之间的偏差成比例。
(B3)在表示为(B1)和(B2)的任一软件产品中，该终止条件可以包括阈值量，并且迭代控制指令可以被配置为，当由处理器执行时，使处理器评估至少该重建的HDR图像与该输入HDR图像之间的偏差度量是否小于该阈值量。
(B4)在表示为(B3)的软件产品中，该终止条件可以进一步包括最大迭代次数，并且迭代控制指令可以被配置为，当由处理器执行时，使处理器执行以下操作：如果已经达到该最大迭代次数，(a)停止重新执行SDR图像校正指令、前向优化指令和后向优化指令，以及(b)输出表征后向整形函数的参数并输出整形后的SDR图像。
(B5)在表示为(B3)和(B4)的任一软件产品中，该偏差度量可以是(i)该重建的HDR图像与该输入HDR图像之间的偏差和(ii)该整形后的SDR图像与该输入SDR图像之间的偏差的加权组合。
(B6)一种编码器可以包括表示为(B1)至(B5)的任一软件产品、用于执行该软件产品的机器可读指令的处理器、用于接收输入HDR图像和输入SDR图像的输入接口、以及输出接口，该输出接口用于输出(i)使用优化的前向整形函数生成的整形后的SDR图像和(ii)表征优化后的后向整形函数的参数。
在不脱离其范围的情况下，可以对以上系统、产品和方法进行改变。因此，应当注意，包含在以上说明书中并且在附图中示出的内容应当被解释为说明性的而不是限制性的意义。以下权利要求旨在涵盖本文所描述的一般特征和特定特征以及本公开系统、产品和方法的范围的所有陈述，所述陈述在语言上可以被说成落在其间。

Claims (15)

1.一种用于生成(a)用于将输入高动态范围(HDR)图像压缩为整形后的标准动态范围(SDR)图像的前向整形函数和(b)用于将所述整形后的SDR图像解压缩为重建的HDR图像的后向整形函数的方法，所述方法包括：
优化所述前向整形函数以最小化所述整形后的SDR图像与所述输入HDR图像对应的输入SDR图像之间的偏差；
优化所述后向整形函数以最小化所述重建的HDR图像与所述输入HDR图像之间的偏差；以及
直到满足终止条件：
对所述输入SDR图像应用校正，以及
基于校正后的输入SDR图像，重复优化所述前向整形函数和所述后向整形函数的步骤。
2.如权利要求1所述的方法，其中，应用所述校正的步骤包括：
对所述输入SDR图像的一个或多个颜色分量通道中的每一个颜色分量通道的每个像素应用基于偏差的校正值，对于对应的像素和对应的颜色分量通道，所述校正值和所述重建的HDR图像与所述输入HDR图像之间的偏差成比例。
3.如权利要求2所述的方法，所述基于偏差的校正值被限制为小于预定义的最大校正值。
4.如权利要求2或3所述的方法，至少直到达到优化所述前向整形函数和所述后向整形函数的步骤的预定义的最大迭代次数，所述终止条件是至少所述重建的HDR图像与所述输入HDR图像之间的偏差度量不大于阈值量。
5.如权利要求4所述的方法，所述偏差度量是(i)所述重建的HDR图像与所述输入HDR图像之间的所述偏差和(ii)所述整形后的SDR图像与所述输入SDR图像之间的偏差的加权组合。
6.如权利要求4或5所述的方法，所述偏差度量仅基于定义所述输入SDR图像和所述输入HDR图像中的每一者的所述颜色分量通道的子集。
7.如权利要求6所述的方法，所述颜色分量通道包括亮度通道和两个色度通道，所述子集是所述亮度通道。
8.如权利要求6所述的方法，所述颜色分量通道包括亮度通道和两个色度通道，所述子集是所述两个色度通道。
9.如权利要求1至8中任一项所述的方法，优化所述后向整形函数的步骤包括对由优化的前向整形函数生成的所述整形后的SDR图像应用所述后向整形函数。
10.如权利要求1至9中任一项所述的方法，优化所述前向整形函数以及对所述输入SDR图像应用校正的步骤利用所述输入SDR图像的本地副本，所述方法进一步包括维持所述输入SDR图像的未校正版本。
11.如权利要求1至10中任一项所述的方法，包括对多个颜色分量通道中的每一个颜色分量通道执行优化所述前向整形函数和优化所述后向整形函数的步骤。
12.如权利要求11所述的方法，所述颜色分量通道包括亮度通道、第一色度通道和第二色度通道，其中：
对于所述亮度通道，所述方法仅在优化所述前向整形函数和所述后向整形函数的步骤的单次迭代中优化所述前向整形函数和所述后向整形函数；以及
对于所述第一色度通道和所述第二色度通道中的每一者，优化所述前向整形函数和所述后向整形函数的步骤利用多变量多重回归。
13.一种用于编码HDR图像的方法，包括：
执行如权利要求1至12中任一项所述的方法以生成迭代优化的前向整形函数和迭代优化的后向整形函数；
在执行如权利要求1至12中任一项所述的方法之前，接收所述输入HDR图像和所述输入SDR图像；以及
在执行如权利要求1至12中任一项所述的方法之后，输出(i)在优化所述前向整形函数的步骤的最后一次迭代中生成的所述整形后的SDR图像和(ii)表征在优化所述后向整形函数的步骤的最后一次迭代中优化的所述后向整形函数的参数。
14.一种具有指令的计算机程序，所述指令当由计算设备或系统执行时使所述计算设备或系统执行如权利要求1至13中任一项所述的方法。
15.一种编码器，包括：
非暂态计算机可读介质，所述非暂态计算机可读介质存储有如权利要求14所述的计算机程序；
处理器，所述处理器用于执行所述计算机程序；
输入接口，所述输入接口用于接收所述输入HDR图像和所述输入SDR图像；以及
输出接口，所述输出接口用于输出(i)使用所述优化的前向整形函数生成的所述整形后的SDR图像，和(ii)表征所述优化的后向整形函数的参数。
CN202180039492.3A 2020-04-22 2021-04-21 单层hdr图像编解码器中整形函数的迭代优化 Pending CN115699077A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063013807P 2020-04-22 2020-04-22
US63/013,807 2020-04-22
EP20170837.7 2020-04-22
EP20170837 2020-04-22
PCT/US2021/028475 WO2021216767A1 (en) 2020-04-22 2021-04-21 Iterative optimization of reshaping functions in single-layer hdr image codec

Publications (1)

Publication Number Publication Date
CN115699077A true CN115699077A (zh) 2023-02-03

Family

ID=75728908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180039492.3A Pending CN115699077A (zh) 2020-04-22 2021-04-21 单层hdr图像编解码器中整形函数的迭代优化

Country Status (8)

Country Link
US (1) US20230164366A1 (zh)
EP (1) EP4139884B1 (zh)
JP (1) JP7298033B2 (zh)
KR (1) KR102551197B1 (zh)
CN (1) CN115699077A (zh)
BR (1) BR112022021363A2 (zh)
MX (1) MX2022013191A (zh)
WO (1) WO2021216767A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177873A2 (en) * 2022-03-18 2023-09-21 Dolby Laboratories Licensing Corporation Image optimization in mobile capture and editing applications
WO2023205548A1 (en) * 2022-04-21 2023-10-26 Dolby Laboratories Licensing Corporation Generating hdr image from corresponding camera raw and sdr images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324997B (zh) 2013-06-17 2018-06-29 杜比实验室特许公司 用于增强动态范围信号的分层编码的自适应整形
JP6374614B2 (ja) * 2015-03-20 2018-08-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 信号再整形近似
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US10223774B2 (en) * 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
CN108885783B (zh) 2016-03-23 2022-02-15 杜比实验室特许公司 编码和解码可逆制作质量单层视频信号
GB201611253D0 (en) 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10575028B2 (en) 2016-09-09 2020-02-25 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping

Also Published As

Publication number Publication date
JP7298033B2 (ja) 2023-06-26
EP4139884A1 (en) 2023-03-01
BR112022021363A2 (pt) 2022-12-06
WO2021216767A1 (en) 2021-10-28
US20230164366A1 (en) 2023-05-25
MX2022013191A (es) 2023-01-05
EP4139884B1 (en) 2024-02-21
JP2023515268A (ja) 2023-04-12
KR102551197B1 (ko) 2023-07-05
KR20220159489A (ko) 2022-12-02

Similar Documents

Publication Publication Date Title
JP6182644B2 (ja) 階層的ｖｄｒ符号化における層分解
EP3272123B1 (en) Signal reshaping approximation
EP3734588B1 (en) Color appearance preservation in video codecs
CN112106357A (zh) 端对端单层后向兼容编码流水线中的高保真度全参考和高效部分参考编码
US10469849B2 (en) Video and image encoding process
JP7049526B2 (ja) 適応的なｓｄｒからｈｄｒへの再構成関数による、ｈｄｒ画像化におけるバンディングアーチファクトの低減
JP7094451B2 (ja) 再構成関数の補間
KR102551197B1 (ko) 단일-층 hdr 이미지 코덱에서 재성형 함수들의 반복적 최적화
US10742986B2 (en) High dynamic range color conversion correction
JP2023501885A (ja) ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ
US20230368344A1 (en) Color transformation for hdr video with a coding-efficiency constraint
US10715772B2 (en) High dynamic range color conversion correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination