CN113170205B - 整形函数生成方法及装置以及图像解码方法及装置 - Google Patents

整形函数生成方法及装置以及图像解码方法及装置 Download PDF

Info

Publication number
CN113170205B
CN113170205B CN201980079807.XA CN201980079807A CN113170205B CN 113170205 B CN113170205 B CN 113170205B CN 201980079807 A CN201980079807 A CN 201980079807A CN 113170205 B CN113170205 B CN 113170205B
Authority
CN
China
Prior art keywords
shaping
computed
function
functions
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980079807.XA
Other languages
English (en)
Other versions
CN113170205A (zh
Inventor
H·卡杜
宋青
苏冠铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN113170205A publication Critical patent/CN113170205A/zh
Application granted granted Critical
Publication of CN113170205B publication Critical patent/CN113170205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于生成插值整形函数以对高动态范围图像进行高效编码的方法和系统。基于一组预先计算的基整形函数来构造插值整形函数。针对预先计算的基整形函数得到插值方案，所述预先计算的基整形函数被表示为查找表、多段多项式或多变量多元回归表示的系数矩阵。还提供了针对移动应用使用不对称整形和插值整形函数的编码器和解码器。

Description

整形函数生成方法及装置以及图像解码方法及装置
相关申请的交叉引用
本专利申请要求于2018年12月3日提交的美国临时专利申请号62/774,393和于2018年12月3日提交的欧洲专利申请号18209740.2的优先权权益，所述专利中的每一个都通过引用以其全文并入本文。
技术领域
本发明总体上涉及图像。更具体地，本发明的实施例涉及通过对现有的整形函数进行插值来生成用于HDR成像的新的整形函数。
背景技术
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，所述强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地使用。
如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14到15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“视觉动态范围(VDR)或增强动态范围(EDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，VDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR，可能稍微窄一些，但VDR或EDR可以代表宽DR阔度并且也可以被称为HDR。
实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用线性光亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n＞8的图像可被视为增强动态范围的图像。HDR图像还可以使用高精度(例如，16位)浮点格式来存储和分布，比如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。
大多数消费者桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费者HDTV的范围从300到500尼特，其中，新型号达到1000尼特(cd/m2)。因此，这样的传统显示器代表了与HDR相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1000尼特到5000尼特或更高)的HDR显示器上。
在传统图像流水线中，使用非线性光电函数(OETF)来量化所捕获的图像，所述非线性光电函数将线性场景光转换为非线性视频信号(例如，伽马编码的RGB或YCbCr)。然后，信号在被显示在显示器上之前在接收器上通过电光传递函数(EOTF)来处理，所述电光传递函数将视频信号值转化成输出屏幕颜色值。这样的非线性函数包括在ITU-R Rec.BT.709和BT.2020中记录的传统“伽马”曲线、在SMPTE ST 2084中描述的“PQ”(感知量化)曲线以及在Rec.ITU-R BT.2100中描述的“混合对数型伽马(HybridLog-gamma)”或“HLG”曲线。
如本文所使用的，术语“整形(reshaping)”或“重新映射(remapping)”表示数字图像从其原始位深度和原始码字分布或表示(例如，伽马或PQ或HLG等)到相同或不同位深度和不同码字分布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许以固定的位速率改善可压缩性或改善图像质量。例如，非限制性地，可以将前向整形应用于10位或12位PQ编码的HDR视频，以提高10位视频编码架构中的编码效率。在接收器中，在对接收到的信号进行解压缩(可能会或可能不会进行整形)之后，接收器可以应用逆向(或后向)整形函数以将信号恢复为其原始码字分布和/或实现更高的动态范围。
整形可以是静态的或动态的。在静态整形中，生成单个整形函数并将其用于单个流或跨多个流使用。在动态整形中，可以基于输入视频流特性来定制整形函数，这些特性可以在流级、场景级甚至帧级改变。动态整形是优选的；然而，某些设备可能没有足够的计算能力来支持它。如诸位发明人在此所理解的，期望用于在显示视频内容(尤其是HDR内容)时进行高效的图像整形的改进技术。
在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。
附图说明
在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：
图1A描绘了使用整形函数的用于HDR数据的示例单层编码器；
图1B描绘了与图1A的编码器相对应的示例HDR解码器；
图2描绘了根据本发明的实施例的用于构建一组基整形函数并应用整形函数插值的示例过程；
图3A描绘了根据本发明的实施例的用于在编码器中进行不对称整形的示例过程；以及
图3B描绘了根据本发明的实施例的用于在解码器中进行整形函数的插值的示例过程。
具体实施方式
本文描述了用于图像的高效编码的图像整形技术。考虑一组L个整形函数，每个整形函数由整形参数或标签r(l)表征，l＝1，2，...，L。给定新的整形参数r，其中r(l)＜r＜r(l+1)，可以通过从该给定组中插值整形函数参数来生成新的整形函数。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
概述
本文描述的示例实施例涉及图像整形。在实施例中，在包括一个或多个处理器的装置中，处理器访问第一组基整形函数，其中，基整形函数将像素码字从第一码字表示映射到第二码字表示并且每个整形函数由标识所述整形函数的整形索引参数表征。
处理器：接收第一码字表示的输入图像和期望的整形参数；在第一组基整形函数内标识具有低于输入整形参数的第一整形索引参数的第一基整形函数和具有高于输入整形参数的第二整形索引参数的第二基整形函数；通过使用期望的整形参数对第一基整形函数和第二基整形函数进行插值来生成整形函数；将整形函数应用于输入图像以生成第二码字表示的经整形图像；并且对经整形图像进行编码以生成经编码的经整形图像。期望的整形参数不同于第一组的基整形函数的任何整形索引参数。
基整形函数是用于插值的基函数。可以预先计算基整形函数。
通过使用具有与第一组中的任何整形索引参数不同的值的期望整形参数对第一整形函数和第二整形函数进行插值来生成整形函数。期望的整形参数具有在第一整形索引参数的值与第二整形索引参数的值之间的值。插值整形函数由期望的整形参数值标识，即，对应于期望的整形参数值，所述期望的整形参数值不存在于该组整形函数中。由于可以通过使用基整形函数、整形索引参数和期望的整形参数来执行插值，因此可以简化整形函数的生成。这在包括例如解码器或编码器且计算资源有限的装置中是有利的。
在实施例中，相应整形函数的整形索引参数和期望整形参数包括用于捕获或显示输入图像或经整形图像的设备的设备设置。
在实施例中，设备设置包括以下各项之一：设备的光亮度、最大光亮度、曝光时间、画面模式或闪光模式。
在解码器中，处理器：接收第一码字表示的经编码的经整形图像和期望的整形参数；对经编码的经整形图像进行解码以生成第一码字表示的第一经解码图像；访问一组基整形函数，其中，整形函数将像素码字从第一码字表示映射到第二码字表示并且每个整形函数由标识所述整形函数的整形索引参数表征。期望的整形参数不同于第一组的预先计算的整形函数的任何整形索引参数。处理器：在该组基整形函数内标识具有低于整形参数的第一整形索引参数的第一基整形函数和具有高于期望的整形参数的第二整形索引参数的第二基整形函数；基于第一基整形函数和第二基整形函数生成输出整形函数；并且将输出整形函数应用于第一经解码图像以生成第二码字表示的输出图像。
示例HDR编码系统
如参考文献[1]和参考文献[2]中所描述的，图1A和图1B图示了使用图像整形的示例单层后向兼容编解码器框架。更具体地，图1A图示了示例编码器侧编解码器架构，该架构可以用上游视频编码器中的一个或多个计算处理器来实施。图1B图示了示例解码器侧编解码器架构，该架构也可以用一个或多个下游视频解码器中的一个或多个计算处理器来实施。
在该框架下，给定参考HDR内容(120)，对应的SDR内容(134)(也称为基本层(BL)或被整形的内容)由实施编码器侧编解码器架构的上游编码设备在编码视频信号(144)的单个层中编码并传输。SDR内容由实施解码器侧编解码器架构的下游解码设备在视频信号的单个层中接收并解码。后向整形元数据(152)也和SDR内容一起在视频信号中被编码并传输，使得HDR显示设备可以基于SDR内容和后向整形元数据来重构HDR内容。
如图1A所示，使用前向整形映射(132)生成后向兼容的SDR图像，比如SDR图像(134)。在此，“后向兼容的SDR图像”可以指针对SDR显示器专门优化或颜色分级的SDR图像。压缩块142(例如，根据如AVC、HEVC、AV1等任何已知视频编码算法实施的编码器)将SDR图像(134)压缩/编码到视频信号的单个层144中。
基于参考HDR图像(120)使用前向整形函数生成器130来生成132中的前向整形函数。给定前向整形函数，将前向整形映射(132)应用于HDR图像(120)以生成经整形的SDR基本层134。另外，后向整形函数生成器150可以生成后向整形函数，该后向整形函数可以作为元数据152传输到解码器。
表示/指定最佳后向整形函数的后向整形元数据的示例可以包括但不一定仅限于以下各项中任何一项：逆色调映射函数、逆亮度映射函数、逆色度映射函数、查找表(LUT)、多项式、逆显示管理系数/参数等。在各种实施例中，可以联合地或分别地得到/优化亮度后向整形函数和色度后向整形函数，可以使用‘375申请中描述的各种技术来得到亮度后向整形函数和色度后向整形函数。
由后向整形函数生成器(150)基于SDR图像(134)和目标HDR图像(120)生成的后向整形元数据(152)可以作为视频信号144的一部分被复用，例如，作为补充增强信息(SEI)消息传递。
在一些实施例中，后向整形元数据(152)作为整体图像元数据的一部分被承载在视频信号中，所述整体图像元数据与视频信号中的其中SDR图像被编码的单个层分开地被承载在视频信号中。例如，后向整形元数据(152)可以被编码在编码比特流中的分量流中，所述分量流可以与或可以不与其中SDR图像(134)被编码的(经编码比特流的)单个层分开。
因此，可以在编码器侧生成或预生成后向整形元数据(152)，以利用在编码器侧可获得的强大的计算资源和离线编码流程(包括但不限于内容自适应多轮次、超前操作、逆亮度映射、逆色度映射、基于CDF的直方图近似和/或传递等)。
图1A的编码器侧架构可以用于避免将目标HDR图像(120)直接编码为视频信号中的经编码/压缩HDR图像；相反，视频信号中的后向整形元数据(152)可以用于使下游解码设备能够将(在视频信号中进行编码的)SDR图像(134)后向整形为与参考HDR图像(120)相同或接近/最佳近似的重构图像。
在一些实施例中，如图1B所示，在编解码器框架的解码器侧接收单个层(144)中用SDR图像编码的视频信号和作为整体图像元数据的一部分的后向整形元数据(152)作为输入。解压缩块154将视频信号的单个层(144)中的经压缩视频数据解压缩/解码成解码的SDR图像(156)。解压缩154通常对应于压缩142的逆过程。解码的SDR图像(156)可以与SDR图像(134)相同，但是在压缩块(142)和解压缩块(154)中经受了量化误差，这些误差已经针对SDR显示设备进行了优化。解码的SDR图像(156)可以以输出SDR视频信号的形式输出(例如，通过HDMI接口、通过视频链路等)以呈现在SDR显示设备上。
另外，后向整形块158从输入视频信号中提取后向整形元数据(152)，基于后向整形元数据(152)来构造最佳后向整形函数，并且基于最佳后向整形函数对经解码SDR图像(156)执行后向整形操作以生成经后向整形的图像(160)(或重构的HDR图像)。在一些实施例中，经后向整形的图像表示与参考HDR图像(120)相同或接近/最佳近似的生产质量或接近生产质量的HDR图像。经后向整形的图像(160)可以以输出HDR视频信号的形式输出(例如，通过HDMI接口、通过视频链路等)以呈现在HDR显示设备上。
在一些实施例中，作为在HDR显示设备上呈现经后向整形的图像(160)的HDR图像呈现操作的一部分，可以对经后向整形的图像(160)执行特定于HDR显示设备的显示管理操作。
用于自适应整形的示例系统
命名法
在不失一般性的前提下，令v表示HDR域中的参数或变量(例如，图像、像素值或其他域特性)，令s表示整形(例如SDR)域中的参数或值，并且令r表示重构的HDR域中的参数或值。这些符号也可以用作上标或下标。例如，最大明亮度可以在原始HDR域中表示为在整形域(例如SDR)中表示为/>并且在重构中表示为/>类似的符号可以用于定义域的其他属性，比如颜色空间、色域、所使用的EOTF等。
考虑包含参考(或“主”)HDR和SDR对的数据库，也就是说，对于每个HDR图像，存在对应的SDR图像，那么将表示HDR参考图像的帧t中通道ch的像素i的非归一化值，其中，通道表示颜色分量，比如亮度(Y)或色度(例如，YCbCr表示中的Cb或Cr)，因此ch＝{Y,C0,C1}。如本文所使用的，术语非归一化像素值表示[0，2B-1]中的值，其中B表示像素值的位深度(例如，B＝8、10或12位)。如本文所使用的，术语归一化像素值表示[0，1)中的像素值。
类似地，表示SDR参考图像中对应像素的非归一化值，/>表示SDR整形图像中对应像素的非归一化值，并且/>表示HDR重构图像的帧t中通道ch的像素i的非归一化值。设HDR图像的位深度为bv，并且设SDR图像的位深度为bs。
将前向整形(FR)函数表示为HDR值(v)到整形值的映射函数
FR函数的目标是最小化像素值与像素值/>之间的差。将后向整形(BR)函数表示为整形值/>到重构值(r)的映射函数
BR函数的目标是，如果两个信号都在同一域中，则最小化像素值与像素值/>之间的差。如果它们位于不同的域中(比如不同的尼特)，则优化目标可能会改变。
如参考文献[3]中所描述的，在一些实施例中，可以按照分段多项式、线性多项式或非线性(例如，二阶)多项式来描述亮度整形函数。可替代地，亮度整形函数可以被描述为1D查找表，例如：
对于色度，可以按照多变量多元回归(MMR)多项式及其系数(参考文献[2]、参考文献[4])来描述色度整形函数，或者描述为：
其中，表示被整形的亮度和色度样本的数据矩阵并且M表示具有MMR系数的矩阵(对于C0或C1或色度分量)。稍后还将在等式(28)至(32)中提供MMR模型的简化概述。
对于静态前向和后向整形，沿时域的所有FRt和BRt函数(例如，t＝0,1,…,N)都包含相同的系数。在实施例中，可以使用元数据(例如，152)将FR和BR的多项式参数和系数传送到下游解码器。
半自适应整形
根据全自适应整形，给定表示同一场景的一对HDR和SDR图像，可以设计最佳的前向和后向整形函数，使得逆整形之后的重构HDR图像尽可能接近原始HDR图像。尽管全自适应整形是优选的，但是在许多应用(例如，移动电话、手持相机等)中由于缺乏计算资源而不切实际。在某些应用中，维护一组预先计算的整形函数(称为“基整形函数”)可能更为实际，每个整形函数对应于特定的设备设置(例如，闪光模式、曝光时间、画面模式等)，表示为r(l)。整形索引参数r(l)也可以被称为对应的预先计算的整形函数的“标识标签”。该标识标签可以是设备设置，如：最大光亮度，例如100尼特、200尼特等；曝光时间，例如5ms、10ms、1000ms等；ISO编号，例如100、200、400等。对于不同的设备设置，可以预先计算不同的整形函数(例如，是对应的曲线)。例如，为了生成期望的ISO编号为150的函数，可以在ISO编号为100的预先计算的整形函数与ISO编号为200的预先计算的整形函数之间执行插值。
在另一个非限制性示例中，让我们假设我们有5个预先计算的整形函数。第一个预先计算的整形函数用于100尼特的最大光亮度，第二个用于200尼特的最大光亮度，第三个用于500尼特的最大光亮度，第四个用于1000尼特的最大光亮度，并且第五个用于4000尼特的最大光亮度。这些数字，100尼特、200尼特、500尼特、1000尼特和4000尼特是这些预先计算的整形函数的“标识标签”。在这种情况下，“标识标签”是最大光亮度。在另一个示例中，标识标签也可以是曝光时间。
换句话说，每个预先计算的整形函数都具有不同的标识标签。这些标识标签可以是设备设置，例如最大光亮度、曝光时间、ISO编号、画面模式等。但是，标识标签不限于上面列出的任何设备设置，而可以是任何其他设备设置。
然而，由于存储器限制，这种静态整形函数的数量可能会受到限制。因此，在实施例中，提出了一种半自适应整形方法，其中，给定不在该组中的设置r(例如，r(l)＜r＜r(l +1))，通过在该组预先存储的整形函数之间插值参数来生成新的整形函数。因此，如图2所描绘的，作为示例，半自适应整形过程可以包括以下步骤：
·步骤205。考虑尽可能多的系统参数，构建较大的一组整形函数。
·步骤210。在该较大的组中选择整形函数的代表性子组(例如，基本组)以节省存储器需求。由于插值可能产生误差，因此在一些实施例中，可以选择基函数，以使最大可能的插值误差最小化。
·步骤215。在一些实施例中，可以使用分段多项式表示来近似每个基整形函数，该分段多项式表示由以下各项表征：多项式段的数量、每个段的枢轴点(例如，其起始码字和结束码字)以及每个段中多项式的参数。将示出，如果所有基函数都由相同的一组枢轴表征，则可以使用每个段中的对应多项式系数的简单插值来完成整形函数插值。在该步骤中，根据各种优化准则为所有基函数选择一组公共枢轴点。
·步骤220。给定输入整形参数(202)(例如，目标显示器的最大光亮度)，并且给定来自步骤215的该组基函数，设备可以标识包围(bracketing)“低”(例如，r(l))和“高”(例如，r(l+1))的支持基函数，基于这些函数，所述设备将生成插值整形函数。使用线性插值，可以得到单个插值因子(0≤α≤1)。
·步骤225。给定α和用于函数插值的两个基函数，该步骤生成插值整形函数和适当的元数据以将所述整形函数传送给解码器。
以上方法可用于生成插值的前向整形函数和插值的后向整形函数两者。接下来将更详细地描述这些步骤中的每一个。
构造较大的一组整形函数
理想情况下，应该不需要在整形函数之间执行任何插值。给定无限制的存储空间，对于L0组参考图像(或L0个参考图像数据库)(例如，每组参考图像均处于最大光亮度、相机设置等的特定设置)，表1以伪代码描述了针对一组图像的整形函数的创建。关键步骤包括：a)收集数据库中图像的统计数据(直方图)，b)为该组生成累积密度函数(CDF)，c)使用CDF匹配(参考文献[3])生成整形函数，以及d)平滑整形函数。尽管为了更清楚起见，表1可能将每对中的图像称为SDR和HDR图像，但是在使用任何类型的不同信号表示格式生成整形函数时，可以应用相同的方法。例如，在图像数据库中，每对中的图像在EOTF函数(例如，伽马与PQ)、位深度(例如，8位与10位)、色域、颜色格式(例如，4：4：4与4：2：0)、颜色空间等方面可能不同。
如表1所描述的，每个动态范围都细分为仓。将SDR信号和HDR信号中的仓的数量分别表示为MS和MV(例如，MS＝1024)，对应的间隔为wbS和wbV。注意，MS可以等于NS，并且MV＝NV，这产生最高精度。例如，给定SDR码字的归一化范围为[0，1)，MS*wbS＝1。
表1：数据库中前向整形函数的生成
可以对所有数据库执行上述过程以生成一组后向整形函数
在表1中，函数y＝clip3(x，Min，Max)定义为：
在表1中，CDF匹配步骤(步骤5)可以简单地解释如下。考虑到SDR码字xs对应于CDFcs，(l)中的特定CDF值c并且HDR码字xv也对应于CDFcv，(l)中的相同的特定CDF值c，则确定SDR值s＝xs应该映射到HDR值xv。可替代地，在步骤5中，对于每个SDR值(xs)，计算对应的SDRCDF值(例如c)，并且然后尝试通过简单的线性插值从现有的HDR CDF值中标识出这样的HDR值(xv)，对于所述HDR值，cv，(l)＝c。
也可以轻松修改步骤5以生成前向整形函数。在这种情况下，对于每个HDR值(xv)，计算对应的HDR CDF值(例如c)，并且然后尝试通过简单的线性插值从现有的SDR CDF值中标识出这样的SDR值(xs)，对于所述SDR值，cs，(l)＝c，因此将xv值映射到xs值。
生成一组代表性的基整形函数
将以精细的r(l)间隔生成的该组原始L0个(后向)整形函数表示为
其中0≤l≤L0-1。
在实施例中，可能期望从该组中选择较小的一组L(L＜L0)个代表性基整形函数，以便可以使用函数插值方法生成其余的整形函数。假设整形函数以索引l单调递增的方式排序，为了避免进行外推，第一个和最后一个函数应该是基函数的一部分。因此：
其中BR表示从原始函数中选择的基函数。
注意：出于表示目的，在本说明的剩余部分中，给定一组L0个函数，选择一组L个BR函数。给定这些基BR函数，生成插值的/>函数。
根据给定了L(基于已知的存储器需求)还是可以调整L的值以满足特定的质量准则，考虑了两种不同的情况。作为示例，表2以伪代码描述了得到L和L个基函数以满足最小插值阈值Δ的情况。
表2：使用插值阈值准则的基整形函数选择
在实施例中，计算插值因子α可以包括标识从期望的整形参数(r)到包围基函数的索引或标签的距离。例如，在实施例中，如果基于参数r(l)(l＝1，2，...，L)得到整形函数，并且期望的值是r(l)＜r≤r(l+1)，则
在实施例中，可以仅针对亮度或者针对亮度和色度两者考虑插值误差。对于亮度，误差可以计算为：
其中表示插值整形函数并且/>表示所选择的基函数。
对于色度，再次假设MMR整形模型，给定采样点后向整形可以表示为
其中表示基于原始整形函数计算的一组MMR系数并且/>表示一组插值MMR系数。本说明书后面的等式(28)至(37)提供了有关色度的MMR系数推导的更多详细信息。给定等式(9)，色度插值误差由下式给出：/>
如果L的值是固定的，则可以通过调整阈值Δ来重复上述过程以实现基函数的目标数量。例如，如表3所示，可以进行两段搜索来找到最佳子组。
表3：使用固定数量的基函数的基整形函数选择
为基整形函数生成一组公共枢轴点
如前所述，可以使用分段多项式来表示每个整形函数。每个这样的分段多项式由表示每个多项式段的起始点和结束点的枢轴点以及每个段的多项式系数表示。在实施例中，仅当这样的函数的段对齐并且全部具有相同的一组枢轴点时，才可以对这样的函数进行插值。有多种方法可以生成一组公共的枢轴点并且本节将讨论这些技术中的一些技术。
在实施例中，可以将优化函数公式化为最小化所有L个LUT和所有码字的整体拟合误差的问题。令表示介于0与1之间的归一化输入值。对于K个段，将枢轴点表示为{λm}，其中m＝0，1，...，K(例如，K＝8)。例如，[λm，λm+1)表示第m个多项式段。然后，给定{λm}值，可以计算例如二阶多项式的多项式系数/>k＝0、1和2，以求解
在另一个实施例中，可以将优化问题公式化为最小化预测值与参考值之间的最大预测误差：
其中，λm≤b≤λm+1-1并且0≤l≤L-1。
当使用分段近似时，期望枢轴点不会引入会带来“突然跳跃”的不连续性，因为这些跳跃会产生轮廓伪影。然后，可以将优化问题公式化为最小化附近预测值之间的最大预测误差
其中，λm+1≤b≤λm+1-1并且0≤l≤L-1。
注意，上面的问题公式具有平凡解，其中预测系数全为零。因此，在实施例中，联合优化问题可以定义为：考虑到由J1或J2给出的值的非平凡解，求解J3。
在实施例中，还可以应用重叠约束来平滑围绕枢轴点的过渡。给定重叠窗口Wm(例如，Wm＝50)，现在可以将优化问题描述为：
或者
其中，max{λm-Wm，0}≤b≤min{λm+1+Wm-1，Ms-1}并且0≤l≤L-1。
注意，枢轴点点可以由“合法”或“广播安全”信号值的下限和上限/>的标准规范(例如，SMPTE 274M)界定；因为低于/>和高于/>的值将被裁剪。例如，对于8位信号，广播安全区域是[16，235]，而不是[0，255]。
将扩展的枢轴点表示为
给定窗口大小Wm和第l个函数的第m个段的枢轴点λm，使预测误差最小化的解决方案是
以矩阵形式，
然后，等式(16)可以以矩阵形式表示为
并且其最小二乘解由下式给出
总之，总的问题是要
·对于所有m和所有l，求
·对于所有m，求{λm}
根据优化准则的组合，使用一组{Wm}窗口参数。
为J3找到解并不简单，因为其构建在J1或J2之上并且所考虑问题的搜索范围太大。在实施例中，例如，如表4所描绘的，可以通过随机化枢轴点并且重叠窗口进行U次迭代来应用蒙特卡罗(Monte Carlo)模拟。
表4：使用蒙特卡罗方法生成公共枢轴点
整形函数的插值
现在将针对后向整形函数示出对整形函数进行插值的示例；但是，类似的技术也可以应用于前向整形函数。
给定针对一组不同参数{r(0),r(1),…r(L-1)}(例如，最大光亮度)的一组L个预先计算的后向整形函数(“基”函数)，对应的基函数可以表示为
/>
现在考虑需要利用参数r生成新的整形函数，其中r(l)≤r＜r(l+1)，则可以使用以下函数插值方案来生成新函数。首先，假定可以从两个邻近(包围)函数l和l+1的样本中插值新重构的HDR样本，令
表示线性插值因子。然后
假定可以使用不同的方案执行亮度和色度整形，则分别讨论亮度和色度插值。对于亮度，亮度整形函数可以表示为查找表(LUT)格式或多段分段多项式。如果亮度整形函数是LUT格式，则使用线性插值产生
函数形式可以表示为
插值整形函数(22)、(23)和(24)是用于插值的两个基整形函数之间的中间函数。例如，对于等式(24)，插值整形函数将是“位于基整形函数/>与基整形函数/>之间”的函数，例如它们之间不共享共同的值。换句话说，基整形函数可以由相应的整形索引参数唯一地标识并且因此是相同类型但提供不同映射值(映射像素码字)的函数。插值整形函数可以唯一地与期望的基整形参数相关联，该期望的基整形参数具有用于插值的两个基整形函数的整形索引参数之间的值。因此，插值整形函数可以根据输入像素码字(以第一码字表示的形式)提供映射像素码字(以第二码字表示的形式)，这些映射像素码字仍与用于插值的两个基整形函数所提供的映射像素码字不同。
假设所有整形多项式的枢轴点都相同，则可以通过简单地对两个基函数中的对应段系数进行插值来得到等式(24)中的插值整形函数的参数。例如，假设每个段由二阶多项式表示，则当输入SDR值在第m个段(m＝1,2,K，其中K是段的总数)内时，预测值可以表示为二阶多项式：
并且新的多项式系数由下式给出
换句话说，可以通过对来自包围目标值r的两个基函数的多项式系数进行简单的线性插值来得到插值整形函数中的第m个段的多项式系数。给定等式(26)，
在实施例中，可以使用一组MMR多项式来执行色度整形。令表示下采样Y分量的第i个像素值，并且令PC表示采样点(或像素)的数量。令
表示对MMR模型的依赖向量的支持度。然后对于
令l个参考重构HDR色度通道表示为
然后，使用MMR，预测色度值为
或者，以矩阵表示，给定
预测值为：
令且/>则MMR系数可通过最小二乘优化获得，如下
在应用插值之后，
然后，给定
并且插值整形色度函数的MMR系数将由下式给出
换句话说，针对整形参数r的插值整形函数的MMR系数可以通过来自包围r的两个函数的两组MMR系数的简单线性组合来得到，或者
不对称整形
给定HDR图像，在传统整形中：a)将HDR图像重新映射到经整形的图像，b)传输经整形的图像，以及c)在解码器上，解码器应用后向整形函数来重构原始HDR图像的接近近似。这可以称为“对称整形”，因为输入颜色和位深度域与输出颜色和位深度域相同。这种情况可能不适用于某些应用，比如移动画面捕获和通信。
例如，在实施例中，可以存在以下操作：
·相机捕获原始HDR数据
·第一映射函数通过应用各种算法(比如去马赛克、颜色空间转换、逆EOTF映射等)将原始HDR数据转化成颜色分级的HDR数据。该映射函数可以根据捕获参数、目标显示参数和其他变量而变化
·第二映射函数可以对颜色分级的HDR数据进行整形以生成SDR数据
由于开放变量的数量很大，因此计算两个映射函数的计算量非常大，尤其是对于移动环境。在实施例中，期望将所有映射组合为一个，从而直接从原始HDR数据生成SDR数据。然而，在回放设备中，期望重构颜色分级的HDR数据而不是原始HDR数据。由于在源域与输出域之间存在不匹配，因此这种整形可以被称为“不对称整形”。图3A描绘了根据先前讨论的基于半自适应整形的实施例的编码器中的不对称整形的示例。
如图3A所描绘的，前向整形阶段可以包括：一组基前向整形函数(305)；函数插值单元(310)，该函数插值单元可以通过从两个基前向整形函数进行插值来生成新的前向整形函数(312)；以及前向整形单元(315)，该前向整形单元将应用所生成的前向函数(312)来生成经整形的信号(317)，例如SDR信号。
给定前向整形函数(312)，根据对称整形(例如，如图1所示)，编码器可以生成反向或后向整形函数的参数(例如，150)(例如，参见参考文献[5])，这些参数可以被传输到解码器，如图1所示。可替代地，如图3A所示，编码器可以包括单独的后向整形阶段，所述阶段可以包括：一组基后向整形函数(320)；以及第二函数插值单元(325)，该第二函数插值单元可以通过从两个基后向整形函数进行插值来生成新的后向整形函数(327)。后向整形函数的参数可以作为元数据来传送。用于函数插值的前向参数和后向参数可以包括比如以下变量：曝光时间、ISO、最大光亮度等。输入HDR信号(302)可以是原始HDR数据或颜色分级的HDR数据。
如前所述，本发明的实施例的应用之一是用于移动系统的视频编码，以简化计算需求。在这种情况下，前向路径处理相机原始到SDR的映射，而后向路径处理SDR到HDR的映射。两条路径的参数都可以包含各种相机参数，比如曝光时间、ISO等。
解码器考虑因素
解码实施例还可以如下结合半自适应整形：例如，在实施例中，如图3A所示，编码器可以直接向解码器传输明确定义插值的后向整形函数的参数的元数据(327)。然后，解码遵循图1B所描绘的解码过程。
在另一个实施例中，为了减少被传送的元数据的数量，如图3B所描绘的，函数插值也可以在解码器站点处执行。例如，在序列级，编码器可以向解码器传送：基后向整形函数的数量和每个这样的函数的整形参数(针对亮度和色度)，加上每个基函数的标识“标签”(或整形索引参数)。这允许解码器构建基后向整形函数的数据库(305-d)。然后，在场景级或帧级，编码器可以简单地发送解码器生成插值整形函数所需的数据(329)，该数据可以包括：包围整形函数的标识标签和插值因子(α)，或仅仅是解码器自己生成该信息所需的目标整形参数。给定这些数据，解码器使用函数插值块(310-d)来生成适当的后向整形函数(312-d)，该后向整形函数可以在后向整形块(315-d)中被用来生成经整形的HDR信号(330)。
参考文献
这些参考文献中的每一篇都通过引用以其全文并入本文。
1.G-M、Su等人,“Encoding and decoding reversible,production-qualitysingle-layer video signals[对可逆的、生产质量的单层视频信号进行编码和解码]”,WO2017/165494.
2.Q.Song等人,“High-fidelity full-reference and high-efficiencyreduced reference encoding in end-to-end single-layer backward compatibleencoding pipeline[端到端单层后向兼容编码流水线中的高保真全参考和高效简化参考编码]”,美国临时专利申请号62/720,375,于2018年8月21日提交.
3.B.Wen等人,“Inverse luma/chroma mappings with histogram transfer andapproximation[利用直方图传递和近似的逆亮度/色度映射]”,美国专利申请公开US2018/0098094.
4.G-M.Su等人,“Multiple color channel multiple regression predictor[多颜色通道多元回归预测器]”,美国专利8,811,490.
5.A.Kheradmand等人,“Block-based content-adaptive reshaping for high-dynamic range[用于高动态范围的基于块的内容自适应整形]”,美国专利10,032,262.
示例计算机系统实施方式
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(比如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这样的系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实行与整形函数的插值相关的指令，比如本文所描述的那些指令。计算机和/或IC可以计算与本文所描述的整形函数的插值相关的各种参数或值中的任何参数或值。图像和视频动态范围扩展实施例可以以硬件、软件、固件及其各种组合来实施。
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施如上所述的整形函数的插值方法。还可以以程序产品的形式提供本发明。程序产品可以包括承载一组计算机可读信号的任何非暂态且有形介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态且有形形式中的任何一种。程序产品可以包括例如物理介质，比如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光学数据存储介质，包括ROM、闪速存储器RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对所述部件的引用(包括对“装置(means)”的引用)都应被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
等同物、扩展、替代方案和杂项
因此，描述了涉及用于HDR图像的整形函数的插值的示例实施例。在前述说明书中，已经参考可以根据实施方式而变化的许多具体细节描述了本发明的实施例。因此，指明本发明以及本申请人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。
可以从以下枚举的示例实施例(EEE)中理解本公开的各个方面：
EEE1.在包括一个或多个处理器的装置中，一种用于生成整形函数的方法，所述方法包括：
访问第一组基整形函数，其中，基整形函数将像素码字从第一码字表示映射到第二码字表示并且每个整形函数由整形索引参数表征；
接收所述第一码字表示的输入图像和输入整形参数；
在所述第一组基整形函数内标识具有低于所述输入整形参数的第一整形索引参数的第一基整形函数和具有高于所述输入整形参数的第二整形索引参数的第二基整形函数；
基于所述第一基整形函数和所述第二基整形函数生成输出前向整形函数；
将所述输出前向整形函数应用于所述输入图像以生成所述第二码字表示的经整形图像；以及
对所述经整形图像进行编码以生成经编码的经整形图像。
EEE2.如EEE1所述的方法，进一步包括：
基于所述输出前向整形函数生成后向整形函数；以及
将所述经编码的经整形图像和所述后向整形函数传送给解码器。
EEE3.如EEE 1或EEE 2所述的方法，进一步包括：
访问第二组基整形函数，其中，基整形函数将像素码字从所述第二码字表示映射到第三码字表示；
接收第二输入整形参数；
在所述第二组基整形函数内标识具有低于所述第二输入整形参数的第三整形索引参数的第三基整形函数和具有高于所述第二输入整形参数的第四整形索引参数的第四基整形函数；
基于所述第二组基整形函数中的所述第三基整形函数和所述第四基整形函数生成输出后向整形函数；以及
将所述经编码的经整形图像和所述输出后向整形函数传送给解码器。
EEE4.如EEE 1至3中任一项所述的方法，其中，生成所述输出前向整形函数包括：
基于所述输入整形参数、所述第一整形索引参数和所述第二整形索引参数计算插值因子；以及
通过所述第一基整形函数和所述第二基整形函数的对应参数之间的线性插值来生成所述输出整形函数的参数。
EEE5.如EEE 4所述的方法，当计算所述插值因子时包括计算：
其中，α表示所述插值因子，r表示所述输入整形参数，r(l)表示所述第一整形索引参数，r(l+1)表示所述第二整形索引参数，并且r(l)＜r＜r(l+1)。
EEE6.如EEE 4或EEE 5所述的方法，其中，生成所述输出前向整形成形函数的参数包括：
计算
其中，对于使用K个多项式段表示的前向整形函数，其中每个多项式段由N阶多项式表示，α表示所述插值因子，并且和/>分别表示所述输出前向整形函数、所述第一基整形函数以及所述第二基整形函数中的第m个段的多项式系数。
EEE7.如EEE 4至6中任一项所述的方法，其中，生成所述输出整形成形函数的参数包括计算：
其中，α表示所述插值因子，并且和/>分别表示所述输出整形函数、所述第一基整形函数以及所述第二基整形函数的多变量多元回归系数集合。
EEE8.如EEE 1至7中任一项所述的方法，其中，生成所述第一组基整形函数包括：
访问以第一信号表示形式和第二信号表示形式表示相同场景的图像对的数据库，其中，所述第一信号表示形式不同于所述第二信号表示形式；
基于所述图像对的数据库生成大于所述第一组基整形函数的一组输出整形函数；以及
在所述一组输出整形函数中选择所述第一组基整形函数，使得使用所述第一组基整形函数的插值经整形函数与所述第一组基整形函数中的函数之间的误差在阈值内。
EEE9.如EEE 8所述的方法，其中，所述第一信号表示形式包括高动态范围表示并且所述第二信号表示形式包括标准动态范围表示。
EEE10.如EEE 1至9中任一项所述的方法，其中，所述第一组基整形函数中的两个或更多个函数被表示为多段多项式，并且这两个或更多个函数的对应段具有相同的起始枢轴点和结束枢轴点。
EEE11.在包括一个或多个处理器的装置中，一种用于对经编码图像进行解码的方法，所述方法包括：
接收第一码字表示的经编码的经整形图像和输入整形参数；
对所述经编码的经整形图像进行解码以生成所述第一码字表示的第一经解码图像；
访问一组基整形函数，其中，整形函数将像素码字从所述第一码字表示映射到第二码字表示并且每个整形函数由整形索引参数表征；
在该组基整形函数内标识具有低于所述输入整形参数的第一整形索引参数的第一基整形函数和具有高于所述输入整形参数的第二整形索引参数的第二基整形函数；
基于所述第一基整形函数和所述第二基整形函数生成输出整形函数；以及
将所述输出整形函数应用于所述第一经解码图像以生成所述第二码字表示的输出图像。
EEE12.如EEE 11所述的方法，其中，生成所述输出整形函数包括：
基于所述输入整形参数、所述第一整形索引参数和所述第二整形索引参数计算插值因子；以及
通过所述第一基整形函数和所述第二基整形函数的对应参数之间的线性插值来生成所述输出整形函数的参数。
EEE13.如EEE 12所述的方法，当计算所述插值因子时包括计算：
其中，α表示所述插值因子，r表示所述输入整形参数，r(l)表示所述第一整形索引参数，r(l+1)表示所述第二整形索引参数，并且r(l)＜r＜r(l+1)。
EEE14.一种非暂态计算机可读存储介质，其上存储有用于用一个或多个处理器执行根据EEE 1至13中任一项所述的方法的计算机可执行指令。
EEE15.一种装置，包括处理器并且被配置为执行如EEE 1至13所述的方法中的任一种方法。

Claims (21)

1.一种用于生成用于将第一码字表示的输入图像整形为第二码字表示的经整形图像的整形函数的方法，所述方法包括：
访问第一组预先计算的整形函数，其中，所述第一组预先计算的整形函数中的预先计算的整形函数将像素码字从所述第一码字表示映射到所述第二码字表示并且每个整形函数由参数的值标识，其中，所述参数的值包括与用于捕获或显示所述输入图像或经整形图像的设备的设备设置相对应的值；
接收所述第一码字表示的所述输入图像和标识要生成的整形函数的参数，其中，所述第一组预先计算的整形函数不包含所述要生成的整形函数；
在所述第一组预先计算的整形函数内标识由具有低于所述接收到的参数的值的第一值的第一参数标识的第一预先计算的整形函数和由具有高于所述接收到的参数的值的第二值的第二参数标识的第二预先计算的整形函数，所述接收到的参数的值不同于标识所述第一组预先计算的整形函数中的预先计算的整形函数的参数的任何值；
通过使用所述接收到的参数对所述第一预先计算的整形函数和所述第二预先计算的整形函数进行插值来生成所述整形函数；
将所生成的整形函数应用于所述输入图像以生成所述第二码字表示的所述经整形图像；以及
对所述经整形图像进行编码以生成经编码的经整形图像。
2.如权利要求1所述的方法，其中，所述设备为移动设备。
3.如权利要求1所述的方法，其中，所述设备设置包括以下各项之一：所述设备的光亮度、最大光亮度、曝光时间、ISO编号、画面模式或闪光模式。
4.如权利要求1至3中任一项所述的方法，其中，所生成的整形函数是前向整形函数，并且所述方法进一步包括：
基于所述前向整形函数生成后向整形函数；以及
将所述经编码的经整形图像和所述后向整形函数传送给解码器。
5.如权利要求1至3中任一项所述的方法，进一步包括：
访问第二组预先计算的整形函数，其中，所述第二组预先计算的整形函数中的预先计算的整形函数将像素码字从所述第二码字表示映射到第三码字表示；
接收具备不同于标识所述第二组预先计算的整形函数中的所述预先计算的整形函数的参数的任何值的另外的值的另外接收到的参数；
在所述第二组预先计算的整形函数内标识由具有低于所述另外接收到的参数的所述另外的值的第三值的第三参数标识的第三预先计算的整形函数和由具有高于所述另外的值的第四值的第四参数标识的第四预先计算的整形函数；
通过使用所述另外接收到的参数对所述第二组预先计算的整形函数中的所述第三预先计算的整形函数和所述第四预先计算的整形函数进行插值来生成输出后向整形函数；以及
将所述经编码的经整形图像和所述输出后向整形函数传送给解码器。
6.如权利要求1至3中任一项所述的方法，其中，生成所述整形函数包括：
基于所述接收到的参数、所述第一参数以及所述第二参数来计算介于零与一之间的插值因子；以及
通过在所述第一预先计算的整形函数与所述第二预先计算的整形函数的对应参数之间进行插值来生成所述整形函数的参数，其中，所述插值使用所述插值因子。
7.如权利要求6所述的方法，其中，计算所述插值因子包括计算：
其中，α表示所述插值因子，r表示所述接收到的参数，r(l)表示所述第一参数，r(l+1)表示所述第二参数，并且r(l)＜r＜r(l+1)。
8.如权利要求6所述的方法，其中，生成所述整形函数的参数包括：
计算m＝1，2，...K，k＝0，1，2，...，N，其中，对于使用K个多项式段表示的前向整形函数，其中每个多项式段由N阶多项式表示，α表示所述插值因子，并且和/>分别表示所述前向整形函数、所述第一预先计算的整形函数以及所述第二预先计算的整形函数中的第m个段的多项式系数。
9.如权利要求6所述的方法，其中，生成所述整形函数的参数包括计算：
其中，α表示所述插值因子，并且和/>分别表示所述整形函数、所述第一预先计算的整形函数以及所述第二预先计算的整形函数的多变量多元回归系数集合。
10.如权利要求1至3中任一项所述的方法，其中，所述第一组预先计算的整形函数中的整形函数通过以下方式预先计算：
访问以第一信号表示格式和第二信号表示格式表示相同场景的图像对的数据库，其中，所述第一信号表示格式不同于所述第二信号表示格式；
基于所述图像对的数据库生成大于所述第一组预先计算的整形函数的一组输出整形函数；
对所述一组输出整形函数中的所有整形函数进行插值；以及
在所述一组输出整形函数中选择所述第一组预先计算的整形函数，使得插值的经整形函数与所述第一组预先计算的整形函数中的函数之间的误差在阈值内。
11.如权利要求10所述的方法，其中，所述第一信号表示格式包括高动态范围表示并且所述第二信号表示格式包括标准动态范围表示。
12.如权利要求10所述的方法，其中，所述第一信号表示格式和所述第二信号表示格式包括以下各项中的一项或多项：电光传递函数EOTF、位深度、色域、颜色格式或颜色空间。
13.如权利要求1至3中任一项所述的方法，其中，所述第一组预先计算的整形函数中的两个或更多个函数被表示为多段多项式，并且这两个或更多个函数的对应段具有相同的起始枢轴点和结束枢轴点。
14.如权利要求1至3中任一项所述的方法，其中，预先计算的整形函数预先存储在所述设备中。
15.一种用于对经编码图像进行解码的方法，所述方法包括：
接收第一码字表示的经编码的经整形图像和接收到的参数；
对所述经编码的经整形图像进行解码以生成所述第一码字表示的第一经解码图像；
访问一组预先计算的整形函数，其中，所述一组预先计算的整形函数中的整形函数将像素码字从所述第一码字表示映射到第二码字表示并且每个整形函数由标识所述整形函数的参数的值标识，其中，所述参数的值包括与用于捕获或显示输入图像或经整形图像的设备的设备设置相对应的值；
在所述一组预先计算的整形函数内标识由具有低于所述接收到的参数的值的第一值的第一参数标识的第一预先计算的整形函数和由具有高于所述接收到的参数的值的第二值的第二参数标识的第二预先计算的整形函数，所述接收到的参数的值不同于标识所述一组预先计算的整形函数中的预先计算的整形函数的参数的任何值；
通过使用所述接收到的参数对所述第一预先计算的整形函数和所述第二预先计算的整形函数进行插值来生成输出整形函数，其中，被访问的所述一组预先计算的整形函数不包括所述输出整形函数；以及
将所述输出整形函数应用于所述第一经解码图像以生成所述第二码字表示的输出图像。
16.如权利要求15所述的方法，其中，生成所述输出整形函数包括：
基于所述接收到的参数、所述第一参数以及所述第二参数来计算介于零与一之间的插值因子；以及
通过在所述第一预先计算的整形函数与所述第二预先计算的整形函数的对应参数之间进行插值来生成所述输出整形函数的参数，其中，所述插值使用所述插值因子。
17.如权利要求16所述的方法，其中，计算所述插值因子包括计算：
其中，α表示所述插值因子，r表示所述接收到的参数，r(l)表示所述第一参数，r(l+1)表示所述第二参数，并且r(l)＜r＜r(l+1)。
18.如权利要求15至17中任一项所述的方法，其中，预先计算的整形函数预先存储在所述设备中。
19.一种非暂态计算机可读存储介质，其上存储有用于用一个或多个处理器执行根据权利要求1至18中任一项所述的方法的计算机可执行指令。
20.一种用于生成整形函数的装置，所述装置包括处理器，所述处理器被配置为执行如权利要求1至14中任一项所述的方法。
21.一种用于对经编码图像进行解码的装置，所述装置包括处理器，所述处理器被配置为执行如权利要求15至18中任一项所述的方法。
CN201980079807.XA 2018-12-03 2019-11-27 整形函数生成方法及装置以及图像解码方法及装置 Active CN113170205B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862774393P 2018-12-03 2018-12-03
EP18209740.2 2018-12-03
US62/774,393 2018-12-03
EP18209740 2018-12-03
PCT/US2019/063796 WO2020117603A1 (en) 2018-12-03 2019-11-27 Interpolation of reshaping functions

Publications (2)

Publication Number Publication Date
CN113170205A CN113170205A (zh) 2021-07-23
CN113170205B true CN113170205B (zh) 2023-11-10

Family

ID=68887445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079807.XA Active CN113170205B (zh) 2018-12-03 2019-11-27 整形函数生成方法及装置以及图像解码方法及装置

Country Status (5)

Country Link
US (1) US11388408B2 (zh)
EP (1) EP3891995A1 (zh)
JP (1) JP7094451B2 (zh)
CN (1) CN113170205B (zh)
WO (1) WO2020117603A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230004921A (ko) * 2019-03-07 2023-01-06 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
US11961262B2 (en) * 2019-11-01 2024-04-16 Lg Electronics Inc. Signal processing apparatus and image display apparatus including same
EP4285590A1 (en) 2021-01-27 2023-12-06 Dolby Laboratories Licensing Corporation Image enhancement via global and local reshaping
US11475549B1 (en) * 2021-06-04 2022-10-18 Nvidia Corporation High dynamic range image generation from tone mapped standard dynamic range images
WO2023215108A1 (en) 2022-05-05 2023-11-09 Dolby Laboratories Licensing Corporation Stereoscopic high dynamic range video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102684701A (zh) * 2012-04-27 2012-09-19 苏州上声电子有限公司 基于编码转换的数字扬声器驱动方法和装置
CN103608860A (zh) * 2011-06-10 2014-02-26 摩托罗拉移动有限责任公司 对信号进行编码的方法和装置
WO2016107433A1 (zh) * 2014-12-31 2016-07-07 苏州上声电子有限公司 基于三态编码的通道状态选取方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878707B (zh) 2011-04-14 2018-05-08 杜比实验室特许公司 多颜色通道多元回归预测算子
WO2014105385A1 (en) * 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US10652588B2 (en) * 2015-09-21 2020-05-12 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding
US10032262B2 (en) 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10264287B2 (en) 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103608860A (zh) * 2011-06-10 2014-02-26 摩托罗拉移动有限责任公司 对信号进行编码的方法和装置
CN102684701A (zh) * 2012-04-27 2012-09-19 苏州上声电子有限公司 基于编码转换的数字扬声器驱动方法和装置
WO2016107433A1 (zh) * 2014-12-31 2016-07-07 苏州上声电子有限公司 基于三态编码的通道状态选取方法和装置

Also Published As

Publication number Publication date
US20220046245A1 (en) 2022-02-10
EP3891995A1 (en) 2021-10-13
CN113170205A (zh) 2021-07-23
US11388408B2 (en) 2022-07-12
JP7094451B2 (ja) 2022-07-01
WO2020117603A1 (en) 2020-06-11
JP2022511829A (ja) 2022-02-01

Similar Documents

Publication Publication Date Title
CN109416832B (zh) 高效的基于直方图的亮度外观匹配
CN112106357B (zh) 用于对图像数据进行编码和解码的方法及装置
CN113170205B (zh) 整形函数生成方法及装置以及图像解码方法及装置
CN107995497B (zh) 高动态范围视频的屏幕自适应解码
CN105744277B (zh) 分层vdr编译码中的层分解
CN109155853B (zh) 用于高动态范围图像的色度整形
CN110178374A (zh) 用于对高动态范围视频进行编码的基于段的整形
WO2018231968A1 (en) Efficient end-to-end single layer inverse display management coding
CN112585969A (zh) 经由自适应的sdr-hdr整形函数减少hdr成像中的条带伪影
CN110770787B (zh) 高效端到端单层逆向显示管理编码
US20230300381A1 (en) Reshaping functions for hdr imaging with continuity and reversibility constraints
CN108370446B (zh) 具有减小的内插误差的低复杂度查找表构造
US20230368344A1 (en) Color transformation for hdr video with a coding-efficiency constraint
JP7434554B2 (ja) カスケード予測
US20230254494A1 (en) Image prediction for hdr imaging in open-loop codecs
WO2022061169A1 (en) Trim-pass correction for cloud-based coding of hdr video
EP4352964A1 (en) Chained reshaping function optimization
CN118140478A (zh) 移动应用中hdr视频的张量积b样条预测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant