CN117082248A

CN117082248A - 在视频编码中利用率失真优化进行图像再成形

Info

Publication number: CN117082248A
Application number: CN202311286612.7A
Authority: CN
Inventors: 尹鹏; 浦方君; 吕陶然; 陈涛; W·J·胡萨克; S·T·麦卡锡
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2018-02-14
Filing date: 2019-02-13
Publication date: 2023-11-17
Also published as: CL2021003512A1; AU2019222715A1; US11395009B2; IL276062B2; ZA202206622B; KR102487032B1; SG11202006779RA; US20210211738A1; JP2021513284A; JP7353401B2; JP2023166582A; CN117097903A; KR102435014B1; IL276062B1; IL305463A; KR20200101990A; WO2019160986A1; ZA202104693B; MX2020008499A; JP7024102B2

Abstract

本公开涉及在视频编码中利用率失真优化进行图像再成形。鉴于呈第一码字表示的图像的序列，呈现用于利用率失真优化来进行图像再成形的方法、过程及系统，其中再成形允许以第二码字表示编码图像，所述第二码字表示允许比利用所述第一码字表示更高效率的压缩。还呈现用于传信再成形参数的语法方法。

Description

在视频编码中利用率失真优化进行图像再成形

分案申请的相关信息

本申请是申请号为201980013360.6、申请日为2019年2月13日、发明名称为“在视频编码中利用率失真优化进行图像再成形”的中国发明专利申请的分案申请。

相关申请案的交叉参考

本申请案主张2019年1月14日申请的第62/792,122号美国临时专利申请案、2018年12月20日申请的第62/782,659号美国临时专利申请案、2018年11月28日申请的第62/772,228号美国临时专利申请案、2018年10月1日申请的第62/739,402号美国临时专利申请案、2018年9月4日申请的美国临时专利申请案第62/726,608号、2018年6月28日申请的第62/691,366号美国临时专利申请案及2018年2月14日申请的第62/630,385号美国临时专利申请案的优先权权利，所述临时专利申请案中的每一者的全部内容以引用的方式并入本文中。

技术领域

本发明大体上涉及图像及视频编码。更特定来说，本发明的实施例涉及视频编码的图像再成形。

背景技术

在2013年，国际标准化组织(ISO)中的MPEG团体与国际电信联盟(ITU)联合发布HEVC(也称为H.265)视频编码标准(参考文献[4])的草案初稿。最近，相同团体已收集证据支持下一代编码标准(其提供相较于既有视频编码技术的改进编码性能)的发展。

如本文所利用，术语‘位深度’表示用于表示图像的色彩分量中的一者的像素的数目。传统上，以每像素每色彩分量8个位(例如每像素24个位)编码图像；然而，现代架构现可支持更高位深度，例如10个位、12个位或12个以上位。

在传统图像管线中，利用将线性场景光转换为非线性视频信号(例如伽玛编码RGB或YCbCr)的非线性光电函数(OETF)来量化捕获图像。接着，在接收器上，在显示于显示器上之前，由将视频信号值转化为输出屏幕色彩值的电光转移函数(EOTF)处理信号。此类非线性函数包含TU-R Rec.BT.709及BT.2020中所记录的传统“伽玛”曲线、SMPTE ST 2084中所描述的“PQ(感知量化)”曲线及Rec.ITU-R BT.2100中所描述的“HybridLog-伽玛”或“HLG”曲线。

如本文所利用，术语“正向再成形”表示数字图像从其原始位深度及原始码字分布或表示(例如伽玛或PQ或HLG及其类似者)到相同或不同位深度及不同码字分布或表示的图像的样本到样本或码字到码字映射的过程。再成形允许固定比特率下的改进可压缩性或改进图像质量。例如(但不限于)，再成形可应用于10位或12位PQ编码HDR视频以提高10位视频编码架构的编码效率。在接收器中，在解压缩再成形信号之后，接收器可应用“反再成形函数”来使信号恢复到其原始码字分布。此处发明者应了解，随着下一代视频编码标准开始发展，期望图像的一体化再成形及编码的改进技术。本发明的方法可应用于包含(但不限于)标准动态范围(SDR)及/或高动态范围(HDR)内的内容的各种视频内容。

本章节中所描述的方法是可寻求的方法，但未必为先前已设想或寻求的方法。因此，除非另有指示，否则不应认为本章节中所描述的方法中的任何者仅因其包含于本章节中而被限定为现有技术。类似地，除非另有指示，否则相对于一或多个方法所识别的问题不应被认为已基于本章节而在任何现有技术中辨识。

发明内容

本申请的一方面涉及一种非暂时性计算机可读介质，其上存储有用于重建编码视频数据的指令。所述指令当由处理器执行时致使所述处理器进行以下操作：接收包括呈再成形码字表示的一或多个编码再成形图像的编码位流；在所述编码位流中接收用于所述一或多个编码再成形图像的再成形参数，其中所述再成形参数包括用以基于所述再成形参数来产生正向再成形函数的参数，其中所述正向再成形函数将图像的像素从输入码字表示映射到所述再成形码字表示，其中所述再成形参数包括：差量指数参数，其确定用于再成形的活跃最大分组指数，其中所述活跃最大分组指数小于或等于预定最大分组指数；最小指数参数，其指示用于所述再成形中的最小分组指数；绝对差量码字值，其用于所述再成形码字表示中的每一活跃分组；及所述绝对差量码字值的正负号，其用于所述再成形码字表示中的每一活跃分组。

本申请的另一方面涉及一种非暂时性计算机可读介质，其上存储有用于生成用于编码位流的再成形参数的指令。所述指令当由处理器执行时致使所述处理器进行以下操作：接收呈输入码字表示的视频图像序列；针对所述视频图像序列中的一或多个图像，应用正向再成形函数以生成呈再成形码字表示的再成形图像，其中所述正向再成形函数将图像的像素从所述输入码字表示映射到所述再成形码字表示；生成用于所述再成形码字表示的再成形参数；及至少基于所述再成形图像来生成编码位流，其中所述再成形参数包括：差量指数参数，其确定用于再成形的活跃最大分组指数，其中所述活跃最大分组指数小于或等于预定最大分组指数；最小指数参数，其指示用于所述再成形中的最小分组指数；绝对差量码字值，其用于所述再成形码字表示中的每一活跃分组；及所述绝对差量码字值的正负号，其用于所述再成形码字表示中的每一活跃分组。

本申请的又一方面涉及一种非暂时性计算机可读介质，其上存储有用于传输由视频编码设备生成并用于重建视频的位流的指令。所述指令当由处理器执行时致使所述处理器进行以下操作：传输所述位流，其中生成所述位流包括：接收呈输入码字表示的视频图像序列；针对所述视频图像序列中的一或多个图像，应用正向再成形函数以生成呈再成形码字表示的再成形图像，其中所述正向再成形函数将图像的像素从所述输入码字表示映射到所述再成形码字表示；生成用于所述再成形码字表示的再成形参数；及至少基于所述再成形图像来生成编码位流，其中所述再成形参数包括：差量指数参数，其确定用于再成形的活跃最大分组指数，其中所述活跃最大分组指数小于或等于预定最大分组指数；最小指数参数，其指示用于所述再成形中的最小分组指数；绝对差量码字值，其用于所述再成形码字表示中的每一活跃分组；及所述绝对差量码字值的正负号，其用于所述再成形码字表示中的每一活跃分组。

附图说明

附图中以举例而非限制方式说明本发明的实施例且其中相同元件符号是指类似元件，且其中：

图1A描绘视频传送管线的实例过程；

图1B描绘根据现有技术的利用信号再成形来压缩数据的实例过程；

图2A描绘根据本发明的实施例的利用混合回路内再成形的编码器的实例架构；

图2B描绘根据本发明的实施例的利用混合回路内再成形的解码器的实例架构；

图2C描绘根据实施例的利用再成形的帧内CU解码的实例架构；

图2D描绘根据实施例的利用再成形的帧间CU解码的实例架构；

图2E描绘根据用于亮度或色度处理的实施例的帧间编码片内的帧内CU解码的实例架构；

图2F描绘根据用于色度处理的实施例的帧间编码片内的帧内CU解码的实例架构；

图3A描绘根据本发明的实施例的利用再成形架构来编码视频的实例过程；

图3B描绘根据本发明的实施例的利用再成形架构来解码视频的实例过程；

图4描绘根据本发明的实施例的用于再指派再成形域中的码字的实例过程；

图5描绘根据本发明的实施例的用于导出再成形阈值的实例过程；

图6A、6B、6C及6D描绘根据图5中所描绘的过程及本发明的实施例的用于导出再成形阈值的实例数据图；及

图6E描绘根据本发明的实施例的根据分组方差的码字分配的实例。

具体实施方式

本文描述用于利用率失真优化(RDO)来压缩图像的信号再成形及编码技术。在以下描述中，为了说明，阐述许多具体细节以提供本发明的透彻理解。然而，应明白，可在无这些具体细节的情况下实践本发明。在其它例子中，未详尽描述熟知结构及装置以免不必要地妨碍、模糊或混淆本发明。

概述

本文所描述的实例实施例涉及信号再成形及视频编码。在编码器中，处理器以待再成形为第二码字表示的第一码字表示接收输入图像(其中所述第二码字表示允许比所述第一码字表示更高效率的压缩)，且产生将所述输入图像的像素映射到第二码字表示的正向再成形函数，其中为产生所述正向再成形函数，所述编码器：将所述输入图像分成多个像素区域，根据每一像素区域的第一亮度特性来将所述像素区域中的每一者指派给多个码字分组中的一者，根据指派给每一码字分组的所述像素区域中的每一者的第二亮度特性来计算所述多个码字分组中的每一者的分组度量，根据每一码字分组的所述分组度量及率失真优化准则来将呈所述第二码字表示的若干码字分配给每一码字分组，及响应于将呈所述第二码字表示的码字分配给所述多个码字分组中的每一者而产生所述正向再成形函数。

在另一实施例中，在解码器中，处理器接收以再成形模型为特征的编码位流语法元素，其中所述语法元素包含以下中的一或多者：指示用于再成形建构过程中的最小码字分组指数值的旗标、指示用于再成形建构过程中的最大码字分组指数值的旗标、指示再成形模型分布类型的旗标(其中所述模型分布类型与包含分组重要性值的默认分组相关参数相关联)或指示用于调整界定于所述再成形模型分布中的所述默认分组重要性值的一或多个差量分组重要性值的旗标。所述处理器基于所述再成形模型分布来确定每一分组的所述默认分组重要性值及根据所述分组的重要性值来分配给每一分组的若干默认码字的分配表。接着，针对每一码字分组，所述处理器：

通过将其默认分组重要性值与其差量分组重要性值相加来确定其分组重要性值；

基于所述分组的分组重要性值及所述分配表来确定分配给所述码字分组的码字的数目；及

基于分配给每一码字分组的码字的数目来产生正向再成形函数。

在另一实施例中，在解码器中，处理器接收编码位流，所述编码位流包括呈第一码字表示的一或多个码字再成形图像及与所述编码再成形图像的再成形信息相关的元数据。所述处理器基于与所述再成形信息相关的所述元数据来产生反再成形函数及正向再成形函数，其中所述反再成形函数将来自所述第一码字表示的所述再成形图像的像素映射到第二码字表示，且所述正向再成形函数将来自所述第二码字表示的图像的像素映射到所述第一码字表示。所述处理器从所述编码位流提取包括一或多个编码单元的编码再成形图像，其中针对所述编码再成形图像中的一或多个编码单元：

针对所述编码再成形图像中的再成形帧内编码单元(CU)，所述处理器：

基于所述CU中的再成形残差及第一再成形预测样本来产生所述CU的第一再成形重建样本；

基于所述第一再成形重建样本及回路滤波器参数来产生再成形回路滤波器输出；

将所述反再成形函数应用于所述再成形回路滤波器输出以产生呈所述第二码字表示的所述编码单元的解码样本；及

将呈所述第二码字表示的所述编码单元的所述解码样本存储于参考缓冲器中；

针对所述编码再成形图像中的再成形帧间编码编码单元，所述处理器：

将所述正向再成形函数应用于以所述第二码字表示存储于所述参考缓冲器中的预测样本以产生第二再成形预测样本；

基于所述编码CU中的再成形残差及所述第二再成形预测样本来产生所述编码单元的第二再成形重建样本；

基于所述第二再成形重建样本及回路滤波器参数来产生再成形回路滤波器输出；

将所述反再成形函数应用于所述再成形回路滤波器输出以产生呈所述第二码字表示的所述编码单元的样本；及

将呈所述第二码字表示的所述编码单元的所述样本存储于参考缓冲器中。最后，所述处理器基于所述参考缓冲器中的所述存储样本来产生解码图像。

在另一实施例中，在解码器中，处理器接收编码位流，所述编码位流包括呈输入码字表示的一或多个编码再成形图像及所述编码位流中所述一或多个编码再成形图像的再成形元数据207。所述处理器基于所述再成形元数据来产生正向再成形函数282，其中所述正向再成形函数将来自第一码字表示的图像的像素映射到所述输入码字表示。所述处理器基于所述再成形元数据或所述正向再成形函数来产生反再成形函数265-3，其中所述反再成形函数将来自所述输入码字表示的再成形图像的像素映射到所述第一码字表示。所述处理器从所述编码位流提取包括一或多个编码单元的编码再成形图像，其中：

针对所述编码再成形图像中的帧内编码编码单元(帧内CU)，所述处理器：

基于所述帧内CU中的再成形残差及帧内预测再成形预测样本来产生所述帧内CU的再成形重建样本285；

将所述反再成形函数265-3应用于所述帧内CU的所述再成形重建样本以产生呈所述第一码字表示的所述帧内CU的解码样本；

将回路滤波器270应用于所述帧内CU的所述解码样本以产生所述帧内CU的输出样本；及

将所述帧内CU的所述输出样本存储于参考缓冲器中；

针对所述编码再成形图像中的帧间编码CU(帧间CU)，所述处理器：

将所述正向再成形函数282应用于以所述第一码字表示存储于所述参考缓冲器中的帧间预测样本以产生呈所述输入码字表示的所述帧间CU的再成形预测样本；

基于所述帧间CU中的再成形残差及所述帧间CU的所述再成形预测样本来产生所述帧间CU的再成形重建样本；

将所述反再成形函数265-3应用于所述帧间CU的所述再成形重建样本以产生呈所述第一码字表示的所述帧间CU的解码样本；

将所述回路滤波器270应用于所述帧间CU的所述解码样本以产生所述帧间CU的输出样本；及

将所述帧间CU的所述输出样本存储于所述参考缓冲器中；及

基于所述参考缓冲器中的输出样本来产生呈所述第一码字表示的解码图像。

实例视频传送处理管线

图1A描绘展示从视频捕获到视频内容显示的各种阶段的常规视频传送管线100的实例过程。利用图像产生块105来捕获或产生视频帧102的序列。视频帧102可被数字捕获(例如通过数字摄像机)或由计算机产生(例如利用计算机动画)以提供视频数据107。替代地，视频帧102可由电影摄像机捕获于电影上。将电影转换为数字格式以提供视频数据107。在制作阶段110中，编辑视频数据107以提供视频制作流112。

接着，将视频制作流112的视频数据提供到后期制作编辑块115中的处理器。后期制作编辑块115可包含调整或修改图像的特定区域中的色彩或亮度以提高图像质量或根据视频创作者的创作意图来实现图像的特定外观。此有时称为“色彩定时”或“色彩分级”。可在块115中执行其它编辑(例如场景选择及定序、图像剪裁、增加计算机产生的视觉特效等等)以产生用于发布的制作的最终版本117。在后期制作编辑115期间，在参考显示器125上观看视频图像。

在后期制作115之后，可将最终制作117的视频数据传送到编码块120用于向下游传送到解码及播放装置(例如电视机、视频盒、电影院及其类似者)。在一些实施例中，编码块120可包含音频及视频编码器(例如由ATSC、DVB、DVD、蓝光及其它传送格式界定的音频及视频编码器)以产生编码位流122。在接收器中，由解码单元130解码编码位流122以产生表示信号117的相同或紧密近似的解码信号132。接收器可附接到可具有完全不同于参考显示器125的特性的目标显示器140。在所述情况中，可利用显示管理信号135以通过产生显示映射信号137来将解码信号132的动态范围映射到目标显示器140的特性。

信号再成形

图1B描绘根据现有技术[2]的信号再成形的实例过程。鉴于输入帧117，正向再成形块150分析输入及编码约束且产生将输入帧117映射到经再量化输出帧152的码字映射函数。例如，可根据特定电光转移函数(EOTF)(例如伽玛)来编码输入117。在一些实施例中，可利用元数据来将关于再成形过程的信息传送到下游装置(例如解码器)。如本文所利用，术语“元数据”涉及传输为编码位流的部分且帮助解码器再现解码图像的任何辅助信息。此元数据可包含(但不限于)本文所描述的色彩空间或色域信息、参考显示参数及辅助信号参数。

在编码120及解码130之后，可由反向(或反)再成形函数160处理解码帧132，反向再成形函数160将经再量化帧132转换回原始EOTF域(例如伽玛)以用于进一步下游处理(例如早先所讨论的显示管理信号135)。在一些实施例中，反向再成形函数160可与解码器130中的解量化器一体化，例如作为AVC或HEVC视频解码器中解量化器的部分。

如本文所利用，术语“再成形器”可表示在编码及/或解码数字图像时利用的正向或反再成形函数。参考文献[2]中讨论再成形函数的实例。在参考文献[2]中，提出一种用于高动态范围视频编码的基于回路内块的图像再成形方法。所述设计允许编码回路内的基于块的再成形，但以增加复杂性为代价。具体来说，设计需要维持两组解码图像缓冲器：一组用于反再成形(或非再成形)解码图像，其可用于无再成形的预测及输出到显示器两者；及另一组用于正向再成形解码图像，其仅用于具有再成形的预测。尽管可实时计算正向再成形解码图像，但复杂性成本非常高，对于帧间预测(利用子像素内插的运动补偿)来说尤其如此。一般来说，显示器-图像-缓冲器(DPB)管理很复杂且需要非常小心注意，因此，发明者应了解，用于编码视频的简化方法是值得期望的。

在参考文献[6]中，呈现基于再成形的额外编解码器架构，其包含外部回路外再成形器、具有仅回路内帧内再成形器的架构、具有用于预测残差的回路内再成形器的架构及组合帧内回路内再成形及帧间残差再成形两者的混合架构。所提出的所述再成形架构的主要目标是提高主观视觉质量。因此，许多这些方法将产生较差客观度量，特定来说，熟知峰值信噪比(PSNR)度量。

在本发明中，基于率失真优化(RDO)来提出新再成形器。特定来说，当目标失真度量是MSE(均方差)时，所提出的再成形器将基于PSNR、Bjontegaard PSNR(BD-PSNR)或Bjontegaard率(BD-Rate)来提高主观视觉质量及被善用的客观度量两者。应注意，所提出的再成形架构中的任何者可不失一般性地应用于亮度分量、色度分量中的一或多者或亮度及色度分量的组合。

基于率失真优化的再成形

考虑由色彩分量中的B个位的位深度表示的再成形视频信号(例如，对于Y、Cb及/或Cr来说，B＝10)，因此，存在总计2^B个可用码字。考虑将所要码字范围[02^B]分成N个分段或分组，且使M_k表示再成形映射之后第k分段或分组中的码字的数目，使得鉴于目标比特率R，源图像与解码或重建图像之间的失真D最小。在不失一般性的情况下，D可表示为源输入的对应像素值(Source(i,j))与重建图像(Recon(i,j))的对应像素值之间的方差和(SSE)的测量：

D＝SSE＝Σ_i，jDiff(i，j)²， (1)

其中

Diff(i,j)＝Source(i,j)-Recom(i,)。

优化再成形问题可改写为：找到M_k(k＝0、1、...、N-1)，使得鉴于比特率R，D最小，其中

各种优化方法可用于找到解决方案，但对于实时编码来说，最优解决方案可非常复杂。在本发明中，提出次最优但更实用分析解决方案。

在不失一般性的情况下，考虑由B个位(例如B＝10)的位深度表示的输入信号，其中码字被均匀分成N个分组(例如N＝32)。在默认情况下，将每一分组指派给M_a＝2^B/N个码字(例如，对于N＝32及B＝10来说，M_a＝32)。接着，将通过实例来演示基于RDO的更高效率码字分配。

如本文所利用，术语“窄范围”[CW1,CW2]表示码字CW1与CW2之间的连续码字范围，其是全动态范围[0 2^B-1]的子集。例如，在实施例中，窄范围可被界定为[16*2^(B-8),235*2^(B ^-8)](例如，对于B＝10来说，窄范围包括值[64 940])。假定输出信号的位深度是B_o，如果输入信号的动态范围是在窄范围内，那么在将表示为“默认”再成形的内容中，我们可将信号扩展为全范围[0 2^Bo-1]。接着，每一分组将具有约M_f＝CEIL((2^Bo/(CW2-CW1))*M_a)个码字，或对于本实例来说，如果B_o＝B＝10，那么M_f＝CEIL((1024/(940-64))*32)＝38个码字，其中CEIL(x)表示顶函数，其将x映射到大于或等于x的最小整数。在不失一般性的情况下，在以下实例中，为了简化，假定B_o＝B。

针对相同量化参数(QP)，增加分组中码字的数目的效应等效于分配更多位以编码分组内的信号，因此其等效于减小SSE或提高PSNR；然而，每一分组中的码字的均匀增加无法给出比无再成形的编码更好的结果，因为PSNR增益无法打败比特率的增加，即，就RDO来说，此不是良好权衡。理想地，我们希望仅将更多码字指派给对RDO产生最优权衡(即，以小量比特率增加为代价产生显著SSE减小(PSNR提高))的分组。

在实施例中，通过适应性分段再成形映射来提高RDO性能。方法可应用于任何类型的信号，其包含标准动态范围(SDR)及高动态范围(HDR)信号。利用先前简单情况作为实例，本发明的目的是将M_a或M_f指派给每一码字分段或码字分组。

在编码器中，鉴于输入信号的N个码字分组，每一分组的平均亮度方差可近似如下：

-将每一分组的块方差(var_bin(k))及计数值(c_bin(k))的总和初始化为零，例如对于

k＝0、1、…、N-1来说，var_bin(k)＝0且c_bin(k)＝0；

-将图像分成L*L个非重叠块(例如L＝16)；

-针对每一图像块，计算块的亮度平均值及块i的亮度方差(例如Luma_mean(i)及Luma_var(i))；

-基于块的平均亮度，将所述块指派给N个分组中的一者。在实施例中，如果Luma_mean(i)是在输入动态范围内的第k分段内，那么第k分组的总分组亮度方差由新指派块的亮度方差递增，且所述分组的计数值增加一。即，如果第i像素区域属于第k分组，那么：

-针对每一分组，通过将所述分组中块方差的总和除以计数值来计算所述分组的平均亮度方差，假定计数值不等于0；或如果c_bin(k)不为0，那么：

var_bin(k)＝var_bin(k)/c_bin(k)

(3)

所属领域的技术人员应了解，我们可应用替代度量而非亮度方差来特性化子块。例如，我们可利用亮度值的标准偏差、加权亮度方差或亮度值、峰值亮度及其类似者。

在实施例中，以下伪码描绘编码器可如何利用每一分组的计算度量来调整分组分配的实例。

其中TH_U表示预定上阈值。

在另一实施例中，分配可执行如下：

其中TH₀及TH₁表示预定下阈值及上阈值。

在另一实施例中，

其中TH_L表示预定下阈值。

上述实例展示如何从两个预选数目M_f及M_a选择每一分组的码字的数目。可(例如)通过穷举搜寻、基于优化率失真来确定阈值(例如TH_U或TH_L)。还可基于量化参数值(QP)来调整阈值。在实施例中，针对B＝10，阈值可在1,000到10,000之间的范围内。

在实施例中，为加速处理，可利用拉格朗日(Lagrangian)优化方法来自一组固定值(即，{2,000,3,000,4,000,5,000,6,000,7,000})确定阈值。例如，针对组中的每一TH(i)值，利用预界定训练截割，我们可利用固定QP来运行压缩测试，且计算被界定为如下的目标函数J的值

J(i)＝D+λR。 (7)接着，最优阈值可被界定为其J(i)最小的组中的TH(i)值。

在更一般实例中，我们可预界定查找表(LUT)。例如，在表1中，第一行界定将可能分组度量(例如var_bin(k)值)的全范围分成若干分段的一组阈值，且第二行界定每一分段中所指派的码字(CW)的对应数目。在实施例中，用于构建此LUT的一个规则是：如果分组方差太大，那么我们需要用大量位来减小SSE，因此，我们可指派小于M_a的码字(CW)值。如果分组方差非常小，那么我们可指派大于M_a的CW值。

表1：基于分组方差阈值的码字分配的实例LUT

TH₀

…

TH_p-1

TH_p

TH_p+1

…

TH_q-1

CW₀

…

CW_p-₁

CW_p

CW_p+1

…

CW_q-₁

CW_q

利用表1，阈值到码字中的映射可产生如下：

例如，鉴于两个阈值及三个码字分配，在实施例中，针对B＝10，TH₀＝3,000，CW₀＝38，TH₁＝10,000，CW₁＝32及CW₂＝28。

在另一实施例中，两个阈值TH₀及TH₁可选择如下：a)考虑TH₁为非常大数目(甚至无穷大)且(例如)利用方程式(7)中的RDO优化来自一组预定值选择TH₀。鉴于TH₀，现界定TH₁的第二组可能值(例如组{10,000,15,000,20,000,25,000,30,000})，且应用方程式(7)来识别最优值。可利用有限数目个阈值来反复执行方法或执行方法直到其收敛。

我们应注意，在根据早先所界定的方案中的任何者来将码字分配给分组之后，M_k值的总和可超过可用码字的最大值(2^B)或存在未用码字。如果存在未用码字，那么我们可仅决定什么也不做或将其分配给特定分组。另一方面，如果算法指派比可用码字多的码字，那么我们希望(例如)通过再正规化CW值来再调整M_k值。替代地，我们可利用既有Mk值来产生正向再成形函数，但接着通过以(∑_kM_k)/2^B换算来再调整再成形函数的输出值。参考文献[7]中还描述码字再分配技术的实例。

图4描绘用于根据早先所描述的RDO技术来将码字分配到再成形域中的实例过程。在步骤405中，将所要再成形动态范围分成N个分组。在将输入图像分成若干非重叠块(步骤410)之后，针对每一块：

·步骤415计算其亮度特性(例如平均值及方差)

·步骤420将每一图像块指派给N个分组中的一者

·步骤425计算每一分组的平均亮度方差

鉴于步骤425中所计算的值，在步骤430中，(例如)利用方程式(4)到(8)中所描绘的码字分配算法中的任何者，根据一或多个阈值来将若干码字指派给每一分组。最后，在步骤(435)中，可利用最后码字分配来产生正向再成形函数及/或反再成形函数。

在实施例中，作为实例(但不限于)，可利用以下C代码来构建正向LUT(FLUT)：

在实施例中，反LUT可构建如下：

按照语法，我们可再利用先前应用中所提出的语法，例如参考文献[5]及[6]中的分段多项式模式或参数模型。表2展示方程式(4)的N＝32时的此实例。

表2：利用第一参数模型来再成形的语法

其中：

reshaper_model_profile_type指定用于再成形器建构过程中的分布类型。给定分布可提供关于所利用的默认值的信息，例如分组的数目、默认分组重要性或优先权值及默认码字分配(例如M_a及/或M_f值)。

reshaper_model_scale_idx指定用于再成形器建构过程中的换算因子(表示为ScaleFactor)的指数值。ScaleFactor的值允许改进再成形函数的控制以提高整体编码效率。

reshaper_model_min_bin_idx指定用于再成形器建构过程中的最小分组指数。reshaper_model_min_bin_idx的值应在0到31的范围内(含0及31)。

reshaper_model_max_bin_idx指定用于再成形器建构过程中的最大分组指数。reshaper_model_max_bin_idx的值应在0到31的范围内(含0及31)。

reshaper_model_bin_profile_delta[i]指定用于在再成形器建构过程中调整第i分组的分布的差量值。reshaper_model_bin_profile_delta[i]的值应在0到1的范围内(含0及1)。

表3描绘利用替代、更高效率语法表示的另一实施例。

表3：利用第二参数模型来再成形的语法

其中，

reshaper_model_delta_max_bin_idx设置为等于最大允许分组指数(例如31)减去用于再成形器建构过程中的最大分组指数。

reshaper_model_num_cw_minus1+1指定待传信的码字的数目。

reshaper_model_delta_abs_CW[i]指定第i绝对差量码字值。

reshaper_model_delta_sign_CW[i]指定第i差量码字的正负号。

接着：

reshaper_model_delta_CW[i]＝(1-2*reshaper_model_delta_sign_CW[i])*reshaper_model_delta_abs_CW[i]；

reshaper_model_CW[i]＝32+reshaper_model_delta_CW[i]。

reshaper_model_bin_profile_delta[i]指定用于在再成形器建构过程中调整第i分组的分布的差量值。当reshaper_model_num_cw_minus1等于0时，reshaper_model_bin_profile_delta[i]的值应在0到1的范围内。当reshaper_model_num_cw_minus1等于1时，reshaper_model_bin_profile_delta[i]的值应在0到2的范围内。

当将reshaper_model_bin_profile_delta[i]设置为等于0时，CW＝32，当将reshaper_model_bin_profile_delta[i]设置为等于1时，CW＝reshaper_model_CW[0]；当将reshaper_model_bin_profile_delta[i]设置为等于2时，CW＝reshaper_model_CW[1]。在实施例中，允许reshaper_model_num_cw_minus1大于1以允许利用ue(v)来传信给reshaper_model_num_cw_minus1及reshaper_model_bin_profile_delta[i]以使编码更高效率。

在另一实施例中，如表4中所描述，可明确界定每分组码字的数目。

表4：利用第三模型来再成形的语法

reshaper_model_number_bins_minus1+1指定用于亮度分量的分组的数目。在一些实施例中，分组的数目是2的幂可为更高效率的。接着，分组的总数可由其log2表示来表示，例如利用如log2_reshaper_model_number_bins_minus1的替代参数。例如，针对32个分组，log2_reshaper_model_number_bins_minus1＝4。

reshaper_model_bin_delta_abs_cw_prec_minus1+1指定用于语法reshaper_model_bin_delta_abs_CW[i]的表示的位的数目。

reshaper_model_bin_delta_abs_CW[i]指定第i分组的绝对差量码字值。

reshaper_model_bin_delta_sign_CW_flag[i]将reshaper_model_bin_delta_abs_CW[i]的正负号指定如下：

-如果reshaper_model_bin_delta_sign_CW_flag[i]等于0，那么对应变量RspDeltaCW[i]具有正值。

-否则(reshaper_model_bin_delta_sign_CW_flag[i]不等于0)，对应变量RspDeltaCW[i]具有负值。

当reshaper_model_bin_delta_sign_CW_flag[i]不存在时，其被推断为等于0。

变量RspDeltaCW[i]＝(1-2*reshaper_model_bin_delta_sign_CW[i])*reshaper_model_bin_delta_abs_CW[i]；

变量OrgCW设置为等于(1<<BitDepthY)/(reshaper_model_number_bins_minus1+1)；

变量RspCW[i]导出如下：

如果reshaper_model_min_bin_idx<＝i<＝reshaper_model_max_bin_idx

那么RspCW[i]＝OrgCW+RspDeltaCW[i]。

否则，RspCW[i]＝0。

在实施例中，假定根据早先实例中的一者(例如方程式(4))的码字分配，如何界定表2中的参数的实例包括：

首先假定我们指派“分组重要性”如下：

如本文所利用，术语“分组重要性”是指派给N个码字分组中的每一者以指示再成形过程中的所述分组中的所有码字相对于其它分组的重要性的值。

在实施例中，我们可将从reshaper_model_min_bin_idx到reshaper_model_max_bin_idx的default_bin_importance设置为1。将reshaper_model_min_bin_idx的值设置为最小分组指数，其使M_k不等于0。将reshaper_model_max_bin_idx的值设置为最大分组指数，其使M_k不等于0。[reshaper_model_min_bin_idx reshaper_model_max_bin_idx]内的每一分组的reshaper_model_bin_profile_delta是bin_importance与default_bin_importance之间的差值。

如何利用所提出的参数模型来建构正向再成形LUT(FLUT)及反再成形LUT(ILUT)的实例展示如下：

1)将亮度范围分成N个分组(例如N＝32)；

2)从语法导出每一分组的分组重要性指数。例如：

3)基于分组重要性来自动预指派码字：

/>

4)通过累积指派给每一分组的码字，基于每一分组的码字指派来构建正向再成形LUT。总和应小于或等于总码字预算(例如对于10位全范围的1024)。(例如参阅最早C代码)。

5)构建反再成形LUT(例如参阅最早C代码)。

从语法观点看，还可应用替代方法。关键是明确或含蓄地指定每一分组中码字的数目(例如M_k，其中k＝0、1、2、…、N-1)。在一个实施例中，我们可明确指定每一分组中码字的数目。在另一实施例中，我们可有差别地指定码字。例如，可利用当前分组与先前分组中码字的数目差(例如M_Delta(k)＝M(k)-M(k-1))来确定分组中码字的数目。在另一实施例中，我们可指定码字的最常利用数目(即，M_M)且将每一分组中码字的数目表示为每一分组中的码字数目与此数目的差值(例如M_Delta(k)＝M(k)-M_M)。

在实施例中，支持两个再成形方法。一种方法表示为“默认再成形器”，其中将M_f指派给所有分组。表示为“适应性再成形器”的第二种方法应用早先所描述的适应性再成形器。可利用适应性再成形器的特殊旗标(例如sps_reshaper_adaptive_flag)(例如利用默认再成形器的sps_reshaper_adaptive_flag＝0且利用sps_reshaper_adaptive_flag＝1)来将两种方法传信到如参考文献[6]中的解码器。

本发明可应用于参考文献[6]中所提出的任何再成形架构，例如外部再成形器、仅回路内帧内再成形器、回路内残差再成形器或回路内混合再成形器。作为实例，图2A及2B描绘根据本发明的实施例的用于混合回路内再成形的实例架构。在图2A中，架构组合来自仅回路内帧内再成形架构(图的顶部)及回路内残差架构(图的底部)两者的元件。在此架构下，针对帧内片，将再成形应用于图像像素，而针对帧间片，将再成形应用于预测残差。在编码器200_E中，将两个新块新增到基于块的传统编码器(例如HEVC)：用于估计正向再成形函数(例如根据图4)的块205、正向图像再成形块210-1及正向残差再成形块210-2，其将正向再成形应用于输入视频117的色彩分量或预测残差中的一或多者。在一些实施例中，这两个操作可执行为单一图像再成形块的部分。与确定解码器中的反再成形函数相关的参数207可传到视频编码器的无损编码器块(例如CABAC 220)，使得其可嵌入到编码位流122中。在帧内模式中，帧内预测225-1、变换及量化(T及Q)及反变换及反量化(Q^-1及T^-1)全部利用再成形图像。在两个模式中，DPB 215中的存储图像总是在反再成形模式中，其在回路滤波器270-1、270-2之前需要反图像再成形块(例如265-1)或反残差再成形块(例如265-2)。如图2A中所描绘，帧内/帧间片开关允许取决于待编码的片类型而切换于两个架构之间。在另一实施例中，可在反再成形之前执行用于帧内片的回路内滤波。

在解码器200_D中，将以下新正规块新增到基于块的传统解码器；基于编码再成形函数参数207来重建正向再成形函数及反再成形函数的块250(再成形器解码)、将反再成形函数应用于解码数据的块265-1及应用正向再成形函数及反再成形函数两者来产生解码视频信号162的块265-2。例如，在265-2中，重建值由Rec＝ILUT(FLUT(Pred)+Res)给出，其中FLUT表示正向再成形LUT且ILUT表示反再成形LUT。

在一些实施例中，与块250及265相关的操作可组合成单一处理块。如图2B中所描绘，帧内/帧间片开关允许取决于编码视频图像中的片类型而切换于两个模式之间。

图3A描绘根据本发明的实施例的利用再成形架构(例如200_E)来编码视频的实例过程300_E。如果未启用再成形(路径305)，那么编码335如现有技术编码器(例如HEVC)中所知般进行。如果启用再成形(路径310)，那么编码器可具有应用预定(默认)再成形函数315或基于图像分析320来适应性确定新再成形函数325的选项(例如图4中所描述)。在利用再成形架构来编码图像330之后，编码的剩余部分依循相同于传统编码管线335的步骤。如果采用适应性再成形312，那么产生与再成形函数相关的元数据作为“编码再成形器”步骤327的部分。

图3B描绘根据本发明的实施例的利用再成形架构(例如200_D)来解码视频的实例过程300_D。如果未启用再成形(路径340)，那么在解码图像350之后，如同传统解码管线般产生输出帧390。如果启用再成形(路径360)，那么解码器确定应用预定(默认)再成形函数375或基于所接收的参数(例如207)来适应性确定再成形函数380。在利用再成形架构来解码385之后，解码的剩余部分依循传统解码管线。

如参考文献[6]及本说明书早先所描述，正向再成形LUT FwdLUT可通过一体化来构建，而反再成形LUT可利用正向再成形LUT(FwdLUT)基于反向映射来构建。在实施例中，可利用分段线性内插来构建正向LUT。在解码器中，可通过直接利用反向LUT或还通过线性内插来完成反再成形。基于输入枢轴点及输出枢轴点来构建分段线性LUT。

使(X1，Y1)、(X2，Y2)成为每一分组的两个输入枢轴点及其对应输出值。X1与X2之间的任何输入值X可由以下方程式内插：

Y＝((Y2-Y1)/(X2-X1))*(X-X1)+Y1。

在定点实施方案中，以上方程式可改写为

Y＝((m*X+2^FP_PREC-1)＞＞FP_PREC)+c，

其中m及c表示线性内插的纯量及偏移且FP_PREC是与定点精度相关的常数。

作为实例，FwdLUT可构建如下：使变量

lutSize＝(1＜＜BitDepthY)。

使变量

binNum＝reshaper_model_number_bins_minus1+1，

及

binLen＝lutSize/binNum。

针对第i分组，其两个区间枢轴(例如X1及X2)可导出为X1＝i*binLen及X2＝(i+1)*binLen。接着：

/>

FP_PREC界定变量的小数部分的定点精度(例如FP_PREC＝14)。在实施例中，binsLUT[]可以比FwdLUT的精度高的精度计算。例如，binsLUT[]值可计算为32位整数，但FwdLUT可为以16个位截割的binsLUT值。

适应性阈值导算

如早先所描述，在再成形期间，可利用一或多个阈值(例如TH、TH_U、TH_L及其类似者)来调整码字分配。在实施例中，可基于内容特性来适应性产生此类阈值。图5描绘用于根据实施例的用于导出此类阈值的实例过程。

1)在步骤505中，将输入图像的亮度范围分成N个分组(例如N＝32)。例如，使N也表示为PIC_ANALYZE_CW_BINS。

2)在步骤510中，我们执行图像分析以计算每一分组的亮度特性。例如，我们可计算每一分组中的像素的百分比(表示为BinHist[b]，b＝1、2、…、N)，其中

BinHist[b]＝100*(分组中的总像素b)/(图像中的总像素)，

(10)

如先前所讨论，图像特性的另一良好度量是每一分组中像素的平均方差(或标准偏差)(表示为BinVar[b])。在“块模式”中，BinVar[b]可在导致方程式(2)及(3)的段落中所描述的步骤中计算为var_bin(k)。替代地，基于块的计算可利用基于像素的计算来修正。例如，表示为vf(i)(与包围m×m相邻窗(例如m＝5)中的第i像素的像素群组相关联的方差，其中第i像素位于窗的中心处)。例如，如果

表示包围具有值x(i)的第i像素的W_N＝m*m窗(例如m＝5)中的像素的平均值，那么

选用非线性映射(例如vf(i)＝log10(vf(i)+1))可用于抑制原始方差值的动态范围。接着，方差因子可用于将每一分组中的平均方差计算为

其中K_b表示分组b中像素的数目。

3)在步骤515中，使平均分组方差(及其对应指数)(例如(但不限于))依递降次序排序。例如，经排序的BinVar值可存储于BinVarSortDsd[b]中且经排序的分组指数可存储于BinIdxSortDsd[b]中。作为实例，利用C代码，过程可描述为：

for(int b＝0；b<PIC_ANALYZE_CW_BINS；b++

//初始化(未排序)

//排序(参阅附录1中的实例代码)

图6A中描绘经排序的平均分组方差因子的实例图。

4)鉴于步骤510中所计算的分组直方图值，在步骤520中，我们根据经排序的平均分组方差的次序来计算及存储累积密度函数(CDF)。例如，如果CDF存储于阵列BinVarSortDsdCDF[b]中，那么在实施例中：

图6B中描绘基于图6A的数据的经计算CDF的实例图605。CDF值与经排序平均分组方差的对({x＝BinVarSortDsd[b],y＝BinVarSortDsdCDF[b]})可被解释为：“图像中存在具有大于或等于x的方差的y％像素”或“图像中存在具有小于x的方差的(100-y)％像素”。

5)最后，在步骤525中，鉴于依据经排序的平均分组方差值而变化的CDFBinVarSortDsdCDF[BinVarSortDsd[b]]。我们可基于分组方差及累积百分比来界定阈值。

图6C及6D中分别展示用于确定单一阈值或两个阈值的实例。当仅利用一个阈值(例如TH)时，作为实例，TH可被界定为“平均方差，其中k％的像素具有vf≥TH”。接着，可通过找到CDF图605在k％(例如610)(例如BinVarSortDsd[b]值，其中BinVarSortDsdCDF＝k％)处的相交点来计算TH；例如，如图6C中所描绘，针对k＝50，TH＝2.5。接着，我们可将M_f个码字指派给具有BinVar[b]<TH的分组及将M_a个码字指派给具有BinVar[b]≥TH的分组。根据经验法则，优选地将较大数目个码字指派给具有较小方差的分组(例如针对具有32个分组的10位视频信号，M_f>32>M_a)。

当利用两个阈值时，图6D中描绘选择TH_L及TH_U的实例。例如，在不失一般性的情况下，TH_L可被界定为方差，其中80％像素具有vf≥TH_L(接着，在本实例中，TH_L＝2.3)，且TH_U可被界定为方差，其中所有像素的10％具有vf≥TH_U(接着，在本实例中，TH_U＝3.5)。鉴于这些阈值，我们可将M_f个码字指派给具有BinVar[b]<TH_L的分组及将M_a个码字指派给具有BinVar[b]≥TH_U的分组。针对具有TH_L到TH_U之间的BinVar的分组，我们可利用每分组原始数目个码字(例如，当B＝10时，为32个码字)。

以上技术可易于扩展到具有两个以上阈值的情况。关系还可用于调整码字的数目(M_f、M_a等等)。根据经验法则，在低方差分组中，我们应指派较多码字以提高PSNR(及减小MSE)；针对高方差分组，我们应指派较少码字以节省位。

在实施例中，如果(例如)通过穷举手动参数调谐来针对具体内容手动获得参数集(例如TH_L、TH_U、M_a、M_f及其类似者)，那么此自动方法可应用于设计决策树以对每一内容进行分类以自动设置最优手动参数。例如，内容类别包含电影、电视、SDR、HDR、卡通、自然、动作及其类似者。

为减少复杂性，可利用各种方案来约束回路内再成形。如果在视频编码标准中采用回路内再成形，那么这些约束应规范以保证解码器简化。例如，在实施例中，可针对特定块编码大小停用亮度再成形。例如，当nTbW*nTbH<TH时，我们可在帧间片中停用帧内及帧间再成形器模式，其中变量nTbW指定变换块宽度且变量nTbH指定变换块高度。例如，针对TH＝64，针对帧间编码片(或图块)的帧内及帧间两种模式再成形停用具有大小4×4、4×8及8×4的块。

类似地，在另一实施例中，我们可在帧间编码片(或图块)中停用帧内模式中的基于亮度的色度残差换算，或当具有单独亮度及色度时，启用分割树。

与其它编码工具的相互作用

回路滤波

在参考文献[6]中，期望回路滤波器可在原始像素域或再成形像素域中操作。在一个实施例中，建议在原始像素域中执行回路滤波(在图像再成形之后)。例如，在混合回路内再成形架构200_E及200_D中，针对帧内图像，我们将需要在回路滤波器270-1之前应用反再成形265-1。

图2C及图2D描绘替代解码器架构200B_D及200C_D，其中在回路滤波270之后、恰好在将解码数据存储到解码图像缓冲器(DPB)260之前执行反再成形265。在所提出的实施例中，相较于200_D中的架构而修改用于帧间片的反残差再成形公式，在回路滤波270之后执行反再成形(例如经由InvLUT()函数或查找表)。以此方式，在回路滤波之后对帧内片及帧间片两者执行反再成形，且帧内编码CU及帧间编码CU两者的回路滤波之前的重建像素是在再成形域中。在反再成形265之后，存储于参考DPB中的输出样本全部是在原始域中。此架构允许用于回路内再成形的基于片的调适及基于CTU的调适两者。

如图2C及图2D中所描绘，在实施例中，在再成形域中对帧内编码CU及帧间编码CU两者执行回路滤波270，且反图像再成形265仅发生一次以因此呈现帧内编码CU及帧间编码CU两者的统一及较简单架构。

为解码帧内编码CU 200B_D，对再成形相邻像素执行帧内预测225。鉴于残差Res及预测样本PredSample，重建样本227导出为：

RecSample＝Res+PredSample

(14)

鉴于重建样本227，应用回路滤波270及反图像再成形265来导出存储于DPB 260中的RecSampleInDPB样本，其中

RecSampleInDPB＝InvLUT(LPF(RecSample)))＝

＝InvLUT(LPF(Res+PredSample)))，

(15)

其中InvLUT()表示反再成形函数或反再成形查找表，且LPF()表示回路滤波运算。

在传统编码中，帧间/帧内模式决策是基于计算原始样本与预测样本之间的失真函数(dfunc())。此类函数的实例包含方差和(SSE)、绝对差值和(SAD)及其它。当利用再成形时，在编码器侧(未展示)处，对再成形域执行CU预测及模式决策。即，针对模式决策，

失真＝dfunc(FwdLUT(SrcSample)-RecSample)，

(16)

其中FwdLUT()表示正向再成形函数(或LUT)且SrcSample表示原始图像样本。

针对帧间编码CU，在解码器侧(例如200C_D)处，利用DPB中非再成形域中的参考图像来执行帧间预测。接着，在重建块275中，重建像素267导出为：

RecSample＝(Res+FwdLUT(PredSample))

(17)

鉴于重建样本267，应用回路滤波270及反图像再成形265来导出存储于DPB中的RecSampleInDPB样本，其中

RecSampleInDPB＝InvLUT(LPF(RecSample)))＝InvLUT(LPF(Res+FwdLUT(PredSample))))。

(18)

在编码器侧(未展示)处，在用于预测的所有相邻样本(PredSample)已在再成形域中的假定下，帧内预测在再成形域中执行为：

Res＝FwdLUT(SrcSample)-PredSample，

(19a)

在非再成形域中(即，直接利用来自DPB的参考图像)执行帧间预测(例如利用运动补偿)，即：

PredSample＝MC(RecSampleinDPB)，

(19b)

其中MC()表示运动补偿函数。针对其中未产生残差的运动估计及快速模式决策，我们可利用以下方程式来计算失真：

失真＝dfunc(SrcSample-PredSample)。

然而，针对其中产生残差的全模式决策，在再成形域中执行模式决策。即，针对全模式决策，

失真＝dfunc(FwdLUT(SrcSample)-RecSample)。

(20)

块级调适

如先前所说明，所提出的回路内再成形器允许在CU级下调适再成形以(例如)根据需要将变量CU_reshaper设置为打开或关闭。在相同架构下，针对帧间编码CU，当CU_reshaper＝关闭时，重建像素需要在再成形域中，即使针对此帧间编码CU将CU_reshaper旗标设置为关闭。

RecSample＝FwdLUT(Res+PredSample)，

(21)

使得帧内预测总是具有再成形域中的相邻像素。DPB像素可导出为：

RecSampleInDPB＝InvLUT(LPF(RecSample)))＝

＝InvLUT(LPF(FwdLUT(Res+PredSample)))。

(22)

针对帧内编码CU，根据编码过程来提出两种替代方法：

1)利用CU_reshaper＝打开来编码所有帧内编码CU。在此情况中，无需额外处理，因为所有像素已在再成形域中。

2)可利用CU_reshaper＝关闭来编码一些帧内编码CU。在此情况中，针对CU_reshaper＝关闭，当应用帧内预测时，我们需要将反再成形应用于相邻像素，使得帧内预测在原始域中执行且最终重建像素需要在再成形域中，即：

RecSample＝FwdLUT(Res+InvLUT(PredSample))，

(23)

接着

RecSampleInDPB＝InLUT(LPF(RecSvample)))＝

＝InvLUT(LPF(FwdLUT(Res+InvLUT(PredSanple)))))。

(24)

一般来说，所提出的架构可用于各种组合中，例如仅回路内帧内再成形、仅用于预测残差的回路内再成形或组合帧内回路内再成形及帧间残差再成形两者的混合架构。例如，为减少硬件解码管线的延时，针对帧间片解码，我们可在反再成形之前执行帧内预测(即，解码帧间片中的帧内CU)。图2E中描绘此实施例的实例架构200D_D。在重建模块285中，针对帧间CU(例如，Mux启用来自280及282的输出)，从方程式(17)：

RecSampLe＝(Res+FwdLUT(PredSample))。

其中FwdLUT(PredSample)表示帧间预测器280后接正向再成形282的输出。否则，针对帧内CU(例如，Mux启用来自284的输出)，重建模块285的输出是：

RecSample＝(Res+IIredSample)，

其中IPredSample表示帧内预测块284的输出。反再成形块265-3产生

Y_CU＝InvLUT[RecSample]。

将帧内预测应用于再成形域中的帧间片还可应用于其它实施例，其包含图2C(其中在回路滤波之后执行反再成形)及图2D中所描绘的实施例。在所有此类实施例中，需要特别关注组合帧间/帧内预测模式(即，当在重建期间，一些样本是来自帧间编码块且一些样本是来自帧内编码块时)，因为帧间预测是在原始域中，但帧内预测是在再成形域中。当组合来自帧间预测编码单元及帧内预测编码单元两者的数据时，可在两个域中的任一者中执行预测。例如，当在再成形域中完成组合帧间/帧内预测模式时，

PredSampleCombined＝PredSampeIntra+FwdLUT(PredSampleInter)

RecSample＝Res+PredSampleCombined，

即，在增加之前使原始域中的帧间编码样本再成形。否则，当在原始域中完成组合帧间/帧内预测模式时，则：

PredSampleCombined＝InvLUT(PredSampeIntra)+PredSampleInter

RecSample＝Res+FwdLUT(PredSampleCombined)，

即，使帧内预测样本反再成形于原始域中。

类似考虑还可应用于对应编码实施例，因为编码器(例如200_E)包含匹配对应解码器的解码器回路。如早先所讨论，方程式(20)描述其中在再成形域中执行模式决策的实施例。在另一实施例中，可在原始域中执行模式决策，即：

失真＝dfunc(SrcSample-InvLUT(RecSample))。

针对基于亮度的色度QP偏移或色度残差换算，可为了最小延时而总是利用预测值(而非重建值)来计算平均CU亮度值色度QP偏差

如参考文献[6]中，我们可应用所提出的相同chromaDQP偏差过程来平衡由再成形曲线引起的亮度及色度关系。在实施例中，我们可基于每一分组的码字指派来导出分段chromaDQP值。例如：

编码器优化

如参考文献[6]中所描述，当启用lumaDQP时，建议利用基于像素的加权失真。当利用再成形时，在实例中，基于再成形函数(f(x))来调整所需加权。例如：

w_rsp＝f′(x)²，

(26)

其中f′(x)表示再成形函数f(x)的斜率。

在另一实施例中，我们可直接基于每一分组的码字指派来导出分段加权。例如：

针对色度分量，可将加权设置为1或某个换算因子sf。为减少色度失真，可将sf设置为大于1。为增加色度失真，可将sf设置为大于1。在一个实施例中，sf可用于补偿方程式(25)。由于可将chromaDQP仅设置为整数，所以我们可利用sf来调节chromaDQP的小数部分：因此，

sf＝2^{((chromaDQP-INT(chromaDQP))/3)}。

在另一实施例中，我们可明确设置图像参数集(PPS)中的chromaQPOffset值或片标头以控制色度失真。

再成形器曲线或映射函数无需固定用于整个视频序列。例如，其可基于量化参数(QP)或目标比特率来调适。在一个实施例中，我们可在比特率较低时利用更积极再成形器曲线及在比特率相对较高时利用更不积极再成形。例如，鉴于10位序列中的32个分组，每一分组最初具有32个码字。当比特率相对较低时，我们可利用[2840]之间的码字来选择每一分组的码字。当比特率较高时，我们可选择[31 33]之间的码字用于每一分组或我们可仅利用识别再成形器曲线。

鉴于片(或图块)，可以可权衡编码效率与复杂性的各种方式执行片(或图块)级再成形，其包含：1)仅停用帧内片中的再成形；2)停用特定帧间片(例如特定时间级上的帧间片或不用于参考图像的帧间片或被视为不重要参考图像的帧间片)中的再成形。此片调适还可为QP/率相依的，使得不同调适规则可应用于不同QP或比特率。

在编码器中，在所提出的算法下，计算每一分组的方差(例如方程式(13)中的BinVar(b))。基于所述信息，我们可基于每一分组方差来分配码字。在一个实施例中，BinVar(b)可反线性映射到每一分组b中码字的数目。在另一实施例中，非线性映射(例如BinVar(b))²、sqrt(BinVar(b))及其类似者)可用于反映射分组b中的码字的数目。本质上，此方法允许编码器将任意码字应用于每一分组(超出早先所利用的较简单映射，其中编码器利用两个范围上限值M_f及M_a(例如参阅图6C)或三个范围上限值M_f、32或M_a(例如参阅图6D)来分配每一分组中的码字)。

作为实例，图6E描绘基于BinVar(b)值的两个码字分配方案，曲线图610描绘利用两个阈值的码字分配，而曲线图620描绘利用反线性映射的码字分配，其中分组的码字分配与其BinVar(b)值成反比。例如，在实施例中，可应用以下代码来导出特定分组中码字(bin_cw)的数目：

alpha＝(minCW-maxCW)/(maxVar-minVar)；

beta＝(maxCW*maxVar-minCW*minVar)/(maxVar-minVar)；

bin_cw＝round(alpha*bin_var+beta)；，

其中minVar表示所有分组之间的最小方差，maxVar表示所有分组之间的最大方差，且minCW、maxCW表示每分组的码字的最小及最大数目，如由再成形模型所确定。

基于亮度的色度QP偏移修正

在参考文献[6]中，为补偿亮度与色度之间的相互作用，界定额外色度QP偏移(表示为chromaDQP或cQPO)及基于亮度的色度残差换算器(cScale)。例如：

chromaQP＝QP_luma+chromaQPOffset+cQPO，

(28)

其中chromaQPOffset表示色度QP偏移，且QP_luma表示编码单元的亮度QP。如参考文献[6]中所呈现，在实施例中：

其中FwdLUT′表示FwdLUT()的斜率(一阶导数)。针对帧间片，表示CU的平均预测亮度值。针对帧内片，/>表示CU的平均预测亮度值的反再成形值。当双树编码用于CU(即，亮度及色度分量具有两个单独编码树且亮度重建因此可用于色度编码开始之前)时，CU的平均重建亮度值可用于导出cQpO值。cScale换算因子被界定为：

其中y＝pow(2，x)表示y＝2^x函数。

鉴于亮度导出的QP值(表示为qPi)与最终色度QP值(表示为Qp_C)之间的非线性关系(例如参阅表8到10，参考文献[4]中的“针对ChromaArrayType等于1的作为qPi的函数的Qp_C的规范(Specification of Qp_C as a function of qPi for ChromaArrayType equalto 1)”)，在实施例中，cQPO及cScale可进一步调整如下。

将经调整的亮度与色度QP值之间的映射表示为f_QPi2QPc()(例如参考文献[4]的表8到10中)，接着

chromaQP_actual＝f_QPi2QPc[chromaQP]＝

＝f_QPi2QPc[QP_luma+chromaQPOffset+cQPO]。

(31)

为换算色度残差，需要在应用cQPO之前及应用cQPO之后基于实际色度编码QP之间的真实差值来计算比例：

QPcBase＝f_QPi2QPc[QP_luma+chromaQPOffset]；

QPcFinal＝f_QPi2QPc[QP_luma+chromaQPOffset+cQPO]；

(32)

cQPO_refine＝QPcFinal-QpcBase；

cScale＝pow(2，-cQPO_refine/6)。

在另一实施例中，我们还可将chromaQPOffset吸收到cScale中。例如：

QPcBase＝f_QPi2QPc[QP_luma]；

QPcFinal＝f_QPi2QPc[QP_luma+chromaQPOffset+cQPO]；

(33)

cTotalQPO_refine＝QPcFinal-QpcBase；

cScale＝pow(2，-cTotalQPO_refine/6)。

作为实例，如参考文献[6]中所描述，在实施例中：

使CSCALE_FP_PREC＝16表示精度参数

·正向换算：在产生色度残差之后，在变换及量化之前：

-C_Res＝C_orig-C_pred

-C_Res_scaled＝C_Res*cScale+(1＜＜(CSCALE_FP_PREC-1)))＞＞CSCALE_FP_PREC

·反换算：在色度反量化及反变换之后，但在重建之前：

-C_Res_inv＝(C_Res_scaled＜＜CSCALE_FP_PREC)/cScale

-C_Reco＝C_Pred+C_Res_inv；

在替代实施例中，用于回路内色度再成形的运算可表示如下。在编码器侧处，针对每一CU或TU的色度分量Cx(例如Cb或Cr)的残差(CxRes＝CxOrg-CxPred)，

其中CxResScaled是待变换及量化的CU的经换算Cb或Cr残差信号。在解码器侧处，CxResScaled是反量化及变换之后的经换算色度残差信号，且

/>

色度分量的最终重建是

CxRec＝CxPred+CxRes。

(36)

此方法允许解码器开始反量化及变换运算以在语法剖析之后实时色度解码。用于CU的cScale值可由Cb及Cr分量共享，且其可从方程式(29)及(30)导出为：

其中是帧间片中当前CU的平均预测亮度值(其中未利用双树编码且重建亮度因此不可用)，且/>是帧内片中当前CU的平均重建亮度值(其中利用双树编码)。在实施例中，以16位定点整数计算及存储比例且利用定点整数运算来实施编码器侧及解码器侧两者处的换算运算。/>表示正向再成形函数的一阶导数。假定曲线的分段线性表示，当Y属于第k分组时，FwdLUT’(Y)＝(CW[k]/32)。为减少硬件延时，在另一实施例(参阅图2E)中，/>可利用帧内模式及帧间模式两者的当前CU的平均预测亮度值，不管片类型及是否利用双树。在另一实施例中，可利用帧内及/或帧间模式的重建CU(例如当前CU的上行及/或左列中的CU)来导出/>在另一实施例中，可利用高阶语法来在位流中明确发送基于区域的平均值、中值及其类似者、亮度值或cScale值。

利用cScale不受限于用于回路内再成形的色度残差换算。相同方法还可应用于回路外再成形。在回路外再成形中，cScale可用于色度样本换算。操作相同于回路内方法。

在编码器侧处，当计算色度RDOQ时，还需要基于修正偏移来计算用于色度调整的λ修正值(当利用QP偏移时或当利用色度残差换算时)：

Modifier＝pow(2，-cQPO_refine/3)；

New_lambda＝Old_lambda/Modifier。

(38)

如方程式(35)中所提及，利用cScale需要解码器中的除法。为简化解码器实施方案，我们可决定利用编码器中的除法来实施相同功能且在解码器中应用较简单乘法。例如，使

cScaleInv＝(1/cScale)

接着，作为实例，在编码器上

cResScale＝CxRes*cScale＝CxRes/(1/cScale)＝CxRes/cScaleInv，

且在解码器上

CxRes＝cResScale/cScale＝CxRes*(1/cScale)＝CxRes*cScaleInv。

在实施例中，可针对分段线性(PWL)表示中的对应亮度范围而非针对每一亮度码字值计来算每一亮度相依色度换算因子。因此，色度换算因子可存储于较小LUT(例如具有16或32个项目)(即，cScaleInv[binIdx])而非1024项目LUT(用于10位亮度码字)(即，cScale[Y])中。可利用定点整数运算来将编码器侧及解码器侧两者处的换算运算实施如下：

c’＝sign(c)*((abs(c)*s+2^{CSCALE_FP_PREC-1})＞＞CSCALE_FP_PREC)，

其中c是色度残差，s是来自cScaleInv[binIdx]的色度残差换算因子，binIdx由对应平均亮度值决定，且CSCALE_FP_PREC是与精度相关的恒定值。

在实施例中，尽管可利用N个相等分段(例如，N＝8、16、32及类似者)来表示正向再成形函数，但是反表示将包括非线性分段。从实施的角度来看，希望也利用相等分段来表示反再成形函数；然而，强制执行此表示可导致编码效率下降。作为折衷，在实施例中，我们可能够利用组合相等及不相等分段的“混合”PWL表示来构建反再成形函数。例如，当利用8个分段时，我们可首先将整个范围分成两个相等分段，且接着将这些中的每一者细分成4个不相等分段。替代地，我们可将整个范围分成4个相等分段且接着将每一者细分成两个不相等分段。替代地，我们可首先将整个范围分成若干不相等分段，接着将每一不相等分段细分成多个相等分段。替代地，我们可首先将整个范围分成两个相等分段，且接着将每一相等分段细分成相等子分段，其中子分段的每一群组中的分段长度不相同。

例如但不限于，利用1,024个码字，我们可具有：a)每个具有150个码字的4个分段，及每个具有212个码字的两个分段，或b)每个具有64个码字的8个分段，及每个具有128个码字的4个分段。此分段组合的一般目的是减少在给定代码值的情况下识别PWL段指数所需的比较次数，因此简化硬件及软件实施方案。

在实施例中，针对与色度残差换算相关的更高效率实施方案，可启用以下变化：

·当利用单独亮度/色度树时，停用色度残差换算；

·停用2×2色度的色度残差换算；及

·将预测信号而非重建信号用于帧内及帧间编码单元。

作为实例，鉴于图2E中所描绘的用于处理亮度分量的解码器200D_D，图2F描绘用于处理对应色度样本的实例架构200D_DC。

如图2F中所描绘，当处理色度时，相较于图2E而进行以下改变：

·不利用正向及反再成形块(282及265_3)；

·存在新色度残差换算块288以有效替换亮度的反再成形块265_3；及

·修改重建块285-C以处置原始域中的色彩残差，如方程式(36)中所描述：

CxRec＝CxPred+CxRes。

从方程式(34)，在解码器侧处，使CxResScaled表示反量化及变换(在块288之前)之后的提取换算色度残差信号，且使

CxRes＝CxResScaled*C_ScaleInv

表示由重建单元285-C用于计算CxRec＝CxPred+CxRes的色度残差换算块288产生的再换算色度残差，其中CxPred由帧内预测块284或帧间预测块280产生。

用于变换单元(TU)的C_ScaleInv值可由Cb及Cr分量共享且可计算如下：

·如果在帧内模式中，那么计算帧内预测亮度值的平均值；

·如果在帧间模式中，那么计算正向再成形帧间预测亮度值的平均值。即，在再成形域中计算平均亮度值avg Y′_TU；及

·如果在组合合并及帧内预测中，那么计算组合预测亮度值的平均值。例如，可根据附录2，8.4.6.6章节来计算组合预测亮度值。

·在实施例中，我们可应用LUT以基于avg Y′_TU来计算C_ScaleInv。替代地，鉴于再成形函数的分段线性(PWL)表示，我们可在反映射PWL中找到属于值avg Y′_TU的指数idx。

·接着，C_Scalelnv＝cScaleInv[idx]。

当前在通过ITU及ISO的发展下，可应用于多功能视频编码编解码器(参考文献[8])的实例实施方案可见于附录2(例如参阅8.5.5.1.2章节)中。

停用利用双树的帧内片的基于亮度的色度残差换算可导致编码效率的一些损失。

为改进色度再成形的效果，可利用以下方法：

1.取决于亮度样本值的平均值或中值，色度换算因子可针对整个帧保持相同。这将针对色度残差换算消除对亮度的TU级相依性。

2.可利用来自相邻CTU的重建亮度值来导出色度换算因子。

3.编码器可基于源亮度像素来导出色度换算因子，并且以CU/CTU级(例如，作为再成形函数的分段表示的指数)将其发送到位流中。接着，解码器可在不取决于亮度数据的情况下从再成形函数提取色度换算因子。

·针对CTU的换算因子可经导出并且仅针对帧内片发送；但也可用于帧间片。额外传信成本仅针对帧内片发生，因此对随机存取中的编码效率没有影响。

4.可以帧级将色度再成形为亮度，其中基于亮度与色度之间的相关性分析，从亮度再成形曲线导出色度再成形曲线。这完全消除色度残差换算。

delta_qp应用

在AVC及HEVC中，允许参数delta_qp修改编码块的QP值。在实施例中，我们可利用再成形器中的亮度曲线来导出delta_qp值。我们可基于每一分组的码字指派来导出分段lumaDQP值。例如：

其中INT()可为CEIL()、ROUND()或FLOOR()。编码器可利用亮度函数(例如average(luma)、min(luma)、max(luma)及其类似者)来找到所述块的亮度值，接着将对应lumaDQP值用于所述块。为从方程式(27)获得率失真益处，我们可在模式决策中利用加权失真且设置

再成形及分组的数目考虑

在典型10位视频编码中，优选地利用至少32个分组来再成形映射；然而，为简化解码器实施方案，在实施例中，我们可利用较少分组，即，16个或甚至8个分组。鉴于编码器可已利用32个分组来分析序列及导出分布码字，我们可通过在每一32个分组内加入对应两个16分组来再利用原始32分组码字分布及导出16分组码字，即：

for i＝0 to 15

CWIn16Bin[i]＝CWIn32Bin[2i]+CWIn32Bin[2i+1]。

针对色度残差换算因子，我们可仅将码字除以2，且指向32分组chromaScalingFactorLUT。例如，鉴于

CWIn32Bin[32]＝{0 0 33 38 38 38 38 38 38 38 38 38 38 38 38 38 38 3333 33 33 33 33 33 33 33 33 33 33 33 0 0}，

对应16分组CW分配是

CWIn16Bin[16]＝{0 71 76 76 76 76 76 76 71 66 66 66 66 66 66 0}。

此方法可经扩展以处置甚至更少分组(即，8个)，接着

for i＝0 to 7

CWIn8Bin[i]＝CWIn16Bin[2i]+CWIn16Bin[2i+1]。

当利用窄范围的有效码字时(例如，针对10位信号为[64，940]，且针对8位信号为[64，235])，应注意第一个及最后一个分组不考虑映射到保留码字。例如，针对具有8个分组的10位信号，每一分组将具有1024/8＝128个码字，且第一个分组将为[0，127]；然而，由于标准码字范围是[64，940]，因此第一个分组仅应考虑码字[64，127]。特殊旗标(例如，video_full_range_flag＝0)可用以向解码器通知输入视频的范围比整个范围[0，2^bitdepth-1]更窄，并且在处理第一个及最后一个分组时应特别注意，以免产生非法码字。这适用于亮度及色度再成形。

作为实例(但不限于)，附录2提供实例语法结构及相关联语法元素以根据利用图2C、图2E及图2F中所描绘的架构的实施例来支持ISO/ITU视频多功能编解码器(VVC)(参考文献[8])中的再成形，其中正向再成形函数包括16个分段。

参考文献

本文所列的每一参考文献的全部内容以引用的方式并入。

[1]“HEVC的HDR扩展的探索性测试模型(Exploratory Test Model for HDRextension of HEVC)”，K.珉宇(K.Minoo)等人，MPEG输出文件，JCTVC-W0092(m37732)，2016年，美国圣地亚哥(San Diego，USA)。

[2]由G-M.苏(G-M.Su)于2016年3月30日申请的PCT申请案PCT/US2016/025082，“高动态范围视频编码中的基于回路内块的图像再成形(In-Loop Block-Based ImageReshaping in High Dynamic Range Video Coding)”，也公开为WO 2016/164235。

[3]由T.陆(T.Lu)等人于2017年1月19日申请的美国专利申请案15/410,563，“用于高码字表示图像的内容适应性再成形(Content-Adaptive Reshaping for HighCodeword representation Images)”。

[4]ITU-T H.265，“高效视频编码(High efficiency video coding)”，ITU，2016年12月。

[5]由P.殷(P.Yin)等人于2016年7月14日申请的PCT申请案PCT/US2016/042229，“用于HDR及宽色域信号的信号再成形及编码(Signal Reshaping and Coding for HDRand Wide Color Gamut Signals)”，也公开为WO 2017/011636。

[6]由T.陆(T.Lu)等人于2018年6月29日申请的PCT专利申请案PCT/US2018/040287，“一体化图像再成形及视频编码(Integrated Image Reshaping and VideoCoding)”。

[7]J.弗勒利希(J.Froehlich)等人的“用于高动态范围图像的内容适应性感知量化器(Content-Adaptive Perceptual Quantizer for High Dynamic Range Images)”，第2018/0041759号美国公开专利申请案，2018年2月8日。

[8]B.布罗斯(B.Bross)、J.陈(J.Chen)及S.刘(S.Liu)于2019年1月8日上传的“多功能视频编码(草案3)Versatile Video Coding(Draft 3)”，JVET输出文件，JVET-L1001，v9。

实例计算机系统实施方案

可利用以下各者来实施本发明的实施例：计算机系统、配置于电子电路及组件中的系统、集成电路(IC)装置(例如微控制器)、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑装置(PLD))、离散时间或数字信号处理器(DSP)、专用IC(ASIC)及/或包含此类系统、装置或组件中的一或多者的设备。计算机及/或IC可执行(perform)、控制或执行(execute)与图像的信号再成形及编码(例如本文所描述的信号再成形及编码)相关的指令。计算机及/或IC可计算与本文所描述的信号再成形及编码过程相关的各种参数或值中的任何者。图像及视频实施例可实施为硬件、软件、固件及其各种组合。

本发明的特定实施方案包括计算机处理器，其执行引起处理器执行本发明的方法的软件指令。例如，显示器、编码器、机顶盒、转码器或其类似者中的一或多个处理器可通过执行处理器可存取的程序存储器中的软件指令来实施与上文所描述的图像的信号再成形及编码相关的方法。本发明还可以程序产品的形式提供。程序产品可包括载送包括指令的一组计算机可读信号的任何非暂时性及有形媒体，指令在由数据处理器执行时引起数据处理器执行本发明的方法。根据本发明的程序产品可呈各种非暂时性及有形形式中的任何者。程序产品可包括(例如)物理媒体，例如磁性数据存储媒体(其包含软盘、硬盘驱动器)、光学数据存储媒体(其包含CD ROM、DVD)、电子数据存储媒体(其包含ROM、快闪RAM)或其类似者。可任选地压缩或加密程序产品上的计算机可读信号。

当上文提及组件(例如软件模块、处理器、组合件、装置、电路等等)，除非另有指示，否则提及所述组件(其包含提及“构件”)应被解释为包含执行所描述的组件的功能的任何组件(例如，功能等效)作为所述组件的等效物，其包含结构上不等效于所揭示的结构、执行本发明的所说明的实例实施例中的功能的组件。

等效、扩展、替代及其它

因此，描述与图像的高效率信号再成形及编码相关的实例实施例。在以上说明中，已参考可随实施方案而变化的许多具体细节来描述本发明的实施例。因此，为发明目的且申请人希望将其视为发明的独有指标是由本申请案以特定形式发布的权利要求集合，此类权利要求以所述特定形式发布(其包含任何后续校正)。本文针对此类权利要求中所含的术语所明确阐述的任何定义应主导权利要求中所利用的此类术语的含义。因此(但不限于)，权利要求中未明确列举的元素、性质、特征、优点或属性应以任何方式限制此权利要求的范围。因此，本说明书及图式应被视为意在说明而非限制。

枚举实例性实施例

本发明可体现为本文所描述的形式中的任何者，其包含(但不限于)描述本发明的一些部分的结构、特征及功能的以下枚举实例实施例(EEE)。

EEE 1.一种用于利用处理器来使视频序列适应性再成形的方法，所述方法包括：

利用处理器来存取呈第一码字表示的输入图像；及

产生将所述输入图像的像素映射到第二码字表示的正向再成形函数，其中所述第二码字表示允许比所述第一码字表示更高效率的压缩，其中产生所述正向再成形函数包括：

将所述输入图像分成多个像素区域；

根据每一像素区域的第一亮度特性来将所述像素区域中的每一者指派给多个码字分组中的一者；

根据指派给每一码字分组的所述像素区域中的每一者的第二亮度特性来计算所述多个码字分组中的每一者的分组度量；

根据每一码字分组的所述分组度量及率失真优化准则来将呈所述第二码字表示的若干码字分配给每一码字分组；

及响应于将呈所述第二码字表示的码字分配给所述多个码字分组中的每一者而产生所述正向再成形函数。

EEE 2.根据EEE1所述的方法，其中像素区域的所述第一亮度特性包括所述像素区域的平均亮度像素值。

EEE 3.根据EEE1所述的方法，其中像素区域的所述第二亮度特性包括所述像素区域的亮度像素值的方差。

EEE 4.根据EEE3所述的方法，其中计算码字分组的分组度量包括：计算指派给所述码字分组的所有像素区域的亮度像素值的方差的平均值。

EEE 5.根据EEE1所述的方法，其中根据码字分组的分组度量来将呈所述第二码字表示的若干码字分配给所述码字分组包括：

如果无像素区域指派给所述码字分组，那么不指派码字给所述码字分组；

如果所述码字分组的所述分组度量低于上阈值，那么指派第一数目个码字；及

否则将第二数目个码字指派给所述码字分组。

EEE 6.根据EEE5所述的方法，其中针对具有B个位的深度的第一码字表示及具有B_o个位及N个码字分组的深度的第二码字表示，所述第一数目个码字包括M_f＝CEIL((2^Bo/(CW2-CW1))*M_a)且所述第二数目个码字包括M_a＝2^B/N，其中CW1＜CW2表示[0 2^B-1]中的两个码字。

EEE 7.根据EEE6所述的方法，其中CW1＝16*2^(B-8)且CW2＝235*2^(B-8)。

EEE 8.根据EEE5所述的方法，其中确定所述上阈值包括：

界定一组可能阈值；

针对所述组阈值中的每一阈值：

基于所述阈值来产生正向再成形函数；

根据所述再成形函数及比特率R来编码及解码一组输入测试帧以产生一组输出解码测试帧；及

基于所述输入测试帧及所述解码测试帧来计算总率失真优化(RDO)度量；及

选择使所述RDO度量最小的所述组可能阈值中的阈值作为所述上阈值。

EEE 9.根据EEE8所述的方法，其中计算所述RDO度量包括：计算J＝D+λR，其中D表示所述输入测试帧的像素值与所述解码测试帧中的对应像素值之间的失真测量，且λ表示拉格朗日乘数。

EEE 10.根据EEE9所述的方法，其中D是所述输入测试帧及所述解码测试帧的对应像素值之间的方差和的测量。

EEE 11，根据EEE1所述的方法，其中根据码字分组的分组度量来将呈所述第二码字表示的若干码字分配给所述码字分组是基于码字分配查找表，其中所述码字分配查找表界定将分组度量值的范围分成若干分段的两个或两个以上阈值且将每一分段内的分组度量提供给分配给分组的所述若干码字。

EEE 12.根据EEE11所述的方法，其中鉴于给分组的默认码字分配，将比所述默认码字分配少的码字指派给具有大分组度量的分组且将比所述默认码字分配多的码字指派给具有小分组度量的分组。

EEE 13.根据EEE12所述的方法，其中针对具有B个位及N个分组的第一码字表示，每分组的所述默认码字分配由M_a＝2^B/N给出。

EEE 14.根据EEE1所述的方法，其进一步包括响应于所述正向再成形函数而产生再成形信息，其中所述再成形信息包括以下中的一或多者：

指示用于再成形重建过程中的最小码字分组指数值的旗标，

指示用于所述再成形建构过程中的最大码字分组指数值的旗标，

指示再成形模型分布类型的旗标，其中每一模型分布类型与默认分组相关参数相关联，或

用于调整所述默认分组相关参数的一或多个差量值。

EEE 15.根据EEE5所述的方法，其进一步包括将分组重要性值指派给每一码字分组，其中所述分组重要性值是：

0，如果无码字指派给所述码字分组；

2，如果将码字的第一值指派给所述码字分组；及

否则为1。

EEE 16.根据EEE5所述的方法，其中确定所述上阈值包括：

将所述输入图像中所述像素值的所述亮度范围分成数个分组；

针对每一分组，确定分组直方图值及平均分组方差值，其中针对分组，所述分组直方图值包括所述图像中的像素总数中的所述分组中的像素数目且所述平均分组方差值提供所述分组中的所述像素的平均像素方差的度量；

使所述平均分组方差值排序以产生平均分组方差值的排序表及平均分组方差值指数的排序表；

基于所述分组直方图值及平均分组方差值指数的所述排序表来计算依据所述经排序平均分组方差值而变化的累积密度函数；及

基于由所述累积密度函数的值满足的准则来确定所述上阈值。

EEE 17.根据EEE16所述的方法，其中计算所述累积密度函数包括计算：

/>

其中b表示分组数目，PIC_ANALYZE_CW_BINS表示分组的总数，BinVarSortDsdCDF[b]表示分组b的CDF函数的输出，BinHist[i]表示分组i的分组直方图值，及BinIdxSortDsd[]表示平均分组方差值指数的所述排序表。

EEE 18.根据EEE16所述的方法，其中在针对所述输入图像中的k％像素，所述平均分组方差大于或等于所述上阈值的准则下，将所述上阈值确定为使所述CDF输出为k％的所述平均分组方差值。

EEE 19.根据EEE18所述的方法，其中k＝50。

EEE 20.在解码器中，一种用于重建再成形函数的方法，所述方法包括：

在编码位流中接收以再成形模型为特征的语法元素，其中所述语法元素包含以下中的一或多者

指示用于再成形建构过程中的最小码字分组指数值的旗标，

指示用于再成形建构过程中的最大码字分组指数值的旗标，

指示再成形模型分布类型的旗标，其中所述模型分布类型与包含分组重要性值的默认分组相关参数相关联，或

指示用于调整所述再成形模型分布中所界定的所述默认分组重要性值的一或多个差量分组重要性值的旗标；

基于所述再成形模型分布来确定每一分组的所述默认分组重要性值及根据所述分组的重要性值来分配给每一分组的若干默认码字的分配表；

针对每一码字分组：

基于所述分组的分组重要性值及所述分配表来确定分配给所述码字分组的码字数目；及

基于分配给每一码字分组的所述码字数目来产生正向再成形函数。

EEE 21.根据EEE20所述的方法，其中利用所述分配表来确定M_k(分配给第k码字分组的码字数目)进一步包括：

其中M_a及M_f是所述分配表的元素且bin_importance[k]表示第k分组的所述分组重要性值。

EEE 22.在包括一或多个处理器的解码器中，一种用于重建编码数据的方法，所述方法包括：

接收编码位流122，所述编码位流122包括呈第一码字表示的一或多个编码再成形图像及与所述编码再成形图像的再成形信息相关的元数据207；

基于与所述再成形信息相关的所述元数据来产生250反再成形函数，其中所述反再成形函数将来自所述第一码字表示的所述再成形图像的像素映射到第二码字表示；

基于与所述再成形信息相关的所述元数据来产生250正向再成形函数，其中所述正向再成形函数将来自所述第二码字表示的图像的像素映射到所述第一码字表示；

从所述编码位流提取包括一或多个编码单元的编码再成形图像，其中针对所述编码再成形图像中的一或多个编码单元：

针对所述编码再成形图像中的帧内编码编码单元(CU)：

基于所述CU中的再成形残差及第一再成形预测样本来产生所述CU的第一再成形重建样本227；

基于所述第一再成形重建样本及回路滤波器参数来产生270再成形回路滤波器输出；

将所述反再成形函数应用265于所述再成形回路滤波器输出以产生呈所述第二码字表示的所述编码单元的解码样本；及

针对所述编码再成形图像中的帧间编码编码单元：

将呈所述第二码字表示的所述编码单元的所述样本存储于参考缓冲器中；及

基于所述参考缓冲器中的所述存储样本来产生解码图像。

EEE 23.一种设备，其包括处理器且经配置以执行根据EEE 1到22中任一者所述的方法。

EEE 24.一种非暂时性计算机可读存储媒体，其上存储有根据EEE 1到22中任一者利用一或多个处理器来执行方法的计算机可执行指令。

附录1

泡式排序的实例实施方案

附录2

作为实例，此附录提供根据实施例的实例语法结构及相关联语法元素以在当前通过ISO及ITU的联合发展下支持多功能视频编解码器(VVC)(参考文献[8])中的再成形。突显或明确提及既有草拟版本中的新语法元素。在最终说明中，方程式编号(如(8-xxx))表示根据需要更新的占位符。

在7.3.2.1序列参数集RBSP语法中

/>

在7.3.3.1一般图块群组标头语法中

/>

新增新语法表图块群组再成形器模型：

在一般序列参数集RBSP语意中，新增以下语意：

sps_reshaper_enabled_flag等于1说明再成形器用于编码视频序列(CVS)中。sps_reshaper_enabled_flag等于0说明再成形器不用于CVS中。

在图块群组标头语法中，新增以下语意：

tile_group_reshaper_model_present_flag等于1说明tile_group_reshaper_model()存在于图块群组标头中。tile_group_reshaper_model_present_flag等于0说明tile_group_reshaper_model()不存在于图块群组标头中。当tile_group_reshaper_model_present_flag不存在时，推断其等于0。

tile_group_reshaper_enabled_flag等于1说明针对当前图块群组启用再成形器。tile_group_reshaper_enabled_flag等于0说明未针对当前图块群组启用再成形器。当tile_group_reshaper_enable_flag不存在时，推断其等于0。

tile_group_reshaper_chroma_residual_scale_flag等于1说明针对当前图块群组启用色度残差换算。tile_group_reshaper_chroma_residual_scale_flag等于0说明未针对当前图块群组启用色度残差换算。当tile_group_reshaper_chroma_residual_scale_flag不存在时，推断其等于0。

新增tile_group_reshaper_model()语法

reshaper_model_min_bin_idx指定用于再成形器建构过程中的最小分组(或段)指数。reshaper_model_min_bin_idx的值应在0到MaxBinIdx的范围内(含0及MaxBinIdx)。MaxBinIdx的值应等于15。

reshaper_model_delta_max_bin_idx指定最大允许分组(或段)指数MaxBinIdx减去用于再成形器建构过程中的最大分组指数。将reshaper_model_max_bin_idx的值设置为等于MaxBinIdx-reshaper_model_delta_max_bin_idx。

reshaper_model_bin_delta_abs_CW[i]指定第i分组的绝对差量码字值。

–如果reshaper_model_bin_delta_sign_CW_flag[i]等于0，那么对应变量RspDeltaCW[i]是正值。

–否则(reshaper_model_bin_delta_sign_CW_flag[i]不等于0)，对应变量RspDeltaCW[i]是负值。

当reshaper_model_bin_delta_sign_CW_flag[i]不存在时，推断其等于0。

变量RspCW[i]按以下步骤导出：

将OrgCW变量设置为等于(1<<BitDepthY)/(MaxBinIdx+1)。

–如果reshaper_model_min_bin_idx<＝i<＝reshaper_model_max_bin_idx，

那么RspCW[i]＝OrgCW+RspDeltaCW[i]。

–否则，RspCW[i]＝0。

如果BitDepthY的值等于10，那么RspCW[i]的值应在32到2*OrgCW-1的范围内。

变量InputPivot[i](其中i在0到MaxBinIdx+1的范围内(含0及MaxBinIdx+1))导出如下：

InputPivot[i]＝i*COrgCW

变量ReshapePivot[i](其中i在0到MaxBinIdx+1的范围内(含0及MaxBinIdx+1))、变量ScaleCoef[i]及InvScaleCoeff[i](其中i在0到MaxBinIdx的范围内(含0及MaxBinIdx))导出如下：

变量ChromaScaleCoef[i](其中i在0到MaxBinIdx的范围内(含0及MaxBinIdx))导出如下：

注：在替代实施方案中，我们可联合亮度及色度的换算，因此消除对ChromaResidualScaleLut[]的需要。接着，色度换算可实施为：

在用于组合合并及帧内预测的加权样本预测过程中新增以下。突显新增。

8.4.6.6用于组合合并及帧内预测的加权样本预测过程

此过程的输入是：

–当前编码块的宽度cbWidth，

–当前编码块的高度cbHeight，

–两个(cbWidth)×(cbHeight)阵列predSamplesInter及predSamplesIntra，

–帧内预测模式predModeIntra，

–指定色彩分量指数的变量cIdx。

此过程的输出是预测样本值的(cbWidth)×(cbHeight)阵列predSamplesComb。

变量bitDepth导出如下：

–如果cIdx等于0，那么将bitDepth设置为等于BitDepthY。

–否则，将bitDepth设置为等于BitDepthC。

预测样本predSamplesComb[x][y](其中x＝0…cbWidth-1及y＝0…cbHeight-1)导出如下：

–加权w导出如下：

–如果predModeIntra是INTRA_ANGULAR50，那么w指定于表8到10中，其中nPos等于y且nSize等于cbHeight。

–否则，如果predModeIntra是INTRA_ANGULAR18，那么w指定于表8到10中，其中nPos等于x且nSize等于cbWidth。

–否则，将w设置为等于4。

–如果cIdx等于0，那么predSamplesInter导出如下：

–如果tile_group_reshaper_enabled_flag等于1，

那么shiftY＝14

idxY＝predSamplesInter[x][y]>>Log2(OrgCW)

predSamplesInter[x][y]＝Clip1Y(ReshapePivot[idxY]

+(ScaleCoeff[idxY]*(predSamplesInter[x][y]-

InputPivot[idxY])+(1<<(shiftY–1)))>>shiftY)

(8-xxx)

–否则(tile_group_reshaper_enabled_flag等于0)

predSamplesInter[x][y]＝predSamplesInter[x][y]

–预测样本predSamplesComb[x][y]导出如下：

predSamplesComb[x][y]＝(w*predSamplesIntra[x][y]+(8-w)*predSamplesInter[x][y])＞＞3) (8-740)

表8到10-依据位置nP及大小nS而变化的w的规格

在图像重建过程中新增以下

8.5.5图像重建过程

此过程的输入是：

-指定相对于当前图像分量的左上样本的当前块的左上样本的位置(xCurr,yCurr)，

-分别指定当前块的宽度及高度的变量nCurrSw及nCurrSh，

-指定当前块的色彩分量的变量cIdx，

-指定当前块的预测样本的(nCurrSw)×(nCurrSh)阵列predSamples，

-指定当前块的残差样本的(nCurrSw)×(nCurrSh)阵列resSamples。

根据色彩分量cIdx的值来进行以下指派：

-如果cIdx等于0，那么recSamples对应于重建图像样本阵列SL且函数clipCidx1对应于Clip1_Y。

-否则，如果cIdx等于1，那么recSamples对应于重建色度样本阵列S_Cb且函数clipCidx1对应于Clip1_C。

-否则(cIdx等于2)，recSamples对应于重建色度样本阵列S_Cr且函数clipCidx1对应于Clip1_C。

当tile_group_reshaper_enabled_flag的值等于1时，位置(xCurr,yCurr)处的重建样本阵列recSamples的(nCurrSw)×(nCurrSh)块导出为条项8.5.5.1中所指定的映射过程。否则，位置(xCurr,yCurr)处的重建样本阵列recSamples的(nCurrSw)×(nCurrSh)块导出如下：

recSamples[xCurr+i][yCurr+j]＝clipCidxl(predSamples[i][j]+resSamples[i][j]) (8-xxx)

其中i＝0...nCurrSw-1，j＝0...nCurrSh-1

8.5.5.1利用映射过程的图像重建

此条项指定利用映射过程的图像重建。8.5.5.1.1中指定用于亮度样本值的利用映射过程的图像重建。8.5.5.1.2中指定用于色度样本值的利用映射过程的图像重建。

8.5.5.1.1用于亮度样本值的利用映射过程的图像重建

此过程的输入是：

-指定当前块的亮度预测样本的(nCurrSw)×(nCurrSh)阵列predSamples，

-指定当前块的亮度残差样本的(nCurrSw)×(nCurrSh)阵列resSamples。

此过程的输出是：

-(nCurrSw)×(nCurrSh)映射亮度预测样本阵列predMapSamples，

-(nCurrSw)×(nCurrSh)重建亮度样本阵列recSamples。

predMapSamples导出如下：

-如果(CuPredMode[xCurr][yCurr]＝＝MODE_INTRA)||(CuPredMode[xCurr][yCurr]＝＝MODE_INTER&&mh_intra_fiag[xCurr][yCurr])

那么predMapSamples[xCurr+i][yCurr+j]＝predSamples[i][j] (8-xxx)

其中i＝0...nCurrSw-1，j＝0...nCurrSh-1

-否则((CuPredMode[xCurr][yCurr]＝＝MODE_INTER&&！mh_intra_fiag[xCurr][yCurr]))，适用以下：

shiftY＝14

idxY＝predSamples[i][j]＞＞Log2(OrgCW)

predMapSamples[xCurr+i][yCurr+j]＝ReshapePivot[idxY]

+(ScaleCoeff[idxY]*(predSamples[i][j]-InputPivot[idxY])

+(1＜＜(shiftY-1)))＞＞shiftY (8-xxx)

其中i＝0...nCurrSw-1，j＝0...nCurrSh-1

recSamples导出如下：

recSamples[xCurr+i][yCurr+j]＝Clipl_Y

(predMapSamples[xCurr+i][yCurr+j]+resSamples[i][j]]) (8-xxx)

其中i＝0...nCurrSw-1，j＝0...nCurrSh-1

8.5.5.1.2用于色度样本值的利用映射过程的图像重建

此过程的输入是：

-指定当前块的映射亮度预测样本的(nCurrSwx2)×(nCurrShx2)阵列映射predMapSamples，

-指定当前块的色度预测样本的(nCurrSw)×(nCurrSh)阵列predSamples，

-指定当前块的色度残差样本的(nCurrSw)×(nCurrSh)阵列resSamples。

此过程的输出是重建色度样本阵列recSamples。

recSamples导出如下：

-如果(！tile_group_reshaper_chroma_residual_scale_flag||((nCurrSw)x(nCurrSh)＜＝4))

那么recSamples[xCurr+i][yCurr+j]＝Clip1C(predSamples[i][j]+resSamples[i][j]) (8-xxx)

其中i＝0...nCurrSw-1，j＝0...nCurrSh-1

-否则(tile_group_reshaper_chroma_residual_scale_flag&&((nCurrSw)×(nCurrSh)＞4))，适用以下：

变量varScale导出如下：

1.invAvgLuma＝Clip1Y((∑i∑jpredMapSamples[(xCurr＜＜1)+i][(yCurr＜＜1)+j]+nCurrSw*nCurrSh*2)/(nCurrSw*nCurrSh*4))

2.通过涉及利用样本值invAvgLuma的输入识别条项8.5.6.2中所指定的分段函数指数来导出变量idxYInv。

3.varScale＝ChromaScaleCoef[idxYInv]

recSamples导出如下：

-如果tu_cbf_cIdx[xCurr][yCurr]等于1，那么适用以下：

shiftC＝11

recSamples[xCurr+i][yCurr+j]＝ClipCidx1

(predSamples[i][j]+Sign(resSamples[i][j])

*((Abs(resSamples[i][j])*varScale+(1＜＜(shiftC1)))＞＞shiftC)) (8-xxx)

其中i＝0...nCurrSw-1，j＝0...nCurrSh-1

-否则(tu_cbf_cIdx[xCurr][yCurr]等于0)

recSamples[xCurr+i][yCurr+j]＝ClipCidx1(predSamples[i][j]) (8-xxx)

其中i＝0...nCurrSw-1，j＝0...nCurrSh-1

8.5.6图像反映射过程

当tile_group_reshaper_enabled_flag的值等于1时，调用此条项。输入是重建图像亮度样本阵列S_L且输出是反映射过程之后的经修改的重建图像亮度样本阵列S’_L。

8.4.6.1中指定用于亮度样本值的反映射过程。

8.5.6.1亮度样本值的图像反映射过程

此过程的输入是指定相对于当前图像的左上亮度样本的亮度样本位置的亮度位置(xP，yP)。

此过程的输出是反映射亮度样本值invLumaSample。

通过应用以下有序步骤来导出invLumaSample的值：

1.通过调用利用亮度样本值的输入S_L[xP][yP]识别条项8.5.6.2中所指定的分段函数指数来导出变量idxYInv。

2.reshapeLumaSample的值导出如下：

3.clipRange＝((reshaper_model_min_bin_idx＞0)&&(reshaper_model_max_bin_idx＜MaxBinIdx))；

当clipRange等于1时，适用以下：

minVal＝16＜＜(BitDepth_Y-8)

maxVal＝235＜＜(BitDepth_Y-8)

invLumaSample＝Clip3(minVal.maxVal，invLumaSample)

否则(clipRange等于0)，适用以下：

invLumaSample＝ClipCidx1(invLumaSample)

8.5.6.2用于亮度分量的分段函数指数的识别

此过程的输入是亮度样本值S。

此过程的输出是识别样本S所属的段的指数idxS。变量idxS导出如下：

应注意，用于找到识别符idxS的替代实施方案是如下：

/>

Claims

1.一种非暂时性计算机可读介质，其上存储有用于重建编码视频数据的指令，其中所述指令当由处理器执行时致使所述处理器进行以下操作：

接收包括呈再成形码字表示的一或多个编码再成形图像的编码位流；

在所述编码位流中接收用于所述一或多个编码再成形图像的再成形参数，其中所述再成形参数包括用以基于所述再成形参数来产生正向再成形函数的参数，其中所述正向再成形函数将图像的像素从输入码字表示映射到所述再成形码字表示，其中所述再成形参数包括：

差量指数参数，其确定用于再成形的活跃最大分组指数，其中所述活跃最大分组指数小于或等于预定最大分组指数；

最小指数参数，其指示用于所述再成形中的最小分组指数；

绝对差量码字值，其用于所述再成形码字表示中的每一活跃分组；及

所述绝对差量码字值的正负号，其用于所述再成形码字表示中的每一活跃分组。

2.根据权利要求1所述的非暂时性计算机可读介质，其中将所述正向再成形函数重建为具有由所述再成形参数导出的线性分段的分段线性函数。

3.根据权利要求1所述的非暂时性计算机可读介质，其中确定用于表示所述输入码字表示的所述活跃最大分组指数包括计算所述预定最大分组指数与所述差量指数参数之间的差值。

4.根据权利要求1所述的非暂时性计算机可读介质，其中所述预定最大分组指数是15、31或63中的一者。

5.一种非暂时性计算机可读介质，其上存储有用于生成用于编码位流的再成形参数的指令，其中所述指令当由处理器执行时致使所述处理器进行以下操作：

接收呈输入码字表示的视频图像序列；

针对所述视频图像序列中的一或多个图像，应用正向再成形函数以生成呈再成形码字表示的再成形图像，其中所述正向再成形函数将图像的像素从所述输入码字表示映射到所述再成形码字表示；

生成用于所述再成形码字表示的再成形参数；及

至少基于所述再成形图像来生成编码位流，其中所述再成形参数包括：

最小指数参数，其指示用于所述再成形中的最小分组指数；

6.根据权利要求5所述的非暂时性计算机可读介质，其中所述正向再成形函数包括具有由所述再成形参数导出的线性分段的分段线性函数。

7.根据权利要求5所述的非暂时性计算机可读介质，其中确定用于表示所述输入码字表示的所述活跃最大分组指数包括计算所述预定最大分组指数与所述差量指数参数之间的差值。

8.根据权利要求5所述的非暂时性计算机可读介质，其中所述预定最大分组指数是15、31或63中的一者。

9.一种非暂时性计算机可读介质，其上存储有用于传输由视频编码设备生成并用于重建视频的位流的指令，其中所述指令当由处理器执行时致使所述处理器进行以下操作：

传输所述位流，其中生成所述位流包括：

接收呈输入码字表示的视频图像序列；

生成用于所述再成形码字表示的再成形参数；及

最小指数参数，其指示用于所述再成形中的最小分组指数；

10.根据权利要求9所述的非暂时性计算机可读介质，其中所述正向再成形函数包括具有由所述再成形参数导出的线性分段的分段线性函数。

11.根据权利要求9所述的非暂时性计算机可读介质，其中确定用于表示所述输入码字表示的所述活跃最大分组指数包括计算所述预定最大分组指数与所述差量指数参数之间的差值。