CN114788275A - 用于联合Cb-Cr编码的量化矩阵的推导 - Google Patents

用于联合Cb-Cr编码的量化矩阵的推导 Download PDF

Info

Publication number
CN114788275A
CN114788275A CN202080072304.2A CN202080072304A CN114788275A CN 114788275 A CN114788275 A CN 114788275A CN 202080072304 A CN202080072304 A CN 202080072304A CN 114788275 A CN114788275 A CN 114788275A
Authority
CN
China
Prior art keywords
scaling
components
derived
encoding
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080072304.2A
Other languages
English (en)
Inventor
E·弗朗索瓦
P·德拉格朗日
F·赫伦
C·切万斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Interactive Digital Vc Holdings France Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Digital Vc Holdings France Ltd filed Critical Interactive Digital Vc Holdings France Ltd
Publication of CN114788275A publication Critical patent/CN114788275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于重建图像块的方法,所述块包括多个分量并且从参考块预测编码,该方法包括:如果单个量化的残差块用于对该多个分量中的至少两个分量进行联合编码,则从各自针对该多个分量中的一个分量定义的多个缩放列表中导出(901)至少一个量化矩阵;以及,将至少一个导出的量化矩阵中的一个导出的量化矩阵应用(902)于该单个量化的残差块,以获得该至少两个分量中的每个分量的重建残差块。

Description

用于联合Cb-Cr编码的量化矩阵的推导
技术领域
本实施方案中的至少一个实施方案通常涉及用于视频编码或解码的一种方法或一种装置,并且更具体地涉及,用于有效地为联合Cb-Cr残差编码(JCCR)提供量化矩阵以用于对视频进行编码或解码的一种方法或一种装置。
背景技术
为了实现高压缩效率,图像和视频编码方案通常采用包括运动向量预测在内的预测以及利用视频内容中的空间和时间冗余的转化。一般来讲,帧内或帧间预测用于利用帧内或帧间相关性,然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行转化、量化和熵编码。为了重建视频,通过对应于熵编码、量化、转化和预测的逆过程对压缩数据进行解码。
对视频压缩技术的最近添加包括各种行业标准、参考软件的版本和/或文档,诸如由联合视频探索团队(JVET)组开发的联合探索模型(JEM)和后续的VTM(多功能视频编码(VVC)测试模型)。其目的是进一步改进现有HEVC(高效视频编码)标准。
发明内容
在第一方面,本实施方案中的一个或多个实施方案提供一种用于重建图像块的方法,所述块包括多个分量并且从参考块预测编码,该方法包括:
如果单个量化的残差块用于对多个分量中的至少两个分量进行联合编码,则从各自针对多个分量中的一个分量定义的多个缩放列表中导出至少一个量化矩阵;以及,
将至少一个导出的量化矩阵中的一个导出的量化矩阵应用于该单个量化的残差块,以获得该至少两个分量中的每个分量的重建残差块。
在实施方案中,单个量化的残差块用于对两个色度分量进行联合编码,并且从针对第一色度分量定义的第一缩放列表和针对第二色度分量定义的第二缩放列表导出至少一个导出的量化矩阵。
在实施方案中,导出包括将函数应用于从表示缩放因子矩阵的平均值或加权平均值的多个缩放列表中导出的缩放因子矩阵。
在实施方案中,多个缩放列表包括从表示图像的比特流中发信号通知的缩放列表导出的缩放列表。
在实施方案中,当单个量化的残差块用于对多个分量中的至少两个分量进行联合编码时,语法元素指示应用于单个量化的残差块的量化矩阵是否从多个缩放列表中导出或等于针对多个分量中的一个分量定义的一个缩放列表。
在第二方面,本实施方案中的一个或多个实施方案提供一种用于重建图像块的设备,所述块包括多个分量并且从参考块预测编码,该设备包括:
在单个量化的残差块用于对多个分量中的至少两个分量进行联合编码的情况下,用于从各自针对多个分量中的一个分量定义的多个缩放列表中导出至少一个量化矩阵的装置;以及用于将至少一个导出的量化矩阵中的一个导出的量化矩阵应用于单个量化的残差块以获得至少两个分量中的每个分量的重构残差块的装置。
在实施方案中,单个量化的残差块用于对两个色度分量进行联合编码,并且从针对第一色度分量定义的第一缩放列表和针对第二色度分量定义的第二缩放列表导出至少一个导出的量化矩阵。
在实施方案中,导出包括将函数应用于从表示缩放因子矩阵的平均值或加权平均值的多个缩放列表中导出的缩放因子矩阵。
在实施方案中,多个缩放列表包括从表示图像的比特流中发信号通知的缩放列表导出的缩放列表。
在实施方案中,当单个量化的残差块用于对多个分量中的至少两个分量进行联合编码时,语法元素指示应用于单个量化的残差块的量化矩阵是否从多个缩放列表中导出或等于针对多个分量中的一个分量定义的一个缩放列表。
在第三方面,本实施方案中的一个或多个实施方案提供包括根据第一方面的方法的编码方法。
在第四方面,本实施方案中的一个或多个实施方案提供了一种解码方法,该解码方法包括根据第一方面所述的方法。
在第五方面,本实施方案中的一个或多个实施方案提供了一种编码装置,该编码装置包括根据第二方面所述的设备。
在第六方面,本实施方案中的一个或多个实施方案提供了一种解码装置,该解码装置包括根据第二方面所述的设备。
在第七方面,本实施方案中的一个或多个实施方案提供一种装置,该装置包括根据第五方面所述的编码装置和/或根据第六方面所述的解码装置。
在第八方面,本实施方案中的一个或多个实施方案提供了一种信号,其由第三方面的编码方法或第五方面的编码装置或第七方面的装置生成。
在第九方面,本实施方案中的一个或多个实施方案提供了一种计算机程序,该计算机程序包括用于实施根据第一方面或根据第三方面或第四方面的方法的程序代码指令。
在第十方面,本实施方案中的一个或多个实施方案提供了一种信息存储介质,该信息存储介质存储用于实施根据第一方面或根据第三方面或第四方面的方法的程序代码指令。
具体实施方式
此处描述的一般方面在视频压缩领域中。与现有的视频压缩系统相比,这些方面旨在改进压缩和/或解压缩效率。
本实施方案的一个或多个方面涉及VVC、量化矩阵的两个工具与称为俩和Cb-Cr残差编码(JCCR)模式的色度编码模式之间的关系。
联合Cb/Cr残差编码
联合Cb/Cr残差编码(JCCR)的概念
在一个或多个基本实施方案中,可以根据两种模式对色度转换单元(TU)或转换块(TB)的Cb和Cr色度预测残差进行编码。在第一模式中,分别对Cb残差和Cr残差进行编码。命名为联合Cb-Cr(JCCR)的第二模式包括对Cb和Cr色度残差进行联合编码。当激活JCCR模式时,针对相同TU中的Cb块和Cr块两者发信号通知一个单个联合残差块。然后,将Cb残差设置为等于发信号通知的残差,并且Cr残差被设置为发信号通知的残差,或被设置为与发信号通知的残差相反(与发信号通知的残差样本的标志相反)。切片级标记(slice_joint_cbcr_sign_flag)被编码以指示这两个选项中的哪一者适用于当前切片。
JCCR模式控制
在一个或多个基本实施方案中,JCCR模式首先由在SPS级(sps_joint_cbcr_enabled_flag)处发信号通知的标记控制。对于图片中的相对位置x0,y0处的TU(TU左上色度样本位置),当sps_joint_cbcr_enabled_flag指示JCCR的启用时,另一语法元素tu_joint_cbcr_residual_flag[x0][y0]在TU级处发信号通知。
两个其它语法元素,即tu_cbf_cb[x0][y0]和tu_cbf_cr[x0][y0],分别指示Cb块和Cr块是否具有非零残差样本(“cbf”代表“编码块标记”),也用于控制JCCR。只有当tu_cbf_cb[x0][y0]和tu_cbf_cr[x0][y0]两者均等于1时,JCCR模式才执行Cb和Cr残差的混合。
JCCR过程
对于索引cIdx(1表示Cb,2表示Cr)的色度分量,在位置x0,y0处的TU的残差样本块resSamples[x][y]的推导包括以下步骤,考虑到由解码残差系数的逆量化和逆转换产生的输入残差值res[x][y]。
步骤1-参数TuCResMode的推导
根据tu_joint_cbcr_residual_flag[x0][y0]、tu_cbf_cb[x0][y0]和tu_cbf_cr[x0][y0],变量TuCResMode[x0][y0]如下导出:
-如果tu_joint_cbcr_residual_flag[x0][y0]等于0,则变量TuCResMode[x0][y0]设置为等于0;
-否则,如果tu_cbf_cb[x0][y0]等于1且tu_cbf_cr[x0][y0]等于0,则变量TuCResMode[x0][y0]设置为等于1;
-否则,如果tu_cbf_cb[x0][y0]等于1,则变量TuCResMode[x0][y0]设置为等于2;
-否则,变量TuCResMode[x0][y0]设置为等于3。
步骤2-参数codedCIdx的推导
变量codedCIdx如下导出:
-如果cIdx等于0或TuCResMode[xTbY][yTbY]等于0,则将codedCIdx设置为等于cIdx。
-否则,如果TuCResMode[xTbY][yTbY]等于1或2,则将codedCIdx设置为等于1。
-否则,将codedCIdx设置为等于2。
其中xTbY,yTbY是与上述x0,y0相当的图片位置。
为了简单起见,在各种实施方案的论述和解释中移除参数的索引。举例来说,tu_joint_cbcr_residual_flag[x0][y0]简称为tu_joint_cbcr_residual_flag。
步骤3-转换块的残差样本resSample的推导
(当tu_joint_cbcr_residual_flag=1和tu_cbf_cb or tu_cbf_crCb中的至少一者等于1时)根据tu_cbf_cb和tu_cbf_cr和TuCrResMode重建色度分量Cb和Cr的残差信号,如下表所示。
Figure BDA0003597610670000051
其中cSign=(1-2*slice_joint_cbcr_sign_flag)。
TuCResMode=2的情况对应于Cb和Cr残差进行联合编码的情况。其在表中以灰色突出显示。
量化参数控制
对于色度残差转换系数的量化/缩放过程,当前VVC草案使得能够发信号通知单独的语法元素,以独立地控制CbCr的色度量化参数(QP)和JCCR残差(当在切片级启用JCCR模式时)。它们用于推导Cb、Cr和JCCR残差的色度QP,即QP'cb、QP'cr和QP'cbcr。
对于JCCR,使用色度QP的独立控制的选项是合理的,因为具有JCCR的转换块的残差能量分布可能不同于不具有JCCR的转换块的残差能量分布。然而,VVC的一个或多个实施方案不支持用JCCR编码的转换块的特定缩放列表/量化矩阵。
量化矩阵的缩放控制
HEVC中的去量化,其中量化矩阵作为缩放因子
HEVC规格允许在去量化(逆量化)过程中使用量化矩阵,在该去量化过程中经编码的块频率-经转换系数通过当前量化步骤进行缩放并通过量化矩阵(QM)进行进一步缩放,如下:
d[x][y]=Clip3(coeffMin,coeffMax,((TransCoeffLevel[xTbY][yTbY][cIdx][x][y]*m[x][y]*levelScale[qP%6]<<(qP/6))+(1<<(bdShift-1)))>>bdShift)
其中:
·TransCoeffLevel[…]是当前块的由其空间坐标xTbY、yTbY和其分量索引cIdx识别的经变换系数绝对值。
·x和y是水平/竖直频率索引。
·qP是当前量化参数。
·乘以levelScale[qP%6]和左偏移(qP/6)等同于乘以量化步骤qStep=(levelScale[qP%6]<<(qP/6))
·m[…][…]是二维量化矩阵
·bdShift是用于考虑图像样本位深度的附加缩放因数。项(1<<(bdShift-1))用于四舍五入到最接近的整数。
·d[…]是所得逆量化的经变换系数绝对值
一个或多个基本实施方案的量化矩阵
在一个或多个基本实施方案中,类似的量化矩阵m[…][…]在逆量化/缩放过程中使用,如在用于当前VVC的转换系数的第8.7.3节“缩放过程”中所描述。其推导过程如下描述。矩阵m[…][…]从scaling_list_data导出,其语法如下所示:
Figure BDA0003597610670000061
Figure BDA0003597610670000071
与HEVC相比,VVC由于规格支持的更高数目个块大小而提供更多量化矩阵。观察到,表ScalingList[sizeId][matrixId][i]由sizeId(从1到6)和matrixId(从0到5)进行索引。因此,使用36个表。
用于转换系数的缩放过程
在转换系数的缩放过程中,当TuCResMode[xTbY][yTbY]等于2时,量化参数qP被设置为QP'cbcr。
中间量化矩阵m[x][y]如下导出:
-如果sps_scaling_list_enabled_flag等于0(无QM)或transform_skip_flag[xTbY][yTbY]等于1(针对块跳过转换)m[x][y]=16
-否则,以下适用:
m[x][y]=ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId][x][y]
从ScalingList矩阵中导出5维阵列ScalingFactor。2个第一尺寸涉及TU水平尺寸和竖直尺寸(nTbW和nTbH),第3尺寸涉及参数matrixId,且2个最后尺寸与水平/竖直频率索引相关。
举例来说,在一个或多个基本实施方案中,大小为2×2的量化矩阵的元素、ScalingFactor[1][1][matrixId][x][y],其中i=0..3,matrixid=1、2、4、5,如下导出:
x=DiagScanOrder[1][1][i][0]
y=DiagScanOrder[1][1][i][1]
ScalingFactor[1][1][matrixId][x][y]=ScalingList[1][matrixId][i]其中DiagScanOrder是根据对角线扫描将索引映射到2D阵列中的表。
从表7-6(如下所示)导出的参数matrixId基于包含所考虑的TU的编码单元的预测模式CuPredMode和cIdx的值。此参数被设置为codedCId。也就是说,如上所述(步骤2),当TuCResMode[xTbY][yTbY]等于2时,其被设置为1。这意味着当TuCResMode[xTbY][yTbY]等于2(即,JCCR模式将Cb残差块和Cr残差块进行混合)时,使用Cb分量的缩放列表。
表7-6-根据sizeId、预测模式和颜色分量的matrixId的规格
sizeId CuPredMode cIdx(颜色分量) matrixId
2,3,4,5,6 MODE_INTRA 0(Y) 0
1,2,3,4,5,6 MODE_INTRA 1(Cb) 1
1,2,3,4,5,6 MODE_INTRA 2(Cr) 2
2,3,4,5,6 MODE_INTER,MODE_IBC 0(Y) 3
1,2,3,4,5,6 MODE_INTER,MODE_IBC 1(Cb) 4
1,2,3,4,5,6 MODE_INTER,MODE_IBC 2(Cr) 5
图1描绘了残差系数缩放过程的简化框图。在步骤300中,对M缩放列表矩阵进行解码。在步骤301中,M scalingFactor矩阵从ScalingList矩阵导出。在VVC中,M=6*6=36。在步骤302中,导出参数TuCResMode。在步骤303中,导出参数codedCIdx。在此步骤中,在VVC中,当TuCResMode等于1或2时,将codedCIdx设置为等于1。在步骤304中,导出matrixId。特别地,由于先前的步骤,当TuCResMode等于2时,matrixId从设置为1的颜色分量索引导出。在步骤305中,量化矩阵m[x][y]从scalingFactor矩阵、matrixId和与TU大小有关的其它输入参数导出。在步骤306中,基于m[x][Y]和与所考虑的残差(亮度Y或色度Cb、Cr或JCCR)相关联的色度QP实现解码系数的缩放。
在使用JCCR模式的情况下,图1中所示的三个或更多相关步骤的过程在下文进一步详细描述(当使用JCCR时应用的线以及为1的Cb块和Cr块的cbf以灰色突出显示):
步骤302–codedCIdx的推导
–如果cIdx等于0或TuCResMode[xTbY][yTbY]等于0,则将codedCIdx设置为等于cIdx。
–否则,如果TuCResMode[xTbY][yTbY]等于1或2,则将codedCIdx设置为等于1。
–否则,将codedCIdx设置为等于2。
步骤303—matrixId的推导
基于以下表,matrixId从输入参数sizeId、CuPredMode和cIdx导出。
sizeId CuPredMode cIdx(颜色分量) matrixId
2,3,4,5,6 MODE_INTRA 0(Y) 0
1,2,3,4,5,6 MODE_INTRA 1(Cb) 1
1,2,3,4,5,6 MODE_INTRA 2(Cr) 2
2,3,4,5,6 MODE_INTER,MODE_IBC 0(Y) 3
1,2,3,4,5,6 MODE_INTER,MODE_IBC 1(Cb) 4
1,2,3,4,5,6 MODE_INTER,MODE_IBC 2(Cr) 5
步骤304–量化矩阵m[x][y]的推导
m[x][y]如下导出:
m[x][y]=ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId][x][y]
如上所述,一个或多个基本实施方案不支持对用JCCR编码的转换块具有特异性的量化矩阵。当JCCR应用时,Cb分量的量化矩阵用于JCCR。然而,转换块与JCCR的残差能量分布可能不同于不具有JCCR的残差能量分布。这可能导致视觉质量降级或压缩效率损失。
对于具有TuCResMode等于2的JCCR的情况,其它解决方案提出针对每个块大小引入针对JCCR的2个附加缩放列表。
当给定色度转换块用JCCR编码并且tu_cbf_cb和tu_cbf_cr两者均等于1时,使用针对JCCR的缩放列表。以灰色突出显示的以下文本是一个或多个基本实施方案的规格改变。
Figure BDA0003597610670000101
表7-6在一个或多个实施方案中如下修改:
修改的表7-6-根据sizeId、预测模式和颜色分量的matrixId的规格
Figure BDA0003597610670000102
这会增加2*6个缩放列表表。然而,这使用更多信令位,并且需要更多存储器来存储矩阵。
因此,另外的实施方案的一个或多个方面避免通过替代地形成在应用JCCR模式时取决于与Cb和Cr颜色分量相关联的缩放因子两者而在逆量化过程中使用的量化矩阵来发信号通知新缩放列表矩阵。为简单起见,这将被称为Cb和Cr缩放因子。各种实施方案的一个或多个方面使用适于或特定于JCCR模式的量化矩阵。
第一附加实施方案
在第一附加实施例中,当使用JCCR时,修改量化矩阵m[x][y]的推导。当使用JCCR时,m[x][y]从应用于Cb和Cr分量的ScalingFactor矩阵导出。此解决方案有利地避免了针对JCCR情况发信号通知附加缩放列表。使用应用于Cb和Cr分量的ScalingFactor矩阵的混合似乎是适当的,因为JCCR残差信号是Cb和Cr残差的混合。
量化矩阵m[x][y]的推导过程(步骤304)如下修改(以灰色突出显示与一个或多个基本实施方案相比的变化):
–如果TuCResMode[xTbY][yTbY]不等于2,则以下适用。
m[x][y]=ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId][x][y]
–否则,以下适用。
m[x][y]=f(ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId1][x][y],ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId2][x][y])
其中
·f(A,B)是混合值A和B的预定义函数
·matrixId1与Cb分量相关联且从表7-6导出,其索引对应于Cb分量(通常在表7-6中设置为1的cIdx)
·matrixId2与Cr分量相关联且从表7-6导出,其索引对应于Cr分量(通常在表7-6中设置为2的cIdx)
图4提供了实施第一实施方案的缩放过程的框图的示例。与图1中所描绘的过程相比,添加三个步骤(在图中以粗体字体指示)。在TuCResMode的推导步骤302之后,步骤400检查TuCResMode是否等于2。如果TuCResMode不等于2,则步骤303(codedCIdx的推导)、步骤304(matrixId的推导)和步骤305(量化矩阵m[x][y]的推导)适用于图1的现有技术过程。如果TuCResMode等于2,则在步骤401中导出matrixId1和matrixId2。然后在步骤402中,基于与matrixId1和matrixId2相关联的ScalingFactor表来导出m[x][y]。
函数f()的示例
f()旨在混合两个值:
A=ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId1][x][y]
B=ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId2][x][y]
下面提供了函数的不同示例:
·f(A,B)=(A+B)/2=(A+B)>>1
·f(A,B)=(A+B+1)/2=(A+B+1)>>1
·f(A,B)=(a*A+b*B+(a+b)/2)/(a+b)
○其中a和b是正值、预定义参数或发信号通知的参数或从发信号通知的语法元素导出的参数
○在变体中,a和b被限制为使得(a+b)等于2^K,K是预定义整数值,或在流中发信号通知的值。
○在此后一种情况下,f()可以表示为:
·f(A,B)=(a*A+(2^K–a)*B+2^(K–1))/2^K
=(a*A+(2^K–a)*B+2^(K–1))>>K
其中x>>y对应于x乘y二进制数字的两个补体整数表示的算术右移,并且x^y指定x为y的幂。
第二附加实施方案
在第二附加实施方案中,添加新的ScalingFactor矩阵。但是这些矩阵未在比特流中发信号通知,但是从用于Cb和Cr分量的ScalingFactor矩阵中推断。如在第一实施方案中,此解决方案有利地避免发信号通知附加缩放列表矩阵。
如下实现用于JCCR情况(基于使用2*6矩阵的一个或多个基本实施方案)的附加ScalingFactor矩阵的推导。
for(sizeId=1;sizeId<7;sizeId++)
对于由sizeId指定的大小的正方形TU的每个水平/竖直频率索引x和y
ScalingFactor[sizeId][sizeId][6][x][y]=f(ScalingFactor[sizeId][sizeId][1][x][y],ScalingFactor[sizeId][sizeId][2][x][y])
ScalingFactor[sizeId][sizeId][7][x][y]=f(ScalingFactor[sizeId][sizeId][4][x][y],ScalingFactor[sizeId][sizeId][5][x][y])
函数f()可以是上文给出的示例中的一个示例。
表7-6在一个或多个实施方案中如下修改:
修改的表7-6-根据sizeId、预测模式和颜色分量的matrixId的规格
Figure BDA0003597610670000131
过程在图5中示出。与图1相比,修改步骤301,因为(M+N)ScalingFactor矩阵被导出,而不是M,N为针对JCCR情况的附加矩阵的数目。一个或多个基本实施方案使用N=2*6。matrixId推导的步骤304也进行了修改,因为表7-6包括针对TuCResMode为2的情况的两个或更多个条目,一个条目用于CuPredMode=MODE_INTRA的情况,一个条目用于CuPredMode=MODE_INTER或MODE_IBC的情况。在上述示例表中,新matrixId值是6和7。修改的块以粗体字体显示。当然,可以考虑行的不同排序和与每种情况相关联的matrixId值。
在替代方案中,添加在流中未发信号通知但从其它发信号通知的缩放列表推断的新缩放列表。并且新的ScalingFactor矩阵直接从这些新的ScalingList矩阵导出。
如下实现针对JCCR情况(基于一个或多个基本实施方案,需要2*6矩阵)的附加ScalingList矩阵的推导。
for(sizeId=1;sizeId<7;sizeId++)
for i=0to Min(63,(1<<(sizeId<<1))-1)
ScalingList[sizeId][6][i]=f(ScalingList[sizeId][1][i],ScalingList[sizeId][2][i])
ScalingList[sizeId][7][i]=f(ScalingList[sizeId][4][i],ScalingList[sizeId][5][i])
函数f()可以是上文给出的示例中的一个示例。
然后,如VVC中所描述,从ScalingList导出(M+N)ScalingFactor矩阵。
第三附加实施方案
在第三附加实施方案中,添加了新的语法元素,此处命名为ref_jccr_scaling_list_id,以指示针对JCCR情况的量化矩阵是否等于Cb或Cr ScalingFactor(或ScalingList)表,或者是否通过混合Cb和Cr ScalingFactor(或ScalingList)表而导出。
在图6中示出了选择过程。下面提供语义的示例。
新语法ref_jccr_scaling_list_id指定了当JJCR模式应用时(即,当相对位置x0,y0处的转换块的参数TuCResMode[x0][y0]等于2)应用的ScalingFactor(或ScalingList)表的推导过程。
如果ref_jccr_scaling_list_id低于2(步骤500的测试),用于JCCR的ScalingFactor(或ScalingList)表(TuCResMode=2)被设置为与用于Cb或Cr的ScalingFactor(或ScalingList)表相同(步骤501)。举例来说,针对matrixId=6和7的ScalingFactor如下导出:
for(sizeId=1;sizeId<7;sizeId++)
对于由sizeId指定的大小的正方形TU的每个水平/竖直频率索引x和y
ScalingFactor[sizeId][sizeId][6][x][y]=ScalingFactor[sizeId][sizeId][1+ref_jccr_scaling_list_id][x][y]
ScalingFactor[sizeId][sizeId][7][x][y]=ScalingFactor[sizeId][sizeId][4+ref_jccr_scaling_list_id][x][y]
否则(ref_jccr_scaling_list_id=2),用于JCCR的ScalingFactor(或ScalingList)表(TuCResMode=2)通过将用于Cb和Cr的ScalingFactor(或ScalingList)表混合来获得(步骤502)。举例来说,针对matrixId=6和7的ScalingFactor如下导出:
for(sizeId=1;sizeId<7;sizeId++)
对于由sizeId指定的大小的正方形TU的每个水平/竖直频率索引x和y
ScalingFactor[sizeId][sizeId][6][x][y]=f(ScalingFactor[sizeId][sizeId][1][x][y],ScalingFactor[sizeId][sizeId][2][x][y])
ScalingFactor[sizeId][sizeId][7][x][y]=f(ScalingFactor[sizeId][sizeId][4][x][y],ScalingFactor[sizeId][sizeId][5][x][y])
本申请描述了各个方面,包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面,并且至少示出个体特性,通常以可能听起来有限的方式描述。然而,这是为了描述清楚,并不限制这些方面的应用或范围。实际上,所有不同的方面可组合和互换以提供进一步的方面。此外,这些方面也可与先前提交中描述的方面组合和互换。
本专利申请中描述和设想的方面可以许多不同的形式实现。下文的图2、图2A、图3、图3A和图7提供了一些实施方案,但是设想了其它实施方案,并且图2、图2A、图3、图3A和图7的论述不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码,并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质,和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
在本申请中,术语“重建”和“解码”可以互换使用,术语“像素”和“样本”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。通常,但不一定,术语“重建”在编码端使用,而“解码”在解码端使用。
本文描述了各种方法,并且每种方法包括用于实现所述方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作,否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外,术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、部件、步骤、操作等,诸如“第一解码”和“第二解码”。除非特定需要,否则使用此类术语并不暗示对修改操作的排序。因此,在这个示例中,第一解码不需要在第二解码之前执行,并且可例如在第二解码之前、期间或重叠的时间段发生。
本申请中描述的各种方法和其它方面可以用于修改模块,例如,图2和2A中的视频编码器100的量化和逆量化模块(130、140);以及解码器200的逆量化模块(240),如图3和图3A所示。此外,本发明方面不限于VVC或HEVC,并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外,否则本申请中所述的方面可单独或组合使用。
在本申请中使用各种数值。具体值是为了示例目的,并且所述方面不限于这些具体值。
图2示出了编码器100。设想了这一编码器100的变型,但是为了清楚起见,下文描述了编码器100而不描述所有预期的变型。
在编码之前,视频序列可经过预编码处理(101),例如,将颜色变换应用于输入彩色图片(例如,从RGB 4:4:4到YCbCr 4:2:0的转换),或执行输入图片分量的重新映射,以便获得对压缩更具弹性的信号分布(例如,使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。
在编码器100中,图片由编码器元件进行编码,如下所述。以例如CU为单位对要编码的图片进行分区(102)和处理。例如,使用帧内模式或帧间模式对每个单元进行编码。当单元以帧内模式进行编码时,其执行帧内预测(160)。在帧间模式中,执行运动估计(175)和补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一者用于对单元进行编码,并且通过例如预测模式标记来指示帧内/帧间决策。例如通过从原始图像块减去(110)预测块来计算预测残差。
然后对预测残差进行变换(125)和量化(130)。对经量化的变换系数以及运动向量和其他语法元素进行熵编码(145),以输出比特流。编码器可跳过变换,并对未变换的残差信号直接应用量化。编码器可绕过变换和量化两者,即,在不应用变换或量化过程的情况下直接对残差进行编码。
编码器对编码块进行解码以提供用于进一步预测的参考。对量化的变换系数进行去量化(140)和逆变换(150)以解码预测残差。组合(155)经解码的预测残差和预测块,重建图像块。向重建画面应用环路滤波器(165)以执行例如解块/SAO(样本自适应偏移)滤波,以减少编码伪影。经滤波的图像存储在参考图片缓冲器(180)中。
图2A示出了视频解码器200的另一示例的另一框图。图2A另外示出了例如如VVC规格中所提议的应用的亮度映射(101、191、190)过程和图像分割(102)过程。亮度映射包括向预测亮度样本应用亮度正向映射函数Mapfwd(.)。亮度正向映射函数Mapfwd(.)基于在数据流中编码的表lumaMapTable,其中lumaMapTable指示分段线性亮度映射函数Mapfwd(.)的斜率。每段或区段具有均匀长度,定义为间隔[Yi,Yi+1–1],i=0至15。
图3示出了视频解码器200的框图。在解码器200中,比特流由解码器元件进行解码,如下所述。视频解码器200通常执行与如图2或图2A所描述的编码过程相反的解码过程。编码器100通常还执行视频解码作为对视频数据编码的一部分。
具体地,解码器的输入包括视频比特流,该视频比特流可由视频编码器100生成。首先对比特流进行熵解码(230)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此,解码器可以根据解码图片分区信息划分(235)图片。对变换系数进行去量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块,重建图像块。可从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)预测块。向重建图像应用环路滤波器(265)。经滤波的图像存储在参考图片缓冲器(280)中。
经解码的图片还可经过解码后处理(285),例如,逆颜色变换(例如,从YCbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码处理(101)中执行的重新映射过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中发信号通知的元数据。
图3A示出了视频解码器200的另一示例的另一框图,该视频解码器200对应于具有图2A所示的附加映射(101、190、191)和图像分割(102)功能的编码器100。对应的解码功能在例如图3A中的解码器200的模块210、290、295和296中示出。
图7示出了在其中实施各种方面和实施方案的系统的示例的框图。系统1000可体现为包括下文所述的各个部件的设备,并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如,在至少一个实施方案中,系统1000的处理元件和编码器/解码器元件分布在多个IC和/或分立部件上。在各种实施方案中,系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中,系统1000被配置为实现本文档中描述的一个或多个方面。
系统1000包括至少一个处理器1010,该处理器被配置为执行加载到其中的指令,以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如,易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040,该存储设备可包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备1040可包括内部存储设备、附接存储设备(包括可拆和不可拆的存储设备)和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030,该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频,并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知,设备可包括编码模块和解码模块中的一者或两者。此外,编码器/解码器模块1030可实现为系统1000的独立元件,或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中,并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施方案,处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在一些实施方案中,处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令和提供工作存储器以用于在编码或解码期间需要的处理。然而,在其他实施方案中,处理设备外部的存储器(例如,处理设备可以是处理器1010或编码器/解码器模块1030)用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040,例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中,外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中,快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器,诸如MPEG-2(MPEG是指运动图片专家组,MPEG-2也称为ISO/IEC13818,并且13818-1也称为H.222,13818-2也称为H.262)、HEVC(HEVC是指高效视频编码,也称为H.265和MPEG-H部分2)或VVC(通用视频编码,由联合视频专家小组(JVET)开发的新标准)。
对系统1000的元件的输入可通过如框1130中所示的各种输入设备提供。此类输入设备包括但不限于:(i)射频(RF)部分,其接收例如由广播器通过空中传输的RF信号;(ii)分量(COMP)输入端子(或一组COMP输入端子);(iii)通用串行总线(USB)输入端子;和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图7中未示出的其它示例包括复合视频。
在各种实施方案中,框1130的输入设备具有如本领域已知的相关联的相应输入处理元件。例如,RF部分可与适用于以下的元件相关联:(i)选择所需的频率(也称为选择信号,或将信号频带限制到一个频带),(ii)下变频选择的信号,(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带,(iv)解调下变频和频带限制的信号,(v)执行纠错,以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件,例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器,这些功能包括例如下变频接收信号至更低频率(例如,中频或近基带频率)或至基带。在一个机顶盒实施方案中,RF部分及其相关联的输入处理元件接收通过有线(例如,电缆)介质发射的RF信号,并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序,移除这些元件中的一些元件,和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件,例如,插入放大器和模数变换器。在各种实施方案中,RF部分包括天线。
此外,USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解,输入处理(例如Reed-Solomon纠错)的各个方面可根据需要例如在单独的输入处理IC内或在处理器1010内实现。类似地,USB或HDMI接口处理的方面可根据需要在单独的接口IC内或在处理器1010内实现。将解调流、纠错流和解复用流提供给各种处理元件,包括例如处理器1010以及编码器/解码器1030,该处理元件与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上。
系统1000的各种元件可设置在集成外壳内。在集成外壳内,各种元件可使用合适的连接布置1140(例如,如本领域已知的内部总线,包括IC间(I2C)总线、布线和印刷电路板)互连并且在其间发射数据。
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可包括但不限于被配置为通过通信信道1060发射和接收数据的收发器。通信接口1050可包括但不限于调制解调器或网卡,并且通信信道1060可例如在有线和/或无线介质内实现。
在各种实施方案中,使用诸如Wi-Fi网络,例如IEEE 802.11(IEEE是指电气和电子工程师协会)之类的无线网络将数据流式发射或以其它方式提供给系统1000。这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施方案的通信信道1060通常连接到接入点或路由器,该接入点或路由器提供对包括互联网的外部网络的访问,以用于允许流式应用和其他云上通信。其他实施方案使用机顶盒向系统1000提供流式数据,该机顶盒通过输入块1130的HDMI连接递送数据。还有其他实施方案使用输入块1130的RF连接向系统1000提供流式数据。如上所述,各种实施方案以非流式的方式提供数据。此外,各种实施方案使用除了Wi-Fi以外的无线网络,例如蜂窝网络或蓝牙网络。
系统1000可向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可用于电视机、平板、笔记本、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他部件集成在一起(例如,如在智能电话中),或者是单独的(例如,笔记本电脑的外部监视器)。在实施方案的各种示例中,其他外围设备1120包括独立数字视频光盘(或数字多功能光盘,两个术语都是DVR)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统1000的输出的功能的一个或多个外围设备1120。例如,盘播放器执行播放系统1000的输出的功能。
在各种实施方案中,控制信号使用诸如AV.Link、消费电子产品控制(CEC)或其他通信协议的信令在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送,该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地,输出设备可使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(诸如例如,电视机)中的系统1000的其它部件集成在单个单元中。在各种实施方案中,显示接口1070包括显示驱动器,诸如例如定时控制器(T Con)芯片。
另选地,如果输入1130的RF部分是单独机顶盒的一部分,则显示器1100和扬声器1110可选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中,输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)提供。
这些实施方案可由处理器1010或由硬件或由硬件和软件的组合实现的计算机软件执行。作为非限制性示例,这些实施方案可由一个或多个集成电路实现。作为非限制性示例,存储器1020可以是适合于技术环境的任意类型,并且可使用任何适当的数据存储技术实现,诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例,处理器1010可以是适合于技术环境的任何类型,并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
图8示出了根据本实施方案的一个或多个方面的视频编码过程的示例。在801中,基于一个或多个Cb和Cr缩放因子获得一个或多个量化矩阵。在802中,基于获得的一个或多个量化矩阵对视频进行编码。
图9示出了根据本实施方案的一个或多个方面的视频解码过程的示例。在901中,基于一个或多个Cb和Cr缩放因子获得一个或多个量化矩阵。在902中,基于获得的一个或多个量化矩阵对视频进行解码。
在此描述的各种具体实施涉及解码。如本申请中所用,“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分,以便产生适于显示的最终输出。在各种实施方案中,此类过程包括通常由解码器执行的一个或多个过程,例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中,此类过程还或另选地包括由本申请中描述的各种实施的解码器执行的过程,例如,提取并确定与在此描述的改进的JCCR相关的一个或多个参数。
作为进一步的示例,在一个实施方案中,“解码”仅是指熵解码,在另一个实施方案中,“解码”仅是指差分解码,并且在又一个实施方案中,“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的,并且据信将被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中,此类过程包括通常由编码器执行的一个或多个过程,例如,分区、差分编码、变换、量化和熵编码。在各种实施方案中,此类过程还或另选地包括由本申请中描述的各种实施的编码器执行的过程,例如,用于在此描述的增强型JCCR模式。
作为进一步的示例,在一个实施方案中,“编码”仅是指熵编码,在另一个实施方案中,“编码”仅是指差分编码,并且在又一个实施方案中,“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的,并且据信将被本领域的技术人员很好地理解。
注意,如本文所使用的语法元素,例如ref_jccr_scaling_list_id和ScalingFactor,是描述性术语。因此,它们不排除使用其他语法元素名称。
当附图呈现为流程图时,应当理解,其还提供了对应装置的框图。类似地,当附图呈现为框图时,应当理解,其还提供了对应的方法/过程的流程图。
各种实施方案是指速率失真优化。具体地,在编码过程期间,通常考虑速率和失真之间的平衡或权衡,这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数,该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如,这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试,并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性,特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合,诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真,而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地,许多方法采用各种技术中任一种来执行优化,但是优化不一定是对编码成本和相关失真两者的完整评估。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如,仅作为方法讨论),讨论的特征的具体实施也可以其他形式(例如,装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现,该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型,意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此,短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。另外,本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
此外,本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如,从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外,本申请可涉及“接收”各种信息。与“访问”一样,接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如,从存储器)中的一者或多者。此外,在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,“接收”通常以一种方式或另一种方式参与。
应当理解,例如,在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下,使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或选择两个选项(A和B)。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一者”的情况下,此类短语旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或仅选择第三列出的选项(C),或仅选择第一列出的选项和第二列出的选项(A和B),或仅选择第一列出的选项和第三列出的选项(A和C),或仅选择第二列出的选项和第三列出的选项(B和C),或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是,这可扩展到所列出的尽可能多的项目。
而且,如本文所用,词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。举例来说,在某些实施方案中,编码器针对JCCR模式发信号通知多个参数中的特定一个参数。这样,在一个实施方案中,在编码器侧和解码器侧两者均使用相同的参数。因此,例如,编码器可将特定参数发射(显式信令)到解码器,使得解码器可使用相同的特定参数。相反,如果解码器已具有特定参数以及其他,则可在不发射(隐式信令)的情况下使用信令,以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能,在各种实施方案中实现了位节省。应当理解,信令可以各种方式实现。例如,在各种实施方案中,使用一个或多个语法元素、标记等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式,但是词语“signal(信号)”在本文也可用作名词。
对于本领域的普通技术人员将显而易见的是,具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如,可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如,使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是,信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
我们描述了多个实施方案。这些实施方案的特征可以单独提供或以任何组合形式提供。在整个本公开中,还支持并考虑到各种其他广义以及特定的方面、实施方案和权利要求。此外,实施方案可包括以下特征、设备或方面中的一个或多个,单独地或以任何组合,跨各种权利要求类别和类型:
·量化矩阵取决于一个或多个Cb和Cr缩放因子。
·根据所描述的实施方案中的任一实施方案的量化矩阵对JCCR模式具有特异性。
·当应用JCCR模式时使用根据所描述的实施方案中的任一实施方案的量化矩阵。
·根据所描述的实施方案中的任一实施方案的量化矩阵在逆量化过程中使用。
·根据所描述的实施方案中的任一实施方案的量化矩阵不需要被发信号通知的附加缩放列表。
·当使用JCCR时,在不需要附加信令的情况下,导出新缩放因子。
·从新缩放列表中导出新缩放因子。
·在另一替代方案中,添加了新的语法元素,例如称为ref_jccr_scaling_list_id,以指示针对JCCR情况的量化矩阵是否等于Cb或Cr缩放因子,或者是否通过混合Cb和Cr缩放因子或缩放列表而导出。
·包括一个或多个所描述的语法元素或其变型的比特流或信号。
·包括根据所描述的实施方案中的任一实施方案生成的语法传达信息的比特流或信号。
·在信令中插入语法元素,这使得解码器能够以与编码器所使用的编码方式相对应的方式调整残差元素。
·创建和/或传输和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。
·根据所描述的实施方案中的任一实施方案创建和/或发射和/或接收和/或解码。
·根据所描述的实施方案中的任一实施方案的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
·根据所描述的实施方案中的任一实施方案执行滤波器参数的自适应的电视机、机顶盒、移动电话、平板电脑或其它电子设备。
·根据所描述的实施方案中的任一实施方案执行滤波器参数的自适应并显示所得图像(例如,使用监视器、屏幕或其它类型的显示器)的电视机、机顶盒、移动电话、平板电脑或其它电子设备。
·选择(例如,使用调谐器)信道以接收包括编码图像的信号并且执行根据所描述的实施方案中的任一实施方案的滤波器参数的自适应的电视机、机顶盒、蜂窝电话、平板电脑或其它电子设备。
·通过空中接收(例如,使用天线)包括编码图像的信号并且执行根据所述实施方案中的任一实施方案的滤波器参数的自适应的电视机、机顶盒、移动电话、平板电脑或其它电子设备。

Claims (18)

1.一种用于重建图像块的方法,所述块包括多个分量并且从参考块预测编码,所述方法包括:
如果(400)单个量化的残差块用于对所述多个分量中的至少两个分量进行联合编码,则从各自针对所述多个分量中的一个分量定义的多个缩放列表中导出(801、901、301、304、401、402)至少一个量化矩阵;以及,
将至少一个导出的量化矩阵中的一个导出的量化矩阵应用(802、902、306)到所述单个量化的残差块,以获得所述至少两个分量中的每个分量的重建残差块。
2.根据权利要求1所述的方法,其中所述单个量化的残差块用于对两个色度分量进行联合编码,并且从针对第一色度分量定义的第一缩放列表和针对第二色度分量定义的第二缩放列表导出至少一个导出的量化矩阵。
3.根据权利要求1或2所述的方法,其中所述导出包括将函数应用于从表示所述缩放因子矩阵的平均值或加权平均值的所述多个缩放列表中导出的缩放因子矩阵。
4.根据权利要求1、2或3所述的方法,其中所述多个缩放列表包括从表示所述图像的比特流中发信号通知的缩放列表导出的缩放列表。
5.根据任一前述权利要求所述的方法,其中当单个量化的残差块用于对所述多个分量中的至少两个分量进行联合编码时,语法元素指示应用于所述单个量化的残差块的所述量化矩阵是否从所述多个缩放列表导出或等于针对所述多个分量中的一个分量定义的一个缩放列表。
6.一种用于重建图像块的设备,所述块包括多个分量并且从参考块预测编码,所述设备包括:
在单个量化的残差块用于对所述多个分量的至少两个分量进行联合编码(400)的情况下,用于从各自针对所述多个分量中的一个分量定义的多个缩放列表中导出(801、901、301、304、401、402)至少一个量化矩阵的装置;以及,
用于将所述至少一个导出的量化矩阵中的一个导出的量化矩阵应用(802、902、306)于所述单个量化的残差块以获得所述至少两个分量中的每个分量的重建残差块的装置。
7.根据权利要求6所述的设备,其中所述单个量化的残差块用于对两个色度分量进行联合编码,并且从针对第一色度分量定义的第一缩放列表和针对第二色度分量定义的第二缩放列表导出至少一个导出的量化矩阵。
8.根据权利要求6或7所述的设备,其中所述导出包括将函数应用于从表示所述缩放因子矩阵的平均值或加权平均值的所述多个缩放列表中导出的缩放因子矩阵。
9.根据权利要求6、7或8所述的设备,其中所述多个缩放列表包括从表示所述图像的比特流中发信号通知的缩放列表导出的缩放列表。
10.根据权利要求6至9中的任一前述权利要求所述的设备,其中当单个量化的残差块用于对所述多个分量中的至少两个分量进行联合编码时,语法元素指示应用于所述单个量化的残差块的所述量化矩阵是否从所述多个缩放列表导出或等于针对所述多个分量中的一个分量定义的一个缩放列表。
11.一种编码方法,包括根据权利要求1至5中的任一前述权利要求所述的方法。
12.一种解码方法,包括根据权利要求1至5中的任一前述权利要求所述的方法。
13.一种编码装置,包括根据权利要求6至10中的任一前述权利要求所述的设备。
14.一种解码装置,包括根据权利要求6至10中的任一前述权利要求所述的设备。
15.一种装置,包括根据权利要求13所述的编码装置和/或根据权利要求14所述的解码装置。
16.一种信号,由权利要求11所述的编码方法或权利要求13所述的编码装置或权利要求15所述的装置生成。
17.一种计算机程序,包括用于实施根据权利要求1至5中的任一前述权利要求或根据权利要求11或12所述的方法的程序代码指令。
18.一种信息存储介质,存储用于实施根据权利要求1至5中的任一前述权利要求或根据权利要求11或12所述的方法的程序代码指令。
CN202080072304.2A 2019-10-02 2020-09-24 用于联合Cb-Cr编码的量化矩阵的推导 Pending CN114788275A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19306255 2019-10-02
EP19306255.1 2019-10-02
PCT/EP2020/076752 WO2021063803A1 (en) 2019-10-02 2020-09-24 Derivation of quantization matrices for joint cb-cr coding

Publications (1)

Publication Number Publication Date
CN114788275A true CN114788275A (zh) 2022-07-22

Family

ID=72659237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080072304.2A Pending CN114788275A (zh) 2019-10-02 2020-09-24 用于联合Cb-Cr编码的量化矩阵的推导

Country Status (4)

Country Link
US (1) US20220368912A1 (zh)
EP (1) EP4038876A1 (zh)
CN (1) CN114788275A (zh)
WO (1) WO2021063803A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201417650D0 (en) * 2014-10-06 2014-11-19 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
US20150189289A1 (en) * 2012-07-02 2015-07-02 Electronics And Telecommunications Research Institute Method and apparatus for coding/decoding image
CN105103563A (zh) * 2013-04-08 2015-11-25 联发科技(新加坡)私人有限公司 在可伸缩视频编码中的量化矩阵信令和表示的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
CN116347079A (zh) * 2020-04-08 2023-06-27 日本放送协会 编码装置、解码装置及程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189289A1 (en) * 2012-07-02 2015-07-02 Electronics And Telecommunications Research Institute Method and apparatus for coding/decoding image
CN105103563A (zh) * 2013-04-08 2015-11-25 联发科技(新加坡)私人有限公司 在可伸缩视频编码中的量化矩阵信令和表示的方法和装置
GB201417650D0 (en) * 2014-10-06 2014-11-19 Canon Kk Residual colour transform signalled at sequence level for specific coding modes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUNSUKE IWAMURA 等: "[AHG15] On scaling list for JCCR", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11,16TH MEETING: GENEVA, CH, 1–11 OCTOBER 2019,JVET-P0608, 25 September 2019 (2019-09-25), pages 1 *

Also Published As

Publication number Publication date
EP4038876A1 (en) 2022-08-10
US20220368912A1 (en) 2022-11-17
WO2021063803A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
EP3954118A1 (en) Wide angle intra prediction with sub-partitions
WO2022063729A1 (en) Template matching prediction for versatile video coding
CN115918071A (zh) 使变换过程自适应于基于神经网络的帧内预测模式
US20230096533A1 (en) High-level constraint flag for local chroma quantization parameter control
US20240031607A1 (en) Scaling list control in video coding
US20220368912A1 (en) Derivation of quantization matrices for joint cb-br coding
US20220224902A1 (en) Quantization matrices selection for separate color plane mode
US20230262268A1 (en) Chroma format dependent quantization matrices for video encoding and decoding
US20220272356A1 (en) Luma to chroma quantization parameter table signaling
US20230143712A1 (en) Transform size interactions with coding tools
US20230232045A1 (en) Scaling process for joint chroma coded blocks
US20220360781A1 (en) Video encoding and decoding using block area based quantization matrices
WO2023046463A1 (en) Methods and apparatuses for encoding/decoding a video
KR20240072180A (ko) Isp 모드를 사용한 템플릿 기반 인트라 모드 도출(timd)의 확장
EP4035392A1 (en) Most probable mode signaling with multiple reference line intra prediction
CN116601948A (zh) 使带有色度缩放的亮度映射适于4:4:4 rgb图像内容
CN117561717A (zh) 高精度4×4 dst7和dct8变换矩阵
CN115362679A (zh) 用于视频编码和解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231008

Address after: Paris France

Applicant after: Interactive digital CE patent holdings Ltd.

Address before: French Sesong Sevigne

Applicant before: Interactive digital VC holdings France Ltd.

TA01 Transfer of patent application right