CN114830655B - 视频编解码的方法与装置 - Google Patents

视频编解码的方法与装置 Download PDF

Info

Publication number
CN114830655B
CN114830655B CN202080085700.9A CN202080085700A CN114830655B CN 114830655 B CN114830655 B CN 114830655B CN 202080085700 A CN202080085700 A CN 202080085700A CN 114830655 B CN114830655 B CN 114830655B
Authority
CN
China
Prior art keywords
conversion
syntax
lfnst
current
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080085700.9A
Other languages
English (en)
Other versions
CN114830655A (zh
Inventor
江嫚书
庄子德
徐志玮
陈庆晔
林芷仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN114830655A publication Critical patent/CN114830655A/zh
Application granted granted Critical
Publication of CN114830655B publication Critical patent/CN114830655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

揭示一种使用低频非可分离转换(Low‑Frequency Non‑Separable Transform,LFNST)模式于视频编解码的方法以及其装置。一CU(编解码单元)被分割为一个或多个转换块。一语法在一编码器侧或在一解码器侧被决定,其中如果一或多个条件满足时,该决定步骤是通过在该编码器侧发信该语法或是通过在该解码器侧剖析该语法来加以进行。该语法指示出该LFNST模式是否被应用于该当前编解码单元中,与/或当该LFNST模式被应用时,哪一个LFNST核心被应用,以及该多个条件包括目标条件相对应于在目标TB组的所有目标TB都有TS(转换跳过)模式指示为假,而且该目标TB组是从该当前CU中的TB加以选择。依据通过该语法所指示出的该LFNST模式来对该当前CU在该编码器侧编码或是在该解码器侧解码。

Description

视频编解码的方法与装置
交叉引用
本发明要求分别于2019年12月12日提交的序号为62/947,057、2019年12月18日提交的序号为62/949,505、2020年1月11日提交的序号为62/959,938的美国临时专利申请的优先权。所述美国临时专利申请在此通过引用将其全文并入。
技术领域
本发明关于视频编解码。尤其,本发明揭示在低频非可分离转换(Low-FrequencyNon-Separable Transform,LFNST)模式的限制及其发信。
背景技术
高效率视频编码(HEVC)是由视频编码联合协作小组(Joint Collaborative Teamon Video Coding,JCT-VC)所发展的新一代国际性视频编解码标准。HEVC是基于混合块为基础的运动补偿类似DCT转换的编解码架构。补偿的基本单元(称为编解码单元,CU)是一2Nx2N的方型块,而每一CU可以递回式地被分割成四个较小的CU,一直达到预定的最小尺寸为止。每个CU包括一或多个预测单元(Prediction Unit,PU)。
为改善混合编解码架构的编解码效率,对于每一PU HEVC提供了两种类型的预测模式,即帧内预测与帧间预测。对于帧内预测模式而言,可以用空间相邻重构像素来产生方向性的预测,在HEVC中有多达35种方向。对于帧间预测模式而言,可以用时间重构参考帧来产生运动补偿的预测。有三种不同模式,包括跳过(Skip)、合并(Merge)以及帧间高级运动向量预测(帧间AMVP)模式。
转换程序
在预测之后,用于一CU的预测后残差被分割为转换单元(transform units,Tu)而且使用转换和量化加以编解码。像许多其他先前标准,HEVC采用离散余弦转换类型II(Discrete Cosine Transform type II,DCT-II)作为其核心转换(主要转换),这是因为其强大的″能量压缩″(energy compaction)特性。为了改善转换,对帧内模式(intra mode),离散正弦转换(Discrete Sine Transform,DST)也被引入使用,在部分情况下取代DCT。对帧间-预测残差,DCT-II是目前HEVC唯一使用的转换。然而,DCT-II并非对于所有情况都是最佳转换。离散正弦转换类型七(Discrete Sine Transform type VII,DST-VII)与离散余弦转换类型八(Discrete Cosine TrAnsform type VIII,DCT-VIII)在有些案例中被提议来取代DCT-II。多重转换选择(multiple transform selection,MTS)方案也被使用于残差编解码以用于帧内与帧间编解码块二者。它还利用了从DCT/DST家族系列中(除了HEVC中的当前转换之外)的多个选择的转换。新引入的变换矩阵是DCT-VIII。在VVC中,用于核心转换的多重变换选择(MTS)描述如下。
除了已在HEVC中使用的DCT-II之外,一多重转换选择(MTS)方案被用于残差编码帧间与/或帧内编解码块中。它使用从DCT8(DCT-VIII)/DST7(DST-VII)中所选择的多个转换。新引进的转换矩阵是DST-VII与DCT-VIII。以下表格显示所选择DST/DCT的基础函数。
表格1:用于N-点输入的DCT-II/VIII与DSTVII转换基础函数
为了保持转换矩阵正交性(orthogonality),转换矩阵比在HEVC中的转换矩阵被量化得更准确。为了保持转换后系数的中间数值(intermediate values)在16-比特的范围(在水平与在垂直转换之后),所有系数都保持在10-比特。
为了控制MTS方案,分开致能的旗标(separate enabling flags)被指明于SPS层级以分别用于帧内与帧间模式。当MTS被致能于SPS,一CU层级索引被发信来指示出转换模式(指示出用于当前CU的水平与垂直方向的转换类型)。在此,MTS仅被应用于亮度。当宽度与高度二者皆小于或等于32而且CBF旗标等于一时,此MTS CU层级索引(即,mts_idx)可以被发信。
如果MTS CU索引等于0,则DCT2被应用于二个方向。然而,如果MTS CU索引大于零,用于水平与垂直方向的转换类型被指明于表格二。
表格二:转换与发信映射表格
低频非可分离转换(LFNST)
在一些实施例中,为了降低大尺寸DST-7与DCT-8的复杂度,在具有尺寸(宽度或高度、或宽度与高度二者)等于32的DST-7与DCT-8块中,高频转换系数被归零。仅在16x16低频区域之中的系数被使用。
在VVC中,如图1所示,顺向LFNST(低频非可分离转换)120(被称为缩减的二次转换)被应用于顺向主要转换110和量化130(在编码器处),而逆向LFNST 150被应用于去量化140和逆向主要转换160(在解码器侧)之间。在LFNST中,依据块的尺寸大小来应用一4x4非可分离转换或8x8非可分离转换。例如,将4x4 LFNST应用于较小的块(即,min(宽度,高度)<8),而且将8x8 LFNST应用于较大的块(即,min(宽度,高度)>4)。在图1中,点状区域122相对应于用于4×4顺向LFNST的16个输入系数,或用于8×8顺向LFNST的48个输入系数。点状区域152相对应于用于4x4逆向LFNST的8或16个输入系数,或用于8x8逆向LFNST的8或16个输入系数。在这种情况下,顺向主要转换的输入是预测残差,而且逆向主要转换的输出是重构后残差。
非可分离转换的应用(被使用于LFNST)被描述于下列例子中。为了应用4x4LFNST,4x4输入块X。
首先以一向量来表示:
此非可分离转换被计算为其中/>指示出转换系数向量,而且T是一16x16转换矩阵。使用用于该块的扫描顺序(即,水平、垂直、或对角线),16x1系数向量/>接着被重组为4x4块。具有较小索引的系数会被放在4x4系数块中具有较小扫描索引之处。
缩减的(Reduced)非可分离转换
LFNST(低频非可分离转换)是基于直接矩阵乘法方式来应用非可分离转换,使得其被施行于一单一通道而不用多次迭(a single pass without multiple iterations)。然而,非可分离转换矩阵维度(dimension)需要被缩减来减少计算复杂度与记忆体空间来储存转换系数。因此,缩减的非可分离转换(或RST)方法被使用在LFNST中。缩减的非可分离转换的主要概念是将一N维向量映射至一不同空间的一R维向量,其中N/R(R<N)是缩减因子(reduction factor)而且对8x8 NSST(Non-Separable Secondary Transforms,非可分离二次转换),N通常是等于64。因此,RST矩阵变成如下的一R×N矩阵(而非NxN矩阵):
其中,转换的R列(row)是N维度空间的R基础(base)。用于RT的逆转换矩阵是其顺向转换的转置(transpose)。对8x8 LFNST,一缩减因子4被应用。在此情况下,一64x64直接矩阵(其通常用于一8x8非可分离转换矩阵)被缩减为16x48直接矩阵。因此,48×16逆RST矩阵被使用在解码器侧来产生在8×8左上方区域的核心(主要)转换系数。当具有相同转换组配置的16x48矩阵被应用(而非16x64),其每一个从一左上方8×8块的三个4x4块(不包括右下方4x4块)拿走48个输入数据。
有了缩减维度的协助,在合理的效能下降情况下,用于储存所有LFNST矩阵的记忆体使用从10KB缩减到8KB。为了减少复杂度,LFNST被限制于只有当第一系数次群组之外的所有系数都是非-有效(non-significant)的时候才可应用。因此,当LFNST被应用时,所有主要-仅(primary-only)转换系数都是零。这允许一有条件式的LFNST索引发信是取决于最后有效的位置。因此,这避免在当前LFNST设计中额外的系数扫描(其仅在特定位置需要检查有效系数)。LFNST的最差状况处理(以每一像素的乘法而言)将用于4x4与8x8块的非可分离转换分别限制于8x16与8x48转换。在这些状况下,当LFNST被应用于其他小于16的尺寸时,最后有效扫描位置必须小于8。对具有4xN与Nx4(而且N>=8)形状的块,所提议的限制隐含LFNST只被应用一次,而且只用在左上方4x4区域。由于当LFNST被应用时,所有主要-仅(primary-only)系数都为零,需用于主要转换的操作数目在这些状况被缩减。从编码器的观点,当LFNST转换被测试时,系数的量化是相当程度被简化的。率-失真最佳化量化(rate-distortion optimized quantization)最多需要在扫描顺序中的前8或16个系数处完成,其余系数被强制为零。
LFNST转换选择
在LFNST中,总共有4转换组与2非可分离转换矩阵(核心)/每转换组。从帧内预测模式到转换组的映射被事先定义如下面表格中所示。如果三个CCLM(Cross-ComponentLinear Model,跨分量线性模式)模式(即,通过81<=predModeIntra<=83所指示出的INTRA_LT_CCLM、INTRA_T_CCLM或INTRA_L_CCLM)的一被用于当前块中,转换组0或用于亮度的帧内预测模式被选择用于当前色度块。对每一转换组,所选择的非可分离次要转换候选(或称非可分离转换矩阵)被显性发信的LFNST索引所进一步加以指明。对一帧内CU,此转换组索引在转换系数之后被发信于一比特流中。
表格3:转换选择表格
LFNST索引发信以及与其他工具的互动
由于只有当第一系数次群组之外的所有系数都是非-有效(non-significant)时,LFNST才会被限制成可应用的,在一些实施例中,LFNST索引(CU层级)编解码取决于最后有效系数的位置。此外,LFNST索引为上下文编解码(context coded)。然而,LFNST索引并非取决于帧内预测模式,而且至少一二进制字符串(bin)是以上下文编解码。更进一步,LFNST是应用于帧内与帧间切片二者中的帧内CU,且LFNST可以应用于亮度与/或色度。如果一双树(dual tree)被致能时,用于亮度与色度的LFNST索引被分别发信。对帧间切片(即,双树被失能),一单一LFNST索引被发信与被使用于亮度与/或色度。
考虑由于现存最大转换尺寸限制(即,64x64或以配置所设定),一大于64x64的大CU被隐性地分割(TU分块,TU tiling),对某些数目的解码管线阶段,一LFNST索引搜寻可以增加四倍数据缓冲(data buffering)。因此,LFNST所允许的最大尺寸被限制于64x64或最大转换尺寸。注意,只有当LFNST为关闭(off)时,MTS才被致能。
如提议于JVET-P0058(由T.Tsukuba等人所提的“CE8-2.1:Transform Skip forChroma with limiting maximum number of context-coded bin in TS residualcoding”,于国际电信通讯联盟-电信标准化部门,研究小组16,工作集会3(ITU-T SG16WP3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(ISO/IEC JTC1/SC29/WG11),第16次会议:在瑞士的日内瓦(Geneva,CH),2019年10月1-11日,文件JVET-P0058),它引进了用于色度的转换跳过(TS)并将TS残差编解码应用于转换-跳过的色度块。例如,TS被致能于所有色度取样格式的色度中。此外,由于BDPCM(block-based delta pulse code modulation,基于块的增量脉冲编解码调变)使用TS,所以只有当TS致能条件被满足时BDPCM才可以被致能。TS致能条件包含尺寸大小约束,这表示当块宽度小于或等于最大转换跳过尺寸大小(MaxTsSize)而且块高度小于或等于MaxTsSize时。如果条件被满足,TS可以被致能。MaxTsSize是一固定整数或等于1<<(log2_transform_skip_max_size_minus2+2)的一变数,其中log2_transform_skip_max_size_minus2指明用于转换跳过的最大块尺寸大小。log2_transform_skip_max_size_minus2应该在0到3的范围内,而且当不存在时,则被推论等于0。
在VVC中,用于亮度的TS尺寸大小约束为:如果tbWidth<=MaxTsSize&&tbHeight<=MaxTsSize,TS可以被致能。
在VVC中,用于色度的TS尺寸大小约束为:如果wC<=MaxTsSize&&hC<=MaxTsSize,TS可以被致能。
在上述限制中,wC=tbWidth/SubWidthC以及hC=tbHeight/SubHeightC。tbWidth为用于亮度的块宽度而且tbHeight为用于亮度的块高度。变数SubWidthC与SubHeightC于以下表格中加以指明,取决于色度格式取样结构(其通过chroma_format_idc与separate_colour_plane_flag加以指明)。chroma_format_idc、SubWidthC与SubHeightC的其他数值可以在以后加以指明。
表格4:变数SubWidthC与SubHeightC的规格
以下表格中显示了每个分量的转换跳过模式的详细发信条件。
表格5.每个分量的转换跳过模式的发信条件
在上面的语法表格中,transfotm_skip_flag[x0][y0][cIdx]指明一转换是否被应用于相关联的转换块。阵列索引x0,y0指明相对于画面的左上亮度样本的所考虑的转换块的左上方亮度样本的位置(x0,y0)。阵列索引cIdx指明用于颜色分量的一指示子(indicator);其对于Y等于0,对于Cb等于1,而且对于Cr等于2。transform_skip_flag[x0][y0][cIdx]等于1指明没有转换会被应用于相关联的转换块。transform_skip_flag[x0][y0][cIdx]等于0指明是否将转换应用于相关联的转换块的决定取决于其他语法元素。
当transform_skip_flag[x0][y0][cIdx]不存在时,可以作如下推论∶
-如果BdpcmFlag[x0][y0][cIdx]等于1,transform_skip_flag[x0][y0][cIdx]被推论等于1。
-否则(BdpcmFlag[x0][y0][cIdx]等于0),transform_skip_flag[x0][y0][cIdx]被推论等于0。
在以上,BdpcmFlag[x0][y0][cIdx]是一变数,相对应用于亮度分量(即,cIdx=0)或色度分量(即,cIdx=1或2)的一帧内BDPCM旗标。
发明内容
揭示一种使用低频非可分离转换模式(Low-Frequency Non-SeparableTransform,LFNST)模式与转换跳过(Transform Skip,TS)模式于视频编解码的方法以及装置。依据本发明,关于一当前画面中一当前编解码单元(CU)的输入数据被接收,其中该CU被分割为一个或多个转换块(transform block,TB),而且输入数据相对应于在一视频编码器侧的残差数据,以及该输入数据相对应于在一视频解码器侧的该当前CU的一编码后数据。在一编码器侧或在一解码器侧的一语法被决定,其中如果一或多个条件满足时,该语法的决定是通过在该编码器侧发信该语法或是通过在该解码器侧剖析该语法来加以进行。该语法(例如,LFNST索引)指示出该LFNST模式是否被应用于该当前CU中,与/或如果该LFNST模式被应用时,哪一个LFNST核心被应用,以及该多个条件包括一目标条件相对应于在一目标TB组的所有目标TB都有一TS(转换跳过)模式指示(indication)为假,而且该目标TB组是从该当前CU的TB中加以选择。依据通过该语法所指示出的LFNST模式,来在该编码器侧编码或是在该解码器侧解码该当前CU。在一实施例中,该语法是指该LFNST索引。
在一实施例中,在一亮度分割树(1uma splitting tree)中,该当前CU相对应于一个亮度编解码块(coding block,CB),而且该目标TB组相对应于一个或多个亮度TB。
在一实施例中,在一色度分割树中(chroma splitting tree),该当前CU相对应于一个或多个色度编解码块,而且该目标TB组相对应于一个或多个色度TB。
在一实施例中,在一单一分割树中(single splitting tree),该当前CU相对应于一个亮度编解码块以及一个或多个色度编解码块,而且该目标TB组相对应于一个或多个亮度TB以及一个或多个色度TB。
在一实施例中,目标TB组包括于该当前CU中用于每一编解码块(CB)的第一转换TB(一或多个)。例如,在一亮度分割树中,目标TB组包括于该当前CU中用于亮度CB的第一亮度TB。在另一例子中,在一色度分割树中,目标TB组包括于该当前CU中用于Cb CB的第一CbTB,以及于该当前CU中用于Cr CB的第一Cr TB。在另一例子中,在一单一分割树中,目标TB组包括于该当前CU中用于亮度CB的第一亮度TB,于该当前CU中用于Cb CB的第一Cb TB,以及于该当前CU中用于Cr CB的第一Cr TB。
在一实施例中,一变数被用于纪录是否要发信或剖析用于该LFNST模式的语法。在另一实施例中,当该TS模式指示为真时,该语法被推论为该LFNST模式不被应用于该当前CU中。
在一实施例中,如果用于该当前CU的一LFNST索引等于零时,该LFNST模式不被用于该当前CU的一TB中;而且其中该LFNST索引具有大于零的一数值指示出所选择的一个低频转换矩阵。
附图说明
图1绘示出包含LFNST(低频非可分离转换)的视频编解码的一例子。
图2依据本发明的一实施例绘示包含限制性LFNST(低频非可分离转换)发信的一示例性编解码系统的一流程图。
具体实施方式
在接下来的说明是实施本发明所最佳能思及的方式,在此说明的目的是为了阐释本发明的一般性原则,不应从限制性的角度视之。本发明的范围最佳方式是由参照所附的申请专利范围来决定。
LFNST与转换跳过的结合不应被允许,因为转换跳过被应用时,转换程序(主要/核心转换与/或二次转换)不应被使用。在VVC草稿7(由B.Bross等人所提的“Versatile VideoCoding(Draft 7)”,于国际电信通讯联盟-电信标准化部门,研究小组16,工作集会3(ITU-TSG16 WP3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(ISO/IEC JTC1/SC29/WG11)下辖的联合视频专家组(JVET)中,第16次会议:在瑞士的日内瓦(Geneva,CH),2019年10月1-11日,文件JVET-P2001),用于转换跳过模式的语法在TB层级被发信/剖析。另一方面,在对该CU/CB之中的所有TU/TB加以发信/剖析之后,用于LFNST的语法在CU层级被发信/剖析。因此,在当前的VVC草稿文字中(如表格6A所示),用于LFNST的发信/剖析条件考虑了如下用于亮度的转换跳过旗标。如下语法表格所示,现存条件包括对亮度转换跳过的检查(即,transform_skip_flag[x0][y0][0]==0),以防止这种组合。对这个检查,VVC测试模式版本7(VTM7,由J.Chen等人所提的“Algorithmdescription for Versatile Video Coding and Test Model 7(VTM 7)”,于国际电信通讯联盟-电信标准化部门,研究小组16,工作集会3(ITU-T SG16 WP3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(ISO/IEC JTC1/SC29/WG11)下辖的联合视频专家组(JVET)中,第16次会议:在瑞士的日内瓦(Geneva,CH),2019年10月1-11日,文件JVET-P2002)程式码似乎与VVC草稿7相匹配。依据JVET-P2001用于残差编解码的语法表格显示于表格6B中。
表格6A.VVC草稿7中用于LFNST的发信/剖析条件
/>
/>
表格6B.VVC草稿7中用于残差编解码的语法表格
/>
/>
在LFNST发信/剖析的现存条件下,有两个问题被观察到。一个问题是,当亮度和色度使用不同的分割树时,当当前CU位于一色度分割树(即,treeType==DUAL_TREE_CHROMA的情况)时,它无法找到用于亮度的转换跳过旗标(即,transform_skip_flag[x0][y0][0]))。另一个问题是由JVET-P0058中所揭示将转换跳过延伸至色度所引起的。上述检查应延伸为包括Cb和Cr检查。一些方法被提议来处理这些问题。
所提议的检查将CU中的M TB(一或多个)的转换跳过旗标的条件纳入考虑中。对具有一或多个转换系数层级不等于0的一TB,用于TB的转换跳过旗标被用来指示出转换操作是否被应用于TB,并且所提议的检查用于防止TB与LFNST以及转换跳过的组合。如之前所述,在一相对应的分割树中(其可以是一亮度分割树(DUAL_TREE_LUMA),色度分割树(DUAL_TREE_CHROMA)或一单一分割树(SINGLE_TREE)),当前CU中有一或多个TB。M TB(一或多个)相对应于一组所选择的TB,称为目标TB。对目标TB组的转换跳过旗标的条件加以检查。通过检查表示所有M TB(一或多个)的转换跳过旗标为假(即,转换跳过旗标为0);换句话说,通过检查表示目标条件(相对应于目标TB组中的所有目标TB都具有一TS模式指示为假)被满足。换句话说,如果所选择的TB(一或多个)没有一个使用转换跳过模式时,转换跳过模式旗标(一或多个)的条件被满足。在通过检查之后(即,转换跳过模式旗标(一或多个)的条件被满足),关于转换跳过模式用于LFNST的发信/剖析条件被满足,并且如果用于LFNST的其他发信/剖析条件也被满足,用于LFNST的语法可以被发信/剖析。
在一实施例中,M TB(一或多个)只包括在每一亮度/色度分割树的第一分量。所提议语法表格的一例子显示如下。
表格7.根据本发明的一实施例用于LFNST的条件式发信/剖析的一示例性语法表格
在另一实施例中,对使用于亮度和色度分量二者的一单一分割树,M TB(一或多个)包括一或多个分量。
在一次实施例中,M TB(一或多个)是指一个所选择的分量。例如,M TB(一或多个)是指第一分量。在另一个例子中,M TB(一或多个)是指Y(即,亮度分量)。以下显示出依据一实施例的一示例性语法表格。在另一例子中,M TB(一或多个)可以是分割树中的任何一个分量。
表格8.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在另一个实施例中,当分割树不是色度树时(即,分割树包含Y(即,亮度)分量),MTB(一或多个)指Y(即,亮度)TB(一或多个)。以下显示出依据一实施例的一示例性语法表格。
表格9.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在另一个实施例中,对一色度分割树,M TB(一或多个)包括所有色度分量(例如,Cb与Cr)。如果用于色度分量的任何转换跳过旗标为假(即,转换跳过旗标等于0),则检查通过。
在另一实施例中,对一亮度分割树,M TB(一或多个)包括所有分量(例如,Y)。如果用于这些分量的任何转换跳过旗标为假(即,转换跳过旗标等于0),则检查通过。表格10中显示出依据此实施例的一示例性语法表格。
在另一实施例中,对用于亮度与色度分量的一单一树,M TB(一或多个)包括所有分量(例如,Y,Cb与Cr)。如果用于这些分量的任何转换跳过旗标为假(即,转换跳过旗标等于0),则检查通过。表格10中显示出依据此实施例的一示例性语法表格。
表格10.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在另一实施例中,对一色度分割树,M TB(一或多个)包括所有色度分量(例如,Cb与Cr)。如果用于色度分量的所有转换跳过旗标都为假(即,转换跳过旗标等于0),则检查通过。
在另一实施例中,对一亮度分割树,M TB(一或多个)包括所有亮度分量(例如,Y)。如果用于这些分量的所有转换跳过旗标都为假(即,转换跳过旗标等于0),则检查通过。表格11中显示出依据此实施例的一示例性语法表格。
在另一实施例中,对用于亮度和色度分量的一单一树,M TB(一或多个)包括所有分量(例如,Y,Cb与Cr)。如果用于这些分量的所有转换跳过旗标都为假(即,转换跳过旗标等于0),则检查通过。表格11中显示出依据此实施例的一示例性语法表格。
在又一实施例中,可以将上述三个实施例中的两个或多个加以组合。例如,组合后的实施例可以当分割树不是一色度分割树时(例如,不是用于DUAL_TREE_CHROMA)只检查亮度transform_skip_flag,而且当分割树不是一亮度分割树时(例如,不是用于DUAL_TREE_LUMA)只检查色度transform_skip_flag。表格11中显示出依据此实施例的一示例性语法表格。
表格11.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
表格12显示出用于上述三个实施例的组合的另一示例性语法表格。
表格12.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
/>
在另一实施例中,检查不通过,用于LFNST的语法(例如,LFNST索引)不被发信/剖析。
在一次实施例中,用于LFNST的语法(LFNST索引)被推论为0(即,LFNST未被应用)。
在另一实施例中,如果检查未通过,需要一个比特流规约(bitstreamconformance)来处理这种情况。比特流规约如下。比特流规约的要求是,当检查未通过时,lfnst_index的数值不得大于0。以下,以比特流规约的一例子加以说明来检查“用于M TB(一或多个)的转换跳过旗标(一或多个),其中M TB(一或多个)仅表示每一亮度/色度分割树中的第一分量”的情况。比特流规约的要求相对应于:当每一亮度/色度分割树中的第一分量的转换跳过旗标的数值(例如,transform_skip_flag[x0][y0][chType],其中如果treeType==DUAL_TREE_CHROMA,则chType指示出为1(即,Cb);否则,chType指示出为0(即,Y))大于1时,lfnst_index的数值不得大于0。
在另一实施例中,一变量可以被创建于在草稿文字或软体中来记录是否发信/剖析用于LFNST的语法。此变数的数值是依据一或多个现存用于LFNST的发信/剖析条件与/或于本发明中一或多个所提议的检查来加以更新。例如,此变数被初始化为1,并且如果任何现存用于LFNST的发信/剖析条件与/或于本发明中一或多个所提议的检查不满足时,此变数被改变为0而且用于LFNST的语法不被发信/剖析。
在另一个实施例中,一统一的检查机制被使用在用于亮度和色度的不同分割树。例如,当亮度和色度使用双树(即,分开的分割树)时,亮度CU是在一亮度分割树中,而色度CU是在一色度分割树中。此统一机制为:如果在当前CU中所有分量的任何一个转换跳过旗标都使用转换跳过的时候,LFNST则被失能。
由于LFNST当前的尺寸大小约束,当一个CU/CB包含一个TU/TB时,LFNST可以被应用。该检查可以将用于一个TU/TB(而不是多个TU/TB)的转换跳过旗标纳入考虑。当一个CU/CB包含多个TU/TB时,所提议的检查是依据在该CU/CB中的一或多个TU/TB加以进行的。在一实施例中,所提议的检查是依据在该CU/CB中的所有TU/TB加以进行的。在另一实施例中,该检查是依据在该CU/CB中的任一个TU/TB(例如,第一TU/TB或最后TU/TB)加以进行的。例如,在一亮度分割树中,目标TB组包括在当前CU中用于亮度CB的第一亮度TB。在另一例子中,在一色度分割树中,目标TB组包括在当前CU中用于Cb CB的第一Cb TB以及在当前CU中用于CrCB的第一Cr TB。在另一例子中,在一单一分割树中,目标TB组包括在当前CU中用于亮度CB的第一亮度TB、在当前CU中用于Cb CB的第一Cb TB、以及在当前CU中用于Cr CB的第一CrTB。在另一实施例中,该检查是依据在该CU/CB中的任一个TU/TB的子集合组加以进行的。
联合Cb/Cr转换(joint Cb/Cr transform,JCCR)中的超出(Overflow)首先被提议于JVET-N0054(由J.Lainema等人所提的“CE7:Joint coding of chrominance residuals(CE7-1)”,于国际电信通讯联盟-电信标准化部门,研究小组16,工作集会3(ITU-T SG16WP3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(ISO/IEC JTC1/SC29/WG11),第14次会议:在瑞士的日内瓦(Geneva,CH),2019年3月19-27日,文件JVET-N0054)。在TrQuant.cpp的invTransformCbCr()中,如果Cr=-Cb转换被应用,数值cb[x]=-32768将超出16比特数据类型。具体来说,下面的代码行:
否则如果(signedMode==-2){cr[x]=-cb[x];}。
解决的方法之一也许为加入一额外条件。例如:
否则如果(signedMode==-2){cr[x]=(cb[x]==-32768)?32767:-cb[x];}。
这是一个施行实作的问题,而不是一规范性的改变。当cb等于-32768时,本实作不会通过设定Cr=+32767而非+32768而导致超出的情况产生(overflow)。
将残差加入于预测并且箝制到像素比特深度之后,将Cr残差设定为32767而非32768不会造成任何不同。至少对于比特深度最多为14比特的就是这种情况。
在JCCR中解决此超出情况的另一方法是设定CoeffMin为-(1<<15)+1。
指明最小和最大转换系数值的变数CoeffMin和CoeffMax如以下加以推导:
CoeffMin=-(1<<15)
CoeffMax=(1<<15)-1。
此外,在某些情况下,LFNST的使用可以加以限制。在当前设计中,LFNST被应用在用于帧内与帧间切片二者的帧内CU、以及亮度与/或色度。如果一双树被致能,用于亮度和色度的LFNST索引则分别被发信/剖析。对帧间切片,当双树被失能时,一单一LFNST索引被发信/剖析,而且被使用于亮度与/或色度。在本发明中,在某些情况下色度LFNST被失能。
在一实施例中,对于一单一树,色度LFNST被失能。
在一次实施例中,当色度LFNST被失能时,LFNST索引仍会被发信/剖析,而且可以于亮度中加以使用。
在另一实施例中,色度LFNST被失能。
在一次实施例中,当色度LFNST被失能时,LFNST索引不被发信/剖析于色度双树中。
在另一实施例中,即使包含TB的CU的LFNST索引大于零,LFNST也不能使用于一TB中。一变数(applyLfnstFlag)被创建来指示出LFNST是否可以被使用。如果applyLfnstFlag等于0,LFNST不可以被使用。如果applyLfnstFlag等于1,LFNST可以被使用。
例如,对一单一树,色度LFNST被失能。变数applyLfnstFlag如以下加以推导:(其中xTbY与yTbY表示用于TB的相对应亮度样本位置,cIdx表示用于TB的分量(例如cIdx等于0表示亮度分量,cIdx等于1表示Cb分量,以及cIdx等于2表示Cr分量),lfnst_idx是用于CU的LFNST索引,而且nTbW与nTbH表示TB的宽度与高度),lfnst_idx是用于CU的LFNST索引,而且nTbW与nTbH表示TB的宽度和高度)
-如果(1)treeType等于SINGLE_TREE,(2)lfnst_idx不等于0,(3)transform_skip_flag[xTbY][yTbY][cIdx]等于0,(4)cIdx等于0,而且(5)nTbW与nTbH二者都大于或等于4,applyLfnstFlag被设定为1。((1)到(5)的任何子集合组可以被使用在这个条件下)
-否则,如果(1)treeType不等于SINGLE_TREE,(2)lfnst_idx不等于0,(3)transform_skip_flag[xTbY][yTbY][cIdx]等于0,并且(4)nTbW与nTbH二者都等于大于或等于4,applyLfnstFlag被设定为1。((1)到(4)的任何子集合组可以被使用在这个条件下)
-否则,applyLfnstFlag被设定为0。
对于另一个例子,色度LFNST被失能。变数applyLfnstFlag如以下加以推导:
-如果(1)lfnst_idx不等于0,(2)transform_skip_flag[xTbY][yTbY][cIdx]等于0,(3)cIdx等于0,而且(4)nTbW和nTbH二者都大于或等于4,applyLfnstFlag被设定为1。(可以使用1到4中的任何子集在这种条件下)
-否则,applyLfnstFlag被设定为0。
在另一次实施例中,applyLfnstFlag可以被使用于一或多个LFNST相关的小节(section)。例如,LFNST索引在标准草案的相对应小节中被参考。
8.7.4用于缩放转换系数的转换程序
…当applyLfnstFlag等于1时//lfnst_idx不等于0而且transform_skip_flag[xTbY][yTbY][cIdx]等于0而且nTbW和nTbH二者都大于或等于4//,应用以下:…
在上述基于标准草案所修改的文字中,通过一对“//”所括起来的文字指示出被删除的文字。
8.7.3用于转换系数的缩放程序
…对缩放后转换系数d[x][y]的推导(具有x=0..nTbW-1,y=0..nTbH-1),应用以下:
-中间缩放因子m[x][y]如以下加以推导:
-如果以下一或多个条件为真,则m[x][y]被设定等于16:
-sps_scaling_list_enabled_flag等于0。
-pic_scaling_list_present_flag等于0。
-transform_skip_flag[xTbY][yTbY][cIdx]等于1。
-scale_matrix_for_lfnst_disabled_flag等于1,而且applyLfnstFlag
等于1//lfnst_idx[xTbY][yTbY]不等于0//…
在上述基于标准草案所修改的文字中,通过一对“//”所括起来的文字指示出被删除的文字。
在另一实施例中,当某些情况下色度LFNST被失能时,LfnstDcOnly(其在剖析一个CU中的每一TB之前被初始化为1,且如果该CU中的任何TB具有任何有效性系数(或最后有效系数(last significant coefficient))位于大于DC位置的位置时,则LfnstDcOnly被改变为0)不会被更新于非-LFNST(no-LFNST)TB中。例如,色度LFNST在一单一树中为失能的。然后,非-LFNST TB包括用于一单一树的色度TB。在语法表格中相对应改变的一例子显示如下。
表格13.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在另一例子中,色度LFNST被失能,并且非-LFNST TB包括色度TB。在语法表格中相对应改变的一例子显示如下。
表格14.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在另一实施例中,当某些情况下色度LFNST被失能时,LfnstZeroOutSigCoeffFlag(其在剖析一个CU中的每一TB之前被初始化为1,且如果该CU中的任何TB具有任何有效系数(或最后有效系数(last significant coefficient))位于LFNST归零区域(zero-outregion)时,则LfnstZeroOutSigCoeffFlag被改变为0)不会被更新于非-LFNST(no-LFNST)TB中。例如,色度LFNST在一单一树中为失能的。然后,非-LFNST TB包括用于一单一树的色度TB。在语法表格中相对应改变的一例子显示如下。
表格15.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在另一例子中,色度LFNST被失能,并且非-LFNST TB包括色度TB。在语法表格中相对应改变的一例子显示如下。
表格16.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
基于表格11(这指当编解码亮度TU时,只检查亮度transform_skip_flag(例如,不是用于DUAL_TREE_CHROMA),而且编解码色度TU时,只检查色度transform_skip_flag(例如,不是用于DUAL_TREE_LUMA)),在某些情况下色度LFNST被失能。例如,在一单一树中,色度LFNST为失能的。所提议语法表格的一例子显示如下。
表格17.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
基于表格12所提议语法表格的一例子也表示如下。
表格18.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在另一例子中,色度LFNST为失能的。所提议语法表格显示如下。所提议语法表格的一例子显示如下。
表格19.依据本发明的一实施例用于LFNST的发信/剖析的一示例性语法表格
在VVC草稿7中,LFNST与MTS索引被编码于CU的末尾,这引入了延迟(latency)和缓冲(buffer)的问题,一解码器在接收MTS与LFNST索引之前需要缓冲所有三个颜色分量的所有系数。为了减少延迟和缓冲的问题,提议发送MTS与/或LFNST致能旗标或索引(例如,0表示失能,1和2表示致能。1和2表示使用不同的主要转换或不同的LFNST矩阵)在一CU中第一个TB的末端或第一颜色分量的一或多个TB的末端,或是在一CU中的第一非-零TB(和非-转换跳过TB)的末端或在第一颜色分量的一或多个TB(和非-转换跳过TB)的末端。
在另一实施例中,提议在一CU中的第一非-零TB(和非-转换跳过TB)的末端或是第一颜色分量的一或多个TB的末端(以及非-转换跳过TB)来传送MTS与/或LFNST致能旗标或索引。在一个例子中,它只能被应用于单一树。在一单一树中,LFNST和MTS索引是在亮度TB之后(或在色度TB之前)被发信/剖析。如果单一树和ISP被应用,LFNST和MTS索引是在最后亮度TB之后(或在色度TB之前)被发信/剖析。例如,subTuIndex可以被使用。当subTuIndex等于NumIntraSubPartitions-1时,当前TB是亮度TB,而且当前树类型是单一树,MTS与LFNST索引被发信/剖析(如果满足一或多个条件)。
在另一实施例中,提议在单一树情况下,在一CU中一或多个亮度TB的末端(或在色度TB之前)发送MTS与/或LFNST致能旗标或索引;而在亮度双树中,MTS与/或LFNST索引在一CU中的一或多个亮度TB的末端(或在CU的末端)加以发信/剖析;而在色度双树中,MTS与/或LFNST索引是在一CU中的Cr TB的末端之后(或在CU的末端)加以发信/剖析。如果单一树和ISP被应用,LFNST和MTS索引是在最后亮度TB之后(或在色度TB之前)被发信/剖析。例如,subTuIndex可以被使用。当subTuIndex等于NumIntraSubPartitions-1时,当前TB是亮度TB,而且当前树类型是单一树,MTS与LFNST索引被发信/剖析(如果满足一或多个条件)。
在另一实施例中,当使用ISP模式时,MTS与/或LFNST致能旗标或索引被发信/剖析于第一TB(例如,在第一TB的末端)。所提议的方法只能被应用于单一树(例如,在亮度双树或色度双树中,仍在CU的末端对MTS与/或LFNST加以发信/剖析)。
在上述方法中,MTS索引可以于LFNST索引之后再加以发信/剖析。如果LFNST被使用(例如LFNST索引不为0),MTS索引被推论为0。在另一实施例中,LFNST可以在MTS索引发信/剖析之后再被发信/剖析。如果MTS被使用(例如MTS索引不为0),LFNST索引被推论为0。
以上提出的任何方法可以加以结合。
以上的任何变异可以用块宽度或块高度或块面积隐性地加以决定,或通过发信/剖析于CU、CTU、切片、方块(tile)、方块群组(file group)、SPS、PPS、或画面层级的一旗标显性地加以决定。在此发明中的“块(Block)”可以指TU/TB/CU/CB/PU/PB。
以上提出的任何方法可以在编码器与/或解码器中加以施行实作。例如,所提出的任何方法可以在一编码器的一帧间/帧内/转换编解码模组、一运动补偿模组、一解码器的一合并候选推导模组中加以施行实作。所提出的任何方法也可以备选式地施行实作为一电路而耦合至一编码器的帧间/帧内/转换编解码模组、与/或运动补偿模组、解码器的一合并候选推导模组中。
图2依据本发明的一实施例绘示包含限制性LFNST(低频非可分离转换)发信/剖析的一示例性编码/解码系统的一流程图。本流程图中所示的步骤可以实作成程式码而可在编码器侧中的一或多个处理器(例如一或多个中央处理器)中执行。本流程图中所示的步骤也可以基于硬体来实作,硬体可以例如安排来进行本流程图中各步骤的一或多个电子装置或处理器。依据本方法,在步骤210中,关于一当前画面中一当前编解码单元(CU)的输入数据被接收,其中该CU被分割为一个或多个转换块(TB),而且输入数据相对应于在一视频编码器侧的残差数据,以及该输入数据相对应于在一视频解码器侧的该当前编解码单元的一编码后数据。在步骤220中,一语法在一编码器侧或在一解码器侧被决定,其中如果一或多个条件满足时,该语法的决定步骤是通过在该编码器侧发信该语法或是通过在该解码器侧剖析该语法来加以进行。该语法指示出该LFNST模式是否被应用于该当前CU中,与/或当该LFNST模式被应用时,哪一个LFNST核心(kernel)被应用,以及该多个条件包括一目标条件相对应于在一目标TB组的所有目标TB都有一TS(转换跳过)模式指示为假,而且该目标TB组是从该当前CU中的TB加以选择。在步骤230中,依据通过该语法所指示出的该LFNST模式来对该当前CU在该编码器侧编码或是在该解码器侧解码。
所示的流程图用于示出根据本发明的视频编码/解码的示例。在不脱离本发明的精神的情况下,所属领域中具有习知技术者可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本揭示中,具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下,透过用等同的语法和语义来替换该语法和语义,具有习知技术者可以实施本发明。
上述说明,使得所属领域中具有习知技术者能够在特定应用程式的内容及其需求中实施本发明。对所属领域中具有习知技术者来说,所描述的实施例的各种变形将是显而易见的,并且本文定义的一般原则可以应用于其他实施例中。因此,本发明不限于所示和描述的特定实施例,而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中,说明了各种具体细节,以便透彻理解本发明。尽管如此,将被本领域的具有习知技术者理解的是,本发明能够被实践。
如上所述的本发明的实施例可以在各种硬体、软体代码或两者的结合中实现。例如,本发明的实施例可以是集成在视频压缩晶片内的电路,或者是集成到视频压缩软体中的程式码,以执行本文所述的处理。本发明的一个实施例也可以是在数位讯号处理器(Digital Signal Processor,DSP)上执行的程式码,以执行本文所描述的处理。本发明还可以包括由电脑处理器、数位讯号处理器、微处理器或现场可程式设计闸阵列(fieldprogrammable gate array,FPGA)所执行的若干函数。根据本发明,透过执行定义了本发明所实施的特定方法的机器可读软体代码或者固件代码,这些处理器可以被配置为执行特定任务。软体代码或固件代码可以由不同的程式设计语言和不同的格式或样式开发。软体代码也可以编译为不同的目标平台。然而,执行本发明的任务的不同的代码格式、软体代码的样式和语言以及其他形式的配置代码,不会背离本发明的精神和范围。以上所描述本发明的实施例可以于一视频编码器和一视频解码器中加以施行实作。视频编码器和视频解码器的组件可以由硬体组件、一个或复数个处理器被配置为执行存储在存储器中的程式指令、或硬体和处理器的组合来实现。例如,处理器执行程式指令以控制与一视频序列(包括一当前画面中的一当前块)相关联的输入数据的接收。处理器配备有单个或复数个处理核心。在一些例子中,处理器执行程式指令以在编码器和解码器中的一些组件中执行功能,并且与处理器电耦合的存储器用于存储程式指令,对应于块的已重构影像的信息与/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算机可读介质,诸如半导体或固态存储器,随机存取存储器(RAM),只读存储器(ROM),硬碟,光碟或其他合适的存储介质。存储器还可以是上面列出的两个或更复数个非暂时性计算机可读介质的组合。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的,而非限制性的。因此,本发明的范围由附加的权利要求来表示,而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (16)

1.一种编码或解码视频序列的方法,其中低频非可分离转换模式与转换跳过模式被支持,该方法包括:
接收关于当前画面中当前编解码单元的输入数据,其中该编解码单元被分割为一个或多个转换块,而且输入数据相对应于在视频编码器侧的残差数据,以及该输入数据相对应于在视频解码器侧的该当前编解码单元的编码后数据;
决定在编码器侧或在解码器侧的语法,其中如果以下一或多个条件满足时,该语法的决定是通过在该编码器侧发信该语法或是通过在该解码器侧剖析该语法来加以进行,其中该语法指示出该低频非可分离转换模式是否被应用于该当前编解码单元中,与/或如果该低频非可分离转换模式被应用时,哪一个低频非可分离转换核心被应用,以及该一或多个条件包括目标条件相对应于在目标转换块组的所有目标转换块都有转换跳过模式指示为假,而且其中该目标转换块组是从该一或多个转换块加以选择,其中该目标转换块组相对应于该当前编解码单元中用于每一编解码块的一个或多个第一个转换块;以及
依据通过该语法所指示出的该低频非可分离转换模式来在该编码器侧编码该当前编解码单元或是在该解码器侧解码该当前编解码单元。
2.根据权利要求1所述编码或解码视频序列的方法,其特征在于,在亮度分割树中,该当前编解码单元相对应于一个亮度编解码块,而且该目标转换块组相对应于一个或多个亮度转换块。
3.根据权利要求1所述编码或解码视频序列的方法,其特征在于,在色度分割树中,该当前编解码单元相对应于一个或多个色度编解码块,而且该目标转换块组相对应于一个或多个色度转换块。
4.根据权利要求1所述编码或解码视频序列的方法,其特征在于,在单一分割树中,该当前编解码单元相对应于一个亮度编解码块以及一个或多个色度编解码块,而且该目标转换块组相对应于一个或多个亮度转换块以及一个或多个色度转换块。
5.根据权利要求1所述编码或解码视频序列的方法,其特征在于,该当前编解码单元相对应于一个亮度编解码块或是一个或多个色度编解码块,而且该目标转换块组相对应于该当前编解码单元中用于所有分量的一个或多个转换块。
6.根据权利要求1所述编码或解码视频序列的方法,其特征在于,一变数被用于纪录是否要发信或剖析用于该低频非可分离转换模式的语法。
7.根据权利要求1所述编码或解码视频序列的方法,其特征在于,当该转换跳过模式指示为真时,该语法被推论为该低频非可分离转换模式不被应用于该当前编解码单元中。
8.根据权利要求1所述编码或解码视频序列的方法,其特征在于,如果被指定用于该当前编解码单元的低频非可分离转换索引的该语法等于零时,该低频非可分离转换模式不被用于该当前编解码单元的转换块中;而且其中该低频非可分离转换索引具有大于零的数值指示出所选择的一个低频转换矩阵。
9.一种编码或解码视频序列的装置,其中低频非可分离转换模式与转换跳过模式被支持,该装置包括一或多个电子电路或处理器被安排用来:
接收关于当前画面中当前编解码单元的输入数据,其中该编解码单元被分割为一个或多个转换块,而且输入数据相对应于在视频编码器侧的残差数据,以及该输入数据相对应于在视频解码器侧的该当前编解码单元的编码后数据;
决定在编码器侧或在解码器侧的语法,其中如果以下一或多个条件满足时,该语法的决定是通过在该编码器侧发信该语法或是在该解码器侧剖析该语法来加以进行,其中该语法指示出为该低频非可分离转换模式是否被应用于该当前编解码单元中,与/或如果该低频非可分离转换模式被应用时,哪一个低频非可分离转换模式核心被应用,以及该一或多个条件包括目标条件相对应于在一目标转换块组的所有目标转换块都有转换跳过模式指示为假,而且其中该目标转换块组是从该一或多个转换块加以选择,其中该目标转换块组相对应于该当前编解码单元中用于每一编解码块的一个或多个第一个转换块;以及
依据通过该语法所指示出的该低频非可分离转换模式来在该编码器侧编码该当前编解码单元或是在该解码器侧解码该当前编解码单元。
10.根据权利要求9所述编码或解码视频序列的装置,其特征在于,在亮度分割树中,该当前编解码单元相对应于一个亮度编解码块,而且该目标转换块组相对应于一个或多个亮度转换块。
11.根据权利要求9所述编码或解码视频序列的装置,其特征在于,在色度分割树中,该当前编解码单元相对应于一个或多个色度编解码块,而且该目标转换块组相对应于一个或多个色度转换块。
12.根据权利要求9所述编码或解码视频序列的装置,其特征在于,该当前编解码单元相对应于一个亮度编解码块以及一个或多个色度编解码块,而且该目标转换块组相对应于一个或多个亮度转换块以及一个或多个色度转换块。
13.根据权利要求9所述编码或解码视频序列的装置,其特征在于,该当前编解码单元相对应于一个亮度编解码块或是一个或多个色度编解码块,而且该目标转换块组相对应于该当前编解码单元中用于所有分量的一个或多个转换块。
14.根据权利要求9所述编码或解码视频序列的装置,其特征在于,一变数被用于纪录是否要发信或剖析用于该低频非可分离转换模式的语法。
15.根据权利要求9所述编码或解码视频序列的装置,其特征在于,当该转换跳过模式指示为真时,该语法被推论为该低频非可分离转换模式不被应用于该当前编解码单元中。
16.根据权利要求9所述编码或解码视频序列的装置,其特征在于,如果被指定用于该当前编解码单元的低频非可分离转换索引的该语法等于零时,该低频非可分离转换模式不被用于该当前编解码单元的转换块中;而且其中该低频非可分离转换索引具有大于零的数值指示出所选择的一个低频转换矩阵。
CN202080085700.9A 2019-12-12 2020-12-10 视频编解码的方法与装置 Active CN114830655B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962947057P 2019-12-12 2019-12-12
US62/947,057 2019-12-12
US201962949505P 2019-12-18 2019-12-18
US62/949,505 2019-12-18
US202062959938P 2020-01-11 2020-01-11
US62/959,938 2020-01-11
PCT/CN2020/135303 WO2021115387A1 (en) 2019-12-12 2020-12-10 Methods and apparatus for restricted secondary transform and signaling thereof in image coding

Publications (2)

Publication Number Publication Date
CN114830655A CN114830655A (zh) 2022-07-29
CN114830655B true CN114830655B (zh) 2023-08-18

Family

ID=76329613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080085700.9A Active CN114830655B (zh) 2019-12-12 2020-12-10 视频编解码的方法与装置

Country Status (6)

Country Link
US (1) US20220385946A1 (zh)
EP (1) EP4074036A4 (zh)
KR (1) KR20220106209A (zh)
CN (1) CN114830655B (zh)
TW (1) TWI784369B (zh)
WO (1) WO2021115387A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141443A1 (ko) * 2020-01-10 2021-07-15 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
EP4109902A4 (en) * 2020-02-21 2023-03-22 LG Electronics, Inc. TRANSFORM-BASED IMAGE CODING METHOD AND RELATED DEVICE
WO2021230618A1 (ko) * 2020-05-11 2021-11-18 엘지전자 주식회사 영상 코딩 방법 및 그 장치
US11902531B2 (en) * 2021-04-12 2024-02-13 Qualcomm Incorporated Low frequency non-separable transform for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104509113A (zh) * 2012-06-22 2015-04-08 高通股份有限公司 视频压缩中的变换跳过模式
CN110419218A (zh) * 2017-03-16 2019-11-05 联发科技股份有限公司 用于视频编解码的增强多重变换和不可分离二次变换的方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169452A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Video encoding method and apparatus using the same
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US20180199062A1 (en) * 2017-01-11 2018-07-12 Qualcomm Incorporated Intra prediction techniques for video coding
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
CN116055745A (zh) * 2019-06-25 2023-05-02 三星电子株式会社 使用二次变换的视频信号处理方法及装置
CN114208178A (zh) * 2019-08-06 2022-03-18 交互数字Vc控股法国有限公司 用于视频编码和解码的二次变换
WO2021096295A1 (ko) * 2019-11-13 2021-05-20 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CA3220041A1 (en) * 2019-11-13 2021-05-20 Lg Electronics Inc. Transform-based image coding method and device therefor
US20230063796A1 (en) * 2019-12-29 2023-03-02 Lg Electronics Inc. Transform-based image coding method and device for same
WO2021194199A1 (ko) * 2020-03-24 2021-09-30 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104509113A (zh) * 2012-06-22 2015-04-08 高通股份有限公司 视频压缩中的变换跳过模式
CN110419218A (zh) * 2017-03-16 2019-11-05 联发科技股份有限公司 用于视频编解码的增强多重变换和不可分离二次变换的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE6-related: Constraint and simplification for LFNST signalling;Man-Shu Chiang等;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3–12 July 2019;全文 *

Also Published As

Publication number Publication date
TW202131677A (zh) 2021-08-16
CN114830655A (zh) 2022-07-29
WO2021115387A1 (en) 2021-06-17
EP4074036A1 (en) 2022-10-19
EP4074036A4 (en) 2023-12-20
KR20220106209A (ko) 2022-07-28
US20220385946A1 (en) 2022-12-01
TWI784369B (zh) 2022-11-21

Similar Documents

Publication Publication Date Title
CN113841409B (zh) 用于视频处理的简化二次变换的有条件使用
CN109089117B (zh) 编码或解码视频数据的方法及装置
CN114830655B (zh) 视频编解码的方法与装置
CN114208190B (zh) 视频编解码中缩减二次变换的矩阵的选择
KR101882607B1 (ko) 팔레트 크기 시그널링 및 조건적 팔레트 이스케이프 플래그 시그널링 방법
KR20180010260A (ko) 화상 및 비디오 데이터의 팔레트 코딩 방법
KR20180004249A (ko) 고효율 비디오 코딩(hevc) 스크린 콘텐츠 코딩(scc) 확장을 위한 어드밴스드 코딩 기법
CN113853785B (zh) 用于残差编解码的上下文建模
TWI741584B (zh) 視訊編碼系統之語法傳訊和參照限制的方法和裝置
US10652555B2 (en) Method and apparatus of palette index map coding for screen content coding
CN113950828A (zh) 视频比特流中的简化二次变换的有条件信令
CN113841402B (zh) 视频编解码中大块的变换设计
CN114747216A (zh) 多重转换选择的发信技术
TWI796637B (zh) 視訊編解碼之二次轉換發信方法和裝置
CN113728631A (zh) 帧内子块分割和多变换选择

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant