CN105981381B - 用于视频编码器及解码器系统的分量间残差预测的方法 - Google Patents

用于视频编码器及解码器系统的分量间残差预测的方法 Download PDF

Info

Publication number
CN105981381B
CN105981381B CN201480070581.4A CN201480070581A CN105981381B CN 105981381 B CN105981381 B CN 105981381B CN 201480070581 A CN201480070581 A CN 201480070581A CN 105981381 B CN105981381 B CN 105981381B
Authority
CN
China
Prior art keywords
color
residual
prediction
zooming parameter
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480070581.4A
Other languages
English (en)
Other versions
CN105981381A (zh
Inventor
张贤国
张凯
安基程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN105981381A publication Critical patent/CN105981381A/zh
Application granted granted Critical
Publication of CN105981381B publication Critical patent/CN105981381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本发明公开了一种使用改进的缩放参数编码来进行颜色间残差预测的方法。在一个实施例中，缩放参数被用于第一颜色分量以及第二颜色分量之间的颜色间残差预测。缩放参数使用基于背景的编码来编码，基于背景的编码具有与用于缩放参数的绝对值的最长二进制码相同数量的背景模型。例如，当第一缩放参数是从由8、4、2、1、0、‑1、‑2、‑4以及‑8组成的组中选择，缩放参数的绝对值可由具有4比特的最长二进制码的二进制码来表示。用于绝对缩放参数的基于背景的编码也使用4个背景模型。于第二实施例中，缩放参数通过将最短二进制码指定给最大非零缩放参数使用二进制码被编码。

Description

用于视频编码器及解码器系统的分量间残差预测的方法
【相关申请的交叉引用】
本发明主张申请于2013年12月30日，序列号为PCT/CN2013/090836，标题为“Method and for Inter-component Residual Prediction”的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及用于视频数据的调色板编码。特别地，本发明涉及通过使用更有效率的缩放参数编码(scaling parameter coding)来提高分量间编码(inter-componentcoding)性能的技术。
【背景技术】
高效视频编码(High Efficiency Video Coding，HEVC)是近年被开发出来的一种新的编码标准。于HEVC系统中，H.264/AVC中的固定大小的宏区块由称为编码单元(codingunit，CU)的可变块(flexible block)来替代。CU中的像素共用相同的编码参数以提升编码效率。CU可以从最大CU(largest CU，LCU)开始，于HEVC中，其也被称为编码树单元(codedtree unit，CTU)。除编码单元的概念以外，HEVC中也引入了预测单元(prediction unit，PU)的概念。当CU分层树的分割被执行，根据预测类型以及PU分区，每个叶CU(leaf CU)可以进一步被分割为一个或多个PU。
随着HEVC标准的开发，HEVC的扩展(extension)的开发也开始进行。HEVC扩展包括范围扩展(range extensions，RExt)，其针对非4：2：0的颜色格式，例如4：2：2以及4：4：4，以及更高比特深度的视频，例如，每个样本12、14以及16比特。被开发用于RExt特别是用于具有高比特深度的多个颜色分量的编码工具是分量间预测(inter-component prediction)，其可以提高编码效率。分量间预测可利用多个颜色分量之间的冗余，且据此提高编码效率。正在被开发以用于RExt的分量间预测的形式是分量间残差预测(Inter-componentResidual Prediction，IRP)，其被普等(Pu et al)作者揭露于JCTVC-N0266(“Non-RCE1:Inter Color Component Residual Prediction”,in Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG 16WP 3 and ISO/IEC JTC 1/SC 29/WG 11,14thMeeting:Vienna,AT,25 July–2Aug.2013 Document:JCTVC-N0266)中。
于分量间残差预测中，色度残差于编码器侧做如下预测：
rC'(x,y)＝rC(x,y)-(α×rL(x,y))>>3 (1)
于式子(1)中，rC(x,y)是指位置(x,y)的最终色度重建的残差样本，rc′(x,y)是指来自位置(x,y)的比特流的重建的色度残差样本，rL(x,y)是指位置(x,y)的亮度分量的重建的残差样本，且α是指缩放参数(也称为lpha参数，或比例因子)。缩放参数α是于编码器侧被计算且被传送。于解码器侧，最终色度重建的残差样本是根据以下式子导出：
rC(x,y)＝rC'(x,y)+(α×rL(x,y))>>3 (2)
虽然YUV格式被用作为分量间残差预测导出的示例，任何其它颜色格式可被使用。例如，RGB格式可被使用。如果R分量首先被编码，R分量以与上述示例中的亮度分量相同的方式被处理。类似地，如果G分量首先被编码，G分量以与亮度分量相同的方式被处理。
图1所示为用于当前单元(current unit，CU)的转换单元(transform unit，TU)的当前HEVC-REXT中IRP的示范性解码过程。当前CU的所有TU的解码参数(decodedcoefficient)被提供给各分量的处理器。对于第一分量(例如，Y分量)，已解码转换参数被逆转换(方框110)以恢复第一颜色分量的帧内/帧间已编码残差。接着，帧间或帧内编码第一颜色分量被第一分量帧间或帧内补偿120处理以产生最终重建的第一分量。用于第一分量帧间或帧内补偿120的所需的帧间或帧内参考样本来自于缓冲器或存储器。于图1中，其意味着第一颜色分量是帧间或帧内编码，以使帧间或帧内补偿被用于重建来自重建的残差的第一分量。然而，其它编码过程(例如，视图间预测)也可被包括以产生第一分量残差。对于第二颜色分量，已解码转换参数使用第二分量解码过程(方框112)来解码，以恢复分量间编码第二分量。因为第二分量是基于第一分量残差来预测的分量间残差，用于第二分量的分量间预测(方框122)基于来自方框110以及方框112的输出，被用于重建第二分量残差。如上所述，分量间残差预测需要已编码的缩放参数。因此，第一颜色分量以及第二颜色分量之间已解码的α参数被提供至方框122。来自方框122的输出对应于第二分量的帧间或帧内预测残差。因此，第二分量帧间或帧内补偿(方框132)被用于重建最终第二分量。类似于第一颜色分量，其它编码过程(例如，视图间预测)也可被包含于编码/预测过程中，以产生第二颜色残差。对于第三分量，类似过程可被使用(即，方框114、124以及134)以重建最终第三分量。根据解码过程，编码过程可以被容易地导出。
用于分量间残差预测的编码过程可被应用于例如YUV格式的视频，其包括比例为4：4：4的1个亮度以及2个色度分量。用于分量间残差预测的编码过程也可被应用于具有R、G、以及B分量或其它格式的视频。第一已编码分量可被视为亮度分量，且另外两个分量可被视为两个色度分量。对于RGB格式，任何颜色可以被选择为第一颜色。
如式子(1)以及(2)所示，用于第二或第三颜色分量的预测残差的导出依赖于第一分量(或亮度分量)残差以及α参数。α参数被传送于视频流中的转换单元。如式子(1)以及(2)所示，亮度残差由α参数相乘并右移3比特。缩放的残差被用作用于当前分量变换块(transform block，TB)残差的预测残差。根据现存的RExt草案标准，α值是从-8、-4、-2、-1、0、1、2、4、以及8中选择。
此外，通过将α参数的绝对值转换为如表1所示的二进制表示，α参数可于比特流中被传送。于α绝对值的二进制化中，表1所示为对应于最小绝对值到最大绝对值的从最短到最长的代码的二进制码。具有指示正或负值的符号旗标的α绝对值的比特是使用基于背景的熵编码来编码。根据现存的RExt草案标准，二进制码中的前三个二进制被用于形成三个独立的背景模型。换句话说，α绝对值8以及4共用公共的背景模型。此外，根据表1，一个较小的α绝对值被分配一个较短的二进制码。
表1
α绝对值 二进制码
0 0
1 10
2 110
4 1110
8 1111
需要开发出一种方法以进一步提高与用于α参数的编码过程相关的编码效率和/或减少复杂性。
【发明内容】
本发明公开了一种使用改进的缩放参数编码来进行颜色间残差预测(inter-color residual prediction)的方法。在一个实施例中，第一缩放参数被用于第一颜色以及第二颜色之间的颜色间残差预测。第一缩放参数可使用第一基于背景的编码来编码，第一基于背景的编码具有等于用于第一缩放参数的绝对值的最长二进制码的第一数量的背景模型。例如，当第一缩放参数是从包括8、4、2、1、0、-1、-2、-4以及-8的组中选择时，第一缩放参数的绝对值可由具有4比特的最长二进制码的二进制码来表示。根据本发明的实施例，用于第一缩放参数绝对值(absolute first scaling parameter)的基于背景的编码使用4个背景模型。系统还可包括第三颜色分量。第二缩放参数被用于第一颜色以及第三颜色之间的颜色间残差预测。第二缩放参数可使用第二基于背景的编码来编码，第二基于背景的编码具有等于用于第二缩放参数的绝对值的最长第二二进制码的第二数量的背景模型。
于第二实施例中，如果第一非零第一缩放参数大于第二非零第一缩放参数，第一缩放参数通过将编码长度不长于第二非零第一缩放参数的任何第二二进制码指定给第一非零第一缩放参数的任何第一二进制码来使用二进制码编码。旗标可用于指示是否使用此第一缩放参数编码过程或不同的第一缩放参数编码。旗标可被并入到比特流的序列参数集(sequence parameter set，SPS)，图片参数集(picture parameter set，PPS)或编码树单元(coding tree unit，CTU)等级。第一缩放参数可从由8、4、2、1、0、-1、-2、-4以及-8组成的组中选择。对于这组第一缩放参数值，二进制码可以进一步对第一缩放参数值8、4、2、1以及0使用具有5种背景模型的基于背景的编码来编码，以对第一缩放参数值-1、-2、-4以及-8使用2比特固定长度码来编码。另外，还可接收对应于所述输入视频数据的第三颜色分量的第三颜色块的第二输入数据；通过将第三帧间或帧内或视图间编码应用于所述第三颜色块来产生第三颜色预测残差；通过以第二缩放参数来缩放所述第一颜色预测残差来产生第二颜色间残差预测子；产生所述第三颜色预测残差与所述第二颜色间残差预测子之间的第二颜色间预测残差；如果第三非零第二缩放参数大于第四非零第二缩放参数，则通过指定第二编码长度不长于用于所述第四非零第二缩放参数的任何第四二进制码的用于所述第三非零第二缩放参数的任何第三二进制码，使用第二二进制码来编码所述第二缩放参数；提供由所述二进制码来编码的所述第一缩放参数；以及提供所述第一颜色间预测残差。
【附图说明】
图1所示为根据现存的HEVC-RExt的用于颜色间残差预测(inter-color residualprediction，IRP)的解码器系统框图的示例。
图2所示为根据本发明实施例使用改进的缩放参数编码的用于颜色间残差预测的系统的示范性流程图。
图3所示为根据本发明另一实施例的使用改进的缩放参数编码的用于颜色间残差预测的系统的示范性流程图。
【具体实施方式】
如上所述，现存的RExt草案标准使用从最短到最长编码的二进制码用于最小绝对值到最大绝对值。根据现存的Rex草案标准的分量间残差预测(inter-color residualprediction，IRP)进一步使用用于α参数编码的三个背景模型。在此情况下，二进制码的前三个二进制中的每个二进制对应于一个独立的背景模型。换句话说，α绝对值4以及8共用相同的背景模型。
根据与本发明相关的研究，可以观察到α绝对值4以及8出现得比其它α绝对值更频繁。然而，现存的RExt草案标准不仅指定了较长的二进制码给这两个频繁出现的α绝对值，还使用用于这两个α绝对值的共用背景模型。因此，现存的RExt草案标准由于这样的α参数编码可能导致性能的下降。因此，接下来揭露了改进的α参数编码。
第一实施例。于本发明的第一实施例中，α绝对值使用表1中的二进制码的4个二进制的4个背景模型来上下文自适应编码(context adaptive coded)。因此，α绝对值4以及8可具有单独的背景，且对于YUV以及RGB格式，编码效率均可被改善。虽然特定示例显示了使用用于4个背景模型的4个二进制，本发明不限于用于4个背景模型的4个二进制。本发明的实施例使用与最长二进制码相关联的二进制数量作为背景模型的数量。换句话说，用于α绝对值的二进制码中的每个二进制对应于一个独立的背景模型。
第三颜色分量以及第一颜色分量之间的颜色间预测可使用相同的α参数，或使用来自用于第一颜色分量以及第二颜色分量的α参数的单独的α参数。如果单独的缩放参数被用于第三颜色分量以及第一颜色分量，单独的缩放参数可使用第一实施例中揭露的缩放参数编码来编码。
第二实施例。于本发明的第二实施例中，较短的二进制码被指定给具有较大值的非零α参数。用于非零α参数值8、4、2、1、-1、-2、-4以及-8的二进制码的示例如表2所示，其中，0被指定给最短的二进制码，即，0。
表2
α 二进制码
0 0
8 10
4 110
2 1110
1 11110
-1 111110
-2 1111110
-4 11111110
-8 11111111
另外，α参数值的二进制码可使用基于背景的编码来编码。例如，5个二进制可被用于α参数0、8、4、2、以及1的5个独立背景模型。剩余的α参数-1、-2、-4、以及-8可使用2比特的固定长度编码。一个示例如表3所示。
表3
α log2_res_scale_pred_4minus[c] log2_res_scale_neg[c]
0 0(0) Na
8 1(10) Na
4 2(110) Na
2 3(1110) Na
1 4(11110) Na
-1 5(11111) 0(00)
-2 5(11111) 1(01)
-4 5(11111) 2(10)
-8 5(11111) 3(11)
于表3中，语法log2_res_scale_pred_4minus[c]对应于用于独立背景模型的二进制，且语法log2_res_scale_neg[c]对应于用于负α值的2比特的固定长度编码。
第三颜色分量以及第一颜色分量之间的颜色间预测可使用相同的α参数，或使用来自用于第一颜色分量以及第二颜色分量的α参数的单独的α参数。如果单独的缩放参数被用于第三颜色分量以及第一颜色分量，单独的缩放参数可使用第一实施例中揭露的缩放参数编码来编码。
此外，第一实施例，第二实施例，或第一实施例以及第二实施例两者可被适应性地启用或禁用。例如，根据第二实施例，旗标adaptive_alpha_coding_flag可被用于适应性地启用或禁用二进制码的使用。如果旗标adaptive_alpha_coding_flag的值为1，新的二进制码(例如，表2)被使用，其中，较短的二进制码被指定给具有较大值的非零α参数。如果旗标adaptive_alpha_coding_flag的值为0，现存的二进制码(例如，表1)被使用。在现存的二进制码被使用的情况下，现存的背景模型或根据第一实施例的新的背景模型可被使用。旗标adaptive_alpha_coding_flag可被传送于序列参数集(sequence parameter set，SPS)，图片参数集(picture parameter set，PPS)或编码树单元(coding tree unit，CTU)等级。
为了减少与α参数相关联的传送数据，根据本发明的另一实施例使用α参数预测来编码当前α参数。因此，只有当前α参数以及α参数预测子之间的差值需要被传送。当差值为0时，一个指示(indication)可被传送或零值可被传送。α参数预测可由相邻块的α参数导出。用于α参数预测的相邻块的使用可使用编码树单元、编码单元、或转换树或转换单元等级中的α参数预测旗标来传送。
结合本发明第一实施例的编码系统的性能与对照系统(anchor system)相比较。两个系统都使用如表1所示的二进制码。然而，与第一实施例结合的系统使用4个背景模型，而对照系统使用3个背景模型。对于不同测试素材(AHG8YUV、AHG8RGB、AHG5YUV、以及AHG5RGB)，BD率减小的比较结果总结于表4，其中，正值指示此实施例导致了性能的改进。包括所有内部(All Intra，AI)、随机存取(Random Access，RA)、以及低延迟B帧(Low-delay Bframe)的不同编码配置被用于比较。BD率是视频编码领域公知的性能度量。如表4所示，本发明的实施例通常导致改进的性能。最大的改进可达到1.2％。
表4
结合本发明第一实施例以及第二实施例的编码系统的性能与对照系统相比较，其中，旗标被并入到图片参数集以选择第一实施例或第二实施例。特别地，旗标选择第二实施例用于RGB测试素材，并选择第一实施例用于YUV测试素材。对照系统与先前的相同。对于不同的测试素材(AHG8YUV、AHG8RGB、AHG5YUV、以及AHG5RGB)，BD率减小的比较结果被总结于表5。如表5所示，本发明的实施例通常导致改进的性能。最大的改进可达到1.8％。
表5
AI RA LB
AHG8 YUV 0.1～0.3％ 0.1～0.3％ 0.1～1.2％
AHG8 RGB 0.1～0.8％ 0.3～0.7％ 0.1～1.8％
AHG5 YUV 0.02～0.05％ -0.08～0.12％ -0.04～0.25％
AHG5 RGB 0.1～0.5％ 0.3～0.8％ 0.4～1.1％
图2所示为根据本发明实施例的使用用于颜色间残差预测的改进的缩放参数编码的解码器系统的示范性流程图。根据本实施例的缩放参数使用基于背景的编码，基于背景的编码具有与用于缩放参数绝对值的最长二进制码相同数量的背景模型。如步骤210所示，系统从比特流中接收分别对应于输入视频数据的第一颜色分量以及第二颜色分量的第一颜色块以及第二颜色块的已编码数据。已编码数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。于步骤220中，由已编码数据产生重建的第一颜色预测残差。于步骤230中，由已编码数据产生重建的第一颜色间预测残差。于步骤240中，通过解析来自比特流的一个或多个语法元素并使用第一基于背景解码来解码所述一个或多个语法元素来确定第一缩放参数，其中，第一基于背景解码具有等于用于第一缩放参数的绝对值的最长二进制码的第一数量背景模型。于步骤250中，通过以第一缩放参数缩放第一颜色预测残差来产生第一颜色间残差预测子。于步骤260中，基于重建的第一颜色间预测残差以及第一颜色间残差预测子产生第二颜色预测残差。于步骤270中，通过将第一帧间或帧内或视图间解码应用于重建的第一颜色预测残差来产生重建的第一颜色块。于步骤280中，通过将第二帧间或帧内或视图间解码应用于重建的第二颜色预测残差来产生第二颜色块。
图3所示为根据本发明另一实施例的使用用于颜色间残差预测的改进的缩放参数编码的解码器系统的示范性流程图。根据本实施例的缩放参数使用二进制码，其中，较短的二进制码被指定给较大的非零缩放参数。如步骤310所示，系统从比特流中接收分别对应于输入视频数据的第一颜色分量以及第二颜色分量的第一颜色块以及第二颜色块的已编码数据。于步骤320中，由已编码数据产生重建的第一颜色预测残差。于步骤330中，由已编码数据产生重建的第一颜色间预测残差。于步骤340中，通过解析来自比特流的一个或多个语法元素且使用二进制码来解码所述一个或多个语法元素来确定第一缩放参数，其中，如果第一非零第一缩放参数大于第二非零第一缩放参数，则二进制码具有的用于第一非零第一缩放参数的任何第一二进制码的编码长度不长于用于第二非零第一缩放参数的任何第二二进制码的编码长度。于步骤350中，通过以第一缩放参数来缩放第一颜色预测残差来产生第一颜色间残差预测子。于步骤360中，基于重建的第一颜色间预测残差以及第一颜色间残差预测子来产生第二颜色预测残差。于步骤370中，通过将第一帧间或帧内或视图间解码应用到重建的第一颜色预测残差来产生重建的第一颜色块。于步骤380中，通过将第二帧间或帧内或视图间解码应用到重建的第二颜色预测残差来产生第二颜色块。
另外，系统还可从比特流中接收对应于所述输入视频数据的第三颜色分量的第三颜色块的第二输入数据；通过将第三帧间或帧内或视图间编码应用于所述第三颜色块来产生第三颜色预测残差；通过以第二缩放参数来缩放所述第一颜色预测残差来产生第二颜色间残差预测子；产生所述第三颜色预测残差与所述第二颜色间残差预测子之间的第二颜色间预测残差；如果第三非零第二缩放参数大于第四非零第二缩放参数，则通过指定第二编码长度不长于用于所述第四非零第二缩放参数的任何第四二进制码的用于所述第三非零第二缩放参数的任何第三二进制码，使用第二二进制码来编码所述第二缩放参数；提供由所述二进制码来编码的所述第一缩放参数；以及提供所述第一颜色间预测残差。
根据本发明，以上所示的流程图旨在说明颜色间残差预测的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。于本公开中，特定语法以及语义已经被用于说明实现本发明实施例的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下将语法以及语义替换为等效的语法以及语义以实施本发明。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (21)

1.一种用于视频解码器系统的分量间残差预测的方法，其特征在于，所述方法包括：
从比特流中接收分别对应于输入视频数据的第一颜色分量以及第二颜色分量的第一颜色块以及第二颜色块的已编码数据；
由所述已编码数据产生重建的第一颜色预测残差；
由所述已编码数据产生重建的第一颜色间预测残差；
通过解析来自所述比特流的一个或多个语法元素并使用第一基于背景解码来解码所述一个或多个语法元素来确定第一缩放参数，其中，所述第一基于背景解码具有等于用于所述第一缩放参数的绝对值的最长二进制码的第一数量背景模型；
通过以所述第一缩放参数缩放所述第一颜色预测残差来产生重建的第一颜色间残差预测子；
基于所述重建的第一颜色间预测残差以及所述重建的第一颜色间残差预测子产生重建的第二颜色预测残差；
通过将第一帧间或帧内或视图间解码应用于所述重建的第一颜色预测残差来产生重建的第一颜色块；以及
通过将第二帧间或帧内或视图间解码应用于所述重建的第二颜色预测残差来产生重建的第二颜色块。
2.如权利要求1所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，所述第一缩放参数的所述绝对值包括8、4、2、1、以及0，且所述第一数量背景模型等于4。
3.如权利要求1所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，还包括：解析所述比特流中的旗标以指示所述第一缩放参数是否使用与一个或多个相邻第一块相关联的相邻第一缩放参数来预测。
4.如权利要求1所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，还包括：
从所述比特流中接收对应于所述输入视频数据的第三颜色分量的第三颜色块的第二已编码数据；
由所述已编码数据产生重建的第二颜色间预测残差；
通过解析来自所述比特流的一个或多个第二语法元素并使用第二基于背景解码来解码所述一个或多个第二语法元素来确定第二缩放参数，其中，第二基于背景解码具有等于用于所述第二缩放参数的所述绝对值的最长第二二进制码的第二数量背景模型；
通过以所述第二缩放参数缩放所述第一颜色预测残差来产生第二颜色间残差预测子；
基于所述重建的第二颜色间预测残差以及所述第二颜色间残差预测子产生重建的第三颜色预测残差；以及
通过将第三帧间或帧内或视图间解码应用于所述重建的第三颜色预测残差来产生重建的第三颜色块。
5.如权利要求4所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，还包括：解析所述比特流中的旗标以指示所述第一缩放参数是否使用与一个或多个相邻第一块相关联的相邻第一缩放参数来预测，且所述第二缩放参数是否通过所述第一缩放参数来预测。
6.一种用于视频编码器系统的分量间残差预测的方法，其特征在于，所述方法包括：
接收分别对应于输入视频数据的第一颜色分量以及第二颜色分量的第一颜色块以及第二颜色块的输入数据；
通过将第一帧间或帧内或视图间编码应用于所述第一颜色块来产生第一颜色预测残差；
通过将第二帧间或帧内或视图间编码应用于所述第二颜色块来产生第二颜色预测残差；
通过以第一缩放参数缩放所述第一颜色预测残差来产生重建的第一颜色间残差预测子；
产生所述第二颜色预测残差与所述重建的第一颜色间残差预测子之间的第一颜色间预测残差；
使用第一基于背景的编码来编码所述第一缩放参数，其中，所述第一基于背景的编码具有等于用于所述第一缩放参数的绝对值的最长二进制码的第一数量背景模型；
提供通过所述第一基于背景的编码来编码的所述第一缩放参数；以及
提供所述第一颜色间预测残差。
7.如权利要求6所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，还包括：传送所述输入视频数据的比特流中的旗标以指示所述第一缩放参数是否使用与一个或多个相邻第一块相关联的相邻第一缩放参数来预测。
8.如权利要求6所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，还包括：
接收对应于所述输入视频数据的第三颜色分量的第三颜色块的第二输入数据；
通过将第三帧间或帧内或视图间编码应用于所述第三颜色块来产生第三颜色预测残差；
通过以第二缩放参数缩放所述第一颜色预测残差来产生第二颜色间残差预测子；
产生所述第三颜色预测残差与所述第二颜色间残差预测子之间的第二颜色间预测残差；
使用第二基于背景的编码来编码所述第二缩放参数，其中，所述第二基于背景的编码具有等于用于所述第二缩放参数的所述绝对值的最长第二二进制码的第二数量背景模型；
提供通过所述第二基于背景的编码来编码的所述第二缩放参数；以及
提供所述第二颜色间预测残差。
9.如权利要求8所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，还包括：传送所述输入视频数据的比特流中的旗标以指示所述第一缩放参数是否使用与一个或多个相邻第一块相关联的相邻第一缩放参数来预测，且所述第二缩放参数是否由所述第一缩放参数来预测。
10.一种用于视频解码器系统的分量间残差预测的方法，其特征在于，所述方法包括：
从比特流中接收分别对应于输入视频数据的第一颜色分量以及第二颜色分量的第一颜色块以及第二颜色块的已编码数据；
由所述已编码数据产生重建的第一颜色预测残差；
由所述已编码数据产生重建的第一颜色间预测残差；
通过从所述比特流中解析一个或多个语法元素并使用二进制码来解码所述一个或多个语法元素来确定第一缩放参数，其中，如果第一非零第一缩放参数大于第二非零第一缩放参数，则所述二进制码具有的用于所述第一非零第一缩放参数的任何第一二进制码的编码长度不长于用于所述第二非零第一缩放参数的任何第二二进制码的编码长度；
通过以所述第一缩放参数来缩放所述第一颜色预测残差来产生重建的第一颜色间残差预测子；
基于所述重建的第一颜色间预测残差以及所述重建的第一颜色间残差预测子产生重建的第二颜色预测残差；
通过将第一帧间或帧内或视图间解码应用于所述重建的第一颜色预测残差来产生重建的第一颜色块；以及
通过将第二帧间或帧内或视图间解码应用于所述重建的第二颜色预测残差来产生重建的第二颜色块。
11.如权利要求10所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，还包括：解析旗标以指示是否使用所述通过解析来自所述比特流的一个或多个语法元素并解码所述一个或多个语法元素来确定所述第一缩放参数。
12.如权利要求11所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，所述旗标是从所述比特流的序列参数集、图片参数集、或编码树单元等级中解析。
13.如权利要求10所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，所述第一缩放参数是由包括8、4、2、1、0、-1、-2、-4以及-8的组中选择。
14.如权利要求13所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，用于所述第一缩放参数的所述二进制码是进一步使用具有用于第一缩放参数值8、4、2、1以及0的5个背景模型的基于背景的编码且使用用于所述第一缩放参数值-1，-2，-4以及-8的2比特固定长度编码来编码。
15.如权利要求10所述的用于视频解码器系统的分量间残差预测的方法，其特征在于，还包括：
从所述比特流中接收对应于所述输入视频数据的第三颜色分量的第三颜色块的第二已编码数据；
由所述已编码数据产生重建的第二颜色间预测残差；
通过从所述比特流中解析一个或多个第二语法元素并使用第二二进制码来解码所述一个或多个第二语法元素来确定第二缩放参数，其中，如果第三非零第二缩放参数大于第四非零第二缩放参数，则所述第二二进制码具有的用于所述第三非零第二缩放参数的任何第三二进制码的第二编码长度不长于用于所述第四非零第二缩放参数的任何第四二进制码的编码长度；
通过以所述第二缩放参数来缩放所述第一颜色预测残差来产生第二颜色间残差预测子；
基于所述重建的第二颜色间预测残差以及所述第二颜色间残差预测子产生重建的第三颜色预测残差；以及
通过将第三帧间或帧内或视图间解码应用于所述重建的第三颜色预测残差来产生重建的第三颜色块。
16.一种用于视频编码器系统的分量间残差预测的方法，其特征在于，所述方法包括：
接收分别对应于输入视频数据的第一颜色分量以及第二颜色分量的第一颜色块以及第二颜色块的输入数据；
通过将第一帧间或帧内或视图间编码应用于所述第一颜色块来产生第一颜色预测残差；
通过将第二帧间或帧内或视图间编码应用于所述第二颜色块来产生第二颜色预测残差；
通过以第一缩放参数来缩放所述第一颜色预测残差来产生重建的第一颜色间残差预测子；
产生所述第二颜色预测残差与所述第一颜色间残差预测子之间的第一颜色间预测残差；
如果第一非零第一缩放参数大于第二非零第一缩放参数，则通过指定编码长度不长于用于所述第二非零第一缩放参数的任何第二二进制码的用于所述第一非零第一缩放参数的任何第一二进制码来使用二进制码编码所述重建的第一缩放参数；
提供由所述二进制码来编码的所述第一缩放参数；以及
提供所述第一颜色间预测残差。
17.如权利要求16所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，还包括：传送旗标以指示是否使用所述二进制码来编码所述第一缩放参数。
18.如权利要求17所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，所述旗标使传送于用于所述输入视频数据的比特流的序列参数集、图片参数集、或编码树单元等级。
19.如权利要求16所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，所述第一缩放参数是由包括8、4、2、1、0、-1、-2、-4以及-8的组中选择。
20.如权利要求19所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，用于所述第一缩放参数的所述二进制码是进一步使用具有用于第一缩放参数值8、4、2、1以及0的5个背景模型的基于背景的编码且使用用于所述第一缩放参数值-1，-2，-4以及-8的2比特固定长度编码来编码。
21.如权利要求16所述的用于视频编码器系统的分量间残差预测的方法，其特征在于，还包括：
接收对应于所述输入视频数据的第三颜色分量的第三颜色块的第二输入数据；
通过将第三帧间或帧内或视图间编码应用于所述第三颜色块来产生第三颜色预测残差；
通过以第二缩放参数来缩放所述第一颜色预测残差来产生第二颜色间残差预测子；
产生所述第三颜色预测残差与所述第二颜色间残差预测子之间的第二颜色间预测残差；
如果第三非零第二缩放参数大于第四非零第二缩放参数，则通过指定第二编码长度不长于用于所述第四非零第二缩放参数的任何第四二进制码的用于所述第三非零第二缩放参数的任何第三二进制码，使用第二二进制码来编码所述第二缩放参数；
提供由所述二进制码来编码的所述第一缩放参数；以及
提供所述第一颜色间预测残差。
CN201480070581.4A 2013-12-30 2014-12-16 用于视频编码器及解码器系统的分量间残差预测的方法 Active CN105981381B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2013/090836 WO2015100522A1 (en) 2013-12-30 2013-12-30 Methods for inter-component residual prediction
CNPCT/CN2013/090836 2013-12-30
PCT/CN2014/093917 WO2015101173A1 (en) 2013-12-30 2014-12-16 Method and apparatus for scaling parameter coding for inter-component residual prediction

Publications (2)

Publication Number Publication Date
CN105981381A CN105981381A (zh) 2016-09-28
CN105981381B true CN105981381B (zh) 2019-03-29

Family

ID=53492884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480070581.4A Active CN105981381B (zh) 2013-12-30 2014-12-16 用于视频编码器及解码器系统的分量间残差预测的方法

Country Status (4)

Country Link
US (1) US10477214B2 (zh)
EP (1) EP3075152A4 (zh)
CN (1) CN105981381B (zh)
WO (2) WO2015100522A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100522A1 (en) * 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN112219399A (zh) * 2018-07-04 2021-01-12 阿里巴巴集团控股有限公司 视频压缩系统中基于调色板的残差编码
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
WO2020140948A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between dividing patterns
CN113424528A (zh) 2019-02-01 2021-09-21 北京字节跳动网络技术有限公司 环路整形和块差分脉冲编解码调制之间的相互作用
EP3900344A4 (en) 2019-02-01 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. CONFIGURATION OF A LUMA-DEPENDENT CHROMA RESIDUAL SCALING FOR VIDEO ENCODING
JP7277599B2 (ja) 2019-03-08 2023-05-19 北京字節跳動網絡技術有限公司 映像処理におけるモデルベース再整形に対する制約
WO2020182219A1 (en) * 2019-03-14 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
WO2020185039A1 (ko) * 2019-03-14 2020-09-17 엘지전자 주식회사 레지듀얼 코딩 방법 및 장치
CN113632476B (zh) 2019-03-23 2024-03-19 北京字节跳动网络技术有限公司 默认的环内整形参数
KR20210154150A (ko) * 2019-04-18 2021-12-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로스 성분 모드에서의 파라미터 도출
EP3935855A4 (en) 2019-04-23 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION
CN116896634A (zh) 2019-04-23 2023-10-17 北京字节跳动网络技术有限公司 在视频编解码中有条件地使用多重变换矩阵
JP7407206B2 (ja) 2019-05-08 2023-12-28 北京字節跳動網絡技術有限公司 クロスコンポーネントコーディングの適用条件
WO2020228762A1 (en) 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling for residual coding
CN117478908A (zh) 2019-06-22 2024-01-30 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
CN114128280B (zh) 2019-07-07 2023-11-14 北京字节跳动网络技术有限公司 色度残差缩放的信令通知
CN114270817A (zh) 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 基于位置的系数缩放
CN113099232B (zh) * 2021-03-25 2024-01-19 杭州网易云音乐科技有限公司 视频解码方法、装置、电子设备及计算机存储介质
WO2023225289A1 (en) * 2022-05-19 2023-11-23 Google Llc Chroma-from-luma prediction with derived scaling factor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160970A (zh) * 2005-04-18 2008-04-09 三星电子株式会社 运动图像编码和解码方法以及设备
CN102726043A (zh) * 2009-11-06 2012-10-10 弗劳恩霍夫应用研究促进协会 混合视频编码
CN103139565A (zh) * 2011-11-25 2013-06-05 吴秀美 用于对色度图像解码的方法
CN103210647A (zh) * 2010-11-08 2013-07-17 联发科技股份有限公司 高效视频编码的Delta量化参数处理方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4626894A (en) * 1984-10-04 1986-12-02 Rca Corporation Signal filtering system having adaptively cascaded filter stages for developing a variable bandwidth frequency characteristic
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
DE102004059978B4 (de) 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
CN101521013B (zh) * 2009-04-08 2011-08-17 武汉大学 空间音频参数双向帧间预测编解码装置
US9106920B2 (en) * 2009-05-05 2015-08-11 Telefonaktiebolaget L M Ericsson (Publ) Scalable video coding method, encoder and computer program
US8861599B2 (en) * 2011-03-08 2014-10-14 Sony Corporation Context reduction for last transform position coding
RS64604B1 (sr) * 2011-06-16 2023-10-31 Ge Video Compression Llc Entropijsko kodiranje razlika vektora kretanja
US20130170553A1 (en) * 2012-01-04 2013-07-04 Qualcomm Incorporated Coding motion vector difference
EP2805495B1 (en) * 2012-01-20 2023-07-19 Google Technology Holdings LLC Devices and methods for context reduction in last significant coefficient position coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9648332B2 (en) * 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160970A (zh) * 2005-04-18 2008-04-09 三星电子株式会社 运动图像编码和解码方法以及设备
CN102726043A (zh) * 2009-11-06 2012-10-10 弗劳恩霍夫应用研究促进协会 混合视频编码
CN103210647A (zh) * 2010-11-08 2013-07-17 联发科技股份有限公司 高效视频编码的Delta量化参数处理方法及装置
CN103139565A (zh) * 2011-11-25 2013-06-05 吴秀美 用于对色度图像解码的方法

Also Published As

Publication number Publication date
US10477214B2 (en) 2019-11-12
US20160323581A1 (en) 2016-11-03
WO2015100522A1 (en) 2015-07-09
WO2015101173A1 (en) 2015-07-09
EP3075152A1 (en) 2016-10-05
CN105981381A (zh) 2016-09-28
EP3075152A4 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
CN105981381B (zh) 用于视频编码器及解码器系统的分量间残差预测的方法
RU2673392C1 (ru) Способ и устройство для энтропийного кодирования видео и способ и устройство для энтропийного декодирования видео
US10687058B2 (en) Method and apparatus for coding of intra prediction mode
CN107211122B (zh) 对自包含式编码结构进行编码或解码时的调色板预测结果初始化程序
US9351008B2 (en) Encoding / decoding method and apparatus using a tree structure
US20230379454A1 (en) Multi-Component Picture or Video Coding Concept
CN107211121B (zh) 视频编码方法与视频解码方法
US20190306508A1 (en) Method and apparatus of binarization and context-adaptive coding for syntax in video coding
US10070126B2 (en) Method and apparatus of intra mode coding
US8885711B2 (en) Image encoding/decoding method and device
JP6404460B2 (ja) パレットサイズシグナリング、および、条件付きのパレットエスケープフラグシグナリングの方法
EP3649781B1 (en) Improvement on boundary forced partition
EP3266217B1 (en) Method and apparatus for video or image decoding using palette coding mode and method for video or image coding
KR20130072154A (ko) 적응적인 후보 예측 모드에 따른 인트라 예측 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant