CN114531953A - 使用多参考行帧内预测的最可能模式信令 - Google Patents

使用多参考行帧内预测的最可能模式信令 Download PDF

Info

Publication number
CN114531953A
CN114531953A CN202080066764.4A CN202080066764A CN114531953A CN 114531953 A CN114531953 A CN 114531953A CN 202080066764 A CN202080066764 A CN 202080066764A CN 114531953 A CN114531953 A CN 114531953A
Authority
CN
China
Prior art keywords
intra
coding
video
encoding
coding mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066764.4A
Other languages
English (en)
Inventor
G.拉思
F.加尔平
F.莱林内克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Interactive Digital Vc Holding France
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Digital Vc Holding France filed Critical Interactive Digital Vc Holding France
Publication of CN114531953A publication Critical patent/CN114531953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

使用多参考行在编码器中上下文编码最可能模式标记。在对应的解码器中，该最可能模式标记总是被解码，而不管多参考行索引标记的值如何。当多参考行索引是非零时，在解析该最可能模式标记时使用上下文。

Description

使用多参考行帧内预测的最可能模式信令
技术领域
本实施例中的至少一个实施例一般涉及一种用于视频编码或解码、压缩或解压缩的方法或装置。
背景技术
为了实现高压缩效率，图像和视频编解码方案通常采用包括运动矢量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编解码、量化、变换和预测的逆过程对压缩数据进行解码。
发明内容
本实施例中的至少一个实施例一般涉及一种用于视频编码或解码的方法或装置，并且更具体地涉及用于使用多参考行(MRL)帧内预测的最可能模式(MPM)标记信令的方法或装置。MPM和MRL都是VVC(通用视频编解码或H.266)标准中的视频编码工具。然而，所描述的实施例也可以应用于其它视频编解码标准。
根据第一方面，提供了一种方法。该方法包括下述步骤：解析视频比特流以确定是否使用多参考行帧内编解码；基于确定使用CABAC上下文对最可能模式标记进行解码以确定帧内编解码模式；以及基于该帧内编解码模式对该视频比特流进行解码。
根据第二方面，提供了一种方法。该方法包括下述步骤：利用CABAC上下文对指示多参考行帧内视频编解码的标记进行编码；对表示所使用的帧内编解码模式的帧内编解码模式索引进行编码；以及使用该帧内编解码模式对具有该编码标记和帧内编解码模式索引的视频比特流进行编码。
根据另一方面，提供了一种装置。该装置包括处理器。该处理器可以被配置为通过执行前述方法中的任一种来对视频块进行编码或对比特流进行解码。
根据至少一个实施例的另一一般方面，提供了一种设备，该设备包括：根据解码实施例中的任一实施例的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收的信号限制为包括该视频块的频带；以及(iii)显示器，该显示器被配置为显示表示视频块的输出。
根据至少一个实施例的另一一般方面，提供了一种非暂态性计算机可读介质，该非暂态性计算机可读介质包含根据所描述的编码实施例或变体中的任一实施例或变体生成的数据内容。
根据至少一个实施例的另一一般方面，提供了一种信号，该信号包括根据所描述的编码实施例或变体中的任一实施例或变体生成的视频数据。
根据至少一个实施例的另一一般方面，比特流被格式化以包括根据所描述的编码实施例或变体中的任一实施例或变体生成的数据内容。
根据至少一个实施例的另一一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，该指令在由计算机执行时使该计算机执行所描述的编码实施例或变体中的任一实施例或变体。
通过将结合附图阅读的示例性实施例的以下详细描述，一般方面的这些和其它方面、特征和优点将变得显而易见。
附图说明
图1示出了用于在针对不同目标块形状的另一方法中导出MPM列表的编解码单元位置。
图2示出了VVC中的帧内模式解码的流程图。
图3示出了使用所描述的方面的帧内模式解码的流程图的一个实施例。
图4示出了标准的通用视频压缩方案(编码器)。
图5示出了标准的通用视频解压缩方案(解码器)。
图6示出了根据一般描述的方面的用于编码/解码的基于处理器的系统。
图7示出了使用所描述的方面进行解码的方法。
图8示出了用于使用所描述的方面进行编码的方法。
图9示出了用于使用所描述的方面进行编码或解码的装置。
具体实施方式
一般描述的方面解决了通用视频编解码(VVC)VTM 6.0中的帧内预测模式编解码。特别地，考虑了在存在多参考行(MRL)帧内预测时对mpmFlag进行编码。在VTM 6.0中，当任何CU的multiRefIdx为非零时，其预测模式被约束为最可能模式(MPM)列表的成员。因此，信令通知预测模式是否属于MPM列表的mpmFlag没有被编码。因此,如果multiRefIdx为非零,则解码器跳过对mpmFlag进行解码。当前描述的方面建议利用值为1但利用另一上下文对mpmFlag进行编码，即使multiRefIdx为非零。
所描述的实施例解决了VTM 6.0中在MRL的存在下的对mpmFlag的编码。在multiRefIdx为零的情况下，mpmFlag如在VTM 6.0中根据帧内预测模式的值被编码。如果预测模式属于MPM列表，则mpmFlag被设置为1，否则其在标记被上下文编码之前被设置为0。在multiRefIdx为非零的情况下，在利用另一上下文对mpmFlag进行编码之前将其设置为1。利用这种改变，CU的mpmFflag始终被编码。这引起解码器侧更好的解析和实施。此外，它允许用可用于CU的所有参考行考虑全帧内预测模式。
通用视频编解码测试模型6.0(VTM)支持使用多参考行(MRL)的帧内预测，其中考虑三个参考行用于任何CU的帧内预测。除了由直接顶部和左侧参考样本组成的直接相邻参考行(也称为第0参考行)，还考虑了偏移1个像素和3个像素处的参考行。然而，利用这些参考行，仅考虑了除平面模式之外的最可能模式(MPM)列表中的帧内预测模式。因此，当CU的预测模式被编码时，如果其MRL索引标记(表示为multiRefIdx)为非零，则mpmFlag没有被编码。只有MPM列表中的候选MPM的索引利用VLC方案编码。相应地，如果MRL索引的解码值在对候选MPM索引进行解码之前为非零，则解码器跳过对mpmFlag进行解码。所描述的实施例的目的是去除mpmFlag信令中的这种不均匀性并提出更好的信令方法，从而将解码器的解析和实施保持在视图中。
VTM 6.0中的MPM列表构建
VTM 6.0构建用于对目标块的帧内预测模式进行编码的6个预测模式的MPM列表。MPM列表由当前CU的顶部和左侧的帧内编解码的CU的预测模式和一些默认模式诸如平面模式、DC模式、竖直模式和水平模式构建。顶部和左侧CU分别位于目标块的右侧边缘和底部边缘，如图1所示。如表1中所示构建6个MPM的列表：
Figure BDA0003560132800000041
表1：替代性建议中的MPM推导。A和L分别表示CU上方和左侧的预测模式。D＝max(L,A)–min(L,A)
VTM 6.0中帧内模式编解码
在常规帧内预测或利用子划分(ISP)的帧内预测中，如果当前块的预测模式等于六个MPM模式中的一个MPM模式，则这通过以下来指示：用值为1设置mpmFlag，并且随后使用表2中所示的可变长度编解码方案对来自MPM列表中的候选模式索引进行编码。否则，mpmFlag被设置为0，并且剩余61个模式的集合中的候选索引用5位或6位进行截断二进制编码。mpmFlag的单个二进制数通过CABAC进行上下文编码。类似地，如表2所示，MPM候选索引二值化的第一二进制数进行上下文编码，但是剩余的二进制数通过CABAC进行旁通编码。
Figure BDA0003560132800000042
Figure BDA0003560132800000051
表2：另一建议中的MPM编码
对于利用MRL的帧内预测，用于预测的参考行用称为multiRefIdx的标记进行编码。multiRefIdx的有效值为0、1和3，其信令通知第一参考行、第二参考行或第四参考行。它们被分别二值化为0、10、11，其中两个二进制数通过CABAC用两个单独的上下文进行上下文编码。当multiRefIdx为非零时(意味着使用第二参考行或第四参考行)，预测模式始终属于MPM列表。因此，mpmFlag没有被编码。此外，当两个参考行从目标块偏移时，从列表中排除平面模式。当平面模式始终是MPM列表中的第一候选时，这意味着当multiRefIdx为非零时，仅五个预测模式可用作可能的候选。因此，当multiRefIdx为非零时，预测模式如表3所示被编码。二值化的所有4个二进制数通过CABAC进行旁通编码。
候选索引 代码
MPM[1] 0
MPM[2] 10
MPM[3] 110
MPM[4] 1110
MPM[5] 1111
表3：当multiRefIdx>0时建议中的MPM编码
建议的帧内模式编解码
在常规帧内预测或利用子划分(ISP)的帧内预测中，VTM 6.0中帧内模式编解码被保持不变。在两种情况下，当第一参考行用于预测时，multiRefIdx等于零。VTM 6.0中对mpmFlag的编码被保持不变。在使用MRL的帧内预测中，当multiRefIdx为非零时，mpmFlag被设置为1并在CABAC中用单独的上下文对其进行编码。然后，如表3所示对候选MPM的索引进行二进制编码，并且所有二进制数均通过CABAC进行旁通编码。
在解码器侧，mpmFlag始终被编码，而不管multiRefIdx标记的值如何。然而，基于multiRefIdx标记的值决定解析标记时使用的上下文。如果multiRefIdx标记被解码为零，如同常规帧内预测或利用子划分的帧内预测的情况那样，则利用VTM 6.0中给出的CABAC上下文解析mpmFlag。如果multiRefIdx被解码为非零，则在解析mpmFlag时使用第二CABAC上下文。然后通过CABAC对候选MPM的二进制数进行旁通解码。在两种情况下，然后将CU的预测模式解码为具有解码索引值的MPM候选。
有利地，当multiRefIdx不为0(第二上下文)时，CABAC初始概率参数被设置为产生高概率(接近1)，因为在该情况下，mpmFlag被强制为1。
图2和图3分别显示了VTM 6.0中的帧内模式解码和我们建议中的帧内模式解码的流程图。图3中突出显示的块示出了当前建议相对于VTM 6.0实现方式的变化。
CABAC上下文选择
以下描述解释了CABAC初始化过程变化的原理。在另一建议中，CABAC模型的初始概率值由线性模型根据QP(量化参数)给出：
proba(QP)＝(a/2)*(QP-16)+b
其中“a”和“b”分别表示斜率和偏移。“a”和“b”都在对应于语法元素的给定二进制数的规格中进行硬编码。由于CABAC更新每个读取二进制数处的概率，因此也使用两个“窗口大小”来更新符号概率。根据窗口大小，概率更新将快速或缓慢。例如，对于原始MPM标记的初始CABAC参数，针对帧间帧的QP为32(不取决于QP，即斜率为空)，概率为大约0.57(对应于VTM-6.0中的参数为36)，并且针对帧内帧的概率为0.77(对应于VTM-6.0中的初始参数为45)。
为了不惩罚当multiRefIdx>0时将执行mpmFlag编码的低复杂性编码器，建议利用高概率模型对CABAC概率进行初始化，其中b大。例如：a＝0(斜率为空，即不依赖于QP)，并且b＝0.99(对应于初始CABAC参数为39)。也可以使用给出高初始概率的其它值。例如，保持QP的初始概率函数a＝0.b＝0.99(对应于初始CABAC参数为47)。
通过使用这些初始概率模型，低复杂性编码器(如在另一建议中描述的当multiRefIdx>0时也将执行对mpmFlag的编码的低复杂性编码器)不具有性能惩罚(性能保持大致相同)，但如果需要，更复杂的编码器可以利用新的可用特征。
实验结果
建议的使用VTM 6.0编解码的mpmFlag信令在具有常见测试条件的全帧内(AI)配置中实现。表4示出了建议的改变相对于VTM 6.0锚点的BD比率性能。观察到BD比率性能和复杂性与VTM 6.0大约相同。
表4：建议的方法相对于VTM 6.0锚点的BD速率性能。
Figure BDA0003560132800000071
建议的方法的一个优点是在解码器处的语法和解析中的均匀性。此外，因为它允许利用MRL帧内预测信令通知mpmFlag，因此对于可用于CU的所有参考行，可以考虑全帧内预测模式。
本文档描述了多个方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被具体地描述，并且至少为了示出个体特性，通常以可能听起来有限的方式进行描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
本文档中描述和设想的方面可以许多不同的形式实现。下文的图4、图5和图6提供了一些实施例，但是设想了其它实施例，并且图4、图5和图6的讨论不限制实现方式的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不一定，术语“重建”在编码端使用，而“解码”在解码端使用。
本文描述了各种方法，并且每种方法包括用于实现所述方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。
本文献中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编解码和/或解码模块(160、360、145、330))，如图4和图5所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本文献中所述的方面可单独或组合使用。
本文献中使用各种数值，例如，{{1,0},{3,1},{1,1}}。具体值是为了示例目的，并且所述方面不限于这些具体值。
图4示出了编码器100。设想了这一编码器100的变体，但是为了清楚起见下文描述了编码器100，而不描述所有预期的变体。
在被编码之前，视频序列可经历预编码处理(101)，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。
在编码器100中，图片由编码器元件进行编码，如下所述。以例如CU为单位对要编码图片进行划分(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当单元以帧内模式进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一者用于对单元进行编码，并且通过例如预测模式标记来指示帧内/帧间决策。例如通过从原始图像块减去(110)预测块来计算预测残差。
然后对预测残差进行变换(125)和量化(130)。对经量化的变换系数、以及运动矢量和其他语法元素进行熵编码(145)，以输出比特流。编码器可跳过变换，并对未变换的残差信号直接应用量化。编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
编码器对编码块进行解码以提供用于进一步预测的参考。对量化的变换系数进行去量化(140)和逆变换(150)以解码预测残差。组合(155)经解码的预测残差和预测块，重建图像块。向重建图片应用环路滤波器(165)以执行例如解块/SAO(样本自适应偏移)滤波，以减少编码伪影。经滤波的图像存储在参考图片缓冲器(180)中。
图5示出了视频解码器200的框图。在解码器200中，比特流由解码器元件进行解码，如下所述。视频解码器200一般执行与如图4所述的编码程相反的解码程。编码器100通常还执行视频解码作为视频数据编码的一部分。
解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先对比特流进行熵解码(230)以获得变换系数、运动向量和其他经编码的信息。图片划分信息指示如何对图片进行划分。因此，解码器可根据解码图片划分信息来分割(235)图片。对变换系数进行去量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重建图像块。可从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)预测块。向重建图像应用环路滤波器(265)。经滤波的图像存储在参考图片缓冲器(280)中。
经解码的图片还可经历解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码处理(101)中执行的重新映射过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中信令通知的元数据。
图6示出在其中实现各种方面和实施例的系统的示例的框图。系统1000可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施例中，系统1000的处理元件和编码器/解码器元件分布在多个IC和/或分立部件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他类似系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的一个或多个方面。
系统1000包括至少一个处理器1010，该处理器被配置为执行加载到其中的指令，以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接存储设备和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。此外，编码器/解码器模块1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在若干实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令和提供工作存储器以用于在编码或解码期间需要的处理。然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施例中，外部非易失性闪存存储器用于存储电视机的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作用于视频编解码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC(通用视频编解码)。
对系统1000的元件的输入可通过如框1130中所示的各种输入设备提供。此类输入设备包括但不限于：(i)接收例如由广播器通过空中发射的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，框1130的输入设备具有如本领域已知的相关联的相应输入处理元件。例如，RF部分可与以下所必需的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施例中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据分组流。各种实施例的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施例重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如Reed-Solomon纠错)的各个方面可根据需要例如在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的方面可根据需要在单独的接口IC内或在处理器1010内实现。将解调流、纠错流和解复用流提供给各种处理元件，包括例如处理器1010以及编码器/解码器1030，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上。
系统1000的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置1140(例如，如本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在其间发射数据。
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可包括但不限于被配置为通过通信信道1060发射和接收数据的收发器。通信接口1050可包括但不限于调制解调器或网卡，并且通信信道1060可例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11的无线网络将数据流式传输到系统1000。例如，这些实施例的无线信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施例使用机顶盒向系统1000提供流式数据，该机顶盒通过输入块1130的HDMI连接递送数据。还有其他实施例使用输入块1130的RF连接向系统1000提供流式数据。
系统1000可向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。在实施例的各个示例中，其它外围设备1120包括独立DVR、磁盘播放器、立体系统、照明系统和基于系统1000的输出提供功能的其它设备中的一个或多个。在各种实施例中，控制信号使用诸如AV.Link、CEC或其他通信协议的信令在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(例如，电视机)中的系统1000的其他部件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，定时控制器(TCon)芯片。
另选地，如果输入1130的RF部分是单独机顶盒的一部分，则显示器1100和扬声器1110可选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施例中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)提供。
这些实施例可由处理器1010或由硬件或由硬件和软件的组合实现的计算机软件执行。作为非限制性示例，这些实施例可由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任意类型，并且可使用任何适当的数据存储技术实现，
诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任意类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
各种具体实施参与解码。如本申请中所用，“解码”可包括例如对所接收的编码序列执行以产生适于显示的最终输出的过程的全部或部分。在各种实施例中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类过程还或另选地包括由本申请中描述的各种实现方式的解码器执行的过程，例如，提取待用于各种帧内预测参考阵列的权重索引。
作为进一步的示例，在一个实施例中，“解码”仅是指熵解码，在另一个实施例中，“解码”仅是指差分解码，并且在又一个实施例中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，划分、差分编码、变换、量化和熵编码。在各种实施例中，此类过程还或另选地包括由本申请中描述的各种实现方式的编码器执行的过程，例如，对帧内预测参考阵列进行加权。
作为进一步的示例，在一个实施例中，“编码”仅是指熵编码，在另一个实施例中，“编码”仅是指差分编码，并且在又一个实施例中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
各种实施例是指速率失真计算或速率失真优化。在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编解码参数值)的广泛测试，并且完整评估其编解码成本以及重建信号在编解码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编解码成本和相关失真两者的完整评估。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
提及“一个实施例”或“实施例”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施例描述的特定的特征、结构、特性等包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本文献通篇的各个地方的任何其他变型不一定都是指相同的实施例。
此外，本文档可提及“确定”各条信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
此外，本文献可指“访问”各条信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
此外，本文献可指“接收”各条信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
而且，如本文所用，词语“信令通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施例中，编码器信令通知多个权重中要用于帧内预测参考阵列的特定权重。这样，在一个实施例中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施例中实现了位节省。应当理解，信令可以各种方式实现。例如，在各种实施例中，使用一个或多个语法元素、标记等将信息信令通知至对应解码器。虽然前面涉及词语“signal(信令通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施例的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
实施例可包括跨各种不同的权利要求类别和类型单独的或组合的以下特征或实体中的一个或多个：
·设置标记以指示多参考行并用单独的CABAC上下文对其进行编码。
·基于多参考行索引标记的值确定要用于解析标记的上下文。
·使用CABAC对候选最可能模式的二进制数进行旁通解码。
·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
·创建和/或传输和/或接收和/或解码包括一个或多个所述语法元素或其变型的比特流或信号。
·根据所描述的实施例中的任一实施例执行环内滤波的电视机、机顶盒、移动电话、平板计算机或其他电子器件。
·根据所描述的实施例中的任一实施例执行环内滤波并显示所得图像(例如，使用监视器、屏幕或其他类型的显示器)的电视机、机顶盒、移动电话、平板计算机或其他电子器件。
·调谐(例如，使用调谐器)信道以接收包括编码图像的信号并且执行根据所述实施例中任一项的环内滤波的电视机、机顶盒、移动电话、平板计算机或其他电子器件。
·通过空中接收(例如，使用天线)包括编码图像的信号并且执行根据所述实施例中任一项的环内滤波的电视机、机顶盒、移动电话、平板计算机或其他电子器件。
图7中示出了根据本文所述的一般方面的方法700的一个实施例。该方法开始于开始框701，并且控制进行到框710以用于解析视频比特流以确定是否使用多参考行帧内编解码。控制从框710进行到框720，以基于确定使用CABAC上下文对最可能模式标记进行解码，以确定帧内编解码模式。控制从框720前进到框730，以基于帧内编解码模式对视频比特流进行解码。
图8中示出了根据本文所述的一般方面的方法800的一个实施例。该方法开始于开始框801，并且控制进行到框810以利用CABAC上下文对指示多参考行帧内视频编码的标记进行编码。控制从框810进行到框820，以对表示所使用的帧内编解码模式的帧内编解码模式索引进行编码。控制从框820进行到框830，以使用该帧内编解码模式对具有该编码标记和帧内编解码模式索引的视频比特流进行编码。
图9示出了用于使用基于相邻样本依赖参数模型的编解码模式的简化来对视频数据进行编码、解码、压缩或解压缩的装置900的一个实施例。该装置包括处理器910并且可通过至少一个端口互连到存储器920。处理器910和存储器920两者还可以具有与外部连接的一个或多个附加互连。
处理器910还被配置为在比特流中插入或接收信息，并且使用所述方面中的任一方面来进行压缩、编码或解码。
在整个本说明书中还支持和设想各种其它广义以及特殊发明和权利要求。

Claims (15)

1.一种方法，所述方法包括：
解析视频比特流以确定是否使用多参考行帧内编解码；
基于所述确定使用CABAC上下文对最可能模式标记进行解码以确定帧内编解码模式；以及，
基于所述帧内编解码模式对所述视频比特流进行解码。
2.一种装置，所述装置包括：
处理器，所述处理器被配置为：
解析视频比特流以确定是否使用多参考行帧内编解码；
基于所述确定使用CABAC上下文对最可能模式标记进行解码以确定帧内编解码模式；以及，
基于所述帧内编解码模式对所述视频比特流进行解码。
3.一种方法，所述方法包括：
利用CABAC上下文对指示多参考行帧内视频编解码的标记进行编码；
对表示所使用的帧内编解码模式的帧内编解码模式索引进行编码；以及，
使用所述帧内编解码模式对具有所述经编码标记和帧内编解码模式索引的视频比特流进行编码。
4.一种装置，所述装置包括：
处理器，所述处理器被配置为：
利用CABAC上下文对指示多参考行帧内视频编解码的标记进行编码；
对表示所使用的帧内编解码模式的帧内编解码模式索引进行编码；以及，
使用所述帧内编解码模式对具有所述经编码标记和帧内编解码模式索引的视频比特流进行编码。
5.根据权利要求3所述的方法或根据权利要求4所述的装置，其中指示多参考行帧内视频编解码的所述标记具有值为一。
6.根据权利要求3所述的方法或根据权利要求4所述的装置，其中表示所使用的帧内编解码模式的所述索引是二进制编码的。
7.根据权利要求6所述的方法或装置，其中使用CABAC对所述索引的二进制数进行旁通编码。
8.根据权利要求1所述的方法或根据权利要求2所述的装置，其中使用CABAC对所述索引的二进制数进行旁通解码。
9.根据权利要求1所述的方法或根据权利要求2所述的装置，其中利用高概率模型对CABAC概率参数进行初始化。
10.根据权利要求9所述的方法或装置，其中所述最可能模式标记被设定为值为一。
11.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述最可能模式标记被解码，而不管多参考行帧内编解码索引的值如何。
12.一种设备，所述设备包括：
根据权利要求2所述的装置；和
以下项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括视频块；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括所述视频块的频带；以及(iii)显示器，所述显示器被配置为显示表示视频块的输出。
13.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含根据权利要求3、5或6中任一项所述的方法或者通过根据权利要求4、5或6中任一项所述的装置生成的用于使用处理器播放的数据内容。
14.一种信号，所述信号包括根据权利要求3、5或6中任一项所述的方法或者通过根据权利要求4、5或6中任一项所述的装置生成的用于使用处理器播放的视频数据。
15.一种计算机程序产品，所述计算机程序产品包括指令，所述指令在程序由计算机执行时使所述计算机执行根据权利要求1、3或5至11所述的方法。
CN202080066764.4A 2019-09-24 2020-09-21 使用多参考行帧内预测的最可能模式信令 Pending CN114531953A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19306179 2019-09-24
EP19306179.3 2019-09-24
PCT/EP2020/076212 WO2021058408A1 (en) 2019-09-24 2020-09-21 Most probable mode signaling with multiple reference line intra prediction

Publications (1)

Publication Number Publication Date
CN114531953A true CN114531953A (zh) 2022-05-24

Family

ID=72603469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066764.4A Pending CN114531953A (zh) 2019-09-24 2020-09-21 使用多参考行帧内预测的最可能模式信令

Country Status (5)

Country Link
US (1) US20220368890A1 (zh)
EP (1) EP4035392A1 (zh)
JP (1) JP2022548495A (zh)
CN (1) CN114531953A (zh)
WO (1) WO2021058408A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10965951B2 (en) * 2018-06-22 2021-03-30 Avago Technologies International Sales Pte. Limited Memory latency management for decoder-side motion refinement

Also Published As

Publication number Publication date
EP4035392A1 (en) 2022-08-03
JP2022548495A (ja) 2022-11-21
US20220368890A1 (en) 2022-11-17
WO2021058408A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
CN113950834A (zh) 用于隐式多变换选择的变换选择
US20220046244A1 (en) Directions for wide angle intra prediction
WO2022063729A1 (en) Template matching prediction for versatile video coding
CN112771874A (zh) 用于画面编码和解码的方法和设备
CN114631311A (zh) 将同质语法与编码工具一起使用的方法和装置
US20220124337A1 (en) Harmonization of intra transform coding and wide angle intra prediction
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
CN112335246A (zh) 用于基于适应性系数组的视频编码和解码的方法及设备
JP2024513873A (ja) 切り替え可能な補間フィルタを用いる幾何学的分割
CN114930819A (zh) 三角形合并模式中的子块合并候选
CN114080613A (zh) 对深度神经网络进行编码的系统和方法
CN114531953A (zh) 使用多参考行帧内预测的最可能模式信令
US20230232045A1 (en) Scaling process for joint chroma coded blocks
CN114631314A (zh) 变换大小与编码工具的相互作用
EP4193593A1 (en) Combining abt with vvc sub-block-based coding tools
CN117981305A (zh) 用于对视频进行编码/解码的方法和装置
CN114731404A (zh) 使用基于块区域的量化矩阵进行视频编码和解码
CN114731430A (zh) 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区
CN114788275A (zh) 用于联合Cb-Cr编码的量化矩阵的推导
CN113170149A (zh) 用于图片编码和解码的方法和设备
CN112385237A (zh) 具有多个区域的环路滤波器
CN113016181A (zh) 依据块形状适配最可能模式候选的选择
CN114830656A (zh) 用于快速视频编码器的二次变换

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231031

Address after: Paris France

Applicant after: Interactive digital CE patent holding Co.

Address before: Seville, France

Applicant before: Interactive digital VC holding France

TA01 Transfer of patent application right