CN114402614A - 使用基于矩阵的帧内预测进行视频编码和解码的方法和装置 - Google Patents

使用基于矩阵的帧内预测进行视频编码和解码的方法和装置 Download PDF

Info

Publication number
CN114402614A
CN114402614A CN202080052918.4A CN202080052918A CN114402614A CN 114402614 A CN114402614 A CN 114402614A CN 202080052918 A CN202080052918 A CN 202080052918A CN 114402614 A CN114402614 A CN 114402614A
Authority
CN
China
Prior art keywords
matrix
block
prediction
decoding
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080052918.4A
Other languages
English (en)
Other versions
CN114402614B (zh
Inventor
F.加尔平
F.拉卡佩
P.博德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN114402614A publication Critical patent/CN114402614A/zh
Application granted granted Critical
Publication of CN114402614B publication Critical patent/CN114402614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了不同的实施方式，特别是给出了用于基于线性加权的帧内预测(也称为基于矩阵的帧内预测)的视频编码和解码的实施方式。因而，编码或解码包括从所选择的权重矩阵和相关联的偏置并且从临近的参考样本的集合当中获得块的帧内预测的样本；其中所选择的权重矩阵的任何系数都是二的幂。根据宽松的版本，所选择的权重矩阵的系数并非全部而是仅一部分是二的幂。有利地，这种布置允许减少用于存储数据的存储器的量并且减少帧内预测样本计算的复杂度。

Description

使用基于矩阵的帧内预测进行视频编码和解码的方法和装置
技术领域
本实施例中的至少一个一般而言涉及例如用于视频编码或解码的方法或装置，并且更具体地涉及包括根据所选择的权重矩阵和临近参考样本的集合从块获得块的帧内预测的样本的方法或装置；其中所选择的权重矩阵的任何系数都是二的幂。
背景技术
一个或多个实施方式的领域技术领域一般与视频压缩有关。至少一些实施例涉及与诸如HEVC(HEVC是指高效视频编解码，也称为“ITU-T H.265 Telecommunicationstandardization sector of ITU(10/2014),series H:audiovisual and multimediasystems,infrastructure of audiovisual services-coding of moving video,Highefficiency video coding,Recommendation ITU-T H.265(ITU-T H.265ITU的电信标准化部门(10/2014)，H系列：视听和多媒体系统，视听服务基础设施-移动视频编码，高效视频编码，ITU-T H.265建议书)”中描述的H.265和MPEG-H第2部分)之类的现有视频压缩系统相比或与正在开发的诸如VVC(通用视频编解码，由联合视频专家组JVET开发的新标准)之类的视频压缩系统相比提高压缩效率。
为了实现高压缩效率，图像和视频编解码方案通常采用预测(包括运动矢量预测)和变换以充分利用视频内容中的空间和时间冗余性。一般而言，帧内或帧间预测被用于利用帧内或帧间相关性，然后对原始图像与预测的图像之间的差异(常常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，压缩数据通过与熵编码、量化、变换和预测对应的逆过程而被解码。
最近对高压缩技术的添加包括使用参考样本的下采样和矩阵乘积的组合的帧内预测。这种帧内预测的缺点是需要大量数据来存储各种滤波过程中使用的加权参数。因此，期望为了存储器效率而优化帧内预测矩阵的存储并且为了复杂度而优化解码时的帧内预测的样本的计算。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此，根据至少一个实施例的一般方面，给出了一种用于视频编码的方法，包括使用基于矩阵的帧内预测以帧内预测模式对视频的图片的块进行编码。根据特定特点，编码包括从权重矩阵的集合和相关联的偏置矢量当中所选择的权重矩阵和相关联的偏置并且从临近的参考样本的集合当中获得块的帧内预测的样本；其中所选择的权重矩阵的任何系数都是二的幂。根据另一个特定特点，所选择的权重矩阵的系数不是全部而是只有一部分是二的幂。例如，第一系数不是二的幂，而任何其它系数(不同于第一系数)是二的幂。根据另一个特定特点，零系数也由具有特殊指数的二的幂表示。例如，两个指数零表示零系数。
有利地，矩阵系数为二的幂的全部或部分允许涉及较少的每个要被预测的样本的乘法，因为乘以二的幂的乘积是通过移位操作实现的。有利地，矩阵系数为二的幂的全部或部分还允许减少要存储在存储器中的系数的数据量，因为仅存储与移位位数对应的指数。低推理复杂度从而在常常实现解码器的资源有限设备中实现基于矩阵的帧内预测的能力。
根据至少一个实施例的另一个一般方面，给出了一种用于视频解码的方法，包括对视频的图片的块进行解码，使用基于矩阵的帧内预测以帧内预测模式对块进行编解码。对于编码方法，根据特定特点，该方法还包括从权重矩阵的集合和相关联的偏置矢量当中所选择的权重矩阵和相关联的偏置并且从临近的参考样本的集合当中获得块的帧内预测的样本；其中所选择的权重矩阵的任何系数都是二的幂。
根据至少一个实施例的另一个一般方面，给出了一种用于视频编码的装置，其包括用于实现编码方法的实施例中的任何一个的部件。
根据至少一个实施例的另一个一般方面，给出了一种用于视频解码的装置，其包括用于实现解码方法的实施例中的任何一个的部件。
根据至少一个实施例的另一个一般方面，提供了一种用于视频编码的装置，其包括一个或多个处理器和至少一个存储器。一个或多个处理器被配置为实现编码方法的实施例中的任何一个。
根据至少一个实施例的另一个一般方面，提供了一种用于视频解码的装置，其包括一个或多个处理器和至少一个存储器。一个或多个处理器被配置为实现解码方法的实施例中的任何一个。
根据至少一个实施例的另一个一般方面，使用基于矩阵的帧内预测对块进行编码或解码包括确定临近参考样本的集合；根据基于矩阵的帧内预测的模式和块形状选择权重矩阵和相关联的偏置矢量；并且从所选择的权重矩阵和临近参考样本的集合的矩阵矢量乘积中获得块的帧内预测的样本，该乘积是根据所选择的权重矩阵的系数的二的幂的移位。
根据至少一个实施例的另一个一般方面，所选择的权重矩阵的系数是第一权重矩阵的对应系数的二的最接近的幂。
根据至少一个实施例的另一个一般方面，所选择的权重矩阵的系数是第一权重矩阵的对应系数的二的最接近的幂乘以矩阵归一化因子。
根据至少一个实施例的另一个一般方面，权重矩阵是从使用基于视频数据集的最小均方最小化的学习阶段导出的，其中执行在最小均方最小化期间对为二的幂的系数的完全搜索。
根据至少一个实施例的另一个一般方面，对于尺寸为宽度*高度的块，临近参考样本集包括来自尺寸为2*宽度的临近顶排和尺寸为2*高度的临近左排的所有重构的样本；并且根据所选择的权重矩阵的系数的二的幂在移位中积分/预计算临近参考样本集的下采样和求平均。
根据至少一个实施例的另一个一般方面，存储所选择的权重矩阵的系数的指数而不是系数值。
根据至少一个实施例的另一个一般方面，在图片参数集(PPS)中用信号通知代表权重矩阵的集合和相关联偏置的至少一个高级语法元素，使得帧中使用基于矩阵的帧内预测的所有块使用用信号通知的权重矩阵集。根据至少一个实施例的另一个一般方面，在序列参数集(SPS)中用信号通知代表权重矩阵的集合和相关联偏置的至少一个高级语法元素，使得序列中使用基于矩阵的帧内预测的所有块使用用信号通知的权重矩阵集。
根据至少一个实施例的另一个一般方面，给出了一种非暂态计算机可读介质，其包含根据前述描述中的任何一个的方法或装置生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种信号，其包括根据前述描述中的任何一个的方法或装置生成的视频数据。
本实施例中的一个或多个还提供了一种其上存储有用于根据上述方法中的任何一个对视频数据进行编码或解码的指令的计算机可读存储介质。本实施例还提供了一种其上存储有根据上述方法生成的位流的计算机可读存储介质。本实施例还提供了用于传输根据上述方法生成的位流的方法和装置。本实施例还提供了一种包括用于执行所描述的方法中的任何一个的指令的计算机程序产品。
附图说明
图1描述了二叉树和三叉树拆分模式的示例；
图2描绘了根据各种拆分模式(例如，二叉树和三叉树拆分模式)将编解码树块(CTB)拆分成编解码块(CB)；
图3图示了根据临近参考样本的样本参考生成过程；
图4表示如帧内预测中使用的各种预测方向；
图5A、5B、5C、5D表示针对不同块尺寸的仿射线性加权帧内预测；
图6图示了根据至少一个实施例的一般方面的包括帧内预测的示例编码或解码方法；
图7图示了其中可以实现实施例的各个方面的视频编码器的实施例的框图；
图8图示了其中可以实现实施例的各个方面的视频编码器的实施例的框图；
图9图示了其中可以实现实施例的各个方面的示例装置的框图。
具体实施方式
应当理解的是，附图和描述已被简化以说明与清楚理解本原理相关的元素，同时为了清楚的目的，消除了在典型编码和/或解码设备中发现的许多其它元件。将理解的是，虽然术语第一和第二在本文中可以被用于描述各种元件，但这些元件不应当受这些术语的限制。这些术语仅仅用于将一个元件与另一个元件区分开来。
各种实施例是关于图片的编码/解码来描述的。它们可以用于编码/解码图片的一部分，诸如条带(slice)或片(title)，或整个图片序列。
上面描述了各种方法，并且每种方法包括用于实现所述方法的一个或多个步骤或动作。除非该方法的适当操作要求步骤或动作的特定次序，否则可以修改或组合特定步骤和/或动作的次序和/或使用。
至少一个实施例高效地组合在VVC中采用的基于矩阵的帧内预测工具和矩阵尺寸的减小，以既减少那些矩阵的存储器占用又促进解码器侧的计算。
在第1节中，公开了有关基于矩阵的帧内预测的一些限制。
在第2节中，公开了用于使用线性加权帧内预测进行编码或解码的方法的若干实施例。
在第3节中，公开了实现所公开的方法的附加信息和通用实施例。
1帧内预测：原理和限制
在HEVC编解码中，图片被分割为正方形的CTU，其尺寸可配置，通常为64x64。尺寸可以是128x128，或者其它视频编码标准中的256x256。CTU是四叉树的根，四叉树被分割为4个尺寸相等的正方形编解码单元(CU)，即，宽度和高度是父块尺寸的一半。四叉树是一种树，其中父节点可以被拆分为四个子节点，每个子节点可以变成另外被拆分为四个子节点的父节点。在HEVC中，编解码块(CB)被分割为一个或多个预测块(PB)并形成被分割为变换块(TB)的四叉树的根。与编解码块、预测块和变换块对应，编解码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构化的集合，PU包括用于所有颜色分量的预测信息，并且TU包括用于每个颜色分量的残差编解码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。
在最近的编码系统中，CTU是分割为编解码单元(CU)的编解码树的根。编解码树是一种树，其中父节点(通常与块对应)可以被拆分为子节点(例如，拆分为2、3或4个子节点)，每个子节点可以变成另外被拆分为子节点的父节点。除了四叉树拆分模式之外，还定义了新的拆分模式(二叉树对称拆分模式、二叉树非对称拆分模式和三叉树拆分模式)，这增加了可能拆分模式的总数。图1描绘了此类拆分模式的示例。左侧的两种拆分模式是经典的二叉树拆分模式，其将块或者垂直拆分为两个完全相同的子块(SPLIT_BT_VER)或者水平拆分为两个完全相同的子块(SPLIT_BT_HOR)。右侧的两种拆分模式是三叉树拆分模式的示例。SPLIT_TT_VER模式将块垂直拆分为三个子块，相应的宽度为N/4、N/2和N/4。SPLIT_TT_HOR模式将块水平拆分为三个子块，相应的高度为N/4、N/2和N/4。编解码树有唯一的根节点，例如CTU。编解码树的叶子是树的终止节点。编解码树的每个节点表示块，该块还可以进一步拆分为更小的块，也称为子块或更一般地称为子块。一旦确定将CTU分割为CU，就对与编解码树的叶子对应的CU进行编码。可以在编码器侧通过速率失真优化过程确定将CTU划分为CU以及用于对每个CU(与编解码树的叶子对应)进行编码的编解码参数。图2描绘了根据各种拆分模式拆分为CU的CTU。更精确地说，它表示具有嵌套四叉树(QT)、二叉树(BT)和三叉树(TT)结构的CU的编解码树。
在本申请中，术语“块”或“图片块”可以被用于指CTU、CU、PU、TU、CB、PB和TB中的任何一种。此外，术语“块”或“图片块”可以被用于指H.264/AVC或其它视频编解码标准中指定的宏块、分割和子块，并且更一般地指各种尺寸的样本的阵列。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必需，术语“重构”用在编码器侧，而“解码”用在解码器侧。
视频压缩中的帧内预测是指使用来自因果临近块(即，同一帧中已解码的临近块)的信息对像素的块进行空间预测。这是强大的编解码工具，因为它在没有更好时间预测的任何时候允许在帧内以及在帧间的高压缩效率。因此，帧内预测已被包括在所有视频压缩标准(包括H.264/AVC、HEVC等)中作为核心编解码工具。
帧内预测利用可以属于同一对象、背景或区域等的像素之间的空间相关性。在这种上下文中，诸如H.264/AVC、H.265/HEVC等视频编解码标准中的帧内预测已经被设计为捕获对象朝向的方向性和区域或纹理的缓慢改变强度。例如，在HEVC中，帧内预测包括35种预测模式，这包括一种DC、一种PLANAR和33种角度预测模式。角度模式被设计为对对象的方向结构建模，而DC和平面模式为具有缓慢和逐渐的强度改变的区域以及为具有不同纹理的区域提供预测。在旨在设计未来标准H.266的多功能视频编解码测试模型(VTM)中，预测模式的数量已增加到67种，以适应对大块尺寸特别有用的进一步方向。在方向预测模式的情况下，来自临近左侧和上方邻居的经滤波的像素值在预定义的方向上被重复。为了沿着块边界平滑预测，已经引入了位置相关帧内预测组合(PDPC)。它旨在使用附加的参考样本平滑目标块边界处的预测。对于一些预测方向，参考样本中的一些不可用，因此使用参考样本的填充。
在HEVC中，视频序列的帧的编码基于四叉树(QT)块结构。帧被划分为正方形编解码树单元(CTU)，所有这些单元都基于速率失真准则经历基于四叉树的拆分为多个编解码单元(CU)。每个CU包含至少一个预测单元(PU)，它们是用于预测工具的基础块。在帧内预测中，PU是根据因果临近PU(即，顶部和左侧的PU)在空间上预测的。为此，HEVC使用称为预测模式的简单空间模型。基于顶部和左侧PU中的解码的像素值(称为参考像素)，编码器为目标块构造不同的预测并选择导致最佳RD性能的预测。在35种既定的模式中，一种是平面模式(索引为模式0)，一种是DC模式(索引为模式1)，并且其余33种(索引为模式2-34)是角度模式。角度模式旨在对帧中对象的方向结构进行建模。因此，顶部和左侧CU中的解码的像素值简单地沿着既定的方向被重复以填充预测块。由于这个过程可以导致对于某些模式沿着顶部和左侧参考边界的不连续性，因此那些预测模式包括后续后置滤波以平滑沿着那些边界的像素值。
只要强度值改变不太大，上述预测模型就可以很好地工作。但是，在自然影像中，关于对象的强度值常常由于几种原因而发生改变。或者作为对象本身的颜色特性，或者由于光照、深度、运动等，PU上的强度值可以发生改变，而这些改变无法使用像素重复进行充分建模。当PU尺寸大时尤其如此。在VTM中，已经提出使用最大为128的CTU尺寸。因此，考虑其它预测模型(诸如插值)更有意义，这将更高效地对强度改变进行建模。
HEVC中的帧内预测
HEVC中的帧内预测过程包括三个步骤：(1)参考样本生成、(2)帧内样本预测和(3)预测的样本的后处理。参考样本生成过程在图3中示出。对于尺寸为NxN的PU，顶部的一行2N个解码的样本由先前重构的顶部和右上角像素到当前PU形成。类似地，左侧的一列2N个样本由重构的左侧和左侧下方的像素形成。左上角位置的角落像素也被用于填充顶行和左列参考之间的间隙。如果顶部或左侧的样本中的一些不可用，例如，由于对应的CU不在同一条带中，或者当前CU位于帧边界，那么执行称为参考样本替换的方法，其中缺失样本以顺时针方向从可用样本复制。然后，取决于当前CU尺寸和预测模式，使用指定的滤波器滤波参考样本。
下一步(即，帧内样本预测)包括基于参考样本预测目标CU的像素。如前面所提到的，为了高效地预测不同种类的内容，HEVC支持一系列预测模型。平面和DC预测模式被用于预测平滑和逐渐改变的区域，而角度预测模式被用于捕获不同的方向结构。HEVC支持33种方向预测模式，索引从2至34。这些预测模式与不同的预测方向对应，如图4中所示。
如图4中所示，既定的角度方向导致样本准确度为1/32。即，在任何两个相邻参考样本之间，存在32个可能的方向。既定的方向可以被区分为或者垂直或者水平。水平方向上的预测仅使用或者左侧参考样本或者一些左侧参考样本和一些顶部参考样本。类似地，垂直方向上的预测仅使用顶部参考样本或者一些顶部和一些左侧参考样本。仅使用左侧参考样本或仅使用顶部参考样本的方向被定义为正方向。因此，我们具有仅使用左侧参考样本的从H0到H+32的水平正方向。类似地，我们具有仅使用顶部参考样本的从V0到V+32的垂直正方向。其它水平和垂直方向(H-2到H-26和V-2到V-32)被定义为负方向，并且它们使用左侧和顶部的参考样本。下表示出了如由HEVC指定的预测模式与角度参数A的关系：
表1模式索引到角度参数A的映射
Figure BDA0003482171170000081
Figure BDA0003482171170000082
在HEVC参考软件中，首先使用顶部和左侧参考样本构造参考阵列。对于垂直预测，参考阵列是水平的，而对于水平预测，参考阵列是垂直的。对于具有正角度参数A的模式(模式2至10和26至34)，参考阵列只是顶部参考样本topRef[]或左侧参考样本leftRef[]，具体取决于方向：
topRef[x]＝P[x-1][-1]，0≤x≤2N,对于垂直预测
leftRef[y]＝P[-1][y-1]，0≤y≤2N,对于水平预测
其中N是CU尺寸并且P[x][y]是临近CU的重构的样本，如图3中所描绘的。通常在目标CU的左上角像素处将样本坐标初始化为(0,0)。因此，顶部参考样本的y坐标将为-1并且左侧参考样本的x坐标将为-1。
对于具有负角度参数A的模式(模式11至25)，参考阵列需要来自顶部和左侧参考的像素。在这种情况下，参考阵列将扩展到0以外的负索引。根据垂直或水平预测，如上获得具有正索引的参考阵列上的样本值。具有负索引的参考阵列上的那些是通过沿着预测方向在参考阵列上投影左侧(用于垂直预测)或顶部参考像素(用于水平预测)而获得的。
一旦参考阵列构造完成，首先通过将像素位置(x,y)沿着选择的方向投影到参考阵列以获得参考阵列位置索引i(整数索引)和f(小数索引)来获得目标CU内部的任何像素位置(x,y)处的预测样本值Pred[x][y]。然后通过在两个相邻参考样本之间进行插值以(1/32)的样本分辨率计算预测样本值Pred[x][y]，如下所示：
Pred[x][y]＝((32-f)*topRef[x+i+1]+f*topRef[x+i+2]+16)＞＞5)，0≤x,y<N，对于垂直预测
Pred[x][y]＝((32-f)*leftRef[y+i+1]+f*leftRef[y+i+2]+16)＞＞5)，0≤x,y<N,对于水平预测，
其中i和f表示从像素位置(x,y)投影的位移的整数部分和小数部分。
如果Δ表示投影的位移，那么
Δ＝(x+1)*A，对于水平预测，以及
Δ＝(y+1)*A，对于垂直预测。
i＝＞＞5，其中>>是算术右移。
f＝Δ&31，其中&是按位的“与”运算符。
在其中f＝0的情况下，即，没有小数部分，那么预测等于预测方向上的参考阵列样本。
如我们从上述表达式中观察到的，垂直预测与y坐标无关，而水平预测与x坐标无关。这意味着，对于垂直预测，预测值沿着来自顶部参考阵列的预测方向重复。类似地，对于水平预测，预测值沿着来自左侧参考阵列的预测方向重复。因此，如果两个或更多个像素的坐标在参考阵列上具有相同的投影点，那么它们具有完全相同的预测值。
VTM扩展(多功能视频编码测试模型)
另一种涉及用于帧内预测的学习到的矩阵的预测方法，在“CE3:Affine linearweighted intra prediction(仿射线性加权帧内预测)(CE3-4.1,CE3-4.2)”(JVET-N0217，第14次会议：日内瓦，瑞士，2019年3月19-27日)中描述，最近被H.266/VVC的参考模型采用。离线学习几个权重矩阵，然后将其应用于编码器和解码器，以将因果重构样本映射到要预测的当前块上。根据块的尺寸和形状及其在给定编码的块的速率/失真准则的情况下预测块的性能，在编码器侧选择矩阵之一。
与几乎所有传统的帧内预测工具一样，为了预测宽度W和高度H的矩形块，仿射线性加权帧内预测(ALWIP)将块的左侧的一行H个重构的临近边界样本和块上方的一行W个重构的临近边界样本作为输入。类似于HEVC的常规帧内预测过程，仿射线性加权帧内预测具有三个主要步骤：(1)参考样本减少、(2)帧内样本预测和(3)遗漏的预测的样本的插值。
首先，对临近参考样本进行分组和求平均，在W＝H＝4的情况下产生4个值的矢量，对于更大的块则产生8个值的矢量。然后，该方法作为神经网络的全连接层操作，其中输入是上述矢量并且输出由表示样本集合的矢量组成，这些矢量表示要预测的块中的子采样的样本集。最后，通过线性插值在子采样的集合上对获得的样本进行插值来生成完整的预测。
矩阵的三个集合S0、S1、S2和矢量可供编码器选择。对于尺寸为4×4的块，集合S0包含18个矩阵以及尺寸分别为16×4和16的偏置矢量。对于尺寸为4×8的块，S1由尺寸为16×8的10个矩阵和尺寸为16的偏置组成。最后，对于所有其它块形状，集合S2由尺寸为64×8的6个矩阵和尺寸为64的6个偏置矢量组成。
取决于模式(mode)和块形状，作者称之为用于“减少的边界”的bdryred的输入矢量重新布置如下：
Figure BDA0003482171170000111
其中顶部和左侧的平均的边界样本分别表示为
Figure BDA0003482171170000112
和
Figure BDA0003482171170000113
如图5A中所描绘的。
例如，使用以下公式缩减顶部边界的样本：
Figure BDA0003482171170000114
其中
Figure BDA0003482171170000115
是来自顶部边界的缩减的样本，bdrytop是原始顶部边界样本并且2^l是缩减因子(例如，l＝1将给出缩减的边界样本，这些样本是原始样本的对平均)。
然后，包含顶部和左侧(缩减的)参考样本的结果矢量bdryred然后使用仿射变换进行变换，其中用于预测的块的样本的集合predred被生成为
predred＝A·bdryred+b.
权重矩阵A和偏移矢量b在集合S0、S1、S2中选择，取决于模式(mode)和块形状，如
Figure BDA0003482171170000116
其中
Figure BDA0003482171170000117
和
Figure BDA0003482171170000118
图5B和图5C中分别示出了在8×8和8×4块的情况下对predred执行的插值过程。
对于较大的块，参考样本被分组和求平均，以便输入矢量的长度为是8个样本，如图5D中对于16x16块所示。
因此，这种方法要求存储与以下对应的集合S0、S1、S2
-尺寸为16×4的18个矩阵和尺寸为16的18个偏移量
-尺寸为16×8的10个矩阵和尺寸为16的10个偏移量
-尺寸为64×8的6个矩阵和尺寸为64的6个偏移量，表示要被编解码的6336个系数，当存储为10位值时，其与7.92KB的数据对应。
因此是期望的。
2用于确定基于矩阵的帧内预测的至少一个实施例
至少一个实施例的一般方面旨在减少仿射线性加权帧内预测(ALWIP)(也称为基于矩阵的帧内预测(MIP))所需的数据量和操作的复杂度。有利地，代替如先前在帧内预测(predred＝A·bdryred+b)的VTM扩展部分中公开的应用直接矩阵乘法，至少一个实施例提出了一种用于矩阵的结构，该结构涉及是二的幂的系数的至少一部分并且涉及较少的乘法来推导帧内预测的样本集。
图6图示了根据至少一个实施例的一般方面的包括获得帧内预测的样本的编码或解码方法的示例。
本领域技术人员将认识到的，一旦知道帧内预测模式，线性加权的帧内预测就以相同的方式应用于编码或解码。因此，针对编码或解码方法公开了本原理。假设在步骤11处，在使用线性加权的预测的帧内预测中对块进行编码或解码。块，通常是CU，属于图片的空间分割，通常是前面各节中的CTU。编码或解码方法10包括，对于在帧内预测模式中编码/解码的块，从权重矩阵的集合和相关联的偏置矢量中选择的权重矩阵和相关联的偏置、以及从临近参考样本的集合中，获得帧内预测的样本。有利地，在至少一个实施例中，所选择的权重矩阵的任何系数都是二的幂。在变体实施例中，一个系数不是二的幂，而权重矩阵的其它系数是二的幂或零。在另一个变体中，至少一个系数不是二的幂，而权重矩阵的其它系数是二的幂或零，其中不是二的幂的系数的数量小，例如小于5。根据另一个示例，不是二的幂的系数的数量与矩阵中的系数的数量有关，例如10％。根据另一个特定特点，等于零的系数(称为空或零系数)也由具有特殊指数或特殊代码的二的幂表示。例如，两个指数零表示零系数。现在详述获得块的帧内预测的样本的子步骤。在步骤12中，确定n个临近参考样本的集合，n是表示参考样本的数量的整数。有利地，在第一变体中，通过根据块形状(即，根据其宽度和高度)求平均并且n等于4或8，如先前针对“缩减的边界”暴露的那样获得参考样本。但是，根据第二变体，尺寸宽度*高度的块，临近参考样本x的集合包括来自尺寸宽度的临近顶排和尺寸高度的临近左排的所有重构的样本。换句话说，没有通过输入样本的求平均的下采样应用于临近样本，因此与当前VVC线性帧内预测相比，参考样本的数量增加。在那种情况下，临近参考样本集的下采样和求平均在矩阵权重中被集成或预先计算。这是负担得起的，因为根据本原理的矩阵的结构涉及根据系数的二的幂的移位运算而不是乘法来获得预测的样本。因此，大量参考样本的复杂度与矩阵的乘积的改进相平衡。因此，根据第三变体，参考样本甚至被扩展到作为角度帧内预测的块长度或宽度的两倍。对于宽度*高度尺寸的块，临近参考样本集包括来自尺寸为2*宽度的临近顶排和尺寸为2*高度的临近左排的所有重构的样本。在步骤13中，基于如前所述的基于矩阵的帧内预测的模式和块形状，在权重矩阵的集合中选择权重矩阵。此外，相关联的偏置矢量也从存储器中检索。下面针对8x4块形状的情况的示例性矩阵描述矩阵的结构。本原理涉及在权重矩阵的集合和相关联的偏置矢量中使用权重矩阵A和相关联的偏置矢量b，其中所有非零系数都被约束为二的幂。因此，矩阵乘积是根据所选择的权重矩阵的系数的二的幂的移位来实现的。如下所示，权重矩阵例如从之前针对仿射线性加权预测讨论的集合S0、S1、S2当中的第一权重矩阵A的估计中获得。根据第一变体，通过计算第一权重矩阵的对应(并置的(co-located))系数的最接近的二的幂来获得所选择的权重矩阵的系数。根据第二变体，通过计算第一权重矩阵的对应系数的最接近的二的幂乘以矩阵归一化因子以保持矩阵的系数之和等于一来获得所选择的权重矩阵的系数。因而，偏置因子也根据归一化因子进行调整。但是，至少一个实施例不限于从无约束权重矩阵的这种推导。根据替代变体，具有二的幂的系数的权重矩阵是从使用基于视频数据集的最小均方最小化的学习阶段导出的，其中在最小均方最小化期间执行对为二的幂的系数的完全搜索。因此，在矩阵搜索中引入了附加约束，即，系数等于二的幂。然后，在步骤14中，矩阵的乘积Ax被处理，其中x是参考样本集。系数与参考样本的乘法在硬件和软件的组合中作为移位操作进行处理。根据不同的变体，进一步处理归一化操作或与有限数量的两个系数的非幂的乘法。乘法的处理作为本领域技术人员已知的硬件和软件的组合结合在处理器(GPU或CPU)中。因而，大规模并行实施方式与本原理兼容。根据特定特点，存储系数的指数而不是系数值，从而减少存储器占用。由于新矩阵仅包含二的幂，因此权重矩阵仅由指数的矩阵代替。在这种情况下，存储器占用减少。例如，如果原始系数存储在9位(+1位符号)上，那么新矩阵将只需要4位(+1符号)来存储范围从0到9的指数。
然后，在步骤15中，将偏置矢量相加并得到
Figure BDA0003482171170000141
其中
Figure BDA0003482171170000142
是缩减的帧内预测的样本集。在最后的可选步骤17中，在帧内预测的样本的数量低于块中的样本数量的情况下，线性插值允许为被编码或解码的块的每个样本获得线性加权的帧内预测的样本。
根据至少一个实施例，可以重新平衡性能与复杂度之间的折衷。由于每个参数可以存储更少的数据(指数而不是实值)和矩阵乘积的复杂度更低，系数的位深度增加，从而在保持低复杂度的同时提高性能。参考上述情况，系数指数的精度增加以表示0到15之间的指数，无需附加成本。指数范围的折衷来自因子计算所需的最大位深度。例如，假设原始参考样本用10位表示，4位表示0到15之间的指数，那么计算pred(i)的最大中间位深度为：10+3+15+1＝29位
10：bdryred的位数
3：将添加8个样本
15：从a(i,j)的最大位移
1：处置添加的b[i]因子的附加位
根据又一个变体，矩阵的两个乘积的位深度相对于帧内预测的样本的位深度增加，然后应用裁剪(在添加偏置之前或之后)。有利地，这种处理导致更高的精度。
根据另一个实施例，由于矩阵数据被减少，因此有可能在编码或解码时适配权重矩阵。因而，针对编码器的指示被传输到解码器，使得解码器应用在编码器处使用的权重矩阵过程。根据至少一个实施例，矩阵可以在位流中部分或全部被传输。在非限制性示例中，在图片参数集(PPS)中用信号通知代表权重矩阵的集合和相关联偏置的至少一个高级语法元素，即，使用线性加权的预测的帧中的所有块都使用用信号通知的权重矩阵的集合。在另一个非限制性示例中，在序列参数集(SPS)中用信号通知代表所述权重矩阵的集合和相关联偏置的至少一个高级语法元素，即，使用线性加权的预测的序列中的所有块都使用用信号通知的权重矩阵的集合。
根据第一实施例，有可能通过用二的幂近似所公开的矩阵集合S0、S1、S2的原始结构的权重来优化帧内预测的性能。8x4块形状的非限制性示例在下文公开。但是，本领域技术人员将通过适配矩阵尺寸轻松扩展任何块尺寸/形状。在8x4块形状的情况下，权重矩阵A尺寸为16x8，如图5C中所示。
基于矩阵的变换由下式给出：
predred＝(A·bdryred+b)/D
其中D是归一化因子。
通过展开等式：
Figure BDA0003482171170000151
其中predred(i)是第i个预测的样本。
上面的等式被使用矩阵A'的基于矩阵的变换代替，其中所有系数都是2的幂，A′(i,j)＝2a(i,j)
Figure BDA0003482171170000152
该等式可以有利地用位移代替乘法来代替：
Figure BDA0003482171170000153
其中N＝log2(D)来自归一化因子。注意的是，需适配b偏移量以便保持原始范数约束。
根据第一实施例的变体，有可能通过将参考样本的下采样结合到所公开的矩阵集合S0、S1、S2的原始结构的权重中来优化帧内预测的性能。由于参考样本矢量bdryred实际上是一维大于4的情况下原始参考样本的平均值(参见等式1)，因此该过程可以进一步简化。在这个示例中，顶部样本按对平均，并且左侧样本保持原样：
bdryred[i]＝(bdrytop[i·2+0]+bdrytop[i·2+1]+1)＞＞1，对于i∈[0，4[bdryred[i+4]＝(bdryleft[i])，对于i∈[0，4[
预测现在简化为：
bdryred[i]＝(bdrytop[i·2+0]+bdrytop[i·2+1]+1)，对于i∈[0,4[bdryred[i+4]＝(bdryleft[i])，对于i∈[0，4[
Figure BDA0003482171170000161
其中顶部参考采样求平均的位移已被移除并集成在预测等式中。有利地，项a(i,j)-1是预先已知的并且可以直接在矩阵元素a′(i,j)＝a(i,j)-1中预先计算。
有利地，bdryred[i]的表达式中的项+1可以被移除并预先计算：
Figure BDA0003482171170000162
并且该项可以被积分在偏移量b′[i]＝b[i]+G中。
最后的过程变成：
Figure BDA0003482171170000163
其中1是针对特定边界(顶部或左侧)的缩减因子。
Figure BDA0003482171170000171
其中系数a’(i,j)直接考虑了如上面解释的所需的移位，并且b′[i]直接考虑了参考样本求平均的移位的舍入偏移量。
当参考样本的阵列的尺寸不是8(例如，4x4块的情况下是4)时，上述过程也可以推广。
根据第二实施例，一个或多个系数被表述为非二的幂而其它系数是二的幂。在8x4块形状的情况下，矩阵A'的系数变为：
A′(i，j)＝2a(i，j)+α(i，j)
几乎所有α(i,j)都等于零。
该等式可以有利地由位移位代替用于系数的乘法，其中α(i,j)＝0：
Figure BDA0003482171170000172
这个变体与集成的下采样变体兼容。
3附加实施例和信息
本申请描述了包括工具、特征、实施例、模型、方法等在内的多个方面。这些方面中的许多是专门描述的，并且至少为了示出各个特点，常常以听起来可能受到限制的方式进行描述。但是，这是为了描述的清晰，并且不限制那些方面的应用或范围。实际上，所有不同方面都可以组合和互换以提供另外的方面。而且，这些方面也可以与先前申请中所述的方面进行组合和互换。
本申请中描述和考虑的方面可以以许多不同的形式实现。以下图7、8和9提供了一些实施例，但是可以构想其它实施例，并且图7、8和9的讨论不限制实施方式的广度。这些方面中的至少一个方面一般而言涉及视频编码和解码，并且至少一个其它方面一般而言涉及传输所生成或编码的位流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所描述的任何方法生成的位流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作要求步骤或动作的特定次序，否则可以修改或组合特定步骤和/或动作的次序和/或使用。
本申请中描述的各种方法和其它方面可以被用于修改模块，例如，如图7和图8中所示的视频编码器100和解码器200的帧内预测模块(160、260)。而且，给出的方面不限于VVC或HEVC，并且可以应用于例如其它标准和建议，无论是预先存在的还是将来开发的，以及任何此类标准和建议的扩展(包括VVC和HEVC)。除非另有指示或技术上禁止，否则本申请中描述的各个方面可以单独使用或组合使用。
例如，本申请中使用了各种数值。特定值是出于示例目的，并且所描述的方面不限于这些特定值。
图7图示了编码器100。考虑这个编码器100的变化，但是为了清晰起见在下面描述编码器100，而没有描述所有预期的变化。
在被编码之前，视频序列可以通过预编码处理(101)，例如，对输入的彩色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或对输入图片分量执行重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联并附加到位流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位对要编码的图片进行分割(102)并进行处理。使用例如或者帧内或者帧间模式对每个单元进行编码。当单元以帧内模式进行编码时，它执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一种对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测的块来计算预测残差。
然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其它语法元素进行熵编解码(145)以输出位流。编码器可以跳过变换并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，残差被直接编解码而无需应用变换或量化过程。
编码器对编码的块进行解码，以便为进一步预测提供参考。对量化的变换系数进行反量化(140)并进行逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测的块，重构图像块。环路滤波器(165)被应用于重构的图片以执行例如去块/SAO(样本自适应偏移量)滤波以减少编码伪像。滤波后的图像被存储在参考图片缓冲器(180)中。
图8图示了视频解码器200的框图。在解码器200中，如下所述，由解码器元件对位流进行解码。视频解码器200一般执行与编码遍历相反的解码遍历，如图7中所述。编码器100一般还执行视频解码，作为对视频数据进行编码的一部分。
特别地，解码器的输入包括视频位流，其可以由视频编码器100生成。首先对位流进行熵解码(230)，以获得变换系数、运动矢量和其它编解码的信息。图片分割信息指示图片如何被分割。因此，解码器可以根据解码的图片分割信息来划分(235)图片。对变换系数进行反量化(240)和逆变换(250)以对预测残差进行解码。组合(255)解码的预测残差和预测的块，重构图像块。可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测的块。环路滤波器(265)被应用于重构的图像。滤波后的图像被存储在参考图片缓冲器(280)中。
解码的图片还可以经历解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在编码前处理(101)中执行的重映射过程的逆。解码后处理可以使用在编码前处理中导出并在位流中用信号通知的元数据。
图9图示了在其中实现各个方面和实施例的系统的示例的框图。系统1000可以被实施为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的方面中的一个或多个。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器，以及服务器。系统1000的元件可以单独或组合地在单个集成电路(IC)、多个IC和/或分立组件中实施。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口可通信地耦合到一个或多个其它系统或其它电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的方面中的一个或多个。
系统1000包括至少一个处理器1010，该至少一个处理器1010被配置为执行其中加载的指令，以用于实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器仅存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附加存储设备(包括可分离和不可分离存储设备)和/或网络可访问存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块之一或两者。此外，编码器/解码器模块1030可以被实现为系统1000的分开的元件，或者可以作为本领域技术人员已知的硬件和软件的组合结合到处理器1010内。
可以被加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以被存储在存储设备1040中，并且随后被加载到存储器1020上以由处理器1010执行。根据各种实施例，在执行本文档中描述的过程期间，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以存储各种项中的一项或多项。此类存储的项可以包括但不限于输入视频、解码的视频或解码的视频的一部分、位流、矩阵、变量，以及对等式、公式、运算和运算的中间或最终结果逻辑。
在一些实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器被用于存储指令并为编码或解码期间所需的处理提供工作存储器。但是，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是或者处理器1010或者编码器/解码器模块1030)被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储例如电视的操作系统。在至少一个实施例中，快速外部动态易失性存储器(诸如RAM)被用作用于视频编解码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图像专家组，MPEG-2也指如ISO/IEC13818，并且13818-1也称为H.222，并且13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H第2部分)或VVC(通用视频编码，由联合视频专家组JVET开发的新标准)。
如方框1130中所指示的，可以通过各种输入设备来提供到系统1000的元件的输入。此类输入设备包括但不限于(i)接收例如由广播公司通过空中传输的射频(RF)信号的RF部分，(ii)组件(COMP)输入端子(或COMP输入端子的集合)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清多媒体接口(HDMI)输入端子。图9中未示出的其它示例包括复合视频。
在各种实施例中，方框1130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与适用于以下的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号限制到频带内)，(ii)下变频所选择的信号，(iii)将频带再次限制到较窄的频带，以选择(例如)在某些实施例中可以被称为信道的信号频带，(iv)解调下变频和频带受限的信号，(v)执行纠错，以及(vi)多路分解以选择期望的数据分组流。各种实施例的RF部分包括一个或多个执行这些功能的元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能(包括例如将接收到的信号下变频为更低频率(例如，中频或近基带频率)或基带)的调谐器。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收在有线(例如，电缆)介质上传输的RF信号，并通滤波波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新布置上述(和其它)元件的次序、移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，诸如例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统1000连接到其它电子设备。应该理解的是，在必要时输入处理的各个方面(例如，Reed-Solomon纠错)可以例如在分开的输入处理IC内或在处理器1010内实现。类似地，在必要时可以在分开的接口IC内或处理器1010内实现USB或HDMI接口处理的各个方面。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010，以及与存储器和存储元件结合操作的编码器/解码器1030，以在必要时处理数据流以在输出设备上呈现。
可以在集成壳体内提供系统1000的各种元件。在集成壳体内，可以使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连各种元件并在它们之间传输数据。
系统1000包括通信接口1050，其使得能够经由通信信道1060与其它设备通信。通信接口1050可以包括但不限于被配置为在通信信道1060上传输和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如Wi-Fi网络之类的无线网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会)，将数据流传输或以其它方式提供给系统1000。这些实施例的Wi-Fi信号通过适于Wi-Fi通信的通信信道1060和通信接口1050被接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流传输应用和其它空中通信。其它实施例使用机顶盒向系统1000提供流传输的数据，该机顶盒通过输入块1130的HDMI连接来递送数据。还有其它实施例使用输入块1130的RF连接将流传输的数据提供给系统1000。如上面所指示的，各种实施例以非流传输方式提供数据。此外，各种实施例使用Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
系统1000可以向各种输出设备，包括显示器1100、扬声器1110和其它外围设备1120，提供输出信号。各种实施例的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一种或多种。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其它设备。显示器1100还可以与其它组件集成(例如，如在智能电话中)，或分开(例如，用于膝上型计算机的外部监视器)。在实施例的各种示例中，其它外围设备1120包括独立数字视频盘(或数字多功能盘)(DVR，对于这两个术语)、盘播放器、立体声系统和/或照明系统中的一种或多种。各种实施例使用一个或多个外围设备1120，其提供基于系统1000的输出的功能。例如，盘播放器执行播放系统1000的输出的功能。
在各种实施例中，控制信号使用诸如AV.Link、消费电子控制(CEC)或启用设备到设备控制的其它通信协议的信令在系统1000和显示器1100、扬声器1110或其它外围设备1120之间通信，有或没有用户干预。输出设备可以通过各自的接口1070、1080和1090经由专用的连接通信耦合到系统1000。可替代地，可以经由通信接口1050使用通信信道1060将输出设备连接到系统1000。显示器1100和扬声器1110可以与电子设备(诸如例如电视)中的系统1000的其它组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，诸如例如定时控制器(T Con)芯片。
例如，如果输入端1130的RF部分是分开的机顶盒的一部分，那么显示器1100和扬声器1110可以可替代地与其它组件中的一个或多个分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由专用的输出连接(包括例如HDMI端口、USB端口或COMP输出端)来提供输出信号。
实施例可以通过由处理器1010实现的计算机软件或者通过硬件或者通过硬件和软件的组合来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术(作为非限制性示例，诸如光学存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以包括微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一种或多种。
各种实施方式涉及解码。如本申请中所使用的，“解码”可以涵盖例如对接收到的编码的序列执行以便产生适合于显示的最终输出的过程的全部或部分。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如，熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类过程还，或者可替代地，包括由本申请中描述的各种实施方式的解码器执行的过程，例如，使用权重矩阵的基于矩阵的帧内预测，其中权重矩阵的任何系数都是二的幂。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一个实施例中，“解码”仅指差分解码，而在另一个实施例中，“解码”是指熵解码和差分解码的组合。基于具体描述的上下文，短语“解码过程”旨在专门指代操作的子集还是一般地指代更广泛的解码过程将是清楚的，并且相信本领域技术人员会很好地理解。
各种实施方式涉及编码。以与上面关于“解码”的讨论类似的方式，在本申请中使用的“编码”可以涵盖例如对输入视频序列执行以产生编码的位流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的过程中的一个或多个，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，此类过程还，或者可替代地，包括由本申请中描述的各种实施方式的编码器执行的过程，例如，使用权重矩阵的基于矩阵的帧内预测，其中权重矩阵的任何系数都是二的幂。
作为另外的示例，在一个实施例中，“编码”仅仅是指熵编码，在另一个实施例中，“编码”仅仅是指差分编码，在另一个实施例中，“编码”是指差分编码和熵编码的组合。基于特定描述的上下文，短语“编码过程”是旨在专门指操作的子集还是广义地指更广泛的编码过程将是显而易见的，并且相信本领域技术人员会很好地理解。
注意的是，本文所使用的语法元素是描述性术语。照此，它们不排除使用其它语法元素名称。
当将附图作为流程图呈现时，应当理解的是，它还提供了对应装置的框图。类似地，当将图呈现为框图时，应当理解的是，它还提供了对应方法/过程的流程图。
本文描述的实施方式和方面可以例如以方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实施方式中进行讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其它形式(例如，装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以在例如处理器中实现，处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、移动电话、便携式/个人数字助理(“PDA”)和有助于最终用户之间信息通信的其它设备。
对“一个实施例”或“实施例”或“一个实施方式”或“实施方式”以及它们的其它变化的引用是指结合该实施例描述的特定特征、结构、特点等包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其它变化在本申请中各处的出现不一定全部指相同的实施例。
此外，本申请可以提到“确定”各种信息。确定信息可以包括例如以下一项或多项：估计信息、计算信息、预测信息或从存储器中检索信息。
另外，本申请可以提到“访问”各种信息。访问信息可以包括例如以下一项或多项：接收信息、(例如，从存储器中)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
此外，本申请可以提到“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可以包括以下一个或多个：例如，访问信息或检索信息(例如，从存储器)。另外，以一种或另一种方式，在诸如例如以下操作期间：存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息，通常涉及“接收”。
应该认识到的是，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下使用以下“/”、“和/或”和“…中的至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者选择两个选项(A和B)。作为另外的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的那样，这可以针对所列的多个项目扩展。
而且，如本文所使用的，词“信号”尤其是指向对应的解码器指示某些东西。例如，在某些实施例中，编码器用信号通知用于基于矩阵的帧内预测的多个参数中的特定一个。以这种方式，在实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器传输(明确用信号通知)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，那么可以使用信令而无需传输(隐式用信号)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了位节省。应该认识到的是，可以以多种方式来完成信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前面涉及词“信号”的动词形式，但词“信号”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实施方式可以产生各种信号，这些信号被格式化为携带例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的位流。可以将这种信号格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
我们描述了多个实施例。这些实施例的特征可以单独或以任何组合提供，跨越各种权利要求类别和类型。另外，跨越各种权利要求类别和类型，实施例可以单独地或以任何组合包括以下特征、装置或方面中的一个或多个：
·修改视频的图片的块的编码/解码，该块在帧内预测模式下使用基于矩阵的预测进行编解码/解码，其中权重矩阵的任何系数都是二的幂；
·修改视频的图片的块的编码/解码，该块在帧内预测模式下使用基于矩阵的预测进行编解码/解码，其中一个系数不是二的幂，而权重矩阵的其它系数是二的幂
·从所选择的权重矩阵和相关联偏置以及临近参考样本的矩阵的集合的乘积中获得块的帧内预测的样本，该乘积是根据所选择的权重矩阵的系数的二的幂的移位；
·权重矩阵A'是从第一权重矩阵A的估计中获得的，其中权重矩阵A'的系数是第一权重矩阵A的对应系数的最接近的二的幂；
·权重矩阵A'是从第一权重矩阵A的估计中获得的，其中权重矩阵A'的系数是第一权重矩阵的对应系数的最接近的二的幂乘以矩阵归一化因子；
·权重矩阵得自使用基于视频数据集的最小均方最小化的学习阶段，其中在最小均方最小化期间执行对为二的幂的系数的完整搜索；
·对于尺寸宽度*高度的块，临近参考样本集x包括尺寸宽度的临近顶排和尺寸高度的临近左排的所有重构的样本，从而避免参考样本的下采样；
·对于尺寸宽度*高度的块，临近参考样本集x包括来自尺寸为2*宽度的临近顶排和尺寸为2*高度的临近左排的所有重构的样本，如经典帧内预测那样；
·在移位中根据权重矩阵的系数的二的幂计算临近参考样本集的下采样和求平均；
·存储用于基于矩阵的帧内预测的所公开的权重矩阵；
·存储权重矩阵系数的指数，而不是存储系数值；
·从存储的结构化的矩阵中导出要编码或解码的块的帧内预测的样本；
·相对于帧内预测的样本的位深度，增加矩阵的两个乘积的位深度；
·相对于帧内预测的样本的位深度，增加矩阵的位深度；
·启用或禁用在解码器和/或编码器中基于矩阵的帧内预测方法中使用的结构化的权重矩阵的处理；
·在信令语法元素中插入使解码器能够识别在解码器和/或编码器中基于矩阵的帧内预测方法中使用的可能权重矩阵；
·在图片参数集(PPS)中，在信令中插入至少一个代表权重矩阵集和相关联偏置的高级语法元素，以便使用线性加权预测的帧中的所有块都使用用信号通知的权重矩阵集；
·在序列参数集(SPS)中，在信令中插入至少一个代表权重矩阵集和相关联偏置的高级语法元素，以便使用线性加权预测的序列中的所有块都使用用信号通知的权重矩阵集；
·包括所描述的语法元素中的一个或多个或其变体的位流或信号。
·包括根据所描述的任何实施例生成的传达信息的语法的位流或信号。
·在信令语法元素中插入使解码器能够以与编码器使用的方式对应的方式应用基于矩阵的帧内预测的元素。
·创建和/或发送和/或接收和/或解码包括所描述的语法元素中的一个或多个或其变体的位流或信号。
·根据所描述的任何实施例创建和/或发送和/或接收和/或解码。
·根据所描述的任何实施例的方法、过程、装置、存储指令的介质、存储数据或信号的介质。
·根据所描述的任何实施例执行基于矩阵的帧内预测的TV、机顶盒、电话、平板电脑或其它电子设备。
·执行根据所描述的任何实施例的基于矩阵的帧内预测并且显示(例如，使用监视器、屏幕或其它类型的显示器)结果图像的TV、机顶盒、蜂窝电话、平板电脑或其它电子设备。
·选择(例如，使用调谐器)信道以接收包括编码的图像的信号并执行根据所描述的任何实施例的基于矩阵的帧内预测的TV、机顶盒、蜂窝电话、平板电脑或其它电子设备。
·通过空中接收(例如，使用天线)包括编码的图像的信号并执行根据所述任何实施例的基于矩阵的帧内预测的TV、机顶盒、蜂窝电话、平板电脑或其它电子设备。

Claims (14)

1.一种用于视频编码的方法，包括：
使用基于矩阵的帧内预测以帧内预测模式对所述视频的图片的块进行编码；
其中所述编码包括：从权重矩阵的集合和相关联的偏置矢量当中所选择的权重矩阵和相关联的偏置、并且从临近的参考样本的集合当中，获得所述块的帧内预测的样本；以及
其中所选择的权重矩阵的任何系数都是二的幂。
2.一种用于视频解码的方法，包括：
对所述视频的图片的块进行解码，所述块是使用基于矩阵的帧内预测以帧内预测模式编解码的；
其中所述解码包括：从权重矩阵的集合和相关联的偏置矢量当中所选择的权重矩阵和相关联的偏置、并且从临近的参考样本的集合当中，获得所述块的帧内预测的样本；以及
其中所选择的权重矩阵的任何系数都是二的幂。
3.一种用于视频编码的装置，包括一个或多个处理器和至少一个存储器，其中所述一个或多个处理器被配置用于：
使用基于矩阵的帧内预测以帧内预测模式对所述视频的图片的块进行编码；
其中所述编码包括：从权重矩阵的集合和相关联的偏置矢量当中所选择的权重矩阵和相关联的偏置、并且从临近的参考样本的集合当中，获得所述块的帧内预测的样本；以及
其中所选择的权重矩阵的任何系数都是二的幂。
4.一种用于视频解码的装置，包括一个或多个处理器和至少一个存储器，其中所述一个或多个处理器被配置用于：
对所述视频的图片的块进行解码，所述块是使用基于矩阵的帧内预测以帧内预测模式编解码的；
其中所述解码包括：从权重矩阵的集合和相关联的偏置矢量当中所选择的权重矩阵和相关联的偏置、并且从临近的参考样本的集合当中，获得所述块的帧内预测的样本；以及
其中所选择的权重矩阵的任何系数都是二的幂。
5.如权利要求1或2所述的方法或者如权利要求3或4所述的装置，其中使用基于矩阵的帧内预测对块进行所述编码或解码包括：
-确定临近参考样本的集合；
-根据基于矩阵的帧内预测的模式和块形状选择权重矩阵的集合和相关联的偏置矢量当中的权重矩阵和相关联的偏置矢量；以及
-从所选择的权重矩阵和相关联的偏置与所述临近参考样本的集合的矩阵乘积中获得所述块的帧内预测的样本，所述乘积是根据所选择的权重矩阵的所述系数的二的幂的移位。
6.如权利要求1、2、5中的任何一项所述的方法或者如权利要求3至5中的任何一项所述的装置，其中所选择的权重矩阵的系数是第一权重矩阵的对应系数的二的最接近的幂。
7.如权利要求1、2、5中的任何一项所述的方法或者如权利要求3至5中的任何一项所述的装置，其中所选择的权重矩阵的系数是第一权重矩阵的对应系数的二的最接近的幂乘以矩阵归一化因子。
8.如权利要求1、2、5中的任何一项所述的方法或者如权利要求3至5中的任何一项所述的装置，其中所述权重矩阵是从使用基于视频数据集的最小均方最小化的学习阶段导出的，其中执行在所述最小均方最小化期间对为二的幂的系数的完全搜索。
9.如权利要求1、2、5至8中的任何一项所述的方法或者如权利要求3至8中的任何一项所述的装置，
其中，对于尺寸为宽度*高度的块，所述临近参考样本集x包括来自尺寸为2*宽度的临近顶排和尺寸为2*高度的临近左排的所有重构的样本；以及
其中根据所选择的权重矩阵的系数的二的幂在所述移位中集成所述临近参考样本集的下采样和求平均。
10.如权利要求1、2或5-9中的任何一项所述的方法或者如权利要求3至9中的任何一项所述的装置，
其中存储所选择的权重矩阵的系数的指数而不是系数值。
11.如权利要求1、2或5-10中的任何一项所述的方法或者如权利要求3至10中的任何一项所述的装置，其中在图片参数集(PPS)中用信号通知代表所述权重矩阵的集合和相关联偏置的至少一个高级语法元素，使得帧中使用基于矩阵的帧内预测的所有块使用所述用信号通知的权重矩阵集。
12.如权利要求1、2或5-11中的任何一项所述的方法或者如权利要求3至11中的任何一项所述的装置，其中在序列参数集(SPS)中用信号通知代表所述权重矩阵的集合和相关联偏置的至少一个高级语法元素，使得序列中使用基于矩阵的帧内预测的所有块使用所述用信号通知的权重矩阵集。
13.一种计算机程序产品，包括用于根据权利要求1、2或5-12中的任何一项对视频数据进行编码或解码的指令。
14.一种非暂态计算机可读存储介质，具有存储在其上的用于根据权利要求1、2或5-12中的任何一项对视频数据进行编码或解码的指令。
CN202080052918.4A 2019-07-22 2020-07-01 使用基于矩阵的帧内预测进行视频编码和解码的方法和装置 Active CN114402614B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19305970.6 2019-07-22
EP19305970 2019-07-22
PCT/US2020/040459 WO2021015934A1 (en) 2019-07-22 2020-07-01 Method and apparatus for video encoding and decoding with matrix based intra-prediction

Publications (2)

Publication Number Publication Date
CN114402614A true CN114402614A (zh) 2022-04-26
CN114402614B CN114402614B (zh) 2024-08-13

Family

ID=67551308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052918.4A Active CN114402614B (zh) 2019-07-22 2020-07-01 使用基于矩阵的帧内预测进行视频编码和解码的方法和装置

Country Status (4)

Country Link
US (1) US11985306B2 (zh)
EP (1) EP4005210A1 (zh)
CN (1) CN114402614B (zh)
WO (1) WO2021015934A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL313252A (en) * 2019-07-10 2024-08-01 Guangdong Oppo Mobile Telecommunications Corp Ltd Image component prediction method, encoder, decoder and storage medium
JP2022547607A (ja) * 2019-09-13 2022-11-14 インターデジタル ヴイシー ホールディングス フランス，エスエーエス コード化ツールとの変換サイズの相互作用
GB2588406B (en) * 2019-10-22 2022-12-07 British Broadcasting Corp Video encoding and video decoding
JP2023549021A (ja) 2020-09-25 2023-11-22 オッポ広東移動通信有限公司 点群符号化方法、点群復号化方法及び関連装置
EP4221207A4 (en) * 2020-09-25 2024-03-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. POINT CLOUD ENCODING AND DECODING METHOD AND SYSTEM, AND POINT CLOUD ENCODER AND DECODER
KR20230124673A (ko) 2020-12-22 2023-08-25 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더및 디코더
CN114885160A (zh) * 2021-02-05 2022-08-09 腾讯科技（深圳）有限公司 视频编解码方法、装置、计算机可读介质及电子设备
WO2024083238A1 (en) * 2022-10-21 2024-04-25 Mediatek Inc. Method and apparatus of matrix weighted intra prediction in video coding system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172779A1 (en) * 2011-06-13 2012-12-20 Panasonic Corporation Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix
CN107646195A (zh) * 2015-06-08 2018-01-30 Vid拓展公司 用于屏幕内容编码的帧内块复制模式
CN108141608A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 针对视频译码使用与位置相关的预测组合的改进视频帧内预测
US20180324417A1 (en) * 2017-05-05 2018-11-08 Qualcomm Incorporated Intra reference filter for video coding
EP3410724A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding
WO2019039806A1 (ko) * 2017-08-21 2019-02-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3459244A4 (en) * 2016-01-12 2020-03-04 Telefonaktiebolaget LM Ericsson (publ) VIDEO CODING WITH HYBRID INTRAPREDICTION
US10785499B2 (en) * 2016-02-02 2020-09-22 Lg Electronics Inc. Method and apparatus for processing video signal on basis of combination of pixel recursive coding and transform coding
CN109997340B (zh) * 2016-05-31 2022-04-08 奥克托信息技术股份公司 用于样本流的采样率转换的方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172779A1 (en) * 2011-06-13 2012-12-20 Panasonic Corporation Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix
CN107646195A (zh) * 2015-06-08 2018-01-30 Vid拓展公司 用于屏幕内容编码的帧内块复制模式
CN108141608A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 针对视频译码使用与位置相关的预测组合的改进视频帧内预测
US20180324417A1 (en) * 2017-05-05 2018-11-08 Qualcomm Incorporated Intra reference filter for video coding
EP3410724A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding
WO2019039806A1 (ko) * 2017-08-21 2019-02-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS等: ""Versatile Video Coding (Draft 5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，14TH MEETING: GENEVA, CH, 19–27 MAR. 2019，JJVET-N1001-V10.ZIP JVET-N1001-V10.DOCX, 27 March 2019 (2019-03-27), pages 1 - 405 *
BENJAMIN BROSS等: "Versatile Video Coding (Draft 5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，14TH MEETING: GENEVA, CH, 19–27 MAR. 2019，JVET-N1001-V10.ZIP JVET-N1001-V10.DOCX, 27 March 2019 (2019-03-27), pages 1 - 405 *
KARAM NASER等: "Non-CE3: Modified MIP Matrices for Fast Implementation", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，15TH MEETING: GOTHENBURG, SE, 3–12 JULY 2019， JVET-O0547-V3.ZIP JVET-O0547-R1.DOCX, 12 July 2019 (2019-07-12), pages 1 - 7 *
KENJI KONDO等: "Non-CE3: On rounding shift of MIP", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，15TH MEETING: GOTHENBURG, SE, 3–12 JULY 2019，JVET-O0408-V3.ZIP JVET-O0408-V2.DOCX, 12 July 2019 (2019-07-12), pages 1 - 4 *
M.ALBRECHT等: "Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, 10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018，JVET-J0014-V4.ZIP JVET-J0014-V4.DOCX, 20 April 2018 (2018-04-20), pages 1 - 123 *
廖洁;陈婧;曾焕强;蔡灿辉;: "采用灰度共生矩阵进行深度预判的3D-HEVC深度图帧内快速编码算法", 信号处理, no. 03, 25 March 2017 (2017-03-25) *

Also Published As

Publication number Publication date
US20220264085A1 (en) 2022-08-18
EP4005210A1 (en) 2022-06-01
CN114402614B (zh) 2024-08-13
US11985306B2 (en) 2024-05-14
WO2021015934A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7299221B2 (ja) 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置
CN114402614B (zh) 使用基于矩阵的帧内预测进行视频编码和解码的方法和装置
US20220038684A1 (en) Multi-reference line intra prediction and most probable mode
EP4218240A1 (en) Template matching prediction for versatile video coding
CN113557730A (zh) 用于利用基于子块的局部光照补偿的视频编码和解码方法和装置
CN113826395A (zh) 图像编码中基于矩阵的帧内预测的变换
CN112425162B (zh) 宽角帧内预测和位置依赖性帧内预测组合
CN113678438A (zh) 采用子分区的宽角度帧内预测
CN114128276A (zh) 图像编译中指示变换核集的信息的信令
CN113841407A (zh) 基于帧内预测的图像编码中的变换
CN113424540A (zh) 帧内预测模式扩展
CN112771874A (zh) 用于画面编码和解码的方法和设备
EP3627835A1 (en) Wide angle intra prediction and position dependent intra prediction combination
CN113545047A (zh) 帧内预测模式分区
WO2020086248A1 (en) Method and device for picture encoding and decoding
EP3641311A1 (en) Encoding and decoding methods and apparatus
JP7580410B2 (ja) 位置依存イントラ予測コンビネーションを用いたピクチャ符号化及び復号の方法及びデバイス
JP2024537625A (ja) デコーダ側イントラモード導出における角度離散化の改善
CN114145021B (zh) 用于利用基于矩阵的帧内预测的视频编码和解码的方法和装置
US12231643B2 (en) Method and apparatus for video encoding and decoding with matrix based intra-prediction
CN113261284A (zh) 使用多重变换选择进行视频编码和解码
CN113016181B (zh) 依据块形状适配最可能模式候选的选择
JP2025020235A (ja) 位置依存イントラ予測コンビネーションを用いたピクチャ符号化及び復号の方法及びデバイス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant