CN114145021A - 用于利用基于矩阵的帧内预测的视频编码和解码的方法和装置 - Google Patents
用于利用基于矩阵的帧内预测的视频编码和解码的方法和装置 Download PDFInfo
- Publication number
- CN114145021A CN114145021A CN202080053273.6A CN202080053273A CN114145021A CN 114145021 A CN114145021 A CN 114145021A CN 202080053273 A CN202080053273 A CN 202080053273A CN 114145021 A CN114145021 A CN 114145021A
- Authority
- CN
- China
- Prior art keywords
- block
- matrix
- prediction
- samples
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims description 102
- 239000013598 vector Substances 0.000 claims abstract description 47
- 230000015654 memory Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 21
- 229940050561 matrix product Drugs 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 38
- 239000000523 sample Substances 0.000 description 22
- 238000004891 communication Methods 0.000 description 18
- 239000013074 reference sample Substances 0.000 description 12
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 10
- 230000011664 signaling Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001364 causal effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013141 low-rank factorization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了不同的实现，具体地，提出了基于线性加权帧内预测(也称为基于矩阵的帧内预测)的视频编码和解码的实现。因此，对于在线性加权帧内预测中被编码或解码的块，从至少两个选择的减小大小的权重矩阵与相邻参考样本集合之间的至少两个矩阵向量乘积获得帧内预测样本。有利地，这种布置允许减少用于存储数据的存储器的量，并且允许减少帧内预测样本计算的复杂度。
Description
技术领域
本发明的实施例中的至少一者一般涉及(例如)一种用于视频编码或解码的方法或装置，且更明确地说，涉及一种包括从至少两个权重矩阵之间的至少两个矩阵向量乘积与相邻参考样本的集合获得块的帧内预测样本的方法或装置。
背景技术
一个或多个实现的范围(domain)技术领域一般涉及视频压缩。与诸如HEVC(HEVC指的是高效视频译码，也称为H.265，以及在“ITU的ITU-TH.265电信标准化部门(10/2014)的系列H：视听和多媒体系统、视听服务的基础设施-移动视频的译码、高效视频译码、推荐ITU-T H.265”中描述的MPEG-H部分2)的现有视频压缩系统相比，或者与诸如VVC(通用视频译码，由联合视频专家组JVET开发的新标准)的正在开发的视频压缩系统相比，至少一些实施例涉及提高压缩效率。
为了实现高压缩效率，图像和视频译码方案通常采用预测(包括运动向量预测)和变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测对应的逆过程来解码压缩数据。
对高压缩技术的最近添加包括使用参考样本的下采样和矩阵乘积的组合的帧内预测。这种帧内预测的缺点是需要大量数据来存储在各种滤波过程中使用的加权参数。因此，期望针对存储器效率优化帧内预测矩阵的存储，并且针对复杂度优化解码时帧内预测样本的计算。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此目的，根据至少一个实施例的一般方面，提出了用于视频编码的方法，其包括使用线性加权预测在帧内预测模式中编码视频的图片的块。根据特定特性，所述编码包括从以下获得所述块的帧内预测样本：在权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵向量乘积和相关联的偏置向量，以及相邻参考样本的集合。
有利地，至少两个选择的权重矩阵被构造为涉及较少的每个待预测样本的乘法，以及较少的待存储至存储器中的系数。因此，低推断复杂度使得能够在通常实现解码器的资源受限设备中实现基于矩阵的帧内预测的能力。
根据至少一个实施例的另一个一般方面，提出了用于视频解码的方法，包括对视频的图片的块进行解码，所述块是使用线性加权预测在帧内预测模式中被译码的。对于编码方法，根据特定特性，解码还包括从以下获得所述块的帧内预测样本：在权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵向量乘积和相关联的偏置，以及相邻参考样本的集合。
根据至少一个实施例的另一个一般方面，提出了用于视频编码的装置，其包括用于实现编码方法的实施例中的任意一者的工具(means)。
根据至少一个实施例的另一个一般方面，提出了用于视频解码的装置，其包括用于实现解码方法的实施例中的任意一者的工具。
根据至少一个实施例的另一个一般方面，提供了用于视频编码的装置，其包括一个或多个处理器和至少一个存储器。所述一个或多个处理器被配置为实现编码方法的实施例中的任意一者。
根据至少一个实施例的另一个一般方面，提供了用于视频解码的装置，其包括一个或多个处理器和至少一个存储器。所述一个或多个处理器被配置为实现解码方法的实施例中的任意一者。
根据至少一个实施例的另一个一般方面，使用线性加权预测对块进行编码或解码还包括：确定n个相邻参考样本的集合x；基于线性加权帧内预测模式和块形状，在权重矩阵和相关联的偏置向量的集合之中选择至少两个大小为m×r和r×n的权重矩阵G和HT以及相关联的偏置向量b，第一选择的权重矩阵G具有大小m×r，且第二选择的权重矩阵G具有大小r×n，其中m、n、r是整数，且r小于m以及r小于n；以及从第一矩阵乘积HTx、第二矩阵乘积G(HTx)及加上相关联的偏置b，获得所述块的帧内预测样本
从而结果是
根据至少一个实施例的另一个一般方面，第一和第二权重矩阵G和HT是从对大小为m×n的权重矩阵M的低秩处理获得的，并且其中权重矩阵M的估计
是第一和第二权重矩阵G和HT的乘积，
根据至少一个实施例的另一个一般方面，r被确定以降低矩阵乘积复杂度。
根据至少一个实施例的另一个一般方面，其中r响应于权重矩阵M的单值分解SVD而被确定。
根据至少一个实施例的另一个一般方面，对于大小是宽度*高度的块，相邻参考样本的集合x包括来自大小为宽度的相邻顶线(top line)和来自大小为高度的相邻左线的所有重构样本。
根据至少一个实施例的另一个一般方面，对于大小为宽度*高度的块，相邻参考样本的集合x包括来自大小为2*宽度的相邻顶线和来自大小为2*高度的相邻左线的所有重构样本。
根据至少一个实施例的另一个一般方面，表示权重矩阵和相关联的偏置的集合的至少一个高级语法元素在图片参数集(PPS)中被用信号发送，使得使用线性加权预测的帧中的所有块使用所述用信号发送的权重矩阵集合。根据至少一个实施例的另一个一般方面，表示权重矩阵和相关联的偏置的集合的至少一个高级语法元素在序列参数集(SPS)中被用信号发送，使得使用线性加权预测的序列中的所有块使用所述用信号发送的权重矩阵集合。
根据至少一个实施例的另一个一般方面，矩阵的两个矩阵向量乘积的比特深度相对于帧内预测样本的比特深度而被增加。
根据至少一个实施例的另一个一般方面，提出了非暂时性计算机可读介质，其包含根据前述描述中的任一项的方法或装置生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种信号，该信号包括根据前述描述中的任一项的方法或装置生成的视频数据。
本发明实施例中的一者或多者还提供一种计算机可读存储介质，其上存储有用于根据上述方法中的任一者编码或解码视频数据的指令。本发明实施例还提供了一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本发明实施例还提供了一种用于传送根据上述方法生成的比特流的方法和装置。本发明实施例还提供一种计算机程序产品，其包括用于执行所描述的方法中的任一者的指令。
附图说明
图1描绘二叉树和三叉树拆分模式的示例；
图2描绘根据各种拆分模式(例如二叉树和三叉树拆分模式)的译码树块(CTB)拆分成译码块(CB)；
图3示出了从相邻参考样本的样本参考生成过程；
图4表示如在帧内预测中使用的各种预测方向；
图5A、图5B、图5C、图5D表示根据特定实施例的仿射线性加权帧内预测(ALWIP)，其也称为针对各种块大小的矩阵帧内预测(MIP)；
图6示出了根据至少一个实施例的一般方面的包括帧内预测的示例编码或解码方法；
图7示出了可以在其中实现实施例的各个方面的视频编码器的实施例的框图；
图8示出了可以在其中实现实施例的各个方面的视频编码器的实施例的框图；
图9示出了可以在其中实现实施例的各个方面的示例装置的框图。
具体实施方式
应当理解，附图和描述已经被简化以示出与清楚理解本发明原理相关的元素，同时为了清楚起见，去除了在典型的编码和/或解码设备中发现的许多其他元素。应当理解，尽管术语第一和第二在本文中可以用于描述各种元素，但是这些元素不应当受这些术语限制。这些术语仅用于将一个元素与另一个元素区分。
针对图片的编码/解码描述了各种实施例。它们可以被应用于编码/解码图片的一部分，诸如切片或图块，或者图片的整个序列。
上文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
至少一个实施例有效地组合了VVC中采用的基于矩阵的帧内预测工具和矩阵结构分解，以便同时减少这些矩阵的存储器占用和促进解码器侧的计算。根据一个非限制性示例，矩阵结构分解包括矩阵因式分解，诸如权重矩阵的低秩表示和低位移秩(LowDisplacement Rank)表示。
在部分1中，公开了关于基于矩阵的帧内预测的一些限制。
在部分2中，公开了用于使用线性加权帧内预测的编码或解码的方法的若干实施例。
在部分3中，公开了实现所公开的方法的附加信息和一般实施例。
1、帧内预测：原理和限制
在HEVC译码中，图片被分割成正方形形状的CTU，其具有可配置的大小，通常为64×64。在其他视频译码标准中，该大小可以是128×128或256×256。CTU是被分割为4个相等大小的正方形译码单元(CU)的四叉树的根，即该大小在宽度和高度上是父块大小的一半。四叉树是其中父节点可以被拆分成四个子节点的树，每个子节点可以变为父节点，再拆分成四个子节点。在HEVC中，译码块(CB)被分割成一个或多个预测块(PB)，并且形成分割成变换块(TB)的四叉树的根。对应于译码块、预测块和变换块，译码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构集合，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差译码语法结构。亮度分量的CB、PB和TB的大小适用于相应的CU、PU和TU。
在更近的编码系统中，CTU是分割成译码单元(CU)的译码树的根。译码树是其中父节点(通常对应于块)可以被拆分成子节点(例如，拆分成2、3或4个子节点)的树，每个子节点可以变为父节点，再拆分成子节点。除了四叉树拆分模式之外，还定义了新的拆分模式(二叉树对称拆分模式、二叉树非对称拆分模式和三叉树拆分模式)，其增加了可能的拆分模式的总数。图1描绘了这种拆分模式的示例。左边的两个拆分模式是经典的二叉拆分模式，其将块垂直地(SPLIT_BT_VER)或水平地(SPLIT_BT_HOR)拆分成两个相同的子块。右边的两个拆分模式是三树拆分模式的示例。SPLIT_TT_VER模式将块垂直地拆分成三个分别具有宽度N/4、N/2和N/4的子块。SPLIT_TT_HOR模式将块水平地拆分成分别具有高度N/4、N/2和N/4的三个子块。译码树具有唯一的根节点，例如CTU。译码树的叶子是树的终止节点。译码树的每个节点表示可以进一步拆分成更小的块的块，该更小的块也称为子块或更一般地称为子块。一旦确定CTU到CU的分割，则编码对应于译码树的叶子的CU。将CTU分割成CU以及用于编码每个CU(对应于译码树的叶)的译码参数可以在编码器侧通过率失真优化过程来确定。图2描绘根据各种拆分模式的CTU拆分成CU。更准确地说，其表示具有嵌套的四叉树(QT)、二叉树(BT)和三叉树(TT)结构的CU的译码树。
在本申请中，术语“块”或“图片块”可以用于指代CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，术语“块”或“图片块”可用于指代如H.264/AVC或其他视频译码标准中指定的宏块、分区和子块，且更一般来说指代一系列大小不一的样本。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
视频压缩中的帧内预测是指使用来自因果(causal)相邻块(即，同一帧中已被解码的相邻块)的信息对像素块进行的空间预测。这是一种强大的译码工具，因为它允许在INTRA(帧内)帧中以及在没有更好的时间预测时在INTER帧中的高压缩效率。因此，帧内预测已经作为核心译码工具被包括在包括H.264/AVC、HEVC等的所有视频压缩标准中。
帧内预测利用了可能属于同一对象、背景或区域等的像素之间的空间相关性。在此上下文中，已经设计了诸如H.264/AVC、H.265/HEVC等的视频译码标准中的帧内预测，以捕捉对象取向的方向性以及区域或纹理的缓慢改变的强度。在HEVC中，例如，帧内预测包括35个预测模式，其包括一个DC预测模式、一个平面(PLANAR)预测模式和33个角度预测模式。角度模式被设计成对对象的方向结构进行建模，而DC和平面模式提供对具有缓慢和逐渐强度变化的区域的预测，并且还提供对具有变化的纹理的区域的预测。在目的在于设计未来标准H.266的通用视频译码测试模型(VTM)中，预测模式的数量已经增加到67，以适应对于大的块大小特别有用的其他方向。在方向预测模式的情况下，在预定义方向上重复来自相邻左和上邻的经滤波的像素值。为了沿着块边界平滑预测，引入了位置依赖帧内预测组合(PDPC)。它的目的在于使用附加参考样本来平滑目标块边界处的预测。对于一些预测方向，一些参考样本不可用，因此使用参考样本的填充。
在HEVC中，视频序列的帧的编码是基于四叉树(QT)块结构。帧被划分为正方形译码树单元(CTU)，所述CTU全部根据率失真标准经历基于四叉树的拆分而成为多个译码单元(CU)。每一CU包含至少一个预测单元(PU)，其为用于预测工具的基块。在帧内预测中，从因果相邻PU(即，顶部和左侧的PU)空间预测PU。为此目的，HEVC使用被称为预测模式的简单空间模型。基于称为参考像素的顶部和左侧PU中的解码像素值，编码器为目标块构造不同的预测，并选择导致最佳RD性能的预测。在35个定义的模式中，一个是平面模式(索引为模式0)，一个是DC模式(索引为模式1)，且剩余的33个(索引为模式2-34)是角度模式。角度模式旨在对帧中的对象的方向结构进行建模。因此，顶部和左侧CU中的经解码像素值仅沿着所定义的方向简单重复以填充预测块。由于此过程可导致沿某些模式的顶部和左侧参考边界的不连续性，因此那些预测模式包括后续的后滤波以沿那些边界平滑像素值。
只要强度值变化不太大，上述预测模型就工作得非常好。然而，在自然成像中，对象上的强度值经常由于若干原因而经历变化。作为对象本身的颜色属性，或者由于照明、深度、运动等，PU上的强度值可能经历使用像素重复不能充分建模的变化。当PU大小很大时尤其如此。在VTM中，已经提出使用高达128的CTU大小。因此，考虑其他预测模型，例如将更有效地对强度变化进行建模的内插，是更有意义的。
HEVC中的帧内预测
HEVC中的帧内预测过程包括三个步骤：(1)参考样本生成；(2)帧内样本预测；以及(3)预测样本的后处理。参考样本生成过程如图3所示。对于大小为N×N的PU，从先前重构的当前PU的顶部和右顶部像素形成顶部的一行2N个解码样本。类似地，从重构的左侧和左下像素形成左侧的一列2N个样本。左上位置的角像素也用于填充顶行与左列参考之间的间隙。如果顶部或左侧的样本中的一些不可用，例如，由于对应CU不在相同切片中，或当前CU在帧边界处，那么执行称为参考样本替代的方法，其中在顺时针方向上从可用样本复制缺失样本。接着，取决于当前CU大小和预测模式，使用指定滤波器对参考样本进行滤波。
下一步骤，即，帧内样本预测，由基于参考样本预测目标CU的像素组成。如前所述，为了有效地预测不同种类的内容，HEVC支持一系列预测模型。平面和DC预测模式用于预测平滑和逐渐变化的区域，而角度预测模式用于捕获不同的方向结构。HEVC支持从2到34索引的33个方向预测模式。这些预测模式对应于不同的预测方向，如图4所示。
如图4所示，定义的角度方向导致1/32的样本精度。即，在任何两个相邻的参考样本之间，存在32个可能的方向。所定义的方向可以被区分为垂直或水平。水平方向上的预测仅使用左侧参考样本或一些左侧和一些顶部参考样本。类似地，垂直方向上的预测仅使用顶部参考样本或一些顶部和一些左侧参考样本。仅使用左侧参考样本或仅使用顶部参考样本的方向被定义为正方向。因此，我们具有从H0到H+32的水平正方向，其仅使用左侧参考样本。类似地，我们具有从V0到V+32的垂直正方向，其仅使用顶部参考样本。其他水平和垂直方向(H-2到H-26和V-2到V-32)被定义为负方向，并且它们使用左侧和顶部两者的参考样本。以下的表格示出了预测模式与HEVC所指定的角度参数A之间的关系：
表1模式索引到角度参数A的映射
在HEVC参考软件中，首先使用顶部和左侧参考样本来构造参考阵列。对于垂直预测，参考阵列是水平的，而对于水平预测，参考阵列是垂直的。对于具有正角参数A的模式(模式2至10和26至34)，取决于方向，参考阵列简单地是顶部参考样本topRef[]或左侧参考样本leftRef[]：
topRef[x]＝P[x-1][-1]，0≤x≤2N，针对垂直预测
leftRef[y]＝P[-1][y-1]，0≤y≤2N，针对水平预测
其中N是CU大小，且P[x][y]是如图3上所描绘的相邻CU的重构样本。常规上将目标CU的左上方像素处的样本坐标初始化为(0，0)。因此，顶部的参考样本将具有其y坐标为-1，而左边的参考样本将具有其x坐标为-1。
对于具有负角度参数A的模式(模式11到25)，参考阵列需要来自顶部和左侧参考两者的像素。在这种情况下，参考阵列将扩展到超过0的负索引。如上所述，取决于垂直或水平预测获得具有正索引的参考阵列上的样本值。通过沿着预测方向将左侧(针对垂直预测)或上部参考像素(针对水平预测)投影在参考阵列上来获得具有负索引的参考阵列上的那些像素。
一旦构造了参考阵列，通过首先沿着选择的方向将像素位置(x，y)投影到参考阵列以获得参考阵列位置索引i(整数索引)和f(分数索引)，来获得目标CU内的任何像素位置(x，y)处的预测采样值Pred[x][y]。然后，通过在两个相邻参考样本之间进行内插，以(1/32)的样本分辨率计算预测样本值Pred[x][y]，如下所示：
Pred[x][y]＝((32-f)*topRef[x+i+1]+f*topRef[x+i+2]+16)＞＞5)，0≤x，y＜N，针对垂直预测
Pred[x][y]＝((32-f)*leftRef[y+i+1]+f*leftRef[y+i+2]+16)＞＞5)，0≤x，y＜N，针对水平预测，
其中i和f表示从像素位置(x，y)的投影位移的整数部分和小数部分。
如果Δ表示投影位移，则：
Δ＝(x+1)*A，针对水平预测，以及
Δ＝(y+1)*A，针对垂直预测。
i＝Δ＞＞5，其中>>是算术右移。
f＝Δ&31，其中&是按比特的“与”运算符。
在f＝0，即没有小数部分的情况下，预测在预测方向上等于参考阵列样本。
如我们从上述表达式中所观察到的，垂直预测独立于y坐标，而水平预测独立于x坐标。这意味着，针对垂直预测，沿着从顶部的参考阵列预测的方向重复预测值。类似地，针对水平预测，沿着从左侧的参考阵列预测的方向重复预测值。因此，如果两个或更多个像素的坐标在参考阵列上具有相同的投影点，则它们具有相同的预测值。
针对帧内预测的VTM扩展(通用视频译码测试模型)
另一种涉及针对帧内预测的学习矩阵的预测方法，其在“CE3：仿射线性加权帧内预测(CE3-4.1，CE3-4.2)”(JVET-N0217，第14次会议：日内瓦，CH，2019年3月19日-27日)中被描述，最近在H.266/VVC的参考模型中被采用。这种工具也称为基于矩阵的帧内预测(MIP)或线性加权帧内预测。离线学习几个权重矩阵，然后在编码器和解码器上应用，以便把因果重构的样本映射到要预测的当前块上。在给定编码块的速率/失真标准的情况下，取决于块的大小和形状以及其预测该块的性能，在编码器侧选择矩阵之一。
与几乎所有的传统帧内预测工具一样，为了预测宽度为W和高度为H的矩形块，仿射线性加权帧内预测(ALWIP)将块左边的一行H个重构相邻边界样本和块上方一行W个重构相邻边界样本作为输入。类似于HEVC的常规帧内预测过程，仿射线性加权帧内预测具有三个主要步骤：(1)参考样本减少；(2)帧内样本预测；以及(3)丢失的预测样本的内插。
首先，相邻参考样本被分组和平均，在W＝H＝4的情况下结果是4个值的向量，并且对于更大的块结果是8个值。然后，该方法作为神经网络的全连接层操作，其中输入是上述向量，并且输出包括表示样本集合的向量，其表示要预测的块中的样本的子采样集合。最后，通过线性内插对子采样集合内插所获得的样本来生成完全预测。
矩阵和向量的三个集合S0、S1、S2可供编码器选择。对于大小4×4的块，集合S0分别包含大小分别为16×4和16的18个矩阵和的偏置向量。对于大小4×8、8×4和8×8的块，S1由10个大小为16×8的矩阵以及大小为16的偏置组成。最后，对于所有其他块形状，集合S2由大小为64×8的6个矩阵和大小为64的6个偏置向量组成。
取决于模式和块形状，输入的向量(其被称为针对“减少的边界”的bdryred)被如下重新布置：
其中
和
分别表示顶部和左侧的平均边界样本，如图5A所示。
然后，生成针对预测块的样本的输出减少集合predred如下：
predred＝A·bdryred+b
取决于模式和块形状，在集合S0、S1、S2之中选择权重矩阵A和偏移向量b，如
其中
以及
在图5B以及图5C中分别示出了在8×8以及8×4的块的情况下对predred执行的内插过程。
对于较大的块，参考样本被分组和平均，使得输入向量为8个样本长，如图5D上针对16×16块所示。
因此，该方法需要存储对应于以下的集合S0、S1、S2：
-18个大小为16×4的矩阵和18个大小为16的偏移
-10个大小为16×8的矩阵和10个大小为16的偏移
-6个大小为64×8的矩阵和6个大小为64的偏移，
表示要被译码的6336个系数，当被存储为10比特值时，其对应于7.92千字节的数据。
因此，希望减少存储的矩阵的大小以及减少要计算的每个预测样本的运算数量。
2、使用线性加权帧内预测进行编码或解码的至少一个实施例
至少一个实施例的一般方面旨在减少仿射线性加权帧内预测(ALWIP)(也称为基于矩阵的帧内预测(MIP))所需的数据量。有利地，代替应用如先前在帧内Pred(predred＝A·bdryred+b)的区段VTM扩展中所揭示的直接矩阵乘法，至少一个实施例提出了一种矩阵结构，其在可选的线性内插之前需要较少的系数并且涉及较少的乘法来导出帧内预测的样本集合。
图6示出了根据至少一个实施例的一般方面的包括获得帧内预测样本的编码或解码方法的示例。
本领域技术人员将理解，一旦帧内预测模式是已知的，则线性加权帧内预测以相同的方式应用于编码或解码。因此，针对编码或解码方法公开了本发明原理。在该步骤11中，假设使用线性加权预测在帧内预测中对块进行编码或解码。所述块(通常为CU)属于图片的空间分区，通常为先前区段中的CTU。编码或解码方法10包括对于使用线性加权预测在帧内预测模式中被编码/解码的块，从以下获得块的帧内预测样本：权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵乘积和相关联的偏置，以及相邻参考样本集合。现在详细描述获得块的帧内预测样本的子步骤。在步骤12中，确定n个相邻参考样本的集合，n是表示参考样本的数量的整数。有利地，在第一变型中，通过取决于块形状(即，根据其宽度和高度)求平均来获得如先前针对“减少的边界”揭示的参考样本，并且n等于4或8，然而，根据第二变型，大小为宽度*高度的块，相邻参考样本集合x包括来自大小为宽度的相邻顶线和来自大小为高度的相邻左线的所有重构样本。换句话说，没有通过对输入样本求平均而进行的下采样被应用于相邻样本，因此与当前VVC线性帧内预测相比，参考样本的数量增加。这是可以负担的，因为根据本发明原理的矩阵的结构涉及较少的乘法以获得预测样本。因此，用较小的矩阵向量乘积来平衡较大数量的参考样本的复杂度。因此，根据第三变型，如针对经典角度帧内预测所定义的，参考样本甚至被扩展到块长度或宽度的两倍加上左上像素。对于大小为宽度*高度的块，除了左上像素之外，相邻参考样本集合还包括来自大小为2*宽度的相邻顶线和来自大小为2*高度的相邻左线的所有重构样本。在步骤13中，选择至少两个权重矩阵。2个矩阵的结构在下文的低秩部分和低位移秩部分中描述。本发明原理涉及基于线性加权帧内预测模式和如先前针对加权帧内预测所解释的块形状，使用权重矩阵和相关联的偏置向量的集合中的至少两个大小为m×r和r×n的权重矩阵G和HT以及相关联的偏置向量b。然而，根据本发明原理，第一选择的权重矩阵G具有一大小m×r，第二选择的权重矩阵HT具有一大小r×n，其中是m、n、r是整数，r小于m，r小于n。n是根据任意变型先前确定的块的相邻参考样本的数量。m是从线性加权预测获得的帧内预测样本的减少的数量。如先前针对线性加权预测所揭示的，模式k及块形状允许选择一对矩阵(G，HT)。如下文所示，第一及第二权重矩阵G和HT(例如)是从集合S0、S1、S2中的权重矩阵M的低秩处理获得。然而，该至少一个实施例不限于低秩分解且任何矩阵因式分解与该至少一个实施例兼容。为了说明系数的数量的减少，在以下第一示例中考虑集合S0的矩阵16×4。根据现有技术，针对矩阵存储64个系数，根据至少一个实施例，存储r＝2、16×2+2×4＝38个系数。使用上述计算，对于集合S2的矩阵64×8，对于秩r＝4仅需要288个系数，而非512个系数。因此，获得预测样本的运算数量也减少。在此实施例中，根据先前公开的矩阵集合中的矩阵导出第一及第二权重矩阵，权重矩阵M的估计
为第一及第二权重矩阵G和HT的乘积，
然而，本发明原理不限于通过处理公开的权重矩阵集合来获得矩阵。根据替代的变型，关于公开的矩阵M，大小为m×r和r×n的一对矩阵(G，HT)是从基于深度学习的训练中获得的。因此，附加约束是秩r，定义G和HT的形状，并且被用作训练阶段的附加输入。根据第一变型，确定r以降低矩阵乘积的复杂度。在第一非限制性示例中，r被预先确定在范围[2；min(n，m)]。在另一个非限制性示例中，响应于所公开的权重矩阵集合中的权重矩阵M的单值分解SVD来确定r。然后，在步骤14中，处理第一矩阵乘积HTx，其中x是参考样本集合，也表示为如上所述的predred。然后，在步骤15中，处理第二矩阵乘积G(HTx)。乘法的处理作为本领域技术人员已知的硬件和软件的组合被结合在处理器(GPU或CPU)内。因此，大规模并行实现与本发明原理兼容。然后，在步骤16中，加上偏置向量，且结果是
其中
是减少的帧内预测样本集合。在最后的可选步骤17中，在帧内预测样本的数量小于块中样本的数量的情况下，线性内插允许获得正被译码或解码的块的每个样本的线性加权帧内预测。
根据至少一个实施例，可以重新平衡性能和复杂度之间的折衷。由于通过考虑低秩可以存储较少的参数，所以可以增加它们的比特深度，由此在保持较少数量的乘法的同时提高性能。根据又一变型，两个矩阵乘积的比特深度相对于帧内预测样本的比特深度而被增加，然后(在加上偏置之前或之后)应用限幅。有利地，这种处理导致更高的精度。根据又一变型，由于要存储的系数的数量减少，所以两个矩阵自身的系数的比特深度增加。
根据另一实施例，由于系数的数量减少，因此可以在编码或解码时适配权重矩阵。因此，在比特流中向解码器传送指示，使得解码器应用与编码器处使用的相同的权重矩阵过程。根据至少一个实施例，矩阵可以部分地或全部地在比特流中传送。在非限制性示例中，表示权重矩阵和相关联的偏置的集合的至少一个高级语法元素被包括在图片参数集(PPS)中，以指示使用线性加权预测的帧中的所有块使用利用信号发送的权重矩阵集合。在另一非限制性示例中，表示所述权重矩阵和相关联的偏置的集合的至少一个高级语法元素在序列参数集(SPS)中被用信号发送，使用线性加权预测的序列中的所有块使用所述用信号发送的权重矩阵集合。
低秩
根据第一实施例，通过保持与利用所公开的矩阵集合S0、S1、S2的原始结构的低秩版本生成帧内预测更相关的权重奇异向量，可以优化映射的复杂度相对于性能的折衷。
低秩因式分解可以使用公知的单值分解(SVD)方法来获得，该方法声明对于任何矩阵
都存在奇异值分解M＝U∑VT。U和V可以分解为U＝[U1U2]和V＝[V1V2]，并且∑是包含降序的A的实非负奇异值的对角矩阵。因此，∑可以被分解为
U1、
和∑1分别具有大小m×r、r×n和r×r。
r是选择的参数。如果它等于A的实际秩，则存在相等，否则，所得到的算子
存在于M的近似值中。
存储
的常用方式也可以写作
其中大小为m×r和r×n的G和HT对应于U1、
乘以∑1的对角值的平方根。
考虑图5D中描述的情况，其中工具首先从8个输入样本中生成64个样本的集合。涉及到8×64＝512个系数。在这种情况下，应用于大小8×1的输入向量，相应过程需要512个乘法。通常，大小为m×n的矩阵-向量乘法的复杂度是O(mn)。
考虑秩4的近似，然后G和HT是大小为64×4和4×8，这样的结果是256+32＝288个参数。应用于大小为8的输入向量，相应过程需要分别用于计算HTx和G(HTx)的8×4＝32和4×64＝256的乘法。因此，需要全部256+32＝288乘法，而不是512。通常，秩r的乘积的复杂度被降低到O((m+n)r)。
在当前的VVC加权帧内预测中，输入和输出样本两者的数量都被减少以满足复杂度标准。这两种减少都可以被认为是手工的，因为它们通过对输入参考样本求平均来对其进行下采样，并且计算预测样本的子集，该子集被内插以产生最终的预测块。所提出的结构使得能够训练优化所有参考样本的使用的权重结构，同时确保合理数量的权重，由此运算更少。
此外，对于现有方法，预测像素的范围需要适合视频的像素的范围，例如在10比特输出视频的情况下为(0，1023)。这应当通过对权重和偏置进行归一化以确保它或者对输出信号进行限幅来处理。
低位移秩
或者，根据第二实施例，权重矩阵可以由低位移秩矩阵(LDR)来近似。LDR表示将包含更少的权重以存储和加载在存储器中，一些将使得能够在具有非常有限的资源的解码器上执行权重矩阵的推断。
LDR矩阵的计算在Pan,Victor Y以及Xinmao Wang的《位移算子的反演》(SIAM矩阵分析与应用期刊，第24.3卷，第660-677页，2003年)中进行了描述。
假设矩阵M具有低秩rk＜＜min{m，n}，则这意味着：
LA，B(M)＝M-AMB＝GHT
其中，A、B分别是大小m×m、n×n的正文形矩阵，G是m×r矩阵，H是n×r矩阵，并且m、n是原始权重矩阵M的行和列的数量。这里，位移r是选择的参数。对于低秩近似的情况，小的r意味着更高的压缩和计算效率。
Pan,Victor Y等人证明，使用上述方程可以表示为：
其中r是所选择的位移秩参数，Zf＝(In-1 f)是f循环矩阵，gj和hj是上述G和H的r向量。算子Zf，n，m定义如下：
对于向量v＝(v1，...，vm)T,
具有：
Jn表示n×n反射矩阵，即所有的反对角条目为1，如下所示：
如Pan,Victor Y等所证明的，当处理大矩阵时，使用LDR近似是特别有利的，因为由于所选择的算子的结构，矩阵乘法可以被快速傅立叶变换运算所取代。
当将当前工具扩展到更大的初始矩阵时，这可以变得便利。
3、附加实施例和信息
本申请描述了多个方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早提交的文档中描述的方面组合和互换。
本申请中描述和预期的方面可以以许多不同的形式实现。以下的图7、图8和图9提供了一些实施例，但是可以设想其他实施例，并且对图7、图8和图9的讨论不限制实现的广度。至少一个方面一般涉及视频编码和解码，并且至少一个其他方面一般涉及传送所生成或编码的比特流。这些和其他方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
本申请中描述的各种方法和其他方面可用于修改模块，例如图7和图8所示的视频编码器100和解码器200的帧内预测模块(160、260)。此外，本发明的方面不限于VVC或HEVC，且可应用于(例如)其他标准和建议(无论是先前存在的还是将来开发的)，以及任何此类标准和建议(包含VVC和HEVC)的扩展。除非另外指出或在技术上排除，否则本申请中所描述的方面可单独或组合使用。
举例而言，在本申请中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
图7示出了视频编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而不描述所有预期的变型。
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡)。元数据可以与预处理相关联，并且被附加到比特流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分割(102)并处理要编码的图片。每一单位(unit)是使用例如帧内或帧间模式被编码。当单位以帧内模式被编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和运动补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的一者来编码单位，并且通过例如预测模式标志来指示帧内/帧间决定。例如通过从原始图像块中减去(110)预测块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其他语法元素进行熵译码(145)以输出比特流。编码器也可跳过变换，并直接对未变换的残差信号应用量化。编码器可以绕过变换和量化两者，即，直接对残差进行译码而不应用变换或量化过程。
编码器对译码块进行解码，以提供用于进一步预测的参考。对量化变换系数进行逆量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构的图片以执行例如去块/SAO(采样自适应偏移)滤波以减少编码伪像。将滤波图像存储在参考图片缓冲器(180)中。
图8示出了视频解码器200的框图。在解码器200中，比特流由如下所述的解码器元件解码。视频解码器200通常执行与如图7所述的编码回合互逆的解码回合。编码器100还通常执行视频解码作为编码视频数据的部分。
具体地，解码器的输入包括可以由视频编码器100生成的视频比特流。该比特流首先被熵解码(230)以获得变换系数、运动向量和其他译码信息。图片分割信息指示图片是如何被分割的。因此，解码器可以根据解码的图片分割信息来划分(235)图片。变换系数被逆量化(240)和逆变换(250)以解码预测残差。组合(255)解码的预测残差与预测块，重构图像块。可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测块。环内滤波器(265)被应用于重构的图像。将滤波图像存储在参考图片缓冲器(280)中。
解码后的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆重新映射。后解码处理可以使用在预编码处理中导出并且在比特流中用信号发送的元数据。
图9示出了其中实现各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地实现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的一个或多个方面。
系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块1030可实现为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文档中描述的过程期间存储各种项中的一个或多个。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在一些实施例中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令，且提供用于在编码或解码期间需要的用于处理的工作存储器。然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图像专家组，MPEG-2也被称为ISO/IEC 13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码，也被称为H.265和MPEG-H部分2)或VVC(通用视频译码，由JVET开发的新标准，联合视频专家团队)。
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播公司通过空中(air)传输的射频(RF)信号的RF部分；(ii)组件(COMP)输入端子(或COMP输入端子集合)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图9中未示出的其他示例包括合成视频。
在各种实施例中，块1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可以与适于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频带)；(ii)下变频所选择的信号；(iii)再次频带限制到较窄频带以选择(例如)在某些实施例中可以称为信道的信号频带；(iv)解调下变频和频带限制的信号；(v)执行纠错；以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将所接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传送的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。例如，添加元件可以包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如，里德-所罗门纠错，可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要处理数据流以便在输出设备上呈现。
系统1000的各种元件可被提供在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置1140例如本领域已知的内部总线(包括IC间(I2C)总线)、布线和印刷电路板互连并在其间传输数据。
系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060传送和接收数据的收发信机。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用无线网络，例如Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会)，将数据流式传输或以其他方式提供给系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其他过顶(over-the-top)通信。其他实施例使用机顶盒向系统1000提供流数据，该机顶盒通过输入块1130的HDMI连接传递数据。还有其他实施例使用输入块1130的RF连接向系统1000提供流数据。如上所述，各种实施例以非流方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。
系统1000可以向各种输出设备提供输出信号，所述输出设备包括显示器1100、扬声器1110和其他外围设备1120。各种实施例的显示器1100包含例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一者或多者。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他组件集成(例如，如在智能电话中)，或单独应用(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，其他外围设备1120包括独立数字视频盘(或数字多功能盘)(DVR，两项)、盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出提供功能。例如，盘播放器执行播放系统1000的输出的功能。
在各种实施例中，使用诸如AV.链路、消费电子控制(CEC)或其他通信协议的信令(signaling)在系统1000和显示器1100、扬声器1110或其他外围设备1120之间传送控制信号，其使得能够在有或没有用户干预的情况下实现设备到设备控制。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到系统1000。或者，输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。例如，显示器1100和扬声器1110可以与系统1000的其他组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，例如显示接口1070包括显示驱动器，例如定时控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独机顶盒的一部分，则显示器1100和扬声器1110可以备选地与其他组件中的一者或多者分离。在显示器1100和扬声器1110是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
这些实施例可以由处理器1010、硬件或硬件和软件的组合实现的计算机软件来执行。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的过程中的全部或部分，以便产生适合于显示的最终输出。在各种实施例中，这样的过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或备选地包括由本申请中描述的各种实现的解码器执行的过程，例如，使用减小大小的矩阵的至少两个乘积来减少存储器占用的基于矩阵的帧内预测。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
各种实现方式涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的过程的全部或部分，以便产生编码的比特流。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如分割、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现方式的编码器执行的过程，例如使用减小大小的矩阵的至少两个乘积的基于矩阵的帧内预测。
作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
注意，本文使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“实施例”或“一个实现”或“实现”以及它们的其他变型的提及意味着结合实施例描述的特定特征、结构、特性等被包含在至少一个实施例中。因此，在贯穿本申请的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。
另外，本申请可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
此外，本申请可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
另外，本申请可以涉及“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或(例如从存储器)检索信息中的一个或多个。此外，在诸如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用以下“/”、“和/或”以及“……中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。这可以扩展到所列的许多项，这对于本领域和相关领域的普通技术人员来说是清楚的。
此外，如本文所使用的，词语“信号(signal)”尤其是指向相应解码器指示某物。例如，在某些实施例中，编码器用信号发送用于基于矩阵的帧内预测的多个参数中的特定一个。这样，在实施例中，在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器传送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而不进行传送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际函数的传输，在各种实施例中实现了比特保存(saving)。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。
如本领域技术人员将明白的，实现可以产生被格式化以携带例如可以被存储或传送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传送。该信号可以存储在处理器可读介质上。
我们描述了多个实施例。这些实施例的特征可以在各种权利要求类别和类型上单独提供或以任何组合提供。此外，实施例可以包括跨越各种权利要求类别和类型的单独或任意组合的以下特征、设备或方面中的一个或多个：
·修改视频的图片的块的编码/解码，所述块使用线性加权预测在帧内预测模式中被编码/解码以减少用于存储权重矩阵的存储器；
·从以下获得块的帧内预测样本：在权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵向量乘积和相关联的偏置，以及相邻参考样本的集合；
·基于线性加权帧内预测模式和块形状，在权重矩阵和相关联的偏置向量的集合中选择至少两个大小为m×r和r×n的权重矩阵G和HT以及相关联的偏置向量b，第一选择的权重矩阵G具有大小m×r，且第二选择的权重矩阵G具有大小r×n，其中m、n、r是整数，r
小于m且r小于n；
·从第一矩阵乘积HTx、第二矩阵乘积G(HTx)及加上相关联的偏置b获得块的帧内预测样本
从而结果是
其中x是n个相邻参考样本的集合；
·第一和第二权重矩阵G和HT从大小为m×n的权重矩阵M的低秩处理获得，并且其中所述权重矩阵M的估计
是第一和第二权重矩阵G和HT的乘积，
·秩r被确定以减少矩阵乘积复杂度；
·秩r响应于权重矩阵M的单值分解而被确定；
·对于大小为宽度*高度的块，相邻参考样本的集合x包括来自大小为宽度的相邻顶线和来自大小为高度的相邻左线的所有重构样本，从而避免了对参考样本的下采样；
·针对经典帧内预测，对于大小为宽度*高度的块，相邻参考样本的集合x包括来自大小为2*宽度的相邻顶线和来自大小为2*高度的相邻左线的所有重构样本；
·存储用于基于矩阵的帧内预测的所公开的结构化矩阵；
·从存储的结构化矩阵导出要编码或解码的块的帧内预测样本。
·相对于帧内预测样本的比特深度而增加两个矩阵乘积的比特深度；
·相对于帧内预测样本的比特深度而增加矩阵的比特深度；
·在解码器和/或编码器中启用或禁用在基于矩阵的帧内预测方法中使用的结构化权重矩阵的处理；
·在信令中，插入语法元素，所述语法元素使得解码器能够识别在解码器和/或编码器中的基于矩阵的帧内预测方法中使用的可能的权重矩阵；
·在信令中，插入表示权重矩阵和相关联的偏置的集合的至少一个高级语法元素到图片参数集(PPS)中，使得使用线性加权预测的帧中的所有块使用利用信号发送的权重矩阵集合；
·在信令中，插入表示权重矩阵和相关联的偏置的集合的至少一个高级语法元素到序列参数集(SPS)中，使得使用线性加权预测的序列中的所有块使用利用信号发送的权重矩阵集合；
·一种比特流或信号，包括所描述的语法元素中的一个或多个或其变型。
·一种比特流或信号，包括根据所描述的任何实施例生成的语法传达信息。
·在信令中，插入语法元素，使得解码器能够以对应于编码器所使用的方式应用基于矩阵的帧内预测。
·创建和/或传送和/或接收和/或解码包括所描述的语法元素的一个或多个或其变型的比特流或信号。
·根据所描述的任意实施例创建和/或传送和/或接收和/或解码。
·根据所描述的任意实施例的方法、过程、装置、存储指令的介质、存储数据的介质或者信号。
·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的任意实施例的基于矩阵的帧内预测。
·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任意实施例执行基于矩阵的帧内预测，并且显示(例如，使用监视器、屏幕或其他类型的显示器)结果图像。
·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择(例如，使用调谐器)信道以接收包括编码图像的信号，并且根据所描述的任意实施例执行基于矩阵的帧内预测。
·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括编码图像的信号，并且根据所描述的任意实施例执行基于矩阵的帧内预测。
Claims (15)
1.一种用于视频编码的方法，包括：
使用线性加权预测在帧内预测模式中编码所述视频的图片的块；
其中所述编码包括从以下获得所述块的帧内预测样本：在权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵向量乘积和相关联的偏置，以及相邻参考样本的集合。
2.一种用于视频解码的方法，包括：
对所述视频的图片的块进行解码，所述块是使用线性加权预测在帧内预测模式中被译码的；
其中所述解码包括从以下获得所述块的帧内预测样本：在权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵向量乘积和相关联的偏置，以及相邻参考样本的集合。
3.一种用于视频编码的装置，其包括一个或多个处理器及至少一个存储器，且其中所述一个或多个处理器被配置用于：
使用线性加权预测在帧内预测模式中编码所述视频的图片的块，
其中，所述块的帧内预测样本从以下获得：在权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵向量乘积和相关联的偏置，以及相邻参考样本的集合。
4.一种用于视频解码的装置，其包括一个或多个处理器及至少一个存储器，且其中所述一个或多个处理器被配置为：
对所述视频的图片的块进行解码，所述块是使用线性加权预测在帧内预测模式中被译码的；
其中，所述块的帧内预测样本从以下获得：在权重矩阵和相关联的偏置向量的集合之中的至少两个选择的权重矩阵之间的至少两个矩阵向量乘积和相关联的偏置，以及相邻参考样本的集合。
5.根据权利要求1或2所述的方法或根据权利要求3或4所述的装置，其中所述使用线性加权预测对块进行编码或解码包括：
-确定n个相邻参考样本的集合x；
-基于线性加权帧内预测模式和块形状，在权重矩阵和相关联的偏置向量的集合之中选择至少两个大小为m×r和r×n的权重矩阵G和HT以及相关联的偏置向量b，所第一选择的权重矩阵G具有大小m×r，以及所第二选择的权重矩阵G具有大小r×n，其中m、n、r是整数，r小于m且r小于n；
-从第一矩阵乘积HTx、第二矩阵乘积G(HTx)以及加上相关联的偏置b，获得所述块的帧内预测样本
结果是
6.根据权利要求5所述的方法或根据权利要求5所述的装置，其中所述第一和第二权重矩阵G和HT从对大小为m×n的权重矩阵M的低秩处理获得，并且其中所述权重矩阵M的估计
是所述第一和第二权重矩阵G和HT的乘积，
7.根据权利要求6所述的方法或根据权利要求6所述的装置，其中r被确定以降低矩阵乘积复杂度。
8.根据权利要求6所述的方法或根据权利要求6所述的装置，其中r响应于所述权重矩阵M的单值分解SVD而被确定。
9.根据权利要求1、2、5-8所述的方法或根据权利要求1、2、5-8所述的装置，其中针对大小为宽度*高度的块，所述相邻参考样本的集合x包括来自大小为宽度的相邻顶线和来自大小为高度的相邻左线的所有所述重构样本。
10.根据权利要求1、2、5-8所述的方法或根据权利要求1、2、5-8所述的装置，其中针对大小为宽度*高度的块，所述相邻参考样本的集合x包括来自大小为2*宽度的相邻顶线和来自大小为2*高度的相邻左线的所有所述重构样本。
11.根据权利要求1、2或5-10中任一项所述的方法或根据权利要求3至10中任一项所述的装置，其中表示所述权重矩阵和相关联的偏置的集合的至少一个高级语法元素在所述图片参数集(PPS)中被用信号发送，使得使用线性加权预测的帧中的所有块使用所述用信号发送的权重矩阵集合。
12.根据权利要求1、2或5-10中任一项所述的方法或根据权利要求3至10中任一项所述的装置，其中表示所述权重矩阵和相关联的偏置的集合的至少一个高级语法元素在所述序列参数集(SPS)中被用信号发送，使得使用线性加权预测的序列中的所有块使用所述用信号发送的权重矩阵集合。
13.根据权利要求1、2或5-12中任一项所述的方法或根据权利要求3至12中任一项所述的装置，其中所述两个矩阵向量乘积的所述比特深度相对于帧内预测样本的所述比特深度而被增加。
14.一种计算机程序产品，其包含根据权利要求1、2或5-13中任一项编码或解码视频数据的指令。
15.一种非暂时性计算机可读存储介质，其上存储有用于根据权利要求1、2或5-13中任一项编码或解码视频数据的指令。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19305969.8 | 2019-07-22 | ||
| EP19305969 | 2019-07-22 | ||
| PCT/US2020/040471 WO2021015935A1 (en) | 2019-07-22 | 2020-07-01 | Method and apparatus for video encoding and decoding with matrix based intra-prediction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114145021A true CN114145021A (zh) | 2022-03-04 |
Family
ID=67551307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080053273.6A Pending CN114145021A (zh) | 2019-07-22 | 2020-07-01 | 用于利用基于矩阵的帧内预测的视频编码和解码的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220256161A1 (zh) |
| EP (1) | EP4005211A1 (zh) |
| KR (1) | KR20220035108A (zh) |
| CN (1) | CN114145021A (zh) |
| BR (1) | BR112021026574A2 (zh) |
| WO (1) | WO2021015935A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2588406B (en) * | 2019-10-22 | 2022-12-07 | British Broadcasting Corp | Video encoding and video decoding |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108141608A (zh) * | 2015-09-29 | 2018-06-08 | 高通股份有限公司 | 针对视频译码使用与位置相关的预测组合的改进视频帧内预测 |
| WO2018219925A1 (en) * | 2017-05-31 | 2018-12-06 | Interdigital Vc Holdings, Inc. | Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding |
-
2020
- 2020-07-01 BR BR112021026574A patent/BR112021026574A2/pt unknown
- 2020-07-01 EP EP20742622.2A patent/EP4005211A1/en active Pending
- 2020-07-01 WO PCT/US2020/040471 patent/WO2021015935A1/en unknown
- 2020-07-01 US US17/627,377 patent/US20220256161A1/en active Pending
- 2020-07-01 CN CN202080053273.6A patent/CN114145021A/zh active Pending
- 2020-07-01 KR KR1020227000721A patent/KR20220035108A/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108141608A (zh) * | 2015-09-29 | 2018-06-08 | 高通股份有限公司 | 针对视频译码使用与位置相关的预测组合的改进视频帧内预测 |
| WO2018219925A1 (en) * | 2017-05-31 | 2018-12-06 | Interdigital Vc Holdings, Inc. | Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding |
Non-Patent Citations (5)
| Title |
|---|
| JIN WANG ET AL: "A Low-rank Matrix Completion Based Intra Prediction for H.264/AVC", 《2011 IEEE 13TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING》, no. 01, pages 1 - 6, XP032027588, DOI: 10.1109/MMSP.2011.6093848 * |
| JONATHAN PFAFF ET AL: "CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2)（JVET-N0217）", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, 19–27 MARCH 2019》, pages 1 - 22 * |
| KENJI KONDO ET AL: "Non-CE3: On rounding shift of MIP（ JVET-O0408-v2）", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, SE, 3–12 JULY 2019》, pages 1 - 4 * |
| M. ALBRECHT ET AL: "Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI（ JVET-J0014-v4）", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018》, pages 1 - 123 * |
| RACAPE F: "Report on CE2 results from interdigital", 《MPEG MEETING》, pages 1 - 5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220256161A1 (en) | 2022-08-11 |
| WO2021015935A1 (en) | 2021-01-28 |
| KR20220035108A (ko) | 2022-03-21 |
| EP4005211A1 (en) | 2022-06-01 |
| BR112021026574A2 (pt) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112956192A (zh) | 多参考行帧内预测和最可能的模式 | |
| CN113557730A (zh) | 用于利用基于子块的局部光照补偿的视频编码和解码方法和装置 | |
| EP3706421A1 (en) | Method and apparatus for video encoding and decoding based on affine motion compensation | |
| JP2023543985A (ja) | 多用途ビデオコーディングのためのテンプレートマッチング予測 | |
| KR20210066823A (ko) | 광각 인트라 예측을 위한 방향들 | |
| CN112771874A (zh) | 用于画面编码和解码的方法和设备 | |
| CN114946182A (zh) | 生成边信息的深度帧内预测器 | |
| WO2020086248A1 (en) | Method and device for picture encoding and decoding | |
| CN112806011A (zh) | 改进的虚拟时间仿射候选 | |
| EP3641311A1 (en) | Encoding and decoding methods and apparatus | |
| US20220256161A1 (en) | Method and apparatus for video encoding and decoding with matrix based intra-prediction | |
| KR20210058846A (ko) | 인트라 변환 코딩 및 광각 인트라 예측의 조화 | |
| CN114402614A (zh) | 使用基于矩阵的帧内预测进行视频编码和解码的方法和装置 | |
| CN114930819A (zh) | 三角形合并模式中的子块合并候选 | |
| CN113545047A (zh) | 帧内预测模式分区 | |
| EP4055824A1 (en) | Deep intra prediction of an image block | |
| US11985306B2 (en) | Method and apparatus for video encoding and decoding with matrix based intra-prediction | |
| CN113424540A (zh) | 帧内预测模式扩展 | |
| CN113261284A (zh) | 使用多重变换选择进行视频编码和解码 | |
| US20240155148A1 (en) | Motion flow coding for deep learning based yuv video compression | |
| US20220398455A1 (en) | Iterative training of neural networks for intra prediction | |
| US20220303541A1 (en) | Method and device for picture encoding and decoding using position dependent intra prediction combination | |
| CA3232995A1 (en) | Improving the angle discretization in decoder side intra mode derivation | |
| WO2024012810A1 (en) | Film grain synthesis using encoding information | |
| CN112806013A (zh) | 仿射模式下基于块大小的运动矢量编码 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |