CN113950836B - 基于矩阵的帧内预测的上下文确定 - Google Patents
基于矩阵的帧内预测的上下文确定 Download PDFInfo
- Publication number
- CN113950836B CN113950836B CN202080043084.0A CN202080043084A CN113950836B CN 113950836 B CN113950836 B CN 113950836B CN 202080043084 A CN202080043084 A CN 202080043084A CN 113950836 B CN113950836 B CN 113950836B
- Authority
- CN
- China
- Prior art keywords
- block
- mode
- chroma
- intra
- alwip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 317
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 110
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 108
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000003672 processing method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 52
- 230000007704 transition Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 239000000523 sample Substances 0.000 description 123
- 230000008569 process Effects 0.000 description 115
- 235000019557 luminance Nutrition 0.000 description 73
- 238000001914 filtration Methods 0.000 description 66
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 40
- 238000009795 derivation Methods 0.000 description 30
- 238000005192 partition Methods 0.000 description 18
- 239000013074 reference sample Substances 0.000 description 18
- 230000011664 signaling Effects 0.000 description 17
- 238000005070 sampling Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 238000013139 quantization Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000010276 construction Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 101100226347 Escherichia phage lambda exo gene Proteins 0.000 description 8
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000007493 shaping process Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- FZEIVUHEODGHML-UHFFFAOYSA-N 2-phenyl-3,6-dimethylmorpholine Chemical compound O1C(C)CNC(C)C1C1=CC=CC=C1 FZEIVUHEODGHML-UHFFFAOYSA-N 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 2
- 101150039623 Clip1 gene Proteins 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- QEDQZYNGDXULGO-UHFFFAOYSA-N 3-methyl-2-(3-methylphenyl)morpholine Chemical compound CC1NCCOC1C1=CC=CC(C)=C1 QEDQZYNGDXULGO-UHFFFAOYSA-N 0.000 description 1
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- ONTQJDKFANPPKK-UHFFFAOYSA-L chembl3185981 Chemical compound [Na+].[Na+].CC1=CC(C)=C(S([O-])(=O)=O)C=C1N=NC1=CC(S([O-])(=O)=O)=C(C=CC=C2)C2=C1O ONTQJDKFANPPKK-UHFFFAOYSA-L 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- OVBPIULPVIDEAO-LBPRGKRZSA-N folic acid Chemical compound C=1N=C2NC(N)=NC(=O)C2=NC=1CNC1=CC=C(C(=O)N[C@@H](CCC(O)=O)C(O)=O)C=C1 OVBPIULPVIDEAO-LBPRGKRZSA-N 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Abstract
描述了用于数字视频编解码的设备、系统和方法，其包括为视频编解码的基于矩阵的帧内预测方法。在代表性方面，一种视频处理方法包括：执行是否使用基于矩阵的帧内预测(MIP)模式来编解码视频的亮度视频块的第一确定；执行亮度视频块可应用于确定视频的当前色度视频块的色度帧内模式的第二确定；基于第一确定和第二确定，执行关于将用于当前色度视频块的色度帧内模式的第三确定；以及基于第三确定，执行当前色度视频块和当前色度视频块的比特流表示之间的转换。
Description
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则，本申请旨在及时要求于2019年6月5日提交的国际专利申请第PCT/CN2019/090205号的优先权和利益。出于法律规定的所有目的，前述申请的全部公开通过引用并入作为本申请的公开的一部分。
技术领域
本专利文件涉及视频编解码技术、设备和系统。
背景技术
尽管视频压缩有所进步，数字视频在互联网和其他数字通信网络上仍占最大的带宽使用量。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用所需的带宽将继续增长。
发明内容
描述了与数字视频编解码相关的设备、系统和方法，特别是用于视频编解码的基于矩阵的帧内预测方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(High Efficiency Video Coding，HEVC))和未来的视频编解码标准(例如，通用视频编解码(Versatile Video Coding，VVC))或编解码器。
在一个代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：执行是否使用基于矩阵的帧内预测(Matrix Based Intra Prediction，MIP)模式来编解码视频的亮度视频块的第一确定，在该MIP模式中，通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作来确定亮度视频块的预测块；执行亮度视频块可应用于确定视频的当前色度视频块的色度帧内模式的第二确定，其中执行第二确定是基于当前色度视频块的相对于与当前色度视频块相关联的当前图片的左上角亮度样点的左上角样点，并且其中执行第二确定是基于当前色度视频块相对于亮度视频块的维度和/或当前视频单元的颜色格式；基于第一确定和第二确定，执行关于将用于当前色度视频块的色度帧内模式的第三确定；以及基于第三确定，执行当前色度视频块和当前色度视频块的比特流表示之间的转换。
在另一个代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：执行使用基于矩阵的帧内预测(MIP)模式来编解码视频的亮度视频块的第一确定，在该MIP模式中，通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定亮度视频块的预测块；基于第一确定，根据规则，执行关于导出模式(Derived Mode，DM)是否用作与亮度视频块相关联的当前色度视频块的色度帧内模式的第二确定；以及基于第二确定，执行当前色度视频块和当前色度视频块的比特流表示之间的转换。
在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：确定用基于矩阵的帧内预测(MIP)模式对视频的当前视频块进行编解码，在该MIP模式中，通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定当前视频块的预测块；基于该确定，基于规则生成最可能模式(Most Probable Mode，MPM)列表，其中，该规则规定该MPM列表独立于为当前视频块的相邻视频块生成的另一MPM列表而生成；以及使用该MPM列表来执行当前视频块和当前视频块的比特流表示之间的转换。
在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：使用基于矩阵的帧内预测(MIP)模式对视频的当前视频块进行编解码，在该MIP模式中，通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定当前视频块的预测块，其中，规则描述在MIP模式中使用的矩阵的数量和当前视频块的维度之间的关系；以及将当前视频块的编码表示添加到当前视频块的比特流表示。
在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：确定使用基于矩阵的帧内预测(MIP)模式来将视频的当前视频块编码在比特流表示中，在该MIP模式中，通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定当前视频块的预测块，其中，规则描述在MIP模式中使用的矩阵的数量和当前视频块的维度之间的关系；以及通过解析和解码比特流表示来生成当前视频块的解码表示。
在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：确定使用仿射线性加权帧内预测(Affine Linear Weighted Intra Prediction，ALWIP)模式对当前视频块进行编解码；基于该确定，基于非ALWIP帧内模式的MPM列表的至少一部分，构造ALWIP模式的最可能模式(MPM)列表的至少一部分；以及基于ALWIP模式的MPM列表，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块的亮度分量进行编解码，基于该确定推断色度帧内模式，以及基于色度帧内模式执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，以及基于该确定执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：确定使用不同于仿射线性加权帧内预测(ALWIP)模式的编解码模式对当前视频块进行编解码，以及基于该确定执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：为当前视频块，使用仿射线性加权帧内预测(ALWIP)模式生成第一预测；基于第一预测，使用位置相关帧内预测组合(Position Dependent Intra Prediction Combination，PDPC)生成第二预测；以及基于第二预测，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。示例性方法包括：确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，基于ALWIP模式预测当前视频块的多个子块，以及基于预测执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，公开了一种视频处理方法。该方法包括：基于当前视频块的规则，确定标志的上下文，该标志指示在当前视频块和当前视频块的比特流表示之间的转换期间使用仿射线性加权帧内预测(ALWIP)模式；基于ALWIP模式，预测当前视频块的多个子块；以及基于该预测，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，公开了一种视频处理方法。该方法包括：确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，以及在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样处理中对当前视频块的样点执行至少两个滤波阶段，其中，在该至少两个滤波阶段的第一滤波阶段中的样点的第一精度不同于在该至少两个滤波阶段的第二滤波阶段中的样点的第二精度。
在又一方面，公开了一种视频处理方法。该方法包括：确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样处理中对当前视频块的样点执行至少两个滤波阶段，其中，在执行垂直和水平上采样两者的情况下，以固定顺序执行上采样处理。
在又一方面，公开了一种视频处理方法。该方法包括：确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样处理中对当前视频块的样点执行至少两个滤波阶段，其中该转换包括在上采样处理之前执行转置(transposing)操作。
在又一代表性方面，上述方法以处理器可运行代码的形式体现，并存储在计算机可读程序介质中。
在又一代表性方面，公开了被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。
在再一代表性方面，视频解码器装置可以实施如本文所述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开的技术的上述和其他方面和特征。
附图说明
图1示出了33个帧内预测方向的示例。
图2示出了67种帧内预测模式的示例。
图3示出了用于推导线性模型的权重的样点的位置的示例。
图4示出了相邻预测块的四条参考线的示例。
图5A和图5B示出了取决于块尺寸的子分割的示例。
图6示出了用于4×4块的ALWIP示例。
图7示出了用于8×8块的ALWIP示例。
图8示出了用于8×4块的ALWIP示例。
图9示出了用于16×16块的ALWIP示例。
图10示出了在MPM列表构造中使用的相邻块的示例。
图11示出了根据所公开的技术的基于矩阵的帧内预测的示例方法的流程图。
图12示出了根据所公开的技术的基于矩阵的帧内预测的另一示例方法的流程图。
图13示出了根据所公开的技术的基于矩阵的帧内预测的又一示例方法的流程图。
图14示出了根据所公开的技术的基于矩阵的帧内预测的再一示例方法的流程图。
图15是用于实施本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。
图16示出了相邻块的示例。
图17是提出的缩减的(reduced)边界样点生成的示例。
图18示出了对原始重建相邻样点进行所提出的上采样的示例。
图19是示出视频解码器的示例的框图。
图20是示出其中可以实施本文公开的各种技术的示例视频处理系统的框图。
图21是示出可以利用本公开的技术的示例视频编码系统的框图。
图22是示出视频编码器的示例的框图。
图23-27示出了根据所公开的技术的基于矩阵的帧内预测的附加示例方法的流程图。
具体实施方式
由于对更高分辨率视频的需求日益增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的简易性、随机访问和端到端延迟(延时)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待最终确定的通用视频编解码(VVC)标准或其他当前和/或未来的视频编解码标准。
所公开的技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，265)和未来的标准，以提高运行时性能。在本文档中使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限制于各个章节。
1 HEVC简要回顾
1.1 HEVC/H.265中的帧内预测
帧内预测包括使用先前在所考虑的颜色通道中重建的样点为给定的TB(变换块)产生样点。帧内预测模式对亮度通道和色度通道是单独信令通知的，其中色度通道帧内预测模式通过“DM_CHROMA”模式可选地取决于亮度通道帧内预测模式。尽管帧内预测模式是在PB(预测块)级信令通知的，但是根据CU的残差四叉树层级，帧内预测处理是在TB级应用的，从而允许一个TB的编解码对CU内的下一个TB的编解码有影响，并且因此减少了到用作参考值的样点的距离。
HEVC包括35种帧内预测模式–DC(direct current，直流)模式、平面模式和33个方向或“角度”帧内预测模式。图1中示出了33个角度帧内预测模式。
对于与色度颜色通道相关联的PB，帧内预测模式被规定为平面、DC、水平、垂直、“DM_CHROMA”模式或有时为对角模式“34”。
注意：对于色度格式4：2：2和4：2：0，色度PB可能与两个或四个(分别)亮度PB重叠；在这种情况下，DM_CHROMA的亮度方向取自这些亮度PB的左上角。
DM_CHROMA模式指示亮度颜色通道PB的帧内预测模式被应用于色度颜色通道PB。因为这是相对常见的，所以intra_chroma_pred_mode的最可能模式编解码方案偏向于选择该模式。
2 VVC中帧内预测的示例
2.1具有67个帧内预测模式的帧内模式编解码
为了捕获自然视频中呈现的任意边缘方向，方向帧内模式的数量从HEVC使用的33个扩展到65个。附加的方向模式在图2中用红色虚线箭头表示，并且平面和DC模式保持相同。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
2.2跨分量线性模型(cross-component linear model，CCLM)的示例在一些实施例中，为了减少跨分量冗余，在JEM使用跨分量线性模型(CCLM)预测模式(也称为LM)，对于该模式，通过使用如下线性模型，基于相同CU的重建亮度样点来预测色度样点：
predC(i,j)＝α·recL′(i,j)+β (1)
这里，predC(i,j)表示CU中的预测色度样点，并且recL′(i,j)表示同一CU的下采样重建亮度样点。线性模型参数α和β源自两个样点的亮度值和色度值之间的关系，这两个样点是在下采样的相邻亮度样点集合内的具有最小样点值和最大样点的亮度样点以及它们相应的色度样点。图3示出了左侧和上方样点的位置以及CCLM模式中涉及的当前块的样点的示例。
这种参数计算是作为解码过程的一部分来执行的，而不仅仅是作为编码器搜索操作。因此，没有使用语法来将α和β值传递给解码器。
对于色度帧内模式编解码，色度帧内模式编解码总共允许8种帧内模式。这些模式包括五种常规的帧内模式和三种跨分量线性模型模式(CCLM、LM_A和LM_L)。色度模式编解码直接取决于相应亮度块的帧内预测模式。由于亮度和色度分量的单独块分区结构在I条带中被启用，所以一个色度块可以对应于多个亮度块。因此，对于色度DM模式，覆盖当前色度块的中心位置的相应亮度块的帧内预测模式被直接继承。
2.3多参考线(multiple reference line，MRL)帧内预测
多参考线(MRL)帧内预测使用更多参考线进行帧内预测。在图4中，描绘了4条参考线的示例，其中段A和段F的样点不是从重建的相邻样点中提取的，而是分别用来自段B和段E的最接近的样点填充。HEVC图像内预测使用最近的参考线(即参考线0)。在MRL，使用了另外两条线(参考线1和参考线3)。选定参考线的索引(mrl_idx)被信令通知并用于生成帧内预测器。对于大于0的参考线idx，仅包括MPM列表中的附加参考线模式，并且仅信令通知MPM索引，不包括剩余模式。
2.4帧内子分区(Intra sub-partitions，ISP)
帧内子分区(ISP)工具根据块的尺寸将亮度帧内预测块垂直或水平划分为2或4个子分区。例如，ISP的最小块尺寸是4×8(或8×4)。如果块尺寸大于4×8(或8×4)，则相应的块被划分为4个子分区。图5示出了两种可能性的示例。所有子分区都满足至少有16个样点的条件。
对于每个子分区，通过将残差信号添加到预测信号来获得重建样点。这里，通过诸如熵解码、逆量化和逆变换之类的处理来生成残差信号。因此，每个子分区的重建样点值可用于生成下一个子分区的预测，并且每个子分区被重复处理。此外，要处理的第一个子分区包含CU的左上角样点，然后继续向下(水平分割)或向右(垂直分割)。结果，用于生成子分区预测信号的参考样点仅位于线的左侧和上方。所有子分区共享相同的帧内模式。
2.5仿射线性加权帧内预测(ALWIP或基于矩阵的帧内预测)
仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测(MIP))是在JVET-N0217中提出的。
在JVET-N0217中，进行了两个测试。在测试1中，ALWIP被设计为具有8K字节的内存限制，并且每个样点最多4次乘法。测试2类似于测试1，但在内存需求和模型架构方面进一步简化了设计。
○所有块形状的矩阵和偏移矢量的单个集合。
○所有块形状的模式数量减少到19个。
○将内存需求减少到5760个10位值，即7.20千字节。
○预测样点的线性插值在每个方向的单步骤中执行，代替第一测试中的迭代插值。
2.5.1 JVET-N0217的测试1
为了预测具有宽度W和高度H的矩形块的样点，仿射线性加权帧内预测(ALWIP)将块左侧的一行H个重建的相邻边界样点和块上方的一行W个重建的相邻边界样点作为输入。如果重建样点不可用，则像在常规帧内预测中那样生成它们。
预测信号的生成基于以下三个步骤：
在边界样点中，在W＝H＝4的情况下的4个样点和在所有其他情况下的8个样点通过平均提取。
以平均样点作为输入，执行矩阵矢量乘法，接着加上偏移。结果是原始块中样点的二次采样集合上的缩减预测信号。
剩余位置处的预测信号是通过线性插值从二次采样集合上的预测信号中产生的，线性插值是在每个方向上的单步骤线性插值。
生成预测信号所需的矩阵和偏移矢量取自三个矩阵集合S0,S1,S2。集合S0由18个矩阵(其中每个矩阵有16行和4列)以及18个偏移矢量/>(每个偏移矢量的尺寸为16)组成。该集合的矩阵和偏移矢量用于尺寸为4×4的块。集合S1由10个矩阵/>(其中每个矩阵具有16行和8列)以及10个偏移矢量/>(其中每个偏移矢量的尺寸为16)组成。该集合的矩阵和偏移矢量用于尺寸为4×8,8×4和8×8的块。最后，集合S2由6个矩阵/>(每个矩阵有64行和8列)，以及6个尺寸为64的偏移矢量/>组成。该集合的矩阵和偏移矢量或这些矩阵和偏移矢量的一部分用于所有其他块形状。
计算矩阵矢量乘积所需的乘法总数量总是小于或等于4×W×H。换句话说，对于ALWIP模式每个样点最多需要四次乘法。
2.5.2边界的平均
在第一步骤中，输入边界bdrytop和bdryleft被缩减为更小的边界和这里，在4×4块的情况下，/>和/>两者都由2个样点组成，而在所有其他情况下，两者都由4个样点组成。
在4×4块的情况下，对于0≤i＜2，我们定义了
并且类似地定义
否则，如果给定块宽度W为W＝4·2k，则对于0≤i＜4，定义了
并且类似地定义
这两个缩减的边界和/>并被级联到一个缩减的边界矢量bdryred，因此对于形状4×4的块的尺寸为4，对于所有其他形状的块的尺寸为8。如果模式指的是ALWIP模式，这种级联定义如下：
最后，对于二次采样预测信号的插值，在大块上需要平均边界的第二版本。也就是说，如果min(W,H)＞8并且W≥H，写入W＝8*2l，并且对于
2.5.3通过矩阵矢量乘法生成缩减预测信号
从缩减的输入矢量bdryred中产生缩减预测信号predred。后一个信号是在宽度Wred和高度Hred的下采样块上的信号。这里，Wred和Hred被定义为：
通过计算矩阵矢量乘积并加上偏移来计算缩减预测信号predred：
predred＝A·bdryred+b
这里，A是一个矩阵，具有Wred·Hred行，如果W＝H＝4，具有4列，在所有其他情况下，具有8列。b是尺寸为Wred·Hred的矢量。
矩阵A和矢量b取自集合S0，S1，S2之一，如下所示。定义索引idx＝idx(W,H)如下：
此外，设置m如下：
然后，如果idx≤1或idx＝2以及min(W,H)＞4，设置以及/> 在idx＝2和min(W,H)＝4的情况下，使A为通过省略/>的每一行而产生的矩阵，在W＝4的情况下，/>对应于下采样块中的奇数x坐标，或者，在H＝4的情况下，/>对应于下采样块中的奇数y坐标。
最后，在下面的情况下，缩减预测信号被它的转置所代替：
○W＝H＝4且模式≥18
○max(W,H)＝8且模式≥10
○max(W,H)＞8且模式≥6
在W＝H＝4的情况下，计算predred所需的乘法次数为4，因为在这种情况下A具有4列16行。在所有其他情况下，A具有8列和Wred·Hred行，并且立即验证在这些情况下需要8·Wred·Hred≤4·W·H次乘法，即也在这些情况下，每个样点最多需要4次乘法来计算predred。
2.5.4整ALWIP处理的图示
图6-图9示出了不同形状的平均、矩阵矢量乘法和线性插值的整个过程。请注意，剩余形状被视为所描述的情况之一。
1.给定4×4的块，ALWIP沿边界的每个轴取两个平均值。得到的四个输入样点进入矩阵矢量乘法。矩阵取自集合S0。添加偏移后，这将产生16个最终预测样点。线性插值对于生成预测信号不是必需的。因此，执行每个样点的总共(4·16)/(4·4)＝4次乘法。
2.给定8×8的块，ALWIP沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数位置上产生16个样点。因此，执行每个样点的总共(8·16)/(8·8)＝2次乘法。添加偏移后，通过使用缩减的上方边界垂直插值这些样点。接着通过使用原始的左侧边界进行水平插值。
3.给定8×4的块，ALWIP沿着边界的水平轴取四个平均值，并在左侧边界取四个原始边界值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数的水平位置和每个垂直位置上产生16个样点。因此，执行每个样点的总共(8·16)/(8·4)＝4次乘法。添加偏移后，通过使用原始的左侧边界水平地插值这些样点。
4.给定16×16的块，ALWIP沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S2。这在预测块的奇数位置上产生64个样点。因此，执行每个样点的总共(8·64)/(16·16)＝2次乘法。添加偏移后，通过使用上方边界的八个平均值垂直地插值这些样点。接着通过使用原始的左侧边界进行水平插值。在这种情况下，插值处理不增加任何乘法。因此，每个样点总共需要两次乘法来计算ALWIP预测。
对于较大的形状，处理基本相同，并且很容易检查每个样点的乘法次数是否少于四次。
对于W>8的W×8块，只需要水平插值，因为样点是在奇数的水平位置和每个垂直位置给出的。
最后，对于W>8的W×4块，让A_k为通过省略对应于沿着下采样块的水平轴的奇数条目的每一行而产生的矩阵。因此，输出尺寸为32，并且只剩下水平插值需要执行。
转置的情况会相应地处理。
2.5.5单步骤线性插值
对于max(W,H)≥8的WxH块，预测信号通过线性插值从WredxHred上的缩减预测信号predred产生。根据块的形状，线性插值在垂直、水平或两个方向上进行。如果要在两个方向上应用线性插值，则如果W＜H，首先在水平方向上应用线性插值，否则，首先在垂直方向上应用线性插值。
不失一般性地考虑max(W,H)≥8和W≥H的WxH块。然后，如下执行一维线性插值。不失一般性，描述垂直方向上的线性插值就足够了。首先，缩减预测信号被边界信号扩展到上方。定义垂直上采样因子Uver＝H/Hred并写入然后，通过以下方式定义扩展后的缩减预测信号
然后，从该扩展后的缩减预测信号，垂直线性插值的预测信号由下式生成
对于0≤x＜Wred,0≤y＜Hred和0≤k＜Uver。
2.5.6提出的帧内预测模式的信号化
对于帧内模式中的每个编解码单元(Coding Unit，CU)，在比特流中发送指示ALWIP模式是否将被应用于相应的预测单元(Prediction Unit，PU)的标志。后一个索引的信号化以与JVET-M0043中相同的方式与MRL协调。如果要应用ALWIP模式，ALWIP模式的索引predmode将使用带有3个MPMS的MPM列表来信令通知。
这里，使用上面的和左侧的PU的帧内模式如下执行MPM的推导。存在为每个常规帧内预测模式predmodeAngular分配ALWIP模式的三个固定表map_angular_to_alwipidx，idx∈{0,1,2}
predmodeALWIP＝map_angular_to_alwipidx[predmodeAngular]。
对于每个宽度W和高度H的PU，定义索引
idx(PU)＝idx(W,H)∈{0,1,2}
这表明在第2.5.3节中，ALWIP参数将取自三个集合中的哪一个。
如果上述预测单元PUabove可用，与当前PU属于相同的CTU，并且处于帧内模式，如果idx(PU)＝idx(PUabove)且如果ALWIP被应用于具有ALWIP-模式的PUabove，则
如果上述PU可用，与当前PU属于相同的CTU，并且处于帧内模式，并且如果常规帧内预测模式被应用于上述PU，则
在所有其他情况下，则
这意味着该模式不可用。以同样的方式，但不限制左侧PU需要与当前的PU属于相同的CTU，推导模式
最后，提供了三个固定的默认列表listidx,idx∈{0,1,2，每个列表包含三种不同的ALWIP模式。从默认列表listidx(PU)和模式和/>中，通过用默认值替换-1以及消除重复来构建三个不同的MPM。
在ALWIP MPM列表构建中使用的左侧相邻块和上方相邻块是A1和B1，如图10所示。
2.5.7适用于常规亮度和色度帧内预测模式的MPM列表推导
所提出的ALWIP模式与常规帧内预测模式的基于MPM的编解码协调如下。常规帧内预测模式的亮度和色度MPM列表推导过程使用固定表map_alwip_to_angularidx,idx∈{0,1,2，将给定的PU上的ALWIP模式predmodeALWIP映射到常规帧内预测模式之一。
predmodeAngular＝map_alwip_to_angularidx(PU)[predmodeALWIP]
对于亮度MPM列表推导，每当遇到使用ALWIP模式predmodeALWIP的相邻亮度块时，该块就被视为使用常规帧内预测模式predmodeAngular。对于色度MPM列表推导，每当当前亮度块使用LWIP模式时，相同的映射被用于将ALWIP模式变换为常规帧内预测模式。
2.5.8相应的修改工作草案
在一些实施例中，如本章节所述，基于所公开的技术的实施例，已经将与intra_lwip_flag、intra_lwip_mpm_flag、intra_lwip_mpm_idx和intra_lwip_mpm_remainder关的部分添加到工作草案中。
在一些实施例中，如本章节所述，基于所公开的技术的实施例，使用<begin>和<end>标签来表示对工作草案的添加和修改。
语法表
编解码单位语法
/>
/>
/>
语义
<begin>intra_lwip_flag[x0][y0]等于1指示亮度样点的帧内预测类型是仿射线性加权帧内预测。intra_lwip_flag[x0][y0]等于0指示亮度样点的帧内预测类型不是仿射线性加权帧内预测。
当intra_lwip_flag[x0][y0]不存在时，它被推断为等于0。
语法元素intra_lwip_mpm_flag[x0][y0]、intra_lwip_mpm_idx[x0][y0]和intra_lwip_mpm_remainder[x0][y0]指示亮度样点的仿射线性加权帧内预测模式。阵列索引x0、y0指示所考虑的编解码块的左上角亮度样点相对于图片的左上角亮度样点的位置(x0、y0)。当intra_lwip_mpm_flag[x0][y0]等于1时，仿射线性加权帧内预测模式根据条款8.4.X从相邻的帧内预测编码单元推断。
当intra_lwip_mpm_flag[x0][y0]不存在时，它被推断为等于1。<end>
intra_subpartitions_split_flag[x0][y0]规定帧间子分区分割类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，其推断如下：
-如果intra_lwip_flag[x0][y0]等于1，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。
-否则，以下情况适用：
-如果cbHeight大于MaxTbSizeY，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。
-否则(cbWidth大于MaxTbSizeY)，intra_subpartitions_split_flag[x0][y0]被推断为等于1。
解码过程
8.4.1以帧内预测模式编解码的编解码单元的一般解码过程
这一过程的输入是：
-亮度位置(xCb，yCb)，规定相对于当前图像左上角亮度样点的当前编解码块的左上角样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度，
-变量treeType，规定是使用单树还是双树，以及如果使用双树，则规定当前树是对应于亮度分量还是色度分量。
该过程的输出是在环路滤波之前修改后的重建图像。
以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight以及变量treeType作为输入，调用条款8.7.1中规定的量化参数的推导过程。
当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，亮度样点的解码过程规定如下：
-如果pcm_flag[xCb][yCb]等于1，则重建图像修改如下：
SL[xCb+i][yCb+j]＝
pcm_sample_luma[(cbHeight*j)+i]<<(BitDepthY-PcmBitDepthY), (8-6)
其中i＝0..cbWidth-1,j＝0..cbHeight-1
-否则，以下情况适用：
1.亮度帧内预测模式推导如下：
-如果intra_lwip_flag[xCb][yCb]等于1，则以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用条款8.4.X中规定的仿射线性加权帧内预测模式的推导过程。
-否则，以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用条款8.4.2中规定的亮度帧内预测模式的推导过程。
2.条款8.4.4.1中规定的帧内块的一般解码过程是以亮度位置(xCb，yCb)、树类型treeType、设置为等于cbWidth的变量nTbW、设置为等于cbHeight的变量nTbH、设置为等于IntraPredModeY[xCb][yCb]的变量PredModeIntra以及设置为等于0的变量cIdx作为输入来调用的，并且输出是在环路滤波之前的修改的重建图像。
……
■
■
这一过程的输入有：
-亮度位置(xCb，yCb)，规定相对于当前图像左上角亮度样点的当前亮度编解码块的左上角样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
在这个过程中，仿射线性加权帧内预测模式IntraPredModeY[xCb][yCb]被推导。
IntraPredModeY[xCb][yCb]通过以下有序步骤推导：
1.相邻位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为等于(xCb-1,yCb)和(xCb,yCb-1)。
2.对于被A或B替换的X，变量candLwipModeX的推导如下：
-以被设置为等于(xCb，yCb)的位置(xCurr，yCurr)，以及被设置为等于(xNbX，yNbX)的相邻位置(xNbY，yNbY)作为输入，调用条款6.4.X[Ed.(BB)：相邻块可用性检查过程tbd]中规定的块的可用性推导过程，并且输出被分配给availableX。
-候选仿射线性加权帧内预测模式candLwipModeX推导如下：
-如果下列一个或多个条件为真，则candLwipModeX设置为等于1。
-变量availableX等于FALSE。
-CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且mh_intra_flag[xNbX][yNbX]不等于1。
-pcm_flag[xNbX][yNbX]等于1。
-X等于B，YCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
-否则，以下情况适用：
-以亮度样点中的当前编解码块的宽度cdWidth和亮度样点中的当前编解码块的高度cbHeight作为输入，调用条款8.4.X.1中规定的块的尺寸类型推导过程，并且输出被分配给变量sizeId。
-如果intra_lwip_flag[xNbX][yNbX]等于1，则以亮度样点中的相邻编解码块的宽度nbWidthX和亮度样点中的相邻编解码块的高度nbHeightX作为输入，来调用条款8.4.X.1中规定的块的尺寸类型推导过程，并将输出分配给sizeIdX。
-如果sizeId等于sizeIdX，则candLwipModeX设置为等于IntraPredModeY[xNbX][yNbX]。
-否则，candLwipModeX设置为等于-1。
-否则，使用表8-X1中规定的IntraPredModeY[xNbX][yNbX]和sizeId来推导candLwipModeX。
3.通过使用表8-X2中规定的lwipMpmCand[sizeId]推导出candLwipModeList[x](x＝0.2)：
-如果candLwipModeA和candLwipModeB都等于-1，则以下情况适用：
candLwipModeList[0]＝lwipMpmCand[sizeId][0] (8-X1)
candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X2)
candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X3)
-否则，以下情况适用：
-如果candLwipModeA等于candLwipModeB，或者如果candLwipModeA或candLwipModeB等于-1，则以下情况适用：
candLwipModeList[0]＝
(candLwipModeA！＝-1)？candLwipModeA:candLwipModeB(8-X4)
-如果candLwipModeList[0]等于lwipMpmCand[sizeId][0]，则以下情况适用：
candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X5)
candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X6)
-否则，以下情况适用：
candLwipModeList[1]＝lwipMpmCand[sizeId][0] (8-X7)
candLwipModeList[2]＝
(candLwipModeList[0]！＝lwipMpmCand[sizeId][1])？
lwipMpmCand[sizeId][1]:lwipMpmCand[sizeId][2] (8-X8)
-否则，以下情况适用：
candLwipModeList[0]＝candLwipModeA (8-X9)
candLwipModeList[1]＝candLwipModeB (8-X10)
-如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][0]，则以下情况适用：
candLwipModeList[2]＝lwipMpmCand[sizeId][0] (8-X11)
-否则，以下情况适用：
-如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][1]，则以下情况适用：
candLwipModeList[2]＝lwipMpmCand[sizeId][1] (8-X12)
-否则，以下情况适用：
candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X13)
4.IntraPredModeY[xCb][yCb]是通过应用以下程序得出的：
-如果intra_lwip_mpm_flag[xCb][yCb]等于1，则IntraPredModeY[xCb][yCb]被设置为等于candLwipModeList[intra_lwip_mpm_idx[xCb][yCb]]。
-否则，通过应用以下有序步骤推导IntraPredModeY[xCb][yCb]：
1.当对于i＝0..1，并且对于每个i,j＝(i+1)..2，candLwipModeList[i]大于candLwipModeList[j]时，两个值交换如下：
(candLwipModeList[i],candLwipModeList[j])＝
Swap(candLwipModeList[i],candLwipModeList[j]) (8-X14)
2.通过以下有序步骤推导IntraPredModeY[xCb][yCb]：
i.IntraPredModeY[xCb][yCb]被设置为等于intra_lwip_mpm_remainder[xCb][yCb].
ii.对于i等于0到2(包括0和2),当IntraPredModeY[xCb][yCb]大于或等于candLwipModeList[i],IntraPredModeY[xCb][yCb]的值增加1.
变量IntraPredModeY[x][y](其中x＝xCb..xCb+cbWidth-1，y＝yCb..yCb+cbHeight–1)设置为等于IntraPredModeY[xCb][yCb]。
■
这一过程的输入有：
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
这个过程的输出是变量sizeId。
变量sizeId的推导如下：
-如果cbWidth和cbHeight都等于4，则sizeId设置为等于0。
-否则，如果cbWidth和cbHeight都小于或等于8，sizeId将被设置为等于1。
-否则，sizeId被设置为等于2。
■/>
■/>
<end>
■
这一过程的输入有：
-亮度位置(xCb，yCb)，规定相对于当前图像左上角亮度样点的当前亮度编解码块的左上角样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
在此过程中，推导出亮度帧内预测模式IntraPredModeY[xCb][yCb]。
表8-1规定了帧内预测模式IntraPredModeY[xCb][yCb]的值和相关名称。
■表8-1–帧内预测模式和相关名称的说明
注－：帧内预测模式INTRA_LT_CCLM,INTRA_L_CCLM和INTRA_T_CCLM仅适用于色度分量。
通过以下有序步骤推导IntraPredModeY[xCb][yCb]：
1.相邻位置(xNbA,yNbA)和(xNbB,yNbB)分别被设置为等于(xCb-1,yCb+cbHeight-1)和(xCb+cbWidth-1,yCb-1)。
2.对于被A或B替换的X，变量candIntraPredModeX的推导如下：
-以被设置为等于(xCb，yCb)的位置(xCurr，yCurr)，以及被设置为等于(xNbX，yNbX)的相邻位置(xNbY，yNbY)作为输入，来调用条款6.4.X[Ed.(BB)：相邻块可用性检查过程tbd]/>中规定的块的可用性推导过程，并且输出被分配给availableX。
-候选帧内预测模式candIntraPredModeX推导如下：
-如果下列一个或多个条件为真，则candIntraPredModeX被设置为等于INTRA_PLANAR。
-变量availableX等于FALSE。
-CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且ciip_flag[xNbX][yNbX]不等于1。
-pcm_flag[xNbX][yNbX]等于1。
-X等于B，并且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
-否则，candIntraPredModeX将按如下方式推导：
-如果intra_lwip_flag[xCb][yCb]等于1，则candIntraPredModeX通过以下有序步骤推导：
i.以亮度样本中当前编解码块的宽度cbWidth和亮度样本中当前编解码块的高度cbHeight作为输入，来调用条款8.4.X.1中规定的块的尺寸类型推导过程，并将输出分配给变量sizeId。
ii.使用表8-X3中规定的IntraPredModeY[xNbX][yNbX]和izeId来推导candIntraPredModeX。
-否则，candIntraPredModeX被设置为等于InterpredModey[xNbX][yNbX]。
3.变量ispDefaultMode1和ispDefaultMode2定义如下：
-如果IntraSubPartitionsSplitType等于ISP_HOR_SPLIT，则ispDefaultMode1被设置为等于INTRA_ANGULAR18，以及ispDefaultMode2被设置为等于INTRA_ANGULAR5。
-否则，ispDefaultMode1被设置为等于INTRA_ANGULAR50，而ispDefaultMode2被设置为等于INTRA_ANGULAR63。
……
■表8-X3-仿射线性加权帧内预测和帧内预测模式之间的映射规范
/>
■
这一过程的输入有：
-亮度位置(xCb，yCb)，规定当前色度编解码块的左上角样点相对于当前图片的左上角亮度样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
在这个过程中，色度帧内预测模式IntraPredModeC[xCb][yCb]被推导。
相应的亮度帧内预测模式lumaIntraPredMode的推导如下：
-如果intra_lwip_flag[xCb][yCb]等于1，则通过以下有序步骤推导lumaIntraPredMode：
i.以亮度样点中的当前编解码块的宽度cbWidt和亮度样点中的当前编解码块的高度cbHeight作为输入，来调用条款8.4.X.1中规定的块的尺寸类型推导过程，并且输出被分配给变量sizeId。
ii.通过使用表8-X3中规定的IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]和sizeId来推导亮度帧内预测模式，并将candIntraPredModeX的值分配给lumaIntraPredMode。
-否则，lumaIntraPredMode被设置为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。
色度帧内预测模式IntraPredModeC[xCb][yCb]是使用表8-2和表8-3中规定的intra_chroma_pred_mode[xCb][yCb]和lumaIntraPredMode推导的。
……
■
<begin>
这一过程的输入是：
-样点位置(xTbCmp,yTbCmp)，规定相对于当前图片的左上角样点的当前变换块的左上角样点，
-变量predModeIntra，规定帧内预测模式，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度，
-变量nCbW，规定编解码块宽度，
-变量nCbH，规定编解码块高度，
-变量cIdx，规定当前块的颜色分量。
该过程的输出是预测样点predSamples[x][y](其中x＝0..nTbW-1,y＝0..nTbH-1)。
预测样点predSamples[x][y]的推导如下：
-如果intra_lwip_flag[xTbCmp][yTbCmp]等于1且cIdx等于0，则以位置(xTbCmp,yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和高度nTbH作为输入，来调用条款8.4.4.2.X1中规定的仿射线性加权帧内样点预测过程，并且输出为predSamples。
-否则，以位置(xTbCmp,yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和变换块高度nTbH、编解码块宽度nCbW和编解码块高度nCbH以及变量cIdx为输入，来调用条款8.4.4.2.X1中规定的一般帧内样点预测过程，并且输出为predSamples。
■
这一过程的输入是：
-样点位置(xTbCmp，yTbCmp)，规定相对于当前图片的左上角样点的当前变换块的左上角样点，
-变量predModeIntra，规定帧内预测模式，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度。
该过程的输出是预测样点predSamples[x][y](其中x＝0..nTbW-1,y＝0..nTbH-1)。
以变换块宽度nTbW和变换块高度nTbH作为输入，调用条款8.4.X.1中规定的块的尺寸类型推导过程，并将输出分配给变量sizeId。
使用表8-X4中规定的sizeId推导变量numModes、boundarySize、predW、predH和predC。
■
标志(flag)是按如下方式推导的：
isTransposed＝(predModeIntra>(numModes/2))？1:0 (8-X15)
标志needUpsBdryHor and needUpsBdryVer的推导如下：
needUpsBdryHor＝(nTbW>predW)？TRUE:FALSE (8-X16)
needUpsBdryVer＝(nTbH>predH)？TRUE:FALSE (8-X17)
变量upsBdryW和upsBdryH的推导如下：upsBdryW＝(nTbH>nTbW)？nTbW:predW (8-X18)
upsBdryH＝(nTbH>nTbW)？predH:nTbH (8-X19)
变量lwipW和lwipH的推导如下：
lwipW＝(isTransposed＝＝1)？predH:predW (8-X20)
lwipH＝(isTransposed＝＝1)？predW:predH (8-X21)
对于参考样点refT[x](x＝0..nTbW–1)和refL[y](y＝0..nTbH-1)的生成，以样点位置(xTbCmp，yTbCmp)、变换块宽度nTbW、变换块高度nTbH为输入，来调用条款8.4.4.2.X2中规定的参考样点推导过程，并以上方和左侧参考样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)，分别作为输出。
对于边界样点p[x](x＝0..2*boundarySize-1)的生成，以下情况适用：
-对于上方参考样点，以块尺寸nTbW、参考样点refT、边界尺寸boundarySize、上采样边界标志needUpsBdryVer、以及上采样边界尺寸upsBdryW作为输入，来调用条款8.4.4.2.X3中规定的边界缩减过程，并以缩减的边界样点redT[x](x＝0..boundarySize–1)和上采样边界样点upsBdryT[x](x＝0..upsBdryW–1)作为输出。
-对于左侧参考样点，以块尺寸nTbH、参考样点refL、边界尺寸boundarySize、上采样边界标志needUpsBdryHor和上采样边界尺寸upsBdryH作为输入，来调用条款8.4.4.2.X3中规定的边界缩减过程，并以缩减的边界样点redL[x](x＝0..boundarySize–1)和上采样边界样点upsBdryTL[x](x＝0..upsBdryW–1)作为输出。
-缩减的上方和左侧边界样点redT和redL被分配给边界样点阵列p，如下所示：
-如果isTransposed等于1，则p[x]被设置为等于redL[x](x＝0..boundarySize–1)，并且p[x+boundarySize]被设置为等于redT[x](x＝0..boundarySize–1)。
-否则，p[x]被设置为等于redT[x](x＝0..boundarySize–1)，并且p[x+boundarySize]被设置为等于redT[x]，(x＝0..boundarySize–1)。
对于根据predModeIntra的帧内样点预测过程，以下有序步骤适用：
1.仿射线性加权样点predLwip[x][y](x＝0..lwipW–1，y＝0..lwipH–1)推导如下：
-变量modeId的推导如下：
modeId＝predModeIntra-(isTransposed＝＝1)？(numModes/2):0 (8-X22)
-使用表8-XX[TBD：添加权重矩阵]中规定的sizeId和modeId推导权重矩阵mWeight[x][y](x＝0..2*boundarySize-1,y＝0..predC*predC–1)。
-使用表8-XX[TBD：添加偏置矢量]中规定的sizeId和modeId推导偏置矢量vBias[y](y＝0..predC*predC–1)。
-使用表8-X5中规定的sizeId和modeId推导变量sW。
-仿射线性加权样点predLwip[x][y](x＝0..lwipW-1,y＝0..lwipH–1)推导如下：
oW＝1<<(sW–1) (8-X23)
sB＝BitDepthY–1 (8-X24)
incW＝(predC>lwipW)？2:1 (8-X25)
incH＝(predC>lwipH)？2:1 (8-X26)
2.预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)推导如下：
-当isTransposed等于1时，predLwip[x][y]](x＝0..predW-1,y＝0..predH–1)设置为等于predLwip[y][x]。
-如果needUpsBdryVer等于TRUE或needUpsBdryHor等于TRUE，则以输入块宽度predW、输入块高度predH、仿射线性加权样点predLwip、变换块宽度nTbW、变换块高度nTbH、上采样边界宽度upsBdryW、上采样边界高度upsBdryH、上采样边界样点upsBdryT和左上采样边界样点upsBdryL作为输入，来调用条款8.4.4.2.X4中规定的预测上采样过程，并且输出是预测的样本阵列predSamples。
-否则，predSample[x][y](x＝0..nTbW-1,y＝0..nTbH–1)被设置为等于predLwip[x][y]。
■
这一过程的输入是：
-样点位置(xTbY，yTbY)，规定相对于当前图片的左上角亮度样点的当前变换块的左上角亮度样点，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度。
此过程的输出分别是上方和左侧参考样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)。
相邻样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)是环路滤波处理之前构建的样点，推导如下：
-上方和左侧相邻亮度位置(xNbT,yNbT)和(xNbL,yNbL))由下式规定：
(xNbT,yNbT)＝(xTbY+x,yTbY-1)
(8-X28)
(xNbL,yNbL)＝(xTbY-1,yTbY+y)
(8-X29)
-以被设置为等于(xTbY,yTbY)的当前亮度位置(xCurr,yCurr)以及上方相邻亮度位置(xNbT,yNbT)作为输入，来调用条款6.4.X[Ed.(BB)：相邻块可用性检查过程tbd]中规定的块的可用性推导过程，并且输出被分配给availTop[x](x＝0..nTbW-1)。
-以被设置为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)以及左侧相邻亮度位置(xNbL，yNbL)作为输入，来调用条款6.4.X[Ed.(BB)：相邻块可用性检查过程tbd]中规定的块的可用性推导过程，并且输出被分配给availLeft[y](y＝0..nTbH-1)。
-上方参考样点refT[x](x＝0..nTbW–1)推导如下：
-如果availTop[x](x＝0..nTbW–1)等于TRUE，位置(xNbT,yNbT)
处的样点被分配给refT[x](x＝0..nTbW–1)。
-否则，如果availTop[0]等于FALSE，则所有refT[x](x＝0..nTbW–1)被设置为等于1<<(BitDepthY–1)。
-否则，参考样点refT[x](x＝0..nTbW–1)通过以下有序步骤推导出：
1.变量lastT被设置为等于序列availTop[x](x＝1..nTbW–1)中的等于FALSE的第一元素的位置x。
2.对于每个x＝0..lastT–1，该位置(xNbT,yNbT)处的样点被分配给refT[x]。
3.对于每个x＝lastT..nTbW–1，refT[x]被设置为等于refT[lastT–1]。
-左侧参考样点为refL[y](x＝0..nTbH–1)推导如下：
-如果所有availLeft[y](y＝0..nTbH–1)等于TRUE，位置(xNbL，yNbL)处的样点被分配给refL[y](y＝0..nTbH–1)。
-否则，如果availLeft[0]等于FALSE，则所有refL[y](y＝0..nTbH–1)被设置为等于1<<(BitDepthY–1)。
-否则，参考样点refL[y](y＝0..nTbH–1)通过以下有序步骤推导出：
1.变量lastL被设置为等于序列availLeft[y](y＝1..nTbH–1)中等于FALSE的第一元素的位置y。
2.对于每个y＝0..lastL–1，位置(xNbL,yNbL)处的样点被分配给refL[y]。
3.对于每个y＝lastL..nTbH–1，refL[y]被设置为等于refL[LastL–1]。
这一过程的输入是：
-变量nTbX，规定变换块尺寸，
-参考样点refX[x](x＝0..nTbX-1)，
-变量boundarySize，规定下采样边界尺寸，
-标志needUpsBdryX，规定中间边界样点是否需要用于上采样，
-变量upsBdrySize，规定上采样的边界尺寸。
该过程的输出是缩减的边界样点redX[x](x＝0..boundarySize–1)和上采样边界样点upsBdryX[x](x＝0..upsBdrySize–1)。
上采样边界样点upsBdryX[x](x＝0..upsBdrySize–1)的推导如下：
-如果needUpsBdryX等于TRUE，并且upsBdrySize小于nTbX，则以下情况适用：
uDwn＝nTbX/upsBdrySize (8-X30)
-否则(upsBdrySize等于nTbX)，upsBdryX[x]被设置为等于refX[x]。
缩减的边界样点redX[x](x＝0..boundarySize–1)推导如下：
-如果边界尺寸小于upsBdrySize，则以下情况适用：
bDwn＝upsBdrySize/boundarySize (8-X32)
-否则(边界尺寸等于upsBdrySize)，redX[x]被设置为等于upsBdrySize[x]。
这一过程的输入是：
-变量predW，规定输入块宽度，
-变量predH，规定输入块高度，
-仿射线性加权样点predLwip[x][y](x＝0..predW-1,y＝0..predH–1)，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度，
-变量upsBdryW，规定上采样边界宽度，
-变量upsBdryH，规定上采样边界高度，
-上采样边界样点upsBdryT[x](x＝0..upsBdryW–1)，
-左上采样边界样点upsBdryL[x](x＝0..upsBdryH–1)。
该过程的输出是预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH-1)。
稀疏预测样点predSamples[m][n]是从predLwip[x][y](x＝0..predW-1,y＝0..predH–1)中推导的，如下所示：
upHor＝nTbW/predW (8-X34)
upVer＝nTbH/predH (8-X35)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predLwip[x][y] (8-X36)
上边界样点upsBdryT[x](x＝0..upsBdryW–1)如下被分配给predSamples[m][-1]：
predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x] (8-X37)
左侧边界样点upsBdryL[y](y＝0..upsBdryH–1)如下被分配给predSamples[-1][n]：
predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y] (8-X38)
预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)推导如下：
-如果nTbH大于nTbW，则应用以下有序步骤：
1.当upHor大于1时，所有稀疏位置(xHor，yHor)＝(m*upHor–1,n*upVer–1)(m＝0..predW-1,n＝1..predH)的水平上采样如下应用dX＝1..upHor-1：
predSamples[xHor+dX][yHor]＝
((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor])/upHor (8-X39)
2.所有稀疏位置(xVer,yVer)＝(m,n*upVer–1)(m＝0..nTbW-1,n＝0..predH-1)的垂直上采样如下应用dY＝1..upVer-1：
predSamples[xVer][yVer+dY]＝
((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer])/upVer (8-X40)
-否则，以下有序步骤适用：
1.当upVer大于1时，所有稀疏位置(xVer,yVer)＝(m*upHor–1,n*upVer–1)(m＝1..predW,n＝0..predH-1)的垂直上采样应用如(8-X40)中所规定的dY＝1..upVer-1。
2.所有稀疏位置(xHor,yHor)＝(m*upHor–1,n)(m＝0..predW-1,n＝0..nTbH-1)的水平上采样应用如(8-X39)中规定的dX＝1..upHor-1。
<end>
表9-9–语法元素和相关的二进制化
表9-15–使用上下文编解码的二进制位将ctxInc分配给语法元素
表9 16–使用左侧和上方语法元素的ctxInc规范
<end>
ALWIP概要
为了预测具有宽度W和高度H的矩形块的样点，仿射线性加权帧内预测(ALWIP)将块左侧的一行H个重建的相邻边界样点和块上方的一行W个重建的相邻边界样点作为输入。如果重建样点不可用，则像在常规帧内预测中那样生成它们。ALWIP仅适用于亮度帧内块。对于色度帧内块，应用常规的帧内编解码模式。
预测信号的生成基于以下三个步骤：
1.在边界样点中，通过平均来提取在W＝H＝4的情况下四个样点，以及在所有其他情况下八个样点。
2.以平均样点作为输入，执行矩阵矢量乘法，接着加上偏移。结果是原始块中样点的二次采样集合上的缩减预测信号。
3.剩余位置处的预测信号是通过线性插值从二次采样集合上的预测信号中产生的，线性插值是在每个方向上的单步骤线性插值。
如果要应用ALWIP模式，使用带有3个MPMS的MPM列表来信令通知ALWIP模式的索引predmode。这里，使用上方和左侧PU的帧内模式如下执行MPM的推导。存在为每个常规帧内预测模式predmodeAngular分配ALWIP模式的三个固定表map_angular_to_alwipidx，idx∈{0,1,2}
predmodeALWIP＝map_angular_to_alwipidx[predmodeAngular]。
对于每个宽度W和高度H的PU，定义索引
idx(PU)＝idx(W,H)∈{0,1,2}
这表明ALWIP参数将取自三个集合中的哪一个。
如果上述预测单元PUabove可用，与当前PU属于相同的CTU，并且处于帧内模式，如果idx(PU)＝idx(PUabove)并且如果ALWIP被应用于具有ALWIP-模式的PUabove，则
如果上述PU可用，与当前PU属于相同的CTU，并且处于帧内模式，并且如果常规帧内预测模式被应用于上述PU，则
在所有其他情况下，则
这意味着该模式不可用。以同样的方式，但不限制左侧PU需要与当前的PU属于相同的CTU，推导模式
最后，提供了三个固定的默认列表listidx,idx∈{0,1,2}，每个列表包含三种不同的ALWIP模式。从默认列表listidx(PU)和模式和/>中，通过用默认值替换-1以及消除重复来构建三个不同的MPM。
对于亮度MPM列表推导，每当遇到使用ALWIP模式predmodeALWIP的相邻亮度块时，该块就被视为使用常规帧内预测模式predmodeAngular。
3 VVC中的变换
3.1多个变换选择(Multiple transform selection，MTS)
除了已经在HEVC使用的DCT-II之外，多个变换选择(MTS)方案用于帧间编解码块和帧内编解码块的残差编解码。它使用多个从DCT8/DST7中选择的变换。新引入的变换矩阵是DST-VII和DCT-VIII。
3.2 JVET-N0193中提出的缩减的二次变换(Reduced Secondary Transform，RST)
缩减的二次变换(RST)分别对4×4和8×8块应用16×16和16×64不可分离变换。初级(primary)正向和逆变换仍以与两次1-D水平/垂直变换相同的方式执行。二次正向和逆变换是独立于初级变换的处理步骤。对于编码器，首先执行初级正向变换，接着执行二次正向变换和量化，以及CABAC位编码。对于解码器，执行CABAC位解码和反量化，然后首先执行二次逆变换，接着执行初级逆变换。RST仅适用于帧内条带和帧间条带中的帧内编解码的TU。
3.3 JVET-N 0185中帧内模式编解码的统一MPM列表
无论是否应用多参考线(MRL)和帧间子分区(ISP)编解码工具，都为帧内块提出了统一的6-MPM列表。如在VTM4.0中一样，MPM列表是基于左侧和上方相邻块的帧内模式构建的。假设左侧的模式被表示为Left，而上方块的模式被表示为Above，统一MPM列表被构建如下：
●当相邻块不可用时，其帧内模式默认设置为Planar(平面)。
●如果模式Left和模式Above都是非角度模式：
a.MPM列表→{Planar，Max,DC,V,H,V-4,V+4}
●如果模式Left和模式Above之一是角度模式，另一个是非角度模式：
a.将模式Max设置为在Left和Above中较大模式
b.MPM列表→{Planar，Max，DC，Max-1,Max+1,Max-2}
●如果Left和Above都是角度的，并且它们是不同的：
a.将模式Max设置为在Left和Above中较大模式
b.如果模式Left和Above的差值在2到62之间(包括2和62)
i.MPM列表→{Planar,Left,Above,DC,Max-1,Max+1}
c.否则
i.MPM列表→{Planar,Left,Above,DC,Max-2,Max+2}
●如果Left和Above都是角度的，并且它们是相同的：
a.MPM列表→{Planar,Left,Left-1,Left+1,DC,Left-2}
此外，MPM索引码字的第一个二进制位是CABAC上下文编解码的。总共使用三个上下文，对应于当前帧内块是启用MRL、启用ISP还是正常帧内块。
如图10所示，在统一MPM列表构建中使用的左侧相邻块和上方相邻块是A2和B2。
首先对一个MPM标志进行编解码。如果用MPM列表中的模式之一对块进行编解码，则进一步对MPM索引进行编解码。否则，对剩余模式(不包括MPM)的索引进行编解码。
4现有实施方式中的缺点示例
JVET-N0217中的ALWIP设计存在以下问题：
1)在2019年3月的JVET会议上，为MRL模式、ISP模式和正常帧内模式采用了统一的6-MPM列表生成。但是仿射线性加权预测模式使用不同的3-MPM列表构建，这使得MPM列表构建复杂。复杂的MPM列表构建可能会损害解码器的吞吐量，特别是对于诸如4×4样点的小块。
2)ALWIP仅应用于块的亮度分量。对于ALWP编解码块的色度分量，色度模式索引被编解码并发送到解码器，这可能导致不必要的信令通知。
3)应考虑ALWIP与其他编解码工具的相互作用。
4)当计算 中的upsBdryX时，Log2(uDwn)-1可能等于-1，而左移-1未定义。
5)对预测样点进行上采样时，不应用取整。
6)在去方块过程中，ALWIP编解码的块被视为正常的帧内块。
7)在对ALWIP标志(例如，intra_lwip_flag)进行编解码时使用了太多的上下文(例如4)。
8)当需要垂直上采样和水平上采样时，上采样的顺序取决于块的形状。这对硬件不友好。
9)线性插值滤波器用于上采样，这可能是低效的。
5基于矩阵的帧内编解码的示例性方法
当前公开的技术的实施例克服了现有实施方式的缺点，从而提供了具有更高编解码效率但计算复杂度更低的视频编解码。用于视频编解码的基于矩阵的帧内预测方法，如在本文件中所描述的，可以增强现有的和未来的视频编解码标准，在以下针对各种实施方式所描述的示例中进行阐述。下面提供的公开技术的示例解释了一般概念，并且不意味着解释为限制。在一个示例中，除非明确指出相反的情况，否则这些示例中描述的各种特征可以被组合。
在以下讨论中，帧内预测模式是指角度帧内预测模式(包括DC、平面、CCLM和其他可能的帧内预测模式)；而帧内模式指的是正常帧内模式，或MRL模式，或ISP模式，或ALWIP。
在以下讨论中，“其他帧内模式”可以是指除ALWIP之外的一种或多种帧内模式，如正常帧内模式、MRL模式或ISP模式。
在以下讨论中，SatShift(x,n)定义为
Shift(x,n)定义为Shift(x,n)＝(x+offset0)>>n
在一个示例中，offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))。在另一个示例中，offset0和/或offset1被设置为0。
在另一个示例中，offset0＝offset1＝((1<<n)>>1)-1或((1<<(n-1)))-1。
Clip3(min,max,x)定义为
■ALWIP的MPM列表构建
1.提出可以根据构建非ALWIP帧内模式(诸如正常帧内模式、MRL或ISP)的MPM列表的全部或部分过程来构建ALWIP的MPM列表的全部或部分。
a在一个示例中，ALWIP的MPM列表的尺寸可以与非ALWIP帧内模式的MPM列表的尺寸相同。
i.例如，对于ALWIP和非ALWIP帧内模式，MPM列表的尺寸都是6。
b.在一个示例中，ALWIP的MPM列表可以从非ALWIP帧内模式的MPM列表中推导。
i.在一个示例中，可以首先构建非ALWIP帧内模式的MPM列表。随后，它们的部分或全部可以被转换成MPM，该MPM可以被进一步添加到ALWIP编解码的块的MPM列表中。
1)或者，此外，当将转换的MPM添加到ALWIP编解码的块的MPM列表时，可以应用修剪。
2)默认模式可以被添加到ALWIP编解码的块的MPM列表中。
a.在一个示例中，可以在从非ALWIP帧内模式的MPM列表转换的模式之前添加默认模式。
b.可选地，可以在从非ALWIP帧内模式的MPM列表转换的模式之后添加默认模式。
c.可选地，可以以与从非ALWIP帧内模式的MPM列表转换的模式交错的方式添加默认模式。
d.在一个示例中，对于所有类型的块，默认模式可以被固定为相同。
e.可选地，可以根据编解码信息，诸如相邻块的可用性、相邻块的模式信息、块维度，来确定默认模式。
ii.在一个示例中，当非ALWIP帧内模式的MPM列表中的一个帧内预测模式被放入ALWIP的MPM列表中时，其可以被转换为其相应的ALWIP帧内预测模式。
1)可选地，在非ALWIP帧内模式的MPM列表中的所有帧内预测模式被用于构建ALWIP的MPM列表之前，其可以被转换成相应的ALWIP帧内预测模式。
2)可选地，如果非ALWIP帧内模式的MPM列表可进一步用于推导ALWIP的MPM列表，则所有候选帧内预测模式(可包括来自相邻块的帧内预测模式和默认帧内预测模式，诸如平面和DC)可在被用于构建非ALWIP帧内模式的MPM列表之前被转换成相应的ALWIP帧内预测模式。
3)在一个示例中，可以比较两个转换的ALWIP帧内预测模式。
a.在一个示例中，如果它们是相同的，则它们中只有一个可以被放入ALWIP的MPM列表中。
b.在一个示例中，如果它们是相同的，则它们中只有一个可以被放入非ALWIP帧内模式的MPM列表。
iii.在一个示例中，非ALWIP帧内模式的MPM列表中的S个帧内预测模式中的K个可以被选为ALWIP模式的MPM列表。例如，K等于3，S等于6。
1)在一个示例中，非ALWIP帧内模式的MPM列表中的前K个帧内预测模式可以被选为ALWIP模式的MPM列表。
2.提出用于推导ALWIP的MPM列表的一个或多个相邻块也可以用于推导非ALWIP帧内模式(诸如正常帧内模式、MRL或ISP)的MPM列表。
a.在一个示例中，用于推导ALWIP的MPM列表的当前块左侧的相邻块应该与用于推导非ALWIP帧内模式的MPM列表的相邻块相同。
i.假设当前块的左上角是(xCb，yCb)，当前块的宽度和高度是W和H，则在一个示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的左侧相邻块可以覆盖位置(xCb-1，yCb)。在替代示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的左侧相邻块可以覆盖位置(xCb-1，yCb+H-1)。
ii.例如，在统一MPM列表构建中使用的左侧相邻块和上方相邻块是A2和B2，如图10所示。
b.在一个示例中，用于推导ALWIP的MPM列表的当前块上方的相邻块应该与用于推导非ALWIP帧内模式的MPM列表的相邻块相同。
i.假设当前块的左上角是(xCb，yCb)，当前块的宽度和高度是W和H，则在一个示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的上方相邻块可以覆盖位置(xCb，yCb-1)。在另一个示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的上方相邻块可以覆盖位置(xCb+W-1，yCb-1)。
ii.例如，在统一MPM列表构建中使用的左侧相邻块和上方相邻块是A1和B1，如图10所示。
3.提出根据当前块的宽度和/或高度以不同的方式构建ALWIP的MPM列表。
a.在一个示例中，对于不同的块维度，可以访问不同的相邻块。
4.提出可以用相同的过程但用不同的参数来构建ALWIP的MPM列表和非ALWIP帧内模式的MPM列表。
a.在一个示例中，可以为在ALWIP模式中使用的MPM列表推导非ALWIP帧内模式的MPM列表构建过程中的S个帧内预测模式中的K个帧内预测模式。例如，K等于3，并且S等于6。
i.在一个示例中，可以为在ALWIP模式中使用的MPM列表推导MPM列表构建过程中的前K个帧内预测模式。
b.在一个示例中，MPM列表中的第一模式可以不同。
i.例如，非ALWIP帧内模式的MPM列表中的第一模式可以是平面，但它可以是ALWIP的MPM列表中的模式X0。
1).在一个示例中，X0可以是从平面转换的ALWIP帧内预测模式。
c.在一个示例中，MPM列表中的填充(stuffing)模式可能不同。
i.例如，非ALWIP帧内模式的MPM列表中的前三种填充模式可以是DC、垂直和水平，但是它们可以是ALWIP的MPM列表中的模式X1、X2和X3。
1)在一个示例中，X1、X2、X3对于不同的sizeId可能是不同的。
ii.在一个示例中，填充模式的数量可以不同。
d.在一个示例中，MPM中的相邻模式可以不同。
i.例如，相邻块的正常帧内预测模式用于构建非ALWIP帧内模式的MPM列表。并将其转换为ALWIP帧内预测模式，以构建ALWIP模式的MPM列表。
e.在一个示例中，MPM列表中的移位(shifted)模式可以不同。
i.例如，X+K0(其中X是正常帧内预测模式并且K0是整数)可以被放入非ALWIP帧内模式的MPM列表中。并且Y+K1(其中Y是ALWIP帧内预测模式并且K1是整数)可以被放入ALWIP的MPM列表中，其中K0可以不同于K1。
1)在一个示例中，K1可以取决于宽度和高度。
5.提出在为具有非ALWIP帧内模式的当前块构建MPM列表时，如果用ALWIP编解码相邻块，则将该相邻块视为不可用。
a.可选地，在为具有非ALWIP帧内模式的当前块构建MPM列表时，如果用ALWIP编解码相邻块，则该相邻块被视为用预定义的帧内预测模式(例如平面)编解码。
6.提出在为具有ALWIP模式的当前块构建MPM列表时，如果用非ALWIP帧内模式编解码相邻块，则将该相邻块视为不可用。
a.可选地，如果在为具有ALWIP模式的当前块构建MPM列表时，以非ALWIP帧内模式编解码相邻块，则该相邻块被视为以预定义的ALWIP帧内预测模式X编解码。
i.在一个示例中，X可以取决于块维度，诸如宽度和/或高度。
7.提出从行缓冲器中移除ALWIP标志的存储。
a.在一个示例中，当要访问的第二块与当前块相比位于不同的LCU/CTU行/区域中时，跳过对第二块是否用ALWIP编解码的条件检查。
b.在一个示例中，当要被访问的第二块与当前块相比位于不同的LCU/CTU行/区域中时，第二块以与非ALWIP模式相同的方式被处理，诸如被处理为正常的帧内编解码块。
8.在对ALWIP标志进行编码时，最多可以使用K个(K>＝0)个上下文。
a.在一个示例中，K＝1。
9.提出存储ALWIP编解码的块的转换后的帧内预测模式，而不是直接存储与ALWIP模式相关联的模式索引。
a.在一个示例中，与一ALWIP编解码的块相关联的解码模式索引被映射到正常帧内模式，诸如根据如第2.5.7节所述
map_alwip_to_angular。
b.可选地，此外，ALWIP标志的存储被完全移除。
c.可选地，此外，ALWIP模式的存储被完全移除。
d.可选地，此外，可以跳过对一个相邻/当前块是否用ALWIP标志编解码的条件检查。
e.可选地，此外，可以跳过为ALWIP编解码的块分配的模式和与一个被访问的块相关联的正常帧内预测的转换。
■不同颜色分量上的ALWIP
10.提出如果用ALWIP模式对相应亮度块进行编解码，则可以始终应用推断的色度帧内模式(例如，DM模式)。
a.在一个示例中，如果用ALWIP模式对相应亮度块进行编解码，则色度帧内模式被推断为DM模式，且没有信令通知。
b.在一个示例中，相应亮度块可以是覆盖位于给定位置(例如，当前色度块的左上角、当前色度块的中心)的色度样点的相应的样点的亮度块。
c.在一个示例中，可以根据相应亮度块的帧内预测模式，诸如经由将(ALWIP)模式映射到正常帧内模式之一，来推导DM模式。
11.当用ALWIP模式对色度块的相应亮度块进行编解码时，可以推导几个DM模式。
12.在色度模式决定过程(例如，直接模式/导出模式)中，用于确定其是否是ALWIP编解码和/或其ALWIP模式的对应亮度块可以根据左上角位置以及(多个)编解码色度块的大小和/或颜色格式来决定。
a.假设(多个)编解码色度块的左上角位置是(xCb，yCb)，(多个)
编解码色度块的宽度和高度分别是CbWidth和CbHeight，其中所有位置和长度都在亮度样点单元内。
b.在一个示例中，对应的亮度块可以被选择为覆盖位置(xCb+offsetX,yCb+offsetY)的亮度块(例如，编解码块)，其中不允许offsetX和offsetY都等于0。
i.在一个示例中，offsetX＝(CbWidth/2)或者(CbWidth/2-1)or
(CbWidth/2+1)
ii.在一个示例中，offsetY＝(CbHeight/2))或者(CbHeight/2-1)or
(CbHeight/2+1)。
13.提出如果用ALWIP模式对一个相应亮度块进行编解码，则给色度块分配特殊模式。
a.在一个示例中，特殊模式被定义为给定的正常帧内预测模式，而不管与ALWIP编解码的块相关联的帧内预测模式。
b.在一个示例中，可以将不同的帧内预测方式分配给该特殊模式。
c.可选地，如果以ALWIP模式对亮度块进行编解码，则色度DM模式的相关联的正常帧内模式可以总是被推断为所识别的特殊模式。
d.可选地，此外，可以跳过色度模式的信令通知。
e.可选地，当(多个)色度块的对应亮度块以ALWIP模式编解码，并且信令通知(多个)色度块的DM模式时，预定义的帧内预测模式被应用于(多个)色度块。
i.例如，预定义的帧内预测模式可以是平面模式。
ii.例如，预定义的帧内预测模式可以取决于编解码信息，诸如屏幕内容的指示。
1)在一个示例中，如果屏幕内容的指示表示该内容是相机捕获的内容，则可以将其设置为平面模式。
2)在一个示例中，如果屏幕内容的指示表示该内容是屏幕内容，则可以将其设置为水平预测模式。
f.在一个示例中，当(多个)色度块的对应亮度块以ALWIP模式编解码时，DM模式可能永远不会用于(多个)色度块。
i.例如，DM模式相关的语法可能不被信令通知。
1)在一个示例中，如果对应的亮度块是ALWIP模式，并且sps_cclm_enabled_flag等于假(false)，则可以允许为色度块信令通知四种色度模式。
a.例如，在这种情况下，对于帧内色度模式的二值化，最多需要两个二进制比特。
2)在一个示例中，如果对应的亮度块是ALWIP模式，并且sps_cclm_enabled_flag等于TRUE，则可以允许为色度块信令通知七种色度模式。
a.例如，在这种情况下，对于帧内色度模式的二值化，最多需要四个二进制位。
14.提出也可以将ALWIP应用于色度分量。
a.在一个示例中，对于不同的颜色分量，矩阵和/或偏置矢量可以不同。
b.在一个示例中，矩阵和/或偏置矢量可以为Cb和Cr联合预定义。
i.在一个示例中，Cb和Cr分量可以被级联。
ii.在一个示例中，Cb和Cr分量可以交错。
c.在一个示例中，色度分量可以与相应亮度块共享相同的ALWIP帧内预测模式。
i.在一个示例中，如果相应亮度块应用ALWIP模式并且色度块用DM模式编解码，则相同的ALWIP帧内预测模式被应用于色度分量。
ii.在一个示例中，相同的ALWIP帧内预测模式被应用于色度分量，并且此后的线性插值可以被跳过。
iii.在一个示例中，相同的ALWIP帧内预测模式被应用于具有二次采样矩阵和/或偏置矢量的色度分量。
d.在一个示例中，对于不同分量的ALWIP帧内预测模式的数量可以不同。
i.例如，对于相同的块宽度和高度，色度分量的ALWIP帧内预测模式的数量可以少于亮度分量的ALWIP帧内预测模式的数量。
■ALWIP的适用性
15.提出可以信令通知是否可以应用ALWIP。
a.例如，它可以在序列级(例如，在SPS(sequence parameter set，序列参数集)中)、在图片级(例如，在PPS或图片标头中)、在条带级(例如，在条带标头中)、在片组级(例如，在片组标头中)、在片级、在CTU行级或在CTU级被信令通知。
b.例如，如果无法应用ALWIP，则可能不会信令通知intra_lwip_flag并将其推断为0。
16.提出是否应用ALWIP可以取决于块宽度(W)和/或高度(H)。
c.例如，如果W>＝T1(或W>T1)且H>＝T2(或H>T2)，则可能不应用ALWIP。例如T1＝T2＝32；
i.例如，如果W≤T1(或W<T1)且H≤T2(或H<T2)，则可
能不应用ALWIP。例如T1＝T2＝32；
d.例如，如果W>＝T1(或W>T1)或H>＝T2(或H>T2)，则可能不应用ALWIP。例如T1＝T2＝32；
i.例如，如果W<＝T1(或W<T1)或H<＝T2(或H<T2)，则
可能不应用ALWIP。例如T1＝T2＝32；
e.例如，如果W+H>＝T(或W*H>T)，则可能不应用ALWIP。
例如，T＝256；
i.例如，如果W+H<＝T(或W+H<T)，则可能不应用
ALWIP。例如，T＝256；
f.例如，如果W*H≥T(或W*H>T)，则可能不应用ALWIP。例如，T＝256；
i.例如，如果宽*高<＝T(或宽*高<T)，则可能不应用
ALWIP。例如，T＝256；
g.例如，如果不能应用ALWIP，则可能不会信令通知intra_lwip_flag并将其推断为0。
■ALWIP中的计算问题
17.提出ALWIP中涉及的任何移位操作只能将一个数字左移或右移S，其中S必须大于或等于0。
a.在一个示例中，当S等于0或大于0时，右移操作可以不同。
i.在一个示例中，upsBdryX[x]应该计算为
当uDwn>1时， 当uDwn等于1时，
b.在一个示例中，upsBdryX[x]应该计算为
18.提出在ALWIP的上采样过程中，将结果向零或远离零取整。
a.在一个示例中，
predSamples[xHor+dX][yHor]＝
((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor (8-X39)
以及
predSamples[xVer][yVer+dY]＝
((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer (8-X40)
其中offsetHor和offsetVer是整数。例如，offsetHor＝upHor/2以及offsetVer＝upVer/2。
■与其他编解码工具的交互
19.提出ALWIP可用于CIIP编解码的块。
a.在一个示例中，在CIIP编解码的块中，可以明确地信令通知是使用ALWIP帧内预测模式还是诸如平面的正常帧内预测模式来生成帧内预测信号。
b.在一个示例中，可以隐含地推断出是使用ALWIP帧内预测模式还是诸如平面的正常帧内预测模式来生成帧内预测信号。
i.在一个示例中，ALWIP帧内预测模式可能永远不会用于CIIP编解码的块。
1)可选地，正常帧内预测可能永远不会用于CIIP编解码的块。
ii.在一个示例中，可以从相邻块的信息推断出是使用ALWIP帧内预测模式还是诸如平面的正常帧内预测模式来生成帧内预测信号。
20.提出用于在CCLM模式下下采样相邻亮度样点的整个或部分过程可以用于在ALWIP模式下下采样相邻样点。
a.可选地，用于在ALWIP模式下下采样相邻亮度样点的整个或部分过程可以用于在CCLM模式下下采样相邻样点。
b.当在CCLM处理和ALWIP处理中使用下采样处理时，可以用不同的参数/自变量调用下采样处理。
c.在一个示例中，CCLM处理中的下采样方法(诸如选择相邻亮度位置、下采样滤波器)可以在ALWIP处理中使用。
d.用于下采样相邻亮度样点的过程至少包括下采样位置的选择、下采样滤波器、取整和限幅操作。
21.提出使用ALWIP模式编解码的块不能应用RST或/和二次变换或/和旋转变换或/和不可分离二次变换(Non-Separable Secondary Transform，NSST)。
a.在一个示例中，是否可以应用这种约束可以取决于块的维度信息，例如，与(15)中描述的条件相同。
b.可选地，当应用RST或/和二次变换或/和旋转变换或/和NSST时，可能不允许ALWIP模式。
c.可选地，使用ALWIP模式编解码的块可以应用RST或/和二次变换或/和旋转变换或/和不可分离二次变换(NSST)。
i.在一个示例中，变换矩阵的选择可以取决于ALWIP帧内预测模式。
ii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换的正常帧内预测模式。
iii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换的正常帧内预测模式的分类。
22.提出使用ALWIP模式编解码的块不能应用基于块的DPCM(Block-based DPCM，BDPCM)或残差RDPCM。
a.可选地，当应用BDPCM模块或RDPCM时，可能不允许ALWIP模式。
23.提出使用ALWIP模式编解码的块只能使用DCT-II作为变换。
a.在一个示例中，变换矩阵索引的信令通知总是被跳过。
b.可选地，提出用于以ALWIP模式编解码的块的变换可以隐式推导，而不是显式信令通知。例如，可以按照JVET-M0303中提出的方式选择变换。
c.可选地，提出使用ALWIP模式编解码的块只能使用变换跳过。
i.可选地，此外，当使用ALWIP时，跳过对使用变换跳过的指示的信令通知。
d.在一个示例中，ALWIP模式信息(诸如启用/禁用、预测模式索引)可以在变换矩阵的指示之后有条件地信令通知。
i.在一个示例中，对于给定的变换矩阵(诸如变换跳过或DCT-
II)，可以信令通知ALWIP模式信息的指示。
ii.可选地，此外，对于一些预定义的变换矩阵，可以跳过
ALWIP模式信息的指示。
24.提出当所选择的变换是模式相关的时，使用ALWIP模式编解码的块被认为是用从ALWIP帧内预测模式转换的正常帧内预测编解码的。
25.ALWIP模式可能不使用变换跳过。
a.例如，在这种情况下，不需要进一步信令通知对使用变换跳过的指示。
b.可选地，当应用变换跳过时，可能不允许ALWIP模式。
i.例如，在这种情况下，当应用变换跳过时，不需要信令通知ALWIP模式信息。
26.在滤波处理中，诸如去块滤波器、样点自适应偏移(sample adaptive offset，SAO)、自适应环路滤波器(adaptive loop filter，ALF)，如何选择滤波器和/或是否滤波样点可以通过使用ALWIP来确定。
27.未滤波的相邻样点可用于ALWIP模式。
a.可选地，滤波的相邻样点可用于ALWIP模式。
b.在一个示例中，滤波的相邻样点可用于下采样，而未滤波的相邻样点可用于上采样。
c.在一个示例中，未滤波的相邻样点可以用于下采样，而滤波的相邻样点可以用于上采样。
d.在一个示例中，滤波的左侧相邻样点可以用于上采样，而未滤波的上方相邻样点可以用于上采样。
e.在一个示例中，未滤波的左侧相邻样点可以用于上采样，而滤波的上方相邻样点可以用于上采样。
f.在一个示例中，是否使用滤波或未滤波的相邻样点取决于ALWIP模式。
i.在一个示例中，ALWIP模式可以被转换成传统帧内预测模
式，并且是否使用滤波或未滤波的相邻样点可以取决于转换后的传统帧内预测模式。例如，这种决策与传统帧内预测模式相同。
ii.可选地，可以信令通知滤波或未滤波的相邻样点是否用于ALWIP模式。
g.在一个示例中，滤波的样点可以与传统帧内预测模式相同地生成。
28.使用哪个矩阵或/和偏移矢量可以取决于整形(reshaping)(也称为LMCS，具有色度缩放的亮度映射)信息。
a.在一个示例中，当打开和关闭整形时，可以使用不同的矩阵或/和偏移矢量。
b.在一个示例中，不同的矩阵或/和偏移矢量可以用于不同的整形参数。
c.在一个示例中，ALWIP可以总是在原始域中执行。
i.例如，相邻样点在ALWIP中使用之前被映射到原始域(如果应用了整形)。
29.在应用整形时，可能会禁用ALWIP。
a.可选地，当启用ALWIP时，可能会禁用整形。
b.在一个示例中，当应用整形时，可能针对HDR(high dynamic range，高动态范围)内容禁用ALWIP。
30.ALWIP中使用的矩阵可能取决于样点比特深度。
a.可选地，此外，在ALWIP中使用的偏移值可能取决于样点比特深度。
b.可选地，矩阵参数和偏移值可以为N比特样点以M比特精度存储(M≤N)，例如，矩阵参数和偏移值可以为10比特样点以8比特精度存储。
c.样点比特深度可以是诸如亮度的颜色分量的输入阵列的比特深度。
d.样点比特深度可以是诸如亮度的颜色分量的帧间阵列/重建样点的比特深度。
31.特定块尺寸的矩阵参数和/或偏移值可以从其他块尺寸的矩阵参数和/或偏移值中推导。
32.在一个示例中，8×8块的16×8矩阵可以从4×4块的16×4矩阵推导。
33.提出可以将ALWIP生成的预测视为中间信号，对其进行处理以获得待进一步使用的预测信号。
a.在一个示例中，位置相关帧内预测组合(Position Dependent IntraPrediction Combination，PDPC)可以应用于由ALWIP生成的预测，以生成待进一步使用的预测信号。
i.在一个示例中，以与用特定的正常帧内预测模式(诸如平面或DC)编解码的块相同的方式，在ALWIP编解码的块上进行PDPC。
ii.在一个示例中，以与用从ALWIP帧内预测模式转换的正常帧内预测模式编解码的块相同的方式，在ALWIP编解码的块上进行PDPC。
iii.在一个示例中，PDPC被有条件地应用于ALWIP编解码的块。
1)例如，仅当PDPC被应用于从ALWIP帧内预测模式转换的正常帧内预测模式时，PDPC才被应用于ALWIP编解码的块。
b.在一个示例中，可以用相邻样点来滤波由ALWIP生成的边界样点预测，以生成待进一步使用的预测信号。
i.在一个示例中，以与用特定的正常帧内预测模式(诸如平面或DC)编解码该块相同的方式,在ALWIP编解码的块上进行对边界样点的滤波。
ii.在一个示例中，以与用从ALWIP帧内预测模式转换的正常帧内预测模式编解码的块相同的方式，在ALWIP编解码的块上进行对边界样点的滤波。
iii.在一个示例中，对边界样点的滤波被有条件地应用于ALWIP编解码的块。
1)例如，仅当对边界样点的滤波被应用于从ALWIP帧内预测模式转换的正常帧内预测模式时，对边界样点的滤波才被应用于ALWIP编解码的块。
34.提出在ALWIP的上采样处理中使用除双线性插值滤波器之外的插值滤波器。
a.在一个示例中，4抽头插值滤波器可以用于ALWIP的上采样处理。
i.例如，用于对色度分量进行运动补偿的VVC中4抽头插值滤波器可用于ALWIP的上采样处理。
ii.例如，用于进行角度帧内预测的VVC中的4抽头插值滤波器可以用于ALWIP的上采样处理。
iii.例如，用于对亮度分量进行运动补偿的VVC中的8抽头插值滤波器可以用于ALWIP的上采样处理。
35.在ALWIP模式下编解码的块内的样点可以用不同的方式预测。
a.在一个示例中，对于W*H块，可以通过对其应用sW*sH ALWIP来生成对其中的sW*sH子块的预测。
i.在一个示例中，对于W*H块，可以通过对其应用W/2*H/2ALWIP来生成其左上方W/2*H/2块的预测。
ii.在一个示例中，对于W*H块，可以通过对其应用W/2*HALWIP来生成其左侧W/2*H块的预测。
iii.在一个示例中，对于W*H块，可以通过对其应用W*H/2ALWIP来生成其上方W*H/2块的预测。
iv.在一个示例中，sW*sH子块可能具有可用的左侧或/和上方相邻样点。
b.在一个示例中，如何决定子块的位置可以取决于块的维度。
i.例如，当W>＝H时，可以通过对其应用W/2*H ALWIP来生成其左侧W/2*H块的预测。
ii.例如，当H>＝W时，可以通过对其应用W*H/2ALWIP来生成对其上方W*H/2块的预测。
iii.例如，当W等于H时，可以通过对其应用W/2*H/2ALWIP来生成其左上方W/2*H/2块的预测。
c.此外，在一个示例中，剩余样点(例如，不属于sW*sH子块的样点)的预测可以通过应用W*H ALWIP来生成。
i.可选地，可以通过应用常规的帧内预测来生成剩余样点的预测(例如，使用转换后的帧内预测模式作为帧内模式)。
ii.此外，对于sW*sH子块中的样点，可以跳过计算。
36.在ALWIP模式下编解码的块内的样点可以在子块(例如，尺寸为sW*sH)级进行预测。
a.在一个示例中，可以使用相邻的重建样点(例如，对于边界子块)或/和相邻预测样点(例如，对于帧间子块)，将sW*sH ALWIP应用于每个子块。
b.在一个示例中，可以以光栅扫描顺序预测子块。
c.在一个示例中，可以以之字形(zigzag)顺序预测子块。
d.在一个示例中，子块的宽度(高度)可以不大于sWMax(sHMax)。
e.在一个示例中，当具有宽度或高度或者宽度和高度都大于(或等于)阈值L的块时，该块可以被分割成多个子块。
f.阈值L可以是预先定义的或以SPS/PPS/图片/条带/片组/片级信令通知。
i.可选地，阈值可以取决于某些编解码的信息，诸如块尺寸、
图片类型、时间层索引等。
37.提出相邻样点(邻近或非邻近)在用于ALWIP之前被滤波。
a.可选地，相邻样点在用于ALWIP之前不被滤波。
b.可选地，相邻样点在用于ALWIP之前被有条件地滤波。
i.例如，仅当ALWIP帧内预测模式等于一个或某些特定值时，才在ALWIP中使用相邻样点之前对其滤波。
38.提出在对ALWIP标志进行编解码时，算术编解码中推导ALWIP标志的上下文的方法对于当前块的所有大小都是相同的。
a.在一个示例中，当(Abs(Log2(cbWidth)–Log2(cbHeight))大于或不大于1时，算术编解码中推导ALWIP标志的上下文的方法是相同的，其中CBWidth和CBHeight分别是当前块的宽度和高度。
b.在一个示例中，算术编解码中ALWIP标志的上下文的推导仅取决于相邻块的ALWIP信息和/或相邻块的可用性。
i.在一个示例中，直接使用多个相邻块ALWIP信息(例如，intra_lwip_flag)和/或相邻块的可用性。例如，左侧和上方相邻块的ALWIP标志和/或左侧和相邻块的可用性用于在算术编解码中推导ALWIP标志的上下文。一个示例如表5所示。可选地，此外，上下文索引偏移ctxInc＝(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3。
表5–使用左侧和上方语法元素的ctxInc的规范
ii.在一个示例中，相邻块的ALWIP信息之一(例如，intra_lwip_flag)用于在算术编解码中推导ALWIP标志的上下文，并且相邻块可以是左侧相邻块。一个示例如表6所示。可选地，另外，上下文索引偏移ctxInc＝(condL&&availableL)+ctxSetIdx*3。
表6–使用左侧和上方语法元素的ctxInc的规范
| 语法元素 | condL | condA | ctxSetIdx |
| intra_lwip_flag[x0][y0] | intra_lwip_flag[xNbL][yNbL] | 0 |
iii.在一个示例中，相邻块的ALWIP标志信息之一(例如，intra_lwip_flag)用于在算术编解码中推导ALWIP标志的上下文，并且相邻块可以是上方相邻块。一个示例如表7所示。可选地，此外，上下文索引偏移ctxInc＝(condA &&availableA)+ctxSetIdx*3。
表7–使用左侧和上方语法元素的ctxInc的规范
| 语法元素 | condL | condA | ctxSetIdx |
| intra_lwip_flag[x0][y0] | intra_lwip_flag[xNbA][yNbA] | 0 |
c.在一个示例中，在算术编解码中，一个固定的上下文用于编解码ALWIP标志。
d.在一个示例中，在算术编解码中，ALWIP标志被旁路编解码。
e.可选地，在算术编解码中，可以使用K个上下文来编解码ALWIP标志。要使用的上下文可以取决于块的大小(例如，表示为W的宽度，表示为H的高度)。
i.在一个示例中，K等于2。当W>N*H或H>N*W(例如，N＝2)时，使用第一上下文，否则，使用第二上下文。
39.提出在算术编解码中使用N(N>＝0)个上下文来编码ALWIP标志(例如，intra_lwip_flag)。
a.在一个示例中，N等于3。ALWIP标志和/或两个相邻或/和非邻近块的可用性可用于推导在算术编解码中ALWIP标志使用的上下文。
i.在一个示例中，两个相邻块可以包括上方块(例如，图10中的B1)和左侧块(例如，图10中的A1)。
ii.在一个示例中，两个相邻块可以包括上方块和左下块(例如，图10中的A2)。
iii.在一个示例中，两个相邻块可以包括上方块和右上块(例如，图10中的B2)。
iv.在一个示例中，两个相邻块可以包括右上块(例如，图10中的B2)和左侧块(例如，图10中的A1)。
v.在一个示例中，两个相邻块可以包括右上块(例如，图10中的B2)和左下块(例如，图10中的A2)。
vi.在一个示例中，两个相邻块可以包括左侧块(例如，图10中的A1)和左下块(例如，图10中的A2)。
vii.在一个示例中，相邻块的定义可以不同于图10。图16描述了一个示例。两个相邻块可以包括{右上、上方、左上、左侧、左下}块中的任意两个。例如，两个相邻块可以包括{B0，B1，B2，A0，A1}中的任意两个块。
b.在一个示例中，N等于2。ALWIP标志和/或一个相邻或/和非邻近块的可用性可用于推导在算术编解码中ALWIP标志使用的上下文。
i.在一个示例中，相邻块可以是{右上、上方、左上、左侧、左下}中的任何一个。图10描述了相邻块的示例。
ii.在一个示例中，相邻块可以是{右上、上方、左上、左侧、左下}块中的任何一个。图16描述了相邻块的示例。
c.在一个示例中，在算术编解码中，可以使用一个固定上下文来编解码ALWIP标志。
d.在一个示例中，在算术编解码中，ALWIP标志可以被旁路编解码。图16示出了相邻块的示例。
40.提出可以在不计算上采样边界样点的情况下生成缩减的边界样点。
a.在一个示例中，位于上采样边界样点位置的参考样点被直接用于预测上采样过程。
i.在一个示例中，上采样边界样点可以不通过对多个邻近参考样点求平均来计算。
b.在一个示例中，缩减边界样点可以从参考样点和缩小因子(downscalingfactor)直接计算。
i.在一个示例中，缩小因子可以通过变换块尺寸和下采样边界尺寸来计算。
41.提出用于矩阵乘法的缩减边界样点可以在一个阶段中生成。
a.在一个示例中，它们可以在一个阶段中直接从原始重建相邻样点生成(注意，VVC WD5使用两阶段下采样来生成ALWIP缩减边界样点，如第2.2.1.5.4.4节所述)，其中原始重建相邻样点可以是解码的、没有被进一步处理的相邻样点。例如，原始重建相邻样点可用于生成角度帧间预测样点。
b.在一个示例中，可以从位于当前块的顶部相邻行和/或左侧相邻列的原始重建样点中生成缩减的边界样点。
i.例如，假设需要从与当前块相邻(以给定顺序)的M个原始重建样点中生成N个缩减边界样点，则可以使用每K个连续的原始重建相邻样点来获得一个输出缩减边界样点。
1)在一个示例中，K＝M/N。
a.可选地，K＝(M+N/2)/N。
2)在一个示例中，一个输出缩减边界样点可以被推导为K个连续原始重建相邻样点的平均。
3)在一个示例中，一个输出缩减边界样点可以被推导为K个连续原始重建相邻样点的加权平均。
c.在一个示例中，左侧缩减边界样点可以从位于当前块的左侧相邻列的原始重建样点生成，而顶部缩减样点可以从位于当前块的顶部相邻行的原始重建样点生成。
i.例如，如图17所示，由当前16×16的ALWIP块的左侧/顶部原始相邻重建样点(在图中标记为与16×16块相邻的灰色网格)生成左侧边界和顶部边界上的四个缩减边界样点，分别表示为boundaryleft和boundarytop。
d.如何生成缩减边界样点可以取决于块大小/编解码信息(例如，帧内预测模式、变换类型等)。
e.在一个示例中，上述方法可以应用于所有尺寸的需要生成缩减边界样点的ALWIP块(例如，从4×4ALWIP块到64×64ALWIP块)。
f.在一个示例中，当前块的左侧相邻列和当前块的顶部相邻行的缩减边界样点的生成过程可以以不同的方式进行。
i.例如，对于8×4ALWIP块，预定义的缩减边界样点的数量在顶部为4，在左侧为4，然后位于8×4ALWIP块的顶部行的8个相邻样点用于生成顶部的4个缩减边界样点，而位于8×4ALWIP块的左侧列的4个相邻样点被直接复制为左侧的4个缩减边界样点。
42.提出在上采样过程中使用所有或一些原始重建相邻样点(与当前块邻近或不邻近)，以从缩减的预测块生成最终预测块。
a.在一个示例中，原始重建相邻样点可以位于当前块的顶部相邻行和/或左侧相邻列。图18中示出了一个示例，其中通过从8×8缩减预测块加上64×64块的原始重建相邻样点进行上采样来生成64×64
最终预测块。
i.可选地，此外，缩减边界样点可以仅用于矩阵乘法以获得缩减的预测块，而不用于上采样过程以生成最终预测块。例如，可以将K个缩减边界样点输入到ALWIP的矩阵乘法中，以产生M×N缩减预测块，但可以不用于上采样过程中生成最终预测块。例如，K＝8，M×N为8×8。
b.在一个示例中，所选择的原始重建相邻样点可用于上采样过程中，以从缩减的预测块生成最终预测块。
i.例如，可以选择当前块左侧的所有原始重建相邻样点。
ii.例如，可以选择当前块上方的所有原始重建相邻样点。
iii.例如，可以选择当前块左侧的每M个连续的原始重建相邻样点中的K个原始重建相邻样点。例如，K＝1，M＝2/4/8。
1)例如，可以选择每M个连续邻居的后K个原始重建相邻样点。
2)例如，可以选择每M个连续邻居的前K个原始重建相邻样点。
iv.例如，可以选择当前块上方的每M个连续原始重建相邻样点中的K个原始重建相邻样点。例如，K＝1，M＝2/4/8。
1)例如，可以选择每M个连续邻居的后K个原始重建相邻样点。
2)例如，可以选择每M个连续邻居的前K个原始重建相邻样点。
v.例如，选择可以取决于块的宽度和高度。假设blkW和blkH分别表示ALWIP块的宽度和高度。并且(blkX，blkY)表示块的左上角位置。
1)例如，如果blkW大于或等于blkH，则可以选择当前块左侧的所有原始重建相邻样点，和/或当前块上方的选择的原始重建相邻样点的数量M可以取决于blkW。
a.在一个示例中，当前块上方的第k个选择的样点可以在位置(blkX+(k+1)*blkW/M-1,blkY-1)，其中k从0到M-1。
b.例如，如果blkW<＝8，则M＝4。
c.例如，如果blkW>8，则M＝8。
d.可选地，不管blkW和blkH之间的关系如何，可以选择当前块左侧的所有原始重建相邻样点，和/或可以选择当前块上方的M个原始重建相邻样点，其中M由上述规则决定。
2)例如，如果blkW小于blkH，则可以选择当前块上方的所有原始重建相邻样点，和/或当前块左侧的选择的原始重建相邻样点的数量M可以取决于blkH。
a.在一个示例中，当前块左侧的第k个选择的样点可以在位置(blkX-1,blkY+(k+1)*blkH/M-1)，其中k从0到M-1。
b.例如，如果blkH<＝8，则M＝4。
c.例如，如果blkH>8，则M＝8。
d.可选地，不管blkW和blkH之间的关系如何，可以选择当前块上方的所有原始重建相邻样点，和/或可以选择当前块左侧的M个原始重建相邻样点，其中M由上述规则决定。
c.在一个示例中，可以进一步修改用于ALWIP上采样的相邻样点(例如，滤波，其中滤波器可以是N抽头滤波器，诸如，N＝2或
3)，在其用于生成最终预测块之前。
i.在一个示例中，可以根据ALWIP模式自适应地应用相邻样点滤波过程。
d.如何生成最终预测块(例如，线性插值)可以取决于块大小/编解码信息(例如，帧内预测方向、变换类型等)。
43.在一个示例中，在ALWIP中的上采样过程中，样点可以在不同的滤波阶段具有不同的精度。“样点”可以指在上采样过程之前或之后的预测样点或任何中间样点。
a.在一个示例中，在ALWIP中的上采样过程中，在第一滤波阶段中，沿着第一维度水平地上采样样点；然后，在第二滤波阶段中，沿着第二维度垂直地上采样样点。
i.可选地，在ALWIP中的上采样过程中，在第一滤波阶段中，沿着第一维度水平地上采样样点；然后，在第二滤波阶段中，沿着第二维度垂直地上采样样点。
b.在一个示例中，在第一滤波阶段中没有右移或除法的输出上采样结果可以用作第二滤波阶段的输入样点。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移Shift1或者除以Dem1以推导最终上采样结果。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移Shift2或除以Dem2以推导最终上采样结果。
1)在一个示例中，Shift1＝2×Shift2；Dem1＝Dem2×Dem2。iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点在被输入到第二滤波阶段之前可以被左移Shift3或乘以Dem3。
1)在一个示例中，Shift3＝Shift1；Dem3＝Dem2。
c.在一个示例中，在被用作第二滤波阶段的输入样点之前，第一滤波阶段中的输出上采样结果可以被右移Shift1或除以Dem1。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移Shift2或者除以Dem2推导最终上采样结果，其中Shift2可以不等于Shift1，例如Shift2>Shift1；Dem2可以不等于Dem1，例如Dem2>Dem1。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移Shift3或者除以Dem3，以推导最终上采样结果，其中Shift3可以等于Shift1；Dem3可以不等于Dem1。
1)在一个示例中，Shift3＝Shift1+Shift2。
iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点在被输入到第二滤波阶段之前可以被左移或乘以一个因子。
d.在一个示例中，在被用作第二滤波阶段的输入样点之前，第一滤波阶段中的输出上采样结果可以左移Shift1或者乘以Dem1。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移或除以一个因子以推导最终上采样结果。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移或除以一个因子以推导最终上采样结果。
iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点在被输入到第二滤波阶段之前可以被左移Shift2或乘以Dem2，其中Shift2可以不等于Shift1，例
如Shift2>Shift1；Dem1可以不等于Dem2，例如Dem2>Dem1。e.在一个示例中，在被用作第一滤波阶段的输入样点之前，输入到第一滤波阶段的样点可以左移Shift1或者乘以Dem1。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移或除以一个因子以推导最终上采样结果。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移或除以一个因子以推导最终上采样结果。
iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点在被输入到第二滤波阶段之前可以被左移Shift2或乘以Dem2，其中Shift2可以不等于Shift1，例如Shift2>Shift1；Dem2可能不等于Dem1，例如Dem2>Dem1。
44.提出当需要垂直上采样和水平上采样时，以固定顺序执行在ALWIP中的上采样。
a.在一个示例中，可以先执行水平上采样，然后可以执行垂直上采样。
b.在一个示例中，可以先执行垂直上采样，然后可以执行水平上采样。
45.在一个示例中，在上采样之前，ALWIP中的预测样点可以根据块大小被转置。
a.在一个示例中，可以先将W*H块转置为H*W块，然后可以应用上采样。
b.可选地，此外，在上采样过程之后，上采样的样点可以以相反的方式转置。
46.提出在ALWIP中使用交替插值滤波器(Alternative Interpolation Filter)代替双线性滤波器进行上采样。
a.在一个示例中，可以使用(4抽头、6抽头、8抽头等)高斯滤波器。
b.在一个示例中，可以使用(4抽头、6抽头、8抽头等)立方滤波器。
c.在一个示例中，可以使用用于色度样点的运动补偿的插值滤波器。
d.在一个示例中，可以使用用于亮度样点的运动补偿的插值滤波器
(6抽头、8抽头等)。
e.使用哪种插值滤波器可以取决于块大小。
f.使用哪种插值滤波器可以取决于上采样比率。
g.使用哪种插值滤波器可以取决于ALWIP的预测模式。
h.使用哪种插值滤波器可以取决于有多少样点可用于上采样。
i.例如，当一行(或一列)中有4个可用样点(不包括相邻参考样点)时，可以使用4抽头插值滤波器。
ii.例如，当一行(或一列)中有8个可用样点(不包括相邻参考样点)时，可以使用4抽头或8抽头插值滤波器。
47.提出以ALWIP模式编解码的块的MPM可以独立于相邻块来构造。
a.在一个示例中，以ALWIP模式编解码的块的MPM是预定义的。
i.例如，对于所有块大小，预定义的MPM为{M0、M1、M2}。例如，M0＝0，M1＝1，M2＝2。
ii.例如，以ALWIP模式编解码的块的预定义的MPM可以取决于块大小。例如，以ALWIP模式编解码的块的预定义的MPM可以取决于在第2.2.1.5节中定义的sizeId。
1)例如，当sizeId等于0时，MPM按顺序为{17，34，5}。
2)例如，当sizeId等于1时，MPM按顺序为{0，7，16}。
3)例如，当sizeId等于2时，MPM的顺序为{1，4，6}。
iii.例如，以ALWIP模式编解码的块的预定义的MPM被固定为与前K个矩阵相关联。
1)在一个示例中，K＝3。
2)在一个示例中，K可以取决于块大小。
48.提出统一用于ALWIP的矩阵数量，而不考虑块大小。
a.在一个示例中，可以为所有块大小存储S个矩阵。例如，S＝11，或S＝19，或S＝35。
b.在一个示例中，对于所有块大小，ALWIP模式信令通知以相同的方式完成。
c.可选地，对于不同的块大小，矩阵可以不同。
5.实施例
新添加的部分以粗体斜体突出示出，并且删除的部分以下划线斜体突出示出。
5.1一个示例
三个上下文用于编解码ALWIP标志。
表9-15–将ctxInc分配给上下文编解码的二进制位的语法元素
5.2一个示例
一个固定的上下文用于编码ALWIP标志。
表9-15–将ctxInc分配给上下文编码的二进制位的语法元素
/>
5.3一个示例
一步执行边界缩减过程。
以下实施例基于采用的JVET-N0220-proposal-test-CE3-4.1_v2。
8.4.4.2.X1仿射线性加权帧内样点预测
该过程的输入为：
–变量nTbX，规定变换块尺寸，
–参考样点refX[x]，其中x＝0..nTbX-1，
–变量boundarySize，规定下采样边界尺寸，
–标志needUpsBdryX，规定上采样是否需要中间边界样点，
–变量upsBdrySize，规定上采样边界尺寸。
该过程的输出是缩减边界样点redX[x]，其中x＝0..boundarySize–1，和上采样边界样点upsBdryX[x]，其中x＝0..upsBdrySize–1。
上采样边界样点upsBdryX[x]，其中x＝0..upsBdrySize–1推导如下：
–如果needUpsBdryX等于TRUE，并且upsBdrySize小于nTbX，则以下适用：
uDwn＝nTbX/upsBdrySize (8-X30)
upsBdryX[x]＝refX[x*uDwb]
–否则(upsBdrySize等于nTbX)，upsBdryX[x]设置为等于refX[x]。
缩减边界样点redX[x]，其中x＝0..boundarySize–1推导如下：
–如果boundarySize小于nTbX，则以下适用：
等式8-X33中的项被删除。
–否则(boundarySize等于nTbX)，redX[x]设置为等于/>refX[x]。/>
5.4一个示例
在ALWIP的上采样过程中，在不同的滤波阶段推导具有不同精度的预测样点。
以下实施例基于采用的JVET-N0217-proposal-test-CE3-4.1_v2。
该过程的输入为：
–变量predW，规定输入块宽度，
–变量predH，规定输入块高度，
–仿射线性加权样点predLwip[x][y]，其中x＝0..preDw 1，y＝0..predH–1，
–变量nTbW，规定变换块宽度，
–变量nTbH，规定变换块高度，
–变量upsBdryW，规定上采样边界宽度，
–变量upsBdryH，规定上采样边界高度，
–顶部上采样边界样点upsBdryT[x]，其中x＝0..upsBdryW–1，
–左侧上采样边界样点upsBdryL[x]，其中x＝0..upsBdryH–1。
该过程的输出是预测样点predSamples[x][y],其中x＝0..nTbW-1,y＝0..nTbH-1。
如下从predLwip[x][y]中推导稀疏预测样点predSamples[m][n]，其中，x＝0..predW-1,y＝0..predH–1：
upHor＝nTbW/predW (8-X34)
upVer＝nTbH/predH (8-X35)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predLwip[x][y] (8-X36)
如下将顶部边界样点upsBdryT[x]分配给predSamples[m][-1]，其中，x＝0..upsBdryW–1：
predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x] (8-X37)
如下将左侧边界样点upsBdryL[y]分配给predSamples[-1][n]，其中，y＝0..upsBdryH–1：
predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y] (8-X38)
预测样点predSamples[x][y]，其中x＝0..nTbW 1，y＝0..nTbH–1推导如下：
–如果nTbH大于nTbW，则适用以下有序步骤：
1.当upHor大于1时，如下以dX＝1..upHor对所有稀疏位置(xHor,yHor)＝(m*upHor–1,n*upVer–1)应用水平上采样，其中m＝0..predW-1,n＝1..predH：
2.如下以dY＝1..upVer对所有稀疏位置(xVer,yVer)＝(m,n*upVer–1)应用垂直上采样，其中m＝0..nTbW-1,n＝0..predH-1：
如果yVer等于-1,predSamples[xVer][yVer]＝predSamples[xVer][yVer]<<log2(upHor)
–否则，以下有序步骤适用：
1.当upVer大于1时，如(8-X41)规定的以dY＝1..upVer/>对所有稀疏位置(xVer,yVer)＝(m*upHor–1,n*upVer–1)应用垂直上采样，其中m＝1..predW,n＝0..predH-1。
predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer])
(8-X41)
2.如下如中规定的以dX＝1..upHor/>对所有稀疏位置(xHor,yHor)＝(m*upHor–1,n)应用水平上采样，其中m＝0..predW-1,n＝1..predH–1。
如果xHor等于–1，predSamples[xHor][yHor]＝predSamples[xHor][yHor]<<log2(upVer)
predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+(1<<(log2(upHor)+log2(upVer)-1)))>>(log2(upHor)+log2(upVer)) (8-X42)
5.5对应于项目符号40的示例
假设块大小为W×H。其中x＝Sx,Sx+Kx,Sx+2Kx,Sx+3Kx,…,y＝Sy,Sy+Ky,Sy+2Ky,Sy+3Ky…的样点P(x，y)被输入到上采样过程，以推导x＝0,1,2…W-1,y＝0,1,2,…H-1的上采样样点S(x，y)。Kx和Ky分别是沿水平和垂直方向的步长大小。(Sx，Sy)是起始位置。
假设1-D上采样在第一阶段水平地进行，并且1-D上采样在第二阶段垂直地进行。
在一个示例中，第一阶段中的没有右移的输出结果可以推导为
S’(Sx+Kx-1,Sy)＝F1*P(Sx,Sy)+F2*P(Sx+Kx,Sy)
S’(Sx+Kx-1,Sy+Ky)＝F1*P(Sx,Sy+Ky)+F2*P(Sx+Kx,Sy+Ky)
F1、F2是2抽头滤波器的系数，并且F1+F2＝2N。
那么第二阶段的输出结果可以推导为
S’(Sx+Kx-1,Sy+1)＝F3*S’(Sx+Kx-1,Sy)+F4*S’(Sx+Kx-1,Sy+Ky)
F3，F4是2抽头滤波器的系数，并且F3+F4＝2N。
那么最终的上采样样点值可以推导为：
S(Sx+Kx-1,Sy+1)＝Shift(S’(Sx+Kx-1,Sy+1),2N)；
S(Sx+Kx-1,Sy)＝Shift(S’(Sx+Kx-1,Sy),N)；
S(Sx+Kx-1,Sy+Ky)＝Shift(S’(Sx+Kx-1,Sy+Ky),N)；
5.6一个示例
在一个阶段中推导缩减边界样点，并生成用于上采样的参考缓冲器。
以下实施例基于采用的JVET-N0217-proposal-test-CE3-4.1_v2。
8.4.4.2.X1仿射线性加权帧内样点预测
8.4.4.2.X3边界缩减过程的规范
……
上采样边界样点upsBdryX[x]，其中x＝0..upsBdrySize–1，推导如下：
–如果needUpsBdryX等于TRUE，并且upsBdrySize小于nTbX，则以下适用：
uDwn＝nTbX/upsBdrySize (8-X30)
upsBdryX[x]＝refX[(x+1)*uDwn-1]
–否则(upsBdrySize等于nTbX)，upsBdryX[x]设置为等于refX[x]。
缩减边界样点redX[x]，其中x＝0..boundarySize–1推导如下：
–如果boundarySize小于upsBdrySize nTbX，则以下适用：
等式8-X33中的项upsBdryX被删除。
–否则(boundarySize等于nTbX)，redX[x]设置为等于/>refX[x]。
5.7一个示例
这里给出了ALWIP(又名基于矩阵的帧内预测，或者MIP)中的固定顺序上采样的示例。本文基于JVET-N1001-v6。
5.7.1首先水平上采样，然后垂直上采样
8.4.5.2.1基于矩阵的帧内样点预测
该过程的输入为：
–样点位置(xTbCmp，yTbCmp)，规定当前变换块的左上角样点相对于当前图片的左上角样点的位置，
–变量predModeIntra，规定帧内预测模式，
–变量nTbW，规定变换块宽度，
–变量nTbH，规定变换块高度。
该过程的输出是预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1。
使用MipSizeId[xTbCmp][yTbCmp]来推导变量numModes、boundarySize、predW、predH、predC，如表8-7中所规定。
表8-7–使用MipSizeId的预测模式的数量numModes、边界尺寸boundarySize和预测尺寸predW、predH和predC
| MipSizeId | numModes | boundarySize | predW | predH | predC |
| 0 | 35 | 2 | 4 | 4 | 4 |
| 1 | 19 | 4 | 4 | 4 | 4 |
| 2 | 11 | 4 | Min(nTbW,8) | Min(nTbH,8) | 8 |
标志isTransposed推导如下：
isTransposed＝(predModeIntra>(numModes/2))？TRUE:FALSE (8-56)
标志needUpsBdryHor和needUpsBdryVer推导如下：
needUpsBdryHor＝(nTbW>predW)？TRUE:FALSE (8-57)
needUpsBdryVer＝(nTbH>predH)？TRUE:FALSE (8-58)
变量upsBdryW和upsBdryH推导如下：
变量mipW和mipH推导如下：
mipW＝isTransposed？predH:predW (8-61)
mipH＝isTransposed？predW:predH (8-62)
对于参考样点refT[x]和refT[y]的生成，其中x＝0..nTbW–1，y＝0..nTbH-1，以样点位置(xTbCmp、yTbCmp)、变换块宽度nTbW、变换块高度NTBh作为输入，调用条款8.4.5.2.2中规定的MIP参考样点推导过程，并且顶部和左侧参考样点refT[x]和refL[y]，其中x＝0..nTbW–1，y＝0..nTbH-1分别作为输出。
对于边界样点p[x]，其中x＝0..2*boundarySize-1的生成，以下适用：
–以块尺寸nTbW、参考样点refT[x]，其中x＝0..nTbW-1、边界尺寸boundarySize、上采样边界标志needUpsBdryHor和上采样边界尺寸upsBdryW作为输入，为顶部参考样点调用条款8.4.5.2.3中规定的MIP边界下采样过程，并且缩减边界样点redT[x]，其中x＝0..boundarySize-1和上采样边界样点upsBdryT[x]，其中x＝0..upsBdryW–1作为输出。
–以块尺寸nTbH、参考样点refT[x]，其中y＝0..nTbH-1、边界尺寸boundarySize、上采样边界标志needUpsBdryVer和上采样边界尺寸upsBdryH作为输入，为左侧参考样点调用条款8.4.5.2.3中规定的MIP边界下采样过程，并且缩减边界样点redL[x]，其中x＝0..boundarySize-1和上采样边界样点upsBdryL[x]，其中x＝0..upsBdryH-1作为输出。
–缩减的顶部和左侧边界样点redT和redL被分配给边界样点阵列p，如下所示：
–如果isTransposed等于1，p[x]设置为等于redL[x]，其中x＝0..boundarySize-1，并且p[x+boundarySize]设置为等于redT[x]，其中x＝0..boundarySize-1。
–否则，p[x]设置为等于redT[x]，其中x＝0..boundarySize-1，并且p[x+boundarySize]设置为等于redL[x]，其中x＝0..boundarySize-1。
对于根据predModeIntra的帧内样点预测过程，以下有序步骤适用：
3.基于矩阵的帧内预测样点predMip[x][y]，其中x＝0..mipW-1，y＝0..mipH-1推导如下：
–变量modeId推导如下：
modeId＝predModeIntra-(isTransposed？numModes/2:0) (8-63)
–使用MipSizeId[xTbCmp][yTbCmp]和modeId来推导权重矩阵mWeight[x][y]，其中x＝0..2*boundarySize–1，y＝0..predC*predC–1，如表8-XX中所规定[Ed.(BB)：一旦采用非10比特权重解决方案，则添加权重矩阵]。
–使用sizeId和modeId来推导偏移矢量vBias[y]，其中y＝0..predC*predC–1，如表8-XX中所规定[Ed.(BB)：一旦采用非10比特权重解决方案，则添加偏移矢量]。
–使用MipSizeId[xTbCmp][yTbCmp]和modeId推导的变量sW，如表8-8中所规定。
–基于矩阵的帧内预测样点predMip[x][y]，其中x＝0..mipW-1,y＝0..mipH-1推导如下：
oW＝1<<(sW-1) (8-64)
sB＝BitDepthY-1 (8-65)
incW＝(predC>mipW)？2:1 (8-66)
incH＝(predC>mipH)？2:1 (8-67)
4.当isTransposed等于TRUE时，如下转置predH×predW的阵列predMip[x][y]，其中x＝0..predH-1,y＝0..predW-1：
predTemp[y][x]＝predMip[x][y] (8-69)
predMip＝predTemp (8-70)
5.预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1的推导如下：
–如果needUpsBdryVer等于TRUE或needUpsBdryHor等于TRUE，则以输入块宽度predW，输入块高度predH，基于矩阵的帧内预测样点predMip[x][y]，其中x＝0..predW-1，y＝0..predH–1，变换块宽度nTbW、变换块高度nTbH，上采样边界宽度upsBdryW，上采样边界高度upsBdryH、顶部上采样边界样点upsBdryT和左侧上采样边界样点upsBdryL作为输入，调用条款8.4.5.2.4中规定的MIP预测上采样过程，并且输出为预测样点阵列predSamples。
–否则，predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1设置为等于predMip[x][y]。
6.如下修剪(clip)预测样点predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1：
predSamples[x][y]＝Clip1Y(predSamples[x][y]) (8-71)
表8-8–取决于MipSizeId和modeId的权重移位sW的规范
8.4.5.2.4 MIP预测上采样过程
该过程的输入为：
–变量predW，规定输入块宽度，
–变量predH，规定输入块高度，
–基于矩阵的帧内预测采样predMip[x][y]，其中x＝0..predW-1，y＝0..predH-1，
–变量nTbW，规定变换块宽度，
–变量nTbH，规定变换块高度，
–变量upsBdryW，规定上采样边界宽度，
–变量upsBdryH，规定上采样边界高度，
–顶部上采样边界样点upsBdryT[x]，其中x＝0..upsBdryW-1，
–左侧上采样边界样点upsBdryL[x]，其中x＝0..upsBdryH-1。
该过程的输出是预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1。
如下从predSamples[x][y]中推导稀疏预测样点predSamples[m][n]，其中x＝0..predW-1，y＝0..predH-1：
upHor＝nTbW/predW (8-78)
upVer＝nTbH/predH (8-79)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predMip[x][y] (8-80)
如下将顶部边界样点upsBdryT[x]，其中x＝0..upsBdryW–1分配给predSamples[m][-1]：
predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x] (8-81)
如下将左侧边界样点upsBdryL[y]，其中y＝0..upsBdryH-1分配给predSamples[-1][n]：
predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y] (8-82)
预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1如下推导：
–如果nTbH大于nTbW，则适用以下有序步骤：
1.当upHor大于1时，如下以dX＝1..upHor–1对所有稀疏位置(xHor，yHor)＝(m*upHor-1，n*upVer-1)应用水平上采样，其中m＝0..predW-1，n＝1..predH：
sum＝(upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor] (8-83)
predSamples[xHor+dX][yHor]＝(sum+upHor/2-(sum<0？1:0))/upHor (8-84)
2.如下以dY＝1..upVer-1对所有稀疏位置(xVer,yVer)＝(m,n*upVer-1)应用垂直上采样，其中m＝0..nTbW–1，n＝0..predH–1：
sum＝(upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer] (8-85)
predSamples[xVer][yVer+dY]＝(sum+upVer/2-(sum<0？1:0))/upVer (8-86)
/>
5.7.2首先垂直上采样，然后水平上采样
8.4.5.2.1基于矩阵的帧内样点预测
该过程的输入为：
–样点位置(xTbCmp，yTbCmp)，规定当前变换块的左上角样点相对于当前图片的左上角样点的位置，
–变量predModeIntra，规定帧内预测模式，
–变量nTbW，规定变换块宽度，
–变量nTbH，规定变换块高度。
该过程的输出是预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1。
使用MipSizeId[xTbCmp][yTbCmp]来推导变量numModes、boundarySize、predW、predH、predC，如表8-7中所规定。
表8-7–使用MipSizeId的预测模式的数量numModes、边界尺寸boundarySize和预测尺寸predW、predH和predC
| MipSizeId | numModes | boundarySize | predW | predH | predC |
| 0 | 35 | 2 | 4 | 4 | 4 |
| 1 | 19 | 4 | 4 | 4 | 4 |
| 2 | 11 | 4 | Min(nTbW,8) | Min(nTbH,8) | 8 |
标志isTransposed推导如下：
isTransposed＝(predModeIntra>(numModes/2))？TRUE:FALSE (8-56)
标志needUpsBdryHor和needUpsBdryVer推导如下：
needUpsBdryHor＝(nTbW>predW)？TRUE:FALSE (8-57)
needUpsBdryVer＝(nTbH>predH)？TRUE:FALSE (8-58)
变量upsBdryW和upsBdryH推导如下：
upsBdryW＝predW (8-59)
upsBdryH＝nTbH (8-60)
变量mipW和mipH推导如下：
mipW＝isTransposed？predH:predW (8-61)
mipH＝isTransposed？predW:predH (8-62)
对于参考样点refT[x]和refT[y]的生成，其中x＝0..nTbW–1，y＝0..nTbH-1，以样点位置(xTbCmp、yTbCmp)、变换块宽度nTbW、变换块高度NTBh作为输入，调用条款8.4.5.2.2中规定的MIP参考样点推导过程，并且顶部和左侧参考样点refT[x]和refL[y]，其中x＝0..nTbW–1，y＝0..nTbH-1分别作为输出。
对于边界样点p[x]，其中x＝0..2*boundarySize-1的生成，以下适用：
–以块尺寸nTbW、参考样点refT[x]，其中x＝0..nTbW-1、边界尺寸boundarySize、上采样边界标志needUpsBdryHor和上采样边界尺寸upsBdryW作为输入，为顶部参考样点调用条款8.4.5.2.3中规定的MIP边界下采样过程，并且缩减边界样点redT[x]，其中x＝0..boundarySize-1和上采样边界样点upsBdryT[x]，其中x＝0..upsBdryW–1作为输出。
–以块尺寸nTbH、参考样点refT[x]，其中y＝0..nTbH-1、边界尺寸boundarySize、上采样边界标志needUpsBdryVer和上采样边界尺寸upsBdryH作为输入，为左侧参考样点调用条款8.4.5.2.3中规定的MIP边界下采样过程，并且缩减边界样点redL[x]，其中x＝0..boundarySize-1和上采样边界样点upsBdryL[x]，其中x＝0..upsBdryH-1作为输出。
–缩减的顶部和左侧边界样点redT和redL被分配给边界样点阵列p，如下所示：
–如果isTransposed等于1，p[x]设置为等于redL[x]，其中x＝0..boundarySize-1，并且p[x+boundarySize]设置为等于redT[x]，其中x＝0..boundarySize-1。
–否则，p[x]设置为等于redT[x]，其中x＝0..boundarySize-1，并且p[x+boundarySize]设置为等于redL[x]，其中x＝0..boundarySize-1。
对于根据predModeIntra的帧内样点预测过程，以下有序步骤适用：
7.基于矩阵的帧内预测样点predMip[x][y]，其中x＝0..mipW-1，y＝0..mipH-1推导如下：
–变量modeId推导如下：
modeId＝predModeIntra-(isTransposed？numModes/2:0) (8-63)
–使用MipSizeId[xTbCmp][yTbCmp]和modeId来推导权重矩阵mWeight[x][y]，其中x＝0..2*boundarySize–1，y＝0..predC*predC–1，如表8-XX中所规定[Ed.(BB)：一旦采用非10比特权重解决方案，则添加权重矩阵]。
–使用sizeId和modeId来推导偏移矢量vBias[y]，其中y＝0..predC*predC–1，如表8-XX中所规定[Ed.(BB)：一旦采用非10比特权重解决方案，则添加偏移矢量]。
–使用MipSizeId[xTbCmp][yTbCmp]和modeId推导的变量sW，如表8-8中所规定。
–基于矩阵的帧内预测样点predMip[x][y]，其中x＝0..mipW-1,y＝0..mipH-1推导如下：
oW＝1<<(sW-1) (8-64)
sB＝BitDepthY-1 (8-65)
incW＝(predC>mipW)？2:1 (8-66)
incH＝(predC>mipH)？2:1 (8-67)
8.当isTransposed等于TRUE时，如下转置predH×predW的阵列predMip[x][y]，其中x＝0..predH-1,y＝0..predW-1：
predTemp[y][x]＝predMip[x][y] (8-69)
predMip＝predTemp (8-70)
9.预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1的推导如下：
–如果needUpsBdryVer等于TRUE或needUpsBdryHor等于TRUE，则以输入块宽度predW，输入块高度predH，基于矩阵的帧内预测样点predMip[x][y]，其中x＝0..predW-1，y＝0..predH–1，变换块宽度nTbW、变换块高度nTbH，上采样边界宽度upsBdryW，上采样边界高度upsBdryH、顶部上采样边界样点upsBdryT和左侧上采样边界样点upsBdryL作为输入，调用条款8.4.5.2.4中规定的MIP预测上采样过程，并且输出为预测样点阵列predSamples。
–否则，predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1设置为等于predMip[x][y]。
10.如下修剪预测样点predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1：
predSamples[x][y]＝Clip1Y(predSamples[x][y]) (8-71)
表8-8–取决于MipSizeId和modeId的权重移位sW的规范
8.4.5.2.4 MIP预测上采样过程
该过程的输入为：
–变量predW，规定输入块宽度，
–变量predH，规定输入块高度，
–基于矩阵的帧内预测样点predMip[x][y]，其中x＝0..predW-1，y＝0..predH-1，
–变量nTbW，规定变换块宽度，
–变量nTbH，规定变换块高度，
–变量upsBdryW，规定上采样边界宽度，
–变量upsBdryH，规定上采样边界高度，
–顶部上采样边界样点upsBdryT[x]，其中x＝0..upsBdryW-1，
–左侧上采样边界样点upsBdryL[x]，其中x＝0..upsBdryH-1。
该过程的输出是预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1。
如下从predSamples[x][y]中推导稀疏预测样点predSamples[m][n]，其中x＝0..predW-1，y＝0..predH-1：
upHor＝nTbW/predW (8-78)
upVer＝nTbH/predH (8-79)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predMip[x][y] (8-80)
如下将顶部边界样点upsBdryT[x]，其中x＝0..upsBdryW–1分配给predSamples[m][-1]：
predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x] (8-81)
如下将左侧边界样点upsBdryL[y]，其中y＝0..upsBdryH-1分配给predSamples[-1][n]：
predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y] (8-82)
预测样点predSamples[x][y]，其中x＝0..nTbW-1,y＝0..nTbH-1如下推导：
–否则，以下有序步骤适用：
1.当upVer大于1时，如下以dY＝1..upVer-1对所有稀疏位置(xVer,yVer)＝(m*upHor-1,n*upVer-1)应用垂直上采样，其中m＝1..predW，n＝0..predH-1：
sum＝(upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer] (8-87)
predSamples[xVer][yVer+dY]＝(sum+upVer/2-(sum<0？1:0))/upVer (8-88)
2.如下以dX＝1..upHor-1对所有稀疏位置(xHor,yHor)＝(m*upHor-1,n)应用水平上采样，其中m＝0..predW–1，n＝0..nTbH-1：
sum＝(upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor] (8-89)
predSamples[xHor+dX][yHor]＝(sum+upHor/2-(sum<0？1:0))/upHor (8-90)
5.8为MPM编解码的基于JVET-N1001-v7的示例性工作草案
8.4.2 MIP模式的推导过程
该过程的输入为：
–亮度位置(xCb，yCb)，规定当前亮度编解码块的左上角样点相对于当前图片的左上角亮度样点的位置，
–变量cbWidth，规定亮度样点中当前编解码块的宽度，
–变量cbHeight，规定亮度样点中当前编解码块的高度，
在该过程中，推导基于矩阵的帧内预测模式帧IntraPredModeY[xCb][yCb]。按以下有序步骤推导IntraPredModeY[xCb][yCb]：
/>
7.使用mipMpmCand[sizeId]如下推导CandMipmmodelist[x]，其中x＝0..2，如表8-2中所规定：
candMipModeList[0]＝mipMpmCand[sizeId][0] (8-10)
candMipModeList[1]＝mipMpmCand[sizeId][1] (8-11)
candMipModeList[2]＝mipMpmCand[sizeId][2] (8-12)
/>
8.IntraPredModeY[xCb][yCb]通过应用以下过程推导：
–如果intra_mip_mpm_flag[xCb][yCb]等于1，则IntraPredModeY[xCb][yCb]设置为等于candMipModeList[intra_mip_mpm_idx[xCb][yCb]]。
–否则，IntraPredModeY[xCb][yCb]通过应用以下有序步骤推导：
3.对于i＝0..1并且对于每个i，j＝(i+1)..2，当candMipModeList[i]大于candMipModeList[j]时，两个值交换如下：
(candMipModeList[i],candMipModeList[j])＝Swap(candMipModeList[i],candMipModeList[j]) (8-23)
4.IntraPredModeY[xCb][yCb]通过以下有序步骤推导：
i.IntraPredModeY[xCb][yCb]设置为等于intra_mip_mpm_remainder[xCb][yCb]。
ii.对于i等于0到2(包含端点)，当IntraPredModeY[xCb][yCb]大于或等于candMipModeList[i]时，IntraPredModeY[xCb][yCb]的值增加1。
变量IntraPredModeY[x][y](其中x＝xCb..xCb+cbWidth–1，y＝yCb..yCb+cbHeight-1)设置为等于IntraPredModeY[xCb][yCb]。
表8-1–帧内预测和MIP模式之间的映射的规范
表8-2–MIP候选模式mipMpmCand[sizeId][x]的规范
i.亮度帧内预测模式的推导过程
该过程的输入为：
–亮度位置(xCb，yCb)，规定当前亮度编解码块的左上角样点相对于当前图片的左上角亮度样点的位置，
–变量cbWidth，规定亮度样点中的当前编解码块的宽度，
–变量cbHeight，规定亮度样点的当前编解码块的高度，
在该过程中，推导亮度帧内预测模式IntraPredModeY[xCb][yCb]。
表8-3规定了帧内预测模式IntraPredModeY[xCb][yCb]的值和相关联的名称。
表8-3–帧内预测模式和相关联的名称的规范
| 帧内预测模式 | 相关联的名称 |
| 0 | INTRA_PLANAR |
| 1 | INTRA_DC |
| 2..66 | INTRA_ANGULAR2..INTRA_ANGULAR66 |
| 81..83 | INTRA_LT_CCLM,INTRA_L_CCLM,INTRA_T_CCLM |
注–：帧内预测模式INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM仅可应用于色度分量。
IntraPredModeY[xCb][yCb]推导如下：
–如果BdpcmFlag[xCb][yCb]等于1或intra_luma_not_planar_flag[xCb][yCb]等于0，则IntraPredModeY[xCb][yCb]设置为INTRA_PLANAR。
–否则(intra_luma_not_planar_flag[xCb][yCb]等于1)，以下有序步骤适用：
9.相邻位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为(xCb-1,yCb+cbHeight-1)和(xCb+cbWidth-1,yCb-1)。
10.对于被A或B替换的X，变量candIntraPredModeX推导如下：
–以设置为等于(xCb，yCb)的位置(xCurr，yCurr)和设置为等于(xNbX，yNbX)的相邻位置(xNbY，yNbY)作为输入，调用条款6.4.X[Ed.(BB)：相邻块可用性检查过程tbd]中规定的块的可用性推导过程，并且输出被分配给availableX。
–候选帧内预测模式candIntraPredModeX推导如下：
–如果以下一个或多个条件为真，则candIntraPredModeX设置为等于INTRA_PLANAR。
–变量availableX等于FALSE。
–CuPredMode[xNbX][yNbX]不等于MODE_INTRA，ciip_flag[xNbX][yNbX]不等于1。
–pcm_flag[xNbX][yNbX]等于1。
–X等于B并且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
–intra_mip_flag[xCb][yCb]等于1
–否则，candIntraPredModeX推导如下：
–candIntraPredModeX设置为等于IntraPredModeY[xNbX][yNbX]。
11.candModeList[x]，其中x＝0..4推导如下：
–如果candIntraPredModeB等于candIntraPredModeA，并且candIntraPredModeA大于INTRA_DC，则candModeList[x]，其中x＝0..4推导如下：
candModeList[0]＝candIntraPredModeA (8-24)
candModeList[1]＝2+((candIntraPredModeA+61)％64) (8-25)
candModeList[2]＝2+((candIntraPredModeA-1)％64) (8-26)
candModeList[3]＝INTRA_DC (8-27)
candModeList[4]＝2+((candIntraPredModeA+60)％64) (8-28)
–否则，如果candIntraPredModeB不等于candIntraPredModeA，并且candIntraPredModeA或candIntraPredModeB大于INTRA_DC，则以下适用：
–变量minAB和maxAB推导如下：
minAB＝Min(candIntraPredModeA,candIntraPredModeB) (8-29)
maxAB＝Max(candIntraPredModeA,candIntraPredModeB) (8-30)
–如果candIntraPredModeA和candIntraPredModeB都大于INTRA_DC，则candModeList[x]其中x＝0..4推导如下：
candModeList[0]＝candIntraPredModeA (8-31)
candModeList[1]＝candIntraPredModeB (8-32)
candModeList[2]＝
INTRA_DC (8-33)
–如果maxAB-minAB在2至62(包含端点)范围内，则以下适用：
candModeList[3]＝2+((maxAB+61)％64) (8-34)
candModeList[4]＝2+((maxAB-1)％64) (8-35)
–否则，以下适用：
candModeList[3]＝2+((maxAB+60)％64) (8-36)
candModeList[4]＝2+((maxAB)％64) (8-37)
–否则(candIntraPredModeA或candIntraPredModeB大于INTRA_DC)，candModeList[x]，其中x＝0..4推导如下：
candModeList[0]＝maxAB (8-38)
candModeList[1]＝INTRA_DC (8-39)
candModeList[2]＝2+((maxAB+61)％64) (8-40)
candModeList[3]＝2+((maxAB-1)％64) (8-41)
candModeList[4]＝2+((maxAB+60)％64) (8-42)
–否则，以下适用：
candModeList[0]＝INTRA_DC (8-43)
candModeList[1]＝INTRA_ANGULAR50 (8-44)
candModeList[2]＝INTRA_ANGULAR18 (8-45)
candModeList[3]＝INTRA_ANGULAR46 (8-46)
candModeList[4]＝INTRA_ANGULAR54 (8-47)
12.通过应用以下过程推导IntraPredModeY[xCb][yCb]：
–如果intra_luma_mpm_flag[xCb][yCb]等于1，则IntraPredModeY[xCb][yCb]设置为等于candModeList[intra_luma_mpm_idx[xCb][yCb]]。
–否则，通过应用以下有序步骤推导IntraPredModeY[xCb][yCb]：
5.对于i＝0..3并且对于每个i，j＝(i+1)..4，当candModeList[i]大于candModeList[j]时，两个值交换如下：
(candModeList[i],candModeList[j])＝Swap(candModeList[i],candModeList[j]) (8-48)
6.IntraPredModeY[xCb][yCb]通过以下有序步骤推导：
i.IntraPredModeY[xCb][yCb]设置为等于intra_luma_mpm_remainder[xCb][yCb]。
ii.IntraPredModeY[xCb][yCb]的值增加1。
iii.对于i等于0到4(包含0到4)，当IntraPredModeY[xCb][yCb]大于或等于candModeList[i]时，IntraPredModeY[xCb][yCb]的值增加1。
变量IntraPredModeY[x][y]设置为等于IntraPredModeY[xCb][yCb]，其中，x＝xCb..xCb+cbWidth–1并且y＝yCb..yCb+cbHeight-1。
/>
8.4.4色度帧内预测模式的推导过程
该过程的输入为：
–亮度位置(xCb，yCb)，规定当前色度编解码块的左上角样点相对于当前图片的左上角亮度样点的位置，
–变量cbWidth，规定亮度样点中的当前编解码块的宽度，
–变量cbHeight，规定亮度样点中的当前编解码块的高度。
在该过程中，推导色度帧内预测模式IntraPredModeC[xCb][yCb]。
对应的亮度帧内预测模式lumaIntraPredMode推导如下：
–如果intra_mip_flag[xCb+cbWidth/2][yCb+cbHeight/2]等于1，则lumaIntraPredMode设置为等于INTRA_PLANAR。
–否则，将lumaIntraPredMode设置为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。
使用intra_chroma_pred_mode[xCb][yCb]和lumaIntraPredMode推导色度帧内预测模式IntraPredModeC[xCb][yCb]，如表8-5和表8-6中所规定。
上面描述的示例可以结合在下面描述的方法的上下文中，例如方法1100-1400和2300-2700，其可以在视频编码器和/或解码器处实现。
图11示出了视频处理的示例性方法的流程图。方法1100包括，在步骤1110，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码。
方法1100包括，在步骤1120，基于该确定，基于非ALWIP帧内模式的MPM列表的至少一部分，构建ALWIP模式的最可能模式(MPM)列表的至少一部分。
方法1100包括，在步骤1130，基于ALWIP模式的MPM列表，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，ALWIP模式的MPM列表的尺寸与非ALWIP帧内模式的MPM列表的尺寸相同。在一个示例中，ALWIP模式的MPM列表的尺寸为6。
在一些实施例中，方法1100还包括将默认模式插入ALWIP模式的MPM列表的步骤。在一个示例中，默认模式被插入到ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分之前。在另一个示例中，默认模式被插入到ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分之后。在又一个示例中，默认模式以与ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分交错的方式插入。
在一些实施例中，构建ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于一个或多个相邻块。
在一些实施例中，构建于ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表基于当前视频块的高度或宽度。
在一些实施例中，构建ALWIP模式的MPM列表基于第一组参数，该第一组参数不同于用于构建非ALWIP帧内模式的MPM列表的第二组参数。
在一些实施例中，方法1100还包括以下步骤：确定当前视频块的相邻块已经使用ALWIP模式编解码，并且在构建非ALWIP帧内模式的MPM列表时，将相邻块规定为不可用。
在一些实施例中，方法1100还包括以下步骤：确定当前视频块的相邻块已经用非ALWIP帧内模式编解码，并且在构建ALWIP模式的MPM列表时，将相邻块规定为不可用。
在一些实施例中，非ALWIP帧内模式基于正常帧内模式、多参考线(MRL)帧内预测模式或帧内子分区(ISP)工具。
图12示出了视频处理的示例性方法的流程图。方法1200包括，在步骤1210，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块的亮度分量进行编解码。
方法1200包括，在步骤1220，基于该确定，推断色度帧内模式。
方法1200包括，在步骤1230，基于色度帧内模式，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，亮度分量覆盖色度分量的预定色度样点。在一个示例中，预定色度样点是色度分量的左上方样点或中心样点。
在一些实施例中，推断的色度帧内模式是DM模式。
在一些实施例中，推断的色度帧内模式是ALWIP模式。
在一些实施例中，ALWIP模式被应用于当前视频块的一个或多个色度分量。
在一些实施例中，ALWIP模式的不同矩阵或偏置矢量被应用于当前视频块的不同颜色分量。在一个示例中，不同的矩阵或偏置矢量是为Cb和Cr分量联合预定义的。在另一个示例中，Cb和Cr分量是级联的。在又一个示例中，Cb和Cr分量是交错的。
图13示出了视频处理的示例性方法的流程图。方法1300包括，在步骤1310，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码。
方法1300包括，在步骤1320，基于该确定，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，该确定基于序列参数集(SPS)、图片参数集(picture parameterset，PPS)、条带标头、片组标头、片标头、编解码树单元(CTU)行或CTU区域中的信令通知。
在一些实施例中，该确定基于当前视频块的高度(H)或宽度(W)。例如，W>T1或H>T2。在另一个示例中，W≥T1或H≥T2。在又一个示例中，W<T1或H<T2。在另一个示例中，W≤T1或H≤T2。在又一个示例中，T1＝32，T2＝32。
在一些实施例中，该确定基于当前视频块的高度(H)或宽度(W)。在一个示例中，W+H≤T。在另一个示例中，W+H≥T。在又一个示例中，W×H≤T。在又一个示例中，T＝256。
图14示出了视频处理的示例性方法的流程图。方法1400包括，在步骤1410，确定使用不同于仿射线性加权帧内预测(ALWIP)模式的编解码模式来编解码当前视频块。
方法1400包括，在步骤1420，基于该确定，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，编解码模式是组合帧内和帧间预测(combined intra andinter prediction，CIIP)模式，并且方法1400还包括在ALWIP模式和正常帧内预测模式之间执行选择的步骤。在一个示例中，执行选择是基于当前视频块的比特流表示中的显式信令通知。在另一个示例中，执行选择是基于预定规则。在又一示例中，当使用CIIP模式对当前视频块进行编解码时，预定规则总是选择ALWIP模式。在又一示例中，当使用CIIP模式编解码当前视频块时，预定规则总是选择正常帧内预测模式。
在一些实施例中，编解码模式是跨分量线性模型(cross-component linearmodel，CCLM)预测模式。在一个示例中，ALWIP模式的下采样过程基于CCLM预测模式的下采样过程。在另一示例中，ALWIP模式的下采样过程基于第一组参数，并且其中CCLM预测模式的下采样过程基于不同于第一组参数的第二组参数。在又一示例中，ALWIP模式或CCLM预测模式的下采样过程包括下采样位置的选择、下采样滤波器的选择、取整操作或限幅操作中的至少一个。
在一些实施例中，方法1400还包括应用缩减的二次变换(RST)、二次变换、旋转变换或不可分离二次变换(NSST)中的一个或多个的步骤。
在一些实施例中，方法1400还包括应用基于块的差分脉冲编解码调制(differential pulse coded modulation，DPCM)或残差DPCM的步骤。
在一些实施例中，视频处理方法包括：基于当前视频块的规则，确定指示在当前视频块和当前视频块的比特流表示之间的转换期间使用仿射线性加权帧内预测(ALWIP)模式的标志的上下文；基于ALWIP模式，预测当前视频块的多个子块；以及基于预测，执行当前视频块和当前视频块的比特流表示之间的转换。该规则可以使用先验技术隐式地规定，或者可以在编解码比特流中信令通知。该方法的其他示例和方面在第4节的第37和38项中进一步描述。
在一些实施例中，一种视频处理方法包括：确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码；以及在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中，对当前视频块的样点执行至少两个滤波阶段，其中该至少两个滤波阶段的第一滤波阶段中的样点的第一精度不同于该至少两个滤波阶段的第二滤波阶段中的样点的第二精度。
在一个示例中，当前视频块的样点是预测样点、上采样过程之前的中间样点或上采样过程之后的中间样点。在另一个示例中，在第一滤波阶段中，在第一维度上水平地上采样样点，并且其中在第二滤波阶段中，在第二维度上垂直地上采样样点。在又一示例中，在第一滤波阶段中，在第一维度上垂直地上采样样点，并且其中在第二滤波阶段中，在第二维度上水平地上采样样点。
在一个示例中，第一滤波阶段的输出被右移或被除(divide)以生成经处理的输出，并且其中经处理的输出是第二滤波阶段的输入。在另一个示例中，第一滤波阶段的输出被左移或相乘以生成处理后的输出，并且其中处理后的输出是第二滤波阶段的输入。该方法的其他示例和方面在第4节的第40项中进一步描述。
如在第4节的第41至43项中进一步描述的，视频处理方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中，对当前视频块的样点执行至少两个滤波阶段，其中对于执行垂直和水平上采样两者的情况，以固定顺序执行上采样过程。如在第4节的第41至43项中进一步描述的，另一种方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波阶段，其中该转换包括在上采样过程之前执行转置操作。
第4节第41至43项描述了上述方法的其他特征。
6所公开技术的示例实施方式
图15是视频处理装置1500的框图。装置1500可用于实施本文描述的一种或多种方法。装置1500可以体现在智能手机、平板电脑、计算机、物联网接收器(IoT)等中。装置1500可以包括一个或多个处理器1502、一个或多个存储器1504和视频处理硬件1506。(多个)处理器1502可以被配置成实施本文档中描述的一种或多种方法(包括但不限于方法1100至1400和2300至2700)。(多个)存储器1504可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1506可以用于在硬件电路系统中实施本文档中描述的一些技术。
在一些实施例中，视频编解码方法可以使用如参考图15所述的在硬件平台上实施的装置来实施。
所公开的技术的一些实施例包括做出启用视频处理工具或模式的决定或确定。在一个示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实施该工具或模式，但是不一定基于该工具或模式的使用来修改结果比特流。也就是说，从视频块到视频的比特流表示的转换将使用当视频处理工具或模式基于决定或确定被启用时的视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理比特流。也就是说，将使用基于决定或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决定或确定。在一个示例中，当视频处理工具或模式被禁用时，编码器将不会在视频块到视频的比特流表示的转换中使用该工具或模式。在另一个示例中，当视频处理工具或模式被禁用时，解码器将在知道比特流没有被使用基于决定或确定而被禁用的视频处理工具或模式修改的情况下处理比特流。
图21是示出可以利用本公开的技术的示例视频编解码系统100的框图。如图21所示，视频编解码系统100可以包括源设备110和目的设备120。源设备110生成可被称为视频编码设备的编码视频数据。目的设备120可以解码由源设备110生成的编码视频数据，源设备110可以被称为视频解码设备。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备的源、从视频内容提供商接收视频数据的接口、和/或为生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接传输到目的设备120。编码的视频数据也可以存储在存储介质/服务器130b上，以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以解码编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，目的设备120被配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVM)标准和其他当前和/或进一步的标准。
图22是示出视频编码器200的示例的框图，视频编码器200可以是图21所示的系统100中的视频编码器114。
视频编码器200可以被配置成执行本公开的任何或所有技术。在图22的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、可以包括模式选择单元203的预测单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重建单元212、缓冲器213和熵编码单元214。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块拷贝(intra block copy，IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。
此外，诸如运动估计单元204和运动补偿单元205的一些组件可以是高度集成的，但是为了解释的目的，在图18的示例中单独表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以例如基于误差结果选择帧内或帧间编解码模式之一，并将所得的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据，并提供给重建单元212以重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲器213的除了与当前视频块相关联的图片之外的图片的解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带中、P条带中还是在B条带中。
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成指示包含参考视频块的列表0或列表1中的参考图片的参考索引和指示当前视频块和参考视频块之间的空间位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以为当前视频块的参考视频块搜索列表0中的参考图片，并且还可以为当前视频块的另一个参考视频块搜索列表1中的参考图片。运动估计单元204然后可以生成指示包含参考视频块的列表0和列表1中的参考图片的参考索引以及指示参考视频块和当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集，用于解码器的解码处理。
在一些示例中，运动估计单元204可能不输出当前视频的完整的运动信息集。相反，运动估计单元204可以参考另一视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示一个值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差值(MVD)。运动矢量差值指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差值。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差值来确定当前视频块的运动矢量。
如上所述，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(advanced motionvector predication，AMVP)和Merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号表示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
在其他示例中，例如在跳过模式中，当前视频块可能没有当前视频块的残差数据，并且残差生成单元207可能不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(quantization parameter，QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到由预测单元202生成的一个或多个预测视频块的相应样点，以产生与当前块相关联的重建视频块，用于存储在缓冲器213中。
在重建单元212重建视频块之后，可以执行环路滤波操作来减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据，并输出包括熵编码数据的比特流。
图19是示出视频解码器300的示例的框图，视频解码器300可以是图21所示的系统100中的视频解码器124。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图19的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图19的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重建单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图22)描述的编码过程相反的解码过程。
熵解码单元301可以获取编码比特流。编码比特流可以包括熵编解码的视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编解码的视频数据，并且根据熵解码的视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块，可能基于插值滤波器执行插值。要以亚像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可以使用视频编码器20在视频块编码期间使用的插值滤波器来计算参考块的亚整数像素的插值。运动补偿单元302可以根据接收的语法信息确定视频编码器200使用的插值滤波器，并使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分区如何被编码的模式、每个帧间编解码块的一个或多个参考帧(和参考帧列表)以及对编码视频序列进行解码的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间邻近的块形成预测块。逆量化单元304对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化，即，解量化。逆变换单元303应用逆变换。
重建单元306可以将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加，以形成解码块。如果需要，还可以应用去块滤波器来滤波解码的块，以便去除成块效应(blockiness artifacts)。解码的视频块然后被存储在缓冲器307中，缓冲器307为随后的运动补偿/帧内预测提供参考块，并且还产生解码的视频以在显示设备上呈现。
在本文件中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到相应比特流表示的转换期间应用，反之亦然。当前视频块的比特流表示或编解码表示可以例如对应于比特流中的并置或分布在不同位置的比特，如语法所定义的。例如，视频块可以根据变换和编码的误差残余值来编码，并且还可以使用比特流中的头和其他字段中的比特来编码。此外，在转换期间，解码器可以基于该确定，在知道一些字段可能存在或不存在的情况下解析比特流，如以上解决方案中所述。类似地，编码器可以确定是否包括某些语法字段，并通过从编码表示中包括或排除语法字段来相应地生成编解码表示。
图20是示出其中可以实施本文公开的各种技术的示例视频处理系统2000的框图。各种实施方式可以包括系统2000的一些或全部组件。系统2000可以包括用于接收视频内容的输入2002。视频内容可以以原始或未压缩格式接收，例如8或10比特多分量像素值，或者可以以压缩或编码格式接收。输入2002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(Passive Optical Network，PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统2000可以包括编解码组件2004，其可以实施本文档中描述的各种编解码或编码方法。编解码组件2004可以降低从输入2002到编解码组件2004的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件2004的输出可以被存储，或者经由连接的通信(如由组件2006表示的)传输。组件2008可以使用存储的或在输入2002处接收的视频的通信传送的比特流(或编解码)表示来生成发送到显示接口2010的像素值或可显示视频。从比特流表示生成用户可观看的视频的过程有时被称为视频解压缩。此外，虽然特定视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且将由解码器来执行反转编解码结果的对应的解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型计算机、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
在一些实施例中，ALWIP模式或MIP模式用于通过对视频的先前编解码样点执行边界下采样操作(或求平均操作)，随后是矩阵矢量乘法操作，并且选择性地(或可选地)随后是上采样操作(或线性插值操作)，来计算当前视频块的预测块。在一些实施例中，ALWIP模式或MIP模式用于通过对视频的先前编解码样点执行边界下采样操作(或求平均操作)，并随后是矩阵矢量乘法操作来计算当前视频块的预测块。在一些实施例中，ALWIP模式或MIP模式也可以在执行矩阵矢量乘法操作之后执行上采样操作(或线性插值操作)。
图23示出了视频处理的示例性方法的流程图。方法2300包括：执行2302是否使用基于矩阵的帧内预测(Matrix based Intra Prediction，MIP)模式来编解码视频的亮度视频块的第一确定，在该MIP模式中，亮度视频块的预测块是通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定的；执行2304亮度视频块可应用于确定视频的当前色度视频块的色度帧内模式的第二确定，其中执行第二确定基于当前色度视频块的左上角样点相对于与当前色度视频块相关联的当前图片的左上角亮度样点，并且其中执行第二确定基于当前色度视频块相对于亮度视频块的维度和/或当前视频单元的颜色格式；基于第一确定和第二确定，执行2306关于将用于当前色度视频块的色度帧内模式的第三确定；以及基于第三确定，执行2308当前色度视频块和当前色度视频块的比特流表示之间的转换。
在方法2300的一些实施例中，色度帧内模式包括直接模式或导出模式。在方法2300的一些实施例中，当前色度视频块的左上角样点位于亮度视频块内，并且当前色度视频块的第一宽度和当前色度视频块的第一高度分别小于或等于亮度视频块的第二宽度和亮度视频块的第二高度。在方法2300的一些实施例中，当前色度视频块的左上角样点相对于当前图片的左上角亮度样点是(xCb，yCb)，位于亮度视频块内的由(xCb+offsetX,yCb+offsetY)表示的位置的预测模式可应用于确定当前色度视频块的色度帧内模式，offsetX是水平方向上的偏移，并且offsetY是垂直方向上的偏移。在方法2300的一些实施例中，不允许offsetX和offsetY两者都等于零。在方法2300的一些实施例中，offsetX等于当前色度视频块的宽度除以2。在方法2300的一些实施例中，offsetX等于亮度视频块的宽度除以2。在方法2300的一些实施例中，offsetX等于当前色度视频块的宽度除以2的结果减1。
在方法2300的一些实施例中，offsetX等于1加上当前色度视频块的宽度除以2的结果。在方法2300的一些实施例中，offsetY等于当前色度视频块的高度除以2。在方法2300的一些实施例中，offsetY等于亮度视频块的高度除以2。在方法2300的一些实施例中，offsetY等于当前色度视频块的高度除以2的结果减去1。在方法2300的一些实施例中，offsetY等于1加上当前色度视频块的高度除以2的结果。
图24示出了视频处理的示例性方法的流程图。方法2400包括：执行2402使用基于矩阵的帧内预测(MIP)模式来编解码视频的亮度视频块的第一确定，在该MIP模式中，亮度视频块的预测块是通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定的；基于第一确定，根据规则，执行2404关于导出模式(DM)是否用作与亮度视频块相关联的当前色度视频块的色度帧内模式的第二确定；以及基于第二确定，执行2406当前色度视频块和当前色度视频块的比特流表示之间的转换。
在方法2400的一些实施例中，规则规定响应于使用MIP模式对亮度视频块进行编解码，将DM用作色度帧内模式。在方法2400的一些实施例中，跳过比特流表示中对色度帧内模式的信令通知。在方法2400的一些实施例中，执行转换包括比特流表示中的对当前色度视频块的DM的信令通知，并且规则规定将预定义的帧内预测模式应用于当前色度视频块。在方法2400的一些实施例中，预定义的帧内预测模式是平面模式。在方法2400的一些实施例中，预定义的帧内预测模式基于与屏幕内容相关联的编解码信息。在方法2400的一些实施例中，响应于指示屏幕内容是相机捕获的屏幕内容的编解码信息，预定义的帧内预测模式是平面模式。
在方法2400的一些实施例中，响应于指示屏幕内容是非相机捕获的内容的编解码信息，预定义的帧内预测模式是水平预测模式。在方法2400的一些实施例中，规则规定响应于使用MIP模式对亮度视频块进行编解码，不将DM用作色度帧内模式。在方法2400的一些实施例中，在比特流表示中不信令通知DM。在方法2400的一些实施例中，响应于使用MIP模式对亮度视频块进行编解码，并且响应于指示对当前色度视频块不启用跨分量线性模型预测(CCLM)的标志，为色度帧内模式允许四种色度模式，并且在当前色度视频块的比特流表示中信令通知这四种色度模式。在方法2400的一些实施例中，最多两个比特用于在比特流表示中信令通知色度帧内模式。在方法2400的一些实施例中，响应于使用MIP模式对亮度视频块进行编解码并且响应于指示为当前色度视频块启用跨分量线性模型预测(CCLM)的标志，为色度帧内模式允许七种色度模式，并且在当前色度视频块的比特流表示中信令通知这七种色度模式。在方法2400的一些实施例中，最多四个比特用于在比特流表示中信令通知色度帧内模式。
图25示出了视频处理的示例性方法的流程图。方法2500包括：确定2502用基于矩阵的帧内预测(MIP)模式对视频的当前视频块进行编解码，在该MIP模式中，当前视频块的预测块是通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定的；基于该确定，基于规则2504生成最可能模式(MPM)列表，其中所述规则规定独立于为当前视频块的相邻视频块生成的另一MPM列表来生成该MPM列表；以及使用MPM列表来执行2506当前视频块和当前视频块的比特流表示之间的转换。
在方法2500的一些实施例中，MPM列表包括预定义的最可能模式。在方法2500的一些实施例中，预定义的最可能模式包括{M0、M1、M2}，而与当前视频块的维度无关。在方法2500的一些实施例中，预定义的最可能模式基于当前视频块的维度。在方法2500的一些实施例中，预定义的最可能模式基于指示当前视频块的块尺寸类型的标识符。在方法2500的一些实施例中，指示块尺寸类型的标识符是非负值。在方法2500的一些实施例中，标识符包括0、1或2。在方法2500的一些实施例中，响应于块尺寸类型的标识符等于特定值，预定义的最可能模式是{17，34，5}。在方法2500的一些实施例中，特定值是0。在方法2500的一些实施例中，响应于块尺寸类型的标识符等于特定值，预定义的最可能模式是{0，7，16}。在方法2500的一些实施例中，特定值是1。在方法2500的一些实施例中，响应于块尺寸类型的标识符等于特定值，预定义的最可能模式是{1，4，6}。在方法2500的一些实施例中，特定值是2。
图26示出了视频处理的示例性方法的流程图。方法2600包括：2602使用基于矩阵的帧内预测(MIP)模式对视频的当前视频块进行编解码，在该MIP模式中，当前视频块的预测块是通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定的，其中，规则描述在MIP模式中使用的矩阵的数量和当前视频块的维度之间的关系；以及2604将当前视频块的编码表示添加到当前视频块的比特流表示。
图27示出了视频处理的示例性方法的流程图。方法2700包括：2702确定使用基于矩阵的帧内预测(MIP)模式来将视频的当前视频块编解码在比特流表示中，在该MIP模式中，当前视频块的预测块是通过对视频的先前编解码样点执行边界下采样操作，随后是矩阵矢量乘法操作，并且选择性地随后是上采样操作，来确定的，其中，规则描述在MIP模式中使用的矩阵的数量和当前视频块的维度之间的关系；以及2704通过解析和解码比特流表示来生成当前视频块的解码表示。
在(多个)方法2600和/或2700的一些实施例中，规则规定矩阵的数量不是基于当前视频块的维度，矩阵的数量是预先存储的，并且矩阵的数量是11、19或35。在(多个)方法2600和/或2700的一些实施例中，规则规定矩阵的数量不基于当前视频块的维度，对MIP模式的信令通知被包括在当前视频块的比特流表示中，并且，对MIP模式的信令通知不依赖于当前视频块的维度。在(多个)方法2600和/或2700的一些实施例中，规则规定矩阵的数量基于当前视频块的维度。
根据前述内容，可以理解的是，为了说明的目的，这里已经描述了当前公开的技术的具体实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，除了所附权利要求之外，当前公开的技术不受限制。
本专利文件中描述的主题和功能操作的实现可以在各种系统、数字电子电路或计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者它们中的一个或多个的组合。本说明书中描述的主题的实现可以被实现为一个或多个计算机程序产品，即，编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储设备、实现机器可读传播信号的物质组合或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适于在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在一台计算机或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并产生输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。一般来说，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合到一个或多个大容量存储设备，以从一个或多个大容量存储设备接收数据或向一个或多个大容量存储设备传送数据，或者两者都包括。然而，计算机不需要这样的设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如，EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或并入其中。
本说明书和附图仅被认为是示例性的，其中示例性意味着示例。如本文所用，“或”的使用旨在包括“和/或”，除非上下文另有明确指示。
尽管本专利文件包含许多细节，但这些细节不应被解释为对任何发明的范围或可能要求保护的内容的限制，而是对特定发明的特定实施例所特有的特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，尽管特征可以在上面被描述为在某些组合中起作用，甚至最初也是这样要求保护的，但是在某些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，尽管在附图中以特定的顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序执行这些操作，或者执行所有示出的操作，以获得期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应该被理解为在所有实施例中需要这样的分离。
仅描述了几个实现和示例，并且可以基于本专利文件中描述和示出的内容进行其他实现、增强和变化。
Claims (18)
1.一种视频处理方法，包括：
为视频的色度块和所述视频的比特流之间的转换，基于一组条件确定是否对所述色度块应用第一预测模式；
基于所述确定，生成所述色度块的预测样点；以及
执行所述色度块和所述比特流之间的转换，
其中，在对所述色度块应用所述第一预测模式的情况下，应用矩阵矢量乘法运算，
其中，响应于满足所述一组条件，将所述第一预测模式应用于所述色度块，其中，所述一组条件包括与所述色度块相对应的亮度块的预测模式是所述第一预测模式并且所述色度块的颜色格式是预定义的颜色格式；
其中，所述第一预测模式被应用于与所述色度块相对应的所述亮度块，
其中，帧内模式被应用于所述视频的第二块，所述第二块是所述亮度块的邻近块，并且候选列表被构建以推导所述第二块的预测模式，并且
其中，当作为候选的所述亮度块被添加到所述候选列表中时，所述亮度块被视为具有平面模式。
2.根据权利要求1所述的方法，其中，确定对所述色度块应用所述第一预测模式还基于语法元素intra _ chroma _ pred _ mode的值，
其中，所述语法元素intra _ chroma _ pred _ mode用于指定色度分量帧内模式和亮度分量帧内模式之间的映射关系。
3.根据权利要求2所述的方法，其中，所述语法元素intra _ chroma _ pred _ mode的值指定对所述色度块应用DM模式，并且其中，在所述DM模式下，所述色度分量帧内模式与所述亮度分量帧内模式相同。
4.根据权利要求1所述的方法，还包括：
响应于确定不对所述色度块应用所述第一预测模式，所述第一预测模式应用于相应的亮度块，并且语法元素intra _ chroma _ pred _ mode的值指示色度分量帧内模式与亮度分量帧内模式相同，则对所述色度块应用预定义的帧内预测模式。
5.根据权利要求4所述的方法，其中，所述预定义的帧内预测模式是平面模式。
6.根据权利要求4所述的方法，其中，所述相应的亮度块覆盖位置(xCb+offsetX，yCb+offsetY)，
其中，(xCb，yCb)指定所述色度块相对于当前图片的左上角亮度样点的左上角样点，
其中，所述offsetX是水平方向上的偏移量，并且
其中，所述offsetY是垂直方向上的偏移量。
7.根据权利要求6所述的方法，其中，不允许所述offsetX和所述offsetY都等于零。
8.根据权利要求6所述的方法，其中，所述offsetX等于所述色度块的宽度除以2，并且所述offsetY等于所述色度块的高度除以2。
9.根据权利要求1所述的方法，其中，通过基于所述色度块的尺寸对所述色度块的边界参考样点执行下采样操作来获得所述矩阵矢量乘法运算的输入样点，并且对所述色度块应用所述第一预测模式还包括在所述矩阵矢量乘法运算之后选择性地执行上采样操作，以生成所述色度块的预测样点。
10.根据权利要求1所述的方法，其中，在所述矩阵矢量乘法运算中，不同的矩阵用于不同的维度。
11.根据权利要求1所述的方法，其中，所述转换包括将所述色度块编码到所述比特流中。
12.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述色度块。
13.一种处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：
为视频的色度块和所述视频的比特流之间的转换，基于一组条件确定是否对所述色度块应用第一预测模式；
基于所述确定，生成所述色度块的预测样点；以及
执行所述色度块和所述比特流之间的转换，
其中，在对所述色度块应用所述第一预测模式的情况下，应用矩阵矢量乘法运算，
其中，响应于满足所述一组条件，将所述第一预测模式应用于所述色度块，其中，所述一组条件包括与所述色度块相对应的亮度块的预测模式是所述第一预测模式并且所述色度块的颜色格式是预定义的颜色格式；
其中，所述第一预测模式被应用于与所述色度块相对应的所述亮度块，
其中，帧内模式被应用于所述视频的第二块，所述第二块是所述亮度块的邻近块，并且候选列表被构建以推导所述第二块的预测模式，并且
其中，当作为候选的所述亮度块被添加到所述候选列表中时，所述亮度块被视为具有平面模式。
14.根据权利要求13所述的装置，其中，确定对所述色度块应用所述第一预测模式还基于语法元素intra _ chroma _ pred _ mode的值，
其中，所述语法元素intra _ chroma _ pred _ mode用于指定色度分量帧内模式和亮度分量帧内模式之间的映射关系，
其中，所述语法元素intra _ chroma _ pred _ mode的值指定对所述色度块应用DM模式，并且
其中，在所述DM模式下，所述色度分量帧内模式与所述亮度分量帧内模式相同。
15.根据权利要求13所述的装置，还使所述处理器：
响应于确定不对所述色度块应用所述第一预测模式，所述第一预测模式应用于相应的亮度块，并且语法元素intra _ chroma _ pred _ mode的值指示色度分量帧内模式与亮度分量帧内模式相同，则对所述色度块应用预定义的帧内预测模式，
其中，所述相应的亮度块覆盖位置(xCb+offsetX，yCb+offsetY)，
其中，(xCb，yCb)指定所述色度块相对于当前图片的左上角亮度样点的左上角样点，
其中，所述offsetX是水平方向上的偏移量并且等于所述色度块的宽度除以2，并且
其中，所述offsetY是垂直方向上的偏移量并且等于所述色度块的高度除以2。
16.根据权利要求15所述的装置，其中，所述预定义的帧内预测模式是平面模式。
17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
为视频的色度块和所述视频的比特流之间的转换，基于一组条件确定是否对所述色度块应用第一预测模式；
基于所述确定，生成所述色度块的预测样点；以及
执行所述色度块和所述比特流之间的转换，
其中，在对所述色度块应用所述第一预测模式的情况下，应用矩阵矢量乘法运算，
其中，响应于满足所述一组条件，将所述第一预测模式应用于所述色度块，其中，所述一组条件包括与所述色度块相对应的亮度块的预测模式是所述第一预测模式并且所述色度块的颜色格式是预定义的颜色格式；
其中，所述第一预测模式被应用于与所述色度块相对应的所述亮度块，
其中，帧内模式被应用于所述视频的第二块，所述第二块是所述亮度块的邻近块，并且候选列表被构建以推导所述第二块的预测模式，并且
其中，当作为候选的所述亮度块被添加到所述候选列表中时，所述亮度块被视为具有平面模式。
18.一种存储视频的比特流的方法，包括：
基于一组条件确定是否对色度块应用第一预测模式；
基于所述确定生成所述比特流；以及
将所述比特流存储在非暂时性计算机可读存储介质中，
其中，在对所述色度块应用所述第一预测模式的情况下，应用矩阵矢量乘法运算，
其中，响应于满足所述一组条件，将所述第一预测模式应用于所述色度块，其中，所述一组条件包括与所述色度块相对应的亮度块的预测模式是所述第一预测模式并且所述色度块的颜色格式是预定义的颜色格式；
其中，所述第一预测模式被应用于与所述色度块相对应的所述亮度块，
其中，帧内模式被应用于所述视频的第二块，所述第二块是所述亮度块的邻近块，并且候选列表被构建以推导所述第二块的预测模式，并且
其中，当作为候选的所述亮度块被添加到所述候选列表中时，所述亮度块被视为具有平面模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311453830.5A CN117768652A (zh) | 2019-06-05 | 2020-06-05 | 视频处理方法、装置、介质、以及存储比特流的方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNPCT/CN2019/090205 | 2019-06-05 | ||
| CN2019090205 | 2019-06-05 | ||
| PCT/CN2020/094513 WO2020244610A1 (en) | 2019-06-05 | 2020-06-05 | Context determination for matrix-based intra prediction |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311453830.5A Division CN117768652A (zh) | 2019-06-05 | 2020-06-05 | 视频处理方法、装置、介质、以及存储比特流的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113950836A CN113950836A (zh) | 2022-01-18 |
| CN113950836B true CN113950836B (zh) | 2024-01-12 |
Family
ID=73652964
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080043084.0A Active CN113950836B (zh) | 2019-06-05 | 2020-06-05 | 基于矩阵的帧内预测的上下文确定 |
| CN202311453830.5A Pending CN117768652A (zh) | 2019-06-05 | 2020-06-05 | 视频处理方法、装置、介质、以及存储比特流的方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311453830.5A Pending CN117768652A (zh) | 2019-06-05 | 2020-06-05 | 视频处理方法、装置、介质、以及存储比特流的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11805275B2 (zh) |
| EP (1) | EP3963885A4 (zh) |
| JP (2) | JP2022534320A (zh) |
| KR (1) | KR20220016833A (zh) |
| CN (2) | CN113950836B (zh) |
| WO (1) | WO2020244610A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020207493A1 (en) | 2019-04-12 | 2020-10-15 | Beijing Bytedance Network Technology Co., Ltd. | Transform coding based on matrix-based intra prediction |
| CN113748676A (zh) | 2019-04-16 | 2021-12-03 | 北京字节跳动网络技术有限公司 | 帧内编解码模式下的矩阵推导 |
| CN113812150B (zh) | 2019-05-01 | 2023-11-28 | 北京字节跳动网络技术有限公司 | 使用滤波的基于矩阵的帧内预测 |
| CN113728647B (zh) | 2019-05-01 | 2023-09-05 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
| EP3954115A4 (en) | 2019-05-22 | 2023-04-19 | Beijing Bytedance Network Technology Co., Ltd. | MATRIX-BASED INTRAPREDICTION USING UPSAMPLING |
| WO2020239017A1 (en) | 2019-05-31 | 2020-12-03 | Beijing Bytedance Network Technology Co., Ltd. | One-step downsampling process in matrix-based intra prediction |
| KR20220003115A (ko) | 2019-06-24 | 2022-01-07 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
| WO2020260228A1 (en) * | 2019-06-25 | 2020-12-30 | Interdigital Vc Holdings France, Sas | Method and apparatus for coding/decoding picture data |
| KR20220038127A (ko) * | 2019-08-22 | 2022-03-25 | 엘지전자 주식회사 | 매트릭스 기반 인트라 예측 장치 및 방법 |
| US11943478B2 (en) * | 2019-09-19 | 2024-03-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Allowing a matrix based intra prediction block to have multiple transform blocks |
| CN117579823A (zh) | 2019-10-28 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 基于颜色分量的语法信令通知和解析 |
| US11683514B2 (en) * | 2020-12-22 | 2023-06-20 | Tencent America LLC | Method and apparatus for video coding for machine |
| US20220337875A1 (en) * | 2021-04-16 | 2022-10-20 | Tencent America LLC | Low memory design for multiple reference line selection scheme |
| WO2023141970A1 (zh) * | 2022-01-28 | 2023-08-03 | Oppo广东移动通信有限公司 | 解码方法、编码方法、解码器、编码器和编解码系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104247425A (zh) * | 2012-04-26 | 2014-12-24 | 索尼公司 | 用于视频编码的非序列变换单元 |
| CN107743705A (zh) * | 2015-06-18 | 2018-02-27 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
| WO2018052224A1 (ko) * | 2016-09-13 | 2018-03-22 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| WO2018080135A1 (ko) * | 2016-10-28 | 2018-05-03 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| CN109792521A (zh) * | 2016-10-04 | 2019-05-21 | 韩国电子通信研究院 | 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质 |
Family Cites Families (157)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100323676B1 (ko) | 2000-01-27 | 2002-02-07 | 구자홍 | 디지털 동영상 수신 장치 |
| US7142601B2 (en) | 2003-04-14 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Transcoding compressed videos to reducing resolution videos |
| WO2005086981A2 (en) | 2004-03-10 | 2005-09-22 | Sindhara Supermedia, Inc. | Methods and apparatuses for compressing digital image data with motion prediction |
| US8340177B2 (en) | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
| CN100461867C (zh) | 2004-12-02 | 2009-02-11 | 中国科学院计算技术研究所 | 一种帧内图像预测编码方法 |
| JP5026092B2 (ja) * | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
| KR101365575B1 (ko) | 2007-02-05 | 2014-02-25 | 삼성전자주식회사 | 인터 예측 부호화, 복호화 방법 및 장치 |
| CN101848383A (zh) | 2009-03-24 | 2010-09-29 | 虹软（上海）科技有限公司 | 对mpeg2格式视频进行降采样解码的方法 |
| US20100246675A1 (en) | 2009-03-30 | 2010-09-30 | Sony Corporation | Method and apparatus for intra-prediction in a video encoder |
| EP2442569A1 (en) | 2009-06-09 | 2012-04-18 | Sony Corporation | Image processing device and method |
| CN101646081A (zh) | 2009-06-18 | 2010-02-10 | 杭州高特信息技术有限公司 | 一种avs快速帧内预测方法及装置 |
| CN102045560B (zh) | 2009-10-23 | 2013-08-07 | 华为技术有限公司 | 一种视频编解码方法及设备 |
| KR20110045949A (ko) | 2009-10-28 | 2011-05-04 | 삼성전자주식회사 | 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치 |
| KR101540899B1 (ko) | 2010-04-09 | 2015-07-30 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치 |
| JP5544996B2 (ja) | 2010-04-09 | 2014-07-09 | ソニー株式会社 | 画像処理装置および方法 |
| CN102893606B (zh) | 2010-05-14 | 2018-02-02 | 汤姆森特许公司 | 帧内编码将像素指定给各组的块的方法和装置 |
| WO2012014461A1 (ja) | 2010-07-28 | 2012-02-02 | パナソニック株式会社 | 符号化方法および復号化方法 |
| CN102377993B (zh) | 2010-08-05 | 2014-09-03 | 富士通株式会社 | 帧内预测模式选择方法和系统 |
| US8885701B2 (en) | 2010-09-08 | 2014-11-11 | Samsung Electronics Co., Ltd. | Low complexity transform coding using adaptive DCT/DST for intra-prediction |
| US8923395B2 (en) | 2010-10-01 | 2014-12-30 | Qualcomm Incorporated | Video coding using intra-prediction |
| CN101977316B (zh) | 2010-10-27 | 2012-07-25 | 无锡中星微电子有限公司 | 一种可伸缩编码方法 |
| US9167252B2 (en) | 2010-12-01 | 2015-10-20 | Texas Instruments Incorporated | Quantization matrix compression in video coding |
| KR102086145B1 (ko) | 2010-12-13 | 2020-03-09 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
| BR112013014371B8 (pt) | 2011-01-07 | 2022-05-24 | Hfi Innovation Inc | Método e aparelho de codificação aperfeiçoada de modo de predição intra crominância |
| US8861593B2 (en) | 2011-03-15 | 2014-10-14 | Sony Corporation | Context adaptation within video coding modules |
| JP2012238927A (ja) | 2011-05-09 | 2012-12-06 | Sony Corp | 画像処理装置及び画像処理方法 |
| WO2012172779A1 (en) | 2011-06-13 | 2012-12-20 | Panasonic Corporation | Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix |
| US9392301B2 (en) | 2011-07-01 | 2016-07-12 | Qualcomm Incorporated | Context adaptive entropy coding for non-square blocks in video coding |
| CN102427530B (zh) | 2011-10-11 | 2013-10-23 | 北京工业大学 | 帧内预测方法 |
| CN104170379B (zh) | 2011-10-24 | 2016-01-20 | 英孚布瑞智有限私人贸易公司 | 用于图像解码的方法和装置 |
| KR20130049526A (ko) | 2011-11-04 | 2013-05-14 | 오수미 | 복원 블록 생성 방법 |
| US9088796B2 (en) | 2011-11-07 | 2015-07-21 | Sharp Kabushiki Kaisha | Video decoder with enhanced CABAC decoding |
| US9451287B2 (en) | 2011-11-08 | 2016-09-20 | Qualcomm Incorporated | Context reduction for context adaptive binary arithmetic coding |
| JP5904266B2 (ja) | 2012-02-29 | 2016-04-13 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| WO2013154028A1 (ja) | 2012-04-13 | 2013-10-17 | ソニー株式会社 | 画像処理装置および方法 |
| WO2013158669A1 (en) | 2012-04-16 | 2013-10-24 | Huawei Technologies Co., Ltd. | Method and apparatus of quantization matrix coding |
| US9277211B2 (en) | 2012-04-20 | 2016-03-01 | Futurewei Technologies, Inc. | Binarization scheme for intra prediction residuals and improved intra prediction in lossless coding in HEVC |
| EP2858353B1 (en) | 2012-06-01 | 2019-03-20 | Velos Media International Limited | Arithmetic decoding device, image decoding device, arithmetic encoding device, and image encoding device |
| EP4216547A1 (en) | 2012-06-29 | 2023-07-26 | Electronics And Telecommunications Research Institute | Method for encoding/decoding images |
| US9998727B2 (en) | 2012-09-19 | 2018-06-12 | Qualcomm Incorporated | Advanced inter-view residual prediction in multiview or 3-dimensional video coding |
| KR101774675B1 (ko) | 2012-09-28 | 2017-09-04 | 브이아이디 스케일, 인크. | 다층 비디오 코딩을 위한 적응적 업샘플링 |
| US20140098883A1 (en) | 2012-10-09 | 2014-04-10 | Nokia Corporation | Method and apparatus for video coding |
| US20140286413A1 (en) | 2013-03-25 | 2014-09-25 | Qualcomm Incorporated | Disabling sign data hiding in video coding |
| WO2014171713A1 (ko) | 2013-04-15 | 2014-10-23 | 인텔렉추얼 디스커버리 주식회사 | 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치 |
| JP6397902B2 (ja) | 2013-09-24 | 2018-09-26 | ヴィド スケール インコーポレイテッド | スケーラブルビデオ符号化のためのレイヤ間予測 |
| WO2015056955A1 (ko) | 2013-10-14 | 2015-04-23 | 삼성전자 주식회사 | 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치 |
| RU2654129C2 (ru) | 2013-10-14 | 2018-05-16 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений |
| US10110910B2 (en) | 2013-10-21 | 2018-10-23 | Vid Scale, Inc. | Parallel decoding method for layered video coding |
| US10397607B2 (en) | 2013-11-01 | 2019-08-27 | Qualcomm Incorporated | Color residual prediction for video coding |
| CN105830440B (zh) | 2013-12-13 | 2018-06-12 | Vid拓展公司 | 使用插值进行亮度和色度的相位对准的色域可伸缩视频编码设备及方法 |
| WO2015103124A1 (en) | 2014-01-02 | 2015-07-09 | Vid Scale, Inc. | Color space conversion |
| CN105264888B (zh) | 2014-03-04 | 2018-09-14 | 微软技术许可有限责任公司 | 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略 |
| WO2015131388A1 (en) | 2014-03-07 | 2015-09-11 | Qualcomm Incorporated | Simplification of depth intra mode coding in 3d video coding |
| CN105409221B (zh) | 2014-04-29 | 2020-03-06 | 微软技术许可有限责任公司 | 用于样本自适应偏移滤波的编码器侧决策 |
| AU2014202921B2 (en) | 2014-05-29 | 2017-02-02 | Canon Kabushiki Kaisha | Method, apparatus and system for de-blocking a block of video samples |
| EP4354856A2 (en) | 2014-06-19 | 2024-04-17 | Microsoft Technology Licensing, LLC | Unified intra block copy and inter prediction modes |
| WO2016006894A1 (ko) | 2014-07-06 | 2016-01-14 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
| US9918105B2 (en) | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
| WO2016074147A1 (en) | 2014-11-11 | 2016-05-19 | Mediatek Singapore Pte. Ltd. | Separated coding tree for luma and chroma |
| TWI511530B (zh) | 2014-12-09 | 2015-12-01 | Univ Nat Kaohsiung 1St Univ Sc | Distributed video coding system and decoder for distributed video coding system |
| US10097839B2 (en) | 2014-12-19 | 2018-10-09 | Qualcomm Incorporated | Palette mode for subsampling format |
| US10200711B2 (en) | 2015-03-27 | 2019-02-05 | Qualcomm Incorporated | Motion vector derivation in video coding |
| JP6722701B2 (ja) | 2015-06-08 | 2020-07-15 | ヴィド スケール インコーポレイテッド | スクリーンコンテンツ符号化のためのイントラブロックコピーモード |
| WO2016200242A1 (ko) | 2015-06-11 | 2016-12-15 | 한양대학교 산학협력단 | 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치 |
| KR101809630B1 (ko) | 2015-06-11 | 2017-12-15 | 인텔렉추얼디스커버리 주식회사 | 적응적인 디블록킹 필터링에 관한 부호화/복호화 방법 및 장치 |
| US10681380B2 (en) | 2015-06-12 | 2020-06-09 | Panasonic Intellectual Property Management Co., Ltd. | Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus |
| WO2016204478A1 (ko) * | 2015-06-15 | 2016-12-22 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| US20160373742A1 (en) | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US20160373782A1 (en) | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US10142627B2 (en) | 2015-06-18 | 2018-11-27 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US11463689B2 (en) | 2015-06-18 | 2022-10-04 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US10841593B2 (en) | 2015-06-18 | 2020-11-17 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US11477484B2 (en) | 2015-06-22 | 2022-10-18 | Qualcomm Incorporated | Video intra prediction using hybrid recursive filters |
| KR102291835B1 (ko) | 2015-07-08 | 2021-08-23 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | 교차 평면 필터링을 이용한 향상된 크로마 코딩 |
| TWI764870B (zh) | 2015-07-28 | 2022-05-21 | 法商內數位麥德遜專利控股有限公司 | 視訊訊號處理裝置及方法 |
| WO2017041271A1 (en) | 2015-09-10 | 2017-03-16 | Mediatek Singapore Pte. Ltd. | Efficient context modeling for coding a block of data |
| US20180278943A1 (en) | 2015-09-21 | 2018-09-27 | Lg Electronics Inc. | Method and apparatus for processing video signals using coefficient induced prediction |
| US10491922B2 (en) | 2015-09-29 | 2019-11-26 | Qualcomm Incorporated | Non-separable secondary transform for video coding |
| EP3367680B1 (en) | 2015-10-22 | 2020-07-01 | LG Electronics Inc. | Intra-prediction method and apparatus in video coding system |
| JP6626573B2 (ja) | 2015-11-02 | 2019-12-25 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ映像の、ｃｒｃコードを含むレイヤ表現および配信 |
| BR112018010207A2 (pt) | 2015-11-18 | 2018-11-21 | Mediatek Inc | método e aparelho para o modo de predição intra usando filtro de predição intra em compressão de vídeo e imagem |
| US20170150176A1 (en) | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Linear-model prediction with non-square prediction units in video coding |
| WO2017088810A1 (en) | 2015-11-27 | 2017-06-01 | Mediatek Inc. | Method and apparatus of entropy coding and context modelling for video and image coding |
| US10448011B2 (en) * | 2016-03-18 | 2019-10-15 | Mediatek Inc. | Method and apparatus of intra prediction in image and video processing |
| US11259047B2 (en) * | 2016-04-06 | 2022-02-22 | Kt Corporation | Method and apparatus for processing video signal |
| US10931947B2 (en) | 2016-05-04 | 2021-02-23 | Sharp Kabushiki Kaisha | Systems and methods for coding transform data |
| JP2019519972A (ja) | 2016-05-05 | 2019-07-11 | ヴィド スケール インコーポレイテッド | イントラコーディングのための制御点ベースのイントラ方向表現 |
| US10547854B2 (en) | 2016-05-13 | 2020-01-28 | Qualcomm Incorporated | Neighbor based signaling of intra prediction modes |
| EP3244614A1 (en) | 2016-05-13 | 2017-11-15 | Thomson Licensing | A method and a device for decoding an intra predicted block of a picture and corresponding coding method and coding device |
| US11228770B2 (en) | 2016-05-16 | 2022-01-18 | Qualcomm Incorporated | Loop sample processing for high dynamic range and wide color gamut video coding |
| US20190289301A1 (en) | 2016-05-23 | 2019-09-19 | Kaonmedia Co., Ltd. | Image processing method, and image encoding and decoding method using same |
| WO2017209328A1 (ko) | 2016-06-03 | 2017-12-07 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 방법 및 장치 |
| US10484712B2 (en) | 2016-06-08 | 2019-11-19 | Qualcomm Incorporated | Implicit coding of reference line index used in intra prediction |
| US20170374369A1 (en) | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
| GB2552323B (en) | 2016-07-18 | 2020-04-29 | Imagination Tech Ltd | Mip map compression |
| CN109479129B (zh) | 2016-07-18 | 2023-07-11 | 韩国电子通信研究院 | 图像编码/解码方法和装置以及存储比特流的记录介质 |
| US10368107B2 (en) | 2016-08-15 | 2019-07-30 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
| US10326986B2 (en) * | 2016-08-15 | 2019-06-18 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
| JP6768145B2 (ja) | 2016-08-15 | 2020-10-14 | ノキア テクノロジーズ オーユー | ビデオの符号化および復号 |
| US10721489B2 (en) | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| EP3301916A1 (en) | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for omnidirectional video coding with adaptive intra most probable modes |
| US20200045322A1 (en) | 2016-10-04 | 2020-02-06 | Mediatek Inc. | Method and apparatus for intra chroma coding in image and video coding |
| US10506228B2 (en) | 2016-10-04 | 2019-12-10 | Qualcomm Incorporated | Variable number of intra modes for video coding |
| US11095893B2 (en) | 2016-10-12 | 2021-08-17 | Qualcomm Incorporated | Primary transform and secondary transform in video coding |
| US11051033B2 (en) | 2017-01-04 | 2021-06-29 | Samsung Electronics Co., Ltd. | Video decoding method and apparatus and video encoding method and apparatus |
| CN117395399A (zh) | 2017-04-28 | 2024-01-12 | 英迪股份有限公司 | 图像解码方法、图像编码方法和用于发送比特流的方法 |
| US10638126B2 (en) | 2017-05-05 | 2020-04-28 | Qualcomm Incorporated | Intra reference filter for video coding |
| US10609414B2 (en) | 2017-05-08 | 2020-03-31 | Qualcomm Incorporated | Context modeling for transform coefficient coding |
| EP3622713A1 (en) | 2017-05-09 | 2020-03-18 | Google LLC | Directional intra-prediction coding |
| WO2018216862A1 (ko) * | 2017-05-24 | 2018-11-29 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 |
| KR102466945B1 (ko) | 2017-06-21 | 2022-11-14 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 |
| CN112601085A (zh) | 2017-06-28 | 2021-04-02 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
| CN117354505A (zh) | 2017-07-06 | 2024-01-05 | Lx 半导体科技有限公司 | 图像编码/解码方法、发送方法和数字存储介质 |
| CN109302608B (zh) | 2017-07-25 | 2021-06-22 | 华为技术有限公司 | 图像处理方法、设备及系统 |
| CN116055721A (zh) | 2017-07-28 | 2023-05-02 | 松下电器（美国）知识产权公司 | 编码装置和编码方法 |
| US11172203B2 (en) | 2017-08-08 | 2021-11-09 | Mediatek Inc. | Intra merge prediction |
| US11082721B2 (en) | 2017-09-07 | 2021-08-03 | Lg Electronics Inc. | Method and apparatus for entropy-encoding and entropy-decoding video signal |
| CN107749987B (zh) | 2017-09-30 | 2020-09-18 | 河海大学 | 一种基于块运动估计的数字视频稳像方法 |
| JP2021010046A (ja) | 2017-10-06 | 2021-01-28 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| UA126871C2 (uk) | 2018-02-14 | 2023-02-15 | Долбі Лабораторіс Лайсензін Корпорейшн | Перетворення зображення в кодуванні відео з використанням оптимізації залежності викривлення від швидкості передачі |
| KR20240005173A (ko) | 2018-03-08 | 2024-01-11 | 삼성전자주식회사 | 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치 |
| US10284860B1 (en) | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
| KR20200028856A (ko) | 2018-09-07 | 2020-03-17 | 김기백 | 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
| KR20240007716A (ko) | 2018-09-13 | 2024-01-16 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 아핀 선형 가중 인트라 예측 |
| BR112021005161A2 (pt) | 2018-09-21 | 2021-06-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | método de decodificação de vídeo, e método de codificação de vídeo |
| KR20230174287A (ko) | 2018-10-07 | 2023-12-27 | 삼성전자주식회사 | 복수개의 참조 라인을 위한 mpm 구성 방법을 이용한 비디오 신호 처리 방법 및 장치 |
| EP3873092A4 (en) | 2018-11-08 | 2021-11-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | IMAGE SIGNAL CODING / DECODING PROCESS, AND ASSOCIATED DEVICE |
| KR20210103539A (ko) * | 2018-12-20 | 2021-08-23 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 인접 샘플 감소에 의해 선형 또는 아핀 변환을 사용하는 인트라 예측 |
| US11445203B2 (en) | 2019-01-04 | 2022-09-13 | Qualcomm Incorporated | Sub-partition intra prediction in video coding |
| CN116366840A (zh) | 2019-02-26 | 2023-06-30 | 苹果公司 | 用于对视频信号进行编码/解码的方法及其设备 |
| KR102608847B1 (ko) | 2019-02-28 | 2023-12-04 | 애플 인크. | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
| KR20210130809A (ko) | 2019-03-05 | 2021-11-01 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 하이브리드 비디오 코딩 도구를 위한 사용 사례 기반 컨텍스트 모델 선택 |
| KR20200109276A (ko) | 2019-03-12 | 2020-09-22 | 주식회사 엑스리스 | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
| US11134257B2 (en) | 2019-04-04 | 2021-09-28 | Tencent America LLC | Simplified signaling method for affine linear weighted intra prediction mode |
| WO2020207493A1 (en) | 2019-04-12 | 2020-10-15 | Beijing Bytedance Network Technology Co., Ltd. | Transform coding based on matrix-based intra prediction |
| CN113748676A (zh) | 2019-04-16 | 2021-12-03 | 北京字节跳动网络技术有限公司 | 帧内编解码模式下的矩阵推导 |
| WO2020211775A1 (en) | 2019-04-16 | 2020-10-22 | Mediatek Inc. | Methods and apparatuses for coding video data with adaptive secondary transform signaling depending on tb level syntax |
| KR20210133299A (ko) | 2019-04-20 | 2021-11-05 | 엘지전자 주식회사 | Bdpcm에 기반한 영상 코딩 방법 및 그 장치 |
| US11381808B2 (en) * | 2019-04-25 | 2022-07-05 | Hfi Innovation Inc. | Method and apparatus of matrix based intra prediction in image and video processing |
| KR20210148321A (ko) * | 2019-04-27 | 2021-12-07 | 주식회사 윌러스표준기술연구소 | 인트라 예측 기반 비디오 신호 처리 방법 및 장치 |
| EP4340367A3 (en) * | 2019-04-27 | 2024-04-24 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods of intra prediction |
| CN113812150B (zh) | 2019-05-01 | 2023-11-28 | 北京字节跳动网络技术有限公司 | 使用滤波的基于矩阵的帧内预测 |
| CN113728647B (zh) | 2019-05-01 | 2023-09-05 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
| US11277637B2 (en) * | 2019-05-09 | 2022-03-15 | Qualcomm Incorporated | Reference sampling for matrix intra prediction mode |
| US11284093B2 (en) * | 2019-05-09 | 2022-03-22 | Qualcomm Incorporated | Affine linear weighted intra prediction in video coding |
| US11363284B2 (en) * | 2019-05-09 | 2022-06-14 | Qualcomm Incorporated | Upsampling in affine linear weighted intra prediction |
| MX2021013521A (es) | 2019-05-10 | 2022-01-24 | Fraunhofer Ges Forschung | Prediccion basada en bloques. |
| EP3954115A4 (en) | 2019-05-22 | 2023-04-19 | Beijing Bytedance Network Technology Co., Ltd. | MATRIX-BASED INTRAPREDICTION USING UPSAMPLING |
| WO2020239017A1 (en) | 2019-05-31 | 2020-12-03 | Beijing Bytedance Network Technology Co., Ltd. | One-step downsampling process in matrix-based intra prediction |
| EP3958571A4 (en) * | 2019-06-03 | 2022-07-27 | LG Electronics Inc. | MATRIX-BASED INTRA PREDICTION DEVICE AND METHOD |
| US20220239919A1 (en) | 2019-06-14 | 2022-07-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Simplified Downsampling for Matrix Based Intra Prediction |
| US11197025B2 (en) | 2019-06-21 | 2021-12-07 | Qualcomm Incorporated | Signaling of matrix intra prediction parameters in video coding |
| EP4221210A1 (en) | 2019-06-25 | 2023-08-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Mapping method, encoder, decoder, and computer storage medium |
| US11284073B2 (en) | 2019-07-08 | 2022-03-22 | Hyundai Motor Company | Method and apparatus for intra prediction coding of video data involving matrix based intra-prediction |
| CN110708559B (zh) | 2019-09-03 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及存储介质 |
| US20210092405A1 (en) | 2019-09-19 | 2021-03-25 | Qualcomm Incorporated | Matrix combination for matrix-weighted intra prediction in video coding |
| CN117579823A (zh) | 2019-10-28 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 基于颜色分量的语法信令通知和解析 |
-
2020
- 2020-06-05 KR KR1020217038590A patent/KR20220016833A/ko active Search and Examination
- 2020-06-05 WO PCT/CN2020/094513 patent/WO2020244610A1/en unknown
- 2020-06-05 JP JP2021571532A patent/JP2022534320A/ja active Pending
- 2020-06-05 CN CN202080043084.0A patent/CN113950836B/zh active Active
- 2020-06-05 CN CN202311453830.5A patent/CN117768652A/zh active Pending
- 2020-06-05 EP EP20819292.2A patent/EP3963885A4/en active Pending
-
2021
- 2021-11-01 US US17/453,135 patent/US11805275B2/en active Active
-
2023
- 2023-04-04 US US18/295,553 patent/US20230247221A1/en active Pending
- 2023-11-24 JP JP2023198738A patent/JP2024009223A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104247425A (zh) * | 2012-04-26 | 2014-12-24 | 索尼公司 | 用于视频编码的非序列变换单元 |
| CN107743705A (zh) * | 2015-06-18 | 2018-02-27 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
| WO2018052224A1 (ko) * | 2016-09-13 | 2018-03-22 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| CN109792521A (zh) * | 2016-10-04 | 2019-05-21 | 韩国电子通信研究院 | 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质 |
| WO2018080135A1 (ko) * | 2016-10-28 | 2018-05-03 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Non-Patent Citations (2)
| Title |
|---|
| CE3: Summary Report on Intra Prediction and Mode Coding;Geert Van der Auwera;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19–27 Mar. 2019，JVET-N0023;全文 * |
| Versatile Video Coding (Draft 5);Benjamin Bross;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19–27 Mar. 2019，JVET-N1001;第8.4节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220060745A1 (en) | 2022-02-24 |
| WO2020244610A1 (en) | 2020-12-10 |
| US20230247221A1 (en) | 2023-08-03 |
| EP3963885A1 (en) | 2022-03-09 |
| KR20220016833A (ko) | 2022-02-10 |
| JP2024009223A (ja) | 2024-01-19 |
| CN113950836A (zh) | 2022-01-18 |
| US11805275B2 (en) | 2023-10-31 |
| CN117768652A (zh) | 2024-03-26 |
| JP2022534320A (ja) | 2022-07-28 |
| EP3963885A4 (en) | 2022-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113950836B (zh) | 基于矩阵的帧内预测的上下文确定 | |
| WO2020207491A1 (en) | Calculation in matrix-based intra prediction | |
| CN113924775B (zh) | 基于矩阵的帧内预测中的限制的上采样 | |
| CN113875233B (zh) | 使用上采样的基于矩阵的帧内预测 | |
| WO2020211807A1 (en) | Matrix derivation in intra coding mode | |
| CN113812150B (zh) | 使用滤波的基于矩阵的帧内预测 | |
| CN113728647B (zh) | 基于矩阵的帧内预测的上下文编码 | |
| WO2021083188A1 (en) | Syntax signaling and parsing based on colour component |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |