CN113875233B - 使用上采样的基于矩阵的帧内预测 - Google Patents

使用上采样的基于矩阵的帧内预测 Download PDF

Info

Publication number
CN113875233B
CN113875233B CN202080038091.1A CN202080038091A CN113875233B CN 113875233 B CN113875233 B CN 113875233B CN 202080038091 A CN202080038091 A CN 202080038091A CN 113875233 B CN113875233 B CN 113875233B
Authority
CN
China
Prior art keywords
block
samples
video
alwip
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080038091.1A
Other languages
English (en)
Other versions
CN113875233A (zh
Inventor
邓智玭
张凯
张莉
刘鸿彬
许继征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202311474234.5A priority Critical patent/CN117412039A/zh
Publication of CN113875233A publication Critical patent/CN113875233A/zh
Application granted granted Critical
Publication of CN113875233B publication Critical patent/CN113875233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/76—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data
    • G06F7/78—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data for changing the order of data flow, e.g. matrix transposition or LIFO buffers; Overflow or underflow handling therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Abstract

描述了用于数字视频编解码的设备、系统和方法，包括用于视频编解码的基于矩阵的帧内预测方法。在代表性方面，一种用于视频处理的方法包括使用基于矩阵的帧内预测(MIP)模式来执行视频的当前视频块和当前视频块的比特流表示之间的转换，其中在该MIP模式下，当前视频块的预测块通过对视频的先前编解码样点执行边界下采样操作、接着执行矩阵矢量乘法运算、并且接着执行上采样操作来确定，其中以固定顺序在垂直方向和水平方向上对从矩阵矢量乘法运算获得的样点执行上采样操作。

Description

使用上采样的基于矩阵的帧内预测
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则，本申请旨在及时要求于2019年5月22日提交的国际专利申请No.PCT/CN2019/087987的优先权和利益。出于法律规定的所有目的，前述申请的全部公开通过引用并入作为本申请的公开的一部分。
技术领域
本专利文档涉及视频编解码技术、设备和系统。
背景技术
尽管视频压缩有所进步，数字视频在互联网和其他数字通信网络上仍占最大的带宽使用量。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用所需的带宽将继续增长。
发明内容
描述了与数字视频编解码相关的设备、系统和方法，特别是用于视频编解码的基于矩阵的帧内预测方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(High Efficiency Video Coding，HEVC))和未来的视频编解码标准(例如，多功能视频编解码(Versatile Video Coding，VVC))或编解码器。
视频处理的第一示例方法包括使用基于矩阵的帧内预测(MIP)模式来执行视频的当前视频块和当前视频块的比特流表示之间的转换，其中在该MIP模式下，当前视频块的预测块通过对视频的先前编解码样点执行边界下采样操作、接着执行矩阵矢量乘法运算、并且接着执行上采样操作来确定，其中，以固定顺序在垂直方向和水平方向上对从矩阵矢量乘法运算获得的样点执行上采样操作。
视频处理的第二示例方法包括使用基于矩阵的帧内预测(MIP)模式来执行视频的当前视频块和当前视频块的比特流表示之间的转换，其中在该MIP模式下，当前视频块的预测块通过对视频的先前编解码样点执行边界下采样操作、接着执行矩阵矢量乘法运算、并且接着执行上采样操作来确定，其中，该转换包括在上采样操作之前执行转置操作，其中，该转置操作对通过执行边界下采样操作和矩阵矢量乘法运算而获得的预测块的第一样点集合进行转置，并且其中，转置操作根据预测块的维度来执行。
视频处理的第三示例方法包括使用基于矩阵的帧内预测(MIP)模式来执行视频的当前视频块和当前视频块的比特流表示之间的转换，其中在该MIP模式下，当前视频块的预测块通过对视频的先前编解码样点执行边界下采样操作、接着执行矩阵矢量乘法运算、并且接着执行上采样操作来确定，其中，上采样操作通过根据规则选择和使用除了双线性滤波器的插值滤波器来执行。
在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该示例性方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，基于该确定，基于非ALWIP帧内模式的最可能模式(MPM)列表的至少一部分来构建ALWIP模式的MPM列表的至少一部分，以及基于ALWIP模式的MPM列表，执行当前视频块和当前视频块的比特流表示之间的转换。
在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该示例性方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块的亮度分量进行编解码，基于该确定来推断色度帧内模式，以及基于色度帧内模式，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该示例性方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，以及基于该确定，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该示例性方法包括确定使用不同于仿射线性加权帧内预测(ALWIP)模式的编解码模式对当前视频块进行编解码，以及基于该确定，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该示例性方法包括使用仿射线性加权帧内预测(ALWIP)模式为当前视频块生成第一预测，基于第一预测使用位置依赖帧内预测组合(PDPC)生成第二预测，以及基于第二预测，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该示例性方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，基于ALWIP模式来预测当前视频块的多个子块，以及基于该预测，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，公开了一种视频处理方法。该方法包括基于当前视频块的规则，确定指示在当前视频块和当前视频块的比特流表示之间的转换期间使用仿射线性加权帧内预测(ALWIP)模式的标志的上下文，基于ALWIP模式，预测当前视频块的多个子块，以及基于该预测，执行当前视频块和当前视频块的比特流表示之间的转换。
在又一代表性方面，公开了一种视频处理方法。该方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，以及在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波阶段，其中，至少两个滤波阶段中的第一滤波阶段中的样点的第一精度不同于至少两个滤波阶段中的第二滤波阶段中的样点的第二精度。
在又一方面，公开了一种视频处理方法。该方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波阶段，其中，对于执行垂直上采样和水平上采样两者的情况，上采样过程以固定顺序被执行。
在又一方面，公开了一种视频处理方法。该方法包括确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波阶段，其中，该转换包括在上采样过程之前执行转置操作。
在又一代表性方面，上述方法以处理器可执行代码的形式体现，并存储在计算机可读程序介质中。
在又一代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程为实施该方法的处理器。
在又一代表性方面，一种视频解码器装置可以实施本文描述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开的技术的上述和其他方面和特征。
附图说明
图1示出了33个帧内预测方向的示例。
图2示出了67种帧内预测模式的示例。
图3示出了用于推导线性模型的权重的样点位置的示例。
图4示出了与预测块邻近的四个参考行的示例。
图5A和图5B示出了根据块尺寸的子分割的示例。
图6示出了4×4块的ALWIP示例。
图7示出了8×8块的ALWIP示例。
图8示出了8×4块的ALWIP示例。
图9示出了16×16块的ALWIP示例。
图10示出了在MPM列表构建中使用的邻近块的示例。
图11示出了根据所公开的技术的基于矩阵的帧内预测的示例方法的流程图。
图12示出了根据所公开的技术的基于矩阵的帧内预测的另一示例方法的流程图。
图13示出了根据所公开的技术的基于矩阵的帧内预测的又一示例方法的流程图。
图14示出了根据所公开的技术的基于矩阵的帧内预测的又一示例方法的流程图。
图15是实施本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。
图16示出了邻近块的示例。
图17是示出可以利用本公开的技术的示例视频编解码系统的框图。
图18是示出视频编码器的示例的框图。
图19是示出视频解码器的示例的框图。
图20是示出其中可以实施本文公开的各种技术的示例视频处理系统的框图。
图21-图23示出了根据所公开的技术的基于矩阵的帧内预测的三种示例方法的流程图。
具体实施方式
由于对更高分辨率视频的需求日益增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的简易性、随机访问和端到端延迟(延时)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待最终确定的多功能视频编解码(VVC)标准或其他当前和/或未来的视频编解码标准。
所公开的技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，265)和未来的标准，以提高运行时性能。在本文档中使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限制于各个章节。
1HEVC的简要回顾
1.1HEVC/H.265中的帧内预测
帧内预测包括使用先前在所考虑的色彩通道中重建的样点为给定的TB(变换块)产生样点。帧内预测模式对亮度通道和色度通道是单独信令通知的，其中色度通道帧内预测模式通过“DM_CHROMA”模式可选地取决于亮度通道帧内预测模式。尽管帧内预测模式是在PB(预测块)级信令通知的，但是根据CU的残差四叉树层级，帧内预测处理是在TB级应用的，从而允许一个TB的编解码对CU内的下一个TB的编解码有影响，并且因此减少了到用作参考值的样点的距离。
HEVC包括35种帧内预测模式–DC(direct current，直流)模式、平面模式和33个方向或“角度”帧内预测模式。图1中示出了33个角度帧内预测模式。
对于与色度色彩通道相关联的PB，帧内预测模式被规定为平面、DC、水平、垂直、“DM_CHROMA”模式或有时为对角模式“34”。
注意：对于色度格式4:2:2和4:2:0，色度PB可能与两个或四个(分别)亮度PB重叠；在这种情况下，DM_CHROMA的亮度方向取自这些亮度PB的左上角。
DM_CHROMA模式指示亮度色彩通道PB的帧内预测模式被应用于色度色彩通道PB。因为这是相对常见的，所以intra_chroma_pred_mode的最可能模式编解码方案偏向于选择该模式。
2VVC中的帧内预测的示例
2.1具有67个帧内预测模式的帧内模式编解码
为了捕获自然视频中呈现的任何边缘方向，方向帧内模式的数量从HEVC使用的33个扩展到65个。附加的方向模式在图2中用红色虚线箭头表示，并且平面和DC模式保持相同。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
2.2跨分量线性模型(Cross-Component Linear Model，CCLM)的示例在一些实施例中，为了减少跨分量冗余，在JEM使用跨分量线性模型(CCLM)预测模式(也称为LM)，对于该模式，通过使用如下线性模型，基于相同CU的重建亮度样点来预测色度样点：
predC(i,j)＝α·recL′(i,j)+β (1)
这里，predC(i,j)表示CU中的预测色度样点，并且recL′(i,j)表示同一CU的下采样重建亮度样点。线性模型参数α和β源自两个样点的亮度值和色度值之间的关系，这两个样点是在下采样的邻近亮度样点集合内的具有最小样点值和最大样点的亮度样点以及它们相应的色度样点。图3示出了左侧和上方样点的位置以及CCLM模式中涉及的当前块的样点的示例。
这种参数计算是作为解码过程的一部分来执行的，而不仅仅是作为编码器搜索操作。因此，没有使用语法来将α和β值传递给解码器。
对于色度帧内模式编解码，色度帧内模式编解码总共允许8种帧内模式。这些模式包括五种常规的帧内模式和三种跨分量线性模型模式(CCLM、LM_A和LM_L)。色度模式编解码直接取决于相应亮度块的帧内预测模式。由于亮度和色度分量的单独块分割结构在I条带中被启用，所以一个色度块可以对应于多个亮度块。因此，对于色度DM模式，覆盖当前色度块的中心位置的相应亮度块的帧内预测模式被直接继承。
2.3多参考线(Multiple Reference Line，MRL)帧内预测
多参考线(MRL)帧内预测使用更多参考线进行帧内预测。在图4中，描绘了4条参考线的示例，其中段A和段F的样点不是从重建的邻近样点中提取的，而是分别用来自段B和段E的最接近的样点填充。HEVC图像内预测使用最近的参考线(即参考线0)。在MRL，使用了另外两条线(参考线1和参考线3)。选定参考线的索引(mrl_idx)被信令通知并用于生成帧内预测器。对于大于0的参考线idx，仅包括MPM列表中的附加参考线模式，并且仅信令通知MPM索引，不包括剩余模式。
2.4帧内子分割(Intra Sub-Partitions，ISP)
帧内子分割(ISP)工具根据块的尺寸将亮度帧内预测块垂直或水平划分为2或4个子分割。例如，ISP的最小块尺寸是4×8(或8×4)。如果块尺寸大于4×8(或8×4)，则相应的块被划分为4个子分割。图5A和图5B示出了两种可能性的示例。所有子分割都满足至少有16个样点的条件。
对于每个子分割，通过将残差信号添加到预测信号来获得重建样点。这里，通过诸如熵解码、逆量化和逆变换之类的处理来生成残差信号。因此，每个子分割的重建样点值可用于生成下一个子分割的预测，并且每个子分割被重复处理。此外，要处理的第一个子分割包含CU的左上角样点，然后继续向下(水平分割)或向右(垂直分割)。结果，用于生成子分割预测信号的参考样点仅位于线的左侧和上方。所有子分割共享相同的帧内模式。
2.5仿射线性加权帧内预测(ALWIP或基于矩阵的帧内预测)
仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测(MIP))是在JVET-N0217中提出的。
在JVET-N0217中，进行了两个测试。在测试1中，ALWIP被设计为具有8K字节的内存限制，并且每个样点最多4次乘法。测试2类似于测试1，但在内存需求和模型架构方面进一步简化了设计。
○所有块形状的矩阵和偏移矢量的单个集合。
○所有块形状的模式数量减少到19个。
○将内存需求减少到5760个10位值，即7.20千字节。
○预测样点的线性插值在每个方向的单步骤中执行，代替第一测试中的迭代插值。
2.5.1JVET-N0217的测试1
为了预测具有宽度W和高度H的矩形块的样点，仿射线性加权帧内预测(ALWIP)将块左侧的一行H个重建的邻近边界样点和块上方的一行W个重建的邻近边界样点作为输入。如果重建样点不可用，则像在常规帧内预测中那样生成它们。
预测信号的生成基于以下三个步骤：
在边界样点中，在W＝H＝4的情况下的4个样点和在所有其他情况下的8个样点通过平均提取。
以平均样点作为输入，执行矩阵矢量乘法，接着加上偏移。结果是原始块中样点的二次采样集合上的简化预测信号。
剩余位置处的预测信号是通过线性插值从二次采样集合上的预测信号中产生的，线性插值是在每个方向上的单步骤线性插值。
生成预测信号所需的矩阵和偏移矢量取自三个矩阵集合S0,S1,S2。集合S0由18个矩阵(其中每个矩阵有16行和4列)以及18个偏移矢量(每个偏移矢量的尺寸为16)组成。该集合的矩阵和偏移矢量用于尺寸为4×4的块。集合S1由10个矩阵/>(其中每个矩阵具有16行和8列)以及10个偏移矢量/>(其中每个偏移矢量的尺寸为16)组成。该集合的矩阵和偏移矢量用于尺寸为4×8,8×4和8×8的块。最后，集合S2由6个矩阵/>(每个矩阵有64行和8列)，以及6个尺寸为64的偏移矢量/>组成。该集合的矩阵和偏移矢量或这些矩阵和偏移矢量的一部分用于所有其他块形状。
计算矩阵矢量乘积所需的乘法总数量总是小于或等于4W×H。换句话说，对于ALWIP模式每个样点最多需要四次乘法。
2.5.2边界的平均
在第一步骤中，输入边界bdrytop和bdryleft被简化为更小的边界和这里，在4×4块的情况下，/>和/>两者都由2个样点组成，而在所有其他情况下，两者都由4个样点组成。
在4×4块的情况下，对于0≤i＜2，我们定义了
并且类似地定义
否则，如果给定块宽度W为W＝4·2k，则对于0≤i＜4，定义了
并且类似地定义
这两个简化的边界和/>并被级联到一个简化的边界矢量bdryred，因此对于形状4×4的块的尺寸为4，对于所有其他形状的块的尺寸为8。如果mode指的是ALWIP模式，这种级联定义如下：
最后，对于二次采样预测信号的插值，在大块上需要平均边界的第二版本。也就是说，如果min(W,H)＞8并且W≥H，写入W＝8*2l，并且对于0≤i＜8，定义
如果min(W，H)＞8并且＞W，则类似地定义
2.5.3通过矩阵矢量乘法生成简化预测信号
从简化的输入矢量bdryred中产生简化预测信号predred。后一个信号是在宽度Wred和高度Hred的下采样块上的信号。这里，Wred和Hred被定义为：
通过计算矩阵矢量乘积并加上偏移来计算简化预测信号predred：
predred＝A·bdryred+b
这里，A是一个矩阵，具有Wred·Hred行，如果W＝H＝4，具有4列，在所有其他情况下，具有8列。b是尺寸为Wred·Hred的矢量。
矩阵A和矢量b取自集合S0，S1，S2之一，如下所示。定义索引idx＝idx(W，H)如下：
此外，设置m如下：
然后，如果idx≤1或idx＝2以及min(W，H)＞4，设置以及/> 在idx＝2和min(W，H)＝4的情况下，使A为通过省略/>的每一行而产生的矩阵，在W＝4的情况下，/>对应于下采样块中的奇数x坐标，或者，在H＝4的情况下，/>对应于下采样块中的奇数y坐标。
最后，在下面的情况下，简化预测信号被它的转置所代替：
○W＝H＝4并且mode≥18
○max(W，H)＝8并且mode≥10
○max(W，H)＞8并且mode≥6
在W＝H＝4的情况下，计算predred所需的乘法次数为4，因为在这种情况下A具有4列16行。在所有其他情况下，A具有8列和Wred·Hred行，并且立即验证在这些情况下需要8·Wred·Hred≤4·W·H次乘法，即也在这些情况下，每个样点最多需要4次乘法来计算predred。
2.5.4整个ALWIP过程的说明
图6-图9示出了不同形状的平均、矩阵矢量乘法和线性插值的整个过程。请注意，剩余形状被视为所描述的情况之一。
1.给定4×4的块，ALWIP沿边界的每个轴取两个平均值。得到的四个输入样点进入矩阵矢量乘法。矩阵取自集合S0。添加偏移后，这将产生16个最终预测样点。线性插值对于生成预测信号不是必需的。因此，执行每个样点的总共(4·16)/(4·4)＝4次乘法。
2.给定8×8的块，ALWIP沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数位置上产生16个样点。因此，执行每个样点的总共(8·16)/(8·8)=2次乘法。添加偏移后，通过使用简化的上方边界垂直插值这些样点。接着通过使用原始的左侧边界进行水平插值。
3.给定8×4的块，ALWIP沿着边界的水平轴取四个平均值，并在左侧边界取四个原始边界值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数的水平位置和每个垂直位置上产生16个样点。因此，执行每个样点的总共(8·16)/(8·4)=4次乘法。添加偏移后，通过使用原始的左侧边界水平地插值这些样点。
4.给定16×16的块，ALWIP沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S2。这在预测块的奇数位置上产生64个样点。因此，执行每个样点的总共(8·64)/(16·16)＝2次乘法。添加偏移后，通过使用上方边界的八个平均值垂直地插值这些样点。接着通过使用原始的左侧边界进行水平插值。在这种情况下，插值处理不增加任何乘法。因此，每个样点总共需要两次乘法来计算ALWIP预测。
对于较大的形状，处理基本相同，并且很容易检查每个样点的乘法次数是否少于四次。
对于W>8的W×8块，只需要水平插值，因为样点是在奇数的水平位置和每个垂直位置给出的。
最后，对于W>8的W×4块，让A_k为通过省略对应于沿着下采样块的水平轴的奇数条目的每一行而产生的矩阵。因此，输出尺寸为32，并且只剩下水平插值需要执行。
转置的情况会相应地处理。
2.5.5单个步骤线性插值
对于max(W,H)≥8的WxH块，预测信号通过线性插值从WredxHred上的简化预测信号predred产生。根据块的形状，线性插值在垂直、水平或两个方向上进行。如果要在两个方向上应用线性插值，则如果W＜H，首先在水平方向上应用线性插值，否则，首先在垂直方向上应用线性插值。
不失一般性地考虑max(W,H)≥8和W≥H的WxH块。然后，如下执行一维线性插值。不失一般性，描述垂直方向上的线性插值就足够了。首先，简化预测信号被边界信号扩展到上方。定义垂直上采样因子Uver=H/Hred并写入然后，通过以下方式定义扩展后的简化预测信号
然后，从该扩展后的简化预测信号，垂直线性插值的预测信号由下式生成
对于0≤x＜Wred，0≤y＜Hred并且0≤k＜Uver。
2.5.6提出的帧内预测模式的信号化
对于帧内模式中的每个编解码单元(Coding Unit，CU)，在比特流中发送指示ALWIP模式是否将被应用于相应的预测单元(Prediction Unit，PU)的标志。后一个索引的信号化以与JVET-M0043中相同的方式与MRL协调。如果要应用ALWIP模式，ALWIP模式的索引predmode将使用带有3个MPM的MPM列表来信令通知。
这里，使用上面的和左侧的PU的帧内模式如下执行MPM的推导。存在为每个常规帧内预测模式predmodeAngular分配ALWIP模式的三个固定表map_angular_to_alwipidx，idx∈{0,1,2}
predmodeALWIP＝map_angular_to_alwipidx[predmodeAngular]。
对于宽度W和高度H的每个PU，定义索引
idx(PU)＝idx(W,H)∈{0,1,2}
这表明在第2.5.3节中，ALWIP参数将取自三个集合中的哪一个。
如果上方预测单元PUabove可用，与当前PU属于相同的CTU，并且处于帧内模式，如果idx(PU)＝idx(PUabove)且如果ALWIP被应用于具有ALWIP-模式的PUabove，则
如果上方PU可用，与当前PU属于相同的CTU，并且处于帧内模式，并且如果常规帧内预测模式被应用于上方PU，则
在所有其他情况下，则
这意味着该模式不可用。以同样的方式，但不限制左侧PU需要与当前的PU属于相同的CTU，推导模式
最后，提供了三个固定的默认列表listidx,idx∈{0,1,2，每个列表包含三种不同的ALWIP模式。从默认列表listidx(PU)和模式和/>中，通过用默认值替换-1以及消除重复来构建三个不同的MPM。
在ALWIP MPM列表构建中使用的左侧邻近块和上方邻近块是A1和B1，如图10所示。
2.5.7适用于常规亮度和色度帧内预测模式的MPM列表推导
所提出的ALWIP模式与常规帧内预测模式的基于MPM的编解码协调如下。常规帧内预测模式的亮度和色度MPM列表推导过程使用固定表map_alwip_to_angularidx，idx∈{0,1,2，将给定的PU上的ALWIP模式predmodeALWIP映射到常规帧内预测模式之一。
predmodeAngular＝map_alwip_to_angularidx(PU)[predmodeALWIP]
对于亮度MPM列表推导，每当遇到使用ALWIP模式predmodeALWIP的邻近亮度块时，该块就被视为使用常规帧内预测模式predmodeAngular。对于色度MPM列表推导，每当当前亮度块使用LWIP模式时，相同的映射被用于将ALWIP模式变换为常规帧内预测模式。
2.5.8相应的修改工作草案
在一些实施例中，如本章节所述，基于所公开的技术的实施例，已经将与intra_lwip_flag、intra_lwip_mpm_flag、intra_lwip_mpm_idx和intra_lwip_mpm_remainder关的部分添加到工作草案中。
在一些实施例中，如本章节所述，基于所公开的技术的实施例，使用<begin>和<end>标签来表示对工作草案的添加和修改。
语法表
编解码单元语法
/>
/>
语义
<begin>intra_lwip_flag[x0][y0]等于1指示亮度样点的帧内预测类型是仿射线性加权帧内预测。intra_lwip_flag[x0][y0]等于0指示亮度样点的帧内预测类型不是仿射线性加权帧内预测。
当intra_lwip_flag[x0][y0]不存在时，它被推断为等于0。
语法元素intra_lwip_mpm_flag[x0][y0]、intra_lwip_mpm_idx[x0][y0]和intra_lwip_mpm_remainder[x0][y0]指示亮度样点的仿射线性加权帧内预测模式。阵列索引x0、y0指示所考虑的编解码块的左上角亮度样点相对于图片的左上角亮度样点的位置(x0、y0)。当intra_lwip_mpm_flag[x0][y0]等于1时，仿射线性加权帧内预测模式根据条款8.4.X从邻近的帧内预测编码单元推断。
当intra_lwip_mpm_flag[x0][y0]不存在时，它被推断为等于1。<end>
intra_subpartitions_split_flag[x0][y0]规定帧间子分割分割类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，其推断如下：
-如果intra_lwip_flag[x0][y0]等于1，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。
-否则，以下情况适用：
-如果cbHeight大于MaxTbSizeY，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。
-否则(cbWidth大于MaxTbSizeY)，intra_subpartitions_split_flag[x0][y0]被推断为等于1。
解码过程
8.4.1以帧内预测模式编解码的编解码单元的一般解码过程
这一过程的输入是：
-亮度位置(xCb，yCb)，规定相对于当前图像左上角亮度样点的当前编解码块的左上角样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度，
-变量treeType，规定是使用单树还是双树，以及如果使用双树，则规定当前树是对应于亮度分量还是色度分量。
该过程的输出是在环路滤波之前修改后的重建图像。
以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight以及变量treeType作为输入，调用条款8.7.1中规定的量化参数的推导过程。
当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，亮度样点的解码过程规定如下：
-如果pcm_flag[xCb][yCb]等于1，则重建图像修改如下：
SL[xCb+i][yCb+j]＝
pcm_sample_luma[(cbHeight*j)+i]<<(BitDepthY-PcmBitDepthY), (8-6)
其中i＝0..cbWidth-1,j＝0..cbHeight-1
-否则，以下情况适用：
1.亮度帧内预测模式推导如下：
-如果intra_lwip_flag[xCb][yCb]等于1，则以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用条款8.4.X中规定的仿射线性加权帧内预测模式的推导过程。
-否则，以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用条款8.4.2中规定的亮度帧内预测模式的推导过程。
2.条款8.4.4.1中规定的帧内块的一般解码过程是以亮度位置(xCb，yCb)、树类型treeType、设置为等于cbWidth的变量nTbW、设置为等于cbHeight的变量nTbH、设置为等于IntraPredModeY[xCb][yCb]的变量PredModeIntra以及设置为等于0的变量cIdx作为输入来调用的，并且输出是在环路滤波之前的修改的重建图像。
……
■<begin>
■8.4.X仿射线性加权帧内预测模式的推导过程
这一过程的输入有：
-亮度位置(xCb，yCb)，规定相对于当前图像左上角亮度样点的当前亮度编解码块的左上角样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
在这个过程中，仿射线性加权帧内预测模式IntraPredModeY[xCb][yCb]被推导。
IntraPredModeY[xCb][yCb]通过以下有序步骤推导：
1.邻近位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为等于(xCb-1,yCb)和(xCb,yCb-1)。
2.对于被A或B替换的X，变量candLwipModeX的推导如下：
-以被设置为等于(xCb，yCb)的位置(xCurr，yCurr)，以及被设置为等于(xNbX，yNbX)的邻近位置(xNbY，yNbY)作为输入，调用条款6.4.X[Ed.(BB)：邻近块可用性检查过程tbd]中规定的块的可用性推导过程，并且输出被分配给availableX。
-候选仿射线性加权帧内预测模式candLwipModeX推导如下：
-如果下列一个或多个条件为真，则candLwipModeX设置为等于1。
-变量availableX等于FALSE。
-CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且mh_intra_flag[xNbX][yNbX]不等于1。
-pcm_flag[xNbX][yNbX]等于1。
-X等于B，YCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
-否则，以下情况适用：
-以亮度样点中的当前编解码块的宽度cdWidth和亮度样点中的当前编解码块的高度cbHeight作为输入，调用条款8.4.X.1中规定的块的尺寸类型推导过程，并且输出被分配给变量sizeId。
-如果intra_lwip_flag[xNbX][yNbX]等于1，则以亮度样点中的邻近编解码块的宽度nbWidthX和亮度样点中的邻近编解码块的高度nbHeightX作为输入，来调用条款8.4.X.1中规定的块的尺寸类型推导过程，并将输出分配给sizeIdX。
-如果sizeId等于sizeIdX，则candLwipModeX设置为等于IntraPredModeY[xNbX][yNbX]。
-否则，candLwipModeX设置为等于-1。
-否则，使用表8-X1中规定的IntraPredModeY[xNbX][yNbX]和sizeId来推导candLwipModeX。
3.通过使用表8-X2中规定的lwipMpmCand[sizeId]推导出candLwipModeList[x](x＝0.2)：
-如果candLwipModeA和candLwipModeB都等于-1，则以下情况适用：
candLwipModeList[0]＝lwipMpmCand[sizeId][0] (8-X1)
candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X2)
candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X3)
-否则，以下情况适用：
-如果candLwipModeA等于candLwipModeB，或者如果candLwipModeA或candLwipModeB等于-1，则以下情况适用：
candLwipModeList[0]＝
(candLwipModeA！＝-1)？candLwipModeA:candLwipModeB(8-X4)
-如果candLwipModeList[0]等于lwipMpmCand[sizeId][0]，则以下情况适用：
candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X5)
candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X6)
-否则，以下情况适用：
candLwipModeList[1]＝lwipMpmCand[sizeId][0] (8-X7)
candLwipModeList[2]＝(candLwipModeList[0]！＝lwipMpmCand[sizeId][1])？
lwipMpmCand[sizeId][1]:lwipMpmCand[sizeId][2] (8-X8)
-否则，以下情况适用：
candLwipModeList[0]＝candLwipModeA (8-X9)
candLwipModeList[1]＝candLwipModeB (8-X10)
-如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][0]，则以下情况适用：
candLwipModeList[2]＝lwipMpmCand[sizeId][0] (8-X11)
-否则，以下情况适用：
-如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][1]，则以下情况适用：
candLwipModeList[2]＝lwipMpmCand[sizeId][1] (8-X12)
-否则，以下情况适用：
candLwipModeList[2]＝lwipMpmCand[sizeId][2](8-X13)
4.IntraPredModeY[xCb][yCb]是通过应用以下程序得出的：
-如果intra_lwip_mpm_flag[xCb][yCb]等于1，则IntraPredModeY[xCb][yCb]被设置为等于candLwipModeList[intra_lwip_mpm_idx[xCb][yCb]]。
-否则，通过应用以下有序步骤推导IntraPredModeY[xCb][yCb]：
1.当对于i＝0..1，并且对于每个i,j＝(i+1)..2，candLwipModeList[i]大于candLwipModeList[j]时，两个值交换如下：(candLwipModeList[i],candLwipModeList[j])＝Swap(candLwipModeList[i],candLwipModeList[j]) (8-X14)
2.通过以下有序步骤推导IntraPredModeY[xCb][yCb]：
i.IntraPredModeY[xCb][yCb]被设置为等于intra_lwip_mpm_remainder[xCb][yCb].
ii.对于i等于0到2(包括0和2),当IntraPredModeY[xCb][yCb]大于或等于candLwipModeList[i],IntraPredModeY[xCb][yCb]的值增加1.
变量IntraPredModeY[x][y](其中x＝xCb..xCb+cbWidth-1，y＝yCb..yCb+cbHeight–1)设置为等于IntraPredModeY[xCb][yCb]。
■8.4.X.1预测块尺寸类型的推导过程
这一过程的输入有：
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
这个过程的输出是变量sizeId。
变量sizeId的推导如下：
-如果cbWidth和cbHeight都等于4，则sizeId设置为等于0。
-否则，如果cbWidth和cbHeight都小于或等于8，sizeId将被设置为等于1。
-否则，sizeId被设置为等于2。
■表8-X1–帧内预测和仿射线性加权帧内预测模式之间的映射规范
■表8-X2-仿射线性加权帧内预测候选模式规范
<end>
■8.4.2.亮度帧内预测模式的推导过程
这一过程的输入有：
-亮度位置(xCb，yCb)，规定相对于当前图像左上角亮度样点的当前亮度编解码块的左上角样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
在此过程中，推导出亮度帧内预测模式IntraPredModeY[xCb][yCb]。
表8-1规定了帧内预测模式IntraPredModeY[xCb][yCb]的值和相关名称。
■表8-1–帧内预测模式和相关名称的说明
帧内预测模式 相关名称
0 INTRA_PLANAR
1 INTRA_DC
2..66 INTRA_ANGULAR2..INTRA_ANGULAR66
81..83 INTRA_LT_CCLM,INTRA_L_CCLM,INTRA_T_CCLM
注—：帧内预测模式INTRA_LT_CCLM,INTRA_L_CCLM和INTRA_T_CCLM仅适用于色度分量。
通过以下有序步骤推导IntraPredModeY[xCb][yCb]：
1.邻近位置(xNbA,yNbA)和(xNbB,yNbB)分别被设置为等于(xCb-1,yCb+cbHeight-1)和(xCb+cbWidth-1,yCb-1)。
2.对于被A或B替换的X，变量candIntraPredModeX的推导如下：
-以被设置为等于(xCb，yCb)的位置(xCurr，yCurr)，以及被设置为等于(xNbX，yNbX)的邻近位置(xNbY，yNbY)作为输入，来调用<begin>条款6.4.X[Ed.(BB)：邻近块可用性检查过程tbd]<end>中规定的块的可用性推导过程，并且输出被分配给availableX。
-候选帧内预测模式candIntraPredModeX推导如下：
-如果下列一个或多个条件为真，则candIntraPredModeX被设置为等于INTRA_PLANAR。
-变量availableX等于FALSE。
-CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且ciip_flag[xNbX][yNbX]不等于1。
-pcm_flag[xNbX][yNbX]等于1。
-X等于B，并且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
-否则，candIntraPredModeX将按如下方式推导：
-如果intra_lwip_flag[xCb][yCb]等于1，则candIntraPredModeX通过以下有序步骤推导：
i.以亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，来调用条款8.4.X.1中规定的块的尺寸类型推导过程，并将输出分配给变量sizeId。
ii.使用表8-X3中规定的IntraPredModeY[xNbX][yNbX]和izeId来推导candIntraPredModeX。
-否则，candIntraPredModeX被设置为等于InterpredModey[xNbX][yNbX]。
3.变量ispDefaultMode1和ispDefaultMode2定义如下：
-如果IntraSubPartitionsSplitType等于ISP_HOR_SPLIT，则ispDefaultMode1被设置为等于INTRA_ANGULAR18，以及ispDefaultMode2被设置为等于INTRA_ANGULAR5。
-否则，ispDefaultMode1被设置为等于INTRA_ANGULAR50，而ispDefaultMode2被设置为等于INTRA_ANGULAR63。
……
■表8-X3-仿射线性加权帧内预测和帧内预测模式之间的映射规范
/>
■8.4.3色度帧内预测模式的推导过程
这一过程的输入有：
-亮度位置(xCb，yCb)，规定当前色度编解码块的左上角样点相对于当前图片的左上角亮度样点，
-变量cbWidth，规定亮度样点中当前编解码块的宽度，
-变量cbHeight，规定亮度样点中当前编解码块的高度。
在这个过程中，色度帧内预测模式IntraPredModeC[xCb][yCb]被推导。
相应的亮度帧内预测模式lumaIntraPredMode的推导如下：
-如果intra_lwip_flag[xCb][yCb]等于1，则通过以下有序步骤推导lumaIntraPredMode：
i.以亮度样点中的当前编解码块的宽度cbWidt和亮度样点中的当前编解码块的高度cbHeight作为输入，来调用条款8.4.X.1中规定的块的尺寸类型推导过程，并且输出被分配给变量sizeId。
ii.通过使用表8-X3中规定的IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]和sizeId来推导亮度帧内预测模式，并将candIntraPredModeX的值分配给lumaIntraPredMode。
-否则，lumaIntraPredMode被设置为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。
色度帧内预测模式IntraPredModeC[xCb][yCb]是使用表8-2和表8-3中规定的intra_chroma_pred_mode[xCb][yCb]和lumaIntraPredMode推导的。
……
■xxx.帧内样点预测
<begin>
这一过程的输入是：
-样点位置(xTbCmp,yTbCmp)，规定相对于当前图片的左上角样点的当前变换块的左上角样点，
-变量predModeIntra，规定帧内预测模式，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度，
-变量nCbW，规定编解码块宽度，
-变量nCbH，规定编解码块高度，
-变量cIdx，规定当前块的色彩分量。
该过程的输出是预测样点predSamples[x][y](其中x＝0..nTbW-1,y＝0..nTbH-1)。
预测样点predSamples[x][y]的推导如下：
-如果intra_lwip_flag[xTbCmp][yTbCmp]等于1且cIdx等于0，则以位置(xTbCmp,yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和高度nTbH作为输入，来调用条款8.4.4.2.X1中规定的仿射线性加权帧内样点预测过程，并且输出为predSamples。
-否则，以位置(xTbCmp,yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和变换块高度nTbH、编解码块宽度nCbW和编解码块高度nCbH以及变量cIdx为输入，来调用条款8.4.4.2.X1中规定的一般帧内样点预测过程，并且输出为predSamples。
■8.4.4.2.X1仿射线性加权帧内样点预测
这一过程的输入是：
-样点位置(xTbCmp，yTbCmp)，规定相对于当前图片的左上角样点的当前变换块的左上角样点，
-变量predModeIntra，规定帧内预测模式，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度。
该过程的输出是预测样点predSamples[x][y](其中x＝0..nTbW-1,y＝0..nTbH-1)。
以变换块宽度nTbW和变换块高度nTbH作为输入，调用条款8.4.X.1中规定的块的尺寸类型推导过程，并将输出分配给变量sizeId。
使用表8-X4中规定的sizeId推导变量numModes、boundarySize、predW、predH和predC。
■表8-X4–取决于sizeI的模式数量、边界样点尺寸和预测尺寸的规范
sizeId numModes boundarySize predW predH predC
0 35 2 4 4 4
1 19 4 4 4 4
2 11 4 Min(nTbW,8) Min(nTbH,8) 8
标志(flag)是按如下方式推导的：
isTransposed＝(predModeIntra>(numModes/2))？1:0(8-X15)
标志needUpsBdryHor and needUpsBdryVer的推导如下：
needUpsBdryHor＝(nTbW>predW)？TRUE:FALSE (8-X16)
needUpsBdryVer＝(nTbH>predH)？TRUE:FALSE (8-X17)
变量upsBdryW和upsBdryH的推导如下：upsBdryW＝(nTbH>
nTbW)？nTbW:predW (8-X18)
upsBdryH＝(nTbH>nTbW)？predH:nTbH (8-X19)变量lwipW和lwipH的推导如下：
lwipW＝(isTransposed＝＝1)？predH:predW (8-X20)
lwipH＝(isTransposed＝＝1)？predW:predH (8-X21)
对于参考样点refT[x](x＝0..nTbW–1)和refL[y](y＝0..nTbH-1)的生成，以样点位置(xTbCmp，yTbCmp)、变换块宽度nTbW、变换块高度nTbH为输入，来调用条款8.4.4.2.X2中规定的参考样点推导过程，并以上方和左侧参考样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)，分别作为输出。
对于边界样点p[x](x＝0..2*boundarySize-1)的生成，以下情况适用：
-对于上方参考样点，以块尺寸nTbW、参考样点refT、边界尺寸boundarySize、上采样边界标志needUpsBdryVer、以及上采样边界尺寸upsBdryW作为输入，来调用条款8.4.4.2.X3中规定的边界简化过程，并以简化的边界样点redT[x](x＝0..boundarySize–1)和上采样边界样点upsBdryT[x](x＝0..upsBdryW–1)作为输出。
-对于左侧参考样点，以块尺寸nTbH、参考样点refL、边界尺寸boundarySize、上采样边界标志needUpsBdryHor和上采样边界尺寸upsBdryH作为输入，来调用条款8.4.4.2.X3中规定的边界简化过程，并以简化的边界样点redL[x](x＝0..boundarySize–1)和上采样边界样点upsBdryTL[x](x＝0..upsBdryW–1)作为输出。
-简化的上方和左侧边界样点redT和redL被分配给边界样点阵列p，如下所示：
-如果isTransposed等于1，则p[x]被设置为等于redL[x]
(x＝0..boundarySize–1)，并且p[x+boundarySize]被设置为等于redT[x](x＝0..boundarySize–1)。
-否则，p[x]被设置为等于redT[x](x＝0..boundarySize–1)，并且p[x+boundarySize]被设置为等于redT[x]，
(x＝0..boundarySize–1)。
对于根据predModeIntra的帧内样点预测过程，以下有序步骤适用：
1.仿射线性加权样点predLwip[x][y](x＝0..lwipW–1，y＝0..lwipH–1)推导如下：
-变量modeId的推导如下：
modeId＝predModeIntra-(isTransposed＝＝1)？(numModes/
2):0(8-X22)
-使用表8-XX[TBD：添加权重矩阵]中规定的sizeId和modeId推导权重矩阵mWeight[x][y](x＝0..2*boundarySize-1,y＝0..predC*predC–1)。
-使用表8-XX[TBD：添加偏置矢量]中规定的sizeId和modeId推导偏置矢量vBias[y](y＝0..predC*predC–1)。
-使用表8-X5中规定的sizeId和modeId推导变量sW。
-仿射线性加权样点predLwip[x][y](x＝0..lwipW-1,y＝0..lwipH–1)推导如下：
oW＝1<<(sW–1) (8-X23)
sB＝BitDepthY–1 (8-X24)
incW＝(predC>lwipW)？2:1 (8-X25)
incH＝(predC>lwipH)？2:1 (8-X26)
2.预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)推导如下：
-当isTransposed等于1时，predLwip[x][y]](x＝0..predW-1,y＝0..predH–1)设置为等于predLwip[y][x]。
-如果needUpsBdryVer等于TRUE或needUpsBdryHor等于TRUE，则以输入块宽度predW、输入块高度predH、仿射线性加权样点predLwip、变换块宽度nTbW、变换块高度nTbH、上采样边界宽度upsBdryW、上采样边界高度upsBdryH、上采样边界样点upsBdryT和左上采样边界样点upsBdryL作为输入，来调用条款8.4.4.2.X4中规定的预测上采样过程，并且输出是预测的样点阵列predSamples。
-否则，predSample[x][y](x＝0..nTbW-1,y＝0..nTbH–1)被设置为等于predLwip[x][y]。
■表8-X5–取决于sizeId和modeId确定的权重变化sW规范
8.4.4.2.X2参考样点推导过程
这一过程的输入是：
-样点位置(xTbY，yTbY)，规定相对于当前图片的左上角亮度样点的当前变换块的左上角亮度样点，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度。
此过程的输出分别是上方和左侧参考样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)。
邻近样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)是环路滤波处理之前构建的样点，推导如下：
-上方和左侧邻近亮度位置(xNbT,yNbT)和(xNbL,yNbL))由下式规定：
(xNbT,yNbT)＝(xTbY+x,yTbY-1) (8-X28)
(xNbL,yNbL)＝(xTbY-1,yTbY+y) (8-X29)
-以被设置为等于(xTbY,yTbY)的当前亮度位置(xCurr,yCurr)以及上方邻近亮度位置(xNbT,yNbT)作为输入，来调用条款6.4.X[Ed.(BB)：邻近块可用性检查过程tbd]中规定的块的可用性推导过程，并且输出被分配给availTop[x](x＝0..nTbW-1)。
-以被设置为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)以及左侧邻近亮度位置(xNbL，yNbL)作为输入，来调用条款6.4.X[Ed.(BB)：
邻近块可用性检查过程tbd]中规定的块的可用性推导过程，并且输出被分配给availLeft[y](y＝0..nTbH-1)。
-上方参考样点refT[x](x＝0..nTbW–1)推导如下：
-如果availTop[x](x＝0..nTbW–1)等于TRUE，位置(xNbT,yNbT)处的样点被分配给refT[x](x＝0..nTbW–1)。
-否则，如果availTop[0]等于FALSE，则所有refT[x](x＝0..nTbW–1)被设置为等于1<<(BitDepthY–1)。
-否则，参考样点refT[x](x＝0..nTbW–1)通过以下有序步骤推导出：
1.变量lastT被设置为等于序列availTop[x](x＝1..nTbW–1)中的等于FALSE的第一元素的位置x。
2.对于每个x＝0..lastT–1，该位置(xNbT,yNbT)处的样点被分配给refT[x]。
3.对于每个x＝lastT..nTbW–1，refT[x]被设置为等于refT[lastT–1]。
-左侧参考样点为refL[y](x＝0..nTbH–1)推导如下：
-如果所有availLeft[y](y＝0..nTbH–1)等于TRUE，位置(xNbL，yNbL)处的样点被分配给refL[y](y＝0..nTbH–1)。
-否则，如果availLeft[0]等于FALSE，则所有refL[y](y＝0..nTbH–1)被设置为等于1<<(BitDepthY–1)。
-否则，参考样点refL[y](y＝0..nTbH–1)通过以下有序步骤推导出：
1.变量lastL被设置为等于序列availLeft[y](y＝1..nTbH–1)中等于FALSE的第一元素的位置y。
2.对于每个y＝0..lastL–1，位置(xNbL,yNbL)处的样点被分配给refL[y]。
3.对于每个y＝lastL..nTbH–1，refL[y]被设置为等于refL[LastL–1]。
边界简化过程的规范
这一过程的输入是：
-变量nTbX，规定变换块尺寸，
-参考样点refX[x](x＝0..nTbX-1)，
-变量boundarySize，规定下采样边界尺寸，
-标志needUpsBdryX，规定中间边界样点是否需要用于上采样，
-变量upsBdrySize，规定上采样的边界尺寸。
该过程的输出是简化的边界样点redX[x](x＝0..boundarySize–1)和上采样边界样点upsBdryX[x](x＝0..upsBdrySize–1)。
上采样边界样点upsBdryX[x](x＝0..upsBdrySize–1)的推导如下：
-如果needUpsBdryX等于TRUE，并且upsBdrySize小于nTbX，则以下情况适用：
uDwn＝nTbX/upsBdrySize (8-X30)
-否则(upsBdrySize等于nTbX)，upsBdryX[x]被设置为等于refX[x]。
简化的边界样点redX[x](x＝0..boundarySize–1)推导如下：
-如果边界尺寸小于upsBdrySize，则以下情况适用：
bDwn＝upsBdrySize/boundarySize (8-X32)
-否则(边界尺寸等于upsBdrySize)，redX[x]被设置为等于upsBdrySize[x]。
8.4.4.2.X4预测上采样过程的规范
这一过程的输入是：
-变量predW，规定输入块宽度，
-变量predH，规定输入块高度，
-仿射线性加权样点predLwip[x][y](x＝0..predW-1,y＝0..predH–1)，
-变量nTbW，规定变换块宽度，
-变量nTbH，规定变换块高度，
-变量upsBdryW，规定上采样边界宽度，
-变量upsBdryH，规定上采样边界高度，
-上采样边界样点upsBdryT[x](x＝0..upsBdryW–1)，
-左上采样边界样点upsBdryL[x](x＝0..upsBdryH–1)。
该过程的输出是预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH-1)。
稀疏预测样点predSamples[m][n]是从predLwip[x][y](x＝0..predW-1,y＝0..predH–1)中推导的，如下所示：
upHor＝nTbW/predW (8-X34)
upVer＝nTbH/predH (8-X35)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝
predLwip[x][y] (8-X36)
上边界样点upsBdryT[x](x＝0..upsBdryW–1)如下被分配给predSamples[m][-1]：
predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝
upsBdryT[x] (8-X37)
左侧边界样点upsBdryL[y](y＝0..upsBdryH–1)如下被分配给predSamples[-1][n]：
predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝
upsBdryL[y] (8-X38)
预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)推导如下：
-如果nTbH大于nTbW，则应用以下有序步骤：
1.当upHor大于1时，所有稀疏位置(xHor，yHor)＝(m*upHor–1,n*upVer–1)(m＝0..predW-1,n＝1..predH)的水平上采样如下应用dX＝1..upHor-1：
predSamples[xHor+dX][yHor]＝
((upHor-dX)*predSamples[xHor][yHor]+
dX*predSamples[xHor+upHor][yHor])/upHor (8-X39)
2.所有稀疏位置(xVer,yVer)＝(m,n*upVer–1)(m＝0..nTbW-1,n＝0..predH-1)的垂直上采样如下应用dY＝1..upVer-1：
predSamples[xVer][yVer+dY]＝
((upVer-dY)*predSamples[xVer][yVer]+
dY*predSamples[xVer][yVer+upVer])/upVer(8-X40)
-否则，以下有序步骤适用：
1.当upVer大于1时，所有稀疏位置(xVer,yVer)＝(m*upHor–1,n*upVer–1)(m＝1..predW,n＝0..predH-1)的垂直上采样应用如(8-X40)中所规定的dY＝1..upVer-1。
2.所有稀疏位置(xHor,yHor)＝(m*upHor–1,n)(m＝0..predW-1,n＝0..nTbH-1)的水平上采样应用如(8-X39)中规定的dX＝1..upHor-1。
<end>
表9-9–语法元素和相关的二值化
表9-15–使用上下文编解码的二进制位将ctxInc分配给语法元素
表9 16–使用左侧和上方语法元素的ctxInc规范
<end>
ALWIP概要
为了预测具有宽度W和高度H的矩形块的样点，仿射线性加权帧内预测(ALWIP)将块左侧的一行H个重建的邻近边界样点和块上方的一行W个重建的邻近边界样点作为输入。如果重建样点不可用，则像在常规帧内预测中那样生成它们。ALWIP仅适用于亮度帧内块。对于色度帧内块，应用常规的帧内编解码模式。
预测信号的生成基于以下三个步骤：
1.在边界样点中，通过平均来提取在W＝H＝4的情况下四个样点，以及在所有其他情况下八个样点。
2.以平均样点作为输入，执行矩阵矢量乘法，接着加上偏移。结果是原始块中样点的二次采样集合上的简化预测信号。
3.剩余位置处的预测信号是通过线性插值从二次采样集合上的预测信号中产生的，线性插值是在每个方向上的单步骤线性插值。
如果要应用ALWIP模式，使用带有3个MPM的MPM列表来信令通知ALWIP模式的索引predmode。这里，使用上方和左侧PU的帧内模式如下执行MPM的推导。存在为每个常规帧内预测模式predmodeAngular分配ALWIP模式的三个固定表map_angular_to_alwipidx，idx∈{0,1,2}
predmodeALWIP＝map_angular_to_alwipidx[predmodeAngular]。
对于宽度W和高度H的每个PU，定义索引
idx(PU)＝idx(W,H)∈{0,1,2}
这表明ALWIP参数将取自三个集合中的哪一个。
如果上方预测单元PUabove可用，与当前PU属于相同的CTU，并且处于帧内模式，如果idx(PU)＝idx(PUabove)并且如果ALWIP被应用于具有ALWIP-模式的PUabove，则
如果上方PU可用，与当前PU属于相同的CTU，并且处于帧内模式，并且如果常规帧内预测模式被应用于上方PU，则
在所有其他情况下，则
这意味着该模式不可用。以同样的方式，但不限制左侧PU需要与当前的PU属于相同的CTU，推导模式
最后，提供了三个固定的默认列表listidx,idx∈{0,1,2，每个列表包含三种不同的ALWIP模式。从默认列表listidx(PU)和模式和/>中，通过用默认值替换-1以及消除重复来构建三个不同的MPM。
对于亮度MPM列表推导，每当遇到使用ALWIP模式predmodeALWIP的邻近亮度块时，该块就被视为使用常规帧内预测模式predmodeAngular。
predmodeAngular＝map_alwip_to_angularidx(PU)[predmodeALWIP]
3VVC中的变换
3.1多重变换选择(Multiple Transform Selection，MTS)
除了已经在HEVC使用的DCT-II之外，多重变换选择(MTS)方案用于帧间编解码块和帧内编解码块的残差编解码。它使用多个从DCT8/DST7中选择的变换。新引入的变换矩阵是DST-VII和DCT-VIII。
3.2JVET-N0193中提出的简化二次变换(Reduced Secondary Transform，RST)
简化二次变换(RST)分别对4×4和8×8块应用16×16和16×64不可分变换。一次(primary)正和逆变换仍以与两次1-D水平/垂直变换相同的方式执行。二次正和逆变换是独立于一次变换的处理步骤。对于编码器，首先执行一次正变换，接着执行二次正变换和量化，以及CABAC位编码。对于解码器，执行CABAC位解码和反量化，然后首先执行二次逆变换，接着执行一次逆变换。RST仅适用于帧内条带和帧间条带中的帧内编解码的TU。
3.3JVET-N 0185中帧内模式编解码的统一MPM列表
无论是否应用多参考线(MRL)和帧间子分割(ISP)编解码工具，都为帧内块提出了统一的6-MPM列表。如在VTM4.0中一样，MPM列表是基于左侧和上方邻近块的帧内模式构建的。假设左侧的模式被表示为Left，而上方块的模式被表示为Above，统一MPM列表被构建如下：
●当邻近块不可用时，其帧内模式默认设置为Planar(平面)。
●如果模式Left和模式Above都是非角度模式：
a.MPM列表→{Planar,DC,V,H,V-4,V+4}
●如果模式Left和模式Above之一是角度模式，另一个是非角度模式：
a.将模式Max设置为Left和Above中的较大模式
b.MPM列表→{Planar,Max,DC,Max-1,Max+1,Max-2}
●如果Left和Above都为角度，并且它们是不同的：
a.将模式Max设置为Left和Above中的较大模式
b.如果模式Left和Above的差值在2到62之间(包括2和62)
i.MPM列表→{Planar,Left,Above,DC,Max-1,Max+1}
c.否则
i.MPM列表→{Planar,Left,Above,DC,Max-2,Max+2}
●如果Left和Above都为角度，并且它们是相同的：
a.MPM列表→{Planar,Left,Left-1,Left+1,DC,Left-2}
此外，MPM索引码字的第一个二进制位是CABAC上下文编解码的。总共使用三个上下文，对应于当前帧内块是启用MRL、启用ISP还是正常帧内块。
如图10所示，在统一MPM列表构建中使用的左侧邻近块和上方邻近块是A2和B2。
首先对一个MPM标志进行编解码。如果用MPM列表中的模式之一对块进行编解码，则进一步对MPM索引进行编解码。否则，对剩余模式(不包括MPM)的索引进行编解码。
4现有实施方式中的缺点的示例
JVET-N0217中的ALWIP设计存在以下问题：
1)在2019年3月的JVET会议上，为MRL模式、ISP模式和正常帧内模式采用了统一的6-MPM列表生成。但是仿射线性加权预测模式使用不同的3-MPM列表构建，这使得MPM列表构建复杂。复杂的MPM列表构建可能会损害解码器的吞吐量，特别是对于诸如4×4个样点的小块。
2)ALWIP仅应用于块的亮度分量。对于ALWP编解码块的色度分量，色度模式索引被编解码并发送到解码器，这可能导致不必要的信令通知。
3)应该考虑ALWIP与其他编解码工具的交互。
4)当在 中计算upsBdryX时，Log2(uDwn)-1可能等于-1，而左移-1未定义。
5)对预测样点进行上采样时，不应用取整。
6)在去方块过程中，ALWIP编解码块被视为正常的帧内块。
7)在对ALWIP标志(例如，intra_lwip_flag)进行编解码时使用了太多的上下文(例如，4)。
8)当需要垂直上采样和水平上采样时，上采样顺序取决于块形状。这对硬件不友好。
9)线性插值滤波器用于上采样，这可能是低效的。
5基于矩阵的帧内编解码的示例性方法
当前公开的技术的实施例克服了现有实施方式的缺点，从而提供了具有更高编解码效率但计算复杂度更低的视频编解码。用于视频编解码的基于矩阵的帧内预测方法，如在本文件中所描述的，可以增强现有的和未来的视频编解码标准，在以下针对各种实施方式所描述的示例中进行阐述。下面提供的公开技术的示例解释了一般概念，并且不意味着解释为限制。在一个示例中，除非明确指出相反的情况，否则这些示例中描述的各种特征可以被组合。
在以下讨论中，帧内预测模式是指角度帧内预测模式(包括DC、平面、CCLM和其他可能的帧内预测模式)；而帧内模式指的是正常帧内模式、或MRL模式、或ISP模式、或ALWIP。
在以下讨论中，“其他帧内模式”可以是指除ALWIP之外的一种或多种帧内模式，诸如正常帧内模式、或MRL模式、或ISP模式。
在以下讨论中，SatShift(x,n)定义为
Shift(x,n)定义为Shift(x,n)＝(x+offset0)>>n。
在一个示例中，offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))。在另一个示例中，offset0和/或offset1被设置为0。
在另一个示例中，offset0＝offset1＝((1<<n)>>1)-1或((1<<(n-1)))-1。Clip3(min,max,x)定义为
■ALWIP的MPM列表构建
1.提出可以根据构建非ALWIP帧内模式(诸如正常帧内模式、MRL或ISP)的MPM列表的全部或部分过程来构建ALWIP的MPM列表的全部或部分。
a.在一个示例中，ALWIP的MPM列表的尺寸可以与非ALWIP帧内模式的MPM列表的尺寸相同。
i.例如，对于ALWIP和非ALWIP帧内模式，MPM列表的尺寸都为6。
b.在一个示例中，ALWIP的MPM列表可以从非ALWIP帧内模式的MPM列表中推导。
i.在一个示例中，可以首先构建非ALWIP帧内模式的MPM列表。随后，它们的部分或全部可以被转换为可以被进一步添加到ALWIP编解码块的MPM列表的MPM。
1)此外，可替代地，当将转换的MPM添加到ALWIP编解码块的MPM列表时，可以应用修剪。
2)默认模式可以被添加到ALWIP编解码块的MPM列表。
a.在一个示例中，可以在从非ALWIP帧内模式的MPM
列表转换的模式之前添加默认模式。
b.可替代地，可以在从非ALWIP帧内模式的MPM列表转换的模式之后添加默认模式。
c.可替代地，可以以与从非ALWIP帧内模式的MPM列表转换的模式交织的方式添加默认模式。
d.在一个示例中，对于所有种类的块，默认模式可以被固定为相同。
e.可替代地，可以根据编解码信息，诸如邻近块的可用性、邻近块的模式信息、块维度，来确定默认模式。
ii.在一个示例中，当非ALWIP帧内模式的MPM列表中的一个帧内预测模式被放入ALWIP的MPM列表中时，其可以被转换为其对应的ALWIP帧内预测模式。
1)可替代地，非ALWIP帧内模式的MPM列表中的所有帧内预测模式可以在用于构建ALWIP的MPM列表之前被转换为对应的ALWIP帧内预测模式。
2)可替代地，如果非ALWIP帧内模式的MPM列表可以进一步用于推导ALWIP的MPM列表，则所有候选帧内预测模式(可以包括来自邻近块的帧内预测模式和默认帧内预测模式，诸如平面和DC)可以在用于构建非ALWIP帧内模式的MPM列表之前被转换为对应的ALWIP帧内预测模式。
3)在一个示例中，可以比较两个转换的ALWIP帧内预测模式。
a.在一个示例中，如果它们是相同的，则仅它们中的一个可以被放入ALWIP的MPM列表中。
b.在一个示例中，如果它们是相同的，则仅它们中的一个可以被放入非ALWIP帧内模式的MPM列表中。
iii.在一个示例中，非ALWIP帧内模式的MPM列表中的S个帧内预测模式中的K个帧内预测模式可以被挑选作为ALWIP模式的MPM列表。例如，K等于3，并且S等于6。
1)在一个示例中，非ALWIP帧内模式的MPM列表中的前K个帧内预测模式可以被挑选作为ALWIP模式的MPM列表。
2.提出用于推导ALWIP的MPM列表的一个或多个邻近块也可以用于推导非ALWIP帧内模式(诸如正常帧内模式、MRL或ISP)的MPM列表。
a.在一个示例中，用于推导ALWIP的MPM列表的当前块左侧的邻近块应该与用于推导非ALWIP帧内模式的MPM列表的邻近块相同。
i.假设当前块的左上角为(xCb，yCb)，当前块的宽度和高度为W和H，则在一个示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的左侧邻近块可以覆盖位置(xCb-1，yCb)。在替代示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的左侧邻近块可以覆盖位置(xCb-1，yCb+H-1)。
ii.例如，在统一MPM列表构建中使用的左侧邻近块和上方邻近块为A2和B2，如图10所示。
b.在一个示例中，用于推导ALWIP的MPM列表的当前块上方的邻近块应该与用于推导非ALWIP帧内模式的MPM列表的邻近块相同。
i.假设当前块的左上角为(xCb，yCb)，当前块的宽度和高度为W和H，则在一个示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的上方邻近块可以覆盖位置(xCb，yCb-1)。
在替代示例中，用于推导ALWIP和非ALWIP帧内模式的MPM列表的上方邻近块可以覆盖位置(xCb+W-1，yCb-1)。
ii.例如，在统一MPM列表构建中使用的左侧邻近块和上方邻近块为A1和B1，如图10所示。
3.提出根据当前块的宽度和/或高度以不同的方式构建ALWIP的MPM列表。
a.在一个示例中，对于不同的块维度，可以访问不同的邻近块。
4.提出可以用相同的过程但用不同的参数来构建ALWIP的MPM列表和非ALWIP帧内模式的MPM列表。
a.在一个示例中，可以为在ALWIP模式下使用的MPM列表推导非ALWIP帧内模式的MPM列表构建过程中的S个帧内预测模式中的K个帧内预测模式。例如，K等于3，并且S等于6。
i.在一个示例中，可以为在ALWIP模式下使用的MPM列表推导MPM列表构建过程中的前K个帧内预测模式。
b.在一个示例中，MPM列表中的第一模式可以不同。
i.例如，非ALWIP帧内模式的MPM列表中的第一模式可以是平面，但它可以是ALWIP的MPM列表中的模式X0。
1)在一个示例中，X0可以是从平面转换的ALWIP帧内预测模式。
c.在一个示例中，MPM列表中的填充(stuffing)模式可以不同。
i.例如，非ALWIP帧内模式的MPM列表中的前三个填充模式可以是DC、垂直和水平，但是它们可以是ALWIP的MPM列表中的模式X1、X2和X3。
1)在一个示例中，X1、X2、X3对于不同的sizeId可以不同。
ii.在一个示例中，填充模式的数量可以不同。
d.在一个示例中，MPM中的邻近模式可以不同。
i.例如，邻近块的正常帧内预测模式用于构建非ALWIP帧内模式的MPM列表。它们被转换为ALWIP帧内预测模式，以构建ALWIP模式的MPM列表。
e.在一个示例中，MPM列表中的移位(shifted)模式可以不同。
i.例如，X+K0(其中X是正常帧内预测模式并且K0是整数)可以被放入非ALWIP帧内模式的MPM列表中。并且Y+K1(其中Y是ALWIP帧内预测模式并且K1是整数)可以被放入ALWIP的MPM列表中，其中K0可以不同于K1。
1)在一个示例中，K1可以取决于宽度和高度。
5.提出当构建具有非ALWIP帧内模式的当前块的MPM列表时，如果用ALWIP对邻近块进行编解码，则将该邻近块视为不可用。
a.可替代地，当构建具有非ALWIP帧内模式的当前块的MPM列表时，如果用ALWIP对邻近块进行编解码，则该邻近块被视为以预定义的帧内预测模式(诸如平面)进行编解码。
6.提出当构建具有ALWIP模式的当前块的MPM列表时，如果以非ALWIP帧内模式对邻近块进行编解码，则将该邻近块视为不可用。
a.可替代地，当构建具有ALWIP模式的当前块的MPM列表时，如果以非ALWIP帧内模式对邻近块进行编解码，则该邻近块被视为以预定义的ALWIP帧内预测模式X进行编解码。
i.在一个示例中，X可以取决于块维度，诸如宽度和/或高度。
7.提出从线缓冲区中移除ALWIP标志的存储。
a.在一个示例中，当要被访问的第二块与当前块相比位于不同的LCU/CTU行/区域中时，跳过对第二块是否用ALWIP进行编解码的条件检查。
b.在一个示例中，当要被访问的第二块与当前块相比位于不同的LCU/CTU行/区域中时，第二块以与非ALWIP模式相同的方式被对待，诸如被视为正常帧内编解码块。
8.在对ALWIP标志进行编码时，可以使用不多于K个(K>＝0)上下文。
a.在一个示例中，K＝1。
9.提出存储ALWIP编解码块的转换的帧内预测模式，而不是直接存储与ALWIP模式相关联的模式索引。
a.在一个示例中，与一个ALWIP编解码块相关联的解码模式索引被映射到正常帧内模式，诸如根据如第2.5.7节所述的map_alwip_to_angular。
b.此外，可替代地，ALWIP标志的存储被完全移除。
c.此外，可替代地，ALWIP模式的存储被完全移除。
d.此外，可替代地，可以跳过对一个邻近/当前块是否用ALWIP标志进行编解码的条件检查。
e.此外，可替代地，可以跳过为ALWIP编解码块分配的模式和与一个访问块相关联的正常帧内预测的转换。
■不同色彩分量的ALWIP
10.提出如果以ALWIP模式对对应亮度块进行编解码，则可以总是应用推断的色度帧内模式(例如，DM模式)。
a.在一个示例中，如果以ALWIP模式对对应亮度块进行编解码，则色度帧内模式在没有信令通知的情况下被推断为DM模式。
b.在一个示例中，对应亮度块可以是覆盖位于给定位置(例如，当前色度块的左上方、当前色度块的中心)的色度样点的对应样点的亮度块。
c.在一个示例中，可以根据对应亮度块的帧内预测模式，诸如经由将(ALWIP)模式映射到正常帧内模式之一，来推导DM模式。
11.当以ALWIP模式对色度块的对应亮度块进行编解码时，可以推导几个DM模式。
12.提出如果以ALWIP模式对一个对应亮度块进行编解码，则向色度块分配特殊模式。
a.在一个示例中，特殊模式被定义为给定的正常帧内预测模式，而不管与ALWIP编解码块相关联的帧内预测模式如何。
b.在一个示例中，可以将帧内预测的不同方式分配给该特殊模式。
13.提出也可以将ALWIP应用于色度分量。
a.在一个示例中，对于不同的色彩分量，矩阵和/或偏置矢量可以不同。
b.在一个示例中，矩阵和/或偏置矢量可以针对Cb和Cr联合预定义。
i.在一个示例中，Cb和Cr分量可以被级联。
ii.在一个示例中，Cb和Cr分量可以被交织。
c.在一个示例中，色度分量可以与对应亮度块共享相同的ALWIP帧内预测模式。
i.在一个示例中，如果对应亮度块应用ALWIP模式并且色度块以DM模式进行编解码，则相同的ALWIP帧内预测模式被应用于色度分量。
ii.在一个示例中，相同的ALWIP帧内预测模式被应用于色度分量，并且此后的线性插值可以被跳过。
iii.在一个示例中，相同的ALWIP帧内预测模式被应用于具有二次采样矩阵和/或偏置矢量的色度分量。
d.在一个示例中，不同分量的ALWIP帧内预测模式的数量可以不同。
i.例如，对于相同的块宽度和高度，色度分量的ALWIP帧内预测模式的数量可以少于亮度分量的ALWIP帧内预测模式的数量。
■ALWIP的应用性
14.提出可以信令通知是否可以应用ALWIP。
a.例如，它可以在序列级别(例如，在SPS中)、在图片级别(例如，在PPS或图片头中)、在条带级别(例如，在条带头中)、在片组级别(例如，在片组头中)、在片级别、在CTU行级别或在CTU级别被信令通知。
b.例如，如果不能应用ALWIP，则intra_lwip_flag可以不被信令通知并且被推断为0。
15.提出是否可以应用ALWIP可以取决于块宽度(W)和/或高度(H)。
c.例如，如果W>＝T1(或W>T1)且H>＝T2(或H>T2)，则可以不应用ALWIP。例如，T1＝T2＝32；
i.例如，如果W<＝T1(或W<T1)且H<＝T2(或H<T2)，则可以不应用ALWIP。例如，T1＝T2＝32；
d.例如，如果W>＝T1(或W>T1)或H>＝T2(或H>T2)，则可以不应用ALWIP。例如，T1＝T2＝32；
i.例如，如果W<＝T1(或W<T1)或H<＝T2(或H<T2)，则可以不应用ALWIP。例如，T1＝T2＝32；
e.例如，如果W+H>＝T(或W*H>T)，则可以不应用ALWIP。例如，T＝256；
i.例如，如果W+H<＝T(或W+H<T)，则可以不应用ALWIP。例如，T＝256；
f.例如，如果W*H>＝T(或W*H>T)，则可以不应用ALWIP。例如，T＝256；
i.例如，如果W*H<＝T(或W*H<T)，则可以不应用ALWIP。例如，T＝256；
g.例如，如果不能应用ALWIP，则intra_lwip_flag可以不被信令通知并且被推断为0。
■ALWIP中的计算问题
16.提出ALWIP中涉及的任何移位操作只能将数字左移或右移S，其中S必须大于或等于0。
a.在一个示例中，当S等于0或大于0时，右移操作可以不同。
i.在一个示例中，upsBdryX[x]应该计算为
当uDwn>1时， 以及当uDwn等于1时，
b.在一个示例中，upsBdryX[x]应该计算为
17.提出在ALWIP的上采样过程中，应该将结果向零或远离零取整。
a.在一个示例中，
predSamples[xHor+dX][yHor]＝
((upHor-dX)*predSamples[xHor][yHor]+
dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor(8-X39)
以及
predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer(8-X40)
其中offsetHor和offsetVer是整数。例如，offsetHor＝upHor/2并且offsetVer＝upVer/2。
■与其他编解码工具的交互
18.提出ALWIP可以用于CIIP编解码块。
a.在一个示例中，在CIIP编解码块中，可以显式信令通知是使用ALWIP帧内预测模式还是诸如平面的正常帧内预测模式来生成帧内预测信号。
b.在一个示例中，可以隐式推断是使用ALWIP帧内预测模式还是诸如平面的正常帧内预测模式来生成帧内预测信号。
i.在一个示例中，ALWIP帧内预测模式可以从不用于CIIP编解码块。
1)可替代地，正常帧内预测可以从不用于CIIP编解码块。
ii.在一个示例中，可以从邻近块的信息推断是使用ALWIP帧内预测模式还是诸如平面的正常帧内预测模式来生成帧内预测信号。
19.提出用于在CCLM模式下对邻近亮度样点进行下采样的过程的全部或部分可以用于在ALWIP模式下对邻近样点进行下采样。
a.可替代地，用于在ALWIP模式下对邻近亮度样点进行下采样的过程的全部或部分可以用于在CCLM模式下对邻近样点进行下采样。
b.当在CCLM过程和ALWIP过程中使用下采样过程时，可以用不同的参数/自变量调用下采样过程。
c.在一个示例中，CCLM过程中的下采样方法(诸如邻近亮度位置的选择、下采样滤波器)可以在ALWIP过程中使用。
d.用于对邻近亮度样点进行下采样的过程至少包括下采样位置的选择、下采样滤波器、取整和裁剪操作。
20.提出以ALWIP模式进行编解码的块不能应用RST或/和二次变换或/和旋转变换或/和不可分二次变换(Non-Separable Secondary Transform，NSST)。
a.在一个示例中，是否可以应用这样的约束可以取决于块的维度信息，例如，与(15)中描述的条件相同。
b.可替代地，当应用RST或/和二次变换或/和旋转变换或/和NSST时，可以不允许ALWIP模式。
c.可替代地，以ALWIP模式进行编解码的块可以应用RST或/和二次变换或/和旋转变换或/和不可分二次变换(NSST)。
i.在一个示例中，变换矩阵的选择可以取决于ALWIP帧内预测模式。
ii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换的正常帧内预测模式。
iii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换的正常帧内预测模式的分类。
21.提出以ALWIP模式进行编解码的块不能应用基于块的DPCM(Block-basedDPCM，BDPCM)或残差RDPCM。
a.可替代地，当应用BDPCM模块或RDPCM时，可以不允许ALWIP模式。
22.提出以ALWIP模式进行编解码的块可以仅使用DCT-II作为变换。
a.在一个示例中，变换矩阵索引的信令通知总是被跳过。
b.可替代地，提出用于以ALWIP模式进行编解码的块的变换可以隐式推导，而不是显式信令通知。例如，可以按照JVET-M0303中提出的方式选择变换。
c.可替代地，提出以ALWIP模式进行编解码的块可以仅使用变换跳过。
i.此外，可替代地，当使用ALWIP时，跳过对使用变换跳过的指示的信令通知。
d.在一个示例中，ALWIP模式信息(诸如启用/禁用、预测模式索引)可以在变换矩阵的指示之后有条件地信令通知。
i.在一个示例中，对于给定的变换矩阵(诸如变换跳过或DCT-II)，可以信令通知ALWIP模式信息的指示。
ii.此外，可替代地，可以针对一些预定义的变换矩阵跳过ALWIP模式信息的指示。
23.提出当所选择的变换是模式依赖的时，以ALWIP模式进行编解码的块被认为是用从ALWIP帧内预测模式转换的正常帧内预测进行编解码的。
24.ALWIP模式可以不使用变换跳过。
a.例如，在这种情况下，不需要进一步信令通知对使用变换跳过的指示。
b.可替代地，当应用变换跳过时，可以不允许ALWIP模式。
i.例如，在这种情况下，当应用变换跳过时，不需要信令通知ALWIP模式信息。
25.在滤波过程(诸如去方块滤波器、样点自适应偏移(Sample Adaptive Offset，SAO)、自适应环路滤波器(Adaptive Loop Filter，ALF))中，如何选择滤波器和/或是否对样点进行滤波可以通过使用ALWIP来确定。
26.未滤波的邻近样点可以在ALWIP模式下使用。
a.可替代地，滤波的邻近样点可以在ALWIP模式下使用。
b.在一个示例中，滤波的邻近样点可以用于下采样，并且未滤波的邻近样点可以用于上采样。
c.在一个示例中，未滤波的邻近样点可以用于下采样，并且滤波的邻近样点可以用于上采样。
d.在一个示例中，滤波的左侧邻近样点可以用于上采样，并且未滤波的上方邻近样点可以用于上采样。
e.在一个示例中，未滤波的左侧邻近样点可以用于上采样，并且滤波的上方邻近样点可以用于上采样。
f.在一个示例中，是否使用滤波或未滤波的邻近样点可以取决于ALWIP模式。
i.在一个示例中，ALWIP模式可以被转换为传统帧内预测模式，并且是否使用滤波或未滤波的邻近样点可以取决于转换的传统帧内预测模式。例如，这样的决定与传统帧内预测模式相同。
ii.可替代地，可以信令通知滤波或未滤波的邻近样点是否用于ALWIP模式。
g.在一个示例中，滤波的样点可以与传统帧内预测模式相同地生成。
27.使用哪些矩阵或/和偏移矢量可以取决于整形(也称为LMCS，亮度映射带与色度缩放)信息。
a.在一个示例中，当整形开启和关闭时，可以使用不同的矩阵或/和偏移矢量。
b.在一个示例中，不同的矩阵或/和偏移矢量可以用于不同的整形参数。
c.在一个示例中，ALWIP可以总是在原始域中执行。
i.例如，邻近样点在ALWIP中使用之前被映射到原始域(如果应用了整形)。
28.在应用整形时，可以禁用ALWIP。
a.可替代地，当启用ALWIP时，可以禁用整形。
b.在一个示例中，当应用整形时，可以对HDR(high dynamic range，高动态范围)内容禁用ALWIP。
29.ALWIP中使用的矩阵可以取决于样点比特深度。
a.此外，可替代地，在ALWIP中使用的偏移值可以取决于样点比特深度。
b.可替代地，矩阵参数和偏移值可以针对N比特样点以M比特精度存储(M<＝N)，例如，矩阵参数和偏移值可以针对10比特样点以8比特精度存储。
c.样点比特深度可以是诸如亮度的色彩分量的输入阵列的比特深度。
d.样点比特深度可以是诸如亮度的色彩分量的内部阵列/重建样点的比特深度。
30.特定块尺寸的矩阵参数和/或偏移值可以从其他块尺寸的矩阵参数和/或偏移值中推导。
31.在一个示例中，8×8块的16×8矩阵可以从4×4块的16×4矩阵中推导。
32.提出可以将由ALWIP生成的预测视为中间信号，其将被处理以获得要进一步使用的预测信号。
a.在一个示例中，位置依赖帧内预测组合(Position DependentIntraPrediction Combination，PDPC)可以被应用于由ALWIP生成的预测，以生成要进一步使用的预测信号。
i.在一个示例中，以与以特定的正常帧内预测模式(诸如平面或DC)对块进行编解码相同的方式，在ALWIP编解码块上进行PDPC。
ii.在一个示例中，以与以从ALWIP帧内预测模式转换的正常帧内预测模式进行编解码的块相同的方式，在ALWIP编解码块上进行PDPC。
iii.在一个示例中，PDPC被有条件地应用于ALWIP编解码块。
1)例如，仅当PDPC被应用于从ALWIP帧内预测模式转换的正常帧内预测模式时，PDPC才被应用于ALWIP编解码块。
b.在一个示例中，可以用邻近样点对由ALWIP生成的边界样点预测进行滤波，以生成要进一步使用的预测信号。
i.在一个示例中，以与以特定的正常帧内预测模式(诸如平面或DC)对块进行编解码相同的方式，在ALWIP编解码块上进行对边界样点的滤波。
ii.在一个示例中，以与以从ALWIP帧内预测模式转换的正常帧内预测模式进行编解码的块相同的方式，在ALWIP编解码块上进行对边界样点的滤波。
iii.在一个示例中，对边界样点的滤波被有条件地应用于ALWIP编解码块。
1)例如，仅当对边界样点的滤波被应用于从ALWIP帧内预测模式转换的正常帧内预测模式时，对边界样点的滤波才被应用于ALWIP编解码块。
33.提出可以在ALWIP的上采样过程中使用除了双线性插值滤波器之外的插值滤波器。
a.在一个示例中，4抽头插值滤波器可以用于ALWIP的上采样过程。
i.例如，用于对色度分量进行运动补偿的VVC中的4抽头插值滤波器可以用于ALWIP的上采样过程。
ii.例如，用于进行角度帧内预测的VVC中的4抽头插值滤波器可以用于ALWIP的上采样过程。
iii.例如，用于对亮度分量进行运动补偿的VVC中的8抽头插值滤波器可以用于ALWIP的上采样过程。
34.在ALWIP模式下进行编解码的块内的样点可以以不同的方式预测。
a.在一个示例中，对于W*H块，可以通过对其应用sW*sH ALWIP来生成其内的sW*sH子块的预测。
i.在一个示例中，对于W*H块，可以通过对其应用W/2*H/2ALWIP来生成其左上方W/2*H/2块的预测。
ii.在一个示例中，对于W*H块，可以通过对其应用W/2*HALWIP来生成其左侧W/2*H块的预测。
iii.在一个示例中，对于W*H块，可以通过对其应用W*H/2ALWIP来生成其顶部W*H/2块的预测。
iv.在一个示例中，sW*sH子块可以具有可用的左侧或/和上方邻近样点。
b.在一个示例中，如何决定子块的位置可以取决于块的维度。
i.例如，当W>＝H时，可以通过对其应用W/2*H ALWIP来生成其左侧W/2*H块的预测。
ii.例如，当H>＝W时，可以通过对其应用W*H/2ALWIP来生成其顶部W*H/2块的预测。
iii.例如，当W等于H时，可以通过对其应用W/2*H/2ALWIP来生成其左上方W/2*H/2块的预测。
c.此外，在一个示例中，可以通过应用W*H ALWIP来生成剩余样点(例如，不属于sW*sH子块的样点)的预测。
i.可替代地，可以通过应用常规的帧内预测(例如，使用转换的帧内预测模式作为帧内模式)来生成剩余样点的预测。
ii.此外，可以针对sW*sH子块中的样点跳过计算。
35.在ALWIP模式下进行编解码的块内的样点可以在子块(例如，尺寸为sW*sH)级别进行预测。
a.在一个示例中，可以使用邻近重建样点(例如，对于边界子块)或/和邻近预测样点(例如，对于内部子块)，将sW*sH ALWIP应用于每个子块。
b.在一个示例中，可以以光栅扫描顺序预测子块。
c.在一个示例中，可以以之字形(zigzag)顺序预测子块。
d.在一个示例中，子块的宽度(高度)可以不大于sWMax(sHMax)。
e.在一个示例中，当宽度或高度或宽度和高度两者大于(或等于)阈值L的块时，该块可以被划分为多个子块。
f.阈值L可以是预先定义的或者在SPS/PPS/图片/条带/片组/片级别被信令通知。
i.可替代地，阈值可以取决于特定编解码信息，诸如块尺寸、图片类型、时间层索引等。
36.提出邻近样点(相邻或非相邻)在用于ALWIP之前被滤波。
a.可替代地，邻近样点在用于ALWIP之前不被滤波。
b.可替代地，邻近样点在用于ALWIP之前被有条件地滤波。
i.例如，仅当ALWIP帧内预测模式等于一个或一些特定值时，邻近样点才在用于ALWIP之前被滤波。
37.提出在对ALWIP标志进行编解码时，在算术编解码中推导ALWIP标志的上下文的方法对于当前块的所有维度都是相同的。
a.在一个示例中，当(Abs(Log2(cbWidth)–Log2(cbHeight))大于或不大于1时，在算术编解码中推导ALWIP标志的上下文的方法是相同的，其中CBWidth和CBHeight分别是当前块的宽度和高度。
b.在一个示例中，在算术编解码中推导ALWIP标志的上下文仅取决于邻近块的ALWIP信息和/或邻近块的可用性。
i.在一个示例中，直接使用多个邻近块ALWIP信息(例如，intra_lwip_flag)和/或邻近块的可用性。例如，左侧和上方邻近块的ALWIP标志和/或左侧和邻近块的可用性用于在算术编解码中推导ALWIP标志的上下文。示例如表1所示。此外，可替代地，上下文索引偏移ctxInc＝(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3。
表1–使用左侧和上方语法元素的ctxInc的规范
ii.在一个示例中，邻近块的ALWIP信息之一(例如，intra_lwip_flag)用于在算术编解码中推导ALWIP标志的上下文，并且邻近块可以是左侧邻近块。示例如表2所示。此外，可替代地，上下文索引偏移ctxInc＝(condL&&availableL)+
ctxSetIdx*3。
表2–使用左侧和上方语法元素的ctxInc的规范
iii.在一个示例中，邻近块的ALWIP标志信息之一(例如，intra_lwip_flag)用于在算术编解码中推导ALWIP标志的上下文，并且邻近块可以是上方邻近块。示例如表3所示。此外，可替代地，上下文索引偏移ctxInc＝(condA&&availableA)+ctxSetIdx*3。
表3–使用左侧和上方语法元素的ctxInc的规范
c.在一个示例中，一个固定上下文用于在算术编解码中对ALWIP标志进行编解码。
d.在一个示例中，在算术编解码中对ALWIP标志进行旁路编解码。
e.可替代地，K个上下文可以用于在算术编解码中对ALWIP标志进行编解码。要使用的上下文可以取决于块的维度(例如，表示为W的宽度和表示为H的高度)。
i.在一个示例中，K等于2。当W>N*H或H>N*W(例如，
N＝2)时，使用第一上下文，否则，使用第二上下文。
38.提出N个(N>＝0)上下文可以用于在算术编解码中对ALWIP标志(例如，intra_lwip_flag)进行编解码。
a.在一个示例中，N等于3。ALWIP标志和/或两个邻近或/和非相邻块的可用性可以用于在算术编解码中推导ALWIP标志的使用的上下文。
i.在一个示例中，两个邻近块可以包括上方(例如，图10中的B1)块和左侧(例如，图10中的A1)块。
ii.在一个示例中，两个邻近块可以包括上方块和左下(例如，图10中的A2)块。
iii.在一个示例中，两个邻近块可以包括上方块和右上(例如，图10中的B2)块。
iv.在一个示例中，两个邻近块可以包括右上(例如，图10中的B2)块和左侧(例如，图10中的A1)块。
v.在一个示例中，两个邻近块可以包括右上(例如，图10中的B2)块和左下(例如，图10中的A2)块。
vi.在一个示例中，两个邻近块可以包括左侧块(例如，图10中的A1)和左下(例如，图10中的A2)块。
vii.在一个示例中，邻近块可以与图10不同地定义。图16中描述了示例。两个邻近块可以包括{右上、上方、左上、左侧、左下}块中的任何两个。例如，两个邻近块可以包括{B0，B1，B2，A0，A1}中的任何两个块。
b.在一个示例中，N等于2。ALWIP标志和/或一个邻近或/和非相邻块的可用性可以用于在算术编解码中推导ALWIP标志的使用的上下文。
i.在一个示例中，邻近块可以是{右上、上方、左上、左侧、左下}中的任何一个。图10中描述了邻近块的示例。
ii.在一个示例中，邻近块可以是{右上、上方、左上、左侧、左下}块中的任何一个。图16中描述了邻近块的示例。
c.在一个示例中，一个固定上下文可以用于在算术编解码中对ALWIP标志进行编解码。
d.在一个示例中，可以在算术编解码中对ALWIP标志进行旁路编解码。图16示出了邻近块的示例。
39.提出可以在不计算上采样边界样点的情况下生成简化边界样点。
a.在一个示例中，位于上采样边界样点位置的参考样点被直接用于预测上采样过程。
i.在一个示例中，上采样边界样点可以不通过对多个相邻参考样点求平均来计算。
b.在一个示例中，简化边界样点可以直接从参考样点和缩小因子(downscalingfactor)计算。
i.在一个示例中，缩小因子可以通过变换块尺寸和下采样边界尺寸来计算。
40.在一个示例中，在ALWIP中的上采样过程中，样点可以在不同的滤波阶段具有不同的精度。“样点”可以指预测样点或者上采样过程之前或之后的任何中间样点。
a.在一个示例中，在ALWIP中的上采样过程中，在第一滤波阶段中沿着第一维度水平地对样点进行上采样；然后，在第二滤波阶段中沿着第二维度垂直地对样点进行上采样。
i.可替代地，在ALWIP中的上采样过程中，在第一滤波阶段中沿着第一维度垂直地对样点进行上采样；然后，在第二滤波阶段中沿着第二维度水平地对样点进行上采样。
b.在一个示例中，第一滤波阶段中没有右移或除法的输出上采样结果可以用作第二滤波阶段的输入样点。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移Shift1或者除以Dem1，以推导最终上采样结果。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移Shift2或除以Dem2，以推导最终上采样结果。
1)在一个示例中，Shift1＝2×Shift2；Dem1＝Dem2×Dem2。
iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点可以在输入到第二滤波阶段之前被左移Shift3或乘以Dem3。
1)在一个示例中，Shift3＝Shift1；Dem3＝Dem2。
c.在一个示例中，第一滤波阶段中的输出上采样结果可以在用作第二滤波阶段的输入样点之前被右移Shift1或除以Dem1。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移Shift2或者除以Dem2，以推导最终上采样结果，其中Shift2可以不等于Shift1，例如Shift2>Shift1；Dem2可以不等于Dem1，例如Dem2>Dem1。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移Shift3或者除以Dem3，以推导最终上采样结果，其中Shift3可以等于Shift1；Dem3可以不等于Dem1。
1)在一个示例中，Shift3＝Shift1+Shift2。
iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点可以在输入到第二滤波阶段之前被左移或乘以一因子。
d.在一个示例中，第一滤波阶段中的输出上采样结果可以在用作第二滤波阶段的输入样点之前被左移Shift1或者乘以Dem1。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移或除以一因子，以推导最终上采样结果。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移或除以一因子，以推导最终上采样结果。
iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点可以在输入到第二滤波阶段之前被左移Shift2或者乘以Dem2，其中Shift2可以不等于Shift1，例
如Shift2>Shift1；Dem1可以不等于Dem2，例如Dem2>Dem1。e.在一个示例中，被输入到第一滤波阶段的样点可以在用作第一滤波阶段的输入样点之前被左移Shift1或者乘以Dem1。
i.在一个示例中，第二滤波阶段中的输出上采样滤波结果可以被右移或除以一因子，以推导最终上采样结果。
ii.在一个示例中，第一滤波阶段中的输出上采样滤波结果可以被右移或除以一因子，以推导最终上采样结果。
iii.在一个示例中，被输入到第二滤波阶段但不是第一滤波阶段中的输出上采样结果的样点可以在输入到第二滤波阶段之前被左移Shift2或者乘以Dem2，其中Shift2可以不等于Shift1，例如Shift2>Shift1；Dem2可以不等于Dem1，例如Dem2>Dem1。
41.提出当需要垂直上采样和水平上采样时，可以以固定顺序执行ALWIP中的上采样。
a.在一个示例中，可以首先执行水平上采样，然后可以执行垂直上采样。
b.在一个示例中，可以首先执行垂直上采样，然后可以执行水平上采样。
42.在一个示例中，上采样之前的ALWIP中的预测样点可以根据块维度进行转置。
a.在一个示例中，可以首先将W*H块转置为H*W块，然后可以应用上采样。
b.此外，可替代地，在上采样过程之后，上采样的样点可以以相反的方式被转置。
43.提出交替插值滤波器(Alternative Interpolation Filter)而不是双线性滤波器可以用于ALWIP中的上采样。
a.在一个示例中，可以使用(4抽头、6抽头、8抽头等)高斯滤波器。
b.在一个示例中，可以使用(4抽头、6抽头、8抽头等)三次滤波器。
c.在一个示例中，可以使用用于对色度样点的运动补偿的插值滤波器。
d.在一个示例中，可以使用用于对亮度样点的运动补偿的插值滤波器(6抽头、8抽头等)。
e.使用哪个插值滤波器可以取决于块维度。
f.使用哪个插值滤波器可以取决于上采样比率。
g.使用哪个插值滤波器可以取决于ALWIP的预测模式。
h.使用哪个插值滤波器可以取决于有多少样点可用于上采样。
i.例如，当一行(或列)中有4个可用样点(不包括邻近参考样点)时，可以使用4抽头插值滤波器。
ii.例如，当一行(或列)中有8个可用样点(不包括邻近参考样点)时，可以使用4抽头或8抽头插值滤波器。
5.实施例
新添加的部分以粗体斜体突出示出，并且删除的部分以下划线斜体突出示出。
5.1一个示例
三个上下文用于对ALWIP标志进行编解码。
表9-15–将ctxInc分配给上下文编解码的二进制位的语法元素
5.2一个示例
一个固定上下文用于对ALWIP标志进行编解码。
表9-15–将ctxInc分配给上下文编解码的二进制位的语法元素
5.3一个示例
一步执行边界简化过程。
以下实施例基于采用的JVET-N0220-proposal-test-CE3-4.1_v2。
8.4.4.2.X1仿射线性加权帧内样点预测
8.4.4.2.X3边界简化过程的规范
该过程的输入为：
–变量nTbX，规定变换块尺寸，
–参考样点refX[x]，其中x＝0..nTbX-1，
–变量boundarySize，规定下采样边界尺寸，
–标志needUpsBdryX，规定上采样是否需要中间边界样点，
–变量upsBdrySize，规定上采样边界尺寸。
该过程的输出是简化边界样点redX[x]，其中x＝0..boundarySize–1，和上采样边界样点upsBdryX[x]，其中x＝0..upsBdrySize–1。
上采样边界样点upsBdryX[x]，其中x＝0..upsBdrySize–1推导如下：
–如果needUpsBdryX等于TRUE，并且upsBdrySize小于nTbX，则以下适用：
uDwn＝nTbX/upsBdrySize (8-X30)
upsBdryX[x]＝refX[x*uDwn]
–否则(upsBdrySize等于nTbX)，upsBdryX[x]设置为等于refX[x]。
简化边界样点redX[x]，其中x＝0..boundarySize–1推导如下：
–如果boundarySize小于upsBdrySize nTbX，则以下适用：
bDwn＝upsBdrySize nTbX/boundarySize (8-X32)
等式8-X33中的项upsBdryX被删除。
–否则(boundarySize等于upsBdrySize nTbX)，redX[x]设置为等于upsBdryX[x]refX[x]。
5.4一个示例
在ALWIP的上采样过程中，在不同的滤波阶段推导具有不同精度的预测样点。
以下实施例基于采用的JVET-N0217-proposal-test-CE3-4.1_v2。
8.4.4.2.X4预测上采样过程的规范
该过程的输入为：
–变量predW，规定输入块宽度，
–变量predH，规定输入块高度，
–仿射线性加权样点predLwip[x][y]，其中x＝0..preDw 1，y＝0..predH–1，
–变量nTbW，规定变换块宽度，
–变量nTbH，规定变换块高度，
–变量upsBdryW，规定上采样边界宽度，
–变量upsBdryH，规定上采样边界高度，
–顶部上采样边界样点upsBdryT[x]，其中x＝0..upsBdryW–1，
–左侧上采样边界样点upsBdryL[x]，其中x＝0..upsBdryH–1。
该过程的输出是预测样点predSamples[x][y],其中x＝0..nTbW-1,y＝0..nTbH-1。
如下从predLwip[x][y]中推导稀疏预测样点predSamples[m][n]，其中，x＝0..predW-1,y＝0..predH–1：
upHor＝nTbW/predW (8-X34)
upVer＝nTbH/predH (8-X35)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝
predLwip[x][y] (8-X36)
如下将顶部边界样点upsBdryT[x]分配给predSamples[m][-1]，其中，x＝0..upsBdryW–1：
predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝
upsBdryT[x] (8-X37)
如下将左侧边界样点upsBdryL[y]分配给predSamples[-1][n]，其中，y＝0..upsBdryH–1：
predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝
upsBdryL[y] (8-X38)
预测样点predSamples[x][y]，其中x＝0..nTbW 1，y＝0..nTbH–1推导如下：
–如果nTbH大于nTbW，则适用以下有序步骤：
1.当upHor大于1时，如下以dX＝1..upHor–1对所有稀疏位置(xHor,yHor)＝(m*upHor–1,n*upVer–1)应用水平上采样，其中m＝0..predW-1，n＝1..predH：
predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor])/upHor(8-X39)
2.如下以dY＝1..upVer-1对所有稀疏位置(xVer,yVer)＝(m,n*upVer–1)应用垂直上采样，其中m＝0..nTbW-1，n＝0..predH-1：
如果yVer等于-1，则predSamples[xVer][yVer]＝predSamples[xVer][yVer]<<log2(upHor)predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer])/upVer+(1<<(log2(upHor)+log2(upVer)-1)))>>(log2(upHor)+log2(upVer))(8-X40)
–否则，以下有序步骤适用：
1.当upVer大于1时，如(8-X40)(8-X41)规定的以dY＝1..upVer-1对所有稀疏位置(xVer,yVer)＝(m*upHor–1,n*upVer–1)应用垂直上采样，其中m＝1..predW，n＝0..predH-1。
predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]) (8-X41)
2.如下如(8-X39)中规定的以dX＝1..upHor–1对所有稀疏位置(xHor,yHor)＝(m*upHor–1,n)应用水平上采样，其中m＝0..predW-1，n＝1..predH–1。
如果xHor等于–1，则predSamples[xHor][yHor]＝predSamples[xHor][yHor]<<log2(upVer)predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+(1<<(log2(upHor)+log2(upVer)-1)))>>(log2(upHor)+log2(upVer)) (8-X42)
5.5对应于项目符号40的示例
假设块维度为W×H。其中x＝Sx,Sx+Kx,Sx+2Kx,Sx+3Kx,…,y＝Sy,Sy+Ky,Sy+2Ky,Sy+3Ky…的样点P(x，y)被输入到上采样过程，以推导x＝0,1,2…W-1，y＝0,1,2,…H-1的上采样样点S(x，y)。Kx和Ky分别是沿水平和垂直方向的步长尺寸。(Sx，Sy)是起始位置。
假设1-D上采样在第一阶段水平地进行，并且1-D上采样在第二阶段垂直地进行。
在一个示例中，第一阶段中的没有右移的输出结果可以推导为
S’(Sx+Kx-1,Sy)＝F1*P(Sx,Sy)+F2*P(Sx+Kx,Sy)
S’(Sx+Kx-1,Sy+Ky)＝F1*P(Sx,Sy+Ky)+F2*P(Sx+Kx,Sy+Ky)
F1、F2是2抽头滤波器的系数，并且F1+F2＝2N。
那么第二阶段的输出结果可以推导为
S’(Sx+Kx-1,Sy+1)＝F3*S’(Sx+Kx-1,Sy)+F4*S’(Sx+Kx-1,Sy+Ky)
F3，F4是2抽头滤波器的系数，并且F3+F4＝2N。
那么最终的上采样样点值可以推导为：
S(Sx+Kx-1,Sy+1)＝Shift(S’(Sx+Kx-1,Sy+1),2N)；
S(Sx+Kx-1,Sy)＝Shift(S’(Sx+Kx-1,Sy),N)；
S(Sx+Kx-1,Sy+Ky)＝Shift(S’(Sx+Kx-1,Sy+Ky),N)；
上面描述的示例可以结合在下面描述的方法的上下文中，例如方法1100-1400和2100-2300，其可以在视频编码器和/或解码器处实施。
图11示出了用于视频处理的示例性方法的流程图。方法1100包括，在步骤1110，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码。
方法1100包括，在步骤1120，基于该确定，基于非ALWIP帧内模式的最可能模式(MPM)列表的至少一部分来构建ALWIP模式的MPM列表的至少一部分。
方法1100包括，在步骤1130，基于ALWIP模式的MPM列表，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，ALWIP模式的MPM列表的尺寸与非ALWIP帧内模式的MPM列表的尺寸相同。在示例中，ALWIP模式的MPM列表的尺寸为6。
在一些实施例中，方法1100还包括将默认模式插入ALWIP模式的MPM列表的步骤。在示例中，默认模式被插入到ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分之前。在另一示例中，默认模式被插入到ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分之后。在又一示例中，默认模式以与ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分交织的方式被插入。
在一些实施例中，构建ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于一个或多个邻近块。
在一些实施例中，构建ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于当前视频块的高度或宽度。
在一些实施例中，构建ALWIP模式的MPM列表是基于第一参数集合，其中该第一参数集合不同于用于构建非ALWIP帧内模式的MPM列表的第二参数集合。
在一些实施例中，方法1100还包括以下步骤：确定当前视频块的邻近块已经以ALWIP模式进行编解码，以及在构建非ALWIP帧内模式的MPM列表时，将邻近块指定为不可用。
在一些实施例中，方法1100还包括以下步骤：确定当前视频块的邻近块已经以非ALWIP帧内模式进行编解码，以及在构建ALWIP模式的MPM列表时，将邻近块指定为不可用。
在一些实施例中，非ALWIP帧内模式基于正常帧内模式、多参考线(MRL)帧内预测模式或帧内子分割(ISP)工具。
图12示出了用于视频处理的示例性方法的流程图。方法1200包括，在步骤1210，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块的亮度分量进行编解码。
方法1200包括，在步骤1220，基于该确定来推断色度帧内模式。
方法1200包括，在步骤1230，基于色度帧内模式，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，亮度分量覆盖色度分量的预定色度样点。在示例中，预定色度样点是色度分量的左上方样点或中心样点。
在一些实施例中，推断的色度帧内模式是DM模式。
在一些实施例中，推断的色度帧内模式是ALWIP模式。
在一些实施例中，ALWIP模式被应用于当前视频块的一个或多个色度分量。
在一些实施例中，ALWIP模式的不同矩阵或偏置矢量被应用于当前视频块的不同色彩分量。在示例中，不同的矩阵或偏置矢量针对Cb和Cr分量联合预定义。在另一示例中，Cb和Cr分量被级联。在又一示例中，Cb和Cr分量被交织。
图13示出了用于视频处理的示例性方法的流程图。方法1300包括，在步骤1310，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码。
方法1300包括，在步骤1320，基于该确定，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，该确定是基于序列参数集(SPS)、图片参数集(PPS)、条带头、片组头、片头、编解码树单元(CTU)行或CTU区域中的信令通知。
在一些实施例中，该确定是基于当前视频块的高度(H)或宽度(W)。在示例中，W>T1或H>T2。在另一示例中，W≥T1或H≥T2。在又一示例中，W<T1或H<T2。在又一示例中，W≤T1或H≤T2。在又一示例中，T1＝32且T2＝32。
在一些实施例中，该确定是基于当前视频块的高度(H)或宽度(W)。在示例中，W+H≤T。在另一示例中，W+H≥T。在又一示例中，W×H≤T。在又一示例中，W×H≥T。在又一示例中，T＝256。
图14示出了用于视频处理的示例性方法的流程图。方法1400包括，在步骤1410，确定使用不同于仿射线性加权帧内预测(ALWIP)模式的编解码模式对当前视频块进行编解码。
方法1400包括，在步骤1420，基于该确定，执行当前视频块和当前视频块的比特流表示之间的转换。
在一些实施例中，编解码模式是组合帧内和帧间预测(Combined Intra andInter Prediction，CIIP)模式，并且方法1400还包括执行ALWIP模式和正常帧内预测模式之间的选择的步骤。在示例中，执行选择是基于当前视频块的比特流表示中的显式信令通知。在另一示例中，执行选择是基于预定规则。在又一示例中，当使用CIIP模式对当前视频块进行编解码时，预定规则总是选择ALWIP模式。在又一示例中，当使用CIIP模式对当前视频块进行编解码时，预定规则总是选择正常帧内预测模式。
在一些实施例中，编解码模式是跨分量线性模型(CCLM)预测模式。在示例中，ALWIP模式的下采样过程基于CCLM预测模式的下采样过程。在另一示例中，ALWIP模式的下采样过程基于第一参数集合，并且其中CCLM预测模式的下采样过程基于不同于第一参数集合的第二参数集合。在又一示例中，ALWIP模式或CCLM预测模式的下采样过程包括下采样位置的选择、下采样滤波器的选择、取整操作或裁剪操作中的至少一个。
在一些实施例中，方法1400还包括应用简化二次变换(RST)、二次变换、旋转变换或不可分二次变换(NSST)中的一个或多个的步骤。
在一些实施例中，方法1400还包括应用基于块的差分脉冲编解码调制(Differential Pulse Coded Modulation，DPCM)或残差DPCM的步骤。
在一些实施例中，一种视频处理方法包括，基于当前视频块的规则，确定指示在当前视频块和当前视频块的比特流表示之间的转换期间使用仿射线性加权帧内预测(ALWIP)模式的标志的上下文，基于ALWIP模式，预测当前视频块的多个子块，以及基于该预测，执行当前视频块和当前视频块的比特流表示之间的转换。该规则可以使用先验技术隐式地指定，或者可以在编解码比特流中被信令通知。该方法的其他示例和方面在第4节的第37和38项中进一步描述。
在一些实施例中，一种视频处理方法包括，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，以及在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波阶段，其中，至少两个滤波阶段中的第一滤波阶段中的样点的第一精度不同于至少两个滤波阶段中的第二滤波阶段中的样点的第二精度。
在示例中，当前视频块的样点是预测样点、上采样过程之前的中间样点或上采样过程之后的中间样点。在另一示例中，在第一滤波阶段中，在第一维度上水平地对样点进行上采样，并且其中在第二滤波阶段中，在第二维度上垂直地对样点进行上采样。在又一示例中，在第一滤波阶段中，在第一维度上垂直地对样点进行上采样，并且其中在第二滤波阶段中，在第二维度上水平地对样点进行上采样。
在示例中，第一滤波阶段的输出被右移或被除，以生成经处理的输出，并且其中经处理的输出是第二滤波阶段的输入。在另一示例中，第一滤波阶段的输出被左移或被乘，以生成经处理的输出，并且其中经处理的输出是第二滤波阶段的输入。该方法的其他示例和方面在第4节的第40项中进一步描述。
如在第4节的第41至43项中进一步描述的，一种视频处理方法包括，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波阶段，其中，对于执行垂直上采样和水平上采样两者的情况，上采样过程以固定顺序被执行。如在第4节的第41至43项中进一步描述的，另一种方法包括，确定使用仿射线性加权帧内预测(ALWIP)模式对当前视频块进行编解码，在当前视频块和当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波阶段，其中，该转换包括在上采样过程之前执行转置操作。
第4节的第41至43项描述了上述方法的附加特征。
6所公开的技术的示例实施方式
图15是视频处理装置1500的框图。装置1500可以用于实施本文描述的一种或多种方法。装置1500可以体现在智能手机、平板电脑、计算机、物联网接收器(IoT)等中。装置1500可以包括一个或多个处理器1502、一个或多个存储器1504和视频处理硬件1506。(多个)处理器1502可以被配置成实施本文档中描述的一种或多种方法(包括但不限于方法1100至1400和2100至2300)。(多个)存储器1504可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1506可以用于在硬件电路系统中实施本文档中描述的一些技术。
在一些实施例中，视频编解码方法可以使用如参考图15所述的在硬件平台上实施的装置来实施。
所公开的技术的一些实施例包括做出启用视频处理工具或模式的决定或确定。在一个示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实施该工具或模式，但是不一定基于该工具或模式的使用来修改结果比特流。也就是说，从视频块到视频的比特流表示的转换将使用当视频处理工具或模式基于决定或确定被启用时的视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理比特流。也就是说，将使用基于决定或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决定或确定。在一个示例中，当视频处理工具或模式被禁用时，编码器将不会在视频块到视频的比特流表示的转换中使用该工具或模式。在另一个示例中，当视频处理工具或模式被禁用时，解码器将在知道比特流没有被使用基于决定或确定而被禁用的视频处理工具或模式修改的情况下处理比特流。
图17是示出可以利用本公开的技术的示例视频编解码系统100的框图。如图17所示，视频编解码系统100可以包括源设备110和目标设备120。源设备110生成可被称为视频编码设备的编码视频数据。目标设备120可以解码由源设备110生成的编码视频数据，源设备110可以被称为视频解码设备。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备的源、从视频内容提供商接收视频数据的接口、和/或为生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接传输到目标设备120。编码的视频数据也可以存储在存储介质/服务器130b上，以供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以解码编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成，或者可以在目标设备120的外部，目标设备120被配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其他当前和/或进一步的标准。
图18是示出视频编码器200的示例的框图，视频编码器200可以是图17所示的系统100中的视频编码器114。
视频编码器200可以被配置成执行本公开的任何或所有技术。在图18的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、可以包括模式选择单元203的预测单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重建单元212、缓冲区213和熵编码单元214。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(intra block copy，IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。
此外，诸如运动估计单元204和运动补偿单元205的一些组件可以是高度集成的，但是为了解释的目的，在图18的示例中单独表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以例如基于误差结果选择帧内或帧间编解码模式之一，并将所得的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据，并提供给重建单元212以重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲区213的除了与当前视频块相关联的图片之外的图片的解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带中、P条带中还是在B条带中。
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成指示包含参考视频块的列表0或列表1中的参考图片的参考索引和指示当前视频块和参考视频块之间的空间位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以为当前视频块的参考视频块搜索列表0中的参考图片，并且还可以为当前视频块的另一个参考视频块搜索列表1中的参考图片。运动估计单元204然后可以生成指示包含参考视频块的列表0和列表1中的参考图片的参考索引以及指示参考视频块和当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集，用于解码器的解码处理。
在一些示例中，运动估计单元204可能不输出当前视频的完整的运动信息集。相反，运动估计单元204可以参考另一视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示一个值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。
在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差值(MVD)。运动矢量差值指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差值。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差值来确定当前视频块的运动矢量。
如上所讨论的，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(advanced motionvector predication，AMVP)和Merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号表示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
在其他示例中，例如在跳过模式下，当前视频块可能没有当前视频块的残差数据，并且残差生成单元207可能不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(quantization parameter，QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到由预测单元202生成的一个或多个预测视频块的相应样点，以产生与当前块相关联的重建视频块，用于存储在缓冲区213中。
在重建单元212重建视频块之后，可以执行环路滤波操作来减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据，并输出包括熵编码数据的比特流。
图19是示出视频解码器300的示例的框图，视频解码器300可以是图17所示的系统100中的视频解码器114。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图19的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图19的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重建单元306和缓冲区307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图18)描述的编码过程相反的解码过程。
熵解码单元301可以获取编码比特流。编码比特流可以包括熵编解码的视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编解码的视频数据，并且根据熵解码的视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块，可能基于插值滤波器执行插值。要以亚像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可以使用视频编码器20在视频块编码期间使用的插值滤波器来计算参考块的亚整数像素的插值。运动补偿单元302可以根据接收的语法信息确定视频编码器200使用的插值滤波器，并使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编解码块的一个或多个参考帧(和参考帧列表)以及对编码视频序列进行解码的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化，即，解量化。逆变换单元303应用逆变换。
重建单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的相应预测块相加，以形成解码块。如果需要，还可以应用去方块滤波器来滤波解码的块，以便去除块效应伪像(blockiness artifacts)。解码的视频块然后被存储在缓冲区307中，缓冲区307为随后的运动补偿/帧内预测提供参考块，并且还产生解码的视频以在显示设备上呈现。
图20是示出其中可以实施本文公开的各种技术的示例视频处理系统2000的框图。各种实施方式可以包括系统2000的一些或全部组件。系统2000可以包括用于接收视频内容的输入2002。视频内容可以以原始或未压缩格式接收，例如8或10比特多分量像素值，或者可以以压缩或编码格式接收。输入2002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(Passive Optical Network，PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统2000可以包括编解码组件2004，其可以实施本文档中描述的各种编解码或编码方法。编解码组件2004可以降低从输入2002到编解码组件2004的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件2004的输出可以被存储，或者经由连接的通信(如由组件2006表示的)传输。组件2008可以使用存储的或在输入2002处接收的视频的通信传送的比特流(或编解码)表示来生成发送到显示接口2010的像素值或可显示视频。从比特流表示生成用户可观看的视频的过程有时被称为视频解压缩。此外，虽然特定视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且将由解码器来执行反转编解码结果的对应的解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型计算机、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
在一些实施例中，ALWIP模式或MIP模式用于通过对视频的先前编解码样点执行边界下采样操作(或求平均操作)、接着执行矩阵矢量乘法运算、并且选择性地(或可选地)接着执行上采样操作(或线性插值操作)，来计算当前视频块的预测块。在一些实施例中，ALWIP模式或MIP模式用于通过对视频的先前编解码样点执行边界下采样操作(或求平均操作)、并且接着执行矩阵矢量乘法运算来计算当前视频块的预测块。在一些实施例中，ALWIP模式或MIP模式也可以在执行矩阵矢量乘法运算之后执行上采样操作(或线性插值操作)。
图21示出了根据所公开的技术的基于矩阵的帧内预测的另一示例方法2100的流程图。操作2102包括，使用基于矩阵的帧内预测(MIP)模式来执行视频的当前视频块和当前视频块的比特流表示之间的转换，其中在该MIP模式下，当前视频块的预测块通过对视频的先前编解码样点执行边界下采样操作、接着执行矩阵矢量乘法运算、并且接着执行上采样操作来确定，其中，以固定顺序在垂直方向和水平方向上对从矩阵矢量乘法运算获得的样点执行上采样操作。
在方法2100的一些实施例中，固定顺序包括首先在水平方向上执行上采样操作、接着在垂直方向上执行上采样操作。在方法2100的一些实施例中，固定顺序包括首先在垂直方向上执行上采样操作、接着在水平方向上执行上采样操作。
图22示出了根据所公开的技术的基于矩阵的帧内预测的另一示例方法2200的流程图。操作2202包括，使用基于矩阵的帧内预测(MIP)模式来执行视频的当前视频块和当前视频块的比特流表示之间的转换，其中在该MIP模式下，当前视频块的预测块通过对视频的先前编解码样点执行边界下采样操作、接着执行矩阵矢量乘法运算、并且接着执行上采样操作来确定，其中，转换包括在上采样操作之前执行转置操作，其中，转置操作对通过执行边界下采样操作和矩阵矢量乘法运算而获得的预测块的第一样点集合进行转置，并且其中，转置操作根据预测块的维度来执行。
在方法2200的一些实施例中，转置操作对预测块的第一样点集合进行转置，并且转置操作将宽度为第一值且高度为第二值的预测块转换为宽度为第二值且高度为第一值的预测块。
在一些实施例中，方法2200还包括执行另一转置操作，其中该另一转置操作对在上采样操作之后获得的预测块的第二样点集合进行转置，其中，该另一转置操作将宽度为第二值且高度为第一值的预测块转换为宽度为第一值且高度为第二值的预测块。
图23示出了根据所公开的技术的基于矩阵的帧内预测的另一示例方法2300的流程图。操作2302包括，使用基于矩阵的帧内预测(MIP)模式来执行视频的当前视频块和当前视频块的比特流表示之间的转换，其中在该MIP模式下，当前视频块的预测块通过对视频的先前编解码样点执行边界下采样操作、接着执行矩阵矢量乘法运算、并且接着执行上采样操作来确定，其中，上采样操作通过根据规则选择和使用除了双线性滤波器的插值滤波器来执行。
在方法2300的一些实施例中，该规则指定插值滤波器是高斯滤波器。在方法2300的一些实施例中，该规则指定插值滤波器是三次滤波器。在方法2300的一些实施例中，高斯滤波器或三次滤波器是4抽头插值滤波器或6抽头插值滤波器或8抽头插值滤波器。在方法2300的一些实施例中，该规则指定插值滤波器用于对色度样点的运动补偿。在方法2300的一些实施例中，该规则指定插值滤波器用于对亮度样点的运动补偿。
在方法2300的一些实施例中，插值滤波器是6抽头插值滤波器或8抽头插值滤波器。在方法2300的一些实施例中，该规则指定基于当前视频块的维度来选择插值滤波器。在方法2300的一些实施例中，该规则指定基于由上采样操作使用的上采样比率来选择插值滤波器。在方法2300的一些实施例中，该规则指定基于预测模式或者MIP模式的MIP模式索引来选择插值滤波器。在方法2300的一些实施例中，该规则指定基于可用于上采样操作的样点的数量来选择插值滤波器。在方法2300的一些实施例中，该规则指定，响应于样点的数量等于一值，插值滤波器是4抽头插值滤波器。
在方法2300的一些实施例中，该值等于4。在方法2300的一些实施例中，该规则指定，响应于样点的数量等于一值，插值滤波器是4抽头插值滤波器或8抽头插值滤波器。在方法2300的一些实施例中，该值等于8。在方法2300的一些实施例中，样点的数量不包括邻近参考样点。在方法2300的一些实施例中，执行转换包括从当前视频块生成比特流表示。在方法2300的一些实施例中，执行转换包括从比特流表示生成当前视频块。
根据前述内容，可以理解的是，为了说明的目的，这里已经描述了当前公开的技术的具体实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，除了所附权利要求之外，当前公开的技术不受限制。
本专利文档中描述的主题和功能操作的实现可以在各种系统、数字电子电路或计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者它们中的一个或多个的组合。本说明书中描述的主题的实现可以被实现为一个或多个计算机程序产品，即，编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储设备、实现机器可读传播信号的物质组合或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适于在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在一台计算机或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并产生输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。一般来说，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合到一个或多个大容量存储设备，以从一个或多个大容量存储设备接收数据或向一个或多个大容量存储设备传送数据，或者两者都包括。然而，计算机不需要这样的设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如，EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或并入其中。
本说明书和附图仅被认为是示例性的，其中示例性意味着示例。如本文所用，“或”的使用旨在包括“和/或”，除非上下文另有明确指示。
尽管本专利文档包含许多细节，但这些细节不应被解释为对任何发明的范围或可能要求保护的内容的限制，而是对特定发明的特定实施例所特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，尽管特征可以在上面被描述为在某些组合中起作用，甚至最初也是这样要求保护的，但是在某些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，尽管在附图中以特定的顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序执行这些操作，或者执行所有示出的操作，以获得期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应该被理解为在所有实施例中需要这样的分离。
仅描述了几个实现和示例，并且可以基于本专利文档中描述和示出的内容进行其他实现、增强和变化。

Claims (20)

1.一种视频处理的方法，包括：
为视频的视频块和所述视频的比特流之间的转换，确定第一帧内模式被应用于所述视频的视频块，其中所述第一帧内模式包括矩阵矢量乘法运算、以及接着的上采样操作，以生成所述视频块的预测样点；以及
基于所述预测样点来执行所述转换；
其中，所述上采样操作包括水平上采样操作和垂直上采样操作，并且所述水平上采样操作和所述垂直上采样操作以固定顺序被执行，
其中，所述预测样点根据所述水平上采样操作中的((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor来确定，并且所述预测样点根据所述垂直上采样操作中的((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer来确定，
其中，upHor是所述视频块的宽度和基于所述视频块的尺寸的预定义值的函数，
其中，upVer是所述视频块的高度和基于所述视频块的尺寸的预定义值的函数，
其中，offsetHor和offsetVer是整数，
其中，dX为1…upHor-1，
其中，dY为1…upVer-1，并且
其中，xHor是基于upHor的位置，并且yHor是基于upVer的位置。
2.根据权利要求1所述的方法，其中，所述水平上采样操作在所述垂直上采样操作之前被执行。
3.根据权利要求2所述的方法，其中，所述视频块的宽度大于所述视频块的高度。
4.根据权利要求1所述的方法，其中，所述矩阵矢量乘法运算之后是所述上采样操作之前的转置操作。
5.根据权利要求4所述的方法，其中，所述转置操作将宽度为第一值且高度为第二值的样点块转换为宽度为第二值且高度为第一值的样点块，并且
其中，所述样点块通过执行所述矩阵矢量乘法运算来获得。
6.根据权利要求4所述的方法，其中，指示是否应用所述转置操作的第一语法元素被包括在所述比特流中。
7.根据权利要求1所述的方法，其中，所述矩阵矢量乘法运算的输入样点通过基于所述视频块的尺寸对所述视频块的边界参考样点执行下采样操作来获得。
8.根据权利要求1所述的方法，其中，指示是否应用所述第一帧内模式的第二语法元素被包括在所述比特流中。
9.根据权利要求1所述的方法，其中，所述转换包括将所述视频块编码为所述比特流。
10.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述视频块。
11.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：
为视频的视频块和所述视频的比特流之间的转换，确定第一帧内模式被应用于所述视频的视频块，其中所述第一帧内模式包括矩阵矢量乘法运算、以及接着的上采样操作，以生成所述视频块的预测样点；以及
基于所述预测样点来执行所述转换；
其中，所述上采样操作包括水平上采样操作和垂直上采样操作，并且所述水平上采样操作和所述垂直上采样操作以固定顺序被执行，
其中，所述预测样点根据所述水平上采样操作中的((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor来确定，并且所述预测样点根据所述垂直上采样操作中的((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer来确定，
其中，upHor是所述视频块的宽度和基于所述视频块的尺寸的预定义值的函数，
其中，upVer是所述视频块的高度和基于所述视频块的尺寸的预定义值的函数，
其中，offsetHor和offsetVer是整数，
其中，dX为1…upHor-1，
其中，dY为1…upVer-1，并且
其中，xHor是基于upHor的位置，并且yHor是基于upVer的位置。
12.根据权利要求11所述的装置，其中，所述水平上采样操作在所述垂直上采样操作之前被执行。
13.根据权利要求12所述的装置，其中，所述视频块的宽度大于所述视频块的高度。
14.根据权利要求11所述的装置，其中，所述矩阵矢量乘法运算之后是所述上采样操作之前的转置操作。
15.根据权利要求14所述的装置，其中，所述转置操作将宽度为第一值且高度为第二值的样点块转换为宽度为第二值且高度为第一值的样点块，并且
其中，所述样点块通过执行所述矩阵矢量乘法运算来获得。
16.根据权利要求11所述的装置，其中，所述矩阵矢量乘法运算的输入样点通过基于所述视频块的尺寸对所述视频块的边界参考样点执行下采样操作来获得。
17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
为视频的视频块和所述视频的比特流之间的转换，确定第一帧内模式被应用于所述视频的视频块，其中所述第一帧内模式包括矩阵矢量乘法运算、以及接着的上采样操作，以生成所述视频块的预测样点；以及
基于所述预测样点来执行所述转换；
其中，所述上采样操作包括水平上采样操作和垂直上采样操作，并且所述水平上采样操作和所述垂直上采样操作以固定顺序被执行，
其中，所述预测样点根据所述水平上采样操作中的((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor来确定，并且所述预测样点根据所述垂直上采样操作中的((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer来确定，
其中，upHor是所述视频块的宽度和基于所述视频块的尺寸的预定义值的函数，
其中，upVer是所述视频块的高度和基于所述视频块的尺寸的预定义值的函数，
其中，offsetHor和offsetVer是整数，
其中，dX为1…upHor-1，
其中，dY为1…upVer-1，并且
其中，xHor是基于upHor的位置，并且yHor是基于upVer的位置。
18.一种用于存储视频的比特流的方法，包括：
确定第一帧内模式被应用于所述视频的视频块，其中所述第一帧内模式包括矩阵矢量乘法运算、以及接着的上采样操作，以生成所述视频块的预测样点；
基于所述确定来生成所述比特流；以及
将所述比特流存储在非暂时性计算机可读记录介质中，
其中，所述上采样操作包括水平上采样操作和垂直上采样操作，并且所述水平上采样操作和所述垂直上采样操作以固定顺序被执行，
其中，所述预测样点根据所述水平上采样操作中的((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor来确定，并且所述预测样点根据所述垂直上采样操作中的((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer来确定，
其中，upHor是所述视频块的宽度和基于所述视频块的尺寸的预定义值的函数，
其中，upVer是所述视频块的高度和基于所述视频块的尺寸的预定义值的函数，
其中，offsetHor和offsetVer是整数，
其中，dX为1…upHor-1，
其中，dY为1…upVer-1，并且
其中，xHor是基于upHor的位置，并且yHor是基于upVer的位置。
19.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器实施根据权利要求6、8-10、18中任一项所述的方法。
20.一种存储有代码的计算机可读介质，其中所述代码在由处理器执行时使得所述处理器执行根据权利要求2-10、18中任一项所述的方法。
CN202080038091.1A 2019-05-22 2020-05-21 使用上采样的基于矩阵的帧内预测 Active CN113875233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311474234.5A CN117412039A (zh) 2019-05-22 2020-05-21 使用上采样的基于矩阵的帧内预测

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019087987 2019-05-22
CNPCT/CN2019/087987 2019-05-22
PCT/CN2020/091542 WO2020233663A1 (en) 2019-05-22 2020-05-21 Matrix-based intra prediction using upsampling

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311474234.5A Division CN117412039A (zh) 2019-05-22 2020-05-21 使用上采样的基于矩阵的帧内预测

Publications (2)

Publication Number Publication Date
CN113875233A CN113875233A (zh) 2021-12-31
CN113875233B true CN113875233B (zh) 2023-12-15

Family

ID=73458288

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080038091.1A Active CN113875233B (zh) 2019-05-22 2020-05-21 使用上采样的基于矩阵的帧内预测
CN202311474234.5A Pending CN117412039A (zh) 2019-05-22 2020-05-21 使用上采样的基于矩阵的帧内预测

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311474234.5A Pending CN117412039A (zh) 2019-05-22 2020-05-21 使用上采样的基于矩阵的帧内预测

Country Status (8)

Country Link
US (2) US11659185B2 (zh)
EP (1) EP3954115A4 (zh)
JP (1) JP2022533190A (zh)
KR (1) KR20220011127A (zh)
CN (2) CN113875233B (zh)
BR (1) BR112021022868A2 (zh)
SG (1) SG11202112517QA (zh)
WO (1) WO2020233663A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207492A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Interaction between matrix-based intra prediction and other coding tools
EP3939270A4 (en) 2019-04-16 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. MATRIX DERIVATION IN AN INTRA CODING MODE
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
CN117241018A (zh) 2019-05-01 2023-12-15 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
KR20220011127A (ko) 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
JP2022535726A (ja) * 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN113950836B (zh) 2019-06-05 2024-01-12 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
WO2020251469A1 (en) * 2019-06-14 2020-12-17 Telefonaktiebolaget Lm Ericsson (Publ) Sample value clipping on mip reduced prediction
EP3984229A4 (en) 2019-06-14 2022-07-06 Telefonaktiebolaget Lm Ericsson (Publ) SIMPLIFIED SUB-SAMPLING FOR MATRIX-BASED INTRA PREDICTION
KR20220082847A (ko) 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
US20210192019A1 (en) * 2019-12-18 2021-06-24 Booz Allen Hamilton Inc. System and method for digital steganography purification
US20220337875A1 (en) * 2021-04-16 2022-10-20 Tencent America LLC Low memory design for multiple reference line selection scheme

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464866A (zh) * 2014-05-29 2017-02-22 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
CN106664416A (zh) * 2014-07-06 2017-05-10 Lg电子株式会社 处理视频信号的方法及其装置
CN107633538A (zh) * 2016-07-18 2018-01-26 想象技术有限公司 Mip映射压缩
WO2018128417A1 (ko) * 2017-01-04 2018-07-12 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
JP2018537898A (ja) * 2015-11-02 2018-12-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像の、ｃｒｃコードを含むレイヤ表現および配信
CN109691099A (zh) * 2016-09-13 2019-04-26 韩国电子通信研究院 视频编码/解码方法和装置以及在其中存储比特流的记录介质
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100323676B1 (ko) 2000-01-27 2002-02-07 구자홍 디지털 동영상 수신 장치
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
CN100461867C (zh) 2004-12-02 2009-02-11 中国科学院计算技术研究所 一种帧内图像预测编码方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
KR101365575B1 (ko) 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
CN101848383A (zh) 2009-03-24 2010-09-29 虹软（上海）科技有限公司 对mpeg2格式视频进行降采样解码的方法
US20100246675A1 (en) 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
WO2010143583A1 (ja) 2009-06-09 2010-12-16 ソニー株式会社 画像処理装置および方法
CN101646081A (zh) 2009-06-18 2010-02-10 杭州高特信息技术有限公司 一种avs快速帧内预测方法及装置
CN102045560B (zh) 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
KR20110045949A (ko) 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR101500914B1 (ko) 2010-04-09 2015-03-10 미쓰비시덴키 가부시키가이샤 동화상 복호 장치
JP5544996B2 (ja) 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
CN102377993B (zh) 2010-08-05 2014-09-03 富士通株式会社 帧内预测模式选择方法和系统
US8885701B2 (en) 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US8923395B2 (en) 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
CN101977316B (zh) * 2010-10-27 2012-07-25 无锡中星微电子有限公司 一种可伸缩编码方法
US9167252B2 (en) 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
US9462272B2 (en) * 2010-12-13 2016-10-04 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
WO2012092761A1 (en) 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and apparatus for improved intra prediction mode coding
US8861593B2 (en) 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
JP2012238927A (ja) 2011-05-09 2012-12-06 Sony Corp 画像処理装置及び画像処理方法
WO2012172779A1 (en) 2011-06-13 2012-12-20 Panasonic Corporation Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix
CN102427530B (zh) 2011-10-11 2013-10-23 北京工业大学 帧内预测方法
HUE049148T2 (hu) 2012-02-29 2020-09-28 Sony Corp Képfeldolgozó eszköz és képfeldolgozási eljárás
WO2013154028A1 (ja) 2012-04-13 2013-10-17 ソニー株式会社 画像処理装置および方法
CN104919798B (zh) 2012-04-16 2018-12-14 华为技术有限公司 量化矩阵编码的方法和装置
US9277211B2 (en) 2012-04-20 2016-03-01 Futurewei Technologies, Inc. Binarization scheme for intra prediction residuals and improved intra prediction in lossless coding in HEVC
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
US10218971B2 (en) * 2012-09-28 2019-02-26 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
WO2014171713A1 (ko) 2013-04-15 2014-10-23 인텔렉추얼 디스커버리 주식회사 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2015048176A1 (en) 2013-09-24 2015-04-02 Vid Scale, Inc. Inter-layer prediction for scalable video coding
KR102250092B1 (ko) * 2013-10-14 2021-05-10 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US10110910B2 (en) 2013-10-21 2018-10-23 Vid Scale, Inc. Parallel decoding method for layered video coding
WO2015089352A1 (en) 2013-12-13 2015-06-18 Vid Scale, Inc Color gamut scalable video coding device and method for the phase alignment of luma and chroma using interpolation
US11109044B2 (en) 2014-01-02 2021-08-31 Interdigital Madison Patent Holdings, Sas Color space conversion
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
TWI511530B (zh) 2014-12-09 2015-12-01 Univ Nat Kaohsiung 1St Univ Sc Distributed video coding system and decoder for distributed video coding system
US10097839B2 (en) 2014-12-19 2018-10-09 Qualcomm Incorporated Palette mode for subsampling format
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN115134608A (zh) 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US10681380B2 (en) 2015-06-12 2020-06-09 Panasonic Intellectual Property Management Co., Ltd. Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus
KR20180008797A (ko) 2015-06-15 2018-01-24 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20160373770A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373742A1 (en) 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373782A1 (en) 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10142627B2 (en) 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US11477484B2 (en) 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
KR102291835B1 (ko) 2015-07-08 2021-08-23 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 교차 평면 필터링을 이용한 향상된 크로마 코딩
EP3329679A1 (en) 2015-07-28 2018-06-06 VID SCALE, Inc. High dynamic range video coding architectures with multiple operating modes
US10491922B2 (en) 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10750167B2 (en) 2015-10-22 2020-08-18 Lg Electronics, Inc. Intra-prediction method and apparatus in video coding system
US10200719B2 (en) 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
ES2711189R1 (es) 2016-04-06 2020-02-04 Kt Corp Metodo y aparato para procesar senales de video
WO2017192898A1 (en) 2016-05-05 2017-11-09 Vid Scale, Inc. Control-point based intra direction representation for intra coding
KR20180136555A (ko) 2016-06-03 2018-12-24 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US10484712B2 (en) 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US20170374369A1 (en) 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
CN109479129B (zh) 2016-07-18 2023-07-11 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US20200045322A1 (en) 2016-10-04 2020-02-06 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
KR20180046876A (ko) 2016-10-28 2018-05-09 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018208349A1 (en) 2017-05-09 2018-11-15 Google Llc Directional intra-prediction coding
US10951908B2 (en) 2017-05-24 2021-03-16 Lg Electronics Inc. Method and device for decoding image according to intra prediction in image coding system
CN117041540A (zh) 2017-06-21 2023-11-10 Lg 电子株式会社 在图像编译系统中根据帧内预测用于解码图像的方法和设备
CN116866607A (zh) 2017-07-06 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
CN109302608B (zh) * 2017-07-25 2021-06-22 华为技术有限公司 图像处理方法、设备及系统
WO2019022099A1 (ja) 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11172203B2 (en) 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
WO2019050385A2 (ko) 2017-09-07 2019-03-14 엘지전자 주식회사 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
MX2020008499A (es) 2018-02-14 2020-09-25 Dolby Laboratories Licensing Corp Reconfiguracion de imagenes en codificacion de video usando la optimizacion de tasa-distorsion.
CN111819845A (zh) 2018-03-08 2020-10-23 三星电子株式会社 视频解码方法和装置以及视频编码方法和装置
KR20200028856A (ko) 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
MX2021002931A (es) 2018-09-13 2021-07-16 Fraunhofer Ges Forschung Intrapredicciones ponderadas lineales afines.
CN116320397A (zh) 2018-09-21 2023-06-23 Oppo广东移动通信有限公司 视频信号编码/解码方法以及用于所述方法的设备
CN117880501A (zh) 2018-10-07 2024-04-12 三星电子株式会社 用于编码或解码视频信号的视频信号处理方法和设备
JP7391958B2 (ja) 2018-11-08 2023-12-05 オッポ広東移動通信有限公司 ビデオ信号符号化／復号方法及び前記方法に用いられる機器
KR20210103539A (ko) 2018-12-20 2021-08-23 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인접 샘플 감소에 의해 선형 또는 아핀 변환을 사용하는 인트라 예측
US11445203B2 (en) 2019-01-04 2022-09-13 Qualcomm Incorporated Sub-partition intra prediction in video coding
CN112425160B (zh) 2019-02-26 2023-05-12 苹果公司 用于对视频信号进行编码/解码的方法及其设备
US11711534B2 (en) * 2019-02-28 2023-07-25 Apple Inc. Method for encoding/decoding image signal, and device therefor
US11418811B2 (en) 2019-03-12 2022-08-16 Apple Inc. Method for encoding/decoding image signal, and device therefor
US11134257B2 (en) 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode
WO2020207492A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Interaction between matrix-based intra prediction and other coding tools
EP3939270A4 (en) 2019-04-16 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. MATRIX DERIVATION IN AN INTRA CODING MODE
WO2020211776A1 (en) 2019-04-16 2020-10-22 Mediatek Inc. Methods and apparatuses for coding video data with adaptive secondary transform signaling
WO2020218793A1 (ko) 2019-04-20 2020-10-29 엘지전자 주식회사 Bdpcm에 기반한 영상 코딩 방법 및 그 장치
US11381808B2 (en) 2019-04-25 2022-07-05 Hfi Innovation Inc. Method and apparatus of matrix based intra prediction in image and video processing
CN113748677A (zh) 2019-04-27 2021-12-03 华为技术有限公司 编码器、解码器及对应的帧内预测方法
KR20210148321A (ko) 2019-04-27 2021-12-07 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
CN117241018A (zh) 2019-05-01 2023-12-15 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
US11363284B2 (en) 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
US11284093B2 (en) 2019-05-09 2022-03-22 Qualcomm Incorporated Affine linear weighted intra prediction in video coding
US11277637B2 (en) 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
TWI771679B (zh) * 2019-05-10 2022-07-21 弗勞恩霍夫爾協會 以區塊為基礎之預測技術
KR20220011127A (ko) 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN114009043A (zh) 2019-06-03 2022-02-01 Lg电子株式会社 基于矩阵的帧内预测装置和方法
CN113950836B (zh) 2019-06-05 2024-01-12 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
US11197025B2 (en) 2019-06-21 2021-12-07 Qualcomm Incorporated Signaling of matrix intra prediction parameters in video coding
RU2767323C1 (ru) 2019-06-25 2022-03-17 Гуандун Оппо Мобайл Телекоммьюникейшнз Корп., Лтд. Способ преобразования, кодировщик, декодер и компьютерный носитель данных
WO2021006612A1 (ko) 2019-07-08 2021-01-14 현대자동차주식회사 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
CN110708559B (zh) 2019-09-03 2022-03-25 北京达佳互联信息技术有限公司 图像处理方法、装置及存储介质
US20210092405A1 (en) 2019-09-19 2021-03-25 Qualcomm Incorporated Matrix combination for matrix-weighted intra prediction in video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464866A (zh) * 2014-05-29 2017-02-22 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
CN106664416A (zh) * 2014-07-06 2017-05-10 Lg电子株式会社 处理视频信号的方法及其装置
JP2018537898A (ja) * 2015-11-02 2018-12-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像の、ｃｒｃコードを含むレイヤ表現および配信
CN107633538A (zh) * 2016-07-18 2018-01-26 想象技术有限公司 Mip映射压缩
CN109691099A (zh) * 2016-09-13 2019-04-26 韩国电子通信研究院 视频编码/解码方法和装置以及在其中存储比特流的记录介质
WO2018128417A1 (ko) * 2017-01-04 2018-07-12 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2);Jonathan Pfaff;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19–27 March 2019;4-7 *

Also Published As

Publication number Publication date
KR20220011127A (ko) 2022-01-27
US20220007029A1 (en) 2022-01-06
CN113875233A (zh) 2021-12-31
EP3954115A4 (en) 2023-04-19
WO2020233663A1 (en) 2020-11-26
SG11202112517QA (en) 2021-12-30
US20230132613A1 (en) 2023-05-04
EP3954115A1 (en) 2022-02-16
CN117412039A (zh) 2024-01-16
US11659185B2 (en) 2023-05-23
JP2022533190A (ja) 2022-07-21
BR112021022868A2 (pt) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113661713B (zh) 根据基于矩阵的帧内预测的变换编码
CN113875233B (zh) 使用上采样的基于矩阵的帧内预测
CN113924775B (zh) 基于矩阵的帧内预测中的限制的上采样
CN113950836B (zh) 基于矩阵的帧内预测的上下文确定
CN113728647B (zh) 基于矩阵的帧内预测的上下文编码
CN113812150B (zh) 使用滤波的基于矩阵的帧内预测
WO2020211807A1 (en) Matrix derivation in intra coding mode
CN113678453B (zh) 基于矩阵的帧内预测的上下文确定
CN113748676B (zh) 帧内编解码模式下的矩阵推导

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant