CN114424567A - 使用基于矩阵的帧内预测进行组合的帧间-帧内预测的方法和装置 - Google Patents

使用基于矩阵的帧内预测进行组合的帧间-帧内预测的方法和装置 Download PDF

Info

Publication number
CN114424567A
CN114424567A CN202080065932.8A CN202080065932A CN114424567A CN 114424567 A CN114424567 A CN 114424567A CN 202080065932 A CN202080065932 A CN 202080065932A CN 114424567 A CN114424567 A CN 114424567A
Authority
CN
China
Prior art keywords
prediction
block
current block
intra
mip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080065932.8A
Other languages
English (en)
Other versions
CN114424567B (zh
Inventor
阿列克谢·康斯坦丁诺维奇·菲利波夫
瓦西里·亚历斯维奇·拉夫特斯基
伊蕾娜·亚历山德罗夫娜·阿尔希娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN114424567A publication Critical patent/CN114424567A/zh
Application granted granted Critical
Publication of CN114424567B publication Critical patent/CN114424567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种在视频译码中对当前块进行组合的帧间‑帧内预测的方法，其中，所述组合的帧间‑帧内预测用于提供预测块，可以微调用于获取所述预测块的帧内预测块和帧间预测块的权重。具体地，所述方法包括：确定与所述当前块相邻的相邻块的预测信息，其中，所述预测信息包括用于预测所述相邻块的预测模式；确定是否要使用基于矩阵的帧内预测(matrix‑based intra prediction，MIP)来预测所述当前块；将所述当前块预测为帧内预测块和帧间预测块的加权和，其中，所述帧间预测块和所述帧内预测块的权重根据所述相邻块的所述预测信息和所述确定是否要使用MIP来预测所述当前块进行确定。

Description

使用基于矩阵的帧内预测进行组合的帧间-帧内预测的方法 和装置
相关申请交叉引用
本专利申请要求于2019年9月24日提交的申请号为62/905,359的美国临时专利申请的优先权。上述专利申请的全部公开内容通过引用结合在本申请中。
技术领域
本申请(本发明)实施例大体上涉及图像处理领域，更具体地涉及组合的帧间-帧内预测。
背景技术
视频译码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、基于互联网和移动网络的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。
即使视频相对较短，也可能需要大量的视频数据来描述，当数据要在带宽容量受限的通信网络中流式传输或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能是一个问题。视频压缩设备通常在源侧使用软件和/或硬件对视频数据进行编码，然后传输或存储视频数据，从而减少表示数字视频图像所需的数据量。然后，对视频数据进行解码的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够在几乎不影响图像质量的情况下提高压缩比。
具体地，视频译码可以基于帧内预测和/或帧间预测。更具体地，可以使用组合的帧间-帧内预测，其中，通过预测块将当前块预测为帧间预测块和帧内预测块的加权和。然而，调整加权和的权重在本领域中受到很大限制，因此得到的预测块的精度可能不满足特定应用。因此，希望提高通过组合的帧间-帧内预测获得的预测块的精度。
发明内容
根据本申请实施例，提供了根据独立权利要求的用于译码(即编码或解码)的装置和方法。
上述和其它目的通过独立权利要求请求保护的主题来实现。其它实现方式在从属权利要求、说明书和附图中显而易见。
本发明提供了一种在视频译码中对当前块进行组合的帧间-帧内预测的方法。所述方法包括：
确定与所述当前块相邻的相邻块的预测信息，其中，所述预测信息包括用于预测所述相邻块的预测模式；
确定是否要使用基于矩阵的帧内预测(matrix-based intra prediction，MIP)来预测所述当前块；
将所述当前块预测为帧内预测块和帧间预测块的加权和，其中，所述帧间预测块和所述帧内预测块的权重根据所述相邻块的所述预测信息和所述确定是否要使用MIP来预测所述当前块进行确定。
因此，用于生成预测块的权重可以调整以适应预测信息，例如，包括关于相邻块使用的预测模式和为相邻块获取的信息以及是否要使用MIP的条件。因此，可以根据使用的预测模式非常灵活地微调权重。例如，是否已经使用组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式来预测相邻块可以得到确定并用于更好地确定帧内预测和帧间预测块的权重。具体地，可以使用CIIP模式来预测相邻块。因此，所述确定预测信息可以包括：确定所述用于预测所述相邻块的预测模式是组合的帧间-帧内预测(combinedinter-intra prediction，CIIP)模式。此外，所述预测信息可以包括帧间预测模式和帧内预测模式。通过考虑相邻块相比于现有技术的其它属性，可以在当前块的CIIP中选择更合适的帧内权重值和帧间权重值，从而获得更精确的预测块。例如，当确定要使用MIP来预测当前块时，可以确定帧内预测块的权重大于帧间预测块的权重。例如，当相邻块使用CIIP或使用MIP来预测相邻块时，帧内预测块的权重可以大于帧间预测块的权重。
具体地，根据相邻块的预测模式是帧间预测模式、CIIP模式还是帧内预测模式，将帧间预测块和帧内预测块的不同权重关联起来，可以更好地确定权重。换句话说，帧间预测块和帧内预测块的权重在考虑相邻块使用的预测模式的情况下进行确定，其中，相比于现有技术，更精确地区分不同预测模式(帧间预测、CIIP和帧内预测)可以更好地确定在当前块的预测中使用的权重。
根据一方面，所述方法还包括：确定与所述当前块相邻的n个其它相邻块的其它预测信息，其中，所述其它预测信息包括用于预测所述n个其它相邻块的预测模式，n是1和与所述当前块相邻的所有相邻块的数量减1之间的整数。在这种情况下，所述帧间预测块和所述帧内预测块的权重还根据所述其它预测信息进行确定。因此，可以更好地确定帧内预测块和帧间预测块的权重，获得更精确的预测块。
根据另一方面，所述帧内预测块通过预定义的帧内预测模式和/或通过选定的帧内预测模式来预测。类似地，所述帧间预测块可以通过预定义的帧间预测模式和/或通过选定的帧间预测模式来预测。因此，所述方法可以具体使用一种帧内预测模式和/或帧间预测模式，以降低当前块的CIIP的总体复杂度和信令负载；或者，为了增加CIIP的灵活性和可能的精度，原则上可以为提供的各种模式选择实际使用的帧内预测模式和/或帧间预测模式。
具体地，可以通过融合模式、运动估计和帧率上转换中的至少一种来预测帧间预测块，从而获得精确的预测结果。
如上所述，可以微调根据所述在视频编码中对当前块进行组合的帧间-帧内预测的方法的权重，以便获得精确的预测块。根据特定方面，所述帧间预测块和所述帧内预测块的权重取决于与所述当前块相邻的帧间预测相邻块的数量、与所述当前块相邻的帧内预测相邻块的数量或与所述当前块相邻的CIIP预测相邻块的数量中的至少一个。考虑相邻块的不同数量可以有助于适当地微调用于当前块的CIPP的权重。
例如，所述与所述当前块相邻的帧内预测相邻块的数量越多表示可以选择的在当前块的CIIP中使用的帧内预测块的权重越高，从而获得非常精确的预测结果。
根据另一示例，在当前块的CIIP中使用的帧间预测块的权重和所述帧内预测块的权重互补地确定。因此，可以微调在当前块的CIIP中使用的帧间预测块和帧间预测块的权重。
如上所述，在当前块的CIIP中使用的帧间预测块和帧间预测块的权重不仅根据一个或多个相邻块的属性进行确定，而且还取决于是否要使用MIP来预测当前块的确定结果。通过检查相邻块的条件，可以很容易地作出这种确定，据此确定是否要使用MIP。这些条件可以包括以下各项中的至少一个：与所述当前块相邻的所述相邻块的帧内预测模式、与所述当前块相邻的所述相邻块的大小和是否通过所述MIP来预测与所述当前块相邻的所述相邻块。例如，当不使用MIP来预测相邻块时，可以不使用MIP来预测当前块。例如，当相邻块的大小小于某一预定阈值(可以是8×8的阈值大小)时，可以不使用MIP来预测当前块。另一方面，当与当前块相邻的相邻块的大小超过预定阈值且通过MIP来预测与当前块相邻的相邻块时，可以使用MIP来预测当前块。
当要使用MIP来预测当前块时，如果与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小，则MIP帧内预测模式可以通过映射过程来获取。适当的映射可以适当地选择MIP帧内预测模式，即使与当前块相邻的相邻块和待预测的当前块的大小彼此不同(参见下文参考表6的详细描述)。
根据另一方面，MIP帧内预测模式根据候选模式列表内的索引获取，如下参考表8、表9和表10的详细描述中所述。因此，使用MIP帧内预测模式可以提高编码效率。原则上，截断一元码或截断二进制码可以用于使用较少数据量指示所述索引。
根据一方面，所述确定是否要使用MIP来预测所述当前块包括：检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度。这些长度表示参考帧和当前帧之间的对应距离，因此可以有助于确定是否要将MIP与当前块的CIIP一起使用。具体地，当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，可以确定要使用所述MIP来预测所述当前块，从而提高预测值的精度。
类似地，所述确定是否要使用MIP来预测所述当前块可以包括：检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，其中，所述块用于获取所述帧间预测块。当绝对deltaPOC值超过预定阈值时，可以确定要使用所述MIP来预测所述当前块，从而提高预测值的精度。
可能会出现这样的情况：不使用MIP来预测当前块且通过MIP模式对与当前块相邻的相邻块进行帧内预测，因此存在与任何现有技术中的非MIP帧内预测模式不一致的帧内预测模式。通过将MIP模式适当地映射到现有技术中的非MIP帧内预测模式，可以解决这个问题(参见下文参考表2、表3和表4的详细描述)。
所述在视频编码中对当前块进行组合的帧间-帧内预测的方法的所有上述示例都可以优选地与位置相关预测组合(position dependent prediction combination，PDPC)进行组合。因此，所述预测所述当前块可以包括：对(a)所述帧内预测块或(b)所述帧内预测块与所述帧间预测块的和执行PDPC，从而进一步提高预测值的精度。例如，如果确定不使用所述MIP来预测所述当前块，则只执行所述PDPC，因为使用MIP得到的预测值可能已经足够精确，而且可以避免进一步处理，从而减少整体译码过程的计算负载。
上述目的还通过一种在视频编码中对当前块进行组合的帧间-帧内预测的方法来实现。所述方法包括：
获取所述当前块的条件信息；
根据所述获取到的条件信息，确定是否要使用基于矩阵的帧内预测(matrix-based intra prediction，MIP)来预测所述当前块；
当确定要使用所述MIP来预测所述当前块时，将所述当前块的预测块确定为帧内预测块和帧间预测块的加权和。
根据本方面，当确定要使用所述MIP来预测所述当前块(即用于获取所述当前块的预测块的帧内预测块)时，(只)执行所述当前块的CIIP。因此，提供了CIIP和MIP的特定组合，该组合可能有利于提高预测值的精度。另一方面，如果不使用MIP，则可以不使用CIIP，从而降低译码过程的整体复杂度。
所述条件信息可以包括与所述当前块相邻的相邻块的帧间预测模式、帧内预测模式和组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式中的至少一种。通过考虑这些不同的模式，可以在译码效率和预测精度之间实现平衡，从而适当地确定是否使用MIP和CIIP。
例如，当所述条件信息表示通过CIIP模式来预测所述相邻块时，要使用所述MIP来预测所述当前块，从而提高预测值的精度。
与所述在视频编码中对当前块进行组合的帧间-帧内预测的方法的背景类似，当与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小时，MIP帧内预测模式可以通过映射过程来获取。此外，MIP预测模式可以根据候选模式列表内的索引获取；截断一元码或截断二进制码用于指示所述索引。
是否使用MIP可以取决于用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度和/或所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值。
因此，所述获取条件信息包括：检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度。当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，可以确定要使用所述MIP来预测所述当前块，从而在这种情况下提高预测值的精度。
相应地，所述获取条件信息可以包括：检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，其中，所述块用于获取所述帧间预测块；当绝对deltaPOC值超过预定阈值时，可以确定要使用所述MIP来预测所述当前块。
此外，本发明提供了一种编码器或解码器。所述编码器或解码器包括处理电路，所述处理电路用于执行任一上述示例提供的方法。类似地，本发明提供了一种包括程序代码的计算机程序产品。所述程序代码用于执行任一上述示例提供的方法。
此外，提供了视频译码设备以实现提供与上述方法相同优点的上述目的。具体地，本发明提供了一种视频译码设备。所述视频译码设备包括：
预测信息确定单元，用于确定与当前块相邻的相邻块的预测信息，其中，所述预测信息包括用于预测所述相邻块的预测模式；
基于矩阵的帧内预测(matrix-based intra prediction，MIP)确定单元，用于确定是否要使用MIP来预测所述当前块；
预测单元，用于：将所述当前块预测为帧内预测块和经帧间测块的加权和，以及根据所述相邻块的所述预测信息和所述确定是否要使用MIP来预测所述当前块，确定所述帧间预测块和所述帧内预测块的权重。
所述测信息可以包括帧间预测模式和帧内预测模式。所述预测信息确定单元可以用于确定所述用于预测所述相邻块的预测模式是组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式。所述预测信息确定单元还可以用于：确定与所述当前块相邻的n个其它相邻块的其它预测信息，其中，所述其它预测信息包括用于预测所述n个其它相邻块的预测模式，n是1和与所述当前块相邻的所有相邻块的数量减1之间的整数；所述预测单元可以用于根据所述其它预测信息确定所述帧间预测块和所述帧内预测块的权重。
此外，所述预测单元可以用于通过预定义的帧内预测模式来预测所述帧内预测块。
此外，所述预测单元可以用于通过选定的帧内预测模式来预测所述帧内预测块。所述预测单元可以用于通过融合模式、运动估计和帧率上转换中的至少一种来预测所述帧间预测块。
所述帧间预测块和所述帧内预测块的权重可以取决于与所述当前块相邻的帧间预测相邻块的数量、与所述当前块相邻的帧内预测相邻块的数量或与所述当前块相邻的CIIP预测相邻块的数量中的至少一个。例如，所述与所述当前块相邻的帧内预测相邻块的数量越多表示所述帧内预测块的权重越高。
根据另一方面，所述预测单元用于互补地确定所述帧内预测块的权重和所述帧间预测块的权重。
根据另一方面，所述MIP确定单元可以用于：通过检查所述相邻块的条件，确定是否要使用所述MIP来预测所述当前块。
所述相邻块的条件可以包括以下各项中的至少一个：与所述当前块相邻的所述相邻块的帧内预测模式、与所述当前块相邻的所述相邻块的大小和是否通过所述MIP来预测与所述当前块相邻的所述相邻块。
根据另一方面，所述MIP确定单元可以用于：当与所述当前块相邻的所述相邻块的大小超过预定阈值且通过所述MIP来预测与所述当前块相邻的所述相邻块时，确定要使用所述MIP来预测所述当前块。
所述MIP确定单元可以用于：如果与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小，通过映射过程来获取MIP帧内预测模式。所述MIP确定单元可以用于根据候选模式列表内的索引获取MIP帧内预测模式。因此，截断一元码或截断二进制码可以用于指示所述索引。
根据另一方面，所述MIP确定单元用于：通过检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度，确定是否要使用MIP来预测所述当前块。所述MIP确定单元可以具体用于：当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，确定要使用所述MIP来预测所述当前块。
根据另一方面，所述MIP确定单元用于：通过检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，确定是否要使用所述MIP来预测所述当前块，其中，所述块用于获取所述帧间预测块。所述MIP确定单元可以用于：当绝对deltaPOC值超过预定阈值时，确定要使用所述MIP来预测所述当前块。
此外，所述预测单元可以用于：当确定不使用所述MIP来预测所述当前块且通过MIP模式对与所述当前块相邻的所述相邻块进行帧内预测时，通过映射过程来获取用于获取所述帧内预测块的帧内预测模式。
所述预测单元可以用于：通过对(a)所述帧内预测块或(b)所述帧内预测块与所述帧间预测块的和执行位置相关预测组合(position dependent prediction combination，PDPC)，预测所述当前块。
此外，所述预测单元可以用于：如果确定不使用所述MIP来预测所述当前块，只执行所述PDPC。
此外，本发明提供了一种视频译码设备。所述视频译码设备包括：
条件信息获取单元，用于获取当前块的条件信息，以确定是否要使用基于矩阵的帧内预测(matrix-based intra prediction，MIP)来预测所述当前块；
预测单元，用于：当确定要使用所述MIP来预测所述当前块时，将所述当前块的预测值确定为帧内预测块和帧间预测块的加权和。
在所述设备中，所述条件信息包括与所述当前块相邻的相邻块的帧间预测模式、帧内预测模式和组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式中的至少一种。所述条件信息获取单元可以用于：当所述条件信息表示通过CIIP模式来预测所述相邻块时，确定要使用所述MIP来预测所述当前块。
所述预测单元可以用于：当与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小时，通过映射过程来获取MIP帧内预测模式。此外，所述预测单元可以用于根据候选模式列表内的索引获取MIP预测模式；截断一元码或截断二进制码用于指示所述索引。
根据一方面，所述条件信息获取单元用于：通过检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度，获取所述条件信息。根据另一方面，所述条件信息获取单元用于：当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，确定要使用所述MIP来预测所述当前块。
根据另一方面，所述条件信息获取单元用于：通过检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，获取所述条件信息，其中，所述块用于获取所述帧间预测块。所述条件信息获取单元可以用于：当绝对deltaPOC值超过预定阈值时，确定要使用所述MIP来预测所述当前块。
以下附图和说明书详细阐述了一个或多个实施例。其它特征、目的和优点在说明书、附图和权利要求书中是显而易见的。
附图说明
下面参考所附附图和示意图更加详细地描述本发明实施例。
图1A为用于实现本发明实施例的视频译码系统的一个示例的框图。
图1B为用于实现本发明实施例的视频译码系统的另一个示例的框图。
图2为用于实现本发明实施例的视频编码器的一个示例的框图。
图3为用于实现本发明实施例的视频解码器的一种示例性结构的框图。
图4是编码装置或解码装置的一个示例的框图。
图5是编码装置或解码装置的另一个示例的框图。
图6示出了示例性角度帧内预测方向和相关帧内预测模式。
图7示出了在帧间-帧内混合中使用的左侧和上方经重建样本。
图8为在确定权重中使用的相对于被预测块的相邻块的空间位置的一个示例的示意图。
图9为在确定权重中使用的相对于被预测块的相邻块的空间位置的一个示例的示意图。
图10为在确定权重中使用的相对于被预测块的相邻块的空间位置的一个示例的示意图。
图11为在确定权重中使用的相对于被预测块的相邻块的空间位置的一个示例的示意图。
图12为在确定权重中使用的相对于被预测块的相邻块的空间位置的一个示例的示意图。
图13为使用相邻块的预测模式确定权重的方法的流程图。
图14为MIP预测方法的流程图。
图15为MIP预测的一个示例的示意图。
图16为PDPC扩展到对角和相邻角度帧内模式使用的样本的定义的示意图。
图17为一种在视频译码中对当前块进行组合的帧间-帧内预测的方法的流程图。
图18为另一种在视频译码中对当前块进行组合的帧间-帧内预测的方法的流程图。
图19示出了视频译码设备的一种配置。
图20示出了视频译码设备的另一种配置。
在下文，相同附图标记表示相同特征或至少在功能上等效的特征，除非另有明确规定。
具体实施方式
在以下描述中，参考构成本发明一部分的附图，这些附图通过说明的方式示出了本发明实施例的具体方面或可以使用本发明实施例的具体方面。应当理解的是，本发明实施例可以在其它方面中使用，并且可以包括附图中未描绘的结构变化或逻辑变化。因此，以下详细描述并不以限制性意义来理解，且本发明的范围由所附权利要求书界定。
例如，应当理解的是，与描述方法有关的公开内容可以对用于执行所述方法的对应设备或系统也同样适用，反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包括一个或多个单元(例如功能单元)来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或者多个单元分别执行多个步骤中的一个或多个步骤)，即使附图中未明确描述或示出这种一个或多个单元。另一方面，例如，如果根据一个或多个单元(例如功能单元)来描述具体装置，则对应的方法可以包括一个步骤来执行一个或多个单元的功能(例如，一个步骤执行一个或多个单元的功能，或多个步骤分别执行多个单元中的一个或多个单元的功能)，即使附图中未明确描述或示出这种一个或多个步骤。此外，可以理解的是，除非另外明确说明，本文中所描述的各个示例性实施例和/或方面的特征可以相互组合。
视频译码(coding)通常是指处理形成视频或视频序列的图像序列。在视频编码领域，术语“帧(frame)”与“图像(picture/image)”可以用作同义词。视频译码(或通常为译码)包括视频编码和视频解码两部分。视频编码在源侧执行，通常包括处理(例如通过压缩)原始视频图像，以减少表示视频图像所需的数据量(从而更高效地存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作逆处理，以重建视频图像。实施例涉及的视频图像(或通常称为图像)的“译码”应当理解为涉及视频图像或相应视频序列的“编码”或“解码”。编码部分和解码部分也合称为编解码(编码和解码)。
在无损视频译码情况下，可以重建原始视频图像，即经重建视频图像具有与原始视频图像相同的质量(假设存储或传输期间没有传输损耗或其它数据丢失)。在有损视频译码情况下，通过量化等执行进一步压缩，来减少表示视频图像所需的数据量，而解码器侧无法完全重建视频图像，即经重建视频图像的质量相比原始视频图像的质量较低或较差。
几种视频编码标准属于“有损混合型视频编解码器”组(即，将样本域中的空间预测和时间预测与变换域中用于应用量化的二维变换编码相结合)。视频序列中的每个图像通常划分成不重叠的块集合，通常在块级进行译码。换句话说，编码器侧通常在块(视频块)级处理亦即编码视频，例如，通过空间(帧内)预测和/或时间(帧间)预测来生成预测块，从当前块(当前处理/待处理的块)中减去预测块以获取残差块，在变换域中变换残差块并量化残差块，以减少待传输(压缩)的数据量，而解码器侧将相对于编码器的逆处理部分应用于经编码或经压缩块，以重建用于表示的当前块。此外，编码器复制解码器处理循环，使得编码器和解码器生成相同的预测(例如，帧内预测和帧间预测)和/或重建，用于处理亦即译码后续块。
在以下视频译码系统10的实施例中，视频编码器20和视频解码器30根据图1A至图3进行描述。
图1A为示例性译码系统10的示意性框图，例如可以利用本申请中技术的视频译码系统10(或简称为译码系统10)。视频译码系统10中的视频编码器20(或简称为编码器20)和视频解码器30(或简称为解码器30)为两个示例，即可以用于根据本申请中描述的各种示例执行各种技术的设备。
如图1A所示，译码系统10包括源设备12，源设备12用于将经编码图像数据21提供给目的地设备14等，以对经编码图像数据21进行解码。
源设备12包括编码器20，另外即可选地可以包括图像源16、预处理器(或预处理单元)18(例如图像预处理器18)和通信接口或通信单元22。
图像源16可以包括或可以是任何类型的用于捕获真实世界图像等的图像捕获设备；和/或任何类型的图像生成设备(例如用于生成计算机动画图像的计算机图形处理器)；或者任何类型的用于获取和/或提供真实世界图像、计算机动画图像(例如屏幕内容、虚拟现实(virtual reality，VR)图像)和/或其任何组合(例如增强现实(augmented reality，AR)图像)的设备。图像源可以为任何类型的存储任一上述图像的存储器(memory/storage)。
为了区分预处理器18和预处理单元18执行的处理，图像或图像数据17也可以称为原始图像或原始图像数据17。
预处理器18用于接收(原始)图像数据17并对图像数据17执行预处理，得到预处理图像19或预处理图像数据19。预处理器18执行的预处理可以包括修剪(trimming)、颜色格式转换(例如从RGB转换为YCbCr)、调色或去噪等。可以理解的是，预处理单元18可以为可选组件。
视频编码器20用于接收预处理图像数据19并提供经编码图像数据21(结合图2等描述更多细节)。
源设备12中的通信接口22可以用于接收经编码图像数据21并通过通信信道13向目的地设备14等另一设备或任何其它设备发送经编码图像数据21(或对经编码图像数据21进一步处理后得到的数据)，以便进行存储或直接重建。
目的地设备14包括解码器30(例如视频解码器30)，另外即可选地可以包括通信接口或通信单元28、后处理器32(或后处理单元32)和显示设备34。
目的地设备14中的通信接口28用于直接从源设备12或从存储设备(例如经编码图像数据存储设备)等任何其它源，接收经编码图像数据21(或对经编码图像数据21进一步处理后得到的数据)，并将经编码图像数据21提供给解码器30。
通信接口22和通信接口28可以用于经由源设备12和目的地设备14之间的直接通信链路(例如，直接有线或无线连接)，或经由任何类型的网络(例如，有线网络或无线网络或其任何组合，或任何类型的私网和公网或其任何类型的组合)发送或接收经编码图像数据21或经编码数据21。
例如，通信接口22可以用于将经编码图像数据21封装成合适的格式(例如数据包)，和/或通过任何类型的传输编码或处理来处理经编码图像数据，以便通过通信链路或通信网络进行传输。
例如，与通信接口22对应的通信接口28可以用于接收传输的数据，并通过任何类型的对应传输解码或处理和/或解封装来处理传输数据，以获取经编码图像数据21。
通信接口22和通信接口28都可以配置为图1A中从源设备12指向目的地设备14的通信信道13的箭头所指示的单向通信接口，或者配置为双向通信接口，并且可以用于发送和接收消息等，以建立连接、确认并交换与通信链路和/或数据传输(例如经编码图像数据传输)相关的任何其它信息，等等。
解码器30用于接收经编码图像数据21并提供经解码图像数据31或经解码图像31(下文结合图3或图5等描述更多细节)。
目的地设备14中的后处理器32用于对经解码图像数据31(也称为经重建图像数据)(例如经解码图像31)进行后处理，得到后处理图像数据33(例如后处理图像33)。后处理单元32执行的后处理可以包括颜色格式转换(例如从YCbCr转换为RGB)、调色、修剪(trimming)或重采样，或者任何其它处理等，以便提供经解码图像数据31由显示设备34等显示，等等。
目的地设备14中的显示设备34用于接收后处理图像数据33，以便向用户或观看者等显示图像。显示设备34可以为或可以包括任何类型的用于表示经重建图像的显示器，例如集成或外部显示器或显示屏。例如，显示器可以包括液晶显示器(liquid crystaldisplay，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微型LED显示器、硅基液晶(liquid crystal on silicon，LCoS)显示器、数字光处理器(digital light processor，DLP)或任何类型的其它显示器。
虽然图1A中将源设备12和目的地设备14绘示为单独的设备，但是设备实施例也可以同时包括这两种设备或同时包括这两种设备的功能，即源设备12或对应的功能以及目的地设备14或对应的功能。在这些实施例中，可以使用相同的硬件和/或软件，或使用单独的硬件和/或软件，或其任意组合来实施源设备12或对应的功能以及目的地设备14或对应的功能。
本领域技术人员基于上述描述明显可知，图1A所示的源设备12和/或目的地设备14内的不同单元的功能或功能的存在和(精确)划分可以根据实际设备和应用有所不同。
编码器20(例如视频编码器20)或解码器30(例如视频解码器30)或者编码器20和解码器30可以通过图1B所示的处理电路来实现，例如一个或多个微处理器、一个或多个数字信号处理器(digital signal processor，DSP)、一个或多个专用集成电路(application-specific integrated circuit，ASIC)、一个或多个现场可编程门阵列(field-programmable gate array，FPGA)、一个或多个离散逻辑、一个或多个硬件、一个或多个视频译码专用处理器或其任意组合。编码器20可以通过处理电路46实现，以包含参照图2中的编码器20描述的各种模块和/或本文描述的任何其它编码器系统或子系统。解码器30可以通过处理电路46实现，以包含参照图3中的解码器30描述的各种模块和/或本文描述的任何其它解码器系统或子系统。处理电路可以用于执行下文论述的各种操作。如图5所示，如果上述技术部分在软件中实现，则一种设备可以将该软件的指令存储在合适的非瞬时性计算机可读存储介质中，并且可以使用一个或多个处理器在硬件中执行这些指令，以执行本发明中的技术。视频编码器20或视频解码器30可以作为组合编码器/解码器(编解码器)的一部分集成在单个设备中，如图1B所示。
源设备12和目的地设备14可以包括多种设备中的任一种，包括任何类型的手持或固定设备，例如笔记本或膝上型电脑、手机、智能手机、平板或平板电脑、摄像机、台式电脑、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏机、视频流设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备等，并且可以不使用或使用任何类型的操作系统。在一些情况下，源设备12和目的地设备14可以用于无线通信。因此，源设备12和目的地设备14可以是无线通信设备。
在一些情况下，图1A所示的视频译码系统10仅为示例，本申请中的技术可以适用于不必包含编码和解码设备之间的任何数据通信的视频译码设置(例如视频编码或视频解码)。在其它示例中，数据从本地存储器检索，通过网络流式传输，等等。视频编码设备可以对数据进行编码并且将数据存储到存储器中，和/或视频解码设备可以从存储器检索数据并且对数据进行解码。在一些示例中，由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的设备执行编码和解码。
为便于描述，本文(例如)参考由ITU-T视频编码专家组(Video Coding ExpertsGroup，VCEG)和ISO/IEC运动图像专家组(Motion Picture Experts Group，MPEG)的视频编码联合协作团队(Joint Collaboration Team on Video Coding，JCT-VC)开发的高效视频编码(High-Efficiency Video Coding，HEVC)或下一代视频编码标准通用视频编码(Versatile Video Coding，VVC)参考软件来描述本发明实施例。本领域普通技术人员理解本发明实施例不限于HEVC或VVC。
编码器和编码方法
图2为用于实现本申请中技术的示例性视频编码器20的示意性框图。在图2的示例中，视频编码器20包括输入端201(或输入接口201)、残差计算单元204、变换处理单元206、量化单元208、反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲区(decoded picture buffer，DPB)230、模式选择单元260、熵编码单元270和输出端272(或输出接口272)。模式选择单元260可以包括帧间预测单元244、帧内预测单元254和分割单元262。帧间预测单元244可以包括运动估计单元和运动补偿单元(未示出)。图2所示的视频编码器20也可以称为混合视频编码器或基于混合型视频编解码器的视频编码器。
残差计算单元204、变换处理单元206、量化单元208和模式选择单元260可以组成编码器20的前向信号路径，而反量化单元210、逆变换处理单元212、重建单元214、缓冲区216、环路滤波器220、解码图像缓冲区(decoded picture buffer，DPB)230、帧间预测单元244和帧内预测单元254可以组成视频编码器20的后向信号路径，其中，视频编码器20的后向信号路径对应于解码器(参见图3中的视频解码器30)的信号路径。反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲区(decoded picturebuffer，DPB)230、帧间预测单元244和帧内预测单元254还组成视频编码器20的“内置解码器”。
图像和图像分割(图像和块)
编码器20可以用于通过输入端201等接收图像17(或图像数据17)。图像17可以是组成视频或视频序列的一系列图像中的图像。接收到的图像或图像数据也可以是预处理图像19(或预处理图像数据19)。为了简单起见，以下描述使用图像17。图像17还可以称为当前图像或待译码图像(尤其是在视频译码中为了将当前图像与同一视频序列(也就是同样包括当前图像的视频序列)中的其它图像(例如先前的经编码和/或经解码图像)区分开)。
(数字)图像为或可以视为具有强度值的样本(sample)组成的二维阵列或矩阵。阵列中的样本也可以称为像素(pixel/pel)(图像元素的简称)。阵列或图像在水平方向和垂直方向(或轴线)上的样本数量限定了图像的大小和/或分辨率。为了表示颜色，通常采用3个颜色分量，即图像可以表示为或可以包括3个样本阵列。在RGB格式或颜色空间中，一个图像包括对应的红色、绿色和蓝色样本阵列。但是，在视频译码中，每个像素通常以亮度和色度格式或颜色空间表示，例如YCbCr，包括Y表示的亮度分量(有时也用L表示)和Cb和Cr表示的2个色度分量。亮度(luminance，简写为luma)分量Y表示亮度或灰度级强度(例如在灰度等级图像中两者相同)，而2个色度(chrominance，简写为chroma)分量Cb和Cr表示色度或颜色信息分量。因此，YCbCr格式的图像包括由亮度样本值(sample value)(Y)组成的亮度样本阵列和2个由色度值(Cb和Cr)组成的色度样本阵列。RGB格式的图像可以转换或变换为YCbCr格式，反之亦然。该过程也称为颜色变换或转换。如果图像是黑白的，则该图像可以只包括亮度样本阵列。相应地，例如，图像可以为黑白格式的亮度样本阵列或4:2:0、4:2:2和4:4:4颜色格式的亮度样本阵列和2个对应的色度样本阵列。
视频编码器20的实施例可以包括图像分割单元(图2中未示出)，用于将图像17分割成多个(通常不重叠的)图像块203。这些块也可以称为根块、宏块(H.264/AVC)，或(H.265/HEVC和VVC中的)编码树块(coding tree block，CTB)或编码树单元(coding treeunit，CTU)。图像分割单元可以用于对视频序列中的所有图像使用相同的块大小和使用限定块大小的对应网格，或者在图像或图像子集或图像组之间改变块大小，并将每个图像分割成多个对应块。
在其它实施例中，视频编码器可以用于直接接收图像17中的块203，例如组成图像17的一个、几个或所有块。图像块203也可以称为当前图像块或待译码图像块。
与图像17类似，图像块203同样是或者可以视为具有强度值(样本值)的样本组成的二维阵列或矩阵，但是图像块203的尺寸比图像17的尺寸小。换句话说，根据所应用的颜色格式，块203可以包括(例如)一个样本阵列(例如黑白图像17情况下的亮度阵列或彩色图像情况下的亮度阵列或色度阵列)或3个样本阵列(例如彩色图像17情况下的1个亮度阵列和2个色度阵列)或任何其它数量和/或类型的阵列。块203的水平和垂直方向(或轴)的样本数限定了块203的大小。相应地，一个块可以为M×N(M列×N行)的样本阵列，或M×N的变换系数阵列等。
图2所示的视频编码器20的实施例可以用于逐块对图像17进行编码，例如对每个块203执行编码和预测。
图2所示的视频编码器20的实施例还可以用于使用条带(slice)(也称为视频条带)对图像进行分割和/或编码。一个图像可以分割成一个或多个(通常不重叠的)条带或使用一个或多个(通常不重叠的)条带进行编码，每个条带可以包括一个或多个块(例如CTU)。
图2所示的视频编码器20的实施例还可以用于使用分块(tile)组(也称为视频分块组)和/或分块(也称为视频分块)对图像进行分割和/或编码。一个图像可以分割成一个或多个(通常不重叠的)分块组或使用一个或多个(通常不重叠的)分块组进行编码；每个分块组可以包括一个或多个块(例如CTU)或一个或多个分块等；每个分块可以为矩形等并可以包括一个或多个完整或部分块(例如CTU)等。
残差计算
残差计算单元204可以用于通过以下方式根据图像块203和预测块265(后续详细介绍了预测块265)来计算残差块205(也称为残差205)以获取样本域中的残差块205：例如，逐个样本(逐个像素)从图像块203的样本值中减去预测块265的样本值。
变换
变换处理单元206可以用于对残差块205的样本值应用离散余弦变换(discretecosine transform，DCT)或离散正弦变换(discrete sine transform，DST)等变换，以获取变换域中的变换系数207。变换系数207也可以称为变换残差系数，表示变换域中的残差块205。
变换处理单元206可以用于应用DCT/DST(例如为H.265/HEVC指定的变换)的整数近似值。与正交DCT变换相比，这种整数近似值通常由某一因子按比例缩放。为了维持经正变换和逆变换处理的残差块的范数，应用其它比例缩放因子作为变换过程的一部分。比例缩放因子通常是根据某些约束条件选择的，例如，比例缩放因子是用于移位运算的2的幂、变换系数的位深度、精度与实现成本之间的权衡等。例如，通过逆变换处理单元212等为逆变换(以及视频解码器30通过逆变换处理单元312等为对应的逆变换)指定具体的比例缩放因子；相应地，编码器20可以通过变换处理单元206等为正变换指定对应的比例缩放因子。
视频编码器20(相应地，变换处理单元206)的实施例可以用于直接输出或通过熵编码单元270进行编码或压缩后输出变换参数(例如，一种或多种变换的类型)，使得视频解码器30可以接收并使用变换参数进行解码，等等。
量化
量化单元208可以用于通过应用标量量化或矢量量化等来量化变换系数207，以获取量化系数209。经量化系数209也可以称为经量化变换系数209或经量化残差系数209。
量化过程可以减小与部分或全部变换系数207相关的位深度。例如，可以在量化期间将n位变换系数向下取整到m位变换系数，其中，n大于m。可以通过调整量化参数(quantization parameter，QP)修改量化程度。例如，对于标量量化，可以应用不同程度的比例缩放来实现较细或较粗的量化。较小量化步长对应较细量化，而较大量化步长对应较粗量化。可以通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以是合适的量化步长的预定义集合的索引。例如，较小的量化参数可以对应精细量化(较小量化步长)，较大的量化参数可以对应粗糙量化(较大量化步长)，反之亦然。量化可以包括除以量化步长以及例如通过逆量化210执行的对应反量化和/或解量化，或者可以包括乘以量化步长。根据HEVC等一些标准的实施例可以用于使用量化参数来确定量化步长。一般而言，可以基于量化参数使用包括除法的等式的定点近似来计算量化步长。可以引入额外的比例缩放因子来进行量化和反量化，以恢复可能由于在用于量化步长和量化参数的等式的定点近似中使用的比例缩放而修改的残差块的范数。在一种示例性实现方式中，可以合并逆变换和解量化的比例缩放。可选地，可以使用自定义量化表并在码流等中将其从编码器通过信号发送到解码器。量化是有损操作，其中，量化步长越大，损耗越大。
视频编码器20(对应地，量化单元208)的实施例可以用于直接输出或通过熵编码单元270进行编码后输出量化参数(quantization parameter，QP)，使得视频解码器30可以接收并使用量化参数进行解码，等等。
反量化
反量化单元210用于通过以下方式对经量化系数应用量化单元208的反量化，以获取经解量化系数211：例如，根据或使用与量化单元208相同的量化步长，应用与量化单元208应用的量化方案相反的反量化方案。经解量化系数211也可以称为经反量化残差系数211，对应于变换系数207，但是由于量化造成的损耗，通常与变换系数不相同。
逆变换
逆变换处理单元212用于应用与变换处理单元206应用的变换相反的逆变换，例如，逆离散余弦变换(discrete cosine transform，DCT)或逆离散正弦变换(discretesine transform，DST)或其它逆变换，以获取样本域中的经重建残差块213(或对应的经解量化系数213)。经重建残差块213也可以称为变换块213。
重建
重建单元214(例如加法器或求和器214)用于通过以下方式将变换块213(即经重建残差块213)添加到预测块265，以获取样本域中的经重建块215：例如，逐个样本将经重建残差块213的样本值和预测块265的样本值相加。
滤波
环路滤波器单元220(或简称“环路滤波器”220)用于对经重建块215进行滤波，以获取经滤波块221，或通常用于对经重建样本进行滤波，以获取经滤波样本。例如，环路滤波器单元用于顺利进行像素转变或以其它方式提高视频质量。环路滤波器单元220可以包括一个或多个环路滤波器，例如，去块效应滤波器、样本自适应偏移(sample-adaptiveoffset，SAO)滤波器或一个或多个其它滤波器，例如，双边滤波器、自适应环路滤波器(adaptive loop filter，ALF)、锐化或平滑滤波器、协同滤波器或其任意组合。虽然环路滤波器单元220在图2中示为环内滤波器，但是在其它配置中，环路滤波器单元220可以实施为环后路滤波器。经滤波块221也可以称为经滤波的经重建块221。
视频编码器20(对应地，环路滤波器单元220)的实施例可以用于直接输出或通过熵编码单元270进行编码后输出环路滤波器参数(例如样本自适应偏移信息)，使得解码器30可以接收并使用相同的环路滤波器参数或相应的环路滤波器进行解码，等等。
解码图像缓冲区
解码图像缓冲区(decoded picture buffer，DPB)230可以是存储参考图像或通常存储参考图像数据供视频编码器20在对视频数据进行编码时使用的存储器。DPB 230可以由多种存储器设备中的任一种形成，例如，动态随机存取存储器(dynamic random accessmemory，DRAM)，包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magnetoresistiveRAM，MRAM)、电阻RAM(resistive RAM，RRAM)或其它类型的存储设备。解码图像缓冲区(decoded picture buffer，DPB)230可以用于存储一个或多个经滤波块221。解码图像缓冲区230还可以用于存储同一当前图像或不同图像(例如先前的经重建图像)中的其它先前经滤波块(例如先前经滤波的经重建块221)，并可以提供先前完整的经重建(即经解码)图像(和对应的参考块和样本)和/或部分重建的当前图像(和对应的参考块和样本)，以进行帧间预测等。解码图像缓冲区(decoded picture buffer，DPB)230还可以用于，如果经重建块215未由环路滤波器单元220进行滤波，存储一个或多个未经滤波的经重建块215，或通常存储未经滤波的经重建样本；用于存储未进行任何其它进一步处理的经重建块或经重建样本。
模式选择(分割和预测)
模式选择单元260包括分割单元262、帧间预测单元244和帧内预测单元254，并且用于从解码图像缓冲区230或其它缓冲区(例如行缓冲区，图中未显示)接收或获取原始块203(当前图像17的当前块203)等原始图像数据以及经重建图像数据(例如同一(当前)图像和/或一个或多个先前的经解码图像的经滤波和/或未经滤波的经重建样本或经重建块)。经重建图像数据用作帧间预测或帧内预测等预测所需的参考图像数据，以获取预测块265或预测值265。
模式选择单元260可以用于为当前块预测模式(包括不分割)确定或选择一种分割方式以及确定或选择一种预测模式(例如帧内预测模式或帧间预测模式)，生成对应的预测块265，以对残差块205进行计算和对经重建块215进行重建。
模式选择单元260的实施例可以用于选择分割方式和预测模式(例如，从模式选择单元260支持或可用的那些模式中选择)。所述预测模式提供最佳匹配或者说最小残差(最小残差意味着传输或存储中更好的压缩)，或提供最小信令开销(最小信令开销意味着传输或存储中更好的压缩)，或同时考虑或平衡以上两者。模式选择单元260可以用于根据率失真优化(rate distortion optimization，RDO)确定分割方式和预测模式，即选择提供最小率失真的预测模式。本文中的“最佳”、“最小”、“最优”等术语不一定指总体上“最佳”、“最小”、“最优”等，但也可以指满足终止或选择标准的情况，例如，超过或低于阈值的值或其它约束条件可能导致“次优选择”，但会降低复杂度且减少处理时间。
换句话说，分割单元262可以用于通过以下方式将块203分割成较小的块分区或子块(再次形成块)：例如，迭代地使用四叉树(quad-tree，QT)分割、二叉树(binary-tree，BT)分割或三叉树(triple-tree，TT)分割或其任意组合；并且用于对每个块分区或子块执行预测等，其中，模式选择包括选择分割块203的树结构，预测模式应用于每个块分区或子块。
下文将详细地描述由示例性视频编码器20执行的分割(例如由分割单元260执行)和预测处理(由帧间预测单元244和帧内预测单元254执行)。
分割
分割单元262可以将当前块203分割(或划分)成较小的分区，例如正方形或矩形小块。这些小块(也可以称为子块)可以进一步分割成甚至更小的分区。这也称为树分割或分层树分割。在根树级别0(层次级别0、深度0)等的根块可以递归地分割成两个或两个以上下一个较低树级别的块，例如树级别1(层次级别1、深度1)的节点。这些块可以又分割成两个或两个以上下一个较低级别的块，例如树级别2(层次级别2、深度2)等，直到分割结束(因为满足结束标准，例如达到最大树深度或最小块大小)。未进一步分割的块也称为树的叶块或叶节点。分割成两个分区的树称为二叉树(binary-tree，BT)，分割成3个分区的树称为三叉树(ternary-tree，TT)，分割成4个分区的树称为四叉树(quad-tree，QT)。
如上所述，本文中使用的术语“块”可以是图像的一部分，特别是正方形或矩形部分。参考HEVC和VVC等，块可以为或可以对应于编码树单元(coding tree unit，CTU)、编码单元(coding unit，CU)、预测单元(prediction unit，PU)和变换单元(transform unit，TU)，和/或对应于多个对应块，例如，编码树块(coding tree block，CTB)、编码块(codingblock，CB)、变换块(transform block，TB)或预测块(prediction block，PB)。
例如，编码树单元(coding tree unit，CTU)可以为或可以包括具有3个样本阵列的图像中的亮度样本组成的1个CTB以及该图像中的色度样本组成的2个对应CTB，或者可以为或可以包括黑白图像或使用3个单独颜色平面和语法结构进行译码的图像中的样本组成的1个CTB。这些语法结构用于对上述样本进行译码。对应地，编码树块(coding treeblock，CTB)可以为N×N的样本块，其中，N可以设为某个值，使得一个分量被分成多个CTB，这就是一种分割方式。编码单元(coding unit，CU)可以为或可以包括具有3个样本阵列的图像中的亮度样本组成的1个编码块以及该图像中的色度样本组成的2个对应编码块，或者可以为或可以包括黑白图像或使用3个单独颜色平面和语法结构进行译码的图像中的样本组成的1个编码块。这些语法结构用于对上述样本进行译码。对应地，编码块(codingblock，CB)可以为M×N的样本块，其中，M和N可以设为某个值，使得一个CTB分成多个编码块，这就是一种分割方式。
在实施例中，例如根据HEVC，可以通过表示为编码树的四叉树结构将编码树单元(coding tree unit，CTU)划分成多个CU。在CU级决定是否使用帧间(时间)预测或帧内(空间)预测对图像区域进行译码。每个CU可以根据PU划分类型进一步划分成1个、2个或4个PU。一个PU内进行相同的预测过程，并以PU为单位向解码器发送相关信息。在根据PU划分类型进行预测过程获取残差块之后，可以根据与CU的编码树类似的其它四叉树结构将该CU分割成变换单元(transform unit，TU)。
在实施例中，例如根据当前开发的称为通用视频编码(Versatile Video Coding，VVC)的最新视频编码标准，使用四叉树结合二叉树(combined Quad-tree and binarytree，QTBT)分割等来分割编码块。在QTBT块结构中，一个CU可以为正方形或矩形。例如，编码树单元(coding tree unit，CTU)首先通过四叉树结构进行分割。四叉树叶节点进一步通过二叉树或三叉(ternary/triple)树结构进行分割。分割的树叶节点称为编码单元(coding unit，CU)，这种分割(segmentation)用于预测和变换处理，无需任何进一步分割。这表示在QTBT编码块结构中，CU、PU和TU的块大小相同。与此同时，三叉树划分等多重划分可以与QTBT块结构一起使用。
在一个示例中，视频编码器20中的模式选择单元260可以用于执行本文描述的分割技术的任意组合。
如上所述，视频编码器20用于从(例如预定的)预测模式集合内确定或选择最佳或最优的预测模式。预测模式集合可以包括帧内预测模式和/或帧间预测模式等。
帧内预测
帧内预测模式集合可以包括35种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式等非方向性模式，或者HEVC中定义的方向性模式，或者可以包括67种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式等非方向性模式，或者VVC中定义的方向性模式。
帧内预测单元254用于根据帧内预测模式集合内的帧内预测模式，使用同一当前图像的相邻块的经重建样本来生成帧内预测块265。
帧内预测单元254(或通常称为模式选择单元260)还用于将帧内预测参数(或通常称为表示块的选定帧内预测模式的信息)以语法元素266的形式输出到熵编码单元270，以包含在经编码图像数据21中，使得视频解码器30可以接收并使用预测参数进行解码，等等。
帧间预测
(可能的)帧间预测模式集合取决于可用参考图像(即(例如)上述存储在DPB 230中的至少部分经解码图像)和其它帧间预测参数，例如取决于是否使用整个参考图像或只使用参考图像的一部分(例如当前块的区域周围的搜索窗口区域)来搜索最佳匹配参考块，和/或例如取决于是否进行像素插值，例如二分之一/半像素插值和/或四分之一像素插值。
除了上述预测模式之外，还可以使用跳过模式和/或直接模式。
帧间预测单元244可以包括运动估计(motion estimation，ME)单元和运动补偿(motion compensation，MC)单元(两者在图2中未示出)。运动估计单元可以用于接收或获取图像块203(当前图像17中的当前图像块203)和经解码图像231，或者至少一个或多个先前的经重建块(例如一个或多个其它/不同的先前经解码图像231的经重建块)，以进行运动估计。例如，视频序列可以包括当前图像和先前经解码图像231，或换句话说，当前图像和先前经解码图像231可以为一系列图像的一部分或组成一系列图像，这一系列图像组成视频序列。
例如，编码器20可以用于从多个其它图像中的同一或不同图像的多个参考块中选择一个参考块，并将参考图像(或参考图像索引)和/或参考块的位置(x坐标、y坐标)与当前块的位置之间的偏移(空间偏移)作为帧间预测参数提供给运动估计单元。这种偏移也称为运动矢量(motion vector，MV)。
运动补偿单元用于获取(例如接收)帧间预测参数，并根据或使用帧间预测参数执行帧间预测，以获取帧间预测块265。由运动补偿单元执行的运动补偿可以包括根据通过运动估计确定的运动/块矢量来提取或生成预测块，还可以包括执行插值以获取子像素精度。插值滤波可以根据已知像素样本生成其它像素样本，从而有可能增加可以用于对图像块进行译码的候选预测块的数量。在接收当前图像块的PU对应的运动矢量时，运动补偿单元可以在其中一个参考图像列表中定位运动矢量所指向的预测块。
运动补偿单元还可以生成与块和视频条带相关的语法元素，以供视频解码器30在解码视频条带的图像块时使用。除了条带和相应语法元素之外或作为条带和相应语法元素的替代，还可以生成或使用分块组和/或分块以及相应语法元素。
熵编码
熵编码单元270用于将熵编码算法或方案(例如，可变长度编码(variable lengthcoding，VLC)方案、上下文自适应VLC方案(context adaptive VLC，CAVLC)、算术编码方案、二进制化算法、上下文自适应二进制算术编码(context adaptive binary arithmeticcoding，CABAC)、基于语法的上下文自适应二进制算术编码(syntax-based context-adaptive binary arithmetic coding，SBAC)、概率区间分割熵(probability intervalpartitioning entropy，PIPE)编码或其它熵编码方法或技术)等应用于或不应用于(无压缩)经量化系数209、帧间预测参数、帧内预测参数、环路滤波器参数和/或其它语法元素，以获取可以通过输出端272以经编码码流21等形式输出的经编码图像数据21，使得视频解码器30可以接收并使用这些参数进行解码，等等。可以将经编码码流21发送给视频解码器30，或者将其存储在存储器中稍后由视频解码器30发送或检索。
视频编码器20的其它结构变型可以用于对视频流进行编码。例如，基于非变换的编码器20可以在没有变换处理单元206的情况下为某些块或帧直接量化残差信号。在另一种实现方式中，编码器20可以包括组合成单个单元的量化单元208和反量化单元210。
解码器和解码方法
图3为用于实现本申请中技术的视频解码器30的一个示例。视频解码器30用于接收(例如)由编码器20编码的经编码图像数据21(例如经编码码流21)，以获取经解码图像331。经编码图像数据或码流包括用于解码该经编码图像数据的信息，例如表示经编码视频条带(和/或分块组或分块)的图像块的数据和相关语法元素。
在图3的示例中，解码器30包括熵解码单元304、反量化单元310、逆变换处理单元312、重建单元314(例如求和器314)、环路滤波器320、解码图像缓冲区(decoded picturebuffer，DPB)330、模式应用单元360、帧间预测单元344和帧内预测单元354。帧间预测单元344可以为或可以包括运动补偿单元。在一些示例中，视频解码器30可以执行大体上与参照图2中的视频编码器100描述的编码过程互逆的解码过程。
如参照编码器20所述，反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲区(decoded picture buffer，DPB)230、帧间预测单元344和帧内预测单元354还组成视频编码器20的“内置解码器”。相应地，反量化单元310在功能上可以与反量化单元110相同，逆变换处理单元312在功能上可以与逆变换处理单元212相同，重建单元314在功能上可以与重建单元214相同，环路滤波器320在功能上可以与环路滤波器220相同，解码图像缓冲区330在功能上可以与解码图像缓冲区230相同。因此，视频编码器20的相应单元和功能的解释相应地适用于视频解码器30的相应单元和功能。
熵解码
熵解码单元304用于解析码流21(或通常称为经编码图像数据21)并对经编码图像数据21执行熵解码等，以获取经量化系数309和/或经解码编码参数(图3中未示出)等，例如，帧间预测参数(例如参考图像索引和运动矢量)、帧内预测参数(例如帧内预测模式或索引)、变换参数、量化参数、环路滤波器参数和/或其它语法元素中的任一个或全部。熵解码单元304可以用于应用与参照编码器20中的熵编码单元270描述的编码方案对应的解码算法或方案。熵解码单元304还可以用于将帧间预测参数、帧内预测参数和/或其它语法元素提供给模式应用单元360，并将其它参数提供给解码器30中的其它单元。视频解码器30可以接收视频条带级和/或视频块级的语法元素。除了条带和相应语法元素之外或作为条带和相应语法元素的替代，还可以接收和/或使用分块组和/或分块以及相应语法元素。
反量化
反量化单元310可以用于从经编码图像数据21(例如由熵解码单元304等解析和/或解码)接收量化参数(quantization parameter，QP)(或通常称为与反量化相关的信息)和经量化系数，并根据这些量化参数对经解码量化系数309进行反量化，以获取经解量化系数311。经解量化系数311也可以称为变换系数311。反量化过程可以包括使用视频编码器20为视频条带(或分块或分块组)中的每个视频块确定的量化参数来确定量化程度，同样也确定需要应用的反量化的程度。
逆变换
逆变换处理单元312可以用于接收经解量化系数311(也称为变换系数311)，并对经解量化系数311进行变换，以获取样本域中的经重建残差块213。经重建残差块213也可以称为变换块313。变换可以为逆变换，例如，逆DCT、逆DST、逆整数变换或概念上类似的逆变换过程。逆变换处理单元312还可以用于(例如由熵解码单元304等解析和/或解码)从经编码图像数据21接收变换参数或对应的信息，以确定要应用于经解量化系数311的变换。
重建
重建单元314(例如加法器或求和器314)可以用于通过以下方式将经重建残差块313添加到预测块365以获取样本域中的经重建块315：例如，将经重建残差块313的样本值和预测块365的样本值相加。
滤波
环路滤波器单元320(在译码环路中或之后)用于对经重建块315进行滤波，以获取经滤波块321，从而顺利进行像素转变或以其它方式提高视频质量，等等。环路滤波器单元320可以包括一个或多个环路滤波器，例如，去块效应滤波器、样本自适应偏移(sample-adaptive offset，SAO)滤波器或一个或多个其它滤波器，例如，双边滤波器、自适应环路滤波器(adaptive loop filter，ALF)、锐化或平滑滤波器、协同滤波器或其任意组合。虽然环路滤波器单元320在图3中示为环内滤波器，但在其它配置中，环路滤波器单元320可以实施为环后滤波器。
解码图像缓冲区
随后将一个图像中的经解码视频块321存储在解码图像缓冲区330中，解码图像缓冲区330存储经解码图像331作为参考图像，以便后续对其它图像进行运动补偿和/或输出或显示。
解码器30用于通过输出单元312等输出经解码图像311，向用户呈现或供用户查看。
预测
帧间预测单元344在功能上可以与帧间预测单元244(特别是与运动补偿单元)相同，帧内预测单元354在功能上可以与帧内预测单元254相同，并根据(例如由熵解码单元304等解析和/或解码)从经编码图像数据21接收的分割方式和/或预测参数或相应的信息来执行划分或分割决策和执行预测。模式应用单元360可以用于根据经重建图像、块或相应的样本(经滤波或未经滤波)对每个块执行预测(帧内预测或帧间预测)，以获取预测块365。
当视频条带被译码为经帧内译码(I)条带时，模式应用单元360中的帧内预测单元354用于根据指示(signal)的帧内预测模式和来自当前帧或图像的先前经解码块的数据为当前视频条带的图像块生成预测块365。当视频图像被译码为经帧间译码(例如B或P)条带时，模式应用单元360中的帧间预测单元344(例如运动补偿单元)用于根据运动矢量和从熵解码单元304接收的其它语法元素为当前视频条带的视频块生成预测块365。对于帧间预测，可以从其中一个参考图像列表内的一个参考图像产生这些预测块。视频解码器30可以根据存储在DPB 330中的参考图像，使用默认构建技术来构建参考帧列表0和列表1。除了条带(例如视频条带)之外或作为条带的替代，相同或类似的过程可以应用于使用分块组(例如视频分块组)和/或分块(例如视频分块)的实施例或由这些实施例应用，例如，视频可以使用I、P或B分块组和/或分块进行译码。
模式应用单元360用于通过解析运动矢量或相关信息以及其它语法元素为当前视频条带的视频块确定预测信息，并使用该预测信息为正在解码的当前视频块生成预测块。例如，模式应用单元360使用接收到的一些语法元素确定用于对视频条带的视频块进行译码的预测模式(例如帧内预测或帧间预测)、帧间预测条带类型(例如B条带、P条带或GPB条带)、用于条带的一个或多个参考图像列表的构建信息、用于条带的每个经帧间编码的视频块的运动矢量、用于条带的每个经帧间译码的视频块的帧间预测状态以及其它信息，以对当前视频条带中的视频块进行解码。除了条带(例如视频条带)之外或作为条带的替代，相同或类似的过程可以应用于使用分块组(例如视频分块组)和/或分块(例如视频分块)的实施例或由这些实施例应用，例如，视频可以使用I、P或B分块组和/或分块进行译码。
图3中所示的视频解码器30的实施例可以用于使用条带(也称为视频条带)对图像进行分割和/或解码。一个图像可以分割成一个或多个(通常不重叠的)条带或使用一个或多个(通常不重叠的)条带进行解码，每个条带可以包括一个或多个块(例如CTU)。
图3所示的视频解码器30的实施例可以用于使用分块组(也称为视频分块组)和/或分块(也称为视频分块)对图像进行分割和/或解码。一个图像可以分割成一个或多个(通常不重叠的)分块组或使用一个或多个(通常不重叠的)分块组进行解码；每个分块组可以包括一个或多个块(例如CTU)或一个或多个分块等；每个分块可以为矩形等并可以包括一个或多个完整或部分块(例如CTU)等。
视频解码器30的其它变型可以用于对经编码图像数据21进行解码。例如，解码器30可以在没有环路滤波器单元320的情况下生成输出视频流。例如，基于非变换的解码器30可以在没有逆变换处理单元312的情况下针对某些块或帧直接反量化残差信号。在另一种实现方式中，视频解码器30可以包括组合成单个单元的反量化单元310和逆变换处理单元312。
应当理解的是，在编码器20和解码器30中，可以对当前步骤的处理结果做进一步处理，然后输出到下一步骤。例如，在插值滤波、运动矢量推导或环路滤波之后，可以对插值滤波、运动矢量推导或环路滤波的处理结果进行进一步的运算，例如限幅(clip)或移位(shift)运算。
需要说明的是，可以对当前块的推导运动矢量(包括但不限于仿射模式下的控制点运动矢量，仿射模式、平面模式、ATMVP模式下的子块运动矢量，时间运动矢量等)进行进一步运算。例如，根据运动矢量的表示位将该运动矢量的值限制在预定义范围内。如果运动矢量的表示位为bitDepth，则范围为–2^(bitDepth–1)～2^(bitDepth–1)–1，其中，“^”表示幂次方。例如，如果bitDepth设置为16，则范围为–32768～32767；如果bitDepth设置为18，则范围为–131072～131071。例如，对推导出的运动矢量(例如，一个8×8块中的4个4×4子块的MV)的值进行限制，使得这4个4×4子块MV的整数部分之间的最大差值不超过N个像素，例如不超过1个像素。这里提供了两种根据bitDepth来限制运动矢量的方法。
方法1：通过平滑运算来去除溢出的最高有效位(most significant bit，MSB)
ux＝(mvx+2bitDepth)％2bitDepth (1)
mvx＝(ux>＝2bitDepth–1)？(ux–2bitDepth):ux (2)
uy＝(mvy+2bitDepth)％2bitDepth (3)
mvy＝(uy>＝2bitDepth–1)？(uy–2bitDepth):uy (4)
其中，mvx为一个图像块或子块的运动矢量的水平分量，mvy为一个图像块或子块的运动矢量的垂直分量，ux和uy表示中间值。
例如，如果mvx的值为–32769，则使用公式(1)和(2)之后得到的值为32767。在计算机系统中，以二进制补码的形式存储十进数。–32769的二进制补码为1,0111,1111,1111,1111(17位)，然后丢弃MSB，因此得到的二进制补码为0111,1111,1111,1111(十进数为32767)，这与使用公式(1)和(2)之后得到的输出结果相同。
ux＝(mvpx+mvdx+2bitDepth)％2bitDepth (5)
mvx＝(ux>＝2bitDepth–1)？(ux–2bitDepth):ux (6)
uy＝(mvpy+mvdy+2bitDepth)％2bitDepth (7)
mvy＝(uy>＝2bitDepth–1)？(uy–2bitDepth):uy (8)
这些运算可以在对mvp和mvd求和的过程中执行，如公式(5)至公式(8)所示。
方法2：对值进行限幅来去除溢出的MSB
vx＝Clip3(–2bitDepth–1,2bitDepth–1–1,vx)
vy＝Clip3(–2bitDepth–1,2bitDepth–1–1,vy)
其中，vx为一个图像块或子块的运动矢量的水平分量，vy为一个图像块或子块的运动矢量的垂直分量，x、y和z分别与MV限幅过程的3个输入值对应，函数Clip3的定义如下：
Figure BDA0003554339920000191
图4为本发明一个实施例提供的视频译码设备400的示意图。视频译码设备400适用于实现本文描述的公开实施例。在一个实施例中，视频译码设备400可以是解码器(例如图1A中的视频解码器30)或编码器(例如图1A中的视频编码器20)。
视频译码设备400包括：用于接收数据的入端口410(或输入端口410)和接收单元(Rx)420；用于处理所述数据的处理器、逻辑单元或中央处理器(central processingunit，CPU)430；用于发送所述数据的发送单元(Tx)440和出端口450(或输出端口450)；用于存储所述数据的存储器460。视频译码设备400还可以包括与入端口410、接收单元420、发送单元440和出端口450耦合的光电(optical-to-electrical，OE)组件和电光(electrical-to-optical，EO)组件，用作光信号或电信号的出口或入口。
处理器430通过硬件和软件来实现。处理器430可以实现为一个或多个CPU芯片、一个或多个核(例如多核处理器)、一个或多个FPGA、一个或多个ASIC和一个或多个DSP。处理器430与入端口410、接收单元420、发送单元440、出端口450和存储器460通信。处理器430包括译码模块470。译码模块470实现上文描述的公开实施例。例如，译码模块470执行、处理、准备或提供各种译码操作。因此，将译码模块470包含在内为视频译码设备400的功能提供了实质性的改进，并且影响了视频译码设备400到不同状态的转换。可选地，以存储在存储器460中并由处理器430执行的指令来实现译码模块470。
存储器460可以包括一个或多个磁盘、一个或多个磁带机以及一个或多个固态硬盘，并且可以用作溢出数据存储设备，以在选择程序来执行时存储这些程序以及存储在执行程序过程中读取的指令和数据。例如，存储器460可以是易失性和/或非易失性的，并且可以是只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、三态内容寻址存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(static random-access memory，SRAM)。
图5为一个示例性实施例提供的装置500的简化框图。装置500可以用作图1A的源设备12和目的地设备14中的任一个或两个。
装置500中的处理器502可以是中央处理单元。可选地，处理器502可以是现有的或今后将开发出的能够操作或处理信息的任何其它类型的设备或多个设备。虽然所公开的实现方式可以使用如图所示的处理器502等单个处理器来实施，但使用多个处理器可以提高速度和效率。
在一种实现方式中，装置500中的存储器504可以是只读存储器(read onlymemory，ROM)设备或随机存取存储器(random access memory，RAM)设备。任何其它合适类型的存储设备都可以用作存储器504。存储器504可以包括处理器502通过总线512访问的代码和数据506。存储器504还可包括操作系统508和应用程序510，应用程序510包括至少一个程序，这个程序使得处理器502执行本文所述方法。例如，应用程序510可以包括应用1至N，还可以包括执行本文所述方法的视频译码应用。
装置500还可以包括一个或多个输出设备，例如显示器518。在一个示例中，显示器518可以是将显示器与触敏元件组合的触敏显示器，该触敏元件能够用于感测触摸输入。显示器518可以通过总线512耦合到处理器502。
虽然装置500中的总线512在本文中描述为单个总线，但是总线512可以包括多个总线。此外，辅助存储器514可以直接耦合到装置500中的其它组件或可以通过网络被访问，并且可以包括单个集成单元(例如一个存储卡)或多个单元(例如多个存储卡)。因此，装置500可以通过多种配置实现。
图6示出了方向性帧内预测模式的一个示例。图中的箭头表示可选择的帧内预测方向。具体地，在图6中，水平帧内预测模式表示为模式18，垂直帧内预测模式表示为模式50。
2018年4月10日至20日在美国圣地亚哥举办的会议中发表的文献JVET-J0053“用于帧间预测图像的帧内预测模式传播(Intra-prediction Mode Propagation for Inter-pictures)”中，已经提出将帧间-帧内预测方法作为其它可能的预测模式用于视频编码和解码中。通过对亮度分量进行帧间-帧内预测，使用帧内预测和当前CU中的左上方4×4子块的传播帧内预测模式(intra-prediction mode，IPM)生成一个预测块P1，并且使用帧间预测和当前CU的运动信息生成另一个预测块P2。最终的预测块P通过预测块P1和P2的加权和生成，如下所示：
P(x,y)＝(w1(x,y)×P1(x,y)+w2(x,y)×P2(x,y))＞＞s，
其中，(x,y)是当前块(current block，CU)中的样本的坐标，w1是P1的权重值，w2是P2的权重值，w1+w2＝2s，s是大于0的整数。
对于亮度编码，权重值w1和w2与位置相关，它们可以通过二次函数计算为：
w1(x,y)＝(a×x2+b×y2+c×x×y+d×x+e×y+f)＞＞s，
其中，a、b、c、d、e和f这6个参数是离线训练的。
JVET-J0053中提出的帧间-帧内预测机制可以应用于使用融合模式或FRUC模式的经帧间译码块。
术语“融合模式”使得运动信息(例如一个或多个运动矢量)可以从相邻预测块得到。具体地，在编码器和解码器侧，以相同的方式生成候选运动矢量列表。然后，指示指向从列表中选出的候选的索引就可以，而不是指示一个块的运动矢量。
术语“FRUC”是指帧率上转换(Frame-Rate Up-Conversion)。FRUC用于提高视频的时间分辨率(帧率)，推导视频中的两个(例如连续)图像之间的运动信息，并根据该运动信息对中间图像进行插值。上述运动信息可以包括运动矢量和/或参考图像等。支持FRUC不需要额外指示。
根据JVET-J0053，对于使用融合模式的CU，多达4个帧间-帧内融合候选插入到候选列表中。帧间-帧内融合候选复制之前插入的正常融合候选的运动信息。因此，融合候选列表的数量增加到4。在编码器侧，只需要再进行4次绝对变换差和(Sum of AbsoluteTransformed Difference，SATD)检查，而不需要额外的RDO检查。对于使用FRUC模式的CU，当帧间-帧内预测适用时，指示一个额外标志。如果该标志等于1，则使用帧间-帧内预测。在编码器侧，对于每种FRUC模式，再增加一次RDO测试和帧间-帧内预测。
JVET-J0053中的帧间-帧内预测只适用于CU的宽度和高度均不大于64的情况。然而，需要说明的是，一般而言，在本发明的一些实施例中，不存在这种限制且帧间-帧内预测可以应用于任意大小的CU。
2018年10月3日至12日在中国澳门举办的会议中发表的文献JVET-L0100“CE10.1.1：改进AMVP模式、跳过模式或融合模式和帧内模式的多假设预测(CE10.1.1:Multi-hypothesis prediction for improving AMVP mode,skip or merge mode,andintra mode)”描述了一种类似方法，称为多假设预测。当使用多假设预测来改进帧内模式时，多假设预测一种帧内预测和一种使用融合CU模式的帧间预测组合起来，即指示用于推导运动矢量和参考索引的索引值。在融合CU模式中，为融合模式指示一个标志，以在该标志为真时从帧内候选列表中选择帧内模式。对于亮度分量，帧内候选列表从DC模式、平面模式、水平模式和垂直模式这4种帧内预测模式推导出，并且帧内候选列表的数量根据块的形状可以是3或4。当CU宽度大于两倍CU高度时，帧内预测模式列表中不包括水平模式；当CU高度大于两倍CU宽度时，从帧内预测模式列表中移除垂直模式。通过帧内模式索引选择的一种帧内预测模式和通过融合索引选择的一种融合索引预测使用加权平均进行组合。对于色度分量，DM_CHROMA的使用始终不需要额外指示，即，使用的是亮度分量的帧内预测模式。DM_CHROMA表示待使用的预测模式与并置亮度块的预测模式相同。
当选择DC模式或平面模式作为帧内模式或者块宽度或块高度小于4时，帧内预测和帧间预测使用相等权重。对于宽度和高度大于或等于4的块，当选择的是水平/垂直模式时，首先将块中的预测样本垂直/水平划分为4个等面积区域。每个权重集表示为(w_intrai,w_interi)并应用于对应的区域，其中，i的范围为1到4，(w_intra1,w_inter1)＝(6,2)，(w_intra2,w_inter2)＝(5,3)，(w_intra3,w_inter3)＝(3,5)，(w_intra4,w_inter4)＝(2,6)。(w_intra1,w_inter1)对应于最靠近参考样本的区域，(w_intra4,w_inter4)对应于最远离参考样本的区域。然后，可以通过将两种加权预测相加并右移3位，计算得到组合预测。此外，预测值的帧内假设的帧内预测模式可以保存，供以下相邻块参考。
JVET-L0100中描述的方法的另一名称是组合的帧间-帧内预测(Combined Inter-Intra prediction，CIIP)。此名称将进一步用于组合帧内预测和帧间预测的结果以获得当前块(current block，CU)的预测块的方法。
2019年1月9日至18日在摩洛哥马拉喀什举办的会议中发表的文献JVET-M0096“CE10相关：帧间-帧内预测组合(CE10-related:Inter-intra prediction combination)”描述了一种改进的帧间-帧内预测混合技术。第一，在帧间-帧内模式中只使用帧内平面模式。其次，在混合过程中，适应性地选择经平面融合预测样本和相邻经重建样本的权重。
第一方面，将在帧间-帧内预测中使用的帧内模式的数量从4减少到仅l(即平面模式)，简化这种模式。第二方面，通过位置相关帧间-帧内组合来提高帧间-帧内模式的性能。在这种组合方案中，使用位置相关权重将上方和左侧经重建样本与经平面融合预测样本混合。图7示出了这一点。图7示出了根据上方样本x和左侧样本y预测的8×8当前CU中的样本。
此外，根据相邻经帧内译码块的数量适应性地选择帧内预测样本和帧间预测样本的权重(如图8所示)。使用以下公式进行混合：
pred(x,y)＝(wT*top<<2+wL*left<<2+(32–wL–wT)*(wInter*Merge(x,y)+wIntra*PL(x,y))+64)>>7，
其中，
wT＝16>>((y<<1)>>scl)
wL＝16>>((x<<1)>>scl)
scl＝(log2(width)+log2(height)–2)>>2。
(wIntra,wInter)权重适应性地设置如下。如果上方和左侧相邻样本都经过帧内译码，则(wIntra,wInter)被设置为(3,1)。如果这些块中的一个块经过帧内译码，则这些权重是相同的，即(2,2)，否则这些权重被设置为(1,3)。
然而，在JVET-M0096中，权重值的适应性选择取决于相邻块使用帧内预测模式还是帧间预测模式进行预测。由于这种适应性权重分配机制只是依赖于相邻块的一个属性，因此需要进一步改进。
根据一个实施例，确定相邻块的多个属性，并使用这多个属性更好地确定帧内预测块和帧间预测块的权重。具体地，可以使用组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式来预测相邻块，上述任一机制都未考虑这一点。通过考虑相邻块的其它属性，可以在一个实施例的CIIP方法中选择更合适的帧内权重值和帧间权重值。
具体地，通过使用相邻块的权重信息来确定被预测块的帧内预测分量和帧间预测分量的一个或多个权重，从而执行上述操作。
用于在确定当前块的预测块时确定帧间预测块和帧内预测块的权重的相邻块可以具有相对于被预测的当前块的不同位置。此外，用于推导当前块的一个或多个权重的相邻块的数量(还表示为“num_cand”或候选的数量)也可以不同。一般而言，可以是(包括)1个和所有相邻块之间的任意数量。
可以用于确定在当前块的CIIP中使用的权重的相邻块的示例性位置如图8至图12所示。
在这些图中，使用CIIP方法对当前块(802、902、1002、1102、1202)执行预测，以获得预测样本的值。使用关于相邻块(分别为801、901、1001、1101、1201)的预测模式的数据确定帧内分量和帧间分量(块)的权重。
图8示出了一个实施例提供的使用CIIP方法待预测的当前块802和位于当前块802的左下方和右上方的相邻块801。块801用于推导帧内预测块和帧间预测块的权重，以形成当前块802的组合预测块。然后，可以根据DC模式、平面模式、垂直模式或水平模式等帧内预测模式推导帧内预测块。然而，本发明不限于任何特定类型的帧内预测，通常还可以使用方向性预测。
待使用的帧内预测模式可以是预定义的。例如，可以存在标准定义并始终使用的单一模式，例如支持的平面模式。又如，可以根据相邻块使用的帧内模式或根据不同类型的确定方式等从多种帧内模式中选择帧内模式。
类似地，帧间预测可以是任何其它帧间预测，包括融合模式、运动估计、FRUC或任何其它方法。可以使用参考上述文献提到的类似办法。
换句话说，本发明适用于CIIP，其对通过任何类型的帧间预测和帧内预测确定的帧间预测块和帧内预测块进行加权。
如图9所示，除了最右侧的上边界块和最左侧的边界块801之外，还可以使用左上方相邻块(左上方对角相邻块)来推导在当前块902的CIIP预测中使用的权重，使得共有3个相邻块901的预测属性用于确定在当前块902的CIIP中使用的权重。
图10示出了另一个示例，其中，左下方块、左上方块、左上方块和右上方块被确定为相邻块1001。这里的左下方块表示当前CU左边界上的最低块。左上方块表示与当前CU共用左边界的最高块。右上方块表示当前CU上边界上的最右侧块，而左上方块表示当前CU上边界上的最左侧块。在当前块1002的预测中使用的权重可以根据相邻块1001的预测属性确定。
此外，图11示出了另一个示例，其中，除了左下方块、左侧块、上方块和右上方块之外，第五块即左上方块也包括在多个相邻块1101中，以用于根据CIIP方法确定在当前块1102的预测中使用的权重。这对应于图10中的各个块和对角(左上方)块。
图12示出了另一个示例，其中，左侧块、左上方和上方块1201用于确定在当前块1202的CIIP中使用的权重。
也就是说，根据一个实施例，一个或多个相邻块可以用于确定在对当前块的值进行预测的CIIP方法中使用的权重。
在一些实施例中，一种在视频编码或解码中对当前块进行组合的帧间-帧内预测的方法包括：确定与当前块相邻的相邻块的预测信息，其中，所述预测信息表示包括组合的帧间-帧内预测模式的多种预测模式中的用于预测所述相邻块的一种预测模式。此外，所述方法包括：将所述当前块的预测块确定为帧内预测块和帧间预测块的加权和，其中，所述帧间预测块和帧间预测块的权重根据所述相邻块的所述预测信息确定。
换句话说，当前块要使用CIIP方法进行预测，其中，当前块的值被确定为两个预测块的加权和。两个预测块中的一个已经使用帧间预测模式进行预测，而两个预测块中的另一个已经使用帧内预测模式进行预测。
此外，在帧间预测块和帧内预测块的所述加权和中使用的权重基于相邻块的预测信息。也就是说，关于用于预测相邻块的预测模式的信息用于确定在当前块的CIIP的加权和中使用的权重。
具体地，相邻块的预测信息包括关于相邻块是否已经使用CIIP方法进行预测的信息。
换句话说，根据相邻块是否已经使用CIIP模式进行预测，确定用于预测当前块的帧间预测块和帧内预测块的加权和的权重。
根据相邻块是否已经使用CIIP方法进行预测，确定用于预测当前块的帧间预测块和帧内预测块的加权和的权重，使得当前块的预测块更准确。
此外，在一个实施例中，相邻块的预测信息表示的预测模式可以表示相邻块是否已经使用帧间预测模式或帧间预测模式进行预测。也就是说，相邻块的预测信息可以表示是否已经使用帧间预测模式、帧内预测模式或CIIP对相邻块进行预测。
在一个实施例中，对于相邻块的预测模式是帧内预测模式、组合的帧间-帧内预测模式和帧内预测模式的情况，帧间预测块和帧内预测块的权重不同。
例如，帧内预测相邻块的数量越多表示在CIIP中对所述帧内预测块进行加权使用的权重越高。需要说明的是，如果相邻块是CIIP块，则相邻块还包括经帧内译码部分。因此，随着CIIP块增多，CIIP中的帧内预测块的权重也可能增加。在一个示例中，帧内预测块的权重比CIIP(和帧间)块的权重增加得快。需要说明的是，如果相邻块可以具有不同的大小，则可以不根据帧内预测块和/或CIIP块的数量，而是根据当前CU边界上的帧内预测块和/或CIIP块的比例来确定(计算或推导)权重。一般而言，用于确定权重的相邻块可以但不需要对应于相邻CU。因此，相邻块被定义为与给定块具有相邻样本。
换句话说，在当前块的CIIP中使用的权重可以根据是否已经使用帧间预测模式、CIIP或帧内预测模式来预测一个相邻块进行确定。例如，在已经使用帧内预测模式来预测相邻块的情况下，权重(wIntra,wInter)可以被设置为(3,1)；此外，在已经使用CIIP模式来预测相邻块的情况下，权重(wIntra,wInter)可以被设置为(2,2)；另外，在已经使用帧间预测模式来预测相邻块的情况下，权重(wIntra,wInter)可以被设置(1,3)。
虽然在该示例中，权重(wIntra,wInter)被设置为(3,1)、(2,2)和(1,3)中的一个，但本发明并不限于此，权重(wIntra,wInter)可以被确定为任何其它权重，例如已经使用帧内预测模式、CIIP或帧间预测模式进行预测的相邻块下的(0,2)、(1,1)和(2,0)。
在多个相邻块用于确定要用于当前块的CIIP中的权重的情况下，每个相邻块的预测信息可以用于确定权重。
也就是说，每个块的预测信息表示对应块是否已经使用帧间预测、帧内预测或CIIP进行预测。
用于当前块的CIIP的加权和的权重可以根据相邻块的预测信息表示的相邻块的预测模式确定。
图13为一个实施例提供的一种确定要用于当前块的CIIP的权重的方法的步骤的流程图。根据图13所示的方法，确定估计值。该估计值表示为“和”。此外，该方法包括在所有num_cand个相邻块上进行循环。如上所述，为了确定权重，可以使用上边界和/或左边界上的所有相邻块。在这种情况下，num_cand对应于所有可用(例如，已经处理的，即在编码端编码并在解码端解码的)相邻块的数量。然而，为了降低复杂度，num_cand可以是一个或多个相邻块(编码器和解码器均已知，可以由标准预定义或能够在经译码视频的码流中配置)。在上文论述的图8至图12中，相应的num_cand是2、3、4、5和3。这里考虑的相邻块可以具有相同的大小。
在这些示例中，假设当前CU的左上边界上的各个块在编码器和解码器侧可用，这对应于从左到右和从上到下对块进行处理。然而，本发明并不限于这种处理(编码和解码)顺序。如果该顺序是从右到左和从下到上，则右边界和下边界相邻块可用。
相邻块是与当前块相邻的块。如上所述，一个或多个相邻块可以用于确定权重。具体地，并非所有相邻块都必须用作确定权重时的相邻块。用于权重确定的相邻块使用相邻块索引“i”表示。
在步骤1301中，通过将所述值设置为0，初始化相邻块索引i和估计值和。
在步骤1302中，从num_cand个块中将索引为i的相邻块(的预测模式)检索为标记“B”的相邻块。所述相邻块B随后用于确定估计值和的增量。实际上不需要检索相邻块。图13是示意图。在一种实现方式中，可以直接检索(获取)和测试预测信息。
具体地，在步骤1303中，根据与相邻块B对应的预测信息，确定是否已经使用帧内预测模式预测了相邻块B。如果确定已经使用帧内预测模式预测了相邻块B(步骤1303的结果为真)，则在步骤1304中，将估计值和加2，并进行到步骤1307。如果确定尚未使用帧内预测方法来预测相邻块B(步骤1303的结果为假)，则进入步骤1305。
在步骤1305中，根据与相邻块B对应的预测信息，确定是否已经使用CIIP模式预测了相邻块B。如果确定已经使用CIIP模式预测了相邻块B(步骤1305的结果为真)，则在步骤1306中，将估计值和加1，并进行到步骤1307。如果确定尚未使用CIIP模式来预测相邻块B(步骤1305的结果为假)，则进行到步骤1307。
在步骤1307中，确定相邻块索引i是否小于要用于确定在当前块的CIIP中使用的权重的相邻块的总数量。相邻块的总数量如图13中的num_cand所示。如果相邻块索引i小于num_cand(步骤1307的结果为真)，则在步骤1308中，将i加1，并进行到步骤1302。也就是说，对所有相邻块执行步骤1302至步骤1307，这些相邻块用于确定在当前块的CIIP中使用的权重。如果确定相邻块索引i不小于num_cand(即等于或大于num_cand)，则进行到步骤1309。
在步骤1309中，确定当前块(指示为wIntra)的CIIP中使用的经帧内译码块的权重与估计值和成比例。具体地，将wIntra设置为与和成比例的归一化值。具体的，wIntra根据以下公式设置：
wIntra＝wMax/2–sum_range/2+sum
sum_range等于和的最大增量乘以相邻块的数量得到的值。在图13所示的示例中，和的最大可能增量是2。也就是说，在该示例中，sum_range等于相邻块的数量的2倍。具体地，sum_range表示理论上可能的最大和值。
wMax是用于将加权和进一步归一化到输入值的范围的权重归一化值。wMax定义定点格式的计算精度，并通过以下方式选择：
(wInter+wIntra)/wMax＝1。
因此，wMax的选定值越大表示最终CIIP预测值的计算精度就越高。最终CIIP预测值的值通常是2的幂并大于sum_range。
当前块的CIIP中使用的经帧间译码块的权重(如wInter所示)被确定为帧内预测块的权重的补数。具体地，wInter可以被设置为：
wInter＝wMax–wIntra。
虽然在图13所示的实施例中，权重wIntra被设置为与和成正比，但本发明并不限于此。权重wIntra可以根据wIntra随着估计值和的增加而增加的任何依赖关系来设置。因此，wInter被设置为wIntra的补数。也就是说，当估计值和增加时，wInter减少。
此外，虽然在图13中，增量值在相邻块的预测模式为帧内预测模式的情况下是2，增量值在相邻块的预测模式为CIIP模式的情况下是1，但本发明并不限于此。具体地，不是2的增量值可以与帧内预测模式关联，不是1的增量值可以与CIIP模式关联。
此外，在图13所示的方法中，估计值在相邻块的预测模式为帧间预测模式的情况下不增加。也就是说，在图13所示的方法中，与帧间预测模式关联的增量值隐式地被设置为0。然而，本发明并不限于此。具体地，增量值也可以与帧间预测模式关联。在这种情况下，估计值在相邻块的预测模式是帧间预测模式的情况下加所述增量值。
此外，与帧间预测模式、CIIP模式和帧内预测模式关联的增量值可以相互不同。优选地，与CIIP模式关联的增量值在与帧间预测模式和帧内预测模式关联的增量值之间。也就是说，增量值可以相互不同。
如图14和图15所示，基于矩阵的帧内预测(matrix-based intra prediction，MIP)也称为仿射线性加权帧内预测(Affine Linear Weighted Intra Prediction，ALWIP)，使用参考样本来推导预测样本的值。为了预测宽度为W和高度为H的矩形块中的样本，MIP以块左侧的一行H个经重建相邻边界样本和块上方的一行W个经重建相邻边界样本为输入。如果经重建样本不可用，则像现有技术中的帧内预测那样生成这些样本。
预测信号的生成主要基于以下三个步骤：
1.在边界样本中，通过求平均在W＝H＝4的情况下提取4个样本，而在其它所有情况下提取8个样本。
2.以平均样本作为输入执行矩阵矢量乘法，然后加上偏移。结果是原始块中的一组子采样后样本上的简化预测信号。
3.通过线性插值从该组子采样上的预测信号中生成剩余位置上的预测信号，线性插值是每个方向上的单步长线性插值。
生成预测信号所需的矩阵和偏移矢量是从3个矩阵集合S0、S1和S2中选择的。集合S0包括18个矩阵
Figure BDA0003554339920000261
和18个偏移矢量
Figure BDA0003554339920000262
每个矩阵具有16行和4列，每个偏移矢量的大小为16。该集合中的矩阵和偏移矢量用于大小为4×4的块。集合S1包括10个矩阵
Figure BDA0003554339920000263
和10个偏移矢量
Figure BDA0003554339920000264
每个矩阵具有16行和8列，每个偏移矢量的大小为16。该集合中的矩阵和偏移矢量用于大小为4×8、8×4和8×8的块。最后，集合S2包括6个矩阵
Figure BDA0003554339920000265
和6个偏移矢量
Figure BDA0003554339920000266
每个矩阵具有64行和8列，每个偏移矢量的大小为64。该集合中的矩阵和偏移矢量或这些矩阵和偏移矢量的一部分用于其它所有块形状。
计算矩阵矢量积所需的乘法的总次数始终小于或等于4·W·H。换句话说，对于ALWIP模式，每个样本最多需要4次乘法。
边界的求平均
在第一步骤中，将输入边界bdrytop和bdryleft减小到较小的边界
Figure BDA0003554339920000267
和
Figure BDA0003554339920000268
这里，
Figure BDA0003554339920000269
和
Figure BDA00035543399200002610
在4×4块的情况下都包括2个样本，而在其它所有情况下都包括4个样本。
在4×4块的情况下，当0≤i<2时，定义
Figure BDA0003554339920000271
类似地定义
Figure BDA0003554339920000272
否则，如果块宽度W等于W＝4·2k，则当0≤i<4时，定义
Figure BDA0003554339920000273
类似地定义
Figure BDA0003554339920000274
两个减小的边界
Figure BDA0003554339920000275
和
Figure BDA0003554339920000276
级联到一个减小的边界矢量bdryred，对于形状为4×4的块，该边界矢量的大小为4，对于其它所有形状的块，该边界矢量的大小为8。如果mode是指ALWIP模式，则这种级联定义如下：
Figure BDA0003554339920000277
最后，对于大块上的子采样后预测信号的插值，需要平均边界的第二版本。也就是说，如果min(W,H)>8和W≥H，则W＝8*2l，而当0≤i<8时，定义
Figure BDA0003554339920000278
如果min(W,H)>8和H>W，则类似地定义
Figure BDA0003554339920000279
通过矩阵矢量乘法生成减小的预测信号
在减小的输入矢量bdryred中，生成减小的预测信号predred。预测信号是宽度Wred为和高度Hred为的下采样后块上的信号。这里，Wred和Hred被定义为：
Figure BDA00035543399200002710
Figure BDA00035543399200002711
减小的预测信号predred是通过计算矩阵矢量乘积再加上偏移得到的：
predred＝A·bdryred+b。
这里，A是一个矩阵，在W＝H＝4的情况下具有Wred·Hred行和4列，而在其它所有情况下具有Wred·Hred行和8列。b是大小为Wred·Hred的矢量。
矩阵A和矢量b是从集合S0、S1和S2中的一个集合中选择的。如下定义索引(还称为块大小类型)idx＝idx(W,H)：
Figure BDA0003554339920000281
此外，如下设置m：
Figure BDA0003554339920000282
然后，如果idx≤1或idx＝2且min(W,H)>4，则设置
Figure BDA0003554339920000283
和
Figure BDA0003554339920000284
在idx＝2且min(W,H)＝4的情况下，假设A是通过省略
Figure BDA0003554339920000285
中的每行而产生的矩阵，该矩阵在W＝4的情况下对应于下采样后块中的奇数x坐标，或者在H＝4的情况下对应于下采样后块中的奇数y坐标。
最后，在以下情况下，将减小的预测信号替换为其转置：
·W＝H＝4且mode≥18
·max(W,H)＝8且mode≥10
·max(W,H)>8且mode≥6
在存在MIP的情况下指示帧内预测模式可以如表1所示格式化。
表1：MIP被启用时的帧内预测模式指示
Figure BDA0003554339920000286
Figure BDA0003554339920000291
MPM列表推导过程需要相邻块的帧内预测模式。然而，即使当前块不使用MIP，相邻块也可以使用MIP进行预测，因此具有与现有技术中的非MIP帧内预测模式不一致的帧内预测模式。为此，引入了一个查找表(表2至表4)，该查找表将输入MIP模式索引映射到现有技术中的帧内预测模式。
表2：块4×4的模式映射查找表
Figure BDA0003554339920000292
表3：块8×8的模式映射查找表
MIP索引 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
intraPredMode 0 1 0 1 0 22 18 18 1 0 1 0 1 0 44 0 50 1 0
表4：块16×16的模式映射查找表
MIP索引 0 1 2 3 4 5 6 7 8 9 10
intraPredMode 1 1 1 1 18 0 1 0 1 50 0
当预测MIP块时，使用相邻非MIP模式来构建该块的MPM列表。这些模式通过两个步骤映射到MIP模式：
–在第一个步骤中，将方向性帧内预测模式映射到减小的方向性模式集合(参加表5)
–在第二个步骤中，根据从减小的方向性模式集合中确定的方向性模式，确定MIP模式。
可选地，如果没有使用MIP来预测相邻块，则认为该块的模式为索引是0的MIP。
可选地，使用截断一元码完成MIP块的帧内预测模式的索引的译码，其中，截断一元码的码字到帧内预测模式索引的映射不取决于相邻块。
表5：方向性帧内预测模式到减小的方向性模式集合的映射
Figure BDA0003554339920000301
通常情况下，对于现有技术(即DC、平面或方向性)帧内预测，预测信号还可以通过位置相关预测组合(position dependent prediction combination，PDPC)进行更新，如图16所示。这一过程从参考样本集合中推导增量值并推导权重值，该权重值取决于左边界或上边界到更新中样本之间的距离。距离值越大表示对应的权重值越小。根据PDPC，预测样本增加了增量值乘以确定的权重值得到的值。
根据VVC规范草案，PDPC过程定义如下：
该过程的输入包括：
–帧内预测模式predModeIntra；
–变量nTbW，表示变换块宽度；
–变量nTbH，表示变换块高度；
–变量refW，表示参考样本宽度；
–变量refH，表示参考样本高度；
–预测样本predSamples[x][y]，其中，x＝0..nTbW–1，y＝0..nTbH–1；
–相邻样本p[x][y]，其中，x＝–1，y＝–1..refH–1以及x＝0..refW–1，y＝–1；
–变量cIdx，表示当前块的颜色分量。
该过程的输出是修改后的预测样本predSamples[x][y]，其中，x＝0..nTbW–1，y＝0..nTbH–1。
根据cIdx的值，函数clip1Cmp设置如下：
–如果cIdx等于0，则clip1Cmp被设置为Clip1Y；
–否则，clip1Cmp被设置为Clip1C。
变量nScale推导如下：
–如果predModeIntra大于INTRA_ANGULAR50，则nScale通过第8.4.5.2.12节详述的invAngle被设置为Min(2,Log2(nTbH)–Floor(Log2(3*invAngle–2))+8)；
–如果predModeIntra小于INTRA_ANGULAR18，则nScale通过第8.4.5.2.12节详述的invAngle被设置为Min(2,Log2(nTbW)–Floor(Log2(3*invAngle–2))+8)；
–否则，nScale被设置为((Log2(nTbW)+Log2(nTbH)–2)>>2)。
参考样本阵列mainRef[x]和sideRef[y](其中，x＝0..refW–1，y＝0..refH–1)推导如下：
mainRef[x]＝p[x][–1]
sideRef[y]＝p[–1][y]
变量refL[x][y]、refT[x][y]、wT[y]、wL[x]和wTL[x][y](其中，x＝0..nTbW–1，y＝0..nTbH–1)推导如下：
–如果predModeIntra等于INTRA_PLANAR或INTRA_DC，则以下内容适用：
refL[x][y]＝p[–1][y]
refT[x][y]＝p[x][–1]
wT[y]＝32>>((y<<1)>>nScale)
wL[x]＝32>>((x<<1)>>nScale)
wTL[x][y]＝0
–如果predModeIntra等于INTRA_ANGULAR18或INTRA_ANGULAR50，则以下内容适用：
refL[x][y]＝p[–1][y]
refT[x][y]＝p[x][–1]
wT[y]＝(predModeIntra＝＝INTRA_ANGULAR18)？32>>((y<<1)>>nScale):0
wL[x]＝(predModeIntra＝＝INTRA_ANGULAR50)？32>>((x<<1)>>nScale):0
wTL[x][y]＝(predModeIntra＝＝INTRA_ANGULAR18)？wT[y]:wL[x]
–如果predModeIntra小于INTRA_ANGULAR18，且nScale大于或等于0，则以下按顺序执行的步骤适用：
1.变量dXInt[y]和dX[x][y]通过第8.4.5.2.12节详述的invAngle(取决于intraPredMode)推导如下：
dXInt[y]＝((y+1)*invAngle+256)>>9
dX[x][y]＝x+dXInt[y]
2.变量refL[x][y]、refT[x][y]、wT[y]、wL[x]和wTL[x][y]推导如下：
refL[x][y]＝0
refT[x][y]＝(y<(3<<nScale))？mainRef[dX[x][y]]:0
wT[y]＝32>>((y<<1)>>nScale)
wL[x]＝0
wTL[x][y]＝0
–如果predModeIntra大于INTRA_ANGULAR50，且nScale大于或等于0，则以下按顺序执行的步骤适用：
1.变量dYInt[x]个dY[x][y]通过第8.4.5.2.12节详述的invAngle(取决于intraPredMode)推导如下：
dYInt[x]＝((x+1)*invAngle+256)>>9
dY[x][y]＝y+dYInt[x]
2.变量refL[x][y]、refT[x][y]、wT[y]、wL[x]和wTL[x][y]推导如下：
refL[x][y]＝(y<(3<<nScale))？sideRef[dY[x][y]]:0
refT[x][y]＝0
wT[y]＝0
wL[x]＝32>>((x<<1)>>nScale)
wTL[x][y]＝0
–否则，refL[x][y]、refT[x][y]、wT[y]、wL[x]和wTL[x][y]都被设置为0。
修改后的预测样本predSamples[x][y](其中，x＝0..nTbW–1，y＝0..nTbH–1)的值推导如下：
predSamples[x][y]＝clip1Cmp((refL[x][y]*wL[x]+refT[x][y]*wT[y]–p[–1][–1]*wTL[x][y]+(64–wL[x]–wT[y]+wTL[x][y])*predSamples[x][y]+32)>>6)
帧间预测信号和帧内预测信号可以线性组合在一起，因为这是在用于组合的融合和帧内预测的加权样本预测过程中执行的。VVC规范草案中对该过程的描述如下。
该过程的输入包括：
–亮度位置(xCb,yCb)，表示当前亮度编码块(coding block)的左上方样本相对于当前图像的左上方亮度样本的位置；
–当前编码块的宽度，cbWidth；
–当前编码块的高度，cbHeight；
–两个(cbWidth)×(cbHeight)阵列，predSamplesInter和predSamplesIntra；
–变量cIdx，表示颜色分量索引；
该过程的输出是预测样本值组成的(cbWidth)×(cbHeight)阵列predSamplesComb。
变量bitDepth推导如下：
–如果cIdx等于0，则bitDepth被设置为BitDepthY；
–否则，bitDepth被设置为BitDepthC。
变量scallFact推导如下：
scallFact＝(cIdx＝＝0)？0:1 (8-838)
相邻亮度位置(xNbA,yNbA)和(xNbB,yNbB)分别被设置为(xCb–1,yCb–1+(cbHeight<<scallFact))and(xCb–1+(cbWidth<<scallFact),yCb–1)。
当X替换为A或B，变量availableX和isIntraCodedNeighbourX推导如下：
–第6.4.4节详述的用于相邻块可用性的推导过程被调用，其中，输入包括设置为(xCb,yCb)的位置(xCurr,yCurr)、设置为(xNbX,yNbX)的相邻位置(xNbY,yNbY)、设置为真的checkPredModeY和设置为0的cIdx，输出被赋值给availableX。
–变量isIntraCodedNeighbourX推导如下：
–如果availableX等于真，且CuPredMode[0][xNbX][yNbX]等于MODE_INTRA，则isIntraCodedNeighbourX被设置为真。
–否则，isIntraCodedNeighbourX被设置为假。
权重w推导如下：
–如果isIntraCodedNeighbourA和isIntraCodedNeighbourB都等于真，则w被设置为3。
–如果isIntraCodedNeighbourA和isIntraCodedNeighbourB都等于假，则w被设置为1。
–否则，w被设置为2。
当cIdx等于0，且slice_lmcs_enabled_flag等于1时，predSamplesInter[x][y](其中，x＝0..cbWidth–1，y＝0..cbHeight–1)修改如下：
idxY＝predSamplesInter[x][y]>>Log2(OrgCW)
predSamplesInter[x][y]＝Clip1Y(LmcsPivot[idxY]+(ScaleCoeff[idxY]*(predSamplesInter[x][y]–InputPivot[idxY])+(1<<10))>>11) (8-839)
预测样本predSamplesComb[x][y](其中，x＝0..cbWidth–1，y＝0..cbHeight–1)推导如下：
predSamplesComb[x][y]＝(w*predSamplesIntra[x][y]+(4–w)*predSamplesInter[x][y]+2)>>2 (8-840)
本发明公开了一种帧内预测方法，通过属于帧内预测信号和帧间预测信号的样本的线性组合将帧内预测模式和帧间预测模式组合在一起，其中，帧内预测信号可以使用MIP方法获得。
本发明的步骤如下：
在步骤1中，确定生成帧内预测信号的方法。该方法包括检查是否应该调用现有技术(方向性、DC或平面)或MIP过程以及帧内预测过程的参数，这些参数包括帧内预测模式索引和帧内预测平滑参数。帧内预测平滑参数可以包括以下参数：
–参考样本平滑滤波器类型(例如旁路滤波器或[1,2,1]/4抽头FIR滤波器)；
–插值滤波器类型(高斯或立方滤波器)；
–存在应用于帧内预测结果的位置相关预测组合。
选择帧内预测模式以获取帧内预测信号可以取决于以下之一或组合：
–相邻块的帧内预测模式；
–相邻块的大小；
–检查是否使用MIP方法来预测相邻块。
预测块的亮度分量和色度分量对应的预测信号可以通过不同方式获取。具体地，可以通过使用现有技术中的平面帧内预测获取帧内预测信号的色度分量，并且可以使用其中一种MIP模式获取预测块的亮度分量。
本发明其中一个实施例公开了使用相邻块的MIP标志来获取帧内预测信号的亮度分量。步骤如下。
在步骤1中，检查当前块的大小。在这种情况下，确定被预测块的MIP块大小类型。例如，块大小类型idx(W,H)可以根据宽度W和高度H的以下条件检查定义：
Figure BDA0003554339920000341
当块大小类型为0时，使用现有技术中的平面帧内预测获取帧内预测信号的亮度分量。否则，继续步骤2。
在步骤2中，确定相邻块801相对于待预测块802的位置，如图8所示，例如，与待预测块的左下角水平相邻的块(表示为“左”)和与待预测块的右上角垂直相邻的块(表示为“上”)。在本步骤中，检查块的可用性。在上述VVC规范草案的一部分中，“左侧”块对应于“A”块，“上方”块对应于“B”块。在本步骤中，由于变量isIntraCodedNeighbourA和isIntraCodedNeighbourB的值已经考虑了所需的可用性检查，因此可以使用这两个变量。
步骤3和步骤4是针对变量isIntraCodedNeighbourX执行的，参考与其相关的块，其中，“X”替换为“A”或“B”。
在步骤3中，当以下条件之一为假时，变量isIntraCodedNeighbourX被设置为假：
–不使用MIP方法获取块“X”的预测信号；
–块X的大小类型小于阈值(例如，idx(WX,HX)<1)。
在步骤4中，如下确定输入MIP模式。
–当两个变量isIntraCodedNeighbourA和isIntraCodedNeighbourB都被设置为假时，使用现有技术中的帧内预测模式获取帧内预测信号。
–当isIntraCodedNeighbourA或isIntraCodedNeighbourB被设置为真时，将输入MIP帧内预测模式设置为isIntraCodedNeighbourX被设置为真的块的模式。
–当两个变量isIntraCodedNeighbourA和isIntraCodedNeighbourB都被设置为真时，定义两种输入模式：modeA是用于获取块A的预测信号的MIP模式，modeB是用于获取块B的预测信号的MIP模式。
在步骤5中，将在步骤4中确定的输入MIP模式映射到映射模式。当块“X”的大小类型与待预测块的大小类型不同时，执行该映射过程，否则将映射模式设置为输入模式。
表6示出了类型大小1的模式到类型大小2的模式的映射，表7示出了类型大小2的模式到类型大小1的模式的映射。
表6：块大小类型1的模式到块大小类型2的模式的映射
Figure BDA0003554339920000342
表7：块大小类型2的模式到块大小类型1的模式的映射
块“X”的MIP模式，idx＝2 0 1 2 3 4 5 6 7 8 9 10
预测块的MIP模式，idx＝1 0 3 18 1 7 8 12 9 10 16 17
在步骤7中，当两个变量isIntraCodedNeighbourA和isIntraCodedNeighbourB都被设置为真时，对块A和块B执行检查。根据检查结果，将得到的MIP模式设置为模式A或模式B。
在特定实施例中，检查块A和块B可以定义为以下检查中的一种或组合，以便选择输出MIP模式：
–如果块A包括的样本少于块B包括的样本，则选择模式A。否则，选择模式B。
–如果块A的高度大于块B的宽度，则选择模式A。否则，选择模式B。
–如果待预测块的高度小于待预测块的宽度，则选择模式A。否则，选择模式B。
可选的步骤8可以包括确定是否对获取到的帧内预测信号执行PDPC过程。例如，当选择的是MIP模式时，不使用PDPC，否则使用PDPC。
在另一个实施例中，PDPC应用于帧内预测信号和帧间预测信号的组合结果。
在另一个实施例中，PDPC应用于帧间预测信号的结果，并且不生成帧内预测信号。
在本发明的另一个实施例中，信令机制用于定义获取帧内预测信号的模式，包括确定是否应该调用MIP过程。该过程包括两个步骤：
在步骤1中，根据相邻块的帧内预测模式构建预测模式候选列表。列表中的每个条目都包括帧内预测模式的值和表示是否使用MIP方法来获取该模式的标志。
在步骤2中，在码流中指示条目索引，使得可以使用单个索引值确定帧内预测模式和MIP标志的值。可以使用截断二进制编码表示用于指示候选模式索引值的码字。例如，当两个变量isIntraCodedNeighbourA和isIntraCodedNeighbourB都被设置为真时，候选列表可以如表8所示构建。当变量isIntraCodedNeighbourA或isIntraCodedNeighbourB被设置为真时，候选列表可以如表9或表10所示构建。当isIntraCodedNeighbourA和isIntraCodedNeighbourB都被设置为假时，不涉及信令机制，而是使用现有技术中的平面帧内预测模式获取帧内预测信号。
表8：在isIntraCodedNeighbourA和isIntraCodedNeighbourB被设置为真时用于指示候选模式索引值的码字
码字 候选模式索引0 输出模式
0 0 平面模式
10 1 模式A
11 2 模式B
表9：在isIntraCodedNeighbourA或isIntraCodedNeighbourB被设置为真时用于指示候选模式索引值的码字
码字 候选模式索引0 输出模式
0 0 平面模式
10 1 模式A/模式B
11 2 MIP模式0
表10：在isIntraCodedNeighbourA或isIntraCodedNeighbourB被设置为真时用于指示候选模式索引值的码字
码字 候选模式索引0 输出模式
0 0 平面模式
1 1 模式A/模式B
在另一个实施例中，当用于获取待预测的帧间预测块的多个运动矢量中的一个运动矢量的水平分量或垂直分量的长度超过预定阈值时，使用MIP方法来获取帧内预测信号。
在另一个实施例中，当deltaPOC值超过预定阈值时，使用MIP方法来获取帧内预测信号。deltaPOC是预测块所属图像的图像顺序编号值与用于获取待预测块的帧间预测信号的图像顺序编号值之间的差值的绝对值。
具体地，本文提供了一种在视频译码中对当前块进行组合的帧间-帧内预测的方法，其中，所述组合的帧间-帧内预测用于提供预测块，可以微调用于获取所述预测块的帧内预测块和帧间预测块的权重，如图17所示。所述方法包括以下步骤：确定1710与所述当前块相邻的相邻块的预测信息，其中，所述预测信息包括用于预测所述相邻块的预测模式。确定1720是否要使用基于矩阵的帧内预测(matrix-based intra prediction，MIP)来预测所述当前块。
将所述当前块预测1730为帧内预测块和帧间预测块的加权和(因此，所述块通过CIIP进行预测)，其中，所述帧间预测块和所述帧内预测块的权重根据所述相邻块的所述预测信息和所述确定是否要使用MIP来预测所述当前块进行确定。因此，可以根据所述相邻块的属性和是否要使用MIP来预测所述当前块这一条件微调权重(具体是所述帧内预测块相对于所述帧间预测块的权重和/或所述帧间预测块相对于所述帧内预测块的权重)，以便准确预测所述当前块。
图18示出了在视频编码中对当前块进行组合的帧间-帧内预测的方法的另一个实施例。根据所述方法，获取1810所述当前块的条件信息；根据所述获取到的条件信息，确定1820是否要使用基于矩阵的帧内预测(matrix-based intra prediction，MIP)来预测所述当前块。当确定要使用所述MIP来预测所述当前块时，通过CIIP确定所述当前块的预测块，即确定为帧内预测块和帧间预测块的加权和。
根据图18所示的方法，当确定要使用所述MIP来预测所述当前块(即，用于获取所述当前块的预测块的帧内预测块)时，对所述当前块(只)执行CIIP。因此，提供了CIIP和MIP的特定组合，该组合可能有利于提高预测值的精度。
图17和图18所示的方法可以很容易在图1A所示的源设备12和目的地设备14或者图1B和图2所示的视频编码器20和视频解码器30中实现。此外，图17和图18所示的方法可以很容易在图4所示的视频编码设备400以及图5所示的装置500中实现。
此外，提供了图19和图20所示的视频译码装置1900和2000。图17和图18所示的方法可以很容易在图19和图20所示的视频译码设备中实现，而且这些设备可以用于执行这些方法的步骤。
具体地，图19所示的视频译码设备1900包括预测信息确定单元1910，用于确定与当前块相邻的相邻块的预测信息。所述预测信息包括用于预测所述相邻块的预测模式。此外，视频译码设备1900包括基于矩阵的帧内预测(matrix-based intra prediction，MIP)确定单元1920，用于确定是否要使用MIP来预测所述当前块。此外，视频译码设备1900包括预测单元，用于：将所述当前块预测为帧内预测块和帧内预测块的加权和；根据所述相邻块的所述预测信息和所述确定是否要使用MIP来预测所述当前块，确定所述帧间预测块和所述帧内预测块的权重。
具体地，图20所示的视频译码设备2000包括条件信息获取单元2010，用于获取当前块的条件信息以确定是否要使用基于矩阵的帧内预测(matrix-based intraprediction，MIP)来预测所述当前块。此外，视频译码设备2000包括预测单元2020，用于：当确定要使用所述MIP来预测所述当前块时，将所述当前块的预测块确定为帧内预测块和帧间预测块的加权和。
此外，本文还提供了以下实施例。
1.一种在视频编码或解码中对当前块进行组合的帧间-帧内预测的方法，其中，所述方法包括：
确定与所述当前块相邻的相邻块的预测信息，其中，所述预测信息包括确定是否应该使用MIP方法来获取帧内预测信号和用于预测所述相邻块的预测模式；
将所述当前块的预测块确定为帧内预测块和帧间预测块的加权和，其中，所述帧间预测块和所述帧内预测块的权重根据所述相邻块的所述预测信息进行确定。
2.根据实施例1所述的方法，其中，
所述相邻块的所述预测信息表示的所述预测模式还包括帧间预测模式和帧内预测模式。
3.根据实施例1或2所述的方法，其中，所述确定预测信息包括：确定用于预测所述相邻块的所述预测模式是组合的帧间-帧内预测模式。
4.根据上述列举的实施例中任一个所述的方法，其中，所述确定是否应该使用MIP方法来获取帧内预测信号通过检查所述相邻块的条件来执行。
5.根据上述列举的实施例中任一个所述的方法，其中，如果相邻块和待预测块具有不同的大小类型索引，则MIP帧内预测模式通过映射过程获取。
6.根据上述列举的实施例中任一个所述的方法，其中，所述MIP帧内预测模式通过指示候选模式列表内的索引来获取。
7.根据实施例6所述的方法，其中，截断一元码用于指示候选模式列表内的帧内预测信息的索引。
8.根据上述列举的实施例中任一个所述的方法，其中，所述确定是否应该使用MIP方法来获取帧内预测信号通过检查用于获取待预测块的帧间预测信号的多个运动矢量的分量的长度来执行。
9.根据上述列举的实施例中任一个所述的方法，其中，所述确定是否使用MIP方法来获取帧内预测信号通过检查deltaPOC值来执行。
10.一种在视频编码或解码中对当前块进行组合的帧间-帧内预测的方法，其中，所述方法包括：
获取所述当前块的条件信息，以确定所述当前块是否使用MIP方法；
当所述当前块使用所述MIP方法时，将所述当前块的预测值确定为帧内预测块和帧间预测块的加权和。
11.根据实施例10所述的方法，其中，
所述条件信息包括与所述当前块相邻的相邻块的帧间预测模式和/或帧内预测模式。
12.根据实施例10或11所述的方法，其中，当所述条件信息表示所述相邻块是组合的帧间-帧内预测模式时，所述当前块使用所述MIP方法。
13.根据实施例10至12中任一个所述的方法，其中，当所述相邻块和所述当前块具有不同的大小时，MIP帧内预测模式通过映射过程来获取。
14.根据实施例10至13中任一个所述的方法，其中，所述MIP预测模式通过表示候选模式列表内的索引的指示符来获取。
15.根据实施例14所述的方法，其中，截断一元码用于指示所述指示符。
16.根据实施例10至15中任一个所述的方法，其中，所述条件信息通过检查用于获取所述当前块的帧间预测信号的多个运动矢量的分量的长度来获取。
17.根据实施例10至16中任一项所述的方法，其中，所述条件信息通过检查deltaPOC值来获取。
数学运算符
本申请中使用的数学运算符与C编程语言中使用的数学运算符类似。但是，本申请准确定义了整除运算和算术移位运算的结果，并且还定义了其它运算，例如幂运算和实值除法。编号和计数规范通常从0开始，例如，“第一个”相当于第0个，“第二个”相当于第1个，以此类推。
算术运算符
算术运算符的定义如下：
Figure BDA0003554339920000381
Figure BDA0003554339920000391
逻辑运算符
逻辑运算符的定义如下：
x&&y x和y的布尔逻辑“与”运算
x||y x和y的布尔逻辑“或”运算
！ 布尔逻辑“非”运算
x？y:z 如果x为真或不等于0，则求y的值，否则，求z的值。
关系运算符
关系运算符的定义如下：
> 大于
>＝ 大于或等于
< 小于
<＝ 小于或等于
＝＝ 等于
！＝ 不等于
当一个关系运算符应用于一个已被赋值“na”(不适用)的语法元素或变量时，值“na”被视为该语法元素或变量的不同值。值“na”被视为不等于任何其它值。
按位运算符
按位运算符的定义如下：
& 按位“与”运算。当对整数参数运算时，运算的是整数值的补码表示。当对二进制参数运算时，如果它包含的位比另一个参数少，则通过添加更多等于0的有效位来扩展较短的参数。
| 按位“或”运算。当对整数参数运算时，运算的是整数值的补码表示。当对二进制参数运算时，如果它包含的位比另一个参数少，则通过添加更多等于0的有效位来扩展较短的参数。
^ 按位“异或”运算。当对整数参数运算时，运算的是整数值的补码表示。当对二进制参数运算时，如果它包含的位比另一个参数少，则通过添加更多等于0的有效位来扩展较短的参数。
x>>y 将x以2的补码整数表示的形式向右算术移动y个二进制位。只有y为非负整数值时才有这个函数定义。右移的结果是移进最高有效位(most significantbit，MSB)的比特位等于移位运算之前的x的MSB。
x<<y 将x以2的补码整数表示的形式向左算术移动y个二进制位。只有y为非负整数值时才有这个函数定义。左移的结果是移进最低有效位(least significantbit，LSB)的比特位等于0。
赋值运算符
算术运算符的定义如下：
＝ 赋值运算符
++ 递增，即x++相当于x＝x+1；当用于数组下标时，在自加运算前先求变量值。
–– 递减，即，x––等于x＝x–1；当用于数组下标时，在自减运算前先求变量值。
+＝ 自加指定值，即x+＝3相当于x＝x+3，x+＝(–3)相当于x＝x+(–3)。
–＝ 自减指定值，即x–＝3相当于x＝x–3，x–＝(–3)相当于x＝x–(–3)。
范围表示符
下面的表示符用来说明值的范围：
x＝y..z x取从y到z(包括y和z)的整数值，其中，x、y和z都是整数，z大于y。
数学函数
数学函数的定义如下：
Figure BDA0003554339920000401
Asin(x) 三角反正弦函数，对参数x运算，x在–1.0至1.0的范围(包括端值)之间，输出值在–π÷2至π÷2的范围(包括端值)之间，单位为弧度。
Atan(x) 三角反正切函数，对参数x运算，输出值在–π÷2至π÷2的范围(包括端值)之间，单位为弧度。
Figure BDA0003554339920000402
Ceil(x) 大于或等于x的最小整数。
Clip1Y(x)＝Clip3(0,(1<<BitDepthY)–1,x)
Clip1C(x)＝Clip3(0,(1<<BitDepthC)–1,x)
Figure BDA0003554339920000403
Cos(x) 三角余弦函数，对参数x运算，单位为弧度。
Floor(x) 小于或等于x的最大整数。
Figure BDA0003554339920000404
Ln(x) 返回x的自然对数(以e为底的对数，其中，e是自然对数底数常数2.718281828……)。
Log2(x) x以2为底的对数。
Log10(x) x以10为底的对数。
Figure BDA0003554339920000405
Figure BDA0003554339920000406
Round(x)＝Sign(x)*Floor(Abs(x)+0.5)
Figure BDA0003554339920000407
Sin(x) 三角正弦函数，对参数x运算，单位为弧度。
Figure BDA0003554339920000411
Swap(x,y)＝(y,x)
Tan(x) 三角正切函数，对参数x运算，单位为弧度。
运算优先级顺序
当没有使用括号来显式表示表达式中的优先顺序时，以下规则适用：
–高优先级的运算在低优先级的任何运算之前进行。
–相同优先级的运算从左到右依次进行。
下表从最高到最低的顺序说明运算的优先级，表中位置越高，优先级越高。
对于C编程语言中也使用的运算符，本规范中运算符优先级顺序与C编程语言中优先级顺序相同。
表：运算优先级从最高(表格顶部)到最低(表格底部)排序
Figure BDA0003554339920000412
逻辑运算的文本说明
在文本中，用数学形式描述如下的逻辑运算语句：
Figure BDA0003554339920000413
Figure BDA0003554339920000421
可以使用以下方式描述：
……如下/……以下内容适用：
–如果条件0，则语句0
–否则，如果条件1，则语句1
-……
–否则(关于其余条件的提示性说明)，则语句n
文本中的每个“如果……否则，如果……否则，……”语句都以“……如下”或“……以下内容适用”引入，后面紧跟着“如果……”。“如果……否则，如果……否则，……”的最后一个条件总有一个“否则，……”通过将“……如下：”或“……则”与结尾语句“……否则”相匹配来识别中间有“如果……否则，如果……否则”语句可以通过使“……如下”或“……以下内容适用”与结尾“否则……”匹配来识别。
在文本中，用数学形式描述如下的逻辑运算语句：
Figure BDA0003554339920000422
可以使用以下方式描述：
……如下/……以下内容适用：
–如果以下所有条件都为真，则语句0：
–条件0a
–条件0b
–否则，如果以下条件中的一个或多个条件为真，则语句1：
–条件1a
–条件1b
-……
–否则，语句n
在文本中，用数学形式描述如下的逻辑运算语句：
if(condition 0)
statement 0
if(condition 1)
statement 1
可以使用以下方式描述：
当条件0，则语句0
当条件1时，语句1
编码器20和解码器30等的实施例以及本文参照编码器20和解码器30等描述的功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质中或通过通信介质发送，且由基于硬件的处理单元执行。计算机可读介质可以包括与有形介质(例如数据存储介质)对应的计算机可读存储介质，或包括任何便于将计算机程序从一处发送到另一处的介质(例如根据通信协议)的通信介质。通过这种方式，计算机可读介质通常可以对应(1)非瞬时性的有形计算机可读存储介质或(2)信号或载波等通信介质。数据存储介质可以是由一个或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这类计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储设备、闪存或可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴缆线、光纤缆线、双绞线、数字用户线(digitalsubscriber line，DSL)或红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，则同轴缆线、光纤缆线、双绞线、DSL或红外线、无线电和微波等无线技术包含在介质的定义中。但是，应当理解的是，计算机可读存储介质和数据存储介质并不包括连接、载波、信号或其它瞬时性介质，而是涉及非瞬时性有形存储介质。本文所使用的磁盘和光盘包括压缩光盘(compact disc，CD)、激光光盘、光学光盘、数字多功能光盘(digitalversatile disc，DVD)和蓝光光盘，其中，磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。上述的组合也可以包括在计算机可读介质的范围内。
指令可以通过一个或多个数字信号处理器(digital signal processor，DSP)、一个或多个通用微处理器、一个或多个专用集成电路(application specific integratedcircuit，ASIC)、一个或多个现场可编程逻辑阵列(field programmable logic array，FPGA)或其它同等集成或离散逻辑电路等一或多个处理器来执行。因此，本文使用的术语“处理器”可以指任一种上述结构或任何适于实施本文所述技术的其它结构。另外，在一些方面中，本文描述的各种功能可以提供在用于编码和解码的专用硬件和/或软件模块内，或者并入在组合编解码器中。而且，所述技术可以在一个或多个电路或逻辑元件中完全实现。
本发明中的技术可以在多种设备或装置中实现，这些设备或装置包括无线手机、集成电路(integrated circuit，IC)或一组IC(例如芯片组)。本发明中描述各种组件、模块或单元是为了强调用于执行所公开技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上所述，各种单元可以结合合适的软件和/或固件组合在编解码器硬件单元中，或者通过包括如上所述的一个或多个处理器的互操作硬件单元的集合来提供。

Claims (59)

1.一种在视频译码中对当前块进行组合的帧间-帧内预测(combined inter-intraprediction，CIIP)的方法，其特征在于，所述方法包括：
确定与所述当前块相邻的相邻块的预测信息，其中，所述预测信息包括用于预测所述相邻块的预测模式；
确定是否要使用基于矩阵的帧内预测(matrix-based intra prediction，MIP)来预测所述当前块；
将所述当前块预测为帧内预测块和帧间预测块的加权和，其中，所述帧间预测块和所述帧内预测块的权重根据所述相邻块的所述预测信息和所述确定是否要使用MIP来预测所述当前块进行确定。
2.根据权利要求1所述的方法，其特征在于，所述确定预测信息包括：确定所述用于预测所述相邻块的预测模式是组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式。
3.根据上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：
确定与所述当前块相邻的n个其它相邻块的其它预测信息，其中，所述其它预测信息包括用于预测所述n个其它相邻块的预测模式，n是1和与所述当前块相邻的所有相邻块的数量减1之间的整数，
所述帧间预测块和所述帧内预测块的权重进一步根据所述其它预测信息进行确定。
4.根据上述权利要求中任一项所述的方法，其特征在于，所述帧间预测块和所述帧内预测块的权重进一步取决于与所述当前块相邻的帧间预测相邻块的数量、与所述当前块相邻的帧内预测相邻块的数量或与所述当前块相邻的CIIP预测相邻块的数量中的至少一个。
5.根据权利要求4所述的方法，其特征在于，所述与所述当前块相邻的帧内预测相邻块的数量越多表示所述帧内预测块的权重越高。
6.根据上述权利要求中任一项所述的方法，其特征在于，所述帧间预测块的权重和所述帧内预测块的权重互补地确定。
7.根据上述权利要求中任一项所述的方法，其特征在于，所述确定是否要使用MIP来预测所述当前块包括：检查所述相邻块的条件，其中，所述相邻块的条件包括以下各项中的至少一个：与所述当前块相邻的所述相邻块的帧内预测模式、与所述当前块相邻的所述相邻块的大小和是否通过所述MIP来预测与所述当前块相邻的所述相邻块。
8.根据权利要求7所述的方法，其特征在于，当与所述当前块相邻的所述相邻块的大小超过预定阈值且通过所述MIP来预测与所述当前块相邻的所述相邻块时，确定要使用所述MIP来预测所述当前块。
9.根据上述权利要求中任一项所述的方法，其特征在于，如果与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小，则MIP帧内预测模式通过映射过程来获取。
10.根据上述权利要求中任一项所述的方法，其特征在于，MIP帧内预测模式根据候选模式列表内的索引获取。
11.根据权利要求10所述的方法，其特征在于，截断一元码或截断二进制码用于指示所述索引。
12.根据上述权利要求中任一项所述的方法，其特征在于，所述确定是否要使用所述MIP来预测所述当前块包括：检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度。
13.根据权利要求12所述的方法，其特征在于，当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，确定要使用所述MIP来预测所述当前块。
14.根据上述权利要求中任一项所述的方法，其特征在于，所述确定是否要使用MIP来预测所述当前块包括：检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，其中，所述块用于获取所述帧间预测块。
15.根据权利要求14所述的方法，其特征在于，当绝对deltaPOC值超过预定阈值时，确定要使用所述MIP来预测所述当前块。
16.根据上述权利要求中任一项所述的方法，其特征在于，当确定不使用所述MIP来预测所述当前块且通过MIP模式对与所述当前块相邻的所述相邻块进行帧内预测时，用于获取所述帧内预测块的帧内预测模式通过映射过程来获取。
17.根据上述权利要求中任一项所述的方法，其特征在于，所述预测所述当前块包括：对(a)所述帧内预测块或(b)所述帧内预测块与所述帧间预测块的和执行位置相关预测组合(position dependent prediction combination，PDPC)。
18.根据权利要求17所述的方法，其特征在于，如果确定不使用所述MIP来预测所述当前块，则只执行所述PDPC。
19.一种在视频译码中对当前块进行组合的帧间-帧内预测(combined inter-intraprediction，CIIP)的方法，其特征在于，所述方法包括：
获取所述当前块的条件信息；
根据所述获取到的条件信息，确定是否要使用基于矩阵的帧内预测(matrix-basedintra prediction，MIP)来预测所述当前块；
当确定要使用所述MIP来预测所述当前块时，将所述当前块的预测块确定为帧内预测块和帧间预测块的加权和。
20.根据权利要求19所述的方法，其特征在于，
所述条件信息包括与所述当前块相邻的相邻块的帧间预测模式、帧内预测模式和组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式中的至少一种。
21.根据权利要求20所述的方法，其特征在于，当所述条件信息表示通过CIIP模式来预测所述相邻块时，要使用所述MIP来预测所述当前块。
22.根据权利要求19至21中任一项所述的方法，其特征在于，当与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小时，MIP帧内预测模式通过映射过程来获取。
23.根据权利要求19至22中任一项所述的方法，其特征在于，MIP预测模式根据候选模式列表内的索引获取。
24.根据权利要求23所述的方法，其特征在于，截断一元码或截断二进制码用于指示所述索引。
25.根据权利要求19至24中任一项所述的方法，其特征在于，所述获取条件信息包括：检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度。
26.根据权利要求25所述的方法，其特征在于，当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，确定要使用所述MIP来预测所述当前块。
27.根据权利要求19至26中任一项所述的方法，其特征在于，所述获取条件信息包括：检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，其中，所述块用于获取所述帧间预测块。
28.根据权利要求27所述的方法，其特征在于，当绝对deltaPOC值超过预定阈值时，确定要使用所述MIP来预测所述当前块。
29.一种编码器，其特征在于，包括处理电路，用于执行根据权利要求1至28中任一项所述的方法。
30.一种解码器，其特征在于，包括处理电路，用于执行根据权利要求1至28中任一项所述的方法。
31.一种计算机程序产品，包括程序代码，用于执行根据权利要求1至28中任一项所述的方法。
32.一种视频译码设备，其特征在于，包括：
预测信息确定单元，用于确定与当前块相邻的相邻块的预测信息，其中，所述预测信息包括用于预测所述相邻块的预测模式；
基于矩阵的帧内预测(matrix-based intra prediction，MIP)确定单元，用于确定是否要使用MIP来预测所述当前块；
预测单元，用于：将所述当前块预测为帧内预测块和经帧间测块的加权和，以及根据所述相邻块的所述预测信息和所述确定是否要使用MIP来预测所述当前块，确定所述帧间预测块和所述帧内预测块的权重。
33.根据权利要求32所述的视频译码设备，其特征在于，所述预测信息确定单元用于确定所述用于预测所述相邻块的预测模式是组合的帧间-帧内预测(combined inter-intraprediction，CIIP)模式。
34.根据权利要求32或33所述的视频译码设备，其特征在于，所述预测信息确定单元还用于：
确定与所述当前块相邻的n个其它相邻块的其它预测信息，其中，所述其它预测信息包括用于预测所述n个其它相邻块的预测模式，n是1和与所述当前块相邻的所有相邻块的数量减1之间的整数；
所述预测单元用于进一步根据所述其它预测信息确定所述帧间预测块和所述帧内预测块的权重。
35.根据权利要求32至34中任一项所述的视频译码设备，其特征在于，所述帧间预测块和所述帧内预测块的权重进一步取决于与所述当前块相邻的帧间预测相邻块的数量、与所述当前块相邻的帧内预测相邻块的数量或与所述当前块相邻的CIIP预测相邻块的数量中的至少一个。
36.根据权利要求35所述的视频译码设备，其特征在于，所述与所述当前块相邻的帧内预测相邻块的数量越多表示所述帧内预测块的权重越高。
37.根据权利要求32至36中任一项所述的视频译码设备，其特征在于，所述预测单元用于互补地确定所述帧内预测块的权重和所述帧间预测块的权重。
38.根据权利要求32至37中任一项所述的视频译码设备，其特征在于，所述MIP确定单元用于：通过检查所述相邻块的条件，确定是否要使用所述MIP来预测所述当前块，其中，所述相邻块的条件包括以下各项中的至少一个：与所述当前块相邻的所述相邻块的帧内预测模式、与所述当前块相邻的所述相邻块的大小和是否通过所述MIP来预测与所述当前块相邻的所述相邻块。
39.根据权利要求38所述的视频译码设备，其特征在于，所述MIP确定单元用于：当与所述当前块相邻的所述相邻块的大小超过预定阈值且通过所述MIP来预测与所述当前块相邻的所述相邻块时，确定要使用所述MIP来预测所述当前块。
40.根据权利要求32至39中任一项所述的视频译码设备，其特征在于，所述MIP确定单元用于：如果与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小，通过映射过程来获取MIP帧内预测模式。
41.根据权利要求32至40中任一项所述的视频译码设备，其特征在于，所述MIP确定单元用于根据候选模式列表内的索引获取MIP帧内预测模式。
42.根据权利要求41所述的视频译码设备，其特征在于，截断一元码或截断二进制码用于指示所述索引。
43.根据权利要求32至42中任一项所述的视频译码设备，其特征在于，所述MIP确定单元用于：通过检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度，确定是否要使用MIP来预测所述当前块。
44.根据权利要求43所述的视频译码设备，其特征在于，所述MIP确定单元用于：当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，确定要使用所述MIP来预测所述当前块。
45.根据权利要求32至44中任一项所述的视频译码设备，其特征在于，所述MIP确定单元用于：通过检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，确定是否要使用所述MIP来预测所述当前块，其中，所述块用于获取所述帧间预测块。
46.根据权利要求45所述的视频译码设备，其特征在于，所述MIP确定单元用于：当绝对deltaPOC值超过预定阈值时，确定要使用所述MIP来预测所述当前块。
47.根据权利要求32至46中任一项所述的视频译码设备，其特征在于，所述预测单元用于：当确定不使用所述MIP来预测所述当前块且通过MIP模式对与所述当前块相邻的所述相邻块进行帧内预测时，通过映射过程来获取用于获取所述帧内预测块的帧内预测模式。
48.根据权利要求32至47中任一项所述的视频译码设备，其特征在于，所述预测单元用于：通过对(a)所述帧内预测块或(b)所述帧内预测块与所述帧间预测块的和执行位置相关预测组合(position dependent prediction combination，PDPC)，预测所述当前块。
49.根据权利要求48所述的视频译码设备，其特征在于，所述预测单元用于：如果确定不使用所述MIP来预测所述当前块，只执行所述PDPC。
50.一种视频译码设备，其特征在于，包括：
条件信息获取单元，用于获取当前块的条件信息，以确定是否要使用基于矩阵的帧内预测(matrix-based intra prediction，MIP)来预测所述当前块；
预测单元，用于：当确定要使用所述MIP来预测所述当前块时，将所述当前块的预测值确定为帧内预测块和帧间预测块的加权和。
51.根据权利要求50所述的视频译码设备，其特征在于，
所述条件信息包括与所述当前块相邻的相邻块的帧间预测模式、帧内预测模式和组合的帧间-帧内预测(combined inter-intra prediction，CIIP)模式中的至少一种。
52.根据权利要求51所述的视频译码设备，其特征在于，所述条件信息获取单元用于：当所述条件信息表示通过CIIP模式来预测所述相邻块时，确定要使用所述MIP来预测所述当前块。
53.根据权利要求50至52中任一项所述的视频译码设备，其特征在于，所述预测单元用于：当与所述当前块相邻的所述相邻块和所述待预测的当前块具有不同的大小时，通过映射过程来获取MIP帧内预测模式。
54.根据权利要求50至53中任一项所述的视频译码设备，其特征在于，所述预测单元用于根据候选模式列表内的索引获取MIP预测模式。
55.根据权利要求54所述的视频译码设备，其特征在于，截断一元码或截断二进制码用于指示所述索引。
56.根据权利要求50至55中任一项所述的视频译码设备，其特征在于，所述条件信息获取单元用于：通过检查用于获取所述帧间预测块的多个运动矢量的垂直分量和水平分量的长度，获取所述条件信息。
57.根据权利要求56所述的视频译码设备，其特征在于，所述条件信息获取单元用于：当所述多个运动矢量中的至少一个运动矢量的垂直分量和水平分量的长度超过预定阈值时，确定要使用所述MIP来预测所述当前块。
58.根据权利要求50至57中任一项所述的视频译码设备，其特征在于，所述条件信息获取单元用于：通过检查所述当前块所属图像的图像顺序编号值与一个块所属图像的图像顺序编号值之差，即deltaPOC值，获取所述条件信息，其中，所述块用于获取所述帧间预测块。
59.根据权利要求58所述的视频译码设备，其特征在于，所述条件信息获取单元用于：当绝对deltaPOC值超过预定阈值时，确定要使用所述MIP来预测所述当前块。
CN202080065932.8A 2019-09-24 2020-09-21 使用基于矩阵的帧内预测进行组合的帧间-帧内预测的方法和装置 Active CN114424567B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962905359P 2019-09-24 2019-09-24
US62/905,359 2019-09-24
PCT/RU2020/050234 WO2021061018A1 (en) 2019-09-24 2020-09-21 Method and apparatus of combined intra-inter prediction

Publications (2)

Publication Number Publication Date
CN114424567A true CN114424567A (zh) 2022-04-29
CN114424567B CN114424567B (zh) 2023-07-07

Family

ID=75165293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080065932.8A Active CN114424567B (zh) 2019-09-24 2020-09-21 使用基于矩阵的帧内预测进行组合的帧间-帧内预测的方法和装置

Country Status (4)

Country Link
US (1) US20220256141A1 (zh)
EP (1) EP4022922A4 (zh)
CN (1) CN114424567B (zh)
WO (1) WO2021061018A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887732B (zh) * 2021-04-30 2021-10-01 浙江智慧视频安防创新中心有限公司 一种权值可配置的帧间帧内联合预测编解码的方法及装置
EP4179728A4 (en) * 2021-06-23 2023-12-27 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PREDICTION
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
WO2017082670A1 (ko) * 2015-11-12 2017-05-18 엘지전자 주식회사 영상 코딩 시스템에서 계수 유도 인트라 예측 방법 및 장치
US20180288410A1 (en) * 2014-11-06 2018-10-04 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
CN108781283A (zh) * 2016-01-12 2018-11-09 瑞典爱立信有限公司 使用混合帧内预测的视频编码

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US20180376148A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
EP3809701A4 (en) * 2018-06-18 2022-06-22 Industry Academy Cooperation Foundation Of Sejong University METHOD AND APPARATUS FOR ENCODING/DECODING AN IMAGE
WO2020091213A1 (ko) * 2018-11-04 2020-05-07 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US20180288410A1 (en) * 2014-11-06 2018-10-04 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
WO2017082670A1 (ko) * 2015-11-12 2017-05-18 엘지전자 주식회사 영상 코딩 시스템에서 계수 유도 인트라 예측 방법 및 장치
CN108781283A (zh) * 2016-01-12 2018-11-09 瑞典爱立信有限公司 使用混合帧内预测的视频编码

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS: "JVET-O2001-v7，Versatile Video Coding (Draft 6)", 《JVET-O2001》 *
JIANLE CHEN: "JVET-O2002-v1，Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6)", 《JVET-O2002》 *
朱涛: "基于帧内帧间联合预测的深度视频编码方法", 《信息技术》 *

Also Published As

Publication number Publication date
WO2021061018A1 (en) 2021-04-01
EP4022922A1 (en) 2022-07-06
CN114424567B (zh) 2023-07-07
US20220256141A1 (en) 2022-08-11
EP4022922A4 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
CN113039798B (zh) 解码设备实现的译码方法及解码器
CN113748677A (zh) 编码器、解码器及对应的帧内预测方法
CN112673633B (zh) 合并模式的编码器、解码器及对应方法
CN113924780A (zh) 用于色度子块的仿射帧间预测的方法及装置
CN114026864B (zh) 用于几何分割模式的色度样本权重推导
CN114885158B (zh) 位置相关预测组合的模式相关和大小相关块级限制的方法和装置
CN112913236B (zh) 编码器，解码器和使用压缩mv存储的对应方法
CN113196748B (zh) 帧内预测方法及相关装置
CN114424567B (zh) 使用基于矩阵的帧内预测进行组合的帧间-帧内预测的方法和装置
CN113411612B (zh) 对图像块进行视频译码的方法、解码设备和编/解码器
CN113473134B (zh) 子块融合候选的单独融合列表和帧内和帧间预测技术协调方法、装置和存储介质
CN114009041A (zh) 双向预测光流计算和双向预测校正中用于块级边界样本梯度计算的整数网格参考样本位置的计算方法
CN114913249A (zh) 编码、解码方法和相关设备
CN113039797A (zh) Cbf标志的高效指示方法
CN113875251B (zh) 用于几何分割模式的自适应滤波器强度指示
CN113330741B (zh) 从帧内子划分译码模式工具限制子分区的尺寸的编码器、解码器、及对应方法
CN113994683A (zh) 用于色度量化控制的编码器、解码器和对应方法
CN115211109A (zh) 对通用帧内预测过程的滤波器修改的编码器、解码器及相应方法
CN114598873A (zh) 量化参数的解码方法和装置
CN114830652A (zh) 用于方向性帧内预测的参考样本插值滤波的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant