CN110719466B - 用于视频处理的方法、装置和存储介质 - Google Patents

用于视频处理的方法、装置和存储介质 Download PDF

Info

Publication number
CN110719466B
CN110719466B CN201910637842.0A CN201910637842A CN110719466B CN 110719466 B CN110719466 B CN 110719466B CN 201910637842 A CN201910637842 A CN 201910637842A CN 110719466 B CN110719466 B CN 110719466B
Authority
CN
China
Prior art keywords
interpolation
video block
video
block
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910637842.0A
Other languages
English (en)
Other versions
CN110719466A (zh
Inventor
刘鸿彬
张莉
张凯
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN110719466A publication Critical patent/CN110719466A/zh
Application granted granted Critical
Publication of CN110719466B publication Critical patent/CN110719466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种视频处理方法，包括：确定应用于第一视频块的第一预测模式；通过对第一视频块应用水平插值和/或垂直插值，在第一视频块和第一视频块的编码表示之间执行第一转换；确定应用于第二视频块的第二预测模式；通过对第二视频块应用水平插值和/或垂直插值，在第二视频块和第二视频块的编码表示之间执行第二转换，其中，基于第一预测模式是多假设预测模式而第二预测模式不是多假设预测模式的确定，第一视频块的水平插值和垂直插值中的一个或两个使用与用于第二视频块的滤波器相比的较短抽头滤波器。

Description

用于视频处理的方法、装置和存储介质
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2018年7月13日提交的国际专利申请号PCT/CN2018/095576的优先权和利益。将国际专利申请号PCT/CN2018/095576的全部公开以引用方式并入本文，作为本申请公开的一部分。
技术领域
本申请文件涉及视频编码技术、设备和系统。
背景技术
尽管视频压缩有所进步，数字视频在互联网和其它数字通信网络上使用的带宽仍然最大。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可以由视频解码器或编码器实施例使用，其中使用块形插值顺序技术来改进插值。
在一个示例方面，公开了一种视频比特流处理方法。该方法包括：确定视频块的形状；基于视频块的形状确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以重建视频块的解码表示。
在另一个示例方面，视频比特流处理方法包括：确定与视频块相关的运动矢量的特征；基于运动矢量的特征确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以重建视频块的解码表示。
在另一示例方面，公开了一种视频比特流处理方法。该方法包括：确定视频块的形状；基于视频块的形状确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以构造视频块的编码表示。
在另一示例方面，公开了一种视频比特流处理方法。该方法包括：确定与视频块相关的运动矢量的特征；基于运动矢量的特征确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以构造视频块的编码表示。
在一个示例方面，公开了一种视频处理方法。该方法包括：确定应用于第一视频块的第一预测模式；通过对第一视频块应用水平插值和/或垂直插值，在第一视频块和第一视频块的编码表示之间执行第一转换，确定应用于第二视频块的第二预测模式；通过对第二视频块应用水平插值和/或垂直插值，在第二视频块和第二视频块的编码表示之间执行第二转换，其中，基于第一预测模式是多假设预测模式而第二预测模式不是多假设预测模式的确定，第一视频块的水平插值和垂直插值中的一个或两个使用与用于第二视频块的滤波器相比的较短抽头滤波器。
在另一示例方面，公开了一种实现本文所述的视频处理方法的视频解码装置。
在又一示例方面，公开了一种实现本文所述的视频处理方法的视频编码装置。
在又一典型的方面，本文所述的各种技术可以实施为存储在非暂时性计算机可读介质上的计算机程序产品。计算机程序产品包括用于执行本文所述方法的程序代码。
在又一示例方面，公开了一种视频系统中的装置。该装置包括处理器和其上具有指令的非暂时性存储器，其中由处理器执行的指令使处理器实现上述方法。
在附件、附图和下面的描述中阐述了一个或多个实现的细节。其它特征将从说明书和附图以及权利要求书中显而易见。
附图说明
图1是四叉树二叉树(QTBT)结构的图示。
图2示出了Merge候选列表构造的示例推导过程。
图3示出了空间Merge候选的示例位置。
图4示出了对于空间Merge候选的冗余检查考虑的候选对的示例。
图5示出了Nx2N和2NxN分割的第二个预测单元(PU)的位置的示例。
图6是时域Merge候选的运动矢量缩放的图示。
图7示出了时域Merge候选C0和C1的示例候选位置。
图8示出了组合的双向预测Merge候选的示例。
图9示出了运动矢量预测候选的推导过程的示例。
图10是空间运动矢量候选的运动矢量缩放的图示。
图11示出了编码单元(CU)的高级时间运动矢量预测(ATMVP)运动预测的示例。
图12示出了具有四个子块(A-D)及其相邻块(a-d)的一个CU的示例。
图13示出了J0021中提出的非相邻Merge候选。
图14示出了J0058中提出的非相邻Merge候选。
图15示出了J0059中提出的非相邻Merge候选。
图16示出了用于四分之一样本亮度插值的整数样本和分数样本位置的示例。
图17是视频处理装置的示例的框图。
图18示出了视频编码器的示例实现的框图。
图19是视频比特流处理方法的示例的流程图。
图20是视频比特流处理方法的示例的流程图。
图21是视频处理方法的示例的流程图。
图22是视频比特流处理方法的示例的流程图。
图23是视频比特流处理方法的示例的流程图。
具体实施方式
本文件提供了可由视频比特流的解码器使用以改进解压缩或解码的数字视频的质量的各种技术。此外，视频编码器还可在编码过程期间实现这些技术，以便重建用于进一步编码的所解码帧。
为了便于理解，在本文件中使用章节标题，并且不将实施例和技术限制于相应的部分。这样，来自一个章节的实施例可以与来自其他章节的实施例组合。
1.总结
本发明涉及视频编码技术。具体地，涉及视频编码中的插值。可应用于现有的视频编码标准，比如HEVC，或待最终确定的标准(多功能视频编码)。也可能适用于未来的视频编码标准或视频编解码器。
2.背景
视频编码标准主要是通过开发公知的ITU-T和ISO/IEC标准而发展起来的。ITU-T开发了H.261和H.263，ISO/IEC开发了MPEG-1和MPEG-4视觉，并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262以来，视频编码标准基于混合视频编码结构，其中采用了时域预测加变换编码。为了探索HEVC之外的未来视频编码技术，联合视频探索团队(JVET)由VCEG和MPEG于2015年联合成立。从那时起，JVET采用了许多新方法并将其引入名为联合探索模型(JEM)的参考软件中。在2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)被创建用于研究VVC标准，目标是与HEVC相比降低50％的比特率。
图18是视频编码器的示例实现的框图。
2.1具有较大CTU的四叉树加二叉树(QTBT)块结构
在HEVC中，通过使用四叉树结构(表示为编码树)将CTU划分成CU来适应各种局部特性。在CU级别决定是使用帧间(时域)预测还是帧内(空间)预测对图片区域进行编码。根据PU的分割类型，每个CU可以进一步划分成一个、两个或四个PU。在一个PU中，应用相同的预测处理，并且相关信息以PU为基础传输到解码器。在基于PU分割类型通过应用预测处理获得残差块后，可以根据与CU的编码树相似的另一个四叉树结构将CU分割成变换单元(TU)。HEVC结构的一个重要特征是它具有多个分割概念，包括CU、PU以及TU。
QTBT结构消除了多个分割类型的概念，即QTBT结构消除了CU、PU和TU概念的分离，并支持CU分割形状的更多灵活性。在QTBT块结构中，CU可以是方形或矩形。如图1所示，首先用四叉树结构对编码树单元(CTU)进行分割。四叉树叶节点进一步被二叉树结构分割。在二叉树划分中有两种分割类型：对称的水平划分和对称的垂直划分。二叉树叶节点被称为编码单元(CU)，该划分用于预测和转换处理，而无需进一步分割。这意味着在QTBT编码块结构中CU、PU和TU具有相同的块尺寸。在JEM中，CU有时由不同颜色分量的编码块(CB)组成，例如，在4:2:0色度格式的P条带和B条带中，一个CU包含一个亮度CB和两个色度CB，并且CU有时由单个分量的CB组成，例如，在I条带的情况下，一个CU仅包含一个亮度CB或仅包含两个色度CB。
为QTBT分割方案定义了以下参数。
–CTU尺寸：四叉树的根节点尺寸，与HEVC中的概念相同。
–MiNQTSize：最小允许的四叉树叶节点尺寸
–MaxBTSize：最大允许的二叉树根节点尺寸
–MaxBTDePTh：最大允许的二叉树深度
–MiNBTSize：最小允许的二叉树叶节点尺寸
在QTBT分割结构的一个示例中，CTU尺寸被设置为具有两个对应的64×64色度样点块的128×128个亮度样点，MiNQTSize被设置为16×16，MaxBTSize被设置为64×64，MiNBTSize(宽度和高度)被设置为4×4，MaxBTSize被设置为4。四叉树分割首先应用于CTU，以生成四叉树叶节点。四叉树叶节点的尺寸可以具有从16×16(即，MiNQTSize)到128×128(即，CTU尺寸)的尺寸。如果叶四叉树节点是128×128，则其不会被二叉树进一步划分，因为其尺寸超过了MaxBTSize(例如，64×64)。否则，叶四叉树节点可以被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且其二叉树深度为0。当二叉树深度达到MaxBTDePTh(即，4)时，不考虑进一步划分。当二叉树节点的宽度等于MiNBTSize(即，4)时，不考虑进一步的水平划分。同样，当二叉树节点的高度等于MiNBTSize时，不考虑进一步的垂直划分。通过预测和变换处理进一步处理二叉树的叶节点，而不需要进一步的分割。在JEM中，最大CTU尺寸为256×256个亮度样点。
图1(左侧)图示了通过使用QTBT进行块分割的示例，图1(右侧)图示了相应的树表示。实线表示四叉树分割，并且虚线表示二叉树分割。在二叉树的每个划分(即，非叶)节点中，会对一个标志发信令来指示使用哪种分割类型(即，水平或垂直)，其中0表示水平划分，1表示垂直划分。对于四叉树分割，不需要指明分割类型，因为四叉树分割总是水平和垂直划分一个块，以生成尺寸相同的4个子块。
此外，QTBT方案支持亮度和色度具有单独的QTBT结构的能力。目前，对于P条带和B条带，一个CTU中的亮度和色度CTB共享相同的QTBT结构。然而，对于I条带，用QTBT结构将亮度CTB分割为CU，用另一个QTBT结构将色度CTB分割为色度CU。这意味着I条带中的CU由亮度分量的编码块或两个色度分量的编码块组成，P条带或B条带中的CU由所有三种颜色分量的编码块组成。
在HEVC中，为了减少运动补偿的内存访问，限制小块的帧间预测，使得4×8和8×4块不支持双向预测，并且4×4块不支持帧间预测。在JEM的QTBT中，这些限制被移除。
2.2HEVC/H.265中的帧间预测
每个帧间预测的PU具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。对两个参考图片列表中的一个的使用也可以使用inter_pred_idc发信令。运动矢量可以相对于预测值显式地编码为增量。
当CU采用跳跃模式编码时，一个PU与CU相关联，并且没有显著的残差系数、没有编码的运动矢量增量或参考图片索引。指定了一种Merge模式，通过该模式，可以从相邻的PU(包括空间和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅是跳跃模式。Merge模式的另一种选择是运动参数的显式传输，其中运动矢量(更准确地说，与运动矢量预测值相比的运动矢量差)、每个参考图片列表对应的参考图片索引和参考图片列表的使用都会在每个PU中显式地发信令。在本文件中，这种模式被称为高级运动矢量预测(AMVP)。
当信令指示要使用两个参考图片列表中的一个时，从一个样点块中生成PU。这被称为“单向预测”。单向预测对P条带和B条带都可用。
当信令指示要使用两个参考图片列表时，从两个样点块中生成PU。这被称为“双向预测”。双向预测仅对B条带可用。
下面文本提供了HEVC中规定的帧间预测模式的细节。描述将从Merge模式开始。
2.2.1Merge模式
2.2.1.1Merge模式的候选的推导
当使用Merge模式预测PU时，从比特流分析指向Merge候选列表中条目的索引，并用于检索运动信息。该列表的结构在HEVC标准中有规定，并且可以按照以下步骤顺序进行概括：
步骤1：初始候选推导
步骤1.1：空域候选推导
步骤1.2：空域候选的冗余检查
步骤1.3：时域候选推导
步骤2：附加候选插入
步骤2.1：双向预测候选的创建
步骤2.2：零运动候选的插入
在图2中也示意性描述了这些步骤。对于空间Merge候选推导，在位于五个不同位置的候选中最多选择四个Merge候选。对于时域Merge候选推导，在两个候选中最多选择一个Merge候选。由于在解码器处假定每个PU的候选数为常量，因此当从步骤1获得的候选数未达到条带报头中发信令的最大Merge候选数(MaxNumMergeCand)时，生成附加的候选。由于候选数是恒定的，所以最佳Merge候选的索引使用截断的一元二值化(TU)进行编码。如果CU的大小等于8，则当前CU的所有PU都共享一个Merge候选列表，这与2N×2N预测单元的Merge候选列表相同。
下面详细介绍与上述步骤相关的操作。
2.2.1.2空域候选推导
在空间Merge候选的推导中，在位于图3所示位置的候选中最多选择四个Merge候选。推导顺序为A1、B1、B0、A0和B2。只有当位置A1、B1、B0、A0的任何PU不可用(例如，因为它属于另一个条带或片)或是内部编码时，才考虑位置B2。在增加A1位置的候选后，对其余候选的增加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编码效率。为了降低计算的复杂度，在所提到的冗余检查中并不考虑所有可能的候选对。相反，只有与图4中的箭头链接的对才会被考虑，并且只有当用于冗余检查的对应候选没有相同的运动信息时，才将候选添加到列表中。复制运动信息的另一个来源是与2N×2N不同的分区相关的“第二PU”。例如，图5分别描述了N×2N和2N×N情况下的第二PU。当当前的PU被划分为N×2N时，对于列表构建不考虑A1位置的候选。在一些实施例中，添加此候选可能导致两个具有相同运动信息的预测单元，这对于在编码单元中仅具有一个PU是冗余的。同样地，当当前PU被划分为2N×N时，不考虑位置B1。
2.2.1.3时域候选推导
在此步骤中，只有一个候选添加到列表中。特别地，在这个时域Merge候选的推导中，基于与给定参考图片列表中当前图片具有最小图片顺序计数POC差异的并置PU推导了缩放运动矢量。用于推导并置PU的参考图片列表在条带报头中显式地发信令。图6中的虚线示出了时域Merge候选的缩放运动矢量的获得，其使用POC距离tb和td从并置PU的运动矢量进行缩放，其中tb定义为当前图片的参考图片和当前图片之间的POC差异，并且td定义为并置图片的参考图片与并置图片之间的POC差异。时域Merge候选的参考图片索引设置为零。HEVC规范中描述了缩放处理的实际实现。对于B条带，得到两个运动矢量(一个是对于参考图片列表0，另一个是对于参考图片列表1)并将其组合使其成为双向预测Merge候选。
图6是用于时域Merge候选的运动矢量缩放的说明。
在属于参考帧的并置PU(Y)中，在候选C0和C1之间选择时域候选的位置，如图7所示。如果位置C0处的PU不可用、内部编码或在当前CTU行之外，则使用位置C1。否则，位置C0被用于时域Merge候选的推导。
2.2.1.4附加候选插入
除了空间和时域Merge候选，还有两种附加类型的Merge候选：组合双向预测Merge候选和零Merge候选。组合双向预测Merge候选是利用空间和时域Merge候选生成的。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合，生成组合双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。作为示例，图8示出了原始列表中(在左侧)的两个候选被用于创建添加到最终列表(在右侧)中的组合双向预测Merge候选的情况，其具有MvL0和refIdxL0或MvL1和refIdxL1的两个候选。现有技术中定义了许多关于组合的规则需要考虑以生成这些附加Merge候选。
插入零运动候选以填充Merge候选列表中的其余条目，从而达到MaxNumMergeCand的容量。这些候选具有零空间位移和从零开始并且每次将新的零运动候选添加到列表中时都会增加的参考图片索引。这些候选使用的参考帧的数目对于单向预测和双向预测分别是1帧和2帧。最后，对这些候选不执行冗余检查。
2.2.1.5并行处理的运动估计区域
为了加快编码处理，可以并行执行运动估计，从而同时推导给定区域内所有预测单元的运动矢量。从空间邻域推导Merge候选可能会干扰并行处理，因为一个预测单元在完成相关运动估计之前无法从相邻的PU推导运动参数。为了缓和编码效率和处理延迟之间的平衡，HEVC定义了运动估计区域(MER)，可使用语法元素“log2_parallel_merge_level_minus2”在图片参数集中对MER的尺寸中发信令。当定义MER时，落入同一区域的Merge候选标记为不可用，并且因此在列表构建中不考虑。
2.2.2AMVP
AMVP利用运动矢量与相邻的PU的空时相关性，其用于运动参数的显式传输。对于每个参考图片列表，首先通过检查左上方的时域相邻的PU位置的可用性、去掉多余的候选位置并且加上零矢量以使候选列表长度恒定来构建运动矢量候选列表。然后，编码器可以从候选列表中选择最佳的预测值，并发送指示所选候选的对应索引。与Merge索引信令类似，最佳运动矢量候选的索引使用截断的一元进行编码。在这种情况下要编码的最大值是2(参照图9)。在下面的章节中，将详细介绍运动矢量预测候选的推导过程。
2.2.2.1AMVP候选的推导
图9概括了运动矢量预测候选的推导过程。
在运动矢量预测中，考虑了两种类型的运动矢量候选：空间运动矢量候选和时域运动矢量候选。对于空间运动矢量候选的推导，基于位于图3所示的五个不同位置的每个PU的运动矢量最终推推导两个运动矢量候选。
对于时域运动矢量候选的推导，从两个候选中选择一个运动矢量候选，这两个候选是基于两个不同的并置位置推导的。在作出第一个空时候选列表后，移除列表中重复的运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表中参考图片索引大于1的运动矢量候选。如果空时运动矢量候选数小于二，则会在列表中添加附加的零运动矢量候选。
2.2.2.2空间运动矢量候选
在推导空间运动矢量候选时，在五个潜在候选中最多考虑两个候选，这五个候选来自图3所描绘位置上的PU，这些位置与运动Merge的位置相同。当前PU左侧的推导顺序定义为A0、A1、以及缩放的A0、缩放的A1。当前PU上面的推导顺序定义为B0、B1,B2、缩放的B0、缩放的B1、缩放的B2。因此，每侧有四种情况可以用作运动矢量候选，其中两种情况不需要使用空间缩放，并且两种情况使用空间缩放。四种不同的情况概括如下：
--无空间缩放
(1)相同的参考图片列表，并且相同的参考图片索引(相同的POC)
(2)不同的参考图片列表，但是相同的参考图片索引(相同的POC)
--空间缩放
(3)相同的参考图片列表，但是不同的参考图片索引(不同的POC)
(4)不同的参考图片列表，并且不同的参考图片索引(不同的POC)
首先检查无空间缩放的情况，然后检查空间缩放。当POC在相邻PU的参考图片与当前PU的参考图片之间不同时，都会考虑空间缩放，而不考虑参考图片列表。如果左侧候选的所有PU都不可用或是内部编码，则允许对上述运动矢量进行缩放，以帮助左侧和上方MV候选的平行推导。否则，不允许对上述运动矢量进行空间缩放。
图10是空间运动矢量候选的运动矢量缩放的说明。
在空间缩放处理中，相邻PU的运动矢量以与时域缩放相似的方式缩放，如图10所示。主要区别在于，给出了当前PU的参考图片列表和索引作为输入，实际缩放处理与时域缩放处理相同。
2.2.2.3时域运动矢量候选
除了参考图片索引的推导外，时域Merge候选的所有推导过程与空间运动矢量候选的推导过程相同(参见图7)。向解码器发参考图片索引的信令。
2.3JEM中新的帧间Merge候选
2.3.1基于子CU的运动矢量预测
在具有QTBT的JEM中，每个CU对于每个预测方向最多可以具有一组运动参数。通过将大的CU分割成子CU并推导该大CU的所有子CU的运动信息，编码器中考虑了两种子CU级的运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从多个小于并置参考图片中当前CU的块中获取多组运动信息。在空时运动矢量预测(STMVP)方法中，通过利用时域运动矢量预测值和空间邻接运动矢量递归地推导子CU的运动矢量。
为了为子CU运动预测的保持更精确的运动场，当前禁用参考帧的运动压缩。
2.3.1.1可选时域运动矢量预测
在可选时域运动矢量预测(ATMVP)方法中，运动矢量时域运动矢量预测(TMVP)是通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考索引)来修改的。如图11所示，子CU为方形N×N块(默认N设置为4)。
ATMVP分两步预测CU内的子CU的运动矢量。第一步是用所谓的时域矢量识别参考图片中的对应块。参考图片称为运动源图片。第二步是将当前CU划分成子CU，并从每个子CU对应的块中获取运动矢量以及每个子CU的参考索引，如图11所示。
在第一步中，参考图片和对应的块由当前CU的空间相邻块的运动信息确定。为了避免相邻块的重复扫描处理，使用当前CU的Merge候选列表中的第一个Merge候选。第一个可用的运动矢量及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应的块，其中对应的块(有时称为并置块)始终位于相对于当前CU的右下角或中心位置。
在第二步中，通过将时域矢量添加到当前CU的坐标中，通过运动源图片中的时域矢量识别子CU的对应块。对于每个子CU，使用其对应块的运动信息(覆盖中心样点的最小运动网格)来推导子CU的运动信息。在识别出对应N×N块的运动信息后，将其转换为当前子CU的运动矢量和参考索引，与HEVC的TMVP方法相同，其中应用运动缩放和其它处理。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC都小于当前图片的POC)，并可能使用运动矢量MVx(与参考图片列表X对应的运动矢量)来为每个子CU预测运动矢量MVy(X等于0或1且Y等于1-X)。
2.3.1.2空时运动矢量预测
在这种方法中，子CU的运动矢量是按照光栅扫描顺序递归推导的。图12说明了该概念。我们来考虑一个8×8的CU，它包含四个4×4的子CU A、B、C和D。当前帧中相邻的4×4的块标记为a、b、c和d。
子CU A的运动推导由识别其两个空间邻居开始。第一个邻居是子CU A上方的N×N块(块c)。如果该块c不可用或内部编码，则检查子CU A上方的其它N×N块(从左到右，从块c处开始)。第二个邻居是子CU A左侧的一个块(块b)。如果块b不可用或是内部编码，则检查子CU A左侧的其它块(从上到下，从块b处开始)。每个列表从相邻块获得的运动信息被缩放到给定列表的第一个参考帧。接下来，按照HEVC中规定的与TMVP相同的程序，推推导子块A的时域运动矢量预测(TMVP)。提取位置D处的并置块的运动信息并进行相应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动矢量(最多3个)。将平均运动矢量指定为当前子CU的运动矢量。
2.3.1.3子CU运动预测模式信令
作为附加merge候选而启用子CU模式，并且不需要附加的语法元素来发信令通知该模式。对每个CU的merge候选列表添加两个附加的merge候选，以表示ATMVP模式和STMVP模式。如果序列参数集合指示启用ATMVP和STMVP，则使用多达七个merge候选。额外merge候选的编码逻辑与HM中的merge候选相同，这意味着，对于P或B条带中的每个CU，对于两个附加merge候选需要多两个RD检查。
在JEM中，CABAC对merge索引的所有二元位进行上下文编码。而在HEVC中，仅对第一个二元位进行上下文编码，而对剩余二元位上下文旁路编码。
2.3.2非相邻Merge候选
在J0021中，高通提出从如在图13中标记为6到49的非相邻的相邻位置推导附加空间Merge候选。将所推导的候选添加在Merge候选列表中的TMVP候选之后。
在J0058中，腾讯提出从相对于当前块具有偏移(-96,-96)的外部参考区域中的位置推导附加空间Merge候选。
如图14所示，位置标记为A(i,j)、B(i,j)、C(i,j)、D(i,j)和E(i,j)。与其先前的B或C候选相比，每个候选B(i,j)或C(i,j)在垂直方向上具有16的偏移。与其先前的A或D候选相比，每个候选A(i,j)或D(i,j)在水平方向上具有16的偏移。与其先前的E候选相比，每个E(i,j)在水平方向和垂直方向上具有16的偏移。对候选从内到外进行检查。并且候选的顺序是A(i,j)，B(i,j)、C(i,j)、D(i,j)和E(i,j)。进一步研究merge候选的数量是否可以进一步减少。将候选添加在merge候选列表中的TMVP候选之后。
在J0059中，根据它们在时域候选之后的数字顺序，对图15中从6到27的扩展空间位置进行检查。为了节省MV行缓冲，所有空间候选都被限制在两个CTU行内。
2.4JEM中的帧内预测
2.4.1具有67个帧内预测模式的帧内模式编码
对于亮度插值滤波，将8抽头可分离的基于DCT的插值滤波器用于2/4精度样本，并且将7抽头可分离的基于DCT的插值滤波器用于1/4精度样本，如表1所示。
表1：用于1/4亮度插值的8抽头DCT-IF系数。
Figure GDA0003865991800000131
类似地，将4抽头可分离的基于DCT的插值滤波器用于色度插值滤波器，如表2所示。
表2：用于1/8色度插值的4抽头DCT-IF系数。
Figure GDA0003865991800000132
Figure GDA0003865991800000141
对于4:2:2的垂直插值以及4:4:4色度通道的水平和垂直插值，不使用表2中的奇数位置，导致1/4色度插值。
对于双向预测，在对两个预测信号求平均之前，无论源比特深度如何，插值滤波器的输出的比特深度都保持为14比特精度。实际平均过程是隐式地通过比特深度降低过程完成的：
predSamples[x,y]＝predSamplesL0[x,y]+predSamplesL1[x,y]+offset)>>shift
其中shift＝(15–BitDepth)且offset＝1<<(shift–1)
如果运动矢量的水平分量和垂直分量都指向子像素位置，则总是先执行水平插值，然后执行垂直插值。例如为了对图16中所示的子像素j0,0进行插值，首先，根据等式2-1对b0,k(k＝-3，-2，...3)进行插值，然后根据等式2-2对j0,0进行插值。这里，shift1＝Min(4，BitDepthY-8)，且shift2＝6，其中BitDepthY是视频块的比特深度，更具体地说，是视频块的亮度分量的比特深度。
b0,k＝(-A-3,k+4*A-2,k-11*A–1,k+40*A0,k+40*A1,k-11*A2,k+4*A3,k-A4,k)>>shift1 (2-1)
j0,0＝(-b0,-3+4*b0,-2-11*b0,-1+40*b0,0+40*b0,1-11*b0,2+4*b0,3-b0,4)>>shift2 (2-2)
可替代地，我们可以先执行垂直插值，然后执行水平插值。在这种情况下，为了对j0,0进行插值，首先，根据等式2-3对hk,0(k＝-3，-2，...3)进行插值，然后根据等式2-4对j0,0进行插值。当BitDepthY小于或等于8时，shift1为0，在第一个插值阶段没有任何损失，因此，最终插值结果不会被插值顺序改变。然而，当BitDepthY大于8时，shift1大于0。在这种情况下，当应用不同的插值顺序时，最终的插值结果可能不同。
hk,0＝(-Ak,-3+4*Ak,-2-11*Ak，-1+40*Ak,0+40*Ak,1-11*Ak,2+4*Ak,3–Ak,4)>>shift1 (2-3)
j0,0＝(-h-3,0+4*h-2,0-11*h-1,0+40*h0,0+40*h1,0-11*h2,0+4*h3,0-h4,0)>>shift2 (2-4)
3.实施例解决的问题的示例
对于亮度块尺寸WxH，如果我们总是先执行水平插值，则所需的插值(每个像素)在表3中示出。
表3：HEVC/JEM对WxH亮度分量所需的插值
Figure GDA0003865991800000151
另一方面，如果我们先执行垂直插值，则表4中示出了所需的插值。显然，最佳插值顺序是在表3和表4之间需要较小插值次数的插值顺序。
表4：当插值顺序颠倒时，WxH亮度分量所需的插值
Figure GDA0003865991800000161
对于色度分量，如果我们总是先执行水平插值，则所需插值为((H+3)x W+W x H)/(W x H)＝2+3/H。如果我们总是先执行垂直插值，所需插值为((W+3)x H+W x H)/(W x H)＝2+3/W.
如上所述，当输入视频的比特深度大于8时，不同的插值顺序可导致不同的插值结果。因此，插值顺序应在编码器和解码器中隐式地定义。
4.实施例的示例
为了解决这些问题并提供其他益处，我们提出了形状相关的插值顺序。
以下详细示例应被视为解释一般概念的示例。不应以狭隘的方式解释这些发明。此外，这些发明可以以任何方式组合。
1.提出插值顺序取决于当前编码块形状(例如，编码块是CU)。
a.在一个示例中，对于宽度>高度的块(诸如在基于子块的预测(如仿射、ATMVP或BIO)中使用的CU、PU或子块)，首先执行垂直插值，然后执行水平插值，例如，首先对像素dk,0，hk,0和nk,0进行插值，然后对e0,0至r0,0进行插值。等式2-3和2-4中示出了j0,0的示例。
i.可替代地，对于宽度>＝高度的块(诸如在基于子块的预测(如仿射、ATMVP或BIO)中使用的CU、PU或子块)，先执行垂直插值，然后执行水平插值。
b.在一个示例中，对于宽度<＝高度的块(诸如在基于子块的预测(如仿射、ATMVP或BIO)中使用的CU、PU或子块)，先执行水平插值，然后执行垂直插值。
i.可替代地，对于宽度<高度的块(诸如在基于子块的预测(如仿射、ATMVP或BIO)中使用的CU、PU或子块)，先执行水平插值，然后执行垂直插值。
c.在一个示例中，亮度分量和色度分量都遵循相同的插值顺序。
d.可替代地，当一个色度编码块对应于多个亮度编码块时(例如，对于4:2:0的颜色格式，一个色度4×4块可对应于两个8×4或4×8亮度块)，亮度和色度可使用不同的插值顺序。
e.在一个示例中，当利用不同的插值顺序时，可以相应地进一步改变多个阶段中的缩放因子(即，shift1和shift2)。
2.可替代地，另外，提出亮度分量的插值顺序还可以取决于MV。
a.在一个示例中，如果垂直MV分量指向四分之一像素位置并且水平MV分量指向半像素位置，则先执行水平插值，然后执行垂直插值。
b.在一个示例中，如果垂直MV分量指向半像素位置并且水平MV分量指向四分之一像素位置，则先执行垂直插值，然后执行水平插值。
c.在一个示例中，所提出的方法仅应用于方形编码块。
3.所提出的方法可以应用于某些模式、块尺寸/形状和/或某些子块尺寸。
a.所提出的方法可以应用于某些模式，诸如双向预测模式。
b.所提出的方法可以应用于某些块尺寸。
i.在一个示例中，它仅应用于w×h<＝T1的块，其中w和h是当前块的宽度和高度，并且T1是第一阈值，其可以是取决于设计要求的预定义值，诸如16、32或64。
ii.在一个示例中，它仅应用于h<＝T2的块，并且T2是第二阈值，其可以是取决于设计要求的预定义值，诸如4或8。
c.所提出的方法可以应用于某些颜色分量(诸如仅亮度分量)。
4.提出当对一个块应用多假设预测时，与应用于普通预测模式的那些滤波器相比，可以应用短抽头或不同的插值滤波器。
a.在一个示例中，可以使用双线性滤波器。
b.短抽头或第二插值滤波器可以应用于涉及多个参考块的参考图片列表，而对于仅具有一个参考块的另一参考图片，可以应用与用于普通预测模式的滤波器相同的滤波器。
c.所提出的方法可以在某些条件下应用，诸如包含该块的某些(一个或多个)时域层、块/片/条带/图片的量化参数在范围内(诸如大于阈值)。
图17是视频处理装置1700的框图。装置1700可以用于实现本文描述的一个或多个方法。装置1700可以嵌入在智能电话、平板电脑、计算机、物联网(IoT)接收机等中。装置1700可以包括一个或多个处理器1702、一个或多个存储器1704和视频处理硬件1706。(一个或多个)处理器1702可以被配置为实现本文件中描述的一个或多个方法。(一个或多个)存储器1704可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1706可用于在硬件电路中实现本文件中描述的一些技术。
图19是视频比特流处理的方法1900的流程图。方法1900包括确定(1905)视频块的形状，基于视频块确定(1910)插值顺序，该插值顺序指示执行水平插值和垂直插值的序列，并根据视频块的插值顺序执行水平插值和垂直插值，以重建(1915)视频块的解码表示。
图20是视频比特流处理的方法2000的流程图。方法2000包括确定(2005)与视频块相关的运动矢量的特性，基于运动矢量的特性确定(2010)视频块的插值顺序，该插值顺序指示执行水平插值和垂直插值的序列，并根据视频块的插值顺序执行水平插值和垂直插值，以重建(2015)视频块的解码表示。
参考方法1900和2000，在本文件的第4章节中描述了一些执行水平插值和垂直插值的序列的示例及其使用。例如，如第4章节所述，在视频块的不同形状下，可以优先首先执行水平插值或垂直插值中的一个。在一些实施例中，水平插值先于垂直插值执行，并且在一些实施例中，垂直插值先于水平插值执行。
参考方法1900和2000，可以在视频比特流中对视频块进行编码，其中可以通过使用与插值顺序相关的比特流生成规则来实现比特效率，该插值顺序也取决于视频块的形状。
应当理解，所公开的技术可以嵌入在视频编码器或解码器中，以在被压缩的编码单元具有与传统方形块或半方形矩形块明显不同的形状时改进压缩效率。例如，使用诸如4×32或32×4尺寸单元的长或高编码单元的新编码工具可受益于所公开的技术。
图21是视频处理方法2100的示例的流程图。方法2100包括：确定(2102)应用于第一视频块的第一预测模式；通过对第一视频块应用水平插值和/或垂直插值，在第一视频块和第一视频块的编码表示之间执行(2104)第一转换；确定(2106)应用于第二视频块的第二预测模式；通过对第二视频块应用水平插值和/或垂直插值，在第二视频块和第二视频块的编码表示之间执行(2108)第二转换，其中，基于第一预测模式是多假设预测模式而第二预测模式不是多假设预测模式的确定，第一视频块的水平插值和垂直插值中的一个或两个使用与用于第二视频块的滤波器相比的较短抽头滤波器。
图22是视频比特流处理的方法2200的流程图。方法包括：确定(2205)视频块的形状；基于视频块的形状确定(2210)插值顺序，插值顺序指示执行水平插值和垂直插值的序列，以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以构造(2215)视频块的编码表示。
图23是视频比特流处理的方法2300的流程图。该方法包括：确定(2305)与视频块相关的运动矢量的特征；基于运动矢量的特征确定(2310)插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以构造(2315)视频块的编码表示。
可以在以下实施例列表中描述本文件中公开的各种实施例和技术。
1.一种视频处理方法，包括：确定应用于第一视频块的第一预测模式；通过对第一视频块应用水平插值和/或垂直插值，在第一视频块和第一视频块的编码表示之间执行第一转换；确定应用于第二视频块的第二预测模式；通过对第二视频块应用水平插值和/或垂直插值，在第二视频块和第二视频块的编码表示之间执行第二转换，其中，基于第一预测模式是多假设预测模式而第二预测模式不是多假设预测模式的确定，第一视频块的水平插值和垂直插值中的一个或两个使用与用于第二视频块的滤波器相比的较短抽头滤波器。
2.根据示例1的方法，其中，第一视频块利用多于两个参考块进行转换以用于双向预测，并至少对于一个参考图片列表，其使用多于两个参考块。
3.根据示例1的方法，其中利用多于一个参考块对第一视频块进行转换以用于单向预测。
4.根据示例1-3中任一个的方法，其中较短抽头滤波器是双线性滤波器。
5.根据示例1-3中任一个的方法，其中水平插值和垂直插值中的一个或两个对与多个参考块相关的参考图片列表使用较短抽头滤波器。
6.根据示例1-5中任一个的方法，其中，当参考图片列表与单个参考块相关时，水平插值或垂直插值中的一个或两个使用与用于普通预测模式相同的滤波器。
7.根据示例1-6中任一个的方法，其中，基于以下中的一个或多个的确定来应用方法：时域层的使用、包含视频块的一个或多个块、片、条带或图片的量化参数在阈值范围内。
8.根据示例7的方法，其中在阈值范围内的量化参数包括大于阈值的量化参数。
9.根据示例6的方法，其中，普通预测模式包括单向预测或双向预测帧间预测模式，单向预测使用具有至多一个运动矢量和一个参考索引的帧间预测来预测块中的样本的样本值，双向预测帧间预测模式使用具有至多两个运动矢量和参考索引的帧间预测来预测块中样本的样本值。
10.一种视频解码装置，包括处理器，被配置为实现示例1至9的一个或多个的方法。
11.一种视频编码装置，包括处理器，被配置为实现示例1至9的一个或多个的方法。
12.一种其上存储了代码的计算机可读程序介质，代码包括指令，当处理器执行指令时，使处理器实现示例1至9的一个或个中的方法。
13.一种视频比特流处理方法，包括：确定视频块的形状；基于视频块的形状确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以重建视频块的解码表示。
14.根据示例13的方法，其中，视频块的形状由视频块的宽度和高度表示，并且确定插值顺序的步骤还包括：
当视频块的宽度大于视频块的高度时，确定在水平插值之前执行垂直插值作为插值顺序。
15.根据示例13的方法，其中，视频块的形状由宽度和高度表示，并且确定插值顺序的步骤还包括：
当视频块的宽度大于或等于视频块的高度时，确定在水平插值之前执行垂直插值作为插值顺序。
16.根据示例13的方法，其中，视频块的形状由宽度和高度表示，并且确定插值顺序的步骤还包括：
当视频块的高度大于或等于视频块的宽度时，确定在垂直插值之前执行水平插值作为插值顺序。
17.根据示例1的方法，其中，视频块的形状由宽度和高度表示，并且确定插值顺序的步骤还包括：
当视频块的高度大于视频块的宽度时，确定在垂直插值之前执行水平插值作为插值顺序。
18.根据示例1的方法，其中，基于所述插值顺序或基于不同的插值顺序，对视频块的亮度分量和色度分量进行插值。
19.根据示例1的方法，其中，当色度分量的每个色度块对应于亮度分量的多个亮度块时，使用不同的插值顺序对视频块的亮度分量和色度分量进行插值。
20.根据示例13的方法，其中使用不同的插值顺序对视频块的亮度分量和色度分量进行插值，并且其中对于亮度分量和色度分量，在水平插值和垂直插值中使用的缩放因子不同。
21.一种视频比特流处理方法，包括：确定与视频块相关的运动矢量的特征；基于运动矢量的特征确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以重建视频块的解码表示。
22.根据示例21的方法，其中，运动矢量的特征由运动矢量指向的四分之一像素位置和半像素位置表示，运动矢量包括垂直分量和水平分量，并且确定插值顺序包括：当垂直分量指向四分之一像素位置并且水平分量指向半像素位置时，确定在垂直插值之前执行水平插值作为插值顺序。
23.根据示例21的方法，其中，运动矢量的特征由运动矢量指向的四分之一像素位置和半像素位置表示，运动矢量包括垂直分量和水平分量，并且确定插值顺序包括：当垂直分量指向半像素位置并且水平分量指向四分之一像素位置时，确定在水平插值之前执行垂直插值。
24.根据示例21-23中任一个的方法，其中视频块的形状是正方形。
25.根据示例21-24中任一个的方法，其中方法应用于双预测模式。
26.根据示例21-25中任一个的方法，其中，当视频块的高度乘以视频块的宽度小于或等于T1时，应用方法，T1是第一阈值。
27.根据示例21-25中任一个的方法，其中，当视频块具有小于或等于T2的高度时，应用方法，T2是第二阈值。
28.根据示例21-25中任一个的方法，其中将方法应用于视频块的亮度分量。
29.一种视频比特流处理方法，包括：
确定视频块的形状；
基于视频块的形状确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及
按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以构造视频块的编码表示。
30.一种视频比特流处理方法，包括：
确定与视频块相关的运动矢量的特征；
基于运动矢量的特征确定插值顺序，插值顺序指示执行水平插值和垂直插值的序列；以及
按由插值顺序指示的序列对视频块执行水平插值和垂直插值，以构造视频块的编码表示。
31.一种视频解码装置，包括处理器，其被配置为实现示例21至28的一个或多个的方法。
32.一种视频编码装置，包括处理器，其被配置为实现示例29或30的方法。
33.一种计算机程序产品，其上存储有计算机代码，代码在由处理器执行时使处理器实现示例13至30中任一个的方法。
34.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器执行时使处理器实现示例13至30中任一个的方法。
从上述来看，应当理解的是，为了便于说明，本发明公开的技术的具体实施例已经在本文中进行了描述，但是可以在不偏离本发明范围的情况下进行各种修改。因此，除了的之外，本发明公开的技术不限于权利要求的限定。
本专利文件中主题名称的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。在本说明书中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编码在暂时性和非暂时性计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
说明书和附图旨在被认为是示例性的，其中示例性意味着示例。如这里所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。另外，“或”的使用旨在包括“和/或”，除非上下文另有明确说明。
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的一些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在一些组合中起作用，甚至最初要求是这样，但在一些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (11)

1.一种视频处理方法，包括：
确定应用于第一视频块的第一预测模式；
通过对所述第一视频块应用水平插值和/或垂直插值，在所述第一视频块和所述第一视频块的编解码表示之间执行第一转换；
确定应用于第二视频块的第二预测模式；
通过对所述第二视频块应用水平插值和/或垂直插值，在所述第二视频块和所述第二视频块的编解码表示之间执行第二转换，
其中，基于所述第一预测模式是多假设预测模式而所述第二预测模式是正常预测模式的确定，所述第一视频块的所述水平插值和所述垂直插值中的一个或两个使用与用于所述第二视频块的滤波器相比的较短抽头滤波器，
其中，在多假设预测模式下，所述水平插值和所述垂直插值中的一个或两个对与多个参考块相关的参考图片列表使用所述较短抽头滤波器。
2.根据权利要求1所述的方法，其中，所述第一视频块利用多于两个参考块进行转换以用于双向预测，并且至少对于一个参考图片列表，其使用至少两个参考块。
3.根据权利要求1所述的方法，其中利用多于一个参考块对所述第一视频块进行转换以用于单向预测。
4.根据权利要求1-3中任一项所述的方法，其中所述较短抽头滤波器是双线性滤波器。
5.根据权利要求1-4中任一项所述的方法，其中，在多假设预测模式下，当参考图片列表与单个参考块相关时，所述水平插值或所述垂直插值中的一个或两个使用与用于所述正常预测模式相同的滤波器。
6.根据权利要求1-5中任一项所述的方法，其中，基于以下中的一个或多个的确定来应用所述方法：时域层的使用、包含所述视频块的一个或多个块、片、条带或图片的量化参数在阈值范围内。
7.根据权利要求6所述的方法，其中在阈值范围内的量化参数包括大于阈值的量化参数。
8.根据权利要求5所述的方法，其中，所述正常预测模式包括单向预测或双向预测帧间预测模式，所述单向预测使用具有至多一个运动矢量和一个参考索引的帧间预测来预测块中的样本的样本值，所述双向预测帧间预测模式使用具有至多两个运动矢量和参考索引的帧间预测来预测块中样本的样本值。
9.一种视频解码装置，包括处理器，被配置为实现权利要求1至8中的任一项所述的方法。
10.一种视频编码装置，包括处理器，被配置为实现权利要求1至8中的任一项所述的方法。
11.一种其上存储了代码的计算机可读程序介质，所述代码包括指令，当处理器执行所述指令时，使所述处理器实现权利要求1至8中的任一项所述的方法。
CN201910637842.0A 2018-07-13 2019-07-15 用于视频处理的方法、装置和存储介质 Active CN110719466B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018095576 2018-07-13
CNPCT/CN2018/095576 2018-07-13

Publications (2)

Publication Number Publication Date
CN110719466A CN110719466A (zh) 2020-01-21
CN110719466B true CN110719466B (zh) 2022-12-23

Family

ID=67989031

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910637388.9A Active CN110719475B (zh) 2018-07-13 2019-07-15 取决于形状的插值顺序
CN201910637842.0A Active CN110719466B (zh) 2018-07-13 2019-07-15 用于视频处理的方法、装置和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910637388.9A Active CN110719475B (zh) 2018-07-13 2019-07-15 取决于形状的插值顺序

Country Status (3)

Country Link
CN (2) CN110719475B (zh)
TW (2) TWI704799B (zh)
WO (2) WO2020012448A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023198120A1 (en) * 2022-04-13 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
CN101527847B (zh) * 2009-01-04 2012-01-04 炬力集成电路设计有限公司 运动补偿插值装置和方法
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
WO2012100085A1 (en) * 2011-01-19 2012-07-26 General Instrument Corporation High efficiency low complexity interpolation filters
US20120230393A1 (en) * 2011-03-08 2012-09-13 Sue Mon Thet Naing Methods and apparatuses for encoding and decoding video using adaptive interpolation filter length
US20120230407A1 (en) * 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
CN102665080B (zh) * 2012-05-08 2015-05-13 开曼群岛威睿电通股份有限公司 用于移动补偿的电子装置及移动补偿方法
US11122262B2 (en) * 2014-06-27 2021-09-14 Samsung Electronics Co., Ltd. System and method for motion compensation in video coding
CN104881843A (zh) * 2015-06-10 2015-09-02 京东方科技集团股份有限公司 图像插值方法和图像插值装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JVET-J0041-v2：Multi-Hypothesis Inter Prediction;WINKEN，Martin等;《Joint Video Experts Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20180406;全文 *

Also Published As

Publication number Publication date
TWI722486B (zh) 2021-03-21
TW202023276A (zh) 2020-06-16
TWI704799B (zh) 2020-09-11
WO2020012449A1 (en) 2020-01-16
TW202013960A (zh) 2020-04-01
CN110719475A (zh) 2020-01-21
CN110719466A (zh) 2020-01-21
WO2020012448A2 (en) 2020-01-16
CN110719475B (zh) 2022-12-09
WO2020012448A3 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN113711589B (zh) 帧间编解码模式中的二分之一像素插值滤波器
CN113170181A (zh) 块内拷贝模式中的仿射继承方法
CN110944170A (zh) 扩展Merge预测
CN112970258A (zh) 用于子块预测块的多假设
CN110677668B (zh) 空间运动压缩
CN113424525A (zh) 解码器侧细化工具的尺寸选择性应用
CN110858901B (zh) 使用时域邻居的重叠块运动补偿
CN110677678B (zh) 依赖形状的帧间编码
CN114270856A (zh) 视频处理中的备选插值滤波器的选择性使用
CN113196777B (zh) 用于运动补偿的参考像素填充
CN110719466B (zh) 用于视频处理的方法、装置和存储介质
CN113273216B (zh) Mmvd改进
CN110677650B (zh) 降低非相邻Merge设计的复杂度
CN113302938A (zh) 整数mv运动补偿
CN113273208A (zh) 仿射预测模式的改进
CN113574867B (zh) Mv精度约束

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant