CN113383554A - LUT和共享Merge列表之间的交互 - Google Patents

LUT和共享Merge列表之间的交互 Download PDF

Info

Publication number
CN113383554A
CN113383554A CN202080008893.8A CN202080008893A CN113383554A CN 113383554 A CN113383554 A CN 113383554A CN 202080008893 A CN202080008893 A CN 202080008893A CN 113383554 A CN113383554 A CN 113383554A
Authority
CN
China
Prior art keywords
motion
block
candidates
codec
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080008893.8A
Other languages
English (en)
Other versions
CN113383554B (zh
Inventor
张莉
张凯
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN113383554A publication Critical patent/CN113383554A/zh
Application granted granted Critical
Publication of CN113383554B publication Critical patent/CN113383554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于视频处理的方法,包括:基于跨片预测是否被启用,确定是否使用时域预测用于获得用于视频的当前视频块和视频的编解码表示之间的转换的自适应环路滤波器;以及使用基于该确定而获得的自适应环路滤波器来执行该转换。

Description

LUT和共享Merge列表之间的交互
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则,本申请是为了及时要求于2019年1月13日提交的国际专利申请No.PCT/CN2019/071510的优先权和利益。对于根据美国法律的所有目的,前述申请的全部公开通过引用而并入作为本申请的公开的一部分。
技术领域
本专利文档涉及视频编解码技术、设备和系统。
背景技术
尽管视频压缩有所进步,但数字视频仍占互联网和其他数字通信网络上的最大的带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计对数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了用于使用运动矢量的Merge列表来编码和解码数字视频的方法、系统和设备。
在一个示例方面,公开了一种用于视频处理的方法。该方法包括:基于跨片预测是否被启用,确定是否使用时域预测用于获得用于视频的当前视频块和视频的编解码表示之间的转换的自适应环路滤波器;以及使用基于该确定而获得的自适应环路滤波器来执行该转换。
在另一个示例方面,公开了一种用于视频处理的方法。该方法包括:确定是否对与编解码单元划分树中的祖先节点相对应的Merge共享节点启用Merge列表信息的共享以允许编解码单元划分树中的祖先节点的叶编解码单元使用Merge列表信息;以及基于该确定来执行视频的当前视频块和视频的编解码表示之间的转换。
在又一个示例方面,公开了一种实施本文描述的视频编码方法的视频编码器设备。
在又一个代表性方面,本文描述的各种技术可以被体现为存储在非暂时性计算机可读介质上的计算机程序产品。该计算机程序产品包括用于执行本文描述的方法的程序代码。
在又一个代表性方面,视频解码器装置可以实施如本文所描述的方法。
一个或多个实施方式的细节在下面的附件、附图和描述中阐述。从说明书和附图并且从权利要求书中,其他特征将是显而易见的。
附图说明
图1是示出视频编码器实施方式的示例的框图
图2示出了H.264视频编解码标准中的宏块分割。
图3示出了将编解码块(Coding Block,CB)划分为预测块(Prediction Block,PU)的示例。
图4示出了用于将CTB细分为CB和变换块(Transform Block,TB)的示例实施方式。实线指示CB边界,并且虚线指示TB边界,包括示例CTB及其分割、以及对应的四叉树。
图5示出了用于分割视频数据的四叉树二叉树(Quad Tree Binary Tree,QTBT)结构的示例。
图6示出了视频块分割的示例。
图7示出了四叉树分割的示例。
图8示出了树型信令通知的示例。
图9示出了用于Merge候选列表构建的推导过程的示例。
图10示出了空域Merge候选的示例位置。
图11示出了为空域Merge候选的冗余检查考虑的候选对的示例。
图12示出了N×2N和2N×N分割的第二PU的位置的示例。
图13示出了用于时域Merge候选的运动矢量缩放。
图14示出了时域Merge候选的候选位置、以及它们的并置图片。
图15示出了组合的双向预测Merge候选的示例。
图16示出了运动矢量预测候选的推导过程的示例。
图17示出了用于空域运动矢量候选的运动矢量缩放的示例。
图18示出了用于CU的运动预测的示例可选时域运动矢量预测(AlternativeTemporal Motion Vector Prediction,ATMVP)。
图19绘画地描绘了识别源块和源图片的示例。
图20示出了具有四个子块的一个CU以及邻近块的示例。
图21示出了双边匹配的示例。
图22示出了模板匹配的示例。
图23描绘了帧率上转换(Frame Rate Up Conversion,FRUC)中的单边运动估计(Motion Estimation,ME)的示例。
图24示出了基于双边模板匹配的DMVR的示例。
图25示出了用于推导空域Merge候选的空域邻近块的示例。
图26描绘了如何选择查找表的代表性位置的示例。
图27A和图27B示出了用新的运动信息集合来更新查找表的示例。
图28A和图28B示出了用于实施本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例。
图29是基于所公开的技术的一些实施方式的视频处理方法的流程图的示例。
图30是基于所公开的技术的一些实施方式的视频处理方法的流程图的示例。
图31示出了利用所提出的HMVP方法的解码流程图的示例。
图32示出了使用所提出的HMVP方法来更新表的示例。
图33A和图33B示出了基于冗余移除的LUT更新方法的示例(移除了一个冗余运动候选)。
图34A和图34B示出了基于冗余移除的LUT更新方法的示例(移除了多个冗余运动候选)。
图35示出了类型1块和类型2块之间的差异的示例。
具体实施方式
为了改善视频的压缩率,研究人员在持续寻找通过其对视频进行编码的新技术。
1.介绍
本文档涉及视频编解码技术。具体地,它设计视频编解码中的运动信息编解码(诸如Merge模式、AMVP模式)。它可以被应用于现有的视频编解码标准(如HEVC)或者待完成的标准(多功能视频编解码)。它也可以适用于未来的视频编解码标准或视频编解码器。
简短讨论
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展进行演进。ITU-T产生了H.261和H.263视频编解码标准,ISO/IEC产生了MPEG-1和MPEG-4可视,并且这两个组织联合产生了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(Advanced VideoCoding,AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中利用了时域预测加变换编解码。在图1中描绘了通常的HEVC编码器框架的示例。
2.1分割结构
2.1.1H.264/AVC中的分割树结构
先前标准中的编解码层的核心是宏块,其包含16×16亮度样点块,并且在4:2:0颜色采样的通常情况下,包含两个对应的8×8色度样点块。
帧内编解码块使用空域预测来利用像素当中的空域相关性。定义了两个分割:16×16和4×4。
帧间编解码块通过估计图片当中的运动来使用时域预测而不是空域预测。可以针对16×16宏块或其任何子宏块分割(16×8、8×16、8×8、8×4、4×8、4×4)独立地估计运动(参见图2)。仅允许每个子宏块分割一个运动矢量(MV)。
2.1.2HEVC中的分割树结构
在HEVC中,通过使用表示为编解码树的四叉树结构将CTU划分为CU以适应各种局部特性。使用帧间图片(时域)还是帧内图片(空域)预测来编解码图片区域的决定是在CU级别进行的。可以根据PU划分类型将每个CU进一步划分为一个、两个或四个PU。在一个PU内部,应用相同的预测过程,并且基于PU将相关信息发送到解码器。在通过应用基于PU划分类型的预测过程来获得残差块之后,可以根据类似于CU的编解码树的另一个四叉树结构将CU分割为变换单元(Transform Unit,TU)。HEVC结构的关键特征中的一个是它具有多个分割概念,包括CU、PU和TU。
在以下内容中,使用HEVC的混合视频编解码中涉及的各种特征强调如下:
1)编解码树单元和编解码树块(Coding Tree Block,CTB)结构:HEVC中的模拟结构是编解码树单元(Coding Tree Unit,CTU),其具有由编码器选择的尺寸并且可以大于传统宏块。CTU由亮度CTB和对应的色度CTB以及语法元素组成。亮度CTB的尺寸L×L可以选择为L=16、32或64个样点,其中更大的尺寸通常能够实现更好的压缩。HEVC然后支持使用树结构和类似四叉树的信号将CTB分割为更小的块。
2)编解码单元(Coding Unit,CU)和编解码块(CB):CTU的四叉树语法指定其亮度CB和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此,亮度CTB的尺寸是亮度CB的最大支持尺寸。将CTU划分为亮度CB和色度CB是联合信令通知的。一个亮度CB和通常两个色度CB与相关联的语法一起形成编解码单元(CU)。CTB可以仅包含一个CU或者可以被划分以形成多个CU,并且每个CU具有成为预测单元(PU)的相关联分割和变换单元(TU)的树。
3)预测单元和预测块(Prediction Block,PB):使用帧间图片还是帧内图片预测来编解码图片区域的决定是在CU级别进行的。PU分割结构的根在CU级别。根据基本预测类型决定,亮度CB和色度CB然后可以进一步在尺寸上被划分,并且根据亮度和色度预测块(PB)而预测。HEVC支持从64×64下至4×4个样点的可变PB尺寸。图3示出了M×M CU的允许的PB的示例。
4)TU和变换块:使用块变换对预测残差进行编解码。TU树结构的根在CU级别。亮度CB残差可以与亮度变换块(TB)相同,或者可以进一步划分为更小的亮度TB。这同样适用于色度TB。针对正方形TB尺寸4×4、8×8、16×16和32×32定义类似于离散余弦变换(Discrete Cosine Transform,DCT)的函数的整数基函数。对于亮度帧内图片预测残差的4×4变换,可替代地指定从离散正弦变换(Discrete Sine Transform,DST)的形式推导的整数变换。
图4示出了将CTB细分为CB和变换块(TB)的示例。实线指示CB边界,并且虚线指示TB边界。(a)CTB及其分割。(b)对应的四叉树。
2.1.2.1树结构分割为变换块和变换单元
对于残差编解码,CB可以被递归地分割为变换块(TB)。分割由残差四叉树信令通知。仅指定了正方形CB和TB分割,其中块可以被递归地划分为象限,如图4所示。对于尺寸为M×M的给定亮度CB,标志信令通知其是否被划分为四个尺寸为M/2×M/2的块。如果可以进一步划分,如通过SPS中指示的残差四叉树的最大深度信令通知的,则为每个象限分配指示其是否被划分为四个象限的标志。由残差四叉树产生的叶节点块是通过变换编解码进一步处理的变换块。编码器指示其将使用的最大和最小亮度TB尺寸。当CB尺寸大于最大TB尺寸时,划分是隐式的。当划分将导致亮度TB尺寸小于指示的最小值时,不划分是隐式的。除了当亮度TB尺寸为4×4时(在这种情况下,单个4×4色度TB用于由四个4×4亮度TB覆盖的区域),色度TB尺寸在每个维度中是亮度TB尺寸的一半。在帧内图片预测的CU的情况下,(在CB内或外部的)最近的邻近TB的解码样点被用作用于帧内图片预测的参考数据。
与先前标准相反,HEVC设计允许TB跨越帧间图片预测的CU的多个PB,以最大化四叉树结构TB分割的潜在编解码效率益处。
2.1.2.2父节点和子节点
根据四叉树结构划分CTB,四叉树结构的节点是编解码单元。四叉树结构中的多个节点包括叶节点和非叶节点。叶节点在树结构中没有子节点(即,叶节点不被进一步划分)。非叶节点包括树结构的根节点。根节点对应于视频数据的初始视频块(例如,CTB)。对于多个节点中的每个相应的非根节点,相应的非根节点对应于视频块,该视频块是与相应的非根节点的树结构中的父节点相对应的视频块的子块。多个非叶节点中的每个相应的非叶节点在树结构中具有一个或多个子节点。
2.1.3JEM中具有更大CTU的四叉树加二叉树块结构
为了探索HEVC以外的未来的视频编解码技术,由VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后,许多新方法被JVET采用,并被放到名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。
2.1.3.1QTBT块分割结构
不同于HEVC,QTBT结构移除了多个分割类型的概念,即,它移除了CU、PU和TU概念的分离,并且支持CU分割形状的更多灵活性。在QTBT块结构中,CU可以具有正方形或矩形形状。如图5所示,首先通过四叉树结构分割编解码树单元(CTU)。通过二叉树结构进一步分割四叉树叶节点。在二叉树划分中有两种划分类型,对称水平划分和对称垂直划分。二叉树叶节点被称为编解码单元(CU),并且该分段用于预测和变换处理而无需任何进一步的分割。这意味着CU、PU和TU在QTBT编解码块结构中具有相同的块尺寸。在JEM中,CU有时由不同颜色分量的编解码块(CB)组成,例如,一个CU在4:2:0色度格式的P条带和B条带的情况下包含一个亮度CB和两个色度CB,并且有时由单个分量的CB组成,例如,一个CU在I条带的情况下仅包含一个亮度CB或只包含两个色度CB。
为QTBT分割方案定义以下参数:
--CTU尺寸:四叉树的根节点尺寸,与HEVC中的概念相同
--MinQTSize:最小允许的四叉树叶节点尺寸
--MaxBTSize:最大允许的二叉树根节点尺寸
--MaxBTDepth:最大允许的二叉树深度
--MinBTSize:最小允许二叉树叶节点尺寸
在QTBT分割结构的一个示例中,CTU尺寸被设置为128×128个亮度样点以及两个对应的64×64色度样点块,MinQTSize被设置为16×16,MaxBTSize被设置为64×64,MinBTSize(针对宽度和高度两者)被设置为4×4,并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即,MinQTSize)至128×128(即,CTU尺寸)的尺寸。如果叶四叉树节点为128×128,则由于尺寸超过MaxBTSize(即,64×64),所以它不会通过二叉树被进一步划分。否则,叶四叉树节点可以通过二叉树被进一步分割。因此,四叉树叶节点也是二叉树的根节点,并且其二叉树深度为0。当二叉树深度达到MaxBTDepth(即,4)时,不考虑进一步的划分。当二叉树节点的宽度等于MinBTSize(即,4)时,不考虑进一步的水平划分。类似地,当二叉树节点的高度等于MinBTSize时,不考虑进一步的垂直划分。通过预测和变换处理进一步处理二叉树的叶节点,而无需任何进一步的分割。在JEM中,最大CTU尺寸为256×256个亮度样点。
图5(左边)示出了通过使用QTBT进行块分割的示例,并且图5(右边)示出了对应的树表示。实线指示四叉树划分,并且虚线指示二叉树划分。在二叉树的每个划分(即,非叶)节点中,信令通知一个标志以指示使用哪种划分类型(即,水平或垂直),其中0指示水平划分,并且1指示垂直划分。对于四叉树划分,不需要指示划分类型,因为四叉树划分总是水平和垂直地划分块以产生具有相同尺寸的4个子块。
另外,QTBT方案支持亮度和色度具有单独的QTBT结构的能力。目前,对于P条带和B条带,一个CTU中的亮度CTB和色度CTB共享相同的QTBT结构。然而,对于I条带,通过QTBT结构将亮度CTB分割为CU,并且通过另一个QTBT结构将色度CTB分割为色度CU。这意味着I条带中的CU由亮度分量的编解码块或两个色度分量的编解码块组成,并且P条带或B条带中的CU由所有三个颜色分量的编解码块组成。
在HEVC中,小块的帧间预测被限制,以减少运动补偿的存储器访问,使得对于4×8块和8×4块不支持双向预测,并且对于4×4块不支持帧间预测。在JEM的QTBT中,这些限制被移除。
2.1.4VVC的三叉树
支持除了四叉树和二叉树之外的树类型。在实施方式中,还引入了两种三叉树(Ternary-Tree,TT)分割,即水平和垂直中心侧三叉树,如图6(d)和(e)所示。
图6示出了:(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直中心侧三叉树分割(e)水平中心侧三叉树分割。
有两个级别的树,区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(Region Tree,RT)对CTU进行分割。可以用预测树(Prediction Tree,PT)进一步划分RT叶。还可以用PT进一步划分PT叶,直到达到最大PT深度。PT叶是基本编解码单元。为方便起见,它仍被称为CU。CU无法被进一步划分。预测和变换都以与JEM相同的方式应用于CU。整个分割结构被命名为“多类型树”。
2.1.5分割结构
在该响应中使用的树结构(称为多树类型(Multi-Tree Type,MTT))是QTBT的一般化。在QTBT中,如图5所示,首先通过四叉树结构分割编解码树单元(CTU)。通过二叉树结构进一步分割四叉树叶节点。
MTT的基本结构由两种类型的树节点构成:区域树(RT)和预测树(PT),支持九种类型的分割,如图7所示。
图7示出了:(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直三叉树分割(e)水平三叉树分割(f)水平向上非对称二叉树分割(g)水平向下非对称二叉树分割(h)垂直向左非对称二叉树分割(i)垂直向右非对称二叉树分割。
区域树可以递归地将CTU划分为方块,直到4×4尺寸的区域树叶节点。在区域树中的每个节点处,可以从以下三种树类型中的一种形成预测树:二叉树(BT)、三叉树(TT)和非对称二叉树(Asymmetric Binary Tree,ABT)。在PT划分中,禁止在预测树的分支中具有四叉树分割。如在JEM中地,亮度树和色度树在I条带中被分离。用于RT和PT的信令通知方法如图8所示。
2.2HEVC/H.265中的帧间预测
每个帧间预测的PU(预测单元)具有针对一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。还可以使用inter_pred_idc信令通知两个参考图片列表中的一个的使用。运动矢量可以被显式地编解码为相对于预测值的增量(delta),这样的编解码模式被称为AMVP模式。
当以跳过模式对CU进行编解码时,一个PU与CU相关联,并且不存在显著的残差系数、没有编解码的运动矢量增量或参考图片索引。指定Merge模式,由此从邻近PU获得当前PU的运动参数,包括空域和时域候选。Merge模式可以应用于任何帧间预测的PU,而不仅应用于跳过模式。Merge模式的可选方案是运动参数的显式传输,其中每个PU显式地信令通知运动矢量、每个参考图片列表的对应参考图片索引、以及参考图片列表使用。
当信令指示要使用两个参考图片列表中的一个时,从一个样点块产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带两者。
当信令指示要使用参考图片列表中的两者时,从两个样点块产生PU。这被称为“双向预测”。双向预测仅可用于B条带。
下文提供了关于在HEVC中指定的帧间预测模式的细节。描述将以Merge模式开始。
2.2.1Merge模式
2.2.1.1Merge模式的候选的推导
当使用Merge模式预测PU时,从比特流解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。在HEVC标准中指定了该列表的构建,并且可以根据以下步骤序列进行概述:
·步骤1:初始候选推导
ο步骤1.1:空域候选推导
ο步骤1.2:空域候选的冗余检查
ο步骤1.3:时域候选推导
·步骤2:附加候选插入
ο步骤2.1:创建双向预测候选
ο步骤2.2:插入零运动候选
还在图9中示意性地描绘了这些步骤。对于空域Merge候选推导,在位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导,在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的恒定数量的候选,因此当候选的数量未达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时,生成附加候选。由于候选的数量是恒定的,因此使用截断一元二值化(Unary Binarization,TU)来编码最佳Merge候选的索引。如果CU的尺寸等于8,则当前CU的所有PU共享单个Merge候选列表,其与2N×2N预测单元的Merge候选列表相同。
在以下内容中,详细描述了与前述步骤相关联的操作。
2.2.1.2空域候选推导
在对空域Merge候选的推导中,在位于图10中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任何PU不可用(例如,因为它属于另一个条带或片)或者是帧内编解码时,才考虑位置B2。在添加位置A1处的候选之后,对剩余候选的添加进行冗余检查,其确保具有相同运动信息的候选被排除在列表之外,从而改进编解码效率。
为了降低计算复杂性,在所提到的冗余检查中不考虑所有可能的候选对。相反,只考虑与图11中的箭头链接的对,并且仅当用于冗余检查的对应候选没有相同的运动信息时,候选才被添加到列表。重复运动信息的另一个源是与不同于2N×2N的分割相关联的“第二PU”。作为示例,图12分别描绘了N×2N和2N×N的情况下的第二PU。当当前PU被分割为N×2N时,位置A1处的候选不被考虑用于列表构建。事实上,通过添加该候选将导致两个预测单元具有相同的运动信息,这对于在编解码单元中只具有一个PU是冗余的。类似地,当当前PU被分割为2N×N时,不考虑位置B1
2.2.1.3时域候选推导
在该步骤中,仅一个候选被添加到列表。具体地,在对该时域Merge候选的推导中,基于属于与给定参考图片列表内的当前图片具有最小POC差的图片的并置PU来推导缩放运动矢量。在条带头中显式地信令通知要用于推导并置PU的参考图片列表。时域Merge候选的缩放运动矢量如图13中的虚线所示而获得,该缩放运动矢量是使用POC距离tb和td从并置PU的运动矢量缩放的,其中tb被定义为当前图片的参考图片与当前图片之间的POC差,并且td被定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引被设置为等于零。在HEVC规范中描述了缩放过程的实际实现。对于B条带,两个运动矢量(一个用于参考图片列表0,并且另一个用于参考图片列表1)被获得并组合,以产生双向预测Merge候选。示出了用于时域Merge候选的运动矢量缩放。
在属于参考帧的并置PU(Y)中,在候选C0和C1之间选择时域候选的位置,如图14中所描绘的。如果位置C0处的PU不可用、是帧内编解码的、或者在当前CTU外部,则使用位置C1。否则,位置C0用于对时域Merge候选的推导中。
2.2.1.4附加候选插入
除了空时Merge候选之外,存在两种附加类型的Merge候选:组合的双向预测Merge候选和零Merge候选。通过利用空时Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一个初始候选的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组提供不同的运动假设,它们将形成新的双向预测候选。作为示例,图15描绘了当具有mvL0和refIdxL0或mvL1和refIdxL1的原始列表(在左边)中的两个候选用于创建被添加到最终列表(在右边)的组合的双向预测Merge候选时的情况。有关于组合的许多规则,考虑这些规则以生成这些附加Merge候选。
插入零运动候选以填充Merge候选列表中的剩余条目,并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引,其从零开始并且每当新的零运动候选被添加到列表时增加。由这些候选使用的参考帧的数量对于单向预测和双向预测分别是1和2。最终,不对这些候选执行冗余检查。
2.2.1.5用于并行处理的运动估计区域
为了加速编码过程,可以并行执行运动估计,由此同时推导给定区域内部的所有预测单元的运动矢量。从空域邻域推导Merge候选可能干扰并行处理,因为一个预测单元不能从相邻PU推导运动参数,直到其相关联的运动估计被完成。为了缓和编解码效率和处理时延之间的折衷,HEVC定义了使用“log2_parallel_merge_level_minus2”语法元素在图片参数集中信令通知其尺寸的运动估计区域(Motion Estimation Region,MER)。当定义了MER时,落入相同区域的Merge候选被标记为不可用,并且因此在列表构建中不考虑。
7.3.2.3图片参数集RBSP语法
7.3.2.3.1一般图片参数集RBSP语法
Figure GDA0003213289430000121
log2_parallel_merge_level_minus2加2指定变量Log2ParMrgLevel的值,其用于如条款8.5.3.2.2所指定的Merge模式的亮度运动矢量的推导过程以及如条款8.5.3.2.3所指定的空域Merge候选的推导过程中。log2_parallel_merge_level_minus2的值必须在0到CtbLog2SizeY-2的范围内,包括0和CtbLog2SizeY-2。
变量Log2ParMrgLevel被推导如下:
Log2ParMrgLevel=log2_parallel_merge_level_minus2+2 (7-37)
注3-Log2ParMrgLevel的值指示Merge候选列表的并行推导的内置能力。例如,当Log2ParMrgLevel等于6时,被包含在64×64块中的所有预测单元(PU)和编解码单元(CU)的Merge候选列表可以被并行地推导。
2.2.2AMVP模式中的运动矢量预测
运动矢量预测利用运动矢量与邻近PU的空时相关性,其用于运动参数的显式传输。它通过首先检查左边、上边时域上邻近的PU位置的可用性,移除冗余候选并添加零矢量以使候选列表为恒定长度来构建运动矢量候选列表。然后,编码器可以从候选列表选择最佳预测值,并发送指示所选择的候选的对应索引。与Merge索引信号类似,使用截断一元来编码最佳运动矢量候选的索引。在这种情况下要被编码的最大值是2(例如,图2至图8)。在以下章节中,提供了关于运动矢量预测候选的推导过程的细节。
2.2.2.1运动矢量预测候选的推导
图16概述了运动矢量预测候选的推导过程。
在运动矢量预测中,考虑两种类型的运动矢量候选:空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导,最终基于位于如图11所描绘的五个不同位置的每个PU的运动矢量推导两个运动矢量候选。
对于时域运动矢量候选推导,从基于两个不同的并置位置而推导的两个候选选择一个运动矢量候选。在产生第一空时候选列表之后,移除列表中的重复的运动矢量候选。如果潜在候选的数量大于二,则从列表移除其相关联的参考图片列表内的参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于二,则将附加的零运动矢量候选添加到列表。
2.2.2.2空域运动矢量候选
在对空域运动矢量候选的推导中,在从位于如图11所描绘的位置的PU推导的五个潜在候选当中考虑最多两个候选。那些位置与运动Merge的位置相同。当前PU的左侧的推导顺序被定义为A0、A1、以及缩放A0、缩放A1。当前PU的上侧的推导顺序被定义为B0、B1、B2、缩放B0、缩放B1、缩放B2。对于每一侧,因此存在可用作运动矢量候选的四种情况,其中两种情况不需要使用空域缩放,并且两种情况使用空域缩放。四种不同的情况概述如下:
·无空域缩放
-(1)相同的参考图片列表,以及相同的参考图片索引(相同的POC)
-(2)不同的参考图片列表,但是相同的参考图片(相同的POC)
·空域缩放
-(3)相同的参考图片列表,但是不同的参考图片(不同的POC)
-(4)不同的参考图片列表,以及不同的参考图片(不同的POC)
首先检查无空域缩放情况,然后是空域缩放情况。当不管参考图片列表如何,POC在邻近PU的参考图片与当前PU的参考图片之间不同时,考虑空域缩放。如果左边候选的所有PU都不可用或者是帧内编解码的,则允许针对上边运动矢量的缩放以帮助对左边和上边MV候选的并行推导。否则,针对上边运动矢量不允许空域缩放。
在空域缩放过程中,以与时域缩放类似的方式缩放邻近PU的运动矢量,如图17所描绘的。主要差异是参考图片列表和当前PU的索引被给出作为输入;实际缩放过程与时域缩放的过程相同。
2.2.2.3时域运动矢量候选
除了参考图片索引推导,对时域Merge候选的推导的所有过程与对空域运动矢量候选的推导的所有过程相同(参见例如图6)。向解码器信令通知参考图片索引。
2.2.2.4AMVP信息的信令
对于AMVP模式,可以在比特流中信令通知四个部分,即预测方向、参考索引、MVD和mv预测值候选索引。
语法表
Figure GDA0003213289430000151
7.3.8.9运动矢量差语法
Figure GDA0003213289430000161
2.3JEM(联合探索模型)中的新的帧间预测方法
2.3.1基于子CU的运动矢量预测
在具有QTBT的JEM中,每个CU可以针对每个预测方向具有至多一个运动参数集合。通过将大CU划分为子CU并且推导大CU的所有子CU的运动信息,在编码器中考虑两个子CU级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从比并置参考图片中的当前CU小的多个块提取运动信息的多个集合。在空时运动矢量预测(STMVP)方法中,通过使用时域运动矢量预测值和空域邻近运动矢量来递归地推导子CU的运动矢量。
为了保留子CU运动预测的更准确的运动场,参考帧的运动压缩当前被禁用。
2.3.1.1可选时域运动矢量预测
在可选时域运动矢量预测(ATMVP)方法中,通过从比当前CU小的块提取多个运动信息(包括运动矢量和参考索引)集合来修改运动矢量时域运动矢量预测(TMVP)方法。如图18所示,子CU是正方形N×N块(N默认被设置为4)。
ATMVP以两个步骤预测CU内的子CU的运动矢量。第一步骤是用所谓的时域矢量来识别参考图片中的对应块。参考图片被称为运动源图片。第二步骤是将当前CU划分为子CU,并从对应于每个子CU的块获得运动矢量以及每个子CU的参考索引,如图18所示。
在第一步骤中,参考图片和对应块由当前CU的空域邻近块的运动信息确定。为了避免邻近块的重复扫描过程,使用当前CU的Merge候选列表中的第一Merge候选。第一可用运动矢量以及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样,在ATMVP中,与TMVP相比,可以更准确地识别对应块,其中对应块(有时称为并置块)总是相对于当前CU处于右下方或中心位置。在一个示例中,如果第一Merge候选来自左边邻近块(即,图19中的A1),则相关联的MV和参考图片用于识别源块和源图片。
图19示出了识别源块和源图片的示例。
在第二步骤中,通过向当前CU的坐标添加时域矢量,通过运动源图片中的时域矢量识别子CU的对应块。对于每个子CU,其对应块的运动信息(覆盖中心样点的最小运动网格)用于推导子CU的运动信息。在识别出对应的N×N块的运动信息之后,以与HEVC的TMVP相同的方式将其转换为当前子CU的运动矢量和参考索引,其中运动缩放和其他过程适用。例如,解码器检查是否满足低延迟条件(即,当前图片的所有参考图片的POC小于当前图片的POC),并且可能使用运动矢量MVx(对应于参考图片列表X的运动矢量)来预测每个子CU的运动矢量MVy(其中X等于0或1,并且Y等于1-X)。
2.3.1.2空时运动矢量预测
在该方法中,按照光栅扫描顺序递归地推导子CU的运动矢量。图20示出了该概念。我们考虑包含四个4×4子CU A、子CU B、子CU C和子CU D的8×8CU。当前帧中的邻近4×4块被标记为a、b、c和d。
子CU A的运动推导通过识别其两个空域邻居开始。第一邻居是子CU A上边的N×N块(块c)。如果该块c不可用或是帧内编解码的,则检查子CU A上边的其他N×N块(在块c处开始,从左到右)。第二邻居是子CU A的左边的块(块b)。如果块b不可用或是帧内编解码的,则检查子CU A的左边的其他块(在块b处开始,从上到下)。从每个列表的邻近块获得的运动信息被缩放为给定列表的第一参考帧。接下来,通过按照与HEVC中指定的相同的时域运动矢量预测值(Temporal Motion Vector Predictor,TMVP)推导过程来推导子块A的TMVP。在位置D处的并置块的运动信息被提取并相应地缩放。最后,在检索和缩放运动信息之后,针对每个参考列表分别对所有可用运动矢量(多达3个)进行平均。平均运动矢量被指定为当前子CU的运动矢量。
图20示出了具有四个子块(A-D)的一个CU及其邻近块(a-d)的示例。
2.3.1.3子CU运动预测模式信令通知
子CU模式被启用作为附加Merge候选,并且不需要附加语法元素来信令通知模式。两个附加Merge候选被添加到每个CU的Merge候选列表以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP,则可以使用多达七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同,这意味着,对于P条带或B条带中的每个CU,针对两个附加Merge候选还需要两次RD检查。
在JEM中,Merge索引的所有二进制位都通过CABAC而进行上下文编解码。而在HEVC中,仅第一个二进制位被上下文编解码,并且剩余的二进制位被上下文旁路编解码。
2.3.2自适应运动矢量差分辨率
在HEVC中,当条带头中的use_integer_mv_flag等于0时,以四分之一亮度样点为单位信令通知(在PU的运动矢量和预测运动矢量之间的)运动矢量差(MVD)。在JEM中,引入了局部自适应运动矢量分辨率(LAMVR)。在JEM中,可以以四分之一亮度样点、整数亮度样点或四亮度样点为单位编解码MVD。在编解码单元(CU)级别控制MVD分辨率,并且对于具有至少一个非零MVD分量的每个CU,有条件地信令通知MVD分辨率标志。
对于具有至少一个非零MVD分量的CU,信令通知第一标志以指示在CU中是否使用四分之一亮度样点MV精度。当第一标志(等于1)指示未使用四分之一亮度样点MV精度时,信令通知另一个标志以指示使用整数亮度样点MV精度还是四亮度样点MV精度。
当CU的第一MVD分辨率标志为零或未针对CU编解码(意味着CU中的所有MVD均为零)时,四分之一亮度样点MV分辨率用于CU。当CU使用整数亮度样点MV精度或四亮度样点MV精度时,CU的AMVP候选列表中的MVP被取整为对应精度。
在编码器中,CU级别RD检查用于确定哪个MVD分辨率要被用于CU。也就是说,对于每个MVD分辨率,执行CU级别RD检查三次。为了加快编码器速度,在JEM中应用以下编码方案:
在具有正常四分之一亮度样点MVD分辨率的CU的RD检查期间,存储当前CU(整数亮度样点准确度)的运动信息。存储的运动信息(取整之后)被用作针对具有整数亮度样点和4亮度样点MVD分辨率的相同CU的RD检查期间的进一步小范围运动矢量细化的起始点,使得耗时的运动估计过程不会重复三次。
有条件地调用具有4亮度样点MVD分辨率的CU的RD检查。对于CU,当整数亮度样点MVD分辨率的RD代价远大于四分之一亮度样点MVD分辨率的RD代价时,跳过对于CU的4亮度样点MVD分辨率的RD检查。
2.3.3模式匹配的运动矢量推导
模式匹配的运动矢量推导(PMMVD)模式是基于帧速率上转换(FRUC)技术的特殊Merge模式。利用该模式,不信令通知块的运动信息,而是在解码器侧推导。
当CU的Merge标志为真时,对CU信令通知FRUC标志。当FRUC标志为假时,信令通知Merge索引并且使用常规Merge模式。当FRUC标志为真时,信令通知附加FRUC模式标志以指示要使用哪个方法(双边匹配或模板匹配)来推导块的运动信息。
在编码器侧,关于是否对CU使用FRUC Merge模式的决定是基于对正常Merge候选所做的RD代价选择。也就是说,通过使用RD代价选择对CU检查两种匹配模式(双边匹配和模板匹配)。产生最小成本的一个匹配模式进一步与其他CU模式比较。如果FRUC匹配模式是最有效的模式,则对于CU将FRUC标志设置为真,并且使用相关匹配模式。
FRUC Merge模式中的运动推导过程具有两个步骤。首先执行CU级别运动搜索,然后执行子CU级别运动细化。在CU级别,基于双边匹配或模板匹配针对整个CU推导初始运动矢量。首先,生成MV候选列表,并且选择产生最小匹配成本的候选作为进一步CU级别细化的起始点。然后,执行起始点周围的基于双边匹配或模板匹配的本地搜索,并且将最小匹配成本的MV结果作为整个CU的MV。随后,以推导的CU运动矢量作为起始点,以子CU级别进一步细化运动信息。
例如,针对W×H CU运动信息推导执行以下推导过程。在第一阶段,推导整个W×HCU的MV。在第二阶段,CU被进一步划分为M×M个子CU。如在(16)中计算M的值。D是在JEM中默认设置为3的预定义划分深度。然后推导每个子CU的MV。
Figure GDA0003213289430000201
如图21所示,双边匹配用于通过沿着两个不同参考图片中的当前CU的运动轨迹找到两个块之间的最接近匹配来推导当前CU的运动信息。在连续运动轨迹的假设下,指向两个参考块的运动矢量MV0和MV1应该与当前图片和两个参考图片之间的时域距离(即,TD0和TD1)成比例。作为特殊情况,当当前图片在时域上在两个参考图片之间并且从当前图片到两个参考图片的时域距离相同时,双边匹配变为基于镜像的双向MV。
如图22所示,模板匹配用于通过找到当前图片中的模板(当前CU的顶部和/或左边邻近块)和参考图片中的块(与模板尺寸相同)之间的最接近匹配来推导当前CU的运动信息。除了前述FRUC Merge模式之外,模板匹配也被应用于AMVP模式。在JEM中,如在HEVC中所做的,AMVP具有两个候选。利用模板匹配方法,新的候选被推导。如果通过模板匹配的新推导的候选与第一现有AMVP候选不同,则将其插入AMVP候选列表的最开始处,然后将列表尺寸设置为二(意味着移除第二现有AMVP候选)。当应用于AMVP模式时,仅应用CU级别搜索。
2.3.3.1CU级别MV候选集
在CU级别设置的MV候选由以下组成:
(i)如果当前CU处于AMVP模式的原始AMVP候选
(ii)所有Merge候选
(iii)插值MV场中的几个MV
(iv)顶部和左边邻近运动矢量
当使用双边匹配时,Merge候选的每个有效MV用作输入以在假设双边匹配的情况下生成MV对。例如,在参考列表A处,Merge候选的一个有效MV是(MVa、refa)。然后,在其他参考列表B中找到其配对双边MV的参考图片refb,使得refa和refb在时域上位于当前图片的不同侧。如果这样的refb在参考列表B中不可用,则refb被确定为与refa不同的参考,并且其到当前图片的时域距离是列表B中的最小一个。在确定refb之后,基于当前图片和refa、refb之间的时域距离通过缩放MVa来推导MVb。
来自插值MV场的四个MV也被添加到CU级别候选列表。更具体地,添加当前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)处的插值MV。
当FRUC被应用于AMVP模式中时,原始AMVP候选也被添加到CU级别MV候选集。
在CU级别,AMVP CU的多达15个MV和Merge CU的多达13个MV被添加到候选列表。
2.3.3.2子CU级别MV候选集
在子CU级别设置的MV候选由以下组成:
(i)从CU级别搜索确定的MV,
(ii)顶部、左边、左上方和右上方邻近MV,
(iii)来自参考图片的并置MV的缩放版本,
(iv)多达4个ATMVP候选,
(v)多达4个STMVP候选
来自参考图片的缩放MV被推导如下。遍历两个列表中的所有参考图片。参考图片中的子CU的并置位置处的MV被缩放为起始CU级别MV的参考。
ATMVP和STMVP候选被限制为前四个。
在子CU级别,多达17个MV被添加到候选列表。
2.3.3.3插值MV场的生成
在对帧进行编解码之前,基于单向ME针对整个图片生成插值运动场。然后,运动场可以稍后用作CU级别或子CU级MV候选。
首先,两个参考列表中的每个参考图片的运动场以4×4块级别遍历。对于每个4×4块,如果运动与通过当前图片(如图23所示)中的4×4块的块相关联并且块未被分配任何插值运动,则参考块的运动根据当前时域距离TD0和TD1缩放为当前图片(与HEVC中的TMVP的MV缩放的方式相同的方式),并且缩放的运动被分配给当前帧中的块。如果没有将缩放的MV分配给4×4块,则在插值运动场中将块的运动标记为不可用。
2.3.3.4插值和匹配成本
当运动矢量指向分数样点位置时,需要运动补偿插值。为了降低复杂性,双线性插值代替常规8抽头HEVC插值用于双边匹配和模板匹配。
匹配成本的计算在不同步骤处略微不同。当从CU级别的候选集合选择候选时,匹配成本是双边匹配或模板匹配的绝对和差(Absolute Sum Difference,SAD)。在确定起始MV之后,子CU级别搜索的双边匹配的匹配成本C计算如下:
Figure GDA0003213289430000221
其中w是加权因子,其可以经验主义地设置为4,MV和MVs分别指示当前MV和起始MV。SAD仍然用作子CU级别搜索的模板匹配的匹配成本。
在FRUC模式中,通过仅使用亮度样点来推导MV。推导的运动将用于MC帧间预测的亮度和色度。在决定MV之后,使用用于亮度的8抽头插值滤波器和用于色度的4抽头插值滤波器来执行最终MC。
2.3.3.5MV细化
MV细化是基于模式的MV搜索,其具有双边匹配成本或模板匹配成本的标准。在JEM中,支持两个搜索模式—无限制的中心偏置菱形搜索(Unrestricted Center-BiasedDiamond Search,UCBDS)和自适应交叉搜索,其分别用于CU级别和子CU级别的MV细化。对于CU级别和子CU级别MV细化,以四分之一亮度样点MV准确度直接搜索MV,并且接着是八分之一亮度样点MV细化。CU步骤和子CU步骤的MV细化的搜索范围被设置为等于8个亮度样点。
2.3.3.6模板匹配FRUC Merge模式中的预测方向的选择
在双边匹配Merge模式中,总是应用双向预测,因为CU的运动信息是基于沿着两个不同参考图片中的当前CU的运动轨迹的两个块之间的最接近匹配而推导的。对于模板匹配Merge模式没有这样的限制。在模板匹配Merge模式中,编码器可以在根据列表0的单向预测、根据列表1的单向预测、或者CU的双向预测当中进行选择。选择基于模板匹配成本,如下所示:
如果costBi<=factor*min(cost0,cost1)
使用双向预测;
否则,如果cost0<=cost1
使用根据列表0的单向预测;
否则,
使用根据列表1的单向预测;
其中,cost0是列表0模板匹配的SAD,cost1是列表1模板匹配的SAD,并且costBi是双向预测模板匹配的SAD。当factor的值等于1.25时,这意味着选择过程偏向于双向预测。
帧间预测方向选择仅被应用于CU级别模板匹配过程。
2.3.4解码器侧运动矢量细化
在双向预测操作中,为了预测一个块区域,分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块被组合以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中,通过双边模板匹配过程进一步细化双向预测的两个运动矢量。双边模板匹配在解码器中应用,以在双边模板和参考图片中的重建样点之间执行基于失真的搜索,以便获得细化的MV而无需发送附加运动信息。
在DMVR中,分别从列表0的初始MV0和列表1的MV1生成双边模板作为两个预测块的加权组合(即,平均值),如图23所示。模板匹配操作包括计算所生成的模板与参考图片中的(初始预测块周围的)样点区域之间的成本度量。对于两个参考图片中的每一个,产生最小模板成本的MV被视为该列表的更新后MV以替换原始MV。在JEM中,针对每个列表搜索九个MV候选。九个MV候选包括原始MV和8个围绕MV,其中一个亮度样点在水平或垂直方向上或两个方向上偏移到原始MV。最终,两个新的MV(即,如图24所示的MV0'和MV1')用于生成最终的双向预测结果。绝对误差和(SAD)用作成本度量。
DMVR被应用于双向预测的Merge模式,其中一个MV来自过去的参考图片,并且另一个MV来自未来的参考图片,而无需发送附加语法元素。在JEM中,当对CU启用LIC、仿射运动、FRUC或子CU Merge候选时,不应用DMVR。
2.3.5具有双边匹配细化的Merge/跳过模式
首先通过利用冗余检查将空域邻近和时域邻近块的运动矢量和参考索引插入候选列表中来构建Merge候选列表,直到可用候选的数量达到最大候选尺寸19。通过根据预定的插入顺序并在插入空域候选(图11)、时域候选、仿射候选、高级时域MVP(ATMVP)候选、空域时域MVP(STMVP)候选和如HEVC所使用的附加候选(组合候选和零候选)来构建Merge/跳过模式的Merge候选列表:
-块1-块4的空域候选。
-块1-块4的外插(extrapolated)仿射候选。
-ATMVP。
-STMVP。
-虚拟仿射候选。
-空域候选(块5)(仅当可用候选的数量小于6时使用)。
-外插仿射候选(块5)。
-时域候选(如在HEVC中推导的)。
-非相邻空域候选,其后是外插仿射候选(块6至块49,如图25所描绘的)。
-组合候选。
-零候选。
注意,除了STMVP和仿射之外,IC标志也从Merge候选继承。此外,对于前四个空域候选,在具有单向预测的候选之前插入双向预测候选。
可以访问与当前块不连接的块。如果以非帧内模式对非相邻块进行编解码,则相关联的运动信息可以被添加作为附加Merge候选。
2.3.6共享Merge列表JVET-M0170
提出了共享CU划分树中的一个祖先节点的所有叶编解码单元(CU)的相同Merge候选列表,以用于使得能够并行处理小的跳过/Merge编解码CU。祖先节点被命名为Merge共享节点。假设Merge共享节点是叶CU,在Merge共享节点处生成共享Merge候选列表。
对于类型2定义,在解码的解析阶段期间,将针对CTU内部的每个CU决定Merge共享节点;此外,Merge共享节点是叶CU的祖先节点,其必须满足以下2个准则:
Merge共享节点尺寸等于或大于尺寸阈值
在Merge共享节点中,子CU尺寸中的一个小于尺寸阈值
此外,必须保证没有Merge共享节点的样点在图片边界外部。在解析阶段期间,如果祖先节点满足准则(1)和(2),但是在图片边界外部具有一些样点,则该祖先节点将不是Merge共享节点,并且它继续为其子CU寻找Merge共享节点。
图25示出了类型1定义和类型2定义的差异的示例。在该示例中,父节点被三叉划分为3个子节点。父节点的尺寸是128。对于类型1定义,3个子节点将分别是Merge共享节点。但是对于类型2定义,父节点是Merge共享节点。
所提出的共享Merge候选列表算法支持平移Merge(包括Merge模式和三角形Merge模式,也支持基于历史的候选)和基于子块的Merge模式。对于所有种类的Merge模式,共享Merge候选列表算法的行为看起来基本相同,并且它只是假设Merge共享节点是叶CU时在Merge共享节点处生成候选。它具有2个主要益处。第一个益处是实现Merge模式的并行处理,并且第二个益处是将所有叶CU的所有计算共享到Merge共享节点。因此,它显著降低了硬件编解码器的所有Merge模式的硬件成本。通过所提出的共享Merge候选列表算法,编码器和解码器可以容易地支持Merge模式的并行编码,并且它减轻了Merge模式的周期预算问题。
2.3.7片组
采用了JVET-L0686,其中条带被移除以有利于片组,并且HEVC语法元素slice_address被tile_group_header中的tile_group_address替换(如果图片中有多于一个片)作为片组中的第一个片的地址。
3.通过本文公开的实施例解决的问题的示例
当前HEVC设计可以采用当前块与其邻近块(紧邻当前块)的相关性来更好地编解码运动信息。然而,邻近块可能对应于具有不同运动轨迹的不同对象。在这种情况下,根据其邻近块的预测效率不高。
根据非相邻块的运动信息的预测可以带来附加编解码增益,其代价是将所有运动信息(通常在4×4级别)存储到高速缓存中,这显著增加了硬件实施的复杂性。
4.一些示例
以下示例应该被视为解释一般概念的示例。不应该狭隘地解释这些示例。此外,可以以任何方式组合这些示例。
一些实施例可以使用存储有至少一个运动候选的一个或多个查找表来预测块的运动信息。实施例可以使用运动候选来指示存储在查找表中的运动信息集合。对于传统的AMVP或Merge模式,实施例可以使用AMVP或Merge候选用于存储运动信息。
下面的示例解释了一般概念。
查找表的示例
示例A1:一个查找表可以包含一个或多个运动候选,其中每个候选与其运动信息相关联。
a.这里的运动候选的运动信息可以包括预测方向、参考索引/图片、运动矢量、LIC标志、仿射标志、MVD精度、MVD值中的部分或全部。
b.运动信息还可以包括块位置信息和/或块形状,以指示运动信息来自哪里。
c.还可以为每个查找表分配计数器。
i.在开始对图片/条带/LCU(CTU)行/片进行编码/解码时,计数器可以被初始化为零。
ii.在一个示例中,在对CTU/CTB/CU/CB/PU/特定区域尺寸(例如,8×8或16×16)进行编码/解码之后,计数器可以被更新。
iii.在一个示例中,每当一个候选被添加到查找表中时,计数器就增加一。
iv.在一个示例中,计数器应该不大于表尺寸(允许的运动候选的数量)。
v.可替代地,计数器可以用于指示已经尝试将多少运动候选添加到查找表(它们中的一些在查找表中,但是稍后可以从表中被移除)。在这种情况下,计数器可以大于表尺寸。
d.表尺寸(允许的运动候选的数量)和/或表的数量可以是固定的或自适应的。对于所有表,表尺寸可以相同,或者对于不同表,表尺寸可以不同。
i.可替代地,不同的尺寸可以用于不同的查找表(例如,1或2)。
ii.在一个示例中,表尺寸和/或表的数量可以被预定义。
iii.在一个示例中,可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带头、片头、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中信令通知表尺寸和/或表的数量。
iv.表尺寸和/或表的数量还可以取决于条带类型、图片的时域层索引、一个条带和最靠近的帧内条带之间的图片顺序计数(Picture Order Count,POC)距离。
e.假定有N个表用于编解码线程,可能需要N*P个表来编解码条带,其中,P指示LCU行的数量或片的数量。
i.可替代地,可能仅需要P个表来编解码条带,其中,P指示LCU行的数量,其中,每个LCU行仅使用一个查找表,甚至当片被禁用时,N可以大于1。
LUT的选择
示例B1:为了对块进行编解码,可以按顺序检查来自一个查找表的运动候选的部分或全部。当在对块进行编解码期间检查一个运动候选时,它可以被添加到运动候选列表(例如,AMVP、Merge候选列表)。
a.可替代地,可以按顺序检查来自多个查找表的运动候选。
b.可以在CTU、CTB、CU或PU、或覆盖多个CTU/CTB/CU/PU的区域中信令通知查找表索引。
示例B2:对查找表的选择可以取决于块的位置。
a.可以取决于覆盖块的CTU地址。这里,我们以两个查找表(双查找表,DLUT)为例来说明该思想:
i.如果块位于CTU行中的前M个CTU中的一个处,则第一查找表可以用于对块进行编解码,而对于位于CTU行中的剩余CTU中的块,可以利用第二查找表。
ii.如果块位于CTU行中的前M个CTU中的一个处,则可以首先检查第一查找表的运动候选以用于对块进行编解码,如果在第一表中没有足够的候选,则还可以利用第二查找表。而对于位于CTU行中的剩余CTU中的块,可以利用第二查找表。
iii.可替代地,对于位于CTU行中的剩余CTU中的块,可以首先检查第二查找表的运动候选以用于对块进行编解码,如果在第二表中没有足够的候选,则还可以利用第一查找表。
b.可以取决于块的位置和与一个或多个查找表中的一个运动候选相关联的位置之间的距离。
iv.在一个示例中,如果一个运动候选与到要被编解码的块的更小距离相关联,则与另一个运动候选相比,可以更早地检查该运动候选。
查找表的使用示例C1:可以预定义要被检查的查找表中的运动候选的总数。
a.还可以取决于编解码信息、块尺寸、块形状等等。例如,对于AMVP模式,可以仅检查m个运动候选,而对于Merge模式,可以检查n个运动候选(例如,m=2,n=44)。
b.在一个示例中,可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带头、片头、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中信令通知要被检查的运动候选的总数。示例C2:被包括在查找表中的(多个)运动候选可以由块直接继承。
a.它们可以用于Merge模式编解码,即,运动候选可以在Merge候选列表推导过程中被检查。
b.它们可以用于仿射Merge模式编解码。
i.如果查找表中的运动候选的仿射标志为1,则其可以被添加作为仿射Merge候选。
c.在以下情况下,可以启用对查找表中的运动候选的检查:
i.在插入TMVP候选之后,Merge候选列表未满;
ii.在针对空域Merge候选推导检查特定空域邻近块之后,Merge候选列表未满;
iii.在所有空域Merge候选之后,Merge候选列表未满;
iv.在组合的双向预测Merge候选之后,Merge候选列表未满;
v.当来自其他编解码方法(例如,HEVC设计或JEM设计的Merge推导过程)的已经被放到Merge候选列表中的空域或时域(例如,包括相邻空域和非相邻空域、TMVP、STMVP、ATMVP等等)Merge候选的数量小于最大允许的Merge候选减去给定阈值时。
1.在一个示例中,阈值被设置为1或0。
2.可替代地,可以在SPS/PPS/序列、图片、条带头/片中信令通知或预定义阈值。
3.可替代地,阈值可以从块到块自适应地改变。例如,它可以取决于编解码块信息,如块尺寸/块形状/条带类型,和/或取决于可用空域或时域Merge候选的数量。
4.在另一个示例中,当已经被放到Merge候选列表中的特定种类的Merge候选的数量小于最大允许的Merge候选减去给定阈值时。“特定种类的Merge候选”可以是如HEVC中的空域候选或者非相邻Merge候选。
vi.在将运动候选添加到Merge候选列表之前,可以应用修剪。
1.在一个示例中,可以将运动候选与Merge候选列表中的来自其他编解码方法的可用空域或时域(例如,包括相邻空域和非相邻空域、TMVP、STMVP、ATMVP等等)Merge候选的全部或部分进行修剪。
2.可以不将运动候选与基于子块的运动候选进行修剪,例如,ATMVP、STMVP。
3.在一个示例中,可以将当前运动候选与Merge候选列表中的(在当前运动候选之前被插入的)可用运动候选的全部或部分进行修剪。
4.与运动候选相关的修剪操作的次数(即,需要将运动候选与Merge列表中的其他候选进行比较多少次)可以取决于可用空域或时域Merge候选的数量。例如,当检查新的运动候选时,如果在Merge列表中有M个候选可用,则可以仅将新的运动候选与前K个(K<=M)候选进行比较。如果修剪函数返回假(例如,与前K个候选中的任何一个都不相同),则新的运动候选被认为不同于M个候选的全部,并且它可以被添加到Merge候选列表。在一个示例中,K被设置为min(K,2)。
5.在一个示例中,仅将新附加的运动候选与Merge候选列表中的前N个候选进行比较。例如,N=3、4或5。可以从编码器向解码器信令通知N。
6.在一个示例中,仅将要被检查的新的运动候选与Merge候选列表中的最后N个候选进行比较。例如,N=3、4或5。可以从编码器向解码器信令通知N。
7.在一个示例中,如何从表选择要与新的运动候选进行比较的先前添加在列表中的候选可以取决于从哪里推导先前添加的候选。
a.在一个示例中,可以将查找表中的运动候选与从给定的时域和/或空域邻近块推导的运动候选进行比较。
b.在一个示例中,可以将查找表中的运动候选的不同条目与不同的(即,从不同位置推导的)先前添加的候选进行比较。
示例C3:被包括在查找表中的(多个)运动候选可以用作用于对块的运动信息进行编解码的预测值。
a.它们可以用于AMVP模式编解码,即,可以在AMVP候选列表推导过程中检查运动候选。
b.在以下情况下,可以启用对查找表中的运动候选的检查:
i.在插入TMVP候选之后,AMVP候选列表未满;
ii.在从空域邻居选择并刚好在插入TMVP候选之前进行修剪之后,AMVP候选列表未满;
iii.当不存在来自没有进行缩放的上方邻近块的AMVP候选和/或当不存在来自没有进行缩放的左边邻近块的AMVP候选时;
iv.在将运动候选添加到AMVP候选列表之前,可以应用修剪。
v.如项目符号5.(3)(4)中提到的类似规则可以被应用于AMVP模式。
c.检查具有与当前参考图片相同的参考图片的运动候选。
i.此外,可替代地,还检查具有与当前参考图片不同的参考图片的运动候选(缩放了MV)。
ii.可替代地,首先检查具有与当前参考图片相同的参考图片的所有运动候选,然后检查具有与当前参考图片不同的参考图片的运动候选。
iii.可替代地,在Merge中按照相同方式检查运动候选。
示例C4:查找表中的运动候选的检查顺序被定义如下(假定允许检查K(K>=1)个运动候选):
a.查找表中的最后K个运动候选,例如,按照LUT的条目索引的降序。
b.当K>=L时,前K%L个候选,其中,L是查找表尺寸,例如,按照LUT的条目索引的降序。
c.当K>=1时,基于顺序,查找表中的所有候选(L个候选)。在一个示例中,按照LUT的条目索引的降序检查表中的前K%L个候选,然后按照条目索引的降序检查最后(L–K%L)个候选。。
d.此外,可替代地,基于运动候选索引的降序。
e.此外,可替代地,基于运动候选索引的升序。
f.可替代地,基于诸如与运动候选和当前块相关联的位置的距离的候选信息来选择K个运动候选。
i.在一个示例中,选择K个最近的运动候选。
ii.在一个示例中,当计算距离时,候选信息还可以考虑块形状。
g.在一个示例中,来自包括L个候选的表的运动候选中的K个的检查顺序可以被定义为:按顺序选择索引等于a0、a0+T0、a0+T0+T1、a0+T0+T1+T2、…、a0+T0+T1+T2+..+TK-1的那些候选,其中,a0和Ti(i为0…K-1)是整数值。
i.在一个示例中,a0被设置为0(即,表中的运动候选的第一个条目)。可替代地,a0被设置为(K–L/K)。算术运算“/”被定义为向零截断结果的整数除法。可替代地,a0被设置为0和L/K之间的任何整数。
1.可替代地,a0的值可以取决于当前块和邻近块的编解码信息。
ii.在一个示例中,所有间隔Ti(i为0…K-1)相同,诸如L/K。算术运算“/”被定义为向零截断结果的整数除法。
iii.在一个示例中,(K,L,a0,Ti)被设置为(4,16,0,4)或(4,12,0,3)或(4,8,0,1)或(4,16,3,4)或(4,12,2,3)或(4,8,1,2)。对于所有i,Ti相同。
iv.当K小于L时,可以仅应用这样的方法。
v.此外,可替代地,当K大于或等于阈值时,可以应用项目符号7.c.。阈值可以被定义为L,或者它可以取决于K或者从块到块自适应地改变。在一个示例中,阈值可以取决于在添加来自查找表的新的运动候选之前列表中的可用运动候选的数量。
h.在一个示例中,来自包括L个候选的表的运动候选中的K个的检查顺序可以被定义为:按顺序选择索引等于a0、a0-T0、a0-T0-T1、a0-T0-T1-T2、…、a0-T0-T1-T2-..-TK-1的那些候选,其中,a0和Ti(i为0…K-1)是整数值。
i.在一个示例中,a0被设置为L-1(即,表中的运动候选的最后一个条目)。可替代地,a0被设置为L-1-L/K和L-1之间的任何整数。
ii.在一个示例中,所有间隔Ti(i为0…K-1)相同,诸如L/K。
iii.在一个示例中,(K,L,a0,Ti)被设置为(4,16,L-1,4)或(4,12,L-1,3)或(4,8,L-1,1)或(4,16,L-4,4)或(4,12,L-3,3)或(4,8,L-2,2)。对于所有i,Ti相同。
iv.当K小于L时,可以仅应用这样的方法。
此外,可替代地,当K大于或等于阈值时,可以应用项目符号7.c.。阈值可以被定义为L,或者它可以取决于K或者从块到块自适应地改变。在一个示例中,阈值可以取决于在添加来自查找表的新的运动候选之前列表中的可用运动候选的数量。
i.从查找表选择多少和/或如何选择运动候选可以取决于编解码信息,诸如块尺寸/块形状。
i.在一个示例中,对于更小的块尺寸,代替选择最后K个运动候选,可以选择其他K个运动候选(不是从最后一个开始)。
ii.在一个示例中,编解码信息可以是AMVP或Merge模式。
iii.在一个示例中,编解码信息可以是仿射模式或非仿射AMVP模式或非仿射Merge模式。
iv.在一个示例中,编解码信息可以是仿射AMVP(帧间)模式仿射Merge模式或非仿射AMVP模式或非仿射Merge模式。
v.在一个示例中,编解码信息可以是当前图片参考(Current PictureReference,CPR)模式或者不是CPR模式。
vi.可替代地,如何从查找表选择运动候选还可以取决于查找表中的运动候选的数量,和/或在添加来自查找表的新的运动候选之前列表中的可用运动候选的数量。
j.在一个示例中,要被检查的查找表中的运动候选的最大数量(即,其可以被添加到Merge/AMVP候选列表)可以取决于查找表中的可用运动候选的数量(由NavaiMCinLUT表示)、和/或要被添加的最大允许的运动候选(由NUMmaxMC表示)(其可以是预定义或信令通知的)、和/或在检查来自查找表的候选之前候选列表中的可用候选的数量(由NavaiC表示)。
i.在一个示例中,要被检查的查找表中的运动候选的最大数量被设置为(NavaiMCinLUT,NUMmaxMC,NavaiC)的最小值。
ii.可替代地,要被检查的查找表中的运动候选的最大数量被设置为(NavaiMCinLUT,NUMmaxMC-NavaiC)的最小值。
iii.在一个示例中,NavaiC指示从空域或时域(相邻和/或非相邻)邻近块推导的插入候选的数量。此外,可替代地,不在NavaiC中对子块候选(如AMTVP、STMVP)的数量进行计数。
iv.NUMmaxMC可以取决于编解码模式,例如,对于Merge模式和AMVP模式,NUMmaxMC可以被设置为不同的值。在一个示例中,对于Merge模式,NUMmaxMC可以被设置为4、6、8、10等等。对于AMVP模式,NUMmaxMC可以被设置为1、2、4等等。
v.可替代地,NUMmaxMC可以取决于其他编解码信息,如块尺寸、块形状、条带类型等等。
k.在下一小节中在对查找表的使用中定义了不同查找表的检查顺序。
l.一旦Merge/AMVP候选列表达到最大允许的候选数量,检查过程就将终止。
m.一旦Merge/AMVP候选列表达到最大允许的候选数量减去阈值(Th),检查过程就将终止。在一个示例中,Th可以被预定义为正整数值,例如1、2或3。可替代地,Th可以从块到块自适应地改变。可替代地,可以在SPS/PPS/条带头等等中信令通知Th。可替代地,Th还可以取决于块形状/块尺寸/编解码模式等。可替代地,Th可以取决于在添加来自LUT的运动候选之前有多少可用候选。
n.可替代地,一旦添加的运动候选的数量达到最大允许的运动候选数量,它就将终止。最大允许的运动候选数量可以是信令通知或预定义的。可替代地,最大允许的运动候选数量还可以取决于块形状/块尺寸/编解码模式等。
o.可以在SPS、PPS、条带头、片头中信令通知用以指示表尺寸以及允许被检查的运动候选的数量(即,K=L)的一个语法元素。
示例C5:可以在SPS、PPS、条带头、片头、CTU、CTB、CU或PU、覆盖多个CTU/CTB/CU/PU的区域中信令通知启用/禁用对用于块的运动信息编解码的查找表的使用。
示例C6:是否应用根据查找表的预测还可以取决于编解码信息。当推断不应用于块时,跳过预测的指示的附加信令通知。可替代地,当推断不应用于块时,不需要访问查找表的运动候选,并且对相关运动候选的检查被省略。
a.是否应用根据查找表的预测可以取决于块尺寸/块形状。在一个示例中,对于更小的块,诸如4×4、8×4或4×8块,不允许执行根据查找表的预测。
b.是否应用根据查找表的预测可以取决于块是以AMVP模式还是Merge模式而编解码的。在一个示例中,对于AMVP模式,不允许执行根据查找表的预测。
c.是否应用根据查找表的预测可以取决于块是以仿射运动或其他种类的运动(诸如平移运动)而编解码的。在一个示例中,对于仿射模式,不允许执行根据查找表的预测。
示例C7:先前编解码的帧/条带/片中的查找表的运动候选可以用于预测不同帧/条带/片中的块的运动信息。
a.在一个示例中,仅与当前块的参考图片相关联的查找表可以用于对当前块进行编解码。
b.在一个示例中,仅与具有当前块的相同条带类型和/或相同量化参数的图片相关联的查找表可以用于对当前块进行编解码。
查找表的更新
示例D1:在用运动信息(即,帧内BC模式、帧间编解码模式)对块进行编解码之后,可以更新一个或多个查找表。
a.在一个示例中,是否更新查找表可以重用用于选择查找表的规则,例如,当可以选择查找表以用于对当前块进行编解码时,在对块进行编解码/解码之后,可以进一步更新所选择的查找表。
b.可以基于块/LCU的编解码信息和/或位置来选择要被更新的查找表。
c.如果用直接信令通知的运动信息(诸如AMVP模式、正常/仿射帧间模式的MMVD模式、正常/仿射帧间模式的AMVR模式)对块进行编解码,则块的运动信息可以被添加到查找表。
i.可替代地,如果块是用直接从没有进行任何细化的空域邻近块(例如,没有进行细化的空域Merge候选)继承的运动信息编解码的,则块的运动信息不应该被添加到查找表。
ii.可替代地,如果块是用直接从进行了细化(诸如DMVR、FRUC)的空域邻近块继承的运动信息编解码的,则块的运动信息不应该被添加到任何查找表。
iii.可替代地,如果块是用直接从存储在查找表中的运动候选继承的运动信息编解码的,则块的运动信息不应该被添加到任何查找表。
iv.在一个示例中,这样的运动信息可以被直接添加到查找表,诸如添加到表的最后一个条目或者添加到用于存储下一个可用运动候选的条目。
v.可替代地,这样的运动信息可以被直接添加到查找表而无需修剪,例如,无需任何修剪。
vi.可替代地,这样的运动信息可以用于对查找表进行重新排序。
vii.可替代地,这样的运动信息可以在(例如,与查找表中的最新一个相比的)有限的修剪的情况下用于更新查找表。
d.选择块内的M(M>=1)个代表性位置,并且与代表性相关联的运动信息用于更新查找表。
i.在一个示例中,代表性位置被定义为块内的四个角位置(例如,图26中的C0-C3)中的一个。
ii.在一个示例中,代表性位置被定义为块内的中心位置(例如,图26中的Ca-Cd)。
iii.当针对块不允许子块预测时,M被设置为1。
iv.当针对块允许子块预测时,M可以被设置为1或子块的总数或[1,子块的数量](不包括1和子块的数量)之间的任何其他值。
v.可替代地,当针对块允许子块预测时,M可以被设置为1,并且对代表性子块的选择基于
1.利用的运动信息的频率,
2.它是否是双向预测块
3.基于参考图片索引/参考图片
4.与其他运动矢量相比的运动矢量差(例如,选择最大MV差)
5.其他编解码信息。
e.当选择M(M>=1)个代表性位置集合以更新查找表时,在将它们作为附加运动候选添加到查找表之前,可以检查进一步的条件。
i.修剪可以被应用于查找表中的现有运动候选的新的运动信息集合。
ii.在一个示例中,新的运动信息集合不应该与查找表中的任何或部分现有运动候选相同。
iii.可替代地,对于来自新的运动信息集合和一个现有运动候选的相同参考图片,MV差应该不小于一个/多个阈值。例如,MV差的水平和/或垂直分量应该大于1像素距离。
iv.可替代地,当K>L时,仅将新的运动信息集合与最后K个候选或前K%L个现有运动候选进行修剪,以允许重新激活旧的运动候选。
v.可替代地,没有应用修剪。
f.如果M个运动信息集合用于更新查找表,则对应的计数器应该增加M。
g.假定要被更新的查找表的计数器在对当前块进行编解码之前由K表示,在对块进行编解码之后,对于一个选择的运动信息集合(用上述方法),它被添加作为索引等于K%L的附加运动候选(其中,L是查找表尺寸)。在图27A和图27B中示出了示例。
i.可替代地,它被添加作为索引等于min(K+1,L-1)的附加运动候选。此外,可替代地,如果K>=L,则从查找表移除第一个运动候选(索引等于0),并且将随后的K个候选索引减小1。
ii.对于以上两种方法(将新的运动候选添加到索引等于K%L的条目,或者将其添加到索引等于min(K+1,L-1)的条目),它们都尝试保留来自先前编解码块的最新的几个运动信息集合,而不管是否有相同/类似的运动候选。
iii.可替代地,当将新的运动信息集合作为运动候选添加到LUT时,首先应用冗余检查。在这种情况下,LUT将保留来自先前编解码块的最新的几个运动信息集合,然而,冗余的运动信息集合可以从LUT被移除。这样的方法被称为基于冗余移除的LUT更新方法。
1.如果LUT中有冗余运动候选,则可能不增大或减小与LUT相关联的计数器。
2.冗余检查可以被定义为Merge候选列表构建过程中的修剪过程,例如,检查参考图片/参考图片索引是否相同以及运动矢量差是否在范围内或相同。
3.如果在LUT中找到冗余运动候选,则将冗余运动候选从其当前位置移动到LUT的最后一个位置。
a.类似地,如果在LUT中找到冗余运动候选,则从LUT移除该冗余运动候选。此外,在冗余运动候选之后插入到LUT的所有运动候选向前移动,以重新填充冗余运动候选的移除条目。在移位之后,新的运动候选被添加到LUT。
b.在这种情况下,计数器保持不变。
c.一旦在LUT中识别出冗余运动候选,冗余检查过程就被终止。
4.可以识别多个冗余运动候选。在这种情况下,从LUT移除它们中的全部。此外,剩余运动候选中的全部可以按顺序向前移动。
a.在这种情况下,计数器减小(冗余运动候选的数量减1)。
b.在识别出maxR个冗余运动候选(maxR是正整数变量)之后,冗余检查过程被终止。
5.冗余检查过程可以从第一个运动候选到最后一个运动候选(即,按照添加到LUT的顺序,按照运动信息来自的块的解码过程的顺序)开始。
6.可替代地,当LUT中有冗余运动候选时,代替从LUT移除冗余运动候选中的一个或多个,可以从冗余运动候选推导虚拟运动候选,并且虚拟运动候选可以用于替换冗余运动候选。
a.通过将(多个)偏移添加到一个或多个运动矢量的水平和/或垂直分量,可以从冗余运动候选推导虚拟运动候选;或者如果指向相同的参考图片,则两个运动矢量的平均值。可替代地,可以从以查找表中的运动矢量作为输入的任何函数推导虚拟运动候选。示例性功能是:将两个或更多个运动矢量相加;对两个或更多个运动矢量进行平均。运动矢量可以在被输入到函数中之前被缩放。
b.虚拟运动候选可以被添加到与冗余运动候选相同的位置。
c.虚拟运动候选可以在所有其他运动候选之前被添加(例如,从最小的条目索引(如零)开始)。
d.在一个示例中,它仅在特定条件(例如,当当前LUT未满时)下被应用。
7.基于冗余移除的LUT更新方法可以在特定条件下被调用,诸如
a.当前块是以Merge模式而编解码的,
b.当前块是以AMVP模式而编解码的,但是MV差的至少一个分量是非零的;
c.当前块是或不是用基于子块的运动预测/运动补偿方法而编解码的(例如,不是以仿射模式而编解码的)
d.当前块是以Merge模式而编解码的,并且运动信息与特定类型相关联(例如,来自空域邻近块、来自左边邻近块、来自时域块)。
h.在对一个块进行编码/解码之后,可以通过仅将M个运动信息集合插入到表的末尾(即,在所有现有候选之后)来更新一个或多个查找表。
i.此外,可替代地,可以移除表中的一些现有运动候选。
1.在一个示例中,如果在插入M个运动信息集合之后表已满,则可以从表移除运动候选的前几个条目。
2.在一个示例中,如果在插入M个运动信息集合之前表已满,则可以从表移除运动候选的前几个条目。
ii.此外,可替代地,如果块是用来自表的运动候选编解码的,则可以对表中的运动候选进行重新排序,以便所选择的运动候选被放到表的最后一个条目。
i.在一个示例中,在对块进行编码/解码之前,查找表可以包括由HMVP0、HMVP1、HMVP2、…、HMVPK-1、HMVPK、HMVPK+1、…、HMVPL-1表示的运动候选,其中,HMVPi表示查找表中的第i个条目。如果块是从HMVPK(K在范围[0,L-1](包括0和L-1)内)预测的,在对该块进行编码/解码之后,查找表被重新排序为:HMVP0、HMVP1、HMVP2、…、HMVPK-1、HMVPK、HMVPK+1、…、HMVPL-1、HMVPK
j.在对一个帧内约束块进行编解码之后,可以清空查找表。
k.如果运动信息的条目被添加到查找表中,则也可以通过从运动信息进行推导将运动信息的更多条目添加到表中。在这种情况下,与查找表相关联的计数器可以被增加超过1。
i.在一个示例中,运动信息的条目的MV被缩放并且放到表中;
ii.在一个示例中,运动信息的条目的MV被添加(dx,dy)并且放到表中;
iii.在一个示例中,运动信息的两个或更多个条目的MV的平均值被计算并且放到表中。
示例D2:如果一个块位于图片/条带/片边界处,则总是不允许对查找表的更新。
示例D3:以上LCU行的运动信息可以被禁用,以对当前LCU行进行编解码。
a.在这种情况下,在新的条带/片/LCU行的开始处,可用运动候选的数量可以被重置为0。
示例D4:在开始用新的时域层索引对条带/片进行编解码时,可用运动候选的数量可以被重置为0。
示例D5:可以用具有相同的时域层索引的一个条带/片/LCU行/多个条带来连续更新查找表。
a.可替代地,可以仅在对每S(S>=1)个CTU/CTB/CU/CB进行编解码/解码之后或在对特定区域(例如,尺寸等于8×8或16×16)进行编解码/解码之后更新查找表。
b.可替代地,可以仅在以特定模式(例如,S个帧间编解码块)对每S(S>=1)个块(例如,CU/CB)进行编解码/解码之后更新查找表。可替代地,可以仅在对不是用基于子块的运动预测/运动补偿方法编解码的(例如,不是以仿射和/或ATMVP模式而编解码的)每S(S>=1)个帧间编解码块(例如,CU/CB)进行编解码/解码之后更新查找表。
c.可替代地,可以仅在编解码/解码块的左上方坐标满足某些条件时更新查找表。例如,仅在(x&M==0)&&(y&M==0)时更新查找表,其中(x,y)是编解码/解码块的左上方坐标。M是整数,诸如2、4、8、16、32或64。
d.可替代地,一旦一个查找表达到最大允许的计数器,其就可以停止更新。
e.在一个示例中,计数器可以是预定义的。可替代地,可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带头、片头、编解码树单元(CTU)、编解码树块(CTB)、编解码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中信令通知计数器。
示例D6:查找表更新过程可以在不同过程内被调用。
a.在一个示例中,对于以Merge模式而编解码的块,可以在对Merge候选进行解码之后或在构建Merge列表之后或在对进行了和/或没有进行细化的运动信息进行解码之后调用查找表更新过程。
b.在一个示例中,对于以AMVP模式而编解码的块,可以在对进行了和/或没有进行细化的运动信息进行解码之后调用查找表更新过程,。
c.何时和/或如何更新查找表可以取决于编解码模式、块维度、视频处理数据单元、低延迟检查等等。
i.在一个示例中,当一个块是以AMVP模式而编解码时,可以直接更新查找表而无需修剪。
ii.可替代地,当一个块是以Merge模式而编解码时,可以在修剪的情况下更新查找表。
iii.可替代地,当一个块是以Merge模式而编解码并且其运动信息是从空域和/或时域块推导时,可以在修剪的情况下更新查找表。
iv.可替代地,当一个块是以Merge模式而编解码并且其运动信息是从查找表中的运动候选推导时,可以对查找表进行重新排序,而无需修剪。
v.可替代地,当一个块以Merge模式而编解码并且其运动信息是从查找表中的虚拟候选(例如,组合的双向、成对、零运动矢量候选)推导时,查找表可能不被更新。
vi.可替代地,当一个块是以子块Merge模式和/或三角形Merge模式而编解码时,查找表可能不被更新。
vii.可替代地,当一个块是以具有运动矢量差的Merge(MMVD)模式而编解码并且其运动信息是从空域和/或时域块推导时,可以直接更新查找表。
viii.在一个示例中,当一个块是以照明补偿(IC)模式和/或重叠块运动补偿(OBMC)模式和/或解码侧运动矢量推导(DMVD)模式而编解码时,查找表可能不会被更新。可替代地,当一个块是以这样的模式而编解码时,可以更新查找表。
示例D7:是否重置查找表还可以取决于启用(或禁用)预测交叉(crossing)片的指示。
a.在一个示例中,如果这样的指示指示不允许预测交叉片,则在对新的片进行编解码之前必须重置(例如,清空)查找表。
b.在一个示例中,这样的指示指示允许预测交叉片,在对新的片进行编解码之前不需要重置查找表(例如,清空)。也就是说,用于对第二片进行编解码的查找表可以取决于用于对第一片进行编解码的那些表。
示例D8:是否启用自适应环路滤波器(Adaptive Loop Filter,ALF)时域预测(或ALF滤波器从不同片的预测/继承)还可以取决于启用(或禁用)预测交叉片的指示。
a.在一个示例中,如果这样的指示指示不允许预测交叉片,则ALF时域预测不被允许。
b.在一个示例中,这样的指示指示允许预测交叉片,可以启用ALF时域预测。
示例9:当对Merge共享节点启用共享Merge列表(或其他种类的共享运动候选列表/或共享帧内模式信息或其他共享信息)时,可以通过以下方式执行对查找表的更新:
a.可以选择代表性编解码块(例如,叶编解码单元)中的一个以更新查找表。
ii.在一个示例中,它被定义为以解码顺序的最后一个编解码块。
iii.可替代地,它被定义为满足用于查找表更新的条件的最后一个编解码块(诸如具有非仿射和非ATMVP帧间模式的最后一个编解码块)。
iv.在一个示例中,它被定义为父节点下以解码顺序的第一个编解码块。
v.可替代地,它被定义为在父节点下满足用于查找表更新的条件的第一个编解码块(诸如具有非仿射和非ATMVP、非三角形帧间模式的最后一个编解码块)。
b.可以选择多于一个代表性编解码块(例如,叶编解码单元)以更新查找表。
vi.在一个示例中,与那些代表性编解码块相关联的多个编解码信息集合可以用于更新查找表,其中,查找表的多个条目可以相应地被更新。
vii.在一个示例中,与那些代表性编解码块相关联的多个编解码信息集合可以用于更新查找表,其中,多个查找表可以相应地被更新。
viii.在一个示例中,可以以特定顺序检查那些代表性编解码块,以确定是否用于更新一个或多个查找表。
ix.在一个示例中,那些代表性编解码块可以被定义为父节点下的第一个编解码块和最后一个编解码块。
c.可以总是禁用对查找表的更新。
示例D10:对于所有以上项目符号,查找表指示来自以解码顺序的先前编解码块的编解码信息或者从来自以解码顺序的先前编解码块的编解码信息推导的信息。
a.查找表可以包括平移运动信息、或仿射运动信息、或仿射模型参数、或帧内模式信息、或照明补偿信息等等。
b.可替代地,查找表可以包括至少两个种类的信息,诸如平移运动信息、或仿射运动信息、或仿射模型参数、或帧内模式信息、或照明补偿信息等等。
附加示例实施例
提出了一种基于历史的MVP(HMVP)方法,其中,HMVP候选被定义为先前编解码块的运动信息。在编码/解码过程期间维护具有多个HMVP候选的表。当遇到新的条带时,表被清空。每当存在帧间编解码块时,相关联的运动信息被添加到表的最后一个条目,作为新的HMVP候选。图31中描绘了整个编解码流程。
在一个示例中,表尺寸被设置为L(例如,L=16或6、或44),这指示多达L个HMVP候选可以被添加到表。
在一个实施例中(对应于示例11.g.i),如果有来自先前编解码块的多于L个HMVP候选,则应用先进先出(First-In-First-Out,FIFO)规则,以便表总是包含最新的先前编解码的L个运动候选。图32描绘了其中应用FIFO规则来移除HMVP候选并将新的HMVP候选添加到在所提出的方法中使用的表的示例。
在另一个实施例中(对应于发明11.g.iii),每当添加新的运动候选(诸如当前块是帧间编解码和非仿射模式)时,首先应用冗余检查过程来识别在LUT中是否有相同或类似的运动候选。
一些示例被描绘如下:
图33A示出了当在添加新的运动候选之前LUT已满时的示例。
图33B示出了当在添加新的运动候选之前LUT未满时的示例。
图33A和图33B一起示出了基于冗余移除的LUT更新方法(移除了一个冗余运动候选)的示例。
图34A和图34B示出了基于冗余移除的LUT更新方法(移除了多个冗余运动候选,附图中的2个候选)的两种情况的示例实施方式。
图34A示出了当在添加新的运动候选之前LUT已满时的示例情况。
图34B示出了当在添加新的运动候选之前LUT未满时的示例情况。
HMVP候选可以用于Merge候选列表构建过程。表中从最后一个条目到第一个条目的所有HMVP候选(或最后K0个HMVP,例如,K0等于16或6)在TMVP候选之后被插入。修剪被应用于HMVP候选。一旦可用Merge候选的总数达到信令通知的最大允许的Merge候选,Merge候选列表构建过程就被终止。可替代地,一旦添加的运动候选的总数达到给定值,就终止从LUT提取运动候选。
类似地,HMVP候选也可以用于AMVP候选列表构建过程。表中最后K1个HMVP候选的运动矢量在TMVP候选之后被插入。仅具有与AMVP目标参考图片相同的参考图片的HMVP候选被用于构建AMVP候选列表。修剪被应用于HMVP候选。在一个示例中,K1被设置为4。
参考
[1]“Overview of the High Efficiency Video Coding(HEVC)Standard”,GaryJ.Sullivan,Jens-Rainer Ohm,Woo-Jin Han,and Thomas Wiegand,IEEE Transactionson Circuits and Systems for Video Technology,Vol.22,No.12,2012年12月.
[2]“Overview of the H.264/AVC video coding standard”,Ajay Luthra,Pankaj Topiwala,Proceedings of SPIE Vol.5203Applications of Digital ImageProcessing XXVI.
[3]J.Chen,E.Alshina,G.J.Sullivan,J.-R.Ohm,J.Boyce,“Algorithmdescription of Joint Exploration Test Model 7(JEM7),”JVET-G1001,2017年8月.
[4]JEM-7.0:https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0.
[5]H.265/HEVC,https://www.itu.int/rec/T-REC-H.265
[6]“Multi-Type-Tree”,JVET-D0117
[7]International Patent Application WO2016/091161
[8]“Description of SDR,HDR and 360°video coding technology proposalby Qualcomm and Technicolor–low and high complexity versions”,JVET-J0021.
图28A是视频处理装置2800的框图。装置2800可以用来实施本文描述的方法中的一种或多种。装置2800可以体现在智能电话、平板电脑、计算机、物联网(Internet ofThings,IoT)接收器等中。装置2800可以包括一个或多个处理器2802、一个或多个存储器2804、以及视频处理硬件2806。(多个)处理器2802可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)2804可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件2806可以用来以硬件电路实施本文档中描述的一些技术。
图28B是可以在其中实施所公开的技术的视频处理系统的框图的另一示例。图28B是示出可以在其中实施本文公开的各种技术的示例视频处理系统3100的框图。各种实施方式可以包括系统3100的一些或所有组件。系统3100可以包括用于接收视频内容的输入3102。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收,或者可以是压缩或编码格式。输入3102可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(Passive Optical Network,PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统3100可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件3104。编解码组件3104可以将来自输入3102的视频的平均比特率减小到编解码组件3104的输出,以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件3104的输出可以被存储,或者经由如由组件3106表示的通信连接而发送。在输入3102处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件3108用于生成像素值或传送到显示接口3110的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但是将理解,编解码工具或操作在编码器处被使用,并且反转编解码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(Universal SerialBus,USB)、或高清晰度多媒体接口(High Definition Multimedia Interface,HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(Serial Advanced TechnologyAttachment,串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
在一些实施例中,视频编解码方法可以使用如关于图28A和图28B所描述的在硬件平台上实施的装置而实施。
图29是视频解码方法2900的示例的流程图。方法2900包括,在步骤2902,基于跨片预测是否被启用,确定是否使用时域预测用于获得用于视频的当前视频块和视频的编解码表示之间的转换的自适应环路滤波器。方法2900还包括,在步骤2904,使用基于该确定而获得的自适应环路滤波器来执行该转换。
图30示出了视频解码方法3000的示例的流程图。方法3000包括,在步骤3002,确定是否对与编解码单元划分树中的祖先节点相对应的Merge共享节点启用Merge列表信息的共享以允许编解码单元划分树中的祖先节点的叶编解码单元使用Merge列表信息。方法3000还包括,在步骤3004,基于该确定来执行视频的当前视频块和视频的编解码表示之间的转换。
关于方法2900和3000,在一些实施例中,运动信息包括以下中的至少一个:预测方向、参考图片索引、运动矢量值、强度补偿标志、仿射标志、运动矢量差精度和运动矢量差值。此外,运动信息还可以包括指示运动信息的源的块位置信息。在一些实施例中,视频块可以是CU或PU,并且视频的一部分可以对应于一个或多个视频条带或一个或多个视频图片。
在一些实施例中,每个LUT包括相关联的计数器,其中,计数器在视频的一部分的开始处被初始化为零值,并且针对视频的一部分中的每个编码视频区域而增大。视频区域包括编解码树单元、编解码树块、编解码单元、编解码块或预测单元中的一个。在一些实施例中,对于对应的LUT,计数器指示从对应的LUT移除的多个运动候选。在一些实施例中,运动候选集合可以对于所有LUT都具有相同的尺寸。在一些实施例中,视频的一部分对应于视频的条带,并且其中,LUT的数量等于N*P,其中,N是表示每解码线程的LUT的整数,并且P是表示视频的条带中的最大编解码单元行的数量或片的数量的整数。在第4节中提供的示例和下面列出的示例中描述了方法2900和3000的附加细节。
1.一种用于视频处理的方法,包括:基于跨片预测是否被启用,确定是否使用时域预测用于获得用于视频的当前视频块和视频的编解码表示之间的转换的自适应环路滤波器;以及使用基于该确定而获得的自适应环路滤波器来执行该转换。
2.根据示例1所述的方法,其中,由于跨片预测未被启用,所以时域预测不用于获得自适应环路滤波器。
3.根据示例1所述的方法,其中,由于跨片预测被允许,所以时域预测用于获得自适应环路滤波器。
4.一种用于视频处理的方法,包括:确定是否对与编解码单元划分树中的祖先节点相对应的Merge共享节点启用Merge列表信息的共享以允许编解码单元划分树中的祖先节点的叶编解码单元使用Merge列表信息;以及基于该确定来执行视频的当前视频块和视频的编解码表示之间的转换。
5.根据示例4所述的方法,其中,更新运动候选表在该转换期间被启用或禁用。
6.根据示例4所述的方法,其中,Merge列表信息包括Merge列表、运动候选列表、帧内模式信息或任何类型信息中的至少一个。
7.根据示例1所述的方法,其中,单个代表性编解码块被选择以更新运动候选表。
8.根据示例7所述的方法,其中,单个代表性编解码块被选择作为根据解码顺序的最后一个编解码块。
9.根据示例7所述的方法,其中,单个代表性编解码块被选择作为满足用于更新运动候选表的条件的最后一个编解码块。
10.根据示例9所述的方法,其中,用于更新运动候选表的条件要求以非仿射和非ATMVP(可选时域运动矢量预测)帧间模式对最后一个编解码块进行编解码,其中,ATMVP模式通过从比包括当前视频块的当前编解码单元更小的块提取多个运动信息集合来修改运动矢量时域运动矢量预测(TMVP)。
11.根据示例7所述的方法,其中,单个代表性编解码块被选择作为父节点下根据解码顺序的第一个编解码块。
12.根据示例7所述的方法,其中,单个代表性编解码块被选择作为满足用于更新运动候选表的条件的第一个编解码块。
13.根据示例12所述的方法,其中,用于更新运动候选表的条件要求以非仿射和非ATMVP(可选时域运动矢量预测)帧间模式对第一个编解码块进行编解码,其中,ATMVP模式通过从比包括当前视频块的当前编解码单元更小的块提取多个运动信息集合来修改运动矢量时域运动矢量预测(TMVP)。
14.根据示例1所述的方法,其中,多个代表性编解码块被选择以更新运动候选表。
15.根据示例14所述的方法,其中,与多个代表性编解码块相关联的多个编解码信息集合用于更新运动候选表的多个条目。
16.根据示例14所述的方法,其中,执行该转换还包括更新附加运动候选表,并且其中,与多个代表性编解码块相关联的多个编解码信息集合用于更新运动候选表和附加运动候选表。
17.根据示例14所述的方法,其中,多个代表性编解码块以特定顺序被检查以确定是否用于更新运动候选表。
18.根据示例14所述的方法,其中,多个代表性编解码块被选择作为父节点下的第一个编解码块或最后一个编解码块。
19.根据示例2所述的方法,其中,对运动候选表的更新总是被禁用。
20.根据示例2-16中任一项所述的方法,其中,运动候选表指示来自以解码顺序的先前编解码块的编解码信息或者从来自以解码顺序的先前编解码块的编解码信息推导的信息。
21.根据示例20所述的方法,其中,运动候选表包括平移运动信息、仿射运动信息、仿射模型参数、帧内模式信息或照明补偿信息中的至少一个。
22.根据示例1至21中任一项所述的方法,其中,执行该转换包括从当前视频块生成编解码表示。
23.根据示例1至21中任一项所述的方法,其中,执行该转换包括从编解码表示生成当前视频块。
24.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中该指令在由处理器执行时使得处理器实施根据示例1至23中的一项或多项所述的方法。
25.一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于执行根据示例1至23中的一项或多项所述的方法的程序代码。
从前面可以理解,为了说明的目的,本文已经描述了当前公开的技术的特定实施例,但是在不脱离本发明的范围的情况下,可以进行各种修改。因此,当前公开的技术不受除了所附权利要求之外的限制。
本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建运行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号,例如机器生成的电信号、光学信号或电磁信号。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。
本文档中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以被实施为专用逻辑电路,例如,FPGA(FieldProgrammable Gate Array,现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit,专用集成电路)。
适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可换式磁盘;磁光盘;以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何发明或可能要求保护的范围的限制,而是作为特定于特定发明的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims (25)

1.一种用于视频处理的方法,包括:
基于跨片预测是否被启用,确定是否使用时域预测用于获得用于视频的当前视频块和视频的编解码表示之间的转换的自适应环路滤波器;以及
使用基于所述确定而获得的自适应环路滤波器来执行所述转换。
2.根据权利要求1所述的方法,其中,由于所述跨片预测未被启用,所以时域预测不用于获得所述自适应环路滤波器。
3.根据权利要求1所述的方法,其中,由于所述跨片预测被允许,所以时域预测用于获得所述自适应环路滤波器。
4.一种用于视频处理的方法,包括:
确定是否对与编解码单元划分树中的祖先节点相对应的Merge共享节点启用Merge列表信息的共享以允许编解码单元划分树中的祖先节点的叶编解码单元使用Merge列表信息;以及
基于所述确定来执行视频的当前视频块和视频的编解码表示之间的转换。
5.根据权利要求4所述的方法,其中,更新运动候选表在所述转换期间被启用或禁用。
6.根据权利要求4所述的方法,其中,所述Merge列表信息包括Merge列表、运动候选列表、帧内模式信息或任何类型信息中的至少一个。
7.根据权利要求1所述的方法,其中,单个代表性编解码块被选择以更新运动候选表。
8.根据权利要求7所述的方法,其中,所述单个代表性编解码块被选择作为根据解码顺序的最后一个编解码块。
9.根据权利要求7所述的方法,其中,所述单个代表性编解码块被选择作为满足用于更新运动候选表的条件的最后一个编解码块。
10.根据权利要求9所述的方法,其中,所述用于更新运动候选表的条件要求以非仿射和非ATMVP(可选时域运动矢量预测)帧间模式对最后一个编解码块进行编解码,其中,所述ATMVP模式通过从比包括所述当前视频块的当前编解码单元更小的块提取多个运动信息集合来修改运动矢量时域运动矢量预测(TMVP)。
11.根据权利要求7所述的方法,其中,所述单个代表性编解码块被选择作为父节点下根据解码顺序的第一个编解码块。
12.根据权利要求7所述的方法,其中,所述单个代表性编解码块被选择作为满足用于更新运动候选表的条件的第一个编解码块。
13.根据权利要求12所述的方法,其中,所述用于更新运动候选表的条件要求以非仿射和非ATMVP(可选时域运动矢量预测)帧间模式对第一个编解码块进行编解码,其中,所述ATMVP模式通过从比包括所述当前视频块的当前编解码单元更小的块提取多个运动信息集合来修改运动矢量时域运动矢量预测(TMVP)。
14.根据权利要求1所述的方法,其中,多个代表性编解码块被选择以更新运动候选表。
15.根据权利要求14所述的方法,其中,与所述多个代表性编解码块相关联的多个编解码信息集合用于更新所述运动候选表的多个条目。
16.根据权利要求14所述的方法,其中,执行所述转换还包括更新附加运动候选表,并且其中,与所述多个代表性编解码块相关联的多个编解码信息集合用于更新所述运动候选表和所述附加运动候选表。
17.根据权利要求14所述的方法,其中,所述多个代表性编解码块以特定顺序被检查以确定是否用于更新运动候选表。
18.根据权利要求14所述的方法,其中,所述多个代表性编解码块被选择作为父节点下的第一个编解码块或最后一个编解码块。
19.根据权利要求2所述的方法,其中,对运动候选表的更新总是被禁用。
20.根据权利要求2-16中任一项所述的方法,其中,所述运动候选表指示来自以解码顺序的先前编解码块的编解码信息或者从来自以解码顺序的先前编解码块的编解码信息推导的信息。
21.根据权利要求20所述的方法,其中,所述运动候选表包括平移运动信息、仿射运动信息、仿射模型参数、帧内模式信息或照明补偿信息中的至少一个。
22.根据权利要求1至21中任一项所述的方法,其中,执行所述转换包括从所述当前视频块生成所述编解码表示。
23.根据权利要求1至21中任一项所述的方法,其中,执行所述转换包括从所述编解码表示生成所述当前视频块。
24.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器实施根据权利要求1至23中的一项或多项所述的方法。
25.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于执行根据权利要求1至23中的一项或多项所述的方法的程序代码。
CN202080008893.8A 2019-01-13 2020-01-13 LUT和共享Merge列表之间的交互 Active CN113383554B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/071510 2019-01-13
CN2019071510 2019-01-13
PCT/CN2020/071656 WO2020143824A1 (en) 2019-01-13 2020-01-13 Interaction between lut and shared merge list

Publications (2)

Publication Number Publication Date
CN113383554A true CN113383554A (zh) 2021-09-10
CN113383554B CN113383554B (zh) 2022-12-16

Family

ID=71521019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008893.8A Active CN113383554B (zh) 2019-01-13 2020-01-13 LUT和共享Merge列表之间的交互

Country Status (3)

Country Link
US (2) US11140383B2 (zh)
CN (1) CN113383554B (zh)
WO (1) WO2020143824A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125834A1 (en) * 2021-12-30 2023-07-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110662064B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 Lut中的运动候选的检查顺序
CA3105330C (en) 2018-06-29 2023-12-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
WO2020003283A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating luts
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
TWI734133B (zh) 2018-07-02 2021-07-21 大陸商北京字節跳動網絡技術有限公司 更新查找表的規則
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
CN113170182B (zh) 2018-12-03 2024-01-26 北京字节跳动网络技术有限公司 不同预测模式下的修剪方法
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Lut更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113519164A (zh) 2019-03-02 2021-10-19 北京字节跳动网络技术有限公司 对分割结构的限制
MX2021003465A (es) * 2019-03-08 2021-06-18 Jvckenwood Corp Dispositivo de codificacion de video, metodo de codificacion de video, programa de codificacion de video, dispositivo de decodificacion de video, metodo de decodificacion de video y programa de decodificacion de video.
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
BR112021018509A2 (pt) 2019-03-24 2021-11-23 Beijing Bytedance Network Tech Co Ltd Método para processar vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
CN115914627A (zh) 2019-04-15 2023-04-04 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
CN113767623B (zh) 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
WO2020239119A1 (en) 2019-05-30 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering for chroma components
CN113994698B (zh) 2019-06-04 2023-11-24 北京字节跳动网络技术有限公司 有条件地实施运动候选列表构建过程
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
JP7291845B2 (ja) 2019-07-11 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングにおけるサンプルパディング
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
WO2021008546A1 (en) 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
JP7321364B2 (ja) 2019-09-14 2023-08-04 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータ
KR20220058899A (ko) 2019-09-18 2022-05-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 적응형 루프 필터의 2-파트 시그널링
KR20220061980A (ko) 2019-09-22 2022-05-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 패딩 프로세스
KR20220063177A (ko) 2019-09-27 2022-05-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 비디오 유닛들 간의 적응적 루프 필터링
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
JP7443509B2 (ja) 2019-10-14 2024-03-05 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータの使用
WO2021083259A1 (en) 2019-10-29 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Signaling of cross-component adaptive loop filter
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
WO2022002007A1 (en) 2020-06-30 2022-01-06 Beijing Bytedance Network Technology Co., Ltd. Boundary location for adaptive loop filtering
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195366A1 (en) * 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
CN104396248A (zh) * 2012-10-12 2015-03-04 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US20160234492A1 (en) * 2015-02-11 2016-08-11 Qualcomm Incorporated Coding tree unit (ctu) level adaptive loop filter (alf)
CN107493473A (zh) * 2011-11-08 2017-12-19 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN107592529A (zh) * 2011-09-09 2018-01-16 株式会社Kt 用于解码视频信号的方法
US20180077417A1 (en) * 2016-09-14 2018-03-15 Mediatek Inc. Method and Apparatus of Encoding Decision for Encoder Block Partition
US20180242024A1 (en) * 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
US20180359483A1 (en) * 2017-06-13 2018-12-13 Qualcomm Incorporated Motion vector prediction

Family Cites Families (314)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023922B1 (en) 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
US7623719B2 (en) 2003-09-26 2009-11-24 The Regents Of The University Of California Video encoding methods and devices
CN100545892C (zh) 2003-12-18 2009-09-30 汤姆森特许公司 生成视频图像场中的查找表的方法和装置
US7801220B2 (en) 2005-01-07 2010-09-21 Microsoft Corporation In-band wavelet video coding with spatial scalability
MX2007012835A (es) 2005-04-13 2007-11-09 Nokia Corp Identificacion de escalabilidad granular fina en la codificacion de video escalable.
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
CN100539693C (zh) 2005-08-30 2009-09-09 深圳清华大学研究院 快速运动估计方法
MX2009004121A (es) 2006-10-20 2009-06-08 Nokia Corp Indicacion generica de trayectos de adaptacion para multimedia escalable.
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8228990B2 (en) 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
CN101933328B (zh) 2008-01-22 2014-11-19 杜比实验室特许公司 利用动态查询表更新的自适应运动信息成本估计
US8724697B2 (en) 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
JP5242784B2 (ja) 2009-06-18 2013-07-24 株式会社東芝 動画像符号化装置及び方法
WO2011003326A1 (en) 2009-07-06 2011-01-13 Mediatek Singapore Pte. Ltd. Single pass adaptive interpolation filter
KR20110008653A (ko) 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
CN102907098B (zh) 2009-10-01 2016-04-20 Sk电信有限公司 使用可变尺寸宏块对图像进行编码/解码的方法和装置
KR101600818B1 (ko) 2009-11-06 2016-03-09 삼성디스플레이 주식회사 3차원 광학 모듈 및 이를 포함하는 디스플레이 장치
JP5338684B2 (ja) 2010-01-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP2532159A1 (en) 2010-02-05 2012-12-12 Telefonaktiebolaget L M Ericsson (PUBL) Selecting predicted motion vector candidates
KR101630688B1 (ko) 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
KR20120016991A (ko) 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
WO2012074344A2 (ko) 2010-12-03 2012-06-07 엘지전자 주식회사 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치
CN107071461B (zh) 2010-12-14 2019-11-12 M&K控股株式会社 用于解码运动画面的设备
JP2014501091A (ja) 2010-12-17 2014-01-16 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート インター予測方法及びその装置
KR20120070479A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
GB2492778A (en) 2011-07-11 2013-01-16 Canon Kk Motion compensated image coding by combining motion information predictors
US20130301734A1 (en) 2011-01-12 2013-11-14 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
CN107360420B (zh) 2011-02-09 2020-11-06 Lg 电子株式会社 一种图像解码装置和图像编码装置
EP2490448A1 (de) 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
GB2488816A (en) 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
GB2501835B (en) 2011-03-09 2014-09-03 Canon Kk Video encoding and decoding
HUE061938T2 (hu) 2011-03-21 2023-09-28 Lg Electronics Inc Mozgásvektor-prediktor kiválasztása
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
JP5869564B2 (ja) 2011-05-24 2016-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
US8989271B2 (en) 2011-05-31 2015-03-24 Panasonic Intellectual Property Corporation Of America Decoding method and apparatus with candidate motion vectors
CN103563386A (zh) 2011-05-31 2014-02-05 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
WO2012172668A1 (ja) 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法及び装置並びに動画復号化方法及び装置
KR101876173B1 (ko) 2011-06-17 2018-07-09 엘지전자 주식회사 인트라 예측 모드 부호화/복호화 방법 및 장치
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
LT3136729T (lt) 2011-06-28 2018-02-12 Samsung Electronics Co., Ltd. Vaizdo dekodavimo aparatas su vidine prognoze
CN103535039B (zh) 2011-06-30 2018-08-28 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置以及图像编解码装置
EP3419290B1 (en) 2011-06-30 2020-12-23 JVC KENWOOD Corporation Image coding device, image coding method, image coding program, image decoding device, image decoding method, and image decoding program
KR102004113B1 (ko) 2011-06-30 2019-07-25 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
US20130188013A1 (en) 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
CN103718558B (zh) 2011-08-03 2017-04-19 太阳专利托管公司 运动图像编码方法及装置、解码方法及装置和编解码装置
GB201113527D0 (en) 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
KR101210892B1 (ko) 2011-08-29 2012-12-11 주식회사 아이벡스피티홀딩스 Amvp 모드에서의 예측 블록 생성 방법
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
KR101960034B1 (ko) 2011-09-09 2019-03-19 엘지전자 주식회사 인터 예측 방법 및 그 장치
US20130070855A1 (en) 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
JP5884697B2 (ja) 2011-09-28 2016-03-15 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
DK2763414T3 (da) 2011-09-29 2020-11-30 Sharp Kk Billedafkodningsindretning og fremgangsmåde til billedafkodning til udførelse af konvertering af bi-forudsigelse til uni-forudsigelse
CN103907346B (zh) 2011-10-11 2017-05-24 联发科技股份有限公司 运动矢量预测子及视差矢量导出方法及其装置
US9838692B2 (en) 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
KR102030718B1 (ko) 2011-10-18 2019-10-10 주식회사 케이티 영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기
JP6308495B2 (ja) 2011-10-19 2018-04-11 サン パテント トラスト 画像復号方法、および、画像復号装置
US9872016B2 (en) 2011-10-19 2018-01-16 Hfi Innovation Inc. Method and apparatus for derivation of motion vector predictor candidate set
US9462298B2 (en) * 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
WO2013059504A1 (en) 2011-10-21 2013-04-25 Dolby Laboratories Licensing Corporation Hierarchical motion estimation for video compression and motion analysis
RU2609083C2 (ru) 2011-10-28 2017-01-30 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
KR20130050407A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
CN110198450B (zh) 2011-11-08 2021-12-31 韩国电子通信研究院 用于共享候选者列表的方法和装置
KR101493698B1 (ko) 2011-11-08 2015-03-02 삼성전자주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 결정 방법 및 장치
JP6178326B2 (ja) 2011-11-11 2017-08-09 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
WO2013081365A1 (ko) 2011-11-28 2013-06-06 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
BR122020008353B1 (pt) 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de foto em movimento e método de codificação de foto em movimento
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
US20130188715A1 (en) 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN108174203B (zh) 2012-01-18 2021-12-21 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
BR122020017172B1 (pt) 2012-01-19 2022-11-29 Electronics And Telecommunications Research Institute Aparelho de decodificação de imagem
US9554130B2 (en) 2012-01-20 2017-01-24 Pantech Inc. Intra prediction mode mapping method and device using the method
JP2015507899A (ja) 2012-01-20 2015-03-12 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 並列処理を許容している符号化概念、トランスポートデマルチプレクサおよびビデオビットストリーム
SG11201404509QA (en) 2012-02-01 2014-08-28 Nokia Corp Method and apparatus for video coding
US9544592B2 (en) 2012-02-10 2017-01-10 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
WO2013140807A1 (ja) 2012-03-23 2013-09-26 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
US9264706B2 (en) 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
ES2902536T3 (es) 2012-04-12 2022-03-28 Jvckenwood Corp Dispositivo de codificación de instantáneas en movimiento, procedimiento de codificación de instantáneas en movimiento, programa de codificación de instantáneas en movimiento, y dispositivo de decodificación de instantáneas en movimiento, procedimiento de decodificación de instantáneas en movimiento, programa de decodificación de instantáneas en movimiento
US20130272412A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Common motion information candidate list construction process
US9338451B2 (en) 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
WO2013157251A1 (ja) 2012-04-16 2013-10-24 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
WO2013159643A1 (en) 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
EP2849441B1 (en) 2012-05-10 2019-08-21 LG Electronics Inc. Method and apparatus for processing video signals
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9258562B2 (en) 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130343459A1 (en) 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
CN104488272B (zh) 2012-07-02 2018-03-16 三星电子株式会社 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备
US9686559B2 (en) 2012-07-03 2017-06-20 Sharp Kabushiki Kaisha Image decoding device, and image encoding device
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
WO2014047351A2 (en) 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
WO2014049196A1 (en) 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding
JPWO2014054267A1 (ja) 2012-10-01 2016-08-25 パナソニックIpマネジメント株式会社 画像符号化装置及び画像符号化方法
CN104704835B (zh) 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US9699450B2 (en) 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9854234B2 (en) 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
US9357214B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
WO2014089727A1 (en) 2012-12-14 2014-06-19 Qualcomm Incorporated Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
US20140168388A1 (en) 2012-12-19 2014-06-19 Nvidia Corporation System and method for displaying a three-dimensional image on a video monitor
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
CN110611814A (zh) 2013-01-07 2019-12-24 Vid拓展公司 用于可扩展视频编码的运动信息信令
EP2944080B1 (en) 2013-01-11 2018-09-12 HFI Innovation Inc. Method and apparatus for efficient coding of depth lookup table
JP5692262B2 (ja) 2013-03-06 2015-04-01 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム
WO2014165555A1 (en) 2013-04-02 2014-10-09 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
KR101706309B1 (ko) 2013-04-10 2017-02-14 에이치에프아이 이노베이션 인크. 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
US10158876B2 (en) 2013-04-10 2018-12-18 Qualcomm Incorporated Backward view synthesis prediction
CN104125463A (zh) 2013-04-26 2014-10-29 华为技术有限公司 一种图像预测编码方法及图像编码器
US10277909B2 (en) 2013-05-15 2019-04-30 Vid Scale, Inc. Single loop decoding based interlayer prediction
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015000108A1 (en) 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
KR101854003B1 (ko) 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
WO2015006920A1 (en) 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. An adaptive disparity vector derivation method
JP6434012B2 (ja) 2013-07-24 2018-12-05 クゥアルコム・インコーポレイテッドQualcomm Incorporated 3d−hevcのための簡素化された高度動き予測
KR102028186B1 (ko) 2013-09-20 2019-10-02 브이아이디 스케일, 인크. 색역 확장성을 위한 3d 룩업 테이블 코딩을 제공하기 위한 시스템 및 방법
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
GB2519514A (en) 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
US10070147B2 (en) 2013-10-18 2018-09-04 Lg Electronics Inc. Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
CN104717510B (zh) 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US9967592B2 (en) 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
KR101847899B1 (ko) 2014-02-12 2018-04-12 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US9591313B2 (en) 2014-03-04 2017-03-07 Vixs Systems, Inc. Video encoder with transform size preprocessing and methods for use therewith
WO2015131387A1 (en) 2014-03-07 2015-09-11 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
EP3107290B1 (en) * 2014-03-14 2021-07-28 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
WO2015139187A1 (en) 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
US9756354B2 (en) 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
WO2015139203A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
CN108989815B9 (zh) 2014-03-19 2021-06-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
WO2015169200A1 (en) 2014-05-06 2015-11-12 Mediatek Singapore Pte. Ltd. Method of block vector prediction for intra block copy mode coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
WO2015180014A1 (en) 2014-05-26 2015-12-03 Mediatek Singapore Pte. Ltd. An improved merge candidate list construction method for intra block copy
EP3155812B1 (en) 2014-06-16 2023-04-05 QUALCOMM Incorporated Simplified shifting merge candidate and merge list derivation in 3d-hevc
CN110913217B (zh) 2014-06-19 2022-01-25 Vid拓展公司 用于基于三维色彩映射模型参数优化的系统和方法
US10021418B2 (en) 2014-06-19 2018-07-10 Hfi Innovation Inc. Method and apparatus of candidate generation for single sample mode in video coding
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
CN104079944B (zh) 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
WO2016008161A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Temporal derived bi-directional motion vector predictor
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
EP3180917B1 (en) 2014-09-01 2022-04-20 HFI Innovation Inc. Method of intra picture block copy for screen content and video coding
CN111988606B (zh) 2014-09-15 2022-09-20 寰发股份有限公司 去区块滤波方法、相应地编码装置和存储介质
CN106471807B (zh) 2014-10-09 2019-08-23 寰发股份有限公司 包括视角合成预测的三维或多视角视频的编码方法
US9854237B2 (en) 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
EP3203743A4 (en) 2014-10-31 2018-01-10 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
KR20220162877A (ko) 2014-10-31 2022-12-08 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
SG11201703454XA (en) 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
BR112017011890A2 (pt) 2014-12-09 2018-07-03 Mediatek Inc método de derivação de preditor de vetor de movimento ou de candidato a fusão em codificação de vídeo
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10230980B2 (en) 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
CN106416254B (zh) 2015-02-06 2019-08-02 微软技术许可有限责任公司 在媒体编码期间跳过评估阶段
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
US10681383B2 (en) 2015-04-08 2020-06-09 Hfi Innovation Inc. Methods for palette mode context coding and binarization in video coding
CN104915966B (zh) 2015-05-08 2018-02-09 上海交通大学 基于卡尔曼滤波的帧率上变换运动估计方法及系统
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US10148961B2 (en) 2015-05-29 2018-12-04 Qualcomm Incorporated Arithmetic coder with multiple window sizes
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10271064B2 (en) 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
US9918102B1 (en) 2015-06-22 2018-03-13 Ambarella, Inc. Inter-prediction candidate selection in a mode decision
WO2017043734A1 (ko) 2015-09-07 2017-03-16 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
US20170094288A1 (en) 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
WO2017059415A1 (en) 2015-10-02 2017-04-06 Vid Scale, Inc. Color correction with a lookup table
US10412407B2 (en) 2015-11-05 2019-09-10 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
WO2017086746A1 (ko) 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
CN108293131B (zh) 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
JP6495835B2 (ja) 2016-01-06 2019-04-03 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
CN105681807B (zh) 2016-01-06 2018-11-02 福州瑞芯微电子股份有限公司 一种基于h264协议的分像素运动矢量计算方法和装置
US10368083B2 (en) 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
JP6379186B2 (ja) 2016-02-17 2018-08-22 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオピクチャを符号化および復号する方法および装置
EP3442232A4 (en) 2016-04-06 2019-12-04 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
CN116546208A (zh) 2016-04-08 2023-08-04 韩国电子通信研究院 用于导出运动预测信息的方法和装置
EP3451668A4 (en) 2016-04-26 2020-04-15 Intellectual Discovery Co., Ltd. METHOD AND DEVICE FOR CODING / DECODING AN IMAGE
US10142652B2 (en) 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
US10694204B2 (en) 2016-05-06 2020-06-23 Vid Scale, Inc. Systems and methods for motion compensated residual prediction
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
WO2017204532A1 (ko) 2016-05-24 2017-11-30 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
CN116614641A (zh) 2016-07-12 2023-08-18 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
CN116708785A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US20210281873A1 (en) 2016-09-06 2021-09-09 Mediatek Inc. Methods and apparatuses of candidate set determination for binary-tree splitting blocks
US10812791B2 (en) 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
JP7048503B2 (ja) 2016-09-27 2022-04-05 シャープ株式会社 復号装置、符号化装置、復号方法、および、符号化方法
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
KR102228298B1 (ko) 2016-09-30 2021-03-15 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 방법, 비디오 디코딩 방법, 및 단말
AU2016425069B2 (en) 2016-09-30 2022-03-03 Huawei Technologies Co., Ltd. Method and apparatus for image coding and decoding through inter prediction
EP3301919A1 (en) 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
JP2019216294A (ja) 2016-10-14 2019-12-19 シャープ株式会社 エントロピー復号装置、エントロピー符号化装置、画像復号装置および画像符号化装置
CN117528109A (zh) 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
HUE059684T2 (hu) 2016-12-05 2022-12-28 Lg Electronics Inc Videó dekódoló berendezés, videó kódoló berendezés, tárolóközeg és átviteli eljárás
US20200128238A1 (en) 2016-12-22 2020-04-23 Kt Corporation Video signal processing method and device
KR20180074000A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
CN106851046A (zh) 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及系统
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10491917B2 (en) 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US10805650B2 (en) 2017-03-27 2020-10-13 Qualcomm Incorporated Signaling important video information in network video streaming using mime type parameters
CN117395406A (zh) 2017-04-28 2024-01-12 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US20180332312A1 (en) 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Devices And Methods For Video Processing
US10523934B2 (en) 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
EP4351139A3 (en) 2017-06-09 2024-05-15 Electronics and Telecommunications Research Institute Video encoding/decoding method and device, and recording medium storing bit stream
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
US20180376148A1 (en) 2017-06-23 2018-12-27 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10911769B2 (en) 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
US10687077B2 (en) 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
EP3422716A1 (en) 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
WO2019009546A1 (ko) 2017-07-04 2019-01-10 엘지전자 주식회사 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
CN107295348A (zh) 2017-07-31 2017-10-24 南通海鑫信息科技有限公司 一种图像编码方法
US10284869B2 (en) 2017-09-28 2019-05-07 Google Llc Constrained motion field estimation for hardware efficiency
EP3688992A1 (en) 2017-09-28 2020-08-05 Vid Scale, Inc. Complexity reduction of overlapped block motion compensation
CN111567045A (zh) 2017-10-10 2020-08-21 韩国电子通信研究院 使用帧间预测信息的方法和装置
US20190116374A1 (en) 2017-10-17 2019-04-18 Qualcomm Incorporated Coding motion information of video data using coding structure-based candidate list construction
CN118214854A (zh) 2017-10-26 2024-06-18 英迪股份有限公司 用于基于非对称子块的图像编码/解码的方法及装置
US11057640B2 (en) 2017-11-30 2021-07-06 Lg Electronics Inc. Image decoding method and apparatus based on inter-prediction in image coding system
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US11265551B2 (en) 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US11303929B2 (en) 2018-04-02 2022-04-12 Lg Electronics Inc. Image coding method using lookup table for intra prediction mode and apparatus therefor
US10986343B2 (en) 2018-04-15 2021-04-20 Arris Enterprises Llc Reducing overhead for multiple-hypothesis temporal prediction
WO2019223746A1 (en) 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
CN112166612A (zh) 2018-05-23 2021-01-01 株式会社Kt 用于处理视频信号的方法和设备
WO2019234676A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Mv precision refine
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
KR102648120B1 (ko) 2018-06-29 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
WO2020003283A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating luts
WO2020003258A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Virtual merge candidates
CN110662064B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 Lut中的运动候选的检查顺序
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
CA3105330C (en) 2018-06-29 2023-12-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
TWI734133B (zh) 2018-07-02 2021-07-21 大陸商北京字節跳動網絡技術有限公司 更新查找表的規則
US10743016B2 (en) 2018-07-06 2020-08-11 Mediatek Inc. Inherited motion information for decoding a current coding unit in a video coding system
US11606575B2 (en) 2018-07-10 2023-03-14 Qualcomm Incorporated Multiple history based non-adjacent MVPs for wavefront processing of video coding
US11051036B2 (en) 2018-07-14 2021-06-29 Mediatek Inc. Method and apparatus of constrained overlapped block motion compensation in video coding
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US11381833B2 (en) 2018-07-19 2022-07-05 Tencent America LLC Method and apparatus for video coding
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
CN116095312A (zh) 2018-08-04 2023-05-09 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
CN112567771A (zh) 2018-08-09 2021-03-26 华为技术有限公司 基于历史的帧内模式编解码方法和装置
JP7282872B2 (ja) 2018-08-13 2023-05-29 エルジー エレクトロニクス インコーポレイティド ヒストリベースの動きベクトルに基づくインター予測方法及びその装置
KR20230146108A (ko) 2018-08-28 2023-10-18 에프쥐 이노베이션 컴퍼니 리미티드 비디오 데이터를 코딩하기 위한 디바이스 및 방법
CN118055231A (zh) 2018-09-06 2024-05-17 Lg 电子株式会社 使用mpm列表的基于帧内预测的图像编码方法及其装置
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
US11212550B2 (en) 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
US20210400298A1 (en) 2018-09-28 2021-12-23 Lg Electronics Inc. Method and apparatus for processing video signal by using affine prediction
US20200112715A1 (en) 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding
CN112840653B (zh) * 2018-10-06 2023-12-26 寰发股份有限公司 视频编解码中共享合并候选列表区域的方法和装置
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US11284066B2 (en) 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN116634170A (zh) 2018-10-10 2023-08-22 华为技术有限公司 帧间预测方法及装置
CN112913240A (zh) 2018-10-22 2021-06-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导和其他编解码工具之间的并置
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
WO2020086317A1 (en) 2018-10-23 2020-04-30 Tencent America Llc. Method and apparatus for video coding
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
WO2020088689A1 (en) 2018-11-02 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Usage of hmvp candidates in geometry partition prediction mode
EP3847814A4 (en) 2018-11-06 2021-07-14 Beijing Bytedance Network Technology Co. Ltd. POSITION DEPENDENT STORAGE, MOVEMENT INFORMATION
WO2020094049A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning
KR102636813B1 (ko) 2018-11-22 2024-02-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 펄스 코드 변조 기술
CN117528076A (zh) 2018-11-22 2024-02-06 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的构建方法
US11146810B2 (en) 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
EP3716626A4 (en) 2018-12-12 2021-05-19 LG Electronics Inc. METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BASED ON A TRANSFORM OF HISTORY-BASED MOTION VECTORS
US11431986B2 (en) 2018-12-28 2022-08-30 Godo Kaisha Ip Bridge 1 Picture coding device, picture coding method, and picture coding program, picture decoding device, picture decoding method and picture decoding program
KR102443965B1 (ko) 2019-01-01 2022-09-19 엘지전자 주식회사 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
US11234007B2 (en) 2019-01-05 2022-01-25 Tencent America LLC Method and apparatus for video coding
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Lut更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195366A1 (en) * 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
CN107592529A (zh) * 2011-09-09 2018-01-16 株式会社Kt 用于解码视频信号的方法
CN107493473A (zh) * 2011-11-08 2017-12-19 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN104396248A (zh) * 2012-10-12 2015-03-04 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US20160234492A1 (en) * 2015-02-11 2016-08-11 Qualcomm Incorporated Coding tree unit (ctu) level adaptive loop filter (alf)
US20180077417A1 (en) * 2016-09-14 2018-03-15 Mediatek Inc. Method and Apparatus of Encoding Decision for Encoder Block Partition
US20180242024A1 (en) * 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
US20180359483A1 (en) * 2017-06-13 2018-12-13 Qualcomm Incorporated Motion vector prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125834A1 (en) * 2021-12-30 2023-07-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
CN113383554B (zh) 2022-12-16
US20210377545A1 (en) 2021-12-02
US11140383B2 (en) 2021-10-05
WO2020143824A1 (en) 2020-07-16
US11909951B2 (en) 2024-02-20
US20200413038A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
CN113383554B (zh) LUT和共享Merge列表之间的交互
CN111064961B (zh) 视频处理方法和装置
CN110662056B (zh) 哪个查找表需要更新或不更新
CN110662063B (zh) 视频处理方法、装置和计算机可读存储介质
TWI752331B (zh) 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
CN110662039B (zh) 查找表的更新:fifo、约束的fifo
CN110662043B (zh) 一种用于处理视频数据的方法、装置和计算机可读介质
KR102648159B1 (ko) Lut 업데이트의 호출
CN113302937A (zh) 运动候选推导
CN110662030B (zh) 一种视频处理方法和装置
CN110719463B (zh) 用时间信息扩展基于查找表的运动矢量预测
CN110719465A (zh) 用时间信息扩展基于查找表的运动矢量预测
CN113615193A (zh) Merge列表构建和其他工具之间的交互

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant