CN113784132B - 用于帧间预测的运动向量舍入、截取和存储的方法和装置 - Google Patents

用于帧间预测的运动向量舍入、截取和存储的方法和装置 Download PDF

Info

Publication number
CN113784132B
CN113784132B CN202111092519.3A CN202111092519A CN113784132B CN 113784132 B CN113784132 B CN 113784132B CN 202111092519 A CN202111092519 A CN 202111092519A CN 113784132 B CN113784132 B CN 113784132B
Authority
CN
China
Prior art keywords
rounding
prediction
motion vector
mode
mvs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111092519.3A
Other languages
English (en)
Other versions
CN113784132A (zh
Inventor
修晓宇
陈漪纹
王祥林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111092519.3A priority Critical patent/CN113784132B/zh
Publication of CN113784132A publication Critical patent/CN113784132A/zh
Application granted granted Critical
Publication of CN113784132B publication Critical patent/CN113784132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/01Methods or arrangements for data conversion without changing the order or content of the data handled for shifting, e.g. justifying, scaling, normalising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing

Abstract

提供了一种用于视频编解码的方法,包括:设置运动向量(MV)舍入过程,所述MV舍入过程被配置为执行MV舍入操作;将所述MV舍入过程应用于第一预测工具中使用的至少第一MV,第一预测工具从包括以下各项的第一组工具中选择:按对合并候选项、三角预测模式和仿射模式;和将所述MV舍入过程应用于第二预测工具中使用的至少第二MV,第二预测工具从包括以下各项的第二组工具中选择:时域运动向量预测(TMVP)、高级时域运动向量预测(ATMVP)以及具有运动向量差的合并模式(MMVD)。

Description

用于帧间预测的运动向量舍入、截取和存储的方法和装置
本申请是申请日为2020年2月19日,申请号为202080014012.3并且发明名称为“用于帧间预测的运动向量舍入、截取和存储的方法和装置”申请的分案申请。
对相关申请的交叉引用
本申请要求2019年2月20日提交的标题为“Methods and Apparatus on MotionVector Rounding and Storage for Inter Prediction”的美国临时申请号62/808,276和2019年3月8日提交的标题为“Methods and Apparatuses on Motion Vector Roundingand Storage for Inter Prediction”的美国临时申请号62/816,025的优先权,出于所有目的,这两者均通过引用整体并入本文。
技术领域
本申请一般地涉及视频编解码和压缩,并且具体地但不限于用于视频编解码的运动向量舍入、截取和存储的方法和装置。
背景技术
数字视频被各种电子设备支持,诸如数字电视、膝上型或台式计算机、平板计算机、数码相机、数字记录设备、数字媒体播放器、视频游戏控制台、智能电话、视频电话会议设备、视频流送设备等。这些电子设备通过实现视频压缩/解压缩来传输、接收、编码、解码和/或存储数字视频数据。数字视频设备实现视频编解码技术,诸如由通用视频编解码(VVC)、联合探索测试模型 (JEM)、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10 部分、高级视频编解码 (AVC)、ITU-T H.265/高效视频编解码 (HEVC) 以及此类标准的扩展定义的标准中描述的那些技术。
视频编解码通常利用预测方法(例如,帧间预测、帧内预测),该预测方法利用视频图像或序列中存在的冗余。视频编解码技术的重要目标是将视频数据压缩成使用较低比特率的形式,同时避免或最小化视频质量的下降。随着不断演进的视频服务变得可用,需要具有更好编解码效率的编码技术。
视频压缩通常包括执行空间域(帧内)预测和/或时域(帧间)预测以减少或去除视频数据中固有的冗余。在基于块的视频编解码中,输入的视频信号被逐块处理。对于每个块(也称为编码单元(CU)),可以执行空间域预测和/或时域预测。每个 CU 可以采用帧内、帧间或 IBC 模式进行编解码。使用相对于同一视频帧内的相邻块中的参考样本的空间域预测来编码视频帧的帧内编解码 (I) 切片中的视频块。视频帧的帧间编解码(P或B)切片中的视频块可使用相对于同一视频帧内相邻块中的参考样本的空间域预测或相对于其它先前和/或未来参考视频帧中的参考样本的时域预测。
基于先前已编码的参考块(例如,相邻块)的空间域或时域预测产生要编解码的当前视频块的预测块。寻找参考块的过程可以通过块匹配算法来完成。表示要编解码的当前块和预测块之间的像素点差异的残差数据被称为残差块或预测误差。帧间编解码块根据指向形成预测块的参考帧中的参考块的运动向量和残差块进行编码。确定运动向量的过程通常称为运动估计。帧内编解码块根据帧内预测模式和残差块进行编码。为了进一步压缩,残差块从像素域被变换到变换域,例如频域,产生残差变换系数,然后可以对残差变换系数进行量化。最初以二维阵列布置的量化变换系数可以被扫描以产生变换系数的一维向量,然后被熵编码到视频比特流中以实现甚至更进一步的压缩。
编码的视频比特流然后被保存在计算机可读存储介质(例如,闪存)中以供具有数字视频能力的另一电子设备访问或者被直接有线或无线地传输到所述电子设备。所述电子设备然后通过例如解析该编码视频比特流以从比特流获得语义元素并且至少部分地基于从比特流获得的语义元素从编码的视频比特流将所述数字视频数据重构为其原始格式来执行视频解压缩(这是与上述视频压缩相反的过程),并且在电子设备的显示器上呈现重构的数字视频数据。
随着数字视频质量从高清到 4Kx2K 或甚至 8Kx4K,要编码/解码的视频数据量呈指数增长。如何在保持解码的视频数据的图像质量的同时能够更高效地编码/解码视频数据是持续的挑战。
在联合视频专家组 (JVET) 会议上,JVET 定义了通用视频编解码(VVC)的初稿和VVC 测试模型 1 (VTM l) 编码方法。决定包括具有使用二元和三元划分编解码块结构的嵌套多类型树的四叉树作为 VVC 的初始新编解码特征。从那时起,在 JVET 会议期间开发了用于实现所述编码方法和VVC 解码过程草案的参考软件VTM。
发明内容
一般而言,本公开描述了与用于视频编解码的运动向量舍入和截取有关的技术的示例。
根据本公开的第一方面,提供了一种用于视频编解码的方法,包括:设置运动向量(MV)舍入过程,MV舍入过程被配置为执行MV舍入操作;将MV舍入过程应用于第一预测工具中使用的至少第一 MV,第一预测工具从由以下各项组成的组中选择:按对合并候选项、三角预测模式和仿射模式;以及将MV舍入过程应用于第二预测工具中使用的至少第二 MV,所述第二预测工具从由以下各项组成的组中选择:时域运动向量预测 (TMVP) 和高级时域运动向量预测 (ATMVP) 以及具有运动向量差的合并模式 (MMVD)。
根据本公开的第二方面,提供了一种用于视频编解码的方法,包括:设置运动向量(MV)截取(clipping)过程,MV截取过程被配置为执行截取操作;将MV截取过程应用于第一预测工具中使用的至少第一 MV,该第一预测工具从由以下各项组成的组中选择:高级运动向量预测 (AMVP) 模式、高级时域运动向量预测 (ATMVP) 模式、三角模式、具有运动向量差的合并模式(MMVD)的模式、解码器侧运动向量导出(DMVR)模式和仿射继承模式;以及将MV截取过程应用于第二预测工具中使用的至少第二 MV,第二预测工具从由以下各项组成的组中选择:显式正常帧间模式和显式仿射模式。
根据本公开的第三方面,提供了一种用于视频编解码的装置,包括:处理器;和存储器,配置为存储处理器可执行的指令;其中,处理器在执行指令时被配置为:设置运动向量(MV)舍入过程,MV舍入过程被配置为执行MV舍入操作;将MV舍入过程应用于第一预测工具中使用的至少第一 MV,第一预测工具从由以下各项组成的组中选择:按对合并候选项、三角预测模式和仿射模式;以及将MV舍入过程应用于第二预测工具中使用的至少第二 MV,所述第二预测工具从由以下各项组成的组中选择:时域运动向量预测 (TMVP) 和高级时域运动向量预测 (ATMVP) 以及具有运动向量差的合并模式 (MMVD)。
根据本公开的第四方面,提供了一种用于视频编解码的装置,包括:处理器;和存储器,配置为存储处理器可执行的指令;其中,处理器在执行指令时被配置为:设置运动向量(MV)截取过程,MV截取过程被配置为执行截取操作;将MV截取过程应用于第一预测工具中使用的至少第一 MV,该第一预测工具从由以下各项组成的组中选择:高级运动向量预测(AMVP) 模式、高级时域运动向量预测 (ATMVP) 模式、三角模式、具有运动向量差的合并模式(MMVD)的模式、解码器侧运动向量导出(DMVR)模式和仿射继承模式;以及将MV截取过程应用于第二预测工具中使用的至少第二 MV,第二预测工具从由以下各项组成的组中选择:显式正常帧间模式和显式仿射模式。
附图说明
本公开的示例的更具体的描述将通过参考在附图中图示的特定示例来呈现。鉴于这些附图仅描绘了一些示例并且因此不被认为是对范围的限制,将通过使用附图以附加的具体性和细节来描述和解释这些示例。
图1是图示根据本公开的一些实施方式的示例性视频编码器的框图。
图2是图示根据本公开的一些实施方式的示例性视频解码器的框图。
图3是图示根据本公开的一些实施方式的多类型树结构中的块分区的示意图。
图4是图示根据本公开的一些实现方式的VVC中空间域合并候选项的位置的示意图。
图5是图示根据本公开的一些实现方式的用于时域运动向量预测(TMVP)的MV缩放操作的示意图。
图6是图示根据本公开的一些实施方式的4参数仿射模型的示意图。
图7是图示根据本公开的一些实施方式的6参数仿射模型的示意图。
图8是图示根据本公开的一些实施方式的仿射CPMV存储方法的示意图。
图9是图示根据本公开的一些实现方式的三角预测分区的示意图。
图10是图示根据本公开的一些实施方式的用于生成三角预测模式的单向预测MV列表的候选块的位置的示意图。
图11是图示根据本公开的一些实施方式的沿三角预测模式的分割边缘的两个单向预测样本的加权平均的示意图。
图12是图示根据本公开的一些实施方式的基于绝对值的MV舍入的映射函数的示意图。
图13是图示根据本公开的一些实施方式的基于TMVP/ATMVP的MV舍入的映射函数的示意图。
图14是图示根据本公开的一些实施方式的常规MV舍入的映射函数的示意图。
图15是图示根据本公开的一些实施方式的用于实际VVC实施方式的CPMV和MV情境更新过程的示例的示意图。
图16是图示根据本公开的一些实现方式的时域MV存储的尾数-指数表示的示例的示意图。
图17是图示根据本公开的一些实施方式的用于视频编解码的示例性装置的框图。
图18是图示根据本公开的一些实施方式的用于视频编解码的运动向量舍入的示例性过程的流程图。
图19是图示根据本公开的一些实施方式的用于视频编解码的运动向量截取的示例性过程的流程图。
具体实施方式
现在将详细参考具体实施方式,其示例在附图中图示。在下面的详细描述中,阐述了许多非限制性的具体细节以帮助理解本文呈现的主题。但是对于本领域的普通技术人员来说将显而易见的是,可以使用各种替代方案。例如,对于本领域的普通技术人员来说将显而易见的是,本文呈现的主题可以在具有数字视频能力的多种类型的电子设备上实现。
在该整个说明书中对“一个实施例”、“实施例”、“示例”、“一些实施例”、“一些示例”或类似语言的提及意味着所描述的特定特征、结构或特性包括在至少一个实施例或示例中。除非另有明确说明,否则结合一个或一些实施例描述的特征、结构、元件或特性也适用于其它实施例。
在整个公开内容中,术语“第一”、“第二”、“第三”等都用作专门术语,仅用于参考相关元件,例如,设备、部件、组分、步骤等,除非另有明确说明,否则不暗示任何空间或时间顺序。例如,“第一设备”和“第二设备”可以指代两个单独形成的设备,同一设备的两个部分、部件或操作状态,并且可以任意命名。
如本文所用的,取决于上下文,术语“如果”或“当……时”可被理解为意指“依据”或“响应于”。这些术语如果出现在权利要求中,可能并不指示相关限制或特征是有条件的或可选的。
术语“模块”、“子模块”、“电路”、“子电路”、“电路系统”、“子电路系统”、“单元”或“子单元”可以包括存储器(共享的、专用的或组),该存储器存储可由一个或多个处理器执行的代码或指令。模块可以包括一个或多个带有或不带有存储的代码或指令的电路。模块或电路可包括直接或间接连接的一个或多个部件。这些部件可能会或可能不会物理附接到彼此或定位成彼此相邻。
单元或模块可以纯由软件、纯由硬件或由硬件和软件的组合来实现。例如,在纯软件实施方式中,单元或模块可以包括直接或间接链接在一起的功能相关的代码块或软件部件,以执行特定功能。
图1示出图示示例性基于块的混合视频编码器100的框图,混合视频编码器100可结合使用基于块的处理的许多视频编解码标准来使用。在编码器100中,视频帧被分割为多个视频块以供处理。对于每个给定的视频块,基于帧间预测方法或帧内预测方法形成预测。在帧间预测中,基于来自先前重构帧的像素点,通过运动估计和运动补偿形成一个或多个预测值。在帧内预测中,基于当前帧中重构的像素点形成预测值。通过模式决策,可以选择最佳预测值来预测当前块。
表示当前视频块与其预测值之间的差的预测残差被发送到变换电路系统102。变换系数然后从变换电路系统102发送到量化电路系统104用于熵减。量化系数然后被馈送到熵编解码电路系统106以生成压缩的视频比特流。如图1中所示,来自帧间预测电路系统和/或帧内预测电路系统112的预测相关信息110(诸如视频块分割信息、运动向量、参考图片索引和帧内预测模式)也通过熵编解码电路系统106馈送并且保存为压缩的视频比特流 114。
在编码器100中,还需要与解码器相关的电路系统以便为了预测的目的重构像素点。首先,通过逆量化电路系统116和逆变换电路系统118重构预测残差。该重构的预测残差与块预测值120组合以生成当前视频块的未滤波的重构像素点。
空间域预测(或“帧内预测”)使用来自与当前视频块处于相同视频帧中的已经编解码的相邻块的样本(称为参考样本)的像素点来预测当前视频块。
时域预测(也称为“帧间预测”或“运动补偿预测”)使用来自已经编解码的视频图片的重构像素点来预测当前视频块。时域预测减少了视频信号中固有的时域冗余。针对给定编解码单元 (CU) 或编解码块的时域预测信号通常由一个或多个运动向量 (MV)来进行信号通知,该一个或多个运动向量指示当前 CU 与其时域参考图片之间的运动量和运动方向。进一步地,如果支持多个参考图片,则额外发送一个参考图片索引,用于标识时域预测信号来自参考图片存储中的哪个参考图片。
在执行空间域和/或时域预测之后,编码器100中的帧内/帧间模式决策电路系统121选择最佳预测模式,例如基于比率失真优化方法。然后从当前视频块中减去块预测值120;并且使用变换电路系统102和量化电路系统104把得到的预测残差解相关。得到的量化残差系数由逆量化电路系统116逆量化并由逆变换电路系统118逆变换以形成重构的残差,然后将重构的残差加回到预测块以形成CU的重构信号。进一步环路滤波115(诸如解块滤波器、样本自适应偏移(SAO)和/或自适应环路滤波器(ALF))可以在重构的CU被放入图片缓冲器117的参考图片存储并用于编解码未来的视频块之前被应用在重构的CU上。为了形成输出视频比特流114,编解码模式(帧间或帧内)、预测模式信息、运动信息和量化残差系数都被发送到熵编解码单元106以被进一步压缩和打包以形成比特流。
例如,解块滤波器可用于AVC、HEVC以及VVC的当前版本中。在 HEVC 中,定义了称为 SAO(样本自适应偏移)的额外环路滤波器,用于进一步提高编解码效率。在 VVC 标准的当前版本中,正在积极研究另一种称为 ALF(自适应环路滤波器)的环路滤波器,并且它很有可能被包括在最终标准中。
这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。它们也可以作为由编码器100呈现的决策而被关闭以节省计算复杂度。
应当注意,帧内预测通常基于未滤波的重构像素点,而如果这些滤波器选项被编码器100打开,则帧间预测基于滤波的重构像素点。
图2是图示示例性基于块的视频解码器200的框图,基于块的视频解码器200可结合许多视频编解码标准使用。该解码器200类似于驻留在图1的编码器100中的重构相关部分。在解码器200中,首先通过熵解码202对到来的视频比特流201进行解码以导出量化系数级别和预测相关信息。然后通过逆量化204和逆变换206处理量化系数级别以获得重构的预测残差。在帧内/帧间模式选择器212中实现的块预测值机构被配置为基于解码的预测信息执行帧内预测208或运动补偿210。通过使用加法器 214将来自逆变换 206 的重构预测残差和由块预测值机构生成的预测输出相加,获得一组未滤波的重构像素点。
重构块在其被存储在图片缓冲器213中之前还可以通过环路滤波器209,图片缓冲器213用作参考图片存储。图片缓冲器213中的重构视频可被发送以驱动显示设备,以及用于预测未来的视频块。在环路滤波器 209 打开的情况下,对这些重构像素点执行滤波操作以导出最终的重构视频输出 222。
图3是图示VVC中多类型树结构中的块分区的示意图。与 HEVC 一样,VVC 建立在基于块的混合视频编解码框架之上。但是,与仅基于四叉树(即四元树)来分割块的HEVC不同,在VVC中,将一个编解码树单元(CTU)划分为编解码单元(CU)以适应基于四叉树、二叉树或三叉树的各种局部特性。另外,VVC中去除了HEVC中多个分区单元类型的概念,即VVC中不存在CU、预测单元(PU)和变换单元(TU)的区分;相反,每个 CU 始终用作预测和变换的基本单元,无需进一步分割。在多类型树结构中,一个CTU首先被四叉树结构分割。然后,每个四叉树叶节点可以通过二叉树或三叉树结构进一步分割为CU。如图3中所示,目前VVC中采用了五种划分类型:四元分割301、水平二元分割302、竖直二元分割303、水平三元分割304和竖直三元分割305。
常规合并模式。
与HEVC一样,VVC中支持合并模式,其中一个编解码块的运动信息不是用信号通知的,而是基于一个基于竞争的方案从一组空间域和/或时域合并候选项中导出的;并且相应地,仅需要从编码器向解码器发信号通知所选择的合并候选项的索引以重新建立运动信息。
为了构建合并候选项的列表,首先检查空间域运动向量候选项并将空间域运动向量候选项添加到列表中。图4图示了空间域合并候选项的位置。按照A1 → B1 → B0 → A0→ B2的顺序检查并添加五个空间域合并候选项。如果位于空间位置之一的块被帧内编解码或在当前切片、补片和/或图片的边界之外,则认为其不可用。
在将所有有效空间域候选项插入到合并候选项列表中之后,通过时域运动向量预测(TMVP)技术从同位参考图片中同位块的运动信息生成时域候选项。一个缩放的运动向量是基于在补片组或切片报头中用信号通知的同位参考图片中同位块的运动信息导出的。图5图示用于时域运动向量预测(TMVP)的运动向量缩放操作。通过使用图片顺序计数 (POC)距离 tb 和 td 从同位块 col_PU 的运动向量进行缩放,获得时域合并候选项的缩放运动向量,如图5中的虚线所示的,其中 tb 定义为当前图片的参考图片curr_ref与当前图片curr_pic之间的 POC 差,并且td 被定义为同位图片col_ref 的参考图片和同位图片col_pic之间的POC 差。
当空间域和时域运动向量二者都被插入到合并候选项列表中并且列表中现有合并候选项的总数小于合并列表的最大量(其在补片组报头中用信号通知)时,添加基于历史的合并候选项。所谓的基于历史的合并候选项包括来自先前编解码的CU的那些运动向量,它们被保持在单独的运动向量列表中,并且基于诸如先进先出(FIFO)规则之类的特定规则进行管理。
在插入基于历史的候选项之后,如果合并候选项列表未满,则进一步将按对平均运动向量候选项添加到列表中。顾名思义,这种类型的候选项是通过对当前列表中已有的候选项求平均值来构建的。更具体地说,基于特定的顺序或规则,每次取合并候选项列表中的两个候选项,并将这两个候选项的平均运动向量附加到当前列表。在插入按对平均运动向量后,如果合并候选项列表仍未满,则将添加零运动向量以使列表充满。
仿射模式。
在HEVC中,仅将平移运动模型应用于运动补偿预测。然而,在现实世界中,有很多种运动,例如放大/缩小、旋转、透视运动和其它不规则运动。在 VVC 中,通过为每个帧间编解码块信号通知一个标识以指示将平移运动模型还是仿射运动模型应用于帧间预测来使用仿射运动补偿预测。针对目前的VVC设计,一个仿射编解码块可以支持两种仿射模式,这两种仿射模式包括4参数仿射模型和6参数仿射模型。图6和7分别图示了4参数仿射模型和6参数仿射模型。
4参数仿射模型具有以下参数:分别针对水平和竖直方向的平移运动的两个参数、针对水平和竖直方向二者的变焦运动的一个参数和针对水平和竖直方向二者的旋转运动的一个参数,其中水平变焦参数等于竖直变焦参数,并且水平旋转参数等于竖直旋转参数。为了更好地适应运动向量和仿射参数,在 VVC 中,这些仿射参数被转换为位于当前块的左上角和右上角的两个 MV(也称为控制点运动向量 (CPMV))。如图6中所示,该块的仿射运动场向量由两个控制点MV(v0, v1) 描述。基于控制点运动,一个仿射编解码块的运动场向量(vx,vy)由以下等式描述:
                 (1)。
6参数仿射模式具有以下参数:分别针对水平和竖直方向的平移运动的两个参数、针对水平方向的变焦运动的一个参数和针对水平方向的旋转运动的一个参数、针对竖直方向的变焦运动的一个参数和针对竖直方向的旋转运动的一个参数。6 参数仿射运动模型用三个MV编解码,这三个MV也可以称为三个 CPMV。如图7中所示,一个 6 参数仿射块的三个控制点位于该块的左上角、右上角和左下角。左上控制点的运动与平移运动有关;右上控制点的运动与水平方向的旋转运动和变焦运动有关;并且左下控制点的运动与竖直方向的旋转运动和变焦运动有关。与4参数仿射运动模型相比,6参数仿射运动模型的水平方向的旋转运动和变焦运动可能与竖直方向的那些运动不同。假设(v0, v1, v2)是图7中当前块的左上角、右上角和左下角的MV,则每个子块 (vx, vy)的运动向量是通过以下等式使用控制点处的三个MV导出的:
     (2)。
在VVC中,仿射编解码块的CPMV被存储在单独的缓冲器中。存储的CPMV仅用于生成针对仿射合并模式(即从相邻仿射块的仿射CPMV继承仿射 CPMV)和仿射显式模式(即根据基于预测的方案发信号通知仿射 CPMV)的仿射CPMV预测值。从CPMV导出的子块MV用于运动补偿、平移MV的MV预测和解块。
图8图示了VVC中仿射CPMV存储方法。为了避免为额外存储CPMV而增加图片行缓冲器大小,来自上述CTU的编解码块的仿射运动数据继承与来自同一CTU中相邻CU的仿射运动数据继承被区别对待。具体地,对于当前CU,如果用于仿射运动数据继承的空间域邻居在上述CTU行中,则行缓冲器中的子块MV而不是CPMV用于当前CU的AMVP导出。这样,CPMV 仅存储在本地缓冲器(即一个 CTU 内的仿射块)中,而不是存储在行缓冲器中。如果候选CU是 6参数仿射编解码的,则仿射模型降级为 4 参数模型。如图8中所示,沿着顶部CTU边界,块的左下和右下子块运动向量用于底部CTU中CU的仿射继承。
三角预测模式。
在VVC中,三角预测模式被引入用于运动补偿预测。图9图示了VVC中的三角预测分区。如图9中所示,CU 902、904在对角线方向或反对角线方向(即,从左上角到右下角划分或从右上角到左下角划分)划分成两个三角预测单元PU1和PU2。CU中的每个三角预测单元使用其自己的单向预测运动向量和参考帧索引被帧间预测,这些单向预测运动向量和参考帧索引是从单向预测候选项列表中导出的。沿着两个三角预测单元之间的对角线边界,使用两个单向预测信号对每个 4x4 子块进行预测。在对三角预测单元进行预测后,对对角线边缘执行自适应加权过程。然后,将变换和量化过程应用于整个 CU。要注意的是,该模式仅适用于当前VVC中的跳过和合并模式。虽然在图9中,CU被示为正方形块,但三角预测模式也可以应用于非正方形(即矩形)形状CU。
单向预测MV候选项列表可以包括一个或多个候选项,并且每个候选项都可以是运动向量。图10图示了用于生成针对三角预测模式的单向预测MV列表的候选块的位置。在一些示例中,单向预测运动向量候选项列表可包括二至五个单向预测运动向量候选项。在一些其它示例中,其它数量也是可能的。单向预测运动向量候选项列表是从七个相邻块中导出的,所述七个相邻块包括五个空间域相邻块(1至5)和两个时域同位块(6至7),如图10中所示。七个相邻块的运动向量被收集到第一合并列表中。然后,根据特定顺序基于第一合并列表运动向量形成单向预测候选项列表。根据所述顺序,来自第一合并列表的单向预测运动向量首先放入单向预测运动向量候选项列表中,然后是双向预测运动向量的参考图片列表 0 或L0 运动向量,然后是双向预测运动向量的参考图片列表1或L1运动向量,然后是双向预测运动向量的L0和L1运动向量的平均运动向量。此时,如果候选项的数量仍然小于目标数量(在当前 VVC 中为 5),则将零运动向量添加到列表以满足目标数量。
每个三角分区的相应预测信号是基于其单向预测MV导出的。此外,为了减轻沿两个分区之间的对角线或反对角线边缘的分块伪影,对沿分区边缘的样本的两个单向预测信号应用加权过程以导出针对该 CU 的最终预测。图 11示出了加权过程的示例,其中值 {7/8,6/8,5/8,4/8,3/8,2/8,1/8}和{6/8,4/8,2/8}分别用于亮度样本1102和色度样本1104。
具有运动向量差 (MMVD) 的合并模式。
除了常规合并模式,其中隐式导出的运动信息直接用于当前CU的预测样本的生成,在VVC中引入了具有运动向量差的合并模式(MMVD)。MMVD标识在发送跳过标识和合并标识后被信号通知以指定是否对CU使用MMVD模式。
在MMVD中,在选择合并基础候选项之后,通过信号通知的运动向量差(MVD)信息对其进一步细化。进一步的信息包括合并候选项标识、指定运动量值的距离索引和用于指示运动方向的方向索引。在 MMVD 模式中,选择合并列表中的前两个候选项之一作为MV基础(或起点)。合并候选项标识被用信号通知以指定使用哪一个。
距离索引指定运动量值信息并指示与起点的预定义偏移量。如表1中所示,偏移量被添加到起始MV的水平分量或竖直分量。
表1 距离索引与预定义偏移量之间的关系
距离索引 0 1 2 3 4 5 6 7
偏移量 (以亮度样本为单位) 1/4 1/2 1 2 4 8 16 32
方向索引表示MVD相对于起点的方向。方向索引可以表示如表2中所示的四个方向。MVD符号(例如+或-)的含义可以根据起始MV的信息而不同。当起始MV是单向预测MV或两个MV都指向当前图片的同一侧(即两个参考图片的POC都大于当前图片的POC,或者都小于当前图片的POC)的双向预测MV时,表2中的符号指定了添加到起始MV的MV偏移量的符号。当起始MV是双向预测 MV且两个MV指向当前图片的不同侧(即一个参考图片的 POC 大于当前图片的 POC,而另一个参考图片的 POC 小于当前图片的POC)时,表2中的符号指定了添加到起始MV的列表0 MV分量的MV偏移量的符号,并且列表1 MV的符号具有相反的值。
表2 方向索引指定的MV偏移量的符号
方向索引 00 01 10 11
X轴 + N/A N/A
Y轴 N/A N/A +
解码器侧运动向量导出 (DMVR)。
解码器侧运动向量导出(DMVR)是一种双向预测技术,用于具有两个初始用信号通知的MV的合并块,所述两个初始用信号通知的MV可以通过使用双向匹配预测被进一步细化。双向匹配用于通过在两个不同参考图片中沿着当前CU的运动轨迹找到两个块之间的最佳匹配来导出当前CU的运动信息。匹配过程中使用的成本函数是绝对值差的行子采样求和(SAD)。匹配过程完成后,细化的MV用于预测阶段中的运动补偿、解块滤波器中的边界强度计算以及后续图片的时域运动向量预测。在连续运动轨迹的假设下,指向两个参考块的运动向量MV0和MV1应与当前图片和两个参考图片之间的时域距离,即TD0和TD1成正比。作为特殊情况,当当前图片在时域上位于两个参考图片之间并且从当前图片到两个参考图片的时域距离TD0和TD1相同时,双向匹配变为基于镜像的双向MV。
需要在VVC中的运动补偿预测的多个阶段执行MV舍入操作:
1) 对于 TMVP 和高级时域运动向量预测 (ATMVP) 的MV预测值的导出的阶段,其中同位时域块的MV基于当前图片的参考图片与当前图片之间的 POC 距离(即图5中的tb)和同位图片的参考图片与同位图片之间的POC距离(即图5中的td)的比率进行缩放;
2)对于通过求两个空间域/时域MV候选项的MV的平均值来生成逐对合并候选项的阶段;
3)对于仿射编解码块,其中根据针对4参数仿射模型的等式(1)和针对6参数仿射模型的等式(2)来从对应的CPMV导出相应子块的运动场向量(field);以及
4) 对于三角预测模式,其中通过求双向预测合并候选项的 L0 和 L1 MV的平均值,将额外的单向预测MV候选项添加到最终MV候选项列表中。
另一方面,针对目前的VVC规范,可以对上述帧间预测方法应用不同的MV舍入方法。具体来说,假设 A是舍入前的MV值,并且Shift 是应用于MV舍入的按位右移量,则对于不同的帧间预测方法,舍入后的 MV(即 L)的值通过以下方式计算,
对于仿射模式,按对合并候选项生成和三角预测模式:
     (3) ;
或者,对于TMVP和ATMVP:
    (4);
其中 Offset 是设置为等于的舍入偏移量;并且L是舍入后MV的值。
针对目前VVC,对于按对合并候选项、三角预测模式和仿射模式,可以应用基于绝对值的MV舍入方法,如等式(3)中所指示的。但这种MV舍入方法相对复杂,因为它涉及多个计算步骤。具体地,编码设备可以首先计算输入的绝对值,然后执行绝对值的舍入,并且最后将舍入后的绝对值与输入的符号相乘。另一方面,对于 TMVP 和 ATMVP,可以应用另一种舍入方法,其中在按位右移之前应用的偏移量值取决于输入值的符号(sign)。不过这种不统一的设计意味着需要针对编解码硬件实施方式实现不同的MV舍入方法。
为了降低硬件实现复杂度,也可以提出以下方法来统一用于VVC中的帧间预测的MV舍入操作。
在一个示例中,基于等式(3)的基于绝对值的MV舍入方法用于各种MV舍入操作。即,基于等式(3)的相同MV舍入过程应用于不同预测工具中使用的MV,该不同预测工具至少包括按对合并候选项、三角预测模式、仿射模式、TMVP、ATMVP和MMVD。
在另一示例中,基于等式(4)的舍入方法用于帧间预测中使用的各种MV舍入操作。针对目前VVC,用于TMVP和ATMP的舍入方法也应用于按对合并候选项、三角预测模式和仿射模式中的舍入操作。即,基于等式(4)的相同MV舍入过程应用于不同预测工具中使用的MV,该不同预测工具至少包括按对合并候选项、三角预测模式、仿射模式、TMVP、ATMVP和MMVD。
在又一示例中,常规舍入方法用于对帧间预测中的各种MV进行舍入。在这个示例中,舍入后的MV值是通过对输入值偏置所述偏移量然后进行逐位移位而直接获得的,即 L通过如下方式计算
     (5)。
针对目前VCC规范,上面的舍入方法(即基于等式(5)的常规MV舍入)也可以是样本舍入操作(诸如运动补偿样本插值、自适应环路滤波器( ALF)、双向光流(BDOF)、广义双向预测(GBi)等)的舍入方法。因此,在将常规舍入方法应用于按对合并候选项、三角预测模式、仿射模式、TMVP、ATMVP 和 MMVD的这个示例中,VVC 中的所有样本和MV舍入操作完全统一。
图13示出了基于绝对值的MV舍入的映射函数;图14示出了基于TMVP/ATMVP的MV舍入的映射函数;并且图15示出了常规MV舍入的映射函数。基于这些映射函数的比较,通过三种方法计算的舍入后的值之间的差异很小。具体来说,差异仅在输入值等于-0.5、-1.5、-2.5……时才存在。因此,可以预期的是,使用不同MV舍入方法对编解码性能的影响相对可以忽略不计。
在当前VVC中,MV以18位表示,即有效MV的动态范围在[-131072, 131071]中。对于MMVD 模式,应用的MV是通过将一个用信号通知的偏移量添加到一个选定的合并候选项来生成的,所述选定的合并候选项由比特流中用信号通知的 MMVD 基本索引指定。类似地,对于 DMVR 模式,通过对 L0 和 L1 MV对称应用一个运动细化以最小化两个预测信号之间的双向匹配成本来增强每个双向预测合并块的MV。然而,即使所选定的合并候选MV的位深度在18位以内,由于MV偏移量(针对MMVD模式显式用信号通知,并且针对 DMVR 模式被隐式导出),针对通过MMVD或DMVR模式编解码的每个块应用的最终 MV可能潜在地超出有效MV的动态范围,导致 MV值的算术溢出并在针对不同的实现平台导出最终MV值时导致模糊。此外,在仿射继承模式中也存在类似的MV溢出问题,在仿射继承模式中一个当前仿射编解码块的CPMV从其相邻仿射编解码块的CPMV或其相邻编解码块的子块 MV中基于4参数仿射模型或6参数仿射模型被导出。在任一情况下,由于应用了线性操作(例如,加法、减法、乘法),导出的CPMV可能超出有效位深度(即18位)可以表示的值的范围。
为了避免MV值溢出,可以使用几种方法。在示例中,添加截取操作,该截取操作对MMVD模式和DMVR模式的导出的MV以及仿射继承模式的导出的CPMV执行,以把它们截取到有效位深度(即18 位)之内。
在另一示例中,使用一个比特流一致性来确保MMVD模式和DMVR模式的所有导出的MV以及仿射继承模式的导出的CPMV都在18位动态范围内。也就是说,在相应导出的MV或CPMV超出 [-217, 217-1] 范围的情况下,编码器不会向解码器发信号通知以启用当前块的MMVD 模式、DMVR 模式或仿射继承模式。
针对当前VVC,两种不同的MV截取方法可应用于各种帧间预测模式。具体来说,对于AMVP、ATMVP、三角预测模式和仿射模式中涉及的MV截取操作,当MV值超出有效位深度(即18位)所表示的范围时应用常规截取方法以把MV值截取到范围边界值,即大于217-1的MV值被截取为217-1,并且小于-217的MV值被截取为-217。常规截取方法由以下等式描述:
              (6)
其中L是舍入前的MV值;并且Lclip是截取后的MV的值。
另一方面,对于显式正常帧间模式和显式仿射模式中涉及的MV截取操作,应用周期性截取方法,周期性截取方法周期性地重复以保持MV值在范围[-217, 217-1]内,如以下等式所指示的:
          (7)
其中 L 是舍入前的MV值;M为MV截取操作期间的中间值;并且Lclip是截取后MV的值。
此外,为了在实现统一设计的同时降低复杂度,可以统一对VVC中不同帧间模式应用的MV截取方法。在一个示例中,如等式(6)中所指示的常规截取方法被用于所有MV截取操作。也就是说,基于等式 (6) 的相同截取过程应用于包括如下各项的预测工具中使用的MV: AMVP 模式、ATMVP 模式、三角模式、MMVD 模式、DMVR 模式、仿射继承模式、显式正常帧间模式和显式仿射模式。该截取过程还可以应用于MMVD模式、DMVR模式和仿射继承模式中的导出的CPMV。
在另一示例中,如等式(7)中所示的周期性截取方法被用于所有MV截取操作。也就是说,基于等式(7)的相同截取过程应用于包括如下各项的预测工具中使用的MV:AMVP模式、ATMVP模式、三角模式、MMVD模式、DMVR模式、仿射继承模式、显式正常帧间模式和显式仿射模式。该截取过程还可以应用于MMVD模式、DMVR模式和仿射继承模式中的导出的CPMV。
运动向量存储。
对于VVC中的空间域MV预测,仿射CPMV(处于8x8粒度)和子块MV(处于4x4 粒度)的一个混合运动场向量用于仿射运动继承和合并/跳过以及高级运动向量预测(AMVP)。此外,除了基于历史的运动向量预测之外,在VVC标准中,一个编解码块的CPMV和/或MV只能根据其临时相邻块的CPMV和/或MV进行预测。这意味着可以在当前块的CPMV和/或MV被完全重构之后设置编解码块的非相邻块的CPMV和/或MV。因此,在实际的硬件实施方式中,不需要针对整个CTU存储CPMV和MV。相反,解码器只需要存储顶行和左列的CPMV和MV作为情境。图15示出了CPMV和MV情境更新过程以图示这样的概念。在图15中,在浅色点区域1502中(假设最小仿射块尺寸为8x8)示出CPMV情境,并且在深色点区域1504中(假设最小帧间预测块尺寸为4x4)示出常规MV情境。如图15中所示,在当前编解码块的CPMV或MV被解码之后,相应的左和上情境被更新,将两个区域1502和1504进一步向下和向右移位,直到跨越一个CTU内的所有编码块。
在示例中,假设CTU尺寸为128x128并且为每个 4样本分段存储 MV,则有32个分段用于顶行,32个分段用于左列,以及32个分段用于存储左上情境。此外,VVC中的MV范围例如是18位。因此,本地MV存储可能需要(32 + 32 + 32) x (18 x 2(hor/ver) x 2(L0/L1)) =6912位 = 864字节。类似地,假设为每个8样本分段存储CPMV,则有16个分段用于顶行,16个分段用于左列,以及需要被存储为CPMV情境的16个分段。因此,本地CPMV存储可能需要 (16+ 16 + 16) x (18 x 3 (CPMV) x 2(hor/ver) x 2(L0/L1)) = 10368 位=1296字节。此外,考虑到MV预测和CPMV预测可能跨CTU 边界发生,需要针对图片宽度的每个4样本分段一个额外的行缓冲器存储,即 picWidth/4 x (18 x 2 x 2)。因此,当使用 4K 视频时,VVC中用于空间域CPMV和MV预测的CPMV和MV存储使用总结在下表 3 中。
表3 VVC中存储空间域CPMV和MV所需的存储器大小
存储 本地MV存储 本地CPMV   存储 MV 行缓冲器 总和
大小 864字节 1296字节 8640 字节 10800 字节
针对目前VVC设计,基于 8x8 亮度样本的子采样网格来压缩时域 MV,以减少存储用于时域运动预测的时域MV(诸如TMVP和高级时域运动向量预测(ATMVP))的存储器存储需求。与以18位保存的空间域MV不同,为了进一步降低MV存储需求,时域 MV在存储到外部缓冲器中之前被转换为尾数-指数格式。将18位时域 MV表示为尾数-指数格式的目的是更粗略地量化大MV值,同时保持小MV值的精度。如图16中所示,针对目前VVC规范,用于存储时域MV的尾数-指数表示被配置为7位有符号尾数(1位用于符号)和4位无符号指数。
因此,针对当前VVC,可以应用不同的表示方法来存储空间域MV和时域MV。具体而言,空间域MV和CPMV被存储为18位有符号值,而使用7位有符号尾数和4位无符号指数(即总共11位)来存储时域MV。也就是说,与空间域MV和CPMV相比,时域MV的存储效率更高。然而,在实践中,存储空间域MV和CPMV的实现成本比时域MV的实现成本更昂贵,因为空间域MV和CPMV需要使用片上存储器存储,而时域MV使用外部存储器来存储。
针对目前VVC,仿射CPMV和子块MV的一个混合运动场向量可以用于仿射运动继承和合并/跳过以及高级运动向量预测(AMVP)。此外,由于MV和CPMV均以18位精度存储,因此需要大量片上存储器(大约10800字节,如表3中所示)来存储用于空间域MV和CPMV预测的相邻块的MV和CPMV。为了减少这种存储器需求,提出了以下方法来在存储之前将空间域MV和CPMV完全或部分转换为尾数-指数表示格式。
在示例中,所有空间域运动信息在存储到片上存储器中之前被转换成尾数-指数格式。转换后的运动信息不仅可以包括空间域相邻块的MV和CPMV,还可以包括用于基于历史的合并候选项的MV(即,基于历史的运动向量预测(HMVP)MV)。此外,可以应用尾数和指数参数的不同组合,这可以在存储使用和MV精度之间提供各种权衡。在一个示例性实施方式中,尾数设置为 8 位,而指数设置为 4 位,并且表4总结了应用这种尾数-指数设置时的粗略片上存储器使用情况。与表3相比,针对空间域MV和CPMV以及针对HMVP MV使用尾数-指数表示可以高效地将片上MV/CPMV存储的总存储器大小减少大约33%。在另一个示例中,尾数-指数表示应用于空间域MV和CPMV,但不应用于基于历史的MV候选项,即查找表 (LUT) 中的基于历史的MV候选项仍然以原始18位存储。
表4 在应用基于尾数(8)-指数(4)的MV表示的情况下存储空间域CPMV和MV所需的存储器大小
存储 本地MV存储 本地MV存储 MV 行缓冲器 总和
大小 576字节 864 字节 5760 字节 7200 字节
由于MV量化引起的精度损失,所有空间域MV和CPMV以及基于历史的MV候选项向尾数-指数格式的转换可能导致一些明显的编解码性能下降。同时,MV和CPMV值在原始MV域和尾数-指数MV域之间的频繁转换可能在编码器和解码器侧都引入额外的编解码复杂度。此外,从表 3 中可以看出,与本地MV和CPMV相比,存储在行缓冲器中的MV消耗多很多的片上存储器用于存储,即总存储器大小的80%。为了在MV和CPMV预测效率和片上存储器减少之间实现更好的权衡,在另一个示例中,尾数-指数表示仅应用于存储在行缓冲器中的 MV(即来自顶部 CTU的相邻 MV),而存储在本地缓冲器中的所有MV和 CPMV(即同一 CTU 内的相邻MV和 CPMV)仍以原始18位存储。由于MV量化仅应用于行缓冲器中的 MV,因此在此示例中,与所有空间域MV和CPMV以及基于历史的MV候选项都被转换的先前示例相比,可以有效降低相应的编解码性能影响。同时,由于不需要转换本地缓冲器中的MV或 CPMV,且仅将来自顶部 CTU 行的相邻MV和CPMV转换到尾数-指数域(用于MV存储)或从尾数-指数域转换回(用于MV取回),降低了转换MV和CPMV的复杂度开销。
表5示出了当行缓冲器MV以11位尾数(7)-指数(4)表示格式存储时对应的片上存储器使用情况。通过这种方式,片上 MV/CPMV 存储的总存储器大小减少了约 32%,与表3中所示示例中实现的减少 33% 相当。
表 5 使用尾数(7)-指数(4)格式存储行缓冲器CPMV和MV所需的存储器大小
存储 本地MV存储 本地CPMV存储 MV 行缓冲器 总和
大小 864 字节 1296字节 5280 字节 7440字节
在又一示例中,所有空间域MV和CPMV都基于尾数-指数表示被压缩。为了在 MV/CPMV 预测效率和存储需求之间实现更好的权衡,使用不同的尾数-指数参数来压缩不同的空间域MV。例如,可以使用不同的参数来压缩存储在本地缓冲器中的MV和CPMV以及存储在行缓冲器中的MV。由于用于在行缓冲器中存储MV的存储器大小比用于在本地缓冲器中存储MV和CPMV的存储器大小重要得多,因此行缓冲器中的MV可能比存储在本地缓冲器中的MV和/或 CPMV被更进一步地被压缩。在一个示例性实施方式中,可以使用用于压缩本地存储中的MV和CPMV的 12 位尾数 (8)-指数 (4) 表示格式和用于压缩行缓冲器中的MV的11位尾数 (7)-指数 (4) 表示格式。此外,本地缓冲器中压缩的MV可以包括或排除用于HMVP的MV。也即是说,LUT中基于历史的MV候选项可以以压缩格式或原始18位存储。
在以上示例中,空间域MV和CPMV的存储需求减少,从而降低编解码器实现成本。使用尾数-指数表示来表示存储中的空间域MV和CPMV以及时域 MV进一步降低了硬件实现复杂度。
图17是图示根据本公开的一些实施方式的用于视频编解码的装置的框图。装置1700可以是诸如移动电话、平板电脑、数字广播终端、平板设备或个人数字助理之类的终端。
如图17中所示,装置1700可以包括以下部件中的一个或多个:处理部件1702、存储器1704、供电部件1706、多媒体部件1708、音频部件1710、输入/输出(I/O)接口1712、传感器部件1714和通信部件1716。
处理部件1702通常控制装置1700的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关的操作。处理部件1702可以包括一个或多个处理器1720,用于执行指令以完成上述方法的全部或部分步骤。此外,处理部件1702可以包括一个或多个模块以促进处理部件1702和其它部件之间的交互。例如,处理部件1702可以包括多媒体模块用于促进多媒体部件1708和处理部件1702之间的交互。
存储器1704被配置为存储不同类型的数据以支持装置1700的操作。此类数据的示例包括用于在装置1700上运行的任何应用或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1704可以由任何类型的易失性或非易失性存储设备或其组合来实现,并且存储器1704可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器 (EPROM)、可编程只读存储器 (PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。
供电部件1706为装置1700的不同部件供应电力。供电部件1706可以包括供电管理系统、一个或多个电源、以及与为装置1700生成、管理和分配电力相关联的其它部件。
多媒体部件1708包括屏幕,屏幕提供装置1700和用户之间的输出接口。在一些示例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,则屏幕可以被实现为从用户接收输入信号的触摸屏。触摸面板可以包括用于感测触摸面板上的触摸、滑动和手势的一个或多个触摸传感器。触摸传感器不仅可以感测触摸或滑动动作的边界,还可以检测与触摸或滑动操作相关的持续时间和压力。在一些示例中,多媒体部件1708可以包括前置相机和/或后置相机。当装置1700处于运行模式(诸如拍摄模式或视频模式)时,前置相机和/或后置相机可以接收外部多媒体数据。
音频部件1710被配置为输出和/或输入音频信号。例如,音频部件1710包括麦克风(MIC)。当装置1700处于运行模式(诸如呼叫模式、记录模式和语音识别模式)时,麦克风被配置为接收外部音频信号。接收到的音频信号可以进一步存储在存储器1704中或经由通信部件1716发送。在一些示例中,音频部件1710还包括用于输出音频信号的扬声器。
I/O接口1712提供处理部件1702和外围接口模块之间的接口。上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可以包括但不限于主页按钮、音量按钮、开启按钮和锁定按钮。
传感器部件1714包括一个或多个传感器,用于在不同方面为装置1700提供状态评估。例如,传感器部件1714可以检测装置1700的开/关状态和部件的相对位置。例如,部件是装置1700的显示器和键盘。传感器部件1714还可以检测装置1700或装置1700的部件的位置变化、用户在装置1700上的接触的存在或不存在、装置1700的取向或加速/减速、以及装置1700的温度变化。传感器部件1714可以包括接近传感器,接近传感器被配置为在没有任何物理接触的情况下检测附近物体的存在。传感器部件1714还可以包括光学传感器,诸如在成像应用中使用的CMOS或CCD图像传感器。在一些示例中,传感器部件1714还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信部件1716被配置为促进装置1700和其它设备之间的有线或无线通信。装置1700可以基于诸如WiFi、4G或其组合之类的通信标准访问无线网络。在示例中,通信部件1716经由广播信道从外部广播管理系统接收广播信号或广播相关信息。在示例中,通信部件1716还可包括用于促进短距离通信的近场通信(NFC)模块。例如,NFC模块可以基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其它技术来实现。
在示例中,装置1700可以由专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列 (FPGA)、控制器、微控制器、微处理器或其它电子元件中的一个或多个来实现以执行上述方法。
非暂时性计算机可读存储介质可以是例如硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、混合驱动器或固态混合驱动器(SSHD)、只读存储器(ROM)、光盘只读存储器(CD-ROM)、磁带、软盘等。
图18是图示用于视频编解码的运动向量舍入的示例性过程的流程图。
在步骤1802中,处理器1720设置运动向量(MV)舍入过程,MV舍入过程被配置为执行MV舍入操作。
MV舍入过程可以例如由装置、电路系统或计算机程序代码块提供。
在步骤1804中,处理器1720将MV舍入过程应用于第一预测工具中使用的至少第一MV,第一预测工具从包括以下各项的第一组工具中选择:按对合并候选项、三角预测模式和仿射模式。
在步骤1806中,处理器1720将 MV 舍入过程应用于第二预测工具中使用的至少第二 MV,第二预测工具从包括以下各项的第二组工具中选择:时域运动向量预测 (TMVP)、高级时域运动向量预测 (ATMVP) 以及具有运动向量差的合并模式 (MMVD)。
图19是图示用于视频编解码的运动向量截取的示例性过程的流程图。
在步骤1902中,处理器1720设置运动向量(MV)截取过程,MV截取过程被配置为执行截取操作。
在步骤1904中,处理器1720将 MV 截取过程应用于第一预测工具中使用的至少第一 MV,第一预测工具从包括以下各项的第一组工具中选择:高级运动向量预测 (AMVP) 模式、高级时域运动向量预测 (ATMVP) 模式、三角模式、具有运动向量差的合并模式(MMVD)的模式、解码器侧运动向量导出(DMVR)模式和仿射继承模式。
在步骤1906中,处理器1720将 MV 截取过程应用于第二预测工具中使用的至少第二 MV,第二预测工具从包括以下各项的第二组工具中选择:显式正常帧间模式和显式仿射模式。
在一些示例中,提供了一种用于视频编解码的装置。该装置包括处理器1720;和存储器1704,被配置为存储处理器可执行的指令;其中处理器在执行所述指令时被配置为执行图18或图19中所示的方法。
在一些其它示例中,提供了非暂时性计算机可读存储介质1704,具有存储于其中的指令。当所述指令由处理器1720执行时,所述指令使处理器执行图18或图19中所示的方法。
本公开的描述是为了说明的目的而呈现的,并不旨在穷举或限制到本公开。受益于前述描述和相关附图中呈现的教导,许多修改、变化和替代实施方式对于本领域普通技术人员来说将是显而易见的。
选择和描述这些示例是为了解释本公开的原理,并使本领域其它技术人员能够理解本公开的各种实施方式,并最好地利用基本原理和具有适应于预期的特定用途的各种修改的各种实施方式。因此,应当理解,本公开的范围不限于所公开的实施方式的具体示例,并且修改和其它实施方式旨在包括在本公开的范围内。

Claims (11)

1.一种用于视频编码的方法,包括:
确定帧间预测过程;
响应于确定所述帧间预测过程是用于以下各项的导出过程之一,根据第一MV舍入模式在所述帧间预测过程中对至少一个MV执行运动向量 (MV) 舍入操作:
时域运动向量预测 (TMVP)、高级时域运动向量预测 (ATMVP) 或具有运动向量差的合并模式 (MMVD) ,
其中所述第一MV舍入模式包括在逐位右移之前针对输入值的第一偏移量值,所述第一偏移量值取决于所述输入值的符号,其中所述第一MV舍入模式基于以下等式:
其中:
A是所述输入值,表示舍入前的MV值;
Shift 是应用于MV舍入的按位右移量;
the_first_offset是所述第一偏移量值,其基于基础偏移量和A的符号而调整;
所述基础偏移量被设置为等于;并且
L是舍入后MV的值。
2.如权利要求1所述的方法,其中the_first_offset由以下等式确定:
所述基础偏移量+(A < 0 1: 0)。
3.如权利要求1所述的方法,其中所述MV舍入过程被应用于所有MV的舍入操作,所述MV包括第一MV、第二MV和其他MV。
4.如权利要求2所述的方法,还包括: 应用所述MV舍入过程以执行也基于所述等式的样本舍入操作,其中在以下过程中的至少一个中执行所述样本舍入操作:
运动补偿样本插值,
自适应环路滤波器(ALF),
双向光流(BDOF),和
广义双向预测 (GBi)。
5.如权利要求4所述的方法,其中所述MV舍入过程被应用于所有样本和所有MV的舍入操作。
6.一种用于视频编码的装置,包括:
处理器;和
存储器,被配置为存储处理器可执行的指令;
其中,所述处理器在执行所述指令时被配置为:
确定帧间预测过程;
响应于确定所述帧间预测过程是用于以下各项的导出过程之一,根据第一MV舍入模式在所述帧间预测过程中对至少一个MV执行运动向量 (MV) 舍入操作:
时域运动向量预测 (TMVP)、高级时域运动向量预测 (ATMVP) 或具有运动向量差的合并模式 (MMVD) ,
其中所述第一MV舍入模式包括在逐位右移之前针对输入值的第一偏移量值,所述第一偏移量值取决于所述输入值的符号,其中所述MV舍入操作基于以下等式之一:
其中:
A是所述输入值,表示舍入前的MV值;
Shift 是应用于MV舍入的按位右移量;
the_first_offset是所述第一偏移量值,其基于基础偏移量和A的符号而调整;
所述基础偏移量被设置为等于;并且
L是舍入后MV的值。
7.如权利要求6所述的装置,其中the_first_offset由以下等式确定:
基础偏移量+(A < 0 1: 0)。
8.如权利要求6所述的装置,其中所述MV舍入过程被应用于所有MV的舍入操作,包括第一MV、第二MV和另外的MV。
9.如权利要求7所述的装置,其中所述处理器还被配置为:应用所述MV舍入过程以执行也基于所述等式的样本舍入操作,其中在以下过程中的至少一个中执行所述样本舍入操作:
运动补偿样本插值,
自适应环路滤波器(ALF),
双向光流(BDOF),和
广义双向预测 (GBi)。
10.如权利要求9所述的装置,其中所述MV舍入过程被应用于所有样本和所有MV的舍入操作。
11.一种非暂时性计算机可读存储介质,其中存储有指令,当所述指令由处理器执行时,所述指令使所述处理器执行如权利要求1-5中任一项所述的方法。
CN202111092519.3A 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置 Active CN113784132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111092519.3A CN113784132B (zh) 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962808276P 2019-02-20 2019-02-20
US62/808276 2019-02-20
US201962816025P 2019-03-08 2019-03-08
US62/816025 2019-03-08
PCT/US2020/018920 WO2020172342A1 (en) 2019-02-20 2020-02-19 Methods and apparatus of motion vector rounding, clipping and storage for inter prediction
CN202111092519.3A CN113784132B (zh) 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置
CN202080014012.3A CN113491114A (zh) 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080014012.3A Division CN113491114A (zh) 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置

Publications (2)

Publication Number Publication Date
CN113784132A CN113784132A (zh) 2021-12-10
CN113784132B true CN113784132B (zh) 2023-04-25

Family

ID=72144447

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080014012.3A Pending CN113491114A (zh) 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置
CN202111092519.3A Active CN113784132B (zh) 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置
CN202080029237.6A Pending CN113728645A (zh) 2019-02-20 2020-02-19 用于基于尾数-指数表示的帧间预测的运动矢量舍入、裁剪和存储的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080014012.3A Pending CN113491114A (zh) 2019-02-20 2020-02-19 用于帧间预测的运动向量舍入、截取和存储的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080029237.6A Pending CN113728645A (zh) 2019-02-20 2020-02-19 用于基于尾数-指数表示的帧间预测的运动矢量舍入、裁剪和存储的方法和装置

Country Status (4)

Country Link
US (3) US20210377557A1 (zh)
EP (2) EP3928513A4 (zh)
CN (3) CN113491114A (zh)
WO (2) WO2020172345A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7273845B2 (ja) * 2018-04-02 2023-05-15 エルジー エレクトロニクス インコーポレイティド 動きベクトルに基づく映像コーディング方法およびその装置
CN113661708B (zh) 2019-04-02 2023-12-15 北京字节跳动网络技术有限公司 基于双向光流的视频编解码和解码
WO2020211865A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
GB2611323A (en) * 2021-09-29 2023-04-05 Canon Kk Video coding and decoding
WO2023134564A1 (en) * 2022-01-14 2023-07-20 Mediatek Inc. Method and apparatus deriving merge candidate from affine coded blocks for video coding
US20230336770A1 (en) * 2022-04-18 2023-10-19 Tencent America LLC Affine mmvd refinement methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070038416A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 스케일러블 비디오 신호의 복호화/부호화 방법 및 장치,데이터 포맷
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US10271052B2 (en) * 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
EP4354856A2 (en) * 2014-06-19 2024-04-17 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
US20180027256A1 (en) * 2015-01-19 2018-01-25 Nec Corporation Video encoding device, video encoding method, and video encoding program
CN104811721B (zh) * 2015-05-26 2017-09-22 珠海全志科技股份有限公司 视频解码数据存储方法及运动向量数据的计算方法
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US11516496B2 (en) * 2018-03-21 2022-11-29 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
US10779002B2 (en) * 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
US10873748B2 (en) * 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
WO2020108652A1 (en) * 2018-11-29 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and sub-block based motion vector prediction mode
BR112021012479A2 (pt) * 2018-12-28 2021-09-08 Jvckenwood Corporation Dispositivo de codificação de imagem em movimento, método de codificação de imagem em movimento, programa de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de decodificação de imagem em movimento e programa de decodificação de imagem em movimento
CN113302917B (zh) * 2019-01-27 2023-12-01 北京字节跳动网络技术有限公司 局部照明补偿的改进方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross等.Versatile Video Coding (Draft 4)(JVET-M1001-V3).《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18 Jan. 2019》.Benjamin Bross等,2019, *
CE2-related: 4x4 chroma affine motion compensation and motion vector rounding unification(JVET-M0462-V1);Luong Pham Van等;《Joint Video Experts Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1113th Meeting: Marrakech, MOR, 14–18 Jan. 2019》;20190103;正文第2.2章节 *
Versatile Video Coding (Draft 4)(JVET-M1001-V3);Benjamin Bross等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18 Jan. 2019》;Benjamin Bross等;20190219;正文第7、8章节 *

Also Published As

Publication number Publication date
WO2020172342A9 (en) 2021-03-25
US20210409722A1 (en) 2021-12-30
CN113728645A (zh) 2021-11-30
US11800140B2 (en) 2023-10-24
EP3925222A4 (en) 2022-08-10
US20210377558A1 (en) 2021-12-02
WO2020172345A1 (en) 2020-08-27
US20210377557A1 (en) 2021-12-02
CN113491114A (zh) 2021-10-08
EP3928513A1 (en) 2021-12-29
EP3925222A1 (en) 2021-12-22
EP3928513A4 (en) 2022-09-21
WO2020172342A1 (en) 2020-08-27
CN113784132A (zh) 2021-12-10
US11871024B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
CN113784132B (zh) 用于帧间预测的运动向量舍入、截取和存储的方法和装置
CN117221532B (zh) 用于视频解码的方法、装置和存储介质
CN115643400B (zh) 用于视频解码的方法、装置和存储介质
JP2024016288A (ja) ビデオコーディングにおけるデコーダ側動きベクトル補正のための方法および装置
CN114128263A (zh) 用于视频编解码中的自适应运动矢量分辨率的方法和设备
CN116491120A (zh) 用于仿射运动补偿预测细化的方法和装置
CN114009019A (zh) 用于在视频编解码中用信令传递合并模式的方法和装置
CN114009017A (zh) 使用组合帧间和帧内预测进行运动补偿
US20240089489A1 (en) Methods and apparatus of motion vector rounding, clipping and storage for inter prediction
CN114342390B (zh) 用于仿射运动补偿的预测细化的方法和装置
CN113994672B (zh) 用于利用三角形预测进行视频编解码的方法和装置
CN114080808A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114402618A (zh) 用于视频编解码中的解码器端运动矢量细化的方法和装置
WO2021021698A1 (en) Methods and apparatuses for decoder-side motion vector refinement in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant