CN110460859A - 历史运动矢量列表的使用方法、编解码器及存储装置 - Google Patents

历史运动矢量列表的使用方法、编解码器及存储装置 Download PDF

Info

Publication number
CN110460859A
CN110460859A CN201910775404.0A CN201910775404A CN110460859A CN 110460859 A CN110460859 A CN 110460859A CN 201910775404 A CN201910775404 A CN 201910775404A CN 110460859 A CN110460859 A CN 110460859A
Authority
CN
China
Prior art keywords
movement vector
historical movement
list
block
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910775404.0A
Other languages
English (en)
Other versions
CN110460859B (zh
Inventor
方诚
江东
林聚财
殷俊
曾飞洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910775404.0A priority Critical patent/CN110460859B/zh
Publication of CN110460859A publication Critical patent/CN110460859A/zh
Priority to PCT/CN2020/098125 priority patent/WO2020259589A1/en
Priority to EP20830559.9A priority patent/EP3973708A4/en
Priority to US17/645,968 priority patent/US20220124321A1/en
Application granted granted Critical
Publication of CN110460859B publication Critical patent/CN110460859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种历史运动矢量列表的使用方法、编解码器及存储装置,该方法包括获取当前块的历史运动矢量列表;按照第一顺序从历史运动矢量列表中选择第一数量的历史运动矢量;对第一数量的历史运动矢量进行第一操作之后按照第二顺序填充进当前块的运动矢量候选列表,第一操作包括缩放和/或修剪。通过上述方式,本申请能够提高预测的准确度。

Description

历史运动矢量列表的使用方法、编解码器及存储装置
技术领域
本申请涉及编解码技术领域,特别是涉及历史运动矢量列表的使用方法、编解码器及存储装置。
背景技术
因为视频图像数据量比较大,通常需要对视频像素数据进行压缩,从而降低视频的数据量。压缩后的数据称之为视频码流,视频码流通过有线或者无线网络传输至用户端,再进行解码观看,能够实现降低传输过程中的网络带宽和减少存储空间的目的。
整个视频编码流程包括预测、变换、量化、编码等过程,其中预测分为帧内预测和帧间预测两部分。帧内预测用的是一个图像帧内的空域相关性对图像进行压缩,帧间预测用的是图像帧间的时域相关性来对图像进行压缩。目前对视频图像数据进行预测的过程,通常包括获取当前编码块的运动矢量(MotionVector,MV)信息的过程,为了便于描述,下文中将MV信息简称为MV。通常是先构建待编码块的运动矢量信息候选列表,再基于运动矢量信息候选列表实现待编码块的预测。其中,构建运动矢量信息候选列表时,有时会用到历史运动矢量(基于历史的运动矢量预测,History Motion Vector Prediction,HMVP),但是目前对HMVP的使用还存在一定的局限性,也在一定程度上影响了预测的准确度。
发明内容
本申请主要解决的技术问题是提供一种历史运动矢量列表的使用方法、编解码器及存储装置,能够提高预测的准确度。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种历史运动矢量列表的使用方法,该方法包括获取当前块的历史运动矢量列表;按照第一顺序从历史运动矢量列表中选择第一数量的历史运动矢量;对第一数量的历史运动矢量进行第一操作之后按照第二顺序填充进当前块的运动矢量候选列表,第一操作包括缩放和/或修剪。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种历史运动矢量列表的使用方法,该方法包括复制帧内块拷贝模式下的历史运动矢量列表得到临时历史运动矢量列表;降低临时历史运动矢量列表中的共享历史运动矢量的顺序优先级得到当前块的历史运动矢量列表;其中,当前块的预测模式为帧内块拷贝共享模式,共享历史运动矢量为采用帧内块拷贝共享模式编码的已编码块的运动矢量;从当前块的历史运动矢量列表中选择第一数量的历史运动矢量;将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种历史运动矢量列表的使用方法,该方法包括获取仿射历史运动矢量列表,仿射历史运动矢量列表中的历史运动矢量所对应的已编码块是用仿射模式编码的;从仿射历史运动矢量列表中选择第一数量的历史运动矢量;将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种预测方法,该方法包括至少利用历史运动矢量构建运动矢量候选列表,利用上述的任一种方法使用历史运动矢量;利用运动矢量候选列表确定当前编码块的运动矢量。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种编码方法,该方法包括获取当前编码块的运动矢量,其中,当前编码块的运动矢量是利用上述的任一种预测方法获取的;基于当前编码块的运动矢量对当前编码块进行编码。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种历史运动矢量列表的使用装置,该装置包括获取模块、选择模块和填充模块,其中获取模块用于获取当前块的历史运动矢量列表;选择模块用于按照第一顺序从历史运动矢量列表中选择第一数量的历史运动矢量;填充模块用于对第一数量的历史运动矢量进行第一操作之后按照第二顺序填充进当前块的运动矢量候选列表,第一操作包括缩放和/或修剪。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种历史运动矢量列表的使用装置,该装置包括复制模块、调整模块、选择模块和填充模块,其中,复制模块用于复制帧内块拷贝模式下的历史运动矢量列表得到临时历史运动矢量列表;调整模块用于降低临时历史运动矢量列表中的共享历史运动矢量的顺序优先级得到当前块的历史运动矢量列表;其中,当前块的预测模式为帧内块拷贝共享模式,共享历史运动矢量为采用帧内块拷贝共享模式编码的已编码块的运动矢量;选择模块用于从当前块的历史运动矢量列表中选择第一数量的历史运动矢量;填充模块用于将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种历史运动矢量列表的使用装置,该装置包括获取模块、选择模块和填充模块,其中,获取模块用于获取仿射历史运动矢量列表,仿射历史运动矢量列表中的历史运动矢量所对应的已编码块是用仿射模式编码的;选择模块用于从仿射历史运动矢量列表中选择第一数量的历史运动矢量;填充模块用于将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种预测装置,该装置包括构建模块和确定模块,其中,构建模块用于至少利用历史运动矢量构建运动矢量候选列表,利用上述的任一种方法使用历史运动矢量;确定模块用于利用运动矢量候选列表确定当前编码块的运动矢量。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种编码装置,该装置包括获取模块和编码模块,其中,获取模块用于获取当前编码块的运动矢量,其中,当前编码块的运动矢量是利用上述的任一种预测方法获取的;编码模块用于基于当前编码块的运动矢量对当前编码块进行编码。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种编解码器,该编解码器包括处理器和存储器,处理器耦接存储器,存储器用于存储程序,处理器用于执行程序以实现上述的任一种历史运动矢量的使用方法,预测方法和编码方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种具有存储功能的装置,装置存储有程序,程序被执行时能够实现上述的任一种历史运动矢量的使用方法,预测方法和编码方法。
本申请的有益效果是:区别于现有技术的情况,本申请通过对历史运动矢量进行缩放和/或修剪后再填入当前块的运动矢量候选列表,能够提高预测的准确度。
附图说明
图1是本申请实施方式中历史运动矢量列表使用方法的流程示意图;
图2是本申请实施方式中HMVP列表更新方式的示意图;
图3是本申请实施方式中HMVP列表更新方式的示意图;
图4是本申请实施方式中当前编码块与空域相邻块的位置关系示意图;
图5是本申请实施方式中当前编码块的示意图;
图6是本申请实施方式中当前编码块与时域同位块的位置关系示意图;
图7是本申请实施方式中仿射模式的示意图;
图8是本申请实施方式中历史运动矢量列表使用方法的流程示意图;
图9是本申请实施方式中仿射模式中控制点的位置关系示意图;
图10是本申请实施方式中仿射AMVP模式下当前编码块与空域相邻块的位置关系示意图;
图11是本申请实施方式中共享模式下共享区域的划分示意图;
图12是本申请实施方式中共享模式下共享区域的划分示意图;
图13是本申请实施方式中历史运动矢量列表的使用方法的流程示意图;
图14为本申请实施方式中HMVP对应已编码块与当前块的位置关系示意图;
图15为本申请实施方式中HMVP的缩放示意图;
图16是本申请实施方式中预测方法的流程示意图;
图17是本申请实施方式中编码方法的流程示意图;
图18是本申请实施方式中历史运动矢量列表的使用装置的结构示意图;
图19是本申请实施方式中历史运动矢量列表的使用装置的结构示意图;
图20是本申请实施方式中历史运动矢量列表的使用装置的结构示意图;
图21是本申请实施方式中预测装置的结构示意图;
图22是本申请实施方式中编码装置的结构示意图;
图23是本申请实施方式中编解码器的结构示意图;
图24是本申请实施方式中具有存储功能的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。
请参阅图1,图1是本申请实施方式中历史运动矢量列表使用方法的流程示意图。在该实施方式中,历史运动矢量列表的使用方法包括如下步骤:
S110:获取当前块的历史运动矢量列表。
其中,当前块为当前待编码块,HMVP列表(即历史运动矢量列表)中存放的是已编码块的MV,可存储在一个lookuptable中,存放顺序为编码顺序从前到后。当有一个新的图像块编码完成后,会将该块的MV加入到HMVP列表中,对HMVP列表进行更新。更新HMVP列表时,需要将该块的MV与HMVP列表中已存放的HMVP进行比较,查找是否存在一样的HMVP。若存在一样的HMVP,则把HMVP列表中冗余(相同)的HMVP剔除,再在末尾加入新的HMVP,如图2所示,图2是本申请实施方式中HMVP列表更新方式的示意图。若不存在相同的HMVP,则剔除HMVP列表中第一个HMVP,并在末尾加入新HMVP,如图3所示,图3是本申请实施方式中HMVP列表更新方式的示意图。其中,图2-3中所示HMVP列表的长度可以为5,也可以是其他数值,在此不做限定,在其他实施方式中,也可以选择其他方式更新HMVP列表,在此不做限定。
S120:按照第一顺序从历史运动矢量列表中选择第一数量的历史运动矢量。
其中,第一数量的个数会根据预测模式对应设置。
S130:对第一数量的历史运动矢量进行第一操作之后按照第二顺序填充进当前块的运动矢量候选列表,第一操作包括缩放和/或修剪。为了便于描述,下文中将当前块的运动矢量候选列表简称为候选列表。
该实施方式中,通过对历史运动矢量进行缩放和/或修剪后再填入当前块的运动矢量候选列表,能够提高预测的准确度。
在一实施方式中,第一顺序包括正序或倒序,即可以按正序从前向后在HMVP列表中选取前N个HMVP;也可以按倒序从后向前在HMVP列表中选取后N个HMVP。N为第一数量,N的大小可根据预测模式对应设置。其中,选择HMVP时,不要求所选HMVP所对应的已编码块的参考帧必须和当前块的参考帧是同一帧,即也可以选取已编码块的参考帧和当前块的参考帧不是同一帧的已编码块的MV,或者说可以从HMVP列表中选择任意的N个HMVP填充入MV候选列表中。通过该实施方式的实施,能够充分利用HMVP列表中已编码块的信息。
在一实施方式中,第一数量的历史运动矢量中的至少一个为异步运动矢量,其中,异步运动矢量对应的已编码块的参考帧与当前块的参考帧不是同一帧。在将异步运动矢量填充进候选列表之前,需要对异步运动矢量进行缩放,缩放后的异步运动矢量为异步运动矢量与缩放系数的乘积。
在一实施方式中,所述缩放系数为第一距离(ta)与第二距离(tb)的比值,第一距离(ta)为当前帧和当前块的参考帧之间的距离,第二距离(tb)为当前帧和异步运动矢量对应的已编码块的参考帧之间的距离。即scaleHMVPs=(ta/tb)*HMVPs,其中,scaleHMVPs为缩放后的异步运动矢量,HMVPs为异步运动矢量。在其他实施方式中,缩放系数还可以是其他值,如可以是固定值、当前块/已编码块的其他参数值等。
该实施方式中,通过对已编码块的参考帧和当前块的参考帧不是同一帧的HMVP进行缩放,能够提高预测的准确度。在其他实施方式中,第一数量的历史运动矢量中也可以不包含异步运动矢量,或者说是,当第一数量的历史运动矢量中包含异步运动矢量时,需要对异步运动矢量进行缩放,而不包含异步运动矢量时,可以不进行缩放,直接填充进当前块的运动矢量候选列表。
在一实施方式中,第二顺序与第一顺序一致;或第二顺序中的异步运动矢量排在非异步运动矢量之后。即可以直接按HMVP的选择顺序将选取的HMVP填充进候选列表。或者是先填充HMVP对应的已编码块的参考帧与当前块的参考帧相同的HMVP,再填充HMVP对应的已编码块的参考帧与当前块的参考帧不同的HMVP。
在一实施方式中,在将HMVP填充进候选列表之前还可以对HMVP进行修剪。修剪包括将历史运动矢量与候选列表中的指定运动矢量进行比较,若历史运动矢量与指定运动矢量相同,则不将历史运动矢量加入候选列表。在其他实施方式,也可以不对HMVP进行修剪直接将其填充进候选列表。其中,指定运动矢量为候选列表中的第二数量的空域运动矢量,空域运动矢量是对应空域相邻块的运动矢量,或者是对应空域相邻块的衍变运动矢量,空域相邻块的衍变运动矢量是将空域相邻块的运动矢量经过一定的变换得到的运动矢量,如仿射模式下,运动矢量候选列表中的空域运动矢量就是将空域相邻块的运动矢量经过仿射模型变换得到的衍变运动矢量。即可以在候选列表中的所有空域运动矢量中任选m个空域运动矢量与HMVP进行比较,只有与所选空域运动矢量不相同的HMVP才会填充进候选列表。m为第二数量,m的大小可根据预测模式对应设置。
在一实施方式中,指定运动矢量包括利用历史运动矢量对应的已编码块与当前块之间的位置关系确定的相关空域运动矢量。
在一实施方式中,若历史运动矢量对应的已编码块的右下角像素位于当前块的右上侧,则相关空域运动矢量包括当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左下侧,则相关空域运动矢量包括当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左侧、左上侧或上侧,则相关空域运动矢量包括当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量和当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量。
在一实施方式中,若历史运动矢量对应的已编码块的右下角像素位于当前块的右上侧,则相关空域运动矢量包括当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左下侧,则相关空域运动矢量包括当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左侧、左上侧或上侧,则相关空域运动矢量包括当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量和当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量,并且若候选列表包括当前块的左上相邻已编码块的运动矢量/衍变运动矢量,相关空域运动矢量包括当前块的左上相邻已编码块的运动矢量/衍变运动矢量,当前块的左上相邻已编码块为当前块的左上角像素左上侧的相邻像素所在的已编码块。
请结合参阅图4-5,图4是本申请实施方式中当前编码块与空域相邻块的位置关系示意图,图5是本申请实施方式中当前编码块的示意图。该实施方式中,当前编码块的左侧和上方共有5个空域相邻块A0、A1、B0、B1和B2,相关空域运动矢量可以是空域相邻块A0、A1、B0、B1和B2的运动矢量/衍变运动矢量中的一个或多个。以当前块的左上角的点为原点建立坐标系,设当前块左上角坐标为(0,0),x轴正方向为向右,y轴正方向为向下。在其他实施方式中,也可以选择其他更多的空域相邻块,在此不做限定。
在一实施方式中,填充HMVP之前获取HMVP对应的已编码块的右下角坐标,若右下角坐标的横坐标大于a(0<a<width,width为当前块的宽),纵坐标小于0(即历史运动矢量对应的已编码块的右下角像素位于当前块的右上侧),则只将此HMVP与空域相邻块B1的运动矢量/衍变运动矢量进行比较(即相关空域运动矢量包括当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量);若右下角坐标的横坐标小于0,纵坐标大于b(0<b<height,height为当前块的高)(即历史运动矢量对应的已编码块的右下角像素位于当前块的左下侧),则只将此HMVP与空域相邻块A1的运动矢量/衍变运动矢量进行比较(即相关空域运动矢量包括当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量);若右下角坐标的横坐标小于等于a,纵坐标小于等于b(即历史运动矢量对应的已编码块的右下角像素位于当前块的左侧、左上侧或上侧),则将此HMVP与空域相邻块A1以及B1的运动矢量/衍变运动矢量进行比较(即相关空域运动矢量包括当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量和当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量)。若当前块运动矢量候选列表中不存在空域相邻块A1或B1的运动矢量/衍变运动矢量,则不需要比较。
在一实施方式中,填充HMVP之前获取HMVP对应的已编码块的右下角坐标,获取HMVP对应的已编码块的右下角坐标,若右下角坐标的横坐标大于a(0<a<width,width为当前块的宽),纵坐标小于0(即历史运动矢量对应的已编码块的右下角像素位于当前块的右上侧),则将此HMVP与上方空域相邻块(如B0、B1)中一个或几个的运动矢量/衍变运动矢量进行比较(即相关空域运动矢量包括当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量);若右下角坐标的横坐标小于0,纵坐标大于b(0<b<height,height为当前块的高)(即历史运动矢量对应的已编码块的右下角像素位于当前块的左下侧),则将此HMVP与左侧空域相邻块(如A0、A1)中一个或几个的运动矢量/衍变运动矢量进行比较(即相关空域运动矢量包括当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量);若右下角坐标的横坐标小于等于a,纵坐标小于等于b(即历史运动矢量对应的已编码块的右下角像素位于当前块的左侧、左上侧或上侧),则将此HMVP与左侧空域相邻块中至少一个的运动矢量/衍变运动矢量,和上方空域相邻块中至少一个的运动矢量/衍变运动矢量进行比较(即相关空域运动矢量包括当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量和当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量);若候选列表中存在空域相邻块B2的运动矢量/衍变运动矢量,则必须将此HMVP与空域相邻块B2的运动矢量/衍变运动矢量进行比较(即若候选列表包括当前块的左上相邻已编码块的运动矢量/衍变运动矢量,则相关空域运动矢量包括当前块的左上相邻已编码块的运动矢量/衍变运动矢量,其中当前块的左上相邻已编码块为当前块的左上角像素左上侧的相邻像素所在的已编码块);若候选列表中需要比较的模式不存在,则不需要与该模式进行比较。
通过上述实施方式的实施,丰富了HMVP修剪的比较方式,修剪时需要和更多的空域运动矢量进行比较,同时利用HMVP对应已编码块与当前块的位置关系来决定需要比较的空域运动矢量,能够减少复杂度。
在一实施方式中,当前块的预测模式可以为高级运动向量预测(Advanced MotionVector Prediction,AMVP)模式和Merge模式;具体还可以分为常规模式、仿射模式和帧内块拷贝(Intra Block Copy,IBC)模式等,更具体的有常规AMVP模式和常规Merge模式;仿射AMVP模式和仿射Merge模式;IBC AMVP模式和IBC Merge模式;IBC AMVP共享模式和IBCMerge共享模式。
在使用上述预测模式时,都需要构建运动矢量候选列表,在构建运动矢量候选列表时,可能会用到HMVP,当需要使用HMVP时,可利用上述方法使用HMVP列表。
在一实施方式中,当前块的预测模式为常规预测模式,常规预测模式包括常规AMVP模式和常规Merge模式,利用常规AMVP模式和常规Merge模式进行帧间预测时,都需要先构建当前块的MV候选列表。不同的是,利用常规AMVP模式进行帧间预测时需要进行运动估计,具体地,需要先从MV候选列表中选出一个最佳候选MV作为当前块的MVP(MV预测值),再进行运动估计过程,运动估计过程包括到参考帧中搜索当前块的最佳匹配块,将最佳匹配块坐标和当前块坐标的差作为实际MV,最终传输的是实际MV减MVP得到的MVD(运动矢量差值)。而常规Merge模式则不进行运动估计过程,可直接从候选列表中选出一个最佳候选MV作为当前块的MV。
其中,构建常规AMVP模式下的MV候选列表时,MV的填充顺序是:空域MV(空域相邻块的MV)、时域MV(时域同位块的MV,或经过缩放的时域同位块的MV)、HMVP、0MV。构建常规Merge模式下的MV候选列表时,MV的填充顺序是:空域MV、时域MV、HMVP、平均MV、0MV。
其中,常规AMVP模式和常规Merge模式下空域相邻块的位置和时域同位块的位置是一致的,但搜索顺序和获取方式有区别。常规AMVP模式和常规Merge模式下空域相邻块的位置如图4所示,包括A0、A1、B0、B1、B2等,常规AMVP模式和常规Merge模式下时域同位块的位置如图6所示,图6是本申请实施方式中当前编码块与时域同位块的位置关系示意图,包括C0、C1等。在其他实施方式中,也可以选择其他更多的空域相邻块、时域同位块,在此不做限定。
在构建常规AMVP模式和常规Merge模式下的候选列表时,均是先填充空域MV和时域MV,如果候选列表还没有填满,则需填入HMVP。例如常规AMVP模式下的MV候选列表长度可以为2,里面包含2个MV,常规Merge模式下的MV候选列表长度可以为6,里面包含6个MV。在其他实施方式中,MV候选列表长度也可以是其他数值,在此不做限定。
当使用HMVP时,需要先获取常规预测模式对应的常规HMVP列表,再在常规HMVP列表选取第一数量的HMVP,用于填充进候选列表。其中,常规AMVP模式和常规Merge模式共用一个常规HMVP列表,即无论已编码块是用常规AMVP模式编码还是用常规Merge模式编码,都会将已编码块的MV更新到常规HMVP列表中;或者说常规HMVP列表中包括用常规AMVP模式编码的已编码块的MV和用常规Merge模式编码的已编码块的MV。
其中,选择HMVP时,不要求所选HMVP所对应的已编码块的参考帧必须和当前块的参考帧是同一帧,即可以从HMVP列表中选择任意的N个HMVP填充入MV候选列表中,直到填满候选列表为止;可以按正序选择,也可以按倒序选择。选出的HMVP在填充前还可以进行缩放和/或修剪;填充选出的HMVP时,可以按选出顺序直接填充,也可以调整顺序后再填充。具体选择方式、填充方式、缩放方式、修剪方式请参阅上述实施方式的描述,在此不再赘述。
通过该实施方式的实施,相对现有的常规AMVP模式和常规Merge模式,能够充分利用HMVP列表中已编码块的信息,且通过对HMVP进行缩放和/或修剪,能够增加预测准确度。
在一实施方式中,当前块的预测模式为仿射模式,当亮度块的宽和高都大于8时可以采用该模式。仿射模式是通过将当前块划分为多个相同尺寸(如4x4)的子块,每个子块都可以采用不同的MV,以此来模拟旋转、缩放等场景,如图7所示,图7是本申请实施方式中仿射模式的示意图。仿射模式包括仿射AMVP模式和仿射Merge模式,和常规模式类似,仿射AMVP模式也要进行运动估计的过程;而仿射Merge模式不需要做运动估计。
请参阅图8,图8是本申请实施方式中历史运动矢量列表使用方法的流程示意图。在该实施方式中,历史运动矢量列表的使用方法包括如下步骤:
S810:获取仿射历史运动矢量列表。
其中,仿射历史运动矢量列表中的历史运动矢量所对应的已编码块是用仿射模式编码的。
S820:从仿射历史运动矢量列表中选择第一数量的历史运动矢量。
S830:将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
其中,仿射AMVP模式下,当前块中每个子块的MV可以不同,每个子块的MV由2个(v0、v1)或3个(v0、v1、v2)控制点(control point,CP)的MV加权获得,每个CP的MV称为CPMV(control point’s MV)。3个CP的位置如图9所示,图9是本申请实施方式中仿射模式中控制点的位置关系示意图。
将仿射AMVP模式的候选列表称为CPMVP候选列表。构建CPMVP候选列表时,CPMV组的填充顺序是空域相邻块的CPMV组、时域同位块的CPMV组、HMVP、0MV。仿射AMVP模式下空域相邻块的位置如图10所示,图10是本申请实施方式中仿射AMVP模式下当前编码块与空域相邻块的位置关系示意图,包括A-G等;仿射AMVP模式下时域同位块的位置如图6所示,包括C0、C1等。在其他实施方式中,也可以选择其他更多的空域相邻块、时域同位块,在此不做限定。
与仿射AMVP模式不同,仿射Merge模式的候选列表中填充不同类型MV的顺序如下:子块MV、空域MV(经过仿射模型变换后的空域相邻块的衍变MV)、时空域MV(结合空域和时域相邻块的MV)、HMVP、0MV。其中,仿射merge模式的空域相邻块和时域同位块的位置和常规merge模式中的一致。
构建CPMVP候选列表和仿射Merge模式下的候选列表时,先分别填充空域相邻块的CPMV组、时域同位块的CPMV组;子块MV、空域MV和时空域MV,如果候选列表还没有填满,则需填入HMVP。例如。仿射AMVP模式的候选列表中包括2组CPMV的组合,每组CPMV组都包含3个CPMV,当只有两个控制点时,第三个CPMV置为0;仿射Merge模式下的MV候选列表的长度为5,在其他实施方式中,MV候选列表长度也可以是其他数值,在此不做限定。
当使用HMVP时,需要先获取仿射预测模式对应的仿射HMVP列表,再在仿射HMVP列表选取第一数量的HMVP,用于填充进候选列表。其中,仿射AMVP模式和仿射Merge模式共用一个仿射HMVP列表,构建仿射HMVP列表时,只有在已编码块的编码方式是仿射AMVP模式或仿射Merge模式时,才会将该块的MV更新到仿射HMVP列表中。仿射HMVP列表中的每个HMVP(HMVP组)都包含3个MV(CPMV),若已编码块中只有两个控制点,则该HMVP中的第三个CPMV置为0。
同样地,选择HMVP时,不要求所选HMVP所对应的已编码块的参考帧必须和当前块的参考帧是同一帧,即可以从HMVP列表中选择任意的N个HMVP填充入MV候选列表中,直到填满候选列表为止;可以按正序选择,也可以按倒序选择。选出的HMVP在填充前还可以进行缩放和/或修剪;填充选出的HMVP时,可以按选出顺序直接填充,也可以调整顺序后再填充。具体选择方式、填充方式、缩放方式、修剪方式请参阅上述实施方式的描述,在此不再赘述。在其他实施方式中,也可以是其他选择方式、填充方式、缩放方式、修剪方式。
通过该实施方式的实施,相对现有的仿射AMVP模式和仿射Merge模式,本申请所提供的方法,在使用仿射AMVP模式和仿射Merge模式时也加入了HMVP模式,能够充分利用已编码块的信息。
在一实施方式中,当前块的预测模式为IBC模式。IBC意思是帧内块拷贝。一般IBC模式会在帧内进行运动估计和运动搜索的过程,在帧内搜索当前块的匹配块,获取匹配块的信息后对当前块的MV模式进行预测。IBC模式包括IBC AMVP模式和IBC Merge模式,和常规模式类似,IBC AMVP模式需要进行运动估计的过程,而IBC Merge模式不需要进行运动估计。IBC模式同样要构建MV候选列表,IBC AMVP模式和IBC Merge模式构建的方式分别和常规AMVP模式和常规Merge模式下的构建方式基本类似。
但在构建IBC AMVP模式候选列表时,空域相邻块的位置只选图4中的A1、B1,并且由于是在帧内进行,所以候选列表中没有时域MV。IBC AMVP模式列表中MV的填充顺序为:空域MV、HMVP、0MV。在构建IBC Merge模式MV候选列表时,空域相邻块的位置只选图4中的A1、B1,并且由于是在帧内进行,所以候选列表中没有时域MV模式。IBC Merge模式候选列表中MV的填充顺序为:空域MV、HMVP、0MV。在其他实施方式中,也可以选择其他更多的空域相邻块,在此不做限定。
构建IBC AMVP模式和IBC Merge模式下的候选列表时,均是先填充空域MV,如果候选列表还没有填满,则需填入HMVP。例如IBC AMVP模式候选列表中最多不超过2个MV,IBCMerge模式候选列表中最多不超过6个MV,在其他实施方式中,MV候选列表长度也可以是其他数值,在此不做限定。
当使用HMVP时,需要先获取IBC预测模式对应的IBC HMVP列表,再在IBC HMVP列表选取第一数量的HMVP,用于填充进候选列表。其中,IBC AMVP模式和IBC Merge模式共用一个IBC HMVP列表,构建IBC HMVP列表时,只有在已编码块的编码方式是IBC AMVP模式或IBCMerge模式时,才会将该块的MV更新到IBC HMVP列表中。
同样地,选择HMVP时,不要求所选HMVP所对应的已编码块的参考帧必须和当前块的参考帧是同一帧,即可以从HMVP列表中选择任意的N个HMVP填充入MV候选列表中,直到填满候选列表为止;可以按正序选择,也可以按倒序选择。选出的HMVP在填充前还可以进行缩放和/或修剪;填充选出的HMVP时,可以按选出顺序直接填充,也可以调整顺序后再填充。具体选择方式、填充方式、缩放方式、修剪方式请参阅上述实施方式的描述,在此不再赘述。
通过该实施方式的实施,相对现有的IBC AMVP模式和IBC Merge模式,能够充分利用HMVP列表中已编码块的信息,且通过对HMVP进行缩放和/或修剪,能够增加准确度。
在一实施方式中,当前块的预测模式为IBC共享模式。IBC共享模式就是根据块尺寸相关的阈值划定一片共享区域,区域中有若干CU(Coding Unit,编码单元)块,如图11所示,图11是本申请实施方式中共享模式下共享区域的划分示意图,阈值设为64个像素时,不同划分方式下的共享区域,共享区域用虚线表示,实线表示CU块。
共享区域中的所有用IBC共享模式编码的CU块用的都是同一个IBC共享模式下的共享候选列表。IBC共享模式包括IBC AMVP共享模式和IBC Merge共享模式。
IBC AMVP共享模式中,共享候选列表是先将共享区域当做一个CU块,用IBC AMVP模式建立MV候选列表的方式建立的。
IBC Merge共享模式的整体思路和IBC AMVP共享模式类似,不同的是IBC merge共享模式中,MV共享候选列表是将共享区域当做一个CU块,用IBC Merge模式建立候选列表的方式建立的。
一般而言,每编码完一个CU块,就需要按图2和3所示的方法更新HMVP列表(如在非共享AMVP模式和非共享merge模式中),但是在IBC共享模式下(包括IBC AMVP共享模式和IBC Merge共享模式)比较特殊。由于共享区域中的所有用IBC共享模式编码的CU块用的都是同一个IBC共享模式下的候选列表,也就是要用到同样的HMVP列表,所以编码区域中对IBC共享模式的CU块进行编码后,不能对HMVP列表进行更新,但是编码区域中可能也包含采用非IBC共享模式编码的CU,这些CU编码完后还是需要更新HMVP列表,这就有冲突。
现有方案中是把原始的IBC模式下的HMVP列表拷贝了一份,作为用于IBC共享模式下建立候选列表的临时HMVP列表,这个临时的HMVP列表在共享区域内是不更新的。但原始的HMVP列表不管是不是IBC共享模式,只要编码完一个CU,就会进行更新。如图12所示,图12是本申请实施方式中共享模式下共享区域的划分示意图。设CU1、CU2、CU3和CU4都用IBC共享模式编码,在对共享区域1进行编码时,那么先将原始的IBC下的HMVP列表拷贝一份出来,即临时HMVP list1,CU1和CU2都只用到临时HMVP list1。但CU1和CU2编码完后都会把模式更新到原始HMVP列表中。同理随后在对共享区域2进行编码时,又会重新从原始HMVP列表拷贝一份出来,即临时HMVP list2,CU3和CU4都只用到临时HMVP list2。
由于共享模式下一个共享区域有不同的划分方式,区域中CU的尺寸不同,最终预测的结果也可能不同。因此在实际操作中首先会保存IBC下原始HMVP列表的初始值,然后每种划分方式都对应一个原始HMVP列表和一个临时HMVP列表,用于构建IBC模式或IBC共享模式的候选列表,最终算出当前划分方式下的代价值,接下来再用另一种划分方式,此时会重新去取之前保存的HMVP列表初始值,再进行相同的步骤,算出这种划分方式下的代价值。最终会比较所有划分方式下的代价值,并得出选用哪种划分方式,以及对应的HMVP列表。
现有方案中,IBC共享模式中的临时HMVP列表时直接拷贝的原始HMVP列表,但没有考虑到采用共享模式编码的IBC块对应的HMVP和其余HMVP与当前块的相关性联系,可能不够准确。基于此,本申请提供一种IBC共享模式下临时HMVP列表的构建及使用方法。
请参阅图13,图13是本申请实施方式中历史运动矢量列表的使用方法的流程示意图。该实施方式中,历史运动矢量列表的使用方法包括如下步骤:
S1310:复制IBC模式下的历史运动矢量列表得到临时历史运动矢量列表。
S1320:降低临时历史运动矢量列表中的共享历史运动矢量的顺序优先级得到当前块的历史运动矢量列表。
其中,当前块的预测模式为IBC共享模式,共享历史运动矢量为采用IBC共享模式编码的已编码块的运动矢量。
S1330:从历史运动矢量列表中选择第一数量的历史运动矢量;
S1340:将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
通过该实施方式的实施,从原始HMVP列表拷贝出来后,考虑到采用共享模式编码的IBC块对应的HMVP和其余HMVP与当前块的相关性联系,需要对拷贝出的临时HMVP模式顺序进行调整,将其中是用共享模式编码的IBC块对应的HMVP顺序优先级降低,因为不同共享区域间的相关性理论上较低,不然它们应该合成一个共享区域。
对临时HMVP列表的调整以及在MV候选列表中的填充方式包括以下方法:
在一实施方式中,若历史运动矢量的填充顺序为倒序,则将共享历史运动矢量移动至临时历史运动矢量列表的最前。即筛选出HMVP列表中所有采用共享模式编码的IBC块对应的HMVP,保持相对顺序不变,将这些HMVP移到临时HMVP列表的最前面。将HMVP模式填充到IBC下的共享候选列表中时按倒序填充。
在一实施方式中,若历史运动矢量的填充顺序为正序,则将共享历史运动矢量移动至临时历史运动矢量列表的最后。即筛选出列表中所有采用共享模式编码的IBC块对应的HMVP,保持相对顺序不变,将这些HMVP移到临时HMVP列表的最后面。将HMVP模式填充到IBC下的共享候选列表中时按正序填充。
同样地,选择HMVP时,不要求所选HMVP所对应的已编码块的参考帧必须和当前块的参考帧是同一帧,即可以从HMVP列表中选择任意的N个HMVP填充入MV候选列表中,直到填满候选列表为止;可以按正序选择,也可以按倒序选择。选出的HMVP在填充前还可以进行缩放和/或修剪;具体选择方式、填充方式、缩放方式、修剪方式请参阅上述实施方式的描述,在此不再赘述。在其他实施方式中,也可以是其他选择方式、填充方式、缩放方式、修剪方式。
以上实施方式,对不同模式下的HMVP列表构建和填充方式提出了多种改进方法,如对两种仿射模式的候选列表进行了改进,在构建仿射模式的候选列表中加入了HMVP;对HMVP的选择方式、填充方式都进行了改进,同时还可以对HMVP进行缩放和/修剪;另外还可以对两种共享模式的临时HMVP列表做改进。上述多种改进方式相互独立,可选择其中一种或多种进行组合使用。
下面将通过几组具体实施例来对本申请所提供的历史运动矢量列表使用方法进行说明、解释,但不应用来限制本申请的范围。
实施例1
在该实施例中,设当前块用AMVP模式编码,且按照倒序的方式从HMVP列表中选取第一数量的HMVP,并在将HMVP填充进候选列表前对异步运动矢量进行缩放,且在将HMVP填充进候选列表时将异步运动矢量排在非异步运动矢量之后。
设这3个HMVP在原始HMVP列表中的顺序按正序为HMVP0、HMVP1、HMVP2,进行倒序选择后顺序为HMVP2、HMVP1、HMVP0。其中HMVP1对应的已编码块的参考帧和当前块的参考帧不是同一帧,其余两个HMVP对应的参考帧和当前块的参考帧一致,这3个HMVP对应编码块的位置如图14所示,图14为本申请实施方式中HMVP对应已编码块与当前块的位置关系示意图。对HMVP1进行缩放后得到scaleHMVP1,缩放示意图如图15所示,图15为本申请实施方式中HMVP的缩放示意图。最终填充到AMVP的候选列表中的顺序为HMVP2、HMVP0、scaleHMVP1。
实施例2
在该实施例中,设当前块用merge模式编码,且按照倒序的方式从HMVP列表中选取第一数量的HMVP,并在将HMVP填充进候选列表前对异步运动矢量进行缩放,对所有HMVP进行修剪,在修剪时利用HMVP对应的已编码块与当前块之间的位置关系确定的相关空域运动矢量,且在将HMVP填充进候选列表时将异步运动矢量排在非异步运动矢量之后。
设这3个HMVP在原始HMVP列表中的顺序按正序为HMVP0、HMVP1、HMVP2,进行倒序选择后顺序为HMVP2、HMVP1、HMVP0。其中HMVP1对应的已编码块的参考帧和当前块的参考帧不是同一帧,其余两个HMVP对应的参考帧和当前块的参考帧一致,这3个HMVP对应编码块的位置如图14所示,设a=width/2,b=height/2,修剪时HMVP0需要和空域相邻块A1以及B1的MV进行比较;HMVP1只和空域相邻块B1的MV进行比较;HMVP2只和空域相邻块A1的MV进行比较。设修剪后HMVP0与空域相邻块A1的MV相同,最终填充到AMVP的候选列表中的顺序为HMVP2、scaleHMVP1。
请参阅图16,图16是本申请实施方式中预测方法的流程示意图,本实施方式中,预测方法包括以下步骤:
S1610:至少利用历史运动矢量构建运动矢量候选列表。
其中,利用上述的任一种方法使用历史运动矢量。
S1620:利用运动矢量候选列表确定当前编码块的运动矢量。
其中,预测模式可以为高级运动向量预测(Advanced Motion VectorPrediction,AMVP)模式和Merge模式;具体还可以分为常规模式、仿射模式和IBC模式等,更具体的有常规AMVP模式和常规Merge模式;仿射AMVP模式和仿射Merge模式;IBC AMVP模式和IBC Merge模式;IBC AMVP共享模式和IBC Merge共享模式。具体预测方法过程请参阅上述实施方式的描述,在此不再赘述。
本实施方式所提供的预测方法,利用如上任一实施方式的方法建立候选列表,通过对历史运动矢量进行缩放和/或修剪后再填入当前块的运动矢量候选列表,能够提高预测的准确度。不要求所选HMVP所对应的已编码块的参考帧必须和当前块的参考帧是同一帧,充分利用HMVP列表中已编码块的信息。
请参阅图17,图17是本申请实施方式中编码方法的流程示意图,该方法可由编解码器来执行。本实施方式中,编码方法包括以下步骤:
S1710:获取当前编码块的运动矢量。
其中,当前编码块的运动矢量是利用上述的预测方法获取的。
S1720:基于当前编码块的运动矢量对当前编码块进行编码。
本实施方式所提供的编码方法,通过利用如上任一实施方式的预测方法获取当前编码块的MV,从而可增加最佳MV选取的概率,有利于进一步去除空间冗余,提高帧间编码的压缩率。
请参阅图18,图18是本申请实施方式中历史运动矢量列表的使用装置的结构示意图,该实施方式中历史运动矢量列表的使用装置180包括获取模块1810、选择模块1820和填充模块1830。
其中获取模块1810用于获取当前块的历史运动矢量列表;选择模块1820用于按照第一顺序从历史运动矢量列表中选择第一数量的历史运动矢量;填充模块1830用于对第一数量的历史运动矢量进行第一操作之后按照第二顺序填充进当前块的运动矢量候选列表,第一操作包括缩放和/或修剪。
在一实施方式中,第一数量的历史运动矢量中的至少一个为异步运动矢量,异步运动矢量对应的已编码块的参考帧与当前块的参考帧不同,填充模块1830包括缩放单元,缩放单元具体用于对异步运动矢量进行缩放,缩放后的异步运动矢量scaleHMVPs=(ta/tb)*HMVPs,其中ta为当前帧和当前块的参考帧之间的距离,tb为当前帧和异步运动矢量对应的已编码块的参考帧之间的距离,HMVPs为异步运动矢量。
在一实施方式中,第二顺序与第一顺序一致;或第二顺序中的异步运动矢量排在非异步运动矢量之后。
在一实施方式中,第一顺序包括正序或倒序。
在一实施方式中,填充模块1830包括修剪单元,修剪单元用于将历史运动矢量与候选列表中的指定运动矢量进行比较,若历史运动矢量与指定运动矢量相同,则不将历史运动矢量加入候选列表。
在一实施方式中,指定运动矢量为候选列表中的第二数量的空域运动矢量。
在一实施方式中,指定运动矢量包括利用历史运动矢量对应的已编码块与当前块之间的位置关系确定的相关空域运动矢量。
在一实施方式中,若历史运动矢量对应的已编码块的右下角像素位于当前块的右上侧,则相关空域运动矢量包括当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左下侧,则相关空域运动矢量包括当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左侧、左上侧或上侧,则相关空域运动矢量包括当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量和当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量。
在一实施方式中,若历史运动矢量对应的已编码块的右下角像素位于当前块的右上侧,则相关空域运动矢量包括当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左下侧,则相关空域运动矢量包括当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量;若历史运动矢量对应的已编码块的右下角像素位于当前块的左侧、左上侧或上侧,则相关空域运动矢量包括当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量和当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量,并且若候选列表包括当前块的左上相邻已编码块的运动矢量/衍变运动矢量,相关空域运动矢量包括当前块的左上相邻已编码块的运动矢量/衍变运动矢量,当前块的左上相邻已编码块为当前块的左上角像素左上侧的相邻像素所在的已编码块。
请参阅图19,图19是本申请实施方式中历史运动矢量列表的使用装置的结构示意图,该实施方式中历史运动矢量列表的使用装置190包括复制模块1910、调整模块1920、选择模块1930和填充模块1940。
其中,复制模块1910用于复制IBC模式下的历史运动矢量列表得到临时历史运动矢量列表;调整模块1920用于降低临时历史运动矢量列表中的共享历史运动矢量的顺序优先级得到当前块的历史运动矢量列表;其中,当前块的预测模式为IBC共享模式,共享历史运动矢量为采用IBC共享模式编码的已编码块的运动矢量;选择模块1930用于从当前块的历史运动矢量列表中选择第一数量的历史运动矢量;填充模块1940用于将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
在一实施方式中,若历史运动矢量的填充顺序为倒序,则将共享历史运动矢量移动至临时历史运动矢量列表的最前;若历史运动矢量的填充顺序为正序,则将共享历史运动矢量移动至临时历史运动矢量列表的最后。
请参阅图20,图20是本申请实施方式中历史运动矢量列表的使用装置的结构示意图,该实施方式中历史运动矢量列表的使用装置200包括获取模块2010、选择模块2020和填充模块2030。
其中,获取模块2010用于获取仿射历史运动矢量列表,仿射历史运动矢量列表中的历史运动矢量所对应的已编码块是用仿射模式编码的;选择模块2020用于从仿射历史运动矢量列表中选择第一数量的历史运动矢量;填充模块2030用于将第一数量的历史运动矢量中的至少部分按照预设顺序填充进当前块的运动矢量候选列表。
请参阅图21,图21是本申请实施方式中预测装置的结构示意图,该实施方式中预测装置210包括构建模块2110和确定模块2120。
其中,构建模块2110用于至少利用历史运动矢量构建运动矢量候选列表,利用上述的任一种方法使用历史运动矢量;确定模块2120用于利用运动矢量候选列表确定当前编码块的运动矢量。
请参阅图22,图22是本申请实施方式中编码装置的结构示意图,该实施方式中编码装置220包括获取模块2210和编码模块2220。
其中,获取模块2210用于获取当前编码块的运动矢量,其中,当前编码块的运动矢量是利用上述的任一种预测方法获取的;编码模块2220用于基于当前编码块的运动矢量对当前编码块进行编码。
请参阅图23,图23是本申请实施方式中编解码器的结构示意图,该实施方式中,编解码器230包括处理器2310和存储器2320,处理器2310耦接存储器2320,存储器2320用于存储程序,处理器2310用于执行程序以实现上述的任一种历史运动矢量的使用方法,预测方法和编码方法。
处理器2310还可以称为CPU(Central Processing Unit,中央处理单元)。处理器2310可以是一种集成电路芯片,具有信号的处理能力。处理器2310还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图24,图24是本申请实施方式中具有存储功能的装置的结构示意图,该实施方式中,具有存储功能的装置240存储有程序2410,程序2410被执行时能够实现上述任一实施方式的历史运动矢量的使用方法,预测方法和编码方法。
其中,该程序2410可以以软件产品的形式存储在上述具有存储功能的装置240中,包括若干指令用以使得一个设备或处理器执行本申请各个实施方式方法的全部或部分步骤。
具有存储功能的装置240是计算机存储器中用于存储某种不连续物理量的媒体。而前述的具有存储功能的装置240包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (20)

1.一种历史运动矢量列表的使用方法,其特征在于,包括:
获取当前块的历史运动矢量列表;
按照第一顺序从所述历史运动矢量列表中选择第一数量的历史运动矢量;
对所述第一数量的历史运动矢量进行第一操作之后按照第二顺序填充进所述当前块的运动矢量候选列表,所述第一操作包括缩放和/或修剪。
2.根据权利要求1所述的历史运动矢量列表的使用方法,其特征在于,所述第一数量的历史运动矢量中的至少一个为异步运动矢量,所述异步运动矢量对应的已编码块的参考帧与所述当前块的参考帧不同,所述缩放包括对所述异步运动矢量进行缩放,缩放后的异步运动矢量为异步运动矢量与缩放系数的乘积。
3.根据权利要求2所述的历史运动矢量列表的使用方法,其特征在于,所述缩放系数为第一距离与第二距离的比值,所述第一距离为当前帧和所述当前块的参考帧之间的距离,所述第二距离为所述当前帧和所述异步运动矢量对应的已编码块的参考帧之间的距离。
4.根据权利要求2所述的历史运动矢量列表的使用方法,其特征在于,所述第二顺序与所述第一顺序一致;或所述第二顺序中的所述异步运动矢量排在非异步运动矢量之后。
5.根据权利要求1所述的历史运动矢量列表的使用方法,其特征在于,所述第一顺序包括正序或倒序。
6.根据权利要求1所述的历史运动矢量列表的使用方法,其特征在于,所述修剪包括将所述历史运动矢量与所述候选列表中的指定运动矢量进行比较,若所述历史运动矢量与所述指定运动矢量相同,则不将所述历史运动矢量加入所述候选列表。
7.根据权利要求6所述的历史运动矢量列表的使用方法,其特征在于,所述指定运动矢量为所述候选列表中的第二数量的空域运动矢量。
8.根据权利要求6所述的历史运动矢量列表的使用方法,其特征在于,所述指定运动矢量包括利用所述历史运动矢量对应的已编码块与所述当前块之间的位置关系确定的相关空域运动矢量。
9.根据权利要求8所述的历史运动矢量列表的使用方法,其特征在于,
若所述历史运动矢量对应的已编码块的右下角像素位于所述当前块的右上侧,则所述相关空域运动矢量包括所述当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量;
若所述历史运动矢量对应的已编码块的右下角像素位于所述当前块的左下侧,则所述相关空域运动矢量包括所述当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量;
若所述历史运动矢量对应的已编码块的右下角像素位于所述当前块的左侧、左上侧或上侧,则所述相关空域运动矢量包括所述当前块的右上角像素上侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量和所述当前块的左下角像素左侧的相邻像素所在的已编码块的运动矢量/衍变运动矢量。
10.根据权利要求8所述的历史运动矢量列表的使用方法,其特征在于,
若所述历史运动矢量对应的已编码块的右下角像素位于所述当前块的右上侧,则所述相关空域运动矢量包括所述当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量;
若所述历史运动矢量对应的已编码块的右下角像素位于所述当前块的左下侧,则所述相关空域运动矢量包括所述当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量;
若所述历史运动矢量对应的已编码块的右下角像素位于所述当前块的左侧、左上侧或上侧,则所述相关空域运动矢量包括所述当前块的上侧的至少一个已编码块的运动矢量/衍变运动矢量和所述当前块的左侧的至少一个已编码块的运动矢量/衍变运动矢量,并且若所述候选列表包括所述当前块的左上相邻已编码块的运动矢量/衍变运动矢量,所述相关空域运动矢量包括所述当前块的左上相邻已编码块的运动矢量/衍变运动矢量,所述当前块的左上相邻已编码块为所述当前块的左上角像素左上侧的相邻像素所在的已编码块。
11.根据权利要求1-10任一项所述的历史运动矢量列表的使用方法,其特征在于,所述当前块的预测模式为仿射模式,所述历史运动矢量列表为仿射历史运动矢量列表。
12.根据权利要求1-10任一项所述的历史运动矢量列表的使用方法,其特征在于,所述当前块的预测模式为帧内块拷贝共享模式,所述获取当前块的历史运动矢量列表包括:
复制帧内块拷贝模式下的当前历史运动矢量列表得到临时历史运动矢量列表;
降低所述临时历史运动矢量列表中的共享历史运动矢量的顺序优先级得到所述当前块的历史运动矢量列表,所述共享历史运动矢量为采用帧内块拷贝共享模式编码的已编码块的运动矢量。
13.根据权利要求12所述的历史运动矢量列表的使用方法,其特征在于,所述降低所述临时历史运动矢量列表中的共享历史运动矢量的顺序优先级包括:
若所述第二顺序为倒序,则将所述共享历史运动矢量移动至所述临时历史运动矢量列表的最前;
若所述第二顺序为正序,则将所述共享历史运动矢量移动至所述临时历史运动矢量列表的最后。
14.一种历史运动矢量列表的使用方法,其特征在于,包括:
复制帧内块拷贝模式下的历史运动矢量列表得到临时历史运动矢量列表;
降低所述临时历史运动矢量列表中的共享历史运动矢量的顺序优先级得到当前块的历史运动矢量列表;其中,所述当前块的预测模式为帧内块拷贝共享模式,所述共享历史运动矢量为采用帧内块拷贝共享模式编码的已编码块的运动矢量;
从所述当前块的历史运动矢量列表中选择第一数量的历史运动矢量;
将第一数量的所述历史运动矢量中的至少部分按照预设顺序填充进所述当前块的运动矢量候选列表。
15.根据权利要求14所述的历史运动矢量列表的使用方法,其特征在于,所述降低所述临时历史运动矢量列表中的共享历史运动矢量的顺序优先级包括:
若所述历史运动矢量的填充顺序为倒序,则将所述共享历史运动矢量移动至所述临时历史运动矢量列表的最前;
若所述历史运动矢量的填充顺序为正序,则将所述共享历史运动矢量移动至所述临时历史运动矢量列表的最后。
16.一种历史运动矢量列表的使用方法,其特征在于,包括:
获取仿射历史运动矢量列表,所述仿射历史运动矢量列表中的历史运动矢量所对应的已编码块是用仿射模式编码的;
从所述仿射历史运动矢量列表中选择第一数量的所述历史运动矢量;
将第一数量的所述历史运动矢量中的至少部分按照预设顺序填充进所述当前块的运动矢量候选列表。
17.一种预测方法,其特征在于,包括:
至少利用历史运动矢量构建运动矢量候选列表,利用权利要求1-16中任一项所述的方法使用所述历史运动矢量;
利用所述运动矢量候选列表确定所述当前编码块的运动矢量。
18.一种编码方法,其特征在于,包括:
获取当前编码块的运动矢量,其中,所述当前编码块的运动矢量是利用权利要求17所述的预测方法获取的;
基于所述当前编码块的运动矢量对所述当前编码块进行编码。
19.一种编解码器,其特征在于,所述编解码器包括处理器和存储器,所述处理器耦接所述存储器,所述存储器用于存储程序,所述处理器用于执行所述程序以实现如权利要求1-18任一项所述的方法。
20.一种具有存储功能的装置,其特征在于,所述装置存储有程序,所述程序被执行时能够实现如权利要求1-18任一项所述的方法。
CN201910775404.0A 2019-06-25 2019-08-21 历史运动矢量列表的使用方法、编解码器及存储装置 Active CN110460859B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910775404.0A CN110460859B (zh) 2019-08-21 2019-08-21 历史运动矢量列表的使用方法、编解码器及存储装置
PCT/CN2020/098125 WO2020259589A1 (en) 2019-06-25 2020-06-24 Systems and methods for inter-frame prediction
EP20830559.9A EP3973708A4 (en) 2019-06-25 2020-06-24 INTRA-FRAME PREDICTION SYSTEMS AND METHODS
US17/645,968 US20220124321A1 (en) 2019-06-25 2021-12-24 Systems and methods for inter-frame prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775404.0A CN110460859B (zh) 2019-08-21 2019-08-21 历史运动矢量列表的使用方法、编解码器及存储装置

Publications (2)

Publication Number Publication Date
CN110460859A true CN110460859A (zh) 2019-11-15
CN110460859B CN110460859B (zh) 2022-03-25

Family

ID=68488339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775404.0A Active CN110460859B (zh) 2019-06-25 2019-08-21 历史运动矢量列表的使用方法、编解码器及存储装置

Country Status (1)

Country Link
CN (1) CN110460859B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741297A (zh) * 2020-06-12 2020-10-02 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置
CN112055208A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 视频编码方法、设备及存储装置
WO2020259589A1 (en) * 2019-06-25 2020-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for inter-frame prediction
CN112218075A (zh) * 2020-10-17 2021-01-12 浙江大华技术股份有限公司 候选列表的填充方法、电子设备、计算机可读存储介质
CN112291565A (zh) * 2020-09-10 2021-01-29 浙江大华技术股份有限公司 视频编码方法及其相关装置
WO2021196238A1 (zh) * 2020-04-03 2021-10-07 深圳市大疆创新科技有限公司 一种视频处理方法、视频处理设备及计算机可读存储介质
CN113709458A (zh) * 2020-05-22 2021-11-26 腾讯科技(深圳)有限公司 视频编解码中的位移矢量预测方法、装置及设备
CN114071158A (zh) * 2020-07-29 2022-02-18 腾讯科技(深圳)有限公司 视频编解码中的运动信息列表构建方法、装置及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150326875A1 (en) * 2014-05-06 2015-11-12 Mediatek Inc. Video processing method for determining position of reference block of resized reference frame and related video processing apparatus
CN105338363A (zh) * 2014-07-30 2016-02-17 联想(北京)有限公司 一种视频帧的编码及解码方法和装置
CN107113446A (zh) * 2014-12-09 2017-08-29 联发科技股份有限公司 视频编码中的运动矢量预测子或合并候选的推导方法
CN107979759A (zh) * 2011-03-21 2018-05-01 Lg 电子株式会社 选择运动矢量预测值的方法和使用其的设备
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
WO2018205914A1 (en) * 2017-05-10 2018-11-15 Mediatek Inc. Method and apparatus of reordering motion vector prediction candidate set for video coding
US20190149838A1 (en) * 2017-11-14 2019-05-16 Qualcomm Incorporated Affine motion vector prediction in video coding
CN109891890A (zh) * 2016-09-07 2019-06-14 高通股份有限公司 视频译码中基于子pu的双向运动补偿
CN109963155A (zh) * 2017-12-23 2019-07-02 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US10362330B1 (en) * 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979759A (zh) * 2011-03-21 2018-05-01 Lg 电子株式会社 选择运动矢量预测值的方法和使用其的设备
US20150326875A1 (en) * 2014-05-06 2015-11-12 Mediatek Inc. Video processing method for determining position of reference block of resized reference frame and related video processing apparatus
CN105338363A (zh) * 2014-07-30 2016-02-17 联想(北京)有限公司 一种视频帧的编码及解码方法和装置
CN107113446A (zh) * 2014-12-09 2017-08-29 联发科技股份有限公司 视频编码中的运动矢量预测子或合并候选的推导方法
CN109891890A (zh) * 2016-09-07 2019-06-14 高通股份有限公司 视频译码中基于子pu的双向运动补偿
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
WO2018205914A1 (en) * 2017-05-10 2018-11-15 Mediatek Inc. Method and apparatus of reordering motion vector prediction candidate set for video coding
US20190149838A1 (en) * 2017-11-14 2019-05-16 Qualcomm Incorporated Affine motion vector prediction in video coding
CN109963155A (zh) * 2017-12-23 2019-07-02 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US10362330B1 (en) * 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAHYUN LEE: "Non-CE4: HMVP unification between the Merge and MVP list", 《JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
JIE ZHAO: "CE4-related: History Based Affine Merge Candidate", 《JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
LI ZHANG: "JVET-K0104:CE4-related: History-based Motion Vector Prediction", 《JOINT VIDEO EXPERTS TEAM (JVET)》 *
SUHONG WANG: "CE8-1.7: Single HMVP table for all CUs inside the shared merge list region for IBC", 《JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
YI-WEN CHEN: "Non-CE4: Simplification of HMVP in merge list construction", 《JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
韩启强: "基于结构化信息和稀疏编码的图像分类研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259589A1 (en) * 2019-06-25 2020-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for inter-frame prediction
WO2021196238A1 (zh) * 2020-04-03 2021-10-07 深圳市大疆创新科技有限公司 一种视频处理方法、视频处理设备及计算机可读存储介质
CN113709458A (zh) * 2020-05-22 2021-11-26 腾讯科技(深圳)有限公司 视频编解码中的位移矢量预测方法、装置及设备
CN113709458B (zh) * 2020-05-22 2023-08-29 腾讯科技(深圳)有限公司 视频编解码中的位移矢量预测方法、装置及设备
CN111741297B (zh) * 2020-06-12 2024-02-20 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置
CN111741297A (zh) * 2020-06-12 2020-10-02 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置
CN114071158A (zh) * 2020-07-29 2022-02-18 腾讯科技(深圳)有限公司 视频编解码中的运动信息列表构建方法、装置及设备
CN112055208A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 视频编码方法、设备及存储装置
CN112055208B (zh) * 2020-08-22 2024-05-07 浙江大华技术股份有限公司 视频编码方法、设备及存储装置
CN112291565A (zh) * 2020-09-10 2021-01-29 浙江大华技术股份有限公司 视频编码方法及其相关装置
CN112291565B (zh) * 2020-09-10 2021-09-14 浙江大华技术股份有限公司 视频编码方法及其相关装置
CN112218075A (zh) * 2020-10-17 2021-01-12 浙江大华技术股份有限公司 候选列表的填充方法、电子设备、计算机可读存储介质
CN112218075B (zh) * 2020-10-17 2022-10-28 浙江大华技术股份有限公司 候选列表的填充方法、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN110460859B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN110460859A (zh) 历史运动矢量列表的使用方法、编解码器及存储装置
CN110213590B (zh) 时域运动矢量获取、帧间预测、视频编码的方法及设备
CN107534770B (zh) 图像预测方法和相关设备
TWI708504B (zh) 幀內塊複製與解碼器側運動矢量細化的交互
JP7313816B2 (ja) 画像予測方法および関連装置
TWI353183B (en) Method and apparatus for processing a video signal
CN108848380A (zh) 视频编码和解码方法、装置、计算机设备及存储介质
CN101511017B (zh) 基于网格的立体视频空间可分级编码器及其编码方法
CN104170389B (zh) 运动向量预测器的产生方法和装置及视点间运动向量预测器候选的产生方法
CN110519600A (zh) 帧内帧间联合预测方法、装置、编解码器及存储装置
CN108833923A (zh) 视频编码、解码方法、装置、存储介质和计算机设备
CN105474640B (zh) 三维视频编码的摄像机参数发信的方法和装置
CN104704819A (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
KR20140021952A (ko) 멀티뷰 비디오 시퀀스 코딩을 위한 적응형 프레임 예측 방법
TW201251470A (en) Video decoding apparatus, video coding apparatus, video decoding method, video coding method, and storage medium
CN101346998A (zh) 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质
CN110312130B (zh) 基于三角模式的帧间预测、视频编码方法及设备
CN104718760A (zh) 运动矢量推导三维视频编码的方法和装置
CN101023672A (zh) 在可调整视频编码中用于运动预测的系统和方法
CN110545425B (zh) 一种帧间预测方法、终端设备以及计算机存储介质
CN109688407A (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
CN104904206A (zh) 用于三维视频编解码中直接和跳跃模式的空间运动矢量预测推导方法和装置
US20230328233A1 (en) Reference frame selection method and apparatus, device, and medium
CN108848377A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108111833A (zh) 用于立体视频编解码的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant