CN111919439B - 一种运动矢量的获取方法和装置、一种运动矢量集合的构建方法和装置及计算机可读存储介质 - Google Patents

一种运动矢量的获取方法和装置、一种运动矢量集合的构建方法和装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111919439B
CN111919439B CN201880091656.5A CN201880091656A CN111919439B CN 111919439 B CN111919439 B CN 111919439B CN 201880091656 A CN201880091656 A CN 201880091656A CN 111919439 B CN111919439 B CN 111919439B
Authority
CN
China
Prior art keywords
vector
motion vector
motion
difference
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880091656.5A
Other languages
English (en)
Other versions
CN111919439A (zh
Inventor
陈旭
郑建铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210046082.8A priority Critical patent/CN114513671B/zh
Publication of CN111919439A publication Critical patent/CN111919439A/zh
Application granted granted Critical
Publication of CN111919439B publication Critical patent/CN111919439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Abstract

本申请实施例公开了一种运动矢量的获取方法和装置、一种运动矢量集合的构建方法和装置及计算机可读存储介质,该方法包括:从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量;基于第一运动矢量,计算获得第二运动矢量,其中,第一运动矢量和第二运动矢量具有预设矢量差,第一运动矢量和第二运动矢量不相同;将第二运动矢量加入第一运动矢量集合以形成第二运动矢量集合;从第二运动矢量集合中,获取目标运动矢量。

Description

一种运动矢量的获取方法和装置、一种运动矢量集合的构建 方法和装置及计算机可读存储介质
技术领域
本申请涉及视频编解码技术领域,尤其涉及一种视频的编解码方法和装置。
背景技术
数字视频技术可广泛应用于各种装置中,包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、笔记本电脑、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话、视频电话会议装置、视频流式发射装置及其类似者。数字视频装置实施视频解码技术,例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10 部分先进视频解码(AVC)、ITU-T H.265(也被称作高效率视频解码(HEVC))所定义的标准及这些标准的扩展中所描述的视频解码技术。数字视频装置可通过实施这些视频解码技术来更有效地发送、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图像内)预测和/或时间(图像间)预测,以减少或移除视频序列中固有的冗余信息。对于基于块的视频解码,可将视频块分割成视频块,视频块还可被称作树块、编码单元/解码单元(coding unit,CU)或编码节点/解码节点。使用位于同一图像中的相邻块中的参考样本的空间预测来编码图像的帧内解码(I)条带中的视频块。图像的帧间解码(P或B)条带中的视频块可使用位于同一图像中的相邻块中的参考样本的空间预测或位于其它参考图像中的参考样本的时间预测。图像可被称作帧,且参考图像可被称作参考帧。
发明内容
本申请实施例提供了一种视频编解码的方法以及相关设备,主要涉及运动矢量的获取,实施本申请实施例,有利于实现在编解码过程中获得待处理块的最佳参考图像块,进而构建出待处理块准确的重构块,提高编码效率。
本申请的第一方面,提供了一种运动矢量的获取方法,所述方法用于视频编码,包括:从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量;基于所述第一运动矢量,计算获得第二运动矢量,其中,所述第一运动矢量和所述第二运动矢量具有预设矢量差,所述第一运动矢量和所述第二运动矢量不相同;将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合;从所述第二运动矢量集合中,获取目标运动矢量。
该实施方式的有益效果在于,通过原有的候选运动矢量推导新的候选运动矢量,丰富了候选运动矢量集合,为获得更准确的运动矢量提供了可能性,提高了编码效率。
在本申请第一方面的第一种可行的实施方式中,所述基于所述第一运动矢量,计算获得第二运动矢量,包括:将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量。
该实施方式的有益效果在于:新生成的候选运动矢量以原有的运动矢量为基础,以预设矢量差作矢量的偏移量,相当于提高了候选运动矢量的精度。
在本申请第一方面的第二种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量,包括:将所述第一向第一运动矢量和所述第一向预设矢量差相加,以获得第一向第二运动矢量;将所述第二向第一运动矢量和所述第二向预设矢量差相加,以获得第二向第二运动矢量。
该实施方式的有益效果在于:将本申请实施例中的方案应用于双向预测,提高了双向预测的编码效率。
在本申请第一方面的第三种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第一方面的第四种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第一方面的第五种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第一方面的第六种可行的实施方式中,所述从所述第二运动矢量集合中,获取目标运动矢量,包括:根据率失真准则,从所述第二运动矢量集合中,选择编码代价最小的一个运动矢量,作为所述目标运动矢量。
该实施方式的有益效果在于:通过率失真准则,准确地选择率失真最优的一个候选运动矢量作为目标运动矢量。
在本申请第一方面的第七种可行的实施方式中,所述预设矢量差为多个互不相同的矢量差;对应的,所述将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量,包括:将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量;对应的,所述将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合,包括:将所述获得的多个第二运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
该实施方式的有益效果在于:进一步丰富候选运动矢量集合中的运动矢量,更大可能地提高预测的准确度。
在本申请第一方面的第八种可行的实施方式中,在所述将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量之后,还包括:根据率失真准则,从所述多个第二运动矢量中,选择编码代价最小的一个运动矢量,作为第三运动矢量;对应的,所述将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合,包括:将所述第三运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
该实施方式的有益效果在于:通过率失真准则,准确地选择率失真最优的一个候选运动矢量作为第三运动矢量。
在本申请第一方面的第九种可行的实施方式中,所述方法还包括:编码第一标识信息,所述第一标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
该实施方式的有益效果在于:通过编码标识信息,将编码端的编码结果传递给解码端,以使解码端正常解码。
在本申请第一方面的第十种可行的实施方式中,所述方法还包括:编码第二标识信息,所述第二标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
该实施方式的有益效果在于:通过编码标识信息,将编码端的编码结果传递给解码端,以使解码端正常解码。
在本申请第一方面的第十一种可行的实施方式中,所述方法还包括:编码第三标识信息,所述第三标识信息用于从所述多个第二运动矢量中标识所述第三运动矢量。
该实施方式的有益效果在于:通过编码标识信息,将编码端的编码结果传递给解码端,以使解码端正常解码。
在本申请第一方面的第十二种可行的实施方式中,所述第一运动矢量集合中的运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
该实施方式的有益效果在于:将和待处理块具有时间或空间相关性的参考块的运动矢量或者运动矢量的推导作为候选运动矢量,提高了预测的准确度。
本申请的第二方面提供了一种运动矢量的获取方法,所述方法用于视频解码,包括:解析码流获得第一标识信息;根据所述第一标识信息,从待处理图像块的候选运动矢量集合中,获取第二运动矢量,其中,所述候选运动矢量集合包括第一运动矢量和所述第二运动矢量,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得。
该实施方式的有益效果在于,通过原有的候选运动矢量推导新的候选运动矢量,丰富了候选运动矢量集合,为获得更准确的运动矢量提供了可能性,提高了编码效率。
在本申请第二方面的第一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
该实施方式的有益效果在于:将和待处理块具有时间或空间相关性的参考块的运动矢量或者运动矢量的推导作为候选运动矢量,提高了预测的准确度。
在本申请第二方面的第二种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得,包括:所述第一向第二运动矢量由所述第一向第一运动矢量和所述第一向预设矢量差相加获得;所述第二向第二运动矢量由所述第二向第一运动矢量和所述第二向预设矢量差相加获得。
该实施方式的有益效果在于:将本申请实施例中的方案应用于双向预测,提高了双向预测的编码效率。
在本申请第二方面的第三种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第二方面的第四种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第二方面的第五种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
本申请第三方面提供了一种运动矢量的获取方法,所述方法用于视频解码,包括:解析码流获得第一标识信息;根据所述第一标识信息,从待处理图像块的第一运动矢量集合中,获取第一运动矢量;解析码流获得第二标识信息;根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量,其中,所述第二运动矢量集合根据所述第一运动矢量确定,所述第一运动矢量和所述第二运动矢量具有多个互不相同的预设矢量差。
该实施方式的有益效果在于,通过原有的候选运动矢量推导新的候选运动矢量,丰富了候选运动矢量集合,为获得更准确的运动矢量提供了可能性,提高了编码效率。
在本申请第三方面的第一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
该实施方式的有益效果在于:将和待处理块具有时间或空间相关性的参考块的运动矢量或者运动矢量的推导作为候选运动矢量,提高了预测的准确度。
在本申请第三方面的第二种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第一运动矢量和所述第二运动矢量具有预设矢量差,包括:所述第一向第一运动矢量和所述第一向第二运动矢量具有所述第一向预设矢量差;所述第二向第一运动矢量和所述第二向第二运动矢量具有所述第二向预设矢量差。
该实施方式的有益效果在于:将本申请实施例中的方案应用于双向预测,提高了双向预测的编码效率。
在本申请第三方面的第三种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第三方面的第四种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第三方面的第五种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
该实施方式的有益效果在于:通过第一向预设矢量差推导第二向预设矢量差,节约了存储预设矢量差的空间,或者在一些实施例中,还可以节省编码第二向预设矢量差的码率。
在本申请第三方面的第六种可行的实施方式中,在所述根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量之前,还包括:将所述第一运动矢量分别和所述多个预设矢量差相加,以获得多个第三运动矢量,其中,所述多个第三运动矢量组成所述第二运动矢量集合。
该实施方式的有益效果在于:进一步丰富候选运动矢量集合中的运动矢量,更大可能地提高预测的准确度。
在本申请第三方面的第七种可行的实施方式中,所述预设矢量差包括零矢量差。
该实施方式的有益效果在于:避免了遗漏未加入预设矢量差的运动矢量作为最优运动矢量的可能性。
本申请的第四方面提供了一种运动矢量集合的构建方法,所述方法用于视频编码或视频解码,包括:获取待处理图像块的第一运动矢量集合中的第一运动矢量;将所述第一运动矢量和预设的一个或多个矢量差分别相加,以获得一个或多个第二运动矢量,所述第一运动矢量和所述第二运动矢量不相等;将所述一个或多个第二运动矢量加入所述第一运动矢量集合,以形成所述待处理图像块的第二运动矢量集合。
该实施方式的有益效果在于,通过原有的候选运动矢量推导新的候选运动矢量,丰富了候选运动矢量集合,为获得更准确的运动矢量提供了可能性,提高了编码效率。
在本申请第四方面的第一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
该实施方式的有益效果在于:将和待处理块具有时间或空间相关性的参考块的运动矢量或者运动矢量的推导作为候选运动矢量,提高了预测的准确度。
在本申请第四方面的第二种可行的实施方式中,所述一个或多个第二运动矢量包括一个第三运动矢量,所述将所述一个或多个第二运动矢量加入所述第一运动矢量集合,包括:当所述第三运动矢量与所述第一运动矢量集合中的任一运动矢量不相同时,将所述第三运动矢量加入所述第一运动矢量集合。
该实施方式的有益效果在于:避免了相同候选运动矢量的重复运算。
本申请的第五方面提供了一种运动矢量的获取装置,所述装置用于视频编码,包括:获取模块,用于从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量;计算模块,用于基于所述第一运动矢量,计算获得第二运动矢量,其中,所述第一运动矢量和所述第二运动矢量具有预设矢量差,所述第一运动矢量和所述第二运动矢量不相同;组合模块,用于将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合;获取模块,用于从所述第二运动矢量集合中,获取目标运动矢量。
在本申请第五方面的第一种可行的实施方式中,所述计算模块具体用于:将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量。
在本申请第五方面的第二种可行的实施方式中,当所述装置用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述计算模块具体用于:将所述第一向第一运动矢量和所述第一向预设矢量差相加,以获得第一向第二运动矢量;将所述第二向第一运动矢量和所述第二向预设矢量差相加,以获得第二向第二运动矢量。
在本申请第五方面的第三种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在本申请第五方面的第四种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在本申请第五方面的第五种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
在本申请第五方面的第六种可行的实施方式中,所述获取模块具体用于:根据率失真准则,从所述第二运动矢量集合中,选择编码代价最小的一个运动矢量,作为所述目标运动矢量。
在本申请第五方面的第七种可行的实施方式中,所述预设矢量差为多个互不相同的矢量差;对应的,所述计算模块具体用于:将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量;对应的,所述组合模块具体用于:将所述获得的多个第二运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
在本申请第五方面的第八种可行的实施方式中,所述获取模块具体用于:根据率失真准则,从所述多个第二运动矢量中,选择编码代价最小的一个运动矢量,作为第三运动矢量;对应的,所述组合模块具体用于:将所述第三运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
在本申请第五方面的第九种可行的实施方式中,所述装置还包括:编码模块,用于编码第一标识信息,所述第一标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
在本申请第五方面的第十种可行的实施方式中,所述编码模块还用于:编码第二标识信息,所述第二标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
在本申请第五方面的第十一种可行的实施方式中,所述编码模块还用于:编码第三标识信息,所述第三标识信息用于从所述多个第二运动矢量中标识所述第三运动矢量。
在本申请第五方面的第十二种可行的实施方式中,所述第一运动矢量集合中的运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
本申请的第六方面提供了一种运动矢量的获取装置,所述装置用于视频解码,包括:解析模块,用于解析码流获得第一标识信息;获取模块,用于根据所述第一标识信息,从待处理图像块的候选运动矢量集合中,获取第二运动矢量,其中,所述候选运动矢量集合包括第一运动矢量和所述第二运动矢量,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得。
在本申请第六方面的第一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在本申请第六方面的第二种可行的实施方式中,当所述装置用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得,包括:所述第一向第二运动矢量由所述第一向第一运动矢量和所述第一向预设矢量差相加获得;所述第二向第二运动矢量由所述第二向第一运动矢量和所述第二向预设矢量差相加获得。
在本申请第六方面的第三种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在本申请第六方面的第四种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在本申请第六方面的第五种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
本申请的第七方面提供了一种运动矢量的获取装置,所述装置用于视频解码,包括:解析模块,用于解析码流获得第一标识信息;获取模块,用于根据所述第一标识信息,从待处理图像块的第一运动矢量集合中,获取第一运动矢量;所述解析模块,还用于解析码流获得第二标识信息;所述获取模块,还用于根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量,其中,所述第二运动矢量集合根据所述第一运动矢量确定,所述第一运动矢量和所述第二运动矢量具有多个互不相同的预设矢量差。
在本申请第七方面的第一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在本申请第七方面的第二种可行的实施方式中,当所述装置用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第一运动矢量和所述第二运动矢量具有预设矢量差,包括:所述第一向第一运动矢量和所述第一向第二运动矢量具有所述第一向预设矢量差;所述第二向第一运动矢量和所述第二向第二运动矢量具有所述第二向预设矢量差。
在本申请第七方面的第三种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在本申请第七方面的第四种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在本申请第七方面的第五种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
在本申请第七方面的第六种可行的实施方式中,所述装置还包括计算模块,所述计算模块用于:将所述第一运动矢量分别和所述多个预设矢量差相加,以获得多个第三运动矢量,其中,所述多个第三运动矢量组成所述第二运动矢量集合。
在本申请第七方面的第七种可行的实施方式中,所述预设矢量差包括零矢量差。
本申请的第八方面提供了一种运动矢量集合的构建装置,所述装置用于视频编码或视频解码,其特征在于,包括:获取模块,用于获取待处理图像块的第一运动矢量集合中的第一运动矢量;计算模块,用于将所述第一运动矢量和预设的一个或多个矢量差分别相加,以获得一个或多个第二运动矢量,所述第一运动矢量和所述第二运动矢量不相等;组合模块,用于将所述一个或多个第二运动矢量加入所述第一运动矢量集合,以形成所述待处理图像块的第二运动矢量集合。
在本申请第八方面的第一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在本申请第八方面的第二种可行的实施方式中,所述组合模块具体用于:当所述第三运动矢量与所述第一运动矢量集合中的任一运动矢量不相同时,将所述第三运动矢量加入所述第一运动矢量集合。
本申请第九方面提供一种获取运动矢量的设备,该设备包括:设备可以是应用于编码侧,也可以是应用于解码侧。该设备包括处理器、存储器,所述处理器和存储器相连接(如通过总线相互连接),在可能的实施方式中,该设备还可包括收发器,收发器连接处理器和存储器,用于接收/发送数据。存储器用于存储程序代码和视频数据。处理器可用于读取所存储器中存储的程序代码,执行第一至四任一方面所描述的方法。
本申请第十方面提供一种视频编解码系统,该视频编解码系统包括源装置及目的地装置。源装置与目的地装置可进行通信连接。源装置产生经编码视频数据。因此,源装置可被称作视频编码装置或视频编码设备。目的地装置可解码由源装置产生的经编码视频数据。因此,目的地装置可被称作视频解码装置或视频解码设备。源装置及目的地装置可为视频编解码装置或视频编解码设备的实例。第一至四任一方面所描述的方法会应用在该视频编解码装置或视频编解码设备。
本申请第十一方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一至四任一方面所述的方法。
本申请第十二方面提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一至四任一方面所述的方法。
应理解,本申请第五至十二方面与本申请第一至四方面对应的实施例发明目的相同,技术特征相似,获得的有益技术效果也相同,不再赘述。
附图说明
图1为示例性的可通过配置以用于本申请实施例的一种视频编码及解码的系统框图;
图2为示例性的可通过配置以用于本申请实施例的一种视频编码器的系统框图;
图3为示例性的可通过配置以用于本申请实施例的一种视频解码器的系统框图;
图4为示例性的可通过配置以用于本申请实施例的一种帧间预测模块的框图;
图5为示例性的一种合并预测模式的实施流程图;
图6为示例性的一种高级运动矢量预测模式的实施流程图;
图7为示例性的可通过配置以用于本申请实施例的一种由视频解码器执行的运动补偿的实施流程图;
图8为示例性的一种编码单元及与其关联的相邻位置图像块的示意图;
图9为示例性的一种构建候选预测运动矢量列表的实施流程图;
图10为示例性的一种将经过组合的候选运动矢量添加到合并模式候选预测运动矢量列表的实施示意图;
图11为示例性的一种将经过缩放的候选运动矢量添加到合并模式候选预测运动矢量列表的实施示意图;
图12为示例性的一种将零运动矢量添加到合并模式候选预测运动矢量列表的实施示意图;
图13为示例性的另一种编码单元及与其关联的相邻位置图像块的示意图;
图14为示例性的一种构建候选运动矢量集合方法的流程图;
图15为示例性的二维直角坐标系下运动矢量的表示的示意图;
图16为示例性的一种构建候选运动矢量集合方法的示意图;
图17为本申请实施例中候选运动矢量集合的构建方法应用于视频编码的一个示意性流程图;
图18为本申请实施例中候选运动矢量集合的构建方法应用于视频编码的另一个示意性流程图;
图19为本申请实施例中候选运动矢量集合的构建方法应用于视频编码的又一个示意性流程图;
图20为本申请实施例中候选运动矢量集合的构建方法应用于视频解码的一个示意性流程图;
图21为本申请实施例中候选运动矢量集合的构建方法应用于视频解码的另一个示意性流程图;
图22为本申请实施例中构建候选运动矢量集合装置的一个示意性框图;
图23为本申请实施例中的用于视频编码的运动矢量获取装置的一个示意性框图;
图24为本申请实施例中的用于视频解码的运动矢量获取装置的一个示意性框图;
图25为本申请实施例中的用于视频解码的运动矢量获取装置的另一个示意性框图;
图26为本申请实施例的一种视频编解码装置的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
图1为本申请实施例中视频编码及解码系统10的一种示意性框图。如图1中所展示,系统10包含源装置12,源装置12产生将在稍后时间由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记型计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”触控板、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些应用中,源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个可行的实施方式中,链路16可包括使源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。可根据通信标准(例如,无线通信协议)调制经编码视频数据且将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频频谱或一个或多个物理传输线。通信媒体可形成基于包的网络(例如,局域网、广域网或因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可有用于促进从源装置12到目的地装置14的通信的任何其它装备。
替代地,可将经编码数据从输出接口22输出到存储装置24。类似地,可由输入接口从存储装置24存取经编码数据。存储装置24可包含多种分散式或本地存取的数据存储媒体中的任一者,例如,硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一可行的实施方式中,存储装置24可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置24 存取所存储视频数据。文件服务器可为能够存储经编码视频数据且将此经编码视频数据传输到目的地装置14的任何类型的服务器。可行的实施方式文件服务器包含网站服务器、文件传送协议服务器、网络附接存储装置或本地磁盘机。目的地装置14可经由包含因特网连接的任何标准数据连接存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接 (例如,缆线调制解调器等)或两者的组合。经编码视频数据从存储装置24的传输可为流式传输、下载传输或两者的组合。
本申请的技术不必限于无线应用或设定。技术可应用于视频解码以支持多种多媒体应用中的任一者,例如,空中电视广播、有线电视传输、卫星电视传输、流式传输视频传输(例如,经由因特网)、编码数字视频以用于存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频或其它应用。在一些可行的实施方式中,系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/ 或视频电话的应用。
在图1的可行的实施方式中,源装置12包含视频源18、视频编码器20及输出接口22。在一些应用中,输出接口22可包含调制器/解调制器(调制解调器)和/或传输器。在源装置12中,视频源18可包含例如以下各者的源:视频捕获装置(例如,摄像机)、含有先前捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口,和/ 或用于产生计算机图形数据作为源视频的计算机图形系统,或这些源的组合。作为一种可行的实施方式,如果视频源18为摄像机,那么源装置12及目的装置14可形成所谓的摄影机电话或视频电话。本申请中所描述的技术可示例性地适用于视频解码,且可适用于无线和/或有线应用。
可由视频编码器20来编码所捕获、预捕获或计算机产生的视频。经编码视频数据可经由源装置12的输出接口22直接传输到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置24上以供稍后由目的地装置14或其它装置存取以用于解码和/或播放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些应用中,输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或提供于存储装置24上的经编码视频数据可包含由视频编码器20产生以供视频解码器30的视频解码器使用以解码视频数据的多种语法元素。这些语法元素可与在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些可行的实施方式中,目的地装置14可包含集成显示装置且也经配置以与外部显示装置接口连接。在其它可行的实施方式中,目的地装置14可为显示装置。一般来说,显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如液晶显示器、等离子显示器、有机发光二极管显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据例如目前在开发中的下一代视频编解码压缩标准(H.266)操作且可遵照H.266测试模型(JEM)。替代地,视频编码器20及视频解码器30可根据例如ITU-TH.265标准,也称为高效率视频解码标准,或者,ITU-TH.264 标准的其它专属或工业标准或这些标准的扩展而操作,ITU-TH.264标准替代地被称为 MPEG-4第10部分,也称高级视频编码(advanced video coding,AVC)。然而,本申请的技术不限于任何特定解码标准。视频压缩标准的其它可行的实施方式包含MPEG-2和 ITU-TH.263。
尽管未在图1中展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用,那么在一些可行的实施方式中,MUX-DEMUX单元可遵照ITUH.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者,例如,一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。在技术部分地以软件实施时,装置可将软件的指令存储于合适的非暂时性计算机可读媒体中且使用一个或多个处理器以硬件执行指令,以执行本申请的技术。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中,其中的任一者可在相应装置中集成为组合式编码器/解码器(CODEC)的部分。
本申请示例性地可涉及视频编码器20将特定信息“用信号发送”到例如视频解码器30的另一装置。然而,应理解,视频编码器20可通过将特定语法元素与视频数据的各种经编码部分相关联来用信号发送信息。即,视频编码器20可通过将特定语法元素存储到视频数据的各种经编码部分的头信息来“用信号发送”数据。在一些应用中,这些语法元素可在通过视频解码器30接收及解码之前经编码及存储(例如,存储到存储系统34或文件服务器36)。因此,术语“用信号发送”示例性地可指语法或用于解码经压缩视频数据的其它数据的传达,而不管此传达是实时或近实时地发生或在时间跨度内发生,例如可在编码时将语法元素存储到媒体时发生,语法元素接着可在存储到此媒体之后的任何时间通过解码装置检索。
JCT-VC开发了H.265(HEVC)标准。HEVC标准化基于称作HEVC测试模型(HM)的视频解码装置的演进模型。H.265的最新标准文档可从 http://www.itu.int/rec/T-REC-H.265获得,最新版本的标准文档为H.265(12/16),该标准文档以全文引用的方式并入本文中。HM假设视频解码装置相对于 ITU-TH.264/AVC的现有算法具有若干额外能力。例如,H.264提供9种帧内预测编码模式,而HM可提供多达35种帧内预测编码模式。
JVET致力于开发H.266标准。H.266标准化的过程基于称作H.266测试模型的视频解码装置的演进模型。H.266的算法描述可从http://phenix.int-evry.fr/jvet获得,其中最新的算法描述包含于JVET-G1001-v1中,该算法描述文档以全文引用的方式并入本文中。同时,可从https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/获得JEM 测试模型的参考软件,同样以全文引用的方式并入本文中。
一般来说,HM的工作模型描述可将视频帧或图像划分成包含亮度及色度样本两者的树块或最大编码单元(largest coding unit,LCU)的序列,LCU也被称为CTU。树块具有与H.264标准的宏块类似的目的。条带包含按解码次序的数个连续树块。可将视频帧或图像分割成一个或多个条带。可根据四叉树将每一树块分裂成编码单元。例如,可将作为四叉树的根节点的树块分裂成四个子节点,且每一子节点可又为母节点且被分裂成另外四个子节点。作为四叉树的叶节点的最终不可分裂的子节点包括解码节点,例如,经解码视频块。与经解码码流相关联的语法数据可定义树块可分裂的最大次数,且也可定义解码节点的最小大小。
编码单元包含解码节点及预测单元(prediction unit,PU)以及与解码节点相关联的变换单元(transform unit,TU)。CU的大小对应于解码节点的大小且形状必须为正方形。CU的大小的范围可为8×8像素直到最大64×64像素或更大的树块的大小。每一CU 可含有一个或多个PU及一个或多个TU。例如,与CU相关联的语法数据可描述将CU分割成一个或多个PU的情形。分割模式在CU是被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码的情形之间可为不同的。PU可经分割成形状为非正方形。例如,与CU相关联的语法数据也可描述根据四叉树将CU分割成一个或多个TU的情形。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU进行变换,TU对于不同CU来说可为不同的。TU通常基于针对经分割LCU定义的给定CU内的PU的大小而设定大小,但情况可能并非总是如此。TU的大小通常与PU相同或小于PU。在一些可行的实施方式中,可使用称作“残余四叉树” (residualqualtree,RQT)的四叉树结构将对应于CU的残余样本再分成较小单元。RQT 的叶节点可被称作TU。可变换与TU相关联的像素差值以产生变换系数,变换系数可被量化。
一般来说,PU包含与预测过程有关的数据。例如,在PU经帧内模式编码时,PU可包含描述PU的帧内预测模式的数据。作为另一可行的实施方式,在PU经帧间模式编码时,PU可包含界定PU的运动矢量的数据。例如,界定PU的运动矢量的数据可描述运动矢量的水平分量、运动矢量的垂直分量、运动矢量的分辨率(例如,四分之一像素精确度或八分之一像素精确度)、运动矢量所指向的参考图像,和/或运动矢量的参考图像列表(例如,列表0、列表1或列表C)。
一般来说,TU使用变换及量化过程。具有一个或多个PU的给定CU也可包含一个或多个TU。在预测之后,视频编码器20可计算对应于PU的残余值。残余值包括像素差值,像素差值可变换成变换系数、经量化且使用TU扫描以产生串行化变换系数以用于熵解码。本申请通常使用术语“视频块”来指CU的解码节点。在一些特定应用中,本申请也可使用术语“视频块”来指包含解码节点以及PU及TU的树块,例如,LCU或CU。
视频序列通常包含一系列视频帧或图像。图像群组(group of picture,GOP)示例性地包括一系列、一个或多个视频图像。GOP可在GOP的头信息中、图像中的一者或多者的头信息中或在别处包含语法数据,语法数据描述包含于GOP中的图像的数目。图像的每一条带可包含描述相应图像的编码模式的条带语法数据。视频编码器20通常对个别视频条带内的视频块进行操作以便编码视频数据。视频块可对应于CU内的解码节点。视频块可具有固定或变化的大小,且可根据指定解码标准而在大小上不同。
作为一种可行的实施方式,HM支持各种PU大小的预测。假定特定CU的大小为2N×2N,HM支持2N×2N或N×N的PU大小的帧内预测,及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM也支持2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中,CU的一方向未分割,而另一方向分割成25%及75 %。对应于25%区段的CU的部分由“n”后跟着“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此,例如,“2N×nU”指水平分割的2N×2NCU,其中2N×0.5NPU在上部且2N×1.5NPU在底部。
在本申请中,“N×N”与“N乘N”可互换使用以指依照垂直维度及水平维度的视频块的像素尺寸,例如,16×16像素或16乘16像素。一般来说,16×16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样地,N×N块一股在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。可将块中的像素排列成行及列。此外,块未必需要在水平方向上与在垂直方向上具有相同数目个像素。例如,块可包括N×M个像素,其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性解码之后,视频编码器20可计算CU的TU的残余数据。PU可包括空间域(也称作像素域)中的像素数据,且TU可包括在将变换(例如,离散余弦变换(discrete cosine transform,DCT)、整数变换、小波变换或概念上类似的变换)应用于残余视频数据之后变换域中的系数。残余数据可对应于未经编码图像的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU,且接着变换TU以产生CU的变换系数。
在任何变换以产生变换系数之后,视频编码器20可执行变换系数的量化。量化示例性地指对系数进行量化以可能减少用以表示系数的数据的量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。例如,可在量化期间将n位值降值含位到m位值,其中n大于m。
JEM模型对视频图像的编码结构进行了进一步的改进,具体的,被称为“四叉树结合二叉树”(QTBT)的块编码结构被引入进来。QTBT结构摒弃了HEVC中的CU,PU,TU 等概念,支持更灵活的CU划分形状,一个CU可以正方形,也可以是长方形。一个CTU 首先进行四叉树划分,该四叉树的叶节点进一步进行二叉树划分。同时,在二叉树划分中存在两种划分模式,对称水平分割和对称竖直分割。二叉树的叶节点被称为CU, JEM的CU在预测和变换的过程中都不可以被进一步划分,也就是说JEM的CU,PU,TU具有相同的块大小。在现阶段的JEM中,CTU的最大尺寸为256×256亮度像素。
在一些可行的实施方式中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它可行的实施方式中,视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可根据上下文自适应性可变长度解码(CAVLC)、上下文自适应性二进制算术解码(CABAC)、基于语法的上下文自适应性二进制算术解码(SBAC)、概率区间分割熵(PIPE)解码或其他熵解码方法来熵解码一维向量。视频编码器20也可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
为了执行CABAC,视频编码器20可将上下文模型内的上下文指派给待传输的符号。上下文可与符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器20可选择待传输的符号的可变长度码。可变长度解码(VLC)中的码字可经构建以使得相对较短码对应于可能性较大的符号,而较长码对应于可能性较小的符号。以这个方式,VLC的使用可相对于针对待传输的每一符号使用相等长度码字达成节省码率的目的。基于指派给符号的上下文可以确定CABAC中的概率。
在本申请实施例中,视频编码器可执行帧间预测以减少图像之间的时间冗余。如前文所描述,根据不同视频压缩编解码标准的规定,CU可具有一个或多个预测单元 PU。换句话说,多个PU可属于CU,或者PU和CU的尺寸相同。在本文中当CU和PU 尺寸相同时,CU的分割模式为不分割,或者即为分割为一个PU,且统一使用PU进行表连。当视频编码器执行帧间预测时,视频编码器可用信号通知视频解码器用于PU 的运动信息。示例性的,PU的运动信息可以包括:参考图像索引、运动矢量和预测方向标识。运动矢量可指示PU的图像块(也称视频块、像素块、像素集合等)与PU的参考块之间的位移。PU的参考块可为类似于PU的图像块的参考图像的一部分。参考块可定位于由参考图像索引和预测方向标识指示的参考图像中。
为了减少表示PU的运动信息所需要的编码比特的数目,视频编码器可根据合并预测模式或高级运动矢量预测模式过程产生用于PU中的每一者的候选预测运动矢量(Motion Vector,MV)列表。用于PU的候选预测运动矢量列表中的每一候选预测运动矢量可指示运动信息。由候选预测运动矢量列表中的一些候选预测运动矢量指示的运动信息可基于其它PU的运动信息。如果候选预测运动矢量指示指定空间候选预测运动矢量位置或时间候选预测运动矢量位置中的一者的运动信息,则本申请可将所述候选预测运动矢量称作“原始”候选预测运动矢量。举例来说,对于合并模式,在本文中也称为合并预测模式,可存在五个原始空间候选预测运动矢量位置和一个原始时间候选预测运动矢量位置。在一些实例中,视频编码器可通过组合来自不同原始候选预测运动矢量的部分运动矢量、修改原始候选预测运动矢量或仅插入零运动矢量作为候选预测运动矢量来产生额外候选预测运动矢量。这些额外候选预测运动矢量不被视为原始候选预测运动矢量且在本申请中可称作人工产生的候选预测运动矢量。
本申请的技术一般涉及用于在视频编码器处产生候选预测运动矢量列表的技术和用于在视频解码器处产生相同候选预测运动矢量列表的技术。视频编码器和视频解码器可通过实施用于构建候选预测运动矢量列表的相同技术来产生相同候选预测运动矢量列表。举例来说,视频编码器和视频解码器两者可构建具有相同数目的候选预测运动矢量(例如,五个候选预测运动矢量)的列表。视频编码器和解码器可首先考虑空间候选预测运动矢量(例如,同一图像中的相邻块),接着考虑时间候选预测运动矢量(例如,不同图像中的候选预测运动矢量),且最后可考虑人工产生的候选预测运动矢量直到将所要数目的候选预测运动矢量添加到列表为止。根据本申请的技术,可在候选预测运动矢量列表构建期间针对某些类型的候选预测运动矢量利用修剪操作以便从候选预测运动矢量列表移除重复,而对于其它类型的候选预测运动矢量,可能不使用修剪以便减小解码器复杂性。举例来说,对于空间候选预测运动矢量集合和对于时间候选预测运动矢量,可执行修剪操作以从候选预测运动矢量的列表排除具有重复运动信息的候选预测运动矢量。然而,当将人工产生的候选预测运动矢量添加到候选预测运动矢量的列表时,可在不对人工产生的候选预测运动矢量执行修剪操作的情况下添加人工产生的候选预测运动矢量。
在产生用于CU的PU的候选预测运动矢量列表之后,视频编码器可从候选预测运动矢量列表选择候选预测运动矢量且在码流中输出候选预测运动矢量索引。选定候选预测运动矢量可为具有产生最紧密地匹配正被解码的目标PU的预测子的运动矢量的候选预测运动矢量。候选预测运动矢量索引可指示在候选预测运动矢量列表中选定候选预测运动矢量的位置。视频编码器还可基于由PU的运动信息指示的参考块产生用于 PU的预测性图像块。可基于由选定候选预测运动矢量指示的运动信息确定PU的运动信息。举例来说,在合并模式中,PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。在AMVP模式中,PU的运动信息可基于PU的运动矢量差和由选定候选预测运动矢量指示的运动信息确定。视频编码器可基于CU的PU的预测性图像块和用于CU的原始图像块产生用于CU的一或多个残余图像块。视频编码器可接着编码一或多个残余图像块且在码流中输出一或多个残余图像块。
码流可包括识别PU的候选预测运动矢量列表中的选定候选预测运动矢量的数据。视频解码器可基于由PU的候选预测运动矢量列表中的选定候选预测运动矢量指示的运动信息确定PU的运动信息。视频解码器可基于PU的运动信息识别用于PU的一或多个参考块。在识别PU的一或多个参考块之后,视频解码器可基于PU的一或多个参考块产生用于PU的预测性图像块。视频解码器可基于用于CU的PU的预测性图像块和用于CU的一或多个残余图像块来重构用于CU的图像块。
为了易于解释,本申请可将位置或图像块描述为与CU或PU具有各种空间关系。此描述可解释为是指位置或图像块和与CU或PU相关联的图像块具有各种空间关系。此外,本申请可将视频解码器当前在解码的PU称作当前PU,也称为当前待处理图像块。本申请可将视频解码器当前在解码的CU称作当前CU。本申请可将视频解码器当前在解码的图像称作当前图像。应理解,本申请同时适用于PU和CU具有相同尺寸,或者PU即为CU的情况,统一使用PU来表示。
如前文简短地描述,视频编码器20可使用帧间预测以产生用于CU的PU的预测性图像块和运动信息。在许多例子中,给定PU的运动信息可能与一或多个附近PU(即,其图像块在空间上或时间上在给定PU的图像块附近的PU)的运动信息相同或类似。因为附近PU经常具有类似运动信息,所以视频编码器20可参考附近PU的运动信息来编码给定PU的运动信息。参考附近PU的运动信息来编码给定PU的运动信息可减少码流中指示给定PU的运动信息所需要的编码比特的数目。
视频编码器20可以各种方式参考附近PU的运动信息来编码给定PU的运动信息。举例来说,视频编码器20可指示给定PU的运动信息与附近PU的运动信息相同。本申请可使用合并模式来指代指示给定PU的运动信息与附近PU的运动信息相同或可从附近PU的运动信息导出。在另一可行的实施方式中,视频编码器20可计算用于给定PU 的运动矢量差(Motion Vector Difference,MVD)。MVD指示给定PU的运动矢量与附近PU的运动矢量之间的差。视频编码器20可将MVD而非给定PU的运动矢量包括于给定PU的运动信息中。在码流中表示MVD比表示给定PU的运动矢量所需要的编码比特少。本申请可使用高级运动矢量预测模式指代通过使用MVD和识别候选者运动矢量的索引值来用信号通知解码端给定PU的运动信息。
为了使用合并模式或AMVP模式来用信号通知解码端给定PU的运动信息,视频编码器20可产生用于给定PU的候选预测运动矢量列表。候选预测运动矢量列表可包括一或多个候选预测运动矢量。用于给定PU的候选预测运动矢量列表中的候选预测运动矢量中的每一者可指定运动信息。由每一候选预测运动矢量指示的运动信息可包括运动矢量、参考图像索引和预测方向标识。候选预测运动矢量列表中的候选预测运动矢量可包括“原始”候选预测运动矢量,其中每一者指示不同于给定PU的PU内的指定候选预测运动矢量位置中的一者的运动信息。
在产生用于PU的候选预测运动矢量列表之后,视频编码器20可从用于PU的候选预测运动矢量列表选择候选预测运动矢量中的一者。举例来说,视频编码器可比较每一候选预测运动矢量与正被解码的PU且可选择具有所要码率-失真代阶的候选预测运动矢量。视频编码器20可输出用于PU的候选预测运动矢量索引。候选预测运动矢量索引可识别选定候选预测运动矢量在候选预测运动矢量列表中的位置。
此外,视频编码器20可基于由PU的运动信息指示的参考块产生用于PU的预测性图像块。可基于由用于PU的候选预测运动矢量列表中的选定候选预测运动矢量指示的运动信息确定PU的运动信息。举例来说,在合并模式中,PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。在AMVP模式中,可基于用于PU的运动矢量差和由选定候选预测运动矢量指示的运动信息确定PU的运动信息。视频编码器20可如前文所描述处理用于PU的预测性图像块。
当视频解码器30接收到码流时,视频解码器30可产生用于CU的PU中的每一者的候选预测运动矢量列表。由视频解码器30针对PU产生的候选预测运动矢量列表可与由视频编码器20针对PU产生的候选预测运动矢量列表相同。从码流中解析得到的语法元素可指示在PU的候选预测运动矢量列表中选定候选预测运动矢量的位置。在产生用于PU的候选预测运动矢量列表之后,视频解码器30可基于由PU的运动信息指示的一或多个参考块产生用于PU的预测性图像块。视频解码器30可基于由用于PU的候选预测运动矢量列表中的选定候选预测运动矢量指示的运动信息确定PU的运动信息。视频解码器30可基于用于PU的预测性图像块和用于CU的残余图像块重构用于CU的图像块。
应理解,在一种可行的实施方式中,在解码端,候选预测运动矢量列表的构建与从码流中解析选定候选预测运动矢量在候选预测运动矢量列表中的位置是相互独立,可以任意先后或者并行进行的。
在另一种可行的实施方式中,在解码端,首先从码流中解析选定候选预测运动矢量在候选预测运动矢量列表中的位置,根据解析出来的位置构建候选预测运动矢量列表,在该实施方式中,不需要构建全部的候选预测运动矢量列表,只需要构建到该解析出来的位置处的候选预测运动矢量列表,即能够确定该位置出的候选预测运动矢量即可。举例来说,当解析码流得出选定的候选预测运动矢量为候选预测运动矢量列表中索引为3的候选预测运动矢量时,仅需要构建从索引为0到索引为3的候选预测运动矢量列表,即可确定索引为3的候选预测运动矢量,可以达到减小复杂度,提高解码效率的技术效果。
图2为本申请实施例中视频编码器20的一种示意性框图。视频编码器20可执行视频条带内的视频块的帧内解码和帧间解码。帧内解码依赖于空间预测来减少或去除给定视频帧或图像内的视频的空间冗余。帧间解码依赖于时间预测来减少或去除视频序列的邻近帧或图像内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的压缩模式中的任一者。
在图2的可行的实施方式中,视频编码器20包含分割单元35、预测单元41、参考图像存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测单元41 包含运动估计单元42、运动补偿单元44和帧内预测模块46。对于视频块重构建,视频编码器20也包含反量化单元58、反变换单元60和求和器62。也可包含解块滤波器(图2 中未展示)以对块边界进行滤波从而从经重构建视频中去除块效应伪影。在需要时,解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外,也可使用额外环路滤波器(环路内或环路后)。
如图2中所展示,视频编码器20接收视频数据,且分割单元35将数据分割成视频块。此分割也可包含分割成条带、图像块或其它较大单元,以及(例如)根据LCU及CU的四叉树结构进行视频块分割。视频编码器20示例性地说明编码在待编码的视频条带内的视频块的组件。一般来说,条带可划分成多个视频块(且可能划分成称作图像块的视频块的集合)。
预测单元41可基于编码质量与代价计算结果(例如,码率-失真代价,RDcost,也称率失真代价)选择当前视频块的多个可能解码模式中的一者,例如多个帧内解码模式中的一者或多个帧间解码模式中的一者。预测单元41可将所得经帧内解码或经帧间解码块提供到求和器50以产生残余块数据且将所得经帧内解码或经帧间解码块提供到求和器62以重构建经编码块从而用作参考图像。
预测单元41内的运动估计单元42及运动补偿单元44执行相对于一个或多个参考图像中的一个或多个预测性块的当前视频块的帧间预测性解码以提供时间压缩。运动估计单元42可经配置以根据视频序列的预定模式确定视频条带的帧间预测模式。预定模式可将序列中的视频条带指定为P条带、B条带或GPB条带。运动估计单元42及运动补偿单元44可高度集成,但为概念目的而分别说明。通过运动估计单元42所执行的运动估计为产生估计视频块的运动矢量的过程。例如,运动矢量可指示当前视频帧或图像内的视频块的PU相对于参考图像内的预测性块的位移。
预测性块为依据像素差而被发现为紧密匹配待解码的视频块的PU的块,像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些可行的实施方式中,视频编码器20可计算存储于参考图像存储器64中的参考图像的子整数(sub-integer) 像素位置的值。例如,视频编码器20可内插参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动矢量。
运动估计单元42通过比较PU的位置与参考图像的预测性块的位置而计算经帧间解码条带中的视频块的PU的运动矢量。可从第一参考图像列表(列表0)或第二参考图像列表(列表1)选择参考图像,列表中的每一者识别存储于参考图像存储器64中的一个或多个参考图像。运动估计单元42将经计算运动矢量发送到熵编码单元56及运动补偿单元 44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计所确定的运动矢量提取或产生预测性块,可能执行到子像素精确度的内插。在接收当前视频块的PU的运动矢量后,运动补偿单元44即可在参考图像列表中的一者中定位运动矢量所指向的预测性块。视频编码器20通过从正经解码的当前视频块的像素值减去预测性块的像素值来形成残余视频块,从而形成像素差值。像素差值形成块的残余数据,且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一个或多个组件。运动补偿单元44也可产生与视频块及视频条带相关联的语法元素以供视频解码器30用于解码视频条带的视频块。
如果PU位于B条带中,则含有PU的图像可与称作“列表0”和“列表1”的两个参考图像列表相关联。在一些可行的实施方式中,含有B条带的图像可与为列表0和列表1的组合的列表组合相关联。
此外,如果PU位于B条带中,则运动估计单元42可针对PU执行单向预测或双向预测,其中,在一些可行的实施方式中,双向预测为分别基于列表0和列表1的参考图像列表的图像进行的预测,在另一些可行的实施方式中,双向预测为分别基于当前帧在显示顺序上的已重建的未来帧和已重建的过去帧进行的预测。当运动估计单元42 针对PU执行单向预测时,运动估计单元42可在列表0或列表1的参考图像中搜索用于PU的参考块。运动估计单元42可接着产生指示列表0或列表1中的含有参考块的参考图像的参考索引和指示PU与参考块之间的空间位移的运动矢量。运动估计单元 42可输出参考索引、预测方向标识和运动矢量作为PU的运动信息。预测方向标识可指示参考索引指示列表0或列表1中的参考图像。运动补偿单元44可基于由PU的运动信息指示的参考块产生PU的预测性图像块。
当运动估计单元42针对PU执行双向预测时,运动估计单元42可在列表0中的参考图像中搜索用于PU的参考块且还可在列表1中的参考图像中搜索用于PU的另一参考块。运动估计单元42可接着产生指示列表0和列表1中的含有参考块的参考图像的参考索引和指示参考块与PU之间的空间位移的运动矢量。运动估计单元42可输出PU 的参考索引和运动矢量作为PU的运动信息。运动补偿单元44可基于由PU的运动信息指示的参考块产生PU的预测性图像块。
在一些可行的实施方式中,运动估计单元42不向熵编码模块56输出用于PU的运动信息的完整集合。而是,运动估计单元42可参考另一PU的运动信息来用信号通知 PU的运动信息。举例来说,运动估计单元42可确定PU的运动信息充分类似于相邻PU 的运动信息。在此实施方式中,运动估计单元42可在与PU相关联的语法结构中指示一个指示值,所述指示值向视频解码器30指示PU具有与相邻PU相同的运动信息或具有可从相邻PU导出的运动信息。在另一实施方式中,运动估计单元42可在与PU相关联的语法结构中识别与相邻PU相关联的候选预测运动矢量和运动矢量差(MVD)。MVD 指示PU的运动矢量和与相邻PU相关联的所指示候选预测运动矢量之间的差。视频解码器30可使用所指示候选预测运动矢量和MVD来确定PU的运动矢量。
如前文所描述,预测模块41可产生用于CU的每一PU的候选预测运动矢量列表。候选预测运动矢量列表中的一或多考可包括一或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一或多个额外候选预测运动矢量。
预测单元41内的帧内预测单元46可执行相对于在与待解码的当前块相同的图像或条带中的一个或多个相邻块的当前视频块的帧内预测性解码以提供空间压缩。因此,作为通过运动估计单元42及运动补偿单元44执行的帧间预测(如前文所描述)的替代,帧内预测单元46可帧内预测当前块。明确地说,帧内预测单元46可确定用以编码当前块的帧内预测模式。在一些可行的实施方式中,帧内预测单元46可(例如)在单独编码遍历期间使用各种帧内预测模式来编码当前块,且帧内预测单元46(或在一些可行的实施方式中,模式选择单元40)可从经测试模式选择使用的适当帧内预测模式。
在预测单元41经由帧间预测或帧内预测产生当前视频块的预测性块之后,视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一个或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换的变换(例如,离散正弦变换DST)将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如,频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步减小码率。量化过程可减少与系数中的一些或全部相关联的比特深度。可通过调整量化参数来修改量化的程度。在一些可行的实施方式中,量化单元54可接着执行包含经量化变换系数的矩阵的扫描。替代地,熵编码单元56可执行扫描。
在量化之后,熵编码单元56可熵编码经量化变换系数。例如,熵编码单元56可执行上下文自适应性可变长度解码(CAVLC)、上下文自适应性二进制算术解码(CABAC)、基于语法的上下文自适应性二进制算术解码(SBAC)、概率区间分割熵(PIPE)解码或另一熵编码方法或技术。熵编码单元56也可熵编码正经解码的当前视频条带的运动矢量及其它语法元素。在通过熵编码单元56进行熵编码之后,可将经编码码流传输到视频解码器30或存档以供稍后传输或由视频解码器30检索。
熵编码单元56可编码根据本申请的技术指示选定帧内预测模式的信息。视频编码器20可在可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也称作码字映射表)的所传输码流配置数据中包含各种块的编码上下文的定义及用于上下文中的每一者的MPM、帧内预测模式索引表和经修改帧内预测模式索引表的指示。
反量化单元58及反变换单元60分别应用反量化及反变换,以在像素域中重构建残余块以供稍后用作参考图像的参考块。运动补偿单元44可通过将残余块与参考图像列表中的一者内的参考图像中的一者的预测性块相加来计算参考块。运动补偿单元44也可将一个或多个内插滤波器应用于经重构建残余块以计算子整数像素值以用于运动估计。求和器62将经重构建残余块与通过运动补偿单元44所产生的经运动补偿的预测块相加以产生参考块以供存储于参考图像存储器64中。参考块可由运动估计单元42及运动补偿单元44用作参考块以帧间预测后续视频帧或图像中的块。
图3为本申请实施例中视频解码器30的一种示意性框图。在图3的可行的实施方式中,视频解码器30包含熵编码单元80、预测单元81、反量化单元86、反变换单元88、求和器90和参考图像存储器92。预测单元81包含运动补偿单元82和帧内预测单元84。在一些可行的实施方式中,视频解码器30可执行与关于来自图4的视频编码器20描述的编码流程的示例性地互逆的解码流程。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频条带的视频块及相关联的语法元素的经编码视频码流。视频解码器30的熵编码单元80熵解码码流以产生经量化系数、运动矢量及其它语法元素。熵编码单元80将运动矢量及其它语法元素转递到预测单元81。视频解码器30可在视频条带层级和/或视频块层级处接收语法元素。
在视频条带经解码为经帧内解码(I)条带时,预测单元81的帧内预测单元84可基于用信号发送的帧内预测模式及来自当前帧或图像的先前经解码块的数据而产生当前视频条带的视频块的预测数据。
在视频图像经解码为经帧间解码(例如,B、P或GPB)条带时,预测单元81的运动补偿单元82基于从熵编码单元80所接收的运动矢量及其它语法元素而产生当前视频图像的视频块的预测性块。预测性块可从参考图像列表中的一者内的参考图像中的一者产生。视频解码器30可基于存储于参考图像存储器92中的参考图像使用默认构建技术来构建参考图像列表(列表0及列表1)。
运动补偿单元82通过解析运动矢量及其它语法元素来确定当前视频条带的视频块的预测信息,且使用预测信息来产生正经解码的当前视频块的预测性块。例如,运动补偿单元82使用所接收的语法元素中的一些来确定用以解码视频条带的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测条带类型(例如,B条带、P条带或GPB条带)、条带的参考图像列表中的一者或多者的构建信息、条带的每一经帧间编码视频块的运动矢量、条带的每一经帧间解码视频块的帧间预测状态及用以解码当前视频条带中的视频块的其它信息。
运动补偿单元82也可基于内插滤波器执行内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此应用中,运动补偿单元82可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用内插滤波器来产生预测性块。
如果PU是使用帧间预测而编码,则运动补偿单元82可产生用于PU的候选预测运动矢量列表。码流中可包括识别选定候选预测运动矢量在PU的候选预测运动矢量列表中的位置的数据。在产生用于PU的候选预测运动矢量列表之后,运动补偿单元82可基于由PU的运动信息指示的一或多个参考块产生用于PU的预测性图像块。PU的参考块可在与所述PU不同的时间图像中。运动补偿单元82可基于由PU的候选预测运动矢量列表中的选定的运动信息确定PU的运动信息。
反量化单元86对码流中所提供且通过熵编码单元80所解码的经量化变换系数进行反量化(例如,解量化)。反量化过程可包含使用通过视频编码器20针对视频条带中的每一视频块所计算的量化参数确定量化的程度,且同样地确定应应用的反量化的程度。反变换单元88将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元82基于运动矢量及其它语法元素产生当前视频块的预测性块之后,视频解码器30通过将来自反变换单元88的残余块与通过运动补偿单元82产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的一个或多个组件。在需要时,也可应用解块滤波器来对经解码块进行滤波以便去除块效应伪影。其它环路滤波器(在解码环路中或在解码环路之后)也可用以使像素转变平滑,或以其它方式改进视频质量。给定帧或图像中的经解码视频块接着存储于参考图像存储器92中,参考图像存储器92存储供后续运动补偿所使用的参考图像。参考图像存储器92也存储供稍后呈现于例如图1的显示装置32的显示装置上的经解码视频。
如前文所注明,本申请的技术示例性地涉及帧间解码。应理解,本申请的技术可通过本申请中所描述的视频解码器中的任一者进行,视频解码器包含(例如)如关于图1 到3所展示及描述的视频编码器20及视频解码器30。即,在一种可行的实施方式中,关于图2所描述的预测单元41可在视频数据的块的编码期间在执行帧间预测时执行下文中所描述的特定技术。在另一可行的实施方式中,关于图3所描述的预测单元81可在视频数据的块的解码期间在执行帧间预测时执行下文中所描述的特定技术。因此,对一般性“视频编码器”或“视频解码器”的引用可包含视频编码器20、视频解码器30或另一视频编码或编码单元。
图4为本申请实施例中帧间预测模块的一种示意性框图。帧间预测模块121,示例性的,可以包括运动估计单元42和运动补偿单元44。在不同的视频压缩编解码标准中,PU和CU的关系各有不同。帧间预测模块121可根据多个分割模式将当前CU分割为PU。举例来说,帧间预测模块121可根据2N×2N、2N×N、N×2N和N×N分割模式将当前CU分割为PU。在其他实施例中,当前CU即为当前PU,不作限定。
帧间预测模块121可对PU中的每一者执行整数运动估计(Integer MotionEstimation,IME)且接着执行分数运动估计(Fraction Motion Estimation,FME)。当帧间预测模块121对PU执行IME时,帧间预测模块121可在一个或多个参考图像中搜索用于PU的参考块。在找到用于PU的参考块之后,帧间预测模块121可产生以整数精度指示PU与用于PU的参考块之间的空间位移的运动矢量。当帧间预测模块121对 PU执行FME时,帧间预测模块121可改进通过对PU执行IME而产生的运动矢量。通过对PU执行FME而产生的运动矢量可具有子整数精度(例如,1/2像素精度、1/4像素精度等)。在产生用于PU的运动矢量之后,帧间预测模块121可使用用于PU的运动矢量以产生用于PU的预测性图像块。
在帧间预测模块121使用AMVP模式用信号通知解码端PU的运动信息的一些可行的实施方式中,帧间预测模块121可产生用于PU的候选预测运动矢量列表。候选预测运动矢量列表可包括一个或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一个或多个额外候选预测运动矢量。在产生用于PU的候选预测运动矢量列表之后,帧间预测模块121可从候选预测运动矢量列表选择候选预测运动矢量且产生用于PU 的运动矢量差(MVD)。用于PU的MVD可指示由选定候选预测运动矢量指示的运动矢量与使用IME和FME针对PU产生的运动矢量之间的差。在这些可行的实施方式中,帧间预测模块121可输出识别选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引。帧间预测模块121还可输出PU的MVD。下文详细描述图6中,本申请实施例中高级运动矢量预测(AMVP)模式的一种可行的实施方式。
除了通过对PU执行IME和FME来产生用于PU的运动信息外,帧间预测模块121 还可对PU中的每一者执行合并(Merge)操作。当帧间预测模块121对PU执行合并操作时,帧间预测模块121可产生用于PU的候选预测运动矢量列表。用于PU的候选预测运动矢量列表可包括一个或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一个或多个额外候选预测运动矢量。候选预测运动矢量列表中的原始候选预测运动矢量可包括一个或多个空间候选预测运动矢量和时间候选预测运动矢量。空间候选预测运动矢量可指示当前图像中的其它PU的运动信息。时间候选预测运动矢量可基于不同于当前图像的对应的PU的运动信息。时间候选预测运动矢量还可称作时间运动矢量预测(TMVP)。
在产生候选预测运动矢量列表之后,帧间预测模块121可从候选预测运动矢量列表选择候选预测运动矢量中的一个。帧间预测模块121可接着基于由PU的运动信息指示的参考块产生用于PU的预测性图像块。在合并模式中,PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。下文描述的图5说明Merge示例性的流程图。
在基于IME和FME产生用于PU的预测性图像块和基于合并操作产生用于PU的预测性图像块之后,帧间预测模块121可选择通过FME操作产生的预测性图像块或者通过合并操作产生的预测性图像块。在一些可行的实施方式中,帧间预测模块121可基于通过FME操作产生的预测性图像块和通过合并操作产生的预测性图像块的码率-失真代价分析来选择用于PU的预测性图像块。
在帧间预测模块121已选择通过根据分割模式中的每一者分割当前CU而产生的PU的预测性图像块之后(在一些实施方式中,编码树单元CTU划分为CU后,不会再进一步划分为更小的PU,此时PU等同于CU),帧间预测模块121可选择用于当前CU 的分割模式。在一些实施方式中,帧间预测模块121可基于通过根据分割模式中的每一者分割当前CU而产生的PU的选定预测性图像块的码率-失真代价分析来选择用于当前CU的分割模式。帧间预测模块121可将与属于选定分割模式的PU相关联的预测性图像块输出到残差产生模块102。帧间预测模块121可将指示属于选定分割模式的PU 的运动信息的语法元素输出到熵编码模块116。
在图4的示意图中,帧间预测模块121包括IME模块180A到180N(统称为“IME 模块180”)、FME模块182A到182N(统称为“FME模块182”)、合并模块184A到184N(统称为“合并模块184”)、PU模式决策模块186A到186N(统称为“PU模式决策模块186”) 和CU模式决策模块188(也可以包括执行从CTU到CU的模式决策过程)。
IME模块180、FME模块182和合并模块184可对当前CU的PU执行IME操作、FME 操作和合并操作。图4的示意图中将帧间预测模块121说明为包括用于CU的每一分割模式的每一PU的单独IME模块180、FME模块182和合并模块184。在其它可行的实施方式中,帧间预测模块121不包括用于CU的每一分割模式的每一PU的单独IME模块180、FME模块182和合并模块184。
如图4的示意图中所说明,IME模块180A、FME模块182A和合并模块184A可对通过根据2N×2N分割模式分割CU而产生的PU执行IME操作、FME操作和合并操作。 PU模式决策模块186A可选择由IME模块180A、FME模块182A和合并模块184A产生的预测性图像块中的一者。
IME模块180B、FME模块182B和合并模块184B可对通过根据N×2N分割模式分割CU而产生的左PU执行IME操作、FME操作和合并操作。PU模式决策模块186B可选择由IME模块180B、FME模块182B和合并模块184B产生的预测性图像块中的一者。
IME模块180C、FME模块182C和合并模块184C可对通过根据N×2N分割模式分割CU而产生的右PU执行IME操作、FME操作和合并操作。PU模式决策模块186C可选择由IME模块180C、FME模块182C和合并模块184C产生的预测性图像块中的一者。
IME模块180N、FME模块182N和合并模块184可对通过根据N×N分割模式分割 CU而产生的右下PU执行IME操作、FME操作和合并操作。PU模式决策模块186N可选择由IME模块180N、FME模块182N和合并模块184N产生的预测性图像块中的一者。
PU模式决策模块186可基于多个可能预测性图像块的码率-失真代价分析选择预测性图像块,且选择针对给定解码情形提供最佳码率-失真代价的预测性图像块。示例性的,对于带宽受限的应用,PU模式决策模块186可偏向选择增加压缩比的预测性图像块,而对于其它应用,PU模式决策模块186可偏向选择增加经重建视频质量的预测性图像块。在PU模式决策模块186选择用于当前CU的PU的预测性图像块之后,CU 模式决策模块188选择用于当前CU的分割模式且输出属于选定分割模式的PU的预测性图像块和运动信息。
图5为本申请实施例中合并模式的一种示例性流程图。视频编码器(例如视频编码器20)可执行合并操作200。在其它可行的实施方式中,视频编码器可执行不同于合并操作200的合并操作。举例来说,在其它可行的实施方式中,视频编码器可执行合并操作,其中视频编码器执行比合并操作200多、少的步骤或与合并操作200不同的步骤。在其它可行的实施方式中,视频编码器可以不同次序或并行地执行合并操作200 的步骤。编码器还可对以跳跃(skip)模式编码的PU执行合并操作200。
在视频编码器开始合并操作200之后,视频编码器可产生用于当前PU的候选预测运动矢量列表(202)。视频编码器可以各种方式产生用于当前PU的候选预测运动矢量列表。举例来说,视频编码器可根据下文关于图8到图12描述的实例技术中的一者产生用于当前PU的候选预测运动矢量列表。
如前文所述,用于当前PU的候选预测运动矢量列表可包括时间候选预测运动矢量。时间候选预测运动矢量可指示时域对应(co-located)的PU的运动信息。co-located 的PU可在空间上与当前PU处于图像帧中的同一个位置,但在参考图像而非当前图像中。本申请可将包括时域对应的PU的参考图像称作相关参考图像。本申请可将相关参考图像的参考图像索引称作相关参考图像索引。如前文所描述,当前图像可与一个或多个参考图像列表(例如,列表0、列表1等)相关联。参考图像索引可通过指示在参考图像某一个参考图像列表中的位置来指示参考图像。在一些可行的实施方式中,当前图像可与组合参考图像列表相关联。
在一些视频编码器中,相关参考图像索引为涵盖与当前PU相关联的参考索引源位置的PU的参考图像索引。在这些视频编码器中,与当前PU相关联的参考索引源位置邻接于当前PU左方或邻接于当前PU上方。在本申请中,如果与PU相关联的图像块包括特定位置,则PU可“涵盖”所述特定位置。在这些视频编码器中,如果参考索引源位置不可用,则视频编码器可使用零的参考图像索引。
然而,可存在以下例子:与当前PU相关联的参考索引源位置在当前CU内。在这些例子中,如果PU在当前CU上方或左方,则涵盖与当前PU相关联的参考索引源位置的PU可被视为可用。然而,视频编码器可需要存取当前CU的另一PU的运动信息以便确定含有co-located PU的参考图像。因此,这些视频编码器可使用属于当前CU的 PU的运动信息(即,参考图像索引)以产生用于当前PU的时间候选预测运动矢量。换句话说,这些视频编码器可使用属于当前CU的PU的运动信息产生时间候选预测运动矢量。因此,视频编码器可能不能并行地产生用于当前PU和涵盖与当前PU相关联的参考索引源位置的PU的候选预测运动矢量列表。
根据本申请的技术,视频编码器可在不参考任何其它PU的参考图像索引的情况下显式地设定相关参考图像索引。此可使得视频编码器能够并行地产生用于当前PU和当前CU的其它PU的候选预测运动矢量列表。因为视频编码器显式地设定相关参考图像索引,所以相关参考图像索引不基于当前CU的任何其它PU的运动信息。在视频编码器显式地设定相关参考图像索引的一些可行的实施方式中,视频编码器可始终将相关参考图像索引设定为固定的预定义预设参考图像索引(例如0)。以此方式,视频编码器可基于由预设参考图像索引指示的参考帧中的co-located PU的运动信息产生时间候选预测运动矢量,且可将时间候选预测运动矢量包括于当前CU的候选预测运动矢量列表中。
在视频编码器显式地设定相关参考图像索引的可行的实施方式中,视频编码器可显式地在语法结构(例如图像标头、条带标头、APS或另一语法结构)中用信号通知相关参考图像索引。在此可行的实施方式中,视频编码器可用信号通知解码端用于每一 LCU(即CTU)、CU、PU、TU或其它类型的子块的相关参考图像索引。举例来说,视频编码器可用信号通知:用于CU的每一PU的相关参考图像索引等于“1”。
在一些可行的实施方式中,相关参考图像索引可经隐式地而非显式地设定。在这些可行的实施方式中,视频编码器可使用由涵盖当前CU外部的位置的PU的参考图像索引指示的参考图像中的PU的运动信息产生用于当前CU的PU的候选预测运动矢量列表中的每一时间候选预测运动矢量,即使这些位置并不严格地邻近当前PU。
在产生用于当前PU的候选预测运动矢量列表之后,视频编码器可产生与候选预测运动矢量列表中的候选预测运动矢量相关联的预测性图像块(204)。视频编码器可通过基于所指示候选预测运动矢量的运动信息确定当前PU的运动信息和接着基于由当前 PU的运动信息指示的一个或多个参考块产生预测性图像块来产生与候选预测运动矢量相关联的预测性图像块。视频编码器可接着从候选预测运动矢量列表选择候选预测运动矢量中的一者(206)。视频编码器可以各种方式选择候选预测运动矢量。举例来说,视频编码器可基于对与候选预测运动矢量相关联的预测性图像块的每一者的码率-失真代价分析来选择候选预测运动矢量中的一者。
在选择候选预测运动矢量之后,视频编码器可输出候选预测运动矢量索引(208)。候选预测运动矢量索引可指示在候选预测运动矢量列表中选定候选预测运动矢量的位置。在一些可行的实施方式中,候选预测运动矢量索引可表示为“merge_idx”。
图6为本申请实施例中高级运动矢量预测(AMVP)模式的一种示例性流程图。视频编码器(例如视频编码器20)可执行AMVP操作210。
在视频编码器开始AMVP操作210之后,视频编码器可产生用于当前PU的一个或多个运动矢量(211)。视频编码器可执行整数运动估计和分数运动估计以产生用于当前 PU的运动矢量。如前文所描述,当前图像可与两个参考图像列表(列表0和列表1)相关联。如果当前PU经单向预测,则视频编码器可产生用于当前PU的列表0运动矢量或列表1运动矢量。列表0运动矢量可指示当前PU的图像块与列表0中的参考图像中的参考块之间的空间位移。列表1运动矢量可指示当前PU的图像块与列表1中的参考图像中的参考块之间的空间位移。如果当前PU经双向预测,则视频编码器可产生用于当前PU的列表0运动矢量和列表1运动矢量。
在产生用于当前PU的一个或多个运动矢量之后,视频编码器可产生用于当前PU的预测性图像块(212)。视频编码器可基于由用于当前PU的一个或多个运动矢量指示的一个或多个参考块产生用于当前PU的预测性图像块。
另外,视频编码器可产生用于当前PU的候选预测运动矢量列表(213)。视频解码器可以各种方式产生用于当前PU的候选预测运动矢量列表。举例来说,视频编码器可根据下文关于图8到图12描述的可行的实施方式中的一个或多个产生用于当前PU的候选预测运动矢量列表。在一些可行的实施方式中,当视频编码器在AMVP操作210 中产生候选预测运动矢量列表时,候选预测运动矢量列表可限于两个候选预测运动矢量。相比而言,当视频编码器在合并操作中产生候选预测运动矢量列表时,候选预测运动矢量列表可包括更多候选预测运动矢量(例如,五个候选预测运动矢量)。
在产生用于当前PU的候选预测运动矢量列表之后,视频编码器可产生用于候选预测运动矢量列表中的每一候选预测运动矢量的一个或多个运动矢量差(MVD)(214)。视频编码器可通过确定由候选预测运动矢量指示的运动矢量与当前PU的对应运动矢量之间的差来产生用于候选预测运动矢量的运动矢量差。
如果当前PU经单向预测,则视频编码器可产生用于每一候选预测运动矢量的单一MVD。如果当前PU经双向预测,则视频编码器可产生用于每一候选预测运动矢量的两个MVD。第一MVD可指示候选预测运动矢量的运动矢量与当前PU的列表0运动矢量之间的差。第二MVD可指示候选预测运动矢量的运动矢量与当前PU的列表1运动矢量之间的差。
视频编码器可从候选预测运动矢量列表选择候选预测运动矢量中的一个或多个(215)。视频编码器可以各种方式选择一个或多个候选预测运动矢量。举例来说,视频编码器可选择具有最小误差地匹配待编码的运动矢量的相关联运动矢量的候选预测运动矢量,此可减少表示用于候选预测运动矢量的运动矢量差所需的位数目。
在选择一个或多个候选预测运动矢量之后,视频编码器可输出用于当前PU的一个或多个参考图像索引、一个或多个候选预测运动矢量索引,和用于一个或多个选定候选预测运动矢量的一个或多个运动矢量差(216)。
在当前图像与两个参考图像列表(列表0和列表1)相关联且当前PU经单向预测的例子中,视频编码器可输出用于列表0的参考图像索引(“ref_idx_10”)或用于列表 1的参考图像索引(“ref_idx_11”)。视频编码器还可输出指示用于当前PU的列表0 运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_10_flag”)。或者,视频编码器可输出指示用于当前PU的列表1运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_11_flag”)。视频编码器还可输出用于当前PU的列表0运动矢量或列表1运动矢量的MVD。
在当前图像与两个参考图像列表(列表0和列表1)相关联且当前PU经双向预测的例子中,视频编码器可输出用于列表0的参考图像索引(“ref_idx_10”)和用于列表 1的参考图像索引(“ref_idx_11”)。视频编码器还可输出指示用于当前PU的列表0 运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_10_flag”)。另外,视频编码器可输出指示用于当前PU的列表1运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_11_flag”)。视频编码器还可输出用于当前PU的列表0运动矢量的MVD 和用于当前PU的列表1运动矢量的MVD。
图7为本申请实施例中由视频解码器(例如视频解码器30)执行的运动补偿的一种示例性流程图。
当视频解码器执行运动补偿操作220时,视频解码器可接收用于当前PU的选定候选预测运动矢量的指示(222)。举例来说,视频解码器可接收指示选定候选预测运动矢量在当前PU的候选预测运动矢量列表内的位置的候选预测运动矢量索引。
如果当前PU的运动信息是使用AMVP模式进行编码且当前PU经双向预测,则视频解码器可接收第一候选预测运动矢量索引和第二候选预测运动矢量索引。第一候选预测运动矢量索引指示用于当前PU的列表0运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置。第二候选预测运动矢量索引指示用于当前PU的列表1运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置。在一些可行的实施方式中,单一语法元素可用以识别两个候选预测运动矢量索引。
另外,视频解码器可产生用于当前PU的候选预测运动矢量列表(224)。视频解码器可以各种方式产生用于当前PU的此候选预测运动矢量列表。举例来说,视频解码器可使用下文参看图8到图12描述的技术来产生用于当前PU的候选预测运动矢量列表。当视频解码器产生用于候选预测运动矢量列表的时间候选预测运动矢量时,视频解码器可显式地或隐式地设定识别包括co-located PU的参考图像的参考图像索引,如前文关于图5所描述。
在产生用于当前PU的候选预测运动矢量列表之后,视频解码器可基于由用于当前PU的候选预测运动矢量列表中的一个或多个选定候选预测运动矢量指示的运动信息确定当前PU的运动信息(225)。举例来说,如果当前PU的运动信息是使用合并模式而编码,则当前PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。如果当前PU的运动信息是使用AMVP模式而编码,则视频解码器可使用由所述或所述选定候选预测运动矢量指示的一个或多个运动矢量和码流中指示的一个或多个MVD来重建当前PU的一个或多个运动矢量。当前PU的参考图像索引和预测方向标识可与所述一个或多个选定候选预测运动矢量的参考图像索引和预测方向标识相同。在确定当前PU 的运动信息之后,视频解码器可基于由当前PU的运动信息指示的一个或多个参考块产生用于当前PU的预测性图像块(226)。
图8为本申请实施例中编码单元(CU)及与其关联的相邻位置图像块的一种示例性示意图,说明CU250和与CU250相关联的示意性的候选预测运动矢量位置252A到252E 的示意图。本申请可将候选预测运动矢量位置252A到252E统称为候选预测运动矢量位置252。候选预测运动矢量位置252表示与CU250在同一图像中的空间候选预测运动矢量。候选预测运动矢量位置252A定位于CU250左方。候选预测运动矢量位置252B 定位于CU250上方。候选预测运动矢量位置252C定位于CU250右上方。候选预测运动矢量位置252D定位于CU250左下方。候选预测运动矢量位置252E定位于CU250左上方。图8为用以提供帧间预测模块121和运动补偿模块162可产生候选预测运动矢量列表的方式的示意性实施方式。下文将参考帧间预测模块121解释实施方式,但应理解运动补偿模块162可实施相同技术,且因此产生相同候选预测运动矢量列表。
图9为本申请实施例中构建候选预测运动矢量列表的一种示例性流程图。将参考包括五个候选预测运动矢量的列表描述图9的技术,但本文中所描述的技术还可与具有其它大小的列表一起使用。五个候选预测运动矢量可各自具有索引(例如,0到4)。将参考一般视频解码器描述图9的技术。一般视频解码器示例性的可以为视频编码器 (例如视频编码器20)或视频解码器(例如视频解码器30)。
为了根据图9的实施方式重建候选预测运动矢量列表,视频解码器首先考虑四个空间候选预测运动矢量(902)。四个空间候选预测运动矢量可以包括候选预测运动矢量位置252A、252B、252C和252D。四个空间候选预测运动矢量对应于与当前CU(例如, CU250)在同一图像中的四个PU的运动信息。视频解码器可以特定次序考虑列表中的四个空间候选预测运动矢量。举例来说,候选预测运动矢量位置252A可被第一个考虑。如果候选预测运动矢量位置252A可用,则候选预测运动矢量位置252A可指派到索引 0。如果候选预测运动矢量位置252A不可用,则视频解码器可不将候选预测运动矢量位置252A包括于候选预测运动矢量列表中。候选预测运动矢量位置可出于各种理由而不可用。举例来说,如果候选预测运动矢量位置不在当前图像内,则候选预测运动矢量位置可能不可用。在另一可行的实施方式中,如果候选预测运动矢量位置经帧内预测,则候选预测运动矢量位置可能不可用。在另一可行的实施方式中,如果候选预测运动矢量位置在与当前CU不同的条带中,则候选预测运动矢量位置可能不可用。
在考虑候选预测运动矢量位置252A之后,视频解码器可接下来考虑候选预测运动矢量位置252B。如果候选预测运动矢量位置252B可用且不同于候选预测运动矢量位置252A,则视频解码器可将候选预测运动矢量位置252B添加到候选预测运动矢量列表。在此特定上下文中,术语“相同”和“不同”指代与候选预测运动矢量位置相关联的运动信息。因此,如果两个候选预测运动矢量位置具有相同运动信息则被视为相同,且如果其具有不同运动信息则被视为不同。如果候选预测运动矢量位置252A不可用,则视频解码器可将候选预测运动矢量位置252B指派到索引0。如果候选预测运动矢量位置252A可用,则视频解码器可将候选预测运动矢量位置252指派到索引1。如果候选预测运动矢量位置252B不可用或与候选预测运动矢量位置252A相同,则视频解码器跳过候选预测运动矢量位置252B且不将其包括于候选预测运动矢量列表中。
候选预测运动矢量位置252C由视频解码器类似地考虑以供包括于列表中。如果候选预测运动矢量位置252C可用且不与候选预测运动矢量位置252B和252A相同,则视频解码器将候选预测运动矢量位置252C指派到下一可用索引。如果候选预测运动矢量位置252C不可用或并非不同于候选预测运动矢量位置252A和252B中的至少一者,则视频解码器不将候选预测运动矢量位置252C包括于候选预测运动矢量列表中。接下来,视频解码器考虑候选预测运动矢量位置252D。如果候选预测运动矢量位置252D可用且不与候选预测运动矢量位置252A、252B和252C相同,则视频解码器将候选预测运动矢量位置252D指派到下一可用索引。如果候选预测运动矢量位置252D不可用或并非不同于候选预测运动矢量位置252A、252B和252C中的至少一者,则视频解码器不将候选预测运动矢量位置252D包括于候选预测运动矢量列表中。以上实施方式大体上描述示例性地考虑候选预测运动矢量252A到252D以供包括于候选预测运动矢量列表中,但在一些实施方施中,可首先将所有候选预测运动矢量252A到252D添加到候选预测运动矢量列表,稍后从候选预测运动矢量列表移除重复。
在视频解码器考虑前四个空间候选预测运动矢量之后,候选预测运动矢量列表可能包括四个空间候选预测运动矢量或者该列表可能包括少于四个空间候选预测运动矢量。如果列表包括四个空间候选预测运动矢量(904,是),则视频解码器考虑时间候选预测运动矢量(906)。时间候选预测运动矢量可对应于不同于当前图像的图像的 co-located PU的运动信息。如果时间候选预测运动矢量可用且不同于前四个空间候选预测运动矢量,则视频解码器将时间候选预测运动矢量指派到索引4。如果时间候选预测运动矢量不可用或与前四个空间候选预测运动矢量中的一者相同,则视频解码器不将所述时间候选预测运动矢量包括于候选预测运动矢量列表中。因此,在视频解码器考虑时间候选预测运动矢量(906)之后,候选预测运动矢量列表可能包括五个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量和框904处考虑的时间候选预测运动矢量)或可能包括四个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量)。如果候选预测运动矢量列表包括五个候选预测运动矢量(908,是),则视频解码器完成构建列表。
如果候选预测运动矢量列表包括四个候选预测运动矢量(908,否),则视频解码器可考虑第五空间候选预测运动矢量(910)。第五空间候选预测运动矢量可(例如)对应于候选预测运动矢量位置252E。如果位置252E处的候选预测运动矢量可用且不同于位置252A、252B、252C和252D处的候选预测运动矢量,则视频解码器可将第五空间候选预测运动矢量添加到候选预测运动矢量列表,第五空间候选预测运动矢量经指派到索引4。如果位置252E处的候选预测运动矢量不可用或并非不同于候选预测运动矢量位置252A、252B、252C和252D处的候选预测运动矢量,则视频解码器可不将位置252 处的候选预测运动矢量包括于候选预测运动矢量列表中。因此在考虑第五空间候选预测运动矢量(910)之后,列表可能包括五个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量和框910处考虑的第五空间候选预测运动矢量)或可能包括四个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量)。
如果候选预测运动矢量列表包括五个候选预测运动矢量(912,是),则视频解码器完成产生候选预测运动矢量列表。如果候选预测运动矢量列表包括四个候选预测运动矢量(912,否),则视频解码器添加人工产生的候选预测运动矢量(914)直到列表包括五个候选预测运动矢量(916,是)为止。
如果在视频解码器考虑前四个空间候选预测运动矢量之后,列表包括少于四个空间候选预测运动矢量(904,否),则视频解码器可考虑第五空间候选预测运动矢量(918)。第五空间候选预测运动矢量可(例如)对应于候选预测运动矢量位置252E。如果位置 252E处的候选预测运动矢量可用且不同于已包括于候选预测运动矢量列表中的候选预测运动矢量,则视频解码器可将第五空间候选预测运动矢量添加到候选预测运动矢量列表,第五空间候选预测运动矢量经指派到下一可用索引。如果位置252E处的候选预测运动矢量不可用或并非不同于已包括于候选预测运动矢量列表中的候选预测运动矢量中的一者,则视频解码器可不将位置252E处的候选预测运动矢量包括于候选预测运动矢量列表中。视频解码器可接着考虑时间候选预测运动矢量(920)。如果时间候选预测运动矢量可用且不同于已包括于候选预测运动矢量列表中的候选预测运动矢量,则视频解码器可将所述时间候选预测运动矢量添加到候选预测运动矢量列表,所述时间候选预测运动矢量经指派到下一可用索引。如果时间候选预测运动矢量不可用或并非不同于已包括于候选预测运动矢量列表中的候选预测运动矢量中的一者,则视频解码器可不将所述时间候选预测运动矢量包括于候选预测运动矢量列表中。
如果在考虑第五空间候选预测运动矢量(框918)和时间候选预测运动矢量(框920) 之后,候选预测运动矢量列表包括五个候选预测运动矢量(922,是),则视频解码器完成产生候选预测运动矢量列表。如果候选预测运动矢量列表包括少于五个候选预测运动矢量(922,否),则视频解码器添加人工产生的候选预测运动矢量(914)直到列表包括五个候选预测运动矢量(916,是)为止。
根据本申请的技术,可在空间候选预测运动矢量和时间候选预测运动矢量之后人工产生额外合并候选预测运动矢量以使合并候选预测运动矢量列表的大小固定为合并候选预测运动矢量的指定数目(例如前文图9的可行的实施方式中的五个)。额外合并候选预测运动矢量可包括示例性的经组合双向预测性合并候选预测运动矢量(候选预测运动矢量1)、经缩放双向预测性合并候选预测运动矢量(候选预测运动矢量2),和零向量Merge/AMVP候选预测运动矢量(候选预测运动矢量3)。
图10为本申请实施例中将经过组合的候选运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图。经组合双向预测性合并候选预测运动矢量可通过组合原始合并候选预测运动矢量而产生。具体来说,原始候选预测运动矢量中的两个候选预测运动矢量(其具有mvL0和refldxL0或mvL1和refldxL1)可用以产生双向预测性合并候选预测运动矢量。在图10中,两个候选预测运动矢量包括于原始合并候选预测运动矢量列表中。一候选预测运动矢量的预测类型为列表0单向预测,且另一候选预测运动矢量的预测类型为列表1单向预测。在此可行的实施方式中,mvL0_A和ref0 是从列表0拾取,且mvL1_B和ref0是从列表1拾取,且接着可产生双向预测性合并候选预测运动矢量(其具有列表0中的mvL0_A和ref0以及列表1中的mvL1_B和ref0) 并检查其是否不同于已包括于候选预测运动矢量列表中的候选预测运动矢量。如果其不同,则视频解码器可将双向预测性合并候选预测运动矢量包括于候选预测运动矢量列表中。
图11为本申请实施例中将经过缩放的候选运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图。经缩放双向预测性合并候选预测运动矢量可通过缩放原始合并候选预测运动矢量而产生。具体来说,来自原始候选预测运动矢量的一候选预测运动矢量(其可具有mvLX和refldxLX)可用以产生双向预测性合并候选预测运动矢量。在图11的可行的实施方式中,两个候选预测运动矢量包括于原始合并候选预测运动矢量列表中。一候选预测运动矢量的预测类型为列表0单向预测,且另一候选预测运动矢量的预测类型为列表1单向预测。在此可行的实施方式中,mvL0_A和ref0 可从列表0拾取,且ref0可复制到列表1中的参考索引ref0′。接着,可通过缩放具有ref0和ref0′的mvL0_A而计算mvL0′_A。缩放可取决于POC(Picture Order Count)距离。接着,可产生双向预测性合并候选预测运动矢量(其具有列表0中的 mvL0_A和ref0以及列表1中的mvL0′_A和ref0′)并检查其是否为重复的。如果其并非重复的,则可将其添加到合并候选预测运动矢量列表。
图12为本申请实施例中将零运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图。零向量合并候选预测运动矢量可通过组合零向量与可经参考的参考索引而产生。如果零向量候选预测运动矢量并非重复的,则可将其添加到合并候选预测运动矢量列表。对于每一产生的合并候选预测运动矢量,运动信息可与列表中的前一候选预测运动矢量的运动信息比较。
在一种可行的实施方式中,如果新产生的候选预测运动矢量不同于已包括于候选预测运动矢量列表中的候选预测运动矢量,则将所产生的候选预测运动矢量添加到合并候选预测运动矢量列表。确定候选预测运动矢量是否不同于已包括于候选预测运动矢量列表中的候选预测运动矢量的过程有时称作修剪(pruning)。通过修剪,每一新产生的候选预测运动矢量可与列表中的现有候选预测运动矢量比较。在一些可行的实施方式中,修剪操作可包括比较一个或多个新候选预测运动矢量与已在候选预测运动矢量列表中的候选预测运动矢量和不添加为已在候选预测运动矢量列表中的候选预测运动矢量的重复的新候选预测运动矢量。在另一些可行的实施方式中,修剪操作可包括将一个或多个新候选预测运动矢量添加到候选预测运动矢量列表且稍后从所述列表移除重复候选预测运动矢量。
在本申请的一种可行的实施方式中,在帧间预测中,对待处理图像块的运动信息的预测方法,包括:获取待处理图像块所在图像中的至少一个已确定运动矢量图像块的运动信息,所述至少一个已确定运动矢量图像块包括与所述待处理图像块不邻接的已确定运动矢量图像块;获取第一标识信息,所述第一标识信息用于从所述至少一个已确定运动矢量图像块的运动信息中确定目标运动信息;根据所述目标运动信息,预测所述待处理图像块的运动信息。
在上述图5-7、图9-12等各种可行的实施方式中,空间候选预测模式示例性的来自图8所示的252A至252E的五个位置,即与待处理图像块邻接的位置。在上述图5-7、图 9-12等各种可行的实施方式的基础上,在一些可行的实施方式中,空间候选预测模式示例性的还可以包括与待处理图像块相距预设距离以内,但不与待处理图像块邻接的位置。示例性的,该类位置可以如图13中的252F至252J所示。应理解,图13为本申请实施例中编码单元及与其关联的相邻位置图像块的一种示例性示意图。与所待处理图像块处于同一图像帧且处理所述待处理图像块时已完成重建的不与所述待处理图像块相邻的图像块所述的位置均在此类位置的范围内。
不妨将该类位置称为空域非邻接图像块,不妨设其中第一空域非邻接图像块、第二空域非邻接图像块和第三空域非邻接图像块可用,其中“可用”的物理意义可以参考前文所述,不再赘述。同时,不妨设,所述空间候选预测模式取自图8所示的位置的预测模式时,按照如下顺序检查并构建候选预测运动模式列表,应理解,其中,检查包括前文提到的“可用”的检查以及修剪的过程,不再赘述。所述候选预测模式列表,包括:252A位置图像块的运动矢量、252B位置图像块的运动矢量、252C位置图像块的运动矢量、252D位置图像块的运动矢量、由选择性时域运动矢量预测(ATMVP)技术获得的运动矢量、252E位置图像块的运动矢量、由时空运动矢量预测(STMVP)技术获得的运动矢量。其中,ATMVP技术和STMVP技术在JVET-G1001-v1的第2.3.1.1节和第 2.3.1.2节中有详细记录,本文将JVET-G1001-v1全文引入于此,不再赘述。应理解,示例性的,所述候选预测模式列表包括以上7个预测运动矢量,根据不同的具体实施方式,所述候选预测模式列表所包含的预测运动矢量的个数可能少于7个,比如取前5个构成所述候选预测模式列表,还可以将前文所述的图10-12中各可行的实施方式所构建的运动矢量加入到所述候选预测模式列表中,使其包含更多的预测运动矢量。在一种可行的实施方式中,可以将上述第一空域非邻接图像块、第二空域非邻接图像块和第三空域非邻接图像块加入到所述候选预测模式列表中,作为待处理图像块的预测运动矢量。进一步的,不妨设252A位置图像块的运动矢量、252B位置图像块的运动矢量、 252C位置图像块的运动矢量、252D位置图像块的运动矢量、由ATMVP技术获得的运动矢量、252E位置图像块的运动矢量、由STMVP技术获得的运动矢量分别为MVL、MVU、MVUR、 MVDL、MVA、MVUL、MVS,设第一空域非邻接图像块、第二空域非邻接图像块和第三空域非邻接图像块的运动矢量分别为MV0、MV1、MV2,则可以按照如下顺序检查并构建候选预测运动矢量列表:
示例1:MVL、MVU、MVUR、MVDL、MV0、MV1、MV2、MVA、MVUL、MVS;
示例2:MVL、MVU、MVUR、MVDL、MVA、MV0、MV1、MV2、MVUL、MVS;
示例3:MVL、MVU、MVUR、MVDL、MVA、MVUL、MV0、MV1、MV2、MVS;
示例4:MVL、MVU、MVUR、MVDL、MVA、MVUL、MVS、MV0、MV1、MV2;
示例5:MVL、MVU、MVUR、MVDL、MVA、MV0、MVUL、MV1、MVS、MV2;
示例6:MVL、MVU、MVUR、MVDL、MVA、MV0、MVUL、MV1、MV2、MVS;
示例7:MVL、MVU、MVUR、MVDL、MVA、MVUL、MV0、MV1、MV2、MVS;
应理解,上述候选预测运动矢量列表可以用于上文所述的Merge模式或者AMVP模式,或者其它获取待处理图像块的预测运动矢量的预测模式中,可以用于编码端,也可以和对应的编码端保持一致地用于解码端,不作限定,同时,候选预测运动矢量列表中候选预测运动矢量的数量也是预设的,并且在编解码端保持一致,具体的数量不做限定。
应理解,示例1至示例7示例性地给出了几种可行的候选预测运动矢量列表的组成方式,基于空域非邻接图像块的运动矢量,还可以有其他的候选预测运动矢量列表的组成方式以及列表中候选预测运动矢量的排列方式,不作限定。
本申请实施例提供了另一种构建候选预测运动矢量列表的方法,与示例1至示例7等候选预测运动矢量列表的方法相比,该实施例将在其他实施例中确定的候选预测运动矢量与预设的矢量差相结合,形成了新的候选预测运动矢量,克服了预测运动矢量的预测精度低的缺陷,提高了编码效率。
图14为本申请实施例的一种构建候选运动矢量集合方法的示意性流程图。应理解,本申请实施例不仅限于对预测运动矢量的处理,还可以用于其他属性的运动矢量集合的构建,同时,多个候选运动矢量(或预测运动矢量)也不限于以列表的形式存在,可以用于其他的运动矢量的组合、集合或者集合的子集。
S1401、获取待处理图像块的第一运动矢量集合中的第一运动矢量。
该步骤中的第一运动矢量,可以来自所述待处理图像块的空域相关块和/或时域相关块,进一步的,所述第一运动矢量可以是基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量,可以是基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量,也可以是基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
示例性的,HEVC标准中规定的用于Merge预测模式的候选预测运动矢量列表,用于AMVP预测模式的候选预测运动矢量列表,以及包括ATMVP和STMVP在内的技术所涉及的候选预测运动矢量列表都是所述第一运动矢量集合的可行的实施方式。具体的构建第一运动矢量集合的方式,可以参见图5至图6、图9至图13以及相关方案实现的描述,不再赘述。与上述各实施例对应的,第一运动矢量可以是待处理图像块空域相邻或者呈预设空域位置关系的图像块的运动矢量,可以是待处理图像块时域相邻或者呈预设时域位置关系的图像块的运动矢量,也可以由其他第一运动矢量加权计算或者重新组合获得的运动矢量,也可以是零运动矢量,可以是块级的运动矢量,也可以是子块级的运动矢量(块级和子块级的区分可参见JVET-G1001-v1中2.3.1节的描述),不作限定。
S1402、将所述第一运动矢量和预设的一个或多个矢量差分别相加,以获得一个或多个第二运动矢量。
其中,所述第一运动矢量和所述第二运动矢量不相等,即预设的矢量差不为0。
预设的矢量差可以为一个或者多个,可以具有不同的像素精度,比如:1/8像素,1/4像素,半像素,整像素,两倍像素精度等,不做限定。
在一个实施例中,第一运动矢量的矢量表示为[1,2],即如图15所示,在二维直角坐标系下,第一运动矢量[1,2]为由(0,0)点指向(1,2)点的二维矢量。
在一个实施例中,预设矢量差包括[-1,0],[1,0],[0,-1],[0,1],则对应的,将所述第一运动矢量和预设的一个或多个矢量差分别相加,以获得一个或多个第二运动矢量,第二运动矢量为[0,2],[2,2],[1,1],[1,3]。
在一个另一个实施例中,预设矢量差包括[-0.5,0],[0.25,0],[0,0.5],[0, 2],则对应的,将所述第一运动矢量和预设的一个或多个矢量差分别相加,以获得一个或多个第二运动矢量,第二运动矢量为[0.5,2],[1.25,2],[1,2.5],[1,4]。
当运动矢量为分像素运动矢量时,比如[0.5,2],一般的,会首先进行参考帧或部分参考帧区域的插值(interpolation)以进行分像素运动估计以及分像素运动补偿,前文对分像素运动估计已经进行了描述,不再赘述。
S1403、将所述一个或多个第二运动矢量加入所述第一运动矢量集合,以形成所述待处理图像块的第二运动矢量集合。
应理解,因为第二运动矢量和第一运动矢量均为第二运动矢量集合中的运动矢量,当第二运动矢量和第一运动矢量相同时,第二运动矢量集合中的运动矢量会出现重复。
为避免这种情况的发生,在一个可行的实施方式中,预设的矢量差不为0,保证了用于生成第二运动矢量的某个第一运动矢量不与该生成的第二运动矢量相同。
还应理解,在一些可行的实施方式中,可以预先设置第二运动矢量集合所能容纳的运动矢量的个数,当运动矢量的个数达到阈值时,不再将其他第二运动矢量加入到第一运动矢量集合中。
在另一个可行的实施方式中,所述一个或多个第二运动矢量包括一个第三运动矢量,所述将所述一个或多个第二运动矢量加入所述第一运动矢量集合,包括:当所述第三运动矢量与所述第一运动矢量集合中的任一运动矢量不相同时,将所述第三运动矢量加入所述第一运动矢量集合。即,对于任一生成的第二运动矢量(在该实施方式中被标记为第三运动矢量),在加入第一运动矢量之前,会首先判断是否与第一运动矢量集合中的运动矢量重复,其中,第一运动矢量集合中的运动矢量包括第一运动矢量,也包括已经加入到第一运动矢量集合中的第二运动矢量。当第一运动矢量集合中没有和第三运动矢量重复的运动矢量时,才将第三运动矢量加入到第一运动矢量集合中。经过上述处理后的第一运动矢量集合,即为第二运动矢量集合。
对于图14所对应的实施例,应理解,获取待处理图像块的第一运动矢量集合中的第一运动矢量,包括:获取待处理图像块的第一运动矢量集合中的一个第一运动矢量,也包括获取待处理图像块的第一运动矢量集合中的多个第一运动矢量,并对获得的每个第一运动矢量执行S1402和S1403的操作。对应的,第二运动矢量集合可以包括一个第一运动矢量生成的第二运动矢量,也可以包括多个第一运动矢量生成的第二运动矢量,不做限定。
在另一个实施例中,如图16所示,待处理图像块的候选预测运动矢量列表包括两个分列表:第一运动矢量集合和矢量差集合。
其中,第一运动矢量集合和图14所对应的实施例中的第一运动矢量集合的构成相同。矢量差集合包括一个或多个预设的矢量差。
在一些可行的实施方式中,矢量差集合中的每个矢量差和从第一运动矢量集合中确定的原始目标运动矢量相加,相加后的矢量差和原始目标运动矢量一起,成为一个新的运动矢量集合。
第一运动矢量集合和矢量差集合,或者上述由矢量差集合生成的新的集合,两个集合配合使用,从而选择出目标运动矢量,具体的使用方式在后续应用于视频编码或视频解码实施例中做具体描述,不再赘述。
帧间预测中有一种预测方式被称为双向预测,即基于不同的参考帧列表进行的预测。前文已经对双向预测进行了详细的描述,不再赘述。应理解,图14所对应的实施例同样可以实施在双向预测模式中,具体的,步骤S1401-S1403可以应用于双向预测中基于每个参考帧列表获取单向预测值的过程中。
不妨设,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差。在一些可行的实施方式中,第一向预设矢量差和第二向预设矢量差均为预设值。在另一些可行的实施方式中,第一向预设矢量差为预设值,第二向预设矢量差通过第一向预设矢量差以及预设推导关系推导得出,或者,第二向预设矢量差为预设值,第一向预设矢量差通过第二向预设矢量差以及预设推导关系推导得出。
对应的,在构建图14所对应的实施例中的第二运动矢量集合的过程中,将所述第一向第一运动矢量和所述第一向预设矢量差相加,以获得第一向第二运动矢量;将所述第二向第一运动矢量和所述第二向预设矢量差相加,以获得第二向第二运动矢量。第一向第二运动矢量和第二向第二运动矢量的获取方式,示例性的,可以参考步骤 S1402的处理方式,不再赘述。
应理解,当双向预测的基于参考帧列表0(list0)的第一向预测(有时也称前向预测)和基于参考帧列表1(list1)的第二向预测(有时也称后向预测)之间满足一定物理图景时,特定关系的第一向预设矢量差和第二向预设矢量差能够提高预测的效率。可以根据第一向预设矢量差和对应某种物理图景的特定的关系,直接获取第二向预设矢量差,节省了获取第二向预设矢量差的资源,也可以节省标识第二向预设矢量差选取的标识信息,提高了编码效率。
不妨设,所述第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,所述第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧。具体的,所述待处理图像块所在的图像帧的显示位置可以用当前帧的POC值表示(CurrPOC),第一参考帧的显示位置可以用第一参考帧的POC值表示(Ref0POC),第二参考帧的显示位置可以用第二参考帧的POC值表示(Ref1POC),第一显示偏移矢量即为一维矢量(CurrPOC-Ref0POC),第二显示偏移矢量即为一维矢量(CurrPOC- Ref1POC)。
在一种可行的实施方式中,当第一显示偏移矢量与第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,即当第一显示偏移矢量和第二显示偏移矢量的大小相等,方向相反时,第一向预设矢量差和第二向预设矢量差的大小相等,方向相反。进一步的,当第一向预设矢量差已知时,可以将第一向矢量差颠倒矢量方向,即得到第二向矢量差。
应理解,在本申请实施例中,矢量的大小,是指矢量在二维直角坐标系中分别在 X轴和Y轴的投影长度的绝对值,对应的,两个矢量的大小相同,是指两个矢量在二维直角坐标系中在X轴和Y轴的投影长度的绝对值分别相等,对应的,矢量A的大小和矢量B的大小的比例关系与矢量C的大小和矢量D的大小的比例关系相等,是指矢量A和B在二维直角坐标系中在X轴的投影长度的绝对值的比值,与矢量C和D在二维直角坐标系中在X轴的投影长度的绝对值的比值相等,并且,矢量A和B在二维直角坐标系中在Y轴的投影长度的绝对值的比值,与矢量C和D在二维直角坐标系中在 Y轴的投影长度的绝对值的比值相等。
在一种可行的实施方式中,当第一显示偏移矢量与第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,即当第一显示偏移矢量和第二显示偏移矢量的大小相等,方向相反时,第一向预设矢量差和第二向预设矢量差的大小相等,方向相反。进一步的,当第一向预设矢量差已知时,可以将第一向矢量差颠倒矢量方向,即得到第二向矢量差。
在另一种可行的实施方式中,当第一显示偏移矢量与第二显示偏移矢量的相同时,所述第一向预设矢量差和所述第二向预设矢量差相同,即当第一显示偏移矢量和第二显示偏移矢量的大小相等,方向相同时,第一向预设矢量差和第二向预设矢量差的大小相等,方向相同。进一步的,当第一向预设矢量差已知时,可以将第一向矢量差作为第二向矢量差。
在另一种可行的实施方式中,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比值与第一显示偏移矢量的大小和第二显示偏移矢量的大小的比值相等,即第一向预设矢量差的大小比上第二向预设矢量差的大小等于第一显示偏移矢量的大小比上第二显示偏移矢量的大小。进一步的,当第一向预设矢量差已知时,可以通过第一向预设矢量差的大小乘以第二显示偏移矢量的大小,再除以第一显示偏移矢量的大小的计算方式,获得第二向预设矢量差的大小;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在另一种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。进一步的,当第一向预设矢量差已知时,可以通过第一向预设矢量差的方向获得第二向预设矢量差的方向,其中,第一向预设矢量差和第二向预设矢量差的方向关系与第一显示偏移矢量和第二显示偏移矢量的方向关系相同。
示例性的,图17为本申请实施例中所述的候选运动矢量集合的构建方法应用于视频编码的一个流程图。
S1701、从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量。
在一种可行的实施方式中,所述第一运动矢量集合中的运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
S1702、基于所述第一运动矢量,计算获得第二运动矢量。
其中,所述第一运动矢量和所述第二运动矢量具有预设矢量差,所述第一运动矢量和所述第二运动矢量不相同;
在一种可行的实施方式中,可以将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量。
在一种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量,包括:将所述第一向第一运动矢量和所述第一向预设矢量差相加,以获得第一向第二运动矢量;将所述第二向第一运动矢量和所述第二向预设矢量差相加,以获得第二向第二运动矢量。
基于上述实施方式,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
基于上述实施方式,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比值与第一显示偏移矢量的大小和第二显示偏移矢量的大小的比值相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
基于上述实施方式,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
在一种可行的实施方式中,所述预设矢量差为多个互不相同的矢量差;对应的,所述将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量,包括:将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量;对应的,所述将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合,包括:将所述获得的多个第二运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
S1703、将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合。
应理解,上述步骤S1701-S1703为第二运动矢量集合的构建过程,具体实现细节可以参考图14及相关的实施方式,比如步骤S1401-S1403,不再赘述。
S1704、从所述第二运动矢量集合中,获取目标运动矢量。
在一种可行的实施方式中,根据率失真准则,从所述第二运动矢量集合中,选择编码代价最小的一个运动矢量,作为目标运动矢量。
率失真准则,即为分别获取待处理块的重构块和原始块的像素差异值(也称为失真值)和编码该待处理块所使用的比特数(也称为码率),根据公式D+λ×R获得待处理快的编码代价cost,其中D表示失真值,λ为预设常数,R表示码率。
对于在先步骤中获得的第二运动矢量集合中的每一个运动矢量,都根据上述率失真准则,计算出每一个运动矢量的编码代价值,选择编码代价值最小的一个运动矢量,作为目标运动矢量。
应理解,除率失真准则之外,还可以利用其它准则计算每个第二运动矢量的代价值,比如以每个运动矢量对应的重构块的失真值作为编码代价值,或者以每个运动矢量对应的预测块的失真值作为编码代价值,或者以每个运动矢量对应的码率作为编码代价值,或者对每个运动矢量对应的像素差异值进行哈达玛(Hadamard)变换,以变换后的变换系数值作为编码代价等,不做限定。
在一些可行的实施方式中,目标运动矢量的标识信息在编码端编码,以备解码使用,比如如下步骤。
S1705、编码第一标识信息,所述第一标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。第一标识信息的码字,一般的,和第二运动矢量集合中的所有运动矢量的数目相关。第二运动矢量集合中的每个运动矢量被对应于唯一的码字而与其他运动矢量区分开。解码时,可以通过对编码码字的解码,唯一地确定第一标识信息所对应的运动矢量,即目标运动矢量。第一标识信息的码字的具体编码方式,可以采用变长码,也可以采用定长码,不做限定。
应理解,当采用变长码编码第一标识信息时,将编码概率高的运动矢量对应消耗码率少的码字,可以提高编码效率,因此,在一些可行的实施例中,采用较长的码字编码第二运动矢量。
示例性的,图18为本申请实施例中所述的候选运动矢量集合的构建方法应用于视频编码的另一个流程图。
S1801、从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量。
该步骤的具体实现方式,可参考S1701的实现方式,不再赘述。
S1802、基于所述第一运动矢量,计算获得第二运动矢量。
其中,所述第一运动矢量和所述第二运动矢量具有预设矢量差,所述第一运动矢量和所述第二运动矢量不相同;
在一种可行的实施方式中,所述预设矢量差为多个互不相同的矢量差,可以将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量。
S1803、根据率失真准则,从所述多个第二运动矢量中,选择编码代价最小的一个运动矢量,作为第三运动矢量。
同理,除了使用率失真准则以外,也可以使用上文步骤S1704中列举的其他准则来获得第三运动矢量,不做限定。
S1804、将所述第三运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
S1805、从所述第二运动矢量集合中,获取目标运动矢量。
在一种可行的实施方式中,根据率失真准则,从所述第二运动矢量集合中,选择编码代价最小的一个运动矢量,作为目标运动矢量。
同理,除了使用率失真准则以外,也可以使用上文步骤S1704中列举的其他准则来获得目标运动矢量,不做限定。
S1806、编码第三标识信息,所述第三标识信息用于从所述多个第二运动矢量中,标识所述第三运动矢量。
S1807、编码第二标识信息,所述第二标识信息用于从所述第二运动矢量集合中,标识所述目标运动矢量。
应理解,步骤S1806和步骤1807中对第三标识信息和第二标识信息的编码的具体实施方式和步骤S1705中对第一标识信息的编码的具体实施方式类似,不再赘述。
还应理解,在步骤S1803中第三运动矢量被确定以后,就可以执行步骤S1806,在步骤S1805中目标运动矢量被确定以后,就可以执行步骤S1807,因此步骤S1806、S1807 的执行次序不仅限于图18所对应的流程方式。
示例性的,图19为本申请实施例中所述的候选运动矢量集合的构建方法应用于视频编码的又一个流程图。
S1901、从待处理图像块对应的第一运动矢量集合中,获取原始目标运动矢量。
应理解,该步骤和现有标准中,从Merge或AMVP候选预测列表中获得预测运动矢量的具体实现方式类似,可以参考前文所述,不再赘述。
S1902、基于所述原始目标运动矢量,计算获得第二运动矢量。
其中,所述原始目标运动矢量和所述第二运动矢量具有预设矢量差,所述原始目标运动矢量和所述第二运动矢量不相同;
在一种可行的实施方式中,可以将所述目标运动矢量和所述预设矢量差相加,以获得所述第二运动矢量。
S1903、从所述目标运动矢量和所述第二运动矢量组成的集合中,获得目标运动矢量。
在一种可行的实施方式中,根据率失真准则,从所述目标运动矢量和所述第二运动矢量组成的集合中,选择编码代价最小的一个运动矢量,作为目标运动矢量。
S1904、编码第四标识信息,所述第四标识信息用于从所述第一运动矢量中,标识所述原始目标运动矢量。
S1905、编码第五标识信息,所述第五标识信息用于从所述目标运动矢量和所述第二运动矢量组成的集合中,标识所述目标运动矢量。
同理,应理解,步骤S1904和步骤1905中对第四标识信息和第五标识信息的编码的具体实施方式和步骤S1705中对第一标识信息的编码的具体实施方式类似,不再赘述。
还应理解,在步骤S1901中原始目标运动矢量被确定以后,就可以执行步骤S1904,在步骤S1903中目标运动矢量被确定以后,就可以执行步骤S1905,因此步骤S1904、 S1905的执行次序不仅限于图19所对应的流程方式。
综上所述,可以理解,图17所对应的本申请实施例的编码方法对应于图14所对应的运动矢量集合的构建方式,图18和图19所对应的本申请实施例的编码方法对应于图16所对应的运动矢量集合的构造方式。
下面以具体的实现方式来示例性地说明本申请实施例:
不妨设,获得待处理块的左相邻块、上相邻块、时域co-located块作为待处理块的参考块,并且以左相邻块的运动矢量[0,1]、上相邻块的运动矢量[-5,2]、时域 co-located块的运动矢量[2,3]、以及组合运动矢量[0,3]组成第一运动矢量集合{[0,1],[-5,2],[2,3],[0,3]}。
实施例1:预设矢量差为[0,2]
T1.1、从第一运动矢量集合中获得第一运动矢量[-5,2];
T1.2、根据第一运动矢量和预设矢量差,获得第二运动矢量[x,y]=[-5,2]+[0,2],即[-5,4];
T1.3、将第二运动矢量加入第一运动矢量集合,以获得第二运动矢量集合{{[0,1], [-5,2],[2,3],[0,3],[-5,4]},且保证[-5,4]不和已存在于第一运动矢量集合中的运动矢量相同;
T1.4、根据率失真准则,从第二运动矢量集合中选择编码代价最小的[0,3]作为目标运动矢量;
T1.5、编码目标运动矢量[0,3]在第二运动矢量集合中的索引值。
实施例2:预设矢量差为[0,2],预设第二运动矢量集合中运动矢量的个数为6
T2.1、从第一运动矢量集合中获得每个第一运动矢量[0,1],[-5,2],[2,3], [0,3];
T2.2、将多个第一运动矢量分别和预设矢量差相加,获得多个第二运动矢量[0,3], [-5,4],[2,5],[0,5];
T2.3、将第二运动矢量加入第一运动矢量集合,以获得第二运动矢量集合{{[0,1], [-5,2],[2,3],[0,3],[-5,4],[2,5]},其中,去除了第二运动矢量中与第一运动矢量集合中原有的运动矢量重复的[0,3],也去除了超过第二运动矢量集合预设运动矢量个数的[0,5];
T2.4、根据率失真准则,从第二运动矢量集合中选择编码代价最小的[0,3]作为目标运动矢量;
T2.5、编码目标运动矢量[0,3]在第二运动矢量集合中的索引值。
实施例3、预设矢量差为[0,2],[-1,0],[0.5,3],预设第二运动矢量集合中运动矢量的个数为6
T3.1、从第一运动矢量集合中获得第一运动矢量[-5,2];
T3.2、将第一运动矢量分别和多个预设矢量差相加,获得多个第二运动矢量[-5,4],[-6,2],[-4.5,5];
T3.3、将第二运动矢量加入第一运动矢量集合,以获得第二运动矢量集合{{[0,1], [-5,2],[2,3],[0,3],[-5,4],[-6,2]},且保证[-5,4],[-6,2],[-4.5,5]不和已存在于第一运动矢量集合中的运动矢量相同,也去除了超过第二运动矢量集合预设运动矢量个数的[-4.5,5];
T3.4、根据率失真准则,从第二运动矢量集合中选择编码代价最小的[-6,2]作为目标运动矢量;
T3.5、编码目标运动矢量[-6,2]在第二运动矢量集合中的索引值。
实施例4、预设矢量差为[0,2],[-1,0],[0.5,3];
T4.1、从第一运动矢量集合中获得第一运动矢量[-5,2];
T4.2、将第一运动矢量分别和多个预设矢量差相加,获得多个第二运动矢量[-5,4],[-6,2],[-4.5,5];
T4.3、根据率失真准则,从多个第二运动矢量中选择编码代价最小的[-6,2]作为第三运动矢量;
T4.4、将第三运动矢量加入第一运动矢量集合,以形成第二运动矢量集合{{{[0,1],[-5,2],[2,3],[0,3],[-6,2]},且保证[-6,2]不和已存在于第一运动矢量集合中的运动矢量相同;
T4.5、根据率失真准则,从第二运动矢量集合中选择编码代价最小的[0,3]作为目标运动矢量;
T4.6、编码第三运动矢量[-6,2]在多个第二运动矢量[-5,4],[-6,2],[-4.5, 5]中的索引值;
T4.7、编码目标运动矢量[0,3]在第二运动矢量集合中的索引值。
实施例5、预设矢量差为[0,2],[-1,0],[0.5,3];
T5.1、根据率失真准则,从第一运动矢量集合中选择编码代价最小的[2,3]作为原始目标运动矢量;
T5.2、将原始目标运动矢量分别和多个预设矢量差相加,获得多个第二运动矢量[2, 5],[1,3],[2.5,6];
T5.3、根据率失真准则,从多个第二运动矢量和原始目标运动矢量中选择编码代价最小的[2.5,6]作为目标运动矢量;
T5.4、编码原始目标运动矢量[2,3]在第一运动矢量集合中的索引值;
T5.5、编码目标运动矢量[2.5,6]在多个第二运动矢量和原始目标运动矢量组成的集合中的索引值。
实施例6、预设矢量差包括预设的第一级矢量差和预设的第二级矢量差,第一级矢量差为[1,0]、[-1,0]、[0,1]、[0,-1],第二级矢量差为[0.5,0]、[-0.5,0]、 [0,0.5]、[0,-0.5];
T6.1、根据率失真准则,从第一运动矢量集合中选择编码代价最小的[2,3]作为原始目标运动矢量;
T6.2、将原始目标运动矢量分别和多个预设的第一级矢量差相加,获得多个第二运动矢量[3,0]、[1,3]、[2,4]、[2,2];
T6.3、根据率失真准则,从多个第二运动矢量和原始目标运动矢量中选择编码代价最小的[2,4]作为临时目标运动矢量;
T6.4、将临时目标运动矢量分别和多个预设的第二级矢量差相加,获得多个第三运动矢量[2.5,4]、[1.5,4]、[2,4.5]、[2,3.5];
T6.5、根据率失真准则,从多个第三运动矢量和临时目标运动矢量中选择编码代价最小的[1.5,4]作为目标运动矢量;
T6.6、编码原始目标运动矢量[2,3]在第一运动矢量集合中的索引值;
T6.7、编码临时目标运动矢量[2,4]在多个第二运动矢量和原始目标运动矢量组成的集合中的索引值;
T6.8、编码目标运动矢量[1.5,4]在多个第三运动矢量和临时目标运动矢量组成的集合中的索引值。
实施例7、预设矢量差包括预设的第一级矢量差和预设的第二级矢量差,第一级矢量差为[1,0]、[-1,0]、[0,1]、[0,-1],第二级矢量差为[0.5,0]、[-0.5,0]、 [0,0.5]、[0,-0.5];
T7.1、从第一运动矢量集合中获得第一运动矢量[-5,2];
T7.2、将第一运动矢量分别和多个第一级预设矢量差相加,获得多个第二运动矢量 [-4,2],[-6,2],[-5,3],[-5,1];
T7.3、将多个第二运动矢量加入第一运动矢量集合,以获得第二运动矢量集合{{[0, 1],[-5,2],[2,3],[0,3],[-4,2],[-6,2],[-5,3],[-5,1]},且保证[-4, 2],[-6,2],[-5,3],[-5,1]不和已存在于第一运动矢量集合中的运动矢量相同;
T7.3、根据率失真准则,从第二运动矢量集合中选择编码代价最小的[-4,2]作为临时目标运动矢量;
T7.4、将临时目标运动矢量分别和多个预设的第二级矢量差相加,获得多个第三运动矢量[-3.5,2]、[-4.5,2]、[-4,2.5]、[-4,1.5];
T7.5、根据率失真准则,从多个第三运动矢量和临时目标运动矢量中选择编码代价最小的[-4,2]作为目标运动矢量;
T7.6、编码临时目标运动矢量[-4,2]在第二运动矢量集合中的索引值;
T7.7、编码目标运动矢量[-4,2]在多个第三运动矢量和临时目标运动矢量组成的集合中的索引值。
在一些可行的实施例中,预设矢量差可以是编解码端通过协议预先约定的,也可以通过编码传递给解码端,比如编码于序列参数集(sps)、图片参数集(pps)、条带头(sliceheader)等码流结构中,可以直接编码矢量值,也可以编码根据预定规则设定的预设矢量值的表征值,比如:编码“1”代表预设矢量值为 [0,0.5],[0,-0.5],[0.5,0],[-0.5,0],编码“2”代表预设矢量值为[0,0.25],[0, -0.25],[0.25,0],[-0.25,0]等,不做限定。
对于双向预测,每一向的预测,即基于任何一个参考帧列表的预测,都和单向预测是一致的,不再进行更多的举例说明。
应理解,在双向预测的情况下,当第一向的预设矢量差和第二向的预设矢量差设置为满足特定的关系时,比如前文所述的几种可行的实施方式,会提高编码性能。
还应理解,在双向预测的情况下,在一些可行的实施方式中,第二向预设矢量差可以通过第一向预设矢量差推导得出,比如前文所述的几种可行的实施方式。因此,依据不同的实施例,只需要在解码器存储单向预测的预设矢量差,或者只需要传输单向预测的预设矢量差,从而可以节省存储空间或者提高编码效率。
示例性的,图20为本申请实施例中所述的候选运动矢量集合的构建方法应用于视频解码的一个流程图。
S2001、解析码流获得第一标识信息。
S2002、根据所述第一标识信息,从待处理图像块的候选运动矢量集合中,获取第二运动矢量。
其中,所述候选运动矢量集合包括第一运动矢量和所述第二运动矢量,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得。
在一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在一种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得,包括:所述第一向第二运动矢量由所述第一向第一运动矢量和所述第一向预设矢量差相加获得;所述第二向第二运动矢量由所述第二向第一运动矢量和所述第二向预设矢量差相加获得。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在一种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
和编码端所对应的,候选运动矢量集合的构建可以在解码端自适应地完成,具体的实施方式可以参考图14以及对应的具体实施方式,不再赘述。
在一种可行的实施方式中,解码端可以先构建完整的候选运动矢量集合,该集合的构建过程和构建结果和编码端完全一致。然后,根据从码流中获得的第一标识信息(示例性的,可以为目标运动矢量的索引信息),从候选运动矢量集合中确定对应的第二运动矢量。
在另一种可行的实施方式中,解码端可以根据第一标识信息来确定候选运动矢量集合的构建过程,即依次确定候选运动矢量集合中的运动矢量直到第一标识信息所指示的运动矢量,即第二运动矢量,被确定即可,而不必和编码端一样建立完整的候选运动矢量集合。进而,确定第二运动矢量。
应理解,和现有技术相比,图20所对应的实施方式的有益技术效果来源于候选运动矢量集合的构成,即包含了现有技术中的运动矢量,即第一运动矢量,也包含了由第一运动矢量和预设矢量差相加而得出的第二运动矢量,从而为提高编码效率创造了可能性。同时,由于候选运动矢量的构成不同,第一标识信息的解码方式以及每个候选运动矢量对应的标识信息的码字设置也不相同。
下面以具体的实现方式来示例性地说明本申请实施例:
不妨设,获得待处理块的左相邻块、上相邻块、时域co-located块作为待处理块的参考块,并且以左相邻块的运动矢量[0,1]、上相邻块的运动矢量[-5,2]、时域 co-located块的运动矢量[2,3]、以及组合运动矢量[0,3]组成第一运动矢量集合{[0, 1],[-5,2],[2,3],[0,3]}。
实施例8:预设矢量差为[0,2]
T8.1、根据第一运动矢量集合和预设矢量差构建候选运动矢量集合{[0,1],[-5,2],[2,3],[0,3],[-5,4],[2,5],[0,5]};
T8.2、解析码流获得第一标识信息,第一标识信息指明候选运动矢量集合中索引值为5的运动矢量为第二运动矢量;
T8.3、确定[2,5]作为第二运动矢量。
实施例9:预设矢量差为[0,2]
T9.1、解析码流获得第一标识信息,第一标识信息指明候选运动矢量集合中索引值为5的运动矢量为第二运动矢量;
T9.2、根据第一标识信息,构建部分候选运动矢量集合{[0,1],[-5,2],[2,3],[0,3],[-5,4],[2,5]},其中,当索引值为5的运动矢量构建完成后,不再继续构建候选运动矢量集合。
T9.3、确定[2,5]作为第二运动矢量。
示例性的,图21为本申请实施例中所述的候选运动矢量集合的构建方法应用于视频解码的另一个流程图。
S2101、解析码流获得第一标识信息。
S2102、根据所述第一标识信息,从待处理图像块的第一运动矢量集合中,获取第一运动矢量。
和编码端所对应的,第一运动矢量集合的构建可以在解码端自适应地完成,具体的实施方式可以参考图16以及对应的具体实施方式,不再赘述。
应理解,该步骤即为从原始的候选运动矢量集合(比如用于Merge模式的候选预测矢量列表,或者当预设矢量差由多级预设的矢量差组成时,由和第一运动矢量相加的第一级预设矢量差确定的候选运动矢量)中,根据第一标识信息,确定临时的目标运动矢量,即本实施例中的第一运动矢量。
S2103、解析码流获得第二标识信息。
S2104、将所述第一运动矢量分别和所述多个预设矢量差相加,以获得多个第三运动矢量。
其中,所述多个第三运动矢量组成所述第二运动矢量集合。
应理解,在一种可行的实施方式中,预设矢量差可以为0,即第一运动矢量本身被加入到第二运动矢量集合中。
S2105、根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量。
其中,所述第二运动矢量集合根据所述第一运动矢量确定,所述第一运动矢量和所述第二运动矢量具有多个互不相同的预设矢量差。
应理解,在一些可行的实施方式中,码流的解析和第一运动矢量集合或第二运动矢量集合的构建没有先后次序,可以并行进行,所以S2103和S2104没有执行次序上的限定。
在一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在一种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第一运动矢量和所述第二运动矢量具有预设矢量差,包括:所述第一向第一运动矢量和所述第一向第二运动矢量具有所述第一向预设矢量差;所述第二向第一运动矢量和所述第二向第二运动矢量具有所述第二向预设矢量差。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在一种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
下面以具体的实现方式来示例性地说明本申请实施例:
不妨设,获得待处理块的左相邻块、上相邻块、时域co-located块作为待处理块的参考块,并且以左相邻块的运动矢量[0,1]、上相邻块的运动矢量[-5,2]、时域 co-located块的运动矢量[2,3]、以及组合运动矢量[0,3]组成第一运动矢量集合{[0, 1],[-5,2],[2,3],[0,3]}。
实施例10:预设矢量差为[0,1],[0,-1],[1,0],[-1,0],[0,0]
T10.1、解析码流获得第一标识信息,第一标识信息指明第一运动矢量集合中索引值为2的运动矢量为第一运动矢量,从已构建的第一运动矢量集合(或者,部分第一运动矢量集合)中,确定第一运动矢量[2,3];
T10.2、将所述第一运动矢量分别和所述多个预设矢量差相加,以获得多个第三运动矢量[2,4],[2,2],[3,3],[1,3],[2,3];
T10.3、解析码流获得第二标识信息,第二标识信息指明第二运动矢量集合,即多个第三运动矢量中索引为3的运动矢量为第二运动矢量;
T10.4、根据第二标识信息,从第二运动矢量集合中,获得第二运动矢量[1,3]。
在一种可行的实施方式中,预设矢量差可以分为多级,包括预设的第一级矢量差和预设的第二级矢量差,在这种情况下,示例性的:
实施例11、预设的第一级矢量差为[0,1],[0,-1],[1,0],[-1,0],[0,0],预设的第二级矢量差为[0,0.5],[0,-0.5],[0.5,0],[-0.5,0],[0,0]
T11.1、解析码流获得第一标识信息,第一标识信息指明第一运动矢量集合中索引值为2的运动矢量为第一运动矢量,从已构建的第一运动矢量集合(或者,部分第一运动矢量集合)中,确定第一运动矢量[2,3];
T11.2、将所述第一运动矢量分别和所述多个预设的第一级矢量差相加,以获得多个第三运动矢量[2,4],[2,2],[3,3],[1,3],[2,3];
T11.3、解析码流获得第二标识信息,第二标识信息指明第二运动矢量集合,即多个第三运动矢量中索引为3的运动矢量为第二运动矢量;
T11.4、根据第二标识信息,从第二运动矢量集合中,获得第二运动矢量[1,3];
T11.5、将所述第二运动矢量分别和所述多个预设的第二级矢量差相加,以获得多个第四运动矢量[1,3.5],[1,2.5],[1.5,3],[0.5,3],[1,3];
T11.6、解析码流获得第三标识信息,第三标识信息指明第三运动矢量集合,即多个第四运动矢量中索引为0的运动矢量为目标运动矢量;
T11.4、根据第三标识信息,从第三运动矢量集合中,获得目标运动矢量[1,3。5]。
对于双向预测,在编码端实施例时已经进行了详细的描述。和编码端对应的,双向预测时,本申请实施例在解码端的实施方式和在单向预测时的实施方式相似,不再赘述。
综上所述,在本申请实施例中,采用和第一运动矢量具有预设矢量差的第二运动矢量作为候选运动矢量的各种运动矢量集合的构建方法、应用于视频编码的方法、应用于视频解码的方法,通过构建新的运动矢量,提高了预测的精度,提高了编码效率。
下面结合H.266测试模型,介绍本申请实施例的一种可行的实施方式:
实施例12:
在当前JEM测试模型中,Merge预测模式的可能的候选集包括空间邻域候选,ATMVP候选,时域候选,以及推导出的候选。
应理解,这里的候选可以指候选预测运动矢量,也可以指候选预测运动矢量的来源,不如参考块,不作限定。
在本实施例中,基于JEM测试模型中已存的候选,通过MV的偏移,可以扩展出更多的候选,即推导出的运动矢量与已存在的运动矢量具有预设的矢量差(MV的偏移值)。
Merge模式候选预测运动矢量列表中候选运动矢量的个数由一个自然数NumMrgCands确定。不妨设,预设矢量差为MV以1个亮度像素点在水平和竖直方向的偏移,在ATMVP关闭的情况下,NumMrgCands为9,在ATMVP开启的情况下,NumMrgCands 为11。
如果通过矢量差推导得出的候选运动矢量被认为是最优的候选运动矢量,进一步的,以该最优候选运动矢量为基础,以半亮度像素为偏移值的新的候选运动矢量被推导出来,并且需要从中进一步选出最优的候选运动矢量。对应的,更多的标识信息会被传递到解码端以标识选出的更高精度的最优候选运动矢量,具体的实现方式可参考实施例7中多级预设矢量差的实施方式。
示例性的,图22为本申请实施例的一种构建候选运动矢量集合装置的示意性框图。
一种运动矢量集合的构建装置2200,所述装置用于视频编码或视频解码,包括:
获取模块2201,用于获取待处理图像块的第一运动矢量集合中的第一运动矢量;
计算模块2202,用于将所述第一运动矢量和预设的一个或多个矢量差分别相加,以获得一个或多个第二运动矢量,所述第一运动矢量和所述第二运动矢量不相等;
组合模块2203,用于将所述一个或多个第二运动矢量加入所述第一运动矢量集合,以形成所述待处理图像块的第二运动矢量集合。
在一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在一种可行的实施方式中,所述组合模块2203还用于:
当所述第三运动矢量与所述第一运动矢量集合中的任一运动矢量不相同时,将所述第三运动矢量加入所述第一运动矢量集合;
当所述第三运动矢量与所述第一运动矢量集合中的任一运动矢量相同时,不将所述第三运动矢量所述第一运动矢量集合。
示例性的,图23为本申请实施例的一种运动矢量获取装置的示意性框图,所述获取装置用于视频编码。
一种运动矢量的获取装置2300,包括:
获取模块2301,用于从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量;
计算模块2302,用于基于所述第一运动矢量,计算获得第二运动矢量,其中,所述第一运动矢量和所述第二运动矢量具有预设矢量差,所述第一运动矢量和所述第二运动矢量不相同;
组合模块2303,用于将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合;
所述获取模块2301,还用于从所述第二运动矢量集合中,获取目标运动矢量。
在一种可行的实施方式中,所述计算模块2302具体用于将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量。
在一种可行的实施方式中,当所述装置用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;所述计算模块2302具体用于:将所述第一向第一运动矢量和所述第一向预设矢量差相加,以获得第一向第二运动矢量;将所述第二向第一运动矢量和所述第二向预设矢量差相加,以获得第二向第二运动矢量。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在一种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
在一种可行的实施方式中,所述获取模块2301具体用于:根据率失真准则,从所述第二运动矢量集合中,选择编码代价最小的一个运动矢量,作为所述目标运动矢量。
在一种可行的实施方式中,所述预设矢量差为多个互不相同的矢量差;
所述计算模块2302具体用于:将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量;所述组合模块2303具体用于:将所述获得的多个第二运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
在一种可行的实施方式中,在所述将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量之后,所述获取模块2301还用于:根据率失真准则,从所述多个第二运动矢量中,选择编码代价最小的一个运动矢量,作为第三运动矢量;所述组合模块2303具体用于:将所述第三运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
在一种可行的实施方式中,所述装置还包括:
编码单元2304,用于编码第一标识信息,所述第一标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
在一种可行的实施方式中,所述编码单元2304还用于:编码第二标识信息,所述第二标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
在一种可行的实施方式中,所述编码单元2304还用于:编码第三标识信息,所述第三标识信息用于从所述多个第二运动矢量中标识所述第三运动矢量。
在一种可行的实施方式中,所述第一运动矢量集合中的运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
示例性的,图24为本申请实施例的一种运动矢量获取装置的示意性框图,所述获取装置用于视频解码。
一种运动矢量的获取装置2400,包括:
解析模块2401,用于解析码流获得第一标识信息;
获取模块2402,用于根据所述第一标识信息,从待处理图像块的候选运动矢量集合中,获取第二运动矢量,其中,所述候选运动矢量集合包括第一运动矢量和所述第二运动矢量,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得。
在一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在一种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得,包括:所述第一向第二运动矢量由所述第一向第一运动矢量和所述第一向预设矢量差相加获得;所述第二向第二运动矢量由所述第二向第一运动矢量和所述第二向预设矢量差相加获得。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在一种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
示例性的,图25为本申请实施例的另一种运动矢量获取装置的示意性框图,所述获取装置用于视频解码。
一种运动矢量的获取装置2500,包括:
解析模块2501,用于解析码流获得第一标识信息;
获取模块2502,用于根据所述第一标识信息,从待处理图像块的第一运动矢量集合中,获取第一运动矢量;
所述解析模块2501,还用于还解析码流获得第二标识信息;
所述获取模块2502,还用于根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量,其中,所述第二运动矢量集合根据所述第一运动矢量确定,所述第一运动矢量和所述第二运动矢量具有多个互不相同的预设矢量差。
在一种可行的实施方式中,所述第一运动矢量包括以下运动矢量中的至少一个:基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
在一种可行的实施方式中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;对应的,所述第一运动矢量和所述第二运动矢量具有预设矢量差,包括:所述第一向第一运动矢量和所述第一向第二运动矢量具有所述第一向预设矢量差;所述第二向第一运动矢量和所述第二向第二运动矢量具有所述第二向预设矢量差。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
在一种可行的实施方式中,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等;或者,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
在一种可行的实施方式中,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
在一种可行的实施方式中,所述装置还包括计算模块2503,在所述根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量之前,所述计算模块2503用于将所述第一运动矢量分别和所述多个预设矢量差相加,以获得多个第三运动矢量,其中,所述多个第三运动矢量组成所述第二运动矢量集合。
在一种可行的实施方式中,所述预设矢量差包括零矢量差。
示例性的,图26为本申请实施例的一种视频编解码装置的示意性框图,该装置2600可以是应用于编码侧,也可以是应用于解码侧。装置2600包括处理器2601、存储器2602,所述处理器2601、存储器2602相连接(如通过总线2604相互连接),在可能的实施方式中,设备2600还可包括收发器2603,收发器2603连接处理器2601 和存储器2602,用于接收/发送数据。
存储器2602包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器2602用于存储相关程序代码及视频数据。
处理器2601可以是一个或多个中央处理器(central processing unit,CPU),在处理器2601是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该处理器2601用于读取所存储器2602中存储的程序代码,执行图14-图21所对应的任意一个实施方案及其各种可行的实施方式的操作。
示例性的,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行图14-图21所对应的任意一个实施方案及其各种可行的实施方式的操作。
示例性的,本申请实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图14-图21所对应的任意一个实施方案及其各种可行的实施方式的操作。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者任意组合来实现。当使用软件实现时,可以全部或者部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令,在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网络站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、微波等)方式向另一个网络站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,也可以是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD等)、或者半导体介质(例如固态硬盘)等等。
在上述实施例中,对各个实施例的描述各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (68)

1.一种运动矢量的获取方法,所述方法用于视频编码,其特征在于,包括:
从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量;
基于所述第一运动矢量,计算获得第二运动矢量,其中,所述第一运动矢量和所述第二运动矢量具有预设矢量差,所述第一运动矢量和所述第二运动矢量不相同;
将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合;
从所述第二运动矢量集合中,获取目标运动矢量;
其中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;和/或,
所述预设矢量差为多个互不相同的矢量差。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一运动矢量,计算获得第二运动矢量,包括:
将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量,包括:
将所述第一向第一运动矢量和所述第一向预设矢量差相加,以获得第一向第二运动矢量;
将所述第二向第一运动矢量和所述第二向预设矢量差相加,以获得第二向第二运动矢量。
4.根据权利要求3所述的方法,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
5.根据权利要求3所述的方法,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等。
6.根据权利要求3所述的方法,其特征在于,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
7.根据权利要求5或6所述的方法,其特征在于,当第一显示偏移矢量和第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述从所述第二运动矢量集合中,获取目标运动矢量,包括:
根据率失真准则,从所述第二运动矢量集合中,选择编码代价最小的一个运动矢量,作为所述目标运动矢量。
9.根据权利要求2至6任一项所述的方法,其特征在于,所述将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量,包括:
将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量;
对应的,所述将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合,包括:
将所述获得的多个第二运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
10.根据权利要求9所述的方法,其特征在于,在所述将所述第一运动矢量和所述多个预设矢量差分别相加,以获得多个所述第二运动矢量之后,还包括:
根据率失真准则,从所述多个第二运动矢量中,选择编码代价最小的一个运动矢量,作为第三运动矢量;
对应的,所述将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合,包括:
将所述第三运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
11.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
编码第一标识信息,所述第一标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
12.根据权利要求10所述的方法,其特征在于,所述方法还包括:
编码第二标识信息,所述第二标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
编码第三标识信息,所述第三标识信息用于从所述多个第二运动矢量中标识所述第三运动矢量。
14.根据权利要求1至6任一项所述的方法,其特征在于,所述第一运动矢量集合中的运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
15.一种运动矢量的获取方法,所述方法用于视频解码,其特征在于,包括:
解析码流获得第一标识信息;
根据所述第一标识信息,从待处理图像块的候选运动矢量集合中,获取第二运动矢量,其中,所述候选运动矢量集合包括第一运动矢量和所述第二运动矢量,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得;
其中,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差。
16.根据权利要求15所述的方法,其特征在于,所述第一运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
17.根据权利要求15或16所述的方法,其特征在于,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得,包括:
所述第一向第二运动矢量由所述第一向第一运动矢量和所述第一向预设矢量差相加获得;
所述第二向第二运动矢量由所述第二向第一运动矢量和所述第二向预设矢量差相加获得。
18.根据权利要求17所述的方法,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
19.根据权利要求17所述的方法,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等。
20.根据权利要求17所述的方法,其特征在于,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
21.根据权利要求19或20所述的方法,其特征在于,当第一显示偏移矢量和第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
22.一种运动矢量的获取方法,所述方法用于视频解码,其特征在于,包括:
解析码流获得第一标识信息;
根据所述第一标识信息,从待处理图像块的第一运动矢量集合中,获取第一运动矢量;
解析码流获得第二标识信息;
根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量,其中,所述第二运动矢量集合根据所述第一运动矢量确定,所述第一运动矢量和所述第二运动矢量具有多个互不相同的预设矢量差。
23.根据权利要求22所述的方法,其特征在于,所述第一运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
24.根据权利要求22或23所述的方法,其特征在于,当所述方法用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;
对应的,所述第一运动矢量和所述第二运动矢量具有预设矢量差,包括:
所述第一向第一运动矢量和所述第一向第二运动矢量具有所述第一向预设矢量差;
所述第二向第一运动矢量和所述第二向第二运动矢量具有所述第二向预设矢量差。
25.根据权利要求24所述的方法,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
26.根据权利要求24所述的方法,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等。
27.根据权利要求24所述的方法,其特征在于,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
28.根据权利要求26或27所述的方法,其特征在于,当第一显示偏移矢量和第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
29.根据权利要求22或23所述的方法,其特征在于,在所述根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量之前,还包括:
将所述第一运动矢量分别和所述多个预设矢量差相加,以获得多个第三运动矢量,其中,所述多个第三运动矢量组成所述第二运动矢量集合。
30.根据权利要求22或23所述的方法,其特征在于,所述预设矢量差包括零矢量差。
31.一种运动矢量集合的构建方法,所述方法用于视频编码或视频解码,其特征在于,包括:
获取待处理图像块的第一运动矢量集合中的第一运动矢量;
将所述第一运动矢量和预设的多个矢量差分别相加,以获得一个或多个第二运动矢量,所述第一运动矢量和所述第二运动矢量不相等;
将所述一个或多个第二运动矢量加入所述第一运动矢量集合,以形成所述待处理图像块的第二运动矢量集合。
32.根据权利要求31所述的方法,其特征在于,所述第一运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
33.根据权利要求31或32所述的方法,其特征在于,所述一个或多个第二运动矢量包括一个第三运动矢量,所述将所述一个或多个第二运动矢量加入所述第一运动矢量集合,包括:
当所述第三运动矢量与所述第一运动矢量集合中的任一运动矢量不相同时,将所述第三运动矢量加入所述第一运动矢量集合。
34.一种运动矢量的获取装置,所述装置用于视频编码,其特征在于,包括:
获取模块,用于从待处理图像块对应的第一运动矢量集合中,获取第一运动矢量;
计算模块,用于基于所述第一运动矢量,计算获得第二运动矢量,其中,所述第一运动矢量和所述第二运动矢量具有预设矢量差,所述第一运动矢量和所述第二运动矢量不相同;
组合模块,用于将所述第二运动矢量加入所述第一运动矢量集合以形成第二运动矢量集合;
获取模块,用于从所述第二运动矢量集合中,获取目标运动矢量;
其中,当所述装置用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;和/或,
所述预设矢量差为多个互不相同的矢量差。
35.根据权利要求34所述的装置,其特征在于,所述计算模块具体用于:
将所述第一运动矢量和所述预设矢量差相加,以获得所述第二运动矢量。
36.根据权利要求35所述的装置,其特征在于,所述计算模块具体用于:
将所述第一向第一运动矢量和所述第一向预设矢量差相加,以获得第一向第二运动矢量;
将所述第二向第一运动矢量和所述第二向预设矢量差相加,以获得第二向第二运动矢量。
37.根据权利要求36所述的装置,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
38.根据权利要求36所述的装置,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等。
39.根据权利要求36所述的装置,其特征在于,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
40.根据权利要求38或39所述的装置,其特征在于,当第一显示偏移矢量和第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
41.根据权利要求34至39任一项所述的装置,其特征在于,所述获取模块具体用于:
根据率失真准则,从所述第二运动矢量集合中,选择编码代价最小的一个运动矢量,作为所述目标运动矢量。
42.根据权利要求35至39任一项所述的装置,其特征在于,所述计算模块具体用于:
将所述第一运动矢量和多个预设矢量差分别相加,以获得多个所述第二运动矢量;
对应的,所述组合模块具体用于:
将所述获得的多个第二运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
43.根据权利要求42所述的装置,其特征在于,所述获取模块具体用于:
根据率失真准则,从所述多个第二运动矢量中,选择编码代价最小的一个运动矢量,作为第三运动矢量;
对应的,所述组合模块具体用于:
将所述第三运动矢量加入所述第一运动矢量集合以形成所述第二运动矢量集合。
44.根据权利要求34至39任一项所述的装置,其特征在于,所述装置还包括:
编码模块,用于编码第一标识信息,所述第一标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
45.根据权利要求44所述的装置,其特征在于,所述编码模块还用于:
编码第二标识信息,所述第二标识信息用于从所述第二运动矢量集合中标识所述目标运动矢量。
46.根据权利要求45所述的装置,其特征在于,所述编码模块还用于:
编码第三标识信息,所述第三标识信息用于从所述多个第二运动矢量中标识第三运动矢量。
47.根据权利要求34至39任一项所述的装置,其特征在于,所述第一运动矢量集合中的运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
48.一种运动矢量的获取装置,所述装置用于视频解码,其特征在于,包括:
解析模块,用于解析码流获得第一标识信息;
获取模块,用于根据所述第一标识信息,从待处理图像块的候选运动矢量集合中,获取第二运动矢量,其中,所述候选运动矢量集合包括第一运动矢量和所述第二运动矢量,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得;
其中,当所述装置用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差。
49.根据权利要求48所述的装置,其特征在于,所述第一运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
50.根据权利要求48或49所述的装置,其特征在于,所述第二运动矢量由所述第一运动矢量和预设矢量差相加获得,包括:
所述第一向第二运动矢量由所述第一向第一运动矢量和所述第一向预设矢量差相加获得;
所述第二向第二运动矢量由所述第二向第一运动矢量和所述第二向预设矢量差相加获得。
51.根据权利要求50所述的装置,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
52.根据权利要求50所述的装置,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等。
53.根据权利要求50所述的装置,其特征在于,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
54.根据权利要求52或53所述的装置,其特征在于,当第一显示偏移矢量和第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
55.一种运动矢量的获取装置,所述装置用于视频解码,其特征在于,包括:
解析模块,用于解析码流获得第一标识信息;
获取模块,用于根据所述第一标识信息,从待处理图像块的第一运动矢量集合中,获取第一运动矢量;
所述解析模块,还用于解析码流获得第二标识信息;
所述获取模块,还用于根据所述第二标识信息,从所述待处理图像块的第二运动矢量集合中,获取第二运动矢量,其中,所述第二运动矢量集合根据所述第一运动矢量确定,所述第一运动矢量和所述第二运动矢量具有多个互不相同的预设矢量差。
56.根据权利要求55所述的装置,其特征在于,所述第一运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
57.根据权利要求55或56所述的装置,其特征在于,当所述装置用于双向预测时,所述第一运动矢量包括第一向第一运动矢量和第二向第一运动矢量,所述第二运动矢量包括第一向第二运动矢量和第二向第二运动矢量,所述预设矢量差包括第一向预设矢量差和第二向预设矢量差;
对应的,所述第一运动矢量和所述第二运动矢量具有预设矢量差,包括:
所述第一向第一运动矢量和所述第一向第二运动矢量具有所述第一向预设矢量差;
所述第二向第一运动矢量和所述第二向第二运动矢量具有所述第二向预设矢量差。
58.根据权利要求57所述的装置,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,当所述第一显示偏移矢量与所述第二显示偏移矢量的矢量和为零时,所述第一向预设矢量差和所述第二向预设矢量差的矢量和为零,当所述第一显示偏移矢量和所述第二显示偏移矢量相同时,所述第一向预设矢量差和所述第二向预设矢量差相同。
59.根据权利要求57所述的装置,其特征在于,第一显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第一参考帧的显示位置的矢量,第二显示偏移矢量是由所述待处理图像块所在的图像帧的显示位置指向第二参考帧的显示位置的矢量,所述第一参考帧为所述第一向第一运动矢量指向的参考帧,所述第二参考帧为所述第二向第一运动矢量指向的参考帧,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小的比例关系与所述第一显示偏移矢量的大小和所述第二显示偏移矢量的大小的比例关系相等。
60.根据权利要求57所述的装置,其特征在于,所述第一向预设矢量差的大小和所述第二向预设矢量差的大小相等。
61.根据权利要求59或60所述的装置,其特征在于,当第一显示偏移矢量和第二显示偏移矢量方向相同时,所述第一向预设矢量差和所述第二向预设矢量差方向相同,当所述第一显示偏移矢量和所述第二显示偏移矢量方向相反时,所述第一向预设矢量差和所述第二向预设矢量差方向相反。
62.根据权利要求55或56所述的装置,其特征在于,所述装置还包括计算模块,所述计算模块用于:
将所述第一运动矢量分别和所述多个预设矢量差相加,以获得多个第三运动矢量,其中,所述多个第三运动矢量组成所述第二运动矢量集合。
63.根据权利要求55或56所述的装置,其特征在于,所述预设矢量差包括零矢量差。
64.一种运动矢量集合的构建装置,所述装置用于视频编码或视频解码,其特征在于,包括:
获取模块,用于获取待处理图像块的第一运动矢量集合中的第一运动矢量;
计算模块,用于将所述第一运动矢量和预设的多个矢量差分别相加,以获得一个或多个第二运动矢量,所述第一运动矢量和所述第二运动矢量不相等;
组合模块,用于将所述一个或多个第二运动矢量加入所述第一运动矢量集合,以形成所述待处理图像块的第二运动矢量集合。
65.根据权利要求64所述的装置,其特征在于,所述第一运动矢量包括以下运动矢量中的至少一个:
基于所述待处理图像块具有空域相关性的参考块的运动矢量获得的运动矢量;
基于所述待处理图像块具有时域相关性的参考块的运动矢量获得的运动矢量;
基于与所述具有时域相关性的对应块具有空域相关性的参考块的运动矢量获得的运动矢量。
66.根据权利要求64或65所述的装置,其特征在于,所述一个或多个第二运动矢量包括一个第三运动矢量,所述组合模块具体用于:
当所述第三运动矢量与所述第一运动矢量集合中的任一运动矢量不相同时,将所述第三运动矢量加入所述第一运动矢量集合。
67.一种获取运动矢量的设备,其特征在于,所述设备用于视频编码或视频解码,包括:
处理器和存储器,所述处理器和所述存储器相连接;
所述存储器用于存储程序代码和视频数据;
所述处理器用于读取所述存储器中存储的所述程序代码,执行权利要求1至31任一项所述的方法。
68.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,所述指令使所述计算机执行权利要求1至31任一项所述的方法。
CN201880091656.5A 2018-04-02 2018-04-02 一种运动矢量的获取方法和装置、一种运动矢量集合的构建方法和装置及计算机可读存储介质 Active CN111919439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046082.8A CN114513671B (zh) 2018-04-02 2018-04-02 一种视频编解码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/081584 WO2019191867A1 (zh) 2018-04-02 2018-04-02 一种视频编解码方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210046082.8A Division CN114513671B (zh) 2018-04-02 2018-04-02 一种视频编解码方法和装置

Publications (2)

Publication Number Publication Date
CN111919439A CN111919439A (zh) 2020-11-10
CN111919439B true CN111919439B (zh) 2022-01-14

Family

ID=68099784

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210046082.8A Active CN114513671B (zh) 2018-04-02 2018-04-02 一种视频编解码方法和装置
CN201880091656.5A Active CN111919439B (zh) 2018-04-02 2018-04-02 一种运动矢量的获取方法和装置、一种运动矢量集合的构建方法和装置及计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210046082.8A Active CN114513671B (zh) 2018-04-02 2018-04-02 一种视频编解码方法和装置

Country Status (3)

Country Link
US (1) US11394996B2 (zh)
CN (2) CN114513671B (zh)
WO (1) WO2019191867A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841575B2 (en) * 2018-04-15 2020-11-17 Arris Enterprises Llc Unequal weight planar motion vector derivation
CN111260760B (zh) * 2020-01-10 2023-06-20 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534447A (zh) * 2008-03-13 2009-09-16 索尼株式会社 图像处理装置和图像处理方法
CN102595110A (zh) * 2011-01-10 2012-07-18 华为技术有限公司 视频编码方法、解码方法及终端
KR20130057020A (ko) * 2011-11-23 2013-05-31 충북대학교 산학협력단 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법
CN104661031A (zh) * 2015-02-16 2015-05-27 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2006279573A (ja) * 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 符号化装置と方法、ならびに復号装置と方法
US20080247465A1 (en) * 2007-04-05 2008-10-09 Jun Xin Method and System for Mapping Motion Vectors between Different Size Blocks
CN102215387B (zh) * 2010-04-09 2013-08-07 华为技术有限公司 视频图像处理方法以及编/解码器
CN102227132B (zh) * 2011-05-25 2017-04-12 深圳市云宙多媒体技术有限公司 一种运动矢量预测编解码方法、装置及编解码系统
US20130114717A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Nttドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
EP3111641A4 (en) * 2014-04-01 2017-11-08 MediaTek Inc. Method of motion information coding
CN112087630B (zh) * 2014-09-30 2022-04-08 华为技术有限公司 图像预测方法、装置、解码器及存储介质
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534447A (zh) * 2008-03-13 2009-09-16 索尼株式会社 图像处理装置和图像处理方法
CN102595110A (zh) * 2011-01-10 2012-07-18 华为技术有限公司 视频编码方法、解码方法及终端
KR20130057020A (ko) * 2011-11-23 2013-05-31 충북대학교 산학협력단 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법
CN104661031A (zh) * 2015-02-16 2015-05-27 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备

Also Published As

Publication number Publication date
US11394996B2 (en) 2022-07-19
CN111919439A (zh) 2020-11-10
CN114513671A (zh) 2022-05-17
US20210014526A1 (en) 2021-01-14
WO2019191867A1 (zh) 2019-10-10
CN114513671B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111684796B (zh) 一种视频编解码方法和装置
CN110876059B (zh) 运动矢量的获取方法、装置、计算机设备及存储介质
US11064192B2 (en) Simplification of spatial-temporal motion vector prediction
CN109495738B (zh) 一种运动信息的编解码方法和装置
US11394996B2 (en) Video coding method and apparatus
CN110896485B (zh) 一种预测运动信息的解码方法及装置
CN110546956B (zh) 一种帧间预测的方法及装置
WO2020024275A1 (zh) 一种帧间预测的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant