CN109495738B - 一种运动信息的编解码方法和装置 - Google Patents

一种运动信息的编解码方法和装置 Download PDF

Info

Publication number
CN109495738B
CN109495738B CN201710818690.5A CN201710818690A CN109495738B CN 109495738 B CN109495738 B CN 109495738B CN 201710818690 A CN201710818690 A CN 201710818690A CN 109495738 B CN109495738 B CN 109495738B
Authority
CN
China
Prior art keywords
image block
reconstructed image
motion information
neighboring reconstructed
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710818690.5A
Other languages
English (en)
Other versions
CN109495738A (zh
Inventor
张娜
安基程
林永兵
郑建铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710818690.5A priority Critical patent/CN109495738B/zh
Priority to PCT/CN2018/102632 priority patent/WO2019052330A1/zh
Publication of CN109495738A publication Critical patent/CN109495738A/zh
Application granted granted Critical
Publication of CN109495738B publication Critical patent/CN109495738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本申请实施例提供了一种图像块预测运动信息的编解码方法及装置。该解码方法包括:从码流中解析出待处理图像块的目标预测运动信息的目标标识信息;确定N个候选预测运动信息,该N个候选预测运动信息包括目标预测运动信息,其中,N为大于1的整数;获取该N个候选预测运动信息各自对应的失真值,失真值由候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;根据获取的N个失真值之间的大小关系,确定N个候选预测运动信息各自的第一标识信息,N个候选预测运动信息和各自的第一标识信息一一对应;将与目标标识信息匹配的第一标识信息对应的候选预测运动信息确定为目标预测运动信息。

Description

一种运动信息的编解码方法和装置
技术领域
本申请涉及视频图像技术领域,尤其涉及一种运动信息的编解码方法和装置。
背景技术
数字视频能力可应用于很多设备中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(personal digital assistant,PDA)、笔记本或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置、视频流装置等等。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频编解码(advanced video coding,AVC)、ITU-TH.265高效率视频编解码(high efficiencyvideo coding,HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术,从而更高效地发送及接收数字视频信息。视频装置可通过实施这些视频编解码技术来更高效地发送、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图像内)预测和/或时间(图像间)预测,以减少或移除视频序列中固有的冗余。对于基于块的视频解码,可将视频图像分割成视频块,视频块还可被称作树块、编码单元(coding unit,CU)、解码单元、解码节点等等。使用同一图像中的相邻块中的参考样本的空间预测来编码图像的帧内解码(I)条带中的视频块。使用同一图像中的相邻块中的参考样本的空间预测或其它参考图像中的参考样本的时间预测来编码图像的帧间解码(P或B)条带中的视频块。图像可被称作帧,且参考图像可被称作参考帧。
发明内容
本申请介绍了一种预测方法,具体的:当待处理块具有多个候选预测运动信息时,以待处理块和待处理块的候选预测运动信息所指示的参考图像块之间的相似度为先验知识,来协助确定各个候选预测运动信息的标识的编码方式,从而达到节省编码比特,提高编码效率的目的。在一种可行的实施方式中,由于待处理块的像素值无法在解码端直接获得,因此上述相似度被用待处理块周边的重构像素集合和参考图像块对应的重构像素集合的相似度所近似,也就是说,待处理块周边的重构像素集合和参考图像块对应的重构像素集合的相似度用来表征待处理块和待处理块的候选预测运动信息所指示的参考图像块之间的相似度。
应理解,以编码端为例,本申请实施例适用于从待处理块的多个参考图像块中,确定一个参考图像块,并编码该参考图像块的标识信息的场景。而与该多个参考图像块来自于帧间类型的预测模式,来自于帧内类型的预测模式,还是来自视点间的预测模式(多视点或三维视频编码,Multi-view or 3D Video Codig),还是来自层间的预测模式(可伸缩视频编码,Scalabe Video Coding)无关,与具体的参考图像块的获得方法(比如采用ATMVP还是STMVP,或者帧内区块复制模式)无关,与指示参考图像块的运动信息是属于整个编码单元的运动矢量,还是属于编码单元中某个子编码单元的运动信息无关,上述符合本申请实施例适用场景的各种预测模式以及获取参考图像块的方法(即获取运动信息的方法)都可以依照或者结合本申请实施例中的方案,达到提高编码效率的技术效果。
在本申请实施例的第一方面,提供了一种图像块预测运动信息的编码方法包括步骤:获取待处理图像块的N个候选预测运动信息。其中,N为大于1的整数。该N个候选预测运动信息互不相同。应理解,当运动信息包括运动矢量和参考帧信息时,运动信息互不相同,也包括运动矢量相同但参考帧信息不同的情况。前文中已经介绍了修剪的技术,应理解,在获得待处理图像块的N个候选预测运动信息的过程中,进行了修剪的操作,以使最终获得的N个候选预测运动信息互不相同,不再赘述。在一种可行的实施方式中,所述获取待处理图像块的N个候选预测运动信息,包括:按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。在一种可行的实施方式中,所述获取待处理图像块的N个候选预测运动信息,包括:按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;确定所述M个候选预测运动信息的分组方式;根据所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。对于各个分组,可以采取不同的处理方式,也可以采取相同的处理方式。在一种可行的实施方式中,将所述分组方式编入码流。在一种可行的实施方式中,分组方式是编解码端通过预先设置的协议分别固化在编解码端并保持一致的。同时,编码端还需要使解码端获知具体的候选预测运动信息。在一种可行的实施方式中,将候选预测运动信息编入码流;或者,将指示与所述待处理图像块具有预设位置关系的图像块的第二标识信息编入所述码流;或者,将与所述N个候选预测运动信息具有预设对应关系的第三标识信息编入所述码流。在一种可行的实施方式中,候选预测运动信息是编解码端通过预先设置的协议分别固化在编解码端并保持一致的。
对候选预测运动信息进行分组,并且允许不同的分组采用不同的处理方式,使编码方式更加灵活,并且减低了计算的复杂度。
该编码方法还包括步骤:确定所述待处理图像块的相邻重构图像块可用。在一种可行的实施方式中,当所述待处理图像块的相邻重构图像块包括至少两个所述原始相邻重构图像块时,所述确定所述待处理图像块的相邻重构图像块可用,包括:确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块可用。在一些实施例中,需要编码标识信息来编码上述分组方式和/或每个分组的处理方式等辅助信息,在这样的实施例中,也可以先确定待处理图像块的相邻重构图像块的可用性。
当相邻重构图像块不可用时,可以直接采用传统方式进行编码,而不需要进一步编码上述辅助信息,从而节省编码比特。
该编码方法还包括步骤:获取所述N个候选预测运动信息各自对应的失真值。所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形。在一种可行的实施方式中,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,所述原始相邻重构图像块的宽为W,高为n;在一种可行的实施方式中,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,所述原始相邻重构图像块的宽为W+H,高为n;在一种可行的实施方式中,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,所述原始相邻重构图像块的宽为n,高为H;在一种可行的实施方式中,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,所述原始相邻重构图像块的宽为n,高为W+H。其中W,H,n为正整数。
在一种可行的实施方式中,按照编码系统对存储空间(line buffer)的要求,可以设置上述n为1或2,从而不需要额外的存储空间存储原始相邻重构图像块,简化了硬件实现。
该步骤首先需要获得N个候选预测运动信息所指示的待处理图像块的参考图像块的参考相邻重构图像块。在一种可行的实施方式中,候选预测运动信息中的运动矢量指向的是参考帧中分像素的位置,此时需要对参考帧图像或者参考帧图像的一部分进行分像素精度的图像插值以获得参考图像块的参考相邻重构图像块,此时可以采用{-1,4,-11,40,40,-11,4,-1}的8抽头滤波器进行分像素插值,或者,为了简化计算复杂度,也可以采用双线性插值滤波器进行分像素插值。
使用更简单的插值滤波器降低了算法实现的复杂度。
该步骤然后计算参考图像块的参考相邻重构图像块和待处理块的原始相邻重构图像块的差异表征值作为失真值。该差异表征值可以有多种计算方式,比如平均绝对误差(MAD),绝对误差和(SAD),误差平方和(SSD),平均误差平方和(MSD),绝对哈达玛变换误差和(SATD),归一化积相关性度量值(NCC),或者,基于序贯相似性检测(SSDA)的相似性度量值等等。当原始相邻重构图像块具有多个时,不妨设所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,对应的,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,则所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。更一般的,所述失真值根据如下计算式获得:
Figure GDA0003926030020000031
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。根据实际采用的计算差异值的方法,Delta为MAD,SAD,SSD等上述各种计算方式的表达式。
在一种可行的实施方式中,本发明实施例应用于帧间双向预测,不妨设,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
在一种可行的实施方式中,待处理图像块具有子块级的候选预测运动信息,可以分别求得与原始相邻重构图像块相邻的每个子块对应的失真值,并求和,作为待处理图像块的失真值。
该编码方法还包括步骤:根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应。
该步骤首先比较N个失真值之间的大小,具体的,可以按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。然后,按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息。其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串的长度小于等于用于,即不大于,编码所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
相似度大(失真值小)的候选预测运动信息被最终选中成为预测信息的概率更大,对其赋予更短码字的二进制字符串来表示标识值,能够节省编码比特,提高编码效率。
该编码方法还包括步骤:当所述待处理图像块的目标预测运动信息为所述已确定第一标识信息的N个候选预测运动信息中的一个时,将所述目标预测运动信息的第一标识信息编入码流。
在本申请实施例的第二方面提供了一种图像块预测运动信息的解码方法,包括:从码流中解析出待处理图像块的目标预测运动信息的目标标识信息;确定N个候选预测运动信息,所述N个候选预测运动信息包括所述目标预测运动信息,其中,N为大于1的整数;获取所述N个候选预测运动信息各自对应的失真值,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应;将与所述目标标识信息匹配的第一标识信息对应的候选预测运动信息确定为所述目标预测运动信息。
当待处理块具有多个候选预测运动矢量时,以待处理块和待处理块的候选预测运动矢量所指示的参考图像块之间的相似度为先验知识,来协助确定各个候选预测运动矢量的标识的编码方式,从而达到节省编码比特,提高编码效率的目的。本申请实施例第二方面的各实施方式与第一方面的编码方法相对应,有益技术效果相同,可参考第一方面关于技术效果的描述,不再赘述。
在第二方面的一种可行的实施方式中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括参考相邻重构图像块,所述待处理图像块的相邻重构图像块包括与所述参考相邻重构图像块对应的原始相邻重构图像块,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定,包括:所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。
在第二方面的一种可行的实施方式中,所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值,包括:所述参考相邻重构图像块和所述原始相邻重构图像块的平均绝对误差;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的平均误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对哈达玛变换误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的归一化积相关性度量值;或,所述参考相邻重构图像块和所述原始相邻重构图像块的基于序贯相似性检测的相似性度量值。
在第二方面的一种可行的实施方式中,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,包括:所述原始相邻重构图像块的宽为W,高为n;或者,所述原始相邻重构图像块的宽为W+H,高为n;其中W,H,n为正整数。
在第二方面的一种可行的实施方式中,n为1或2。
在第二方面的一种可行的实施方式中,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,包括:所述原始相邻重构图像块的宽为n,高为H;或者,所述原始相邻重构图像块的宽为n,高为W+H;其中W,H,n为正整数。
在第二方面的一种可行的实施方式中,n为1或2。
在第二方面的一种可行的实施方式中,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
在第二方面的一种可行的实施方式中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括多个所述参考相邻重构图像块,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,对应的,所述待处理图像块的相邻重构图像块包括多个所述原始相邻重构图像块,所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。
在第二方面的一种可行的实施方式中,所述失真值根据如下计算式获得:
Figure GDA0003926030020000051
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。
在第二方面的一种可行的实施方式中,所述根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,包括:比较所述N个失真值之间的大小;按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息,其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串的长度小于等于所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
在第二方面的一种可行的实施方式中,所述比较所述N个失真值之间的大小,包括:按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。
在第二方面的一种可行的实施方式中,所述确定N个候选预测运动信息,包括:按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。
在第二方面的一种可行的实施方式中,所述确定N个候选预测运动信息,包括:按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;确定所述M个候选预测运动信息的分组方式;根据所述目标标识信息和所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。
在第二方面的一种可行的实施方式中,所述确定所述M个候选预测运动信息的分组方式,包括:确定预设的所述分组方式;或者,从所述码流中解析获得所述分组方式。
在第二方面的一种可行的实施方式中,所述确定N个候选预测运动信息,包括:解析所述码流中的所述多个候选预测运动信息的编码信息,以获得所述N个候选预测运动信息;或者,解析所述码流中的第二标识信息,以获得所述第二标识信息指示的N个候选图像块,并以所述N个候选图像块的运动信息作为所述N个候选预测运动信息;或者,解析所述码流中的第三标识信息,以获得与所述第三标识信息具有预设对应关系的所述N个候选预测运动信息。
在第二方面的一种可行的实施方式中,在所述获取所述N个候选预测运动信息各自对应的失真值之前,所述方法还包括:确定所述待处理图像块的相邻重构图像块可用。
在第二方面的一种可行的实施方式中,当所述待处理图像块的相邻重构图像块包括至少两个所述原始相邻重构图像块时,所述确定所述待处理图像块的相邻重构图像块可用,包括:确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块可用。
在第二方面的一种可行的实施方式中,在所述确定N个候选预测运动信息之后,所述方法还包括:确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
在第二方面的一种可行的实施方式中,所述确定执行所述获取所述N个候选预测运动信息各自对应的失真值,包括:根据所述分组方式,确定执行所述获取所述N个候选预测运动信息各自对应的失真值;或者,解析所述码流中的第四标识信息以确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
本申请实施例的第三方面提供了一种图像块预测运动信息的编码装置,包括:获取模块,用于获取待处理图像块的N个候选预测运动信息,其中,N为大于1的整数;计算模块,用于获取所述N个候选预测运动信息各自对应的失真值,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;比较模块,用于根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应;编码模块,用于当所述待处理图像块的目标预测运动信息为所述已确定第一标识信息的N个候选预测运动信息中的一个时,将所述目标预测运动信息的第一标识信息编入码流。
在第三方面的一种可行的实施方式中,所述编码装置还包括检测模块,用于确定所述待处理图像块的相邻重构图像块存在。
在第三方面的一种可行的实施方式中,所述编码装置还包括决策模块,用于确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
本申请实施例的第四方面提供了一种图像块预测运动信息的解码装置,包括:解析模块,用于从码流中解析出待处理图像块的目标预测运动信息的目标标识信息;获取模块,用于确定N个候选预测运动信息,所述N个候选预测运动信息包括所述目标预测运动信息,其中,N为大于1的整数;计算模块,用于获取所述N个候选预测运动信息各自对应的失真值,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;比较模块,用于根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应;选择模块,用于将与所述目标标识信息匹配的第一标识信息对应的候选预测运动信息确定为所述目标预测运动信息。
在第四方面的一种可行的实施方式中,所述解码装置还包括检测模块,用于确定所述待处理图像块的相邻重构图像块存在。
在第四方面的一种可行的实施方式中,所述解码装置还包括决策模块,用于确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
本申请实施例的第五方面提供了一种图像块预测运动信息的处理装置,包括:存储器,用于存储程序,所述程序包括代码;收发器,用于和其他设备进行通信;处理器,用于执行存储器中的程序代码。可选地,当所述代码被执行时,所述处理器可以实现第一方面所述的方法或者第二方面所述的方法的各个操作;收发器用于在处理器的驱动下执行具体的信号收发。
本申请实施例的第六方面提供了一种计算机存储介质,用于储存为上述编码装置、解码装置或处理装置所用的计算机软件指令,其包含用于执行上述第一方面或第二方面的方法所设计的程序。
本申请实施例的第七方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面的方法。
应理解,本申请实施例的第二至第七方面和第一方面的发明目的相同,技术实现一致,技术效果类似,可以参考第一方面对应技术特征的描述,不再赘述。
附图说明
图1为本申请实施例中视频编码及解码系统的一种示意性框图;
图2为本申请实施例中视频编码器的一种示意性框图;
图3为本申请实施例中视频解码器的一种示意性框图;
图4为本申请实施例中帧间预测模块的一种示意性框图;
图5为本申请实施例中合并预测模式的一种示例性流程图;
图6为本申请实施例中高级运动矢量预测模式的一种示例性流程图;
图7为本申请实施例中由视频解码器执行的运动补偿的一种示例性流程图;
图8为本申请实施例中编码单元及与其关联的相邻位置图像块的一种示例性示意图;
图9为本申请实施例中构建候选预测运动矢量列表的一种示例性流程图;
图10为本申请实施例中将经过组合的候选运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图;
图11为本申请实施例中将经过缩放的候选运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图;
图12为本申请实施例中将零运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图;
图13为本申请实施例的一种编码方法的示意性流程图;
图14为本申请实施例中参考相邻重构图像块与原始相邻重构图像块关系的一种示意图;
图15为本申请实施例中子块级运动信息处理方式的一种示意图;
图16为本申请实施例的一种解码方法的示意性流程图;
图17为本申请实施例的一种编码装置的示意性框图;
图18为本申请实施例的一种解码装置的示意性框图;
图19为本申请实施例的一种装置的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
图1为本申请实施例中视频编码及解码系统10的一种示意性框图。如图1中所展示,系统10包含源装置12,源装置12产生将在稍后时间由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括多种装置中的任一者,包含桌上型计算机、笔记型计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”触控板、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些应用中,源装置12及目的地装置14可以用于无线通信。
目的地装置14可经由传输信道16接收待解码的经编码视频数据。传输信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个可行的实施方式中,传输信道16可包括使源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。可根据通信标准(例如,无线通信协议)调制经编码视频数据,并将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频频谱或一个或多个物理传输线。通信媒体可形成基于包的网络(例如,局域网、广域网或因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可有用于促进从源装置12到目的地装置14的通信的任何其它装备。
替代地,可将经编码数据从输出接口输出到存储装置。类似地,可由输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一者,例如,硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一可行的实施方式中,存储装置可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储视频数据。文件服务器可为能够存储经编码视频数据且将此经编码视频数据传输到目的地装置14的任何类型的服务器。可行的实施方式文件服务器包含网站服务器、文件传送协议服务器、网络附接存储装置或本地磁盘机。目的地装置14可经由包含因特网连接的任何标准数据连接存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,缆线调制解调器等)或两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或两者的组合。
本申请的技术不必限于无线应用或设定。技术可应用于视频解码以支持多种多媒体应用中的任一者,例如,空中电视广播、有线电视传输、卫星电视传输、流式传输视频传输(例如,经由因特网)、编码数字视频以用于存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频或其它应用。在一些可行的实施方式中,系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。
在图1的可行的实施方式中,源装置12包含视频源18、视频编码器20及输出接口。在一些应用中,输出接口可包含调制解调器(Modem)22和/或传输器24。在源装置12中,视频源18可包含例如以下各者的源:视频捕获装置(例如,摄像机)、含有先前捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口,和/或用于产生计算机图形数据作为源视频的计算机图形系统,或这些源的组合。作为一种可行的实施方式,如果视频源18为摄像机,那么源装置12及目的装置14可形成所谓的摄影机电话或视频电话。本申请中所描述的技术可示例性地适用于视频解码,且可适用于无线和/或有线应用。
可由视频编码器20来编码所捕获、预捕获或计算机产生的视频。经编码视频数据可经由源装置12的输出接口直接传输到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置上以供稍后由目的地装置14或其它装置存取以用于解码和/或播放。
目的地装置14包含输入接口、视频解码器30及显示装置32。在一些应用中,输入接口可包含接收器26和/或调制解调器28。目的地装置14的输入接口28经由传输信道16接收经编码视频数据。经由传输信道16传达或提供于存储装置上的经编码视频数据可包含由视频编码器20产生以供视频解码器30的视频解码器使用以解码视频数据的多种语法元素。这些语法元素可与在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些可行的实施方式中,目的地装置14可包含集成显示装置且也经配置以与外部显示装置接口连接。在其它可行的实施方式中,目的地装置14可为显示装置。一般来说,显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如液晶显示器、等离子显示器、有机发光二极管显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据例如目前在开发中的下一代视频编解码压缩标准(H.266)操作且可遵照H.266测试模型(JEM)。替代地,视频编码器20及视频解码器30可根据例如ITU-TH.265标准,也称为高效率视频解码标准,或者,ITU-TH.264标准的其它专属或工业标准或这些标准的扩展而操作,ITU-TH.264标准替代地被称为MPEG-4第10部分,也称高级视频编码(advanced video coding,AVC)。然而,本申请的技术不限于任何特定解码标准。视频压缩标准的其它可行的实施方式包含MPEG-2和ITU-TH.263。
尽管未在图1中展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用,那么在一些可行的实施方式中,MUX-DEMUX单元可遵照ITUH.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者,例如,一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。在技术部分地以软件实施时,装置可将软件的指令存储于合适的非瞬态计算机可读媒体中且使用一个或多个处理器以硬件执行指令,以执行本申请的技术。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中,其中的任一者可在相应装置中集成为组合式编码器/解码器(CODEC)的部分。
本申请示例性地可涉及视频编码器20将特定信息“用信号发送”到例如视频解码器30的另一装置。然而,应理解,视频编码器20可通过将特定语法元素与视频数据的各种经编码部分相关联来用信号发送信息。即,视频编码器20可通过将特定语法元素存储到视频数据的各种经编码部分的头信息来“用信号发送”数据。在一些应用中,这些语法元素可在通过视频解码器30接收及解码之前经编码及存储(例如,存储到存储系统34或文件服务器36)。因此,术语“用信号发送”示例性地可指语法元素或用于解码经压缩视频数据的其它数据的传达,而不管此传达是实时或近实时地发生或在时间跨度内发生,例如可在编码时将语法元素存储到媒体时发生,语法元素接着可在存储到此媒体之后的任何时间通过解码装置检索。
JCT-VC开发了H.265(HEVC)标准。HEVC标准化基于称作HEVC测试模型(HM)的视频解码装置的演进模型。H.265的最新标准文档可从http://www.itu.int/rec/T-REC-H.265获得,最新版本的标准文档为H.265(12/16),该标准文档以全文引用的方式并入本文中。HM假设视频解码装置相对于ITU-TH.264/AVC的现有算法具有若干额外能力。例如,H.264提供9种帧内预测编码模式,而HM可提供多达35种帧内预测编码模式。
JVET致力于开发H.266标准。H.266标准化的过程基于称作H.266测试模型的视频解码装置的演进模型。H.266的算法描述可从http://phenix.int-evry.fr/jvet获得,其中最新的算法描述包含于JVET-F1001-v2中,该算法描述文档以全文引用的方式并入本文中。同时,可从https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/获得JEM测试模型的参考软件,同样以全文引用的方式并入本文中。
应理解,在一些实施例中,运动信息包括运动矢量和参考帧信息,而在另一些实施例中,当参考帧信息确定的情况下,运动矢量为运动信息中的主要研究对象。为了描述方便,当下文仅以运动矢量或者预测运动矢量为描述对象的时候,参考帧信息为确定的、隐含确定的(比如帧内预测中使用本申请实施例的方法,或者,只有一帧参考帧等情况)或者可以使用本申请实施例(比如使用和对运动矢量相同的处理方法)或其它实施例确定的信息,而并不意味可以忽略参考帧信息。一般来说,HM的模型描述可将视频帧或图像划分成包含亮度及色度样本两者的树块或最大编码单元(largest coding unit,LCU)的序列,LCU也被称为CTU。树块具有与H.264标准的宏块类似的目的。条带包含按解码次序的数个连续树块。可将视频帧或图像分割成一个或多个条带。可根据四叉树将每一树块分裂成编码单元。例如,可将作为四叉树的根节点的树块分裂成四个子节点,且每一子节点可又为母节点且被分裂成另外四个子节点。作为四叉树的叶节点的最终不可分裂的子节点包括解码节点,例如,经解码视频块。与经解码码流相关联的语法数据可定义树块可分裂的最大次数,且也可定义解码节点的最小大小。
编码单元包含解码节点及预测单元(prediction unit,PU)以及与解码节点相关联的变换单元(transform unit,TU)。CU的大小对应于解码节点的大小且形状必须为正方形。CU的大小的范围可为8×8像素直到最大64×64像素或更大的树块的大小。每一CU可含有一个或多个PU及一个或多个TU。例如,与CU相关联的语法数据可描述将CU分割成一个或多个PU的情形。分割模式在CU是被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码的情形之间可为不同的。PU可经分割成形状为非正方形。例如,与CU相关联的语法数据也可描述根据四叉树将CU分割成一个或多个TU的情形。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU进行变换,TU对于不同CU来说可为不同的。TU通常基于针对经分割LCU定义的给定CU内的PU的大小而设定大小,但情况可能并非总是如此。TU的大小通常与PU相同或小于PU。在一些可行的实施方式中,可使用称作“残余四叉树”(residualqualtree,RQT)的四叉树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称作TU。可变换与TU相关联的像素差值以产生变换系数,变换系数可被量化。
一般来说,PU包含与预测过程有关的数据。例如,在PU经帧内模式编码时,PU可包含描述PU的帧内预测模式的数据。作为另一可行的实施方式,在PU经帧间模式编码时,PU可包含界定PU的运动矢量的数据。例如,界定PU的运动矢量的数据可描述运动矢量的水平分量、运动矢量的垂直分量、运动矢量的分辨率(例如,四分之一像素精确度或八分之一像素精确度)、运动矢量所指向的参考图像,和/或运动矢量的参考图像列表(例如,列表0、列表1或列表C)。
一般来说,TU使用变换及量化过程。具有一个或多个PU的给定CU也可包含一个或多个TU。在预测之后,视频编码器20可计算对应于PU的残余值。残余值包括像素差值,像素差值可变换成变换系数、经量化且使用TU扫描以产生串行化变换系数以用于熵解码。本申请通常使用术语“视频块”来指CU的解码节点。在一些特定应用中,本申请也可使用术语“视频块”来指包含解码节点以及PU及TU的树块,例如,LCU或CU。
视频序列通常包含一系列视频帧或图像。图像群组(group of picture,GOP)示例性地包括一系列、一个或多个视频图像。GOP可在GOP的头信息中、图像中的一者或多者的头信息中或在别处包含语法数据,语法数据描述包含于GOP中的图像的数目。图像的每一条带可包含描述相应图像的编码模式的条带语法数据。视频编码器20通常对个别视频条带内的视频块进行操作以便编码视频数据。视频块可对应于CU内的解码节点。视频块可具有固定或变化的大小,且可根据指定解码标准而在大小上不同。
作为一种可行的实施方式,HM支持各种PU大小的预测。假定特定CU的大小为2N×2N,HM支持2N×2N或N×N的PU大小的帧内预测,及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM也支持2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中,CU的一方向未分割,而另一方向分割成25%及75%。对应于25%区段的CU的部分由“n”后跟着“上(U)”、“下(D)”、“左(L)”或“右(R)”的指示来指示。因此,例如,“2N×nU”指水平分割的2N×2NCU,其中2N×0.5NPU在上部且2N×1.5NPU在底部。
在本申请中,“N×N”与“N乘N”可互换使用以指依照垂直维度及水平维度的视频块的像素尺寸,例如,16×16像素或16乘16像素。一般来说,16×16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样地,N×N块一般在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。可将块中的像素排列成行及列。此外,块未必需要在水平方向上与在垂直方向上具有相同数目个像素。例如,块可包括N×M个像素,其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性解码之后,视频编码器20可计算CU的TU的残余数据(也被称为残差)。PU可包括空间域(也称作像素域)中的像素数据,且TU可包括在将变换(例如,离散余弦变换(discrete cosine transform,DCT)、整数变换、小波变换或概念上类似的变换)应用于残余视频数据形成变换域中的系数。残余数据可对应于未经编码图像的像素与PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU,且接着变换TU以产生CU的变换系数。
在任何变换以产生变换系数之后,视频编码器20可执行变换系数的量化。量化示例性地指对系数进行量化以可能减少用以表示系数的数据的量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。例如,可在量化期间将n位值降值舍位到m位值,其中n大于m。
JEM模型对视频图像的编码结构进行了进一步的改进,具体的,被称为“四叉树结合二叉树”(QTBT)的块编码结构被引入进来。QTBT结构摒弃了HEVC中的CU,PU,TU等概念,支持更灵活的CU划分形状,一个CU可以正方形,也可以是长方形。一个CTU首先进行四叉树划分,该四叉树的叶节点进一步进行二叉树划分。同时,在二叉树划分中存在两种划分模式,对称水平分割和对称竖直分割。二叉树的叶节点被称为CU,JEM的CU在预测和变换的过程中都不可以被进一步划分,也就是说JEM的CU,PU,TU具有相同的块大小。在现阶段的JEM中,CTU的最大尺寸为256×256亮度像素。
在一些可行的实施方式中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它可行的实施方式中,视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可根据上下文自适应性可变长度解码(CAVLC)、上下文自适应性二进制算术解码(CABAC)、基于语法的上下文自适应性二进制算术解码(SBAC)、概率区间分割熵(PIPE)解码或其他熵解码方法来熵解码一维向量。视频编码器20也可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
为了执行CABAC,视频编码器20可将上下文模型内的上下文指派给待传输的符号。上下文可与符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器20可选择待传输的符号的可变长度码。可变长度解码(VLC)中的码字可经构建以使得相对较短码对应于可能性较大的符号,而较长码对应于可能性较小的符号。以这个方式,VLC的使用可相对于针对待传输的每一符号使用相等长度码字达成节省码率的目的。基于指派给符号的上下文可以确定CABAC中的概率。
在本申请实施例中,视频编码器可执行帧间预测以减少图像之间的时间冗余。如前文所描述,根据不同视频压缩编解码标准的规定,CU可具有一个或多个预测单元PU。换句话说,多个PU可属于CU,或者PU和CU的尺寸相同。在本文中当CU和PU尺寸相同时,CU的分割模式为不分割,或者即为分割为一个PU,且统一使用PU进行表述。当视频编码器执行帧间预测时,视频编码器可用信号通知视频解码器用于PU的运动信息。示例性的,PU的运动信息可以包括:参考图像索引、运动矢量和预测方向标识。运动矢量可指示PU的图像块(也称视频块、像素块、像素集合等)与PU的参考图像块之间的位移。PU的参考图像块可为类似于PU的图像块的参考图像的一部分。参考图像块可定位于由参考图像索引和预测方向标识指示的参考图像中。
为了减少表示PU的运动信息所需要的编码比特的数目,视频编码器可根据合并预测模式或高级运动矢量预测模式过程产生用于PU中的每一者的候选预测运动矢量(MotionVector,MV)列表。用于PU的候选预测运动矢量列表中的每一候选预测运动矢量可指示运动信息。由候选预测运动矢量列表中的一些候选预测运动矢量指示的运动信息可基于其它PU的运动信息。如果候选预测运动矢量指示指定空间候选预测运动矢量位置或时间候选预测运动矢量位置中的一者的运动信息,则本申请可将所述候选预测运动矢量称作“原始”候选预测运动矢量。举例来说,对于合并模式,在本文中也称为合并预测模式,可存在五个原始空间候选预测运动矢量位置和一个原始时间候选预测运动矢量位置。在一些实例中,视频编码器可通过组合来自不同原始候选预测运动矢量的部分运动矢量、修改原始候选预测运动矢量或仅插入零运动矢量作为候选预测运动矢量来产生额外候选预测运动矢量。这些额外候选预测运动矢量不被视为原始候选预测运动矢量且在本申请中可称作人工产生的候选预测运动矢量。
本申请的技术一般涉及用于在视频编码器处产生候选预测运动矢量列表的技术和用于在视频解码器处产生相同候选预测运动矢量列表的技术。视频编码器和视频解码器可通过实施用于构建候选预测运动矢量列表的相同技术来产生相同候选预测运动矢量列表。举例来说,视频编码器和视频解码器两者可构建具有相同数目的候选预测运动矢量(例如,五个候选预测运动矢量)的列表。视频编码器和解码器可首先考虑空间候选预测运动矢量(例如,同一图像中的相邻块),接着考虑时间候选预测运动矢量(例如,不同图像中的候选预测运动矢量),且最后可考虑人工产生的候选预测运动矢量直到将所要数目的候选预测运动矢量添加到列表为止。根据本申请的技术,可在候选预测运动矢量列表构建期间针对某些类型的候选预测运动矢量利用修剪操作以便从候选预测运动矢量列表移除重复,而对于其它类型的候选预测运动矢量,可能不使用修剪以便减小解码器复杂性。举例来说,对于空间候选预测运动矢量集合和对于时间候选预测运动矢量,可执行修剪操作以从候选预测运动矢量的列表排除具有重复运动信息的候选预测运动矢量。然而,当将人工产生的候选预测运动矢量添加到候选预测运动矢量的列表时,可在不对人工产生的候选预测运动矢量执行修剪操作的情况下添加人工产生的候选预测运动矢量。
在产生用于CU的PU的候选预测运动矢量列表之后,视频编码器可从候选预测运动矢量列表选择候选预测运动矢量且在码流中输出候选预测运动矢量索引。选定候选预测运动矢量可为具有产生最紧密地匹配正被解码的目标PU的预测子的运动矢量的候选预测运动矢量。候选预测运动矢量索引可指示在候选预测运动矢量列表中选定候选预测运动矢量的位置。视频编码器还可基于由PU的运动信息指示的参考图像块产生用于PU的预测性图像块。可基于由选定候选预测运动矢量指示的运动信息确定PU的运动信息。举例来说,在合并模式中,PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。在AMVP模式中,PU的运动信息可基于PU的运动矢量差和由选定候选预测运动矢量指示的运动信息确定。视频编码器可基于CU的PU的预测性图像块和用于CU的原始图像块产生用于CU的一或多个残余图像块。视频编码器可接着编码一或多个残余图像块且在码流中输出一或多个残余图像块。
码流可包括识别PU的候选预测运动矢量列表中的选定候选预测运动矢量的数据。视频解码器可基于由PU的候选预测运动矢量列表中的选定候选预测运动矢量指示的运动信息确定PU的运动信息。视频解码器可基于PU的运动信息识别用于PU的一或多个参考图像块。在识别PU的一或多个参考图像块之后,视频解码器可基于PU的一或多个参考图像块产生用于PU的预测性图像块。视频解码器可基于用于CU的PU的预测性图像块和用于CU的一或多个残余图像块来重构用于CU的图像块。
为了易于解释,本申请可将位置或图像块描述为与CU或PU具有各种空间关系。此描述可解释为是指位置或图像块和与CU或PU相关联的图像块具有各种空间关系。此外,本申请可将视频解码器当前在解码的PU称作当前PU,也称为当前待处理图像块。本申请可将视频解码器当前在解码的CU称作当前CU。本申请可将视频解码器当前在解码的图像称作当前图像。应理解,本申请同时适用于PU和CU具有相同尺寸,或者PU即为CU的情况,统一使用PU来表示。
如前文简短地描述,视频编码器20可使用帧间预测以产生用于CU的PU的预测性图像块和运动信息。在许多例子中,给定PU的运动信息可能与一或多个附近PU(即,其图像块在空间上或时间上在给定PU的图像块附近的PU)的运动信息相同或类似。因为附近PU经常具有类似运动信息,所以视频编码器20可参考附近PU的运动信息来编码给定PU的运动信息。参考附近PU的运动信息来编码给定PU的运动信息可减少码流中指示给定PU的运动信息所需要的编码比特的数目。
视频编码器20可以各种方式参考附近PU的运动信息来编码给定PU的运动信息。举例来说,视频编码器20可指示给定PU的运动信息与附近PU的运动信息相同。本申请可使用合并模式来指代指示给定PU的运动信息与附近PU的运动信息相同或可从附近PU的运动信息导出。在另一可行的实施方式中,视频编码器20可计算用于给定PU的运动矢量差(MotionVector Difference,MVD)。MVD指示给定PU的运动矢量与附近PU的运动矢量之间的差。视频编码器20可将MVD而非给定PU的运动矢量包括于给定PU的运动信息中。在码流中表示MVD比表示给定PU的运动矢量所需要的编码比特少。本申请可使用高级运动矢量预测模式指代通过使用MVD和识别候选者运动矢量的索引值来用信号通知解码端给定PU的运动信息。
为了使用合并模式或AMVP模式来用信号通知解码端给定PU的运动信息,视频编码器20可产生用于给定PU的候选预测运动矢量列表。候选预测运动矢量列表可包括一或多个候选预测运动矢量。用于给定PU的候选预测运动矢量列表中的候选预测运动矢量中的每一者可指定运动信息。由每一候选预测运动矢量指示的运动信息可包括运动矢量、参考图像索引和预测方向标识。候选预测运动矢量列表中的候选预测运动矢量可包括“原始”候选预测运动矢量,其中每一者指示不同于给定PU的PU内的指定候选预测运动矢量位置中的一者的运动信息。
在产生用于PU的候选预测运动矢量列表之后,视频编码器20可从用于PU的候选预测运动矢量列表选择候选预测运动矢量中的一者。举例来说,视频编码器可比较每一候选预测运动矢量与正被解码的PU且可选择具有所要码率-失真代价的候选预测运动矢量。视频编码器20可输出用于PU的候选预测运动矢量索引。候选预测运动矢量索引可识别选定候选预测运动矢量在候选预测运动矢量列表中的位置。
此外,视频编码器20可基于由PU的运动信息指示的参考图像块产生用于PU的预测性图像块。可基于由用于PU的候选预测运动矢量列表中的选定候选预测运动矢量指示的运动信息确定PU的运动信息。举例来说,在合并模式中,PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。在AMVP模式中,可基于用于PU的运动矢量差和由选定候选预测运动矢量指示的运动信息确定PU的运动信息。视频编码器20可如前文所描述处理用于PU的预测性图像块。
当视频解码器30接收到码流时,视频解码器30可产生用于CU的PU中的每一者的候选预测运动矢量列表。由视频解码器30针对PU产生的候选预测运动矢量列表可与由视频编码器20针对PU产生的候选预测运动矢量列表相同。从码流中解析得到的语法元素可指示在PU的候选预测运动矢量列表中选定候选预测运动矢量的位置。在产生用于PU的候选预测运动矢量列表之后,视频解码器30可基于由PU的运动信息指示的一或多个参考图像块产生用于PU的预测性图像块。视频解码器30可基于由用于PU的候选预测运动矢量列表中的选定候选预测运动矢量指示的运动信息确定PU的运动信息。视频解码器30可基于用于PU的预测性图像块和用于CU的残余图像块重构用于CU的图像块。
应理解,在一种可行的实施方式中,在解码端,候选预测运动矢量列表的构建与从码流中解析选定候选预测运动矢量在候选预测运动矢量列表中的位置是相互独立,可以任意先后或者并行进行的。
在另一种可行的实施方式中,在解码端,首先从码流中解析选定候选预测运动矢量在候选预测运动矢量列表中的位置,根据解析出来的位置构建候选预测运动矢量列表,在该实施方式中,不需要构建全部的候选预测运动矢量列表,只需要构建到该解析出来的位置处的候选预测运动矢量列表,即能够确定该位置出的候选预测运动矢量即可。举例来说,当解析码流得出选定的候选预测运动矢量为候选预测运动矢量列表中索引为3的候选预测运动矢量时,仅需要构建从索引为0到索引为3的候选预测运动矢量列表,即可确定索引为3的候选预测运动矢量,可以达到减小复杂度,提高解码效率的技术效果。
需要说明的是,运动矢量列表的建立不仅用于上文所述的Merge或者AMVP技术中,还普遍存在于与运动估计(Motion Estimation,ME)相关的各种帧间、帧内预测技术中。
在图2的可行的实施方式中,视频编码器20包含分割单元35、预测单元41、参考图像存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测单元41包含运动估计单元42、运动补偿单元44和帧内预测模块46。对于视频块重构建,视频编码器20也包含反量化单元58、反变换单元60和求和器62。也可包含解块滤波器(图2中未展示)以对块边界进行滤波从而从经重构建视频中去除块效应伪影。在需要时,解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外,也可使用额外环路滤波器(环路内或环路后)。
如图2中所展示,视频编码器20接收视频数据,且分割单元35将数据分割成视频块。此分割也可包含分割成条带、图像块或其它较大单元,以及(例如)根据LCU及CU的四叉树结构进行视频块分割。视频编码器20示例性地说明编码在待编码的视频条带内的视频块的组件。一般来说,条带可划分成多个视频块(且可能划分成称作图像块的视频块的集合)。
预测单元41可基于编码质量与代价计算结果(例如,码率-失真代价,RDcost)选择当前视频块的多个可能解码模式中的一者,例如多个帧内解码模式中的一者或多个帧间解码模式中的一者。预测单元41可将所得经帧内解码或经帧间解码块提供到求和器50以产生残余块数据且将所得经帧内解码或经帧间解码块提供到求和器62以重构建经编码块从而用作参考图像。
预测单元41内的运动估计单元42及运动补偿单元44执行相对于一个或多个参考图像中的一个或多个预测性块的当前视频块的帧间预测性解码以提供时间压缩。运动估计单元42可经配置以根据视频序列的预定模式确定视频条带的帧间预测模式。预定模式可将序列中的视频条带指定为P条带、B条带或GPB条带。运动估计单元42及运动补偿单元44可高度集成,但为概念目的而分别说明。通过运动估计单元42所执行的运动估计为产生估计视频块的运动矢量的过程。例如,运动矢量可指示当前视频帧或图像内的视频块的PU相对于参考图像内的预测性块的位移。
预测性块为依据像素差而被发现为紧密匹配待解码的视频块的PU的块,像素差可通过绝对差和、平方差和或其它差度量确定。在一些可行的实施方式中,视频编码器20可计算存储于参考图像存储器64中的参考图像的子整数(sub-integer)像素位置的值。例如,视频编码器20可内插参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动矢量。
运动估计单元42通过比较PU的位置与参考图像的预测性块的位置而计算经帧间解码条带中的视频块的PU的运动矢量。可从第一参考图像列表(列表0)或第二参考图像列表(列表1)选择参考图像,列表中的每一者识别存储于参考图像存储器64中的一个或多个参考图像。运动估计单元42将经计算运动矢量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计所确定的运动矢量提取或产生预测性块,可能执行到子像素精确度的内插。在接收当前视频块的PU的运动矢量后,运动补偿单元44即可在参考图像列表中的一者中定位运动矢量所指向的预测性块。视频编码器20通过从正经解码的当前视频块的像素值减去预测性块的像素值来形成残余视频块,从而形成像素差值。像素差值形成块的残余数据,且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一个或多个组件。运动补偿单元44也可产生与视频块及视频条带相关联的语法元素以供视频解码器30用于解码视频条带的视频块。
如果PU位于B条带中,则含有PU的图像可与称作“列表0”和“列表1”的两个参考图像列表相关联。在一些可行的实施方式中,含有B条带的图像可与为列表0和列表1的组合的列表组合相关联。
此外,如果PU位于B条带中,则运动估计单元42可针对PU执行单向预测或双向预测,其中,在一些可行的实施方式中,双向预测为分别基于列表0和列表1的参考图像列表的图像进行的预测,在另一些可行的实施方式中,双向预测为分别基于当前帧在显示顺序上的已重建的未来帧和已重建的过去帧进行的预测。当运动估计单元42针对PU执行单向预测时,运动估计单元42可在列表0或列表1的参考图像中搜索用于PU的参考图像块。运动估计单元42可接着产生指示列表0或列表1中的含有参考图像块的参考图像的参考索引和指示PU与参考图像块之间的空间位移的运动矢量。运动估计单元42可输出参考索引、预测方向标识和运动矢量作为PU的运动信息。预测方向标识可指示参考索引指示列表0或列表1中的参考图像。运动补偿单元44可基于由PU的运动信息指示的参考图像块产生PU的预测性图像块。
当运动估计单元42针对PU执行双向预测时,运动估计单元42可在列表0中的参考图像中搜索用于PU的参考图像块且还可在列表1中的参考图像中搜索用于PU的另一参考图像块。运动估计单元42可接着产生指示列表0和列表1中的含有参考图像块的参考图像的参考索引和指示参考图像块与PU之间的空间位移的运动矢量。运动估计单元42可输出PU的参考索引和运动矢量作为PU的运动信息。运动补偿单元44可基于由PU的运动信息指示的参考图像块产生PU的预测性图像块。
在一些可行的实施方式中,运动估计单元42不向熵编码模块56输出用于PU的运动信息的完整集合。而是,运动估计单元42可参考另一PU的运动信息来用信号通知PU的运动信息。举例来说,运动估计单元42可确定PU的运动信息充分类似于相邻PU的运动信息。在此实施方式中,运动估计单元42可在与PU相关联的语法结构中指示一个指示值,所述指示值向视频解码器30指示PU具有与相邻PU相同的运动信息或具有可从相邻PU导出的运动信息。在另一实施方式中,运动估计单元42可在与PU相关联的语法结构中识别与相邻PU相关联的候选预测运动矢量和运动矢量差。MVD指示PU的运动矢量和与相邻PU相关联的所指示候选预测运动矢量之间的差。视频解码器30可使用所指示候选预测运动矢量和MVD来确定PU的运动矢量。
如前文所描述,预测模块41可产生用于CU的每一PU的候选预测运动矢量列表。候选预测运动矢量列表中的一或多者可包括一或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一或多个额外候选预测运动矢量。
预测单元41内的帧内预测单元46可执行相对于在与待解码的当前块相同的图像或条带中的一个或多个相邻块的当前视频块的帧内预测性解码以提供空间压缩。因此,作为通过运动估计单元42及运动补偿单元44执行的帧间预测(如前文所描述)的替代,帧内预测单元46可帧内预测当前块。明确地说,帧内预测单元46可确定用以编码当前块的帧内预测模式。在一些可行的实施方式中,帧内预测单元46可(例如)在单独编码遍历期间使用各种帧内预测模式来编码当前块,且帧内预测单元46(或在一些可行的实施方式中,模式选择单元40)可从经测试模式选择使用的适当帧内预测模式。
在预测单元41经由帧间预测或帧内预测产生当前视频块的预测性块之后,视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一个或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换的变换(例如,离散正弦变换DST)将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如,频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步减小码率。量化过程可减少与系数中的一些或全部相关联的比特深度。可通过调整量化参数来修改量化的程度。在一些可行的实施方式中,量化单元54可接着执行包含经量化变换系数的矩阵的扫描。替代地,熵编码单元56可执行扫描。
在量化之后,熵编码单元56可熵编码经量化变换系数。例如,熵编码单元56可执行上下文自适应性可变长度解码、上下文自适应性二进制算术解码、基于语法的上下文自适应性二进制算术解码、概率区间分割熵解码或另一熵编码方法或技术。熵编码单元56也可熵编码正经解码的当前视频条带的运动矢量及其它语法元素。在通过熵编码单元56进行熵编码之后,可将经编码码流传输到视频解码器30或存档以供稍后传输或由视频解码器30检索。
熵编码单元56可编码根据本申请的技术指示选定帧内预测模式的信息。视频编码器20可在可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也称作码字映射表)的所传输码流配置数据中包含各种块的编码上下文的定义及用于上下文中的每一者的MPM、帧内预测模式索引表和经修改帧内预测模式索引表的指示。
反量化单元58及反变换单元60分别应用反量化及反变换,以在像素域中重构建残余块以供稍后用作参考图像的参考图像块。运动补偿单元44可通过将残余块与参考图像列表中的一者内的参考图像中的一者的预测性块相加来计算参考图像块。运动补偿单元44也可将一个或多个内插滤波器应用于经重构建残余块以计算子整数像素值以用于运动估计。求和器62将经重构建残余块与通过运动补偿单元44所产生的经运动补偿的预测块相加以产生参考图像块以供存储于参考图像存储器64中。参考图像块可由运动估计单元42及运动补偿单元44用作参考图像块以帧间预测后续视频帧或图像中的块。
图3为本申请实施例中视频解码器30的一种示意性框图。在图3的可行的实施方式中,视频解码器30包含熵编码单元80、预测单元81、反量化单元86、反变换单元88、求和器90和参考图像存储器92。预测单元81包含运动补偿单元82和帧内预测单元84。在一些可行的实施方式中,视频解码器30可执行与关于来自图4的视频编码器20描述的编码流程的示例性地互逆的解码流程。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频条带的视频块及相关联的语法元素的经编码视频码流。视频解码器30的熵编码单元80熵解码码流以产生经量化系数、运动矢量及其它语法元素。熵编码单元80将运动矢量及其它语法元素转递到预测单元81。视频解码器30可在视频条带层级和/或视频块层级处接收语法元素。
在视频条带经解码为经帧内解码条带时,预测单元81的帧内预测单元84可基于用信号发送的帧内预测模式及来自当前帧或图像的先前经解码块的数据而产生当前视频条带的视频块的预测数据。
在视频图像经解码为经帧间解码条带时,预测单元81的运动补偿单元82基于从熵编码单元80所接收的运动矢量及其它语法元素而产生当前视频图像的视频块的预测性块。预测性块可从参考图像列表中的一者内的参考图像中的一者产生。视频解码器30可基于存储于参考图像存储器92中的参考图像使用默认构建技术来构建参考图像列表(列表0及列表1)。
运动补偿单元82通过解析运动矢量及其它语法元素来确定当前视频条带的视频块的预测信息,且使用预测信息来产生正经解码的当前视频块的预测性块。例如,运动补偿单元82使用所接收的语法元素中的一些来确定用以解码视频条带的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测条带类型、条带的参考图像列表中的一者或多者的构建信息、条带的每一经帧间编码视频块的运动矢量、条带的每一经帧间解码视频块的帧间预测状态及用以解码当前视频条带中的视频块的其它信息。
运动补偿单元82也可基于内插滤波器执行内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考图像块的子整数像素的内插值。在此应用中,运动补偿单元82可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用内插滤波器来产生预测性块。
如果PU是使用帧间预测而编码,则运动补偿单元82可产生用于PU的候选预测运动矢量列表。码流中可包括识别选定候选预测运动矢量在PU的候选预测运动矢量列表中的位置的数据。在产生用于PU的候选预测运动矢量列表之后,运动补偿单元82可基于由PU的运动信息指示的一或多个参考图像块产生用于PU的预测性图像块。PU的参考图像块可在与所述PU不同的时间图像中。运动补偿单元82可基于由PU的候选预测运动矢量列表中的选定的运动信息确定PU的运动信息。
反量化单元86对码流中所提供且通过熵编码单元80所解码的经量化变换系数进行反量化(例如,解量化)。反量化过程可包含使用通过视频编码器20针对视频条带中的每一视频块所计算的量化参数确定量化的程度,且同样地确定应应用的反量化的程度。反变换单元88将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元82基于运动矢量及其它语法元素产生当前视频块的预测性块之后,视频解码器30通过将来自反变换单元88的残余块与通过运动补偿单元82产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的一个或多个组件。在需要时,也可应用解块滤波器来对经解码块进行滤波以便去除块效应伪影。其它环路滤波器(在解码环路中或在解码环路之后)也可用以使像素转变平滑,或以其它方式改进视频质量。给定帧或图像中的经解码视频块接着存储于参考图像存储器92中,参考图像存储器92存储供后续运动补偿所使用的参考图像。参考图像存储器92也存储供稍后呈现于例如图1的显示装置32的显示装置上的经解码视频。
如前文所注明,本申请的技术示例性地涉及帧间解码。应理解,本申请的技术可通过本申请中所描述的视频解码器中的任一者进行,视频解码器包含如关于图1到3所展示及描述的视频编码器20及视频解码器30。即,在一种可行的实施方式中,关于图2所描述的预测单元41可在视频数据的块的编码期间在执行帧间预测时执行下文中所描述的特定技术。在另一可行的实施方式中,关于图3所描述的预测单元81可在视频数据的块的解码期间在执行帧间预测时执行下文中所描述的特定技术。因此,对一般性“视频编码器”或“视频解码器”的引用可包含视频编码器20、视频解码器30或另一视频编码或编码单元。
图4为本申请实施例中帧间预测模块的一种示意性框图。帧间预测模块121,示例性的,可以包括运动估计单元42和运动补偿单元44。在不同的视频压缩编解码标准中,PU和CU的关系各有不同。帧间预测模块121可根据多个分割模式将当前CU分割为PU。举例来说,帧间预测模块121可根据2N×2N、2N×N、N×2N和N×N分割模式将当前CU分割为PU。在其他实施例中,当前CU即为当前PU,不作限定。
帧间预测模块121可对PU中的每一者执行整数运动估计(Integer MotionEstimation,IME)且接着执行分数运动估计(Fraction Motion Estimation,FME)。当帧间预测模块121对PU执行IME时,帧间预测模块121可在一个或多个参考图像中搜索用于PU的参考图像块。在找到用于PU的参考图像块之后,帧间预测模块121可产生以整数精度指示PU与用于PU的参考图像块之间的空间位移的运动矢量。当帧间预测模块121对PU执行FME时,帧间预测模块121可改进通过对PU执行IME而产生的运动矢量。通过对PU执行FME而产生的运动矢量可具有子整数精度(例如,1/2像素精度、1/4像素精度等)。在产生用于PU的运动矢量之后,帧间预测模块121可使用用于PU的运动矢量以产生用于PU的预测性图像块。
在帧间预测模块121使用AMVP模式用信号通知解码端PU的运动信息的一些可行的实施方式中,帧间预测模块121可产生用于PU的候选预测运动矢量列表。候选预测运动矢量列表可包括一个或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一个或多个额外候选预测运动矢量。在产生用于PU的候选预测运动矢量列表之后,帧间预测模块121可从候选预测运动矢量列表选择候选预测运动矢量且产生用于PU的运动矢量差。用于PU的MVD可指示由选定候选预测运动矢量指示的运动矢量与使用IME和FME针对PU产生的运动矢量之间的差。在这些可行的实施方式中,帧间预测模块121可输出识别选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引。帧间预测模块121还可输出PU的MVD。下文详细描述图6中,本申请实施例中高级运动矢量预测(AMVP)模式的一种可行的实施方式。
除了通过对PU执行IME和FME来产生用于PU的运动信息外,帧间预测模块121还可对PU中的每一者执行合并(Merge)操作。当帧间预测模块121对PU执行合并操作时,帧间预测模块121可产生用于PU的候选预测运动矢量列表。用于PU的候选预测运动矢量列表可包括一个或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一个或多个额外候选预测运动矢量。候选预测运动矢量列表中的原始候选预测运动矢量可包括一个或多个空间候选预测运动矢量和时间候选预测运动矢量。空间候选预测运动矢量可指示当前图像中的其它PU的运动信息。时间候选预测运动矢量可基于不同于当前图像的对应的PU的运动信息。时间候选预测运动矢量还可称作时间运动矢量预测(TMVP)。
在产生候选预测运动矢量列表之后,帧间预测模块121可从候选预测运动矢量列表选择候选预测运动矢量中的一个。帧间预测模块121可接着基于由PU的运动信息指示的参考图像块产生用于PU的预测性图像块。在合并模式中,PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。下文描述的图5说明Merge示例性的流程图。
在基于IME和FME产生用于PU的预测性图像块和基于合并操作产生用于PU的预测性图像块之后,帧间预测模块121可选择通过FME操作产生的预测性图像块或者通过合并操作产生的预测性图像块。在一些可行的实施方式中,帧间预测模块121可基于通过FME操作产生的预测性图像块和通过合并操作产生的预测性图像块的码率-失真代价分析来选择用于PU的预测性图像块。
在帧间预测模块121已选择通过根据分割模式中的每一者分割当前CU而产生的PU的预测性图像块之后(在一些实施方式中,编码树单元CTU划分为CU后,不会再进一步划分为更小的PU,此时PU等同于CU),帧间预测模块121可选择用于当前CU的分割模式。在一些实施方式中,帧间预测模块121可基于通过根据分割模式中的每一者分割当前CU而产生的PU的选定预测性图像块的码率-失真代价分析来选择用于当前CU的分割模式。帧间预测模块121可将与属于选定分割模式的PU相关联的预测性图像块输出到残差产生模块102。帧间预测模块121可将指示属于选定分割模式的PU的运动信息的语法元素输出到熵编码模块116。
在图4的示意图中,帧间预测模块121包括IME模块180A到180N(统称为“IME模块180”)、FME模块182A到182N(统称为“FME模块182”)、合并模块184A到184N(统称为“合并模块184”)、PU模式决策模块186A到186N(统称为“PU模式决策模块186”)和CU模式决策模块188(也可以包括执行从CTU到CU的模式决策过程)。
IME模块180、FME模块182和合并模块184可对当前CU的PU执行IME操作、FME操作和合并操作。图4的示意图中将帧间预测模块121说明为包括用于CU的每一分割模式的每一PU的单独IME模块180、FME模块182和合并模块184。在其它可行的实施方式中,帧间预测模块121不包括用于CU的每一分割模式的每一PU的单独IME模块180、FME模块182和合并模块184。
如图4的示意图中所说明,IME模块180A、FME模块182A和合并模块184A可对通过根据2N×2N分割模式分割CU而产生的PU执行IME操作、FME操作和合并操作。PU模式决策模块186A可选择由IME模块180A、FME模块182A和合并模块184A产生的预测性图像块中的一者。
IME模块180B、FME模块182B和合并模块184B可对通过根据N×2N分割模式分割CU而产生的左PU执行IME操作、FME操作和合并操作。PU模式决策模块186B可选择由IME模块180B、FME模块182B和合并模块184B产生的预测性图像块中的一者。
IME模块180C、FME模块182C和合并模块184C可对通过根据N×2N分割模式分割CU而产生的右PU执行IME操作、FME操作和合并操作。PU模式决策模块186C可选择由IME模块180C、FME模块182C和合并模块184C产生的预测性图像块中的一者。
IME模块180N、FME模块182N和合并模块184可对通过根据N×N分割模式分割CU而产生的右下PU执行IME操作、FME操作和合并操作。PU模式决策模块186N可选择由IME模块180N、FME模块182N和合并模块184N产生的预测性图像块中的一者。
PU模式决策模块186可基于多个可能预测性图像块的码率-失真代价分析选择预测性图像块,且选择针对给定解码情形提供最佳码率-失真代价的预测性图像块。示例性的,对于带宽受限的应用,PU模式决策模块186可偏向选择增加压缩比的预测性图像块,而对于其它应用,PU模式决策模块186可偏向选择增加经重建视频质量的预测性图像块。在PU模式决策模块186选择用于当前CU的PU的预测性图像块之后,CU模式决策模块188选择用于当前CU的分割模式且输出属于选定分割模式的PU的预测性图像块和运动信息。
图5为本申请实施例中合并模式的一种示例性流程图。视频编码器(例如视频编码器20)可执行合并操作200。在其它可行的实施方式中,视频编码器可执行不同于合并操作200的合并操作。举例来说,在其它可行的实施方式中,视频编码器可执行合并操作,其中视频编码器执行比合并操作200多、少的步骤或与合并操作200不同的步骤。在其它可行的实施方式中,视频编码器可以不同次序或并行地执行合并操作200的步骤。编码器还可对以跳跃(skip)模式编码的PU执行合并操作200。
在视频编码器开始合并操作200之后,视频编码器可产生用于当前PU的候选预测运动矢量列表(202)。视频编码器可以各种方式产生用于当前PU的候选预测运动矢量列表。举例来说,视频编码器可根据下文关于图8到图12描述的实例技术中的一者产生用于当前PU的候选预测运动矢量列表。
如前文所述,用于当前PU的候选预测运动矢量列表可包括时间候选预测运动矢量。时间候选预测运动矢量可指示时域对应(co-located)的PU的运动信息。co-located的PU可在空间上与当前PU处于图像帧中的同一个位置,但在参考图像而非当前图像中。本申请可将包括时域对应的PU的参考图像称作相关参考图像。本申请可将相关参考图像的参考图像索引称作相关参考图像索引。如前文所描述,当前图像可与一个或多个参考图像列表(例如,列表0、列表1等)相关联。参考图像索引可通过指示在参考图像某一个参考图像列表中的位置来指示参考图像。在一些可行的实施方式中,当前图像可与组合参考图像列表相关联。
在一些视频编码器中,相关参考图像索引为涵盖与当前PU相关联的参考索引源位置的PU的参考图像索引。在这些视频编码器中,与当前PU相关联的参考索引源位置邻接于当前PU左方或邻接于当前PU上方。在本申请中,如果与PU相关联的图像块包括特定位置,则PU可“涵盖”所述特定位置。在这些视频编码器中,如果参考索引源位置不可用,则视频编码器可使用零的参考图像索引。
然而,可存在以下例子:与当前PU相关联的参考索引源位置在当前CU内。在这些例子中,如果PU在当前CU上方或左方,则涵盖与当前PU相关联的参考索引源位置的PU可被视为可用。然而,视频编码器可需要存取当前CU的另一PU的运动信息以便确定含有co-located PU的参考图像。因此,这些视频编码器可使用属于当前CU的PU的运动信息(即,参考图像索引)以产生用于当前PU的时间候选预测运动矢量。换句话说,这些视频编码器可使用属于当前CU的PU的运动信息产生时间候选预测运动矢量。因此,视频编码器可能不能并行地产生用于当前PU和涵盖与当前PU相关联的参考索引源位置的PU的候选预测运动矢量列表。
根据本申请的技术,视频编码器可在不参考任何其它PU的参考图像索引的情况下显式地设定相关参考图像索引。此可使得视频编码器能够并行地产生用于当前PU和当前CU的其它PU的候选预测运动矢量列表。因为视频编码器显式地设定相关参考图像索引,所以相关参考图像索引不基于当前CU的任何其它PU的运动信息。在视频编码器显式地设定相关参考图像索引的一些可行的实施方式中,视频编码器可始终将相关参考图像索引设定为固定的预定义预设参考图像索引(例如0)。以此方式,视频编码器可基于由预设参考图像索引指示的参考帧中的co-located PU的运动信息产生时间候选预测运动矢量,且可将时间候选预测运动矢量包括于当前CU的候选预测运动矢量列表中。
在视频编码器显式地设定相关参考图像索引的可行的实施方式中,视频编码器可显式地在语法结构(例如图像标头、条带标头、APS或另一语法结构)中用信号通知相关参考图像索引。在此可行的实施方式中,视频编码器可用信号通知解码端用于每一LCU(即CTU)、CU、PU、TU或其它类型的子块的相关参考图像索引。举例来说,视频编码器可用信号通知:用于CU的每一PU的相关参考图像索引等于“1”。
在一些可行的实施方式中,相关参考图像索引可经隐式地而非显式地设定。在这些可行的实施方式中,视频编码器可使用由涵盖当前CU外部的位置的PU的参考图像索引指示的参考图像中的PU的运动信息产生用于当前CU的PU的候选预测运动矢量列表中的每一时间候选预测运动矢量,即使这些位置并不严格地邻近当前PU。
在产生用于当前PU的候选预测运动矢量列表之后,视频编码器可产生与候选预测运动矢量列表中的候选预测运动矢量相关联的预测性图像块(204)。视频编码器可通过基于所指示候选预测运动矢量的运动信息确定当前PU的运动信息和接着基于由当前PU的运动信息指示的一个或多个参考图像块产生预测性图像块来产生与候选预测运动矢量相关联的预测性图像块。视频编码器可接着从候选预测运动矢量列表选择候选预测运动矢量中的一者(206)。视频编码器可以各种方式选择候选预测运动矢量。举例来说,视频编码器可基于对与候选预测运动矢量相关联的预测性图像块的每一者的码率-失真代价分析来选择候选预测运动矢量中的一者。
在选择候选预测运动矢量之后,视频编码器可输出候选预测运动矢量索引(208)。候选预测运动矢量索引可指示在候选预测运动矢量列表中选定候选预测运动矢量的位置。在一些可行的实施方式中,候选预测运动矢量索引可表示为“merge_idx”。
图6为本申请实施例中高级运动矢量预测模式的一种示例性流程图。视频编码器(例如视频编码器20)可执行AMVP操作210。
在视频编码器开始AMVP操作210之后,视频编码器可产生用于当前PU的一个或多个运动矢量(211)。视频编码器可执行整数运动估计和分数运动估计以产生用于当前PU的运动矢量。如前文所描述,当前图像可与两个参考图像列表(列表0和列表1)相关联。如果当前PU经单向预测,则视频编码器可产生用于当前PU的列表0运动矢量或列表1运动矢量。列表0运动矢量可指示当前PU的图像块与列表0中的参考图像中的参考图像块之间的空间位移。列表1运动矢量可指示当前PU的图像块与列表1中的参考图像中的参考图像块之间的空间位移。如果当前PU经双向预测,则视频编码器可产生用于当前PU的列表0运动矢量和列表1运动矢量。
在产生用于当前PU的一个或多个运动矢量之后,视频编码器可产生用于当前PU的预测性图像块(212)。视频编码器可基于由用于当前PU的一个或多个运动矢量指示的一个或多个参考图像块产生用于当前PU的预测性图像块。
另外,视频编码器可产生用于当前PU的候选预测运动矢量列表(213)。视频解码器可以各种方式产生用于当前PU的候选预测运动矢量列表。举例来说,视频编码器可根据下文关于图8到图12描述的可行的实施方式中的一个或多个产生用于当前PU的候选预测运动矢量列表。在一些可行的实施方式中,当视频编码器在AMVP操作210中产生候选预测运动矢量列表时,候选预测运动矢量列表可限于两个候选预测运动矢量。相比而言,当视频编码器在合并操作中产生候选预测运动矢量列表时,候选预测运动矢量列表可包括更多候选预测运动矢量(例如,五个候选预测运动矢量)。
在产生用于当前PU的候选预测运动矢量列表之后,视频编码器可产生用于候选预测运动矢量列表中的每一候选预测运动矢量的一个或多个运动矢量差(214)。视频编码器可通过确定由候选预测运动矢量指示的运动矢量与当前PU的对应运动矢量之间的差来产生用于候选预测运动矢量的运动矢量差。
如果当前PU经单向预测,则视频编码器可产生用于每一候选预测运动矢量的单一MVD。如果当前PU经双向预测,则视频编码器可产生用于每一候选预测运动矢量的两个MVD。第一MVD可指示候选预测运动矢量的运动矢量与当前PU的列表0运动矢量之间的差。第二MVD可指示候选预测运动矢量的运动矢量与当前PU的列表1运动矢量之间的差。
视频编码器可从候选预测运动矢量列表选择候选预测运动矢量中的一个或多个(215)。视频编码器可以各种方式选择一个或多个候选预测运动矢量。举例来说,视频编码器可选择具有最小误差地匹配待编码的运动矢量的相关联运动矢量的候选预测运动矢量,此可减少表示用于候选预测运动矢量的运动矢量差所需的位数目。
在选择一个或多个候选预测运动矢量之后,视频编码器可输出用于当前PU的一个或多个参考图像索引、一个或多个候选预测运动矢量索引,和用于一个或多个选定候选预测运动矢量的一个或多个运动矢量差(216)。
在当前图像与两个参考图像列表(列表0和列表1)相关联且当前PU经单向预测的例子中,视频编码器可输出用于列表0的参考图像索引(“ref_idx_10”)或用于列表1的参考图像索引(“ref_idx_11”)。视频编码器还可输出指示用于当前PU的列表0运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_10_flag”)。或者,视频编码器可输出指示用于当前PU的列表1运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_11_flag”)。视频编码器还可输出用于当前PU的列表0运动矢量或列表1运动矢量的MVD。
在当前图像与两个参考图像列表(列表0和列表1)相关联且当前PU经双向预测的例子中,视频编码器可输出用于列表0的参考图像索引(“ref_idx_10”)和用于列表1的参考图像索引(“ref_idx_11”)。视频编码器还可输出指示用于当前PU的列表0运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_10_flag”)。另外,视频编码器可输出指示用于当前PU的列表1运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_11_flag”)。视频编码器还可输出用于当前PU的列表0运动矢量的MVD和用于当前PU的列表1运动矢量的MVD。
图7为本申请实施例中由视频解码器(例如视频解码器30)执行的运动补偿的一种示例性流程图。
当视频解码器执行运动补偿操作220时,视频解码器可接收用于当前PU的选定候选预测运动矢量的指示(222)。举例来说,视频解码器可接收指示选定候选预测运动矢量在当前PU的候选预测运动矢量列表内的位置的候选预测运动矢量索引。
如果当前PU的运动信息是使用AMVP模式进行编码且当前PU经双向预测,则视频解码器可接收第一候选预测运动矢量索引和第二候选预测运动矢量索引。第一候选预测运动矢量索引指示用于当前PU的列表0运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置。第二候选预测运动矢量索引指示用于当前PU的列表1运动矢量的选定候选预测运动矢量在候选预测运动矢量列表中的位置。在一些可行的实施方式中,单一语法元素可用以识别两个候选预测运动矢量索引。
另外,视频解码器可产生用于当前PU的候选预测运动矢量列表(224)。视频解码器可以各种方式产生用于当前PU的此候选预测运动矢量列表。举例来说,视频解码器可使用下文参看图8到图12描述的技术来产生用于当前PU的候选预测运动矢量列表。当视频解码器产生用于候选预测运动矢量列表的时间候选预测运动矢量时,视频解码器可显式地或隐式地设定识别包括co-located PU的参考图像的参考图像索引,如前文关于图5所描述。
在产生用于当前PU的候选预测运动矢量列表之后,视频解码器可基于由用于当前PU的候选预测运动矢量列表中的一个或多个选定候选预测运动矢量指示的运动信息确定当前PU的运动信息(225)。举例来说,如果当前PU的运动信息是使用合并模式而编码,则当前PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。如果当前PU的运动信息是使用AMVP模式而编码,则视频解码器可使用由所述或所述选定候选预测运动矢量指示的一个或多个运动矢量和码流中指示的一个或多个MVD来重建当前PU的一个或多个运动矢量。当前PU的参考图像索引和预测方向标识可与所述一个或多个选定候选预测运动矢量的参考图像索引和预测方向标识相同。在确定当前PU的运动信息之后,视频解码器可基于由当前PU的运动信息指示的一个或多个参考图像块产生用于当前PU的预测性图像块(226)。
图8为本申请实施例中编码单元及与其关联的相邻位置图像块的一种示例性示意图,说明CU250和与CU250相关联的示意性的候选预测运动矢量位置252A到252E的示意图。本申请可将候选预测运动矢量位置252A到252E统称为候选预测运动矢量位置252。候选预测运动矢量位置252表示与CU250在同一图像中的空间候选预测运动矢量。候选预测运动矢量位置252A定位于CU250左方。候选预测运动矢量位置252B定位于CU250上方。候选预测运动矢量位置252C定位于CU250右上方。候选预测运动矢量位置252D定位于CU250左下方。候选预测运动矢量位置252E定位于CU250左上方。图8为用以提供帧间预测模块121和运动补偿模块162可产生候选预测运动矢量列表的方式的示意性实施方式。下文将参考帧间预测模块121解释实施方式,但应理解运动补偿模块162可实施相同技术,且因此产生相同候选预测运动矢量列表。
图9为本申请实施例中构建候选预测运动矢量列表的一种示例性流程图。将参考包括五个候选预测运动矢量的列表描述图9的技术,但本文中所描述的技术还可与具有其它大小的列表一起使用。五个候选预测运动矢量可各自具有索引(例如,0到4)。将参考一般视频解码器描述图9的技术。一般视频解码器示例性的可以为视频编码器(例如视频编码器20)或视频解码器(例如视频解码器30)。
为了根据图9的实施方式重建候选预测运动矢量列表,视频解码器首先考虑四个空间候选预测运动矢量(902)。四个空间候选预测运动矢量可以包括候选预测运动矢量位置252A、252B、252C和252D。四个空间候选预测运动矢量对应于与当前CU(例如,CU250)在同一图像中的四个PU的运动信息。视频解码器可以特定次序考虑列表中的四个空间候选预测运动矢量。举例来说,候选预测运动矢量位置252A可被第一个考虑。如果候选预测运动矢量位置252A可用,则候选预测运动矢量位置252A可指派到索引0。如果候选预测运动矢量位置252A不可用,则视频解码器可不将候选预测运动矢量位置252A包括于候选预测运动矢量列表中。候选预测运动矢量位置可出于各种理由而不可用。举例来说,如果候选预测运动矢量位置不在当前图像内,则候选预测运动矢量位置可能不可用。在另一可行的实施方式中,如果候选预测运动矢量位置经帧内预测,则候选预测运动矢量位置可能不可用。在另一可行的实施方式中,如果候选预测运动矢量位置在与当前CU不同的条带中,则候选预测运动矢量位置可能不可用。
在考虑候选预测运动矢量位置252A之后,视频解码器可接下来考虑候选预测运动矢量位置252B。如果候选预测运动矢量位置252B可用且不同于候选预测运动矢量位置252A,则视频解码器可将候选预测运动矢量位置252B添加到候选预测运动矢量列表。在此特定上下文中,术语“相同”和“不同”指代与候选预测运动矢量位置相关联的运动信息。因此,如果两个候选预测运动矢量位置具有相同运动信息则被视为相同,且如果其具有不同运动信息则被视为不同。如果候选预测运动矢量位置252A不可用,则视频解码器可将候选预测运动矢量位置252B指派到索引0。如果候选预测运动矢量位置252A可用,则视频解码器可将候选预测运动矢量位置252指派到索引1。如果候选预测运动矢量位置252B不可用或与候选预测运动矢量位置252A相同,则视频解码器跳过候选预测运动矢量位置252B且不将其包括于候选预测运动矢量列表中。
候选预测运动矢量位置252C由视频解码器类似地考虑以供包括于列表中。如果候选预测运动矢量位置252C可用且不与候选预测运动矢量位置252B和252A相同,则视频解码器将候选预测运动矢量位置252C指派到下一可用索引。如果候选预测运动矢量位置252C不可用或并非不同于候选预测运动矢量位置252A和252B中的至少一者,则视频解码器不将候选预测运动矢量位置252C包括于候选预测运动矢量列表中。接下来,视频解码器考虑候选预测运动矢量位置252D。如果候选预测运动矢量位置252D可用且不与候选预测运动矢量位置252A、252B和252C相同,则视频解码器将候选预测运动矢量位置252D指派到下一可用索引。如果候选预测运动矢量位置252D不可用或并非不同于候选预测运动矢量位置252A、252B和252C中的至少一者,则视频解码器不将候选预测运动矢量位置252D包括于候选预测运动矢量列表中。以上实施方式大体上描述示例性地考虑候选预测运动矢量252A到252D以供包括于候选预测运动矢量列表中,但在一些实施方施中,可首先将所有候选预测运动矢量252A到252D添加到候选预测运动矢量列表,稍后从候选预测运动矢量列表移除重复。
在视频解码器考虑前四个空间候选预测运动矢量之后,候选预测运动矢量列表可能包括四个空间候选预测运动矢量或者该列表可能包括少于四个空间候选预测运动矢量。如果列表包括四个空间候选预测运动矢量(904,是),则视频解码器考虑时间候选预测运动矢量(906)。时间候选预测运动矢量可对应于不同于当前图像的图像的co-located PU的运动信息。如果时间候选预测运动矢量可用且不同于前四个空间候选预测运动矢量,则视频解码器将时间候选预测运动矢量指派到索引4。如果时间候选预测运动矢量不可用或与前四个空间候选预测运动矢量中的一者相同,则视频解码器不将所述时间候选预测运动矢量包括于候选预测运动矢量列表中。因此,在视频解码器考虑时间候选预测运动矢量(906)之后,候选预测运动矢量列表可能包括五个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量和框904处考虑的时间候选预测运动矢量)或可能包括四个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量)。如果候选预测运动矢量列表包括五个候选预测运动矢量(908,是),则视频解码器完成构建列表。
如果候选预测运动矢量列表包括四个候选预测运动矢量(908,否),则视频解码器可考虑第五空间候选预测运动矢量(910)。第五空间候选预测运动矢量可(例如)对应于候选预测运动矢量位置252E。如果位置252E处的候选预测运动矢量可用且不同于位置252A、252B、252C和252D处的候选预测运动矢量,则视频解码器可将第五空间候选预测运动矢量添加到候选预测运动矢量列表,第五空间候选预测运动矢量经指派到索引4。如果位置252E处的候选预测运动矢量不可用或并非不同于候选预测运动矢量位置252A、252B、252C和252D处的候选预测运动矢量,则视频解码器可不将位置252处的候选预测运动矢量包括于候选预测运动矢量列表中。因此在考虑第五空间候选预测运动矢量(910)之后,列表可能包括五个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量和框910处考虑的第五空间候选预测运动矢量)或可能包括四个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量)。
如果候选预测运动矢量列表包括五个候选预测运动矢量(912,是),则视频解码器完成产生候选预测运动矢量列表。如果候选预测运动矢量列表包括四个候选预测运动矢量(912,否),则视频解码器添加人工产生的候选预测运动矢量(914)直到列表包括五个候选预测运动矢量(916,是)为止。
如果在视频解码器考虑前四个空间候选预测运动矢量之后,列表包括少于四个空间候选预测运动矢量(904,否),则视频解码器可考虑第五空间候选预测运动矢量(918)。第五空间候选预测运动矢量可(例如)对应于候选预测运动矢量位置252E。如果位置252E处的候选预测运动矢量可用且不同于已包括于候选预测运动矢量列表中的候选预测运动矢量,则视频解码器可将第五空间候选预测运动矢量添加到候选预测运动矢量列表,第五空间候选预测运动矢量经指派到下一可用索引。如果位置252E处的候选预测运动矢量不可用或并非不同于已包括于候选预测运动矢量列表中的候选预测运动矢量中的一者,则视频解码器可不将位置252E处的候选预测运动矢量包括于候选预测运动矢量列表中。视频解码器可接着考虑时间候选预测运动矢量(920)。如果时间候选预测运动矢量可用且不同于已包括于候选预测运动矢量列表中的候选预测运动矢量,则视频解码器可将所述时间候选预测运动矢量添加到候选预测运动矢量列表,所述时间候选预测运动矢量经指派到下一可用索引。如果时间候选预测运动矢量不可用或并非不同于已包括于候选预测运动矢量列表中的候选预测运动矢量中的一者,则视频解码器可不将所述时间候选预测运动矢量包括于候选预测运动矢量列表中。
如果在考虑第五空间候选预测运动矢量(框918)和时间候选预测运动矢量(框920)之后,候选预测运动矢量列表包括五个候选预测运动矢量(922,是),则视频解码器完成产生候选预测运动矢量列表。如果候选预测运动矢量列表包括少于五个候选预测运动矢量(922,否),则视频解码器添加人工产生的候选预测运动矢量(914)直到列表包括五个候选预测运动矢量(916,是)为止。
根据本申请的技术,可在空间候选预测运动矢量和时间候选预测运动矢量之后人工产生额外合并候选预测运动矢量以使合并候选预测运动矢量列表的大小固定为合并候选预测运动矢量的指定数目(例如前文图9的可行的实施方式中的五个)。额外合并候选预测运动矢量可包括示例性的经组合双向预测性合并候选预测运动矢量(候选预测运动矢量1)、经缩放双向预测性合并候选预测运动矢量(候选预测运动矢量2),和零向量Merge/AMVP候选预测运动矢量(候选预测运动矢量3)。
图10为本申请实施例中将经过组合的候选运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图。经组合双向预测性合并候选预测运动矢量可通过组合原始合并候选预测运动矢量而产生。具体来说,原始候选预测运动矢量中的两个候选预测运动矢量(其具有mvL0和refIdxL0或mvL1和refIdxL1)可用以产生双向预测性合并候选预测运动矢量。在图10中,两个候选预测运动矢量包括于原始合并候选预测运动矢量列表中。一候选预测运动矢量的预测类型为列表0单向预测,且另一候选预测运动矢量的预测类型为列表1单向预测。在此可行的实施方式中,mvL0_A和ref0是从列表0拾取,且mvL1_B和ref0是从列表1拾取,且接着可产生双向预测性合并候选预测运动矢量(其具有列表0中的mvL0_A和ref0以及列表1中的mvL1_B和ref0)并检查其是否不同于已包括于候选预测运动矢量列表中的候选预测运动矢量。如果其不同,则视频解码器可将双向预测性合并候选预测运动矢量包括于候选预测运动矢量列表中。
图11为本申请实施例中将经过缩放的候选运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图。经缩放双向预测性合并候选预测运动矢量可通过缩放原始合并候选预测运动矢量而产生。具体来说,来自原始候选预测运动矢量的一候选预测运动矢量(其可具有mvLX和refIdxLX)可用以产生双向预测性合并候选预测运动矢量。在图11的可行的实施方式中,两个候选预测运动矢量包括于原始合并候选预测运动矢量列表中。一候选预测运动矢量的预测类型为列表0单向预测,且另一候选预测运动矢量的预测类型为列表1单向预测。在此可行的实施方式中,mvL0_A和ref0可从列表0拾取,且ref0可复制到列表1中的参考索引ref0′。接着,可通过缩放具有ref0和ref0′的mvL0_A而计算mvL0′_A。缩放可取决于POC距离。接着,可产生双向预测性合并候选预测运动矢量(其具有列表0中的mvL0_A和ref0以及列表1中的mvL0′_A和ref0′)并检查其是否为重复的。如果其并非重复的,则可将其添加到合并候选预测运动矢量列表。
图12为本申请实施例中将零运动矢量添加到合并模式候选预测运动矢量列表的一种示例性示意图。零向量合并候选预测运动矢量可通过组合零向量与可经参考的参考索引而产生。如果零向量候选预测运动矢量并非重复的,则可将其添加到合并候选预测运动矢量列表。对于每一产生的合并候选预测运动矢量,运动信息可与列表中的前一候选预测运动矢量的运动信息比较。
在一种可行的实施方式中,如果新产生的候选预测运动矢量不同于已包括于候选预测运动矢量列表中的候选预测运动矢量,则将所产生的候选预测运动矢量添加到合并候选预测运动矢量列表。确定新产生的候选预测运动矢量是否不同于已包括于候选预测运动矢量列表中的候选预测运动矢量的过程有时称作修剪(pruning)。通过修剪,每一新产生的候选预测运动矢量可与列表中的现有候选预测运动矢量比较。在一些可行的实施方式中,修剪操作可包括比较一个或多个新候选预测运动矢量与已在候选预测运动矢量列表中的候选预测运动矢量和不添加为已在候选预测运动矢量列表中的候选预测运动矢量的重复的新候选预测运动矢量。在另一些可行的实施方式中,修剪操作可包括将一个或多个新候选预测运动矢量添加到候选预测运动矢量列表且稍后从所述列表移除重复候选预测运动矢量。
JVET-F1001-v2在第2.3节描述了帧间编码的改进技术,与本申请上述实施例相比,又介绍了选择性时域运动矢量预测(Alternative temporal motion vectorprediction,ATMVP)、时空域运动矢量预测(Spatial-temporal motion vectorprediction,STMVP)等多种帧间预测的方法。应理解,通过上述方法(ATMVP、STMVP或第2.3节描述的其它方法)获得的预测运动矢量,都可以作为上文中Merge候选预测运动矢量列表、AMVP候选预测运动矢量列表或者其它候选预测运动矢量列表中的候选预测运动矢量。当待处理块具有多个可用的候选预测运动矢量时,编码端需要一个指示信息用来告知解码端哪个候选预测运动矢量被用来作为实际的预测运动矢量用来重构待处理块。因此,每个候选预测运动矢量对应于一个索引值,或者类似的标识。每个索引值对应一个二值化表示,或者叫做二值化字符串,上述实际的预测运动矢量的索引值的二值化表示即为需要从编码端传递到解码端的指示信息。采用合理的二值化策略来编码索引值,可以节省编码比特,提高编码效率。示例性的,每一个候选预测运动矢量在编码端被选择作为实际的预测运动矢量都有一定的概率,对于大概率的候选预测运动矢量的索引值采用较短的二值化字符串(也称为码字),对于小概率的候选预测运动矢量的索引值采用较长的二值化字符串,可以节省编码比特。
具体的,举例来说,可选的候选预测运动矢量一共有三种,分别为索引0,索引1,索引2,一组待处理块实际被选用的预测运动矢量分别为索引0,索引1,索引1,索引1,索引1,索引0,索引2,索引1,则如果按照对于大概率的候选预测运动矢量的索引值采用较短的二值化字符串的策略编码索引值,索引1对应“1”,索引0对应“00”,索引2对应“01”,显然“00”或“01”的二值化字符串的长度为2,“1”的二值化字符串的长度为1,则编码上述一组预测运动矢量需要的二值化字符串为“00”,“1”,“1”,“1”,“1”,“00”,“01”,“1”,总计长度为11;如果按照相反的策略编码索引值,索引2对应“1”,索引0对应“00”,索引1对应“01”,则编码上述一组预测运动矢量需要的二值化字符串为“00”,“01”,“01”,“01”,“01”,“00”,“1”,“01”,总计长度为15。所以,以按照对于大概率的候选预测运动矢量的索引值采用较短的二值化字符串的策略编码索引值需要的二值化字符串越短,一般的,编码二值化字符串所需要的比特数也越少。
本申请实施例旨在:当待处理块具有多个候选预测运动矢量时,以待处理块和待处理块的候选预测运动矢量所指示的参考图像块之间的相似度为先验知识,来协助确定各个候选预测运动矢量的标识的编码方式,从而达到节省编码比特,提高编码效率的目的。在一种可行的实施方式中,由于待处理块的像素值无法在解码端直接获得,因此上述相似度被用待处理块周边的重构像素集合和参考图像块对应的重构像素集合的相似度所近似,也就是说,待处理块周边的重构像素集合和参考图像块对应的重构像素集合的相似度用来表征待处理块和待处理块的候选预测运动矢量所指示的参考图像块之间的相似度。
所以,应理解,以编码端为例,本申请实施例适用于从待处理块的多个参考图像块中,确定一个参考图像块,并编码该参考图像块的标识信息的场景。而与该多个参考图像块来自于帧间类型的预测模式,来自于帧内类型的预测模式,还是来自视点间的预测模式(多视点或三维视频编码,Multi-view or 3D Video Codig),还是来自层间的预测模式(可伸缩视频编码,Scalabe Video Coding)无关,与具体的参考图像块的获得方法(比如采用ATMVP还是STMVP,或者帧内区块复制模式)无关,与指示参考图像块的运动矢量是属于整个编码单元的运动矢量,还是属于编码单元中某个子编码单元的运动矢量无关,上述符合本申请实施例适用场景的各种预测模式以及获取参考图像块的方法(即获取运动矢量的方法)都可以依照或者结合本申请实施例中的方案,达到提高编码效率的技术效果。
图13为本申请实施例的一种编码方法1000的示意性流程图。如上所述,本申请实施例可适用于多种应用场景,为了描述简单,将待处理块的每一个候选参考图像块的获取方式分别称为模式1,模式2,模式3等,上述获取方式既包括不同的预测方法,比如ATMVP和STMVP,也包括使用同一种预测方法进行的不同操作,比如获取Merge模式中左相邻块的运动矢量和获取Merge模式中上相邻块的运动矢量,统称为不同的获取方式,并用不同的模式来表示。不妨令每一种模式对应一运动矢量,同时对应一个标识值。应理解,上述运动矢量既包括传统帧间预测中使用的运动矢量,也包括帧内预测中使用运动估计时,用来表征待处理块和参考图像块的位移矢量(在同一帧中),还包括视点间预测时,用来表征视点间匹配关系的矢量,以及层间预测时,用来表征不同层间匹配关系的矢量,统称为运动矢量,用于获取待处理块的参考图像块。每个运动矢量还对应一个参考帧信息,运动矢量所指示的参考图像块即来自于参考帧信息。不同的应用场景参考帧信息的表现形式各不相同,例如,在帧间预测模式中,参考帧信息可以用来表示已重构的时域参考帧,比如在Merge模式中获取左相邻块的运动矢量,同时也需要获取左相邻块的参考帧信息,在参考帧信息确定的参考帧中按照运动矢量才确定对应的参考图像块。在帧内预测模式中,一般的,参考帧即为当前帧,在此场景下,参考帧信息便可以省略。在多视点编码中,参考帧信息又可以用来表示已重构的不同时刻或同一时刻不同视点的重构帧。在可伸缩编码中,参考帧信息又可以用来表示已重构的不同时刻或同一时刻不同层的重构帧。参考帧信息依照应用场景不同,可以为一个索引值,也可以为一个0或1的标识位。上述每种模式对应的标识值,用来区分各种模式,可以为索引值,或者身份标识,不做限定。示例性地,不妨建立如下对应关系,以利于后续方案的描述。
Figure GDA0003926030020000281
表1
还应理解,上述多个候选预测运动信息构成了一个集合,可以以列表的形式存在,也可以以一个列表的补集的形式存在,也可以以一个子集的形式存在,不做限定。
如图13所示,本申请实施例的一种待处理图像块预测运动信息的编码方法1000,包括:
S1001、获取待处理图像块的N个候选预测运动信息。
其中,N为大于1的整数。该N个候选预测运动信息互不相同。应理解,当运动信息包括运动矢量和参考帧信息时,运动信息互不相同,也包括运动矢量相同但参考帧信息不同的情况。前文中已经介绍了修剪的技术,应理解,在获得待处理图像块的N个候选预测运动信息的过程中,进行了修剪的操作,以使最终获得的N个候选预测运动信息互不相同,不再赘述。
在一种可行的实施方式10011中,所述获取待处理图像块的N个候选预测运动信息,包括:按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。
例如,前文所述的H.265标准中所规定的Merge模式的候选预测模式的确定方式,即按照一定的顺序获取与待处理图像块具有预设空域位置关系(例如252A、252B、252C、252D和252E)和/或预设时域位置关系(例如co-located位置)的图像块的运动信息,并通过修剪,最终得到N个互不相同的候选预测运动信息。
在一种可行的实施方式10012中,所述获取待处理图像块的N个候选预测运动信息,包括:按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;确定所述M个候选预测运动信息的分组方式;根据所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。
示例性的,如表一所示,按照实施方式10011的方法获得运动信息0到运动信息6共7种互不相同的候选预测运动信息,此时M为7。按照预测的分组分式,对上述7种候选按预测运动信息进行分组。在一种可行的实施方式100121中,可以将全部7种候选预测运动信息作为一个分组,即此时和实施方式10012相同。在一种可行的实施方式100122中,可以将7种候选预测运动信息,按照预设的数量间隔分组,比如:按照前3个、中间3个、后1个的方式分组,或者,前2个、中间3个、后2个的方式分组,或者,前3个、后4个的方式分组,分成的组数和每组包含的候选预测运动信息的数量均不做限定。在一种可行的实施方式100123中,可以按照运动信息的获取分式分组,比如将根据空域相邻块获取的候选预测运动信息分为一组,将根据时域相邻块获取的候选预测运动信息分为一组。在一种可行的实施方式100124中,候选预测运动信息包含编码单元级(CU level)的运动信息和子编码单元级(sub-CUlevel)的运动信息,具体的获取分式可以参考JVET-F1001-v2第2.3.1节基于子编码单元的运动矢量预测,不做赘述,可以按照CU level和sub-CU level进行分组。具体的,不妨设,将7个候选预测运动信息分为两组,第一组为运动信息0-2,第二组为运动信息3-6。
对于各个分组,可以采取不同的处理方式,也可以采取相同的处理方式,不做限定。示例性的,可以按照前文所述的H.265标准中所规定的Merge模式中候选预测运动矢量的索引值的表示方式为第一组的运动信息0-2对应的索引0-2赋予二值化字符串(后文简述为传统方式),即按照预测的顺序对索引0-2赋予二值化字符串,同时,按照本申请实施例S1002-S1005所述的方法为第二组的运动信息3-6对应的索引3-6赋予二值化字符串(后文简述为本申请实施例的方式)。也可以对第一组和第二组分别按照本申请实施例S1002-S1005所述的方法赋予二值化字符串。但是,应理解,被赋予的二值化字符串表示同时表征了对应的运动信息所在的分组标识和该运动信息在该分组中的标识这两种信息,因此该二值化字符串可以使任一分组中的任一模式区分其他的全部6种模式。
不妨设,将第一组的运动信息0-2按照传统方式处理(示例性的,索引0对应二值化字符串“0”,索引1对应二值化字符串“10”,索引2对应二值化字符串“110”),将第二组的运动信息3-6按照本申请实施例的方式处理,此时N为4。
当M大于N时,即采用上述各种分组的实施方式时,在一种可行的实施方式10013中,将所述分组方式编入码流。比如,可以对分组的各种依据(比如实施方式100121-100124)赋予编号,将该编号编入码流,也可以将分组的数量,每组中包含的候选预测运动信息的数量等编入码流,不做限定。该编入码流的分组方式能够使解码端获知编码端的分组方式。在另一种可行的实施方式10014中,分组方式是编解码端通过预先设置的协议分别固化在编解码端并保持一致的,因此不需要将分组方式编入码流。
同时,编码端还需要使解码端获知具体的候选预测运动信息。在一种可行的实施方式10015中,将候选预测运动信息编入码流;或者,将指示与所述待处理图像块具有预设位置关系的图像块的第二标识信息编入所述码流,具体的,将候选预测运动信息所取自的与待处理块具有预设位置关系的图像块(比如Merge模式中的空域相邻块、时域co-located块等)赋予编号,将该编号编入码流;或者,将与所述N个候选预测运动信息具有预设对应关系的第三标识信息编入所述码流,具体的,预设几种候选预测运动信息的组合,将各组合赋予编号,将该编号编入码流。在另一种可行的实施方式10016中,候选预测运动信息是编解码端通过预先设置的协议分别固化在编解码端的,因此不需要将候选预测运动信息编入码流。
在一种可行的实施方式10017中,在确定了分组方式之后,编码端还需要使解码端获知每个分组的处理方式。示例性的,可以在执行后续步骤前,为每个分组编码一个0或1的标识来表示当前分组使用传统方式或者本申请实施例的方式进行后续处理;或者,也可以在用于表示分组方式的语法元素中,包含各分组的处理方式的表示;或者,也可以编解码端通过预先设置的协议分别固化在编解码端,比如:约定第一个分组使用传统方式处理,第二个分组采用本申请实施例的方式进行处理,或者,约定当仅有一个分组时按照本申请实施例的方式进行处理,不做限定。
S1002、确定所述待处理图像块的相邻重构图像块可用。
应理解,根据不同的应用场景待处理图像块的相邻重构图像块,可以包括:和待处理图像块位于同一帧图像的空域相邻重构图像块,和待处理图像块位于不同帧图像的相同位置的时域相邻重构图像块,和待处理图像块位于同一时刻不同帧图像的相同位置的相邻视点的重构图像块,和待处理图像块位于同一时刻不同帧图像的相同位置的相邻层的重构图像块等,不做限定。
相邻重构图像块可用,即相邻重构图像块可以被当前的方法所使用。示例性的,当待处理图像块的左边界并非图像边界时,待处理图像块的左相邻块可用;当待处理图像块的上边界并非图像边界时,待处理图像块的上相邻块可用。在一些情况下,相邻重构图像块是否可用还进一步地和其他编码工具的配置相关。示例性的,即使待处理图像块的左边界并非图像边界,但是如果该左边界为图像块组的边界,比如条带(slice)、片(tile)等的边界,根据该图像块组与左边相邻图像块组之间的独立性关系,待处理图像块的左相邻块依然存在不可用的情况(对应图像组间完全独立的情况)。而另一个相反的例子,即使待处理图像块的左边界是图像边界,但是其他编码工具被配置为可以插值出图像边界外的图像块(padding)时,则待处理图像块的左相邻块可用。
在一种可行的实施方式10021中,当所述待处理图像块的相邻重构图像块包括至少两个所述原始相邻重构图像块时,所述确定所述待处理图像块的相邻重构图像块可用,包括:确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块可用。示例性的,待处理图像块的原始相邻重构图像块包括上相邻重构图像块和左相邻重构图像块时,上相邻重构图像块和左相邻重构图像块中任意一个重构图像块可用,则确定该待处理图像块的相邻重构图像块可用。其中,原始相邻重构图像块即用来指代待处理图像块的相邻重构图像块,以区分后文中提到的参考相邻重构图像块,参考相邻重构图像块用来指代待处理图像块根据候选预测运动信息指示的参考图像块的相邻重构图像块。
应理解,当待处理图像块的相邻重构图像块不可用时,本发明实施例的方法无法利用待处理块周边的重构像素集合和参考图像块对应的重构像素集合的相似度用来表征待处理块和待处理块的候选预测运动矢量所指示的参考图像块之间的相似度。在一些实施例中,需要编码标识信息来编码上述分组方式和/或每个分组的处理方式等辅助信息,在这样的实施例中,也可以先确定待处理图像块的相邻重构图像块的可用性,当相邻重构图像块不可用时,可以直接采用传统方式进行编码,而不需要进一步编码上述辅助信息,从而节省编码比特。
S1003、获取所述N个候选预测运动信息各自对应的失真值。
所述失真值用来计算待处理块周边的重构像素集合(原始相邻重构图像块)和参考图像块对应的重构像素集合(参考相邻重构图像块)的相似度,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定。如图14所示,所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。
下面示例性的介绍几种原始相邻重构图像块的形状和大小,不妨设所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形。在一种可行的实施方式10031中,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,所述原始相邻重构图像块的宽为W,高为n;在一种可行的实施方式10032中,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,所述原始相邻重构图像块的宽为W+H,高为n;在一种可行的实施方式10033中,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,所述原始相邻重构图像块的宽为n,高为H;在一种可行的实施方式10034中,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,所述原始相邻重构图像块的宽为n,高为W+H。其中W,H,n为正整数。应理解,原始相邻重构图像块的形状和大小的设定,与实现复杂度和相似度估计的准度相关,编解码端根据协议一致即可,不做限定。
在一种可行的实施方式10035中,按照编码系统对存储空间的要求,可以设置上述n为1或2,从而不需要额外的存储空间存储原始相邻重构图像块,简化了硬件实现。
应理解,参考相邻重构图像块和原始相邻重构图像块的形状相同、大小相等,位置关系相同,因此参考相邻重构图像块的实现方式和所对应的原始相邻重构图像块完全一致。
在S1003中,首先需要获得N个候选预测运动信息所指示的待处理图像块的参考图像块的参考相邻重构图像块。可以按照前文所述的运动补偿的方法,根据候选预测运动信息所表征的参考帧信息和运动矢量确定待处理图像块的参考图像块的参考相邻重构图像块。
在一种可行的实施方式10036中,候选预测运动信息中的运动矢量指向的是参考帧中分像素的位置,此时需要对参考帧图像或者参考帧图像的一部分进行分像素精度的图像插值以获得参考图像块,此时可以采用{-1,4,-11,40,40,-11,4,-1}的8抽头滤波器进行分像素插值,或者,为了简化计算复杂度,也可以采用双线性插值滤波器进行分像素插值。
然后计算参考图像块的参考相邻重构图像块和待处理块的原始相邻重构图像块的差异表征值作为失真值。
该差异表征值可以有多种计算方式,比如平均绝对误差,绝对误差和,误差平方和,平均误差平方和,绝对哈达玛变换误差和,归一化积相关性度量值,或者,基于序贯相似性检测的相似性度量值等等。计算差异表征值是为了获取参考图像块的参考相邻重构图像块和对应的待处理块的原始相邻重构图像块的相似度(或者说匹配度),因此以此为目的的计算方式均适用于本申请实施例,不做限定。
当原始相邻重构图像块具有多个时,示例性的,不妨设所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,对应的,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,则所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。更一般的,所述失真值根据如下计算式获得:
Figure GDA0003926030020000321
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。根据实际采用的计算差异值的方法,Delta为MAD,SAD,SSD等上述各种计算方式的表达式。
在一种可行的实施方式10037中,本发明实施例应用于帧间双向预测,不妨设,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
在一种可行的实施方式10038中,待处理图像块具有子块级的候选预测运动信息,如图15所示,可以分别求得与原始相邻重构图像块相邻的每个子块对应的失真值,并求和,作为待处理图像块的失真值。具体的,示例性的,分别按照待处理块中Sub-CU1和Sub-CU2的运动信息找到对应的参考图像块Ref Sub-CU1和Ref Sub-CU2,进而分别确定原始重构图像块T1,T2以及对应的参考重构图像块T1’,T2’,最后按照公式(1)所示的方法求得失真值。
S1004、根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应。
当全部N个候选预测运动信息都按照S1003中的方法获得了对应的失真值,即获取了N个失真值,第一标识信息即为每个候选预测运动信息的标识的二值化表示,或二值化字符串。
在S1004中,首先比较N个失真值之间的大小,具体的,可以按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。不妨设,按照失真值从小到大的顺序排列N个候选预测运动信息,即排位越靠前的候选预测运动信息所对应的失真值越小。
然后,按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息,其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串的长度小于等于用于编码所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
示例性的,不妨以表1为例,运动信息0-2被分为第一组,运动信息3-6被分为第二组。
当第一组采用传统方式处理,第二组采用本申请实施例的方式处理,且失真值从小到大的顺序为模式6、模式4、模式5、模式3,则有如下示例性的索引编码方式,应理解该二进制字符串的赋值方式仅为示例性,还可以使用其它的变长编码方式,不做限定:
Figure GDA0003926030020000322
Figure GDA0003926030020000331
表2
当第一组采用本申请实施例的方式处理,且失真值从小到大的顺序为模式0、模式2、模
式1,第二组采用传统的方式处理,则有如下示例性的索引编码方式:
Figure GDA0003926030020000332
表3
当第一组采用本申请实施例的方式处理,且失真值从小到大的顺序为模式0、模式2、模式1,第二组采用本申请实施例的方式处理,且失真值从小到大的顺序为模式6、模式4、模
式5、模式3,则有如下示例性的索引编码方式:
Figure GDA0003926030020000333
表4
可见应理解,在N个候选预测运动信息所分成的多个分组中,排在后面的分组在确定组内候选预测运动信息的标识值的二进制表示方式时,需要考虑在先分组,避免无法和在先分组区分。也应理解,在一些实施例中,当分组的位置和组内候选预测运动信息的数量通过其他方式可以被解码端获知时,排在后面的分组在确定组内候选预测运动信息的标识值的二进制表示方式时,可以不考虑在先分组。
S1005、当所述待处理图像块的目标预测运动信息为所述已确定第一标识信息的N个候选预测运动信息中的一个时,将所述目标预测运动信息的第一标识信息编入码流。
分别以各候选预测运动信息进行拟编码,可以模拟完成全部的编码过程,或者完成部分的编码过程(比如仅完成重构图像块,而不进行熵编码),获得各候选预测运动信息的编码代价,编码代价用重构图像块的失真程度和/或编码该图像块所模拟花费的编码比特计算获得。按照实际需要,选择合适的候选预测运动信息,例如上述编码代价最小的候选预测运动信息,作为实际编码的目标预测运动信息,并将其标识(比如索引值)按照步骤S1004确定的二进制字符串编入码流。
上述确定目标预测运动信息的过程一般被称为通过码率-失真(率失真,RDO)准则,获得目标预测运动信息,具体的步骤以及各种可行的简化方式可以参见HM,JEM等参考软件的编码端实现,不做赘述。
图16为本申请实施例的一种解码方法的示意性流程图1100。应理解,一般的,解码过程是编码过程的逆过程。编码过程中依次编入码流的语法元素,在解码端需要以对应的次序和位置进行解析,以完成视频图像在解码端的重构。不妨设图16所示的解码方法与图13所示的编码方法相对应。
S1101、确定所述M个候选预测运动信息的分组方式。
应理解,步骤S1101对应于不同的实施方式为一个可选的步骤。比如,当编码端采用和解码端按照预先协议的方式确定分组方式时,解码端通过所述协议就可以获知分组方式,此时该步骤在实际执行时不存在。而当编码端采用通过传输标识信息使解码端获知分组方式时,该步骤便需要执行。具体的分组方式和编码端保持一致,具体可参见步骤S1001中关于确定所述M个候选预测运动信息的分组方式;根据所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息的示例性描述,不再赘述。
进一步的,和编码端对应的,解码端还需要获知每个分组或者目标预测运动信息所在的分组的处理方式,可选的,可以根据编解码端的协议预先获知,或者解析码流中的标识信息获知。即,确定预设的所述分组方式,或者,从所述码流中解析获得所述分组方式。具体可参见实施方式10017所述的方法,不再赘述。
S1102、从码流中解析出待处理图像块的目标预测运动信息的目标标识信息。
同理,和编码端步骤S1005对应的,解析码流,可以获得实际用于编码的候选预测运动信息的标识,即二进制字符串。
S1103、确定所述待处理图像块的相邻重构图像块可用。
该步骤对应编码端的步骤S1002,内容保持一致,S1002中的各种可行的实施方式均可用于S1103中,不做赘述。
其中,当所述待处理图像块的相邻重构图像块包括至少两个所述原始相邻重构图像块时,所述确定所述待处理图像块的相邻重构图像块可用,包括:确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块可用。
应理解,和编码端对应的,在一些实施例中,需要编码标识信息来编码上述分组方式和/或每个分组的处理方式等辅助信息,在这样的实施例中,也可以先确定待处理图像块的相邻重构图像块的可用性,当相邻重构图像块不可用时,可以直接采用传统方式进行编码,而不需要进一步编码上述辅助信息,从而节省编码比特,对应到解码端,即当相邻重构图像块不可用时不再解析相关辅助信息。
应理解,步骤S1103和S1102没有强制的先后顺序,也可以并行处理,不做限定。
S1104、确定N个候选预测运动信息。
所述N个候选预测运动信息包括所述目标预测运动信息,其中,N为大于1的整数,具体的,该步骤包括:按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。或者,该步骤包括:按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;根据所述目标标识信息和所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。
该步骤对应编码端的步骤S1001,内容保持一致,S1001中的各种可行的实施方式均可用于S1104中,不做赘述。
同理,和编码端对应的,解码端还需要获知具体的候选预测运动信息,可选的,可以根据便解码端的预先协议的方法获知,或者解析码流中的候选预测运动信息或者标识信息获知。即,解析所述码流中的所述多个候选预测运动信息的编码信息,以获得所述N个候选预测运动信息;或者,解析所述码流中的第二标识信息,以获得所述第二标识信息指示的N个候选图像块,并以所述N个候选图像块的运动信息作为所述N个候选预测运动信息;或者,解析所述码流中的第三标识信息,以获得与所述第三标识信息具有预设对应关系的所述N个候选预测运动信息。具体可参见实施方式10015以及实施方式10016,即,不再赘述。
但是,需要注意的是相对于编码端,在一些实施例中,解码端的实现可以有一些不同。一般的,在编码端,全部候选预测运动信息都可能成为实际用于编码的目标预测运动信息,因此,必须确定全部候选预测运动信息。而在解码端,只需要确定能够确定目标预测运动信息的候选预测运动信息即可,而不需要确定全部的候选预测运动信息。在一些应用场景中,这样可以减少解码端实现的复杂度。
示例性的,对于表1对应的实施例,如果模式0-1位于第一分组,模式2-4位于第二分组,模式5-6位于第三分组,则无论组内如何对不同模式对应的候选预测运动信息的索引值赋予二进制字符串,可以确定的是,对应第一分组的二进制字符串包括“1”和“01”,对应第二分组的二进制字符串包括“001”,“0001”和“00001”,对应第三分组的二进制字符串包括“000001”和“000000”。当解析码流获得目标预测运动信息的标识为“001”时,可知,目标预测运动矢量属于第二分组,因此不需要确定第一分组和第三分组中的候选预测运动信息的索引值对应的二进制字符串,而只需要确定第二分组中的候选预测运动信息的索引值对应的二进制字符串。
S1105、获取所述N个候选预测运动信息各自对应的失真值。
该步骤对应编码端的步骤S1003,内容保持一致,S1003中的各种可行的实施方式均可用于S1105中,不做赘述。
即,在一种可行的实施方式11051中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括参考相邻重构图像块,所述待处理图像块的相邻重构图像块包括与所述参考相邻重构图像块对应的原始相邻重构图像块,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定,包括:所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。
在一种可行的实施方式11052中,所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值,包括:所述参考相邻重构图像块和所述原始相邻重构图像块的平均绝对误差;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的平均误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对哈达玛变换误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的归一化积相关性度量值;或,所述参考相邻重构图像块和所述原始相邻重构图像块的基于序贯相似性检测的相似性度量值。
在一种可行的实施方式11053中,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,包括:所述原始相邻重构图像块的宽为W,高为n;或者,所述原始相邻重构图像块的宽为W+H,高为n;其中W,H,n为正整数。
在一种可行的实施方式11054中,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,包括:所述原始相邻重构图像块的宽为n,高为H;或者,所述原始相邻重构图像块的宽为n,高为W+H。
在一种可行的实施方式11055中,n为1或2。
在一种可行的实施方式11056中,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
在一种可行的实施方式11057中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括多个所述参考相邻重构图像块,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,对应的,所述待处理图像块的相邻重构图像块包括多个所述原始相邻重构图像块,所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。
在一种可行的实施方式11058中,所述失真值根据如下计算式获得:
Figure GDA0003926030020000361
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。
S1106、根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应。
该步骤对应编码端的步骤S1004,内容保持一致,S1004中的各种可行的实施方式均可用于S1106中,不做赘述。
即,在一种可行的实施方式11061中,所述根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应,包括:比较所述N个失真值之间的大小;按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息,其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串的长度小于等于所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
在一种可行的实施方式11062中,所述比较所述N个失真值之间的大小,包括:按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。
S1107、从所述N个候选预测运动信息中确定所述目标预测运动信息。
其中,所述目标预测运动信息的第一标识信息和所述目标标识信息匹配,即将与所述目标标识信息匹配的第一标识信息对应的候选预测运动信息确定为所述目标预测运动信息。
一般的,所述目标预测运动信息的第一标识信息和所述目标标识信息匹配,即第一标识信息和目标标识信息相等。
示例性的,按照S1104中描述的示例性的实施方式,不妨设根据S1106获得候选预测运动信息的索引值的二值化字符串分别为:模式2“0001”,模式3“001”,模式4“00001”,结合S1102中解析出的目标预测运动信息的标识为“001”,则可以确定目标预测运动信息为模式3对应的候选预测运动信息。
在一些实施例中,从M个候选预测运动信息中确定N个候选预测运动信息的分组信息被用额外的信息来表示,示例性的,编码端传输一个组别标识至解码端,以使解码端获知目标预测运动信息所在的组。S1102中解析出的目标预测运动信息的目标标识信息可以仅用于区分该组内的不同候选预测运动信息,即组内索引信息,则所述目标预测运动信息的第一标识信息和所述目标标识信息匹配为结合组别标识和目标预测运动信息的目标标识信息,来查找对应的第一标识信息所代表的候选预测运动信息。
当待处理块具有多个候选预测运动矢量时,以待处理块和待处理块的候选预测运动矢量所指示的参考图像块之间的相似度为先验知识,来协助确定各个候选预测运动矢量的标识的编码方式,从而达到节省编码比特,提高编码效率的目的。
下面将具体的描述一个本发明实施例的编码方法1200。
S1201、结合图8所示,对于待处理块250,依次检测252A位置的运动信息、252B位置的运动信息、252C位置的运动信息、252D位置的运动信息、对250块采用ATMVP模式获得的运动信息、对250块采用STMVP模式获得的运动信息、252E块的运动信息、对250块采用TMVP模式获得的运动信息。检测内容包括:(1)该运动信息是否可获得(此处的可获得为广义的可获得,不仅包括该运动信息对应的图像块是否存在,还包括根据其它编码工具的性质,比如预测模式,分块模式等,该运动信息是否可以为本申请实施例所使用等);(2)该运动信息是否与在先已检测的运动信息重复。依次获取运动信息可获得且不与在先已检测的运动信息重复的运动信息,直到数量达到5个,不妨分别称五个依次获取的运动信息为MV0,MV1,MV2,MV3,MV4。
S1202、设250块的大小为16x8,该250块的上边界的相邻重构图像块(简称上模板)为16x1,左边界的相邻重构图像块(简称左模板)为1x8。检测250块的上模板和左模板是否存在。
当上模板和左模板均不存在时,结束本流程,按照JEM参考软件中Merge模式的预测方法,编码待处理块的预测运动信息的标识。
否则,当至少一个模板存在时,继续本流程。
S1203、设按照编解码端预先设置的协议,将MV0,MV1,MV2分为第一组,MV3,MV4分为第二组。
S1204、分别根据MVO,MV1,MV2获取250块的参考图像块REF0,REF1,REF2。
S1205、以MV0为例分别对第一组中的MV0,MV1,MV2进行如下操作:
根据250块存在的模板,不妨设250块的左模板TL和上模板TA均存在,确定REF0对应的左模板TL0和上模板TA0,TL0和TL大小相等、位置对应,TA0和TA大小相等、位置对应。
计算TL0和TL的像素值的SAD值,得到SAD01,计算TA0和TA的像素值的SAD值,得到SAD02,将SAD01和SAD02相加获得SAD0,作为MV0对应的失真值。
同理,获得MV1对应的失真值SAD1,MV2对应的失真值SAD2。
S1206、从小到大排列SAD0,SAD1,SAD2,不妨设,从小到大顺序为SAD2<SAD0<SAD1。
S1207、按照失真值的大小关系,对MV0,MV1,MV2分别赋予bin string为:
MV2对应“1”,MV0对应“01”,MV1对应“001”。
S1208、对MV3,MV4分别赋予bin string为:
MV3对应“0001”,MV4对应“0000”。
S1209、按照上述步骤中对各运动信息所赋予的bin string,进行率失真计算,选择率失真代价最小(同等重构图像失真下编码比特少,或同等编码比特下重构图像失真小)的运动信息作为250块最终选定的预测运动信息。
S1210、当该帧间预测模式最终被选为250块的实际编码模式时,将S1209中最终选定的预测运动信息所对应的bin string通过熵编码写入码流。
下面将具体的描述一个本发明实施例的解码方法1300。该实施例与编码方法1200相对应。
S1301、和编码端一致,结合图8所示,对于待处理块250,设250块的大小为16x8,该250块的上边界的相邻重构图像块(简称上模板)为16x1,左边界的相邻重构图像块(简称左模板)为1x8。检测250块的上模板和左模板是否存在。
当上模板和左模板均不存在时,结束本流程,按照JEM参考软件中Merge模式的预测方法,解码待处理块的预测运动信息的标识。
否则,当至少一个模板存在时,继续本流程。
S1302、解析码流,获得250块的预测运动信息标识对应的bin string,不妨设为“001”。且按照解码端预先设置的协议,和编码端一致,第一组具有三个运动信息,第二组具有两个运动信息,“001”代表第三个运动信息(索引值为2),因此只需要确定第一组的三个运动信息,而不需要确定第二组的运动信息。
S1303、依次检测252A位置的运动信息、252B位置的运动信息、252C位置的运动信息、252D位置的运动信息、对250块采用ATMVP模式获得的运动信息、对250块采用STMVP模式获得的运动信息、252E块的运动信息、对250块采用TMVP模式获得的运动信息。检测内容包括:(1)该运动信息是否可获得(此处的可获得为广义的可获得,不仅包括该运动信息对应的图像块是否存在,还包括根据其它编码工具的性质,比如预测模式,分块模式等,该运动信息是否可以为本申请实施例所使用等);(2)该运动信息是否与在先已检测的运动信息重复。依次获取运动信息可获得且不与在先已检测的运动信息重复的运动信息,直到数量达到S1302中确定的3个(根据步骤S1302推理获知),和编码端一致,分别称三个依次获取的运动信息为MV0,MV1,MV2。
S1304、分别根据MVO,MV1,MV2获取250块的参考图像块REF0,REF1,REF2。
S1305、以MV0为例分别对MV0,MV1,MV2进行如下操作:
根据250块存在的模板,和编码端一致,设250块的左模板TL和上模板TA均存在,确定REF0对应的左模板TL0和上模板TA0,TL0和TL大小相等、位置对应,TA0和TA大小相等、位置对应。
计算TL0和TL的像素值的SAD值,得到SAD01,计算TA0和TA的像素值的SAD值,得到SAD02,将SAD01和SAD02相加获得SAD0,作为MV0对应的失真值。
同理,获得MV1对应的失真值SAD1,MV2对应的失真值SAD2。
S1306、从小到大排列SAD0,SAD1,SAD2,和编码端一致,从小到大顺序为SAD2<SAD0<SAD1。
S1307、按照失真值的大小关系,对MV0,MV1,MV2分别赋予bin string为:
MV2对应“1”,MV0对应“01”,MV1对应“001”。
S1308、比较上述步骤中对各运动信息所赋予的bin string和从码流中解析的250块的预测运动信息标识对应的bin string“001”,可见MV1的bin string也为“001”,确定MV1为250块的预测运动信息。
下面将具体的描述一个本发明实施例的编码方法1400。
S1401、结合图8所示,对于待处理块250,依次检测252A位置的运动信息、252B位置的运动信息、252C位置的运动信息、252D位置的运动信息、对250块采用ATMVP模式获得的运动信息、对250块采用STMVP模式获得的运动信息、252E块的运动信息、对250块采用TMVP模式获得的运动信息。检测内容包括:(1)该运动信息是否可获得(此处的可获得为广义的可获得,不仅包括该运动信息对应的图像块是否存在,还包括根据其它编码工具的性质,比如预测模式,分块模式等,该运动信息是否可以为本申请实施例所使用等);(2)该运动信息是否与在先已检测的运动信息重复。依次获取运动信息可获得且不与在先已检测的运动信息重复的运动信息,直到数量达到6个,不妨分别称六个依次获取的运动信息为MV0,MV1,MV2,MV3,MV4,MV5。
S1402、设250块的大小为16x16,该250块的上边界的相邻重构图像块(简称上模板)为32x1,左边界的相邻重构图像块(简称左模板)为1x32。检测250块的上模板和左模板是否存在。
当上模板和左模板均不存在时,结束本流程,按照JEM参考软件中Merge模式的预测方法,编码待处理块的预测运动信息的标识。
否则,当至少一个模板存在时,继续本流程。
S1403、设按照编解码端预先设置的协议,将MV0,MV1,MV2分为第一组,MV3,MV4,MV5分为第二组。
S1404、分别根据MVO,MV1,MV2,MV3,MV4,MV5获取250块的参考图像块REF0,REF1,REF2,REF3,REF4,REF5。
S1405、以MV0为例分别对MV0,MV1,MV2,MV3,MV4,MV5进行如下操作:
根据250块存在的模板,不妨设250块仅有上模板TA均存在,确定REF0对应的上模板TA0,TA0和TA大小相等、位置对应。
计算TA0和TA的像素值的SAD值,得到SAD0,作为MV0对应的失真值。
同理,获得MV1对应的失真值SAD1,MV2对应的失真值SAD2,MV3对应的失真值SAD3,MV4对应的失真值SAD4,MV5对应的失真值SAD5。
S1406、从小到大排列SAD0,SAD1,SAD2,不妨设,从小到大顺序为SAD2<SAD0<SAD1。
S1407、按照失真值的大小关系,对MV0,MV1,MV2分别赋予bin string为:
MV2对应“1”,MV0对应“01”,MV1对应“001”。
S1408、从小到大排列SAD3,SAD4,SADD5,不妨设,从小到大顺序为SAD5<SAD3<SAD4。
S1409、按照失真值的大小关系,对MV3,MV4,MV5分别赋予bin string为:
MV5对应“0001”,MV3对应“00001”,MV4对应“00000”。
S1410、按照上述步骤中对各运动信息所赋予的bin string,进行率失真计算,选择率失真代价最小(同等重构图像失真下编码比特少,或同等编码比特下重构图像失真小)的运动信息作为250块最终选定的预测运动信息。
S1411、当该帧间预测模式最终被选为250块的实际编码模式时,将S1209中最终选定的预测运动信息所对应的bin string通过熵编码写入码流。
下面将具体的描述一个本发明实施例的解码方法1500。该实施例与编码方法1400相对应。
S1501、和编码端一致,结合图8所示,对于待处理块250,设250块的大小为16x16,该250块的上边界的相邻重构图像块(简称上模板)为32x1,左边界的相邻重构图像块(简称左模板)为1x32。检测250块的上模板和左模板是否存在。
当上模板和左模板均不存在时,结束本流程,按照JEM参考软件中Merge模式的预测方法,解码待处理块的预测运动信息的标识。
否则,当至少一个模板存在时,继续本流程。
S1502、解析码流,获得250块的预测运动信息标识对应的bin string,不妨设为“0001”。且按照解码端预先设置的协议,和编码端一致,第一组具有三个运动信息,第二组具有三个运动信息,“0001”代表4,因此只需要对第二组的三个运动信息进行步骤S1408、S1409的对应步骤即可。
S1503、依次检测252A位置的运动信息、252B位置的运动信息、252C位置的运动信息、252D位置的运动信息、对250块采用ATMVP模式获得的运动信息、对250块采用STMVP模式获得的运动信息、252E块的运动信息、对250块采用TMVP模式获得的运动信息。检测内容包括:(1)该运动信息是否可获得(此处的可获得为广义的可获得,不仅包括该运动信息对应的图像块是否存在,还包括根据其它编码工具的性质,比如预测模式,分块模式等,该运动信息是否可以为本申请实施例所使用等);(2)该运动信息是否与在先已检测的运动信息重复。依次获取运动信息可获得且不与在先已检测的运动信息重复的运动信息,直到数量达到S1302中确定的6个,和编码端一致,分别称六个依次获取的运动信息为MV0,MV1,MV2,MV3,MV4,MV5。
S1506、分别根据MV3,MV4,MV5获取250块的参考图像块REF3,REF4,REF5。
S1507、以MV3为例分别对MV3,MV4,MV5进行如下操作:
根据250块存在的模板,和编码端一致,设250块仅有上模板TA均存在,确定REF3对应的上模板TA3,TA3和TA大小相等、位置对应。
计算TA3和TA的像素值的SAD值,得到SAD3,作为MV3对应的失真值。
同理,获得MV4对应的失真值SAD4,MV5对应的失真值SAD5。
S1508、从小到大排列SAD3,SAD4,SADD5,和编码端一致,从小到大顺序为SAD5<SAD3<SAD4。
S1509、按照失真值的大小关系,对MV3,MV4,MV5分别赋予bin string为:
MV5对应“0001”,MV3对应“00001”,MV4对应“00000”。
S1510、比较上述步骤中对各运动信息所赋予的bin string和从码流中解析的250块的预测运动信息标识对应的bin string“0001”,可见MV5的bin string也为“0001”,确定MV5为250块的预测运动信息。
在一些实施例中,本申请实施例的方法可以用于H.265或正在研发的H.266标准Merge模式、AMVP模式或者其他帧间预测模式的候选预测运动信息列表的建立,以及用于实际编码的预测运动信息标识的表征。
在一些实施例中,本申请实施例的方法,可以用于基于运动估计的帧内预测的候选预测运动信息(匹配块距离矢量)列表的建立,以及用于实际编码的预测运动信息标识的表征。
在一些实施例中,本申请实施例的方法,可以用于SCC标准intra block copy模式中候选预测运动信息(匹配块距离矢量)列表的建立,以及用于实际编码的预测运动信息标识的表征。
在一些实施例中,本申请实施例的方法,可以用于3D或多视点编码标准的帧间、帧内、视点间预测的候选预测运动信息列表的建立,以及用于实际编码的预测运动信息标识的表征。
在一些实施例中,本申请实施例的方法,可以用于可伸缩编码标准的帧间、帧内、层间预测的候选预测运动信息列表的建立,以及用于实际编码的预测运动信息标识的表征。
在上述各实施例中,相应的,用于表征参考图像块的相似性的待处理块的相邻重构图像块(上述具体实施例中的模板),可以为空间相邻重构图像块、时域相邻重构图像块,相邻视点的重构图像块,相邻层间重构图像块,以及经过缩放的上述各重构图像块等。
图17为本申请实施例的一种编码装置1700的示意性框图,包括:
获取模块1701,用于获取待处理图像块的N个候选预测运动信息,其中,N为大于1的整数;
计算模块1702,用于获取所述N个候选预测运动信息各自对应的失真值,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;
比较模块1703,用于根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应;
编码模块1704,用于当所述待处理图像块的目标预测运动信息为所述已确定第一标识信息的N个候选预测运动信息中的一个时,将所述目标预测运动信息的第一标识信息编入码流。
在一种可行的实施方式17001中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括参考相邻重构图像块,所述待处理图像块的相邻重构图像块包括与所述参考相邻重构图像块对应的原始相邻重构图像块,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定,包括:所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。
在一种可行的实施方式17002中,所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值,包括:所述参考相邻重构图像块和所述原始相邻重构图像块的平均绝对误差;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的平均误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对哈达玛变换误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的归一化积相关性度量值;或,所述参考相邻重构图像块和所述原始相邻重构图像块的基于序贯相似性检测的相似性度量值。
在一种可行的实施方式17003中,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,所述方法包括:所述原始相邻重构图像块的宽为W,高为n;或者,所述原始相邻重构图像块的宽为W+H,高为n;其中W,H,n为正整数。
在一种可行的实施方式17004中,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,所述方法包括:所述原始相邻重构图像块的宽为n,高为H;或者,所述原始相邻重构图像块的宽为n,高为W+H;其中W,H,n为正整数。
在一种可行的实施方式17005中,n为1或2。
在一种可行的实施方式17006中,所述编码装置用于帧间双向预测,对应的,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
在一种可行的实施方式17007中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括多个所述参考相邻重构图像块,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,对应的,所述待处理图像块的相邻重构图像块包括多个所述原始相邻重构图像块,所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。
在一种可行的实施方式17008中,所述失真值根据如下计算式获得:
Figure GDA0003926030020000421
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。
在一种可行的实施方式17009中,所述比较模块1703具体用于:比较所述N个失真值之间的大小;按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息,其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串的长度小于等于用于编码所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
在一种可行的实施方式17010中,所述比较模块1703具体用于:按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。
在一种可行的实施方式17011中,所述获取模块1701具体用于:按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。
在一种可行的实施方式17012中,所述获取模块1701具体用于:按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;确定所述M个候选预测运动信息的分组方式;根据所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。
在一种可行的实施方式17013中,在所述确定所述M个候选预测运动信息的分组方式之后,所述编码模块1704还用于:将所述分组方式编入所述码流。
在一种可行的实施方式17014中,在所述获取待处理图像块的N个候选预测运动信息之后,所述编码模块1704还用于:将所述N个候选预测运动信息编入码流;或者,将指示所述N个与所述待处理图像块具有预设位置关系的图像块的第二标识信息编入所述码流;或者,将与所述N个候选预测运动信息具有预设对应关系的第三标识信息编入所述码流。
在一种可行的实施方式17015中,所述编码装置1700还包括检测模块1705,在所述获取所述N个候选预测运动信息各自对应的失真值之前,所述检测模块1705还用于:确定所述待处理图像块的相邻重构图像块存在。
在一种可行的实施方式17016中,所述检测模块1705具体用于:确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块存在。
在一种可行的实施方式17017中,所述编码装置1700还包括决策模块1706,在所述获取所述N个候选预测运动信息各自对应的失真值之前,所述决策模块1706用于:确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
在一种可行的实施方式17018中,所述决策模块1706具体用于:根据所述分组方式,确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
在一种可行的实施方式17019中,在所述确定执行所述获取所述N个候选预测运动信息各自对应的失真值之后,所述编码模块1704还用于:将第四标识信息编入所述码流,所述第四标识信息用于确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
在一种可行的实施方式17020中,所述获取模块1701还用于:从所述M个候选预测运动信息中确定P个候选预测运动信息,其中,所述P个候选预测运动信息和所述N个候选预测运动信息间不存在相同的候选预测运动信息,P为正整数,P小于M-1。
各模块的具体执行方法以及有益技术效果可以参考本申请实施例中编码方法1000的对应步骤的详细描述,不再赘述。
图18为本申请实施例的一种解码装置1800的示意性框图,包括:
解析模块1801,用于从码流中解析出待处理图像块的目标预测运动信息的目标标识信息;
获取模块1802,用于确定N个候选预测运动信息,所述N个候选预测运动信息包括所述目标预测运动信息,其中,N为大于1的整数;
计算模块1803,用于获取所述N个候选预测运动信息各自对应的失真值,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;
比较模块1804,用于根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应;
选择模块1805,用于将与所述目标标识信息匹配的第一标识信息对应的候选预测运动信息确定为所述目标预测运动信息。
在一种可行的实施方式18001中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括参考相邻重构图像块,所述待处理图像块的相邻重构图像块包括与所述参考相邻重构图像块对应的原始相邻重构图像块,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定,包括:所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。
在一种可行的实施方式18002中,所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值,包括:所述参考相邻重构图像块和所述原始相邻重构图像块的平均绝对误差;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的平均误差平方和;所述参考相邻重构图像块和所述原始相邻重构图像块的绝对哈达玛变换误差和;所述参考相邻重构图像块和所述原始相邻重构图像块的归一化积相关性度量值;或,所述参考相邻重构图像块和所述原始相邻重构图像块的基于序贯相似性检测的相似性度量值。
在一种可行的实施方式18003中,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,包括:所述原始相邻重构图像块的宽为W,高为n;或者,所述原始相邻重构图像块的宽为W+H,高为n;其中W,H,n为正整数。
在一种可行的实施方式18004中,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,包括:所述原始相邻重构图像块的宽为n,高为H;或者,所述原始相邻重构图像块的宽为n,高为W+H;其中W,H,n为正整数。
在一种可行的实施方式18005中,n为1或2。
在一种可行的实施方式18006中,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
在一种可行的实施方式18007中,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括多个所述参考相邻重构图像块,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,对应的,所述待处理图像块的相邻重构图像块包括多个所述原始相邻重构图像块,所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。
在一种可行的实施方式18008中,所述失真值根据如下计算式获得:
Figure GDA0003926030020000451
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。
在一种可行的实施方式18009中,所述比较模块1804具体用于:比较所述N个失真值之间的大小;按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息,其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串的长度小于等于所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
在一种可行的实施方式18010中,所述比较模块1804具体用于:按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。
在一种可行的实施方式18011中,所述获取模块1802具体用于:按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。
在一种可行的实施方式18012中,所述获取模块1802具体用于:按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;确定所述M个候选预测运动信息的分组方式;根据所述目标标识信息和所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。
在一种可行的实施方式18013中,所述获取模块1802具体用于:确定预设的所述分组方式;或者,从所述码流中解析获得所述分组方式。
在一种可行的实施方式18014中,所述获取模块1802具体用于:解析所述码流中的所述多个候选预测运动信息的编码信息,以获得所述N个候选预测运动信息;或者,解析所述码流中的第二标识信息,以获得所述第二标识信息指示的N个候选图像块,并以所述N个候选图像块的运动信息作为所述N个候选预测运动信息;或者,解析所述码流中的第三标识信息,以获得与所述第三标识信息具有预设对应关系的所述N个候选预测运动信息。
在一种可行的实施方式18015中,所述装置1800还包括:
检测模块1806,用于确定所述待处理图像块的相邻重构图像块可用。
在一种可行的实施方式18016中,当所述待处理图像块的相邻重构图像块包括至少两个所述原始相邻重构图像块时,所述检测模块1806具体用于:确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块可用。
在一种可行的实施方式18017中,所述装置还包括:
决策模块1807,用于确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
在一种可行的实施方式18018中,所述决策模块1807具体用于:根据所述分组方式,确定执行所述获取所述N个候选预测运动信息各自对应的失真值;或者,解析所述码流中的第四标识信息以确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
各模块的具体执行方法以及有益技术效果可以参考本申请实施例中解码方法1100的对应步骤的详细描述,不再赘述。
图19示出了是根据本申请实施例的装置1900的示意性框图。该装置包括:
存储器1901,用于存储程序,所述程序包括代码;
收发器1902,用于和其他设备进行通信;
处理器1903,用于执行存储器1901中的程序代码。
可选地,当所述代码被执行时,所述处理器1903可以实现方法1000或者方法1100的各个操作,不再赘述。收发器1902用于在处理器1903的驱动下执行具体的信号收发。
虽然已基于视频编码器20及视频解码器30描述本申请的特定方面,但应理解,本发明的技术可通过许多其它视频编码和/或解码单元、处理器、处理单元、例如编码器/解码器的基于硬件的解码单元及类似者来应用。此外,应理解,仅作为可行的实施方式而提供本申请中各示意性流程图所展示及描述的步骤。即,本申请中各示意性流程图的可行的实施方式中所展示的步骤不需要一定按本申请中各示意性流程图中所展示的次序执行,且可执行更少、额外或替代步骤。
此外,应理解,取决于可行的实施方式,本文中所描述的方法中的任一者的特定动作或事件可按不同序列执行,可经添加、合并或一起省去(例如,并非所有所描述的动作或事件为实践方法所必要的)。此外,在特定可行的实施方式中,动作或事件可经由多线程处理、中断处理或多个处理器来同时而非顺序地执行。另外,虽然出于清楚的目的将本申请的特定方面描述为通过单一模块或单元执行,但应理解,本申请的技术可通过与视频解码器相关联的单元或模块的组合执行。
在一个或多个可行的实施方式中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么功能可作为一个或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体来传输,且通过基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体或通信媒体,计算机可读存储媒体对应于例如数据存储媒体的有形媒体,通信媒体包含促进计算机程序根据通信协议从一处传送到另一处的任何媒体。
以这个方式,计算机可读媒体示例性地可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或多个计算机或一个或多个处理器存取以检索用于实施本申请中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为可行的实施方式而非限制,此计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构的形式的所要代码且可由计算机存取的任何其它媒体。同样,任何连接可适当地称作计算机可读媒体。例如,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL),或例如红外线、无线电及微波的无线技术而从网站、服务器或其它远端源传输指令,那么同轴缆线、光纤缆线、双绞线、DSL,或例如红外线、无线电及微波的无线技术包含于媒体的定义中。
然而,应理解,计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而替代地针对非暂时性有形存储媒体。如本文中所使用,磁盘及光盘包含紧密光盘(CD)、雷射光盘、光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通过雷射以光学方式再现数据。以上各物的组合也应包含于计算机可读媒体的范围内。
可通过例如一个或多个数字信号处理器、通用微处理器、专用集成电路、现场可编程门阵列或其它等效集成或离散逻辑电路的一个或多个处理器来执行指令。因此,如本文中所使用,术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,可将本文所描述的功能性提供于经配置以用于编码及解码的专用硬件和/或软件模块内,或并入于组合式编码解码器中。同样,技术可完全实施于一个或多个电路或逻辑元件中。
本申请的技术可实施于广泛多种装置或设备中,包含无线手机、集成电路(IC)或IC的集合(例如,芯片组)。本申请中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。更确切来说,如上文所描述,各种单元可组合于编码解码器硬件单元中或由互操作的硬件单元(包含如上文所描述的一个或多个处理器)结合合适软件和/或固件的集合来提供。
以上所述,仅为本申请示例性的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (45)

1.一种图像块预测运动信息的解码方法,其特征在于,包括:
从码流中解析出待处理图像块的目标预测运动信息的目标标识信息;
确定N个候选预测运动信息,所述N个候选预测运动信息包括所述目标预测运动信息,其中,N为大于1的整数;
获取所述N个候选预测运动信息各自对应的失真值,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;
根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应;
将与所述目标标识信息匹配的第一标识信息对应的候选预测运动信息确定为所述目标预测运动信息。
2.根据权利要求1所述的方法,其特征在于,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括参考相邻重构图像块,所述待处理图像块的相邻重构图像块包括与所述参考相邻重构图像块对应的原始相邻重构图像块,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定,包括:
所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。
3.根据权利要求2所述的方法,其特征在于,所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值,包括:
所述参考相邻重构图像块和所述原始相邻重构图像块的平均绝对误差(MAD);
所述参考相邻重构图像块和所述原始相邻重构图像块的绝对误差和(SAD);
所述参考相邻重构图像块和所述原始相邻重构图像块的误差平方和(SSD);
所述参考相邻重构图像块和所述原始相邻重构图像块的平均误差平方和(MSD);
所述参考相邻重构图像块和所述原始相邻重构图像块的绝对哈达玛变换误差和(SATD);
所述参考相邻重构图像块和所述原始相邻重构图像块的归一化积相关性度量值(NCC);或,
所述参考相邻重构图像块和所述原始相邻重构图像块的基于序贯相似性检测(SSDA)的相似性度量值。
4.根据权利要求2或3所述的方法,其特征在于,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,包括:
所述原始相邻重构图像块的宽为W,高为n;或者,
所述原始相邻重构图像块的宽为W+H,高为n;其中W,H,n为正整数。
5.根据权利要求4所述的方法,其特征在于,n为1或2。
6.根据权利要求2或3所述的方法,其特征在于,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,包括:
所述原始相邻重构图像块的宽为n,高为H;或者,
所述原始相邻重构图像块的宽为n,高为W+H;其中W,H,n为正整数。
7.根据权利要求6所述的方法,其特征在于,n为1或2。
8.根据权利要求2或3所述的方法,其特征在于,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:
所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,
所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
9.根据权利要求2或3所述的方法,其特征在于,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括多个所述参考相邻重构图像块,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,对应的,所述待处理图像块的相邻重构图像块包括多个所述原始相邻重构图像块,所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。
10.根据权利要求9所述的方法,其特征在于,所述失真值根据如下计算式获得:
Figure FDA0003926030010000021
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。
11.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,包括:
比较所述N个失真值之间的大小;
按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息,其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串(bin string)的长度小于等于所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
12.根据权利要求11所述的方法,其特征在于,所述比较所述N个失真值之间的大小,包括:
按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。
13.根据权利要求1至3任一项所述的方法,其特征在于,所述确定N个候选预测运动信息,包括:
按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。
14.根据权利要求1至3任一项所述的方法,其特征在于,所述确定N个候选预测运动信息,包括:
按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;
确定所述M个候选预测运动信息的分组方式;
根据所述目标标识信息和所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。
15.根据权利要求14所述的方法,其特征在于,所述确定所述M个候选预测运动信息的分组方式,包括:
确定预设的所述分组方式;或者,
从所述码流中解析获得所述分组方式。
16.根据权利要求1至3任一项所述的方法,其特征在于,所述确定N个候选预测运动信息,包括:
解析所述码流中的所述N个候选预测运动信息的编码信息,以获得所述N个候选预测运动信息;或者,
解析所述码流中的第二标识信息,以获得所述第二标识信息指示的N个候选图像块,并以所述N个候选图像块的运动信息作为所述N个候选预测运动信息;或者,
解析所述码流中的第三标识信息,以获得与所述第三标识信息具有预设对应关系的所述N个候选预测运动信息。
17.根据权利要求2或3所述的方法,其特征在于,在所述获取所述N个候选预测运动信息各自对应的失真值之前,所述方法还包括:
确定所述待处理图像块的相邻重构图像块可用。
18.根据权利要求17所述的方法,其特征在于,当所述待处理图像块的相邻重构图像块包括至少两个所述原始相邻重构图像块时,所述确定所述待处理图像块的相邻重构图像块可用,包括:
确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块可用。
19.根据权利要求14所述的方法,其特征在于,在所述确定N个候选预测运动信息之后,所述方法还包括:
确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
20.根据权利要求19所述的方法,其特征在于,所述确定执行所述获取所述N个候选预测运动信息各自对应的失真值,包括:
根据所述分组方式,确定执行所述获取所述N个候选预测运动信息各自对应的失真值;或者,解析所述码流中的第四标识信息以确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
21.根据权利要求15所述的方法,其特征在于,在所述确定N个候选预测运动信息之后,所述方法还包括:
确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
22.根据权利要求21所述的方法,其特征在于,所述确定执行所述获取所述N个候选预测运动信息各自对应的失真值,包括:
根据所述分组方式,确定执行所述获取所述N个候选预测运动信息各自对应的失真值;或者,解析所述码流中的第四标识信息以确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
23.一种图像块预测运动信息的解码装置,其特征在于,包括:
解析模块,用于从码流中解析出待处理图像块的目标预测运动信息的目标标识信息;
获取模块,用于确定N个候选预测运动信息,所述N个候选预测运动信息包括所述目标预测运动信息,其中,N为大于1的整数;
计算模块,用于获取所述N个候选预测运动信息各自对应的失真值,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定;
比较模块,用于根据所述获取的N个失真值之间的大小关系,确定所述N个候选预测运动信息各自的第一标识信息,所述N个候选预测运动信息和各自的第一标识信息一一对应;
选择模块,用于将与所述目标标识信息匹配的第一标识信息对应的候选预测运动信息确定为所述目标预测运动信息。
24.根据权利要求23所述的装置,其特征在于,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括参考相邻重构图像块,所述待处理图像块的相邻重构图像块包括与所述参考相邻重构图像块对应的原始相邻重构图像块,所述失真值由所述候选预测运动信息指示的参考图像块的相邻重构图像块和所述待处理图像块的相邻重构图像块确定,包括:
所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,所述参考相邻重构图像块与所述原始相邻重构图像块形状相同、大小相等,且所述参考相邻重构图像块和所述参考图像块之间的位置关系与所述原始相邻重构图像块和所述待处理图像块之间的位置关系相同。
25.根据权利要求24所述的装置,其特征在于,所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值,包括:
所述参考相邻重构图像块和所述原始相邻重构图像块的平均绝对误差(MAD);
所述参考相邻重构图像块和所述原始相邻重构图像块的绝对误差和(SAD);
所述参考相邻重构图像块和所述原始相邻重构图像块的误差平方和(SSD);
所述参考相邻重构图像块和所述原始相邻重构图像块的平均误差平方和(MSD);
所述参考相邻重构图像块和所述原始相邻重构图像块的绝对哈达玛变换误差和(SATD);
所述参考相邻重构图像块和所述原始相邻重构图像块的归一化积相关性度量值(NCC);或,
所述参考相邻重构图像块和所述原始相邻重构图像块的基于序贯相似性检测(SSDA)的相似性度量值。
26.根据权利要求24或25所述的装置,其特征在于,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的下边界与所述待处理图像块的上边界相邻,包括:
所述原始相邻重构图像块的宽为W,高为n;或者,
所述原始相邻重构图像块的宽为W+H,高为n;其中W,H,n为正整数。
27.根据权利要求26所述的装置,其特征在于,n为1或2。
28.根据权利要求24或25所述的装置,其特征在于,所述待处理图像块为矩形,所述待处理图像块的宽为W,高为H,所述原始相邻重构图像块为矩形,所述原始相邻重构图像块的右边界与所述待处理图像块的左边界相邻,包括:
所述原始相邻重构图像块的宽为n,高为H;或者,
所述原始相邻重构图像块的宽为n,高为W+H;其中W,H,n为正整数。
29.根据权利要求28所述的装置,其特征在于,n为1或2。
30.根据权利要求24或25所述的装置,其特征在于,所述候选预测运动信息指示的参考图像块包括第一参考图像块和第二参考图像块,对应的,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括第一参考相邻重构图像块和第二参考相邻重构图像块,对应的,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:
所述失真值由平均参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,其中,所述平均参考相邻重构图像块由计算所述第一参考相邻重构图像块和所述第二参考相邻重构图像块的像素均值获得;或者,
所述失真值由第一差异表征值和第二差异表征值的均值来表示,其中,所述第一差异表征值由所述第一参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示,所述第二差异表征值由所述第二参考相邻重构图像块和所述原始相邻重构图像块的所述差异表征值来表示。
31.根据权利要求24或25所述的装置,其特征在于,所述候选预测运动信息指示的参考图像块的相邻重构图像块包括多个所述参考相邻重构图像块,所述多个所述参考相邻重构图像块包括第三参考相邻重构图像块和第四参考相邻重构图像块,对应的,所述待处理图像块的相邻重构图像块包括多个所述原始相邻重构图像块,所述多个所述原始相邻重构图像块包括第三原始相邻重构图像块和第四原始相邻重构图像块,所述失真值由所述参考相邻重构图像块和所述原始相邻重构图像块的差异表征值来表示,包括:所述失真值由所述第三参考相邻重构图像块和所述第三原始相邻重构图像块的差异表征值以及所述第四参考相邻重构图像块和所述第四原始相邻重构图像块的差异表征值之和来表示。
32.根据权利要求31所述的装置,其特征在于,所述失真值根据如下计算式获得:
Figure FDA0003926030010000051
其中,Distortion表示所述失真值,|Delta(Originali,Referencei)|表示第i个原始相邻重构图像块和第i个参考相邻重构图像块的所述差异表征值,p表示用于计算所述失真值的所述原始相邻重构图像块的个数。
33.根据权利要求23至25任一项所述的装置,其特征在于,所述比较模块具体用于:
比较所述N个失真值之间的大小;
按照所述比较结果赋予所述N个候选预测运动信息各自的第一标识信息,其中,所述失真值较小的候选预测运动信息的第一标识信息的二进制字符串(bin string)的长度小于等于所述失真值较大的候选预测运动信息的第一标识信息的二进制字符串的长度。
34.根据权利要求33所述的装置,其特征在于,所述比较模块具体用于:
按照所述失真值从小到大或者从大到小的顺序,顺序排列所述N个候选预测运动信息。
35.根据权利要求23至25任一项所述的装置,其特征在于,所述获取模块具体用于:
按照预设的顺序,获取N个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为所述N个候选预测运动信息。
36.根据权利要求23至25任一项所述的装置,其特征在于,所述获取模块具体用于:
按照预设的顺序,获取M个互不相同的与所述待处理图像块具有预设位置关系的图像块的运动信息作为M个候选预测运动信息,其中,所述M个候选预测运动信息包括所述N个候选预测运动信息,M为大于N的整数;
确定所述M个候选预测运动信息的分组方式;
根据所述目标标识信息和所述分组方式,从所述M个候选预测运动信息中确定所述N个候选预测运动信息。
37.根据权利要求36所述的装置,其特征在于,所述获取模块具体用于:
确定预设的所述分组方式;或者,
从所述码流中解析获得所述分组方式。
38.根据权利要求23至25任一项所述的装置,其特征在于,所述获取模块具体用于:
解析所述码流中的所述N个候选预测运动信息的编码信息,以获得所述N个候选预测运动信息;或者,
解析所述码流中的第二标识信息,以获得所述第二标识信息指示的N个候选图像块,并以所述N个候选图像块的运动信息作为所述N个候选预测运动信息;或者,
解析所述码流中的第三标识信息,以获得与所述第三标识信息具有预设对应关系的所述N个候选预测运动信息。
39.根据权利要求24或25所述的装置,其特征在于,所述装置还包括:
检测模块,用于确定所述待处理图像块的相邻重构图像块可用。
40.根据权利要求39所述的装置,其特征在于,当所述待处理图像块的相邻重构图像块包括至少两个所述原始相邻重构图像块时,所述检测模块具体用于:
确定所述至少两个所述原始相邻重构图像块中的至少一个原始相邻重构图像块可用。
41.根据权利要求36所述的装置,其特征在于,所述装置还包括:
决策模块,用于确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
42.根据权利要求41所述的装置,其特征在于,所述决策模块具体用于:
根据所述分组方式,确定执行所述获取所述N个候选预测运动信息各自对应的失真值;或者,解析所述码流中的第四标识信息以确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
43.根据权利要求37所述的装置,其特征在于,所述装置还包括:
决策模块,用于确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
44.根据权利要求43所述的装置,其特征在于,所述决策模块具体用于:
根据所述分组方式,确定执行所述获取所述N个候选预测运动信息各自对应的失真值;或者,解析所述码流中的第四标识信息以确定执行所述获取所述N个候选预测运动信息各自对应的失真值。
45.一种图像块预测运动信息的解码装置,其特征在于,包括:
存储器和耦合于所述存储器的处理器;
所述处理器被配置为执行指令以执行权利要求1至22任一项所述的方法,所述指令存储于所述存储器中。
CN201710818690.5A 2017-09-12 2017-09-12 一种运动信息的编解码方法和装置 Active CN109495738B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710818690.5A CN109495738B (zh) 2017-09-12 2017-09-12 一种运动信息的编解码方法和装置
PCT/CN2018/102632 WO2019052330A1 (zh) 2017-09-12 2018-08-28 一种运动信息的编解码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710818690.5A CN109495738B (zh) 2017-09-12 2017-09-12 一种运动信息的编解码方法和装置

Publications (2)

Publication Number Publication Date
CN109495738A CN109495738A (zh) 2019-03-19
CN109495738B true CN109495738B (zh) 2023-02-07

Family

ID=65687803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710818690.5A Active CN109495738B (zh) 2017-09-12 2017-09-12 一种运动信息的编解码方法和装置

Country Status (2)

Country Link
CN (1) CN109495738B (zh)
WO (1) WO2019052330A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347434B (zh) * 2019-06-21 2022-03-29 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
CN111050166B (zh) * 2019-12-02 2023-08-15 咪咕视讯科技有限公司 预测模式确定方法、设备及计算机可读存储介质
CN111885389B (zh) * 2020-07-24 2021-08-24 腾讯科技(深圳)有限公司 一种多媒体数据编码方法、装置及存储介质
CN113852823B (zh) * 2021-11-30 2022-03-01 深圳市通恒伟创科技有限公司 一种基于物联网的图像数据上传方法、系统和装置
CN116095322B (zh) * 2023-04-10 2023-07-25 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2948522A1 (fr) * 2009-07-21 2011-01-28 Canon Kk Procede et dispositif d'estimation d'un vecteur de mouvement
JP2011223071A (ja) * 2010-04-02 2011-11-04 Nippon Hoso Kyokai <Nhk> 予測ベクトル生成器、符号化装置、復号装置、及びプログラム
CN103314586A (zh) * 2011-01-12 2013-09-18 佳能株式会社 错误恢复改进的视频编码和解码
CN104427345A (zh) * 2013-09-11 2015-03-18 华为技术有限公司 运动矢量的获取方法、获取装置、视频编解码器及其方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627037B2 (en) * 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
US8917769B2 (en) * 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
KR101820997B1 (ko) * 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
KR101827939B1 (ko) * 2011-12-13 2018-02-12 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2948522A1 (fr) * 2009-07-21 2011-01-28 Canon Kk Procede et dispositif d'estimation d'un vecteur de mouvement
JP2011223071A (ja) * 2010-04-02 2011-11-04 Nippon Hoso Kyokai <Nhk> 予測ベクトル生成器、符号化装置、復号装置、及びプログラム
CN103314586A (zh) * 2011-01-12 2013-09-18 佳能株式会社 错误恢复改进的视频编码和解码
CN104427345A (zh) * 2013-09-11 2015-03-18 华为技术有限公司 运动矢量的获取方法、获取装置、视频编解码器及其方法

Also Published As

Publication number Publication date
WO2019052330A1 (zh) 2019-03-21
CN109495738A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109792531B (zh) 一种编解码视频数据的方法、设备及存储介质
CN112655218B (zh) 一种帧间预测方法和装置
WO2019120305A1 (zh) 图像块的运动信息的预测方法、装置及编解码器
CA2932811C (en) Adaptive motion vector resolution signaling for video coding
EP3523971A1 (en) Adaptive motion vector precision for video coding
CN109495738B (zh) 一种运动信息的编解码方法和装置
CN112653895B (zh) 一种运动矢量获取方法,装置,设备及计算机可读存储介质
CN110876059B (zh) 运动矢量的获取方法、装置、计算机设备及存储介质
CN112437299B (zh) 一种帧间预测方法、装置及存储介质
CN110896485B (zh) 一种预测运动信息的解码方法及装置
CN111919439B (zh) 一种运动矢量的获取方法和装置、一种运动矢量集合的构建方法和装置及计算机可读存储介质
CN110546956B (zh) 一种帧间预测的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant