CN110545425A - 一种帧间预测方法、终端设备以及计算机存储介质 - Google Patents

一种帧间预测方法、终端设备以及计算机存储介质 Download PDF

Info

Publication number
CN110545425A
CN110545425A CN201910775845.0A CN201910775845A CN110545425A CN 110545425 A CN110545425 A CN 110545425A CN 201910775845 A CN201910775845 A CN 201910775845A CN 110545425 A CN110545425 A CN 110545425A
Authority
CN
China
Prior art keywords
prediction
motion vector
combination
list
prediction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910775845.0A
Other languages
English (en)
Other versions
CN110545425B (zh
Inventor
江东
林聚财
殷俊
曾飞洋
方诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910775845.0A priority Critical patent/CN110545425B/zh
Publication of CN110545425A publication Critical patent/CN110545425A/zh
Application granted granted Critical
Publication of CN110545425B publication Critical patent/CN110545425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种帧间预测方法、终端设备以及计算机存储介质,该帧间预测方法包括:构建当前编码块的候选运动矢量列表;利用候选运动矢量列表对当前编码块进行第一预测得到第一预测结果,第一预测结果包括多个第一运动矢量及第一运动矢量指向的第一参考帧;利用第一预测结果确定至少一个预测组合,每个预测组合包括两个不同的第一参考帧;分别利用预测组合及预测组合对应的候选运动矢量列表进行对称矢量残差预测得到第二预测结果;选择预测代价最小的第二预测结果作为当前编码块的对称运动矢量残差预测结果。通过上述帧间预测方法,本申请能够提高预测值的准确性,进一步去除时间冗余,提升帧间编码的压缩率。

Description

一种帧间预测方法、终端设备以及计算机存储介质
技术领域
本申请涉及视频编解码技术领域,特别是涉及一种帧间预测方法、终端设备以及计算机存储介质。
背景技术
近年来,在各种领域中存在对于具有高分辨率和高质量图像,诸如高清(HD)视频和超高清(UHD)视频的增长需求。与现有的图像数据相比,高分辨率和高质量图像数据需要相对巨大的信息量或者比特量。因此,当通过使用介质诸如现有的有线/无线宽带线路发送图像数据的时候,或者当图像数据通过使用现有的存储介质存储的时候,传输费用和存储费用升高。为了解决这些问题,可以使用高效的图像压缩技术。
现有的图像压缩技术中运用SMVD(Symmetrical MVD)模式帧间预测技术,但在SMVD预测时只是考虑了当前帧距离list0和list1中最近的前向和后向参考帧,没有考虑两个列表中其它参考帧的影响,在一定程度上影响了SMVD模式帧间预测时预测值的准确性,进而影响帧间编码的压缩率。
发明内容
本申请提供一种帧间预测方法、终端设备以及计算机存储介质,以解决现有技术中帧间预测时预测值准确性不好的问题。
为解决上述技术问题,本申请采用的一个技术方案是提供一种基于对称运动矢量残差的帧间预测方法,所述帧间预测方法包括:
构建当前编码块的候选运动矢量列表;
利用所述候选运动矢量列表对所述当前编码块进行第一预测得到第一预测结果,所述第一预测结果包括多个第一运动矢量及所述第一运动矢量指向的第一参考帧;
利用所述第一预测结果确定至少一个预测组合,每个所述预测组合包括两个不同的所述第一参考帧;
分别利用所述预测组合及所述预测组合对应的所述候选运动矢量列表进行对称矢量残差预测得到第二预测结果;
选择预测代价最小的所述第二预测结果作为所述当前编码块的对称运动矢量残差预测结果。
为解决上述技术问题,本申请采用的一个技术方案是提供一种终端设备,所述终端设备包括:
候选列表构建模块,用于构建当前编码块的候选运动矢量列表;
预测结果模块,用于利用所述候选运动矢量列表对所述当前编码块进行第一预测得到第一预测结果,所述第一预测结果包括多个第一运动矢量及所述第一运动矢量指向的第一参考帧;还用于利用所述第一预测结果确定至少一个预测组合,每个所述预测组合包括两个不同的所述第一参考帧;进一步用于分别利用所述预测组合及所述预测组合对应的所述候选运动矢量列表进行对称矢量残差预测得到第二预测结果;
残差确定模块,用于选择预测代价最小的所述第二预测结果作为所述当前编码块的对称运动矢量残差预测结果。
为解决上述技术问题,本申请采用的一个技术方案是提供另一种终端设备,所述终端设备包括处理器和存储器;所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如上述帧间预测方法的步骤。
为解决上述技术问题,本申请采用的另一个技术方案是提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被执行时实现如上述帧间预测方法的步骤。
区别于现有技术,本申请的有益效果是:终端设备构建当前编码块的候选运动矢量列表;利用候选运动矢量列表对当前编码块进行第一预测得到第一预测结果,第一预测结果包括多个第一运动矢量及第一运动矢量指向的第一参考帧;利用第一预测结果确定至少一个预测组合,每个预测组合包括两个不同的第一参考帧;分别利用预测组合及预测组合对应的候选运动矢量列表进行对称矢量残差预测得到第二预测结果;选择预测代价最小的第二预测结果作为当前编码块的对称运动矢量残差预测结果。在上述过程中,终端设备利用至少一个预测组合进行对称运动矢量残差计算,当存在多组预测组合时,终端设备对每个预测组合都进行计算从而获取最佳预测结果,进而提高预测值的准确性,进一步去除时间冗余,提升帧间编码的压缩率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的帧间预测方法一实施例的流程示意图;
图2是图1中帧间预测方法一实施例中步骤103的流程示意图;
图3是本申请提供的帧间预测方法另一实施例的流程示意图;
图4是图3中帧间预测方法另一实施例中B帧与前后向参考帧的位置示意图;
图5是本申请提供的终端设备一实施例的结构示意图;
图6是本申请提供的终端设备另一实施例的结构示意图;
图7是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
常用的帧间预测模式分为常规AMVP模式、常规Merge模式、三角模式、HASH模式和仿射模式等几大类,这些模式都是利用帧与帧之间的相关性采用不同的预测方式来获得最终的预测值。
在相关技术中,SMVD(Symmetrical MVD)模式只应用于双向B帧,且用于常规AMVP模式中。当使用SMVD模式时,码流中不需要传输后向运动矢量残差MVD1,MVD1由前向运动矢量残差MVD0推导出,数学表达式为MVD1=-MVD0,并且要求MVD0和MVD1的参考帧为list0和list1中与当前帧最接近的前后向帧。其中,list0中先存放前向参考帧,然后存放后向参考帧,list1中先存在后向参考帧,然后存放前向参考帧。对于满足SMVD模式的B帧,SMVD模式帧间预测主要分为运动矢量候选列表构建、单向预测、双向预测、SMVD预测和SMVD模式句法元素的表达这五个部分。
下面结合上述相关技术中SMVD预测模式的介绍,对本申请各实施例进行说明。
请参阅图1,图1是本申请提供的帧间预测方法一实施例的流程示意图。本实施例提供一种基于对称运动矢量残差的帧间预测方法,该方法应用于一种终端设备。
如图所示,本实施例的帧间预测方法具体包括以下步骤:
S101:构建当前编码块的候选运动矢量列表。
本申请主要提供了一种基于SMVD模式的帧间预测方法,同样地,该帧间预测方法适用于存在MV预测的所有模式,包括Merge模式和AMVP模式等模式。其中,终端设备在SMVD模式下首先为当前编码块建立一个候选运动矢量列表,例如运动矢量候选列表、Merge候选列表等。
S102:利用候选运动矢量列表对当前编码块进行第一预测得到第一预测结果,第一预测结果包括多个第一运动矢量及第一运动矢量指向的第一参考帧。
终端设备利用运动矢量候选列表进行单向预测和/或双向预测,得到第一预测结果。其中,第一预测结果包括至少一个单向预测结果和/或双向预测结果,每个单向预测结果包括一个第一运动矢量及其指向的第一参考帧,每个双向预测结果包括两个指向不同的第一参考帧的第一运动矢量。具体地,每个双向预测结果包括两个第一参考帧以及分别指向的两个不同的第一运动矢量。
单向预测是利用运动矢量候选列表中的MV,再结合运动搜索,分别为第一参考帧列表list0和第二参考帧列表list1中每个第一参考帧选出当前编码块的MVP和MV。list0或list1中的某个第一参考帧的单向预测过程可以具体包括:利用该第一参考帧的运动矢量候选列表中的每个候选运动矢量对当前编码块进行预测,选择预测代价(例如率失真代价)最小的一个作为该第一参考帧的MVP,然后以MVP为起点进行运动搜索得到预测代价最小的运动矢量作为第一运动矢量,也可以被称为当前编码块在该第一参考帧的最终运动矢量。该第一参考帧及其第一运动矢量组成一个单向预测结果。将上述单向预测过程应用于list0和list1中的部分或全部第一参考帧得到至少一个单向预测结果。双向预测结果可以是基于当前编码块的候选运动矢量列表与list0和list1对当前编码块进行双向预测而得到的。
S103:利用第一预测结果确定至少一个预测组合,每个预测组合包括两个不同的第一参考帧。
其中,终端设备根据上述单向预测和/或双向预测的预测结果确定多个预测组合,每个预测组合包括第一参考帧列表和第二参考帧列表中不同的第一参考帧。在本发明一具体实施例中,预测组合的一种具体确定方式请继续参阅图2的流程图。
S1031:从第一参考帧列表中选择至少一个第一参考帧形成第一列表,并从第二参考帧列表中选择至少一个第一参考帧形成第二列表,第一参考帧列表和第二参考帧列表包括多个第一参考帧。
具体地,终端设备不限定选取的第一参考帧列表和第二参考帧列表中参考帧的位置和数量,即分别从第一参考帧列表和第二参考帧列表里面任意选取至少一个参考帧,且从两个参考帧列表中选取出来的参考帧不能是同一帧。其中,从第一参考帧列表中选择至少一个第一参考帧形成第一列表,从第二参考帧列表中选择至少一个第一参考帧形成第二列表。通过随机选取的方式,终端设备可以分别从第一列表和第二列表汇中选取出至少一个参考帧以形成多个参考帧组合,并通过后续的预测代价计算得到最佳参考帧组合。
S1032:将第一列表和第二列表中不同的第一参考帧进行排列组合得到至少一个预测组合。
其中,终端设备将S1031中选取的第一列表和第二列表中不同的第一参考帧进行排列组合得到多个预测组合。
相关技术中,SMVD模式预测时,B帧选取的前向参考帧选取的是第一列表内最接近当前B帧的前向参考帧,后向参考帧选取的是第二列表内最接近当前B帧的后向参考帧,且以前向参考帧的最佳MV作为搜索起点,这样的选取方式有一定的局限性。
在本步骤中,通过增加选取的前向参考帧和后向参考帧数量,然后通过预测代价比较选取出代价最小的参考帧组合,在一定程度上能够得到更加准确的预测值。
S104:分别利用预测组合及预测组合对应的候选运动矢量列表进行对称矢量残差预测得到第二预测结果。
其中,终端设备分别利用候选运动矢量列表和上述参考帧组合进行对称矢量残差(SMVD)预测,得到多个第二预测结果,具体的SMVD预测过程可参考后续实施例的描述。进一步地,终端设备还可以计算每个第二预测结果的预测代价。
请继续参阅图3,在本申请一具体实施例中,S104包括以下步骤:
S201:利用预测组合及预测组合对应的候选运动矢量列表确定至少一个候选运动矢量组合,每个候选运动矢量组合包括一个第一候选运动矢量和一个第二候选运动矢量,每个第一候选运动矢量属于预测组合中第一个第一参考帧的候选运动矢量列表,每个第二候选运动矢量属于预测组合中第二个第一参考帧的候选运动矢量列表。
对于一个预测组合,其中第一个第一参考帧的候选运动矢量列表中共有p个候选运动矢量,第二个第一参考帧的候选运动矢量列表共有q个候选运动矢量,p和q均为正整数。从第一个第一参考帧的候选运动矢量列表中任选一个候选运动矢量作为第一候选运动矢量,并从第二个第一参考帧的候选运动矢量列表中任选一个候选运动矢量作为第二候选运动矢量,第一候选运动矢量和第一候选运动矢量组合成为一个候选运动矢量组合。候选运动矢量组合的数量共有p*q个。
S202:分别利用每个候选运动矢量组合进行双向预测并记录预测代价最小的一个候选运动矢量组合作为临时预测结果。
其中,终端设备分别利用每个候选运动矢量组合进行双向预测并计算预测代价,选出预测代价最小的一个候选运动矢量组合作为临时预测结果。除预测代价最小的一个候选运动矢量组合,临时预测结果可以进一步包括其他相关信息。例如,临时预测结果可以包括预测代价、MVP组合(MVP0,MVP1)、MV组合(MV0、MV1),其中MVP组合为预测代价最小的一个候选运动矢量组合。本步骤中并未经过运动搜索,MV组合可以设置为空、初始值或者与MVP组合相同。
S203:确定作为第一搜索起点的第一运动矢量,并利用第一搜索起点及至少一个候选运动矢量组合确定至少一个第一预测运动矢量组合,每个第一预测运动矢量组合包括一个第一预测运动矢量和一个第二预测运动矢量,第一预测运动矢量和第二预测运动矢量中的一个为第一搜索起点,另一个按照运动矢量残差对称原则利用第一搜索起点和候选运动矢量组合计算得到。
第一搜索起点可以为预测组合中一个第一参考帧对应的第一运动矢量,该第一参考帧及其对应的第一运动矢量可以属于单向预测结果,也可以属于双向预测结果。预测组合可以进一步包括作为第一搜索起点的第一运动矢量,具体的,预测组合中可以包括一标记位,用于指示选择预测组合中的哪个第一参考帧对应的第一运动矢量作为第一搜素起点。当然,还可以采用其他方式确定第一搜索起点。
确定了第一搜索起点,将第一搜索起点作为一个预测运动矢量,结合S201确定的候选运动矢量组合,按照运动矢量残差对称原则计算得到另一个预测运动矢量,组合得到第一预测运动矢量组合。
由于预测组合中的两个第一参考帧与当前帧之间的距离不一定相等,这里的距离是指播放序号之差的绝对值,运动矢量残差对称原则可以是指第一运动矢量残差为第二运动矢量残差的距离缩放,第一运动矢量残差为第一预测运动矢量与第一候选运动矢量之差,第二运动矢量残差为第二预测运动矢量与第二候选运动矢量之差。
下面具体说明如何进行距离缩放。假设当前帧的播放序号为POC,预测组合中第一个第一参考帧的播放序号为POC0,第二个第一参考帧的播放序号为PCO1,第一运动矢量残差MVD0与第二运动矢量残差MVD1之间的数学关系如下所示:
MVD1/MVD0=(POC-POC1)/(POC-POC0)
举例说明距离缩放的计算过程,如图4所示,当前帧的POC=4,预测组合的POC为{0,16},POC0=0,POC1=16,第一运动矢量残差MVD0=[8,-16],采用距离缩放公式,第二运动矢量残差MVD1计算如下:
MVD1=(4-16)/(4-0)*MVD0=[-24,48]
或者,运动矢量残差对称原则可以为第一运动矢量残差与第二矢量残差的大小相同,方向相同或相反。例如,第一运动矢量残差为[a,b],第二运动矢量残差为[a,b]或[-a,-b]。S204:分别利用每个第一预测运动矢量组合进行双向预测,并按照预测代价最小原则对临时预测结果进行更新。
分别利用每个第一预测运动矢量组合进行双向预测并计算预测代价,若某个第一预测运动矢量组合的预测结果的预测代价小于临时预测结果的预测代价,则将原临时预测结果替换为该第一预测运动矢量组合的预测结果。
S204可以在S203之后执行,也可以与S203同步执行,例如,每确定一个第一预测运动矢量组合之后,即利用该第一预测运动矢量组合进行双向预测,并按照预测代价最小原则对临时预测结果进行更新,直至完成对所有第一预测运动矢量组合的双向预测与更新。
S205:以临时预测结果为起点进行运动搜索并按照预测代价最小原则对临时预测结果进行更新。
以S204输出的临时预测结果中的运动矢量组合(MV0、MV1)作为起点进行运动搜索并按照预测代价最小原则对临时预测结果进行更新。运动搜索的具体过程和参数可根据需要设定,在此不做限制。运动搜索过程中,两个运动矢量残差仍满足运动矢量残差对称原则。
S206:对临时预测结果中的一个运动矢量作为第二搜索起点,利用第二搜索起点及至少一个候选运动矢量组合确定至少一个第二预测运动矢量组合,每个第二预测运动矢量组合包括一个第三预测运动矢量和一个第四预测运动矢量,第三预测运动矢量和第四预测运动矢量中的一个为第二搜索起点,另一个按照运动矢量残差对称原则利用第二搜索起点和候选运动矢量组合计算得到。
本步骤的计算过程与S203类似。区别在于采用S205输出的临时预测结果中的运动矢量组合(MV0、MV1)中的一个运动矢量作为第二搜索起点。
搜索过程中,第一运动矢量残差与第二运动矢量残差仍满足运动矢量残差对称原则。此时第一运动矢量残差为第三预测运动矢量与第一候选运动矢量之差,第二运动矢量残差为第四预测运动矢量与第二候选运动矢量之差。
S207:分别利用每个第二预测运动矢量组合进行双向预测,并按照预测代价最小原则对临时预测结果进行更新以得到第二预测结果。
分别利用每个第二预测运动矢量组合进行双向预测并计算预测代价,若某个第二预测运动矢量组合的预测结果的预测代价小于临时预测结果的预测代价,则将原临时预测结果替换为该第二预测运动矢量组合的预测结果。
S207可以在S206之后执行,也可以与S206同步执行,例如,每确定一个第二预测运动矢量组合之后,即利用该第二预测运动矢量组合进行双向预测,并按照预测代价最小原则对临时预测结果进行更新,直至完成对所有第二预测运动矢量组合的双向预测与更新,得到第二预测结果。
分别为每个预测组合执行S201-S207,即可得到每个预测组合对应的第二预测结果。
S105:选择预测代价最小的第二预测结果作为当前编码块的对称运动矢量残差预测结果。
其中,终端设备选择多个第二预测结果中,预测代价最小的第二预测结果作为当前编码块的对称运动矢量残差预测结果。终端设备可以记录当前编码块的对称运动矢量残差预测结果及相关参数,具体可以包括对称运动矢量残差预测结果对应的预测组合在参考帧列表中的索引index、预测组合中两个第一参考帧的MVP在候选运动矢量列表中的索引index,以及两个运动矢量残差中的一个,运动矢量残差为最终运动矢量与对应的MVP之差。对称运动矢量残差预测结果对应的预测组合可以被称为最佳预测组合或者说最佳参考帧组合。
例如,当前B帧POC(picture order count,图像序列号)=4,第一参考帧列表L0={0,8,16},第二参考帧列表L1={8,16,0}。假设从第一参考帧列表中选取{0,16}两个第一参考帧,从第二参考帧列表中选取{8,16}两个第一参考帧,分别从选出来的列表中各选一个第一参考帧组成一个预测组合。由于从第一参考帧列表和第二参考帧列表中选取出来的两个第一参考帧不能是同一帧,所以选取出来的参考帧组合为{0,8}、{16,8}、{0,16}、{8,0},{8,16},{16,0}。终端设备可以用上述参考帧组合中的第一个参考帧代替现有SMVD预测技术中B帧的前向参考帧,组合中的第二个参考帧代替现有SMVD预测技术中B帧的后向参考帧。利用上述参考帧组合依次对当前块进行SMVD预测后得到预测代价分别为Rdcost0~Rdcost5,假设Rdcost3<Rdcost0<Rdcost1<Rdcost5<Rdcost4<Rdcost2,则{8,0}的组合即为最佳参考帧组合,{8,0}组合对应的SMVD预测结果即为当前块的SMVD预测结果。
确定当前编码块的对称运动矢量残差预测结果之后,可以选择将该结果的预测代价与其他方式的预测代价进行比较,选择预测代价最小一种预测方式作为当前编码块的最终预测方式。例如,将当前编码块的SMVD预测结果的预测代价与双向预测结果的预测代价进行比较,若双向预测结果的预测代价大于SMVD预测结果的预测代价,则选择SMVD预测,否则放弃SMVD预测而选择双向预测。当然也可以选择直接采用SMVD模式而不进行比较。
进一步地,终端设备利用对称运动矢量残差预测结果对当前编码块进行编码得到当前编码块的码流。当前编码块的码流中包括参考帧索引句法元素,参考帧索引句法元素用于表示对称运动矢量残差预测结果中的参考帧在对应的参考帧列表中的索引。
具体地,在SMVD模式下,终端设备可以用句法元素flag表达是否使用SMVD模式,用句法元素index0表达前向MVP所在前向参考帧AMVP中的索引,用句法元素index1表达后向MVP所在后向参考帧AMVP中的索引,用句法元素MVD0表达当前帧的前向运动矢量残差。这里的前向运动矢量残差是指该运动矢量残差对应的参考帧在第一参考帧列表list0中,不一定限定对应的参考帧的POC在当前帧之前。类似的,后向运动矢量残差是指该运动矢量残差对应的参考帧在第二参考帧列表list1中,不一定限定对应的参考帧的POC在当前帧之后。
本实施例的帧间预测方法由于没有固定当前B帧前后向参考帧的位置,所以需要在上述句法基础上增加两个句法元素分别来表达预测组合中的两个参考帧在所在的参考帧列表中的索引index,在此不再赘述。
在本实施例中,终端设备构建当前编码块的候选运动矢量列表;利用候选运动矢量列表对当前编码块进行第一预测得到第一预测结果,第一预测结果包括多个第一运动矢量及第一运动矢量指向的第一参考帧;利用第一预测结果确定至少一个预测组合,每个预测组合包括两个不同的第一参考帧;分别利用预测组合及预测组合对应的候选运动矢量列表进行对称矢量残差预测得到第二预测结果;选择预测代价最小的第二预测结果作为当前编码块的对称运动矢量残差预测结果。在上述过程中,终端设备利用至少一个预测组合进行对称运动矢量残差计算,当存在多组预测组合时,终端设备对每个预测组合都进行计算从而获取最佳预测结果,进而提高预测值的准确性,进一步去除时间冗余,提升帧间编码的压缩率。
为实现上述实施例的帧间预测方法,本申请提出了一种终端设备,具体请参阅图5,图5是本申请提供的终端设备一实施例的结构示意图。
终端设备500包括候选列表构建模块51、预测结果模块52以及残差确定模块53。
其中,候选列表构建模块51,用于构建当前编码块的候选运动矢量列表。
预测结果模块52,用于利用候选运动矢量列表对当前编码块进行第一预测得到第一预测结果,第一预测结果包括多个第一运动矢量及第一运动矢量指向的第一参考帧;还用于利用第一预测结果确定至少一个预测组合,每个预测组合包括两个不同的第一参考帧;进一步用于分别利用预测组合及预测组合对应的候选运动矢量列表进行对称矢量残差预测得到第二预测结果。
残差确定模块53,用于选择预测代价最小的第二预测结果作为当前编码块的对称运动矢量残差预测结果。
为实现上述实施例的帧间预测方法,本申请提出了另一种终端设备,具体请参阅图6,图6是本申请提供的终端设备另一实施例的结构示意图。
终端设备600包括存储器61以及处理器62,其中,存储器61与处理器62耦接。
存储器61用于存储程序数据,处理器62用于执行程序数据以实现上述实施例的帧间预测方法。
在本实施例中,处理器62还可以称为CPU(Central Processing Unit,中央处理单元)。处理器62可能是一种集成电路芯片,具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器62也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质,请继续参阅图7,图7是本申请提供的计算机存储介质一实施例的结构示意图,该计算机存储介质700中存储有程序数据71,该程序数据71在被处理器执行时,用以实现上述实施例的帧间预测方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于对称运动矢量残差的帧间预测方法,其特征在于,所述帧间预测方法包括:
构建当前编码块的候选运动矢量列表;
利用所述候选运动矢量列表对所述当前编码块进行第一预测得到第一预测结果,所述第一预测结果包括多个第一运动矢量及所述第一运动矢量指向的第一参考帧;
利用所述第一预测结果确定至少一个预测组合,每个所述预测组合包括两个不同的所述第一参考帧;
分别利用所述预测组合及所述预测组合对应的所述候选运动矢量列表进行对称矢量残差预测得到第二预测结果;
选择预测代价最小的所述第二预测结果作为所述当前编码块的对称运动矢量残差预测结果。
2.根据权利要求1所述的帧间预测方法,其特征在于,所述第一预测结果包括至少一个单向预测结果和/或双向预测结果,每个所述单向预测结果包括一个所述第一运动矢量及其指向的所述第一参考帧,每个所述双向预测结果包括两个指向不同的所述第一参考帧的所述第一运动矢量。
3.根据权利要求2所述的帧间预测方法,其特征在于,所述利用所述第一预测结果确定至少一个预测组合的步骤,进一步包括:
从第一参考帧列表中选择至少一个所述第一参考帧形成第一列表,并从第二参考帧列表中选择至少一个所述第一参考帧形成第二列表,所述第一参考帧列表和所述第二参考帧列表包括多个第一参考帧;
将所述第一列表和所述第二列表中不同的所述第一参考帧进行排列组合得到至少一个所述预测组合。
4.根据权利要求1所述的帧间预测方法,其特征在于,所述分别利用所述预测组合及所述预测组合对应的所述候选运动矢量列表进行对称运动矢量残差预测得到第二预测结果的步骤,包括:
利用所述预测组合及所述预测组合对应的所述候选运动矢量列表确定至少一个候选运动矢量组合,每个所述候选运动矢量组合包括一个第一候选运动矢量和一个第二候选运动矢量,每个所述第一候选运动矢量属于所述预测组合中第一个所述第一参考帧的候选运动矢量列表,每个所述第二候选运动矢量属于所述预测组合中第二个所述第一参考帧的候选运动矢量列表;
分别利用每个所述候选运动矢量组合进行双向预测并记录预测代价最小的一个所述候选运动矢量组合作为临时预测结果;
确定作为第一搜索起点的第一运动矢量,并利用所述第一搜索起点及所述至少一个候选运动矢量组合确定至少一个第一预测运动矢量组合,每个所述第一预测运动矢量组合包括一个第一预测运动矢量和一个第二预测运动矢量,所述第一预测运动矢量和所述第二预测运动矢量中的一个为所述第一搜索起点,另一个按照运动矢量残差对称原则利用所述第一搜索起点和所述候选运动矢量组合计算得到;
分别利用每个所述第一预测运动矢量组合进行双向预测,并按照预测代价最小原则对所述临时预测结果进行更新;
以所述临时预测结果为起点进行运动搜索并按照预测代价最小原则对所述临时预测结果进行更新;
对所述临时预测结果中的一个运动矢量作为第二搜索起点,利用所述第二搜索起点及所述至少一个候选运动矢量组合确定至少一个第二预测运动矢量组合,每个所述第二预测运动矢量组合包括一个第三预测运动矢量和一个第四预测运动矢量,所述第三预测运动矢量和所述第四预测运动矢量中的一个为所述第二搜索起点,另一个按照运动矢量残差对称原则利用所述第二搜索起点和所述候选运动矢量组合计算得到;
分别利用每个所述第二预测运动矢量组合进行双向预测,并按照预测代价最小原则对所述临时预测结果进行更新以得到所述第二预测结果。
5.根据权利要求4所述的帧间预测方法,其特征在于,所述运动矢量残差对称原则包括第一运动矢量残差为第二运动矢量残差的距离缩放,所述第一运动矢量残差为所述第一预测运动矢量或所述第三预测运动矢量与所述第一候选运动矢量之差,所述第二运动矢量残差为所述第二预测运动矢量或所述第四预测运动矢量与所述第二候选运动矢量之差。
6.根据权利要求4所述的帧间预测方法,其特征在于,所述运动矢量残差对称原则为第一运动矢量残差与第二矢量残差的大小相同,方向相同或相反。
7.根据权利要求4所述的帧间预测方法,其特征在于,所述预测组合进一步包括作为所述第一搜索起点的所述第一运动矢量。
8.根据权利要求1所述的帧间预测方法,其特征在于,所述选择预测代价最小的所述第二预测结果作为所述当前编码块的对称运动矢量残差预测结果的步骤,包括:
利用所述对称运动矢量残差预测结果对所述当前编码块进行编码得到所述当前编码块的码流,所述当前编码块的码流中包括参考帧索引句法元素,所述参考帧索引句法元素用于表示所述对称运动矢量残差预测结果中的参考帧在对应的参考帧列表中的索引。
9.一种终端设备,其特征在于,所述终端设备包括:
候选列表构建模块,用于构建当前编码块的候选运动矢量列表;
预测结果模块,用于利用所述候选运动矢量列表对所述当前编码块进行第一预测得到第一预测结果,所述第一预测结果包括多个第一运动矢量及所述第一运动矢量指向的第一参考帧;还用于利用所述第一预测结果确定至少一个预测组合,每个所述预测组合包括两个不同的所述第一参考帧;进一步用于分别利用所述预测组合及所述预测组合对应的所述候选运动矢量列表进行对称矢量残差预测得到第二预测结果;
残差确定模块,用于选择预测代价最小的所述第二预测结果作为所述当前编码块的对称运动矢量残差预测结果。
10.一种终端设备,其特征在于,所述终端设备包括处理器和存储器;所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如权利要求1~8中任一项所述帧间预测方法的步骤。
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被执行时实现如权利要求1~8中任一项所述帧间预测方法的步骤。
CN201910775845.0A 2019-08-21 2019-08-21 一种帧间预测方法、终端设备以及计算机存储介质 Active CN110545425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910775845.0A CN110545425B (zh) 2019-08-21 2019-08-21 一种帧间预测方法、终端设备以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775845.0A CN110545425B (zh) 2019-08-21 2019-08-21 一种帧间预测方法、终端设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110545425A true CN110545425A (zh) 2019-12-06
CN110545425B CN110545425B (zh) 2021-11-16

Family

ID=68711746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775845.0A Active CN110545425B (zh) 2019-08-21 2019-08-21 一种帧间预测方法、终端设备以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110545425B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112004091A (zh) * 2020-07-31 2020-11-27 浙江大华技术股份有限公司 帧间预测方法及其相关装置
CN112004097A (zh) * 2020-07-30 2020-11-27 浙江大华技术股份有限公司 帧间预测方法、图像处理装置以及计算机可读存储介质
CN112073719A (zh) * 2020-08-21 2020-12-11 浙江大华技术股份有限公司 一种串匹配预测方法、装置、系统及计算机可读存储介质
CN113938690A (zh) * 2021-12-03 2022-01-14 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811729A (zh) * 2015-04-23 2015-07-29 湖南大目信息科技有限公司 一种视频多参考帧编码方法
US20180070092A1 (en) * 2011-06-21 2018-03-08 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus for same
WO2018175720A1 (en) * 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
CN109151476A (zh) * 2018-09-21 2019-01-04 北京大学 一种基于双向预测的b帧图像的参考帧生成方法及装置
CN109672894A (zh) * 2017-10-13 2019-04-23 腾讯科技(深圳)有限公司 一种帧间预测方法、装置及存储介质
CN109996081A (zh) * 2017-12-31 2019-07-09 华为技术有限公司 图像预测方法、装置以及编解码器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180070092A1 (en) * 2011-06-21 2018-03-08 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus for same
CN104811729A (zh) * 2015-04-23 2015-07-29 湖南大目信息科技有限公司 一种视频多参考帧编码方法
WO2018175720A1 (en) * 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
CN109672894A (zh) * 2017-10-13 2019-04-23 腾讯科技(深圳)有限公司 一种帧间预测方法、装置及存储介质
CN109996081A (zh) * 2017-12-31 2019-07-09 华为技术有限公司 图像预测方法、装置以及编解码器
CN109151476A (zh) * 2018-09-21 2019-01-04 北京大学 一种基于双向预测的b帧图像的参考帧生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANBANG CHEN等: "CE4: Symmetrical mode for bi-prediction (Test 3.2)(JVET-K0188-v2)", 《JOINT VIDEO EXPERTS TEAM (JVET)11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》 *
HUANBANG CHEN等: "Symmetrical mode for bi-prediction(JVET-J0063)", 《JOINT VIDEO EXPLORATION TEAM (JVET)10TH MEETING: SAN DIEGO, USA, 10–21 APR. 2018》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112004097A (zh) * 2020-07-30 2020-11-27 浙江大华技术股份有限公司 帧间预测方法、图像处理装置以及计算机可读存储介质
CN112004097B (zh) * 2020-07-30 2021-09-14 浙江大华技术股份有限公司 帧间预测方法、图像处理装置以及计算机可读存储介质
CN112004091A (zh) * 2020-07-31 2020-11-27 浙江大华技术股份有限公司 帧间预测方法及其相关装置
CN112004091B (zh) * 2020-07-31 2021-08-03 浙江大华技术股份有限公司 帧间预测方法及其相关装置
CN112073719A (zh) * 2020-08-21 2020-12-11 浙江大华技术股份有限公司 一种串匹配预测方法、装置、系统及计算机可读存储介质
CN112073719B (zh) * 2020-08-21 2021-09-14 浙江大华技术股份有限公司 一种串匹配预测方法、装置、系统及计算机可读存储介质
CN113938690A (zh) * 2021-12-03 2022-01-14 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质
CN113938690B (zh) * 2021-12-03 2023-10-31 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110545425B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN110545425B (zh) 一种帧间预测方法、终端设备以及计算机存储介质
TWI750494B (zh) 使用更新的運動信息的限制
TWI827681B (zh) 具有自適應運動矢量分辨率的仿射模式的語法重用
CN111357294B (zh) 基于子块的运动信息列表的简化熵编解码
US20220217356A1 (en) Inter-frame prediction method based on merge with motion vector difference (mmvd) mode, video coding method, related device and apparatus
WO2019191890A1 (zh) 用于图像处理的方法和图像处理装置
CN110944191A (zh) 具有自适应运动矢量分辨率的运动矢量精度指示的信令通知
CN109565590A (zh) 用于视频编解码的基于模型的运动向量推导
CN111010569A (zh) Bio中的时间梯度计算的改善
CN110740327B (zh) 一种处理视频数据的方法、装置和可读介质
CN103609125A (zh) 用于对多视点视频的运动矢量进行编码和解码的方法和设备
WO2019169949A1 (zh) 预测运动矢量生成方法以及相关设备
TW202017375A (zh) 用於視頻編碼的對稱性雙向預測模式
CN113273187A (zh) 基于仿射的具有运动矢量差(MVD)的Merge
CN112004097B (zh) 帧间预测方法、图像处理装置以及计算机可读存储介质
CN113709458B (zh) 视频编解码中的位移矢量预测方法、装置及设备
CN113302936B (zh) 用于具有MVD的Merge的控制方法
JP2015159442A (ja) フレーム間引き装置、フレーム補間装置、映像符号化装置、映像復号装置、及びこれらのプログラム
CN113424534A (zh) 自适应运动矢量分辨率的多个语法元素
CN110881124A (zh) 两步帧间预测
US11870998B2 (en) Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
CN116647694A (zh) 候选mv列表构建方法和装置
CN113348667B (zh) 在具有MVD的Merge下的距离索引的解析方法
CN110809164B (zh) Bio中的mv精度
CN113382248B (zh) 帧间预测值修正方法、编码器及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant