CN110267047B - 视频帧间运动估计方法、装置、设备及可读存储介质 - Google Patents

视频帧间运动估计方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110267047B
CN110267047B CN201910576084.6A CN201910576084A CN110267047B CN 110267047 B CN110267047 B CN 110267047B CN 201910576084 A CN201910576084 A CN 201910576084A CN 110267047 B CN110267047 B CN 110267047B
Authority
CN
China
Prior art keywords
macro block
frame image
reference frame
coding
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910576084.6A
Other languages
English (en)
Other versions
CN110267047A (zh
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201910576084.6A priority Critical patent/CN110267047B/zh
Publication of CN110267047A publication Critical patent/CN110267047A/zh
Application granted granted Critical
Publication of CN110267047B publication Critical patent/CN110267047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/557Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种视频帧间运动估计方法、装置、设备及计算机可读存储介质。其中,方法包括首先确定当前帧图像的当前编码宏块的m个参考帧图像的参考宏块,然后根据这m个参考宏块的SAD值确定终止搜索条件;当前帧图像的参考帧图像集中图像总数为n,且m<n;在为第一编码宏块检索参考帧图像集中剩余n‑m个参考帧图像确定参考宏块过程中,若当前参考帧图像的当前检索宏块的SAD值满足终止搜索条件,则停止检索当前参考帧图像。本申请有效地提高了视频帧间运动估计速度,有利于系统稳定、高效地运行。

Description

视频帧间运动估计方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及视频编码技术领域,特别是涉及一种视频帧间运动估计方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机网络技术的快速发展,视频数据的需求量和视频质量要求也越来越高。
在视频编解码中,通常将每帧图像分为多个互不重叠的块,并假定块中所有像素有相同的位移量,对整帧图像的编码分解为对该帧中每个宏块的编码,也就是以宏块为最小单位进行数据处理。需要为每帧图像中的每个宏块从各参考图像帧中确定参考宏块,将参考宏块和当前编码宏块之间的相对位移作为运动矢量。帧间运动估计计算量非常庞大,占据视频编码总计算时间的80%,在保证图像编码质量同时加速帧间运动估计俨然成为本领域技术人员迫切需要解决的问题。
相关技术中,通常为每帧图像设置16个图像帧作为参考帧,对于当前帧图像的当前编码宏块,利用三步搜索法从所有参考帧的参考宏块中确定SAD值最小的参考宏块,作为当前编码宏块的最终的匹配宏块。其中,SAD为当前宏块中每个像素帧的Y值与前一帧对应宏块中相应像素帧Y值的绝对差的和,称为绝对误差和。
由于每个参考帧都要进行搜索计算,计算量仍然很庞大,且有很多冗余计算,不仅视频帧间运动估计效率低下,而且中央处理器用于计算资源能力无形中浪费,不利于系统稳定、高效地运行。
发明内容
本公开实施例提供了一种视频帧间运动估计方法、装置、设备及计算机可读存储介质,有效地提高了视频帧间运动估计速度,有利于系统稳定、高效地运行。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种视频帧间运动估计方法,包括:
根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件;当前帧图像的参考帧图像集中图像总数为n,且m<n;
为所述第一编码宏块检索所述参考帧图像集中剩余n-m个参考帧图像确定参考宏块过程中,若当前参考帧图像的当前检索宏块的SAD值满足所述终止搜索条件,则停止检索所述当前参考帧图像。
可选的,所述根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件之前,还包括:
判断所述第一编码宏块在所述当前帧图像中是否具有满足预设位置关系的参考编码宏块;
若是,则判断各参考编码宏块的匹配宏块对应的参考帧图像是否为同一帧图像;若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足预设相关条件的图像作为所述第一编码宏块的参考帧图像;
其中,所述匹配宏块为当前编码宏块的所有参考宏块中SAD值最小的参考宏块。
可选的,所述参考帧图像集中的每个参考帧图像预先按照时间顺序进行编号,所述若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足相关条件的图像作为所述第一编码宏块的参考帧图像为:
若各参考编码宏块的匹配宏块对应的参考帧图像为第一参考帧图像,从所述参考帧图像集中选取第二参考帧图像和第三参考帧图像,并将所述第一参考帧图像、所述第二参考帧图像和所述第三参考帧图像组成为所述第一编码宏块的候选参考帧图像集,以使所述第一编码宏块检索所述候选参考帧图像集得到匹配宏块。
可选的,所述根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件包括:
利用三步搜索法分别检索第一个参考帧图像和第二个参考帧图像,得到所述第一编码宏块在所述第一个参考帧图像中的第一参考宏块,以及在所述第二个参考帧图像中的第二参考宏块;
判断所述第一参考宏块的SAD值是否小于所述第二参考宏块的SAD值;
若是,则将所述第一参考宏块的SAD值作为终止搜索SAD值,且将所述终止搜索SAD值与预设倍数因子的乘积不大于当前检索宏块的SAD值作为所述终止搜索条件。
可选的,所述若当前参考帧图像的当前检索宏块满足所述终止搜索条件包括:
判断所述当前参考帧图像的当前检索宏块的SAD值是否大于终止搜索SAD值的四分之一;
若是,则所述当前参考帧图像的当前检索宏块满足所述终止搜索条件。
可选的,所述根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件之前,还包括:
从所述当前帧图像中选择满足成像质量贡献条件的宏块,构成优选编码宏块集;
其中,所述优选编码宏块集中的各编码宏块作为所述当前帧图像执行帧间运动估计的编码宏块;所述第一编码宏块为所述优选编码宏块集中的一个编码宏块。
本发明实施例另一方面提供了一种视频帧间运动估计装置,包括:
参考帧范围确定模块,用于根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件;当前帧图像的参考帧图像集中图像总数为n,且m<n;
参考宏块检索模块,用于为所述第一编码宏块检索所述参考帧图像集中剩余n-m个参考帧图像确定参考宏块过程中,若当前参考帧图像的当前检索宏块的SAD值满足所述终止搜索条件,则停止检索所述当前参考帧图像。
可选的,还包括参考帧范围优化模块,所述参考帧范围优化模块包括:
判断子模块,用于判断所述第一编码宏块在所述当前帧图像中是否具有满足预设位置关系的参考编码宏块;
参考帧确定模块,用于若所述第一编码宏块在所述当前帧图像中具有满足预设位置关系的参考编码宏块,则判断各参考编码宏块的匹配宏块对应的参考帧图像是否为同一帧图像;若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足预设相关条件的图像作为所述第一编码宏块的参考帧图像;所述匹配宏块为当前编码宏块的所有参考宏块中SAD值最小的参考宏块。
本发明实施例还提供了一种视频帧间运动估计设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述视频帧间运动估计方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有视频帧间运动估计程序,所述视频帧间运动估计程序被处理器执行时实现如前任一项所述视频帧间运动估计方法的步骤。
本申请提供的技术方案的优点在于,在为编码宏块从每帧参考帧图像中确定参考宏块时,可先检索几副参考帧图像的参考宏块,然后根据这几个参考宏块的SAD值确定一个终止搜索条件,在对后续检索的参考帧图像进行参考宏块确定过程中,利用终止搜索条件可以缩小参考帧检索范围,不需要检索参考帧图像的全部宏块,从而可有效地降低帧间运动估计的计算量,提高帧间运动估计速度,有利于系统稳定、高效地运行;此外,由于终止搜索条件由多个参考帧图像的SAD值综合确定,后续在确定参考帧图像检索范围时,不属于检索范围内的宏块和当前编码宏块的相关性较弱,实现了不以牺牲图像质量为代价来提高视频帧间运动估计速度,还可有效保证视频质量。
此外,本发明实施例还针对视频帧间运动估计方法提供了相应的实现装置、设备及计算机可读存储介质,进一步使得所述方法更具有实用性,所述装置、设备及计算机可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频帧间运动估计方法的流程示意图;
图2为本发明实施例提供的另一种视频帧间运动估计方法的流程示意图;
图3为本发明实施例提供的视频帧间运动估计装置的一种具体实施方式结构图;
图4为本发明实施例提供的视频帧间运动估计装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种视频帧间运动估计方法的流程示意图,本发明实施例可包括以下内容:
S101:根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件。
在本实施例中,当前帧图像的参考帧图像集中包含的参考帧图像的总个数为n。第一编码宏块可为当前帧图像的任意一个编码宏块,在对当前帧图像中的任意一个编码宏块确定匹配宏块时,可先利用例如但并不限制于三步搜索法确定第一个参考帧图像的参考宏块,第二个参考帧图像的参考宏块,第m个参考帧图像的参考宏块,此处m<n。为了大幅缩小帧间运动估计计算量,实现视频帧间运动估计加速,可设置m=2。当然,也可使用对数搜索法或交叉搜索法进行参考宏块的确定,这均不影响本申请的实现。在得到m个参考帧图像的参考宏块的SAD值后,可从这多个SAD值中选择最小的SAD值,或者也可将这多个SAD值求和后取平均数值,或者还可以先去除几个较大的SAD值后在求和后取平均数值作为后续参考帧终止搜索的SAD值。
需要说明的是,设置终止搜索条件的目的是为了在后续参考图像帧中确定参考宏块中,将与当前编码宏块的相关性弱的宏块优先进行一次删除,缩小参考图像帧的检索范围。本领域技术人员可根据实际应用场景和用户要求的成像质量自行确定终止搜索条件,本申请对此不做任何限定。
S102:为第一编码宏块检索参考帧图像集中剩余n-m个参考帧图像确定参考宏块过程中,若当前参考帧图像的当前检索宏块的SAD值满足终止搜索条件,则停止检索当前参考帧图像。
在本申请中,对每个编码宏块进行帧间运动估计时,一幅参考帧图像只检索一次确定一个参考宏块,所以参考帧图像集在经过S101检索m个参考帧图像后,还剩余n-m个参考帧图像。在为这n-m个参考帧图像的每个参考帧图像确定参考宏块时,在计算得到参考帧图像的宏块的SAD值后,可先判断该宏块的SAD值是否满足终止搜索条件,如果满足,则停止检索当前参考帧图像,然后从已经检索的宏块中选择SAD值最小的那个宏块作为该当前参考帧图像的参考宏块。如果不满足,则继续计算下一个宏块的SAD值,直至当前宏块的SAD值满足终止搜索条件。
可以理解的是,第一编码宏块在每幅参考帧图像中均会得到一个参考宏块,从参考帧图像集中所有参考帧图像的参考宏块的SAD值中选择最小SAD值,作为第一编码宏块的匹配宏块,该匹配宏块与第一编码宏块的相对位移即为第一编码宏块的运动矢量。
在本发明实施例提供的技术方案中,在为编码宏块从每帧参考帧图像中确定参考宏块时,可先检索几副参考帧图像的参考宏块,然后根据这几个参考宏块的SAD值确定一个终止搜索条件,在对后续检索的参考帧图像进行参考宏块确定过程中,利用终止搜索条件可以缩小参考帧检索范围,不需要检索参考帧图像的全部宏块,从而可有效地降低帧间运动估计的计算量,提高帧间运动估计速度,有利于系统稳定、高效地运行;此外,由于终止搜索条件由多个参考帧图像的SAD值综合确定,后续在确定参考帧图像检索范围时,不属于检索范围内的宏块和当前编码宏块的相关性较弱,实现了不以牺牲图像质量为代价来提高视频帧间运动估计速度,还可有效保证视频质量。
可以理解的是,每帧视频图像都是由多个宏块构成,每帧视频图像的宏块可呈现矩阵形式排列,在对每个宏块进行编码时,可依次从第一行第一列、第二列、第n列;第二行第一列、第二列……的顺序为每个宏块进行帧间运动估计。所以,对于非第一行的其他行宏块而言,其上一行的每个宏块的匹配宏块均已确定,而相邻宏块之间具有一定相关性。鉴于此,为了进一步缩小参考帧图像的选择范围,本申请还提供了另外一个实施例,可包括下述内容:
在为第一编码宏块确定匹配宏块时,可先判断第一编码宏块在当前帧图像中是否具有满足预设位置关系的参考编码宏块。此处的预设位置关系可为预先设置好的,满足预设位置关系的这些宏块间的相关性较强,本领域技术人员可根据实际应用场景进行确定,例如可以选择与第一编码宏块在同一行、位于第一编码宏块左侧且紧挨着第一编码宏块的宏块(可称为左侧宏块),位于第一编码宏块的上一行、在第一编码宏块右侧且紧挨着第一编码宏块的宏块正对的宏块(可称为右上侧宏块),位于第一编码宏块上一行且与第一编码宏块正对的宏块(可称为上侧宏块)。
若第一编码宏块在当前帧图像中具有满足预设位置关系的参考编码宏块,则判断各参考编码宏块的匹配宏块对应的参考帧图像是否为同一帧图像;若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足预设相关条件的图像作为第一编码宏块的参考帧图像;匹配宏块为当前编码宏块的所有参考宏块中SAD值最小的参考宏块。若第一编码宏块在当前帧图像中不具有满足预设位置关系的参考编码宏块,则按照S101-S102的方法为其确定匹配宏块。
可以理解的是,当前帧图像每个编码宏块的匹配宏块必然是参考帧图像集中某个参考帧图像的参考宏块,也就是说,匹配宏块和参考帧图像具有一个对应关系。
在该实施例中,满足预设相关条件的图像为指图像间的相关性超过预设相关性阈值的图像,也就是说,若,各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则将与该参考帧图像相关性最强的几副图像作为第一编码宏块检索参考宏块的参考帧图像,原参考帧图像集中的其他参考帧图像不进行检索。可选的,参考帧图像集中的每个参考帧图像可预先按照时间顺序进行编号,若各参考编码宏块的匹配宏块对应的参考帧图像为第一参考帧图像,从参考帧图像集中选取第二参考帧图像和第三参考帧图像,并将第一参考帧图像、第二参考帧图像和第三参考帧图像组成为第一编码宏块的候选参考帧图像集,以使第一编码宏块检索候选参考帧图像集得到匹配宏块。也就是说,第一编码宏块只是从第一参考帧图像、第二参考帧图像和第三参考帧图像中检索参考宏块,然后从这三个参考宏块中确定SAD最小值的参考宏块作为匹配宏块。
由上可知,本发明实施例提供进一步的缩小参考帧检索范围,有利于提高视频帧间运动估计速度。
在另外一种实施方式中,终止搜索条件的确定过程可如下所述:
利用三步搜索法分别检索第一个参考帧图像和第二个参考帧图像,得到第一编码宏块在第一个参考帧图像中的第一参考宏块,以及在第二个参考帧图像中的第二参考宏块。
判断第一参考宏块的SAD值是否小于第二参考宏块的SAD值。
若是,则将第一参考宏块的SAD值作为终止搜索SAD值,且将终止搜索SAD值与预设倍数因子的乘积不大于当前检索宏块的SAD值作为终止搜索条件。
可以理解的是,终止搜索条件的边界SAD值太大,参考帧图像的宏块检索范围固然缩小较多,但会损失成像质量;而终止搜索条件的边界SAD值太小,参考帧图像的宏块检索范围缩小不明显,检索数据量仍然较大,帧间运动估计加速不明显。所以,此处的倍数因子的选择决定着视频成像质量和帧间运动估计速度快慢,本领域技术人员可根据实际应用场景兼顾视频成像质量和帧间运动估计计算量选择合适的预设倍数因子。可选的,本申请的倍数因子可为四分之一,也就是说,若当前参考帧图像的当前检索宏块的SAD值大于终止搜索SAD值的四分之一,则当前参考帧图像的当前检索宏块满足终止搜索条件。
可以理解的是,对于一幅图像而言,图像中不同像素点对成像质量的贡献不同,例如图像成像目标的像素点对整个图像成像质量的影响要远远优于背景像素点。鉴于此,为了提高整帧图像的帧间运动估计速度,还可从当前帧图像中选择满足成像质量贡献条件的宏块,构成优选编码宏块集;其中,优选编码宏块集中的各编码宏块作为当前帧图像执行帧间运动估计的编码宏块,例如上述实施例中的第一编码宏块即为优选编码宏块集中的一个编码宏块。
在本发明实施例中,可采用任何一种图像处理算法先为当前帧图像选取一部分对成像质量贡献大的像素点组合的宏块作为优先编码宏块,对于优选编码宏块集的每个编码宏块可按照上述任意一个方法实施例确定其匹配宏块。而对于不属于优选编码宏块集中的宏块可采用默认的匹配宏块,还可以只对其中某几个位于中心位置的特殊宏块或成像质量贡献较大的特殊宏块确定匹配宏块,与之相邻的其他宏块的匹配宏块均采用这些特殊宏块的匹配宏块。
由上可知,本发明实施例可进一步提高整帧图像的帧间运动估计速度。
基于上述实施例,本申请还提供了一个示意性例子来阐述本申请在一种具体实施方式下的技术方案,请参见图2,图2为本发明实施例提供的另一种视频帧间运动估计方法的流程示意图,具体的可包括以下内容:
S201:利用三步搜索法确定当前帧图像的第一个编码宏块的第一个参考帧图像的第一参考宏块,和第二个参考帧图像的第二参考宏块。
S202:比较第一参考宏块的SAD值和第二参考宏块的SAD值大小,并将较小的SAD值作为终止搜索SAD值。
S203:在对下一个参考帧图像进行参考宏块确定过程中,判断当前宏块的SAD值是否大于终止搜索SAD值的四分之一;若否,则继续判断下一个宏块的SAD值是否大于终止搜索SAD值的四分之一,若是,则执行S204。
S204:停止搜索当前参考帧图像,并跳转至S203,直至检索完最后一个参考帧图像。
S205:对当前编码宏块,从其所有参考宏块中确定SAD值最小的参考宏块作为匹配宏块。
第一行的其他宏块依次重复执行S201-S205,为其确定其相应的匹配宏块,以完成当前帧帧图像第一行所有宏块的帧间运动估计。在执行为第一行宏块的帧间运动估计后,开始对第二行进行帧间运动估计,第二行的第一个宏块可按照S201-S205,为其确定其相应的匹配宏块。
S206:对当前帧图像的第二行的第二个编码宏块,判断第二个编码宏块的左侧、上侧、右上侧的宏块的匹配宏块对应的参考帧图像是否均为第一参考帧图像,若是,则执行S207。
若第二个编码宏块的左侧、上侧、右上侧的宏块的匹配宏块对应的参考帧图像不全部为第一参考帧图像,则按照S201-S205的方法为其确定其相应的匹配宏块。
S207:将第一参考帧图像、第二参考帧图像和第三参考帧图像组成为第二个编码宏块的候选参考帧图像集,以使第二个编码宏块检索候选参考帧图像集得到匹配宏块。
可以理解的是,对于第二行的最后一个宏块,由于其不具有左侧、上侧、右上侧的宏块,故最后一个宏块可按照S201-S205,为其确定其相应的匹配宏块,以完成帧间运动估计。而对于第二行第三个宏块至倒数第二个宏块,若当前编码宏块的左侧、上侧、右上侧的宏块的匹配宏块对应的参考帧图像均为第一参考帧图像,则按照S207为其确定匹配宏块;若当前编码宏块的左侧、上侧、右上侧的宏块的匹配宏块对应的参考帧图像不均为第一参考帧图像,则按照S201-S205,为其确定其相应的匹配宏块。
在本实施例中,对于第i行的第一个宏块和最后一个宏块,可按照S201-S205的方法为其确定相应的匹配宏块;而对于非第一个宏块和非最后一个宏块的其他宏块,若当前编码宏块的左侧、上侧、右上侧的宏块的匹配宏块对应的参考帧图像均为第一参考帧图像,则按照S207为其确定匹配宏块;若当前编码宏块的左侧、上侧、右上侧的宏块的匹配宏块对应的参考帧图像不均为第一参考帧图像,则按照S201-S205,为其确定其相应的匹配宏块,以完成帧间运动估计。
需要说明的是,本发明实施例的每个步骤可参阅上述方法实施例相应步骤或方法记载的实现过程,此处,便不再赘述。
由上可知,本发明实施例有效地提高了视频帧间运动估计速度,有利于系统稳定、高效地运行。
本发明实施例还针对视频帧间运动估计方法提供了相应的实现装置,进一步使得所述方法更具有实用性。下面对本发明实施例提供的视频帧间运动估计装置进行介绍,下文描述的视频帧间运动估计装置与上文描述的视频帧间运动估计方法可相互对应参照。
参见图3,图3为本发明实施例提供的视频帧间运动估计装置在一种具体实施方式下的结构图,该装置可包括:
参考帧范围确定模块301,用于根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件;当前帧图像的参考帧图像集中图像总数为n,且m<n。
参考宏块检索模块302,用于为第一编码宏块检索参考帧图像集中剩余n-m个参考帧图像确定参考宏块过程中,若当前参考帧图像的当前检索宏块满足终止搜索条件,则停止检索当前参考帧图像。
可选的,在一种实施方式中,请参阅图4,所述装置例如还可包括参考帧范围优化模块303,所述参考帧范围优化模块303可包括:
判断子模块,用于判断第一编码宏块在当前帧图像中是否具有满足预设位置关系的参考编码宏块;
参考帧确定模块,用于若第一编码宏块在当前帧图像中具有满足预设位置关系的参考编码宏块,则判断各参考编码宏块的匹配宏块对应的参考帧图像是否为同一帧图像;若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足相关条件的图像作为第一编码宏块的参考帧图像;匹配宏块为当前编码宏块的所有参考宏块中SAD值最小的参考宏块。
在该实施方式中,所述参考帧确定模块还可为若各参考编码宏块的匹配宏块对应的参考帧图像为第一参考帧图像,从参考帧图像集中选取第二参考帧图像和第三参考帧图像,并将第一参考帧图像、第二参考帧图像和第三参考帧图像组成为第一编码宏块的候选参考帧图像集,以使第一编码宏块检索候选参考帧图像集得到匹配宏块的模块。
在本实施例的另一些实施方式中,所述参考帧范围确定模块301还可以包括:
参考宏块初始确定子模块,用于利用三步搜索法分别检索第一个参考帧图像和第二个参考帧图像,得到第一编码宏块在第一个参考帧图像中的第一参考宏块,以及在第二个参考帧图像中的第二参考宏块;
判断子模块,用于判断第一参考宏块的SAD值是否小于第二参考宏块的SAD值;
终止搜索条件确定子模块,用于若第一参考宏块的SAD值小于第二参考宏块的SAD值,则将第一参考宏块的SAD值作为终止搜索SAD值,且终止搜索SAD值与预设倍数因子的乘积不大于当前检索宏块的SAD值作为终止搜索条件。
在该实施例方式中,所述参考宏块检索模块302还可为若当前参考帧图像的当前检索宏块的SAD值大于终止搜索SAD值的四分之一,则当前参考帧图像的当前检索宏块满足终止搜索条件的模块。
可选的,在本实施例的其他一些实施方式中,请参阅图4,所述装置例如还可以包括宏块筛选模块304,所述宏块筛选模块304用于从当前帧图像中选择满足成像质量贡献条件的宏块,构成优选编码宏块集;其中,优选编码宏块集中的各编码宏块作为当前帧图像执行帧间运动估计的编码宏块;第一编码宏块为优选编码宏块集中的一个编码宏块。
本发明实施例所述视频帧间运动估计装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例有效地提高了视频帧间运动估计速度,有利于系统稳定、高效地运行。
本发明实施例还提供了一种视频帧间运动估计设备,具体可包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序以实现如上任意一实施例所述视频帧间运动估计方法的步骤。
本发明实施例所述视频帧间运动估计设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例有效地提高了视频帧间运动估计速度,有利于系统稳定、高效地运行。
本发明实施例还提供了一种计算机可读存储介质,存储有视频帧间运动估计程序,所述视频帧间运动估计程序被处理器执行时如上任意一实施例所述视频帧间运动估计方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例有效地提高了视频帧间运动估计速度,有利于系统稳定、高效地运行。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种视频帧间运动估计方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种视频帧间运动估计方法,其特征在于,包括:
根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件;当前帧图像的参考帧图像集中图像总数为n,且m<n;
对每个编码宏块进行帧间运动估计时,一幅参考帧图像检索一次确定一个参考宏块,为所述第一编码宏块检索所述参考帧图像集中剩余n-m个参考帧图像的每个参考帧图像确定参考宏块过程中,若当前参考帧图像的当前检索宏块的SAD值满足所述终止搜索条件,则停止检索所述当前参考帧图像,并从已经检索的宏块中选择SAD值最小的宏块作为所述当前参考帧图像的参考宏块;
从所述参考帧图像集中所有参考帧图像的参考宏块的SAD值中选择最小SAD值,作为所述第一编码宏块的匹配宏块,所述匹配宏块与所述第一编码宏块的相对位移为所述第一编码宏块的运动矢量。
2.根据权利要求1所述的视频帧间运动估计方法,其特征在于,所述根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件之前,还包括:
判断所述第一编码宏块在所述当前帧图像中是否具有满足预设位置关系的参考编码宏块;
若是,则判断各参考编码宏块的匹配宏块对应的参考帧图像是否为同一帧图像;若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足预设相关条件的图像作为所述第一编码宏块的参考帧图像;
其中,所述匹配宏块为当前编码宏块的所有参考宏块中SAD值最小的参考宏块。
3.根据权利要求2所述的视频帧间运动估计方法,其特征在于,所述参考帧图像集中的每个参考帧图像预先按照时间顺序进行编号,所述若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足相关条件的图像作为所述第一编码宏块的参考帧图像为:
若各参考编码宏块的匹配宏块对应的参考帧图像为第一参考帧图像,从所述参考帧图像集中选取第二参考帧图像和第三参考帧图像,并将所述第一参考帧图像、所述第二参考帧图像和所述第三参考帧图像组成为所述第一编码宏块的候选参考帧图像集,以使所述第一编码宏块检索所述候选参考帧图像集得到匹配宏块。
4.根据权利要求1至3任意一项所述的视频帧间运动估计方法,其特征在于,所述根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件包括:
利用三步搜索法分别检索第一个参考帧图像和第二个参考帧图像,得到所述第一编码宏块在所述第一个参考帧图像中的第一参考宏块,以及在所述第二个参考帧图像中的第二参考宏块;
判断所述第一参考宏块的SAD值是否小于所述第二参考宏块的SAD值;
若是,则将所述第一参考宏块的SAD值作为终止搜索SAD值,且将所述终止搜索SAD值与预设倍数因子的乘积不大于当前检索宏块的SAD值作为所述终止搜索条件。
5.根据权利要求4所述的视频帧间运动估计方法,其特征在于,所述若当前参考帧图像的当前检索宏块满足所述终止搜索条件包括:
判断所述当前参考帧图像的当前检索宏块的SAD值是否大于终止搜索SAD值的四分之一;
若是,则所述当前参考帧图像的当前检索宏块满足所述终止搜索条件。
6.根据权利要求1至3任意一项所述的视频帧间运动估计方法,其特征在于,所述根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件之前,还包括:
从所述当前帧图像中选择满足成像质量贡献条件的宏块,构成优选编码宏块集;
其中,所述优选编码宏块集中的各编码宏块作为所述当前帧图像执行帧间运动估计的编码宏块;所述第一编码宏块为所述优选编码宏块集中的一个编码宏块。
7.一种视频帧间运动估计装置,其特征在于,包括:
参考帧范围确定模块,用于根据第一编码宏块的m个参考帧图像的参考宏块的SAD值确定终止搜索条件;当前帧图像的参考帧图像集中图像总数为n,且m<n;
参考宏块检索模块,用于对每个编码宏块进行帧间运动估计时,一幅参考帧图像检索一次确定一个参考宏块,为所述第一编码宏块检索所述参考帧图像集中剩余n-m个参考帧图像的每个参考帧图像确定参考宏块过程中,若当前参考帧图像的当前检索宏块的SAD值满足所述终止搜索条件,则停止检索所述当前参考帧图像,并从已经检索的宏块中选择SAD值最小的宏块作为所述当前参考帧图像的参考宏块;从所述参考帧图像集中所有参考帧图像的参考宏块的SAD值中选择最小SAD值,作为所述第一编码宏块的匹配宏块,所述匹配宏块与所述第一编码宏块的相对位移为所述第一编码宏块的运动矢量。
8.根据权利要求7所述的视频帧间运动估计装置,其特征在于,还包括参考帧范围优化模块,所述参考帧范围优化模块包括:
判断子模块,用于判断所述第一编码宏块在所述当前帧图像中是否具有满足预设位置关系的参考编码宏块;
参考帧确定模块,用于若所述第一编码宏块在所述当前帧图像中具有满足预设位置关系的参考编码宏块,则判断各参考编码宏块的匹配宏块对应的参考帧图像是否为同一帧图像;若各参考编码宏块的匹配宏块对应的参考帧图像为同一帧图像,则只将与各参考编码宏块的匹配宏块对应的参考帧图像满足预设相关条件的图像作为所述第一编码宏块的参考帧图像;所述匹配宏块为当前编码宏块的所有参考宏块中SAD值最小的参考宏块。
9.一种视频帧间运动估计设备,其特征在于,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6任一项所述视频帧间运动估计方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有视频帧间运动估计程序,所述视频帧间运动估计程序被处理器执行时实现如权利要求1至6任一项所述视频帧间运动估计方法的步骤。
CN201910576084.6A 2019-06-28 2019-06-28 视频帧间运动估计方法、装置、设备及可读存储介质 Active CN110267047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910576084.6A CN110267047B (zh) 2019-06-28 2019-06-28 视频帧间运动估计方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910576084.6A CN110267047B (zh) 2019-06-28 2019-06-28 视频帧间运动估计方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110267047A CN110267047A (zh) 2019-09-20
CN110267047B true CN110267047B (zh) 2021-06-29

Family

ID=67922904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910576084.6A Active CN110267047B (zh) 2019-06-28 2019-06-28 视频帧间运动估计方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110267047B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI768324B (zh) * 2020-04-16 2022-06-21 瑞昱半導體股份有限公司 影像處理方法及影像處理裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227614A (zh) * 2008-01-22 2008-07-23 炬力集成电路设计有限公司 视频编码系统的运动估计装置及其方法
CN101374235A (zh) * 2007-08-24 2009-02-25 大唐移动通信设备有限公司 视频编码中的快速块运动估计方法和装置
CN103384327A (zh) * 2013-04-22 2013-11-06 张新安 基于自适应阈值的avs快速模式选择算法
CN103731669A (zh) * 2013-12-30 2014-04-16 广州华多网络科技有限公司 Skip宏块检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100833228B1 (ko) * 2002-02-21 2008-05-28 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
CN109005412B (zh) * 2017-06-06 2022-06-07 北京三星通信技术研究有限公司 运动矢量获取的方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374235A (zh) * 2007-08-24 2009-02-25 大唐移动通信设备有限公司 视频编码中的快速块运动估计方法和装置
CN101227614A (zh) * 2008-01-22 2008-07-23 炬力集成电路设计有限公司 视频编码系统的运动估计装置及其方法
CN103384327A (zh) * 2013-04-22 2013-11-06 张新安 基于自适应阈值的avs快速模式选择算法
CN103731669A (zh) * 2013-12-30 2014-04-16 广州华多网络科技有限公司 Skip宏块检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AVS-M快速运动搜索算法的研究;高国鲁;《中国优秀硕士学位论文全文数据库》;20060931(第2006/09期);全文 *

Also Published As

Publication number Publication date
CN110267047A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
RU2509436C1 (ru) Способ и устройство для кодирования и декодирования блока кодирования границы картинки
US7580456B2 (en) Prediction-based directional fractional pixel motion estimation for video coding
US11076168B2 (en) Inter-prediction method and apparatus, and storage medium
KR102271765B1 (ko) 인트라프레임 예측 방법과 장치, 비디오 인코딩 장치 및 저장 매체
EP2521046A1 (en) Method and mobile terminal for realizing video preview and retrieval
CN109688407B (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
CN112312133B (zh) 一种视频编码方法、装置、电子设备及可读存储介质
CN112055203B (zh) 帧间预测方法、视频编码方法及其相关装置
EP4262203A1 (en) Method and apparatus for video predictive coding
CN108989799A (zh) 一种编码单元参考帧的选择方法、装置及电子设备
CN111741297A (zh) 帧间预测方法、视频编码方法及其相关装置
US10356403B2 (en) Hierarchial video code block merging using depth-dependent threshold for block merger
CN115484464A (zh) 视频编码方法和装置
CN110267047B (zh) 视频帧间运动估计方法、装置、设备及可读存储介质
US8131095B2 (en) Process and device for the compression of portions of images
CN112087624A (zh) 基于高效率视频编码的编码管理方法
KR20080048384A (ko) 세분화된 탐색 영역을 기반으로 하는 고속 전영역 움직임예측 방법 및 그 장치
KR100846780B1 (ko) 움직임 벡터 추정 방법 및 장치
CN111901590A (zh) 一种用于帧间预测的细化运动矢量存储方法及装置
KR102075208B1 (ko) 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치
CN116489385A (zh) 视频编码方法、解码方法、装置、电子设备及存储介质
CN113691811B (zh) 编码块划分方法、装置、系统及存储介质
CN114422779A (zh) 预测单元尺寸决策的方法、装置、电子设备及介质
CN113747166B (zh) 一种编解码方法、装置及其设备
CN110519597B (zh) 一种基于hevc的编码方法、装置、计算设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant