CN114173129A - 图像单元的运动估计方法和装置、存储介质和电子装置 - Google Patents

图像单元的运动估计方法和装置、存储介质和电子装置 Download PDF

Info

Publication number
CN114173129A
CN114173129A CN202010955436.1A CN202010955436A CN114173129A CN 114173129 A CN114173129 A CN 114173129A CN 202010955436 A CN202010955436 A CN 202010955436A CN 114173129 A CN114173129 A CN 114173129A
Authority
CN
China
Prior art keywords
image
unit
range
boundary
image unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010955436.1A
Other languages
English (en)
Inventor
许道远
豆修鑫
宋嘉文
徐琴琴
张文杰
成超
张海斌
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010955436.1A priority Critical patent/CN114173129A/zh
Publication of CN114173129A publication Critical patent/CN114173129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种图像单元的运动估计方法和装置、存储介质和电子装置,其中,该方法包括:在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,所述第一图像单元为待编码图像中待进行运动估计的图像单元;在所述第一参考单元的边界与所述第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围;在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元。通过本申请,解决了相关技术中的运动估计方式存在运动估计的效率低的问题。

Description

图像单元的运动估计方法和装置、存储介质和电子装置
技术领域
本申请涉及图像编解码领域,尤其涉及一种图像单元的运动估计方法和装置、存储介质和电子装置。
背景技术
运动估计是视频编码中的一个重要环节,编码器通过对视频中的运动进行有效刻画,使得的各个图像帧的表示代价得到大幅简化,从而可以提升数百倍的压缩效率。同时,对于常见分辨率的视频,基于暴力搜索的运动估计,在算力受限的条件下是不可实现的。因此在各视频编码器中,普遍采用了各种快速运动估计策略。
相关技术中的快速运动估计算法一般基于图像块相似性存在局部连续性的特征,从而在参考图像上,建立某种快速运动估计的规则。快速运动估计算法通常为:首先,对参考图像帧上某些特殊的位置进行搜索;然后,进行一定程度的微调,得到运动估计结果。
然而,上述基于特殊位置进行运动估计方式,在待编码图像的分辨率较大时,运动估计所需的时间仍然较长,导致存在运动估计的效率低的问题。
发明内容
本申请提供了一种图像单元的运动估计方法和装置、存储介质和电子装置,以至少解决相关技术中的运动估计方式存在运动估计的效率低的问题。
根据本申请实施例的一个方面,提供了一种图像单元的运动估计方法,包括:在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,所述第一图像单元为待编码图像中待进行运动估计的图像单元;在所述第一参考单元的边界与所述第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围;在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元。
可选地,所述在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元包括:按照所述第一图像单元从所述第一图像范围内搜索多个候选参考单元;按照每个所述候选参考单元与所述第一图像单元的相似程度,从所述多个候选参考单元中选取出所述第一参考单元。
可选地,在所述将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围之前,所述方法还包括以下之一:确定所述第一参考单元的边界与所述第一图像范围的边界之间的最短距离小于或者等于所述目标距离阈值,其中,所述目标距离阈值大于零;确定所述第一参考单元的边界与所述第一图像范围的边界有重叠,其中,所述目标距离阈值为零;确定所述第一图像单元与所述第一参考单元之间的运动矢量指向所述第一图像范围的边界,其中,所述目标距离阈值为零。
可选地,将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围包括以下至少之一:将所述第一图像范围扩展为所述第二图像范围,其中,所述第二图像范围包含所述第一图像范围,第一参考单元的边界与所述第二图像范围的边界之间的距离大于所述目标距离阈值;移动所述第一图像范围,得到所述第二图像范围,其中,第一参考单元的边界与所述第二图像范围的边界之间的距离大于所述目标距离阈值。
可选地,在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元之后,所述方法还包括:获取所述待编码图像中待进行运动估计的第二图像单元,其中,所述待编码图像采用多种不同尺寸的图像单元进行运动估计,所述第二图像单元的尺寸为目标尺寸;在所述第二图像单元被多个第三图像单元覆盖的情况下,根据与多个所述第三图像单元中对应的多个第一运动矢量,确定与所述第二图像单元对应的第二运动矢量,其中,多个所述第三图像单元与多个所述第一运动矢量一一对应,每个所述第三图像单元的尺寸与所述目标尺寸均不相同。
可选地,所述根据与多个所述第三图像单元中对应的多个第一运动矢量,确定与所述第二图像单元对应的第二运动矢量包括:对与多个所述第三图像单元对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量。
可选地,所述对与多个所述第三图像单元对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量包括:按照每个所述第三图像单元的面积占所述第二图像单元的面积的比例,确定每个所述第三图像单元的权重;按照每个所述第三图像单元的权重对与多个所述第三图像单元中对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量。
可选地,在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元之后,所述方法还包括:将所述第一图像单元与所述第二参考单元之间的相对位移,确定为与所述第一图像单元对应的第三运动矢量;按照所述第三运动矢量对所述第一图像单元进行编码,得到与所述第一图像单元对应的编码结果。
根据本申请实施例的另一个方面,提供了一种图像单元的运动估计装置,包括:第一搜索单元,用于在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,所述第一图像单元为待编码图像中待进行运动估计的图像单元;调整单元,用于在所述第一参考单元的边界与所述第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围;第二搜索单元,用于在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元。
可选地,所述第一搜索单元包括:搜索模块,用于按照所述第一图像单元从所述第一图像范围内搜索多个候选参考单元;选取模块,用于按照每个所述候选参考单元与所述第一图像单元的相似程度,从所述多个候选参考单元中选取出所述第一参考单元。
可选地,所述装置还包括以下之一:第一确定单元,用于在所述将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围之前,确定所述第一参考单元的边界与所述第一图像范围的边界之间的最短距离小于或者等于所述目标距离阈值,其中,所述目标距离阈值大于零;第二确定单元,用于确定所述第一参考单元的边界与所述第一图像范围的边界有重叠,其中,所述目标距离阈值为零;第三确定单元,用于确定所述第一图像单元与所述第一参考单元之间的运动矢量指向所述第一图像范围的边界,其中,所述目标距离阈值为零。
可选地,所述调整单元包括以下至少之一:扩展模块,用于将所述第一图像范围扩展为所述第二图像范围,其中,所述第二图像范围包含所述第一图像范围,第一参考单元的边界与所述第二图像范围的边界之间的距离大于所述目标距离阈值;移动模块,用于移动所述第一图像范围,得到所述第二图像范围,其中,第一参考单元的边界与所述第二图像范围的边界之间的距离大于所述目标距离阈值。
可选地,所述装置还包括:获取单元,用于在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元之后,获取所述待编码图像中待进行运动估计的第二图像单元,其中,所述待编码图像采用多种不同尺寸的图像单元进行运动估计,所述第二图像单元的尺寸为目标尺寸;第四确定单元,用于在所述第二图像单元被多个第三图像单元覆盖的情况下,根据与多个所述第三图像单元中对应的多个第一运动矢量,确定与所述第二图像单元对应的第二运动矢量,其中,多个所述第三图像单元与多个所述第一运动矢量一一对应,每个所述第三图像单元的尺寸与所述目标尺寸均不相同。
可选地,所述第四确定单元包括:求和模块,用于对与多个所述第三图像单元对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量。
可选地,所述求和模块包括:确定子模块,用于按照每个所述第三图像单元的面积占所述第二图像单元的面积的比例,确定每个所述第三图像单元的权重;求和子模块,用于按照每个所述第三图像单元的权重对与多个所述第三图像单元中对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量。
可选地,所述装置还包括:第五确定单元,用于在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元之后,将所述第一图像单元与所述第二参考单元之间的相对位移,确定为与所述第一图像单元对应的第三运动矢量;编码单元,用于按照所述第三运动矢量对所述第一图像单元进行编码,得到与所述第一图像单元对应的编码结果。
根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请实施例的又一个方面,还提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在本申请实施例中,采用在一个较小范围内对预测单元进行运动估计的方式,通过在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元;在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围;在第二图像范围内搜索与第一图像单元匹配的第二参考单元,由于在一个较小范围内对预测单元进行运动估计,并通过调整搜索范围的方式保证估计的准确性,可以实现缩小搜索范围、减小运动估计的资源消耗的目的,达到了提高运动估计效率、提升运动估计准确性的技术效果,进而解决了相关技术中的运动估计方式存在运动估计的效率低的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的图像单元的运动估计方法的硬件环境的示意图;
图2是根据本申请实施例的一种可选的图像单元的运动估计方法的流程图;
图3是根据本申请实施例的一种可选的扩展搜索范围的示意图;
图4是根据本申请实施例的一种可选的预测单元覆盖的示意图;
图5是根据本申请实施例的另一种可选的图像单元的运动估计方法的流程图;
图6是根据本申请实施例的一种可选的图像单元的运动估计装置的结构框图;
图7是根据本申请实施例的一种可选的电子装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释:
(1)运动估计(Motion Estimation,简称为ME):是指在视频编码过程中,对于不同帧上的图像块的运动进行估计,是视频编码中的重要环节,其准确性对视频的压缩程度有重大影响,同时运动估计的效率对视频编码速度也有较大影响。
(2)参考图像(Reference Picture,简称为RP):是指在运动估计中,被用以在其上进行搜索运动的图像帧。
(3)运动矢量(Motion Vector,简称为MV):表示当前编码块与其参考图像中的最佳匹配块之间的相对位移。
(4)运动补偿(Motion Compensation,简称为MC):是指在视频编码过程中,根据运动估计的结果,将相应的图像块按照一定规则,得到当前编码帧的图像块。
根据本申请实施例的一个方面,提供了一种图像单元的运动估计方法。可选地,在本实施例中,上述图像单元的运动估计方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端102进行连接,可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,还可以用于处理云服务,上述网络包括但不限于:广域网、城域网或局域网,终端102并不限定于PC、手机、平板电脑等。本申请实施例的图像单元的运动估计方法可以由服务器104来执行,也可以由终端102来执行,还可以是由服务器104和终端102共同执行。其中,终端102执行本申请实施例的图像单元的运动估计方法也可以是由安装在其上的客户端来执行。
以由图像编码设备(例如,终端设备)来执行本实施例中的图像单元的运动估计方法为例,图2是根据本申请实施例的一种可选的图像单元的运动估计方法的流程图,如图2所示,该方法的流程可以包括以下步骤:
步骤S202,在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元;
步骤S204,在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围;
步骤S206,在第二图像范围内搜索与第一图像单元匹配的第二参考单元。
通过上述步骤S202至步骤S206,在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元;在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围;在第二图像范围内搜索与第一图像单元匹配的第二参考单元,解决了相关技术中的运动估计方式存在运动估计的效率低的问题,提高了运动估计效率,提升了运动估计准确性。
在步骤S202提供的技术方案中,在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元。
本实施例中的图像单元的运动估计方法可以在具有图像编码需求(例如,视频编码)的场景,例如,在图像编码设备和图像解码设备之间进行图像传输的场景,图像编码设备和图像存储设备之间进行图像传输的场景。上述图像可以是目标视频中的视频帧,目标视频可以是电视剧、电影、综艺、动漫、记录片、短视频、视频会议中的视频、聊天视频、VR视频等等。执行本实施例中的图像单元的运动估计方法的设备可以是图像编码设备,也可以是视频编码设备,还可以是其他具有图像编码功能的设备,本实施例中对此不作限定。
此外,对于其他具有图像编码需求的场景,本实施例中的图像单元的运动估计方法同样适用,在上述情况下,图像可以是视频帧(视频帧图像),本实施例中对此不作限定。
例如,在对目标视频进行视频编码的过程中,视频编码设备可以依次获取各个视频帧进行编码,当前待编码的视频帧为待编码视频帧(待编码图像),待编码视频帧的参考图像为参考视频帧,参考视频帧可以是待编码视频帧的前一个视频帧,也可以前面的第N个视频帧,本实施例中对此不作限定。
需要说明的是,对目标视频中的视频帧进行编码时,可以在所有视频帧运动估计完成之后才开始进行编码,也可以一边进行运动估计一边进行运动编码。例如,在对待编码视频帧进行处理时,参考视频帧可以已经进行编码,对待编码视频帧进行运动估计使用的是参考视频帧的副本。又例如,在对待编码视频帧进行处理时,参考视频帧可以并未进行编码,而参考视频帧之前的视频帧已经进行编码,本实施例中对此不作限定。
在对待编码图像进行处理时,可以对待编码图像上的各个预测单元进行运动估计,得到各个预测单元的运动矢量。预测单元可以为图像单元,例如,图像块等,本实施例中以图像块作为示例进行说明,对于其他类型的预测单元(图像单元),例如,图像片(tile),本实施例中的运动估计方法同样适用。
对于一个预测单元,可以在一个较小范围内对其进行运动估计,得到该预测单元的最优运动矢量。待编码图像中待进行运动估计的图像单元为第一图像单元,图像编码设备可以在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元(第一参考块,第一匹配块),该第一参考单元可以是第一区域范围内第一图形单元的最佳匹配单元。
第一图像范围可以是基于某些特殊的位置所确定的范围,例如,第一图像范围可以是以与第一图像单元的基准点对应的目标点为中心的区域范围,第一图像单元的基准点可以是第一图像单元中的任意点,例如,顶点,中心点,边界中点等等,该区域范围的形状可以是圆形,方形,多边形等等。本实施例中对此不作限定。
例如,当前待编码视频帧的尺寸为:1024×768,预测单元的尺寸为4×4,当前要做运动估计的是:左上角的像素点为(x1,y1)的预测单元,在预测单元对应的参考帧上,以16个像素为界线,搜索(x1-8,y1-8)至(x1+8,y1+8)(简称为“+-8”)的范围内(第一图像范围)是否有能够与之匹配的参考单元(第一参考单元)。
需要说明的是,“+-8”这个范围是仅为示例,可以根据需要进行配置搜索范围,可以比“+-8”更大或更小,本实施例中对此不作限定。
在步骤S204提供的技术方案中,在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围。
图像编码设备可以判定第一参考单元的边界与第一图像范围的边界之间的距离是否大于目标距离阈值。如果大于目标距离阈值,则可以将第一参考单元确定为与第一图像单元最匹配的参考单元,可以根据第一图像单元和第一参考单元确定与第一图像单元对应的运动矢量。
可选地,在本实施例中,如果第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值,可以确定将第一图像范围作为与第一图像单元对应的搜索范围进行运动估计准确度不足,可以更换与第一图像单元对应的搜索范围,例如,可以将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围。
第二图像范围可以是根据第一图像范围确定的,也可以是按照预定范围调整规则确定的。第二图像范围可以与第一图像范围相关,例如,可以包含第一图像范围或者与第一图像范围有重叠。第二图像范围也可以与第一图像范围无关,例如,两者完全没有重叠。本实施例中对此不作限定。
在步骤S206提供的技术方案中,在第二图像范围内搜索与第一图像单元匹配的第二参考单元。
在将与第一图像单元对应的搜索范围调整为第二图像范围之后,图像编码设备可以采用与第一图像范围类似的方式进行搜索,得到与第一图像单元匹配的第二参考单元。
在得到第二参考单元之后,图像编码设备可以继续判断第二参考单元的边界与第二图像范围的边界之间的距离是否大于目标距离阈值,从而确定是否需要继续调整与第一图像单元对应的搜索范围。通过一次或多次搜索区域调整,最终得到第一图像单元的最优参考单元,进而确定第一图像单元的最优运动矢量。
需要说明的是,第一图像范围可以是初始图像范围,也可以是经过一轮或多轮搜索范围调整后的图像范围,本实施例中对此不作限定。
作为一种可选的实施例,在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元包括:
S11,按照第一图像单元从第一图像范围内搜索多个候选参考单元;
S12,按照每个候选参考单元与第一图像单元的相似程度,从多个候选参考单元中选取出第一参考单元。
图像编码设备可以基于图像单元与参考单元之间的相似程度,搜索与第一图像单元匹配的第一参考单元。图像编码设备可以依据第一图像单元,从第一图像范围内搜索多个候选参考单元。每个候选参考单元的尺寸与第一图像单元的尺寸可以均是相同的。
搜索候选参考单元的方式可以是:以第一图像范围的某个顶点开始,按照先行后列的方式依次获取特定尺寸的候选参考单元。例如,可以使用目标滑动窗在第一图像范围内滑动,获取多个候选参考单元,目标滑动窗的大小为第一图像单元的大小相同,滑动的方式可以为先行后列,每次滑动的步长可以为一个或多个像素点。
例如,第一图像范围为一个16×16的范围,第一图像单元的尺寸为4×4,可以以第一图像范围的顶点为起点,按照先行后列、每次移动一个像素的方式获取共计13×13个4×4的候选参考单元。
图像编码设备可以分别获取每个候选参考单元与第一图像单元的相似程度,相似程度可以但不限于使用绝对差值和(Sum of Absolute Difference,简称为SAD)等度量,对于其他的相似程度的度量方式同样适用。
图像编码设备可以按照每个候选参考单元与第一图像单元的相似程度,从多个候选参考单元中选取出第一参考单元,例如,可以选取相似程度最高的候选参考单元作为第一参考单元,也可以选取相似程度最高、且高于目标相似度阈值的候选参考单元作为第一参考单元,还可以从相似程度高于目标相似度阈值的一个或多个候选参考单元中随机选取一个作为第一参考单元,本实施例中对此不作限定。
通过本实施例,按照候选参考单元与图像单元之间的相似程度获取与图像单元匹配的参考单元,可以提高参考单元获取的准确性,进而提高运动估计的准确性。
作为一种可选的实施例,在将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围之前,上述方法还包括以下之一:
S21,确定第一参考单元的边界与第一图像范围的边界之间的最短距离小于或者等于目标距离阈值,其中,目标距离阈值大于零;
S22,确定第一参考单元的边界与第一图像范围的边界有重叠,其中,目标距离阈值为零;
S23,确定第一图像单元与第一参考单元之间的运动矢量指向第一图像范围的边界,其中,目标距离阈值为零。
需要调整与第一图像单元对应的搜索范围的条件可以有多种,可以包括但不限于以下至少之一的条件:
1)如果第一参考单元的边界与第一图像范围的边界之间的距离过近,考虑到计算误差等因素,为了保证运动估计的准确性,可以调整与第一图像单元对应的搜索范围,重新进行搜索。
2)如果第一参考单元的边界与第一图像范围的边界有重叠,可以认为该第一图像范围对于准确运动估计可能是不足的,需要调整与第一图像单元对应的搜索范围,重新进行搜索。
3)如果第一图像单元与第一参考单元之间的运动矢量指向第一图像范围的边界,可以认为该第一图像范围对于准确运动估计可能是不足的,需要调整与第一图像单元对应的搜索范围,重新进行搜索。
对于上述方式,可以在第一图像范围内对第一图像单元进行运动估计,得到第一图像单元的最优运动矢量,如果最优运动矢量指向了搜索边界,可以认为该第一图像范围对于准确运动估计可能是不足的。
例如,如果在“+-8”范围内搜索得到的运动矢量没有触及任何边界,可以确定此搜索范围已经完全可以进行运动估计,即,以在“+-8”范围内搜索的最优运动矢量,作为最终的运动估计结果,而不再进行边界扩张等进一步的运动估计。
通过本实施例,根据第一参考单元的边界和第一图像范围的边界之间的距离、或者第一图像单元与第一参考单元之间的运动矢量确定是否需要进行搜索范围调整,可以提高运动估计的准确性,减少搜索的时间和资源消耗。
作为一种可选的实施例,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围包括以下至少之一:
S31,将第一图像范围扩展为第二图像范围,其中,第二图像范围包含第一图像范围,第一参考单元的边界与第二图像范围的边界之间的距离大于目标距离阈值;
S32,移动第一图像范围,得到第二图像范围,其中,第一参考单元的边界与第二图像范围的边界之间的距离大于目标距离阈值。
图像编码设备可以采用多种方式调整与第一图像单元对应的搜索范围,可以包括但不限于以下至少之一的调整方式:范围扩展,范围移动(平移),调整的依据可以是:使得第一参考单元的边界与第二图像范围的边界之间的距离大于目标距离阈值。
作为一种可选的实施例方式,图像编码设备可以扩展第一图像范围,将其扩展为第二图像范围,扩展后得到的第二图像范围可以包含第一图像范围。
区域扩展可以是区域整体的扩展,例如,对于多边形的区域范围,可以控制多个边界分别向外扩展,对于圆形的区域范围,可以保持圆心不变,增加半径,以控制圆形边界向外扩展。
区域扩展也可以是部分区域的扩展,即,控制与第一参考单元邻近的边界向外扩展,例如,对于多边形的区域范围,可以控制多个边界中与第一参考单元相邻的边界(最近距离小于或者等于目标距离阈值的边界)向外扩展,对于圆形的区域范围,可以控制与第一参考单元相邻的边界点向外扩展,以控制圆形边界向外扩展。
例如,在上述“+-8”的搜索过程中,如果得到的运动矢量指向(x1-8,y1-8)的位置,则表示最优运动矢量指向了搜索边界。此时,认为“+-8”的搜索范围对于准确运动估计可能是不足的,需要将搜索范围进一步扩大,扩张为在(x1-16,y1-16)至(x1+8,y1+8)的24×24个像素范围内进行搜索,如图3所示。
作为另一种可选的实施例方式,图像编码设备可以移动第一图像范围,得到第二图像范围,第二图像范围与第一图像范围的区域大小相同,位置不同。
第一图像范围的移动方向可以是:向任意方向移动,并从移动后得到的多个图像范围中选取出第二图像范围,也可以是向目标方向移动,该目标方向可以是:第一图像范围的中心向第一参考单元移动的方向,也就是,与第一参考单元相邻的边界远离第一参考单元的方向移动。
通过本实施例,采用扩展或者移动的方式调整图像单元对应的搜索范围,可以提高搜索范围调整的效率,进而提高运动估计的效率。
为了更有效的进行视频压缩,新一代的视频编码标准(如:AV1)引入了更为复杂的运动补偿机制,如规定了大量非方形的运动补偿单元(例如,4×8,4×16,16×8等),多种形式的组合运动补偿等,使得运动的图像编码效率大幅提升。然而,由于这些预测单元(上述运动补偿单元)均需要进行运动估计,导致运动估计的效率通常较低。
例如,一个16×16像素图像块,在编码的决策过程中,可能采取一个16×16、两个16×8和四个4×16的三种划分方式进行运动补偿。可能分别需要三次、或者需要更多次独立的运动估计,运动估计的效率较低。
可选地,对于视频编码标准引入的同形而构成递归结构的运动补偿单元,本实施例中还提供了对此类预测单元(图像单元)的运动估计方法,可以快速的对视频的运动进行估计,同时几乎不损失运动估计的精度,以及编码视频质量。
作为一种可选的实施例,上述图像单元的运动估计方法可以包括:
S41,获取待编码图像中待进行运动估计的第二图像单元,其中,待编码图像采用多种不同尺寸的图像单元进行运动估计,第二图像单元的尺寸为目标尺寸;
S42,在第二图像单元被多个第三图像单元覆盖的情况下,根据与多个第三图像单元中对应的多个第一运动矢量,确定与第二图像单元对应的第二运动矢量,其中,多个第三图像单元与多个第一运动矢量一一对应,每个第三图像单元的尺寸与目标尺寸均不相同。
本实施例中所提供的快速运动估计方法(算法),可以同时对多种不同尺寸(例如,16×16、16×8和8×8三种尺寸)的预测单元进行运动估计。利用预测单元之间的覆盖冗余,可以自适应于不同复杂度的运动。
图像编码设备可以采用不同的方式对不相互覆盖的预测单元和被其他预测单元覆盖的预测单元进行运动估计。
图像编码设备可以对全部不相互覆盖的预测单元(例如,未被其他图像单元覆盖的图像单元)进行运动估计,得到各个预测单元的最优运动矢量。对预测单元进行运动估计的方式可以与前述相同或者类似,本实施例中对此不作限定。
需要说明的是,图像单元(相互覆盖的运动的预测单元)之间的覆盖是指:一个图像单元(比如,第二图像单元)被多个图像单元(例如,第三图像单元)完全覆盖(没有未被覆盖的区域),多个图像单元之间没有重叠。
例如,16×16的图像块可以划分为两个16×8、或者四个8×8的预测单元。则每一个16×16的预测单元完全可以被对应的四个8×8单元覆盖,每一个16×8的预测单元完全可以被对应的两个8×8单元覆盖(如图4所示)。
对于被其他预测单元覆盖的预测单元,可以采用覆盖其的预测单元的运动矢量估计其运动矢量。
图像编码设备可以获取待编码图像中待进行运动估计的第二图像单元,该第二图像单元的尺寸为目标尺寸,第二图像单元被多个第三图像单元覆盖,每个第三图像单元的尺寸与目标尺寸均不相同。
在对第二图像单元进行运动估计时,图像编码设备可以根据与各第三图像单元中对应的运动矢量(第一运动矢量),确定与第二图像单元对应的运动矢量(第二运动矢量)。
例如,对于被对应的两个8×8的预测单元覆盖的16×8的预测单元,可以根据两个8×8的预测单元的运动矢量,得到该16×8的预测单元的运动矢量,而不对上述这种16×8的预测单元进行运动估计。
通过本实施例,利用预测单元之间的覆盖冗余确定被其他预测单元覆盖的预测单元的运动矢量,可以减少需要运动估计的预测单元的数量,提高运动估计的效率。
作为一种可选的实施例,根据与多个第三图像单元中对应的多个第一运动矢量,确定与第二图像单元对应的第二运动矢量包括:
S51,对与多个第三图像单元对应的多个第一运动矢量进行加权求和,得到与第二图像单元对应的第二运动矢量。
确定与第二图像单元对应的第二运动矢量的方式可以有多种,例如,可以从多个第一运动矢量中选取一个运动矢量作为第二运动矢量,又例如,可以从多个第一运动矢量中选取至少两个运动矢量进行加权求和,得到第二运动矢量。
可选地,在本实施例中,可以依据每个第三图像单元对应的运动矢量确定与第二图像单元对应的第二运动矢量,即,每个第三图像单元对应的运动矢量均会影响到与第二图像单元对应的第二运动矢量。
图像编码设备可以对与多个第三图像单元对应的多个第一运动矢量进行加权求和,将加权求和后得到的运动矢量,作为与第二图像单元对应的第二运动矢量。
例如,所有类似上述16×8的像素块的运动估计,是由其对应的覆盖8×8的像素块加权求和得到的,而不需要进行独立的运动估计。
通过本实施例,通过各个覆盖片(图像单元)的运动矢量的加权和估计被覆盖的预测单元的运动矢量,可以提高运动矢量确定的合理性和准确性。
作为一种可选的实施例,对与多个第三图像单元对应的多个第一运动矢量进行加权求和,得到与第二图像单元对应的第二运动矢量包括:
S61,按照每个第三图像单元的面积占第二图像单元的面积的比例,确定每个第三图像单元的权重;
S62,按照每个第三图像单元的权重对与多个第三图像单元中对应的多个第一运动矢量进行加权求和,得到与第二图像单元对应的第二运动矢量。
在对个第一运动矢量进行加权求和时,每个第一运动矢量对应的权重可以按照第三图像单元的面积比例确定。图像编码设备可以按照每个第三图像单元的面积占第二图像单元的面积的比例,确定每个第三图像单元的权重。按照每个第三图像单元的权重,图像编码设备可以对多个第一运动矢量进行加权求和,得到与第二图像单元对应的第二运动矢量。
例如,对于上述16×8图像块,其两个8×8覆盖块的运动矢量搜索结果为(v1,u1)和(v2,u2),则16×8图像块的运动矢量被估计为:(v1+v2,u1+u2)/2,权重是依照每一个覆盖图像块的面积比例得到的。
通过本实施例,按照覆盖图像单元的面积比例对运动矢量进行加权求和,可以保证权值确定的准确性,进而提高运动估计的准确性。
作为一种可选的实施例,在第二图像范围内搜索与第一图像单元匹配的第二参考单元之后,上述方法还包括:
S71,将第一图像单元与第二参考单元之间的相对位移,确定为与第一图像单元对应的第三运动矢量;
S72,按照第三运动矢量对第一图像单元进行编码,得到与第一图像单元对应的编码结果。
在第二图像范围内搜索与第一图像单元匹配的第二参考单元之后,如果第二参考单元不是第一图像单元的最优参考单元,则可以继续调整与第一图像单元对应的搜索范围,直到找到第一图像单元的最优参考单元。
如果第二参考单元的边界与第二图像范围的边界之间的距离大于目标距离阈值,则可以确定第二参考单元是第一图像单元的最优参考单元,图像编码设备可以将第一图像单元与第二参考单元之间的相对位移,确定为与第一图像单元对应的第三运动矢量(MV),并按照第三运动矢量对第一图像单元进行编码,得到与第一图像单元对应的编码结果,编码结果可以指示第二参考单元和第三运动矢量。
可选地,在本实施例中,图像编码设备可以确定与第一图像单元对应的最优参考单元,将第一图像单元与最优参考单元(例如,第二参考单元)之间的相对位移,确定为与第一图像单元对应的第三运动矢量。图像编码设备还可以第一图像单元与最优参考单元之间的差异信息以及最优参考单元在参考图像中的位置信息,并根据第三运动矢量、差异信息和位置信息对第一图像单元进行编码,得到与第一图像单元对应的编码结果,该编码结果可以指示第三运动矢量、第一图像单元与最优参考单元的差异信息以及最优参考单元的位置信息。
图像编码设备可以将与第一图像单元对应的编码结果传输给图像解码设备,图像解码设备根据与第一图像单元对应的编码结果对第一图像单元进行解码,从而恢复第一图像单元,具体过程可以参考相关技术,本实施例中对此不作赘述。
通过本实施例,将图像单元与最优参考单元之间的相对位移,确定为与图像单元对应的运动矢量,从而对图像单元进行编码,可以提高图像编码的准确性,提升图像编码的效率。
下面结合可选示例对本申请实施例中的图像单元的运动估计方法进行解释说明。在本示例中,参考图像和待编码图像均为视频帧,图像单元为预测单元。
本示例中提供了一种快速运动估计算法,能够同时对多种不同尺寸的运动补偿单元进行运动估计,充分利用预测单元之间的覆盖冗余,能够对不同复杂程度的运动情形进行自适应的快速运动矢量搜索。
如图5所示,本示例中的图像单元的运动估计方法的流程可以包括以下步骤:
步骤S502,在一个较小范围内对全部的不相互覆盖预测单元进行运动估计,得到各个预测单元的最优运动矢量。
对于全部的不相互覆盖预测单元,可以分别进行运动估计,得到各个预测单元的最优运动矢量。
对于一个预测单元,可以在一个较小范围内对进行运动估计,如果得到该预测单元的最优运动矢量。如果得到的最优运动矢量中存在指向搜索边界的情形,则扩张搜索边界,重新进行搜索,直到得到的最优运动矢量中不指向搜索边界。否则,停止搜索,以当前运动矢量作为对该预测单元的运动估计。
步骤S504,对被其他预测单元覆盖的预测单元,以各个覆盖片的运动矢量的加权和,作为估计的其运动矢量。
通过本示例,利用扩张搜索的方式以及利用预测单元之间的覆盖冗余的方式进行运动估计,可以对存在大量递归结构的视频帧进行快速编码,可以更为有效地进行运动估计,节省编码时间,而几乎不影响编码得到视频的质量和码率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面,还提供了一种用于实施上述图像单元的运动估计方法的图像单元的运动估计装置。图6是根据本申请实施例的一种可选的图像单元的运动估计装置的结构框图,如图6所示,该装置可以包括:
第一搜索单元602,用于在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元;
调整单元604,与第一搜索单元602相连,用于在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围;
第二搜索单元606,与调整单元604相连,用于在第二图像范围内搜索与第一图像单元匹配的第二参考单元。
需要说明的是,该实施例中的第一搜索单元602可以用于执行上述步骤S202,该实施例中的调整单元604可以用于执行上述步骤S204,该实施例中的第二搜索单元606可以用于执行上述步骤S206。
通过上述模块,在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元;在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围;在第二图像范围内搜索与第一图像单元匹配的第二参考单元,解决了相关技术中的运动估计方式存在运动估计的效率低的问题,提高了运动估计效率,提升了运动估计准确性。
作为一种可选的实施例,第一搜索单元602包括:
搜索模块,用于按照第一图像单元从第一图像范围内搜索多个候选参考单元;
选取模块,用于按照每个候选参考单元与第一图像单元的相似程度,从多个候选参考单元中选取出第一参考单元。
作为一种可选的实施例,上述装置还包括以下之一:
第一确定单元,用于在将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围之前,确定第一参考单元的边界与第一图像范围的边界之间的最短距离小于或者等于目标距离阈值,其中,目标距离阈值大于零;
第二确定单元,用于确定第一参考单元的边界与第一图像范围的边界有重叠,其中,目标距离阈值为零;
第三确定单元,用于确定第一图像单元与第一参考单元之间的运动矢量指向第一图像范围的边界,其中,目标距离阈值为零。
作为一种可选的实施例,调整单元604包括以下至少之一:
扩展模块,用于将第一图像范围扩展为第二图像范围,其中,第二图像范围包含第一图像范围,第一参考单元的边界与第二图像范围的边界之间的距离大于目标距离阈值;
移动模块,用于移动第一图像范围,得到第二图像范围,其中,第一参考单元的边界与第二图像范围的边界之间的距离大于目标距离阈值。
作为一种可选的实施例,上述装置还包括:
获取单元,用于在第二图像范围内搜索与第一图像单元匹配的第二参考单元之后,获取待编码图像中待进行运动估计的第二图像单元,其中,待编码图像采用多种不同尺寸的图像单元进行运动估计,第二图像单元的尺寸为目标尺寸;
第四确定单元,用于在第二图像单元被多个第三图像单元覆盖的情况下,根据与多个第三图像单元中对应的多个第一运动矢量,确定与第二图像单元对应的第二运动矢量,其中,多个第三图像单元与多个第一运动矢量一一对应,每个第三图像单元的尺寸与目标尺寸均不相同。
作为一种可选的实施例,第四确定单元包括:
求和模块,用于对与多个第三图像单元对应的多个第一运动矢量进行加权求和,得到与第二图像单元对应的第二运动矢量。
作为一种可选的实施例,求和模块包括:
确定子模块,用于按照每个第三图像单元的面积占第二图像单元的面积的比例,确定每个第三图像单元的权重;
求和子模块,用于按照每个第三图像单元的权重对与多个第三图像单元中对应的多个第一运动矢量进行加权求和,得到与第二图像单元对应的第二运动矢量。
作为一种可选的实施例,上述装置还包括:
第五确定单元,用于在第二图像范围内搜索与第一图像单元匹配的第二参考单元之后,将第一图像单元与第二参考单元之间的相对位移,确定为与第一图像单元对应的第三运动矢量;
编码单元,用于按照第三运动矢量对第一图像单元进行编码,得到与第一图像单元对应的编码结果。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的又一个方面,还提供了一种用于实施上述图像单元的运动估计方法的电子装置,该电子装置可以是终端设备、服务器、或者其组合。
图7是根据本申请实施例的一种可选的电子装置的结构框图,如图7所示,该电子装置包括存储器702和处理器704,该存储器702中存储有计算机程序,该处理器704被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元;
S2,在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围;
S3,在第二图像范围内搜索与第一图像单元匹配的第二参考单元。
其中,存储器702可用于存储软件程序以及模块,如本发明实施例中的图像单元的运动估计方法和装置对应的程序指令/模块,处理器704通过运行存储在存储器702内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述图像单元的运动估计方法。存储器702可包括高速随机存储器,还可以包括非易失性存储器,如一个或多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器702可进一步包括相对于处理器704远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器702可以但不限于用于存储参考图像和待编码图像等。
作为一种示例,如图7所示,上述存储器702中可以但不限于包括上述图像单元的运动估计装置中的第一搜索单元602、调整单元604、以及第二搜索单元606。此外,还可以包括但不限于上述图像单元的运动估计装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置706用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置706包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置706为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器708,用于显示参考图像和待编码图像;连接总线710,用于连接上述电子装置中的各个模块部件。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图7所示的结构仅为示意,实施上述图像单元的运动估计方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如,终端设备还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图7所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
根据本申请实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行图像单元的运动估计方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S1,在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,第一图像单元为待编码图像中待进行运动估计的图像单元;
S2,在第一参考单元的边界与第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与第一图像单元对应的搜索范围由第一图像范围调整为第二图像范围;
S3,在第二图像范围内搜索与第一图像单元匹配的第二参考单元。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种图像单元的运动估计方法,其特征在于,包括:
在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,所述第一图像单元为待编码图像中待进行运动估计的图像单元;
在所述第一参考单元的边界与所述第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围;
在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元。
2.根据权利要求1所述的方法,其特征在于,所述在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元包括:
按照所述第一图像单元从所述第一图像范围内搜索多个候选参考单元;
按照每个所述候选参考单元与所述第一图像单元的相似程度,从所述多个候选参考单元中选取出所述第一参考单元。
3.根据权利要求1所述的方法,其特征在于,在所述将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围之前,所述方法还包括以下之一:
确定所述第一参考单元的边界与所述第一图像范围的边界之间的最短距离小于或者等于所述目标距离阈值,其中,所述目标距离阈值大于零;
确定所述第一参考单元的边界与所述第一图像范围的边界有重叠,其中,所述目标距离阈值为零;
确定所述第一图像单元与所述第一参考单元之间的运动矢量指向所述第一图像范围的边界,其中,所述目标距离阈值为零。
4.根据权利要求1所述的方法,其特征在于,将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围包括以下至少之一:
将所述第一图像范围扩展为所述第二图像范围,其中,所述第二图像范围包含所述第一图像范围,第一参考单元的边界与所述第二图像范围的边界之间的距离大于所述目标距离阈值;
移动所述第一图像范围,得到所述第二图像范围,其中,第一参考单元的边界与所述第二图像范围的边界之间的距离大于所述目标距离阈值。
5.根据权利要求1所述的方法,其特征在于,在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元之后,所述方法还包括:
获取所述待编码图像中待进行运动估计的第二图像单元,其中,所述待编码图像采用多种不同尺寸的图像单元进行运动估计,所述第二图像单元的尺寸为目标尺寸;
在所述第二图像单元被多个第三图像单元覆盖的情况下,根据与多个所述第三图像单元中对应的多个第一运动矢量,确定与所述第二图像单元对应的第二运动矢量,其中,多个所述第三图像单元与多个所述第一运动矢量一一对应,每个所述第三图像单元的尺寸与所述目标尺寸均不相同。
6.根据权利要求5所述的方法,其特征在于,所述根据与多个所述第三图像单元中对应的多个第一运动矢量,确定与所述第二图像单元对应的第二运动矢量包括:
对与多个所述第三图像单元对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量。
7.根据权利要求6所述的方法,其特征在于,所述对与多个所述第三图像单元对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量包括:
按照每个所述第三图像单元的面积占所述第二图像单元的面积的比例,确定每个所述第三图像单元的权重;
按照每个所述第三图像单元的权重对与多个所述第三图像单元中对应的多个所述第一运动矢量进行加权求和,得到与所述第二图像单元对应的所述第二运动矢量。
8.根据权利要求1至7中任一项所述的方法,其特征在于,在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元之后,所述方法还包括:
将所述第一图像单元与所述第二参考单元之间的相对位移,确定为与所述第一图像单元对应的第三运动矢量;
按照所述第三运动矢量对所述第一图像单元进行编码,得到与所述第一图像单元对应的编码结果。
9.一种图像单元的运动估计装置,其特征在于,包括:
第一搜索单元,用于在参考图像的第一图像范围内搜索与第一图像单元匹配的第一参考单元,其中,所述第一图像单元为待编码图像中待进行运动估计的图像单元;
调整单元,用于在所述第一参考单元的边界与所述第一图像范围的边界之间的距离小于或者等于目标距离阈值的情况下,将与所述第一图像单元对应的搜索范围由所述第一图像范围调整为第二图像范围;
第二搜索单元,用于在所述第二图像范围内搜索与所述第一图像单元匹配的第二参考单元。
10.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8中任一项中所述的方法。
11.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至8中任一项中所述的方法。
CN202010955436.1A 2020-09-11 2020-09-11 图像单元的运动估计方法和装置、存储介质和电子装置 Pending CN114173129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010955436.1A CN114173129A (zh) 2020-09-11 2020-09-11 图像单元的运动估计方法和装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010955436.1A CN114173129A (zh) 2020-09-11 2020-09-11 图像单元的运动估计方法和装置、存储介质和电子装置

Publications (1)

Publication Number Publication Date
CN114173129A true CN114173129A (zh) 2022-03-11

Family

ID=80475321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010955436.1A Pending CN114173129A (zh) 2020-09-11 2020-09-11 图像单元的运动估计方法和装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN114173129A (zh)

Similar Documents

Publication Publication Date Title
CN110249628B (zh) 用于预测分区的视频编码器和解码器
CN107734335B (zh) 图像预测方法及相关装置
CN110460859B (zh) 历史运动矢量列表的使用方法、编解码器及存储装置
CN101682775B (zh) 运动矢量搜索方法和装置
CN118055253A (zh) 用于视频代码化中的运动补偿预测的光流估计
KR101409826B1 (ko) 적응적 탐색 범위를 이용한 움직임 예측 방법
US11818379B2 (en) Picture encoding and decoding method and apparatus for video sequence
Liu et al. H. 264/AVC video error concealment algorithm by employing motion vector recovery under cloud computing environment
US10924758B2 (en) Method and apparatus for determining a motion vector
WO2016015155A1 (en) Adaptive search window positioning for video encoding
JP2005341580A (ja) 動き推定および補償に基づいた画像補間システムのための方法と装置
CN110166770B (zh) 视频编码方法、装置、计算机设备和存储介质
CN109565601B (zh) 一种基于模板匹配的预测方法及装置
CN114173129A (zh) 图像单元的运动估计方法和装置、存储介质和电子装置
CN114157868B (zh) 视频帧的编码模式筛选方法、装置及电子设备
US9883205B2 (en) Method of inter-view residual prediction with reduced complexity in three-dimensional video coding
CN110545428A (zh) 一种运动估计方法及装置、服务器及计算机可读存储介质
Varma et al. Complexity reduction of test zonal search for fast motion estimation in uni-prediction of high efficiency video coding
CN114040209A (zh) 运动估计方法、装置、电子设备及存储介质
US20160286212A1 (en) Video encoding apparatus and method, and video decoding apparatus and method
CN116760986B (zh) 候选运动矢量生成方法、装置、计算机设备和存储介质
JP2016187134A (ja) 予測モード判定方法及び予測モード判定プログラム
CN110572654B (zh) 视频编码、解码方法和装置、存储介质及电子装置
Kazemi Refinement of the recovered motion vectors for error concealment in HEVC
CN110662060B (zh) 视频编码方法和装置、视频解码方法和装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination