CN111968151B - 一种运动估计精细搜索方法及装置 - Google Patents

一种运动估计精细搜索方法及装置 Download PDF

Info

Publication number
CN111968151B
CN111968151B CN202010632436.8A CN202010632436A CN111968151B CN 111968151 B CN111968151 B CN 111968151B CN 202010632436 A CN202010632436 A CN 202010632436A CN 111968151 B CN111968151 B CN 111968151B
Authority
CN
China
Prior art keywords
image block
block
matching
point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010632436.8A
Other languages
English (en)
Other versions
CN111968151A (zh
Inventor
张磊
刘元福
文湘鄂
束文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Original Assignee
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boya Huishi Intelligent Technology Research Institute Co ltd filed Critical Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority to CN202010632436.8A priority Critical patent/CN111968151B/zh
Publication of CN111968151A publication Critical patent/CN111968151A/zh
Application granted granted Critical
Publication of CN111968151B publication Critical patent/CN111968151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动估计精细搜索方法及装置,方法包括:获取图像块和包含运动估计粗搜索匹配点的参考窗;在参考窗中根据图像块的大小确定搜索区域;确定所述图像块具有的不同分割模式;将所述图像块在所述搜索区域中进行搜索,以获得每种分割模式下图像块的匹配点。通过确定出图像块可分割的分割模式,进而在给定的参考窗的搜索区域中搜索出每种分割模式下图像块的匹配点,由于在搜索匹配点时没有进行采样搜索,因此搜索出的匹配点相对运动估计粗搜索匹配点更加精确,获得的每种分割模式下的匹配点的准确度也高,从而为后续的分数像素运动估计流程能够提供准确的参考。

Description

一种运动估计精细搜索方法及装置
技术领域
本发明涉及数字视频处理技术领域,具体涉及一种运动估计精细搜索方法及装置。
背景技术
运动估计(ME)是视频压缩编码的关键技术之一,一直备受人们关注。块匹配运动估计因其具有简单高效、易于软硬件实现的特点而广泛应用于各视频编码标准,其基本原理时将图像序列的每一帧分割成互不重叠的M*N运动块,并认为运动块内的所有像素有相同的位移量,然后在参考帧某一给定的搜索范围内根据一定的匹配准则找到与当前块最接近的块,即匹配块,搜索匹配块的过程称为运动估计。而搜索策略决定了运动估计搜索算法的计算复杂度和搜索精度,因此对于搜索策略的设计一直备受研究者们的关注。
发明内容
本发明的目的是针对上述现有技术的不足提出的一种运动估计精细搜索方法及装置,该目的是通过以下技术方案实现的。
本发明的第一方面提出了一种运动估计精细搜索方法,所述方法包括:
获取图像块和包含运动估计粗搜索匹配点的参考窗;
在所述参考窗中根据所述图像块的大小确定搜索区域;
确定所述图像块具有的不同分割模式;
将所述图像块在所述搜索区域中进行搜索,以获得每种分割模式下所述图像块的匹配点。
本发明的第二方面提出了一种运动估计精细搜索装置,所述装置包括:
获取模块,用于获取图像块和包含运动估计粗搜索匹配点的参考窗;
确定模块,用于在所述参考窗中根据所述图像块的大小确定搜索区域,并确定所述图像块具有的不同分割模式;
搜索模块,用于将所述图像块在所述搜索区域中进行搜索,以获得每种分割模式下所述图像块的匹配点。
基于上述第一方面和第二方面所述的搜索方案,通过确定出图像块可分割的分割模式,进而在给定的参考窗的搜索区域中搜索出每种分割模式下所述图像块的匹配点,由于在搜索匹配点时没有进行采样搜索,因此搜索出的匹配点相对运动估计粗搜索匹配点更加精确,获得的每种分割模式下的匹配点的准确度也高,从而为后续的分数像素运动估计(FME)流程能够提供准确的参考。又由于本搜索方案搜索的是图像块在多种分割模式下的匹配点,因此可以为后续的分数像素运动估计提供更加精细的搜索参考。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明根据一示例性实施例示出的一种运动估计精细搜索方法的实施例流程图;
图2为本发明根据一示例性实施例示出的一种电子设备的硬件结构图;
图3为本发明根据一示例性实施例示出的一种运动估计精细搜索装置的实施例流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了降低运动估计搜索算法的计算复杂度并提高搜索精度,本发明在获取到运动估计粗搜索匹配点的前提下,在包含该匹配点的小搜索范围内进一步做细致的整像素搜索,以为后续的分数像素运动估计(FME)流程提供准确的参考。
具体实现过程为:获取图像块和包含运动估计粗搜索匹配点的参考窗,然后在参考窗中根据图像块的大小确定搜索区域,并确定图像块具有的不同分割模式,最后将图像块在搜索区域中进行搜索,以获得每种分割模式下图像块的匹配点。
基于上述描述可知,通过确定出图像块可分割的分割模式,进而在给定的参考窗的搜索区域中搜索出每种分割模式下所述图像块的匹配点,由于在搜索匹配点时没有进行采样搜索,因此搜索出的匹配点相对运动估计粗搜索匹配点更加精确,获得的每种分割模式下的匹配点的准确度也高,从而为后续的分数像素运动估计(FME)流程能够提供准确的参考。又由于本搜索方案搜索的是图像块在多种分割模式下的匹配点,因此可以为后续的分数像素运动估计提供更加精细的搜索参考。
下面以具体实施例对本申请提出的运动估计搜索算法进行详细阐述。
图1为本发明根据一示例性实施例示出的一种运动估计精细搜索方法的实施例流程图,该运动估计精细搜索方法可以应用在任意电子设备(如摄像机、PC机等)上,如图1所示,该运动估计精细搜索方法包括如下步骤:
步骤101:获取图像块和包含运动估计粗搜索匹配点的参考窗。
其中,图像块为待参与编码的图像帧经过划分获得的一块图像,运动估计粗搜索匹配点指的是该图像块在参考帧的特定搜索范围内按照一定的采样率进行搜索获得的最优匹配点。
本领域技术人员可以理解的是,包含运动估计粗搜索匹配点的参考窗可以是粗搜索匹配时的搜索范围中的一部分区域,也可以是粗搜索匹配时的搜索范围。
步骤102:在参考窗中根据图像块的大小确定搜索区域。
在一实施例中,为了在搜索时能取点后补齐与图像块同样大小的待匹配块,可以通过获取图像块的宽度和高度,并去除参考窗中最后的所述宽度数量个列和所述第一搜索窗中最后的所述高度数量个行的数据后剩余的数据区域作为搜索区域。
示例性的,为了保证搜索精度,在获取参考窗时,可以先以运动估计粗搜索匹配点为中心分别向上下扩展相同行,分别向左右扩展相同列的像素点后,接着再向右扩展图像块宽度数量个列,再向下扩展图像块高度数量个行,以此作为参考窗。
由此可见,确定出的搜索区域的中心点为运动估计粗搜索匹配点,且在参考窗中,以搜索区域中的最大坐标点为起始点向右下补齐,向右下补齐的数据块中的最大坐标点为参考窗中的最大坐标点,所述数据块与图像块的大小相同。
以参考窗84*84,图像块64*64,运动估计粗搜索匹配点(10,10)为例,假设进行搜索时取点后是向右下补齐数据块,去除参考窗中最后的64个列和最后的64个行的数据后得到20*20大小的搜索区域,该搜索区域的左上角的起始点为(0,0),右下角的终止点为(20,20),运动估计粗搜索匹配点(10,10)为搜索区域的中心点。
步骤103:确定图像块具有的不同分割模式。
示例性的,当图像块为64*64时,具有的分割模式可以有8*8大小分割模式、16*16大小分割模式、32*32大小分割模式、64*64大小分割模式。
8*8大小分割模式指的是所述图像块的每一行像素组成一个8*8的像素块,因此可以分割出64个8*8的像素块;16*16大小分割模式指的是所述图像块的每4行像素组成一个16*16的像素块,因此可以分割出16个16*16的像素块;32*32大小分割模式指的是所述图像块的每16行像素组成一个32*32的像素块,因此可以分割出4个32*32的像素块,64*64大小分割模式即为原始的图像块。
本领域技术人员可以理解的是,64*64的图像块的分割模式还可以由2*2大小分割模式、4*4大小分割模式。
步骤104:将图像块在搜索区域中进行搜索,以获得每种分割模式下图像块的匹配点。
在一实施例中,可以针对搜索区域中的每一像素点,在参考窗中以该像素点为起始点补齐一个与图像块相同大小的待匹配块,计算图像块与待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值,并针对每种分割模式,依据该分割模式对应记录的匹配值块,从所述搜索区域包含的像素点中选取所述图像块的匹配点。
其中,如果确定搜索区域是从参考窗的最后去除数据,那么待匹配块指的是取像素点后向右向下补齐的一个数据块。匹配值即为对应两个像素点的像素差的绝对值。
值得注意的是,每种分割模式对应记录有至少一个匹配值块。
例如,对于64*64的图像块具有的8*8大小分割模式、16*16大小分割模式、32*32大小分割模式和64*64大小分割模式,在分别按照每种分割模式记录计算得到的匹配值时,每计算图像块中的一行像素点(64个)与待匹配块对应像素点的匹配值后,便将这64个匹配值以8*8的矩阵记录下来,同时当每记录四个8*8的矩阵后,便将这256个匹配值以16*16的矩阵记录下来,当每记录16个8*8的矩阵后,便将这1024个匹配值以32*32的矩阵记录下来,直至计算完图像块的所有像素行,便将4096个匹配值以64*64的矩阵记录下来。
由此可见,最终按照8*8大小分割模式可以记录64个8*8的匹配值块,按照16*16大小分割模式可以记录16个16*16的匹配值块、按照32*32大小分割模式可以记录4个32*32的匹配值块,按照64*64大小分割模式可以记录1个64*64的匹配值块。
需要说明的是,为了降低访存工作量,进一步提高搜索效率,根据设备可提高的计算能力,可以在设备中预先设置多个计算单元并行执行,每个计算单元每次可以处理一个像素点,且多个计算单元的硬件结构相同。
基于此,针对搜索区域中的每一像素点,在参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算图像块与待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值的过程,可以通过获取本地设有的计算单元的数量,每次在搜索区域中选取所述数量个像素点后,为选取的每个像素点分配一个计算单元,用于执行在参考窗中以该像素点为起始点补齐一个与图像块相同大小的待匹配块,计算图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值,直至在搜索区域中未选取的像素点的个数小于所述数量时,为未选取的每个像素点分配一个计算单元,用于执行在参考窗中以该像素点为起始点补齐一个与图像块相同大小的待匹配块,计算图像块与待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值。
示例性的,所述由硬件结构实现的计算单元可以包括图像块的缓存器、待匹配块的缓存器以及多个比较器。
在上述例子基础上,假设以设有10个计算单元为例,可以每次在20*20的搜索区域中选取10个像素点后,为每个像素点分配一个计算单元执行在参考窗中以该像素点为起始点补齐一个64*64大小的待匹配块,计算64*64的图像块与64*64的待匹配块对应像素点的匹配值,以此类推,10个计算单元并行执行(20*20)/10=40次,即可计算完搜索区域中所有像素点的匹配值。
在一实施例中,针对依据该分割模式对应记录的匹配值块,从搜索区域包含的像素点中选取所述图像块的匹配点过程,可以针对搜索区域包含的每一像素点,确定该像素点对应在该分割模式下对应记录的每一匹配值块的运动搜索代价值,然后从搜索区域包含的像素点中,为每一匹配值块选取一个最小运动搜索代价值对应的像素点,并作为该分割模式下图像块的匹配点。
其中,运动搜索代价值MEcost的计算公式如下:
MEcost=SAD+λ*(像素点的坐标-PMV)
其中,SAD表示某像素点对应在某分割模式下对应记录的其中一个匹配值块中匹配值的累加之和,λ表示经验系数,PMV为该图像块的预测运动矢量,由所属图像帧中已搜索图像块对应的运动矢量预测得到,可采用相关技术实现,(像素点的坐标-PMV)为两个坐标相减取绝对值后相加得到的值。
基于上述给出的例子,对于64*64的图像块:
按照8*8大小分割模式记录了64个8*8的匹配值块,因此针对搜索区域中每个像素点,可以确定出64个运动搜索代价值,其中,搜索区域中每个像素点对应的第一个8*8匹配值块的运动搜索代价值,指的是图像块中的第一行像素相对搜索区域中每个像素点的匹配程度,因此第一行像素对应有400个运动搜索代价值。因此,从400个运动搜索代价值中选取一个最小值对应的像素点,即为图像块的匹配点,具体为图像块中第一行像素的匹配点。由此可见,8*8大小分割模式下图像块的匹配点有64个。
基于同样的原理,按照16*16大小分割模式记录的16个16*16的匹配值块,可以比较出16个匹配点,具体为图像块中的每4行像素对应1个匹配点。
按照32*32大小分割模式记录的4个32*32的匹配值块,可以比较出4个匹配点,具体为图像块中的每16行像素对应1个匹配点。
按照64*64大小分割模式记录的1个64*64的匹配值块,可以比较出1个匹配点,即整个图像块对应1个匹配点。
至此,完成上述图1所示搜索流程,通过确定出图像块可分割的分割模式,进而在给定的参考窗的搜索区域中搜索出每种分割模式下所述图像块的匹配点,由于在搜索匹配点时没有进行采样搜索,因此搜索出的匹配点相对运动估计粗搜索匹配点更加精确,获得的每种分割模式下的匹配点的准确度也高,从而为后续的分数像素运动估计(FME)流程能够提供准确的参考。又由于本搜索方案搜索的是图像块在多种分割模式下的匹配点,因此可以为后续的分数像素运动估计提供更加精细的搜索参考。
图2为本发明根据一示例性实施例示出的一种电子设备的硬件结构图,该电子设备包括:通信接口201、处理器202、机器可读存储介质203和总线204;其中,通信接口201、处理器202和机器可读存储介质203通过总线204完成相互间的通信。处理器202通过读取并执行机器可读存储介质203中与运动估计精细搜索方法的控制逻辑对应的机器可执行指令,可执行上文描述的运动估计精细搜索方法,该方法的具体内容参见上述实施例,此处不再累述。
本发明中提到的机器可读存储介质203可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:易失存储器、非易失性存储器或者类似的存储介质。具体地,机器可读存储介质203可以是RAM(Random Access Memory,随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。
与前述运动估计精细搜索方法的实施例相对应,本发明还提供了运动估计精细搜索装置的实施例。
图3为本发明根据一示例性实施例示出的一种运动估计精细搜索装置的实施例流程图,如图3所示,该运动估计精细搜索装置包括:
获取模块310,用于获取图像块和包含运动估计粗搜索匹配点的参考窗;
确定模块320,用于在所述参考窗中根据所述图像块的大小确定搜索区域,并确定所述图像块具有的不同分割模式;
搜索模块330,用于将将所述图像块在所述搜索区域中进行搜索,以获得每种分割模式下所述图像块的匹配点。
在一可选实现方式中,所述搜索区域的中心点为运动估计粗搜索匹配点,且在所述参考窗中以所述搜索区域中的最大坐标点为起始点向右下补齐,向右下补齐的数据块中的最大坐标点为所述参考窗中的最大坐标点;
其中,所述数据块与所述图像块的大小相同。
在一可选实现方式中,当所述图像块为64*64时,具有的分割模式包括8*8大小分割模式、16*16大小分割模式、32*32大小分割模式、64*64大小分割模式;其中,所述8*8大小分割模式指的是所述图像块的每一行像素组成一个8*8的像素块;所述16*16大小分割模式指的是所述图像块的每4行像素组成一个16*16的像素块;所述32*32大小分割模式指的是所述图像块的每16行像素组成一个32*32的像素块。
在一可选实现方式中,所述搜索模块330,具体用于针对所述搜索区域中的每一像素点,在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应点的匹配值,并分别按照每个分割模式记录计算得到的匹配值;依据计算得到的匹配值从所述搜索区域包含的像素点中选取运动估计搜索的匹配点;从该匹配点对应的按照每个分割模式记录的匹配值中选取每个分割模式下的最优匹配值。
在一可选实现方式中,所述搜索模块330,具体用于在依据该分割模式对应记录的匹配值块,从所述搜索区域包含的像素点中选取所述图像块的匹配点过程中,针对所述搜索区域包含的每一像素点,确定该像素点对应在该分割模式下对应记录的每一匹配值块的运动搜索代价值;从所述搜索区域包含的像素点中,为每一匹配值块选取一个最小运动搜索代价值对应的像素点,并作为该分割模式下所述图像块的匹配点。
在一可选实现方式中,所述搜索模块330,具体用于在针对所述搜索区域中的每一像素点,在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值过程中,获取本地设有的计算单元的数量;每次在所述搜索区域中选取所述数量个像素点后,为选取的每个像素点分配一个计算单元,用于执行在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值;直至在所述搜索区域中未选取的像素点的个数小于所述数量时,为未选取的每个像素点分配一个计算单元,用于执行在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (7)

1.一种运动估计精细搜索方法,其特征在于,所述方法包括:
获取图像块和包含运动估计粗搜索匹配点的参考窗;
在所述参考窗中根据所述图像块的大小确定搜索区域;
确定所述图像块具有的不同分割模式,具有的每种分割模式均是按所述图像块的行像素进行分割;
将所述图像块在所述搜索区域中进行搜索,以获得每种分割模式下所述图像块的匹配点,包括:针对所述搜索区域中的每一像素点,在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值;每种分割模式对应记录有至少一个匹配值块;针对每种分割模式,依据该分割模式对应记录的匹配值块,从所述搜索区域包含的像素点中选取所述图像块的匹配点;
当所述图像块为64*64时,具有的分割模式包括8*8大小分割模式、16*16大小分割模式、32*32大小分割模式、64*64大小分割模式;其中,所述8*8大小分割模式指的是所述图像块的每一行像素组成一个8*8的像素块;所述16*16大小分割模式指的是所述图像块的每4行像素组成一个16*16的像素块;所述32*32大小分割模式指的是所述图像块的每16行像素组成一个32*32的像素块;
所述按照每种分割模式记录计算得到的匹配值,包括:每计算图像块中的一行像素点与待匹配块对应像素点的匹配值得到64个匹配值后,将这64个匹配值以8*8的矩阵记录下来,同时当每记录4个8*8的矩阵后,将4*64=256个匹配值以16*16的矩阵记录下来,当每记录16个8*8的矩阵后,将16*64=1024个匹配值以32*32的矩阵记录下来,直至计算完图像块的所有像素行,将64*64=4096个匹配值以64*64的矩阵记录下来。
2.根据权利要求1所述的方法,其特征在于,所述搜索区域的中心点为运动估计粗搜索匹配点,且在所述参考窗中以所述搜索区域中的最大坐标点为起始点向右下补齐,向右下补齐的数据块中的最大坐标点为所述参考窗中的最大坐标点;
其中,所述数据块与所述图像块的大小相同。
3.根据权利要求1所述的方法,其特征在于,依据该分割模式对应记录的匹配值块,从所述搜索区域包含的像素点中选取所述图像块的匹配点,包括:
针对所述搜索区域包含的每一像素点,确定该像素点对应在该分割模式下对应记录的每一匹配值块的运动搜索代价值;
从所述搜索区域包含的像素点中,为每一匹配值块选取一个最小运动搜索代价值对应的像素点,并作为该分割模式下所述图像块的匹配点。
4.根据权利要求1所述的方法,其特征在于,针对所述搜索区域中的每一像素点,在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值,包括:
获取本地设有的计算单元的数量;
每次在所述搜索区域中选取所述数量个像素点后,为选取的每个像素点分配一个计算单元,用于执行在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值;
直至在所述搜索区域中未选取的像素点的个数小于所述数量时,为未选取的每个像素点分配一个计算单元,用于执行在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值。
5.一种运动估计精细搜索装置,其特征在于,所述装置包括:
获取模块,用于获取图像块和包含运动估计粗搜索匹配点的参考窗;
确定模块,用于在所述参考窗中根据所述图像块的大小确定搜索区域,并确定所述图像块具有的不同分割模式,具有的每种分割模式按所述图像块的行像素进行分割;
搜索模块,用于将所述图像块在所述搜索区域中进行搜索,以获得每种分割模式下所述图像块的匹配点;
所述搜索模块,具体用于针对所述搜索区域中的每一像素点,在所述参考窗中以该像素点为起始点补齐一个与所述图像块相同大小的待匹配块,计算所述图像块与所述待匹配块对应像素点的匹配值,并分别按照每种分割模式记录计算得到的匹配值;每种分割模式对应记录有至少一个匹配值块;针对每种分割模式,依据该分割模式对应记录的匹配值块,从所述搜索区域包含的像素点中选取所述图像块的匹配点;
其中,当所述图像块为64*64时,具有的分割模式包括8*8大小分割模式、16*16大小分割模式、32*32大小分割模式、64*64大小分割模式;其中,所述8*8大小分割模式指的是所述图像块的每一行像素组成一个8*8的像素块;所述16*16大小分割模式指的是所述图像块的每4行像素组成一个16*16的像素块;所述32*32大小分割模式指的是所述图像块的每16行像素组成一个32*32的像素块;
所述搜索模块,具体用于在按照每种分割模式记录计算得到的匹配值过程中,每计算图像块中的一行像素点与待匹配块对应像素点的匹配值得到64个匹配值后,将这64个匹配值以8*8的矩阵记录下来,同时当每记录4个8*8的矩阵后,将4*64=256个匹配值以16*16的矩阵记录下来,当每记录16个8*8的矩阵后,将16*64=1024个匹配值以32*32的矩阵记录下来,直至计算完图像块的所有像素行,将64*64=4096个匹配值以64*64的矩阵记录下来。
6.根据权利要求5所述的装置,其特征在于,所述搜索区域的中心点为运动估计粗搜索匹配点,且在所述参考窗中以所述搜索区域中的最大坐标点为起始点向右下补齐,向右下补齐的数据块中的最大坐标点为所述参考窗中的最大坐标点;
其中,所述数据块与所述图像块的大小相同。
7.根据权利要求5所述的装置,其特征在于,所述搜索模块,具体用于在依据该分割模式对应记录的匹配值块,从所述搜索区域包含的像素点中选取所述图像块的匹配点过程中,针对所述搜索区域包含的每一像素点,确定该像素点对应在该分割模式下对应记录的每一匹配值块的运动搜索代价值;从所述搜索区域包含的像素点中,为每一匹配值块选取一个最小运动搜索代价值对应的像素点,并作为该分割模式下所述图像块的匹配点。
CN202010632436.8A 2020-07-03 2020-07-03 一种运动估计精细搜索方法及装置 Active CN111968151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010632436.8A CN111968151B (zh) 2020-07-03 2020-07-03 一种运动估计精细搜索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010632436.8A CN111968151B (zh) 2020-07-03 2020-07-03 一种运动估计精细搜索方法及装置

Publications (2)

Publication Number Publication Date
CN111968151A CN111968151A (zh) 2020-11-20
CN111968151B true CN111968151B (zh) 2022-04-05

Family

ID=73361535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010632436.8A Active CN111968151B (zh) 2020-07-03 2020-07-03 一种运动估计精细搜索方法及装置

Country Status (1)

Country Link
CN (1) CN111968151B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115633178A (zh) * 2020-12-31 2023-01-20 展讯通信(天津)有限公司 视频帧图像运动估计方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291433A (zh) * 2007-04-19 2008-10-22 上海中科计算技术研究所 视频编码技术中的模块运动矢量匹配评估方法
CN102291581A (zh) * 2011-09-09 2011-12-21 西安电子科技大学 支持帧场自适应运动估计的实现方法
CN103139557A (zh) * 2011-11-25 2013-06-05 北大方正集团有限公司 一种视频编码中的运动估计方法及系统
CN110139106A (zh) * 2019-04-04 2019-08-16 中南大学 一种视频编码单元分割方法及其系统、装置、存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355324B1 (ko) * 1996-12-12 2002-11-18 마쯔시다덴기산교 가부시키가이샤 화상부호화장치및화상복호화장치
CN100414998C (zh) * 2004-09-29 2008-08-27 腾讯科技(深圳)有限公司 一种视频数据压缩中运动估计的方法
CN101605262B (zh) * 2009-07-09 2011-11-09 杭州士兰微电子股份有限公司 可变块尺寸运动预测方法和装置
CN101600111B (zh) * 2009-07-14 2010-11-10 清华大学 一种实现自适应插值滤波二次编码的搜索方法
KR20150013776A (ko) * 2010-04-09 2015-02-05 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291433A (zh) * 2007-04-19 2008-10-22 上海中科计算技术研究所 视频编码技术中的模块运动矢量匹配评估方法
CN102291581A (zh) * 2011-09-09 2011-12-21 西安电子科技大学 支持帧场自适应运动估计的实现方法
CN103139557A (zh) * 2011-11-25 2013-06-05 北大方正集团有限公司 一种视频编码中的运动估计方法及系统
CN110139106A (zh) * 2019-04-04 2019-08-16 中南大学 一种视频编码单元分割方法及其系统、装置、存储介质

Also Published As

Publication number Publication date
CN111968151A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN102036067B (zh) 运动图像编码设备及其控制方法
JP2019504394A (ja) 準パラメトリックオプティカルフロー推定
JP2006014343A5 (zh)
CN113784133B (zh) 解码方法、设备及存储介质
CN101505427A (zh) 视频压缩编码算法中的运动估计装置
CN112055203B (zh) 帧间预测方法、视频编码方法及其相关装置
KR101177939B1 (ko) 코딩 모드를 선택하기 위한 방법 및 디바이스
CN111968151B (zh) 一种运动估计精细搜索方法及装置
CN112001942B (zh) 一种运动估计粗搜索方法及装置
KR20050097936A (ko) 효과적인 예측 이미지 파라미터 추정
JP5492223B2 (ja) 動きベクトル検出装置及び方法
CN111901590B (zh) 一种用于帧间预测的细化运动矢量存储方法及装置
CN1615651A (zh) 确定图像序列中背景的运动
KR101106080B1 (ko) 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체
JP5906993B2 (ja) 符号化装置、符号化方法、及びプログラム
JP2007096696A5 (zh)
CN100366092C (zh) 一种视频编码中基于运动矢量预测的搜索方法
CN1201589C (zh) 运动估计方法和装置
CN111787333B (zh) 一种用于视频编码的运动搜索方法及装置
CN110933446A (zh) 一种感兴趣区域的识别方法、系统及设备
CN106331720B (zh) 一种视频解码相关信息存储方法和装置
CN111050180A (zh) 一种用于深度图视差估计的并行实现方法
CN117857814A (zh) 一种视频处理方法、装置、设备及介质
KR102089433B1 (ko) 영상 부호화 장치의 다방향 계층적 움직임 추정방법
CN117812269A (zh) 基于整像素精度搜索的仿射运动估计方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant