CN112001942A - 一种运动估计粗搜索方法及装置 - Google Patents

一种运动估计粗搜索方法及装置 Download PDF

Info

Publication number
CN112001942A
CN112001942A CN202010632437.2A CN202010632437A CN112001942A CN 112001942 A CN112001942 A CN 112001942A CN 202010632437 A CN202010632437 A CN 202010632437A CN 112001942 A CN112001942 A CN 112001942A
Authority
CN
China
Prior art keywords
sampling rate
block
selecting
image block
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010632437.2A
Other languages
English (en)
Other versions
CN112001942B (zh
Inventor
徐辉
文湘鄂
宋磊
向国庆
束文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Original Assignee
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boya Huishi Intelligent Technology Research Institute Co ltd filed Critical Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority to CN202010632437.2A priority Critical patent/CN112001942B/zh
Publication of CN112001942A publication Critical patent/CN112001942A/zh
Application granted granted Critical
Publication of CN112001942B publication Critical patent/CN112001942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动估计粗搜索方法及装置,方法包括:获取图像块和第一搜索窗;从第一搜索窗划分出第一预设数量个子区域,针对每一子区域将图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点;从各个子区域的匹配点中选取第二预设数量个匹配点,针对每个匹配点从第一搜索窗中选取包含该匹配点的第二搜索窗;将图像块在第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点。第一次以较大的第一采样率进行搜索,粗略搜索出几个匹配点,搜索速度快,第二次以较小的第二采样率进行搜索,搜索一个最优匹配点,从而经过两层递近搜索到一个最优点,计算复杂度低,即提高了搜索效率又保证了搜索精度。

Description

一种运动估计粗搜索方法及装置
技术领域
本发明涉及数字视频处理技术领域,具体涉及一种运动估计粗搜索方法及装置。
背景技术
运动估计(ME)是视频压缩编码的关键技术之一,一直备受人们关注。块匹配运动估计因其具有简单高效、易于软硬件实现的特点而广泛应用于各视频编码标准,其基本原理时将图像序列的每一帧分割成互不重叠的M*N运动块,并认为运动块内的所有像素有相同的位移量,然后在参考帧某一给定的搜索范围内根据一定的匹配准则找到与当前块最接近的块,即匹配块,搜索匹配块的过程称为运动估计。而搜索策略决定了运动估计搜索算法的计算复杂度和搜索精度,因此对于搜索策略的设计一直备受研究者们的关注。
发明内容
本发明的目的是针对上述现有技术的不足提出的一种运动估计粗搜索方法及装置,该目的是通过以下技术方案实现的。
本发明的第一方面提出了一种运动估计粗搜索方法,所述方法包括:
获取图像块的数据和第一搜索窗的数据;
从所述第一搜索窗划分出第一预设数量个子区域,并针对每一子区域,将所述图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点;
从各个子区域的匹配点中选取第二预设数量个匹配点,并针对每个匹配点,从所述第一搜索窗中选取包含该匹配点的第二搜索窗;
将所述图像块在所述第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点并作为运动估计搜索的最优点;
其中,所述第一采样率大于所述第二采样率。
本发明的第二方面提出了一种运动估计粗搜索装置,所述装置包括:
获取模块,用于获取图像块的数据和第一搜索窗的数据;
划分模块,用于从所述第一搜索窗划分出第一预设数量个子区域;
第一搜索模块,用于针对每一子区域,将所述图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点;
选取模块,用于从各个子区域的匹配点中选取第二预设数量个匹配点,并针对每个匹配点,从所述第一搜索窗中选取包含该匹配点的第二搜索窗;
第二搜索模块,用于将所述图像块在所述第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点并作为运动估计搜索的最优点;
其中,所述第一采样率大于所述第二采样率。
基于上述第一方面和第二方面所述的运动估计搜索方案,在第一次搜索时,以较大的第一采样率进行搜索,以粗略搜索出一定数量的匹配点,搜索速度快,在第二次搜索时,以较小的第二采样率进行搜索,进一步搜索一个最优的匹配点,从而经过两层的搜索,层层递近获得一个运动估计搜索的最优点,计算复杂度低,即提高了搜索效率又保证了搜索精度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明根据一示例性实施例示出的一种运动估计粗搜索方法的实施例流程图;
图2为本发明根据一示例性实施例示出的一种运动估计粗搜索装置的实施例流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了降低运动估计搜索算法的计算复杂度并提高搜索精度,本发明经过两层的搜索,层层递近获得最终的运动估计搜索的最优点,具体实现过程为:在获取到图像块的数据和第一搜索窗的数据后,从第一搜索窗划分出第一预设数量个子区域,并针对每一子区域,将图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点,然后从各个子区域的匹配点中选取第二预设数量个匹配点,并针对每个匹配点,再从第一搜索窗中选取以该匹配点为中心的第二搜索窗,并图像块在第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点并作为运动估计搜索的最优点,第二采样率小于第一采样率。
基于上述描述可知,第一次搜索时,以较大的第一采样率进行搜索,以粗略搜索出一定数量的匹配点,搜索速度快,在第二次搜索时,以较小的第二采样率进行搜索,进一步搜索一个最优的匹配点,从而经过两层的搜索,层层递近获得一个运动估计搜索的最优点,计算复杂度低,即提高了搜索效率又保证了搜索精度。
下面以具体实施例对本申请提出的运动估计搜索算法进行详细阐述。
图1为本发明根据一示例性实施例示出的一种运动估计粗搜索方法的实施例流程图,该运动估计粗搜索方法可以应用在任意电子设备上,如图1所示,该运动估计粗搜索方法包括如下步骤:
步骤101:获取图像块的数据和第一搜索窗的数据。
其中,图像块为待参与编码的图像帧经过划分获得的一块图像,第一搜索窗为该图像块相对应在参考帧中的特定搜索范围,并且该图像块所包含的内容也在第一搜索窗中包含。例如,图像块的起始点(0,0)对应第一搜索窗的一个位置点。
本领域技术人员可以理解的是,图像块对应在参考帧中的搜索范围由相关技术实现,本申请对此不进行限定。
需要说明的时,获取的第一搜索窗的数据为去除周围填充数据的有效数据。
步骤102:从第一搜索窗划分出第一预设数量个子区域,并针对每一子区域,将图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点。
在一实施例中,针对从第一搜索窗划分出第一预设数量个子区域的过程,为了在进行搜索时能取点后补齐与图像块同样大小的待匹配块进行差值计算,可以通过获取图像块的宽度和高度,并去除第一搜索窗中最后的所述宽度数量个列和所述第一搜索窗中最后的所述高度数量个行的数据,得到待划分窗口,然后将待划分窗口划分为第一预设数量个子区域。
以第一搜索窗192*128,图像块64*64,第一预设数量16为例,假设进行搜索时取点后是向右下补齐待匹配块,去除第一搜索窗中最后的64个列和最后的64个行的数据,得到待划分窗口,将待划分窗口在水平方向按照(192-64)/4=32的步长,在垂直方向按照(128-64)/4=16的步长,划分为16个子区域,每一子区域大小为32*16。
在一实施例中,针对每一子区域,将图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点的过程,可以将图像块以第一采样率进行降采样,然后在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值,最后从所述差值中选取最小差值对应的候选点作为图像块在该子区域中的匹配点。
其中,如果划分子区域前是从第一搜索窗的最后去除数据,那么待匹配块为取点后向右下补齐的与降采样后的图像块相同大小的块。
降采样后的图像块与该待匹配块之间的差值指的是两个块之间对应点的像素差的累加值,差值越小表明两个块之间的相似度越高,因此选取的都是最小差值对应的候选点作为匹配点。
在上述例子基础上,假设第一采样率为16:1,即在子区域中是每隔4*4的像素矩阵选取一个候选点,该候选点的坐标由该像素矩阵中的一个像素点的坐标表示,64*64的图像块以16:1的降采样率进行降采样后为16*16,对于一个32*16的子区域,可以选取出8*4=32个候选点,且每选取出一个候选点,以16:1的降采样率补齐一个包含该候选点的16*16的待匹配块,待匹配块中每个点的像素值由对应的4*4像素矩阵中的像素点的像素值获得,然后即可计算待匹配块与降采样后的图像块之间的差值。
需要说明的是,由于在进行搜索时,是选取出一个候选点后直接从第一搜索窗中补齐对应的待匹配块参与差值计算,而不是先将所有候选点选取出来缓存起来,再一个一个进行块补齐并计算差值,因此不需要为候选点开辟空间进行缓存,可进一步降低复杂度,提高搜索效率。
需要进一步说明的是,为了降低访存工作量,进一步提高搜索效率,根据设备可提高的计算能力,可以在设备中预先设置多个计算单元并行执行,每个计算单元每次可以处理一个候选点,且多个计算单元的硬件结构相同。
基于此,针对在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值的过程,可以先获取本地设有的计算单元的数量,然后每次在该子区域中以第一采样率选取所述数量个候选点后,为选取的每个候选点分配一个计算单元,用于执行在第一搜索窗中以第一采样率选取出一个包含该分配的候选点待匹配块,计算降采样后的图像块与该待匹配块之间的差值,直至在该子区域中以第一采样率无法选取出所述数量个候选点时,获取可选取的候选点的个数,为获取的每个候选点分配一个计算单元,用于执行在第一搜索窗中以第一采样率选取出一个包含该分配的候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值。
示例性的,所述由硬件结构实现的计算单元可以包括图像块的缓存器、待匹配块的缓存器、多个比较器以及累加器。
在上述例子基础上,假设以设有8个计算单元为例,可以每次在子区域中以16:1的降采样率选取8个候选点后,为每个候选点分配一个计算单元,用于执行在第一搜索窗中以16:1降采样率向右下方向选取出一个包含该候选点的16*16待匹配块,计算16*16的图像块与16*16的待匹配块之间的差值,以此类推,8个计算单元并行执行4次,即可计算完该子区域中所有候选点的差值。
步骤103:从各个子区域的匹配点中选取第二预设数量个匹配点,并针对每个匹配点,从所述第一搜索窗中选取包含该匹配点的第二搜索窗。
其中,第二预设数量可以根据实际经验设置,其越大最终搜索的最优点的精度越高。第二搜索窗的尺寸根据实际经验设置,设置的越大搜索精度越高,设置的越小搜索效率越高,但第二搜索窗的尺寸小于第一搜索窗的尺寸。
示例性的,第二搜索窗可以是以匹配点为参考点向上下左右进行扩展选取。
步骤104:将所述图像块在所述第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点并作为运动估计搜索的最优点。
其中,为了提高第二次搜索的精度,第二采样率小于第一采样率。
在一实施例中,基于上述步骤102所述的第一次搜索的原理,可以将图像块以第二采样率进行降采样,然后针对每个第二搜索窗,在该第二搜索窗中以第二采样率选取候选点,并每选取一个候选点,在第一搜索窗中以第二采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值,然后从计算得到的差值中选取最小差值对应的候选点,最后从所述最小差值对应的候选点中再选取差值最小的候选点作为所述图像块在所述第二预设数量个第二搜索窗中的匹配点。
其中,所述待匹配块与降采样后的图像块的大小相同。由于每个第二搜索窗都能搜索出一个最小差值对应的候选点,因此最后要从第二预设数量的最小差值对应的候选点中再选取出一个差值最小的候选点作为最终的最优点。
在上述例子基础上,假设第二采样率为4:1,第二搜索窗为16*16,即在第二搜索窗中是每隔2*2的像素矩阵选取一个候选点,该候选点的坐标由该像素矩阵中的一个像素点的坐标表示,64*64的图像块以4:1的降采样率进行降采样后为32*32,对于一个16*16的第二搜索窗,可以选取出8*8=64个候选点,且每选取出一个候选点,直接在第一搜索窗中以4:1的降采样率补齐一个包含该候选点的32*32的待匹配块,待匹配块中每个点的像素值由对应的2*2像素矩阵中的像素点的像素值获得,然后即可计算32*32待匹配块与32*32的图像块之间的差值。
需要说明的是,基于上述步骤102所述设置多个计算单元的实施例,在本实施例中,针对在该第二搜索窗中以第二采样率选取候选点,并每选取一个候选点,在第一搜索窗中以第二采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值的过程,也可以按照上述原理进行处理计算,在此不再详述。
仍然以8个计算单元举例说明,可以每次在第二搜索窗中以4:1的降采样率选取8个候选点后,为每个候选点分配一个计算单元执行在第一搜索窗中以4:1降采样率向右下方向选取出一个包含该候选点的32*32待匹配块,计算32*32的图像块与32*32的待匹配块之间的差值,以此类推,8个计算单元并行执行8次,即可计算完一个第二搜索窗中所有候选点的差值。
基于上述给出的例子,两次搜索所消耗的时钟周期估算为:
第一次搜索,对于降采样后16*16的图像块,需要16*2个时钟周期完成1个候选点的差值(cost值)计算,设置8个并行执行的计算单元,即每经过16*2个时钟周期完成8个候选点的差值计算,总共划分为16个子区域,每个子区域32个候选点,从而共使用16*2*32*16/8=2048个时钟周期完成第一次搜索。
第二次搜索,对于降采样后32*32的图像块,需要32*4个时钟周期完成1个候选点的差值(cost值)计算,设置8个并行执行的计算单元,即每经过32*4个时钟周期完成8个候选点的差值计算,假设有3个第二搜索窗,每个第二搜索窗64个候选点,从而共使用32*4*64/8*3=3072个时钟周期完成第二次搜索。
与现有技术相比,对于192*128的第一搜索窗,每个时钟周期搜索一个候选点,需要192*128=24567个时钟周期完成整个窗口的搜索。而采用本申请方案,只需要2048+3072=5120个时钟周期完成整个窗口的搜索。
需要进一步说明的是,由于步骤104的第二次搜索,仍然是按照一定的采样率进行搜索,因此搜索出的最优点属于粗搜索得到的整像素点,因此还可以进一步将该粗搜索得到的整像素点发送给精细搜索流程,以由精细搜索流程在该粗搜索出的最优点的基础上进一步再进行细搜索。
至此,完成上述图1所示的搜索流程,通过上述图1流程,第一次搜索时,以较大的第一采样率进行搜索,以粗略搜索出一定数量的匹配点,搜索速度快,在第二次搜索时,以较小的第二采样率进行搜索,进一步搜索一个最优的匹配点,从而经过两层的搜索,层层递近获得一个运动估计搜索的最优点,计算复杂度低,即提高了搜索效率又保证了搜索精度。
与前述运动估计粗搜索方法的实施例相对应,本发明还提供了运动估计粗搜索装置的实施例。
图2为本发明根据一示例性实施例示出的一种运动估计粗搜索装置的实施例流程图,如图2所示,该运动估计粗搜索装置包括:
获取模块210,用于获取图像块的数据和第一搜索窗的数据;
划分模块220,用于从所述第一搜索窗划分出第一预设数量个子区域;
第一搜索模块230,用于针对每一子区域,将所述图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点;
选取模块240,用于从各个子区域的匹配点中选取第二预设数量个匹配点,并针对每个匹配点,从所述第一搜索窗中选取包含该匹配点的第二搜索窗;
第二搜索模块250,用于将所述图像块在所述第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点并作为运动估计搜索的最优点;
其中,所述第一采样率大于所述第二采样率。
在一可选实现方式中,所述划分模块220,具体用于获取所述图像块的宽度和高度;去除所述第一搜索窗中最后的所述宽度列和所述第一搜索窗中最后的所述高度行的数据,得到待划分窗口;将所述待划分窗口划分为第一预设数量个子区域。
在一可选实现方式中,所述第一搜索模块230,具体用于将所述图像块以第一采样率进行降采样;在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;所述待匹配块与降采样后的图像块的大小相同;从所述差值中选取最小差值对应的候选点作为所述图像块在该子区域中的匹配点。
在一可选实现方式中,所述第一搜索模块230,具体用于在在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值过程中,获取本地设有的计算单元的数量;每次在该子区域中以第一采样率选取所述数量个候选点后,为选取的每个候选点分配一个计算单元,用于执行在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;直至在该子区域中以第一采样率无法选取出所述数量个候选点时,获取可选取的候选点的个数,为获取的每个候选点分配一个计算单元,用于执行在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;
其中,各个计算单元为并行执行。
在一可选实现方式中,所述第二搜索模块250,具体用于将所述图像块以第二采样率进行降采样;针对每个第二搜索窗,在该第二搜索窗中以第二采样率选取候选点,并每选取一个候选点,在所述第一搜索窗中以第二采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;所述待匹配块与降采样后的图像块的大小相同;从所述差值中选取最小差值对应的候选点;从所述最小差值对应的候选点中再选取差值最小的候选点作为所述图像块在所述第二预设数量个第二搜索窗中的匹配点。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种运动估计粗搜索方法,其特征在于,所述方法包括:
获取图像块的数据和第一搜索窗的数据;
从所述第一搜索窗划分出第一预设数量个子区域,并针对每一子区域,将所述图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点;
从各个子区域的匹配点中选取第二预设数量个匹配点,并针对每个匹配点,从所述第一搜索窗中选取包含该匹配点的第二搜索窗;
将所述图像块在所述第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点并作为运动估计搜索的最优点;
其中,所述第一采样率大于所述第二采样率。
2.根据权利要求1所述的方法,其特征在于,从所述第一搜索窗划分出第一预设数量个子区域,包括:
获取所述图像块的宽度和高度;
去除所述第一搜索窗中最后的所述宽度数量个列和所述第一搜索窗中最后的所述高度数量个行的数据,得到待划分窗口;
将所述待划分窗口划分为第一预设数量个子区域。
3.根据权利要求1所述的方法,其特征在于,将所述图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点,包括:
将所述图像块以第一采样率进行降采样;
在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;所述待匹配块与降采样后的图像块的大小相同;
从所述差值中选取最小差值对应的候选点作为所述图像块在该子区域中的匹配点。
4.根据权利要求3所述的方法,其特征在于,在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值,包括:
获取本地设有的计算单元的数量;
每次在该子区域中以第一采样率选取所述数量个候选点后,为选取的每个候选点分配一个计算单元,用于执行在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;
直至在该子区域中以第一采样率无法选取出所述数量个候选点时,获取可选取的候选点的个数,为获取的每个候选点分配一个计算单元,用于执行在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;
其中,各个计算单元为并行执行。
5.根据权利要求1所述的方法,其特征在于,将所述图像块在所述第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点,包括:
将所述图像块以第二采样率进行降采样;
针对每个第二搜索窗,在该第二搜索窗中以第二采样率选取候选点,并每选取一个候选点,在所述第一搜索窗中以第二采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;所述待匹配块与降采样后的图像块的大小相同;
从所述差值中选取最小差值对应的候选点;
从所述最小差值对应的候选点中再选取差值最小的候选点作为所述图像块在所述第二预设数量个第二搜索窗中的匹配点。
6.一种运动估计粗搜索装置,其特征在于,所述装置包括:
获取模块,用于获取图像块的数据和第一搜索窗的数据;
划分模块,用于从所述第一搜索窗划分出第一预设数量个子区域;
第一搜索模块,用于针对每一子区域,将所述图像块在该子区域中按照第一采样率进行搜索以获得一个匹配点;
选取模块,用于从各个子区域的匹配点中选取第二预设数量个匹配点,并针对每个匹配点,从所述第一搜索窗中选取包含该匹配点的第二搜索窗;
第二搜索模块,用于将所述图像块在所述第二预设数量个第二搜索窗中按照第二采样率进行搜索以获得一个匹配点并作为运动估计搜索的最优点;
其中,所述第一采样率大于所述第二采样率。
7.根据权利要求6所述的装置,其特征在于,所述划分模块,具体用于获取所述图像块的宽度和高度;去除所述第一搜索窗中最后的所述宽度列和所述第一搜索窗中最后的所述高度行的数据,得到待划分窗口;将所述待划分窗口划分为第一预设数量个子区域。
8.根据权利要求6所述的装置,其特征在于,所述第一搜索模块,具体用于将所述图像块以第一采样率进行降采样;在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;所述待匹配块与降采样后的图像块的大小相同;从所述差值中选取最小差值对应的候选点作为所述图像块在该子区域中的匹配点。
9.根据权利要求8所述的装置,其特征在于,所述第一搜索模块,具体用于在在该子区域中以第一采样率选取候选点,并且每选取一个候选点,在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值过程中,获取本地设有的计算单元的数量;每次在该子区域中以第一采样率选取所述数量个候选点后,为选取的每个候选点分配一个计算单元,用于执行在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;直至在该子区域中以第一采样率无法选取出所述数量个候选点时,获取可选取的候选点的个数,为获取的每个候选点分配一个计算单元,用于执行在所述第一搜索窗中以第一采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;
其中,各个计算单元为并行执行。
10.根据权利要求6所述的装置,其特征在于,所述第二搜索模块,具体用于将所述图像块以第二采样率进行降采样;针对每个第二搜索窗,在该第二搜索窗中以第二采样率选取候选点,并每选取一个候选点,在所述第一搜索窗中以第二采样率选取出一个包含该候选点的待匹配块,计算降采样后的图像块与该待匹配块之间的差值;所述待匹配块与降采样后的图像块的大小相同;从所述差值中选取最小差值对应的候选点;从所述最小差值对应的候选点中再选取差值最小的候选点作为所述图像块在所述第二预设数量个第二搜索窗中的匹配点。
CN202010632437.2A 2020-07-03 2020-07-03 一种运动估计粗搜索方法及装置 Active CN112001942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010632437.2A CN112001942B (zh) 2020-07-03 2020-07-03 一种运动估计粗搜索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010632437.2A CN112001942B (zh) 2020-07-03 2020-07-03 一种运动估计粗搜索方法及装置

Publications (2)

Publication Number Publication Date
CN112001942A true CN112001942A (zh) 2020-11-27
CN112001942B CN112001942B (zh) 2021-12-03

Family

ID=73466392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010632437.2A Active CN112001942B (zh) 2020-07-03 2020-07-03 一种运动估计粗搜索方法及装置

Country Status (1)

Country Link
CN (1) CN112001942B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770118A (zh) * 2020-12-31 2021-05-07 展讯通信(天津)有限公司 视频帧图像运动估计方法及相关设备
CN112911310A (zh) * 2021-01-15 2021-06-04 北京博雅慧视智能技术研究院有限公司 多层整像素运动估计搜索方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121420A1 (en) * 2008-01-14 2013-05-16 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
CN103281533A (zh) * 2013-05-14 2013-09-04 芯原微电子(北京)有限公司 用于可伸缩视频编码中增强层运动估计的设备和方法
CN103973333A (zh) * 2013-01-24 2014-08-06 意法-爱立信有限公司 一种粗小区搜索方法、装置及终端
CN106101722A (zh) * 2016-06-07 2016-11-09 成都金本华电子有限公司 基于yang结构改进的分层准全搜索方法及系统
CN108702512A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 运动估计方法和装置
US20200021847A1 (en) * 2018-07-12 2020-01-16 Apple Inc. Bit stream structure for compressed point cloud data
CN110868590A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 图像划分方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121420A1 (en) * 2008-01-14 2013-05-16 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
CN103973333A (zh) * 2013-01-24 2014-08-06 意法-爱立信有限公司 一种粗小区搜索方法、装置及终端
CN103281533A (zh) * 2013-05-14 2013-09-04 芯原微电子(北京)有限公司 用于可伸缩视频编码中增强层运动估计的设备和方法
CN106101722A (zh) * 2016-06-07 2016-11-09 成都金本华电子有限公司 基于yang结构改进的分层准全搜索方法及系统
CN108702512A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 运动估计方法和装置
US20200021847A1 (en) * 2018-07-12 2020-01-16 Apple Inc. Bit stream structure for compressed point cloud data
CN110868590A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 图像划分方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PEI LIAO 等: "A Background Modeling Scheme Based on High Efficiency Motion Classification for Surveillance Video Coding", 《SPRINGER》 *
刘锋 等: "一种计算复杂度可调整的块匹配运动估计算法", 《西安电子科技大学出版社(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770118A (zh) * 2020-12-31 2021-05-07 展讯通信(天津)有限公司 视频帧图像运动估计方法及相关设备
CN112911310A (zh) * 2021-01-15 2021-06-04 北京博雅慧视智能技术研究院有限公司 多层整像素运动估计搜索方法、装置、设备及存储介质
CN112911310B (zh) * 2021-01-15 2023-05-16 北京博雅慧视智能技术研究院有限公司 多层整像素运动估计搜索方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112001942B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
JP7004314B2 (ja) 準パラメトリックオプティカルフロー推定
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
CN112001942B (zh) 一种运动估计粗搜索方法及装置
CN1139253C (zh) 用于在基于分段的编码系统中检测运动矢量的方法
CN106203277B (zh) 基于sift特征聚类的固定镜头实时监控视频特征提取方法
JP2007026459A (ja) 広域−局所ブロック動き推定用の方法及び装置
US20180181816A1 (en) Handling Perspective Magnification in Optical Flow Proessing
CN108776971A (zh) 一种基于分层最近邻域的变分光流确定方法及系统
JP7449977B2 (ja) 可変焦点カメラの深度推定方法
CN113362441B (zh) 三维重建方法、装置、计算机设备和存储介质
EP3836083B1 (en) Disparity estimation system and method, electronic device and computer program product
CN112132769A (zh) 图像融合方法、装置以及计算机设备
CN114612414B (zh) 图像处理方法、模型训练方法、装置、设备及存储介质
KR20150146419A (ko) 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치
CN114529456A (zh) 一种视频的超分辨率处理方法、装置、设备及介质
CN100584009C (zh) 确定图像序列中背景的运动的方法和设备
KR20050097936A (ko) 효과적인 예측 이미지 파라미터 추정
CN115984307A (zh) 视频对象分割方法、装置、电子设备及存储介质
JP2001520781A (ja) 動き又はデプス推定
CN113628250A (zh) 目标跟踪方法、装置、电子设备以及可读存储介质
CN108900847B (zh) 一种基于块匹配的大范围预测方法
CN114048845A (zh) 点云修复方法、装置、计算机设备和存储介质
CN111968151B (zh) 一种运动估计精细搜索方法及装置
CN112446951B (zh) 三维重建方法、装置、电子设备及计算机存储介质
CN115170826A (zh) 基于局部搜索的运动小目标快速光流估计方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant