CN108702512B - 运动估计方法和装置 - Google Patents

运动估计方法和装置 Download PDF

Info

Publication number
CN108702512B
CN108702512B CN201780013529.9A CN201780013529A CN108702512B CN 108702512 B CN108702512 B CN 108702512B CN 201780013529 A CN201780013529 A CN 201780013529A CN 108702512 B CN108702512 B CN 108702512B
Authority
CN
China
Prior art keywords
frame
motion vector
image
target block
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780013529.9A
Other languages
English (en)
Other versions
CN108702512A (zh
Inventor
苏文艺
赵亮
朱磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN108702512A publication Critical patent/CN108702512A/zh
Application granted granted Critical
Publication of CN108702512B publication Critical patent/CN108702512B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种运动估计方法和装置，该方法可以包括：根据当前帧和当前参考帧，确定所述当前帧相对于所述当前参考帧的全局运动矢量；根据所述全局运动矢量，对目标帧进行运动估计。本申请的运动估计方法和装置，预先计算当前帧相对于当前参考帧的全局运动矢量即整体偏移，使得在对待运动估计的目标帧运动估计时，可以参考全局运动矢量，从而降低运动估计的整体复杂度。

Description

运动估计方法和装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域，尤其涉及运动估计方法和装置。
背景技术
在图像处理领域，例如视频编码、图像时间域降噪和视频自适应升帧率等图像处理算法中，运动估计是一项重要技术。运动估计的精度直接影响到这些图像处理算法的最终效果。随着技术的发展，视频分辨率不断增加。如果视频序列的运动较剧烈，那么运动估计时运动矢量的大小不可避免要增大。运动估计时，大的搜索区域是大分辨率视频高效压缩的必要保证。
在行缓存(Line Buffer，LB)架构中，大的搜索区域要求静态随机存取存储器(Static Random Access Memory，SRAM)具有更高的复杂度和更高的硬件面积。在高速缓冲存储器(Cache Memory，Cache)架构中，运动矢量增大，使得Cache不命中数据的概率增大。不命中的数据需要从双倍数据速率(Double Data Rate，DDR)同步动态随机存取存储器(Synchronous Dynamic Random Access Memory，SDRAM)中读取，这就不可以避免会带来读取带宽增加的问题。
发明内容
本申请提供了一种运动估计方法和装置，参考全局运动矢量，可以降低运动估计的复杂度。
第一方面，提供了一种运动估计方法，该方法可以包括：根据当前帧和当前参考帧，确定所述当前帧相对于所述当前参考帧的全局运动矢量；根据所述全局运动矢量，对目标帧进行运动估计。
第二方面，提供了一种运动估计装置，该装置可以包括：第一确定模块，用于根据当前帧和当前参考帧，确定所述当前帧相对于所述当前参考帧的全局运动矢量；估计模块，用于根据所述第一确定模块确定的所述全局运动矢量，对目标帧进行运动估计。
第三方面，提供了一种运动估计装置，该装置可以包括处理器和存储器，所述存储器用于存储指令，当所述处理器执行所述存储器存储的指令时，使得运动估计装置执行第一方面所述的方法。
第四方面，提供了一种计算机存储介质，其上存储有指令，当所述指令在计算设备上运行时，使得所述计算设备执行第一方面所述的方法。
第五方面，提供了一种计算设备，该计算设备包括第二方面或第三方面所述的运动估计装置。
第一方面至第五方面的运动估计方法和装置，预先计算当前帧相对于当前参考帧的全局运动矢量即整体偏移，使得在对待运动估计的目标帧运动估计时，可以参考全局运动矢量，从而降低运动估计的整体复杂度。
第六方面，提供了一种运动估计方法，该方法可以包括：根据当前帧的部分图像和当前参考帧，确定所述当前帧的部分图像相对于所述当前参考帧的全局运动矢量；根据所述全局运动矢量，对目标帧的部分图像进行运动估计。
第七方面，提供了一种运动估计装置，该装置可以包括：第一确定模块，用于根据当前帧的部分图像和当前参考帧，确定所述当前帧的部分图像相对于所述当前参考帧的全局运动矢量；估计模块，用于根据所述第一确定模块确定的所述全局运动矢量，对目标帧的部分图像进行运动估计。
第八方面，提供了一种运动估计装置，该装置可以包括处理器和存储器，所述存储器用于存储指令，当所述处理器执行所述存储器存储的指令时，使得运动估计装置执行第六方面所述的方法。
第九方面，提供了一种计算机存储介质，其上存储有指令，当所述指令在计算设备上运行时，使得所述计算设备执行第六方面所述的方法。
第十方面，提供了一种计算设备，该计算设备包括第七方面或第八方面所述的运动估计装置。
第六方面至第十方面的运动估计方法和装置，预先计算当前帧的部分图像相对于当前参考帧的全局运动矢量即整体偏移，使得在对待运动估计的目标帧的部分图像运动估计时，可以参考全局运动矢量，从而降低运动估计的整体复杂度。
附图说明
图1是运动估计的示意图。
图2是本申请一个实施例的运动估计方法的示意性流程图。
图3是本申请一个实施例的运动估计方法的示意图。
图4是本申请一个实施例的确定全局运动矢量的示意图。
图5是本申请一个实施例的运动估计装置的示意性框图。
图6是本申请另一个实施例的运动估计装置的示意性框图。
图7是本申请另一个实施例的运动估计方法的示意性流程图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
下面对本申请实施例涉及的概念——运动估计进行简单地介绍。
帧间预测编码是目前视频编码中降低帧间冗余的重要方法。以帧间预测编码为例，对于当前帧中的当前编码块，需要在当前帧的参考帧(以下简称为“当前参考帧”)中搜索最佳匹配块(也可以称为“参考块”)，该搜索过程称之为运动估计。图1是运动估计的示意图。如图1所示，当前帧110中的当前编码块112在当前参考帧120中搜索得到参考块122。用最佳匹配块(参考块122)预测当前编码块112的编码，这样解码器只需要知道编码器预测残差以及当前编码块和参考块之间的偏移即可，该偏移即为运动矢量(Motion Vector，MV)。
假设当前编码块112左上角的像素坐标为(currx,curry)，参考块122左上角的像素坐标为(refx,refy)，则MV的为：
mvx＝refx-currx
mvy＝refy-curry。
本申请实施例的运动估计方法和装置可以应用于图像处理或视频处理的相关技术中，例如，软件或硬件视频编码、图像或视频时间域降噪和视频自适应升帧率等处理算法。
图2是本申请一个实施例的运动估计方法10的示意性流程图。该方法10可以包括以下步骤。S11，根据当前帧和当前参考帧，确定当前帧相对于当前参考帧的全局运动矢量(Global Motion Vector，GMV)。S12，根据全局运动矢量，对目标帧进行运动估计。
本申请实施例的运动估计方法，预先计算当前帧相对于当前参考帧的全局运动矢量即整体偏移，使得在对待运动估计的目标帧运动估计时，可以参考全局运动矢量，从而降低运动估计的整体复杂度。
应理解，本申请实施例的当前参考帧可以包括一个帧也可以包括多个帧。在当前参考帧包括多个帧的情况下，当前帧分别相对于多个帧中的每个帧可以有一个全局运动矢量。当前帧相对于当前参考帧的全局运动矢量，可以是多个全局运动矢量中最大的一个矢量，或者可以是多个全局运动矢量的平均值，或者可以是多个全局运动矢量的加权平均值，本申请实施例对此不作限定。
还应理解，以当前帧为t时刻的帧为例，本申请实施例的待进行运动估计的目标帧可以是当前帧(t时刻的帧)；目标帧也可以是当前帧之后的帧(例如为t+Δt时刻的帧)，即目标帧为当前帧的后一帧或更之后的帧；目标帧还可以是当前帧之前的帧(例如为t-Δt时刻的帧)。此外，计算得到全局运动矢量后，可以将其应用于一个目标帧也可以将其应用于多个目标帧，本申请实施例对此不作限定。
可选地，本申请实施例中，根据全局运动矢量，对目标帧进行运动估计，可以包括：根据全局运动矢量，确定目标帧中的待估计块对应的目标参考帧的搜索区域；在搜索区域中，对待估计块进行运动估计。
应理解，本申请实施例对目标帧进行运动估计时，除了根据当前帧相对于当前参考帧的全局运动矢量，还可以参考其他的全局运动矢量。例如，可以根据t时刻的帧的全局运动矢量以及t-Δt时刻的帧的全局运动矢量、t时刻的帧的全局运动矢量以及t-2Δt时刻的帧的全局运动矢量、t-Δt时刻的帧的全局运动矢量以及t-2Δt时刻的帧的全局运动矢量或者其他的一个帧多个帧的全局运动矢量等等，本申请实施例对此不作限定。
图3是本申请一个实施例的运动估计方法的示意图。图3以目标帧210和目标帧210对应的参考帧(目标参考帧220)为例展开说明。目标帧210和目标参考帧220可以按照相同的划分方式划分为多个块，其中，目标帧210中的待估计块为如图3所示的块212。在现有的方案中，运动估计时在目标参考帧220中的搜索区域为以块212在目标参考帧220中的对应块222为中心的一片区域224。而在本申请实施例中，搜索区域则为参考了GMV的一片区域226，例如为区域224加GMV之后的区域226(例如区域224左上角像素的坐标加GMV之后，为区域226左上角像素的坐标)。在区域226中对待估计块进行运动估计，使得在该区域搜索得到运动矢量的概率和效率大大增加，运动估计算法的复杂度下降。换一个角度，在运动矢量较大时，使用本申请实施例的运动估计方法，可以在相对较小的搜索区域内便得到运动矢量。
应理解，本申请实施例还可以基于全局运动矢量，采用其他方法确定搜索区域，而不仅限于以上的方法。
还应理解，本申请实施例中，可以根据GMV的大小确定目标参考帧220中区域226的大小。例如，GMV越大，区域226也越大；GMV越小，区域226越小，但本申请实施例对此不作限定。
应注意的是，本申请实施例的搜索区域可以以行缓存(LB)模式保存，相对于现有的方案，可以降低对硬件面积的要求。本申请实施例的搜索区域也可以以高速缓冲存储器(Cache)模式保存，相对于现有的方案，可以增加命中率，避免出现读取带宽增加的问题。本申请实施例对保存的模式不作限定。
还应理解，本申请实施例的运动估计方法不仅应用于根据在整个帧计算全局运动矢量，还可以把帧分割为若干个子图像，计算每个子图像的全局运动矢量。换而言之，本申请实施例的全局运动矢量可以为当前帧按照预设规则分割后的子图像的全局运动矢量。
下面详细说明本申请实施例得到全局运动矢量的过程。
可选地，图4是本申请一个实施例的确定全局运动矢量的示意图。如图4所示，本申请实施例的运动估计方法还可以包括：对当前帧的原始图像进行下采样，得到当前帧的下采样图像；确定当前帧对应的当前参考帧的下采样图像；根据当前帧的下采样图像和当前参考帧的下采样图像，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。
具体地，考虑到全局运动矢量的覆盖范围较大，且对全局运动矢量的精度要求不高，为了降低计算复杂度，全局运动矢量的计算可以根据低分辨率图得到。例如，本申请实施例可以基于当前帧的下采样图像和当前参考帧的下采样图像计算全局运动矢量。当然，本申请实施例也可以不采用下采样图像计算全局运动矢量，而是采用原始图像来计算，本申请实施例对此不作限定。
本申请实施例可以采用经典的先低通滤波后下采样的方式得到下采样图像，也可以采用直接平均的方式得到下采样图像，还可以采用其他的下采样算法得到下采样图像。
下面以一个具体的例子说明对当前帧的原始图像进行下采样，得到当前帧的下采样图像的过程。对当前帧的原始图像进行水平方向和垂直方向各8倍的下采样，则下采样图像需要保存的LB数据仅为原始图像的1/64。假设di,j表示下采样图像的坐标(i，j)处的数据，Sk,l表示原始图像的坐标(k，l)处的数据，则有
Figure BDA0001777234440000061
同理，可以对当前参考帧的原始图像进行下采样，得到当前参考帧的下采样图像。如果当前帧(t时刻的帧)的下采样图像可以做为t+△t时刻的帧的参考帧的下采样图像，则可以将当前帧(t时刻的帧)的下采样图像保存在双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)中作为下一帧全局运动矢量计算的参考数据。
可选地，根据当前帧的下采样图像和当前参考帧的下采样图像，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：从当前帧的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量；根据至少一个运动矢量，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。即，可以通过预设的选取规则从当前帧的下采样图像中选取目标块，针对每个目标块计算其相对于当前参考帧的下采样图像的运动矢量，最终得到当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。
该选取规则可以是随机选取，也可以是按照预设算法选取。在一个具体的例子中，从当前帧的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：按照预设尺寸将当前帧的下采样图像划分成至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量。
具体而言，当前帧的下采样图像可以被划分为非重叠小块，称之为目标块ds_curr。例如，本申请实施例可以选择硬件实现的最简单的全检索(Full Search)，当前帧的下采样图像以8x8划分目标块，当然本申请实施例也可以选择其他现有的划分方式，此处不进行赘述。同样地，当前参考帧的下采样图像也以相同的划分方式划分，得到块ds_ref。
可选地，在本申请实施例中，计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：在当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索目标块的匹配块；根据目标块和匹配块的坐标，计算目标块相对于当前参考帧的下采样图像的运动矢量。应理解，该搜索范围的尺寸的可以与前文描述的进行运动估计的搜索区域的尺寸相等或者不等，本申请实施例对此不作限定。
具体而言，对任一目标块ds_curr，将其中心的坐标视为(0，0)，当前参考帧的下采样图像的相同位置的坐标也视为(0，0)。在当前参考帧的下采样图像中，以(0，0)为搜索中心，在x∈[-M,+M]，y∈[-N,+N](尺寸为2M*2N)的搜索范围内，确定目标块ds_curr的匹配块，从而得到目标块相对于当前参考帧的下采样图像的运动矢量。本申请实施例中，M可以取值为16，N可以取值为8，但本申请实施例对M和N的取值不作限定。
得到各目标块的运动矢量后，可以根据至少一个运动矢量，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。可选地，可以将所有目标块的运动矢量进行统计计算，得到当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。可选地，也可以将符合预设条件的目标块的运动矢量进行统计计算，得到当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。预设条件可以是基于像素信息的条件。
本申请实施例中，可以计算目标块的帧内差异值intra_activity。帧内差异值intra_activity为目标块内所有像素的像素值与目标块的平均像素值dc的差的绝对值的和。其中，
Figure BDA0001777234440000081
Figure BDA0001777234440000082
ds_curri,j是坐标为(i，j)的像素点的像素值abs(x)为取绝对值函数。能够理解，目标块的像素值差异越小，即目标块为平坦区域时，帧内差异值intra_activity越小。
本申请一个可选的实施例中，预设条件可以包括目标块的帧内差异值大于第一阈值，其中，帧内差异值为目标块内所有像素的像素值与目标块的平均像素值的差的绝对值的和。如果将第一阈值用thres_holda来表示，则有
intra_activity>thres_holda。
第一阈值thres_holda对于8比特视频数据通常为400～800之间的值，例如，本申请实施例中第一阈值thres_holda可以取值为500。
应理解，本申请实施例可以采用其他算法计算目标块的帧内差异值，本申请实施例对此不作限定。
本申请实施例中，还可以计算目标块和匹配块的匹配误差即为帧间差异值inter_activity与帧内差异值intra_activity的比值。其中，匹配块为当前参考帧的下采样图像中与目标块的匹配误差最小的块。本申请实施例可以按照行优先的准则依次扫描参考帧的下采样图像中搜索范围内的所有块ds_ref，并且计算块ds_ref和目标块ds_curr的匹配误差SAD，具有最小SAD的候选块即为最优匹配块，最小SAD即为帧间差异值inter_activity，最优匹配的块ds_ref相对目标块ds_curr的偏移即为目标块ds_curr的运动矢量mv_best。其中，
Figure BDA0001777234440000083
本申请一个可选的实施例中，预设条件可以包括目标块和匹配块的匹配误差与帧内差异值的比值小于第二阈值。如果将第二阈值用β来表示，则有
inter_activity<β*intra_activity。
第二阈值β通常为0.5～2.0之间的值，例如，本申请实施例中第二阈值β可以取值为1.0。
应理解，本申请实施例可以采用其他算法计算目标块和匹配块的匹配误差，本申请实施例对此不作限定。
本申请一个可选的实施例中，预设条件可以包括intra_activity>thres_holda以及inter_activity<β*intra_activity，即目标块需同时满足上述两个条件，其运动矢量才可用于计算全局运动矢量。
基于上述预设条件，通过平均可以得到全局运动矢量，具体可以采用以下方式计算得到全局运动矢量。设置x轴变量gmv_sumx、y轴变量gmv_sumy和选中块的数量变量cand_sum，并赋予其初始值均为0，即
gmv_sumx＝0
gmv_sumy＝0
cand_sum＝0。
对满足预设条件的目标块，将其标记为可用(valid)；对不满足预设条件的目标块，将其标记为不可用(invalid)。valid的目标块的运动矢量的x轴分量为mv_bestx，y轴分量为mv_besty。每得到一个valid的目标块，x轴变量gmv_sumx、y轴变量gmv_sumy和选中块的数量变量cand_sum进行累加：
gmv_sumx+＝mv_bestx
gmv_sumy+＝mv_besty
cand_sum+＝1。
遍历所有目标块后，可以得到x轴变量gmv_sumx、y轴变量gmv_sumy和选中块的数量变量cand_sum的最终值，根据其值可以得到全局运动矢量。该全局运动矢量是带有噪声的全局运动矢量，记为gmv_noisyt，将其x轴分量记为
Figure BDA0001777234440000091
将其y轴分量记为
Figure BDA0001777234440000092
其值分别为：
Figure BDA0001777234440000093
Figure BDA0001777234440000094
其中，γ可以是前文描述的下采样算法的下采样率，例如γ值可以为8。
可选地，为了得到更优的全局运动矢量，可以对带有噪声的全局运动矢量进行后处理，例如，可以对带有噪声的全局运动矢量进行时间上的去噪，或者称为时间滤波。即，全局运动矢量可以是基于多个帧分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。再如，可以对带有噪声的多个全局运动矢量求平均值或加权平均值，等等，本申请实施例对此不作限定。应理解，这里的多个帧可以包括当前帧之前的帧也可以包括当前帧之后的帧，可以是两个帧也可以是更多的帧。
本申请一个可选的实施例中，以下公式给出了使用当前帧的全局运动矢量gmv_noisyt和当前帧的前一帧的全局运动矢量gmv_noisyt-Δt，进行时间滤波得到全局运动矢量gmv，其x轴分量为gmvx，其y轴分量为gmvy。其中，
Figure BDA0001777234440000101
Figure BDA0001777234440000102
w0和w1是去噪参数，w0和w1的典型值可以分别取值3和1，当然w0和w1也可以取其他值，本申请实施例对此不作限定。
应理解，本申请实施例的不同的选取规则和/或不同的预设条件，会导致计算复杂程度的不同，以及最终确定的全局运动矢量的精度不同。上文中的选取规则和预设条件仅为示例，而非对本申请实施例的限定。
上文对本申请实施例的运动估计方法进行了说明，下文将详细说明本申请实施例的运动估计装置。
图5是本申请一个实施例的运动估计装置400的示意性框图。如图5所示，运动估计装置400可以包括：第一确定模块410，用于根据当前帧和当前参考帧，确定当前帧相对于当前参考帧的全局运动矢量；估计模块420，用于根据第一确定模块410确定的全局运动矢量，对目标帧进行运动估计。
本申请的运动估计装置，预先计算当前帧相对于当前参考帧的全局运动矢量即整体偏移，使得在对待运动估计的目标帧运动估计时，可以参考全局运动矢量，从而降低运动估计的整体复杂度。
可选地，作为一个实施例，估计模块420根据全局运动矢量，对目标帧进行运动估计，可以包括：估计模块420根据全局运动矢量，确定目标帧中的待估计块对应的目标参考帧的搜索区域；估计模块420在搜索区域中，对待估计块进行运动估计。
可选地，作为一个实施例，搜索区域以行缓存模式保存。
可选地，作为一个实施例，搜索区域以高速缓冲存储器模式保存。
可选地，作为一个实施例，目标帧为当前帧或者当前帧的后一帧。
可选地，作为一个实施例，全局运动矢量为当前帧按照预设规则分割后的子图像的全局运动矢量。
可选地，作为一个实施例，运动估计装置400还可以包括：下采样模块430，用于对当前帧的原始图像进行下采样，得到当前帧的下采样图像；第二确定模块440，用于确定当前帧对应的当前参考帧的下采样图像；第一确定模块410根据当前帧和当前参考帧，确定当前帧相对于当前参考帧的全局运动矢量，可以包括：第一确定模块410根据下采样模块430得到的当前帧的下采样图像和第二确定模块440得到的当前参考帧的下采样图像，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，第一确定模块410根据当前帧的下采样图像和当前参考帧的下采样图像，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：第一确定模块410从当前帧的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量；第一确定模块410根据至少一个运动矢量，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，第一确定模块410计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：第一确定模块410在当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索目标块的匹配块；第一确定模块410根据目标块和匹配块的坐标，计算目标块相对于当前参考帧的下采样图像的运动矢量。
可选地，作为一个实施例，第一确定模块410从当前帧的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：第一确定模块410按照预设尺寸将当前帧的下采样图像划分成至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量。
可选地，作为一个实施例，第一确定模块410根据至少一个运动矢量，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：第一确定模块410将所有目标块的运动矢量进行统计计算，得到当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，第一确定模块410根据至少一个运动矢量，确定当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：第一确定模块410将符合预设条件的目标块的运动矢量进行统计计算，得到当前帧的原始图像相对于当前参考帧的原始图像的全局运动矢量，预设条件是基于像素信息的条件。
可选地，作为一个实施例，预设条件包括目标块的帧内差异值大于第一阈值，其中，帧内差异值为目标块内所有像素的像素值与目标块的平均像素值的差的绝对值的和。
可选地，作为一个实施例，预设条件还包括目标块和匹配块的匹配误差与帧内差异值的比值小于第二阈值，其中，匹配块为参考帧的下采样图像中与目标块的匹配误差最小的块，帧内差异值为目标块内所有像素的像素值与目标块的平均像素值的差的绝对值的和。
可选地，作为一个实施例，全局运动矢量是基于多个帧分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。
应理解，本申请各实施例的运动估计装置可以基于存储器和处理器实现，各存储器用于存储用于执行本申请个实施例的方法的指令，处理器执行上述指令，使得装置执行本申请各实施例的方法。图6是本申请另一个实施例的运动估计装置500的示意性框图。如图6所示，运动估计装置500包括处理器510和存储器520。
应理解，本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供一种计算机可读存储介质，其上存储有存储有指令，当指令在计算机上运行时，使得计算机执行上述各方法实施例的方法10。
本申请实施例还提供一种计算设备，该计算设备包括上述计算机可读存储介质。
本申请实施例可以应用在飞行器，尤其是无人机领域。
图7是本申请另一个实施例的运动估计方法20的示意性流程图。该方法20可以包括以下步骤。S21，根据当前帧的部分图像和当前参考帧，确定当前帧的部分图像相对于当前参考帧的全局运动矢量。S22，根据全局运动矢量，对目标帧的部分图像进行运动估计。
本申请实施例的运动估计方法，预先计算当前帧的部分图像相对于当前参考帧的全局运动矢量即整体偏移，使得在对待运动估计的目标帧的部分图像运动估计时，可以参考全局运动矢量，从而降低运动估计的整体复杂度。
具体的，可以只针对当前帧的部分图像进行上述方案的运动估计方法，具体不在赘述。
可选地，作为一个实施例，S22根据全局运动矢量，对目标帧的部分图像进行运动估计，可以包括：根据全局运动矢量，确定目标帧中的待估计的部分图像对应的目标参考帧的搜索区域；在搜索区域中，对待估计的部分图像进行运动估计。
可选地，作为一个实施例，搜索区域可以以行缓存模式保存。
可选地，作为一个实施例，搜索区域可以以高速缓冲存储器模式保存。
可选地，作为一个实施例，目标帧可以为当前帧或者当前帧的后一帧。
可选地，作为一个实施例，方法22还可以包括：对当前帧的部分图像的原始图像进行下采样，得到当前帧的部分图像的下采样图像；确定当前帧对应的当前参考帧的下采样图像；S21根据当前帧的部分图像和当前参考帧，确定当前帧的部分图像相对于当前参考帧的全局运动矢量，可以包括：根据当前帧的部分图像的下采样图像和当前参考帧的下采样图像，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，根据当前帧的部分图像的下采样图像和当前参考帧的下采样图像，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：从当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量；根据至少一个运动矢量，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：在当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索目标块的匹配块；根据目标块和匹配块的坐标，计算目标块相对于当前参考帧的下采样图像的运动矢量。
可选地，作为一个实施例，从当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：按照预设尺寸将当前帧的部分图像的下采样图像划分成至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量。
可选地，作为一个实施例，根据至少一个运动矢量，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：将所有目标块的运动矢量进行统计计算，得到当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，根据至少一个运动矢量，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：将符合预设条件的目标块的运动矢量进行统计计算，得到当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，预设条件是基于像素信息的条件。
可选地，作为一个实施例，预设条件可以包括目标块的帧内差异值大于第一阈值，其中，帧内差异值为目标块内所有像素的像素值与目标块的平均像素值的差的绝对值的和。
可选地，作为一个实施例，预设条件可以包括目标块和匹配块的匹配误差与帧内差异值的比值小于第二阈值，其中，匹配块为当前参考帧的下采样图像中与目标块的匹配误差最小的块，帧内差异值为目标块内所有像素的像素值与目标块的平均像素值的差的绝对值的和。
可选地，作为一个实施例，全局运动矢量可以是基于多个帧的部分图像分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。
应理解，方法20与方法10的区别是，对当前帧的部分图像而非当前帧的整个帧计算全局运动矢量。相应地，运动估计时也是针对目标帧的部分图像进行。方法20的具体流程细节可以与与方法10相同或相似，此处不再进行赘述。
本申请实施例还提供了另一种运动估计装置，包括：第一确定模块，用于根据当前帧的部分图像和当前参考帧，确定当前帧的部分图像相对于当前参考帧的全局运动矢量；估计模块，用于根据第一确定模块确定的全局运动矢量，对目标帧的部分图像进行运动估计。
可选地，作为一个实施例，估计模块根据全局运动矢量，对目标帧的部分图像进行运动估计，可以包括：估计模块根据全局运动矢量，确定目标帧中的待估计的部分图像对应的目标参考帧的搜索区域；估计模块在搜索区域中，对待估计的部分图像进行运动估计。
可选地，作为一个实施例，搜索区域可以以行缓存模式保存。
可选地，作为一个实施例，搜索区域可以以高速缓冲存储器模式保存。
可选地，作为一个实施例，目标帧可以为当前帧或者当前帧的后一帧。
可选地，作为一个实施例，装置还可以包括：下采样模块，用于对当前帧的部分图像的原始图像进行下采样，得到当前帧的部分图像的下采样图像；第二确定模块，用于确定当前帧对应的当前参考帧的下采样图像；第一确定模块根据当前帧的部分图像和当前参考帧，确定当前帧的部分图像相对于当前参考帧的全局运动矢量，包括：第一确定模块根据下采样模块得到的当前帧的部分图像的下采样图像和第二确定模块得到的当前参考帧的下采样图像，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，第一确定模块根据当前帧的部分图像的下采样图像和当前参考帧的下采样图像，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：第一确定模块从当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量；第一确定模块根据至少一个运动矢量，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，第一确定模块计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：第一确定模块在当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索目标块的匹配块；第一确定模块根据目标块和匹配块的坐标，计算目标块相对于当前参考帧的下采样图像的运动矢量。
可选地，作为一个实施例，第一确定模块从当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量，可以包括：第一确定模块按照预设尺寸将当前帧的部分图像的下采样图像划分成至少一个目标块，计算每个目标块相对于当前参考帧的下采样图像的运动矢量。
可选地，作为一个实施例，第一确定模块根据至少一个运动矢量，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：第一确定模块将所有目标块的运动矢量进行统计计算，得到当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量。
可选地，作为一个实施例，第一确定模块根据至少一个运动矢量，确定当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，可以包括：第一确定模块将符合预设条件的目标块的运动矢量进行统计计算，得到当前帧的部分图像的原始图像相对于当前参考帧的原始图像的全局运动矢量，预设条件是基于像素信息的条件。
可选地，作为一个实施例，预设条件可以包括目标块的帧内差异值大于第一阈值，其中，帧内差异值为目标块内所有像素的像素值与目标块的平均像素值的差的绝对值的和。
可选地，作为一个实施例，预设条件可以包括目标块和匹配块的匹配误差与帧内差异值的比值小于第二阈值，其中，匹配块为参考帧的下采样图像中与目标块的匹配误差最小的块，帧内差异值为目标块内所有像素的像素值与目标块的平均像素值的差的绝对值的和。
可选地，作为一个实施例，全局运动矢量可以是基于多个帧的部分图像分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。
本申请实施例还提供一种运动估计装置，包括处理器和存储器，存储器用于存储指令，当处理器执行存储器存储的指令时，使得运动估计装置执行方法20。
应理解，本申请实施例的运动估计装置与前文描述的运动估计装置400或运动估计装置500的结构类似，此处不再进行赘述。
本申请实施例还提供一种计算机存储介质，其上存储有指令，当指令在计算设备上运行时，使得计算设备执行上述各方法实施例的方法20。
本申请实施例还提供一种计算设备，该计算设备包括上述计算机可读存储介质。
本申请实施例可以应用在飞行器，尤其是无人机领域。
应理解，本申请各实施例的电路、子电路、子单元的划分只是示意性的。本领域普通技术人员可以意识到，本文中所公开的实施例描述的各示例的电路、子电路和子单元，能够再行拆分或组合。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(Digital Video Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (44)

1.一种运动估计方法，其特征在于，包括：
对当前帧的原始图像进行下采样，得到所述当前帧的下采样图像；
确定所述当前帧对应的所述当前参考帧的下采样图像；
从所述当前帧的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量；
将符合预设条件的目标块的运动矢量进行统计计算，得到所述当前帧的原始图像相对于所述当前参考帧的原始图像的全局运动矢量，所述预设条件是基于像素信息的条件，所述预设条件包括所述目标块的帧内差异值大于第一阈值，其中，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和；
根据所述全局运动矢量，对目标帧进行运动估计。
2.根据权利要求1所述的方法，其特征在于，所述根据所述全局运动矢量，对目标帧进行运动估计，包括：
根据所述全局运动矢量，确定所述目标帧中的待估计块对应的目标参考帧的搜索区域；
在所述搜索区域中，对所述待估计块进行运动估计。
3.根据权利要求2所述的方法，其特征在于，所述搜索区域以行缓存模式保存。
4.根据权利要求2所述的方法，其特征在于，所述搜索区域以高速缓冲存储器模式保存。
5.根据权利要求1所述的方法，其特征在于，所述目标帧为所述当前帧或者所述当前帧的后一帧。
6.根据权利要求1所述的方法，其特征在于，所述全局运动矢量为所述当前帧按照预设规则分割后的子图像的全局运动矢量。
7.根据权利要求1所述的方法，其特征在于，所述计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
在所述当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索所述目标块的匹配块；
根据所述目标块和所述匹配块的坐标，计算所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
8.根据权利要求1所述的方法，其特征在于，所述从所述当前帧的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
按照预设尺寸将所述当前帧的下采样图像划分成至少一个所述目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
9.根据权利要求1所述的方法，其特征在于，所述预设条件还包括所述目标块和匹配块的匹配误差与所述帧内差异值的比值小于第二阈值，其中，所述匹配块为所述当前参考帧的下采样图像中与所述目标块的匹配误差最小的块，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和。
10.根据权利要求1所述的方法，其特征在于，所述全局运动矢量是基于多个帧分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。
11.一种运动估计装置，其特征在于，包括：
下采样模块，用于对当前帧的原始图像进行下采样，得到所述当前帧的下采样图像；
第二确定模块，用于确定所述当前帧对应的所述当前参考帧的下采样图像；
第一确定模块，用于从所述当前帧的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量；
所述第一确定模块还用于将符合预设条件的目标块的运动矢量进行统计计算，得到所述当前帧的原始图像相对于所述当前参考帧的原始图像的全局运动矢量，所述预设条件是基于像素信息的条件，所述预设条件包括所述目标块的帧内差异值大于第一阈值，其中，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和；
估计模块，用于根据所述第一确定模块确定的所述全局运动矢量，对目标帧进行运动估计。
12.根据权利要求11所述的装置，其特征在于，所述估计模块根据所述全局运动矢量，对目标帧进行运动估计，包括：
所述估计模块根据所述全局运动矢量，确定所述目标帧中的待估计块对应的目标参考帧的搜索区域；
所述估计模块在所述搜索区域中，对所述待估计块进行运动估计。
13.根据权利要求12所述的装置，其特征在于，所述搜索区域以行缓存模式保存。
14.根据权利要求12所述的装置，其特征在于，所述搜索区域以高速缓冲存储器模式保存。
15.根据权利要求11所述的装置，其特征在于，所述目标帧为所述当前帧或者所述当前帧的后一帧。
16.根据权利要求11所述的装置，其特征在于，所述全局运动矢量为所述当前帧按照预设规则分割后的子图像的全局运动矢量。
17.根据权利要求11所述的装置，其特征在于，所述第一确定模块计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
所述第一确定模块在所述当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索所述目标块的匹配块；
所述第一确定模块根据所述目标块和所述匹配块的坐标，计算所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
18.根据权利要求11所述的装置，其特征在于，所述第一确定模块从所述当前帧的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
所述第一确定模块按照预设尺寸将所述当前帧的下采样图像划分成至少一个所述目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
19.根据权利要求11所述的装置，其特征在于，所述预设条件还包括所述目标块和匹配块的匹配误差与所述帧内差异值的比值小于第二阈值，其中，所述匹配块为所述参考帧的下采样图像中与所述目标块的匹配误差最小的块，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和。
20.根据权利要求11所述的装置，其特征在于，所述全局运动矢量是基于多个帧分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。
21.一种运动估计装置，其特征在于，包括处理器和存储器，所述存储器用于存储指令，当所述处理器执行所述存储器存储的指令时，使得运动估计装置执行权利要求1至10中任一项所述的方法。
22.一种计算机存储介质，其特征在于，其上存储有指令，当所述指令在计算设备上运行时，使得所述计算设备执行权利要求1至10中任一项所述的方法。
23.一种计算设备，其特征在于，包括权利要求11至21中任一项所述的运动估计装置。
24.一种运动估计方法，其特征在于，包括：
对所述当前帧的部分图像的原始图像进行下采样，得到所述当前帧的部分图像的下采样图像；
确定所述当前帧对应的所述当前参考帧的下采样图像；
从所述当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量；
将符合预设条件的目标块的运动矢量进行统计计算，得到所述当前帧的部分图像的原始图像相对于所述当前参考帧的原始图像的全局运动矢量，所述预设条件是基于像素信息的条件，所述预设条件包括所述目标块的帧内差异值大于第一阈值，其中，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和；
根据所述全局运动矢量，对目标帧的部分图像进行运动估计。
25.根据权利要求24所述的方法，其特征在于，所述根据所述全局运动矢量，对目标帧的部分图像进行运动估计，包括：
根据所述全局运动矢量，确定所述目标帧中的待估计的部分图像对应的目标参考帧的搜索区域；
在所述搜索区域中，对所述待估计的部分图像进行运动估计。
26.根据权利要求25所述的方法，其特征在于，所述搜索区域以行缓存模式保存。
27.根据权利要求25所述的方法，其特征在于，所述搜索区域以高速缓冲存储器模式保存。
28.根据权利要求24所述的方法，其特征在于，所述目标帧为所述当前帧或者所述当前帧的后一帧。
29.根据权利要求24所述的方法，其特征在于，所述计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
在所述当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索所述目标块的匹配块；
根据所述目标块和所述匹配块的坐标，计算所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
30.根据权利要求24所述的方法，其特征在于，所述从所述当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
按照预设尺寸将所述当前帧的部分图像的下采样图像划分成至少一个所述目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
31.根据权利要求24所述的方法，其特征在于，所述预设条件还包括所述目标块和匹配块的匹配误差与所述帧内差异值的比值小于第二阈值，其中，所述匹配块为所述当前参考帧的下采样图像中与所述目标块的匹配误差最小的块，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和。
32.根据权利要求24所述的方法，其特征在于，所述全局运动矢量是基于多个帧的部分图像分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。
33.一种运动估计装置，其特征在于，包括：
下采样模块，用于对所述当前帧的部分图像的原始图像进行下采样，得到所述当前帧的部分图像的下采样图像；
第二确定模块，用于确定所述当前帧对应的所述当前参考帧的下采样图像；
第一确定模块，用于从所述当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量；
所述第一确定模块还用于将符合预设条件的目标块的运动矢量进行统计计算，得到所述当前帧的部分图像的原始图像相对于所述当前参考帧的原始图像的全局运动矢量，所述预设条件是基于像素信息的条件，所述预设条件包括所述目标块的帧内差异值大于第一阈值，其中，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和；
估计模块，用于根据所述第一确定模块确定的所述全局运动矢量，对目标帧的部分图像进行运动估计。
34.根据权利要求33所述的装置，其特征在于，所述估计模块根据所述全局运动矢量，对目标帧的部分图像进行运动估计，包括：
所述估计模块根据所述全局运动矢量，确定所述目标帧中的待估计的部分图像对应的目标参考帧的搜索区域；
所述估计模块在所述搜索区域中，对所述待估计的部分图像进行运动估计。
35.根据权利要求34所述的装置，其特征在于，所述搜索区域以行缓存模式保存。
36.根据权利要求34所述的装置，其特征在于，所述搜索区域以高速缓冲存储器模式保存。
37.根据权利要求33所述的装置，其特征在于，所述目标帧为所述当前帧或者所述当前帧的后一帧。
38.根据权利要求33所述的装置，其特征在于，所述第一确定模块计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
所述第一确定模块在所述当前参考帧的下采样图像中的预设尺寸的搜索范围内，搜索所述目标块的匹配块；
所述第一确定模块根据所述目标块和所述匹配块的坐标，计算所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
39.根据权利要求33所述的装置，其特征在于，所述第一确定模块从所述当前帧的部分图像的下采样图像中确定至少一个目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量，包括：
所述第一确定模块按照预设尺寸将所述当前帧的部分图像的下采样图像划分成至少一个所述目标块，计算每个所述目标块相对于所述当前参考帧的下采样图像的运动矢量。
40.根据权利要求33所述的装置，其特征在于，所述预设条件还包括所述目标块和匹配块的匹配误差与所述帧内差异值的比值小于第二阈值，其中，所述匹配块为所述参考帧的下采样图像中与所述目标块的匹配误差最小的块，所述帧内差异值为所述目标块内所有像素的像素值与所述目标块的平均像素值的差的绝对值的和。
41.根据权利要求33所述的装置，其特征在于，所述全局运动矢量是基于多个帧的部分图像分别相对各自的参考帧的全局运动矢量进行时间滤波后得到的。
42.一种运动估计装置，其特征在于，包括处理器和存储器，所述存储器用于存储指令，当所述处理器执行所述存储器存储的指令时，使得运动估计装置执行权利要求24至32中任一项所述的方法。
43.一种计算机存储介质，其特征在于，其上存储有指令，当所述指令在计算设备上运行时，使得所述计算设备执行权利要求24至32中任一项所述的方法。
44.一种计算设备，其特征在于，包括权利要求33至41中任一项所述的运动估计装置。
CN201780013529.9A 2017-10-31 2017-10-31 运动估计方法和装置 Expired - Fee Related CN108702512B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/108677 WO2019084801A1 (zh) 2017-10-31 2017-10-31 运动估计方法和装置

Publications (2)

Publication Number Publication Date
CN108702512A CN108702512A (zh) 2018-10-23
CN108702512B true CN108702512B (zh) 2020-11-24

Family

ID=63844177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013529.9A Expired - Fee Related CN108702512B (zh) 2017-10-31 2017-10-31 运动估计方法和装置

Country Status (3)

Country Link
US (1) US11019356B2 (zh)
CN (1) CN108702512B (zh)
WO (1) WO2019084801A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385583B (zh) * 2018-12-28 2022-04-22 展讯通信（上海）有限公司 图像运动估计方法、装置及计算机可读存储介质
CN111383182B (zh) * 2018-12-28 2022-09-30 展讯通信（上海）有限公司 图像去噪方法、装置及计算机可读存储介质
CN112954329B (zh) 2019-03-11 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN110493599B (zh) * 2019-07-05 2021-10-26 西安万像电子科技有限公司 图像识别方法及装置
CN110378930B (zh) * 2019-09-11 2020-01-31 湖南德雅坤创科技有限公司 运动目标提取方法、装置和电子设备及可读存储介质
US11057637B1 (en) * 2020-01-29 2021-07-06 Mellanox Technologies, Ltd. Efficient video motion estimation by reusing a reference search region
CN111462170B (zh) * 2020-03-30 2023-08-25 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN112001942B (zh) * 2020-07-03 2021-12-03 北京博雅慧视智能技术研究院有限公司 一种运动估计粗搜索方法及装置
CN112087626A (zh) * 2020-08-21 2020-12-15 西安万像电子科技有限公司 图像处理方法、装置及存储介质
CN114372995A (zh) * 2020-10-14 2022-04-19 晶晨半导体(上海)股份有限公司 显示驱动方法、模块及芯片、电子设备和存储介质
CN114762331A (zh) * 2020-11-20 2022-07-15 深圳市大疆创新科技有限公司 视频编解码方法、装置、可移动平台和存储介质
CN114731412A (zh) * 2020-12-01 2022-07-08 深圳市大疆创新科技有限公司 一种数据处理方法及数据处理设备
CN114513670B (zh) * 2021-12-30 2023-03-10 浙江大华技术股份有限公司 一种端到端的视频压缩方法、装置和计算机可读存储介质
CN114531596A (zh) * 2022-01-25 2022-05-24 京东方科技集团股份有限公司 图像处理方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2052553A2 (en) * 2006-07-26 2009-04-29 Human Monitoring Ltd Image stabilizer

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594397B1 (en) * 2000-03-03 2003-07-15 Tektronix, Inc. Adaptive multi-modal motion estimation for video compression
KR100905880B1 (ko) * 2001-09-12 2009-07-03 엔엑스피 비 브이 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
KR100714698B1 (ko) * 2005-08-29 2007-05-07 삼성전자주식회사 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
US7840085B2 (en) * 2006-04-06 2010-11-23 Qualcomm Incorporated Electronic video image stabilization
US20080117968A1 (en) * 2006-11-22 2008-05-22 Capso Vision, Inc. Movement detection and construction of an "actual reality" image
KR101356735B1 (ko) * 2007-01-03 2014-02-03 삼성전자주식회사 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
US8149911B1 (en) * 2007-02-16 2012-04-03 Maxim Integrated Products, Inc. Method and/or apparatus for multiple pass digital image stabilization
KR101691571B1 (ko) * 2009-10-15 2017-01-02 삼성전자주식회사 표시 장치에 의해서 표시되는 영상 데이터를 처리하는 장치 및 방법
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US9635385B2 (en) * 2011-04-14 2017-04-25 Texas Instruments Incorporated Methods and systems for estimating motion in multimedia pictures
US9824426B2 (en) * 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
CN104219532B (zh) * 2013-06-05 2017-10-17 华为技术有限公司 确定小物体区域的方法、视频帧之间插补帧的方法和装置
US9292899B2 (en) * 2013-09-25 2016-03-22 Apple Inc. Reference frame data prefetching in block processing pipelines
CN104660916B (zh) * 2013-11-18 2018-09-18 杭州海康威视数字技术股份有限公司 屏幕拼接系统和视频数据流的处理方法
US9305362B1 (en) * 2014-02-28 2016-04-05 Xilinx, Inc. Image stabilization
US9811732B2 (en) * 2015-03-12 2017-11-07 Qualcomm Incorporated Systems and methods for object tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2052553A2 (en) * 2006-07-26 2009-04-29 Human Monitoring Ltd Image stabilizer

Also Published As

Publication number Publication date
US20200154129A1 (en) 2020-05-14
US11019356B2 (en) 2021-05-25
CN108702512A (zh) 2018-10-23
WO2019084801A1 (zh) 2019-05-09

Similar Documents

Publication Publication Date Title
CN108702512B (zh) 运动估计方法和装置
EP3050290B1 (en) Method and apparatus for video anti-shaking
US10735727B2 (en) Method of adaptive filtering for multiple reference line of intra prediction in video coding, video encoding apparatus and video decoding apparatus therewith
JP2020522200A (ja) 映像コーディングにおける動き補償予測のオプティカルフロー推定
WO2010080168A1 (en) One step sub-pixel motion estimation
JP5107409B2 (ja) 動き領域の非線形スムージングを用いた動き検出方法およびフィルタリング方法
JP2012516637A5 (zh)
US20190188829A1 (en) Method, Apparatus, and Circuitry of Noise Reduction
CN107483960B (zh) 一种基于空间预测的运动补偿帧率上转换方法
US8243810B2 (en) Motion estimation approach for real-time embedded multimedia design
WO2011017823A1 (en) Techniques to perform video stabilization and detect video shot boundaries based on common processing elements
WO2001010132A2 (en) Motion estimation
CN113643333A (zh) 图像配准方法、装置、电子设备和计算机可读存储介质
JP6507843B2 (ja) 映像解析方法及び映像解析装置
JP2865829B2 (ja) 動き補償方法
JP2003032688A (ja) 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法
KR100575578B1 (ko) 이동 단말 장치에서의 움직임 검출 방법
WO2015085922A1 (zh) 一种帧率上采样的方法和装置
JP2019067169A (ja) 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
CN114040209A (zh) 运动估计方法、装置、电子设备及存储介质
US20110228851A1 (en) Adaptive search area in motion estimation processes
US20110109794A1 (en) Caching structure and apparatus for use in block based video
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2022028981A (ja) 測位システム
US9471992B2 (en) Moving image processing apparatus, moving image processing method, and computer product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201124

CF01 Termination of patent right due to non-payment of annual fee