CN111385583B - 图像运动估计方法、装置及计算机可读存储介质 - Google Patents

Abstract

一种图像运动估计方法、装置及计算机可读存储介质，所述图像运动估计方法，包括：获取当前帧原始图像和参考帧原始图像；对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像；计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量；根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量；根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量。上述方案，能够降低图像运动估计过程中的计算复杂度。

Description

图像运动估计方法、装置及计算机可读存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像运动估计方法、装置及计算机可读存储介质。

背景技术

在获取视频图像信号的过程中，视频图像信号不可避免地会受到噪声的干扰。在正常光照条件下，视频图像中的噪声可以用高斯分布，均匀分布或者脉冲分布等进行建模，大部分非线性滤波器都能很好地区分噪声和图像信号，从而能够取得较为准确的去噪结果。然而，当外在光照强度较弱时，噪声干扰会变得十分严重，在低光照条件下，图像中的噪声和图像信号难以区分，从而导致非线性滤波器的性能大幅下降。

在视频图像序列中，前后帧之间通常具有较强的时域相关性。当前后帧图像经过对齐配准后，时域滤波器可以利用前后帧之间的时域相关性来降低噪声水平。在进行对齐配置前，需要对两帧图像进行运动估计。然而，现有技术中，对图像进行运动估计的计算复杂度较高，且占用较大的存储空间。

发明内容

本发明实施例的目的之一为降低图像运动估计过程中的计算复杂度。

为解决上述技术问题，本发明实施例提供一种图像运动估计方法，包括：获取当前帧原始图像和参考帧原始图像，其中，所述参考帧原始图像为所述当前帧原始图像的前一帧；对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像；计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量；根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量；根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量。

可选地，所述对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像，包括：对所述当前帧原始图像分别进行水平方向和垂直方向的下采样，得到所述当前帧下采样图像；对所述参考帧原始图像分别进行水平方向和垂直方向的下采样，得到所述参考帧下采样图像。

可选地，所述计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，包括：将所述当前帧的下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量。

可选地，所述根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，包括：取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。

可选地，所述根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量，包括：在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到左侧拟合曲线和右侧拟合曲线；将所述当前帧原始图像上的运动坐标根据预设比例关系一一映射至所述当前帧下采样图像上，得到映射后的运动坐标，其中，预设比例等于所述当前帧原始图像的高度与所述当前帧下采样图像的高度的比值；将映射后的运动坐标分别代入至左侧拟合曲线和右侧拟合曲线，得到左侧拟合曲线值和右侧拟合曲线值；将左侧拟合曲线值和右侧拟合曲线值对点做差并取绝对值，获取绝对值最小处对应的反映射后的运动坐标；所述当前帧下采样图像上绝对值最小处对应的反映射后的运动坐标对应于所述原始图像上的运动坐标即为所述原始图像的运动向量。

可选地，所述对所述运动向量左右两侧的点分别进行多项式拟合，得到左侧拟合曲线和右侧拟合曲线，包括以下任意一种：采用最小二乘法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线；采用梯度下降法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线。

本发明实施例还提供一种图像运动估计装置，包括：获取单元，适于获取当前帧原始图像和参考帧原始图像，其中，所述参考帧原始图像为所述当前帧原始图像的前一帧；下采样单元，适于对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像；偏移量计算单元，适于计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量；第一计算单元，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量；第二计算单元，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量。

可选地，所述下采样单元，适于对所述当前帧原始图像分别进行水平方向和垂直方向的下采样，得到所述当前帧下采样图像；对所述参考帧原始图像分别进行水平方向和垂直方向的下采样，得到所述参考帧下采样图像。

可选地，所述偏移量计算单元，适于将所述当前帧的下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量。

可选地，所述第一计算单元，适于取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。

可选地，所述第二计算单元，适于在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到左侧拟合曲线和右侧拟合曲线；将所述当前帧原始图像上的运动坐标根据预设比例关系一一映射至所述当前帧下采样图像上，得到映射后的运动坐标，其中，预设比例等于所述当前帧原始图像的高度与所述当前帧下采样图像的高度的比值；将映射后的运动坐标分别代入至左侧拟合曲线和右侧拟合曲线，得到左侧拟合曲线值和右侧拟合曲线值；将左侧拟合曲线值和右侧拟合曲线值对点做差并取绝对值，获取绝对值最小处对应的反映射后的运动坐标；所述当前帧下采样图像上绝对值最小处对应的反映射后的运动坐标对应于所述原始图像上的运动坐标即为所述原始图像的运动向量。

可选地，所述第二计算单元，适于采用最小二乘法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线；或者，采用梯度下降法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线。

本发明实施例还提供一种图像运动估计装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种的图像运动估计方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种的图像运动估计方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在图像运动估计过程中，将当前帧原始图像及参考帧原始图像分别进行下采样得到当前帧下采样图像及参考帧下采样图像。通过计算当前帧下采样图像相对于参考帧下采样图像的运动向量，来得到当前帧原始图像相对于参考帧原始图像的运动向量，由于当前帧下采样图像的分辨率小于当前帧原始图像的分辨率，参考帧下采样图像的分辨率小于参考帧原始图像的分辨率，故可以减小计算量，从而可以降低图像运动估计过程中的计算复杂度，并能够减小所占用的存储空间。

进一步，采用多项式拟合方法根据当前帧下采样图像相对于参考帧下采样图像的运动向量，得到当前帧原始图像相对于参考帧原始图像的运动向量，可以提高所得到的当前帧下采样图像相对于参考帧下采样图像的运动向量计算精度。

附图说明

图1是本发明实施例中一种图像运动估计方法的流程图；

图2是本发明实施例中一种图像运动估计装置的结构示意图。

具体实施方式

图像运动估计是视频图像序列去噪技术的重要组成部分。图像运动估计主要通过前后相邻两帧之间的关联性，计算出当前帧图像各个像素点相对于参考帧图像的运动向量，从而得到每个像素点的运动轨迹。

在寻找图像序列的运动向量时，一般需要依据序列间整体、局部或者特征的对应关系来进行判定，主要包括以下几种方式。

1)全局投影：将图像序列沿着水平方向和垂直方向分别进行投影，然后将当前帧图像和参考帧图像的投影进行匹配得到运动向量。该方法计算简单，当图像尺寸较大时，所需要的计算时间较长，计算复杂度高，且占用的存储空间较大。

2)块比配：块比配是目前视频图像处理领域中应用较广的一种运动估计方法，它首先将图像分成若干个子块，然后针对各个子块，在参考帧图像对应位置处的搜索范围内寻找与该子块最相似的子块(相似性度量准则主要有最小均方误差和最小绝对误差)，当前帧子块与参考帧中最相似块之间的位置偏移量即为运动向量。该方法由于针对不同子块都要计算运动向量，计算复杂度较高。当块与块之间运动不一致时，容易造成图像分层。同时当图像中大部分场景为平坦区域时，采用该方法容易得到错误的运动向量。

3)特征法：特征法中较为典型的是光流法。光流法是利用图像序列中的像素强度值的时域变化和相关性来确定各个像素的运动位置，即研究图像灰度值在时间上的变化与景象中物体结构及其运动的关系。光流法基本原理是给图像中的每一个像素点赋予一个速度矢量，从而形成了该图像运动向量场。图像中的像素点和三维物体上的像素点在某个固定的时刻是一一对应的，根据像素点的速度矢量特征对图像进行动态分析,从而得到每个像素点在该时刻的运动轨迹。由于光流法是基于迭代原则求解计算，故该方法需要较长的计算时间并不能实时应用；另外该法对噪声比较敏感，因此低照度下场景容易失效。

综上，现有技术不管是全局投影，局部块比配或者光流特征法，都存在运算复杂度高的问题。

本发明实施例中，在图像运动估计过程中，将当前帧原始图像及参考帧原始图像分别进行下采样得到当前帧下采样图像及参考帧下采样图像。通过计算当前帧下采样图像相对于参考帧下采样图像的运动向量，来得到当前帧原始图像相对于参考帧原始图像的运动向量，由于当前帧下采样图像的分辨率小于当前帧原始图像的分辨率，参考帧下采样图像的分辨率小于参考帧原始图像的分辨率，故可以减小计算量，从而可以降低图像运动估计过程中的计算复杂度，并能够减小所占用的存储空间。

为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图1，给出了本发明实施例中一种图像运动估计方法的流程图，下面通过具体步骤进行详细说明。

步骤11，获取当前帧原始图像和参考帧原始图像。

在具体实施中，可以从待运动估计的视频图像序列中获取当前帧原始图像和参考帧原始图像。在视频图像序列中，前后帧图像在时域上的相关性较大，因此，在本发明实施例中，可以将所述当前帧原始图像的前一帧作为所述参考帧原始图像。

步骤12，对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像。

在本发明实施中，可以采用三阶Lanczos kernel对所获取到的当前帧原始图像及参考帧原始图像进行下采样。也可以采用bilinear或者bicubic对所获取到的当前帧原始图像及参考帧原始图像进行下采样。

在本发明一实施例中，可以对所述当前帧原始图像分别进行水平方向和垂直方向的下采样，得到所述当前帧下采样图像。对所述参考帧原始图像分别进行水平方向和垂直方向的下采样，得到所述参考帧下采样图像。

步骤13，计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量。

在本发明一实施例中，采用如下方式计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量。

将所述当前帧的下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值。

将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量。将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量。

下面以当前帧下采样图像在水平方向上的投影为例，对所得到的投影值进行说明。

可以采用公式(1)计算得到当前帧下采样图像在水平方向上投影的投影值：

proj_s_cur(j)＝∑_is_cur(j,i)； (1)

其中，proj_s_cur(j)为当前帧下采样图像在水平方向上投影的投影值；j表示图像行号；i表示图像列号；s_cur(j,i)表示当前帧下采样图像中的第j行，第i列的像素点。

参考帧下采样图像在水平方向上投影的投影值、当前帧下采样图像在垂直方向上投影的投影值以及参考帧下采样图像在垂直方向上投影的投影值的计算，可以参考当前帧下采样图像在水平方向上的计算过程，此处不再赘述。

可以采用公式(2)计算当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量。

垂直方向偏移量offset的取值范围为[-range，range]，range为当前帧下采样图像相对于参考帧下采样图像在垂直方向上的最大偏移量，根据最大偏移量所对应的坐标可以得到当前帧下采样图像相对于参考帧下采样图像最大的运动向量。

diff(offset)＝sum(abs(proj_s_cur(i)-proj_s_ref(i+offset))) (2)

其中，proj_s_cur(i)为当前帧下采样图像的第i行的水平方向上投影的投影值；proj_s_ref(i+offset)为具有偏移量offset的参考帧下采样图像的中第i行的水平方向上投影的投影值，abs为取绝对值。

在具体实施中，当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量可以参考上述垂直方向的偏移量计算方法进行计算，此处不做赘述。

步骤14，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量。

在具体实施中，可以采用如下方式计算当前帧原始图像相对于所述参考帧原始图像的运动向量。

取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量。例如，取diff值最小的坐标作为所述坐标，从而得到当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量s_mv_y。

取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到当前帧下采样图像相对所述参考帧下采样图像在水平方向的运动向量。

根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。

由上述方案可知，在图像运动估计过程中，将当前帧原始图像及参考帧原始图像分别进行下采样得到当前帧下采样图像及参考帧下采样图像。通过计算当前帧下采样图像相对于参考帧下采样图像的运动向量，来得到当前帧原始图像相对于参考帧原始图像的运动向量，由于当前帧下采样图像的分辨率小于当前帧原始图像的分辨率，参考帧下采样图像的分辨率小于参考帧原始图像的分辨率，故可以减小计算量，从而可以降低图像运动估计过程中的计算复杂度，并能够减小所占用的存储空间。

在具体实施中，可以采用多项式拟合的方式计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量。下面以当前帧原始图像的垂直向量的计算为例进行说明。

具体而言，在s_mv_y处左边和右边选取临近的N个拟合点。如果diff(s_mv_y-1)小于diff(s_mv_y+1)，则将s_mv_y点合入右侧。如果diff(s_mv_y-1)大于diff(s_mv_y+1)，则将s_mv_y点合入左侧。下文以将s_mv_y点合入右侧为例进行后续的说明。

对s_mv_y左右两侧的N个点和N+1点分别进行多项式(M阶)拟合计算出左侧拟合系数coeff_l和右侧拟合系数coeff_r。拟合过程中N点样本的自变量为(x1,x2,…xN)，相应的因变量大小通过查找difff曲线得到为(y1,y2,…yN)。例如，采用公式(3)及(4)计算左侧拟合系数coeff_l。

其中，A为M次坐标因变量构成的矩阵，

为M次多项式拟合系数矩阵

将当前帧原始图像中的运动坐标coordinate_ori，采用公式(5)根据比例关系一一映射到当前帧下采样图像上，得到映射后的运动坐标coordinate。coordinate_ori的取值范围为[-range_ori,rang_ori]。

其中，height为当前帧下采样图像高度，height_ori为当前帧原始图像高度，coordinate为映射后下采样图像上的运动坐标，range_ori为原始图像的运动向量搜索范围

将coordinate分别代入左侧拟合曲线，得到左侧拟合曲线值val_l，将和coordinate分别代入右侧拟合曲线，得到右侧拟合曲线值val_r。

将左侧拟合曲线值val_l和右侧曲线拟合值val_r，对点做差并取绝对值。绝对值最小处对应的坐标位置反映射到当前帧原始图像上，可以得到当前帧原始图像对应的垂直方向的运动向量。

例如，采用公式(6)及公式(7)得到当前帧原始图像对应的垂直方向的运动向量。

ind＝argmin(abs(val_l(coordinate)-(val_r(coordinate)))； (6)

其中，ind为最小值对应的坐标；abs()为取绝对值；argmin()为使得式子取得最小值的因变量集合。

采用与当前帧原始图像相对于参考帧原始图像在垂直方向的运动向量相同的计算方式，可以得到当前帧原始图像相对于参考帧原始图像在水平方向的运动向量。根据所得到的前帧原始图像相对于参考帧原始图像在垂直方向的运动向量，以及水平方向上的运动向量可以得到当前帧原始图像相对于参考帧原始图像的运动向量。

在具体实施中，也可以采用最小二乘法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线，还可以采用梯度下降法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线。可以立即的是，还可以采用其他算法计算拟合曲线。

采用本发明上述方案，在当前帧下采样图像以及参考帧下采样图像上进行投影及匹配，可以有效地降低图像运动估计过程中的计算复杂度以及所占用的存储空间。

此外，采用多项式拟合的方式根据当前帧下采样图像及参考帧下采样图像来计算当前帧原始图像相对于参考帧原始图像的运动向量，可以提升图像运动估计的精准度。

为了便于本领域技术人员更好的理解和实现本发明实施例，本发明实施例还提供一种图像运动估计装置。

参照图2，给出了本发明实施例中一种图像运动估计装置的结构示意图。所述图像运动估计装置20可以包括：获取单元21、下采样单元22、偏移量计算单元23、第一计算单元24、第二计算单元25，其中：

所述获取单元21，适于获取当前帧原始图像和参考帧原始图像，其中，所述参考帧原始图像为所述当前帧原始图像的前一帧；

所述下采样单元22，适于对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像；

所述偏移量计算单元23，适于计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量；

所述第一计算单元24，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量；

所述第二计算单元25，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量。

在具体实施中，所述下采样单元22，可以适于对所述当前帧原始图像分别进行水平方向和垂直方向的下采样，得到所述当前帧下采样图像；对所述参考帧原始图像分别进行水平方向和垂直方向的下采样，得到所述参考帧下采样图像。

在具体实施中，所述偏移量计算单元23，可以适于将所述当前帧的下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量。

在具体实施中，所述第一计算单元24，可以适于取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。

在具体实施中，所述第二计算单元25，可以适于在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到左侧拟合曲线和右侧拟合曲线；将所述当前帧原始图像上的运动坐标根据预设比例关系一一映射至所述当前帧下采样图像上，得到映射后的运动坐标，其中，预设比例等于所述当前帧原始图像的高度与所述当前帧下采样图像的高度的比值；将映射后的运动坐标分别代入至左侧拟合曲线和右侧拟合曲线，得到左侧拟合曲线值和右侧拟合曲线值；将左侧拟合曲线值和右侧拟合曲线值对点做差并取绝对值，获取绝对值最小处对应的反映射后的运动坐标；所述当前帧下采样图像上绝对值最小处对应的反映射后的运动坐标对应于所述原始图像上的运动坐标即为所述原始图像的运动向量。

在具体实施中，所述第二计算单元25，可以适于采用最小二乘法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线；或者，采用梯度下降法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线。

在具体实施中，图像运动估计装置20的工作原理及流程可以参照本发明上述实施例中对图像运动估计方法中的描述，此处不再赘述。

本发明实施例还提供一种图像运动估计装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行本发明上述实施例提供的任一种图像运动估计方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述实施例提供的任一种图像运动估计方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (12)

1.一种图像运动估计方法，其特征在于，包括：

获取当前帧原始图像和参考帧原始图像，其中，所述参考帧原始图像为所述当前帧原始图像的前一帧；

对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像；

计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量；

根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量；

根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量；

其中，所述根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量，包括：

在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；

对2N+1个拟合点进行多项式拟合，得到左侧拟合曲线和右侧拟合曲线；

将所述当前帧原始图像上的运动坐标根据预设比例关系一一映射至所述当前帧下采样图像上，得到映射后的运动坐标，其中，预设比例等于所述当前帧原始图像的高度与所述当前帧下采样图像的高度的比值；

将映射后的运动坐标分别代入至左侧拟合曲线和右侧拟合曲线，得到左侧拟合曲线值和右侧拟合曲线值；

将左侧拟合曲线值和右侧拟合曲线值对点做差并取绝对值，获取绝对值最小处对应的反映射后的运动坐标；

所述当前帧下采样图像上绝对值最小处对应的反映射后的运动坐标对应于所述当前帧原始图像上的运动坐标即为所述当前帧原始图像相对于所述参考帧原始图像的运动向量。

2.根据权利要求1所述的图像运动估计方法，其特征在于，所述对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像，包括：

对所述当前帧原始图像分别进行水平方向和垂直方向的下采样，得到所述当前帧下采样图像；

对所述参考帧原始图像分别进行水平方向和垂直方向的下采样，得到所述参考帧下采样图像。

3.根据权利要求2所述的图像运动估计方法，其特征在于，所述计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，包括：

将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；

将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；

将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；

将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值； 将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对在水平方向上投影的投影值做offset值偏移后的参考帧下采样图像在垂直方向上的偏移量；

将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对在垂直方向上投影的投影值做offset值偏移后的参考帧下采样图像在水平方向上的偏移量。

4.根据权利要求3所述的图像运动估计方法，其特征在于，所述根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，包括：

取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；

取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；

根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。

5.根据权利要求1所述的图像运动估计方法，其特征在于，所述对2N+1个拟合点进行多项式拟合，得到左侧拟合曲线和右侧拟合曲线，包括以下任意一种：

采用最小二乘法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线；

采用梯度下降法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线。

6.一种图像运动估计装置，其特征在于，包括：

获取单元，适于获取当前帧原始图像和参考帧原始图像，其中，所述参考帧原始图像为所述当前帧原始图像的前一帧；

下采样单元，适于对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧的下采样图像；

偏移量计算单元，适于计算所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量；

第一计算单元，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量；

第二计算单元，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，计算所述当前帧原始图像相对于所述参考帧原始图像的运动向量；

其中，所述第二计算单元，适于在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到左侧拟合曲线和右侧拟合曲线；将所述当前帧原始图像上的运动坐标根据预设比例关系一一映射至所述当前帧下采样图像上，得到映射后的运动坐标，其中，预设比例等于所述当前帧原始图像的高度与所述当前帧下采样图像的高度的比值；将映射后的运动坐标分别代入至左侧拟合曲线和右侧拟合曲线，得到左侧拟合曲线值和右侧拟合曲线值；将左侧拟合曲线值和右侧拟合曲线值对点做差并取绝对值，获取绝对值最小处对应的反映射后的运动坐标；所述当前帧下采样图像上绝对值最小处对应的反映射后的运动坐标对应于所述当前帧原始图像上的运动坐标即为所述当前帧原始图像相对于所述参考帧原始图像的运动向量。

7.根据权利要求6所述的图像运动估计装置，其特征在于，所述下采样单元，适于对所述当前帧原始图像分别进行水平方向和垂直方向的下采样，得到所述当前帧下采样图像；对所述参考帧原始图像分别进行水平方向和垂直方向的下采样，得到所述参考帧下采样图像。

8.根据权利要求7所述的图像运动估计装置，其特征在于，所述偏移量计算单元，适于将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对在水平方向上投影的投影值做offset值偏移后的参考帧下采样图像在垂直方向上的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对在垂直方向上投影的投影值做offset值偏移后的参考帧下采样图像在水平方向上的偏移量。

9.根据权利要求8所述的图像运动估计装置，其特征在于，所述第一计算单元，适于取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。

10.根据权利要求6所述的图像运动估计装置，其特征在于，所述第二计算单元，适于采用最小二乘法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线；或者，采用梯度下降法对所述偏移量进行拟合，得到左侧拟合曲线以及右侧拟合曲线。

11.一种图像运动估计装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至5任一项所述的图像运动估计方法的步骤。

12.一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至5中任一项所述的图像运动估计方法的步骤。

Images