CN111292357A - 一种基于相关滤波的视频帧间快速运动估计方法 - Google Patents

Abstract

本发明公开了一种基于相关滤波的视频帧间快速运动估计方法。该方法首先对基准帧和参考帧进行预处理，通过进行对数变换提高图像对比度，其次将基准帧划分成大小相等的网格，依次提取基准块B_cur，在参考帧中依据基准块的对应位置提取参考区域，并从中依次提取参考块，通过相关滤波计算运动矢量。本发明能显著提高传统运动估计方法的鲁棒性，可以克服传统运动估计方法对于非刚性运动无法准确获取运动矢量的缺陷，并通过改进搜索策略降低运算复杂度。

Description

一种基于相关滤波的视频帧间快速运动估计方法

技术领域

本发明属于数字视频图像处理与显示技术领域，具体涉及一种基于相关滤波的视频帧间快速运动估计方法。

背景技术

随着视频处理技术的不断发展与人们对视频显示质量要求的不断提高，高刷新率的超高清显示设备已经实现了广泛的普及和应用。运动估计作为视频处理技术的核心模块，负责追踪视频帧内所有物体的运动情况。其主要采用高效的块匹配模式，即将基准帧以一定粒度分割为互不交叠的基准块，并以这些基准块为基准，在其参考帧对应块位置的一定范围内寻找其最佳匹配块。块匹配方法主要有两种：全搜索与快速运动估计。全搜索需要遍历搜索范围内的所有位置来找到最匹配的运动向量，从而导致极大的计算量。因此诸多快速运动估计算法被提出来，通过一定的规则只比较一些关键的候选位置，从而极大的降低运算量。然而这些快速运动估计算法容易获得局部最优解，获取的运动矢量的准确度不如全搜索。因此现在的运动估计算法需要在计算资源和计算准确度之间进行权衡。现有的运动估计算法通常使用绝对差值和(SAD)作为损失函数，SAD计算基准块和搜索块中对应位置像素差值的绝对值和，若两帧中发生非刚性变换(如：缩放、旋转、仿射等)或发生较大位移，使用SAD作为损失函数的运动估计方法往往会获得错误的运动矢量。与此同时，现实世界中的图像常常存在对比度低、场景复杂等问题，这些问题都进一步对运动估计算法提出了挑战。

发明内容

本发明的目的在于提供一种基于相关滤波的视频帧间快速运动估计方法。该方法利用相关滤波作为损失函数，通过对输入图像进行对数转换提高对比度，通过改进搜索步骤降低计算量，实现了更为准确且快速的运动估计。

本发明采用如下技术方案来实现的：

一种基于相关滤波的视频帧间快速运动估计方法，该方法首先对原始视频流中提取出的基准帧和参考帧进行预处理，通过进行对数变换提高图像对比度，其次将基准帧划分成大小相等的网格，依次提取基准块B_cur，在参考帧中依据基准块的对应位置提取参考区域，并从中依次提取参考块，通过相关滤波计算运动矢量。

本发明进一步的改进在于，该方法具体包括如下实现步骤：

5)从原始视频流中依次提取出基准帧和参考帧，对基准帧和参考帧分别进行预处理；

6)从预处理后的基准帧和参考帧中依次提取基准块B_cur和搜索区域；

7)依照搜索流程将基准块B_cur和搜索区域中对应搜索块转到频域中，通过相关滤波计算相关性；

8)找出相关性最大的点的坐标(x,y)，取坐标(x,y)与搜索区域中心点的位移为运动矢量。

本发明进一步的改进在于，步骤1)的具体实现方法如下：

101)从视频流中依次提取出基准帧和参考帧，将视频流的当前帧作为基准帧，下一帧作为参考帧；

102)对基准帧和参考帧分别进行对数变化，用以提高图像的对比度。

本发明进一步的改进在于，步骤2)的具体实现方法如下：

201)将基准帧划分成数个大小相等且互不交叠的矩形，依次令矩形为基准块B_cur；

202)将参考帧中对应位置及以对应位置为中心，以s为半径的块形区域作为搜索区域，其中对搜索区域超过参考帧大小的部分进行补0。

本发明进一步的改进在于，步骤3)的具体实现方法如下：

304)将基准块B_cur转入频域；

305)以搜索区域的中心块为中心块，进入运动估计；

306)将搜索区域的中心块和周围八个块转入频域，通过相关滤波的相关公式计算响应值，将响应值转入时域中，如果最大响应值G_max在中心块中，则进入下一步，否则令最大响应值G_max所在的块为中心块，进入步骤302)。

本发明进一步的改进在于，步骤4)的具体实现方法如下：

403)根据步骤3)计算得到的最大响应值G_max，记录它在搜索区域中的坐标(x,y)；

404)计算(x,y)和搜索区域中心点(0，0)之间的差值，作为运动矢量进行输出。

与现有技术相比，本发明至少具有如下有益的技术效果：

本发明通过对输入图像进行对数转换，提高了原始图像的对比度，克服了现实场景中图像对比度低的问题。由于使用相关滤波作为损失函数进行运动估计，很好的克服了现有运动估计对于图像发生非刚性变换时无法得到准确运动矢量的问题。由于每一个位置上的滤波器都从之前对应位置的滤波器中进行学习，解决了位移较大时获取错误运动矢量的问题。同时，本发明对运动估计的搜索策略进行改进，在保证输出高精度运动矢量的同时，降低了计算量，提高了计算效率。

附图说明

图1为本发明基于相关滤波的视频帧间运动估计整体框架；

图2为相关滤波原理示意图；

图3为单向运动估计示意图；

图4为本发明的搜索过程示意图；

图5为本发明相关滤波流程示意图。

具体实施方式

以下结合附图和实例对本发明作进一步的详细说明。

参考图1-5，本发明提供的基于相关滤波的视频帧间快速运动估计方法，包括如下几个步骤：

1)从原始视频流中依次提取基准帧和参考帧，令视频流中当前帧为基准帧，其后一帧为参考帧。对基准帧和参考帧进行预处理，即对图像进行对数变换，以提高图像对比度，改善当原始图像对比度低时无法获取准确的运动矢量的问题。

2)将基准帧划分为互不交叠且大小一致的宏块，依次作为基准块B_cur，将参考帧中对应位置及以对应位置为中心，以s为半径的块形区域作为搜索区域，其中对搜索区域超过参考帧大小的部分进行补0，进行运动估计。

3)在运动估计的过程中，使用相关滤波作为损失函数，相关滤波的原理如图2所示。图像的相关滤波可以描述为：找到一个滤波器h，与输入图像f求相关性，得到响应图g，其中响应图g描述目标响应，越相近时越大。

4)本发明的搜索策略是基于单向运动估计算法，如图3所示，图3是单向运动估计示意图，单向运动估计通常在连续两帧之间进行，以某一帧为基准帧，另一帧则为参考帧。用基准帧中的每个基准块在参考帧中按照一定的搜索策略搜索对应的块，获取运动矢量。图4为本发明的搜索策略示意图，图中的每一个点代表对应的搜索块的左上角，每个点间的距离为基准块的大小，箭头代表搜索方向。圆形点为第一次搜索的搜索块，最中心的圆形点在搜索区域的中心，和基准块在帧内的位置相同。以图4为例，首先根据本发明的原理计算九个圆形点代表的搜索块与基准块之间的响应，记这些搜索块为B_ref,i(i＝1,2,3,...,9),找出响应最大的点G_max,1所在的块位置，如果在中心则停止，返回对应坐标。图4中G_max,1在中心搜索块的上方B_ref,2找到，所以进入第二步，计算以B_ref,2为中心的九个搜索块与基准块之间的响应，由于此时B_ref,i(i＝4,5,6,...,9)均已被计算过，此时只用计算图中表示为方形点的三个搜索块，同理记录此时响应最大的点G_max,2所在的块位置，如果在中心则停止，返回对应坐标。图4中G_max,2在B_ref,3找到，所以进入第三步，以B_ref,3为中心，计算周围的九个搜索块与基准块之间的响应，由于此时B_ref,i(i＝4,5,7,8)均已被计算过，此时只用计算图中表示为五角形点的五个搜索块即可，若此时G_max,3出现在中心，则返回对应坐标，否则返回第一步中找到的G_max,1对应的坐标，计算运动矢量。通过这种方式，在满足了高精度运动矢量的同时，计算量依旧较低。

5)图5所示为相关滤波的原理示意图，将基准块B_cur转换到频域生成频域图BF_cur，再求其共轭图像BF^* _cur，则第j帧中某一位置的滤波器H_j可以初始化为：

其中，G为理想高斯分布，σ为学习率，H_j-1为上一帧中对应块的滤波器。

按照搜索策略依次提取搜索区域中的各个搜索块B_ref,i，将搜索块B_ref,i转换到频域生成频域图BF_ref,i,则第j帧中某一位置的响应图GF可以由以下公式得到：

GF＝BF_ref,i·H_j

将响应图GF转换到时域可以得到响应图G，在G中找到最大值G_max，记录G_max的坐标(x,y)和此时的块位置。重复以上过程直到完成搜索步骤。若G_max对应的值在中心块上，则停止搜索，返回此时的坐标计算运动矢量。否则以G_max对应的块为中心块，继续搜索步骤。

Claims (6)

1.一种基于相关滤波的视频帧间快速运动估计方法，其特征在于，该方法首先对原始视频流中提取出的基准帧和参考帧进行预处理，通过进行对数变换提高图像对比度，其次将基准帧划分成大小相等的网格，依次提取基准块B_cur，在参考帧中依据基准块的对应位置提取参考区域，并从中依次提取参考块，通过相关滤波计算运动矢量。

2.根据权利要求1所述的一种基于相关滤波的视频帧间快速运动估计方法，其特征在于，该方法具体包括如下实现步骤：

1)从原始视频流中依次提取出基准帧和参考帧，对基准帧和参考帧分别进行预处理；

2)从预处理后的基准帧和参考帧中依次提取基准块B_cur和搜索区域；

3)依照搜索流程将基准块B_cur和搜索区域中对应搜索块转到频域中，通过相关滤波计算相关性；

4)找出相关性最大的点的坐标(x,y)，取坐标(x,y)与搜索区域中心点的位移为运动矢量。

3.根据权利要求2所述的一种基于相关滤波的视频帧间快速运动估计方法，其特征在于，步骤1)的具体实现方法如下：

101)从视频流中依次提取出基准帧和参考帧，将视频流的当前帧作为基准帧，下一帧作为参考帧；

102)对基准帧和参考帧分别进行对数变化，用以提高图像的对比度。

4.根据权利要求3所述的一种基于相关滤波的视频帧间快速运动估计方法，其特征在于，步骤2)的具体实现方法如下：

201)将基准帧划分成数个大小相等且互不交叠的矩形，依次令矩形为基准块B_cur；

202)将参考帧中对应位置及以对应位置为中心，以s为半径的块形区域作为搜索区域，其中对搜索区域超过参考帧大小的部分进行补0。

5.根据权利要求4所述的一种基于相关滤波的视频帧间快速运动估计方法，其特征在于，步骤3)的具体实现方法如下：

301)将基准块B_cur转入频域；

302)以搜索区域的中心块为中心块，进入运动估计；

303)将搜索区域的中心块和周围八个块转入频域，通过相关滤波的相关公式计算响应值，将响应值转入时域中，如果最大响应值G_max在中心块中，则进入下一步，否则令最大响应值G_max所在的块为中心块，进入步骤302)。

6.根据权利要求5所述的一种基于相关滤波的视频帧间快速运动估计方法，其特征在于，步骤4)的具体实现方法如下：

401)根据步骤3)计算得到的最大响应值G_max，记录它在搜索区域中的坐标(x,y)；

402)计算(x,y)和搜索区域中心点(0，0)之间的差值，作为运动矢量进行输出。

Images