CN110942473A - 一种基于特征点网格化匹配的运动目标跟踪检测方法 - Google Patents

Abstract

本发明属于运动目标跟踪检测技术领域，具体涉及一种基于特征点网格化匹配的运动目标跟踪检测方法。本发明通过先提取运动目标和待检测目标的特征点进行匹配，然后划分网格并统计特征点落于网格的位置，再根据网格中的特征点找到运动目标在待检测图像中的位置。本发明将运动的平滑性限制转换成去除错误匹配的数据测量，利用特征点正确匹配对周围比错误对周围有更多的支持点对，筛选剔除错误点对，大大提高了特征点匹配的正确率，从而提升了目标检测的准确度。本发明可用于解决由于运动的平滑性限制而造成的运动目标检测困难问题，本发明能够迅速剔除错误的匹配，提高匹配的稳定性，从而迅速定位运动目标的位置。

Description

一种基于特征点网格化匹配的运动目标跟踪检测方法

技术领域

本发明属于运动目标跟踪检测技术领域，具体涉及一种基于特征点网格化匹配的运动目标跟踪检测方法。

背景技术

运动目标跟踪检测是当前图像技术研究应用的热点和焦点，作为运动目标视觉分析中的一项核心技术以及底层问题，是后续各种高层次的视频处理和应用理解的基础，同时也是视频监控技术自动化和实时应用的关键。它的目的是将视频序列中的运动的物体,从周围的环境信息中检测并提取出来。检测的结果可用于目标识别、目标跟踪、行为分析等研究。应用领域从军事的视频侦察到民用的安防监控。在研究中，由于背景并不静止，如树枝雨雪海浪等环境的扰动，光照的变化和拍摄相机的运动，导致对检测引起较大干扰。如何消除动态背景的不良影响一直是研究的重点和难点。

因此传统的目标检测方法用于运动目标检测有很大的局限性。目前的目标检测算法主要分为两大类：一、基于传统图像处理和机器学习算法的目标检测与识别方法；二、基于深度学习的目标检测与识别方法。常见的基于传统图像处理的目标识别算法主要有SIFT、ORB、KAZE等特征点匹配算法。这些算法在进行运动目标跟踪过程中，由于运动目标的平滑性，使得特征描述子存在一定的局限性，从而产生一些错误的匹配点对，错误匹配点使得目标检测效率和准确率大大降低。

发明内容

本发明的目的在于提供一种基于特征点网格化匹配的运动目标跟踪检测方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：输入目标图片和待检测图片，将两幅图片作灰度处理；

步骤2：对灰度处理后的目标图片和待检测图片提取特征点，计算特征描述子；

步骤3：将目标图片和待检测图片中的特征点依据特征描述子进行KNN匹配；

步骤4：对目标图片和待检测图片进行网格划分；

步骤5：统计目标图片和待检测图片中每一个特征点所属的网格坐标；

步骤6：统计目标图片中每个网格与待检测图片中每个网格的特征点匹配对数；

步骤7：检测特征点匹配对数是否大于阈值；若特征点匹配对数小于阈值，则视为匹配失败并返回步骤2；若特征点匹配对数大于阈值，则视为匹配成功，对成功匹配的特征点匹配对数求解ransack单应性矩阵，获得目标图片在待检测图片中的位置。

本发明还可以包括：

所述的步骤2中对灰度处理后的目标图片和待检测图片提取特征点，计算特征描述子的方法具体为：

步骤2.1：生成高斯差分金字塔，构建尺度空间；

所述的高斯差分金字塔构建过程中采用下采样的图像；

步骤2.2：在尺度空间中检测极值点；

步骤2.3：稳定极值点的精确定位；

确定在下采样图像中提取的极值点对应在原始图像中的确切位置；

步骤2.4：稳定极值点方向信息分配；

稳定的极值点是在不同尺度空间下提取的，为极值点分配方向信息所要解决的问题是使得极值点对图像角度和旋转具有不变性，方向的分配是通过求每个极值点的梯度来实现的；

步骤2.5：计算特征描述子；

所述的特征描述子包含极值点及极值点周围对其有贡献的邻域点；特征描述子的计算方法为：对极值点周围像素区域分块，计算每个分块内梯度直方图，生成具有独特性的向量，这个向量即为该区域图像信息的特征描述子。

所述步骤7中阈值的设置方法为：

设x_i为第i个匹配点，引入分数估计方法S_i，表示小网格内特征点匹配的点对数，则有S_i的概率分布为：

其中n为每个网格内的特征点数，p_t为正确匹配的概率，p_f为错误匹配的概率；在匹配错误的情况下，S_i的均值和方差分别为：

m_f＝Knp_f

K值代表每个大网格内的小邻域个数；根据概率分布，可将阈值τ设置为：

τ＝m_f+α*s_f

其中，α为将上式化简后派生出的一个常数，由于m_f通常很小，则可将阈值τ的计算公式简化为：

本发明的有益效果在于：

本发明通过先提取运动目标和待检测目标的特征点进行匹配，然后划分网格并统计特征点落于网格的位置，再根据网格中的特征点找到运动目标在待检测图像中的位置。本发明将运动的平滑性限制转换成去除错误匹配的数据测量，利用特征点正确匹配对周围比错误对周围有更多的支持点对，筛选剔除错误点对，大大提高了特征点匹配的正确率，从而提升了目标检测的准确度。本发明可用于解决由于运动的平滑性限制而造成的运动目标检测困难问题，相比于传统的运动目标跟踪检测方法具有很好的抗模糊和抗柔性形变效果，能够迅速剔除错误的匹配，提高匹配的稳定性，从而迅速定位运动目标的位置，大大提高了目标检测的准确性。

附图说明

图1为本发明的总体流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明提出了一种基于特征点网格化匹配的运动目标跟踪检测方法，该方法用于解决由于运动的平滑性限制而造成的运动目标检测困难问题，相比于传统的运动目标跟踪检测方法具有很好的抗模糊和抗柔性形变效果，能够迅速剔除错误的匹配，提高匹配的稳定性，从而迅速定位运动目标的位置，大大提高了目标检测的准确性。本发明通过先提取运动目标和待检测目标的特征点进行匹配，然后划分网格并统计特征点落于网格的位置，再根据网格中的特征点找到运动目标在待检测图像中的位置。

本发明将运动的平滑性限制转换成去除错误匹配的数据测量，利用特征点正确匹配对周围比错误对周围有更多的支持特征点对，筛选剔除错误点对，大大提高了特征点匹配的正确率，从而提升了目标检测的准确度。

一种基于特征点网格化匹配的运动目标跟踪检测方法，包括以下步骤：

步骤1：输入目标图片和待检测图片，将两幅图片作灰度处理；

步骤2：对灰度处理后的目标图片和待检测图片提取特征点，计算特征描述子；

步骤3：将目标图片和待检测图片中的特征点依据特征描述子进行KNN匹配；

步骤4：对目标图片和待检测图片进行网格划分；

步骤5：统计目标图片和待检测图片中每一个特征点所属的网格坐标；

步骤6：统计目标图片中每个网格与待检测图片中每个网格的特征点匹配对数；

步骤7：检测特征点匹配对数是否大于阈值；若特征点匹配对数小于阈值，则视为匹配失败并返回步骤2；若特征点匹配对数大于阈值，则视为匹配成功，对成功匹配的特征点匹配对数求解ransack单应性矩阵，获得目标图片在待检测图片中的位置。

所述的步骤2中对灰度处理后的目标图片和待检测图片提取特征点，计算特征描述子的方法具体为：

步骤2.1：生成高斯差分金字塔，构建尺度空间；

所述的高斯差分金字塔构建过程中采用下采样的图像；

步骤2.2：在尺度空间中检测极值点；

步骤2.3：稳定极值点的精确定位；

确定在下采样图像中提取的极值点对应在原始图像中的确切位置；

步骤2.4：稳定极值点方向信息分配；

稳定的极值点是在不同尺度空间下提取的，为极值点分配方向信息所要解决的问题是使得极值点对图像角度和旋转具有不变性，方向的分配是通过求每个极值点的梯度来实现的；

步骤2.5：计算特征描述子；

所述的特征描述子包含极值点及极值点周围对其有贡献的邻域点；特征描述子的计算方法为：对极值点周围像素区域分块，计算每个分块内梯度直方图，生成具有独特性的向量，这个向量即为该区域图像信息的特征描述子。

所述步骤7中阈值的设置方法为：

设x_i为第i个匹配点，引入分数估计方法S_i，表示小网格内特征点匹配的点对数，则有S_i的概率分布为：

其中n为每个网格内的特征点数，p_t为正确匹配的概率，p_f为错误匹配的概率；在匹配错误的情况下，S_i的均值和方差分别为：

m_f＝Knp_f

K值代表每个大网格内的小邻域个数；根据概率分布，可将阈值τ设置为：

τ＝m_f+α*s_f

其中，α为将上式化简后派生出的一个常数，由于m_f通常很小，则可将阈值τ的计算公式简化为：

实施例1：

本发明的目的在于改善现有技术的缺点与不足，提供一种基于特征点网格化匹配的运动目标跟踪检测方法。

本发明的目的通过以下的技术方案实现：

基于特征点网格化匹配的运动目标跟踪检测方法，包括以下步骤：

S1、求取运动目标和待检测图片的特征点，并计算特征描述子；

S2、对运动目标和待检测图片的特征点根据特征描述子进行匹配；

S3、对运动目标图片和待检测图片分别划分网格，并分别统计每个特征点分别落在哪个网格内；

S4、如果运动目标图片中的网格与待检测图片的网格匹配点对数大于一定阈值，视为网格与网格匹配成功；

S5、将匹配成功的网格对中的点对进行RANSAC(Random Sample Consensus)求取单应性矩阵；

S6、通过单应性矩阵获取运动目标在待检测图片中的位置。

步骤S1中，有两张输入图片，一张为运动目标物体的目标图片，一张为可能包含目标物体的待检测图片，利用SIFT算法(Scale-Invariant Feature Transform)对目标图片和待检测图片提取特征点，并对每一个特征点计算一个128维的特征描述子；

步骤S2中，目标图片和待检测图片的特征点通过描述子进行KNN(k-nearestneighbors)匹配；

步骤S3中，将目标图片和待检测图片分别划分成网格，划分网格数量通过数学推导和试验得到最优值；

步骤S3中，统计特征点位于图片上哪个网格内时，对于落在网格边缘上的特征点不予统计；

步骤S4中，将目标图片的网格与待检测图片的网格进行匹配时，首先统计目标图片中每个网格内的每个特征点匹配待检测图片的哪些网格的特征点以及频次；

步骤S4中，若目标图片中网格对应待检测图片网格的特征点个数大于某个阈值，则目标图片中的网格与待检测图片中的网格匹配成功；

步骤S5中，将匹配成功的网格对中的点对进行RANSAC(Random SampleConsensus)求取单应性矩阵,首先随机抽取四个点对求取单应性矩阵，再统计所有特征点对中满足该单应性矩阵的点对有多少，多次随机抽取，选择满足点对数量最多的单应性矩阵。

在步骤S6中，将目标图片四个顶点通过求取的单应性矩阵进行单应性变换，获得运动目标物体四个顶点在待检测图片中的对应位置。

下面结合附图对本方法的具体实施方式做详细的说明。

首先我们将运动目标图片和待检测图片输入，然后将两幅图片转换成灰度图。

然后对灰度处理后的目标图片和待检测图片提取特征点，同时计算一个128维的特征点描述子。这里使用了SIFT算法来处理。步骤为：

1.生成高斯差分金字塔(DOG金字塔)，尺度空间构建。

2.空间极值点检测(关键点的初步查探)。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度空间域的相邻点大或者小。

3.稳定关键点的精确定位。DOG值对噪声和边缘比较敏感，所以在第2步的尺度空间中检测到的局部极值点还要经过进一步的筛选，去除不稳定和错误检测出的极值点，另一点就是在构建高斯金字塔过程中采用了下采样的图像，在下采样图像中提取的极值点对应在原始图像中的确切位置，也是要在本步骤中解决的问题。

4.稳定关键点方向信息分配。稳定的极值点是在不同尺度空间下提取的，这保证了关键点的尺度不变性。为关键点分配方向信息所要解决的问题是使得关键点对图像角度和旋转具有不变性。方向的分配是通过求每个极值点的梯度来实现的。

5.关键点描述；对关键点的描述是后续实现匹配的关键步骤，描述其实就是一种以数学方式定义关键的过程。描述子不但包含关键点，也包括关键点周围对其有贡献的邻域点。描述的思路是：对关键点周围像素区域分块，计算快内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象表述。

6.特征点匹配。特征点的匹配是通过计算两组特征点的128维的关键点的欧式距离实现的。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功。

使用SIFT算法提取特征点后，将目标图片和待检测图片中的特征点依据特征描述子进行KNN匹配，为了提高匹配的速度和准确性，一并采用了flann算法来建立索引加速匹配，然后通过KNN匹配找到目标图片和待检测图片的最近邻。

将目标图片和待检测图片划分网格。正常情况下，若分别为每个匹配点找邻域内的匹配对数，需要完成次运算，但是如果我们引入网格，划分完网格后，以每个网格当作一个小邻域，对网格内的每个匹配点来说分数估计值都一样，所以每个网格内的所有匹配点只需统计一次即可，不需要对每个点分别统计，节约了大量时间。但是可能有特征点正好位于网格边缘，我们可以通过将网格平移半个单位重新计算。网格的划分过程为：假设一张普通的图片，正常情况可以有10000个特征点，假设该特征点均匀分布，则若进行20*20的网格划分，每个网格平均有25个特征点，此时的匹配速度是最优的。通过对实际运动目标和待检测图片进行试验，找到最优的网格数量进行划分。另外，若目标图片和待检测图片的复杂纹理比较多，则可以根据实际情况加大网格划分的数量。

对目标图片和待检测图片划分网格后，统计目标图片与带检测图片中每一个特征点所属的网格坐标。这里统计坐标用于下文的求解ransack矩阵，坐标系的创建简单易计算即可。

统计目标图片中每个网格与待检测图片中每个网格的特征点匹配对数。一般来说，划分网格后的匹配点对清晰易查，相比整幅图片进行匹配点对统计要简单快速。

找到一个阈值，使得匹配特征点对数大于该阈值则视为成功匹配，小于该阈值则视为匹配失败，从而重新计算特征描述子重新进行匹配。.阈值的设置过程如下：设x_i为第i个匹配点，引入分数估计方法S_i，表示小网格内特征点匹配的点对数，则有S_i的概率分布为：

其中n为每个网格内的特征点数，p_t为正确匹配的概率，p_f为错误匹配的概率；在匹配错误的情况下，S_i的均值和方差分别为：

m_f＝Knp_f

K值代表每个大网格内的小邻域个数；根据概率分布，可将阈值τ设置为：

τ＝m_f+α*s_f

其中，α为将上式化简后派生出的一个常数，由于m_f通常很小，则可将阈值τ的计算公式简化为：

将成功匹配的点对数利用ransac求解单应性矩阵，求解目标的姿态变换。

根据单应性矩阵的坐标得到目标图片在待检测图片中的位置。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于特征点网格化匹配的运动目标跟踪检测方法，其特征在于，包括以下步骤：

步骤1：输入目标图片和待检测图片，将两幅图片作灰度处理；

步骤2：对灰度处理后的目标图片和待检测图片提取特征点，计算特征描述子；

步骤3：将目标图片和待检测图片中的特征点依据特征描述子进行KNN匹配；

步骤4：对目标图片和待检测图片进行网格划分；

步骤5：统计目标图片和待检测图片中每一个特征点所属的网格坐标；

步骤6：统计目标图片中每个网格与待检测图片中每个网格的特征点匹配对数；

步骤7：检测特征点匹配对数是否大于阈值；若特征点匹配对数小于阈值，则视为匹配失败并返回步骤2；若特征点匹配对数大于阈值，则视为匹配成功，对成功匹配的特征点匹配对数求解ransack单应性矩阵，获得目标图片在待检测图片中的位置。

2.根据权利要求1所述的一种基于特征点网格化匹配的运动目标跟踪检测方法，其特征在于：所述的步骤2中对灰度处理后的目标图片和待检测图片提取特征点，计算特征描述子的方法具体为：

步骤2.1：生成高斯差分金字塔，构建尺度空间；

所述的高斯差分金字塔构建过程中采用下采样的图像；

步骤2.2：在尺度空间中检测极值点；

步骤2.3：稳定极值点的精确定位；

确定在下采样图像中提取的极值点对应在原始图像中的确切位置；

步骤2.4：稳定极值点方向信息分配；

稳定的极值点是在不同尺度空间下提取的，为极值点分配方向信息所要解决的问题是使得极值点对图像角度和旋转具有不变性，方向的分配是通过求每个极值点的梯度来实现的；

步骤2.5：计算特征描述子；

所述的特征描述子包含极值点及极值点周围对其有贡献的邻域点；特征描述子的计算方法为：对极值点周围像素区域分块，计算每个分块内梯度直方图，生成具有独特性的向量，这个向量即为该区域图像信息的特征描述子。

3.根据权利要求1或2所述的一种基于特征点网格化匹配的运动目标跟踪检测方法，其特征在于：所述步骤7中阈值的设置方法为：

设x_i为第i个匹配点，引入分数估计方法S_i，表示小网格内特征点匹配的点对数，则有S_i的概率分布为：

其中n为每个网格内的特征点数，p_t为正确匹配的概率，p_f为错误匹配的概率；在匹配错误的情况下，S_i的均值和方差分别为：

m_f＝Knp_f

K值代表每个大网格内的小邻域个数；根据概率分布，可将阈值τ设置为：

τ＝m_f+α*s_f

其中，α为将上式化简后派生出的一个常数，由于m_f通常很小，则可将阈值τ的计算公式简化为：

Images