CN109146918A - 一种基于分块的自适应相关目标定位方法 - Google Patents

Abstract

本发明公开了一种基于分块的自适应相关目标定位方法，包括：S1、获取初始帧目标模板，对所述初始帧目标模板中多个模板小块进行初始化；S2、对所述初始帧目标模板进行降采样，得到采样模板；S3、根据所述采样模板对当前图像的目标进行粗定位，得到目标粗定位位置；S4、根据所述粗定位位置得到当前图像的当前帧小块；S5、根据聚类投票算法对所述当前帧小块进行处理，得到目标的精确中心。本发明的基于分块的自适应相关目标定位方法基于分块进行单连接层次凝聚聚类，能够精确定位待跟踪目标的中心，并且计算量小，计算速度快。

Description

一种基于分块的自适应相关目标定位方法

技术领域

本发明属于图像处理领域，具体涉及一种基于分块的自适应相关目标定位方法。

背景技术

相关跟踪算法是一种模板类算法，它将包含目标的图像作为模板在序列图像上以不同的偏移值位移，根据相关函数逐象素计算模板图像和实时图像间的相似程度，最终使得相关函数取得最大值的位置就是目标位置。相关跟踪无需对图像进行分割和特征提取处理，而只在原始图像数据上进行运算，从而保留了图像的全部信息，能适应复杂结构的目标和背景，有较强的抗局部干扰能力，而且对目标的局部变化不敏感，在许多复杂环境场景中是一种切实可行的跟踪测量方法。因此，很多实际跟踪系统都采用这种方法。

具体的，该算法是把一个预先存储的目标模板作为识别和确定目标位置的依据，然后将目标模板在实时图像上以不同的偏移值位移，根据相关函数逐象素计算模板图像和实时图像间的相似程度，相关函数取得最大值的位置就是目标位置。本方案选取的相关函数为归一化互相关(Normalized Cross Correlation，简称NCC)，是一种经典的相关匹配算法，使用归一化互相关系数(即两幅图像各相应像素的灰度值乘积的平均值)来衡量两幅图像的相似程度。其计算公式一般有以下两种方式：

其中，上述两个公式的区别在于：下面的公式进行了去均值处理，能很好地适应光照变化。计算得出的归一化互相关系数的值越大表示两幅图像越相似，反之其值越小说明两幅图像的相似程度越低。因此互相关最大时的搜索窗口位置就是模板图像在待匹配图像中的位置。具体过程如下：

如图1所示，设目标模板图像T的大小为M×M，当前帧图像中待搜索区域S的大小为N×N，T在S上逐像素平移，模板覆盖下的区域称为子图S^ij，其中(i,j)为子图左上角的像点在S图中的坐标，这里称之为参考点，其取值范围为(N-M+1)＞i＞1，(N-M+1)＞j＞1。

根据相关函数计算每一幅子图与模板T的相似程度：

式中，c(T)为模板图像的均值，c(S)为在以(m，n)为起点大小为i×j区域的均值，模板尺寸为M×M。

通过上式计算得到匹配范围内各像素点(i,j)处的R(i,j)值，互相关系数R(i,j)值最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置。

NCC算法具有很高的准确性和适应性，对图像灰度值的线性变换具有“免疫性”，即所求的NCC值不受灰度值的线性变换的影响。

但是其缺点也是比较明显的，主要存在以下缺点：(1)考虑到图像中的自相关值都比较大，因此在互相关计算过程中，相似度形成以模板存在的真实位置为中心的平缓的峰，往往无法检测到准确的尖峰位置，使得确定模板的准确位置很难；(2)采用固定大小的模板，使得算法对于尺度即旋转变化的适应性变差，不能及时更新到目标的真实大小和方向，造成目标最终的漂移甚至丢失；(3)当模板或者待检测图像太大时，导致计算量很大，实时性差。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于分块的自适应相关目标定位方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于分块的自适应相关目标定位方法，包括：

S1、获取初始帧目标模板，对所述初始帧目标模板中多个模板小块进行初始化；

S2、对所述初始帧目标模板进行降采样，得到采样模板；

S3、根据所述采样模板对当前图像的目标进行粗定位，得到目标粗定位位置；

S4根据所述粗定位位置得到当前图像的当前帧小块；

S5、根据聚类投票算法对所述当前帧小块进行处理，得到目标的精确中心。

在一个具体实施方式中，所述步骤S1包括：

S11、对所述初始帧目标模板中预定区域进行特征点提取，得到多个第一特征点；

S12、根据所述第一特征点得到对应的所述模板小块；

S13、计算任意两个第一特征点之间的相对距离和相对角度，得到任意两个所述预定目标块之间的相对距离和相对角度。

在一个具体实施方式中，所述步骤S12包括：

以每个所述第一特征点为中心，采样第一尺寸的区域作为所述模板小块。

在一个具体实施方式中，所述步骤S2包括：

若判断所述初始帧目标模板大小大于预定尺寸，则将所述初始帧目标模板降采样到所述预定尺度。

在一个具体实施方式中，所述步骤S3包括：

将上一帧目标位置的3-4倍邻域作为搜索区域进行采样，在采样窗口中采用初始帧目标模板进行滑动匹配，获取当前图像中互相关系数最大的位置作为所述目标粗定位位置。

在一个具体实施方式中，所述步骤S4包括：

S41、以所述目标粗定位位置为中心的第二区域进行特征点提取，得到多个第二特征点；

S42、以每个所述第二特征点为中心，采样第二尺寸的区域作为待匹配区域；

S43、使用每个所述模板小块分别在每个所述待匹配区域使用互相关算法计算互相关系数，记录与所述待匹配区域匹配时的所述模板小块的最佳匹配位置和最大匹配互相关系数；

S44、判断每个所述待匹配区域中的最大互相关系数是否大于预定系数，若否，则删除该匹配区域，若是，则保留该最大互相关系数作为该待匹配区域的最大互相关系数；

S45、将保留的待匹配区域中最大互相关系数对应的位置作为中心，采样第一尺寸的区域作为当前图像的当前帧小块。

在一个具体实施方式中，所述步骤S45之后还包括：

S406、计算当前帧中两两当前帧小块的相对距离；

S407、计算与每个所述两两当前帧小块的相对距离对应的预定目标块之间的相对距离的比值，得到尺度因子；

S408、对每个所述尺度因子进行排序，选择排序后的中间值为目标尺度估计结果。

在一个具体实施方式中，所述步骤S45之后还包括：

S416、计算当前帧中两两当前帧小块的相对角度；

S417、计算与每个所述两两当前帧小块的相对角度对应的预定目标块之间的相对角度的差值，得到旋转因子；

S418、对每个所述旋转因子进行排序，选择排序后的中间值为目标旋转角度估计结果。

在一个具体实施方式中，所述步骤S5包括：

S51、计算所述当前帧小块的中心点位置与所述模板小块中心点位置构成的向量；

S52、计算两两向量之间的向量距离，并对所述向量距离进行排序；

S53、判断所述向量距离小于预定距离时，对所述当前帧小块进行聚类，得到多个类；

S54、将聚类后的每个类中的帧小块的中心点的坐标值的均值作为目标中心点，得到目标的精确中心。

与现有技术相比，本发明的有益效果：

1、本发明的基于分块的自适应相关目标定位方法基于分块进行单连接层次凝聚聚类，能够精确定位待跟踪目标的中心，并且计算量小，计算速度快。

2、本发明基于分块的自适应相关目标定位方法能能够评估目标分块的尺度变化和旋转角度变化，增强了算法的自适应性，进一步提高了跟踪性能。

附图说明

图1为现有技术的归一化互相关算法搜索方法示意图；

图2为本发明实施例提供的一种基于分块的自适应相关目标定位方法流程图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图2，图2为本发明实施例提供的一种基于分块的自适应相关目标定位方法流程图，包括：

S1、获取初始帧目标模板，对所述初始帧目标模板中多个模板小块进行初始化；

S2、对所述初始帧目标模板进行降采样，得到采样模板；

S3、根据所述采样模板对当前图像的目标进行粗定位，得到目标粗定位位置；

S4根据所述粗定位位置得到当前图像的当前帧小块；

S5、根据聚类投票算法对所述当前帧小块进行处理，得到目标的精确中心。

在一个具体实施方式中，所述步骤S1包括：

S11、对所述初始帧目标模板中预定区域进行特征点提取，得到多个第一特征点；

S12、根据所述第一特征点得到对应的所述模板小块；

S13、计算任意两个第一特征点之间的相对距离和相对角度，得到任意两个所述预定目标块之间的相对距离和相对角度。

在一个具体实施方式中，所述步骤S12包括：

以每个所述第一特征点为中心，采样第一尺寸的区域作为所述模板小块。

在一个具体实施方式中，所述步骤S2包括：

若判断所述初始帧目标模板大小大于预定尺寸，则将所述初始帧目标模板降采样到所述预定尺度。

NCC原算法中采用的是固定大小的目标模板在实时图像上进行滑动遍历来计算相关系数最大值的位置进行目标定位，这种方式不仅计算量大，耗时长，在互相关计算过程中，相似度形成以模板存在的真实位置为中心的平缓的峰，往往无法检测到准确的尖峰位置，使得目标的定位不准，多帧后会造成目标漂移甚至丢失。

本发明实施例首先寻找整体目标模板中最具特征的一些小块并对小块间的位置关系进行初始化将大于32*32像素的整体目标模板进行降采样，缩小到32*32大小，保存该整体目标模板；对跟踪过程中的图像序列进行同样倍数的降采样；对经降采样的模板和图像序列应用NCC算法进行目标位置的粗略定位，在粗定位的位置附近寻找相应小块，结合小块间的位置关系，通过聚类投票方式定位目标的精确中心。

本发明的基于分块的自适应相关目标定位方法基于分块进行单连接层次凝聚聚类，能够精确定位待跟踪目标的中心，并且计算量小，计算速度快。

在一个具体实施方式中，所述步骤S3包括：

将上一帧目标位置的3-4倍邻域作为搜索区域进行采样，在采样窗口中采用初始帧目标模板进行滑动匹配，获取当前图像中互相关系数最大的位置作为所述目标粗定位位置。

在一个具体实施方式中，所述步骤S4包括：

S41、以所述目标粗定位位置为中心的第二区域进行特征点提取，得到多个第二特征点；

S42、以每个所述第二特征点为中心，采样第二尺寸的区域作为待匹配区域；

S43、使用每个所述模板小块分别在每个所述待匹配区域使用互相关算法计算互相关系数，记录与所述待匹配区域匹配时的所述模板小块的最佳匹配位置和最大匹配互相关系数；

S44、判断每个所述待匹配区域中的最大互相关系数是否大于预定系数，若否，则删除该匹配区域，若是，则保留该最大互相关系数作为该待匹配区域的最大互相关系数；

S45、将保留的待匹配区域中最大互相关系数对应的位置作为中心，采样第一尺寸的区域作为当前图像的当前帧小块。

在一个具体实施方式中，所述步骤S45之后还包括：

S406、计算当前帧中两两当前帧小块的相对距离；

S407、计算与每个所述两两当前帧小块的相对距离对应的预定目标块之间的相对距离的比值，得到尺度因子；

S408、对每个所述尺度因子进行排序，选择排序后的中间值为目标尺度估计结果。

在一个具体实施方式中，所述步骤S45之后还包括：

S416、计算当前帧中两两当前帧小块的相对角度；

S417、计算与每个所述两两当前帧小块的相对角度对应的预定目标块之间的相对角度的差值，得到旋转因子；

S418、对每个所述旋转因子进行排序，选择排序后的中间值为目标旋转角度估计结果。

NCC原算法对于帧间发生旋转和尺寸变化的目标模板无法做出及时修正，本发明实施例对目标进行合理分块，通过计算帧间小块之间的相对位置、角度的变化关系，估计目标的尺度变化和旋转角度(即计算尺度因子和旋转因子)，从而指导目标模板进行相应变化。其中小块的选取是通过提取fast特征点结合相关计算来选取的目标中最具特征的一些小块。

层次聚类就是在不同层次上对数据集进行划分，从而形成树形的聚类结构，聚类集的划分可采用“自底向上”的聚合策略，也可采用“自顶向下”的分拆策略。这里采用的是凝聚的层次聚类算法，即自底向上的策略，初始时将每个样本点当做一个类，然后依据某种准则合并这些初始的类，直到达到迭代终止条件或者达到设定的分类数目。

例如，给定要聚类的N个对象以及N*N的欧式距离矩阵。具体聚类步骤如下：

1、将每个对象归为一类,共得到N类,每类仅包含一个对象.类与类之间的距离就是它们所包含的对象之间的距离。

2、找到最相似的两个类合并成一类,于是总的类数少了一个。

3、重新计算新的类与所有旧类之间的距离。

4、重复第2步、第3步,直到最后合并成一个类为止(此类包含了N个对象)或满足一定条件终止(可设定一个阈值f，要求若存在距离小于阈值f的两个类时则将两个类合并并且继续迭代，若两个类之间的距离大于阈值时则停止迭代)。

在上述步骤3中我们的算法采用单连接算法，即使用最小距离|p-p'|来表示两个对象或点p和p'之间的距离：

在一个具体实施方式中，所述步骤S5包括：

S51、计算所述当前帧小块的中心点位置与所述模板小块中心点位置构成的向量；

S52、计算两两向量之间的向量距离，并对所述向量距离进行排序；

S53、判断所述向量距离小于预定距离时，对所述当前帧小块进行聚类，得到多个类；

S54、将聚类后的每个类中的帧小块的中心点的坐标值的均值作为目标中心点，得到目标的精确中心。

例如：

1、计算当前N个小块中心的投票：即每一个当前小块中心点的位置与初始化中小块中心点的位置之间构成的向量；

2、计算两两投票之间的距离，得到N*(N-1)/2个相对距离，按距离大小进行升序排列；

3、从距离最小的开始，聚类并得到结果中最大的类；(当两个类之间的距离小于阈值，合并这两个类)

4、将此类(Smax)中所有小块的中心点作为候选点，所有候选点的坐标均值作为最终的目标中心点输出。

本发明基于分块的自适应相关目标定位方法能能够评估目标分块的尺度变化和旋转角度变化，增强了算法的自适应性，进一步提高了跟踪性能。

实施例二

本实施例对小块选取和尺度、旋转估计的详细分析说明：

第一步：初始小块的选取。

在初始帧手动框定的模板图像S内部的0.9倍区域进行fast特征点提取(保证每个特征点都来自于目标)，以每个特征点为中心，在原图中采样7*7大小的模板，定义为模板小块(假设共有m个)；

计算每个特征点两两之间的相对距离和角度，即初始化模板小块之间的相对距离(dx,dy)和角度dx/dy。

第二步：在当前帧图像T中粗略定位目标位置Pt。

在当前帧中，把上一帧目标位置的3.5倍邻域作为搜索区域进行采样，在采样窗口中用模板S进行滑动匹配，将得到的互相关系数最大的位置作为目标的粗略定位Pt。

第三步：当前帧小块的选取。

1.在以目标的粗定位点Pt为中心，大小为模板的1.3倍区域中进行fast特征点提取，假设提取了N个点；

2.以每个特征点为中心，采样8*8大小的区域作为待匹配区域Pn；

3.使用每个模板小块作为模板，在每个待匹配区域Pn使用NCC算法计算互相关系数，保留与Pn匹配时的每个模板小块的最佳匹配位置和互相关系数，共m个；

4.在属于每个Pn的m个值里，保留其中最大的互相关系数和最佳匹配位置(假设为与第i个模板小块的匹配结果(i<m))，若其中最大互相关系数小于0.92，则认为Pn与任何模板小块都不相似，删除；

5.在保留下的Pn中，以最佳匹配位置为中心，在当前帧中进行7*7大小的采样，作为第i个模板小块在当前帧中的最终匹配结果，即在当前帧中最终选取出的小块。

第四步：评估尺度因子和旋转因子。

计算当前帧中两两小块的相对距离，记录与相应两两模板小块的相对距离之间的比值，记作尺度因子s，即

s＝(dx',dy')/(dx,dy)，

对所有尺度因子进行排序，选取其中的中值做为最终尺度估计结果；

计算当前帧两两小块的角度与相应两两模板小块的角度之间的差值，记作旋转因子rotation，即

rotation＝dx'/dy'-dx/dy，

同理，对所有旋转因子进行排序，选取其中的中值做为最终目标旋转角度的估计结果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于分块的自适应相关目标定位方法，其特征在于，包括：

S1、获取初始帧目标模板，对所述初始帧目标模板中多个模板小块进行初始化；

S2、对所述初始帧目标模板进行降采样，得到采样模板；

S3、根据所述采样模板对当前图像的目标进行粗定位，得到目标粗定位位置；

S4、根据所述粗定位位置得到当前图像的当前帧小块；

S5、根据聚类投票算法对所述当前帧小块进行处理，得到目标的精确中心。

2.根据权利要求1所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S1包括：

S11、对所述初始帧目标模板中预定区域进行特征点提取，得到多个第一特征点；

S12、根据所述第一特征点得到对应的所述模板小块；

S13、计算任意两个第一特征点之间的相对距离和相对角度，得到任意两个所述预定目标块之间的相对距离和相对角度。

3.根据权利要求2所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S12包括：

以每个所述第一特征点为中心，采样第一尺寸的区域作为所述模板小块。

4.根据权利要求2所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S2包括：

若判断所述初始帧目标模板大小大于预定尺寸，则将所述初始帧目标模板降采样到所述预定尺度。

5.根据权利要求2所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S3包括：

将上一帧目标位置的3-4倍邻域作为搜索区域进行采样，在采样窗口中采用初始帧目标模板进行滑动匹配，获取当前图像中互相关系数最大的位置作为所述目标粗定位位置。

6.根据权利要求5所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S4包括：

S41、以所述目标粗定位位置为中心的第二区域进行特征点提取，得到多个第二特征点；

S42、以每个所述第二特征点为中心，采样第二尺寸的区域作为待匹配区域；

S43、使用每个所述模板小块分别在每个所述待匹配区域使用互相关算法计算互相关系数，记录与所述待匹配区域匹配时的所述模板小块的最佳匹配位置和最大匹配互相关系数；

S44、判断每个所述待匹配区域中的最大互相关系数是否大于预定系数，若否，则删除该匹配区域，若是，则保留该最大互相关系数作为该待匹配区域的最大互相关系数；

S45、将保留的待匹配区域中最大互相关系数对应的位置作为中心，采样第一尺寸的区域作为当前图像的当前帧小块。

7.根据权利要求6所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S45之后还包括：

S406、计算当前帧中两两当前帧小块的相对距离；

S407、计算与每个所述两两当前帧小块的相对距离对应的预定目标块之间的相对距离的比值，得到尺度因子；

S408、对每个所述尺度因子进行排序，选择排序后的中间值为目标尺度估计结果。

8.根据权利要求6所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S45之后还包括：

S416、计算当前帧中两两当前帧小块的相对角度；

S417、计算与每个所述两两当前帧小块的相对角度对应的预定目标块之间的相对角度的差值，得到旋转因子；

S418、对每个所述旋转因子进行排序，选择排序后的中间值为目标旋转角度估计结果。

9.根据权利要求6所述的基于分块的自适应相关目标定位方法，其特征在于，所述步骤S5包括：

S51、计算所述当前帧小块的中心点位置与所述模板小块中心点位置构成的向量；

S52、计算两两向量之间的向量距离，并对所述向量距离进行排序；

S53、判断所述向量距离小于预定距离时，对所述当前帧小块进行聚类，得到多个类；

S54、将聚类后的每个类中的帧小块的中心点的坐标值的均值作为目标中心点，得到目标的精确中心。