CN106803255A - 一种基于多锚点跟踪的目标检测和定位的方法 - Google Patents

Abstract

本发明中提出的一种基于多锚点跟踪的目标检测和定位的方法，其主要内容包括：特征提取、构建外观模型、观察模型、目标定位、一致性适应、外观模型更新，其过程为，先提取关键点，颜色(RGB)和局部二值相似性模式(LBSP)特征为初始化的边界框，构建外观模型，再观察模型比较关键点描述符，并进行目标定位，通过评估关键点的接近度来适应关键点的一致性，最后添加和删除关键点来更新外观模型。本发明采用多锚点跟踪，有助于跟踪一般的和可变形的目标对象，没有对特定目标对象的限制；减少了照明、遮挡、变形、运动模糊等产生的影响，提高了分辨率和识别性能。

Description

一种基于多锚点跟踪的目标检测和定位的方法

技术领域

本发明涉及目标检测和定位领域，尤其是涉及了一种基于多锚点跟踪的目标检测和定位的方法。

背景技术

目标跟踪定位技术是目前极具挑战性的研究热点之一，到现在已经形成了一系列的方法，其在视频监控、智能交通、人机交互和军事领域都具有巨大的应用前景。目标跟踪问题的主要技术难点是实时、准确和稳定地将感兴趣的目标变现出来，但是目标可能由于照明、遮挡、变形、运动模糊等而难以检测，目前大多数检测技术的准确率和稳定性都不高，因此目标对象的检测和准确定位仍存在一定难度。

本发明提出了一种基于多锚点跟踪的目标检测和定位的方法，先提取关键点，颜色(RGB)和局部二值相似性模式(LBSP)特征为初始化的边界框，构建外观模型，再观察模型比较关键点描述符，并进行目标定位，通过评估关键点的接近度来适应关键点的一致性，最后添加和删除关键点来更新外观模型。本发明采用多锚点跟踪，有助于跟踪一般的和可变形的目标对象，没有对特定目标对象的限制；减少了照明、遮挡、变形、运动模糊等产生的影响，提高了分辨率和识别性能。

发明内容

针对准确率和稳定性不高的问题，本发明的目的在于提供一种基于多锚点跟踪的目标检测和定位的方法，先提取关键点，RGB和LBSP特征为初始化的边界框，构建外观模型，再观察模型比较关键点描述符，并进行目标定位，通过评估关键点的接近度来适应关键点的一致性，最后添加和删除关键点来更新外观模型。

为解决上述问题，本发明提供一种基于多锚点跟踪的目标检测和定位的方法，其主要内容包括：

(一)特征提取；

(二)构建外观模型；

(三)观察模型；

(四)目标定位；

(五)一致性适应；

(六)外观模型更新。

其中，所述的特征提取，它提取三个特征，即，点特征(指向目标中心的向量编码的关键点)、颜色(RGB)和局部二值相似性模式(LBSP)；首先，针对边界框检测和描述关键点，将其编码到锚点中；使用尺度不变特征变换(SIFT)的关键点，因为它们对于照明，旋转，标度等是鲁棒的，可以使用任何其他关键点；类似地，对于包含在边界框中的目标，计算RGB直方图和LBSP描述符；LBSP是一个16位的二进制编码的描述符，提供了像素级建模；在RGB颜色模型中，所有的像素值在初始化包围盒的加权三维直方图中计算；因此，在建议的跟踪框架中，保留三个特征作为参考模型的目标进行跟踪；为了目标定位，仅使用锚点特征，在锚点外观模型更新期间使用颜色和像素级特征。

其中，所述的构建外观模型，从初始轴向包围盒中得到滤波后的关键点，可以表示为G(P,L)的有向星状图结构的形式可视化，其中，顶点指向中心；P代表属于目标的关键点和边缘L，表示顶点和结构根之间的连接；关键点的向量是边缘，记为指向中心；其中，包含关键点的位置相对于中心的欧氏距离；因此，锚点外观模型包括以下内容：

(1)锚点模型中关键点的描述符；

(2)约束描述其相对于目标中心位置关键点的向量，由L表示一致性；

(3)短期(ST)和长期(LT)关键点，表明关键点与目标的相关性；位于目标中心附近的关

键点将具有与其他目标相比更高的LT一致性，并且在跟踪过程期间在线适应学习参数。

其中，所述的观察模型，在第一帧中构造外观模型后，针对后续帧检测和描述关键点；然后通过使用L2范数(测度空间上的平方可积函数构成的函数空间)比较它们的特征描述符，使这些关键点与存在于锚点外观模型中的关键点的特征描述符相匹配；为了过滤不良的关键点匹配，使用比率测试删除距离比大于0.9的匹配；此外，确定连续帧之间的关键点相互匹配对应，不考虑用于投射和目标定位的单侧匹配关键点，只保留双面相互匹配。

其中，所述的目标定位，考虑通过图像空间中目标中心的关键点进行可视化投射；关键点指向目标中心的像素位置，使中心比周围的其他像素位置给出更有价值的高斯补丁；因此，当关键点k_i匹配时，它投射目标中心x，其结构化约束向量为：

其中，P(x|k_i)是由关键点给出的约束向量分数，k_i是目标中心，x和∑是协方差；

每个关键点对于具有受约束的矢量得分、长期一致性和短期一致性的目标中心投射，作为得分矩阵SM中的总分数；目标中心的总分可以表达为似然函数，由关键点的约束向量分数、长期一致性和短期一致性的数量积给出；作为关键点总分数的函数似然表达式可以写为：

其中，是关键点长期一致性，是关键点的短期一致性，是针对匹配的锚点外观模型中包含的关键点设置的指示符函数当前帧；K是存在于锚点外观模型中的关键点的总数；将各个分数的和最高簇作为最终目标中心位置，表示为x_OCenter；

x_OCenter＝argmax(SM(x)|x∈SM) (3)

因此，最终目标位置由上式给出。

其中，所述的一致性适应，包括模型参数估计和模型参数适应。

进一步地，所述的模型参数估计，包括长期(LT)关键点的一致性和短期(ST)关键点的一致性。

进一步地，所述的长期(LT)关键点的一致性，使用与关键点相关联的接近度的度量来估计关键点，并且计算目标中心关键点的预测接近度，表示为使用公式(3)最终获得目标中心，使用公式(4)计算当前帧T；

因此，与其他点相比，更接近中心的关键点将具有更高的接近值；最终获得的中心预测关键点分配为0.0的值，从而减少它们对未来帧的目标中心的投射影响；此参数适用于所有帧；对于初始帧，使用公式(5)初始化外观模型中存在的所有关键点的接近度量：

这里，是与帧T₀的每个关键点k_i相关联的初始向量，α是接近系数；在第一帧LT关键点的一致性等于

进一步地，所述的短期(ST)关键点的一致性，通过分析预测关键点到帧t中的最终目标中心的距离，可以控制k_i对投射中的未来目标中心预测的影响；例如，如果目标中心的关键点预测非常接近于在帧t中从公式(3)获得的目标中心，则使用公式(6)增加帧t+1的短期一致性；另一方面，如果关键点投射距离目标中心远，则减小帧t+1的目标中心预测的短期一致性；

如果关键点具有高度的长期一致性，并且突然产生外观变化，对于具有较高投射分数的目标中心，关键点投射不正确；但如果分析短期一致性，其价值将变小，因此减少对公式(3)中的投射分数的影响：

其中，η是比例因子。

进一步地，所述的模型参数适应，根据关系点的接近度度量，为外观模型中存在的所有关键点调整长期一致性；与预测更远的关键点相比，更频繁匹配的关键点将具有更大的接近度，并且对于这些关键点，它们的单独预测更接近于从公式(3)获得的多数预测；它还指示关键点属于目标还是背景关键点，因为如果关键点不是中心预测或者预测非常远，则其接近度将变小，长期一致性也将减小；最终，如公式(7)：

其中，δ是适应因子。

其中，所述的外观模型更新，仅当实现高跟踪质量时才更新外观模型；用于测量跟踪质量的标准基于两个特征，即局部像素级LBSP(局部二值相似性模式)特征和全局RGB颜色特征；仅锚点外观模型用于目标定位，并且在基于匹配的LBSP的相似性标准和初始帧保持为参考模型的RGB颜色特征的跟踪处理期间被更新；因此，在跟踪器使用锚点模型进行每个目标定位之后，针对所获得的边界框的LBSP和RGB颜色模型，与它们各自的LBSP和加权RGB参考模型的相似性进行匹配；使用汉明距离使LBSP描述符与相似性匹配，并且使用L2范数分别匹配加权颜色直方图的相似性；

如果相似性比较与参考模型一致，则将新的锚点添加到锚点外观模型；新添加的关键点用它们各自的结构化约束向量和一致性值初始化；从模型中删除长期一致性差和低于的阈值的关键点。

附图说明

图1是本发明一种基于多锚点跟踪的目标检测和定位的方法的系统流程图。

图2是本发明一种基于多锚点跟踪的目标检测和定位的方法的构建外观模型。

图3是本发明一种基于多锚点跟踪的目标检测和定位的方法的目标定位。

图4是本发明一种基于多锚点跟踪的目标检测和定位的方法的一致性适应。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于多锚点跟踪的目标检测和定位的方法的系统流程图。主要包括特征提取，构建外观模型，观察模型，目标定位，一致性适应和外观模型更新。

特征提取，它提取三个特征，即，点特征(指向目标中心的向量编码的关键点)、颜色(RGB)和局部二值相似性模式(LBSP)；首先，针对边界框检测和描述关键点，将其编码到锚点中；使用尺度不变特征变换(SIFT)的关键点，因为它们对于照明，旋转，标度等是鲁棒的，可以使用任何其他关键点；类似地，对于包含在边界框中的目标，计算RGB直方图和LBSP描述符；LBSP是一个16位的二进制编码的描述符，提供了像素级建模；在RGB颜色模型中，所有的像素值在初始化包围盒的加权三维直方图中计算；因此，在建议的跟踪框架中，保留三个特征作为参考模型的目标进行跟踪；为了目标定位，仅使用锚点特征，在锚点外观模型更新期间使用颜色和像素级特征。

观察模型，在第一帧中构造外观模型后，针对后续帧检测和描述关键点；然后通过使用L2范数(测度空间上的平方可积函数构成的函数空间)比较它们的特征描述符，使这些关键点与存在于锚点外观模型中的关键点的特征描述符相匹配；为了过滤不良的关键点匹配，使用比率测试删除距离比大于0.9的匹配；此外，确定连续帧之间的关键点相互匹配对应，不考虑用于投射和目标定位的单侧匹配关键点，只保留双面相互匹配。

外观模型更新，仅当实现高跟踪质量时才更新外观模型；用于测量跟踪质量的标准基于两个特征，即局部像素级LBSP(局部二值相似性模式)特征和全局RGB颜色特征；仅锚点外观模型用于目标定位，并且在基于匹配的LBSP的相似性标准和初始帧保持为参考模型的RGB颜色特征的跟踪处理期间被更新；因此，在跟踪器使用锚点模型进行每个目标定位之后，针对所获得的边界框的LBSP和RGB颜色模型，与它们各自的LBSP和加权RGB参考模型的相似性进行匹配；使用汉明距离使LBSP描述符与相似性匹配，并且使用L2范数分别匹配加权颜色直方图的相似性；

如果相似性比较与参考模型一致，则将新的锚点添加到锚点外观模型；新添加的关键点用它们各自的结构化约束向量和一致性值初始化；从模型中删除长期一致性差和低于的阈值的关键点。

图2是本发明一种基于多锚点跟踪的目标检测和定位的方法的构建外观模型。从初始轴向包围盒中得到滤波后的关键点，可以表示为G(P,L)的有向星状图结构的形式可视化，其中，顶点指向中心；P代表属于目标的关键点和边缘L，表示顶点和结构根之间的连接；关键点的向量是边缘，记为指向中心；其中，包含关键点的位置相对于中心的欧氏距离；因此，锚点外观模型包括以下内容：

(1)锚点模型中关键点的描述符；

(2)约束描述其相对于目标中心位置关键点的向量，由L表示一致性；

(3)短期(ST)和长期(LT)关键点，表明关键点与目标的相关性；位于目标中心附近的关

键点将具有与其他目标相比更高的LT一致性，并且在跟踪过程期间在线适应学习参数。

图3是本发明一种基于多锚点跟踪的目标检测和定位的方法的目标定位。考虑通过图像空间中目标中心的关键点进行可视化投射；关键点指向目标中心的像素位置，使中心比周围的其他像素位置给出更有价值的高斯补丁；因此，当关键点k_i匹配时，它投射目标中心x，其结构化约束向量为：

其中，P(x|k_i)是由关键点给出的约束向量分数，k_i是目标中心，x和∑是协方差；

每个关键点对于具有受约束的矢量得分、长期一致性和短期一致性的目标中心投射，作为得分矩阵SM中的总分数；目标中心的总分可以表达为似然函数，由关键点的约束向量分数、长期一致性和短期一致性的数量积给出；作为关键点总分数的函数似然表达式可以写为：

其中，是关键点长期一致性，是关键点的短期一致性，是针对匹配的锚点外观模型中包含的关键点设置的指示符函数当前帧；K是存在于锚点外观模型中的关键点的总数；将各个分数的和最高簇作为最终目标中心位置，表示为x_OCenter；

x_OCenter＝argmax(SM(x)|x∈SM) (3)

因此，最终目标位置由上式给出。

图4是本发明一种基于多锚点跟踪的目标检测和定位的方法的一致性适应。包括模型参数估计和模型参数适应。

其中，模型参数估计包括长期(LT)关键点的一致性和短期(ST)关键点的一致性。

长期(LT)关键点的一致性：使用与关键点相关联的接近度的度量来估计关键点，并且计算目标中心关键点的预测接近度，表示为使用公式(3)最终获得目标中心，使用公式(4)计算当前帧T；

因此，与其他点相比，更接近中心的关键点将具有更高的接近值；最终获得的中心预测关键点分配为0.0的值，从而减少它们对未来帧的目标中心的投射影响；此参数适用于所有帧；对于初始帧，使用公式(5)初始化外观模型中存在的所有关键点的接近度量：

这里，是与帧T₀的每个关键点k_i相关联的初始向量，α是接近系数；在第一帧LT关键点的一致性等于

短期(ST)关键点的一致性：通过分析预测关键点到帧t中的最终目标中心的距离，可以控制k_i对投射中的未来目标中心预测的影响；例如，如果目标中心的关键点预测非常接近于在帧t中从公式(3)获得的目标中心，则使用公式(6)增加帧t+1的短期一致性；另一方面，如果关键点投射距离目标中心远，则减小帧t+1的目标中心预测的短期一致性；

如果关键点具有高度的长期一致性，并且突然产生外观变化，对于具有较高投射分数的目标中心，关键点投射不正确；但如果分析短期一致性，其价值将变小，因此减少对公式(3)中的投射分数的影响：

其中，η是比例因子。

其中，模型参数适应，根据关系点的接近度度量，为外观模型中存在的所有关键点调整长期一致性；与预测更远的关键点相比，更频繁匹配的关键点将具有更大的接近度，并且对于这些关键点，它们的单独预测更接近于从公式(3)获得的多数预测；它还指示关键点属于目标还是背景关键点，因为如果关键点不是中心预测或者预测非常远，则其接近度将变小，长期一致性也将减小；最终，如公式(7)：

其中，δ是适应因子。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于多锚点跟踪的目标检测和定位的方法，其特征在于，主要包括特征提取(一)；构建外观模型(二)；观察模型(三)；目标定位(四)；一致性适应(五)；外观模型更新(六)。

2.基于权利要求书1所述的特征提取(一)，其特征在于，它提取三个特征，即，点特征(指向目标中心的向量编码的关键点)、颜色(RGB)和局部二值相似性模式(LBSP)；首先，针对边界框检测和描述关键点，将其编码到锚点中；使用尺度不变特征变换(SIFT)的关键点，因为它们对于照明，旋转，标度等是鲁棒的，可以使用任何其他关键点；类似地，对于包含在边界框中的目标，计算RGB直方图和LBSP描述符；LBSP是一个16位的二进制编码的描述符，提供了像素级建模；在RGB颜色模型中，所有的像素值在初始化包围盒的加权三维直方图中计算；因此，在建议的跟踪框架中，保留三个特征作为参考模型的目标进行跟踪；为了目标定位，仅使用锚点特征，在锚点外观模型更新期间使用颜色和像素级特征。

3.基于权利要求书1所述的构建外观模型(二)，其特征在于，从初始轴向包围盒中得到滤波后的关键点，可以表示为G(P,L)的有向星状图结构的形式可视化，其中，顶点指向中心；P代表属于目标的关键点和边缘L，表示顶点和结构根之间的连接；关键点的向量是边缘，记为指向中心；其中，包含关键点的位置相对于中心的欧氏距离；因此，锚点外观模型包括以下内容：

(1)锚点模型中关键点的描述符；

(2)约束描述其相对于目标中心位置关键点的向量，由L表示一致性；

(3)短期(ST)和长期(LT)关键点，表明关键点与目标的相关性；位于目标中心附近的关键点将具有与其他目标相比更高的LT一致性，并且在跟踪过程期间在线适应学习参数。

4.基于权利要求书1所述的观察模型(三)，其特征在于，在第一帧中构造外观模型后，针对后续帧检测和描述关键点；然后通过使用L2范数(测度空间上的平方可积函数构成的函数空间)比较它们的特征描述符，使这些关键点与存在于锚点外观模型中的关键点的特征描述符相匹配；为了过滤不良的关键点匹配，使用比率测试删除距离比大于0.9的匹配；此外，确定连续帧之间的关键点相互匹配对应，不考虑用于投射和目标定位的单侧匹配关键点，只保留双面相互匹配。

5.基于权利要求书1所述的目标定位(四)，其特征在于，考虑通过图像空间中目标中心的关键点进行可视化投射；关键点指向目标中心的像素位置，使中心比周围的其他像素位置给出更有价值的高斯补丁；因此，当关键点ki匹配时，它投射目标中心x，其结构化约束向量为：

$P\left(x\right|k_i)\∝\frac{1}{\sqrt{2\mathrm{\π}|\Σ|}}\exp (-0.5{\left(x-\left(L_{k_i}+x_{k_i}\right)\right)}^T{\mathrm{\Σ}}^{-1}(x-\left(L_{k_i}+x_{k_i}\right)\left)\right)---\left(1\right)$

其中，P(x|k_i)是由关键点给出的约束向量分数，k_i是目标中心，x和∑是协方差；

每个关键点对于具有受约束的矢量得分、长期一致性和短期一致性的目标中心投射，作为得分矩阵SM中的总分数；目标中心的总分可以表达为似然函数，由关键点的约束向量分数、长期一致性和短期一致性的数量积给出；作为关键点总分数的函数似然表达式可以写为：

$SM\left(x\right)=\underset{i=0}{\overset{K}{\Σ}}P\left(x\right|k_i)\·{\mathrm{LT}}_{C_{k_i}}\·{\mathrm{ST}}_{C_{k_i}}{I}_{(k_i\∈K)}---\left(2\right)$

其中，是关键点长期一致性，是关键点的短期一致性，是针对匹配的锚点外观模型中包含的关键点设置的指示符函数当前帧；K是存在于锚点外观模型中的关键点的总数；将各个分数的和最高簇作为最终目标中心位置，表示为x_OCenter；

x_OCenter＝argmax(SM(x)|x∈SM) (3)

因此，最终目标位置由上式给出。

6.基于权利要求书1所述的一致性适应(五)，其特征在于，包括模型参数估计和模型参数适应。

7.基于权利要求书6所述的模型参数估计，其特征在于，包括长期(LT)关键点的一致性和短期(ST)关键点的一致性。

8.基于权利要求书7所述的长期(LT)关键点的一致性和短期(ST)关键点的一致性，其特征在于，长期(LT)关键点的一致性：使用与关键点相关联的接近度的度量来估计关键点，并且计算目标中心关键点的预测接近度，表示为使用公式(3)最终获得目标中心，使用公式(4)计算当前帧T；

$M_{C_{k_i}}^t=max\left(\right(1-\left|\mathrm{\α}\left(x_{OCenter}-x_{{\mathrm{PredCenter}}_{k_i}}\right)\right|),0.0)---\left(4\right)$

因此，与其他点相比，更接近中心的关键点将具有更高的接近值；最终获得的中心预测关键点分配为0.0的值，从而减少它们对未来帧的目标中心的投射影响；此参数适用于所有帧；对于初始帧，使用公式(5)初始化外观模型中存在的所有关键点的接近度量：

$M_{C_{k_i}}^{t_0}=max\left(\right(1-\left|\mathrm{\α}*L_{k_i}^0\right|),0.5)---\left(5\right)$

这里，是与帧T₀的每个关键点k_i相关联的初始向量，α是接近系数；在第一帧LT关键点的一致性等于

短期(ST)关键点的一致性：通过分析预测关键点到帧t中的最终目标中心的距离，可以控制k_i对投射中的未来目标中心预测的影响；例如，如果目标中心的关键点预测非常接近于在帧t中从公式(3)获得的目标中心，则使用公式(6)增加帧t+1的短期一致性；另一方面，如果关键点投射距离目标中心远，则减小帧t+1的目标中心预测的短期一致性；

如果关键点具有高度的长期一致性，并且突然产生外观变化，对于具有较高投射分数的目标中心，关键点投射不正确；但如果分析短期一致性，其价值将变小，因此减少对公式(3)中的投射分数的影响：

${\mathrm{ST}}_{C_{k_i}}^{t_0}=\exp (-\frac{{(x_{{\mathrm{PredCenter}}_{k_i}}^t-x_{OCenter}^t)}^2}{\mathrm{\η}})---\left(6\right)$

其中，η是比例因子。

9.基于权利要求书6所述的模型参数适应，其特征在于，根据关系点的接近度度量，为外观模型中存在的所有关键点调整长期一致性；与预测更远的关键点相比，更频繁匹配的关键点将具有更大的接近度，并且对于这些关键点，它们的单独预测更接近于从公式(3)获得的多数预测；它还指示关键点属于目标还是背景关键点，因为如果关键点不是中心预测或者预测非常远，则其接近度将变小，长期一致性也将减小；最终，如公式(7)：

其中，δ是适应因子。

10.基于权利要求书1所述的外观模型更新(六)，其特征在于，仅当实现高跟踪质量时才更新外观模型；用于测量跟踪质量的标准基于两个特征，即局部像素级LBSP(局部二值相似性模式)特征和全局RGB颜色特征；仅锚点外观模型用于目标定位，并且在基于匹配的LBSP的相似性标准和初始帧保持为参考模型的RGB颜色特征的跟踪处理期间被更新；因此，在跟踪器使用锚点模型进行每个目标定位之后，针对所获得的边界框的LBSP和RGB颜色模型，与它们各自的LBSP和加权RGB参考模型的相似性进行匹配；使用汉明距离使LBSP描述符与相似性匹配，并且使用L2范数分别匹配加权颜色直方图的相似性；

如果相似性比较与参考模型一致，则将新的锚点添加到锚点外观模型；新添加的关键点用它们各自的结构化约束向量和一致性值初始化；从模型中删除长期一致性差和低于的阈值的关键点。