CN113011324B - 基于特征图匹配和超像素图排序的目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了基于特征图匹配和超像素图排序的目标跟踪方法及装置，所述方法包括：提取连续两帧的图像对的特征并进行特征点匹配；对前一帧图像进行超像素以及对当前帧图像进行超像素分割；确定超像素图排序的指示向量，使用半监督的图排序技术得到当前帧图像的排序结果，进而获得当前帧图像的二进制分割掩码；根据当前帧图像的二进制分割掩码对目标进行定位和跟踪；本发明的优点在于：目标跟踪过程中将分割和跟踪一体化，实现更便捷的分割与跟踪功能。

Description

基于特征图匹配和超像素图排序的目标跟踪方法及装置

技术领域

本发明涉及特征图匹配技术、超像素图排序技术、视频跟踪技术领域，更具体涉及基于特征图匹配和超像素图排序的目标跟踪方法及装置。

背景技术

当前，随着虚拟现实医学图像分类和活动分析、图像分割与视频跟踪等作为人工智能领域的关键技术，精确实现分割或者跟踪的技术是计算机视觉更可靠、更可用的保障，但是往往人们把分割和跟踪作为两个任务来解决，没有考虑将分割和跟踪一体化，视频序列无法实现更便捷的分割与跟踪的功能。

特征图匹配可以很好的获取图与图之间关系的重要方式，江等人在2015年发表文献《A Local Sparse Model for Matching Problem》，进行特征图匹配方面的研究，通过结构化的特征表示，可以准确的建立两帧之间关系，从而很好的为后续的半监督分割提供准确的查询节点。但是其仅仅提出用于解决特征图匹配问题的模型，没有考虑将分割和跟踪一体化，视频序列无法实现更便捷的分割与跟踪的功能。

流形排序的目标是以半监督的方式学习一个排序函数，该函数定义了未标记的节点和查询之间的相关性。现有技术主要使用这种排序方式来预测节点之间的相关性来实现图像的显著性检测，将流形排序用在对分割结果进行排序进而实现目标跟踪，对于实现分割和跟踪一体化十分有意义，但是现有技术鲜少考虑将流形排序用在目标跟踪上，更没有考虑将分割和跟踪一体化。

综上所述，现有目标跟踪技术大多是把分割和跟踪作为两个任务来解决，没有考虑将分割和跟踪一体化，视频序列无法实现更便捷的分割与跟踪的功能。

发明内容

本发明所要解决的技术问题在于现有技术目标跟踪是把分割和跟踪作为两个任务来解决，没有考虑将分割和跟踪一体化，因此视频序列无法实现更便捷的分割与跟踪的功能。

本发明通过以下技术手段实现解决上述技术问题：基于特征图匹配和超像素图排序的目标跟踪方法，所述方法包括：

步骤a：提取连续两帧的图像对的特征并进行特征点匹配；

步骤b：对前一帧图像进行超像素分割得到前一帧的超像素块，对当前帧图像进行超像素分割得到当前帧的超像素块，将前一帧图像的特征点按超像素块的分割结果映射到前一帧的二进制分割掩码上，若前一帧图像的特征点在前一帧中所占用的超像素块与前一帧的二进制分割掩码相对应为前景时，则当前帧图像的对应特征点在当前帧中所占用的超像素块为前景，反之为背景；

步骤c：确定超像素图排序的指示向量，使用半监督的图排序技术得到当前帧图像的排序结果，进而获得当前帧图像的二进制分割掩码；

步骤d：根据当前帧图像的二进制分割掩码对目标进行定位和跟踪。

本发明提取图像对特征并进行特征点匹配；对每帧图像进行超像素分割并将匹配结果在前一帧的分割结果上进行映射；根据映射结果得到特征点所属超像素为前景还是背景，由此确定超像素图排序的指示向量；使用半监督的图排序技术得到当前帧目标的分割结果；根据分割结果对目标进行定位和跟踪，将分割和跟踪一体化，实现更便捷的分割与跟踪功能，提高跟踪效果。

在本文同样依靠这种方式建立两帧节点之间的联系，利用背景或者前景种子节点进行预测，从而将目标从背景中分割出来。

进一步地，所述步骤a，包括：

分别提取连续两帧的图像对的特征点，基于特征点构造前一帧图像的内部关系图G^t-1＝(V^t-1,E^t-1,Q^t-1,R^t-1)以及当前帧图像的内部关系图G^t＝(V^t,E^t,Q^t,R^t)，其中，V^t-1表示前一帧图像的特征点集合，E^t-1表示前一帧图像中特征点与特征点之间的关系集合，Q^t-1表示前一帧图像的特征点关联的属性向量，R^t-1表示前一帧图像中特征点与特征点之间形成的每个边e_ih∈E^t-1的权重值集合；

构建用于求解前一帧图像与当前帧图像的特征点之间的匹配关系的通用目标函数

其中，A表示前一帧图像与当前帧图像的特征点之间的匹配关系矩阵，vec(A)＝(A₁₁…A_1n,…,A_m1…A_mn)^T∈R^mn×1是A的向量形式，A_mn表示节点v_m∈G^t对应于节点v_n∈G^t-1，m是当前帧图像的特征点总数，n是前一帧图像的特征点总数，W是用于表征前一帧图像与当前帧图像的特征点匹配程度的亲和矩阵，s.t.表示使得...满足...，是subject to的缩写，

表示任意；

根据通用目标函数，设定一对一匹配约束条件，构建如下待求目标函数公式

s.t.||A||_1,2＝1,A≥0

其中，

通过公式

更新前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的元素，直到待求目标函数收敛得到最优解，其中，A_i'_j表示更新后的前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的第i行第j列元素，λ表示拉格朗日乘子且λ＝vec(A)^TWvec(A)，T∈R^m×n是向量[Wvec(A)]的矩阵形式，T_ij是矩阵T的第i行第j列元素，()^T表示矩阵的转置。

进一步地，所述步骤b，包括：

对每一帧图像使用简单线性迭代聚类算法进行超像素分割，得到前一帧图像的超像素块表示为

和当前帧图像的超像素块/>

N_t-1表示前一帧图像的超像素的个数，N_t表示当前帧图像的超像素的个数，/>

表示前一帧图像的第N_t-1个超像素块，/>

表示当前帧图像的第N_t个超像素块；

将前一帧图像的特征点P^t-1＝(p₁ ^t-1,p₂ ^t-1…p_n ^t-1)按照超像素的分割结果映射到前一帧图像的二进制分割掩码M^(t-1)上，p_i ^t-1表示前一帧图像的第i个特征点，若p_i ^t-1在前一帧图像中所占用的超像素块bkt-1与前一帧图像的二进制分割掩码M^(t-1)相对应为前景时，则认为当前帧图像的第i个特征点p_i ^t所占用的超像素块bjt为前景，反之为背景。

进一步地，所述步骤c，包括：

通过流形排序公式

获取当前帧图像的排序结果，其中，f表示每个节点的排序值且/>

s_ij表示亲和矩阵S中的第i行第j列的元素且/>

x_i表示当前帧图像的超像素块的特征描述子矩阵/>

中的第i个元素，σ为尺度参数，d表示特征的维数，N_t表示当前帧的超像素的块数；d_ii是度矩阵D＝diag{d₁₁,...d_NN}中的元素，且d_ii＝∑_js_ij，μ是平衡参数，u_i是指示向量/>

中的第i个元素，u_i＝1表示第i个超像素块是前景或者背景,u_i＝0表示第i个超像素块不确定其是前景还是背景；

若映射到前景的节点个数不为空，则以前景节点为指示向量进行流形排序得到最终排序结果

若映射到背景的节点个数不为空，则以背景节点为指示向量进行流形排序得到最终排序结果

若映射到前景的节点个数与映射到背景的节点个数都不为空，则以背景节点为指示向量进行流形排序得到的排序结果与以前景节点为指示向量进行流形排序得到的排序结果进行融合得到最终排序结果M(i)＝M_b(i)×M_f(i)i＝1,2,…,N_t，

将最终排序结果作为当前帧图像的二进制分割掩码M^(t)。

本发明还提供基于特征图匹配和超像素图排序的目标跟踪装置，所述装置包括：

特征匹配模块，用于提取连续两帧的图像对的特征并进行特征点匹配；

超像素分割模块，用于对前一帧图像进行超像素分割得到前一帧的超像素块，对当前帧图像进行超像素分割得到当前帧的超像素块，将前一帧图像的特征点按超像素块的分割结果映射到前一帧的二进制分割掩码上，若前一帧图像的特征点在前一帧中所占用的超像素块与前一帧的二进制分割掩码相对应为前景时，则当前帧图像的对应特征点在当前帧中所占用的超像素块为前景，反之为背景；

排序模块，用于确定超像素图排序的指示向量，使用半监督的图排序技术得到当前帧图像的排序结果，进而获得当前帧图像的二进制分割掩码；

跟踪模块，用于根据当前帧图像的二进制分割掩码对目标进行定位和跟踪。

进一步地，所述特征匹配模块，还用于：

分别提取连续两帧的图像对的特征点，基于特征点构造前一帧图像的内部关系图G^t-1＝(V^t-1,E^t-1,Q^t-1,R^t-1)以及当前帧图像的内部关系图G^t＝(V^t,E^t,Q^t,R^t)，其中，V^t-1表示前一帧图像的特征点集合，E^t-1表示前一帧图像中特征点与特征点之间的关系集合，Q^t-1表示前一帧图像的特征点关联的属性向量，R^t-1表示前一帧图像中特征点与特征点之间形成的每个边e_ih∈E^t-1的权重值集合；

构建用于求解前一帧图像与当前帧图像的特征点之间的匹配关系的通用目标函数

其中，A表示前一帧图像与当前帧图像的特征点之间的匹配关系矩阵，vec(A)＝(A₁₁…A_1n,…,A_m1…A_mn)^T∈R^mn×1是A的向量形式，A_mn表示节点v_m∈G^t对应于节点v_n∈G^t-1，m是当前帧图像的特征点总数，n是前一帧图像的特征点总数，W是用于表征前一帧图像与当前帧图像的特征点匹配程度的亲和矩阵，s.t.表示使得...满足...，是subject to的缩写，

表示任意；

根据通用目标函数，设定一对一匹配约束条件，构建如下待求目标函数公式

s.t.||A||_1,2＝1,A≥0

其中，

通过公式

更新前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的元素，直到待求目标函数收敛得到最优解，其中，A_i'_j表示更新后的前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的第i行第j列元素，λ表示拉格朗日乘子且λ＝vec(A)^TWvec(A)，T∈R^m×n是向量[Wvec(A)]的矩阵形式，T_ij是矩阵T的第i行第j列元素，()^T表示矩阵的转置。

进一步地，所述超像素分割模块，还用于：

对每一帧图像使用简单线性迭代聚类算法进行超像素分割得到前一帧图像的超像素块表示为

和当前帧图像的超像素块/>

N_t-1表示前一帧图像的超像素的个数，N_t表示当前帧图像的超像素的个数，/>

表示前一帧图像的第N_t-1个超像素块，/>

表示当前帧图像的第N_t个超像素块；

将前一帧图像的特征点P^t-1＝(p₁ ^t-1,p₂ ^t-1…p_n ^t-1)按照超像素的分割结果映射到前一帧图像的二进制分割掩码M^(t-1)上，p_i ^t-1表示前一帧图像的第i个特征点，若p_i ^t-1在前一帧图像中所占用的超像素块bkt-1与前一帧图像的二进制分割掩码M^(t-1)相对应为前景时，则认为当前帧图像的第i个特征点p_i ^t所占用的超像素块bjt为前景，反之为背景。

进一步地，所述排序模块，还用于：

通过流形排序公式

获取当前帧图像的排序结果，其中，f表示每个节点的排序值且/>

s_ij表示亲和矩阵S中的第i行第j列的元素且/>

x_i表示当前帧图像的超像素块的特征描述子矩阵/>

中的第i个元素，σ为尺度参数，d表示特征的维数，N_t表示当前帧的超像素的块数；d_ii是度矩阵D＝diag{d₁₁,...d_NN}中的元素，且d_ii＝∑_js_ij，μ是平衡参数，u_i是指示向量/>

中的第i个元素，u_i＝1表示第i个超像素块是前景或者背景,u_i＝0表示第i个超像素块不确定其是前景还是背景；

若映射到前景的节点个数不为空，则以前景节点为指示向量进行流形排序得到最终排序结果

若映射到背景的节点个数不为空，则以背景节点为指示向量进行流形排序得到最终排序结果

若映射到前景的节点个数与映射到背景的节点个数都不为空，则以背景节点为指示向量进行流形排序得到的排序结果与以前景节点为指示向量进行流形排序得到的排序结果进行融合得到最终排序结果M(i)＝M_b(i)×M_f(i)i＝1,2,…,N_t，

将最终排序结果作为当前帧图像的二进制分割掩码M^(t)。

本发明的优点在于：本发明提取图像对特征并进行特征点匹配；对每帧图像进行超像素分割并将匹配结果在前一帧的分割结果上进行映射；根据映射结果得到特征点所属超像素为前景还是背景，由此确定超像素图排序的指示向量；使用半监督的图排序技术得到当前帧目标的分割结果；根据分割结果对目标进行定位和跟踪，将分割和跟踪一体化，实现更便捷的分割与跟踪功能，提高跟踪效果。

附图说明

图1为本发明实施例所公开的基于特征图匹配和超像素图排序的目标跟踪方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

基于特征图匹配和超像素图排序的目标跟踪方法，所述方法包括：

步骤a：提取连续两帧的图像对的特征并进行特征点匹配；

步骤b：对前一帧图像进行超像素分割得到前一帧的超像素块，对当前帧图像进行超像素分割得到当前帧的超像素块，将前一帧图像的特征点按超像素块的分割结果映射到前一帧的二进制分割掩码上，若前一帧图像的特征点在前一帧中所占用的超像素块与前一帧的二进制分割掩码相对应为前景时，则当前帧图像的对应特征点在当前帧中所占用的超像素块为前景，反之为背景；

步骤c：确定超像素图排序的指示向量，使用半监督的图排序技术得到当前帧图像的排序结果，进而获得当前帧图像的二进制分割掩码；

步骤d：根据当前帧图像的二进制分割掩码对目标进行定位和跟踪。以下详细介绍每个步骤的具体实施过程：

步骤a:给定连续两帧的图像对I^t-1和I^t，首先使用SIFT算法分别提取n和m个特征点P^t-1＝(p₁ ^t-1,p₂ ^t-1…p_n ^t-1)和P^t＝(p₁ ^t,p₂ ^t…p_m ^t)。然后提取图像中每个特征点的特征描述符，基于特征点构造一个图像的内部关系图G＝(V,E,Q,R)，I^t-1的关系图可表达为G^t-1＝(V^{t -1},E^t-1,Q^t-1,R^t-1)，类似的，可以为I^t构造图G^t＝(V^t,E^t,Q^t,R^t)，目的是利用图的结构信息找到图像对之间的基于特征点的对应关系。图G中节点V代表特征点P，每个节点v_i∈V具有一个关联的属性向量q_i∈Q，边E表示特征点与特征点之间的关系，每个边e_ih∈E的权重值为r_ih∈R。

基于这种形式的图表示，可以将上述特征点匹配问题转化成找到两个图节点之间的对应关系。令A∈{0,1}^n×m表示两个图之间的对应解，其中A_ij＝1表示节点v_i∈G对应于节点v_j'∈G'。为了获得最佳的A，定义了一个亲和矩阵W。W的对角元素W_ij,ij表示一元亲和关系f_a(a_i,a_j)，代表节点v_i∈V与节点v_j'∈V'的匹配程度。非对角元素W_ij,hk包含成对亲和关系f_r(r_ih,r_jk)，这种成对关系可度量G中的成对节点(v_i,v_h)与G'中的成对节点(v_j',v_k')的匹配程度。可以通过优化如下的通用目标函数获得最优的A，

此处vec(A)＝(A₁₁…A_1n,…,A_m1…A_mn)^T∈R^mn×1是A的向量形式，Z是向量vec(Z)的矩阵形式，亲和矩阵W∈R^nm×nm反映了图G^t-1和图G^t的点和点之间以及边和边之间的相似性，s.t.表示使得...满足...，是subject to的缩写，

表示任意，约束条件为A_ij任意一行的和都为1，任意一列的和都不大于1。

不难发现通过上面所描述的问题是二次分配问题(即QAP问题)，对于这种问题常用的方法就是借助一些松弛模型来找到一些近似解。对于图像匹配问题，可以通过求解以下稀疏松弛匹配问题，从而得到最优解。

s.t.||A||_1,2＝1,A≥0

其中

的设定可以引导局部稀疏匹配，由此会形成一对一匹配约束。

由于局部稀疏匹配算法是非参的，具有最优性和收敛性，所提出的基于块的局部稀疏匹配模型可以通过简单的多重更新算法被有效解决，提出的算法进行如下的更新直到收敛即可得到最优的解。

其中提出的算法进行如下的更新直到收敛即可得到最优的解。

A_i'_j表示更新后的前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的第i行第j列元素，λ表示拉格朗日乘子且λ＝vec(A)^TWvec(A)，T∈R^m×n是向量[Wvec(A)]的矩阵形式，T_ij是矩阵T的第i行第j列元素，()^T表示矩阵的转置。

步骤b:根据匹配的结果认为，如果前一帧的特征点p_i ^t-1在目标上，则与之对应的当前帧的特征点p_i ^t也在目标上。为了将特征图匹配的特征点应用到图排序上，首先对每一帧图像使用简单线性迭代聚类(SLIC)算法进行超像素分割得到前一帧的超像素块表示为

和当前帧的超像素块/>

N_t-1表示前一帧图像的超像素的个数，N_t表示当前帧图像的超像素的个数，/>

表示前一帧图像的第N_t-1个超像素块，

表示当前帧图像的第N_t个超像素块。

此时，将前一帧图像的特征点P^t-1＝(p₁ ^t-1,p₂ ^t-1…p_n ^t-1)按照超像素的分割结果映射到前一帧图像的二进制分割掩码M^(t-1)上，p_i ^t-1表示前一帧图像的第i个特征点，若p_i ^t-1在前一帧图像中所占用的超像素块bkt-1与前一帧图像的二进制分割掩码M^(t-1)相对应为前景时，则认为当前帧图像的第i个特征点p_i ^t所占用的超像素块bjt为前景，反之为背景。

步骤c:根据步骤b所描述的映射规则，即前一帧的映射结果为前景，就认为所对应的当前帧的特征点对应的超像素块属于前景，反之属于背景。接下来具体的超像素图排序技术的具体做法如下：

用

表示当前帧的超像素块的特征描述子，d表示特征的维数，N_t表示当前帧的超像素的块数，定义一个指示向量/>

u_i＝1表示第i个超像素块是前景还是背景,u_i＝0表示第i个超像素块不确定其是前景或者是背景。使用

表示每个节点的排序值。首先构造亲和矩阵S，其中边的权重计算如下，

其中x_i,x_j表示当前帧所构的图中任意两个节点对的特征描述子，σ为尺度参数。

由如下流形排序公式，查询的最优排序通过求解以下优化问题来计算

其中度矩阵为D＝diag{d₁₁,...d_NN}，d_ii＝∑_js_ij，μ是平衡参数。

经过一系列变换，最终f^*＝(D-αS)^-1u，可以得到最终的排序结果，进而获得图像的分割掩码M^(t)。

若映射到前景的节点个数不为空，则以前景节点为指示向量进行流形排序得到最终排序结果

若映射到背景的节点个数不为空，则以背景节点为指示向量进行流形排序得到最终排序结果

若映射到前景的节点个数与映射到背景的节点个数都不为空，则以背景节点为指示向量进行流形排序得到的排序结果与以前景节点为指示向量进行流形排序得到的排序结果进行融合得到最终排序结果M(i)＝M_b(i)×M_f(i)i＝1,2,…,N_t，

将最终排序结果作为当前帧图像的二进制分割掩码M^(t)。

步骤d:由步骤c中的得到分割结果，由分割结果确定包围框，实现目标跟踪。并重复步骤a到步骤d直到整个视频序列结束。

通过以上技术方案，本发明提取图像对特征并进行特征点匹配；对每帧图像进行超像素分割并将匹配结果在前一帧的分割结果上进行映射；根据映射结果得到特征点所属超像素为前景还是背景，由此确定超像素图排序的指示向量；使用半监督的图排序技术得到当前帧目标的分割结果；根据分割结果对目标进行定位和跟踪，将分割和跟踪一体化，实现更便捷的分割与跟踪功能，提高跟踪效果。

实施例2

与本发明实施例1相对应的，本发明实施例2还提供基于特征图匹配和超像素图排序的目标跟踪装置，所述装置包括：

特征匹配模块，用于提取连续两帧的图像对的特征并进行特征点匹配；

超像素分割模块，用于对前一帧图像进行超像素分割得到前一帧的超像素块，对当前帧图像进行超像素分割得到当前帧的超像素块，将前一帧图像的特征点按超像素块的分割结果映射到前一帧的二进制分割掩码上，若前一帧图像的特征点在前一帧中所占用的超像素块与前一帧的二进制分割掩码相对应为前景时，则当前帧图像的对应特征点在当前帧中所占用的超像素块为前景，反之为背景；

排序模块，用于确定超像素图排序的指示向量，使用半监督的图排序技术得到当前帧图像的排序结果，进而获得当前帧图像的二进制分割掩码；

跟踪模块，用于根据当前帧图像的二进制分割掩码对目标进行定位和跟踪。

具体的，所述特征匹配模块，还用于：

分别提取连续两帧的图像对的特征点，基于特征点构造前一帧图像的内部关系图G^t-1＝(V^t-1,E^t-1,Q^t-1,R^t-1)以及当前帧图像的内部关系图G^t＝(V^t,E^t,Q^t,R^t)，其中，V^t-1表示前一帧图像的特征点集合，E^t-1表示前一帧图像中特征点与特征点之间的关系集合，Q^t-1表示前一帧图像的特征点关联的属性向量，R^t-1表示前一帧图像中特征点与特征点之间形成的每个边e_ih∈E^t-1的权重值集合；

构建用于求解前一帧图像与当前帧图像的特征点之间的匹配关系的通用目标函数

/>

其中，A表示前一帧图像与当前帧图像的特征点之间的匹配关系矩阵，vec(A)＝(A₁₁…A_1n,…,A_m1…A_mn)^T∈R^mn×1是A的向量形式，A_mn表示节点v_m∈G^t对应于节点v_n∈G^t-1，m是当前帧图像的特征点总数，n是前一帧图像的特征点总数，W是用于表征前一帧图像与当前帧图像的特征点匹配程度的亲和矩阵，s.t.表示使得...满足...，是subject to的缩写，

表示任意；

根据通用目标函数，设定一对一匹配约束条件，构建如下待求目标函数公式

s.t.||A||_1,2＝1,A≥0

其中，

通过公式

更新前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的元素，直到待求目标函数收敛得到最优解，其中，A_i'_j表示更新后的前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的第i行第j列元素，λ表示拉格朗日乘子且λ＝vec(A)^TWvec(A)，T∈R^m×n是向量[Wvec(A)]的矩阵形式，T_ij是矩阵T的第i行第j列元素，()^T表示矩阵的转置。

具体的，所述超像素分割模块，还用于：

对每一帧图像使用简单线性迭代聚类算法进行超像素分割得到前一帧图像的超像素块表示为

和当前帧图像的超像素块/>

N_t-1表示前一帧图像的超像素的个数，N_t表示当前帧图像的超像素的个数，/>

表示前一帧图像的第N_t-1个超像素块，/>

表示当前帧图像的第N_t个超像素块；

将前一帧图像的特征点P^t-1＝(p₁ ^t-1,p₂ ^t-1…p_n ^t-1)按照超像素的分割结果映射到前一帧图像的二进制分割掩码M^(t-1)上，p_i ^t-1表示前一帧图像的第i个特征点，若p_i ^t-1在前一帧图像中所占用的超像素块bkt-1与前一帧图像的二进制分割掩码M^(t-1)相对应为前景时，则认为当前帧图像的第i个特征点p_i ^t所占用的超像素块bjt为前景，反之为背景。

具体的，所述排序模块，还用于：

通过流形排序公式

获取当前帧图像的排序结果，其中，f表示每个节点的排序值且/>

s_ij表示亲和矩阵S中的第i行第j列的元素且/>

x_i表示当前帧图像的超像素块的特征描述子矩阵/>

中的第i个元素，σ为尺度参数，d表示特征的维数，N_t表示当前帧的超像素的块数；d_ii是度矩阵D＝diag{d₁₁,...d_NN}中的元素，且d_ii＝∑_js_ij，μ是平衡参数，u_i是指示向量/>

中的第i个元素，u_i＝1表示第i个超像素块是前景或者背景,u_i＝0表示第i个超像素块不确定其是前景还是背景；/>

若映射到前景的节点个数不为空，则以前景节点为指示向量进行流形排序得到最终排序结果

若映射到背景的节点个数不为空，则以背景节点为指示向量进行流形排序得到最终排序结果

若映射到前景的节点个数与映射到背景的节点个数都不为空，则以背景节点为指示向量进行流形排序得到的排序结果与以前景节点为指示向量进行流形排序得到的排序结果进行融合得到最终排序结果M(i)＝M_b(i)×M_f(i)i＝1,2,…,N_t，

将最终排序结果作为当前帧图像的二进制分割掩码M^(t)。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.基于特征图匹配和超像素图排序的目标跟踪方法，其特征在于，所述方法包括：

步骤a：提取连续两帧的图像对的特征并进行特征点匹配；

步骤b：对前一帧图像进行超像素分割得到前一帧的超像素块，对当前帧图像进行超像素分割得到当前帧的超像素块，将前一帧图像的特征点按超像素块的分割结果映射到前一帧的二进制分割掩码上，若前一帧图像的特征点在前一帧中所占用的超像素块与前一帧的二进制分割掩码相对应为前景时，则当前帧图像的对应特征点在当前帧中所占用的超像素块为前景，反之为背景；

步骤c：确定超像素图排序的指示向量，使用半监督的图排序技术得到当前帧图像的排序结果，进而获得当前帧图像的二进制分割掩码；具体过程为：

通过流形排序公式

获取当前帧图像的排序结果，其中，f表示每个节点的排序值且

s_ij表示亲和矩阵S中的第i行第j列的元素且

x_i表示当前帧图像的超像素块的特征描述子矩阵

中的第i个元素，σ为尺度参数，d表示特征的维数，N_t表示当前帧的超像素的块数；d_ii是度矩阵D＝diag{d₁₁,...d_NN}中的元素，且d_ii＝∑_js_ij，μ是平衡参数，u_i是指示向量

中的第i个元素，u_i＝1表示第i个超像素块是前景或者背景,u_i＝0表示第i个超像素块不确定其是前景还是背景；

若映射到前景的节点个数不为空，则以前景节点为指示向量进行流形排序得到最终排序结果

若映射到背景的节点个数不为空，则以背景节点为指示向量进行流形排序得到最终排序结果

若映射到前景的节点个数与映射到背景的节点个数都不为空，则以背景节点为指示向量进行流形排序得到的排序结果与以前景节点为指示向量进行流形排序得到的排序结果进行融合得到最终排序结果M(i)＝M_b(i)×M_f(i)i＝1,2,…,N_t，

将最终排序结果作为当前帧图像的二进制分割掩码M^(t)；

步骤d：根据当前帧图像的二进制分割掩码对目标进行定位和跟踪。

2.根据权利要求1所述的基于特征图匹配和超像素图排序的目标跟踪方法，其特征在于，所述步骤a，包括：

分别提取连续两帧的图像对的特征点，基于特征点构造前一帧图像的内部关系图G^t-1＝(V^t-1,E^t-1,Q^t-1,R^t-1)以及当前帧图像的内部关系图G^t＝(V^t,E^t,Q^t,R^t)，其中，V^t-1表示前一帧图像的特征点集合，E^t-1表示前一帧图像中特征点与特征点之间的关系集合，Q^t-1表示前一帧图像的特征点关联的属性向量，R^t-1表示前一帧图像中特征点与特征点之间形成的每个边e_ih∈E^t-1的权重值集合；

构建用于求解前一帧图像与当前帧图像的特征点之间的匹配关系的通用目标函数

其中，A表示前一帧图像与当前帧图像的特征点之间的匹配关系矩阵，vec(A)＝(A₁₁...A_1n,...,A_m1...A_mn)^T∈R^mn×1是A的向量形式，A_mn表示节点v_m∈G^t对应于节点v_n∈G^t-1，m是当前帧图像的特征点总数，n是前一帧图像的特征点总数，W是用于表征前一帧图像与当前帧图像的特征点匹配程度的亲和矩阵，s.t.表示使得...满足...，是subject to的缩写，

表示任意；

根据通用目标函数，设定一对一匹配约束条件，构建如下待求目标函数公式

s.t.||A||_1,2＝1,A≥0

其中，

通过公式

更新前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的元素，直到待求目标函数收敛得到最优解，其中，A′_ij表示更新后的前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的第i行第j列元素，λ表示拉格朗日乘子且λ＝vec(A)^TWvec(A)，T∈R^m×n是向量[Wvec(A)]的矩阵形式，T_ij是矩阵T的第i行第j列元素，()^T表示矩阵的转置。

3.根据权利要求1所述的基于特征图匹配和超像素图排序的目标跟踪方法，其特征在于，所述步骤b，包括：

对每一帧图像使用简单线性迭代聚类算法进行超像素分割得到前一帧图像的超像素块表示为

和当前帧图像的超像素块

N_t-1表示前一帧图像的超像素的个数，N_t表示当前帧图像的超像素的个数，

表示前一帧图像的第N_t-1个超像素块，

表示当前帧图像的第N_t个超像素块；

将前一帧图像的特征点P^t-1＝(p₁ ^t-1,p₂ ^t-1…p_n ^t-1)按照超像素的分割结果映射到前一帧图像的二进制分割掩码M^(t-1)上，p_i ^t-1表示前一帧图像的第i个特征点，若p_i ^t-1在前一帧图像中所占用的超像素块b_k ^t-1与前一帧图像的二进制分割掩码M^(t-1)相对应为前景时，则认为当前帧图像的第i个特征点p_i ^t所占用的超像素块b_j ^t为前景，反之为背景。

4.基于特征图匹配和超像素图排序的目标跟踪装置，其特征在于，所述装置包括：

特征匹配模块，用于提取连续两帧的图像对的特征并进行特征点匹配；

超像素分割模块，用于对前一帧图像进行超像素分割得到前一帧的超像素块，对当前帧图像进行超像素分割得到当前帧的超像素块，将前一帧图像的特征点按超像素块的分割结果映射到前一帧的二进制分割掩码上，若前一帧图像的特征点在前一帧中所占用的超像素块与前一帧的二进制分割掩码相对应为前景时，则当前帧图像的对应特征点在当前帧中所占用的超像素块为前景，反之为背景；

排序模块，用于确定超像素图排序的指示向量，使用半监督的图排序技术得到当前帧图像的排序结果，进而获得当前帧图像的二进制分割掩码；所述排序模块，还用于：

通过流形排序公式

获取当前帧图像的排序结果，其中，f表示每个节点的排序值且

s_ij表示亲和矩阵S中的第i行第j列的元素且

x_i表示当前帧图像的超像素块的特征描述子矩阵

中的第i个元素，σ为尺度参数，d表示特征的维数，N_t表示当前帧的超像素的块数；d_ii是度矩阵D＝diag{d₁₁,...d_NN}中的元素，且d_ii＝∑_js_ij，μ是平衡参数，u_i是指示向量

中的第i个元素，u_i＝1表示第i个超像素块是前景或者背景,u_i＝0表示第i个超像素块不确定其是前景还是背景；

若映射到前景的节点个数不为空，则以前景节点为指示向量进行流形排序得到最终排序结果

若映射到背景的节点个数不为空，则以背景节点为指示向量进行流形排序得到最终排序结果

若映射到前景的节点个数与映射到背景的节点个数都不为空，则以背景节点为指示向量进行流形排序得到的排序结果与以前景节点为指示向量进行流形排序得到的排序结果进行融合得到最终排序结果M(i)＝M_b(i)×M_f(i)i＝1,2,…,N_t，

将最终排序结果作为当前帧图像的二进制分割掩码M^(t)；

跟踪模块，用于根据当前帧图像的二进制分割掩码对目标进行定位和跟踪。

5.根据权利要求4所述的基于特征图匹配和超像素图排序的目标跟踪装置，其特征在于，所述特征匹配模块，还用于：

分别提取连续两帧的图像对的特征点，基于特征点构造前一帧图像的内部关系图G^t-1＝(V^t-1,E^t-1,Q^t-1,R^t-1)以及当前帧图像的内部关系图G^t＝(V^t,E^t,Q^t,R^t)，其中，V^t-1表示前一帧图像的特征点集合，E^t-1表示前一帧图像中特征点与特征点之间的关系集合，Q^t-1表示前一帧图像的特征点关联的属性向量，R^t-1表示前一帧图像中特征点与特征点之间形成的每个边e_ih∈E^t-1的权重值集合；

构建用于求解前一帧图像与当前帧图像的特征点之间的匹配关系的通用目标函数

其中，A表示前一帧图像与当前帧图像的特征点之间的匹配关系矩阵，vec(A)＝(A₁₁...A_1n,...,A_m1...A_mn)^T∈R^mn×1是A的向量形式，A_mn表示节点v_m∈G^t对应于节点v_n∈G^t-1，m是当前帧图像的特征点总数，n是前一帧图像的特征点总数，W是用于表征前一帧图像与当前帧图像的特征点匹配程度的亲和矩阵，s.t.表示使得...满足...，是subject to的缩写，

表示任意；

根据通用目标函数，设定一对一匹配约束条件，构建如下待求目标函数公式

s.t.||A||_1,2＝1,A≥0

其中，

通过公式

更新前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的元素，直到待求目标函数收敛得到最优解，其中，A′_ij表示更新后的前一帧图像与当前帧图像的特征点之间的匹配关系矩阵中的第i行第j列元素，λ表示拉格朗日乘子且λ＝vec(A)^TWvec(A)，T∈R^m×n是向量[Wvec(A)]的矩阵形式，T_ij是矩阵T的第i行第j列元素，()^T表示矩阵的转置。

6.根据权利要求4所述的基于特征图匹配和超像素图排序的目标跟踪装置，其特征在于，所述超像素分割模块，还用于：

对每一帧图像使用简单线性迭代聚类算法进行超像素分割得到前一帧图像的超像素块表示为

和当前帧图像的超像素块

N_t-1表示前一帧图像的超像素的个数，N_t表示当前帧图像的超像素的个数，

表示前一帧图像的第N_t-1个超像素块，

表示当前帧图像的第N_t个超像素块；

将前一帧图像的特征点P^t-1＝(p₁ ^t-1,p₂ ^t-1…p_n ^t-1)按照超像素的分割结果映射到前一帧图像的二进制分割掩码M^(t-1)上，p_i ^t-1表示前一帧图像的第i个特征点，若p_i ^t-1在前一帧图像中所占用的超像素块b_k ^t-1与前一帧图像的二进制分割掩码M^(t-1)相对应为前景时，则认为当前帧图像的第i个特征点p_i ^t所占用的超像素块b_j ^t为前景，反之为背景。

Images