CN113362341B - 基于超像素结构约束的空地红外目标跟踪数据集标注方法 - Google Patents

Abstract

本发明公开了一种基于超像素结构约束的空地红外目标跟踪数据集标注方法，S1：对需要处理的图像的前M帧进行人工标注，得到初始训练数据库，再对其红外图像进行超像素分割，通过聚类算法，实现外部类结构约束，提取图像正负样本集；S2：使用S1提取的负样本，构建基于空间位置的概率超图模型，实现样本集的内部位置结构约束；S3：使用S1提取的正样本的超像素，构建基于类的概率超图模型，实现样本集的内部类结构约束；S4：融合S2和S3两种内部约束的显著图，并对目标进行有效框选和标注；S5：通过人工标注的前M帧图像，更新训练数据集和分类器模型，对M帧以后图像进行训练和分类。解决了利用视觉跟踪算法实现对视频图像中目标的自动标注问题。

Description

基于超像素结构约束的空地红外目标跟踪数据集标注方法

技术领域

本发明涉及图像处理技术领域，更具体地说，它涉及一种基于超像素结构约束的空地红外目标跟踪数据集标注方法。

背景技术

随着大数据、云计算、机器视觉、微电子等技术的快速发展，为人工智能插上了腾飞的翅膀。利用深度学习进行了视觉处理是目前人工智能发展较为成功的领域，人工智能在目标检测、目标跟踪、场景理解、图像制导等领域都有极为广泛的应用。当前的智能算法严重依赖数据集的规模和质量，而目前的数据集制作大都依靠人工去标注，人工标注在标注时间和成本上都比较高，无法适应现在大规模数据集快速准确标注的需求。

目标跟踪数据集大都基于视频序列，视频序列的标注是一类特殊的标注方式，视频序列中的目标具有时间的关联性，这种时间上的关联性可以提供丰富的目标信息。因此可以利用目标关联信息，在首帧或者前几帧通过人工标注的基础上，后续帧利用视觉跟踪来实现对目标的自动标注，这样就能大大减少标注的工作量，为大规模的视频图像序列标注提供了可能。

目前的视觉跟踪算法大致分为两大类，基于启发式的跟踪算法和基于辨别式的跟踪算法。基于启发式的跟踪算法把目标跟踪当作模板匹配问题，重点是研究如何在背景中进行准确的匹配来克服背景和目标外观模型的变化。基于辨别式的跟踪则把目标看作一个二值分类问题，如何设计有效的分类器来实现对目标和背景的有效分类。结合空地红外图像的特点和视频标注的要求，基于辨别式的跟踪可以有效克服目标的姿态变化和背景干扰，是一种较为合适的选择。

受图论中对邻域关系描述的启发，本发明设计了一种基于超像素结构约束的空地红外目标跟踪数据集标注方法。充分利用超像素这种中层描述特征来对图像进行分割，利用聚类和概率超图排序实现对目标的外部和内部的结构约束，最后利用粒子滤波框架实现对目标的准确标注。

发明内容

为解决上述技术问题，本发明提供一种基于超像素结构约束的空地红外目标跟踪数据集标注方法。充分利用超像素这种中层描述特征来对图像进行分割，利用聚类和概率超图排序实现对目标的外部和内部的结构约束，最后利用粒子滤波框架实现对目标的准确标注。

本发明的上述技术目的是通过以下技术方案得以实现的：

基于超像素结构约束的空地红外目标跟踪数据集标注方法，包括以下步骤：

S1：对需要处理的图像的前M(M≥1)帧进行人工标注，得到初始训练数据库，再对其红外图像进行超像素分割，通过聚类算法，实现外部类结构约束，提取图像正负样本集；

S2：使用S1提取的负样本，构建基于空间位置的概率超图模型，实现样本集的内部位置结构约束；

S3：使用S1提取的正样本的超像素，构建基于类的概率超图模型，实现样本集的内部类结构约束；

S4：融合S2和S3两种内部约束的显著图，并对目标进行有效框选和标注；

S5：通过人工标注的前M帧图像，更新训练数据集和分类器模型，对M帧以后图像进行训练和分类。

作为一种优选方案，S4过程中，通过粒子滤波框架，对目标进行有效框选和标注。

作为一种优选方案，S1过程中，对红外图像进行超像素分割时，选择获取目标周围不高于3倍区域。

作为一种优选方案，S1具体包括以下步骤：

对每一帧图像的周围区域进行超像素分割，每一个超像素通过其区域内的直方图表示a_t,r(t＝1,...,M,r＝1,...,N_t)，其中N_t表示第t帧分割的超像素的数目，组合所有的超像素表示，构成特征池F＝{a_t,r|t＝1,...,M,r＝1,...,N_t}，采用聚类算法对特征池中的元素进行聚类，生成类别Cluter_i(i＝1,...,n)；若一个类内的超像素的位置大部分位于目标区域内，这样的类定义为正样本类，正样本类Cluter⁺定义为：

Cluter⁺＝{Cluter⁺|S(Cluter_i)⁺/S(Cluter_i)^-＞λ(λ＞1)},i＝1,...,n

其中S(Cluter_i)⁺表示第i类中超像素在目标区域内的面积，S(Cluter_i)^-表示在区域之外的面积；

若一个类内的超像素的位置大部分位于背景区域，这样的类定义为负样本类，负样本类Cluter⁺定义为：

Cluter^-＝{Cluter^-|S(Cluter_i)⁺/S(Cluter_i)^-＜λ(λ＞1)},i＝1,...,n

负样本类的数目表示为N_-，每个类的聚类中心为

作为一种优选方案，S2具体包括以下步骤：

S21：概率超图排序计算具体包括以下步骤：

概率超图为G＝(V,E,w)，定义一个分类函数f赋予每一个节点一个分类值，得到连接的节点具有相似标记的超边，通过累加每一条超边上所有节点的排序权值，得到基于超图结构的代价函数

定义基于d(v)和δ(e)的定义，

d(v_w)＝Σ_e∈Ew(e)h_w(v,e)和d(e_w)＝Σ_v∈Vh_w(v,e)

推导上式：

其中I表示单位矩阵；

引入反馈项：

其中表示粗排序矩阵，矩阵T_B为一对角约束矩阵，其定义为对角线上的元素为0，其余为1；

对于分类函数f，最优的分割就是在最小化上述两个代价项之和：

通过对分类函数f求微分d(Φ(f))/d(f)＝0，得到：

f＝(1-γ)(I-γΘ)^-1T_AT_By

其中γ＝1/(1+u)；定义Π(V,E,w)＝(1-γ)(I-γΘ)^-1T_AT_B表示在一个特定γ下概率超图的特征矩阵，得到：

f＝Π(V,E,w)y

S22：基于空间位置的概率超图模型构建具体包括以下步骤：构建空间位置概率超图G_p＝(V,E_p,w_p)，其中节点关联于所有采样的候选图像块，每一个节点v_l都用图像坐标系下的平移参数(x,y)来表示，它的k_p(本发明中k_p取15-20)个位置最邻近节点构成了空间位置概率超边/>用节点/>来表示这条超边/>的“质心”节点，用高斯核函数来描述节点v_l和超边/>的相似度，隶属度矩阵H_p表示为：

其中σ为正的参数，和/>表示节点v_i和超边的“质心”v_j所对应图像块的归一化的图像灰度向量，/>则表示向量之间的欧式距离，/>表示平均距离：

基于隶属度矩阵H_p，根据定义计算出矩阵Θ^p，和/>空间位置概率超图的特征矩阵Π_p(V,E,w)表示为：

S23：样本集的内部位置结构约束计算具体包括以下步骤：

负的标记样本集不仅包括通过外部约束负样本类获取的负标记样本，根据视觉注意机制，还包括了周边界的样本：

其中表示从训练的负样本类获取的样本，/>表示边界样本：

在负标记样本集进行的概率超图构建过程中；根据概率超图的特征矩阵Π_p和指示向量y^-，得到负样本约束下属于背景的置信图

作为一种优选方案，S3具体包括以下步骤：

S31：基于类的概率超图模型构建：

对前景节点的约束，构建了特征聚类概率超图：

通过FCM聚类方法来对超像素进行聚类，假定通过聚类算法计算出L类集合，每一类集合都关联一条特征聚类概率超边那么超边集表示为/>每一条超边/>的“质心”节点用超边中所有节点的平均值表示：

其中表示归一化的灰度向量；

特征聚类概率超图的隶属度矩阵表示为：

其中σ和/>的定义与S22中空间位置概率超图模型中的保持一致；基于类的概率超图的特征矩阵Π_m(V,E,w)写为：

S32：样本集的内部类结构约束计算：

根据外部约束的正样本类Cluter⁺，在当前帧Surrounding Area分割的超像素获取正的标记样本；定义距离聚类中心距离最近的超像素为正标记样本，正的标记样本集表示为：

根据正的标记样本集，计算正样本约束的指示向量y⁺以及概率超图特征矩阵Π_m，得到正样本约束下属于目标的置信图

作为一种优选方案，S4过程具体包括以下步骤：

S41：置信图的融合：

利用前景样本和背景样本的信息，算法将两种置信图进行融合，得到最终的置信图：

S42：粒子滤波框架下的目标标注：

假定x_t为状态变量，它表示目标在t时刻的仿射参数；给定直到t时刻的所有观测变量Y_t＝{y₁,y₂,...y_t-1,y_t}，利用贝叶斯公式递归地估计后验概率p(x_t|Y_t)：

p(x_t|Y_t)∝p(y_t|x_t)∫p(x_t|x_t-1)p(x_t-1|Y_t-1)dx_t-1

其中p(x_t-1|Y_t-1)为t-1时刻的估计；p(x_t|x_t-1)为动态模型，表示系统中状态的采样模型；p(y_t|x_t)为观测模型，表示观测的似然概率；

通过仿射扭曲来对目标运动进行建模，此时目标的状态表示为x_t＝{c_t,r_t,θ_t,s_t,α_t,φ_t}，其中c_t,r_t,θ_t,s_t,α_t,φ_t分别表示：列平移，行平移，旋转角度，尺度因子，长宽比和斜向因子；根据t-1时刻的状态x_t-1，动态模型p(x_t|x_t-1)建模为在x_t-1周围的高斯分布：

p(x_t|x_t-1)＝N(x_t；x_t-1,Ψ)

其中Ψ为对角协方差矩阵，对角线上的元素为仿射参数的方差，分别为σ_c,σ_r,σ_θ,σ_s,σ_α,σ_φ；

观测模型p(y_t|x_t)的构建：基于置信图建立观测模型定义为：

其中表示候选样本中所有超像素置信值的总和；/>表示第i个状态/>的区域向量，/>表示区域的高度，/>表示区域的宽度，/>则表示目标状态所覆盖的区域向量；所有的候选模板中，观测模型最优的状态就认为是目标区域。

作为一种优选方案，S5具体包括以下步骤：

定义置信比率：

其中为t时刻最优的目标样本所对应的置信值，/>为t时刻训练库中各帧的平均置信值；利用双阈值θ₀和θ₁来对遮挡进行判断和处理；若τ＞θ₀，则表示目标经受比较严重的遮挡，采用Kalman滤波对目标的位置进行估计，并且当前帧不用来更新训练库；若τ＜θ₁，表示目标受到的遮挡较少，采用当前帧去替换训练库中最早的那一帧数据；每隔W帧对训练库内的超像素进行聚类，来对外部约束进行更新。

综上所述，本发明具有以下有益效果：

利用超像素分割对图像进行分割，并用聚类算法有效提取正负样本集，实现外部类结构约束；基于负样本，构建基于空间位置的概率超图模型，实现样本集的内部位置结构约束；基于正样本超像素，构建基于类的概率超图模型，实现样本集的内部类结构约束；融合两种内部约束的显著图，基于粒子滤波框架，实现对目标的有效标注；更新训练数据集和分类器模型，提高标注的精度。本发明解决了利用视觉跟踪算法实现对视频图像中目标的自动标注问题。

附图说明

图1为本发明基于超像素结构约束的空地红外目标跟踪数据集标注方法的实施例的方法流程图；

图2为基于结构约束置信图计算结果示意图。

具体实施方式

本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包括”为一开放式用语，故应解释成“包括但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。

本说明书及权利要求的上下左右等方位名词，是结合附图以便于进一步说明，使得本申请更加方便理解，并不对本申请做出限定，在不同的场景中，上下、左右、里外均是相对而言。

以下结合附图对本发明作进一步详细说明。

本发明所要解决的技术问题是如何实现对空地红外图像序列的精确自动标注问题。

本发明解决上述技术问题的技术方案如下：一种基于超像素结构约束的空地红外目标跟踪数据集标注方法，方法的流程如图1所示，包括以下步骤：

S1：前M帧人工标注，利用标注的训练数据库，对红外图像进行超像素分割，有效利用聚类算法，实现外部类结构约束，有效提取正负样本集；

S2：基于负样本，构建基于空间位置的概率超图模型，实现样本集的内部位置结构约束；

S3：基于正样本超像素，构建基于类的概率超图模型，实现样本集的内部类结构约束；

S4：融合两种内部约束的显著图，利用粒子滤波框架，实现对目标的有效框选和标注；

S5：更新训练数据集和分类器模型，提高标注的精度，防止后续标注的漂移现象。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤S1具体为：

外部类结构约束是通过聚类算法对超像素样本库进行聚类，产生正负样本聚类中心，从而在当前帧的测试样本中选择最优的标记样本。

前M帧(本发明M取5)图像利用人工标注的方式，来确定目标的真实位置，从而构建初始训练库。需要注意的是算法并没有选择整幅图像进行超像素分割，而是选择目标周围特定大小的区域(Surrounding Area)来分割(本发明中取初始目标大小的2倍区域)。进行这样裁剪的好处：可以减少计算量；更容易寻求目标和背景邻域之间的关系。

对于每一帧的Surrounding Area进行超像素的分割，每一个超像素可以用其区域内的直方图来表示a_t,r(t＝1,...,M,r＝1,...,N_t)，其中N_t表示第t帧分割的超像素的数目。组合所有的超像素表示就可以构成特征池F＝{a_t,r|t＝1,...,M,r＝1,...,N_t}。采用Meanshift算法对特征池中的元素进行聚类，生成的类别为Cluter_i(i＝1,...,n)。显然，若一个类内的超像素的位置大部分都位于目标区域之内，那么这样的类应该定义为正的样本类。因此，正样本类Cluter⁺定义为：

Cluter⁺＝{Cluter⁺|S(Cluter_i)⁺/S(Cluter_i)^-＞λ(λ＞1)},i＝1,...,n

其中S(Cluter_i)⁺表示第i类中超像素在目标区域内的面积，S(Cluter_i)^-则表示在区域之外的面积。假设生成了N₊个正样本类，那么正样本类的聚类中心用直方图可以表示为

同样的，负样本类内的元素应该大部分的出现在背景区域，定义负样本类Cluter^-：

Cluter^-＝{Cluter^-|S(Cluter_i)⁺/S(Cluter_i)^-＜λ(λ＞1)},i＝1,...,n

负样本类的数目表示为N_-，每个类的聚类中心为

进一步，步骤S2中具体为：

S21：概率超图排序的计算过程。

对于概率超图G＝(V,E,w)，定义一个分类函数f赋予每一个节点一个分类值。对于一个超图分割问题，分类函数f应该尽可能的平滑。也就是说，一条超边连接的节点应该具有相似的标记，并且密集联系的节点也应该有相似的标记。通过累加每一条超边上所有节点的排序权值，可以得到基于超图结构的代价函数：

定义基于d(v)和δ(e)的定义，d(v_w)＝Σ_e∈Ew(e)h_w(v,e)和d(e_w)＝Σ_v∈Vh_w(v,e)，可以推导上式：

其中I表示单位矩阵。

在直推学习算法中，为了学习得到的标记接近初始给定的标记信息，通常会引入反馈项：

其中y表示指示向量，即标记样本集的约束。但是这种反馈项的引入并不准确，而且在超图排序时并没有考虑对角线上的约束，也就是样本本身对自己的约束。为了增强反馈项的准确性和引入对角线约束，我们修改反馈项为：

其中表示粗排序矩阵，矩阵T_B为一对角约束矩阵，其定义为对角线上的元素为0，其余为1。这种对角约束由于弱化了样本本身对自己的相关性，增强了其他样本的作用，可以极大的提高分类的准确性。

对于分类函数f，最优的分割就是在最小化上述两个代价项之和：

通过对分类函数f求微分d(Φ(f))/d(f)＝0，可得：

f＝(1-γ)(I-γΘ)^-1T_AT_By

其中γ＝1/(1+u)。如果定义Π(V,E,w)＝(1-γ)(I-γΘ)^-1T_AT_B表示在一个特定γ下概率超图的特征矩阵，那么可以得到：

f＝Π(V,E,w)y

S22：基于空间位置的概率超图模型构建。

为了有效的描述所有节点之间的高阶相关关系，构建了空间位置概率超图，以描述背景节点之间的空间位置约束关系。

实际上，在图像坐标系下位置相邻的节点通常会共有一些特定的性质。为了有效的描述节点之间的这种空间关系，我们构建了一种空间位置概率超图。空间位置概率超图G_p可以表示为G_p＝(V,E_p,w_p)，其中节点关联于所有采样的候选图像块。在这种超图中，每一个节点v_l都用图像坐标系下的平移参数(x,y)来表示，它的k_p(本发明中k_p取15-20)个位置最邻近节点/>就构成了空间位置概率超边/>对于节点v_l构造的超边用节点/>来表示这条超边/>的“质心”节点。距离“质心”节点越近的节点应该被赋予越高的权值，因此用高斯核函数来描述节点v_l和超边/>的相似度，隶属度矩阵H_p可以表示为：

其中σ为正的参数，一般取2。和/>表示节点v_i和超边的“质心”v_j所对应图像块的归一化的图像灰度向量。/>则表示向量之间的欧式距离，/>表示平均距离：

基于隶属度矩阵H_p，根据定义可以计算出矩阵Θ^p，和/>那么空间位置概率超图的特征矩阵Π_p(V,E,w)可以表示为：

S23：样本集的内部位置结构约束计算。

负的标记样本集不仅包括了通过外部约束负样本类获取的负标记样本，根据视觉注意机制，应该还包括了Surrounding Area边界的样本：

其中表示从训练的负样本类获取的样本，/>表示边界样本：

在负标记样本集进行的概率超图构建过程中，假设所有边界上的负样本都为连通的，这样可以增强边界对前景的约束。根据概率超图的特征矩阵Π_p和指示向量y^-，可以得到负样本约束下属于背景的置信图

进一步，步骤S3中具体为：

S31：基于类的概率超图模型构建。

节点之间的关系除了上面描述的空间位置关系之外，在节点粘附体中仍然存在着一些隐含的高阶相关关系。特征聚类有效可以捕捉节点在特征向量空间的局部邻域关系，对前景节点的约束，我们构建了特征聚类概率超图。

本发明通过FCM聚类方法来对超像素进行聚类。假设通过聚类算法计算出L类集合，每一类集合都关联一条特征聚类概率超边那么超边集可以表示为/>每一条超边/>的“质心”节点用超边中所有节点的平均值表示：

其中表示归一化的灰度向量。

特征聚类概率超图的隶属度矩阵可以表示为：

其中σ和/>的定义与S22中空间位置概率超图模型中的保持一致。类似的，基于类的概率超图的特征矩阵Π_m(V,E,w)可以写为：

S32：样本集的内部类结构约束计算。

根据外部约束的正样本类Cluter⁺，在当前帧Surrounding Area分割的超像素获取正的标记样本。定义距离聚类中心距离最近的超像素为正标记样本，那么正的标记样本集可以表示为：

根据正的标记样本集，可以计算正样本约束的指示向量y⁺以及概率超图特征矩阵Π_m，可以得到正样本约束下属于目标的置信图

进一步，步骤S4中具体为：

S41：置信图的融合。

为了充分利用前景样本和背景样本的信息，算法将两种置信图进行融合，得到最终的置信图：

整个流程如图2所示。

S42：粒子滤波框架下的目标标注。

假设x_t为状态变量，它表示目标在t时刻的仿射参数。给定直到t时刻的所有观测变量Y_t＝{y₁,y₂,...y_t-1,y_t}，可以利用贝叶斯公式递归地估计后验概率p(x_t|Y_t)：

p(x_t|Y_t)∝p(y_t|x_t)∫p(x_t|x_t-1)p(x_t-1|Y_t-1)dx_t-1其中p(x_t-1|Y_t-1)为t-1时刻的估计；p(x_t|x_t-1)为动态模型，表示系统中状态的采样模型；p(y_t|x_t)为观测模型，表示观测的似然概率。

对于视觉跟踪，通常用仿射扭曲来对目标运动进行建模。此时目标的状态可以表示为x_t＝{c_t,r_t,θ_t,s_t,α_t,φ_t}，其中c_t,r_t,θ_t,s_t,α_t,φ_t分别表示：列平移，行平移，旋转角度，尺度因子，长宽比和斜向因子。根据t-1时刻的状态x_t-1，动态模型p(x_t|x_t-1)可以建模为在x_t-1周围的高斯分布：

p(x_t|x_t-1)＝N(x_t；x_t-1,Ψ)

其中Ψ为对角协方差矩阵，对角线上的元素为仿射参数的方差，分别为σ_c,σ_r,σ_θ,σ_s,σ_α,σ_φ。

视觉跟踪中对目标定位的关键在于观测模型p(y_t|x_t)的构建。本发明基于置信图建立了一种观测模型，来实现对目标的准确的定位。显然，一个好的候选样本应该不仅有较高的置信值，还应该覆盖更多的前景区域。为此，观测模型可以定义为：

其中表示候选样本中所有超像素置信值的总和。/>表示第i个状态/>的区域向量，/>表示区域的高度，/>表示区域的宽度，/>则表示目标状态所覆盖的区域向量。所有的候选模板中，观测模型最优的状态就认为是目标区域。

进一步，步骤S5中具体为：

模型的更新对于能否始终精确标注至关重要。由于本发明是基于置信图设置的状态估计，因此这种方法可以自动的克服部分的遮挡问题。为了对遮挡进行合理的处理，定义置信比率：

其中为t时刻最优的目标样本所对应的置信值，/>为t时刻训练库中各帧的平均置信值。利用双阈值θ₀和θ₁来对遮挡进行判断和处理。若τ＞θ₀(本发明中θ₀取0.8)，则表示目标经受比较严重的遮挡，这时候我们采用Kalman滤波对目标的位置进行估计，并且当前帧不用来更新训练库；若τ＜θ₁(本发明中θ₁取0.2)，表示目标受到的遮挡较少，这时我们用当前帧去替换训练库中最早的那一帧数据。每隔W帧(本发明中W取8)对训练库内的超像素进行聚类，来对外部约束进行更新。/>

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.基于超像素结构约束的空地红外目标跟踪数据集标注方法，其特征在于，包括以下步骤：

S1：对需要处理的图像的前M(M≥1)帧进行人工标注，得到初始训练数据库，再对其红外图像进行超像素分割，通过聚类算法，实现外部类结构约束，提取图像正负样本集；

S2：使用S1提取的负样本，构建基于空间位置的概率超图模型，实现样本集的内部位置结构约束；

S3：使用S1提取的正样本的超像素，构建基于类的概率超图模型，实现样本集的内部类结构约束；

S4：融合S2和S3两种内部约束的显著图，并对目标进行有效框选和标注；

S5：通过人工标注的前M帧图像，更新训练数据集和分类器模型，对M帧以后图像进行训练和分类；

所述S2具体包括以下步骤：S21：概率超图排序计算具体包括以下步骤：

概率超图为G＝(V,E,w)，定义一个分类函数f赋予每一个节点一个分类值，得到连接的节点具有相似标记的超边，通过累加每一条超边上所有节点的排序权值，得到基于超图结构的代价函数

定义基于d(v)和δ(e)的定义，

d(v_w)＝∑_e∈Ew(e)h_w(v,e)和d(e_w)＝∑_v∈Vh_w(v,e)

推导上式：

其中I表示单位矩阵；

引入反馈项：

其中表示粗排序矩阵，矩阵T_B为一对角约束矩阵，其定义为对角线上的元素为0，其余为1；

对于分类函数f，最优的分割就是在最小化两个代价项之和：

通过对分类函数f求微分d(Φ(f))/d(f)＝0，得到：

f＝(1-γ)(I-γΘ)^-1T_AT_By

其中γ＝1/(1+u)；定义Π(V,E,w)＝(1-γ)(I-γΘ)^-1T_AT_B表示在一个特定γ下概率超图的特征矩阵，得到：

f＝Π(V,E,w)y

S22：基于空间位置的概率超图模型构建具体包括以下步骤：构建空间位置概率超图G_p＝(V,E_p,w_p)，其中节点关联于所有采样的候选图像块，每一个节点v_l都用图像坐标系下的平移参数(x,y)来表示，它的k_p中，k_p取15-20个位置最邻近节点/>构成了空间位置概率超边/>用节点/>来表示这条超边/>的“质心”节点，用高斯核函数来描述节点v_l和超边/>的相似度，隶属度矩阵H_p表示为：

其中σ为正的参数，和/>表示节点v_i和超边的“质心”v_j所对应图像块的归一化的图像灰度向量，/>则表示向量之间的欧式距离，D表示平均距离：

基于隶属度矩阵H_p，根据定义计算出矩阵Θ^p，和/>空间位置概率超图的特征矩阵Π_p(V,E,w)表示为：

S23：样本集的内部位置结构约束计算具体包括以下步骤：

负的标记样本集不仅包括通过外部约束负样本类获取的负标记样本，根据视觉注意机制，还包括了周边界的样本：

其中表示从训练的负样本类获取的样本，/>表示边界样本：

在负标记样本集进行的概率超图构建过程中；根据概率超图的特征矩阵Π_p和指示向量y^-，得到负样本约束下属于背景的置信图

所述S3具体包括以下步骤：

S31：基于类的概率超图模型构建：

对前景节点的约束，构建了特征聚类概率超图：

通过FCM聚类方法来对超像素进行聚类，假定通过聚类算法计算出L类集合，每一类集合都关联一条特征聚类概率超边那么超边集表示为/>每一条超边/>的“质心”节点用超边中所有节点的平均值表示：

其中表示归一化的灰度向量；

特征聚类概率超图的隶属度矩阵表示为：

其中σ和/>的定义与S22中空间位置概率超图模型中的保持一致；基于类的概率超图的特征矩阵Π_m(V,E,w)写为：

S32：样本集的内部类结构约束计算：

根据外部约束的正样本类Cluter⁺，在当前帧Surrounding Area分割的超像素获取正的标记样本；定义距离聚类中心距离最近的超像素为正标记样本，正的标记样本集表示为：

根据正的标记样本集，计算正样本约束的指示向量y⁺以及概率超图特征矩阵Π_m，得到正样本约束下属于目标的置信图

2.根据权利要求1所述的基于超像素结构约束的空地红外目标跟踪数据集标注方法，其特征在于，所述S4过程中，通过粒子滤波框架，对目标进行有效框选和标注。

3.根据权利要求1所述的基于超像素结构约束的空地红外目标跟踪数据集标注方法，其特征在于，所述S1过程中，对红外图像进行超像素分割时，选择获取目标周围不高于3倍区域。

4.根据权利要求3所述的基于超像素结构约束的空地红外目标跟踪数据集标注方法，其特征在于，S1具体包括以下步骤：

对每一帧图像的周围区域进行超像素分割，每一个超像素通过其区域内的直方图表示a_t,r(t＝1,...,M,r＝1,...,N_t)，其中N_t表示第t帧分割的超像素的数目，组合所有的超像素表示，构成特征池F＝{a_t,r|t＝1,...,M,r＝1,...,N_t}，采用聚类算法对特征池中的元素进行聚类，生成类别Cluter_i(i＝1,...,n)；若一个类内的超像素的位置大部分位于目标区域内，这样的类定义为正样本类，正样本类Cluter⁺定义为：

Cluter⁺＝{Cluter⁺|S(Cluter_i)⁺/S(Cluter_i)^-＞λ(λ＞1)},i＝1,...,n

其中S(Cluter_i)⁺表示第i类中超像素在目标区域内的面积，S(Cluter_i)^-表示在区域之外的面积；

若一个类内的超像素的位置大部分位于背景区域，这样的类定义为负样本类，负样本类Cluter⁺定义为：

Cluter^-＝{Cluter^-|S(Cluter_i)⁺/S(Cluter_i)^-＜λ(λ＞1)},i＝1,...,n

负样本类的数目表示为N_-，每个类的聚类中心为

5.根据权利要求1所述的基于超像素结构约束的空地红外目标跟踪数据集标注方法，其特征在于，所述S4过程具体包括以下步骤：

S41：置信图的融合：

利用前景样本和背景样本的信息，算法将两种置信图进行融合，得到最终的置信图：

S42：粒子滤波框架下的目标标注：

假定x_t为状态变量，它表示目标在t时刻的仿射参数；给定直到t时刻的所有观测变量Y_t＝{y₁,y₂,...y_t-1,y_t}，利用贝叶斯公式递归地估计后验概率p(x_t|Y_t)：

p(x_t|Y_t)∝p(y_t|x_t)∫p(x_t|x_t-1)p(x_t-1|Y_t-1)dx_t-1

其中p(x_t-1|Y_t-1)为t-1时刻的估计；p(x_t|x_t-1)为动态模型，表示系统中状态的采样模型；p(y_t|x_t)为观测模型，表示观测的似然概率；

通过仿射扭曲来对目标运动进行建模，此时目标的状态表示为x_t＝{c_t,r_t,θ_t,s_t,α_t,φ_t}，其中c_t,r_t,θ_t,s_t,α_t,φ_t分别表示：列平移，行平移，旋转角度，尺度因子，长宽比和斜向因子；根据t-1时刻的状态x_t-1，动态模型p(x_t|x_t-1)建模为在x_t-1周围的高斯分布：

p(x_t|x_t-1)＝N(x_t；x_t-1,Ψ)

其中Ψ为对角协方差矩阵，对角线上的元素为仿射参数的方差，分别为σ_c,σ_r,σ_θ,σ_s,σ_α,σ_φ；

观测模型p(y_t|x_t)的构建：基于置信图建立观测模型定义为：

其中表示候选样本中所有超像素置信值的总和；/>表示第i个状态/>的区域向量，/>表示区域的高度，/>表示区域的宽度，/>则表示目标状态所覆盖的区域向量；所有的候选模板中，观测模型最优的状态就认为是目标区域。

6.根据权利要求1所述的基于超像素结构约束的空地红外目标跟踪数据集标注方法，其特征在于，所述S5具体包括以下步骤：

定义置信比率：

其中为t时刻最优的目标样本所对应的置信值，/>为t时刻训练库中各帧的平均置信值；利用双阈值θ₀和θ₁来对遮挡进行判断和处理；若τ＞θ₀，则表示目标经受比较严重的遮挡，采用Kalman滤波对目标的位置进行估计，并且当前帧不用来更新训练库；若τ＜θ₁，表示目标受到的遮挡较少，采用当前帧去替换训练库中最早的那一帧数据；每隔W帧对训练库内的超像素进行聚类，来对外部约束进行更新。