CN110363165A - 基于tsk模糊系统的多目标跟踪方法、装置及存储介质 - Google Patents

Abstract

根据本发明实施例公开的基于TSK模糊系统的多目标跟踪方法、装置及存储介质，首先判断拥有稳定航迹的目标数是否大于0；若是，则构建TSK模糊分类器，并将观测集输入至TSK模糊分类器，得到标签向量矩阵，然后对标签向量矩阵进行数据关联；若否，则计算目标集中的目标对象与观测集中的观测对象之间的特征相似度，并将特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对隶属度矩阵进行数据关联；最后基于数据关联结果进行轨迹管理。通过本发明的实施，建立TSK模糊分类器来对稳定航迹和观测进行关联，并利用TSK模糊模型对新观测进行简易数据关联，能够准确地完成目标与观测间的数据关联，实现对视频多目标的准确跟踪。

Description

基于TSK模糊系统的多目标跟踪方法、装置及存储介质

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种基于TSK模糊系统的多目标跟踪方法、装置及存储介质。

背景技术

视频多目标跟踪技术可以简单的理解为：在视频图像序列中，通过算法检测出多个感兴趣的目标，标记其位置得到对应的标签，最终获得目标完整的运动轨迹。基于检测的视频多目标跟踪技术将视频多目标跟踪分为两个方面：一是目标检测，即选用合适的目标检测方法得到感兴趣目标的观测；二是数据关联，即通过数据关联将不同时刻下的观测匹配给正确的目标，从而形成每个目标的运动轨迹。由此，能否进行准确的数据关联对整个目标跟踪结果起着重要的作用。

在实际应用中，在进行视频多目标跟踪时，目标的外观特征和动态模型表现出非常强的非线性非高斯特性，从而造成跟踪过程中具有较大的不确定性。目前，通常采用传统的概率方法来所建立的模型来进行数据关联，然而传统概率方法所建立的模型的分类精度和可解释性较低，使得目标与观测的数据关联准确性较低，无法实现视频多目标的准确跟踪。

发明内容

本发明实施例的主要目的在于提供一种基于TSK模糊系统的多目标跟踪方法、装置及存储介质，至少能够解决相关技术中采用传统概率方法所建立的模型的分类精度和可解释性较低，所导致的目标与观测的数据关联准确性较低，无法实现视频多目标的准确跟踪的问题。

为实现上述目的，本发明实施例第一方面提供了一种基于TSK模糊系统的多目标跟踪方法，该方法包括：

对图像中的运动目标进行检测得到观测集，并判断拥有稳定航迹的目标数是否大于0；

在所述拥有稳定航迹的目标数大于0时，构建TSK模糊分类器，并将所述观测集输入至所述TSK模糊分类器，得到标签向量矩阵，然后对所述标签向量矩阵进行数据关联；

在所述拥有稳定航迹的目标数小于或等于0时，计算目标集中的目标对象与所述观测集中的观测对象之间的特征相似度，并将所述特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对所述隶属度矩阵进行数据关联；

基于数据关联结果进行轨迹管理。

为实现上述目的，本发明实施例第二方面提供了一种基于TSK模糊系统的多目标跟踪装置，该装置包括：

判断模块，用于对图像中的运动目标进行检测得到观测集，并判断拥有稳定航迹的目标数是否大于0；

第一关联模块，用于在所述拥有稳定航迹的目标数大于0时，构建TSK模糊分类器，并将所述观测集输入至所述TSK模糊分类器，得到标签向量矩阵，然后对所述标签向量矩阵进行数据关联；

第二关联模块，用于在所述拥有稳定航迹的目标数小于或等于0时，计算目标集中的目标对象与所述观测集中的观测对象之间的特征相似度，并将所述特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对所述隶属度矩阵进行数据关联；

管理模块，用于基于数据关联结果进行轨迹管理。

为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种基于TSK模糊系统的多目标跟踪方法的步骤。

为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种基于TSK模糊系统的多目标跟踪方法的步骤。

根据本发明实施例提供的基于TSK模糊系统的多目标跟踪方法、装置及存储介质，首先判断拥有稳定航迹的目标数是否大于0；若是，则构建TSK模糊分类器，并将观测集输入至TSK模糊分类器，得到标签向量矩阵，然后对标签向量矩阵进行数据关联；若否，则计算目标集中的目标对象与观测集中的观测对象之间的特征相似度，并将特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对隶属度矩阵进行数据关联；最后基于数据关联结果进行轨迹管理。通过本发明的实施，建立TSK模糊分类器来对稳定航迹和观测进行关联，并利用TSK模糊模型对新观测进行简易数据关联，能够准确地完成目标与观测间的数据关联，实现对视频多目标的准确跟踪。

本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的多目标跟踪方法的流程示意图；

图2为本发明第一实施例提供的TSK模糊分类器的构建方法的流程示意图；

图3为本发明第一实施例提供的隶属度矩阵的构建方法的流程示意图；

图4为本发明第一实施例提供的输入变量的隶属度函数示意图；

图5为本发明第一实施例提供的真实场景中所输出的观测示意图；

图6为本发明第一实施例提供的目标与观测之间的遮挡示意图；

图7为本发明第一实施例提供的轨迹管理方法的流程示意图；

图8为本发明第二实施例提供的多目标跟踪装置的结构示意图；

图9为本发明第三实施例提供的电子装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例：

为了解决相关技术中采用传统概率方法所建立的模型的分类精度和可解释性较低，所导致的目标与观测的数据关联准确性较低，无法实现视频多目标的准确跟踪的技术问题，本实施例提出了一种基于TSK模糊系统的多目标跟踪方法，如图1所示为本实施例提供的多目标跟踪方法的基本流程示意图，本实施例提出的多目标跟踪方法包括以下的步骤：

步骤101、对图像中的运动目标进行检测得到观测集，并判断拥有稳定航迹的目标数是否大于0。

具体的，运动目标检测是视频多目标跟踪的基础，本实施例将所得到的目标的检测结果作为后续目标关联的观测，应当理解的是，本实施例的TSK模糊系统包括TSK模糊分类器及TSK模糊模型。在本实施例中，对拥有稳定航迹的目标数进行判断，对已有的稳定航迹进行TSK模糊分类器训练，利用分类器模型对观测与拥有稳定航迹目标进行准确数据关联，对新观测则是利用TSK模糊模型进行简易数据关联。

在本实施例中，可以采用混合高斯背景模型对运动目标进行检测。高斯背景模型，是将一个像素点在视频中所有的灰度值看成一个随机过程，利用高斯分布描述像素点像素值的概率密度函数。

其中，定义I(x,y,t)表示像素点(x,y)在t时刻的像素值，则有：

式中，η为高斯概率密度函数，μ_t和σ_t分别是像素点(x,y)在t时刻的均值和标准差。假设有图像序列I(x,y,0)，I(x,y,1)，…，I(x,y,N-1)，那么对于像素点(x,y)，它的初始背景模型的期望值μ₀(x,y)和偏差σ₀(x,y)分别用下述的公式计算：

式中，N表示视频的图像帧数，μ₀(x,y)是坐标为(x,y)的像素的平均灰度值，σ₀(x,y)是像素(x,y)灰度值得方差。在t时刻，按照下式对像素(x,y)的灰度值I(x,y,t)进行判定，用o表示输出图像：

其中T_p为概率阈值，在实际应用中，通常用等价的阈值替代概率阈值。在本实施例中，在判定概率大于或等于概率阈值时，将I(x,y,t)确定为背景像素点，在判定概率小于概率阈值时，将I(x,y,t)确定为前景像素点。在检测完毕后，对被判定为背景的像素的背景模型采用下式进行更新：

μ_t(x,y)＝(1-α)μ_t(x,y)+αI(x,y,t)

式中，α称为学习因子，反映视频中背景信息的变化快慢，如果α取值太小，背景模型的变化慢于实际真实场景的变化，将导致检测出的目标存在很多空洞，反之，会使得运动较慢的前景变成背景的一部分。

在本实施例中，为增强高斯背景鲁棒性，选用多个高斯分布加权的混合高斯背景模型，即：

式中，I(x,y,t)表示像素点(x,y)在t时刻的像素值，η表示高斯概率密度函数，μ_t和σ_t分别表示像素点(x,y)在t时刻的均值和标准差，k为高斯分布分量个数，w_i为第i个高斯分布η_i(I,μ_t,σ_t)的权重，o表示输出图像，T_P表示概率阈值；若I(x,y,t)对于这k个高斯分布，概率都大于概率阈值T_P(或对于任意的η_i(I,μ_t,σ_t)，|I(x,y,t)-μ_t|≤2.5σ_t都满足)，则I(x,y,t)为图像背景，否则为前景。混合高斯背景模型更新时，只对概率大于概率阈值T_P(或满足|I(x,y,t)-μ_t|≤2.5σ_t)的高斯分量进行更新。

利用本实施例的混合高斯模型，能够对图像中所有像素划分为前景像素点和背景像素点，进而得到一个包含前景和背景的二值图像，检测出图像中运动的像素，辅以中值滤波和简单的形态学处理，最终得到图像中运动的目标，然后基于所检测出的运动目标组成观测集。

步骤102、在拥有稳定航迹的目标数大于0时，构建TSK模糊分类器，并将观测集输入至TSK模糊分类器，得到标签向量矩阵，然后对标签向量矩阵进行数据关联。

具体的，本实施例中在得到目标的稳定航迹后，对于稳定航迹的关联，利用多帧信息训练出TSK模糊分类器，即每个拥有稳定航迹的目标都将拥有经过训练的TSK模糊分类器，将提取到的观测特征输入该分类器模型后便可得到观测的标签矩阵，利用该矩阵便可对观测与拥有稳定航迹的目标进行关联。TSK模糊分类器具有强大的学习能力，通过不断学习目标的特征向量，训练出的分类器模型能够准确的完成目标与观测的数据关联。

可选的，本实施例提供了一种TSK模糊分类器的构建方法，如图2为本实施例提供的TSK模糊分类器的构建方法的流程示意图，具体包括以下步骤：

步骤201、提取m条稳定航迹的所有运动特征集合，并对运动特征集合构建多输出回归数据集；

步骤202、将不同目标划分到不同模糊集，计算运动特征集合中各特征相对第k’个模糊规则的模糊隶属度；

步骤203、基于多输出回归数据集以及模糊隶属度，训练出第j个稳定航迹的TSK模糊分类器的后件参数，并基于所训练得到的后件参数构建TSK模糊分类器。

具体的，在本实施例中，若当前帧中稳定航迹个数m≥1，即出现了稳定航迹。本实施例采用运动特征在TSK模糊分类器中对目标进行描述，m条稳定航迹的所有运动特征集合U＝{u₁，u₂，...，u_m}，其中，u_j为前T-1个时刻，第j条稳定航迹的运动特征集合：u_j{(x′_j，t，z′_j，t)}，t＝1,2,…,T-1，(x′_t，z′_t)为t时刻目标矩形框的中心坐标；对于包含m个类的数据{u_j，y_el}，y_el∈{1，2，...，m}，本实施例构建一个多输出回归数据集若{u_j，y_el}原始类标签y_el＝r(1≤r≤m)在构造的多输出回归数据集y_el∈{1，2，...，m}中，包含m个输出的相应输出向量定义为：

在此输出向量中，只有的第r个元素是1，而其余元素被设置为-1，表明该目标属于第r条稳定航迹。

并且，在本实施例中，采用FCM聚类算法进行前件参数辨识，TSK模糊分类器的规则数设定为K’，输入为U＝{u₁，u₂，...，u_m}，其中，u_j＝{(x′_j，t，z′_j，t)}，t＝1,2,…,T-1，输入样本数为l，聚类数为K’，可以得到模糊划分矩阵S′，矩阵S′的元素S′_wk′∈[0，1]表示基于运动特征的第，w(w＝1，2，...，l)个输入样本到第k′(k′＝1，2，...，K’)个规则的隶属度，模糊集可以用以下常见的高斯隶属函数表示：

其中，(x’，z’)为运动特征，运动特征中心向量是通过FCM算法对训练样本获得的第k’个规则的中心向量，计算过程如下所示：

其中，h’是一个标量，可以通过手动设置或由某些学习策略确定。

此外，在本实施例中，利用岭回归模型对TSK模糊分类器进行训练，分类器模型的输出可以写成如下形式：

其中，

u_e＝(1,x₁,...,x_d)^T

利用岭回归优化方法构建如下目标函数：

其中，γ_p′g是一个正则化参数，p′_g，j是第j个稳定航迹的TSK模糊分类器的后件参数，是第w个输入变量的m维标签向量，m为稳定航迹个数。如果的第r维是1而其他维是-1，则意味着该输入变量属于第r个稳定航迹。根据优化理论，可以得到第j个稳定航迹的TSK分类器最后优化结果为：

从而，构建TSK模糊分类器可以表示为：

其中，IF部分为规则前件，THEN部分为规则后件,K’是模糊规则的数量， 分别为第k条规则的输入变量x’、z’对应的模糊子集，and是模糊连接算子，f^k′(u)为每条模糊规则的输出结果，(x’，z’)为运动特征，为运动特征中心向量。

最终第j个TSK模糊分类器的输出为：

在本实施例中，每个拥有稳定航迹的目标都有一个TSK模糊分类器，并且每个分类器模型都得以辨识以及训练，在T时刻，对于一个测试观测样本，提取出当前时刻的运动特征输入到训练好的m个TSK模糊分类器中，那么每个分类器都将得到一个输出，输出矢量可以表示为：

如果在输出向量所有元素中具有最高值，关联阈值τ₁，误差值ε，若则观测与第e个轨迹形成正确的关联对。由于目标与观测之间是一一对应的关系，输入N个观测将会得到m×N的标签矩阵S。本实施例可以利用贪婪算法对矩阵进行数据关联处理，得到目标与观测之间的正确关联对，关联步骤如下：

a、从标签矩阵S中找出未被标记的所有元素的最大值s_pq＝max(s[_nl]，(j＝1,2,…,m,n＝1,2,…,N)，对第p行，第q列进行标记，若满足条件||s_pq-τ₁||＜ε，则(p,q)为一对正确的关联对，同时(p,q)所在行与列的其他元素被设置为0；

b、重复进行步骤a，直到标签矩阵S被全部标记，找出所有正确的关联对，完成关联。

步骤103、在拥有稳定航迹的目标数小于或等于0时，计算目标集中的目标对象与观测集中的观测对象之间的特征相似度，并将特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对隶属度矩阵进行数据关联。

具体的，在本实施例中，首先构建TSK模糊模型，计算出目标与观测之间的特征相似度，输入特征相似度进行前件参数辨识，得到每条规则的权重，对规则后件结果进行加权和融合，最终可以得到目标与观测间的隶属度矩阵，再采用贪婪算法对隶属度矩阵进行目标与观测之间的关联分配。本实施例使用基于TSK模糊模型的算法得到目标的稳定航迹后，由于基于TSK模糊模型的算法无法进行后件参数训练，而为了对模型进行有效的训练，引入TSK模糊分类器模型，将利用多帧信息训练出TSK模糊分类器。

在本实施例中，作为一种可选的实施方式，可以利用距离、颜色、边缘、纹理、形状和运动方向等6个特征，为了计算目标对象o_i与观测对象z_k之间的相似度，6个特征相似度函数定义如下：

式中，x₁(o_i,z_k)表示空间距离特征相似性度量函数，x₂(o_i,z_k)表示几何尺寸特征相似性度量函数，x₃(o_i,z_k)表示运动方向特征相似性度量函数，x₄(o_i,z_k)表示颜色特征相似性度量函数，x₅(o_i,z_k)表示方向梯度特征相似性度量函数，x₆(o_i,z_k)表示纹理特征相似性度量函数；(x_o,y_o)表示目标对象o_i的中心坐标，(x_z,y_z)表示观测对象z_k的中心坐标，h_o表示目标对象o_i的图像高度，表示空间距离方差常量，h_z表示观测对象z_k的图像高度，表示几何尺寸方差常量，(x'_o,y'_o)表示上一时刻目标对象o_i的中心坐标，表示上一时刻目标对象o_i的速度在图像坐标轴上的投影，表示运动方向方差常量，ρ(·)表示求巴氏系数，H_r(·)表示颜色直方图，表示目标模型方差常量，H_g(·)表示分块梯度方向直方图特征，表示梯度方向方差常量，H_l(·)表示纹理特征直方图，表示纹理特征方差常量。

可选的，本实施例提供了一种隶属度矩阵的构建方法，如图3为本实施例提供的隶属度矩阵的构建方法的流程示意图，具体包括以下步骤：

步骤301、将特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；

步骤302、计算每条模糊规则的权重，并基于每条模糊规则的权重对每条模糊规则的输出结果进行加权平均，得到目标对象与观测对象之间的隶属度；

步骤303、基于隶属度构建得到隶属度矩阵。

具体的，TSK模糊模型可以利用多个线性系统来表示任意精度的非线性系统，对于加入目标特征信息的TSK模糊模型，每条线性模型规则定义如下：

式中，IF部分为规则前件，THEN部分为规则后件,K是模糊规则的数量，是第k条规则的输入变量x_d对应的模糊子集，and是模糊连接算子，输入变量x＝[x₁,x₂,…,x_d]^T为每条模糊规则的前件变量,d为x的维度，为后件变量，f^k(x)为每条模糊规则的输出结果。

TSK模糊模型最终的输出y⁰是对每条规则结果f^k(x)的加权平均，在本实施例中，按照预设的加权平均计算公式，基于每条模糊规则的权重对每条模糊规则的输出结果进行加权平均，得到目标对象与观测对象之间的隶属度；加权平均计算公式表示如下：

式中，为每条模糊规则的权重的归一化结果，y⁰为目标对象与观测对象之间的隶属度。

另外，在本实施例中，按照预设的权重计算公式计算每条模糊规则的权重；权重计算公式表示如下：

根据前述所定义的距离、颜色、边缘、纹理、形状和运动方向等6个特征的特征相似度x₁,x₂，x₃，x₄，x₅，x₆，在本实施例中，以特征相似度x₁,x₂，x₃，x₄，x₅，x₆为TSK模糊模型的输入变量，每个特征都采用五个语言值模糊集来进行刻画，五个语言值分别如下：{Low(L),ALittle Low(AL),Medium(M),A Little High(AH),High(H)},每个语言值的隶属度函数如下：

为了使每个输入变量落入每个模糊集中的概率相同，将模糊集的隶属度函数设计为等间隔、全交叠的三角形隶属度函数，且由于每条规则的权重μ^k(x)在0和1之间，所以值域范围为[0,1]，输入变量的隶属度函数设计如图4所示。从图4中可以看出，如果目标与观测之间的特征相似度小于或者等0.1，则该特征不可信，对应模糊子集中，Low(L)的隶属度最高；如果目标与观测之间的特征相似度小于或者等0.9，则该特征是可信的。对应模糊子集中，High(H)的隶属度最高。

在本实施例中，对于输入的每个变量，都可以得到其对应每个模糊集的隶属度。如果有d个输入变量(特征)，根据每个变量有五个模糊集，总共需要设计d⁵条模糊规则设计，具体如下：

通过设计出的TSK模糊语义模型，可以快速建立目标与观测之间的特征相似度与隶属度矩阵的映射，输入距离、颜色、边缘、纹理、形状和运动方向等6个特征的相似度x₁,x₂，x₃，x₄，x₅，x₆，经过TSK模糊语义模型，输出的结果为：

式中，d为特征的个数，这里d＝6。

在本实施例中，假设现在收到观测集为Z＝{z₁,z₂,…,z_N}，N为检测器检测到的观测个数，目标集为O＝{o₁,o₂,…,o_L}，L为目标个数。通过前述的加权平均计算公式，可以得到第n个观测与第l个目标的关联输出y_nl，重复N×L次后，便可以得到N×L维的隶属度矩阵得到隶属度矩阵S后，本实施例可以利用贪婪算法对隶属度矩阵进行分析处理，实现目标与观测之间的数据关联，步骤如下：

a、找出隶属度矩阵S中未被标记的所有元素中最大值s_pq＝max([s_nl])，对第p行，第q列进行标记，关联阈值τ＝0.9，如果s_pq＞τ，即目标p与观测q之间的关联度大于关联阈值，则(p,q)被标记为一对正确的关联对，同时(p,q)所在行与列的其他元素被设置为0。

b、重复进行步骤a，直到s_pq＜τ时，找出所有正确的关联对，完成所有观测和目标的关联。

步骤104、基于数据关联结果进行轨迹管理。

具体的，本实施例在进行数据关联确定所有观测对象与目标对象的关联对之后，基于数据关联结果进行轨迹管理。

在复杂环境下，由于背景干扰、目标自身形变等多种因素的影响，在保持高检测率的条件下，目标检测器将难以避免的会产生如图5中所示的虚假观测。如图5所示为本实施例提供的真实场景中所输出的观测示意图，其中，白色矩形框表示当前时刻目标状态，黑色矩形框表示虚假观测。从图5可以看出，这些虚假观测与目标之间发生了明显的遮挡。经过模糊数据关联之后，这些虚假观测将成为未被关联上的观测，而新目标所对应的观测对当前已记录目标的模糊隶属度较低，其同样也将成为未被关联上的观测。因此，如果为所有未被关联上的观测均建立新的目标轨迹，则可能导致为虚假观测错误的进行了轨迹起始。基于此，本实施例提出利用空时线索对未被关联上的观测与当前目标间的遮挡情况进行分析，从而判别出对应于新目标的观测，并为其起始新的目标轨迹。

如图6所示为本实施例提供的目标与观测之间的遮挡示意图，为了对未被关联上的观测与当前目标间的遮挡程度进行度量，本文定义了遮挡度ω。假设目标对象A与未被关联上的观测对象B发生如图6所示的遮挡，其中矩形框A与矩形框B之间重叠的阴影部分表示遮挡区域，定义A与B之间的遮挡度ω(A,B)为：

式中，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)＞0时，A与B发生了遮挡。并且，根据矩形框A底部的纵向图像坐标值y_A与矩形框B底部的纵向图像坐标值y_B可进一步得知，如果y_A＞y_B，则说明B被A遮挡。

然后，将所计算的遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象；新目标判别函数φ表示如下：

其中，O＝{o₁,...,o_L}表示目标集，Ω＝{d₁,...,d_k}表示经过模糊数据关联之后，仍未被关联上的观测对象，β为常量参数，且0＜β＜1，在本实施例中可以取β＝0.5。在φ(d_i)＝1时，未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，未被关联上的观测对象为虚假观测对象。

可选的，本实施例提供了一种轨迹管理方法，如图7为本实施例提供的轨迹管理方法的流程示意图，具体包括以下步骤：

步骤701、从未被关联上的观测对象中确定新目标对象所对应的观测对象；

步骤702、为各新目标对象所对应的观测对象建立新的临时轨迹，并判断临时轨迹是否连续预设帧数均被关联上；

步骤703、在临时轨迹连续预设帧数均被关联上时，将临时轨迹转化为有效目标轨迹；

步骤704、采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

具体的，本实施例结合新目标判别函数，采用目标轨迹管理规则解决有效目标轨迹的平滑与预测、无效目标轨迹的终止以及新目标轨迹的起始等问题。所采用的目标轨迹管理规则具体包括：

(1)为每个φ(d)＝1的观测d建立新的临时轨迹；

(2)若临时轨迹连续λ₁帧都被关联上，则将其转化为有效目标轨迹，否则，删除该临时轨迹，其中λ₁为常量参数，并且λ₁＞1；

(3)采用卡尔曼滤波器对每条临时轨迹、有效目标轨迹进行滤波以及预测；

(4)对连续预测λ₂帧后仍未被关联上的临时轨迹、有效目标轨迹进行删除，其中λ₂为常量参数，并且λ₂＞1。

根据本发明实施例提供的基于TSK模糊系统的多目标跟踪方法，首先对目标检测器收到的观测进行预处理，剔除有明显错误的杂波，计算出目标与观测之间的特征相似度；利用提出的TSK模糊模型，计算出隶属度矩阵，对观测与目标进行数据关联；对于稳定航迹的关联，对于每个稳定航迹训练独自的TSK模糊分类器，利用分类器模型对观测与拥有稳定航迹目标进行数据关联；最后对航迹进行更新并对航迹进行管理。通过本发明的实施，能够准确地完成目标与观测间的数据关联，实现对视频多目标的准确跟踪。

第二实施例：

为了解决相关技术中采用传统概率方法所建立的模型的分类精度和可解释性较低，所导致的目标与观测的数据关联准确性较低，无法实现视频多目标的准确跟踪的技术问题，本实施例提供了一种基于TSK模糊系统的多目标跟踪装置，具体请参见图8所示的多目标跟踪装置，本实施例的多目标跟踪装置包括：

判断模块801，用于对图像中的运动目标进行检测得到观测集，并判断拥有稳定航迹的目标数是否大于0；

第一关联模块802，用于在拥有稳定航迹的目标数大于0时，构建TSK模糊分类器，并将观测集输入至TSK模糊分类器，得到标签向量矩阵，然后对标签向量矩阵进行数据关联；

第二关联模块803，用于在拥有稳定航迹的目标数小于或等于0时，计算目标集中的目标对象与观测集中的观测对象之间的特征相似度，并将特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对隶属度矩阵进行数据关联；

管理模块804，用于基于数据关联结果进行轨迹管理。

在本实施例的一些实施方式中，第一关联模块802在构建TSK模糊分类器时，具体用于提取m条稳定航迹的所有运动特征集合，并对运动特征集合构建多输出回归数据集；将不同目标划分到不同模糊集，计算运动特征集合中各特征相对第k’个模糊规则的模糊隶属度；基于多输出回归数据集以及模糊隶属度，训练出第j个稳定航迹的TSK模糊分类器的后件参数，并基于所训练得到的后件参数构建TSK模糊分类器。

进一步地，在本实施例的一些实施方式中，TSK模糊分类器表示如下：

其中，IF部分为规则前件，THEN部分为规则后件,K’是模糊规则的数量， 分别为第k条规则的输入变量x’、z’对应的模糊子集，and是模糊连接算子，f^k′(u)为每条模糊规则的输出结果，(x’，z’)为运动特征，为运动特征中心向量。

在本实施例的一些实施方式中，第二关联模块803在将特征相似度输入至TSK模糊模型，得到隶属度矩阵时，具体用于将特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；计算每条模糊规则的权重，并基于每条模糊规则的权重对每条模糊规则的输出结果进行加权平均，得到目标对象与观测对象之间的隶属度；基于隶属度构建得到隶属度矩阵。

进一步地，在本实施例的一些实施方式中，TSK模糊模型表示如下：

其中，IF部分为规则前件，THEN部分为规则后件,K是模糊规则的数量，是第k条规则的输入变量x_d对应的模糊子集，and是模糊连接算子，输入变量x＝[x₁,x₂,…,x_d]^T为每条模糊规则的前件变量,d为x的维度，为后件变量，f^k(x)为每条模糊规则的输出结果。

在本实施例的一些实施方式中，管理模块804具体用于从未被关联上的观测对象中确定新目标对象所对应的观测对象；为各新目标对象所对应的观测对象建立新的临时轨迹，并判断临时轨迹是否连续预设帧数均被关联上；在临时轨迹连续预设帧数均被关联上时，将临时轨迹转化为有效目标轨迹；采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

进一步地，在本实施例的一些实施方式中，管理模块804在从未被关联上的观测对象中确定新目标对象所对应的观测对象时，具体用于采用预设的遮挡度计算公式，计算未被关联上的观测对象与目标对象之间的遮挡度；将所计算的遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象。遮挡度计算公式表示如下：

其中，A表示目标对象，B表示观测对象，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)＞0时，A与B发生了遮挡；

新目标判别函数表示如下：

其中，O＝{o₁,...,o_L}表示目标集，Ω＝{d₁,...,d_k}表示未被关联上的观测对象，β为常量参数，且0＜β＜1，在φ(d_i)＝1时，未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，未被关联上的观测对象为虚假观测对象。

应当说明的是，前述实施例中的多目标跟踪方法均可基于本实施例提供的多目标跟踪装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的多目标跟踪装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

采用本实施例提供的基于TSK模糊系统的多目标跟踪装置，首先判断拥有稳定航迹的目标数是否大于0；若是，则构建TSK模糊分类器，并将观测集输入至TSK模糊分类器，得到标签向量矩阵，然后对标签向量矩阵进行数据关联；若否，则计算目标集中的目标对象与观测集中的观测对象之间的特征相似度，并将特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对隶属度矩阵进行数据关联；最后基于数据关联结果进行轨迹管理。通过本发明的实施，建立TSK模糊分类器来对稳定航迹和观测进行关联，并利用TSK模糊模型对新观测进行简易数据关联，能够准确地完成目标与观测间的数据关联，实现对视频多目标的准确跟踪。

第三实施例：

本实施例提供了一种电子装置，参见图9所示，其包括处理器901、存储器902及通信总线903，其中：通信总线903用于实现处理器901和存储器902之间的连接通信；处理器901用于执行存储器902中存储的一个或者多个计算机程序，以实现上述实施例一中的方法的至少一个步骤。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。

本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。

本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。

可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。

此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于TSK模糊系统的多目标跟踪方法，其特征在于，包括：

对图像中的运动目标进行检测得到观测集，并判断拥有稳定航迹的目标数是否大于0；

在所述拥有稳定航迹的目标数大于0时，构建TSK模糊分类器，并将所述观测集输入至所述TSK模糊分类器，得到标签向量矩阵，然后对所述标签向量矩阵进行数据关联；

在所述拥有稳定航迹的目标数小于或等于0时，计算目标集中的目标对象与所述观测集中的观测对象之间的特征相似度，并将所述特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对所述隶属度矩阵进行数据关联；

基于数据关联结果进行轨迹管理。

2.如权利要求1所述的多目标跟踪方法，其特征在于，所述构建TSK模糊分类器包括：

提取m条稳定航迹的所有运动特征集合，并对所述运动特征集合构建多输出回归数据集；

将不同目标划分到不同模糊集，计算所述运动特征集合中各特征相对第k’个模糊规则的模糊隶属度；

基于所述多输出回归数据集以及所述模糊隶属度，训练出第j个稳定航迹的TSK模糊分类器的后件参数，并基于所训练得到的后件参数构建TSK模糊分类器。

3.如权利要求2所述的多目标跟踪方法，其特征在于，所述TSK模糊分类器表示如下：

其中，IF部分为规则前件，THEN部分为规则后件,K’是模糊规则的数量， 分别为第k条规则的输入变量x’、z’对应的模糊子集，and是模糊连接算子，f^k′(u)为每条模糊规则的输出结果，(x’，z’)为运动特征，为运动特征中心向量。

4.如权利要求1所述的多目标跟踪方法，其特征在于，所述将所述特征相似度输入至TSK模糊模型，得到隶属度矩阵包括：

将所述特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；

计算所述每条模糊规则的权重，并基于所述每条模糊规则的权重对所述每条模糊规则的输出结果进行加权平均，得到所述目标对象与所述观测对象之间的隶属度；

基于所述隶属度构建得到隶属度矩阵。

5.如权利要求4所述的多目标跟踪方法，其特征在于，所述TSK模糊模型表示如下：

其中，IF部分为规则前件，THEN部分为规则后件,K是模糊规则的数量，是第k条规则的输入变量x_d对应的模糊子集，and是模糊连接算子，输入变量x＝[x₁,x₂,...,x_d]^T为每条模糊规则的前件变量,d为x的维度，为后件变量，f^k(x)为每条模糊规则的输出结果。

6.如权利要求1至5中任意一项所述的多目标跟踪方法，其特征在于，所述基于数据关联结果进行轨迹管理包括：

从未被关联上的观测对象中确定新目标对象所对应的观测对象；

为各所述新目标对象所对应的观测对象建立新的临时轨迹，并判断所述临时轨迹是否连续预设帧数均被关联上；

在所述临时轨迹连续预设帧数均被关联上时，将所述临时轨迹转化为有效目标轨迹；

采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

7.如权利要求6所述的多目标跟踪方法，其特征在于，所述从未被关联上的观测对象中确定新目标对象所对应的观测对象包括：

采用预设的遮挡度计算公式，计算未被关联上的观测对象与目标对象之间的遮挡度；所述遮挡度计算公式表示如下：

其中，A表示目标对象，B表示观测对象，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)＞0时，A与B发生了遮挡；

将所计算的所述遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象；所述新目标判别函数表示如下：

其中，O＝{o₁,...,o_L}表示所述目标集，Ω＝{d₁,...,d_k}表示所述未被关联上的观测对象，β为常量参数，且0＜β＜1，在φ(d_i)＝1时，所述未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，所述未被关联上的观测对象为虚假观测对象。

8.一种基于TSK模糊系统的多目标跟踪装置，其特征在于，包括：

判断模块，用于对图像中的运动目标进行检测得到观测集，并判断拥有稳定航迹的目标数是否大于0；

第一关联模块，用于在所述拥有稳定航迹的目标数大于0时，构建TSK模糊分类器，并将所述观测集输入至所述TSK模糊分类器，得到标签向量矩阵，然后对所述标签向量矩阵进行数据关联；

第二关联模块，用于在所述拥有稳定航迹的目标数小于或等于0时，计算目标集中的目标对象与所述观测集中的观测对象之间的特征相似度，并将所述特征相似度输入至TSK模糊模型，得到隶属度矩阵，然后对所述隶属度矩阵进行数据关联；

管理模块，用于基于数据关联结果进行轨迹管理。

9.一种电子装置，其特征在于，包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至7中任意一项所述的基于TSK模糊系统的多目标跟踪方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任意一项所述的基于TSK模糊系统的多目标跟踪方法的步骤。