CN110349188B - 基于tsk模糊模型的多目标跟踪方法、装置及存储介质 - Google Patents

Abstract

根据本发明实施例公开的基于TSK模糊模型的多目标跟踪方法、装置及存储介质，首先检测图像中的运动目标得到观测集，然后提取目标与观测之间特征相似度，并将特征相似度输入至TSK模糊模型，利用模型对特征相似度进行加权融合，得到目标与观测之间的隶属度矩阵，再对隶属度矩阵进行数据关联得到目标和观测的正确关联，最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用TSK模糊模型处理目标与观测之间的关联过程，可有效处理数据关联过程中的不确定性，提高了目标跟踪的准确性。

Description

基于TSK模糊模型的多目标跟踪方法、装置及存储介质

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种基于TSK模糊模型的多目标跟踪方法、装置及存储介质。

背景技术

多目标跟踪是利用传感器所获得的量测，自动地检测出感兴趣的目标，并且对多个目标进行持续和准确的识别、跟踪。在环境复杂的情况下的对多目标进行跟踪，其难点主要在于如何正确的完成目标与观测间的数据关联。

目前，在跟踪过程中，目标可能会因为各种因素发生变化，包括目标本身的尺度变化、姿势变化、自身的形变等，同时在复杂环境下，光照的变化、杂波的干扰、背景的突变都会对目标产生影响，造成目标信息具有不确定性，给跟踪带来困难；另外，在目标跟踪过程中，目标可能会被视频帧中的其他物体所遮挡，提取到的目标特征会混入杂波干扰，导致目标部分或者全部信息丢失。并且在真实的视频帧中，新目标的出现、旧目标的消失、以及遮挡导致的目标漏检，使得每一帧的目标数目都是无法预测得到的。这些不确定性因素是导致多目标数据关联模糊的基本原因。

而在实际应用中，通常所采用的数据关联法较为传统，如最近邻、联合概率数据关联法、网络流法等，这类方法均为硬判决方法，在关联出现模糊时可靠性下降。

发明内容

本发明实施例的主要目的在于提供一种基于TSK模糊模型的多目标跟踪方法、装置及存储介质，至少能够解决相关技术中采用硬判决方法进行目标跟踪时，对目标与观测进行关联的准确性不高的问题。

为实现上述目的，本发明实施例第一方面提供了一种基于TSK模糊模型的多目标跟踪方法，该方法包括：

对图像中的运动目标进行检测得到观测集；

计算目标集中的目标对象与所述观测集中的观测对象之间的特征相似度；

将所述特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；

计算所述每条模糊规则的权重，并基于所述每条模糊规则的权重对所述每条模糊规则的输出结果进行加权平均，得到所述目标对象与所述观测对象之间的隶属度；

基于所述隶属度构建隶属度矩阵，并对所述隶属度矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

基于数据关联结果进行轨迹管理。

为实现上述目的，本发明实施例第二方面提供了一种基于TSK模糊模型的多目标跟踪装置，该装置包括：

检测模块，用于对图像中的运动目标进行检测得到观测集；

相似度计算模块，用于计算目标集中的目标对象与所述观测集中的观测对象之间的特征相似度；

输出模块，用于将所述特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；

隶属度计算模块，用于计算所述每条模糊规则的权重，并基于所述每条模糊规则的权重对所述每条模糊规则的输出结果进行加权平均，得到所述目标对象与所述观测对象之间的隶属度；

关联模块，用于基于所述隶属度构建隶属度矩阵，并对所述隶属度矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

管理模块，用于基于数据关联结果进行轨迹管理。

为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种基于TSK模糊模型的多目标跟踪方法的步骤。

为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种基于TSK模糊模型的多目标跟踪方法的步骤。

根据本发明实施例提供的基于TSK模糊模型的多目标跟踪方法、装置及存储介质，首先检测图像中的运动目标得到观测集，然后提取目标与观测之间特征相似度，并将特征相似度输入至TSK模糊模型，利用模型对特征相似度进行加权融合，得到目标与观测之间的隶属度矩阵，再对隶属度矩阵进行数据关联得到目标和观测的正确关联，最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用TSK模糊模型处理目标与观测之间的关联过程，可有效处理数据关联过程中的不确定性，提高了目标跟踪的准确性。

本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的多目标跟踪方法的流程示意图；

图2为本发明第一实施例提供的输入变量的隶属度函数示意图；

图3为本发明第一实施例提供的真实场景中所输出的观测示意图；

图4为本发明第一实施例提供的目标与观测之间的遮挡示意图；

图5为本发明第一实施例提供的轨迹管理方法的流程示意图；

图6为本发明第二实施例提供的多目标跟踪装置的结构示意图；

图7为本发明第三实施例提供的电子装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例：

为了解决相关技术中采用硬判决方法进行目标跟踪时，对目标与观测进行关联的准确性不高的技术问题，本实施例提出了一种基于TSK模糊模型的多目标跟踪方法，如图1所示为本实施例提供的多目标跟踪方法的基本流程示意图，本实施例提出的多目标跟踪方法包括以下的步骤：

步骤101、对图像中的运动目标进行检测得到观测集。

具体的，运动目标检测是视频多目标跟踪的基础，本实施例将所得到的目标的检测结果作为后续目标关联的观测。

在本实施例中，可以采用混合高斯背景模型对运动目标进行检测。高斯背景模型，是将一个像素点在视频中所有的灰度值看成一个随机过程，利用高斯分布描述像素点像素值的概率密度函数。

其中，定义I(x,y,t)表示像素点(x,y)在t时刻的像素值，则有：

式中，η为高斯概率密度函数，μ_t和σ_t分别是像素点(x,y)在t时刻的均值和标准差。假设有图像序列I(x,y,0)，I(x,y,1)，...，I(x,y,N-1)，那么对于像素点(x,y)，它的初始背景模型的期望值μ₀(x,y)和偏差σ₀(x,y)分别用下述的公式计算：

式中，N表示视频的图像帧数，μ₀(x,y)是坐标为(x,y)的像素的平均灰度值，σ₀(x,y)是像素(x,y)灰度值得方差。在t时刻，按照下式对像素(x,y)的灰度值I(x,y,t)进行判定，用o表示输出图像：

其中T_p为概率阈值，在实际应用中，通常用等价的阈值替代概率阈值。在本实施例中，在判定概率大于或等于概率阈值时，将I(x,y,t)确定为背景像素点，在判定概率小于概率阈值时，将I(x,y,t)确定为前景像素点。在检测完毕后，对被判定为背景的像素的背景模型采用下式进行更新：

μ_t(x,y)＝(1-α)μ_t(x,y)+αI(x,y,t)

式中，α称为学习因子，反映视频中背景信息的变化快慢，如果α取值太小，背景模型的变化慢于实际真实场景的变化，将导致检测出的目标存在很多空洞，反之，会使得运动较慢的前景变成背景的一部分。

在本实施例中，为增强高斯背景鲁棒性，选用多个高斯分布加权的混合高斯背景模型，即：

式中，I(x,y,t)表示像素点(x,y)在t时刻的像素值，η表示高斯概率密度函数，μ_t和σ_t分别表示像素点(x,y)在t时刻的均值和标准差，k为高斯分布分量个数，w_i为第i个高斯分布η_i(I,μ_t,σ_t)的权重，o表示输出图像，T_P表示概率阈值；若I(x,y,t)对于这k个高斯分布，概率都大于概率阈值T_P(或对于任意的η_i(I,μ_t,σ_t)，|I(x,y,t)-μ_t|≤2.5σ_t都满足)，则I(x,y,t)为图像背景，否则为前景。混合高斯背景模型更新时，只对概率大于概率阈值T_P(或满足|I(x,y,t)-μ_t|≤2.5σ_t)的高斯分量进行更新。

利用本实施例的混合高斯模型，能够对图像中所有像素划分为前景像素点和背景像素点，进而得到一个包含前景和背景的二值图像，检测出图像中运动的像素，辅以中值滤波和简单的形态学处理，最终得到图像中运动的目标，然后基于所检测出的运动目标组成观测集。

步骤102、计算目标集中的目标对象与观测集中的观测对象之间的特征相似度。

具体的，在本实施例中，首先计算出目标与观测之间的特征相似度，然后再引入TSK模糊模型对特征进行分析，输入特征相似度进行前件参数辨识。

在本实施例中，作为一种可选的实施方式，可以利用距离、颜色、边缘、纹理、形状和运动方向等6个特征，为了计算目标对象o_i与观测对象z_k之间的相似度，6个特征相似度函数定义如下：

式中，x₁(o_i,z_k)表示空间距离特征相似性度量函数，x₂(o_i,z_k)表示几何尺寸特征相似性度量函数，x₃(o_i,z_k)表示运动方向特征相似性度量函数，x₄(o_i,z_k)表示颜色特征相似性度量函数，x₅(o_i,z_k)表示方向梯度特征相似性度量函数，x₆(o_i,z_k)表示纹理特征相似性度量函数；(x_o,y_o)表示目标对象o_i的中心坐标，(x_z,y_z)表示观测对象z_k的中心坐标，h_o表示目标对象o_i的图像高度，表示空间距离方差常量，h_z表示观测对象z_k的图像高度，/>表示几何尺寸方差常量，(x'_o,y'_o)表示上一时刻目标对象o_i的中心坐标，/>表示上一时刻目标对象o_i的速度在图像坐标轴上的投影，/>表示运动方向方差常量，ρ(·)表示求巴氏系数，H_r(·)表示颜色直方图，/>表示目标模型方差常量，H_g(·)表示分块梯度方向直方图特征，/>表示梯度方向方差常量，H_l(·)表示纹理特征直方图，/>表示纹理特征方差常量。

步骤103、将特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果。

具体的，在本实施例中，利用模糊模型处理多目标数据关联，能够引入模糊语义，并且将自然语言转换为机器语言；同时，模糊模型具有强大的学习能力，能够利用先验知识对模型进行训练，这是其他智能模型不具备的能力。TSK模糊模型可以很好地处理目标与观测间的不确定性，通过TSK模糊模型建立特征空间与关联度空间的映射。TSK模糊模型具有强大的学习能力，通过不断学习目标的特征向量，对多帧视频的特征训练出的分类器能够准确的完成目标与观测的数据关联，实现对目标的关联跟踪。

TSK模糊模型可以利用多个线性系统来表示任意精度的非线性系统，对于加入目标特征信息的TSK模糊模型，每条线性模型规则定义如下：

k＝1,2,...,K

式中，IF部分为规则前件，THEN部分为规则后件,K是模糊规则的数量，是第k条规则的输入变量x_d对应的模糊子集，and是模糊连接算子，输入变量x＝[x₁,x₂,...,x_d]^T为每条模糊规则的前件变量,d为x的维度，/>为后件变量，f^k(x)为每条模糊规则的输出结果。

步骤104、计算每条模糊规则的权重，并基于每条模糊规则的权重对每条模糊规则的输出结果进行加权平均，得到目标对象与观测对象之间的隶属度。

具体的，TSK模糊模型最终的输出y⁰是对每条规则结果f^k(x)的加权平均，在本实施例中，按照预设的加权平均计算公式，基于每条模糊规则的权重对每条模糊规则的输出结果进行加权平均，得到目标对象与观测对象之间的隶属度；加权平均计算公式表示如下：

式中，为每条模糊规则的权重的归一化结果，y⁰为目标对象与观测对象之间的隶属度。

另外，在本实施例中，按照预设的权重计算公式计算每条模糊规则的权重；权重计算公式表示如下：

根据前述所定义的距离、颜色、边缘、纹理、形状和运动方向等6个特征的特征相似度x₁,x₂，x₃，x₄，x₅，x₆，在本实施例中，以特征相似度x₁,x₂，x₃，x₄，x₅，x₆为TSK模糊模型的输入变量，每个特征都采用五个语言值模糊集来进行刻画，五个语言值分别如下：{Low(L),ALittle Low(AL),Medium(M),A Little High(AH),High(H)},每个语言值的隶属度函数如下：

为了使每个输入变量落入每个模糊集中的概率相同，将模糊集的隶属度函数设计为等间隔、全交叠的三角形隶属度函数，且由于每条规则的权重μ^k(x)在0和1之间，所以值域范围为[0,1]，输入变量的隶属度函数设计如图2所示。从图2中可以看出，如果目标与观测之间的特征相似度小于或者等0.1，则该特征不可信，对应模糊子集中，Low(L)的隶属度最高；如果目标与观测之间的特征相似度小于或者等0.9，则该特征是可信的。对应模糊子集/>中，High(H)的隶属度最高。

在本实施例中，对于输入的每个变量，都可以得到其对应每个模糊集的隶属度。如果有d个输入变量(特征)，根据每个变量有五个模糊集，总共需要设计d⁵条模糊规则设计，具体如下：

通过设计出的TSK模糊语义模型，可以快速建立目标与观测之间的特征相似度与隶属度矩阵的映射，输入距离、颜色、边缘、纹理、形状和运动方向等6个特征的相似度x₁,x₂，x₃，x₄，x₅，x₆，经过TSK模糊语义模型，输出的结果为：

式中，d为特征的个数，这里d＝6。

步骤105、基于隶属度构建隶属度矩阵，并对隶属度矩阵进行数据关联，确定所有观测对象与目标对象的关联对。

具体的，在本实施例中，假设现在收到观测集为Z＝{z₁,z₂,...,z_N}，N为检测器检测到的观测个数，目标集为O＝{o₁,o₂,...,o_L}，L为目标个数。通过前述的加权平均计算公式，可以得到第n个观测与第l个目标的关联输出y_nl，重复N×L次后，便可以得到N×L维的隶属度矩阵得到隶属度矩阵S后，本实施例可以利用贪婪算法对隶属度矩阵进行分析处理，实现目标与观测之间的数据关联，步骤如下：

a、找出隶属度矩阵S中未被标记的所有元素中最大值s_pq＝max([s_nl])，对第p行，第q列进行标记，关联阈值τ＝0.9，如果s_pq＞τ，即目标p与观测q之间的关联度大于关联阈值，则(p,q)被标记为一对正确的关联对，同时(p,q)所在行与列的其他元素被设置为0。

b、重复进行步骤a，直到s_pq＜τ时，找出所有正确的关联对，完成所有观测和目标的关联。

步骤106、基于数据关联结果进行轨迹管理。

在复杂环境下，由于背景干扰、目标自身形变等多种因素的影响，在保持高检测率的条件下，目标检测器将难以避免的会产生如图3中所示的虚假观测。如图3所示为本实施例提供的真实场景中所输出的观测示意图，其中，白色矩形框表示当前时刻目标状态，黑色矩形框表示虚假观测。从图3可以看出，这些虚假观测与目标之间发生了明显的遮挡。经过模糊数据关联之后，这些虚假观测将成为未被关联上的观测，而新目标所对应的观测对当前已记录目标的模糊隶属度较低，其同样也将成为未被关联上的观测。因此，如果为所有未被关联上的观测均建立新的目标轨迹，则可能导致为虚假观测错误的进行了轨迹起始。基于此，本实施例提出利用空时线索对未被关联上的观测与当前目标间的遮挡情况进行分析，从而判别出对应于新目标的观测，并为其起始新的目标轨迹。

如图4所示为本实施例提供的目标与观测之间的遮挡示意图，为了对未被关联上的观测与当前目标间的遮挡程度进行度量，本文定义了遮挡度ω。假设目标对象A与未被关联上的观测对象B发生如图4所示的遮挡，其中矩形框A与矩形框B之间重叠的阴影部分表示遮挡区域，定义A与B之间的遮挡度ω(A,B)为：

式中，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)＞0时，A与B发生了遮挡。并且，根据矩形框A底部的纵向图像坐标值y_A与矩形框B底部的纵向图像坐标值y_B可进一步得知，如果y_A＞y_B，则说明B被A遮挡。

然后，将所计算的遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象；新目标判别函数φ表示如下：

其中，O＝{o₁,...,o_L}表示目标集，Ω＝{d₁,...,d_k}表示经过模糊数据关联之后，仍未被关联上的观测对象，β为常量参数，且0＜β＜1，在本实施例中可以取β＝0.5。在φ(d_i)＝1时，未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，未被关联上的观测对象为虚假观测对象。

可选的，本实施例提供了一种轨迹管理方法，如图5为本实施例提供的轨迹管理方法的流程示意图，具体包括以下步骤：

步骤501、从未被关联上的观测对象中确定新目标对象所对应的观测对象；

步骤502、为各新目标对象所对应的观测对象建立新的临时轨迹，并判断临时轨迹是否连续预设帧数均被关联上；

步骤503、在临时轨迹连续预设帧数均被关联上时，将临时轨迹转化为有效目标轨迹；

步骤504、采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

具体的，本实施例结合新目标判别函数，采用目标轨迹管理规则解决有效目标轨迹的平滑与预测、无效目标轨迹的终止以及新目标轨迹的起始等问题。所采用的目标轨迹管理规则具体包括：

(1)为每个φ(d)＝1的观测d建立新的临时轨迹；

(2)若临时轨迹连续λ₁帧都被关联上，则将其转化为有效目标轨迹，否则，删除该临时轨迹，其中λ₁为常量参数，并且λ₁＞1；

(3)采用卡尔曼滤波器对每条临时轨迹、有效目标轨迹进行滤波以及预测；

(4)对连续预测λ₂帧后仍未被关联上的临时轨迹、有效目标轨迹进行删除，其中λ₂为常量参数，并且λ₂＞1。

根据本发明实施例提供的基于TSK模糊模型的多目标跟踪方法，首先检测图像中的运动目标得到观测集，然后提取目标与观测之间特征相似度，并将特征相似度输入至TSK模糊模型，利用模型对特征相似度进行加权融合，得到目标与观测之间的隶属度矩阵，再对隶属度矩阵进行数据关联得到目标和观测的正确关联，最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用TSK模糊模型处理目标与观测之间的关联过程，可有效处理数据关联过程中的不确定性，提高了目标跟踪的准确性。

第二实施例：

为了解决相关技术中采用硬判决方法进行目标跟踪时，对目标与观测进行关联的准确性不高的技术问题，本实施例提出了一种基于TSK模糊模型的多目标跟踪装置，具体请参见图6所示的多目标跟踪装置，本实施例的多目标跟踪装置包括：

检测模块601，用于对图像中的运动目标进行检测得到观测集；

相似度计算模块602，用于计算目标集中的目标对象与观测集中的观测对象之间的特征相似度；

输出模块603，用于将特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；

隶属度计算模块604，用于计算每条模糊规则的权重，并基于每条模糊规则的权重对每条模糊规则的输出结果进行加权平均，得到目标对象与观测对象之间的隶属度；

关联模块605，用于基于隶属度构建隶属度矩阵，并对隶属度矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

管理模块606，用于基于数据关联结果进行轨迹管理。

在本实施例的一些实施方式中，检测模块601具体用于通过混合高斯背景模型将图像中所有像素划分为前景像素点和背景像素点，得到包含前景和背景的二值图像；检测二值图像中运动的像素，并进行中值滤波及形态学处理，确定运动目标；基于所检测出的运动目标组成观测集。混合高斯背景模型表示如下：

其中，I(x,y,t)表示像素点(x,y)在t时刻的像素值，η表示高斯概率密度函数，μ_t和σ_t分别表示像素点(x,y)在t时刻的均值和标准差，k为高斯分布分量个数，w_i为第i个高斯分布η_i(I,μ_t,σ_t)的权重，o表示输出图像，T_P表示概率阈值，在判定概率大于或等于概率阈值时，将I(x,y,t)确定为背景像素点，在判定概率小于概率阈值时，将I(x,y,t)确定为前景像素点。

在本实施例的一些实施方式中，相似度计算模块602具体用于基于特征相似度函数计算目标集中的目标对象与观测集中的观测对象之间的特征相似度。特征相似度函数包括：

其中，x₁(o_i,z_k)表示空间距离特征相似性度量函数，x₂(o_i,z_k)表示几何尺寸特征相似性度量函数，x₃(o_i,z_k)表示运动方向特征相似性度量函数，x₄(o_i,z_k)表示颜色特征相似性度量函数，x₅(o_i,z_k)表示方向梯度特征相似性度量函数，x₆(o_i,z_k)表示纹理特征相似性度量函数；(x_o,y_o)表示目标对象o_i的中心坐标，(x_z,y_z)表示观测对象z_k的中心坐标，h_o表示目标对象o_i的图像高度，表示空间距离方差常量，h_z表示观测对象z_k的图像高度，/>表示几何尺寸方差常量，(x'_o,y'_o)表示上一时刻目标对象o_i的中心坐标，/>表示上一时刻目标对象o_i的速度在图像坐标轴上的投影，/>表示运动方向方差常量，ρ(·)表示求巴氏系数，H_r(·)表示颜色直方图，/>表示目标模型方差常量，H_g(·)表示分块梯度方向直方图特征，/>表示梯度方向方差常量，H_l(·)表示纹理特征直方图，/>表示纹理特征方差常量。

进一步地，在本实施例的一些实施方式中，TSK模糊模型表示如下：

k＝1,2,...,K；

其中，IF部分为规则前件，THEN部分为规则后件,K是模糊规则的数量，是第k条规则的输入变量x_d对应的模糊子集，and是模糊连接算子，输入变量x＝[x₁,x₂,...,x_d]^T为每条模糊规则的前件变量,d为x的维度，/>为后件变量，f^k(x)为每条模糊规则的输出结果。

更进一步地，在本实施例的一些实施方式中，隶属度计算模块604具体用于按照预设的权重计算公式计算每条模糊规则的权重；按照预设的加权平均计算公式，基于每条模糊规则的权重对每条模糊规则的输出结果进行加权平均，得到目标对象与观测对象之间的隶属度。权重计算公式表示如下：

加权平均计算公式表示如下：

其中，为每条模糊规则的权重的归一化结果，y⁰为目标对象与观测对象之间的隶属度。

在本实施例的一些实施方式中，管理模块606具体用于从未被关联上的观测对象中确定新目标对象所对应的观测对象；为各新目标对象所对应的观测对象建立新的临时轨迹，并判断临时轨迹是否连续预设帧数均被关联上；在临时轨迹连续预设帧数均被关联上时，将临时轨迹转化为有效目标轨迹；采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

进一步地，在本实施例的一些实施方式中，管理模块606在从未被关联上的观测对象中确定新目标对象所对应的观测对象时，具体用于采用预设的遮挡度计算公式，计算未被关联上的观测对象与目标对象之间的遮挡度；将所计算的遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象。遮挡度计算公式表示如下：

其中，A表示目标对象，B表示观测对象，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)＞0时，A与B发生了遮挡；

新目标判别函数表示如下：

其中，O＝{o₁,...,o_L}表示目标集，Ω＝{d₁,...,d_k}表示未被关联上的观测对象，β为常量参数，且0＜β＜1，在φ(d_i)＝1时，未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，未被关联上的观测对象为虚假观测对象。

应当说明的是，前述实施例中的多目标跟踪方法均可基于本实施例提供的多目标跟踪装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的多目标跟踪装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

采用本实施例提供的基于TSK模糊模型的多目标跟踪装置，首先检测图像中的运动目标得到观测集，然后提取目标与观测之间特征相似度，并将特征相似度输入至TSK模糊模型，利用模型对特征相似度进行加权融合，得到目标与观测之间的隶属度矩阵，再对隶属度矩阵进行数据关联得到目标和观测的正确关联，最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用TSK模糊模型处理目标与观测之间的关联过程，可有效处理数据关联过程中的不确定性，提高了目标跟踪的准确性。

第三实施例：

本实施例提供了一种电子装置，参见图7所示，其包括处理器701、存储器702及通信总线703，其中：通信总线703用于实现处理器701和存储器702之间的连接通信；处理器701用于执行存储器702中存储的一个或者多个计算机程序，以实现上述实施例一中的方法中的至少一个步骤。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。

本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。

本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。

可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。

此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于TSK模糊模型的多目标跟踪方法，其特征在于，包括：

对图像中的运动目标进行检测得到观测集；

计算目标集中的目标对象与所述观测集中的观测对象之间的距离特征、颜色特征、边缘特征、纹理特征、形状特征和运动方向特征的特征相似度；

将所述特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；

计算所述每条模糊规则的权重，并基于所述每条模糊规则的权重对所述每条模糊规则的输出结果进行加权平均，得到所述目标对象与所述观测对象之间的隶属度；

基于所述隶属度构建隶属度矩阵，并对所述隶属度矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

基于数据关联结果进行轨迹管理。

2.如权利要求1所述的多目标跟踪方法，其特征在于，所述对图像中的运动目标进行检测得到观测集包括：

通过混合高斯背景模型将图像中所有像素划分为前景像素点和背景像素点，得到包含前景和背景的二值图像；所述混合高斯背景模型表示如下：

其中，I(x,y,t)表示像素点(x,y)在t时刻的像素值，η表示高斯概率密度函数，μ_t和σ_t分别表示像素点(x,y)在t时刻的均值和标准差，k为高斯分布分量个数，w_i为第i个高斯分布η_i(I,μ_t,σ_t)的权重，o表示输出图像，T_P表示概率阈值，在判定概率大于或等于概率阈值时，将I(x,y,t)确定为背景像素点，在判定概率小于概率阈值时，将I(x,y,t)确定为前景像素点；

检测所述二值图像中运动的像素，并进行中值滤波及形态学处理，确定运动目标；

基于所检测出的运动目标组成观测集。

3.如权利要求1所述的多目标跟踪方法，其特征在于，所述计算目标集中的目标对象与所述观测集中的观测对象之间的距离特征、颜色特征、边缘特征、纹理特征、形状特征和运动方向特征的特征相似度包括：

基于特征相似度函数计算目标集中的目标对象与所述观测集中的观测对象之间的距离特征、颜色特征、边缘特征、纹理特征、形状特征和运动方向特征的特征相似度；所述特征相似度函数包括：

其中，x₁(o_i,z_k)表示空间距离特征相似性度量函数，x₂(o_i,z_k)表示几何尺寸特征相似性度量函数，x₃(o_i,z_k)表示运动方向特征相似性度量函数，x₄(o_i,z_k)表示颜色特征相似性度量函数，x₅(o_i,z_k)表示方向梯度特征相似性度量函数，x₆(o_i,z_k)表示纹理特征相似性度量函数；(x_o,y_o)表示目标对象o_i的中心坐标，(x_z,y_z)表示观测对象z_k的中心坐标，h_o表示目标对象o_i的图像高度，σ₁ ²表示空间距离方差常量，h_z表示观测对象z_k的图像高度，表示几何尺寸方差常量，(x'_o,y'_o)表示上一时刻目标对象o_i的中心坐标，/>表示上一时刻目标对象o_i的速度在图像坐标轴上的投影，/>表示运动方向方差常量，ρ(·)表示求巴氏系数，H_r(·)表示颜色直方图，/>表示目标模型方差常量，H_g(·)表示分块梯度方向直方图特征，/>表示梯度方向方差常量，H_l(·)表示纹理特征直方图，/>表示纹理特征方差常量。

4.如权利要求3所述的多目标跟踪方法，其特征在于，所述TSK模糊模型表示如下：

k＝1,2,…,K；

其中，IF部分为规则前件，THEN部分为规则后件,K是模糊规则的数量，是第k条规则的输入变量x_d对应的模糊子集，and是模糊连接算子，输入变量x＝[x₁,x₂,…,x_d]^T为每条模糊规则的前件变量,d为x的维度，/>为后件变量，f^k(x)为每条模糊规则的输出结果。

5.如权利要求4所述的多目标跟踪方法，其特征在于，所述计算所述每条模糊规则的权重，并基于所述每条模糊规则的权重对所述每条模糊规则的输出结果进行加权平均，得到所述目标对象与所述观测对象之间的隶属度包括：

按照预设的权重计算公式计算所述每条模糊规则的权重；所述权重计算公式表示如下：

按照预设的加权平均计算公式，基于所述每条模糊规则的权重对所述每条模糊规则的输出结果进行加权平均，得到所述目标对象与所述观测对象之间的隶属度；所述加权平均计算公式表示如下：

其中，为所述每条模糊规则的权重的归一化结果，y⁰为所述目标对象与所述观测对象之间的隶属度。

6.如权利要求1至5中任意一项所述的多目标跟踪方法，其特征在于，所述基于数据关联结果进行轨迹管理包括：

从未被关联上的观测对象中确定新目标对象所对应的观测对象；

为各所述新目标对象所对应的观测对象建立新的临时轨迹，并判断所述临时轨迹是否连续预设帧数均被关联上；

在所述临时轨迹连续预设帧数均被关联上时，将所述临时轨迹转化为有效目标轨迹；

采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

7.如权利要求6所述的多目标跟踪方法，其特征在于，所述从未被关联上的观测对象中确定新目标对象所对应的观测对象包括：

采用预设的遮挡度计算公式，计算未被关联上的观测对象与目标对象之间的遮挡度；所述遮挡度计算公式表示如下：

其中，A表示目标对象，B表示观测对象，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)>0时，A与B发生了遮挡；

将所计算的所述遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象；所述新目标判别函数表示如下：

其中，O＝{o₁,...,o_L}表示所述目标集，Ω＝{d₁,...,d_k}表示所述未被关联上的观测对象，β为常量参数，且0<β<1，在φ(d_i)＝1时，所述未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，所述未被关联上的观测对象为虚假观测对象。

8.一种基于TSK模糊模型的多目标跟踪装置，其特征在于，包括：

检测模块，用于对图像中的运动目标进行检测得到观测集；

相似度计算模块，用于计算目标集中的目标对象与所述观测集中的观测对象之间的距离特征、颜色特征、边缘特征、纹理特征、形状特征和运动方向特征的特征相似度；

输出模块，用于将所述特征相似度输入至TSK模糊模型，得到每条模糊规则的输出结果；

隶属度计算模块，用于计算所述每条模糊规则的权重，并基于所述每条模糊规则的权重对所述每条模糊规则的输出结果进行加权平均，得到所述目标对象与所述观测对象之间的隶属度；

关联模块，用于基于所述隶属度构建隶属度矩阵，并对所述隶属度矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

管理模块，用于基于数据关联结果进行轨迹管理。

9.一种电子装置，其特征在于，包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至7中任意一项所述的基于TSK模糊模型的多目标跟踪方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任意一项所述的基于TSK模糊模型的多目标跟踪方法的步骤。