CN110349187A

CN110349187A - 基于tsk模糊分类器的目标跟踪方法、装置及存储介质

Info

Publication number: CN110349187A
Application number: CN201910650057.9A
Authority: CN
Inventors: 李良群; 严明月; 李小香; 刘宗香
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2019-07-18
Filing date: 2019-07-18
Publication date: 2019-10-18
Anticipated expiration: 2039-07-18
Also published as: CN110349187B; WO2021007984A1

Abstract

根据本发明实施例公开的一种基于TSK模糊分类器的目标跟踪方法、装置及存储介质，首先对稳定航迹的特征集合构建多输出回归数据集，并计算各特征相对模糊规则的模糊隶属度；然后基于多输出回归数据集及模糊隶属度训练分别基于运动特征和HOG特征的TSK模糊分类器的后件参数，并构建对应的分类器；再将观测集输入至分类器得到标签向量矩阵，并对标签向量矩阵进行数据关联得到目标和观测的正确关联；最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用多帧信息训练出TSK模糊分类器，并在训练的过程中加入多特征学习机制，增加了分类器的学习能力，可有效处理数据关联过程中的不确定性，提高目标跟踪的准确性。

Description

基于TSK模糊分类器的目标跟踪方法、装置及存储介质

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种基于TSK模糊分类器的目标跟踪方法、装置及存储介质。

背景技术

多目标跟踪是利用传感器所获得的量测，自动地检测出感兴趣的目标，并且对多个目标进行持续和准确的识别、跟踪。

视频多目标跟踪已经取得了很多成果，在实际工程中也得到了广泛的应用，然而如何在复杂的环境下快速准确稳定的实现多目标跟踪，仍是一个具有挑战性的课题，主要的研究难点来自于跟踪过程中的不确定性：其一，在跟踪过程中，目标可能会因为各种因素发生变化，包括目标本身的尺度变化、姿势变化、自身的形变等，同时在复杂环境下，光照的变化、杂波的干扰、背景的突变都会对目标产生影响，造成目标信息具有不确定性，给跟踪带来困难；其二，在目标跟踪过程中，目标可能会被视频帧中的其他物体所遮挡，提取到的目标特征会混入杂波干扰，导致目标部分或者全部信息丢失；另外，在真实的视频帧中，新目标的出现、旧目标的消失、以及遮挡导致的目标漏检，使得每一帧的目标数目都是无法预测得到的。这些不确定性因素是导致多目标数据关联模糊的基本原因。

而在实际应用中，通常所采用的数据关联法较为传统，如最近邻、联合概率数据关联法、网络流法等，这类方法均为硬判决方法，在关联出现模糊时可靠性下降。

发明内容

本发明实施例的主要目的在于提供一种基于TSK模糊分类器的目标跟踪方法、装置及存储介质，至少能够解决相关技术中采用硬判决方法进行目标跟踪时，对目标与观测进行关联的准确性不高的问题。

为实现上述目的，本发明实施例第一方面提供了一种基于TSK模糊分类器的目标跟踪方法，该方法包括：

提取m条稳定航迹的所有特征集合，并对所述特征集合构建多输出回归数据集；其中，特征集合中的每个特征包括运动特征以及方向梯度HOG特征；

将不同目标划分到不同模糊集，计算所述特征集合中各特征相对第k’个模糊规则的模糊隶属度；

基于所述多输出回归数据集以及所述模糊隶属度，训练出分别基于所述运动特征以及所述HOG特征的第j个稳定航迹的TSK模糊分类器的后件参数，并分别基于所训练得到的后件参数构建对应的TSK模糊分类器；

对图像中的运动目标进行检测得到观测集，并将所述观测集输入至所述TSK模糊分类器，得到标签向量矩阵；

对所述标签向量矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

基于数据关联结果进行轨迹管理。

为实现上述目的，本发明实施例第二方面提供了一种基于TSK模糊分类器的目标跟踪装置，该装置包括：

提取模块，用于提取m条稳定航迹的所有特征集合，并对所述特征集合构建多输出回归数据集；其中，特征集合中的每个特征包括运动特征以及方向梯度HOG特征；

计算模块，用于将不同目标划分到不同模糊集，计算所述特征集合中各特征相对第k’个模糊规则的模糊隶属度；

构建模块，用于基于所述多输出回归数据集以及所述模糊隶属度，训练出分别基于所述运动特征以及所述HOG特征的第j个稳定航迹的TSK模糊分类器的后件参数，并分别基于所训练得到的后件参数构建对应的TSK模糊分类器；

分类模块，用于对图像中的运动目标进行检测得到观测集，并将所述观测集输入至所述TSK模糊分类器，得到标签向量矩阵；

关联模块，用于对所述标签向量矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

管理模块，用于基于数据关联结果进行轨迹管理。

为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种基于TSK模糊分类器的目标跟踪方法的步骤。

为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种基于TSK模糊分类器的目标跟踪方法的步骤。

根据本发明实施例提供的基于TSK模糊分类器的目标跟踪方法、装置及存储介质，首先对稳定航迹的特征集合构建多输出回归数据集，并计算特征集合中各特征相对模糊规则的模糊隶属度；然后基于多输出回归数据集及模糊隶属度训练分别基于运动特征和HOG特征的TSK模糊分类器的后件参数，并构建对应的TSK模糊分类器；再将观测集输入至TSK模糊分类器得到标签向量矩阵，并对标签向量矩阵进行数据关联得到目标和观测的正确关联；最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用多帧信息训练出TSK模糊分类器，并且在训练的过程中加入多特征学习机制，增加了分类器的学习能力，可有效处理数据关联过程中的不确定性，提高目标跟踪的准确性。

本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的目标跟踪方法的流程示意图；

图2为本发明第一实施例提供的真实场景中所输出的观测示意图；

图3为本发明第一实施例提供的目标与观测之间的遮挡示意图；

图4为本发明第一实施例提供的轨迹管理方法的流程示意图；

图5为本发明第二实施例提供的目标跟踪装置的结构示意图；

图6为本发明第三实施例提供的电子装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例：

为了解决相关技术中采用硬判决方法进行目标跟踪时，对目标与观测进行关联的准确性不高的技术问题，本实施例提出了一种基于TSK模糊分类器的目标跟踪方法，如图1所示为本实施例提供的目标跟踪方法的基本流程示意图，本实施例提出的目标跟踪方法包括以下的步骤：

步骤101、提取m条稳定航迹的所有特征集合，并对特征集合构建多输出回归数据集；其中，特征集合中的每个特征包括运动特征以及HOG特征。

具体的，本实施例中使用包括运动特征及方向梯度(HOG，Histogram of OrientedGradient)特征的双特征在TSK模糊分类器中对目标进行描述，以得到性能更好的分类器模型。

在本实施例中，若当前帧中稳定航迹个数m≥1，即出现了稳定航迹，m条稳定航迹的所有特征集合U′＝{u′₁,u′₂,…,u′_m}，其中，u′_j为前T-1个时刻，第j条稳定航迹的运动特征以及HOG特征集合：u′_j＝{(x′_j,t,z′_j,t),(ho_j,t)}，t＝1,2,…,T-1，(x′_t,z′_t)为t时刻目标矩形框的中心坐标，ho_t为t时刻该目标的HOG特征；对于包含m个类的数据{u′_j,y_el}，y_el∈{1,2,…,m}，本实施例构建一个多输出回归数据集若{u′_j,y_el}原始类标签y_el＝r(1≤r≤m)在构造的多输出回归数据集y_el∈{1,2,…,m}中，包含m个输出的相应输出向量定义为：

在此输出向量中，只有的第r个元素是1，而其余元素被设置为-1，表明该目标属于第r条稳定航迹。

步骤102、将不同目标划分到不同模糊集，计算特征集合中各特征相对第k’个模糊规则的模糊隶属度。

在本实施例中，采用FCM聚类算法进行前件参数辨识，TSK模糊分类器的规则数设定为K’，输入为U′＝{u′₁,u′₂,…,u′_m}，其中，u′_j＝{(x′_j,t,z′_j,t),(ho_j,t)}，t＝1,2,…,T-1，输入样本数为l’，聚类数为K’，可以得到模糊划分矩阵S′₁、S′₂，矩阵S′₁的元素S′_1w′k′∈[0,1]表示基于运动特征的第，w′(w′＝1,2,…,l’)个输入样本到第k′(k′＝1,2,…,K’)个规则的隶属度，模糊集可以用以下常见的高斯隶属函数表示：

其中，(x’，z’)为运动特征，ho为HOG特征。运动特征中心向量c^k′＝以及HOG特征中心向量都是通过FCM算法对训练样本获得的第k’个规则的中心向量，计算过程如下所示：

其中，h’是一个标量，可以通过手动设置或由某些学习策略确定。

步骤103、基于多输出回归数据集以及模糊隶属度，训练出分别基于运动特征以及HOG特征的第j个稳定航迹的TSK模糊分类器的后件参数，并分别基于所训练得到的后件参数构建对应的TSK模糊分类器。

具体的，在本实施例中，为了更好地利用不确定性信息中的有用信息，利用多个特征训练出TSK模糊分类器模型，并且在训练过程中融入多特征学习机制，使得各个特征的分类结果尽量一致，这种方法不仅能够利用每个特征的独立信息，而且综合考虑到了各个特征之间存在的关联信息，通过该算法得到的TSK模糊分类器能够更好得实现目标与观测之间的数据关联。

在本实施例中，利用岭回归模型对TSK模糊分类器进行训练，令：

u′_e ¹＝(1,x′,z′)^T u′_e ²＝(1,ho)^T

仅基于运动特征的目标函数如下：

仅基于HOG特征的目标函数如下：

其中，是仅基于运动特征的第j个稳定航迹的TSK分类器的后件参数，是仅基于HOG特征的第j个稳定航迹的TSK分类器的后件参数，是输入变量的m维标签向量，m为稳定航迹个数。如果的第r维是1而其他维是-1，则意味着输入变量属于第r个稳定航迹。根据优化理论，可以得到仅基于运动特征的第j个稳定航迹的TSK分类器最后优化结果为：

仅基于HOG特征的第j个稳定航迹的TSK分类器最后优化结果为：

应当说明的是，通过上式得到的后件参数以及是仅基于运动特征以及仅基于HOG特征训练得到的后件参数，本实施例需要对其进行多特征学习，得到更具全局性的TSK模糊分类器。基于此，在本实施例一种可选的实施方式中，分别基于所训练得到的后件参数构建对应的TSK模糊分类器包括：对所训练得到后件参数进行多特征学习；基于多特征学习后的后件参数分别构建对应的TSK模糊分类器。本实施例的多特征学习机制如下：

式中，f()为根据单一特征训练出的后件参数的输出值，()为加入多特征学习后训练出的后件参数的输出值。

加入多特征学习机制后每个特征的目标函数为：

根据优化理论，我们可以得到第a个特征的第j个稳定航迹的TSK模糊分类器模型的后件参数最后的优化结果为：

表示经过多特征学习后，TSK模糊分类器模型的后件参数。

构建基于运动特征的TSK模糊分类器为：

THEN f^k′(u)＝p′₀ ^k′+p′₁ ^k′x′+p′₂ ^k′z′k′＝1,2,…,K′

其中，IF部分为规则前件，THEN部分为规则后件,K’是模糊规则的数量，分别为第k条规则的输入变量x’、z’对应的模糊子集，and是模糊连接算子，f^k′(u)为每条模糊规则的输出结果。

基于运动特征的第j个TSK模糊分类器的输出为：

构建基于HOG特征的TSK模糊分类器为：

其中，IF部分为规则前件，THEN部分为规则后件,K’是模糊规则的数量，为第k条规则的输入变量ho对应的模糊子集，and是模糊连接算子，f^k′(u)为每条模糊规则的输出结果。

基于HOG特征的第j个TSK模糊分类器的输出为：

步骤104、对图像中的运动目标进行检测得到观测集，并将观测集输入至TSK模糊分类器，得到标签向量矩阵。

具体的，每个拥有稳定航迹的目标都有分别基于两个特征的TSK模糊分类器模型，每个模型都得以辨识以及训练，对于一个测试观测样本，提取出其运动特征以及HOG特征输入到上述训练好的TSK模糊分类器中，输出矩阵可以表示为：

应当说明的是，在本实施例中，可以采用混合高斯背景模型对运动目标进行检测。高斯背景模型，是将一个像素点在视频中所有的灰度值看成一个随机过程，利用高斯分布描述像素点像素值的概率密度函数。

其中，定义I(x,y,t)表示像素点(x,y)在t时刻的像素值，则有：

式中，η为高斯概率密度函数，μ_t和σ_t分别是像素点(x,y)在t时刻的均值和标准差。假设有图像序列I(x,y,0)，I(x,y,1)，…，I(x,y,N-1)，那么对于像素点(x,y)，它的初始背景模型的期望值μ₀(x,y)和偏差σ₀(x,y)分别用下述的公式计算：

式中，N表示视频的图像帧数，μ₀(x,y)是坐标为(x,y)的像素的平均灰度值，σ₀(x,y)是像素(x,y)灰度值得方差。在t时刻，按照下式对像素(x,y)的灰度值I(x,y,t)进行判定，用o表示输出图像：

其中T_p为概率阈值，在实际应用中，通常用等价的阈值替代概率阈值。在本实施例中，在判定概率大于或等于概率阈值时，将I(x,y,t)确定为背景像素点，在判定概率小于概率阈值时，将I(x,y,t)确定为前景像素点。在检测完毕后，对被判定为背景的像素的背景模型采用下式进行更新：

μ_t(x,y)＝(1-α)μ_t(x,y)+αI(x,y,t)

式中，α称为学习因子，反映视频中背景信息的变化快慢，如果α取值太小，背景模型的变化慢于实际真实场景的变化，将导致检测出的目标存在很多空洞，反之，会使得运动较慢的前景变成背景的一部分。

在本实施例中，为增强高斯背景鲁棒性，选用多个高斯分布加权的混合高斯背景模型，即：

式中，I(x,y,t)表示像素点(x,y)在t时刻的像素值，η表示高斯概率密度函数，μ_t和σ_t分别表示像素点(x,y)在t时刻的均值和标准差，k为高斯分布分量个数，w_i为第i个高斯分布η_i(I,μ_t,σ_t)的权重，o表示输出图像，T_P表示概率阈值；若I(x,y,t)对于这k个高斯分布，概率都大于概率阈值T_P(或对于任意的η_i(I,μ_t,σ_t)，|I(x,y,t)-μ_t|≤2.5σ_t都满足)，则I(x,y,t)为图像背景，否则为前景。混合高斯背景模型更新时，只对概率大于概率阈值T_P(或满足|I(x,y,t)-μ_t|≤2.5σ_t)的高斯分量进行更新。

利用本实施例的混合高斯模型，能够对图像中所有像素划分为前景像素点和背景像素点，进而得到一个包含前景和背景的二值图像，检测出图像中运动的像素，辅以中值滤波和简单的形态学处理，最终得到图像中运动的目标，然后基于所检测出的运动目标组成观测集。

步骤105、对标签向量矩阵进行数据关联，确定所有观测对象与目标对象的关联对。

在本实施例中，输入N个观测集合，通过分类器，将会得到一个m×2N的输出矩阵本实施例可以利用贪婪算法对矩阵进行分析处理，得到目标与观测之间的正确关联对。

步骤106、基于数据关联结果进行轨迹管理。

在复杂环境下，由于背景干扰、目标自身形变等多种因素的影响，在保持高检测率的条件下，目标检测器将难以避免的会产生如图2中所示的虚假观测。如图2所示为本实施例提供的真实场景中所输出的观测示意图，其中，白色矩形框表示当前时刻目标状态，黑色矩形框表示虚假观测。从图2可以看出，这些虚假观测与目标之间发生了明显的遮挡。经过模糊数据关联之后，这些虚假观测将成为未被关联上的观测，而新目标所对应的观测对当前已记录目标的模糊隶属度较低，其同样也将成为未被关联上的观测。因此，如果为所有未被关联上的观测均建立新的目标轨迹，则可能导致为虚假观测错误的进行了轨迹起始。基于此，本实施例提出利用空时线索对未被关联上的观测与当前目标间的遮挡情况进行分析，从而判别出对应于新目标的观测，并为其起始新的目标轨迹。

如图3所示为本实施例提供的目标与观测之间的遮挡示意图，为了对未被关联上的观测与当前目标间的遮挡程度进行度量，本文定义了遮挡度ω。假设目标对象A与未被关联上的观测对象B发生如图4所示的遮挡，其中矩形框A与矩形框B之间重叠的阴影部分表示遮挡区域，定义A与B之间的遮挡度ω(A,B)为：

式中，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)>0时，A与B发生了遮挡。并且，根据矩形框A底部的纵向图像坐标值y_A与矩形框B底部的纵向图像坐标值y_B可进一步得知，如果y_A>y_B，则说明B被A遮挡。

然后，将所计算的遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象；新目标判别函数φ表示如下：

其中，O＝{o₁,...,o_L}表示目标集，Ω＝{d₁,...,d_k}表示经过模糊数据关联之后，仍未被关联上的观测对象，β为常量参数，且0<β<1，在本实施例中可以取β＝0.5。在φ(d_i)＝1时，未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，未被关联上的观测对象为虚假观测对象。

可选的，本实施例提供了一种轨迹管理方法，如图4为本实施例提供的轨迹管理方法的流程示意图，具体包括以下步骤：

步骤401、从未被关联上的观测对象中确定新目标对象所对应的观测对象；

步骤402、为各新目标对象所对应的观测对象建立新的临时轨迹，并判断临时轨迹是否连续预设帧数均被关联上；

步骤403、在临时轨迹连续预设帧数均被关联上时，将临时轨迹转化为有效目标轨迹；

步骤404、采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

具体的，本实施例结合新目标判别函数，采用目标轨迹管理规则解决有效目标轨迹的平滑与预测、无效目标轨迹的终止以及新目标轨迹的起始等问题。所采用的目标轨迹管理规则具体包括：

(1)为每个φ(d)＝1的观测d建立新的临时轨迹；

(2)若临时轨迹连续λ₁帧都被关联上，则将其转化为有效目标轨迹，否则，删除该临时轨迹，其中λ₁为常量参数，并且λ₁>1；

(3)采用卡尔曼滤波器对每条临时轨迹、有效目标轨迹进行滤波以及预测；

(4)对连续预测λ₂帧后仍未被关联上的临时轨迹、有效目标轨迹进行删除，其中λ₂为常量参数，并且λ₂>1。

从而，在本实施例中，对于已关联上的目标，根据规则(2)和(3)，利用卡尔曼滤波器对目标轨迹进行更新；对于未关联上的观测，根据目标轨迹管理规则(1)建立新的目标轨迹，更新目标轨迹标签；对于未关联上的目标，根据目标轨迹管理规则(4)删除目标轨迹标签以及状态；最后再根据轨迹管理规则(3)对所有目标轨迹进行预测更新。

根据本发明实施例提供的基于TSK模糊分类器的目标跟踪方法，首先对稳定航迹的特征集合构建多输出回归数据集，并计算特征集合中各特征相对模糊规则的模糊隶属度；然后基于多输出回归数据集及模糊隶属度训练分别基于运动特征和HOG特征的TSK模糊分类器的后件参数，并构建对应的TSK模糊分类器；再将观测集输入至TSK模糊分类器得到标签向量矩阵，并对标签向量矩阵进行数据关联得到目标和观测的正确关联；最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用多帧信息训练出TSK模糊分类器，并且在训练的过程中加入多特征学习机制，增加了分类器的学习能力，可有效处理数据关联过程中的不确定性，提高目标跟踪的准确性。

第二实施例：

为了解决相关技术中采用硬判决方法进行目标跟踪时，对目标与观测进行关联的准确性不高的技术问题，本实施例提出了一种基于TSK模糊分类器的目标跟踪装置，具体请参见图5所示的目标跟踪装置，本实施例的目标跟踪装置包括：

提取模块501，用于提取m条稳定航迹的所有特征集合，并对特征集合构建多输出回归数据集；其中，特征集合中的每个特征包括运动特征以及HOG特征；

计算模块502，用于将不同目标划分到不同模糊集，计算特征集合中各特征相对第k’个模糊规则的模糊隶属度；

构建模块503，用于基于多输出回归数据集以及模糊隶属度，训练出分别基于运动特征以及HOG特征的第j个稳定航迹的TSK模糊分类器的后件参数，并分别基于所训练得到的后件参数构建对应的TSK模糊分类器；

分类模块504，用于对图像中的运动目标进行检测得到观测集，并将观测集输入至TSK模糊分类器，得到标签向量矩阵；

关联模块505，用于对标签向量矩阵进行数据关联，确定所有观测对象与目标对象的关联对；

管理模块506，用于基于数据关联结果进行轨迹管理。

在本实施例的一些实施方式中，计算模块502具体用于将不同目标划分到不同模糊集，通过预设的高斯隶属函数，计算特征集合中各特征相对第k’个模糊规则的模糊隶属度；高斯隶属函数分别表示如下：

其中，

其中，为运动特征中心向量，为HOG特征中心向量，(x’，z’)为运动特征，ho为HOG特征。

在本实施例的一些实施方式中，构建模块503在分别基于所训练得到的后件参数构建对应的TSK模糊分类器时，具体用于对所训练得到后件参数进行多特征学习；基于多特征学习后的后件参数分别构建对应的TSK模糊分类器。

进一步地，在本实施例的一些实施方式中，构建模块503在基于多特征学习后的后件参数分别构建对应的TSK模糊分类器时，具体用于：根据多特征学习后的基于运动特征的第j个稳定航迹的TSK模糊分类器的后件参数，构建基于运动特征的第j个稳定航迹的TSK模糊分类器：

其中，IF部分为规则前件，THEN部分为规则后件,K’是模糊规则的数量，分别为第k条规则的输入变量x’、z’对应的模糊子集，and是模糊连接算子，f^k′(u)为每条模糊规则的输出结果；

以及，根据多特征学习后的基于HOG特征的第j个稳定航迹的TSK模糊分类器的后件参数，构建基于HOG特征的第j个稳定航迹的TSK模糊分类器：

在本实施例的一些实施方式中，分类模块504在对图像中的运动目标进行检测得到观测集时，具体用于通过混合高斯背景模型将图像中所有像素划分为前景像素点和背景像素点，得到包含前景和背景的二值图像；检测二值图像中运动的像素，并进行中值滤波及形态学处理，确定运动目标；基于所检测出的运动目标组成观测集。混合高斯背景模型表示如下：

其中，I(x,y,t)表示像素点(x,y)在t时刻的像素值，η表示高斯概率密度函数，μ_t和σ_t分别表示像素点(x,y)在t时刻的均值和标准差，k为高斯分布分量个数，w_i为第i个高斯分布η_i(I,μ_t,σ_t)的权重，o表示输出图像，T_P表示概率阈值，在判定概率大于或等于概率阈值时，将I(x,y,t)确定为背景像素点，在判定概率小于概率阈值时，将I(x,y,t)确定为前景像素点。

在本实施例的一些实施方式中，管理模块606具体用于从未被关联上的观测对象中确定新目标对象所对应的观测对象；为各新目标对象所对应的观测对象建立新的临时轨迹，并判断临时轨迹是否连续预设帧数均被关联上；在临时轨迹连续预设帧数均被关联上时，将临时轨迹转化为有效目标轨迹；采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

进一步地，在本实施例的一些实施方式中，管理模块606在从未被关联上的观测对象中确定新目标对象所对应的观测对象时，具体用于采用预设的遮挡度计算公式，计算未被关联上的观测对象与目标对象之间的遮挡度；将所计算的遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象。遮挡度计算公式表示如下：

其中，A表示目标对象，B表示观测对象，r(·)表示区域的面积，ω(A,B)表示A与B之间的遮挡度，且0≤ω≤1，当ω(A,B)>0时，A与B发生了遮挡；

新目标判别函数表示如下：

其中，O＝{o₁,...,o_L}表示目标集，Ω＝{d₁,...,d_k}表示未被关联上的观测对象，β为常量参数，且0<β<1，在φ(d_i)＝1时，未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，未被关联上的观测对象为虚假观测对象。

应当说明的是，前述实施例中的目标跟踪方法均可基于本实施例提供的目标跟踪装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的目标跟踪装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

采用本实施例提供的基于TSK模糊分类器的目标跟踪装置，首先对稳定航迹的特征集合构建多输出回归数据集，并计算特征集合中各特征相对模糊规则的模糊隶属度；然后基于多输出回归数据集及模糊隶属度训练分别基于运动特征和HOG特征的TSK模糊分类器的后件参数，并构建对应的TSK模糊分类器；再将观测集输入至TSK模糊分类器得到标签向量矩阵，并对标签向量矩阵进行数据关联得到目标和观测的正确关联；最后对目标进行滤波和轨迹管理得到目标的最终轨迹。通过本发明的实施，利用多帧信息训练出TSK模糊分类器，并且在训练的过程中加入多特征学习机制，增加了分类器的学习能力，可有效处理数据关联过程中的不确定性，提高目标跟踪的准确性。

第三实施例：

本实施例提供了一种电子装置，参见图6所示，其包括处理器601、存储器602及通信总线603，其中：通信总线603用于实现处理器601和存储器602之间的连接通信；处理器601用于执行存储器602中存储的一个或者多个计算机程序，以实现上述实施例一中的方法的至少一个步骤。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。

本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。

本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。

可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。

此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于TSK模糊分类器的目标跟踪方法，其特征在于，包括：

基于数据关联结果进行轨迹管理。

2.如权利要求1所述的目标跟踪方法，其特征在于，所述计算所述特征集合中各特征相对第k’个模糊规则的模糊隶属度包括：

通过预设的高斯隶属函数，计算所述特征集合中各特征相对第k’个模糊规则的模糊隶属度；所述高斯隶属函数分别表示如下：

其中，

3.如权利要求1所述的目标跟踪方法，其特征在于，所述分别基于所训练得到的后件参数构建对应的TSK模糊分类器包括：

对所训练得到后件参数进行多特征学习；

基于多特征学习后的后件参数分别构建对应的TSK模糊分类器。

4.如权利要求3所述的目标跟踪方法，其特征在于，所述基于多特征学习后的后件参数分别构建对应的TSK模糊分类器包括：

根据多特征学习后的基于所述运动特征的第j个稳定航迹的TSK模糊分类器的后件参数，构建基于运动特征的第j个稳定航迹的TSK模糊分类器：

根据多特征学习后的基于所述HOG特征的第j个稳定航迹的TSK模糊分类器的后件参数，构建基于HOG特征的第j个稳定航迹的TSK模糊分类器：

5.如权利要求1所述的目标跟踪方法，其特征在于，所述对图像中的运动目标进行检测得到观测集包括：

通过混合高斯背景模型将图像中所有像素划分为前景像素点和背景像素点，得到包含前景和背景的二值图像；所述混合高斯背景模型表示如下：

其中，I(x,y,t)表示像素点(x,y)在t时刻的像素值，η表示高斯概率密度函数，μ_t和σ_t分别表示像素点(x,y)在t时刻的均值和标准差，k为高斯分布分量个数，w_i为第i个高斯分布η_i(I,μ_t,σ_t)的权重，o表示输出图像，T_P表示概率阈值，在判定概率大于或等于概率阈值时，将I(x,y,t)确定为背景像素点，在判定概率小于概率阈值时，将I(x,y,t)确定为前景像素点；

检测所述二值图像中运动的像素，并进行中值滤波及形态学处理，确定运动目标；

基于所检测出的运动目标组成观测集。

6.如权利要求1至5中任意一项所述的目标跟踪方法，其特征在于，所述基于数据关联结果进行轨迹管理包括：

从未被关联上的观测对象中确定新目标对象所对应的观测对象；

为各所述新目标对象所对应的观测对象建立新的临时轨迹，并判断所述临时轨迹是否连续预设帧数均被关联上；

在所述临时轨迹连续预设帧数均被关联上时，将所述临时轨迹转化为有效目标轨迹；

采用卡尔曼滤波器对每条临时轨迹以及有效目标轨迹进行滤波及预测。

7.如权利要求6所述的目标跟踪方法，其特征在于，所述从未被关联上的观测对象中确定新目标对象所对应的观测对象包括：

采用预设的遮挡度计算公式，计算未被关联上的观测对象与目标对象之间的遮挡度；所述遮挡度计算公式表示如下：

将所计算的所述遮挡度代入预设的新目标判别函数，确定新目标对象所对应的观测对象；所述新目标判别函数表示如下：

其中，O＝{o₁,...,o_L}表示所述目标集，Ω＝{d₁,...,d_k}表示所述未被关联上的观测对象，β为常量参数，且0<β<1，在φ(d_i)＝1时，所述未被关联上的观测对象为新目标对象所对应的观测对象，在φ(d_i)＝0时，所述未被关联上的观测对象为虚假观测对象。

8.一种基于TSK模糊分类器的目标跟踪装置，其特征在于，包括：

管理模块，用于基于数据关联结果进行轨迹管理。

9.一种电子装置，其特征在于，包括：处理器、存储器和通信总线；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至7中任意一项所述的基于TSK模糊分类器的目标跟踪方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任意一项所述的基于TSK模糊分类器的目标跟踪方法的步骤。