CN110569807B - 面向复杂场景的多源目标跟踪方法 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供了一种面向复杂场景的多源目标跟踪方法，包括如下步骤：形成初始深度学习网络，设定初始深度学习网络的权值，将所述初始深度学习网络的权值进行最陡梯度降维，获得多源目标的初始特征矩阵；将所述多源目标的初始特征矩阵进行简化稀疏表示及稀疏化处理，得到稀疏化的目标特征矩阵；将所述稀疏化的目标特征矩阵分类，建立形成不同特征目标的特征矩阵表示。本发明通过深度学习网络建立的多源目标特征矩阵库，具有良好的建模特性和数据统计结构，针对无标签的训练数据，可以生成多源目标跟踪器模型。

Description

面向复杂场景的多源目标跟踪方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于深度学习的面向复杂场景的多源目标跟踪方法。

背景技术

面向复杂场景的多源目标跟踪方法，能提供精确的目标数据特征，并通过构建基于特征矩阵学习的深度学习处理架构来实现对多源目标的跟踪。具体地，通过对大量典型仿真场景的特征矩阵进行训练形成模板，得到自主可控可添加模板模型。这种模型同时具备场景的特征矩阵增强功能，可实现对场景的阴影、纹理等特殊特征的增强。

特征矩阵学习作为一种信号变换方法，可以根据完备特征矩阵基向量，用低维空间向量近似表示高维空间特征。而目前通过特征矩阵学习本身进行更新特征矩阵原子很难达到降低特征矩阵维数的目标，并且在对图像目标进行特征选择时会形成较大的运算量。同时，特征矩阵学习的核心问题之一是稀疏表示。为了提升特征矩阵学习的稀疏表示，设计特征矩阵通常需要更新固定的特征矩阵基向量，能否设计完备的特征矩阵决定了能否更加逼近地表示真实信号。因此，目前需要一种能够降低特征矩阵维数、更加逼近地表示真实目标的跟踪处理方法。

发明内容

本发明实施例的目的在于提供一种基于深度学习的面向复杂场景的多源目标跟踪方法，旨在解决现有技术难以降低特征矩阵的维数、无法更加逼近地表示真实目标的技术问题。

为实现上述目的，本发明实施例给出以下技术方案：

一种面向复杂场景的多源目标跟踪方法，包括以下步骤：

S1：针对多源目标，形成初始深度学习网络，设定初始深度学习网络的权值，将所述初始深度学习网络的权值进行最陡梯度降维处理，获得多源目标的初步特征矩阵库；

S2：对所述多源目标的初步特征进行简化稀疏表示及稀疏化处理，得到稀疏化特征矩阵；

S3：对所述稀疏化特征矩阵进行多源目标分类，建立不同特征目标的特征表示；

S4：使稀疏化特征矩阵最小化；

S5：建立特征矩阵学习的生成模型和重构模型；

S6：通过所述生成模型和所述重构模型形成目标的有效多源跟踪。

优选地，所述步骤S1具体包括：建立深度学习网络，通过所述深度学习网络将多源目标的特征形成所述初始特征矩阵，所述初始特征矩阵具有自适应变更及改进的功能，所述初始特征矩阵的表达式为：

其中，R表示多源目标特征矩阵，k表示目标个数，R_k表示每个目标特征，s表示深度学习网络的权值矩阵,Y_k表示跟踪的多源目标。

优选地，所述步骤S2包括：通过特征分解方式，来进行有效的特征矩阵更新迭代，通过特征矩阵的预处理，完成稀疏化特征的生成。

进一步优选地，所述步骤S2包括：公式(1)的最优化问题转化为公式(2)的最优值问题，如下式所得：

其中R表示多源目标的初始特征矩阵，s表示深度学习网络的权值矩阵。

优选地，所述步骤S3还包括特征矩阵更新的步骤，其中式(1)的特征矩阵R最小化为

其中特征矩阵R的范围选择对应于矩阵s的k列零点位置。

优选地，所述步骤S4包括：通过所述步骤S1获得的图像特征R_opt＝{r_i|i＝1,2,Kn}作为深度学习网络的输入，令d_i'作为得到相应的重构特征，计算出多源目标的重构误差和平均误差，

且特征重构后表示为：

T'＝{v_i|e_i＜η,v_i∈V} (5)。

优选地，所述步骤S5包括：通过公式(7)计算重建误差：

优选地，所述多源目标特征数据为图像数据、雷达数据、通信数据和位置数据中的一种或多种。

优选地，在所述步骤S5中，所述特征矩阵学习的生成模型为自上而下的生成模型。

优选地，在所述步骤S5中，所述特征矩阵学习的重构模型为自下而上的重构模型。

与现有技术相比，本发明的有益效果为：

(1)基于深度学习的面向复杂场景的多源目标跟踪方法，该方法首先通过特征矩阵学习，建立大量不同跟踪目标的视频图像特征的多源的完备特征矩阵库。具体地，特征矩阵通过压缩学习，选择原视频的非零列对应稀疏特征矩阵原子，形成基于深度学习的完备特征矩阵库，该特征矩阵库适用于深度学习分层架构。根据MMSE准则，建立自上而下的生成模型和自下而上重构模型，同时采取基于该准则的判别训练的多层前馈网络进行特征重构。

(2)本发明的方法可以应用于不同复杂环境的目标特征，如旷野场景，城市场景，空地场景等多种特征模型，建立特征矩阵学习的稀疏表示，同时形成完备特征矩阵。同时，本发明建立了约束权值非零系数，以获得更接近真实不同场景的稀疏表示。

(3)本发明采用典型的多层的深度学习网络基本构成是记忆、存储和知识网络，这是由多个网络进行全链接，充当层与层之间的特征传递通道，同时，每层也被用来训练下一组成的特征结构。本发明的深度学习网络具有完成复杂的数据建模能力，包括自上而下生成模型和自下而上判别模型。深度学习网络还具有弱监督学习的数据训练性能。因此，本发明通过深度学习网络建立的多源目标特征矩阵库，具有良好的建模特性和数据统计结构，针对无标签的训练数据，可以生成多源目标跟踪器模型。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图得到其它的附图。

图1是本发明实施例提供的一种基于深度学习的面向复杂场景的多源目标跟踪方法的流程图。

具体实施方式

为了使本发明要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于深度学习的面向复杂场景的多源目标跟踪方法，可用于视频识别跟踪等技术领域。

本发明的方法首先通过特征矩阵学习，建立海量不同跟踪目标的多源视频图像的完备特征矩阵库。本发明的特征矩阵学习，作为一种信号变换方法，可以根据过完备特征矩阵的矩阵基向量，通过低维空间向量近似表示高维空间特征。本发明实施例针对不同复杂环境的目标特征，如旷野场景，城市场景，空地场景等多种特征模型，建立特征矩阵学习的稀疏表示，同时形成完备特征矩阵。同时，本发明的方法建立的约束权值非零系数，以获得更接近真实不同场景的稀疏表示。进而完成不同特征场景下的多源目标特征矩阵优化逼近。

参见图1，图1为本发明实施例提供的基于深度学习的面向复杂场景的多源目标跟踪方法的流程图，该跟踪方法包括如下步骤：

S1：提供多源目标数据，例如视频数据，形成初始深度学习网络，设定初始深度学习网络的权值，将初始深度学习网络的权值进行最陡梯度降维，并形成多源目标的初始特征矩阵；

S2：将多源目标特征进行简化稀疏表示，通过多源目标通过深度学习网络进行稀疏化，得到稀疏化特征矩阵；

S3：通过稀疏特征矩阵的多源目标分类，建立形成不同特征目标的特征矩阵表示，其中目标体系可以包括：目标图像特征、目标雷达特征、目标通信特征和目标位置特征；

S4：将稀疏化特征矩阵最小化，更新初始特征矩阵得到最小化的稀疏化特征矩阵，即图中的记忆系统知识网络的输出；

S5：通过深度学习网络，建立自上而下的生成模型和自下而上的重构模型，其中该生成模型属于特征矩阵学习的生成模板模型，该重构模型属于特征矩阵学习的重构模板模型；

S6：通过生成模板模型与重构模板模型形成目标的有效多源目标跟踪。

具体地，上述多源目标特征数据可以为图像数据、雷达数据、通信数据和位置数据中的一种或多种。

以面向复杂环境的地空多源目标跟踪为例：建立地空通信场景，地面站通过不同的数据链特征实现对10架次无人机的目标跟踪。其中，不同无人机的雷达反射截面存在差异，通过不同的无人机雷达反射截面，以及获取的图像特征，结合通信载频的多源特征形成特征矩阵网络。

在该具体实施例中，步骤S2包括：获得多源目标的无人机雷达反射截面，以及获取的图像特征，结合通信载频的特征通过深度学习网络进行稀疏化，得到稀疏化的目标特征矩阵；通过特征矩阵建立目标映射。

具体地，步骤S5包括：通过深度学习网络，建立自上而下的生成模型，该生成模型包括无人机雷达反射截面，以及获取的图像特征，结合通信载频的的联合特征模型，该生成模型属于特征矩阵学习的生成模板模型；通过深度学习网络，自下而上的重构模型，该模型属于特征矩阵学习的重构模板模型。

进一步地，步骤S1具体包括：建立深度学习网络，通过深度学习网络将多源目标的目标特征形成为初始特征矩阵，初始特征矩阵可以根据多源目标的特征需求，也即是无人机雷达反射截面、获取的图像特征和通信载频的特征，以及根据后续自身迭代的情况，形成自适应变更及改进。初始特征矩阵的表达式为：

其中，k表示多源目标的目标个数，R_k表示每个目标特征，s表示深度学习网络的权值矩阵。Y_k表示跟踪的多源目标。

在其他实施例中，初始特征矩阵可以根据多源目标的特征需求，如纹理，轮廓特征等等，后续根据迭代初始化特征矩阵的情况，形成自适应变更及改进。

进一步地，步骤S2中的具体步骤包括：通过当前多源目标的特征分解，代入公式(1)，即通过初始特征矩阵形成迭代更新的两个阶段。该步骤通过对每个节点的分解，提升了计算量，并且在分解过程中，问题的求解转换为寻找使得R_ks(特征矩阵迭代更新的)最小化的稀疏编码。针对该问题，同时为了降低选择冗余特征矩阵的风险，本发明简化了稀疏表示的步骤，通过更新矩阵R列来确定，如果此时R是小于已经确定的阈值，那么特征矩阵D的k行可以作为零向量处理。目标x将在特征矩阵D和矩阵系数y的共同支持下进行更新。

其中，步骤S2的核心思想在于通过特征分解方式，来进行有效的特征矩阵更新迭代，通过特征矩阵的预处理，完成稀疏化特征的生成。

本发明的特征矩阵学习的改进点之一是稀疏表示。为了提升特征矩阵学习的稀疏表示，设计特征矩阵时通常需要更新固定的特征矩阵基向量，因此能否设计完备特征矩阵决定了能否更加逼近表示真实信号。本发明实施例采用的多层的深度学习网络的基本构成是记忆、存储和知识网络，具体通过多个网络进行全链接，由此充当层与层之间的特征传递通道，同时，每层也被用来训练下一组成的特征结构。深度学习网络已被应用于不同领域，并且可同时包括许多不同形式的数据生成模型。本发明的深度学习网络能完成复杂的数据建模，包括自上而下生成模型和自下而上判别模型。这表明，本发明的深度学习网络通过多源目标矩阵库建立具有弱监督的数据训练性能。本发明通过深度学习网络建立的多源目标特征矩阵库，具有良好的建模特性和数据统计结构，针对无标签的训练数据，可以生成多源目标跟踪器模型。

进一步地，步骤S2还包括：在多源目标的初始特征矩阵R与深度学习网络的权值矩阵s的共同决定下，公式(1)的最优化问题可以等价于公式(2)的最优值问题，如下式所示：

还包括最近的共同稀疏表示的特征矩阵。求解这个问题的核心点在于，确定s的列的硬阈值判别，以保留在每一列中的幅度判别门限。例如，相似性分析，利用简单的软阈值函数来求解公式(1)，如果稀疏约束凸放松，将很难通过计算更简单的软阈值方法来求解。因此，本发明的方法采用确定的硬判决阈值来实现。

进一步地，步骤S4中的具体步骤包括：特征矩阵更新步骤，将使得式(1)的特征矩阵R最小化。

这里，通过权值矩阵s的列选择来确定特征矩阵R更新的范围。矩阵R的范围选择对应于权值矩阵s的k列零点位置。该步骤通过仅仅使用了有限的s的先验信息，而不是完整的矩阵，降低了特征矩阵更新的计算量，有效支撑有限计算量的特征矩阵更新步骤学习。

进一步地，步骤S4中的具体步骤包括：通过步骤S1，获得的图像特征R_opt＝{r_i|i＝1,2,Kn}作为深度学习网络的输入，令d_i'作为得到相应的重构距离特征，根据MMSE(Minimum Mean Squared Error，最小均方误差)准则，计算出多源目标的重构误差，并通过下式计算，得到平均误差

其中，e_i表示每个目标的误差值。

特征学习迭代中，特征重构后可以表示为：

T'＝{v_i|e_i＜η,v_i∈V} (5)。

其中，v_i表示多源目标的重构特征，V表示获取的目标特征，η表示设定的特征门限。进一步地，步骤S5中的步骤“建立自上而下的生成模型”包括：获得一个参数的方法终止的特征学习过程。当前迭代的平均重建误差和最后一个将停止迭代的平均值之间的误差，通过误差完成迭代。在迭代特征学习过程中，由于特征值的重建权重矩阵更为可靠，假设为M的重建权重矩阵，令I在测试数据集上的多源特征，X为提取的多个特征，重构特征X’NI可以写成：

由特征矩阵，算出重建误差：

本发明所提出的方法通过压缩特征矩阵学习无人机雷达反射截面、获取的图像特征和通信载频的特征，获得深度学习模型的弱监督学习初始化权值，通过层之间的重构、判决以及特征选择，进行网络的权值调整，最后获得系统的精简权值，以获得多源特征目标的跟踪。

本发明所提出的深度学习网络是一个分层的体系结构，首先通过选择非零列来压缩学习特征矩阵，进而形成初步特征矩阵。通过建立分层深度学习架构，可以有效针对面向复杂场景多源目标进行跟踪。通过场景数据验证表明，采用本发明多源目标跟踪方法的目标跟踪效率超越单一维度的一次算法跟踪。具体操作中，针对低空多架次无人机跟踪场景，面向QAM的高阶调制，雷达反射截面设定在1，可以完成99％的多源目标跟踪效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向复杂场景的多源目标跟踪方法，其特征在于，包括如下步骤：

S1：针对多源目标特征数据，形成初始深度学习网络，设定所述初始深度学习网络的权值，将所述初始深度学习网络的权值进行最陡梯度降维，并形成多源目标的初始特征矩阵；

S2：将所述多源目标的初始特征矩阵进行简化稀疏表示及稀疏化处理，得到稀疏化的目标特征矩阵；

S3：将所述稀疏化的目标特征矩阵分类，建立不同特征目标的特征矩阵表示；

S4：使所述稀疏化的目标特征矩阵最小化；

S5：建立特征矩阵学习的生成模型和重构模型；

S6：通过所述生成模型与所述重构模型形成目标的有效多源目标跟踪；

其中，所述多源目标特征数据为图像数据、雷达数据、通信数据和位置数据中的一种或多种；

其中所述步骤S1还包括：建立深度学习网络，通过所述深度学习网络将多源目标的特征形成所述初始特征矩阵，所述初始特征矩阵具有自适应变更及改进的功能，所述初始特征矩阵的表达式为：

其中，x表示目标，k表示多源目标的目标个数，R_k表示每个目标特征，s表示深度学习网络的权值矩阵，Y_k表示跟踪的多源目标；

所述步骤S2通过特征分解方式，来进行有效的特征矩阵更新迭代，通过特征矩阵的预处理，完成稀疏化特征的生成，所述步骤S2还包括：公式(1)的最优化问题转化为公式(2)的最优值问题，如下式所得：

其中R表示多源目标的初始特征矩阵，s表示深度学习网络的权值矩阵。

2.如权利要求1所述的多源目标跟踪方法，其特征在于，所述步骤S3还包括特征矩阵更新的步骤，其中式(1)的特征矩阵R最小化为

其中k表示多源目标的目标个数，特征矩阵R的范围选择对应于矩阵s的k列零点位置。

3.如权利要求1所述的多源目标跟踪方法，其特征在于，所述步骤S4包括：通过所述步骤S1获得的图像特征R_opt＝{r_i|i＝1,2,…n}作为深度学习网络的输入，令d′_i作为得到相应的重构特征，计算出多源目标的重构误差和平均误差，

且特征重构后表示为：

T′＝{v_i|e_i<η,v_i∈V} (5),

其中v_i表示多源目标的重构特征，e_i表示每个目标的误差值，V表示获取的目标特征，η表示设定的特征门限。

4.如权利要求1所述的多源目标跟踪方法，其特征在于，所述步骤S5包括：通过公式(7)计算重建误差：

其中I为在测试数据集上的多源特征，X为提取的多个特征，重构特征/> M为重建权重矩阵。

5.如权利要求1所述的多源目标跟踪方法，其特征在于，在步骤S5中，所述生成模型为自上而下的生成模型。

6.如权利要求1所述的多源目标跟踪方法，其特征在于，在步骤S5中，所述重构模型为自下而上的重构模型。