CN115015908A - 基于图神经网络的雷达目标数据关联方法 - Google Patents

Abstract

本发明涉及一种基于图神经网络的雷达目标数据关联方法，包括如下步骤：对雷达点迹和AD数据进行多维特征提取；构建图数据：利用提取的多维特征、目标航迹和待关联的点迹构成图数据；实现图神经网络：包括进行图神经网络边更新、进行图神经网络节点更新、进行图神经网络全局变量更新和图神经网络边分类。本发明与传统的基于专家规则的方法不同，是数据驱动的，能够利用标注的样本学习数据关联准则，本发明是端到端的架构，将雷达目标数据关联建模成图数据结构中边的分类问题，利用先进的图神经网络对图模型一次求解。

Description

基于图神经网络的雷达目标数据关联方法

技术领域

本发明涉及信息技术领域，尤其涉及一种基于图神经网络的雷达目标数据关联方法。

背景技术

目标数据关联是雷达多目标跟踪最为关键的技术，目前典型的数据关联方法包括全局最近邻(GNN)、联合概率数据关联(JPDA)、多假设跟踪(MHT)。GNN将数据关联建模成最小代价工作分配问题，利用匈牙利算法对该问题求解，给出航迹-点迹确定性关联结果；JPDA通过计算关联事件的概率，给出航迹-点迹概率性关联结果，JPDA相较于GNN数据关联正确率更高，计算复杂度也更高。MHT将航迹和点迹关联问题描述成树结构，通过延迟决策和航迹裁剪的方法确定关联关系，与GNN和JPDA相比，MHT跟踪效果最好，计算复杂度也最高。传统的雷达目标数据关联主要的特点在于：工程技术人员使用正向推导的方法，力争推导最逼近客观世界的数学模型，而模型的好坏完全取决于设计人员的自身认知。

也有专家、学者应用深度学习、神经网络进行雷达目标数据关联技术研究。一种毫米波雷达与深度学习视觉融合的前方车辆跟踪方法(专利公开号：CN109459750A)，结合了毫米波雷达和视觉深度学习的优势,有效提高了对前方车辆跟踪的准确度与鲁棒性，但该方法进行数据关联时没有利用探测点和航迹的拓扑结构形成的全局信息，算法性能有进一步提升空间。

基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法(专利公开号：CN109479088A)公开了用于识别、跟踪和聚焦移动目标的系统和方法。根据所公开的实施例,该系统和方法可以识别、跟踪相对于成像装置行进的移动目标，并确定从成像装置到移动目标的距离。该发明跟踪框架采用了一种包括航迹起始、数据关联、跟踪滤波的传统架构，如何挖掘利用端到端架构实现多目标跟踪需进一步研究。

发明内容

为解决现有的技术问题，本发明提供了一种基于图神经网络的雷达目标数据关联方法。

本发明的具体内容如下：一种基于图神经网络的雷达目标数据关联方法，包括如下步骤：

对雷达点迹和AD数据进行多维特征提取；

构建图数据：利用提取的多维特征、目标航迹和待关联的点迹构成图数据；

实现图神经网络：包括进行图神经网络边更新、进行图神经网络节点更新、进行图神经网络全局变量更新和图神经网络边分类。

进一步的，利用标注的样本训练图神经网络模型，自动学习雷达目标数据关联准则；

将待测试的点迹输入图神经网络模型，完成雷达多目标跟踪。

进一步的，利用探测的雷达点迹和AD数据提取的多维特征包括目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS(雷达散射截面积)、目标距离尺寸、方位尺寸、俯仰尺寸。

进一步的，构建图数据中，图的节点包括目标航迹和待关联的点迹，图的边由目标航迹和待关联的点连接而成，边的连接权重表示相应的关联关系。

进一步的，图神经网络边更新的输入为目标航迹、目标点迹、更新前的边、全局变量，输出为更新后的边，该模块包括两个全连接层和一个ReLU函数。

进一步的，图神经网络节点更新通过将历史的特征凝聚到探测节点特征，对探测节点特征进行更新，输入为目标航迹、目标点迹、更新的边、全局变量，输出为更新的目标点迹。

进一步的，图神经网络全局变量更新利用目标航迹和目标点迹连接信息，挖掘图结构全局信息，输入为更新前的全局变量、聚合后的节点和边，输出为更新后的全局变量。

进一步的，图神经网络边分类输入为目标航迹、更新后的目标点、更新后的边、更新后的全局变量，输出为最后的边分类结果，即航迹与点迹的关联关系。

进一步的，训练样本的形成过程如下：将真值数据与雷达点迹进行匹配，利用匹配结果从AD数据提取目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸等信息，然后对样本进行均衡，特征进行归一化处理，形成训练样本。

进一步的，对图神经网络模型的使用包括：

图特征提取：利用雷达点迹从回波数据抽取目标特征，包括目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸信息，对特征进行归一化处理，组成图数据的节点特征；

图数据构建：将上一时刻的航迹作为航迹节点，当前时刻探测的点迹作为点迹节点，航迹与点迹的连接作为图数据的边，形成待求解的图数据，输入到图神经网络对图数据的边进行分类；

关联关系推理：首先，图数据流过图神经网络边更新模块，更新图数据边；然后，图数据流过图神经网络节点更新模块，更新图数据点迹节点特征；而后，图数据流过全局变量更新模块，更新表征图数据连接关系的全局变量；最后，图数据流过图神经网路边分类模块，输出关联关系结果；

航迹滤波输出：确定关联关系后，对属于同一条航迹的点进行卡尔曼滤波，估计目标位置、目标速度、目标航向、目标加速度等信息，打上相同的批号，输出跟踪航迹。

本发明的基于图神经网络的雷达目标数据关联方法，与传统的基于专家规则的方法不同，是数据驱动的，能够利用标注的样本学习数据关联准则。此外，与传统跟踪架构不同，本发明是端到端的架构，将雷达目标数据关联建模成图数据结构中边的分类问题，利用先进的图神经网络对图模型一次求解。

附图说明

下面结合附图对本发明的具体实施方式做进一步阐明。

图1为本发明的基于图神经网络的雷达目标数据关联方法的处理流程图；

图2为本发明的图神经网络架构图；

图3为样本幅度特征示意图；

图4为图神经网络结构实现示意图；

图5为图神经网络边分类正确率测试图；

图6为传统方法跟踪效果图；

图7为图神经网络跟踪效果图；

图8为本发明的实施过程图。

具体实施方式

结合图1-图8，本发明的基于图神经网络的雷达目标数据关联方法，包括如下步骤：首先根据雷达点迹数据从AD数据提取目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸等特征，目标典型的幅度包络特征见图3；然后，将提取的多维度特征、目标探测点迹和目标航迹形成图数据，将雷达目标数据关联建模成图数据边的分类问题；而后，利用标注的样本训练图神经网络模型，自动学习雷达目标数据关联准则；最后将待测试的点迹输入图神经网络模型，完成雷达多目标跟踪。

本发明的具体实施过程分为三个阶段：模型训练阶段、模型验证阶段和模型应用阶段。实施时序关系如图8所示。

1、模型训练阶段

一种基于图神经网络的雷达目标数据关联方法的模型训练阶段包括网络模型的设计、训练样本数据的生成和模型服务器训练，具体过程如下：

1)网络模型设计

本发明采用的图神经网络模型如图4所示，为了防止过拟合，网络主要由简单全连接网络和ReLU函数构成，主要包括图神经网络边更新、图神经网络节点更新、图神经网络全局变量更新和图神经网络边分类模块，具体情况如下：

图神经网络边更新：

输入为目标航迹、目标点迹、更新前的边、全局变量，输出为更新后的边，该模块由两个全连接层和一个ReLU函数组成。用

表示航迹节点，

表示点迹节点，e_k表示连接节点的边，更新后的边为

其中NN为待训练的网络模型。

图神经网络节点更新：

通过将历史的特征凝聚到探测节点特征，对探测节点特征进行更新，输入为目标航迹、目标点迹、更新的边、全局变量，输出为更新的目标点迹。更新后的节点为

其中NN为待训练的网络模型。

图神经网络全局变量更新：

输入为更新前的全局变量、聚合后的节点和边，输出为更新后的全局变量。其中，聚合后的节点为

聚合后的边为

更新后的全局变量为

图神经网络边分类：

输入为目标航迹、更新后的目标点、更新后的边、更新后的全局变量，输出为最后的边分类结果，即

2)训练样本形成

将真值数据与雷达点迹进行匹配，利用匹配结果从AD数据提取目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸等信息，然后对样本进行均衡，特征进行归一化处理，形成训练样本。

实际场景中并非所有的目标都有真值，这样就无法对所有的点迹进行标注。本发明解决方法如下：对于合作目标，利用ADS-B、AIS、雷达二次数据进行匹配标注；对于非合作目标，利用非因果的复杂跟踪方法提取航迹，在人工辅助的条件下完成样本标注。

3)服务器训练

完成训练样本的标注后，在Nvidia V100上训练了5天时间，完成了图神经网络模型的训练。

2、模型验证阶段

将训练数据20％划分为验证集对模型进行验证，验证结果如图5所示。模型对目标航迹和点迹关联关系分类正确率明显高于传统方法，具备模型应用条件。

3、模型使用阶段

该阶段分成四个部分进行，分别是图特征抽取、图数据构建、关联关系推理和航迹滤波输出。

1)、图特征抽取

利用雷达点迹从回波数据抽取目标特征，包括目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸等信息，对特征进行归一化处理，组成图数据的节点特征。

2)、图数据构建

上一时刻的航迹作为航迹节点，当前时刻探测的点迹作为点迹节点，航迹与点迹的连接作为图数据的边，形成待求解的图数据，输入到图神经网络对图数据的边进行分类。

3)、关联关系推理

首先，图数据流过图神经网络边更新模块，更新图数据边；然后，图数据流过图神经网络节点更新模块，更新图数据点迹节点特征；而后，图数据流过全局变量更新模块，更新表征图数据连接关系的全局变量；最后，图数据流过图神经网路边分类模块，输出关联关系结果。

4)、航迹滤波输出

确定关联关系后，对属于同一条航迹的点进行卡尔曼滤波，估计目标位置、目标速度、目标航向、目标加速度等信息，打上相同的批号，输出跟踪航迹。图神经网络跟踪的航迹如图7所示。图6为传统方法的跟踪效果，对比可以看出，对比显示，图神经网络方法关联关系分类准确率极高，跟踪的航迹连续性和最大跟踪距离大幅优于传统方法。

国际上图神经网络研究处于理论探索阶段，本发明采用图神经网络以“端到端”的方式解决雷达目标数据关联问题，属于国际首次。相比传统方法，它创新性地采用图神经网络以“端到端”的方式，从标注的样本自动学习雷达目标数据关联准则，能够有效融合目标运动、目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸等信息。从跟踪效果上，相比传统跟踪方法，本发明跟踪的航迹在数据关联正确率、航迹连续性、最大跟踪距离等核心指标有显著提升。同时，本方法不依赖于专家知识，利用标注的样本自动学习关联准则。能够有效融合不同维度、不同量纲信息，能够有效挖掘航迹和点迹连接的全局信息，数据关联准确性大幅提升。解决了复杂场景下雷达目标跟踪漏批、断批、混批问题；解决传统数据关联参数多，调优难度大问题；解决数据关联点航迹拓扑结构信息挖掘问题；解决端到端的数据关联建模与求解问题。

在对于小目标的探测问题上，由于小目标探测率低，传统的起批准则很难对小目标有效起批。本发明采用图神经网络，通过标注的样本和多维特征自动学习起批准则，能够有效提升小目标起批效率。通过采用图神经网络挖掘目标航迹和目标点迹空间拓扑全局信息，低探测率情况下数据关联成功率更高，能够有效提升小目标最大跟踪距离。传统的MHT方法需要调优的参数>＝20个，算法性能的好坏依赖于专家经验。本发明提出的图神经网络方法是数据驱动的，模型参数通过标注的样本自动学习，不需要用户对关联门限、滤波等参数调优，调优参数<＝2个，调优难度极大降低，解决了目标跟踪参数多，调优难度大的问题。

在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已，本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受上面公开的具体实施的限制。同时任何熟悉本领域技术人员在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种基于图神经网络的雷达目标数据关联方法，其特征在于：包括如下步骤：

对雷达点迹和AD数据进行多维特征提取；

构建图数据：利用提取的多维特征、目标航迹和待关联的点迹构成图数据；

实现图神经网络：包括进行图神经网络边更新、进行图神经网络节点更新、进行图神经网络全局变量更新和图神经网络边分类。

2.根据权利要求1所述的基于图神经网络的雷达目标数据关联方法，其特征在于：模型构建完成后，利用标注的样本训练图神经网络模型，自动学习雷达目标数据关联准则；将待测试的点迹输入图神经网络模型，完成雷达多目标跟踪。

3.根据权利要求1所述的基于图神经网络的雷达目标数据关联方法，其特征在于：利用探测的雷达点迹和AD数据提取的多维特征包括目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸。

4.根据权利要求1所述的基于图神经网络的雷达目标数据关联方法，其特征在于：构建图数据中，图的节点包括目标航迹和待关联的点迹，图的边由目标航迹和待关联的点连接而成，边的连接权重表示相应的关联关系。

5.根据权利要求1所述的基于图神经网络的雷达目标数据关联方法，其特征在于：图神经网络边更新的输入为目标航迹、目标点迹、更新前的边、全局变量，输出为更新后的边，该模块包括两个全连接层和一个ReLU函数。

6.根据权利要求1所述的基于图神经网络的雷达目标数据关联方法，其特征在于：图神经网络节点更新通过将历史的特征凝聚到探测节点特征，对探测节点特征进行更新，输入为目标航迹、目标点迹、更新的边、全局变量，输出为更新的目标点迹。

7.根据权利要求1所述的基于图神经网络的雷达目标数据关联方法，其特征在于：图神经网络全局变量更新利用目标航迹和目标点迹连接信息，挖掘图结构全局信息，输入为更新前的全局变量、聚合后的节点和边，输出为更新后的全局变量。

8.根据权利要求1所述的基于图神经网络的雷达目标数据关联方法，其特征在于：图神经网络边分类输入为目标航迹、更新后的目标点、更新后的边、更新后的全局变量，输出为最后的边分类结果，即航迹与点迹的关联关系。

9.根据权利要求2所述的基于图神经网络的雷达目标数据关联方法，其特征在于：训练样本的形成过程如下：将真值数据与雷达点迹进行匹配，利用匹配结果从AD数据提取目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸等信息，然后对样本进行均衡，特征进行归一化处理，形成训练样本。

10.根据权利要求2所述的基于图神经网络的雷达目标数据关联方法，其特征在于：对图神经网络模型的使用包括：

图特征提取：利用雷达点迹从回波数据抽取目标特征，包括目标幅度包络特征、相位特征、多普勒特征、信噪比、RCS、目标距离尺寸、方位尺寸、俯仰尺寸信息，对特征进行归一化处理，组成图数据的节点特征；

图数据构建：将上一时刻的航迹作为航迹节点，当前时刻探测的点迹作为点迹节点，航迹与点迹的连接作为图数据的边，形成待求解的图数据，输入到图神经网络对图数据的边进行分类；

关联关系推理：首先，图数据流过图神经网络边更新模块，更新图数据边；然后，图数据流过图神经网络节点更新模块，更新图数据点迹节点特征；而后，图数据流过全局变量更新模块，更新表征图数据连接关系的全局变量；最后，图数据流过图神经网路边分类模块，输出关联关系结果；

航迹滤波输出：确定关联关系后，对属于同一条航迹的点进行卡尔曼滤波，估计目标位置、目标速度、目标航向、目标加速度等信息，打上相同的批号，输出跟踪航迹。

Images