CN112465006A - 一种图神经网络目标跟踪方法及装置 - Google Patents

一种图神经网络目标跟踪方法及装置 Download PDF

Info

Publication number
CN112465006A
CN112465006A CN202011335251.7A CN202011335251A CN112465006A CN 112465006 A CN112465006 A CN 112465006A CN 202011335251 A CN202011335251 A CN 202011335251A CN 112465006 A CN112465006 A CN 112465006A
Authority
CN
China
Prior art keywords
neural network
graph
target
target tracking
edges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011335251.7A
Other languages
English (en)
Other versions
CN112465006B (zh
Inventor
崔亚奇
何友
刘瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval Aeronautical University
Original Assignee
Naval Aeronautical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval Aeronautical University filed Critical Naval Aeronautical University
Priority to CN202011335251.7A priority Critical patent/CN112465006B/zh
Publication of CN112465006A publication Critical patent/CN112465006A/zh
Application granted granted Critical
Publication of CN112465006B publication Critical patent/CN112465006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例提供了一种图神经网络目标跟踪方法及装置,方法包括:目标跟踪图结构数据生成方法确定,把预警探测数据转换生成为图结构数据;目标跟踪图神经网络构建,包括图表示和图判决两大部分,对生成的图进行处理,生成节点和边的判决结果;设定目标跟踪图神经网络损失函数,用于网络训练寻优;搜集不同环境下预警探测数据,建立目标跟踪图神经网络训练数据集;采用梯度反向传播算法,通过最小化设定的损失函数,对图神经网络的参数进行寻优;部署已训练好的目标跟踪图神经网络,通过对网络输出节点和边的概率大小判断,得到真实目标量测和真实目标航迹。本发明实施例提供一种统一、高效的目标跟踪方法,可实现目标的稳定、快速、准确跟踪。

Description

一种图神经网络目标跟踪方法及装置
技术领域
本发明涉及目标跟踪技术,更具体地,本发明涉及一种图神经网络目标跟踪方法及装置,适用于雷达、光学、红外等预警探测装备的单目标或多目标跟踪问题。
背景技术
目标探测是利用雷达、光学、红外等预警探测装备,对目标进行发现、定位和跟踪的技术活动,其结果可作为属性识别、威胁评估和作战决策等进一步高层次处理的输入和依据。目标跟踪是目标探测过程中的重要环节,其目的是把源于同一目标的不同时刻探测信息分别连接起来,并通过滤波估计,形成具有同一身份标示的时序目标状态信息,即目标航迹,以实现目标个体实时、连续、准确掌握。目标跟踪的输入是不同时刻目标探测数据,探测数据之间没有任何关系,目标跟踪的输出是多条目标航迹,分别对应实际不同目标,每条航迹由多个不同时刻目标状态信息构成,具有唯一的身份标示,在实际跟踪中,一般采用固定长度的数字串进行航迹身份标示,也称为航迹批号。
目标跟踪技术具有较长的研究历史,也涌现出很多性能优越的目标跟踪方法,但随着探测手段不断提升、探测范围不断拓展、目标类型不断增多、探测场景日益复杂,当前目标跟踪技术面临多方面挑战。由于目标跟踪方法性能对目标航迹的完整性、连续性和精确性具有决定性影响,并直接关乎后续属性识别的准确性、威胁评估的有效性和作战决策的正确性,因此需要对面临的新问题、存在的新挑战进行不断研究,以进一步提升目标跟踪技术性能,拓展适用范围。
以雷达目标跟踪为例,从1955年雷达目标跟踪概念提出至今,经过多年的发展,雷达目标跟踪技术已形成较为完整的体系和方法,包括航迹起始、航迹滤波、点航关联等多个技术环节,每个环节同时又包括多种实现方法,譬如航迹起始的实现方法包括直观法、逻辑法和Hough变换法等,航迹滤波包括卡尔曼滤波、不敏卡尔曼、粒子滤波等,点航关联包括最近领域法、概率数据互联法和联合概率数据互联等。现有的目标跟踪技术和方法在简单或单一的目标跟踪场景中取得了良好的效果,实现了目标精确连续的跟踪掌握。然而在面对微弱、密集、编队等多类复杂跟踪场景时,或多种单一类场景构成的混合跟踪场景时,由于现有方法模型简单、能力有限、泛化性不足,其跟踪效果时常不稳定,时好时坏,难以在各种情况下、整个场景中均取得稳定、良好的跟踪效果,仅能解决与模型相匹配、特定情况下、局部场景中的目标跟踪问题。与此同时,现有目标跟踪方法还存在参数无法确定的问题,需要人工进行反复的修改和调试,将耗费大量时间和精力,并且调试后的跟踪效果也难以达到最优。可见,现有的雷达目标跟踪方法存在模型简单、复杂度低、通适性差的问题,同时缺乏学习能力,难以根本整体上解决目标跟踪问题。此外,对于光学和红外目标跟踪问题,由于光学和红外能获取更多的目标外观特征信息,通过目标外观特征匹配,在部分场景中可以实现目标的有效跟踪,但也面临目标外观相似、目标相互遮挡、目标外观巨变等多方面挑战。综上可见,对于雷达、光学、红外等预警探测装备的目标跟踪问题,亟需性能更强、适应范围更广的目标跟踪方法。
发明内容
本发明实施例的目的是提供一种图神经网络目标跟踪方法及装置,为目标跟踪问题提供统一、高效的目标跟踪方法。具体技术方案如下:
第一方面,本发明实施例提供了一种图神经网络目标跟踪方法,所述方法包括:
确定目标跟踪图结构数据生成方法,把预警探测装备连续获取的预警探测数据转换生成为图结构数据;
构建目标跟踪图神经网络,包括图表示和图判决两大部分,对生成的图进行处理,分别生成节点和边的判决结果,其中图神经网络的表示部分是对图所有节点和所有边进行表示学习,得到含义更丰富的节点表示和边表示,图神经网络的判决部分是进一步对节点表示和边表示进行处理,并最终生成节点和边的判决结果;
设定目标跟踪图神经网络损失函数,损失函数的输入为样本标签和目标跟踪图神经网络的输出,输出为关于目标跟踪图神经网络预测判决能力的度量数值;
搜集预警探测装备在不同环境下获取的预警探测数据,按照已确定的目标跟踪图结构数据生成方法,建立目标跟踪图神经网络训练数据集;
利用建立的目标跟踪图神经网络训练数据集,采用梯度反向传播算法,通过最小化设定的损失函数,对构建的目标跟踪图神经网络进行训练,对图神经网络的参数进行寻优;
部署已经训练好的目标跟踪图神经网络,实时截取预警探测数据,生成图结构数据,输入到目标跟踪图神经网络中,网络输出图节点为真实目标量测和图边为真实目标航迹概率,通过对输出概率大小判断,得到真实目标量测和真实目标航迹,进而实现目标的跟踪。
第二方面,本发明实施例还提供了一种图神经网络目标跟踪装置,所述装置包括:
目标跟踪图结构数据生成模块,为数据预处理模块,输入为预警探测装备连续获取的预警探测数据,输出为图结构数据,作为目标跟踪图神经网络的输入,该模块用于目标跟踪图神经网络的离线训练寻优和在线实际部署运用中,在离线训练时,用于生成训练数据集中的训练样本,在线部署运用中,直接生成目标跟踪图神经网络的输入;
目标跟踪图神经网络模块,为目标跟踪的主要实现部分,包括图表示和图判决两大部分,输入为图结构数据,输出是图节点为真实目标量测和图边为真实目标航迹概率,在实际部署运用之前,需要利用训练数据集构建模块得到的目标跟踪图神经网络训练数据集,通过最小化损失函数计算模块得到的网络损失,进行神经网络参数的学习寻优;
损失函数计算模块,用于目标跟踪图神经网络模块的训练学习,输入为训练样本中的样本标签和目标跟踪图神经网络模块由对应样本数据得到的网络输出,输出为网络的损失;
训练数据集构建模块,通过搜集预警探测装备在不同环境下获取的预警探测数据,并经目标跟踪图结构数据生成模块处理和标注,得到大量训练样本,建立目标跟踪图神经网络训练数据集,用于目标跟踪图神经网络模块的训练学习;
目标跟踪图神经网络训练模块,用于目标跟踪图神经网络离线训练时,神经网络参数的训练寻优。
本发明实施例提出的一种图神经网络目标跟踪方法及装置,可提供一种适用于雷达、光学、红外等预警探测装备的目标跟踪方法,具有统一的目标跟踪结构,无需人工调试,具有适用范围广、适配场景多、调试快速、部署便捷、实用效果好等优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图神经网络目标跟踪方法的一种流程示意图;
图2是本发明实施例提供的一种图神经网络目标跟踪装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为提供结构统一、调试快速、部署便捷、性能优越的目标跟踪方法,本发明实施例提供了一种图神经网络目标跟踪方法,如图1所示,所述方法包括以下步骤:
步骤1:确定目标跟踪图结构数据生成方法,把预警探测装备连续获取的预警探测数据转换生成为图结构数据;
步骤1.1:截取s个连续扫描周期的预警探测数据{Z1,Z2,...,Zs},Zi表示第i个扫描周期获取的探测数据集合
Figure BDA0002796972110000041
s表示截取的扫描周期个数,具体大小由人工设定,取值范围为4≤s≤10,ni表示第i个扫描周期获取的探测数据个数,zi,1表示单个探测数据,至少包含探测时间和探测位置信息[t,x,y],还可以包含目标速度、目标高度信息和属性信息,对于雷达,属性信息可以为目标回波,对于光学和红外,属性信息可以为目标外观特征,目标位置可以描述在局部直角坐标系、大地直角坐标系中或者地理坐标系中,对于光学、红外预警探测装备,也可以描述为基准统一的像素坐标;
步骤1.2:把预警探测装备连续获取的预警探测数据{Z1,Z2,...,Zs}转换生成为图结构数据G(V,E),
Figure BDA0002796972110000042
表示生成图的节点集合,
Figure BDA0002796972110000043
表示生成图的边集合,vi为图第i个节点表示,ei为图第i个边表示,Nv表示生成图节点的个数,Ne表示生成图边的个数,节点由量测点得到的,边由量测点间连接得到;
步骤1.3:一种节点构成方法为把预警探测数据{Z1,Z2,...,Zs}全部转换为G(V,E)的节点
Figure BDA0002796972110000044
节点v表示由全部或部分探测数据z得到,但至少要包含位置信息,此种情况下节点个数
Figure BDA0002796972110000045
步骤1.4:一种边构成方法是根据设置的最大速度Vmax、最小速度Vmin和最大时间间隔门限Tmax和不在同一扫描周期内的约束,构建有向边
Figure BDA0002796972110000046
即所构成的从起始节点vi到终止点vj的有向边,满足
Figure BDA0002796972110000047
0<ti-tj<Tmax,zi∈Zl,zj∈Zk,l≠k,其中zi,zj分别为节点vi,vj对应的探测数据,t,x,y为探测时间和探测位置信息,最大速度Vmax和最小速度Vmin可根据所跟踪目标中最大可能速度和最小可能速度进行设置,最大时间间隔门限Tmax根据探测装备的扫描周期进行设置,一般为2~4倍扫描周期,有向边e表示可由终止点与起始点的量测数据综合得到,一种有向边e表示方法为通过求解边终止点与边起始点对应量测数据中位置分量的时间变化率和非位置分量的差值得到,有向边e表示应包括全部或部分计算结果,但至少要包括位置分量的时间变化率;
步骤1.5:如果转换生成的图G(V,E)比较大,即节点和边比较多,可进一步根据图的连图性,把图分解为多个没有相互连接的子图,分别进行处理。
步骤2:构建目标跟踪图神经网络,包括图表示和图判决两大部分,对生成的图进行处理,分别生成节点和边的判决结果,其中图神经网络的表示部分是对图所有节点和所有边进行表示学习,得到含义更丰富的节点表示和边表示,图神经网络的判决部分是进一步对节点表示和边表示进行处理,并最终生成节点和边的判决结果;
步骤2.1:目标跟踪图神经网络图表示部分通过对节点、连接的边、邻接节点进行神经网络处理,以得到聚合周边信息、含义更丰富的节点表示hv和边的表示he
步骤2.2:一种图表示部分神经网络构建方法为采用统一的多层网络对节点和边进行更新,节点的更新为
Figure BDA0002796972110000051
边的更新为
Figure BDA0002796972110000052
其中
Figure BDA0002796972110000053
分别第l层神经网络节点和边函数,
Figure BDA0002796972110000054
为第l层神经网络关于节点v和边e的输出,即节点v和边e第l次更新得到表示,L为图表示部分神经网络层数,
Figure BDA0002796972110000055
为目标跟踪图神经网络输入的图结构数据G(V,E)中节点和边的表示,N(v)为节点v的连接边的集合,N(e)为边e的两个构成节点,
Figure BDA0002796972110000056
为连接边信息聚合函数,即对节点v的所有连接边进行聚合处理,得到固定长度的向量表示,gV为从N(v)中抽取固定个数的边,把边的表示拼接一起,
Figure BDA0002796972110000057
为边的两个构成节点信息的聚合,gE为把两个节点表示拼接一起;
步骤2.3:对于有向图,在节点的更新时,可分别对流入边和流出边进行聚合处理,即节点更新函数采用
Figure BDA0002796972110000058
其中N+(v)表示所有以v为终止点的边的集合,即v节点的流入边,N-(v)表示所有以v为起始点的边的集合,即v节点的流出边,
Figure BDA0002796972110000059
为流入边的信息聚合函数,
Figure BDA00027969721100000510
为流出边的信息聚合函数,
Figure BDA00027969721100000511
与gV功能相同,即从N+(v),N-(v)中抽取固定个数的边,把边的表示拼接一起;
步骤2.4:目标跟踪图神经网络判决部分分别对节点和边的目标真实性进行判断,即对节点是否对应真实目标,边是否对应真实航迹进行判决,输入为图表示部分网络得到的节点表示
Figure BDA0002796972110000061
和边的表示
Figure BDA0002796972110000062
输出为节点和边的判决结果
Figure BDA0002796972110000063
其中
Figure BDA0002796972110000064
表示该节点对应真实目标探测的概率,
Figure BDA0002796972110000065
表示该边的两个节点对应的探测源于同一目标的概率,即该边对应真实目标航迹的概率;
步骤2.5:对于图判决部分神经网络,一种设计方法为采用多层神经网络,按照二元分类问题进行设计,最后一层激励函数为sigmoid函数,输出的判决结果
Figure BDA0002796972110000066
大于0,小于1。
步骤3:设定目标跟踪图神经网络损失函数,损失函数的输入为样本标签和目标跟踪图神经网络的输出,输出为关于目标跟踪图神经网络预测判决能力的度量数值;
步骤3.1:样本标签Y={yv,ye|v∈V,e∈E}由训练样本提供,为图结构样本数据节点和边的类别标签,目标跟踪图神经网络的输出由目标跟踪图神经网络提供,是向网络输入对应图结构样本数据后,得到的网络输出,为图结构样本数据节点和边的目标真实性判决;
步骤3.2:一种损失函数为,
Figure BDA0002796972110000067
,其中V+表示真实目标探测对应的节点集合,V-表示虚假目标探测对应的节点集合,E+表示两个节点源于同一目标的边的集合,即对应真实航迹的边的集合,E-表示两个节点源于不同目标的边的集合,即对应虚假航迹的边的集合,yv={0,1},为1表示该节点量测对应真实目标,为0表示该节点量测对应虚假目标,
Figure BDA0002796972110000068
为目标跟踪图神经网络的节点判决输出,ye={0,1},为1表示该边对应真实航迹,为0表示该边对应虚假航迹,
Figure BDA0002796972110000069
为目标跟踪图神经网络的边判决输出,ωVEVE为样本不平衡加权系数;
步骤3.3:对于各个节点和各个边的顺序,样本数据、样本标签和目标跟踪图神经网络应保持一致或能相互映射,以便快速、准确计算损失函数;
步骤3.4:在同一训练样本中,真实目标节点数量、虚假目标节点数量、真实航迹数量和虚假航迹数量之间是严重不平衡的,不同训练样本中,它们之间的比例是变化的,需要不同集合数量不平衡性进行修正,其中真实航迹加虚假航迹数量小于等于任意节点两两组合数量||E+||+E-||≤(||V+||+||V-||)(||V+||+||V-||-1)/2,真实航迹数量小于等于真实目标节点减1,||E+||≤||V+||-1,虚假航迹远大于真实航迹数量,||E-||>>||E+||,而真实目标节点数量||V+||与虚假目标节点间的关系和探测虚警率有关,虚警率越高,虚假目标量测越多,虚假目标节点所占比例越大;
步骤3.5:ωVEVE为样本不平衡加权系数,通过动态计算得到,一种动态计算方法为ωVE=(||E+||+||E-||)/(||V+||+||V-||),ωE=||E+||/||E-||,ωV=||V+||/||V-||,||·||表示集合大小。
步骤4:搜集预警探测装备在不同环境下获取的预警探测数据,按照已确定的目标跟踪图结构数据生成方法,建立目标跟踪图神经网络训练数据集;
步骤4.1:搜集同一型预警探测装备在不同环境下获取的预警探测数据,按照步骤1已确定的目标跟踪图结构数据生成方法,建立目标跟踪图神经网络训练数据集D,预警探测装备可以为雷达、光学和红外,但对不同类型、不同功能的预警探测装备需建立不同的训练数据集D,不同环境包括所有对预警探测数据有影响的环境因素,包括但不限于目标密集程度、杂波水平、干扰情况、水人气象、季节、一天中的时间,预警探测数据为已进行目标检测处理后数据,对于雷达是检测后的点迹和回波,对于光学和红外,是检测后的目标中心位置和目标外观切片;
步骤4.2:训练数据集D由多个训练样本d构成,每个训练样本由样本数据X和样本标签Y组成,其中样本数据X为所截取s个连续扫描周期的预警探测数据{Z1,Z2,...,Zs}生成的图结构数据G(V,E),用作目标跟踪图神经网络的输入,样本标签Y={yv,ye|v∈V,e∈E}为图结构数据中节点和边的类别标签,用作损失函数的求取。
步骤5:利用建立的目标跟踪图神经网络训练数据集,采用梯度反向传播算法,通过最小化设定的损失函数,对构建的目标跟踪图神经网络进行训练,对图神经网络的参数进行寻优;
步骤5.1:利用目标跟踪图神经网络训练数据集D,采用梯度反向传播算法,通过最小化设定的损失函数,对构建的目标跟踪图神经网络进行训练,训练过程中每步单个样本输入,非批量输入方式,即每步输入一个图结构数据G(V,E);
步骤5.2:目标跟踪图神经网络训练时,可采用留样检验方法、留一交叉检验法和k-折叠交叉检验法,把训练数据集D划分为训练集和测试集,确保最终训练好的目标跟踪图神经网络具有良好的泛化能力;
步骤5.3:目标跟踪图神经网络训练寻优时,可采用的优化方法有梯度下降法、随机梯度下降法、Momentum、RMSProp、Adam,但不限于此。
步骤6:部署已经训练好的目标跟踪图神经网络,实时截取预警探测数据,生成图结构数据,输入到目标跟踪图神经网络中,网络输出图节点为真实目标量测和图边为真实目标航迹概率,通过对输出概率大小判断,得到真实目标量测和真实目标航迹,进而实现目标的跟踪;
步骤6.1:输入图结构数据到目标跟踪图神经网络中,网络输出图节点为真实目标量测和图边为真实目标航迹概率,通过对输出概率大小判断,得到真实目标量测和真实目标航迹,一种判断方法是如果网络关于节点的输出概率大于等于0.5,则该节点为真实目标量测,小于0.5为虚假目标量测,如果网络关于边的输出概率大于等于0.5,则该边为真实航迹,小于0.5为虚假航迹;
步骤6.2:目标跟踪图神经网络输出的真实目标量测和真实目标航迹,即为最终跟踪结果,如果真实目标量测之间直接存在真实目标航迹或经过其他量测点和多个真实目标航迹能够连通,则为同一目标,否则为不同目标。
本发明实施例还提供了一种图神经网络目标跟踪装置,如图2所示,所述装置包括:
目标跟踪图结构数据生成模块,为数据预处理模块,输入为预警探测装备连续获取的预警探测数据,输出为图结构数据,作为目标跟踪图神经网络的输入,该模块用于目标跟踪图神经网络的离线训练寻优和在线实际部署运用中,在离线训练时,用于生成训练数据集中的训练样本,在线部署运用中,直接生成目标跟踪图神经网络的输入;
目标跟踪图神经网络模块,为目标跟踪的主要实现部分,包括图表示和图判决两大部分,输入为图结构数据,输出是图节点为真实目标量测和图边为真实目标航迹概率,在实际部署运用之前,需要利用训练数据集构建模块得到的目标跟踪图神经网络训练数据集,通过最小化损失函数计算模块得到的网络损失,进行神经网络参数的学习寻优;
损失函数计算模块,用于目标跟踪图神经网络模块的训练学习,输入为训练样本中的样本标签和目标跟踪图神经网络模块由对应样本数据得到的网络输出,输出为网络的损失;
训练数据集构建模块,通过搜集预警探测装备在不同环境下获取的预警探测数据,并经目标跟踪图结构数据生成模块处理和标注,得到大量训练样本,建立目标跟踪图神经网络训练数据集,用于目标跟踪图神经网络模块的训练学习;
目标跟踪图神经网络训练模块,用于目标跟踪图神经网络离线训练时,神经网络参数的训练寻优。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (9)

1.一种图神经网络目标跟踪方法,其特征在于,包括以下步骤:
步骤1:确定目标跟踪图结构数据生成方法,把预警探测装备连续获取的预警探测数据转换生成为图结构数据;
步骤2:构建目标跟踪图神经网络,包括图表示和图判决两大部分,对生成的图进行处理,分别生成节点和边的判决结果,其中图神经网络的表示部分是对图所有节点和所有边进行表示学习,得到含义更丰富的节点表示和边表示,图神经网络的判决部分是进一步对节点表示和边表示进行处理,并最终生成节点和边的判决结果;
步骤3:设定目标跟踪图神经网络损失函数,损失函数的输入为样本标签和目标跟踪图神经网络的输出,输出为关于目标跟踪图神经网络预测判决能力的度量数值;
步骤4:搜集预警探测装备在不同环境下获取的预警探测数据,按照已确定的目标跟踪图结构数据生成方法,建立目标跟踪图神经网络训练数据集;
步骤5:利用建立的目标跟踪图神经网络训练数据集,采用梯度反向传播算法,通过最小化设定的损失函数,对构建的目标跟踪图神经网络进行训练,对图神经网络的参数进行寻优;
步骤6:部署已经训练好的目标跟踪图神经网络,实时截取预警探测数据,生成图结构数据,输入到目标跟踪图神经网络中,网络输出图节点为真实目标量测和图边为真实目标航迹概率,通过对输出概率大小判断,得到真实目标量测和真实目标航迹,进而实现目标的跟踪。
2.如权利要求1所述的一种图神经网络目标跟踪方法,其特征在于,在步骤1的目标跟踪图结构数据生成中采用如下节点构成方法:
把预警探测数据{Z1,Z2,...,Zs}全部转换为G(V,E)的节点
Figure FDA0002796972100000011
节点v表示由全部或部分探测数据z得到,但至少要包含位置信息,此种情况下节点个数
Figure FDA0002796972100000012
3.如权利要求1所述的一种图神经网络目标跟踪方法,其特征在于,在步骤1的目标跟踪图结构数据生成中采用如下边构成方法:
根据设置的最大速度Vmax、最小速度Vmin和最大时间间隔门限Tmax和不在同一扫描周期内的约束,构建有向边
Figure FDA0002796972100000013
即所构成的从起始节点vi到终止点vj的有向边,满足
Figure FDA0002796972100000014
其中zi,zj分别为节点vi,vj对应的探测数据,t,x,y为探测时间和探测位置信息,最大速度Vmax和最小速度Vmin可根据所跟踪目标中最大可能速度和最小可能速度进行设置,最大时间间隔门限Tmax根据探测装备的扫描周期进行设置,一般为2~4倍扫描周期,有向边e表示可由终止点与起始点的量测数据综合得到,一种合理的有向边e表示方法为通过求解边终止点与边起始点对应量测数据中位置分量的时间变化率和非位置分量的差值得到,有向边e表示应包括全部或部分计算结果,但至少要包括位置分量的时间变化率。
4.如权利要求1所述的一种图神经网络目标跟踪方法,其特征在于,在步骤2的目标跟踪图神经网络的构建中采用如下图表示部分神经网络构建方法:
采用统一的多层网络对节点和边进行更新,节点的更新为
Figure FDA0002796972100000021
边的更新为
Figure FDA0002796972100000022
其中
Figure FDA0002796972100000023
分别第l层神经网络节点和边函数,
Figure FDA0002796972100000024
为第l层神经网络关于节点v和边e的输出,即节点v和边e第l次更新得到表示,L为图表示部分神经网络层数,
Figure FDA0002796972100000025
为目标跟踪图神经网络输入的图结构数据G(V,E)中节点和边的表示,N(v)为节点v的连接边的集合,N(e)为边e的两个构成节点,
Figure FDA0002796972100000026
为连接边信息聚合函数,即对节点v的所有连接边进行聚合处理,得到固定长度的向量表示,gV为从N(v)中抽取固定个数的边,把边的表示拼接一起,
Figure FDA0002796972100000027
为边的两个构成节点信息的聚合,gE为把两个节点表示拼接一起。
5.如权利要求1所述的一种图神经网络目标跟踪方法,其特征在于,所述步骤2构建目标跟踪图神经网络中,对于有向图,在节点的更新时,可分别对流入边和流出边进行聚合处理,即节点更新函数采用
Figure FDA0002796972100000028
其中N+(v)表示所有以v为终止点的边的集合,即v节点的流入边,N-(v)表示所有以v为起始点的边的集合,即v节点的流出边,
Figure FDA0002796972100000029
为流入边的信息聚合函数,
Figure FDA00027969721000000210
为流出边的信息聚合函数,
Figure FDA00027969721000000211
与gV功能相同,即从N+(v),N-(v)中抽取固定个数的边,把边的表示拼接一起。
6.如权利要求1所述的一种图神经网络目标跟踪方法,其特征在于,在步骤2的目标跟踪图神经网络的构建中采用如下图判决部分神经网络构建方法:
采用多层神经网络,按照二元分类问题进行设计,最后一层激励函数为sigmoid函数,输出的判决结果
Figure FDA00027969721000000212
大于0,小于1。
7.如权利要求1所述的一种图神经网络目标跟踪方法,其特征在于,在步骤3的目标跟踪图神经网络损失函数设定中采用如下损失函数,
Figure FDA0002796972100000031
Figure FDA0002796972100000034
其中V+表示真实目标探测对应的节点集合,V-表示虚假目标探测对应的节点集合,E+表示两个节点源于同一目标的边的集合,即对应真实航迹的边的集合,E-表示两个节点源于不同目标的边的集合,即对应虚假航迹的边的集合,yv={0,1},为1表示该节点量测对应真实目标,为0表示该节点量测对应虚假目标,
Figure FDA0002796972100000032
为目标跟踪图神经网络的节点判决输出,ye={0,1},为1表示该边对应真实航迹,为0表示该边对应虚假航迹,
Figure FDA0002796972100000033
为目标跟踪图神经网络的边判决输出,ωVEVE为样本不平衡加权系数。
8.如权利要求7所述的一种损失函数设定方法,其特征在于,ωVEVE的动态计算方法为ωVE=(||E+||+||E-||)/(||V+||+||V-||),ωE=||E+||/||E-||,ωV=||V+||/||V-||,||·||表示集合大小,V+表示真实目标探测对应的节点集合,V-表示虚假目标探测对应的节点集合,E+表示两个节点源于同一目标的边的集合,E-表示两个节点源于不同目标的边的集合。
9.一种图神经网络目标跟踪装置,其特征在于,所述装置包括:
目标跟踪图结构数据生成模块,为数据预处理模块,输入为预警探测装备连续获取的预警探测数据,输出为图结构数据,作为目标跟踪图神经网络的输入,该模块用于目标跟踪图神经网络的离线训练寻优和在线实际部署运用中,在离线训练时,用于生成训练数据集中的训练样本,在线部署运用中,直接生成目标跟踪图神经网络的输入;
目标跟踪图神经网络模块,为目标跟踪的主要实现部分,包括图表示和图判决两大部分,输入为图结构数据,输出是图节点为真实目标量测和图边为真实目标航迹概率,在实际部署运用之前,需要利用训练数据集构建模块得到的目标跟踪图神经网络训练数据集,通过最小化损失函数计算模块得到的网络损失,进行神经网络参数的学习寻优;
损失函数计算模块,用于目标跟踪图神经网络模块的训练学习,输入为训练样本中的样本标签和目标跟踪图神经网络模块由对应样本数据得到的网络输出,输出为网络的损失;
训练数据集构建模块,通过搜集预警探测装备在不同环境下获取的预警探测数据,并经目标跟踪图结构数据生成模块处理和标注,得到大量训练样本,建立目标跟踪图神经网络训练数据集,用于目标跟踪图神经网络模块的训练学习;
目标跟踪图神经网络训练模块,用于目标跟踪图神经网络离线训练时,神经网络参数的训练寻优。
CN202011335251.7A 2020-11-24 2020-11-24 一种图神经网络目标跟踪方法及装置 Active CN112465006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011335251.7A CN112465006B (zh) 2020-11-24 2020-11-24 一种图神经网络目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011335251.7A CN112465006B (zh) 2020-11-24 2020-11-24 一种图神经网络目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN112465006A true CN112465006A (zh) 2021-03-09
CN112465006B CN112465006B (zh) 2022-08-05

Family

ID=74798923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011335251.7A Active CN112465006B (zh) 2020-11-24 2020-11-24 一种图神经网络目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN112465006B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505878A (zh) * 2021-07-09 2021-10-15 兰州大学 一种基于图神经网络的航迹预测方法
CN113673749A (zh) * 2021-07-28 2021-11-19 广东省科学院智能制造研究所 车辆行人地图轨迹预测方法及装置
CN114978586A (zh) * 2022-04-12 2022-08-30 东北电力大学 一种基于攻击基因的电网攻击检测方法、系统和电子设备
CN115113168A (zh) * 2022-08-25 2022-09-27 南京宇安防务科技有限公司 一种基于神经网络的雷达杂波抑制方法
CN115336977A (zh) * 2022-08-03 2022-11-15 中南大学湘雅医院 一种精准icu警报分级评估方法
CN115510597A (zh) * 2022-09-22 2022-12-23 中国人民解放军海军航空大学 Gnn框架下基于广义s维分配的多传感器数据互联方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862668A (zh) * 2017-11-24 2018-03-30 河海大学 一种基于gnn的文物图像复原方法
CN108153519A (zh) * 2018-01-16 2018-06-12 中国人民解放军海军航空大学 一种目标智能跟踪方法通用设计框架
CN108254741A (zh) * 2018-01-16 2018-07-06 中国人民解放军海军航空大学 基于循环神经网络的目标航迹预测方法
CN108389419A (zh) * 2018-03-02 2018-08-10 辽宁工业大学 一种车辆动态路径诱导方法
CN108960086A (zh) * 2018-06-20 2018-12-07 电子科技大学 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法
CN110415215A (zh) * 2019-06-27 2019-11-05 同济大学 基于图神经网络的智能检测方法
CN110660082A (zh) * 2019-09-25 2020-01-07 西南交通大学 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN110674929A (zh) * 2019-09-19 2020-01-10 东北大学 一种基于网络结构相似性的对抗网络表示学习方法
CN110705260A (zh) * 2019-09-24 2020-01-17 北京工商大学 一种基于无监督图神经网络结构的文本向量生成方法
CN111161315A (zh) * 2019-12-18 2020-05-15 北京大学 一种基于图神经网络的多目标跟踪方法和系统
CN111415265A (zh) * 2020-02-20 2020-07-14 四川新网银行股份有限公司 生成式对抗网络的社交关系数据生成方法
CN111612206A (zh) * 2020-03-30 2020-09-01 清华大学 一种基于时空图卷积神经网络的街区人流预测方法及系统
CN111898642A (zh) * 2020-06-30 2020-11-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862668A (zh) * 2017-11-24 2018-03-30 河海大学 一种基于gnn的文物图像复原方法
CN108153519A (zh) * 2018-01-16 2018-06-12 中国人民解放军海军航空大学 一种目标智能跟踪方法通用设计框架
CN108254741A (zh) * 2018-01-16 2018-07-06 中国人民解放军海军航空大学 基于循环神经网络的目标航迹预测方法
CN108389419A (zh) * 2018-03-02 2018-08-10 辽宁工业大学 一种车辆动态路径诱导方法
CN108960086A (zh) * 2018-06-20 2018-12-07 电子科技大学 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法
CN110415215A (zh) * 2019-06-27 2019-11-05 同济大学 基于图神经网络的智能检测方法
CN110674929A (zh) * 2019-09-19 2020-01-10 东北大学 一种基于网络结构相似性的对抗网络表示学习方法
CN110705260A (zh) * 2019-09-24 2020-01-17 北京工商大学 一种基于无监督图神经网络结构的文本向量生成方法
CN110660082A (zh) * 2019-09-25 2020-01-07 西南交通大学 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN111161315A (zh) * 2019-12-18 2020-05-15 北京大学 一种基于图神经网络的多目标跟踪方法和系统
CN111415265A (zh) * 2020-02-20 2020-07-14 四川新网银行股份有限公司 生成式对抗网络的社交关系数据生成方法
CN111612206A (zh) * 2020-03-30 2020-09-01 清华大学 一种基于时空图卷积神经网络的街区人流预测方法及系统
CN111898642A (zh) * 2020-06-30 2020-11-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUOHAO LI: "DeepGCNs:Can GCNs Go As Deep As CNNs", 《RESEARCHGATE》 *
HONGWEI WANG 等: "GraphGAN:Graph Representation Learning with Generative Adversarial Nets", 《ARXIV:1711.08267V1》 *
崔亚奇 等: "基于三角稳定的海上目标航迹抗差关联算法", 《系统工程与电子技术》 *
贺丰收 等: "卷积神经网络在雷达自动目标识别中的研究进展", 《电子与信息学报》 *
钟昊: "基于图神经网络的无人机无源定位航迹自主生成方法", 《价值工程》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505878A (zh) * 2021-07-09 2021-10-15 兰州大学 一种基于图神经网络的航迹预测方法
CN113673749A (zh) * 2021-07-28 2021-11-19 广东省科学院智能制造研究所 车辆行人地图轨迹预测方法及装置
CN113673749B (zh) * 2021-07-28 2023-11-21 广东省科学院智能制造研究所 车辆行人地图轨迹预测方法及装置
CN114978586A (zh) * 2022-04-12 2022-08-30 东北电力大学 一种基于攻击基因的电网攻击检测方法、系统和电子设备
CN115336977A (zh) * 2022-08-03 2022-11-15 中南大学湘雅医院 一种精准icu警报分级评估方法
CN115113168A (zh) * 2022-08-25 2022-09-27 南京宇安防务科技有限公司 一种基于神经网络的雷达杂波抑制方法
CN115510597A (zh) * 2022-09-22 2022-12-23 中国人民解放军海军航空大学 Gnn框架下基于广义s维分配的多传感器数据互联方法
CN115510597B (zh) * 2022-09-22 2024-02-02 中国人民解放军海军航空大学 Gnn框架下基于广义s维分配的多传感器数据互联方法

Also Published As

Publication number Publication date
CN112465006B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN112465006B (zh) 一种图神经网络目标跟踪方法及装置
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN105488770B (zh) 一种面向对象的机载激光雷达点云滤波方法
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN107346420A (zh) 一种基于深度学习的自然场景下文字检测定位方法
CN109615611A (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN104931960B (zh) 动向报文与雷达目标态势信息全航迹段数据关联方法
CN108254741A (zh) 基于循环神经网络的目标航迹预测方法
CN104156984B (zh) 一种不均匀杂波环境下多目标跟踪的概率假设密度方法
CN109145958B (zh) 一种基于多任务生成对抗网络的真实场景小物体检测方法
CN109919934A (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN107507170A (zh) 一种基于多尺度图像信息融合的机场跑道裂缝检测方法
CN108802722A (zh) 一种基于虚拟谱的弱目标检测前跟踪方法
CN110084304A (zh) 一种基于合成数据集的目标检测方法
CN111539422B (zh) 基于Faster RCNN的飞行目标协同识别方法
CN109858526A (zh) 一种目标跟踪中基于传感器的多目标轨迹融合方法
CN109753874A (zh) 一种基于机器学习的低慢小雷达目标分类方法
CN110501671A (zh) 一种基于测量分配的目标跟踪方法及装置
CN105572572A (zh) 基于wknn-lssvm的模拟电路故障诊断方法
CN112036239A (zh) 一种基于深度学习网络的雷达信号工作模式识别方法及系统
CN110097091A (zh) 训练与推理数据分布不一致条件下的图像细粒度识别方法
Gou et al. Pavement crack detection based on the improved faster-rcnn
CN116958907B (zh) 一种输气管道周边隐患目标巡检方法及系统
Gong et al. Small ship detection of SAR images based on optimized feature pyramid and sample augmentation
CN112084860A (zh) 目标对象检测、火力发电厂检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant