CN115310559A - 一种基于贝叶斯-Transformer神经网络模型的目标识别方法 - Google Patents

一种基于贝叶斯-Transformer神经网络模型的目标识别方法 Download PDF

Info

Publication number
CN115310559A
CN115310559A CN202211128480.0A CN202211128480A CN115310559A CN 115310559 A CN115310559 A CN 115310559A CN 202211128480 A CN202211128480 A CN 202211128480A CN 115310559 A CN115310559 A CN 115310559A
Authority
CN
China
Prior art keywords
track
target type
data
neural network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211128480.0A
Other languages
English (en)
Inventor
熊伟
孔战
崔亚奇
徐平亮
于洪波
张扬
张建延
还迎春
文云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval Aeronautical University
Original Assignee
Naval Aeronautical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval Aeronautical University filed Critical Naval Aeronautical University
Priority to CN202211128480.0A priority Critical patent/CN115310559A/zh
Publication of CN115310559A publication Critical patent/CN115310559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于贝叶斯‑Transformer神经网络模型的目标识别方法，解决现有目标识别模型手动设计特征过程复杂、需要的大量的先验信息与经验、无法给出识别概率的问题。该方法设计了贝叶斯‑Transformer神经网络模型，包含编码模块和分类模块，利用训练数据集中的历史航迹数据，对网络模型进行训练，训练好的模型可以用来对未知类型目标的识别。该模型在测试集上具有较高的准确率，能够计算得出识别概率，提供给决策者识别结果与识别概率。该方法可基于实测数据，自动训练得到目标识别模型，具有识别准确率高，速度快、实用效果好等优点。

Description

一种基于贝叶斯-Transformer神经网络模型的目标识别方法
技术领域
本发明涉及目标识别技术，更具体地，本发明涉及一种基于贝叶斯-Transformer神经网络模型的目标识别方法，适用于雷达预警探测领域中利用航迹信息进行目标识别的问题。
背景技术
利用航迹信息进行目标识别是根据目标连续时间内产生的点迹进行目标身份识别，并且给出识别的置信度，作为辅助信息提供给决策者。在预警探测领域，对目标身份进行快速准确的识别十分重要。
在战场态势感知过程中，当目标距离较远，无法抵近拍照确认目标身份，或者雷达目标极化特征不够显著时，利用目标连续时间内产生的点迹进行目标身份识别，并且给出识别的置信度，为决策者提供辅助信息，具有十分重要的意义。
在目标识别研究中，目前主要利用目标图像、雷达回波中的目标极化信息等进行目标识别，在现实应用中面临着诸多挑战，比如受天气因素影响光学卫星无法对目标成像、目标距离较远不方便使用无人机抵近拍照、目标极化特征不明显等。为此，利用目标航迹信息进行目标识别是一种有效的辅助决策手段，而目前对此类问题的讨论还不够广泛，现有的研究多采用手动设计特征的方式，设计过程复杂，受研究者经验影响大，需要研究者对数据进行反复分析。
然而航迹蕴含着丰富的运动学信息，隐藏着目标独特的运动特性，受人类认知水平的限制，有些特征难以靠经验进行提取，数据隐藏特征丰富，仅靠手动设计特征容易出现特征遗漏，数据信息丢失的情况，进而影响模型识别效果。深度学习提供了一种自动提取数据特征的学习方式，提取的数据特征不受经验影响。仅需要将数据清洗后输入到网络模型中，就可以通过训练学习到数据的特征，模型利用学习到的特征进行船只类型的识别，摒弃了手动设计特征的过程。采用神经网络提取时间序列特征，然后进行分类任务已成为一种有效的技术方法。一般的神经网络的权值是固定的，分类的结果仅能体现出随机不确定度，而无法衡量模型本身产生的认知不确定度，因此需要提出一个可以体现随机不确定度和认知不确定度的目标识别方法。
发明内容
为了克服现有技术中的问题，本发明提供了一种基于贝叶斯-Transformer神经网络模型的目标识别方法，利用目标连续产生的一段航迹识别出该目标的身份，并且给出识别的置信度，置信度体现了随机不确定度和认知不确定度，相较于非贝叶斯神经网络具有可靠性更高的优势，同时具有识别准确率更高的优势。该方法无需手动设计特征，实现了网络自动提取航迹特征，进而学习到不同目标类型之间的航迹规律，完成对目标身份的识别。
本发明解决上述技术问题的技术方案如下：
一种基于贝叶斯-Transformer的目标类型识别方法，包括以下步骤：
步骤1：将获取的航迹数据进行预处理，提取任务所需的目标航迹数据，并以此构建训练集和测试集；
步骤2：构建基于贝叶斯-Transformer的神经网络模型，所述神经网络模型包括编码模块和分类模块；所述编码模块的网络结构包括位置编码层、多个Transformer网络的encoder层，每个encoder层均包含多头注意力层和前馈网络层，最后一个encoder层输将提取到的特征信息映射到矩阵中，输出的矩阵经过一个贝叶斯全连接神经网络层后接入分类模块的softmax层，输出概率分布；
步骤3：利用训练集对所构建的神经网络模型进行训练，得到训练好的神经网络模型；
步骤4：对测试集中的验证样本进行目标类型识别，并且计算置信度。
进一步地，所述步骤1中对获取的航迹数据进行预处理，具体包括以下步骤：
步骤1.1：对每个目标的航迹数据的航迹点按照时间顺序进行排序，使每条航迹数据的航迹点在数据表格中相邻，删除孤立航迹点；
步骤1.2：保留与航迹有关的运动信息，包括时间戳、经纬度、速度、航向和目标类型；
步骤1.3：对每个航迹点的时间戳、经度、纬度、速度、航向进行规范化处理，将每种类型目标的航迹统一到同一起点。
进一步地，所述步骤1.1具体包括以下步骤：
对航迹数据中的航迹点进行三级排序，排序等级由高到低依次为目标类型、目标、时间戳；计算每个航迹点与上一航迹点的时间差和与下一航迹点的时间差，当两个差值均大于阈值时，该航迹点为孤立点，即与其他航迹点构不成一条完整航迹，做删除处理，所述阈值视航迹采样频率而定。
进一步地，所述步骤1.2具体包括以下步骤：
将时间戳、经度、纬度、速度、航向和目标类型作为每个航迹点的信息，删除其他信息，得到每个航迹点具有时间戳、经度、纬度、速度和航向五维信息以及对应的目标类型信息，目标类型信息作为该航迹的标签；设置目标类型查阅表，每种类型对应一个数字，按照查阅表将数据中的目标类型用数字代替。
进一步地，所述步骤1.3具体包括以下步骤：
将每个航迹点的信息进行归一化处理：
Figure BDA0003849115460000031
其中，xi代表一个航迹点的第i个维度信息，其中，
Figure BDA0003849115460000032
N为数据集中所有船型的航迹点数，对于时间戳和经纬度的归一化，N为各自船型的航迹点数，以实现将每种类型航迹的时间戳和位置统一到同一起点。
进一步地，所述步骤2中构建基于贝叶斯-Transformer的神经网络模型中，对航迹信息进行位置编码，位置编码采用绝对位置编码的方式，具体采用正余弦函数的编码方式：
Figure BDA0003849115460000041
Figure BDA0003849115460000042
其中，各参数的含义为：PE为位置编码矩阵，pos表示航迹点在航迹中的位置，dmodel表示航迹点向量的维度，i是dmodel/2-1之间的整数值。
进一步地，Transformer网络的encoder层设置为4层。
进一步地，所述步骤2中贝叶斯全连接神经网络层的网络权重参数满足贝叶斯公式：
Figure BDA0003849115460000043
其中，w是模型的权重参数，D是训练集数据；
采用变分近似的方法去估计权重的后验分布，利用高斯分布qλ(w)去拟合权重的后验分布P(w|D)，用KL散度度量P(w|D)与qλ(w)之间的相似程度，并将最小化二者之间的KL散度作为优化目标，损失函数为：
Figure BDA0003849115460000044
进一步地，所述步骤3中利用训练集对所构建的神经网络模型进行训练，具体包括以下步骤：
步骤3.1：将训练集中的数据每条航迹作为一个样本，取每个样本第一个点的目标类型作为该样本的标签；
训练集表示为{X；Y}，其中X是航迹信息，Y是标签信息，即每条航迹对应的目标类型；X的维度为batch×time_step×input_size，其中batch代表每轮训练的样本数量，即航迹数量，time_step代表每条航迹的长度，input_size代表每个航迹点的维度，
input_size的格式为：
(tinterval,latinterval,loninterval,sog,cog)
其中，每一项分别代表时间戳、纬度、经度、速率、航向，第i个样本为
Figure BDA0003849115460000051
步骤3.2：进行第一轮训练，将训练集数据分批输入到构建的神经网络模型中，每批样本数量大小为batch；
步骤3.3：对每一批次数据计算损失函数的值，并进行反向传播，采用Adam算法更新权重分布的均值和方差；
步骤3.4：进行完一轮中所有批次的训练后，将测试集数据输入到模型中，得到测试集的准确率；
步骤3.5：重复进行步骤3.2至步骤3.4，构建的神经网络模型不断地学习到不同目标类别之间的特征区别，并且作为目标类型识别的依据，直至网络收敛；保存在测试集上准确率最高的一次网络模型参数，总的训练轮次为epoch、调整batch、学习率、epoch超参数，保存最终的最优模型。
进一步地，所述步骤4中对测试集中的验证样本进行目标类型识别，并且计算置信度，具体包括以下步骤：
步骤4.1：将验证样本
Figure BDA0003849115460000052
中
Figure BDA0003849115460000053
的输入到步骤3训练好的模型中，得到输出的类别
Figure BDA0003849115460000054
并且取出softmax层输出的类别
Figure BDA0003849115460000055
的置信度
Figure BDA0003849115460000056
步骤4.2：重复进行步骤4.1，第i次的预测类别为
Figure BDA0003849115460000057
置信度为
Figure BDA0003849115460000058
最终预测类别为预测类别次数最多的类别
Figure BDA0003849115460000059
将每次预测类别为
Figure BDA00038491154600000510
置信度相加取平均值为最终预测为
Figure BDA00038491154600000511
的置信度，即：
Figure BDA00038491154600000512
m为预测为
Figure BDA00038491154600000513
的总次数。
与现有技术相比，本发明具有如下技术效果：
本发明提出的一种基于贝叶斯-Transformer神经网络模型的目标识别方法可以利用目标连续产生的一段航迹识别出该目标的身份，并且给出识别结果的置信度；将识别结果作为辅助信息提供给决策人员，实现更早更快更准确地识别出目标的真实身份，提升战场态势感知能力。
附图说明
图1是一种基于贝叶斯-Transformer的目标类型识别方法流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
一种基于贝叶斯-Transformer的目标类型识别方法，具体包括以下步骤：
步骤1：将获取的航迹数据进行预处理，提取任务所需的目标航迹数据，并以此构建训练集和测试集。
由于每个目标包含多条航迹，所述航迹包含多个航迹点，即每个目标包含多条航迹数据，将每个目标航迹数据进行预处理，即，对每个目标的航迹数据的航迹点按照时间顺序进行排序，使每条航迹数据的航迹点在数据表格中相邻，删除孤立航迹点；保留与航迹有关的运动信息，包括时间戳、经纬度、速度、航向和目标类型；对每个航迹点的时间戳、经度、纬度、速度、航向进行规范化处理，将每种类型目标的航迹统一到同一起点。把预处理后的航迹数据划分为训练集和测试集，构建训练样本和测试样本输入向量，每条航迹对应的标签即为目标类型。
这一步骤中具体包括以下步骤：
步骤1.1对每个目标的航迹数据中的航迹点按照时间顺序进行排序，并删除孤立航迹点；
对航迹数据中的航迹点进行三级排序，排序等级由高到低依次为目标类型、目标、时间戳；计算每个航迹点与上一航迹点的时间差和与下一航迹点的时间差，当两个差值均大于阈值时，该航迹点为孤立点，即与其他航迹点构不成一条完整航迹，做删除处理，所述阈值视航迹采样频率而定。
步骤1.2：保留航迹有关的运动信息，包括时间戳、经纬度、速度、航向和目标类型；
将时间戳、经度、纬度、速度、航向和目标类型作为每个航迹点的信息，删除其他信息，得到每个航迹点具有时间戳、经度、纬度、速度和航向五维信息以及对应的目标类型信息，目标类型信息作为该航迹的标签。设置目标类型查阅表，每种类型对应一个数字，按照查阅表将数据中的目标类型用数字代替。
步骤1.3：对每个航迹点的时间戳、经度、纬度、速度、航向进行规范化处理，将每种类型目标的航迹统一到同一起点；
将每个航迹点的信息进行归一化处理，本发明采用0-1标准化。
Figure BDA0003849115460000071
xi代表一个航迹点的第i个维度信息，其中，
Figure BDA0003849115460000072
N为数据集中所有船型的航迹点数，对于时间戳和经纬度的归一化，N为各自船型的航迹点数，以实现将每种类型航迹的时间戳和位置统一到同一起点。
由于时间戳带有航迹产生时刻的信息，经纬度带有航迹产生的位置信息，不具有模型应用的普适性，为了不让模型学习到航迹产生的时间和位置的背景信息，将每种类型航迹的时间戳和位置统一到同一起点，以此生成规范、无量纲的数据集。
步骤1.4：利用固定的时间窗截断数据向量作为神经网络的输入向量，对应的目标类型作为航迹的标签值。
所述时间窗就是时间长度，截取航迹中一段时间长度为时间窗长度的航迹，截取之后的数据为时间窗长度的航迹数据，即为神经网络的输入向量。
步骤2：构建基于贝叶斯-Transformer的神经网络模型，所述神经网络模型包括编码模块和分类模块；所述编码模块的网络结构包括位置编码层，多个Transformer网络的encoder层，每个encoder层均包含多头注意力层和前馈网络层，最后一个encoder层连接全连接层，实现数据的降维，由分类模块的softmax层输出概率分布。
考虑到航迹数据属于明显的时间序列，而通过航迹信息识别出目标的类型，本质上就是有监督的时间序列分类问题。航迹信息具有跨度长、前后联系密切的特点，Transformer模型可以更好地关注到序列中距离较远的信息。
这一步骤中具体包括以下步骤：
步骤2.1：对航迹信息进行位置编码，编码采用绝对位置编码的方式，具体采用正余弦函数的编码方式：
Figure BDA0003849115460000081
Figure BDA0003849115460000082
其中，各参数的含义为：PE为位置编码矩阵，pos表示航迹点在航迹中的位置，dmodel表示航迹点向量的维度，i是dmodel/2-1之间的整数值。
本发明网络结构第一层为位置编码层，航迹信息作为一种规范化的时序序列具有明显的时序特点，需要网络模型捕捉到航迹数据的时序信息，即区分航迹中不同时间发生的航迹点。对输入的原始航迹数据进行位置编码，编码后航迹信息能够使注意力机制捕捉到输入数据的顺序关系。
步骤2.2：利用Transformer的encoder层提取编码后的航迹信息的特征，将提取到的特征信息映射到矩阵中；
由于每个encoder层均包括多头注意力层和前馈网络层，注意力机制可以让网络注意到不同时刻航迹点之间特定的关系，当网络处理每个航迹点时，可以关注到与其他航迹点的联系，从而更好地提取出航迹特征；前馈网络层使数据在不同维度之间变换，提升了模型的表现能力。
本实施中encoder层优选设置为4层，将提取到的特征信息映射到矩阵中，即为最后一层encoder层的输出矩阵，此矩阵维度大小与原始网络输入数据的维度大小一致。
步骤2.3：将上一步骤输出的矩阵经过一个全连接层后接入softmax层，输出概率分布。
Transformer中encoder层后的全连接网络全部为贝叶斯神经网络结构，其网络权重参数满足一下贝叶斯公式：
Figure BDA0003849115460000091
其中，w是模型的权重参数，D是训练集数据。实现了Transformer与贝叶斯神经网络的结合，选择变分近似的方法估计P(w|D)，损失函数为：
Figure BDA0003849115460000092
其中，w是模型的权重参数，D是训练集。实现了Transformer与贝叶斯神经网络的结合，选择变分近似的方法估计P(w|D)。
利用全连接神经网络降维是一种基本的降维方式，全连接层的输入包含5个节点，输出包含3个节点，输入与输出之间为线性连接，从而实现数据维度由5维降为3维。
步骤2.4：采用变分近似的方法去估计权重的后验分布，利用高斯分布qλ(w)去拟合权重的后验分布P(w|D)，用KL散度度量P(w|D)与qλ(w)之间的相似程度，并将最小化二者之间的KL散度作为优化目标，具体的损失函数为：
Figure BDA0003849115460000093
选择变分近似的方法估计P(w|D)，利用一个高斯分布qλ(w)，去拟合每个权重的后验分布，其中λ＝(μ,σ)，采用KL散度值度量qλ(w)与P(w|D)之间的差距，并且将最小化二者之间的KL散度作为优化目标。
步骤3：利用训练集对所构建的神经网络模型进行训练，得到训练好的神经网络模型；
即将步骤1中的训练集输入到步骤2中构建的网络模型中，进行训练，计算损失函数的值进行反向传播，更新权重的高斯分布qλ(w)中的均值和方差，直到模型收敛，保存最优的一次模型参数用来进行识别船只的类型并且给出置信度。
这一步骤中具体包括以下步骤：
步骤3.1：将训练集中的数据每条航迹作为一个样本，取每个样本第一个点的目标类型作为该样本的标签；
由于同一条航迹的航迹点都属于一种目标类型，所以取每个样本第一个点的目标类型作为该样本的标签。训练集可表示为{X；Y}，其中X是航迹信息，Y是标签信息，即每条航迹对应的目标类型。X的维度为batch×time_step×input_size，其中batch代表每轮训练的样本数量，即航迹数量，time_step代表每条航迹的长度，input_size代表每个航迹点的维度，
input_size的格式为：
(tinterval,latinterval,loninterval,sog,cog)
其中，每一项分别代表时间戳、纬度、经度、速率、航向。第i个样本为
Figure BDA0003849115460000101
步骤3.2：进行第一轮训练，将训练集数据分批输入到网络结构中，每批样本数量大小为batch，首先将航迹序列进行位置编码，然后输入到编码层中，然后经过softmax层输出概率分布，概率最大的为预测类别。
在具体实施中，编码层设置为4个，经过4次编码层后经过一个全连接层降维，然后经过softmax层输出概率分布，概率最大的为预测类别。
步骤3.3：对每一批次数据计算损失函数的值，并进行反向传播，采用Adam算法更新权重分布的均值和方差。
Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。
步骤3.4：进行完一轮中所有批次的训练后，将测试集数据输入到模型中，得到测试集的准确率。
步骤3.5：重复进行步骤3.2至步骤3.4，网络不断地学习到不同目标类别之间的特征区别，并且作为目标类型识别的依据，直至网络收敛。
保存在测试集上准确率最高的一次网络模型参数，总的训练轮次为epoch。调整batch、学习率、epoch等超参数，使得在模型在测试集上表现最优，保存最终的最优模型。
步骤4：对测试集中的验证样本进行目标类型识别，并且计算置信度。
步骤4.1：将验证样本
Figure BDA0003849115460000111
中
Figure BDA0003849115460000112
的输入到步骤3训练好的模型中，得到输出的类别
Figure BDA0003849115460000113
并且取出softmax层输出的类别
Figure BDA0003849115460000114
的置信度
Figure BDA0003849115460000115
步骤4.2：重复进行步骤4.1，第i次的预测类别为
Figure BDA0003849115460000116
置信度为
Figure BDA0003849115460000117
最终预测类别为预测类别次数最多的类别
Figure BDA0003849115460000118
将每次预测类别为
Figure BDA0003849115460000119
置信度相加取平均值为最终预测为
Figure BDA00038491154600001110
的置信度，即：
Figure BDA00038491154600001111
m为预测为
Figure BDA00038491154600001112
的总次数。
本发明提出的一种基于贝叶斯-Transformer神经网络模型的目标识别方法，利用目标连续产生的一段航迹识别出该目标的身份，并且给出识别的置信度，置信度体现了随机不确定度和认知不确定度，相较于非贝叶斯神经网络具有可靠性更高的优势，同时具有识别准确率更高的优势。该方法无需手动设计特征，实现了网络自动提取航迹特征，进而学习到不同目标类型之间的航迹规律，完成对目标身份的识别。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，包括以下步骤：
步骤1：将获取的航迹数据进行预处理，提取任务所需的目标航迹数据，并以此构建训练集和测试集；
步骤2：构建基于贝叶斯-Transformer的神经网络模型，所述神经网络模型包括编码模块和分类模块；所述编码模块的网络结构包括位置编码层、多个Transformer网络的encoder层，每个encoder层均包含多头注意力层和前馈网络层，最后一个encoder层将提取到的特征信息映射到矩阵中，输出的矩阵经过一个贝叶斯全连接神经网络层后接入分类模块的softmax层，输出概率分布；
步骤3：利用训练集对所构建的神经网络模型进行训练，得到训练好的神经网络模型；
步骤4：对测试集中的验证样本进行目标类型识别，并且计算置信度。
2.根据权利要求1所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤1中对获取的航迹数据进行预处理，具体包括以下步骤：
步骤1.1：对每个目标的航迹数据的航迹点按照时间顺序进行排序，使每条航迹数据的航迹点在数据表格中相邻，删除孤立航迹点；
步骤1.2：保留与航迹有关的运动信息，包括时间戳、经纬度、速度、航向和目标类型；
步骤1.3：对每个航迹点的时间戳、经度、纬度、速度、航向进行规范化处理，将每种类型目标的航迹统一到同一起点。
3.根据权利要求2所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤1.1具体包括以下步骤：
对航迹数据中的航迹点进行三级排序，排序等级由高到低依次为目标类型、目标、时间戳；计算每个航迹点与上一航迹点的时间差和与下一航迹点的时间差，当两个差值均大于阈值时，该航迹点为孤立点，即与其他航迹点构不成一条完整航迹，做删除处理，所述阈值视航迹采样频率而定。
4.根据权利要求2所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤1.2具体包括以下步骤：
将时间戳、经度、纬度、速度、航向和目标类型作为每个航迹点的信息，删除其他信息，得到每个航迹点具有时间戳、经度、纬度、速度和航向五维信息以及对应的目标类型信息，目标类型信息作为该航迹的标签；设置目标类型查阅表，每种类型对应一个数字，按照查阅表将数据中的目标类型用数字代替。
5.根据权利要求2所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤1.3具体包括以下步骤：
将每个航迹点的信息进行归一化处理：
Figure FDA0003849115450000021
xi代表一个航迹点的第i个维度信息，其中，
Figure FDA0003849115450000022
其中，N为数据集中所有船型的航迹点数，对于时间戳和经纬度的归一化，N为各自船型的航迹点数，以实现将每种类型航迹的时间戳和位置统一到同一起点。
6.根据权利要求1所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤2中构建基于贝叶斯-Transformer的神经网络模型中，对航迹信息进行位置编码，位置编码采用绝对位置编码的方式，具体采用正余弦函数的编码方式：
Figure FDA0003849115450000023
Figure FDA0003849115450000024
其中，各参数的含义为：PE为位置编码矩阵，pos表示航迹点在航迹中的位置，dmodel表示航迹点向量的维度，i是dmodel/2-1之间的整数值。
7.根据权利要求6所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，Transformer网络的encoder层设置为4层。
8.根据权利要求1所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤2中贝叶斯全连接神经网络层的网络权重参数满足贝叶斯公式：
Figure FDA0003849115450000031
其中，w是模型的权重参数，D是训练集数据；
采用变分近似的方法去估计权重的后验分布，利用高斯分布qλ(w)去拟合权重的后验分布P(w|D)，用KL散度度量P(w|D)与qλ(w)之间的相似程度，并将最小化二者之间的KL散度作为优化目标，损失函数为：
Figure FDA0003849115450000032
9.根据权利要求1所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤3中利用训练集对所构建的神经网络模型进行训练，具体包括以下步骤：
步骤3.1：将训练集中的数据每条航迹作为一个样本，取每个样本第一个点的目标类型作为该样本的标签；
训练集表示为{X；Y}，其中X是航迹信息，Y是标签信息，即每条航迹对应的目标类型；X的维度为batch×time_step×input_size，其中batch代表每轮训练的样本数量，即航迹数量，time_step代表每条航迹的长度，input_size代表每个航迹点的维度，
input_size的格式为：
(tinterval,latinterval,loninterval,sog,cog)
其中，每一项分别代表时间戳、纬度、经度、速率、航向，第i个样本为
Figure FDA0003849115450000041
步骤3.2：进行第一轮训练，将训练集数据分批输入到构建的神经网络模型中，每批样本数量大小为batch；
步骤3.3：对每一批次数据计算损失函数的值，并进行反向传播，采用Adam算法更新权重分布的均值和方差；
步骤3.4：进行完一轮中所有批次的训练后，将测试集数据输入到模型中，得到测试集的准确率；
步骤3.5：重复进行步骤3.2至步骤3.4，构建的神经网络模型不断地学习到不同目标类别之间的特征区别，并且作为目标类型识别的依据，直至网络收敛；保存在测试集上准确率最高的一次网络模型参数，总的训练轮次为epoch、调整batch、学习率、epoch超参数，保存最终的最优模型。
10.根据权利要求1所述的一种基于贝叶斯-Transformer的目标类型识别方法，其特征在于，所述步骤4中对测试集中的验证样本进行目标类型识别，并且计算置信度，具体包括以下步骤：
步骤4.1：将验证样本
Figure FDA0003849115450000042
中
Figure FDA0003849115450000043
的输入到步骤3训练好的模型中，得到输出的类别
Figure FDA0003849115450000044
并且取出softmax层输出的类别
Figure FDA0003849115450000045
的置信度
Figure FDA0003849115450000046
步骤4.2：重复进行步骤4.1，第i次的预测类别为
Figure FDA0003849115450000047
置信度为
Figure FDA0003849115450000048
最终预测类别为预测类别次数最多的类别
Figure FDA0003849115450000049
将每次预测类别为
Figure FDA00038491154500000410
置信度相加取平均值为最终预测为
Figure FDA00038491154500000411
的置信度，即：
Figure FDA00038491154500000412
m为预测为
Figure FDA00038491154500000413
的总次数。
CN202211128480.0A 2022-09-16 2022-09-16 一种基于贝叶斯-Transformer神经网络模型的目标识别方法 Pending CN115310559A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211128480.0A CN115310559A (zh) 2022-09-16 2022-09-16 一种基于贝叶斯-Transformer神经网络模型的目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211128480.0A CN115310559A (zh) 2022-09-16 2022-09-16 一种基于贝叶斯-Transformer神经网络模型的目标识别方法

Publications (1)

Publication Number Publication Date
CN115310559A true CN115310559A (zh) 2022-11-08

Family

ID=83865671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211128480.0A Pending CN115310559A (zh) 2022-09-16 2022-09-16 一种基于贝叶斯-Transformer神经网络模型的目标识别方法

Country Status (1)

Country Link
CN (1) CN115310559A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824923A (zh) * 2023-08-30 2023-09-29 四川九洲空管科技有限责任公司 一种动态优化ads-b航迹质量的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824923A (zh) * 2023-08-30 2023-09-29 四川九洲空管科技有限责任公司 一种动态优化ads-b航迹质量的方法

Similar Documents

Publication Publication Date Title
CN109117883B (zh) 基于长短时记忆网络的sar影像海冰分类方法及系统
CN107766893B (zh) 基于标签多级编码神经网络的目标识别方法
CN109581339B (zh) 一种基于头脑风暴自动调整自编码网络的声呐识别方法
CN111598325A (zh) 基于层次聚类和分层注意力机制的交通速度预测方法
CN111597340A (zh) 一种文本分类方法及装置、可读存储介质
CN112257914B (zh) 一种基于随机森林的航空安全因果预测方法
Zhang et al. VGM-RNN: HRRP sequence extrapolation and recognition based on a novel optimized RNN
CN115310559A (zh) 一种基于贝叶斯-Transformer神经网络模型的目标识别方法
CN116186633A (zh) 一种基于小样本学习的用电异常诊断方法和系统
CN116702090A (zh) 一种多模态数据融合与不确定估计的水位预测方法及系统
CN113723572B (zh) 船只目标识别方法、计算机系统及程序产品、存储介质
Vogt et al. Wind power forecasting based on deep neural networks and transfer learning
CN113406623A (zh) 基于雷达高分辨距离像的目标识别方法、装置及介质
CN117390506A (zh) 一种基于网格编码与TextRCNN的船舶路径分类方法
CN114595770B (zh) 一种船舶轨迹的长时序预测方法
CN116304941A (zh) 一种基于多模型组合的海洋数据质量控制方法及装置
CN107229944B (zh) 基于认知信息粒子的半监督主动识别方法
Liu et al. Aleatoric Uncertainty Embedded Transfer Learning for SEA-ICE Classification in SAR Images
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
CN115423091A (zh) 一种条件对抗神经网络训练方法、场景生成方法和系统
CN114998731A (zh) 智能终端导航场景感知识别的方法
Cheng et al. Bayesian inference for uncertainty-aware post-disaster damage assessment using artificial intelligence
CN113469013A (zh) 一种基于迁移学习和时间序列的电机故障预测方法及系统
Trentin et al. Unsupervised nonparametric density estimation: A neural network approach
CN111160419A (zh) 一种基于深度学习的电子式互感器数据分类预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination