CN111898756B - 一种多目标信息关联神经网络损失函数计算方法及装置 - Google Patents

Abstract

本发明提供了种多目标信息关联神经网络损失函数计算方法及装置，方法包括：设定多目标信息关联神经网络损失函数；在多目标信息关联神经网络后端，设定其中与损失函数计算直接相关的目标关联预测网络部分；在整个多目标信息关联神经网络后端，并位于目标关联预测网络部分前面，设定关联对关联向量构建网络部分；在多目标信息关联神经网络训练过程中，输入目标信息样本数据和关联对集合，得到网络预测输出，按照设定的损失函数，结合外部输入标签，计算网络训练损失。本发明实施例提供可准确地估算网络关联预测结果与真实结果之间的偏差，引导神经网络模型参数快速优化，从而使网络在实际运用中，能做出准确的关联预测。

Description

一种多目标信息关联神经网络损失函数计算方法及装置

技术领域

本发明涉及多目标信息关联深度学习技术，更具体地，本发明涉及一种多目标信息关联神经网络损失函数计算方法及装置，适用于多源多目标信息关联问题。

背景技术

目标信息关联是指在多目标场景下，根据不同平台不同手段获取信息间的内在相似性，对源于同一目标的多源多域目标信息进行关联判断，确定关联关系，为后续的信息融合、属性判别、威胁估计和态势分析提供基础和依据。其中目标信息主要是指雷达、电子侦察、光电、卫星遥感以及卫星SAR等各型主被动手段获取的，描述场景内目标在哪里、是什么的信息。各型主被动手段上报的信息格式类别多、差异大，包括格式化报文、遥感图像、视频影像、语音、文本等，经特征提取和同一空间表示后，可转换为统一的向量。

在多传感器信息融合领域中，传统的目标信息关联研究主要聚焦于目标航迹跟踪问题和多目标航迹关联问题，有点航关联技术、接续关联技术以及航迹关联技术等研究重点，一般基于概率统计理论，通过模型假设和公式推导，手动建立关联检验统计模型，来对目标单个时间点空间位置信息或多个时间点空间位置序列进行关联。可见，传统的研究方法缺乏统一的解决范式和框架，主要是基于研究人员对问题的深刻理解和认识，以模型假设和模型建模的形式，来解决目标信息关联问题，存在研究思路多，研究成果杂，研究主线不清晰的问题，并且在实际运用中，假设不合理，与实际问题不匹配，实际运用效果差的问题也特别突出。近年来，随着陆、海、空、天平台观测技术迅速发展，可获取的目标信息日益丰富，目标的信息维度越来越高，已超越人的直观理解感知能力。对此，已难以继续按照传统的思路，通过手动设计关联检验模型对高维目标信息进行关联，迫切需要采用新思路、新理论和新手段来解决多目标高维信息关联问题。

近年，随着深度人工神经网络在语音识别、机器翻译和图像分类等多个研究领域取得成功，深度学习、机器学习等人工智能技术展现出了强大的技术能力和广阔应用前景。通过把多目标高维信息关联问题转换为分类问题，并采用深度神经网络技术进行解决已成为一种可行有效的技术途径，目前已有初步尝试。在深度学习中，数据，算力，网络结构和损失函数是神经网络最为重要的组成部分。在网络训练过程中，损失函数用于来评判预测结果和真实结果之间的偏差，网络优化通过计算反向传播梯度来实现网络模型参数的更新，引导网络做出更准确的预测，从而实现神经网络模型参数进一步优化。可见，损失函数决定网络获取具体能力的路径，对神经网络最终效果具有决定性影响，因此，对于多目标高维信息关联深度学习任务，设计合理、高效的损失函数很有必要。

发明内容

本发明实施例的目的是提供一种多目标信息关联神经网络损失函数计算方法及装置，为多目标信息关联神经网络训练优化提供合理高效的损失函数。具体技术方案如下：

第一方面，本发明实施例提供了一种多目标信息关联神经网络损失函数计算方法，所述方法包括：

设定多目标信息关联神经网络损失函数为

其中A_T表示正确关联对集合，A_F表示错误关联对集合，a＝(i₁,i₂,…,i_S)为关联对，i_j表示信源j的目标信息编号，对应第i_j个目标信息，信源个数为S，y_a为关联对标签，由外部输入，如果该关联对为正确关联对，即a∈A_T，y_a＝1，如果该关联对为错误关联对，即a∈A_F，y_a＝0，

为多目标信息关联神经网络的预测输出，表示关联对为正确关联对的概率，ω为样本不平衡加权系数；

在多目标信息关联神经网络内，设定与损失函数计算直接相关的目标关联预测网络部分，该网络部分的输入X为二维矩阵，每行表示一个关联对的关联向量，不同行对应不同关联对的关联向量，该网络部分的预测输出

为一维向量，表示X中每行所对应关联对为正确关联对的概率，作为整个多目标信息关联神经网络的输出；

在多目标信息关联神经网络内，位于目标关联预测网络部分前面，设定关联对关联向量构建网络部分，根据整个网络外部输入的关联对集合A，基于目标信息表示和全局特征信息表示，合成关联对对应的关联向量x_a，进一步合并构建成X，作为目标关联预测网络部分的输入；

在多目标信息关联神经网络训练过程中，按照多目标信息关联神经网络整体输入要求，输入目标信息样本数据和关联对集合A，得到网络预测输出

按照设定的损失函数，结合关联对集合A对应的外部输入标签Y，计算网络训练损失，可进一步作为神经网络训练优化目标函数，通过梯度反向传播算法，对待训练神经网络参数进行优化。

第二方面，本发明实施例还提供了一种多目标信息关联神经网络损失函数计算装置，所述装置包括：

目标关联预测网络模块，为多目标信息关联神经网络后端部分，与损失函数计算直接相关，输入为关联对集合A对应的关联向量X，输出为集合A内各关联对为正确关联对的预测概率

关联向量X由关联对关联向量构建网络模块提供；

关联对关联向量构建网络模块，为多目标信息关联神经网络后端部分，位于目标关联预测网络部分前面，根据整个网络外部输入的关联对集合A，基于目标信息表示和全局特征信息表示，生成目标关联预测网络部分的输入X；

损失函数直接计算模块，在多目标信息关联神经网络训练过程中，按照设定的损失函数计算公式，根据外部输入的关联对集合A、输入标签Y和目标关联预测网络的预测输出

计算多目标信息关联神经网络损失函数。

本发明实施例提出的一种多目标信息关联神经网络损失函数计算方法及装置，可提供一种适用于多目标信息关联问题的损失函数计算方法，可准确地估算网络关联预测结果与真实结果之间的偏差，进而在多目标信息关联神经网络训练过程中，引导神经网络模型参数快速优化，加快多目标信息关联神经网络收敛速度，从而使网络在实际运用中，能做出准确的关联预测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种多目标信息关联神经网络损失函数计算方法的一种流程示意图；

图2是本发明实施例提供的一种多目标信息关联神经网络损失函数计算装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为提供面向多目标信息关联问题，实际有效、有用的损失函数计算方法，本发明实施例提供了一种多目标信息关联神经网络损失函数计算方法，如图1所示，所述方法包括以下步骤：

步骤1：设定多目标信息关联神经网络损失函数为

其中A_T表示正确关联对集合，A_F表示错误关联对集合，a＝(i₁,i₂,…,i_S)为关联对，i_j表示信源j的目标信息编号，对应第i_j个目标信息，信源个数为S，y_a为关联对标签，由外部输入，如果该关联对为正确关联对，即a∈A_T，y_a＝1，如果该关联对为错误关联对，即a∈A_F，y_a＝0，

为多目标信息关联神经网络的预测输出，表示关联对为正确关联对的概率，ω为样本不平衡加权系数；

步骤1.1：a＝(i₁,i₂,…,i_S)为关联对，信源个数S≥2，i_j表示信源j的目标信息编号，对应第i_j个目标信息，0≤i_j≤N_j，N_j为信源j获取的目标信息数量，i_j＝0表示关联对中信源j对应的目标信息为空，即在该关联对中信源j目标信息不参与配对，关联对a中非零数量必须大于等于2，即关联对中至少需要2个不同信源目标信息参与关联；

步骤1.2：ω为样本不平衡加权系数，可以设定为固定系数，也可动态计算，一种合理的动态计算方法为ω_k＝||A_T||/||A_F||，||·||表示集合大小；

步骤1.3：同一信源j在不同的样本中，目标信息数量N_j可以是不同的，即在多目标信息关联问题中，同一信源不同场景下，在不同时刻，获取的目标信息数量可以是不同的。

步骤2：在多目标信息关联神经网络内，设定与损失函数计算直接相关的目标关联预测网络部分，该网络部分的输入X为二维矩阵，每行表示一个关联对的关联向量，不同行对应不同关联对的关联向量，该网络部分的预测输出

为一维向量，表示X中每行所对应关联对为正确关联对的概率，作为整个多目标信息关联神经网络的输出；

步骤2.1：多目标信息关联神经网络可划分为目标信息表示、全局特征信息提取、关联对关联向量构建和目标关联预测四大部分，目标信息表示网络部分用于信源目标信息的进一步抽取表示，或不同信源跨域目标信息的统一表示，全局特征信息提取网络部分用于提取与多目标信息关联相关的场景、多目标间结构拓扑等全局特征信息，关联对关联向量构建网络部分根据外部输入的关联对判决需求，基于多目标信息关联神经网络前端得到的目标信息表示和全局特征信息，构建关联对关联向量，该网络部分无待训练参数，主要依据关联对进行向量连接合并操作，为目标关联预测网络部分提供格式化输入，目标关联预测网络部分对关联对是正确的概率进行预测，其中全局特征信息提取网络部分是可选的，并且根据关联问题实际情况，对于同类信源目标信息关联，目标信息表示网络部分也可以省去，目标原始信息可直接作为目标信息表示，经关联对关联向量构建网络部分处理，输入到目标关联预测网络部分；

步骤2.2：目标关联预测网络部分输入X由关联对关联向量构建网络部分生成，为二维矩阵，由每个关联对对应的关联向量x_a沿矩阵第一维排列而成，即矩阵X的每行向量为关联对的关联向量，不同行对应不同的关联对，X的第一维大小与外部输入的关联对集合A大小相同，第二维大小与关联向量大小相同，目标关联预测网络部分输出

为输入X每个行向量所对应关联对是正确关联对的预测概率，为一维向量，向量大小与X的第一维大小相同，等于集合A大小；

步骤2.3：目标关联预测网络部分的最后激励输出为sigmoid输出，其网络层数，构建方法没有限制，可根据关联问题复杂程度进行设置，一般情况下可简单构建为多层感知机神经网络。

步骤3：在多目标信息关联神经网络内，位于目标关联预测网络部分前面，设定关联对关联向量构建网络部分，根据整个网络外部输入的关联对集合A，基于目标信息表示和全局特征信息表示，合成关联对对应的关联向量x_a，进一步合并构建成X，作为目标关联预测网络部分的输入；

步骤3.1：关联对为外部输入，表示需要网络进行的关联判决，需满足至少有2个不同信源目标信息参与关联的约束，即a＝(i₁,i₂,…,i_S)中非0个数应大于等于2；

步骤3.2：在训练阶段，关联对集合既包括正确关联对，又包括错误关联对，关联对的正确与否由输入标签Y表示，一种训练阶段集合A构建方法是直接包含所有可能的关联对，此时

||·||表示集合大小，N_j为信源j获取的目标信息数量，S为信源个数，另一种训练阶段集合A构建方法是对正确关联对无差别全部放入，对错误关联对抽样放入；

步骤3.3：在训练阶段，构建正确关联对时，对于信源个数S≥3的多目标关联问题，如果a＝(i₁,i₂,…,i_S)为正确关联对，a∈A_T，那么通过设置a中任意一个或多个非零目标信息编号为0构成的新关联对a′也是正确关联对，a′∈A_T，即如果不同信源的多个目标信息是关联，那么其中任意两个或多个目标信息也是关联的；

步骤3.4：关联向量x_a由关联对所对应的不同信源目标信息表示和全局信息表示联合构建，其中全局特征信息可根据需要添加，不是必须项，一种简单的关联向量x_a构建方法是根据关联对组合顺序和内容，直接把不同信源相应目标信息表示向量连接一起，对于目标信息编号为0的情况，可采用与目标信息表示相同大小的标示常向量进行统一表示，标示常向量可选0向量。

步骤4：在多目标信息关联神经网络训练过程中，按照多目标信息关联神经网络整体输入要求，输入目标信息样本数据和关联对集合A，得到网络预测输出

按照设定的损失函数，结合关联对集合A对应的外部输入标签Y，计算网络训练损失，可进一步作为神经网络训练优化目标函数，通过梯度反向传播算法，对待训练神经网络参数进行优化；

步骤4.1：多目标信息关联神经网络训练时至少输入多源多目标原始信息，关联对集合A和对应的输入标签Y，实际网络预测时至少输入多源多目标原始信息和需要预测的关联对集合A；

步骤4.2：在多目标信息关联神经网络训练过程中，按照多目标信息关联神经网络整体输入要求，输入目标信息样本数据和关联对集合A，关联对关联向量构建网络部分，自动构建输入X，经目标关联预测网络部分处理，得到相应的关联预测输出

并结合外部输入的标签Y，按照损失函数计算公式，可计算得到整个多目标信息关联神经网络的训练损失；

步骤4.3：在多目标信息关联神经网络训练过程中，把设定的损失函数作为神经网络训练优化目标函数，通过梯度反向传播算法，计算待训练神经网络参数梯度，并采用神经网络优化算法，对待训练神经网络参数进行优化。

本发明实施例还提供了一种多目标信息关联神经网络损失函数计算装置，如图2所示，所述装置包括：

目标关联预测网络模块，为多目标信息关联神经网络后端部分，与损失函数计算直接相关，输入为关联对集合A对应的关联向量X，输出为集合A内各关联对为正确关联对的预测概率

关联向量X由关联对关联向量构建网络模块提供；

关联对关联向量构建网络模块，为多目标信息关联神经网络后端部分，位于目标关联预测网络部分前面，根据整个网络外部输入的关联对集合A，基于目标信息表示和全局特征信息表示，生成目标关联预测网络部分的输入X；

损失函数直接计算模块，在多目标信息关联神经网络训练过程中，按照设定的损失函数计算公式，根据外部输入的关联对集合A、输入标签Y和目标关联预测网络的预测输出

计算多目标信息关联神经网络损失函数。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种多目标信息关联神经网络损失函数计算方法，其适用于多传感器信息融合领域，用于对不同传感器获取的报文、遥感图像、视频影像、语音、文本格式目标信息，围绕同一目标进行关联，该损失函数计算方法特征在于，包括以下步骤：

步骤1：设定多目标信息关联神经网络损失函数为

其中A_T表示正确关联对集合，A_F表示错误关联对集合，a＝(i₁,i₂,…,i_S)为关联对，i_j表示信源j的目标信息编号，对应第i_j个目标信息，信源个数为S，y_a为关联对标签，由外部输入，如果该关联对为正确关联对，即a∈A_T，y_a＝1，如果该关联对为错误关联对，即a∈A_F，y_a＝0，

为多目标信息关联神经网络的预测输出，表示关联对为正确关联对的概率，ω为样本不平衡加权系数；

步骤2：在多目标信息关联神经网络内，设定与损失函数计算直接相关的目标关联预测网络部分，该网络部分的输入X为二维矩阵，每行表示一个关联对的关联向量，不同行对应不同关联对的关联向量，该网络部分的预测输出

为一维向量，表示X中每行所对应关联对为正确关联对的概率，作为整个多目标信息关联神经网络的输出；

步骤3：在多目标信息关联神经网络内，位于目标关联预测网络部分前面，设定关联对关联向量构建网络部分，根据整个网络外部输入的关联对集合A，基于目标信息表示和全局特征信息表示，合成关联对对应的关联向量x_a，进一步合并构建成X，作为目标关联预测网络部分的输入，其中目标信息是指雷达、电子侦察、光电、卫星遥感以及卫星SAR手段获取的报文、遥感图像、视频影像、语音、文本格式信息，目标信息表示是指目标信息经特征提取和同一空间表示后得到的多维向量；

步骤4：在多目标信息关联神经网络训练过程中，按照多目标信息关联神经网络整体输入要求，输入目标信息样本数据和关联对集合A，得到网络预测输出

按照设定的损失函数，结合关联对集合A对应的外部输入标签Y，计算网络训练损失，可进一步作为神经网络训练优化目标函数，通过梯度反向传播算法，对待训练神经网络参数进行优化。

2.如权利要求1所述的一种多目标信息关联神经网络损失函数计算方法，其特征在于，所述步骤1中的ω可采用动态计算方法进行计算，计算公式为ω＝||A_T||/||A_F||，||·||表示集合大小，A_T表示正确关联对集合，A_F表示错误关联对集合。

3.如权利要求1所述的一种多目标信息关联神经网络损失函数计算方法，其特征在于，所述步骤3中一种训练阶段集合A构建方法是直接包含所有可能的关联对，此时

||·||表示集合大小，N_j为信源j获取的目标信息数量，S为信源个数。

4.如权利要求1所述的一种多目标信息关联神经网络损失函数计算方法，其特征在于，所述步骤3中一种训练阶段集合A构建方法是对正确关联对无差别全部放入，对错误关联对抽样放入。

5.如权利要求1所述的一种多目标信息关联神经网络损失函数计算方法，其特征在于，所述步骤3中一种简单的关联向量x_a构建方法是根据关联对具体组合顺序和内容，直接把不同信源相应目标信息表示向量连接一起。

6.如权利要求1所述的一种多目标信息关联神经网络损失函数计算方法，其特征在于，所述步骤3中的关联向量合成，对于目标信息编号为0的情况，采用与目标信息表示相同大小的标示常向量进行统一表示。

7.一种多目标信息关联神经网络损失函数计算装置，适用于多传感器信息融合领域，用于对不同传感器获取的报文、遥感图像、视频影像、语音、文本格式目标信息，围绕同一目标进行关联，其特征在于，所述装置包括：

目标关联预测网络模块，为多目标信息关联神经网络后端部分，与损失函数计算直接相关，输入为关联对集合A对应的关联向量X，输出为集合A内各关联对为正确关联对的预测概率

关联向量X由关联对关联向量构建网络模块提供；

关联对关联向量构建网络模块，为多目标信息关联神经网络后端部分，位于目标关联预测网络部分前面，根据整个网络外部输入的关联对集合A，基于目标信息表示和全局特征信息表示，生成目标关联预测网络部分的输入X；其中目标信息是指雷达、电子侦察、光电、卫星遥感以及卫星SAR手段获取的报文、遥感图像、视频影像、语音、文本格式信息，目标信息表示是指目标信息经特征提取和同一空间表示后得到的多维向量；

损失函数直接计算模块，在多目标信息关联神经网络训练过程中，按照给定的损失函数计算公式，根据外部输入的关联对集合A、输入标签Y和目标关联预测网络的预测输出

计算多目标信息关联神经网络损失函数；所述给定的损失函数为

其中A_T表示正确关联对集合，A_F表示错误关联对集合，a＝(i₁,i₂,…,i_S)为关联对，i_j表示信源j的目标信息编号，对应第i_j个目标信息，信源个数为S，y_a为关联对标签，由外部输入，如果该关联对为正确关联对，即a∈A_T，y_a＝1，如果该关联对为错误关联对，即a∈A_F，y_a＝0，

为多目标信息关联神经网络的预测输出，表示关联对为正确关联对的概率，ω为样本不平衡加权系数。

Images