CN111582356B - 一种目标信息统一表示及关联方法 - Google Patents

Abstract

本发明公开了一种目标信息统一表示及关联方法，属于信息融合和情报综合领域，主要解决现有表示方法无法统一表示不同平台不同手段所获取各类目标信息的问题，及现有关联方法信息利用率低的问题。一种目标信息统一表示方法首先对各信源获取的目标信息进行抽取，然后通过时空变换和跨域类别信息统一表征网络，分别转换为同一空间向量，并最终合并为目标信息统一表示向量。一种目标信息关联方法以统一表示方法为基础，通过目标信息统一表示，关联信息张量计算、多目标信息关联深度神经网络和关联矩阵判决，最终得了目标关联关系。所提方法具有适用范围广、适配场景多、实用效果好等优点，可应用解决各类信源间的统一表示及关联问题。

Description

一种目标信息统一表示及关联方法

技术领域

本发明涉及多源信息融合技术，更具体地，本发明涉及一种目标信息统一表示及关联方法，适用于信息融合和情报综合领域中不同平台不同手段所获取各类不同格式目标信息的统一表示与关联问题。

背景技术

目标信息主要是指雷达、电子侦察、光电、卫星遥感以及卫星SAR等各型主被动手段获取的，描述所关注目标在哪里、是什么的信息，一般用于跟踪、监视、识别任务，主要格式包括格式化报文、遥感图像、视频影像、语音、文本等。目标信息包含时空信息和类别信息两大部分，它们分别对目标某时刻空间地理位置和具体的类别型号进行描述。其中时空信息包括时间、位置、航速、航向等，是共性基础信息，维度低，不同手段获取的目标时空信息经过简单的时间转换和坐标系变换可以很容易表示在同一个空间内。类别信息是领域相关信息，不同手段获取的类别信息跨领域、差异大，难以统一到相同空间内，譬如高分辨雷达获取的一维像类别信息，卫星遥感获取的轮廓类别信息。目标统一表示是指对不同平台不同手段所获取不同格式目标信息进行同一维度空间向量表示，目标信息关联则是在多目标场景下，根据不同平台不同手段获取信息间的内在相似性，对源于同一目标的多源多域目标信息进行关联判断，确定关联关系。目标信息统一表示和信息关联是多源信息融合的核心关键环节，是信息融合后续其他处理的前提和基础，只有不同平台不同手段所获取目标信息能统一表示，才能进行后续的其他处理，只有多源多目标信息关联正确，才能进一步聚焦到关注目标，对目标所有信息进行融合处理。然而对于目标信息统一表示问题，目前还没有相关技术实现跨域类别信息间以及最终与时空信息间的统一表示。因此，由于目标信息无法统一表示，对于目标信息关联问题，目前没有统一的解决方案和整体的技术方法，一般是在特定问题场景中仅进行时空信息关联或类别信息关联。其中时空信息关联技术研究较多的有雷达信息处理领域中的目标航迹跟踪问题和多目标航迹关联问题，主要对目标单个时间点空间位置信息或多个时间点空间位置序列进行关联，一般不考虑类别信息，相应场景技术有点航关联技术、接续关联技术以及航迹关联技术等。目标类别信息关联则研究较少，工程应用中一般是先各自进行目标识别，然后再对识别结果进行简单匹配或证据判决，存在信息损失的问题。关于目标信息统一表示与关联，其他领域中比较相关的研究有图像相似性度量、图像检索技术和跨媒体检索技术等，它们主要侧重于在多媒体领域进行不同格式信息的统一表示、相似排序和类型识别等共性基础问题的研究，在信息统一表示研究中缺乏对跟踪监视识别背景中重要时空信息的考虑，在信息关联研究中则缺乏多目标场景的考虑。综上可知，当前技术方法仅解决了时空信息统一表示和特定场景下时空信息关联问题，尚未实现时空信息和类别信息的统一表示和关联，实际应用范围有限，因此亟需一种目标信息统一表示及关联方法，能适用于解决雷达、电子侦察、光电、卫星遥感以及卫星SAR等不同手段获取信息的统一表示和关联问题。

发明内容

本发明的目的是基于深度学习，设计一种目标信息统一表示方法，以及基于此的一种目标信息关联方法，提供统一的解决框架和具体的技术方法，解决现有表示方法难以有效涵盖各种类别信息，无法统一时空信息与类别信息的问题，以及现有关联方法信息利用率低，适用场景有限的问题。

本发明所述的一种目标信息统一表示方法，具体包括以下技术措施：

对各信源获取的目标信息进行抽取，分别提取出时空信息和类别信息；

通过时间和坐标系变换，把不同信源获取的时空信息变换到同一坐标系下；

采用深度学习方法，构建生成跨域类别信息统一表征网络，把不同信源获取的不同格式类别信息转换到同一表征空间内，一致表示为同维度向量，表征空间内距离是对类别信息关联程度的度量；

合并转换后的时空信息向量和类别信息向量，得到目标信息向量，即为目标信息的统一表示向量。

本发明所述的一种目标信息关联方法，具体包括以下技术措施：

采用本发明所述的一种目标信息统一表示方法对目标信息进行统一表示，得到目标信息向量；

对两个目标间信息向量距离进行度量，得到目标信息距离向量；

排列组合同信源和异信源所有两个目标间的信息距离向量，得到多维关联信息张量；

以关联信息张量为输入，以关联结果矩阵为输出，构建多目标信息关联深度神经网络，同时建立训练数据集，选定损失函数，通过网络寻优学习，得到具体的多目标信息关联深度神经网络，同时选择关联结果判决方法，最终得到信息关联方法。

本发明提出的一种目标信息统一表示及关联方法，基于深度神经网络方法，实现时空信息和类别信息的统一表示，和多目标关联关系判决，信息利用率高，同时可基于大量训练样本数据，快速生成与具体信息融合问题相匹配的表示及关联方法，适用于解决雷达、电子侦察、光电、卫星遥感以及卫星SAR等不同手段获取的，具有格式化报文、遥感图像、视频影像、语音、信号、文本等多种格式的目标信息统一表示及关联问题，具有适用范围广、适配场景多、实用效果好等优点，所生成的表示及关联方法可无需调试直接应用于相应实际问题中，实用性强。

附图说明

图1是一种目标信息统一表示方法流程图；

图2是跨域类别信息统一表征网络训练流程图；

图3是一种目标信息关联方法流程图；

图4是多目标信息关联深度神经网络训练流程图；

具体实施方式

如图1所示，本发明提出的一种目标信息统一表示方法包括以下步骤：

步骤1：对各信源获取的目标信息进行抽取，分别提取出时空信息和类别信息，其中时空信息是指所有与时间地理空间有关的信息要素，包括时间、位置、航速、航向，类别信息是指所有与目标类别型号相关的信息单元，可以是光学图像切片、遥感图像切片、目标类别、目标大小、平台雷达信号、平台通信信号；

步骤1.1：根据目标信息数据类型，选用匹配的信息提取方法，分别提取出时空信息和类别信息，提取出的时空信息必须表示为数值格式，类别信息可仍保持为原始的图像、视频、文本、语音、信号格式；

步骤1.2：对于目标信息数据类型是格式化报文数据的情况，根据报文编码格式，直接提取出时空信息和类别信息；

步骤1.3：对于感图像、视频影像、语音、信号、文本数据类型，目标信息数据类型不是格式化报文数据的情况，采用匹配的信息提取方法，提取出时空信息和类别信息，其中对于遥感图像和视频影像可采用卷积神经网络，通过目标检测与切片生成，获取类别信息，根据图像像素与空间地理的对应关系，或者通过识别图片上的地理位置文字标注，获取时空信息，对于语音和文本，可采用循环卷积神经网络，识别出时空信息，并切割提取出类别信息；

步骤1.4：对于信源本身无法获取时空信息，或者类别信息，采用特殊格式的数字和字符对缺失信息进行补全，以保持形式的完整和统一。对于缺失的类别信息，可采用特殊字符“未知”进行补全，对于缺失的时空信息，可采用全零向量进行补全；

步骤2：通过时间和坐标系变换，把不同信源获取的时空信息变换到同一坐标系下；

步骤2.1：选择共同的时间零点，相同时间单位，通过时间转换，把不同信源获取的时间信息统一表示为基于相同时间基点和同一时间单位的绝对时间数值，其中时间零点可以采用Unix时间，以1970年1月1日0时为零点，时间单位包括秒、毫秒、微秒，；

步骤2.2：选择共同坐标系，通过坐标变换，把不同信源获取的空间位置信息转换到同一坐标系内，其中共同坐标系可以选择经纬高地理坐标系、大地直角坐标系或者北东天局部直角坐标系；

步骤3：如图2所示，采用深度学习方法，构建生成跨域类别信息统一表征网络，把不同信源获取的不同格式类别信息转换到同一表征空间内，一致表示为同维度向量，表征空间内距离是对类别信息关联程度的度量；

步骤3.1：选择适配的预处理方法，把图像、视频影像、语音、信号、文本不同格式的类别信息转换为图结构数据，对于语音、信号采用傅里叶变换，生成频谱图，对于文本可采用 One-hot编码，生成图结构数据；

步骤3.2：利用高效的深度神经网络结构，构建跨域类别信息统一表征网络，设计合理的损失函数，通过最大化不同类别目标的类别信息间距离，最小化同一类别目标的类别信息间距离，把不同格式类别信息最终表征为同一空间内同维度向量，其中深度神经网络结构可采用ResNet-50，损失函数可采用对比损失函数、三元组损失函数或排序损失函数；

步骤3.3：结合具体关联问题，收集、整理、标注和生成类别信息统一表征网络训练数据集，数据集样本为相关信源获取的不同格式类别信息，涵盖遥感图像、SAR图像、光学图像、雷达信号、通信信号、文本、音频，每个样本标签为类别信息所对应的目标类别，其中目标类别是对不同格式类别信息对应关系进行标示，其粒度需根据不同手段能力进行设定，可以细粒度到目标具体型号，也可以粗粒度到目标隶属的大类类别，或者人工对相关联的不同格式信息自由设定相同的目标类别号；

步骤3.4：通过神经网络训练优化，利用生成的类别信息统一表征网络训练数据集，对跨域类别信息统一表征网络权重参数进行训练寻优，生成具体的跨域类别信息统一表征网络；

步骤4：合并转换后的时空信息向量和类别信息向量，得到目标信息向量，即为目标信息的统一表示向量。

如图3所示，本发明提出的一种目标信息关联方法包括以下步骤：

步骤5：采用本发明所述的一种目标信息统一表示方法对目标信息进行统一表示，得到目标信息向量；

步骤6：计算两目标相近时间点目标信息向量距离，得到目标信息距离；

步骤6.1：对两目标各自的目标信息向量进行要素提取，提取出时间、位置向量、状态向量、类别向量，其中位置向量包含目标的空间位置信息，状态向量包含航速、航向、姿态信息，类别向量为类别信息向量，如果目标信息向量不包含状态向量，状态向量为空，不进行后续操作；

步骤6.2：对于两目标各自提取出的位置向量，采用L2范数进行距离度量，得到位置向量距离，对于两目标各自提取出的状态向量，采用L1范数进行距离度量，得到状态向量距离，由于两个目标信息获取时间点一般是不同的，在计算位置向量距离的时候，需要先进行时间对齐，并根据时间间隔大小，增大位置向量距离的直接度量结果，以表示相隔时间段内存在的不确定性和模糊性，在计算状态向量距离的时候，同样需要根据时间间隔，增大原有直接度量结果；

步骤6.3：对于两目标各自提取出的类别信息向量，采用余弦距离，L2范数，或L1范数，或直接采用向量相减，进行距离度量，得到类别信息距离；

步骤6.4：把两目标位置向量距离、状态向量距离和类别向量距离直接合并一起，得到目标信息距离。

步骤7：按照设定规则，对各信源获取的目标信息进行编号，并按照目标编号顺序，对相近时间点同源不同目标间的信息距离和不同信源不同目标间的信息距离进行排列合并，得到多维关联信息张量；

步骤7.1：按照设定规则，对各信源获取的目标信息分别进行编号，可按照目标空间位置分布进行编号，沿着位置空间不同坐标维度，依据坐标由大到小的顺序对同一信源所有目标信息统一进行编号，在信源内，每个目标信息编号唯一；

步骤7.2：按照目标信息编号顺序，对同一信源不同目标间的信息距离进行排列，构成同源关联信息张量，其中张量的第一和第二维表示目标信息编号，第三维表示对应的信息距离向量；

步骤7.3：按照目标信息编号顺序，对两信源不同目标间的信息距离进行排列，构成异源关联信息张量，其中张量的第一维表示信源1目标信息编号，第二维表示信源2目标信息编号，第三维表示对应的信息距离向量；

步骤7.4：对得到两个同源关联信息张量，一个异源关联信息张量，把他们沿第三维合并在一起，作为最终的两信源关联信息张量；

步骤8：如图4所示，以关联信息张量为网络输入，以关联结果矩阵为网络输出，构建多目标信息关联深度神经网络，同时收集、整理、标注、生成相应的训练数据集，选定损失函数，通过网络寻优学习，得到具体的多目标信息关联深度神经网络，同时选择关联结果判决方法，最终得到信息关联方法；

步骤8.1：对两信源多目标信息关联结果进行数学表示，得到关联结果矩阵，第一维表示信源1的目标信息编号，第二维表示信源2的目标信息编号，矩阵相应位置元素为1或0，为1表示该位置所在行对应的信源1目标信息与所在列对应的信源2目标信息是相关联的，为0表示不关联；

步骤8.2：以关联信息张量为网络输入，关联结果矩阵为网络输出，以卷积层和池化层为基本单元，构建多目标信息关联深度神经网络；

步骤8.3：广泛收集两信源多目标信息关联历史数据，对每一个关联样本，计算得到关联信息张量和关联结果矩阵，作为网络的输入和期望输出，构建关联网络训练数据集，并进一步对关联信息张量进行数值归一化和张量大小统一处理；

步骤8.4：利用关联网络训练数据集，采用交叉熵损失函数，对网络参数进行训练寻优，生成具体的多目标信息关联深度神经网络；

步骤8.5：采用矩阵判决方法，对多目标信息关联深度神经网络输出的关联结果矩阵进行关联判决，可采用关联系数最大法，每行的行号表示信源1的目标信息编号，行最大值对应的列号表示相关联的信源2的目标信息编号；

步骤9：至此，已得到由关联信息张量计算、多目标信息关联深度神经网络和关联矩阵判决方法构成的目标信息关联方法，对于待关联的两信源多目标信息，先求解关联信息张量，然后利用多目标信息关联深度神经网络，生成关联结果矩阵，最终通过关联矩阵判决，得到两信源间目标信息的关联关系。

步骤10：对于信源超过两个，或者两信源分别获得了超过两个时间点目标信息的目标信息关联问题，可通过问题转换和结果合成，把超过两个信源或者超过两个时间点的目标信息关联问题，转换为多个两信源单时间点目标信息关联问题进行解决；

步骤10.1：对于信源数量超过两个，通过任意两信源组合，把多信源目标信息关联问题转换为多个两信源目标信息关联问题，进行多目标信息关联，并按照一致性关联结果相合并，冲突性关联结果选最优的原则，对多个两信源间目标信息关联结果进行合成，生成最终的多信源多目标信息关联结果；

步骤10.2：对于两信源均获取了超过两个时间点目标信息，则分别对每个相近时间点目标信息进行关联，并采用投票法对所有时间点得到的关联结果进行合成。

为更好阐述本发明，下面以光学卫星与SAR卫星两信源间多目标信息关联为具体实施例，对本发明步骤进行详细说明。

该实施例下，一种目标信息统一表示方法包括：

步骤11：分别对光学卫星与SAR卫星两信源获取的目标信息进行抽取，分别提取出时空信息和类别信息；

步骤11.1：光学卫星与SAR卫星分别能获得遥感光学图像和SAR图像，它们均不是格式化报文数据，不能直接抽取出时空信息和类别信息，需要采取有效的提取方法进一步进行处理；

步骤11.2：对于光学卫星获取的光学图像，可采用传统的目标检测方法或基于深度神经网络的目标检测方法，对遥感图像中目标进行检测和切片，得到类别信息，进一步根据遥感图像像素位置与空间地理位置的映射关系，结合图像的拍摄时间，得到切片对应的时空信息；

步骤11.3：对于SAR卫星获取的SAR图像，可采用适用于SAR图像的目标检测方法，按照相同的方法进行处理；

步骤11.4：通过信息抽取，光学图像得到的时空信息包括时间、经度、纬度，类别信息为光学图像切片，SAR图像得到时空信息包括时间、经度、纬度，类别信息为SAR图像切片；

步骤12：通过时间和坐标系变换，把不同信源获取的时空信息变换到同一坐标系下；

步骤12.1：光学图像和遥感图像的时间一般为年月日时分秒字符串格式，可采用Unix时间，把它们转换为绝对秒数字时间；

步骤12.2：光学图像和遥感图像的空间位置均是在相同的地理坐标系下得到的，无需进行坐标系变换，如果经纬度采用度分秒子字符串格式，需要转换为单位为度的数值格式；

步骤13：采用深度学习方法，构建生成跨域类别信息统一表征网络，把不同信源获取的不同格式类别信息转换到同一表征空间内，一致表示为同维度向量；

步骤13.1：选取合适的网络张量输入尺寸，通过零填充和通道复制预处理方法，统一光学图像类别信息切片和遥感图像类别信息切片大小；

步骤13.2：基于ResNet-50卷积神经网络结构，通过去掉ResNet-50最后用于分别识别的 softmax层，直接输出全连接层，构建跨域类别信息统一表征网络；

步骤13.3：广泛收集两个待关联信源或者同型其他信源各自获取的光学图像和SAR图像，通过抽取处理，获得光学图像类别信息切片和SAR图像类别信息切片，对于相关联的光学图像切片和SAR图像切片进行人工标注，对于已知目标型号，采用目标名进行标注，对于未知目标，人工设置目标名进行标注，以标注后的图像切片为样本，构建统一表征网络训练数据集；

步骤13.4：采用排序损失函数，通过神经网络训练优化方法，利用生成的统一表征网络训练数据集，对统一表征网络权重参数进行训练寻优，生成具体的跨域类别信息统一表征网络；

步骤14：对于光学图像和SAR图像，分别合并抽取转换后的时空信息向量和类别信息向量，得到光学图像的目标信息向量表示和SAR图像的目标信息向量。

该实施例下，一种目标信息统一表示方法包括：

步骤15：采用本发明所述的一种目标信息统一表示方法对目标信息进行统一表示，得到光学图像的目标信息向量表示和SAR图像的目标信息向量；

步骤16：采用合适的度量方法，计算两目标相近时间点目标信息向量距离，得到目标信息距离；

步骤16.1：对两目标各自的目标信息向量进行要素提取，提取出时间、位置向量、状态向量、类别向量，其中位置向量包含目标的空间位置信息，状态向量为空，类别向量为类别信息向量；

步骤16.2：采用L2范数，通过时间对齐，对两目标位置向量进行度量，计算得到空间信息距离标量，在进行时间对齐时，可根据目标类别，通过预估合理的目标运动速度进行对齐；

步骤16.3：采用L2范数，对两目标的类别信息距离进行度量，计算得到信息距离标量；

步骤16.4：把两目标位置向量和类别向量部分的距离度量结果直接合并一起，得到目标信息距离。

步骤17：按照设定规则，对各信源获取的目标信息进行编号，并按照目标编号顺序，对相近时间点同源不同目标间的信息距离和不同信源不同目标间的信息距离进行排列合并，得到多维关联信息张量；

步骤17.1：先按照纬度大小，纬度相同情况下按照经度大小，依照坐标值从大到小的顺序对同一信源所有目标信息统一进行编号；

步骤17.2：按照目标信息编号顺序，分别对光学卫星和SAR卫星同源不同目标间的信息距离进行排列，构成同源光学卫星关联信息张量和同源SAR卫星关联信息张量，其中张量的第一和第二维表示目标信息编号，第三维表示对应的信息距离向量；

步骤17.3：按照目标信息编号顺序，对两信源不同目标间的信息距离进行排列，构成异源关联信息张量，其中张量的第一维表示光学卫星信源1目标信息编号，第二维表示SAR卫星信源2目标信息编号，第三维表示对应的信息距离向量；

步骤17.4：对得到的同源光学卫星关联信息张量，同源SAR卫星关联信息张量和异源关联信息张量，把异源关联信息张量放中间，沿第三维合并在一起，得到最终的两信源关联信息张量；

步骤18：以关联信息张量为网络输入，以关联结果矩阵为网输出，构建多目标信息关联深度神经网络，同时收集、整理、标注、生成相应的训练数据集，采用交叉熵损失函数，通过网络寻优学习，得到具体的多目标信息关联深度神经网络，同时选择合适的关联结果判决方法，最终得到多目标信息智能关联方法；

步骤18.1：对两信源多目标信息关联结果进行数学表示，得到关联结果矩阵，第一维表示光学卫星信源1的目标信息编号，第二维表示SAR卫星信源2的目标信息编号，如果该位置所在行对应的信源1目标信息与所在列对应的信源2目标信息是相关联的，矩阵相应位置元素设置为1，否则设置为0；

步骤18.2：以关联信息张量为网络输入，关联结果矩阵为网络输出，参照ResNet-50网络，构建多目标信息关联深度神经网络；

步骤18.3：广泛收集两信源同一关联场景的多目标信息历史数据，对每一个关联样本，计算得到关联信息张量和关联结果矩阵，作为网络的输入和期望输出，构建关联网络训练数据集，并进一步对关联信息张量进行数值归一化和张量大小统一处理；

步骤18.4：利用关联网络训练数据集，采用交叉熵损失函数，对网络参数进行训练寻优，生成具体的多目标信息关联深度神经网络；

步骤18.5：采用关联系数最大法，对多目标信息关联深度神经网络输出的关联结果矩阵进行关联判决，生成两信源关联关系，行最大值对应的列号表示与该行相关联的信源2目标信息编号；

步骤19：至此，已得到适用于光学卫星与SAR卫星，由关联信息张量计算方法、多目标信息关联深度神经网络和关联矩阵判决方法构成的信息关联方法，对于待关联的光学卫星与SAR卫星多目标信息，先求解关联信息张量，然后利用多目标信息关联深度神经网络，生成关联结果矩阵，最终通过关联矩阵判决，得到两信源多目标信息的关联关系。

Claims (9)

1.一种目标信息统一表示方法，其特征在于，包括以下步骤：

步骤1：对各信源获取的目标信息进行抽取，分别提取出时空信息和类别信息；

步骤2：通过时间和坐标系变换，把不同信源获取的时空信息变换到同一坐标系下；

步骤3：采用深度学习方法，构建生成跨域类别信息统一表征网络，把不同信源获取的不同格式类别信息转换到同一表征空间内，一致表示为同维度向量，表征空间内距离是对类别信息关联程度的度量；

步骤4：合并转换后的时空信息向量和类别信息向量，得到目标信息向量，即为目标信息的统一表示向量。

2.如权利要求1所述的一种目标信息统一表示方法，其特征在于，所述步骤1具体包括以下子步骤：

步骤1.1：根据目标信息数据类型，选用匹配的信息提取方法，分别提取出时空信息和类别信息，提取出的时空信息必须表示为数值格式，类别信息可仍保持为原始的图像、视频、文本、语音、信号格式；

步骤1.2：对于目标信息数据类型是格式化报文数据的情况，根据报文编码格式，直接提取出时空信息和类别信息；

步骤1.3：对于遥感图像、视频影像、语音、信号、文本数据类型，目标信息数据类型不是格式化报文数据的情况，采用匹配的信息提取方法，提取出时空信息和类别信息；

步骤1.4：对于信源本身无法获取时空信息，或者类别信息，采用特殊格式的数字和字符对缺失信息进行补全，以保持形式的完整和统一。

3.如权利要求1所述的一种目标信息统一表示方法，其特征在于，所述步骤2具体包括以下子步骤：

步骤2.1：选择共同的时间零点，相同时间单位，通过时间转换，把不同信源获取的时间信息统一表示为基于相同时间基点和同一时间单位的绝对时间数值；

步骤2.2：选择共同坐标系，通过坐标变换，把不同信源获取的空间位置信息转换到同一坐标系内。

4.如权利要求1所述的一种目标信息统一表示方法，其特征在于，所述步骤3具体包括以下子步骤：

步骤3.1：选择适配的预处理方法，把图像、视频影像、语音、信号、文本不同格式的类别信息转换为图结构数据；

步骤3.2：利用高效的深度神经网络结构，构建跨域类别信息统一表征网络，设计合理的损失函数，通过最大化不同类别目标的类别信息间距离，最小化同一类别目标的类别信息间距离，把不同格式类别信息最终表征为同一空间内同维度向量；

步骤3.3：结合具体关联问题，收集、整理、标注和生成类别信息统一表征网络训练数据集，数据集样本为相关信源获取的不同格式类别信息，每个样本标签为类别信息所对应的目标类别；

步骤3.4：通过神经网络训练优化，利用生成的类别信息统一表征网络训练数据集，对跨域类别信息统一表征网络权重参数进行训练寻优，生成具体的跨域类别信息统一表征网络。

5.如权利要求2所述的一种目标信息统一表示方法，其特征在于，所述步骤1.3中匹配的信息提取方法具体包括：对于遥感图像和视频影像采用卷积神经网络，通过目标检测与切片生成，获取类别信息，根据图像像素与空间地理的对应关系，或者通过识别图片上的地理位置文字标注，获取时空信息，对于语音和文本，采用循环卷积神经网络，识别出时空信息，并切割提取出类别信息。

6.如权利要求4所述的一种目标信息统一表示方法，其特征在于，所述步骤3.1中不同类别信息转换为图结构数据的转换方法具体为：语音、信号采用傅里叶变换，生成频谱图，文本采用One-hot编码，生成图结构数据。

7.如权利要求4所述的一种目标信息统一表示方法，其特征在于，所述步骤3.2中损失函数包括：对比损失函数、三元组损失函数和排序损失函数。

8.一种目标信息关联方法，其特征在于，在权利要求1-7任一所述一种目标信息统一表示方法的基础上，还包括如下步骤：

步骤5：采用权利要求1-7任一所述的一种目标信息统一表示方法对目标信息进行统一表示，得到目标信息向量；

步骤6：计算两目标相近时间点目标信息向量间距离，得到目标信息距离向量；

步骤7：对各信源获取的目标信息进行编号，并按照目标编号顺序，对相近时间点同源不同目标间的信息距离和不同信源不同目标间的信息距离进行排列合并，得到多维关联信息张量；

步骤8：以关联信息张量为网络输入，以关联结果矩阵为网络输出，构建多目标信息关联深度神经网络，同时收集、整理、标注、生成相应的训练数据集，选定损失函数，通过网络寻优学习，得到具体的多目标信息关联深度神经网络，同时选择关联结果判决方法，最终得到信息关联方法；

步骤9：对于待关联的两信源多目标信息，先求解关联信息张量，然后利用多目标信息关联深度神经网络，生成关联结果矩阵，最终通过关联矩阵判决，得到两信源间目标信息的关联关系。

9.如权利要求8所述的一种目标信息关联方法，其特征在于，对于信源超过两个，或者两信源分别获得了超过两个时间点目标信息的目标信息关联问题，通过问题转换和结果合成，把超过两个信源或者超过两个时间点的目标信息关联问题，转换为多个两信源单时间点目标信息关联问题进行解决。

Images