CN110321401B - 时空数据关联深度学习方法 - Google Patents

Abstract

本发明公开了一种时空数据关联深度学习方法，属于数据处理领域，主要解决现有方法假设多、适用范围窄、无法学习等问题。该方法首先对具体时空关联问题进行分析，制定时空信息单元编号规则。然后采用合适度量方法，构建关联张量输入和关联判决输出数学表示。在此基础上，广泛采集关联场景样本，计算生成时空数据关联训练数据集。同时，基于典型深度卷积和循环神经网络结构，构建时空关联深度网络结构。最后，利用训练数据集，采用神经网络训练方法，训练生成具体的时空数据关联神经网络。基于生成的网络，输入实测时空数据，即可得到相应关联结果。该时空关联学习方法具有适用范围广、适配场景多、实用效果好等优点，可应用解决各类时空关联问题。

Description

时空数据关联深度学习方法

技术领域

本发明涉及时空数据关联技术，更具体地，本发明涉及一种基于深度卷积和循环神经网络的时空数据关联方法，适用于信息融合领域中的多源航迹关联问题，以及雷达数据处理领域中的点迹关联和点航关联问题。

背景技术

时空数据关联是根据同一目标不同时空数据间的时空相似性和连续性，对源于同一目标的不同时空信息进行关联判断，为后续优化处理提供关联映射。时空数据关联技术广泛应用于雷达数据处理领域和多源信息融合领域，贯穿于目标航迹起始、目标航迹状态更新以及多源航迹融合等各环节，呈现出点迹与点迹、点迹与航迹以及航迹与航迹等多种时空关联形式，包括航迹起始、航迹更新、航迹关联等多种具体关联技术，是一项极为重要和关键的技术类别。现有时空关联技术具有共同实现模式，基本可划分为关联矩阵构建和关联关系判决等两大步骤，其中关联矩阵构建主要是采用合适的距离、概率或者隶属度等度量方法，计算区域内各个不同时空数据间的相似度，以此为矩阵元素，构建关联矩阵，可采用的距离度量有欧氏距离、加权欧氏距离、明可夫斯基距离等。而关联关系判决则是基于关联矩阵，选取关联代价最小或关联概率最大等合适的目标函数，通过采用相应的目标寻优方法，来实现关联关系判决，其中关联代价最小对应的寻优方法有次优最近邻方法、最优Munkre方法以及最优Burgeois方法等，关联概率最大对应的寻优方法有概率加权和联合概率加权等。在上述两大步骤中，不同关联矩阵构建方法性能并无明显差别，均能实现关联相关信息的提取，而不同的关联关系判决方法则对关联结果具有决定性影响，相同的关联矩阵，不同的判决目标、准则和方法，会产生不同的关联判决结果，需要重点进行研究。当前，时空数据关联技术的发展，主要着力于解决目标密集、目标编队、目标机动、强杂波、大偏差、非高斯等复杂场景下的时空关联问题，基本研究思路为通过合理的假设，利用场景固有特性，研究提出适用于相应场景的时空关联技术，譬如基于最近航迹迭代、基于傅里叶变换、基于空间拓扑等多种解决大偏差时空关联问题的技术方法。然而，由于现有研究思路直接以某一种场景为前提条件，其所提方法一般仅能解决单一场景的关联问题，对于其他场景则存在难以适用或适用效果较差的问题，部分方法由于缺乏实测数据验证，还存在前提假设与实际情况不一致的问题。与此同时，由于不具备关联场景识别能力，无法自动选取与场景相匹配的关联方法，现有研究成果还存在难以实际部署应用的问题。综上可知，现有时空关联方法仍未从根本上解决复杂场景下的时空关联问题，当前亟需构建一种能解决各类场景关联问题，并且具备学习能力、能快速推广应用的时空关联方法。

发明内容

本发明的目的是构建一种通用、高效、可训练的时空关联方法，旨在克服现有时空关联方法的缺陷，解决现有时空关联方法假设多、适用范围窄、通适性差且无法学习的问题。

本发明所述的一种时空数据关联深度学习方法，具体包括以下技术措施：首先确定关联信息单元要素构成，制定时空信息单元编号规则。然后，采用合适的度量方法，构建关联张量输入和关联判决输出数学表示。在此基础上，广泛采集具体关联问题相关数据，计算得到网络输入张量样本，并人工辅助生成期望输出样本，构建时空数据关联训练数据集。同时，基于典型深度卷积神经网络和循环神经网络结构，构建时空关联深度网络结构。最后，利用训练数据集，采用神经网络训练方法，对网络参数进行训练寻优，生成具体的时空数据关联神经网络。至此，制定的时空数据编号规则、构建的输入关联张量和输出关联判决数学表示方法，以及训练好的时空关联深度网络，一起组成了所需的时空关联方法，输入实测时空数据，即可得到相应的关联结果。

本发明提出的一种时空数据关联深度学习方法，可基于大量训练样本数据，快速生成与具体时空关联问题相匹配的关联方法，具有适用范围广、适配场景多、实用效果好等优点，所生成的时空关联方法可无需调试直接应用于相应实际问题中，实用性强。

附图说明

图1是时空数据关联深度学习方法流程图。

图2是一种典型时空数据关联深度网络结构图。

具体实施方式

本发明提出的一种时空数据关联深度学习方法包括以下步骤：

步骤1：确定关联信息单元要素构成，制定时空信息单元编号规则；

步骤1.1：确定进行关联所要利用的信息单元要素构成，除时间和位置元素外，还包括哪些元素，以及时空信息单元是否为序列数据；

步骤1.2：后续步骤仅对两信源关联问题进行处理，如果具体时空关联问题为多源关联问题，首先转换多源关联问题为多个两信源关联问题，然后分别采用后续步骤进行处理，最后对处理得到的关联结果进行合成，得到多源关联问题结果，这里两个信源广泛表示要进行关联的两个不同的时空数据集合，不再具体指两个不同的探测手段；

步骤1.3：按照相同时空信息单元集合，不同时空信息单元编号顺序唯一的要求，基于信息单元空间位置信息，制定信息单元编号规则，依次对同一信源内信息单元进行编号，确保后续生成的关联张量和关联结果具有唯一性；

步骤1.4：一种简单有效的时空信息单元编号规则为按照由大到小的排序，先根据信息单元空间位置的Y坐标进行排序，Y相同情况下再进一步按照X坐标进行排序，每个信息单元在整个排序中的位置即为其编号，也可以由小到大，或者先X坐标后Y坐标的顺序进行排序；

步骤1.5：如果信息单元是序列数据，即信息单元内包含多个空间位置信息，可以采用序列平均空间位置作为信息单元的排序参照位置，也可采用序列首点或者末点位置作为排序参照位置；

步骤2：采用合适的度量方法，构建关联张量输入和关联判决输出数学表示；

步骤2.1：采用合适的度量方法，计算两个时空信息单元在相同时间点上各个信息要素间的距离，得到距离向量，如果单元内信息仅包括时间和位置信息，距离向量长度等于1，如果单位内还包括航速、航向或者其他属性信息，距离向量长度大于1，如果时间点不一致，在计算距离时，还要通过插值或外推，进行时间对齐处理；

步骤2.2：如果时空信息单元为序列数据，设定合适的序列长度，按照时间先后顺序，根据两序列时间匹配度，从两时空信息单元序列中选取定长序列，根据步骤2.1，计算两个选定序列相同或相近时间点间的信息距离，得到距离矩阵；

步骤2.3：在步骤2.2计算过程中，如果信息单元原有序列过短，可进行重复选取，信息单元序列的选取原则为，在满足设定序列长度的情况下，尽可能使同一信息单元序列元素间时间间隔大，不同序列对应元素时间差异小，从而能在准确度量序列空间距离的情况下，减少时间不一致引起的插值或外推误差；

步骤2.4：按照步骤2.1、2.2和2.3，计算两信源各个时空信息单元间距离，并根据信源内时空信息单元编号顺序，构建四维张量X，其中第一维表示时间序列，对应信息单元内序列点，第二维对应信源A信息单元编号，第三维对应信源B信息单元编号，第四维表示不同信息要素，张量相应位置元素表示两信源不同信息单元对应时间点上不同信息要素间距离，如果信息单元仅包含一个时间点数据，即不为序列数据，则四维张量X第一维长度为1，如果参与计算的信息单元元素仅包括时间和位置，则四维张量X第四维长度为1；

步骤2.5：构建关联判决输出数学表示矩阵Y，第一维表示信源A信息单元编号，与张量X第二维对应，第二维表示信源B信息单元编号，与张量X第三维对应，相应位置矩阵元素为1或0，为1表示该位置对应的信源A信息单元与信源B信息单元关联，为0表示不关联；

步骤3：广泛采集具体关联问题相关数据，计算得到网络输入样本，人工辅助生成期望输出样本，构建时空数据关联训练数据集；

步骤3.1：尽可能多、尽可能全地采集具体时空关联问题相关数据，由于本方法是与具体时空关联问题相关的，采集的数据要具有针对性，涵盖尽可能多的样例场景；

步骤3.2：利用每次采样数据，通过时空信息单元编号和关联张量计算，得到张量x，然后人工直接判断，或辅助修正现有时空关联方法处理结果，得到该采样数据对应的关联结果，并根据关联判决输出数学表示方法，得到y，把它们分别作为训练数据的x和y，构成训练样本；

步骤3.3：多个不同时刻或不同场景下得到的训练样本组合一起，并经过归一化处理，构成时空数据关联训练数据集；

步骤4：基于典型深度卷积神经网络和循环神经网络结构，构建时空关联深度网络结构；

步骤4.1：以卷积层和池化层为基本结构单元，借鉴图像识别中的深度处理结构，构建以张量X沿第一维切片作为输入的时空关联深度卷积网络部分，沿第一维切片，即沿时间维切片；

步骤4.2：如果四维张量X的第一维长度为1，时空关联深度卷积网络部分，直接连接Flatten、Dense和Reshape层，获得与期望输出矩阵大小相同的网络输出，此即为非序列数据情况下的时空关联深度网络结构；

步骤4.3：如果四维张量X的第一维长度大于1，采用并行处理或顺序处理结构进行处理；

步骤4.4：并行处理结构为利用步骤4.1构建的卷积网络，依次处理张量X时间切片，并通过Flatten层，把各个切片输出结果变成1维向量，然后通过Concatenate层合并连接所有切片得到的1维向量，最后通过Dense和Reshape层，获得与期望输出矩阵大小相同的网络输出；

步骤4.5：顺序处理结构为利用步骤4.1构建的卷积网络，顺序处理张量X时间切片，并通过Flatten层，把当前切片输出结果变成1维向量，然后输入循环神经网络，其输出结果最后通过Dense和Reshape层，获得与期望输出矩阵大小相同的网络输出，作为当前时序时刻的关联结果输出，可选用的神经网络结构有LSTM、GRU和RNN；

步骤5：利用训练数据集，采用神经网络训练方法，对网络参数进行训练寻优，生成具体的时空数据关联神经网络，输入实测时空数据，即可得到相应的关联结果；

步骤5.1：利用训练数据集，采用多分类问题的交叉熵损失函数作为目标函数，采用神经网络训练优化方法，对网络参数进行训练寻优，生成具体的时空数据关联神经网络；

步骤5.2：制定的时空信息单元编号规则、构建的关联张量输入和关联判决输出数学表示方法，以及训练好的时空关联深度网络，一起组成了所需的时空关联方法；

步骤5.3：利用实测数据，根据制定的时空信息单元编号规则和输入张量计算方法，计算时空关联深度网络输入张量，输入到时空关联深度网络，得到关联结果输出矩阵；

步骤5.4：关联结果输出矩阵每行最大值对应的信源B时空信息单元编号，即为该行对应信源A时空信息单元编号的关联结果，至此得到信源A与信源B时空数据关联结果。

为更好阐述本发明，下面以两雷达航迹关联为具体实施例，对本发明步骤进行详细说明：

步骤11：对两雷达航迹关联问题进行分析，确定进行关联所要利用的信息单元要素，以及时空信息单元是否由序列数据构成，并制定雷达航迹编号规则，对同一雷达航迹进行无歧义编号；

步骤11.1：两雷达航迹时空关联所要利用的信息单元为一段航迹，由航迹点构成，每个航迹点包括时间、位置、航速和航向元素；

步骤11.2：两雷达航迹关联非多源关联问题；

步骤11.3：求取两雷达每个航迹段的平均位置，作为航迹编号参照位置；

步骤11.4：对同一雷达所有航迹，先根据航迹参照位置Y坐标进行排序，Y坐标相同情况下再进一步按照X坐标进行排序，按照排序结果，从1开始，对同一雷达航迹进行编号，从而实现两部雷达航迹的分别排序编号；

步骤12：采用欧式距离，计算两雷达不同航迹间的距离，按照雷达航迹编号顺序，构建关联张量输入和关联判决输出数学表示；

步骤12.1：采用欧式距离，计算两雷达航迹对应航迹点在间的位置、航速和航向距离，得到距离向量，如果时间点不一致，在计算距离时，还要通过插值或外推，进行时间对齐处理；

步骤12.2：设定序列的长度为4，按照时间顺序和两序列时间匹配度，从两雷达航迹中选取4个匹配航迹点，根据步骤12.1，分别计算4个航迹点的距离，得到距离矩阵；

步骤12.3：按照步骤12.1和12.2，计算两雷达各个航迹间的距离矩阵，并根据各雷达航迹编号顺序，构建四维张量X，其中第一维表示时间，长度为4，第二维表示雷达A航迹编号，第三位表示雷达B航迹编号，第四维表示不同要素距离，包括位置、航速和航向，长度为3；

步骤12.4：构建关联判决输出数学表示矩阵Y，第一维表示雷达A航迹编号，第二维表示雷达B航迹编号，相应位置矩阵元素为1或0，为1表示行编号对应雷达A航迹与列编号对应雷达B航迹关联，为0表示不关联；

步骤13：根据航迹编号规则、关联张量计算方法和关联判决输出数学表示方法，广泛采集两雷达关联问题相关数据，计算得到网络输入样本，人工辅助生成期望输出样本，进而构建时空数据关联训练数据集；

步骤13.1：尽可能多、尽可能全地采集两雷达航迹关联相关数据；

步骤13.2：对两雷达航迹关联问题的每次采样数据进行处理，通过航迹编号和关联张量计算，得到张量x，然后人工辅助修正现有航迹关联方法处理结果，得到该采样数据对应的关联结果，并根据关联判决输出数学表示方法，得到y，分别作为训练数据的x和y，构成训练样本；

步骤13.3：多个不同时刻或不同场景下得到的训练样本组合一起，并沿输入张量X第四维度进行最大最小归一化处理，转换元素数值到[0,1]范围内，构成时空数据关联训练数据集；

步骤14：基于典型深度卷积神经网络和循环神经网络结构，构建时空关联深度网络结构；

步骤14.1：以卷积层和池化层为基本结构，借鉴图像识别中的深度处理结构，构建以四维张量X沿时间切片作为输入的时空关联深度卷积网络部分；

步骤14.2：利用步骤14.1构建的卷积网络，顺序处理张量X时间维切片，并通过Flatten层，把当前切片输出结果变成1维向量，然后输入GRU循环神经网络，其输出结果通过Dense和Reshape层，获得与期望输出矩阵大小相同的网络输出，作为当前时序时刻的关联结果输出，即为雷达航迹关联深度网络结构；

步骤15：利用训练数据集，采用神经网络训练方法，对网络参数进行训练寻优，生成雷达航迹关联神经网络，基于生成的网络，输入实测两雷达航迹数据，即可得到相应的关联结果；

步骤15.1：利用训练数据集，采用多分类问题的交叉熵损失函数作为目标函数，采用神经网络训练方法，对网络参数进行训练寻优，生成具体的雷达航迹关联神经网络；

步骤15.2：制定的时空数据编号规则、构建的输入张量计算方法和输出关联判决数学表示方法，以及训练好的雷达航迹关联神经网络，一起组成了所需的雷达航迹关联方法；

步骤15.3：利用实测数据，根据制定的航迹编号规则和输入张量计算方法，计算时空关联深度网络输入张量，输入到神经网络中，得到神经网络输出矩阵；

步骤15.4：神经网络输出矩阵矩阵每行最大值对应的雷达B航迹编号，作为该行对应雷达A编号航迹的关联结果，至此得到雷达A与B的航迹关联结果。

Claims (2)

1.时空数据关联深度学习方法，其特征在于，包括以下步骤：

步骤1：确定关联信息单元要素构成，制定时空信息单元编号规则；

步骤1.1：时空数据关联为航迹关联、点迹关联或点航关联，对应的关联信息单元为航迹与航迹、点迹与点迹，或者点迹与航迹，航迹段由时序点迹构成，单个点迹包括时间、位置、航速和航向元素；

步骤1.2：如果具体时空关联问题为多源关联问题，首先转换多源关联问题为多个两信源关联问题，然后分别采用后续步骤进行处理，最后对处理得到的关联结果进行合成，得到多源关联问题结果；

步骤1.3：基于信息单元空间位置信息，制定信息单元编号规则，依次对同一信源内信息单元进行编号；

步骤2：采用欧式距离度量方法，构建关联张量输入和关联判决输出数学表示；

步骤2.1：采用欧式距离度量方法，计算两个时空信息单元在相同时间点上位置、航速和航向信息要素间的距离，得到距离向量；

步骤2.2：如果时空信息单元为序列数据，设定序列长度，按照时间先后顺序，根据两序列时间匹配度，从两时空信息单元序列中选取定长序列，根据步骤2.1，计算两个选定序列相同时间点间的信息距离，得到距离矩阵；

步骤2.3：按照步骤2.1和2.2，计算两信源各个时空信息单元间距离，并根据信源内时空信息单元编号顺序，构建四维张量X，其中第一维表示时间序列，对应信息单元内序列点，第二维对应信源A信息单元编号，第三维对应信源B信息单元编号，第四维表示位置、航速和航向信息要素，张量相应位置元素表示两信源不同信息单元对应时间点上不同信息要素间距离；

步骤2.4：构建关联判决输出数学表示矩阵Y，第一维表示信源A信息单元编号，与张量X第二维对应，第二维表示信源B信息单元编号，与张量X第三维对应，相应位置矩阵元素为1或0，为1表示该位置对应的信源A信息单元与信源B信息单元关联，为0表示不关联；

步骤3：采集具体关联问题相关数据，计算得到网络输入张量样本，并人工辅助生成期望输出样本，构建时空数据关联训练数据集；

步骤4：基于典型深度卷积神经网络和循环神经网络结构，构建时空关联深度网络结构；步骤4.1：以卷积层和池化层为基本结构单元，借鉴图像识别中的深度处理结构，构建以张量X第一维切片作为输入的时空关联深度卷积网络部分，沿第一维切片，即沿时间维切片；

步骤4.2：如果四维张量X的第一维长度为1，时空关联深度卷积网络部分，直接连接Flatten、Dense和Reshape层，获得与期望输出矩阵大小相同的网络输出，此即为非序列数据情况下的时空关联深度网络结构；

步骤4.3：如果四维张量X的第一维长度大于1，采用并行处理或顺序处理结构进行处理；

步骤4.4：并行处理结构为利用步骤4.1构建的卷积网络，依次处理张量X时间切片，并通过Flatten层，把各个切片输出结果变成1维向量，然后通过Concatenate层合并连接所有切片得到的1维向量,最后通过Dense和Reshape层，获得与期望输出矩阵大小相同的网络输出；

步骤4.5：顺序处理结构为利用步骤4.1构建的卷积网络，顺序处理张量X时间切片，并通过Flatten层，把当前切片输出结果变成1维向量，然后输入循环神经网络，其输出结果最后通过Dense和Reshape层，获得与期望输出矩阵大小相同的网络输出，作为当前时序时刻的关联结果输出，可选用的神经网络结构有LSTM、GRU和RNN；

步骤5：利用训练数据集，采用神经网络训练方法，对网络参数进行训练寻优，生成时空数据关联神经网络，输入实测时空数据，即可得到相应的关联结果；

步骤5.1：利用训练数据集，采用多分类问题的交叉熵损失函数作为目标函数，采用神经网络训练优化方法，对网络参数进行训练寻优，生成时空数据关联神经网络；

步骤5.2：制定的时空信息单元编号规则、构建的关联张量输入和关联判决输出数学表示方法，以及训练好的时空关联深度网络，一起组成了所需的时空关联方法；

步骤5.3：利用实测数据，根据制定的时空信息单元编号规则和输入张量计算方法，计算时空关联深度网络输入张量，输入到时空关联深度网络，得到关联结果输出矩阵；步骤5.4：关联结果输出矩阵每行最大值对应的信源B时空信息单元编号，即为该行对应信源A时空信息单元编号的关联结果，至此得到信源A与信源B时空数据关联结果。

2.如权利要求1所述的时空数据关联深度学习方法，其特征在于所述步骤3，具体包括以下子步骤：

步骤3.1：采集时空关联问题相关数据；

步骤3.2：利用每次采样数据，通过时空信息单元编号和关联张量计算，得到张量x，然后人工直接判断，或辅助修正现有时空关联方法处理结果，得到该采样数据对应的关联结果，并根据关联判决输出数学表示方法，得到y，把它们分别作为训练数据的x和y，构成训练样本；

步骤3.3：多个不同时刻或不同场景下得到的训练样本组合一起，并经过归一化处理，构成时空数据关联训练数据集。

Images