CN114111764A

CN114111764A - 一种导航知识图谱构建及推理应用方法

Info

Publication number: CN114111764A
Application number: CN202110963812.6A
Authority: CN
Inventors: 布树辉; 胡劲松; 李霓; 唐小军; 李永波
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2021-08-21
Filing date: 2021-08-21
Publication date: 2022-03-01
Anticipated expiration: 2041-08-21
Also published as: CN114111764B

Abstract

本发明提出一种导航知识图谱构建及推理应用方法，先对结构化导航数据进行预处理、时域转频域变换、幅值积分值分段获取带宽、带宽信息换算，得到异常检测所需的特征值；采用神经网络模型提取视觉导航数据中的环境信息特征；采用双向长短时记忆循环神经网络模型和条件随机场模型识别历史、文本资料中的目标实体，采用基于文本的卷积神经网络模型抽取目标实体之间的关系。在提取组合导航数据后，根据提取出的联合特征和实体关系信息构建导航知识图谱；借助图卷积神经网络模型对知识图谱进行关系学习、迭代更新，让知识图谱得到更全面的特征表示。根据组合导航知识图谱和组合导航解算的当前状态特征，对组合导航当前状态进行认知推理与决策。

Description

一种导航知识图谱构建及推理应用方法

技术领域

本发明涉及飞机导航技术和知识图谱领域，具体为一种导航知识图谱构建及推理应用方法，通过机器学习技术对组合导航系统中不同类型的结构化和非结构化数据进行认知学习，主要通过特征提取、数据映射、图表示学习等系列过程构建导航知识图谱，从而提升组合导航系统的异常检测能力，实现高层次的智能决策。

背景技术

飞行器包括：飞机、导弹等，作为保卫国防的重要组成力量，能完成特定的战略任务。各类飞行器在空中运行，需要精确导航确定自身的位置，才能保证飞行姿态和飞行位置满足作战需求。导航技术是飞行器技术体系的重要组成部分，在客机等民用领域和导弹、火箭、航空航天等军用领域都得到了广泛应用，是国家重要的信息和战略资源。随着多种高性能的航空飞行器的研发，对导航设备的要求也不断提高，航空飞行器按照预定的轨迹航行、着陆，需更高精度导航提供实时的位置、速度等信息。飞机航程越来越远，需要覆盖范围更广的导航配合。军用飞机需在各种天气、地形条件下准确、及时地完成各项任务，离不开系统可靠性高的导航服务。

随着科学技术的发展，飞行器导航技术得到了快速进步，根据不同的导航目的，不同的导航技术表现出各自的特点，根据导航原理的差异，飞行器导航系统可分成多种形式。目前飞行器上常采用的导航系统有：惯性导航系统(SINS)、全球卫星导航系统(GPS)、多普勒导航系统(DVL)、天文导航系统(CNS)、地形辅助导航系统(STAN)等。而随着飞机等飞行器作战任务的提升，单一类型的导航系统已经无法满足工程应用需求，在这种情况下，组合导航技术应运而生。组合导航是一种结合两种或多种导航系统，并由各种导航装置计算和控制的导航系统，组合导航可以将各种导航的结果相互比对，从而消除大部分误差，使得导航结果更加准确。但当前组合导航面对复杂导航环境的局限性很大，需要与能够处理大量数据并进行自我学习的知识图谱技术相结合来提升组合导航的性能。

知识图谱本质上是一种基于实体之间关系的语义网络，即利用可视化的图谱形象地展示现实世界里实体与实体之间的关系。它不仅能够对不同数据资源及其载体进行描述，而且还提供了从“关系”的角度去分析和描述问题的能力。而无人机导航过程中所获取的信息主要包括事先侦察数据(如卫星拍摄的图像)以及自携传感器采集的数据(如图像、GPS信息、激光点云等)。通过构建知识图谱，可对文本、信号、图像等多源异构信息进行规范化存储、管理和关联。知识图谱的构建依赖于大量的知识，而大部分的信息都是非结构化的，利用深度学习技术是解决知识获取的重要手段。大量的深度学习模型可以有效完成端到端的实体识别、关系抽取和关系补全等任务，进而可以用来构建或丰富知识图谱。

深度神经网络已经广泛应用于不同类型的人工智能数据判别和分析领域，在对非结构化数据处理方面也取得了良好的进展。深度网络模型通过逐层特征学习得到高层次语义特征，特别是CNN模型，每层卷积层的卷积过程更适合提取图像的特征。CNN通过卷积运算从浅层低级特征映射到高层高级语义特征中，具有良好的容错能力、并行处理能力和自学习能力。

受到深度学习领域进展的驱动，顺势而生的图神经网络(Graph Neural Network,GNN)是一种连接模型。图神经网络利用深度神经网络对图数据中的拓扑结构信息和属性特征信息进行整合，进而提供更精细的节点或子结构的特征表示，并能很方便地以解耦或端到端的方式与下游任务结合，巧妙地满足了知识图谱对学习实体、关系的属性特征和结构特征的要求。

对异常信息的识别即异常检测是组合导航的重要环节，是提高导航准确度和可靠性的重要途径。在多导航传感器信息融合过程中，如何实时检测异常导航信息是一项非常重要的工作。然而，现有技术仅针对PNT(定位、导航、授时)数据等结构化数据的特征提取，均存在以下问题：

1)真实异常数据的缺乏，忽视了大量文本、历史资料中蕴含的知识；

2)各个导航源数据之间的关系没有挖掘；

3)使用了固定的数学模型，无法应对各种不同的情况；

4)仅仅考虑了导航数据，而没有考虑环境信息。

为了保证异常导航信息不会影响整个导航系统，需要对多导航源信息的异常进行检测。通过建立导航知识图谱将具备表达导航的结构化数据以及非结构化数据进行整合，并挖掘各类数据内在的关系，根据已有的知识图谱和当前的状态特征，从输入数据中分析是否存在干扰和诱骗，并判断哪种导航源存在问题，推理判断导航结果的可信度，从而为高可靠导航的异常诊断和容错提供支持。

发明内容

本发明的目的是通过知识图谱将组合导航的结构化、非结构化数据进行整合，并挖掘各类数据内在的关系，从而实现高可靠导航，主要包括以下步骤：

S1：根据导航传感器获取的IMU数据和GNSS数据，提取组合导航的结构化数据特征；

S2：根据视觉导航数据，提取组合导航的图像数据特征；

S3：根据历史数据、故障分析报告等，提取组合导航的非结构化文本数据特征并进行实体关系抽取；

S4：根据由步骤S1、S2、S3获取的联合特征构建导航知识图谱，利用图卷积神经网络模型来对知识图谱进行迭代更新；

S5：根据组合导航知识图谱和组合导航解算的当前状态特征，对组合导航当前状态进行认知推理与决策，以实现导航系统异常诊断率和容错率的提升。

具体地，步骤S1具体包括以下步骤：

S1.1：对导航传感器采集到的原始数据进行预处理，得到相对纯净的数据信息；

S1.2：对预处理后的信号进行时域转频域的变换，获取其频谱信息；

S1.3：对所述频谱信息按幅值积分值分段，获得各个分段的带宽信息；

S1.4：对所述带宽信息进行换算，得到异常检测所需的特征值。

具体地，步骤S1.3具体包括以下步骤：

将所述频谱信息按幅值积分和均分为m段，将每段的终点频率减去起点频率，获得每段的频带宽度；根据频谱幅度Y(n)求取积分和σ，如下：

其中，N表示频谱曲线点数；计算均分为m段后每段的积分和σ′，如下：

σ′＝σ/m

将频谱按Y(n)积分和等于σ′分为m段，得到各个分段点的频点X_j，其中j＝0、1、……、m；再计算得到每段的频带宽度b(i)，其中i＝0、1、……、m-1,b(i)＝X_i+1-X_i。

具体地，步骤S1.4具体包括以下步骤：

对带宽值进行归一化运算，然后将归一化后的数值取倒数，再求其自然对数，最后再次归一化得到特征值。

计算归一化系数b^*(i)，如下：

计算转换系数b′(i)，如下：

再次归一化得到特征值K(i)，如下：

具体地，步骤S2具体包括以下步骤：

S2.1自定义CNN模型中的五层卷积层为5-3-5-3-1(各层卷几何的尺寸)结构，采用5层卷积层可以提取到较好的环境图像特征，获得较完整的特征表达，并且减少网络参数数量和网络训练时间。

S2.2在池化层采用了平均池化和最大值池化两种方法，总共有3层池化层，前三层卷积层后面都有一层池化层，用于数据降维、去冗余信息。最后两层卷积层输出的特征维度为1，不需要经过池化层处理。第一层池化层采用平均池化，以保留整体数据的特征和凸出背景的信息。后两层池化采用最大值池化。

S2.3针对不同情况对特征图进行零填充(zero padding)以更好的对图像进行特征学习，之后再进行卷积、池化过程。在此网络结构中，每一层卷积层后面接着一层激活函数层，给网络加入非线性的因素，使得卷积神经网络更好地解决复杂的问题，网络中采用的是ReLU激活函数其公式为：

f(x)＝max(0，x)

设每张输入特征图的尺寸为i×i，卷积核尺寸为k×k，步长为s，0填充范围为p，则每张输出特征图的尺寸l×l满足下式：

S2.4训练卷积神经网络，使其具有特征抽象的能力，整个网络的训练流程如下：

1、对数据集图像进行预处理，从而使输入满足本发明的卷积神经网络的输入条件；

2、将无人机事先拍摄的各地型图像数据集随机分为训练数据和测试数据；

3、将训练数据集带入卷积神经网络进行训练；

4、将测试数据集带入卷积神经网络，用以检测所设计的卷积神经网络的优劣；

5、将从测试集带入卷积神经网络得到的图像的抽象特征，进行保存，作为导航知识图谱的输入数据。

训练过程中，使用随机梯度下降法对网络参数进行更新，参数更新规则如下：

其中α为学习率，

和

分别是CNN的代价函数J(W，b)对权重参数W和b的偏导数，代价函数J(W，b)为：

通过以上特征学习得到图像深层次的特征向量。

具体地，步骤S3具体包括以下步骤：

S3.1采用双向长短时记忆循环神经网络(Bi-LSTM)模型计算目标文本语句中每个词Xi对应的所有可能标签的概率Zi；

S3.2采用条件随机场(CRF)对目标文本语句中的每一个词Xi进行标注，计算出最优标注序列Y*，根据最优标注序列Y*获取目标文本语句中的目标实体；

S3.3采用基于文本的卷积神经网络模型(Text-CNN)抽取目标实体之间的关系。

具体地，步骤S3.1具体包括以下步骤：

S3.1.1采用双向长短时记忆循环神经网络模型在预设查找表中查找目标文本语句X＝X₁,X₂,…,X_N中的每一个词Xi对应的词向量Ei；

S3.1.2将词向量Ei作为Bi-LSTM模型的输入，分别从右至左和从左至右扫描，得到两个第一输出序列

S3.1.3将第一输出序列和进行串接，抽取和的特征，并计算每个词Xi对应的所有可能标签的概率Zi，计算公式如下：

Z_i＝W₂·h_i′

式中，W₁表示隐藏层参数矩阵，b₁表示隐藏层偏置，h_i′表示第一输出序列中第i个值的隐藏层输出，W₂表示输出层参数矩阵。

具体地，步骤S3.2具体包括以下步骤:

S3.2.1将目标文本语句X＝X₁,X₂,…,X_N作为条件随机场模型的输入计算得到第二输出序列，并计算第二输出序列对应的标签序列Y＝Y₁,Y₂,…,Y_N；

步骤3.2.2根据每个词Xi对应的所有可能标签的概率Zi计算标签序列Y＝

Y₁,Y₂,…,Y_N的得分S(X,Y)，并将得分最高的标签作为最优标签序列

标签序列的得分S(X,Y)计算具体如下：

式中，

表示第i个词Xi获得标签Yi的概率，

表示标签Yi-1与标签Yi之间的转移概率。

具体地，步骤S3.3具体包括以下步骤：

S3.3.1将特征向量E_i作为Text-RNN模型的输入，每个单词均为K维的特征向量，因此对于长度为N的一句话可用维度为N×K的矩阵X表示。

S3.3.2预训练的特征向量矩阵维度为N×K，设计一个过滤器窗口W，其维度为T×K，其中K为特征向量的长度，T表示窗口所含的词个数。之后不断地滑动该窗口，每次滑动一个位置，进行如下计算：

c_i＝f(W·X_i:i+T-1+b)

式中，f()表示非线性激活函数，X_i:i+T-1表示该句子中第i到i+T-1的单词组成的词向量矩阵，c_i表示当前窗口位置的取值，b表示偏置。

因此对于长度为N的句子，维度为T×K的过滤器窗口可以产生由N-T+1个值组成的集合：

c＝{c₁,c₂,…c_N-T+1}

式中，c是N-T+1个过滤器窗口产生值的集合。

S3.3.3提取集合c中最大的特征，对集合c进行max-over-time操作，即取出集合c中的最大值

S3.3.4M个过滤器窗口，将产生由M个值组成的向量

Text-CNN模型通过设置一个全相连层，将向量z映射为长度为l的向量，l即为待预测的关系类型的个数，设置softmax激活函数即可转换为各个关系类型的概率值，输出最大概率，即为两个目标实体之间的关系。

具体地，步骤S4具体包括以下步骤：

S4.1由联合特征对节点进行初始化表示，构建导航知识图谱；

S4.2使用图卷积神经网络(GCN)学习导航数据并迭代地更新每个节点的信息。

具体地，步骤S4.1具体包括以下步骤：

S4.1.1该联合特征包括结构化导航数据特征值、视觉导航特征向量和非结构化文本数据特征。具体地，采用CNN提取视觉导航的图像特征，采用BiLSTM和Text-CNN提取文本目标对象实体及实体关系的特征表示。

S4.1.2定义知识图谱为G＝(V，E)，其中V代表节点集，E代表节点间的边集。知识图谱中的各个节点有着不同的D维特征向量，假设有N个节点，这N个节点的特征组成一个N×D维的矩阵X称为属性矩阵，属性矩阵X由矩阵中各个实体的属性拼接而成。各个节点之间的有向拓扑关系也会形成一个N×N维的关系矩阵A，也称为邻接矩阵。

具体地，步骤S4.2具体包括以下步骤：

S4.2.1在初始化图节点后，每个节点v_i的输入特征向量为y_v。图网络的所有节点输入表示为Y＝[y₁，…，y_|V|]∈R^|V|×D，V代表节点个数，D代表输入特征的维数。将属性矩阵X和邻接矩阵A作为图卷积神经网络模型(GCN)的输入，通过层与层之间的传播公式将邻接矩阵A和属性矩阵X映射到低维空间：

式中，l表示图卷积网络的总层数，X^(l+1)为第l+1层输出的低维特征特征向量，

I是单位矩阵，

是

的度矩阵，

W^(l)为第l层的权重矩阵，σ(·)为激活函数，具体可以选择ReLU或者sigmoid等激活函数，本申请实施例优选采用ReLU激活函数。

S4.2.2原图数据经过几层GCN计算后每个节点的特征从X变成了Z，即

Z＝f(X，A)

式中，X是由N个节点的特征向量组成的特征矩阵，A是邻接矩阵，f是GCN计算函数，对于输入的邻接矩阵A和属性矩阵X，图卷积网络将输入数据映射到低维特征向量Z。

S4.2.3针对所有节点计算交叉熵(cross entropy)损失函数：

式中，Y_L是节点类别数目，Y_l是属于某一类的概率，Z_l是某个节点经过GCN变换后的特征值。根据训练的模型对结点进行分类，并添加相对应的标签在图数据库中更新。

具体地，步骤S5具体包括以下步骤：

S5.1特征数据子图的创建。首先，分析不同类型的导航传感器，实时获取导航数据，通过特征提取模型对目标导航源获取的导航数据进行特征提取得到相应的结构化导航数据特征值K(i)或视觉导航特征向量x_t或非结构化文本数据特征，创建可以表示目标导航源的特征数据子集，以特征为目标，在知识图谱中检索并提取出图谱中的相关实体和边构成关系子图。

S5.2根据关系子图中节点和边的拓扑结构，建立贝叶斯概率网络模型，使用贝叶斯概率网络推导出异常的概率。利用贝叶斯链规则、贝叶斯定理和条件独立性原理，实现基于知识图谱信息的不确定性推理。关于随机事件A和B的贝叶斯规则可表示为：

由贝叶斯规则推导可得异常概率推理公式为：

其中，f表示异常节点，C_i表示和节点关联的第i个特征。

有益效果

1.本发明基于对历史数据、故障分析报告等文本资料和传统导航数据所蕴含知识的不平衡性考虑，结合视觉导航环境信息，构建组合导航知识图谱，保证了对多源导航数据的合理且充分的利用。

2.本发明采用双向循环神经网络和条件随机场的实体识别模型对非结构化中的目标实体进行识别，减少实体识别过程中的特征工程；在实体关系抽取时采用基于文本的卷积神经网络模型，提高了实体关系抽取的准确性；利用深度学习技术的学习能力和表达能力，精准挖掘文本中的知识。

3.本发明在构建知识图谱时，采用图卷积神经网络模型使用图卷积神经网络模型对实体及实体关系进行学习，并根据学习到的结果对导航图谱进行实时更新。该网络的结构是一种离散卷积神经网络，可以通过迭代更新节点特征来学习任意图结构数据的特征。

4.本发明通过建立知识图谱更加全面地覆盖了复杂的组合导航特征关系，根据统计学原理和逻辑推理方法进行异常检测，提高了可靠性与准确性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种导航知识图谱构建方法流程图；

图2为本发明实施例提供的导航知识图谱构建方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明先对采集到的结构化导航数据进行预处理、时域转频域变换、幅值积分值分段获取带宽、带宽信息换算，得到异常检测所需的特征值；采用自定义神经网络模型(CNN)提取视觉导航数据中的环境信息特征；采用双向长短时记忆循环神经网络模型(Bi-LSTM)和条件随机场模型(CRF)识别历史、文本资料中的目标实体，采用基于文本的卷积神经网络模型(Text-CNN)抽取目标实体之间的关系。在组合导航数据经过有效提取后，根据提取出的联合特征和实体关系信息构建导航知识图谱；借助于图卷积神经网络模型对知识图谱进行关系学习、迭代更新，让知识图谱得到更全面的特征表示。根据组合导航知识图谱和组合导航解算的当前状态特征，对组合导航当前状态进行认知推理与决策。

如图2所示，一种导航知识图谱构建方法，该方法具体步骤如下:

步骤S1针对传感器获取的结构化导航数据，提取各导航源的结构化数据特征。结构化导航数据包括通过导航传感器获取的IMU数据和GNSS数据(主要是获得当前惯性数据和位置信息)，对于环境电磁特征，就是GNSS频谱的信号。

步骤S1.1对导航传感器采集到的原始数据进行预处理，得到相对纯净的数据信息。

对采集到的导航传感器的原始数据进行数字滤波，滤除无关的干扰频率成分；并修剪掉对特征提取无关紧要的，甚至会产生干扰的多余的信号段；再根据电磁波信号的波形特征，将波形进行分段单独提取特征。

步骤S1.2对预处理后的信号进行时域转频域的变换，获取其频谱信息；

采用快速傅里叶变换对预处理后的信号进行时域到频域转换，经过变换后得到信号的频谱，即频点—幅值曲线。

步骤S1.3对所述频谱信息按幅值积分值分段，获得各个分段的带宽信息；

将所述频谱信息按幅值积分和均分为m段，将每段的终点频率减去起点频率，获得每段的频带宽度。根据频谱幅度Y(n)求取积分和σ，如下：

其中，N表示频谱曲线点数；计算均分为m段每段的积分和σ′，如下：

σ′＝σ/m

将频谱按Y(n)积分和等于σ′分为m段，得到各个分段点的频点X_j，其中j＝0、1、……、m；再计算得到每段的频带宽度b(i)，其中i＝0、1、……、m-1，b(i)＝X_i+1-X_i。

步骤S1.4对所述带宽信息进行换算，得到异常检测所需的特征值。

计算归一化系数b^*(i)，如下：

计算转换系数b′(i)，如下：

再次归一化得到特征值K(i)，如下：

S2根据环境传感器获取的导航图像数据，提取组合导航的视觉图像特征(环境信息)，用来区分环境的类别，如山区、城市等。

S2.1卷积神经网络的网络层数和节点个数的多少决定了整个网络的学习能力，同时又影响整个训练学习过程的效率。综合考虑神经网络的学习能力和整个神经网络的学习效率。本发明综合考虑学习能力和计算效率，自定义CNN模型中的五层卷积层为5-3-5-3-1结构。

将第一层和第三层卷积核的大小定为5×5，控制卷积核尺寸，有效的减少参数的数目，既能提取到深层特征表达，又能保证运算量不会大幅度增加；将第二层和第四层的卷积核大小定为3×3，控制参数数目，降低网络运算的复杂度；将最后一层卷积核大小定为1×1，可以与任何层可以直接相连，相当于一层全连接层。

S2.2在池化层采用了平均池化和最大值池化两种方法，总共有3层池化层，前三层卷积层后面都有一层池化层，用于数据降维、去冗余信息。最后两层卷积层输出的特征维度为1，不需要经过池化层处理。第一层池化层采用平均池化，以保留整体数据的特征和凸出背景的信息；后两层池化采用最大值池化，因为最大值池化能更好保留纹理上的特征，能提取重要、突出的特征，舍弃其他弱的某类特征。；

S2.3针对不同情况对特征图进行零填充(zero padding)以更好的对图像进行特征学习，之后再进行卷积、池化过程。在此网络结构中，每一层卷积层后面接着一层激活函数层，给网络加入非线性的因素，使得卷积神经网络更好地解决复杂的问题，网络中采用的是ReLU激活函数，因为Re LU函数原理近似于人脑神经元的在接触外界信号时的工作状态，可以拟合更多的非线性过程，其公式为：

f(x)＝max(0，x)

设每张输入特征图的尺寸为i×i，卷积核尺寸为k×k，步长为s，0填充范围为p，则每张输出特征图的尺寸l×l满足下式。

1、对数据集图像进行预处理，从而使输入满足本发明的卷积神经网络的输入条件。

2将无人机事先拍摄的各地型图像数据集随机分为训练数据和测试数据。

3、将训练数据集带入卷积神经网络进行训练。

4、将测试数据集带入卷积神经网络，用以检测所设计的卷积神经网络的优劣。

其中α为学习率，

和

分别是CNN的代价函数J(W,b)对权重参数W和b的偏导数，代价函数J(W,b)为：

通过特征学习得到图像深层次的特征向量。

S3根据历史数据、故障分析报告等，提取组合导航的非结构化文本数据特征并进行特征关系抽取；

S3.1采用双向长短时记忆循环神经网络(Bi-LSTM)模型计算历史数据、异常检测报告语句中每个词X_i对应的所有可能标签的概率Z_i。

S3.1.1采用双向长短时记忆循环神经网络模型查找目标文本语句X＝X₁,X₂,…,X_N中的每一个词X_i对应的特征向量E_i。

S3.1.2将特征向量E_i作为Bi-LSTM模型的输入，分别从右至左和从左至右扫描，得到两个第一输出序列

S3.1.3将两个第一输出序列

和

进行串接，抽取

和

的特征，并计算每个词X_i对应的所有可能标签的概率Z_i，以便后续根据概率Z_i获取最优标签序列Y^*，计算公式如下：

Z_i＝W₂·h_i′

式中，W₁表示隐藏层参数矩阵，b₁表示隐藏层偏置，h_i'表示第一输出序列中第i个值的隐藏层输出，W₂表示输出层参数矩阵。

S3.2采用条件随机场(CRF)对目标文本语句中的每一个词X_i进行标注，计算出最优标注序列Y^*，并根据最优标注序列Y^*获取目标文本语句中的目标实体。

S3.2.1将目标文本语句X＝X₁,X₂,…,X_N作为条件随机场模型的输入计算得到第二输出序列，并计算第二输出序列对应的标签序列Y＝Y₁,Y₂,…,Y_N。

S3.2.2根据每个词Xi对应的所有可能标签的概率Zi计算标签序列Y＝Y₁,Y₂,…,Y_N的得分S(X,Y)，并将得分最高的标签作为最优标签序列

标签序列的得分S(X,Y)计算具体如下：

式中，

表示第i个词X_i获得标签Y_i的概率，

表示标签Y_i-1与标签Y_i之间的转移概率。

S3.3采用基于文本的卷积神经网络模型(Text-CNN)抽取目标实体间的关系。

S3.3.1将特征向量E_i作为基于文本的卷积神经网络(Text-RNN)模型的输入，每个单词均为K维的特征向量，因此对于长度为N的一句话可用维度为N×K的矩阵X表示。

c_i＝f(W·X_i:i+T-1+b)

式中f()表示非线性激活函数，X_i:i+T-1表示该句子中第i到i+T-1的单词组成的词向量矩阵，c_i表示当前窗口位置的取值，b表示偏置。

c＝{c₁,c₂,…c_N-T+1}

式中，c是N-T+1个过滤器窗口产生值的集合。

S3.3.4M个过滤器窗口，将产生由M个值组成的向量

S4根据步骤S1、S2、S3提取的导航数据特征、实体和实体关系构建导航知识图谱，再利用图卷积神经网络(Graph Convolutional Network，GCN)来对知识图谱进行特征表达，迭代的更新知识图谱得到知识图谱的特征表示。在本发明中，该网络的结构是一种离散卷积神经网络，可以通过迭代更新节点特征来学习任意图结构数据的特征。

S4.1由联合特征对节点进行初始化表示，构建导航知识图谱。

S4.1.1该联合特征包括结构化导航数据特征值K(i)、视觉导航特征向量xt和非结构化文本数据特征。具体地，采用CNN提取视觉导航的图像特征，采用BiLSTM提取文本目标对象实体和实体关系的特征表示。

S4.1.2定义知识图谱为G＝(V，E)，其中V代表节点集，E代表节点间的边集。其中，每个节点v_i∈V都是包含目标环境中的一个对象，但是不仅仅局限于目标环境提供的导航对象。每条边e_ij∈E代表实体i和实体j之间的关系。每个节点初始化时，由联合特征进行表示。知识图谱中的各个节点有着不同的D维特征向量，假设有N个节点，这N个节点的特征组成一个N×D维的矩阵X称为属性矩阵，属性矩阵X由矩阵中各个实体的属性拼接而成。各个节点之间的有向拓扑关系也会形成一个N×N维的关系矩阵A，也称为邻接矩阵。A_ij＝1表示实体i和实体j(i、j∈V)之间有连接边e_ij∈E，A_ij＝0表示实体i和实体j(i、j∈V)之间没有连接边。

S4.2使用图卷积神经网络GCN学习导航数据并迭代地更新每个节点的信息。

S4.2.1图卷积网络能够有效地从图G＝(V，E)中学习到信息表示。在初始化图节点后，每个节点vi的输入特征向量为yv。图网络的所有节点输入表示为Y＝[y₁，…，y_|V|]∈R^|V|×D，V代表节点个数，D代表输入特征的维数。将属性矩阵X和邻接矩阵A作为图卷积神经网络模型(GCN)的输入，GCN也是一个神经网络层，它通过层与层之间的传播公式将邻接矩阵A和属性矩阵X映射到低维空间：

I是单位矩阵，

是

的度矩阵，

W^(l)为第l层的权重矩阵，σ(·)为激活函数，具体可以选择ReLU或者sigmoid等激活函数，本申请实施例优选采用ReLU激活函数，计算公式如下：

Z＝f(X，A)

S4.2.3针对所有节点计算交叉熵(cross entropy)损失函数：

S5根据组合导航知识图谱和当前导航数据特征，从输入数据中分析是否存在干扰和诱骗，并判断目标导航源处于异常状态，推理判断导航结果的可信度，以实现导航系统异常诊断率和容错率的提升。

S5.2根据关系子图中节点和边的拓扑结构，建立贝叶斯概率网络模型，使用贝叶斯概率网络推导出异常的概率。

利用贝叶斯链规则、贝叶斯定理和条件独立性原理，实现基于知识图谱信息的不确定性推理。贝叶斯规则是关于随机事件A和B的条件概率和边缘概率的，可表示为：

其中，P(B)是B的先验概率或边缘概率。P(B/A₁A₂...)是已知A₁A₂...发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。P(A_n/B)是已知B发生后A的条件概率，也称为A的后验概率。P(A₁A₂...)是A的先验概率或边缘概率，也作标准化常量(normalizedconstant)。

由贝叶斯规则推导可得异常概率推理公式为：

其中，f表示异常节点，C_i表示和节点关联的第i个特征。

由上述公式可推导出异常的概率，根据概率值的大小判断当前异常状态由特征C_i的导航源引发的可能性，实现基于知识图谱信息的不确定性推理。基于贝叶斯原理和概率图模型原理，具有更高的诊断精度和稳定性。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种导航知识图谱构建及推理应用方法，其特征在于：包括以下步骤：

S2：根据视觉导航数据，提取组合导航的图像数据特征；

S3：根据组合导航的文本数据，提取组合导航的非结构化文本数据特征并进行实体关系抽取；所述文本数据包括历史数据、故障分析报告；

S4：根据由步骤S1、S2、S3获取的联合特征构建组合导航知识图谱，利用图卷积神经网络模型来对组合导航知识图谱进行迭代更新；

S5：根据组合导航知识图谱和组合导航解算的当前状态特征，对组合导航当前状态进行认知推理与决策，提升导航系统异常诊断率和容错率。

2.根据权利要求1所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S1具体包括以下步骤：

3.根据权利要求2所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S1.3包括以下步骤：

将所述频谱信息按幅值积分和均分为m段，将每段的终点频率减去起点频率，获得每段的频带宽度；根据频谱幅度Y(n)求取积分和σ：

σ′＝σ/m

4.根据权利要求2所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S1.4包括以下步骤：对带宽值进行归一化运算，然后将归一化后的数值取倒数，再求其自然对数，最后再次归一化得到特征值。

5.根据权利要求1所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S2包括以下步骤：

S2.1：CNN模型中的五层卷积层为几何尺寸是5-3-5-3-1的结构；

S2.2：在池化层采用了平均池化和最大值池化两种方法，总共有3层池化层；前三层卷积层后面都有一层池化层，用于数据降维、去冗余信息；最后两层卷积层输出的特征维度为1，不需要经过池化层处理；第一层池化层采用平均池化，以保留整体数据的特征和凸出背景的信息；后两层池化采用最大值池化；

S2.3：对特征图进行零填充：

设每张输入特征图的尺寸为i×i，卷积核尺寸为k×k，步长为s，零填充范围为p，则每张输出特征图的尺寸l×l满足下式：

对零填充后的图像进行特征学习，之后再进行卷积、池化过程；

在此网络结构中，每一层卷积层后面接着一层激活函数层，给网络加入非线性的因素，网络中采用的是ReLU激活函数：

f(x)＝max(0，x)

S2.4：训练卷积神经网络：

S2.4.1、对数据集图像进行预处理，使输入满足卷积神经网络的输入条件；

S2.4.2、将事先拍摄的各地型图像数据集随机分为训练数据和测试数据；

S2.4.3、将训练数据集带入卷积神经网络进行训练；

S2.4.4、将测试数据集带入卷积神经网络，用以检测所设计的卷积神经网络的优劣；

S2.4.5、将从测试集带入卷积神经网络得到的图像的抽象特征，进行保存，作为导航知识图谱的输入数据；

其中α为学习率，

和

通过以上特征学习得到图像深层次的特征向量。

6.根据权利要求1所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S3包括以下步骤：

S3.1：采用双向长短时记忆循环神经网络模型计算目标文本语句中每个词Xi对应的所有可能标签的概率Zi；

S3.2：采用条件随机场对目标文本语句中的每一个词Xi进行标注，计算出最优标注序列Y*，根据最优标注序列Y*获取目标文本语句中的目标实体；

S3.3：采用基于文本的卷积神经网络模型抽取目标实体之间的关系。

7.根据权利要求6所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S3.1包括以下步骤：

S3.1.1：采用双向长短时记忆循环神经网络模型在预设查找表中查找目标文本语句X＝X₁,X₂,…,X_N中的每一个词Xi对应的词向量Ei；

S3.1.2：将词向量Ei作为Bi-LSTM模型的输入，分别从右至左和从左至右扫描，得到两个第一输出序列

S3.1.3：将第一输出序列和进行串接，抽取和的特征，并计算每个词Xi对应的所有可能标签的概率Zi，计算公式如下：

Z_i＝W₂·h_i′

式中，W₁表示隐藏层参数矩阵，b₁表示隐藏层偏置，h_i′表示第一输出序列中第i个值的隐藏层输出，W₂表示输出层参数矩阵；

步骤S3.2包括以下步骤：

步骤3.2.2根据每个词Xi对应的所有可能标签的概率Zi计算标签序列Y＝Y₁,Y₂,…,Y_N的得分S(X,Y)，并将得分最高的标签作为最优标签序列

标签序列的得分S(X,Y)计算如下：

式中，

表示第i个词Xi获得标签Yi的概率，

表示标签Yi-1与标签Yi之间的转移概率；

步骤S3.3具体包括以下步骤：

S3.3.1：将特征向量E_i作为Text-RNN模型的输入，每个单词均为K维的特征向量，对于长度为N的一句话用维度为N×K的矩阵X表示；

S3.3.2：预训练的特征向量矩阵维度为N×K，设计一个过滤器窗口W，其维度为T×K，其中K为特征向量的长度，T表示窗口所含的词个数；之后不断地滑动该窗口，每次滑动一个位置，进行如下计算：

c_i＝f(W·X_i:i+T-1+b)

式中，f()表示非线性激活函数，X_i:i+T-1表示该句子中第i到i+T-1的单词组成的词向量矩阵，c_i表示当前窗口位置的取值，b表示偏置；

对于长度为N的句子，维度为T×K的过滤器窗口能够产生由N-T+1个值组成的集合：

c＝{c₁,c₂,…c_N-T+1}

式中，c是N-T+1个过滤器窗口产生值的集合；

S3.3.3：提取集合c中最大的特征，对集合c进行max-over-time操作，取出集合c中的最大值

S3.3.4：M个过滤器窗口产生由M个值组成的向量

Text-CNN模型通过设置一个全相连层，将向量z映射为长度为l的向量，l即为待预测的关系类型的个数，通过设置softmax激活函数转换为各个关系类型的概率值，输出最大概率，即为两个目标实体之间的关系。

8.根据权利要求1所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S4包括以下步骤：

S4.1：由联合特征对节点进行初始化表示，构建导航知识图谱；

S4.2：使用图卷积神经网络GCN学习导航数据并迭代地更新每个节点的信息。

9.根据权利要求8所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S4.1包括以下步骤：

S4.1.1：所述联合特征包括结构化导航数据特征值、视觉导航特征向量和非结构化文本数据特征；采用CNN提取视觉导航的图像特征，采用BiLSTM和Text-CNN提取文本目标对象实体及实体关系的特征表示；

S4.1.2：定义知识图谱为G＝(V，E)，其中V代表节点集，E代表节点间的边集；知识图谱中的各个节点有着不同的D维特征向量，设有N个节点，这N个节点的特征组成一个N×D维的矩阵X，称为属性矩阵，属性矩阵X由矩阵中各个实体的属性拼接而成；各个节点之间的有向拓扑关系形成一个N×N维的关系矩阵A，称为邻接矩阵；

步骤S4.2包括以下步骤：

S4.2.1：在初始化图节点后，每个节点v_i的输入特征向量为y_v；图网络的所有节点输入表示为Y＝[y₁，…，y_|V|]∈R^|V|×D，V代表节点个数，D代表输入特征的维数；将属性矩阵X和邻接矩阵A作为图卷积神经网络模型的输入，通过层与层之间的传播公式将邻接矩阵A和属性矩阵X映射到低维空间：

I是单位矩阵，

是

的度矩阵，

W^(l)为第l层的权重矩阵，σ(·)为激活函数；

S4.2.2：原图数据经过图卷积神经网络模型计算后每个节点的特征从X变成了Z：

Z＝f(X，A)

式中，X是由N个节点的特征向量组成的特征矩阵，A是邻接矩阵，f是GCN计算函数，对于输入的邻接矩阵A和属性矩阵X，图卷积网络将输入数据映射到低维特征向量Z；

S4.2.3：针对所有节点计算交叉熵损失函数：

式中，Y_L是节点类别数目，Y_l是属于某一类的概率，Z_l是某个节点经过GCN变换后的特征值；根据训练的模型对结点进行分类，并添加相对应的标签在图数据库中更新。

10.根据权利要求9所述一种导航知识图谱构建及推理应用方法，其特征在于：步骤S5包括以下步骤：

S5.1：创建特征数据子图：首先，分析不同类型的导航传感器，实时获取导航数据，通过特征提取模型对目标导航源获取的导航数据进行特征提取得到相应的结构化导航数据特征值K(i)或视觉导航特征向量x_t或非结构化文本数据特征，创建表示目标导航源的特征数据子集，以特征为目标，在知识图谱中检索并提取出图谱中的相关实体和边构成关系子图；

S5.2：根据关系子图中节点和边的拓扑结构，建立贝叶斯概率网络模型，使用贝叶斯概率网络推导出异常的概率；利用贝叶斯链规则、贝叶斯定理和条件独立性原理，实现基于知识图谱信息的不确定性推理；关于随机事件A和B的贝叶斯规则可表示为：

由贝叶斯规则推导可得异常概率推理公式为：

其中，f表示异常节点，C_i表示和节点关联的第i个特征。