CN108520298A - 一种基于改进lstm-rnn的陆空通话语义一致性校验方法 - Google Patents

Abstract

一种基于改进LSTM‑RNN的陆空通话语义一致性校验方法。其包括制作语料库：根据民航的通话标准和语料库制作专用词表并获得单词的one‑hot向量：产生每一语句对中两个句子的语义向量；利用平均池化方法来处理语义向量并送入MLP模型中；利用MLP学习出两个语义向量的相关程度；利用KNN来判决语义的一致性。原有的基于LSTM‑RNN处理序列的方法，虽然避免了单独的RNN算法的梯度消失，但检验精度较低，本发明采用了平均池化方法来防止过拟合现象的出现，在计算相关性方面创新的利用了MLP，使得模型对于相关性的学习程度更加充分。由于深度学习利用模型自动地学习样本特征，所以本发明不需要对大量数据进行统计分析。

Description

一种基于改进LSTM-RNN的陆空通话语义一致性校验方法

技术领域

本发明属于民航运输中陆空通话的语义一致性校验技术领域，特别是 涉及一种基于改进LSTM-RNN的陆空通话语义一致性校验方法。

背景技术

在民用航空领域中，管制员与飞行员之间的航空无线电话通信十分重 要，可以说与航空器的安全息息相关。因为陆空通话错误，已经导致了许 多空难的发生。随着科学技术的进步，虽然因为设备以及硬件所造成的陆 空通话错误已经大大减少，但由于管制员或飞行员长时间工作疲劳、精神 紧张、压力过大等人为因素导致的通话错误时有发生。所以，利用人工智 能相关理论和技术对飞行员复诵内容的语义是否与空管员指令的语义一致进行自动化校验与预警，可以有效解决由于人为因素导致的陆空通话错误 问题。

LSTM-RNN模型可以较好解决递归神经网络RNN模型在训练过程的 梯度消失问题。目前，LSTM-RNN模型已经被用于机器翻译，语音识别、 信息检索、内容匹配等工作。我们也将LSTM-RNN和RNN模型应用于陆 空通话的语义匹配中，但是匹配正确率不到85％。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于改进LSTM-RNN 的陆空通话语义一致性校验方法，能够改善最初始的LSTM-RNN/RNN的辨 识精度。

为了达到上述目的，本发明提供的基于改进LSTM-RNN的陆空通话语 义一致性校验方法包括按顺序进行的下列步骤：

步骤1)制作语料库：

步骤1.1)从实际的陆空通话、相关教材和民航局陆空通话标准中，挑 选复诵类型的语句对并存入txt文本中；

步骤1.2)将上述文本中的语句对分成正样本和负样本两种类型，其中 正样本由语义一致性的语句对组成，负样本由语义不一致性的语句对组成；

步骤1.3)对上述语句对进行分词：为了方便描述句子语义，需要对语 句对进行分词，以每个单词为单位将语句对中的句子进行分词，由分词之 后的所有语句对构成语料库；

步骤2)根据民航的通话标准和上述语料库制作专用词表并获得单词的 one-hot向量：

步骤2.1)根据民航的通话标准和上述语料库制作一个专用词表；

步骤2.2)利用上述专用词表获得语料库中所有单词的one-hot向量， 其中：One-hot向量是用一个向量表示一个单词，向量的维度是词表的大小， 其中One-hot向量绝大多数位置的取值为0，只有一个位置的取值为1，这 个位置就代表了当前的单词；

步骤3)产生每一语句对中两个句子的语义向量：

将上述每一语句对中两个句子的所有单词的one-hot向量分别作为一 个单词序列输入到两个LSTM-RNN模型中，以对这两个LSTM-RNN模型 同时进行训练，两个LSTM-RNN模型的输出向量分别为两个句子的语义向 量；

步骤4)对语义向量进行平均池化操作，以提高语义向量的泛化性，同 时降低语义向量的维数；

步骤5)将两个句子的语义向量输入到MLP模型中，通过MLP模型学 习出语义向量的相关程度；

步骤6)最后根据MLP模型学习出的结果使用K近邻法来校验两个句 子的语义是否一致。

在步骤1.1)中，所述的语句对包括两个句子：分别为空管人员指令和 飞行员复诵语句。

在步骤3)中，所述的对两个LSTM-RNN模型同时进行训练的方法是：

采用最小化交叉熵误差来训练LSTM-RNN模型；交叉熵误差公式如下：

在上式中，S是语句对的相似度，L是被标记的数字，如果语句对的语 义一致，L为1，否则为0；

采用时间反向传播的方法来估计LSTM-RNN模型的参数；在反向传播 的过程中，需要求交叉熵误差的梯度，并利用梯度值更新参数。

在步骤4)中，所述的对语义向量进行平均池化操作的方法是：

采用平均池化法将两个LSTM-RNN模型中每一个隐层单元的输出合并 为一个语义向量；平均池化是将LSTM-RNN模型中的每一个时间节点的输 出向量求等权平均，公式如下：

N_m表示第一个LSTM-RNN模型的隐层输出节点的个数；

y_i表示第一个LSTM-RNN模型的第i个隐层节点的输出向量；

h_m表示平均池化之后得到的句子的语义向量；

上述公式是第一个LSTM-RNN模型语义向量；第二个LSTM-RNN模 型的平均池化方式与上述方法一致：

为了得到复述类型的语句对的语义关系，将两个语义向量h_m和语义向量h_n连接为一个语义向量。

在步骤6)中，所述的根据上述MLP模型的学习结果，利用K近邻法 校验两个句子的语义是否一致的方法如下：

K近邻法可以表示为：设有N个已知样本分属于c个w_i类，考察新样 本x在这些样本中的前K个近邻，然后确定前K个近邻所在类别的出现频 率，最后选取K个近邻中出现频率最高的类别作为测试数据的预测类别； 定义判别函数为：

g_i(x)＝k_i，i＝0,1 (9)

其中，k_i表示各类别所占的个数；x为MLP模型的输出；

决策的规则是：

在上式中，选择出判别函数g₀(x)和g₁(x)中较大的值对应的类别i赋值给j； 其中，j＝1时，表明复述一致；j＝0时，则表明复述不一致。

本发明提供的基于改进LSTM-RNN的陆空通话语义一致性校验方法是 利用LSTM-RNN处理序列的优势，在计算句子语义向量的过程中考虑句子 中单词之间的关联性。考虑到陆空通话与日常对话相比的特点之一是对话 中每个位置的词语重要性相近，本方法通过将LSTM-RNN模型所有隐层单 元的输出进行平均池化运算，提高了所获得的句子语义向量的泛化性，有 效地抑制了过拟合，并使句子语义向量对语句前后语义的表达更加均衡。本方法使用MLP学习句子语义向量较深层次的内在关系，效果较单纯计算 两个语义向量的余弦相似度要好，从而可提高陆空通话语义一致性的校验 准确率。

附图说明

图1为本发明提供的基于改进LSTM-RNN的陆空通话语义一致性校验 方法流程图；

图2为sigmoid函数图。

图3为平均池化示意图。

图4为MLP结构图。

图5为使用三种不同方法的LSTM-RNN模型的测试精度示意图。

图6(a)和(b)分别为带有MLP的LSTM-RNN模型对训练样本以及 测试样本输出的相似度；

图7(a)和(b)分别为使用平均池化方法的LSTM-RNN模型对训练 样本以及测试样本输出的相似度；

图8(a)和(b)分别为使用平均池化方法及MLP的LSTM-RNN模型 对训练样本以及测试样本输出的相似度。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于LSTM-RNN的航空无 线电通信语义一致性校验方法进行详细说明。

如图1所示，本发明提供的基于改进LSTM-RNN的陆空通话语义一致 性校验方法包括按顺序进行的下列步骤：

步骤1)制作语料库：

步骤1.1)从实际的陆空通话、相关教材和民航局陆空通话标准中，挑 选复诵类型的语句对并存入txt文本中；

步骤1.2)将上述文本中的语句对分成正样本和负样本两种类型，其中 正样本由语义一致性的语句对组成，负样本由语义不一致性的语句对组成；

步骤1.3)对上述语句对进行分词：为了方便描述句子语义，需要对语 句对进行分词，以每个单词为单位将语句对中的句子进行分词，由分词之 后的所有语句对构成语料库；

复诵类型语句对的形式和语句对分词之后的结果如表1所示：

表1复诵类型语句对和语句对的分词

步骤2)根据民航的通话标准和上述语料库制作专用词表并获得单词的 one-hot向量：

步骤2.1)根据民航的通话标准和上述语料库制作一个专用词表；

步骤2.2)利用上述专用词表获得语料库中所有单词的one-hot向量， 其中：One-hot向量是用一个向量表示一个单词，向量的维度是词表的大小， 其中One-hot向量绝大多数位置的取值为0，只有一个位置的取值为1，这 个位置就代表了当前的单词；

步骤3)产生每一语句对中两个句子的语义向量：

将上述每一语句对中两个句子的所有单词的one-hot向量分别作为一 个单词序列输入到两个LSTM-RNN模型中，以对这两个LSTM-RNN模型 同时进行训练，两个LSTM-RNN模型的输出向量分别为两个句子的语义向 量；

步骤4)对语义向量进行平均池化操作，以提高语义向量的泛化性，同 时降低语义向量的维数；

步骤5)将两个句子的语义向量输入到MLP模型中，通过MLP模型学 习出语义向量的相关程度；

步骤6)最后根据MLP模型学习出的结果使用K近邻法来校验两个句 子的语义是否一致。

在步骤1.1)中，所述的语句对包括两个句子：分别为空管人员指令和 飞行员复诵语句。

在步骤3)中，所述的LSTM-RNN模型是一个前馈的神经网络模型， 与RNN模型相比，LSTM-RNN模型增加了输出门、遗忘门、输入门和记忆 单元。输出门和输入门的作用是决定存储单元中数据的传递，遗忘门是用 于删除一些冗余信息，而记忆单元是LSTM-RNN最重要的一部分，其用于 记住一些重要的长期的信息。

在本发明中，设o_t,f_t,i_t,c_t分别为输出门、遗忘门、输入门和记忆单元 的状态向量。W_i和W_ri(i＝1,2,3,4)分别是输出门、遗忘门、输入门和记忆单 元的输入和输出的连接权值矩阵，W_pi(i＝1,2,3)是窥空的连接矩阵。 LSTM-RNN模型各状态向量的计算公式如下所示：

i_t＝σ(W₃x_t+W_r3y_t-1+W_p3c_t-1) (1)

f_t＝σ(W₂x_t+W_r2y_t-1+W_p2c_t-1) (2)

o_t＝σ(W₁x_t+W_r1y_t-1+W_p1c_t-1) (3)

l_t＝tanh(W₄x_t+W_r4y_t-1) (4)

c_t＝f_tc_t-1+i_tl_t (5)

y_t＝tanh(c_t)o_t (6)

在上述公式中，σ(·)是sigmoid函数，tanh(·)和σ(·)同时作为激活函 数。y_t是隐层神经元的输出向量；l_t是计算公式的一个中间步骤，没有实际 的意义。当输入序列为句子最后一个单词的one-hot向量时，LSTM-RNN模 型的输出即为句子的语义向量。

在步骤3)中，所述的对两个LSTM-RNN模型同时进行训练的方法是：

在本发明中，由于所用语料库是由专业的空管人员制作并标记的，所 以在训练过程中本发明人采用有监督的训练方式。在训练过程中，本发明 人采用最小化交叉熵误差来训练LSTM-RNN模型；交叉熵误差公式如下：

在上式中，S是语句对的相似度，L是被标记的数字，如果语句对的语 义一致，L为1，否则为0；

本发明是采用时间反向传播(BPTT)的方法来估计LSTM-RNN模型的 参数。在反向传播的过程中，需要求交叉熵误差的梯度，并利用梯度值更 新参数。

在步骤4)中，所述的对语义向量进行平均池化操作的方法是：

为了进一步提高LSTM-RNN模型的辨识精度和鲁棒性，本发明采用平 均池化法将两个LSTM-RNN模型中每一个隐层单元的输出合并为一个语义 向量，这样可以使语义向量更好地反映句子中每个位置词语的语义，同时 提高语义向量的泛化性，有效地防止过拟合的出现，使模型的鲁棒性更好。

平均池化获取语义向量方式与传统获取语义向量的不同在于，考虑了 句子中的每一个单词对于最终语义向量的影响。平均池化是将LSTM-RNN 模型中的每一个时间节点的输出向量求等权平均，公式如下：

N_m表示第一个LSTM-RNN模型的隐层输出节点的个数；

y_i表示第一个LSTM-RNN模型的第i个隐层节点的输出向量。

h_m表示平均池化之后得到的句子的语义向量。

上述公式是第一个LSTM-RNN模型语义向量。第二个LSTM-RNN模 型的平均池化方式与上述方法一致：

为了得到复述类型的语句对的语义关系，本发明将两个语义向量h_m和语 义向量h_n连接为一个语义向量。

在步骤5)中，本发明采用了MLP模型，将平均池化所得到的语义向 量作为MLP模型的输入，通过MLP模型学习出语义向量内在的深层相关 程度，代替了余弦相似度，通过这种方法可进一步提高辨识精度。

在步骤6)中，所述的根据上述MLP模型的学习结果，利用K近邻法 校验两个句子的语义是否一致的方法如下：

在本发明中，校验语义一致性问题可以归纳成分类问题，而且是一个 二分类问题，本发明人采用K近邻法校验两个句子的语义一致性。

K近邻法的基本思想是：引入投票机制，选择前若干个离新样本最近的 已知样本，用它们的类别投票来决定新样本的类别。人们习惯上把参加投 票的近邻样本的个数记为k。K近邻法是一种lazy-learning算法，分类器不 需要使用训练集进行训练，训练时间的复杂度为0。

K近邻法可以表示为：设有N个已知样本分属于c个w_i类(在本发明 中为两类，i＝0,1)，考察新样本x在这些样本中的前K个近邻，然后确定 前K个近邻所在类别的出现频率，最后选取K个近邻中出现频率最高的类 别作为测试数据的预测类别；定义判别函数为：

g_i(x)＝k_i，i＝0,1 (9)

其中，k_i表示各类别所占的个数；x为MLP模型的输出。

决策的规则是：

在上式中，选择出判别函数g₀(x)和g₁(x)中较大的值对应的类别i赋值 给j；其中，j＝1时，表明复述一致；j＝0时，则表明复述不一致。

实验与分析

本发明的实验数据包含1300个语句对(总样本)，其中800个语句对 的语义是一致的(即正样本)，剩下500个语句对语义是不一致的(即负 样本)。根据步骤3中所描述的LSTM-RNN模型，本发明人选择800个语 句对作为训练集，500个语句对作为测试集(训练集和测试集均包含正负样 本)。

为了更准确地衡量LSTM-RNN模型的性能，本发明人随机对实验数据 进行了30次的训练和测试，分别使用了只加入MLP模型代替余弦相似度 方法学习语义向量相关程度的改进LSTM-RNN模型(简称MLP)，使用只 加入平均池化的改进LSTM-RNN模型(简称平均池化)以及使用平均池化 并带有MLP的改进LSTM-RNN模型(本发明提出的方法，简称平均池化 +MLP)。本发明人利用式(11)(12)所示的测试准确率A_cc和标准差R 来评估三种校验方法在本发明中的有效性。

其中，A_cc为测试准确率，R为标准差，M为测试的总次数，A_cci为每次 测试的准确率，为M次测试的平均测试准确率。

每次实验均在总的样本集中随机选出500对正样本和300对负样本组 成训练集，将剩下的300对正样本和200本负样本组成测试集。通过30次 随机实验和测试，实验结果如表2和图5、6、7、8和所示。

由于陆空通话语义校验中更加关注飞行员复诵空管员指令错误(即双 方通话内容语义不一致)的情况，即负样本的正确判别情况。因此，实验 结果不仅给出了所有测试样本的测试准确率，还给出了测试集中正、负样 本各自的测试准确率，如表2所示。三种模型通过30次随机测试的平均测 试准确率如图5所示。

表2基于三种校验模型的测试准确率对比

从表2和图5可以看出，本发明提出的方法，将平均池化和MLP引入 传统LSTM-RNN模型，可以有效提高陆空通话语义校验的准确率，模型的 稳定性最好。加入平均池化的LSTM-RNN模型识别性能在三个模型中最差， 主要原因是语义向量经过平均池化的泛化之后，仅利用余弦相似度无法描 述两条语句深层次的语义关系。但是，其测试准确率仍然高于基于传统 LSTM-RNN模型的校验准确率。

图6、7、8分别给出了某次随机实验中，利用三种模型得到的所有样 本集的语句对语义相似度(余弦相似度或MLP的输出)的分布情况。可以 明显看出，加入MLP和平均池化后，本发明方法可以使正负样本的语义相 似度区别更加明显，即本发明提出的方法更能有效建模语句对的语义关系。

上述实验结果说明，在LSTM-RNN模型的基础上，使用平均池化与 MLP模型可以更好地学习语句对的语义关系，提高校验模型的泛化性和校 验精度，同时新方法的稳定性也更高。同时也证明了本发明方法的实用性 和可行性。

Claims (5)

1.一种基于改进LSTM-RNN的陆空通话语义一致性校验方法，其特征在于：所述的方法包括按顺序进行的下列步骤：

步骤1)制作语料库：

步骤1.1)从实际的陆空通话、相关教材和民航局陆空通话标准中，挑选复诵类型的语句对并存入txt文本中；

步骤1.2)将上述文本中的语句对分成正样本和负样本两种类型，其中正样本由语义一致性的语句对组成，负样本由语义不一致性的语句对组成；

步骤1.3)对上述语句对进行分词：为了方便描述句子语义，需要对语句对进行分词，以每个单词为单位将语句对中的句子进行分词，由分词之后的所有语句对构成语料库；

步骤2)根据民航的通话标准和上述语料库制作专用词表并获得单词的one-hot向量：

步骤2.1)根据民航的通话标准和上述语料库制作一个专用词表；

步骤2.2)利用上述专用词表获得语料库中所有单词的one-hot向量，其中：One-hot向量是用一个向量表示一个单词，向量的维度是词表的大小，其中One-hot向量绝大多数位置的取值为0，只有一个位置的取值为1，这个位置就代表了当前的单词；

步骤3)产生每一语句对中两个句子的语义向量：

将上述每一语句对中两个句子的所有单词的one-hot向量分别作为一个单词序列输入到两个LSTM-RNN模型中，以对这两个LSTM-RNN模型同时进行训练，两个LSTM-RNN模型的输出向量分别为两个句子的语义向量；

步骤4)对语义向量进行平均池化操作，以提高语义向量的泛化性，同时降低语义向量的维数；

步骤5)将两个句子的语义向量输入到MLP模型中，通过MLP模型学习出语义向量的相关程度；

步骤6)最后根据MLP模型学习出的结果使用K近邻法来校验两个句子的语义是否一致。

2.根据权利要求1所述的基于改进LSTM-RNN的陆空通话语义一致性校验方法，其特征在于：在步骤1.1)中，所述的语句对包括两个句子：分别为空管人员指令和飞行员复诵语句。

3.根据权利要求1所述的基于改进LSTM-RNN的陆空通话语义一致性校验方法，其特征在于：在步骤3)中，所述的对两个LSTM-RNN模型同时进行训练的方法是：

采用最小化交叉熵误差来训练LSTM-RNN模型；交叉熵误差公式如下：

在上式中，S是语句对的相似度，L是被标记的数字，如果语句对的语义一致，L为1，否则为0；

采用时间反向传播的方法来估计LSTM-RNN模型的参数；在反向传播的过程中，需要求交叉熵误差的梯度，并利用梯度值更新参数。

4.根据权利要求1所述的基于改进LSTM-RNN的陆空通话语义一致性校验方法，其特征在于：在步骤4)中，所述的对语义向量进行平均池化操作的方法是：

采用平均池化法将两个LSTM-RNN模型中每一个隐层单元的输出合并为一个语义向量；平均池化是将LSTM-RNN模型中的每一个时间节点的输出向量求等权平均，公式如下：

N_m表示第一个LSTM-RNN模型的隐层输出节点的个数；

y_i表示第一个LSTM-RNN模型的第i个隐层节点的输出向量；

h_m表示平均池化之后得到的句子的语义向量；

上述公式是第一个LSTM-RNN模型语义向量；第二个LSTM-RNN模型的平均池化方式与上述方法一致：

为了得到复述类型的语句对的语义关系，将两个语义向量h_m和语义向量h_n连接为一个语义向量。

5.根据权利要求1所述的基于改进LSTM-RNN的陆空通话语义一致性校验方法，其特征在于：在步骤6)中，所述的根据上述MLP模型的学习结果，利用K近邻法校验两个句子的语义是否一致的方法如下：

K近邻法可以表示为：设有N个已知样本分属于c个w_i类，考察新样本x在这些样本中的前K个近邻，然后确定前K个近邻所在类别的出现频率，最后选取K个近邻中出现频率最高的类别作为测试数据的预测类别；定义判别函数为：

g_i(x)＝k_i，i＝0,1 (9)

其中，k_i表示各类别所占的个数；x为MLP模型的输出；

决策的规则是：

在上式中，选择出判别函数g₀(x)和g₁(x)中较大的值对应的类别i赋值给j；其中，j＝1时，表明复述一致；j＝0时，则表明复述不一致。