CN109214006B

CN109214006B - 图像增强的层次化语义表示的自然语言推理方法

Info

Publication number: CN109214006B
Application number: CN201811088770.0A
Authority: CN
Inventors: 陈恩红; 刘淇; 张琨; 吕广奕; 吴乐; 武晗
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2018-09-18
Filing date: 2018-09-18
Publication date: 2020-10-27
Anticipated expiration: 2038-09-18
Also published as: CN109214006A

Abstract

本发明公开了一种图像增强的层次化语义表示的自然语言推理方法，包括：获取具有异构数据结构的自然语言句子对和对应的图像信息；对所述自然语言句子对分别进行词级别、短语级别与句子级别的不同粒度的语义建模，获得相应的语义表示；利用对应的图像信息，分别对词级别、短语级别与句子级别的语义表示进行增强处理；根据增强处理后的词级别、短语级别与句子级别的语义表示，利用自然语言推理中的匹配方法处理得到的自然语言句子对的表示向量，以此判断自然句子对中两个句子之间的推断关系。该方法实现对句子语义的全面准确理解和表示，进而高效建模两个句子之间的语义交互，最终准确判断两个句子之间的语义推断关系。

Description

图像增强的层次化语义表示的自然语言推理方法

技术领域

本发明涉及深度学习和自然语言理解技术领域，尤其涉及一种图像增强的层次化语义表示的自然语言推理方法。

背景技术

自然语言推理(Natural Language Inference,NLI)是自然语言理解领域的一个重要组成部分，要解决的主要问题是判断前提句子(Premise Sentence)与假设句子(Hypothesis Sentence)之间存在的语义推断关系。该关系主要分为三类：1)Entailment：假设句子的语义可以从前提句子的语义中推断出来，2)Contradiction：假设句子的语义无法从前提句子的语义中推断出来；3)Neutral：无法判断假设句子和前提句子之间的语义关系。因此该任务要解决的一个首要问题是自然语言句子的语义表示。自然语言句子的语义表示是自然语言理解甚至人工智能领域一个基础但极其重要的研究内容，无论是基础的信息检索，语义抽取，还是复杂的问答系统，对话系统，都需要对输入句子的语义有一个精准的表示，这样才能保证机器理解人类复杂的语言系统；而自然语言推理相对于这些自然语言理解领域的其他问题，更专注于自然语言句子的语义理解与表示，这不仅保证相关技术的语义理解质量，同时一些成熟的技术可以迅速迁移到自然语言理解的其他领域，为其提供重要的技术支持。因此，自然语言推理一直是自然语言理解领域探索的一个基础但十分重要的研究方向。

目前，关于自然语言推理的方法主要有以下方法：

1)基于句子表示的方法

基于句子表示的方法主要是通过不同的神经网络结构，例如卷积神经网络(Convolutional Neural Network，CNN)，循环神经网络(Recurrent Neural Network，RNN)等抽取句子的特征信息，然后将这些特征信息映射到低维空间，得到句子表示的向量，最后通过一些分类方法判断两个句子之间的推理关系。

2)基于词匹配的方法

相对于基于句子表示的方法，词匹配的方法更关于两个句子中的词之间的匹配关系，通过注意力机制(Attention Mechanism)或者门结构(Gate Unit)等方法计算不同词之间的相似度或者距离，这些方法可以从更细粒度上建模两个句子之间的交互，利用词之间的匹配信息建模两个句子之间的推理关系。

上述自然语言推理工作都假设自然语言句子不依赖任何外部信息，然后通过不同的技术或方法从句子本身进行建模，集中于挖掘句子本身的信息。而在现实生活下，自然语言句子的语义表达是高度依赖其所处的外部情境的，同一个句子可以根据所处外部环境的不同表达不同的意思，因此自然语言句子的语义是具有复杂性，歧义性和模糊性的，而这些方法在建模句子语义时并没有将句子的外部信息考虑进去，因此所得到的句子语义表示更多的是该句子可能的多种语义的融合表示，并没有解决句子的复杂性，歧义性和模糊性问题，也就无法对句子的语义进行精确表示了。同时，自然语言句子可以通过改变一个词实现语义的不同表达，而上述自然语言推理工作并没有考虑自然语言句子在不同粒度上的语义表达，因此，当两个句子的词语重复度很高时，上述方法也就无法区分出两个句子的不同语义表达了。

发明内容

本发明的目的是提供一种图像增强的层次化语义表示的自然语言推理方法，可以实现对句子语义的多粒度精确表示，进而准确判断出两个句子在语义上存在的推断关系。

本发明的目的是通过以下技术方案实现的：

一种图像增强的层次化语义表示的自然语言推理方法，包括：

获取具有异构数据结构的自然语言句子对和对应的图像信息；

对所述自然语言句子对分别进行词级别、短语级别与句子级别的不同粒度的语义建模，获得相应的语义表示；

利用对应的图像信息，分别对词级别、短语级别与句子级别的语义表示进行增强处理；

根据增强处理后的词级别、短语级别与句子级别的语义表示，利用自然语言推理中的匹配方法处理得到的自然语言句子对的表示向量，以此判断自然句子对中两个句子之间的推断关系。

由上述本发明提供的技术方案可以看出，针对自然语言句子对，充分利用外部信息进行语义的增强表示，同时从不同粒度对句子语义进行精确建模和表示，实现对句子语义的全面准确理解和表示，从而高效建模两个句子之间的语义交互，最终准确判断两个句子之间的语义推断关系。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种图像增强的层次化语义表示的自然语言推理方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种图像增强的层次化语义表示的自然语言推理方法，如图1所示，其主要包括如下步骤：

步骤11、获取具有异构数据结构的自然语言句子对和对应的图像信息。

本发明实施例中，每一条样例的异构数据包括：自然语言句子对以及句子发生时对应的图像。所述自然语言句子对包括：前提句子与假设句子；所述前提句子和假设句子的推理关系由专家标注，对应的图像信息由生成文本数据时自动获得。

步骤12、对所述自然语言句子对分别进行词级别、短语级别与句子级别的不同粒度的语义建模，获得相应的语义表示。

1)使用统一的数学形式表示自然语言句子对：由于输入的是两个句子：前提句子(Premise Sentence)和假设句子(Hypothesis Sentence)，因此，对于自然语言句子对中的前提句子用

表示其由m个单词组成的文本；对于自然语言句子对中的假设句子用

表示其由n个单词组成的文本；其中，S_a与S_b中的每一元素均表示一个单词。

2)S_a与S_b中的所有单词构成一个词典V，其大小用l^v表示；S^a和S^b中的每一个元素都用一个独热向量(one-hot vector)表示，向量长度为词典的大小，每个单词的独热向量中只有其在词典中对应的索引位置为1，其他均为0；在此基础上，使用预训练好的词向量矩阵E得到每个单词的低维特征表示，也即词级别的语义表示：

其中，

和

分别表示前提句子S^a中第i个单词和假设句子S^b中第j个单词，

对应于前提句子S^a中第i个单词和假设句子S^b中第j个单词的词级别的语义表示；

3)使用一维卷积分别处理两个句子的词级别的语义表示，具体的是使用不同的卷积核(unigram，bigram，trigram)对句子进行处理，从而得到两个句子在短语级别的语义表示：

其中，Conv1D表示一维卷积操作，S^ga和S^gb分别表示前提句子和假设句子在短语级别的语义表示集合，S^ga、S^gb中元素数量分别为m、n。

4)为了更好的建模句子的序列信息，采用门结构循环网络(GRU)分别对前提句子和假设句子进行建模，得到每个句子中的每个单词的隐含状态序列h_i表示，这样可以得到在考虑周围上下文的条件下每个单词的深层语义表示，从而得到更加全面的句子语义理解，对于t时刻的输入x_t，GRU的隐含状态h_t更新如下：

z＝σ(x_tU^z+h_t-1W^z)

r＝σ(x_tU^r+h_t-1W^r)

其中，z,r,c^m分别是GRU的更新门、重置门、记忆单元，U^z与W^z为更新门的参数矩阵，U^r与W^r为重置门的参数矩阵，U^h与W^h为记忆单元的参数矩阵，

表示点乘；x_t表示前提句子S_a或假设句子S_b中第t个单词的短语级别语义表示

或

σ表示Sigmoid激活操作。

相对于长短期记忆网络(LSTM)，GRU在保证效果的基础上，拥有相对更少的门结构，计算速度更快。利用GRU编码每个句子中每个单词的短语级别语义表示，得到每个句子中单词之间相互依赖的隐层表示，公式如下：

其中，

和

分别表示前提句S^a中第i个单词和假设句子S^b中第j个单词在句子级别的语义表示，

表示前提句子S^a中从第1个短语级别的语义表示到第i'个短语级别的语义表示的集合，

表示假设句子S^b中从第1个短语级别的语义表示到第j'个短语级别的语义表示的集合。

步骤13、利用对应的图像信息，分别对词级别、短语级别与句子级别的语义表示进行增强处理。

1)利用数学形式表示图像信息I，图像信息I是一个固定大小(如227*227*3)的三通道图，且每一个像素值在0到255之间。将图像信息输入至神经网络模型，将神经网络模型最后一个卷积层的结果作为图像信息的特征序列表示，表示为C＝(c₁,c₂,...,c_o)，其中

表示第k_o个特征，o表示特征的数量。

本发明实施例中，神经网络模型可以是常规的VGG或者ResNet。

2)前文提到，句子发生时的对应的图像可以为句子的语义表示提供更加丰富的外部信息，但是由于图像包含了丰富的信息，并不是所有的信息都有助于句子语义表示的增强，而注意力机制可以帮助模型选出与语义表示关联程度最高的额外信息，为了保证额外的图像信息能够准确的辅助句子语义理解，在本发明实施例中，使用注意力机制获取对语义表示最为重要的图像信息，并使用这些获取到的信息对每一粒度上语义进行额外表示；对于前提句子词级别的语义表示处理公式如下：

其中，W^wco表示在词级别的语义表示增强计算中的参数矩阵，

表示对前提句子S^a中的第i个单词在词级别的语义表示上进行额外表示；

表示前提句子中第i个单词与图像的第k_o个特征表示之间的相关程度，值越大表明越相关程度越高；使用相同的方式，得到前提句子短语级别和句子级别的额外表示结果

与

以及假设句子S^b词级别、短语级别与句子级别的额外表示结果

与

3)在基础上，为了保证原始的语义表示信息与利用图像信息得到的增强语义信息表示有效融合起来，借鉴前文中GRU的门结构方法，使用GRU的方法融合每一粒度上的额外表示前后两种语义表示；对于前提句子词级别的语义表示融合方式如下：

其中，

分别表示融合时所使用的GRU的更新门、重置门、记忆单元；

与b_z为更新门

的权重与偏置，

与b_r为重置门

的权重与偏置，

与b_f为记忆单元

的权重与偏置；

表示表示前提句S^a中第i个单词词级别的语义表示融合结果；⊙表示向量的点积；使用相同的方式，得到前提句子短语级别和句子级别的融合表示结果

与

以及假设句子S^b词级别、短语级别与句子级别的融合表示结果

与

4)自然语言句子的语义表示作为一个整体，由句子中的每个单词的语义表示，单词之间的序列信息，额外的辅助信息共同决定，这其中不同部分对最终的语义表达的影响程度是不同的。前文提到，注意力机制可以有效建模这种情形，选择出对最终句子语义的精确表达影响程度大的信息，从而实现对句子语义的精确表示。在本发明实施例中，使用注意力机制对不同粒度上的语义信息进行整合，得到不同粒度上句子语义的最终表达；对于前提句子词级别的最终语义表示s^warep获取方式如下：

其中，W^β,U^β,b^β,ω是计算过程的所涉及的相关参数，ω^T表示转置操作，s^waself是利用注意力机制在前提句子的词级别的融合表示序列

经过计算最后得到的语义向量表示，考虑到注意力机制是对序列中的每个表示做了加权求和，为了使对语义表示非常重要的信息尽可能多的保留，在本放实施例中，分别对词级别的融合表示，词级别的原始表示分别进行了求最大操作，即选出序列中值最大的项，也就是公式表示中的

表示。

使用相同的方式，得到前提句子短语级别和句子级别的最终语义表示s^garep与s^sarep，以及假设句子S^b词级别、短语级别与句子级别的最终语义表示s^wbrep、s^gbrep与s^sbrep。

在本发明实施例中，分别从不同粒度对句子的语义表示进行了精确建模，为了使粒度之间的建模有效融合起来，本实施例中将本步骤中最后的注意力计算中加入了上一粒度中的句子对推断关系表示向量v，在此处，v表示为上一粒度中的句子对推断关系表示，即词级别的注意力中，该表示为0向量，短语级别的注意力中，该表示为短语级别的句子对推断关系表示v^w，在句子级别的注意力中，该表示为短语级别的句子对推断关系表示v^g，该表示会在下一步骤详细解释。

步骤14、根据增强处理后的词级别、短语级别与句子级别的语义表示，利用自然语言推理中的匹配方法处理得到的自然语言句子对的表示向量，以此判断自然句子对中两个句子之间的推断关系。

对于给定的前提句S^a和假设句S^b，以及对应的图像信息I，在得到前提句子增强处理后的词级别、短语级别与句子级别的语义表示s^warep,s^garep,s^sarep，以及假设句子增强处理后的词级别、短语级别与句子级别的语义表示s^wbrep，s^gbrep，s^sbrep后，利用启发式的方法整合这些语义表示。具体来说，选择点乘，相减，拼接等操作将这些表征向量整合起来，获得前提句子与假设句子在词级别、短语级别与句子级别上的句子对推断关系表示向量v^w、v^g与v^s：

v^w＝relu([s^warep；s^wbrep；s^wbrep-s^warep；s^warep⊙s^wbrep；])

v^g＝relu([s^garep；s^gbrep；s^gbrep-s^garep；s^garep⊙s^gbrep；])

v^s＝relu([s^sarep；s^sbrep；s^sbrep-s^sarep；s^sarep⊙s^sbrep；])

其中，relu(.)表示深度学习中的一种非线性激活函数，⊙表示点乘，-表示相减；在这一处理过程中，拼接操作可以最大限度的保留句子的语义表征信息，点乘可以得到两个句子之间的相似度信息，相减操作可以获取语义表征在每个维度上的不同程度。

之后，利用多层感知机(MLP)求出在词级别、短语级别与句子级别上前提句子与假设句子中存在推断关系的概率：

P^w(y|(S^a,S^b,I))＝MLP(v^w)

P^g(y|(S^a,S^b,I))＝MLP(v^g)；

P^s(y|(S^a,S^b,I))＝MLP(v^s)

其中，y表示在前提句子与假设句子中存在的推断关系的类别；P^w(.),P^g(.),P^s(.)分别表示利用词级别，短语级别和句子级别的句子对推断关系表示向量计算出前提句子和假设句子中存在推断关系的概率。MLP是一个三层结构，包含两层的全连接层和ReLu激活函数，以及一层softmax输出层，softmax(·)的主要作用是求出多分类中每一类所占的比例，并保证所有的比例之和为1。

在本发明实施例的训练过程中，要求词级别，短语基本和句子级别都能够准确计算出前提句子和假设句子之间存在的推理关系的概率，因此需要同时计算在不同级别上的推断关系的概率，并通过计算到的上述三个概率来修正网络参数；在预测过程中，则选择句子级别上前提句子与假设句子之间存在推理关系的概率P^s(y|(S^a,S^b,I))，选择最大的概率值对应的关系类别来分类这两个句子所属的类别。通过这样的操作，本发明实施例可以拥有更好的鲁棒性。

本发明实施例提供的上述方法，针对句子语义存在的复杂性，歧义性和模糊性特点，充分利用对应的外部信息增强句子的语义表示，同时考虑从不同粒度上对句子语义信息进行准确建模表示，从而实现对句子语义的全面准确理解和表示，进而高效建模两个句子之间的语义交互，最终准确判断两个句子之间的语义推断关系，同时还提供了一种精确的句子语义表征方法，弥补了现有方法在句子语义表示上存在的不足。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种图像增强的层次化语义表示的自然语言推理方法，其特征在于，包括：

根据增强处理后的词级别、短语级别与句子级别的语义表示，利用自然语言推理中的匹配方法处理得到的自然语言句子对的表示向量，以此判断自然句子对中两个句子之间的推断关系；

其中，所述对所述自然语言句子对分别进行词级别、短语级别与句子级别的不同粒度的语义建模，获得相应的语义表示包括：

使用统一的数学形式表示自然语言句子对：对于自然语言句子对中的前提句子用

表示其由n个单词组成的文本；其中，S_a与S_b中的每一元素均表示一个单词；

S_a与S_b中的所有单词构成一个词典V，其大小用l^v表示；S^a和S^b中的每一个元素都用一个独热向量表示，向量长度为词典的大小，每个单词的独热向量中只有其在词典中对应的索引位置为1，其他均为0；在此基础上，使用预训练好的词向量矩阵E得到每个单词的低维特征表示，也即词级别的语义表示：

其中，

和

之后，使用一维卷积分别处理两个句子的词级别的语义表示，从而得到两个句子在短语级别的语义表示：

其中，Conv1D表示一维卷积操作，S^ga和S^gb分别表示前提句子和假设句子在短语级别的语义表示集合；

门结构循环网络GRU分别对前提句子和假设句子进行建模，得到每个句子中的每个单词的隐含状态序列h_i表示，对于t时刻的输入x_t，GRU的隐含状态h_t更新如下：

z＝σ(x_tU^z+h_t-1W^z)

r＝σ(x_tU^r+h_t-1W^r)

或

σ表示Sigmoid激活操作；

利用GRU编码每个句子中每个单词的短语级别语义表示，得到每个句子中单词之间相互依赖的隐层表示，公式如下：

其中，

和

分别表示前提句S^a中第i个单词和假设句子S^b中第j个单词在句子级别的语义表示；

2.根据权利要求1所述的一种图像增强的层次化语义表示的自然语言推理方法，其特征在于，所述自然语言句子对包括：前提句子与假设句子；

所述前提句子和假设句子的推理关系由专家标注，对应的图像信息由生成文本数据时自动获得。

3.根据权利要求1所述的一种图像增强的层次化语义表示的自然语言推理方法，其特征在于，所述利用对应的图像信息，分别对词级别、短语级别与句子级别的语义表示进行增强处理的过程包括：

首先，利用数学形式表示图像信息I，将图像信息输入至神经网络模型，将神经网络模型最后一个卷积层的结果作为图像信息的特征序列表示，表示为C＝(c₁,c₂,...,c_o)，其中

表示第k_o个特征，o表示特征的数量；

其次，使用注意力机制获取对语义表示最为重要的图像信息，并使用这些获取到的信息对每一粒度上语义进行额外表示；对于前提句子词级别的语义表示处理公式如下：

其中，W^wco表示在词级别的语义表示计算中的参数矩阵，

表示对前提句子S^a中的第i个单词在词级别的语义表示上进行额外表示，

表示前提句子中第i个单词与图像的第k_o个特征表示之间的相关程度；使用相同的方式，得到前提句子短语级别和句子级别的额外表示结果

与

与

然后，使用GRU的方法融合每一粒度上的额外表示前后两种语义表示；对于前提句子词级别的语义表示融合方式如下：

其中，

r_i ^f、f_i ^f分别表示融合时所使用的GRU的更新门、重置门、记忆单元；

与b_z为更新门

的权重与偏置，

与b_r为重置门r_i ^f的权重与偏置，

与b_f为记忆单元f_i ^f的权重与偏置；

与

与

最后，使用注意力机制对不同粒度上的语义信息进行整合，得到不同粒度上句子语义的最终表达；对于前提句子词级别的最终语义表示s^warep获取方式如下：

其中，W^β,U^β,b^β,ω是计算过程的所涉及的相关参数，s^waself是利用注意力机制在前提句子的词级别的融合表示序列

经过计算最后得到的语义向量表示，v表示上一粒度中的句子对推断关系表示向量；使用相同的方式，得到前提句子短语级别和句子级别的最终语义表示s^garep与s^sarep，以及假设句子S^b词级别、短语级别与句子级别的最终语义表示s^wbrep、s^gbrep与s^sbrep。

4.根据权利要求3所述的一种图像增强的层次化语义表示的自然语言推理方法，其特征在于，所述根据增强处理后的词级别、短语级别与句子级别的语义表示，利用自然语言推理中的匹配方法处理得到的自然语言句子对的表示向量，以此判断自然句子对中两个句子之间的推断关系包括：

利用启发式的方法整合增强处理后的词级别、短语级别与句子级别的语义表示，获得前提句子与假设句子在词级别、短语级别与句子级别上的句子对推断关系表示向量v^w、v^g与v^s：

v^w＝relu([s^warep；s^wbrep；s^wbrep-s^warep；s^warep⊙s^wbrep；])

v^g＝relu([s^garep；s^gbrep；s^gbrep-s^garep；s^garep⊙s^gbrep；])

v^s＝relu([s^sarep；s^sbrep；s^sbrep-s^sarep；s^sarep⊙s^sbrep；])

其中，relu(.)表示深度学习中的一种非线性激活函数，

表示点乘，-表示相减；

之后，利用多层感知机MLP求出在词级别、短语级别与句子级别上前提句子与假设句子中存在推断关系的概率：

其中，y表示在前提句子与假设句子中存在的推断关系的类别；P^w(.),P^g(.),P^s(.)分别表示利用词级别，短语级别和句子级别的句子对推断关系表示向量计算出前提句子和假设句子中存在推断关系的概率；

在训练过程中，通过计算到的上述三个概率来修正网络参数；

在预测过程中，选择句子级别上前提句子与假设句子之间存在推理关系的概率P^s(y|(S^a,S^b,I))，选择最大的概率值对应的关系类别来分类这两个句子所属的类别。