CN107578106A - 一种融合单词语义知识的神经网络自然语言推理方法 - Google Patents
一种融合单词语义知识的神经网络自然语言推理方法 Download PDFInfo
- Publication number
- CN107578106A CN107578106A CN201710842371.8A CN201710842371A CN107578106A CN 107578106 A CN107578106 A CN 107578106A CN 201710842371 A CN201710842371 A CN 201710842371A CN 107578106 A CN107578106 A CN 107578106A
- Authority
- CN
- China
- Prior art keywords
- word
- neural network
- text
- natural language
- inference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种融合单词语义知识的神经网络自然语言推理方法,包括:从外部语义知识库中提取词对之间的多种语义关系;构建神经网络模型,利用神经网络模型对输入的前提文本、假设文本以及词对之间的多种语义关系进行局部推理建模,再组合局部推理信息,从而得到句子级别的推理信息,最后对神经网络模型进行训练;将未标注的前提文本和假设文本输入至已经训练好的神经网络模型,计算得到属于三个类别的概率分布,选取最大概率对应的类别作为最终预测的类别。该方法改善了传统神经网络方案对外部语义知识利用不足的问题,提高了自然语言推理的准确性。
Description
技术领域
本发明涉及自然语言处理领域,尤其涉及一种融合单词语义知识的神经网络自然语言推理方法。
背景技术
自然语言推理(Natural Language Inference,NLI),也称为文本蕴含识别(Recognizing Textual Entailment,RTE),指的是判断一句自然语言的前提文本(Premise,P)能否推理出一句自然语言的假设文本(Hypothesis,H)。这个概念由Dagan等人于2004年首次提出,通常的任务是做三分类,1)前提蕴含假设,2)两者矛盾,3)两者中立。
举例来说:
前提:刘庆峰1999年创立科大讯飞有限公司。
假设1:刘庆峰是科大讯飞的创始人。
假设2:刘庆峰不是科大讯飞的创办人。
假设3:刘庆峰是科大毕业的。
很显然,前提和假设1之间是蕴含关系,和假设2之间是矛盾关系,和假设3之间是中立关系。
推理是人类和人工智能的核心。虽然建模自然语言中的推理问题十分有挑战性,但它是真正理解自然语言所必需解决的基本问题之一。正如MacCartney和Manning所言,“真正的自然语言理解的一个必要条件是掌握开放领域的自然语言推理”。自然语言推理能帮助很多自然语言处理的任务,例如问答系统、关系抽取、多文档摘要、机器翻译评价等等。
关于自然语言推理方法,早期的工作主要集中在小规模的数据集上。主要分为如下几种方法:基于相似度的自然语言推理方法,基于对齐的自然语言推理方法,基于逻辑演算的自然语言推理方法,基于转换的自然语言推理方法和基于混合模型的自然语言推理方法。
基于相似度的方法比较直观,即通过比较P-H对的相似程度来判断其是否构成蕴含关系。比如利用编辑距离、句法树编辑距离、话题相似性等等;基于对齐的方法指的是先把P和H中相似的部分找出来对齐,然后把对齐的方式和程度作为判断是否构成蕴含关系的方法。比如,基于单词、句法和句法树的对齐等等;基于逻辑演算的方法一般是先把P-H对和背景知识库中的事实编码为数学逻辑的表达式,构成事实集合,然后应用逻辑推理规则来判断H的表达式是否可以由P的表达式和背景知识库所构成的事实集合所推出。比如基于溯因推理的方法、利用句法依存关系的方法等等;基于转换的方法是针对基于逻辑演算方法的不足提出的。该方法采用了类似“演算”思想,却抛弃了严格的数学逻辑表达式,转而利用语言分析技术,将P-H对表示成为某种语言学表示形式,例如句法树、依存图等,并把背景知识表示成为推理规则,然后以这种表示形式进行推理;基于混合模型的方法则是针对前面方法的优势与不足,把多种特征,比如词级别相识度、句法树相似度、对齐程度等等混合在一起,送入分类器进行分类的方法。
前面介绍的这些方法通常基于人工构建的复杂特征,所以其鲁棒性和扩展性有限。随着深度学习理论研究的快速发展,近期有学者提出了一些基于人工神经网络的自然语言推理方法。主要分为以下几类:基于前馈神经网络(FeedForward Neural Network,FNN)的方法、基于递归神经网络(Recursive Neural Network)的方法、基于卷积神经网络(Convolutional Neural Networks,CNN)的方法和基于循环神经网络(Recurrent NeuralNetwork,RNN)的方法。
Parikh等人提出了一种基于前馈神经网络的分解注意模型,且不依赖词的顺序信息,当其增加了句子内的注意(Attention)机制后,准确率获得了进一步提升;递归神经网络由Goller所提出,Bowman等人使用了递归神经网络来解决自然语言推理任务。该方法用递归神经网络分别对P和H进行编码,得到两个向量,然后把这两个向量送入多层感知机(MLP)进行分类;Yin等人提出了基于注意机制的卷积神经网络来处理自然语言推理问题;Mou等人提出了基于树结构的卷积神经网络来解决自然语言的推理问题。
另外,有很多学者提出了基于循环神经网络的自然语言推理方法,主要使用两种常用的循环神经网络变体,长短时记忆神经网络(Long Short-Term Memory,LSTM)和门限循环单元神经网络(Gated Recurrent Unit,GRU)。LSTM和GRU都是一类有门控制的循环神经网络,它们擅长对序列进行建模,并通过门机制解决了简单循环神经网络(Vanilla RNN)中的梯度消失问题。Bowman等人首次将LSTM句子模型应用到自然语言推理任务。此模型用两个相同参数的LSTM分别编码P和H,然后用Softmax分类器进行分类。接下来很多工作基于相同的框架,对句子编码器进行改进。Vendrov等人使用了预训练的无监督Skip-Thought向量作为GRU编码器的初始化。Bowman等人提出了SPINN模型,此模型把句法分析和理解结合到一个树形-序列的混合模型中。Liu等人使用了双向长短时记忆神经网络(BiLSTM)来产生句子的表述,然后用句子内的注意力模型替换平均池化模型。Munkhdalai等人的方法展示了一种记忆扩展的神经网络,称为神经语义编码器(NSE),用来编码句子。
此外,还有一部分基于循环神经网络的工作开始考虑了句子间的注意机制。等人提出了一种LSTM模型,其结合了词到词的注意力机制,即在第二个LSTM读取H中的每个词时引入第一个LSTM处理P所输出的信息。Wang等人扩展了等人的工作,提出了mLSTM模型,其显式地考虑了P和H之间词到词的匹配关系。Cheng等人提出深度注意混合模型(LSTMN),用来把当前的词同存储记忆中之前的词显式地联系起来。Munkhdalai等人的工作是基于Wang等人的模型框架,提出了完全二叉树模型并获得了进一步的性能提升。Sha等人提出了一种特殊的LSTM变体,其考虑了另一个句子的注意向量作为LSTM的内部状态。Paria等人提出了一种新的神经网络的架构模仿人类进行自然语言推理的过程。Chen等人提出了增强型LSTM模型(ESIM)和融合句法结构信息的HIM模型,是目前的最先进的模型之一。
近年来,自然语言推理任务有了很大的进展。一个重要的贡献是Bowman等人在2015年创建了一个大规模的自然语言推理任务数据集SNLI(StanfordNaturalLanguageInference)。该数据集的规模远超之前所有的语料,有大约57万条人工标注的样本,从而使得训练端到端的人工神经网络模型成为可能。SNLI数据集规模大、类别分布平衡,它已成为目前最常用的标准测试集。
纵观目前已有的基于神经网络的自然语言理解方法,它们绝大多数都是完全依赖训练集进行端到端的模型训练。当训练集规模有限,或着测试集与训练集分布相差较大时,完全依赖训练集的基于神经网络的自然语言理解模型则会遇到很多问题。
发明内容
本发明的目的是提供一种融合单词语义知识的神经网络自然语言推理方法,改善了传统神经网络方案对外部语义知识利用不足的问题,提高了自然语言推理的准确性。
本发明的目的是通过以下技术方案实现的:
一种融合单词语义知识的神经网络自然语言推理方法,包括:
从外部语义知识库中提取词对之间的多种语义关系;
构建神经网络模型,利用神经网络模型对输入的前提文本、假设文本以及词对之间的多种语义关系进行局部推理建模,再组合局部推理信息,从而得到句子级别的推理信息,最后对神经网络模型进行训练;
将未标注的前提文本和假设文本输入至已经训练好的神经网络模型,计算得到属于三个类别的概率分布,选取最大概率对应的类别作为最终预测的类别。
所述词对之间的多种语义关系包括:近义关系、上下位关系与反义关系。
所述神经网络模型包括:输入编码模块,局部推理建模模块和推理组合模块;
所述输入编码模块负责编码输入的前提文本与假设文本,从而获得考虑上下文信息的单词表达;
所述局部推理建模模块负责将词对之间的多种语义关系与考虑上下文信息的单词表达相结合进行局部推理建模;
所述推理组合模块负责组合局部推理信息,从而得到句子级别的推理信息。
所述局部推理建模模块负责将词对之间的多种语义关系与考虑上下文信息的单词表达相结合进行局部推理建模包括:
计算前提文本的每个单词表达和假设文本的每个单词表达之间的距离,从而获得单词之间的软对齐值;
利用Softmax的方式对单词之间的软对齐值做归一化处理,并用加权和的方式获得对偶向量;
将词对之间的多种语义关系与对偶向量相结合,从而完成局部推理建模。
所述推理组合模块负责组合局部推理信息,从而得到句子级别的推理信息包括:将局部推理建模结果作为输入,得到隐层向量序列,然后采用平均池化和最大池化的方式获得固定长度的分类特征向量;最后,该分类特征向量被送入多层感知机进行分类,从而得到句子级别的推理信息。
所述对神经网络模型进行训练的目标是最小化在训练集的交叉熵损失函数。
由上述本发明提供的技术方案可以看出,1)能够充分利用丰富的已有外部单词语义知识来增强基于神经网络的自然语言推理方法,提升了蕴含关系预测的准确率;2)具有很强的扩展性,可以方便地扩展到其他已有的基于神经网络的自然语言推理方法中。另外,在输入编码模块和推理组合模块中,对于神经网络类型的选择有很强的灵活性,例如可以使用简单但运算量低的前馈神经网络,也可以使用复杂但运算量高的树型长短时记忆神经网络;3)由于使用了外部单词语义知识,该技术方案对于训练数据规模的敏感性降低,使得其在训练数据非常有限时,也能取得较好的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种融合单词语义知识的神经网络自然语言推理方法的流程图;
图2为本发明实施例提供的利用构建的神经网络模型实现推理决策过程的示意图;
图3为本发明实施例提供的使用BiLSTM网络作为输入编码模块和组合推理模块的基本结构的整体神经网络模型架构图;
图4为本发明实施例提供的不同训练集规模下模型的准确率比较结果。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
图1为本发明实施例提供的一种融合单词语义知识的神经网络自然语言推理方法的流程图。如图1所示,其主要包括如下步骤:
步骤1、从外部语义知识库中提取词对之间的多种语义关系。
本发明实施例中,所述词对之间的多种语义关系包括:近义关系、上下位关系与反义关系等等。
以外部语义知识库WordNet为例,介绍外部语义知识库的特征提取阶段。WordNet中提供了丰富的词与词之间的多种语义关系,比如上下位、反义、近义等等。针对特定单词语义知识库的结构,可以提取出一个特征向量,用来描述给定的两个词之间的语义关系,向量中各维的取值可以从知识库中提取得到。
步骤2、构建神经网络模型,利用神经网络模型对输入的前提文本、假设文本以及词对之间的多种语义关系进行局部推理建模,再组合局部推理信息,从而得到句子级别的推理信息,最后对神经网络模型进行训练。
本发明实施例中,所述神经网络模型包括:输入编码模块,局部推理建模模块和推理组合模块。
1)所述输入编码模块负责编码输入的前提文本与假设文本,从而获得考虑上下文信息的单词表达。
2)所述局部推理建模模块负责将词对之间的多种语义关系与考虑上下文信息的单词表达相结合进行局部推理建模。其过程如下:计算前提文本的每个单词表达和假设文本的每个单词表达之间的距离,从而获得单词之间的软对齐(Soft-alignment)值;利用Softmax的方式对单词之间的软对齐值做归一化处理,并用加权和的方式获得对偶向量;将词对之间的多种语义关系与对偶向量相结合,从而完成局部推理建模。
3)所述推理组合模块负责组合局部推理信息,从而获得句子级别的推理信息。其过程如下:将局部推理建模结果作为输入,通过组合器的处理得到隐层向量序列,然后采用平均池化和最大池化的方式获得固定长度的分类特征向量;最后,该分类特征向量被送入多层感知机进行分类,从而得到句子级别的推理信息。
另外,本发明实施例中,所述对神经网络模型进行训练的目标是最小化在训练集的交叉熵损失函数。
步骤3、将未标注的前提文本和假设文本输入至已经训练好的神经网络模型,计算得到分别属于三个类别的概率分布,选取具有最大概率的类别作为最终预测的结果。
所述的三个类别即蕴含关系、矛盾关系、中立关系。
为了便于理解,下面针对神经网络模型中的输入编码模块,局部推理建模模块和推理组合模块做进一步详细说明。
1、输入编码模块。
本发明实施例中,输入编码模块主要负责编码输入的前提文本与假设文本。常用的神经网络,比如前馈神经网络、卷积神经网络、循环神经网络等都可以用来编码句子信息。本发明实施例中,以双向长短时记忆网络(BiLSTM)为例,通过BiLSTM编码前提文本和假设文本两个句子的每个单词,从而获得考虑上下文信息的单词表达。
2、局部推理建模模块。
本发明实施例中,局部推理建模模块主要用于建模前提文本和假设文本之间的局部推理信息,此外该模块还利用已经提取的外部语义知识库的特征向量,来加强局部推理信息的建模。
首先,通过计算前提文本的每个单词表达和假设文本的每个单词表达之间的距离,从而获得单词之间的软对齐值,比如通过向量点积或者多层感知机的方法。
然后,用Softmax归一化,并用加权和的方式获得对偶向量。某一单词的对偶向量指的是另一个句子中与该单词最相关信息的表达。通过比较原始向量(即输入编码模块的输出)与对偶向量之间的关系,即可获得局部推理信息的建模,进而为获取句子级别的推理关系做好准备。
为了增强建模局部推理信息,除了拼接原始向量及其对偶向量,还进一步地拼接了两者之差和两者之乘。这样拼接后得到的向量就可以用来输入之后的模块——推理组合模块。为了利用外部单词语义知识,本发明提出了一种融合单词语义知识库的神经网络自然语言推理方法。利用软对齐方式获取的权重信息,把外部语义知识库中提取的特征向量(即词对之间的多种语义关系)加权和后做为额外的输入,与原始向量、对偶向量、两者之差和两者之乘拼接在一起。这样神经网络就能利用丰富的外部语义知识来加强局部推理信息的建模。
3、推理组合模块。
本发明实施例中,推理组合模块主要用于组合局部推理信息,从而得到句子级别的推理信息。该模块也可以使用常用的神经网络来进行建模,比如前馈神经网络、卷积神经网络、循环神经网络等等。以BiLSTM为例,将局部推理建模模块得到的考虑外部语义知识的向量序列(即局部推理建模模块的输出)做为BiLSTM的输入,得到隐层向量序列。然后采用平均池化和最大池化的方式获得固定长度的分类特征向量。最后,该分类特征向量被送入多层感知机进行分类预测。
下面结合一示例来对本发明提供的方法进行说明。
1、提取词对之间的多种语义关系。
WordNet中提供了词与词之间的上下位关系,比如“宠物”是“猫”的上位词。这样,通过添加已有的外部语义知识,能更好地建模单词级别的推理关系,比如“猫”能推理出是“宠物”,从而能更好地帮助建模句子级别的推理关系。除此之外,还能从WordNet中获得语义排斥(semantic exclusion)信息。比如,如果知道“猫”和“狗”的直接上位词是“宠物”,这样“猫”和“狗”就构成了语义排斥的关系,从而能帮助判断前提文本和假设文本之间存在矛盾关系。因此,利用WordNet能提取大量词对之间的上下位、语义排斥等关系,从而能帮助建模自然语言推理。
为此,本示例从WordNet中提取出5维向量特征,每一维数值是0到1的区间。具体如下:
1)近义词特征:如果两个词属于近义关系,即属于同一个同义词集合(synset),则该特征取值为1,否则取值为0。特殊地,当两个词相同时,也取值为1。
2)反义词特征:如果两个词属于反义关系,则该特征取值为1,否则取值为0。反义关系体现了语义排斥关系中的否定关系,它能有效地帮助建模自然语言推理中的矛盾关系。
3)上位词特征:如果一个词是另一个词的(直接的或间接的)上位词,则该特征取值为1-n/8,其中n是两个词在上下位词层级树之间的跳转数,否则该特征取值为0。比如,“狗”的直接上位词是“犬科动物”,即这两个词在上下位层级树之间的跳转数是1,所以此时该特征取值为1-1/8=0.875。又比如,“犬科动物”的直接上位词是“食肉动物”,所以“狗”和“食肉动物”的特征取值为1-2/8=0.75。但是反过来,“食肉动物”和“狗”之间的特征取值为0。
4)下位词特征:如果一个词是另一个词的(直接的或间接的)下位词,则该特征取值为1-n/8,其中n是两个词在上下位词层级树之间的跳转数,否则该特征取值为0。该特征正好是上位词特征的相反特征。比如,“食肉动物”和“狗”之间的特征取值为0.75。
5)相同上位词特征:如果两个词有相同的上位词,但它们不属于同一个同义词集合(synset),则该特征取值为1,否则取值为0。比如,“狗”的上位词是“犬科动物”,“狼”的上位词也是“犬科动物”,且“狗”和“狼”不属于同一个的同义词集合,所以该特征取值为1。相同上位词特征体现了语义排斥关系中的替代关系,也能有效地帮助建模自然语言推理中的矛盾关系。
2、构建神经网络及训练。
如图2所示,神经网络模型中的输入编码模块,局部推理建模模块和推理组合模块,主要处理过程如图3所示;具体如下:
1)输入编码模块
用于编码输入的句子的每个单词。常用的神经网络,比如前馈神经网络、卷积神经网络、循环神经网络等都可以用来编码句子信息。本发明以BiLSTM为例,如图3所示,通过BiLSTM编码前提和假设两个句子的每个单词,从而获得考虑上下文信息的单词表达。对于前提文本的单词序列(a1,...,an)和假设文本的单词序列(b1,...,bm),经过词向量矩阵E的映射,可以得到前提和假设的词向量序列(E(a1),...,E(an))和(E(b1),...,E(bm)),其中n,m分别为前提、假设文本的单词序列的长度。这两个词向量序列分别作为有相同参数的BiLSTM的输入,得到考虑上下文的单词特征表达。计算公式如下:
其中,i∈[1,n],j∈[1,m]分别是前提文本和假设文本的单词序号。BiLSTM由一个前向LSTM和反向LSTM拼接而且。单向的LSTM计算公式如下:
it=σ(Wixt+Uiht-1+bi)
ft=σ(Wfxt+Ufht-1+bf)
ut=tanh(Wuxt+Uuht-1+bu)
ot=σ(Woxt+Uoht-1+bo)
ct=ft⊙ct-1+it⊙ut
ht=ot⊙tanh(ct)
其中,σ是Sigmoid函数,⊙是逐元素乘法,W,U,b都是可训练的模型参数,W,U,b的下标i,f,u,o指示对应LSTM中不同的门函数。对于某一时刻输入xt,LSTM通过一系列的门函数和记忆细胞(Cell,ct)来控制信息流及跟踪长距离的依赖关系,从而产生每一时刻的隐层状态ht。这些门函数包括输入门it、遗忘门ft和输出门ot。
2)局部推理建模模块
首先,通过软对齐的方式获得前提文本和假设文本之间的对齐关系。本示例中,使用向量点积的方式来得到单词之间的对齐值;计算公式如下:
然后分别对两个维度进行Softmax归一化,得到如下公式:
其中exp(eik)和exp(ekj)是分别对eij的第二维度和第一维度求和。使用归一化的权重值对另一个语句进行加权和,获得对偶向量,计算公式如下:
此时,通过比较比较原始向量(即输入编码模块的输出)与对偶向量之间的关系(即,as,ac或者bs,bc),即可获得局部推理信息的建模。
本示例中,为了利用外部单词语义知识,提出了基于神经网络的一种融合外部单词语义知识库的方法。通过之前介绍的方法,从WordNet知识库中提取了任意词对之间的5维特征向量rij,将加权和后特征向量与原始向量、对偶向量、两者之差和两者之乘拼接在一起:
其中F的计算公式如下:
至此,获得了局部推理信息的建模向量序列
3)推理组合模块。
推理组合模块,用于组合局部推理信息,从而得到句子级别的推理信息。该模块也可以使用常用的神经网络来进行建模,比如前馈神经网络、卷积神经网络、循环神经网络等等。以BiLSTM为例,如图3所示,将局部推理建模模块得到的考虑外部语义知识的向量序列做为BiLSTM的输入,得到隐层向量序列av,bv。如下公式所示:
其中,i∈[1,n],j∈[1,m]分别是前提文本和假设文本的单词序号。然后采用平均池化和最大池化的方式获得固定长度的分类特征向量。最后,该分类特征向量被送入多层感知机进行分类。该多层感知机使用单隐层,激活函数可以选择ReLU或者Tanh,输出层使用Softmax获得每个类别的概率。
另外,关于神经网络模型(上面介绍的三个模块)的训练采用端到端的模型进行参数训练,训练的目标是最小化在训练集的交叉熵损失函数。为了避免模型过拟合,模型训练中使用了Dropout和Early Stop的策略。
3、推理决策阶段
将未标注的前提文本和假设文本输入至已经训练好的神经网络,计算得到属于三个类别的概率分布,选取最大概率对应的类别作为最终预测的类别。
本发明实施例所提供的上述方案主要具有如下优点:
1)能够充分利用丰富的已有外部单词语义知识来增强基于神经网络的自然语言推理方法,提升了蕴含关系预测的准确率。
2)具有很强的扩展性,可以方便地扩展到其他已有的基于神经网络的自然语言推理方法中。另外,在输入编码模块和推理组合模块中对于神经网络类型的选择有很强的灵活性,例如可以使用简单但运算量低的前馈神经网络,也可以使用复杂但运算量高的树型长短时记忆神经网络。
3)由于使用已有的单词语义知识,该技术方案对于训练数据规模的敏感性降低,使得其在训练数据很少时,也能取得较好的准确率。
另一方面,传统的基于神经网络的自然语言理解方法通常是完全依赖训练集进行端到端的模型训练。当训练集规模有限,或着测试集与训练集分布相差较大时,完全依赖训练集的基于神经网络的自然语言理解模型则会遇到问题。本发明提出的融合单词语义知识的方法则在一定程度上缓解了该问题。为了验证本发明所提出方法的有效性,设计了如下实验。
(1)实验设置
本实验使用主流的斯坦福自然语言推理数据集(SNLI),该数据集有约57万条样本,采用和之前工作相同的数据划分。分类准确率作为最终的评价指标。使用Adam随机梯度下降算法进行模型优化,所有的隐层节点数和词向量维度是300维。使用300维的GloVe840B作为词向量的初始化。
(2)实验结果
如表格1所示,本实验比较了本发明所提出的方法同之前的方法在SNLI数据集上的准确率。第一行是基于人工特征的分类模型,其考虑了一些基于人工经验提取的特征,如前提文本相对于假设文本的BLEU得分、两者之间重合的单词数、两者之间句子长度之差等等。该模型在测试集的分类准确率为78.2%。ESIM模型是我们的基线系统,其使用了一种增强型LSTM架构,是目前最先进的模型之一。本发明提出的融合单词语义知识的神经网络模型,相较于基线系统88.0%的准确率,在融合基于WordNet单词语义知识后,取得了88.6%的准确率,有0.6%的绝对提升。
模型 | 测试集(%) |
基于人工特征 | 78.2 |
基线系统ESIM | 88.0 |
ESIM+单词语义知识(本发明) | 88.6 |
为了验证模型在训练集规模不够时的性能,随机采样了不同规模的训练集进行测试。实验结果如图4所示,基线系统对应下方的曲线,准确率依次为“88.0、83.4、77.3、62.4”,本发明提供的融合语义知识的方案对应上方的曲线,准确率依次为“88.6、84.5、79.6、69.1”。由图4可见,随着训练集规模的下降,基线系统和融合语义知识的方案都会有准确率的降低,但是融合外部单词语义知识的下降程度比较小,且与基线系统的差异越来越大。该实验表明了本发明提出的融合单词语义知识的模型当训练集规模非常有限时,能发挥更大的作用。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种融合单词语义知识的神经网络自然语言推理方法,其特征在于,包括:
从外部语义知识库中提取词对之间的多种语义关系;
构建神经网络模型,利用神经网络模型对输入的前提文本、假设文本以及词对之间的多种语义关系进行局部推理建模,再组合局部推理信息,从而得到句子级别的推理信息,最后对神经网络模型进行训练;
将未标注的前提文本和假设文本输入至已经训练好的神经网络模型,计算得到属于三个类别的概率分布,选取最大概率对应的类别作为最终预测的类别。
2.根据权利要求1所述的一种融合单词语义知识的神经网络自然语言推理方法,其特征在于,所述词对之间的多种语义关系包括:近义关系、上下位关系与反义关系。
3.根据权利要求1所述的一种融合单词语义知识的神经网络自然语言推理方法,其特征在于,所述神经网络模型包括:输入编码模块,局部推理建模模块和推理组合模块;
所述输入编码模块负责编码输入的前提文本与假设文本,从而获得考虑上下文信息的单词表达;
所述局部推理建模模块负责将词对之间的多种语义关系与考虑上下文信息的单词表达相结合进行局部推理建模;
所述推理组合模块负责组合局部推理信息,从而得到句子级别的推理信息。
4.根据权利要求3所述的一种融合单词语义知识的神经网络自然语言推理方法,其特征在于,所述局部推理建模模块负责将词对之间的多种语义关系与考虑上下文信息的单词表达相结合进行局部推理建模包括:
计算前提文本的每个单词表达和假设文本的每个单词表达之间的距离,从而获得单词之间的软对齐值;
利用Softmax的方式对单词之间的软对齐值做归一化处理,并用加权和的方式获得对偶向量;
将词对之间的多种语义关系与对偶向量相结合,从而完成局部推理建模。
5.根据权利要求3所述的一种融合单词语义知识的神经网络自然语言推理方法,其特征在于,所述推理组合模块负责组合局部推理信息,从而得到句子级别的推理信息包括:将局部推理建模结果作为输入,得到隐层向量序列,然后采用平均池化和最大池化的方式获得固定长度的分类特征向量;最后,该分类特征向量被送入多层感知机进行分类,从而得到句子级别的推理信息。
6.根据权利要求1所述的一种融合单词语义知识的神经网络自然语言推理方法,其特征在于,所述对神经网络模型进行训练的目标是最小化在训练集的交叉熵损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710842371.8A CN107578106B (zh) | 2017-09-18 | 2017-09-18 | 一种融合单词语义知识的神经网络自然语言推理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710842371.8A CN107578106B (zh) | 2017-09-18 | 2017-09-18 | 一种融合单词语义知识的神经网络自然语言推理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578106A true CN107578106A (zh) | 2018-01-12 |
CN107578106B CN107578106B (zh) | 2020-03-24 |
Family
ID=61033279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710842371.8A Active CN107578106B (zh) | 2017-09-18 | 2017-09-18 | 一种融合单词语义知识的神经网络自然语言推理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107578106B (zh) |
Cited By (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108520298A (zh) * | 2018-04-09 | 2018-09-11 | 中国民航大学 | 一种基于改进lstm-rnn的陆空通话语义一致性校验方法 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN108628834A (zh) * | 2018-05-14 | 2018-10-09 | 国家计算机网络与信息安全管理中心 | 一种基于句法依存关系的词语表示学习方法 |
CN108681749A (zh) * | 2018-05-21 | 2018-10-19 | 中国科学院计算技术研究所 | 基于网络社交平台的隐私信息甄别方法 |
CN108717574A (zh) * | 2018-03-26 | 2018-10-30 | 浙江大学 | 一种基于连词标记和强化学习的自然语言推理方法 |
CN108763211A (zh) * | 2018-05-23 | 2018-11-06 | 中国科学院自动化研究所 | 融合蕴含知识的自动文摘方法及系统 |
CN108829722A (zh) * | 2018-05-08 | 2018-11-16 | 国家计算机网络与信息安全管理中心 | 一种远程监督的Dual-Attention关系分类方法及系统 |
CN108829737A (zh) * | 2018-05-21 | 2018-11-16 | 浙江大学 | 基于双向长短期记忆网络的文本交叉组合分类方法 |
CN108874978A (zh) * | 2018-06-08 | 2018-11-23 | 杭州知智能科技有限公司 | 一基于分层适应性分段网络解决会议内容摘要任务的方法 |
CN108920473A (zh) * | 2018-07-04 | 2018-11-30 | 中译语通科技股份有限公司 | 一种基于同类词与同义词替换的数据增强机器翻译方法 |
CN108985929A (zh) * | 2018-06-11 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 训练方法、业务数据分类处理方法及装置、电子设备 |
CN109033088A (zh) * | 2018-09-04 | 2018-12-18 | 北京先声教育科技有限公司 | 一种基于神经网络的第二语言习得模型 |
CN109102079A (zh) * | 2018-08-16 | 2018-12-28 | 辽宁大学 | 基于值导数gru的入侵检测算法 |
CN109214006A (zh) * | 2018-09-18 | 2019-01-15 | 中国科学技术大学 | 图像增强的层次化语义表示的自然语言推理方法 |
CN109344404A (zh) * | 2018-09-21 | 2019-02-15 | 中国科学技术大学 | 情境感知的双重注意力自然语言推理方法 |
CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
CN109460553A (zh) * | 2018-11-05 | 2019-03-12 | 中山大学 | 一种基于门限卷积神经网络的机器阅读理解方法 |
CN109508810A (zh) * | 2018-09-29 | 2019-03-22 | 天津大学 | 一种基于实现月平均水文流量预测的系统 |
CN109684640A (zh) * | 2018-12-26 | 2019-04-26 | 科大讯飞股份有限公司 | 一种语义提取方法及装置 |
CN109710800A (zh) * | 2018-11-08 | 2019-05-03 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频分类方法、装置、终端及存储介质 |
CN109740148A (zh) * | 2018-12-16 | 2019-05-10 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
CN109766546A (zh) * | 2018-12-25 | 2019-05-17 | 华东师范大学 | 一种基于神经网络的自然语言推理方法 |
CN109766994A (zh) * | 2018-12-25 | 2019-05-17 | 华东师范大学 | 一种自然语言推理的神经网络架构 |
CN109858032A (zh) * | 2019-02-14 | 2019-06-07 | 程淑玉 | 融合Attention机制的多粒度句子交互自然语言推理模型 |
CN109902301A (zh) * | 2019-02-26 | 2019-06-18 | 广东工业大学 | 基于深度神经网络的关系推理方法、装置及设备 |
CN110059310A (zh) * | 2018-01-19 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 上位词网络的扩充方法及装置、电子设备、存储介质 |
CN110147444A (zh) * | 2018-11-28 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 神经网络语言模型、文本预测方法、装置及存储介质 |
CN110196978A (zh) * | 2019-06-04 | 2019-09-03 | 重庆大学 | 一种关注关联词的实体关系抽取方法 |
CN110209832A (zh) * | 2018-08-08 | 2019-09-06 | 腾讯科技(北京)有限公司 | 上下位关系的判别方法、系统和计算机设备 |
CN110298038A (zh) * | 2019-06-14 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种文本打分方法及装置 |
CN110298037A (zh) * | 2019-06-13 | 2019-10-01 | 同济大学 | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 |
CN110390397A (zh) * | 2019-06-13 | 2019-10-29 | 成都信息工程大学 | 一种文本蕴含识别方法及装置 |
CN110413992A (zh) * | 2019-06-26 | 2019-11-05 | 重庆兆光科技股份有限公司 | 一种语义分析识别方法、系统、介质和设备 |
CN110533725A (zh) * | 2019-09-06 | 2019-12-03 | 西南交通大学 | 一种基于结构推理网络的高铁接触网多种零部件定位方法 |
CN110618980A (zh) * | 2019-09-09 | 2019-12-27 | 上海交通大学 | 基于法律文本精确匹配和矛盾检测的系统及方法 |
WO2020001329A1 (zh) * | 2018-06-28 | 2020-01-02 | 北京金山安全软件有限公司 | 一种输入预测方法及装置 |
CN110727778A (zh) * | 2019-10-15 | 2020-01-24 | 大连中河科技有限公司 | 一种面向税务的智能问答系统 |
CN110765779A (zh) * | 2019-11-07 | 2020-02-07 | 苏州跃盟信息科技有限公司 | 字矩阵的训练方法及装置 |
CN110781666A (zh) * | 2018-07-12 | 2020-02-11 | 国际商业机器公司 | 基于生成式对抗网络的自然语言处理文本建模 |
CN111108501A (zh) * | 2019-12-25 | 2020-05-05 | 深圳市优必选科技股份有限公司 | 一种基于上下文的多轮对话方法、装置、设备及存储介质 |
CN111126072A (zh) * | 2019-12-13 | 2020-05-08 | 北京声智科技有限公司 | 一种Seq2Seq模型训练方法、装置、介质和设备 |
CN111241843A (zh) * | 2018-11-29 | 2020-06-05 | 中国移动通信集团广东有限公司 | 基于复合神经网络的语义关系推断系统和方法 |
CN111340006A (zh) * | 2020-04-16 | 2020-06-26 | 深圳市康鸿泰科技有限公司 | 一种手语识别方法及系统 |
CN111368026A (zh) * | 2020-02-25 | 2020-07-03 | 杭州电子科技大学 | 基于词语义关系与动态卷积神经网络的文本蕴含分析方法 |
CN111583072A (zh) * | 2020-04-27 | 2020-08-25 | 北京北大软件工程股份有限公司 | 法条上下位关系判断方法及处理终端 |
CN111666405A (zh) * | 2019-03-06 | 2020-09-15 | 百度在线网络技术(北京)有限公司 | 用于识别文本蕴含关系的方法和装置 |
CN111680136A (zh) * | 2020-04-28 | 2020-09-18 | 平安科技(深圳)有限公司 | 一种口语语义匹配的方法及装置 |
CN112434813A (zh) * | 2020-11-03 | 2021-03-02 | 辽宁师范大学 | 基于面向属性语言概念格的多重多维语言推理方法 |
CN112740238A (zh) * | 2018-09-28 | 2021-04-30 | 三菱电机株式会社 | 推理装置、推理方法和推理程序 |
CN112819164A (zh) * | 2021-02-02 | 2021-05-18 | 京东数科海益信息科技有限公司 | 事理图谱的推理方法、装置及计算机设备 |
CN112863484A (zh) * | 2021-01-25 | 2021-05-28 | 中国科学技术大学 | 韵律短语边界预测模型训练方法和韵律短语边界预测方法 |
CN113010690A (zh) * | 2021-03-29 | 2021-06-22 | 华南理工大学 | 一种基于文本信息增强实体嵌入的方法 |
CN113010676A (zh) * | 2021-03-15 | 2021-06-22 | 北京语言大学 | 一种文本知识提取方法、装置及自然语言推断系统 |
CN113239166A (zh) * | 2021-05-24 | 2021-08-10 | 清华大学深圳国际研究生院 | 一种基于语义知识增强的自动化人机互动方法 |
CN113239143A (zh) * | 2021-04-28 | 2021-08-10 | 国网山东省电力公司电力科学研究院 | 融合电网故障案例库的输变电设备故障处理方法及系统 |
CN113283605A (zh) * | 2021-07-26 | 2021-08-20 | 中国科学院自动化研究所 | 基于预训练模型的交叉聚焦损失的溯因推理方法 |
CN113449564A (zh) * | 2020-03-26 | 2021-09-28 | 上海交通大学 | 基于人体局部语义知识的行为图像分类方法 |
US11132513B2 (en) | 2019-05-07 | 2021-09-28 | International Business Machines Corporation | Attention-based natural language processing |
CN113535918A (zh) * | 2021-07-14 | 2021-10-22 | 梁晨 | 预训练对偶注意力神经网络语义推断对话检索方法及系统、检索设备、存储介质 |
US11176333B2 (en) | 2019-05-07 | 2021-11-16 | International Business Machines Corporation | Generation of sentence representation |
CN113806531A (zh) * | 2021-08-26 | 2021-12-17 | 西北大学 | 药物关系分类模型构建方法、药物关系分类方法及系统 |
CN114417887A (zh) * | 2022-03-22 | 2022-04-29 | 南京云问网络技术有限公司 | 一种融合语义解析的自然语言推断方法和装置 |
CN114626529A (zh) * | 2022-02-25 | 2022-06-14 | 华南理工大学 | 一种自然语言推理微调方法、系统、装置及存储介质 |
CN116882412A (zh) * | 2023-06-29 | 2023-10-13 | 易方达基金管理有限公司 | 一种基于nlp分类的语义推理方法及系统 |
CN116957140A (zh) * | 2023-06-29 | 2023-10-27 | 易方达基金管理有限公司 | 一种基于nlp因子的股票预测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102023986A (zh) * | 2009-09-22 | 2011-04-20 | 日电(中国)有限公司 | 参考外部知识构建文本分类器的方法和设备 |
US20150142701A1 (en) * | 2013-11-20 | 2015-05-21 | International Business Machines Corporation | Evidence based medical record |
-
2017
- 2017-09-18 CN CN201710842371.8A patent/CN107578106B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102023986A (zh) * | 2009-09-22 | 2011-04-20 | 日电(中国)有限公司 | 参考外部知识构建文本分类器的方法和设备 |
US20150142701A1 (en) * | 2013-11-20 | 2015-05-21 | International Business Machines Corporation | Evidence based medical record |
Non-Patent Citations (3)
Title |
---|
BILL MACCARTNEY ETAL.: "Modeling Semantic Containment and Exclusion in Natural Language Inference", 《PROCEEDINGS OF THE 22ND INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS》 * |
SENLIN ZHANG ETAL.: "Natural language inference using LSTM MODEL with Sentence Fusion", 《PROCEEDINGS OF THE 36TH CHINESE CONTROL CONFERENCE》 * |
任函: "面向汉语文本推理的语言现象标注规范研究", 《河南科技学院学报》 * |
Cited By (103)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059310A (zh) * | 2018-01-19 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 上位词网络的扩充方法及装置、电子设备、存储介质 |
CN110059310B (zh) * | 2018-01-19 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 上位词网络的扩充方法及装置、电子设备、存储介质 |
CN108717574A (zh) * | 2018-03-26 | 2018-10-30 | 浙江大学 | 一种基于连词标记和强化学习的自然语言推理方法 |
CN108717574B (zh) * | 2018-03-26 | 2021-09-21 | 浙江大学 | 一种基于连词标记和强化学习的自然语言推理方法 |
CN108520298A (zh) * | 2018-04-09 | 2018-09-11 | 中国民航大学 | 一种基于改进lstm-rnn的陆空通话语义一致性校验方法 |
CN108595632B (zh) * | 2018-04-24 | 2022-05-24 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN108829722A (zh) * | 2018-05-08 | 2018-11-16 | 国家计算机网络与信息安全管理中心 | 一种远程监督的Dual-Attention关系分类方法及系统 |
CN108829722B (zh) * | 2018-05-08 | 2020-10-02 | 国家计算机网络与信息安全管理中心 | 一种远程监督的Dual-Attention关系分类方法及系统 |
CN108628834A (zh) * | 2018-05-14 | 2018-10-09 | 国家计算机网络与信息安全管理中心 | 一种基于句法依存关系的词语表示学习方法 |
CN108628834B (zh) * | 2018-05-14 | 2022-04-15 | 国家计算机网络与信息安全管理中心 | 一种基于句法依存关系的词语表示学习方法 |
CN108829737A (zh) * | 2018-05-21 | 2018-11-16 | 浙江大学 | 基于双向长短期记忆网络的文本交叉组合分类方法 |
CN108681749A (zh) * | 2018-05-21 | 2018-10-19 | 中国科学院计算技术研究所 | 基于网络社交平台的隐私信息甄别方法 |
CN108829737B (zh) * | 2018-05-21 | 2021-11-05 | 浙江大学 | 基于双向长短期记忆网络的文本交叉组合分类方法 |
CN108763211A (zh) * | 2018-05-23 | 2018-11-06 | 中国科学院自动化研究所 | 融合蕴含知识的自动文摘方法及系统 |
CN108763211B (zh) * | 2018-05-23 | 2020-07-31 | 中国科学院自动化研究所 | 融合蕴含知识的自动文摘方法及系统 |
CN108874978B (zh) * | 2018-06-08 | 2021-09-10 | 杭州一知智能科技有限公司 | 一基于分层适应性分段网络解决会议内容摘要任务的方法 |
CN108874978A (zh) * | 2018-06-08 | 2018-11-23 | 杭州知智能科技有限公司 | 一基于分层适应性分段网络解决会议内容摘要任务的方法 |
CN108985929B (zh) * | 2018-06-11 | 2022-04-08 | 创新先进技术有限公司 | 训练方法、业务数据分类处理方法及装置、电子设备 |
CN108985929A (zh) * | 2018-06-11 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 训练方法、业务数据分类处理方法及装置、电子设备 |
WO2020001329A1 (zh) * | 2018-06-28 | 2020-01-02 | 北京金山安全软件有限公司 | 一种输入预测方法及装置 |
US11409374B2 (en) | 2018-06-28 | 2022-08-09 | Beijing Kingsoft Internet Security Software Co., Ltd. | Method and device for input prediction |
CN108920473A (zh) * | 2018-07-04 | 2018-11-30 | 中译语通科技股份有限公司 | 一种基于同类词与同义词替换的数据增强机器翻译方法 |
CN108920473B (zh) * | 2018-07-04 | 2022-08-09 | 中译语通科技股份有限公司 | 一种基于同类词与同义词替换的数据增强机器翻译方法 |
CN110781666A (zh) * | 2018-07-12 | 2020-02-11 | 国际商业机器公司 | 基于生成式对抗网络的自然语言处理文本建模 |
CN110781666B (zh) * | 2018-07-12 | 2023-09-05 | 国际商业机器公司 | 基于生成式对抗网络的自然语言处理文本建模 |
CN110209832A (zh) * | 2018-08-08 | 2019-09-06 | 腾讯科技(北京)有限公司 | 上下位关系的判别方法、系统和计算机设备 |
CN109102079A (zh) * | 2018-08-16 | 2018-12-28 | 辽宁大学 | 基于值导数gru的入侵检测算法 |
CN109102079B (zh) * | 2018-08-16 | 2022-01-11 | 深圳市德瑞信息技术有限公司 | 基于值导数gru的入侵检测算法 |
CN109033088B (zh) * | 2018-09-04 | 2023-05-30 | 北京先声智能科技有限公司 | 一种基于神经网络的第二语言习得模型 |
CN109033088A (zh) * | 2018-09-04 | 2018-12-18 | 北京先声教育科技有限公司 | 一种基于神经网络的第二语言习得模型 |
CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
CN109214006A (zh) * | 2018-09-18 | 2019-01-15 | 中国科学技术大学 | 图像增强的层次化语义表示的自然语言推理方法 |
CN109344404A (zh) * | 2018-09-21 | 2019-02-15 | 中国科学技术大学 | 情境感知的双重注意力自然语言推理方法 |
CN112740238A (zh) * | 2018-09-28 | 2021-04-30 | 三菱电机株式会社 | 推理装置、推理方法和推理程序 |
CN109508810A (zh) * | 2018-09-29 | 2019-03-22 | 天津大学 | 一种基于实现月平均水文流量预测的系统 |
CN109460553A (zh) * | 2018-11-05 | 2019-03-12 | 中山大学 | 一种基于门限卷积神经网络的机器阅读理解方法 |
CN109710800A (zh) * | 2018-11-08 | 2019-05-03 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频分类方法、装置、终端及存储介质 |
CN110147444A (zh) * | 2018-11-28 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 神经网络语言模型、文本预测方法、装置及存储介质 |
CN110147444B (zh) * | 2018-11-28 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 基于神经网络语言模型的文本预测方法、装置及存储介质 |
CN111241843A (zh) * | 2018-11-29 | 2020-06-05 | 中国移动通信集团广东有限公司 | 基于复合神经网络的语义关系推断系统和方法 |
CN111241843B (zh) * | 2018-11-29 | 2023-09-22 | 中国移动通信集团广东有限公司 | 基于复合神经网络的语义关系推断系统和方法 |
CN109740148B (zh) * | 2018-12-16 | 2023-12-22 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
CN109740148A (zh) * | 2018-12-16 | 2019-05-10 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
CN109766546A (zh) * | 2018-12-25 | 2019-05-17 | 华东师范大学 | 一种基于神经网络的自然语言推理方法 |
CN109766994A (zh) * | 2018-12-25 | 2019-05-17 | 华东师范大学 | 一种自然语言推理的神经网络架构 |
CN109684640A (zh) * | 2018-12-26 | 2019-04-26 | 科大讯飞股份有限公司 | 一种语义提取方法及装置 |
CN109684640B (zh) * | 2018-12-26 | 2023-05-30 | 科大讯飞股份有限公司 | 一种语义提取方法及装置 |
CN109858032A (zh) * | 2019-02-14 | 2019-06-07 | 程淑玉 | 融合Attention机制的多粒度句子交互自然语言推理模型 |
CN109902301B (zh) * | 2019-02-26 | 2023-02-10 | 广东工业大学 | 基于深度神经网络的关系推理方法、装置及设备 |
CN109902301A (zh) * | 2019-02-26 | 2019-06-18 | 广东工业大学 | 基于深度神经网络的关系推理方法、装置及设备 |
CN111666405A (zh) * | 2019-03-06 | 2020-09-15 | 百度在线网络技术(北京)有限公司 | 用于识别文本蕴含关系的方法和装置 |
US11132513B2 (en) | 2019-05-07 | 2021-09-28 | International Business Machines Corporation | Attention-based natural language processing |
US11176333B2 (en) | 2019-05-07 | 2021-11-16 | International Business Machines Corporation | Generation of sentence representation |
CN110196978A (zh) * | 2019-06-04 | 2019-09-03 | 重庆大学 | 一种关注关联词的实体关系抽取方法 |
CN110298037A (zh) * | 2019-06-13 | 2019-10-01 | 同济大学 | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 |
CN110298037B (zh) * | 2019-06-13 | 2023-08-04 | 同济大学 | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 |
CN110390397A (zh) * | 2019-06-13 | 2019-10-29 | 成都信息工程大学 | 一种文本蕴含识别方法及装置 |
CN110298038B (zh) * | 2019-06-14 | 2022-12-06 | 北京奇艺世纪科技有限公司 | 一种文本打分方法及装置 |
CN110298038A (zh) * | 2019-06-14 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种文本打分方法及装置 |
CN110413992A (zh) * | 2019-06-26 | 2019-11-05 | 重庆兆光科技股份有限公司 | 一种语义分析识别方法、系统、介质和设备 |
CN110533725A (zh) * | 2019-09-06 | 2019-12-03 | 西南交通大学 | 一种基于结构推理网络的高铁接触网多种零部件定位方法 |
CN110533725B (zh) * | 2019-09-06 | 2022-04-29 | 西南交通大学 | 一种基于结构推理网络的高铁接触网多种零部件定位方法 |
CN110618980A (zh) * | 2019-09-09 | 2019-12-27 | 上海交通大学 | 基于法律文本精确匹配和矛盾检测的系统及方法 |
CN110727778A (zh) * | 2019-10-15 | 2020-01-24 | 大连中河科技有限公司 | 一种面向税务的智能问答系统 |
CN110765779A (zh) * | 2019-11-07 | 2020-02-07 | 苏州跃盟信息科技有限公司 | 字矩阵的训练方法及装置 |
CN110765779B (zh) * | 2019-11-07 | 2023-09-29 | 苏州跃盟信息科技有限公司 | 字矩阵的训练方法及装置 |
CN111126072B (zh) * | 2019-12-13 | 2023-06-20 | 北京声智科技有限公司 | 一种Seq2Seq模型训练方法、装置、介质和设备 |
CN111126072A (zh) * | 2019-12-13 | 2020-05-08 | 北京声智科技有限公司 | 一种Seq2Seq模型训练方法、装置、介质和设备 |
CN111108501B (zh) * | 2019-12-25 | 2024-02-06 | 深圳市优必选科技股份有限公司 | 一种基于上下文的多轮对话方法、装置、设备及存储介质 |
CN111108501A (zh) * | 2019-12-25 | 2020-05-05 | 深圳市优必选科技股份有限公司 | 一种基于上下文的多轮对话方法、装置、设备及存储介质 |
CN111368026A (zh) * | 2020-02-25 | 2020-07-03 | 杭州电子科技大学 | 基于词语义关系与动态卷积神经网络的文本蕴含分析方法 |
CN111368026B (zh) * | 2020-02-25 | 2020-11-24 | 杭州电子科技大学 | 基于词语义关系与动态卷积神经网络的文本蕴含分析方法 |
CN113449564B (zh) * | 2020-03-26 | 2022-09-06 | 上海交通大学 | 基于人体局部语义知识的行为图像分类方法 |
CN113449564A (zh) * | 2020-03-26 | 2021-09-28 | 上海交通大学 | 基于人体局部语义知识的行为图像分类方法 |
CN111340006A (zh) * | 2020-04-16 | 2020-06-26 | 深圳市康鸿泰科技有限公司 | 一种手语识别方法及系统 |
CN111583072B (zh) * | 2020-04-27 | 2023-11-07 | 北京北大软件工程股份有限公司 | 法条上下位关系判断方法及处理终端 |
CN111583072A (zh) * | 2020-04-27 | 2020-08-25 | 北京北大软件工程股份有限公司 | 法条上下位关系判断方法及处理终端 |
CN111680136B (zh) * | 2020-04-28 | 2023-08-25 | 平安科技(深圳)有限公司 | 一种口语语义匹配的方法及装置 |
CN111680136A (zh) * | 2020-04-28 | 2020-09-18 | 平安科技(深圳)有限公司 | 一种口语语义匹配的方法及装置 |
CN112434813B (zh) * | 2020-11-03 | 2023-07-11 | 辽宁师范大学 | 基于面向属性语言概念格的多重多维语言推理方法 |
CN112434813A (zh) * | 2020-11-03 | 2021-03-02 | 辽宁师范大学 | 基于面向属性语言概念格的多重多维语言推理方法 |
CN112863484B (zh) * | 2021-01-25 | 2024-04-09 | 中国科学技术大学 | 韵律短语边界预测模型训练方法和韵律短语边界预测方法 |
CN112863484A (zh) * | 2021-01-25 | 2021-05-28 | 中国科学技术大学 | 韵律短语边界预测模型训练方法和韵律短语边界预测方法 |
CN112819164A (zh) * | 2021-02-02 | 2021-05-18 | 京东数科海益信息科技有限公司 | 事理图谱的推理方法、装置及计算机设备 |
CN112819164B (zh) * | 2021-02-02 | 2024-05-24 | 京东科技信息技术有限公司 | 事理图谱的推理方法、装置及计算机设备 |
CN113010676A (zh) * | 2021-03-15 | 2021-06-22 | 北京语言大学 | 一种文本知识提取方法、装置及自然语言推断系统 |
CN113010676B (zh) * | 2021-03-15 | 2023-12-08 | 北京语言大学 | 一种文本知识提取方法、装置及自然语言推断系统 |
CN113010690B (zh) * | 2021-03-29 | 2022-11-18 | 华南理工大学 | 一种基于文本信息增强实体嵌入的方法 |
CN113010690A (zh) * | 2021-03-29 | 2021-06-22 | 华南理工大学 | 一种基于文本信息增强实体嵌入的方法 |
CN113239143A (zh) * | 2021-04-28 | 2021-08-10 | 国网山东省电力公司电力科学研究院 | 融合电网故障案例库的输变电设备故障处理方法及系统 |
CN113239166A (zh) * | 2021-05-24 | 2021-08-10 | 清华大学深圳国际研究生院 | 一种基于语义知识增强的自动化人机互动方法 |
CN113239166B (zh) * | 2021-05-24 | 2023-06-06 | 清华大学深圳国际研究生院 | 一种基于语义知识增强的自动化人机互动方法 |
CN113535918A (zh) * | 2021-07-14 | 2021-10-22 | 梁晨 | 预训练对偶注意力神经网络语义推断对话检索方法及系统、检索设备、存储介质 |
CN113283605B (zh) * | 2021-07-26 | 2021-11-09 | 中国科学院自动化研究所 | 基于预训练模型的交叉聚焦损失的溯因推理方法 |
CN113283605A (zh) * | 2021-07-26 | 2021-08-20 | 中国科学院自动化研究所 | 基于预训练模型的交叉聚焦损失的溯因推理方法 |
CN113806531A (zh) * | 2021-08-26 | 2021-12-17 | 西北大学 | 药物关系分类模型构建方法、药物关系分类方法及系统 |
CN113806531B (zh) * | 2021-08-26 | 2024-02-27 | 西北大学 | 药物关系分类模型构建方法、药物关系分类方法及系统 |
CN114626529A (zh) * | 2022-02-25 | 2022-06-14 | 华南理工大学 | 一种自然语言推理微调方法、系统、装置及存储介质 |
CN114626529B (zh) * | 2022-02-25 | 2024-04-23 | 华南理工大学 | 一种自然语言推理微调方法、系统、装置及存储介质 |
CN114417887A (zh) * | 2022-03-22 | 2022-04-29 | 南京云问网络技术有限公司 | 一种融合语义解析的自然语言推断方法和装置 |
CN116957140A (zh) * | 2023-06-29 | 2023-10-27 | 易方达基金管理有限公司 | 一种基于nlp因子的股票预测方法及系统 |
CN116882412A (zh) * | 2023-06-29 | 2023-10-13 | 易方达基金管理有限公司 | 一种基于nlp分类的语义推理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107578106B (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578106A (zh) | 一种融合单词语义知识的神经网络自然语言推理方法 | |
CN110334354B (zh) | 一种中文关系抽取方法 | |
CN107133211B (zh) | 一种基于注意力机制的作文评分方法 | |
CN110083833B (zh) | 中文字词向量和方面词向量联合嵌入情感分析方法 | |
Qin et al. | Dynamic knowledge routing network for target-guided open-domain conversation | |
CN110390397A (zh) | 一种文本蕴含识别方法及装置 | |
CN110321563A (zh) | 基于混合监督模型的文本情感分析方法 | |
Kleenankandy et al. | An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies | |
CN110334196B (zh) | 基于笔画和自注意力机制的神经网络中文问题生成系统 | |
Zhang et al. | Hierarchical scene parsing by weakly supervised learning with image descriptions | |
CN112115242A (zh) | 一种基于朴素贝叶斯分类算法的智能客服问答系统 | |
Zhang et al. | A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews | |
Xiong et al. | DGI: recognition of textual entailment via dynamic gate matching | |
CN114881042A (zh) | 基于图卷积网络融合句法依存与词性的中文情感分析方法 | |
Dai et al. | Relation classification via LSTMs based on sequence and tree structure | |
CN114254645A (zh) | 一种人工智能辅助写作系统 | |
CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
CN117033602A (zh) | 一种多模态的用户心智感知问答模型的构建方法 | |
CN109670164A (zh) | 基于深层多词嵌入Bi-LSTM残差网络的健康舆情分析方法 | |
Kasai et al. | End-to-end graph-based TAG parsing with neural networks | |
Wang et al. | Contextual and selective attention networks for image captioning | |
He et al. | Learning to align question and answer utterances in customer service conversation with recurrent pointer networks | |
Jiang et al. | A BERT-Bi-LSTM-Based knowledge graph question answering method | |
Wei et al. | Named entity recognition method for educational emergency field based on BERT | |
Wang et al. | Paraphrase recognition via combination of neural classifier and keywords |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |