CN108717574B - 一种基于连词标记和强化学习的自然语言推理方法 - Google Patents
一种基于连词标记和强化学习的自然语言推理方法 Download PDFInfo
- Publication number
- CN108717574B CN108717574B CN201810252473.9A CN201810252473A CN108717574B CN 108717574 B CN108717574 B CN 108717574B CN 201810252473 A CN201810252473 A CN 201810252473A CN 108717574 B CN108717574 B CN 108717574B
- Authority
- CN
- China
- Prior art keywords
- natural language
- conjunctive
- word
- encoder
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002787 reinforcement Effects 0.000 title claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 20
- 239000013604 expression vector Substances 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- GJFNRSDCSTVPCJ-UHFFFAOYSA-N 1,8-bis(dimethylamino)naphthalene Chemical compound C1=CC(N(C)C)=C2C(N(C)C)=CC=CC2=C1 GJFNRSDCSTVPCJ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种基于连词标记和强化学习的自然语言推理方法，包括以下步骤：(1)在连词预测任务上训练一个连词预测模型；(2)在自然语言推理模型中，输入前提和猜想文本并使用编码器对其编码，得到表达矩阵；(3)将连词预测模型的编码器嵌入到自然语言推理模型中，将步骤(2)编码过程中得到的前提和猜想的词向量送入预训练好的编码器并输出表达向量；(4)将自然语言推理模型的编码器和嵌入的连词预测模型中的编码器在注意力机制中交互，得到一个注意力向量；(5)将注意力向量转化为概率分布并输出结果。利用本发明，通过迁移其他监督学习任务所学到的知识，大大提升了在大规模数据集上进行自然语言推理任务的准确率。
Description
技术领域
本发明涉及自然语言处理领域，具体涉及一种基于连词标记和强化学习的自然语言推理方法。
背景技术
一直以来，自然语言推理问题都是自然语言处理中最为热门和棘手的问题之一。在目前最热门的任务中，都是给定两个句子(前提句，猜想句)，我们需要去判断这两个句子的逻辑关系是蕴涵、中立或矛盾。一个高效的自然语言推理模型可以在以语义理解为基础的众多领域得到广泛应用，如对话机器人，问答系统和文本生成系统等。
早期的自然语言推理任务都是基于小数据集的，所用的方法也都是传统的方法如自然逻辑法和阴影法等。这样的数据集无法支持拥有大规模参数的复杂模型。最近，斯坦福公布了一个大规模的高质量自然语言推理数据集，这激起了学术界和工业界很多优秀方法的涌现。比如2018年发表在国际顶级机器学习理论会议International Conference onLearning Representations上的《Natural Language Inference Over InteractionSpace》在第4页到第6页公布了一种称为DIIN的注意力机制交互算法；2017年发表在国际顶级人工智能会议International Joint Conference on Artificial Intelligence上的《Bilateral Multi-perspective Matching for Natural Language Sentences》在第2页到第4页公布了一种双边多角度句子匹配算法(BIMPM)。这些方法大部分致力于改进两句之间的交互框架，也有少数借用迁移学习来提升任务的准确率，如2017年发表在国际顶级计算神经理论会议Annual Conference on Neural Information Processing Systems上的《Learned in Translation:Contextualized Word Vectors》在第3页到第4页公布了Biattentive Classification Network,其运用机器翻译训练出来的隐藏单元来增强语意推理的能力。
连词运用一直是自然语言理解的一个核心问题之一，类似于“但是”、“所以”这样的连词连接的两个句子大概率包含了某种特定的逻辑关系。比如“但是”就与自然语言推理中的“矛盾”是相通的，“所以”就与“蕴涵”是相通的，等等。之前有相关技术将连词迁移到其他任务上，并且取得了可观的效果。然而，这些技术都是直接用一个向量来表达整个句子的信息然后交互得到逻辑关系的概率分布。这种方法过于简单，无法在大规模数据集上取得很好的效果。
发明内容
本发明提供了一种基于连词标记和强化学习的自然语言推理方法。通过连词标记来学习句子之间的逻辑关系并用强化学习来优化模型，大大提升了在大规模数据集上进行自然语言推理任务的准确率。
一种基于连词标记和强化学习的自然语言推理方法，包括以下步骤：
(1)在连词预测任务上训练一个连词预测模型；
(2)在自然语言推理模型中，输入前提句和猜想句并使用一个编码器对其编码，得到表达矩阵；
(3)将连词预测模型的编码器嵌入到自然语言推理模型中，将步骤(2)过程中的前提句和猜想句送进嵌入的编码器并输出表达向量；
(4)将自然语言推理模型的编码器结果和嵌入的连词预测模型中的编码器结果在注意力机制中交互，得到一个注意力向量；
(5)将注意力向量转化为概率分布并输出结果。
本发明可以在给定一个前提句，一个猜想句的情况下推断出这两个句子的逻辑关系是(蕴涵，中立，矛盾)中的一种。
步骤(1)的具体步骤为：
(1-1)对BookCorpus数据集进行预处理，得到连词预测任务的训练集；
(1-2)从训练集中选择样本，用词向量Glove来对句子做词嵌入，之后送入一个编码器中，得到每个句子的最终表达向量；
(1-3)用一个线性运算来将两个句子的表达向量整合；
(1-4)将整合后的向量通过线性变换投射到连词的种类的向量上并用softmax函数计算出每个连词的概率分布，通过最大化真实连词标签的概率分布来优化整个模型。
步骤(2)中，所述编码的具体步骤为：
(2-1)使用词向量Glove对输入的前提句和猜想句进行词向量嵌入；
(2-2)用卷积神经网络进行字母的字符嵌入以处理特殊单词；
(2-3)使用词性标注和实体命名识别来对每个单词进行处理；
(2-4)使用双向长短时记忆网络来编码文本信息，得到前提句和猜想句的表达矩阵。
步骤(4)的具体步骤为：
(4-1)计算前提和猜想文本中每个单词与对方单词的交互作用大小，得到一个相似矩阵；所述相似矩阵的计算公式为：
Aij＝v1[pi；uj；pi*uj]+rpWrh
其中，pi是前提P的第i个词，uj是假设H的第j个词，v和W都是训练参数；rp和rh分别是在步骤1中训练的编码器在步骤3中载入前提和假设后得到的表达向量。
(4-2)将已交互作用后的相似矩阵和通过编码器得到的表达向量在注意力机制下形成注意力向量。
步骤(5)的具体步骤为：
(5-1)将注意力向量整合并用线性函数和softmax函数来映射到一个三维空间，通过极大似然估计来最大化正确标签的概率分布；三维向量的计算公式为：
d＝softmax(v4[p；u；p*u；rp*rh])
其中，p和u分别是前提句和假设句的注意力向量。值得注意的是，上面等式最右边加入了连词标记的表达式，与自然语言推理的结果融合在一起来作为整体的表达。
(5-2)设计一个奖励函数，用强化学习来优化模型参数；所述的奖励函数是：
其中，l为预测的标签，{l′}为该训练样本给出的正确标签集合。
(5-3)通过一个线性方程来整合强化学习的优化函数和极大似然估计的优化函数，形成最终的优化目标函数。
本发明基于连词标记和强化学习具有以下优点：
1、本发明使用迁移学习将其他监督学习任务中所学的知识转移到了自然语言推理任务当中，提高了自然语言推理任务的准确率。
2、本发明实现了端到端地解决问题。
3、本发明充分利用了现有自然语言推理数据集的信息，更加贴近地模拟人类的决策。
附图说明
图1为本发明基于连词标记和强化学习的自然语言推理方法的流程示意图；
图2为本发明实施例的整体结构示意图；
图3为本发明实施例不同连词对于不同类型逻辑关系标签的影响示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明。
如图1所示，一种基于连词标记和强化学习的自然语言推理方法，包括以下步骤：
S01，在连词预测任务上训练一个简单的连词预测模型。我们使用BookCorpus这个大规模综合语料库作为训练集，经过预处理后的数据集呈(句子1，句子2，连词标记)的形式。我们的任务是给定句子1和句子2来预测原本在语料库中用来连接它们的连词。如图2所示，在进行连词预测任务时，我们用现有的词向量Glove来对句子做词嵌入，之后送入一个双向长短时记忆网络(编码器)中。我们把每个隐藏单元都并排连在一起，并用最大池化将每个维度的最大元素提取出来组成该方向整个句子的表达。我们将每个方向的最后一个隐藏单元和上面最大池化层后得到的向量拼在一起，得到每个句子的最终表达向量。随后，我们用一个线性运算来讲两个句子的表示向量整合。
最终，我们用一个线性变换将整合后的向量r投射到一个标签数量大小(数据集中连词的种类)的向量上并用softmax函数计算出每个连词的概率分布。
S02，在自然语言推理任务中，载入前提和猜想文本并使用编码器对其编码。类似于步骤1，我们首先将输入的文本信息进行编码。我们首先使用Glove进行词向量嵌入，然后用卷积神经网络进行字母的词嵌入以处理特殊单词。为了获得单词的语法和语义信息，我们使用词性标注和实体命名识别来对每个单词进行处理。我们也使用双向长短时记忆网络来编码文本信息，得到前提和猜想的表达矩阵。
S03，将步骤1中训练好的连词预测模型的编码器嵌入到自然语言推理模型中。如图2所示，我们将前提和猜想的词向量送入预训练好的编码器并输出表达向量。
S04，将自然语言推理模型的编码器和嵌入的连词预测模型中的编码器交互，得到一个注意力向量：
Aij＝v1[pi；uj；pi*uj]+rpWrh
其中，pi是前提P的第i个词，uj是假设(猜想)H的第j个词，v和W都是训练参数；rp和rh分别是在步骤1中训练的编码器在步骤3中载入前提和假设后得到的表达向量。Aij是一个相似矩阵，表示两句话中每个单词与对方单词的交互作用大小。接着我们引用注意力机制来增强文本理解，也就是将已交互作用后的矩阵和向量在注意力机制下形成注意力向量。
S05，将注意力向量转化为概率分布并输出结果。由于本任务是一个三元分类问题，所以我们的输出层也将是一个三维的向量。我们将之前的注意力向量整合并用线性函数和softmax函数来映射到一个三维空间：
d＝softmax(v4[p；u；p*u；rp*rh])
其中，p和u分别是前提和假设的注意力向量。值得注意的是，上面等式最右边加入了连词标记的表达式，与自然语言推理的结果融合在一起来作为整体的表达。
大部分自然语言推理方法的目标函数都是最小化负的交叉熵：
其中，dk是第k个样本，N为数据集中总样本数。除此之外，我们的方法还根据数据集的特点增添了对每个样本的所有其他标签的考虑。在我们的训练集中，每个样本(句子对和其逻辑关系)中的标签(逻辑关系)都是由一个至多个人工标注的，所以有很多样本的标签是不统一的。虽然最终数据集会对每个样本赋予一个唯一的标签，但这些人工的思考结果也是值得借鉴的信息。我们使用强化学习来优化一个我们设定的奖励函数的期望：
JRL＝-El～pi(l|P,H)[R(l,{l′})]
其中，l为预测的标签，{l′}为该训练样本给出的正确标签集合，pi(l|P,H)为给定前提和假设后得到的预测结果为l的概率，奖励函数R(l,{l′})的公式为：
这表示我们预测的标签在每个样本的所有标签中的比例。哪怕不等于最终总结的唯一标签，也不一定等于零。我们将两种损失函数用一个线性函数结合起来。
为验证本发明的有效性，在斯坦福自然语言推理数据集(SNLI)和多类别自然语言推理数据集(MultiNLI)这两个数据集上进行了对比实验。斯坦福自然语言推理数据集(SNLI)是斯坦福大学公开的自然语言推理数据集，包括了训练集和测试集中的57万个句子对；多类别自然语言推理数据集(MultiNLI)是纽约大学公开的自然语言推理数据集，包含了43万个句子对。同时，我们使用BookCorpus作为预训练编码器所用的数据集。
本实施例在测试集上与当前效果最好的已发表方法都进行了比较。在表1中，最上面的一栏是以整句为单位来做嵌入的模型，相对较为简单但效果并不好；中间一栏是以词为单位的来做嵌入的模型，这类方法更为细致，为当前最好的模型；最下面一栏是集成模型(Ensemble)。看出，我们无论是在单模型还是在集成模型的比较中都取得了最好的效果，我们的方法(DMAN)相比于其他方法具有更高的准确率，并且在所有的数据集上都达到了目前的最高水平。
表1
表2是我们使用的英文数据集BookCorpus中的连词标记统计结果，其中可以看到“但是”(but)和“所以”(so)等带有强烈逻辑暗示的连词占据主导。这也反映了以连词预测任务为编码器预训练的目标是一个十分直观且有意义的做法。
表2
我们还展示了不同连词对于不同类型逻辑关系标签的影响，如图3所示，某些特殊的连词如“但是(but)”、“因为(because)”、“即使(although)”对结果的影响非常大。并且由于训练集中连词数量分布不均匀，我们的连词标签增强方法对“矛盾”这个逻辑关系的准确率提升最大。
Claims (6)
1.一种基于连词标记和强化学习的自然语言推理方法，其特征在于，包括以下步骤：
(1)在连词预测任务上训练一个连词预测模型；
(2)在自然语言推理模型中，输入前提句和猜想句并使用一个编码器对其编码，得到表达矩阵；
(3)将连词预测模型的编码器嵌入到自然语言推理模型中，将步骤(2)过程中的前提句和猜想句送进嵌入的编码器并输出表达向量；
(4)将自然语言推理模型的编码器结果和嵌入的连词预测模型中的编码器结果在注意力机制中交互，得到一个注意力向量；
(5)将注意力向量转化为概率分布并输出结果。
2.根据权利要求1所述的基于连词标记和强化学习的自然语言推理方法，其特征在于，步骤(1)的具体步骤为：
(1-1)对BookCorpus数据集进行预处理，得到连词预测任务的训练集；
(1-2)从训练集中选择样本，用词向量Glove来对句子做词嵌入，之后送入一个编码器中，得到每个句子的最终表达向量；
(1-3)用一个线性运算来将两个句子的表达向量整合；
(1-4)将整合后的向量通过线性变换投射到连词的种类的向量上并用softmax函数计算出每个连词的概率分布，通过最大化真实连词标签的概率分布来优化整个模型。
3.根据权利要求1所述的基于连词标记和强化学习的自然语言推理方法，其特征在于，步骤(2)中，所述编码的具体步骤为：
(2-1)使用词向量Glove对输入的前提句和猜想句进行词向量嵌入；
(2-2)用卷积神经网络进行字母的字符嵌入以处理特殊单词；
(2-3)使用词性标注和实体命名识别来对每个单词进行处理；
(2-4)使用双向长短时记忆网络来编码文本信息，得到前提句和猜想句的表达矩阵。
4.根据权利要求1所述的基于连词标记和强化学习的自然语言推理方法，其特征在于，步骤(4)的具体步骤为：
(4-1)计算前提句和猜想句中每个单词与对方单词的交互作用大小，得到一个相似矩阵；所述相似矩阵的计算公式为：
Aij＝v1[pi；uj；pi*uj]+rpWrh
其中，pi是前提P的第i个词，uj是假设H的第j个词，v和W都是训练参数；rp和rh分别是在步骤(1)中训练的编码器在步骤(3)中载入前提和假设后得到的表达向量；
(4-2)将已交互作用后的相似矩阵和通过编码器得到的表达向量在注意力机制下形成注意力向量。
5.根据权利要求1所述的基于连词标记和强化学习的自然语言推理方法，其特征在于，步骤(5)的具体步骤为：
(5-1)将注意力向量整合并用线性函数和softmax函数来映射到一个三维空间，通过极大似然估计来最大化正确标签的概率分布；
(5-2)设计一个奖励函数，用强化学习来优化模型参数；
(5-3)通过一个线性方程来整合强化学习的优化函数和极大似然估计的优化函数，形成最终的优化目标函数。
6.根据权利要求5所述的基于连词标记和强化学习的自然语言推理方法，其特征在于，步骤(5-2)中，所述的奖励函数是：
其中，l为预测的标签，{l′}为训练样本给出的正确标签集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810252473.9A CN108717574B (zh) | 2018-03-26 | 2018-03-26 | 一种基于连词标记和强化学习的自然语言推理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810252473.9A CN108717574B (zh) | 2018-03-26 | 2018-03-26 | 一种基于连词标记和强化学习的自然语言推理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108717574A CN108717574A (zh) | 2018-10-30 |
| CN108717574B true CN108717574B (zh) | 2021-09-21 |
Family
ID=63898831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810252473.9A Active CN108717574B (zh) | 2018-03-26 | 2018-03-26 | 一种基于连词标记和强化学习的自然语言推理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108717574B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582786B (zh) * | 2018-10-31 | 2020-11-24 | 中国科学院深圳先进技术研究院 | 一种基于自动编码的文本表示学习方法、系统及电子设备 |
| CN109543151B (zh) * | 2018-10-31 | 2021-05-25 | 昆明理工大学 | 一种提高老挝语词性标注准确率的方法 |
| CN109543722A (zh) * | 2018-11-05 | 2019-03-29 | 中山大学 | 一种基于情感分析模型的情感趋势预测方法 |
| CN109543017B (zh) * | 2018-11-21 | 2022-12-13 | 广州语义科技有限公司 | 法律问题关键词生成方法及其系统 |
| CN109657246B (zh) * | 2018-12-19 | 2020-10-16 | 中山大学 | 一种基于深度学习的抽取式机器阅读理解模型的建立方法 |
| CN110059323B (zh) * | 2019-04-22 | 2023-07-11 | 苏州大学 | 基于自注意力机制的多领域神经机器翻译方法 |
| CN110516065A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于多路动态掩码的注意力神经网络的方法 |
| US11176323B2 (en) | 2019-08-20 | 2021-11-16 | International Business Machines Corporation | Natural language processing using an ontology-based concept embedding model |
| CN110929532B (zh) * | 2019-11-21 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN111368026B (zh) * | 2020-02-25 | 2020-11-24 | 杭州电子科技大学 | 基于词语义关系与动态卷积神经网络的文本蕴含分析方法 |
| CN111553142A (zh) * | 2020-04-24 | 2020-08-18 | 中国科学院空天信息创新研究院 | 一种自然语言推理方法及系统 |
| CN113010676B (zh) * | 2021-03-15 | 2023-12-08 | 北京语言大学 | 一种文本知识提取方法、装置及自然语言推断系统 |
| CN112966527B (zh) * | 2021-04-21 | 2022-12-30 | 吉林大学 | 一种基于自然语言推理的关系抽取模型的生成方法 |
| CN116680502B (zh) * | 2023-08-02 | 2023-11-28 | 中国科学技术大学 | 数学应用题智能求解方法、系统、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997399A (zh) * | 2017-05-24 | 2017-08-01 | 海南大学 | 一种基于数据图谱、信息图谱、知识图谱和智慧图谱关联架构的分类问答系统设计方法 |
| CN107239560A (zh) * | 2017-06-12 | 2017-10-10 | 浙江大学 | 一种基于深度学习的文本蕴含关系识别方法 |
| CN107562919A (zh) * | 2017-09-13 | 2018-01-09 | 云南大学 | 一种基于信息检索的多索引集成软件构件检索方法及系统 |
| CN107578106A (zh) * | 2017-09-18 | 2018-01-12 | 中国科学技术大学 | 一种融合单词语义知识的神经网络自然语言推理方法 |
| CN107662617A (zh) * | 2017-09-25 | 2018-02-06 | 重庆邮电大学 | 基于深度学习的车载交互控制算法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10684350B2 (en) * | 2000-06-02 | 2020-06-16 | Tracbeam Llc | Services and applications for a communications network |
| US20160350653A1 (en) * | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
-
2018
- 2018-03-26 CN CN201810252473.9A patent/CN108717574B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997399A (zh) * | 2017-05-24 | 2017-08-01 | 海南大学 | 一种基于数据图谱、信息图谱、知识图谱和智慧图谱关联架构的分类问答系统设计方法 |
| CN107239560A (zh) * | 2017-06-12 | 2017-10-10 | 浙江大学 | 一种基于深度学习的文本蕴含关系识别方法 |
| CN107562919A (zh) * | 2017-09-13 | 2018-01-09 | 云南大学 | 一种基于信息检索的多索引集成软件构件检索方法及系统 |
| CN107578106A (zh) * | 2017-09-18 | 2018-01-12 | 中国科学技术大学 | 一种融合单词语义知识的神经网络自然语言推理方法 |
| CN107662617A (zh) * | 2017-09-25 | 2018-02-06 | 重庆邮电大学 | 基于深度学习的车载交互控制算法 |
Non-Patent Citations (6)
| Title |
|---|
| Keyword-based Query Comprehending via Multiple Optimized-Demand Augmentation;Boyuan Pan 等;《arXiv》;20171101;第1-10页 * |
| Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention;Yang Liu 等;《arXiv》;20160530;第1-5页 * |
| MEMEN:Multi-layer Embeddeding with Memory Networks for Machine Comprehension;Boyuan Pan 等;《arXiv》;20170628;第1-7页 * |
| Natural Language Inference over Interaction Space;Yichen Gong 等;《arXiv》;20170913;第1-15页 * |
| Neural Paraphrase Generation using Transfer Learning;Florin Brad 等;《Proceedings of The 10th International Natural Language Generation Conference》;20170907;第257-261页 * |
| 基于深度表示学习和高斯过程迁移学习的情感分析方法;吴冬茵 等;《中文信息学报》;20170131;第31卷(第1期);第169-176页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108717574A (zh) | 2018-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717574B (zh) | 一种基于连词标记和强化学习的自然语言推理方法 | |
| CN111241295B (zh) | 基于语义句法交互网络的知识图谱关系数据抽取方法 | |
| CN110825845B (zh) | 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法 | |
| CN111783462A (zh) | 基于双神经网络融合的中文命名实体识别模型及方法 | |
| CN109325231B (zh) | 一种多任务模型生成词向量的方法 | |
| CN109543181B (zh) | 一种基于主动学习和深度学习相结合的命名实体模型和系统 | |
| CN110134946B (zh) | 一种针对复杂数据的机器阅读理解方法 | |
| CN107832400A (zh) | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 | |
| CN111177394A (zh) | 基于句法注意力神经网络的知识图谱关系数据分类方法 | |
| CN112541356B (zh) | 一种生物医学命名实体识别的方法和系统 | |
| CN110796160A (zh) | 一种文本分类方法、装置和存储介质 | |
| CN112163429B (zh) | 结合循环网络及bert的句子相关度获取方法、系统及介质 | |
| CN110781290A (zh) | 一种长篇章结构化文本摘要提取方法 | |
| CN112232053A (zh) | 一种基于多关键词对匹配的文本相似度计算系统、方法、及存储介质 | |
| CN114881042B (zh) | 基于图卷积网络融合句法依存与词性的中文情感分析方法 | |
| CN110851601A (zh) | 基于分层注意力机制的跨领域情感分类系统及方法 | |
| CN111382568B (zh) | 分词模型的训练方法和装置、存储介质和电子设备 | |
| CN112464669A (zh) | 股票实体词消歧方法、计算机设备及存储介质 | |
| Moirangthem et al. | Hierarchical and lateral multiple timescales gated recurrent units with pre-trained encoder for long text classification | |
| CN109508457A (zh) | 一种基于机器阅读到序列模型的迁移学习方法 | |
| CN113779966A (zh) | 一种基于注意力的双向cnn-rnn深度模型的蒙文情感分析方法 | |
| CN111967265B (zh) | 一种数据集自动生成的中文分词与实体识别联合学习方法 | |
| CN113177113A (zh) | 任务型对话模型预训练方法、装置、设备及存储介质 | |
| CN114357166B (zh) | 一种基于深度学习的文本分类方法 | |
| WO2023159759A1 (zh) | 模型的训练方法、情感消息生成方法和装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |