CN113010693A - 融合指针生成网络的知识图谱智能问答方法 - Google Patents

融合指针生成网络的知识图谱智能问答方法 Download PDF

Info

Publication number
CN113010693A
CN113010693A CN202110380648.6A CN202110380648A CN113010693A CN 113010693 A CN113010693 A CN 113010693A CN 202110380648 A CN202110380648 A CN 202110380648A CN 113010693 A CN113010693 A CN 113010693A
Authority
CN
China
Prior art keywords
word
model
input
question
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110380648.6A
Other languages
English (en)
Other versions
CN113010693B (zh
Inventor
刘爽
谭楠楠
孟佳娜
于玉海
赵丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202110380648.6A priority Critical patent/CN113010693B/zh
Publication of CN113010693A publication Critical patent/CN113010693A/zh
Application granted granted Critical
Publication of CN113010693B publication Critical patent/CN113010693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

一种融合指针生成网络的知识图谱智能问答方法，属于人工智能问答领域。技术方案：使用分词工具对WebQA数据集中的原文和问句部分进行分词并检查；对正确分词后的数据使用BiLSTM‑CRF模型进行命名实体识别；在Neo4j数据库中查询识别的实体对应的三元组；统计对应三元组中每一词出现的频率，查询到的三元组中的单词按照词频大小顺序存入知识词表；使用深度学习方法获取问句的词向量；构造生成式模型，返回答案。有益效果:本发明使用深度学习技术对文本进行实体识别，使用知识图谱技术对知识进行快速查询，结合生成式模型有效的解决了返回的答案生硬、单一和知识库中存储量不全的问题；节约得到答案的时间，更充分地理解用户的意图，返回更符合用户阅读模式的答案。

Description

融合指针生成网络的知识图谱智能问答方法
技术领域
本发明属于基于人工智能的问答方法领域，尤其涉及基于知识图谱的问答方法和基于指针网络的生成式方法。
背景技术
知识图谱(Knowledge Graph)是一种将事实以结构化的形式进行表示的方法，它由实体、关系和语义描述组成。它是一种表示实体间相互关系的庞大的语义网络，以(头实体，关系，尾实体)的三元组形式来表示。当前，知识图谱技术得到了广大研究学者广泛关注，并将知识图谱应用到语义搜索、智能问答、个性化推荐中。这样可以将零散的知识体系化后准确快速的传递给用户。
目前，知识图谱问答主流的方法主要有基于语义分析的方法和基于信息检索的方法。传统的知识图谱问答系统返回的答案往往是知识库中存在的实体或者关系。若知识库中没有存储与该问句相关的三元组则无法返回正确答案。所以，为了解决以上问题，将知识图谱技术和生成式方法相结合。构建一种融合指针生成网络的知识图谱智能问答方法是很有研究价值的。
发明内容
为了满足上述现有技术中的需求，本发明提供一种融合指针生成网络的知识图谱智能问答方法，该方法能够把知识图谱和指针生成网络进行结合，将文本中存在的知识库中没有的数据进行存储，还能解决单一文本中知识存储来不高的问题，提高问答准确率；并且能够以自然语言形式呈现给用户，提升用户的体验感。
技术方案如下：
一种融合指针生成网络的知识图谱智能问答方法，步骤如下：
步骤1：使用分词工具对WebQA数据集中的原文和问句部分进行分词并检查；
步骤2：对正确分词后的数据使用BiLSTM-CRF模型进行命名实体识别；
步骤3：在Neo4j数据库中查询识别的实体对应的三元组；
步骤4：统计对应三元组中每一词出现的频率，查询到的三元组中的单词按照词频大小顺序存入知识词表；
步骤5：使用深度学习方法获取问句的词向量；
步骤6：构造生成式模型，返回答案。
进一步的，针对步骤1，使用jieba分词对数据集中的原文和问句进行分词，并去除停用词和标点符号。
进一步的，针对步骤3，对步骤2中识别出的实体使用cypher语句在Neo4j图数据库中进行查询，返回查询的实体和关系；其中，使用的知识库为CN-DBpedia。
进一步的，针对步骤4，使用TF算法分别计算步骤3中每个单词在数据集中出现的频率，按照频率进行排序统一存入知识词表中。
进一步的，针对步骤5，使用预训练语言模型BERT模型获取问句的词向量再和问句中实体的词频语义特征进行拼接，作为下一模型的输入序列。
进一步的，针对步骤6，使用指针生成网络模型来决定是从知识词表中生成词汇还是从问句中复制词汇作为答案返回。
进一步的，所述BiLSTM-CRF模型包括：
(1)嵌入层：首先将输入的文本转化为计算机能够进行计算的向量形式；采用字符级别的分布式表示方法，采用word2vec中的CBOW进行词向量的预训练，将字符向量序列作为模型的初始化输入；词向量的维度设置为300维，窗口大小设置为5；
(2)BiLSTM层：输入的句子序列经过字向量映射获取的字符向量序列作为双向LSTM层各个时间步的初始输入；BiLSTM模型由前向LSTM模型和后向LSTM模型组成，用于获取句子双向的语义信息；LSTM模型由三个用sigmoid作为激活函数的门结构及一个细胞状态组成，三个门结构分别为输入门，遗忘门和输出门；
每个门的输入以及计算公式如下：
遗忘门的计算：选择需要丢弃的内容，其输入为前一时间的隐藏状态ht-1和当前输入词Xt，输出的结果为遗忘门的值ft；计算过程表示为：
ft＝σ(Wf·xt+Vf·ht-1+bf) 公式(1)
其中σ表示sigmoid激活函数，Wf、Vf表示线性关系的系数，bf表示线性关系的偏置；
输入门的计算：其输入为前一时间的隐层状态ht-1和当前输入词Xt，输出为输入门的值it和临时单元状态
Figure BDA0003012816380000041
计算过程表示为：
it＝σ(Wi·xt+Vi·ht-1+bi) 公式(2)
Figure BDA0003012816380000042
其中Wi、Vi表示权重矩阵，bi表示偏置，ht-1表示LSTM模型的输入，Wc、VC表示权重矩阵，bc表示训练得出的偏置；
当前记忆单元更新的计算：表示计算当前时刻的单元状态。其输入为遗忘门的值ft，输入门的值it，根据公式(4)得出的上一时刻的单元状态ct-1和临时单元状态
Figure BDA0003012816380000043
输出为当前时刻的单元状态ct，计算过程可表示为:
Figure BDA0003012816380000044
输出门和当前隐藏状态的计算：输出门的输入为前一时刻的隐藏状态ht-1，当前时刻输入词Xt和当前时刻的单元状态ct，输出为输出门的值ot和隐层状态ht，计算过程表示为:
ot＝σ(Wo·xt+Vo·ht-1+bo) 公式(5)
Figure BDA0003012816380000045
其中Wo、Vo表示权重矩阵，bo表示偏置；
最后通过向量拼接得到最终的隐层表示
Figure BDA0003012816380000046
CRF层：通过CRF层进行句子级的序列标注，CRF层通过从训练集中学习到的约束，来确保最终预测到的实体标签序列是有效的以解决基于神经网络方法的预测标签序列可能无效的问题。
进一步的，所述BERT模型包括：
(1)Transformer模型：采用位置嵌入的方式来添加时序信息，BERT输入表示由词向量、句子嵌入和位置嵌入向量拼接，使得在一个标记序列中清楚地表示单个文本句子或一对文本句子；
(2)Masked language model：通过随机遮蔽句子里某些单词，然后预测被遮蔽的单词；
(3)Next sentence prediction：通过预训练一个二分类的模型，随机替换一些句子，再基于上一句进行预测，从而学习句子之间的关系；
最后，将问句获取的词向量和问句中出现的实体的词频语义特征进简单拼接，作为生成式模型的输入序列。
进一步的，步骤5返回的序列信息作为构造生成式模型的输入，然后输入到基于Attention的Encoder-Decoder模型中；指针生成网络对于每个译码器的时间步计算一个生成概率以此来决定是从知识词表中生成单词还是从问句中复制单词，然后选择词汇构成答案。
进一步的，模型训练描述如下：
(1)基于Attention的Encoder-Decoder模型：在模型的解码部分使用LSTM模型，其具体流程描述如下：问句通过BERT模型和词频语义特征拼接以后生成新的输入序列，再和word2vec训练知识图谱三元组得到的词向量一起作为输入将输入序列输入到BiLSTM编码器，然后经过单层BiLSTM后生成隐层状态hi，在t时刻LSTM解码器接收到上一时刻生成的词向量，得到解码状态序列st；再将编码器与解码器的状态计算后得到注意力分布at，以此来确定该时间步需要关注的字符；其公式如下：
Figure BDA0003012816380000061
at＝softmax(et) 公式(8)
其中vT表示注意力机制的系数矩阵，Wh、Ws、Wk表示通过训练得到的系数参数，kt表示当前问句中对应实体的排序最高的知识图谱三元组的选择向量；
Figure BDA0003012816380000062
是计算原文中各单词与当前解码状态相关度的函数，battn表示通过训练得到的偏置项，softmax表示输出的值在(0,1)之间的确定的变量，et表示所有单词的解码状态信息；
得到的注意力权重和加权求和得到重要的上下文向量
Figure BDA0003012816380000063
其描述公式如下：
Figure BDA0003012816380000064
其中
Figure BDA0003012816380000065
表示当前时刻注意力机制中输入单词的权重；
(2)指针网络：当该模型用作生成单词时，模型生成的单词是在知识词表中生成的；其概率分布由解码状态序列st和上下文向量
Figure BDA0003012816380000066
串联拼接后，经过两层全连接层，生成当前预测的单词表分布Pvocab；知识图谱三元组的向量，描述公式如下：
Figure BDA0003012816380000067
P(w)＝Pvocab(w) 公式(11)
其中，式中的V' V b b'是通过学习获得的参数，P(w)表示在当前时刻生成单词是知识词表中单词w的概率；
当模型用作复制单词时，根据t时刻的注意力分布at来决定指向输入序列中单词w的概率，描述公式如下：
Figure BDA0003012816380000068
最后词汇分布的生成由输入词概率分布和知识词表概率分布通过生成概率Pgen来决定是从问句中复制单词还是从知识词表中生成单词，描述公式如下：
Figure BDA0003012816380000071
其中向量
Figure BDA0003012816380000076
Ws、Wx、Wk和标量bptr是通过训练得到的参数，σ是sigmoid函数；
最后通过Pgen对词汇分布和注意力分布加权平均，得到生成单词w最终的概率分布，描述公式如下：
P(w)＝PgenPvocab(w)+(1-Pgen)Pa(w) 公式(14)
由上式可知，当单词w不出现在知识词表上时Pvocab(w)＝0，当单词w不出现在问句中Pa(w)＝0；
(3)Coverage Mechanism：将之前时间步中的注意力权重累加得到覆盖向量ct；然后使用之前的注意力权重的值来解决当前注意力权重的决定，以此来避免在同一个位置产生重复，从而避免了重复生成的文本；ct的计算公式如下：
Figure BDA0003012816380000072
将其添加到注意力权重的计算过程，其计算公式如下：
Figure BDA0003012816380000073
同时，为coverage vector添加损失，其计算公式如下：
Figure BDA0003012816380000074
由于这样的coverage loss是一个有界的量
Figure BDA0003012816380000075
因此，
最终的LOSS计算公式如下：
Figure BDA0003012816380000081
最后通过上述操作决定生成或者复制单词用作答案返回。
本发明的有益效果是：
本发明通过使用上述的技术方案，使用深度学习技术对文本进行实体识别，使用知识图谱技术对知识进行快速的查询，结合生成式模型有效的解决了返回的答案生硬、单一和知识库中存储量不全的问题。具体来说，本发明对数据集中的原文去停用词后使用BiLSTM-CRF对文本进行实体识别。然后将识别的实体使用cypher语句在知识图谱中进行查询。面对实体识别精度有误的问题，本发明在预处理部分将该词加入自定义词典中进行分词，有效解决了该问题。为了将传统的抽取式知识图谱问答改进为生成式的知识图谱问答，本发明创新性的采用知识图谱来构建知识词表作为指针生成网络的软链接。这样一来，可以有效的将原文中的数据和知识图谱中的三元组进行融合，进一步弥补未登录词的问题，并且能够有效的生成答案。本发明使用的方法节约了在互联网中查找海量数据来得到答案的时间，还能更充分的理解用户的意图，返回更符合用户阅读模式的答案。
附图说明
图1为本发明整体流程图；
图2为本发明中命名实体识别BiLSTM-CRF网络结构图；
图3为本发明中预训练语言模型BERT网络结构图；
图4为本发明中生成式模型BERT-PGN网络结构图；
图5为本发明中数据库可视化效果图；
图6为本发明中网页可视化效果图。
具体实施方式
下面将参照附图1-6更详细地描述本发明一种融合指针生成网络的知识图谱智能问答构建方法的具体操作步骤。
实施例1
本发明的整体实现流程主要包括三部分，分别是知识词表构建模块、词向量获取模块、生成式模型构建模块。
本发明构建流程图如图1所示，下面将详细介绍每一步骤。
步骤1：对原始的WebQA数据集中的原文和问句利用jieba分词工具进行分词，并去除标点符号和停用词，然后对处理后的数据进行检查，若出现没有正确进行分词的词，则进行人工分词并将其添加到自定义词典中；
步骤2：将数据进行预处理后，训练为词向量，然后使用BiLSTM-CRF进行命名实体识别；
步骤3：然后使用cypher语句查询该实体在Neo4j图数据库中所有的三元组信息；
步骤4：查询实体在Neo4j图数据库中存在的所有三元组，若知识库中不存在该实体，则直接统计其词频后添加到知识词表中；若存在，则分别统计三元组中每个实体和关系在数据集的原文和问句中出现的频率，按照词频大小顺序存入知识词表；
步骤5：使用BERT预训练语言模型获取问句的词向量，与问句中实体的词频特征进行拼接，作为生成式模型的输入；
步骤6：使用指针生成网络模型结合知识图谱进行答案生成；
实施例2
由图1所示，一种融合指针生成网络的知识图谱智能问答方法主要从四个方面进行构建。
步骤1：对数据集进行命名实体识别；
步骤2：在Neo4j中检索实体并统计词频，将实体存入知识词表；
步骤3：词向量获取；
步骤4：构造与知识图谱结合的指针生成网络模型，返回答案；
下面将详细介绍每一步骤：
步骤1：使用jieba分词工具和预先根据数据集设置的自定义词典对数据进行分词、去停用词等，然后使用词嵌入技术将数据集中的原文和问句分别作为实体识别模型中BiLSTM层的输入。然后使用CRF获得最优的预测序列。本发明中使用word2vec工具的CBOW模型训练进行训练。BiLSTM-CRF的模型结构图如图2所示。
模型训练描述如下：
1)嵌入层：首先需要将输入的文本转化为计算机能够进行计算的向量形式。本项目采用字符级别的分布式表示方法，采用word2vec中的CBOW进行词向量的预训练，将字符向量序列作为模型的初始化输入。词向量的维度设置为300维，窗口大小设置为5。
2)BiLSTM层：输入的句子序列经过字向量映射获取的字符向量序列作为双向LSTM层各个时间步的初始输入。BiLSTM模型由前向LSTM模型和后向LSTM模型组成，可以获得句子双向的语义信息。它有效解决了单向LSTM模型只能编码从前到后的信息，不能编码从后到前的信息。LSTM模型由三个用sigmoid作为激活函数的门结构及一个细胞状态组成，三个门结构分别为输入门，遗忘门和输出门。下面分别介绍每个门的输入以及计算公式：
遗忘门的计算：遗忘门就是选择需要丢弃的内容。它的输入为前一时间的隐藏状态ht-1和当前输入词Xt输出的结果为遗忘门的值ft。计算过程可以表示为：
ft＝σ(Wf·xt+Vf·ht-1+bf) 公式(1)
其中σ表示sigmoid激活函数，Wf、Vf表示线性关系的系数，bf表示线性关系的偏置。
输入门的计算：它的输入为前一时间的隐层状态ht-1和当前输入词Xt，输出为输入门的值it和临时单元状态
Figure BDA0003012816380000111
计算过程可表示为：
it＝σ(Wi·xt+Vi·ht-1+bi) 公式(2)
Figure BDA0003012816380000112
其中Wi、Vi表示权重矩阵，bi表示偏置，ht-1表示LSTM模型的输入，Wc、VC表示权重矩阵，bc表示训练得出的偏置。
当前记忆单元更新的计算：表示计算当前时刻的单元状态。其输入为遗忘门的值ft，输入门的值it，根据公式(4)得出的上一时刻的单元状态ct-1和临时单元状态
Figure BDA0003012816380000113
输出为当前时刻的单元状态ct，计算过程可表示为:
Figure BDA0003012816380000114
输出门和当前隐藏状态的计算：输出门的输入为前一时刻的隐藏状态ht-1，当前时刻输入词Xt和当前时刻的单元状态ct，输出为输出门的值ot和隐层状态ht，计算过程可表示为:
ot＝σ(Wo·xt+Vo·ht-1+bo) 公式(5)
Figure BDA0003012816380000121
其中Wo、Vo表示权重矩阵，bo表示偏置。
最后通过向量拼接得到最终的隐层表示
Figure BDA0003012816380000122
1)CRF层：通过CRF层进行句子级的序列标注，这一步骤也可以解决从BiLSTM模块中输出的标签序列可能无效的问题。CRF模块通过从训练集中学习到的一些约束，来确保最终预测到的实体标签序列是有效的，从而解决基于神经网络方法的预测标签序列可能无效的问题。
步骤2：根据步骤1中所得的实体信息，使用cypher语句查询Neo4j图数据库，搜索知识库中含有识别出的实体的所有三元组。把这些三元组中的实体、关系与数据集进行对应，然后通过TF算法统计每个词汇的频率。最后按照词频的顺序从大到小依次存入知识词表中。若在Neo4j中没有检索到该实体，则统计该实体在数据集中对应的词频，存入知识词表，以解决知识库中存储量的问题。
步骤3：一般情况下，通过传统的神经网络语言模型获取的词向量是单一固定的，存在无法表示字的多义性等问题。预训练语言模型很好地解决了这一问题，能够结合字的上下文内容来表示字。因此在词向量获取阶段主要使用预训练语言模型BERT和词频语义特征进行拼接，用作后续的输入序列。加入词频语义特征可以有效的影响后续注意力权重的计算，通过词频语义特征有效的强调重要词汇的作用。
模型选择：当前，随着深度学习技术的发展，自然语言处理领域越来越重视词向量的获取工作。传统的word2vec、GLOVE方法是基于单层神经网络，这种方法中的词向量与上下文无关，一个词只有一种表示方法。BERT模型可以很好的解决传统机器学习方法种特征稀疏的问题，并且还能拓宽了词向量的泛化能力，能够充分学习字符级、词级、句子级甚至句间关系特征，增强字向量的语义表示。因此本发明使用BERT模型来获取词向量。由于WebQA数据集中存在20％的原文长度超过500，若直接粗暴的截断，可以会导致上下文信息缺失的问题。因此，本文使用滑窗法把文档分割成有部分重叠的短文本段落，然后把这些文本得出的向量拼接起来或者做均值池化操作。其结构图如图3所示。
模型训练描述如下：
a)Transformer模型：它是文本序列网络的一种新架构，基于self-attention机制，任意单元都会交互，没有长度限制问题，能够更好捕获长距离上下文语义特征。BERT模型采用了多层的双向Transformer编码器结构，同时受到左右语境的制约，能够更好地包含丰富的上下文语义信息。另外，Transformer模型针对self-attention机制无法抽取时序特征的问题，采用了位置嵌入的方式来添加时序信息，BERT输入表示由词向量、句子嵌入和位置嵌入这3个向量拼接，能够在一个标记序列中清楚地表示单个文本句子或一对文本句子。
b)Masked language model：Masked language model是为了训练深度双向语言表示向量的模型，通过随机遮蔽句子里某些单词，然后预测被遮蔽的单词，类似于“完形填空”的学习模式。相比于传统标准语言模型只能从左至右或从右至左单向预测目标函数，Masked language model可以从任意方向预测被掩盖的单词。
c)Next sentence prediction：它是为了训练一个理解句子关系的模型，由于许多重要的自然语言处理下游任务，例如智能问答和自然语言推理，都是建立在理解两个文本句子之间的关系的基础上，而语言模型不能很好地直接产生这种理解，所以，该任务通过预训练一个二分类的模型(随机替换一些句子，再基于上一句进行预测)，来学习句子之间的关系。
最后，本项目将问句获取的词向量和问句中出现的实体的词频语义特征进简单拼接，作为生成式模型的输入序列。在数据集中，70％以上问句含有两个及以上实体或关系，为强调实体的重要程度所以考虑将词频语义特征加入其中。例如，输入一个问句：轩辕剑的开发商是谁？识别的实体为：轩辕剑、开发商，在理解语义信息时，根据从原文中统计的实体出现词频可以着重考虑开发商的信息。
步骤4：将步骤3返回的序列信息作为构造生成式模型的输入，然后输入到基于Attention的Encoder-Decoder模型中。指针生成网络对于每个译码器的时间步计算一个生成概率以此来决定是从知识词表中生成单词还是从问句中复制单词，然后选择词汇构成答案。
模型选择：传统的智能问答模型往往采用抽取式的方法，这样会导致生成答案不符合阅读逻辑、若知识库中没有该实体则无法返回正确答案。因此，本发明将生成式模型与抽取式方法相结合用于智能问答中。目前的生成式方法大多是采用Seq2seq结构，但这种方法在完成生成的过程中存在无法处理词汇不足和倾向于重复自己的问题。根据调查发现，指针生成网络在传统序列到序列模型的基础上提出了两个改进思想：1.通过生成器生成新单词，2.通过coverage机制来跟踪已生成的内容，可以有效防止重复。并且通过借助知识图谱技术可以有效解决指针生成网络中存在的知识覆盖率不高的问题。因此本项目采用指针生成网络结合知识图谱的方法来构造生成式模型。与之前的方式不同的是，本发明把根据解码器状态信息生成的词表融入了知识图谱中的三元组信息，将其作为知识词表，然后考虑了输入问句中的词汇概率分布和知识词表中词汇概率的分布来得到最终输出词汇的概率分布。其模型如图4所示。
模型训练描述如下：
A.基于Attention的Encoder-Decoder模型：本项目中模型的编码器部分使用BiLSTM模型。BiLSTM模型可以捕捉原文本的长距离依赖关系以及位置信息，因此可以更好的理解用户输入问句的意图。在模型的解码部分使用LSTM模型。其具体流程描述如下：问句通过BERT和词频语义特征拼接以后生成新的输入序列，再和word2vec训练知识图谱三元组得到的词向量一起作为输入将输入序列输入到BiLSTM编码器，然后经过单层BiLSTM后生成隐层状态hi，在t时刻LSTM解码器接收到上一时刻生成的词向量，得到解码状态序列st。再将编码器与解码器的状态计算后得到注意力分布at，以此来确定该时间步需要关注的字符。其公式如下：
Figure BDA0003012816380000161
at＝softmax(et) 公式(8)
其中vT表示注意力机制的系数矩阵，Wh、Ws、Wk表示通过训练得到的系数参数，kt表示当前问句中对应实体的排序最高的知识图谱三元组的选择向量；
Figure BDA0003012816380000162
是计算原文中各单词与当前解码状态相关度的函数，battn表示通过训练得到的偏置项，softmax表示输出的值在(0,1)之间的确定的变量，et表示所有单词的解码状态信息。
得到的注意力权重和加权求和得到重要的上下文向量
Figure BDA0003012816380000163
其描述公式如下：
Figure BDA0003012816380000164
其中
Figure BDA0003012816380000165
表示当前时刻注意力机制中输入单词的权重。
B.指针网络：当该模型用作生成单词时，模型生成的单词是在知识词表中生成的。其概率分布由解码状态序列st和上下文向量
Figure BDA0003012816380000166
串联拼接后，经过两层全连接层，生成当前预测的单词表分布Pvocab。与之前不同的是，本发明在生成单词表的概率分布时，除了考虑解码状态序列和上下文向量之外，还考虑了知识图谱三元组的向量。描述公式如下：
Figure BDA0003012816380000167
P(w)＝Pvocab(w) 公式(11)
其中，式中的V' V b b'是通过学习获得的参数，P(w)表示在当前时刻生成单词是知识词表中单词w的概率。
当模型用作复制单词时，它根据t时刻的注意力分布at来决定指向输入序列中单词w的概率，描述公式如下：
Figure BDA0003012816380000171
最后词汇分布的生成就由输入词概率分布和知识词表概率分布通过生成概率Pgen来决定是从问句中复制单词还是从知识词表中生成单词，描述公式如下：
Figure BDA0003012816380000172
其中向量
Figure BDA0003012816380000174
Ws、Wx、Wk和标量bptr是通过训练得到的参数，σ是sigmoid函数。
最后通过Pgen对词汇分布和注意力分布加权平均，得到生成单词w最终的概率分布，描述公式如下：
P(w)＝PgenPvocab(w)+(1-Pgen)Pa(w) 公式(14)
由上式可知，当单词w不出现在知识词表上时Pvocab(w)＝0，当单词w不出现在问句中Pa(w)＝0。
C.Coverage Mechanism：为了解决重复生成文本的问题，本项目引入了CoverageMechanism。其实现过程如下：将之前时间步中的注意力权重累加得到覆盖向量ct。然后使用之前的注意力权重的值来解决当前注意力权重的决定，以此来避免在同一个位置产生重复，从而避免了重复生成的文本。ct的计算公式如下：
Figure BDA0003012816380000173
将其添加到注意力权重的计算过程，其计算公式如下：
Figure BDA0003012816380000181
同时，为coverage vector添加损失，其计算公式如下：
Figure BDA0003012816380000182
由于这样的coverage loss是一个有界的量
Figure BDA0003012816380000183
因此，最终的LOSS计算公式如下：
Figure BDA0003012816380000184
最后通过上述操作决定生成或者复制单词用作答案返回。
未经可视化的问答结果如下：
智能问答部分结果如下：
1、问句:17世纪法国古典主义最重要的喜剧作家是谁？
返回答案:17世纪法国古典主义喜剧作家是莫里哀。
2、问句:《挪威的森林》是哪位日本作家的著名小说作品？
返回答案:《挪威的森林》是村上春树的作品。
3、问句:万里长城西端终点在哪里？
返回答案:嘉峪关是万里长城西端终点。
最后经过可视化操作的结果图如图6所示。
实施例3
步骤1：使用jieba分词工具对WebQA数据集(原文，问句，答案)中的原文和问句部分进行分词并检查；
步骤2：对正确分词后的数据使用BiLSTM-CRF方法进行命名实体识别；
步骤3：在Neo4j数据库中查询识别的实体对应的三元组；
步骤4：统计对应三元组中每一词出现的频率，查询到的三元组中的单词按照词频大小顺序存入知识词表；
步骤5：使用深度学习方法获取问句的词向量；
步骤6：构造生成式模型，返回答案。
进一步的，针对步骤1，使用jieba分词对数据集中的原文和问句进行分词，并去除停用词和标点符号。
进一步的，针对步骤2，命名实体识别方法是BiLSTM-CRF。
进一步的，针对步骤3，对步骤2中识别出的实体使用cypher语句在Neo4j图数据库中进行查询，返回查询的实体和关系。其中，使用的知识库为CN-DBpedia。
进一步的，针对步骤4，使用TF算法分别计算步骤3中每个单词在数据集中出现的频率，按照频率进行排序统一存入知识词表中。
进一步的，针对步骤5，使用预训练语言模型BERT获取问句的词向量再和问句中实体的词频语义特征进行拼接，作为下一模型的输入序列。
进一步的，针对步骤6，使用指针生成网络模型来决定是从知识词表中生成词汇还是从问句中复制词汇作为答案返回。
应说明的是，以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种融合指针生成网络的知识图谱智能问答方法，其特征在于，步骤如下：
步骤1：使用分词工具对WebQA数据集中的原文和问句部分进行分词并检查；
步骤2：对正确分词后的数据使用BiLSTM-CRF模型进行命名实体识别；
步骤3：在Neo4j数据库中查询识别的实体对应的三元组；
步骤4：统计对应三元组中每一词出现的频率，查询到的三元组中的单词按照词频大小顺序存入知识词表；
步骤5：使用深度学习方法获取问句的词向量；
步骤6：构造生成式模型，返回答案。
2.如权利要求1所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，针对步骤1，使用jieba分词对数据集中的原文和问句进行分词，并去除停用词和标点符号。
3.如权利要求1所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，针对步骤3，对步骤2中识别出的实体使用cypher语句在Neo4j图数据库中进行查询，返回查询的实体和关系；其中，使用的知识库为CN-DBpedia。
4.如权利要求1所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，针对步骤4，使用TF算法分别计算步骤3中每个单词在数据集中出现的频率，按照频率进行排序统一存入知识词表中。
5.如权利要求1所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，针对步骤5，使用预训练语言模型BERT模型获取问句的词向量再和问句中实体的词频语义特征进行拼接，作为下一模型的输入序列。
6.如权利要求1所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，针对步骤6，使用指针生成网络模型来决定是从知识词表中生成词汇还是从问句中复制词汇作为答案返回。
7.如权利要求1所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，所述BiLSTM-CRF模型包括：
(1)嵌入层：首先将输入的文本转化为计算机能够进行计算的向量形式；采用字符级别的分布式表示方法，采用word2vec中的CBOW进行词向量的预训练，将字符向量序列作为模型的初始化输入；词向量的维度设置为300维，窗口大小设置为5；
(2)BiLSTM层：输入的句子序列经过字向量映射获取的字符向量序列作为双向LSTM层各个时间步的初始输入；BiLSTM模型由前向LSTM模型和后向LSTM模型组成，用于获取句子双向的语义信息；LSTM模型由三个用sigmoid作为激活函数的门结构及一个细胞状态组成，三个门结构分别为输入门，遗忘门和输出门；
每个门的输入以及计算公式如下：
遗忘门的计算：选择需要丢弃的内容，其输入为前一时间的隐藏状态ht-1和当前输入词Xt，输出的结果为遗忘门的值ft；计算过程表示为：
ft＝σ(Wf·xt+Vf·ht-1+bf) 公式(1)
其中σ表示sigmoid激活函数，Wf、Vf表示线性关系的系数，bf表示线性关系的偏置；
输入门的计算：其输入为前一时间的隐层状态ht-1和当前输入词Xt，输出为输入门的值it和临时单元状态
Figure FDA0003012816370000031
计算过程表示为：
it＝σ(Wi·xt+Vi·ht-1+bi) 公式(2)
Figure FDA0003012816370000032
其中Wi、Vi表示权重矩阵，bi表示偏置，ht-1表示LSTM模型的输入，Wc、VC表示权重矩阵，bc表示训练得出的偏置；
当前记忆单元更新的计算：表示计算当前时刻的单元状态。其输入为遗忘门的值ft，输入门的值it，根据公式(4)得出的上一时刻的单元状态ct-1和临时单元状态
Figure FDA0003012816370000033
输出为当前时刻的单元状态ct，计算过程可表示为:
Figure FDA0003012816370000034
输出门和当前隐藏状态的计算：输出门的输入为前一时刻的隐藏状态ht-1，当前时刻输入词Xt和当前时刻的单元状态ct，输出为输出门的值ot和隐层状态ht，计算过程表示为:
ot＝σ(Wo·xt+Vo·ht-1+bo) 公式(5)
Figure FDA0003012816370000035
其中Wo、Vo表示权重矩阵，bo表示偏置；
最后通过向量拼接得到最终的隐层表示
Figure FDA0003012816370000036
CRF层：通过CRF层进行句子级的序列标注，CRF层通过从训练集中学习到的约束，来确保最终预测到的实体标签序列是有效的以解决基于神经网络方法的预测标签序列可能无效的问题。
8.如权利要求5所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，所述BERT模型包括：
(1)Transformer模型：采用位置嵌入的方式来添加时序信息，BERT输入表示由词向量、句子嵌入和位置嵌入向量拼接，使得在一个标记序列中清楚地表示单个文本句子或一对文本句子；
(2)Masked language model：通过随机遮蔽句子里某些单词，然后预测被遮蔽的单词；
(3)Next sentence prediction：通过预训练一个二分类的模型，随机替换一些句子，再基于上一句进行预测，从而学习句子之间的关系；
最后，将问句获取的词向量和问句中出现的实体的词频语义特征进简单拼接，作为生成式模型的输入序列。
9.如权利要求1所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，步骤5返回的序列信息作为构造生成式模型的输入，然后输入到基于Attention的Encoder-Decoder模型中；指针生成网络对于每个译码器的时间步计算一个生成概率以此来决定是从知识词表中生成单词还是从问句中复制单词，然后选择词汇构成答案。
10.如权利要求9所述的融合指针生成网络的知识图谱智能问答方法，其特征在于，
模型训练描述如下：
(1)基于Attention的Encoder-Decoder模型：在模型的解码部分使用LSTM模型，其具体流程描述如下：问句通过BERT模型和词频语义特征拼接以后生成新的输入序列，再和word2vec训练知识图谱三元组得到的词向量一起作为输入将输入序列输入到BiLSTM编码器，然后经过单层BiLSTM后生成隐层状态hi，在t时刻LSTM解码器接收到上一时刻生成的词向量，得到解码状态序列st；再将编码器与解码器的状态计算后得到注意力分布at，以此来确定该时间步需要关注的字符；其公式如下：
Figure FDA0003012816370000051
at＝softmax(et) 公式(8)
其中vT表示注意力机制的系数矩阵，Wh、Ws、Wk表示通过训练得到的系数参数，kt表示当前问句中对应实体的排序最高的知识图谱三元组的选择向量；
Figure FDA0003012816370000052
是计算原文中各单词与当前解码状态相关度的函数，battn表示通过训练得到的偏置项，softmax表示输出的值在(0,1)之间的确定的变量，et表示所有单词的解码状态信息；
得到的注意力权重和加权求和得到重要的上下文向量
Figure FDA0003012816370000056
其描述公式如下：
Figure FDA0003012816370000053
其中
Figure FDA0003012816370000054
表示当前时刻注意力机制中输入单词的权重；
(2)指针网络：当该模型用作生成单词时，模型生成的单词是在知识词表中生成的；其概率分布由解码状态序列st和上下文向量
Figure FDA0003012816370000055
串联拼接后，经过两层全连接层，生成当前预测的单词表分布Pvocab；知识图谱三元组的向量，描述公式如下：
Figure FDA0003012816370000061
P(w)＝Pvocab(w) 公式(11)
其中，式中的V'Vbb'是通过学习获得的参数，P(w)表示在当前时刻生成单词是知识词表中单词w的概率；
当模型用作复制单词时，根据t时刻的注意力分布at来决定指向输入序列中单词w的概率，描述公式如下：
Figure FDA0003012816370000062
最后词汇分布的生成由输入词概率分布和知识词表概率分布通过生成概率Pgen来决定是从问句中复制单词还是从知识词表中生成单词，描述公式如下：
Figure FDA0003012816370000063
其中向量
Figure FDA0003012816370000064
Ws、Wx、Wk和标量bptr是通过训练得到的参数，σ是sigmoid函数；
最后通过Pgen对词汇分布和注意力分布加权平均，得到生成单词w最终的概率分布，描述公式如下：
P(w)＝PgenPvocab(w)+(1-Pgen)Pa(w) 公式(14)
由上式可知，当单词w不出现在知识词表上时Pvocab(w)＝0，当单词w不出现在问句中Pa(w)＝0；
(3)Coverage Mechanism：将之前时间步中的注意力权重累加得到覆盖向量ct；然后使用之前的注意力权重的值来解决当前注意力权重的决定，以此来避免在同一个位置产生重复，从而避免了重复生成的文本；ct的计算公式如下：
Figure FDA0003012816370000071
将其添加到注意力权重的计算过程，其计算公式如下：
Figure FDA0003012816370000072
同时，为coverage vector添加损失，其计算公式如下：
Figure FDA0003012816370000073
由于这样的coverageloss是一个有界的量
Figure FDA0003012816370000074
因此，
最终的LOSS计算公式如下：
Figure FDA0003012816370000075
最后通过上述操作决定生成或者复制单词用作答案返回。
CN202110380648.6A 2021-04-09 2021-04-09 融合指针生成网络的知识图谱智能问答方法 Active CN113010693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110380648.6A CN113010693B (zh) 2021-04-09 2021-04-09 融合指针生成网络的知识图谱智能问答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110380648.6A CN113010693B (zh) 2021-04-09 2021-04-09 融合指针生成网络的知识图谱智能问答方法

Publications (2)

Publication Number Publication Date
CN113010693A true CN113010693A (zh) 2021-06-22
CN113010693B CN113010693B (zh) 2024-03-08

Family

ID=76388282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110380648.6A Active CN113010693B (zh) 2021-04-09 2021-04-09 融合指针生成网络的知识图谱智能问答方法

Country Status (1)

Country Link
CN (1) CN113010693B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312501A (zh) * 2021-06-29 2021-08-27 中新国际联合研究院 基于知识图谱的安全知识自助查询系统的构建方法及装置
CN113342982A (zh) * 2021-06-24 2021-09-03 中国科学技术大学智慧城市研究院(芜湖) 融合RoBERTa和外部知识库的企业行业分类方法
CN113435211A (zh) * 2021-07-19 2021-09-24 北京理工大学 一种结合外部知识的文本隐式情感分析方法
CN113590837A (zh) * 2021-07-29 2021-11-02 华中农业大学 一种基于深度学习的食品及健康知识图谱构建方法
CN113627146A (zh) * 2021-08-11 2021-11-09 厦门大学 基于知识约束的两步式辟谣文本生成方法
CN113641830A (zh) * 2021-07-19 2021-11-12 北京百度网讯科技有限公司 模型预训练方法、装置、电子设备和存储介质
CN113641809A (zh) * 2021-08-10 2021-11-12 中电鸿信信息科技有限公司 一种基于XLNet-BiGRU-CRF的智能问答方法
CN113641805A (zh) * 2021-07-19 2021-11-12 北京百度网讯科技有限公司 结构化问答模型的获取方法、问答方法及对应装置
CN113779220A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法
CN113836408A (zh) * 2021-09-14 2021-12-24 北京理工大学 一种基于网页正文内容的问题式查询推荐方法
CN113836315A (zh) * 2021-09-23 2021-12-24 国网安徽省电力有限公司电力科学研究院 一种电力标准知识抽取系统
CN113946665A (zh) * 2021-09-13 2022-01-18 东北大学 一种基于文本提供背景信息的知识库问答方法
CN114036275A (zh) * 2021-11-08 2022-02-11 桂林电子科技大学 一种知识图谱嵌入多跳问答方法
CN114510558A (zh) * 2022-01-26 2022-05-17 北京博瑞彤芸科技股份有限公司 一种基于中医知识图谱的问答方法及系统
CN114969367A (zh) * 2022-05-30 2022-08-30 大连民族大学 基于多方面子任务交互的跨语言实体对齐方法
CN114970563A (zh) * 2022-07-28 2022-08-30 山东大学 融合内容和形式多样性的中文问题生成方法和系统
CN115062587A (zh) * 2022-06-02 2022-09-16 北京航空航天大学 一种基于周围信息的知识图谱嵌入及回复生成方法
CN117786092A (zh) * 2024-02-27 2024-03-29 成都晓多科技有限公司 一种商品评论关键短语提取方法及系统
CN113641805B (zh) * 2021-07-19 2024-05-24 北京百度网讯科技有限公司 结构化问答模型的获取方法、问答方法及对应装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009114998A1 (zh) * 2008-03-17 2009-09-24 华为技术有限公司 分组网络中的点到多点隧道的建立方法、系统和设备
CN110298436A (zh) * 2019-06-28 2019-10-01 乐山金蜜工业卫士服务股份有限公司 基于指针生成网络的数据到文本的生成模型
CN111143574A (zh) * 2019-12-05 2020-05-12 大连民族大学 一种基于少数民族文化知识图谱的查询及可视化系统构建方法
US10769374B1 (en) * 2019-04-24 2020-09-08 Honghui CHEN Answer selection method for question answering system and the system
US20200285932A1 (en) * 2019-03-08 2020-09-10 Wipro Limited Method and system for generating structured relations between words

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009114998A1 (zh) * 2008-03-17 2009-09-24 华为技术有限公司 分组网络中的点到多点隧道的建立方法、系统和设备
US20200285932A1 (en) * 2019-03-08 2020-09-10 Wipro Limited Method and system for generating structured relations between words
US10769374B1 (en) * 2019-04-24 2020-09-08 Honghui CHEN Answer selection method for question answering system and the system
CN110298436A (zh) * 2019-06-28 2019-10-01 乐山金蜜工业卫士服务股份有限公司 基于指针生成网络的数据到文本的生成模型
CN111143574A (zh) * 2019-12-05 2020-05-12 大连民族大学 一种基于少数民族文化知识图谱的查询及可视化系统构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUXIA REN; ZHEMING ZHANG: "Pointer-Generator Abstractive Text Summarization Model with Part of Speech Features", 《2019 IEEE 10TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE (ICSESS)》, 19 March 2020 (2020-03-19) *
ZARA NASARSYED WAQAR JAFFRYMUHAMMAD KAMRAN MALIK: "Textual keyword extraction and summarization: State-of-the-art", 《INFORMATION PROCESSING & MANAGEMENT》, 1 August 2019 (2019-08-01) *
刘爽;孟佳娜;于玉海;杨辉;李佳宜: "基于中华民族文化知识图谱的网络空间建设", 《大连民族大学学报》, 31 October 2020 (2020-10-31) *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342982B (zh) * 2021-06-24 2023-07-25 长三角信息智能创新研究院 融合RoBERTa和外部知识库的企业行业分类方法
CN113342982A (zh) * 2021-06-24 2021-09-03 中国科学技术大学智慧城市研究院(芜湖) 融合RoBERTa和外部知识库的企业行业分类方法
CN113312501A (zh) * 2021-06-29 2021-08-27 中新国际联合研究院 基于知识图谱的安全知识自助查询系统的构建方法及装置
CN113641830B (zh) * 2021-07-19 2024-03-29 北京百度网讯科技有限公司 模型预训练方法、装置、电子设备和存储介质
CN113641805B (zh) * 2021-07-19 2024-05-24 北京百度网讯科技有限公司 结构化问答模型的获取方法、问答方法及对应装置
CN113641830A (zh) * 2021-07-19 2021-11-12 北京百度网讯科技有限公司 模型预训练方法、装置、电子设备和存储介质
CN113435211A (zh) * 2021-07-19 2021-09-24 北京理工大学 一种结合外部知识的文本隐式情感分析方法
CN113641805A (zh) * 2021-07-19 2021-11-12 北京百度网讯科技有限公司 结构化问答模型的获取方法、问答方法及对应装置
CN113590837A (zh) * 2021-07-29 2021-11-02 华中农业大学 一种基于深度学习的食品及健康知识图谱构建方法
CN113641809B (zh) * 2021-08-10 2023-12-08 中电鸿信信息科技有限公司 一种基于XLNet模型与知识图谱的智能问答方法
CN113641809A (zh) * 2021-08-10 2021-11-12 中电鸿信信息科技有限公司 一种基于XLNet-BiGRU-CRF的智能问答方法
CN113627146B (zh) * 2021-08-11 2024-05-28 厦门大学 基于知识约束的两步式辟谣文本生成方法
CN113627146A (zh) * 2021-08-11 2021-11-09 厦门大学 基于知识约束的两步式辟谣文本生成方法
CN113779220A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法
CN113946665A (zh) * 2021-09-13 2022-01-18 东北大学 一种基于文本提供背景信息的知识库问答方法
CN113946665B (zh) * 2021-09-13 2024-05-10 东北大学 一种基于文本提供背景信息的知识库问答方法
CN113779220B (zh) * 2021-09-13 2023-06-23 内蒙古工业大学 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法
CN113836408A (zh) * 2021-09-14 2021-12-24 北京理工大学 一种基于网页正文内容的问题式查询推荐方法
CN113836315A (zh) * 2021-09-23 2021-12-24 国网安徽省电力有限公司电力科学研究院 一种电力标准知识抽取系统
CN114036275B (zh) * 2021-11-08 2024-04-02 桂林电子科技大学 一种知识图谱嵌入多跳问答方法
CN114036275A (zh) * 2021-11-08 2022-02-11 桂林电子科技大学 一种知识图谱嵌入多跳问答方法
CN114510558A (zh) * 2022-01-26 2022-05-17 北京博瑞彤芸科技股份有限公司 一种基于中医知识图谱的问答方法及系统
CN114969367B (zh) * 2022-05-30 2024-04-30 大连民族大学 基于多方面子任务交互的跨语言实体对齐方法
CN114969367A (zh) * 2022-05-30 2022-08-30 大连民族大学 基于多方面子任务交互的跨语言实体对齐方法
CN115062587A (zh) * 2022-06-02 2022-09-16 北京航空航天大学 一种基于周围信息的知识图谱嵌入及回复生成方法
CN115062587B (zh) * 2022-06-02 2024-05-31 北京航空航天大学 一种基于周围信息的知识图谱嵌入及回复生成方法
CN114970563A (zh) * 2022-07-28 2022-08-30 山东大学 融合内容和形式多样性的中文问题生成方法和系统
CN117786092A (zh) * 2024-02-27 2024-03-29 成都晓多科技有限公司 一种商品评论关键短语提取方法及系统
CN117786092B (zh) * 2024-02-27 2024-05-14 成都晓多科技有限公司 一种商品评论关键短语提取方法及系统

Also Published As

Publication number Publication date
CN113010693B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN113010693A (zh) 融合指针生成网络的知识图谱智能问答方法
CN111177394B (zh) 基于句法注意力神经网络的知识图谱关系数据分类方法
CN113792818B (zh) 意图分类方法、装置、电子设备及计算机可读存储介质
CN111931506B (zh) 一种基于图信息增强的实体关系抽取方法
CN110263325B (zh) 中文分词系统
CN110765277B (zh) 一种基于知识图谱的移动端的在线设备故障诊断方法
CN111881677A (zh) 基于深度学习模型的地址匹配算法
CN112905795A (zh) 文本意图分类的方法、装置和可读介质
CN112306494A (zh) 一种基于卷积和循环神经网络的代码分类及聚类方法
CN113535917A (zh) 基于旅游知识图谱的智能问答方法及系统
CN113515632B (zh) 基于图路径知识萃取的文本分类方法
CN111666758A (zh) 中文分词方法、训练设备以及计算机可读存储介质
JP2023522502A (ja) セマンティック認識方法
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
US20230138014A1 (en) System and method for performing a search in a vector space based search engine
CN114897167A (zh) 生物领域知识图谱构建方法及装置
CN115688784A (zh) 一种融合字与词语特征的中文命名实体识别方法
CN114997288A (zh) 一种设计资源关联方法
CN115169349A (zh) 基于albert的中文电子简历命名实体识别方法
CN116484024A (zh) 一种基于知识图谱的多层次知识库构建方法
CN114757184A (zh) 实现航空领域知识问答的方法和系统
CN116342167B (zh) 基于序列标注命名实体识别的智能成本度量方法和装置
Göker et al. Neural text normalization for turkish social media
CN116861269A (zh) 工程领域的多源异构数据融合及分析方法
CN117390131A (zh) 一种用于多领域的文本情感分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant