CN112650845A - 一种基于bert与知识表示学习的问答系统及方法 - Google Patents

一种基于bert与知识表示学习的问答系统及方法 Download PDF

Info

Publication number
CN112650845A
CN112650845A CN202011643557.9A CN202011643557A CN112650845A CN 112650845 A CN112650845 A CN 112650845A CN 202011643557 A CN202011643557 A CN 202011643557A CN 112650845 A CN112650845 A CN 112650845A
Authority
CN
China
Prior art keywords
entity
question
data set
bert
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011643557.9A
Other languages
English (en)
Other versions
CN112650845B (zh
Inventor
姜洪超
金莉
石岩
康宗
罗晓东
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011643557.9A priority Critical patent/CN112650845B/zh
Publication of CN112650845A publication Critical patent/CN112650845A/zh
Application granted granted Critical
Publication of CN112650845B publication Critical patent/CN112650845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供的一种基于BERT与知识表示学习的问答系统及方法，包括以下步骤：步骤1，获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；步骤2，接收问题语句，分别对接收到的问题语句进行实体识别和属性识别，分别得到实体信息和属性信息；步骤3，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息；步骤4，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案；本发明解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。

Description

一种基于BERT与知识表示学习的问答系统及方法
技术领域
本发明涉及到自然语言处理技术领域，特别是设计到一种基于BERT与知识表示学习的问答系统及方法。
背景技术
问答系统(Question Answering System,QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。传统的智能问答系统通过问句解析获取实体与属性信息，然后基于预定义问句规则生成结构化查询语句，进而在数据集中检索答案并返回。但基于规则的答案推理仅能够处理已定义的规则，不能覆盖问句的所有情况。
发明内容
本发明的目的在于提供一种基于BERT与知识表示学习的问答系统及方法，解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。
为了达到上述目的，本发明采用的技术方案是：
本发明提供的一种基于BERT与知识表示学习的问答方法，包括以下步骤：
步骤1，获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；
步骤2，接收问题语句，对接收到的问题语句分别进行实体识别和属性识别，分别得到实体信息和属性信息；
步骤3，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息；
步骤4，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案。
优选地，步骤1中，对原始数据集进行训练，得到训练后的数据集，具体方法是：
利用基于TransE的知识表示学习方法对原始数据集进行训练。
优选地，利用基于TransE的知识表示学习方法对原始数据集进行训练，具体方法是：
S21，获取原始数据集，该原始数据集中包括有多组三元组；
S22，利用Word2vec预训练词向量对S21中得到的原始数据集中的每组三元组进行初始化，获得每组三元组的初始向量；
S23，利用基于TransE模型训练S22中得到的每组三元组的初始向量，获得每组包含语义信息的三元组向量，进而得到训练后的数据集。
优选地，步骤2中，分别对接收到的问题语句进行实体识别和属性识别，具体方法是：
利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，得到实体信息；
利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，得到属性信息。
优选地，利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，具体方法是：
将得到的问题语句按字进行分隔，之后输入至BERT预训练模型中进行自编码，获得问句编码向量；
将得到的问句编码向量输入至实体识别模型的CRF层，得到预测标签序列；
根据得到的预测标签序列对所述问题语句进行命名实体识别，得到实体信息。
优选地，利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，具体方法是：
S41、将得到的问题语句输入至BERT预训练模型进行字编码，获得问句编码向量；
S42、利用Softmax多分类器对句编码向量中[CLS]向量进行分类，得到问题语句对应的属性信息。
优选地，步骤3中，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息，具体方法是：
利用Word2vec模型，将S步骤2中得到的实体信息与步骤1中的原始数据集中的每组三元组进行词语相似度匹配，将相似度值最高的三元组中的实体作为标准实体，进而得到标准实体信息。
优选地，S4中，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，具体方法是：
将得到的标准实体信息与训练后的数据集进行匹配，判断标准实体信息的类别，其中，当标准实体信息为头实体时，进入S62；否则进入S65；
S62，将判别后的标准实体信息与步骤2中得到的属性信息分别转化为训练后的数据集中对应的向量；
S63，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
S64，将得到的答案向量与训练后的数据集中的尾实体向量进行余弦相似度匹配，取相似度最高的尾实体向量对应的尾实体作为最终答案；
S65，将判别后的标注实体信息与S5中得到的属性信息分别转化为训练后的数据集中对应的向量；
S66，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
S67，将得到的答案向量与训练后的数据集中头实体向量进行余弦相似度匹配，取相似度最高的头实体向量对应的头实体作为最终答案。
随着知识表示学习的发展，数据集中数据可以转化为包含语义信息的向量，则答案推理过程可以转换为向量计算，进而获取答案。
一种基于BERT与知识表示学习的问答系统，该系统能够用于所述的一种基于BERT与知识表示学习的问答系统，包括采集模块、识别模块、以及处理模块；其中，
采集模块用于获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；
识别模块用于将接收到的问题语句进行实体识别和属性识别，分别得到实体信息和属性信息；
处理模块用于将实体信息与原始数据集进行实体链接，得到标准实体信息；并将标准实体信息、属性信息、训练后的数据集进行推理处理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于BERT与知识表示学习的问答方法，针对传统问答系统预定义规则有限而无法回答各种类型问句的问题，本发明利用基于TransE的知识推理方法，避免预定义规则，使问答系统可以回答各类问题；针对传统问答系统问句解析模型复杂的问题，本发明利用基于BERT预训练模型解析问句，降低了问句解析模型复杂度；进而本发明解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。
本发明提供的一种基于BERT与知识表示学习的问答系统，通过利用处理模块的知识推理方法，避免了人工预定义问句类型的步骤，丰富了问答系统可回答问题类型；通过利用识别模块对问题语句的实体信息和属性信息进行识别，降低了问句解析模型复杂度，提高了问句解析效率；本系统解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明实施例的数据集训练图；
图3为本发明实施例的TransE模型图；
图4为本发明实施例的实体识别模型图；
图5为本发明实施例的属性识别模型图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
参照图1，本发明实施例中提供的一种基于BERT与知识表示学习的问答方法，包括以下步骤：
S1，接收用户问题语句；
S2，利用基于TransE的知识表示学习方法训练数据集；
S3，利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，得到实体信息；
S4，利用基于Word2vec的词语相似度匹配方法对S3中得到的实体识别结果进行实体链接，得到标准实体信息；
S5，利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，得到属性信息；
S6，利用基于TransE的知识推理方法对S4中得到的标准实体信息和S5中得到的属性信息进行推理，获取得到标准实体与属性信息对应的答案，并将答案返回给用户。
如上述步骤S1所述，要实现问答方法，首先需要接收用户问题语句，利用文字输入方式接收问题语句。
如上述步骤S2所述，为使数据集中实体或属性包含语义信息，需要对数据集进行训练，此处采用的训练方法为基于TransE的知识表示学习方法。此方法的输入为数据集三元组，输出为包含语义信息的三元组向量。以此方法输入三元组：(围城，作者，钱钟书)为例，输出为(lh，lr，lt)，其中lh，lr，lt为“围城”、“作者”、“钱钟书”分别对应的包含语义信息的三元组向量。
如上所述步骤S3所述，实体识别即从问题语句中识别包含的实体信息，此处采用的实体识别方法为BERT+CRF(Bidirectional Encoder Representations fromTransformers+Conditional Random Field)的序列标注模型，实体识别模型的输入是问题语句的字序列，输出是问题语句的实体信息。以实体识别模型输入“围城的作者是谁？”为例，转成问题语句的字序列是为：(围，城，的，作，者，是，谁，？)，实体识别输出为：(O，B，I，O，O，O，O，O，O，O)，其中B表示实体的开始字，I表示实体的中间字或结束字，O表示不是实体的字。模型的输出为问题语句识别出的实体信息“围城”。
如上述步骤S4所述，利用基于Word2vec的词语相似度匹配方法对S3中得到的实体识别结果进行实体链接，具体方法是：
利用Word2vec模型，将S3中得到的实体信息与原始数据集中的每组三元组进行词语相似度匹配，得到标准实体信息。
实体链接的输入为问题语句识别出的实体以及原始数据集中实体集，输出为数据集中某一实体。以问题语句识别出的实体信息为“围城”，数据集中存储的实体集为(围城，呐喊，西游记)为例，将实体信息与实体集分别转换为Word2vec模型对应词向量，“围城”为X1，(围城，呐喊，西游记)为(Y1，Y2，Y3)。利用Word2vec模型相似度计算方法依次计算实体信息与实体集中每个实体的相似度值，取实体集中相似度值最大的实体为问题语句识别出实体对应数据集中实体。
如上述步骤S5所述，属性识别即识别出问题语句对应属性，此处采用的属性识别为基于BERT的文本分类方法。属性识别的输入为问题语句的子序列，输出为问题语句对应的属性。以属性识别模型输入“围城的作者是谁？”为例，转成问题语句的字序列为：(围，城，的，作，者，是，谁，？)，属性识别模型识别出的问题语句对应属性为：“作者”。
如上述步骤S6所述，利用基于TransE的知识推理方法获取实体与属性对应的答案，并将答案返回给用户。TransE知识推理方法的输入为实体与属性信息，输出为实体与属性对应答案。以TransE知识推理方法输入(实体：围城，属性：作者)为例，输出为“钱钟书”。
在一个具体实例中，如图2所示，所述利用基于TransE的知识表示学习方法训练原始数据集，包括以下步骤：
S21，获取原始数据集，该原始数据集中包括有多组三元组；
S22，利用Word2vec预训练词向量对S21中得到的原始数据集中的每组三元组进行初始化，获得每组三元组的初始向量(lh，lr，lt)；
S23，利用基于TransE模型训练S22中得到的每组三元组的初始向量，获得每组包含语义信息的三元组向量，进而得到训练后的数据集。
如上所述，举例说明：
数据集中选取三元组(围城，作者，钱钟书)，利用Word2vec预训练词向量对其进行初始化，获得初始向量(lh，lr，lt)；
利用基于TransE模型训练三元组初始向量，定义损失函数如下：
Figure BDA0002873328030000071
其中，lh为头实体向量，lr为关系向量，lt为尾实体向量，L1，L2为距离，即向量lh+lr和lt的L1或L2距离。
为了增强知识表示的区分能力，采用最大间隔方法，利用如下优化目标函数，更新三元组初始向量：
Figure BDA0002873328030000072
其中，S是合法三元组的集合，S-为错误三元组的集合，max(x，y)返回x和y中较大的值，γ为合法三元组得分与错误三元组得分之间的间隔距离；
三元组初始向量经过训练更新后，获得包含语义信息的三元组向量(lh，lr，lt)。
在一个具体实例中，如图3所示，所述利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别步骤，包括：
S31、先将所述问题语句按字进行分隔，输入BERT预训练模型进行字编码，获得问句编码向量；
S32、将问句编码向量输入到实体识别模型的CRF层，得到预测标签序列；
S33、根据预测的标签序列确定所述问题语句中的实体信息。
如上所述，举例说明：
实体识别模型输入：“围城的作者是谁？”；
经过BERT预训练模型得到：[[CLS],X1，X2，X3，X4，X5，X6，X7，X8，[SEP]]，其中[CLS]为代表整句的向量，[SEP]为句间的分隔符，X1～X8为问句对应字向量；
将[CLS]向量输入CRF层后，实体识别结果输出：(O，B，I，O，O，O，O，O，O，O)，其中B表示实体的开始字，I表示实体的中间或结束字，O表示不是实体的字；
模型的输出为问题语句实体部分“围城”。
在一个具体的实施例中，如图4所示，所述基于BERT的文本分类方法对问句进行属性识别步骤，包括：
S41、先将所述问题语句输入BERT预训练模型进行字编码，获得问句编码向量；
S42、取问句编码向量中[CLS]向量利用Softmax多分类器进行分类，确定问句对应属性信息。
如上所述，举例说明，属性识别模型输入：“围城的作者是谁？”；
经过BERT预训练模型得到：[[CLS],X1，X2，X3，X4，X5，X6，X7，X8，[SEP]]，其中[CLS]为代表整句的向量，[SEP]为句间的分隔符，X1～X8为问句对应字向量；
将[CLS]向量进行Softmax多分类操作，属性识别模型输出为问题语句属性部分“作者”。
在一个具体的实施例中，如图2所示，所述利用基于TransE的知识推理方法获取实体与属性对应的答案，并将答案返回给用户步骤，包括：
S61，将S4中得到的标准实体信息与训练后的数据集中的每组包含语义信息的三元组向量进行匹配，判断标准实体信息的类别，所述类别为头实体或尾实体；其中，当标准实体信息为头实体时，进入S62；否则进入S65；
S62，将判别后的标准实体信息与S5中得到的属性信息分别转化为训练后的数据集中对应的向量；
S63，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
S64，将得到的答案向量与训练后的数据集中尾实体向量进行余弦相似度匹配，取相似度最高的尾实体向量对应的尾实体作为最终答案；
S65，将判别后的标注实体信息与S5中得到的属性信息分别转化为训练后的数据集中对应的向量；
S66，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
S67，将得到的答案向量与训练后的数据集中头实体向量进行余弦相似度匹配，取相似度最高的头实体向量对应的头实体作为最终答案。
如上所述，举例说明：
(1)问题语句为“围城的作者是谁？”，识别出实体为“围城”，属性为“作者”，将实体与数据集中头实体与尾实体进行匹配，确定“围城”为头实体，则问句答案为尾实体；
将实体“围城”与属性“作者”分别转化为数据集中对应向量lh和lr；
利用知识推理方法获得答案向量：lt＝lh+lr；
利用余弦相似度计算问句答案向量lt与数据集中尾实体向量集合相似度值，取相似度值最大的向量对应实体“钱钟书”作为答案返回给用户。
(2)问题语句为“以曹雪芹为作者的书是？”，识别出实体为“曹雪芹”，属性为“作者”，将实体与数据集中头实体与尾实体进行匹配，确定“曹雪芹”为尾实体，则问句答案为头实体；
将实体“曹雪芹”与属性“作者”分别转化为数据集中对应向量lt和lr；
利用知识推理方法获得答案向量：lh＝lt-lr；
利用余弦相似度计算问句答案向量lh与数据集中头实体向量集合相似度值，取相似度值最大的向量对应实体“红楼梦”作为答案返回给用户。
本实施例提供的一种基于BERT与知识表示学习的开放域问答方法，通过利用基于TransE的知识推理方法，避免了人工预定义问句类型的步骤，丰富了问答系统可回答问题类型；通过利用BERT预训练模型，降低了问句解析模型复杂度，提高了问句解析效率。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于BERT与知识表示学习的问答方法，其特征在于，包括以下步骤：
步骤1，获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；
步骤2，接收问题语句，对接收到的问题语句分别进行实体识别和属性识别，分别得到实体信息和属性信息；
步骤3，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息；
步骤4，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案。
2.根据权利要求1所述的一种基于BERT与知识表示学习的问答方法，其特征在于，步骤1中，对原始数据集进行训练，得到训练后的数据集，具体方法是：
利用基于TransE的知识表示学习方法对原始数据集进行训练。
3.根据权利要求2所述的一种基于BERT与知识表示学习的问答方法，其特征在于，利用基于TransE的知识表示学习方法对原始数据集进行训练，具体方法是：
S21，获取原始数据集，该原始数据集中包括有多组三元组；
S22，利用Word2vec预训练词向量对S21中得到的原始数据集中的每组三元组进行初始化，获得每组三元组的初始向量；
S23，利用基于TransE模型训练S22中得到的每组三元组的初始向量，获得每组包含语义信息的三元组向量，进而得到训练后的数据集。
4.根据权利要求1所述的一种基于BERT与知识表示学习的问答方法，其特征在于，步骤2中，分别对接收到的问题语句进行实体识别和属性识别，具体方法是：
利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，得到实体信息；
利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，得到属性信息。
5.根据权利要求4所述的一种基于BERT与知识表示学习的问答方法，其特征在于，利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，具体方法是：
将得到的问题语句按字进行分隔，之后输入至BERT预训练模型中进行自编码，获得问句编码向量；
将得到的问句编码向量输入至实体识别模型的CRF层，得到预测标签序列；
根据得到的预测标签序列对所述问题语句进行命名实体识别，得到实体信息。
6.根据权利要求4所述的一种基于BERT与知识表示学习的问答方法，其特征在于，利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，具体方法是：
S41、将得到的问题语句输入至BERT预训练模型进行字编码，获得问句编码向量；
S42、利用Softmax多分类器对句编码向量中[CLS]向量进行分类，得到问题语句对应的属性信息。
7.根据权利要求1所述的一种基于BERT与知识表示学习的问答方法，其特征在于，步骤3中，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息，具体方法是：
利用Word2vec模型，将S步骤2中得到的实体信息与步骤1中的原始数据集中的每组三元组进行词语相似度匹配，将相似度值最高的三元组中的实体作为标准实体，进而得到标准实体信息。
8.根据权利要求1所述的一种基于BERT与知识表示学习的问答方法，其特征在于，S4中，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，具体方法是：
将得到的标准实体信息与训练后的数据集进行匹配，判断标准实体信息的类别，其中，当标准实体信息为头实体时，进入S62；否则进入S65；
S62，将判别后的标准实体信息与步骤2中得到的属性信息分别转化为训练后的数据集中对应的向量；
S63，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
S64，将得到的答案向量与训练后的数据集中的尾实体向量进行余弦相似度匹配，取相似度最高的尾实体向量对应的尾实体作为最终答案；
S65，将判别后的标注实体信息与S5中得到的属性信息分别转化为训练后的数据集中对应的向量；
S66，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
S67，将得到的答案向量与训练后的数据集中头实体向量进行余弦相似度匹配，取相似度最高的头实体向量对应的头实体作为最终答案。
9.一种基于BERT与知识表示学习的问答系统，其特征在于，该系统能够用于实现权利要求1-8中任一项所述的一种基于BERT与知识表示学习的问答系统，包括采集模块、识别模块、以及处理模块；其中，
采集模块用于获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；
识别模块用于将接收到的问题语句进行实体识别和属性识别，分别得到实体信息和属性信息；
处理模块用于将实体信息与原始数据集进行实体链接，得到标准实体信息；并将标准实体信息、属性信息、训练后的数据集进行推理处理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案。
CN202011643557.9A 2020-12-30 2020-12-30 一种基于bert与知识表示学习的问答系统及方法 Active CN112650845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643557.9A CN112650845B (zh) 2020-12-30 2020-12-30 一种基于bert与知识表示学习的问答系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643557.9A CN112650845B (zh) 2020-12-30 2020-12-30 一种基于bert与知识表示学习的问答系统及方法

Publications (2)

Publication Number Publication Date
CN112650845A true CN112650845A (zh) 2021-04-13
CN112650845B CN112650845B (zh) 2023-01-03

Family

ID=75368053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643557.9A Active CN112650845B (zh) 2020-12-30 2020-12-30 一种基于bert与知识表示学习的问答系统及方法

Country Status (1)

Country Link
CN (1) CN112650845B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204652A (zh) * 2021-07-05 2021-08-03 北京邮电大学 知识表示学习方法和装置
CN113641809A (zh) * 2021-08-10 2021-11-12 中电鸿信信息科技有限公司 一种基于XLNet-BiGRU-CRF的智能问答方法
CN114297357A (zh) * 2021-12-27 2022-04-08 北京中科闻歌科技股份有限公司 一种基于量子计算的问答模型构建方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171376A1 (en) * 2014-12-12 2016-06-16 International Business Machines Corporation Inferred Facts Discovered through Knowledge Graph Derived Contextual Overlays
US20160283491A1 (en) * 2015-03-25 2016-09-29 Google Inc. Information Extraction from Question And Answer Websites
CN110532368A (zh) * 2019-09-04 2019-12-03 深圳前海达闼云端智能科技有限公司 问答方法、电子设备及计算机可读存储介质
US20200242444A1 (en) * 2019-01-30 2020-07-30 Baidu Usa Llc Knowledge-graph-embedding-based question answering
EP3702930A1 (en) * 2017-11-27 2020-09-02 ZTE Corporation Intelligent question and answer method and device
CN111858896A (zh) * 2020-07-30 2020-10-30 上海海事大学 一种基于深度学习的知识库问答方法
CN112100351A (zh) * 2020-09-11 2020-12-18 陕西师范大学 一种通过问题生成数据集构建智能问答系统的方法及设备
CN112131881A (zh) * 2020-09-27 2020-12-25 腾讯科技（深圳）有限公司 信息抽取方法及装置、电子设备、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171376A1 (en) * 2014-12-12 2016-06-16 International Business Machines Corporation Inferred Facts Discovered through Knowledge Graph Derived Contextual Overlays
US20160283491A1 (en) * 2015-03-25 2016-09-29 Google Inc. Information Extraction from Question And Answer Websites
EP3702930A1 (en) * 2017-11-27 2020-09-02 ZTE Corporation Intelligent question and answer method and device
US20200242444A1 (en) * 2019-01-30 2020-07-30 Baidu Usa Llc Knowledge-graph-embedding-based question answering
CN111506714A (zh) * 2019-01-30 2020-08-07 百度（美国）有限责任公司 基于知识图嵌入的问题回答
CN110532368A (zh) * 2019-09-04 2019-12-03 深圳前海达闼云端智能科技有限公司 问答方法、电子设备及计算机可读存储介质
CN111858896A (zh) * 2020-07-30 2020-10-30 上海海事大学 一种基于深度学习的知识库问答方法
CN112100351A (zh) * 2020-09-11 2020-12-18 陕西师范大学 一种通过问题生成数据集构建智能问答系统的方法及设备
CN112131881A (zh) * 2020-09-27 2020-12-25 腾讯科技（深圳）有限公司 信息抽取方法及装置、电子设备、存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIU,AITING等: "BB-KBQA:BERT-Based Knowledge Base Question Answering", 《CHINESE COMPUTATIONAL LINGUISTICS,CCL 2019》 *
周淼: "基于知识图谱的问答系统研究与实现", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *
张楚婷等: "基于BiLSTM-CRF的细粒度知识图谱问答", 《计算机工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204652A (zh) * 2021-07-05 2021-08-03 北京邮电大学 知识表示学习方法和装置
CN113204652B (zh) * 2021-07-05 2021-09-07 北京邮电大学 知识表示学习方法和装置
CN113641809A (zh) * 2021-08-10 2021-11-12 中电鸿信信息科技有限公司 一种基于XLNet-BiGRU-CRF的智能问答方法
CN113641809B (zh) * 2021-08-10 2023-12-08 中电鸿信信息科技有限公司 一种基于XLNet模型与知识图谱的智能问答方法
CN114297357A (zh) * 2021-12-27 2022-04-08 北京中科闻歌科技股份有限公司 一种基于量子计算的问答模型构建方法、装置及电子设备

Also Published As

Publication number Publication date
CN112650845B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN111625641B (zh) 一种基于多维度语义交互表征模型的对话意图识别方法及系统
CN110134771B (zh) 一种基于多注意力机制融合网络问答系统的实现方法
CN112650845B (zh) 一种基于bert与知识表示学习的问答系统及方法
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN107908671B (zh) 基于法律数据的知识图谱构建方法及系统
CN114064918B (zh) 一种多模态事件知识图谱构建方法
CN109271537B (zh) 一种基于蒸馏学习的文本到图像生成方法和系统
CN112115238A (zh) 一种基于bert和知识库的问答方法和系统
CN112269868A (zh) 一种基于多任务联合训练的机器阅读理解模型的使用方法
CN113011196B (zh) 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN112417884A (zh) 一种基于知识增强和知识迁移的句子语义相关度判断方法
CN115292461B (zh) 基于语音识别的人机交互学习方法及系统
CN113641809A (zh) 一种基于XLNet-BiGRU-CRF的智能问答方法
CN112364132A (zh) 基于依存句法的相似度计算模型和系统及搭建系统的方法
CN115858750A (zh) 基于自然语言处理的电网技术标准智能问答方法及系统
CN114580639A (zh) 一种基于政务三元组自动抽取对齐的知识图谱构建的方法
CN117648429A (zh) 基于多模态自适应检索式增强大模型的问答方法及系统
CN118312600B (zh) 一种基于知识图谱与大语言模型的智能客服问答方法
CN115953569A (zh) 一种基于多步推理的一阶段视觉定位模型构建方法
CN116187349A (zh) 一种基于场景图关系信息增强的视觉问答方法
CN115994209A (zh) 基于RoBERTa-WWM的商品问答方法
CN115934883A (zh) 一种基于语义增强的多特征融合的实体关系联合抽取方法
CN111666374A (zh) 一种在深度语言模型中融入额外知识信息的方法
CN115203388A (zh) 机器阅读理解方法、装置、计算机设备和存储介质
CN113051904B (zh) 一种面向小规模知识图谱的链接预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant