CN112347229A - 一种答案抽取方法、装置、计算机设备及存储介质 - Google Patents

一种答案抽取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112347229A
CN112347229A CN202011260272.7A CN202011260272A CN112347229A CN 112347229 A CN112347229 A CN 112347229A CN 202011260272 A CN202011260272 A CN 202011260272A CN 112347229 A CN112347229 A CN 112347229A
Authority
CN
China
Prior art keywords
paragraph
vector
question
answer
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011260272.7A
Other languages
English (en)
Other versions
CN112347229B (zh
Inventor
黄勇其
王伟
于翠翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Resources Digital Technology Co Ltd
Original Assignee
Runlian Software System Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runlian Software System Shenzhen Co Ltd filed Critical Runlian Software System Shenzhen Co Ltd
Priority to CN202011260272.7A priority Critical patent/CN112347229B/zh
Publication of CN112347229A publication Critical patent/CN112347229A/zh
Application granted granted Critical
Publication of CN112347229B publication Critical patent/CN112347229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种答案抽取方法、装置、计算机设备及存储介质，该方法包括：获取问题的答案所在的设计规范文本，将其划分为段落，并从各段落中选择关键词作为段落标题；计算问题与所有段落标题的相似度，并进行排序，然后选取前k个段落标题；将问题输入至预训练语言模型，并输出问题的语义隐向量，以及将k个段落标题分别输入至预训练语言模型中，并输出所述k个段落标题对应的语义隐向量；对问题的语义隐向量和k个段落标题的语义隐向量计算相似度，并将相似度最高的段落标题对应的段落作为候选段落；若不包含候选答案，则利用答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。本发明可提高答案抽取效率并降低错误率。

Description

一种答案抽取方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机软件技术领域，特别涉及一种答案抽取方法、装置、计算机设备及存储介质。
背景技术
随着深度学习的发展，自然语言处理技术在互联网、金融、医疗等领域都得到了广泛的应用，特别是信息抽取、文本重要信息提取、阅读理解等技术有着广泛的应用前景。但在传统领域还处于起步阶段，例如，在建筑行业，一个施工方案的编写，往往需要大量的人工审查，需要仔细校对设计规范里的具体内容，但设计规范文书信息繁琐且版本众多，从而导致检查的过程既费时又容易出错。
发明内容
本发明实施例提供了一种答案抽取方法、装置、计算机设备及存储介质，旨在提高设计规范文本的答案抽取效率并降低错误率。
第一方面，本发明实施例提供了一种答案抽取方法，包括：
获取用户待查询的问题的答案所在的设计规范文本，将所述文本划分为多个段落，并从各所述段落中选择关键词作为对应的段落标题；
获取用户待查询的问题，计算所述问题与所有所述段落对应的段落标题之间的相似度，并按照计算结果对所述问题与各所述段落对应的段落标题之间的相似度进行排序，然后选取前k个相似度最高的段落标题；
将所述问题输入至预训练语言模型，并由所述预训练语言模型输出所述问题的语义隐向量，以及将选取的k个段落标题分别输入至所述预训练语言模型中，并由所述预训练语言模型输出所述k个段落标题对应的语义隐向量；
分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，并将相似度最高的段落标题作为候选段落标题，以及将所述候选段落标题对应的段落作为候选段落；
判断所述候选段落中是否包含预先标注的候选答案；
若包含预先标注的候选答案，则将所述候选答案作为所述问题的答案返回；
若不包含预先标注的候选答案，则将所述问题、所述k个段落标题和所述候选段落输入至答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。
进一步的，所述从各段落中选择关键词作为对应的段落标题，包括：
利用文本排序算法对所述各段落抽取权重最大的前m个关键词，并将所述前m个关键词作为对应段落的段落标题。
进一步的，所述计算所述问题与所有所述段落对应的段落标题之间的相似度，包括：
利用bm25相似度算法模型对所述问题与所有所述段落对应的段落标题之间的相似度进行计算；
所述分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，包括：
利用bm25相似度算法模型分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度。
进一步的，所述利用答案抽取模型对所述问题和所述k个段落标题进行答案抽取，然后将抽取的结果作为所述问题的答案返回，包括：
将所述问题的语义隐向量输入至自注意力机制层中，并得到语义信息增强后的第一问题向量；
将所述候选段落输入至所述预训练语言模型中，得到所述候选段落的语义隐向量，然后将所述候选段落的语义隐向量输入至所述自注意力机制层中，得到语义信息增强后的第一候选段落向量；
将所述k个段落标题进行拼接得到拼接段落标题，将所述拼接段落标题输入至所述预训练语言模型中，得到所述拼接段落标题的语义隐向量，然后将所述拼接段落标题的语义隐向量输入至所述自注意力机制层中，得到语义信息增强后的拼接段落标题向量；
将所述第一问题向量和所述拼接段落标题向量输入至预设的问题-段落注意力层中，并由所述问题-段落注意力层输出第二问题向量；
将所述第一问题向量和所述第一候选段落向量输入至所述问题-段落注意力层中，并由所述问题-段落注意力层输出第二候选段落向量；
利用所述问题-段落注意力层对所述第二问题向量和第二候选段落向量进行计算，得到第三候选段落向量；
利用第一前馈神经网络层对所述第三候选段落向量进行计算，然后通过激活函数将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量，并将所述概率值向量作为所述候选段落的当前字符的答案概率；
通过门控单元对所述候选段落的当前字符的答案概率进行融合，并将融合结果依次输入至第二前馈神经网络层和CRF层，然后对所述CRF层的计算结果进行解码，从而抽取所述问题的答案。
进一步的，所述将所述第一问题向量和所述拼接段落标题向量输入至预设的问题-段落注意力层中，并由所述问题-段落注意力层输出第二问题向量，包括：
将所述第一问题向量和所述拼接段落标题向量输入至预先构建的共享相似度矩阵中：
sij＝α(M：i，N：j)，
Figure BDA0002774425960000031
式中，α为实值映射函数，M、N分别为所述第一问题向量矩阵和所述拼接段落标题向量矩阵，M：i、N：j分别表示前i个第一问题向量和前j个拼接段落标题向量，m、n分别为M、N对应的向量；
在所述共享相似度矩阵中选取列方向的最大值，利用softmax函数对选取的列方向的最大值进行归一化，并对归一化后的结果进行注意力加权：
b＝softmax(maxcol(S))
Figure BDA0002774425960000032
式中，b为经softmax函数处理后的权重向量，bj为第j个权重向量值，
Figure BDA0002774425960000033
为所述第二问题向量，M：j表示前j个第一问题向量。
进一步的，所述利用第一前馈神经网络层对所述第三候选段落向量进行计算，然后通过激活函数将第一前馈神经网络层的计算结果映射为0-1的概率值向量，并将所述概率值向量作为所述段落的当前字符的答案概率，包括：
按照下列公式对所述第三候选段落向量进行计算：
FFN(x)＝max(0，xW1+b1)W2+b2
式中，W1、W2为参数矩阵，b1、b2为偏置系数，x为所述第三候选段落向量；
按照下列公式将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量：
Pi＝sigmoid(FFN(xi))
式中，xi为所述第三候选段落向量中的第i个字符。
进一步的，所述通过门控单元对所述候选段落的当前字符的答案概率进行融合，并将融合结果依次输入至第二前馈神经网络层和CRF层，然后对所述CRF层的计算结果进行解码，从而抽取所述问题的答案，包括：
按照下列公式对所述段落的当前字符的答案概率进行融合：
Figure BDA0002774425960000041
式中，Pi为当前字符的答案概率，
Figure BDA0002774425960000042
为所述第三候选段落向量，H为所述第二问题向量；
按照下列公式对输入至第二前馈神经网络层中融合结果进行计算：
Figure BDA0002774425960000043
式中，W3，W4为待训练的参数矩阵，b3，b4为偏置；
利用CRF层对所述第二前馈神经网络层的输出结果进行序列标注，并通过维特比算法对标注的序列进行解码，从而抽取所述问题的答案。
第二方面，本发明实施例提供了一种答案抽取装置，包括：
划分单元，用于获取用户待查询的问题的答案所在的设计规范文本，将所述设计规范文本划分为多个段落，并从各所述段落中选择关键词作为对应的段落标题；
选取单元，用于获取用户待查询的问题，计算所述问题与所有所述段落对应的段落标题之间的相似度，并按照计算结果对所述问题与各所述段落对应的段落标题之间的相似度进行排序，然后选取前k个相似度最高的段落标题；
输出单元，用于将所述问题输入至预训练语言模型，并由所述预训练语言模型输出所述问题的语义隐向量，以及将选取的k个段落标题分别输入至所述预训练语言模型中，并由所述预训练语言模型输出所述k个段落标题对应的语义隐向量；
计算单元，用于分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，并将相似度最高的段落标题作为候选段落标题，以及将所述候选段落标题对应的段落作为候选段落；
判断单元，用于判断所述候选段落中是否包含预先标注的候选答案；
返回单元，用于若包含预先标注的候选答案，则将所述候选答案作为所述问题的答案返回；
抽取单元，用于若不包含预先标注的候选答案，则将所述问题、所述k个段落标题和所述候选段落输入至答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述的答案抽取方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的答案抽取方法。
本发明实施例提供了一种答案抽取方法、装置、计算机设备及存储介质，所述答案抽取方法包括：获取用户待查询的问题的答案所在的设计规范文本，将所述设计规范文本划分为多个段落，并从各所述段落中选择关键词作为对应的段落标题；获取用户待查询的问题，计算所述问题与所有所述段落对应的段落标题之间的相似度，并按照计算结果对所述问题与各所述段落对应的段落标题之间的相似度进行排序，然后选取前k个相似度最高的段落标题；将所述问题输入至预训练语言模型，并由所述预训练语言模型输出所述问题的语义隐向量，以及将选取的k个段落标题分别输入至所述预训练语言模型中，并由所述预训练语言模型输出所述k个段落标题对应的语义隐向量；分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，并将相似度最高的段落标题作为候选段落标题，以及将所述候选段落标题对应的段落作为候选段落；判断所述候选段落中是否包含预先标注的候选答案；若包含预先标注的候选答案，则将所述候选答案作为所述问题的答案返回；若不包含预先标注的候选答案，则将所述问题、所述k个段落标题和所述候选段落输入至答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。本发明实施例可提高对于设计规范文本的答案抽取效率并降低答案抽取的错误率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种答案抽取方法的流程示意图；
图2为本发明实施例提供的一种答案抽取方法的网络结构示意图；
图3为图2的网络结构中答案抽取模型的网络结构示意图；
图4为本发明实施例提供的一种答案抽取装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种答案抽取方法的流程示意图，具体包括：步骤S101～S107。
S101、获取用户待查询的问题的答案所在的设计规范文本，将所述设计规范文本划分为多个段落，并从各所述段落中选择关键词作为对应的段落标题；
S102、获取用户待查询的问题，计算所述问题与所有所述段落对应的段落标题之间的相似度，并按照计算结果对所述问题与各所述段落对应的段落标题之间的相似度进行排序，然后选取前k个相似度最高的段落标题；
S103、将所述问题输入至预训练语言模型，并由所述预训练语言模型输出所述问题的语义隐向量，以及将选取的k个段落标题分别输入至所述预训练语言模型中，并由所述预训练语言模型输出所述k个段落标题对应的语义隐向量；
S104、分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，并将相似度最高的段落标题作为候选段落标题，以及将所述候选段落标题对应的段落作为候选段落；
S105、判断所述候选段落中是否包含预先标注的候选答案；
S106、若包含预先标注的候选答案，则将所述候选答案作为所述问题的答案返回；
S107、若不包含预先标注的候选答案，则将所述问题、所述k个段落标题和所述候选段落输入至答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。
本实施例中，结合图2，首先为由所述设计规范文本划分的多个段落中选取对应的段落标题，再根据用户待查询的问题从多个段落标题中选取相似度最高的前k个(例如前5个)段落标题，然后利用预训练语言模型得到所述问题的语义隐向量和前k个段落标题的语义隐向量，并再次选取与所述问题的语义隐向量相似度最高的段落标题，即所述候选段落标题，对应的，所述候选段落标题所在的段落则为候选段落。当所述候选段落中包含预先标注的候选答案时，则可以将预先标注的候选答案直接作为所述问题的答案；当所述候选段落中未包含预先标注的候选答案时，则利用预先构建的答案抽取模型抽取出所述问题的答案。
在建筑领域，设计规范文本众多，工作人员在编写施工方案时主要还是通过手动查找资料，效率低下且容易出错。本实施例提供的答案抽取方法，将设计规范文本进行分段，以若干个关键词作为该段文本title(即所述段落标题)，并通过相似度计算得到多个段落中的候选段落，并根据所述候选段落获取对应的答应，从而可以在设计规范文本中快速查询到相应问题的答案，提高工作效率的同时还可以降低抽取答案的错误率。当然，本实施例提供的答案抽取方法不仅仅适用于建筑领域中的设计规范文本答案抽取，还可适用于其他领域的文本答案抽取任务。
在一实施例中，所述从各段落中选择关键词作为对应的段落标题，包括：
利用文本排序算法对所述各段落抽取权重最大的前m个关键词，并将所述前m个关键词作为对应段落的段落标题。
本实施例中，将各段落中权重最大的前m个关键词作为该段落的段落标题，例如抽取权重最大的前3个(或者前5个等)关键词作为段落标题。在一具体实施中，利用textrank算法(一种文本排序算法)抽取所述各段落中权重最大的前m个关键词。
在一实施例中，所述计算所述问题与所有所述段落对应的段落标题之间的相似度，包括：
利用bm25相似度算法模型对所述问题与所有所述段落对应的段落标题之间的相似度进行计算；
所述分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，包括：
利用bm25相似度算法模型分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度。
本实施例中，利用所述bm25相似度算法模型(可插拔的相似度算法模型)计算所述问题与所有所述段落对应的段落标题之间的相似度时，对所述问题进行语素解析，并生成语素；然后对于每个段落标题，计算语素与每个段落标题的相关性得分，最后，将语速相对于每个段落标题的相关性得分进行加权求和，从而得到所述问题与所述段落标题的相关性得分。同理，利用所述bm25相似度算法模型分别计算所述问题的语义隐向量和所述k个段落标题对应的语义隐向量的相似度时，对所述问题的语义隐向量，进行语素解析，并生成语素；然后对于每个段落标题的语义隐向量，计算语素与每个段落标题的语义隐向量的相关性得分，最后，将语素相对于每个段落标题的语义隐向量的相关性得分进行加权求和，从而得到所述问题的语义隐向量与所述段落标题的语义隐向量的相关性得分。
在一具体实施例中，将所述段落及其对应的段落标题存储至elasticsearch分布式搜索引擎(一种基于Lucene的搜索服务器)中，从而在elasticsearch分布式搜索引擎中可以快速搜索到与所述问题相似度较高的段落标题等。
在一实施例中，所述利用答案抽取模型对所述问题和所述k个段落标题进行答案抽取，然后将抽取的结果作为所述问题的答案返回，包括：
将所述问题的语义隐向量输入至自注意力机制层中，并得到语义信息增强后的第一问题向量；
将所述候选段落输入至所述预训练语言模型中，得到所述候选段落的语义隐向量，然后将所述候选段落的语义隐向量输入至所述自注意力机制层中，得到语义信息增强后的第一候选段落向量；
将所述k个段落标题进行拼接得到拼接段落标题，将所述拼接段落标题输入至所述预训练语言模型中，得到所述拼接段落标题的语义隐向量，然后将所述拼接段落标题的语义隐向量输入至所述自注意力机制层中，得到语义信息增强后的拼接段落标题向量；
将所述第一问题向量和所述拼接段落标题向量输入至预设的问题-段落注意力层中，并由所述问题-段落注意力层输出第二问题向量；
将所述第一问题向量和所述第一候选段落向量输入至所述问题-段落注意力层中，并由所述问题-段落注意力层输出第二候选段落向量；
利用所述问题-段落注意力层对所述第二问题向量和第二候选段落向量进行计算，得到第三候选段落向量；
利用第一前馈神经网络层对所述第三候选段落向量进行计算，然后通过激活函数将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量，并将所述概率值向量作为所述候选段落的当前字符的答案概率；
通过门控单元对所述候选段落的当前字符的答案概率进行融合，并将融合结果依次输入至第二前馈神经网络层和CRF层，然后对所述CRF层的计算结果进行解码，从而抽取所述问题的答案。
本实施例中，结合图3，当所述候选段落中未包含预先标注的答案时，则无法直接将预先标注的答案作为所述问题的答案返回，此时则需要进一步的对所述问题的答案进行抽取。具体的，将所述问题、所述候选段落以及选取的前k个段落标题输入至所述答案抽取模型中，并先由所述自注意力机制层输出所述问题对应的第一问题向量，以及所述候选段落对应的第一候选段落向量和所述k个段落标题拼接后对应的拼接段落标题向量。然后将所述第一问题向量和拼接段落向量输入至所述问题-段落注意力层中，以及将所述第一问题向量和第一段落向量输入至所述问题-段落注意力层中，并分别得到所述第二问题向量和第二候选段落向量。再将所述第二问题向量和第二候选段落输入至所述问题-段落注意力层中，得到所述第三候选段落向量。将所述第三候选段落向量输入至所述第一前馈神经网络层中，并利用激活函数(例如sigmoid激活函数)对所述第一前馈神经网络层的输出结果进行映射，从而得到当前字符的答案概率。将得到的当前字符的答案概率输入至所述门控单元中进行融合，再依次通过所述第二前馈神经网络层和CRF层(Conditional RandomField，条件随机场)对融合结果进行计算和标注，得到一个编码序列，最后对该编码序列进行解码即可得到所述问题的答案。
现有技术中，一般的答案抽取模型需要计算答案的起始(start)位置的概率和终止(end)位置的概率，其只能将start至end位置的区域作为答案，但是start位置与end位置之间的内容可能包含一些非答案内容，导致抽取的答案不够准确。本实施例所述的答案抽取模型基于门控及多层次注意力机制，将选取的前k个段落标题作为额外信息，以门控机制控制信息的流动，留下对最终答案抽取有用的信息，过滤掉无用信息，并将答案的选择转换为序列标注的任务，代替通过计算起始位置概率得到答案区域的方式，可以有效提高答案抽取的准确度，降低答案抽取的出错率。
在一具体实施例中，将所述问题表示为Q＝{q1，q2，...，qm}，将所述候选段落表示为C＝{c1，c2，…，cn}，以及将所述前k个段落标题拼接为拼接段落标题titles，利用所述预训练语言模型获取所述问题的语义隐向量xg＝bert_enc(Q)、所述候选段落的语音隐向量xc＝bert_enc(C)，所述拼接段落标题的语义隐向量xtitle＝bert_enc(titles)，其中，xq的维度为[N，Lq，D]，xc的维度为[N，Lc，D]，xtitle的维度为[N，Lt，D]，N表示batch_size数，La表示所述问题的长度，Lc表示所述候选段落的长度，Lt表示titles的长度。在一具体应用场景中，采用预训练bert语言模型作为所述预训练语言模型，并使D＝768，表示特征向量维度为768维，bert_enc为预训练bert语言模型。
在另一具体实施例中，按照下列公式对输入至所述自注意力机制层中的向量进行计算：
Figure BDA0002774425960000111
式中，Q、K、V是输入向量(例如所述问题的语义隐向量、所述候选段落的语义隐向量和所述拼接段落标题的语义隐向量)乘以一个矩阵后得到的三个矩阵，首先计算Q与K的点乘，再除以尺度标度
Figure BDA0002774425960000112
在一具体应用场景中，dk＝64，表示Q、K、V的特征维度。然后利用softmax函数将所述自注意力机制层的输出结果归一化为概率分布，表示当前字符与其他字符的attention值，然后再乘以矩阵V得到权重求和的表示，即经过所述自注意力机制层计算后的向量表示(例如所述第一问题向量、第一候选段落向量和拼接段落标题向量)。
在一实施例中，所述将所述第一问题向量和所述拼接段落标题向量输入至预设的问题-段落注意力层中，并由所述问题-段落注意力层输出第二问题向量，包括：
将所述第一问题向量和所述拼接段落标题向量输入至预先构建的共享相似度矩阵中：
sij＝α(M：i，N：j)，
Figure BDA0002774425960000113
式中，a为实值映射函数，M、N分别为所述第一问题向量矩阵和所述拼接段落标题向量矩阵，M：i、N：j分别表示前i个第一问题向量和前j个拼接段落标题向量，m、n分别为M、N对应的向量；
在所述共享相似度矩阵中选取列方向的最大值，利用softmax函数对选取的列方向的最大值进行归一化，并对归一化后的结果进行注意力加权：
b＝softmax(maxcol(S))
Figure BDA0002774425960000114
式中，b为经softmax函数处理后的权重向量，bj为第j个权重向量值，
Figure BDA0002774425960000115
为所述第二问题向量，M：j表示前j个第一问题向量。
本实施例中，所述预设的问题-段落注意力层(query-to-context attention)主要包括由输入向量构建的共享相似度矩阵和归一化单元，以及注意力加权单元等。基于所述问题-段落注意力层，可以根据所述第一问题向量和所述拼接段落标题向量得到所述第二问题向量，也可以根据所述所述第二问题向量和第二候选段落向量得到所述第三候选段落向量。
在一实施例中，所述利用第一前馈神经网络层对所述第三候选段落向量进行计算，然后通过激活函数将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量，并将所述概率值向量作为所述候选段落的当前字符的答案概率，包括：
按照下列公式对所述第三候选段落向量进行计算：
FFN(x)＝max(0，xW1+b1)W2+b2
式中，W1、W2为参数矩阵，b1、b2为偏置系数，x为所述第三候选段落向量；
按照下列公式将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量：
Pi＝sigmoid(FFN(xi))
式中，xi为所述第三候选段落向量中的第i个字符。
本实施例中，在通过所述第一前馈神经网络层对所述第三候选段落向量进行计算后，采用sigmoid激活函数对计算结果进行映射，从而得到所述候选段落中当前字符的答案概率。
在一实施例中，所述通过门控单元对所述候选段落的当前字符的答案概率进行融合，并将融合结果依次输入至第二前馈神经网络层和CRF层，然后对所述CRF层的计算结果进行解码，从而抽取所述问题的答案，包括：
按照下列公式对所述段落的当前字符的答案概率进行融合：
Figure BDA0002774425960000121
式中，Pi为当前字符的答案概率，
Figure BDA0002774425960000122
为所述第三候选段落向量，H为所述第二问题向量；
按照下列公式对输入至第二前馈神经网络层中融合结果进行计算：
Figure BDA0002774425960000123
式中，W3，W4为待训练的参数矩阵，b3，b4为偏置；
利用CRF层对所述第二前馈神经网络层的输出结果进行序列标注，并通过维特比算法对标注的序列进行解码，从而抽取所述问题的答案。
本实施例中，如果当前字符的答案概率较高，即Pi较大，则融合后的Hnew近似于
Figure BDA0002774425960000124
(即所述第三候选段落向量)，否则，Hnew近似于H(即所述第二问题向量)。所述门控单元可对信息的流通进行控制，若当前字符的答案概率较高，则表示所述问题对所述候选段落中的答案选择有较大的意义，因此可以保留
Figure BDA0002774425960000125
若当前字符的答案概率较低，则表示所述问题对所述候选段落中的答案选择影响不大，因此可以只保留H的信息。如此，可以达到对可用信息的最大保留程度，并且遗弃对最终结果无影响或者影响很小的信息，从而有效提高答案抽取的准确率。
图4为本发明实施例提供的一种答案抽取装置400的示意性框图，该装置400包括：
划分单元401，用于获取用户待查询的问题的答案所在的设计规范文本，将所述设计规范文本划分为多个段落，并从各所述段落中选择关键词作为对应的段落标题；
选取单元402，用于获取用户待查询的问题，计算所述问题与所有所述段落对应的段落标题之间的相似度，并按照计算结果对所述问题与各所述段落对应的段落标题之间的相似度进行排序，然后选取前k个相似度最高的段落标题；
输出单元403，用于将所述问题输入至预训练语言模型，并由所述预训练语言模型输出所述问题的语义隐向量，以及将选取的k个段落标题分别输入至所述预训练语言模型中，并由所述预训练语言模型输出所述k个段落标题对应的语义隐向量；
计算单元404，用于分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，并将相似度最高的段落标题作为候选段落标题，以及将所述候选段落标题对应的段落作为候选段落；
判断单元405，用于判断所述候选段落中是否包含预先标注的候选答案；
返回单元406，用于若包含预先标注的候选答案，则将所述候选答案作为所述问题的答案返回；
抽取单元407，用于若不包含预先标注的候选答案，则将所述问题、所述k个段落标题和所述候选段落输入至答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种答案抽取方法，其特征在于，包括：
获取用户待查询的问题的答案所在的设计规范文本，将所述设计规范文本划分为多个段落，并从各所述段落中选择关键词作为对应的段落标题；
获取用户待查询的问题，计算所述问题与所有所述段落对应的段落标题之间的相似度，并按照计算结果对所述问题与各所述段落对应的段落标题之间的相似度进行排序，然后选取前k个相似度最高的段落标题；
将所述问题输入至预训练语言模型，并由所述预训练语言模型输出所述问题的语义隐向量，以及将选取的k个段落标题分别输入至所述预训练语言模型中，并由所述预训练语言模型输出所述k个段落标题对应的语义隐向量；
分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，并将相似度最高的段落标题作为候选段落标题，以及将所述候选段落标题对应的段落作为候选段落；
判断所述候选段落中是否包含预先标注的候选答案；
若包含预先标注的候选答案，则将所述候选答案作为所述问题的答案返回；
若不包含预先标注的候选答案，则将所述问题、所述k个段落标题和所述候选段落输入至答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。
2.根据权利要求1所述的答案抽取方法，其特征在于，所述从各段落中选择关键词作为对应的段落标题，包括：
利用文本排序算法对所述各段落抽取权重最大的前m个关键词，并将所述前m个关键词作为对应段落的段落标题。
3.根据权利要求1所述的答案抽取方法，其特征在于，所述计算所述问题与所有所述段落对应的段落标题之间的相似度，包括：
利用bm25相似度算法模型对所述问题与所有所述段落对应的段落标题之间的相似度进行计算；
所述分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，包括：
利用bm25相似度算法模型分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度。
4.根据权利要求1所述的答案抽取方法，其特征在于，所述利用答案抽取模型对所述问题和所述k个段落标题进行答案抽取，然后将抽取的结果作为所述问题的答案返回，包括：
将所述问题的语义隐向量输入至自注意力机制层中，并得到语义信息增强后的第一问题向量；
将所述候选段落输入至所述预训练语言模型中，得到所述候选段落的语义隐向量，然后将所述候选段落的语义隐向量输入至所述自注意力机制层中，得到语义信息增强后的第一候选段落向量；
将所述k个段落标题进行拼接得到拼接段落标题，将所述拼接段落标题输入至所述预训练语言模型中，得到所述拼接段落标题的语义隐向量，然后将所述拼接段落标题的语义隐向量输入至所述自注意力机制层中，得到语义信息增强后的拼接段落标题向量；
将所述第一问题向量和所述拼接段落标题向量输入至预设的问题-段落注意力层中，并由所述问题-段落注意力层输出第二问题向量；
将所述第一问题向量和所述第一候选段落向量输入至所述问题-段落注意力层中，并由所述问题-段落注意力层输出第二候选段落向量；
利用所述问题-段落注意力层对所述第二问题向量和第二候选段落向量进行计算，得到第三候选段落向量；
利用第一前馈神经网络层对所述第三候选段落向量进行计算，然后通过激活函数将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量，并将所述概率值向量作为所述候选段落的当前字符的答案概率；
通过门控单元对所述候选段落的当前字符的答案概率进行融合，并将融合结果依次输入至第二前馈神经网络层和CRF层，然后对所述CRF层的计算结果进行解码，从而抽取所述问题的答案。
5.根据权利要求4所述的答案抽取方法，其特征在于，所述将所述第一问题向量和所述拼接段落标题向量输入至预设的问题-段落注意力层中，并由所述问题-段落注意力层输出第二问题向量，包括：
将所述第一问题向量和所述拼接段落标题向量输入至预先构建的共享相似度矩阵中：
Sij＝α(M：i，N：j)，
Figure FDA0002774425950000031
式中，α为实值映射函数，M、N分别为所述第一问题向量矩阵和所述拼接段落标题向量矩阵，M:i、N:j分别表示前i个第一问题向量和前j个拼接段落标题向量，m、n分别为M、N对应的向量；
在所述共享相似度矩阵中选取列方向的最大值，利用softmax函数对选取的列方向的最大值进行归一化，并对归一化后的结果进行注意力加权：
b＝softmax(maxcol(S))
Figure FDA0002774425950000032
式中，b为经softmax函数处理后的权重向量，bj为第j个权重向量值，
Figure FDA0002774425950000033
为所述第二问题向量，M：j表示前j个第一问题向量。
6.根据权利要求4所述的答案抽取方法，其特征在于，所述利用第一前馈神经网络层对所述第三候选段落向量进行计算，然后通过激活函数将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量，并将所述概率值向量作为所述候选段落的当前字符的答案概率，包括：
按照下列公式对所述第三候选段落向量进行计算：
FFN(x)＝max(0，xW1+b1)W2+b2
式中，W1、W2为参数矩阵，b1、b2为偏置系数，x为所述第三候选段落向量；
按照下列公式将所述第一前馈神经网络层的计算结果映射为0-1的概率值向量：
Pi＝sigmoid(FFN(xi))
式中，xi为所述第三候选段落向量中的第i个字符。
7.根据权利要求4所述的答案抽取方法，其特征在于，所述通过门控单元对所述候选段落的当前字符的答案概率进行融合，并将融合结果依次输入至第二前馈神经网络层和CRF层，然后对所述CRF层的计算结果进行解码，从而抽取所述问题的答案，包括：
按照下列公式对所述段落的当前字符的答案概率进行融合：
Figure FDA0002774425950000034
式中，Pi为当前字符的答案概率，
Figure FDA0002774425950000035
为所述第三候选段落向量，H为所述第二问题向量；
按照下列公式对输入至第二前馈神经网络层中融合结果进行计算：
Figure FDA0002774425950000041
式中，W3，W4为待训练的参数矩阵，b3，b4为偏置；
利用CRF层对所述第二前馈神经网络层的输出结果进行序列标注，并通过维特比算法对标注的序列进行解码，从而抽取所述问题的答案。
8.一种答案抽取装置，其特征在于，包括：
划分单元，用于获取用户待查询的问题的答案所在的设计规范文本，将所述设计规范文本划分为多个段落，并从各所述段落中选择关键词作为对应的段落标题；
选取单元，用于获取用户待查询的问题，计算所述问题与所有所述段落对应的段落标题之间的相似度，并按照计算结果对所述问题与各所述段落对应的段落标题之间的相似度进行排序，然后选取前k个相似度最高的段落标题；
输出单元，用于将所述问题输入至预训练语言模型，并由所述预训练语言模型输出所述问题的语义隐向量，以及将选取的k个段落标题分别输入至所述预训练语言模型中，并由所述预训练语言模型输出所述k个段落标题对应的语义隐向量；
计算单元，用于分别对所述问题的语义隐向量和所述k个段落标题对应的语义隐向量计算相似度，并将相似度最高的段落标题作为候选段落标题，以及将所述候选段落标题对应的段落作为候选段落；
判断单元，用于判断所述候选段落中是否包含预先标注的候选答案；
返回单元，用于若包含预先标注的候选答案，则将所述候选答案作为所述问题的答案返回；
抽取单元，用于若不包含预先标注的候选答案，则将所述问题、所述k个段落标题和所述候选段落输入至答案抽取模型中进行答案抽取，然后将抽取的结果作为所述问题的答案返回。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的答案抽取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的答案抽取方法。
CN202011260272.7A 2020-11-12 2020-11-12 一种答案抽取方法、装置、计算机设备及存储介质 Active CN112347229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011260272.7A CN112347229B (zh) 2020-11-12 2020-11-12 一种答案抽取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011260272.7A CN112347229B (zh) 2020-11-12 2020-11-12 一种答案抽取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112347229A true CN112347229A (zh) 2021-02-09
CN112347229B CN112347229B (zh) 2021-07-20

Family

ID=74363632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011260272.7A Active CN112347229B (zh) 2020-11-12 2020-11-12 一种答案抽取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112347229B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800205A (zh) * 2021-02-26 2021-05-14 中国人民解放军国防科技大学 基于语义变化流形分析获取问答相关段落的方法、装置
CN113255327A (zh) * 2021-06-10 2021-08-13 腾讯科技（深圳）有限公司 文本处理方法、装置、电子设备及计算机可读存储介质
CN113361261A (zh) * 2021-05-19 2021-09-07 重庆邮电大学 一种基于enhance matrix的法律案件候选段落的选取方法及装置
CN113420134A (zh) * 2021-06-22 2021-09-21 康键信息技术（深圳）有限公司 机器阅读理解方法、装置、计算机设备和存储介质
CN113836941A (zh) * 2021-09-27 2021-12-24 上海合合信息科技股份有限公司 一种合同导航方法及装置
CN114528829A (zh) * 2021-12-25 2022-05-24 北京云集智造科技有限公司 一种外部规章制度在企业内部执行落实的方法
CN115080717A (zh) * 2022-06-02 2022-09-20 特赞（上海）信息科技有限公司 基于文本理解推理的问答方法和系统
CN116340467A (zh) * 2023-05-11 2023-06-27 腾讯科技（深圳）有限公司 文本处理方法、装置、电子设备及计算机可读存储介质
CN116932730A (zh) * 2023-09-14 2023-10-24 天津汇智星源信息技术有限公司 基于多叉树和大规模语言模型的文档问答方法及相关设备
CN116975206A (zh) * 2023-09-25 2023-10-31 华云天下(南京)科技有限公司 一种基于aigc大模型的垂直领域训练方法、装置及电子设备
CN117236314A (zh) * 2023-11-06 2023-12-15 杭州同花顺数据开发有限公司 支持超长答案的信息抽取方法、系统、装置和存储介质
CN117251559A (zh) * 2023-09-20 2023-12-19 广东筑小宝人工智能科技有限公司 基于自然语言大模型的工程标准规范获取方法及系统
CN117390173A (zh) * 2023-11-02 2024-01-12 江苏优丞信息科技有限公司 一种语义相似度匹配的海量简历筛选方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和系统
US20180300314A1 (en) * 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension
CN108959556A (zh) * 2018-06-29 2018-12-07 北京百度网讯科技有限公司 基于神经网络的实体问答方法、装置和终端
CN109033068A (zh) * 2018-06-14 2018-12-18 北京慧闻科技发展有限公司 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN109726274A (zh) * 2018-12-29 2019-05-07 北京百度网讯科技有限公司 问题生成方法、装置及存储介质
CN110059152A (zh) * 2018-12-25 2019-07-26 阿里巴巴集团控股有限公司 一种文本信息预测模型的训练方法、装置及设备
CN110196929A (zh) * 2019-05-20 2019-09-03 北京百度网讯科技有限公司 问答对的生成方法和装置
CN111104503A (zh) * 2019-12-24 2020-05-05 华中科技大学 一种建筑工程质量验收规范问答系统及其构建方法
CN111143507A (zh) * 2019-12-05 2020-05-12 重庆兆光科技股份有限公司 一种基于复合式问题的阅读理解方法
US20200175015A1 (en) * 2018-11-29 2020-06-04 Koninklijke Philips N.V. Crf-based span prediction for fine machine learning comprehension
CN111291188A (zh) * 2020-02-20 2020-06-16 阿基米德（上海）传媒有限公司 一种智能信息抽取方法及系统
CN111444726A (zh) * 2020-03-27 2020-07-24 河海大学常州校区 基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置
CN111581270A (zh) * 2020-04-26 2020-08-25 上海明略人工智能(集团)有限公司 一种数据抽取方法和装置
CN111858878A (zh) * 2020-06-18 2020-10-30 达而观信息科技（上海）有限公司 从自然语言文本中自动提取答案的方法、系统及存储介质
CN111914062A (zh) * 2020-07-13 2020-11-10 上海乐言信息科技有限公司 一种基于关键词的长文本问答对生成系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和系统
US20180300314A1 (en) * 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension
CN109033068A (zh) * 2018-06-14 2018-12-18 北京慧闻科技发展有限公司 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN108959556A (zh) * 2018-06-29 2018-12-07 北京百度网讯科技有限公司 基于神经网络的实体问答方法、装置和终端
US20200175015A1 (en) * 2018-11-29 2020-06-04 Koninklijke Philips N.V. Crf-based span prediction for fine machine learning comprehension
CN110059152A (zh) * 2018-12-25 2019-07-26 阿里巴巴集团控股有限公司 一种文本信息预测模型的训练方法、装置及设备
CN109726274A (zh) * 2018-12-29 2019-05-07 北京百度网讯科技有限公司 问题生成方法、装置及存储介质
CN110196929A (zh) * 2019-05-20 2019-09-03 北京百度网讯科技有限公司 问答对的生成方法和装置
CN111143507A (zh) * 2019-12-05 2020-05-12 重庆兆光科技股份有限公司 一种基于复合式问题的阅读理解方法
CN111104503A (zh) * 2019-12-24 2020-05-05 华中科技大学 一种建筑工程质量验收规范问答系统及其构建方法
CN111291188A (zh) * 2020-02-20 2020-06-16 阿基米德（上海）传媒有限公司 一种智能信息抽取方法及系统
CN111444726A (zh) * 2020-03-27 2020-07-24 河海大学常州校区 基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置
CN111581270A (zh) * 2020-04-26 2020-08-25 上海明略人工智能(集团)有限公司 一种数据抽取方法和装置
CN111858878A (zh) * 2020-06-18 2020-10-30 达而观信息科技（上海）有限公司 从自然语言文本中自动提取答案的方法、系统及存储介质
CN111914062A (zh) * 2020-07-13 2020-11-10 上海乐言信息科技有限公司 一种基于关键词的长文本问答对生成系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周蕾: "基于互联网的自动问答系统关键技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800205B (zh) * 2021-02-26 2022-05-31 中国人民解放军国防科技大学 基于语义变化流形分析获取问答相关段落的方法、装置
CN112800205A (zh) * 2021-02-26 2021-05-14 中国人民解放军国防科技大学 基于语义变化流形分析获取问答相关段落的方法、装置
CN113361261A (zh) * 2021-05-19 2021-09-07 重庆邮电大学 一种基于enhance matrix的法律案件候选段落的选取方法及装置
CN113255327A (zh) * 2021-06-10 2021-08-13 腾讯科技（深圳）有限公司 文本处理方法、装置、电子设备及计算机可读存储介质
CN113420134A (zh) * 2021-06-22 2021-09-21 康键信息技术（深圳）有限公司 机器阅读理解方法、装置、计算机设备和存储介质
CN113836941A (zh) * 2021-09-27 2021-12-24 上海合合信息科技股份有限公司 一种合同导航方法及装置
CN113836941B (zh) * 2021-09-27 2023-11-14 上海合合信息科技股份有限公司 一种合同导航方法及装置
CN114528829A (zh) * 2021-12-25 2022-05-24 北京云集智造科技有限公司 一种外部规章制度在企业内部执行落实的方法
CN115080717A (zh) * 2022-06-02 2022-09-20 特赞（上海）信息科技有限公司 基于文本理解推理的问答方法和系统
CN116340467A (zh) * 2023-05-11 2023-06-27 腾讯科技（深圳）有限公司 文本处理方法、装置、电子设备及计算机可读存储介质
CN116340467B (zh) * 2023-05-11 2023-11-17 腾讯科技（深圳）有限公司 文本处理方法、装置、电子设备、及计算机可读存储介质
CN116932730A (zh) * 2023-09-14 2023-10-24 天津汇智星源信息技术有限公司 基于多叉树和大规模语言模型的文档问答方法及相关设备
CN116932730B (zh) * 2023-09-14 2023-12-01 天津汇智星源信息技术有限公司 基于多叉树和大规模语言模型的文档问答方法及相关设备
CN117251559A (zh) * 2023-09-20 2023-12-19 广东筑小宝人工智能科技有限公司 基于自然语言大模型的工程标准规范获取方法及系统
CN117251559B (zh) * 2023-09-20 2024-04-26 广东筑小宝人工智能科技有限公司 基于自然语言大模型的工程标准规范获取方法及系统
CN116975206A (zh) * 2023-09-25 2023-10-31 华云天下(南京)科技有限公司 一种基于aigc大模型的垂直领域训练方法、装置及电子设备
CN116975206B (zh) * 2023-09-25 2023-12-08 华云天下(南京)科技有限公司 一种基于aigc大模型的垂直领域训练方法、装置及电子设备
CN117390173A (zh) * 2023-11-02 2024-01-12 江苏优丞信息科技有限公司 一种语义相似度匹配的海量简历筛选方法
CN117390173B (zh) * 2023-11-02 2024-03-29 江苏优丞信息科技有限公司 一种语义相似度匹配的海量简历筛选方法
CN117236314A (zh) * 2023-11-06 2023-12-15 杭州同花顺数据开发有限公司 支持超长答案的信息抽取方法、系统、装置和存储介质
CN117236314B (zh) * 2023-11-06 2024-03-01 杭州同花顺数据开发有限公司 支持超长答案的信息抽取方法、系统、装置和存储介质

Also Published As

Publication number Publication date
CN112347229B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN112347229B (zh) 一种答案抽取方法、装置、计算机设备及存储介质
CN110502621B (zh) 问答方法、问答装置、计算机设备及存储介质
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN111444320B (zh) 文本检索方法、装置、计算机设备和存储介质
CN110737758A (zh) 用于生成模型的方法和装置
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
EP3707622A1 (en) Generation of text from structured data
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
CN109492213B (zh) 句子相似度计算方法和装置
CN111666758A (zh) 中文分词方法、训练设备以及计算机可读存储介质
CN110852110A (zh) 目标语句提取方法、问题生成方法以及信息处理设备
CN114595327A (zh) 数据增强方法和装置、电子设备、存储介质
CN111274829A (zh) 一种利用跨语言信息的序列标注方法
CN111859940A (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN111241410A (zh) 一种行业新闻推荐方法及终端
CN114021573B (zh) 一种自然语言处理方法、装置、设备及可读存储介质
El Desouki et al. A hybrid model for paraphrase detection combines pros of text similarity with deep learning
CN111814479A (zh) 一种企业简称生成及其模型的训练方法及装置
CN110020024B (zh) 一种科技文献中链接资源的分类方法、系统、设备
CN111708870A (zh) 基于深度神经网络的问答方法、装置及存储介质
CN114943220A (zh) 一种面向科研立项查重的句向量生成方法及查重方法
CN114139537A (zh) 词向量的生成方法及装置
CN114492443A (zh) 训练实体识别模型的方法及系统和实体识别方法及系统
CN110287396B (zh) 文本匹配方法及装置
Karpagam et al. Deep learning approaches for answer selection in question answering system for conversation agents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000

Patentee after: China Resources Digital Technology Co.,Ltd.

Address before: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000

Patentee before: Runlian software system (Shenzhen) Co.,Ltd.

CP01 Change in the name or title of a patent holder