CN110750630A - 一种生成式机器阅读理解方法、装置、设备及存储介质 - Google Patents

一种生成式机器阅读理解方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110750630A
CN110750630A CN201910914091.2A CN201910914091A CN110750630A CN 110750630 A CN110750630 A CN 110750630A CN 201910914091 A CN201910914091 A CN 201910914091A CN 110750630 A CN110750630 A CN 110750630A
Authority
CN
China
Prior art keywords
article
vector
sample
question
vector matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910914091.2A
Other languages
English (en)
Inventor
殷子墨
李健
张连毅
武卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Beijing Sinovoice Technology Co Ltd
Original Assignee
BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP filed Critical BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Priority to CN201910914091.2A priority Critical patent/CN110750630A/zh
Publication of CN110750630A publication Critical patent/CN110750630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Library & Information Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请提供了一种生成式机器阅读理解方法、装置、设备及存储介质，涉及自然语言理解技术领域。旨在提高生成答案与目标问题的契合度。所述方法包括：根据候选文章与所述目标问题的关联度，确定目标文章，将目标文章和目标问题的文章问题拼接向量矩阵输入编码器，得到中间结果向量矩阵，解码器根据中间结果向量矩阵和占位向量，得到第一个预测概率向量，再依次取n从1至N，结合中间结果向量矩阵和第n个预测概率向量,得到第n+1个概率预测向量，根据得到的第n+1个概率预测向量确定n+1个字，拼接第1至n+1个字，得到答案文本。

Description

一种生成式机器阅读理解方法、装置、设备及存储介质
技术领域
本申请涉及自然语言理解技术领域，特别是涉及一种生成式机器阅读理解方法、装置、设备及存储介质。
背景技术
目前自然语言理解技术近年来被广泛应用于智能客服领域。以银行为例，银行拥有大量用户，并经常提出咨询问题。行方为了节约人力，非常期待以智能客服的形式为用户提供24小时的问题解答服务。
对于用户提出的问题，有很大可能在银行方的规章制度、培训手册、产品说明等文档中存在答案。机器阅读理解技术为此服务，通过读取文本，自动回答用户提出的问题，节约人力成本。
当前的机器阅读理解技术，绝大多数是以一篇原文档做抽取，从文章中找到某个词或字作为答案的起点，再从文章中找到某个词作为答案的终点，截取一个片段作为答案，返回给用户。这种回答方式生成的答案会包括多余冗杂的信息，或是漏掉一部分信息，进而出现与问题契合度较低的现象，显得过于僵硬，不能带来良好的用户体验。
发明内容
本申请实施例提供一种生成式机器阅读理解方法、装置、设备及存储介质，旨在得到与问题准确契合的答案。
本申请实施例第一方面提供一种生成式机器阅读理解方法，所述方法包括：
获得目标问题和候选文章；
将所述候选文章和所述目标问题分别转换为文章向量矩阵和问题向量矩阵；
将所述文章向量矩阵和所述问题向量矩阵的文章问题拼接向量矩阵输入预先训练的生成式机器阅读理解模型的编码器，得到中间结果向量矩阵和相关度分值，所述相关度分值表征所述候选文章与所述目标问题的关联度；
在所述候选文章与所述目标问题的关联度大于预设阈值的情况下，将所述候选文章确定为用于解答所述目标问题的目标文章，并将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量；
根据所述第一个概率预测向量，确定所述目标问题的答案文本包括的第一个字；
依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，根据所述第n+1个概率预测向量，确定所述目标问题的答案文本包括的第n+1个字，直到所述解码器输出结尾符概率向量为止；
将所述目标问题的答案文本包括的第1至n+1个字拼接，得到所述目标问题的答案文本。
所述方法还包括：获得多个文章正样本；
针对每个文章正样本，确定问题样本，该问题样本是基于该文章正样本能够解答的问题；
将所述多个文章正样本和问题样本分别转换为文章正样本向量矩阵和问题样本向量矩阵；
以多个文章正样本向量矩阵和问题样本向量矩阵的文章问题正样本拼接向量矩阵，为第一训练样本，对第一预设模型进行训练；
将经过多次训练后的第一预设模型确定为所述编码器。
所述方法还包括：获得多个文章负样本，所述问题样本基于每个文章负样本均不能解答；
将所述多个文章负样本分别转换为文章负样本向量矩阵；
将经过多次训练后的第一预设模型确定为所述编码器，包括：
以多个文章负样本向量矩阵和所述问题样本向量矩阵的文章问题负样本拼接向量矩阵，为第二训练样本，对经过多次训练后的第一预设模型继续进行训练，得到所述编码器。
述方法还包括：
针对每个文章正样本，确定答案样本和相应的占位样本向量，该答案样本是解答基于该文章正样本所确定的问题样本的答案；
将所述答案样本包括的每一个词语样本转换成相应的词语样本向量，所述答案样本包括M个词语；
将所述占位样本向量和所述第一预设模型输出的中间结果样本向量矩阵输入第二预设模型，对第二预设模型进行训练；
依次取m从1至M，将所述占位样本向量替换为第m个词语样本向量后与所述中间结果样本向量矩阵均输入所述第二预设模型，继续对所述第二预设模型进行训练，得到所述解码器。
所述方法还包括：
根据所述目标文章，设置占位向量；
将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量，包括：
将所述占位向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第一个预测概率向量；
依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，包括：
依次取n从1至N，执行步骤：将所述占位样本向量替换为第n个预测概率向量后与所述中间结果向量矩阵均输入所述解码器，得到所述解码器输出的第n+1个预测概率向量。
本申请实施例第二方面提供一种生成式机器阅读理解装置，所述装置包括：
获得模块，用于获得目标问题和候选文章；
第一转换模块，用于将所述候选文章和所述目标问题分别转换为文章向量矩阵和问题向量矩阵；
编码模块，用于将所述文章向量矩阵和所述问题向量矩阵的文章问题拼接向量矩阵输入预先训练的生成式机器阅读理解模型的编码器，得到中间结果向量矩阵和相关度分值，所述相关度分值表征所述候选文章与所述目标问题的关联度；
第一解码模块，用于在所述候选文章与所述目标问题的关联度大于预设阈值的情况下，将所述候选文章确定为用于解答所述目标问题的目标文章，并将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量；
第一确定模块，用于根据所述第一个概率预测向量，确定所述目标问题的答案文本包括的第一个字；
第二解码模块，用于依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，根据所述第n+1个概率预测向量，确定所述目标问题的答案文本包括的第n+1个字，直到所述解码器输出结尾符概率向量为止；
第二确定模块，用于将所述目标问题的答案文本包括的第1至n+1个字拼接，得到所述目标问题的答案文本。
所述装置还包括：
第一文章样本获得模块，用于获得多个文章正样本；
问题样本确定模块，用于针对每个文章正样本，确定问题样本，该问题样本是基于该文章正样本能够解答的问题；
第二转换模块，用于将所述多个文章正样本和问题样本分别转换为文章正样本向量矩阵和问题样本向量矩阵；
编码器正样本训练模块，用于以多个文章正样本向量矩阵和问题样本向量矩阵的文章问题正样本拼接向量矩阵，为第一训练样本，对第一预设模型进行训练；
编码器获得模块，用于将经过多次训练后的第一预设模型确定为所述编码器。
所述装置还包括：
第二文章样本获得模块，用于获得多个文章负样本，所述问题样本基于每个文章负样本均不能解答；
第三转换模块，用于将所述多个文章负样本分别转换为文章负样本向量矩阵；
编码器获得模块包括：
编码器负样本训练子模块，用于以多个文章负样本向量矩阵和所述问题样本向量矩阵的文章问题负样本拼接向量矩阵，为第二训练样本，对经过多次训练后的第一预设模型继续进行训练，得到所述编码器。
所述装置还包括：
答案样本获得模块，用于针对每个文章正样本，确定答案样本和相应的占位样本向量，该答案样本是解答基于该文章正样本所确定的问题样本的答案；
第四转换模块，用于将所述答案样本包括的每一个词语样本转换成相应的词语样本向量，所述答案样本包括M个词语；
第一解码器训练模块，用于将所述占位样本向量和所述第一预设模型输出的中间结果样本向量矩阵输入第二预设模型，对第二预设模型进行训练；
第二解码器训练模块，用于依次取m从1至M，将所述占位样本向量替换为第m个词语样本向量后与所述中间结果样本向量矩阵均输入所述第二预设模型，继续对所述第二预设模型进行训练，得到所述解码器。
所述装置还包括：
占位向量设置模块，用于根据所述目标文章，设置占位向量；
第一解码模块包括：
占位向量输入子模块，用于将所述占位向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第一个预测概率向量；
第二解码模块包括：
占位向量替换子模块，用于依次取n从1至N，执行步骤：将所述占位样本向量替换为第n个预测概率向量后与所述中间结果向量矩阵均输入所述解码器，得到所述解码器输出的第n+1个预测概率向量。
本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。
采用本申请提供的生成式机器阅读理解方法，首先根据目标问题与候选文章的关联度，确定能够回答问题的目标文章，使生成式机器阅读理解具有挑选优选文章的功能，回答用户的问题的选择范围更广。然后通过预先训练得到的编码器得到目标文章和目标问题的中间结果向量，结合占位向量，预测答案第一个字，再跟据答案第一个字和中间结果向量，预测答案第二个字，直至预测结束，利用本申请提供的生成式机器阅读理解方法获得的答案是逐个生成的，避免了现有技术截取片段作为答案导致的答案冗余和漏掉信息的现象，同时答案每一个字都是由目标文章和目标问题编码得到的，能代表关联性的中间结果向量，结合答案前一个字生成的，答案组成字之间逻辑严密，与用户的问题契合度更高。
综上所述本申请使用生成式的机器阅读理解，生成更加人性化的回复，增强用户体验，免除现有的机器阅读理解得到的结果需要的人工知识加工环节。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提出的编码器的训练流程示意图；
图2是本申请实施例提出的编码器的反向训练流程示意图；
图3是本申请实施例提出的解码器训练流程示意图；
图4是本申请实施例提出的生成式机器阅读理解方法的流程图；
图5是本申请实施例提出的预测概率向量流程图；
图6是本申请实施例提出的生成式机器阅读理解装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
机器阅读理解是一种针对输入问题，可以基于与问题相关的文章得到可以回答该问题的答案的技术。机器阅读理解技术通常被广泛用于语音助手、智能客服等领域。
与阅读理解相似的是，机器阅读理解也需要在阅读原文的基础上，综合原文和问题，进行理解和推理，进而回答问题。相关技术中，机器阅读理解的推理通常是在文章中找到某个位置作为答案的起点，从文章中找到某个位置做为答案的终点，抽取原文中起点到终点的片段作为答案。这种机器阅读理解的方法只是对答案的起点和终点进行了预测，对于答案的其他组成部分并未分析，机械地将起点到终点之间的片段当做答案的其他部分，显然地，起点到终点之间的片段并未得到验证，其包含的信息会有与答案无关的信息，也会漏掉答案可能出现在文章其他部分的信息，答案以偏概全，与问题的契合度较低。
例如，在实际应用中，抽取原文中片段作为答案可能出现的情景：文章内容为“2013年，姚明当选为第十二届全国政协委员。2014年6月，参加湖南卫视《爸爸去哪儿》客串嘉宾。2015年2月10日，姚明正式成为北京申办冬奥会形象大使之一。”(摘自百度百科)，对于用户问题“姚明有没有参加过《爸爸去哪儿》”，现阶段的常见机器阅读理解技术在理想情况下也只能回复“2013年，姚明当选为第十二届全国政协委员。2014年6月，参加湖南卫视《爸爸去哪儿》客串嘉宾”,或“2014年6月，参加湖南卫视《爸爸去哪儿》客串嘉宾”。但是这样的答案并未直接回答用户的问题，并且第一句话“2013年，姚明当选为第十二届全国政协委员”明显属于冗余信息。
有鉴于此，本申请实施例针对答案出现的每一个字，都基于问题和文章进行预测和推断。具体地，在执行生成答案第n个字时，会依据之前答案中第1至n-1个字，并结合文章与问题的相关性，得到预测结果。最终得到的答案中的每一个字都基于文章和问题，并在推理预测的基础上对原文进行了重新组合。沿用上述例子，本申请实施例得到的答案类似于“姚明参加过《爸爸去哪儿》”或“姚明14年6月参加过《爸爸去哪儿》”，更加契合用户问题。
为了更智能地实施发明人提出的上述方法，发明人建立了第一预设模型和第二预设模型，第一预设模型和第二预设模型可以包括LSTM神经网络、seq2seq模型、卷积神经网络等，本实施例对此并不作限制；然后针对每个预设模型采集合适的训练样本，并对预设模型进行训练，获得编码器和解码器。然后利用编码器和解码器共同执行预测组成答案每个字的方法的一个或多个步骤。
参考图1，图1是本申请实施例提出的编码器的训练流程示意图。如图1所示，该训练流程包括以下步骤：
步骤S11：获得多个文章正样本；
步骤S12：针对每个文章正样本，确定问题样本，该问题样本是基于该文章正样本能够解答的问题；
本实施例中，需要收集大量文章数据，针对每篇文章提出一些可以依赖文章解答的问题，并写出对应的令人满意的答案。
其中，大量文章数据正是需要采集的文章正样本，比如在银行智能客服领域，大量文章数据可以是该银行有关的业务文章，或用户指南等。针对每篇文章提出的一些可以依赖文章解答的问题组成了问题样本，问题样本一定是基于当前文章正样本可以回答的问题。
步骤S13：将所述多个文章正样本和问题样本分别转换为文章正样本向量矩阵和问题样本向量矩阵；
对于文章正样本和问题样本，可以用任意现有方法将其转换为矩阵或向量的形式。以一篇3000字的银行用户指南为例，文章、问题和答案为一个数字序列，每个数字为1-R(R为词表的数字序列长度)中的一个正整数，文章、问题和答案序列的长度不固定。每一个数字用一个长度为D的一维的向量表示。
建立词表，假设词表的大小是R*D。R表示词表的长度，R大于或等于3000，D表示词表的维度。
银行用户指南的3000字都包含在R*D的词表内，基于银行用户指南提出的问题用到的字也包含在R*D的词表内。当D＝3时，基于文章提出的问题可以利用建立的词表转换为相应的矩阵。假设问题为“用户登录第一步？”其中“用”“户”“登”“录”“第”“一”“步”分别对应词表的第1、10、11、28、81、304、500位的字。问题样本向量矩阵可以表示为一个7*3的矩阵：
1----用----[0.1,0.2,0.3]
10---户----[0.2,0.15,0.32]
11---登----[-0.2,0.5,0.2]
28---录----[0.1,-0.15,0.21]
81---第----[0.3,-0.05,0.33]
304--一---[0.22,0.35,0.42]
500--步---[0.14,0.21,0.09]
利用相同的转换方法，将文章表示为3000*3的文章正样本向量矩阵，也可将3000*3的文章正样本向量矩阵作为本实施例的词表。
步骤S14：以多个文章正样本向量矩阵和问题样本向量矩阵的文章问题正样本拼接向量矩阵，为第一训练样本，对第一预设模型进行训练；
步骤S15：将经过多次训练后的第一预设模型确定为所述编码器。
可以用任意现有方法对文章正样本向量矩阵和问题样本向量矩阵进行拼接，比如训练好的拼接算法模型，又比如MATLAB等算法模型等。又比如，可以通过注意力机制，对文章正样本向量矩阵和问题样本向量矩阵进行加权组合等。拼接之前，也可以对文章正样本向量矩阵进行预处理，比如标注词性等。
具体的拼接方式可以是加法拼接、拼接合并、乘法拼接、减法拼接、混合合并等，本实施例不限制文章正样本向量矩阵和问题样本向量矩阵的拼接方式。
得到第一训练样本后，可以建立第一损失函数Pscore loss＝abs(y1–y2)，y1代表文章正样本向量矩阵和问题样本向量矩阵相关度的真实分值，当然地，文章正样本向量矩阵和问题样本向量矩阵的相关度为1。y2代表第一预设模型预测的关于文章正样本向量矩阵和问题样本向量矩阵相关度的预测分值。Pscoreloss代表相关度真实分值y1和相关度预测分值y2之差的绝对值。
第一预设模型输出中间结果向量和相关度预测分值y2后，得到损失值，根据损失值对第一预设模型进行更新，例如调节第一预设模型的参数等。再以更新后的第一预设模型继续输入文章问题正样本拼接向量矩阵，进行训练。直到第一预设模型输出的相关度分值y2等于真实相关度分值y1。
此外，为了使编码器可以更准确确定能解答用户问题的文章，上述实施方式还可以包括以下步骤：
参考图2，图2是本申请实施例提出的编码器的反向训练流程示意图。
步骤S21：获得多个文章负样本，所述问题样本基于每个文章负样本均不能解答；
步骤S22：将所述多个文章负样本分别转换为文章负样本向量矩阵；
步骤S23：将经过多次训练后的第一预设模型确定为所述编码器，包括：
以多个文章负样本向量矩阵和所述问题样本向量矩阵的文章问题负样本拼接向量矩阵，为第二训练样本，对经过多次训练后的第一预设模型继续进行训练，得到所述编码器。
文章负样本是与问题样本无关的文章数据，基于文章负样本不能找到与答案有关的任何信息。
根据相同的词表R*D，将文章负样本转换为文章负样本向量矩阵，拼接已有的问题样本向量矩阵，得到文章问题负样本拼接向量矩阵。以文章问题负样本拼接向量矩阵为第二训练样本，对经过第一训练样本训练的第一预设模型进行反向训练。
反向训练过程中，第一损失函数Pscore loss＝abs(y1–y2)中的相关度真实分值y1为0。基于方向训练过程中第一损失函数的损失值，对第一预设模型再次更新和调整。正向训练和反向训练相结合的训练方式方式，兼顾了完全相关和完全不相关的情况，实现了数据平衡，使训练完成第一预设模型得到的编码器输出的相关度分值更加准确。
参考图3，图3是本申请实施例提出的解码器训练流程示意图，该训练流程包括以下步骤：
步骤S31：针对每个文章正样本，确定答案样本和相应的占位样本向量，该答案样本是解答基于该文章正样本所确定的问题样本的答案；
步骤S32：将所述答案样本包括的每一个词语样本转换成相应的词语样本向量，所述答案样本包括M个词语；
以文章问题正样本拼接向量矩阵输入，经过训练后能够准确预测相关度分值的第一预设模型，得到第一预设模型输出的中间结果样本向量矩阵。
第一预设模型输出的中间结果样本向量矩阵携带有文章正样本向量矩阵和问题样本向量矩阵的相关信息。相关信息可以是问题样本可能在文章正样本中对应的字，或者是问题正样本中字的意义与文章正样本中字的意义的相似程度等。
占位向量是一种与文章正样本向量矩阵长度相同的一维概率向量，对于3000字的银行用户指南，文章正样本向量矩阵是1-3000的数字序列，而占位向量长度为3000，每一位置的值都为0。
答案样本是预先写出的可以回答基于文章正样本提出的问题样本的答案。根据R*D词表，将答案样本转换为词语样本向量。词语样本向量的形式与占位向量相同，都是长度为3000的一维向量。答案样本中，第m字对应在文章正样本向量矩阵的数字序列的位置标记为1，其他位置标记为0。
例如，针对问题样本“用”“户”“登”“录”“第”“一”“步”，根据银行用户指南得到的答案是“输”“入”“用”“户”“编”“号”，“输”“入”“用”“户”“编”“号”分别对应银行用户指南的第3、17、1、10、66、216字，那么相对于文章正样本向量矩阵，“输”“入”“用”“户”“编”“号”分别对应其的第3、17、1、10、66、216序列数字。
得到词语样本向量可以是以下形式：
Figure BDA0002215566440000121
1---用---[1,0………….0]
10--户---[0,0….1…0…0]
……
答案样本的每一个字为一个长度为3000的一维向量，对应于文章正样本向量矩阵，答案样本第m字出现的位置，“输”出现的位置是3，那么对于“输”字的词语样本向量为[0,0,1,0,0……0]，其意义是答案出现在文章样本中的第三个数字序列的概率为1，其他的数字序列概率为0，也就是答案第一个字是在文章正样本向量矩阵第三位数字对应的字的概率是1，由此得到答案的第一个字对应“输”。
由此可知词语样本向量与占位向量相同，都是一维概率向量，不同的是占位向量的概率值为0，而词语样本向量的概率值为1。
步骤S33：将所述占位样本向量和所述第一预设模型输出的中间结果样本向量矩阵输入第二预设模型，对第二预设模型进行训练；
步骤S34:依次取m从1至M，将所述占位样本向量替换为第m个词语样本向量后与所述中间结果样本向量矩阵均输入所述第二预设模型，继续对所述第二预设模型进行训练，得到所述解码器。
将占位向量和第一预设模型输出的中间结果样本向量矩阵输入第二预设模型，得到第1个正样本概率预测向量，记为p(x1)。
依次取m从1至M，将第1个词语样本向量记为q(x1)，用第1个词语样本向量q(x1)代替占位向量，与中间结果样本向量矩阵输入第二预设模型，得到第2个正样本概率预测向量，记为p(x2)。
将第m个词语样本向量q(xm)代替第m-1个词语样本向量q(xm-1)，与中间结果样本向量矩阵输入第二预设模型，得到第m+1个正样本概率预测向量，记为P(xm+1)。
建立第二损失函数Pred loss＝-∑p(x)logq(x)，其中p(x)为第二预设模型输出的正样本概率预测向量，q(x)为答案样本转换得到的词语样本向量，表示了正确答案映射到文章正样本向量矩阵中的实际概率。
根据第二损失函数Pred loss＝-∑p(x)logq(x)的损失值对第二预设模型进行更新，再反复输入中间结果样本向量矩阵、占位向量和词语样本向量对更新后的第二预设模型进行训练，直到第二预设模型输出的p(x)等于答案样本向量q(x)。
本实施例对解码器的训练采用对答案的组成字逐个生成，逐个验证的方式，每一个字都是由文章和问题相关信息预测得到的，减少答案出现冗余内容的现象。
并且答案中每各字的预测都是基于整个文章范围，不同于现有技术中只用一次抽取结果回答问题，本实施例基于整个文章范围得到的答案更加全面，减小出现漏掉部分信息的现象。
除此之外，除第一次训练外，每一次的训练都是基于答案样本，将词语样本向量和中间结果样本向量矩阵，以正确的答案引出后续的答案预测，使生成大答案组成字之间有更强的逻辑性。
在实际训练过程中，还可以利用更丰富的文章正样本和文章负样本对第一预设模型进行训练，例如文章正样本还可以是票据填写规则、税务业务相关等，以使本实施例生成式机器阅读理解方法能够回答的问题更加全面。
在训练得到编码器和解码器后，也可以将编码器和解码器作为整体，试验调整编码器和解码器的参数，由试验结果选出效果最好的可以进行成式机器阅读理解模型。
具体地，可以设置第三损失函数，loss＝α*PredLoss+(1-α)*PscoreLoss，α是可调节参数，根据第三损失值选出最优的编码器和解码器的参数设置比例。
通过执行步骤11-14、步骤21-22的训练流程，得到编码器，执行步骤31-34的训练流程，得到解码器，组合编码器和解码器，可应用于生成式机器阅读理解方法中。
参考图4，图4是本申请实施例提出的生成式机器阅读理解方法的流程图。本实施例中编码器用于确定与问题有关的文章，并得到候选文章与目标问题的关联信息。
步骤41：获得目标问题和候选文章；
目标问题是用户输入的，希望解决的问题。问题的输入方式可以是文字输入或语音输入，本实施例对此不作限制。
候选文章是机器存储的，可以用于回答用户输入的目标问题的文章。
步骤S42：将所述候选文章和所述目标问题分别转换为文章向量矩阵和问题向量矩阵；
步骤S43：将所述文章向量矩阵和所述问题向量矩阵的文章问题拼接向量矩阵输入预先训练的生成式机器阅读理解模型的编码器，得到中间结果向量矩阵和相关度分值，所述相关度分值表征所述候选文章与所述目标问题的关联度；
步骤S44：在所述候选文章与所述目标问题的关联度大于预设阈值的情况下，将所述候选文章确定为用于解答所述目标问题的目标文章，并将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量；
用户输入问题后，以任意现有方法选出一篇可能与问题相关的文章，可以用历史回答问题的记录确认，或是以涉及业务范围最广的文章为优选等。
根据预先建立的词表，将文章和输入的问题转换为文章向量矩阵和问题向量矩阵；
相关度分值的取值范围是0-1，约接近1说明当前文章与目标问题的关联度越高。对此，可以根据实际情况，设置相关度分值的预设阈值。若编码器输出的相关度分值小于预设阈值，则代表当前文章不能很好找到目标问题需要的答案，则重新获得候选文章。
若编码器输出的相关度分值大于预设阈值，则表明当前文章能找到目标问题的答案，继而将当前文章确定为目标文章，并将编码器输出的中间结果向量作为解码器的输入。
同时，设置占位向量，占位向量的格式与预测概率向量的格式相同。因为本实施例中，不仅需要根据文章信息和问题的相关来确定答案，还需要根据答案之间的逻辑相关性来确定答案。所以需要将前一个字的概率预测向量和中间结果向量矩阵共同输入解码器，而对于答案的第一个字，并没有前一个字的概率预测向量，所以用占位向量作为输入，占位向量的值为0，并不对文章中的任一个字作偏向性引导。
参考图5，图5是本申请实施例提出的预测概率向量流程图。
步骤S51：根据所述目标文章，设置占位向量；
步骤S52：将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量，包括：
将所述占位向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第一个预测概率向量；
第一个概率预测向量为长度与文章向量矩阵相同的一维向量，每一个元素代表文章中可能作为答案第一个字的概率，所有元素的概率相加为1,选取概率最高的元素对应的字作为答案的第一个字。
步骤S45：根据所述第一个概率预测向量，确定所述目标问题的答案文本包括的第一个字；
步骤S46：依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，根据所述第n+1个概率预测向量，确定所述目标问题的答案文本包括的第n+1个字，直到所述解码器输出结尾符概率向量为止；
将得到的第一个预测概率向量代替占位向量与中间结果向量矩阵输入解码器，得到第二个预测概率向量；重复上述过程，直到解码器输出的第n+1个预测概率向量为结尾符向量。
结尾符向量为预先设置的可以表示解码结束的向量，例如结尾符向量可以是一个预测概率向量，该预测概率向量的某一个元素出现x的标志，预测概率向量出现任一元素为x时，不再将预测概率向量输入解码器，解码结束。
步骤S53：依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，包括：
依次取n从1至N，执行步骤：将所述占位样本向量替换为第n个预测概率向量后与所述中间结果向量矩阵均输入所述解码器，得到所述解码器输出的第n+1个预测概率向量。
步骤S47：将所述目标问题的答案文本包括的第1至n+1个字拼接，得到所述目标问题的答案文本。
根据第1个概率预测向量，对应概率最大的元素在文章向量矩阵中对应的数字，进而确定答案的第一个字。
根据第1个概率预测向量到第n个概率预测向量，得到答案的1至n个字，顺序拼接组合，得到答案。
基于同一发明构思，本申请实施例提供一种生成式机器阅读理解装置。参考图6，图6是本申请实施例提出的生成式机器阅读理解装置的示意图。
如图6所示，该装置包括：
获得模块61，用于获得目标问题和候选文章；
第一转换模块62，用于将所述候选文章和所述目标问题分别转换为文章向量矩阵和问题向量矩阵；
编码模块63，用于将所述文章向量矩阵和所述问题向量矩阵的文章问题拼接向量矩阵输入预先训练的生成式机器阅读理解模型的编码器，得到中间结果向量矩阵和相关度分值，所述相关度分值表征所述候选文章与所述目标问题的关联度；
第一解码模块64，用于在所述候选文章与所述目标问题的关联度大于预设阈值的情况下，将所述候选文章确定为用于解答所述目标问题的目标文章，并将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量；
第一确定模块65，用于根据所述第一个概率预测向量，确定所述目标问题的答案文本包括的第一个字；
第二解码模块66，用于依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，根据所述第n+1个概率预测向量，确定所述目标问题的答案文本包括的第n+1个字，直到所述解码器输出结尾符概率向量为止；
第二确定模块67，用于将所述目标问题的答案文本包括的第1至n+1个字拼接，得到所述目标问题的答案文本。
可选地，所述装置还包括：
第一文章样本获得模块，用于获得多个文章正样本；
问题样本确定模块，用于针对每个文章正样本，确定问题样本，该问题样本是基于该文章正样本能够解答的问题；
第二转换模块，用于将所述多个文章正样本和问题样本分别转换为文章正样本向量矩阵和问题样本向量矩阵；
编码器正样本训练模块，用于以多个文章正样本向量矩阵和问题样本向量矩阵的文章问题正样本拼接向量矩阵，为第一训练样本，对第一预设模型进行训练；
编码器获得模块，用于将经过多次训练后的第一预设模型确定为所述编码器。
可选地，所述装置还包括：
第二文章样本获得模块，用于获得多个文章负样本，所述问题样本基于每个文章负样本均不能解答；
第三转换模块，用于将所述多个文章负样本分别转换为文章负样本向量矩阵；
编码器获得模块包括：
编码器负样本训练子模块，用于以多个文章负样本向量矩阵和所述问题样本向量矩阵的文章问题负样本拼接向量矩阵，为第二训练样本，对经过多次训练后的第一预设模型继续进行训练，得到所述编码器。
可选地，所述装置还包括：
答案样本获得模块，用于针对每个文章正样本，确定答案样本和相应的占位样本向量，该答案样本是解答基于该文章正样本所确定的问题样本的答案；
可选地，第四转换模块，用于将所述答案样本包括的每一个词语样本转换成相应的词语样本向量，所述答案样本包括M个词语；
第一解码器训练模块，用于将所述占位样本向量和所述第一预设模型输出的中间结果样本向量矩阵输入第二预设模型，对第二预设模型进行训练；
第二解码器训练模块，用于依次取m从1至M，将所述占位样本向量替换为第m个词语样本向量后与所述中间结果样本向量矩阵均输入所述第二预设模型，继续对所述第二预设模型进行训练，得到所述解码器。
可选地，所述装置还包括：
占位向量设置模块，用于根据所述目标文章，设置占位向量；
第一解码模块包括：
占位向量输入子模块，用于将所述占位向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第一个预测概率向量；
第二解码模块包括：
占位向量替换子模块，用于依次取n从1至N，执行步骤：将所述占位样本向量替换为第n个预测概率向量后与所述中间结果向量矩阵均输入所述解码器，得到所述解码器输出的第n+1个预测概率向量。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的生成式机器阅读理解方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的生成式机器阅读理解方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进或说明的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种生成式机器阅读理解方法、装置、设备及存储介质，进行了详细介绍，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种生成式机器阅读理解方法，其特征在于，所述方法包括：
获得目标问题和候选文章；
将所述候选文章和所述目标问题分别转换为文章向量矩阵和问题向量矩阵；
将所述文章向量矩阵和所述问题向量矩阵的文章问题拼接向量矩阵输入预先训练的生成式机器阅读理解模型的编码器，得到中间结果向量矩阵和相关度分值，所述相关度分值表征所述候选文章与所述目标问题的关联度；
在所述候选文章与所述目标问题的关联度大于预设阈值的情况下，将所述候选文章确定为用于解答所述目标问题的目标文章，并将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量；
根据所述第一个概率预测向量，确定所述目标问题的答案文本包括的第一个字；
依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，根据所述第n+1个概率预测向量，确定所述目标问题的答案文本包括的第n+1个字，直到所述解码器输出结尾符概率向量为止；
将所述目标问题的答案文本包括的第1至n+1个字拼接，得到所述目标问题的答案文本。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获得多个文章正样本；
针对每个文章正样本，确定问题样本，该问题样本是基于该文章正样本能够解答的问题；
将所述多个文章正样本和问题样本分别转换为文章正样本向量矩阵和问题样本向量矩阵；
以多个文章正样本向量矩阵和问题样本向量矩阵的文章问题正样本拼接向量矩阵，为第一训练样本，对第一预设模型进行训练；
将经过多次训练后的第一预设模型确定为所述编码器。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获得多个文章负样本，所述问题样本基于每个文章负样本均不能解答；
将所述多个文章负样本分别转换为文章负样本向量矩阵；
将经过多次训练后的第一预设模型确定为所述编码器，包括：
以多个文章负样本向量矩阵和所述问题样本向量矩阵的文章问题负样本拼接向量矩阵，为第二训练样本，对经过多次训练后的第一预设模型继续进行训练，得到所述编码器。
4.根据权利要求2或3所述的方法，其特征在于，述方法还包括：
针对每个文章正样本，确定答案样本和相应的占位样本向量，该答案样本是解答基于该文章正样本所确定的问题样本的答案；
将所述答案样本包括的每一个词语样本转换成相应的词语样本向量，所述答案样本包括M个词语；
将所述占位样本向量和所述第一预设模型输出的中间结果样本向量矩阵输入第二预设模型，对第二预设模型进行训练；
依次取m从1至M，将所述占位样本向量替换为第m个词语样本向量后与所述中间结果样本向量矩阵均输入所述第二预设模型，继续对所述第二预设模型进行训练，得到所述解码器。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标文章，设置占位向量；
将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量，包括：
将所述占位向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第一个预测概率向量；
依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，包括：
依次取n从1至N，执行步骤：将所述占位样本向量替换为第n个预测概率向量后与所述中间结果向量矩阵均输入所述解码器，得到所述解码器输出的第n+1个预测概率向量。
6.一种生成式机器阅读理解装置，其特征在于，所述装置包括：
获得模块，用于获得目标问题和候选文章；
第一转换模块，用于将所述候选文章和所述目标问题分别转换为文章向量矩阵和问题向量矩阵；
编码模块，用于将所述文章向量矩阵和所述问题向量矩阵的文章问题拼接向量矩阵输入预先训练的生成式机器阅读理解模型的编码器，得到中间结果向量矩阵和相关度分值，所述相关度分值表征所述候选文章与所述目标问题的关联度；
第一解码模块，用于在所述候选文章与所述目标问题的关联度大于预设阈值的情况下，将所述候选文章确定为用于解答所述目标问题的目标文章，并将所述中间结果向量矩阵输入所述预先训练的生成式机器阅读理解模型的解码器，得到所述解码器输出的第一个预测概率向量；
第一确定模块，用于根据所述第一个概率预测向量，确定所述目标问题的答案文本包括的第一个字；
第二解码模块，用于依次取n从1至N，执行步骤：将所述第n个预测概率向量和所述中间结果向量矩阵输入所述解码器，得到所述解码器输出的第n+1个预测概率向量，根据所述第n+1个概率预测向量，确定所述目标问题的答案文本包括的第n+1个字，直到所述解码器输出结尾符概率向量为止；
第二确定模块，用于将所述目标问题的答案文本包括的第1至n+1个字拼接，得到所述目标问题的答案文本。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一文章样本获得模块，用于获得多个文章正样本；
问题样本确定模块，用于针对每个文章正样本，确定问题样本，该问题样本是基于该文章正样本能够解答的问题；
第二转换模块，用于将所述多个文章正样本和问题样本分别转换为文章正样本向量矩阵和问题样本向量矩阵；
编码器正样本训练模块，用于以多个文章正样本向量矩阵和问题样本向量矩阵的文章问题正样本拼接向量矩阵，为第一训练样本，对第一预设模型进行训练；
编码器获得模块，用于将经过多次训练后的第一预设模型确定为所述编码器。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二文章样本获得模块，用于获得多个文章负样本，所述问题样本基于每个文章负样本均不能解答；
第三转换模块，用于将所述多个文章负样本分别转换为文章负样本向量矩阵；
编码器获得模块包括：
编码器负样本训练子模块，用于以多个文章负样本向量矩阵和所述问题样本向量矩阵的文章问题负样本拼接向量矩阵，为第二训练样本，对经过多次训练后的第一预设模型继续进行训练，得到所述编码器。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一所述的方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-5任一所述的方法的步骤。
CN201910914091.2A 2019-09-25 2019-09-25 一种生成式机器阅读理解方法、装置、设备及存储介质 Pending CN110750630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910914091.2A CN110750630A (zh) 2019-09-25 2019-09-25 一种生成式机器阅读理解方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910914091.2A CN110750630A (zh) 2019-09-25 2019-09-25 一种生成式机器阅读理解方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110750630A true CN110750630A (zh) 2020-02-04

Family

ID=69277091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910914091.2A Pending CN110750630A (zh) 2019-09-25 2019-09-25 一种生成式机器阅读理解方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110750630A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800186A (zh) * 2021-04-08 2021-05-14 北京金山数字娱乐科技有限公司 阅读理解模型的训练方法及装置、阅读理解方法及装置
CN113220832A (zh) * 2021-04-30 2021-08-06 北京金山数字娱乐科技有限公司 一种文本处理方法及装置
CN113239165A (zh) * 2021-05-17 2021-08-10 山东新一代信息产业技术研究院有限公司 基于云化机器人的阅读理解方法、系统及存储介质
WO2021243828A1 (zh) * 2020-06-05 2021-12-09 平安国际智慧城市科技股份有限公司 基于机器学习的文本处理方法、装置、计算机设备及介质
CN114495130A (zh) * 2021-12-27 2022-05-13 北京百度网讯科技有限公司 基于跨模态信息的文档阅读理解模型训练方法及装置
CN114840648A (zh) * 2022-03-21 2022-08-02 阿里巴巴（中国）有限公司 答案生成方法、装置及计算机程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021705A (zh) * 2017-12-27 2018-05-11 中科鼎富（北京）科技发展有限公司 一种答案生成方法及装置
CN108415977A (zh) * 2018-02-09 2018-08-17 华南理工大学 一个基于深度神经网络及强化学习的生成式机器阅读理解方法
CN108959388A (zh) * 2018-05-31 2018-12-07 科大讯飞股份有限公司 信息生成方法及装置
CN108959396A (zh) * 2018-06-04 2018-12-07 众安信息技术服务有限公司 机器阅读模型训练方法及装置、问答方法及装置
CN109033068A (zh) * 2018-06-14 2018-12-18 北京慧闻科技发展有限公司 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN109816111A (zh) * 2019-01-29 2019-05-28 北京金山数字娱乐科技有限公司 阅读理解模型训练方法以及装置
US20190213480A1 (en) * 2018-01-11 2019-07-11 Electronics And Telecommunications Research Institute Personalized question-answering system and cloud server for private information protection and method of providing shared neural model thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021705A (zh) * 2017-12-27 2018-05-11 中科鼎富（北京）科技发展有限公司 一种答案生成方法及装置
US20190213480A1 (en) * 2018-01-11 2019-07-11 Electronics And Telecommunications Research Institute Personalized question-answering system and cloud server for private information protection and method of providing shared neural model thereof
CN108415977A (zh) * 2018-02-09 2018-08-17 华南理工大学 一个基于深度神经网络及强化学习的生成式机器阅读理解方法
CN108959388A (zh) * 2018-05-31 2018-12-07 科大讯飞股份有限公司 信息生成方法及装置
CN108959396A (zh) * 2018-06-04 2018-12-07 众安信息技术服务有限公司 机器阅读模型训练方法及装置、问答方法及装置
CN109033068A (zh) * 2018-06-14 2018-12-18 北京慧闻科技发展有限公司 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN109816111A (zh) * 2019-01-29 2019-05-28 北京金山数字娱乐科技有限公司 阅读理解模型训练方法以及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏立新 等: "面向多片段答案的抽取式阅读理解模型", 《计算机学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021243828A1 (zh) * 2020-06-05 2021-12-09 平安国际智慧城市科技股份有限公司 基于机器学习的文本处理方法、装置、计算机设备及介质
CN112800186A (zh) * 2021-04-08 2021-05-14 北京金山数字娱乐科技有限公司 阅读理解模型的训练方法及装置、阅读理解方法及装置
CN113220832A (zh) * 2021-04-30 2021-08-06 北京金山数字娱乐科技有限公司 一种文本处理方法及装置
CN113220832B (zh) * 2021-04-30 2023-09-05 北京金山数字娱乐科技有限公司 一种文本处理方法及装置
CN113239165A (zh) * 2021-05-17 2021-08-10 山东新一代信息产业技术研究院有限公司 基于云化机器人的阅读理解方法、系统及存储介质
CN113239165B (zh) * 2021-05-17 2023-04-18 山东新一代信息产业技术研究院有限公司 基于云化机器人的阅读理解方法、系统及存储介质
CN114495130A (zh) * 2021-12-27 2022-05-13 北京百度网讯科技有限公司 基于跨模态信息的文档阅读理解模型训练方法及装置
CN114840648A (zh) * 2022-03-21 2022-08-02 阿里巴巴（中国）有限公司 答案生成方法、装置及计算机程序产品

Similar Documents

Publication Publication Date Title
CN110750630A (zh) 一种生成式机器阅读理解方法、装置、设备及存储介质
CN110633730B (zh) 一种基于课程学习的深度学习机器阅读理解训练方法
US20210256354A1 (en) Artificial intelligence learning-based user knowledge tracing system and operating method thereof
US20200159755A1 (en) Summary generating apparatus, summary generating method and computer program
CN114020862B (zh) 一种面向煤矿安全规程的检索式智能问答系统及方法
CN110781663B (zh) 文本分析模型的训练方法及装置、文本分析方法及装置
CN110472688A (zh) 图像描述的方法及装置、图像描述模型的训练方法及装置
KR102133825B1 (ko) 단어자질을 강화한 음성 대화 방법 및 시스템
CN107844481B (zh) 识别文本检错方法及装置
CN109800879B (zh) 知识库构建方法和装置
CN111783423A (zh) 解题模型的训练方法及装置、解题方法及装置
CN111930914A (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
CN111694935A (zh) 多轮问答的情绪确定方法、装置、计算机设备及存储介质
CN114218379A (zh) 一种面向智能问答系统的无法回答问题的归因方法
CN114780723B (zh) 基于向导网络文本分类的画像生成方法、系统和介质
CN112989117A (zh) 视频分类的方法、装置、电子设备和计算机存储介质
CN115115984A (zh) 视频数据处理方法、装置、程序产品、计算机设备和介质
CN113326367B (zh) 基于端到端文本生成的任务型对话方法和系统
CN112800177B (zh) 基于复杂数据类型的faq知识库自动生成方法和装置
CN116909435A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN115952266A (zh) 问题生成方法、装置、计算机设备和存储介质
CN114372140A (zh) 分层会议摘要生成模型训练方法、生成方法及装置
CN114491004A (zh) 一种标题生成方法、装置、电子设备和存储介质
CN115617959A (zh) 问题解答方法及装置
CN114138947A (zh) 文本处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200204

RJ01 Rejection of invention patent application after publication