CN113420134B - 机器阅读理解方法、装置、计算机设备和存储介质 - Google Patents

机器阅读理解方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113420134B
CN113420134B CN202110692029.0A CN202110692029A CN113420134B CN 113420134 B CN113420134 B CN 113420134B CN 202110692029 A CN202110692029 A CN 202110692029A CN 113420134 B CN113420134 B CN 113420134B
Authority
CN
China
Prior art keywords
answer
processed
question
alternative
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110692029.0A
Other languages
English (en)
Other versions
CN113420134A (zh
Inventor
傅欣雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kangjian Information Technology Shenzhen Co Ltd
Original Assignee
Kangjian Information Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kangjian Information Technology Shenzhen Co Ltd filed Critical Kangjian Information Technology Shenzhen Co Ltd
Priority to CN202110692029.0A priority Critical patent/CN113420134B/zh
Publication of CN113420134A publication Critical patent/CN113420134A/zh
Application granted granted Critical
Publication of CN113420134B publication Critical patent/CN113420134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能领域的自然语言处理领域，具体涉及一种机器阅读理解方法、装置、计算机设备和存储介质。方法通过获取待处理问题以及待处理问题对应的备选答案；在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块；将待处理问题以及摘要块输入预设问答网络模型，获取待处理问题对应答案字段的起止位置；获取答案字段，从而获取待处理问题对应的预测答案。通过将备选答案对应的摘要信息拼接，而后通过预设问答网络模型来预测答案字段的起止位置，从而迅速地根据答案字段的起止位置从备选答案中挑选出最终预测的答案选项，无需分别计算每个备选答案的置信度，从而有效提高机器阅读理解处理效率。

Description

机器阅读理解方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种机器阅读理解方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术与人工智能技术的发展，出现了机器阅读理解(Machine ReadingComprehension，MRC)技术。是一种利用算法使计算机理解文章语义并回答相关问题的技术。由于文章和问题均采用人类语言的形式，因此机器阅读理解属于自然语言处理(NLP)的范畴，也是其中最新最热门的课题之一。近些年来，随着机器学习，特别是深度学习的发展，机器阅读理解研究有了长足的进步，并在实际应用中崭露头角。
目前，在基于机器阅读理解的问答机器人领域，例如在临床医学资格考试的问答机器人领域，可以通过输入大量的辅助阅读材料和知识文本，而后通过复杂的multi-layerreasoning(多层推理)来获得每个问题选项的置信值，从而确定正确的问题选项。然而这种方法的计算过程较为复杂，进行机器阅读理解的处理效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能提高机器阅读理解处理效率的机器阅读理解方法、装置、计算机设备和存储介质。
一种机器阅读理解方法，所述方法包括：
获取待处理问题以及所述待处理问题对应的备选答案；
在预设数据库内查找所述备选答案对应的摘要信息，将所述摘要信息拼接，获取摘要块；
将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置；
根据所述答案字段的起止位置，获取答案字段；
根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案。
在其中一个实施例中，所述在预设数据库内查找所述备选答案对应的摘要信息还包括：
当在预设数据库内无法查找到所述备选答案对应的摘要信息时，提取所述备选答案中的关键词；
通过所述关键词在所述预设数据库内查找所述备选答案对应的摘要信息。
在其中一个实施例中，所述预设问答网络模型包括嵌入层、自注意力层、 encoder层以及concat层，所述通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置包括：
通过所述嵌入层对词向量化处理后的所述待处理问题以及所述摘要块进行词向量化处理；
通过所述自注意力层对所述待处理问题以及所述摘要块的关联关系进行学习和理解，获取关联特征；
通过所述encoder层对所述关联特征进行解析和编码，获取编码结果；
通过所述concat层对所述编码结果进行串联，获取编码串联结果；
基于线性回归和预设问答网络模型的softmax函数对所述编码串联结果进行处理，获取待处理问题对应答案字段的起止位置。
在其中一个实施例中，所述基于线性回归和预设问答网络模型的softmax函数对所述编码串联结果进行处理，获取待处理问题对应答案字段的起止位置包括：
基于线性回归和预设问答网络模型的softmax函数对所述编码串联结果进行处理，获取所述摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；
根据所述摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；
获取所述待处理问题对应答案字段的起止位置。
在其中一个实施例中，所述将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置之前，还包括：
获取模型训练集数据以及模型测试集数据；
通过所述模型训练集数据对初始问答网络模型进行训练，通过所述模型测试集数据对训练完成的初始问答网络模型进行测试；
将通过测试的初始问答网络模型作为预设问答网络模型。
在其中一个实施例中，所述根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案包括：
根据所述答案字段以及所述待处理问题对应的备选答案，通过分层匹配从所述备选答案中获取所述待处理问题对应的预测答案。
在其中一个实施例中，所述根据所述答案字段以及所述待处理问题对应的备选答案，通过分层匹配从所述备选答案中获取所述待处理问题对应的预测答案包括：
通过完全匹配的形式基于答案字段对所述备选答案进行扫描，当得到完全匹配的字段时，将所述完全匹配的字段对应备选答案作为预测答案；
当无法得到完全匹配的字段时，通过包含匹配的形式基于答案字段对所述备选答案进行扫描，当得到包含匹配的字段时，将所述包含匹配的字段对应备选答案作为预测答案；
当无法得到包含匹配的字段时，获取所述答案字段与所述备选答案的余弦相似度，根据所述余弦相似度获取所述待处理问题对应的预测答案。
一种机器阅读理解装置，所述装置包括：
数据获取模块，用于获取待处理问题以及所述待处理问题对应的备选答案；
摘要拼接模块，用于在预设数据库内查找所述备选答案对应的摘要信息，将所述摘要信息拼接，获取摘要块；
模型处理模块，用于将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置；
答案字段识别模块，用于根据所述答案字段的起止位置，获取答案字段；
预测答案获取模块，用于根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理问题以及所述待处理问题对应的备选答案；
在预设数据库内查找所述备选答案对应的摘要信息，将所述摘要信息拼接，获取摘要块；
将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置；
根据所述答案字段的起止位置，获取答案字段；
根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理问题以及所述待处理问题对应的备选答案；
在预设数据库内查找所述备选答案对应的摘要信息，将所述摘要信息拼接，获取摘要块；
将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置；
根据所述答案字段的起止位置，获取答案字段；
根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案。
上述机器阅读理解方法、装置、计算机设备和存储介质，通过获取待处理问题以及待处理问题对应的备选答案；在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块；将待处理问题以及摘要块输入预设问答网络模型，通过预设问答网络模型获取待处理问题对应答案字段的起止位置；根据答案字段的起止位置，获取答案字段；根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。本申请的机器阅读理解方法通过将备选答案对应的摘要信息拼接，而后通过预设问答网络模型来预测答案字段的起止位置，从而迅速地根据答案字段的起止位置从备选答案中挑选出最终预测的答案选项，无需分别计算每个备选答案的置信度，从而有效提高机器阅读理解处理效率。
附图说明
图1为一个实施例中机器阅读理解方法的应用场景图；
图2为一个实施例中机器阅读理解方法的流程示意图；
图3为一个实施例中图2中步骤203的子流程示意图；
图4为一个实施例中图2中步骤205的子流程示意图；
图5为一个实施例中训练获取预设问答网络模型步骤的流程示意图；
图6为一个实施例中图2中步骤207的子流程示意图；
图7为一个实施例中机器阅读理解装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请具体涉及人工智能的自然语言处理领域，提供了一种机器阅读理解方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与机器阅读理解服务器104进行通信。当终端102方的工作人员需要机器阅读理解服务器104来进行机器阅读理解，查找问题对应的选项时，可以通过网络向机器阅读理解服务器104发送待处理问题以及待处理问题对应的备选答案。机器阅读理解服务器104首先获取待处理问题以及待处理问题对应的备选答案；在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块；将待处理问题以及摘要块输入预设问答网络模型，通过预设问答网络模型获取待处理问题对应答案字段的起止位置；根据答案字段的起止位置，获取答案字段；根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，机器阅读理解服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种机器阅读理解方法，以该方法应用于图1中的机器阅读理解服务器104为例进行说明，包括以下步骤：
步骤201，获取待处理问题以及待处理问题对应的备选答案。
其中，待处理问题以及待处理问题对应的备选答案即为本申请的机器阅读理解方法的处理对象，其中待处理问题具体为类似选择类问题或者完形填空类问题，需要从多个备选答案中挑选出，或者填上最合适的答案。在一个具体的实施例中，待处理问题具体为临床医学考试中的选择题或者完形填空题，对于这些问题，每个备选答案的内容很短，干扰项又比较多，所以传统机器阅读理解的分类模型的思想是行不通的。可以通过本申请的机器阅读理解方法来进行机器阅读理解的处理，以查找到正确的备选答案。
具体地，本申请的机器阅读理解方法具体用于多选一问题的处理。在进行机器阅读理解时，机器阅读理解服务器104需要先从终端102获取相应的待处理问题以及待处理问题对应的备选答案，作为机器阅读理解的初始数据。
步骤203，在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块。
其中，预设数据库具体是指包含有待处理问题相关的辅导资料或额外的参考资料的数据库，数据库内包含有海量的资料信息，而这些资料在存储时，每项资料都总结有对应的摘要信息。而备选答案对应的摘要信息，则具体是指包含所有备选答案的摘要信息。在得到摘要信息后，可以通过将包含所有备选答案的所有摘要信息拼接起来，构建完整的摘要块。
具体地，本提案主要针对考试中的选择题或者完形填空等多选一的题型进行阅读理解处理，此时因为每个选项的字段比较短，可以在辅导资料或额外的参考书中快速搜索出包含选项内容的摘要信息，这样针对每个选项都可以使用同样的搜索逻辑来从海量信息中查找到包含选项字段的摘要，然后将所有选项的摘要进行拼接，组成一个完整的摘要块。继而基于摘要块来进行相应的阅读理解处理。
步骤205，将待处理问题以及摘要块输入预设问答网络模型，通过预设问答网络模型获取待处理问题对应答案字段的起止位置。
其中，预设问答网络模型具体是指训练完成的问答网络模型，即qanet模型。具体地，本申请主要通过创新地利用问答网络模型的预测摘要的字段位置属性，将extendedtext information(课外摘要信息)和备选答案有机结合起来，组成一个完整的包含选项内容的文本。然后模型的输出函数为预测包含答案字段的起止位置。而后基于包含答案字段的起止位置的输出，来对问题的答案选项进行预测。在进行处理时，主要通过输入摘要块以及待处理问题，而后通过预设问答网络模型预测答案字段的起止位置来进行内容预测。
步骤207，根据答案字段的起止位置，获取答案字段。
步骤209，根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。
其中，待处理问题对应的预测答案即待处理问题对应的预测答案。也是本申请的机器阅读理解方法的处理结果。而答案字段的起止位置具体是指答案字段在摘要块中起始位的最大概率位置以及终止位最大概率位置。
具体地，当确定答案字段的起止位置后，即可从摘要块中直接进行答案字段起始位置与终止位置的标记，而后截取出对应的答案字段。当截取出答案字段后，即可将答案字段与各个备选答案进行匹配，看是否能有与答案字段匹配的备选答案，而后将匹配的备选答案作为待处理问题对应的预测答案。本实施例中，通过答案字段的截取以及备选答案的匹配，可以有效从多个备选答案中挑选出合适的预测答案，提高预测答案获取的效率。
上述机器阅读理解方法，通过获取待处理问题以及待处理问题对应的备选答案；在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块；将待处理问题以及摘要块输入预设问答网络模型，通过预设问答网络模型获取待处理问题对应答案字段的起止位置；根据答案字段的起止位置，获取答案字段；根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。本申请的机器阅读理解方法通过将备选答案对应的摘要信息拼接，而后通过预设问答网络模型来预测答案字段的起止位置，从而迅速地根据答案字段的起止位置从备选答案中挑选出最终预测的答案选项，无需分别计算每个备选答案的置信度，从而有效提高机器阅读理解处理效率。
在其中一个实施例中，如图3所示，步骤203还包括：
步骤302，当在预设数据库内无法查找到备选答案对应的摘要信息时，提取备选答案中的关键词。
步骤304，通过关键词在预设数据库内查找备选答案对应的摘要信息。
具体地，可能在预设数据库内无法完美地匹配到备选答案对应的摘要信息，特别是当备选答案并不是单个词语，而是完整的句子或者短语时。此时，可以考虑将备选答案中的关键词作为识别的依据。
具体地，考虑到在预设数据库中，针对某些选项上无法搜索到完整的摘要或者直接就没有现成的摘要信息。针对这类情况，可以通过启动分词功能将备选答案进行拆分，根据拆分所得关键字来再次进行搜索。从而保证摘要块构建的准确性。在另一个实施例中，如果通过关键字还无法搜索到对应的摘要信息，在预设数据库内查找关键字对应的相似内容，将相似内容作为摘要信息。而在另一个实施例中，在预设数据库内无法查找到摘要选项内容是，可以直接将所有的备选答案拼接，以获得摘要块。本实施例中，通过关键词来查找备选答案对应的摘要信息，可以有效提高摘要信息识别的准确率。
在其中一个实施例中，预设问答网络模型包括嵌入层、自注意力层、encoder 层以及concat层，如图4所示，步骤205包括：
步骤401，通过嵌入层对待处理问题以及摘要块进行词向量化处理。
步骤403，通过自注意力层对词向量化处理后的待处理问题以及摘要块的关联关系进行学习和理解，获取关联特征。
步骤405，通过encoder层对关联特征进行解析和编码，获取编码结果。
步骤407，通过concat层对编码结果进行串联，获取编码串联结果。
步骤409，基于线性回归和预设问答网络模型的softmax函数对编码串联结果进行处理，获取待处理问题对应答案字段的起止位置。
具体地，模型的嵌入层主要用于将输入的数据转化为固定大小的向量，在本申请中，即将待处理问题以及摘要块转化为对应的词向量。自注意力层即采用了self-attention(自注意力机制)架构的网络层，不像传统的RNN或者seq2seq 网络那般通过复杂的前向传播和反向传播来“串联”previous sentence和next sentence，可以更快速的进行模型训练和推理优化，自注意力机制是自然语言处理中的一种任务处理机制。本申请中主要通过自注意力层来进行问题与摘要之间关联关系的学习和理解，得到关联特征。encoder层从深层次对自动学习到的特征进行解析和编码，通过concat层对编码层进行串联，然后使用线性回归和 softmax函数最终输出预测字段的起止位置。如此，答案字段的起止位置就作为预设问答网络模型的最终输出。本实施例中，通过利用问答网络模型天然的支持预测字段起止位置，配合softmax的置信值输出，可以迅速得到起始位的最大概率位置和相对应的终止位最大概率处。同时保证答案字段的起止位置预测的准确性。
在其中一个实施例中，如图5所示，步骤409具体包括：
步骤502，基于线性回归和预设问答网络模型的softmax函数对编码串联结果进行处理，获取摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；
步骤504，根据摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率。
步骤506，获取待处理问题对应答案字段的起止位置。
具体地，预设问答网络模型具体用于在摘要块中预测答案字段中起始点和结束点的概率，摘要块有多个字词组成，摘要块的起始位置，终止位置，以及摘要块的字词之间都存在着若干的位置，这些位置都可能为待处理问题对应答案字段的起始位置或终止位置，从而可以基于线性回归，通过预设问答网络模型的softmax函数，预测摘要块中每个位置为待处理问题对应答案字段的起始位置或终止位置的概率，答案字段的起始位置或终止位置的概率分别即为p1,p2。
则
p1＝softmax(W1[M0；M1])；p2＝softmax(W2[M0；M2])其中，W1与 W2是可训练变量，在模型训练过程获取。M0、M1和M2对应了预设问答网络模型中经过encoder层和concat层的处理结果。当得到案字段的起始位置或终止位置的概率后，即可依照概率，从摘要块中获取待处理问题对应答案字段的起止位置。具体地，答案字段的起始位置需要设置于答案字段的终止位置的前方，以防止答案字段识别出错。本实施例中，通过摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率，可以有效地识别出待处理问题对应答案字段的起止位置
在其中一个实施例中，如图6所示，步骤205之前，还包括：
步骤601，获取模型训练集数据以及模型测试集数据。
步骤603，通过模型训练集数据对初始问答网络模型进行训练，通过模型测试集数据对训练完成的初始问答网络模型进行测试。
步骤605，将通过测试的初始问答网络模型作为预设问答网络模型。
其中，模型训练所用的模型训练集数据包括训练用的问题、摘要以及答案字段的起止位置标注，而模型测试的测试集包括测试用的问题以及摘要。测试集的输出为文本的起止位置。首先通过训练集对初始的问答网络模型进行训练，当训练完成时，通过测试集进行测试，当测试通过时，得到最终的预设问答网络模型。本申请主要采用了自注意力机制架构的神经网络模型，而不像传统的 RNN或者seq2seq网络那般通过复杂的前向传播和反向传播来“串联”previous sentence和next sentence，可以更快速的进行模型训练和推理优化，从而能更快的发布优化迭代版本上线。可以有效提高模型训练过程中的训练效率。本实施例中，通过对初始问答网络模型进行训练以及测试，来得到最终的预设问答网络模型，可以保证预设问答网络模型的识别准确率。
在其中一个实施例中，步骤207包括：根据答案字段以及待处理问题对应的备选答案，通过分层匹配从备选答案中获取待处理问题对应的预测答案。
在一个具体的实施例中，根据答案字段以及待处理问题对应的备选答案，通过分层匹配从备选答案中获取待处理问题对应的预测答案包括：
通过完全匹配的形式基于答案字段对备选答案进行扫描，当得到完全匹配的字段时，将完全匹配的字段对应备选答案作为预测答案；
当无法得到完全匹配的字段时，通过包含匹配的形式基于答案字段对备选答案进行扫描，当得到包含匹配的字段时，将包含匹配的字段对应备选答案作为预测答案；
当无法得到包含匹配的字段时，获取答案字段与备选答案的余弦相似度，根据余弦相似度获取待处理问题对应的预测答案。
其中，分层匹配具体是指通过不同的匹配方法依次进行匹配。分层匹配中的完全匹配是指是答案字段与备选答案完全一致，此时，可以直接将该备选答案作为最终的预测答案。而部分匹配则是指答案字段为备选答案中的一部分，或者备选答案为答案字段中的一部分，其所包含的内容能部分匹配。余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。而在本申请中，则是通过计算备选答案对应文本向量与答案字段对应文本向量的相似度，来确定待处理问题对应的预测答案。
在从备选答案中提取预测答案时，可以通过分层匹配的来确定备选答案，同时考虑匹配的效率与匹配的准确率。首先进行完全匹配，而当无法找到完全匹配的备选答案时，则进行部分匹配，若部分匹配还无法查找到对应的备选答案，则通过余弦相似度获取待处理问题对应的预测答案。余弦相似度计算过程中，可以依次获取答案字段与各个备选答案之间的余弦相似度，而后将余弦相似度最高的备选答案作为最终的预测答案。本实施例中，通过完全匹配、部分匹配以及余弦相似度等分层匹配最终的预测答案，可以保证预测答案估计的准确率。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种机器阅读理解装置，包括：
数据获取模块702，用于获取待处理问题以及待处理问题对应的备选答案。
摘要拼接模块704，用于在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块。
模型处理模块706，用于将待处理问题以及摘要块输入预设问答网络模型，通过预设问答网络模型获取待处理问题对应答案字段的起止位置。
答案字段识别模块708，用于根据答案字段的起止位置，获取答案字段。
预测答案获取模块710，用于根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。
在其中一个实施例中，摘要拼接模块704具体用于：当在预设数据库内无法查找到备选答案对应的摘要信息时，提取备选答案中的关键词；通过关键词在预设数据库内查找备选答案对应的摘要信息。
在其中一个实施例中，预设问答网络模型包括嵌入层、自注意力层、encoder 层以及concat层，模型处理模块706具体用于：通过嵌入层对待处理问题以及摘要块进行词向量化处理；通过自注意力层对词向量化处理后的待处理问题以及摘要块的关联关系进行学习和理解，获取关联特征；通过encoder层对关联特征进行解析和编码，获取编码结果；通过concat层对编码结果进行串联，获取编码串联结果；基于线性回归和预设问答网络模型的softmax函数对编码串联结果进行处理，获取待处理问题对应答案字段的起止位置。
在其中一个实施例中，模型处理模块706还用于：基于线性回归和预设问答网络模型的softmax函数对编码串联结果进行处理，获取摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；根据摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；获取待处理问题对应答案字段的起止位置。
在其中一个实施例中，还包括模型训练模块，具体用于：获取模型训练集数据以及模型测试集数据；通过模型训练集数据对初始问答网络模型进行训练，通过模型测试集数据对训练完成的初始问答网络模型进行测试；将通过测试的初始问答网络模型作为预设问答网络模型。
在其中一个实施例中，答案字段识别模块708还用于：根据答案字段以及待处理问题对应的备选答案，通过分层匹配从备选答案中获取待处理问题对应的预测答案。
在其中一个实施例中，答案字段识别模块708还用于：通过完全匹配的形式基于答案字段对备选答案进行扫描，当得到完全匹配的字段时，将完全匹配的字段对应备选答案作为预测答案；当无法得到完全匹配的字段时，通过包含匹配的形式基于答案字段对备选答案进行扫描，当得到包含匹配的字段时，将包含匹配的字段对应备选答案作为预测答案；当无法得到包含匹配的字段时，获取答案字段与备选答案的余弦相似度，根据余弦相似度获取待处理问题对应的预测答案。
关于机器阅读理解装置的具体实施例可以参见上文中对于机器阅读理解方法中的实施例，在此不再赘述。上述机器阅读理解装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8 所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作系统、计算机程序和数据库。该内存储器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储机器阅读理解数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器阅读理解方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理问题以及待处理问题对应的备选答案；
在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块；
将待处理问题以及摘要块输入预设问答网络模型，通过预设问答网络模型获取待处理问题对应答案字段的起止位置；
根据答案字段的起止位置，获取答案字段；
根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当在预设数据库内无法查找到备选答案对应的摘要信息时，提取备选答案中的关键词；通过关键词在预设数据库内查找备选答案对应的摘要信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过嵌入层对待处理问题以及摘要块进行词向量化处理；通过自注意力层对词向量化处理后的待处理问题以及摘要块的关联关系进行学习和理解，获取关联特征；通过 encoder层对关联特征进行解析和编码，获取编码结果；通过concat层对编码结果进行串联，获取编码串联结果；基于线性回归和预设问答网络模型的softmax 函数对编码串联结果进行处理，获取待处理问题对应答案字段的起止位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于线性回归和预设问答网络模型的softmax函数对编码串联结果进行处理，获取摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；根据摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；获取待处理问题对应答案字段的起止位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取模型训练集数据以及模型测试集数据；通过模型训练集数据对初始问答网络模型进行训练，通过模型测试集数据对训练完成的初始问答网络模型进行测试；将通过测试的初始问答网络模型作为预设问答网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据答案字段以及待处理问题对应的备选答案，通过分层匹配从备选答案中获取待处理问题对应的预测答案。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过完全匹配的形式基于答案字段对备选答案进行扫描，当得到完全匹配的字段时，将完全匹配的字段对应备选答案作为预测答案；当无法得到完全匹配的字段时，通过包含匹配的形式基于答案字段对备选答案进行扫描，当得到包含匹配的字段时，将包含匹配的字段对应备选答案作为预测答案；当无法得到包含匹配的字段时，获取答案字段与备选答案的余弦相似度，根据余弦相似度获取待处理问题对应的预测答案。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理问题以及待处理问题对应的备选答案；
在预设数据库内查找备选答案对应的摘要信息，将摘要信息拼接，获取摘要块；
将待处理问题以及摘要块输入预设问答网络模型，通过预设问答网络模型获取待处理问题对应答案字段的起止位置；
根据答案字段的起止位置，获取答案字段；
根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当在预设数据库内无法查找到备选答案对应的摘要信息时，提取备选答案中的关键词；通过关键词在预设数据库内查找备选答案对应的摘要信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过嵌入层对待处理问题以及摘要块进行词向量化处理；通过自注意力层对词向量化处理后的待处理问题以及摘要块的关联关系进行学习和理解，获取关联特征；通过encoder层对关联特征进行解析和编码，获取编码结果；通过concat层对编码结果进行串联，获取编码串联结果；基于线性回归和预设问答网络模型的softmax 函数对编码串联结果进行处理，获取待处理问题对应答案字段的起止位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于线性回归和预设问答网络模型的softmax函数对编码串联结果进行处理，获取摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；根据摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；获取待处理问题对应答案字段的起止位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取模型训练集数据以及模型测试集数据；通过模型训练集数据对初始问答网络模型进行训练，通过模型测试集数据对训练完成的初始问答网络模型进行测试；将通过测试的初始问答网络模型作为预设问答网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据答案字段的起止位置，获取答案字段；根据答案字段以及待处理问题对应的备选答案，获取待处理问题对应的预测答案。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过完全匹配的形式基于答案字段对备选答案进行扫描，当得到完全匹配的字段时，将完全匹配的字段对应备选答案作为预测答案；当无法得到完全匹配的字段时，通过包含匹配的形式基于答案字段对备选答案进行扫描，当得到包含匹配的字段时，将包含匹配的字段对应备选答案作为预测答案；当无法得到包含匹配的字段时，获取答案字段与备选答案的余弦相似度，根据余弦相似度获取待处理问题对应的预测答案。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据设备状态阈值，识别待识别设备对应的实时设备状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器阅读理解方法，所述方法包括：
获取待处理问题以及所述待处理问题对应的备选答案；
在预设数据库内查找所述备选答案对应的摘要信息，将所述摘要信息拼接，获取摘要块，所述摘要信息为所述预设数据库中所述待处理问题相关的资料信息在存储时总结的摘要信息，所述备选答案对应的摘要信息为包含所有备选答案的摘要信息，所述将所述摘要信息拼接为将包含所有备选答案的所有摘要信息拼接；
将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置；
根据所述答案字段的起止位置，获取答案字段；
根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案；
所述预设问答网络模型包括嵌入层、自注意力层、encoder层以及concat层；
所述通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置包括：
通过所述嵌入层对所述待处理问题以及所述摘要块进行词向量化处理；
通过所述自注意力层对词向量化处理后的所述待处理问题以及所述摘要块的关联关系进行学习和理解，获取关联特征；
通过所述encoder层对所述关联特征进行解析和编码，获取编码结果；
通过所述concat层对所述编码结果进行串联，获取编码串联结果；
基于线性回归和预设问答网络模型的softmax函数对所述编码串联结果进行处理，获取待处理问题对应答案字段的起止位置。
2.根据权利要求1所述的方法，其特征在于，在预设数据库内查找所述备选答案对应的摘要信息包括：
当在预设数据库内无法查找到所述备选答案对应的摘要信息时，提取所述备选答案中的关键词；
通过所述关键词在所述预设数据库内查找所述备选答案对应的摘要信息。
3.根据权利要求1所述的方法，其特征在于，所述待处理问题包括完形填空类问题。
4.根据权利要求1所述的方法，其特征在于，所述基于线性回归和预设问答网络模型的softmax函数对所述编码串联结果进行处理，获取待处理问题对应答案字段的起止位置包括：
基于线性回归和预设问答网络模型的softmax函数对所述编码串联结果进行处理，获取所述摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；
根据所述摘要块中每个位置对应的答案字段起始点概率以及答案字段终止点概率；
获取所述待处理问题对应答案字段的起止位置。
5.根据权利要求1所述的方法，其特征在于，所述将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置之前，还包括：
获取模型训练集数据以及模型测试集数据；
通过所述模型训练集数据对初始问答网络模型进行训练，通过所述模型测试集数据对训练完成的初始问答网络模型进行测试；
将通过测试的初始问答网络模型作为预设问答网络模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案包括：
根据所述答案字段以及所述待处理问题对应的备选答案，通过分层匹配从所述备选答案中获取所述待处理问题对应的预测答案。
7.根据权利要求6所述的方法，其特征在于，所述根据所述答案字段以及所述待处理问题对应的备选答案，通过分层匹配从所述备选答案中获取所述待处理问题对应的预测答案包括：
通过完全匹配的形式基于答案字段对所述备选答案进行扫描；
当得到完全匹配的字段时，将所述完全匹配的字段对应备选答案作为预测答案；
当无法得到完全匹配的字段时，通过包含匹配的形式基于答案字段对所述备选答案进行扫描，当得到包含匹配的字段时，将所述包含匹配的字段对应备选答案作为预测答案；
当无法得到包含匹配的字段时，获取所述答案字段与所述备选答案的余弦相似度，根据所述余弦相似度获取所述待处理问题对应的预测答案。
8.一种机器阅读理解装置，其特征在于，所述装置包括：
数据获取模块，用于获取待处理问题以及所述待处理问题对应的备选答案；
摘要拼接模块，用于在预设数据库内查找所述备选答案对应的摘要信息，将所述摘要信息拼接，获取摘要块，所述摘要信息为所述预设数据库中所述待处理问题相关的资料信息在存储时总结的摘要信息，所述备选答案对应的摘要信息为包含所有备选答案的摘要信息，所述将所述摘要信息拼接为将包含所有备选答案的所有摘要信息拼接；
模型处理模块，用于将所述待处理问题以及所述摘要块输入预设问答网络模型，通过所述预设问答网络模型获取所述待处理问题对应答案字段的起止位置；
答案字段识别模块，用于根据所述答案字段的起止位置，获取答案字段；
预测答案获取模块，用于根据所述答案字段以及所述待处理问题对应的备选答案，获取所述待处理问题对应的预测答案；
所述预设问答网络模型包括嵌入层、自注意力层、encoder层以及concat层；
所述模型处理模块具体用于：通过所述嵌入层对所述待处理问题以及所述摘要块进行词向量化处理；通过所述自注意力层对词向量化处理后的所述待处理问题以及所述摘要块的关联关系进行学习和理解，获取关联特征；通过所述encoder层对所述关联特征进行解析和编码，获取编码结果；通过所述concat层对所述编码结果进行串联，获取编码串联结果；基于线性回归和预设问答网络模型的softmax函数对所述编码串联结果进行处理，获取待处理问题对应答案字段的起止位置。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110692029.0A 2021-06-22 2021-06-22 机器阅读理解方法、装置、计算机设备和存储介质 Active CN113420134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110692029.0A CN113420134B (zh) 2021-06-22 2021-06-22 机器阅读理解方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110692029.0A CN113420134B (zh) 2021-06-22 2021-06-22 机器阅读理解方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113420134A CN113420134A (zh) 2021-09-21
CN113420134B true CN113420134B (zh) 2022-10-14

Family

ID=77716054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110692029.0A Active CN113420134B (zh) 2021-06-22 2021-06-22 机器阅读理解方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113420134B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118228839A (zh) * 2024-04-23 2024-06-21 北京面壁智能科技有限责任公司 用于模型训练的复杂指令训练数据的构造方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069815A (zh) * 2020-09-04 2020-12-11 平安科技（深圳）有限公司 成语填空题的答案选择方法、装置和计算机设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8898159B2 (en) * 2010-09-28 2014-11-25 International Business Machines Corporation Providing answers to questions using logical synthesis of candidate answers
CN108984475A (zh) * 2018-07-06 2018-12-11 北京慧闻科技发展有限公司 基于全息神经网络的答案选择方法、装置和电子设备
CN109840322B (zh) * 2018-11-08 2023-06-20 中山大学 一种基于强化学习的完形填空型阅读理解分析模型及方法
CN111027327B (zh) * 2019-10-29 2022-09-06 平安科技（深圳）有限公司 机器阅读理解方法、设备、存储介质及装置
US11531818B2 (en) * 2019-11-15 2022-12-20 42 Maru Inc. Device and method for machine reading comprehension question and answer
CN112347229B (zh) * 2020-11-12 2021-07-20 润联软件系统(深圳)有限公司 一种答案抽取方法、装置、计算机设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069815A (zh) * 2020-09-04 2020-12-11 平安科技（深圳）有限公司 成语填空题的答案选择方法、装置和计算机设备

Also Published As

Publication number Publication date
CN113420134A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN109033068B (zh) 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN113157863B (zh) 问答数据处理方法、装置、计算机设备及存储介质
US12073328B2 (en) Integrating a memory layer in a neural network for one-shot learning
CN110532397B (zh) 基于人工智能的问答方法、装置、计算机设备及存储介质
CN108563782B (zh) 商品信息格式处理方法、装置、计算机设备和存储介质
CN111553479B (zh) 一种模型蒸馏方法、文本检索方法及装置
US11532378B2 (en) Protein database search using learned representations
CN112015868B (zh) 基于知识图谱补全的问答方法
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
CN116134454A (zh) 用于使用知识蒸馏训练神经网络模型的方法和系统
CN111191002A (zh) 一种基于分层嵌入的神经代码搜索方法及装置
CN111259113B (zh) 文本匹配方法、装置、计算机可读存储介质和计算机设备
CN111311107A (zh) 基于用户关系的风险评估方法、装置和计算机设备
CN112100377A (zh) 文本分类方法、装置、计算机设备和存储介质
CN117271724A (zh) 一种基于大模型和语义图谱的智能问答实现方法及系统
CN113420134B (zh) 机器阅读理解方法、装置、计算机设备和存储介质
CN113343711B (zh) 工单生成方法、装置、设备及存储介质
CN117520590B (zh) 海洋跨模态图文检索方法、系统、设备及存储介质
CN113326383B (zh) 一种短文本实体链接方法、装置、计算设备与存储介质
CN111783473B (zh) 医疗问答中最佳答案的识别方法、装置和计算机设备
CN113761151A (zh) 同义词挖掘、问答方法、装置、计算机设备和存储介质
CN113569094A (zh) 视频推荐方法、装置、电子设备及存储介质
CN111680132A (zh) 一种用于互联网文本信息的噪声过滤和自动分类方法
CN113672701B (zh) 基于机器学习的文本匹配方法、装置、设备及存储介质
CN115456176A (zh) 一种基于知识增强的文本匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant