CN113220854B - 机器阅读理解的智能对话方法及装置 - Google Patents

机器阅读理解的智能对话方法及装置 Download PDF

Info

Publication number
CN113220854B
CN113220854B CN202110566073.7A CN202110566073A CN113220854B CN 113220854 B CN113220854 B CN 113220854B CN 202110566073 A CN202110566073 A CN 202110566073A CN 113220854 B CN113220854 B CN 113220854B
Authority
CN
China
Prior art keywords
entity
answer
text
question
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110566073.7A
Other languages
English (en)
Other versions
CN113220854A (zh
Inventor
孙梦轩
吴岸城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110566073.7A priority Critical patent/CN113220854B/zh
Publication of CN113220854A publication Critical patent/CN113220854A/zh
Application granted granted Critical
Publication of CN113220854B publication Critical patent/CN113220854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能，揭露一种机器阅读理解的智能对话方法，包括：针对预先设置的问题实体，从文本片段中提取与问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息；以回答实体以及回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型；当接收到问题语句时，利用智能对话模型来阅读测试文本片段，输出与问题语句中问题实体相匹配的回答结果。本发明还涉及区块链技术，智能对话模型的相关数据存储于区块链中。本发明可以使得机器阅读模型输出准确的回答实体，提高机器阅读理解的效果。

Description

机器阅读理解的智能对话方法及装置
技术领域
本发明涉及人工智能，尤其是涉及到机器阅读理解的智能对话方法、装置、计算机设备及计算机存储介质。
背景技术
机器阅读理解(MRC)是一项人工智能领域复杂的任务，用于测试机器根据给定的上下文回答问题来理解自然语言的程度，是近期自然语言处理领域的研究热点之一，也是人工智能在处理和理解人类语言进程中的一个长期目标。
早期的MRC处理系统是基于规则的，性能非常差，而随着深度学习和大规模数据集的兴起，基于深度学习的MRC显著优于基于规则的MRC。常见的MRC任务主要包括以下四种类型：完形填空、多项选择、片段抽取、自由回答，完形填空和多项选择在实际应用场景中都较少，且现有数据集较少，新数据集较难构造，自由回答则由于主观性太强、现有效果有限等原因效果一直不够理想，针对片段抽取主要是从片段文本中抽取出问题相关的答案。
相关技术中依靠预训练模型可以得到阅读理解的效果，但是现有抽取式阅读理解的方式可能存在以下两点问题，一个是针对问题实体和回答实体比较相似的场景，如果文本中出现多处地点回答，使得机器阅读模型很难输出准确的回答实体，容易出现答非所问的情况，影响机器阅读理解的效果；另一个是针对问题实体较多的情况下，有些问题实体在文本片段中不存在标准的回答实体，同样使得机器阅读模型很难输出准确的回答实体。
发明内容
有鉴于此，本发明提供了一种机器阅读理解的智能对话方法、装置、计算机设备及计算机存储介质，主要目的在于解决现有技术中机器阅读模型很难输出准确的回答实体，影响机器阅读理解的效果问题。
依据本发明一个方面，提供了一种机器阅读理解的智能对话方法，该方法包括：
针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息；
以所述回答实体以及所述回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，所述智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及所述回答实体在文本片段中的位置信息；
当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果，所述回答结果包括所述测试文本片段中是否存在回答实体以及所述回答实体在所述测试文本片段中的位置信息。
在本发明另一实施例中，所述针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息，具体包括：
针对预先设置的问题实体从文本片段中定位到与问题实体关联的目标文本语句；
利用分析模型计算所述目标文本语句作为与问题实体相匹配回答实体的概率值；
选取概率值最高的回答实体作为与所述问题相匹配的回答实体，并定位所述回答实体在文本片段中的位置信息。
在本发明另一实施例中，所述利用分析模型计算所述目标文本语句作为与问题实体相匹配回答实体的概率值，具体包括：
利用分析模型分别提取所述目标文本语句的语法结构和所述问题实体的语法结构，得到所述目标文本语句中分词和/或语句与问题实体中分词和/或语句；
结合所述分析模型设置的匹配规则，计算所述目标文本语句中分词和/或语句与问题实体中分词和/或语句之间的关联关系，得到所述目标文本语句作为与问题实体相匹配回答实体的概率值。
在本发明另一实施例中，所述深度神经网络模型包括多层子模型结构，所述将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，具体包括：
利用预训练子模型将携带有回答标签的问题实体以及文本片段进行语义理解，输出语义理解后的文本向量；
利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签，并将所述带有依存关系的文本标签转换为依存特征后与所述语义理解后的文本向量进行叠加后形成带有依存关系的文本特征；
利用判别子模型根据所述带有依存关系的文本特征判断所述问题实体是否存在回答实体，若是，则输出问题实体存在回答实体，并标注所述回答实体在文本片段中的位置信息，否则，输出所述问题实体不存在回答实体。
在本发明另一实施例中，所述利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签，包括：
将所述携带有回答标签的问题实体以及文本片段形成文本语句，抽取所述文本语句的结构化信息，所述结构化信息至少包括分词、词性和依赖关系标签；
对所述结构化信息进行低维分布表示，利用所述结构化信息分析语言单位内成分之间依赖关系以及语言单位之间的语义关联；
根据所述语言单位内成分之间依赖关系以及语言单位之间的语义关联，输出文本语句在组成关系和依赖关系上所形成带有依存关系的文本标签。
在本发明另一实施例中，所述利用判别子模型根据所述带有依存关系的文本特征判断所述问题实体是否存在回答实体，具体包括：
利用判别子模型根据所述带有依存关系的文本特征从文本片段中识别出多个候选回答片段；
根据所述问题实体的回答标签，计算所述多个候选回答片段作为回答实体的概率分布情况；
根据所述多个候选回答片段作为回答实体的概率分布情况，判断所述问题实体是否存在回答实体。
在本发明另一实施例中，智能对话模型的相关数据存储于区块链中在所述当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果之后，所述方法还包括：
若所述回答结果包含有与所述问题实体相匹配的回答实体，则根据所述回答结果定位所述测试文本片段中回答实体的位置信息，输出包含位置信息的回答实体；
若所述回答结果未包含有与所述问题实体相匹配的回答实体，则根据问题实体从文本片段资源中查询涉及问题实体的目标文本片段，输出所述目标文本片段。
依据本发明另一个方面，提供了一种机器阅读理解的智能对话装置，所述装置包括：
提取单元，用于针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息；
构建单元，用于以所述回答实体以及所述回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，所述智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及所述回答实体在文本片段中的位置信息；
测试单元，用于当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果，所述回答结果包括所述测试文本片段中是否存在回答实体以及所述回答实体在所述测试文本片段中的位置信息。
依据本发明又一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现机器阅读理解的智能对话方法的步骤。
依据本发明再一个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现机器阅读理解的智能对话方法的步骤。
借由上述技术方案，本发明提供一种机器阅读理解的智能对话方法及装置，针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及回答实体在文本片段中的位置信息，以回答实体以及回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，当接收到问题语句时，利用智能对话模型来阅读测试文本片段，输出与问题语句中问题实体相匹配的回答结果，该回答结果包括测试文本片段中是否存在回答实体以及回答实体在测试文本片段中的位置信息。与现有技术中依靠预训练模型进行阅读理解的方式相比，本申请中智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及回答实体在文本片段中的位置信息，能够更准确理解语义，还能表现出更强的推理能力，减少答非所问的情况，使得机器阅读模型输出准确的回答实体，提高机器阅读理解的效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种机器阅读理解的智能对话方法的流程示意图；
图2示出了本发明实施例提供的另一种机器阅读理解的智能对话方法的流程示意图；
图3示出了本发明实施例提供的一种机器阅读理解的智能对话装置的结构示意图；
图4示出了本发明实施例提供的另一种机器阅读理解的智能对话装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种机器阅读理解的智能对话方法，该智能对话模型能够更准确理解语义，还能表现出更强的推理能力，减少答非所问的情况，使得机器阅读模型输出准确的回答实体，如图1所示，该方法包括：
101、针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息。
其中，文本片段可以为指定文档库中的文档，还可以为从资源渠道中下载的文档，预先设置的问题实体可以为针对文本片段设置的问题，还可以为与文本片段相关联的问题，还可以为与文本片段无关的问题，例如，文本片段为人物B传记，记载了学校A为人物B的母校，问题实体可以为人物B的母校，还可以为文本片段中并未出现的人物C的母校，还可以为与文本片段无关的其他领域的问题。
可以理解的是，与问题实体相匹配的回答实体可以为文本片段中的分词，还可以为文本片段中的文本语句，还可以未在文本片段中出现。通常情况下，回答实体在文本片段中的位置信息为针对文本片段起始符至终止符之间的任意区间位置，具体在提取与问题实体匹配的回答实体以及回答实体在文本片段中的位置信息过程中，可以针对问题实体从文章片段中定位到与问题实体关联的目标文本语句，然后利用分析模型判断目标文本语句作为与问题实体相匹配回答实体的概率，该分析模型能够从文本语句的语法结构出发，判断文本语句中分词和/或句子与问题实体中分词和/或句子之间的关联程度，进而选取关联程度最高的目标文本语句作为回答实体，并定位回答实体在文本片段中的位置信息。当然回答实体还有可能在文本片段中存在多处描述，这里选取与问题实体关联程度最高的回答实体在文本片段中的位置信息。
在本发明实施例中，执行主体可以为机器阅读理解的智能对话装置，具体应用在服务端，该抽取式机器阅读理解作为辅助解读长篇阅读、文献、规章、条例的工具提供了很大便捷，能够提高直接阅读的效率，相比简单的关键词搜索覆盖面更广、定位更准确。
102、以所述回答实体以及所述回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型。
其中，智能对话模型针对问题实体能够从片段文本中识别出相关的回答实体，该智能对话模型主要包括三部分子模型，第一部分为预训练子模型，预训练子模型可以将问题语句和文本片段中的文本语句转换为语义理解后的文本向量进行输出；第二部分为依存分析子模型，依存分析子模型可以对问题语句和文本片段中的文本语句进行依存学习，输出带有依存关系的文本标签，进一步将带有依存关系的文本标签转换为依存特征后与语义理解向量进行叠加形成带有依存关系的文本特征，第三部分为判别子模型，判别子模型可以针对带有依存关系的文本特征判断问题实体是否有答案，以及回答实体在文本片段中位置信息的概率值。
可以理解的是，预训练子模型侧重于语义理解，比较忽略针对句式句法和单词角色的理解，而依存分析子模型能够弥补预训练模型，针对句式句法和单词角色之间相互的依存关系，使得实体以及实体和其他词之间的关系更加清晰，减少答非所问的情况。
考虑到语义理解后的文本向量与依存特征进行融合，可以在将依存关系的文本标签转换为依存特征后设置融合层来实现依存特征后与语义理解后的文本向量的叠加过程。
具体将带有依存关系的文本标签转换为依存特征的过程可以通过将依存关系的文本标签传入TREE-LSTM网络结构，将文本片段的句法信息转为向量，该向量即为依存特征。
具体依存分析子模型可以针对句子添加依存关系的文本标签，该文本标签包括句法标签和关系路径，句法标签表示实体和其他词的关系，例如，主谓宾、动宾、从属、并列等关系，关系路径表示按照句法标签所生成实体和句子之间的位置指向。例如，针对主谓关系，我送她一束花，主语是我，谓语是送，关系路径为从我到送。这里在添加加入依存关系的文本标签后，根据句子成分和之间关系判断，A去的地点是B，后来去了C，问A后来去的地点是哪，加入依存后可考虑关系“后来”，而不是只收集到A、地点这两个信息。
103、当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果。
可以理解的是，由于问题语句是无限的，如果什么问题都需要从测试文本片段中找出回答语句会大大降低智能问答系统的准确率，影响智能问答效果，较弱的回答语句同样也没有很大的帮助，这里针对接收到的问题语句，利用智能对话模型来阅读测试文本片段，可以判断测试文本片段中是否存在与问题语句相匹配的回答语句，也就是说说回答结果包括测试文本片段中是否存在回答实体，若存在，则在输出回答语句的同时，标记回答语句在测试文本片段中的位置信息，若不存在，则可以直接输出不存在与问题语句相匹配的回答结果，还可以通过关联其他渠道来输出相应的回答结果，当然如果文本片段中存在与问题语句关联的关键词，还可以在输出不存在与问题语句相匹配的回答结果的同时，标记出与问题语句关联的关键词在文本片段中的位置信息。
本发明实施例提供的一种机器阅读理解的智能对话方法，针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及回答实体在文本片段中的位置信息，以回答实体以及回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，当接收到问题语句时，利用智能对话模型来阅读测试文本片段，输出与问题语句中问题实体相匹配的回答结果，回答结果包括测试文本片段中是否存在回答实体以及回答实体在测试文本片段中的位置信息。与现有技术中依靠预训练模型进行阅读理解的方式相比，本申请中智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及回答实体在文本片段中的位置信息，能够更准确理解语义，还能表现出更强的推理能力，减少答非所问的情况，使得机器阅读模型输出准确的回答实体，提高机器阅读理解的效果。
本发明实施例提供了另一种机器阅读理解的智能对话方法，该智能对话模型能够更准确理解语义，还能表现出更强的推理能力，减少答非所问的情况，使得机器阅读模型输出准确的回答实体，如图2所示，所述方法包括：
201、针对预先设置的问题实体从文本片段中定位到与问题实体关联的目标文本语句。
由于文本片段具有篇幅大、语义复杂等特点，可以预先将文本片段按照文本语句进行划分，进而检测划分后文本语句中是否涉及到问题实体，这里涉及到问题实体可以是包含问题实体中的关键词，例如，问题实体包含鲁迅和家乡两个关键词，如果文本语句中同样包含这两个关键词，则说明文本语句涉及到问题实体，进一步将文本语句作为实体问题关联的目标文本语句，并从文本片段中定位到与问题实体关联的目标文本语句。
202、利用分析模型计算所述目标文本语句作为与问题实体相匹配回答实体的概率值。
在本发明实施例中，由于目标文本语句可能在文本片段中多次出现或者描述，具体可以利用分析模型分别提取目标文本语句的语法结构和问题实体的语法结构，得到目标文本语句中分词和/或语句与问题实体中分词和/或语句，这里通过从目标文本语句的语法结构出发，结合分析模型设置的匹配规则，计算目标文本语句中分词和/或语句与问题实体中分词和/或语句之间的关联关系，得到目标文本语句作为与问题实体相匹配回答实体的概率值，该匹配规则可以是关键字语义匹配，还可以是关键字相似度匹配，这里不进行限定。
203、选取概率值最高的回答实体作为与所述问题相匹配的回答实体，并定位所述回答实体在文本片段中的位置信息。
204、以所述回答实体以及所述回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型。
在本发明实施例中，智能对话模型包括多层子模型结构，这里主要包括预训练子模型、依存分析子模型和判断子模型，具体可以利用预训练子模型将携带有回答标签的问题实体以及文本片段进行语义理解，输出语义理解后的文本向量，利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签，并将带有依存关系的文本标签转换为依存特征后与语义理解后的文本向量进行叠加后形成带有依存关系的文本特征，利用判别子模型根据带有依存关系的文本特征判断问题实体是否存在回答实体，若是，则输出问题实体存在回答实体，并标注所述回答实体在文本片段中的位置信息，否则，输出问题实体不存在回答实体。
具体在利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签过程中，可以将携带有回答标签的问题实体以及文本片段形成文本语句，抽取文本语句的结构化信息，该结构化信息至少包括分词、词性和依赖关系标签，进一步对结构化信息进行低维分布表示，利用结构化信息分析语言单位内成分之间依赖关系以及语言单位之间的语义关联，根据语言单位内成分之间依赖关系以及语言单位之间的语义关联，输出文本语句在组成关系和依赖关系上所形成带有依存关系的文本标签。
可以理解的是，在使用依存分析子模型对问题语句和文本片段中的文本语句进行依存学习过程中，主要包括针对问题语句和文本语句在组成关系上的依存学习和在依赖关系上的依存学习，对于组成关系上的依存学习主要关心句子构成，短语的组成，忽略语义的语法结构，对于依赖关系上的依存学习主要关心句子中每个词语其他词语之间的依赖，能够表征词语的逻辑顺序，具体过程可以包括如下步骤：首先抽取语句中的结构化信息，该结构化信息至少包括分词、词性和依赖关系的标签，对于结构化信息进行低维分布式表示，然后一方面利用结构化信息分析语言单位内成分之间依存关系以揭示其句法结构，例如主谓宾、定状补浙西额语法成分，并分析各个成分之间的关系，另一方面利用结构化信息分析句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现，以使用语义依存刻画句子语义，从而输出问题语句和文本语句在组成关系和依赖关系上的文本标签。
具体在利用判别子模型根据所述带有依存关系的文本特征判断问题实体是否存在回答实体的过程中，可以利用判别子模型根据带有依存关系的文本特征从文本片段中识别出多个候选回答片段，根据问题实体的回答标签，计算多个候选回答片段作为回答实体的概率分布情况，根据多个候选回答片段作为回答实体的概率分布情况，判断问题实体是否存在回答实体。
具体在实际应用场景中，考虑到回答实体尽可能包含对判别有无答案有用的特征，例如，问题、答案、文章段落、问题长度、段落长度、答案开始结束概率等，具体在智能对话模型的训练过程中，可以输入文本片段提出问题的一段话+问题+答案+问题长度+段落长度+答案开始结束概率，结合深度神经网络模型三部分子模型进行特征提取和特征加权，并在训练过程中不断使用问题答案相关的标签信息调整模型参数，构建智能对话模型。
205、当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果。
206a、若所述回答结果包含有与所述问题实体相匹配的回答实体，则根据所述回答结果定位所述测试文本片段中回答实体的位置信息，输出包含位置信息的回答实体。
具体判断测试文本片段中是否存在于问题语句相匹配的回答语句的过程中，主要考虑文本片段与问题语句之间关联性，利用依存特征来计算文本片段与问题语句所形成文本特征之间的关联程度，如果关联程度低于预设阈值，则判定文本片段中不存在与问题语句相匹配的回答语句，否则，判定文本片段中存在与问题语句相匹配的回答语句。
与步骤206a相对应的有步骤206b、若所述回答结果未包含有与所述问题实体相匹配的回答实体，则根据问题实体从文本片段资源中查询涉及问题实体的目标文本片段，输出所述目标文本片段。
进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种机器阅读理解的智能对话装置，如图3所示，所述装置包括：提取单元31、构建单元32、测试单元33。
提取单元31，可以用于针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息；
构建单元32，可以用于以所述回答实体以及所述回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，所述智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及所述回答实体在文本片段中的位置信息；
测试单元33，可以用于当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果，所述回答结果包括所述测试文本片段中是否存在回答实体以及所述回答实体在所述测试文本片段中的位置信息。
本发明实施例提供的一种机器阅读理解的智能对话装置，针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及回答实体在文本片段中的位置信息，以回答实体以及回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，当接收到问题语句时，利用智能对话模型来阅读测试文本片段，输出与问题语句中问题实体相匹配的回答结果，回答结果包括测试文本片段中是否存在回答实体以及回答实体在测试文本片段中的位置信息。与现有技术中依靠预训练模型进行阅读理解的方式相比，本申请中智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及回答实体在文本片段中的位置信息，能够更准确理解语义，还能表现出更强的推理能力，减少答非所问的情况，使得机器阅读模型输出准确的回答实体，提高机器阅读理解的效果。
作为图3中所示机器阅读理解的智能对话装置的进一步说明，图4是根据本发明实施例另一种机器阅读理解的智能对话装置的结构示意图，如图4所示，所述提取单元31包括：
定位模块311，可以用于针对预先设置的问题实体从文本片段中定位到与问题实体关联的目标文本语句；
计算模块312，可以用于利用分析模型计算所述目标文本语句作为与问题实体相匹配回答实体的概率值；
选取模块313，可以用于选取概率值最高的回答实体作为与所述问题相匹配的回答实体，并定位所述回答实体在文本片段中的位置信息。
在具体应用场景中，所述计算模块312，包括：
提取子模块3121，可以用于利用分析模型分别提取所述目标文本语句的语法结构和所述问题实体的语法结构，得到所述目标文本语句中分词和/或语句与问题实体中分词和/或语句；
第一计算子模块3122，可以用于结合所述分析模型设置的匹配规则，计算所述目标文本语句中分词和/或语句与问题实体中分词和/或语句之间的关联关系，得到所述目标文本语句作为与问题实体相匹配回答实体的概率值。
在具体应用场景中，所述深度神经网络模型包括多层子模型结构，所述构建单元32包括：
理解模块321，可以用于利用预训练子模型将携带有回答标签的问题实体以及文本片段进行语义理解，输出语义理解后的文本向量；
分析模块322，可以用于利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签，并将所述带有依存关系的文本标签转换为依存特征后与所述语义理解后的文本向量进行叠加后形成带有依存关系的文本特征；
判断模块323，可以用于利用判别子模型根据所述带有依存关系的文本特征判断所述问题实体是否存在回答实体，若是，则输出问题实体存在回答实体，并标注所述回答实体在文本片段中的位置信息，否则，输出所述问题实体不存在回答实体。
在具体应用场景中，所述分析模块322包括：
抽取子模块3221，可以用于将所述携带有回答标签的问题实体以及文本片段形成文本语句，抽取所述文本语句的结构化信息，所述结构化信息至少包括分词、词性和依赖关系标签；
关联子模块3222，可以用于对所述结构化信息进行低维分布表示，利用所述结构化信息分析语言单位内成分之间依赖关系以及语言单位之间的语义关联；
输出子模块3223，可以用于根据所述语言单位内成分之间依赖关系以及语言单位之间的语义关联，输出文本语句在组成关系和依赖关系上所形成带有依存关系的文本标签。
在具体应用场景中，所述判断模块323包括：
识别子模块3231，可以用于利用判别子模型根据所述带有依存关系的文本特征从文本片段中识别出多个候选回答片段；
第二计算子模块3232，可以用于根据所述问题实体的回答标签，计算所述多个候选回答片段作为回答实体的概率分布情况；
判断子模块3233，可以用于根据所述多个候选回答片段作为回答实体的概率分布情况，判断所述问题实体是否存在回答实体。
在具体应用场景中，所述智能对话模型的相关数据存储于区块链中，所述装置还包括：
输出单元34，可以用于在所述当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果之后，若所述回答结果包含有与所述问题实体相匹配的回答实体，则根据所述回答结果定位所述测试文本片段中回答实体的位置信息，输出包含位置信息的回答实体；
所述输出单元34，还可以用于在所述当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果之后，若所述回答结果未包含有与所述问题实体相匹配的回答实体，则根据问题实体从文本片段资源中查询涉及问题实体的目标文本片段，输出所述目标文本片段。
需要说明的是，本实施例提供的一种机器阅读理解的智能对话装置所涉及各功能单元的其他相应描述，可以参考图1、图2中的对应描述，在此不再赘述。
基于上述如图1、图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1、图2所示的机器阅读理解的智能对话方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1、图2所示的机器阅读理解的智能对话方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的机器阅读理解的智能对话装置的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请中智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及回答实体在文本片段中的位置信息，能够更准确理解语义，还能表现出更强的推理能力，减少答非所问的情况，使得机器阅读模型输出准确的回答实体，提高机器阅读理解的效果。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (7)

1.一种机器阅读理解的智能对话方法，其特征在于，所述方法包括：
针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息；
以所述回答实体以及所述回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，所述智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及所述回答实体在文本片段中的位置信息，所述深度神经网络模型包括多层子模型结构，具体利用预训练子模型将携带有回答标签的问题实体以及文本片段进行语义理解，输出语义理解后的文本向量；利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签，并将所述带有依存关系的文本标签转换为依存特征后与所述语义理解后的文本向量进行叠加后形成带有依存关系的文本特征；利用判别子模型根据所述带有依存关系的文本特征判断所述问题实体是否存在回答实体，若是，则输出问题实体存在回答实体，并标注所述回答实体在文本片段中的位置信息，否则，输出所述问题实体不存在回答实体；
所述利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签，包括：将所述携带有回答标签的问题实体以及文本片段形成文本语句，抽取所述文本语句的结构化信息，所述结构化信息至少包括分词、词性和依赖关系标签；对所述结构化信息进行低维分布表示，利用所述结构化信息分析语言单位内成分之间依赖关系以及语言单位之间的语义关联；根据所述语言单位内成分之间依赖关系以及语言单位之间的语义关联，输出文本语句在组成关系和依赖关系上所形成带有依存关系的文本标签；
所述利用判别子模型根据所述带有依存关系的文本特征判断所述问题实体是否存在回答实体，包括：利用判别子模型根据所述带有依存关系的文本特征从文本片段中识别出多个候选回答片段；根据所述问题实体的回答标签，计算所述多个候选回答片段作为回答实体的概率分布情况；根据所述多个候选回答片段作为回答实体的概率分布情况，判断所述问题实体是否存在回答实体；
当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果，所述回答结果包括所述测试文本片段中是否存在回答实体以及所述回答实体在所述测试文本片段中的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息，具体包括：
针对预先设置的问题实体从文本片段中定位到与问题实体关联的目标文本语句；
利用分析模型计算所述目标文本语句作为与问题实体相匹配回答实体的概率值；
选取概率值最高的回答实体作为与所述问题相匹配的回答实体，并定位所述回答实体在文本片段中的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述利用分析模型计算所述目标文本语句作为与问题实体相匹配回答实体的概率值，具体包括：
利用分析模型分别提取所述目标文本语句的语法结构和所述问题实体的语法结构，得到所述目标文本语句中分词和/或语句与问题实体中分词和/或语句；
结合所述分析模型设置的匹配规则，计算所述目标文本语句中分词和/或语句与问题实体中分词和/或语句之间的关联关系，得到所述目标文本语句作为与问题实体相匹配回答实体的概率值。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述智能对话模型的相关数据存储于区块链中，在所述当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果之后，所述方法还包括：
若所述回答结果包含有与所述问题实体相匹配的回答实体，则根据所述回答结果定位所述测试文本片段中回答实体的位置信息，输出包含位置信息的回答实体；
若所述回答结果未包含有与所述问题实体相匹配的回答实体，则根据问题实体从文本片段资源中查询涉及问题实体的目标文本片段，输出所述目标文本片段。
5.一种机器阅读理解的智能对话装置，其特征在于，所述装置包括：
提取单元，用于针对预先设置的问题实体，从文本片段中提取与所述问题相匹配的回答实体以及所述回答实体在文本片段中的位置信息；
构建单元，用于以所述回答实体以及所述回答实体在文本片段中的位置信息作为问题实体的回答标签，将携带有回答标签的问题实体以及文本片段输入至深度神经网络模型中进行训练，构建智能对话模型，所述智能对话模型用于根据问题实体从文本片段中识别是否存在回答实体以及所述回答实体在文本片段中的位置信息，所述深度神经网络模型包括多层子模型结构，具体利用预训练子模型将携带有回答标签的问题实体以及文本片段进行语义理解，输出语义理解后的文本向量；利用依存分析子模型将携带有回答标签的问题实体以及文本片段进行依存分析，输出带有依存关系的文本标签，并将所述带有依存关系的文本标签转换为依存特征后与所述语义理解后的文本向量进行叠加后形成带有依存关系的文本特征；利用判别子模型根据所述带有依存关系的文本特征判断所述问题实体是否存在回答实体，若是，则输出问题实体存在回答实体，并标注所述回答实体在文本片段中的位置信息，否则，输出所述问题实体不存在回答实体；
所述构建单元，具体还用于将所述携带有回答标签的问题实体以及文本片段形成文本语句，抽取所述文本语句的结构化信息，所述结构化信息至少包括分词、词性和依赖关系标签；对所述结构化信息进行低维分布表示，利用所述结构化信息分析语言单位内成分之间依赖关系以及语言单位之间的语义关联；根据所述语言单位内成分之间依赖关系以及语言单位之间的语义关联，输出文本语句在组成关系和依赖关系上所形成带有依存关系的文本标签；
所述构建单元，具体还用于利用判别子模型根据所述带有依存关系的文本特征从文本片段中识别出多个候选回答片段；根据所述问题实体的回答标签，计算所述多个候选回答片段作为回答实体的概率分布情况；根据所述多个候选回答片段作为回答实体的概率分布情况，判断所述问题实体是否存在回答实体；
测试单元，用于当接收到问题语句时，利用所述智能对话模型来阅读测试文本片段，输出与所述问题语句中问题实体相匹配的回答结果，所述回答结果包括所述测试文本片段中是否存在回答实体以及所述回答实体在所述测试文本片段中的位置信息。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202110566073.7A 2021-05-24 2021-05-24 机器阅读理解的智能对话方法及装置 Active CN113220854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110566073.7A CN113220854B (zh) 2021-05-24 2021-05-24 机器阅读理解的智能对话方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110566073.7A CN113220854B (zh) 2021-05-24 2021-05-24 机器阅读理解的智能对话方法及装置

Publications (2)

Publication Number Publication Date
CN113220854A CN113220854A (zh) 2021-08-06
CN113220854B true CN113220854B (zh) 2023-11-07

Family

ID=77098097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110566073.7A Active CN113220854B (zh) 2021-05-24 2021-05-24 机器阅读理解的智能对话方法及装置

Country Status (1)

Country Link
CN (1) CN113220854B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114238607B (zh) * 2021-12-17 2022-11-22 北京斗米优聘科技发展有限公司 深度交互式ai智能求职顾问方法、系统及存储介质
CN116610775A (zh) * 2023-07-20 2023-08-18 科大讯飞股份有限公司 人机交互方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818085A (zh) * 2017-11-08 2018-03-20 山西大学 阅读机器人进行阅读理解的答案选择方法及系统
CN111428467A (zh) * 2020-02-19 2020-07-17 平安科技（深圳）有限公司 生成阅读理解的问题题目的方法、装置、设备及存储介质
CN111814466A (zh) * 2020-06-24 2020-10-23 平安科技（深圳）有限公司 基于机器阅读理解的信息抽取方法、及其相关设备
CN112417104A (zh) * 2020-12-04 2021-02-26 山西大学 一种句法关系增强的机器阅读理解多跳推理模型及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691999B2 (en) * 2016-03-16 2020-06-23 Maluuba Inc. Parallel-hierarchical model for machine comprehension on small data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818085A (zh) * 2017-11-08 2018-03-20 山西大学 阅读机器人进行阅读理解的答案选择方法及系统
CN111428467A (zh) * 2020-02-19 2020-07-17 平安科技（深圳）有限公司 生成阅读理解的问题题目的方法、装置、设备及存储介质
CN111814466A (zh) * 2020-06-24 2020-10-23 平安科技（深圳）有限公司 基于机器阅读理解的信息抽取方法、及其相关设备
CN112417104A (zh) * 2020-12-04 2021-02-26 山西大学 一种句法关系增强的机器阅读理解多跳推理模型及方法

Also Published As

Publication number Publication date
CN113220854A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110781276B (zh) 文本抽取方法、装置、设备及存储介质
CN107679039B (zh) 用于确定语句意图的方法和装置
CN111324743A (zh) 文本关系抽取的方法、装置、计算机设备及存储介质
CN111738016A (zh) 多意图识别方法及相关设备
CN113220854B (zh) 机器阅读理解的智能对话方法及装置
CN111046656A (zh) 文本处理方法、装置、电子设备及可读存储介质
CN112036168B (zh) 事件主体识别模型优化方法、装置、设备及可读存储介质
CN110610698B (zh) 一种语音标注方法及装置
CN112685550B (zh) 智能问答方法、装置、服务器及计算机可读存储介质
CN111666766A (zh) 数据处理方法、装置和设备
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN115357704A (zh) 语音互动小说中异构剧情节点的处理方法及相关装置
CN107844531B (zh) 答案输出方法、装置和计算机设备
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN115759293A (zh) 模型训练方法、图像检索方法、装置及电子设备
Hassani et al. LVTIA: A new method for keyphrase extraction from scientific video lectures
CN110795547A (zh) 文本识别方法和相关产品
CN111783425B (zh) 基于句法分析模型的意图识别方法及相关装置
US20230244878A1 (en) Extracting conversational relationships based on speaker prediction and trigger word prediction
CN113779202B (zh) 命名实体识别方法、装置、计算机设备和存储介质
CN115759048A (zh) 一种剧本文本处理方法及装置
CN112989040B (zh) 一种对话文本标注方法、装置、电子设备及存储介质
CN115658845A (zh) 一种适用于开源软件供应链的智能问答方法及装置
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN114490993A (zh) 小样本意图识别方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant