CN117093686A - 智能问答匹配方法、装置、终端及存储介质 - Google Patents

智能问答匹配方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN117093686A
CN117093686A CN202310964019.7A CN202310964019A CN117093686A CN 117093686 A CN117093686 A CN 117093686A CN 202310964019 A CN202310964019 A CN 202310964019A CN 117093686 A CN117093686 A CN 117093686A
Authority
CN
China
Prior art keywords
data
user request
request data
difference vector
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310964019.7A
Other languages
English (en)
Inventor
章翔
陆韬宇
祁超
吴嘉琦
尹舟洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202310964019.7A priority Critical patent/CN117093686A/zh
Publication of CN117093686A publication Critical patent/CN117093686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种智能问答匹配方法、装置、终端及存储介质，涉及人工智能技术领域，通过根据用户请求数据对预设问答知识库进行召回，获取候选数据；将用户请求数据和候选数据输入精排序模型得到全量差异向量；将关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量；根据全量差异向量与关键词差异向量获取与用户请求数据对应的应答数据，解决了传统智能问答匹配方法所计算出的文本间的相似度准确性低，影响智能问答匹配效果的问题，通过关键互信息辅助模型将请求文本和候选文本的关键互信息融合，可以使获取的应答数据更加的符合用户的期待和需求，实现了不同复杂场景下智能问答的便捷性和实时性。

Description

智能问答匹配方法、装置、终端及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能问答匹配方法、装置、终端及存储介质。
背景技术
现有基于知识库的检索式智能问答(Query Answer，QA)匹配方法是一个包含数据预处理、多层候选文本粗召回、文本特征提取和精排序等模块的文本相似度计算的复杂系统。相关技术中，基于完全深度学习模型的相似度实现智能问答匹配，例如，基于深度学习的方法通过模型直接对请求文本和用户文本进行语义相似度编码，然后通过ES(ElasticSearch)数据库进行数据的粗召回，对于粗召回的数据进行特征处理并输入到BERT深度模型进行相似度计算。模型最终将候选召回通过相似度得分进行排序，并返回对应的应答话术给用户。其中，BERT深度模型的最后一层增加了基于关键词的注意力层，通过文本依存分析技术实现向量的融合并计算文本间的相似度。但由于BERT深度模型的最后一层的输入作为额外注意力层的输入，可能会存在当前基于关键词的注意力层无法准确的获取语义处理后的关键信息的问题，导致文本间的相似度计算不准确，影响智能问答匹配效果。
发明内容
本发明提供一种智能问答匹配方法、装置、终端及存储介质，用以解决传统智能问答匹配方法所计算出的文本间的相似度准确性低，影响智能问答匹配效果的缺陷。
本发明提供一种智能问答匹配方法，包括：
根据用户请求数据对预设问答知识库进行召回，获取候选数据；
将所述用户请求数据和所述候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将所述用户请求数据与所述候选数据进行全量数据匹配；
提取所述候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将所述用户请求数据与所述候选数据进行关键数据匹配；
根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据。
根据本发明提供的一种智能问答匹配方法，所述将所述关键词输入关键互信息辅助模型得到关键词差异向量，包括：
将所述用户请求数据对应的关键词和所述候选数据对应的关键词进行编码，得到用户请求编码数据和候选编码数据；
将所述用户请求编码数据输入第一深层循环神经网络模块，得到第一语义差异向量；
将所述候选编码数据输入第二深层循环神经网络模块，得到第二语义差异向量；
将所述第一语义差异向量和所述第二语义差异向量进行拼接；
将拼接后的语义差异向量进行融合得到与所述全量差异向量维度对应的关键词差异向量。
根据本发明提供的一种智能问答匹配方法，所述根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据，包括：
将所述全量差异向量与所述关键词差异向量进行拼接；
计算拼接后向量的归一化值作为所述候选数据与所述用户请求数据之间的相似度；
根据所述相似度匹配出与所述用户请求数据对应的应答数据。
根据本发明提供的一种智能问答匹配方法，所述根据所述用户请求数据对预设问答知识库进行召回，获取候选数据，包括：
基于所述用户请求数据和语义召回策略对所述预设问答知识库进行召回得到语义相似度；
将所述语义相似度从高到低排序，选取排名靠前的n个知识数据；
基于所述用户请求数据和字面召回策略对所述预设问答知识库进行召回得到字面相似度排名靠前的m个知识数据；
根据所述n个知识数据和所述m个知识数据得到所述候选数据。
根据本发明提供的一种智能问答匹配方法，所述基于所述用户请求数据和语义召回策略对所述预设问答知识库进行召回得到语义相似度，包括：
对所述用户请求数据和预设问答知识库中的知识数据进行实体识别；
将识别到的实体进行归类，得到实体对应类型；
使用所述实体对应类型替换所述用户请求数据和预设问答知识库中的知识数据中的实体；
计算替换后用户请求数据和预设问答知识库中的知识数据的语义相似度。
根据本发明提供的一种智能问答匹配方法，所述提取所述候选数据和所述用户请求数据中的关键互信息文本特征，包括：
对所述候选数据和所述用户请求数据进行实体识别；
对识别到的实体进行词性分析，保存词性为名词和动词作为关键词个体信息；
将所述关键词个体信息输入由历史关键词构建的知识图谱得到关键词关联信息；
根据所述关键词个体信息和所述关键词关联信息得到关键互信息文本特征，所述关键互信息文本特征包括请求文本特征和候选文本特征。
根据本发明提供的一种智能问答匹配方法，所述计算拼接后向量的归一化值，包括：
将拼接后向量融合为一维向量；
使用softmax函数计算所述一维向量的归一化值。
本发明还提供一种智能问答匹配装置，包括：
召回模块，用于根据用户请求数据对预设问答知识库进行召回，获取候选数据；
第一输入模块，用于将所述用户请求数据和所述候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将所述用户请求数据与所述候选数据进行全量数据匹配；
第二输入模块，用于提取所述候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将所述用户请求数据与所述候选数据进行关键数据匹配；
获取模块，用于根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据。
本发明还提供一种终端，包括存储器，收发机，处理器；
存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
根据用户请求数据对预设问答知识库进行召回，获取候选数据；
将所述用户请求数据和所述候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将所述用户请求数据与所述候选数据进行全量数据匹配；
提取所述候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将所述用户请求数据与所述候选数据进行关键数据匹配；
根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的智能问答匹配方法。
本发明提供的智能问答匹配方法、装置、终端及存储介质，通过根据用户请求数据对预设问答知识库进行召回，获取候选数据；将所述用户请求数据和所述候选数据输入精排序模型得到全量差异向量；提取候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量；根据全量差异向量与所述关键词差异向量获取与用户请求数据对应的应答数据，通过关键互信息辅助模型将请求文本和候选文本之间的关键互信息在同一个维度更好的融合，可以使获取的应答数据更加的符合用户的期待和需求，实现了不同复杂场景下智能问答的便捷性和实时性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的智能问答匹配方法的流程示意图之一；
图2是本发明提供的智能问答匹配方法的流程示意图之二；
图3是本发明提供的候选数据精排序模型示意图；
图4是本发明提供的智能问答匹配方法的流程示意图之三；
图5是本发明提供的基于语义相似度召回流程示意图；
图6是本发明提供的智能问答匹配方法的流程示意图之四；
图7是本发明提供的智能问答方案整体流程图；
图8是本发明提供的智能问答匹配装置的结构示意图；
图9是本发明提供的终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的智能问答匹配方法的流程图，如图1所示，本发明实施例提供的智能问答匹配方法包括：
步骤101、根据用户请求数据对预设问答知识库进行召回，获取候选数据；
步骤102、将用户请求数据和候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将用户请求数据与候选数据进行全量数据匹配；
在本发明实施例中，精排序模型为BERT精排序模型。
步骤103、提取候选数据和用户请求数据中的关键互信息文本特征，将关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将用户请求数据与候选数据进行关键数据匹配；
步骤104、根据全量差异向量与关键词差异向量获取与用户请求数据对应的应答数据。
传统的基于完全深度学习模型的相似度实现智能问答匹配，例如，基于深度学习的方法通过模型直接对请求文本和用户文本进行语义相似度编码，然后通过ES数据库进行数据的粗召回，对于粗召回的数据进行特征处理并输入到BERT深度模型进行相似度计算。模型最终将候选召回通过相似度得分进行排序，并返回对应的应答话术给用户。其中，BERT深度模型的最后一层增加了基于关键词的注意力层，通过文本依存分析技术实现向量的融合并计算文本间的相似度。但由于BERT深度模型的最后一层的输入作为额外注意力层的输入，可能会存在当前基于关键词的注意力层无法准确的获取语义处理后的关键信息的问题，导致文本间的相似度计算不准确，影响智能问答匹配效果。
本发明实施例提供的智能问答匹配方法通过根据用户请求数据对预设问答知识库进行召回，获取候选数据；将用户请求数据和所述候选数据输入精排序模型得到全量差异向量；提取候选数据和所述用户请求数据中的关键互信息文本特征，将关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量；根据全量差异向量与所述关键词差异向量获取与用户请求数据对应的应答数据，通过关键互信息辅助模型将请求文本和候选文本之间的关键互信息在同一个维度更好的融合，可以使获取的应答数据更加的符合用户的期待和需求，实现了不同复杂场景下智能问答的便捷性和实时性。
基于上述任一实施例，如图2所示，将所述关键词输入关键互信息辅助模型得到关键词差异向量，包括：
步骤201、将用户请求数据对应的关键词和候选数据对应的关键词进行编码，得到用户请求编码数据和候选编码数据；
步骤202、将用户请求编码数据输入第一深层循环神经网络模块，得到第一语义差异向量；
步骤203、将候选编码数据输入第二深层循环神经网络模块，得到第二语义差异向量；
步骤204、将第一语义差异向量和第二语义差异向量进行拼接；
步骤205、将拼接后的语义差异向量进行融合得到与全量差异向量维度对应的关键词差异向量。
根据全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据，包括：
计算拼接后向量的归一化值作为所述候选数据与所述用户请求数据之间的相似度；根据相似度匹配出与用户请求数据对应的应答数据。
在本发明实施例中，计算拼接后向量的归一化值，包括：
将拼接后向量融合为一维向量；
使用softmax函数计算一维向量的归一化值。
如上图3所示，关键互信息辅助模型的输入信息为关键词提取模块的输出信息特征文本组成；BERT精排序模型即为正常的基于BERT预训练模型微调后的模型，在当前BERT语义模型的基础上，基于关键互信息的智能问答辅助方案，通过对提取的短文本的关键互信息特征文本进行单独编码并通过N层的RNN单元实现文本内关键信息的向量化表示。其次将请求文本关键信息特征的向量化输出和候选文本关键信息特征的输出进行拼接，并通过FFN全连接层进行融合。最后将BERT精排序模型和关键互信息辅助模型的输出进行拼接，并连接一层全连接层进行相似度计算。
本发明实施例中，关键互信息辅助模型是一种基于RNN的深层循环神经网络模型，主要目的是精准挖掘不同文本下关键信息特征之间的语义差异。该模型在保留原有文本信息的基础上，通过对关键互信息特征进行单独处理，可以更好的突出请求文本和候选文本之间的关键信息。由于BERT语义模型CLS-token的输出表示的是不同文本之间的语义差异，将互信息辅助模型和BERT模型的输出在同一个文本差异维度上进行拼接也具有理论可行性。该方案通过该辅助模型对关键信息特征进行编码和语义计算可以更好的判断请求文本和候选文本之间文本相似度，通过将该辅助模型的输出和原有语义模型的输出向量在同一个数据维度上进行融合，在保留原有BERT语义模型特征的基础上进一步的提升两者短文本的相似度准确率，对候选结果的筛选更加的精准和有效。
基于上述任一实施例，如图4所示，根据用户请求数据对预设问答知识库进行召回，获取候选数据，包括：
步骤401、基于用户请求数据和语义召回策略对所述预设问答知识库进行召回得到语义相似度；
在本发明实施例中，基于用户请求数据和语义召回策略对所述预设问答知识库进行召回得到语义相似度，包括：
步骤4011、对用户请求数据和预设问答知识库中的知识数据进行实体识别；
步骤4012、将识别到的实体进行归类，得到实体对应类型；
步骤4013、使用实体对应类型替换所述用户请求数据和预设问答知识库中的知识数据中的实体；
步骤4014、计算替换后用户请求数据和预设问答知识库中的知识数据的语义相似度。
步骤402、将语义相似度从高到低排序，选取排名靠前的n个知识数据；
在本发明实施例中，基于语义相似度的召回流程如图5所示，该语义召回模块会对候选待召回数据进行改写和语义编码(离线进行)。同时对用户请求文本进行改写和语义编码后和候选数据进行相似度度量。例如：用户请求文本为“介绍一下中国移动”，我们会先识别关键信息“中国移动”，并将文本改写为“介绍一下<公司>”，并对该改写后的文本进行语义编码并和知识库中改写后保存的语义向量进行相似度匹配计算。最终和基于ES等字面召回方案一起共同召回最优相似度的topK(K＝m+n)个知识数据。
步骤403、基于用户请求数据和字面召回策略对预设问答知识库进行召回得到字面相似度排名靠前的m个知识数据；
字面召回策略包括但不限于BM25算法、TF-IDF算法等，或者借助第三方开源数据库(ES)等。在本发明实施例中基于ES等数据库实现字面意义上的候选数据召回。
步骤404、根据n个知识数据和m个知识数据得到候选数据。
传统召回方法可能会存在召回不全面，可能会出现正确信息在召回阶段被遗漏导致后续无法正确匹配的问题。例如，对于文本<网速>和<网络快慢>，由于其字面含义存在一定的差别，仅仅依靠字面含义在召回阶段可能会出现召回遗漏的问题。而基于文本改写的语义召回，会统一将两者归为“网络速度”大类，从而消除语义编码过程中的偏差。
本发明实施例融合了基于字面文本的数据召回方案(例如：通过ES数据库召回通过倒排索引等技术实现数据召回)和基于文本改写的语义相似度召回方案。由于基于文本改写的语义向量检索召回和倒排索引相关性召回(基于ES)两者的底层实现原理存在显著的差别，文本改写技术可以显著降低相似文本语义编码过程中的误差，因此在召回结果中可以在多种方向上考虑文本信息，避免了单一方法召回导致的召回结果不够完备的情况，采用多通道召回模式，保证了召回结果的覆盖率。
由于不同业务下知识库的大小不受控制，知识库的数量可能量级很大，对全量的知识库数据进行匹配耗时可能会很长，实时性差。故需要对全量知识库数据进行粗召回，只返回比较相似的topK个知识进行精排序处理。本发明实施例在现有技术基于字面召回方案的基础上，增加了一个基于文本改写的语义召回模块。在知识库量级较大的情况下，可以自动的实现知识库的完备召回、并计算候选数据的文本相似度，具有较高的匹配准确率。
基于上述任一实施例，如图6所示，提取所述候选数据和所述用户请求数据中的关键互信息文本特征，包括：
步骤601、对候选数据和用户请求数据进行实体识别；
在本发明实施例中，可以通过Bi-LSTM+CRF等方法对候选数据和用户请求数据进行实体识别。Bi-LSTM+CRF可以提升短文本的识别准确率。
步骤602、对识别到的实体进行词性分析，保存词性为名词和动词作为关键词个体信息；
步骤603、将关键词个体信息输入由历史关键词构建的知识图谱得到关键词关联信息；
步骤604、根据关键词个体信息和关键词关联信息得到关键互信息文本特征，关键互信息文本特征包括请求文本特征和候选文本特征。
传统技术中，通过人为或者相关技术方法预先构建关键词库信息、确定关键词的相关权重。该方案可能会出现关键词库信息构建不完备、关键词权重人为设置不合理的情况。人为构建关键词库信息，自动化程度较低。本发明实施例通过对知识库数据的分析可知，词性为名词和动词的关键词通常都是当前短文本中的主要信息。对于实体识别后的信息，对实体的词性信息进行分析，并保存词性为名词和动词的关键词信息，从而抛弃其他词性的关键词信息。对于保存的关键词信息，若该信息可以在知识图谱中找到相应的关联信息，则将该关联信息也作为信息特征进行保存用作后续精排序模型的特征输入信息。例如：经过实体识别和词性分析后保留的关键信息为“魔百和”，假设知识图谱中和“魔百和”关联的信息是公司“中国移动”，则将“魔百和”“中国移动”同时作为关键信息用于后续精排模型的输入。相比于人为构建关键词库数据，可以自动对文本中的关键信息进行识别和信息扩展。
在本发明实施例中，知识图谱引入的额外特征可以挖掘文本更深层次的信息，更有利于后续匹配准确率的提升。相比于现有方案构造关键词集的方案，可以提升智能问答匹配准确率。通过对候选文本进行实体识别、词性分析以便获取文本的关键词信息，并通过知识图谱进行关键信息检索扩展，相比于人为构建关键词库的方法自动化的程度更高，可以获取和文本关联但不存在的引申信息，同时不容易出现OOV词语的问题，推广性更好。并为后续关键互信息辅助问答模型提供了精准识别和检验后的关键词信息等。
如下图7所示，智能问答方案整体流程沿用了现有技术的框架，并且新增或改造了流程图中虚线框中的XXXXX的模块。基于知识库的检索式智能问答(QA)框架包含数据预处理，多层候选文本粗召回，文本特征提取和精排序等模块的文本相似度计算的复杂系统。但层候选文本粗召回方案存在模型的可解释性弱等问题；单独基于es的召回方案，存在召回数据覆盖率不全，无法挖掘更深层次的语义信息问题。对于基于深度模型的候选数据精排方面，存在全量短文本的语义输入方法中请求文本和候选文本之间的关键信息关联度较低的问题；基于关键词的文本相似度QA问答方案存在人为构建关键词库遗漏关键信息、词库信息不全、关键词的权重信息较难确定、精排模型对关键信息的关联程度较低、编辑距离容易收到无效数据的干扰等不足。
本发明实施例提供的智能问答匹配方法，能适应不同知识库数据和不同场景，结合现有的智能问答业务，考虑到知识库运营人员可能实时增删改现有知识库数据的情况，实现了数据的自动更新，避免过多的人为参与，真正做到了知识库数据的实时更新功能，响应更及时。针对现有技术通过ES等方法进行候选数据召回的方法，在此基础上增加了基于文本改写的语义相似度召回方法，改写方案通过将同一类型的实体进行归类，降低了语义编码过程中的偏差。并结合基于ES方法的字面召回和基于语义召回的组合方法，可以保证召回结果更加的完备。针对现有技术预先人为构造关键词库数据的方法，通过实体识别、词性分析、知识图谱的方法自动提取关键信息及其引申关联信息。并且在输入层提出了一个基于关键互信息的辅助问答方法，并在输出层实现bert语义交互模型和辅助问答模型的向量融合，并最终计算请求文本和候选文本间的相似度。实现了不同复杂场景下智能问答的便捷性和实时性，使的问答响应的结果更加的符合用户的期待和需求。
下面对本发明提供的智能问答匹配装置进行描述，下文描述的智能问答匹配装置与上文描述的智能问答匹配方法可相互对应参照。
图8为本发明实施例提供的智能问答匹配装置的示意图，如图8所示，本发明实施例提供的智能问答匹配装置包括：
召回模块801，用于根据用户请求数据对预设问答知识库进行召回，获取候选数据；
第一输入模块802，用于将用户请求数据和所述候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将所述用户请求数据与所述候选数据进行全量数据匹配；
第二输入模块803，用于提取所述候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将用户请求数据与候选数据进行关键数据匹配；
获取模块804，用于根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据。
本发明实施例提供的智能问答匹配装置通过根据用户请求数据对预设问答知识库进行召回，获取候选数据；将用户请求数据和所述候选数据输入精排序模型得到全量差异向量；提取候选数据和所述用户请求数据中的关键互信息文本特征，将关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量；根据全量差异向量与所述关键词差异向量获取与用户请求数据对应的应答数据，通过关键互信息辅助模型将请求文本和候选文本之间的关键互信息在同一个维度更好的融合，可以使获取的应答数据更加的符合用户的期待和需求，实现了不同复杂场景下智能问答的便捷性和实时性。
在本发明实施例中，第二输入模块803被配置为：
将用户请求数据对应的关键词和所述候选数据对应的关键词进行编码，得到用户请求编码数据和候选编码数据；
将用户请求编码数据输入第一深层循环神经网络模块，得到第一语义差异向量；
将候选编码数据输入第二深层循环神经网络模块，得到第二语义差异向量；
将第一语义差异向量和所述第二语义差异向量进行拼接；
将拼接后的语义差异向量进行融合得到与所述全量差异向量维度对应的关键词差异向量。
在本发明实施例中，获取模块804被配置为：
将全量差异向量与所述关键词差异向量进行拼接；
计算拼接后向量的归一化值作为候选数据与所述用户请求数据之间的相似度；
根据相似度匹配出与所述用户请求数据对应的应答数据。
在本发明实施例中，召回模块801被配置为：
基于用户请求数据和语义召回策略对所述预设问答知识库进行召回得到语义相似度排名靠前的n个知识数据；
基于用户请求数据和字面召回策略对所述预设问答知识库进行召回得到字面相似度排名靠前的m个知识数据；
根据n个知识数据和所述m个知识数据得到所述候选数据。
传统的方案对于全量数据集主要通过ES等倒排索引技术实现文本字面含义上的召回，但该种方式无法获取文本更深层次的含义并召回。传统方案召回的候选数据覆盖率偏低，容易造成候选数据的漏召回，从而在精排序阶段无法获取最佳候选文本。本发明实施例在基于倒排索引类(基于ES数据库召回)的字面类数据召回的基础上，通过文本改写实现语义层面的数据召回。该召回设计可以和基于字面类的召回形成互补，减小相似文本语义编码过程中的语义偏差，召回数据的覆盖率更高，更有利于召回文本在后续任务下的排序处理。
传统的方案主要是通过提前构造关键词库进行文本关键词的后续识别。该方案在遇到一些新词时需要不断的更新关键词库，从而避免遗漏文本中的关键信息。对于这种新词导致的OOV问题，本发明实施例通过实体识别技术自动对文本中的关键信息进行识别。在此基础上，通过对关键实体进行词性分析，从而进一步的过滤实体识别获取到的关键信息，提升关键信息的质量。最后对于上述关键词信息，通过知识图谱获取可能的延伸特征信息。该方案在遇到OOV问题时能够保证关键信息的及时提取，而不用频繁的更新离线的关键词库数据，自动化程度更高，更有利于后续匹配准确率的提升。
现有最相似的技术在对候选文本精排序的实现方案上为了捕捉文本中的关键词信息等，在bert语义模型的最后一层增加了基于关键词的注意力层，通过文本依存分析实现关键信息的处理并融合bert模型的向量实现问题文本和候选文本的语义相似度判断。该融合方案是在一定程度上是可以获取文本的关键词信息用以提升排序的准确率。本发明实施例通过对文本的关键互信息直接编码并输入到多层RNN神经网络模型中，可以在初始层考虑文本间的关键互信息。将BERT原始语义模型和基于互信息的辅助模型在同一文本差异化维度上进行融合具有可行性。利用该融合的语义编码信息可以更好的判断请求文本和候选文本之间是否存在相关性以及相关性如何，更有利于对候选文本进行最终排序，并返回给用户最相关的知识库问答响应。
图9示例了一种终端的实体结构示意图，如图9所示，该终端可以包括：处理器(processor)910、收发机920、存储器(memory)930和通信总线940，其中，处理器910，收发机920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行智能问答匹配方法，该方法包括：根据用户请求数据对预设问答知识库进行召回，获取候选数据；将用户请求数据和所述候选数据输入精排序模型得到全量差异向量；提取候选数据和所述用户请求数据中的关键互信息文本特征，将关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量；根据全量差异向量与所述关键词差异向量获取与用户请求数据对应的应答数据。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的智能问答匹配方法，该方法包括：根据用户请求数据对预设问答知识库进行召回，获取候选数据；将用户请求数据和所述候选数据输入精排序模型得到全量差异向量；提取候选数据和所述用户请求数据中的关键互信息文本特征，将关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量；根据全量差异向量与所述关键词差异向量获取与用户请求数据对应的应答数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种智能问答匹配方法，其特征在于，包括：
根据用户请求数据对预设问答知识库进行召回，获取候选数据；
将所述用户请求数据和所述候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将所述用户请求数据与所述候选数据进行全量数据匹配；
提取所述候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将所述用户请求数据与所述候选数据进行关键数据匹配；
根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据。
2.根据权利要求1所述的智能问答匹配方法，其特征在于，所述将所述关键词输入关键互信息辅助模型得到关键词差异向量，包括：
将所述用户请求数据对应的关键词和所述候选数据对应的关键词进行编码，得到用户请求编码数据和候选编码数据；
将所述用户请求编码数据输入第一深层循环神经网络模块，得到第一语义差异向量；
将所述候选编码数据输入第二深层循环神经网络模块，得到第二语义差异向量；
将所述第一语义差异向量和所述第二语义差异向量进行拼接；
将拼接后的语义差异向量进行融合得到与所述全量差异向量维度对应的关键词差异向量。
3.根据权利要求1所述的智能问答匹配方法，其特征在于，所述根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据，包括：
将所述全量差异向量与所述关键词差异向量进行拼接；
计算拼接后向量的归一化值作为所述候选数据与所述用户请求数据之间的相似度；
根据所述相似度匹配出与所述用户请求数据对应的应答数据。
4.根据权利要求1所述的智能问答匹配方法，其特征在于，所述根据所述用户请求数据对预设问答知识库进行召回，获取候选数据，包括：
基于所述用户请求数据和语义召回策略对所述预设问答知识库进行召回得到语义相似度；
将所述语义相似度从高到低排序，选取排名靠前的n个知识数据；
基于所述用户请求数据和字面召回策略对所述预设问答知识库进行召回得到字面相似度排名靠前的m个知识数据；
根据所述n个知识数据和所述m个知识数据得到所述候选数据。
5.根据权利要求4所述的智能问答匹配方法，其特征在于，所述基于所述用户请求数据和语义召回策略对所述预设问答知识库进行召回得到语义相似度，包括：
对所述用户请求数据和预设问答知识库中的知识数据进行实体识别；
将识别到的实体进行归类，得到实体对应类型；
使用所述实体对应类型替换所述用户请求数据和预设问答知识库中的知识数据中的实体；
计算替换后用户请求数据和预设问答知识库中的知识数据的语义相似度。
6.根据权利要求1所述的智能问答匹配方法，其特征在于，所述提取所述候选数据和所述用户请求数据中的关键互信息文本特征，包括：
对所述候选数据和所述用户请求数据进行实体识别；
对识别到的实体进行词性分析，保存词性为名词和动词作为关键词个体信息；
将所述关键词个体信息输入由历史关键词构建的知识图谱得到关键词关联信息；
根据所述关键词个体信息和所述关键词关联信息得到关键互信息文本特征，所述关键互信息文本特征包括请求文本特征和候选文本特征。
7.根据权利要求3所述的智能问答匹配方法，其特征在于，所述计算拼接后向量的归一化值，包括：
将拼接后向量融合为一维向量；
使用softmax函数计算所述一维向量的归一化值。
8.一种智能问答匹配装置，其特征在于，包括：
召回模块，用于根据用户请求数据对预设问答知识库进行召回，获取候选数据；
第一输入模块，用于将所述用户请求数据和所述候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将所述用户请求数据与所述候选数据进行全量数据匹配；
第二输入模块，用于提取所述候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将所述用户请求数据与所述候选数据进行关键数据匹配；
获取模块，用于根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据。
9.一种终端，其特征在于，包括存储器，收发机，处理器；
存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
根据用户请求数据对预设问答知识库进行召回，获取候选数据；
将所述用户请求数据和所述候选数据输入精排序模型得到全量差异向量，所述精排序模型用于将所述用户请求数据与所述候选数据进行全量数据匹配；
提取所述候选数据和所述用户请求数据中的关键互信息文本特征，将所述关键互信息文本特征输入关键互信息辅助模型得到关键词差异向量，所述关键互信息辅助模型用于将所述用户请求数据与所述候选数据进行关键数据匹配；
根据所述全量差异向量与所述关键词差异向量获取与所述用户请求数据对应的应答数据。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述智能问答匹配方法。
CN202310964019.7A 2023-08-01 2023-08-01 智能问答匹配方法、装置、终端及存储介质 Pending CN117093686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310964019.7A CN117093686A (zh) 2023-08-01 2023-08-01 智能问答匹配方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310964019.7A CN117093686A (zh) 2023-08-01 2023-08-01 智能问答匹配方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN117093686A true CN117093686A (zh) 2023-11-21

Family

ID=88781364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310964019.7A Pending CN117093686A (zh) 2023-08-01 2023-08-01 智能问答匹配方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN117093686A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407515A (zh) * 2023-12-15 2024-01-16 湖南三湘银行股份有限公司 一种基于人工智能的答题系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407515A (zh) * 2023-12-15 2024-01-16 湖南三湘银行股份有限公司 一种基于人工智能的答题系统
CN117407515B (zh) * 2023-12-15 2024-04-30 湖南三湘银行股份有限公司 一种基于人工智能的答题系统

Similar Documents

Publication Publication Date Title
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN116628172A (zh) 基于知识图谱的政务服务领域多策略融合的对话方法
CN114743020B (zh) 一种结合标签语义嵌入和注意力融合的食物识别方法
CN113806482B (zh) 视频文本跨模态检索方法、装置、存储介质和设备
CN111881290A (zh) 一种基于加权语义相似度的配网多源网架实体融合方法
CN111651474B (zh) 一种自然语言至结构化查询语言的转换方法及系统
CN112036906B (zh) 一种数据处理方法、装置、设备
CN112765974B (zh) 一种业务辅助方法、电子设备及可读存储介质
CN116049397B (zh) 基于多模态融合的敏感信息发现并自动分类分级方法
CN113468317B (zh) 一种简历筛选方法、系统、设备和存储介质
CN117093686A (zh) 智能问答匹配方法、装置、终端及存储介质
CN111859916A (zh) 古诗关键词提取、诗句生成方法、装置、设备及介质
CN112395425A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
CN110275949A (zh) 用于贷款应用的自动应答方法及系统
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
CN116663525A (zh) 一种文档审核方法、装置、设备及存储介质
CN114997181A (zh) 一种基于用户反馈修正的智能问答方法及系统
CN115390806A (zh) 基于双模态联合建模的软件设计模式推荐方法
CN114330483A (zh) 数据处理方法及模型训练方法、装置、设备、存储介质
CN113434631A (zh) 基于事件的情感分析方法、装置、计算机设备及存储介质
CN116701752A (zh) 基于人工智能的新闻推荐方法、装置、电子设备及介质
CN116304038A (zh) 一种基于深度学习的教育资源场景化综合纠错方法
CN114780700A (zh) 基于机器阅读理解的智能问答方法、装置、设备及介质
CN116431746A (zh) 基于编码库的地址映射方法、装置、电子设备及存储介质
CN112668284B (zh) 一种法律文书分段方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination