CN117290481A - 基于深度学习的问答方法、装置、存储介质及电子设备 - Google Patents

基于深度学习的问答方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN117290481A
CN117290481A CN202311288588.0A CN202311288588A CN117290481A CN 117290481 A CN117290481 A CN 117290481A CN 202311288588 A CN202311288588 A CN 202311288588A CN 117290481 A CN117290481 A CN 117290481A
Authority
CN
China
Prior art keywords
knowledge
knowledge points
points
question
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311288588.0A
Other languages
English (en)
Inventor
姜涛
黄炳
贾玉红
张梦迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202311288588.0A priority Critical patent/CN117290481A/zh
Publication of CN117290481A publication Critical patent/CN117290481A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于深度学习的问答方法、装置、存储介质及电子设备。涉及人工智能领域，该方法包括：获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；将N个候选知识点与相关知识点进行拼接，得到提示词；将提示词输入目标模型，得到问题的回答内容。通过本申请，解决了相关技术中问答系统回复用户的回答内容不全面的问题。

Description

基于深度学习的问答方法、装置、存储介质及电子设备
技术领域
本申请涉及人工智能领域，具体而言，涉及一种基于深度学习的问答方法、装置、存储介质及电子设备。
背景技术
文档问答系统是指从大规模文档数据中查找到与用户问题相关答案的一套完整的系统。问答系统通过接收输入的问题Q，在给定文档集合D的情况下，自动提取文档集合D中的信息并生成对应的答案A。相关技术中，基于深度学习模型搭建的问答系统框架DrQA。该框架将问答系统分为两个阶段：第一个阶段称为召回阶段，系统会根据用户的提问从知识库中检索跟问题相关的文本片段或知识点；第二个阶段称为阅读理解阶段，利用深度学习的机器阅读理解模型，从对应的候选文档里将答案抽取出来。
相关技术中的文档问答召回阶段主要是以文档检索的方式实现，通过文档和问题的语义相关性，召回备选相关文档片段，再由用户筛选真正想要的答案。尤其在垂直领域，如制度检索、百科问答等领域，过文档检索实现的文档问答系统，因为受制于用户点击反馈量级远远不够，导致在召回候选集后，系统决策呈现哪个答案作为最终结果时，显得捉襟见肘，而产生的回答与问题相关性不高或答案不全成为常态。基于大模型的文档问答，通过大量的文本数据进行训练，提升了模型的理解能力及生成能力，能够理解自然语言中的语义、语法和上下文，并根据训练使用的背景知识，生成符合语法规则和逻辑连贯的回答。
然而，在垂直领域中，知识是在不断更新变化的，大模型底层模型的训练需要消耗极大的资源。在实际应用中，模型训练的频次难以跟上知识更新的频次，每次训练对于资源的消耗是极大的。为了保证大语言模型的问答能力的同时，避免领域内知识更新导致底层模型不能及时更新训练的，通常采用知识外挂的方式来提升模型在特定领域问答的表现能力。外挂的方式主要有两种：微调(fine-tunning)和上下文学习(in-context learning)。上下文学习方式中，模型的训练和应用是同时进行的，模型会根据输入的上下文信息生成输出，在生成答案时会考虑所有的输入信息，包括问题及问题的上下文。这种方式不需要单独的预训练和微调阶段，是综合成本更低的方式。
但采用上下文学习的方式外挂知识给大模型存在着一些弊端。受制于当前大模型对于提示词的限制，采用知识外挂的方式并不能将跟问题相关的所有知识点全部提供给大模型来生成答案，进而导致大模型生成的答案要么难以覆盖所有的知识点，或者回答的问题属于过时知识，失去了时效性。
针对相关技术中问答系统回复用户的回答内容不全面的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于深度学习的问答方法、装置、存储介质及电子设备，以解决相关技术中问答系统回复用户的回答内容不全面的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种基于深度学习的问答方法。该方法包括：获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；将N个候选知识点与相关知识点进行拼接，得到提示词；将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。
可选地，在从知识图谱中确定与每个候选知识点关联的相关知识点之前，该方法还包括：确定金融领域知识库中每个知识点的源文件，其中，源文件是记载知识点的初始文件，每个源文件包含多个章节，每个章节记载至少一个知识点；将每个源文件中属于同一章节的多个知识点确定为相互关联的知识点；将源文件的附属文件中的知识点和源文件中的知识点确定为相互关联的知识点；以每个知识点为节点，并在相互关联的知识点对应的节点之间连接边，得到多个节点和多条边，基于多个节点和多条边构建知识图谱。
可选地，目标模型由以下方式得到：获取基于金融领域知识库的历史问答记录，从历史问答记录中提取多个历史提示词和每个历史提示词对应的历史回答内容；将每个历史提示词和历史提示词对应的历史回答内容确定为一组训练样本，得到多组训练样本；基于多组训练样本训练自然语言处理模型，得到目标模型。
可选地，将N个候选知识点与相关知识点进行拼接，得到提示词包括：计算每个相关知识点与问题的语义的相似度，判断相似度是否大于等于相似度阈值；在相似度大于等于相似度阈值的情况下，将相关知识点确定为待拼接知识点；在相似度小于相似度阈值的情况下，将相关知识点确定为待淘汰知识点；将所有的待拼接知识点与N个候选知识点进行拼接，得到提示词。
可选地，在将所有的待拼接知识点与N个候选知识点进行拼接之前，该方法还包括：确定所有待拼接知识点的数量，判断数量是否大于等于数量阈值；在数量大于等于数量阈值的情况下，确定每个待拼接知识点的生命周期，其中，生命周期用于描述知识点的适用时限；将生命周期大于等于生命周期阈值的待拼接知识点更新为待淘汰知识点，得到更新后的待拼接知识点；基于更新后的待拼接知识点执行将所有的待拼接知识点与N个候选知识点进行拼接的步骤。
可选地，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点包括：从问题中提取多个关键词，从金融领域知识库中确定所有包含关键词的知识点；确定每个包含关键词的知识点的点击量，其中，点击量为知识点作为回答内容被用户点击的次数；将所有包含关键词的知识点按照点击量从大到小排序，得到目标序列，并从目标序列中提取前N个包含关键词的知识点确定为N个候选知识点。
可选地，在得到问题的回答内容之后，该方法还包括：采集用户对回答内容中包含的各个知识点的点击次数；基于点击次数更新金融领域知识库中点击次数对应的知识点的点击量。
为了实现上述目的，根据本申请的另一方面，提供了一种基于深度学习的问答装置。该装置包括：获取单元，用于获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；确定单元，用于从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；拼接单元，用于将N个候选知识点与相关知识点进行拼接，得到提示词；输入单元，用于将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。
通过本申请，采用以下步骤：获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；将N个候选知识点与相关知识点进行拼接，得到提示词；将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容，解决了相关技术中问答系统回复用户的回答内容不全面的问题。通过在确定问题从金融领域知识库召回的候选知识点后，从知识图谱中提取候选知识点的相关知识点，通过候选知识点与相关知识点拼接后的提示词从目标模型中获取回答内容，进而达到了提高问答系统回复用户的回答内容的全面性的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的基于深度学习的问答方法的流程图；
图2是根据本申请实施例提供的知识图谱的构建方法的流程图；
图3是根据本申请实施例提供的基于深度学习的问答装置的示意图；
图4是根据本申请实施例提供的电子设备的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
大模型：大模型是指参数量巨大的深度学习模型，如BERT(BidirectionalEncoder Representation on from Transformers，自然语言处理模型)、GPT(GenerativePre-Training，一种自然语言处理模型)等。这些模型通常具有亿级参数，并在大规模的数据上进行训练，从而可以更好地拟合复杂的数据分布，更好地捕捉语言中的长距离依赖关系，从而提高了语言理解和生成的能力。大模型的应用范围非常广泛，包括但不限于自然语言处理、计算机视觉、语音识别等领域。
知识图谱：知识图谱是一种语义网络，表示现实世界的实体(即对象、事件、状况或概念)的网络，并表明实体之间的关系。这些信息存储在图数据库中，并以图形结构直观呈现出来，主要由三个部分组成：节点、边和标签。对象作为节点，边定义节点之间的关系。
下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的基于深度学习的问答方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数。
具体地，用户发出的金融领域的问题，例如“我想了解xx年xx月的农业贷款相关举措”，根据问题中的“农业”、“贷款”和“举措”等关键词从金融领域知识库中检索出与上述关键词相关的知识点，也即问答系统的知识召回阶段。N可以是人为设置的知识点召回数量。通过问题初步召回N个候选知识点可能无法涵盖对问题的所有解答范围，因此本实施例提供的问答方法除了在召回阶段召回候选知识点以外，还会根据知识图谱提取与候选知识点关联的相关知识点。需要说明的是，本实施例提供的基于深度学习的问答方法除了可以应用在金融领域以外，经过对应领域的语料库进行训练，也可以应用到其他领域的问答方法中。
步骤S102，从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系。
具体地，知识图谱可以为预先基于金融领域知识库中的所有知识点进行搭建的图谱。通过统计在金融领域知识库中所有知识点的关联关系进而构建知识图谱。知识点之间的关联关系可以包括同属于某一篇文件的某个章节的知识点，还可以包括某个文件的附件中的知识点与源文件的中的知识点。在确定各个知识点之间的关联关系后，以知识点为节点，以关联关系连接节点之间的边，从而搭建知识图谱。搭建知识图谱后，从知识图谱中确定每个候选知识点关联的相关知识点。
步骤S103，将N个候选知识点与相关知识点进行拼接，得到提示词。
具体地，为了使回答用户的问题的回答内容涵盖的知识点更广，将N个候选知识点与相关知识点进行拼接，得到提示词，进而以提示词作为搜索条件从大模型中检索回答内容。
步骤S104，将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。
具体地，目标模型可以为大模型，如BERT和GPT等。目标模型可以为基于金融领域知识库作为语料库进行训练得到的自然语言处理模型。通过将包含候选知识点和相关知识点的提示词输入目标模型，基于目标模型的语义理解能力得到问题的回答内容。
本申请实施例提供的基于深度学习的问答方法，通过获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；将N个候选知识点与相关知识点进行拼接，得到提示词；将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容，解决了相关技术中问答系统回复用户的回答内容不全面的问题。通过在确定问题从金融领域知识库召回的候选知识点后，从知识图谱中提取候选知识点的相关知识点，通过候选知识点与相关知识点拼接后的提示词从目标模型中获取回答内容，进而达到了提高问答系统回复用户的回答内容的全面性的效果。
通过构建知识图谱确定相关知识点，进而扩大提示词涵盖的知识点范围，图2是根据本申请实施例提供的知识图谱的构建方法的流程图，如图2所示，可选地，在本申请实施例提供的基于深度学习的问答方法中，在从知识图谱中确定与每个候选知识点关联的相关知识点之前，该方法还包括：步骤S201，确定金融领域知识库中每个知识点的源文件，其中，源文件是记载知识点的初始文件，每个源文件包含多个章节，每个章节记载至少一个知识点；步骤S202，将每个源文件中属于同一章节的多个知识点确定为相互关联的知识点；步骤S203，将源文件的附属文件中的知识点和源文件中的知识点确定为相互关联的知识点；步骤S204，以每个知识点为节点，并在相互关联的知识点对应的节点之间连接边，得到多个节点和多条边，基于多个节点和多条边构建知识图谱。
具体地，记录在金融领域知识库中的各个知识点均来源于各自的源文件，也即最初记载该知识点的文件。源文件中可能包含多个章节，每个章节可能包含多个知识点，因而将来源于相同源文件的相同章节的知识点确定为相互关联的知识点，部分源文件可能存在附属文件，因此将源文件中的知识点以及附属文件中的知识点确定为相互关联的知识点。知识图谱擅长存储实体间的关系，以三元组的形式存储知识点之间的关联关系。
为了构建知识图谱需要对金融领域知识库中的知识点进行预处理。在知识点预处理阶段，将知识点之间的关联关系存储在知识图谱中，并将知识点在文档中的关系对应成不同的处理形式，例如，将当前问题召回的候选知识点记作ck(candidate_knowledge)，从知识图谱中查找到的相关知识点记作rk(related_knowledge)。各个知识点之间存在前后置关系、更新关系以及衍生关系。前后置关系是说明rk与ck同时归属于同一知识点，因此需要将rk ck根据前后置关系拼接之后拼接到提示词中；更新关系是以最贴切的知识点为准，选择答案所需问答窗口内的知识点，如问答最新的规则制度，则选取最新版本的知识点提供给后续的流程；衍生关系是rk为ck衍生出的知识点，则需要在提示词中提示ck及rk的衍生关系，便于利用大模型的理解能力，提升答案的覆盖率。在确定了各个知识点之间的关系后，以知识点作为节点，在相互关联的知识点对应的节点之间连接边，从而构建知识图谱。本实施例通过构建知识图谱进而基于候选知识点筛选相关知识点。
为了基于提示词获得问题的回答内容，需要训练目标模型，可选地，在本申请实施例提供的基于深度学习的问答方法中，目标模型由以下方式得到：获取基于金融领域知识库的历史问答记录，从历史问答记录中提取多个历史提示词和每个历史提示词对应的历史回答内容；将每个历史提示词和历史提示词对应的历史回答内容确定为一组训练样本，得到多组训练样本；基于多组训练样本训练自然语言处理模型，得到目标模型。
具体地，历史问答记录可以为针对金融领域知识库中的知识点作为回答内容选取范围，选取金融领域相关的问题组成的问答记录。针对每一次问答，以问题在召回阶段召回候选知识点后拼接的历史提示词，以及问答中的历史回答内容作为训练样本，根据多组训练样本训练自然语言处理模型，得到目标模型。本实施例通过训练目标模型从而基于提示词自动反馈回答内容。
用于拼接的候选知识点需要经过筛选，可选地，在本申请实施例提供的基于深度学习的问答方法中，将N个候选知识点与相关知识点进行拼接，得到提示词包括：计算每个相关知识点与问题的语义的相似度，判断相似度是否大于等于相似度阈值；在相似度大于等于相似度阈值的情况下，将相关知识点确定为待拼接知识点；在相似度小于相似度阈值的情况下，将相关知识点确定为待淘汰知识点；将所有的待拼接知识点与N个候选知识点进行拼接，得到提示词。
具体地，在召回阶段召回与问题相关的前N个候选知识点，并基于知识图谱确定每个候选知识点的相关知识点，对候选知识点拼接关联知识点后，整体的长度会过原始的长度，而查询知识图谱的计算资源开销也是较大的，因此采用末尾淘汰机制，优先处理相关性更高的知识点，也即相似度大于等于相似度阈值的相关知识点，拼接处理其相关联的知识点，如果超过长度限制，则保证知识点完整性，舍弃未处理的候选集，也即待淘汰知识点，生成最终版提示词。本实施例通过将相关知识点与候选知识点进行拼接，增加了语义相关性不高但是图谱关系更重要的知识片段被激活唤醒的概率，防止候选知识点不被召回导致长尾问题；同时补全提示词，可以使得最终答案保证相关性的同时，提升答案的覆盖率。
通过待拼接知识点的生命周期淘汰时效性较差的知识点，可选地，在本申请实施例提供的基于深度学习的问答方法中，在将所有的待拼接知识点与N个候选知识点进行拼接之前，该方法还包括：确定所有待拼接知识点的数量，判断数量是否大于等于数量阈值；在数量大于等于数量阈值的情况下，确定每个待拼接知识点的生命周期，其中，生命周期用于描述知识点的适用时限；将生命周期大于等于生命周期阈值的待拼接知识点更新为待淘汰知识点，得到更新后的待拼接知识点；基于更新后的待拼接知识点执行将所有的待拼接知识点与N个候选知识点进行拼接的步骤。
具体地，由于知识点是实时更新的，因此在确定提示词前，需要保障待拼接知识点的生命周期是符合该知识的时效的。例如，查询农业贷款领域的相关举措，a待拼接知识点的生命周期2023年的3月到6月，而生命周期阈值则是2023年的7月，也即用户要查询的是2023年7月以后的农业贷款领域的相关举措，a待拼接知识点不符合该问题的时效性的要求。因此需要将a待拼接知识点更新为待淘汰知识点，将a待拼接知识点从用于拼接提示词的知识点中剔除。本实施例通过监控待拼接知识点的时效性保障用户查到的回答内容的准确性和有效性。
确定候选知识点可以基于问题中的关键词从金融领域知识库筛选，可选地，在本申请实施例提供的基于深度学习的问答方法中，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点包括：从问题中提取多个关键词，从金融领域知识库中确定所有包含关键词的知识点；确定每个包含关键词的知识点的点击量，其中，点击量为知识点作为回答内容被用户点击的次数；将所有包含关键词的知识点按照点击量从大到小排序，得到目标序列，并从目标序列中提取前N个包含关键词的知识点确定为N个候选知识点。
具体地，当接收到用户的问题后，从候选集(也即金融领域知识库)中召回与问题的语义相关的候选答案(也即候选知识点)，为了保证回答内容的全面性，包括在问答系统冷启动阶段，无法确定具体哪条知识点是最相关的答案，往往会召回相似度最高的前N的候选知识点，例如，从问题中提取出问题包含的所有关键词，从金融领域知识库中筛选出所有包含关键词的知识点，根据每个知识点的点击量作为与问题相关的确定标准，将所有包含关键词的知识点按照点击量从大到小排序得到目标序列，以目标序列中的前N个包含关键词的知识点作为N个候选知识点。本实施例通过知识点的点击量筛选候选知识点，保障候选知识点与问题的相关性更高。
可选地，在本申请实施例提供的基于深度学习的问答方法中，在得到问题的回答内容之后，该方法还包括：采集用户对回答内容中包含的各个知识点的点击次数；基于点击次数更新金融领域知识库中点击次数对应的知识点的点击量。
具体地，金融领域知识库中的所有知识点的点击量是实时更新的，每经历过一次问答生成回答内容后，根据用户对回答内容中包含的各个知识点的点击次数对金融领域知识库中点击次数对应的知识点的点击量进行更新。本实施例通过及时更新金融领域知识库中知识点的点击量，从而使提取的候选知识点与问题的相关性更高。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种基于深度学习的问答装置，需要说明的是，本申请实施例的基于深度学习的问答装置可以用于执行本申请实施例所提供的用于基于深度学习的问答方法。以下对本申请实施例提供的基于深度学习的问答装置进行介绍。
图2是根据本申请实施例提供的基于深度学习的问答装置的示意图。如图2所示，该装置包括：
获取单元10，用于获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；
第一确定单元20，用于从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；
拼接单元30，用于将N个候选知识点与相关知识点进行拼接，得到提示词；
输入单元40，用于将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。
本申请实施例提供的基于深度学习的问答装置，通过获取单元10，获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；第一确定单元20，从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；拼接单元30，将N个候选知识点与相关知识点进行拼接，得到提示词；输入单元40，将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容，解决了相关技术中问答系统回复用户的回答内容不全面的问题，通过在确定问题从金融领域知识库召回的候选知识点后，从知识图谱中提取候选知识点的相关知识点，通过候选知识点与相关知识点拼接后的提示词从目标模型中获取回答内容，进而达到了提高问答系统回复用户的回答内容的全面性的效果。
可选地，在本申请实施例提供的基于深度学习的问答装置中，该装置还包括：第二确定单元，用于确定金融领域知识库中每个知识点的源文件，其中，源文件是记载知识点的初始文件，每个源文件包含多个章节，每个章节记载至少一个知识点；第三确定单元，用于将每个源文件中属于同一章节的多个知识点确定为相互关联的知识点；第四确定单元，用于将源文件的附属文件中的知识点和源文件中的知识点确定为相互关联的知识点；构建单元，用于以每个知识点为节点，并在相互关联的知识点对应的节点之间连接边，得到多个节点和多条边，基于多个节点和多条边构建知识图谱。
可选地，在本申请实施例提供的基于深度学习的问答装置中，目标模型由以下方式得到：获取基于金融领域知识库的历史问答记录，从历史问答记录中提取多个历史提示词和每个历史提示词对应的历史回答内容；将每个历史提示词和历史提示词对应的历史回答内容确定为一组训练样本，得到多组训练样本；基于多组训练样本训练自然语言处理模型，得到目标模型。
可选地，在本申请实施例提供的基于深度学习的问答装置中，拼接单元30包括：计算模块，用于计算每个相关知识点与问题的语义的相似度，判断相似度是否大于等于相似度阈值；第一确定模块，用于在相似度大于等于相似度阈值的情况下，将相关知识点确定为待拼接知识点；第二确定模块，用于在相似度小于相似度阈值的情况下，将相关知识点确定为待淘汰知识点；拼接模块，用于将所有的待拼接知识点与N个候选知识点进行拼接，得到提示词。
可选地，在本申请实施例提供的基于深度学习的问答装置中，该装置还包括：第五确定单元，用于确定所有待拼接知识点的数量，判断数量是否大于等于数量阈值；第六确定单元，用于在数量大于等于数量阈值的情况下，确定每个待拼接知识点的生命周期，其中，生命周期用于描述知识点的适用时限；第一更新单元，用于将生命周期大于等于生命周期阈值的待拼接知识点更新为待淘汰知识点，得到更新后的待拼接知识点；执行单元，用于基于更新后的待拼接知识点执行将所有的待拼接知识点与N个候选知识点进行拼接的步骤。
可选地，在本申请实施例提供的基于深度学习的问答装置中，获取单元10包括：提取模块，用于从问题中提取多个关键词，从金融领域知识库中确定所有包含关键词的知识点；第三确定模块，用于确定每个包含关键词的知识点的点击量，其中，点击量为知识点作为回答内容被用户点击的次数；排序模块，用于将所有包含关键词的知识点按照点击量从大到小排序，得到目标序列，并从目标序列中提取前N个包含关键词的知识点确定为N个候选知识点。
可选地，在本申请实施例提供的基于深度学习的问答装置中，该装置还包括：采集单元，用于采集用户对回答内容中包含的各个知识点的点击次数；第二更新单元，用于基于点击次数更新金融领域知识库中点击次数对应的知识点的点击量。
基于深度学习的问答装置包括处理器和存储器，上述获取单元10、第一确定单元20、拼接单元30和输入单元40等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高问答系统回复用户的回答内容的全面性。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现基于深度学习的问答方法。
本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行基于深度学习的问答方法。
图4是根据本申请实施例提供的电子设备的示意图。如图4所示，电子设备401包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；将N个候选知识点与相关知识点进行拼接，得到提示词；将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取用户发出的金融领域的问题，基于问题从金融领域知识库中提取与问题的语义关联的N个候选知识点，其中，N为正整数；从知识图谱中确定与每个候选知识点关联的相关知识点，其中，知识图谱包含多个节点和多条边，每个节点表征金融领域知识库中的一个知识点，每条边连接两个节点，边表征连接的两个节点对应的知识点之间存在关联关系；将N个候选知识点与相关知识点进行拼接，得到提示词；将提示词输入目标模型，得到问题的回答内容，其中，目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于深度学习的问答方法，其特征在于，包括：
获取用户发出的金融领域的问题，基于所述问题从金融领域知识库中提取与所述问题的语义关联的N个候选知识点，其中，N为正整数；
从知识图谱中确定与每个候选知识点关联的相关知识点，其中，所述知识图谱包含多个节点和多条边，每个节点表征所述金融领域知识库中的一个知识点，每条边连接两个节点，所述边表征连接的两个节点对应的知识点之间存在关联关系；
将所述N个候选知识点与相关知识点进行拼接，得到提示词；
将所述提示词输入目标模型，得到所述问题的回答内容，其中，所述目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。
2.根据权利要求1所述的方法，其特征在于，在从知识图谱中确定与每个候选知识点关联的相关知识点之前，所述方法还包括：
确定所述金融领域知识库中每个知识点的源文件，其中，所述源文件是记载所述知识点的初始文件，每个源文件包含多个章节，每个章节记载至少一个知识点；
将每个源文件中属于同一章节的多个知识点确定为相互关联的知识点；
将所述源文件的附属文件中的知识点和所述源文件中的知识点确定为相互关联的知识点；
以每个知识点为节点，并在相互关联的知识点对应的节点之间连接边，得到多个节点和多条边，基于所述多个节点和所述多条边构建知识图谱。
3.根据权利要求1所述的方法，其特征在于，所述目标模型由以下方式得到：
获取基于所述金融领域知识库的历史问答记录，从所述历史问答记录中提取多个历史提示词和每个历史提示词对应的历史回答内容；
将每个历史提示词和所述历史提示词对应的历史回答内容确定为一组训练样本，得到多组训练样本；
基于所述多组训练样本训练自然语言处理模型，得到所述目标模型。
4.根据权利要求1所述的方法，其特征在于，将所述N个候选知识点与相关知识点进行拼接，得到提示词包括：
计算每个相关知识点与所述问题的语义的相似度，判断所述相似度是否大于等于相似度阈值；
在所述相似度大于等于所述相似度阈值的情况下，将所述相关知识点确定为待拼接知识点；
在所述相似度小于所述相似度阈值的情况下，将所述相关知识点确定为待淘汰知识点；
将所有的待拼接知识点与所述N个候选知识点进行拼接，得到所述提示词。
5.根据权利要求4所述的方法，其特征在于，在将所有的待拼接知识点与所述N个候选知识点进行拼接之前，所述方法还包括：
确定所有待拼接知识点的数量，判断所述数量是否大于等于数量阈值；
在所述数量大于等于所述数量阈值的情况下，确定每个待拼接知识点的生命周期，其中，所述生命周期用于描述知识点的适用时限；
将生命周期大于等于生命周期阈值的待拼接知识点更新为待淘汰知识点，得到更新后的待拼接知识点；
基于更新后的待拼接知识点执行将所有的待拼接知识点与所述N个候选知识点进行拼接的步骤。
6.根据权利要求1所述的方法，其特征在于，基于所述问题从金融领域知识库中提取与所述问题的语义关联的N个候选知识点包括：
从所述问题中提取多个关键词，从所述金融领域知识库中确定所有包含所述关键词的知识点；
确定每个包含所述关键词的知识点的点击量，其中，所述点击量为所述知识点作为回答内容被用户点击的次数；
将所有包含所述关键词的知识点按照点击量从大到小排序，得到目标序列，并从所述目标序列中提取前N个包含所述关键词的知识点确定为所述N个候选知识点。
7.根据权利要求6所述的方法，其特征在于，在得到所述问题的回答内容之后，所述方法还包括：
采集所述用户对所述回答内容中包含的各个知识点的点击次数；
基于所述点击次数更新所述金融领域知识库中所述点击次数对应的知识点的点击量。
8.一种基于深度学习的问答装置，其特征在于，包括：
获取单元，用于获取用户发出的金融领域的问题，基于所述问题从金融领域知识库中提取与所述问题的语义关联的N个候选知识点，其中，N为正整数；
确定单元，用于从知识图谱中确定与每个候选知识点关联的相关知识点，其中，所述知识图谱包含多个节点和多条边，每个节点表征所述金融领域知识库中的一个知识点，每条边连接两个节点，所述边表征连接的两个节点对应的知识点之间存在关联关系；
拼接单元，用于将所述N个候选知识点与相关知识点进行拼接，得到提示词；
输入单元，用于将所述提示词输入目标模型，得到所述问题的回答内容，其中，所述目标模型由多组训练样本训练得到，每组训练样本包括历史提示词和历史回答内容。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制所述非易失性存储介质所在的设备执行权利要求1至7中任意一项所述的基于深度学习的问答方法。
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的基于深度学习的问答方法。
CN202311288588.0A 2023-10-07 2023-10-07 基于深度学习的问答方法、装置、存储介质及电子设备 Pending CN117290481A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311288588.0A CN117290481A (zh) 2023-10-07 2023-10-07 基于深度学习的问答方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311288588.0A CN117290481A (zh) 2023-10-07 2023-10-07 基于深度学习的问答方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN117290481A true CN117290481A (zh) 2023-12-26

Family

ID=89240575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311288588.0A Pending CN117290481A (zh) 2023-10-07 2023-10-07 基于深度学习的问答方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117290481A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591658A (zh) * 2024-01-17 2024-02-23 翌东寰球(深圳)数字科技有限公司 一种智能问答方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591658A (zh) * 2024-01-17 2024-02-23 翌东寰球(深圳)数字科技有限公司 一种智能问答方法、装置、设备及存储介质
CN117591658B (zh) * 2024-01-17 2024-03-29 翌东寰球(深圳)数字科技有限公司 一种智能问答方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US20180349355A1 (en) Artificial Intelligence Based Method and Apparatus for Constructing Comment Graph
US10102256B2 (en) Internet search result intention
CN110321408B (zh) 基于知识图谱的搜索方法、装置、计算机设备和存储介质
US10210211B2 (en) Code searching and ranking
US20210263974A1 (en) Category tag mining method, electronic device and non-transitory computer-readable storage medium
US20160063102A1 (en) Searching and ranking of code in videos
CN110765348B (zh) 一种热词的推荐方法、装置、电子设备及存储介质
CN117290481A (zh) 基于深度学习的问答方法、装置、存储介质及电子设备
CN112733024A (zh) 一种信息推荐的方法及装置
CN110968776A (zh) 政策知识的推荐方法、装置存储介质及处理器
CN112907358A (zh) 贷款用户信用评分方法、装置、计算机设备和存储介质
CN116737915B (zh) 基于知识图谱的语义检索方法、装置、设备及存储介质
CN117033744A (zh) 数据查询方法、装置、存储介质以及电子设备
CN116932694A (zh) 一种针对知识库的智能化检索方法、设备及存储介质
CN116028626A (zh) 文本匹配方法、装置、存储介质以及电子设备
CN111488510A (zh) 小程序相关词的确定方法、装置、处理设备及搜索系统
KR20240020166A (ko) Esg 보조 툴을 이용하여 정형화된 esg 데이터로 기계학습 모델을 학습하는 방법 및 기계학습 모델로 자동완성된 esg 문서를 생성하는 서비스 서버
CN116974554A (zh) 代码数据处理方法、装置、计算机设备和存储介质
CN114580533A (zh) 特征提取模型的训练方法、装置、设备、介质及程序产品
Hong et al. An efficient tag recommendation method using topic modeling approaches
CN113641817A (zh) 一种基于主题和时间线摘要的报告生成方法及设备
CN117556263B (zh) 样本构建方法、代码生成方法、电子设备及存储介质
CN117828064B (zh) 一种问答系统及问答系统的构建方法
CN113807429B (zh) 企业的分类方法、装置、计算机设备和存储介质
CN116932718A (zh) 一种问题生成模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination