CN117591658A - 一种智能问答方法、装置、设备及存储介质 - Google Patents

一种智能问答方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117591658A
CN117591658A CN202410063537.6A CN202410063537A CN117591658A CN 117591658 A CN117591658 A CN 117591658A CN 202410063537 A CN202410063537 A CN 202410063537A CN 117591658 A CN117591658 A CN 117591658A
Authority
CN
China
Prior art keywords
knowledge
information
problem information
historical
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410063537.6A
Other languages
English (en)
Other versions
CN117591658B (zh
Inventor
廖少毅
曹强
董伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yidong Huanqiu Shenzhen Digital Technology Co ltd
Original Assignee
Yidong Huanqiu Shenzhen Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yidong Huanqiu Shenzhen Digital Technology Co ltd filed Critical Yidong Huanqiu Shenzhen Digital Technology Co ltd
Priority to CN202410063537.6A priority Critical patent/CN117591658B/zh
Publication of CN117591658A publication Critical patent/CN117591658A/zh
Application granted granted Critical
Publication of CN117591658B publication Critical patent/CN117591658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种智能问答方法、装置、设备及存储介质，该方法包括：将问题信息的第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；对问题信息进行关键词提取，得到问题信息中的关键词；将关键词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词之间的相似度大于第二预设比例阈值的知识内容；通过智能问答模型对问题信息、相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容进行处理，得到回复信息，并输出回复信息。采用本发明实施例，能够有效提高回复信息的准确性。

Description

一种智能问答方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种智能问答方法、装置、设备及存储介质。
背景技术
随着人工智能技术的快速发展，人机对话也从曾经的不可想象变为了一种现实。传统的智能问答模型是通用型模型，由于缺乏垂直行业的知识数据，在专业知识问答场景的表现不尽如人意，容易出现多次重复，虚假信息等问题，导致智能问答模型输出的回复信息的准确性较低。
发明内容
本申请实施例所要解决的技术问题在于，提供一种智能问答方法、装置、设备及存储介质，能够有效提高回复信息的准确性。
第一方面，本申请实施例提供了一种智能问答方法，包括：
在接收到问题信息之后，获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；
对所述问题信息进行关键词提取，得到所述问题信息中的关键词；
将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；
通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；
输出所述回复信息。
在一种可选的实施方式中，所述通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息，包括：
构建提示语句，所述提示语句包括所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容；
调用所述智能问答模型，基于所述提示语句对所述问题信息进行提示处理，得到所述回复信息。
在一种可选的实施方式中，所述方法还包括：
获取预设时间段内的历史数据，所述历史数据包括历史问题信息和所述历史问题信息对应的历史回复信息；
通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息；
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型。
在一种可选的实施方式中，所述历史数据包括历史问题信息、所述历史问题信息对应的历史回复信息，以及所述历史问题信息的上下文信息；
所述通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息，包括：
通过所述初始智能问答模型对所述历史问题信息和所述上下文信息进行处理，得到所述历史问题信息的回复信息。
在一种可选的实施方式中，所述按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型，包括：
在所述初始智能问答模型中增加预设参数；其中，所述预设参数的维度与所述初始智能问答模型的预优化参数的维度相同，且所述预设参数的参数量小于所述预优化参数的参数量；
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型。
在一种可选的实施方式中，所述预设参数包括第一预设参数和第二预设参数，其中所述第一预设参数的行数或者列数，与所述预优化参数的行数相同，且所述第二预设参数的行数或者列数，与所述预优化参数的列数相同，所述第一预设参数的参数量小于所述预优化参数的参数量，所述第二预设参数的参数量小于所述预优化参数的参数量；
所述按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型，包括：
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的第一预设参数以及第二预设参数进行调整，得到所述智能问答模型。
在一种可选的实施方式中，所述方法还包括：
通过预设应用程序接口采集至少一个知识领域的知识内容；
针对采集到的任一知识领域的知识内容，对所述任一知识领域的知识内容进行数据清洗，得到数据清洗后的知识内容；
对所述数据清洗后的知识内容进行特征提取，得到所述数据清洗后的知识内容的第二向量特征；
将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中。
在一种可选的实施方式中，所述方法还包括：
获取所述数据清洗后的知识内容的第二向量特征与所述任一知识领域对应的知识库中的各个第二向量特征之间的第一相似度；
若各个第一相似度均小于第三预设比例阈值，则触发执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
在一种可选的实施方式中，所述方法还包括：
对所述数据清洗后的知识内容进行关键词提取，得到所述数据清洗后的知识内容中的关键词；
获取所述数据清洗后的知识内容中的关键词与所述任一知识领域对应的知识库中的各个知识内容的关键词之间的第二相似度；
所述若各个第一相似度均小于第三预设比例阈值，则触发执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作，包括：
若各个第一相似度均小于第三预设比例阈值，且各个第二相似度均小于第四预设比例阈值，则触发执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
第二方面，本申请实施例提供了一种智能问答装置，该装置包括：
输入单元，用于接收问题信息；
处理单元，用于获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；
所述处理单元，还用于对所述问题信息进行关键词提取，得到所述问题信息中的关键词；
所述处理单元，还用于将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；
所述处理单元，还用于通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；
输出单元，用于输出所述回复信息。
第三方面，本申请实施例提供了一种计算机设备，该计算机设备包括存储器、通信接口以及处理器，其中，存储器、通信接口和处理器相互连接；存储器存储有计算机程序，处理器调用所述存储器中存储的计算机程序，用于实现上述第一方面的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面的方法。
第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行上述第一方面所述的方法。
第六方面，本申请实施例提供了一种计算机程序，该计算机程序包括计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行上述第一方面所述的方法。
在本申请实施例中，可以将垂直行业领域的知识内容向量化并存入该领域对应的知识库中，然后将用户提出的问题信息向量化，并查询向量数据库得到至少一条匹配的第二向量特征。另外，可以通过关键词提取算法从用户提出的问题信息中提取关键词，并用于筛选匹配的知识内容。进一步的，基于匹配的知识内容构建提示语句（Prompt），然后调用智能问答模型得到该问题信息的回复信息，能够有效提高回复信息的准确性。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1是本申请实施例提供的一种智能问答系统的架构示意图；
图2是本申请实施例提供的一种智能问答方法的流程示意图；
图3是本申请实施例提供的一种基于本地知识库的大语言模型系统的结构示意图；
图4是本申请实施例提供的另一种智能问答方法的流程示意图；
图5是本申请实施例提供的一种会话界面的示意图；
图6是本申请实施例提供的另一种会话界面的示意图；
图7是本申请实施例提供的一种智能问答装置的结构示意图；
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。
本申请实施例提供一种智能问答系统，该智能问答系统可以包括至少一个知识领域对应的知识库，以及智能问答模型。计算机设备在接收到问题信息之后，可以获取问题信息的第一向量特征，并将第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；对问题信息进行关键词提取，得到问题信息中的关键词；将关键词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词之间的相似度大于第二预设比例阈值的知识内容；通过智能问答模型对问题信息、相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容进行处理，得到问题信息的回复信息，并输出回复信息。
其中，任一知识领域对应的知识库存储有该知识领域的专业化的知识内容，例如，对于教育知识领域而言，教育知识领域的专业化的知识内容可以包括教育学的定义以及体育学的定义等；对于医疗知识领域而言，医疗知识领域的专业化的知识内容可以包括心脏造影的具体内容，高血压的定义等。
任一知识领域对应的知识库还存储有各个知识内容的第二向量特征。具体的，针对任一知识领域对应的知识库中存储的任一知识内容，可以对该知识内容进行特征提取，得到该知识内容的第二向量特征，进而将该知识内容的第二向量特征存储至该知识领域对应的知识库中。
其中，智能问答模型可以包括大语言模型（Large Language Model，LLM）或者ChatGPT（Chat Generative Pre-trained Transformer）模型等。
LLM也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。LLM可以在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析、智能问答等等。
ChatGPT（Chat Generative Pre-trained Transformer），是OpenAI研发的一款聊天机器人程序。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够基于在预训练阶段所见的模式和统计规律，来生成回答，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流。Transformer架构使得ChatGPT能够通过分析输入的语料来理解人类语言的语法、语义，并且按照语法生成流畅且拥有较强理解力的应答。
可选的，大语言模型可以以GPT模型为基础。GPT（Generative Pre-Training）是一种实现LLM的技术，G是生成（Generative）、P是预训练（ Pre-trained）、T是模型结构（Transformer）。Transformer是一种基于注意力机制（attention mechanism）的序列到序列（sequence-to-sequence）模型。传统的序列到序列模型（如循环神经网络（RecurrentNeural Network，RNN））存在着信息传递效率低、难以并行计算等问题，而Transformer通过引入注意力机制来解决这些问题。注意力机制允许模型根据序列中的其他位置调整每个位置的表示，从而提高模型对上下文的理解能力。与RNN相比，Transformer能够更好地处理长序列，并且可以使用并行计算来提高训练速度。注意力机制是一种用于机器学习和自然语言处理的技术，它可以根据输入的信息动态地将注意力集中在不同的位置，从而使得模型能够更好地理解和处理输入的序列数据。序列到序列是一种常见的神经网络架构，用于将一个序列映射到另一个序列。它由两个主要组件组成：编码器和解码器。编码器将输入序列转换为一个向量表示，解码器则将这个向量解码成目标序列。在这个过程中，模型会学习到输入序列和输出序列之间的对应关系，从而实现转换。
其中，输入序列和输出序列之间的对应关系可以如公式V所示。
Q可以表示Query（即输入矩阵与参数矩阵相乘的结果），K可以表示Key（即输入矩阵与参数矩阵/>相乘的结果），V可以表示Value（输入矩阵与参数矩阵/>相乘的结果），T可以表示矩阵转置，dk可以表示矩阵K的维度大小。
在一个示例中，计算机设备可以为智能客服，任一客户端可以通过会话界面获取用户提交的问题信息，然后将该问题信息发送至某个智能客服。该智能客服在接收到问题信息之后，可以获取问题信息的第一向量特征，并将第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；对问题信息进行关键词提取，得到问题信息中的关键词；将关键词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词之间的相似度大于第二预设比例阈值的知识内容；通过智能问答模型对问题信息、相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容进行处理，得到问题信息的回复信息，并将回复信息发送至该客户端。客户端接收到智能客服发送的回复信息之后，可以在该会话界面中显示该回复信息。
在另一个示例中，计算机设备可以为聊天机器人，聊天机器人可以通过用户界面获取用户提交的问题信息。然后，聊天机器人可以获取问题信息的第一向量特征，并将第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；对问题信息进行关键词提取，得到问题信息中的关键词；将关键词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词之间的相似度大于第二预设比例阈值的知识内容；通过智能问答模型对问题信息、相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容进行处理，得到问题信息的回复信息，并在该用户界面显示该回复信息。
本申请实施例提供的智能问答方法的执行主体可以为计算机设备，计算机设备包括但不限于服务端（例如智能客服）、终端（例如聊天机器人）等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述智能问答方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台或者内容发布平台等。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、 以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例提供的智能问答方法可以广泛应用在智能客服、智慧医疗、金融分析、员工培训、学校教育等领域。
请参见图1，图1是本申请实施例提供的一种智能问答系统的架构示意图。如图1所示，该智能问答系统可以包括本地知识库、向量数据库、Embeddings模型（嵌入模型）以及自研大语言模型（即本申请提及的大语言模型）。
本地知识库存储有至少一个知识领域的专业化的知识内容。例如，可以通过网络爬虫以及应用程序接口（Application Programming Interface，API）周期性收集专业化的知识内容，并将清洗整理好的知识内容保存到本地知识库当中。
另外，可以将本地知识库存储的各个知识内容向量化存储在向量数据库中，即针对任一知识内容，可以对该知识内容进行特征提取，得到该知识内容的第二向量特征，进而将该知识内容的第二向量特征存储至该向量数据库中。
Embeddings模型用于对问题信息进行向量化处理。例如，在获取到用户提交的问题信息之后，可以获取问题信息的第一向量特征，并将第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征。
还可以对问题信息进行关键词提取，得到问题信息中的关键词，并将关键词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词之间的相似度大于第二预设比例阈值的知识内容。
在获取到相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容之后，可以通过智能问答模型对问题信息、相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容进行处理，得到问题信息的回复信息，并输出回复信息。可选的，在获取到相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容之后，可以构建提示语句，提示语句可以包括相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容，然后调用大语言模型（即智能问答模型），基于提示语句对问题信息进行提示处理，得到回复信息。
基于上述描述，请参见图2，图2是本申请实施例提供的一种智能问答方法的流程示意图，该智能问答方法可以由服务端或者终端等计算机设备执行；如图2所示的智能问答方法包括但不限于步骤S201~步骤S205，其中：
S201、在接收到问题信息之后，获取问题信息的第一向量特征，并将第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征。
具体实现中，计算机设备可以获取用户提交的问题信息，或者接收客户端发送的问题信息。计算机设备在接收到问题信息之后，可以对该问题信息进行特征提取，得到该问题信息的第一向量特征。然后，计算机设备可以将第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到第一向量特征与各个第二向量特征之间的相似度，然后确定与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征。可选的，计算机设备在得到第一向量特征与各个第二向量特征之间的相似度之后，可以确定Top N个第二向量特征，其中确定的第二向量特征与第一向量特征之间的相似度大于问题信息所属知识领域对应的知识库中的其他第二向量特征与第一向量特征之间的相似度，N为正整数，N可以为预先设定的数值，例如3或者10等，具体不受本申请实施例的限定。
该实施例可以使用超文本标记语言(HyperText Markup Language，HTML)，层叠样式表(Cascading Style Sheets，CSS)，Javascript技术搭建而成的会话界面，该会话界面可以根据用户需要配置相应的智能问答模型和知识库。
可选的，为减少用户等待时间，智能问答模型的回复信息将采用流式输出(Streaming)。服务器推送事件 (Server-Sent Events，SSE) 是一种基于 HTTP 协议的服务器推送技术，它允许服务器向客户端发送数据和信息。该技术可以实现智能问答模型的流式输出，减少响应等待时间。
在一种实现方式中，可以采用定期更新机制对知识库进行更新。例如，可以通过网络爬虫以及API接口定期收集整理专业知识内容，并将通过计算机程序清洗整理好的知识内容保存到知识库中。本申请实施例支持多种数据格式，包括txt，csv，excel，pdf等。也就是说，知识库中存储的知识内容可以是txt，csv，excel，pdf等数据格式。
该实施例中，很多领域的知识内容具有时效性，并且随着时间积累大量新的知识内容。因此可以根据需要提供知识内容的自动收集整理、向量化存储、实时检索等功能。
具体实现中，可以通过预设应用程序接口采集至少一个知识领域的知识内容；针对采集到的任一知识领域的知识内容，对任一知识领域的知识内容进行数据清洗，得到数据清洗后的知识内容；对数据清洗后的知识内容进行特征提取，得到数据清洗后的知识内容的第二向量特征；将数据清洗后的知识内容的第二向量特征存储至任一知识领域对应的知识库中。
示例性的，对知识内容进行数据清洗，例如可以包括如下一种或者多种：对知识内容中的重复字段进行过滤，对知识内容中的无效字段进行过滤，等等。无效字段可以包括与知识内容中的上下文没有关联的字段，没有信息量的字段（例如语气助词等）等。
在一种实现方式中，可以获取数据清洗后的知识内容的第二向量特征与任一知识领域对应的知识库中的各个第二向量特征之间的第一相似度；若各个第一相似度均小于第三预设比例阈值，则触发执行将数据清洗后的知识内容的第二向量特征存储至任一知识领域对应的知识库中的操作。
该实施例提供了一种基于向量语义相似度的知识库更新策略。创建知识库主要用于上传知识内容，并将其向量化存储在向量数据库。因此可以对知识库采取增量更新策略，在获取新增的知识内容后，可以使用Embeddings模型将知识内容向量化，还将使用关键词提取大语言模型从知识内容中提取关键词。之后将通过相似度计算函数计算新增知识内容与知识库中已经存储的知识内容的相似度，若相似度计算结果低于指定阈值，则表明这是有价值的新增知识内容，并予以收录，即将该新增的知识内容存储至知识库中。
可选的，可以对数据清洗后的知识内容进行关键词提取，得到数据清洗后的知识内容中的关键词；获取数据清洗后的知识内容中的关键词与任一知识领域对应的知识库中的各个知识内容的关键词之间的第二相似度；若各个第一相似度均小于第三预设比例阈值，且各个第二相似度均小于第四预设比例阈值，则触发执行将数据清洗后的知识内容的第二向量特征存储至任一知识领域对应的知识库中的操作。
该实施例提供了一种基于向量语义相似度和关键词匹配的知识库更新策略。创建知识库主要用于上传知识库内容并将其向量化存储在向量数据库。可以对知识库采取增量更新策略，在获取新增的知识内容后，可以使用Embeddings模型将知识内容向量化，还将使用关键词提取大语言模型从知识内容中提取关键词。之后将通过相似度计算函数计算新增知识内容与知识库中已经存储的知识内容的相似度，同时计算提取的关键词与知识库中已经存储的知识内容中的关键词的相似度。两种相似度计算结果同时低于指定阈值时，我们认为这是有价值的新增知识内容，并予以收录。
S202、对问题信息进行关键词提取，得到问题信息中的关键词。
具体实现中，计算机设备在接收到问题信息之后，可以使用关键词提取大语言模型从问题信息中提取关键词。
在一种实现方式中，可以使用中文近义词库，对关键词查找出阈值大于第五预设比例阈值的近义词，将关键词及其近义词输入到查找条件中。即将关键词及其近义词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词及其近义词之间的相似度大于第二预设比例阈值的知识内容。
S203、将关键词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词之间的相似度大于第二预设比例阈值的知识内容。
具体实现中，计算机设备可以将关键词与问题信息所属知识领域对应的知识库中的各个知识内容中的关键词进行比对，得到关键词与问题信息所属知识领域对应的知识库中的各个知识内容的相似度，确定与关键词之间的相似度大于第二预设比例阈值的知识内容。
可选的，计算机设备在得到关键词与问题信息所属知识领域对应的知识库中的各个知识内容的相似度之后，可以确定Top K个知识内容，其中确定的知识内容与问题信息中的关键词之间的相似度大于问题信息所属知识领域对应的知识库中的其他知识内容与问题信息中的关键词之间的相似度，K为正整数，K可以为预先设定的数值，例如3或者10等，具体不受本申请实施例的限定。
S204、通过智能问答模型对问题信息、相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容进行处理，得到问题信息的回复信息。
该实施例中，在将问题信息输入至智能问答模型时，给智能问答模型提供问题信息的相关知识内容限制要求，能够让智能问答模型更针对性的回答问题。本地知识库的主要方案是将自有数据（文档、数据集、问答对）合理处理后，根据输入的问题信息检索自有数据中相关相近的知识内容，把输入的问题信息与相关相近的知识内容组合后，输入至智能问答模型，获得结果，即回复信息。
在一种实现方式中，可以构建提示语句，提示语句包括相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容；调用智能问答模型，基于提示语句对问题信息进行提示处理，得到回复信息。
在一种实现方式中，可以获取预设时间段内的历史数据，历史数据包括历史问题信息和历史问题信息对应的历史回复信息；通过初始智能问答模型对历史问题信息进行处理，得到历史问题信息的回复信息；按照减小历史问题信息的回复信息和历史问题信息对应的历史回复信息的差异的方向，对初始智能问答模型的参数进行优化，得到智能问答模型。
该实施例可以提供数据集转换工具，能够将符合要求的数据转换成可用的单轮对话数据集。单轮对话数据集每条数据只包含一次的提问与回复，具体格式为{‘prompt’：具体提问内容，‘answer’：具体回复内容}。
在一种实现方式中，历史数据可以包括历史问题信息、历史问题信息对应的历史回复信息，以及历史问题信息的上下文信息。在此基础上，通过初始智能问答模型对历史问题信息和上下文信息进行处理，得到历史问题信息的回复信息；按照减小历史问题信息的回复信息和历史问题信息对应的历史回复信息的差异的方向，对初始智能问答模型的参数进行优化，得到智能问答模型。
该实施例可以提供数据集转换工具，能够将符合要求的数据转换成可用的多轮对话数据集格式。多轮对话数据集中每条数据包含本次的提问回复内容与之前的提问回复内容，具体格式为{‘prompt’：具体提问内容，‘answer’：具体回复内容，‘history’：历史提问回复内容（即上下文信息）}。
在一种实现方式中，按照减小历史问题信息的回复信息和历史问题信息对应的历史回复信息的差异的方向，对初始智能问答模型的参数进行优化的方式，包括：在初始智能问答模型中增加预设参数；其中，预设参数的维度与初始智能问答模型的预优化参数的维度相同，且预设参数的参数量小于预优化参数的参数量；按照减小历史问题信息的回复信息和历史问题信息对应的历史回复信息的差异的方向，对初始智能问答模型中的预设参数进行调整，得到智能问答模型。
可选的，预设参数可以包括第一预设参数和第二预设参数，其中第一预设参数的行数或者列数，与预优化参数的行数相同，且第二预设参数的行数或者列数，与预优化参数的列数相同，第一预设参数的参数量小于预优化参数的参数量，第二预设参数的参数量小于预优化参数的参数量。在此基础上，按照减小历史问题信息的回复信息和历史问题信息对应的历史回复信息的差异的方向，对初始智能问答模型中的预设参数进行调整的方式，包括：按照减小历史问题信息的回复信息和历史问题信息对应的历史回复信息的差异的方向，对初始智能问答模型中的第一预设参数以及第二预设参数进行调整，得到智能问答模型。
在该实施例中，微调（finetune）能够在智能问答模型的基础上，针对自有数据进行再次训练，在原有模型上调参。随着预训练语言模型(Pretrained Language Model，PLM)越来越大，对特定任务或领域的适应微调范式存在以下问题：当我们微调大模型时，由于训练成本太高，很难重新训练模型的所有参数。本申请实施例可以采用低秩自适应大语言模型（Low-Rank Adaptation of Large Language Models，LoRA）微调方法，LoRA微调方法适用于神经网络中权重矩阵的任何子集，以减少可训练参数的数量。LoRA的实现思想就是冻结一个预训练模型的矩阵参数，并选择用A和B矩阵来替代，在下游任务时只更新A和B。
LoRA的实现流程可以如下：在原始预训练语言模型（PLM）旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的内在秩。训练的时候固定PLM的参数，只训练降维矩阵A与升维矩阵B。模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A，用0矩阵初始化B，保证训练的开始此旁路矩阵依然是0矩阵。
对于预训练权重矩阵，可以用一个低秩分解来表示参数更新ΔW，即，B/>，A/>。
其中，W0是预训练模型初始化的参数，ΔW就是需要更新的参数。在训练过程中，W0是固定不变的，只有A和B包含训练参数，是变化的。对于, 前向传播过程可以通过如公式/>所示。/>可以表示矩阵，即W0，d可以表示的行数，/>可以表示/>的列数。/>可以表示矩阵，即B，d可以表示/>的行数，/>可以表示/>的列数。/>可以表示矩阵，即A，r可以表示/>的行数，/>可以表示/>的列数。
微调需要预先设定训练的轮数，并通过验证集的accuracy, loss等评价指标来挑选最佳模型。
该实施例是将自有数据进行数据处理，整理成适合智能问答模型微调的训练数据，并使用训练数据进行模型微调，调参验证，引入增强学习等方法选择合适的训练模型版本部署使用。可选的，本申请实施例提供的训练方法适用于单轮对话和多轮对话。可以通过构建高标准的单轮对话和多轮对话数据集，提升训练效果。
该实施例对于特定领域的智能问答模型，可以收集该领域的相关知识内容，在开源大语言模型基础上通过微调训练，得到该领域的智能问答模型。在此基础上，可以在接收到问题信息之后，获取问题信息的第一向量特征，并将第一向量特征与问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；对问题信息进行关键词提取，得到问题信息中的关键词；将关键词与问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与关键词之间的相似度大于第二预设比例阈值的知识内容；通过问题信息所属知识领域对应的智能问答模型对问题信息、相似度大于第一预设比例阈值的第二向量特征以及相似度大于第二预设比例阈值的知识内容进行处理，得到问题信息的回复信息，并输出回复信息。
S205、输出回复信息。
可选的，可以提供多种大语言模型网络接口，以适应不同的智能问答场景，还可以针对具体的行业需求，提供定制化大模型算法的功能。本申请实施例可以广泛应用在智能客服、智慧医疗、金融分析、员工培训、学校教育等领域。针对不同领域，可以分别构建细分知识库，并与本申请实施例提供的智能问答模型相结合，发挥最大效用。
可选的，本申请实施例可以提供垂直行业的专业智能联网/离线对话机器人。既可以提供与外界联网的版本，也可以提供离线服务。具体的应用方式为：在安装好智能问答系统之后，用户可以自行在用户界面选择设置对话模式，如果仅通过智能问答模型进行智能问答，可以直接离线使用。如果采用本地知识库加本地大语言模型，也可直接使用离线模型，无需联网。专业知识库可以根据用户需求，自行选择知识内容，然后通过知识库管理模块，上传到系统存储和处理，然后加载使用。在选择设定好大语言模型，Embeddings模型，还有本地知识库后，即可实现用户提问，系统回复的智能问答。
可选的，可以驱动智能问答模型进行表达文本描述。具体的，可以诱导用户提交智能问答系统能理解的问题，并获取该问题的答案，最终反馈给用户。首先对用户提交的问题信息查找知识库，返回知识库中的答案及匹配程度。如果匹配程度高于设定的阈值，则正常输出；如果匹配程度低于设定的阈值，则将匹配到的内容输入给智能问答模型，生成对应的回复信息，输出给用户。当匹配程度高时，系统的提示语反馈为“数据库的匹配结果+人工智能模型的建议”。匹配程度低时，系统的提示语反馈为“人工智能模型的建议+用户可能的提问”。
该实施例可以从分类能力、关键词抽取能力、问答对话能力等多个方面评测比较，融合了本地知识库与智能问答模型的回答效果，并挑选更优质的回复信息返回给用户。
在该申请实施例中，将垂直行业领域的知识内容向量化并存入该领域对应的知识库中，然后将用户提出的问题信息向量化，并查询向量数据库得到至少一条匹配的第二向量特征；通过关键词提取算法从用户提出的问题信息中提取关键词，并用于筛选匹配的知识内容；基于匹配的知识内容构建提示语句，然后调用智能问答模型得到该问题信息的回复信息，能够有效提高回复信息的准确性。
本申请实施例提供了基于向量语义相似度和关键词匹配的知识库内容检索匹配机制。该机制包括向量语义匹配、智能问答模型语义匹配、关键词匹配，可以对三种匹配机制的结果进行投票决策，两种及以上匹配机制支持的即为相匹配的检索结果。通过这种粗召回精匹配的方式，使得候选答案的查找定位更加准确。
可选的，如图3所示，可以提供模块化的基于本地知识库的大语言模型系统（即智能问答系统），包括智能对话模块，大模型训练微调模块，以及本地知识库配置模块。智能对话模块可以根据需要自由选大模型对话或者本地知识库加大模型对话，为用户提供更专业，更智能的对话服务。大模型训练微调模块可以对大语言模型、Embeddings模型进行选择设置，更为灵活方便。我们还提供高质量的单轮对话数据集与多轮对话数据集，集成了lora和ptuingv2等多种大语言模型训练微调方法。我们的智能问答系统可以根据需求灵活设置大语言模型和本地知识库，为垂直行业的智能问答提供助力。本地知识库配置模块可以根据需要对多种格式的知识库进行创建、更新、存储和管理，并能够精准匹配与用户提问最相关的知识内容，为大语言模型智能对话提供更为专业的辅助支持。创建知识库的具体过程为将知识库内容向量化并保存，知识库更新涉及向量相似度以及关键词匹配，检索结果涉及向量语义相似度、大模型语义匹配以及关键词匹配。
如图4所示，用户可以在智能对话的模块界面进行大语言模型和本地知识库的配置。本智能问答系统根据用户对大语言模型和本地知识库的选择，可以直接调用本地的大语言模型和已经配置好的本地知识库，也可以根据用户需求对大语言模型进行训练微调，对本地知识库进行定时更新。在配置好本地大语言模型和本地知识库后，可以将用户提交的问题信息做两步处理，首先将用户问题向量化，然后使用向量相似度计算函数，提取已经保存的向量数据库内的知识库内容数据，根据预先设定的要求，优先返回相似度最高的N条知识内容。于此同时，还可以将问题信息输入关键词提取模型，进行语义相似度比较以及提取关键词，然后对返回的N条知识内容进行筛选，进一步提高知识内容的准确性和相关性。最后，将检索及筛选之后的知识内容，结合问题信息，形成新的提示语句(prompt)发送到智能问答模型。在取得结果后，呈现在用户界面上。
其中，行业知识库将邀请行业专家进行标准制定。行业知识内容主要以文本形式保存。然后通过文本切分，Embeddings等操作将知识库向量化，并存储在向量数据库中（本发明支持多种主流向量数据库，包括不限于Chroma，Faiss，Milvus等），知识库支持中英文内容。相似度计算默认为余弦相似度函数，支持用户自定义。Embeddings模型支持OpenAI提供的在线模型和离线部署的开源模型。关键词提取模型同时支持大语言模型和关键词提取算法，例如TextRank, TF-IDF算法以及其他深度学习文本分类模型。
图5和图6以XXX位置的线下消费场景为例，分别演示了单纯使用智能问答模型进行问答和结合本地知识库后的智能问答模型问答的结果。可以看到，在单纯使用智能问答模型的时候，因为缺少XXX位置的相关信息，智能问答模型在被要求按照实际情况回答时，无法提供准确及时的信息。在融合了XXX位置相关的本地知识库后，智能问答模型可以准确及时的回答相关问题。因此，本申请实施例提升了服务水平和质量，让广大用户更加满意。
基于相关实施例的描述，本申请实施例还提供了一种智能问答装置，该智能问答装置可以执行图2所示的计算机设备执行的操作。请参见图7，图7是本申请实施例提供的一种智能问答装置的结构示意图。如图7所示，该智能问答装置可包括但不限于输入单元701、处理单元702以及输出单元703。
输入单元701，用于接收问题信息；
处理单元702，用于获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；
所述处理单元702，还用于对所述问题信息进行关键词提取，得到所述问题信息中的关键词；
所述处理单元702，还用于将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；
所述处理单元702，还用于通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；
输出单元703，用于输出所述回复信息。
在一种可选的实施方式中，所述处理单元702通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息，包括：
构建提示语句，所述提示语句包括所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容；
调用所述智能问答模型，基于所述提示语句对所述问题信息进行提示处理，得到所述回复信息。
在一种可选的实施方式中，输入单元701，还用于获取预设时间段内的历史数据，所述历史数据包括历史问题信息和所述历史问题信息对应的历史回复信息；
处理单元702，还用于通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息；
处理单元702，还用于按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型。
在一种可选的实施方式中，所述历史数据包括历史问题信息、所述历史问题信息对应的历史回复信息，以及所述历史问题信息的上下文信息；
所述处理单元702通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息，包括：
通过所述初始智能问答模型对所述历史问题信息和所述上下文信息进行处理，得到所述历史问题信息的回复信息。
在一种可选的实施方式中，所述处理单元702按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型，包括：
在所述初始智能问答模型中增加预设参数；其中，所述预设参数的维度与所述初始智能问答模型的预优化参数的维度相同，且所述预设参数的参数量小于所述预优化参数的参数量；
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型。
在一种可选的实施方式中，所述预设参数包括第一预设参数和第二预设参数，其中所述第一预设参数的行数或者列数，与所述预优化参数的行数相同，且所述第二预设参数的行数或者列数，与所述预优化参数的列数相同，所述第一预设参数的参数量小于所述预优化参数的参数量，所述第二预设参数的参数量小于所述预优化参数的参数量；
所述处理单元702按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型，包括：
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的第一预设参数以及第二预设参数进行调整，得到所述智能问答模型。
在一种可选的实施方式中，输入单元701，还用于通过预设应用程序接口采集至少一个知识领域的知识内容；
处理单元702，还用于针对采集到的任一知识领域的知识内容，对所述任一知识领域的知识内容进行数据清洗，得到数据清洗后的知识内容；
处理单元702，还用于对所述数据清洗后的知识内容进行特征提取，得到所述数据清洗后的知识内容的第二向量特征；
处理单元702，还用于将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中。
在一种可选的实施方式中，处理单元702，还用于获取所述数据清洗后的知识内容的第二向量特征与所述任一知识领域对应的知识库中的各个第二向量特征之间的第一相似度；
若各个第一相似度均小于第三预设比例阈值，则触发处理单元702执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
在一种可选的实施方式中，处理单元702，还用于对所述数据清洗后的知识内容进行关键词提取，得到所述数据清洗后的知识内容中的关键词；
处理单元702，还用于获取所述数据清洗后的知识内容中的关键词与所述任一知识领域对应的知识库中的各个知识内容的关键词之间的第二相似度；
所述若各个第一相似度均小于第三预设比例阈值，则触发处理单元702执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作，包括：
若各个第一相似度均小于第三预设比例阈值，且各个第二相似度均小于第四预设比例阈值，则触发处理单元702执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
本申请实施例中，输入单元701接收问题信息；处理单元702获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；处理单元702对所述问题信息进行关键词提取，得到所述问题信息中的关键词；处理单元702将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；处理单元702通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；输出单元703输出所述回复信息，能够有效提高回复信息的准确性。
本申请实施例还提供一种计算机设备，请参见图8，图8是本申请实施例提供的一种计算机设备的结构示意图。如图8所示，该计算机设备至少包括处理器801、存储器802和通信接口803可通过总线804或其他方式连接，本申请实施例以通过总线804连接为例。本申请实施例的处理器801可通过运行存储器802中存储的计算机程序，执行前述智能问答方法的操作，例如：
在通过通信接口803接收到问题信息之后，获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；
对所述问题信息进行关键词提取，得到所述问题信息中的关键词；
将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；
通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；
通过通信接口803输出所述回复信息。
在一种可选的实施方式中，所述处理器801在通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息时，可以执行如下操作：
构建提示语句，所述提示语句包括所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容；
调用所述智能问答模型，基于所述提示语句对所述问题信息进行提示处理，得到所述回复信息。
在一种可选的实施方式中，处理器801还用于执行如下操作：
通过通信接口803获取预设时间段内的历史数据，所述历史数据包括历史问题信息和所述历史问题信息对应的历史回复信息；
通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息；
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型。
在一种可选的实施方式中，所述历史数据包括历史问题信息、所述历史问题信息对应的历史回复信息，以及所述历史问题信息的上下文信息；
所述处理器801在通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息时，可以执行如下操作：
通过所述初始智能问答模型对所述历史问题信息和所述上下文信息进行处理，得到所述历史问题信息的回复信息。
在一种可选的实施方式中，所述处理器801在按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型时，可以执行如下操作：
在所述初始智能问答模型中增加预设参数；其中，所述预设参数的维度与所述初始智能问答模型的预优化参数的维度相同，且所述预设参数的参数量小于所述预优化参数的参数量；
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型。
在一种可选的实施方式中，所述预设参数包括第一预设参数和第二预设参数，其中所述第一预设参数的行数或者列数，与所述预优化参数的行数相同，且所述第二预设参数的行数或者列数，与所述预优化参数的列数相同，所述第一预设参数的参数量小于所述预优化参数的参数量，所述第二预设参数的参数量小于所述预优化参数的参数量；
所述处理器801在按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型时，可以执行如下操作：
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的第一预设参数以及第二预设参数进行调整，得到所述智能问答模型。
在一种可选的实施方式中，处理器801还用于执行如下操作：
通过预设应用程序接口采集至少一个知识领域的知识内容；
针对采集到的任一知识领域的知识内容，对所述任一知识领域的知识内容进行数据清洗，得到数据清洗后的知识内容；
对所述数据清洗后的知识内容进行特征提取，得到所述数据清洗后的知识内容的第二向量特征；
将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中。
在一种可选的实施方式中，处理器801还用于执行如下操作：
获取所述数据清洗后的知识内容的第二向量特征与所述任一知识领域对应的知识库中的各个第二向量特征之间的第一相似度；
若各个第一相似度均小于第三预设比例阈值，则触发处理器801执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
在一种可选的实施方式中，处理器801还用于执行如下操作：
对所述数据清洗后的知识内容进行关键词提取，得到所述数据清洗后的知识内容中的关键词；
获取所述数据清洗后的知识内容中的关键词与所述任一知识领域对应的知识库中的各个知识内容的关键词之间的第二相似度；
所述若各个第一相似度均小于第三预设比例阈值，则触发处理器801执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作，包括：
若各个第一相似度均小于第三预设比例阈值，且各个第二相似度均小于第四预设比例阈值，则触发处理器801执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
本申请实施例中，处理器801通过通信接口803接收问题信息；获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；对所述问题信息进行关键词提取，得到所述问题信息中的关键词；将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；通过通信接口803输出所述回复信息，能够有效提高回复信息的准确性。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例中的步骤。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述任一方法实施例中的步骤。
本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行上述任一方法实施例中的步骤。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。

Claims (12)

1.一种智能问答方法，其特征在于，包括：
在接收到问题信息之后，获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；
对所述问题信息进行关键词提取，得到所述问题信息中的关键词；
将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；
通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；
输出所述回复信息。
2.如权利要求1所述的方法，其特征在于，所述通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息，包括：
构建提示语句，所述提示语句包括所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容；
调用所述智能问答模型，基于所述提示语句对所述问题信息进行提示处理，得到所述回复信息。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取预设时间段内的历史数据，所述历史数据包括历史问题信息和所述历史问题信息对应的历史回复信息；
通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息；
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型。
4.如权利要求3所述的方法，其特征在于，所述历史数据包括历史问题信息、所述历史问题信息对应的历史回复信息，以及所述历史问题信息的上下文信息；
所述通过初始智能问答模型对所述历史问题信息进行处理，得到所述历史问题信息的回复信息，包括：
通过所述初始智能问答模型对所述历史问题信息和所述上下文信息进行处理，得到所述历史问题信息的回复信息。
5.如权利要求3所述的方法，其特征在于，所述按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型的参数进行优化，得到所述智能问答模型，包括：
在所述初始智能问答模型中增加预设参数；其中，所述预设参数的维度与所述初始智能问答模型的预优化参数的维度相同，且所述预设参数的参数量小于所述预优化参数的参数量；
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型。
6.如权利要求5所述的方法，其特征在于，所述预设参数包括第一预设参数和第二预设参数，其中所述第一预设参数的行数或者列数，与所述预优化参数的行数相同，且所述第二预设参数的行数或者列数，与所述预优化参数的列数相同，所述第一预设参数的参数量小于所述预优化参数的参数量，所述第二预设参数的参数量小于所述预优化参数的参数量；
所述按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的预设参数进行调整，得到所述智能问答模型，包括：
按照减小所述历史问题信息的回复信息和所述历史问题信息对应的历史回复信息的差异的方向，对所述初始智能问答模型中的第一预设参数以及第二预设参数进行调整，得到所述智能问答模型。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过预设应用程序接口采集至少一个知识领域的知识内容；
针对采集到的任一知识领域的知识内容，对所述任一知识领域的知识内容进行数据清洗，得到数据清洗后的知识内容；
对所述数据清洗后的知识内容进行特征提取，得到所述数据清洗后的知识内容的第二向量特征；
将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
获取所述数据清洗后的知识内容的第二向量特征与所述任一知识领域对应的知识库中的各个第二向量特征之间的第一相似度；
若各个第一相似度均小于第三预设比例阈值，则触发执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
9.如权利要求8所述的方法，其特征在于，所述方法还包括：
对所述数据清洗后的知识内容进行关键词提取，得到所述数据清洗后的知识内容中的关键词；
获取所述数据清洗后的知识内容中的关键词与所述任一知识领域对应的知识库中的各个知识内容的关键词之间的第二相似度；
所述若各个第一相似度均小于第三预设比例阈值，则触发执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作，包括：
若各个第一相似度均小于第三预设比例阈值，且各个第二相似度均小于第四预设比例阈值，则触发执行所述将所述数据清洗后的知识内容的第二向量特征存储至所述任一知识领域对应的知识库中的操作。
10.一种智能问答装置，其特征在于，所述装置包括：
输入单元，用于接收问题信息；
处理单元，用于获取所述问题信息的第一向量特征，并将所述第一向量特征与所述问题信息所属知识领域对应的知识库中的各个第二向量特征进行比对，得到与所述第一向量特征之间的相似度大于第一预设比例阈值的第二向量特征；
所述处理单元，还用于对所述问题信息进行关键词提取，得到所述问题信息中的关键词；
所述处理单元，还用于将所述关键词与所述问题信息所属知识领域对应的知识库中的各个知识内容进行比对，得到与所述关键词之间的相似度大于第二预设比例阈值的知识内容；
所述处理单元，还用于通过智能问答模型对所述问题信息、所述相似度大于第一预设比例阈值的第二向量特征以及所述相似度大于第二预设比例阈值的知识内容进行处理，得到所述问题信息的回复信息；
输出单元，用于输出所述回复信息。
11.一种计算机设备，其特征在于，所述计算机设备包括存储器、通信接口以及处理器，其中，所述存储器、所述通信接口和所述处理器相互连接；所述存储器存储有计算机程序，所述处理器调用所述存储器中存储的计算机程序，用于实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
CN202410063537.6A 2024-01-17 2024-01-17 一种智能问答方法、装置、设备及存储介质 Active CN117591658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410063537.6A CN117591658B (zh) 2024-01-17 2024-01-17 一种智能问答方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410063537.6A CN117591658B (zh) 2024-01-17 2024-01-17 一种智能问答方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117591658A true CN117591658A (zh) 2024-02-23
CN117591658B CN117591658B (zh) 2024-03-29

Family

ID=89910185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410063537.6A Active CN117591658B (zh) 2024-01-17 2024-01-17 一种智能问答方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117591658B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309877A (zh) * 2018-12-12 2020-06-19 北京文因互联科技有限公司 一种基于知识图谱的智能问答方法及系统
WO2020238985A1 (zh) * 2019-05-31 2020-12-03 中国科学院深圳先进技术研究院 模型训练方法、对话生成方法、装置、设备及存储介质
CN116680391A (zh) * 2023-08-04 2023-09-01 腾讯科技（深圳）有限公司 定制对话方法、定制对话模型的训练方法、装置和设备
CN116805002A (zh) * 2023-06-30 2023-09-26 平安科技（深圳）有限公司 问答方法、问答装置、设备及存储介质
CN117290481A (zh) * 2023-10-07 2023-12-26 中国工商银行股份有限公司 基于深度学习的问答方法、装置、存储介质及电子设备
CN117350360A (zh) * 2023-09-21 2024-01-05 摩尔线程智能科技(北京)有限责任公司 大模型的微调方法、装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309877A (zh) * 2018-12-12 2020-06-19 北京文因互联科技有限公司 一种基于知识图谱的智能问答方法及系统
WO2020238985A1 (zh) * 2019-05-31 2020-12-03 中国科学院深圳先进技术研究院 模型训练方法、对话生成方法、装置、设备及存储介质
CN116805002A (zh) * 2023-06-30 2023-09-26 平安科技（深圳）有限公司 问答方法、问答装置、设备及存储介质
CN116680391A (zh) * 2023-08-04 2023-09-01 腾讯科技（深圳）有限公司 定制对话方法、定制对话模型的训练方法、装置和设备
CN117350360A (zh) * 2023-09-21 2024-01-05 摩尔线程智能科技(北京)有限责任公司 大模型的微调方法、装置、电子设备和存储介质
CN117290481A (zh) * 2023-10-07 2023-12-26 中国工商银行股份有限公司 基于深度学习的问答方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN117591658B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110019701B (zh) 用于问答服务的方法、问答服务系统以及存储介质
US20200301954A1 (en) Reply information obtaining method and apparatus
CN108829822B (zh) 媒体内容的推荐方法和装置、存储介质、电子装置
CN111914067B (zh) 中文文本匹配方法及系统
CN109145290B (zh) 基于字向量与自注意力机制的语义相似度计算方法
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
CN112232087B (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN111737426B (zh) 问答模型的训练方法、计算机设备以及可读存储介质
CN111813909A (zh) 一种智能问答方法和装置
Shah et al. An intelligent chat-bot using natural language processing
CN112000788B (zh) 一种数据处理方法、装置以及计算机可读存储介质
CN110851584A (zh) 一种法律条文精准推荐系统和方法
CN109637527A (zh) 对话语句的语义解析方法及系统
CN109741824A (zh) 一种基于机器学习的医疗问诊方法
CN111597341A (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN116150306A (zh) 问答机器人的训练方法、问答方法及装置
CN112989803B (zh) 一种基于主题向量学习的实体链接预测方法
CN114021546A (zh) 迁移语境网络的大桃生产知识开放问答方法及装置
CN113656542A (zh) 一种基于信息检索与排序的话术推荐方法
CN117591658B (zh) 一种智能问答方法、装置、设备及存储介质
CN116958738A (zh) 图片识别模型的训练方法和装置、存储介质及电子设备
CN115587192A (zh) 关系信息抽取方法、设备及计算机可读存储介质
CN114329181A (zh) 一种题目推荐方法、装置及电子设备
WO2020100739A1 (ja) 学習装置、学習方法、及び学習プログラム
Adedokun et al. Transforming Smallholder Farmers Support with an AI-powered FAQbot: A Comparison of Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant