CN117609477B - 一种基于领域知识的大模型问答方法和装置 - Google Patents

Abstract

本申请公一种基于领域知识的大模型问答方法和装置，方法包括，获得第一问题文本；将第一问题文本转换成第一问题向量；通过常见问题解答对系统处理第一问题向量，得到第一问题文本的第一答案文本和第一答案文本的第一评分；在第一评分满足评分条件的情况下，将第一答案文本确定为第一问题文本的答案；在第一评分不满足评分条件的情况下，在常见问题解答对系统中搜索和第一问题文本匹配的多个目标文本块；选择目标文本块对应的提示信息；通过大语言模型分析第一问题文本、多个目标文本块和提示信息，得到第二答案文本；计算第二答案文本对应的第二评分；若第二评分满足评分条件，将第二答案文本确定为第一问题文本的答案。

Description

一种基于领域知识的大模型问答方法和装置

技术领域

本申请涉及问答技术领域，特别涉及一种基于领域知识的大模型问答方法和装置。

背景技术

问答系统(Question Answering System，QA)是信息检索系统的一种高级形式，能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。

目前一种问答系统是基于大语言模型的问答系统。这类系统存在知识实时性较差的问题。

知识实时性较差是指，使用大语言模型进行自然语言处理和问答时，模型可能无法及时更新或获取最新的知识或信息，导致回答不准确或过期。这种问题通常是由于模型训练的数据集不包含最新的信息或事件，或者是模型训练时数据集的时间跨度较长导致的。目前针对这一问题的一种解决方式是，频繁地使用最新的信息和事件作为数据集重新训练大语言模型，这又会消耗大量计算资源。

发明内容

为此，本申请公开如下技术方案：

一种基于领域知识的大模型问答方法，包括：

获得第一问题文本；

将所述第一问题文本转换成第一问题向量；

通过常见问题解答对系统处理所述第一问题向量，得到所述第一问题文本的第一答案文本和所述第一答案文本的第一评分；

在所述第一评分满足评分条件的情况下，将所述第一答案文本确定为所述第一问题文本的答案；

在所述第一评分不满足所述评分条件的情况下，在所述常见问题解答对系统中搜索和所述第一问题文本匹配的多个目标文本块；

选择所述目标文本块对应的提示信息；

通过大语言模型分析所述第一问题文本、多个所述目标文本块和所述提示信息，得到第二答案文本；

通过所述常见问题解答对系统计算所述第二答案文本对应的第二评分；

在所述第二评分满足所述评分条件的情况下，将所述第二答案文本确定为所述第一问题文本的答案。

可选的，还包括：

在所述第二评分不满足所述评分条件的情况下，利用所述大语言模型更新所述第一问题文本；

返回执行所述将所述第一问题文本转换成第一问题向量步骤；

当重复次数大于预设的重复阈值时，将所述第一问题文本对应的所有第一答案文本和所述第二答案文本中，具有最高评分的答案文本确定为所述第一问题文本的答案，以及确定答案文本提示，所述重复次数是确定所述第二评分不满足所述评分条件的次数。

可选的，还包括：

对知识文档进行解析和拆分，得到多个文本块；

将所述文本块和所述文本块对应的文本块向量存入所述常见问题解答对系统。

可选的，所述对知识文档进行解析和拆分，得到多个文本块，包括：

解析知识文档，得到所述知识文档对应的解析文本；

对所述解析文本进行分句处理，得到所述解析文本包含的多个语句；

针对每一所述语句，确定所述语句对应的语句向量；

根据所述语句向量将所述解析文本拆分为多个文本块。

可选的，所述确定所述语句对应的语句向量，包括：

对所述语句进行分词处理，得到所述语句的分词序列；

确定所述分词序列对应的位置序列，以及所述语句的分割识别符序列；

确定所述语句的文本结构信息；

生成所述分词序列对应的分词向量，所述位置序列对应的位置向量，所述分割识别符序列对应的分割向量，以及所述文本结构信息对应的结构向量；

对所述分词向量、所述位置向量、所述分割向量和所述结构向量进行融合处理，得到所述语句的语句向量。

一种基于领域知识的大模型问答装置，包括：

获得单元，用于获得第一问题文本；

转换单元，用于将所述第一问题文本转换成第一问题向量；

处理单元，用于通过常见问题解答对系统处理所述第一问题向量，得到所述第一问题文本的第一答案文本和所述第一答案文本的第一评分；

确定单元，用于在所述第一评分满足评分条件的情况下，将所述第一答案文本确定为所述第一问题文本的答案；

搜索单元，用于在所述第一评分不满足所述评分条件的情况下，在所述常见问题解答对系统中搜索和所述第一问题文本匹配的多个目标文本块；

选择单元，用于选择所述目标文本块对应的提示信息；

分析单元，用于通过大语言模型分析所述第一问题文本、多个所述目标文本块和所述提示信息，得到第二答案文本；

计算单元，用于通过所述常见问题解答对系统计算所述第二答案文本对应的第二评分；

所述确定单元，用于在所述第二评分满足所述评分条件的情况下，将所述第二答案文本确定为所述第一问题文本的答案。

可选的，所述装置还包括更新单元，用于：

在所述第二评分不满足所述评分条件的情况下，利用所述大语言模型更新所述第一问题文本；

触发所述转换单元执行所述将所述第一问题文本转换成第一问题向量步骤；

所述确定单元还用于，当重复次数大于预设的重复阈值时，将所述第一问题文本对应的所有第一答案文本和所述第二答案文本中，具有最高评分的答案文本确定为所述第一问题文本的答案，以及确定答案文本提示，所述重复次数是确定所述第二评分不满足所述评分条件的次数。

可选的，所述装置还包括拆分单元，用于：

对知识文档进行解析和拆分，得到多个文本块；

将所述文本块和所述文本块对应的文本块向量存入所述常见问题解答对系统。

可选的，所述拆分单元对知识文档进行解析和拆分，得到多个文本块时，具体用于：

解析知识文档，得到所述知识文档对应的解析文本；

对所述解析文本进行分句处理，得到所述解析文本包含的多个语句；

针对每一所述语句，确定所述语句对应的语句向量；

根据所述语句向量将所述解析文本拆分为多个文本块。

可选的，所述拆分单元确定所述语句对应的语句向量时，具体用于：

对所述语句进行分词处理，得到所述语句的分词序列；

确定所述分词序列对应的位置序列，以及所述语句的分割识别符序列；

确定所述语句的文本结构信息；

生成所述分词序列对应的分词向量，所述位置序列对应的位置向量，所述分割识别符序列对应的分割向量，以及所述文本结构信息对应的结构向量；

对所述分词向量、所述位置向量、所述分割向量和所述结构向量进行融合处理，得到所述语句的语句向量。

本方案的有益效果在于：

在使用大语言模型回答第一问题文本之前，先在常见问题解答对系统中搜索第一问题文本匹配的目标文本块，然后将目标文本块、提示信息和第一问题文本一并输入到大语言模型，使得大语言模型能够结合目标文本块中携带的新的信息和事件对第一问题文本进行回答，从而在不需要使用新的信息和事件重复训练大语言模型的前提下，解决了大语言模型知识实时性较差的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种基于领域知识的大模型问答方法的流程图；

图2是本申请实施例提供的一种模型架构示意图；

图3是本申请实施例提供的一种用于拆分文本块的模型架构示意图；

图4是本申请实施例提供的一种基于领域知识的大模型问答装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下对本申请可能涉及的部分术语进行说明。

领域知识问答，是一种问答系统，主要是回答特定领域的信息咨询或开放领域的知识性问题。主流方法包括图谱问答（KBQA）、社区问答（CQA）、文档问答（MRC）等单轮问答，也可能涉及多轮问答。应用场景如酒店、旅游等领域的售前咨询。

预训练模型，预训练模型是指在大规模语料库上进行预训练的模型，如BERT、GPT等。这些模型可以学习到大量的语言知识，但是它们并不包含领域知识。因此，将预训练模型用于领域知识回答时，如何将领域知识注入到预训练模型中，成为了该领域研究的一个重要方向。

知识图谱，知识图谱是一种结构化的知识表示方式，它可以为问答系统提供丰富的背景知识。

数据感知，是一种将语言模型与其他数据源相连接的技术。

目前，领域知识问答主要有以下几种实现方式。

一种面向专业领域的知识图谱问答系统，包括知识抽取模块和答案生成模块。处理过程主要包含：跨模态协同的专业领域知识抽取，利用文本模态协同图像与视频模态数据进行知识抽取，以解决多源异构性、多模态性导致传统知识抽取方法难以直接应用到专业领域；融合多源知识的问答，利用专业领域知识信息，通过语义匹配和答案生成获得多源候选答案；多源候选答案语义融合，基于多源知识的答案置信度重排序和答案要点重新组织来生成最终答案。

一种基于文本文档和用户问题的语义标记处理，而在以电子或数字形式提供的文本文档中搜索针对用户以自然语言表述的问题的确切答案的问答系统。该系统依照具有基本知识类型的标记、其组分和属性、依照来自预定分类器且关于目标单词的问题类型以及依照可能的答案的组分来执行语义标记处理。匹配过程使用了所述及的语义标记类型来确定问题的确切答案，并且以语句片段或是在自然语言中新合成的短语的形式将其呈现给用户。用户可以独立地向系统分类器中添加新的问题类型，并且为系统语言学知识库开发出所需要的语言学模式。

一种面向人工智能领域知识的高效智能问答系统，包括准备模块和问答模块；其中，准备模块包括数据收集模块、模型训练模块和问答系统知识结构构建模块；问答模块包括输入预处理模块、基于知识库的问答模块、基于文本库的问答模块和基于知识库的问题推荐模块。通过准备模块与问答模块，提升对于用户问题以及知识库问题、文本库问题的分词准确性，进而提升全问答系统整体的准确性。

一种面向领域知识图谱的问答系统及构建方法，根据给定知识图谱中的三元组，基于设定模板生成问答对，然后对问答对中的问句进行分词处理以及向量化处理，得到每一个问答对中问句的词向量，并构建问答语料库；将用户输入的问句进行分词处理以及向量化处理，并计算用户输入的问句与问答对中的问句的相似度，选取相似度最高的前N个问答对的答案作为用户问句的答案，并反馈给用户。

上述现有的领域知识问答的方案，主要存在以下问题。

大模型冷启动训练门槛高，在训练大型冷启动模型之前，需要收集和准备大量的数据，并进行数据增强和清理等预处理。此外，由于在大规模语言模型中迭代和优化参数需要大量的时间和计算资源，因此在训练过程中可能需要大量的计算资源和时间才能取得优秀的效果。

知识实时性问题，使用大型语言模型进行自然语言处理和问答时，模型可能无法及时更新或获取最新的知识或信息，导致回答不准确或过期。这种问题通常是由于模型训练的数据集不包含最新的信息或事件，或者是模型训练时数据集的时间跨度较长导致的。

文本切分效果提升，领域知识问答效果不仅依赖大模型解决问题的能力，同时还强依赖于领域知识库的构建，领域知识类型及知识文档格式复杂的现实情况，使得领域知识文档的解析和切分入库效果是知识增强应用瓶颈，是提升领域知识问答准确率的关键环节。

本实施例提供的基于领域知识的大模型问答方法，可以用于客服领域对话、知识问答等场景，用于提升多轮对话内容的准确性。

请参见图1，为本申请实施例提供的一种基于领域知识的大模型问答方法的流程图，该方法可以包括如下步骤。

S101，获得第一问题文本。

第一问题文本可以由用户从客户端输入。

S102，将第一问题文本转换成第一问题向量。

请参见图2，为用于实现本实施例的问答方法的模型架构示意图。

在S102中，第一问题文本可以输入到预先训练好的向量化模型中，由向量化模型对第一问题文本进行向量化处理，得到对应的第一问题向量。

本实施例中，该向量化模型可以采用大规模语言模型（Large Language Models，LLMs），LLMs是一种基于深度学习的语言模型，可以对自然语言进行处理和理解。

在另一些实施例中，图2所示的向量化模型也可以是以下任意一种文本向量化算法模型：

GanymedeNil_text2vec-large-chinese、simcse-chinese-roberta-wwm-ext、rocketqa和moka-ai_m3e-base。

具体采用何种向量化模型，可以根据本实施例的问答方法所应用领域的具体业务知识进行选择。

向量化模型的具体工作原理和训练方式可以参见相关的现有技术，不再赘述。

S103，通过常见问题解答对系统处理第一问题向量，得到第一问题文本的第一答案文本和第一答案文本的第一评分。

获得第一答案文本和第一评分后，如果第一评分满足评分条件，执行步骤S104，如果第一评分不满足评分条件，执行步骤S105。

S103的评分条件可以是，第一评分大于或等于预设的评分阈值，评分阈值可以按需设定，不做限定。例如，假设评分的取值范围是0到100，那么评分阈值可以是60。

常见问题解答对系统可以存储有多个问答对。一个问答对可以包括一个问题文本，作为该问题文本的答案的答案文本，问题文本对应的问题向量，答案文本对应的答案向量。

常见问题解答对系统（以下简称FAQ系统）可以采用ElasticSearch数据库存储上述问答对，也可以采用其他数据库，不做限定。

上述问答对的获得方式可以是人工输入，也可以是，读取知识文档，对知识文档进行解析和拆分，得到若干文本块，然后根据这些文本块生成问答对。

根据文本块生成问答对的具体方式可以参见相关现有技术文献，不再赘述。

可选的，生成的问答对在存入FAQ系统前，可以由FAQ系统对将要存入的问答对进行审核，审核通过则存入FAQ系统，审核不通过则丢弃，以此保证FAQ系统中存储的数据的准确性。

审核的方式包括以下一种或多种。

第一种审核方式，检测问答对的问题文本和答案文本是否包含预设的敏感词，如果包含则确定问答对不通过审核，如果不包含则确定问答对通过审核。

第二种审核方式，检测问答对的问题文本和答案文本是否和FAQ系统已有的问答对的文本重复，如果重复则不通过审核，如果不重复则通过审核。

第三种审核方式，针对将要存入的问答对A，在FAQ系统原有的旧问答对中搜索和问答对A具有相似问题文本的问答对B，例如，问答对A的问题是“2017年某项业务总收入是多少”，那么具有相似问题文本的问答对B的问题可以是“2014年某项业务总收入是多少”，找到问答对B后，计算问答对A的答案文本和问答对B的答案文本之间的答案相似度，以及计算问答对A的问题文本和问答对B的问题文本之间的问题相似度，如果两者的偏差不大于特定阈值，例如不大于1%，则认为问答对A通过审核，如果两者的偏差大于特定阈值，则认为问答对A不通过审核。

第三种审核方式的原理是，如果两个问题高度相似，那么这两个问题的正确答案应当也是高度相似的，在此基础上，如果新产生的问答对A的答案和原有问答对B的答案的相似度较低，则可以认为新产生的问答对A的答案是错误的，进而确定问答对A不通过审核。

可选的，FAQ系统可以定期更新自身存储的问答对，从其中删除一部分无效问答对。无效问答对的定义可以是，对任一问答对，如果最近一段时间（例如最近一个月）获得的每一个第一问题文本和该问答对中问题文本的相似度都低于预设的无效阈值，则可以认为这个问答对记载的问题已经失效，该问答对属于无效问答对，无效阈值可以按需设定，不做限定，例如可以设为5%。

在步骤S103中，搜索第一答案文本的方式可以是，针对FAQ系统的每一问答对，计算该问答对中问题向量和第一问题向量的相似度，例如计算两者的余弦相似度，由此找出具有最高的相似度的问题向量，将该问题向量所属问答对的答案文本，确定为第一问题文本对应的第一答案文本。

第一答案文本对应的第一评分，用于表征第一答案文本能够回答第一问题文本的概率，第一评分较高，则认为第一答案文本大概率能够回答第一问题文本，第一评分较低，则认为第一答案文本大概率不能回答第一问题文本。

第一评分的计算方式可以参见相关的现有技术文献，不再赘述。

S104，将第一答案文本确定为第一问题文本的答案。

在S104中，可以将第一答案文本发送给输入第一问题文本的客户端，从而在客户端上显示输出第一答案文本。

或者，第一答案文本也可以被转换成语音，然后由输入第一问题文本的客户端播放，从而回答用户的问题。

S105，在常见问题解答对系统中搜索和第一问题文本匹配的多个目标文本块。

FAQ系统可以存储有通过解析和拆分知识文档得到的多个文本块，以及每一个文本块对应的文本块向量，文本块向量可以由图2所示的向量化模型对文本块进行向量化处理而得到。

在步骤S105中，可以先计算出每一文本块的文本块相似度和文本块温度，然后根据文本块相似度和文本块温度选择目标文本块。

其中，一个文本块的文本块温度，反映该文本块的发散能力，文本块温度越高，该文本块的发散能力越强，文本块温度越低，该文本块的发散能力越弱，同时该文本块的内容越严谨。

一个文本块的文本块相似度，可以是，该文本块的文本块向量和第一问题向量之间的余弦相似度。

一个文本块的文本块温度的计算方式可以是，首先获得多个历史问题向量，计算该文本块的文本块向量和每一历史问题向量的余弦相似度，然后将计算得到的多个余弦相似度取平均，得到的结果作为该文本块的文本块温度，如果文本块温度较高，说明该文本块和每一个历史问题文本都有较高的相关性，进而说明该文本块发散能力强，可以用于回答大多数为，如果文本块温度较低，说明该文本块仅和少数历史问题文本有较高的相关性，和多数历史问题文本相关性较低，进而说明该文本块发散能力弱，内容较严谨，仅能用于回答少数专业问题。

历史问题向量，是指预设历史时段（例如最近一个月）内输入的问题文本对应的问题向量。

根据文本块相似度和文本块温度选择目标文本块的方式可以包括以下多种方式中任意一种或多种。

第一种选择方式，将FAQ系统的所有文本块中，文本块相似度高于相似度阈值，且文本块温度低于温度阈值的文本块确定为目标文本块，这种情况可以确定出一个或多个文本块，也可能找不到满足条件的目标文本块，具体取决于相似度阈值的设置，设置越高，找到的目标文本块越精确，但也可能导致匹配不到结果，设置越低，匹配的目标文本块越多。

第二种选择方式，将FAQ系统的所有文本块按照文本块相似度从高到低排序，选择其中前k个文本块，然后从这k个文本块中过滤掉若干个文本块温度高于温度阈值的文本块，未被过滤掉的就作为目标文本块，这种情况下，如果k个文本块的文本块温度都高于温度阈值，可以保留其中文本块温度最低的，也就是内容相对最严谨的文本块作为目标文本块。

第三种选择方式，按一定的权重将每一文本块的文本块相似度和文本块温度加权平均，得到的结果作为文本块的匹配分值，最后按照匹配分支从高到低选择k个文本块作为目标文本块。其中，文本块相似度的权重值和文本块温度的权重值可以预先按需设定，不做限定。

S106，确定目标文本块对应的提示信息。

在步骤S106中，可以根据目标文本块，从多种预设的备选提示信息中选择一种作为目标文本块的提示信息。

提示信息，可以称为提示词模板。

可选的，当有多个目标文本块时，不同目标文本块对应的提示信息可以相同也可以不同。

目标文本块对应的提示信息，用于指示大语言模型在生成第二答案文本时，按照何种方式利用该目标文本块。

作为一种示例，本实施例的备选提示信息可以包括补充提示信息，扩展提示信息和修正提示信息。

对每一目标文本块，可以按如下方式确定该目标文本块的提示信息。

计算该目标文本块和第一问题文本的相似度，该相似度可以是目标文本块对应的文本块向量和第一问题向量的余弦相似度，如果该相似度大于一定阈值，并且目标文本块包括至少一个预设的问题关键词，那么可以确定该目标文本块的提示信息为扩展提示信息。

其中，预设的问题关键词可以包括但不限于“多少”，“哪些”，“几个”，“什么”，“怎样”等词汇。

其次，如果该目标文本块和第一问题文本的相似度大于一定阈值，并且不包含问题关键词，则可以识别该目标文本块的内容是否具有时效性，也就是识别目标文本块的内容是否属于会随时间推移发生明显变化，如果具有时效性，则可以确定该目标文本块的提示信息是修正提示信息，如果不具有时效性，则可以确定该目标文本块的提示信息是补充提示信息。

示例性的，目标文本块的内容和某地区各个学校的入学人数相关，该内容会随时间推移发生明显变化，于是确定该目标文本块的提示信息是修正提示信息；如果目标文本块的内容和某地区某年份的某项业务收入相关，可以看出，特定年份的某项业务收入不会随着时间推移而变化，于是确定该目标文本块的提示信息是补充提示信息。

S107，通过大语言模型分析第一问题文本、多个目标文本块和提示信息，得到第二答案文本。

步骤S107中所用的大语言模型，可以包括Chatbaidu、ChatGLML、ChatVicuna等模型中的任意一种或多种，也可以进一步包括其他开源的大语言模型。

假设多个目标文本块中，一些目标文本块的提示信息是补充提示信息，这类目标文本块记为补充目标文本块，另一些目标文本块的提示信息是扩展提示信息，这类目标文本块记为扩展目标文本块，还有一些目标文本块的提示信息是修正提示信息，这类目标文本块记为修正目标文本块。

这种情况下，S107的实施方式可以是：

首先用扩展目标文本块对第一问题文本进行扩展处理，得到扩展问题文本，然后用大语言模型分析扩展问题文本，得到初始答案文本，最后根据修正目标文本块和补充目标文本块处理初始答案文本，得到的结果作为第二答案文本。

其中，根据补充目标文本块处理初始答案文本的方式可以是，将补充目标文本块和生成的初始答案文本组合到一起。例如，初始答案文本是文本A，补充目标文本块是文本B，组合后的文本可以为“文本A，文本B”。

根据修正目标文本块处理初始答案文本的方式可以是，在初始答案文本中找到和修正目标文本块相似度最高的一条或前几条语句，用修正目标文本块替换找到的这些语句。例如，初始答案文本包括语句“某市位于某国境内，某市常住人口为10万”，修正目标文本块为“某市常住人口为15万”，那么替换后的文本可以是“某市位于某国境内，某市常住人口为15万”。

根据扩展目标文本块处理第一问题文本的方式可以是，根据扩展目标文本块生成问题文本，然后将生成的问题文本和第一问题文本组合得到扩展问题文本。例如，第一问题文本为“某项业务2013年净收入是多少”，根据扩展目标文本块生成的问题文本是“某项业务2013年净收入增速是多少”，两者组合得到的扩展问题文本可以是“某项业务2013年净收入和净收入增速分别是多少”。

其中，根据扩展目标文本块生成问题文本的具体方式可以参见相关的现有技术，不再赘述。

在上述S107的实施方式中，如果输入的多个目标文本块不包括上述某类目标文本块，则可以不执行对应步骤，例如输入的多个目标文本块不包括补充目标文本块，则不执行目标文本块对应的处理步骤。

大语言模型分析第一问题文本或者分析扩展答案文本，得到对应的初始答案文本的具体方式，可以参见相关的现有技术文献，不再赘述。

S108，通过常见问题解答对系统计算第二答案文本对应的第二评分。

在第二评分满足评分条件的情况下，执行步骤S109，在第二评分不满足评分条件的情况下，执行步骤S110。

S108的评分条件可以是，第二评分大于或等于预设的评分阈值，评分阈值可以按需设定，不做限定。例如，假设评分的取值范围是0到100，那么评分阈值可以是60。

第二答案文本对应的第二评分，用于表征第二答案文本能够回答第二问题文本的概率，第二评分较高，则认为第二答案文本大概率能够回答第二问题文本，第二评分较低，则认为第二答案文本大概率不能回答第二问题文本。

第二评分的计算方式可以参见相关的现有技术文献，不再赘述。

S109，将第二答案文本确定为第一问题文本的答案。

在S109中，可以将第二答案文本发送给输入第二问题文本的客户端，从而在客户端上显示输出第二答案文本。

或者，第二答案文本也可以被转换成语音，然后由输入第二问题文本的客户端播放，从而回答用户的问题。

S110，利用大语言模型更新第一问题文本。

返回执行将第一问题文本转换成第一问题向量步骤，即返回S102。

更新第一问题文本的方式有多种，本实施例不做限定。

作为一种示例，更新的方式可以是，识别第一问题文本中的多个关键词，针对每一关键词，在预设的词库中找出该关键词的近义词，用近义词替换关键词，替换后的文本作为第一问题文本。

作为另一示例，更新的方式可以是，识别第一问题文本的关键词，然后调整这些关键词的排序，也就是将第一问题文本进行重组，由此得到新的第一问题文本。

在一些可选的实施例中，当重复次数大于预设的重复阈值时，将第一问题文本对应的所有第一答案文本和第二答案文本中，具有最高评分的答案文本确定为第一问题文本的答案，以及确定答案文本提示，重复次数是确定第二评分不满足评分条件的次数。

其中，答案文本提示的内容可以是“已有知识无法回答当前问题，请酌情参考”。

可选的，在输出第一问题文本对应的答案时，还可以基于一系列的搜索匹配规则输出答案的打分（也就是前述第一评分或第二评分），输出对问题匹配到的知识文档块内容（即前述目标文本块），输出目标文本块的来源知识文档，目标文本块和第一问题文本的匹配程度等，以供相关用户参考。

本实施例的有益效果在于，在使用大语言模型回答第一问题文本之前，先在常见问题解答对系统中搜索第一问题文本匹配的目标文本块，然后将目标文本块、提示信息和第一问题文本一并输入到大语言模型，使得大语言模型能够结合目标文本块中携带的新的信息和事件对第一问题文本进行回答，从而在不需要使用新的信息和事件重复训练大语言模型的前提下，解决了大语言模型知识实时性较差的问题。

在一些可选的实施例中，可以通过如下文本解析和拆分方法，将输入的包含领域知识的知识文档拆分成文本块并存入常见问题解答对系统：

A1，对知识文档进行解析和拆分，得到多个文本块；

A2，将文本块和文本块对应的文本块向量存入常见问题解答对系统。

步骤A1可以通过如图3所示的模型实现。

可选的，对知识文档进行解析和拆分，得到多个文本块，包括：

B1，解析知识文档，得到知识文档对应的解析文本；

B2，对解析文本进行分句处理，得到解析文本包含的多个语句；

B3，针对每一语句，确定语句对应的语句向量；

B4，根据语句向量将解析文本拆分为多个文本块。

步骤B1中，对知识文档的解析可以通过任意一种现有的文本解析工具实现，本实施例对具体过程不做限定。作为一种示例，可以用file_parser解析知识文档得到对应的解析文本。

在步骤B1中，知识文档的格式可以是docx，doc，pdf，xlsx，html，csv，pptx，txt中的任意一种。

通过步骤B1，可以将知识文档的文本内容、图片、表格、段落及章节目录结构等信息解析至和该知识文档同级目录下的txt格式的同名文件中，该同名文件就是B1中解析得到的解析文本，解析文本的名称和知识文档的名称相同。

解析文本中可以保留知识文档中出现的表格的表格内容，以及该表格的表头目录结构信息。

对于知识文档中出现的图片，经过解析后，图片可以存储至和知识文档同级目录里具有特定名称（例如知识文档的名称加上“附图”字样）的文件夹下，同时，利用文字识别技术（OCR）解析文档中出现的图片，以提取该图片中文本内容，提取的文本内容可以添加到解析文本中图片占位符所在的位置，从而实现将文档里图片中文本内容解析到文本，并保证了文档语义顺序结构的完整性。

其中，图片占位符的位置和原本的知识文档中图片的位置一致。

在步骤B2中，可以采用任意一种现有的文本分句算法对解析文本进行分句处理，获得组成解析文本的多个语句，算法的具体原理和实施过程可以参见相关现有技术，不在赘述。

在步骤B3中，针对每一条语句，确定该语句的语句向量的过程可以包括如下步骤。

C1，对语句进行分词处理，得到语句的分词序列；

C2，确定分词序列对应的位置序列，以及语句的分割识别符序列；

C3，确定语句的文本结构信息；

C4，生成分词序列对应的分词向量，位置序列对应的位置向量，分割识别符序列对应的分割向量，以及文本结构信息对应的结构向量；

C5，对分词向量、位置向量、分割向量和结构向量进行融合处理，得到语句的语句向量。

在步骤C1中，可以先使用分词器处理该条语句，得到组成该条语句的多个词汇，并在这些瓷锤的最后添加[SEP]标记，由此形成多个词汇和末尾的一个[SEP]标记组成的分词序列（也可以称为token序列）。

步骤C2中的位置序列，用于表示分词序列中每一个词汇在该条语句中所在的位置。

分割识别符序列，包括该条语句中出现的每一个分割识别符，本实施例中，分割识别符包括但不限于逗号，分号，顿号，书名号，引号和双引号等可以在一条语句内出现的标点符号。

C3中，语句的文本结构信息用于表示该语句的章节目录等信息，具体可以表示该条语句属于解析文档的哪一章节，以及属于该章节的第几段章节。文本结构信息可以在步骤B1的解析过程中获得。

在步骤C4中，可以将该条语句的分词序列、位置序列、分割识别符序列和文本结构信息逐一输入图2的向量化模型，获得该条语句的分词向量、位置向量、分割向量和结构向量，本实施例中这些向量也可以称为嵌入向量Embedding。

步骤C5中，首先可以将一条语句的分词向量、位置向量、分割向量和结构向量一并输入到图3所示的转换器，转换器（Transformer）中包括多层堆叠的编码器（Encoder），这些编码器能够通过自注意力机制建模更长上下文和句子间的依赖关系，完成对每个语句向量表示的特征学习，从而获得一条语句的融合向量。

然后，可以将该条语句的融合向量输入到最大池化层（Max Pool），由最大池化层处理后得到该条语句的语句向量。

设置最大池化层的原因在于，考虑到计算资源一级模型的推理效率，通过最大值池化进一步对句子编码实现特征表示的融合，从而减小语句向量的维度，以节约计算资源。

在步骤B4中，如图3所示，可以将解析文本的所有语句的语句向量一并输入到长短期记忆网络，从而获得解析文本中每一条语句的长短期记忆表示向量。

本实施例中，语句的长短期记忆表示向量可以具有不定长度，也就是说，不同语句的长短期记忆表示向量的长度可以不同。

该长短期记忆网络可以是双向长短期记忆网络，即Bi-LSTM。

然后，对每一条语句，将该条语句的长短期记忆表示向量输入归一化层（SoftMax），经过归一化层处理得到该条语句的二分类结果。

一条语句的二分类结果可以为“是”或“否”。

如果一条语句的二分类结果为“是”，说明这条语句是一个分割点，如果一条语句的二分类结果为“否”，说明这条语句不是一个分割点。

按上述方式遍历解析文本的所有语句后，即可确定解析文本的所有分割点，然后可以按照分割点将解析文本拆分为多个文本块。

拆分的方式可以是，将解析文本的第一条语句到第一个分割点的所有内容（包含第一个分割点在内）确定为一个文本块；此后，逐一识别第一个分割点之后的每一分割点，每识别到一个分割点，将该分割点的前一个分割点到该分割点的内容，以及该分割点自身确定为一个文本块（不含前一个分割点），直至识别完所有分割点；识别完所有分割点后，如果最后一个分割点是解析文本的最后一条语句，则拆分过程结束，如果最后一个分割点不是解析文本的最后一条语句，那么就将最后一个分割点之后的全部内容（不含最后一个分割点）确定为一个文本块，拆分过程结束。

示例性的，当识别到第二个分割点时，可以将第一个分割点到第二个分割点之间的文本内容，加上第二个分割点作为一个文本块。

其中，如果第一个分割点就是解析文本的第一条语句，就将第一条语句单独确定为一个文本块，然后从第二条语句和第二个分割点开始，按上述方式拆分文本块。

按上述方式将知识文档拆分成文本块，其好处在于，能够在识别文本结构，理解文本上下文语义的基础上进行文本切分，使得切分后的文本块之间既具有相对的独立性和语义的完整性，从而提升常见问题解答对系统中存储的文本块的切分效果，进而达到提高大模型领域知识问答准确率，实现低成本和准确高效的客户问答的效果。

本实施例提供的一种基于领域知识的大模型问答方法，还具有如下的有益效果。

第一，基于现有的开源LLMs大模型实现人机交互，无需重新构建行业领域大模型，节约了时间和资源成本，结合FAQ系统存储的知识文档的文本块，修正用户提出的问题，结合问题和答案的打分结果，针对打分较低的问题答案进行多轮改变方式的提问和修正问题，直到问题答案满足打分要求，迭代提升大模型回答结果的准确率或者给出当前最高打分的答案及提示“已有知识无法回答当前问题，请酌情参考”，避免了因大模型对话的不稳定误导用户体验。

第二，在向FAQ系统存入文本块时，实现对各种类型的领域知识进行文本、图片、表格、章节目录结构、页码等内容解析，保证后续文本切分的知识语义的完整性；同时在将知识文档分解成文本块时，结合文本结构信息，利用Bi-LSTM提取知识文档的上下文语义信息，在理解文本上下文语义的基础上进行文本切分，使得切分后的文本块之间既具有相对的独立性，从而保证知识文档块语义的完整性，提升知识库语料文本最终切分效果。

本申请实施例还提供一种基于领域知识的大模型问答装置，请参见图4，为该装置的结构示意图，该装置可以包括如下单元。

获得单元401，用于获得第一问题文本；

转换单元402，用于将第一问题文本转换成第一问题向量；

处理单元403，用于通过常见问题解答对系统处理第一问题向量，得到第一问题文本的第一答案文本和第一答案文本的第一评分；

确定单元404，用于在第一评分满足评分条件的情况下，将第一答案文本确定为第一问题文本的答案；

搜索单元405，用于在第一评分不满足评分条件的情况下，在常见问题解答对系统中搜索和第一问题文本匹配的多个目标文本块；

选择单元406，用于选择目标文本块对应的提示信息；

分析单元407，用于通过大语言模型分析第一问题文本、多个目标文本块和提示信息，得到第二答案文本；

计算单元408，用于通过常见问题解答对系统计算第二答案文本对应的第二评分；

确定单元404，用于在第二评分满足评分条件的情况下，将第二答案文本确定为第一问题文本的答案。

可选的，装置还包括更新单元409，用于：

在第二评分不满足评分条件的情况下，利用大语言模型更新第一问题文本；

触发转换单元执行将第一问题文本转换成第一问题向量步骤；

确定单元404还用于，当重复次数大于预设的重复阈值时，将第一问题文本对应的所有第一答案文本和第二答案文本中，具有最高评分的答案文本确定为第一问题文本的答案，以及确定答案文本提示，重复次数是确定第二评分不满足评分条件的次数。

可选的，装置还包括拆分单元410，用于：

对知识文档进行解析和拆分，得到多个文本块；

将文本块和文本块对应的文本块向量存入常见问题解答对系统。

可选的，拆分单元410对知识文档进行解析和拆分，得到多个文本块时，具体用于：

解析知识文档，得到知识文档对应的解析文本；

对解析文本进行分句处理，得到解析文本包含的多个语句；

针对每一语句，确定语句对应的语句向量；

根据语句向量将解析文本拆分为多个文本块。

可选的，拆分单元410确定语句对应的语句向量时，具体用于：

对语句进行分词处理，得到语句的分词序列；

确定分词序列对应的位置序列，以及语句的分割识别符序列；

确定语句的文本结构信息；

生成分词序列对应的分词向量，位置序列对应的位置向量，分割识别符序列对应的分割向量，以及文本结构信息对应的结构向量；

对分词向量、位置向量、分割向量和结构向量进行融合处理，得到语句的语句向量。

本申请实施例提供一种基于领域知识的大模型问答装置，其工作原理和有益效果可以参见本申请其他实施例提供的一种基于领域知识的大模型问答方法的相关步骤和有益效果，不再赘述。

本申请实施例还提供一种电子设备，请参见图5，为该电子设备的结构示意图，该电子设备可以包括存储器501和处理器502。

其中，存储器501用于存储计算机程序；

处理器502用于执行该计算机程序，具体用于实现本申请任一实施例一种基于领域知识的大模型问答方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (6)

1.一种基于领域知识的大模型问答方法，其特征在于，包括：

获得第一问题文本；

将所述第一问题文本转换成第一问题向量；

通过常见问题解答对系统处理所述第一问题向量，得到所述第一问题文本的第一答案文本和所述第一答案文本的第一评分；

在所述第一评分满足评分条件的情况下，将所述第一答案文本确定为所述第一问题文本的答案；

在所述第一评分不满足所述评分条件的情况下，在所述常见问题解答对系统中搜索和所述第一问题文本匹配的多个目标文本块；

选择所述目标文本块对应的提示信息，所述提示信息为补充提示信息、扩展提示信息或修正提示信息；

通过大语言模型分析所述第一问题文本、多个所述目标文本块和所述提示信息，得到第二答案文本；

通过所述常见问题解答对系统计算所述第二答案文本对应的第二评分；

在所述第二评分满足所述评分条件的情况下，将所述第二答案文本确定为所述第一问题文本的答案；

解析知识文档，得到所述知识文档对应的解析文本；

对所述解析文本进行分句处理，得到所述解析文本包含的多个语句；

针对每一所述语句，确定所述语句对应的语句向量；

根据所述语句向量将所述解析文本拆分为多个文本块；

将所述文本块和所述文本块对应的文本块向量存入所述常见问题解答对系统。

2.根据权利要求1所述的方法，其特征在于，还包括：

在所述第二评分不满足所述评分条件的情况下，利用所述大语言模型更新所述第一问题文本；

返回执行所述将所述第一问题文本转换成第一问题向量步骤；

当重复次数大于预设的重复阈值时，将所述第一问题文本对应的所有第一答案文本和所述第二答案文本中，具有最高评分的答案文本确定为所述第一问题文本的答案，以及确定答案文本提示，所述重复次数是确定所述第二评分不满足所述评分条件的次数。

3.根据权利要求1所述的方法，其特征在于，所述确定所述语句对应的语句向量，包括：

对所述语句进行分词处理，得到所述语句的分词序列；

确定所述分词序列对应的位置序列，以及所述语句的分割识别符序列；

确定所述语句的文本结构信息；

生成所述分词序列对应的分词向量，所述位置序列对应的位置向量，所述分割识别符序列对应的分割向量，以及所述文本结构信息对应的结构向量；

对所述分词向量、所述位置向量、所述分割向量和所述结构向量进行融合处理，得到所述语句的语句向量。

4.一种基于领域知识的大模型问答装置，其特征在于，包括：

获得单元，用于获得第一问题文本；

转换单元，用于将所述第一问题文本转换成第一问题向量；

处理单元，用于通过常见问题解答对系统处理所述第一问题向量，得到所述第一问题文本的第一答案文本和所述第一答案文本的第一评分；

确定单元，用于在所述第一评分满足评分条件的情况下，将所述第一答案文本确定为所述第一问题文本的答案；

搜索单元，用于在所述第一评分不满足所述评分条件的情况下，在所述常见问题解答对系统中搜索和所述第一问题文本匹配的多个目标文本块；

选择单元，用于选择所述目标文本块对应的提示信息，所述提示信息为补充提示信息、扩展提示信息或修正提示信息；

分析单元，用于通过大语言模型分析所述第一问题文本、多个所述目标文本块和所述提示信息，得到第二答案文本；

计算单元，用于通过所述常见问题解答对系统计算所述第二答案文本对应的第二评分；

所述确定单元，用于在所述第二评分满足所述评分条件的情况下，将所述第二答案文本确定为所述第一问题文本的答案；

拆分单元，用于对知识文档进行解析和拆分，得到多个文本块；将所述文本块和所述文本块对应的文本块向量存入所述常见问题解答对系统；

所述拆分单元对知识文档进行解析和拆分，得到多个文本块时，具体用于：解析知识文档，得到所述知识文档对应的解析文本；对所述解析文本进行分句处理，得到所述解析文本包含的多个语句；针对每一所述语句，确定所述语句对应的语句向量；根据所述语句向量将所述解析文本拆分为多个文本块。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括更新单元，用于：

在所述第二评分不满足所述评分条件的情况下，利用所述大语言模型更新所述第一问题文本；

触发所述转换单元执行所述将所述第一问题文本转换成第一问题向量步骤；

所述确定单元还用于，当重复次数大于预设的重复阈值时，将所述第一问题文本对应的所有第一答案文本和所述第二答案文本中，具有最高评分的答案文本确定为所述第一问题文本的答案，以及确定答案文本提示，所述重复次数是确定所述第二评分不满足所述评分条件的次数。

6.根据权利要求4所述的装置，其特征在于，所述拆分单元确定所述语句对应的语句向量时，具体用于：

对所述语句进行分词处理，得到所述语句的分词序列；

确定所述分词序列对应的位置序列，以及所述语句的分割识别符序列；

确定所述语句的文本结构信息；

生成所述分词序列对应的分词向量，所述位置序列对应的位置向量，所述分割识别符序列对应的分割向量，以及所述文本结构信息对应的结构向量；

对所述分词向量、所述位置向量、所述分割向量和所述结构向量进行融合处理，得到所述语句的语句向量。