CN117556920A - 一种大模型幻觉治理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种大模型幻觉治理方法、装置、设备及存储介质。该方法包括：获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，通过本发明的技术方案，能够减少模型生成结果出现幻觉的可能性，提升模型结果的可信度。

Description

一种大模型幻觉治理方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种大模型幻觉治理方法、装置、设备及存储介质。

背景技术

随着人工智能的快速发展，大模型成为机器学习的新范式，在各个领域当中得到了广泛的应用。然而，大模型的幻觉问题阻碍了大模型技术在高可用性场景下的应用。

如何治理大型模型幻觉问题尚缺乏有效方法，当前的方法主要有如下几种：

1.通过提升语料质量来治理幻觉。用筛选过、多样化、广泛和高精度的数据集的数据集去训练模型，这样可以减少模型对特定群体或观点的偏好。虽说能一定程度上缓解幻觉，但提升空间有限。

2.通过对结果的迭代改进和反馈循环来降低幻觉产生的概率。不断收集模型的性能和输出反馈，以进一步对大模型生成的结果进行相应的调整和改进。此方法效果不稳定，往往会根据错误的信息继续往下延伸。

3.通过审查和审核机制来控制幻觉生成。建立审查和审核机制，对模型的训练数据、训练过程和输出进行审查。这可以包括对模型的算法、权重和参数进行审查，以减轻潜在的幻觉和偏见。由于大模型的黑盒性，此方法也不能提供有效的幻觉治理效果。

发明内容

本发明实施例提供一种大模型幻觉治理方法、装置、设备及存储介质，通过对所述待校验答案进行校验，能够减少模型生成结果出现幻觉的可能性，提升模型结果的可信度。

根据本发明的一方面，提供了一种大模型幻觉治理方法，包括：

获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；

将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；

根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

根据本发明的另一方面，提供了一种大模型幻觉治理装置，该大模型幻觉治理装置包括：

目标问答对获取模块，用于获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；

问答类型确定模块，用于将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；

校验模块，用于根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的大模型幻觉治理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的大模型幻觉治理方法。

本发明实施例通过获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，能够减少模型生成结果出现幻觉的可能性，提升模型结果的可信度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例中的一种大模型幻觉治理方法的流程图；

图2是本发明实施例中的问答类型确定方法示意图；

图3是本发明实施例中的另一种大模型幻觉治理方法的流程图；

图4是本发明实施例中的一种大模型幻觉治理装置的结构示意图；

图5是本发明实施例中的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

实施例一

图1为本发明实施例提供的一种大模型幻觉治理方法的流程图，本实施例可适用于大模型幻觉治理的情况，该方法可以由本发明实施例中的大模型幻觉治理装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：

S110，获取目标问答对。

其中，所述目标问答对包括：目标问题和待校验答案。待校验答案为将目标问题输入大模型后，得到的输出结果。

需要说明的是，由于大模型存在幻觉问题，因此，需要通过对大模型的输出结果进行校验，进而达到减少模型生成结果出现幻觉的可能性，提升模型结果的可信度的效果。

S120，将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到。

其中，所述训练样本集包括：问答对样本和问答对样本对应的问答类型。

其中，通过训练样本集迭代训练待训练模型包括：获取训练样本集；将训练样本集中的问答对样本输入待训练模型，得到预测问答类型；根据预测问答类型和问答对样本对应的问答类型形成的目标函数训练所述待训练模型；返回执行将训练样本集中的问答对输入待训练模型，得到预测问答类型的操作，直至得到目标模型。

其中，所述问答类型包括：关系型、推断型、形势比较型、论点型、强因果关系型以及真值判断型中的至少一种。

S130，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

具体的，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式可以为：若问答类型为关系型，则对目标问题进行关系主体识别，得到所述目标问题对应的关系主体集合；将所述目标问题对应的关系主体集合与知识图谱进行匹配，得到第一目标节点集合；根据第一目标节点集合中任意两个目标节点之间的目标路径生成目标路径集合，其中，所述目标路径包括至少一条边；根据目标路径集合中每个目标路径对应的边描述生成据目标路径集合对应的第一边描述集合；根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：若问答类型为关系型，则将所述目标问题与知识图谱里面的边进行匹配，得到与目标问题对应的边，将待校验答案与知识图谱里面的边进行匹配，得到与待校验答案对应的边，将与待校验答案对应的边与目标问题对应的边进行匹配，若匹配成功，则确定所述待校验答案为目标答案。根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：若问答类型为推断型，则获取推理步骤描述集合，其中，所述推理结果集合包括：至少一个推理步骤描述；将推理步骤描述集合和所述待校验答案与知识图谱进行匹配，得到第二目标节点集合；若相邻目标节点之间均存在路径，则确定所述待校验答案为目标答案。根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：若问答类型为论点型，将目标问答对输入评估模型，得到基于目标问题对待校验答案的评分；若基于目标问题对待校验答案的评分大于评分阈值，则确定所述待校验答案为目标答案。根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：若问答类型为强因果关系型，且知识图谱中存在目标问题到待校验答案的路径，则确定待校验答案为目标答案；若问答类型为强因果关系型，且目标问题与待校验答案存在因果关系，则确定待校验答案为目标答案。根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：若问答类型为真值判断型，则解析目标问题和待校验答案，得到输出结果；若输出结果与待校验答案相同，则确定待校验答案为目标答案。根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：若问答类型为形式比较型，则获取目标问题对应的至少两个组合对象；对每个组合对象进行关系主体识别，得到每个组合对象对应的关系主体集合；将每个组合对象对应的关系主体集合与知识图谱进行匹配，得到每个组合对象对应的子图；根据至少两个子图之间的联通路径对应的边描述生成第二边描述集合；根据第二边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

可选的，所述问答类型包括：关系型、推断型、形势比较型、论点型、强因果关系型以及真值判断型中的至少一种。

其中，关系型：主要是分析目标问题X中多个对象之间的关系(大小，高低，范围大小等等)；推断型：主要是分析目标问题X到待校验答案Y中间的CoT思维推理过程是否正确；形式比较型：主要是分析目标问题X中多个对象之间形式的比较(逻辑或方法)；论点型：根据目标问题中提供的信息，理解并生成待校验答案Y，主要在于评估大模型在理解目标问题X的基础上生成的待校验答案Y；强因果关系型：目标问题X和待校验答案Y有直接的因果关系；真值判断型：待校验答案Y是否为目标问题X的答案。

可选的，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为关系型，则对目标问题进行关系主体识别，得到所述目标问题对应的关系主体集合；

将所述目标问题对应的关系主体集合与知识图谱进行匹配，得到第一目标节点集合；

根据第一目标节点集合中任意两个目标节点之间的目标路径生成目标路径集合，其中，所述目标路径包括至少一条边；

根据目标路径集合中每个目标路径对应的边描述生成目标路径集合对应的第一边描述集合；

根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

可选的，还包括：

获取历史知识问答数据；

对所述历史知识问答数据进行识别，得到知识问答的主体集合；

根据知识问答的主体集合和知识问答的主体集合中任意两个知识问答的主体之间的关系，构建知识图谱。

具体的，对目标问题进行关系主体识别，得到所述目标问题对应的关系主体集合的方式可以为：预先训练主体识别器，基于主体识别器对目标问题进行识别，得到目标问题对应的关系主体集合。

具体的，将所述目标问题对应的关系主体集合与知识图谱进行匹配，得到第一目标节点集合的方式可以为：将所述目标问题对应的关系主体集合与知识图谱的节点以及节点属性进行匹配，得到第一目标节点集合。

具体的，根据目标路径集合中每个目标路径对应的边描述生成目标路径集合对应的第一边描述集合的方式可以为：获取目标路径集合中每个目标路径对应的边描述，将目标路径集合中每个目标路径对应的边描述进行叠加，得到目标路径集合对应的第一边描述集合。

具体的，根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式可以为：若第一边描述集合与待校验答案之间的相似度大于相似度阈值，则确定待校验答案为目标答案。根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：获取第一边描述集合中每个边描述与待校验答案之间的相似度，若第一边描述集合中每个边描述与待校验答案之间的相似度均大于相似度阈值，则确定待校验答案为目标答案，或者，若第一边描述集合中边描述与待校验答案之间的相似度的均值大于相似度阈值，则确定待校验答案为目标答案。

在一个具体的例子中，目标问题为：“A与B有什么关系？”，待校验答案为“A与B没有直接的师徒关系”。

由此可见，目标问答对对应的问答类型为关系型，首先通过主题识别模型进行问题X中的关系主体识别，分离出x1和x2分别为“A”和“B”。通过遍历在知识图谱中寻找“A”和“B”，使用字符串相似度计算的方法将X与KG节点进行匹配，匹配到的节点分别为n1、n2。使用图路径检索算法寻找连接n1、n2的最短路径Path(n1,n2)，具体结果为Path(n1,n2)＝{}为空集，说明n1与n2不存在直接关联。所以以上例子Question对Answer的校验失败，大模型结果生成过程中产生了幻觉。

可选的，根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若第一边描述集合与待校验答案之间的相似度大于相似度阈值，则确定待校验答案为目标答案。

其中，所述相似度阈值可以为预先设定的数值。

可选的，还包括：

若第一目标节点集合中的节点之间无联通路径，则确定待校验答案非目标答案，也就是大模型生成结果出现幻觉。

或者，

若第一边描述集合与待校验答案之间的相似度小于或者等于相似度阈值，则确定待校验答案非目标答案，也就是大模型生成结果出现幻觉。

在一个具体的例子中，关系型目标主要是分析目标问题X中多个主体之间的关系。具体步骤为：

1.对目标问题X关系主体识别。可以用强化学习的方式训练一个主体识别器，用识别器对目标问题X进行主体识别。得到目标问题X对应的关系主体集合：{X1、X2、……、Xn}。

2.关系主体映射。将{X1、X2、……、Xn}与知识图谱KG的节点及节点属性进行一一匹配。可以使用字符串相似度计算的方法将对目标问题X对应的关系主体集合与KG节点进行匹配，目标问题X对应的关系主体集合与图节点匹配后的节点记为G{N1、N2、……、Nn}，其中，Xi与Ni一一对应。

3.主体路径分析。在知识图谱中边代表节点间的关系，与待校验答案Y相对应。以G{N1、N2}的关系Y12为例，首先检索N1与N2之间的路径：若无联通路径，则N1、N2无关系；若存在路径，可记为Path(N1,N2)＝{Edge1、Edge2、……、EdgeN}，路径通常由一条或多条边组成。其次，整合Path(N1,N2)中边描述与待校验答案Y计算相似度，若相似度大于设定阈值，则表明待校验答案为目标答案，也就是大模型输出的结果Y与正确结果一致，反之，大模型输出的结果Y与正确结果不一致，也就是，大模型生成结果出现幻觉。

可选的，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为推断型，则获取推理步骤描述集合，其中，所述推理结果集合包括：至少一个推理步骤描述；

将推理步骤描述集合和所述待校验答案与知识图谱进行匹配，得到第二目标节点集合；

若相邻目标节点之间均存在路径，则确定所述待校验答案为目标答案。

具体的，获取推理步骤描述集合的方式可以为：通过主题识别与关系分类的方法获取推理步骤描述集合，或者，通过LLM模型获取推理步骤描述集合。其中，LLM模型可以为：Sophon Solar LLM大模型。例如可以是，根据目标问答对生成提示词，将提示词输入LLM模型，得到推理步骤描述集合。

可选的，将推理步骤描述集合和所述待校验答案与知识图谱进行匹配，得到第二目标节点集合，包括：

对待校验答案进行关系主体识别，得到待校验答案对应的关系主体集合；

将推理步骤描述集合和待校验答案对应的关系主体集合与知识图谱进行匹配，得到第二目标节点集合。

在一个具体的例子中，通过LLM模型对目标问题对进行处理，得到推理步骤描述集合，具体的，提示词形式为：“请扮演解决方案专家角色，已知问题{Question}及答案{Answer}，请给出如何获得答案的中间推理步骤。”本实施中使用的LLM模型为SophonSolar LLM大模型，Solar LLM模型的输出推理步骤描述集合为“X1、X2、X3、Y”。

推理步骤映射。通过遍历知识图谱Zen Graph(通用KG软件，知识图谱中存储了大量通用知识问答的主体与关系)中寻找X1、X2、X3，再使用字符串相似度计算方法Levenshtein Distance将X1～X3及Y与KG节点以及节点属性进行匹配，匹配到的节点分别为n1、n2、n3、n4。

使用图路径检索算法寻找连接(n1、n2)，(n2、n3)，(n3、n4)的最短路径Path(n1,n2)＝{因果关系}、Path(n2,n3)＝{因果关系}、Path(n3,n4)＝{因果关系}，X与Y之间存在连贯的路径关联，证明各个CoT步骤间存在正确的逻辑和知识关系。所以此例中对待校验答案的校验成功，大模型结果生成过程中产生幻觉可能性极低。

补充说明：此例实际也是“强因果关系型”，在具体实施中，也可以根据边属性(当为因果关系时)，对因果对展开类似因果关系分析的工作，比如AB实验、FCI算法、PNL算法、IV工具变量以及NCM等算法实现。

可选的，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为论点型，将目标问答对输入评估模型，得到基于目标问题对待校验答案的评分；

若基于目标问题对待校验答案的评分大于评分阈值，则确定所述待校验答案为目标答案。

其中，所述评分阈值可以为预先设定的数值。

其中，所述评估模型通过第一样本集迭代训练第一模型得到，其中，所述第一样本集包括：问答对样本和问答对样本对应的基于问题对答案的评分。

需要说明的是，论点型主要在于评估大模型在理解目标问题X的基础上生成的待校验答案Y。可用强化学习训练评估模型。评估模型的输入为X-Y对，输出为基于X对结果Y的评分，分数越高则证明论点的可信度越高。对于Y的评分，可以通过类似GPT的大模型服务接口进行评估，也可以通过训练自研大模型进行评估，自研大模型的训练集可以靠人工制作，对Xt和Yt进行综合的打分，按通用LM训练方法学习即可。若评分大于设定阈值，则确定待校验答案为目标答案，表明大模型输出的结果Y可接受，反之，则拒绝接受大模型输出的结果Y。

可选的，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为强因果关系型，且知识图谱中存在目标问题到待校验答案的路径，则确定待校验答案为目标答案；

若问答类型为强因果关系型，且目标问题与待校验答案存在因果关系，则确定待校验答案为目标答案。

具体的，判断目标问题与待校验答案是否存在因果关系的方式可以为：通过随机对照试验、配对设计、差异差分估计等等方式判断目标问题与待校验答案是否存在因果关系。

在一个具体的例子中，强因果关系型主要校验现有问题X和结果Y是否有因果关系。对于因果关系的判别实现方法可有如下2种：

1.基于历史经验：在知识图谱中寻找X到Y的路径，若存在路径，X可写为N1，Y可写为N2，可记为Path(N1,N2)＝{Edge1、Edge2、……、EdgeN}，则说明X和Y有因果关系，校验成功，确定所述待校验答案为目标答案。反之，拒绝大模型输出的结果Y；

2.因果校验：校验方法有随机对照试验、配对设计、差异差分估计等等，因果分析方法为现有方法，不赘述，可以被因果校验模块调用。如因果分析成功，则校验成功，确定所述待校验答案为目标答案。反之，大模型输出的结果Y与正确结果不一致。

可选的，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为真值判断型，则解析目标问题和待校验答案，得到输出结果；

若输出结果与待校验答案相同，则确定待校验答案为目标答案。

具体的，解析目标问题和待校验答案，得到输出结果的方式可以为：解析目标问题和待校验答案，得到解析结果。获取解析结果对应的校验类型，若解析结果对应的校验类型为过程校验，则获取推理步骤描述集合，根据推理步骤描述集合进行校验。若解析结果对应的校验类型为逆向校验，则使用归谬赋值或真值表等方法证明待校验答案是目标问题的结果。若解析结果对应的校验类型为第三方工具校验，则调用第三方工具计算目标问题，得到目标结果，若目标结果和待校验答案相同，则确定待校验答案为目标答案。

具体的，真值判断型主要判断结果Y是否为问题X的答案。其具体实现方法可有如下几种：

1.过程校验：展开CoT并对其进行判断，如果推理过程正确，则验证成功。

2.逆向校验：使用归谬赋值或真值表等方法，如果能证明Y是X的结果，则校验成功。

3.借助第三方工具校验：比如，调用计算器接口验证。

在一个具体的例子中，目标问答对为：

目标问题："(355+400)*2等于多少？"

待校验答案：“(355+400)*2等于1510。"

本示例中，主要采用借助第三方工具的方式进行校验。首先需要对目标问题和待校验答案的内容进行解析，具体采用规则解析的方法，解析结果为2部分类型：输入参数和输出结果，形式为{Type，Input_Parameter、Result}具体为{CAL，(355+400)*2，1510}，CAL表示数值计算类型，调用第三方工具是的输入为(355+400)*2。在其他QA例中，类型与参数形式有多种形式，具体根据规则解析器中所配置的规则决定。

调用第三方计算器API，将“(355+400)*2”做为参数输入计算器，计算器返回结果为1510。

将第三方计算器计算出的结果1510和大模型输出结果Result＝1510进行对比，就以本例子而言，计算器结果和大模型输出结果一致，校验通过，所述待校验答案为目标答案，经校验本次模型推理没有出现幻觉。

可选的，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为形式比较型，则获取目标问题对应的至少两个组合对象；

对每个组合对象进行关系主体识别，得到每个组合对象对应的关系主体集合；

将每个组合对象对应的关系主体集合与知识图谱进行匹配，得到每个组合对象对应的子图；

根据至少两个子图之间的联通路径对应的边描述生成第二边描述集合；

根据第二边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

具体的，对每个组合对象进行关系主体识别，得到每个组合对象对应的关系主体集合的方式可以为：预先训练主体识别器，将组合对象输入主体识别器，得到组合对象对应的关系主体集合。

具体的，将每个组合对象对应的关系主体集合与知识图谱进行匹配，得到每个组合对象对应的子图的方式可以为：将每个组合对象对应的关系主体集合与知识图谱的节点以及节点属性进行匹配，得到每个组合对象对应的子图。

具体的，根据第二边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式可以为：获取每个联通路径对应的边描述与待校验答案之间的相似度，若每个联通路径对应的边描述与待校验答案之间的相似度均大于相似度阈值，则校验通过，确定所述待校验答案为目标答案。根据第二边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式可以为：若第二边描述集合与待校验答案之间的相似度大于相似度阈值，则校验通过，确定所述待校验答案为目标答案。根据第二边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案的方式还可以为：获取每个联通路径对应的边描述与待校验答案之间的相似度，若联通路径对应的边描述与待校验答案之间的相似度的均值大于相似度阈值，则校验通过，确定所述待校验答案为目标答案。

在一个具体的例子中，形式比较型目标是分析目标问题X中组合对象之间形式的比较(例如：比较2种解决问题的方法逻辑是否一致或优劣之类)。具体步骤为：

1.目标问题X中组合对象的主体识别。可使用同关系型中类似的主体识别方式，用识别器识别目标问题X的组合对象以及构成组合对象的主体，以2种组合对象为例，识别后的组合对象主体分别记为{X}1＝{X11、X12、……、X1i}、{X}2＝{X21、X22、……、X2j}，i、j分别为构成组合对象1及组合对象2的主体数；

2.主体映射。同样适用关系型中主体映射的方式，将{X}1＝{X11、X12、……、X1i}、{X}2＝{X21、X22、……、X2j}与知识图谱KG的节点及节点属性进行一一匹配；

3.主体路径分析。在知识图谱中边代表节点间的关系，节点与边构成子图，{X}1对应的子图为G({X}1)，{X}2对应的子图为G({X}2)。检索G({X}1)与G({X}2)之间的路径：若无联通路径，则目标问题X中的集合对象1与集合对象2无关系。集合对象之间的关系分析，通常可以通过比较两个子图之间的关系实现，本发明实施例采用通过分析两个子图之间的关联分析的方法实现。具体如下：子图G({X}1)与G({X}2)之间的关联路径记为Path(G({X}1),G({X}2)＝{Edge1、Edge2、……、EdgeN},由一条或多条边组成。接着抽取Path(G({X}1),G({X}2)中所有边的描述信息记为S(G({X}1),G({X}2)＝{p1、p2、……、pn}。最后计算S(G({X}1),G({X}2)中所有边描述与Y的语义相似度，若相似度大于设定阈值，则校验通过，确定所述待校验答案为目标答案，表明大模型输出的结果Y与正确结果一致，反之，大模型输出的结果Y与正确结果不一致。

可选的，通过训练样本集迭代训练待训练模型，包括：

获取训练样本集，其中，所述训练样本集包括：问答对样本和问答对样本对应的问答类型；

将训练样本集中的问答对样本输入待训练模型，得到预测问答类型；

根据预测问答类型和问答对样本对应的问答类型形成的目标函数训练所述待训练模型；

返回执行将训练样本集中的问答对输入待训练模型，得到预测问答类型的操作，直至得到目标模型。

需要说明的是，准备QA-Type的数据集。QA-Type数据集是Critic-LLM的训练数据集，数据集的样本包含问答对(QA,Question-Answer)、以及由Q->A的类型(简记为QA-Type)，本发明实施例中QA-Type分为6种，分别是关系型、推断型、形势比较型、论点型、强因果关系型和真值判断型。QA-Type数据集来源可以从历史问答对经由人工标准或大模型等自动化标注生成，同时为了最大限度增加结果的准确性，应保证QA-Type的多样性与数量。

其中，待训练模型可以为Critic-LLM模型。Critic-LLM由通用大模型finetune而来，Critic-LLM可以根据问题和结果来判断QA的类型，Ctritic-LLM可以采用开源大模型。

在一个具体的例子中，如图2所示，准备带有Question,Answer和Type三部分的数据训练集并训练Critic-LLM。每一种类型准备大约5000个训练样本，总共大约30000条训练样本，使用pytorch+deepspeed的框架对模型进行训练，验证数据集应对每种类型准备约650个样本，总共约3900个样本。使用预训练模型对模型进行微调，当微调的loss降到无法下降或者到达一定阈值时，Critic-LLM模型训练完成。

在另一个具体的例子中，如图3所示，将目标问答对(Question-Answer)输入Critic-LLM模型，得到目标问答对对应的问答类型(QA-Type)，问答类型为关系型，则将所述目标问题X与知识图谱kg里面的边进行匹配，得到与目标问题X对应的边，将Y与知识图谱kg里面的边进行匹配，得到与待校验答案Y对应的边，将与待校验答案Y对应的边与目标问题X对应的边进行匹配，若匹配成功，则确定待校验答案Y可靠，若匹配失败，则确定目标问题X→待校验答案Y可能有幻觉。问答类型为推断型，则将推理步骤描述集合和所述待校验答案与知识图谱进行匹配，得到第二目标节点集合；若第二目标节点集合中的相邻目标节点之间均存在路径，则确定待校验答案Y可靠，若匹配失败，则判断推理步骤描述集合是否正确，若正确，则确定待校验答案Y可靠，若错误，则确定目标问题X→待校验答案Y可能有幻觉。问答类型为形式比较型，判断目标问题X中的x1和x2是否相似，若x1和x2相似，则确定待校验答案Y可靠，若x1和x2不相似，则确定目标问题X→待校验答案Y可能有幻觉。问答类型为论点型，则将目标问答对输入评估器，若评估器输出评估正确，则确定待校验答案Y可靠，若评估器输出评估错误，则确定目标问题X→待校验答案Y可能有幻觉。问答类型为强因果关系型，若目标问题与待校验答案存在因果关系，则确定待校验答案Y可靠，若目标问题与待校验答案不存在因果关系，则确定目标问题X→待校验答案Y可能有幻觉。问答类型为真值判断型，则基于COT展开判断、使用第三方工具验证或者通过归谬赋值判断，若真值判断正确，确定待校验答案Y可靠。若真值判断错误，则确定目标问题X→待校验答案Y可能有幻觉。

本实施例的技术方案，通过将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，通过基于多维校验的大模型幻觉治理和对模型结果的校验，能够有效却快速的判断大模型推理过程是否出现问题，无需对结果做反复检查，并且能够将大模型推理产生幻觉的可能性大幅度减小，提升模型结果的可信度。

实施例二

图4为本发明实施例提供的一种大模型幻觉治理装置的结构示意图。本实施例可适用于大模型幻觉治理的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供大模型幻觉治理功能的设备中，如图4所示，所述大模型幻觉治理装置具体包括：目标问答对获取模块410、问答类型确定模块420和校验模块430。

其中，目标问答对获取模块，用于获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；

问答类型确定模块，用于将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；

校验模块，用于根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例三

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如大模型幻觉治理方法。

在一些实施例中，大模型幻觉治理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的大模型幻觉治理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行大模型幻觉治理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (14)

1.一种大模型幻觉治理方法，其特征在于，包括：

获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；

将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；

根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

2.根据权利要求1所述的方法，其特征在于，所述问答类型包括：关系型、推断型、形势比较型、论点型、强因果关系型以及真值判断型中的至少一种。

3.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为关系型，则对目标问题进行关系主体识别，得到所述目标问题对应的关系主体集合；

将所述目标问题对应的关系主体集合与知识图谱进行匹配，得到第一目标节点集合；

根据第一目标节点集合中任意两个目标节点之间的目标路径生成目标路径集合，其中，所述目标路径包括至少一条边；

根据目标路径集合中每个目标路径对应的边描述生成目标路径集合对应的第一边描述集合；

根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

4.根据权利要求3所述的方法，其特征在于，根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若第一边描述集合与待校验答案之间的相似度大于相似度阈值，则确定待校验答案为目标答案。

5.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为推断型，则获取推理步骤描述集合，其中，所述推理结果集合包括：至少一个推理步骤描述；

将推理步骤描述集合和所述待校验答案与知识图谱进行匹配，得到第二目标节点集合；

若相邻目标节点之间均存在路径，则确定所述待校验答案为目标答案。

6.根据权利要求5所述的方法，其特征在于，将推理步骤描述集合和所述待校验答案与知识图谱进行匹配，得到第二目标节点集合，包括：

对待校验答案进行关系主体识别，得到待校验答案对应的关系主体集合；

将推理步骤描述集合和待校验答案对应的关系主体集合与知识图谱进行匹配，得到第二目标节点集合。

7.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为论点型，将目标问答对输入评估模型，得到基于目标问题对待校验答案的评分；

若基于目标问题对待校验答案的评分大于评分阈值，则确定所述待校验答案为目标答案。

8.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为强因果关系型，且知识图谱中存在目标问题到待校验答案的路径，则确定待校验答案为目标答案；

若问答类型为强因果关系型，且目标问题与待校验答案存在因果关系，则确定待校验答案为目标答案。

9.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为真值判断型，则解析目标问题和待校验答案，得到输出结果；

若输出结果与待校验答案相同，则确定待校验答案为目标答案。

10.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

若问答类型为形式比较型，则获取目标问题对应的至少两个组合对象；

对每个组合对象进行关系主体识别，得到每个组合对象对应的关系主体集合；

将每个组合对象对应的关系主体集合与知识图谱进行匹配，得到每个组合对象对应的子图；

根据至少两个子图之间的联通路径对应的边描述生成第二边描述集合；

根据第二边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

11.根据权利要求1所述的方法，其特征在于，通过训练样本集迭代训练待训练模型，包括：

获取训练样本集，其中，所述训练样本集包括：问答对样本和问答对样本对应的问答类型；

将训练样本集中的问答对样本输入待训练模型，得到预测问答类型；

根据预测问答类型和问答对样本对应的问答类型形成的目标函数训练所述待训练模型；

返回执行将训练样本集中的问答对输入待训练模型，得到预测问答类型的操作，直至得到目标模型。

12.一种大模型幻觉治理装置，其特征在于，包括：

目标问答对获取模块，用于获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；

问答类型确定模块，用于将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；

校验模块，用于根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

13.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的大模型幻觉治理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-11中任一项所述的大模型幻觉治理方法。