CN117077791A - 一种基于图数据结构的模型推理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种基于图数据结构的模型推理方法、装置、设备及介质。本发明涉及自然语言处理技术领域，该方法包括：基于与待回答问题相对应的领域知识，构建与待回答问题对应的图数据库；根据待回答问题和图数据库确定待回答问题对应的信息链；将待回答问题和信息链作为大语言模型的输入，得到大语言模型输出的回答结果。本发明实施例的技术方案，融合了大语言模型推理能力和图数据库对结构化信息查询能力，对特定领域的待回答问题的推理过程中，不需要修改大语言模型的模型参数，同时避免了设计复杂模式用来修正大语言模型的推理结果。

Description

一种基于图数据结构的模型推理方法、装置、设备及介质

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于图数据结构的模型推理方法、装置、设备及介质。

背景技术

大语言模型（Large Language Model，LLM）是基于大量文本数据训练得到的深度学习模型，它能够生成自然语言文本或理解语言文本的含义，它可以处理多种自然语言任务，如文本分类、问答、对话等。由于LLM是基于大规模通用语料库进行训练的，通常只具备通用知识，而不具备特定领域的专业知识。在LLM的推理过程中，对特定领域的知识存在适配问题，导致LLM对预训练语料中不包含的知识做问答时，会出现答案不准确，推理幻觉等问题。

针对LLM在特定场景或垂直领域的适配任务,目前已知方法主要有两种：一种方法是基于Finetune，该方法需对LLM模型做修改，该方法的缺点是存在较高的成本，包括模型训练成本和数据收集处理成本等，训练有技术门槛，且结果依然存在模型推理幻觉等。另一种方法是利用已有知识对LLM生成结果做后处理，比如模式匹配或人工调整等，该方法人工调整需要投入大量人力，通过模式匹配做后处理会面临需要处理的场景问题较多，难以做到无法完全覆盖，且该系统绑定单一LLM，伴随LLM更新需要频繁做适配。

发明内容

本发明提供了一种基于图数据结构的模型推理方法、装置、设备及介质，以实现对特定领域的待回答问题做出回答，不需要修改大语言模型的模型参数，也不需要设计复杂模式用来修正大语言模型的推理结果，提高推理的准确性。

根据本发明的一方面，提供了一种基于图数据结构的模型推理方法，包括：

基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库；

根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链；将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果。

根据本发明的另一方面，提供了一种基于图数据结构的模型推理装置，包括：

图数据库构建模块，用于基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库；

信息链确定模块，用于根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链；

回答结果输出模块，用于将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；

以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于图数据结构的模型推理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于图数据结构的模型推理方法。

本发明实施例的技术方案，包括：基于与待回答问题相对应的领域知识，构建与待回答问题对应的图数据库；根据待回答问题和图数据库确定待回答问题对应的信息链；将待回答问题和信息链作为大语言模型的输入，得到大语言模型输出的回答结果。本发明实施例的技术方案，解决了现有技术中，通过大语言模型对特定领域的待回答问题推理回答时，需要对大语言模型的参数修改，或者需要对大语言模型的生成结果做后处理，导致成本高、难度大、存在推理幻觉等问题，实现了不需要修改大语言模型的模型参数，也不需要设计复杂模式用来修正大语言模型的推理结果，即可得到待回答问题的回答结果，提高推理的准确性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的一种基于图数据结构的模型推理方法的流程图；

图2是根据本发明实施例提供的一种基于图数据结构的模型推理方法的流程图；

图3是根据本发明实施例提供的一种基于图数据结构的模型推理方法的流程图；

图4是根据本发明实施例提供的一种基于图数据结构的模型推理装置的结构示意图；

图5是根据本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为进一步明确本发明的技术效果，在引入具体实施例之前，对现有技术进一步做如下说明，针对LLM在特定场景或垂直领域的适配任务，目前已知的主要有两种方法：

1.基于Finetune（微调）的方法：此方法需要修改LLM模型的参数或架构，使其更好地适用于特定场景或领域的数据分布。通过使用特定领域的训练数据，对模型进行微调，可以使得模型更好地理解和生成特定领域的内容。然而，这种方法存在较高的成本，包含模型训练费用，数据收集和处理费用等,技术难度较大，训练有技术门槛；Finetune的结果依然存在模型推理幻觉等问题。

2.利用已有知识对LLM生成结果做后处理：这种方法不需要修改模型的参数，而是利用已有的知识和规则对模型的输出结果进行检查和调整。这可以包括模式匹配、规则匹配、人工检查等方式。人工调整需要投入大量人力，通过模式匹配做后处理会面临需要处理的场景问题较多，难以做到无法完全覆盖，该系统绑定单一LLM，伴随LLM更新需要频繁做适配。

本发明与上述两种处理方式不同，本发明融合了LLM的模型推理能力和图数据库的结构化信息查询能力，过程中不需要修改LLM的模型参数，同时避免了设计复杂模式用来修正LLM的结果。本发明实施例的方案，能够帮助LLM在特定领域做快速适配，能够帮助LLM解决复杂的推理任务，对比Finetune的方法，本发明相比于LLM在特定领域的适配，可解释性更强。

图1是根据本发明实施例提供的一种基于图数据结构的模型推理方法的流程图，本实施例可适用于对特定领域的问题作出回答的情况，该方法可以由基于图数据结构的模型推理装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于电子设备中。如图1所示，该方法包括：

S110、基于与待回答问题相对应的领域知识，构建与待回答问题对应的图数据库。

其中，待回答问题指的用户提出的问题，例如，用户在应用程序、聊天窗口或命令行界面中键入的文本形式的问题；图数据库是一种以点边形式存储和呈现数据的数据库，在图数据库中，点表示实体，边表示实体间的关系。例如，在一个社交网络图数据库中，点可以代表社交网络中的用户，边则可以表示用户之间的关注、好友或互动关系。

在本实施例中，图数据库是基于与待回答问题相对应的领域知识构建的，待回答问题相对应的领域知识指的是和待回答问题为相同领域的知识，将大量的领域知识作为数据基础，构建出待回答问题对应的图数据库。

在一种实施方式中，所述基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库，包括：获取与所述待回答问题相对应的领域知识，基于所述领域知识构建所述图数据库；其中，所述图数据库中包括数据结构信息、多个节点和节点之间的关系。

具体的，依据待回答问题所对应的特定领域，预先收集该特定领域的知识，将特定领域的知识处理以形成（h,r,t）的信息链，存入图数据库；其中，(h,r,t）指的是实体关系三元组，h指的是三元组的起始实体，对应图数据库的点；r指的是h和t的关系，对应图数据库的边；t指的是三元组的目标实体，对应图数据库的点。图数据库中包括数据结构信息，即图数据库的schema信息，它是对图结构数据的一个概要信息描述，它往往包含点的信息：包括点的类别、点的各个属性名称等；边的信息：边的出点、入点、边的类型；边的属性信息等。

S120、根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链。

其中，待回答问题对应的信息链指的是在图数据库中，能够正确表示或解释待回答问题含义的点和边所构成的信息链条，例如，待回答问题对应的信息链为（h0,r0,t1）,（t1,r1,h2）。

示例性的，确定待回答问题，对待回答问题对应的文本处理分析，得到待回答问题中包括的关键信息，如关键词、关键词之间关系等，进而根据关键信息对图数据库进行遍历，得到能够解释待回答问题含义点和边，将点和边构成信息链条作为待回答问题对应的信息链。遍历方式包括但不限于深度优先遍历、广度优先遍历、最短路径遍历等。

在上述实施例的基础上，所述根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链，包括：确定所述待回答问题对应的当前信息链，基于引导提示工程中的第一引导信息，引导所述大语言模型判断所述当前信息链是否满足预设回答条件；若所述当前信息链满足预设回答条件，则将所述当前信息链作为所述待回答问题对应的信息链。

在本实施例的应用场景中，为了更好对待回答问题理解或解释，可在图数据库中进行多轮遍历，得到能够准确表达待回答问题含义的信息链；相应的，每轮遍历得到的信息链即为当前信息链。例如，本轮遍历得到的信息链为（h,r,t），则将信息链（h,r,t）作为当前信息链。在每轮遍历得到当前信息链后，通过引导提示工程引导大语言模型判断当前信息链是否满足预设回答条件；预设回答条件指的是预先设置的条件，用于判断当前信息链能否作为大语言模型的输入，以使大语言模型输出正确的结果，例如，预设回答条件为：当前信息链能否足够回答问题。

还需要说明的是，LLM不能像其他编程语言一样被直接控制，但可以通过引导提示工程（Prompt engineering）来引导其思考和生成答案，引导提示工程是一种引导LLM按照某种格式和逻辑完成推理的控制方法。第一引导信息用于引导大语言模型执行判断逻辑，判断当前信息链是否满足预设回答条件，如果当前信息链满足预设回答条件，说明本轮遍历得到的当前信息链能够准确解释出待回答问题所对应的含义，将当前信息链作为待回答问题对应的信息链，将其作为即将输入至LLM的信息链。

示例性的，第一引导信息prompt_1可以是如下的一种描述，利用第一引导信息提前让LLM知道它需要按照什么方式去思考，按照什么方式去生成答案：

prompt_1 ="""

Task:You are a helpful assistant helps to traverse the knowledgegraph based on user's question:Instructions:

There are two options for you:

1.You can output'<Answer> ENOUGH </Answer>'if you think the traverseplan is enough.

2.you can continue traversing the knowledge graph by picking only oneexisting edge from the edge candidate set for the next traversal operation.

Note:

If you decide to continue traversing,then just pick only oneexisting edge from the edge candidate set and output it between the tags <Path> and </Path>.

For traverse plan generation, please just pick only one element fromthe edge candidate set and do not change the element format.

Do not include any explanations, reasoning or apologies in yourresponses.

Do not include any text except the generated answer or selected edge.

"""

上述内容的翻译如下：

prompt_1=“任务：你是一个乐于助人的助手，基于用户的问题来遍历知识图谱。说明：

你有两个选项：

1.如果你认为遍历计划已经足够，可以输出'<Answer> ENOUGH </Answer>'。

2.你可以继续遍历知识图谱，从边候选集合中仅选择一个现有边用于下一次遍历操作。

注意：

如果你决定继续遍历，从边候选集合中仅选择一个现有边，并将其输出在<Path>和</Path>标签之间。

生成遍历计划时，请仅从边候选集合中选择一个元素，并且不要更改元素格式。

你的回复中不要包含任何解释、推理或道歉。

除生成答案或选择的边外，不要包含任何文本。”

S130、将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果。

在本发明实施例中，通过将待回答问题和待回答问题对应的信息链输入至大语言模型中，大语言模型可根据待回答问题和信息链进行推理，得到与待回答问题对应的回答结果。例如，当待回答问题为医疗业务领域的问题时，相应的回答结果也是医疗领域的专业回答。

在上述实施例的基础上，所述将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果，包括：将所述待回答问题和所述信息链作为所述大语言模型的输入；基于引导工程中的第三引导信息，引导所述大语言模型推理出所述回答结果。

在本发明实施例中，第三引导信息用于引导提示大语言模型执行推理过程，引导大语言模型对待回答问题的结果进行推理，以作出相应的回答。例如，将待回答问题和信息链输入到大语言模型中，通过引导工程中的第三引导提示信息prompt_3，引导大语言模型执行推理过程，最终得到回答结果。其中，prompt_3中包含一些示例，基于该示例提示大语言模型输出回答结果。再例如，当prompt_3中包含的示例为：给定两个数字，计算它们的和，待回答问题为：12和8的和是多少,信息链为：（h,r,t），将待回答问题和信息链输入到大语言模型中，通过prompt_3中包含的示例，引导大语言模型执行求和的过程，并输出回答结果为20。

还需要说明的是，为了便于理解对大语言模型的引导过程，上述例子采用通用领域的问题作为待回答问题对引导过程进行介绍，本实施例并不对待回答问题和第三引导提示信息做限制，在实际应用中，待回答问题可以是特定领域的问题。

本发明实施例的技术方案，通过待回答问题相对应的领域知识，构建与待回答问题对应的图数据库，然后，根据待回答问题和图数据库确定待回答问题对应的信息链，最后将待回答问题和信息链作为大语言模型的输入，得到大语言模型输出的回答结果。解决了现有技术中，通过大语言模型对特定领域的待回答问题推理回答时，需要对大语言模型的参数修改，或者需要对大语言模型的生成结果做后处理，导致成本高、难度大、存在推理幻觉等问题，实现了不需要修改大语言模型的模型参数，也不需要设计复杂模式用来修正大语言模型的推理结果，即可得到待回答问题的回答结果，提高推理的准确性。

图2是根据本发明实施例提供的一种基于图数据结构的模型推理方法的流程图，本实施例在上述实施例的基础上，在当前信息链不满足预设回答条件时，可以对当前信息链进行更新，以使其满足预设回答条件，其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。如图2所示，该方法包括：

S210、基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库。

S220、根据所述待回答问题和所述图数据库确定所述待回答问题对应的当前信息链。

S230、若所述当前信息链不满足所述预设回答条件，则在所述图数据库中遍历与所述当前信息链关联的目标节点，基于所述目标节点更新所述当前信息链。

在实际应用中，当前信息链可能存在不满足预设回答条件的情况，即将待回答问题和当前信息链作为大语言模型的输入，是不能够得到相应的正确回答结果，或者得到的回答结果是不准确的。此时，可在图数据库中继续遍历，遍历出与当前信息链关联的点作为目标节点，例如根据当前信息链中所包含的点，遍历出图数据库中和当前信息链中点存在关系的点作为目标节点，进而基于目标节点更新当前信息链。

示例性的，当待回答问题为“A用户关注的其他用户中有没有在B公司上班的”，根据待回答问题在图数据中首轮遍历，得到的当前信息链[A用户-关注-其他用户]。通过大语言模型判断当前信息链能否满足预设回答条件，显然大语言模型根据当前的信息链是不能推理出待回答问题的结果，最多推理出A用户所关注的其他用户有哪些。由此，可根据当前信息链，在图数据库中进行下一轮的遍历，遍历出与当前信息链关联的点作为目标节点，例如目标节点包含的信息为其他用户上班的具体公司，根据此信息对当前信息链进行更新，当前信息链就扩充为[A用户-关注-其他用户,其他用户-上班-哪些公司]。

在较优的实施例中，所述在所述图数据库中遍历与所述当前信息链关联的目标节点，包括：基于所述当前信息链和所述图数据库中的数据结构信息，确定所述当前信息链对应的遍历起始节点和遍历动作；根据所述遍历起始节点和所述遍历动作，在所述图数据库中遍历与所述当前信息链关联的目标节点。

其中，所述遍历动作包括遍历方向和遍历类别中的至少一种，遍历方向指的是在遍历图数据库时，按照特定的方向访问节点和关系。例如遍历方向包括：深度优先遍历，从起始节点开始，尽可能深地访问图中的节点，直到到达没有未访问节点的叶子节点为止，然后回溯到前一个节点，继续深度优先遍历；遍历类别指的是在遍历图数据库时，根据特定的类别对节点和关系进行过滤或分类，例如遍历类别包括：标签过滤，根据节点或关系的标签进行过滤，只遍历具有特定标签的节点或关系。

在本发明实施例中，数据结构信息指的是图数据库的schema信息，它可以帮助LLM去理解，当前遍历所处的节点，能在当前点获得哪些属性信息，当前可以访问哪些边，通过这些可访问的边，可以遍历哪些点。在此基础上，从而帮助LLM依据问题，去规划遍历动作和遍历计划。遍历起始节点指的是在图数据库中执行本轮遍历的开始节点，假如当前信息链为（hi,ri,hi+1），即可根据实际情况，将hi+1作为遍历起始节点，按照遍历动作在图数据库中进行遍历，遍历出与起始节点hi+1之间存在关系ri+1的目标节点hi+1。

在优选的实施例中，所述确定所述当前信息链对应的遍历动作，包括：将所述当前信息链和所述图数据库的数据结构信息，作为所述大语言模型的输入；基于所述引导提示工程中第二引导信息，引导所述大语言模型输出所述遍历动作。

其中，基于第二引导信息用于引导大语言模型根据当前信息链和数据结构信息推理出遍历动作，根据遍历动作能够遍历出目标节点。

具体的，将当前信息链和数据结构信息作为大语言模型的输入，通过第二引导信息引导大语言模型推理确定出遍历方向和计划，在已知当前信息链和图数据库中概要信息的前提下，通过大语言模型进行推理得到下一步的遍历动作，提高遍历准确度和效率。

可选的，所述根据所述遍历起始节点和所述遍历动作，在所述图数据库中遍历出与所述当前信息链关联的目标节点，包括：根据所述遍历起始节点和所述遍历动作，通过图数据库查询语言在所述图数据库中查询所述目标节点。

其中，图数库查询语言指的Cypher，用于在图数据库中查询和遍历出节点；具体的，确定遍历动作以后，图数据库查询语言按照遍历动作，在图数据库中查找遍历目标节点。

在优选的实施例中，所述基于所述目标节点更新所述当前信息链，包括：将所述目标节点添加至所述当前信息链的末端，得到更新后的所述当前信息链。

示例性的，在遍历得到目标节点之后，可以将目标节点插入到当前信息链的末端，如当前信息链为（h0,r1,h1），目标节点为h2,此时将目标节点插入到当前信息链的末端，得到更新后的当前信息链为（h0,r1,h1），（h1,r2,h2）。

S240、在所述遍历的轮次小于预设次数的情况下，重复执行对所述目标节点的遍历和对所述当前信息链的更新，直至更新后的所述当前信息链满足所述预设回答条件。

在本实施例中，遍历的轮次指的对目标节点遍历并对当前信息链更新的具体次数，预设次数指的预先设置的次数阈值，在遍历轮次小于预设次数的情况下，如果当前信息链不满足预设回答条件，则可以根据当前信息链确定出新的遍历起始节点，并引导LLM推理出遍历动作，按照遍历的起始节点和遍历动作执行本轮遍历过程，得到目标节点，进而基于目标节点对当前信息链进行更新，经过遍历和更新后，相应的轮次加一。

如果更新后的当前信息链仍然不满足预设回答条件，可以继续按照上述遍历过程，确定新的目标节点，然后再对当前信息链更新，直至更新后的当前信息链满足预设回答条件时，停止执行遍历目标节点和更新当前信息链的操作，直接将此时的当前信息链和待回答问题同时输入到大语言模型中，能够得到准确的回答结果。

还需要说明的是，如果执行遍历节点和更新当前信息链的操作的总轮次大于预设次数，即使当前信息链仍不满足预设回答条件，也要停止上述过程。

S250、将所述待回答问题和所述当前信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果。

在本发明实施例中，对LLM的推理框架的搭建和构建信息链的方式进行说明：

LangChain：作为当前LLM推理的开源辅助工具，提供了Agent，Chain，tools等工具，辅助搭建LLM在特定场景的推理框架；用户可以使用这些组件来创建和管理LLM在不同场景下的推理流程。这些组件可以协同工作，以提供高效、准确的LLM推理服务。其中，LangChain指语言链，Agent指代理，Chain指链条，tools工具。

Tree of Thoughts(ToT)：是一种针对大型语言模型LLM的推理方法。它通过构建树状信息链的方式，将问题分解为多个子问题，并将这些问题及其解决方案以树状结构组织起来。这种方法使得LLM可以更系统地解决问题，从而提高其决策的鲁棒性和准确率。在LLM的推理过程中引入更多的人类思考过程，这种方法旨在使其更加适应人类用户的查询和请求。其中，Tree of Thoughts指思想之树。

图3是根据本发明实施例提供的一种基于图数据结构的模型推理方法的流程图，结合如下程序代码对本实施例技术方案进行介绍：

query ：用户提出的问题

LLM：大语言模型

info_chain:信息链cache，存放三元组

(h,r,t）：实体关系三元组

H：三元组的起始实体，对应图数据库的点

r：h和t的关系，对应图数据库的边

t :三元组的目标实体，对应图数据库的点

prompt_1 :第一引导信息，用于指导模型去判断当前是否能够回答问题，

prompt_2 :第二引导信息， Few-shot prompt，包含图的schema信息，结合当前信息链，指导模型去决策下一步动作，

prompt_3 :第三引导信息，Few-shot prompt，包含examples，即示例，如给定条件信息作简单计算，判断等，指导模型基于图数据库的查询结果，对问题做出回答，

max_iteration:数据库信息挖掘最大次数，也即前述实施例中的预设次数

input:query #用户输入查询问题，即待回答问题

info_chain=[] #初始化信息链为空

While i<max_iteration #迭代次数小于最大次数（阙值），迭代次数指轮次

If LLM(query，info_chain, prompt_1)=true: #判断当前信息链中的信息是否足够回答问题

answer=LLM(query,info_chain,prompt_3) #LLM针对问题生成回答

return

else:

h=get_start_node(info_chain) #根据信息链确定当前轮次遍历的起点

graph_search_action=LLM(query,info_chain,prompt_2) #根据当前已经获取的信息链确定下一步的遍历动作，包括方向，类别等

(hi,ri,hi+1)=do_cypher(graph_search_action) #转化为cypher并执行查询，得到当前轮次的查询结果(hi, ri, hi+1)

add((hi, ri, hi+1)) -> info_chain #将当前轮次结果存入信息链尾端

i++

本发明实施例的技术方案，不依赖LLM的finetune，可以直接利用LLM的通用语言处理能力，结合图数据库中的特定场景知识，从而将利用LLM直接完成特定知识的问答任务，转化为基于给定知识，利用LLM做语意理解和判断的简单任务。

本实施例的技术方案中，推理过程中不需要微调模型参数，从而减少花销，也规避了finetune带来的技术门槛。相比较其他对LLM生成结果做后处理的方法，本实施例的方案不用对LLM的生成结果做后处理，而是基于LLM设计“思考链”，借助图数据库的结构化存储和查询，一步一步逐渐引导LLM挖掘特定领域的知识，并尝试基于获取的新知识对给定问题进行回答。从而避免了将LLM直接作用于新知识时，LLM生成结果质量不可控的问题。相应减少了人力的支出。利用图数据库对特定领域的知识（信息链）做结构化存储，尝试将直接利用LLM在特定场景知识上做问答任务，转化为利用LLM逐步挖掘图数据库知识，逐步完成知识问答的任务。该方案不依赖通过修改模型参数去适配新知识，也避免设计复杂的匹配模式对LLM推理结果做修正，低成本，易适配；同时该方案的效果随着模型能力的提升也会加强，与finetune方案可以兼容，具备可迭代，可解释的优点。

图4是根据本发明实施例提供的一种基于图数据结构的模型推理装置的结构示意图。如图4所示，该装置包括：

图数据库构建模块310，用于基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库；

信息链确定模块320，用于根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链；

回答结果输出模块330，用于将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果。

在上述技术方案的基础上，所述图数据库构建模块310，包括：

图数据库构建单元，用于获取与所述待回答问题相对应的领域知识，基于所述领域知识构建所述图数据库；

其中，所述图数据库中包括数据结构信息、多个节点和节点之间的关系。在上述技术方案的基础上，所述信息链确定模块320，包括：

回答条件判断单元，用于确定所述待回答问题对应的当前信息链，基于引导提示工程中的第一引导信息，引导所述大语言模型判断所述当前信息链是否满足预设回答条件；

信息链确定单元，用于若所述当前信息链满足预设回答条件，则将所述当前信息链作为所述待回答问题对应的信息链；

在上述技术方案的基础上，所述信息链确定模块320，还包括：

信息链更新单元，用于若所述当前信息链不满足所述预设回答条件，则在所述图数据库中遍历与所述当前信息链关联的目标节点，基于所述目标节点更新所述当前信息链；

重复执行单元，用于在所述遍历的轮次小于预设次数的情况下，重复执行对所述目标节点的遍历和对所述当前信息链的更新，直至更新后的所述当前信息链满足所述预设回答条件。

在上述技术方案的基础上，所述信息链更新单元，包括：

遍历动作确定子单元，用于基于所述当前信息链和所述图数据库中的数据结构信息，确定所述当前信息链对应的遍历起始节点和遍历动作；

目标节点遍历子单元，用于根据所述遍历起始节点和所述遍历动作，在所述图数据库中遍历与所述当前信息链关联的目标节点其中，所述遍历动作包括遍历方向和遍历类别中的至少一种。

在上述技术方案的基础上，所述遍历动作确定子单元，具体用于：

将所述当前信息链和所述图数据库的数据结构信息，作为所述大语言模型的输入；

基于所述引导提示工程中第二引导信息，引导所述大语言模型输出所述遍历动作。

在上述技术方案的基础上，所述目标节点遍历子单元，具体用于：

根据所述遍历起始节点和所述遍历动作，通过图数据库查询语言在所述图数据库中查询所述目标节点。

在上述技术方案的基础上，所述信息链更新单元，用于：

将所述目标节点添加至所述当前信息链的末端，得到更新后的所述当前信息链。

在上述技术方案的基础上，所述回答结果输出模块330，包括：

问题输入单元，用于将所述待回答问题和所述信息链作为所述大语言模型的输入；

问题回答单元，用于基于引导工程中的第三引导信息，引导所述大语言模型推理出所述回答结果。

本发明实施例所提供的基于图数据结构的模型推理装置可执行本发明任意实施例所提供的基于图数据结构的模型推理方法，具备执行方法相应的功能模块和有益效果。

图5是根据本发明实施例提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器（ROM）42、随机访问存储器（RAM）43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器（ROM）42中的计算机程序或者从存储单元48加载到随机访问存储器（RAM）43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出（I/O）接口45也连接至总线44。

电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如一种基于图数据结构的模型推理方法。

在一些实施例中，一种基于图数据结构的模型推理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的一种基于图数据结构的模型推理方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行一种基于图数据结构的模型推理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种基于图数据结构的模型推理方法，其特征在于，包括：

基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库；

根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链；

将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果。

2.根据权利要求1所述的方法，其特征在于，所述基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库，包括：

获取与所述待回答问题相对应的领域知识，基于所述领域知识构建所述图数据库；

其中，所述图数据库中包括数据结构信息、多个节点和节点之间的关系。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链，包括：

确定所述待回答问题对应的当前信息链，基于引导提示工程中的第一引导信息，引导所述大语言模型判断所述当前信息链是否满足预设回答条件；

若所述当前信息链满足预设回答条件，则将所述当前信息链作为所述待回答问题对应的信息链。

4.根据权利要求3所述的方法，其特征在于，还包括：

若所述当前信息链不满足所述预设回答条件，则在所述图数据库中遍历与所述当前信息链关联的目标节点，基于所述目标节点更新所述当前信息链；

在所述遍历的轮次小于预设次数的情况下，重复执行对所述目标节点的遍历和对所述当前信息链的更新，直至更新后的所述当前信息链满足所述预设回答条件。

5.根据权利要求4所述的方法，其特征在于，所述在所述图数据库中遍历与所述当前信息链关联的目标节点，包括：

基于所述当前信息链和所述图数据库中的数据结构信息，确定所述当前信息链对应的遍历起始节点和遍历动作；

根据所述遍历起始节点和所述遍历动作，在所述图数据库中遍历与所述当前信息链关联的目标节点；

其中，所述遍历动作包括遍历方向和遍历类别中的至少一种。

6.根据权利要求5所述的方法，其特征在于，所述确定所述当前信息链对应的遍历动作，包括：

将所述当前信息链和所述图数据库的数据结构信息，作为所述大语言模型的输入；

基于所述引导提示工程中第二引导信息，引导所述大语言模型输出所述遍历动作。

7.根据权利要求5所述的方法，其特征在于，所述根据所述遍历起始节点和所述遍历动作，在所述图数据库中遍历与所述当前信息链关联的目标节点，包括：

根据所述遍历起始节点和所述遍历动作，通过图数据库查询语言在所述图数据库中查询所述目标节点。

8.根据权利要求4所述的方法，其特征在于，所述基于所述目标节点更新所述当前信息链，包括：

将所述目标节点添加至所述当前信息链的末端，得到更新后的所述当前信息链。

9.根据权利要求1所述的方法，其特征在于，所述将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果，包括：

将所述待回答问题和所述信息链作为所述大语言模型的输入；

基于引导工程中的第三引导信息，引导所述大语言模型推理出所述回答结果。

10.一种基于图数据结构的模型推理装置，其特征在于，包括：

图数据库构建模块，用于基于与待回答问题相对应的领域知识，构建与所述待回答问题对应的图数据库；

信息链确定模块，用于根据所述待回答问题和所述图数据库确定所述待回答问题对应的信息链；

回答结果输出模块，用于将所述待回答问题和所述信息链作为大语言模型的输入，得到所述大语言模型输出的回答结果。

11.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的基于图数据结构的模型推理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-9中任一项所述的基于图数据结构的模型推理方法。