CN116776895A - 一种面向api推荐的知识引导大型语言模型查询澄清方法及系统 - Google Patents

Abstract

本发明涉及应用程序编程接口推荐技术领域。一种面向API推荐的知识引导大型语言模型查询澄清方法，包括步骤S1，模拟人机交互过程，基于分析流的思想，设计面向API推荐的查询澄清AI Chain；将人与LLM交互的过程分解为多个子步骤，将每个子步骤中可以使用LLM的步骤设计为AI单元，将不需要LLM的步骤设计为non‑AI单元，将这些AI单元和non‑AI单元按照逻辑串联形成AI Chain；S2，基于API知识图谱，获取API知识图谱中的知识；S3，基于大型语言模型的上、下文学习特点，使用有效地自然语言和规则语言形成prompt；S4，将所述API知识图谱知识与prompt融合，通过AI Chain实现澄清查询语句并推荐API。本发明与基于知识图谱或基于语言模型的方法不同，将KG与LLM结合起来引导LLM，提高了准确性、效率和流畅性。

Description

一种面向API推荐的知识引导大型语言模型查询澄清方法及 系统

技术领域

本发明属于应用程序编程接口（API）推荐领域，尤其是涉及一种面向API推荐的基于KG（知识图谱）的新型知识引导LLM（大型语言模型）查询澄清方法及系统。

背景技术

API推荐是基于查询语句从一个库中找到合适的应用程序编程接口的过程。这有助于开发人员快速找到最符合其要求的API。早期的方法使用模糊关键字匹配来检索与关键字（如API名称，需求描述和标签）的字面意义相匹配的API。然而，这种方法的局限性在于无法捕捉关键字之间的语义关系。为了解决这个限制，提出了使用深度学习方法来捕捉语义关系。然而，这些方法需要查询语句中包含足够的关键字来反映用户的需求。在实践中，开发人员通常提供的初始查询语句关键字不足以完全表达其意图，这可能会降低深度学习方法的效果。

目前，现有的手段主要是直接扩展查询语句和澄清扩展查询语句以获取推荐的API。前者的主要实现方式是通过训练模型，然后通过训练的模型，对初始查询语句进行预测，预测可能的查询语句扩展，最终获取推荐的API。后者的主要实现方式是通过训练模型，然后通过训练的模型，根据初始查询语句对用户进行意图澄清提问，得到用户的回答，了解用户的意图，最终获取推荐的API。但是现有技术中存在的主要问题是：1)没有一个足够大的知识库，导致难以完全理解用户的意图而生成错误的信息。2)澄清提问模板固定单一，很多问题都使用一样的模板，导致生成的问题十分生硬。

发明内容

本发明针对现有技术不足，提出一种面向API推荐的基于知识图谱的新型知识引导大型语言模型查询澄清方法，以解决现有技术存在的上述问题。

本发明采用的技术方案：

一种面向API推荐的基于知识图谱的新型知识引导大型语言模型查询澄清方法，包括：

模拟人机交互过程，基于分析流的思想，设计面向API推荐的查询澄清AI Chain；

模拟人机交互的过程，基于分析流的思想，将人与LLM（大型语言模型）交互的过程分解为多个子步骤，将每个子步骤中可以使用LLM的步骤设计为AI（人工智能）单元，将不需要LLM的步骤设计为non-AI（非人工智能）单元，将这些AI单元和non-AI单元按照逻辑串联形成AI Chain（人工智能链）。

基于API知识图谱，获取API知识图谱中的知识；

API知识图谱中知识的获取的过程包括：

基于API知识图谱的特点，制作一个最佳提问路径样式表；

将用户输入的初始查询语句与样式表中的查询语句进行相似度匹配；

再将用户上一轮的回答（如果有）与样式表中的回答进行相似度匹配；

经过两次相似度匹配以实现API知识图谱中知识的获取。

基于大型语言模型的上下文学习特点，设计合理的prompt；设计合理prompt的过程包括：

基于LLM的上下文学习特点，使用有效地自然语言和规则语言形成prompt，以实现AI单元的功能。

将所述API知识图谱知识与prompt融合，通过AI Chain以实现澄清查询语句并推荐API。

将所述API知识图谱知识与prompt融合的过程包括：

通过获取的API知识图谱知识设计合理的prompt，提示LLM完成对应AI单元的任务，形成逻辑合理的AI Chain以实现API的推荐。

与上述方法相适应，本发明还提供了一种面向API推荐的基于知识图谱的新型知识引导大型语言模型查询澄清系统，包括：“澄清问题与选项生成模块”和“查询扩展与API推荐模块”，其中所述澄清问题与选项生成模块包含一个non-AI单元（API知识图谱中知识的获取单元）和三个AI子单元（最佳提问方面生成单元、澄清问题生成单元和备选选项生成单元），其中所述查询扩展与API推荐模块包含一个non-AI单元（用户回答单元）和两个AI子单元（查询语句扩展单元和API推荐单元）。具体的，

API知识图谱中知识的获取的过程包括：

针对API知识图谱的特点，制作一个最佳提问路径样式表；将用户输入的初始查询语句与样式表中的查询语句进行相似度匹配；再将用户上一轮的回答（如果有）与样式表中的回答进行相似度匹配；经过两次相似度匹配以实现API知识图谱中知识的获取；

最佳提问方面生成单元的过程包括：将设计好的prompt输入LLM；LLM返回当前澄清回合对查询语句的最佳提问方面；

澄清问题生成单元的过程包括：基于最佳提问方面，设计合理的prompt，输入进LLM；LLM根据最佳提问方面返回对查询语句的澄清问题；

备选选项生成单元的过程包括：基于澄清问题，设计合理的prompt，输入进LLM；LLM根据初始查询语句和澄清问题，返回备选选项（即可能的回答）；

用户回答单元的过程包括：基于备选选项，用户受到启发，给出自己的答案；

查询语句扩展单元的过程包括：基于初始查询语句和已有的澄清信息，设计合理的prompt，输入进LLM；LLM根据prompt返回扩展后的查询语句；

API推荐单元的过程包括：基于扩展后的查询语句，设计合理的prompt，输入进LLM；LLM根据prompt返回API推荐。

发明有益效果：

1、本发明提供了一种面向API推荐的基于知识图谱（KG）的新型知识引导大型语言模型（LLM）查询澄清方法及系统，提出了一种新颖的知识引导查询澄清方法-KPL（KGprompt LLM），用于API推荐，结合了KG和LLM的优点，同时弥补了它们各自的不足之处。与基于知识图谱（KG）或基于语言模型（LLM）的方法不同，本发明将KG与LLM结合起来引导LLM，优化了查询澄清过程，提高了整个人机交互过程的准确性、效率和流畅性，改进了API推荐。

2、本发明利用LLM作为神经知识库来解决有限KG的OOV（out-of-vocabulary）问题，并利用KG来减轻LLM的潜在噪音和随机性问题。我们利用GPT-3.5作为交互式LLM，而APIKG作为LLM的问题引导，这打开了一扇桥梁，以弥合KG和LLM之间的差距，展示如何有效地利用它们的优势和劣势来相互补偿。

3、本发明设计一个AI CHAIN，分为五个AI步骤，每个AI步骤由一个独立的LLM调用处理。这种设计增强了本发明的鲁棒性和可控性。

4、本发明设计一个知识引导的路径规划策略，将KG中的最优澄清路径传递给LLM，有效地引导LLM沿着最优路径生成澄清问题。

附图说明

图1所示为本发明面向API推荐的知识引导大型语言模型查询澄清方法流程图；

图2所示为本发明实施例中的AI单元prompt设计；

图3所示为不同API推荐工具的流程对比图。

需要说明的是，构成本申请的一部分的附图仅用来提供对本申请的进一步理解，并不构成对本申请的不当限定。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

具体实施方式

为了使发明创造实现其发明目的的技术构思及优点更加清楚明白，下面结合附图对本发明的技术方案作进一步的详细描述。应当理解的是，以下各实施例仅用以解释和说明本发明的优选实施方式，不应当构成对本发明要求专利保护的范围的限定。

实施例1

如图1所示，本发明提供了一种面向API推荐的基于知识图谱的新型知识引导大型语言模型查询澄清方法，包括：

步骤S1,模拟人机交互过程，基于分析流的思想，设计面向API推荐的查询澄清AIChain；

设计面向API推荐的查询澄清AI Chain的过程包括：模拟人机交互的过程，基于分析流的思想，将人与LLM交互的过程分解为多个子步骤，将每个子步骤中可以使用LLM的步骤设计为AI单元，将不需要LLM的步骤设计为non-AI单元，将这些AI单元和non-AI单元按照逻辑串联形成AI Chain。

步骤S2, 基于API知识图谱，获取API图谱中的知识；

API知识图谱中知识的获取的过程包括：基于API知识图谱的特点，制作一个最佳提问路径样式表；将用户输入的初始查询语句与样式表中的查询语句进行相似度匹配；再将用户上一轮的回答（如果有）与样式表中的回答进行相似度匹配；经过两次相似度匹配以实现API知识图谱中知识的获取。

步骤S3, 基于大型语言模型的上下文学习特点，设计合理的prompt；

设计合理prompt的过程包括：基于LLM的上下文学习特点，使用有效地自然语言和规则语言形成prompt，以实现AI单元的功能。

步骤S4, 将所述API知识图谱知识与prompt融合，通过AI Chain以实现澄清查询语句并推荐API：通过获取的API知识图谱知识设计合理的prompt，提示LLM完成对应AI单元的任务，形成逻辑合理的AI Chain以实现API的推荐。

通过引入了知识图谱技术，通过构建最佳提问路径样式表，将API KG中的所有最佳提问路径以样式表的形式存储下来，随后通过两次相似度匹配，获取最佳提问路径示例，以构建prompt引导LLM。

基于知识图谱查询澄清方法通过ID3决策树为每个（查询语句——>API）的过程找出了最佳澄清路径，即澄清效率最高的路径。这些路径包括一个查询语句和多轮最佳提问方面、多轮澄清问题、多轮选项以及多轮下一次最佳提问方面，还有对应的API。基于这些特征，遍历知识图谱中所有（查询语句——>API）的过程，构建所示最佳提问路径样式表。

实施例2

本发明被实现为一个AI CHAIN，它包括五个不同的AI单元，对应着五个步骤。AI单元的prompt设计：通过讨论如何设计自然语言提示，以指导语言模型执行特定的AI功能。

参见图2，本实施例与实施例1不同的是，进一步给出了每个AI单元构建过程：

如图2-a所示，最佳提问方面生成单元的提示内容包括五个提问方面的含义、从最佳提问路径样式表中检索到的五个路径示例以及以示例形式的输入。重要的是，样式表中的数据仅作为LLM的提示示例，而不直接影响其决策过程。它的作用是引导LLM根据给定的示例做出明智的决策。每个示例包括两个输入，即查询语句和前一轮的回答，以及它们的输出，即最佳的问题方面。

如图2-(b)所示，澄清问题生成单元的提示内容描述为“In Java programming,...”后面是“Please ask a clarification ...”，以及当前的查询和已知信息。此外，为了确保语言模型理解所选方面的意义，任务描述中包括``<aspect> ''。

如图2-(c)所示，备选选项生成单元提示内容包括一个任务描述：“Answer thequestion based on the setting below”，以及任务的一些具体设置。这个单位的输入是当前轮次生成的澄清问题。输出是针对澄清问题的替代选项的排名列表。通过向该单位提供一个澄清问题及其具体设置，LLM可以学习并生成适当的澄清问题的替代选项。

如图2-(d)所示，查询扩展单元提示内容包括输入的查询语句、历史问答和一个任务描述：“Based on the above Q&A ...”。通过提供历史问答信息，该模型可以确定用户的缺失需求，并相应地扩展查询语句。

如图2-(e)所示，API推荐单元提示内容包括一个任务描述：“Please recommendsome API methods ...”和一些生成限制：“Pay attention! You cannot ...”。该单元的输入是在前一个单元中生成的扩展查询语句，输出是基于所提供的任务描述和生成限制的多个可能的 API 列表。

API推荐的方法从字面和语义关键字匹配逐渐演变为查询扩展和查询澄清。最新的查询澄清方法是基于知识图谱（KG）的，但存在词汇外失效和刚性问题模板的限制。为了解决这些限制，我们提出了一种新颖的基于知识引导的API推荐查询澄清方法，利用KG引导的大型语言模型（LLM）。我们利用LLM作为神经知识库来克服词汇外失效，生成流畅且合适的澄清问题和选项。我们还利用存储在KG中的结构化API知识和实体关系来过滤噪声，并将最佳澄清路径从KG传输到LLM，提高澄清过程的效率。

为了促进涉及查询澄清的多轮人机交互，本发明设计了一个AI CHAIN，将方法分解为几个子步骤，每个子步骤由一个单独的语言模型LLM调用处理。提高了API推荐中查询澄清的准确性、效率和流畅性。所述的AI CHAIN包括以下五个不同的步骤：

最佳问题方面生成：根据给定的查询语句，生成最佳的问题方面。

澄清问题生成：根据最佳问题方面，为查询语句创建澄清问题。

备选选项生成：针对澄清问题生成备选选项。

查询扩展：使用历史答案生成扩展查询。

API推荐：基于扩展语句提供相应的API推荐。

我们进行了三个实验来评估我们方法的性能。

首先，我们验证了我们AI CHAIN中每个单元的有用性。这五个单元的平均得分分别为4.507、4.485、4.455、4.480和4.467，都接近完美的5分。与基准线相比，我们的方法在MRR方面显示出显著的改进，当查询语句在KG中被覆盖时，最大增长率达到63.9％，在KG中未被覆盖时为37.2％。

其次，在两种情境下，即查询语句在知识图谱（KG）中和不在KG中，我们将我们的方法与两个基准方法KAHAID和ZaCQ进行了比较。对于查询语句在KG中的情况，我们的方法表现优于基准方法，比KAHAID的MRR高出16.9%，MAP高出8.9%，比ZaCQ的MRR高出63.9%，MAP高出66.8%。对于查询语句不在KG中的情况，我们的方法至少比KAHAID的MRR高出37.2%，MAP高出27.8%。

最后，我们进行了一个消融实验，评估了在我们的方法中消除KG知识引导和知识引导路径规划的影响。结果表明，利用KG知识来引导LLM有助于减少潜在的噪音，我们的方法在MRR上提升了15.8%，在MAP上提升了19.0%。

消融实验表明，KG中知识引导路径规划策略对于提高LLM的效率和可控性至关重要，我们的方法在MRR上提升了19.2%，在MAP上提升了22.2%。

本发明展示了一种弥合KG和LLM之间差距的方式，有效地补偿了两者的优势和劣势。表现出高精度、鲁棒性和可控性，能够准确生成与用户意图相一致的澄清问题和扩展查询。

实施例3

本实施例提供了一种面向API推荐的基于知识图谱的新型知识引导大型语言模型查询澄清系统，包括：“澄清问题与选项生成模块”和“查询扩展与API推荐模块”，其中所述澄清问题与选项生成模块包含一个non-AI单元（API知识图谱中知识的获取单元）和三个AI子单元（最佳提问方面生成单元、澄清问题生成单元和备选选项生成单元），其中所述查询扩展与API推荐模块包含一个non-AI单元（用户回答单元）和两个AI子单元（查询语句扩展单元和API推荐单元）。其中，

澄清问题与选项生成模块，用于获取最佳提问路径样式表中的最佳提问路径，并提出澄清问题，给出相应的备选选项。

查询扩展与API推荐模块，基于澄清问答和初始查询语句，给出扩展的查询语句，并根据扩展的查询语句，给出可能的API推荐。

所述澄清问题与选项生成模块包括：API知识图谱中知识的获取单元、最佳提问方面生成单元、澄清问题生成单元和备选选项生成单元；API知识图谱中知识的获取单元用于获取API知识图谱中的路径知识；最佳提问方面生成单元用于获取最佳提问方面；澄清问题生成单元用于生成澄清问题；备选选项生成单元用于生成相应的可能回答。

所述查询扩展与API推荐模块包括：用户回答单元、查询语句扩展单元和API推荐单元；用户回答单元由用户受备选选项启发而回答澄清问题；查询语句扩展单元用于结合已知信息（历史澄清对话）扩展初始查询语句；API推荐单元可基于扩展的查询语句推荐相应的API。

本发明为了解决OOV失败并改善对话的流畅性，利用大型语言模型（LLMs），如GPT-3，作为查询澄清的神经知识库。LLMs有两个显著的优点。首先，它们利用整个互联网语料库（Common Crawl）进行预训练，提供了丰富的API知识，克服了OOV失败。其次，它们具有增强的语义理解和上下文学习能力，可以更精确地生成流畅的澄清查询和选项。 然而，LLMs也有两个缺点。首先，它们的广泛知识库可能在澄清问题和选项生成过程中引入噪音，可能影响准确性。其次，LLMs表现出一定程度的随机性，仅依靠LLMs进行澄清可能导致对澄清方向的控制能力有限，降低可控性。

本发明为了解决使用LLMs可能出现的噪音和随机性问题，借鉴了Huang等人的基于知识图谱（KG）的查询澄清方法（Huang et al., 2023）。KG提供了结构化的API知识和实体关系（Huang等，2021+；Li等，2018；刘等，2020），从而提供了可靠且全面的信息，有助于过滤其他领域的噪音。这提高了生成准确和相关澄清问题的效果。

通过将最佳澄清路径从KG转移到LLM上，提高了对LLM的控制能力，增加了澄清过程的效率，并使LLM能够提出最合适的澄清问题。这种方法有助于解决仅依靠LLM提出澄清问题可能出现的精确性和随机性问题。

如图3所示，为了解决初始查询中关键词不足的问题，研究人员提出了查询扩展方法（Cao等，2021；Eberhart等，2022；Huang等，2023），例如Sequer（Cao等，2021）。该方法从知识库中检索与查询相关的扩展关键词，并将它们修改或添加到初始查询语句中。然而，这些方法可能会产生负面扩展，因为仅凭初始查询语句中的关键词很难完全表达用户的扩展需求，如果知识库中不存在正确的扩展关键词，就可能导致无法识别（out-of-vocabulary，OOV）的问题。在图3中，LLM在KG的指导下，仅通过两个问答（Q&A）轮，准确澄清了用户的意图，并让用户自由地输入所需信息（例如，pseudo-random double values），从而得到与用户意图完全一致的正确扩展陈述。

图3（a）显示了一个初始查询语句：“return stream from generator in Java.”。与用户需求相符的正确扩展语句是“return stream of pseudorandom double valuesfrom generator in Java.”。在这种情况下，正确的扩展关键词是“pseudorandom doublevalues”。但是，使用Sequer来扩展初始查询语句时，它会生成一组仅涉及重新组织初始查询并添加无关的扩展关键词（例如“Java 8”）的扩展语句，这些关键词与正确的扩展语句完全无关，如图3（b）所示。

查询澄清方法在通过交互捕捉用户需求方面优于查询扩展方法。这些方法通过提问澄清问题、提供与用户互动的选项以及根据用户的回答来完善查询语句。基于深度学习的查询澄清方法在表达用户意图方面特别有用。然而，ZaCQ的性能取决于训练数据的多样性和规模。如果训练数据集中没有包含正确的扩展关键词，可能仍然会出现词汇外（OOV）的问题。即使扩展关键词在训练数据集中存在，ZaCQ可能需要多轮澄清问题才能准确捕捉用户意图并获得正确的扩展关键词。ZaCQ没有考虑每一轮澄清问题之间的关系，导致效率不高。例如，在图3-c中，经过五轮问题澄清，ZaCQ获得了正确的扩展语句：“returns a streamproducing the given streamsize number of pseudorandom double values from thisgenerator.”

Huang等人提出了一种基于知识图谱（Knowledge Graph，KG）的查询澄清方法，以提高查询澄清方法的效率。知识图谱包含大量API及其澄清信息，以方面（如purpose,type, and event）和选项的形式呈现。该方法基于初始查询语句从知识图谱中搜索一个小规模子图，其中包含与初始查询语句匹配的所有API及其相应的澄清信息。基于这个子图，构建了一个ID3决策树，为用户提供最佳的澄清路径，优化与用户进行澄清交互的过程。然而，该方法受到知识图谱范围的限制。 当查询超出知识图谱的范围时，仍可能发生无法识别的错误，导致无关的澄清问题、选项或不准确的结果。此外，尽管澄清选项（如整数值）可以提醒用户关于“double values”的缺失信息，但用户只能从知识图谱中选择选项，而不能输入任意信息。此外，该方法依赖于预先设计的模板来处理知识图谱中的信息，导致对话可能显得有些呆板，缺乏流畅性。例如，在图3-d中，只需进行三轮的问题澄清就可以得到扩展语句，但由于知识图谱中缺少“pseudorandom double values”，它错误地扩展为“pseudorandom int values”。

根据综合分析，本发明基于知识引导的API推荐查询澄清方法，通过结合知识图谱（KG）和大型语言模型（LLM）的优势，并弥补它们各自的弱点，实现了“1+1>2”的效果，从而优化了查询澄清过程。结果是增强了人机交互过程的准确性、效率和流畅性。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种面向API推荐的知识引导大型语言模型查询澄清方法，其特征在于：包括步骤如下：

S1，模拟人机交互过程，基于分析流的思想，设计面向API推荐的查询澄清AI Chain；

将人与LLM交互的过程分解为多个子步骤，将每个子步骤中可以使用LLM的步骤设计为AI单元，将不需要LLM的步骤设计为non-AI单元，将这些AI单元和non-AI单元按照逻辑串联形成AI Chain；

S2，基于API知识图谱，获取API知识图谱中的知识；

S3，基于大型语言模型，设计合理的prompt：

基于大型语言模型的上、下文学习特点，使用有效地自然语言和规则语言形成prompt，以实现AI单元的功能；

S4，将所述API知识图谱知识与prompt融合，通过AI Chain以实现澄清查询语句并推荐API。

2.根据权利要求1所述的面向API推荐的知识引导大型语言模型查询澄清方法，其特征在于：步骤S2中，API知识图谱中知识的获取的过程包括：

基于API知识图谱的特点，制作一个最佳提问路径样式表；

将用户输入的初始查询语句与样式表中的查询语句进行相似度匹配；

再将用户上一轮的回答与样式表中的回答进行相似度匹配；

经过两次相似度匹配以实现API知识图谱中知识的获取。

3. 根据权利要求1或2所述的面向API推荐的知识引导大型语言模型查询澄清方法，其特征在于：步骤S4中，通过获取的API知识图谱知识设计合理的prompt，提示LLM完成对应AI单元的任务，形成逻辑合理的AI Chain以实现API的推荐。

4. 根据权利要求3所述的面向API推荐的知识引导大型语言模型查询澄清方法，其特征在于：为促进涉及查询澄清的多轮人机交互，设计面向API推荐的查询澄清AI Chain；所述AI Chain包括以下五个不同的步骤，每个子步骤由一个单独的语言模型调用处理：

最佳问题方面生成：根据给定的查询语句和前一轮的回答，确定最佳的问题方面生成；

澄清问题生成：根据前一步骤中得到的最佳问方面为查询语句创建澄清问题；

备选选项生成：针对澄清问题生成备选选项；

查询扩展：使用历史答案根据用户的需求生成一个扩展的查询语句；

API推荐：基于扩展语句提供相应的API推荐，使用户能够在每次澄清后参考推荐的API，并决定是否继续进行澄清过程，从而提高交互的灵活性。

5.一种面向API推荐的知识引导大型语言模型查询澄清系统，其特征在于：所述查询澄清系统包括澄清问题与选项生成模块和查询扩展与API推荐模块，其中，

所述澄清问题与选项生成模块包含一个API知识图谱中知识的获取单元-non-AI单元和最佳提问方面生成单元、澄清问题生成单元和备选选项生成单元三个AI子单元；

所述查询扩展与API推荐模块包含一个用户回答单元-non-AI单元和查询语句扩展单元和API推荐单元两个AI子单元。

6.根据权利要求5所述的面向API推荐的知识引导大型语言模型查询澄清方法，其特征在于：API知识图谱中知识的获取单元，知识的获取的过程包括：

针对API知识图谱的特点，制作一个最佳提问路径样式表；

将用户输入的初始查询语句与样式表中的查询语句进行相似度匹配；

再将用户上一轮的回答与样式表中的回答进行相似度匹配；

经过两次相似度匹配以实现API知识图谱中知识的获取。

7.根据权利要求5或6所述的面向API推荐的知识引导大型语言模型查询澄清方法，其特征在于：查询扩展与API推荐模块，其中，

最佳提问方面生成单元的过程包括：

将设计好的prompt输入LLM；

LLM返回当前澄清回合对查询语句的最佳提问方面；

澄清问题生成单元的过程包括：

基于最佳提问方面，设计合理的prompt，输入进LLM；

LLM根据最佳提问方面返回对查询语句的澄清问题；

备选选项生成单元的过程包括：

基于澄清问题，设计合理的prompt，输入进LLM；

LLM根据初始查询语句和澄清问题，返回备选选项，即可能的回答；

用户回答单元：基于备选选项，用户受到启发，给出自己的答案；

查询语句扩展单元的过程包括：

基于初始查询语句和已有的澄清信息，设计合理的prompt，输入进LLM；

LLM根据prompt返回扩展后的查询语句；

API推荐单元的过程包括：

基于扩展后的查询语句，设计合理的prompt，输入进LLM；

LLM根据prompt返回API推荐。