CN116522926A - 用于中文大规模语言模型的自动化提示生成与优化方法 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体为用于中文大规模语言模型的自动化提示生成与优化方法，包括以下步骤：任务描述自动生成；提示集构建；提示筛选；有益效果为：本发明提出的用于中文大规模语言模型的自动化提示生成与优化方法采用“先生成、再组合、后优化”的思路，根据输入输出示例，基于大规模语言模型动态生成提示任务表述；之后拼接多种输入输出组合示例，形成完整提示集合；最后，本方法测评不同候选提示，通过得分反馈机制筛选表现更佳的候选提示，以达到优化效果的目的。

Description

用于中文大规模语言模型的自动化提示生成与优化方法

技术领域

本发明涉及人工智能技术领域，具体为用于中文大规模语言模型的自动化提示生成与优化方法。

背景技术

在人工智能技术与大数据结合的时代，大规模语言模型成为通用人工智能的重要组成部分，在自然语言处理(NLP)、计算机视觉(CV)、图学习(GL)等主要人工智能领域中得到广泛研究与应用。大规模语言模型通过语言学习丰富的世界知识，对各个领域发展均起到巨大的促进作用，其还具备自我学习、迁移学习等能力，可以通过少量的调整适应新任务，具有很强的普适性。随着模型体量的不断增大和模型结构的不断优化，大规模语言模型在人工智能领域的应用前景越来越广阔。

现有技术中，大规模语言模型，如GPT-3模型等，可通过上下文学习(In-contextlearning)激发完成具体任务的潜力与性能。上下文学习是指在大型语言模型中，通过简单地基于少量的输入输出示例进行条件化，形成引导模型输出的文本，从而提高模型在下游任务中的性能表现。这种方法不同于传统的监督学习，它不需要大量的标注数据，而只需要通过少量的示例数据就可以让模型完成下游任务。如何设计上下文学习的提示文本是应用大规模语言模型的关键，其被称为提示工程(Prompt Engineering)。提示工程的核心思想是设计一组有效的提示(Prompt)，以引导AI模型输出符合特定条件或需求的内容。它已经成为近年来AI领域的一项重要技术，其应用前景广阔，已被应用于多个行业和场景中，如智能客服、自动化写作、虚拟助手等。

但是，目前，提示工程多采用人工制定的方法，这类方法繁琐、耗时且并不能保证达到最佳效果，因此，2020年起，自动提示模板构建方法如提示挖掘、提示生成等方法被提出。然而，当前国际上关于自动化提示工程方法多基于英文大模型，难以通用于中文情景，增大了中文大模型应用难度，限制了应用效果。

发明内容

本发明的目的在于提供用于中文大规模语言模型的自动化提示生成与优化方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：用于中文大规模语言模型的自动化提示生成与优化方法，所述生成与优化方法包括以下步骤：

任务描述自动生成；

提示集构建，任务描述自动生成时，根据输入输出示例，基于大规模语言模型动态生成提示任务表述；

提示筛选。

优选的，提示集构建时，连接不同的输入输出示例组合，形成完整候选提示集合。

优选的，提示筛选时，通过目标模型根据候选提示依次得到输出结果，通过得分反馈机制筛选出结果较好的提示，并用于该任务固定提示，达到优化效果的目的。

优选的，自动生成任务描述中，设计输入输出示例到任务描述映射提示，利用大模型生成多种任务描述，为了保障任务描述的多样性，动态随机选取输入输出示例，降低固定示例带来的模式受限问题。

优选的，将多种任务描述组合输入输出示例过程中，采用三个维度首先组合输入输出示例，分别为内容、顺序、数量，即不同内容的输入输出组合示例、不同顺序的组合示例以及不同数量的输入输出组合示例，三种维度覆盖不同输入输出示例带来的影响，将多种任务描述依次与组合示例连接，建立完整的提示，并以此得到提示集。

优选的，提示优化过程中，根据待完成目标任务，设置评估数据、标准，依次使用提示集中的候选提示进行评估反馈，得到评估结果排名，选取排名前三位候选提示作为完成该任务的优先提示模板选择。

与现有技术相比，本发明的有益效果是：

本发明提出的用于中文大规模语言模型的自动化提示生成与优化方法采用“先生成、再组合、后优化”的思路，根据输入输出示例，基于大规模语言模型动态生成提示任务表述；之后拼接多种输入输出组合示例，形成完整提示集合；最后，本方法测评不同候选提示，通过得分反馈机制筛选表现更佳的候选提示，以达到优化效果的目的。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1，本发明提供一种技术方案：一种用于中文大规模语言模型的自动化提示生成与优化方法。

本方法将提示分为“任务描述”与“示例”两个组成部分，其实任务描述指要求模型完成某项功能的指令，示例指的是完成该功能的几个示例，可帮助模型更好理解指令含义。

本方法采用“先生成、再组合、后优化”的思路，分为任务描述自动生成、提示集构建与提示筛选三个步骤。具体地，首先，根据输入输出示例，基于大规模语言模型动态生成提示任务表述；之后连接不同的输入输出示例组合，形成完整候选提示集合；最后，本方法通过目标模型根据候选提示依次得到输出结果，通过得分反馈机制筛选出结果较好的提示，并用于该任务固定提示，达到优化效果的目的。需注意，本方法共计使用两个大规模语言模型，一个作为辅助模型用于生成任务描述，另一个为待提升应用效果的目标模型。

自动生成任务描述中，本方法设计输入输出示例到任务描述映射提示，利用大模型生成多种任务描述。为了保障任务描述的多样性，本方法动态随机选取输入输出示例，降低固定示例带来的模式受限问题。

在将多种任务描述组合输入输出示例过程中，本方法采用三个维度首先组合输入输出示例，分别为内容、顺序、数量，即不同内容的输入输出组合示例、不同顺序的组合示例以及不同数量的输入输出组合示例，这三种维度可以覆盖不同输入输出示例带来的影响。之后，将多种任务描述依次与组合示例连接，建立完整的提示，并以此得到提示集。

提示优化过程中，本方法首先根据待完成目标任务，设置评估数据、标准，依次使用提示集中的候选提示进行评估反馈，得到评估结果排名，选取排名前三位候选提示作为完成该任务的优先提示模板选择。

实施例二

在实施例一的基础上，本发明提供了一种用于中文大规模语言模型的自动化提示生成与优化方法，该方法提供一种自动提示工程方案，将提示分为任务描述与示例组合两部分连接的形式，如下为一种具体形式：

应用该提示时，只需在后面输入待提取人物姓名的文本与输入输出标记即可，如“输入：张三丰为人天赋异禀、正气凛然、宽和从容，颇有仙风道骨之姿，是当世无出其右的武学奇才。输出：”，目标模型将根据任务描述与示例，完成该任务。因此，提示构建的核心问题设置更优的任务描述及示例，使得在特定任务下，模型的输出结果更好。

本发明提出的自动化提示生成与优化方法分为生成任务描述、提示集构建与提示筛选三个子流程，如图1所示为本发明整体架构工作流程图。

首先，本方法构建生成任务描述，使用辅助语言模型，按照如下提示示例得到模型输出(“xxx”填写具体示例内容)：

需注意，辅助语言模型一般选取性能较高的大型语言模型，如本实施方案中选择ChatGPT作为生成任务描述模型，而目标语言模型则需根据实际应用需求与资源，选择合适大小的模型。为获取到足够量的候选任务描述，本方法使用随机示例的方式组成提示。具体地，首先随机一个输入输出示例总数，实施中从2-5中随机选择一个整数N，之后从示例库中随机选择N个示例组成示例组合。每种提示使用辅助语言模型输出，对辅助语言模型输出的内容，以第一个句号为截取标志，句号前即为任务描述。在实际实施中，以程序调用辅助语言模型API的方式自动完成上述功能，随机组合50种示例，即得到50个模型生成的任务描述。

得到任务描述后，需将任务描述与示例组合进行组装。前人经验显示，示例组合中不同的示例内容、顺序、数量将影响提示的效果，因此，本发明从这三个角度扩大上文示例组合方法。具体地，从0-5中随机选择一个整数N，从示例库中随机选择N个示例，并打乱顺序组合M次：每次随机将得到M种组合，以此从不同内容、顺序及数量上尽可能覆盖更多情况。实施中，共随机选择示例组合50次，得到50×M种组合。之后将每种任务描述均与示例组合拼接，共得到250×M种提示，构成提示集。

最后，根据具体任务，建立一定数量样本的评估标准，选取合适的评估指标，常用的公开评估标准如中文语言理解测评基准(CLUE)。本方法在具体实施中，使用浪潮“源1.0”大型语言模型作为目标模型，使用智能问答系统中问题数据关键信息提取作为评测任务，采用ROUGE-L指标作为评测方法，在由100条数据构成的数据集上进行评测，记录所有提示的评测结果，选取评测结果最高的提示作为该任务提示模板。具体测评结果见表1，可以看出，前三位自动提示效果均优于人工提示效果，且全部自动提示的平均结果较差，表明不同提示对结果影响较大。

表1候选提示在关键信息提取问题的测评结果(前3位)

以下为使用表1中自动提示1的具体内容，以及使用该提示在“源1.0”模型中的示例输出。

任务描述：从输入中提取关键信息，并以简洁的方式概括为一个问题。

示例组合：

输入：起130万以上的豪华小汽车加征10％消费税的新政会带来哪些影响？

输出：豪华小汽车，消费税，哪些影响。

输入：历史上有哪些科技强势一方碾压、调戏、玩弄科技弱势一方的例子？

输出：历史，科技，碾压，例子。

输入：为什么日常生活里其实并没有发生什么大事，也常常令人觉得疲惫？

输出：为什么，日常生活，疲惫。

输入：一分钟内编出的悬疑但Happy Ending的故事是什么样的？

输出：一分钟，悬疑，故事，是什么样。

输入：在《内战》中，为什么作为军人的美国队长反对超能力者注册法案，而商人出身钢铁侠却赞成之？

输出：为什么，《内战》，美国队长，钢铁侠，超能力法案。

测试数据：

输入：如何看待某人阔别十二年凭借《追凶者也》斩获金爵奖成为三金影帝？

输出：

模型输出：如何看待，某人，《追凶者也》，金爵奖。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.用于中文大规模语言模型的自动化提示生成与优化方法，其特征在于：所述生成与优化方法包括以下步骤：

任务描述自动生成；

提示集构建；

提示筛选。

2.根据权利要求1所述的用于中文大规模语言模型的自动化提示生成与优化方法，其特征在于：任务描述自动生成时，根据输入输出示例，基于大规模语言模型动态生成提示任务表述。

3.根据权利要求2所述的用于中文大规模语言模型的自动化提示生成与优化方法，其特征在于：提示集构建时，连接不同的输入输出示例组合，形成完整候选提示集合。

4.根据权利要求1所述的用于中文大规模语言模型的自动化提示生成与优化方法，其特征在于：提示筛选时，通过目标模型根据候选提示依次得到输出结果，通过得分反馈机制筛选出结果较好的提示，并用于该任务固定提示，达到优化效果的目的。

5.根据权利要求1所述的用于中文大规模语言模型的自动化提示生成与优化方法，其特征在于：自动生成任务描述中，设计输入输出示例到任务描述映射提示，利用大模型生成多种任务描述，为了保障任务描述的多样性，动态随机选取输入输出示例，降低固定示例带来的模式受限问题。

6.根据权利要求5所述的用于中文大规模语言模型的自动化提示生成与优化方法，其特征在于：将多种任务描述组合输入输出示例过程中，采用三个维度首先组合输入输出示例，分别为内容、顺序、数量，即不同内容的输入输出组合示例、不同顺序的组合示例以及不同数量的输入输出组合示例，三种维度覆盖不同输入输出示例带来的影响，将多种任务描述依次与组合示例连接，建立完整的提示，并以此得到提示集。

7.根据权利要求4所述的用于中文大规模语言模型的自动化提示生成与优化方法，其特征在于：提示优化过程中，根据待完成目标任务，设置评估数据、标准，依次使用提示集中的候选提示进行评估反馈，得到评估结果排名，选取排名前三位候选提示作为完成该任务的优先提示模板选择。