CN116738956A - 一种提示模板生成方法、装置、计算机设备及存储介质 - Google Patents

一种提示模板生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116738956A
CN116738956A CN202310701108.2A CN202310701108A CN116738956A CN 116738956 A CN116738956 A CN 116738956A CN 202310701108 A CN202310701108 A CN 202310701108A CN 116738956 A CN116738956 A CN 116738956A
Authority
CN
China
Prior art keywords
text
target
prompt
spliced
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310701108.2A
Other languages
English (en)
Inventor
卢竞辉
谈飞
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Original Assignee
Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shangtang Artificial Intelligence Research Center Shenzhen Co ltd filed Critical Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Priority to CN202310701108.2A priority Critical patent/CN116738956A/zh
Publication of CN116738956A publication Critical patent/CN116738956A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种提示模板生成方法、装置、计算机设备及存储介质，其中，该方法包括：获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别；基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本；将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本；基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。

Description

一种提示模板生成方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种提示模板生成方法、装置、计算机设备及存储介质。
背景技术
随着人工智能技术的快速发展，神经网络越来越多的出现在大众的视野中。为了解决预训练模型+微调训练的范式需要大量的人工标注数据的问题，出现了提示学习(prompt learning)的训练方式，在提示学习过程中，可以通过提示模板(prompttemplate)将下游任务中需要进行处理的待处理文本对应的分类任务、生成任务等任务，转化为预训练模型能够处理的任务(比如掩码预测任务)，从而可以充分利用预训练模型的模型能力，不需要使用下游任务对应的样本数据去重新微调模型，从而赋予了模型零样本学习的能力。
相关技术中，用于进行提示学习的提示模板，往往需要研究人员根据下游任务的具体情况手动构建，使得提示模板的生成效率较为低下。
发明内容
本公开实施例至少提供一种提示模板生成方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种提示模板生成方法，包括：
获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别；
基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本；
将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本；
基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。
一种可能的实施方式中，所述基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本，包括：
将所述标签词、表征对应位置处包含待填充内容的占位符以及所述第一待拼接文本进行拼接，生包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本。
这样，基于所述标签词和所述第一待拼接文本进行拼接处理，可以自动的生成包含所述标签词和第一待填充内容的目标文本，从而可以通过后续步骤确定出所述目标文本中所述第一待填充内容对应的填充文本，以根据确定出的填充文本生成相应的提示模板。
一种可能的实施方式中，所述将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本，包括：
将所述目标文本输入至预先训练好的第一模型，得到所述第一模型针对所述第一待填充内容输出的多个待筛选填充文本，以及所述多个待筛选填充文本分别对应的置信度信息；
根据所述置信度信息对所述多个待筛选填充文本进行筛选，得到符合所述第一待拼接文本语义的第一预设数量的填充文本。
这样，按照第一预设数量和所述置信度信息对所述多个待筛选填充文本进行筛选，可以得到符合所述第一待拼接文本语义的第一预设数量的填充文本，以便通过后续步骤处理后得到更多的自动生成的提示模板，提高提示模板的生成效率。
一种可能的实施方式中，所述基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，包括：
在所述填充文本的数量为多个的情况下，生成与各填充文本分别对应的待筛选提示模板；
对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板。
一种可能的实施方式中，生成填充文本对应的待筛选提示模板，包括：
针对任一所述填充文本，将该填充文本和表征对应位置处包含待填充内容的占位符进行拼接，生成包含第二待填充内容的待筛选提示模板。
一种可能的实施方式中，所述对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板，包括：
针对任一所述填充文本，基于该填充文本对应的待筛选提示模板、至少一个预设标签词以及与所述至少一个预设标签词匹配的第二待拼接文本，生成与该填充文本对应的测试文本；
确定各测试文本分别对应的困惑度；
基于各所述测试文本分别对应的困惑度，确定各所述测试文本中的目标测试文本，并将与所述目标测试文本对应的待筛选提示模板，作为与所述目标处理任务匹配的目标提示模板。
一种可能的实施方式中，不同类型的处理任务对应的困惑度计算方式不同；
所述确定各测试文本分别对应的困惑度，包括：
在所述目标处理任务的任务类型为分类任务的情况下，针对任一测试文本，将该测试文本输入预先训练好的第三模型后得到第一计算结果；基于所述第一计算结果中该测试文本中各个字分别对应的第一对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第一对数似然结果为基于该字所在的测试文本中除该字外的其他字确定的；
以及，在所述目标处理任务的任务类型为生成任务的情况下，针对任一测试文本，基于该测试文本输入预先训练好的第四模型后得到第二计算结果；基于所述第二计算结果中该测试文本中各个字分别对应的第二对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第二对数似然结果为基于该字所在的测试文本中位于该字之前的前序文本确定的。
这样，通过包含前向文本处理和后向文本处理的双向建模的困惑度计算方式，可以使得在计算困惑度时能够更为全面的确定出，测试文本中包含的待筛选提示模板对于需要全局语义的分类任务的真实作用，从而便于确定出更适合用于训练执行分类任务的语言模型的提示模板；以及，通过使用前向文本的单向建模的困惑度计算方式，可以使得在计算困惑度时能够更为全面的确定出，测试文本中包含的待筛选提示模板对于更专注与前向文本序列语义的生成任务的真实作用，从而便于确定出更适合用于训练执行生成任务的语言模型的提示模板。
一种可能的实施方式中，所述基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习，包括：
针对提示学习过程中使用的样本数据集中的任一样本数据，基于该样本数据对应的目标提示模板对执行所述目标处理任务的第二模型进行提示学习；其中，任一样本数据对应的目标提示模板为将该样本数据作为用于生成测试文本的第二待拼接文本后，基于该样本数据生成的各测试文本分别对应的困惑度确定的；
或者，针对提示学习过程中使用的任一样本数据集，基于该样本数据集对应的目标提示模板对执行所述目标处理任务的第二模型进行提示学习；其中，任一样本数据集对应的目标提示模板为将该样本数据集中的第二预设数量的样本数据作为用于生成测试文本的第二待拼接文本后，基于所述第二预设数量的样本数据生成的各测试文本分别对应的困惑度确定的。
这样，在提示学习中可以根据实际需求选择同一样本数据集对应的目标提示模板，或者选择样本数据对应的目标提示模板，从而可以通过设置目标提示模板使用粒度的方式，使得生成的目标提示模板能够适用于不同场景下的提示学习中，丰富了目标提示模板的使用场景和使用方式。
第二方面，本公开实施例还提供一种提示模板生成装置，包括：
获取模块，用于获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别；
生成模块，用于基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本；
输入模块，用于将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本；
确定模块，用于基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。
一种可能的实施方式中，所述生成模块，在基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本时，用于：
将所述标签词、表征对应位置处包含待填充内容的占位符以及所述第一待拼接文本进行拼接，生包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本。
一种可能的实施方式中，所述输入模块，在将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本时，用于：
将所述目标文本输入至预先训练好的第一模型，得到所述第一模型针对所述第一待填充内容输出的多个待筛选填充文本，以及所述多个待筛选填充文本分别对应的置信度信息；
根据所述置信度信息对所述多个待筛选填充文本进行筛选，得到符合所述第一待拼接文本语义的第一预设数量的填充文本。
一种可能的实施方式中，所述确定模块，在基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板时，用于：
在所述填充文本的数量为多个的情况下，生成与各填充文本分别对应的待筛选提示模板；
对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板。
一种可能的实施方式中，生成填充文本对应的待筛选提示模板，包括：
针对任一所述填充文本，将该填充文本和表征对应位置处包含待填充内容的占位符进行拼接，生成包含第二待填充内容的待筛选提示模板。
一种可能的实施方式中，所述确定模块，在对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板时，用于：
针对任一所述填充文本，基于该填充文本对应的待筛选提示模板、至少一个预设标签词以及与所述至少一个预设标签词匹配的第二待拼接文本，生成与该填充文本对应的测试文本；
确定各测试文本分别对应的困惑度；
基于各所述测试文本分别对应的困惑度，确定各所述测试文本中的目标测试文本，并将与所述目标测试文本对应的待筛选提示模板，作为与所述目标处理任务匹配的目标提示模板。
一种可能的实施方式中，不同类型的处理任务对应的困惑度计算方式不同；
所述确定模块，在确定各测试文本分别对应的困惑度时，用于：
在所述目标处理任务的任务类型为分类任务的情况下，针对任一测试文本，将该测试文本输入预先训练好的第三模型后得到第一计算结果；基于所述第一计算结果中该测试文本中各个字分别对应的第一对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第一对数似然结果为基于该字所在的测试文本中除该字外的其他字确定的；
以及，在所述目标处理任务的任务类型为生成任务的情况下，针对任一测试文本，基于该测试文本输入预先训练好的第四模型后得到第二计算结果；基于所述第二计算结果中该测试文本中各个字分别对应的第二对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第二对数似然结果为基于该字所在的测试文本中位于该字之前的前序文本确定的。
一种可能的实施方式中，所述确定模块，在基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习时，用于：
针对提示学习过程中使用的样本数据集中的任一样本数据，基于该样本数据对应的目标提示模板对执行所述目标处理任务的第二模型进行提示学习；其中，任一样本数据对应的目标提示模板为将该样本数据作为用于生成测试文本的第二待拼接文本后，基于该样本数据生成的各测试文本分别对应的困惑度确定的；
或者，针对提示学习过程中使用的任一样本数据集，基于该样本数据集对应的目标提示模板对执行所述目标处理任务的第二模型进行提示学习；其中，任一样本数据集对应的目标提示模板为将该样本数据集中的第二预设数量的样本数据作为用于生成测试文本的第二待拼接文本后，基于所述第二预设数量的样本数据生成的各测试文本分别对应的困惑度确定的。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述提示模板生成装置、计算机设备、及计算机可读存储介质的效果描述参见上述提示模板生成方法的说明，这里不再赘述。
本公开实施例提供的提示模板生成方法、装置、计算机设备及存储介质，可以根据获取的与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本，生成包含所述标签词和第一待填充内容的目标文本，并将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本，从而可以基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。这样，相较于相关技术中研究人员手动构建提示模板，本公开实施例提供的方案在生成提示模板时，可以根据获取的标签词和第一待拼接文本自动构建适配目标处理任务的提示模板，提高了提示模板的生成效率。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种提示模板生成方法的流程图；
图2示出了本公开实施例所提供的一种提示模板生成装置的架构示意图；
图3示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在传统的神经网络使用过程中，为了提高神经网络的使用效率，可以先设置一个完成预训练的预训练模型，然后再根据具体的应用场景进行微调训练，从而使得预训练模型能够更好的适应具体的应用场景，但这种预训练模型+微调训练的范式，往往需要大量的人工标注数据对下游任务(也即应用场景对应的处理任务)进行训练，成本较高。
为了解决预训练模型+微调训练的范式需要大量的人工标注数据的问题，出现了提示学习(prompt learning)的训练方式，在提示学习过程中，可以通过提示模板(prompttemplate)将下游任务中需要进行处理的待处理文本对应的分类任务、生成任务等任务，转化为预训练模型能够处理的任务(比如掩码预测任务)，从而可以充分利用预训练模型的模型能力，不需要使用下游任务对应的样本数据去重新微调模型，从而赋予了模型零样本学习的能力。
相关技术中，用于进行提示学习的提示模板，往往需要研究人员根据下游任务的具体情况手动构建，使得提示模板的生成效率较为低下。
基于上述研究，本公开提供了一种提示模板生成方法、装置、计算机设备及存储介质，可以根据获取的与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本，生成包含所述标签词和第一待填充内容的目标文本，并将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本，从而可以基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。这样，相较于相关技术中研究人员手动构建提示模板，本公开实施例提供的方案在生成提示模板时，可以根据获取的标签词和第一待拼接文本自动构建适配目标处理任务的提示模板，提高了提示模板的生成效率。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种提示模板生成方法进行详细介绍，本公开实施例所提供的提示模板生成方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该提示模板生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的提示模板生成方法的流程图，所述方法包括S101～S104，其中：
S101：获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别。
S102：基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本。
S103：将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本。
S104：基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。
以下是对上述步骤的详细介绍。
针对S101，所述目标处理任务可以为分类任务、生成任务等文本处理类任务；所述标签词可以是预先针对目标处理任务可能的处理结果类别设置的；所述第一待拼接文本可以是与所述目标处理任务对应的公开数据集中随机选取的文本；其中，与所述目标处理任务对应的公开数据集可以为用于训练执行所述目标处理任务的网络模型的数据集。
示例性的，以所述目标处理任务的任务类型为分类任务为例，则所述标签词可以为文本分类任务对应的标签“科学”、“金融”、“美食”等；所述第一待拼接文本可以从用于训练网络模型A的数据集1中选取，所述网络模型A为可以执行所述文本分类任务的网络模型。
针对S102、
这里，所述第一待填充内容对应有填充文本，所述第一待填充内容对应的填充文本的生成过程将在下文进行介绍，在此不再展开说明。
一种可能的实施方式中，在基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本时，可以将所述标签词、表征对应位置处包含待填充内容的占位符以及所述第一待拼接文本进行拼接，生包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本，下面介绍一种具体的拼接方式，在进行拼接时可以通过以下步骤A1～A2：
A1：将所述标签词和表征对应位置处包含待填充内容的占位符进行拼接，生成初始拼接文本。
A2：将所述初始拼接文本和所述第一待拼接文本进行拼接，生包含所述标签词和第一待填充内容的目标文本。
这里，所述占位符可以是能够被掩码语言模型(Masked Language Model，MLM)识别并处理的掩码占位符<MASK>。
具体的，在将所述标签词和表征对应位置处包含待填充内容的占位符进行拼接时，可以按照预设的第一拼接顺序，将所述标签词和表征对应位置处包含待填充内容的占位符进行拼接，生成初始拼接文本；按照预设的第二拼接顺序，将所述初始拼接文本和所述第一待拼接文本进行拼接，生成包含所述标签词和第一待填充内容的目标文本。
示例性的，以所述标签词为正面情感标签词“很”，第一待拼接文本为“今天天气真好”为例，则可以按照预设的第一拼接顺序，将所述标签词“很”和表征对应位置处包含待填充内容的占位符“<MASK>”进行拼接，生成初始拼接文本“很<MASK>”；按照预设的第二拼接顺序，将所述初始拼接文本“很<MASK>”和所述第一待拼接文本“今天天气真好”进行拼接，生包含所述标签词和第一待填充内容的目标文本“很<MASK>今天天气真好”。
此外，在基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本时，还可以按照预设的第三拼接顺序，将所述标签词和所述第一待拼接文本进行拼接处理，生成待处理拼接文本；将表征对应位置处包含待填充内容的占位符，添加至所述待处理拼接文本中所述标签词和所述第一待拼接文本中间位置处，得到包含所述标签词和第一待填充内容的目标文本。
示例性的，以所述标签词为负面情感标签词“不”，第一待拼接文本为“今天天气真好”为例，则可以按照预设的第三拼接顺序，将所述标签词“不”和所述第一待拼接文本“今天天气真好”进行拼接处理，生成待处理拼接文本“不今天天气真好”；将表征对应位置处包含待填充内容的占位符<MASK>，添加至所述待处理拼接文本中所述标签词和所述第一待拼接文本中间位置处，得到包含所述标签词和第一待填充内容的目标文本“不<MASK>今天天气真好”。
这样，基于所述标签词和所述第一待拼接文本进行拼接处理，可以自动的生成包含所述标签词和第一待填充内容的目标文本，从而可以通过后续步骤确定出所述目标文本中所述第一待填充内容对应的填充文本，以根据确定出的填充文本生成相应的提示模板。
针对S103、
这里，所述第一模型的类型可以为生成语音模型，例如可以为将文本传输到文本转换器(Transfer Text-to-Text Transformer，T5)模型，所述T5模型可以针对输入的目标文本中的第一待填充内容，输出符合所述第一待拼接文本语义的填充文本。
一种可能的实施方式中，在将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本时，可以通过以下步骤B1～B2：
B1：将所述目标文本输入至预先训练好的第一模型，得到所述第一模型针对所述第一待填充内容输出的多个待筛选填充文本，以及所述多个待筛选填充文本分别对应的置信度信息。
这里，所述第一模型可以根据所述目标文本中包含的第一待拼接文本的语义，确定出多个待筛选填充文本，以及各待筛选填充文本分别对应的置信度信息。
示例性的，以目标文本为“很<MASK>今天天气真好”为例，将所述目标文本输入至预先训练好的第一模型，可以得到所述第一模型确定的多个待筛选填充文本“开心”、“高兴”、“幸运”、“满意”，各待筛选填充文本对应的置信度信息分别为20％、15％、11％、10％。
B2：根据所述置信度信息对所述多个待筛选填充文本进行筛选，得到符合所述第一待拼接文本语义的第一预设数量的填充文本。
承接上例，以所述第一预设数量为2为例，则在确定待筛选填充文本“开心”、“高兴”、“幸运”、“满意”分别对应的置信度信息为20％、15％、11％、10％之后，可以按照所述预设数量和所述置信度信息对所述多个待筛选填充文本进行筛选，将“开心”和“高兴”作为符合所述第一待拼接文本语义的多个填充文本。
这样，按照第一预设数量和所述置信度信息对所述多个待筛选填充文本进行筛选，可以得到符合所述第一待拼接文本语义的第一预设数量的填充文本，以便通过后续步骤处理后得到更多的自动生成的提示模板，提高提示模板的生成效率。
针对S104、
这里，所述第二模型为执行所述目标处理任务的网络模型，在所述目标处理任务为分类任务的情况下，所述第二模型可以是执行文本分类任务的模型；在所述目标处理任务生成任务的情况下，所述第二模型可以是执行文本生成任务的模型，比如大型语言模型(Large Language Model，LLM)。
一种可能的实施方式中，在基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板时，可以采用以下步骤C1～C2：
C1：在所述填充文本的数量为多个的情况下，生成与各填充文本分别对应的待筛选提示模板。
一种可能的实施方式中，在生成填充文本对应的待筛选提示模板时，针对任一所述填充文本，可以将该填充文本和表征对应位置处包含待填充内容的占位符进行拼接，生成包含第二待填充内容的待筛选提示模板。
其中，所述占位符可以是能够被掩码语言模型MLM识别并处理的掩码占位符<MASK>。
示例性的，以填充文本为“高兴”为例，则在生成填充文本对应的待筛选提示模板时，可以将填充文本“高兴”和表征对应位置处包含待填充内容的占位符“<MASK>”进行拼接，生成待筛选提示模板“<MASK>高兴”。
C2：对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板。
一种可能的实施方式中，在对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板时，可以通过以下步骤C21～C23：
C21：针对任一所述填充文本，基于该填充文本对应的待筛选提示模板、至少一个预设标签词以及与所述至少一个预设标签词匹配的第二待拼接文本，生成与该填充文本对应的测试文本。
这里，所述至少一个预设标签词可以包含，获取的所述目标处理任务匹配的标签词中的至少一个标签词；与所述至少一个预设标签词匹配的第二待拼接文本，可以是用于执行预设标签词对应的处理任务的网络模型，在训练过程中使用的公开数据集中随机选取的文本。
具体的，在基于该填充文本对应的待筛选提示模板、至少一个预设标签词以及与所述至少一个预设标签词匹配的第二待拼接文本，生成与该填充文本对应的测试文本时，可以使用各预设标签词、所述第二待拼接文本以及所述待筛选提示模板生成测试文本；所述测试文本的数量与预设标签词的数量相同。
示例性的，以所述待筛选提示模板为“<MASK>开心”，所述预设标签词为“很”和“不”，所述第二待拼接文本为“今天天气真好”，则可以使用各预设标签词、所述第二待拼接文本以及所述待筛选提示模板，生成测试文本“很开心。今天天气真好。”和“不开心。今天天气真好。”。
C22：确定各测试文本分别对应的困惑度。
这里，所述困惑度用于表征测试文本对于语言模型的理解难度；不同类型的处理任务对应的困惑度计算方式可以是不同的，不同的困惑度计算方式可以适配不同类型的处理任务，在实际数据处理过程中的需求；
其中，根据处理任务类型的不同，可以通过以下计算方式计算困惑度：
任务类型1、分类任务
这里，在所述目标处理任务的任务类型为分类任务的情况下，针对任一测试文本，将该测试文本输入预先训练好的第三模型后得到第一计算结果；基于所述第一计算结果中该测试文本中各个字分别对应的第一对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第一对数似然结果为基于该字所在的测试文本中除该字外的其他字确定的。
其中，所述第三模型可以为经过鲁棒优化和预训练方法训练的BERT(A RobustlyOptimized BERT Pretraining Approach，RoBERTa)模型，所述RoBERTa模型可以针对输入的测试文本中的每个字进行计算，确定出各个字分别对应的第一对数似然计算结果，从而可以基于各个字分别对应的第一对数似然计算结果，确定测试文本对应的困惑度。
具体的，在计算测试文本对应的困惑度时，可以通过以下公式：
其中，PPL表示困惑度perplexity；x＝[x1，x2，...，xt]，表示输出的测试文本对应的文本序列；i表示测试文本对应的文本序列中的第i个字；t表示测序文本对应的文本序列的长度(也即包含的字数)；log pθ(xi|(x＜i&x＞i)为RoBERTa模型计算出的测试文本中第i个字对应的第一对数似然计算结果；x＜i&x＞i表示在计算所述第一对数似然计算结果的过程中使用到了第i个字之前的文本序列(也即前向文本)，以及第i个字之后的文本序列(也即后向文本)，从而使用到了第i各字所在的测试文本中除第i个字外的其他字。
这样，通过包含前向文本处理和后向文本处理的双向建模的困惑度计算方式，可以使得在计算困惑度时能够更为全面的确定出，测试文本中包含的待筛选提示模板对于需要全局语义的分类任务的真实作用，从而便于确定出更适合用于训练执行分类任务的语言模型的提示模板。
任务类型2、生成任务
这里，在所述目标处理任务的任务类型为生成任务的情况下，针对任一测试文本，基于该测试文本输入预先训练好的第四模型后得到第二计算结果；基于所述第二计算结果中该测试文本中各个字分别对应的第二对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第二对数似然结果为基于该字所在的测试文本中位于该字之前的前序文本确定的。
其中，所述第四模型可以为预训练生成式转换器(Generative Pre-trainedTransformer，GPT)、Meta AI大语言模型(Large Language Model Meta AI，LLaMA)、通用语言模型GLM-130B等decoder-only架构的模型，所述第四模型可以针对输入的测试文本中的每个字进行计算，确定出各个字分别对应的第二对数似然计算结果，从而可以基于各个字分别对应的第二对数似然计算结果，确定测试文本对应的困惑度。
具体的，在计算测试文本对应的困惑度时，可以通过以下公式：
其中，logpθ(xi|x＜i)为第四模型计算出的测试文本中第i个字对应的第二对数似然计算结果；x＜i表示在计算所述第一对数似然计算结果的过程中使用到了第i个字之前的文本序列(也即前向文本)。
这样，通过使用前向文本的单向建模的困惑度计算方式，可以使得在计算困惑度时能够更为全面的确定出，测试文本中包含的待筛选提示模板对于更专注与前向文本序列语义的生成任务的真实作用，从而便于确定出更适合用于训练执行生成任务的语言模型的提示模板。
C23：基于各所述测试文本分别对应的困惑度，确定各所述测试文本中的目标测试文本，并将与所述目标测试文本对应的待筛选提示模板，作为与所述目标处理任务匹配的目标提示模板。
这里，在基于各所述测试文本分别对应的困惑度，确定各所述测试文本中的目标测试文本时，可以将对应的困惑度数值最小的测试文本作为所述目标测试文本，并将与所述目标测试文本对应的待筛选提示模板，作为与所述目标处理任务匹配的目标提示模板。
其中，与所述目标测试文本对应的待筛选提示模板，可以是与所述目标测试文本对应的填充文本匹配的待筛选提示模板。
示例性的，以各测试文本中对应的困惑度数值最小的测试文本为“很开心。今天天气真好。”为例，则可以将“很开心。今天天气真好。”作为所述目标测试文本，并将与目标测试文本中的填充文本“开心”匹配的“<MASK>开心”作为与所述目标处理任务匹配的目标提示模板。
进一步的，在生成测试文本中使用的预设标签词的数量为多个的情况下，在基于各所述测试文本分别对应的困惑度，确定各所述测试文本中的目标测试文本时，针对任一填充文本，可以计算该填充文本和不同预设标签词分别组成的多个测试文本对应的困惑度平均值，并使用各填充文本对应的困惑度平均值进行对比，从而将对应的困惑度平均值最小的目标填充文本对应的待筛选提示模板，作为与所述目标处理任务匹配的目标提示模板。
示例性的，以填充文本为“开心”，使用的预设标签词为“很”和“不”为例，则在确定目标提示模板时，可以计算包含“很开心”测试文本对应的第一困惑度，和包含“不开心”的测试文本对应的第二困惑度的困惑度平均值，从而可以在确定出各填充文本分别对应的困惑度平均值后，将对应的困惑度平均值最小的目标填充文本“开心”对应的待筛选提示模板“<MASK>开心”，作为与所述目标处理任务匹配的目标提示模板。
进一步的，在得到所述目标提示模板之后，可以根据所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习，在提示学习的过程中，确定出的目标提示模板可以用于使用所述目标提示模板对应的第二待拼接文本的训练过程中，下面对目标提示模板在提示学习过程中的使用方式进行介绍：
方式1、各样本数据分别使用对应的目标提示模板进行提示学习
这里，在使用所述第二待拼接文本(也即样本数据)对所述第二模型进行提示学习时，可以使用所述样本数据对应的目标提示模板进行提示学习(也即目标提示模板是实例级别，用于训练过程中单独的一个样本数据)。
具体的，任一样本数据对应的目标提示模板，可以是将该样本数据作为用于生成测试文本的第二待拼接文本后，基于该样本数据生成的各测试文本分别对应的困惑度确定的；其中，基于第二待拼接文本生成测试文本，以及基于测试文本对应的困惑度确定目标提示模板的相关描述，可以参照上文C21～C23的相关内容，在此不再赘述。
示例性的，在提示学习过程中，样本数据1～5分别对应的目标提示模板可以为模板1～模板5，从而可以通过实例级别的提示模板，提高提示学习的学习效果，从而提高所述第二模型的模型性能。
方式2、同一样本数据集中的样本数据使用相同的目标提示模板进行提示学习
这里，所述同一样本数据集可以包括所述第二待拼接文本所处的数据集，比如在使用任一样本数据集对所述第二模型进行提示学习时，可以使用该样本数据集对应的目标提示模板进行提示学习(也即目标提示模板是数据集级别，同一样本数据集中的样本数据使用一个相同的提示模板)。
其中，在通过困惑度确定目标提示模板时，针对任一样本数据集，任一样本数据集对应的目标提示模板为将该样本数据集中的第二预设数量的样本数据作为用于生成测试文本的第二待拼接文本后，基于所述第二预设数量的样本数据生成的各测试文本分别对应的困惑度确定的；所述第二预设数量小于或等于样本数据集中包含的样本数据的数量。
具体的，在从该样本数据集中选取第二预设数量的样本数据后，针对选取的任一目标样本数据，可以将该目标样本数据作为于生成测试文本的第二待拼接文本，并按照上文C21～C22的相关内容确定出对应的测试文本的困惑度，各目标样本数据在生成测试文本时使用的待筛选提示模板相同；基于各所述目标样本数据分别对应的测试文本的困惑度，确定出各测试文本(也即待筛选提示模板)分别对应的困惑度均值，并基于所述困惑度均值确定各待筛选提示模板中的目标提示模板，将确定出的目标提示模板作为该样本数据集对应的目标提示模板。
示例性的，以样本数据集1中包含10个样本数据，所述第二预设数量为5为例，则可以从样本数据集1中随机选取样本数据1、3、5、8、10作为目标样本数据，并将所述目标样本数据分别作为第二待拼接文本，生成用于筛选待筛选提示模板的测试文本，并在分别确定出各目标样本数据对应的测试文本的困惑度后，确定出各目标样本数据对应的测试文本(也即待筛选提示模板)的困惑度均值；基于所述困惑度均值确定各待筛选提示模板中的目标提示模板为模板3，从而可以将模板3作为所述样本数据集1对应的目标提示模板，在使用样本数据集1中的10个样本数据对所述第二模型进行提示学习时，可以均采用模板3作为对应的提示模板。
这样，通过确定出数据集级别的目标提示模板，可以在使用数据集中的数据进行提示学习时，均使用相同的提示模板，从而可以提高提示模板的使用效率。
本公开实施例提供的提示模板生成方法，可以根据获取的与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本，生成包含所述标签词和第一待填充内容的目标文本，并将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本，从而可以基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。这样，相较于相关技术中研究人员手动构建提示模板，本公开实施例提供的方案在生成提示模板时，可以根据获取的标签词和第一待拼接文本自动构建适配目标处理任务的提示模板，提高了提示模板的生成效率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与提示模板生成方法对应的提示模板生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述提示模板生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图2所示，为本公开实施例提供的一种提示模板生成装置的架构示意图，所述装置包括：获取模块201、生成模块202、输入模块203、确定模块204；其中，
获取模块201，用于获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别；
生成模块202，用于基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本；
输入模块203，用于将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本；
确定模块204，用于基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。
本公开实施例提供的提示模板生成装置，可以根据获取的与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本，生成包含所述标签词和第一待填充内容的目标文本，并将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本，从而可以基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。这样，相较于相关技术中研究人员手动构建提示模板，本公开实施例提供的方案在生成提示模板时，可以根据获取的标签词和第一待拼接文本自动构建适配目标处理任务的提示模板，提高了提示模板的生成效率。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图3所示，为本公开实施例提供的计算机设备300的结构示意图，包括处理器301、存储器302、和总线303。其中，存储器302用于存储执行指令，包括内存3021和外部存储器3022；这里的内存3021也称内存储器，用于暂时存放处理器301中的运算数据，以及与硬盘等外部存储器3022交换的数据，处理器301通过内存3021与外部存储器3022进行数据交换，当计算机设备300运行时，处理器301与存储器302之间通过总线303通信，使得处理器301在执行以下指令：
获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别；
基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本；
将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本；
基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的提示模板生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的提示模板生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种提示模板生成方法，其特征在于，包括：
获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别；
基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本；
将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本；
基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。
2.根据权利要求1所述的方法，其特征在于，所述基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本，包括：
将所述标签词、表征对应位置处包含待填充内容的占位符以及所述第一待拼接文本进行拼接，生包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本，包括：
将所述目标文本输入至预先训练好的第一模型，得到所述第一模型针对所述第一待填充内容输出的多个待筛选填充文本，以及所述多个待筛选填充文本分别对应的置信度信息；
根据所述置信度信息对所述多个待筛选填充文本进行筛选，得到符合所述第一待拼接文本语义的第一预设数量的填充文本。
4.根据权利要求1～3任一所述的方法，所述基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，包括：
在所述填充文本的数量为多个的情况下，生成与各填充文本分别对应的待筛选提示模板；
对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板。
5.根据权利要求4所述的方法，其特征在于，生成填充文本对应的待筛选提示模板，包括：
针对任一所述填充文本，将该填充文本和表征对应位置处包含待填充内容的占位符进行拼接，生成包含第二待填充内容的待筛选提示模板。
6.根据权利要求4或5所述的方法，其特征在于，所述对所述各填充文本分别对应的待筛选提示模板进行筛选，生成与所述目标处理任务匹配的目标提示模板，包括：
针对任一所述填充文本，基于该填充文本对应的待筛选提示模板、至少一个预设标签词以及与所述至少一个预设标签词匹配的第二待拼接文本，生成与该填充文本对应的测试文本；
确定各测试文本分别对应的困惑度；
基于各所述测试文本分别对应的困惑度，确定各所述测试文本中的目标测试文本，并将与所述目标测试文本对应的待筛选提示模板，作为与所述目标处理任务匹配的目标提示模板。
7.根据权利要求6所述的方法，其特征在于，不同类型的处理任务对应的困惑度计算方式不同；
所述确定各测试文本分别对应的困惑度，包括：
在所述目标处理任务的任务类型为分类任务的情况下，针对任一测试文本，将该测试文本输入预先训练好的第三模型后得到第一计算结果；基于所述第一计算结果中该测试文本中各个字分别对应的第一对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第一对数似然结果为基于该字所在的测试文本中除该字外的其他字确定的；
以及，在所述目标处理任务的任务类型为生成任务的情况下，针对任一测试文本，基于该测试文本输入预先训练好的第四模型后得到第二计算结果；基于所述第二计算结果中该测试文本中各个字分别对应的第二对数似然计算结果，确定该测试文本对应的困惑度；其中，针对所述测试文本中的任一个字，该字对应的第二对数似然结果为基于该字所在的测试文本中位于该字之前的前序文本确定的。
8.根据权利要求6所述的方法，其特征在于，所述基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习，包括：
针对提示学习过程中使用的样本数据集中的任一样本数据，基于该样本数据对应的目标提示模板对执行所述目标处理任务的第二模型进行提示学习；其中，任一样本数据对应的目标提示模板为将该样本数据作为用于生成测试文本的第二待拼接文本后，基于该样本数据生成的各测试文本分别对应的困惑度确定的；
或者，针对提示学习过程中使用的任一样本数据集，基于该样本数据集对应的目标提示模板对执行所述目标处理任务的第二模型进行提示学习；其中，任一样本数据集对应的目标提示模板为将该样本数据集中的第二预设数量的样本数据作为用于生成测试文本的第二待拼接文本后，基于所述第二预设数量的样本数据生成的各测试文本分别对应的困惑度确定的。
9.一种提示模板生成装置，其特征在于，包括：
获取模块，用于获取与待生成模板对应的目标处理任务匹配的标签词，以及用于与所述标签词拼接的第一待拼接文本；其中，所述标签词用于表征所述目标处理任务的处理结果类别；
生成模块，用于基于所述标签词和所述第一待拼接文本，生成包含所述标签词、所述第一待拼接文本以及第一待填充内容的目标文本；
输入模块，用于将所述目标文本输入至预先训练好的第一模型中，得到所述第一模型针对所述第一待填充内容确定的，符合所述第一待拼接文本语义的填充文本；
确定模块，用于基于所述第一模型输出的填充文本，确定与所述目标处理任务匹配的目标提示模板，以基于所述目标提示模板对执行所述目标处理任务的第二模型进行提示学习。
10.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的提示模板生成方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的提示模板生成方法的步骤。
CN202310701108.2A 2023-06-13 2023-06-13 一种提示模板生成方法、装置、计算机设备及存储介质 Pending CN116738956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310701108.2A CN116738956A (zh) 2023-06-13 2023-06-13 一种提示模板生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310701108.2A CN116738956A (zh) 2023-06-13 2023-06-13 一种提示模板生成方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116738956A true CN116738956A (zh) 2023-09-12

Family

ID=87914554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310701108.2A Pending CN116738956A (zh) 2023-06-13 2023-06-13 一种提示模板生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116738956A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473047A (zh) * 2023-12-26 2024-01-30 深圳市明源云客电子商务有限公司 业务文本生成方法、装置、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473047A (zh) * 2023-12-26 2024-01-30 深圳市明源云客电子商务有限公司 业务文本生成方法、装置、电子设备及可读存储介质
CN117473047B (zh) * 2023-12-26 2024-04-12 深圳市明源云客电子商务有限公司 业务文本生成方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN106776544B (zh) 人物关系识别方法及装置和分词方法
CN108021547B (zh) 一种自然语言的生成方法、自然语言生成装置及电子设备
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN116956835B (zh) 一种基于预训练语言模型的文书生成方法
CN113255328A (zh) 语言模型的训练方法及应用方法
CN116738956A (zh) 一种提示模板生成方法、装置、计算机设备及存储介质
CN115840808A (zh) 科技项目咨询方法、装置、服务器及计算机可读存储介质
CN116127348A (zh) 文本标签生成、模型训练、文本分类方法及相关设备
CN114995903A (zh) 一种基于预训练语言模型的类别标签识别方法及装置
CN114995729A (zh) 一种语音绘图方法、装置及计算机设备
CN115525740A (zh) 对话应答语句的生成方法、装置、电子设备及存储介质
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
CN113434630B (zh) 客服服务评估方法、装置、终端设备及介质
CN112528646B (zh) 词向量生成方法、终端设备及计算机可读存储介质
CN115357712A (zh) 方面级情感分析方法、装置、电子设备及存储介质
CN115221316A (zh) 知识库处理、模型训练方法、计算机设备及存储介质
US11714960B2 (en) Syntactic analysis apparatus and method for the same
CN117235205A (zh) 命名实体识别方法、装置及计算机可读存储介质
CN113761874A (zh) 事件事实性预测方法、装置、电子设备与存储介质
CN111858881A (zh) 一种海量数据问答系统设计方法、系统、电子设备
CN111126066A (zh) 基于神经网络的中文修辞手法的确定方法和装置
CN117235236B (zh) 对话方法、装置、计算机设备和存储介质
CN116975298B (zh) 一种基于nlp的现代化社会治理调度系统及方法
CN117573956B (zh) 元数据管理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination