CN116484879A - 提示信息的生成方法、装置、电子设备及存储介质 - Google Patents

提示信息的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116484879A
CN116484879A CN202310365885.4A CN202310365885A CN116484879A CN 116484879 A CN116484879 A CN 116484879A CN 202310365885 A CN202310365885 A CN 202310365885A CN 116484879 A CN116484879 A CN 116484879A
Authority
CN
China
Prior art keywords
prompt
sequence
continuous
hint
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310365885.4A
Other languages
English (en)
Inventor
彭宇
孙鹏飞
李志飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mobvoi Information Technology Co ltd
Original Assignee
Shanghai Mobvoi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mobvoi Information Technology Co ltd filed Critical Shanghai Mobvoi Information Technology Co ltd
Priority to CN202310365885.4A priority Critical patent/CN116484879A/zh
Publication of CN116484879A publication Critical patent/CN116484879A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种提示信息的生成方法包括：根据控制语言模型的任务指令和提示模板，构建包含多个伪提示标记的连续提示序列；利用语言模型对连续提示序列进行处理，以生成与任务指令相匹配的预测文本；以及响应于预测文本的性能分值超过期望值的评测结果，以连续提示序列作为提示模板，构建目标提示信息。本公开还提供一种提示信息的生成装置、电子设备及存储介质。

Description

提示信息的生成方法、装置、电子设备及存储介质
技术领域
本公开涉及机器学习技术领域，尤其涉及一种提示信息的生成方法、装置、电子设备及存储介质。
背景技术
GPT-3(Generative Pre-trained Transformer 3，生成式预训练变换器)模型具有强大的In-Context(联系文本)学习能力，具有较强的语言理解和生成能力，被广泛应用于各种应用场景。Prompt(提示信息)工程是使用GPT-3等预训练语言模型来生成自然语言文本的应用技术。在Prompt工程中，需要涉及合适的Prompt，以指导预训练语言模型生成与特定任务相关的自然语言文本，例如文章、对话、摘要和翻译等，以使得预训练语言模型最大化地与用户需求相结合。
目前，相关技术主要是通过人工离散的方式设计Prompt，所生成的Prompt缺乏科学有效的数据支撑，并且难以确定Prompt对预训练语言模型的激发效果，不便于激发预训练语言模型的潜力。另外，人工设计Prompt还具有较高的人力成本和较低的设计效率。
发明内容
为了解决上述技术问题中的至少一个，本公开提供了一种提示信息的生成方法、装置、电子设备及存储介质。
本公开的一个方面提供了一种提示信息的生成方法，包括：根据控制语言模型的任务指令和提示模板，构建包含多个伪提示标记的连续提示序列；利用所述语言模型对所述连续提示序列进行处理，以生成与所述任务指令相匹配的预测文本；以及响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息。
在一些实施方式中，所述根据控制语言模型的任务指令和提示模板，控制提示生成网络构建包含多个伪提示标记的连续提示序列，包括：根据任务指令，在所述提示模板的多个提示标记上挑选至少一个伪提示标记，以构成包括多个伪提示标记的离散提示序列；以及将所述离散提示序列进行嵌入处理，获得包含多个伪提示标记的连续提示序列。
在一些实施方式中，在所述以所述连续提示序列作为所述提示模板，构建目标提示信息之前，包括：利用所述语言模型对同一所述连续提示序列进行多次处理，以生成与所述任务指令相匹配的多个预测文本，其中各个所述预测文本之间的相似度小于差异阈值。
在一些实施方式中，在所述生成与所述任务指令相匹配的多个预测文本之后，包括：求取多个所述预测文本的文本字数均值和文本生成时间均值；以及构建包括所述任务指令、所述连续提示序列、任一所述预测文本、所述文本字数均值和所述文本生成时间均值的预测数据。
在一些实施方式中，在构建所述预测数据之后，包括：对所述预测数据和所述对照数据分别进行评测，以获得所述预测数据所对应的性能分值和所述对照数据所对应的性能分值，其中所述预测数据和所述对照数据具有相同的任务指令。
在一些实施方式中，所述响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息，包括：以所述对照数据所对应的性能分值作为所述期望值，当所述预测文本的性能分值超过期望值的评测结果时，将所述连续提示序列作为所述提示模板，对构建所述连续提示序列的提示系统进行反馈，直至使所述提示系统所构建的连续提示序列优化为所述目标提示信息。
在一些实施方式中，在所述响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息之后，包括：将所述目标提示信息输入至所述语言模型中，以使所述语言模型输出目标文本，其中所述目标文本的性能分值为分值上限。
本公开的又一个方面提供了一种提示信息的生成装置，包括：连续提示序列生成模块，用于根据控制语言模型的任务指令和提示模板，构建包含多个伪提示标记的连续提示序列；预测文本获取模块，用于利用所述语言模型对所述连续提示序列进行处理，以生成与所述任务指令相匹配的预测文本；以及优化模块，用于响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息。
本公开的另一个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现如上述任一实施方式所述的提示信息的生成方法。
本公开的再一个方面提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上述任一实施方式所述的提示信息的生成方法。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1为根据本公开示例性实施方式的提示信息的生成方法流程图；
图2为根据本公开示例性实施方式的提示信息的生成方法架构图；
图3为根据本公开示例性实施方式的P-tuning的网络架构图；
图4为根据本公开示例性实施方式的提示信息的生成装置框图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
本文使用的术语是为了描述具体实施例的目的，而不是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
图1为根据本公开示例性实施方式的提示信息的生成方法流程图；图2为根据本公开示例性实施方式的提示信息的生成方法架构图。下面结合图1至图2对本公开的提示信息的生成方法S100进行详细描述。
步骤S102，根据控制语言模型的任务指令和提示模板，构建包含多个伪提示标记的连续提示序列。
语言模型主要指具有学习能力的PLM(Pre-trained Language Model，预训练语言模型)，例如GPT-3(Generative Pre-trained Transformer 3)模型等。PLM是拥有强大的In-Context(联系文本)学习能力的LLM(Large Language Model，大型语言模型)，其通过深度学习技术，利用大量的句子、文本和词汇预测下一个单词或者一句话。PLM可以自动生成文本，并模仿不同的文本风格，例如新闻、诗歌和小说等。
任务指令是用于表征用户需求的指令，用户通过任务指令向语言模型确认写作方向，以控制语言模型输出符合用户需求的预测文本。
提示模板用于表征任务类型的文本，其以完形填空或者提问的形式表达用户的任务指令，以引导语言模型生成符合用户期望的预测文本。不同的任务类型需要匹配不同的提示模板，提示模板随着输入的文本的完善程度进行优化。
连续提示序列是对提示模板进行字段切割和处理之后的连续的字段序列，该序列中的每个字段记为一个提示标记，一个提示模板可以分割出多个提示标记，提示标记是提示模板中的最小单位，可为一个单词、一个字符或者一个词语。在对提示模板进行字段切割处理时，会将提示模板中的任一字段设置为伪提示标记，或者增设提示模板中本来没有的提示标记作为伪提示标记，伪提示标记会随着模板的优化而进行更新。
步骤S104，利用语言模型对连续提示序列进行处理，以生成与任务指令相匹配的预测文本。
连续提示序列传递到语言模型中，由语言模型的多个编码器层对该序列进行处理和编码。在GPT-3模型中，编码器层和生成连续提示序列的嵌入层共同构成了语言模型的前向传播过程。
预测文本是根据连续提示序列的引导而生成的与任务指令相匹配的结果。根据预测文本的预测情况，找到更好的提示信息，无需对语言模型进行调整，即可获得更多的知识，生成贴近需求的预测文本。
步骤S106，响应于预测文本的性能分值超过期望值的评测结果，以连续提示序列作为提示模板，构建目标提示信息。
性能分值用于表征预测文本与任务指令之间的匹配程度，若性能分值越高，则证明二者匹配程度约高，反之则越低。期望值是指预测文本与任务指令之间匹配程度的能容忍的下限值，也就是说，性能分值超过期望值时，预测文本才能够响应任务指令，实现用户的需求。
性能分值超过期望值的预测文本所对应的连续提示序列可以激发语言模型的分析潜能，因此，以该连续提示序列作为下一次连续提示序列的输入文本(即提示模板)，通过对该提示模板的调整和优化，生成新的连续提示序列，那么新的连续提示序列比前一次的连续提示序列更优化，其能够进一步地激发语言模型的潜能。通过多次对输入文本的迭代优化，可以逐渐逼近语言模型分析潜能的边界。当预测文本的性能分值达到分值上限时，那么该预测文本所对应的连续提示序列即为目标提示信息。
当然，目标提示信息也不局限于性能分值达到分值上限的情况，根据用户的需求精度，每一次迭代优化所获得的连续提示序列都可作为目标提示信息。
在一些实施方式中，步骤S102包括：根据任务指令，在提示模板的多个提示标记上挑选至少一个伪提示标记，以构成包括多个伪提示标记的离散提示序列；以及将离散提示序列进行嵌入处理，获得包含多个伪提示标记的连续提示序列。
具体地，连续提示序列就是语言模型的输入文本，它用于指导语言模型生成匹配任务指令的预测文本。换言之，连续提示序列告诉语言模型需要生成什么样的文本，以便语言模型能够理解任务和上下文。
更具体地，可以从在语库中抓取文章，并从中提取一些句子作为文本，然后根据任务指令制定问题，要求语言模型填写空白处的答案，或者根据问题预测答案。例如，提示模板可以是“输入：根据下面的文本和问题，填写正确的答案。文本：据说这个城市有着丰富的历史和文化。问题：这个城市以什么闻名？”；对上述提示模板进行向量处理和嵌入处理之后，将获得连续提示序列输入至语言模型中，语言模型可产生以下预测文本“输出：历史和文化”。又例如，提示模板可以是“输入：根据下面的文本和问题，填写正确的答案。文本：这部电影太棒了！我喜欢它的剧情和演员的表现。问题：你喜欢这部电影的什么？”；对上述提示模板进行向量处理和嵌入处理之后，将获得连续提示序列输入至语言模型中，语言模型可产生以下预测文本“输出：剧情和演员的表现”。
当然，针对已经训练好的语言模型，例如GPT-3等生成式语言模型，提示信息还需要确定任务类型和需求(如自然语言文本生成任务)，由用户确认协作方向。例如，以“产品名称是智能机器人，特点是家务助手、安全管家，请根据产品名称生成一句广告标语”，那么对上述模板进行向量处理和嵌入处理之后，将获得连续提示序列输入至语言模型中，语言模型可产生以下预测文本“输出：拥有智能机器人，家务就像拥有一位忠实家务助手！”。
基于前述，构建连续提示序列是引导语言模型获得预测文本的基础。本公开采用P-tuning(Prompt tuning，提示微调)方式构建Prompt(提示信息，也即构建连续提示序列)，设V为语言模型的词汇表，提示模板T＝{,P0:i-,x,[Pi+1：m],y}，其中,P0:i-表示模板T中的第0个提示标记至第i个提示标记，x表示任务指令中的场景文本，[Pi+1：m]表示模板T中的第i+1个提示标记至第m个提示标记，y表示需要语言模型输出的预测文本。
传统的处理方法是将提示模板进行向量化表示，获得离散向量表示序列e(T)＝{e(,P0:i-),e(x),e([Pi+1：m]),e(y)}。其中，Pi所用的词语是语言模型的词汇表V中的词语。
与之相对应的P-tuning方式则将任务指令中的场景文本和预先设计的离散模板进行融合，生成提示模板：“The capital of Britain is[MASK]”；对输入的提示模板进行字段切割，可以将其切割为一个单词、一个字符或者一个词语等；并将各个字段作为提示标记(token)，在多个提示标记中挑选一个或者多个提示标记，并设置为伪提示标记，例如：“[pseudo]capital of Britain[pseudo][MASK]”，其中[pseudo]为伪提示标记的符号表示；那么该提示模板经过离散和伪提示标记处理之后，获得离散提示序列。
进一步地，直接使用原本的token embedding(提示标记嵌入)技术将离散提示序列中的每个字段转换为一个向量表示，以便计算机对其进行处理。使用token embedding技术，可以将离散提示序列转换为固定维度的向量表示，从而将其输入到神经网络进行嵌入处理。这样做可以有效地减少特征维度，并且能够捕捉到离散提示序列中的语义信息，提高语言模型的性能和泛化能力。具体地，将离散提示序列输入到神经网络的embedding层，对所有的伪提示标记传入LSTM(Long Short-term Memory，双向长-短期记忆网络)层，LSTM是一种特殊类型的循环神经网络，用于处理和预测序列数据。将LSTM层的输出结果传入MLP(Multilayer Perceptron，多层感知机)，其中MLP是一种前馈神经网络模型，由多个神经元按照层次结构排列而成，每个神经元都包含一个激活函数，用于将输入的信号转换为输出。神经元之间的连接可以有权重，这些权重可以在训练过程中通过反向传播算法来更新，以最小化训练数据的损失函数。单隐藏层MLP指的是一个仅包含一个输入层、一个隐藏层和一个输出层的MLP，这个MLP中给的激活函数用的是ReLU(Rectified Linear Units，线性修正单元)。
基于前述，离散提示序列经过embedding的嵌入处理，可映射为连续提示序列h(T)＝{h0,……,hi,e(x),hi+1,……,hm,e(y)}，其中i的取值[0,m)，m为提示标记的总数。经过两个神经网络之后，获得每个提示标记的隐状态向量其中，hi为可训练的嵌入张量。连续提示序列为超出语言模型的词汇表V的一个表达效果更好的连续的提示信息。最终，可利用下游损失函数L对隐状态向量hi进行优化。优化后的隐状态向量
显而易见地，由于LSTM层可以通过损失函数对连续提示序列进行优化，避免了人工构建离散的提示信息的繁琐过程，同时通过迭代提升了提示信息对语言模型的潜能激发。
参考图3，以“The capital of Britain is[MASK]”为提示模板，将包含伪提示标记(Pseudo Prompts)的离散提示序列,P0-,…,,Pi],,Pi+1],…,,Pm]输入至Prompt Encoder(提示编码器)中，通过编码等处理，将获得连续提示序列h0,…,hi,e(capital),hi+1,…,hm,e([MASK])；将前述连续提示序列作为Input embedding(嵌入层输出)输入至Pre-trainedLanguage Model(预训练语言模型)中，例如GPT、BERT等；进一步地，利用预训练语言模型对[MASK]的预测文本进行back propagation(反向传播)，以对提示编码器进行优化。
在一些实施方式中，还可采集人工设计的提示信息，用于对P-tuning做出的连续提示序列做对照数据。人工设计的提示信息符合提示信息设计规则，具有相关、简洁、清晰、具体和聚焦等特点，因此可以用于评价P-tuning所获得的连续提示序列的至少前述五个维度的性能。例如，完型填空任务是用英文说英国的首都London，为了增强相关性，可以用英文表示提示信息“Where is the capital of Britain in English？”；为了增强简洁性，可以对提示信息设计为“The capital of Britain is[MASK]”。
在一些实施方式中，在步骤S106之前，包括：利用语言模型对同一连续提示序列进行多次处理，以生成与任务指令相匹配的多个预测文本，其中各个预测文本之间的相似度小于差异阈值。
具体地，将同一连续提示序列多次输入至语言模型中，获得多个预测文本，并且筛选出与任务指令相匹配的相似性大于或等于90％(即差异阈值)的多个预测文本。利用这些预测文本构建P-tuning的数据集，数据集中的每条数据均保留有任务指令、连续提示序列、预测文本、文本字数和文本生成时间。
在一些实施方式中，在生成与任务指令相匹配的多个预测文本之后，包括：求取多个预测文本的文本字数均值和文本生成时间均值；以及构建包括任务指令、连续提示序列、任一预测文本、文本字数均值和文本生成时间均值的预测数据。
在一些实施方式中，在步骤S106之前，还可包括：利用语言模型对同一人工提示信息进行多次处理生成与任务指令相匹配的多个人工预测文本作为规则设计的结果，其中各个人工预测文本之间的相似度小于差异阈值。
进一步地，利用多个人工预测文本构建人工涉及的数据集，数据集中的每条数据均保留有任务指令、连续提示序列、预测文本、文本字数和文本生成时间。
更进一步地，求取多个预测文本的文本字数均值和文本生成时间均值；以及构建包括任务指令、连续提示序列、任一预测文本、文本字数均值和文本生成时间均值的对照数据。
在一些实施方式中，在构建预测数据之后，包括：对预测数据和对照数据分别进行评测，以获得预测数据所对应的性能分值和对照数据所对应的性能分值，其中预测数据和对照数据具有相同的任务指令。
具体地，将预测数据和多找数据进行杂糅，对分别提取任一数据，对其字数长度、生成时间、关键词信息、表达多样性、表达方向满意度和语句通顺程度等多个维度进行评估，对评测效果更好的预测文本所对应的提示信息进行分值加权，并备注优于另一文本的原因。在对两个数据进行多维度评测之后，将性能分值最高的预测文本所对应的提示信息反馈给P-tuning作为下一次提示模板的输入，以通过迭代获得更能够激发语言模型潜能的提示信息。
在一些实施方式中，步骤S106的具体执行过程包括：以对照数据所对应的性能分值作为期望值，当预测文本的性能分值超过期望值的评测结果时，将连续提示序列作为提示模板，对构建连续提示序列的提示系统进行反馈，直至使提示系统所构建的连续提示序列优化为目标提示信息。
在一些实施方式中，在步骤S106之后，包括：将目标提示信息输入至语言模型中，以使语言模型输出目标文本，其中目标文本的性能分值为分值上限。
根据本公开的一种提示信息的生成方法，利用微调系统所生成提示信息作为语言模型的输入，以引导语言模型生成预测文本；通过对预测文本的评价，为提示信息进行性能评估，进而将评估结果符合要求的提示信息反馈至微调系统，以通过对提示信息的优化激发语言模型的分析潜能，避免对语言模型的调整，降低了对语言模型的优化成本；并且，为提示信息的性能提供了有效地评估手段，同时还提升了对提示信息优化的便利程度和生成效率，避免了人工生成提示信息的成本。
图4为根据本公开示例性实施方式的提示信息的生成装置框图。如图4所示，本公开提出了一种提示信息的生成装置1000，包括：连续提示序列生成模块1002，用于根据控制语言模型的任务指令和提示模板，构建包含多个伪提示标记的连续提示序列；预测文本获取模块1004，用于利用语言模型对连续提示序列进行处理，以生成与任务指令相匹配的预测文本；优化模块1006，用于响应于预测文本的性能分值超过期望值的评测结果，以连续提示序列作为提示模板，构建目标提示信息。
提示信息的生成装置1000的各个模块是为了实现提示信息的生成方法的各个步骤而设置的，其原理和生成过程可参考前述，在此不再赘述。
该装置1000可以包括执行上述流程图中各个或几个步骤的相应单元。因此，可以由相应单元执行上述流程图中的每个步骤或者几个步骤，并且该装置1000可以包括这些单元中的一个或者多个单元。单元可以是专门被配置为执行相应步骤的一个或者多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或存储在计算机可读存储介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以总线架构来实现。总线架构可以包括任何数量的互连总线和桥联器，这取决于硬件的特定应用和总线设计约束。总线1100将包括一个或者多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路1400连接。
总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互联(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
根据本公开的一种提示信息的生成装置，利用微调系统所生成提示信息作为语言模型的输入，以引导语言模型生成预测文本；通过对预测文本的评价，为提示信息进行性能评估，进而将评估结果符合要求的提示信息反馈至微调系统，以通过对提示信息的优化激发语言模型的分析潜能，避免对语言模型的调整，降低了对语言模型的优化成本；并且，为提示信息的性能提供了有效地评估手段，同时还提升了对提示信息优化的便利程度和生成效率，避免了人工生成提示信息的成本。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种提示信息的生成方法，其特征在于，包括：
根据控制语言模型的任务指令和提示模板，构建包含多个伪提示标记的连续提示序列；
利用所述语言模型对所述连续提示序列进行处理，以生成与所述任务指令相匹配的预测文本；以及
响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息。
2.根据权利要求1所述的提示信息的生成方法，其特征在于，所述根据控制语言模型的任务指令和提示模板，控制提示生成网络构建包含多个伪提示标记的连续提示序列，包括：
根据任务指令，在所述提示模板的多个提示标记上挑选至少一个伪提示标记，以构成包括多个伪提示标记的离散提示序列；以及
将所述离散提示序列进行嵌入处理，获得包含多个伪提示标记的连续提示序列。
3.根据权利要求1所述的提示信息的生成方法，其特征在于，在所述以所述连续提示序列作为所述提示模板，构建目标提示信息之前，包括：
利用所述语言模型对同一所述连续提示序列进行多次处理，以生成与所述任务指令相匹配的多个预测文本，其中各个所述预测文本之间的相似度小于差异阈值。
4.根据权利要求3所述的提示信息的生成方法，其特征在于，在所述生成与所述任务指令相匹配的多个预测文本之后，包括：
求取多个所述预测文本的文本字数均值和文本生成时间均值；以及构建包括所述任务指令、所述连续提示序列、任一所述预测文本、所述文本字数均值和所述文本生成时间均值的预测数据。
5.根据权利要求4所述的提示信息的生成方法，其特征在于，在构建所述预测数据之后，包括：
对所述预测数据和所述对照数据分别进行评测，以获得所述预测数据所对应的性能分值和所述对照数据所对应的性能分值，其中所述预测数据和所述对照数据具有相同的任务指令。
6.根据权利要求5所述的提示信息的生成方法，其特征在于，所述响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息，包括：
以所述对照数据所对应的性能分值作为所述期望值，当所述预测文本的性能分值超过期望值的评测结果时，将所述连续提示序列作为所述提示模板，对构建所述连续提示序列的提示系统进行反馈，直至使所述提示系统所构建的连续提示序列优化为所述目标提示信息。
7.根据权利要求1所述的提示信息的生成方法，其特征在于，在所述响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息之后，包括：
将所述目标提示信息输入至所述语言模型中，以使所述语言模型输出目标文本，其中所述目标文本的性能分值为分值上限。
8.一种提示信息的生成装置，其特征在于，包括：
连续提示序列生成模块，用于根据控制语言模型的任务指令和提示模板，构建包含多个伪提示标记的连续提示序列；
预测文本获取模块，用于利用所述语言模型对所述连续提示序列进行处理，以生成与所述任务指令相匹配的预测文本；以及
优化模块，用于响应于所述预测文本的性能分值超过期望值的评测结果，以所述连续提示序列作为所述提示模板，构建目标提示信息。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现如权利要求1至7中任一项所述的提示信息的生成方法。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1至7中任一项所述的提示信息的生成方法。
CN202310365885.4A 2023-04-04 2023-04-04 提示信息的生成方法、装置、电子设备及存储介质 Pending CN116484879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310365885.4A CN116484879A (zh) 2023-04-04 2023-04-04 提示信息的生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310365885.4A CN116484879A (zh) 2023-04-04 2023-04-04 提示信息的生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116484879A true CN116484879A (zh) 2023-07-25

Family

ID=87214759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310365885.4A Pending CN116484879A (zh) 2023-04-04 2023-04-04 提示信息的生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116484879A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894089A (zh) * 2023-08-11 2023-10-17 腾讯科技（深圳）有限公司 摘要生成方法、装置、设备、存储介质及产品
CN117034921A (zh) * 2023-07-26 2023-11-10 中国海洋大学 一种基于用户数据的提示学习训练方法、装置和介质
CN117133397A (zh) * 2023-10-27 2023-11-28 广州国家实验室 电子病历数据增强方法、系统、电子设备和存储介质
CN117216220A (zh) * 2023-09-25 2023-12-12 福建实达集团股份有限公司 一种大语言模型的使用方法及装置
CN117540012A (zh) * 2024-01-04 2024-02-09 阿里云计算有限公司 文本生成方法以及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117034921A (zh) * 2023-07-26 2023-11-10 中国海洋大学 一种基于用户数据的提示学习训练方法、装置和介质
CN117034921B (zh) * 2023-07-26 2024-04-05 中国海洋大学 一种基于用户数据的提示学习训练方法、装置和介质
CN116894089A (zh) * 2023-08-11 2023-10-17 腾讯科技（深圳）有限公司 摘要生成方法、装置、设备、存储介质及产品
CN116894089B (zh) * 2023-08-11 2023-12-15 腾讯科技（深圳）有限公司 摘要生成方法、装置、设备、存储介质及产品
CN117216220A (zh) * 2023-09-25 2023-12-12 福建实达集团股份有限公司 一种大语言模型的使用方法及装置
CN117216220B (zh) * 2023-09-25 2024-06-07 福建实达集团股份有限公司 一种大语言模型的使用方法及装置
CN117133397A (zh) * 2023-10-27 2023-11-28 广州国家实验室 电子病历数据增强方法、系统、电子设备和存储介质
CN117133397B (zh) * 2023-10-27 2024-02-20 广州国家实验室 电子病历数据增强方法、系统、电子设备和存储介质
CN117540012A (zh) * 2024-01-04 2024-02-09 阿里云计算有限公司 文本生成方法以及系统
CN117540012B (zh) * 2024-01-04 2024-04-30 阿里云计算有限公司 文本生成方法以及系统

Similar Documents

Publication Publication Date Title
CN110413746B (zh) 对用户问题进行意图识别的方法及装置
US20210390271A1 (en) Neural machine translation systems
CN116484879A (zh) 提示信息的生成方法、装置、电子设备及存储介质
US11972365B2 (en) Question responding apparatus, question responding method and program
CN111708882B (zh) 基于Transformer的中文文本信息缺失的补全方法
CN110782870A (zh) 语音合成方法、装置、电子设备及存储介质
CN110796160B (zh) 一种文本分类方法、装置和存储介质
CN110807332A (zh) 语义理解模型的训练方法、语义处理方法、装置及存储介质
CN110489555A (zh) 一种结合类词信息的语言模型预训练方法
US11954435B2 (en) Text generation apparatus, text generation learning apparatus, text generation method, text generation learning method and program
CN112115687B (zh) 一种结合知识库中的三元组和实体类型的生成问题方法
CN107357775A (zh) 基于人工智能的循环神经网络的文本纠错方法及装置
CN110196913A (zh) 基于文本生成式的多实体关系联合抽取方法和装置
CN114090780B (zh) 一种基于提示学习的快速图片分类方法
CN112214591B (zh) 一种对话预测的方法及装置
US11475220B2 (en) Predicting joint intent-slot structure
CN111368531B (zh) 翻译文本处理方法、装置、计算机设备和存储介质
CN110210035B (zh) 序列标注方法、装置及序列标注模型的训练方法
CN118043885A (zh) 用于半监督语音识别的对比孪生网络
KR20210044559A (ko) 출력 토큰 결정 방법 및 장치
CN113761883A (zh) 一种文本信息识别方法、装置、电子设备及存储介质
CN117980915A (zh) 用于端到端自监督预训练的对比学习和掩蔽建模
CN114298031A (zh) 文本处理方法、计算机设备及存储介质
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
US20230130902A1 (en) Text generation apparatus, text generation learning apparatus, text generation method, text generation learning method and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination