CN118013031A - 提示词的确定方法、装置、计算机设备以及存储介质 - Google Patents
提示词的确定方法、装置、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN118013031A CN118013031A CN202311814970.0A CN202311814970A CN118013031A CN 118013031 A CN118013031 A CN 118013031A CN 202311814970 A CN202311814970 A CN 202311814970A CN 118013031 A CN118013031 A CN 118013031A
- Authority
- CN
- China
- Prior art keywords
- determining
- data set
- words
- candidate
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 107
- 238000012795 verification Methods 0.000 claims abstract description 93
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000007477 logistic regression Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012896 Statistical algorithm Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010845 search algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011478 gradient descent method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本申请涉及一种提示词的确定方法、装置、计算机设备以及存储介质。所述方法包括：根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；根据验证数据集确定目标标签词语，并通过目标逻辑分类器对目标标签词语进行筛选，确定目标标签词语；根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；根据训练数据集，通过大语言模型确定语料数据集的目标提示词。上述方案，提高了目标提示词的精确度，能够通过优化提示词使大语言模型自适应到下游任务，从而避免调优大语言模型所有参数，提高了提示词的自主优化效率。
Description
技术领域
本申请涉及自然语言处理技术领域，特别是涉及一种提示词的确定方法、装置、计算机设备以及存储介质。
背景技术
随着大语言模型性能日益提升，大模型在情感分析、文段总结归纳、语言翻译等下游任务中展现出了接近甚至超越人类水平的准确性和熟练程度。在这一背景下，大模型提示词的优化变得至关重要。提示词不仅是人与大语言模型沟通的桥梁，更是引导模型输出高质量内容的关键。所谓大模型提示词，是指在人与大语言模型交互时输入的查询指令，用以引导模型生成符合用户需求的响应。提示词的准确性对于实现高效和精准的模型输出具有决定性影响。一个优质的提示词能够引导模型生成高质量和富有创意的内容，有时甚至决定了特定任务的成功与否。例如，在情感分析中，准确的提示词能够更好地引导大模型理解和分析文本中的情绪色彩，在文段总结中，高质量的提示词有助于引导大模型提取关键信息，生成更凝练的总结。在语言翻译任务中，优质的提示词则能够引导大模型提升翻译的准确性。
随着提示词优化技术在多种任务中发挥着日益重要的作用，该技术的研究对于大型模型快速适应新任务具有重要的实践意义和深远的影响。目前，提示词自主优化的研究尚存空白，亟待深入探索和研究。提示词的本质是离散的词语，难以通过传统的随机梯度下降方法直接对提示词进行优化，且提示词的优化和搜索算法涉及复杂的计算过程，导致计算效率较低。因此，如何提高提示词的自主优化效率，提高提示词的精确度，是需要解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高提示词的自主优化效率，并提高提示词的精确度的提示词的确定方法、装置、计算机设备以及存储介质。
第一方面，本申请提供了一种提示词的确定方法，所述方法包括：
根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器；
根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语；
根据所述目标标签词语对所述语料数据集进行更新，确定更新数据集，并根据所述更新数据集确定训练数据集；
根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词。
在其中一个实施例中，根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词，包括：
根据所述训练数据集确定第一训练集和第二训练集，并通过大语言模型，根据所述第一训练集确定候选提示词；
通过所述大语言模型，根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率；
根据所述提示词准确率从所述候选提示词中确定目标提示词。
在其中一个实施例中，通过大语言模型，根据所述第一训练集确定候选提示词，包括：
通过大语言模型，根据所述第一训练集确定候选词语，以及候选词语的置信度；
根据候选词语的置信度从所述候选词语中确定候选提示词。
在其中一个实施例中，通过所述大语言模型，根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率，包括：
通过所述大语言模型，根据所述候选提示词和所述第二训练集中的输入查询语句确定所述第二训练集的预测标签；
根据所述预测标签和第二训练集的真实标签确定候选提示词的提示词准确率。
在其中一个实施例中，根据所述提示词准确率从所述候选提示词中确定目标提示词，包括：
从所述提示词准确率中确定最大准确率，并确定所述最大准确率是否大于准确率阈值；
若是，则根据所述最大准确率从所述候选提示词中确定目标提示词。
在其中一个实施例中，根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器，包括：
从语料数据集中确定验证数据集，通过大语言模型中的特征提取器，根据所述验证数据集中的输入查询语句确定词嵌入向量；
根据所述词嵌入向量建立逻辑回归分类器，并根据随机梯度优化算法对逻辑回归分类器的权重矩阵和模型偏差进行优化，确定目标逻辑分类器。
在一个实施例中，根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语，包括：
对所述验证数据集进行标签词提取，确定候选标签词语；
通过所述目标逻辑分类器，确定候选标签词语的置信度；
通过统计算法，根据候选标签词语的置信度从候选标签词语中确定目标标签词语。
第二方面，本申请还提供了一种提示词的确定装置，所述装置包括：
逻辑分类器构建模块，用于根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器；
目标标签词语确定模块，用于根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语；
数据集更新模块，用于根据所述目标标签词语对所述语料数据集进行更新，确定更新数据集，并根据所述更新数据集确定训练数据集；
目标提示词确定模块，用于根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器；
根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语；
根据所述目标标签词语对所述语料数据集进行更新，确定更新数据集，并根据所述更新数据集确定训练数据集；
根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器；
根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语；
根据所述目标标签词语对所述语料数据集进行更新，确定更新数据集，并根据所述更新数据集确定训练数据集；
根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词。
上述提示词的确定方法、装置、计算机设备以及存储介质，根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；根据验证数据集确定目标标签词语，并通过目标逻辑分类器对目标标签词语进行筛选，确定目标标签词语；根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；根据训练数据集，通过大语言模型确定语料数据集的目标提示词。上述方案，解决了难以通过传统的随机梯度下降方法直接对提示词进行优化，且提示词的优化和搜索算法涉及复杂的计算过程，导致计算效率较低的问题。从语料数据中确定验证数据集，通过验证数据集构建目标逻辑分类器，通过目标逻辑分类器从候选标签词语中确定目标标签词语，能够提高目标标签词语的可靠性。采用目标标签词语替换语料数据集中的标签数据，确定更新数据集，通过大语言模型，基于更新数据集确定语料数据集的目标提示词，可以提高目标提示词的精确度，从而提高用户的搜索体验，同时，能够通过优化提示词使大语言模型自适应到下游任务，从而避免调优大语言模型所有参数，提高了提示词的自主优化效率。
附图说明
图1为一个实施例中提示词的确定方法的应用环境图；
图2为一个实施例中提示词的确定方法的流程示意图；
图3为另一个实施例中提示词的确定方法的流程示意图；
图4为另一个实施例中提示词的确定方法的流程示意图；
图5为另一个实施例中提示词的确定方法的流程示意图；
图6为一个实施例中提示词的确定装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的提示词的确定方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；根据验证数据集确定目标标签词语，并通过目标逻辑分类器对目标标签词语进行筛选，确定目标标签词语；根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；根据训练数据集，通过大语言模型确定语料数据集的目标提示词，通过通信网络将目标提示词发送至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种提示词的确定方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S210、根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器。
其中，语料数据集中包含的语料数据的数据格式为(x,y)，其中，x表示输入查询语句，y表示输入查询语句对应的标签数据。目标逻辑分类器是指根据验证数据集构建的逻辑回归分类器。验证数据集中包含的预料数据的数据格式和预料数据集中包含的语料数据的数据格式一致。
具体的，从语料数据集中随机抽取部分数据构成验证数据集，根据验证数据集中的输入查询语句建立目标逻辑分类器。
S220、根据验证数据集确定候选标签词语，并通过目标逻辑分类器对候选标签词语进行筛选，确定目标标签词语。
具体的，对验证数据集中的标签数据进行词语提取，根据词语提取结果确定候选标签词语。此时候选标签词语的数量较多，候选标签词语中包含有部分冗余词语，因此需要通过目标逻辑分类器对候选标签词语进行进一步筛选，从候选标签词语中筛选出和语料数据具有强相关性的目标标签词语将候选标签词语输入逻辑分类器，逻辑分类器能够根据候选标签词语和构建逻辑分类器的输入查询语句，确定候选标签词语的置信度，根据候选标签词语的置信度从候选标签词语中确定目标标签词语。
S230、根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集。
具体的，采用目标标签词语替换语料数据集中的标签数据，确定更新数据集，更新数据集中更新后的语料数据的数据格式为从更新数据集中确定部分更新后的语料数据作为训练数据集，且训练数据集和验证数据集不重合。
S240、根据训练数据集，通过大语言模型确定语料数据集的目标提示词。
需要说明的是，训练自然语言模型通常采用半监督方式，首先随机选择输入文本中的一定比例的词汇，并将这些词汇替换为一个特殊的掩码符号，例如"[MASK]"，模型的任务是预测这些被掩码的词汇的真实词语。这种训练方式使得模型不仅学会预测词语的上下文，还能更好地理解词与词之间的关系和文本的整体结构。在推理阶段，将需要预测的词语或语句设置成[MASK]掩码，引导大语言模型推断掩码中的词语或语句。在文本分类问题中，通常在输入查询语句之后添加一句话，用于引导大语言模型对于[MASK]位置词语或语句的推断，例如，情感分类中的使用“The sentiment is[MASK]”，其中，“The sentiment is”称为提示词，可以用xprompt表示，提示词用于引导大语言模型输出，[MASK]掩码占位符用于填充大语言模型推断的标签词语，大语言模型的目标函数如公式(1)所示：
其中，P表示条件概率函数，即大语言模型的目标函数；[MASK]掩码表示占位符；x表示输入查询语句；w表示大语言模型的预测词语。
具体的，将训练数据集输入大语言模型，根据大语言模型的输出结果确定语料数据集的目标提示词。
上述提示词的确定方法中，根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；根据验证数据集确定目标标签词语，并通过目标逻辑分类器对目标标签词语进行筛选，确定目标标签词语；根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；根据训练数据集，通过大语言模型确定语料数据集的目标提示词。上述方案，解决了难以通过传统的随机梯度下降方法直接对提示词进行优化，且提示词的优化和搜索算法涉及复杂的计算过程，导致计算效率较低的问题。从语料数据中确定验证数据集，通过验证数据集构建目标逻辑分类器，通过目标逻辑分类器从候选标签词语中确定目标标签词语，能够提高目标标签词语的可靠性。采用目标标签词语替换语料数据集中的标签数据，确定更新数据集，通过大语言模型，基于更新数据集确定语料数据集的目标提示词，可以提高目标提示词的精确度，从而提高用户的搜索体验，同时，能够通过优化提示词使大语言模型自适应到下游任务，从而避免调优大语言模型所有参数，提高了提示词的自主优化效率。
在一个实施例中，如图3所示，根据训练数据集，通过大语言模型确定语料数据集的目标提示词，包括：
S310、根据训练数据集确定第一训练集和第二训练集，并通过大语言模型，根据第一训练集确定候选提示词。
其中，第一训练集和第二训练集不重合。
具体的，将训练数据集划分为第一训练集和第二训练集，将第一训练集输入大语言模型，通过大语言模型根据第一训练集中的语料数据确定候选提示词。
S320、通过大语言模型，根据候选提示词和第二训练集确定候选提示词的提示词准确率。
具体的，将候选提示词和第二训练集输入大语言模型中，根据大语言模型的输出数据确定候选提示词的提示词准确率。
S330、根据提示词准确率从候选提示词中确定目标提示词。
具体的，从提示词准确率中确定最大的数值作为目标准确率，将目标准确率对应的候选提示词作为目标提示词。
上述方法，提供了一种对离散的提示词进行优化的方法，通过大语言模型根据第一训练集确定候选提示词，通过大语言模型，根据第二训练集确定候选提示词的提示词准确率，根据提示词准确率从候选提示词中确定目标提示词，可以提高目标提示词的可靠性。
在一个实施例中，通过大语言模型，根据第一训练集确定候选提示词，包括：
通过大语言模型，根据第一训练集确定候选词语，以及候选词语的置信度；根据候选词语的置信度从候选词语中确定候选提示词。通过大语言模型基于梯度的提示词搜索算法，根据第一训练集中的语料数据确定候选提示词。
具体的，通过大语言模型，基于梯度的提示词搜索算法确定第一训练集的候选词语，以及候选提示词语的置信度，根据候选词语的置信度从候选词语中确定候选提示词。例如，可以根据候选词语的置信度对候选词语进行排序，确定候选词语的队列，根据候选词语的队列确定置信度较高的s个候选词语为候选提示词，s为正整数，且s可以根据实际情况进行设置。
上述方案，通过大语言模型和第一训练集确定可以作为提示词的候选词语，根据候选词语的置信度从候选词语中确定候选提示词，可以提高候选提示词的可靠性。
在一个实施例中，如图4所示，通过大语言模型，根据候选提示词和第二训练集确定候选提示词的提示词准确率，包括：
S410、通过大语言模型，根据候选提示词和第二训练集中的输入查询语句确定第二训练集的预测标签。
具体的，通过大语言模型，根据候选提示词对第二训练集中输入查询语句的标签数据进行预测，确定根据候选提示词所得到的第二训练集的预测标签。
S420、根据预测标签和第二训练集的真实标签确定候选提示词的提示词准确率。
具体的，根据预测标签和各语料数据的输入查询语句对应的实际标签，确定候选提示词的提示词准确率。例如，可以根据候选提示词对应的预测标签和输入查询语句对应的实际标签，确定候选提示词对应的预测标签的准确率，将候选提示词对应的预测标签的准确率作为提示词准确率。
上述方案，通过大语言模型，根据候选提示词确定第二训练集的预测标签，根据第二训练集的预测标签和第二训练集的真实标签确定候选提示词的提示词准确率，可以在保证提示词准确率精确度的同时，提高提示词准确率的计算效率。
在一个实施例中，根据提示词准确率从候选提示词中确定目标提示词，包括：
从提示词准确率中确定最大准确率，并确定最大准确率是否大于准确率阈值；若是，则根据最大准确率从候选提示词中确定目标提示词。
需要说明的是，候选提示词可能会存在准确率均不高的情况，若候选提示词的提示词准确率均小于或等于准确率阈值，则候选提示词均无法作为目标提示词。此时需要更新验证集，并根据更新后的验证集对目标标签词语进行新一轮的迭代计算，并进一步根据离散优化算法对候选提示词进行新一轮的迭代计算，确定准确率大于准确率阈值的更新后的候选提示词中作为目标提示词。
上述方案，在确定候选提示词的提示词准确率后，根据提示词准确率中的最大准确率和准确率阈值的比较结果确定候选提示词中是否存在目标提示词，若最大准确率大于准确率阈值，则确定最大准确率对应的候选提示词为目标提示词，可以保证目标提示词的提示词准确率满足搜索需求，确保目标提示词的可靠性。
在一个实施例中，如图5所示，根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器，包括：
S510、从语料数据集中确定验证数据集，通过大语言模型中的特征提取器，根据验证数据集中的输入查询语句确定词嵌入向量。
其中，词嵌入向量是自然语言处理中的一种表示技术，它将词语或短语从词汇表映射到向量的实数空间中，这样词义的语义信息就能以数值的形式表达出来。
具体的，从语料数据集中确定验证数据集，词嵌入向量的函数表达式如公式(2)所示：
ex＝ftransformer(x) (2)
其中，ex为词嵌入向量；ftransformer是大语言模型的特征提取器。向特征提取器中输入验证数据集的输入查询语句，根据特征提取器的输出确定词嵌入向量。
S520、根据词嵌入向量建立逻辑回归分类器，并根据随机梯度优化算法对逻辑回归分类器的权重矩阵和模型偏差进行优化，确定目标逻辑分类器。
示例性的，目标逻辑分类器可以基于条件概率对候选标签词语进行筛选。条件概率的函数表达式为：
其中，P表示标签数据y的条件概率；表示[MASK]掩码占位符位置的词嵌入向量；w表示逻辑回归分类器的权重矩阵，γ表示逻辑回归分类器的模型偏差。通过随机梯度优化可以对得到调优后的权重矩阵和模型偏差。
可以理解的是，将验证数据集中的候选标签词语输入逻辑分类器，可以根据逻辑分类器确定候选标签词语对应的条件概率，根据条件概率确定候选标签词语的置信度，以根据候选标签词语的置信度从候选标签词语中确定目标标签词语。
上述方案，通过大语言模型中的特征提取器，根据验证数据集的输入查询语句确定词嵌入向量，根据词嵌入向量构建逻辑回归分类器，并对逻辑回归分类器进行优化确定目标逻辑分类器，提高了目标逻辑分类器的构建效率，且根据目标逻辑分类器对候选标签词语进行筛选确定目标标签词语，可以提高目标标签词语的可靠性。
示例性的，根据验证数据集确定候选标签词语，并通过目标逻辑分类器对候选标签词语进行筛选，确定目标标签词语，包括：
对验证数据集进行标签词提取，确定候选标签词语；通过目标逻辑分类器，确定候选标签词语的置信度；通过统计算法，根据候选标签词语的置信度从候选标签词语中确定目标标签词语。
其中，统计算法可以是top-k算法。
具体的，对验证数据集进行标签词提取，确定候选标签词语。过目标逻辑分类器，确定候选标签词语的置信度，通过top-k算法确定k个置信度较高的候选标签词语为目标标签词语。
上述方案，通过目标逻辑分类器确定候选标签词语的置信度，根据统计算法，挑选出置信度较高的候选标签词语为目标标签词语，可以提高目标标签词语的确定效率以及目标标签词语的可靠性。
示例性的，在上述实施例的基础上，提示词的确定方法包括：
从语料数据集中确定验证数据集，通过大语言模型中的特征提取器，根据验证数据集中的输入查询语句确定词嵌入向量。根据词嵌入向量建立逻辑回归分类器，并根据随机梯度优化算法对逻辑回归分类器的权重矩阵和模型偏差进行优化，确定目标逻辑分类器。
对验证数据集进行标签词提取，确定候选标签词语。过目标逻辑分类器，确定候选标签词语的置信度，通过top-k算法确定k个置信度较高的候选标签词语为目标标签词语。采用目标标签词语替换语料数据集中的标签数据，确定更新数据集，从更新数据集中确定部分更新后的语料数据作为训练数据集，且训练数据集和验证数据集不重合。
根据训练数据集确定第一训练集和第二训练集，通过大语言模型，根据第一训练集确定候选词语，以及候选词语的置信度，根据候选词语的置信度从候选词语中确定候选提示词。通过大语言模型，根据候选提示词对第二训练集中输入查询语句的标签数据进行预测，确定根据候选提示词所得到的第二训练集的预测标签。根据预测标签和各语料数据的输入查询语句对应的实际标签，确定候选提示词的提示词准确率。例如，可以根据候选提示词对应的预测标签和输入查询语句对应的实际标签，确定候选提示词对应的预测标签的准确率，将候选提示词对应的预测标签的准确率作为提示词准确率。
从提示词准确率中确定最大准确率，并确定最大准确率是否大于准确率阈值；若是，则根据最大准确率从候选提示词中确定目标提示词。
需要说明的是，候选提示词可能会存在准确率均不高的情况，若候选提示词的提示词准确率均小于或等于准确率阈值，则候选提示词均无法作为目标提示词。此时需要更新验证集，并根据更新后的验证集对目标标签词语进行新一轮的迭代计算，并进一步根据离散优化算法对候选提示词进行新一轮的迭代计算，确定准确率大于准确率阈值的更新后的候选提示词中作为目标提示词。
从提示词准确率中确定最大准确率，并确定最大准确率是否大于准确率阈值；若是，则根据最大准确率从候选提示词中确定目标提示词。若候选提示词的提示词准确率均小于或等于准确率阈值，则候选提示词均无法作为目标提示词。此时需要更新验证集，并根据更新后的验证集对目标标签词语进行新一轮的迭代计算，并进一步根据离散优化算法对候选提示词进行新一轮的迭代计算，确定准确率大于准确率阈值的更新后的候选提示词中作为目标提示词。
上述提示词的确定方法中，根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；根据验证数据集确定目标标签词语，并通过目标逻辑分类器对目标标签词语进行筛选，确定目标标签词语；根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；根据训练数据集，通过大语言模型确定语料数据集的目标提示词。上述方案，解决了难以通过传统的随机梯度下降方法直接对提示词进行优化，且提示词的优化和搜索算法涉及复杂的计算过程，导致计算效率较低的问题。从语料数据中确定验证数据集，通过验证数据集构建目标逻辑分类器，通过目标逻辑分类器从候选标签词语中确定目标标签词语，能够提高目标标签词语的可靠性。采用目标标签词语替换语料数据集中的标签数据，确定更新数据集，通过大语言模型，基于更新数据集确定语料数据集的目标提示词，可以提高目标提示词的精确度，从而提高用户的搜索体验，同时，能够通过优化提示词使大语言模型自适应到下游任务，从而避免调优大语言模型所有参数，提高了提示词的自主优化效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的提示词的确定方法的提示词的确定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个提示词的确定装置实施例中的具体限定可以参见上文中对于提示词的确定方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种提示词的确定装置，包括：逻辑分类器构建模块601、目标标签词语确定模块602、数据集更新模块603和目标提示词确定模块604，其中：
逻辑分类器构建模块601，用于根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；
目标标签词语确定模块602，用于根据验证数据集确定候选标签词语，并通过目标逻辑分类器对候选标签词语进行筛选，确定目标标签词语；
数据集更新模块603，用于根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；
目标提示词确定模块604，用于根据训练数据集，通过大语言模型确定语料数据集的目标提示词。
示例性的，目标提示词确定模块604具体用于：
根据训练数据集确定第一训练集和第二训练集，并通过大语言模型，根据第一训练集确定候选提示词；
通过大语言模型，根据候选提示词和第二训练集确定候选提示词的提示词准确率；
根据提示词准确率从候选提示词中确定目标提示词。
进一步的，目标提示词确定模块604还具体用于：
通过大语言模型，根据第一训练集确定候选词语，以及候选词语的置信度；
根据候选词语的置信度从候选词语中确定候选提示词。
进一步的，目标提示词确定模块604还具体用于：
通过大语言模型，根据候选提示词和第二训练集中的输入查询语句确定第二训练集的预测标签；
根据预测标签和第二训练集的真实标签确定候选提示词的提示词准确率。
进一步的，目标提示词确定模块604还具体用于：
从提示词准确率中确定最大准确率，并确定最大准确率是否大于准确率阈值；
若是，则根据最大准确率从候选提示词中确定目标提示词。
示例性的，逻辑分类器构建模块601具体用于：
从语料数据集中确定验证数据集，通过大语言模型中的特征提取器，根据验证数据集中的输入查询语句确定词嵌入向量；
根据词嵌入向量建立逻辑回归分类器，并根据随机梯度优化算法对逻辑回归分类器的权重矩阵和模型偏差进行优化，确定目标逻辑分类器。
示例性的，目标标签词语确定模块602具体用于：
对验证数据集进行标签词提取，确定候选标签词语；
通过目标逻辑分类器，确定候选标签词语的置信度；
通过统计算法，根据候选标签词语的置信度从候选标签词语中确定目标标签词语。
上述提示词的确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种提示词的确定方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
步骤一、根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；
步骤二、根据验证数据集确定候选标签词语，并通过目标逻辑分类器对候选标签词语进行筛选，确定目标标签词语；
步骤三、根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；
步骤四、根据训练数据集，通过大语言模型确定语料数据集的目标提示词。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤一、根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；
步骤二、根据验证数据集确定候选标签词语，并通过目标逻辑分类器对候选标签词语进行筛选，确定目标标签词语；
步骤三、根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；
步骤四、根据训练数据集，通过大语言模型确定语料数据集的目标提示词。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
步骤一、根据语料数据集确定验证数据集，根据验证数据集建立目标逻辑分类器；
步骤二、根据验证数据集确定候选标签词语，并通过目标逻辑分类器对候选标签词语进行筛选，确定目标标签词语；
步骤三、根据目标标签词语对语料数据集进行更新，确定更新数据集，并根据更新数据集确定训练数据集；
步骤四、根据训练数据集，通过大语言模型确定语料数据集的目标提示词。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种提示词的确定方法，其特征在于，包括：
根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器；
根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语；
根据所述目标标签词语对所述语料数据集进行更新，确定更新数据集，并根据所述更新数据集确定训练数据集；
根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词。
2.根据权利要求1所述的方法，其特征在于，根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词，包括：
根据所述训练数据集确定第一训练集和第二训练集，并通过大语言模型，根据所述第一训练集确定候选提示词；
通过所述大语言模型，根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率；
根据所述提示词准确率从所述候选提示词中确定目标提示词。
3.根据权利要求2所述的方法，其特征在于，通过大语言模型，根据所述第一训练集确定候选提示词，包括：
通过大语言模型，根据所述第一训练集确定候选词语，以及候选词语的置信度；
根据候选词语的置信度从所述候选词语中确定候选提示词。
4.根据权利要求2所述的方法，其特征在于，通过所述大语言模型，根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率，包括：
通过所述大语言模型，根据所述候选提示词和所述第二训练集中的输入查询语句确定所述第二训练集的预测标签；
根据所述预测标签和第二训练集的真实标签确定候选提示词的提示词准确率。
5.根据权利要求2所述的方法，其特征在于，根据所述提示词准确率从所述候选提示词中确定目标提示词，包括：
从所述提示词准确率中确定最大准确率，并确定所述最大准确率是否大于准确率阈值；
若是，则根据所述最大准确率从所述候选提示词中确定目标提示词。
6.根据权利要求1所述的方法，其特征在于，根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器，包括：
从语料数据集中确定验证数据集，通过大语言模型中的特征提取器，根据所述验证数据集中的输入查询语句确定词嵌入向量；
根据所述词嵌入向量建立逻辑回归分类器，并根据随机梯度优化算法对逻辑回归分类器的权重矩阵和模型偏差进行优化，确定目标逻辑分类器。
7.根据权利要求1所述的方法，其特征在于，根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语，包括：
对所述验证数据集进行标签词提取，确定候选标签词语；
通过所述目标逻辑分类器，确定候选标签词语的置信度；
通过统计算法，根据候选标签词语的置信度从候选标签词语中确定目标标签词语。
8.一种提示词的确定装置，其特征在于，所述提示词的确定装置包括：
逻辑分类器构建模块，用于根据语料数据集确定验证数据集，根据所述验证数据集建立目标逻辑分类器；
目标标签词语确定模块，用于根据所述验证数据集确定候选标签词语，并通过所述目标逻辑分类器对所述候选标签词语进行筛选，确定目标标签词语；
数据集更新模块，用于根据所述目标标签词语对所述语料数据集进行更新，确定更新数据集，并根据所述更新数据集确定训练数据集；
目标提示词确定模块，用于根据所述训练数据集，通过大语言模型确定所述语料数据集的目标提示词。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311814970.0A CN118013031A (zh) | 2023-12-26 | 2023-12-26 | 提示词的确定方法、装置、计算机设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311814970.0A CN118013031A (zh) | 2023-12-26 | 2023-12-26 | 提示词的确定方法、装置、计算机设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118013031A true CN118013031A (zh) | 2024-05-10 |
Family
ID=90949028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311814970.0A Pending CN118013031A (zh) | 2023-12-26 | 2023-12-26 | 提示词的确定方法、装置、计算机设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118013031A (zh) |
-
2023
- 2023-12-26 CN CN202311814970.0A patent/CN118013031A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444320B (zh) | 文本检索方法、装置、计算机设备和存储介质 | |
| US20200279002A1 (en) | Method and system for processing unclear intent query in conversation system | |
| CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
| KR101754473B1 (ko) | 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템 | |
| CN112819023B (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| US11010664B2 (en) | Augmenting neural networks with hierarchical external memory | |
| CN112424768A (zh) | 电子设备及其控制方法 | |
| EP4310695A1 (en) | Data processing method and apparatus, computer device, and storage medium | |
| CN114881035B (zh) | 训练数据的增广方法、装置、设备和存储介质 | |
| CN111400584A (zh) | 联想词的推荐方法、装置、计算机设备和存储介质 | |
| CN111858898A (zh) | 基于人工智能的文本处理方法、装置及电子设备 | |
| CN114841161A (zh) | 事件要素抽取方法、装置、设备、存储介质和程序产品 | |
| CN112101042A (zh) | 文本情绪识别方法、装置、终端设备和存储介质 | |
| CN115409111A (zh) | 命名实体识别模型的训练方法和命名实体识别方法 | |
| CN116992008B (zh) | 知识图谱多跳问答推理方法、装置和计算机设备 | |
| CN117708428A (zh) | 推荐信息预测方法、装置以及电子设备 | |
| CN115129902B (zh) | 媒体数据处理方法、装置、设备及存储介质 | |
| CN115952266A (zh) | 问题生成方法、装置、计算机设备和存储介质 | |
| CN118013031A (zh) | 提示词的确定方法、装置、计算机设备以及存储介质 | |
| CN115129863A (zh) | 意图识别方法、装置、设备、存储介质和计算机程序产品 | |
| CN117009534B (zh) | 文本分类方法、装置、计算机设备以及存储介质 | |
| CN116992875B (zh) | 文本生成方法、装置、计算机设备和存储介质 | |
| CN114490996B (zh) | 意图识别方法、装置、计算机设备和存储介质 | |
| US11995403B2 (en) | Teaching a machine classifier to recognize a new class | |
| CN117010334A (zh) | 文本信息生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |