CN114238629A - 一种基于自动提示推荐的语言处理方法、装置及终端 - Google Patents
一种基于自动提示推荐的语言处理方法、装置及终端 Download PDFInfo
- Publication number
- CN114238629A CN114238629A CN202111429355.9A CN202111429355A CN114238629A CN 114238629 A CN114238629 A CN 114238629A CN 202111429355 A CN202111429355 A CN 202111429355A CN 114238629 A CN114238629 A CN 114238629A
- Authority
- CN
- China
- Prior art keywords
- text
- processed
- prompt
- target
- language processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于自动提示推荐的语言处理方法、装置及终端，方法包括：获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。本发明可以提升预训练语言模型处理下游任务时的精度。
Description
技术领域
本发明涉及自然语言处理技术领域，特别涉及一种基于自动提示推荐的语言处理方法、装置及终端。
背景技术
在自然语言处理领域，基于大规模数据训练的超大规模预训练语言模型如GPT-3、PenGuin-α，具有强大的零样本学习和小样本学习能力。但是，由于这些模型是基于大规模数据训练得到的，虽然可以适用于多种下游任务，但是对于特定领域或类型的处理任务，需要进行微调后才能取得更高的准确性，而受限于这类模型百亿级甚至千亿级的巨大参数量，普通单机硬件资源无法支撑如此巨大参数规模模型的训练和推理，传统的预训练加微调的应用模式很难应用于这类模型，导致这种预训练语言模型在处理下游任务时的精度不高。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于自动提示推荐的语言处理方法、装置及终端，旨在解决现有技术中预训练语言模型在处理下游任务时精度不高的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种基于自动提示推荐的语言处理方法，所述方法包括：
获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；
将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。
所述的基于自动提示推荐的语言处理方法，其中，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本，包括：
根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型；
根据所述目标语言处理任务类型在多个提示文本库中确定目标提示文本库，其中，每个所述提示文本库中包括多个提示文本；
在所述目标提示文本库中选取提示文本作为所述目标提示文本。
所述的基于自动提示推荐的语言处理方法，其中，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本之前，包括：
获取多个样本待处理文本和每个所述样本待处理文本对应的结果，将每个样本待处理文本和对应的结果组合，得到一个所述提示文本；
对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型；
根据每个所述样本待处理文本对应的所述预设语言处理任务类型将每个所述提示文本归入对应的所述提示文本库。
所述的基于自动提示推荐的语言处理方法，其中，所述对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型，包括：
根据每个所述样本待处理文本对中包括的问句对每个所述样本待处理文本进行粗分类；
对粗分类后属于同一类的所述样本待处理文本进行聚类处理，根据聚类后每一类中的所述样本待处理文本的数据共性确定各个所述预设语言处理任务类型。
所述的基于自动提示推荐的语言处理方法，其中，所述根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型，包括：
分别计算所述待处理文本与各个所述提示文本之间的文字相似度；
将所述待处理文本输入至预先训练的分类器，获取所述分类器输出的预测类型以及所述预测类型对应的概率；
根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型。
所述的基于自动提示推荐的语言处理方法，其中，所述根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型，包括：
若中间提示文本与所述待处理文本之间的文字相似度高于第一预设阈值，则确定所述中间提示文本对应的所述预设语言处理任务类型作为所述目标语言处理任务类型，其中，所述中间提示文本是与所述待处理文本之间的文字相似度最高的所述提示文本；
若所述中间提示文本与所述待处理文本之间的文字相似度低于所述第一预设阈值，则确定所述分类器输出的所述预测类型对应的概率是否高于第二预设阈值，若是，则确定所述预测类型为所述目标语言处理任务类型；
若否，则确定所述目标语言处理任务类型为其他类型；
所述的基于自动提示推荐的语言处理方法，其中，所述在所述目标提示文本库中选取提示文本作为所述目标提示文本，包括：
在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本；
根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本。
所述的基于自动提示推荐的语言处理方法，其中，所述采样方式包括随机采样、相似度采样和相关性采样；所述在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本，包括：
当采用随机采样方式进行采样时，在所述目标提示文本库中随机选取提示文本作为随机采样方式对应的提示文本；
当采用相似度采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本的编辑距离最小的提示文本作为相似度采样方式对应的提示文本；
当采用相关性采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本进行拼接后整体的困惑度最优的提示文本作为所述相关性采样方式对应的提示文本。
所述的基于自动提示推荐的语言处理方法，其中，所述根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本，包括：
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离小于第三预设阈值，则将相似度采样方式对应的提示文本作为所述目标提示文本；
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离大于所述第三预设阈值，则确定采用相关性采样方式采样得到的提示文本与所述待处理文本拼接后的困惑度是否优于第四预设阈值，若是，则将相关性采样方式对应的提示文本作为所述目标提示文本；
若否，则将随机采样方式对应的提示文本作为所述目标提示文本。
所述的基于自动提示推荐的语言处理方法，其中，所述将所述待处理文本和所述目标提示文本进行组合，包括：
根据所述目标提示文本获取目标模板；
按照所述目标模板将所述待处理文本和所述目标提示文本进行组合。
本发明的第二方面，提供一种基于自动提示推荐的语言处理装置，包括：
目标提示文本获取模块，所述目标提示文本获取模块用于获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；
组合模块，所述组合模块用于将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的基于自动提示推荐的语言处理方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于自动提示推荐的语言处理方法的步骤。
与现有技术相比，本发明提供了一种基于自动提示推荐的语言处理方法、装置及终端，所述的基于自动提示推荐的语言处理方法，在获取待处理文本后，根据待处理文本确定与待处理文本对应的目标提示文本，将待处理文本和目标提示文本进行组合，形成新的输入文本后输入预训练语言模型中，获取预训练语言模型输出的目标结果作为待处理文本对应的结果，由于目标提示文本中包括样本待处理文本和样本待处理文本对应的结果，因此，待处理文本和目标提示文本组合得到的输入文本可以引导预训练语言模型输出更好的结果，提升预训练语言模型处理下游任务时的精度。
附图说明
图1为本发明提供的基于自动提示推荐的语言处理方法的实施例的流程图；
图2为本发明提供的基于自动提示推荐的语言处理方法的实施例的整体框架图；
图3为本发明提供的基于自动提示推荐的语言处理方法的实施例中确定待处理文本对应的预设语言处理任务类型的示意图；
图4为本发明提供的基于自动提示推荐的语言处理方法的实施例中目标模板的示意图；
图5为本发明提供的基于自动提示推荐的语言处理方法的实施例中采样目标提示文本的示意图；
图6为本发明提供的基于自动提示推荐的语言处理装置的实施例的结构原理图；
图7为本发明提供的终端的实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的基于自动提示推荐的语言处理方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的基于自动提示推荐的语言处理方法对待处理文本进行处理，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
实施例一
如图1所示，所述基于自动提示推荐的语言处理方法的一个实施例中，包括步骤：
S100、获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本包括样本待处理文本和样本待处理文本对应的结果。
所述待处理文本是语言处理任务的输入，语言处理任务的目的是获取所述待处理文本对应的结果，例如，当语言处理任务为问答时，所述待处理文本可以是一个问句，任务的目的是生成一个符合该问句的回答，该回答即为所述待处理文本对应的结果。基于规模数据预训练的语言处理模型可以执行多种语言处理任务，但是准确度不佳，在本实施例提供的基于自动提示推荐的语言处理方法中，为了提升预训练语言处理模型输出的结果的准确性，如图2所示，先获取所述待处理文本对应的目标提示文本，将所述待处理文本和所述目标提示文本进行组合后再输入至所述预训练语言处理模型中。
所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果，具体地，在本实施例中，预先准备多个提示文本，每个提示文本中包括样本待处理文本和样本待处理文本对应的结果，样本待处理文本可以是根据之前的语言处理任务中的用户输入得到，样本待处理文本对应的结果是样本待处理文本对应的正确结果，可以由人工标注得到，也可以由语言处理模型根据输入的样本待处理文本输出得到。根据所述待处理文本从多个提示文本中选取一个作为所述目标提示文本。
具体地，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本，包括：
S110、根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型；
S120、根据所述目标语言处理任务类型在多个提示文本库中确定目标提示文本库，其中，每个所述提示文本库中包括多个提示文本；
S130、在所述目标提示文本库中选取提示文本作为所述目标提示文本。
在本实施例中，根据所述待处理文本对应的语言处理任务类型确定所述待处理文本对应的所述目标提示文本，具体实施时，预先确定多个预设语言处理任务类型，所述预设语言处理任务类型可以是根据多个样本待处理文本确定，具体地，可以是对多个样本待处理文本进行分类，根据分类结果确定所述预设语言处理任务类型。针对每个所述预设语言处理任务类型可以建立一个提示文本库，每个所述提示文本库中的每个所述提示文本与提示文本所在提示文本库对应的所述预设语言处理任务类型相符。具体地，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本之前，包括：
获取多个样本待处理文本和每个所述样本待处理文本对应的结果，将每个样本待处理文本和对应的结果组合，得到一个所述提示文本；
对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型；
根据每个所述样本待处理文本对应的所述预设语言处理任务类型将每个所述提示文本归入对应的所述提示文本库。
所述对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型可以是通过挖掘聚类实现，在一种可能的实现方式中，可以直接对所有的所述样本待处理文本进行聚类，对聚类后的每一类作为一个所述预设语言处理任务类型。但是由于所述样本待处理文本的数据量很大，为了提升分类效率和准确性，在本实施例中，首选进行粗分类后再进行分类，具体地，所述对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型，包括：
根据每个所述样本待处理文本对中包括的问句对每个所述样本待处理文本进行粗分类；
对粗分类后属于同一类的所述样本待处理文本进行聚类处理，根据聚类后每一类中的所述样本待处理文本的数据共性确定各个所述预设语言处理任务类型。
具体地，对所述样本待处理文本进行粗分类可以将所述样本待处理文本粗分类为问答、对话和其他类型，具体可以是根据所述样本待处理文本中包括的问句进行，例如，当所述样本待处理文本为单个问句，则可以将所述样本待处理文本归类为问答类型，当所述样本待处理文本为多个问句与陈述句依次出现，则将所述样本待处理文本归类为对话类型，否则归类为其他类型。
对所述样本待处理文本进行粗分类后，对于属于同一类的所述样本待处理文本进行聚类处理，具体地，可以是对属于问答类型和其他类型的所述样本待处理文本进行聚类处理，对于对话类型可以不做聚类操作。可以采用K均值聚类算法对粗分类后属于同一类的所述样本待处理文本进行聚类处理，对于不同的粗分类类型，可以选取不同的K值。如图2所示，在聚类处理完成后，根据每一类数据的数据共性为每一类数据标注一个类型标签，每个类型标签是一个所述预设语言处理任务类型。在一种可能的实现方式中，对于问答类型可以做K为2的聚类操作，对于其他类型可以做K为7的聚类操作，这样对于问答类型和其他类型分别可以细分为2个小类和7个小类，加上对话类型，共10个类型，根据10个类型中包括的所述样本待处理文本的数据共性进行标签标注，得到所述预设语言处理任务类型，例如可以得到10个所述预设语言处理任务类型为：知识问答、开放问答、对联、新闻、小说、自由生成、数字推理、对话、诗词和其他。
聚类处理完成后，为每一个所述预设语言处理任务类型构建一个提示文本库，将每个所述样本待处理文本对应的所述提示文本存入对应的所述提示文本库。这样，在确定了所述待处理文本对应的所述目标语言处理任务类型后，可以在所述目标语言处理任务类型对应的所述提示文本库选取对应的所述目标提示文本，由于所述目标提示文本对应的语言处理任务类型与所述待处理文本对应的语言处理任务类型一致，因此所述目标提示文本能够为处理所述待处理文本提供引导作用，将所述目标提示文本与所述待处理文本进行组合后输入至预训练语言处理模型，能够使得所述预训练语言处理模型输出更准确的结果。
根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型具体包括步骤：
S111、分别计算所述待处理文本与各个所述提示文本之间的文字相似度。
所述待处理文本与每个所述提示文本之间的文字相似度可以采用所述待处理文本与所述提示文本的文字编辑距离来衡量，编辑距离越大，文字相似度越低。在分别计算得到所述待处理文本与各个所述提示文本之间的文字相似度之后，确定与所述待处理文本的文字相似度最高的所述提示文本作为中间提示文本，在一种可能的实现方式中，可以直接将所述中间提示文本作为所述目标提示文本。但是，文字相似度反映的是字面上的相似程度，实际上存在很多两个文本字面相似但是意思不同的情况，因此，在本实施例中，如图3所示，还结合神经网络来确定所述待处理文本对应的所述目标语言处理任务类型，即所述根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型，还包括步骤：
S112、将所述待处理文本输入至预先训练的分类器，获取所述分类器输出的预测类型以及所述预测类型对应的概率；
S113、根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型。
所述分类器采用深度神经网络模型如TextCNN、FastText、BERT等，所述分类器可以采用多组训练数据进行训练，每组训练数据包括样本文本和样本文本对应的所述预设语言处理任务类型，这样，预先训练完成的所述分类器可以实现向所述分类器中输入一个文本，所述分类器输出该文本是各个所述预设语言处理任务类型的概率，选取概率最高的作为所述分类器输出的预测类型。由于深度神经网络可以实现语义特征的提取，因此结合所述文字相似度和所述预测类型对应的概率确定所述待处理文本对应的所述目标语言处理任务类型，可以实现更高的准确性。
所述根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型，包括：
若所述中间提示文本与所述待处理文本之间的文字相似度高于第一预设阈值，则确定所述中间提示文本对应的所述预设语言处理任务类型作为所述目标语言处理任务类型；
若所述中间提示文本与所述待处理文本之间的文字相似度低于所述第一预设阈值，则确定所述分类器输出的所述预测类型对应的概率是否高于第二预设阈值，若是，则确定所述预测类型为所述目标语言处理任务类型；
若否，则确定所述目标语言处理任务类型为其他类型。
在确定了所述目标语言处理任务类型后，就可将所述目标语言处理任务类型对应的所述提示文本库作为所述目标提示文本库，在所述目标提示文本库中选取一个提示文本作为所述目标提示文本。所述在所述目标提示文本库中选取提示文本作为所述目标提示文本，包括：
在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本；
根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本。
在确定所述目标提示文本库后，可以采用任意一种采样方式在所述目标提示文本库中进行采样得到所述目标提示文本，例如，可以基于所述待处理文本与所述目标提示文本库中的文本之间的相似度进行相似度采样，也可以基于所述待处理文本与所述目标提示文本库中的文本之间的相关性进行相关性采样，还可以采用多种采样方式进行采样，结合不同的采样方式的采样结果最终确定一种采样方式的采样结果作为所述目标提示文本。在本实施例中，如图5所示，采用三种采样方式进行采样，具体包括：随机采样、相似度采样和相关性采样。所述在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本，包括：
当采用随机采样方式进行采样时，在所述目标提示文本库中随机选取提示文本作为随机采样方式对应的提示文本；
当采用相似度采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本的编辑距离最小的提示文本作为相似度采样方式对应的提示文本；
当采用相关性采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本进行拼接后整体的困惑度最优的提示文本作为所述相关性采样方式对应的提示文本。
在使用各个采样方式进行采样后，根据各个采样方式的采样结果确定采用哪一种采样方式的采样结果。具体地，所述根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本，包括：
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离小于第三预设阈值，则将相似度采样方式对应的提示文本作为所述目标提示文本；
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离大于所述第三预设阈值，则确定采用相关性采样方式采样得到的提示文本与所述待处理文本拼接后的困惑度是否优于第四预设阈值，若是，则将相关性采样方式对应的提示文本作为所述目标提示文本；
若否，则将随机采样方式对应的提示文本作为所述目标提示文本。
请再次参阅图1，本实施例提供的基于自动提示推荐的语言处理方法，还确定了所述目标提示文本之后，还包括步骤：
S200、将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。
将所述待处理文本和所述目标提示文本进行组合可以是直接将所述待处理文本和所述目标提示文本进行拼接，在一种可能的实现方式中，为了实现更好的引导效果，对于不同的所述预设语言处理任务类型，还设置不同的模板，所述将所述待处理文本和所述目标提示文本进行组合，包括步骤：
根据所述目标提示文本获取目标模板；
按照所述目标模板将所述待处理文本和所述目标提示文本进行组合。
对于不同的所述预设语言处理任务类型，可以设置不同的模板，每个所述提示文本库可以记录为：{任务；Prompt；提示文本}，其中，任务表示该提示文本库对应的所述预设语言处理任务类型，Prompt表示该提示文本库对应的模板，提示文本表示该提示文本库中的所有提示文本。如图4所示，模板由待处理文本、目标提示文本和提示词三部分组成，图4中的淡色字为提示词，提示词用于区分所述目标提示文本中的样本待处理文本和样本待处理文本对应的结果。在确定了所述目标语言处理任务类型时，将所述目标语言处理任务类型对应的模板作为所述目标模板。如图2所示，按照所述目标模板将所述待处理文本和所述目标提示文本进行组合后，输入至预训练语言处理模型进行推理，所述预训练语言处理模型会输出一个文本作为所述待处理文本对应的结果。
综上所述，本实施例提供一种基于自动提示推荐的语言处理方法，在获取待处理文本后，根据待处理文本确定与待处理文本对应的目标提示文本，将待处理文本和目标提示文本进行组合，形成新的输入文本后输入预训练语言模型中，获取预训练语言模型输出的目标结果作为待处理文本对应的结果，由于目标提示文本中包括样本待处理文本和样本待处理文本对应的结果，因此，待处理文本和目标提示文本组合得到的输入文本可以引导预训练语言模型输出更好的结果，提升预训练语言模型处理下游任务时的精度。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例，本发明还提供了一种基于自动提示推荐的语言处理装置，如图6所示，所述装置包括：
目标提示文本获取模块，所述目标提示文本获取模块用于获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果，具体如实施例一中所述；
组合模块，所述组合模块用于将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图7所示，所述终端包括处理器10以及存储器20。图7仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于自动提示推荐的语言处理程序30，该基于自动提示推荐的语言处理程序30可被处理器10所执行，从而实现本申请中基于自动提示推荐的语言处理方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于自动提示推荐的语言处理方法等。
在一实施例中，当处理器10执行所述存储器20中基于自动提示推荐的语言处理程序30时实现以下步骤：
获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；
将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。
其中，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本，包括：
根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型；
根据所述目标语言处理任务类型在多个提示文本库中确定目标提示文本库，其中，每个所述提示文本库中包括多个提示文本；
在所述目标提示文本库中选取提示文本作为所述目标提示文本。
其中，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本之前，包括：
获取多个样本待处理文本和每个所述样本待处理文本对应的结果，将每个样本待处理文本和对应的结果组合，得到一个所述提示文本；
对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型；
根据每个所述样本待处理文本对应的所述预设语言处理任务类型将每个所述提示文本归入对应的所述提示文本库。
其中，所述对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型，包括：
根据每个所述样本待处理文本对中包括的问句对每个所述样本待处理文本进行粗分类；
对粗分类后属于同一类的所述样本待处理文本进行聚类处理，根据聚类后每一类中的所述样本待处理文本的数据共性确定各个所述预设语言处理任务类型。
其中，所述根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型，包括：
分别计算所述待处理文本与各个所述提示文本之间的文字相似度；
将所述待处理文本输入至预先训练的分类器，获取所述分类器输出的预测类型以及所述预测类型对应的概率；
根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型。
其中，所述根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型，包括：
若中间提示文本与所述待处理文本之间的文字相似度高于第一预设阈值，则确定所述中间提示文本对应的所述预设语言处理任务类型作为所述目标语言处理任务类型，其中，所述中间提示文本是与所述待处理文本之间的文字相似度最高的所述提示文本；
若所述中间提示文本与所述待处理文本之间的文字相似度低于所述第一预设阈值，则确定所述分类器输出的所述预测类型对应的概率是否高于第二预设阈值，若是，则确定所述预测类型为所述目标语言处理任务类型；
若否，则确定所述目标语言处理任务类型为其他类型；
其中，所述在所述目标提示文本库中选取提示文本作为所述目标提示文本，包括：
在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本；
根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本。
其中，所述采样方式包括随机采样、相似度采样和相关性采样；所述在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本，包括：
当采用随机采样方式进行采样时，在所述目标提示文本库中随机选取提示文本作为随机采样方式对应的提示文本；
当采用相似度采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本的编辑距离最小的提示文本作为相似度采样方式对应的提示文本；
当采用相关性采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本进行拼接后整体的困惑度最优的提示文本作为所述相关性采样方式对应的提示文本。
其中，所述根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本，包括：
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离小于第三预设阈值，则将相似度采样方式对应的提示文本作为所述目标提示文本；
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离大于所述第三预设阈值，则确定采用相关性采样方式采样得到的提示文本与所述待处理文本拼接后的困惑度是否优于第四预设阈值，若是，则将相关性采样方式对应的提示文本作为所述目标提示文本；
若否，则将随机采样方式对应的提示文本作为所述目标提示文本。
其中，所述将所述待处理文本和所述目标提示文本进行组合，包括：
根据所述目标提示文本获取目标模板；
按照所述目标模板将所述待处理文本和所述目标提示文本进行组合。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于自动提示推荐的语言处理方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (13)
1.一种基于自动提示推荐的语言处理方法，其特征在于，所述方法包括：
获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；
将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。
2.根据权利要求1所述的基于自动提示推荐的语言处理方法，其特征在于，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本，包括：
根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型；
根据所述目标语言处理任务类型在多个提示文本库中确定目标提示文本库，其中，每个所述提示文本库中包括多个提示文本；
在所述目标提示文本库中选取提示文本作为所述目标提示文本。
3.根据权利要求2所述的基于自动提示推荐的语言处理方法，其特征在于，所述根据所述待处理文本获取所述待处理文本对应的目标提示文本之前，包括：
获取多个样本待处理文本和每个所述样本待处理文本对应的结果，将每个样本待处理文本和对应的结果组合，得到一个所述提示文本；
对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型；
根据每个所述样本待处理文本对应的所述预设语言处理任务类型将每个所述提示文本归入对应的所述提示文本库。
4.根据权利要求3所述的基于自动提示推荐的语言处理方法，其特征在于，所述对每个所述样本待处理文本进行分类，确定每个所述样本待处理文本对应的所述预设语言处理任务类型，包括：
根据每个所述样本待处理文本对中包括的问句对每个所述样本待处理文本进行粗分类；
对粗分类后属于同一类的所述样本待处理文本进行聚类处理，根据聚类后每一类中的所述样本待处理文本的数据共性确定各个所述预设语言处理任务类型。
5.根据权利要求2所述的基于自动提示推荐的语言处理方法，其特征在于，所述根据所述待处理文本在多个预设语言处理任务类型中确定目标语言处理任务类型，包括：
分别计算所述待处理文本与各个所述提示文本之间的文字相似度；
将所述待处理文本输入至预先训练的分类器，获取所述分类器输出的预测类型以及所述预测类型对应的概率；
根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型。
6.根据权利要求5所述的基于自动提示推荐的语言处理方法，其特征在于，所述根据所述待处理文本与各个所述提示文本之间的文字相似度以及所述预测类型对应的概率确定所述目标语言处理任务类型，包括：
若中间提示文本与所述待处理文本之间的文字相似度高于第一预设阈值，则确定所述中间提示文本对应的所述预设语言处理任务类型作为所述目标语言处理任务类型，其中，所述中间提示文本是与所述待处理文本之间的文字相似度最高的所述提示文本；
若所述中间提示文本与所述待处理文本之间的文字相似度低于所述第一预设阈值，则确定所述分类器输出的所述预测类型对应的概率是否高于第二预设阈值，若是，则确定所述预测类型为所述目标语言处理任务类型；
若否，则确定所述目标语言处理任务类型为其他类型。
7.根据权利要求2所述的基于自动提示推荐的语言处理方法，其特征在于，所述在所述目标提示文本库中选取提示文本作为所述目标提示文本，包括：
在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本；
根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本。
8.根据权利要求7所述的基于自动提示推荐的语言处理方法，其特征在于，所述采样方式包括随机采样、相似度采样和相关性采样；所述在所述目标提示文本库以至少一种采样方式进行采样，获取每种采样方式分别对应的提示文本，包括：
当采用随机采样方式进行采样时，在所述目标提示文本库中随机选取提示文本作为随机采样方式对应的提示文本；
当采用相似度采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本的编辑距离最小的提示文本作为相似度采样方式对应的提示文本；
当采用相关性采样方式进行采样时，在所述目标提示文本库中选取与所述待处理文本进行拼接后整体的困惑度最优的提示文本作为所述相关性采样方式对应的提示文本。
9.根据权利要求7所述的基于自动提示推荐的语言处理方法，其特征在于，所述根据每种采样方式分别对应的提示文本中确定一种采样方式对应的提示文本作为所述目标提示文本，包括：
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离小于第三预设阈值，则将相似度采样方式对应的提示文本作为所述目标提示文本；
若采用相似度采样方式采样得到的提示文本与所述待处理文本的编辑距离大于所述第三预设阈值，则确定采用相关性采样方式采样得到的提示文本与所述待处理文本拼接后的困惑度是否优于第四预设阈值，若是，则将相关性采样方式对应的提示文本作为所述目标提示文本；
若否，则将随机采样方式对应的提示文本作为所述目标提示文本。
10.根据权利要求1所述的基于自动提示推荐的语言处理方法，其特征在于，所述将所述待处理文本和所述目标提示文本进行组合，包括：
根据所述目标提示文本获取目标模板；
按照所述目标模板将所述待处理文本和所述目标提示文本进行组合。
11.一种基于自动提示推荐的语言处理装置，其特征在于，包括：
目标提示文本获取模块，所述目标提示文本获取模块用于获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；
组合模块，所述组合模块用于将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。
12.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-10任一项所述的基于自动提示推荐的语言处理方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-10任一项所述的基于自动提示推荐的语言处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111429355.9A CN114238629A (zh) | 2021-11-29 | 2021-11-29 | 一种基于自动提示推荐的语言处理方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111429355.9A CN114238629A (zh) | 2021-11-29 | 2021-11-29 | 一种基于自动提示推荐的语言处理方法、装置及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114238629A true CN114238629A (zh) | 2022-03-25 |
Family
ID=80751627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111429355.9A Pending CN114238629A (zh) | 2021-11-29 | 2021-11-29 | 一种基于自动提示推荐的语言处理方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114238629A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115062629A (zh) * | 2022-07-12 | 2022-09-16 | 平安科技（深圳）有限公司 | 会话信息的识别方法及装置、存储介质、计算机设备 |
| CN116127049A (zh) * | 2023-04-17 | 2023-05-16 | 平安银行股份有限公司 | 模型训练方法、文本生成方法、终端设备及计算机介质 |
| CN116501858A (zh) * | 2023-06-21 | 2023-07-28 | 阿里巴巴（中国）有限公司 | 文本处理及数据查询方法 |
| CN117371428A (zh) * | 2023-09-25 | 2024-01-09 | 百度国际科技（深圳）有限公司 | 基于大语言模型的文本处理方法与装置 |
| US11983488B1 (en) * | 2023-03-14 | 2024-05-14 | OpenAI Opco, LLC | Systems and methods for language model-based text editing |
-
2021
- 2021-11-29 CN CN202111429355.9A patent/CN114238629A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115062629A (zh) * | 2022-07-12 | 2022-09-16 | 平安科技（深圳）有限公司 | 会话信息的识别方法及装置、存储介质、计算机设备 |
| US11983488B1 (en) * | 2023-03-14 | 2024-05-14 | OpenAI Opco, LLC | Systems and methods for language model-based text editing |
| CN116127049A (zh) * | 2023-04-17 | 2023-05-16 | 平安银行股份有限公司 | 模型训练方法、文本生成方法、终端设备及计算机介质 |
| CN116501858A (zh) * | 2023-06-21 | 2023-07-28 | 阿里巴巴（中国）有限公司 | 文本处理及数据查询方法 |
| CN116501858B (zh) * | 2023-06-21 | 2023-11-14 | 阿里巴巴（中国）有限公司 | 文本处理及数据查询方法 |
| CN117371428A (zh) * | 2023-09-25 | 2024-01-09 | 百度国际科技（深圳）有限公司 | 基于大语言模型的文本处理方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114238629A (zh) | 一种基于自动提示推荐的语言处理方法、装置及终端 | |
| CN110096570B (zh) | 一种应用于智能客服机器人的意图识别方法及装置 | |
| CN111428021B (zh) | 基于机器学习的文本处理方法、装置、计算机设备及介质 | |
| CN111859960B (zh) | 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质 | |
| CN107015964B (zh) | 面向智能机器人开发的自定义意图实现方法及装置 | |
| CN115599901B (zh) | 基于语义提示的机器问答方法、装置、设备及存储介质 | |
| CN110750523A (zh) | 数据标注方法、系统、计算机设备和存储介质 | |
| CN112766319A (zh) | 对话意图识别模型训练方法、装置、计算机设备及介质 | |
| CN114186019A (zh) | 结合rpa和ai的企业项目的审核方法及装置 | |
| CN110765235A (zh) | 训练数据的生成方法、装置、终端及可读介质 | |
| CN111859916A (zh) | 古诗关键词提取、诗句生成方法、装置、设备及介质 | |
| CN113821605A (zh) | 一种事件抽取方法 | |
| CN113076133A (zh) | 基于深度学习的Java程序内部注释的生成方法及系统 | |
| CN112446209A (zh) | 一种意图标签的设置方法、设备、装置及存储介质 | |
| CN114647713A (zh) | 基于虚拟对抗的知识图谱问答方法、设备及存储介质 | |
| CN111831792B (zh) | 一种电力知识库构建方法及系统 | |
| US11790170B2 (en) | Converting unstructured technical reports to structured technical reports using machine learning | |
| CN112989829A (zh) | 一种命名实体识别方法、装置、设备及存储介质 | |
| CN115858776B (zh) | 一种变体文本分类识别方法、系统、存储介质和电子设备 | |
| CN111400340A (zh) | 一种自然语言处理方法、装置、计算机设备和存储介质 | |
| CN116186223A (zh) | 一种金融文本处理方法、装置、设备和存储介质 | |
| CN109558580B (zh) | 一种文本分析方法及装置 | |
| CN115563278A (zh) | 一种句子文本的问题分类处理方法及装置 | |
| CN114519357B (zh) | 基于机器学习的自然语言处理方法和系统 | |
| CN117076596B (zh) | 应用人工智能的数据存储方法、装置及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |