CN115759085A - 基于提示模型的信息预测方法、装置、电子设备及介质 - Google Patents

Abstract

本申请公开了一种基于提示模型的信息预测方法、装置、电子设备及介质，包括：获取样本语句，其中，样本语句包括至少一个字符信息；将样本语句输入提示模型进行困惑度计算，得到目标字符信息；将字符信息以及目标字符信息输入提示模型进行向量计算，得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量；根据字符嵌入向量、句间位置向量以及句中位置向量对提示模型进行训练，得到预训练的提示模型；将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息。本申请实施例中，能够实现对关键词的精准预测，提高预测关键词的精准度，避免出现人工设计提示模型带来的不可控的问题。

Description

基于提示模型的信息预测方法、装置、电子设备及介质

技术领域

本发明属于自然语言处理领域技术，尤其涉及一种基于提示模型的信息预测方法、装置、电子设备及介质。

背景技术

近年来，预训练语言模型已经成为自然语言处理领域的主流技术，基于拟合能力强大的自注意力机制和海量文本训练数据，预训练语言模型在文本分类、智能问答、机器阅读、文本摘要等自然语言处理的众多细分领域都取得了很好的效果。然而，由于自然语言处理下游任务的复杂性，在面临很多新任务时，需要收集大量的样本，增加了技术人员工作负担；为了解决这一问题，通常将提示学习方法与自然语言处理结合，利用预训练语言模型的丰富语义关联知识以及提示模型来引导预训练语言模型完成下游任务。

在提示学习实践中，技术人员需要根据不同的任务来设计不同的提示模型，人工生成的提示模型虽然简单，但用一个提示模型来解决所有问题却是不现实的，因此，在现有提示学习技术在面临具体任务时，如何设置精准预测关键词仍然是一个难题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种基于提示模型的信息预测方法、装置、电子设备及介质，提高预测关键词的精准度。

第一方面，本发明提供一种基于提示模型的信息预测方法，包括：

获取样本语句，其中，所述样本语句包括至少一个字符信息；

将所述样本语句输入所述提示模型进行困惑度计算，得到目标字符信息；

将所述字符信息以及所述目标字符信息输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量；

根据所述字符嵌入向量、所述句间位置向量以及所述句中位置向量对所述提示模型进行训练，得到预训练的提示模型；

将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息。

根据本发明实施例提供的基于提示模型的信息预测方法，至少有如下有益效果：首先，获取携带多个字符信息的样本语句，并将样本语句输入提示模型进行困惑度计算，从而得到目标字符信息，提高模型预测的准确性，之后将字符信息以及目标字符信息输入提示模型进行向量计算，得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量，提高样本语句的丰富度，增加样本语句中的特征，再根据字符嵌入向量、句间位置向量以及句中位置向量对提示模型进行训练，得到预训练的提示模型，从而增强提示模型对信息的预测能力，最后将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息，实现对关键词的精准预测，提高预测关键词的精准度，避免出现人工设计提示模型带来的不可控的问题。

根据本发明的一些实施例，所述将所述样本语句输入所述提示模型进行困惑度计算，得到目标字符信息，包括：

将所述样本语句输入所述提示模型进行语句分割，得到所述样本语句的多个样本片段；

对所述样本片段进行词性分析，确定所述样本片段的词性类别；

根据所述词性类别对所述样本语句进行困惑度计算，得到所述目标字符信息，实现对样本语句中不同词性的区分，便于后续进行困惑度计算。

根据本发明的一些实施例，所述根据所述词性类别对所述样本语句进行困惑度计算，得到所述目标字符信息，包括：

根据所述词性类别对所述样本语句进行词语筛选，得到所述样本语句中的目标词语；

根据所述目标词语生成剔除语句；

对所述剔除语句进行困惑度计算，得到困惑度信息；

将所述困惑度信息与预设困惑度信息进行对比，得到对比结果；

根据所述对比结果得到所述目标字符信息，从而提高后续预测精度。

根据本发明的一些实施例，所述困惑度信息包括困惑度值，所述预设困惑度信息包括预设困惑度值；所述根据所述对比结果得到所述目标字符信息，包括：

当所述困惑度值大于所述预设困惑度值，确定与所述目标词语对应的所述样本片段，并根据所述样本片段生成所述目标字符信息；

当所述困惑度值小于所述预设困惑度值，根据所述剔除语句生成所述目标字符信息，从而保留困惑度值较大的样本片段，提高模型预测的准确率。

根据本发明的一些实施例，所述将所述字符信息以及所述目标字符信息输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量，包括：

获取所述字符信息的原始字符向量以及所述目标字符信息的目标字符向量；

将所述原始字符向量以及所述目标字符向量输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量，实现对样本语句特征的提取，提高样本语句的特征丰富度。

根据本发明的一些实施例，所述提示模型包括循环神经网络和词向量模型；所述将所述原始字符向量以及所述目标字符向量输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量，包括：

根据所述循环神经网络对所述原始字符向量以及所述目标字符向量进行计算，得到所述字符嵌入向量；

根据所述词向量模型对所述原始字符向量以及所述目标字符向量进行计算，得到所述句间位置向量；

基于预设向量公式对所述原始字符向量以及所述目标字符向量进行计算，得到所述句中位置向量。

根据本发明的一些实施例，所述根据所述字符嵌入向量、所述句间位置向量以及所述句中位置向量对所述提示模型进行训练，得到预训练的提示模型，包括：

将所述字符嵌入向量、所述句间位置向量以及所述句中位置向量进行拼接，得到目标向量序列；

根据所述目标向量序列以及梯度下降算法对所述提示模型进行训练，得到预训练的提示模型，实现对提示模型的优化，便于对目标字段的预测。

第二方面，本发明提供一种基于提示模型的信息预测装置，包括：

样本获取模块，用于获取样本语句，其中，所述样本语句包括至少一个字符信息；

困惑度计算模块，用于将所述样本语句输入所述提示模型进行困惑度计算，得到目标字符信息；

向量计算模块，用于将所述字符信息以及所述目标字符信息输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量；

模板训练模块，用于根据所述字符嵌入向量、所述句间位置向量以及所述句中位置向量对所述提示模型进行训练，得到预训练的提示模型；

关键词预测模块，用于将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息。

第三方面，本发明提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于提示模型的信息预测方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的基于提示模型的信息预测方法。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一实施例提供的基于提示模型的信息预测方法的流程图；

图2是图1中的步骤S200的具体方法流程图；

图3是图2中的步骤S230的具体方法流程图；

图4是图1中的步骤S300的具体方法流程图；

图5是图4中的步骤S320的具体方法流程图；

图6是图1中的步骤S400的具体方法流程图；

图7是本发明一实施例提供的基于提示模型的信息预测装置的结构示意图；

图8是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本发明提供了一种基于提示模型的信息预测方法、装置及计算机可读存储介质，首先，获取携带多个字符信息的样本语句，并将样本语句输入提示模型进行困惑度计算，从而得到目标字符信息，提高模型预测的准确性，之后将字符信息以及目标字符信息输入提示模型进行向量计算，得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量，提高样本语句的丰富度，增加样本语句中的特征，再根据字符嵌入向量、句间位置向量以及句中位置向量对提示模型进行训练，得到预训练的提示模型，从而增强提示模型对信息的预测能力，最后将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息，实现对关键词的精准预测，提高预测关键词的精准度，避免出现人工设计提示模板带来的不可控的问题。

下面结合附图，对本发明实施例作进一步阐述。

参照图1，图1是本发明一个实施例提供的基于提示模型的信息预测方法的流程图，混凝土缺陷分类方法包括但不限于步骤S100至S500。

需要说明的是，本实施例中的提示模型包括循环神经网络、词向量模型等，本实施例不做具体限制。

步骤S100：获取样本语句；

需要说明的是，样本语句包括至少一个字符信息。

在一些实施例中，首先获取样本语句，其中，样本语句可以为用户日常的聊天记录、用户的搜索记录、各种搜索引擎上的开源数据库等，本实施例不做具体限制。

需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户聊天数据等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。

步骤S200：将样本语句输入提示模型进行困惑度计算，得到目标字符信息；

在一些实施例中，将样本语句输入提示模型进行困惑度计算，得到目标字符信息，从而能够保留有代表性的字符信息，实现对不重要字符的去除，便于后续进行关键词的预测。

步骤S300：将字符信息以及目标字符信息输入提示模型进行向量计算，得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量；

在一些实施例中，将样本语句的字符信息与目标字符信息一起输入提示模型进行向量计算，从而得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量，提高语句的预测精度，增强样本语句的丰富度，便于确定关键词的位置信息。

步骤S400：根据字符嵌入向量、句间位置向量以及句中位置向量对提示模型进行训练，得到预训练的提示模型；

在一些实施例中，根据字符嵌入向量、句间位置向量以及句中位置向量对提示模型进行训练，从而提高提示模型对关键词的预测能力。

步骤S500：将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息。

在一些实施例中，将获取到的目标语句输入预训练的提示模型进行关键词预测，使得预训练的提示模型能够对目标语句的词类进行识别并拆分，计算每个目标语句中的向量信息，得到目标关键词信息，从而实现对目标关键词的精准识别。

参照图2，图2是图1中的步骤S200的具体方法流程图，步骤S200包括但不限于步骤S210至S230。

步骤S210：将样本语句输入提示模型进行语句分割，得到样本语句的多个样本片段；

在一些实施例中，将样本语句输入提示模型进行语句分割，得到样本语句的多个样本片段，从而便于后续进行提示模型的训练，提高对关键词预测的准确性。

需要说明的是，在样本语句输入提示模型之后，提示模型首先通过文本预处理步骤确定输入的语种，并对样本语句中的非法输入进行处理，去除样本语句中的非法字符，根据Un icode编码进行同形异码替换、不可见字符去除、标点符号统一、全角转半角等，将不同格式的物理量、货币、日期等进行文本规范，之后再进行语句分割，得到样本语句的多个样本片段，其中，对样本语句的语句分割方法可以根据样本语句中字符信息的向量长度进行分割、根据样本语句中的词语类型进行分割等，本实施例不做具体限制。

步骤S220：对样本片段进行词性分析，确定样本片段的词性类别；

在一些实施例中，采用自然语言处理(natura l l anguage process ing，NLP)对样本片段进行词性分析，从而确定样本片段的词性类别，提高对关键词预测的准确性，实现对样本片段词性的精准分类。

需要说明的是，通过词性分析技术、命名实体识别技术对样本片段进行词性分析，识别样本片段中的普通名词、动词以及实体名词，其中，普通名词主要为“苹果”、“香蕉”、“衣服”等名词，动词主要为“摔倒”、“崛起”、“吃饭”等动词，实体名词主要为“超市”、“公司”、“张三”等地名、公司名或者人名有关的名词。

步骤S230：根据词性类别对样本语句进行困惑度计算，得到目标字符信息。

在一些实施例中，根据步骤S220确定的词性类别对样本语句进行困惑度计算，从而保留在样本语句中比较关键的词语，去掉样本语句中不重要的字符，从而提高预测关键字的效率。

参照图3，图3是图2中的步骤S230的具体方法流程图，步骤S230包括但不限于步骤S231至S235。

步骤S231：根据词性类别对样本语句进行词语筛选，得到样本语句中的目标词语；

步骤S232：根据目标词语生成剔除语句；

步骤S233：对剔除语句进行困惑度计算，得到困惑度信息；

步骤S234：将困惑度信息与预设困惑度信息进行对比，得到对比结果；

步骤S235：根据对比结果得到目标字符信息。

在一些实施例中，在进行困惑度计算的过程中，首先根据词性类别对样本语句进行词语筛选，将与词性类别对应的词筛选出来，从而得到样本语句中的目标词语，再根据目标词语生成剔除语句，之后对剔除语句进行困惑度计算，得到剔除语句的困惑度信息，再将困惑度信息与预设困惑度信息进行对比，得到对比结果，最后根据对比结果得到目标字符信息，从而完成目标字符信息的确定，保留样本语句中较为重要的词语。

可以理解的是，根据步骤S210至S220得到a个实体、b个普通名词、c个动词，则最多可进行L次操作，其中，L为a、b、c的和，每次操作分别随机从样本语句中删除[1,a]个实体名词、[1,b]个普通名词和[1,c]个动词，根据删除后的目标词语生成剔除语句，然后计算剔除语句的困惑度，再将困惑度信息与预设困惑度信息进行对比，得到对比结果，最后根据对比结果得到目标字符信息。

需要说明的是，困惑度信息包括困惑度值，预设困惑度信息包括预设困惑度值。

在一些实施例中，根据所述对比结果得到目标字符信息，包括：

当困惑度值大于预设困惑度值，确定与目标词语对应的样本片段，并根据样本片段生成目标字符信息；

当困惑度值小于预设困惑度值，根据剔除语句生成目标字符信息。

需要说明的是，当困惑度值大于预设困惑度值，则说明删除目标词语后的剔除语句困惑度较高，被删除的目标词语比较重要，则需要确定与目标词语对应的样本片段，并根据样本片段生成目标字符信息；当困惑度值小于预设困惑度值，则直接根据剔除语句生成目标字符信息，不保留删除后的剔除语句，从而保留比较关键的词语，避免不重要的词语带来的影响。

可以理解的是，剔除语句的困惑度越小，说明越有意义，若删除后的困惑度很高，则说明删除这个词比较重要，若某个文本片段的困惑度最高，则保留在该次操作中被剔除的实体名词、普通名词、动词，本实施例不做具体限制。

参照图4，图4是图1中的步骤S300的具体方法流程图，步骤S300包括但不限于步骤S310至S320。

步骤S310：获取字符信息的原始字符向量以及目标字符信息的目标字符向量；

步骤S320：将原始字符向量以及目标字符向量输入提示模型进行向量计算，得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量。

在一些实施例中，获取字符信息的原始字符向量以及目标字符信息的目标字符向量，之后将原始字符向量以及目标字符向量输入提示模型中进行向量计算，得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量，通过字符嵌入向量能够增加词向量效果，通过句间位置向量确定每个字符向量之间的距离，从而避免语序混乱，通过句中位置向量确定每个字符向量的句中位置关系，确定相关字符向量的上下文信息，从而提高关键词预测的准确性，避免出现关键词预测偏差等情况。

参照图5，图5是图4中的步骤S320的具体方法流程图，步骤S320包括但不限于步骤S321-S323。

需要说明的是，提示模型包括循环神经网络和词向量模型。

步骤S321：根据循环神经网络对原始字符向量以及目标字符向量进行计算，得到字符嵌入向量；

在一些实施例中，将原始字符向量以及目标字符向量输入提示模型，使得提示模型中的循环神经网络对原始字符向量以及目标字符向量进行嵌入计算，得到字符嵌入向量，从而增加词向量的效果。

需要说明的是，循环神经网络可以为门控循环单元网络(Gated Recurrent Unit，GRU)、长短期记忆网络(Long short-term memory,LSTM)、循环神经网络(RecurrentNeura l Network，RNN)等等，本实施例不做具体限制。

可以理解的是，字符嵌入向量还可以采用Word2Vec(Word to Vector，用来产生词向量的相关模型)、G love(G loba l Vectors for Word Representat ion，用于单词表示的全局向量)等模型获得。

在一些实施例中，将原始字符向量以及目标字符向量输入门控循环单元网络，门控循环单元网络为原始字符向量以及目标字符向量输出字符嵌入向量h_i ^u，其中，具体得到字符嵌入向量如下公式(1)所示：

可以理解的是，h_0:i表示从第0位到第i位置的字符嵌入向量，h_i:m表示从第i到第m位置的字符嵌入向量，h_i:m为根据原始字符向量以及目标字符向量输出的字符嵌入向量。

步骤S322：根据词向量模型对原始字符向量以及目标字符向量进行计算，得到句间位置向量；

在一些实施例中，根据词向量模型对原始字符向量以及目标字符向量进行计算，得到句间位置向量，从而能够确定每个字符向量之间的距离，避免语序混乱。

需要说明的是，词向量模型可以为BERT(Bidi rectional EncoderRepresentation from Transformers，双向变换网络的编码器)模型。

步骤S323：基于预设向量公式对原始字符向量以及目标字符向量进行计算，得到句中位置向量。

在一些实施例中，基于预设向量公式对原始字符向量以及目标字符向量进行计算，得到句中位置向量，通过句中位置向量确定每个字符向量的句中位置关系，确定相关字符向量的上下文信息，从而提高关键词预测的准确性，避免出现关键词预测偏差等情况。

需要说明的是，预设向量公式可以为Transformer中的正弦公式或者余弦公式，本实施例不做具体限制。

参照图6，图6是图1中的步骤S400的具体方法流程图，步骤S400包括但不限于步骤S410-S420。

步骤S410：将字符嵌入向量、句间位置向量以及句中位置向量进行拼接，得到目标向量序列；

步骤S420：根据目标向量序列以及梯度下降算法对提示模型进行训练，得到预训练的提示模型。

在一些实施例中，将字符嵌入向量、句间位置向量以及句中位置向量进行拼接，得到目标向量序列，从而能够通过目标向量序列确定关键词的位置，之后再根据目标向量序列以及梯度下降算法对提示模型进行训练，通过梯度下降算法连续更新提示模型的参数，得到预训练的提示模型，从而使得提示模型能够准确确定目标关键词信息。

参考图7，本发明实施例还提供一种基于提示模型的信息预测装置，可以实现上述基于提示模型的信息预测方法，该装置包括：

样本获取模块810，用于获取样本语句，其中，样本语句包括至少一个字符信息；

困惑度计算模块820，用于将样本语句输入提示模型进行困惑度计算，得到目标字符信息；

向量计算模块830，用于将字符信息以及目标字符信息输入提示模型进行向量计算，得到样本语句的字符嵌入向量、句间位置向量以及句中位置向量；

模板训练模块840，用于根据字符嵌入向量、句间位置向量以及句中位置向量对提示模型进行训练，得到预训练的提示模型；

关键词预测模块850，用于将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息。

该基于提示模型的信息预测装置的具体实施方式与上述基于提示模型的信息预测方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述基于提示模型的信息预测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图8，图8示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器901，可以采用通用的CPU(Centra l Process ing Un it，中央处理器)、微处理器、应用专用集成电路(App l icat ion Speci ficI ntegrated Ci rcu it，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器902，可以采用只读存储器(Read On ly Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的基于提示模型的信息预测方法；

输入/输出接口903，用于实现信息输入及输出；

通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WI FI、蓝牙等)实现通信；

总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；

其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于提示模型的信息预测方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1-6中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-On ly Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种基于提示模型的信息预测方法，其特征在于，包括：

获取样本语句，其中，所述样本语句包括至少一个字符信息；

将所述样本语句输入所述提示模型进行困惑度计算，得到目标字符信息；

将所述字符信息以及所述目标字符信息输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量；

根据所述字符嵌入向量、所述句间位置向量以及所述句中位置向量对所述提示模型进行训练，得到预训练的所述提示模型；

将获取到的目标语句输入预训练的所述提示模型进行关键词预测，得到目标关键词信息。

2.根据权利要求1所述的基于提示模型的信息预测方法，其特征在于，所述将所述样本语句输入所述提示模型进行困惑度计算，得到目标字符信息，包括：

将所述样本语句输入所述提示模型进行语句分割，得到所述样本语句的多个样本片段；

对所述样本片段进行词性分析，确定所述样本片段的词性类别；

根据所述词性类别对所述样本语句进行困惑度计算，得到所述目标字符信息。

3.根据权利要求2所述的基于提示模型的信息预测方法，其特征在于，所述根据所述词性类别对所述样本语句进行困惑度计算，得到所述目标字符信息，包括：

根据所述词性类别对所述样本语句进行词语筛选，得到所述样本语句中的目标词语；

根据所述目标词语生成剔除语句；

对所述剔除语句进行困惑度计算，得到困惑度信息；

将所述困惑度信息与预设困惑度信息进行对比，得到对比结果；

根据所述对比结果得到所述目标字符信息。

4.根据权利要求3所述的基于提示模型的信息预测方法，其特征在于，所述困惑度信息包括困惑度值，所述预设困惑度信息包括预设困惑度值；所述根据所述对比结果得到所述目标字符信息，包括：

当所述困惑度值大于所述预设困惑度值，确定与所述目标词语对应的所述样本片段，并根据所述样本片段生成所述目标字符信息；

当所述困惑度值小于所述预设困惑度值，根据所述剔除语句生成所述目标字符信息。

5.根据权利要求1所述的基于提示模型的信息预测方法，其特征在于，所述将所述字符信息以及所述目标字符信息输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量，包括：

获取所述字符信息的原始字符向量以及所述目标字符信息的目标字符向量；

将所述原始字符向量以及所述目标字符向量输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量。

6.根据权利要求5所述的基于提示模型的信息预测方法，其特征在于，所述提示模型包括循环神经网络和词向量模型；所述将所述原始字符向量以及所述目标字符向量输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量，包括：

根据所述循环神经网络对所述原始字符向量以及所述目标字符向量进行计算，得到所述字符嵌入向量；

根据所述词向量模型对所述原始字符向量以及所述目标字符向量进行计算，得到所述句间位置向量；

基于预设向量公式对所述原始字符向量以及所述目标字符向量进行计算，得到所述句中位置向量。

7.根据权利要求1所述的基于提示模型的信息预测方法，其特征在于，所述根据所述字符嵌入向量、所述句间位置向量以及所述句中位置向量对所述提示模型进行训练，得到预训练的提示模型，包括：

将所述字符嵌入向量、所述句间位置向量以及所述句中位置向量进行拼接，得到目标向量序列；

根据所述目标向量序列以及梯度下降算法对所述提示模型进行训练，得到预训练的提示模型。

8.一种基于提示模型的信息预测装置，其特征在于，包括：

样本获取模块，用于获取样本语句，其中，所述样本语句包括至少一个字符信息；

困惑度计算模块，用于将所述样本语句输入所述提示模型进行困惑度计算，得到目标字符信息；

向量计算模块，用于将所述字符信息以及所述目标字符信息输入所述提示模型进行向量计算，得到所述样本语句的字符嵌入向量、句间位置向量以及句中位置向量；

模板训练模块，用于根据所述字符嵌入向量、所述句间位置向量以及所述句中位置向量对所述提示模型进行训练，得到预训练的提示模型；

关键词预测模块，用于将获取到的目标语句输入预训练的提示模型进行关键词预测，得到目标关键词信息。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于提示模型的信息预测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任意一项所述的基于提示模型的信息预测方法。

Images