CN114254650A - 一种信息处理方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种信息处理方法、装置、设备及介质，涉及人工智能技术领域，尤其涉及深度学习技术领域，包括：获取与知识增强的语义表示ERNIE模型对应的训练样本集；针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。本公开实施例的技术方案，可以简化ERNIE模型的训练复杂度，在提高ERNIE模型的训练效率的同时，保证ERNIE模型输出结果的准确性。

Description

一种信息处理方法、装置、设备及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习技术领域，具体涉及一种信息处理方法、装置、设备及介质。

背景技术

预训练模型ERNIE作为一种语义模型，是在BERT模型思想的基础上，对BERT模型预训练时的逻辑进行了改进，同时预训练的数据大量采用了中文数据集，因此ERNIE模型更加符合中文文本任务的使用需求。

相关技术在对ERNIE模型进行训练时，通常是根据ERNIE模型针对训练样本的输出结果，与预先标定的正确结果之间的差异，对ERNIE模型的参数进行调整。

然而，相关技术中仅通过结果差异对ERNIE模型进行调整，容易导致ERNIE模型的训练结果较差，语义理解准确性较低。

发明内容

本公开提供了一种信息处理方法、装置、设备及介质。

根据本公开的一方面，提供了一种信息处理方法，所述方法包括：

获取与知识增强的语义表示ERNIE模型对应的训练样本集；

针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

根据本公开的另一方面，提供了一种信息处理装置，所述装置包括：

样本获取模块，用于获取与知识增强的语义表示ERNIE模型对应的训练样本集；

模型调整模块，用于针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开中任一实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一实施例所述的方法。

本公开实施例的技术方案可以简化ERNIE模型的训练复杂度，在提高ERNIE模型的训练效率的同时，保证ERNIE模型输出结果的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

图1是根据本公开实施例的一种信息处理方法的示意图；

图2是根据本公开实施例的又一种信息处理方法的示意图；

图3a是根据本公开实施例的又一种信息处理方法的示意图；

图3b是根据本公开实施例的一种ERNIE模型的结构示意图；

图4是根据本公开实施例的一种信息处理装置的结构示意图；

图5是根据本公开实施例的信息处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开实施例的一种信息处理方法的流程示意图，本实施例适用于对ERNIE模型进行训练的情形，该方法可以通过信息处理装置来执行，该装置可以通过软件和/或硬件的方式实现，并一般可以集成在具有数据处理功能的终端或者服务器中。具体的，参考图1，该方法具体包括如下步骤：

S110、获取与知识增强的语义表示ERNIE模型对应的训练样本集。

在本实施例中，训练样本集与ERNIE模型对应的模型训练任务相匹配，训练样本集中可以包括多个训练样本。模型训练任务可以为与ERNIE模型对应的语义分析任务，包括语义预测任务，以及语义关联度识别任务等。其中，语义预测任务，可以理解为对文本中的遮掩标识进行预测。语义关联度识别任务，可以理解为对多个文本内容之间的语义关联度进行识别。

在一个具体的实施例中，如果模型训练任务为语义预测任务，则对应的训练样本中可以包括包含遮掩标识的待测文本、以及遮掩标识对应的标注结果。例如，假设模型训练任务为语义预测任务，训练样本中可以包括待测文本“你xxCTR是什么吗”，其中，遮掩标识“xx”对应的标注结果可以为“明白、了解”等。

在另一个具体的实施例中，如果模型训练任务为语义关联度识别任务，则对应的训练样本中可以包括多个待识别文本、以及多个待识别文本之间语义关联度的标注结果。例如，假设模型训练任务为语义关联度识别任务，训练样本中可以包括第一待测文本“我不理解CTR是什么”，第二待测文本“CTR，用于表示用户点击并进入网站的次数占总次数的比例”，其中，第一待测文本与第二待测文本之间的关联度为90％。

S120、针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

在本实施例中，可以在多个训练样本中依次选择一个训练样本作为目标训练样本。

在对目标训练样本进行学习时，可以首先将目标训练样本输入至ERNIE模型中，通过ERNIE模型对目标训练样本进行特征提取，对提取到的多个特征进行随机遗漏处理(dropout)，即对多个特征中的一部分特征进行随机忽略(使一部分特征的特征值为0)，并获取ERNIE模型针对处理后的特征得到的第一次输出结果。

然后将上述目标训练样本再次输入至ERNIE模型中，并重复执行上述步骤，获取ERNIE模型针对随机遗漏处理后的特征得到的第二次输出结果。

最后可以计算第一次输出结果与第二次输出结果之间的差异(也即相对熵)，并根据相对熵对ERNIE模型进行参数调整。

在对ERNIE模型的参数调整完成之后，返回执行在多个训练样本中依次选择一个训练样本作为目标训练样本的操作，直至完成对全部训练样本的处理，由此得到与模型训练任务对应的调整后模型。

这样设置的好处在于，通过对训练样本的特征进行随机遗漏处理，可以减小特征之间的相互作用，降低模型训练结果对一些局部特征的依赖性，由此可以提高ERNIE模型的泛化能力；其次，通过将训练样本两次输入至ERNIE模型中，根据相对熵对ERNIE模型进行参数调整，可以提高ERNIE模型的训练效果，保证ERNIE模型输出结果的准确性。

本公开实施例的技术方案，通过获取与知识增强的语义表示ERNIE模型对应的训练样本集，针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型的技术手段，可以简化ERNIE模型的训练复杂度，在提高ERNIE模型的训练效率的同时，保证ERNIE模型输出结果的准确性。

图2是根据本公开实施例的又一种信息处理方法的流程示意图，本实施例是对上述技术方案的进一步细化，对于训练样本涉及敏感信息的场景，相关技术中通常只能获取有限的训练样本，由于训练样本数量较少，容易导致ERNIE模型学习不充分。为了解决上述问题，本实施例提供了又一种信息处理方法，可以参考图2，该方法具体包括如下步骤：

S210、采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集。

在本实施例中，可以在与模型训练任务匹配的有限获取环境下，收集多个标准文本。其中，标准文本与获取环境相匹配。可选的，如果模型训练任务为工作环境中的语义预测任务，则标准文本可以为在工作环境下收集的包含业务词汇的待测文本。

在此步骤中，可选的，可以根据模型训练任务的任务类型，对标准文本进行处理，然后根据处理后的标准文本，形成标准样本。例如，当模型训练任务为语义预测任务时，收集到标准文本后，可以根据预设的遮掩标识对标准文本进行遮掩处理，然后将处理后的标准文本，以及遮掩标识对应的标注结果共同作为标准样本。当模型训练任务为语义关联度识别任务是，收集到多个标准文本后，可以计算多个标准文本之间的语义关联度，然后将多个标准文本，以及多个标准文本之间的语义关联度共同作为标准样本。

在得到多个标准样本组成的标准样本集之后，可以对每个标准样本中的文本内容进行微调(例如替换或删除随机字符)，得到多个新的样本，并将多个新的样本添加至标准样本集中，形成训练样本集。

这样设置的好处在于，可以扩大训练样本集的规模，避免训练样本数量有限，导致ERNIE模型学习不充分的问题，由此可以提高ERNIE模型的训练效果，保证ERNIE模型输出结果的准确性。

在本实施例的一个实施方式中，采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集，包括下述至少一项：对标准样本中的文本字符进行随机遮掩处理，形成新的样本；从标准样本中随机去除至少一个字符，形成新的样本；对标准样本中的至少一个分词进行词向量近义词替换，形成新的样本；以及将包含遮掩标识的标准样本输入至所述ERNIE模型中，获取所述ERNIE模型对所述遮掩标识的预测字符后，使用所述预测字符替换标准样本中的遮掩标识，形成新的样本。

在一个具体的实施例中，可以在标准样本中随机选取文本字符，然后对该文本字符进行删除，或者使用预设掩码对该文本字符进行替换，得到新的样本。

在另一个具体的实施例中，还可以利用预设的分词技术对标准样本进行切分，得到标准样本对应的至少一个原始分词，然后计算原始分词的词向量，并根据词向量在预设的分词库中获取与原始分词距离最近的目标分词(也即与原始分词对应的近义词)，最后使用目标分词对原始分词进行替换，得到新的样本。其中，分词库中预先存储了多个分词，以及各分词分别对应的词向量。

在另一个具体的实施例中，由于ERNIE模型具备较强的语义建模能力，将包含遮掩标识的标准样本输入至ERNIE模型后，ERNIE模型会根据标准样本的语义对遮掩标识进行预测，得到遮掩标识对应的预测字符。可选的，可以使用预测字符对标准样本中的遮掩标识进行替换，得到新的样本。

这样设置的好处在于，通过使用上述至少一项方式对标准样本进行处理，可以保证在不影响标准样本语义的情况下，对标准样本集进行扩充，通过使用大规模的训练样本集对ERNIE模型进行训练，可以提高ERNIE模型的训练效果，保证ERNIE模型输出结果的准确性。

S220、通过所述ERNIE模型，对当前输入的目标训练样本进行特征编码，得到与所述目标训练样本对应的目标样本特征集。

在本实施例中，ERNIE模型中可以包括：编码模块以及分类模块，分类模块中可以包括：全连接层以及逻辑回归层。

在此步骤中，可选的，可以通过编码模块最后一层(也即末位特征提取层)，对当前输入的目标训练样本进行特征编码，得到目标训练样本对应的目标样本特征集，所述目标样本特征集中包括了多个目标样本特征。

S230、通过所述ERNIE模型，针对所述目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集。

在此步骤中，可以将各目标样本特征输入至ERNIE模型中的分类模块，分类模块中的全连接层可以对各目标样本特征进行第一次随机遗漏处理(dropout)，即对全部目标样本特征中的一部分特征进行忽略(使一部分特征的特征值为0)，将剩余的另一部分特征作为第一特征集。

然后将各目标样本特征再次输入至ERNIE模型中的分类模块，分类模块中的全连接层可以对各目标样本特征进行第二次随机遗漏处理(dropout)，即对全部目标样本特征中的一部分特征进行忽略，将剩余的另一部分特征作为第二特征集。

S240、通过所述ERNIE模型，采用预设的分类算法对所述第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数。

在此步骤中，可以将第一特征集输入至分类模块中的逻辑回归层，通过逻辑回归层采用预设的分类算法，对第一特征集对应的分布函数进行计算，得到第一分布函数。

然后将第二特征集输入至逻辑回归层，通过逻辑回归层采用预设的分类算法，对第二特征集对应的分布函数进行计算，得到第二分布函数。

S250、通过所述ERNIE模型，根据所述第一分布函数和所述第二分布函数，计算与所述目标训练样本对应的相对熵。

在此步骤中，可选的，可以计算第一分布函数和第二分布函数之间的距离，将距离作为目标训练样本对应的相对熵。

S260、根据所述相对熵，对模型参数进行调整，得到与模型训练任务对应的调整后模型。

在本实施例中，如果相对熵的值较大，则可以认为ERNIE模型的训练结果较差，并对ERNIE模型的参数进行调整，以减小相对熵的值。

这样设置的好处在于，相比于相关技术中通过全连接层获取训练样本全部特征的方式而言，通过全连接层对目标样本特征进行随机遗漏处理，可以减小特征之间的相互作用，降低模型训练结果对一些局部特征的依赖性，由此可以提高ERNIE模型的泛化能力；其次，通过将目标样本特征连续两次输入至分类模块中，并根据目标训练样本对应的相对熵对ERNIE模型进行参数调整，可以提高ERNIE模型的训练效果，保证ERNIE模型输出结果的准确性。

本公开实施例的技术方案，通过采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的训练样本集，通过ERNIE模型对当前输入的目标训练样本进行特征编码，得到与目标训练样本对应的目标样本特征集，通过ERNIE模型针对目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集，通过ERNIE模型采用预设的分类算法对第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数，通过ERNIE模型根据第一分布函数和第二分布函数，计算与目标训练样本对应的相对熵，根据相对熵对模型参数进行调整，得到与模型训练任务对应的调整后模型的技术手段，可以简化ERNIE模型的训练复杂度，在提高ERNIE模型的训练效率的同时，保证ERNIE模型输出结果的准确性。

在上述实施例的基础上，模型训练任务可以包括即时通讯场景中关于输入信息的意图识别任务；与该意图识别任务对应的训练样本中可以包括：意图信息、输入信息以及输入信息是否与意图信息相匹配的标注结果。

其中，即时通讯(InstantMessaging，IM)场景可以为通过网络进行实时通信的场景，允许两人或多人通过即时传递文字消息、文件、语音与视频进行交流。意图识别任务可以为在即时通讯场景中，根据聊天用户的输入信息，识别出聊天用户对于特定信息的了解、使用意图。

其中，本实施例在构建训练样本时使用的输入信息需要在用户的授权下获取，且上述输入信息并不是针对某一特定用户获取的信息，也并不能反映出某一特定用户的个人信息。也即，上述输入信息的获取仅用于训练得到意图识别模型，并不作为其他用途。

需要强调的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

如果模型训练任务为意图识别任务，在获取到聊天用户的输入信息后，可以根据预设的实体库对输入信息进行实体识别，如果确定在输入信息中识别到实体，则可以在实体库中获取与该实体对应的实体类型，并将该实体与对应的实体类型进行组合，得到意图信息。其中，实体类型用于描述意图信息的意图。

在一个具体的实施例中，假设实体库中存储了以下实体：“刘xx”和“周报”，其中“刘xx”对应的实体类型为“人员”，“周报”对应的实体类型为“APP”。如果输入信息为“记得写周报”，使用实体库对该输入信息进行实体识别后，得到的实体可以为“周报”，与该实体对应的实体类型为“APP”，因此与所述输入信息对应的意图信息为“周报，APP”。

在一个具体的实施例中，假设意图信息为“周报，APP”，上述意图信息用于表示打开“周报”这一应用程序的意图；

在另一个具体的实施例中，假设意图信息为“刘xx，人员”，上述意图信息用于表示获取“刘xx”的人员联系方式的意图等。

在本实施例中，如果模型训练任务为意图识别任务，训练样本中还包括输入信息是否与意图信息相匹配的标注结果，例如，假设某一训练样本中的输入信息为“这个问题找刘xx吧，他对细节更清楚”，对应的意图信息为“刘xx，人员”，由于上述输入信息中包含关于找“刘xx”人员信息的意图，则对应的标注结果可以设置为1(也即匹配标签)。假设另一训练样本中的输入信息为“刘xx已上线，我也准备上线”，对应的意图信息为“刘xx，人员”，由于输入信息中不包含关于找“刘xx”人员信息的意图，则对应的标注结果可以设置为0(也即非匹配标签)。

在本实施例中，获取到意图识别任务对应的训练样本集后，可以采用上述训练方式，使用训练样本集对ERNIE模型进行训练，得到意图识别模型。意图识别模型可以应用在即使通讯场景中，通过意图识别模型可以准确快速地确定输入信息是否与意图信息相匹配，如果是，则可以在预设的知识图谱中获取与意图信息匹配的信息，并将信息推送给目标终端。其中，所述目标终端可以是输入信息对应的聊天用户所使用的终端或者随身设备(例如，手环或者手表等)，也可以是即时通讯场景中(一对一聊天场景或者群聊场景等)的全部聊天用户所使用的终端或者随身设备等，本实施例对此并不进行限制。

这样设置的好处在于，可以使用户快速了解、使用各种类型的信息，提高不同聊天用户之间的沟通效率。

在一个具体的实施例中，假设输入信息为“记得写周报”，对应的意图信息为“周报，APP”，与该意图信息匹配的信息可以是进入周报应用程序的链接；假设输入信息为“这个问题找刘xx吧，他对细节更清楚”，对应的意图信息为“刘xx，人员”，与该意图信息匹配的信息可以是“刘xx”的人员名片信息。

图3a是根据本公开实施例的又一种信息处理方法的流程示意图，本实施例是对上述技术方案的进一步细化，可以参考图3a，该方法具体包括如下步骤：

S310、获取多个原始信息。

在本实施例中，原始信息可以为在即时通讯场景中，聊天用户输入的历史信息。

S320、对各原始信息进行以下至少一项处理，得到用于生成标准样本的输入信息：删除无效的信息；删除信息中的内容无关字符。

本实施例中，全部原始信息中一般会包含与聊天用户意图识别无关的信息，为了提升意图识别模型的在线预测性能，需要在全部原始信息中适当删除一些无效的信息，以及信息中与意图识别无关的字符(例如标点符号等)。其中，可选的，假设即时通讯场景为企业通讯场景，无效的信息可以为与工作业务无关的信息，例如娱乐活动分享的链接等；假设即时通讯场景为购物通讯场景，无效的信息可以为与购物无关的信息，例如投票链接等。

这样设置的好处在于，通过在全部原始信息中去除无效的信息，可以减少ERNIE模型的工作量，提高ERNIE模型的工作效率。

在本实施例的一个实施方式中，无效的信息包括：目标语言字符的占比小于或等于预设门限值的消息。

在一个具体的实施例中，聊天用户在使用应用程序进行通讯时，对于大篇幅数据或者代码形式的信息，通常不需要进行意图识别。在这种情况下，可以统计原始信息中中文字符与全部字符的占比，判断占比是否小于或等于预设门限值，若是，则可以将该原始信息作为无效的信息。

这样设置的好处在于，可以在即时通讯场景中，有效去除与聊天用户意图无关的信息，由此提高ERNIE模型的在线预测性能，提高即时通讯场景下用户之间的沟通效率。

在本实施例中，可选的，删除信息中的内容无关字符，包括以下至少一项：按照预设的正则匹配规则，删除信息中包括的统一资源定位(Uniform Resource Locator，URL)符、存储路径以及存储目录中的至少一项；在检测到所述信息中包括机器名时，将所述机器名使用预设的截短字符串替代。

在本实施例中，可选的，可以利用预设的正则表达式与原始信息中的URL字符、存储路径以及存储目录进行匹配，并将匹配到的内容进行删除。此外，还可以使用预设的机器名与原始信息中的词语进行比较，如果原始信息中包括与预设机器名一样的词语，则将该词语用预设的截短字符串替代。

这样设置的好处在于，可以减少输入信息的长度，节省ERNIE模型对内容无关字符的处理时间，提高ERNIE模型的工作效率。

S330、采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集。

在本实施例中，生成输入信息之后，可以采用方式确定与输入信息对应的意图信息，并将意图信息、输入信息以及输入信息是否与意图信息相匹配的标注结果作为一个标准样本。在完成对多个输入信息的处理之后，可以生成由多个标准样本组成的标准样本集。

S340、通过所述ERNIE模型，对所述目标训练样本中的目标输入信息进行特征编码，得到与所述目标训练样本对应的目标样本特征集。

在本实施例中，图3b为一种ERNIE模型的结构示意图，如图3b所示，目标训练样本可以包括目标意图信息(包括字段Tok1、Tok2……TokN)、目标输入信息(包括字段Sok1、Sok2……SokN)以及目标输入信息是否与目标意图信息相匹配的标注结果，将目标训练样本输入ERNIE模型中后，ERNIE模型中的编码模块会计算目标训练样本中目标意图信息和目标输入信息分别对应的特征。以图3b为例，目标意图信息对应的特征包括T_1、T_2……T_N，目标输入信息对应的特征包括S_1、S_2……S_N。其中，目标意图信息和目标输入信息中每个字段对应一个特征。

在特征计算完成之后，编码模块的末位特征提取层会获取目标输入信息对应的特征(也即S_1、S_2……S_N)，并将此特征作为目标训练样本对应的目标样本特征。

这样设置的好处在于，由于意图信息的内容通常都是固定的，其特征相对单一，在对ERNIE模型的训练过程中，真正对输出结果准确率有硬影响的是输入信息的特征。因此，为了提高ERNIE模型的训练效率，可以去掉意图信息的特征，仅获取输入信息的特征作为样本特征，由此可以减少ERNIE模型的计算量，提高ERNIE模型的训练效率。

在一个具体的实施例中，如图3b所示，可以对意图信息扩展到固定长度(比如16位)，以便于ERNIE模型对输入信息的特征进行提取。

S350、通过所述ERNIE模型，针对所述目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集。

在此步骤中，如图3b所示，可以首先将各目标样本特征输入至分类模块中，分类模块中的全连接层可以对各目标样本特征进行随机遗漏处理，得到第一特征集，然后将各目标样本特征再次输入至分类模块中，分类模块中的全连接层可以对各目标样本特征进行随机遗漏处理，得到第二特征集。

S360、通过所述ERNIE模型，采用预设的分类算法对所述第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数。

在此步骤中，如图3b所示，可以将第一特征集输入至分类模块中的逻辑回归层，通过逻辑回归层采用预设的分类算法，对第一特征集对应的分布函数进行计算，得到第一分布函数。

然后将第二特征集输入至逻辑回归层，通过逻辑回归层采用预设的分类算法，对第二特征集对应的分布函数进行计算，得到第二分布函数。

S370、通过所述ERNIE模型，根据所述第一分布函数和所述第二分布函数，计算与所述目标训练样本对应的相对熵。

S380、根据相对熵，对模型参数进行调整，得到与模型训练任务对应的调整后模型。

在本实施例中，通过所述训练样本集对ERNIE模型进行训练之后，可以得到用于对即时通讯场景中输入信息进行意图识别的模型。

本公开实施例的技术方案，通过获取多个原始信息，对各原始信息中无效的信息以及内容无关字符进行删除，得到用于生成标准样本的输入信息，采用数据增强算法对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的训练样本集，通过ERNIE模型对目标训练样本中的目标输入信息进行特征编码，得到目标样本特征集，通过ERNIE模型针对目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集，通过ERNIE模型采用预设的分类算法对第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数，通过ERNIE模型根据第一分布函数和第二分布函数，计算与目标训练样本对应的相对熵，根据相对熵对模型参数进行调整，得到与模型训练任务对应的调整后模型的技术手段，可以提高意图识别模型的训练效果，保证意图识别模型输出结果的准确性。

本公开实施例还提供了一种信息处理装置，用于执行上述的信息处理方法。

图4为本公开实施例提供的一种信息处理装置400的结构图，该装置包括：样本获取模块410和模型调整模块420。

其中，样本获取模块410，用于获取与知识增强的语义表示ERNIE模型对应的训练样本集；

模型调整模块420，用于针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

本公开实施例的技术方案，通过获取与ERNIE模型对应的训练样本集，针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型的技术手段，可以简化ERNIE模型的训练复杂度，在提高ERNIE模型的训练效率的同时，保证ERNIE模型输出结果的准确性。

在上述各实施例的基础上，所述样本获取模块410包括：

样本扩充单元，用于采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集；

所述样本扩充单元包括：

遮掩处理子单元，用于对标准样本中的文本字符进行随机遮掩处理，形成新的样本；

字符去除子单元，用于从标准样本中随机去除至少一个字符，形成新的样本；

分词替换子单元，用于对标准样本中的至少一个分词进行词向量近义词替换，形成新的样本；

字符预测子单元，用于将包含遮掩标识的标准样本输入至所述ERNIE模型中，获取所述ERNIE模型对所述遮掩标识的预测字符后，使用所述预测字符替换标准样本中的遮掩标识，形成新的样本；

原始信息获取单元，用于获取多个原始信息；

原始信息处理单元，用于对各原始信息进行以下至少一项处理，得到用于生成标准样本的输入信息：

删除无效的信息；

删除信息中的内容无关字符；

所述无效的信息包括：目标语言字符的占比小于或等于预设门限值的消息；

所述原始信息处理单元，还用于按照预设的正则匹配规则，删除信息中包括的统一资源定位符、存储路径以及存储目录中的至少一项；在检测到所述信息中包括机器名时，将所述机器名使用预设的截短字符串替代。

所述模型调整模块420包括：

特征编码单元，用于通过所述ERNIE模型，对当前输入的目标训练样本进行特征编码，得到与所述目标训练样本对应的目标样本特征集；

遗漏处理单元，用于通过所述ERNIE模型，针对所述目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集；

函数确定单元，用于通过所述ERNIE模型，采用预设的分类算法对所述第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数；

相对熵计算单元，用于通过所述ERNIE模型，根据所述第一分布函数和所述第二分布函数，计算与所述目标训练样本对应的相对熵；

参数调整单元，用于根据所述相对熵，对模型参数进行调整；

所述训练样本中包括：意图信息、输入信息以及所述输入信息是否与所述意图信息相匹配的标注结果；

所述特征编码单元包括：

输入信息编码子单元，用于通过所述ERNIE模型，对所述目标训练样本中的目标输入信息进行特征编码，得到与所述目标训练样本对应的目标样本特征集。

本公开实施例所提供的信息处理装置可执行本公开任意实施例所提供的信息处理方法，具备执行方法相应的功能模块和有益效果。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如信息处理方法。例如，在一些实施例中，信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种信息处理方法，所述方法包括：

获取与知识增强的语义表示ERNIE模型对应的训练样本集；

针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

2.根据权利要求1所述的方法，其中，针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对ERNIE模型进行精调，包括：

通过所述ERNIE模型，对当前输入的目标训练样本进行特征编码，得到与所述目标训练样本对应的目标样本特征集；

通过所述ERNIE模型，针对所述目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集；

通过所述ERNIE模型，采用预设的分类算法对所述第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数；

通过所述ERNIE模型，根据所述第一分布函数和所述第二分布函数，计算与所述目标训练样本对应的相对熵；

根据所述相对熵，对模型参数进行调整。

3.根据权利要求2所述的方法，其中，所述训练样本中包括：意图信息、输入信息以及所述输入信息是否与所述意图信息相匹配的标注结果。

4.根据权利要求3所述的方法，其中，通过所述ERNIE模型，对当前输入的目标训练样本进行特征编码，得到与所述目标训练样本对应的目标样本特征集，包括：

通过所述ERNIE模型，对所述目标训练样本中的目标输入信息进行特征编码，得到与所述目标训练样本对应的目标样本特征集。

5.根据权利要求3所述的方法，其中，获取与ERNIE模型对应的训练样本集，包括：

采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集。

6.根据权利要求5所述的方法，其中，采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集，包括下述至少一项：

对标准样本中的文本字符进行随机遮掩处理，形成新的样本；

从标准样本中随机去除至少一个字符，形成新的样本；

对标准样本中的至少一个分词进行词向量近义词替换，形成新的样本；以及

将包含遮掩标识的标准样本输入至所述ERNIE模型中，获取所述ERNIE模型对所述遮掩标识的预测字符后，使用所述预测字符替换标准样本中的遮掩标识，形成新的样本。

7.根据权利要求5所述的方法，其中，在采用数据增强算法，对第一数据规模的标准样本集进行样本扩充之前，还包括：

获取多个原始信息；

对各原始信息进行以下至少一项处理，得到用于生成标准样本的输入信息：

删除无效的信息；

删除信息中的内容无关字符。

8.根据权利要求7所述的方法，其中，所述无效的信息包括：目标语言字符的占比小于或等于预设门限值的消息。

9.根据权利要求7所述的方法，其中，所述删除信息中的内容无关字符，包括以下至少一项：

按照预设的正则匹配规则，删除信息中包括的统一资源定位符、存储路径以及存储目录中的至少一项；

在检测到所述信息中包括机器名时，将所述机器名使用预设的截短字符串替代。

10.一种信息处理装置，所述装置包括：

样本获取模块，用于获取与知识增强的语义表示ERNIE模型对应的训练样本集；

模型调整模块，用于针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

11.根据权利要求10所述的装置，其中，所述模型调整模块包括：

特征编码单元，用于通过所述ERNIE模型，对当前输入的目标训练样本进行特征编码，得到与所述目标训练样本对应的目标样本特征集；

遗漏处理单元，用于通过所述ERNIE模型，针对所述目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集；

函数确定单元，用于通过所述ERNIE模型，采用预设的分类算法对所述第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数；

相对熵计算单元，用于通过所述ERNIE模型，根据所述第一分布函数和所述第二分布函数，计算与所述目标训练样本对应的相对熵；

参数调整单元，用于根据所述相对熵，对模型参数进行调整。

12.根据权利要求11所述的装置，其中，所述训练样本中包括：意图信息、输入信息以及所述输入信息是否与所述意图信息相匹配的标注结果。

13.根据权利要求12所述的装置，其中，所述特征编码单元包括：

输入信息编码子单元，用于通过所述ERNIE模型，对所述目标训练样本中的目标输入信息进行特征编码，得到与所述目标训练样本对应的目标样本特征集。

14.根据权利要求12所述的装置，其中，所述样本获取模块包括：

样本扩充单元，用于采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集。

15.根据权利要求14所述的装置，其中，所述样本扩充单元包括：

遮掩处理子单元，用于对标准样本中的文本字符进行随机遮掩处理，形成新的样本；

字符去除子单元，用于从标准样本中随机去除至少一个字符，形成新的样本；

分词替换子单元，用于对标准样本中的至少一个分词进行词向量近义词替换，形成新的样本；

字符预测子单元，用于将包含遮掩标识的标准样本输入至所述ERNIE模型中，获取所述ERNIE模型对所述遮掩标识的预测字符后，使用所述预测字符替换标准样本中的遮掩标识，形成新的样本。

16.根据权利要求14所述的装置，所述样本获取模块还包括：

原始信息获取单元，用于获取多个原始信息；

原始信息处理单元，用于对各原始信息进行以下至少一项处理，得到用于生成标准样本的输入信息：

删除无效的信息；

删除信息中的内容无关字符。

17.根据权利要求16所述的装置，其中，所述无效的信息包括：目标语言字符的占比小于或等于预设门限值的消息。

18.根据权利要求16所述的装置，其中，所述原始信息处理单元，还用于按照预设的正则匹配规则，删除信息中包括的统一资源定位符、存储路径以及存储目录中的至少一项；在检测到所述信息中包括机器名时，将所述机器名使用预设的截短字符串替代。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

Images