CN114281932A - 工单质检模型的训练方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种工单质检模型的训练方法、装置、设备及存储介质，属于自然语言处理领域。该方法包括：获取样本工单数据和所述样本工单数据的分类标签；将所述样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度；计算模型预测概率修正后得到的修正预测概率；计算所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差；基于所述模型预测误差对所述工单质检模型进行后向误差传播训练，得到所述工单质检模型。本申请增加了置信度预测网络，通过预测置信度描述模型预测概率的可信程度，并对模型预测概率进行修正，降低了分类标签的标注情况对工单质检模型的影响，提高了工单质检模型进行工单质检的稳定性。

Description

工单质检模型的训练方法、装置、设备及存储介质

技术领域

本申请涉及自然语言处理领域，特别涉及一种工单质检模型的训练方法、装置、设备及存储介质。

背景技术

工单质检是判断工单数据是否为异常工单数据的过程，用于筛选存在错误或风险的工单数据。

目前多使用提取工单数据的大量特征，并标注错误类型的方法，使用机器学习模型对标注的工单数据的错误类型进行质检，筛选出存在错误或风险的工单数据。

由于无法对工单数据出现的所有错误类型进行标注，且在工单质检的过程中依赖标注错误类型的数据，工单质检会出现无法准确判断异常工单数据的问题。

发明内容

本申请提供了一种工单质检模型的训练方法、装置、设备及存储介质，通过增加了置信度预测网络，增加了预测置信度作为评价工单质检模型的指标，提高了工单质检模型进行工单质检的稳定性。所述技术方案如下：

根据本申请的一方面，提供了一种工单质检模型的训练方法，所述方法包括：

获取样本工单数据和所述样本工单数据的分类标签，所述分类标签用于表示所述样本工单数据是否为异常工单数据；

将所述样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度，所述预测置信度用于描述预测得出的所述模型预测概率的可信程度；

采用所述模型预测概率和所述预测置信度和所述样本工单数据的分类标签，计算修正预测概率；

计算所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差；

基于所述模型预测误差对所述工单质检模型进行后向误差传播训练，以得到训练后的所述工单质检模型。

根据本申请的另一方面，提供了一种工单质检模型的训练装置，所述装置包括：

第一获取模块，用于获取样本工单数据和所述样本工单数据的分类标签，所述分类标签用于表示所述样本工单数据是否为异常工单数据；

第一处理模块，用于将所述样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度，所述预测置信度用于描述预测得出的所述模型预测概率的可信程度；

修正模块，用于采用所述模型预测概率和所述预测置信度和所述样本工单数据的分类标签，计算修正预测概率；

计算模块，用于计算所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差；

训练模块，用于基于所述模型预测误差对所述工单质检模型进行后向误差传播训练，以得到训练后的所述工单质检模型。

在本申请的一个可选设计中，所述工单质检模型，包括特征提取网络、质检预测网络和置信度预测网络；

所述第一处理模块，还用于：

将所述样本工单数据的特征表示输入所述特征提取网络，得到所述样本工单数据的特征表示的隐层表示；

将所述隐层表示输入所述质检预测网络，得到所述模型预测概率；

将所述隐层表示输入所述置信度预测网络，得到所述预测置信度。

在本申请的一个可选设计中，

所述特征提取网络包括级联的n1层前馈神经网络和n2层全连接层神经网络；

所述质检预测网络包括n3层前馈神经网络；

所述置信度预测网络包括n4层前馈神经网络；

其中，n1、n2、n3和n4均为大于1的整数。

在本申请的一个可选设计中，所述计算模块，包括：

误差计算单元，用于基于所述修正预测概率和所述样本工单数据的分类标签，计算第一误差；

误差修正单元，用于基于所述预测置信度，对所述第一误差进行修正，得到所述模型预测误差。

在本申请的一个可选设计中，所述误差修正单元，还用于：

基于所述预测置信度，计算第二误差；

基于所述第一误差和所述第二误差，得到所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差。

在本申请的一个可选设计中，

所述模型预测误差中，所述第一误差和所述预测置信度呈现正相关关系，所述第二误差和所述预测置信度呈现负相关关系；

或，

所述模型预测误差中，所述第一误差和所述预测置信度呈现负相关关系，所述第二误差和所述预测置信度呈现正相关关系。

在本申请的一个可选设计中，所述第一误差是所述样本工单数据的分类标签关于所述修正预测概率的负对数似然函数。

在本申请的一个可选设计中，所述第二误差是所述预测置信度的负对数函数。

在本申请的一个可选设计中，所述装置还包括：

第二获取模块，用于获取输入工单数据；

第二处理模块，用于将所述输入工单数据输入所述工单质检模型，得到模型预测概率；

输出模块，用于将所述模型预测概率满足质检条件的工单数据确定为异常工单数据，以及输出所述异常工单数据，其中，所述质检条件是基于所述输入工单数据对应的所述模型预测概率设置的，所述异常工单数据是所述输入工单数据中的部分或全部数据。

在本申请的一个可选设计中，所述质检条件，包括：

所述模型预测概率大于m1，m1为大于等于0且小于1的数；

或，

将所述输入工单数据按所述模型预测概率由高至低的规则进行排序，排序在前的m2个所述输入工单数据，m2为大于0且小于等于所述输入工单数据的数量的整数。

根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的工单质检模型的训练方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的工单质检模型的训练方法。

根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现上述如上方面所述的工单质检模型的训练方法。

本申请提供的技术方案带来的有益效果至少包括：增加了置信度预测网络，通过预测置信度描述模型预测概率的可信程度，增加了预测置信度作为评价工单质检模型的指标；使用预测置信度对模型预测概率进行修正，使用经过修正后得到的修正预测概率，计算修正预测概率与样本工单数据的分类标签之间的误差，增加了在工单质检模型训练过程中评价模型预测误差的维度，降低了样本工单数据的分类标签的标注情况对工单质检模型的影响，提升了工单质检模型的训练效果，提高了工单质检模型进行工单质检的稳定性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的工单质检模型的训练和/或使用的计算机系统的框图；

图2是本申请一个示例性实施例提供的工单质检模型的训练和/或使用方法的示意图；

图3是本申请一个示例性实施例提供的工单质检模型的训练方法的流程图；

图4是本申请一个示例性实施例提供的工单质检模型的训练方法的流程图；

图5是本申请一个示例性实施例提供的工单质检模型的训练方法的流程图；

图6是本申请一个示例性实施例提供的工单质检模型的训练方法的流程图；

图7是本申请一个示例性实施例提供的工单质检模型的训练方法的流程图；

图8是本申请一个示例性实施例提供的工单质检模型的训练装置的结构框图；

图9是本申请一个示例性实施例提供的服务器的结构框图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

图1示出了本申请一个实施例提供的工单质检模型的训练和/或使用的计算机系统的框图。该系统可以包括：终端110、客户端120、服务器130、工单质检模型140、网络150。

客户端120用于获取工单数据，并将工单数据发送给服务器130。用工单数据可以是样本工单数据和样本工单数据的分类标签，实现工单质检模型的训练过程；也可以是输入工单数据，实现工单质检模型的使用过程。工单质检模型的使用过程和训练过程可以通过一个客户端实现，也可以通过多个客户端分别实现。

客户端120可以安装在终端110上。示例性的，终端110包括但不限于下述计算机设备中的至少一种：智能手机、平板电脑、笔记本电脑、台式计算机。

服务器130是本申请构建的工单质检模型140的运行方和工单质检服务的提供方。服务器130可以接收客户端120发送的输入工单数据，进行工单质检后，将输入工单数据中的异常工单数据发送给客户端120。服务器130还可以接收客户端120发送的样本工单数据和样本工单数据的分类标签，进行工单质检模型的训练后，更新工单质检模型140，并将工单质检模型140存储在服务器130上。可选的，服务器130可以将工单质检模型140发送给终端110。

服务器130具备承担响应工单质检模型的训练和/或使用的服务请求、承担工单质检模型的训练和/或使用、保障工单质检模型的训练和/或使用能力中的至少一种能力。

可选地，进行工单质检模型的训练和/或使用的过程中服务器130承担主要计算工作，终端110承担次要计算工作；或者，服务器130承担次要计算工作，终端110承担主要计算工作；或者，服务器130和终端110之间采用分布式计算架构进行协同计算。

终端110与服务器130之间的通信通过网络150实现，网络150的通信方式包括但不限于通过有线或无线方式，实现终端110与服务器130之间的直接或间接通信。

在工单质检模型的训练的过程中，增加了置信度预测网络，通过预测置信度描述模型预测概率的可信程度，并结合模型预测概率共同训练工单质检模型，使用工单质检模型，更准确地的得到工单数据中的异常工单数据。

工单数据是记录工作的完成情况的数据，工单数据可以是文字内容，也可以是语音数据。

异常工单数据是存在错误或风险的工单数据，在本实施例中，对工单数据的错误或风险类别不作出任何限制。示例性的，工单数据的错误或风险类别包括但不限于下述类别中的至少一种：服务类别错误、服务内容错误、服务态度冷淡、服务内容生硬、服务效果差。

如图2所示，对于工单质检的训练和/或使用，可以分为训练工单质检模型220和/或使用训练后的工单质检模型250。

工单质检模型220包括特征提取网络221、置信度预测网络223和质检预测网络224。训练后的工单质检模型250包括特征提取网络251和质检预测网络253。

在训练工单质检模型220的过程中，获取样本工单数据211和样本工单数据的分类标签212，将样本工单数据211输入特征提取网络221，得到本工单数据211对应的隐层表示222。将隐层表示222输入置信度预测网络223和质检预测网络224，并分别经过S型生长函数225和归一化函数226，得到预测置信度231和模型预测概率232。使用预测置信度231对模型预测概率232进行修正，得到修正预测概率233。使用修正预测概率233和样本工单数据的分类标签212，对工单质检模型220进行后向误差传播训练，得到训练后的工单质检模型250。

在使用训练后的工单质检模型250的过程中，获取输入工单数据241，将输入工单数据241输入特征提取网络251，得到输入工单数据241对应的隐层表示252。将隐层表示252输入质检预测网络253，并经过归一化函数254，得到模型预测概率261，基于模型预测概率261根据质检条件262判断输入工单数据241是否为异常工单数据263，输出异常工单数据263。

图3示出了本申请一个工单质检模型的训练方法的流程图。该方法可以由计算机设备执行。该方法包括：

步骤310：获取样本工单数据和样本工单数据的分类标签；

工单数据是记录工作的完成情况的数据，在本实施例中，对工单数据的记录方式不作出任何限制，示例性的，工单数据可以是文字内容，也可以是语音数据。对工单数据的数据来源不作出任何限制，示例性的，工单数据的数据来源包括但不限于下述来源中的至少一种：语音电话客服、文字客服。

样本工单数据是经过标注，有分类标签的工单数据，在本实施例中，对样本工单数据的标注方式不作出任何限制，示例性的，标注样本工单数据的方式包括但不限于下述方法中的至少一种：人工标注、机器学习模型标注。

样本工单数据的分类标签用于表示样本工单数据是否为异常工单数据，在本实施例中，对样本工单数据的分类标签的数量不作出任何限制。

异常工单数据是存在错误或风险的工单数据，在本实施例中，对工单数据的错误或风险类别不作出任何限制。示例性的，工单数据的错误或风险类别包括但不限于下述类别中的至少一种：

·服务类别错误；

比如：选择个人消费者业务服务类型为集团客户提供服务。

·服务内容错误；

比如：在服务对象需要账户号码时，为服务对象提供账户昵称。

·服务态度冷淡；

比如：在无法提供服务对象需要的服务时，不回复信息。

·服务内容生硬；

比如：在无法提供服务对象需要的服务时，仅回复欢迎语句。

·服务效果差。

比如：服务对象发送不满意、或笨、或未解决。

步骤320：将样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度；

样本工单数据的特征表示是与样本工单数据对应的一组特征向量。样本工单数据的特征表示是通过与样本工单数据进行映射得到的。

可选的，在通过映射得到样本工单数据的特征表示之前，可以对样本工单数据进行预处理，使用预处理工单数据进行映射得到样本工单数据的特征表示。在本实施例中，对样本工单数据的预处理方法不作出任何限制。示例性的，对样本工单数据的预处理方法包括但不限于下述方法中的至少一种：

·对样本工单数据进行数据处理；

比如，对第二样本工单进行时序变换、频域变换、特征谱提取、平滑处理、卷积运算。

·将样本工单数据输入机器学习模型。

比如，将样本工单数据输入编码网络得到经过预处理后的样本工单数据，编码网络是一种机器学习模型。

工单质检模型是用于将样本工单数据的特征表示转换为模型预测概率和预测置信度的机器学习模型；将样本工单数据作为样本数据，输入至工单质检模型，输出模型预测概率和预测置信度：

p,c＝f(x,θ)

其中，c表示预测置信度，p表示模型预测概率，f表示工单质检模型，x表示样本工单数据，θ表示样本工单数据的分类标签。

预测置信度用于描述预测得出的模型预测概率的可信程度，是使用机器学习模型预测得到的。示例性的，预测置信度越大表示越相信工单质检模型输出的模型预测概率可以完全正确的表示样本工单数据的分类标签。

预测置信度与样本工单数据的分类标签的标注情况有关。示例性的，预测置信度与样本工单数据的分类标签的标注情况之间的关系包括但不限于下述关系中的至少一种：

·预测置信度与分类标签在所有样本工单数据中的标注次数呈现正相关关系；

比如：在3000个样本工单数据中，有1000个标注为第一标签的样本工单数据和1500个标注为第二标签的样本工单数据；工单质检模型将待测工单数据预测为第一标签时的预测置信度低于将待测工单数据预测为第二标签时的预测置信度。

·预测置信度与工单质检模型得到的模型预测概率中分类标签的出现次数呈现正相关关系；

比如：第一预测置信度低于第二预测置信度；第一预测置信度是在工单质检模型第300次将待测工单数据的分类标签预测为第一标签时得到的；第二预测置信度是在工单质检模型第500次将待测工单数据的分类标签预测为第一标签时得到的。

模型预测概率用于描述工单质检模型预测的样本工单数据属于分类标签的概率。

步骤330：采用模型预测概率和预测置信度和样本工单数据的分类标签，计算修正预测概率；

使用预测置信度和模型预测概率和样本工单数据的分类标签对模型预测概率进行修正。示例性的，预测置信度越高，对模型预测概率进行的修正越少。在本实施例中，对使用预测置信度对模型预测概率进行修正的方法不作出任何限制。示例性的，对模型预测概率进行修正的方法包括但不限于下述方法：将预测置信度直接或间接的作为修正系数对模型预测概率进行修正。

示例性的，修正预测概率与模型预测概率和预测置信度和样本工单数据的分类标签之间的关系为：

p_i'＝c·p_i+(1-c)·y_i

其中，p_i'表示第i个分类标签的修正预测概率，c表示预测置信度，p_i表示第i个分类标签的模型预测概率，y_i表示样本工单数据标注为第i个分类标签的真实概率。y_i是基于样本工单数据的分类标签得到的，在样本工单数据的分类标签显示样本工单数据属于第i个分类标签的情况下，y_i＝1。在样本工单数据的分类标签显示样本工单数据不属于第i个分类标签的情况下，y_i＝0。

步骤340：计算修正预测概率与样本工单数据的分类标签之间的模型预测误差；

比较修正预测概率与样本工单数据的分类标签之间的区别，得到模型预测误差。

在本实施例中，对模型预测误差的选择不作出任何限制。示例性的，修正预测概率与样本工单数据的分类标签之间的模型预测误差通常是基于修正预测概率与样本工单数据的分类标签得到的，但也不排除计算模型预测误差时，使用预测置信度的情况。

比如：将修正预测概率与样本工单数据的分类标签之间的0-1损失作为模型预测误差、将修正预测概率与样本工单数据的分类标签之间的对数损失作为模型预测误差、将修正预测概率与样本工单数据的分类标签之间的交叉熵损失作为模型预测误差。

步骤350：基于模型预测误差对工单质检模型进行后向误差传播训练，以得到训练后的工单质检模型。

基于模型预测误差使用后向传播算法更新工单质检模型的参数，使用多组包括样本工单数据和样本工单数据的分类标签的信息组，多次比较模型预测误差并更新工单质检模型的参数，提高预测模型预测概率的准确度。

综上所述，本实施例提供的方法，增加了置信度预测网络，通过预测置信度描述模型预测概率的可信程度，增加了预测置信度作为评价工单质检模型的指标；使用预测置信度对模型预测概率进行修正，使用经过修正后得到的修正预测概率，计算修正预测概率与样本工单数据的分类标签之间的误差，增加了在工单质检模型训练过程中评价模型预测误差的维度，降低了样本工单数据的分类标签的标注情况对工单质检模型的影响，提升了工单质检模型的训练效果，提高了工单质检模型进行工单质检的稳定性。

图4示出了本申请一个工单质检模型的训练方法的流程图。该方法可以由计算机设备执行。该方法包括：

步骤310、步骤330、步骤340、步骤350，参考上文图3示出的实施例中的步骤，在本实施例中不再赘述。

步骤322：将样本工单数据的特征表示输入特征提取网络，得到样本工单数据的特征表示的隐层表示；

样本工单数据的特征表示是与样本工单数据对应的一组特征向量。样本工单数据的特征表示是通过与样本工单数据进行映射得到的。

样本工单数据的特征表示的隐层表示中包括了样本工单数据的特征信息。

在本实施例中，对特征提取网络的结构不作出任何限制。示例性的，特征提取网络的结构包括但不限于下述结构中的至少一种：网络中的网络(Network In Network，NIN)结构、卷积神经网络(Convolutional Neural Networks，CNN)结构、循环神经网络(RecurrentNeural Network，RNN)结构。本领域技术人员可以理解，上述结构可以独立使用构建特征提取网络，实现对样本工单数据的特征信息进行提取；也可以将上述结构相互组合使用，构建特征提取网络。

可选的，特征提取网络包括级联的n1层前馈神经网络和n2层全连接层神经网络。其中，n1、n2均为大于1的整数。示例性的，前馈神经网络和全连接层神经网络之间采用前后级联的方式。

n1层前馈神经网络用于提取样本工单数据的特征向量，n2层全连接层神经网络用于将样本工单数据的特征向量处理为高阶特征向量。在本实施例中，对样本工单数据的特征向量的数量不作出任何限制，即n1层前馈神经网络可以提取样本工单数据的一个或多个特征信息，样本工单数据的特征用特征向量表示。在n1层前馈神经网络可以提取样本工单数据的多个特征信息的情况下，样本工单数据的特征可以是使用相互独立的前馈神经网络分别提取的，也可以是使用具有连接关系的前馈神经网络提取的。

步骤324：将隐层表示输入质检预测网络，得到模型预测概率；

在本实施例中，对质检预测网络的结构不作出任何限制。

模型预测概率用于描述工单质检模型预测的样本工单数据属于分类标签的概率。

可选的，对模型预测概率进行归一化方法(Softmax)处理，模型预测概率为大于等于0且小于等于1的数。所有分类标签的模型预测概率的和等于1。

可选的，质检预测网络包括n3层前馈神经网络，其中，n3为大于1的整数。

步骤326：将隐层表示输入置信度预测网络，得到预测置信度。

在本实施例中，对置信度预测网络的结构不作出任何限制。

预测置信度用于描述预测得出的模型预测概率的可信程度，是使用机器学习模型预测得到的。示例性的，预测置信度越大表示越相信工单质检模型输出的模型预测概率可以完全正确的表示样本工单数据的分类标签。

预测置信度与样本工单数据的分类标签的标注情况有关。

可选的，对预测置信度使用S型生长曲线(Sigmoid)处理，预测置信度为大于等于0且小于等于1的数。示例性的，在完全相信工单质检模型可以得到的模型预测概率与样本工单数据的分类标签相同的情况下，预测置信度为1；预测置信度与相信工单质检模型可以得到的模型预测概率与样本工单数据的分类标签相同的信任程度呈现正相关关系。

在对模型预测概率进行归一化方法处理，且对预测置信度使用S型生长曲线处理的情况下，工单质检模型输出的模型预测概率和预测置信度均为大于等于0且小于等于1的数：

p,c＝f(x,θ)

其中，c表示预测置信度，p表示模型预测概率，p_i表示第i个分类标签的模型预测概率，f表示工单质检模型，x表示样本工单数据，θ表示样本工单数据的分类标签，M表示样本工单数据的分类标签的数量。

可选的，置信度预测网络包括n4层前馈神经网络，其中，n4为大于1的整数。

需要说明的是，在本实施例中，对质检预测网络和置信度预测网络之间的关系不作出任何限制。示例性的，质检预测网络和置信度预测网络之间的关系包括但不限于下述关系：相互独立并行的两个网络结构、或，具有级联关系的两个网络结构、或，共用部分网络层，在一个网络层后相互独立的两个网络结构。

需要说明的是，在本实施例中，对步骤324和步骤326之间的时序关系不作出任何限制，示例性的，步骤324可以在步骤326的之前、之后或同时进行。

综上所述，本实施例提供的方法，基于样本工单数据的隐层表示，使用质检预测网络和置信度预测网络分别预测得到模型预测概率和预测置信度，增加了预测置信度作为评价工单质检模型的指标。充分利用了特征提取网络提取的样本工单数据的特征信息。

图5示出了本申请一个工单质检模型的训练方法的流程图。该方法可以由计算机设备执行。该方法包括：

步骤310、步骤320、步骤330、步骤350，参考上文图3示出的实施例中的步骤，在本实施例中不再赘述。

步骤342：基于修正预测概率和样本工单数据的分类标签，计算第一误差；

第一误差是基于修正预测概率和样本工单数据的分类标签得到的，在本实施例中，对第一误差的选择不作出任何限制。

示例性的，第一误差的选择包括但不限于下述误差中的至少一种：样本工单数据的分类标签关于修正预测概率的负对数似然函数、修正预测概率与样本工单数据的分类标签之间的0-1损失、修正预测概率与样本工单数据的分类标签之间的对数损失、修正预测概率与样本工单数据的分类标签之间的交叉熵损失。

示例性的，选择样本工单数据的分类标签关于修正预测概率的负对数似然函数作为第一误差：

其中，L_t表示第一误差，M表示样本工单数据的分类标签的数量，p_i'表示第i个分类标签的修正预测概率，y_i表示样本工单数据标注为第i个分类标签的真实概率。

步骤344：基于预测置信度，对第一误差进行修正，得到模型预测误差。

预测置信度用于描述预测得出的模型预测概率的可信程度，是使用机器学习模型预测得到的。预测置信度与样本工单数据的分类标签的标注情况有关。使用预测置信度作为评价指标，对第一误差进行修正。

在本实施例中，对基于预测置信度，对第一误差进行修正的方法不作出任何限制。示例性的，对第一误差进行修正的方法包括但不限于下述方法中的至少一种：将预测置信度直接或间接的作为修正系数对第一误差进行修正、基于预测置信度构建修正误差函数、基于预测置信度和修正预测概率和样本工单数据的分类标签，构建修正误差函数。

示例性的如图6所示，步骤344包括如下子步骤：

步骤344a：基于预测置信度，计算第二误差；

第二误差是用于对第一误差进行修正的函数，在本实施例中，对第二误差的选择不作出任何限制。示例性的，可以直接或间接的使用预测置信度作为第二误差。

示例性的，选择预测置信度的负对数函数作为第二误差：

L_c＝-log(c)

其中，L_c表示第二误差，c表示预测置信度。

步骤344b：基于第一误差和第二误差，得到修正预测概率与样本工单数据的分类标签之间的模型预测误差。

模型预测误差是基于第一误差和第二误差得到的，用于表示修正预测概率与样本工单数据的分类标签之间的误差。在本实施例中，对得到模型预测误差的方法不作出任何限制。示例性的，得到模型预测误差的方法包括但不限于下述方法中的至少一种：

·使用数学运算方法，基于第一误差和第二误差，得到模型预测误差；

示例性的，数学运算方法包括但不限于下述方法中的至少一种：求和、求差、计算相对误差、计算交叉熵误差。

比如：模型预测误差是第一误差和第二误差的和，并使用平衡因子平衡第一误差和第二误差：

L＝L_t+λL_c

其中，L表示模型预测误差，L_t表示第一误差，L_c表示第二误差，λ表示平衡因子，λ∈[0,1]，λ为大于等于0且小于等于1的数。

·将第一误差和第二误差输入机器学习模型，得到模型预测误差。

示例性的，机器学习模型包括但不限于下述方法中的至少一种：卷积神经网络(Convolutional Neural Networks，CNN)、转换网络(Transformer)。

可选的，模型预测误差中，第一误差和预测置信度呈现正相关关系，第二误差和预测置信度呈现负相关关系；

或，

模型预测误差中，第一误差和预测置信度呈现负相关关系，第二误差和预测置信度呈现正相关关系。

以第一误差是样本工单数据的分类标签关于修正预测概率的负对数似然函数，且第二误差是预测置信度的负对数函数为例：第一误差和预测置信度呈现正相关关系，第二误差和预测置信度呈现负相关关系。

在预测置信度表示模型预测概率与分类标签之间的关系趋向于相似的情况下，修正预测概率趋向于模型预测概率，第一误差趋向于模型预测概率与分类标签之间的误差，第一误差趋向于0；在预测置信度表示模型预测概率与分类标签之间的关系趋向于不同的情况下，修正预测概率趋向于样本工单数据的分类标签的真实概率，第一误差趋向于0，第二误差趋向于无穷大。

综上所述，本实施例提供的方法，通过基于预测置信度，计算第二误差，将预测置信度作为在工单质检模型训练过程中，评价模型预测误差的维度。将预测置信度作为影响模型预测误差的因素，提升了工单质检模型的训练效果。

本领域普通技术人员可以理解，上述实施例可以独立实施，也可以将上述实施例进行自由组合，组合出新的实施例实现本申请的工单质检模型的训练方法。

图6示出了本申请一个工单质检模型的训练方法的流程图。该方法可以由计算机设备执行。该方法包括：

步骤310、步骤320、步骤330、步骤340、步骤350，参考上文图3示出的实施例中的步骤，在本实施例中不再赘述。

步骤360：获取输入工单数据；

输入工单数据是使用工单质检模型时输入的工单数据。在本实施例中，对输入工单数据的记录方式不作出任何限制，示例性的，输入工单数据可以是文字内容，也可以是语音数据。

步骤370：将输入工单数据输入工单质检模型，得到模型预测概率；

工单质检模型是经过后向误差传播训练后得到的工单质检模型。

需要说明的是，将输入工单数据输入工单质检模型，得到模型预测概率，即在使用训练后的工单质检模型的情况下，不输出预测置信度。

可选的，在工单质检模型包括特征提取网络、质检预测网络和置信度预测网络的情况下，在经过后向误差传播训练后得到的工单质检模型后，在置信度预测网络不影响质检预测网络的情况下，在工单质检模型中删除工单质检模型中的置信度预测网络。示例性的，置信度预测网络不影响质检预测网络的情况包括但不限于下述情况：

质检预测网络和置信度预测网络是相互独立并行的两个网络结构；

或，质检预测网络和置信度预测网络共用部分网络层，在一个网络层后相互独立的两个网络结构，仅删除网络层后相互独立的部分置信度预测网络。

步骤380：将模型预测概率满足质检条件的工单数据确定为异常工单数据，以及输出异常工单数据。

异常工单数据是存在错误或风险的工单数据，在本实施例中，对工单数据的错误或风险类别不作出任何限制。示例性的，工单数据的错误或风险类别包括但不限于下述类别中的至少一种：服务类别错误、服务内容错误、服务态度冷淡、服务内容生硬、服务效果差。异常工单数据是输入工单数据中的部分或全部数据。

质检条件用于判断输入工单数据是否为异常工单数据，质检条件是基于输入工单数据对应的所述模型预测概率设置的，在本实施例中，对质检条件的设置方法不作出任何限制。示例性的，质检条件包括但不限于下述条件：

·模型预测概率大于m1；

其中，m1为大于等于0且小于1的数。

示例性的，m1的确定方法包括但不限于下述方法：固定数值、或输入工单数据在模型预测概率的中位数、或输入工单数据在模型预测概率的平均数。

比如：质检条件为模型预测概率大于0.84；

·或，将输入工单数据按模型预测概率由高至低的规则进行排序，排序在前的m2个输入工单数据。

其中，m2为大于0且小于等于输入工单数据的数量的整数。

示例性的，m2的确定方法包括但不限于下述方法：固定数值、输入工单数据的数量的固定比例。

比如：质检条件为将输入工单数据按模型预测概率由高至低的规则进行排序，排序在前的1500个输入工单数据。

综上所述，本实施例提供的方法，提供了使用训练后的工单质检模型的方法，通过设定质检条件，根据工单质检模型的质检结果和输入工单数据的数量，确定异常工单数据，提高了工单质检模型的质检效率，提高了工单质检模型进行工单质检的稳定性。

表一

通过使用包括经过标注的工单数据的标注数据集和包括未经标注的工单数据的现网数据集对工单质检模型的性能进行验证，设置质检条件为模型预测概率大于0.84。实验结果如表一所示，增加置信度预测网络后工单质检模型进行工单质检的准确度和稳定性均得到了明显提升。

图8示出了本申请一个示例性实施例提供的工单质检模型的训练装置的框图。该装置包括：

第一获取模块810，用于获取样本工单数据和所述样本工单数据的分类标签，所述分类标签用于表示所述样本工单数据是否为异常工单数据；

第一处理模块820，用于将所述样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度，所述预测置信度用于描述预测得出的所述模型预测概率的可信程度；

修正模块830，用于采用所述模型预测概率和所述预测置信度和所述样本工单数据的分类标签，计算修正预测概率；

计算模块840，用于计算所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差；

训练模块850，用于基于所述模型预测误差对所述工单质检模型进行后向误差传播训练，以得到训练后的所述工单质检模型。

在本实施例的一个可选设计中，所述工单质检模型，包括特征提取网络、质检预测网络和置信度预测网络；

所述第一处理模块820，还用于：

将所述样本工单数据的特征表示输入所述特征提取网络，得到所述样本工单数据的特征表示的隐层表示；

将所述隐层表示输入所述质检预测网络，得到所述模型预测概率；

将所述隐层表示输入所述置信度预测网络，得到所述预测置信度。

在本实施例的一个可选设计中，

所述特征提取网络包含n1层前馈神经网络和n2层全连接层神经网络；

所述质检预测网络包含n3层前馈神经网络；

所述置信度预测网络包含n4层前馈神经网络；

其中，n1、n2、n3和n4均为大于1的整数。

在本实施例的一个可选设计中，所述计算模块840，包括：

误差计算单元841，用于基于所述修正预测概率和所述样本工单数据的分类标签，计算第一误差；

误差修正单元842，用于基于所述预测置信度，对所述第一误差进行修正，得到所述模型预测误差。

在本实施例的一个可选设计中，所述误差修正单元842，还用于：

基于所述预测置信度，计算第二误差；

基于所述第一误差和所述第二误差，得到所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差。

在本实施例的一个可选设计中，

所述模型预测误差中，所述第一误差和所述预测置信度呈现正相关关系，所述第二误差和所述预测置信度呈现负相关关系；

或，

所述模型预测误差中，所述第一误差和所述预测置信度呈现负相关关系，所述第二误差和所述预测置信度呈现正相关关系。

在本实施例的一个可选设计中，所述第一误差是所述样本工单数据的分类标签关于所述修正预测概率的负对数似然函数。

在本实施例的一个可选设计中，所述第二误差是所述预测置信度的负对数函数。

在本实施例的一个可选设计中，所述装置还包括：

第二获取模块860，用于获取输入工单数据；

第二处理模块870，用于将所述输入工单数据输入所述工单质检模型，得到模型预测概率；

输出模块880，用于将所述模型预测概率满足质检条件的工单数据确定为异常工单数据，以及输出所述异常工单数据，其中，所述质检条件是基于所述输入工单数据对应的所述模型预测概率设置的，所述异常工单数据是所述输入工单数据中的部分或全部数据。

在本实施例的一个可选设计中，所述质检条件，包括：

所述模型预测概率大于m1，m1为大于等于0且小于1的数；

或，

将所述输入工单数据按所述模型预测概率由高至低的规则进行排序，排序在前的m2个所述输入工单数据，m2为大于0且小于等于所述输入工单数据的数量的整数。

需要说明的一点是，上述实施例提供的装置在实现其功能时，仅以上述各个功能模块的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的工单质检模型的训练方法。

可选地，该计算机设备为服务器。示例地，图9是本申请一个示例性实施例提供的服务器的结构框图。

通常，服务器900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的视频数据的追踪方法。

在一些实施例中，服务器900还可选包括有：输入接口903和输出接口904。处理器901、存储器902和输入接口903、输出接口904之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与输入接口903、输出接口904相连。输入接口903、输出接口904可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和输入接口903、输出接口904被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和输入接口903、输出接口904中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

本领域技术人员可以理解，图9中示出的结构并不构成对服务器900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片在计算机设备上运行时，用于实现上述方面所述的工单质检模型的训练方法。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的工单质检模型的训练方法。

在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，当该程序代码由计算机设备的处理器加载并执行时，实现上述各方法实施例提供的工单质检模型的训练方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种工单质检模型的训练方法，其特征在于，所述方法包括：

获取样本工单数据和所述样本工单数据的分类标签，所述分类标签用于表示所述样本工单数据是否为异常工单数据；

将所述样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度，所述预测置信度用于描述预测得出的所述模型预测概率的可信程度；

采用所述模型预测概率和所述预测置信度和所述样本工单数据的分类标签，计算修正预测概率；

计算所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差；

基于所述模型预测误差对所述工单质检模型进行后向误差传播训练，以得到训练后的所述工单质检模型。

2.根据权利要求1所述的方法，其特征在于，所述工单质检模型，包括特征提取网络、质检预测网络和置信度预测网络；

所述将所述样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度，包括：

将所述样本工单数据的特征表示输入所述特征提取网络，得到所述样本工单数据的特征表示的隐层表示；

将所述隐层表示输入所述质检预测网络，得到所述模型预测概率；以及将所述隐层表示输入所述置信度预测网络，得到所述预测置信度。

3.根据权利要求2所述的方法，其特征在于，

所述特征提取网络包括级联的n1层前馈神经网络和n2层全连接层神经网络；

所述质检预测网络包括n3层前馈神经网络；

所述置信度预测网络包括n4层前馈神经网络；

其中，n1、n2、n3和n4均为大于1的整数。

4.根据权利要求1至3任一所述的方法，其特征在于，所述计算所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差，包括：

基于所述修正预测概率和所述样本工单数据的分类标签，计算第一误差；

基于所述预测置信度，对所述第一误差进行修正，得到所述模型预测误差。

5.根据权利要求4所述的方法，其特征在于，所述基于所述预测置信度，对所述第一误差进行修正，得到所述模型预测误差，包括：

基于所述预测置信度，计算第二误差；

基于所述第一误差和所述第二误差，得到所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差。

6.根据权利要求5所述的方法，其特征在于，

所述模型预测误差中，所述第一误差和所述预测置信度呈现正相关关系，所述第二误差和所述预测置信度呈现负相关关系；

或，

所述模型预测误差中，所述第一误差和所述预测置信度呈现负相关关系，所述第二误差和所述预测置信度呈现正相关关系。

7.根据权利要求5所述的方法，其特征在于，所述第一误差是所述样本工单数据的分类标签关于所述修正预测概率的负对数似然函数。

8.根据权利要求5所述的方法，其特征在于，所述第二误差是所述预测置信度的负对数函数。

9.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

获取输入工单数据；

将所述输入工单数据输入所述工单质检模型，得到模型预测概率；

将所述模型预测概率满足质检条件的工单数据确定为异常工单数据，以及输出所述异常工单数据，其中，所述质检条件是基于所述输入工单数据对应的所述模型预测概率设置的，所述异常工单数据是所述输入工单数据中的部分或全部数据。

10.根据权利要求9所述的方法，其特征在于，所述质检条件，包括：

所述模型预测概率大于概率阈值m1，m1为大于等于0且小于1的数；

或，

将所述输入工单数据按所述模型预测概率由高至低的规则进行排序，排序在前的m2个所述输入工单数据，m2为大于0且小于等于所述输入工单数据的数量的整数。

11.一种工单质检模型的训练装置，其特征在于，所述装置包括：

第一获取模块，用于获取样本工单数据和所述样本工单数据的分类标签，所述分类标签用于表示所述样本工单数据是否为异常工单数据；

第一处理模块，用于将所述样本工单数据的特征表示输入工单质检模型，得到模型预测概率和预测置信度，所述预测置信度用于描述预测得出的所述模型预测概率的可信程度；

修正模块，用于采用所述模型预测概率和所述预测置信度和所述样本工单数据的分类标签，计算修正预测概率；

计算模块，用于计算所述修正预测概率与所述样本工单数据的分类标签之间的模型预测误差；

训练模块，用于基于所述模型预测误差对所述工单质检模型进行后向误差传播训练，以得到训练后的所述工单质检模型。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取输入工单数据；

第二处理模块，用于将所述输入工单数据输入所述工单质检模型，得到模型预测概率；

输出模块，用于将所述模型预测概率满足质检条件的工单数据确定为异常工单数据，以及输出所述异常工单数据，其中，所述质检条件是基于所述输入工单数据对应的所述模型预测概率设置的，所述异常工单数据是所述输入工单数据中的部分或全部数据。

13.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一段程序；所述处理器，用于执行所述存储器中的所述至少一段程序以实现上述如权利要求1至10任一所述的工单质检模型的训练方法。

14.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有可执行指令，所述可执行指令由处理器加载并执行以实现上述如权利要求1至10任一所述的工单质检模型的训练方法。

15.一种计算机程序产品或计算机程序，其特征在于，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现上述如权利要求1至10任一所述的工单质检模型的训练方法。

Images