CN113269247B - 投诉预警模型的训练方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及人工智能领域，公开了一种投诉预警模型的训练方法，包括：获取多个历史客服工单；生成多个模拟工单，并根据所有历史客服工单和模拟工单，生成样本集合；将样本集合输入到随机森林模型中进行训练，以得到所述样本集合中的每种交互特征关联的工单类型的分类概率，以及每种交互特征对应的信息增益；对所有所述交互特征对应的信息增益进行调和平均运算，得到基准参数；根据基准参数选择关键特征；建立每种关键特征与其所属的工单类型之间的对应关系，并基于此得到投诉预警模型。本申请还涉及区块链技术领域。本申请还公开了一种投诉预警模型的训练装置、计算机设备以及计算机可读存储介质。本申请提高了投诉预警模型预测的准确率。

Description

投诉预警模型的训练方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种投诉预警模型的训练方法、投诉预警模型的训练装置、计算机设备以及计算机可读存储介质。

背景技术

近年来随着人工智能技术的发展，越来越多的人工客服被AI(ArtificialIntelligence)客服所取代，这样一来，虽然各企业在一定程度上减少了人工客服的成本，但由于技术的限制，AI客服在与客户沟通交流上，不如人工客服灵活，这也就导致客户对企业AI客服的服务行为越来越敏感，AI客服的相应工单也越容易被客户投诉，因此也就进一步衍生出了针对AI客服工单的投诉预警模型。

但由于AI客服被投诉或可能被投诉的情况多种多样，因此训练的投诉预警模型的复杂程度也相应较高，也就难以训练得到准确率高的投诉预警模型。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本申请的主要目的在于提供一种投诉预警模型的训练方法、投诉预警模型的训练装置、计算机设备以及计算机可读存储介质，旨在解决如何提高投诉预警模型对客服工单进行投诉预测的准确率的问题。

为实现上述目的，本申请提供一种投诉预警模型的训练方法，包括以下步骤：

获取多个历史客服工单，其中，所述历史客服工单包括工单类型和至少一种交互特征；所述工单类型包括投诉工单和非投诉工单；所述交互特征表征为客服与客户进行交互产生的特征；

利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单，并根据所有所述历史客服工单和所述模拟工单，生成样本集合；

利用最近邻规则算法对所述样本集合进行数据过滤；

将过滤后的所述样本集合输入到随机森林模型中进行训练，以得到所述样本集合中的每种所述交互特征关联的所述工单类型的分类概率，以及每种所述交互特征对应的信息增益；

对所有所述交互特征对应的信息增益进行调和平均运算，得到基准参数；

将所述信息增益大于或等于所述基准参数的所述交互特征，作为关键特征；

根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型，并建立每种所述关键特征与每种所述关键特征所属的工单类型之间的对应关系；

根据所述对应关系更新所述随机森林模型，得到投诉预警模型。

进一步地，所述根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型的步骤包括：

从每种所述关键特征关联的所有所述工单类型的分类概率中，确定所述分类概率最大的所述工单类型；

将每种所述关键特征关联的所述分类概率最大的所述工单类型，作为每种所述关键特征所属的工单类型。

进一步地，所述获取多个历史客服工单的步骤之后，包括：

确定所述工单类型为所述非投诉工单的历史客服工单对应的第一数量，以及所述工单类型为所述投诉工单的历史客服工单对应的第二数量；

检测所述第一数量与所述第二数量之间的差值是否大于预设值；

若是，执行所述利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单的步骤；

若否，将所有所述历史客服工单作为样本集合，并执行所述利用最近邻规则算法对所述样本集合进行数据过滤的步骤。

进一步地，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之前，还包括：

遍历所述随机森林模型的误差比率，获取满足预设条件的所述误差比率；

根据获取得到的所述误差比率，确定所述随机森林模型的决策树的最大特征数。

进一步地，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之后，还包括：

接收到目标客服工单时，将所述目标客服工单输入到所述投诉预警模型中进行分析，以预测所述目标客服工单的工单类型；

确定与所述目标客服工单的工单类型对应的预设操作，并执行所述预设操作；

接收到所述预设操作的确认响应时，根据所述目标客服工单和所述目标客服工单对应的工单类型，生成训练样本；

利用所述训练样本更新所述投诉预警模型。

进一步地，所述确定与所述目标客服工单的工单类型对应的预设操作的步骤包括：

检测到所述目标客服工单的工单类型为所述投诉工单时，根据所述目标客服工单中与所述投诉工单相关的关键特征，获取与所述投诉工单对应的预设操作。

进一步地，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之后，还包括：

将所述投诉预警模型存储至区块链网络。

为实现上述目的，本申请还提供一种投诉预警模型的训练装置，所述投诉预警模型的训练装置包括：

获取模块，用于获取多个历史客服工单，其中，所述历史客服工单包括工单类型和至少一种交互特征；所述工单类型包括投诉工单和非投诉工单；所述交互特征表征为客服与客户进行交互产生的特征；

生成模块，用于利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单，并根据所有所述历史客服工单和所述模拟工单，生成样本集合；

过滤模块，用于利用最近邻规则算法对所述样本集合进行数据过滤；

分类模块，用于将过滤后的所述样本集合输入到随机森林模型中进行训练，以得到所述样本集合中的每种所述交互特征关联的所述工单类型的分类概率，以及每种所述交互特征对应的信息增益；

运算模块，用于对所有所述交互特征对应的信息增益进行调和平均运算，得到基准参数；

对比模块，用于将所述信息增益大于或等于所述基准参数的所述交互特征，作为关键特征；

处理模块，用于根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型，并建立每种所述关键特征与每种所述关键特征所属的工单类型之间的对应关系；

更新模块，用于根据所述对应关系更新所述随机森林模型，得到投诉预警模型。

为实现上述目的，本申请还提供一种计算机设备，所述计算机设备包括：

所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述投诉预警模型的训练方法的步骤。

为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述投诉预警模型的训练方法的步骤。

本申请提供的投诉预警模型的训练方法、投诉预警模型的训练装置、计算机设备以及计算机可读存储介质，通过结合SMOTE算法和最近邻规则算法对客服工单组成的训练样本进行优化处理，以使训练样本的比例趋近均衡的同时，对不合格样本进行过滤，进而可以训练得到准确率高的随机森林模型来构建投诉预测模型，而且基于信息增益和调和平均法的结合作随机森林的特征选择，可以有效提高模型的抗噪能力，并提高投诉预警模型作投诉预测的准确率。

附图说明

图1为本申请一实施例中投诉预警模型的训练方法步骤示意图；

图2为本申请一实施例的投诉预警模型的训练装置示意框图；

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参照图1，在一实施例中，所述投诉预警模型的训练方法包括：

步骤S10、获取多个历史客服工单，其中，所述历史客服工单包括工单类型和至少一种交互特征；所述工单类型包括投诉工单和非投诉工单；所述交互特征表征为客服与客户进行交互产生的特征；

步骤S20、利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单，并根据所有所述历史客服工单和所述模拟工单，生成样本集合；

步骤S30、利用最近邻规则算法对所述样本集合进行数据过滤；

步骤S40、将过滤后的所述样本集合输入到随机森林模型中进行训练，以得到所述样本集合中的每种所述交互特征关联的所述工单类型的分类概率，以及每种所述交互特征对应的信息增益；

步骤S50、对所有所述交互特征对应的信息增益进行调和平均运算，得到基准参数；

步骤S60、将所述信息增益大于或等于所述基准参数的所述交互特征，作为关键特征；

步骤S70、根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型，并建立每种所述关键特征与每种所述关键特征所属的工单类型之间的对应关系；

步骤S80、根据所述对应关系更新所述随机森林模型，得到投诉预警模型。

本实施例中，实施例终端可以是计算机设备，也可以是一种投诉预警模型的训练装置。

如步骤S10所述：终端预先基于人工智能和随机森林算法，构建有随机森林模型。

可选的，负责随机森林模型的训练的相关工程师，可以预先收集大量历史客服工单。所述历史客服工单即为历史记录的客服与客户交互过程所产生的工单，且历史客服工单中记录有客服与客户交互相关的数据，其中，每份历史客服工单至少包括工单类型和至少一种交互特征。

需要说明的是，工程师所采集的历史客服工单，可以是由AI客服完成的工单，也可以是由人工客服完成的工单。

可选的，所述工单类型至少包括投诉工单和非投诉工单。可选的，除此之外，工单类型还可以进一步包括风险工单，所述风险工单指的是可能给客户造成交互体验不好的工单，可以通过一些预设交互特征来判断工单是否属于风险工单，如预设交互特征可以是多次拨打客户电话未拨通、与客户电话交流过程中被挂断等等。

当然，风险工单也可以是划分到投诉工单中。以下以风险工单划分到投诉工单中为例进行说明。

需要说明的是，投诉工单即为该工单对应的交互过程，有被对应的客户进行投诉。而非投诉工单即为指除投诉工单外的工单(投诉工单包括风险工单的情况)，或者是除投诉工单和风险工单之外的工单(投诉工单不包括风险工单的情况)。

可选的，所述交互特征表征为客服与客户进行交互产生的特征，如交互特征可以是包括电话呼叫客户的次数、电话呼叫时长、未呼通时重新呼叫客户的次数，周期性多次呼叫客户、电话呼叫客户的结果(如客户事后反馈的交互满意度)、所述预设交互特征、交互业务场景(可分为多种场景，如推销业务场景、客户消费习惯调查业务场景、针对客户主动发起的咨询进行应答的业务场景等等)和是否为AI客服(若否则为人工客服)中的至少两种。

可选的，当工程师将收集的大量历史客服工单输入到终端时，终端即可获取到多个历史客服工单。

可选的，当终端接收到多个历史客服工单时，可以先利用数据分析技术对多个历史客服工单组成的数据集进行初步的数据过滤处理，以去除其中的异常数据。异常数据包括不存在交互特征的工单(可对工单进行数据遍历，以查询不存在交互特征的工单)、不属于历史客服工单的其他数据、冗余数据(如重复工单，通过检索工单对应的工单号即可查询得到，且对于重复工单，只保留其中一个即可)等。

进一步地，当终端对工程师输入的所有历史客服工单进行数据过滤处理后，得到剩余的多个历史客服工单后，即可转入执行步骤S20。

如步骤S20所述：可选的，由于一般投诉工单与非投诉工单之间的数量差距较大(非投诉工单一般会比投诉工单多)，因此终端获取得到的多个历史客服工单所组成的数据集，一般属于非平衡数据集。

因此，终端可以利用SMOTE(Synthetic Minority Oversampling Technique)算法对多个所述历史客服工单进行采样，以生成多个模拟工单。需要说明的是，SMOTE算法属于合成少数类过采样技术，它是基于随机过采样算法的一种改进方案，SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中。

可选的，当投诉工单与非投诉工单之间的数量差距较大时，且投诉工单在两者所组成的数据集中占比较少，终端即可以利用SMOTE算法对所有工单类型为投诉工单的历史客服工单进行分析并采样，通过利用欧氏距离计算出每个投诉工单(记为观测工单)的X(如X＝5)个近邻的投诉工单，然后从X个近邻中随机挑选M(M<X)个样本进行随机线性插值，以构造M个与观测工单相似的新的投诉工单(即模拟工单)。其中，通过计算随机挑选的样本与观测工单的每一个特征之间的差距，并将其差距乘上一个随机因子(随机因子可以是从[0,1]的区间中随机得到)，再将得到的值加到观测工单上，即完成了一个模拟工单的合成；而且，终端在对历史客服工单进行采样时，还可以根据投诉工单与非投诉工单之间的差值，设置采样倍率，如两者之间的差值越大，则设置的采样倍率越大。

这样，终端利用SMOTE算法，在数据集中属于投诉工单的历史客服工单的基础上，可以自动合成多个新的历史客服工单，且这些新的历史客服工单均对应的工单类型均为投诉工单。

进一步地，终端将利用SMOTE算法合成的工单作为模拟工单，然后根据所有模拟工单，以及所有历史客服工单，生成样本集合。这样，在该样本集合中，投诉工单和非投诉工单之间的数量差距得到了很大程度上的缩小，即使投诉工单的总数量可以得到一定程度上的增加。

如步骤S30所述：当终端得到样本集合后，将工单类型作为最近邻规则(editednearest neighbor，ENN)算法的分类类别，并利用ENN算法对样本集合进行分析，然后基于分析结果对样本集合进行数据过滤。

需要说明的是，ENN算法的原理，就是通过计算待分类样本与已知类别样本之间的距离，找到距离待分类最近的K(如K＝3)个已知类别的样本，然后根据“少数服从多数”的判决原则，统计K个样本中各类样本出现的次数，出现次数最多的样本即为待分类样本的类别。

而在本实施例中，则是利用ENN算法计算样本集合中的每个工单(包括历史客服工单和模拟工单)的K个近邻，然后从K个近邻中随机选择N(N<K)个样本进行随机线性插值，并根据N个样本对应的工单类型，预测当前分析的工单对应的工单类型，然后检测预测得到的工单类型，与当前分析的工单实际关联的工单类型是否一致。应当理解的是，以某个工单为中心，选取其K个近邻时，处于K个近邻的中心的工单，即为当前分析的工单。

进一步地，当终端检测到当前分析的工单对应的预测工单类型与实际的工单类型一致时，则在样本集合中保留该工单；当终端检测到当前分析的工单对应的预测工单类型与实际的工单类型不一致时，则将该工单从样本集合中剔除，进而实现对样本集合进行数据过滤。

可选的，针对样本集合中的每个工单均利用ENN算法进行数据过滤判断后，并剔除其中预测工单类型与实际的工单类型不一致的工单后，即可得到进行数据过滤后的样本集合。这样，可以筛选出不合格的样本，能更为有效地解决数据集不平衡的问题，进而避免后续利用数据集训练随机森林模型时出现模型过度拟合的情况。

如步骤S40所述：终端得到过滤后的样本集合后，则将过滤后的样本集合输入到随机森林模型中进行训练，并将样本集合中每个工单的工单类型和交互特征，作为随机森林模型用于进行分类决策的分类特征，以使随机森林模型基于分类特征对样本集合中的所有工单进行分类。需要说明的是，随机森林指的是利用多棵决策树对样本进行训练并预测的一种分类器。

例如，存在工单是否属于投诉工单(即工单类型)、与客户电话交流过程中是否被挂断(即交互特征)，这两个分类特征时，随机森林模型在进行样本集合中的工单分类时，会将投诉工单分到一类，非投诉工单分到另一类，然后进一步进行这两类工单中“与客户电话交流过程中是否被挂断”的判断，得到进一步的分组：{投诉工单，电话被挂断}、{投诉工单，电话未被挂断}、{非投诉工单，电话被挂断}、{非投诉工单，电话未被挂断}，此时工单已分为这四个类别。

最终得到随机森林模型的分类结果可以是穷尽所有分类特征的组合，同时随机森林模型在输出各分类组合时，还会输出属于各分类组合对应的工单数在样本集合中总工单数的第一占比。

而由于分类特征包括交互特征，终端在确定任一交互特征关联的所述工单类型的分类概率时，则获取包括有该交互特征的所有分类组合，并进一步将获取到的分类组合按关联的工单类型进行分类，再将与投诉工单相关的分类组合作为第一集合，将与非投诉工单相关的分类组合作为第二集合。然后，计算第一集合中所有分类组合对应的第一占比的总和，得到第一概率，以及计算第二集合中所有分类组合对应的第一占比的总和，得到第二概率。而第一概率和第二概率，均属于该交互特征关联的工单类型的分类概率，其中第一概率即为与投诉工单相关的分类概率，第二概率即为与非投诉相关的分类概率。

可选的，对于样本集合中的每种交互特征，终端均可按上述步骤去确定其关联的所述工单类型的分类概率。应当理解的是，当工单类型除了投诉工单和非投诉工单外，还包括其他类型时，依此方法同样可以得到任一交互特征所关联的其他工单类型的分类概率。

可选的，在利用随机森林模型对样本集合中的工单进行分类的过程中，通过计算决策树基于某一分类特征对样本集合进行分类前后的熵值(即信息熵)，即可进一步得到该分类特征对应的信息增益。信息增益是知道了某个条件后，表征事件的不确定性(或称不确定度)下降的程度，其计算方式为熵减去条件熵(即分类前的熵值减去分类后的熵值)，而所述不确定性，即是利用熵值来衡量的。

而由于交互特征属于分类特征的一种，同理亦可计算得到每种交互特征对应的信息增益。因此，任一种交互特征对应的信息增益，表征的是随机森林模型基于该交互特征对样本集合进行分类后，该样本集合的不确定性下降的程度。

如步骤S50所述：当终端得到每种交互特征对应的信息增益后，则获取所有交互特征对应的信息增益，进行调和平均运算，以计算所有信息增益对应的调和平均数。计算公式如下：

其中，G为调和平均数，n为交互特征的种类数，g为信息增益，而g_i即为第i种交互特征对应的信息增益。

进一步地，终端将计算得到的调和平均数，作为基准参数。

如步骤S60所述：当终端得到基准参数后，则将每种交互特征对应的信息增益逐一与基准参数进行比对。

可选的，当终端检测到当前比对的信息增益大于或等于基准参数时，则将该信息增益对应的交互特征，作为关键特征；当终端检测到当前比对的信息增益小于基准参数时，则可以是设置随机森林模型忽略该信息增益对应的交互特征(即可以是不再将该交互特征作为分类特征)。

这样，即可从多种交互特征中，筛选出对随机森林模型分类比较重要的关键特征。

如步骤S70所述：可选的，当终端筛选出关键特征后，从每种所述关键特征关联的所有所述工单类型的分类概率中，确定所述分类概率最大的所述工单类型；将每种所述关键特征关联的所述分类概率最大的所述工单类型，作为每种所述关键特征所属的工单类型。即终端针对每种关键特征，获取该关键特征关联的所有所述工单类型的分类概率，并确定其中数值最大的分类概率，然后将数值最大的分类概率对应的工单类型，作为该关键特征所属的工单类型。

例如，对于某一关键特征，若终端检测到该关键特征关联的分类概率中，数值最大的是第一概率时，则将投诉工单作为该关键特征所属的工单类型(因为第一概率对应的工单类型为投诉工单)。

或者，当工单类型只分为投诉工单和非投诉工单时，终端也可以是针对每种关键特征，获取该关键特征关联的投诉工单对应的第一概率，以及获取该关键特征关联的非投诉工单对应的第二概率，然后将第一概率与第二概率进行比对；当终端检测到第一概率大于或等于第二概率时，则将关键特征所属的工单类型定义为投诉工单；当终端检测到第一概率小于第二概率时，则将关键特征所属的工单类型定义为非投诉工单。

可选的，当终端确定得到每种关键特征所属的工单类型后，则将每种关键特征与每种关键特征所属的工单类型进行关联，然后基于此建立每种关键特征与每种关键特征所属的工单类型之间的对应关系，并保存每种关键特征与其所属的工单类型之间的对应关系。

如步骤S80所述：终端基于确定得到的关键特征，以及关键特征与工单类型之间的对应关系，更新随机森林模型。其中，将随机森林模型的分类特征更新为关键特征(即将关键特征作为随机森林模型的特征选择结果)，同时，在随机森林模型中保存每种关键特征与其所属的工单类型之间的对应关系。

这样，基于此更新完成的随机森林模型，即可作为用于进行工单投诉风险预警的投诉预警模型，而该投诉预警模型已具备了根据未知类型的工单中的交互特征，预测该工单所属的工单类型的能力，并当投诉预警模型所预测得到的工单类型为投诉工单时，即可采取相应的应对措施，进行风险预警。

可选的，当终端接收到待预测的工单时，将工单输入到投诉预警模型中，由投诉预警模型从该工单的交互特征中提取出关键特征，并根据之前记录的对应关系，查询提取得到的关键特征所属的工单类型，然后根据查询得到的工单类型，确定该工单对应的工单类型。

可选的，当终端利用投诉预警模型预测得到工单的工单类型为非投诉工单时(即预测得到该工单对应的客户很应该不会对该工单进行投诉)，可以不对该工单进行处理；当终端利用投诉预警模型预测得到工单的工单类型为投诉工单时(即预测得到该工单对应的客户很有可能会对该工单进行投诉)，则可以是作出相应的风险应对措施。例如，输出相应的告警信息，以提示相关工作人员及时挽回该工单对应的客户的心意；或者对AI客服进行拦截，禁止AI客服再拨打该工单对应的客户的电话，以免对客户造成骚扰，避免客户真的进行投诉。

在一实施例中，通过结合SMOTE算法和最近邻规则算法对客服工单组成的训练样本进行优化处理，以使训练样本的比例趋近均衡的同时，对不合格样本进行过滤，进而可以训练得到准确率高的随机森林模型来构建投诉预测模型，而且基于信息增益和调和平均法的结合作随机森林的特征选择，可以有效提高模型的抗噪能力，并提高投诉预警模型作投诉预测的准确率。

在一实施例中，在上述实施例基础上，所述获取多个历史客服工单的步骤之后，包括：

步骤S90、确定所述工单类型为所述非投诉工单的历史客服工单对应的第一数量，以及所述工单类型为所述投诉工单的历史客服工单对应的第二数量；

步骤S91、检测所述第一数量与所述第二数量之间的差值是否大于预设值；

步骤S92、若是，执行所述利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单的步骤；

步骤S93、若否，将所有所述历史客服工单作为样本集合，并执行所述利用最近邻规则算法对所述样本集合进行数据过滤的步骤。

本实施例中，当终端获取到多个历史客服工单后，可以先分别确定所有历史客服工单组成的数据集中，工单类型为非投诉工单的历史客服工单的数量(记为第一数量)，以及确定工单类型为投诉工单的历史客服工单的数量(记为第二数量)。

进一步地，终端计算第一数量与第二数量之间的差值(由第一数量减去第二数量得到)，并将计算得到的差值与预设值进行比对，以检测该差值是否大于预设值。其中，所述预设值的具体取值可根据实际情况需要设置，如取值范围可为[50,500]。

可选的，当终端检测到第一数量与第二数量之间的差值大于预设值时，则判断该数据集属于样本不均衡的数据集，并执行所述利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单的步骤(即转入执行步骤S20)。

可选的，当终端检测到第一数量与第二数量之间的差值小于或等于预设值时，则判断该数据集属于样本均衡的数据集，以及将所有所述历史客服工单作为样本集合，并执行所述利用最近邻规则算法对所述样本集合进行数据过滤的步骤(即跳过步骤S20，直接转入执行步骤S30)。

这样，在尽可能保证样本集合的均衡性的同时，可以尽可能使用真实度高的样本构建样本集合，以基于样本集合训练随机森林模型时，可以得到准确率更高的随机森林模型，进而基于随机森林模型构建得到更为准确的投诉预警模型。

在一实施例中，在上述实施例基础上，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之前，还包括：

步骤S100、遍历所述随机森林模型的误差比率，获取满足预设条件的所述误差比率；

步骤S101、根据获取得到的所述误差比率，确定所述随机森林模型的决策树的最大特征数。

本实施例中，终端在利用随机森林模型中的决策树对样本集合中的工单进行分类决策的过程中，会产生相应的模型误差比率(即随机森林模型的误差比率)。

可选的，在利用随机森林模型对样本集合中的工单进行分类之后，终端可以从数值最大的误差比率开始进行遍历查询，以查询并获取满足预设条件的误差比率。

其中，所述预设条件至少包括误差比率小于预设阈值(其具体取值可根据实际情况需要设置)；例如，当终端检测到误差比率小于预设阈值时，则判定该误差比率满足预设条件；当终端检测到误差比率大于或等于预设阈值，则判定该误差比率不满足预设条件。

可选的，所述预设条件还可以进一步包括当次查询的误差比率对应的变化率小于预设变化率。其中，所述当次查询的误差比率对应的变化率，根据当次查询的误差比率，与上次查询的误差比率共同确定(即为当次查询的误差比率，相比于上次查询的误差比率的变化值)；所述预设变化率可以根据实际情况需要设置。

可选的，若终端检测到当次查询的误差比率满足所有预设条件，则判定该误差比率满足预设条件；若终端检测到当次查询的误差比率并不满足所有的预设条件时，则判定该误差比率不满足预设条件。

可选的，当终端一旦查询得到满足预设条件的误差比率时，则停止遍历查询，直接获取当前满足预设条件的误差比率作为目标误差比率。

进一步地，由于不同的最大特征数，可计算得出对应的模型误差比率，因此在获取得到目标误差比率后，可以反向推导，计算出目标误差比率对应的最大特征数。然后，在执行步骤S80之前，将随机森林模型的决策树的最大特征数，设置为当前计算得到的最大特征数。

虽然，最大特征数越大，单棵决策树能力越强，随机森林分类能力越高；但是，最大特征数越大同样会降低随机森林模型处理数据的速度。因此，通过基于满足预设条件的误差比率确定合适的最大特征数，可以在保证尽可能不影响随机森林模型的运行速度的前提下，能得到高精度的随机森林模型。

这样，可以在保证尽可能不影响随机森林模型的运行速度的前提下，能得到高精度的随机森林模型。

此外，终端还可以不断调整随机森林模型的模型参数，得到不同的决策树数量。然后基于同一样本集合，利用不同数量的决策树进行分类，得到不同种类的分类结果。再进一步将分类精度最高的分类结果对应的决策树数量，作为最终确定得到的随机森林模型的决策树数量，这样可以进一步得到分类精度高的随机森林模型。

在一实施例中，在上述实施例基础上，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之后，还包括：

步骤S110、接收到目标客服工单时，将所述目标客服工单输入到所述投诉预警模型中进行分析，以预测所述目标客服工单的工单类型；

步骤S111、确定与所述目标客服工单的工单类型对应的预设操作，并执行所述预设操作；

步骤S112、接收到所述预设操作的确认响应时，根据所述目标客服工单和所述目标客服工单对应的工单类型，生成训练样本；

步骤S113、利用所述训练样本更新所述投诉预警模型。

本实施例中，将待预测工单类型的客服工单作为目标客服工单，当然，目标客服工单至少需要包括一种交互特征。

可选的，当终端接收到目标客服工单时，将目标客服工单输入到投诉预警模型中，以利用投诉预警模型对目标客服工单进行分析，并由投诉预警模型从目标客服工单的交互特征中提取出关键特征，并根据之前记录的对应关系，查询提取得到的关键特征所属的工单类型，然后根据查询得到的工单类型，确定目标客服工单对应的工单类型。这样，终端即可利用投诉预警模型预测得到目标客服工单对应的工单类型。

可选的，当投诉预警模型从目标客服工单中提取得到多种关键特征时，以及多种关键特征分别对应有多种工单类型时，则可以是确定每种工单类型所对应的关键特征的数量，然后将对应的关键特征的数量最多的工单类型，作为当前预测的工单的工单类型。

例如，从当前预测的工单中提取得到5种关键特征，其中3种关键特征对应的工单类型为投诉工单，2种关键特征对应的工单类型为非投诉工单，这样即可以确定当前预测的工单的工单类型为投诉工单。

可选的，终端预先为不同工单类型的客服工单设定有相应的预设操作，如对于投诉工单，其预设操作可以是输出投诉告警信息，以提示相关工作人员及时挽回该工单对应的客户的心意(如向客户发放电子优惠券)，或者投诉工单对应的预设操作，对AI客服进行拦截，禁止AI客服再拨打该工单对应的客户的电话，以免对客户造成骚扰，避免客户真的进行投诉；对于非投诉工单，其预设操作可以是允许AI客服继续按原定的交互计划，继续与客户进行交流互动，如继续周期性地拨打客户电话进行营销。

可选的，当终端预测得到目标客服工单对应的工单类型时，则根据目标客服工单对应的工单类型，获取工单类型对应的预设操作，并针对该目标客服工单执行获取得到的预设操作。

可选的，当终端执行预设操作之后，可以继续监测是否有接收到预设操作的确认响应。例如，当目标客服工单对应的工单类型为投诉工单时，若在终端执行投诉工单对应的预设操作之后，在一定时长内未接收到目标客服工单对应的客户的投诉时，则判定接收到预设操作的确认响应；当目标客服工单对应的工单类型为非投诉工单时，若在终端执行非投诉工单对应的预设操作之后，在一定时长内未接收到目标客服工单对应的客户的投诉时，则判定接收到预设操作的确认响应，而若在一定时长内接收到目标客服工单对应的客户的投诉时，则判定接收到预设操作的否认响应。

进一步地，当终端在执行预设操作之后，接收到预设操作对应的确认响应时，根据所述目标客服工单，以及之前预测得到的该目标客服工单对应的工单类型，生成投诉预警模型的训练样本。

进一步地，当终端检测到投诉预警模型处于空闲状态时，则可以利用新生成的训练样本对投诉预警模型进行训练更新，以优化投诉预警模型的模型参数。

在一实施例中，在上述实施例基础上，所述确定与所述目标客服工单的工单类型对应的预设操作的步骤包括：

步骤S120、检测到所述目标客服工单的工单类型为所述投诉工单时，根据所述目标客服工单中与所述投诉工单相关的关键特征，获取与所述投诉工单对应的预设操作。

本实施例中，对于与投诉相关的关键特征，终端可预先建立有这些关键特征与其对应的预设操作之间的关联关系。例如，若关键特征为电话拨打频次过高(即大于预设频次)时，则设定该关键特征对应的预设操作为降低电话拨打频次；若关键特征是与广告推销场景相关时，则设定该关键特征对应的预设操作为停止属于广告推销场景的客服活动。

应当理解的是，终端上所设置的关键特征与其对应的预设操作之间的关联关系，可以由工程师预先定义的，也可以是由终端自动通过大数据分析得到的。

可选的，当终端预测得到目标客服工单对应的工单类型时，则进一步检测目标客服工单对应的工单类型是否属于投诉工单。

可选的，当终端检测到目标客服工单对应的工单类型为非投诉工单时，则直接获取非投诉工单相关的预设操作即可。

可选的，当终端检测到目标客服工单对应的工单类型为投诉工单时，则获取目标客服工单中与投诉工单相关的关键特征，并根据关键特征与预设操作之间的关联关系，确定相应的预设操作，然后执行确定得到的预设操作。应当理解的是，若目标客服工单中，存在多个与投诉工单相关的关键特征，并当检测到这些关键特征对应的预设操作之间并不冲突时，终端可以一并执行这些关键特征对应的预设操作。当然，若多个预设操作彼此之间存在执行逻辑冲突时，终端也可以是根据这些预设操作对应的优先级，执行优先级最高的预设操作。

这样，基于与投诉工单相关的关键特征，有针对性地对预测为投诉工单的目标客服工单，执行相应的预设操作，可以降低该目标客服工单对应的客户进行投诉的可能，进而精准降低客服的被投诉率，既能利用投诉预警模型提升客户服务体验，又能有效地避免客户投诉带来的负面影响。

在一实施例中，在上述实施例基础上，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之后，还包括：

步骤S130、将所述投诉预警模型存储至区块链网络。

本实施例中，终端与区块链网络(Blockchain Network)建立有通信连接。区块链网络是通过共识的方式将新区块纳入区块链的一系列的节点的集合。

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

可选的，当终端得到训练完成的所述投诉预警模型后，则可以将投诉预警模型上传至区块链网络中进行存储。

这样，不仅可以提高投诉预警模型存储的安全性和节约本地存储空间，而且还可以方便各合法终端从区块链模块中获取投诉预警模型，以快速将投诉预警模型投入到实际应用中。各合法终端只需接入到任一区块链网络节点，即可获取得到同一投诉预警模型，十分方便高效。

而且当任一合法终端本地的投诉预警模型有更新时，该合法终端即可将更新后的投诉预警模型(或者只上传更新部分的模型参数即可)同步更新到区块链网络中，使得投诉预警模型的性能可以得到更好的优化。

参照图2，本申请实施例中还提供一种投诉预警模型的训练装置10，包括：

获取模块11，用于获取多个历史客服工单，其中，所述历史客服工单包括工单类型和至少一种交互特征；所述工单类型包括投诉工单和非投诉工单；所述交互特征表征为客服与客户进行交互产生的特征；

生成模块12，用于利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单，并根据所有所述历史客服工单和所述模拟工单，生成样本集合；

过滤模块13，用于利用最近邻规则算法对所述样本集合进行数据过滤；

分类模块14，用于将过滤后的所述样本集合输入到随机森林模型中进行训练，以得到所述样本集合中的每种所述交互特征关联的所述工单类型的分类概率，以及每种所述交互特征对应的信息增益；

运算模块15，用于对所有所述交互特征对应的信息增益进行调和平均运算，得到基准参数；

对比模块16，用于将所述信息增益大于或等于所述基准参数的所述交互特征，作为关键特征；

处理模块17，用于根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型，并建立每种所述关键特征与每种所述关键特征所属的工单类型之间的对应关系；

更新模块18，用于根据所述对应关系更新所述随机森林模型，得到投诉预警模型。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储投诉预警模型的训练方法的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种投诉预警模型的训练方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

此外，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的投诉预警模型的训练方法的步骤。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。

综上所述，为本申请实施例中提供的投诉预警模型的训练方法、投诉预警模型的训练装置、计算机设备和存储介质，通过结合SMOTE算法和最近邻规则算法对客服工单组成的训练样本进行优化处理，以使训练样本的比例趋近均衡的同时，对不合格样本进行过滤，进而可以训练得到准确率高的随机森林模型来构建投诉预测模型，而且基于信息增益和调和平均法的结合作随机森林的特征选择，可以有效提高模型的抗噪能力，并提高投诉预警模型作投诉预测的准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种投诉预警模型的训练方法，其特征在于，包括：

获取多个历史客服工单，其中，所述历史客服工单包括工单类型和至少一种交互特征；所述工单类型包括投诉工单和非投诉工单；所述交互特征表征为客服与客户进行交互产生的特征；

利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单，并根据所有所述历史客服工单和所述模拟工单，生成样本集合；

利用最近邻规则算法对所述样本集合进行数据过滤；

将过滤后的所述样本集合输入到随机森林模型中进行训练，以得到所述样本集合中的每种所述交互特征关联的所述工单类型的分类概率，以及每种所述交互特征对应的信息增益；

对所有所述交互特征对应的信息增益进行调和平均运算，得到基准参数；

将所述信息增益大于或等于所述基准参数的所述交互特征，作为关键特征；

根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型，并建立每种所述关键特征与每种所述关键特征所属的工单类型之间的对应关系；

根据所述对应关系更新所述随机森林模型，得到投诉预警模型。

2.如权利要求1所述的投诉预警模型的训练方法，其特征在于，所述根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型的步骤包括：

从每种所述关键特征关联的所有所述工单类型的分类概率中，确定所述分类概率最大的所述工单类型；

将每种所述关键特征关联的所述分类概率最大的所述工单类型，作为每种所述关键特征所属的工单类型。

3.如权利要求1所述的投诉预警模型的训练方法，其特征在于，所述获取多个历史客服工单的步骤之后，包括：

确定所述工单类型为所述非投诉工单的历史客服工单对应的第一数量，以及所述工单类型为所述投诉工单的历史客服工单对应的第二数量；

检测所述第一数量与所述第二数量之间的差值是否大于预设值；

若是，执行所述利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单的步骤；

若否，将所有所述历史客服工单作为样本集合，并执行所述利用最近邻规则算法对所述样本集合进行数据过滤的步骤。

4.如权利要求1所述的投诉预警模型的训练方法，其特征在于，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之前，还包括：

遍历所述随机森林模型的误差比率，获取满足预设条件的所述误差比率；

根据获取得到的所述误差比率，确定所述随机森林模型的决策树的最大特征数。

5.如权利要求1-4中任一项所述的投诉预警模型的训练方法，其特征在于，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之后，还包括：

接收到目标客服工单时，将所述目标客服工单输入到所述投诉预警模型中进行分析，以预测所述目标客服工单的工单类型；

确定与所述目标客服工单的工单类型对应的预设操作，并执行所述预设操作；

接收到所述预设操作的确认响应时，根据所述目标客服工单和所述目标客服工单对应的工单类型，生成训练样本；

利用所述训练样本更新所述投诉预警模型。

6.如权利要求5所述的投诉预警模型的训练方法，其特征在于，所述确定与所述目标客服工单的工单类型对应的预设操作的步骤包括：

检测到所述目标客服工单的工单类型为所述投诉工单时，根据所述目标客服工单中与所述投诉工单相关的关键特征，获取与所述投诉工单对应的预设操作。

7.如权利要求1-4中任一项所述的投诉预警模型的训练方法，其特征在于，所述根据所述对应关系更新所述随机森林模型，得到投诉预警模型的步骤之后，还包括：

将所述投诉预警模型存储至区块链网络。

8.一种投诉预警模型的训练装置，其特征在于，包括：

获取模块，用于获取多个历史客服工单，其中，所述历史客服工单包括工单类型和至少一种交互特征；所述工单类型包括投诉工单和非投诉工单；所述交互特征表征为客服与客户进行交互产生的特征；

生成模块，用于利用SMOTE算法对所述工单类型为所述投诉工单的历史客服工单进行采样，生成多个模拟工单，并根据所有所述历史客服工单和所述模拟工单，生成样本集合；

过滤模块，用于利用最近邻规则算法对所述样本集合进行数据过滤；

分类模块，用于将过滤后的所述样本集合输入到随机森林模型中进行训练，以得到所述样本集合中的每种所述交互特征关联的所述工单类型的分类概率，以及每种所述交互特征对应的信息增益；

运算模块，用于对所有所述交互特征对应的信息增益进行调和平均运算，得到基准参数；

对比模块，用于将所述信息增益大于或等于所述基准参数的所述交互特征，作为关键特征；

处理模块，用于根据每种所述关键特征关联的所有所述工单类型的分类概率，确定每种所述关键特征所属的工单类型，并建立每种所述关键特征与每种所述关键特征所属的工单类型之间的对应关系；

更新模块，用于根据所述对应关系更新所述随机森林模型，得到投诉预警模型。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的投诉预警模型的训练方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的投诉预警模型的训练方法的步骤。