CN109726290A - 投诉分类模型的确定方法及装置、计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种投诉分类模型的确定方法及装置、计算机可读存储介质，该方法包括：针对第一投诉数据的分类结果，得到至少一个投诉分类；该第一投诉数据包括历史投诉数据；根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式；根据投诉表达式，确定投诉分类模型；其中，投诉分类模型用于确定第二投诉数据对应的投诉分类；第二投诉数据至少包括除第一投诉数据之外的投诉数据。

Description

投诉分类模型的确定方法及装置、计算机可读存储介质

技术领域

本发明涉及电话投诉分析技术，尤其涉及一种投诉分类模型的确定方法及装置、计算机可读存储介质。

背景技术

近年来，客户投诉的处理流程主要依靠人工处理，人工客服依据个人工作经验及参考文档，将客户投诉内容分类并制成投诉工单，并将投诉工单发送给审核人，审核人在对投诉工单审核后，将投诉工单发送给对应的业务处理部门。由此可见，人工处理客户投诉流程涉及多个环节，致使投诉处理时间较长，且人工客服的工作状态与工作能力存在不稳定性，导致投诉内容的分类准确度不高。

目前，存在使用机器学习对投诉数据进行建模，使用模型分析并处理投诉，然而，由于投诉数据较为庞杂，使得建模难度较大，并且所建立的模型准确度低下，处理投诉的效率不高。由此可见，不管是人工处理投诉，还是利用机器学习建模，都存在解决投诉处理时间长，投诉分类准确度不高的问题。

发明内容

本发明的主要目的在于提出一种投诉分类模型的确定方法及装置、计算机可读存储介质，降低投诉分类模型建立的难度，并提高投诉分类模型的处理效率与分类准确度。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种投诉分类模型的确定方法，包括：

针对第一投诉数据的分类结果，得到至少一个投诉分类；所述第一投诉数据包括历史投诉数据；

根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的投诉表达式；

根据所述投诉表达式，确定投诉分类模型；其中，所述投诉分类模型用于确定第二投诉数据对应的投诉分类；所述第二投诉数据至少包括除所述第一投诉数据之外的投诉数据。

在上述方案中，所述根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的投诉表达式，包括：

根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的表达特征；所述表达特征至少包括以下之一：所述至少一个投诉分类对应的所述第一投诉数据的语义、语序与句式；

根据所述表达特征，确定所述至少一个投诉分类对应的所述投诉表达式。

在上述方案中，所述根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的表达特征，包括：

获取所述第一投诉数据对应的位置信息；

基于所述位置信息，确定所述至少一个投诉分类对应的所述第一投诉数据的语言类型；

确定所述语言类型为预设方言时，根据所述预设方言对应的语言特征，确定所述至少一个投诉分类对应的所述表达特征。

在上述方案中，所述根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的表达特征，包括：

根据预设投诉类型，确定所述至少一个投诉分类对应的第一投诉数据的投诉主体词；

根据所述预设词语关联算法，处理所述投诉主体词，得到所述至少一个投诉分类对应的关联词；

根据预设词频统计算法，处理所述关联词，将满足预设条件的所述关联词对应的投诉主体词，确定为关键词；

根据所述关键词、所述关联词、通配符与连接符，确定所述至少一个投诉分类对应的所述表达特征。

在上述方案中，所述根据所述投诉表达式，确定投诉分类模型，包括：

利用所述投诉表达式对所述第一投诉数据进行分类，得到第一投诉分类结果；

将所述第一投诉数据的分类结果中与所述第一投诉分类结果匹配的分类结果，作为标注数据；

根据所述标注数据，确定所述投诉分类模型。

在上述方案中，在所述确定所述投诉分类对应的投诉表达式之后，所述方法还包括：

利用所述投诉表达式对所述第一投诉数据进行分类，得到第二分类结果；

确定所述第二分类结果中与所述第一投诉数据的分类结果不匹配的分类结果，得到优化分类结果；

获取所述优化分类结果对应的所述第一投诉数据，得到优化投诉数据；

根据所述优化投诉数据，对所述投诉表达式进行优化；

相应地，所述根据所述投诉表达式，确定投诉分类模型，包括：

根据优化后的投诉表达式，确定所述投诉分类模型。

在上述方案中，在所述确定投诉分类模型之后，所述方法还包括：

当获取到所述第二投诉数据时，根据所述投诉分类模型，对第二投诉数据进行分类，得到第二投诉数据对应的投诉分类。

第二方面，本发明实施例提供了一种投诉分类模型的确定装置，包括：

处理单元，用于针对已确定好的第一投诉数据的分类结果，得到至少一个投诉分类；所述第一投诉数据包括历史投诉数据；以及根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的投诉表达式；

模型单元，用于根据所述投诉表达式，确定投诉分类模型；其中，所述投诉分类模型用于确定第二投诉数据对应的投诉分类；所述第二投诉数据至少包括除所述第一投诉数据之外的投诉数据。

第三方面，本发明实施例还提供了一种投诉分类模型的确定装置，包括：存储器及处理器；

所述存储器，用于存储可执行文本操作指令；

所述处理器，用于执行所述存储器中存储的可执行文本操作指令，实现如上述第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，存储有可执行文本操作指令，用于引起处理器执行时，实现如上述第一方面任一项所述的方法。

本发明实施例提供一种投诉分类模型的确定方法及装置、计算机可读存储介质，针对第一投诉数据的分类结果，得到至少一个投诉分类；该第一投诉数据包括历史投诉数据；根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式；根据投诉表达式，确定投诉分类模型；其中，投诉分类模型用于确定第二投诉数据对应的投诉类型；第二投诉数据至少包括除第一投诉数据之外的投诉数据。采用上述实现方式，投诉分类模型的确定装置能够根据历史投诉数据确定出各个投诉类型所对应的投诉表达式，从而确定投诉分类模型，大大降低了投诉分类模型建立的难度，并且该投诉分类模型能够用于自动对实时投诉数据进行分类，减少实时投诉的处理时长，提高实时投诉分类的准确度。

附图说明

图1为本发明实施例提供的一种投诉分类模型的确定方法的流程图一；

图2为本发明实施例提供的一种第一投诉数据的预设分类示意图；

图3为本发明实施例提供的一种投诉分类模型的确定过程示意图；

图4为本发明实施例提供的一种投诉分类模型的确定方法的流程图二；

图5为本发明实施例提供的一种投诉分类模型的确定方法的流程图三；

图6为本发明实施例提供的一种投诉分类模型的确定方法的流程图四；

图7为本发明实施例提供的一种根据预设关联算法确定投诉主体词所对应的关联词的示意图；

图8为本发明实施例提供的投诉分类模型的确定装置所确定的投诉表达式实例图；

图9为本发明实施例提供的一种投诉分类模型的确定方法的流程图五；

图10为本发明实施例提供的投诉表达式对第一投诉数据的分类结果示意图一；

图11为本发明实施例提供的投诉表达式对第一投诉数据的分类结果示意图二；

图12为本发明实施例提供的投诉表达式对第一投诉数据的分类结果示意图三；

图13为本发明实施例提供的确定至少一个分类投诉表达式对应的至少一个投诉表达式的过程示意图；

图14为本发明实施例提供的投诉分类模型对网络投诉现象的分类效果示意图；

图15为本发明实施例提供的投诉分类模型对接入类投诉业务的分类效果示意图；

图16为本发明实施例提供的一种投诉分类模型确定装置的结构示意图一；

图17为本发明实施例提供的一种投诉分类模型确定装置的结构示意图二；

图18为本发明实施例提供的一种投诉分类模型确定装置的组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

本发明实施例提供一种投诉分类模型的确定方法，如图1所示，该方法可以包括：

S101、针对第一投诉数据的分类结果，得到至少一个投诉分类；该第一投诉数据包括历史投诉数据。

本发明实施例提供的一种投诉分类模型的确定方法是在根据投诉数据确定投诉分类模型的场景下实现的。投诉分类模型的确定装置所获得的第一投诉数据，至少包括投诉内容与投诉应答内容。由于投诉分类模型的确定装置所获取的第一投诉数据中包括多个类型的投诉内容，因而，投诉分类模型的确定装置需要针对第一投诉数据的分类结果，得到第一投诉数据中所对应的至少一个投诉分类，投诉分类模型的确定装置只有在确定第一投诉数据所对应的投诉类别之后，才能根据至少一个投诉分类来确定投诉分类模型。

需要说明的是，第一投诉数据包括历史投诉数据，也即投诉分类模型的确定装置可以针对历史投诉数据的分类结果，得到至少一个投诉分类，并根据历史投诉数据所对应的至少一个投诉分类，确定投诉分类模型。

本发明实施例中，第一投诉数据可以是由语音投诉数据经过语音转写操作，所得到的语音投诉数据对应的文本数据。具体的，第一投诉数据中语音投诉数据可以通过对投诉电话录音而获得，语音转写操作可以通过语音转写引擎完成。

本发明实施例所获取的语音投诉数据的初始格式可以为MP3、WAV、V3、AMR等格式，本发明实施例在此不作限制。

优选的，在对语音投诉数据进行语音转写操作之前，可以先对语音投诉数据的格式进行规整，例如，可以按照语音转写引擎所支持的格式对语音投诉数据进行规整，或是按照指定格式对语音投诉数据进行规整，本发明实施例在此不作限制。

投诉分类模型的确定装置将规整好的语音投诉数据，输入语音转写引擎，语音转写引擎根据预设资源库，将投诉语音数据转写为对应的文本数据。需要说明的是，语音转写引擎在转写语音投诉数据时，能将投诉内容与投诉应答内容的自动分离，并基于时间顺序，为投诉内容与投诉应答内容添加标签。

本发明实施例中，第一投诉数据的分类结果可以是第一投诉数据的预设分类结果，在确定第一投诉数据的分类结果之后，投诉分类模型的确定装置能够得到至少一个投诉分类。需要说明的是，第一投诉数据的预设分类可以是根据业务类型确定的。

本发明实施例给出了对第一投诉数据的预设分类实例，如图2所示，可以根据第一投诉数据的投诉人、投诉时间、投诉事件和涉及地点进行分类，具体可以分为人物、事件、时间以及地点等大类。更具体的，在事件类别下，又能细分为宽带类、WLAN类、网络类、虚拟网类、积分类、终端类、服务质量类、信息安全类、资费套餐类等类别，在时间类别下可以分类突发、长期、偶发等类别，在地点类别下，又可细分为医疗卫生、宾馆饭店、公司企业、文化教育、休闲娱乐、综合商场、地产小区、交通设施、餐饮服务、旅游景点等类别。

优选的，第一投诉数据的预设分类可以包括网络类、宽带类、虚拟网类、WLAN/CMCC类、终端类、积分类、服务质量类、信息安全类、资费套餐类、业务咨询类、以及其他类等投诉大类，具体的，在上述类别下又可划分出：无法主被叫、通话指令不好、上网慢、上网掉线、SIM卡、APP问题、信号问题、通话掉话等投诉小类。需要说明的是，以上只是第一投诉数据的分类结果的一种形式，具体还可以按照其他分类方式对第一投诉数据进行分类，本发明实施例在此不作限制。

需要说明的是，本发明实施例中的投诉分类模型的确定装置，可以是具有计算服务的设备，例如服务器等，本发明实施例在此不作限制。

S102、根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式。

投诉分类模型的确定装置在得到至少一个投诉分类后，需要根据至少一个投诉分类所对应的投诉数据，从投诉数据中确定出至少一个投诉分类对应的投诉表达式。由于投诉分类所对应的投诉数据中，包含有确定投诉分类所需要的特征，因而，投诉分类模型的确定装置从投诉数据中获得投诉分类所对应的特征后，就能够确定投诉分类所对应的投诉表达式。

具体的，投诉分类模型的确定装置根据至少一个投诉分类对应的第一投诉数据，确定出至少一个投诉分类对应的表达特征；该表达特征至少包括：与至少一个投诉分类对应的第一投诉数据的语义、语序与句式；投诉分类模型的确定装置根据表达特征，确定至少一个投诉分类对应的投诉表达式。

具体的，投诉分类模型的确定装置根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的表达特征，包括：根据预设投诉类型，确定至少一个投诉分类对应的第一投诉数据的投诉主体词；根据预设词语关联算法，处理投诉主体词，得到至少一个投诉分类对应的关联词；根据预设词频统计算法，处理关联词，将满足预设条件的关联词对应的投诉主体词，确定为关键词；根据关键词、关联词、通配符与连接符，确定至少一个投诉分类对应的表达特征。

需要说明的是，本发明实施例中的至少一个投诉分类对应的投诉表达式，指的是与投诉分类一一对应的投诉表达式。

优选的，本发明实施例中的投诉表达式可以是正则表达式，相应地，至少一个投诉分类对应的投诉表达式，可以是与至少一个投诉分类对应的正则表达式。本发明实施例中，投诉分类模型的确定装置在获得表达特征，即语义、语序以及句式后，可以创建正则表达式，所创建的正则表达式即为投诉表达式。

需要说明的是，本发明实施例所确定的投诉表达式，可以包括通配符、连接符等。

S103、根据投诉表达式，确定投诉分类模型；其中，投诉分类模型用于确定第二投诉数据对应的投诉分类；第二投诉数据至少包括除第一投诉数据之外的投诉数据。

投诉分类模型的确定装置在确定至少一个投诉分类对应的投诉表达式后，可以利用该投诉表达式，确定出标注数据，投诉分类模型的确定装置利用该标注数据，能够确定出投诉分类模型，该投诉分类模型，能够用于对第二投诉数据进行处理，获得第二投诉数据所对应的投诉分类。

具体的，投诉分类模型的确定装置利用投诉表达式对第一投诉数据进行分类，得到第一投诉分类结果；将第一投诉数据的分类结果中与第一投诉分类结果匹配的分类结果，作为标注数据；投诉分类模型的确定装置根据标注数据，确定投诉分类模型。

需要说明的是，第一投诉数据的分类结果，可以是第一投诉数据的预设分类结果。此时，投诉分类模型的确定装置利用投诉表达式对第一投诉数据进行分类，所得到的第一投诉分类结果，与第一投诉数据的预设分类结果进行匹配，将匹配上的分类结果，作为标注数据。

优选的，标注数据可以按照预设要求进行格式处理，具体的预设要求可以根据实际应用由研发人员进行设置，本发明实施例在此不作限制。

需要说明的是，投诉分类模型的确定装置根据标注数据，可以根据深度学习建模，获得投诉分类模型。此时，将标注数据作为输入，开展深度学习建模，通过调整参数等操作，确定投诉模型分类。

可选的，本发明实施例中，可以将标注数据作为输入，将至少一个投诉分类作为输出，确定一个多输出的投诉分类建模；也可以将标注数据作为输入，为每一个投诉分类确定一个相应的投诉分类模型，即确定至少一个投诉分类模型。具体的实现方法可以根据实际需求进行选择，本发明实施例在此不作限制。

优选的，在投诉分类模型的确定过程中，可以对投诉分类模型进行多轮迭代优化。此时，投诉分类模型的确定过程示意如图3所示，将标注数据作为输入进行投诉分类模型的确定装置开展深度学习建模，用验证集作为输入，评估投诉分类模型，获得投诉分类模型的评估指标，当上述评估指标存在偏差时，调整参数，对投诉分类模型进行迭代优化，直至投诉分类模型的评估指标达到预设标准，获得最终的投诉分类模型。

需要说明的是，验证集可以是预先从标注数据中取出的部分数据，也可以根据第一投诉数据的分类结果确定出的数据，或者投诉分类模型的确定装置通过现有技术根据确定的数据，本发明在此不作限制。

需要说明的是，投诉分类模型的评估指标可以包括：准确率、召回率、受试者工作特征曲线(Receiver Operating Characteristic Curve，ROC曲线)、ROC曲线下方面积(Area Under The Curve of ROC，AUC面积)等。具体的投诉分类模型的评估指标可以根据实际应用来确定，本发明实施例在此不作限制。

本发明实施例中，投诉分类模型的确定装置在确定投诉分类模型之后，如图4所示，还可以包括S104：

S104、当获取到第二投诉数据时，根据投诉分类模型，对第二投诉数据进行分类，得到第二投诉数据对应的投诉分类。

投诉分类模型能够用于对第二投诉数据进行分类，也即用于对除第一投诉数据之外的投诉数据进行分类，因而，当投诉分类模型的确定装置获取到第二投诉数据时，可以直接使用投诉分类模型，获得第二投诉数据的分类结果。

需要说明的是，第二投诉数据指的是除第一投诉数据之外的投诉数据，第一投诉数据中包括历史投诉数据，因而，第二投诉数据可以是除历史投诉数据之外的投诉数据，例如投诉分类模型的确定装置当前所获得的实时投诉数据。

本发明实施例提供的一种投诉分类模型确定方法，针对第一投诉数据的分类结果，得到至少一个投诉分类；第一投诉数据包括历史投诉数据；根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式；根据投诉表达式，确定投诉分类模型；其中，投诉分类模型用于确定第二投诉数据对应的投诉分类；第二投诉数据至少包括除第一投诉数据之外的投诉数据。采用上述实现方式，投诉分类模型的确定装置能够根据历史投诉数据确定出各个投诉类型所对应的投诉表达式，从而确定投诉分类模型，大大降低投诉分类模型建立的难度，并且，该投诉分类模型能够用于自动对实时投诉数据进行分类，减少实时投诉的处理时长，提高实时投诉分类的准确度。

实施例二

基于与实施例一的同一发明构思，如图5所示，本发明实施例一中根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式，即实施例一中S102的具体实现过程，该过程可以包括：S1021-S1022。

S1021、根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的表达特征；该表达特征至少包括以下之一：至少一个投诉分类对应的第一投诉数据的语义、语序与句式。

投诉分类模型的确定装置根据至少一个投诉分类特征对应的第一投诉数据，能够确定出至少一个投诉分类对应的表达特征，表达特征中至少包括以下之一：至少一个投诉分类对应的第一投诉数据的语义、语序与句式。投诉分类模型的确定装置在确定出表达特征后，进而能够根据表达特征，确定出至少一个投诉分类对应的投诉表达式。

具体的，如图6所示，本发明实施例中根据至少一个第一投诉数据，确定至少一个投诉分类对应的表达特征，可以根据S1021a–S1021d来确定。如下：

S1021a、根据预设投诉类型，确定至少一个投诉分类对应的第一投诉数据的投诉主体词。

投诉分类模型的确定装置根据预设投诉类型，从至少一个投诉分类对应的第一投诉数据中，能够确定出投诉分类所对应的投诉主体词。

需要说明的是，预设投诉类型，可以是根据业务类型确定的，投诉主体词，可以是第一投诉数据中，主要用于表征该投诉内容的词。

S1021b、根据预设词语关联算法，处理投诉主体词，得到至少一个投诉分类对应的关联词。

确定了投诉主体词后，投诉分类模型的确定装置根据单个的主体词，是难以理解其具体含义的，因而投诉分类模型的确定装置需要根据预设词语关联算法，挖掘出词间的关联性，并根据词间的关联性，确定出更为完整的表达特征。

需要说明的是，本发明实施例中，投诉分类模型的确定装置所得到的至少一个投诉分类对应的关联词指的是投诉主体词所对应的多个现象词，以及多个现象词对应的多个原因词。

优选的，本发明实施例中预设词语关联算法，可以为小世界关联算法，投诉分类模型的确定装置根据小世界关联算法，能够确定出投诉主体词的多个现象词与多个原因词，即确定出投诉主体词的所对应的关联词。

示例性的，如图7所示，投诉分类模型的确定装置根据预设投诉类型，确定了投诉主体词“网络”，根据预设词语关联算法，能投确定出“网络”所对应的关联词，即根据小世界关联算法确定出“网络”所对应的多个现象词，例如“登不上”、“打不开”、“用不了”、“速度慢”等，以及投诉分类模型的确定装置根据小世界关联算法确定出“登不上”、“打不开”、“用不了”、“速度慢”所对应的原因词，例如“故障”、“功能关闭”、“覆盖差”等。

S1021c、根据预设词频统计算法，处理关联词，将满足预设条件的所述关联词对应的投诉主体词，确定为关键词。

投诉分类模型的确定装置在确定出投诉主体词的关联词之后，还需要从关联词中确定关联词的重要性，如果关联词的重要性较高，则将该关联词所对应的投诉主体词，作为关键词，并依据关键词，确定表达特征。

需要说明的是，预设词频算法可以是词频统计法，投诉分类模型的确定装置根据词频统计法，能够分析关联词的重要性。当关联词的重要性满足预设条件时，将关联词所对应的投诉主体词，确定为关键词。

需要说明的是，预设条件用于表征关联词的重要性是否达到了一定的标准。在实际应用中，预设条件可以由研发人员进行设置，在此，本发明实施例不作限制。

本发明实施例中，关联词的重要性可以根据关联词出现频率、逆文档率来确定。

示例性的，投诉分类模型的确定装置能够根据投诉主体词、关联词以及预设分类确定出词库，并获得词库的总字数，关联词的重要性可以根据以下方法计算：

关联词出现频率频TF＝某个关联词在词库出现次数*词的字数、词库总字数；

逆文档率IDF＝log[词库文档总数/(出现该词的文档数+1)]；

某个关联词对文档的重要性TF-IDF＝TF*IDF；TF-IDF与某个关联词在文档中出现的次数成正比，与该词在词库中出现的次数成反比，TF-IDF值越大，表示该关联词对文档的重要性越高；

某个关联词在词库中的重要性TF-IDF＝TF*(1/IDF)。

据此，投诉分类模型的确定装置能够确定关联词的重要性，重要性高时将该关联词对应的投诉主体词作为关键词。

S1021d、根据关键词、关联词、通配符以及连接符，确定至少一个投诉分类对应的表达特征。

投诉分类模型的确定装置在确定出关键词和关联词之后，就可以通过连接符将关键词与关联词连接，并添加通配符，确定出至少一个投诉分类所对应的表达特征。

至此，投诉分类模型的确定装置可以根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的表达特征。

本发明实施例中，投诉分类模型的确定装置所获得的第一投诉数据很有可能带有方言的表达特征，会对确定至少一个投诉分类对应的表达特征时造成影响，使得表达特征确定不准，此时，需要根据位置信息，确定该位置信息对应的语言特征，根据位置信息对应的语言特征，确定表达特征。

具体的，投诉分类模型的确定装置根据至少一个分类对应的第一投诉数据，确定至少一个投诉分类对应的表达特征，可以包括：获取第一投诉数据对应的位置信息；基于位置信息，确定至少一个投诉分类对应的第一投诉数据的语言类型；确定语言类型为预设方言时，根据预设方言对应的语言特征，确定至少一个投诉分类对应的表达特征。

优选的，投诉分类模型的确定装置可以从第一投诉数据对应的音频来源地、号码归属地，或者注册地等来获取第一数据对应的位置信息。

本发明实施例中，当投诉分类模型的确定装置根据第一投诉数据，以及预设方言对应的语言特征来确定至少一个投诉分类对应的表达特征的具体过程，与上述S1021a-S1021d的过程描述一致，在此不再赘述。

S1022、根据表达特征，确定至少一个投诉分类对应的投诉表达式。

投诉分类模型的确定装置在获得表达特征后，就可以根据表达特征中的语义、语序与句式，确定出投诉表达式。

示例性的，投诉分类模型的确定装置可以将某个投诉分类对应的表达特征中的语义、语序与句式，作为筛选条件，确定投诉表达式，也可以将其他投诉分类对应的表达特征中的语义、语序与句式，作为屏蔽筛选条件，以此确定投诉表达式。

示例性的，如图8所示，投诉分类模型的确定装置可以根据至少一个投诉分类对应的第一投诉数据，确定出投诉表达式。该投诉表达式的类别为通话类，具体的投诉问题是通话听不到声音。

至此，投诉分类模型的确定装置可以根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式。

本发明实施例提供的一种投诉分类模型确定方法，针对第一投诉数据的分类结果，得到至少一个投诉分类；第一投诉数据包括历史投诉数据；根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式；根据投诉表达式，确定投诉分类模型；其中，投诉分类模型用于确定第二投诉数据对应的投诉分类；第二投诉数据至少包括除第一投诉数据之外的投诉数据。采用上述实现方式，投诉分类模型的确定装置能够根据历史投诉数据确定出各个投诉类型所对应的投诉表达式，从而确定投诉分类模型，大大降低投诉分类模型建立的难度，并且，该投诉分类模型能够用于自动对实时投诉数据进行分类，减少实时投诉的处理时长，提高实时投诉分类的准确度。

实施例三

基于与实施例一的同一发明构思，如图9所示，在实施例一中根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式之后，即S102之后，该方法还可以包括S102a-S102d,如下：

S102a、利用投诉表达式对第一投诉数据进行分类，得到第二分类结果。

投诉分类模型的确定装置在确定投诉表达式之后，可以利用投诉表达式对第一投诉数据进行分类，所得到的分类结果即为第二分类结果。

需要说明的是，第二分类结果中，包括了第一投诉数据，以及利用投诉表达式确定的第一投诉数据的投诉类别。

S102b、确定第二分类结果中与第一投诉数据的分类结果不匹配的分类结果，得到优化分类结果。

投诉分类模型的确定装置将第二分类结果中的投诉类别与第一投诉数据的分类结果进行比较，找出不匹配的分类结果，由于第一投诉数据的分类结果，可以是第一投诉数据的预设分类结果，因而，投诉分类模型的确定装置将第一投诉数据的分类结果看作是正确参考，据此，投诉分类模型的确定装置能够找到与正确参考不同的分类结果，即与预设分类结果存在偏差的分类结果，将此结果作为优化分类结果。

S102c、获取优化结果分类对应的第一投诉数据，得到优化投诉数据。

投诉分类模型的确定装置在获得优化分类结果后，投诉分类模型的确定装置会获取与优化分类结果相对应的第一投诉数据，并将此数据作为优化投诉数据，进行下一步的处理。

S102d、根据优化投诉数据，对投诉表达式进行优化；相应地，根据投诉表达式确定分类模型，包括：根据优化后的投诉表达式，确定投诉分类模型。

投诉分类模型的确定装置在获得优化投诉数据之后，根据优化投诉数据，需要对投诉表达式中的筛选条件、屏蔽筛选条件进行优化，在经过多轮优化调整后，投诉分类模型的确定装置能够获得分类较为准确的投诉表达式，并将此投诉表达式，作为优化后的投诉表达式，并根据优化后的投诉表达式，确定投诉分类模型。

需要说明的是，投诉分类模型的确定装置在多轮优化过程中，会不断的调整修正投诉表达式中的筛选条件和屏蔽筛选条件，具体的优化过程可以根据实际情况决定，本发明实施例在此不作限制。

至此，投诉分类模型的确定装置能够根据至少一个投诉分类对应的第一投诉数据，确定出至少一个投诉分类对应的投诉表达式，并利用第一投诉数据，对投诉表达式进行优化。

示例性的，优化后的投诉表达式对第一投诉数据分类的如图10所示，为投诉表达式对第一投诉数据的总类分类结果，总类分类有网络类、宽带类、WLAN类等，投诉表达式分别从第一投诉数据中，能够检出各总类分类的投诉工单数、工单占比数、用户数和用户数占比。更具体的，网络分类包括无法主被叫、通话质量不好、单通等类别，如图11所示，投诉表达式能够从第一投诉数据中，检测出网络分类投诉的检出数、检出用户数、检出占比、正确数、正确用户数及准确率。投诉表达式还能检出多重投诉，如图12所示，投诉表达式能够检出投诉号码，第一次投诉现象、第一次通话时间、第二次投诉现象、第二次通话时间以及时间差(小时)。

示例性的，如图13所示，为根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式的一个过程示意图。在该过程中，第一投诉数据可以是根据全量通话记录数据XDR，以及全量通话记录数据经过语音转写操作所得到的语音投诉数据对应的文本数据，在语音转写操作中，投诉分类模型的确定装置能将投诉内容与投诉应答内容自动进行角色分离数据拆分，并根据预设的话语话术，预设方言库，以及投诉内容和投诉应答内容，确定至少一个表达特征，即语义、语序与句式，以及方言对应的语言特征，并根据小世界算法与预设的词频统计算法以及聚类分析，确定投诉表达式，并使用正则表达式对投诉内容进行分析，以及对投诉应答内容进行分析，然后进行初步验证，当存在不匹配的分类结果时对投诉表达式进行优化，最后联合验证正则表达式，将通过验证的正则表达式作为最终的投诉表达式。

本发明实施例提供的一种投诉分类模型确定方法，针对第一投诉数据的分类结果，得到至少一个投诉分类；第一投诉数据包括历史投诉数据；根据至少一个投诉分类对应的第一投诉数据，确定至少一个投诉分类对应的投诉表达式；根据投诉表达式，确定投诉分类模型；其中，投诉分类模型用于确定第二投诉数据对应的投诉分类；第二投诉数据至少包括除第一投诉数据之外的投诉数据。采用上述实现方式，投诉分类模型的确定装置能够根据历史投诉数据确定出各个投诉类型所对应的投诉表达式，从而确定投诉分类模型，大大降低投诉分类模型建立的难度，并且，该投诉分类模型能够用于自动对实时投诉数据进行分类，减少实时投诉的处理时长，提高实时投诉分类的准确度。具体的，本发明实施例提供的一种投诉分类模型确定方法，在自动对实时投诉数据分类时，可以获得如图14所示的效果，投诉分类模型的确定装置能够对第二投诉数据中的网络投诉现象分类，获得3G、4G以及未提及业务类别的投诉数目，装置还能够对第二投诉数据中的接入类投诉业务分类，其效果如图15所示，获得数据业务、全业务、语音业务以及未提及业务所占接入类业务的比例，投诉分类准确率达到95％左右。

实施例四

基于实施例一至实施例三的同一发明构思，如图16所示，本发明实施例提供了一种投诉分类模型的确定装置1，该投诉分类模型的确定装置1可以包括：

处理单元10，用于针对已确定好的第一投诉数据的分类结果，得到至少一个投诉分类；所述第一投诉数据包括历史投诉数据；以及根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的投诉表达式。

模型单元11，用于根据所述投诉表达式，确定投诉分类模型；其中，所述投诉分类模型用于确定第二投诉数据对应的投诉分类；所述第二投诉数据至少包括除所述第一投诉数据之外的投诉数据。

可选的，所述处理单元，具体用于根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的表达特征；所述表达特征至少包括以下之一：所述至少一个投诉分类对应的所述第一投诉数据的语义、语序与句式；以及根据所述表达特征，确定所述至少一个投诉分类对应的所述投诉表达式。

可选的，如图17所示，所述投诉分类模型的确定装置还包括获取单元12，所述获取单元，用于获取所述第一投诉数据对应的位置信息；

所述处理单元，具体用于基于所述位置信息，确定所述至少一个投诉分类对应的所述第一投诉数据的语言类型；确定所述语言类型为预设方言时，根据所述预设方言对应的语言特征，确定所述至少一个投诉分类对应的所述表达特征。

可选的，所述处理单元，具体用于根据预设投诉类型，确定所述至少一个投诉分类对应的第一投诉数据的投诉主体词；根据所述预设词语关联算法，处理所述投诉主体词，得到所述至少一个投诉分类对应的关联词；根据预设词频统计算法，处理所述关联词，将满足预设条件的所述关联词对应的投诉主体词，确定为关键词；以及根据所述关键词、所述关联词、通配符与连接符，确定所述至少一个投诉分类对应的所述表达特征。

可选的，所述模型单元，具体用于利用所述投诉表达式对所述第一投诉数据进行分类，得到第一投诉分类结果；将所述第一投诉数据的分类结果中与所述第一投诉分类结果匹配的分类结果，作为标注数据；以及根据所述标注数据，确定所述投诉分类模型。

可选的，所述处理单元，具体用于用所述投诉表达式对所述第一投诉数据进行分类，得到第二分类结果；确定所述第二分类结果中与所述第一投诉数据的分类结果不匹配的分类结果，得到优化分类结果；获取所述优化分类结果对应的所述第一投诉数据，得到优化投诉数据；以及根据所述优化投诉数据，对所述投诉表达式进行优化；

相应地，所述模型单元，具体用于根据优化后的投诉表达式，确定所述投诉分类模型。

可选的，所述处理单元，具体用于当获取到所述第二投诉数据时，根据所述投诉分类模型，对第二投诉数据进行分类，得到第二投诉数据对应的投诉分类。

实施例五

基于实施例一至实施例三的同一发明构思，图18为本发明实施例提出的一种投诉分类模型的确定装置的组成结构示意图，如图18所示，本发明提出的投诉分类模型的确定装置可以包括处理器01、存储有处理器01可执行指令的存储器02。其中，处理器01用于执行存储器中存储的可执行文本操作指令，以实现实施例一至实施例三中任一个或多个实施例中的方法。

在本发明的实施例中，上述处理器01可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本发明实施例不作具体限定。该终端还包括存储器02，该存储器02可以与处理器01连接，其中，存储器02可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。

在实际应用中，上述存储器02可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器01提供指令和数据。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种计算机可读存储介质，其上存储有可实现程序，应用于终端中，该程序被处理器执行时实现如实施例一至实施例三中任意一个或多个实施例中的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

Claims (10)

1.一种投诉分类模型的确定方法，其特征在于，所述方法包括：

针对第一投诉数据的分类结果，得到至少一个投诉分类；所述第一投诉数据包括历史投诉数据；

根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的投诉表达式；

根据所述投诉表达式，确定投诉分类模型；其中，所述投诉分类模型用于确定第二投诉数据对应的投诉分类；所述第二投诉数据至少包括除所述第一投诉数据之外的投诉数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的投诉表达式，包括：

根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的表达特征；所述表达特征至少包括以下之一：所述至少一个投诉分类对应的所述第一投诉数据的语义、语序与句式；

根据所述表达特征，确定所述至少一个投诉分类对应的所述投诉表达式。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的表达特征，包括：

获取所述第一投诉数据对应的位置信息；

基于所述位置信息，确定所述至少一个投诉分类对应的所述第一投诉数据的语言类型；

确定所述语言类型为预设方言时，根据所述预设方言对应的语言特征，确定所述至少一个投诉分类对应的所述表达特征。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的表达特征，包括：

根据预设投诉类型，确定所述至少一个投诉分类对应的第一投诉数据的投诉主体词；

根据所述预设词语关联算法，处理所述投诉主体词，得到所述至少一个投诉分类对应的关联词；

根据预设词频统计算法，处理所述关联词，将满足预设条件的所述关联词对应的投诉主体词，确定为关键词；

根据所述关键词、所述关联词、通配符与连接符，确定所述至少一个投诉分类对应的所述表达特征。

5.根据权利要求1所述的方法，其特征在于，所述根据所述投诉表达式，确定投诉分类模型，包括：

利用所述投诉表达式对所述第一投诉数据进行分类，得到第一投诉分类结果；

将所述第一投诉数据的分类结果中与所述第一投诉分类结果匹配的分类结果，作为标注数据；

根据所述标注数据，确定所述投诉分类模型。

6.根据权利要求1所述的方法，其特征在于，在所述确定所述投诉分类对应的投诉表达式之后，所述方法还包括：

利用所述投诉表达式对所述第一投诉数据进行分类，得到第二分类结果；

确定所述第二分类结果中与所述第一投诉数据的分类结果不匹配的分类结果，得到优化分类结果；

获取所述优化分类结果对应的所述第一投诉数据，得到优化投诉数据；

根据所述优化投诉数据，对所述投诉表达式进行优化；

相应地，所述根据所述投诉表达式，确定投诉分类模型，包括：

根据优化后的投诉表达式，确定所述投诉分类模型。

7.根据权利要求1所述的方法，其特征在于，在所述确定投诉分类模型之后，所述方法还包括：

当获取到所述第二投诉数据时，根据所述投诉分类模型，对第二投诉数据进行分类，得到第二投诉数据对应的投诉分类。

8.一种投诉分类模型的确定装置，其特征在于，所述装置包括：

处理单元，用于针对已确定好的第一投诉数据的分类结果，得到至少一个投诉分类；所述第一投诉数据包括历史投诉数据；以及根据所述至少一个投诉分类对应的所述第一投诉数据，确定所述至少一个投诉分类对应的投诉表达式；

模型单元，用于根据所述投诉表达式，确定投诉分类模型；其中，所述投诉分类模型用于确定第二投诉数据对应的投诉分类；所述第二投诉数据至少包括除所述第一投诉数据之外的投诉数据。

9.一种投诉分类模型的确定装置，其特征在于，包括：存储器及处理器；

所述存储器，用于存储可执行文本操作指令；

所述处理器，用于执行所述存储器中存储的可执行文本操作指令，实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，存储有可执行文本操作指令，用于引起处理器执行时，实现权利要求1至7任一项所述的方法。