CN115129865A - 一种工单分类方法、装置、电子设备和存储介质 - Google Patents

一种工单分类方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115129865A
CN115129865A CN202210524364.4A CN202210524364A CN115129865A CN 115129865 A CN115129865 A CN 115129865A CN 202210524364 A CN202210524364 A CN 202210524364A CN 115129865 A CN115129865 A CN 115129865A
Authority
CN
China
Prior art keywords
work order
service
information
conversation
dialog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210524364.4A
Other languages
English (en)
Inventor
吴启辉
杨念民
雷植程
童丽霞
吴俊江
郭超
林俊镖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210524364.4A priority Critical patent/CN115129865A/zh
Publication of CN115129865A publication Critical patent/CN115129865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及计算机技术领域，尤其涉及人工智能技术领域，提供一种工单分类方法、装置、电子设备和存储介质，用以提高工单分类的效率和准确性。其中，方法包括：获取待分类客服工单的工单信息，工单信息包括：对话文本信息和业务辅助信息；对对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；对业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征；将工单会话特征和工单辅助特征进行特征组合，并基于获得的组合特征对待分类客服工单进行分类，获得待分类客服工单所属的工单类别。本申请通过结合对话文本信息及业务辅助信息，来对待分类客服工单进行自动智能分类，可有效提高智能归档的准确性和效率。

Description

一种工单分类方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及人工智能技术领域，提供一种工单分类方法、装置、电子设备和存储介质。
背景技术
归档操作是指客服对每一项服务的工单进行业务问题上的分类。客服每天都在为海量的对象提供高效并优质的服务，在对象服务过程中，会涉及到各种各样的业务，为了便于后续的数据管理，客服需要对已提供的每一项服务的工单进行归档操作。
具体地，归档操作涉及到工单类型、内容摘要填写以及大量的归档标签等信息。相关技术中，客服需要熟记大量的归档标准，根据归档标准对所有服务工单进行手动归档，并填写上述信息，这些操作会耗费客服大量的服务时间，且受记忆影响，一些相似的业务内容容易归档错误。此外，每个客服有专门负责的业务领域，一旦涉及非熟悉领域或者背景较为复杂的业务问题，还需要咨询更为专业的人员，也浪费时间，且受主观影响容易出错。
因此，如何减少客服在归档过程中繁琐重复的操作，减少人为干扰，实现更加高效准确的归档是亟待解决的。
发明内容
本申请实施例提供一种工单分类方法、装置、电子设备和存储介质，用以提高工单分类的效率和准确性。
本申请实施例提供的一种工单分类方法，包括：
获取待分类客服工单的工单信息，所述工单信息包括：所述待分类客服工单对应的业务处理对象和业务服务对象之间的对话文本信息，以及所述待分类客服工单的业务辅助信息，所述对话文本信息是基于所述待分类客服工单记录的客服会话得到的；
对所述对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；以及，对所述业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征；
将所述工单会话特征和所述工单辅助特征进行特征组合，并基于获得的组合特征对所述待分类客服工单进行分类，获得所述待分类客服工单所属的工单类别。
本申请实施例提供的一种工单分类装置，包括：
信息获取单元，用于获取待分类客服工单的工单信息，所述工单信息包括：所述待分类客服工单对应的业务处理对象和业务服务对象之间的对话文本信息，以及所述待分类客服工单的业务辅助信息，所述对话文本信息是基于所述待分类客服工单记录的客服会话得到的；
特征提取单元，用于对所述对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；以及，对所述业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征；
分类单元，用于将所述工单会话特征和所述工单辅助特征进行特征组合，并基于获得的组合特征对所述待分类客服工单进行分类，获得所述待分类客服工单所属的工单类别。
可选的，所述对话文本信息包括：所述业务处理对象与所述业务服务对象之间的至少一轮对话文本；所述特征提取单元具体用于：
将所述对话文本信息中的各个对话文本分别输入已训练的目标分类模型，基于所述目标分类模型中的输入层，对所述各个对话文本进行词向量映射，获得所述各个对话文本各自包含的分词的词向量；
分别将各个对话文本各自包含的分词的词向量，输入所述基于所述目标分类模型中的会话特征编码层，基于所述会话特征编码层，对各个词向量进行整合处理，获得所述工单会话特征，所述工单会话特征用于表征所述会话主题和业务内容。
可选的，所述特征提取单元具体用于：
基于所述会话特征编码层的门控循环单元和自注意力机制，分别将各个对话文本各自包含的分词的词向量进行编码整合，获得各个对话文本的句向量；
分别将各轮对话中，所述业务处理对象与所述业务服务对象各自对应的句向量进行合并，获得所述各轮对话的对话向量；
基于所述会话特征编码层的门控循环单元和自注意力机制，将各个对话向量进行编码整合，获得所述工单会话特征。
可选的，所述特征提取单元还用于在对所述各个对话文本进行词向量映射之前，将所述至少一轮对话文本按照对话顺序拼接为长文本；或者，分别将各轮对话中，所述业务处理对象与所述业务服务对象的对话文本拼接为长文本；
所述特征提取单元具体用于：
基于所述会话特征编码层的门控循环单元和自注意力机制，将各个长文本所包含的分词的词向量进行编码整合，获得所述工单会话特征。
可选的，所述业务辅助信息包括所述业务处理对象和所述业务服务对象的对象信息，以及业务查询信息；
所述特征提取单元具体用于：
将所述业务辅助信息输入已训练的目标分类模型，基于所述目标分类模型中的辅助特征编码层，对所述业务辅助信息进行卷积处理，获得所述工单辅助特征，所述工单辅助特征用于表征所述业务内容。
可选的，所述业务辅助信息包括业务相关文本信息和业务相关类别信息中的至少一种；所述特征提取单元还用于：
在所述对所述业务辅助信息中的业务内容进行卷积处理，获得所述工单辅助特征之前，通过如下方式对所述业务辅助信息进行预处理：
若所述业务辅助信息包括业务相关文本信息，则基于所述目标分类模型中的输入层，对所述业务相关文本信息进行词向量映射处理；
若所述业务辅助信息包括业务相关类别信息，则基于所述目标分类模型中的输入层，对所述业务相关类别信息进行数值化处理。
可选的，所述对话文本信息包括所述业务处理对象与所述业务服务对象之间的至少一轮对话文本；
所述信息获取单元还用于通过下列方式获得所述至少一轮对话：
获取所述业务处理对象与所述业务服务对象之间的对话文本；
根据各个对话文本的对话顺序以及对应的对话发表方，将各个对话文本进行对齐，获得所述至少一轮对话文本，所述对话发表方为所述业务处理对象或所述业务服务对象。
可选的，所述装置还包括：
模型训练单元，用于通过下列方式训练得到所述目标分类模型：
基于训练样本集对待训练分类模型进行循环迭代训练，获得所述目标分类模型；所述训练样本集中的每个训练样本包括：样本工单的工单信息及对应的真实类别标签，所述真实类别标签用于标注所述样本工单所属的实际工单类别；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本输入所述待训练分类模型，获得所述训练样本中样本工单的预测类别结果，所述预测类别结果包括所述样本工单属于各个工单类别的预测概率；
采用基于所述预测类别结果和相应的真实类别标签构建的损失函数，对所述待训练的分类模型进行参数调整。
可选的，所述模型训练单元具体用于：
对于选取的每个训练样本，分别执行以下操作：对于一个训练样本，基于所述一个训练样本的预测类别结果中，与所述实际工单类别对应的预测概率，构建所述一个训练样本对应的焦点损失函数；
采用选取的各个训练样本各自对应的焦点损失函数，对所述待训练的分类模型进行参数调整。
可选的，所述训练样本集包括不同工单类别的训练样本；所述模型训练单元具体用于：
基于所述训练样本集对待训练分类模型进行至少一轮循环迭代训练后，基于所述待训练分类模型，获得所述训练样本集中各个样本工单各自的工单会话特征；
基于各个样本工单的工单会话特征，以及所述各个样本工单对应的真实类别标签，对所述训练样本集进行样本过滤；
基于过滤后的训练样本集，对所述待训练分类模型再进行至少一轮循环迭代训练，获得已训练的所述目标分类模型。
可选的，所述模型训练单元具体用于：
分别基于各个训练样本对应的预测类别结果中的各个预测概率，确定所述各个训练样本对应的预测工单类别；
将所述各个训练样本中，对应的预测工单类别与实际工单类别不一致的训练样本，作为待纠错训练样本，并将剩余训练样本作为参考训练样本；
对于每个待纠错训练样本，分别执行以下操作：若一个待纠错训练样本与至少一个参考训练样本对应的工单会话特征的相似度大于预设阈值，则将所述一个待纠错训练样本从所述训练样本集中剔除。
本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一种工单分类方法的步骤。
本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任意一种工单分类方法的步骤。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行上述任意一种工单分类方法的步骤。
本申请有益效果如下：
本申请实施例提供了一种工单分类方法、装置、电子设备和存储介质。由于本申请根据服务过程中业务处理对象和业务服务对象的对话，以及一些业务辅助信息，来推测出工单对应的业务问题，对工单进行智能归档，无需由人工重复繁琐的操作，在提高工单分类的效率的同时，结合对话文本信息中的会话主题和业务内容，以及业务辅助信息中业务内容的补充，来对待分类客服工单进行分类，不受人工主观意识的影响和专业领域的限制，可有效提高智能归档的准确性，且有效节省时间，提高服务效率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中的一种应用场景的一个可选的示意图；
图2为本申请实施例中的一种工单分类方法的实施流程图；
图3A为本申请实施例中的一种截取对齐方式的示意图；
图3B为本申请实施例中的一种合并对齐方式的示意图；
图4为本申请实施例中的一种目标分类模型的结构示意图；
图5为本申请实施例中的一种工单会话特征的特征提取方法流程示意图；
图6为本申请实施例中的一种工单会话特征提取过程的逻辑示意图；
图7为本申请实施例中的另一种工单会话特征的特征提取方法流程示意图；
图8A为本申请实施例中的一种长文本拼接方式的示意图；
图8B为本申请实施例中的另一种长文本拼接方式的示意图；
图9为本申请实施例中的一种工单辅助特征提取过程的逻辑示意图；
图10为本申请实施例中的一种模型训练方法的流程示意图；
图11为本申请实施例中的一种基于训练分类模型获得预测类别结果的逻辑示意图；
图12为本申请实施例中的另一种模型训练方法的流程示意图；
图13为本申请实施例中的一种模型训练过程的逻辑示意图；
图14为本申请实施例中的一种工单分类方法的具体实施流程示意图；
图15为本申请实施例中的一种模型应用过程的逻辑示意图；
图16为本申请实施例的一种工单分类装置的组成结构示意图；
图17为本申请实施例的一种电子设备的一个硬件组成结构示意图；
图18为本申请实施例的另一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
下面对本申请实施例中涉及的部分概念进行介绍。
归档：客服对每一条服务的工单都需要进行业务问题上的分类，这个操作称之为归档。本申请实施例中给出了一种智能归档的方法，即使用模型预测当前内容进行归档选择的方式，区别于人工查找选择。
工单和工单信息：根据字面意思可以解释为工作单据，工单可以是独立的，也可以是大型项目的一部分，可以为工单定义子工单。工单信息则是指一条服务工单相关的信息记录。本申请实施例中，主要是以客服工单(客服服务工作单)为例说明的，客服工单主要指客服与其服务的对象之间的对话记录。基于此，本申请实施例中的工单信息至少可分类两大类：对话文本信息和业务辅助信息。
对话文本信息：指业务处理对象与其服务的业务服务对象之间的对话文本。如在一次客服服务用户，解决用户问题的会话过程中，客服与用户之间可以进行一轮甚至是多轮的对话，这些对话信息转换为文本格式后，得到的文本信息可作为对话文本信息。
业务辅助信息：可以是人工抽取的额外辅助信息，用于辅助工单分类。在本申请实施例中，业务辅助信息包括但不限于：客服基本信息、业务查询信息、用户基本信息等，这部分数据是对业务内容的补充，有助于业务更细粒度的划分。
会话主题：一次会话指客服与其服务的对象之间的一次沟通交流，可以包括至少一轮对话。会话主题则是指客服与其服务的对象在一次沟通交流中，所交谈的核心思想。
工单会话特征：通过对工单的对话文本信息中的会话主题和业务内容进行特征提取所得到的特征。在本申请实施例中，该特征可通过机器学习模型来提取得到，可以是向量的形式，也可称作是会话向量。
工单辅助特征：通过对工单的业务辅助信息中的业务内容进行特征提取所得到的特征。在本申请实施例中，该特征也可通过机器学习模型来提取得到，可以是向量的形式，也可称作是特征向量。
业务处理对象：工单所涉及的会话的一方，本申请实施例中指会话过程中，主要用以解决业务问题的一方，如客服。
业务服务对象：工单所涉及的会话的另一方，本申请实施例中指会话过程中，主要用以反馈业务问题的一方，如客服服务的对象。
整合处理和编码整合：整合处理的原意是指把零散的东西彼此衔接整合，在本申请实施例中，整合处理主要是指将多个维度相同的特征向量合并为一个向量；编码整合是整合处理的一种具体方式，指对特征(向量)进行编码后，再对编码结果进行合并。合并方式可以是拼接、加权求和、加权平均等，本申请实施例中是以加权求和为例进行举例说明的。
本申请实施例涉及人工智能(Artificial Intelligence，AI)、自然语言处理(Nature Language processing，NLP)和机器学习技术(Machine Learning，ML)，基于人工智能中的计算机视觉技术和机器学习而设计。
人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例中的工单分类方法可应用到客服领域，将人工智能可客服领域中的客服工单分类相结合，可以实现高效准确的客服工单智能分类。
并且，在对客服工单分类过程中，需要对客服会话，客服对话文本等客户信息的进行处理，对于这些信息中的文本信息处理，即可结合自然语言处理技术来实现。
此外，本申请实施例中的目标分类模型就是采用机器学习或深度学习技术训练得到的。基于上述技术训练得到目标分类模型后，即可应用该目标分类模型实现客服工单的智能分类，以有效提高工单分类的效率和准确性。
下面对本申请实施例的设计思想进行简要介绍：
客服每天都在为海量的对象提供高效并优质的服务，在对象服务过程中，会涉及到各种各样的业务，为了便于后续的数据管理，客服需要对已提供的每一项服务的工单进行归档操作。
相关技术中的归档方案，需要客服熟记归档标准，根据归档标准对所有服务工单进行手动归档，并且填写工单类型、工单内容和大量的归档标签，涉及到复杂的业务问题还需要咨询更为专业的人员。
上述方案主要存在两个问题，一个是手动归档的操作繁琐，而每天进来的工单量很多，归档操作会耗费大量的服务时间，二是归档操作需要记忆的规则和内容很多，归档时候难免会有偏差，特别是一些相近的归档，容易导致归档不准确。
有鉴于此，由于本申请根据服务过程中业务处理对象和业务服务对象的对话，以及一些业务辅助信息，来推测出工单对应的业务问题，对工单进行智能归档，无需由人工重复繁琐的操作，在提高工单分类的效率的同时，结合对话文本信息中的会话主题和业务内容，以及业务辅助信息中业务内容的补充，来对待分类客服工单进行分类，不受人工主观意识的影响和专业领域的限制，可有效提高智能归档的准确性，且有效节省时间，提高服务效率。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。
在本申请实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有工单相关的客户端，该客户端可以是软件(例如浏览器、购物软件等)，也可以是网页、小程序等，服务器120则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行工单分类的服务器，本申请不做具体限定。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请各实施例中的工单分类方法可以由电子设备执行，该电子设备可以为终端设备110或者服务器120，即，该方法可以由终端设备110或者服务器120单独执行，也可以由终端设备110和服务器120共同执行。比如由终端设备110和服务器120共同执行时，终端设备110首先将待分类客服工单的工单信息发送给服务器120，包括对话文本信息和业务辅助信息两大类；进而，由服务器120分别对对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；对业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征；最后服务器120将工单会话特征和工单辅助特征进行特征组合，并基于获得的组合特征对待分类客服工单进行分类，获得待分类客服工单所属的工单类别，并反馈给终端设备110，由终端设备110进行展示。
在一种可选的实施方式中，终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中，通信网络是有线网络或无线网络。
需要说明的是，图1所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。
本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的工单分类方法，其中所涉及的工单信息，工单会话特征，工单辅助特征等数据可保存于区块链上。
此外，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。
下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的工单分类方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。
参阅图2所示，为本申请实施例提供的一种工单分类方法的实施流程图，以服务器单独执行为例，该方法的具体实施流程如下S21-S23：
S21：服务器获取待分类客服工单的工单信息。
其中，工单信息至少包括：待分类客服工单对应的业务处理对象和业务服务对象之间的对话文本信息，以及待分类客服工单的业务辅助信息，对话文本信息是基于待分类客服工单记录的客服会话得到的。
具体地，对话文本信息是指业务处理对象与其服务的业务服务对象之间的对话文本。如在一次客服服务用户，解决用户问题的会话过程中，客服与用户之间可以进行一轮甚至是多轮的对话，这些对话信息转换为文本格式后，得到的文本信息可作为对话文本信息。如若业务处理对象与业务服务对象之间的对话包含语音数据，则可通过语音识别，获得相应的文本信息。
业务辅助信息则可以是人工抽取的额外辅助信息，用于辅助工单分类。在本申请实施例中，业务辅助信息包括但不限于：客服基本信息、业务查询信息、用户基本信息等，这部分数据是对业务内容(指所需处理的事务的内容)的补充，有助于业务更细粒度的划分。
可选的，对话文本信息包括：业务处理对象与业务服务对象之间的至少一轮对话文本；在本申请实施例中，可通过下列方式获取对话文本信息：
首先，获取业务处理对象与业务服务对象之间的对话文本；进而，根据各个对话文本的对话顺序以及对应的对话发表方，将各个对话文本进行对齐，获得至少一轮对话文本，对话发表方为业务处理对象或业务服务对象。
具体地，在根据各个对话文本的对话顺序以及对应的对话发表方，将各个对话文本进行对齐时，主要分为两个过程：
(一)每一个对话文本的补齐：
在本申请实施例中，对话文本可通过分词工具进行分词处理，并设定每个对话文本中分词的数量一致，如设定为60个词，则在分词之后，对于不满60个词的对话文本，可用一个或多个无意义的词进行padding，以保证最终得到的每个句子都为60个词。
需要说明的是，一个句子中分词的数量可根据实际情况灵活设置，下文都是以60为例来进行举例说明。
(二)对话轮数的对齐：
一般一问一答表示一轮对话，但是实际的对话过程中，可能会存在多问一答或者是一问多答等情况，此时，则需要对对话轮数进行补齐或截取。
如图3A所示，其为本申请实施例中的一种截取对齐方式的示意图。图3A中客服A和对象B在一次会话过程中，客服A发言4次，而对象B发言3次。其中，若客服A最后一次发言，即对话文本7对工单分类贡献不大，比如，对话文本7为“请对本次服务评价”等，即可将该对话文本截取掉，最终对齐后的对话文本共包含三轮对话，分别为：对话文本1-对话文本2，对话文本3-对话文本4，对话文本5-对话文本6。
又如图3B所示，其为本申请实施例中的一种合并对齐方式的示意图。图3B中客服A和对象B在一次会话过程中，客服A发言3次，而对象B连续发言4次。其中，若对象B的两次发言(指对话文本4和对话文本5)并非是重复内容，或者都是对工单分类有贡献的，则可将这两次连续说的话，合并成一句话，如图3B所示，即将对话文本4和对话文本5合并为一轮，以实现一问多答，或者多问一答等情况下的文本对齐。最终对齐后的对话文本共包含三轮对话，分别为：对话文本1-对话文本2，对话文本3-对话文本4+对话文本5，对话文本6-对话文本7。
需要说明的是，上述两种对齐方式都是简单的举例说明，任何一种对话对齐方式都可适用于本申请实施例，在此不做具体限定。
S22：服务器对对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；以及，对业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征。
在该步骤中，主要是指从对话文本信息、业务辅助信息这些信息中筛选出对判对归档有帮助的数据，具体分成两大类：一类是对话文本信息，主要是对会话中的会话主题和业务内容进行特征提取，第二类是业务辅助信息，主要包括客服技能组信息、业务查询信息、用户基本信息等，这部分数据是对业务内容的补充，有助于业务更细粒度的划分，比如有些业务会根据用户身份以及业务所处流程分成更细的类别。通过结合这两部分内容，最终即可确定这个工单的类别。
具体地，本申请实施例中，步骤S22可基于机器学习模型来实施，例如，通过已训练的目标分类模型来进行特征的提取。
参阅图4所示，其为本申请实施例中的一种目标分类模型的结构示意图，该模型具体可分为：输入层、特征编码层、分类输出层。其中，本申请实施例中的特征编码层具体分为会话特征编码层和辅助特征编码层，如图4所示。
下面分别对工单会话特征和工单辅助特征的特征提取过程进行详细介绍：
一、工单会话特征提取过程。
可选的，对话文本信息包括：业务处理对象与业务服务对象之间的至少一轮对话文本；如图4所示，输入层中的对话文本信息是用两种不同的图案表示的，即对应有业务处理对象和业务服务对象这两类对话发表方。以业务处理对象为客服，业务服务对象为用户为例。
在本申请实施例中，由于对话文本信息按照对话发表方可分为两类，按照对话的论次，又可分为至少一轮，因而，在提取工单会话特征时，可以将用户和客服的对话采用分开再合并的方式，生成工单会话特征；也可将连续的对话按顺序拼接成长文本后，再提取工单会话特征。
需要说明的是，本申请实施例中，并未对一次工单服务中业务处理对象和业务服务对象的数量进行限定，即可以为一个，也可以为多个，不过，一般为一个业务处理对象和一个业务服务对象，下文也主要是以一个业务处理对象及一个业务服务对象为例进行举例说明的，本文不做具体限定。
下面分别对上述两种方式进行详细介绍：
一种可选的实施方式为，可以按照如图5所示的流程图实施S22，其为本申请实施例中的一种工单会话特征的特征提取方法流程示意图，包括以下步骤S51-S52：
S51：服务器将对话文本信息中的各个对话文本分别输入已训练的目标分类模型，基于目标分类模型中的输入层，对各个对话文本进行词向量映射，获得各个对话文本各自包含的分词的词向量。
S52：服务器分别将各个对话文本各自包含的分词的词向量，输入基于目标分类模型中的会话特征编码层，基于会话特征编码层，对各个词向量进行整合处理，获得工单会话特征。
其中，工单会话特征用于表征对话文本信息中的会话主题和业务内容。
以业务处理对象为客服，业务服务对象为用户为例，在图5所示的步骤S52中，基于会话特征编码层，对各个词向量进行整合处理时，具体可分为以下子步骤S521-S523：
S521：基于会话特征编码层的门控循环单元和自注意力机制，分别将各个对话文本各自包含的分词的词向量进行编码整合，获得各个对话文本的句向量；
S522：分别将各轮对话中，业务处理对象与业务服务对象各自对应的句向量进行合并，获得各轮对话的对话向量；
S523：基于会话特征编码层的门控循环单元和自注意力机制，将各个对话向量进行编码整合，获得工单会话特征。
在上述实施方式中，考虑到多轮对话数据可以认为是一种层次化结构的数据，第一层是字词，第二层是字词组成的句子，第三层是句子组成的对话，所以，本申请参考了seq2seq的分层架构，对单词、句子以及对话级别分别建模，同时对不同角色的文本进行分开建模，最后组合得到会话向量session_emmbedding，也即本申请实施例中的工单会话特征。
如图6所示，其为本申请实施例中的一种工单会话特征提取过程的逻辑示意图，其中，对话文本信息是由n轮对话文本组成的，以用户的话标记为u，客服的话标记为a为例，则一条待处理工单中用户和客服的对话记录(对话文本信息)可表示为：session＝[(u1,a1),(u2,a2),(u3,a3),...,(un,an)]。将对话分为用户侧
Figure BDA0003643487140000101
和客服侧
Figure BDA0003643487140000102
其中l为对话轮数(也即n＝l)，ui和ai分别表示用户和客服第i轮说的话。
在图6所示的特征提取过程中，将用户侧和客服侧的文本数据进行分开建模，首先，第一层对输入的文本进行词向量映射：
采用分词工具对输入的对话文本进行分词得到
Figure BDA0003643487140000111
和
Figure BDA0003643487140000112
lui和lai分别是第i轮对话中用户和客服说话的字词数(即分词数)，即可对这些分词进行词向量映射(embedding)，分别得到各个分词的词向量，如下所示：
ui＝{uei,1,uei,2,uei,3,...,uei,j},j＝1,...,lui
ai＝{aei,1,aei,2,aei,3,...,aei,j},j＝1,...,lai
uei,j,aei,j∈Rd,d为词向量维度 公式1
进而，第二层使用门控循环单元(Gated Recurrent Unit，GRU)和自注意力机制(self-attention)对输入的词向量进行编码得到各个对话文本对应的句向量；将用户侧和客服侧对应轮数的句向量进行合并，得到各轮对话的对话向量。
进而，第三层继续使用GRU和self-attention将多轮对话向量编码成一整个会话向量session_emmbedding。
具体地，第二层和第三层的详细处理过程如下：
使用GRU和self-attention对输入的词向量进行编码，将每个句子的词向量送入深度神经网络生成每一句话的句向量：
Figure BDA0003643487140000113
Figure BDA0003643487140000114
其中，
Figure BDA0003643487140000115
分别表示客服和用户的第i句话的句向量，ds是句向量维度。fθ()可表示深度神经网络对应的计算公式，θ为该网络的参数。具体地，该深度神经网络是由GRU和self-attention组成的。
在得到用户和客服的句向量之后，一问一答表示一轮对话，将用户和客服的句向量进行拼接，组合得到每一轮对话的对话向量：
Figure BDA0003643487140000116
其中，concat_vectori∈R2×ds表示第i轮对话的对话向量，维度为2×ds。
在得到每一轮的对话向量之后，继续使用GRU和self-attention，将每一轮的对话向量送入深度神经网络生成整个会话的会话向量session_emmbedding：
session_emmbedding＝fθ(concat_vector) 公式4
在本申请实施例中，GRU有两个门，即一个重置门(reset gate)和一个更新门(update gate)。重置门决定了如何将新的输入信息与前面的记忆相结合，有助于捕捉时间序列里短期的依赖关系，更新门定义了前面记忆保存到当前时间步的量，有助于捕捉时间序列里长期的依赖关系。
考虑到本申请实施例中的对话文本信息是一种对话文本序列，对话文本之间存在先后的时间顺序，因而基于GRU可以更好地捕捉对话文本信息中时间步距离较大的依赖关系。
另一种可选的实施方式为，可以按照如图7所示的流程图实施S22，其为本申请实施例中的另一种工单会话特征的特征提取方法流程示意图，包括以下步骤S71-S73：
S71：服务器将至少一轮对话文本按照对话顺序拼接为长文本；或者，分别将各轮对话中，业务处理对象与业务服务对象的对话文本拼接为长文本；
在该步骤中，并未将用户侧和客服侧分开建模，而是采用将连续的对话按顺序进行拼接成长文本的方式，具体又可分为两种拼接方式：
拼接方式一：将所有对话文本按照对话顺序拼接为一整个长文本。
参阅图8A所示，其为本申请实施例中的一种长文本拼接方式的示意图。
比如n＝10，则一个对话文本信息一共10轮对话，客服侧和用户侧都各有10句话，分别为a1-a10，u1-u10每句话60个词；具体地，拼成一整个长文本，就是拼成一句1200个词的长话(60*10*2＝1200)。
拼接方式二、分别将各轮对话中，业务处理对象与业务服务对象的对话文本拼接为长文本。
参阅图8B所示，其为本申请实施例中的另一种长文本拼接方式的示意图。
比如一个对话文本信息一共10论对话，客服侧和用户侧都各有10句话，每句话60个词；具体地，每轮对话单独拼接，则可拼接得到10个长文本，买个长文本相当于一句120个词的长话。
S72：服务器将拼接后的长文本输入已训练的目标分类模型，基于目标分类模型中的输入层，对各个长文本进行词向量映射，获得各个长文本各自包含的分词的词向量。
S73：服务器分别将各个长文本各自包含的分词的词向量，输入基于目标分类模型中的会话特征编码层，基于会话特征编码层的门控循环单元和自注意力机制，将各个长文本所包含的分词的词向量进行编码整合，获得工单会话特征。
需要说明的是，上述所列举的步骤之间的执行顺序只是一种举例说明，本文并不做具体限定，如步骤S71与步骤S72中，也可先将对话文本信息拼接为长文本并分词后，再输入目标分类模型，进而基于目标分类模型中的输入层，直接进行词向量映射等等。
此外，基于会话特征编码层的门控循环单元和自注意力机制，将各个长文本所包含的分词的词向量进行编码整合，获得工单会话特征的过程，同上述过程类似，重复之处不再赘述。
另外需要说明的是，本申请实施例中构建的深度模型采用的是GRU和self-attention来提取文本信息特征，但是本申请不具体限定深度神经网络的模型类型和拓扑结构，也可以替换为各种其它有效的模型结构，例如文本卷积、长短期记忆网络(LongShort-Term Memory，LSTM)、基于转换器的双向编码表征(Bidirectional EncoderRepresentation from Transformers，BERT)或者其它网络结构等。
二、工单辅助特征的提取过程。
一种可选的实施方式为，可以按照如图9所示的模型，来对业务辅助信息中的业务内容进行特征提取，具体过程如下：
将业务辅助信息输入已训练的目标分类模型，基于目标分类模型中的辅助特征编码层，对业务辅助信息进行卷积处理，获得工单辅助特征。其中，工单辅助特征用于表征业务辅助信息中的业务内容。
在本申请实施例中，业务辅助信息主要是指额外抽取的人工信息others_data，对于人工信息的编码，可采用卷积神经网络(Convolutional NeuralNetworks，CNN)来对人工信息进行卷积生成特征向量others_emmbedding，即本申请实施例中的工单辅助特征，计算公式如下：
others_emmbedding＝CNN(others_data) 公式5
可选的，业务辅助信息包括但不限于下列的部分或全部：
业务处理对象和业务服务对象的对象信息，以及业务查询信息。
其中，业务处理对象的对象信息可以为客服基本信息，如客服的工龄、年龄、主要负责的领域、客服所处的技能组信息等；业务服务对象的对象信息可以为指用户基本信息，如用户的年龄、性别等；业务查询信息则是指用户与客服本次会话所涉及的到业务详情，如用户投诉某一商户时，用户与商户的交易记录、投诉信息、用户轨迹等等。
上述所列举的这些业务辅助信息，按照数据格式又可分为文本数据和类别数据两大类，即业务辅助信息包括业务相关文本信息和业务相关类别信息中的至少一种；因而，在对业务辅助信息中的业务内容进行卷积处理，获得工单辅助特征之前，还可通过如下方式对业务辅助信息进行预处理：
一、对于业务辅助信息中的业务相关文本信息，基于目标分类模型中的输入层，对业务相关文本信息进行词向量映射处理。
具体地，文本数据通过词向量进行embedding作为模型的输入。例如，客服主要负责的领域、客服所处的技能组信息、用户与商户的交易记录、投诉信息、用户轨迹等等，通过分词和embedding，即可将这些业务相关文本信息进行词向量映射，获得编码得到的词向量。
二、对于业务辅助信息中的业务相关类别信息，基于目标分类模型中的输入层，对业务相关类别信息进行数值化处理。
具体地，类别数据通过one-hot进行数值化处理，例如客服的工龄，客服、用户的年龄，性别等，都可采用one-hot编码的形式进行预处理。
需要说明的是，上述所列举的embedding、one-hot等预处理方式都是举例说明，任意一种对业务相关文本信息进行词向量映射处理，对业务相关类别信息进行数值化处理的预处理方式，都适用于本申请实施例。
此外，可以理解的是，在本申请的具体实施方式中，涉及到工单信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
S23：服务器将工单会话特征和工单辅助特征进行特征组合，并基于获得的组合特征对待分类客服工单进行分类，获得待分类客服工单所属的工单类别。
如图4所示，将编码得到的会话向量session_emmbedding(工单会话特征)和额外的特征向量others_emmbedding(工单辅助特征)进行组合，通过全连接层网络和softmax函数进行归档分类，最终获得该待分类客服工单所属的工单类别。
比如，一共有20个工单类别，则对于该待分类客服工单而言，经过上述处理可获得预测类别结果，该预测类别结果包括20个概率值，分别表征该待分类客服工单分别属于上述20个工单类别的概率，可将对应概率值最大的工单类别，作为该待分类客服工单所属的工单类别。
在本申请实施例中，智能归档是通过客服和用户的对话数据，来推测出工单对应的业务问题，进而进行自动归档。由于本申请根据服务过程中业务处理对象和业务服务对象的对话，以及一些业务辅助信息，来推测出工单对应的业务问题，对工单进行智能归档，无需由人工重复繁琐的操作，在提高工单分类的效率的同时，结合对话文本信息中的会话主题和业务内容，以及业务辅助信息中业务内容的补充，来对待分类客服工单进行分类，不受人工主观意识的影响和专业领域的限制，可有效提高智能归档的准确性，且有效节省时间，提高服务效率。
下面对目标分类模型的训练过程进行详细介绍：
参阅图10所示，其为本申请实施例中的一种模型训练方法的流程示意图，以服务器为执行主体为例，目标分类模型是通过下列方式训练得到的，包括如下步骤S101-S102：
S101：服务器基于训练样本集对待训练分类模型进行循环迭代训练；
其中，训练样本集中的每个训练样本包括：样本工单的工单信息及对应的真实类别标签，真实类别标签用于标注样本工单所属的实际工单类别。
具体地，训练样本集是基于历史工单数据构建的，这些工单可以涉及游戏、社交、支付等众多业务，样本工单则可以是一些人工归档的历史工单。样本工单的工单信息也可划分为对话文本信息和业务辅助信息两大类。而一个样本工单的真实类别标签可以是人为归档确定的，也可以是采用其他方式确定的，本文不做具体限定。
其中，在一次循环迭代过程中，执行以下操作：
S1011：服务器将选取的训练样本输入待训练分类模型，获得训练样本中样本工单的预测类别结果，预测类别结果包括样本工单属于各个工单类别的预测概率；
比如，一共有20个工单类别，则对于一个训练样本而言，该训练样本中样本工单的工单信息也包括对话文本信息和业务辅助信息两大类工单数据，将工单数据输入待训练分类模型后，即可基于待训练分类模型的输入层、特征编码层和分类输出层进行相应的处理，最终获得预测类别结果，该预测类别结果包括20个概率值，分别表征该样本工单分别属于上述20个工单类别的概率。
具体地，待训练分类模型主要包括三部分，即上述所列举的输入层、特征编码层和分类输出层，参阅图11所示，其为本申请实施例中的一种基于训练分类模型获得预测类别结果的逻辑示意图。
首先，输入层包含两部分的输入，第一部分是样本工单本身的多轮对话文本，可表示为session＝[(u1,a1),(u2,a2),(u3,a3),...,(un,an)]，第二部分是额外抽取的辅助信息，主要包括一些文本数据和类别数据，类别数据通过one-hot进行数值化处理，文本数据通过词向量进行embedding作为模型的输入，同公式1所述。
从输入层中得到了样本工单中每个句子的词向量后，使用GRU和self-attention对输入的词向量进行编码，将每个句子的词向量送入深度神经网络生成每一句话的句向量，同公式2所述.
进而，得到用户和客服的句向量之后，将用户和客服的句向量进行组合得到样本工单中每一轮对话的对话向量，同公式3所述。
继而，得到每一轮的对话向量之后，继续使用GRU和self-attention，将每一轮的对话向量送入深度神经网络生成整个会话的会话向量session_emmbedding，同公式4所述。
而额外抽取的人工信息的编码，主要是用CNN来对文本进行卷积生成特征向量，同公式5所述。
需要说明的是，基于待分类模型对样本工单的工单信息进行特征提取，最终获得预测类别结果的具体处理过程可参见上述对待分类客服工单的处理过程，重复之处不再一一赘述。
在本申请实施例中，将编码得到的会话向量和额外的特征向量进行组合，通过全连接层网络Full_con和softmax函数进行归档分类，具体处理过程如下：
feature_vector＝concat(sessing_embedding,others_embedding)
Figure BDA0003643487140000151
其中，通过全连接层网络Full_con，将会话向量session_emmbedding和特征向量others_emmbedding拼接得到的结果为feacture_vector；进而，基于feacture_vector归类，并基于softmax函数进行归一化处理后，即可获得样本工单属于各个类别的预测概率。
在公式6中，x表示工单类别，若有20个工单类别，则j的取值为1～20，以class为一个样本工单的实际工单类别为例，公式6中的softmax(x)即可表示为样本工单属于实际工单类别class的预测概率。同理，可计算得到样本工单属于其他各个类别的预测概率。
S1012：服务器采用基于预测类别结果和相应的真实类别标签构建的损失函数，对待训练的分类模型进行参数调整。
可选的，由于上述预测类别结果包括样本工单属于各个工单类别的预测概率，而真实类别标签则对应一个实际的工单类别，因而，该步骤又可具体分为以下两个子步骤，对于选取的每个训练样本，分别执行以下操作S10121-S10122(图10中未示出)：
S10121：服务器对于一个训练样本，基于一个训练样本的预测类别结果中，与实际工单类别对应的预测概率，构建一个训练样本对应的焦点损失函数；
本申请采用了焦点损失(Focal loss)函数，一个训练样本对应的焦点损失函数的计算公式如下：
Loss(x,class)＝-αclass(1-softmax(x)[class])γ·log(softmax(x)[class])公式7
S10122：服务器采用选取的各个训练样本各自对应的焦点损失函数，对待训练的分类模型进行参数调整。
在上述实施例方式中，基于Focal loss可有效减少训练样本的类别不均衡带来的误差，提高模型的分类准确性。
S102：服务器在确定迭代次数达到预设次数或模型收敛时，获得目标分类模型。
此外，考虑到人为归档也不能保证全部准确，所用的用于构建训练样本的历史数据中也存在着一些人为归档错误的工单，这部分数据对于模型来说则属于噪音，会对模型准确率有较大影响，应该去除。因而，本申请实施例中，还可通过深度学习模型还可以对历史数据进行去噪，找出归档错误的工单进行修正，减少噪声数据，使数据更加准确。如图11中的数据去噪模块所示，基于模型输出的会话向量对模型的训练样本集进一步调整，以提高模型的分类准确性。
一种可选的实施方式为，训练样本集包括不同工单类别的训练样本；参阅图12所示，其为本申请实施例中的另一种模型训练方法的流程示意图，以服务器为执行主体为例，目标分类模型是通过下列方式训练得到的，包括如下步骤S121-S124：
S121：服务器基于训练样本集对待训练分类模型进行循环迭代训练；
S122：服务器基于训练样本集对待训练分类模型进行至少一轮循环迭代训练后，基于待训练分类模型，获得训练样本集中各个样本工单各自的工单会话特征；
在步骤S121-S122中，主要是指基于初始的训练样本集对待训练分类模型进行训练，进而，可将训练后的模型作为中间分类模型，将训练样本集中的部分或全部训练样本都分别输入该中间分类模型，获得该中间分类模型中的会话特征编码层输出的工单会话特征，进而，即可基于该输出结果来对初始的训练样本集进行调整，根据调整后的训练样本集重新对中间分类模型进行进一步的训练，以提高模型的分类准确性，具体过程如下：
S123：服务器基于各个样本工单的工单会话特征，以及各个样本工单对应的真实类别标签，对训练样本集进行样本过滤；
可选的，步骤S123又可分为以下子步骤S1231-S1233：
S1231：服务器分别基于各个训练样本对应的预测类别结果中的各个预测概率，确定各个训练样本对应的预测工单类别；
S1232：服务器将各个训练样本中，对应的预测工单类别与实际工单类别不一致的训练样本，作为待纠错训练样本，并将剩余训练样本作为参考训练样本；
S1233：服务器对于每个待纠错训练样本，分别执行以下操作：若一个待纠错训练样本与至少一个参考训练样本对应的工单会话特征的相似度大于预设阈值，则将一个待纠错训练样本从训练样本集中剔除。
具体地，两个样本对应的工单会话特征可以为会话向量的形式，因而，在计算两个工单会话特征之间的相似度时，可采用余弦相似度。
如图13所示，其为本申请实施例中的一种模型训练过程的逻辑示意图。本申请基于会话向量的余弦相似度对工单数据进行去噪，主要原理可解释为：会话向量可以表示为这个工单内容的语义，如果存在语义相同的工单，但归档不一致，则大概率存在问题。具体操作流程如下：
1)保存训练集所有样本工单的会话向量session_vector_all，即各个训练样本的样本工单的session_emmbedding。
2)取出训练集中判错工单(即待纠错训练样本的样本工单，也可称作待纠错样本工单)的会话向量session_vector_err，即待纠错样本工单的session_emmbedding。
3)计算判错工单的会话向量和所有训练集的会话向量的余弦相似度：
Cosine(session_vector_err,session_vertor_all) 公式8；
需要说明的是，该步骤中，也可仅计算session_vector_all中除session_vector_err之外的其他会话向量，与session_vector_err之间的余弦相似度。
4)对于一个判错工单，如果存在其他会话向量和它的相似度大于阈值的，则把该判错工单剔除。
如图13中所示，由各个会话向量之间的相似度组成的矩阵可表示为会话向量相似度矩阵。对于一个样本工单，若模型判错且相似度大于阈值，则可删除相应的训练样本。例如样本2，模型结果预测有误，即该样本为待纠错样本，而样本1与样本1、样本3、样本4的余弦相似度分别为：0.35、0.41、0.98，其中，样本2与样本4的相似度大于阈值(0.8)，即可将样本2剔除。
S124：服务器基于过滤后的训练样本集，对待训练分类模型再进行至少一轮循环迭代训练，获得已训练的目标分类模型。
在上述实施方式中，通过数据去噪模块可以找出历史数据中人工归错的工单进行修正，分析归档中存在的问题，使归档标准更为完善合理。
此外，针对类别数据分布不均衡的问题，除了采用上述所列举的使用Focalloss损失函数进行模型训练之外，也可以用其他方法，比如过采样或欠采样等。
其中，过采样指对样本数量少的一类训练样本进行重复选择，而欠采样则是指对样本数量多的一类进行少量随机选择，以实现样本平衡。
此外，也可采用过采样或欠采样与Focal loss损失函数组合等方式，来减少样本不均衡对模型造成的应用，提高模型的准确性。
参阅图14所示，其为本申请实施例中的一种工单分类方法的具体实施流程示意图。以执行主体为服务器为例，该方法的具体实施流程如下：
步骤S141：服务器获取待分类客服工单的工单信息；
步骤S142：服务器将工单信息中的对话文本信息和业务辅助信息分别输入目标分类模型；
步骤S143：服务器基于目标分类模型的输入层，获得对话文本信息中每个对话文本包含的分词的词向量，并对业务辅助信息进行预处理；
步骤S144：服务器基于目标分类模型中的会话特征编码层的门控循环单元和自注意力机制，分别将各个对话文本各自包含的分词的词向量进行编码整合，获得各个对话文本的句向量；
步骤S145：服务器分别将各轮对话中，业务处理对象与业务服务对象各自对应的句向量进行合并，获得各轮对话的对话向量；
步骤S146：服务器基于会话特征编码层的门控循环单元和自注意力机制，将各个对话向量进行编码整合，获得工单会话特征；
步骤S147：服务器基于目标分类模型中的辅助特征编码层，对预处理后的业务辅助信息进行卷积处理，获得工单辅助特征；
步骤S148：服务器将工单会话特征和工单辅助特征进行特征组合，并基于获得的组合特征对待分类客服工单进行分类，获得待分类客服工单所属的工单类别。
参阅图15所示，其为本申请实施例中的一种模型应用过程的逻辑示意图。整体方案如图15所示，先基于客服和用户的会话(如图15包含6个对话文本)，获取待分类客服工单的工单数据，主要包括客服和用户的对话文本信息、客服基本信息、用户基本信息以及业务查询信息等，从这些信息中筛选出对判断归档有帮助的数据，分成两大类，一类是最重要的对话文本信息，第二类是人工抽取的业务辅助信息。进而，基于目标分类模型，对该待分类客服工单进行分类，经过输入层、特征编码层和分类输出层，最终获得对应各个工单类别的概率。假设，一共有4个工单类别，分别为：A类别(游戏)-概率0.7、B类别(支付)-概率0.5、C类别(社交)-概率0.4、D类别(交易)-概率0.3，则可将A类别(游戏)确定为最终该工单所属的工单类别。
具体地，因为这两类数据格式和类型不一样，所以分别构建特征编码层，对话文本信息是用会话特征编码层(如GRU和self-attention)来提取工单会话级文本信息特征，而业务辅助信息则是使用辅助特征编码层(如CNN)来进行特征编码，然后将生成的会话向量和特征向量进行特征组合，最后送入分类输出层进行归档分类。
经过实验，本申请实施例中的方案能够将客服人员每天服务的工单量提升18％，提高坐席的服务效率。
基于相同的发明构思，本申请实施例还提供一种工单分类装置。如图16所示，其为工单分类装置1600的结构示意图，可以包括：
信息获取单元1601，用于获取待分类客服工单的工单信息，工单信息包括：待分类客服工单对应的业务处理对象和业务服务对象之间的对话文本信息，以及待分类客服工单的业务辅助信息，对话文本信息是基于待分类客服工单记录的客服会话得到的；
特征提取单元1602，用于对对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；以及，对业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征；
分类单元1603，用于将工单会话特征和工单辅助特征进行特征组合，并基于获得的组合特征对待分类客服工单进行分类，获得待分类客服工单所属的工单类别。
可选的，对话文本信息包括：业务处理对象与业务服务对象之间的至少一轮对话文本；特征提取单元1602具体用于：
将对话文本信息中的各个对话文本分别输入已训练的目标分类模型，基于目标分类模型中的输入层，对各个对话文本进行词向量映射，获得各个对话文本各自包含的分词的词向量；
分别将各个对话文本各自包含的分词的词向量，输入基于目标分类模型中的会话特征编码层，基于会话特征编码层，对各个词向量进行整合处理，获得工单会话特征，工单会话特征用于表征会话主题和业务内容。
可选的，特征提取单元1602具体用于：
基于会话特征编码层的门控循环单元和自注意力机制，分别将各个对话文本各自包含的分词的词向量进行编码整合，获得各个对话文本的句向量；
分别将各轮对话中，业务处理对象与业务服务对象各自对应的句向量进行合并，获得各轮对话的对话向量；
基于会话特征编码层的门控循环单元和自注意力机制，将各个对话向量进行编码整合，获得工单会话特征。
可选的，特征提取单元1602还用于在对各个对话文本进行词向量映射之前，将至少一轮对话文本按照对话顺序拼接为长文本；或者，分别将各轮对话中，业务处理对象与业务服务对象的对话文本拼接为长文本；
特征提取单元1602具体用于：
基于会话特征编码层的门控循环单元和自注意力机制，将各个长文本所包含的分词的词向量进行编码整合，获得工单会话特征。
可选的，业务辅助信息包括业务处理对象和业务服务对象的对象信息，以及业务查询信息；
特征提取单元1602具体用于：
将业务辅助信息输入已训练的目标分类模型，基于目标分类模型中的辅助特征编码层，对业务辅助信息进行卷积处理，获得工单辅助特征，工单辅助特征用于表征业务内容。
可选的，业务辅助信息包括业务相关文本信息和业务相关类别信息中的至少一种；特征提取单元1602还用于：
在对业务辅助信息中的业务内容进行卷积处理，获得工单辅助特征之前，通过如下方式对业务辅助信息进行预处理：
若业务辅助信息包括业务相关文本信息，则基于目标分类模型中的输入层，对业务相关文本信息进行词向量映射处理；
若业务辅助信息包括业务相关类别信息，则基于目标分类模型中的输入层，对业务相关类别信息进行数值化处理。
可选的，对话文本信息包括业务处理对象与业务服务对象之间的至少一轮对话文本；
信息获取单元1601还用于通过下列方式获得至少一轮对话：
获取业务处理对象与业务服务对象之间的对话文本；
根据各个对话文本的对话顺序以及对应的对话发表方，将各个对话文本进行对齐，获得至少一轮对话文本，对话发表方为业务处理对象或业务服务对象。
可选的，装置还包括：
模型训练单元1604，用于通过下列方式训练得到目标分类模型：
基于训练样本集对待训练分类模型进行循环迭代训练，获得目标分类模型；训练样本集中的每个训练样本包括：样本工单的工单信息及对应的真实类别标签，真实类别标签用于标注样本工单所属的实际工单类别；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本输入待训练分类模型，获得训练样本中样本工单的预测类别结果，预测类别结果包括样本工单属于各个工单类别的预测概率；
采用基于预测类别结果和相应的真实类别标签构建的损失函数，对待训练的分类模型进行参数调整。
可选的，模型训练单元1604具体用于：
对于选取的每个训练样本，分别执行以下操作：对于一个训练样本，基于一个训练样本的预测类别结果中，与实际工单类别对应的预测概率，构建一个训练样本对应的焦点损失函数；
采用选取的各个训练样本各自对应的焦点损失函数，对待训练的分类模型进行参数调整。
可选的，训练样本集包括不同工单类别的训练样本；模型训练单元1604具体用于：
基于训练样本集对待训练分类模型进行至少一轮循环迭代训练后，基于待训练分类模型，获得训练样本集中各个样本工单各自的工单会话特征；
基于各个样本工单的工单会话特征，以及各个样本工单对应的真实类别标签，对训练样本集进行样本过滤；
基于过滤后的训练样本集，对待训练分类模型再进行至少一轮循环迭代训练，获得已训练的目标分类模型。
可选的，模型训练单元1604具体用于：
分别基于各个训练样本对应的预测类别结果中的各个预测概率，确定各个训练样本对应的预测工单类别；
将各个训练样本中，对应的预测工单类别与实际工单类别不一致的训练样本，作为待纠错训练样本，并将剩余训练样本作为参考训练样本；
对于每个待纠错训练样本，分别执行以下操作：若一个待纠错训练样本与至少一个参考训练样本对应的工单会话特征的相似度大于预设阈值，则将一个待纠错训练样本从训练样本集中剔除。
由于本申请根据服务过程中业务处理对象和业务服务对象的对话，以及一些业务辅助信息，来推测出工单对应的业务问题，对工单进行智能归档，无需由人工重复繁琐的操作，在提高工单分类的效率的同时，结合对话文本信息中的会话主题和业务内容，以及业务辅助信息中业务内容的补充，来对待分类客服工单进行分类，不受人工主观意识的影响和专业领域的限制，可有效提高智能归档的准确性，且有效节省时间，提高服务效率。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的工单分类方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图17所示，包括存储器1701，通讯模块1703以及一个或多个处理器1702。
存储器1701，用于存储处理器1702执行的计算机程序。存储器1701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1701可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1701也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器1701是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器1701可以是上述存储器的组合。
处理器1702，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1702，用于调用存储器1701中存储的计算机程序时实现上述工单分类方法。
通讯模块1703用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1701、通讯模块1703和处理器1702之间的具体连接介质。本申请实施例在图17中以存储器1701和处理器1702之间通过总线1704连接，总线1704在图17中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1704可以分为地址总线、数据总线、控制总线等。为便于描述，图17中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。
存储器1701中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的工单分类方法。处理器1702用于执行上述的工单分类方法，如图2所示。
在另一种实施例中，电子设备也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图18所示，包括：通信组件1810、存储器1820、显示单元1830、摄像头1840、传感器1850、音频电路1860、蓝牙模块1870、处理器1880等部件。
通信组件1810用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。
存储器1820可用于存储软件程序及数据。处理器1880通过运行存储在存储器1820的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器1820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1820存储有使得终端设备110能运行的操作系统。本申请中存储器1820可以存储操作系统及各种应用程序，还可以存储执行本申请实施例工单分类方法的计算机程序。
显示单元1830还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元1830可以包括设置在终端设备110正面的显示屏1832。其中，显示屏1832可以采用液晶显示器、发光二极管等形式来配置。
显示单元1830还可用于接收输入的数字或字符信息，产生与终端设备110的用户设置以及功能控制有关的信号输入，具体地，显示单元1830可以包括设置在终端设备110正面的触控屏1831，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
其中，触控屏1831可以覆盖在显示屏1832之上，也可以将触控屏1831与显示屏1832集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元1830可以显示应用程序以及对应的操作步骤。
摄像头1840可用于捕获静态图像，用户可以将摄像头1840拍摄的图像通过应用发布。摄像头1840可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1880转换成数字图像信号。
终端设备还可以包括至少一种传感器1850，比如加速度传感器1851、距离传感器1852、指纹传感器1853、温度传感器1854。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1860、扬声器1861、传声器1862可提供用户与终端设备110之间的音频接口。音频电路1860可将接收到的音频数据转换后的电信号，传输到扬声器1861，由扬声器1861转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器1862将收集的声音信号转换为电信号，由音频电路1860接收后转换为音频数据，再将音频数据输出至通信组件1810以发送给比如另一终端设备110，或者将音频数据输出至存储器1820以便进一步处理。
蓝牙模块1870用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块1870与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
处理器1880是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器1820内的软件程序，以及调用存储在存储器1820内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器1880可包括一个或多个处理单元；处理器1880还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1880中。本申请中处理器1880可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的工单分类方法。另外，处理器1880与显示单元1830耦接。
在一些可能的实施方式中，本申请提供的工单分类方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的工单分类方法中的步骤，例如，电子设备可以执行如图2中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种工单分类方法，其特征在于，该方法包括：
获取待分类客服工单的工单信息，所述工单信息包括：所述待分类客服工单对应的业务处理对象和业务服务对象之间的对话文本信息，以及所述待分类客服工单的业务辅助信息，所述对话文本信息是基于所述待分类客服工单记录的客服会话得到的；
对所述对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；以及，对所述业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征；
将所述工单会话特征和所述工单辅助特征进行特征组合，并基于获得的组合特征对所述待分类客服工单进行分类，获得所述待分类客服工单所属的工单类别。
2.如权利要求1所述的方法，其特征在于，所述对话文本信息包括：所述业务处理对象与所述业务服务对象之间的至少一轮对话文本；所述对所述对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征，包括：
将所述对话文本信息中的各个对话文本分别输入已训练的目标分类模型，基于所述目标分类模型中的输入层，对所述各个对话文本进行词向量映射，获得所述各个对话文本各自包含的分词的词向量；
分别将各个对话文本各自包含的分词的词向量，输入所述基于所述目标分类模型中的会话特征编码层，基于所述会话特征编码层，对各个词向量进行整合处理，获得所述工单会话特征，所述工单会话特征用于表征所述会话主题和业务内容。
3.如权利要求2所述的方法，其特征在于，所述基于所述会话特征编码层，对各个词向量进行整合处理，获得所述工单会话特征，包括：
基于所述会话特征编码层的门控循环单元和自注意力机制，分别将各个对话文本各自包含的分词的词向量进行编码整合，获得各个对话文本的句向量；
分别将各轮对话中，所述业务处理对象与所述业务服务对象各自对应的句向量进行合并，获得所述各轮对话的对话向量；
基于所述会话特征编码层的门控循环单元和自注意力机制，将各个对话向量进行编码整合，获得所述工单会话特征。
4.如权利要求2所述的方法，其特征在于，在所述对所述各个对话文本进行词向量映射之前，还包括：
将所述至少一轮对话文本按照对话顺序拼接为长文本；或者，分别将各轮对话中，所述业务处理对象与所述业务服务对象的对话文本拼接为长文本；
所述基于所述会话特征编码层，对各个词向量进行整合处理，获得所述工单会话特征，包括：
基于所述会话特征编码层的门控循环单元和自注意力机制，将各个长文本所包含的分词的词向量进行编码整合，获得所述工单会话特征。
5.如权利要求1所述的方法，其特征在于，所述业务辅助信息包括所述业务处理对象和所述业务服务对象的对象信息，以及业务查询信息；
所述对所述业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征，包括：
将所述业务辅助信息输入已训练的目标分类模型，基于所述目标分类模型中的辅助特征编码层，对所述业务辅助信息进行卷积处理，获得所述工单辅助特征，所述工单辅助特征用于表征所述业务内容。
6.如权利要求5所述的方法，其特征在于，所述业务辅助信息包括业务相关文本信息和业务相关类别信息中的至少一种；
在所述对所述业务辅助信息中的业务内容进行卷积处理，获得所述工单辅助特征之前，通过如下方式对所述业务辅助信息进行预处理：
若所述业务辅助信息包括业务相关文本信息，则基于所述目标分类模型中的输入层，对所述业务相关文本信息进行词向量映射处理；
若所述业务辅助信息包括业务相关类别信息，则基于所述目标分类模型中的输入层，对所述业务相关类别信息进行数值化处理。
7.如权利要求1～6任一项所述的方法，其特征在于，所述对话文本信息包括所述业务处理对象与所述业务服务对象之间的至少一轮对话文本；
通过下列方式获取所述对话文本信息：
获取所述业务处理对象与所述业务服务对象之间的对话文本；
根据各个对话文本的对话顺序以及对应的对话发表方，将各个对话文本进行对齐，获得所述至少一轮对话文本，所述对话发表方为所述业务处理对象或所述业务服务对象。
8.如权利要求2～6任一项所述的方法，其特征在于，所述目标分类模型是通过下列方式训练得到的：
基于训练样本集对待训练分类模型进行循环迭代训练，获得所述目标分类模型；所述训练样本集中的每个训练样本包括：样本工单的工单信息及对应的真实类别标签，所述真实类别标签用于标注所述样本工单所属的实际工单类别；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本输入所述待训练分类模型，获得所述训练样本中样本工单的预测类别结果，所述预测类别结果包括所述样本工单属于各个工单类别的预测概率；
采用基于所述预测类别结果和相应的真实类别标签构建的损失函数，对所述待训练的分类模型进行参数调整。
9.如权利要求8所述的方法，其特征在于，所述采用基于所述预测类别结果和相应的真实类别标签构建的损失函数，对所述待训练的分类模型进行参数调整，包括：
对于选取的每个训练样本，分别执行以下操作：对于一个训练样本，基于所述一个训练样本的预测类别结果中，与所述实际工单类别对应的预测概率，构建所述一个训练样本对应的焦点损失函数；
采用选取的各个训练样本各自对应的焦点损失函数，对所述待训练的分类模型进行参数调整。
10.如权利要求8所述的方法，其特征在于，所述训练样本集包括不同工单类别的训练样本；所述基于所述训练样本集对待训练分类模型进行循环迭代训练，获得所述目标分类模型，包括：
基于所述训练样本集对待训练分类模型进行至少一轮循环迭代训练后，基于所述待训练分类模型，获得所述训练样本集中各个样本工单各自的工单会话特征；
基于各个样本工单的工单会话特征，以及所述各个样本工单对应的真实类别标签，对所述训练样本集进行样本过滤；
基于过滤后的训练样本集，对所述待训练分类模型再进行至少一轮循环迭代训练，获得已训练的所述目标分类模型。
11.如权利要求10所述的方法，其特征在于，所述基于各个样本工单的工单会话特征，对所述训练样本集进行样本过滤，包括：
分别基于各个训练样本对应的预测类别结果中的各个预测概率，确定所述各个训练样本对应的预测工单类别；
将所述各个训练样本中，对应的预测工单类别与实际工单类别不一致的训练样本，作为待纠错训练样本，并将剩余训练样本作为参考训练样本；
对于每个待纠错训练样本，分别执行以下操作：若一个待纠错训练样本与至少一个参考训练样本对应的工单会话特征的相似度大于预设阈值，则将所述一个待纠错训练样本从所述训练样本集中剔除。
12.一种工单分类装置，其特征在于，包括：
信息获取单元，用于获取待分类客服工单的工单信息，所述工单信息包括：所述待分类客服工单对应的业务处理对象和业务服务对象之间的对话文本信息，以及所述待分类客服工单的业务辅助信息，所述对话文本信息是基于所述待分类客服工单记录的客服会话得到的；
特征提取单元，用于对所述对话文本信息中的会话主题和业务内容进行特征提取，获得对应的工单会话特征；以及，对所述业务辅助信息中的业务内容进行特征提取，获得对应的工单辅助特征；
分类单元，用于将所述工单会话特征和所述工单辅助特征进行特征组合，并基于获得的组合特征对所述待分类客服工单进行分类，获得所述待分类客服工单所属的工单类别。
13.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～11中任一所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1～11中任一所述方法的步骤。
15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行权利要求1～11中任一所述方法的步骤。
CN202210524364.4A 2022-05-13 2022-05-13 一种工单分类方法、装置、电子设备和存储介质 Pending CN115129865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210524364.4A CN115129865A (zh) 2022-05-13 2022-05-13 一种工单分类方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210524364.4A CN115129865A (zh) 2022-05-13 2022-05-13 一种工单分类方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115129865A true CN115129865A (zh) 2022-09-30

Family

ID=83375845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210524364.4A Pending CN115129865A (zh) 2022-05-13 2022-05-13 一种工单分类方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115129865A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330422A (zh) * 2022-10-14 2022-11-11 宁波欣寰网络科技有限公司 基于分布式存储的大数据业务管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330422A (zh) * 2022-10-14 2022-11-11 宁波欣寰网络科技有限公司 基于分布式存储的大数据业务管理系统
CN115330422B (zh) * 2022-10-14 2023-04-28 宁波欣寰网络科技有限公司 基于分布式存储的大数据业务管理系统

Similar Documents

Publication Publication Date Title
US11249774B2 (en) Realtime bandwidth-based communication for assistant systems
US9276939B2 (en) Managing user access to query results
CN106383875B (zh) 基于人工智能的人机交互方法和装置
CN111241237A (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN114238690A (zh) 视频分类的方法、装置及存储介质
CN109086265A (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN113704460A (zh) 一种文本分类方法、装置、电子设备和存储介质
CN110399473B (zh) 为用户问题确定答案的方法和装置
CN115129865A (zh) 一种工单分类方法、装置、电子设备和存储介质
CN113919361A (zh) 一种文本分类方法和装置
CN111739537B (zh) 语义识别方法、装置、存储介质及处理器
US11501071B2 (en) Word and image relationships in combined vector space
CN113392205A (zh) 用户画像构建方法、装置、设备及存储介质
CN117520498A (zh) 基于虚拟数字人交互处理方法、系统、终端、设备及介质
CN115955452B (zh) 基于多轮会话意图识别的5g消息推送方法和装置
CN116881730A (zh) 基于语境的聊天场景匹配系统、方法、设备及存储介质
CN110889717A (zh) 文本中的广告内容过滤方法、装置、电子设备及存储介质
KR20180042763A (ko) 채팅형 금융 로봇 및 이를 이용한 금융 서비스 제공방법
CN115329068A (zh) 一种工单分类模型训练方法、装置、电子设备和存储介质
CN114970494A (zh) 一种评论生成方法、装置、电子设备和存储介质
CN117034019B (zh) 一种业务处理方法、装置、电子设备和存储介质
CN112232357A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
US20240144921A1 (en) Domain specific neural sentence generator for multi-domain virtual assistants
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
CN113239164B (zh) 多轮对话流程构建方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination