CN113240436A - 在线客服话术质检的方法和装置 - Google Patents
在线客服话术质检的方法和装置 Download PDFInfo
- Publication number
- CN113240436A CN113240436A CN202110438351.0A CN202110438351A CN113240436A CN 113240436 A CN113240436 A CN 113240436A CN 202110438351 A CN202110438351 A CN 202110438351A CN 113240436 A CN113240436 A CN 113240436A
- Authority
- CN
- China
- Prior art keywords
- customer service
- vector
- customer
- quality inspection
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 93
- 239000013598 vector Substances 0.000 claims abstract description 245
- 238000001514 detection method Methods 0.000 claims abstract description 75
- 230000008909 emotion recognition Effects 0.000 claims abstract description 65
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims description 127
- 230000008451 emotion Effects 0.000 claims description 35
- 238000005516 engineering process Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000003908 quality control method Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 22
- 230000008569 process Effects 0.000 description 16
- 230000006854 communication Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Accounting & Taxation (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种在线客服话术质检的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；根据客户语句向量进行客户的情绪识别和意图识别，根据客服话术向量进行客服话术检测；根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检，该实施方式解决了人工或者规则处理的繁琐和角色反馈性检测不足的问题，增强了话术合规性质检能力和准确性，从多角度分析质检话术合规性，有效节省了质检时间并且提高了质检效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种在线客服话术质检的方法和装置。
背景技术
客服质检是客服绩效的一项重要评估指标，质检的目的是为了提升客户的满意度，完善客户服务，促进公司发展和市场开拓。在线客服(区分电话客服)服务在电商等服务领域中的作用举足轻重，其中话术合规性更是质检中最难考评并且最重要的一项，话术合规性指的是结合客户特征，通过运用正面、积极的语言沟通，转化客户情绪，营造良好的沟通氛围，但在线客服质检由于没有语音，缺乏语调、语色等特征，其难度较大，相关研究较少。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
(1)通过人工或者规则进行在线客服话术质检，处理繁琐；
(2)角色反馈性检测不足，话术合规性检查是一个交互的过程，现有算法的方式往往将这种交互过程割裂开来；
(3)缺乏多角度分析能力，只对文本简单处理，没有考虑双向特性。更没有考虑文本上下文关系。
发明内容
有鉴于此，本发明实施例提供一种在线客服话术质检的方法和装置，能够处理多种话术合规性质检，解决人工或者规则处理的繁琐问题，其中双通道对齐输入的方法解决了角色反馈性检测不足的问题，增强了话术合规性质检能力和准确性，使用单句和对话分开验证的装置能够从多角度分析质检话术合规性。
为实现上述目的，根据本发明实施例的一个方面，提供了一种在线客服话术质检的方法。
一种在线客服话术质检的方法，包括：获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测；根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。
可选地，在进行特征提取之前，还包括：对所述质检数据进行脱敏操作，使用特征字符进行替换关键信息；过滤非文本内容和机器人自动回复信息；根据客户的咨询内容进行会话划分。
可选地，在进行特征提取之前，还包括：根据对话主体，将所述在线客服话术质检数据划分为客户语句和客服话术；进行特征提取以得到客户语句向量和客服话术向量包括：分别使用预训练模型对所述客户语句和所述客服话术进行特征提取，以得到客户语句向量和客服话术向量。
可选地，使用预训练模型对所述客服话术进行特征提取以得到客服话术向量之后，还包括：对所述客服话术向量，采用向量间余弦相似的方法评估预训练效果，进行所述预训练模型的参数调整。
可选地，根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测之前，还包括：对所述质检数据进行攻击性语言标注；对所述客户语句向量与所述客服话术向量进行角色和位置标记。
可选地，根据所述客户语句向量进行客户的情绪识别包括：将所述客户语句向量双向地输入情绪识别模型中进行客户的情绪识别，其中，所述情绪识别模型采用门控循环单元过滤掉情绪无关向量，然后接入归一化层以输出客户情绪。
可选地，根据所述客户语句向量进行客户的意图识别包括：根据订单信息获取用于表示客户意图的离散特征；将所述离散特征和所述客户语句向量一同输入意图识别模型中进行客户的意图识别，其中，所述意图识别模型通过以下方式进行客户的意图识别：对于所述离散特征，采用高维映射后利用向量点乘进行特征交叉以得到第一输入；对于所述客户话术向量，采用卷积神经网络进行编码并且接入全连接层，并将全连接层同特征交叉以得到第二输入；将所述第一输入和所述第二输入进行拼接后接入分类层，得到意图识别结果。
可选地，根据所述客服话术向量进行客服话术检测包括：将所述客服话术向量输入微调层，对所述客服话术向量进行微调；将微调结果接入对数损失函数进行二分类，得到客服话术检测结果。
可选地，根据情绪识别结果、意图识别结果和客服话术检测结果进行单句验证包括：将所述情绪识别结果、所述意图识别结果、所述客服话术检测结果和单句客服话术对应的客服话术向量，以及与所述单句客服话术的上下文客户话术对应的客户语句向量，输入单句验证模型进行单句验证，其中，所述单句验证模型对所述情绪识别结果、所述意图识别结果、所述客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行单句验证。
可选地，根据情绪识别结果、意图识别结果和客服话术检测结果进行对话验证包括：将完整会话所对应的客户语句向量和客服话术向量、情绪识别结果、意图识别结果、客服话术检测结果输入对话验证模型进行对话验证，其中，所述对话验证模型对所述情绪识别结果、所述意图识别结果、所述客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行对话验证。
可选地，根据单句验证结果与对话验证结果进行在线客服话术质检包括：将所述单句验证结果和所述对话验证结果进行加权平均得到质检结果以进行在线客服话术质检。
可选地，所述方法还包括：对所述客服话术质检数据进行正向规则与负向规则的识别；获取客服操作记录并将所述操作记录进行独热码映射得到独热码向量，将所述独热码向量与规则识别结果进行拼接得到第一质检结果；将所述第一质检结果与所述质检结果合并，匹配不同权重得到最终质检结果。
根据本发明实施例的另一方面，提供了一种在线客服话术质检的装置。
一种在线客服话术质检的装置，包括：数据获取模块，用于获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；智能识别模块，用于根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测；话术质检模块，用于根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。
可选地，所述装置还包括数据处理模块，用于：对所述质检数据进行脱敏操作，使用特征字符进行替换关键信息；过滤非文本内容和机器人自动回复信息；根据客户的咨询内容进行会话划分。
可选地，所述装置还包括向量获取模块，用于：根据对话主体，将所述在线客服话术质检数据划分为客户语句和客服话术；进行特征提取以得到客户语句向量和客服话术向量包括：分别使用预训练模型对所述客户语句和所述客服话术进行特征提取，以得到客户语句向量和客服话术向量。
可选地，所述装置还包括参数调整模块，用于：对所述客服话术向量，采用向量间余弦相似的方法评估预训练效果，进行所述预训练模型的参数调整。
可选地，所述装置还包括数据标记模块，用于：对所述质检数据进行攻击性语言标注；对所述客户语句向量与所述客服话术向量进行角色和位置标记。
可选地，所述智能识别模块还用于：将所述客户语句向量双向地输入情绪识别模型中进行客户的情绪识别，其中，所述情绪识别模型采用门控循环单元过滤掉情绪无关向量，然后接入归一化层以输出客户情绪。
可选地，所述智能识别模块还用于：根据客户语句获取用于表示客户意图的离散特征；将所述离散特征和所述客户语句向量一同输入意图识别模型中进行客户的意图识别，其中，所述意图识别模型通过以下方式进行客户的意图识别：对于所述离散特征，采用高维映射后利用向量点乘进行特征交叉以得到第一输入；对于所述客户话术向量，采用卷积神经网络进行编码并且接入全连接层，并将全连接层同特征交叉以得到第二输入；将所述第一输入和所述第二输入进行拼接后接入分类层，得到意图识别结果。
可选地，所属智能识别模块还用于：将所述客服话术向量输入微调层，对所述客服话术向量进行微调；将微调结果接入对数损失函数进行二分类，得到客服话术检测结果。
可选地，话术质检模块还用于：将所述情绪识别结果、所述意图识别结果、所述客服话术检测结果和单句客服话术对应的客服话术向量，以及与所述单句客服话术的上下文客户话术对应的客户语句向量，输入单句验证模型进行单句验证，其中，所述单句验证模型对所述情绪识别结果、所述意图识别结果、所述客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行单句验证。
可选地，话术质检模块还用于：将完整会话所对应的客户语句向量和客服话术向量、情绪识别结果、意图识别结果、客服话术检测结果输入对话验证模型进行对话验证，其中，所述对话验证模型对所述情绪识别结果、所述意图识别结果、所述客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行对话验证。
可选地，话术质检模块还用于：将所述单句验证结果和所述对话验证结果进行加权平均得到质检结果以进行在线客服话术质检。
可选地，所述装置还包括最终结果模块，用于：对所述客服话术质检数据进行正向规则与负向规则的识别；获取客服操作记录并将所述操作记录进行独热码映射得到独热码向量，将所述独热码向量与规则识别结果进行拼接得到第一质检结果；将所述第一质检结果与所述质检结果合并，匹配不同权重得到最终质检结果。
根据本发明实施例的又一方面，提供了一种在线客服话术质检的电子设备。
一种在线客服话术质检的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的在线客服话术质检的方法。
根据本发明实施例的再一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的在线客服话术质检的方法。
上述发明中的一个实施例具有如下优点或有益效果：采用获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测；根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检的技术手段，能够处理多种话术合规性质检，解决了人工或者规则处理的繁琐问题，双通道对齐输入的方法解决了角色反馈性检测不足的问题，增强了话术合规性质检能力和准确性，使用单句和对话分开验证的装置能够从多角度分析质检话术合规性，通过分角色、分类型的多样化客服质检模型有效节省质检时间并且提高了质检效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的在线客服话术质检的方法的主要步骤示意图；
图2是根据本发明实施例的在线客服话术质检的方法的主要流程示意图；
图3是根据本发明一个实施例的意图识别主要流程示意图；
图4是根据本发明实施例的在线客服话术质检的装置的主要模块示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前主要的在线客服话术合规性相关质检方法有如下几种：
(1)基于人工的质检方法，主要依靠于人工进行审核，客服质检的检查项一般包含开头语、结束语、服务规范、服务软技巧等，客服质检通常从聊天对话中随机抽取5％由专业质检人员进行质检、再从第一次抽捡结果中再次抽取5％进行复检作为最终结果，如果提出申诉则需要额外质检补充；
(2)基于规则的质检方法，主要定义好关键词语，之后检测在线聊天记录中是否使用关键词语或句式结构，例如发送标准话术礼貌问候咨询客户，例如：您好，客服###工号很高兴为您服务，或者定义某些禁止使用词汇，例如与客户沟通中避免使用弱词，如“我不能......”，“我们不......”，“我们的政策声明......”，“我不知道......”等，避免口语化、生活化、口头禅等，通过正向规则和反向规则的匹配获取合规性结果；
(3)基于智能化的质检方法，一种是采用传统的机器学习算法，例如支持向量机(SVM，一种分类技术)通过对于文本输入进行转换后的向量进行分类，另一种是采用深度学习中的预研模型，主要流程包括：数据标注、数据预处理、特征编码方式(包括one hot(word2vec(用来产生词向量的相关模型)))+位置编码、n-gram(一种基于统计语言模型的算法))、分类模型选择(循环神经网络、卷积神经网络)等几个步骤。
发明人对现有的技术方案进行了分析，发现上述的客服话术合规性相关质检方法存在的以下缺点：
(1)人工或者规则处理繁琐
人工处理或者规则的质检方式过于繁琐，人工质检需要经过至少三轮的检查，每轮检查都需要听取完整的电话录音并且给出判断，这是由于客服质检往往与客服绩效直接息息相关，必须认真对待。而基于规则的方式虽然可以在一定程度的辅助进行话术合规性质检，但是由于规则的设定过程是一个较为繁琐和复杂的工作并且适用场景及其有限，只能在少许程度提供一定的辅助作用；
(2)角色反馈性检测不足
话术合规性检查往往是一个交互的过程，例如下表1所示对话：
表1
在客服是否对客户情绪进行安抚方面，我们不仅需要关注客服的行为，也需要关注客户的情绪是否在客服引导下转变，在上表示例中，客户表示出自己对处理结果的不满意和气愤，客服通过及时引导客户情绪并提出可接受的解决方案安抚客户情绪，并且在下一段中，客户情绪明显有转好，因此这种话术合规性检查不仅仅是从客服的角度出发，而是一个不同角色之间交互反馈的过程，现有算法的方式往往将这种反馈过程割裂开来，或者只输入客服语料或者不加区分直接输入，这导致模型检测的效果极差，无法真正应用于质检领域中；
(3)缺乏多角度分析能力
所谓的多角度分析能力，指的是从对话和单句角度分别分析质检话术合规性，一个典型的示例如下表2所示：
表2
在上表示例中，如果从单句角度，非常容易将“非常抱歉，领导无法接线，非常对不齐”理解为推诿不解决，但从会话角度，我们可以从下句的补充“但是小妹这边帮您向领导申请了，稍后给您电话反馈您看可以吗”中发现，客服人员在积极的安抚客户情绪并且满足客户要求，客户情绪得以好转，因此联系上下文的对话角度分析也是必要的，我们不能将质检内容割裂开来，但是现有的智能化算法只对文本简单处理，没有考虑双向特性，更没有考虑文本上下文关系。单句和对话角度的模型分辨能力都是必须的。
本发明的技术方案针对人工或者规则处理繁琐问题，提供了一种多通道的智能化算法方案，一方面使用强规则将直接可辨认问题进行自动识别，另一方面对于文本内容进行智能化的分析和深度学习算法的应用达到可以处理多种话术合规性质检的自动审核目的，极端情况质检员只需要进行一轮5％的抽检复检即可；针对角色反馈性检测不足问题，本发明提供了一种双通道对齐输入的方法，该方法中的情绪识别模块可以有效检测出客户的情绪变化从而对于客服话术的合规性进行辅助证明，同时该方法也基于客服对于客户文本问答的匹配程度判断客服是否有效识别出客户问题并给出了解决方案，这种双向验证反馈方法增强了话术合规性质检能力和准确性；针对缺乏多角度分析能力问题，本发明使用单句和对话分开验证的装置，单句验证装置主要检查客服的单句是否有明显的不合规话术沟通和忽略已检测的客户意图，对话验证装置则主要检查客服的连续对话是否遵循良好沟通原则并且对于客户要求进行合理引导和建立解决方案。
图1是根据本发明实施例的在线客服话术质检的方法的主要步骤示意图，如图1所示，本发明实施例的在线客服话术质检的方法，主要包括如下的步骤S101至步骤S103。
步骤S101，获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量。
在本发明的实施例中，在进行特征提取之前，还包括：对质检数据进行脱敏操作，使用特征字符进行替换关键信息；过滤非文本内容和机器人自动回复信息；根据客户的咨询内容进行会话划分。本发明中以电商领域在线客户的话术合规性检查为例，质检数据没有音色音调等特征，但保证了文本的准确性，没有语音转写的同音字消歧等问题，对于质检数据需要进行脱敏操作，对于电商领域而言，关键信息包括订单号、客户PIN、运单号、手机号码，需要使用特征字符进行替换，之后需要过滤掉非文本内容，例如图片链接和一些英文字母乱码等，采用正则表达式即可进行过滤，将处理后的数据传入对话处理层，在对话处理层中，主要进行对话校验，这是由于模型需要准确识别出客服和客户角色信息以便提高算法的准确性，首先过滤机器人自动回复信息，机器人在激活时回复信息可以有准确标注，可以直接进行过滤，其次是进行完整会话核对划分，这是由于客户和客服的交流过程中可能会隔一段时间再次咨询相同事件，主要辨别方法是通过客户所选的咨询项进行匹配，同时在每段咨询中查找出上次咨询的前项进行上文匹配，如果相似度达到阈值视为同一事件咨询，客户和客服角色由于为在线咨询也可以保证100％的准确性。
在本发明的实施例中，在进行特征提取之前，还包括：根据对话主体，将在线客服话术质检数据划分为客户语句和客服话术；进行特征提取以得到客户语句向量和客服话术向量包括：分别使用预训练模型对客户语句和客服话术进行特征提取，以得到客户语句向量和客服话术向量。在本发明中预训练模型层用以实现得到客服与客户向量目的，这一层的主要作用就是将客服和客户的对话文本转化为向量矩阵作为后续的模型输入，在这一层中，采用ALBERT模型对数据进行预训练，ALBERT模型轻量易部署且线上效果稳定，同时Transformer+A ttention的模型对于上下文信息和短对话有很好的适用性，将客户和客服角色分别进行预训练得到客户语句向量和客服话术向量。
根据本发明的一个实施例，使用预训练模型对客服话术进行特征提取以得到客服话术向量之后，还包括：对客服话术向量，采用向量间余弦相似的方法评估预训练效果，进行预训练模型的参数调整，客服语言有较好的统一性，对于客服语言的向量，采用向量间余弦相似的方法评估预训练效果，进行预训练模型的参数调整。
根据本发明的另一个实施例，在根据客户语句向量进行客户的情绪识别和意图识别，根据客服话术向量进行客服话术检测之前，还包括：对质检数据进行攻击性语言标注；对客户语句向量与客服话术向量进行角色和位置标记。客服和客户语言有时具有攻击性，针对这样的问题，可以采用人工的方式给与攻击性语言强标注，例如辱骂语言等，即强烈不满情绪，而在对客服话术向量与客户语句向量进行处理时，会额外的将角色和位置标记编码加入预训练数据中，然后将客户向量矩阵传入情绪识别层和意图识别层，将客服向量矩阵传入话术检测层，用于进行接下来的步骤。
步骤S102，根据客户语句向量进行客户的情绪识别和意图识别，根据客服话术向量进行客服话术检测。
在本发明的实施例中，根据客户语句向量进行客户的情绪识别包括：将客户语句向量双向地输入情绪识别模型中进行客户的情绪识别，其中，情绪识别模型采用门控循环单元过滤掉情绪无关向量，然后接入归一化层以输出客户情绪。客户的情绪识别通过情绪识别层实现，取实际数据研究显示，客户在表达情绪时，一句完整话语即表示一个情绪，而且通常为短文本，因此只需要进行粗粒度即整句情感分析即可，不必再进行评价词的提取，此处采用方法是将文本的预训练结果双向地输入模型中，在模型中采用门控循环单元过滤掉情绪无关向量，最后接入归一化层用于输出最后的情绪判别。
根据本发明的又一个实施例，根据客户语句向量进行客户的意图识别包括：根据客户语句获取用于表示客户意图的离散特征；将离散特征和客户语句向量一同输入意图识别模型中进行客户的意图识别，其中，意图识别模型通过以下方式进行客户的意图识别：对于离散特征，采用高维映射后利用向量点乘进行特征交叉以得到第一输入；对于客户话术向量，采用卷积神经网络进行编码并且接入全连接层，并将全连接层同特征交叉以得到第二输入；将第一输入和第二输入进行拼接后接入分类层，得到意图识别结果。
图3是根据本发明一个实施例的意图识别主要流程示意图，如图3所示，客户意图识别是通过意图识别层实现的，意图识别层是指从客户咨询问题中概括出一个具体的需求，例如“您好，我昨天购买的手机发现充不上电，新出的手机怎么会有这种问题，你赶紧给我退了吧”，则意图识别模型可以识别出意图“退货”，意图识别层需要引入其他额外补充特征，客户的咨询问题通常不仅仅由客户自身的话语简单判断，可以根据客户的咨询订单匹配到客户的其他维度特征，例如：退换货单、纠纷单或者直接的订单信息等，这种特征可以直接从客户咨询问题时的选择项进行匹配查找，并将这些特征视为离散特征和对话一同输入意图识别模型中，对于离散特征采用高维映射后利用向量点乘进行特征交叉用于自动挖掘额外特征，文本则用卷积神经网络进行编码并且接入全连接层，并将全连接层同特征交叉进行拼接，最后接入分类层，得到意图识别结论。
在本发明的实施例中，根据客服话术向量进行客服话术检测包括：将客服话术向量输入微调层，对客服话术向量进行微调；将微调结果接入对数损失函数进行二分类，得到客服话术检测结果，进行客服话术检测是通过话术检测层实现，采用语言模型同步进行沟通话术的规范性检查，这里可以看作二分类问题，将预训练的向量后接入微调层，微调层可以对于输入向量进行一些高维度的模型维度分析，使其分类时得到更好的效果，对于预训练结果进行微调，之后接入log损失函数进行二分类。
步骤S103，根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。
在本发明的实施例中，据情绪识别结果、意图识别结果和客服话术检测结果进行单句验证包括：将情绪识别结果、意图识别结果、客服话术检测结果和单句客服话术对应的客服话术向量，以及与单句客服话术的上下文客户话术对应的客户语句向量，输入单句验证模型进行单句验证，其中，单句验证模型对情绪识别结果、意图识别结果、客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行单句验证。单句验证是通过单句验证层实现的，单句验证层首先是从客服的单句出发，单句验证层是一个交叉层，输入为客户情绪、客户意图和客服话术检测结果，单句客服话术对应的客服话术向量，以及与单句客服话术的上下文客户话术对应的客户语句向量，对于上述的识别内容进行one-hot映射得到one-hot向量，同时输入的包括客服回复内容的上下文客户向量及识别内容，这是为了保证模型可以计算到客服响应客户意图或情绪的完整处理过程，通过将one-hot向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联对输入内容进行过滤，之后将过滤后内容进行注意力交叉，并且采用多头注意力机制进行多个角度的交叉，这种方式可以有效检验客服话术对于客户情绪的前后变化影响，注意力交叉可以有效检验客服对于客户意图的处理程度。
在本发明的实施例中，根据情绪识别结果、意图识别结果和客服话术检测结果进行对话验证包括：将完整会话所对应的客户语句向量和客服话术向量、情绪识别结果、意图识别结果、客服话术检测结果输入对话验证模型进行对话验证，其中，对话验证模型对情绪识别结果、意图识别结果、客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行对话验证。对话验证通过对话验证层实现，对话验证层是从客服的完整对话出发，此装置设置与单句装置相仿，将所有客服话术向量和客户语句向量根据角色交互输入对话验证模型，并且将内容采用多头注意力交叉，这种方法可以避免单句判断带来的片面性质检结果。
在本发明的实施例中，根据单句验证结果与对话验证结果进行在线客服话术质检包括：将单句验证结果和对话验证结果进行加权平均得到质检结果以进行在线客服话术质检。单句验证与对话验证结果通过多模式输出层输出，多模式输出层将单句验证装置和对话验证装置进行加权平均，以便输出最终结论，同时也保留分句的结果，提供细粒度的话术合规性质检效果。
在本发明的实施例中，方法还包括：对客服话术质检数据进行正向规则与负向规则的识别；获取客服操作记录并将操作记录进行独热码映射得到独热码向量，将独热码向量与规则识别结果进行拼接得到第一质检结果；将第一质检结果与质检结果合并，匹配不同权重得到最终质检结果。在具体适用过程中规则识别通过强规则匹配层实现，在这一层中，我们仍然保留了话术合规性的一些强项话术规则，这种规则是100％准确的，分为正向规则和负向规则，正向规则例如使用“您”、“请”、“谢谢”等敬语。负向规则例如使用“拜拜”、“嗯？”、“啊？”等口语化词或弱词。这种规则识别范围较小，但准确性得以保证，也是质检中必备的辅助检测手段，和深度学习模型相得益彰，同时为了检测客服是否准确对于客户意图做出反馈，因此需要对于客服的操作记录进行检查，这主要从客服系统中的客服点击记录进行分析，例如客服承诺申请优惠券赔偿，则判断客服是否进行了优惠券补偿操作，将操作记录进行one-hot映射，然后与强规则匹配的结果进行拼接，同多模式输出层的结果共同输入到联合校验层，对于模型而言，意图识别的结果和客服操作记录的向量映射是否有关系，模型可以自动学习，联合校验层将多模式输出结果与强规则匹配层拼接结果结合，多模式输出结果将单句验证的结果和对话验证的结果与强规则拼接结果二者进行合并，其中根据规则设定时的强弱度为二者分配不同权重，但整体上规则权重一般设定较高，对于强规则没有辨别能力的数据，由于多模式输出层为log函数，可以展示出合规性概率值，可以将模型认为辨别力较弱内容进行输出方便质检员进行最后复检。
图2是根据本发明实施例的在线客服话术质检的方法的主要流程示意图，如图2所示，在线客服话术质检的方法的主要流程包括：
(1)质检数据层，获取质检数据，并对质检数据进行脱敏操作，过滤非文本内容，将处理后的质检数据传入对话处理层；
(2)对话处理层，主要负责进行对话校验，首先过滤机器人自动回复信息，其次是进行完整会话核对；
(3)强规则匹配层，将经过对话处理层的数据输入强规则匹配层进行正向规则和负向规则的识别，并获取客服操作记录，将客服操作记录进行one-hot映射，将映射结果与规则识别结果进行匹配；
(4)模型预训练层，模型预训练层分别将客服和客户的对话文本转化为向量作为后续的输入，由于客服语言有较好的统一性，对于客服语言的向量，采用向量间余弦相似的方法评估预训练效果，进行预训练的参数调整，客服和客户语言有时具有攻击性，我们采用人工的方式给与攻击性语言强标注，例如辱骂语言等，即强烈不满情绪。
(5)训练数据准备层，将客户与客服两种角色的对话文本转化的客户语句向量和客服话术向量分别传入训练数据准备层，这一层负责将角色和位置标记编码加入向量中，并将客户语句向量传入情绪识别层和意图识别层，将客服话术向量传入话术检测层；
(6)情绪识别层，将客户语句向量双向地输入情绪识别层模型中，在模型中采用门控循环单元过滤掉情绪无关向量，最后接入归一化层用于输出最后的情绪判别；
(7)意图识别层，将客户语句向量输入意图识别层，用于从客户咨询问题中概括出一个具体的需求，识别客户意图；
(8)话术检测层，将模型预训练层输出的客服话术向量输入话术检测层，主要用来进行沟通话术的规范性检查；
(9)单句验证层与对话验证层，单句验证层是一个交叉层，从客服的单句出发，输入为客户情绪、客户意图、话术检测结果和客服话术向量以及对应的上下文客户向量；对话验证层是从客服的完整对话出发，对话验证层与单句验证层相仿，将所有客户语句向量和客服话术向量根据角色交互输入对话验证层，从多角度有效检验客服话术对于客户情绪的前后变化影响；
(10)多模式输出层，将单句验证层结果和对话验证层结果进行加权平均，输出最终结论，同时也保留分句的结果，提供细粒度的话术合规性质检结果；
(11)联合校验层，这一层的主要作用是将多模式输出结果与强规则匹配层的拼接结果进行结合，根据规则设定时的强弱度分配不同权重得到最终质检结果。
客服话术合规性是客服质检的最关键项，对于在线客服更是一项巨大的挑战，本发明提出的将深度学习、规则匹配以及人工复检巧妙耦合的方法，可以提高检测的效率性并保证检测结果的正确性，其中双通道对齐输入的方法，可以区分客户和客服角色进行质检，包含了意图识别、情绪识别、话术检测等多个共享层，能够有效的根据上下文信息检测出客服话术的效果，而单句和对话分开验证的方法，通过理解不同的上下文信息，有效的将客户变化应用在质检中，通过文本交叉和门控单元的过滤装置，分别从单句和对话角度分析话术得分并且输出概率，通过分角色、分类型的多样化客服质检模型有效节省质检时间并且提高效果，在电商领域在线质检中，经过调参，不改变质检样本分布，总体准确率能达到95.78％，一轮质检时间可以全部省略，复检时间可以节约50％以上。
图4是根据本发明实施例的在线客服话术质检的装置的主要模块示意图，如图4所示，本发明实施例的在线客服话术质检的装置400主要包括数据获取模块402、智能识别模块402、话术质检模块403。
数据获取模块401，用于获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；
智能识别模块402，用于根据客户语句向量进行客户的情绪识别和意图识别，根据客服话术向量进行客服话术检测；
话术质检模块403，用于根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。
在本发明的实施例中，装置400还包括数据处理模块(图中未示出)，用于：对质检数据进行脱敏操作，使用特征字符进行替换关键信息；过滤非文本内容和机器人自动回复信息；根据客户的咨询内容进行会话划分。
在本发明的实施例中，装置400还包括向量获取模块(图中未示出)，用于：根据对话主体，将在线客服话术质检数据划分为客户语句和客服话术；进行特征提取以得到客户语句向量和客服话术向量包括：分别使用预训练模型对客户语句和客服话术进行特征提取，以得到客户语句向量和客服话术向量。
在本发明的实施例中，装置400还包括参数调整模块(图中未示出)，用于：对客服话术向量，采用向量间余弦相似的方法评估预训练效果，进行预训练模型的参数调整。
在本发明的实施例中，装置400还包括数据标记模块(图中未示出)，用于：对质检数据进行攻击性语言标注；对客户语句向量与客服话术向量进行角色和位置标记。
在本发明的实施例中，智能识别模块402还用于：将客户语句向量双向地输入情绪识别模型中进行客户的情绪识别，其中，情绪识别模型采用门控循环单元过滤掉情绪无关向量，然后接入归一化层以输出客户情绪。
在本发明的实施例中，智能识别模块402还用于：根据客户语句获取用于表示客户意图的离散特征；将离散特征和客户语句向量一同输入意图识别模型中进行客户的意图识别，其中，意图识别模型通过以下方式进行客户的意图识别：对于离散特征，采用高维映射后利用向量点乘进行特征交叉以得到第一输入；对于客户话术向量，采用卷积神经网络进行编码并且接入全连接层，并将全连接层同特征交叉以得到第二输入；将第一输入和第二输入进行拼接后接入分类层，得到意图识别结果。
在本发明的实施例中，智能识别模块402还用于：将客服话术向量输入微调层，对客服话术向量进行微调；将微调结果接入对数损失函数进行二分类，得到客服话术检测结果。
在本发明的实施例中，话术质检模块403还用于：将情绪识别结果、意图识别结果、客服话术检测结果和单句客服话术对应的客服话术向量，以及与单句客服话术的上下文客户话术对应的客户语句向量，输入单句验证模型进行单句验证，其中，单句验证模型对情绪识别结果、意图识别结果、客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行单句验证。
在本发明的实施例中，话术质检模块403还用于：将完整会话所对应的客户语句向量和客服话术向量、情绪识别结果、意图识别结果、客服话术检测结果输入对话验证模型进行对话验证，其中，对话验证模型对情绪识别结果、意图识别结果、客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行对话验证。
在本发明的实施例中，话术质检模块403还用于：将单句验证结果和对话验证结果进行加权平均得到质检结果以进行在线客服话术质检。
在本发明的实施例中，装置400还包括最终结果模块(图中未示出)，用于：对客服话术质检数据进行正向规则与负向规则的识别；获取客服操作记录并将操作记录进行独热码映射得到独热码向量，将独热码向量与规则识别结果进行拼接得到第一质检结果；将第一质检结果与质检结果合并，匹配不同权重得到最终质检结果。
图5示出了可以应用本发明实施例的在线客服话术质检的方法或在线客服话术质检的装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如客服质检工具、语音质检工具、质检类应用等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的质检类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的质检数据等数据进行分析等处理，并将处理结果(例如质检结果--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的在线客服话术质检的方法一般由服务器505执行，相应地，在线客服话术质检的装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统600的结构示意图。图6示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、智能识别模块、话术质检模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据获取模块还可以被描述为“用于获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测；根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。
根据本发明实施例的技术方案，采用获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测；根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。的技术手段，能够处理多种话术合规性质检，解决了人工或者规则处理的繁琐问题，双通道对齐输入的方法解决了角色反馈性检测不足的问题，增强了话术合规性质检能力和准确性，使用单句和对话分开验证的装置能够从多角度分析质检话术合规性，通过分角色、分类型的多样化客服质检模型有效节省质检时间并且提高了质检效果。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (15)
1.一种在线客服话术质检的方法，其特征在于，包括：
获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；
根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测；
根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。
2.根据权利要求1所述的方法，其特征在于，在进行特征提取之前，还包括：
对所述质检数据进行脱敏操作，使用特征字符进行替换关键信息；
过滤非文本内容和机器人自动回复信息；
根据客户的咨询内容进行会话划分。
3.根据权利要求1所述的方法，其特征在于，在进行特征提取之前，还包括：
根据对话主体，将所述在线客服话术质检数据划分为客户语句和客服话术；
进行特征提取以得到客户语句向量和客服话术向量包括：
分别使用预训练模型对所述客户语句和所述客服话术进行特征提取，以得到客户语句向量和客服话术向量。
4.根据权利要求3所述的方法，其特征在于，使用预训练模型对所述客服话术进行特征提取以得到客服话术向量之后，还包括：
对所述客服话术向量，采用向量间余弦相似的方法评估预训练效果，进行所述预训练模型的参数调整。
5.根据权利要求1所述的方法，其特征在于，根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测之前，还包括：
对所述质检数据进行攻击性语言标注；
对所述客户语句向量与所述客服话术向量进行角色和位置标记。
6.根据权利要求1所述的方法，其特征在于，根据所述客户语句向量进行客户的情绪识别包括：
将所述客户语句向量双向地输入情绪识别模型中进行客户的情绪识别，其中，所述情绪识别模型采用门控循环单元过滤掉情绪无关向量，然后接入归一化层以输出客户情绪。
7.根据权利要求1所述的方法，其特征在于，根据所述客户语句向量进行客户的意图识别包括：
根据客户语句获取用于表示客户意图的离散特征；
将所述离散特征和所述客户语句向量一同输入意图识别模型中进行客户的意图识别，其中，所述意图识别模型通过以下方式进行客户的意图识别：
对于所述离散特征，采用高维映射后利用向量点乘进行特征交叉以得到第一输入；
对于所述客户话术向量，采用卷积神经网络进行编码并且接入全连接层，并将全连接层同特征交叉以得到第二输入；
将所述第一输入和所述第二输入进行拼接后接入分类层，得到意图识别结果。
8.根据权利要求1所述的方法，其特征在于，根据所述客服话术向量进行客服话术检测包括：
将所述客服话术向量输入微调层，对所述客服话术向量进行微调；
将微调结果接入对数损失函数进行二分类，得到客服话术检测结果。
9.根据权利要求1所述的方法，其特征在于，根据情绪识别结果、意图识别结果和客服话术检测结果进行单句验证包括：
将所述情绪识别结果、所述意图识别结果、所述客服话术检测结果和单句客服话术对应的客服话术向量，以及与所述单句客服话术的上下文客户话术对应的客户语句向量，输入单句验证模型进行单句验证，其中，所述单句验证模型对所述情绪识别结果、所述意图识别结果、所述客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行单句验证。
10.根据权利要求1所述的方法，其特征在于，根据情绪识别结果、意图识别结果和客服话术检测结果进行对话验证包括：
将完整会话所对应的客户语句向量和客服话术向量、情绪识别结果、意图识别结果、客服话术检测结果输入对话验证模型进行对话验证，其中，所述对话验证模型对所述情绪识别结果、所述意图识别结果、所述客服话术检测结果进行独热码映射得到独热码向量，将独热码向量与客户语句向量和客服话术向量建立门控单元并设置可训练参数建立关联，对输入内容进行过滤，将过滤后的内容采用多头注意力机制进行多个角度的注意力交叉以进行对话验证。
11.根据权利要求1所述的方法，其特征在于，根据单句验证结果与对话验证结果进行在线客服话术质检包括：
将所述单句验证结果和所述对话验证结果进行加权平均得到质检结果以进行在线客服话术质检。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
对所述客服话术质检数据进行正向规则与负向规则的识别；
获取客服操作记录并将所述操作记录进行独热码映射得到独热码向量，将所述独热码向量与规则识别结果进行拼接得到第一质检结果；
将所述第一质检结果与所述质检结果合并，匹配不同权重得到最终质检结果。
13.一种在线客服话术质检的装置，其特征在于，包括：
数据获取模块，用于获取在线客服话术质检数据，并进行特征提取以得到客户语句向量和客服话术向量；
智能识别模块，用于根据所述客户语句向量进行客户的情绪识别和意图识别，根据所述客服话术向量进行客服话术检测；
话术质检模块，用于根据情绪识别结果、意图识别结果和客服话术检测结果分别进行单句验证和对话验证，根据单句验证结果与对话验证结果进行在线客服话术质检。
14.一种在线客服话术质检的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110438351.0A CN113240436A (zh) | 2021-04-22 | 2021-04-22 | 在线客服话术质检的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110438351.0A CN113240436A (zh) | 2021-04-22 | 2021-04-22 | 在线客服话术质检的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113240436A true CN113240436A (zh) | 2021-08-10 |
Family
ID=77128966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110438351.0A Pending CN113240436A (zh) | 2021-04-22 | 2021-04-22 | 在线客服话术质检的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240436A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113468296A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 可配置业务逻辑的模型自迭代式智能客服质检系统与方法 |
| CN113837594A (zh) * | 2021-09-18 | 2021-12-24 | 深圳壹账通智能科技有限公司 | 多场景下客服的质量评价方法、系统、设备及介质 |
| CN114969352A (zh) * | 2022-08-03 | 2022-08-30 | 阿里巴巴（中国）有限公司 | 文本处理方法、系统、存储介质及电子设备 |
| CN115169325A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种对话质检方法、装置、计算机设备及存储介质 |
| CN115660458A (zh) * | 2022-09-26 | 2023-01-31 | 广州云趣信息科技有限公司 | 基于上下文推理的通话质检方法、装置、电子设备 |
| CN116228252A (zh) * | 2023-02-10 | 2023-06-06 | 广东盛迪嘉电子商务股份有限公司 | 一种后台客服服务终端 |
| WO2023165111A1 (zh) * | 2022-03-01 | 2023-09-07 | 达而观信息科技（上海）有限公司 | 客服热线中用户意图轨迹识别的方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015007107A1 (zh) * | 2013-07-18 | 2015-01-22 | 中兴通讯股份有限公司 | 一种对客服人员的服务质量进行质检的装置及方法 |
| TWI650719B (zh) * | 2018-02-12 | 2019-02-11 | 中華電信股份有限公司 | 從文字內容評核客戶服務品質之系統及方法 |
| CN109710934A (zh) * | 2018-12-26 | 2019-05-03 | 南京云问网络技术有限公司 | 基于情感的客服质量监督算法 |
| CN109785862A (zh) * | 2019-01-21 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 客服服务质量评价方法、装置、电子设备及存储介质 |
| CN110569344A (zh) * | 2019-08-22 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 确定对话文本对应的标准问句的方法和装置 |
| KR102056715B1 (ko) * | 2018-08-17 | 2019-12-17 | 주식회사 마인드웨어?스 | 양방향 음성 및 텍스트 통신 기반 업무 처리 지원 시스템 |
| CN110580335A (zh) * | 2018-06-07 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 用户意图的确定方法及装置 |
| CN110942229A (zh) * | 2019-10-24 | 2020-03-31 | 北京九狐时代智能科技有限公司 | 一种服务质量评价方法、装置、电子设备及存储介质 |
| US20200128053A1 (en) * | 2018-10-18 | 2020-04-23 | Paypal, Inc. | Systems and methods for providing dynamic and interactive content in a chat session |
| CN111382264A (zh) * | 2018-12-27 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 会话质量评价方法、装置及电子设备 |
| CN111523317A (zh) * | 2020-03-09 | 2020-08-11 | 平安科技（深圳）有限公司 | 语音质检方法、装置、电子设备及介质 |
| CN111598485A (zh) * | 2020-05-28 | 2020-08-28 | 成都晓多科技有限公司 | 一种多维度智能质检方法、装置、终端设备及介质 |
| WO2021004128A1 (zh) * | 2019-07-09 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 语音质检的方法、装置、计算机设备和存储介质 |
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN112667792A (zh) * | 2020-12-29 | 2021-04-16 | 招联消费金融有限公司 | 人机对话数据处理方法、装置、计算机设备和存储介质 |
-
2021
- 2021-04-22 CN CN202110438351.0A patent/CN113240436A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015007107A1 (zh) * | 2013-07-18 | 2015-01-22 | 中兴通讯股份有限公司 | 一种对客服人员的服务质量进行质检的装置及方法 |
| TWI650719B (zh) * | 2018-02-12 | 2019-02-11 | 中華電信股份有限公司 | 從文字內容評核客戶服務品質之系統及方法 |
| CN110580335A (zh) * | 2018-06-07 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 用户意图的确定方法及装置 |
| KR102056715B1 (ko) * | 2018-08-17 | 2019-12-17 | 주식회사 마인드웨어?스 | 양방향 음성 및 텍스트 통신 기반 업무 처리 지원 시스템 |
| US20200128053A1 (en) * | 2018-10-18 | 2020-04-23 | Paypal, Inc. | Systems and methods for providing dynamic and interactive content in a chat session |
| CN109710934A (zh) * | 2018-12-26 | 2019-05-03 | 南京云问网络技术有限公司 | 基于情感的客服质量监督算法 |
| CN111382264A (zh) * | 2018-12-27 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 会话质量评价方法、装置及电子设备 |
| CN109785862A (zh) * | 2019-01-21 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 客服服务质量评价方法、装置、电子设备及存储介质 |
| WO2021004128A1 (zh) * | 2019-07-09 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 语音质检的方法、装置、计算机设备和存储介质 |
| CN110569344A (zh) * | 2019-08-22 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 确定对话文本对应的标准问句的方法和装置 |
| CN110942229A (zh) * | 2019-10-24 | 2020-03-31 | 北京九狐时代智能科技有限公司 | 一种服务质量评价方法、装置、电子设备及存储介质 |
| CN111523317A (zh) * | 2020-03-09 | 2020-08-11 | 平安科技（深圳）有限公司 | 语音质检方法、装置、电子设备及介质 |
| CN111598485A (zh) * | 2020-05-28 | 2020-08-28 | 成都晓多科技有限公司 | 一种多维度智能质检方法、装置、终端设备及介质 |
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN112667792A (zh) * | 2020-12-29 | 2021-04-16 | 招联消费金融有限公司 | 人机对话数据处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李如雄;: "基于语音分析的智能质检系统设计", 自动化与仪器仪表, no. 06 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113468296A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 可配置业务逻辑的模型自迭代式智能客服质检系统与方法 |
| CN113468296B (zh) * | 2021-09-02 | 2022-05-03 | 杭州实在智能科技有限公司 | 可配置业务逻辑的模型自迭代式智能客服质检系统与方法 |
| CN113837594A (zh) * | 2021-09-18 | 2021-12-24 | 深圳壹账通智能科技有限公司 | 多场景下客服的质量评价方法、系统、设备及介质 |
| WO2023165111A1 (zh) * | 2022-03-01 | 2023-09-07 | 达而观信息科技（上海）有限公司 | 客服热线中用户意图轨迹识别的方法及系统 |
| CN114969352A (zh) * | 2022-08-03 | 2022-08-30 | 阿里巴巴（中国）有限公司 | 文本处理方法、系统、存储介质及电子设备 |
| CN114969352B (zh) * | 2022-08-03 | 2022-12-27 | 阿里巴巴（中国）有限公司 | 文本处理方法、系统、存储介质及电子设备 |
| CN115169325A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种对话质检方法、装置、计算机设备及存储介质 |
| CN115660458A (zh) * | 2022-09-26 | 2023-01-31 | 广州云趣信息科技有限公司 | 基于上下文推理的通话质检方法、装置、电子设备 |
| CN115660458B (zh) * | 2022-09-26 | 2023-10-20 | 广州云趣信息科技有限公司 | 基于上下文推理的通话质检方法、装置、电子设备 |
| CN116228252A (zh) * | 2023-02-10 | 2023-06-06 | 广东盛迪嘉电子商务股份有限公司 | 一种后台客服服务终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240436A (zh) | 在线客服话术质检的方法和装置 | |
| CN112804400B (zh) | 客服呼叫语音质检方法、装置、电子设备及存储介质 | |
| CN109587360B (zh) | 电子装置、应对话术推荐方法和计算机可读存储介质 | |
| CN108962282B (zh) | 语音检测分析方法、装置、计算机设备及存储介质 | |
| KR20210070891A (ko) | 번역품질 평가 방법 및 장치 | |
| CN110597952A (zh) | 信息处理方法、服务器及计算机存储介质 | |
| WO2021056837A1 (zh) | 服务质量评测产品定制平台及方法 | |
| CN111598485A (zh) | 一种多维度智能质检方法、装置、终端设备及介质 | |
| CN111177350A (zh) | 智能语音机器人的话术形成方法、装置和系统 | |
| Kopparapu | Non-linguistic analysis of call center conversations | |
| CN112966082A (zh) | 音频质检方法、装置、设备以及存储介质 | |
| CN115643341A (zh) | 人工智能客服应答系统 | |
| CN113011159A (zh) | 人工座席监听方法、装置、电子设备及存储介质 | |
| WO2023045186A1 (zh) | 意图识别方法、装置、电子设备和存储介质 | |
| CN111783424B (zh) | 一种文本分句方法和装置 | |
| CN111400489B (zh) | 对话文本摘要生成方法、装置、电子设备和存储介质 | |
| CN113064983A (zh) | 语义检测方法、装置、计算机设备及存储介质 | |
| CN112287091A (zh) | 智能问答方法及相关产品 | |
| CN111931507A (zh) | 获取用于实现会话的多元组集合方法、装置、介质及设备 | |
| Burkhardt et al. | Detecting vocal irony | |
| US20230297785A1 (en) | Real-time notification of disclosure errors in interactive communications | |
| CN110728131A (zh) | 一种分析文本属性的方法和装置 | |
| CN111556096B (zh) | 信息推送方法、装置、介质及电子设备 | |
| CN114707515A (zh) | 话术判别方法、装置、电子设备及存储介质 | |
| CN114519094A (zh) | 基于随机状态的话术推荐方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |