CN114418320A - 客服服务质量评估方法、装置、设备、介质和程序产品 - Google Patents
客服服务质量评估方法、装置、设备、介质和程序产品 Download PDFInfo
- Publication number
- CN114418320A CN114418320A CN202111597889.2A CN202111597889A CN114418320A CN 114418320 A CN114418320 A CN 114418320A CN 202111597889 A CN202111597889 A CN 202111597889A CN 114418320 A CN114418320 A CN 114418320A
- Authority
- CN
- China
- Prior art keywords
- text
- customer service
- audio
- features
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013441 quality evaluation Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 28
- 238000013210 evaluation model Methods 0.000 claims description 25
- 230000008451 emotion Effects 0.000 claims description 24
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000008909 emotion recognition Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000001303 quality assessment method Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Technology Law (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种客服服务质量评估方法、装置、设备、介质和程序产品。所述方法包括：获取客服与用户的对话流；对所述对话流进行文本识别得到对话文本，并对所述对话文本进行处理得到文本特征；对所述对话流进行音频识别得到音频特征；根据所述文本特征和所述音频特征进行评估得到客服服务质量。采用本方法能够提高评估准确性。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种客服服务质量评估方法、装置、设备、介质和程序产品。
背景技术
电话银行的职能已逐步从服务支撑向客户经营转变，随着客服中心扩大嵌入式营销和外呼营销规模的增大，业务办理远程电话完成，业务办理的质量一致是客服中心的重点工作，如何提高客服的服务质量是以客户为中心的现代化服务的必然要求，然而传统客户打分模式越来越不被客户重视且实际操作人员有较多的规避手段，如何提高客观公正且对话术有帮助的评价体系尤为重要。
传统技术中对客服的打分包括以下两种：一种是基于用户的打分来评估服务质量，但是用户打分存在不全面和遗漏情况，而且占有用户的时间，不够客观；第二种是基于人工智能的情绪识别，通过情绪再映射到对应的服务质量，此外情感的分类各家不一样，有很多分类标注人员也难以区分；从情感到服务质量的映射有信息损失，无法端到端的指导服务质量的提升。同时情绪识别目前也有两种主流的方式，一种是基于文本的处理，根据文本获取对应的情感信息，该方法由于损失了语音信息，导致分析效果不准；另一种是基于语音的情绪识别，但是会丢失文本信息。
因此目前对客服打分的系统的打分准确性均有待提高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高评估准确性的客服服务质量评估方法、装置、设备、介质和程序产品。
第一方面，本申请提供一种客服服务质量评估方法，所述方法包括：
获取客服与用户的对话流；
对所述对话流进行文本识别得到对话文本，并对所述对话文本进行处理得到文本特征；
对所述对话流进行音频识别得到音频特征；
根据所述文本特征和所述音频特征进行评估得到客服服务质量。
在其中一个实施例中，所述对所述对话文本进行处理得到文本特征，包括：
对所述对话文本中的当前句子进行分词处理得到分词；
计算得到所述分析对应的词特征；
根据所述词特征进行处理得到句子特征；
根据所述句子特征以及对应的所述当前句子在所述对话文本中的位置进行处理得到文本特征。
在其中一个实施例中，所述对所述对话流进行音频识别得到音频特征，包括：
对所述对话流进行音频特征提取，所述音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个。
在其中一个实施例中，所述根据所述文本特征和所述音频特征进行评估得到客服服务质量，包括：
将所述文本特征和所述音频特征输入至预先训练得到的评估模型中进行计算，得到客服服务质量；其中，所述评估模型是根据历史服务数据以及客户打分进行训练得到的。
在其中一个实施例中，所述方法还包括：
获取所述客服根据所述对话流对业务系统的操作数据；
将所述操作数据与所述文本特征进行匹配；
当所述操作数据与所述文本特征不匹配时，阻断所述操作数据对应的操作；
当所述操作数据与所述文本特征匹配时，则继续根据所述操作数据进行操作。
在其中一个实施例中，所述将所述操作数据与所述文本特征进行匹配，包括：
将所述操作数据与所述文本特征中的对应的意图和槽值进行匹配。
在其中一个实施例中，所述方法还包括：
对用户与智能客服的对话流中的用户的语音进行情绪识别得到情绪信息；
当所述情绪信息不满足要求时，建立用户与人工客服的通信通道。
在其中一个实施例中，所述方法还包括：
根据人工客服的客服服务质量，获取对应的客服话术；
对所述话术进行优化得到话术模板，所述话术模板用于指导所述智能客服提供客服服务。
第二方面，本申请还提供一种客服服务质量评估装置，所述装置包括：
对话流获取模块，用于获取客服与用户的对话流；
文本特征识别模块，用于对所述对话流进行文本识别得到对话文本，并对所述对话文本进行处理得到文本特征；
音频特征识别模块，用于对所述对话流进行音频识别得到音频特征；
评估模块，用于根据所述文本特征和所述音频特征进行评估得到客服服务质量。
第三方面，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的任意一个实施例中的方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
上述客服服务质量评估方法、装置、设备、介质和程序产品，获取客服与用户的对话流；并对对话流进行文本识别得到对话文本；对对话流进行音频识别得到音频数据，这样根据对话文本和音频数据进行评估得到客服服务质量，实现端到端的处理，一方面无需用户进行打分，另外一方面无需先对情绪进行识别，从而不会丢失信息，保证了评估的准确性。
附图说明
图1为一个实施例中客服服务质量评估方法的应用环境图；
图2为一个实施例中客服服务质量评估方法的流程示意图；
图3为一个实施例中的文本特征提取流程的模型图；
图4为一个实施例中的客服服务质量评估方法的整体架构图；
图5为一个实施例中的客服服务质量评估方法的框架图；
图6为一个实施例中客服服务质量评估装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的客服服务质量评估方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
其中终端102可以通过服务器104与客服进行对话，以获取客服提供的客服服务。其中服务器104可以获取到客服与用户的对话流；对对话流进行文本识别得到对话文本，并对对话文本进行处理得到文本特征；对对话流进行音频识别得到音频特征；根据文本特征和音频特征进行评估得到客服服务质量。这样实现端到端的处理，一方面无需用户进行打分，另外一方面无需先对情绪进行识别，从而不会丢失信息，保证了评估的准确性。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种客服服务质量评估方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S202：获取客服与用户的对话流。
具体地，用户和客服通过IVR(Interactive Voice Response)交互式语音应答模块进行对话，从而从交互式语音应答模块即可以获取到对话流。
其中需要说明的是，客服包括智能客服和人工客服，智能客服是指根据话术模板和预先设置的业务逻辑提供客服服务的客服，人工客服则是指真人客服。
其中服务器是指整个后端的统称，其可以包括交互式语音应答模块，从而客服通过该交互式语音应答模块与用户进行通话。
S204：对对话流进行文本识别得到对话文本，并对对话文本进行处理得到文本特征。
具体地，对话文本是指将对话过程中的语音转换得到的自然语言。其中优选地，该服务器包括ASR(Automatic Speech Recognition)自动语音识别模块，且自动语音识别模块与交互式语音应答模块相连接，自动语音识别模块用于将交互式语音应答模块中客服与用户的对话流读取出来，并将其转换为对话文本，优选地，自动语音识别模块将对话流转换为类似“用户A：aaaa；用户B：bbb……”的对话文本，其中不仅可以获取到对话，还可以表明每一句话是谁说的。
文本特征是对对话文本进行处理得到的，优选地，文本特征可以是通过语义向量来表示，更为优选地，服务器可以将对话文本输入至预先训练得到的语义识别模型中进行处理，以得到语义向量。
其中为了方便理解，语义向量不仅包括本句话的特征，还包括上下文特征，例如上一句话的特征，其中可选地，服务器可以先对每句话进行分词，然后通过BERT模型生成每个分词对应的词特征，将词特征进行连接即可以得到句子表示，进而将句子表示输入至预先训练得到的句子特征提取模型中以得到句子特征，然后将句子特征以及该句子的历史句子的特征一起输入至篇章语义提取模型中以提取文本特征。从而所得到的文本特征是可以包括整个对话流的特征的，并不会导致特征的丢失。
S206：对对话流进行音频识别得到音频特征。
具体地，音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个，其中服务器可以从交互式语音应答模块直接获取到对话流，然后将对话流输入至预先训练得到的评估模型的特征提取部分或者是单独的音频特征提取模型中以提取对话流的音频特征。
S208：根据文本特征和音频特征进行评估得到客服服务质量。
具体地，客服服务质量可以是通过分值的方式表示，或者是通过等级的方式表示，在此不做具体的限制。
本实施例中将文本特征和音频特征输入至预先训练得到的评估模型中进行计算，得到客服服务质量；其中，评估模型是根据历史服务数据以及客户打分进行训练得到的。这样不需要先对情绪进行识别，直接根据音频特征和文本特征进行评估得到客服服务质量，所包含的信息更多，因此准确性更高。
具体地，服务器通过明确提取的特征信息，将音频文本的信息特征明确特征矩阵，同时对客服效果的打分是现有系统已有的信息，将客服质量和特征矩阵直接关联，实现端到端的模型标注、训练、预测。
其中评估模型的训练方式包括：获取到历史客服数据，该历史客服数据包括客服和用户的历史对话流，根据该历史对话流按照上文中的方式提取到对应的历史文本特征和历史音频特征，该历史文本特征和历史音频特征作为待训练的评估模型的输入，获取到系统中用户对于该历史客服数据的打分或等级，或者是质检对于该历史客服数据的打分或等级，将该打分或等级作为待训练的评估模型的输出，这样基于历史文本特征和历史音频特征以及对应的打分或等级对待训练的评估模型进行训练得到评估模型。此外可选地服务器还可以对该评估模型进行优化，以不断的进行迭代，从而指导话术模板的生成。
上述客服服务质量评估方法，获取客服与用户的对话流；并对对话流进行文本识别得到对话文本；对对话流进行音频识别得到音频数据，这样根据对话文本和音频数据进行评估得到客服服务质量，实现端到端的处理，一方面无需用户进行打分，另外一方面无需先对情绪进行识别，从而不会丢失信息，保证了评估的准确性。
在其中一个实施例中，对对话文本进行处理得到文本特征，包括：对对话文本中的当前句子进行分词处理得到分词；计算得到分析对应的词特征；根据词特征进行处理得到句子特征；根据句子特征以及对应的当前句子在对话文本中的位置进行处理得到文本特征。
具体地，结合图3所示，图3为一个实施例中的文本特征提取流程的模型图，在该实施例中，为解决断章取义，将词的意义表达和上下文关联，通过深度神经网络实现篇章级的文本评估。
其中以图3为例，其包括三句话，每一句话均进行了分词得到该句话中的具体的词语，其中分词可以是基于现有的分析方法得到的。优选地，该分词的逻辑可以是根据预先定义的模板词语得到的，以提高分词准确性。
其中服务器将分词输入至预先训练得到的bert模型中以得到分词对应的词特征，优选地为词向量，然后将词向量进行拼接得到句子向量，将句子向量输入至卷积神经网络中得到句子表示，即句子特征，将句子特征或者是将句子特征和前一句子特征一起输入至Gated Recurrent神经网络中得到篇章表示，也即文本特征。
为了方便理解以对话流“客服：先生您好很高兴为您服务。客户：你好，我要购买安享赢。客服：好的，您要购买多久的呢”为例进行说明，其中这三句话对应图3中前中后三个词语表示，每一句话通过bert模型(通用的文本转换向量模型)得到他的词语表示，也就是图中最底层的向量。然后通过句子语义组合得到每一句话的句子表示向量。最后通过篇章语义组合得到篇章表示，最终送入评估模型进行打分。
在其中一个实施例中，对对话流进行音频识别得到音频特征，包括：对对话流进行音频特征提取，音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个。
具体地，音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个，其中服务器可以从交互式语音应答模块直接获取到对话流，然后将对话流输入至预先训练得到的评估模型的特征提取部分或者是单独的音频特征提取模型中以提取对话流的音频特征。
上述实施例中，通过客服和用户的语音文本的明确特征矩阵的量化编码，通过该手段自动收集实现服务打分，而且形成客服服务质量提升的闭环优化，代替用户主观打分的覆盖不全、主观随意等，切实提升客服的服务质量。
在其中一个实施例中，上述客服服务评估方法还包括：获取客服根据对话流对业务系统的操作数据；将操作数据与文本特征进行匹配；当操作数据与文本特征不匹配时，阻断操作数据对应的操作；当操作数据与文本特征匹配时，则继续根据操作数据进行操作。
具体地，操作数据是指客服与用户通话过程中，根据用户的指示对业务系统进行操作得到的操作数据，例如“我要购买10000元存三年的安享赢理财产品”对应的操作数据可以包括打开安享赢理财产品对应的业务系统，且输入了10000元和3年的数据。
其中服务器可以提取到客服对业务系统的操作数据，然后将操作数据与文本特征进行匹配。当操作数据与文本特征不匹配时，阻断操作数据对应的操作；当操作数据与文本特征匹配时，则继续根据操作数据进行操作。
更为具体地，客服通过沟通在业务系统中办理业务，业务系统根据办理输出办理内容并输出给语义引擎；语义引擎比对用户意图和客服办理内容，根据语义度量计算两者的相似度，或者通过规则引擎正则匹配是否符合意图，对意图满足程度打分；根据意图匹配得分，决策是否阻断业务办理。
具体地，阻断就是如果客户要买1万元的理财产品，结果客服错误操作为其买了1000元，这个时候金额比对不通过，就是出发阻断，提示业务，这个时候业务无法为客户进行购买，只有对应监控人员放行之后，才可以继续交易，这样可以有效阻止风险发生。
为了使得本领域技术人员充分理解，以下述例子进行说明：
客服在对话过程中会操作业务系统，服务器可以获知客户购买的产品信息，主要检测客户想买什么产品以及买多少钱等等，通过业务系统返回的数据进行匹配对比。
规则引擎是无数语义的集合，比如一条开场白规则包括：“您好”“很高兴为您服务”等相似句，命中开场白则是一条规则。
阻断业务就是如果客户要买1万元的理财产品，结果客服错误操作为其买了1000元，这个时候金额比对不通过，就是出发阻断，提示业务，这个时候业务无法为客户进行购买，只有对应监控人员放行之后，才可以继续交易，这样可以有效阻止风险发生。
上述实施例中，通过语音转写、要素抽取、语义理解等人工智能技术实现电话银行业务办理的内容实时提前比对，关键流程阻断风险，确保业务办理的合规要求，确保消费者权利。
在其中一个实施例中，将操作数据与文本特征进行匹配，包括：将操作数据与文本特征中的对应的意图和槽值进行匹配。
其中文本特征中包括意图和槽值，其中意图是指一句话要表达什么意思，槽值是这一句话中的关键要素是什么，例如“我要购买10000元存三年的安享赢理财产品，意图是要购买安享赢，槽值分别是10000和三年，其可以分别通过意图识别模型和要素抽取模型进行识别。
在其中一个实施例中，该客服服务质量评估方法还包括：对用户与智能客服的对话流中的用户的语音进行情绪识别得到情绪信息；当情绪信息不满足要求时，建立用户与人工客服的通信通道。
具体地，当客服情绪比较愤怒，有投诉意向的时候，通过IVR转人工客服。因此服务器还识别得到客服和用户的情绪，以便于及时更换人工客服。
在其中一个实施例中，该客服服务质量评估方法还包括：根据人工客服的客服服务质量，获取对应的客服话术；对话术进行优化得到话术模板，话术模板用于指导智能客服提供客服服务。
具体地，评估模型可以在实际应用中对客户的服务质量进行评分，对于新的业务，则可以评分最高的客服话术，并对话术进行优化，例如去掉语气词等等，以得到话术模板，话术模板用于指导智能客服提供客服服务。
在新设计的话术模板上线后通过客户打分和评估模型预测打分，计算两者的匹配程度。此外，客户打分类似标准答案，模型刚开始打分一定不准确，要匹配客户打分和模型打分，让模型不断优化，使其打出的份更接近真实情况。
具体地，结合图4和图5所示，图4为一个实施例中的客服服务质量评估方法的整体架构图，图5为一个实施例中的客服服务质量评估方法的框架图。
在该实施例中，用户通过IVR与客服进行对话，并生成对话流，其中图4中的客服以人表示，但其可以包括智能客服和人工客服，服务器对对话流进行处理提取到音频特征，并将对话流输入至ASR中得到对话文本，然后对话文本进行处理得到文本特征，将音频特征和文本特征输入至评估模型中以得到客服服务质量。结合图5其中本实施例中对于音频特征和文本特征仅举例说明，在其他的实施例中可以根据需要引入其他的音频特征和文本特征。
其中客服通过沟通在业务系统中办理业务，业务系统根据办理输出办理内容并输出给语义引擎；语义引擎比对用户意图和客服办理内容，根据语义度量计算两者的相似度，或者通过规则引擎正则匹配是否符合意图，对意图满足程度打分；根据意图匹配得分，决策是否阻断业务办理。
上述实施例中，通过语音转写、要素抽取、语义理解等人工智能技术实现电话银行业务办理的内容实时提前比对，关键流程阻断风险，确保业务办理的合规要求，确保消费者权利。通过客服和用户的语音文本的明确特征矩阵的量化编码，通过该手段自动收集实现服务打分，而且形成客服服务质量提升的闭环优化，代替用户主观打分的覆盖不全、主观随意等，切实提升客服的服务质量
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的客服服务质量评估方法的客服服务质量评估装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个客服服务质量评估装置实施例中的具体限定可以参见上文中对于客服服务质量评估方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种客服服务质量评估装置，包括：对话流获取模块601、文本特征识别模块602、音频特征识别模块603和评估模块604，其中：
对话流获取模块601，用于获取客服与用户的对话流；
文本特征识别模块602，用于对对话流进行文本识别得到对话文本，并对对话文本进行处理得到文本特征；
音频特征识别模块603，用于对对话流进行音频识别得到音频特征；
评估模块604，用于根据文本特征和音频特征进行评估得到客服服务质量。
在其中一个实施例中，上述文本特征识别模块602包括：
分词单元，用于对对话文本中的当前句子进行分词处理得到分词；
词特征计算单元，用于计算得到分析对应的词特征；
句子特征计算单元，用于根据词特征进行处理得到句子特征；
文本特征计算单元，用于根据句子特征以及对应的当前句子在对话文本中的位置进行处理得到文本特征。
在其中一个实施例中，上述音频特征模块用于对对话流进行音频特征提取，音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个。
在其中一个实施例中，上述评估模块604用于将文本特征和音频特征输入至预先训练得到的评估模型中进行计算，得到客服服务质量；其中，评估模型是根据历史服务数据以及客户打分进行训练得到的。
在其中一个实施例中，上述客服服务质量评估装置还包括：
操作数据获取模块，用于获取客服根据对话流对业务系统的操作数据；
匹配模块，用于将操作数据与文本特征进行匹配；
匹配处理模块，用于当操作数据与文本特征不匹配时，阻断操作数据对应的操作；当操作数据与文本特征匹配时，则继续根据操作数据进行操作。
在其中一个实施例中，上述匹配模块用于将操作数据与文本特征中的对应的意图和槽值进行匹配。
在其中一个实施例中，上述客服服务质量评估装置还包括：
情绪识别模块，用于对用户与智能客服的对话流中的用户的语音进行情绪识别得到情绪信息；
客服切换模块，用于当情绪信息不满足要求时，建立用户与人工客服的通信通道。
在其中一个实施例中，上述客服服务质量评估装置还包括：
话术获取模块，用于根据人工客服的客服服务质量，获取对应的客服话术；
模板生成模块，用于对话术进行优化得到话术模板，话术模板用于指导智能客服提供客服服务。
上述客服服务质量评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种客服服务质量评估方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取客服与用户的对话流；对对话流进行文本识别得到对话文本，并对对话文本进行处理得到文本特征；对对话流进行音频识别得到音频特征；根据文本特征和音频特征进行评估得到客服服务质量。
在一个实施例中，处理器执行计算机程序时所实现的对对话文本进行处理得到文本特征，包括：对对话文本中的当前句子进行分词处理得到分词；计算得到分析对应的词特征；根据词特征进行处理得到句子特征；根据句子特征以及对应的当前句子在对话文本中的位置进行处理得到文本特征。
在一个实施例中，处理器执行计算机程序时所实现的对对话流进行音频识别得到音频特征，包括：对对话流进行音频特征提取，音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个。
在一个实施例中，处理器执行计算机程序时所实现的根据文本特征和音频特征进行评估得到客服服务质量，包括：将文本特征和音频特征输入至预先训练得到的评估模型中进行计算，得到客服服务质量；其中，评估模型是根据历史服务数据以及客户打分进行训练得到的。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取客服根据对话流对业务系统的操作数据；将操作数据与文本特征进行匹配；当操作数据与文本特征不匹配时，阻断操作数据对应的操作；当操作数据与文本特征匹配时，则继续根据操作数据进行操作。
在一个实施例中，处理器执行计算机程序时所实现的将操作数据与文本特征进行匹配，包括：将操作数据与文本特征中的对应的意图和槽值进行匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对用户与智能客服的对话流中的用户的语音进行情绪识别得到情绪信息；当情绪信息不满足要求时，建立用户与人工客服的通信通道。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据人工客服的客服服务质量，获取对应的客服话术；对话术进行优化得到话术模板，话术模板用于指导智能客服提供客服服务。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取客服与用户的对话流；对对话流进行文本识别得到对话文本，并对对话文本进行处理得到文本特征；对对话流进行音频识别得到音频特征；根据文本特征和音频特征进行评估得到客服服务质量。
在一个实施例中，计算机程序被处理器执行时所实现的对对话文本进行处理得到文本特征，包括：对对话文本中的当前句子进行分词处理得到分词；计算得到分析对应的词特征；根据词特征进行处理得到句子特征；根据句子特征以及对应的当前句子在对话文本中的位置进行处理得到文本特征。
在一个实施例中，计算机程序被处理器执行时所实现的对对话流进行音频识别得到音频特征，包括：对对话流进行音频特征提取，音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个。
在一个实施例中，计算机程序被处理器执行时所实现的根据文本特征和音频特征进行评估得到客服服务质量，包括：将文本特征和音频特征输入至预先训练得到的评估模型中进行计算，得到客服服务质量；其中，评估模型是根据历史服务数据以及客户打分进行训练得到的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取客服根据对话流对业务系统的操作数据；将操作数据与文本特征进行匹配；当操作数据与文本特征不匹配时，阻断操作数据对应的操作；当操作数据与文本特征匹配时，则继续根据操作数据进行操作。
在一个实施例中，计算机程序被处理器执行时所实现的将操作数据与文本特征进行匹配，包括：将操作数据与文本特征中的对应的意图和槽值进行匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对用户与智能客服的对话流中的用户的语音进行情绪识别得到情绪信息；当情绪信息不满足要求时，建立用户与人工客服的通信通道。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据人工客服的客服服务质量，获取对应的客服话术；对话术进行优化得到话术模板，话术模板用于指导智能客服提供客服服务。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取客服与用户的对话流；对对话流进行文本识别得到对话文本，并对对话文本进行处理得到文本特征；对对话流进行音频识别得到音频特征；根据文本特征和音频特征进行评估得到客服服务质量。
在一个实施例中，计算机程序被处理器执行时所实现的对对话文本进行处理得到文本特征，包括：对对话文本中的当前句子进行分词处理得到分词；计算得到分析对应的词特征；根据词特征进行处理得到句子特征；根据句子特征以及对应的当前句子在对话文本中的位置进行处理得到文本特征。
在一个实施例中，计算机程序被处理器执行时所实现的对对话流进行音频识别得到音频特征，包括：对对话流进行音频特征提取，音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个。
在一个实施例中，计算机程序被处理器执行时所实现的根据文本特征和音频特征进行评估得到客服服务质量，包括：将文本特征和音频特征输入至预先训练得到的评估模型中进行计算，得到客服服务质量；其中，评估模型是根据历史服务数据以及客户打分进行训练得到的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取客服根据对话流对业务系统的操作数据；将操作数据与文本特征进行匹配；当操作数据与文本特征不匹配时，阻断操作数据对应的操作；当操作数据与文本特征匹配时，则继续根据操作数据进行操作。
在一个实施例中，计算机程序被处理器执行时所实现的将操作数据与文本特征进行匹配，包括：将操作数据与文本特征中的对应的意图和槽值进行匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对用户与智能客服的对话流中的用户的语音进行情绪识别得到情绪信息；当情绪信息不满足要求时，建立用户与人工客服的通信通道。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据人工客服的客服服务质量，获取对应的客服话术；对话术进行优化得到话术模板，话术模板用于指导智能客服提供客服服务。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种客服服务质量评估方法，其特征在于，所述方法包括：
获取客服与用户的对话流；
对所述对话流进行文本识别得到对话文本，并对所述对话文本进行处理得到文本特征；
对所述对话流进行音频识别得到音频特征；
根据所述文本特征和所述音频特征进行评估得到客服服务质量。
2.根据权利要求1所述的方法，其特征在于，所述对所述对话文本进行处理得到文本特征，包括：
对所述对话文本中的当前句子进行分词处理得到分词；
计算得到所述分析对应的词特征；
根据所述词特征进行处理得到句子特征；
根据所述句子特征以及对应的所述当前句子在所述对话文本中的位置进行处理得到文本特征。
3.根据权利要求1所述的方法，其特征在于，所述对所述对话流进行音频识别得到音频特征，包括：
对所述对话流进行音频特征提取，所述音频特征包括音量变化矩阵、语速变化矩阵以及声调变化矩阵中的一个或多个。
4.根据权利要求1所述的方法，其特征在于，所述根据所述文本特征和所述音频特征进行评估得到客服服务质量，包括：
将所述文本特征和所述音频特征输入至预先训练得到的评估模型中进行计算，得到客服服务质量；其中，所述评估模型是根据历史服务数据以及客户打分进行训练得到的。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
获取所述客服根据所述对话流对业务系统的操作数据；
将所述操作数据与所述文本特征进行匹配；
当所述操作数据与所述文本特征不匹配时，阻断所述操作数据对应的操作；
当所述操作数据与所述文本特征匹配时，则继续根据所述操作数据进行操作。
6.根据权利要求5所述的方法，其特征在于，所述将所述操作数据与所述文本特征进行匹配，包括：
将所述操作数据与所述文本特征中的对应的意图和槽值进行匹配。
7.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
对用户与智能客服的对话流中的用户的语音进行情绪识别得到情绪信息；
当所述情绪信息不满足要求时，建立用户与人工客服的通信通道。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据人工客服的客服服务质量，获取对应的客服话术；
对所述话术进行优化得到话术模板，所述话术模板用于指导所述智能客服提供客服服务。
9.一种客服服务质量评估装置，其特征在于，所述装置包括：
对话流获取模块，用于获取客服与用户的对话流；
文本特征识别模块，用于对所述对话流进行文本识别得到对话文本，并对所述对话文本进行处理得到文本特征；
音频特征识别模块，用于对所述对话流进行音频识别得到音频特征；
评估模块，用于根据所述文本特征和所述音频特征进行评估得到客服服务质量。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111597889.2A CN114418320A (zh) | 2021-12-24 | 2021-12-24 | 客服服务质量评估方法、装置、设备、介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111597889.2A CN114418320A (zh) | 2021-12-24 | 2021-12-24 | 客服服务质量评估方法、装置、设备、介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114418320A true CN114418320A (zh) | 2022-04-29 |
Family
ID=81267826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111597889.2A Pending CN114418320A (zh) | 2021-12-24 | 2021-12-24 | 客服服务质量评估方法、装置、设备、介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418320A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115514571A (zh) * | 2022-09-26 | 2022-12-23 | 中国电信股份有限公司 | 基于零信任的客服方法、装置、电子设备和可读存储介质 |
-
2021
- 2021-12-24 CN CN202111597889.2A patent/CN114418320A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115514571A (zh) * | 2022-09-26 | 2022-12-23 | 中国电信股份有限公司 | 基于零信任的客服方法、装置、电子设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10771627B2 (en) | Personalized support routing based on paralinguistic information | |
| CN111028827B (zh) | 基于情绪识别的交互处理方法、装置、设备和存储介质 | |
| CN109151218A (zh) | 通话语音质检方法、装置、计算机设备及存储介质 | |
| CN111160514B (zh) | 一种对话的方法和系统 | |
| CN107391575A (zh) | 一种基于词向量模型的隐式特征识别方法 | |
| KR102100214B1 (ko) | 음성 인식 기반의 세일즈 대화 분석 방법 및 장치 | |
| Kopparapu | Non-linguistic analysis of call center conversations | |
| US11563852B1 (en) | System and method for identifying complaints in interactive communications and providing feedback in real-time | |
| CN110265008A (zh) | 智能回访方法、装置、计算机设备及存储介质 | |
| CN112233680A (zh) | 说话人角色识别方法、装置、电子设备及存储介质 | |
| CN113240510A (zh) | 异常用户预测方法、装置、设备及存储介质 | |
| CN114818649A (zh) | 基于智能语音交互技术的业务咨询处理方法及装置 | |
| CN111429157A (zh) | 投诉工单的评价处理方法、装置、设备及存储介质 | |
| Chakroun et al. | New approach for short utterance speaker identification | |
| CN112632248A (zh) | 问答方法、装置、计算机设备和存储介质 | |
| CN114418320A (zh) | 客服服务质量评估方法、装置、设备、介质和程序产品 | |
| CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
| CN112434953A (zh) | 一种基于计算机数据处理的客服人员考核方法和装置 | |
| CN116883888A (zh) | 基于多模态特征融合的银行柜面服务问题溯源系统及方法 | |
| CN117034955A (zh) | 话务文本意图识别方法及装置 | |
| CN114969195B (zh) | 对话内容挖掘方法和对话内容评估模型的生成方法 | |
| CN114356982A (zh) | 营销合规性检查方法、装置、计算机设备及存储介质 | |
| CN112381989A (zh) | 排序方法、装置、系统和电子设备 | |
| US20240073321A1 (en) | System and method for providing personalized customer experience in interactive communications | |
| KR102507810B1 (ko) | 인공지능을 이용한 음성 기반 세일즈 정보 추출 및 리드 추천방법과 이를 수행하는 데이터 분석장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |