CN113434630A - 客服服务评估方法、装置、终端设备及介质 - Google Patents

客服服务评估方法、装置、终端设备及介质 Download PDF

Info

Publication number
CN113434630A
CN113434630A CN202110712103.0A CN202110712103A CN113434630A CN 113434630 A CN113434630 A CN 113434630A CN 202110712103 A CN202110712103 A CN 202110712103A CN 113434630 A CN113434630 A CN 113434630A
Authority
CN
China
Prior art keywords
text
emotion
evaluated
audio
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110712103.0A
Other languages
English (en)
Other versions
CN113434630B (zh
Inventor
苏雪琦
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110712103.0A priority Critical patent/CN113434630B/zh
Publication of CN113434630A publication Critical patent/CN113434630A/zh
Application granted granted Critical
Publication of CN113434630B publication Critical patent/CN113434630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于人工智能技术领域，提供了一种客服服务评估方法、装置、终端设备及介质，该方法包括：将待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值；将待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值；根据第一情绪值和第二情绪值确定待评估客服的服务等级。本申请基于第一情绪值和第二情绪值能有效地评估到待评估客服在同一服务场景下对不同用户和不同的服务场景下对相同用户的服务等级，基于评估到的服务等级，能有效地表征待评估客服的服务效果。

Description

客服服务评估方法、装置、终端设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种客服服务评估方法、装置、终端设备及介质。
背景技术
智能客服被广泛运用于金融业、教育培训、电商/零售、汽车/硬件、汽车服务和政企单位等行业。随着智能客服的广泛运用，智能客服服务水平的评估也越来越被重视。如何更好的评估智能客服服务质量，以找出智能客服服务痛点，提升智能客服服务水平，提高用户体验度，增强用户粘性，成为日益重要的课题。
现有的智能客服的服务评估过程中，均是通过分析用户的情绪，以表征用户对客服服务水平的满意程度，但由于用户情绪的分类有限，分类结果覆盖不全，导致不能有效地评估到客服的服务等级，降低了客服服务评估的准确性。
发明内容
有鉴于此，本申请实施例提供了一种客服服务评估方法、装置、终端设备及介质，以解决现有技术中，由于用户情绪的分类有限，所导致的不能有效地评估到客服的服务等级的问题。
本申请实施例的第一方面提供了一种客服服务评估方法，包括：
获取待评估客服的待评估文本，所述待评估文本包括所述待评估客服在不同服务场景下，与不同用户之间交互的音频文本；
将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值；
将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值；
根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级。
进一步地，所述将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析之前，包括：
构建情绪字典，以及根据所述情绪字典对多个样本音频文本分别进行样本标注，得到各样本音频文本对应的样本标注信息，所述情绪字典中存储有不同词汇与情绪强度和情绪类型之间的映射关系，所述样本标注信息包括与样本音频文本对应的情绪强度和情绪类型；
对所述样本标注信息进行归一化处理，生成标准样本标注信息，所述归一化处理用于将所述样本标注信息中的情绪强度映射至预设范围内；
根据所述多个样本音频文本和与各样本音频文本对应的标准样本标注信息，对所述情绪分析模型进行模型训练，直至所述情绪分析模型收敛，得到预训练后的所述情绪分析模型。
进一步地，所述将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值，包括：
对所述音频文本进行分句，得到多个分句文本，并分别对各分句文本进行词汇过滤，其中，所述词汇过滤用于删除分句文本中的指定词汇；
将词汇过滤后的各分句文本输入预训练后的所述情绪分析模型进行情绪分析，得到与各分句文本分别对应的分句情绪值；
将同一所述音频文本中各分句文本对应的分句情绪值之和，确定为所述文本情绪值。
进一步地，所述将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值，包括：
将所述待评估文本中，在同一服务场景下不同用户对应音频文本确定为第一评估文本，以及确定所述第一评估文本中音频文本之间文本情绪值的平均值，得到第一情绪值；
将所述待评估文本中，在不同服务场景下相同用户对应音频文本确定为第二评估文本，以及确定所述第二评估文本中音频文本之间文本情绪值的平均值，得到第二情绪值。
进一步地，所述确定所述第一评估文本中音频文本之间文本情绪值的平均值和确定所述第二评估文本中音频文本之间文本情绪值的平均值所采用的公式为：
Figure BDA0003133324420000031
Figure BDA0003133324420000032
其中，Sentimentji是用户j与所述待评估客服在第i次交互时的音频文本的情绪值，SentiDivI为第一情绪值，SentiDiv是第二情绪值，J为与所述待评估客服交互的用户总量，I是所述待评估文本中所述待评估客服与用户之间的总交互次数。
进一步地，所述根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级，包括：
对所述第一情绪值和所述第二情绪值进行加权处理，得到加权情绪值；
将所述加权情绪值与预存储的服务等级评估表进行匹配，得到所述待评估客服的服务等级，所述服务等级评估表中存储有不同情绪值范围与对应服务等级之间的对应关系。
进一步地，所述构建情绪字典，包括：
获取客服与用户之间的音频文本，以及对获取到的音频文本进行分词，得到分词词汇；
对所述分词词汇进行词汇过滤，以及确定词汇过滤后所述分词词汇的词频；
根据所述词频从大到小的顺序，选取预设数目个所述分词词汇；
对选取得到的各分词词汇进行词汇标注，以及将词汇标注后的分词词汇添加至预设的基础字典中，得到所述情绪字典，所述词汇标注用于对所述分词词汇进行情绪强度和情绪类型的标记。
本申请实施例的第二方面提供了一种客服服务评估装置，包括：
待评估文本获取单元，用于获取待评估客服的待评估文本，所述待评估文本包括所述待评估客服在不同服务场景下，与不同用户之间交互的音频文本；
情绪分析单元，用于将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值；
情绪值确定单元，用于将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值；
服务等级评估单元，用于根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在终端设备上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方案提供的客服服务评估方法的各步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方案提供的客服服务评估方法的各步骤。
本申请实施例提供的一种客服服务评估方法、装置、终端设备及介质，通过将待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，能有效地分析到不同音频文本对应的文本情绪值，基于文本情绪值能有效地量化对应音频文本中用户的情绪，通过分别获取待评估文本中，在同一服务场景下不同用户和相同用户对应的音频文本，得到第一情绪值和第二情绪值，基于第一情绪值能有效地评估到待评估客服在同一服务场景下对不同用户的服务等级，基于第二情绪值能有效地评估到待评估客服在不同的服务场景下对相同用户的服务等级，基于评估到的服务等级，能有效地表征待评估客服的服务效果，防止了基于用户情绪表征客服的服务等级，所导致的客服服务评估准确性低下的现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种客服服务评估方法的实现流程图；
图2是本申请另一实施例提供的一种客服服务评估方法的实现流程图；
图3是本申请实施例提供的一种客服服务评估装置的结构框图；
图4是本申请实施例提供的一种终端设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例所涉及的客服服务评估方法，可以由控制设备或终端(以下称“移动终端”)执行。
请参阅图1，图1示出了本申请实施例提供的一种客服服务评估方法的实现流程图，该客服服务评估方法应用于任一终端设备，该终端设备可以为服务器、手机、平板或可穿戴智能设备，该客服服务评估方法包括：
步骤S10，获取待评估客服的待评估文本。
其中，待评估文本包括待评估客服在不同服务场景下，与不同用户之间交互的音频文本，该音频文本为对应音频数据进行语音翻译后得到的文本，该步骤中，针对客服均设置有多个不同的服务场景，每个服务场景中均设置有对应的服务对话，通过分别获取待评估客服在不同服务场景下，与不同用户之间交互的音频文本，得到该待评估文本。
可选的，该步骤中，可以将待评估客服的客服编号与服务数据库进行匹配，以得到该待评估客服的待评估文本，该服务数据库中存储有不同客服编号与对应待评估文本之间的对应关系。
步骤S20，将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值。
其中，该情绪分析模型可以采用深度学习模型、生成式对抗网络或循环神经网络等网络结构，可选的，该步骤中，所述将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析之前，包括：
构建情绪字典，以及根据所述情绪字典对多个样本音频文本分别进行样本标注，得到各样本音频文本对应的样本标注信息；
其中，该情绪字典中存储有不同词汇与情绪强度、情绪类型、词性种类和极性等信息之间的映射关系，该极性用于表征用户积极或消极的意见程度，该样本标注信息包括与样本音频文本对应的情绪强度和情绪类型；
对所述样本标注信息进行归一化处理，生成标准样本标注信息；
其中，该归一化处理用于将样本标注信息中的情绪强度映射至预设范围内，该步骤中，通过将样本标注信息中积极情绪对应的情绪强度映射至[0，1]，将所有消极情绪对应的情绪强度映射至[-1，0]，0代表中性情绪，以达到对样本标注信息归一化处理的效果，得到该标准样本标注信息。
根据所述多个样本音频文本和与各样本音频文本对应的标准样本标注信息，对所述情绪分析模型进行模型训练，直至所述情绪分析模型收敛，得到预训练后的所述情绪分析模型；
其中，该步骤中，该情绪分析模型采用的是深度学习模型，将多个样本音频文本输入深度学习模型进行情绪分析，得到情绪结果，根据情绪结果和样本标注信息计算深度学习模型的模型损失值，并采用随机梯度下降法(Stachastic gradient desent，SGD)对深度学习模型中的参数进行更新，直至深度学习模型的迭代次数大于次数阈值，或输出的模型损失值小于损失阈值时，判定该情绪分析模型收敛，基于收敛后的情绪分析模型能有效地计算到输入音频文件对应的文本情绪值。
步骤S30，将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值。
其中，同一服务场景下不同用户对应音频文本可以有一个也可以有多个。若有一个音频文本，则将该音频文本的文本情绪值确定为第一情绪值。若有多个，可以选取一个，如，随机选取一个音频文本，将所选取的音频文本的文本情绪值确定为第一情绪值，或计算同一用户对应音频文本之间文本情绪值的平均值，得到该第一情绪值。该步骤中，不同服务场景下相同用户对应音频文本可以有一个也可以有多个。若有一个音频文本，则将该音频文本的文本情绪值确定为第二情绪值。若有多个，可以选取一个，如，随机选取一个音频文本，将所选取的音频文本的文本情绪值确定为第一情绪值，或计算对应服务场景下，同一用户对应音频文本之间文本情绪值的平均值，得到该第二情绪值。
可选的，该步骤中，所述将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值，包括：
将所述待评估文本中，在同一服务场景下不同用户对应音频文本确定为第一评估文本，以及确定所述第一评估文本中音频文本之间文本情绪值的平均值，得到第一情绪值；
其中，通过将待评估文本中，在同一服务场景下不同用户对应音频文本确定为第一评估文本，能有效地获取到同一服务场景下，不同用户之间所有的音频文本，基于第一评估文本对应的第一情绪值，能有效地表征同一服务场景下，不同用户之间满意程度的平均值，基于同一服务场景下，不同用户之间满意程度的平均值，能有效地评估待评估客服在同一服务场景下，对不同用户的服务效果；
例如，针对服务场景A，当该第一情绪值越大时，则判定待评估客服在服务场景A下对用户的服务效果越好，用户的满意程度越高。
将所述待评估文本中，在不同服务场景下相同用户对应音频文本确定为第二评估文本，以及确定所述第二评估文本中音频文本之间文本情绪值的平均值，得到第二情绪值；
其中，通过将待评估文本中，在不同服务场景下相同用户对应音频文本确定为第二评估文本，能有效地获取到不同服务场景下相同用户的音频文本，基于第二评估文本对应的第二情绪值，能有效地表征不同服务场景下，对应用户满意程度的平均值，基于不同服务场景下，对应用户满意程度的平均值，能有效地评估待评估客服在不同服务场景下，对同一用户的服务效果。
例如，当待评估文本包括音频文本a1、音频文本a2，音频文本a1和音频文本a2的服务场景均为服务场景b1，音频文本a1、音频文本a2对应的用户均为用户c1，因此，将音频文本a1和音频文本a2设置为第二评估文本d1，计算音频文本a1和音频文本a2之间文本情绪值的平均值，得到第二情绪值，该第二情绪值用于表征服务场景b1下用户c1的情绪值。
进一步地，该步骤中，所述确定所述第一评估文本中音频文本之间文本情绪值的平均值和确定所述第二评估文本中音频文本之间文本情绪值的平均值所采用的公式为：
Figure BDA0003133324420000081
Figure BDA0003133324420000091
其中，Sentimentji是用户j与所述待评估客服在第i次交互时的音频文本的情绪值，SentiDivI为第一情绪值，SentiDiv是第二情绪值，J为与所述待评估客服交互的用户总量，I是所述待评估文本中所述待评估客服与用户之间的总交互次数。
步骤S40，根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级。
其中，可以通过计算第一情绪值和第二情绪值之间的平均值，并将第一情绪值和第二情绪值之间的平均值与预存储的服务等级评估表进行匹配，得到待评估客服的服务等级，服务等级评估表中存储有不同情绪值范围与对应服务等级之间的对应关系。
可选的，该步骤中，所述根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级，包括：对所述第一情绪值和所述第二情绪值进行加权处理，得到加权情绪值；将所述加权情绪值与预存储的服务等级评估表进行匹配，得到所述待评估客服的服务等级。
其中，该第一情绪值和第二情绪值对应的加权系数可以根据需求进行设置，但第一情绪值与第二情绪值之间加权系数的和为1，例如，第一情绪值和第二情绪值对应的加权系数可以设置为0.3和0.7、或0.2和0.8等。该步骤中，通过对第一情绪值和第二情绪值进行加权处理，能基于用户的评估需求，偏重于待评估客服在在同一服务场景下，对不同用户的服务效果，或在不同服务场景下，对相同用户的服务效果进行服务评估。
本实施例中，通过将待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，能有效地分析到不同音频文本对应的文本情绪值，基于文本情绪值能有效地量化对应音频文本中用户的情绪，通过分别获取待评估文本中，在同一服务场景下不同用户和相同用户对应的音频文本，得到第一情绪值和第二情绪值，基于第一情绪值能有效地评估到待评估客服在同一服务场景下对不同用户的服务等级，基于第二情绪值能有效地评估到待评估客服在不同的服务场景下对相同用户的服务等级，基于评估到的服务等级，能有效地表征待评估客服的服务效果，防止了基于用户情绪表征客服的服务等级，所导致的客服服务评估准确性低下的现象。
请参阅图2，图2是本申请另一实施例提供的一种客服服务评估方法的实现流程图。相对于图1实施例，本实施例提供的客服服务评估方法用于对图1实施例中的步骤S20作进一步细化，包括：
步骤S21，对所述音频文本进行分句，得到多个分句文本，并分别对各分句文本进行词汇过滤；
其中，该词汇过滤用于删除分句文本中的指定词汇，该指定词汇可以根据需求进行设置，该指定词汇不能体现用户的情绪值，该步骤中，通过分别将分句文本中的词汇与指定词汇进行匹配，以判断各分句文本中是否存在指定词汇，若判断到任一分句文本中存在指定词汇，则在该分句文本中删除对应的指定词汇。
步骤S22，将词汇过滤后的各分句文本输入预训练后的所述情绪分析模型进行情绪分析，得到与各分句文本分别对应的分句情绪值。
其中，将词汇过滤后的各分句文本输入预训练后的情绪分析模型进行情绪分析，以计算各分句文本对应的情绪值，该分句情绪值表征对应分句文本中用户的情绪，分句情绪值的正负值符号，用于表征对应分句文本中用户的情绪极性和情绪类型，分句情绪值的绝对值大小，用于表征对应分句文本中用户的情绪强度。
步骤S23，将同一所述音频文本中各分句文本对应的分句情绪值之和，确定为所述文本情绪值。
例如，当该音频文本包括进行分句，得到分句文本h1、分句文本h2和分句文本h3，分别对分句文本h1、分句文本h2和分句文本h3进行词汇过滤后，将词汇过滤后的分句文本h1、分句文本h2和分句文本h3输入预训练后的所述情绪分析模型进行情绪分析，得到分句情绪值k1、分句情绪值k2和分句情绪值k3，计算分句情绪值k1、分句情绪值k2和分句情绪值k3三者的和，得到该音频文本的文本情绪值。
可选的，本实施例中，所述构建情绪字典，包括：
获取客服与用户之间的音频文本，以及对获取到的音频文本进行分词，得到分词词汇；
其中，分别获取不同客服与用户之间的音频文本，得到历史音频文本，并分别对历史音频文本中的音频文本进行分词，得到分词词汇，可选的，该步骤中，可以采用“结巴”中文分词规则对音频文本进行分词。
对所述分词词汇进行词汇过滤，以及确定词汇过滤后所述分词词汇的词频；
其中，通过对分词词汇进行词汇过滤，以删除该分词词汇中不能表达用户情绪的词汇。
根据所述词频从大到小的顺序，选取预设数目个所述分词词汇；
其中，该预设数目可以根据需求进行设置，例如，该预设数目可以设置为100个、200个或1000个等，通过根据词频从大到小的顺序，选取预设数目个分词词汇，能有效地获取到用户使用次数多，且能表达用户情绪的词汇。
对选取得到的各分词词汇进行词汇标注，以及将词汇标注后的分词词汇添加至预设的基础字典中，得到所述情绪字典；
其中，该词汇标注用于对分词词汇进行情绪强度和情绪类型的标记，该步骤中，该基础字典为预设的情感词汇本体库，通过对选取得到的各分词词汇进行词汇标注，以及将词汇标注后的分词词汇添加至预设的基础字典中，能有效地基于客服与用户之间的交互音频历史，对基础字典进行情绪词汇的补充，提高了基础字典的全面性，使得构建得到的情绪字典能有效地对多个样本音频文本进行样本标注，提高了对样本音频文本的样本标注的准确性。
本实施例中，通过分别对各分句文本进行词汇过滤，提高了各分句文本中词汇的准确性，防止了由于分句文本中存在指定词汇，所导致的分句情绪值计算的误差，通过将词汇过滤后的各分句文本输入预训练后的情绪分析模型进行情绪分析，以计算各分句文本对应的情绪值，通过将同一音频文本中的，所有分句文本对应的分句情绪值之和，确定为文本情绪值，使得基于各分句文本对应的情绪值，能有效地的计算到各音频文本对应的文本情绪值。
请参阅图3，图3是本申请实施例提供的一种客服服务评估装置100的结构框图。本实施例中该客服服务评估装置100包括的各单元用于执行图1、图2对应的实施例中的各步骤。具体请参阅图1、图2以及图1、图2所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图3，客服服务评估装置100包括：待评估文本获取单元10、情绪分析单元11、情绪值确定单元12和服务等级评估单元13，其中：
待评估文本获取单元10，用于获取待评估客服的待评估文本，所述待评估文本包括所述待评估客服在不同服务场景下，与不同用户之间交互的音频文本。
情绪分析单元11，用于将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值。
其中，该情绪分析单元11还用于：构建情绪字典，以及根据所述情绪字典对多个样本音频文本分别进行样本标注，得到各样本音频文本对应的样本标注信息，所述情绪字典中存储有不同词汇与情绪强度和情绪类型之间的映射关系，所述样本标注信息包括与样本音频文本对应的情绪强度和情绪类型；
对所述样本标注信息进行归一化处理，生成标准样本标注信息，所述归一化处理用于将所述样本标注信息中的情绪强度映射至预设范围内；
根据所述多个样本音频文本和与各样本音频文本对应的标准样本标注信息，对所述情绪分析模型进行模型训练，直至所述情绪分析模型收敛，得到预训练后的所述情绪分析模型。
可选的，该情绪分析单元11还用于：对所述音频文本进行分句，得到多个分句文本，并分别对各分句文本进行词汇过滤，其中，所述词汇过滤用于删除分句文本中的指定词汇；
将词汇过滤后的各分句文本输入预训练后的所述情绪分析模型进行情绪分析，得到与各分句文本分别对应的分句情绪值；
将同一所述音频文本中各分句文本对应的分句情绪值之和，确定为所述文本情绪值。
进一步地，该情绪分析单元11还用于：获取客服与用户之间的音频文本，以及对获取到的音频文本进行分词，得到分词词汇；
对所述分词词汇进行词汇过滤，以及确定词汇过滤后所述分词词汇的词频；
根据所述词频从大到小的顺序，选取预设数目个所述分词词汇；
对选取得到的各分词词汇进行词汇标注，以及将词汇标注后的分词词汇添加至预设的基础字典中，得到所述情绪字典，所述词汇标注用于对所述分词词汇进行情绪强度和情绪类型的标记。
情绪值确定单元12，用于将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值。
其中，该情绪值确定单元12还用于：将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值：
将所述待评估文本中，在同一服务场景下不同用户对应音频文本确定为第一评估文本，以及确定所述第一评估文本中音频文本之间文本情绪值的平均值，得到第一情绪值；
将所述待评估文本中，在不同服务场景下相同用户对应音频文本确定为第二评估文本，以及确定所述第二评估文本中音频文本之间文本情绪值的平均值，得到第二情绪值。
进一步地，该步骤中，所述确定所述第一评估文本中音频文本之间文本情绪值的平均值和确定所述第二评估文本中音频文本之间文本情绪值的平均值所采用的公式为：
Figure BDA0003133324420000141
Figure BDA0003133324420000142
其中，Sentimentji是用户j与所述待评估客服在第i次交互时的音频文本的情绪值，SentiDiυI为第一情绪值，SentiDiυ是第二情绪值，J为与所述待评估客服交互的用户总量，I是所述待评估文本中所述待评估客服与用户之间的总交互次数。
服务等级评估单元13，用于根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级。
其中，该服务等级评估单元13还用于：对所述第一情绪值和所述第二情绪值进行加权处理，得到加权情绪值；
将所述加权情绪值与预存储的服务等级评估表进行匹配，得到所述待评估客服的服务等级，所述服务等级评估表中存储有不同情绪值范围与对应服务等级之间的对应关系。
本实施例中，通过将待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，能有效地分析到不同音频文本对应的文本情绪值，基于文本情绪值能有效地量化对应音频文本中用户的情绪，通过分别获取待评估文本中，在同一服务场景下不同用户和相同用户对应的音频文本，得到第一情绪值和第二情绪值，基于第一情绪值能有效地评估到待评估客服在同一服务场景下对不同用户的服务等级，基于第二情绪值能有效地评估到待评估客服在不同的服务场景下对相同用户的服务等级，基于评估到的服务等级，能有效地表征待评估客服的服务效果，防止了基于用户情绪表征客服的服务等级，所导致的客服服务评估准确性低下的现象。
图4是本申请另一实施例提供的一种终端设备2的结构框图。如图4所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如客服服务评估方法的程序。处理器20执行所述计算机程序23时实现上述各个客服服务评估方法各实施例中的步骤，例如图1所示的S10至S40，或者图2所示的S21至S23。或者，所述处理器20执行所述计算机程序22时实现上述图3对应的实施例中各单元的功能，例如，图3所示的单元10至13的功能，具体请参阅图3对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成待评估文本获取单元10、情绪分析单元11、情绪值确定单元12和服务等级评估单元13，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图4仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(Centralprocessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signalprocessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种客服服务评估方法，其特征在于，包括：
获取待评估客服的待评估文本，所述待评估文本包括所述待评估客服在不同服务场景下，与不同用户之间交互的音频文本；
将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值；
将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值；
根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级。
2.根据权利要求1所述的客服服务评估方法，其特征在于，所述将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析之前，包括：
构建情绪字典，以及根据所述情绪字典对多个样本音频文本分别进行样本标注，得到各样本音频文本对应的样本标注信息，所述情绪字典中存储有不同词汇与情绪强度和情绪类型之间的映射关系，所述样本标注信息包括与样本音频文本对应的情绪强度和情绪类型；
对所述样本标注信息进行归一化处理，生成标准样本标注信息，所述归一化处理用于将所述样本标注信息中的情绪强度映射至预设范围内；
根据所述多个样本音频文本和与各样本音频文本对应的标准样本标注信息，对所述情绪分析模型进行模型训练，直至所述情绪分析模型收敛，得到预训练后的所述情绪分析模型。
3.根据权利要求1所述的客服服务评估方法，其特征在于，所述将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值，包括：
对所述音频文本进行分句，得到多个分句文本，并分别对各分句文本进行词汇过滤，其中，所述词汇过滤用于删除分句文本中的指定词汇；
将词汇过滤后的各分句文本输入预训练后的所述情绪分析模型进行情绪分析，得到与各分句文本分别对应的分句情绪值；
将同一所述音频文本中各分句文本对应的分句情绪值之和，确定为所述文本情绪值。
4.根据权利要求1所述的客服服务评估方法，其特征在于，所述将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值，包括：
将所述待评估文本中，在同一服务场景下不同用户对应音频文本确定为第一评估文本，以及确定所述第一评估文本中音频文本之间文本情绪值的平均值，得到第一情绪值；
将所述待评估文本中，在不同服务场景下相同用户对应音频文本确定为第二评估文本，以及确定所述第二评估文本中音频文本之间文本情绪值的平均值，得到第二情绪值。
5.根据权利要求4所述的客服服务评估方法，其特征在于，所述确定所述第一评估文本中音频文本之间文本情绪值的平均值和确定所述第二评估文本中音频文本之间文本情绪值的平均值所采用的公式为：
Figure FDA0003133324410000021
Figure FDA0003133324410000022
其中，Sentimentji是用户j与所述待评估客服在第i次交互时的音频文本的情绪值，SentiDivI为第一情绪值，SentiDiv是第二情绪值，J为与所述待评估客服交互的用户总量，I是所述待评估文本中所述待评估客服与用户之间的总交互次数。
6.根据权利要求4所述的客服服务评估方法，其特征在于，所述根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级，包括：
对所述第一情绪值和所述第二情绪值进行加权处理，得到加权情绪值；
将所述加权情绪值与预存储的服务等级评估表进行匹配，得到所述待评估客服的服务等级，所述服务等级评估表中存储有不同情绪值范围与对应服务等级之间的对应关系。
7.根据权利要求2所述的客服服务评估方法，其特征在于，所述构建情绪字典，包括：
获取客服与用户之间的音频文本，以及对获取到的音频文本进行分词，得到分词词汇；
对所述分词词汇进行词汇过滤，以及确定词汇过滤后所述分词词汇的词频；
根据所述词频从大到小的顺序，选取预设数目个所述分词词汇；
对选取得到的各分词词汇进行词汇标注，以及将词汇标注后的分词词汇添加至预设的基础字典中，得到所述情绪字典，所述词汇标注用于对所述分词词汇进行情绪强度和情绪类型的标记。
8.一种客服服务评估装置，其特征在于，包括：
待评估文本获取单元，用于获取待评估客服的待评估文本，所述待评估文本包括所述待评估客服在不同服务场景下，与不同用户之间交互的音频文本；
情绪分析单元，用于将所述待评估文本中的音频文本输入预训练后的情绪分析模型进行情绪分析，得到文本情绪值；
情绪值确定单元，用于将所述待评估文本中，在同一服务场景下不同用户对应音频文本的文本情绪值确定为第一情绪值，以及将所述待评估文本中，在不同服务场景下相同用户对应音频文本的文本情绪值确定为第二情绪值；
服务等级评估单元，用于根据所述第一情绪值和所述第二情绪值确定所述待评估客服的服务等级。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202110712103.0A 2021-06-25 2021-06-25 客服服务评估方法、装置、终端设备及介质 Active CN113434630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110712103.0A CN113434630B (zh) 2021-06-25 2021-06-25 客服服务评估方法、装置、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110712103.0A CN113434630B (zh) 2021-06-25 2021-06-25 客服服务评估方法、装置、终端设备及介质

Publications (2)

Publication Number Publication Date
CN113434630A true CN113434630A (zh) 2021-09-24
CN113434630B CN113434630B (zh) 2023-07-25

Family

ID=77754559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110712103.0A Active CN113434630B (zh) 2021-06-25 2021-06-25 客服服务评估方法、装置、终端设备及介质

Country Status (1)

Country Link
CN (1) CN113434630B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006727A1 (zh) * 2016-07-08 2018-01-11 阿里巴巴集团控股有限公司 机器人客服转人工客服的方法和装置
CN107832294A (zh) * 2017-11-06 2018-03-23 广州杰赛科技股份有限公司 客服质量评价方法和装置
CN109766770A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 服务质量评价方法、装置、计算机设备和存储介质
US20190179900A1 (en) * 2017-12-07 2019-06-13 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
WO2019214145A1 (zh) * 2018-05-10 2019-11-14 平安科技（深圳）有限公司 文本情绪分析方法、装置及存储介质
CN111080109A (zh) * 2019-12-06 2020-04-28 中信银行股份有限公司 客服服务质量评价方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006727A1 (zh) * 2016-07-08 2018-01-11 阿里巴巴集团控股有限公司 机器人客服转人工客服的方法和装置
CN107832294A (zh) * 2017-11-06 2018-03-23 广州杰赛科技股份有限公司 客服质量评价方法和装置
US20190179900A1 (en) * 2017-12-07 2019-06-13 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
WO2019214145A1 (zh) * 2018-05-10 2019-11-14 平安科技（深圳）有限公司 文本情绪分析方法、装置及存储介质
CN109766770A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 服务质量评价方法、装置、计算机设备和存储介质
CN111080109A (zh) * 2019-12-06 2020-04-28 中信银行股份有限公司 客服服务质量评价方法、装置及电子设备

Also Published As

Publication number Publication date
CN113434630B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111695352A (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
CN108682420B (zh) 一种音视频通话方言识别方法及终端设备
CN111046133A (zh) 基于图谱化知识库的问答方法、设备、存储介质及装置
CN107437417B (zh) 基于循环神经网络语音识别中语音数据增强方法及装置
CN110363084A (zh) 一种上课状态检测方法、装置、存储介质及电子
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN111598485A (zh) 一种多维度智能质检方法、装置、终端设备及介质
CN112199602B (zh) 岗位推荐方法、推荐平台及服务器
CN111930914A (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
CN109299276B (zh) 一种将文本转化为词嵌入、文本分类方法和装置
CN110929532B (zh) 数据处理方法、装置、设备及存储介质
CN113377909A (zh) 释义分析模型训练方法、装置、终端设备及存储介质
CN110969005B (zh) 一种确定实体语料之间的相似性的方法及装置
CN113657773A (zh) 话术质检方法、装置、电子设备及存储介质
CN113850077A (zh) 基于人工智能的话题识别方法、装置、服务器及介质
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN115952854B (zh) 文本脱敏模型的训练方法、文本脱敏方法及应用
CN111859933A (zh) 马来语识别模型的训练方法、识别方法、装置、设备
CN113434630B (zh) 客服服务评估方法、装置、终端设备及介质
CN112560463B (zh) 文本多标注方法、装置、设备及存储介质
CN114706943A (zh) 意图识别的方法、装置、设备和介质
CN113515642A (zh) 电话营销关键断点确定方法及装置
CN111382246B (zh) 文本的匹配方法、匹配装置、终端及计算机可读存储介质
CN112632229A (zh) 文本聚类方法及装置
CN111611379A (zh) 一种文本信息分类方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant