CN116129939A - 人工客服质检方法和装置 - Google Patents

人工客服质检方法和装置 Download PDF

Info

Publication number
CN116129939A
CN116129939A CN202211393751.5A CN202211393751A CN116129939A CN 116129939 A CN116129939 A CN 116129939A CN 202211393751 A CN202211393751 A CN 202211393751A CN 116129939 A CN116129939 A CN 116129939A
Authority
CN
China
Prior art keywords
customer service
session data
operation intention
target
quality inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211393751.5A
Other languages
English (en)
Inventor
邓坤
邹波
宋双永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202211393751.5A priority Critical patent/CN116129939A/zh
Publication of CN116129939A publication Critical patent/CN116129939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5175—Call or contact centers supervision arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开提供一种人工客服质检方法及装置；涉及人工智能技术领域。该方法包括：获取包含角色信息的待质检交互会话数据，根据客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；基于目标操作意图语句，确定目标会话数据，并根据目标会话数据和操作意图类别进行客服的目标操作检测；基于检测结果进行人工客服质检。本公开可以解决相关技术中对人工客服质检的准确率低、工作量大、耗时长的问题。

Description

人工客服质检方法和装置
技术领域
本公开涉及人工智能技术领域，具体而言，涉及一种人工客服质检方法和装置。
背景技术
随着互联网技术的不断发展应用，客服与客户之间的在线交流已经非常普遍。而由于人工客服在服务过程中往往带有主观因素，服务质量波动性较大，易发生主观服务质量问题。
相关技术中，采用人工或预设规则对人工客服与客户之间的会话进行质检，以评估人工客服的服务质量。由于人工质检过程可能存在疏漏，且预设规则质检过程中的规则无法穷举，因此会造成质检准确率低的问题。此外，还存在工作量大、耗时长的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种人工客服质检方法和装置，进而在一定程度上解决了相关技术中对人工客服质检的准确率低、工作量大、耗时长的问题。
根据本公开的第一方面，提供了一种人工客服质检方法，包括：获取包含角色信息的待质检交互会话数据，基于所述角色信息确定所述待质检交互会话数据中的客服会话数据；根据所述客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；基于所述目标操作意图语句，确定目标会话数据，并根据所述目标会话数据和所述操作意图类别进行客服的目标操作检测；基于检测结果进行人工客服质检。
在本公开的一种示例性实施例中，基于前述方案，在所述目标操作意图识别之前，所述方法还包括：对所述客服会话数据进行单句关键词匹配，剔除匹配失败的客服会话数据中的单句。
在本公开的一种示例性实施例中，基于前述方案，在所述目标操作检测之前，所述方法还包括：确定每个所述操作意图类别的意图消除规则；剔除符合所述意图消除规则的所述目标操作意图语句。
在本公开的一种示例性实施例中，基于前述方案，所述根据所述客服会话数据进行客服的目标操作意图识别，包括：使用操作意图识别模型对所述客服会话数据进行单句操作意图识别；其中，所述操作意图识别模型为采用虚拟对抗训练获得的。
在本公开的一种示例性实施例中，基于前述方案，所述对所述客服会话数据进行单句操作意图识别，包括：对所述客服会话数据中的每个单句进行向量化，以获得向量化结果；对所述向量化结果进行卷积运算并接入全连接层，以提取语义特征；将所述语义特征输入分类层，以获得操作意图类别；其中，所述卷积运算和/或所述全连接层之后进行随机丢弃处理。
在本公开的一种示例性实施例中，基于前述方案，所述操作意图识别模型的训练过程包括：将第一训练样本三次输入所述操作意图识别模型，经过所述操作意图识别模型的随机丢弃处理，分别获得第一输出向量、第二输出向量和第三输出向量；基于所述第一输出向量和所述第二输出向量，计算K-L散度；基于所述第三输出向量和该第一训练样本的标签向量，计算交叉熵损失函数；基于所述K-L散度和所述交叉熵损失函数，确定第一损失函数；基于所述第一损失函数，更新所述操作意图识别模型的模型参数。
在本公开的一种示例性实施例中，基于前述方案，所述基于所述目标操作意图语句，确定目标会话数据，包括：在所述待质检交互会话数据中，将所述目标操作意图语句之后产生的会话数据作为候选会话数据；将所述目标操作意图语句和对应的候选会话数据确定为目标会话数据。
在本公开的一种示例性实施例中，基于前述方案，所述根据所述目标会话数据和所述操作意图类别进行客服的目标操作检测，包括：基于所述操作意图类别，确定目标分类头；将所述目标会话数据及对应的角色信息输入操作检测模型，经语义编码和所述目标分类头的分类，确定针对所述操作意图类别的检测结果。
在本公开的一种示例性实施例中，基于前述方案，所述操作检测模型包括编码层和多个分类头，每个分类头对应一个操作意图类别；所述操作检测模型的训练过程包括：基于第二训练样本的操作意图类别，确定对应的分类头；对所述第二训练样本进行语义编码，并使用对应的分类头对编码结果进行映射处理，以获得第四输出向量；基于所述第四输出向量和该第二训练样本的标签向量，计算第二损失函数；基于所述第二损失函数，更新所述编码层的参数和对应的分类头的参数。
在本公开的一种示例性实施例中，基于前述方案，所述基于检测结果进行人工客服质检，包括：对所述检测结果为具有候选操作意图的客服进行相应的候选操作质检。
根据本公开的第二方面，提供一种人工客服质检装置，所述装置包括：获取模块、识别模块、检测模块和质检模块；其中，获取模块，用于获取包含角色信息的待质检交互会话数据，基于所述角色信息确定所述待质检交互会话数据中的客服会话数据；识别模块，用于根据所述客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；检测模块，用于基于所述目标操作意图语句，确定目标会话数据，并根据所述目标会话数据和所述操作意图类别进行客服的目标操作检测；质检模块，用于基于检测结果进行人工客服质检。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
根据本公开的第四方面，提供一种电子设备，包括：一个或多个处理器；以及存储装置，用于一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述任一实施例所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开示例实施方式所提供的人工客服质检方法中，可以先通过对客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；再对由目标操作意图语句确定的目标会话数据进行针对操作意图类别的目标操作检测。通过将目标操作的质检前提条件进行梳理，将目标操作的质检条件划分为意图识别和操作检测两级处理，一方面，大大减少了质检过程的数据处理量，简化质检数据处理过程；另一方面，基于检测结果进行人工客服质检，能够实现质检目标的准确定位，提高客服质检的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开的一个实施例的人工客服质检方法的流程图。
图2示意性示出了根据本公开的一个实施例中客服的操作意图识别过程流程图。
图3示意性示出了根据本公开的一个实施例中操作意图识别模型的训练过程流程图。
图4示意性示出了根据本公开的一个实施例中操作检测模型的训练过程流程图。
图5示意性示出了根据本公开的一个实施例的人工客服质检方法的具体实施过程流程图。
图6示意性示出了根据本公开的一个实施例中人工客服质检装置的结构框图。
图7示出了适于用来实现本公开实施例的电子设备框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
如图1所示，提供了一种人工客服质检方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法还可以应用于包括终端设备和服务器的系统，并通过终端设备和服务器的交互实现。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，也可以是区块链中的节点，终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载设备等，但并不局限于此。当本实施例提供的人工客服质检方法通过终端设备和服务器的交互实现时，终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
本公开实施例所提供的人工客服质检方法可以在服务器执行，相应地，人工客服质检装置一般设置于服务器中。
参考图1所示，本公开提供的一种示例实施方式的人工客服质检方法，可以包括以下步骤：
步骤S110，获取包含角色信息的待质检交互会话数据，基于角色信息确定待质检交互会话数据中的客服会话数据。
在本示例实施方式中，交互会话数据可以是人工客服与客户的一段完整的交互会话数据，也可以是预设长度的人工客服与客户的交互会话数据(如一段完整交互会话数据较长时可以按预设长度进行截断)。在本示例实施方式中，交互会话数据可以包括客服语句文本、客户语句文本、每个语句文本的发送时间/产生时间、每个语句文本的角色信息(如人工客服或客户)等信息。交互会话数据还可以包括会话平台的名称信息、ID信息和会话涉及的订单信息和商品信息，还可以包括人工客服的基本信息(如服务年限、工号等)和客户的基本信息(如客户姓名、客户联系方式或IP地址等)，还可以包括其他与客服或客户相关的信息，本示例对此不做限定。
在本示例实施方式中，可以基于角色信息将交互会话数据划分为客服会话数据和客户会话数据。
步骤S120，根据客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别。
在本示例实施方式中，目标操作意图是指在客服与客户的交互过程中客服向客户承诺进行目标操作的意图。目标操作可以基于不同的业务场景进行确定。示例性地，目标操作可以包括发送短信、取消订单、申请价保、申请赔付、申请服务单、预约安装、申请纠纷单、申请补发等操作；还可以包括其他客服承诺给客户的相关操作，本示例对此不做限定。相应地，操作意图类别与目标操作相对应，一个目标操作对应一个操作意图类别，例如，当目标操作为取消订单时，对应有取消订单操作意图类别。
在本示例实施方式中，可以使用各种神经网络模型对客服会话数据中的每个单句进行目标操作意图识别，例如，可以采用文本卷积神经网络textCNN。当确定某单句具有目标操作意图时，将该单句确定为目标操作意图语句。
步骤S130，基于目标操作意图语句，确定目标会话数据，并根据目标会话数据和操作意图类别进行客服的目标操作检测。
在本示例实施方式中，目标会话数据可以是按交互顺序位于目标操作意图语句之后的交互会话数据，目标会话数据可以包括客服语句和客户语句。
在本示例实施方式中，可以采用深度学习模型进行客服的目标操作检测。该深度学习模型可以针对每个操作意图类别分别设计模型结构，也可以对所有操作意图类别设计一个模型结构，本示例对此不做限定。
步骤S140，基于检测结果进行人工客服质检。
在本示例实施方式中，检测结果可以包括操作意图类别及是否有针对该操作意图类别的承诺操作。基于人工客服的承诺操作，可以调取相应数据确定该客服是否完成承诺操作(即质检)。例如，承诺发送短信，调取短信记录确定是否发送短信，以完成对该人工客服的质检。
在本示例实施方式所提供的人工客服质检方法中，可以先通过对客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；再对由目标操作意图语句确定的目标会话数据进行针对操作意图类别的目标操作检测。通过将目标操作的质检前提条件进行梳理，将目标操作的质检条件划分为意图识别和操作检测两级处理，一方面，大大减少了质检过程的数据处理量，简化质检数据处理过程；另一方面，基于检测结果进行人工客服质检，能够实现质检目标的准确定位，提高客服质检的准确率。
以下对本公开的各个步骤进行更加详细的描述。
在一些实施例中，在目标操作意图识别之前，方法还包括：对客服会话数据进行单句关键词匹配，剔除匹配失败的客服会话数据中的单句。
在本示例实施方式中，可以针对每种业务场景，事先定义该业务场景下目标操作对应的关键词。例如，针对客户的业务咨询类场景，客服向客户承诺将相关咨询信息通过短信发送，即目标操作为“发送短信”，则可以设置对应的关键词为“短信”。单句关键词匹配是指对客服会话数据中的每个单句进行预设关键词匹配，若客服单句中含有关键词，则匹配成功，否则匹配失败，剔除匹配失败的客服单句。
本示例实施方式，通过在客服数据进行模型之前，剔除不相关客服单句，能够大大减少后续模型的数据处理量，同时，可以保证流入到后续模型的会话数据都是某一具体操作意图类别的语料，有利于构建后续操作意图识别模型的训练语料；且能够提升后续操作意图识别模型的识别图准确率。
在一些实施例中，在目标操作检测之前，方法还包括：
确定每个操作意图类别的意图消除规则。
在本示例实施方式中，可以通过后续语句挖掘每个操作意图类别相应的消除规则。示例性地，意图消除规则可以对单句准入意图句(即目标操作意图语句)之后的客户语句进行挖掘获得；例如，对于操作意图类别为承诺取消订单，意图消除规则可以是该句之后的客户语句出现否定表述，如“不行”、“不可以”等。
剔除符合意图消除规则的目标操作意图语句。
在本示例实施方式中，当客户否定客服提出的承诺操作意图时，则剔除该操作意图对应的单句。如消除识别出的取消订单意图语句。
本示例通过在目标操作检测之前，对识别出的目标操作意图语句进行二次检验剔除，保证输入后续目标操作检测对应模型的语句都是具有目标操作意图的，减少了后续模型的数据处理量，提高质检效率。
在一些实施例中，根据客服会话数据进行客服的目标操作意图识别，包括：使用操作意图识别模型对客服会话数据进行单句操作意图识别；其中，操作意图识别模型为采用虚拟对抗训练获得的。参考图2，单句操作意图识别包括以下步骤S210-S230。操作意图识别模型可以是各种经过训练的神经网络，例如textCNN，可以包括嵌入层、卷积层和分类层。
步骤S210，对客服会话数据中的每个单句进行向量化，以获得向量化结果。
在本示例实施方式中，可以通过嵌入层的Embedding词向量来实现对单句文本的向量化过程。向量化结果可以是由词向量组成的二维矩阵。本示例中，可以使用预训练好的词向量，也可以直接在训练textCNN的过程中训练出一套词向量。
步骤S220，对向量化结果进行卷积运算并接入全连接层，以提取语义特征。
在本示例实施方式中，卷积运算通过卷积核来完成，通过卷积核提取文本序列的语义特征(特征向量)。在卷积层之后也可以设置池化层，以进一步提取激活特征。再通过接入全连接层来对提取的特征进行整合，得到整合后的语义特征。本示例中，全连接层的数量可以根据实际情况进行设定，例如，设置1个或2个全连接层。
步骤S230，将语义特征输入分类层，以获得操作意图类别。
在本示例实施方式中，分类层可以是通过softmax函数将输入的语义特征进行分类,获得对应分类概率向量。本示例中，可以将概率最大值对应的类别作为当前单句的操作意图类别。
在以上实施例中，可以在每个结构层之后添加dropout机制。例如，在每个卷积层和/或每个全连接层之后添加dropout机制，以实现对部分神经元数据的随机丢弃处理。每层的dropout机制的随机丢弃率可以相同，也可以不同，本示例对此不做限定。通过dropout机制的设置使得通过虚拟对抗训练可以增加模型的鲁棒性，提升单句操作意图识别的准确率。
在一些实施例中，采用虚拟对抗训练对操作意图识别模型进行训练的流程如图3所示。
将第一训练样本三次输入操作意图识别模型，经过操作意图识别模型的随机丢弃处理，分别获得第一输出向量、第二输出向量和第三输出向量。
在本示例实施方式中，第一训练样本可以是从多个平台获取的针对每个操作意图类别的历史语料中获得的，也可以是对历史语料经过单句关键字匹配后获得的，本示例对此不做限定。第一训练样本可以通过人工标注类别标签。例如，可以将第一训练样本标注为以下类别之一：发送短信、取消订单、申请价保、申请赔付、申请服务单、预约安装、申请纠纷单、申请补发及其他类。
如图3所示，同一个第一训练样本x三次输入操作意图识别模型M，由于操作意图识别模型M具有随机丢弃处理，故三次输入对应模型的输出结果不同，分别为第一输出向量P1、第二输出向量P2和第三输出向量P3，其中P1、P2、P3分别是一个分类概率向量。
基于第一输出向量和第二输出向量，计算K-L散度。
在本示例实施方式中，K-L散度(kullback-leibler divergence，KLD)用于描述两个概率分布之间的相似度。相同分布的K-L散度为0。通过第一输出向量和第二输出向量计算K-L散度L1，实现基于随机扰动(随机丢弃处理)的虚拟对抗训练方式，使得模型对噪声和输入变化鲁棒性更强。
基于第三输出向量和该第一训练样本的标签向量，计算交叉熵损失函数。
在本示例实施方式中，基于第三输出向量P3与该第一训练样本的标签向量y*计算交叉熵损失函数L2。
基于K-L散度和交叉熵损失函数，确定第一损失函数。
在本示例实施方式中，可以对K-L散度和交叉熵损失函数直接求和，确定第一损失函数(L1+L2)。也可以对K-L散度和交叉熵损失函数进行加权获得第一损失函数，例如，可以设置K-L散度的权值为0.2-0.5，交叉熵损失函数的权值为0.5-1。
基于第一损失函数，更新操作意图识别模型的模型参数。
循环执行以上过程直到模型收敛，完成模型训练。用训练好的模型进行目标操作意图识别。
在一些实施例中，基于目标操作意图语句，确定目标会话数据，包括：在待质检交互会话数据中，将目标操作意图语句之后产生的会话数据作为候选会话数据；将目标操作意图语句和对应的候选会话数据确定为目标会话数据。
在本示例实施方式中，可以将目标操作意图语句作为单句准入意图句，即将目标操作意图语句及在其后产生的会话数据作为目标会话数据，进而实现对目标会话数据进一步的操作检测。
在一些实施例中，根据目标会话数据和操作意图类别进行客服的目标操作检测，包括：基于操作意图类别，确定目标分类头；将目标会话数据及对应的角色信息输入操作检测模型，经语义编码和目标分类头的分类，确定针对操作意图类别的检测结果。
在本示例实施方式中，可以对每种操作意图类别进行编码，采用该编码对目标会话数据进行类别标记。操作检测模型可以基于该类别标记在经过语义编码后进入对应的目标分类头进行二分类。检测结果可以是该客服是否作出对应操作意图类别的承诺。本示例通过引入角色信息以提高检测准确性。
参考图4，操作检测模型400包括编码层410和多个分类头420，每个分类头420对应一个操作意图类别，如图4中的第一分类头(如对应发送短信)、第二分类头(如对应取消订单)…第八分类头(如对应申请价保)。操作检测模型400的训练过程包括：
基于第二训练样本的操作意图类别，确定对应的分类头。
在本示例实施方式中，第二训练样本可以是对历史语料进行目标操作意图识别后，由识别的目标操作意图语句(单句准入意图句Uk)及之后文本获得的。例如可以表示是Uk，Uk+1，…，Un，下标k、n表示第二训练样本内的单句顺序编号，k、n都为自然数，n>k。也可以选择在目标操作意图识别之前进行单句关键字匹配，和/或在目标操作意图识别之后进行规则消除，本示例对此不做限定。
本示例中，历史语料可以是从多个平台获取的针对每个操作意图类别的交互会话数据。可以对每个操作意图类别设置一个分类头。
对第二训练样本进行语义编码，并使用对应的分类头对编码结果进行映射处理，以获得第四输出向量。
在本示例实施方式中，语义编码可以采用Bert编码层进行，例如，在Bert编码层中，可以设置token输入的输入格式为：[CLS]Uk[SEP]Uk+1[SEP]…Un[SEP]；[SEP]表示分隔符，[CLS]表示token的输入格式。对Bert的segment输入做改动，设置客服的语句对应segment输入为1，客户的语句对应segment输入为0，这样可以在Bert的输入中融入角色信息，使的模型更充分地学习，以提高编码效率和最终分类准确性。每个分类头可以是一个全连接层接sigmoid函数。
基于第四输出向量和该第二训练样本的标签向量，计算第二损失函数。
在本示例实施方式中，第二损失函数可以采用二元交叉熵损失函数BCE计算。在训练过程中，每次不需要计算所有分类头的损失函数，只需计算与操作意图类别对应的分类头的损失函数即可，减小模型在训练和预测过程中的数据处理量。
基于第二损失函数，更新编码层和对应的分类头的参数。
在本示例实施方式中，每次只需要更新与操作意图类别对应的分类头的模型参数，即每个分类头单独训练。
在一些实施例中，基于检测结果进行人工客服质检，包括：对检测结果为具有候选操作意图的客服进行相应的候选操作质检。
在本示例实施方式中，候选操作意图可以是目标操作对应的所有操作意图类别之一，例如，除其他类以外的发送短信、取消订单、申请价保、申请赔付、申请服务单、预约安装、申请纠纷单、申请补发等操作意图之一。当检测结果为具有候选操作意图，则可以对该客服进行对应的操作质检。例如，当检测结果为承诺取消订单，则可以调用订单接口判断客服是否做出了取消订单的操作，从而完成对该客服的该项质检。
举例而言，本公开的人工客服质检方法的实现过程如图5所示，可以包括以下步骤：
步骤S501，获取包含角色信息的待质检交互会话数据。
在本示例中，待质检交互会话数据可以为客服与客户之间的一段完成会话，也可以为截取的客服与客户之间的会话。待质检交互会话数据包括客户会话数据和客服会话数据。
步骤S502，获取历史语料作为训练数据。
在本示例中，历史语料可以是针对目标操作意图中各种操作意图类别的会话数据。目标操作意图可以是客服对客户的承诺性操作。例如，发送短信、取消订单、申请价保等等。
步骤S503，使用训练数据分别对操作意图识别模型和操作检测模型进行训练。
在本示例中，操作意图识别模型可以使用textCNN，操作检测模型可以包含Bert编码层和多个分类头，每个分类头对应一种操作意图类别，在训练的过程中每次只计算一个对应分类头的损失函数，并更新该分类头和Bert编码层中的模型参数。可以在操作意图识别模型的每层后都加入dropout(如卷积层、全连接层)，以随机丢弃部分神经元数据，通过dropout引入的随机扰动机制，通过两次输入训练样本实现模型的虚拟对抗训练。再加上基于标签的模型训练过程，实现操作意图识别模型的训练。
在本示例中，操作检测模型的训练样本是经过操作意图识别模型输出的数据，两个模型可以采用级联式训练，也可以分别各自训练。
在本示例中，模型训练过程中的训练数据也可以经过关键字匹配和意图消除规则的处理。
以上示例中，步骤S502和S503可以与步骤S501同时进行，也可以在步骤S501之前实施。
步骤S504，对客服会话数据进行单句关键词匹配，若匹配成功，则将该单句转入步骤S505，否则，转入步骤S506。
步骤S505，使用步骤S503训练好的操作意图识别模型对客服会话数据进行单句操作意图识别，获得目标操作意图语句和操作意图类别。
步骤S506，剔除当前单句。
步骤S507，确定每个操作意图类别的意图消除规则。
在本示例中，意图消除规则可以是在目标操作意图语句之后的客户会话数据中出现否定表达。例如，目标操作意图语句是“稍后为您取消订单”则在该单句的后续会话中客户语句出现“不用了”，则表示符合意图消除规则。
步骤S508，判断当前目标操作意图语句是否符合意图消除规则，若是，则转入步骤S510，否则，转入步骤S509。
步骤S509，将目标操作意图语句及其后的交互会话数据作为目标会话数据。
步骤S510，剔除当前目标操作意图语句。
步骤S511，将目标会话数据输入训练好的操作检测模型，输出与操作意图类别对应的检测结果。
在本示例中，检测结果由与操作意图类别对应的分类头输出，其他分类头不输出结果。
步骤S512，判断待质检交互会话数据是否具有候选操作意图，若是，则转入步骤S513，否则，转入步骤S501获取下一段会话数据。
步骤S513，对该客服进行对应操作质检。
本公开针对人工客服对客户的承诺性操作，通过梳理客服与客户之间的会话过程，设计了多层次的会话数据处理流程，通过关键词匹配、目标操作意图识别、意图消除规则剔除及目标操作检测等过程逐层确定人工客服是否对客户进行承诺某操作。通过这种分级分层的处理流程设计，大大减少了后续模型的输入数据量，同时提高了承诺性操作的检测准确性和召回率。最后，再基于检测结果对该人工客服进行质检，可以提高质检效率和效果。
本公开采用虚拟对抗训练方式对操作意图识别模型进行训练，提高了该模型的鲁棒性，提升单句识别的准确率。本公开在操作检测模型中针对每种操作意图类别分别设置分类头，可以在训练的过程中减少数据处理量，缩短训练时间；在测试的过程中提高每个类别的检测准确性。
进一步的，本示例实施方式中，还提供了一种人工客服质检装置600。该人工客服质检装置600可以应用于服务器。参考图6所示，该人工客服质检装置600可以包括：获取模块610、识别模块620、检测模块630和质检模块640；其中，获取模块610，用于获取包含角色信息的待质检交互会话数据，基于角色信息确定待质检交互会话数据中的客服会话数据；识别模块620，用于根据客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；检测模块630，用于基于目标操作意图语句，确定目标会话数据，并根据目标会话数据和操作意图类别进行客服的目标操作检测；质检模块640，用于基于检测结果进行人工客服质检。
在本公开的一种示例性实施例中，装置600还包括匹配模块，匹配模块，用于在目标操作意图识别之前，对客服会话数据进行单句关键词匹配，剔除匹配失败的客服会话数据中的单句。
在本公开的一种示例性实施例中，装置600还包括剔除模块，剔除模块，用于在目标操作检测之前，确定每个操作意图类别的意图消除规则；剔除符合意图消除规则的目标操作意图语句。
在本公开的一种示例性实施例中，识别模块620包括：嵌入模块、卷积模块和分类模块；嵌入模块，用于对客服会话数据中的每个单句进行向量化，以获得向量化结果；卷积模块，用于对向量化结果进行卷积运算并接入全连接层，以提取语义特征；分类模块，用于将语义特征输入分类层，以获得操作意图类别；其中，卷积运算和/或全连接层之后进行随机丢弃处理。
在本公开的一种示例性实施例中，装置700还包括第一训练模块，第一训练模块可以用于将第一训练样本三次输入操作意图识别模型，经过操作意图识别模型的随机丢弃处理，分别获得第一输出向量、第二输出向量和第三输出向量；基于第一输出向量和第二输出向量，计算K-L散度；基于第三输出向量和该第一训练样本的标签向量，计算交叉熵损失函数；基于K-L散度和交叉熵损失函数，确定第一损失函数；基于第一损失函数，更新操作意图识别模型的模型参数。
在本公开的一种示例性实施例中，检测模块630还可以用于：在待质检交互会话数据中，将目标操作意图语句之后产生的会话数据作为候选会话数据；将目标操作意图语句和对应的候选会话数据确定为目标会话数据。
在本公开的一种示例性实施例中，检测模块630还可以用于：基于操作意图类别，确定目标分类头；将目标会话数据及对应的角色信息输入操作检测模型，经语义编码和目标分类头的分类，确定针对操作意图类别的检测结果。
在本公开的一种示例性实施例中，装置700还包括第二训练模块，操作检测模型包括编码层和多个分类头，每个分类头对应一个操作意图类别；第二训练模块还可以用于：基于第二训练样本的操作意图类别，确定对应的分类头；对第二训练样本进行语义编码，并使用对应的分类头对编码结果进行映射处理，以获得第四输出向量；基于第四输出向量和该第二训练样本的标签向量，计算第二损失函数；基于第二损失函数，更新编码层和对应的分类头的参数。
在本公开的一种示例性实施例中，质检模块640还可以用于：对检测结果为具有候选操作意图的客服进行相应的候选操作质检。
上述人工客服质检装置中各模块或单元的具体细节已经在对应的人工客服质检方法中进行了详细的描述，因此此处不再赘述。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中的方法。例如，电子设备可以实现如图1～图5所示的各个步骤等。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
下面参照图7来描述根据本公开的这种实施例的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740。
其中，存储单元存储有程序代码，程序代码可以被处理单元710执行，使得处理单元710执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。
存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备770(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RA标识系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等，均应视为本公开的一部分。
应可理解的是，本说明书公开和限定的本公开延伸到文中和/或附图中提到或明显的两个或两个以上单独特征的所有可替代组合。所有这些不同的组合构成本公开的多个可替代方面。本说明书的实施方式说明了已知用于实现本公开的最佳方式，并且将使本领域技术人员能够利用本公开。

Claims (13)

1.一种人工客服质检方法，其特征在于，包括：
获取包含角色信息的待质检交互会话数据，基于所述角色信息确定所述待质检交互会话数据中的客服会话数据；
根据所述客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；
基于所述目标操作意图语句，确定目标会话数据，并根据所述目标会话数据和所述操作意图类别进行客服的目标操作检测；
基于检测结果进行人工客服质检。
2.根据权利要求1所述的人工客服质检方法，其特征在于，在所述目标操作意图识别之前，所述方法还包括：
对所述客服会话数据进行单句关键词匹配，剔除匹配失败的客服会话数据中的单句。
3.根据权利要求1所述的人工客服质检方法，其特征在于，在所述目标操作检测之前，所述方法还包括：
确定每个所述操作意图类别的意图消除规则；
剔除符合所述意图消除规则的所述目标操作意图语句。
4.根据权利要求1-3任一项所述的人工客服质检方法，其特征在于，所述根据所述客服会话数据进行客服的目标操作意图识别，包括：
使用操作意图识别模型对所述客服会话数据进行单句操作意图识别；其中，所述操作意图识别模型为采用虚拟对抗训练获得的。
5.根据权利要求4所述的人工客服质检方法，其特征在于，所述对所述客服会话数据进行单句操作意图识别，包括：
对所述客服会话数据中的每个单句进行向量化，以获得向量化结果；
对所述向量化结果进行卷积运算并接入全连接层，以提取语义特征；
将所述语义特征输入分类层，以获得操作意图类别；
其中，所述卷积运算和/或所述全连接层之后进行随机丢弃处理。
6.根据权利要求5所述的人工客服质检方法，其特征在于，所述操作意图识别模型的训练过程包括：
将第一训练样本三次输入所述操作意图识别模型，经过所述操作意图识别模型的随机丢弃处理，分别获得第一输出向量、第二输出向量和第三输出向量；
基于所述第一输出向量和所述第二输出向量，计算K-L散度；
基于所述第三输出向量和该第一训练样本的标签向量，计算交叉熵损失函数；
基于所述K-L散度和所述交叉熵损失函数，确定第一损失函数；
基于所述第一损失函数，更新所述操作意图识别模型的模型参数。
7.根据权利要求1所述的人工客服质检方法，其特征在于，所述基于所述目标操作意图语句，确定目标会话数据，包括：
在所述待质检交互会话数据中，将所述目标操作意图语句之后产生的会话数据作为候选会话数据；
将所述目标操作意图语句和对应的候选会话数据确定为目标会话数据。
8.根据权利要求7所述的人工客服质检方法，其特征在于，所述根据所述目标会话数据和所述操作意图类别进行客服的目标操作检测，包括：
基于所述操作意图类别，确定目标分类头；
将所述目标会话数据及对应的角色信息输入操作检测模型，经语义编码和所述目标分类头的分类，确定针对所述操作意图类别的检测结果。
9.根据权利要求1或8所述的人工客服质检方法，其特征在于，所述操作检测模型包括编码层和多个分类头，每个分类头对应一个操作意图类别；所述操作检测模型的训练过程包括：
基于第二训练样本的操作意图类别，确定对应的分类头；
对所述第二训练样本进行语义编码，并使用对应的分类头对编码结果进行映射处理，以获得第四输出向量；
基于所述第四输出向量和该第二训练样本的标签向量，计算第二损失函数；
基于所述第二损失函数，更新所述编码层的参数和对应的分类头的参数。
10.根据权利要求1所述的人工客服质检方法，其特征在于，所述基于检测结果进行人工客服质检，包括：
对所述检测结果为具有候选操作意图的客服进行相应的候选操作质检。
11.一种人工客服质检装置，其特征在于，所述装置包括：
获取模块，用于获取包含角色信息的待质检交互会话数据，基于所述角色信息确定所述待质检交互会话数据中的客服会话数据；
识别模块，用于根据所述客服会话数据进行客服的目标操作意图识别，确定客服的目标操作意图语句和操作意图类别；
检测模块，用于基于所述目标操作意图语句，确定目标会话数据，并根据所述目标会话数据和所述操作意图类别进行客服的目标操作检测；
质检模块，用于基于检测结果进行人工客服质检。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
13.一种电子设备，其特征在于，包括：一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的方法。
CN202211393751.5A 2022-11-08 2022-11-08 人工客服质检方法和装置 Pending CN116129939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211393751.5A CN116129939A (zh) 2022-11-08 2022-11-08 人工客服质检方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211393751.5A CN116129939A (zh) 2022-11-08 2022-11-08 人工客服质检方法和装置

Publications (1)

Publication Number Publication Date
CN116129939A true CN116129939A (zh) 2023-05-16

Family

ID=86296264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211393751.5A Pending CN116129939A (zh) 2022-11-08 2022-11-08 人工客服质检方法和装置

Country Status (1)

Country Link
CN (1) CN116129939A (zh)

Similar Documents

Publication Publication Date Title
CN112732911B (zh) 基于语义识别的话术推荐方法、装置、设备及存储介质
CN109101537B (zh) 基于深度学习的多轮对话数据分类方法、装置和电子设备
WO2022033332A1 (zh) 对话生成方法、网络训练方法、装置、存储介质及设备
CN110032630B (zh) 话术推荐设备、方法及模型训练设备
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN111783474A (zh) 一种评论文本观点信息处理方法、装置及存储介质
US20220207352A1 (en) Methods and systems for generating recommendations for counterfactual explanations of computer alerts that are automatically detected by a machine learning algorithm
CN112740200B (zh) 用于基于共指消解的端到端深度强化学习的系统和方法
CN112749274A (zh) 基于注意力机制和干扰词删除的中文文本分类方法
CN111061850A (zh) 基于信息增强的对话状态跟踪方法、系统、装置
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN113362852A (zh) 一种用户属性识别方法和装置
CN114360502A (zh) 语音识别模型的处理方法、语音识别方法及装置
CN113239702A (zh) 意图识别方法、装置、电子设备
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
US20220207353A1 (en) Methods and systems for generating recommendations for counterfactual explanations of computer alerts that are automatically detected by a machine learning algorithm
CN110795531B (zh) 一种意图识别方法、装置及存储介质
CN115186071A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN116361442A (zh) 基于人工智能的营业厅数据分析方法及系统
CN113326359A (zh) 一种对话应答及应答策略匹配模型的训练方法和装置
CN118132687A (zh) 语句处理和类目模型的训练方法、装置、设备及介质
CN116129939A (zh) 人工客服质检方法和装置
CN113486167A (zh) 文本补全方法、装置、计算机设备和存储介质
CN114741487A (zh) 基于图文语义嵌入的图文检索方法及系统
CN111681670B (zh) 信息识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination