CN115062606B - 对话数据分析及其模型训练方法、及电子设备 - Google Patents

对话数据分析及其模型训练方法、及电子设备 Download PDF

Info

Publication number
CN115062606B
CN115062606B CN202210981646.7A CN202210981646A CN115062606B CN 115062606 B CN115062606 B CN 115062606B CN 202210981646 A CN202210981646 A CN 202210981646A CN 115062606 B CN115062606 B CN 115062606B
Authority
CN
China
Prior art keywords
task
vector
conversation
analysis
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210981646.7A
Other languages
English (en)
Other versions
CN115062606A (zh
Inventor
宋凯嵩
康杨杨
孙常龙
刘晓钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210981646.7A priority Critical patent/CN115062606B/zh
Publication of CN115062606A publication Critical patent/CN115062606A/zh
Application granted granted Critical
Publication of CN115062606B publication Critical patent/CN115062606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例提供了一种对话数据分析及其模型训练方法、及电子设备，其中，对话数据分析方法包括：获取待分析的多轮对话语句，及所述多轮对话语句对应的对话向量；根据所述对话向量，分别生成用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量；基于所述第一任务向量和所述第二任务向量，提取所述多轮对话语句对应的共享特征；分别基于所述第一任务向量和所述共享特征进行对话满意度分析，基于所述第二任务向量和所述共享特征进行对话情感分析。通过本申请实施例，对话满意度分析和对话情感分析这两部分任务可以特征共享、信息互补，有效提升彼此的性能。

Description

对话数据分析及其模型训练方法、及电子设备
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种对话数据分析方法、一种对话数据分析模型训练方法、以及对应的电子设备。
背景技术
随着技术的不断进步，越来越多的各种工作，包括与产品相关的服务工作和单纯的服务性质的工作（如客服、在线医疗、在线问答等），通过不需要面对面的网络文本对话、网络语音对话、或其它形式的语音对话实现。
而在该类服务工作中，被服务的客户对服务的满意度评价对服务质量的控制和提升起着至关重要的作用。目前，对服务的满意度评价多采用在对话结束后，由被服务的客户对本次服务对话的满意度打分的形式。但是，这种形式一方面增加了客户的操作负担；另一方面，其只是一个较为笼统的打分，很难具体分析出客户在被服务过程中的情感变化及其对最终满意度的评价影响，进而使得该评价不够准确。
发明内容
有鉴于此，本申请实施例提供一种对话数据分析及其模型训练方案，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种对话数据分析方法，包括：获取待分析的多轮对话语句，及所述多轮对话语句对应的对话向量；根据所述对话向量，分别生成用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量；基于所述第一任务向量和所述第二任务向量，提取所述多轮对话语句对应的共享特征；分别基于所述第一任务向量和所述共享特征进行对话满意度分析，基于所述第二任务向量和所述共享特征进行对话情感分析。
根据本申请实施例的第二方面，提供了一种对话数据分析模型训练方法，其中，所述对话数据分析模型包括：编码器、多任务层、对话满意度分析解码器和情感分析解码器；所述方法包括：通过所述编码器，对多轮对话语句样本进行编码，获得所述多轮对话语句样本对应的对话样本向量；通过所述多任务层，根据所述对话样本向量，分别生成用于对话满意度分析任务的第一任务样本向量、和用于对话情感分析任务的第二任务样本向量；基于所述第一任务样本向量和所述第二任务样本向量，提取所述多轮对话语句样本对应的样本共享特征；基于所述第一任务样本向量和所述样本共享特征进行对话满意度分析，以及，基于所述第二任务样本向量和所述样本共享特征进行对话情感分析；通过所述对话满意度解码器，根据对话满意度分析结果获得所述多轮对话语句样本对应的对话满意度信息；并且，通过所述情感分析解码器，根据对话情感分析结果获得所述多轮对话语句样本中的各轮对话语句样本的情感倾向信息；根据所述对话满意度信息和所述情感倾向信息，对所述对话数据分析模型进行训练。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述方法对应的操作。
根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。
根据本申请实施例提供的方案，考虑到情感分析和客户对服务的满意度之间具有很强的相关性和互补性，客户的情感变化将最终影响客户对服务的满意度评价，因此，本申请实施例中，在基于对话进行对话满意度评价时，会生成用于对话满意度分析的第一任务向量和用于对话情感分析的第二任务向量，进而，还会基于该两部分任务向量提取共享特征，该共享特征中既具有可更好表达对话满意度的特征，也具有可更好表达对话情感的特征。通过该共享特征可以进行两个任务间的信息交互，使得基于第一任务向量和共享特征进行对话满意度分析时既考虑了对话满意度部分的特征又考虑了对话情感部分的特征；基于第二任务向量和共享特征进行对话情感分析时既考虑了对话情感部分的特征又考虑了对话满意度部分的特征。由此，对话满意度分析和对话情感分析这两部分任务可以特征共享、信息互补，相较于传统的单任务学习，这种联合两个任务的方式可以有效提升彼此的性能，不仅实现了对话满意度的准确预测，也同时实现了情感分析的准确预测。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为适用本申请实施例方案的示例性系统的示意图；
图2为根据本申请实施例一的一种对话数据分析方法的步骤流程图；
图3A为根据本申请实施例二的一种对话数据分析模型训练方法的步骤流程图；
图3B为图3A所示实施例中的一种对话数据分析模型的结构示意图；
图4为根据本申请实施例三的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
图1示出了一种适用本申请实施例方案的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。
云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，在一些实施例中，云服务端102可以用于进行对话数据分析。作为可选的示例，在一些实施例中，云服务端102可以被用于基于多轮对话语句，进行对话满意度任务和对话情感任务的联合执行，从而达到准确预测对话满意度和对话情感的效果。作为另一示例，在一些实施例中，云服务端102可以被用于基于多轮对话语句的对话向量，生成用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量；接着，可基于这两部分任务向量获得分别对应的共享特征；进而，可基于第一任务向量和共享特征进行对话满意度分析，基于第二任务向量和共享特征进行对话情感分析。作为另一示例，在一些实施例中，云服务端102可以被用于接收用户设备106发送来的对话数据分析请求，基于该请求获得对应的待分析的多轮对话语句并对其进行对话满意度分析和对话情感分析，并且，可将分析结果返回给用户设备106。
在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。
用户设备106可以包括适合于与客户交互，并且向可云服务端102发送对话数据分析请求并接收云服务端106返回的分析结果的任何一个或多个用户设备。在一些实施例中，用户设备106可以在对话数据分析请求中携带待分析的多轮对话语句的信息，也可以在确定云服务端102接收了对话数据分析请求后，再向云服务端102发送待分析的多轮对话语句的信息。在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、游戏控制台、媒体播放器、车辆娱乐系统和/或任何其他合适类型的用户设备。
基于上述系统，以下通过多个实施例对本申请实施例提供的方案进行说明。
实施例一
参照图2，示出了根据本申请实施例一的一种对话数据分析方法的步骤流程图。
本实施例的对话数据分析方法包括以下步骤：
步骤S202：获取待分析的多轮对话语句，及多轮对话语句对应的对话向量。
本申请实施例中，待分析的多轮对话语句可以为涉及任意服务场景的多轮对话语句，通常为涉及服务方和被服务方的对话语句，如涉及某种服务的客服和客户间的对话语句，或者在线医疗场景下的医生和患者之间的对话语句，等等。为便于说明，本申请实施例中，以客服统称服务方，以客户统称被服务方。通过本申请实施例的方案，可以基于这些对话语句，对客户对客服提供的服务至少进行对话满意度的分析。但与此同时，还可以对客户在本次服务中的情感进行分析，以及，进一步地，可以基于对话满意度的分析和情感的分析，得到客户整体的服务质量评价。
在获得了待分析的多轮对话语句后，可以将其表示为对话向量。在一种可行方式中，可以通过编码器将多轮对话语句表示为对话向量。具体地，可以对多轮对话语句中的每轮对话语句均进行编码，生成每轮对话语句对应的编码向量，则所有对话语句对应的编码向量即形成多轮对话语句对应的对话向量。
因本申请实施例中，经该编码器编码处理后获得的对话向量不管是针对后续的对话满意度分析任务还是针对后续的情感分析任务，都使用了相同的编码器输出的对话向量。因此，该编码器也称为共享语句编码器，其将多轮对话语句中的每条对话语句表示为向量，针对对话级的对话满意度分析任务和语句级的情感分析任务，该编码器是共享的，即对于上述不同任务其参数是相同的。在具体实现时，该编码器可以采用GRU+Attention机制结构或Bert预训练模型结构或LSTM结构实现，以获得所有对话语句的对话向量，表示为对话向量V。
步骤S204：根据对话向量，分别生成用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量。
因对话向量与任务无关，因此，如果基于对话向量直接进行后续的对话满意度分析任务和对话情感分析任务，会使得不同任务间相互干扰。为此，本申请实施例中，会基于对话向量进行进一步处理，以生成针对不同任务的不同任务向量。
在一种可行方式中，本步骤可以实现为：分别对对话向量进行第一任务向量映射和第二任务向量映射，获得对应的第一候选向量和第二候选向量；对第一候选向量和第二候选向量进行任务分类，以确定用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量。通过第一任务向量映射和第二任务向量映射，可以将与任务无关的对话向量映射为与任务有关的向量，即第一候选向量和第二候选向量。但在机器学习模型中，映射后获得的两部分候选向量位于同一向量集合，候选向量究竟是与哪一任务相关，还需进一步区分，因此，需再对这两部分候选向量进行任务分类，以明确区分出用于不同任务的候选向量。
例如，在具体实现时，可以先通过两个多层感知机将对话向量V分别映射至不同任务的向量空间，从而输出与对话满意度任务相关的候选向量和与情感分析任务相关的候选向量。
进而，基于获得的候选向量进行任务分类，以明确区分出执行不同任务的不同向量。在一种可行方式中，可以通过任务分类器对第一候选向量和第二候选向量进行任务分类，获得对应任务分类的概率；根据所述概率，从第一候选向量和第二候选向量中，确定用于对话满意度分析任务的候选向量作为第一任务向量、和用于对话情感分析任务的候选向量作为第二任务向量。该任务分类器在对话向量和候选向量之间利用最小-最大博弈机制，确定某一候选向量究竟来自于满意度分析还是来自于情感分析。
基于此，在一种可行方式中，任务分类器可以实现为GRU层和分类层的结构。其中，GRU层用于分别对第一候选向量和第二候选向量进行任务特征分析；分类层用于根据任务特征分析的结果，确定第一候选向量和第二候选向量分别用于对话满意度分析任务的概率和用于情感分析任务的概率。GRU（Gated Recurrent Unit，门控循环单元）是一种门控循环神经网络，其通过各种门函数将与任务有关的重要特征保留下来。由此，分类层可以基于这些特征来确定某一候选向量究竟是用于对话满意度分析任务，还是用于情感分析任务。需要说明的是，第一候选向量和第二候选向量均与多轮对话语句整体对应，即它们都各自包含有多轮对话语句对应的向量，在任务分类器进行任务分类时，也是以第一候选向量整体和第二候选向量整体来进行分类，而非以单个语句对应的候选向量为单位进行分类。为提高分类速度和效率，通过分类层后，第一候选向量和第二候选向量对应的概率可分别为P和1-P，以指示对应于不同的任务。例如，若概率为P>0.5则指示对应于对话满意度分析任务，概率为1-P>0.5则指示对应于对话情感分析任务，等。
此外，为了更好地捕捉对话中客户局部的满意度变化或情感变化，进一步提升后续各个任务的预测效果，在一种可行方式中，在分别确定第一任务向量和第二任务向量之后，还可以分别为第一任务向量和第二任务向量增加角色信息。该角色信息来自于多轮对话语句，因多轮对话语句为不同角色间的多轮对话语句，故多轮对话语句中的各轮对话语句都具有对应的角色信息。其中，角色信息可以为指示当前对话语句为哪个角色的发言的信息，如为客服或为客户；也可以为指示说话者角色是否变化的信息，例如，多轮对话语句的对话顺序为,<A,B,A,B,A,B,A,A,B>，其中，A表示客户，B表示客服，则对应地，角色信息可以表示为<0，1，0，1，0，1，0，0，1>，通过这种方式，可以为后续针对某一方尤其是被服务方的客户进行变化捕捉提供较为准确的依据。但不管采用上述哪种方式，均可适用于本申请实施例的方案。
步骤S206：基于第一任务向量和第二任务向量，提取多轮对话语句对应的共享特征。
对于每轮对话语句来说，其中可能既包含有情感类的特征，又包含有满意度类的特征，还可以包括有其它的语义特征，又因第一任务向量和第二任务向量均是通过对话向量映射确定而来，因此，可以通过对第一任务向量和第二任务向量分别进行的特征提取，获得多轮对话语句对应的共享特征。
在一种可行方式中，可以通过具有相同模型参数的共享特征层，对第一任务向量和第二任务向量进行特征提取，获得对应的对话满意度共享特征、和对话情感共享特征。因第一任务向量和第二任务向量均使用该共享特征层进行特征提取，而该共享特征层的模型参数是不变的，因此，针对来自于某一任务的任务向量，对其进行特征提取后获得的特征将既包含能体现当前任务的特征，也包含能体现另一任务的特征。进而，通过这些共享特征，可以实现任务间的参数共享和任务间特征交互，从而可以基于更为全面和丰富的信息进行后续分析任务，获得准确的分析结果。
步骤S208：分别基于第一任务向量和共享特征进行对话满意度分析，基于第二任务向量和共享特征进行对话情感分析。
在一种可行方式中，可以基于第一任务向量和对话满意度共享特征，进行对话满意度分析；基于第二任务向量和对话情感共享特征，进行对话情感分析。如上所述，通过这些共享特征，可以实现任务间的参数共享和任务间特征交互，从而可以基于更为全面和丰富的信息进行后续分析任务，获得准确的分析结果。
需要说明的是，若为第一任务向量和第二任务向量增加了角色信息，则本步骤可以实现为：分别基于增加了角色信息后的第一任务向量和共享特征进行对话满意度分析，基于增加了角色信息后的第二任务向量和共享特征进行对话情感分析。通过任务向量拼接用于指示角色变化的角色信息，可以更准确地预测同一角色连续对话语句的局部情感或满意度。
在此基础上，一方面，可以将第一任务向量和对话满意度共享特征拼接为第一拼接向量；或者，将第一任务向量、对话满意度共享特征和角色信息拼接为第一拼接向量。进而，基于第一拼接向量进行对话满意度分析。在一种可行方式中，可以对第一拼接向量进行注意力计算，获得第一拼接向量中对应于第一角色的聚合向量；将聚合向量与第一任务向量进行拼接，获得第二拼接向量；基于第二拼接向量进行对话满意度分析。其中，第一角色通常为需要基于多轮对话语句对其满意度或情感进行分析的角度，如客户，但不限于此，根据实际需要，其它角色也同样适用于本申请实施例的方案。通过注意力计算，可以对第一角色的相关任务特征进行有效提取，且可避免其它角色的特征的干扰。进而，再将提取获得的聚合向量与第一任务向量拼接，则可有效考虑第一角色的对话上下文，使得针对第一角色的对话满意度分析更为准确和客观。一般来说，对话满意度分析的结果可分为三类，即：满意、一般、不满意。但不限于此，在实际应用中，本领域技术人员可根据实际需求，设定更多的结果类型，如：非常满意、满意、一般、不满意、非常不满意，等，本申请实施例对此不作限制。
另一方面，可以将第二任务向量和对话情感共享特征拼接为第三拼接向量；或者，将第二任务向量、对话情感共享特征和角色信息拼接为第三拼接向量。进而，基于第三拼接向量进行对话情感分析，从而得到语句级的情感分析结果，即：每轮对话语句的情感倾向性，如：正向、中立、负向，等。但不限于此，在实际应用中，本领域技术人员可根据实际需求，设定更多的结果类型，本申请实施例对此不作限制。
根据本实施例的方案，考虑到情感分析和客户对服务的满意度之间具有很强的相关性和互补性，客户的情感变化将最终影响客户对服务的满意度评价，因此，本实施例中，在基于对话进行对话满意度评价时，会生成用于对话满意度分析的第一任务向量和用于对话情感分析的第二任务向量，进而，还会基于该两部分任务向量提取共享特征，该共享特征中既具有可更好表达对话满意度的特征，也具有可更好表达对话情感的特征。通过该共享特征可以进行两个任务间的信息交互，使得基于第一任务向量和共享特征进行对话满意度分析时既考虑了对话满意度部分的特征又考虑了对话情感部分的特征；基于第二任务向量和共享特征进行对话情感分析时既考虑了对话情感部分的特征又考虑了对话满意度部分的特征。由此，对话满意度分析和对话情感分析这两部分任务可以特征共享、信息互补，相较于传统的单任务学习，这种联合两个任务的方式可以有效提升彼此的性能，不仅实现了对话满意度的准确预测，也同时实现了情感分析的准确预测。
实施例二
参照图3A，示出了根据本申请实施例二的一种对话数据分析模型训练方法的步骤流程图。
通过本实施例的训练方法训练完成的对话数据分析模型可应用于实施例一中，以实现实施例一中所述的对话数据分析方法。为便于对本实施例的对话数据分析模型训练方法进行说明，以下首先对其使用的对话数据分析模型进行示例性说明，如图3B所示。从图3B中可见，该对话数据分析模型包括编码器、多任务层、对话满意度分析解码器和情感分析解码器。
其中：
编码器用于对多轮对话语句样本进行编码，获得多轮对话语句样本对应的对话样本向量。
多任务层用于根据对话样本向量，分别生成用于对话满意度分析任务的第一任务样本向量、和用于对话情感分析任务的第二任务样本向量；基于第一任务样本向量和第二任务样本向量，提取多轮对话语句样本对应的样本共享特征；基于第一任务样本向量和样本共享特征进行对话满意度分析，以及，基于第二任务样本向量和样本共享特征进行对话情感分析。
对话满意度解码器用于根据对话满意度分析结果获得多轮对话语句样本对应的对话满意度。
情感分析解码器用于根据对话情感分析结果获得多轮对话语句样本中的各轮对话语句样本的情感倾向信息。
进一步地，多任务层包括：多层感知机、任务分类器、共享特征层、满意度分析层和情感分析层。
其中：
多层感知机，用于分别对对话样本向量进行第一任务向量映射和第二任务向量映射，获得对应的第一候选样本向量和第二候选样本向量。
任务分类器，用于对第一候选样本向量和第二候选样本向量进行任务分类，获得对应任务分类的概率；根据所述概率，从第一候选样本向量和第二候选样本向量中，确定用于对话满意度分析任务的候选样本向量作为第一任务样本向量、和用于对话情感分析任务的候选样本向量作为第二任务样本向量。
共享特征层，用于对第一任务样本向量和第二任务样本向量进行特征提取，获得对应的对话满意度样本共享特征和对话情感样本共享特征。
满意度分析层，用于基于第一任务样本向量和对话满意度样本共享特征进行对话满意度分析。
情感分析层，用于基于第二任务样本向量和对话情感样本共享特征进行对话情感分析。
进一步可选地，多任务层还包括：角色信息融合层，用于分别为第一任务样本向量和第二任务样本向量增加所述角色信息。
此种情况下，对话满意度解码器，用于基于增加了角色信息后的第一任务样本向量和样本共享特征（对话满意度样本共享特征）进行对话满意度分析，获得多轮对话语句对应的对话满意度。
情感分析解码器，用于基于增加了角色信息后的第二任务样本向量和样本共享特征（对话情感样本共享特征）进行对话情感分析，获得多轮对话语句中的各轮对话语句的情感倾向信息。
基于此，本实施例的对话数据分析模型训练方法包括以下步骤：
步骤S302：获取多轮对话语句样本。
其中，多轮对话语句样本为多个不同角色间的对话语句样本，如客户和客服间的多轮对话语句样本，该多轮对话语句样本中除包括多轮对话语句外，还包括各轮对话语句的角色信息。
步骤S304：通过编码器，对多轮对话语句样本进行编码，获得多轮对话语句样本对应的对话样本向量。
通过编码器，对多轮对话语句样本中的每轮对话语句都进行编码，获得对应的编码向量。多轮对话语句样本对应的所有编码向量即为多轮对话语句样本对应的对话样本向量。
本申请实施例中，针对不同任务，即对话级的对话满意度分析任务和语句级的情感分析任务，编码器是共享的，即对于不同任务其参数是相同的，因此，该编码器也可称为共享语句编码器。该编码器在具体实现时，可以采用“GRU+Attention机制”或“Bert预训练模型”来获得所有对话语句的向量表示V，即对话向量V，如图3B中示意的
Figure 4282DEST_PATH_IMAGE001
。
步骤S306：通过多任务层，根据对话样本向量，分别生成用于对话满意度分析任务的第一任务样本向量、和用于对话情感分析任务的第二任务样本向量；基于第一任务样本向量和第二任务样本向量，提取多轮对话语句样本对应的样本共享特征；基于第一任务样本向量和样本共享特征进行对话满意度分析，以及，基于第二任务样本向量和样本共享特征进行对话情感分析。
本实施例中，多任务层可以实现为角色感知的对抗多任务层，该多任务层通过引入角色信息、对抗学习机制以及多任务交互机制来分别获得上下文语义增强的、且和任务相关的语句向量。从宏观上理解，说话人的情感或满意度在局部是具有延续性的，即一个角色连续说的多个语句，其情感和满意度不会出现转折（例如，只存在“正向”->“正向/中立”或“负向”->”负向/中立”），因此引入说话者的角色信息具有指导意义。并且，由于共享语句编码器输出的对话向量V与任务无关，因此该对话向量会使得不同任务间相互干扰，而引入对抗机制则可产生与任务相关的向量表示，获得任务知识。又，由于不同任务间是可以相互借鉴共享信息的，通过多任务层交互又使得一部分共享信息可以回流进某个任务的特征向量，获得共享知识。
具体地，如图3B中所示，编码器输出的对话向量V，即图3B中示意的
Figure 391401DEST_PATH_IMAGE002
，首先经过两个多层感知器（图中分别示意为两个“Dense”层（密集层））将该对话向量V分别映射到不同任务的向量空间，形成两个候选向量（图中未示出），即与对话满意度分析任务相关的候选向量
Figure 433306DEST_PATH_IMAGE003
以及与情感分析任务相关的候选向量
Figure 323902DEST_PATH_IMAGE004
。
接着，通过任务分类器，本实施例中实现为一个共享的单向GRU判别分类器，判断
Figure 120957DEST_PATH_IMAGE005
和
Figure 729793DEST_PATH_IMAGE006
来自于哪个任务，以区分出候选向量中用于后续对话满意度分析任务的向量和用于情感分析任务的向量，本实施例中，设定
Figure 903285DEST_PATH_IMAGE007
来自对话满意度分析任务并后续用于对话满意度分析任务，
Figure 913966DEST_PATH_IMAGE006
来自情感分析任务并后续用于对话情感分析任务。此时，
Figure 76396DEST_PATH_IMAGE008
成为
Figure 172528DEST_PATH_IMAGE009
，即第一任务样本向量，
Figure 884132DEST_PATH_IMAGE010
成为
Figure 749319DEST_PATH_IMAGE011
，即第二任务样本向量。在具体实现时，任务分类器可以实现为GRU层和分类层的结构。其中，GRU层用于分别对第一候选向量和第二候选向量进行任务特征分析；分类层用于根据任务特征分析的结果，确定第一候选向量和第二候选向量分别用于对话满意度分析任务的概率和用于情感分析任务的概率。
需要说明的是，在每次训练过程中，针对任务分类器，将根据第一任务样本向量及其对应的任务标签，以及第二任务样本向量及其对应的任务标签，对任务分类器进行训练。为了使任务分类器能够准确进行分类，本实施例中，为任务分类器引入了对抗学习机制，使用任务对抗学习损失函数进行针对任务分类器的训练，以使任务分类器能够将相应的向量映射到只跟待实现的任务相关的特征空间，避免其他任务无关特征的干扰。该任务对抗学习损失函数可表示为：
Figure 888177DEST_PATH_IMAGE012
其中，
Figure 471605DEST_PATH_IMAGE013
表示候选样本向量对应的标签（若输入任务分类器中的任务样本向量来源于同一个任务，取值为1；否则取值为0）；
Figure 659004DEST_PATH_IMAGE014
表示任务分类器针对候选样本向量预测的任务概率分布；
Figure 644277DEST_PATH_IMAGE015
表示任务集合，其中，
Figure 954036DEST_PATH_IMAGE016
表示对话满意度分析任务，
Figure 24760DEST_PATH_IMAGE017
表示对话情感分析任务；
Figure 78167DEST_PATH_IMAGE018
表示共享编码器的参数集合；
Figure 917947DEST_PATH_IMAGE019
表示任务分类器包含的参数集合和多层感知器包含的参数集合；这些参数都是可训练的。
在每一次的对话数据分析模型的训练过程中，该任务分类器也会基于该损失函数被训练一次，其训练终止条件可与对话数据分析模型训练终止条件相同，如两者均为达到预设的训练次数等。
进而，本实施例的多任务层中还设置有角色信息融合层，用于融合说话者的角色信息，其可以采用0/1来标识说话者角色是否变化。示例性地，如图3B中所示，用向量c表示，针对用于对话满意度分析的第一任务样本向量
Figure 70711DEST_PATH_IMAGE020
（图3B中示意为
Figure 363152DEST_PATH_IMAGE021
），向量c采用
Figure 220249DEST_PATH_IMAGE022
（即
Figure 914536DEST_PATH_IMAGE023
）的形式；针对用于对话情感分析的第二任务样本向量
Figure 566097DEST_PATH_IMAGE024
（图3B中示意为
Figure 611413DEST_PATH_IMAGE025
），向量c采用
Figure 209885DEST_PATH_IMAGE026
（即
Figure 758678DEST_PATH_IMAGE027
）的形式。但是，由于输入的对话相同，实际上，
Figure 846720DEST_PATH_IMAGE028
和
Figure 113753DEST_PATH_IMAGE029
相同。
Figure 312653DEST_PATH_IMAGE030
和
Figure 653636DEST_PATH_IMAGE031
拼接后，
Figure 912579DEST_PATH_IMAGE032
和
Figure 666908DEST_PATH_IMAGE033
拼接后，作为情感分析层、共享特征层、和满意度分析层的输入。
针对情感分析层、共享特征层、和满意度分析层这三个神经网络层，每层都由单向的GRU构成。
Figure 403920DEST_PATH_IMAGE034
和
Figure 927305DEST_PATH_IMAGE035
拼接后输入满意度分析层并输出考虑上下文的
Figure 357149DEST_PATH_IMAGE036
向量，
Figure 333196DEST_PATH_IMAGE037
和
Figure 811582DEST_PATH_IMAGE038
拼接后输入情感分析层并输出考虑上下文的
Figure 455053DEST_PATH_IMAGE039
向量，共享特征层负责满意度分析任务和情感分析任务这两个不同任务间的信息共享。
其中，共享特征层的GRU，图中示意为GRUS通过多任务学习来学习到参数，以实现参数共享的神经网络层，其可以针对不同任务提取一般共性特征；任务相关的满意度分析层的ST-GRUm和情感分析层的ST-GRUa能够融合一般共性特征和任务相关特征，从而获得各自更好的向量表征。
在一种可行方式中，GRUS可采用公式表示为
Figure 790219DEST_PATH_IMAGE040
，其输入为t时刻的第一任务样本向量
Figure 519141DEST_PATH_IMAGE041
和t-1时刻的该共享特征层的隐藏层状态
Figure 597955DEST_PATH_IMAGE042
，该隐藏层状态包含了之前进行特征处理的那些节点的相关信息。GRUS的输出是t时刻传递给下一个进行特征处理的节点的隐状态
Figure 33616DEST_PATH_IMAGE043
。对于不同的任务，GRUS的模型参数是共享的，对来自不同任务的向量输入，产出不同的共性特征向量输出。
ST-GRU是GRU的变体，以满意度分析层的ST-GRUm为例，ST-GRUm的输入参数除了
Figure 539683DEST_PATH_IMAGE044
和
Figure 755901DEST_PATH_IMAGE045
，还包括当前对话语句的角色信息
Figure 638406DEST_PATH_IMAGE046
（也为向量）和共享特征层的GRUS当前的输出
Figure 990890DEST_PATH_IMAGE047
。类似于传统GRU含有“重置门”和“更新门”两个门控状态，本申请实施例中，对ST-GRUm的上述门控状态进行了改进，以通过融合更多的输入来影响状态值的变化。公式可以表示为：
Figure 933438DEST_PATH_IMAGE048
，ST-GRUm具体的计算过程如下：
重置门：
Figure 371373DEST_PATH_IMAGE049
更新门：
Figure 464094DEST_PATH_IMAGE050
其中，
Figure 936664DEST_PATH_IMAGE051
为sigmoid函数，通过这个函数可以将数据变换为0-1范围内的数值，从而来充当门控信号；
Figure 784534DEST_PATH_IMAGE052
为向量间逐个元素相加操作，输出是一个维度相同的向量；符号
Figure 709765DEST_PATH_IMAGE053
和
Figure 934072DEST_PATH_IMAGE054
表示可训练的权重参数。
候选隐藏状态：
Figure 461481DEST_PATH_IMAGE055
候选隐藏状态
Figure 745832DEST_PATH_IMAGE056
主要包含了t时刻输入的信息和有针对性地对t-1时刻的隐藏状态的保留；tanh表示双曲正切性函数，进行非线性变化；同理
Figure 158359DEST_PATH_IMAGE057
表示可学习的权重参数。
最终隐藏状态：
Figure 920779DEST_PATH_IMAGE058
通过该最终隐藏状态的处理，可以使得ST-GRUm忘记传递下来的
Figure 102361DEST_PATH_IMAGE059
中的某些维度信息，并加入当前节点输入的某些维度信息。其中，所述某些维度信息可以由
Figure 557613DEST_PATH_IMAGE060
向量各维度的元素值大小确定。
而对于情感分析层的ST-GRUa，同样有公式：
Figure 457436DEST_PATH_IMAGE061
，其计算方式包括：
重置门：
Figure 961230DEST_PATH_IMAGE062
更新门：
Figure 997319DEST_PATH_IMAGE063
候选隐藏状态：
Figure 623472DEST_PATH_IMAGE064
最终隐藏状态：
Figure 10591DEST_PATH_IMAGE065
其中，各参数含义可参照前述ST-GRUm的计算部分类似获得，只需将其中的m替换为a即可，在此不再赘述。
步骤S308：通过对话满意度解码器，根据对话满意度分析结果获得多轮对话语句样本对应的对话满意度信息；并且，通过情感分析解码器，根据对话情感分析结果获得多轮对话语句样本中的各轮对话语句样本的情感倾向信息。
在一个示例中，如图3B所示，情感分析解码器包括softmax层，向量
Figure 114814DEST_PATH_IMAGE066
输入情感分析解码器后经过分类，可以得到每条对话语句的情感倾向性（如正向、中立、负向，等）。
而对于满意度分析解码器，向量
Figure 270988DEST_PATH_IMAGE067
输入满意度分析解码器后，先通过注意力机制（图3B中示意为“attention”）获得某一角色,示例为客户，即获得所有客户对话语句的聚合向量，再拼接（图3B中示意为“concat”）所有的对话语句向量，输入到满意度分析解码器的softmax层，输出整个对话的对话满意度（如，满意，一般，不满意等）。
步骤S310：根据对话满意度信息和情感倾向信息，对对话数据分析模型进行训练。
具体地，为了学习模型参数，对话满意度分析任务和对话情感分析任务这两个任务都可以采用交叉熵损失函数计算损失，通过汇总两个任务的损失，利用梯度下降算法迭代优化得到最终模型。
两个任务汇总后的损失函数可表示如下：
Figure 740147DEST_PATH_IMAGE068
其中，
Figure 348983DEST_PATH_IMAGE069
部分代表对话满意度分析任务对应的损失函数，
Figure 522475DEST_PATH_IMAGE070
部分代表对话情感分析任务对应的损失函数。
Figure 533157DEST_PATH_IMAGE071
表示对话满意度标签，
Figure 501113DEST_PATH_IMAGE072
表示对话满意度预测结果，
Figure 597245DEST_PATH_IMAGE073
表示满意度分类标签集，示例性地，
Figure 246532DEST_PATH_IMAGE074
= {满意，一般，不满意}。
Figure 377299DEST_PATH_IMAGE075
表示对话情感标签，
Figure 516156DEST_PATH_IMAGE076
表示对话情感预测结果，
Figure 99584DEST_PATH_IMAGE077
表示多轮对话语句样本的对话语句集合，
Figure 349300DEST_PATH_IMAGE078
表示情感分类标签集，示例性地，
Figure 334573DEST_PATH_IMAGE079
={正向、中立、负向}。
此外，上述两部分任务对应的损失函数可以通过权重来调节不同任务对应的损失的比重，还可以通过加入可学习权重，自动学习调整两个任务损失函数结合的权重。
由上，可根据对话满意度信息和情感倾向信息，对对话数据分析模型进行训练，该训练过程循环迭代，直至达到训练终止条件，如训练达到预设的训练次数等。
可见，通过本实施例，（1）将对话满意度分析任务和对话情感分析任务结合起来进行多任务学习，同时建模对话级的对话满意度分析（Service Satisfaction Analysis，SSA）和语句级的对话情感分析（Sentiment Analysis，SA）两个任务，利用两个任务都以对话质量为关键信息，充分利用两个任务的共性，实现特征共享、信息互补，相比单任务的有限监督信息，联合两个任务共同提升了彼此的性能。（2）通过本实施例的基于对话的多任务学习框架，还考虑了角色信息，通过将相应的任务向量拼接角色信息，可以更准确地预测同一角色连续话语的局部情感或满意度。（3）由于共享语句编码器的输出向量是任务无关的，导致难以区分任务相关特征和共享特征，给不同任务预测带来相互干扰，而通过本申请实施例的方案，首先通过对抗学习机制的任务分类器，将对话向量映射到只跟不同任务相关的不同的特征空间，避免其他任务无关特征干扰，确保了模型可以学习到任务相关特征。（4）为了实现不同任务间的参数共享，本申请实施例的方案中，通过多任务层实现任务间的特征交互，从而可以生成较优的语句向量（融合了任务特征和共享特征），以实现情感分析和满意度分析的准确预测。
实施例三
参照图4，示出了根据本申请实施例三的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface) 404、存储器(memory) 406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它电子设备或服务器进行通信。
处理器402，用于执行程序410，具体可以执行上述任一方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是CPU，或者是特定集成电路ASIC（Application SpecificIntegrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行前述多个方法实施例中任一实施例所描述的方法对应的操作。
程序410中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (13)

1.一种对话数据分析方法，包括：
获取待分析的多轮对话语句，及所述多轮对话语句对应的对话向量；
根据所述对话向量，分别生成用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量，包括：分别对所述对话向量进行第一任务向量映射和第二任务向量映射，获得对应的第一候选向量和第二候选向量；对所述第一候选向量和所述第二候选向量进行任务分类，以确定用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量；
基于所述第一任务向量和所述第二任务向量，提取所述多轮对话语句对应的共享特征；
分别基于所述第一任务向量和所述共享特征进行对话满意度分析，基于所述第二任务向量和所述共享特征进行对话情感分析。
2.根据权利要求1所述的方法，其中，所述对所述第一候选向量和所述第二候选向量进行任务分类，以确定用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量，包括：
通过任务分类器对所述第一候选向量和所述第二候选向量进行任务分类，获得对应任务分类的概率；
根据所述概率，从所述第一候选向量和所述第二候选向量中，确定用于对话满意度分析任务的候选向量作为第一任务向量、和用于对话情感分析任务的候选向量作为第二任务向量。
3.根据权利要求2所述的方法，其中，所述分类器包括：GRU层和分类层；
其中：
所述GRU层用于分别对所述第一候选向量和所述第二候选向量进行任务特征分析；
所述分类层用于根据任务特征分析的结果，确定所述第一候选向量和所述第二候选向量分别用于对话满意度分析任务的概率和用于情感分析任务的概率。
4.根据权利要求1-3任一项所述的方法，其中，所述多轮对话语句为不同角色间的多轮对话语句，所述多轮对话语句中的各轮对话语句具有对应的角色信息；
在所述分别生成用于对话满意度分析任务的第一任务向量、和用于对话情感分析任务的第二任务向量之后，所述方法还包括：分别为所述第一任务向量和所述第二任务向量增加所述角色信息；
所述分别基于所述第一任务向量和所述共享特征进行对话满意度分析，基于所述第二任务向量和所述共享特征进行对话情感分析，包括：分别基于增加了所述角色信息后的所述第一任务向量和所述共享特征进行对话满意度分析，基于增加了所述角色信息后的所述第二任务向量和所述共享特征进行对话情感分析。
5.根据权利要求4所述的方法，其中，所述角色信息为用于指示说话者角色是否变化的信息。
6.根据权利要求1-3任一项所述的方法，其中，所述基于所述第一任务向量和所述第二任务向量，提取所述多轮对话语句对应的共享特征，包括：
通过具有相同模型参数的共享特征层，对所述第一任务向量和所述第二任务向量进行特征提取，获得对应的对话满意度共享特征和对话情感共享特征。
7.根据权利要求6所述的方法，其中，所述分别基于所述第一任务向量和所述共享特征进行对话满意度分析，基于所述第二任务向量和所述共享特征进行对话情感分析，包括：
基于所述第一任务向量和所述对话满意度共享特征，进行对话满意度分析；
基于所述第二任务向量和所述对话情感共享特征，进行对话情感分析。
8.根据权利要求7所述的方法，其中，所述基于所述第一任务向量和所述对话满意度共享特征，进行对话满意度分析，包括：
获取所述第一任务向量和所述对话满意度共享特征拼接后的第一拼接向量；
对所述第一拼接向量进行注意力计算，获得所述第一拼接向量中对应于第一角色的聚合向量；
将所述聚合向量与所述第一任务向量进行拼接，获得第二拼接向量；
基于所述第二拼接向量进行对话满意度分析。
9.一种对话数据分析模型训练方法，其中，所述对话数据分析模型包括：编码器、多任务层、对话满意度分析解码器和情感分析解码器；
所述方法包括：
通过所述编码器，对多轮对话语句样本进行编码，获得所述多轮对话语句样本对应的对话样本向量；
通过所述多任务层，根据所述对话样本向量，分别生成用于对话满意度分析任务的第一任务样本向量、和用于对话情感分析任务的第二任务样本向量，包括：分别对所述对话样本向量进行第一任务向量映射和第二任务向量映射，获得对应的第一候选样本向量和第二候选样本向量；对所述第一候选样本向量和所述第二候选样本向量进行任务分类，以确定用于对话满意度分析任务的第一任务样本向量、和用于对话情感分析任务的第二任务样本向量；基于所述第一任务样本向量和所述第二任务样本向量，提取所述多轮对话语句样本对应的样本共享特征；基于所述第一任务样本向量和所述样本共享特征进行对话满意度分析，以及，基于所述第二任务样本向量和所述样本共享特征进行对话情感分析；
通过所述对话满意度分析解码器，根据对话满意度分析结果获得所述多轮对话语句样本对应的对话满意度信息；并且，通过所述情感分析解码器，根据对话情感分析结果获得所述多轮对话语句样本中的各轮对话语句样本的情感倾向信息；
根据所述对话满意度信息和所述情感倾向信息，对所述对话数据分析模型进行训练。
10.根据权利要求9所述的方法，其中，所述多任务层包括：多层感知机、任务分类器、共享特征层、满意度分析层和情感分析层；
其中：
所述多层感知机，用于分别对所述对话样本向量进行第一任务向量映射和第二任务向量映射，获得对应的第一候选样本向量和第二候选样本向量；
所述任务分类器，用于对所述第一候选样本向量和所述第二候选样本向量进行任务分类，获得对应任务分类的概率；根据所述概率，从所述第一候选样本向量和所述第二候选样本向量中，确定用于对话满意度分析任务的候选样本向量作为第一任务样本向量、和用于对话情感分析任务的候选样本向量作为第二任务样本向量；
所述共享特征层，用于对所述第一任务样本向量和所述第二任务样本向量进行特征提取，获得对应的对话满意度样本共享特征和对话情感样本共享特征；
所述满意度分析层，用于基于所述第一任务样本向量和所述对话满意度样本共享特征进行对话满意度分析；
所述情感分析层，用于基于所述第二任务样本向量和所述对话情感样本共享特征进行对话情感分析。
11.根据权利要求10所述的方法，其中，所述方法还包括：
在每次训练过程中，针对所述任务分类器，根据所述第一任务样本向量及其对应的任务标签，以及所述第二任务样本向量及其对应的任务标签，对所述任务分类器进行训练。
12.根据权利要求10所述的方法，其中，
所述多任务层还包括：角色信息融合层，用于分别为所述第一任务样本向量和所述第二任务样本向量增加所述角色信息；
所述对话满意度分析解码器，用于基于增加了所述角色信息后的所述第一任务样本向量和所述样本共享特征进行对话满意度分析，获得所述多轮对话语句对应的对话满意度信息；
所述情感分析解码器，用于基于增加了所述角色信息后的所述第二任务样本向量和所述样本共享特征进行对话情感分析，获得所述多轮对话语句中的各轮对话语句的情感倾向信息。
13.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-12中任一项所述的方法对应的操作。
CN202210981646.7A 2022-08-16 2022-08-16 对话数据分析及其模型训练方法、及电子设备 Active CN115062606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210981646.7A CN115062606B (zh) 2022-08-16 2022-08-16 对话数据分析及其模型训练方法、及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210981646.7A CN115062606B (zh) 2022-08-16 2022-08-16 对话数据分析及其模型训练方法、及电子设备

Publications (2)

Publication Number Publication Date
CN115062606A CN115062606A (zh) 2022-09-16
CN115062606B true CN115062606B (zh) 2022-11-18

Family

ID=83207850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210981646.7A Active CN115062606B (zh) 2022-08-16 2022-08-16 对话数据分析及其模型训练方法、及电子设备

Country Status (1)

Country Link
CN (1) CN115062606B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512859B (zh) * 2022-11-21 2023-04-07 北京左医科技有限公司 基于互联网的诊中质量管理方法、管理装置及存储介质
CN116913527B (zh) * 2023-09-14 2023-12-05 北京健康有益科技有限公司 一种基于多轮对话框架的高血压评测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198017A (zh) * 2017-12-22 2018-06-22 中国联合网络通信集团有限公司 个性化客服处理方法及装置
CN110543554A (zh) * 2019-08-12 2019-12-06 阿里巴巴集团控股有限公司 针对多轮对话的分类方法和装置
CN110990543A (zh) * 2019-10-18 2020-04-10 平安科技（深圳）有限公司 智能对话的生成方法、装置、计算机设备及计算机存储介质
US11170175B1 (en) * 2019-07-01 2021-11-09 Intuit, Inc. Generating replacement sentences for a particular sentiment
CN113988086A (zh) * 2021-09-29 2022-01-28 阿里巴巴达摩院(杭州)科技有限公司 对话处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838967B2 (en) * 2017-06-08 2020-11-17 Microsoft Technology Licensing, Llc Emotional intelligence for a conversational chatbot
CN111108501B (zh) * 2019-12-25 2024-02-06 深圳市优必选科技股份有限公司 一种基于上下文的多轮对话方法、装置、设备及存储介质
CN114722839B (zh) * 2022-06-01 2022-10-11 阿里巴巴达摩院(杭州)科技有限公司 人机协同对话交互系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198017A (zh) * 2017-12-22 2018-06-22 中国联合网络通信集团有限公司 个性化客服处理方法及装置
US11170175B1 (en) * 2019-07-01 2021-11-09 Intuit, Inc. Generating replacement sentences for a particular sentiment
CN110543554A (zh) * 2019-08-12 2019-12-06 阿里巴巴集团控股有限公司 针对多轮对话的分类方法和装置
CN110990543A (zh) * 2019-10-18 2020-04-10 平安科技（深圳）有限公司 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN113988086A (zh) * 2021-09-29 2022-01-28 阿里巴巴达摩院(杭州)科技有限公司 对话处理方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Role-Selected Sharing Network for Joint Machine-Human Chatting Handoff and Service Satisfaction Analysis;Jiawei Liu,et al.;《arXiv》;20210917;第1-11页 *
Speech Sentiment and Customer Satisfaction Estimation in Socialbot Conversations;Yelin Kim,et al.;《arXiv》;20200827;第1-5页 *
Using customer service dialogues for satisfaction analysis with context-assisted multiple instance learning;Kaisong SONG,et al.;《the 2019 Conference on Empirical Methods in Natural Language Processing》;20191130;第198-207页 *
基于图卷积网络的客服对话情感分析;孟洁 等;《计算机系统应用》;20220411;第147-156页 *
客户服务中人工智能情感胜任力模型和测量指标构建;邓士昌 等;《上海对外经贸大学学报》;20200731;第100-110页 *

Also Published As

Publication number Publication date
CN115062606A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN115062606B (zh) 对话数据分析及其模型训练方法、及电子设备
WO2021204272A1 (zh) 基于隐私保护确定目标业务模型
CN111581361B (zh) 一种意图识别方法及装置
CN110032630B (zh) 话术推荐设备、方法及模型训练设备
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
Su et al. Learning from real users: Rating dialogue success with neural networks for reinforcement learning in spoken dialogue systems
CN112633010B (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
Cuayáhuitl et al. Deep reinforcement learning for multi-domain dialogue systems
JP7483751B2 (ja) 教師なしデータ拡張を使用した機械学習モデルのトレーニング
US11416743B2 (en) Swarm fair deep reinforcement learning
CN111989696A (zh) 具有顺序学习任务的域中的可扩展持续学习的神经网络
JP2020061173A (ja) 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
CN114722839A (zh) 人机协同对话交互系统及方法
CN112527966A (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN113988086A (zh) 对话处理方法及装置
Irissappane et al. Leveraging GPT-2 for classifying spam reviews with limited labeled data via adversarial training
CN112364148A (zh) 一种基于深度学习方法的生成型聊天机器人
CN116264847A (zh) 用于生成机器学习多任务模型的系统和方法
US20220385703A1 (en) Cognitively learning to generate scripts that simulate live-agent actions and responses in synchronous conferencing
CN114528387A (zh) 基于对话流自举的深度学习对话策略模型构建方法和系统
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
CN115186071A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN112597777A (zh) 一种多轮对话改写方法和装置
CN117980915A (zh) 用于端到端自监督预训练的对比学习和掩蔽建模
CN115545738A (zh) 一种推荐方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant