CN114969352B - 文本处理方法、系统、存储介质及电子设备 - Google Patents

文本处理方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN114969352B
CN114969352B CN202210924953.1A CN202210924953A CN114969352B CN 114969352 B CN114969352 B CN 114969352B CN 202210924953 A CN202210924953 A CN 202210924953A CN 114969352 B CN114969352 B CN 114969352B
Authority
CN
China
Prior art keywords
quality inspection
text
classified
single sentence
inspection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210924953.1A
Other languages
English (en)
Other versions
CN114969352A (zh
Inventor
傅佳琪
许皓天
张�荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210924953.1A priority Critical patent/CN114969352B/zh
Publication of CN114969352A publication Critical patent/CN114969352A/zh
Application granted granted Critical
Publication of CN114969352B publication Critical patent/CN114969352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文本处理方法、系统、存储介质及电子设备。其中,该方法包括:获取待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对待分类文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于对待分类文本进行情感倾向评估。本发明解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。

Description

文本处理方法、系统、存储介质及电子设备
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种文本处理方法、系统、存储介质及电子设备。
背景技术
随着各类用户规则的完善和监管力度的提升,对于客服的能力要求也越来越高。例如,在涉及用户个人信息的相关规则更新落地后,客服在解决此类问题时,如果对于该规则生疏,则会导致诸多的潜在问题,例如错误引导、答非所问、流程不规范等,这种潜在问题一方面造成用户负面情绪反馈,另一方面也给平台造成法律风险。
客诉质检是控制客服风险的重要手段,相关技术中的质检方案仅能实现对用户单点情绪的反馈,或者对客诉中出现的冲突行为进行识别,或者对客服是否按常见问答库(Frequently Asked Questions,FAQ)手册进行标准回复的质检,但是,在复杂场景中这种质检方案难以获得全面可靠的质检结果。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种文本处理方法、系统、存储介质及电子设备,以至少解决相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
根据本发明其中一实施例,提供了一种文本处理方法,包括:获取待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对待分类文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于对待分类文本进行情感倾向评估。
根据本发明其中一实施例,还提供了一种文本处理方法,包括:接收来自于客户端的待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,从第二质检维度对待分类文本进行对话质检,得到第二质检结果,以及基于第一质检结果和第二质检结果,生成目标质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签,目标质检结果用于对待分类文本进行情感倾向评估;将目标质检结果反馈至客户端。
根据本发明其中一实施例,还提供了一种文本处理方法,包括:获取客服对话文本;从第一质检维度对客服对话文本进行对话质检,得到第一质检结果,以及从第二质检维度对客服对话文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定客服对话文本是否采用客诉场景下常见问答库的指导话术,第二质检维度用于基于客诉分类标签体系预测客服对话文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
根据本发明其中一实施例,还提供了一种文本处理方法,包括:获取客服对话文本和客服对话文本对应的分类标签描述,其中,客服对话文本用于记录客服角色与客户角色之间的对话消息;按照对话消息的次数,对客服对话文本进行划分,得到多个单句;获取多个单句中至少一个单句的上文单句与下文单句;对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果;采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签,其中,多个单句对应的分类标签用于预测客服角色在多个单句存在的服务问题以及客户角色的情绪反馈。
根据本发明其中一实施例,还提供了一种文本处理系统,包括:客户端和服务端;客户端用于获取客服对话文本和客服对话文本对应的分类标签描述,其中,客服对话文本用于记录客服角色与客户角色之间的对话消息;服务端,用于按照对话消息的次数,对客服对话文本进行划分,得到多个单句,获取多个单句中至少一个单句的上文单句与下文单句,对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果,以及采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签,其中,多个单句对应的分类标签用于预测客服角色在多个单句存在的服务问题以及客户角色的情绪反馈;服务端,还用于将分类标签反馈至客户端。
根据本发明其中一实施例,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行本发明实施例中任意一项的文本处理方法。
根据本发明其中一实施例,还提供了一种电子设备,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:获取待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对待分类文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于对待分类文本进行情感倾向评估。
在本发明实施例中,通过对第二角色和第二角色之间的对话消息分别从第一质检维度和第二质检维度进行对话质检,得到第一质检结果和第二质检结果,进而基于第一质检结果和第二质检结果生成目标质检结果,以实现对于对话消息更为全面的情感倾向评估。即本发明实施例能够综合对话消息是否采用预设场景下常见问答库的指导话术的匹配结果,以及对话消息在预设分类标签体系中对应的分类标签结果,生成对于对话消息的质检结果,由此,本发明实施例达到了对于客诉对话进行全面质检的目的,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了一种用于实现文本处理方法的计算机终端(或移动设备)的硬件结构框图;
图2是根据本发明实施例的一种文本处理方法的流程图;
图3是根据本发明实施例的一种文本处理方法的示意图;
图4是根据本发明实施例的又一种文本处理方法的流程图;
图5是根据本发明实施例的一种在云端服务器进行文本处理方法的示意图;
图6是根据本发明实施例的又一种文本处理方法的流程图;
图7是根据本发明实施例的又一种文本处理方法的流程图;
图8是根据本发明实施例的一种文本处理装置的结构示意图;
图9是根据本发明实施例的又一种文本处理装置的结构示意图;
图10是根据本发明实施例的又一种文本处理装置的结构示意图;
图11是根据本发明实施例的又一种文本处理装置的结构示意图;
图12是根据本发明实施例的另一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
对话质检:指对平台客诉进行复盘检查,识别客服风险点与用户满意度等。
小样本:指样本数量相对较少的机器学习任务。
常见问答库(Frequently Asked Questions,FAQ):在客诉场景下,通常服务方会制定FAQ手册,帮助客服在遇到指定问题的场景下,给定相应标准话术。
标签体系(Schema):在本发明实施例中是指对客服问题的分类标签体系。
实施例1
根据本发明实施例,还提供了一种文本处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现文本处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a,102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器(MicroControl Unit,MCU)或可编程逻辑器件(Field Programmable Gate,FPGA)等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、光标控制设备、键盘、通用串行总线(Universal SerialBus,USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本发明实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的文本处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的文本处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯,传输装置106还包括有网络接口。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(Liquid Crystal Display,LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下,本发明提供了如图2所示的文本处理方法。图2是根据本发明实施例的一种文本处理方法的流程图,如图2所示,该文本处理方法包括:
步骤S22,获取待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;
步骤S24,从第一质检维度对待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对待分类文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签;
步骤S26,基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于对待分类文本进行情感倾向评估。
在一种可选的实施例中,第一角色为客服角色,第二角色为客户角色,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。例如,客服角色可以为移动应用中提供客户服务的功能主体,客户角色为该功能主体的服务对象,即普通用户,上述待分类文本用于记录客服角色和客户角色之间的对话消息。
上述第一质检维度可以为FAQ维度,其中,FAQ维度用于确定第一角色与第二角色之间的对话文本是否采用了FAQ手册进行标准回复。具体的,在FAQ手册中包含多个问题-标准答案对,从第一维度对待分类文本进行对话质检时,可以基于文本相似度匹配技术进行质检,例如,基于客诉问题与FAQ问题相似度匹配,进而计算待分类文本中是否包含标准答案,其中,相似匹配的过程可以为:获取嵌入结果(bert embedding),进而计算余弦(cosine)相似度,得到第一质检结果。
上述第二质检维度可以为生成式模型的预测维度,在该维度下能够基于客服问题的分类标签体系预测待分类文本对应的分类标签。其中,客服问题可以包括错误引导、答非所问、流程不规范等,例如,在客服进行错误引导时,暗示商家杀熟,或者客服给出消极建议,如建议卸载应用程序(Application,APP)等,这些细化的客服问题类型,经常面临新增、删除、补充等服务调整,灵活度较高。
在本发明实施例中,通过对第二角色和第二角色之间的对话消息分别从第一质检维度和第二质检维度进行对话质检,得到第一质检结果和第二质检结果,进而基于第一质检结果和第二质检结果生成目标质检结果,以实现对于对话消息更为全面的情感倾向评估。即本发明实施例能够综合对话消息是否采用预设场景下常见问答库的指导话术的匹配结果,以及对话消息在预设分类标签体系中对应的分类标签结果,生成对于对话消息的质检结果,由此,本发明实施例达到了对于客诉对话进行全面质检的目的,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
可选地,本发明所提供的上述文本处理方法可以但不限于应用于一般的客诉场景,实现对于用户单点情绪的反馈、客诉中冲突行为的识别以及对克服是否按FAQ手册进行标准回复的质检,还可以应用于更为复杂的客诉场景当中。例如,在第一角色与第二角色的对话中出现有关用户个人信息的相关内容时,本发明的文本处理方法能够细化客服犯错的类型,从而进行专项治理。
在一种可选的实施例中,在步骤S24,从第二质检维度对待分类文本进行对话质检,得到第二质检结果包括:
采用目标生成模型对待分类文本进行对话质检,得到第二质检结果,其中,目标生成模型由多组数据通过机器学习训练得到,多组数据中的每组数据包括:样本对话文本和分类标签描述。
上述目标生成模型可以为提示(prompt)生成模型,该prompt生成模型可以由多组数据通过机器学习训练得到,多组数据中的每组数据包括:样本对话文本和Schema标签描述,样本对话文本可以包括第一角色与第二角色之间的历史对话文本。
基于上述可选实施例,通过采用目标生成模型对待分类文本进行对话质检,从而能够快速基于预设分类标签体系预测待分类文本对应的分类标签,有效提升质检效率。
在一种可选的实施例中,采用目标生成模型对待分类文本进行对话质检,得到第二质检结果包括:按照对话消息的次数,对待分类文本进行划分,得到多个单句;采用目标生成模型对多个单句和分类标签描述进行对话质检,得到第二质检结果。
具体的,将待分类文本进行划分,得到待分类文本中第一角色与第二角色对话的多个单句,例如,获取到客服角色与客户角色之间的对话消息1(utterance),对对话消息1进行划分可以得到n个单句,如单句1(u_1),单句2(u_2),单句3(u_3),单句4(u_4),单句5(u_5),······,单句i(u_n)。其中,n为客服角色与客户角色之间的对话消息次数。采用目标生成模型对i个单句和Schema标签描述进行对话质检,得到第二质检结果。
基于上述可选实施例,通过对待分类文本进行划分,得到多个单句,进而采用目标生成模型对多个单句和分类标签描述进行对话质检,能够得到第二质检结果,进一步保证质检结果的可靠性。
在一种可选的实施例中,采用目标生成模型对多个单句和分类标签描述进行对话质检,得到第二质检结果包括:获取多个单句中至少一个单句的上文单句与下文单句;对多个单句中至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的第一拼接结果;采用目标生成模型对第一拼接结果进行对话质检,得到多个单句对应的分类标签;对多个单句对应的分类标签进行统计,得到第二质检结果。
在一种可选的实施例中,多个单句对应的分类标签用于预测第一角色在多个单句中存在的服务问题,以及第二角色的情绪反馈。
具体的,获取多个单句中第i个单句u_i的上文单句u_i-1和下文单句u_i+1,从而构建上下文对(u_i-1,u_i,u_i+1),从而使得prompt生成模型学习到上下文知识。基于服务方提供的客诉问题及用户情绪的分类标签Schema,抽取每个分类标签l_i及其对应的分类标签描述desc_i,从而聚合为分类标签描述文本集L=(l_i,desc_i),最后把所有分类标签和分类标签描述用特殊令牌(token)进行拼接。
例如,分类标签1为“消极建议”,分类标签1对应的分类标签描述为“诱导用户放弃使用当前产品”,分类标签2为“积极建议”,分类标签2对应的分类标签描述为“为用户推荐当前产品的其他功能”,分类标签3为“消极建议”,分类标签3对应的分类标签描述为“不支持解答用户疑问,建议用户长时间等待人工处理”,则分类标签描述文本集L为“消极建议:诱导用户放弃使用当前产品[TOKEN]标签2:积极建议:为用户推荐当前产品的其他功能[TOKEN]消极建议:不支持解答用户疑问,建议用户长时间等待人工处理[TOKEN]....”。
多个单句中第i个单句u_i的上文单句u_i-1和下文单句u_i+1和分类标签描述文本集L=(l_i,desc_i)进行文本拼接,得到第一拼接结果。例如,将多个单句中至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述使用分隔符[SEP]拼起来,得到的第一拼接结果为:[CSL]对话上下文[SEP]分类标签描述文本。进一步的,利用目标生成模型提取分隔符[CLS]后对话上下文的嵌入向量并进行多标签多分类预测,如预测客服问题和用户情绪,从而可以利用每个单句对应的分类标签预测客服角色在每个单句存在的服务问题,以及客户角色的情绪反馈,对多个单句中每个单句对应的分类标签进行统计,从而得到第二质检结果。
基于上述可选实施例,通过获取多个单句中至少一个单句的上文单句与下文单句,进而对多个单句中至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的第一拼接结果,随后采用目标生成模型对第一拼接结果进行对话质检,得到多个单句中每个单句对应的分类标签,最后对多个单句中每个单句对应的分类标签进行统计,得到第二质检结果,能够将对话上下文与Schema标签描述拼接,构建prompt生成模型,达到使用少样本质检降低标注成本以及灵活调整分类标签体系的效果。
在一种可选的实施例中,本发明实施例的文本处理方法还包括:对样本对话文本和分类标签描述进行文本拼接,得到第二拼接结果;采用第二拼接结果对预训练模型进行微调,得到目标生成模型,其中,预训练模型采用预设文本语料训练得到,预训练模型用于识别待分类文本。
具体的,将预设文本语料的多个单句中至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的第二拼接结果,将第二拼接结果输入至预训练模型,采用第二拼接结果对预训练模型进行微调(fine-tuning),得到目标生成模型。其中,预训练模型可以基于大规模的预设文本语料训练,可选择开源模型如M6,然后基于少量的客诉质检样本进行fine-tuning后便可获得目标生成模型。
基于上述可选实施例,通过对样本对话文本和分类标签描述进行文本拼接,得到第二拼接结果,进而采用第二拼接结果对预训练模型进行微调,能够得到高性能的目标生成模型,从而实现对于小样本数据的分析预测,节约样本标注成本,提升对于客诉对话的质检效率。
在一种可选的实施例中,在步骤S26,基于第一质检结果和第二质检结果,生成目标质检结果包括:基于第一质检结果确定待分类文本与常见问答库的指导话术之间的匹配度,得到匹配结果;基于第二质检结果确定第一角色在待分类文本中存在的服务问题,以及第二角色在待分类文本中存在的情绪反馈;通过匹配结果、服务问题和情绪反馈进行综合评估,生成目标质检结果。
图3是根据本发明实施例的一种文本处理方法的示意图,如图3所示,获取客服角色与客户角色之间的对话消息全文后,首先进行标准话术质检,即在FAQ维度确定客服角色与客户角色之间的对话文本是否采用了FAQ手册进行标准回复。同时可以进行客服问题质检,具体的,按照对话消息的次数对客服角色与客户角色之间的对话全文进行划分,得到多个单句,如单句1(u_1),单句2(u_2),单句3(u_3),单句4(u_4),单句5(u_5)。随后获取多个单句中每个单句的上文单句与下文单句,例如,单句1(u_1)的上文单句为单句0(u_0),单句1(u_1)的下文单句为单句2(u_2);单句2(u_2)的上文单句为单句1(u_1),单句2(u_2)的下文单句为单句3(u_3);单句3(u_3)的上文单句为单句2(u_2),单句3(u_3)的下文单句为单句4(u_4)。对多个单句中每个单句,每个单句的上文单句,每个单句的下文单句以及分类标签描述进行文本拼接,得到第一拼接结果,进而采用目标生成模型对第一拼接结果进行对话质检,得到多个单句中每个单句对应的分类标签,其中,多个单句中每个单句对应的分类标签可以基于目标生成模型最后一层的隐藏(hidden)向量而生成,最后对多个单句中每个单句对应的分类标签进行统计,得到第二质检结果。
例如,基于隐藏向量h_1对于单句1(u_1)预测的分类标签为客服问题1、用户情绪1;基于隐藏向量h_2对于单句2(u_2)预测的分类标签为客服问题2、用户情绪2;基于隐藏向量h_3对于单句3(u_3)预测的分类标签为客服问题3、用户情绪3,将每个单句对应的分类标签进行统计,得到第二质检结果。完成质检流程后,可得到“是否按标准话术回复”、客服问题、用户情绪三个维度的质检结果,进而直接基于这三个维度的质检结果判断最终质检结果,从而实现对待分类文本进行情感倾向评估,获得可靠的客诉对话质检结果。
本发明实施例中的文本处理方法采用了prompt生成式模型,少量样本即可获得可靠的质检结果,在实际应用中,prompt生成模型在10个样本条件下,就可以达到全量样本93%的准确性能,有效保证了质检效率,节约了样本标注成本,同时服务方可以灵活更换分类标签体系,能够进一步保证质检结果的可靠性。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种文本处理方法,该文本处理方法在云端服务器上运行,图4是根据本发明实施例的又一种文本处理方法的流程图,如图4所示,该文本处理方法,包括:
步骤S42,接收来自于客户端的待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;
步骤S44,从第一质检维度对待分类文本进行对话质检,得到第一质检结果,从第二质检维度对待分类文本进行对话质检,得到第二质检结果,以及基于第一质检结果和第二质检结果,生成目标质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签,目标质检结果用于对待分类文本进行情感倾向评估;
步骤S46,将目标质检结果反馈至客户端。
可选地,图5是根据本发明实施例的一种在云端服务器进行文本处理方法的示意图,如图5所示,云端服务器通过网络从客户端获取第一角色与第二角色之间的对话消息,进而分别第一质检维度和第二质检维度对该对话中的待分类文本进行对话质检,分别得到第一质检结果和第二质检结果,最后基于第一质检结果和第二质检结果,生成目标质检结果,最后将将目标质检结果反馈至客户端。
需要说明的是,本发明实施例所提供的上述文本处理方法,可以但不限于适用于对于客诉对话进行质检的实际应用场景,通过SaaS服务端和客户端进行交互的方式,对于客诉对话进行全面质检,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
实施例3
根据本发明实施例,还提供了一种文本处理方法,该文本处理方法在云端服务器上运行,图6是根据本发明实施例的又一种文本处理方法的流程图,如图6所示,该文本处理方法,包括:
步骤S62,获取客服对话文本;
步骤S64,从第一质检维度对客服对话文本进行对话质检,得到第一质检结果,以及从第二质检维度对客服对话文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定客服对话文本是否采用客诉场景下常见问答库的指导话术,第二质检维度用于基于客诉分类标签体系预测客服对话文本对应的分类标签;
步骤S66,基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
在本发明实施例中,通过对第二角色和第二角色之间的对话消息分别从第一质检维度和第二质检维度进行对话质检,得到第一质检结果和第二质检结果,进而基于第一质检结果和第二质检结果生成目标质检结果,以实现对于对话消息更为全面的情感倾向评估。即本发明实施例能够综合对话消息是否采用预设场景下常见问答库的指导话术的匹配结果,以及对话消息在预设分类标签体系中对应的分类标签结果,生成对于对话消息的质检结果,由此,本发明实施例达到了对于客诉对话进行全面质检的目的,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
实施例4
根据本发明实施例,还提供了一种文本处理方法,图7是根据本发明实施例的又一种文本处理方法的流程图,如图7所示,该文本处理方法,包括:
步骤S70,获取客服对话文本和客服对话文本对应的分类标签描述,其中,客服对话文本用于记录客服角色与客户角色之间的对话消息;
步骤S72,按照对话消息的次数,对客服对话文本进行划分,得到多个单句;
步骤S74,获取多个单句中至少一个单句的上文单句与下文单句;
步骤S76,对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果;
步骤S78,采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签,其中,多个单句对应的分类标签用于预测客服角色在多个单句存在的服务问题以及客户角色的情绪反馈。
基于上述步骤S70至步骤S78,通过获取客服对话文本和客服对话文本对应的分类标签描述,进而按照对话消息的次数,对客服对话文本进行划分,得到多个单句,随后获取多个单句中至少一个单句的上文单句与下文单句,对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果,最后采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签。由此,本发明实施例达到了对于客诉对话进行全面质检的目的,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
实施例5
根据本发明实施例,还提供了一种用于实施上述文本处理方法的文本处理装置,图8是根据本发明实施例的一种文本处理装置的结构示意图,如图8所示,该装置包括:
获取模块801,用于获取待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;
质检模块802,用于从第一质检维度对待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对待分类文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签;
生成模块803,用于基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于对待分类文本进行情感倾向评估。
可选地,第一角色为客服角色,第二角色为客户角色,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
可选地,质检模块802还用于:采用目标生成模型对待分类文本进行对话质检,得到第二质检结果,其中,目标生成模型由多组数据通过机器学习训练得到,多组数据中的每组数据包括:样本对话文本和分类标签描述。
可选地,质检模块802还用于:按照对话消息的次数,对待分类文本进行划分,得到多个单句;采用目标生成模型对多个单句和分类标签描述进行对话质检,得到第二质检结果。
可选地,获取模块801还用于获取多个单句中至少一个单句的上文单句与下文单句;文本处理装置还包括:拼接模块(未示出),用于对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的第一拼接结果;质检模块802还用于采用目标生成模型对第一拼接结果进行对话质检,得到多个单句对应的分类标签;质检模块802还用于对多个单句对应的分类标签进行统计,得到第二质检结果。
可选地,多个单句对应的分类标签用于预测第一角色在多个单句中存在的服务问题,以及第二角色的情绪反馈。
可选地,拼接模块还用于对样本对话文本和分类标签描述进行文本拼接,得到第二拼接结果;文本处理装置还包括:调整模块(未示出),用于采用第二拼接结果对预训练模型进行微调,得到目标生成模型,其中,预训练模型采用预设文本语料训练得到,预训练模型用于识别待分类文本。
可选地,生成模块803还用于:基于第一质检结果确定待分类文本与常见问答库的指导话术之间的匹配度,得到匹配结果;基于第二质检结果确定第一角色在待分类文本中存在的服务问题,以及第二角色在待分类文本中存在的情绪反馈;通过匹配结果、服务问题和情绪反馈进行综合评估,生成目标质检结果。
此处需要说明的是,上述获取模块801、质检模块802和生成模块803对应于实施例1中的步骤S22至步骤S26,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
可选的,图9是根据本发明实施例的又一种文本处理装置的结构示意图,如图9所示,该装置包括:接收模块901,用于接收来自于客户端的待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;质检模块902,用于从第一质检维度对待分类文本进行对话质检,得到第一质检结果,从第二质检维度对待分类文本进行对话质检,得到第二质检结果,以及基于第一质检结果和第二质检结果,生成目标质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签,目标质检结果用于对待分类文本进行情感倾向评估;反馈模块903,用于将目标质检结果反馈至客户端。
此处需要说明的是,上述接收模块901、质检模块902和反馈模块903对应于实施例2中的步骤S42至步骤S46,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例所公开的内容。
可选的,图10是根据本发明实施例的又一种文本处理装置的结构示意图,如图10所示,该装置包括:获取模块1001,用于获取客服对话文本;质检模块1002,用于从第一质检维度对客服对话文本进行对话质检,得到第一质检结果,以及从第二质检维度对客服对话文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定客服对话文本是否采用客诉场景下常见问答库的指导话术,第二质检维度用于基于客诉分类标签体系预测客服对话文本对应的分类标签;生成模块1003,用于基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
此处需要说明的是,上述获取模块1001、质检模块1002和生成模块1003对应于实施例3中的步骤S62至步骤S66,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例所公开的内容。
可选的,图11是根据本发明实施例的又一种文本处理装置的结构示意图,如图11所示,该装置包括:获取模块1101,用于获取客服对话文本和客服对话文本对应的分类标签描述,其中,客服对话文本用于记录客服角色与客户角色之间的对话消息;划分模块1102,用于按照对话消息的次数,对客服对话文本进行划分,得到多个单句;获取模块1101还用于获取多个单句中至少一个单句的上文单句与下文单句;拼接模块1103,用于对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果;质检模块1104,用于采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签,其中,多个单句对应的分类标签用于预测客服角色在多个单句存在的服务问题以及客户角色的情绪反馈。
此处需要说明的是,上述获取模块1101、划分模块1102、拼接模块1103、质检模块1104对应于实施例4中的步骤S70至步骤S78,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例所公开的内容。
在本发明实施例中,通过对第二角色和第二角色之间的对话消息分别从第一质检维度和第二质检维度进行对话质检,得到第一质检结果和第二质检结果,进而基于第一质检结果和第二质检结果生成目标质检结果,以实现对于对话消息更为全面的情感倾向评估。即本发明实施例能够综合对话消息是否采用预设场景下常见问答库的指导话术的匹配结果,以及对话消息在预设分类标签体系中对应的分类标签结果,生成对于对话消息的质检结果,由此,本发明实施例达到了对于客诉对话进行全面质检的目的,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
实施例6
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行文本处理方法中以下步骤的程序代码:获取待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对待分类文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于对待分类文本进行情感倾向评估。
在本实施例中,上述计算机终端可以执行文本处理方法中以下步骤的程序代码:接收来自于客户端的待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,从第二质检维度对待分类文本进行对话质检,得到第二质检结果,以及基于第一质检结果和第二质检结果,生成目标质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签,目标质检结果用于对待分类文本进行情感倾向评估;将目标质检结果反馈至客户端。
在本实施例中,上述计算机终端可以执行文本处理方法中以下步骤的程序代码:获取客服对话文本;从第一质检维度对客服对话文本进行对话质检,得到第一质检结果,以及从第二质检维度对客服对话文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定客服对话文本是否采用客诉场景下常见问答库的指导话术,第二质检维度用于基于客诉分类标签体系预测客服对话文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
在本实施例中,上述计算机终端可以执行文本处理方法中以下步骤的程序代码:获取客服对话文本和客服对话文本对应的分类标签描述,其中,客服对话文本用于记录客服角色与客户角色之间的对话消息;按照对话消息的次数,对客服对话文本进行划分,得到多个单句;获取多个单句中至少一个单句的上文单句与下文单句;对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果;采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签,其中,多个单句对应的分类标签用于预测客服角色在多个单句存在的服务问题以及客户角色的情绪反馈。
可选地,图12是根据本发明实施例的另一种计算机终端的结构框图,如图12所示,该计算机终端可以包括:一个或多个(图中仅示出一个)处理器1202、存储器1204以及外设接口1206。其中,存储器可以通过存储控制器与处理器1202、外设接口1206相连,外设接口1206还可用于连接显示屏、音频模块、射频模块。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的文本处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的系统漏洞攻击的检测方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:接收来自于客户端的待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,从第二质检维度对待分类文本进行对话质检,得到第二质检结果,以及基于第一质检结果和第二质检结果,生成目标质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签,目标质检结果用于对待分类文本进行情感倾向评估;将目标质检结果反馈至客户端。
可选的,第一角色为客服角色,第二角色为客户角色,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
可选的,上述处理器还可以执行如下步骤的程序代码:采用目标生成模型对待分类文本进行对话质检,得到第二质检结果,其中,目标生成模型由多组数据通过机器学习训练得到,多组数据中的每组数据包括:样本对话文本和分类标签描述。
可选的,上述处理器还可以执行如下步骤的程序代码:按照对话消息的次数,对待分类文本进行划分,得到多个单句;采用目标生成模型对多个单句和分类标签描述进行对话质检,得到第二质检结果。
可选的,上述处理器还可以执行如下步骤的程序代码:获取多个单句中至少一个单句的上文单句与下文单句;对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的第一拼接结果;采用目标生成模型对第一拼接结果进行对话质检,得到多个单句对应的分类标签;对多个单句对应的分类标签进行统计,得到第二质检结果。
可选的,多个单句对应的分类标签用于预测第一角色在多个单句中存在的服务问题,以及第二角色的情绪反馈。
可选的,上述处理器还可以执行如下步骤的程序代码:对样本对话文本和分类标签描述进行文本拼接,得到第二拼接结果;采用第二拼接结果对预训练模型进行微调,得到目标生成模型,其中,预训练模型采用预设文本语料训练得到,预训练模型用于识别待分类文本。
可选的,上述处理器还可以执行如下步骤的程序代码:基于第一质检结果确定待分类文本与常见问答库的指导话术之间的匹配度,得到匹配结果;基于第二质检结果确定第一角色在待分类文本中存在的服务问题,以及第二角色在待分类文本中存在的情绪反馈;通过匹配结果、服务问题和情绪反馈进行综合评估,生成目标质检结果。
在本发明实施例中,通过对第二角色和第二角色之间的对话消息分别从第一质检维度和第二质检维度进行对话质检,得到第一质检结果和第二质检结果,进而基于第一质检结果和第二质检结果生成目标质检结果,以实现对于对话消息更为全面的情感倾向评估。即本发明实施例能够综合对话消息是否采用预设场景下常见问答库的指导话术的匹配结果,以及对话消息在预设分类标签体系中对应的分类标签结果,生成对于对话消息的质检结果,由此,本发明实施例达到了对于客诉对话进行全面质检的目的,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
本领域普通技术人员可以理解,图12所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如,计算机终端还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图12所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例7
本发明的实施例还提供了一种文本处理系统,该系统包括:客户端和服务端;客户端用于获取客服对话文本和客服对话文本对应的分类标签描述,其中,客服对话文本用于记录客服角色与客户角色之间的对话消息;服务端,用于按照对话消息的次数,对客服对话文本进行划分,得到多个单句,获取多个单句中至少一个单句的上文单句与下文单句,对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果,以及采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签,其中,多个单句对应的分类标签用于预测客服角色在多个单句存在的服务问题以及客户角色的情绪反馈;服务端,还用于将分类标签反馈至客户端。
在本发明实施例中,通过对第二角色和第二角色之间的对话消息分别从第一质检维度和第二质检维度进行对话质检,得到第一质检结果和第二质检结果,进而基于第一质检结果和第二质检结果生成目标质检结果,以实现对于对话消息更为全面的情感倾向评估。即本发明实施例能够综合对话消息是否采用预设场景下常见问答库的指导话术的匹配结果,以及对话消息在预设分类标签体系中对应的分类标签结果,生成对于对话消息的质检结果,由此,本发明实施例达到了对于客诉对话进行全面质检的目的,从而实现了提高客诉对话的质检结果可靠性的技术效果,进而解决了相关技术中由于对客诉对话质检不全面而导致质检结果可靠性低下的技术问题。
实施例8
本发明的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例所提供的文本处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对待分类文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于对待分类文本进行情感倾向评估。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收来自于客户端的待分类文本,其中,待分类文本用于记录第一角色与第二角色之间的对话消息;从第一质检维度对待分类文本进行对话质检,得到第一质检结果,从第二质检维度对待分类文本进行对话质检,得到第二质检结果,以及基于第一质检结果和第二质检结果,生成目标质检结果,其中,第一质检维度用于确定待分类文本是否采用预设场景下常见问答库的指导话术,第二质检维度用于基于预设分类标签体系预测待分类文本对应的分类标签,目标质检结果用于对待分类文本进行情感倾向评估;将目标质检结果反馈至客户端。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取客服对话文本;从第一质检维度对客服对话文本进行对话质检,得到第一质检结果,以及从第二质检维度对客服对话文本进行对话质检,得到第二质检结果,其中,第一质检维度用于确定客服对话文本是否采用客诉场景下常见问答库的指导话术,第二质检维度用于基于客诉分类标签体系预测客服对话文本对应的分类标签;基于第一质检结果和第二质检结果,生成目标质检结果,其中,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取客服对话文本和客服对话文本对应的分类标签描述,其中,客服对话文本用于记录客服角色与客户角色之间的对话消息;按照对话消息的次数,对客服对话文本进行划分,得到多个单句;获取多个单句中至少一个单句的上文单句与下文单句;对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的拼接结果;采用目标生成模型对拼接结果进行对话质检,得到多个单句对应的分类标签,其中,多个单句对应的分类标签用于预测客服角色在多个单句存在的服务问题以及客户角色的情绪反馈。
可选地,在本实施例中,第一角色为客服角色,第二角色为客户角色,目标质检结果用于识别客服角色的服务风险与客户角色的服务满意度。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:采用目标生成模型对待分类文本进行对话质检,得到第二质检结果,其中,目标生成模型由多组数据通过机器学习训练得到,多组数据中的每组数据包括:样本对话文本和分类标签描述。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:按照对话消息的次数,对待分类文本进行划分,得到多个单句;采用目标生成模型对多个单句和分类标签描述进行对话质检,得到第二质检结果。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取多个单句中至少一个单句的上文单句与下文单句;对至少一个单句,至少一个单句的上文单句,至少一个单句的下文单句以及分类标签描述进行文本拼接,得到至少一个单句对应的第一拼接结果;采用目标生成模型对第一拼接结果进行对话质检,得到多个单句对应的分类标签;对多个单句对应的分类标签进行统计,得到第二质检结果。
可选地,在本实施例中,多个单句对应的分类标签用于预测第一角色在多个单句中存在的服务问题,以及第二角色的情绪反馈。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:对样本对话文本和分类标签描述进行文本拼接,得到第二拼接结果;采用第二拼接结果对预训练模型进行微调,得到目标生成模型,其中,预训练模型采用预设文本语料训练得到,预训练模型用于识别待分类文本。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:基于第一质检结果确定待分类文本与常见问答库的指导话术之间的匹配度,得到匹配结果;基于第二质检结果确定第一角色在待分类文本中存在的服务问题,以及第二角色在待分类文本中存在的情绪反馈;通过匹配结果、服务问题和情绪反馈进行综合评估,生成目标质检结果。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种文本处理方法,其特征在于,包括:
获取待分类文本,其中,所述待分类文本用于记录第一角色与第二角色之间的对话消息;
从第一质检维度对所述待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对所述待分类文本进行对话质检,得到第二质检结果,其中,所述第一质检维度用于确定所述待分类文本是否采用预设场景下常见问答库的指导话术,所述第二质检维度用于基于预设分类标签体系预测所述待分类文本对应的分类标签;
基于所述第一质检结果和所述第二质检结果,生成目标质检结果,其中,所述目标质检结果用于对所述待分类文本进行情感倾向评估;
其中,从所述第二质检维度对所述待分类文本进行对话质检,得到所述第二质检结果包括:
按照所述对话消息的次数,对所述待分类文本进行划分,得到多个单句;获取所述多个单句中至少一个单句的上文单句与下文单句;对所述至少一个单句,所述至少一个单句的上文单句,所述至少一个单句的下文单句以及所述分类标签描述进行文本拼接,得到所述至少一个单句对应的第一拼接结果;采用目标生成模型对所述第一拼接结果进行对话质检,得到所述多个单句对应的分类标签;对所述多个单句对应的分类标签进行统计,得到所述第二质检结果;其中,所述多个单句对应的分类标签用于预测所述第一角色在所述多个单句中存在的服务问题,以及所述第二角色的情绪反馈。
2.根据权利要求1所述的文本处理方法,其特征在于,所述第一角色为客服角色,所述第二角色为客户角色,所述目标质检结果用于识别所述客服角色的服务风险与所述客户角色的服务满意度。
3.根据权利要求1或2所述的文本处理方法,其特征在于,从所述第二质检维度对所述待分类文本进行对话质检,得到所述第二质检结果包括:
采用目标生成模型对所述待分类文本进行对话质检,得到所述第二质检结果,其中,所述目标生成模型由多组数据通过机器学习训练得到,所述多组数据中的每组数据包括:样本对话文本和分类标签描述。
4.根据权利要求3所述的文本处理方法,其特征在于,采用所述目标生成模型对所述待分类文本进行对话质检,得到所述第二质检结果包括:
采用所述目标生成模型对所述多个单句和所述分类标签描述进行对话质检,得到所述第二质检结果。
5.根据权利要求3所述的文本处理方法,其特征在于,所述文本处理方法还包括:
对所述样本对话文本和所述分类标签描述进行文本拼接,得到第二拼接结果;
采用所述第二拼接结果对预训练模型进行微调,得到所述目标生成模型,其中,所述预训练模型采用预设文本语料训练得到,所述预训练模型用于识别所述待分类文本。
6.根据权利要求1所述的文本处理方法,其特征在于,基于所述第一质检结果和所述第二质检结果,生成所述目标质检结果包括:
基于所述第一质检结果确定所述待分类文本与所述常见问答库的指导话术之间的匹配度,得到匹配结果;
基于所述第二质检结果确定所述第一角色在所述待分类文本中存在的服务问题,以及所述第二角色在所述待分类文本中存在的情绪反馈;
通过所述匹配结果、所述服务问题和所述情绪反馈进行综合评估,生成所述目标质检结果。
7.一种文本处理方法,其特征在于,包括:
接收来自于客户端的待分类文本,其中,所述待分类文本用于记录第一角色与第二角色之间的对话消息;
从第一质检维度对所述待分类文本进行对话质检,得到第一质检结果,从第二质检维度对所述待分类文本进行对话质检,得到第二质检结果,以及基于所述第一质检结果和所述第二质检结果,生成目标质检结果,其中,所述第一质检维度用于确定所述待分类文本是否采用预设场景下常见问答库的指导话术,所述第二质检维度用于基于预设分类标签体系预测所述待分类文本对应的分类标签,所述目标质检结果用于对所述待分类文本进行情感倾向评估;
将所述目标质检结果反馈至所述客户端;
其中,从所述第二质检维度对所述待分类文本进行对话质检,得到所述第二质检结果包括:
按照所述对话消息的次数,对所述待分类文本进行划分,得到多个单句;获取所述多个单句中至少一个单句的上文单句与下文单句;对所述至少一个单句,所述至少一个单句的上文单句,所述至少一个单句的下文单句以及所述分类标签描述进行文本拼接,得到所述至少一个单句对应的第一拼接结果;采用目标生成模型对所述第一拼接结果进行对话质检,得到所述多个单句对应的分类标签;对所述多个单句对应的分类标签进行统计,得到所述第二质检结果;其中,所述多个单句对应的分类标签用于预测所述第一角色在所述多个单句中存在的服务问题,以及所述第二角色的情绪反馈。
8.一种文本处理方法,其特征在于,包括:
获取客服对话文本,其中,所述客服对话文本用于记录客服角色与客户角色之间的对话消息;
从第一质检维度对所述客服对话文本进行对话质检,得到第一质检结果,以及从第二质检维度对所述客服对话文本进行对话质检,得到第二质检结果,其中,所述第一质检维度用于确定所述客服对话文本是否采用客诉场景下常见问答库的指导话术,所述第二质检维度用于基于客诉分类标签体系预测所述客服对话文本对应的分类标签;
基于所述第一质检结果和所述第二质检结果,生成目标质检结果,其中,所述目标质检结果用于识别所述客服角色的服务风险与所述客户角色的服务满意度;
其中,从所述第二质检维度对所述客服对话文本进行对话质检,得到所述第二质检结果包括:
按照所述对话消息的次数,对所述客服对话文本进行划分,得到多个单句;获取所述多个单句中至少一个单句的上文单句与下文单句;对所述至少一个单句,所述至少一个单句的上文单句,所述至少一个单句的下文单句以及所述分类标签描述进行文本拼接,得到所述至少一个单句对应的第一拼接结果;采用目标生成模型对所述第一拼接结果进行对话质检,得到所述多个单句对应的分类标签;对所述多个单句对应的分类标签进行统计,得到所述第二质检结果;其中,所述多个单句对应的分类标签用于预测所述客服角色在所述多个单句中存在的服务问题,以及所述客户角色的情绪反馈。
9.一种文本处理方法,其特征在于,包括:
获取客服对话文本和所述客服对话文本对应的分类标签描述,其中,所述客服对话文本用于记录客服角色与客户角色之间的对话消息;
按照所述对话消息的次数,对所述客服对话文本进行划分,得到多个单句;
获取所述多个单句中至少一个单句的上文单句与下文单句;
对所述至少一个单句,所述至少一个单句的上文单句,所述至少一个单句的下文单句以及所述分类标签描述进行文本拼接,得到所述至少一个单句对应的拼接结果;
采用目标生成模型对所述拼接结果进行对话质检,得到所述多个单句对应的分类标签,其中,所述多个单句对应的分类标签用于预测所述客服角色在所述多个单句存在的服务问题以及所述客户角色的情绪反馈。
10.一种文本处理系统,其特征在于,包括:客户端和服务端;
所述客户端用于获取客服对话文本和所述客服对话文本对应的分类标签描述,其中,所述客服对话文本用于记录客服角色与客户角色之间的对话消息;
所述服务端,用于按照所述对话消息的次数,对所述客服对话文本进行划分,得到多个单句,获取所述多个单句中至少一个单句的上文单句与下文单句,对所述至少一个单句,所述至少一个单句的上文单句,所述至少一个单句的下文单句以及所述分类标签描述进行文本拼接,得到所述至少一个单句对应的拼接结果,以及采用目标生成模型对所述拼接结果进行对话质检,得到所述多个单句对应的分类标签,其中,所述多个单句对应的分类标签用于预测所述客服角色在所述多个单句存在的服务问题以及所述客户角色的情绪反馈;
所述服务端,还用于将所述分类标签反馈至所述客户端。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的文本处理方法。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,与所述处理器连接,用于为所述处理器提供处理以下处理步骤的指令:
获取待分类文本,其中,所述待分类文本用于记录第一角色与第二角色之间的对话消息;
从第一质检维度对所述待分类文本进行对话质检,得到第一质检结果,以及从第二质检维度对所述待分类文本进行对话质检,得到第二质检结果,其中,所述第一质检维度用于确定所述待分类文本是否采用预设场景下常见问答库的指导话术,所述第二质检维度用于基于预设分类标签体系预测所述待分类文本对应的分类标签;
基于所述第一质检结果和所述第二质检结果,生成目标质检结果,其中,所述目标质检结果用于对所述待分类文本进行情感倾向评估;
其中,从所述第二质检维度对所述待分类文本进行对话质检,得到所述第二质检结果包括:
按照所述对话消息的次数,对所述待分类文本进行划分,得到多个单句;获取所述多个单句中至少一个单句的上文单句与下文单句;对所述至少一个单句,所述至少一个单句的上文单句,所述至少一个单句的下文单句以及所述分类标签描述进行文本拼接,得到所述至少一个单句对应的第一拼接结果;采用目标生成模型对所述第一拼接结果进行对话质检,得到所述多个单句对应的分类标签;对所述多个单句对应的分类标签进行统计,得到所述第二质检结果;其中,所述多个单句对应的分类标签用于预测所述第一角色在所述多个单句中存在的服务问题,以及所述第二角色的情绪反馈。
CN202210924953.1A 2022-08-03 2022-08-03 文本处理方法、系统、存储介质及电子设备 Active CN114969352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924953.1A CN114969352B (zh) 2022-08-03 2022-08-03 文本处理方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924953.1A CN114969352B (zh) 2022-08-03 2022-08-03 文本处理方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114969352A CN114969352A (zh) 2022-08-30
CN114969352B true CN114969352B (zh) 2022-12-27

Family

ID=82969679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924953.1A Active CN114969352B (zh) 2022-08-03 2022-08-03 文本处理方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114969352B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115169325A (zh) * 2022-09-06 2022-10-11 平安银行股份有限公司 一种对话质检方法、装置、计算机设备及存储介质
CN116150381B (zh) * 2023-04-19 2023-08-01 美云智数科技有限公司 话术质量测试方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2600298A1 (en) * 2011-12-01 2013-06-05 ZEF Solutions OY An improved comparator
CN109327632A (zh) * 2018-11-23 2019-02-12 深圳前海微众银行股份有限公司 客服录音的智能质检系统、方法及计算机可读存储介质
CN110083689A (zh) * 2019-03-20 2019-08-02 上海拍拍贷金融信息服务有限公司 客户服务质量检测方法及装置、可读存储介质
CN111598485A (zh) * 2020-05-28 2020-08-28 成都晓多科技有限公司 一种多维度智能质检方法、装置、终端设备及介质
CN112699220A (zh) * 2021-01-07 2021-04-23 北京金万维科技有限公司 一种话术匹配的智能质检方法
CN112804400A (zh) * 2020-12-31 2021-05-14 中国工商银行股份有限公司 客服呼叫语音质检方法、装置、电子设备及存储介质
CN112885332A (zh) * 2021-01-08 2021-06-01 天讯瑞达通信技术有限公司 一种语音质检方法、系统及存储介质
CN113240436A (zh) * 2021-04-22 2021-08-10 北京沃东天骏信息技术有限公司 在线客服话术质检的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150032570A1 (en) * 2013-07-24 2015-01-29 Zef Solutions Oy Time, Place and Need Information Based Optimization System for Customer Service
CN113051381B (zh) * 2021-03-23 2024-03-08 京东科技控股股份有限公司 信息质检方法、装置、计算机系统和计算机可读存储介质
CN114819679A (zh) * 2022-05-06 2022-07-29 京东科技信息技术有限公司 一种客服会话质检方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2600298A1 (en) * 2011-12-01 2013-06-05 ZEF Solutions OY An improved comparator
CN109327632A (zh) * 2018-11-23 2019-02-12 深圳前海微众银行股份有限公司 客服录音的智能质检系统、方法及计算机可读存储介质
CN110083689A (zh) * 2019-03-20 2019-08-02 上海拍拍贷金融信息服务有限公司 客户服务质量检测方法及装置、可读存储介质
CN111598485A (zh) * 2020-05-28 2020-08-28 成都晓多科技有限公司 一种多维度智能质检方法、装置、终端设备及介质
CN112804400A (zh) * 2020-12-31 2021-05-14 中国工商银行股份有限公司 客服呼叫语音质检方法、装置、电子设备及存储介质
CN112699220A (zh) * 2021-01-07 2021-04-23 北京金万维科技有限公司 一种话术匹配的智能质检方法
CN112885332A (zh) * 2021-01-08 2021-06-01 天讯瑞达通信技术有限公司 一种语音质检方法、系统及存储介质
CN113240436A (zh) * 2021-04-22 2021-08-10 北京沃东天骏信息技术有限公司 在线客服话术质检的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向智能客服系统的情感分析技术;宋双永等;《中文信息学报》;20200215(第02期);全文 *

Also Published As

Publication number Publication date
CN114969352A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114969352B (zh) 文本处理方法、系统、存储介质及电子设备
CN108121800B (zh) 基于人工智能的信息生成方法和装置
KR20200135892A (ko) 사용자 맞춤형 학습 커리큘럼 추천 및 교육 컨텐츠 제공 시스템 및 방법
US9703617B2 (en) Automated transfer of user data between applications utilizing different interaction modes
WO2023043713A1 (en) Systems and methods for automated generation of passage-based items for use in testing or evaluation
CN110852056A (zh) 一种获取文本相似度的方法、装置、设备及可读存储介质
US20190362642A1 (en) Tutoring agent improvement recommendation
CN113032520A (zh) 信息分析方法及装置、电子设备和计算机可读存储介质
CN110209768A (zh) 自动问答的问题处理方法和装置
WO2020074067A1 (en) Automatic language proficiency level determination
CN113257060A (zh) 一种答疑解决方法、装置、设备和存储介质
CN111507062A (zh) 文本的展示方法及装置、系统、存储介质、电子装置
CN111414609B (zh) 一种对象验证方法和装置
CN114297380A (zh) 一种数据处理方法、装置、设备及存储介质
CN110717101B (zh) 基于应用行为的用户分类方法、装置和电子设备
CN114528494A (zh) 一种信息推送方法、装置、设备及存储介质
CN111382263B (zh) 数据处理方法、装置和系统
US10885019B2 (en) Inter-reviewer conflict resolution
CN112445898A (zh) 对话情感分析方法及装置、存储介质及处理器
CN115129971A (zh) 基于能力评估数据的课程推荐方法、设备及可读存储介质
CN112131378A (zh) 用于识别民生问题类别的方法、装置及电子设备
CN112035666A (zh) 文本机器人交叉验证优化方法及装置
CN116933800B (zh) 一种基于模版的生成式意图识别方法及装置
CN111309990A (zh) 一种语句应答方法及装置
CN109522210A (zh) 接口测试参数分析方法、装置、电子装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant