CN112699220A - 一种话术匹配的智能质检方法 - Google Patents

一种话术匹配的智能质检方法 Download PDF

Info

Publication number
CN112699220A
CN112699220A CN202110016820.XA CN202110016820A CN112699220A CN 112699220 A CN112699220 A CN 112699220A CN 202110016820 A CN202110016820 A CN 202110016820A CN 112699220 A CN112699220 A CN 112699220A
Authority
CN
China
Prior art keywords
intention
conversation
quality inspection
speech
customer service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110016820.XA
Other languages
English (en)
Inventor
张焕强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinwanwei Technology Co ltd
Original Assignee
Beijing Jinwanwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinwanwei Technology Co ltd filed Critical Beijing Jinwanwei Technology Co ltd
Priority to CN202110016820.XA priority Critical patent/CN112699220A/zh
Publication of CN112699220A publication Critical patent/CN112699220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及话术质检技术领域,尤其涉及一种话术匹配的智能质检方法,本发明首先首先对通话语音进行ASR语音识别,转换为文字;然后对文字进行语义分析,鉴别本次会话的意图;根据识别出的会话意图从话术库中调取对应话术;再判断本次通话与标准话术的匹配度,用匹配度作为质检的结果;本发明创造性地把话术匹配度作为质检的一个重要指标。首先,针对总体对话记录,对本次通话进行意图识别,然后判断此次通话是否符合该意图对应的话术,根据话术匹配对本次通话进行打分。这有助于提升客服人员的服务标准化水平,从而提升整体服务质量。

Description

一种话术匹配的智能质检方法
技术领域
本发明涉及话术质检技术领域,特别涉及一种话术匹配的智能质检方法。
背景技术
在客服领域,通常服务有一定的重复性,对于特定问题的处理,一般有特定的话术。对于售前外呼型服务场景更是如此。为了提升服务质量,通过质检来判断客服或者销售与客户的对话是否符合要求的话术是一个重要的质检功能,而传统的简单的质检规则过于基础,无法满足此需求。目前智能质检中所使用的质检规则一般是比较简单和基本的规则,而客户服务是一个由客户跟客服来往对话所构成的自然语言交互时序过程,所有对话语句都有上下文语境。目前智能质检系统中常用的关键词判断、情绪检测等规则都比较简答,缺乏对整个上下文语境的分析处理。
为了提升客户服务质量,客服经理一般需要对客服人员的服务记录进行服务质量检查,传统方式是根据一定的打分规则,对服务记录进行抽检打分,然后在此基础上对客服人员的绩效进行评估。随着人工智能技术的发展,客服系统中人工手动质检逐渐被自动化的智能质检所取代。在智能质检系统中,一般提供各种机器执行的规则,比如:关键词匹配、情绪分析、通话时长判断、是否客服主动挂机等。系统自动根据预设质检规则构建打分项,从而对客服的服务质量进行评估。
发明内容
本发明提出了一种话术匹配的智能质检方法,包括如下步骤:
本发明的一种话术匹配的智能质检方法首先对通话语音进行ASR语音识别,转换为文字;然后对文字进行语义分析,鉴别本次会话的意图;最后根据识别出的会话意图,从话术库中调取对应话术;再判断本次通话与标准话术的匹配度用匹配度作为质检的结果。
进一步,首先配置一个意图库,意图库里每个意图都有一个标准表述和零到多个相似表述;对于文本意图库中的每个表述,使用BERT或者Word2Vec等方法,把它转换为向量表示,形成一个向量表述形式的意图向量库。然后对需要判断意图的对话的文本,首先也把它转换为向量形式,然后再在向量形式的意图库中做kNN搜索,搜索出与对话向量最接近的前意图(即k=1),然后根据向量的近似度与事先设定的阈值,来决定该对话文本的意图是否是该意图。为了判断两段文本的接近度,首先把文本转换为向量,这里可以使用BERT或其他模型,然后通过向量kNN搜索来查找匹配度最高的意图。
进一步,对于每一个会话意图,定义一个话术模板,通过模板来限定在该特定会话意图下,客服人员应该给客户做的响应,一个话术模板由一到多个客服意图组成,每个客服意图的定义类似前文会话意图的定义,又由一个客服意图的标准表述和零到多个相似表述组成。话术模板按照客服意图的组合方式分为三类:口袋型模板、顺序型模板和分支型模板。
进一步,口袋型模板指话术中包含若干客服意图,但这些客服意图出现的先后顺序无关紧要,只要在对话中出现过即可,所以我们称作口袋型模板,即只要在口袋里出现即可。只要客服在会话过程中询问过健康情况、年龄、已购产品,均为符合该话术模板。在判断一通会话是否符合口袋型话术模板时,对于客服所说的句子,进行语义匹配,判断其是否符合某个客服意图。
对于口袋型模板,如果包含n个要出现的意图,那么实际客服对话中出现了k个意图,那么话术模板的打分取值可以是:k/n的百分数。同时,也可以给不同意图给定不同的打分权重。
进一步,顺序型模板指会话中不但要出现指定的客服意图,还需要这些客服意图以指定顺序出现,要求客服在会话过程中先问好,然后询问客户年龄,再询问健康状况,再询问已购产品,最后再给客户推荐产品。顺序型模板的打分除了要考虑指定客服意图是否出现,还要体现这些意图出现的先后顺序是否符合要求。具体分三步来确定模板的匹配度分数:类似口袋型模板,得到意图是否出现的打分值:S1对意图顺序进行打分,得到:S2
对上述两项分值进行加权求和得到最后分值:S=(S1*w1)+(S2*w2)(注:要求w1+w2=1)
以下具体说明第二步中意图顺序打分S2的获取方法:
假设如前文所示,话术模板的意图序列为:I1=12345;
假设对于某通会话中的客服对话,经过意图识别,得到的意图序列为:I2=11xx2235,其中x表示未识别到意图或者当前模板外的意图;求该通会话意图顺序匹配度,就是求这两个意图序列I1和I2之间的归一化的编辑距离。
计算编辑距离具体步骤如下所示:
求编辑距离之前,先对序列I2进行预处理:即去除里面的x,并把连续重复意图去重,最终把I2变为:1235,求I1和I2的编辑距离,这里I2里面插入一个4就会变成I1,所以编辑距离为1,将编辑距离归一化为0-1的取值,具体实现的时候,编辑距离可以使用Levenshtein距离,然后再此基础上,再封装两个字符串模糊匹配度的实现。Python实现时可以使用诸如fuzzywuzzy之类的字符串模糊匹配包。
进一步,分支型话术如下所示,客服先表述一个问题类意图,如询问年龄,然后根据客户对此意图的应答,来决定下面的具体应答意图。在具体进行话术模板近似度比对时,使用如下的步骤:先根据客服对话匹配客服问题类意图,匹配上之后,再鉴定随后客户应答中的意图,得到客户意图后,可以把分支型话术转变为一个序列类型的话术,在识别出客户意图是>60,则整个话术相当于是一个顺序类型的话术,随后可以使用顺序型话术的近似度计算方法计算话术匹配度。
本发明的优点与积极效果在于:创造性地把话术匹配度作为质检的一个重要指标。首先,针对总体对话记录,对本次通话进行意图识别,然后判断此次通话是否符合该意图对应的话术,根据话术匹配对本次通话进行打分。这有助于提升客服人员的服务标准化水平,从而提升整体服务质量。
附图说明
图1是本发明的话术匹配度质检流程流程图;
图2是本发明的会话意图的表述流程图;
图3是本发明的意图向量表示图;
图4是本发明的对话意图识别过程图;
图5是本发明的话术模板的组成图;
图6是本发明的口袋型话术模板图;
图7是本发明的顺序型话术模板图;
图8是本发明的对意图顺序的打分图;
图9是本发明的分支型话术模板图。
具体实施方式
以下将结合附图和具体实施例对本发明进行详细说明:本实施例中,一种话术匹配的智能质检方法包括如下步骤:
首先对通话语音进行ASR语音识别,转换为文字;然后对文字进行语义分析,鉴别本次会话的意图;最后根据识别出的会话意图,从话术库中调取对应话术;再判断本次通话与标准话术的匹配度用匹配度作为质检的结果。
本实施例中,首先配置一个意图库,如图2所示,意图库里每个意图201都有一个标准表述202和零到多个相似表述203;对于文本意图库中的每个表述,如下图3所示,使用BERT或者Word2Vec等方法,把它转换为向量表示,形成一个向量表述形式的意图向量库。然后对需要判断意图的对话的文本,首先也把它转换为向量形式,然后再在向量形式的意图库中做kNN搜索,搜索出与对话向量最接近的前意图(即k=1),然后根据向量的近似度与事先设定的阈值,来决定该对话文本的意图是否是该意图。为了判断两段文本的接近度,首先把文本转换为向量,这里可以使用BERT或其他模型,然后通过向量kNN搜索来查找匹配度最高的意图。
本实施例中,对于每一个会话意图,可以定义一个话术模板,通过模板来限定在该特定会话意图下,客服人员应该给客户做的响应。如下图5所示,一个话术模板501由一到多个客服意图502组成,每个客服意图的定义类似前文会话意图的定义,又由一个客服意图的标准表述503和零到多个相似表述504组成。话术模板按照客服意图的组合方式分为三类:口袋型模板、顺序型模板和分支型模板。
本实施例中,口袋型模板指话术中包含若干客服意图,但这些客服意图出现的先后顺序无关紧要,只要在对话中出现过即可,所以我们称作口袋型模板,即只要在口袋里出现即可。
如下图6所示,只要客服在会话过程中询问过健康情况、年龄、已购产品,均为符合该话术模板。在判断一通会话是否符合口袋型话术模板时,对于客服所说的句子,使用与前面第二节中图3图4会话意图匹配一样的方法,进行语义匹配,判断其是否符合某个客服意图。
对于口袋型模板,如果包含n个要出现的意图,那么实际客服对话中出现了k个意图,那么话术模板的打分取值可以是:k/n的百分数。当然,也可以给不同意图给定不同的打分权重。
本实施例中,顺序型模板指会话中不但要出现指定的客服意图,还需要这些客服意图以指定顺序出现。如下图7所示,要求客服在会话过程中先问好(701),然后询问客户年龄(702),再询问健康状况(703),再询问已购产品(704),最后再给客户推荐产品(705)。
顺序型模板的打分除了要考虑指定客服意图是否出现,还要体现这些意图出现的先后顺序是否符合要求。我们分三步来确定模板的匹配度分数:
类似口袋型模板,得到意图是否出现的打分值:S1
对意图顺序进行打分,得到:S2
对上述两项分值进行加权求和得到最后分值:S=(S1*w1)+(S2*w2)(注:要求w1+w2=1)
下面说明第二步中意图顺序打分S2的获取方法:
假设如前文图7所示,话术模板的意图序列为:I1=12345
假设对于某通会话中的客服对话,经过意图识别,得到的意图序列为:I2=11xx2235,其中x表示未识别到意图或者当前模板外的意图
那么求该通会话意图顺序匹配度,就是求这两个意图序列I1和I2之间的归一化的编辑距离
具体步骤如下图8所示:
求编辑距离之前,先对序列I2进行预处理:即去除里面的x,并把连续重复意图去重,最终把I2变为:1235
求I1和I2的编辑距离,这里I2里面插入一个4就会变成I1,所以编辑距离为1
将编辑距离归一化为0-1的取值,具体实现的时候,编辑距离可以使用Levenshtein距离,然后再此基础上,再封装两个字符串模糊匹配度的实现。Python实现时可以使用诸如fuzzywuzzy之类的字符串模糊匹配包。
本实施例中,分支型话术如下图9所示,客服先表述一个问题类意图,如图9中的询问年龄(901),然后根据客户对此意图的应答,来决定下面的具体应答意图。在具体进行话术模板近似度比对时,使用如下的步骤:
先根据客服对话匹配客服问题类意图
匹配上之后,再鉴定随后客户应答中的意图
得到客户意图后,可以把分支型话术转变为一个序列类型的话术,比如图9中,在识别出客户意图是>60,则整个话术相当于是一个如下图10所示的顺序类型的话术,随后可以使用顺序型话术的近似度计算方法计算话术匹配度;
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (10)

1.一种话术匹配的智能质检方法,其特征在于,通过如下步骤实现:
S1:首先对通话语音进行ASR语音识别,转换为文字;
S2:然后对文字进行语义分析,鉴别本次会话的意图;根据识别出的会话意图从话术库中调取对应话术;
S3:再判断本次通话与标准话术的匹配度,用匹配度作为质检的结果。
2.根据权利要求1所述的一种话术匹配的智能质检方法,其特征在于,步骤S2包括以下步骤:
S2.1:配置一个意图库,意图库里每个意图都有一个标准表述和零到多个相似表述;
S2.2:对于文本意图库中的每个表述,使用BERT或者Word2Vec方法,把它转换为向量表示,形成一个向量表述形式的意图向量库;
S2.3:然后对需要判断意图的对话的文本,首先也把它转换为向量形式,然后再在向量形式的意图库中做kNN搜索,搜索出与对话向量最接近的前意图即k=1,然后根据向量的近似度与事先设定的阈值,来决定该对话文本的意图是否是该意图;
S2.4:对于每一个会话意图,定义一个话术模板,通过模板来限定在该特定会话意图下客服人员应该给客户做的响应。
3.根据权利要求2所述的一种话术匹配的智能质检方法,其特征在于,在步骤S2.3中,为判断两段文本的接近度,首先把文本转换为向量,使用BERT或其他模型,然后通过向量kNN搜索来查找匹配度最高的意图。
4.根据权利要求2所述的一种话术匹配的智能质检方法,其特征在于,在在步骤S2.4中,话术模板按照客服意图的组合方式分为三类,分别为口袋型模板、顺序型模板和分支型模板。
5.根据权利要求4所述的一种话术匹配的智能质检方法,其特征在于,口袋型模板指话术中包含若干客服意图,但这些客服意图出现的先后顺序无关紧要,只要在对话中出现过即可。
6.根据权利要求4所述的一种话术匹配的智能质检方法,其特征在于,顺序型模板指会话中不但要出现指定的客服意图,还需要这些客服意图以指定顺序出现,其中意图是否出现的打分值记为S1,对意图顺序进行打分记为S2,对上述两项分值进行加权求和得到最后分值记为S,其中S的计算方法如式(1)
S=(S1*w1)+(S2*w2) 式(1)
7.根据权利要求6所述的一种话术匹配的智能质检方法,其特征在于,意图顺序S2的获取方法如下:首先设定话术模板的意图序列为I1,I1=1 2 3 4 5,对于某通会话中的客服对话,经过意图识别,得到的意图序列为I2,I2=1 1 x x 2 2 3 5,其中x表示未识别到意图或者当前模板外的意图;则该通会话意图顺序匹配度,就是求这两个意图序列I1和I2之间的归一化的编辑距离。
8.根据权利要求7所述的一种话术匹配的智能质检方法,其特征在于,求编辑距离具体方法如下,先对序列I2进行预处理,即去除里面的x,并把连续重复意图去重,最终把I2变为:1 2 3 5;
求I1和I2的编辑距离,这里I2里面插入一个4就会变成I1,所以编辑距离为1,将编辑距离归一化为0-1的取值;
编辑距离使用Levenshtein距离,然后再此基础上,再封装两个字符串模糊匹配度的实现。
9.根据权利要求4所述的一种话术匹配的智能质检方法,其特征在于,分支型话术客服先表述一个问题类意图,然后根据客户对此意图的应答,来决定下面的具体应答意图。
10.根据权利要求4所述的一种话术匹配的智能质检方法,其特征在于,先根据客服对话匹配客服问题类意图,匹配上之后,再鉴定随后客户应答中的意图,得到客户意图后,把分支型话术转变为一个序列类型的话术,在识别出客户意图是否大于60,是则整个话术相当于是一个顺序类型的话术,随后可以使用顺序型话术的近似度计算方法计算话术匹配度。
CN202110016820.XA 2021-01-07 2021-01-07 一种话术匹配的智能质检方法 Pending CN112699220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110016820.XA CN112699220A (zh) 2021-01-07 2021-01-07 一种话术匹配的智能质检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110016820.XA CN112699220A (zh) 2021-01-07 2021-01-07 一种话术匹配的智能质检方法

Publications (1)

Publication Number Publication Date
CN112699220A true CN112699220A (zh) 2021-04-23

Family

ID=75514989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110016820.XA Pending CN112699220A (zh) 2021-01-07 2021-01-07 一种话术匹配的智能质检方法

Country Status (1)

Country Link
CN (1) CN112699220A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411454A (zh) * 2021-06-17 2021-09-17 商客通尚景科技(上海)股份有限公司 一种实时通话语音分析的智能质检方法
CN114006986A (zh) * 2021-10-29 2022-02-01 平安普惠企业管理有限公司 外呼合规预警方法、装置、设备及存储介质
CN114969352A (zh) * 2022-08-03 2022-08-30 阿里巴巴(中国)有限公司 文本处理方法、系统、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067375A1 (en) * 2012-08-31 2014-03-06 Next It Corporation Human-to-human Conversation Analysis
CN110334241A (zh) * 2019-07-10 2019-10-15 深圳前海微众银行股份有限公司 客服录音的质检方法、装置、设备及计算机可读存储介质
CN111858897A (zh) * 2020-07-30 2020-10-30 北京首汽智行科技有限公司 一种客服人员话术引导方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067375A1 (en) * 2012-08-31 2014-03-06 Next It Corporation Human-to-human Conversation Analysis
CN110334241A (zh) * 2019-07-10 2019-10-15 深圳前海微众银行股份有限公司 客服录音的质检方法、装置、设备及计算机可读存储介质
CN111858897A (zh) * 2020-07-30 2020-10-30 北京首汽智行科技有限公司 一种客服人员话术引导方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411454A (zh) * 2021-06-17 2021-09-17 商客通尚景科技(上海)股份有限公司 一种实时通话语音分析的智能质检方法
CN114006986A (zh) * 2021-10-29 2022-02-01 平安普惠企业管理有限公司 外呼合规预警方法、装置、设备及存储介质
CN114969352A (zh) * 2022-08-03 2022-08-30 阿里巴巴(中国)有限公司 文本处理方法、系统、存储介质及电子设备
CN114969352B (zh) * 2022-08-03 2022-12-27 阿里巴巴(中国)有限公司 文本处理方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN112699220A (zh) 一种话术匹配的智能质检方法
EP3260996A1 (en) Dialogue act estimation method, dialogue act estimation apparatus, and storage medium
CN111241357A (zh) 对话训练方法、装置、系统及存储介质
CN110717018A (zh) 一种基于知识图谱的工业设备故障维修问答系统
CN111177324B (zh) 基于语音识别结果进行意图分类的方法和装置
CN110675859B (zh) 结合语音与文本的多情感识别方法、系统、介质及设备
WO2021047180A1 (zh) 基于情绪识别的智能会话方法、装置及计算机设备
CN112084317B (zh) 预训练语言模型的方法和装置
JPH05197389A (ja) 音声認識装置
KR102199246B1 (ko) 신뢰도 측점 점수를 고려한 음향 모델 학습 방법 및 장치
CN109325780A (zh) 一种面向电子政务领域的智能客服系统的交互方法
CN110503943B (zh) 一种语音交互方法以及语音交互系统
CN110198381A (zh) 一种识别ai来电的方法及装置
JP2020064370A (ja) 文章記号挿入装置及びその方法
CN110674276B (zh) 机器人自学习方法、机器人终端、装置及可读存储介质
CN116246632A (zh) 外呼话术指导方法及装置
CN109104534A (zh) 一种提高外呼机器人意图检测准确率、召回率的系统
CN112364622A (zh) 对话文本分析方法、装置、电子装置及存储介质
Zorrilla et al. Audio Embedding-Aware Dialogue Policy Learning
CN114627896A (zh) 语音评测方法、装置、设备及存储介质
CN113505606A (zh) 一种培训信息获取方法、装置、电子设备及存储介质
WO2020144636A1 (en) Artificial intelligence system for business processes
CN110580899A (zh) 语音识别方法及装置、存储介质、计算设备
JPH06208388A (ja) 対話音声認識装置
KR102370437B1 (ko) 버추얼 상담 시스템 및 이를 이용한 상담방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination