CN110197672A - 一种语音通话质量检测方法、服务器、存储介质 - Google Patents

一种语音通话质量检测方法、服务器、存储介质 Download PDF

Info

Publication number
CN110197672A
CN110197672A CN201810162373.7A CN201810162373A CN110197672A CN 110197672 A CN110197672 A CN 110197672A CN 201810162373 A CN201810162373 A CN 201810162373A CN 110197672 A CN110197672 A CN 110197672A
Authority
CN
China
Prior art keywords
data
data analysis
voice call
voice
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810162373.7A
Other languages
English (en)
Other versions
CN110197672B (zh
Inventor
姜聪
张虹
彭旎旎
苏莉莎
胡惠芳
陈碧霞
钱橙
徐侦
安然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cigna And Cmc Life Insurance Co Ltd
Original Assignee
Cigna And Cmc Life Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cigna And Cmc Life Insurance Co Ltd filed Critical Cigna And Cmc Life Insurance Co Ltd
Priority to CN201810162373.7A priority Critical patent/CN110197672B/zh
Publication of CN110197672A publication Critical patent/CN110197672A/zh
Application granted granted Critical
Publication of CN110197672B publication Critical patent/CN110197672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种语音通话质量检测方法、服务器及存储介质,所述方法包含:设置多个数据分析模型,数据分析模型包含递进排列的多个逻辑检索式;获取语音数据并将所述语音数据转化为文本数据;并发式匹配所述文本数据与所有的数据分析模型;匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。本发明使机器可以实现高效、精确的语音客服质量的检测,协助并逐步代替人工质检。

Description

一种语音通话质量检测方法、服务器、存储介质
技术领域
本发明涉及语音客服质量检测技术领域,尤其涉及一种语音通话质量检测方法、服务器及存储介质。
背景技术
以电话进行客户服务、业务销售的行业很多,如电信行业、旅游行业,保险行业;保险行业不仅要对客户进行电话售后服务,还会依赖电话进行售前服务,因此如何对客服人员的语音服务质量进行评价,是一个非常重要的课题。
传统的方式是对客服与客户的通话进行录音保存,然后抽样并人工复核进行质检,即人工质检模式。很显然,人工质检模式下,质检标准会随着检人员的不同而不同,也会随质检人员的精神状态改变而不同,成本高且效果不好。
机器质检随之而出,现有机器质检方式,可以做到标准一致,也不存在疲劳而导致监听准确性的降低的问题,但是目前机器质检还存在着检测的逻辑较为简单,只能完成简单的关键词检测、需要辅以人工检测的问题。
例如,现有技术201611050700.7公开一种呼叫中心质检语音的评分方法和系统,该语音质检系统用于国家电网公司外呼中心的呼叫评分工作,将所述质检语音与预设的字符进行比对,检测所述质检语音中是否包含所述字符;根据检测的结果所对应的数值对所述质检语音进行评分,获得所述质检语音的第一分数。该技术可以完成固定字符的检索和匹配功能,对于必须说明的词汇和必须禁止的词汇进行踩词处理,未涉及对于带有复杂逻辑关系通话内容的处理。
再例如:现有技术201710123883.9公开一种呼叫系统的语音自动质检方法及系统,该发明提供了一种呼叫系统的语音自动质检方法,智能生成质检条件模块根据智能质检模块的质检数据,以及质检学习算法获得智能质检条件,该呼叫系统的语音自动质检方法能系统的进行语音质检。该发明可以实现广义语义识别,其语义识别功能仅可用以主题的区分,适用于一般逻辑性语言,而对于逻辑复杂、判断条件繁多且存在组合性识别机判断的质检点处理能力有限。且该系统对于保险销售领域封闭式严格监管的话术的质检存在不适用性。
因此,当前人寿保险电销行业的质检工作,依然主要基于人工调听录音的方式。随着语音转译技术的不断发展,少数保险公司开始尝试机器质检技术革新,但机器在质检工作中参与度依然很低,主要技术瓶颈为:机器质检逻辑固化且简单、检覆盖度不足,只能实现小范围局部核查,以及对单句进行关键词匹配,导致检测的逻辑深度不足,使销售人员容易发现算法规律规避核查;目前保监会对于销售话术规范严格,一款保险产品的销售通话需要核查的关键点达几十甚至上百个,目前的机器质检的逻辑运算效率低下,导致难以达到全通话覆盖。
发明内容
本发明的主要目的在于提出一种语音通话质量检测方法、服务器及存储介质,旨在解决解决现有机器语音质检中存在的覆盖率低、逻辑简单、准确性差、处理效率低的问题。
为实现上述目的,本发明提供的一种语音通话质量检测方法,所述方法包括以下步骤:
设置多个数据分析模型,每个数据分析模型包含递进排列的多个逻辑检索式,用于分析语音数据中的一个主题内容;
获取语音数据并将所述语音数据转化为文本数据;
并发式匹配所述文本数据与所有的数据分析模型;
匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;
统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。
进一步的,所述方法的步骤并发式匹配所述文本数据与所有数据分析模型进一步包括:
并发式比较所述文本数据的标签与所有数据分析模型的标签,当文本数据的标签与一个或多个数据分析模型的标签一致时,判定所述文本数据与一个或多个数据分析模型匹配,否则为不匹配。
进一步的,所述逻辑检索式包括与主题内容相关的关键词形成的一个正则表达式,或者包括与主题内容相关的关键词所形成的多个正则表达式的逻辑运算式。
进一步的,所述与主题内容相关的关键词包括对主题内容设定的质检点、质检点的同音词、近音词、同义词、预存客户个人信息、产品信息的任何一项或多项。
进一步的,所述与主题内容相关的关键词通过设定端口由授权人员进行增加、减少、修改。
进一步的,所述预存客户个人信息包括客户所在地区、客户投保信息、客户理赔信息、客户信用等级、客户家庭成员信息的一项或多项。
进一步的,所述预存客户个人信息通过设定端口由授权人员进行增加、减少、修改。
进一步的,所述主题内容包括开场白、录音声明、产品介绍、促成、线上核保、核对身份、明确扣款、信息传递、再明确、结束语、服务品质评价邀请的一类或多类。
进一步的,所述方法在步骤获取语音数据并将所述语音数据转化为文本数据之后包括:
对文本数据进行分行、去空格、存储标准化和标签化整理。
进一步的,所述方法在步骤匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测之后包括:
对读取的数据进行语义概率分析并输出分析结果。
此外,为实现上述目的,本发明还提出一种语音通话质量检测服务器,所述服务器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音通话质量检测程序,所述语音通话质量检测程序被所述处理器执行时实现上述任一项方法的步骤。
进一步的,所述服务器包含协同运行的转译模块,文件交互模块、分析模块;
所述转译模块用于获取语音数据并将所述语音数据转化为文本数据并将转化的文本数据传输给文件交互模块;
所述文件交互模块用于接收转译模块发送的文本数据并对所述文本数据进行分行、去空格、存储标准化和标签化整理以及将整理后的数据传输给分析模块;
所述分析模块用于接收文件交互模块传输的数据、为所述数据并发式匹配包括递进排列的多个逻辑检索式的数据分析模型;匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。
此外,为实现上述目的,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质存储有语音通话质量检测程序,当所述语音通话质量检测程序被至少一个处理器执行时,导致所述至少一个处理器执行时实现上述任一项方法的步骤。
本发明提出的语音通话质量检测方法、服务器及存储介质,通过设置针对语音通话中各个主题内容的数据分析模型,对语音通话进行质检,实现语音通话质检全覆盖;以并发方方式完成待检数据与所有数据分析模型的匹配,相比较现有技术逐个匹配的方式,大大提高了各个数据分析模型的分析效率;在数据分析模型中设置多个递进排列的逻辑检索式,逻辑检索式之间原则上按照由简单到复杂的方式设置逻辑顺序,当排列在前的逻辑检索式对所检数据不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测,使进入数据分析模型的数据只要在某个逻辑检索式检测不通过即不再进行后续逻辑检索式的检索,因此各个数据分析模型中逻辑检索式的数量可以根据每个数据分析模型要分析数据的复杂程度进行灵活设置,且逻辑检索式数量的增加不会影响运算效率,相比较现有技术需要遍历所有逻辑检索式的方式,大量减少了冗余计算量,提高数据检测的效率,即提高了对检测数据的质检效率;逻辑检索式采用字符模糊匹配技术及引入客户基础信息和产品信息的合理利用,以及引入语义概率分析,使机器对文本数据的可识别性大大增大且可以实现复杂语义的解析,大大提高机器质检的准确率。
附图说明
图1为实现本发明第一实施例提供的语音通话质量检测方法流程示意图;
图2为本发明文本数据与数据分析模型并发匹配方式示意图;
图3为本发明数据分析模型数据分析流程示意图;
图4为实现本发明第二实施例提供的语音通话质量检测方法流程示意图;
图5为语音通话质量检测服务器框架结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明主要针对保险行业客服通过语音方式与客户进行业务沟通的内容的质量检测,但是不排除应用于其他行业的语音质量检测。
实施例一
本发明第一实施例提供一种语音通话质量检测方法,如图1所示,所述方法包括以下步骤:
S11,设置多个数据分析模型,每个数据分析模型包含递进排列的多个逻辑检索式,用于分析语音数据中的一个主题内容;
具体来说,一个语音通话中通常包含多个类型的主题内容或话题内容,主题内容的类型为对通话内容进行总结归类所设定的类型,可以进行提前划分归类。以保险客服向客户进行业务沟通为例,保险客服与用户的沟通内容拥有一个业务沟通指引,该沟通指引根据业务目的、礼仪要求、权利保障等需求会包含多个主题内容的类型,例如包含基于礼仪要求的介绍公司名称、工号等内容开场白和结束语、表明通话将会被录音的录音声明的内容、基于所推销产品的特点进行说明的产品介绍、促成(促成交易)、线上核保(在线核对保单内容)、核对身份、明确扣款、信息传递、基于确保客户完整了解所沟通内容的再明确、服务品质评价邀请,客服人员与客户进行业务沟通的过程中,会按照沟通指引展开语音沟通。因此,如图2所示,进行质检的语音通话内容中会包含开场白、录音声明、产品介绍、促成、线上核保、核对身份、明确扣款、信息传递、再明确、结束语、服务品质评价邀请的一类或多类的主题内容。
对语音通话进行质检时,需要提前设置与主题内容的类型对应的数据分析模型,以使数据分析全覆盖、以及提高数据分析效率、准确性。需要说明的是,如图2所示的每个主题内容的类型包含了多个内容较为相近的分主题内容的类型,每个分主题内容的类型对应一个数据分析模型。以产品介绍这个主题内容类型为例来说,由于产品的数量繁多,每个产品的“产品介绍”设置针对该产品的数据分析模型,因此在产品介绍这个大的主题内容的类型中就包含多个分主题内容的类型,每个分主题内容对应设置一个数据分析模型。而对于开场白、结束语、录音声明、服务品质评价邀请等主题内容的类型,则无论何种产品都基本相同,则可能只各自对应一个数据分析模型。所以整个系统中,针对“产品介绍”这个主题内容的类型设置的数据分析模型的数量会远远多于针对其他主题内容的类型的数据分析模型的数量。数据分析模型包含以递进方式排列的多个逻辑检索式对读取的数据进行分析。关于数据分析模型的数据分析过程,在后面再详细描述。
S12,获取语音数据并将所述语音数据转化为文本数据;
针对一份即将进行质检的语音数据,需先将该语音数据转化为文本数据。对于将语音数据转化为文本数据的技术手段,可以采用现有任何成熟的语音转文本的技术,在此不赘述。实际中,一份语音数据,可以是一次通话的数据,也可以是针对同一个沟通目的所发生的多次通话的合并数据。例如客服在向客户推销一款产品的过程中,由于各种原因,共发生5次通话才最终完成整个沟通,所谓完成沟通可以是完成产品的推销而结束沟通,也可以是确认没有继续进行本次产品销售的可能性而结束沟通。
S13,并发式匹配所述文本数据与所有的数据分析模型;
并发式匹配文本数据与数据分析模型,如图2所示,是指将一通文本数据的与所有的数据分析模型不分先后顺序、同时进行匹配,将所有适合该文本数据的分析模型同时选中,为后续进行数据分析做好准备。
文本数据与数据分析模型匹配的具体过程如下:
每个文本数据会进行标签标记,所有数据分析模型在一个时刻T0以流触发或并发寻址方式被触发,比较所述文本数据的标签与所有数据分析模型的标签,当文本数据的标签与一个或多个数据分析模型的标签一致时,认定所述文本数据与一个或多个数据分析模型匹配,否则为不匹配。
如果是多个文本数据进行数据分析,则每个文本数据都进行上述并发式匹配数据分析模型的操作,使数据分析的效率大大提高。
S14,匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;
所述逻辑检索式包括与主题内容相关的关键词形成的一个正则表达式,或者包括与主题内容相关的关键词所形成的多个正则表达式,所述多个正则表达式形成逻辑运算式。
正则表达式,又称规则表达式。(英语:Regular Expression,在代码中常简写为regex、regexp或RE),正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
正则表达式是对字符串(包括普通字符(例如,a到z之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式,模式描述在搜索文本时要匹配的一个或多个字符串。
本发明中,多个递进排列的逻辑检索式包括3-8个的逻辑检索式式,每个逻辑检索式可以包含一个正则表达式或多个以逻辑运算符连接的正则表达式。优选的,排列在最前面的逻辑检索式包含一个正则表达式,排列在后的逻辑检索式所包含的正则表达式的数量逐渐增多。
所述递进排列的逻辑检索式之间的排列及数据分析步骤,如图3所示:
S101,逻辑检索式一检测读取的文本数据,如果逻辑检索式一的检测结果为不通过,则输出检测结果,结束检测;否则执行S102;
具体的,匹配的数据分析模型从正则表达式数据库中读取该数据分析模型各个逻辑检索式所需的正则表达式以及所需要的各种客户基础信息、产品信息。正则表达式以正则表达式数据库的方式进行管理,是方便进行正则表达式的增加、减少或修改。
如果逻辑检索式包含一个正则表达式,正则表达式中包含多个与主题内容相关的关键词,所述与主题内容相关的关键词包括对主题内容设定的质检点。由于语音中存在的口音、发音不标准等问题,由语音转化为的文本数据中,必然不是像直接文字书写的内容那么结构规范、用词准确、以及识别为文字的可能与语音的意思为同音词,以及不同人表达同样意思的用词习惯不同,语音转译的难度很大,并一步提高机器质检的难度。目前机器质检的技术下,日常销售情境转译准确率大致在80%左右。本发明采取了字符模糊识别技术,将音节相似的词汇提取并处理,以及对质检点设置多个对应的同音词、近音词、同义词以最大程度的提高机器的可识别性。举例,关于表示“承保”概念的类似音节包括承包|成宝|沉吧|长保|全保|承办|参保|存档|承吧|承报等词汇,本发明在正则表达式中设置足够数量的同音词或近音词,可以最大程度降低因口音问题导致文本转译后的词汇的字面意思偏离表达本意而致使机器质检无法识别的机会,因此本发明能够提高质检准确性。除此之外,还可以在正则表达式中添加预存客户个人信息、产品信息以提高正则表达式识别数据的效率,进而提高机器质检的效率。
举例来说:在开场白主题类型的数据分析模型中,需要检测销售人员是否明确告知客户自己的身份。针对开场白主题类型的数据分析模型需要从一通通话的文本数据中获取关于开场白的数据,通过单正则表达式匹配检索进行相应数据的读取,正则表达式如下:
S=[^确毕疑拨号打呼扣].{0,90}(好|我|这|是|您|哈).{0,60}(中信).{0,15}(信用卡).{0,30}(保险|服务|电|打|中心|中信)
在以上正则表达式中,为检测所获取的文本数据中是否包含了开场白,开场白的表达是否包含了规定的内容,例如开场白要求客户完成“您好,我是中信信用卡保险客服”,如果客服对于“好”的发音略有不准,而在语音转文本的过程中,您好转化为您哈,同理,“中信”发音不准被识别为其近音词“中心”,为了准确识别客服完成了对应的意思表达,将在正则表达式中提供“好”的近音词“哈”,“中信”的近音次“中心”,“我是”的近义词“这是”,客服的近义词“服务中心”等,凡是采用了规定内容的标准表达和近似表达,即使存在一定的口音,对应的表达都可以被识别并检测通过,认定客户已经采用了所规定的礼貌用语。同理,“我是”的同意表达是“这是”,客户采用了这些能表达相同意思的近似表达都可以被识别并认定合格,大大提高质检准确率。
当开场白数据分析模型读取文本数据并通过设置其中的正则表达式检测到对应的数据,检测所读取的数据中是否包含正则表达式中的质检点,如果包含则通过,如果不包含则不能通过。
S102,逻辑检索式二检测读取的文本数据,如果逻辑检索式二的检测结果为不通过,则输出检测结果,结束检测;否则···进入S10N,其中3≦N≦30;
逻辑检索式二为数据分析模型中设置的位于逻辑检索式一后面的第二层逻辑检索式,逻辑检索式二中可以包含一个正则表达式,也可以包含多个正则表达式,但是总体来说,逻辑检索式二是为了补充逻辑检索式一中未包含的质检点,该质检点可以是规定的必须要表达到的内容或者必须不能表达到的内容,例如部分较为不符合礼貌用语的词、部分违反公司规定的内容、部分公司内部不允许对外的商业机密等,总体来说逻辑检索式二可以应对更复杂、内容更多的主题内容。
每个数据分析模型,对应要分析的主题内容的复杂程度不同,设置的逻辑表达式的递进层次数量不同,每个逻辑表达式中包含的正则表达式的数量也不同。例如在分析开场白的数据分析模型中,设置的逻辑检索式的层次较少,例如可设置2层逻辑检索式;在产品介绍的数据分析模型中,设置的逻辑检索式的层次较多,例如设置4层、5层甚至7层或8层。每一层的逻辑检索式可以包含一个或多个正则表达式,如果是多个正则表达式,多个正则表达式之间以逻辑运算符连接形成布尔运算式,通过所述布尔运算式对所述文本数据检测并获取与数据分析模型的主题内容的类型对应的数据,以实现上下语句之间复杂语义逻辑的分析。
通过单正则表达式的简单词汇匹配模式,可以满足一些内容比较简单的主题内容的类型的数据分析,例如开产白、结束语、录音声明、服务品质评价邀请等主题内容的类型数据分析。但是对于一些表达复杂、内容变化多的主题内容的类型,单正则表达式存在不能完全识别数据的可能性,必然影响质检评价结果,通过设置多个正则表达式形成布尔运算式对文本数据的上下文进行分析可以解决单正则表达式所存在的问题。例如:针对“确定信息”的主题内容的类型,要求销售人员与客户核对信用卡卡号,且必须由客户说出自己的最后四位,并由客户给出确认答复。采用多正则表达式串并联检索上下文。如下为正则表达式组,其中s,s1,s2,s3组合成销售员的各种表达方式,s4为客户表示确定。
s='(前十二位|运通|六二二|四零三|五二零|卡号|卡的|卡片|您的卡|(信用卡.{0,10}(核实|核对|报))|((核实|核对|报).{0,10}(信用卡|账号))).*(后|尾|末).{0,2}(四位|(四个[^零])|(四[^零零])|送)'
s1='(运通|您的卡|卡号|卡片|(信用卡[^中心])|信用卡[^背面]).{0,20}(四零三|六二二|前十二|(尾号)|(尾数)|后.?四|后4|四位|报一下|补充|我.?报|您对|念一下)'
s2='(报一下|补充|跟您报|我报|您对).{0,15}((前.?卡)|您的卡|卡号|六二二|您的信用卡|四零三)'
s3='(原来|以前|上次|之前登记|之前|园那个).{0,15}(扣款|代扣|扣费|扣取|来扣|绑定)’
s4='(好啊[,,。!!]|好[,,。!!]|好的[,,。!!]|可以[,,。!!]|行[,,。!!]|同意[,,。!!]|愿意[,,。!!]|没问题[,,。!!]|OK[,,。!!]|对[,,。!!]|确认[,,。!!]|是的[,,。!!]|扣[,,。!!])'
如前面所解释,每个正则表达式中包含质检点以及质检单的同音词、近音词、近义词等。
S10N,逻辑检索式N检测读取的文本数据,如果逻辑检索式N检测结果为不通过,则输出检测结果,结束检测;否则判定检测通过并结束检测。
所述逻辑检索式N包括除了包含多个与主题相关的关键词、每个关键词的多个同音词、近音词、同义词、反义词之外,还可包含预存客户个人信息、产品信息等。
为了方便对数据分析模型的的更新,数据分析模型所需要的正则表达式通过数据库的方式进行存储,数据库中的正则表达式可以进行更新。数据分析模型在进行数据分析时从正则表达式数据库中读取对应的正则表达式。而正则表达式中所包含的与主题相关的关键词以及关键词之间的语义关系词、每个关键词的多个同音词、近音词、同义词、反义词、预存客户信息、产品信息通过设置端口由授权人员增加、减少、修改。所述预存客户信息包括客户所在地区、客户投保信息、客户理赔信息、客户信用等级、客户家庭成员信息、客服交互信息的一类或多类。所述预存客户信息由由授权人员通过设置端口增加、减少、修改。
S15,统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。
统计分析结果,按照设定评价标准得出质量检测结论的具体统计方式和评价标准可以包含多种方式,以下列举一种:
首先,生成底层表格,以保单号为键值,内容包括针对每通通话每个质检点的质检结果(Fail或者Pass),每个质检点的重要程度即权重,以及整通通话的加权评分;然后,生成应用层统计表格,根据特定指标,例如不同城市、不同职场、不同质检类别等的大类质检结果进行分类统计,并于后台系统存储,随时供查阅。对于存在风险的类别进行预警提示,可选的,对于录音分数很高或者很低的情况(根据业务需求确定分数阈值),实现自动推送,推送信息包括通话文本文档,成交保单号,销售人员信息,在完成质量检查同时,涉及到客户购买倾向,家庭其他成员情况等信息,统计结果还可以用于销售深度挖掘,为其他业务的拓展奠定一定的基础。
以上实现的语音通话适量检测方法,通过设置针对每一种主题内容的数据分析模型,实现语音质检全覆盖,文本数据与数据分析模型的并发匹配极大的提高了各个数据分析模型获取数据的速度,以及通过数据分析模型性递进排列的逻辑检索式,使数据分析模型一旦在某一层的逻辑检索式获得数据不合格的结论,即结束后续逻辑检索式的分析,从而减少了冗余计算量,提高数据分析的效率,从整体上实现较高的数据分析效率,以及本发明采用了字符模糊识别技术并引入客户基础信息可以减少计算机程序的识别误差,提高质检精度,可以达到95%的精度的验收标准要求,真正实现机器质检代替人工质检的目标。
实施例二
本发明第二实施例提供一种语音通话质量检测方法,如图4所示,所述方法包括以下步骤:
S21,设置多个数据分析模型,每个数据分析模型用于分析语音通话中的一个主题内容;
S22,获取语音数据并将所述语音数据转化为文本数据;
S23,对所述文本数据进行分行、去空格、存储标准化和格式标签化整理;
存储标准化包括文件命名标准化(用编码方式命名,方便检索归类),存储路径标准化,方便程序寻址,备份管理标准化(出现系统或程序异常,有完整的备份文件可供离线查询),格式标签化包含根据标签设定规则对文本数据设置标签。
未经整理的由语音转移的文本数据存在很多缺陷,具体表现为a.以单通对话为单元,多次通话完成一次销售的情况,则分散在多个文本中;b.文本因通话的停顿而出现大量空格c.客户和销售的双方通话,转译后不分行。对文本的整理包含对同一销售任务的全部通话聚合,文本内容的分行、去空格、按照标准的文件名文件格式进行存储、添加标签等标准化动作,可以帮助数据分析模块更好的识别数据,以及对数据进行自动备份、自动清理,保证工作文件夹内容精简高效,保证备份文件夹内容完整,随时可回溯检查。
S24,并发式匹配所述文本数据与所有的数据分析模型;
S25,匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;
S26,对读取的数据进行语义概率分析并输出分析结果;
对于特别复杂的文本数据,除了进行多层逻辑检索式的检测以及每个逻辑检索式中多个正则表达式的逻辑运算进行上下文检索,还需在此基础辅以语义分析法,可以实现非常全面的数据的检索和获取,所述语义概率分析法列举如下:
触发事件A“混淆银行理财产品和保险产品”发生先验概率为P(A)。
P(A|w_i):表示词汇w_i出现时,混淆概念事件发生的概率。
P1(w_i):w_i在合规销售中出现的概率
P2(w_i):w_i在不合规销售中出现的概率
P(A|w_i)=P2(w_i)/(P1(w_i)+P2(w_i))
对于有违规嫌疑的词汇集合w_1,w_2,…,w_n
计算目标:判断是违规通话的概率为P(A|w_1,w_2,…,w_n)
例如针对“扣款”这个主题内容的类型:根据客户的情况判断签收扣款的方式,必须提供给客户准确的签扣方式,情况复杂,具体逻辑为:签扣同步方式(以下几种情况不能签扣同步:深圳、湖南地区客户;总保费≥20万的保单。其余情况均可签扣同步),然后进行电话授权扣款(签扣同步的情况需讲解)。签后扣费方式:其中非深圳、非湖南地区客户,但总保费≥20万的保单。签后访后扣费,其他客户采用签后访后扣费方式。在语义分析模型下根据语境和客户情况,准确判定符合客户的签扣方式,最后把相应的方式准确描述给客户。
S27,统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。
本实施例中与实施例一相同的步骤的具体解释与实施例一的对应解释相同,不再赘述。
以上实现的语音通话质量检测方法,在实施例一的基础上,通过对文本数据进行整理使文本数据更易被识别、提高文本识别的效率,以及引入语音概率分析,使机器质检结果更可靠。
实施例三
本发明第三实施例提供一种语音通话质量检测服务器,所述服务器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音通话质量检测程序,所述语音通话质量检测程序被所述处理器执行时实现实施例一或实施例二所述的语音通话质量检测方法的步骤。
实施例四
本发明第四实施例提供一种语音通话质量检测服务器,如图5所示,所述服务器包含协同运行的转译模块10,文件交互模块20、分析模块30,所述转译模块10,文件交互模块20、分析模块30可以是独立的服务器,也可以是服务器上独立的功能单元。
所述转译模块10用于获取语音数据并将所述语音数据转化为文本数据并将转化的文本数据传输给文件交互模块;
所述文件交互模块20用于接收转译模块发送的文本数据并对所述文本数据进行分行、去空格、存储标准化和标签化整理以及将整理后的数据传输给分析模块;
具体的,文件交互模块负责文本的规范处理和存储。从转译模块得到的转译文本特点是高度非结构化,具体表现为a.以单通对话为单元,多次通话完成一次销售的情况,则分散在多个文本中;b.文本因通话的停顿而出现大量空格c.客户和销售的双方通话,转译后不分行。文件交互模块可实现对同一销售任务的全部通话聚合,文本内容的分行,去空格等标注化动作。文件交互模块还能实现自动备份,自动清理等功能,保证工作文件夹内容精简高效,保证备份文件夹内容完整,随时可回溯检查。
分析模块30用于接收文件交互模块传输的数据、为所述数据并发式匹配包括递进排列的多个逻辑检索式的数据分析模型;匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。
具体的,该分析模块负责数据分析模型的管理,词库的存储,模型触发运行的工作。其中数据分析模型管理工作包括模型的配置、显示、增添、删除、修改、查询等工作。词库的存储工作为独立存储和维护和质量检查相关的词汇,可进行的具体操作同模型管理。特别的,模型的增删改权限只对开发人员开放,词库的维护权限向部分业务人员开放。分析模块负责模型的触发和运行,模型触发按照时序规则或条件规则以及标签握手协议完成。分析模型对文本的质检包含三种模式,第一为简单词汇匹配模式,主要方法为单正则表达式检索匹配;第二为上下文检索模式,主要方法为多正则表达式串并联组合,并通过上下文检索,判定与或非;第三语义情境判定模式,主要方法为判定某语义发生场景,再采取相应的话术检验方式。该三种方式可以同时在分析模块中使用或者使用部分。
三大模块协同工作的方式如图5所示,如下:
由转译模块负责从底层存储抽取并转译销售录音,从音频格式转化为文本格式,并主动推送到文件交互模块进行文件管理。
由文件交互模块完成文本的规范化处理和存储,等待分析模块寻址处理或流处理指令。
分析模块根据约定时效和交互协议对文件交互模块存储的文本执行精听,并返还结果文件存储在文件交互模块。
由转译模块发起读取分析模块数据分析结果指令,并将结果展示到工作界面平台。
将语音通话质检的工作分散到三大服务器时,即每个服务器运行上述一个模块,三大服务器采用可插拔外挂模式替代传统的高度集成模式:转译模块、文件交互模块、分析模块解耦程度高,可实现即插即用的功能,以及使转译过程、文件交互过程和数据分析过程可根据系统的占用情况异步完成,网络高峰期可减缓I/O压力;其次,三大系统中某系统出现故障,可立即拆卸单独调试,故障发生情况下容易识别问题,不需要全流程大规模排查。此架构的设计增强了整个系统平台的稳定性和运维的独立性,大大增强整个平台的强壮性。
实施例五
本发明第五实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有语音通话质量检测程序,当所述语音通话质量检测程序被至少一个处理器执行时,导致所述至少一个处理器执行时实现实施例一或实施例二所述的语音通话质量检测方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (13)

1.一种语音通话质量检测方法,其特征在于,所述方法包括以下步骤:
设置多个数据分析模型,每个数据分析模型包含递进排列的多个逻辑检索式,用于分析语音数据中的一个主题内容;
获取语音数据并将所述语音数据转化为文本数据;
并发式匹配所述文本数据与所有的数据分析模型;
匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;
统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。
2.根据权利要求1所述的语音通话质量检测方法,其特征在于,所述方法的步骤并发式匹配所述文本数据与所有数据分析模型进一步包括:
并发式比较所述文本数据的标签与所有数据分析模型的标签,当文本数据的标签与一个或多个数据分析模型的标签一致时,判定所述文本数据与一个或多个数据分析模型匹配,否则为不匹配。
3.根据权利要求1所述的语音通话质量检测方法,其特征在于,所述逻辑检索式包括与主题内容相关的关键词形成的一个正则表达式,或者包括与主题内容相关的关键词所形成的多个正则表达式的逻辑运算式。
4.根据权利要求3所述的语音通话质量检测方法,其特征在于,所述与主题内容相关的关键词包括对主题内容设定的质检点、质检点的同音词、近音词、同义词、预存客户个人信息、产品信息的任何一项或多项。
5.根据权利要求4所述的语音通话质量检测方法,其特征在于,所述与主题内容相关的关键词通过设定端口由授权人员进行增加、减少、修改。
6.根据权利要求4所述的语音通话质量检测方法,其特征在于,所述预存客户个人信息包括客户所在地区、客户投保信息、客户理赔信息、客户信用等级、客户家庭成员信息的一项或多项。
7.根据权利要求5所述的语音通话质量检测方法,其特征在于,所述预存客户个人信息通过设定端口由授权人员进行增加、减少、修改。
8.根据权利要求1所述的语音通话质量检测方法,其特征在于,所述主题内容包括开场白、录音声明、产品介绍、促成、线上核保、核对身份、明确扣款、信息传递、再明确、结束语、服务品质评价邀请的一类或多类。
9.根据权利要求1所述的语音通话质量检测方法,其特征在于,所述方法在步骤获取语音数据并将所述语音数据转化为文本数据之后包括:
对文本数据进行分行、去空格、存储标准化和标签化整理。
10.根据权利要求1所述的语音通话质量检测方法,其特征在于:所述方法在步骤匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测之后包括:
对读取的数据进行语义概率分析并输出分析结果。
11.一种语音通话质量检测服务器,其特征在于,所述服务器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音通话质量检测程序,所述语音通话质量检测程序被所述处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。
12.根据权利要求11所述的语音通话质量检测服务器,其特征在于,所述服务器包含协同运行的转译模块,文件交互模块、分析模块;
所述转译模块用于获取语音数据并将所述语音数据转化为文本数据并将转化的文本数据传输给文件交互模块;
所述文件交互模块用于接收转译模块发送的文本数据并对所述文本数据进行分行、去空格、存储标准化和标签化整理以及将整理后的数据传输给分析模块;
所述分析模块用于接收文件交互模块传输的数据、为所述数据并发式匹配包括递进排列的多个逻辑检索式的数据分析模型;匹配成功的数据分析模型读取所述文本数据进行数据分析,当排列在前的逻辑检索式对读取的数据检测不通过时,输出分析结果并终止排列在后的逻辑检索式的数据检测;统计所有数据分析模型输出的分析结果,按照设定评价标准得出质量检测结论。
13.一种计算机可读存储介质,所述计算机可读存储介质存储有语音通话质量检测程序,当所述语音通话质量检测程序被至少一个处理器执行时,导致所述至少一个处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。
CN201810162373.7A 2018-02-27 2018-02-27 一种语音通话质量检测方法、服务器、存储介质 Active CN110197672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810162373.7A CN110197672B (zh) 2018-02-27 2018-02-27 一种语音通话质量检测方法、服务器、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810162373.7A CN110197672B (zh) 2018-02-27 2018-02-27 一种语音通话质量检测方法、服务器、存储介质

Publications (2)

Publication Number Publication Date
CN110197672A true CN110197672A (zh) 2019-09-03
CN110197672B CN110197672B (zh) 2021-09-21

Family

ID=67750888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810162373.7A Active CN110197672B (zh) 2018-02-27 2018-02-27 一种语音通话质量检测方法、服务器、存储介质

Country Status (1)

Country Link
CN (1) CN110197672B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784603A (zh) * 2019-10-18 2020-02-11 深圳供电局有限公司 一种离线质检用智能语音分析方法及系统
CN110931014A (zh) * 2019-12-13 2020-03-27 集奥聚合(北京)人工智能科技有限公司 基于正则匹配规则的语音识别方法及装置
CN110956956A (zh) * 2019-12-13 2020-04-03 集奥聚合(北京)人工智能科技有限公司 基于策略规则的语音识别方法及装置
CN111010484A (zh) * 2019-12-16 2020-04-14 科大国创软件股份有限公司 一种通话录音自动质检方法
CN111048115A (zh) * 2019-12-13 2020-04-21 集奥聚合(北京)人工智能科技有限公司 语音识别方法及装置
CN111405122A (zh) * 2020-03-18 2020-07-10 苏州科达科技股份有限公司 音频通话测试方法、装置及存储介质
CN111696528A (zh) * 2020-06-20 2020-09-22 龙马智芯(珠海横琴)科技有限公司 一种语音质检方法、装置、质检设备及可读存储介质
CN111984779A (zh) * 2020-09-10 2020-11-24 支付宝(杭州)信息技术有限公司 一种对话文本分析方法、装置、设备和可读介质
CN112735421A (zh) * 2019-10-28 2021-04-30 北京京东尚科信息技术有限公司 一种语音通话的实时质检方法和装置
CN112800269A (zh) * 2021-01-20 2021-05-14 上海明略人工智能(集团)有限公司 会议记录的生成方法及装置
CN113270114A (zh) * 2021-07-19 2021-08-17 北京明略软件系统有限公司 一种语音质检方法及系统
WO2021169423A1 (zh) * 2020-02-26 2021-09-02 深圳前海微众银行股份有限公司 客服录音的质检方法、装置、设备及存储介质
WO2021212998A1 (zh) * 2020-04-24 2021-10-28 深圳壹账通智能科技有限公司 基于多层次逻辑的语音话术检测方法、装置、计算机设备及存储介质
CN114548118A (zh) * 2022-04-27 2022-05-27 中信建投证券股份有限公司 一种服务对话检测方法及系统
CN117079640A (zh) * 2023-10-12 2023-11-17 深圳依时货拉拉科技有限公司 语音监测方法、装置、计算机设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462600A (zh) * 2014-12-31 2015-03-25 科大讯飞股份有限公司 实现来电原因自动分类的方法及装置
US20170053653A1 (en) * 2013-07-17 2017-02-23 Verint Systems Ltd. Blind Diarization of Recorded Calls With Arbitrary Number of Speakers
CN106776806A (zh) * 2016-11-22 2017-05-31 广东电网有限责任公司佛山供电局 呼叫中心质检语音的评分方法和系统
CN106934000A (zh) * 2017-03-03 2017-07-07 深圳市彬讯科技有限公司 一种呼叫系统的语音自动质检方法及系统
CN107193843A (zh) * 2016-03-15 2017-09-22 阿里巴巴集团控股有限公司 一种基于ac自动机和后缀表达式的字符串筛选方法及装置
CN107403619A (zh) * 2017-06-30 2017-11-28 武汉泰迪智慧科技有限公司 一种应用于自行车环境的语音控制方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053653A1 (en) * 2013-07-17 2017-02-23 Verint Systems Ltd. Blind Diarization of Recorded Calls With Arbitrary Number of Speakers
CN104462600A (zh) * 2014-12-31 2015-03-25 科大讯飞股份有限公司 实现来电原因自动分类的方法及装置
CN107193843A (zh) * 2016-03-15 2017-09-22 阿里巴巴集团控股有限公司 一种基于ac自动机和后缀表达式的字符串筛选方法及装置
CN106776806A (zh) * 2016-11-22 2017-05-31 广东电网有限责任公司佛山供电局 呼叫中心质检语音的评分方法和系统
CN106934000A (zh) * 2017-03-03 2017-07-07 深圳市彬讯科技有限公司 一种呼叫系统的语音自动质检方法及系统
CN107403619A (zh) * 2017-06-30 2017-11-28 武汉泰迪智慧科技有限公司 一种应用于自行车环境的语音控制方法及系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784603A (zh) * 2019-10-18 2020-02-11 深圳供电局有限公司 一种离线质检用智能语音分析方法及系统
CN112735421A (zh) * 2019-10-28 2021-04-30 北京京东尚科信息技术有限公司 一种语音通话的实时质检方法和装置
CN110931014A (zh) * 2019-12-13 2020-03-27 集奥聚合(北京)人工智能科技有限公司 基于正则匹配规则的语音识别方法及装置
CN110956956A (zh) * 2019-12-13 2020-04-03 集奥聚合(北京)人工智能科技有限公司 基于策略规则的语音识别方法及装置
CN111048115A (zh) * 2019-12-13 2020-04-21 集奥聚合(北京)人工智能科技有限公司 语音识别方法及装置
CN111010484A (zh) * 2019-12-16 2020-04-14 科大国创软件股份有限公司 一种通话录音自动质检方法
WO2021169423A1 (zh) * 2020-02-26 2021-09-02 深圳前海微众银行股份有限公司 客服录音的质检方法、装置、设备及存储介质
CN111405122A (zh) * 2020-03-18 2020-07-10 苏州科达科技股份有限公司 音频通话测试方法、装置及存储介质
CN111405122B (zh) * 2020-03-18 2021-09-24 苏州科达科技股份有限公司 音频通话测试方法、装置及存储介质
WO2021212998A1 (zh) * 2020-04-24 2021-10-28 深圳壹账通智能科技有限公司 基于多层次逻辑的语音话术检测方法、装置、计算机设备及存储介质
CN111696528B (zh) * 2020-06-20 2021-04-23 龙马智芯(珠海横琴)科技有限公司 一种语音质检方法、装置、质检设备及可读存储介质
CN111696528A (zh) * 2020-06-20 2020-09-22 龙马智芯(珠海横琴)科技有限公司 一种语音质检方法、装置、质检设备及可读存储介质
CN111984779A (zh) * 2020-09-10 2020-11-24 支付宝(杭州)信息技术有限公司 一种对话文本分析方法、装置、设备和可读介质
CN111984779B (zh) * 2020-09-10 2024-05-28 支付宝(杭州)信息技术有限公司 一种对话文本分析方法、装置、设备和可读介质
CN112800269A (zh) * 2021-01-20 2021-05-14 上海明略人工智能(集团)有限公司 会议记录的生成方法及装置
CN113270114A (zh) * 2021-07-19 2021-08-17 北京明略软件系统有限公司 一种语音质检方法及系统
CN114548118A (zh) * 2022-04-27 2022-05-27 中信建投证券股份有限公司 一种服务对话检测方法及系统
CN117079640A (zh) * 2023-10-12 2023-11-17 深圳依时货拉拉科技有限公司 语音监测方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110197672B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN110197672A (zh) 一种语音通话质量检测方法、服务器、存储介质
CN106550155B (zh) 对可疑号码进行诈骗样本甄别归类及拦截的方法及系统
CN107342976B (zh) 针对企业产业链分析的移动应用平台与方法
CN109151218A (zh) 通话语音质检方法、装置、计算机设备及存储介质
CN110378562A (zh) 语音质检方法、装置、计算机设备及存储介质
CN110321472A (zh) 基于智能问答技术的舆情监测系统
CN111182162B (zh) 基于人工智能的电话质检方法、装置、设备和存储介质
CN110309216A (zh) 一种基于文本分类的客服语音质检方法
TWI650719B (zh) 從文字內容評核客戶服務品質之系統及方法
CN111445976A (zh) 一种智能合理用药系统及方法
CN112528041B (zh) 一种基于知识图谱的调度用语规范验证方法
CN113468296B (zh) 可配置业务逻辑的模型自迭代式智能客服质检系统与方法
Fantoni et al. Text mining tool for translating terms of contract into technical specifications: Development and application in the railway sector
CN110598070A (zh) 应用类型识别方法及装置、服务器及存储介质
CN110929011A (zh) 一种对话分析方法、装置和设备
CN109947934A (zh) 针对短文本的数据挖掘方法及系统
CN107886951A (zh) 一种语音检测方法、装置及设备
CN112632982A (zh) 一种能用于供应商评价的对话文本情感分析方法
KR20200125526A (ko) 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램
Papay et al. Quotation detection and classification with a corpus-agnostic model
CN110399473A (zh) 为用户问题确定答案的方法和装置
CN114330366A (zh) 事件抽取方法及相关装置、电子设备和存储介质
CN113868422A (zh) 一种多标签稽查工单问题溯源识别方法及装置
CN113553431A (zh) 用户标签提取方法、装置、设备及介质
Sancheti et al. Agent-specific deontic modality detection in legal language

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant