CN111739516A - 一种针对智能客服通话的语音识别系统 - Google Patents

一种针对智能客服通话的语音识别系统 Download PDF

Info

Publication number
CN111739516A
CN111739516A CN202010565263.2A CN202010565263A CN111739516A CN 111739516 A CN111739516 A CN 111739516A CN 202010565263 A CN202010565263 A CN 202010565263A CN 111739516 A CN111739516 A CN 111739516A
Authority
CN
China
Prior art keywords
module
emotion
user
customer service
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010565263.2A
Other languages
English (en)
Inventor
林僚
程丹
梁冬明
张超婧
罗圆
黄恺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Asean Information Harbor Co ltd
Original Assignee
China Asean Information Harbor Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Asean Information Harbor Co ltd filed Critical China Asean Information Harbor Co ltd
Priority to CN202010565263.2A priority Critical patent/CN111739516A/zh
Publication of CN111739516A publication Critical patent/CN111739516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及智能语音客服技术领域,尤其是一种针对智能客服通话的语音识别系统,包括,语音处理模块,其用于通话语音的预处理;特征识别模块,其根据所述语音处理模块所获得的特征数据对用户的性别及年龄进行识别;语义分析模块,其用于将通话语音转换成文字信息并对用户每段语句的内容进行理解;情绪识别模块,其用于获取所述语音处理模块及所述语义分析模块的数据,并通过情感分类模型集分析出用户当前情绪状态的信息;策略平台,其用于与AI客服的对接,使AI客服根据用户的性别、年龄、情绪及通话信息提供对应的应对策略。本发明提能够根据用户的特征提供人性化的作答方式,在减少人工客服投入的情况下保证用户的满意度。

Description

一种针对智能客服通话的语音识别系统
技术领域
本发明涉及智能语音客服技术领域,尤其是一种针对智能客服通话的语音识别系统。
背景技术
随着人工智能的发展,很多行业也得到了智能化的发展,客服行业便是其中之一。客服是连接企业和客户的纽带,呼叫中心根据客户语音信息,在产品、管理、数据和运营等方面转变思维,拥抱改变。早期的客服都是人工客服,对于企业而言,客服的投入产出比不高;对于客服人员来说,工作的成长空间小,技能单一,也不利于自身发展,就造成了较高的离职率。随后人工智能AI客服的出现使企业客服工作规范化、细致化、简单化、智能化,满足越来越复杂的客户服务需求,并能够帮助客服人员高效完成客服业务;帮助企业能够更好的管理客服工作,减少人力成本,解决高成本的重复劳动。
目前的AI客服是通过语音识别和自然语言处理技术相结合,利用人机协作机制服务于客服提高效率。但是由于客户是具有情感的,AI客服无法根据用户的感情进行不同的作答方式,而且不同性别和年龄段客户的需求是不相同的,AI客服无法识别用户的性别年龄为客户提供准确的服务,面对上述弊端,AI客服的无法人性化地服务客户与企业。
发明内容
为了解决上述问题,本发明提供一种针对智能客服通话的语音识别系统,能够根据用户的特征提供人性化的作答方式,在减少人工客服投入的情况下保证用户的满意度。
为了实现上述目的,本发明采用的技术方案为:
一种针对智能客服通话的语音识别系统,包括语音处理模块、特征识别模块、语义分析模块、情绪识别模块、策略平台及AI客服,
所述语音处理模块用于呼叫中心中通话语音的获取,且所述语音处理模块还用于通话语音的预处理,以获得通话语音的音律、音质、音色及频谱特征;
所述特征识别模块用于获取所述语音处理模块的数据,且所述特征识别模块根据所述语音处理模块所获得的特征数据对用户的性别及年龄进行识别,以获得用户的性别及年龄段;
所述语义分析模块用于获取所述语音处理模块的数据,所述语义分析模块通过声学模型和语言模型将通话语音转换成文字信息,并对用户每段语句的内容进行理解,获得通话关键信息及用户意图的信息;
所述情绪识别模块用于获取所述语音处理模块及所述语义分析模块的数据,且所述情绪识别模块通过情感分类模型集分析出用户当前情绪状态的信息;
所述策略平台用于与所述AI客服的对接,以所述AI客服根据用户的性别、年龄、情绪及通话关键信息提供对应的应对策略,所述策略平台包括标签模块,所述标签模块用于获取所述特征识别模块、所述语义分析模块及所述情绪识别模块的数据,以在通话过程中为用户标记上性别、年龄、情绪特征及通话关键信息的标签。
进一步地,所述语义分析模块包括语音识别模块及语义理解模块,
所述语音识别子模块用于获取所述语音处理模块的数据并通过声学模型、语言模型及解码搜索识别用户每段语句的内容信息;
所述语义理解子模块用于获取所述语音识别模块的语句内容数据,并通过自然语言处理及自然语言生成将通话语音转换成文字信息并分析理解语句内容,以获得通话关键信息及识别用户的意图信息。
进一步地,所述情绪识别模块包括第一情绪判别子模块、第二情绪判别子模块及情绪确定子模块,
所述第一情绪判别子模块用于获取所述语音处理模块的数据,并通过语音情感模型集进行用户情绪的分析,以获得用户所出现各种情绪类型的概率值;所述第二情绪判别子模块用于获取所述语音识别子模块及所述语义理解子模块的数据,并通过文字情感模型集进行用户情绪的分析,以获得用户所出现各种情绪类型的概率值;所述情绪确定子模块用于将所述第一情绪判别子模块及所述第二情绪判别子模块中相同类型情绪对应的概率值进行相加,以将概率值总和最大的情绪类型作为用户当前情绪状态。
进一步地,所述策略平台还包括监控模块,所述监控模块用于为不同的情绪类型赋予不同的情绪分值,且所述监控模块还用于获取所述情绪确定子模块的数据,以监控用户当前的情绪分值,且所述监控模块设置有情绪得分阈值及缓冲时间,以使用户当前的情绪分值达到所述情绪阈值之后,所述监控模块计算所述缓冲时间内情绪分值的曲线变化趋势,当所述曲线呈现上升或波动时,所述监控模块将通话转接至呼叫中心的人工通道;当所述曲线呈现下降时,所述监控模块进行下次的情绪分值监控。
进一步地,所述标签模块包括用户画像标签库及标签匹对子模块,所述用户画像标签库用于设置与性别、年龄段、情绪特征及通话关键信息的标签相对应的关键词,并将标签与对应关键词关联构成标签库;所述标签匹对子模块用于将所述特征识别模块、所述语义分析模块及所述情绪识别模块的数据与所述用户画像标签库的数据进行比较匹对,以对用户标记对应的标签并构成用户画像;
所述策略平台还包括作答策略模块,所述作答策略模块用于根据所述用户画像标签库的数据建立策略模型,且所述策略平台能够根据所述策略模型,将所述标签匹对子模块获得的标签通过学习算法为所述AI客服提供作答指令,以使所述AI客服为不同的用户画像提供不同的作答策略。
进一步地,所述策略平台还包括产品信息库,所述产品信息库用于不同产品的型号、功能、使用方法、维护方法及适用人群信息的记录;所述作答策略模块还能够获取所述语义分析模块及所述标签匹对子模块的数据,以根据用户的意图为所述AI客服提供产品售前推荐及售后问题解决的作答策略。
进一步地,所述作答策略模块还设有转接人工服务的作答策略,以使所述AI客服获得转接人工服务的指令后,将通话转接至呼叫中心的人工通道。
进一步地,所述策略平台还包括产品统计模块,所述产品统计模块用于获取所述标签匹对子模块的数据、所述产品信息库及所述AI客服的通话语音,以获得不同产品在不同性别和不同年龄段的关注程度的信息及不同产品在不同性别和不同年龄段所产生售后问题的信息,且所述产品统计模块还能够根据所述关注程度的信息和所述售后问题的信息生成统计表格。
进一步地,所述特征识别模块通过二分类模型识别用户的性别及通过多分类模型识别用户的年龄段。
本发明的有益效果是:
1.在语音处理模块的作用下,能够与呼叫中心进行对接,以获取呼叫中心的通话语音数据,从而能够在AI客服与用户进行交流时,获取用户的通话语音的音律、音质、音色及频谱特征,以为后续提供必要的数据。通过特征识别模块判断用户的性别年龄、通过语义分析模块获取通话关键信息、用户的意图及通过情绪识别模块判断用户当前的情绪,从而使得标签模块能够对用户标记上对应的标签,使策略平台能够根据用户的特性为AI客服提供相对应的作答策略,以AI客服能够为用户提供满意的服务。
2.在第一情绪判别子模块的作用下,能够根据用户的通话语音分析出用户当前的所出现各种情绪类型的概率值,在第二情绪判别子模块的作用下,能够根据用户的通话文字分析出用户当前的所出现各种情绪类型的概率值,情绪确定子模块利用语音及文字的两种方式,准确地判断用户当前的情绪,从而使策略平台能够为AI客服提供合适的作答策略。同时通过监控模块能够为不同的情绪类型赋予不同的情绪分值,而且监控模块设置有情绪得分阈值及缓冲时间,当情绪分值达到情绪阈值后,监控模块执行缓冲时间内情绪分值的曲线的监控,当曲线呈现上升或波动时,证明AI客服无法为用户进行满意的服务,监控模块将通话转接至呼叫中心的人工通道,通过人工交流的方式与用户沟通,以及时挽回损失;当曲线呈现下降时,证明用户的不满意程度逐渐消失,监控模块进行下次的监控,防止用户再次出现不满意的情绪。
3.通过在用户画像标签库设置与性别、年龄段、情绪特征通话关键信息的标签相对应的关键词,使得标签匹对子模块能够根据特征识别模块、语义分析模块及情绪识别模块的数据,构建出与性别、年龄、性格及需求相关的用户画像;作答策略模块通过将用户画像的数据在策略模型中获得对应的作答策略,使得AI客服能够为不同类型的用户作出不同的应答方式,减少用户不满意情绪的出现。而且作答策略模块能够根据产品信息库、语义分析模块及标签匹对子模块的数据,了解用户的意图,从而能够根据用户的需求和用户的类型,为AI客服提供对应产品的推荐、使用说明或维护方式的策略,以使AI客服能够更好地服务用户。
附图说明
图1是本发明一较佳实施方式的针对智能客服通话的语音识别系统的结构框图。
图2是本发明一较佳实施方式的针对智能客服通话的语音识别系统的性别年龄识别流程图。
图3是本发明一较佳实施方式的针对智能客服通话的语音识别系统的情绪识别流程图。
图中,1-语音处理模块,2-特征识别模块,3-语义分析模块,31-语音识别子模块,32-语义理解子模块,4-情绪识别模块,41-第一情绪判别子模块,42-第二情绪判别子模块,43-情绪确定子模块,5-策略平台,51-标签模块,511-用户画像标签库,512-标签匹对子模块,52-监控模块,53-作答策略模块,54-产品信息库,55-产品统计模块,6-AI客服。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参见图1至图3,本发明一较佳实施方式的针对智能客服通话的语音识别系统,包括语音处理模块1、特征识别模块2、语义分析模块3、情绪识别模块4、策略平台5及AI客服6。
语音处理模块1用于呼叫中心中通话语音的获取,且语音处理模块1还用于通话语音的预处理,以获得通话语音的音律、音质、音色及频谱特征。
本实施例中,语音处理模块1对呼叫中心中通话语音进行预处理并特征提取。处理主要包括去静音,去噪。常用的特征包括:LPC(线性预测系数)、LPCC(线性预测倒谱系数)、MFCC(梅尔倒谱系数)、PCEN(各时频单元对应的归一化能量)、小波变换系数、LogFbank(对数滤波器组能力)以及相应的一阶二阶差分系数等特征。一阶二阶差分体现了相邻帧之间的关系,反应的是动态特征。其中MFCC是被用的最多,根据需要来设置滤波器组个数。
特征识别模块2用于获取语音处理模块1的数据,且特征识别模块2根据语音处理模块1所获得的特征数据对用户的性别及年龄进行识别,以获得用户的性别及年龄段。
本实施例中,特征识别模块2通过二分类模型识别用户的性别及通过多分类模型识别用户的年龄段。特征识别模块2以语音处理模块1的数据作为性别年龄识别模型的输入,该模型可以用机器学习框架建模如的GBDT、SVM,也可以利用深度学习框架进行建模如DNN、LSTM等。而对于性别来说就是一个二分类模型,对于年龄识别,根据不同年龄段进行划分,为多分类模型。
语义分析模块3用于获取语音处理模块1的数据,语义分析模块3通过声学模型和语言模型将通话语音转换成文字信息,并对用户每段语句的内容进行理解,获得通话关键信息及用户意图的信息。
情绪识别模块4用于获取语音处理模块1及语义分析模块3的数据,且情绪识别模块4通过情感分类模型集分析出用户当前情绪状态的信息。
策略平台5用于与AI客服6的对接,以AI客服6根据用户的性别、年龄、情绪及通话关键信息提供对应的应对策略,策略平台5包括标签模块51,标签模块51用于获取特征识别模块2、语义分析模块3及情绪识别模块4的数据,以在通话过程中为用户标记上性别、年龄、情绪特征及通话关键信息的标签。
本实施例在语音处理模块1的作用下,能够与呼叫中心进行对接,以获取呼叫中心的通话语音数据,从而能够在AI客服6与用户进行交流时,获取用户的通话语音的音律、音质、音色及频谱特征,以为后续提供必要的数据。通过特征识别模块2判断用户的性别年龄、通过语义分析模块3获取通话关键信息和用户的意图,并通过情绪识别模块4判断用户当前的情绪,从而使得标签模块51能够对用户标记上对应的标签,使策略平台5能够根据用户的特性为AI客服6提供相对应的作答策略,以AI客服6能够为用户提供满意的服务。
本实施例中,语义分析模块3包括语音识别模块31及语义理解模块32。
语音识别子模块31用于获取语音处理模块1的数据并通过声学模型、语言模型及解码搜索识别用户每段语句的内容信息。
语音识别子模块31负责从语音中识别出本句话的内容。语音识别子模块31主要包括声学模型、语言模型、解码搜索部分。声学模型将声学和发音学的知识进行整合,将语音处理模块的特征作为输入,传统的声学模型有GMM-HMM,使用GMM(高斯混合模型)对HMM(隐马尔可夫模型)每个状态的语音特征分布进行建模,只要混合的高斯分布数目足够多,GMM可以拟合任意精度的概率分布。再到后来的DNN-HMM(深度神经网络-隐马尔可夫模型)模型,DNN相比于GMM的优点之一是不需要对语音数据分布进行假设。CNN(卷积神经网络)、RNN(循环神经网络)、LSTM(长短时记忆模块)等深度神经网络结构。同时CTC使得训练过程无需对样本进行对齐操作,实现有效的“端对端”训练。语言模型主要分为规则模型和统计模型两种。利用先验知识对已经识别出来的结果做修正,有效的提高识别准确率。
语义理解子模块32用于获取语音识别模块31的语句内容数据,并通过自然语言处理及自然语言生成将通话语音转换成文字信息并分析理解语句内容,以获得通话关键信息及识别用户的意图信息。
语义理解子模块32负责将语音识别子模块31识别出来的结果进行解读和理解,提取关进信息,进行意图识别和实体识别,根据结果匹配出相应的标准回答。语义理解一方面要有更加丰富灵活自适应能力强的语义表示,另一方面,又要有好的理解用户对话的策略。在交流的背后,离不开自然语言处理(NLP)和自然语言生成(NLG)这两个基础技术。在自然语言处理中有基于正则表达式、基于机器学习、深度学习的语义分析方法。基于正则表达式的语义分析方法是对语音识别后的文本信息,利用正则匹配方式搜索关键字,根据关键字输出相应的答案。深度模型常用的有RNN,LSTM和双向LSTM模型,来捕获上下文信息。同时,注意力对齐的引入在语义理解方面也是非常必要的。
本实施例中,情绪识别模块4包括第一情绪判别子模块42、第二情绪判别子模块43及情绪确定子模块44,
第一情绪判别子模块41用于获取语音处理模块1的数据,并通过语音情感模型集进行用户情绪的分析,以获得用户所出现各种情绪类型的概率值。
第二情绪判别子模块42用于获取语音识别子模块31及语义理解子模块32的数据,并通过文字情感模型集进行用户情绪的分析,以获得用户所出现各种情绪类型的概率值。
情绪确定子模块43用于将第一情绪判别子模块41及第二情绪判别子模块42中相同类型情绪对应的概率值进行相加,以将概率值总和最大的情绪类型作为用户当前情绪状态。
本实施例的语音情感模型集可以是GMM、SVM、KNN等算法模型,文字情感模型集为基于情感词典的情感分析和基于机器学习的情感分析这两种主流方式。基于情感词典是指根据已构建的情感词典,先对文本进行分词和停用词处理等预处理,再利用先构建好的情感词典,对文本进行字符串匹配,从而挖掘正面和负面信息基于机器学习是指选取情感词作为特征,利用机器学的算法进行分类。由于场景固定,客户的问题相对可控,所以我们利用基于情感词典的匹配方法来进行情感分析。最终结果由语音情感模型集和文字情感模型集共同决定,实现对通话者的情感状态进行动态的捕获和跟踪。
策略平台5还包括监控模块52,监控模块52用于为不同的情绪类型赋予不同的情绪分值,且监控模块52还用于获取情绪确定子模块44的数据,以监控用户当前的情绪分值,且监控模块52设置有情绪得分阈值及缓冲时间,以使用户当前的情绪分值达到情绪阈值之后,监控模块52计算缓冲时间内情绪分值的曲线变化趋势,当曲线呈现上升或波动时,监控模块52将通话转接至呼叫中心的人工通道;当曲线呈现下降时,监控模块52进行下次的情绪分值监控。
通过监控模块52能够为不同的情绪类型赋予不同的情绪分值,而且监控模块52设置有情绪得分阈值及缓冲时间,当情绪分值达到情绪阈值后,监控模块52执行缓冲时间内情绪分值的曲线的监控,当曲线呈现上升或波动时,证明AI客服6无法为用户进行满意的服务,监控模块52将通话转接至呼叫中心的人工通道,通过人工交流的方式与用户沟通,以及时挽回损失;当曲线呈现下降时,证明用户的不满意程度逐渐消失,监控模块52进行下次的监控,防止用户再次出现不满意的情绪。
本实施例中,标签模块51包括用户画像标签库511及标签匹对子模块512,用户画像标签库511用于设置与性别、年龄段、情绪特征及通话关键信息的标签相对应的关键词,并将标签与对应关键词关联构成标签库;标签匹对子模块512用于将特征识别模块2、语义分析模块3及情绪识别模块4的数据与用户画像标签库511的数据进行比较匹对,以对用户标记对应的标签并构成用户画像。
策略平台5还包括作答策略模块53,作答策略模块53用于根据用户画像标签库511的数据建立策略模型,且策略平台5能够根据策略模型,将标签匹对子模块512获得的标签通过学习算法为AI客服6提供作答指令,以使AI客服6为不同的用户画像提供不同的作答策略。
由于不同性别、年龄段及具有不同情绪的用户所需应答的方式是不相同的,比如年龄较大的用户的听力较差,反应较慢,则需要放慢语速和增大音调来让老年人有更好的体验;如年纪较小的用户,需要使用更通俗易懂的话术。其中性别的不同也具有不同得到特点,如性别为女的用户更多是喜欢温柔的语气,而性别为男的用户更愿意在沟通时直达主题。本实施例的作答策略模块53通过将用户画像的数据在策略模型中获得对应的作答策略,使得AI客服6能够为不同类型的用户作出进行不同的应答方式,减少用户不满意情绪的出现。
策略平台5还包括产品信息库54及产品统计模块55。
产品信息库54用于不同产品的型号、功能、使用方法、维护方法及适用人群信息的记录。作答策略模块53还能够获取语义分析模块3及标签匹对子模块512的数据,以根据用户的意图为AI客服6提供产品售前推荐及售后问题解决的作答策略。
作答策略模块53能够根据产品信息库54、语义分析模块3及标签匹对子模块512的数据,了解用户的意图,从而能够根据用户的需求和用户的类型,为AI客服6提供对应产品的推荐、使用说明或维护方式的策略,以使AI客服6能够更好地服务用户。
产品统计模块55用于获取标签匹对子模块512的数据、产品信息库54及AI客服6的通话语音,以获得不同产品在不同性别和不同年龄段的关注程度的信息及不同产品在不同性别和不同年龄段所产生售后问题的信息,且产品统计模块55还能够根据关注程度的信息和售后问题的信息生成统计表格。
在产品统计模块55的作用下,能够了解客户的全方位信息,如打电话的原因、产品存在的问题、产品获知渠道等信息,促进企业对产品服务进行迭代优化。通过产品统计模块55的统计表格,能够使企业获取产品在不同性别及不同年龄段的关注度,便于企业对产品的方案及宣传进行改进,以更好地适配不同的用户。而且通过获取产品在不同性别及不同年龄段的售后问题,能够使企业对产品的功能、结构及使用方法进行改进,以对后续的产品进行优化,避免后续出现同样的售后问题。
本实施中,用户的性别年龄识别步骤为:
A1、获取待检语音,并对待检语音中用户的语音进行预处理,以提取到用户的通话语音的音律、音质、音色及频谱特征。
A2、将提取到的音律、音质、音色及频谱特征进行作为性别年龄识别模型的输入,通过二分类模型识别用户的性别,通过多分类模型识别用户的年龄段。
A3、将用户的性别及年龄段在用户画像标签库511匹对上对应的性别及年龄段标签。
用户情绪识别步骤为:
B1、获取待检语音,并在待检语音对用户的语音进行预处理,以提取到用户的通话语音的音律、音质、音色、频谱特征。
B2、将提取到的音律、音质、音色及频谱特征和通话内容作进行匹配识别,以获得通话关键信息及确定用户的意图。
B3、从文字中获得用户所出现各种情绪类型的概率值,从语音中获得用户所出现各种情绪类型的概率值;将文字对应的各种情绪类型的概率值与语音对应的各种情绪类型的概率值进行相加,将概率值总和最大的情绪类型作为用户当前情绪状态。
B4、将用户当前的情绪状态在用户画像标签库511匹对上对应的情绪标签。

Claims (9)

1.一种针对智能客服通话的语音识别系统,其特征在于,包括语音处理模块(1)、特征识别模块(2)、语义分析模块(3)、情绪识别模块(4)、策略平台(5)及AI客服(6),
所述语音处理模块(1)用于呼叫中心中通话语音的获取,且所述语音处理模块(1)还用于通话语音的预处理,以获得通话语音的音律、音质、音色及频谱特征;
所述特征识别模块(2)用于获取所述语音处理模块(1)的数据,且所述特征识别模块(2)根据所述语音处理模块(1)所获得的特征数据对用户的性别及年龄进行识别,以获得用户的性别及年龄段;
所述语义分析模块(3)用于获取所述语音处理模块(1)的数据,所述语义分析模块(3)通过声学模型和语言模型将通话语音转换成文字信息,并对用户每段语句的内容进行理解,获得通话关键信息及用户意图的信息;
所述情绪识别模块(4)用于获取所述语音处理模块(1)及所述语义分析模块(3)的数据,且所述情绪识别模块(4)通过情感分类模型集分析出用户当前情绪状态的信息;
所述策略平台(5)用于与所述AI客服(6)的对接,以所述AI客服(6)根据用户的性别、年龄、情绪及通话关键信息提供对应的应对策略,所述策略平台(5)包括标签模块(51),所述标签模块(51)用于获取所述特征识别模块(2)、所述语义分析模块(3)及所述情绪识别模块(4)的数据,以在通话过程中为用户标记上性别、年龄、情绪特征及通话关键信息的标签。
2.根据权利要求1所述的一种针对智能客服通话的语音识别系统,其特征在于:所述语义分析模块(3)包括语音识别模块(31)及语义理解模块(32),
所述语音识别子模块(31)用于获取所述语音处理模块(1)的数据并通过声学模型、语言模型及解码搜索识别用户每段语句的内容信息;
所述语义理解子模块(32)用于获取所述语音识别模块(31)的语句内容数据,并通过自然语言处理及自然语言生成将通话语音转换成文字信息并分析理解语句内容,以获得通话关键信息及识别用户的意图信息。
3.根据权利要求2所述的一种针对智能客服通话的语音识别系统,其特征在于:所述情绪识别模块(4)包括第一情绪判别子模块(41)、第二情绪判别子模块(42)及情绪确定子模块(43),
所述第一情绪判别子模块(41)用于获取所述语音处理模块(1)的数据,并通过语音情感模型集进行用户情绪的分析,以获得用户所出现各种情绪类型的概率值;所述第二情绪判别子模块(42)用于获取所述语音识别子模块(31)及所述语义理解子模块(32)的数据,并通过文字情感模型集进行用户情绪的分析,以获得用户所出现各种情绪类型的概率值;所述情绪确定子模块(43)用于将所述第一情绪判别子模块(41)及所述第二情绪判别子模块(42)中相同类型情绪对应的概率值进行相加,以将概率值总和最大的情绪类型作为用户当前情绪状态。
4.根据权利要求3所述的一种针对智能客服通话的语音识别系统,其特征在于:所述策略平台(5)还包括监控模块(52),所述监控模块(52)用于为不同的情绪类型赋予不同的情绪分值,且所述监控模块(52)还用于获取所述情绪确定子模块(43)的数据,以监控用户当前的情绪分值,且所述监控模块(52)设置有情绪得分阈值及缓冲时间,以使用户当前的情绪分值达到所述情绪阈值之后,所述监控模块(52)计算所述缓冲时间内情绪分值的曲线变化趋势,当所述曲线呈现上升或波动时,所述监控模块(52)将通话转接至呼叫中心的人工通道;当所述曲线呈现下降时,所述监控模块(52)进行下次的情绪分值监控。
5.根据权利要求1所述的一种针对智能客服通话的语音识别系统,其特征在于:所述标签模块(51)包括用户画像标签库(511)及标签匹对子模块(512),所述用户画像标签库(511)用于设置与性别、年龄段、情绪特征及通话关键信息的标签相对应的关键词,并将标签与对应关键词关联构成标签库;所述标签匹对子模块(512)用于将所述特征识别模块(2)、所述语义分析模块(3)及所述情绪识别模块(4)的数据与所述用户画像标签库(511)的数据进行比较匹对,以对用户标记对应的标签并构成用户画像;
所述策略平台(5)还包括作答策略模块(53),所述作答策略模块(53)用于根据所述用户画像标签库(511)的数据建立策略模型,且所述策略平台(5)能够根据所述策略模型,将所述标签匹对子模块(512)获得的标签通过学习算法为所述AI客服(6)提供作答指令,以使所述AI客服(6)为不同的用户画像提供不同的作答策略。
6.根据权利要求5所述的一种针对智能客服通话的语音识别系统,其特征在于:所述策略平台(5)还包括产品信息库(54),所述产品信息库(54)用于不同产品的型号、功能、使用方法、维护方法及适用人群信息的记录;所述作答策略模块(53)还能够获取所述语义分析模块(3)及所述标签匹对子模块(512)的数据,以根据用户的意图为所述AI客服(6)提供产品售前推荐及售后问题解决的作答策略。
7.根据权利要求6所述的一种针对智能客服通话的语音识别系统,其特征在于:所述作答策略模块(53)还设有转接人工服务的作答策略,以使所述AI客服(6)获得转接人工服务的指令后,将通话转接至呼叫中心的人工通道。
8.根据权利要求6所述的一种针对智能客服通话的语音识别系统,其特征在于:所述策略平台(5)还包括产品统计模块(55),所述产品统计模块(55)用于获取所述标签匹对子模块(512)的数据、所述产品信息库(54)及所述AI客服(6)的通话语音,以获得不同产品在不同性别和不同年龄段的关注程度的信息及不同产品在不同性别和不同年龄段所产生售后问题的信息,且所述产品统计模块(55)还能够根据所述关注程度的信息和所述售后问题的信息生成统计表格。
9.根据权利要求1所述的一种针对智能客服通话的语音识别系统,其特征在于:所述特征识别模块(2)通过二分类模型识别用户的性别及通过多分类模型识别用户的年龄段。
CN202010565263.2A 2020-06-19 2020-06-19 一种针对智能客服通话的语音识别系统 Pending CN111739516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010565263.2A CN111739516A (zh) 2020-06-19 2020-06-19 一种针对智能客服通话的语音识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010565263.2A CN111739516A (zh) 2020-06-19 2020-06-19 一种针对智能客服通话的语音识别系统

Publications (1)

Publication Number Publication Date
CN111739516A true CN111739516A (zh) 2020-10-02

Family

ID=72650721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010565263.2A Pending CN111739516A (zh) 2020-06-19 2020-06-19 一种针对智能客服通话的语音识别系统

Country Status (1)

Country Link
CN (1) CN111739516A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101046A (zh) * 2020-11-02 2020-12-18 北京淇瑀信息科技有限公司 一种基于通话行为的会话分析方法、装置和系统
CN112489654A (zh) * 2020-11-17 2021-03-12 深圳康佳电子科技有限公司 一种语音交互方法、装置、智能终端及存储介质
CN112489645A (zh) * 2020-11-05 2021-03-12 北京中凯信通信息技术有限公司 一种智能语音交互方法、系统及存储介质
CN112489636A (zh) * 2020-10-15 2021-03-12 南京创维信息技术研究院有限公司 一种智能语音播报助手选择方法和系统
CN112906365A (zh) * 2021-01-25 2021-06-04 绿瘦健康产业集团有限公司 一种用户画像生成方法、装置、终端设备以及存储介质
CN112967721A (zh) * 2021-02-03 2021-06-15 上海明略人工智能(集团)有限公司 一种基于语音识别技术的销售线索信息识别方法与系统
CN112967725A (zh) * 2021-02-26 2021-06-15 平安科技(深圳)有限公司 语音对话数据处理方法、装置、计算机设备及存储介质
CN112995422A (zh) * 2021-02-07 2021-06-18 成都薯片科技有限公司 通话管控方法、装置、电子设备及存储介质
CN113094578A (zh) * 2021-03-16 2021-07-09 平安普惠企业管理有限公司 基于深度学习的内容推荐方法、装置、设备及存储介质
CN113158052A (zh) * 2021-04-23 2021-07-23 平安银行股份有限公司 聊天内容推荐方法、装置、计算机设备及存储介质
CN113194210A (zh) * 2021-04-30 2021-07-30 中国银行股份有限公司 一种语音通话接入方法及装置
CN113314112A (zh) * 2021-04-21 2021-08-27 北京三快在线科技有限公司 对话方法、装置、电子设备及存储介质
CN113313382A (zh) * 2021-05-28 2021-08-27 深圳市大恩信息科技有限公司 一种基于erp的企业部门业务链接方法及系统
CN113377935A (zh) * 2021-05-24 2021-09-10 海南师范大学 一种自动分流实现智能客服的系统及方法
CN113435912A (zh) * 2021-06-29 2021-09-24 平安科技(深圳)有限公司 基于客户画像的数据分析方法、装置、设备及介质
CN113743100A (zh) * 2021-08-03 2021-12-03 北京捷通华声科技股份有限公司 基于坐席辅助机器人的信息处理方法及其装置
CN113870902A (zh) * 2021-10-27 2021-12-31 安康汇智趣玩具科技技术有限公司 一种语音交互毛绒玩具的情绪识别系统、装置及方法
CN114025049A (zh) * 2021-12-09 2022-02-08 北京声智科技有限公司 通话处理方法、装置、电子设备及存储介质
CN114093360A (zh) * 2021-10-18 2022-02-25 北京声智科技有限公司 呼叫方法、装置、电子设备及存储介质
CN114915800A (zh) * 2021-12-07 2022-08-16 天翼数字生活科技有限公司 Iptv家庭用户年龄及性别分布预测系统和方法
CN115022471A (zh) * 2022-05-18 2022-09-06 北京互连众信科技有限公司 一种智能机器人语音交互系统和方法
CN115348355A (zh) * 2022-07-05 2022-11-15 深圳市仰和镜象技术有限公司 基于人工智能技术的心理危机识别通话服务系统
CN115766947A (zh) * 2023-01-09 2023-03-07 广东电网有限责任公司 电网客服中心智能管控方法及系统
WO2023097745A1 (zh) * 2021-12-03 2023-06-08 山东远联信息科技有限公司 一种基于深度学习的智能交互方法、系统及终端
CN117176864A (zh) * 2023-09-04 2023-12-05 知助数智(重庆)科技有限公司 基于ai的外呼通讯数据管理方法、系统、介质及设备
CN118262725A (zh) * 2024-05-30 2024-06-28 中鑫融信(北京)科技有限公司 基于智能交互问答的调解策略输出方法、装置及设备
CN118350824A (zh) * 2024-05-13 2024-07-16 苏州灰狐网络科技有限公司 一种基于情绪能量感知的物联网信息技术客服服务系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944008A (zh) * 2017-12-08 2018-04-20 神思电子技术股份有限公司 一种针对自然语言进行情绪识别的方法
CN109767791A (zh) * 2019-03-21 2019-05-17 中国—东盟信息港股份有限公司 一种针对呼叫中心通话的语音情绪识别及应用系统
CN109815494A (zh) * 2019-01-16 2019-05-28 中民乡邻投资控股有限公司 一种基于客户情绪的问答服务方法
CN109887525A (zh) * 2019-01-04 2019-06-14 平安科技(深圳)有限公司 智能客服方法、装置及计算机可读存储介质
CN111026843A (zh) * 2019-12-02 2020-04-17 北京智乐瑟维科技有限公司 一种人工智能语音外呼方法、系统及存储介质
CN111063370A (zh) * 2019-12-31 2020-04-24 中国银行股份有限公司 一种语音处理方法及装置
CN111179929A (zh) * 2019-12-31 2020-05-19 中国银行股份有限公司 一种语音处理方法及装置
CN111177308A (zh) * 2019-12-05 2020-05-19 上海云洽信息技术有限公司 一种文本内容的识别情绪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944008A (zh) * 2017-12-08 2018-04-20 神思电子技术股份有限公司 一种针对自然语言进行情绪识别的方法
CN109887525A (zh) * 2019-01-04 2019-06-14 平安科技(深圳)有限公司 智能客服方法、装置及计算机可读存储介质
CN109815494A (zh) * 2019-01-16 2019-05-28 中民乡邻投资控股有限公司 一种基于客户情绪的问答服务方法
CN109767791A (zh) * 2019-03-21 2019-05-17 中国—东盟信息港股份有限公司 一种针对呼叫中心通话的语音情绪识别及应用系统
CN111026843A (zh) * 2019-12-02 2020-04-17 北京智乐瑟维科技有限公司 一种人工智能语音外呼方法、系统及存储介质
CN111177308A (zh) * 2019-12-05 2020-05-19 上海云洽信息技术有限公司 一种文本内容的识别情绪方法
CN111063370A (zh) * 2019-12-31 2020-04-24 中国银行股份有限公司 一种语音处理方法及装置
CN111179929A (zh) * 2019-12-31 2020-05-19 中国银行股份有限公司 一种语音处理方法及装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489636A (zh) * 2020-10-15 2021-03-12 南京创维信息技术研究院有限公司 一种智能语音播报助手选择方法和系统
CN112101046A (zh) * 2020-11-02 2020-12-18 北京淇瑀信息科技有限公司 一种基于通话行为的会话分析方法、装置和系统
CN112101046B (zh) * 2020-11-02 2022-04-29 北京淇瑀信息科技有限公司 一种基于通话行为的会话分析方法、装置和系统
CN112489645A (zh) * 2020-11-05 2021-03-12 北京中凯信通信息技术有限公司 一种智能语音交互方法、系统及存储介质
CN112489654A (zh) * 2020-11-17 2021-03-12 深圳康佳电子科技有限公司 一种语音交互方法、装置、智能终端及存储介质
CN112906365A (zh) * 2021-01-25 2021-06-04 绿瘦健康产业集团有限公司 一种用户画像生成方法、装置、终端设备以及存储介质
CN112967721A (zh) * 2021-02-03 2021-06-15 上海明略人工智能(集团)有限公司 一种基于语音识别技术的销售线索信息识别方法与系统
CN112967721B (zh) * 2021-02-03 2024-05-31 上海明略人工智能(集团)有限公司 一种基于语音识别技术的销售线索信息识别方法与系统
CN112995422A (zh) * 2021-02-07 2021-06-18 成都薯片科技有限公司 通话管控方法、装置、电子设备及存储介质
CN112967725A (zh) * 2021-02-26 2021-06-15 平安科技(深圳)有限公司 语音对话数据处理方法、装置、计算机设备及存储介质
CN113094578A (zh) * 2021-03-16 2021-07-09 平安普惠企业管理有限公司 基于深度学习的内容推荐方法、装置、设备及存储介质
CN113314112A (zh) * 2021-04-21 2021-08-27 北京三快在线科技有限公司 对话方法、装置、电子设备及存储介质
CN113158052A (zh) * 2021-04-23 2021-07-23 平安银行股份有限公司 聊天内容推荐方法、装置、计算机设备及存储介质
CN113194210A (zh) * 2021-04-30 2021-07-30 中国银行股份有限公司 一种语音通话接入方法及装置
CN113377935A (zh) * 2021-05-24 2021-09-10 海南师范大学 一种自动分流实现智能客服的系统及方法
CN113313382A (zh) * 2021-05-28 2021-08-27 深圳市大恩信息科技有限公司 一种基于erp的企业部门业务链接方法及系统
CN113435912A (zh) * 2021-06-29 2021-09-24 平安科技(深圳)有限公司 基于客户画像的数据分析方法、装置、设备及介质
CN113743100A (zh) * 2021-08-03 2021-12-03 北京捷通华声科技股份有限公司 基于坐席辅助机器人的信息处理方法及其装置
CN114093360A (zh) * 2021-10-18 2022-02-25 北京声智科技有限公司 呼叫方法、装置、电子设备及存储介质
CN113870902A (zh) * 2021-10-27 2021-12-31 安康汇智趣玩具科技技术有限公司 一种语音交互毛绒玩具的情绪识别系统、装置及方法
CN113870902B (zh) * 2021-10-27 2023-03-14 安康汇智趣玩具科技技术有限公司 一种语音交互毛绒玩具的情绪识别系统、装置及方法
WO2023097745A1 (zh) * 2021-12-03 2023-06-08 山东远联信息科技有限公司 一种基于深度学习的智能交互方法、系统及终端
CN114915800A (zh) * 2021-12-07 2022-08-16 天翼数字生活科技有限公司 Iptv家庭用户年龄及性别分布预测系统和方法
CN114025049A (zh) * 2021-12-09 2022-02-08 北京声智科技有限公司 通话处理方法、装置、电子设备及存储介质
CN115022471A (zh) * 2022-05-18 2022-09-06 北京互连众信科技有限公司 一种智能机器人语音交互系统和方法
CN115348355A (zh) * 2022-07-05 2022-11-15 深圳市仰和镜象技术有限公司 基于人工智能技术的心理危机识别通话服务系统
CN115766947A (zh) * 2023-01-09 2023-03-07 广东电网有限责任公司 电网客服中心智能管控方法及系统
CN117176864A (zh) * 2023-09-04 2023-12-05 知助数智(重庆)科技有限公司 基于ai的外呼通讯数据管理方法、系统、介质及设备
CN118350824A (zh) * 2024-05-13 2024-07-16 苏州灰狐网络科技有限公司 一种基于情绪能量感知的物联网信息技术客服服务系统
CN118262725A (zh) * 2024-05-30 2024-06-28 中鑫融信(北京)科技有限公司 基于智能交互问答的调解策略输出方法、装置及设备
CN118262725B (zh) * 2024-05-30 2024-08-13 中鑫融信(北京)科技有限公司 基于智能交互问答的调解策略输出方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111739516A (zh) 一种针对智能客服通话的语音识别系统
CN109767791B (zh) 一种针对呼叫中心通话的语音情绪识别及应用系统
CN112804400B (zh) 客服呼叫语音质检方法、装置、电子设备及存储介质
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN109256150B (zh) 基于机器学习的语音情感识别系统及方法
EP0549265A2 (en) Neural network-based speech token recognition system and method
CN112233680A (zh) 说话人角色识别方法、装置、电子设备及存储介质
CN112614510B (zh) 一种音频质量评估方法及装置
CN114818649A (zh) 基于智能语音交互技术的业务咨询处理方法及装置
CN112800743A (zh) 一种基于特定领域的语音打分模型构建系统及方法
CN113744742B (zh) 对话场景下的角色识别方法、装置和系统
CN111091809A (zh) 一种深度特征融合的地域性口音识别方法及装置
CN115269836A (zh) 意图识别方法及装置
CN115083392A (zh) 客服应对策略的获取方法、装置、设备及存储介质
CN111090726A (zh) 一种基于nlp的电力行业文字客服交互方法
CN117634471A (zh) 一种nlp质检方法及计算机可读存储介质
CN112309398B (zh) 工作时长监控方法、装置、电子设备和存储介质
CN116883888A (zh) 基于多模态特征融合的银行柜面服务问题溯源系统及方法
CN110807370B (zh) 一种基于多模态的会议发言人身份无感确认方法
CN117219110A (zh) 一种适用于录音工牌的话者分离方法
CN116911869A (zh) 一种基于人工智能的智能客服系统及其方法
CN115022471B (zh) 一种智能机器人语音交互系统和方法
CN113990288B (zh) 一种语音客服自动生成部署语音合成模型的方法
CN115691500A (zh) 一种基于时延神经网络的电力客服语音识别方法及装置
CN115827831A (zh) 意图识别模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002