CN115565535B - 一种智能语音客服系统 - Google Patents

一种智能语音客服系统 Download PDF

Info

Publication number
CN115565535B
CN115565535B CN202211151738.9A CN202211151738A CN115565535B CN 115565535 B CN115565535 B CN 115565535B CN 202211151738 A CN202211151738 A CN 202211151738A CN 115565535 B CN115565535 B CN 115565535B
Authority
CN
China
Prior art keywords
voice
time
voice data
customer service
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211151738.9A
Other languages
English (en)
Other versions
CN115565535A (zh
Inventor
贾明华
郭克新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Floating Point Intelligent Computing Digital Technology Co ltd
Original Assignee
Nanjing Floating Point Intelligent Computing Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Floating Point Intelligent Computing Digital Technology Co ltd filed Critical Nanjing Floating Point Intelligent Computing Digital Technology Co ltd
Priority to CN202211151738.9A priority Critical patent/CN115565535B/zh
Publication of CN115565535A publication Critical patent/CN115565535A/zh
Application granted granted Critical
Publication of CN115565535B publication Critical patent/CN115565535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • G10L15/05Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提出一种智能语音客服系统,通过预测客户收到智能语音客服回复所述客户语音数据的语音反馈时间,当预测的所述语音反馈时间小于所述标准语音反馈时间时,在所述客服语音数据传输时间之前插入模拟响应时间,当预测的所述语音反馈时间大于所述标准语音反馈时间时,从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据,在客户发出所述客户语音数据后等待时间到达所述标准语音反馈时间之前,将所述客服语音数据发送给客户,能够实现以标准的语音反馈时间给客户进行回复,具有更好的客户使用体验。

Description

一种智能语音客服系统
技术领域
本发明涉及语音服务技术领域,特别涉及一种智能语音客服系统。
背景技术
人工智能技术自诞生之日起,便迅速在各个领域得以转化应用,为各行各业的发展和进步起到了极其重要的作用,智能语音客服即为其中典型的应用案例。传统的客服行业采用人工客服的方式为客户提供电话语音服务,由于客服人员流动大、培训难度高,同时大量重复性问题不可避免地消耗大量人工客服的时间等问题,使得人工客服的成本一起居高不下,且服务效率低下。智能语音客服的面世为客服行业解决了上述难题,智能语音客服可以替代人工客服解决客户大量的简单、重复的问题,同时基于人工智能学习算法还能通过实时数据反馈不断学习演进,使得智能语音客服能够解决越来越复杂的问题,拟人化的智能语音客服甚至能够达到以假乱真的程度。无论是人工客服还是智能语音客服,都需要非常注重服务质量。智能语音客服相较于人工客服虽然具有更高的服务效率,然而面向客户提出的各种问题,有的复杂有的简单,其生成答复的计算时间各有不同,从而也会导致客户在提出问题后,得到智能语音客服回复的时间有所不同,智能语音客户回复客户问题的速度过快会引起客户的不适,回复速度过慢,也会让客户失去耐心,从而影响客户的通话体验。
发明内容
本发明正是基于上述问题,提出了一种智能语音客服系统,能够实现以标准的语音反馈时间给客户进行回复,具有更好的客户使用体验。
有鉴于此,本发明提出了一种智能语音客服系统,包括:
客户语音数据接收模块,用于接收客户语音数据;
语音反馈时间预测模块,用于预测客户收到智能语音客服回复所述客户语音数据的语音反馈时间所述语音反馈时间包括客户语音数据传输时间Tre、客户语音数据处理时间Tpro、客服语音数据生成时间Tgen以及客服语音数据传输时间Tse
标准语音反馈时间获取模块,用于获取预先配置的标准语音反馈时间Tst
模拟响应时间插入模块,用于当预测的所述语音反馈时间小于所述标准语音反馈时间时,在通过预先训练好的智能语音客服模型生成所述客服语音数据后,在所述客服语音数据传输时间之前插入模拟响应时间Tsi
标准回复语音生成模块,用于当预测的所述语音反馈时间大于所述标准语音反馈时间时,从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据;
客服语音数据发送模块,用于在客户发出所述客户语音数据后等待时间Tw到达所述标准语音反馈时间之前,将所述客服语音数据发送给客户。
进一步的,在上述的智能语音客服系统中,所述客户语音数据包含客户发送所述客户语音数据的发送时间,所述智能语音客服系统还包括:
发送时间获取模块,用于从所述客户语音数据中获取所述客户语音数据的发送时间tc_se,所述客户语音数据的发送时间tc_se为客户说完所述客户语音数据对应的语音的时间点;
断点检测模块,用于检测接收到的所述客户语音数据中的断点;
断点时间确定模块,用于将检测到所述客户语音数据中的第一个断点的时间确定为断点时间tc_br
客户语音数据传输时间计算模块,用于当tc_br>tc_se时,根据所述断点时间tc_br和所述发送时间tc_se计算所述客户语音数据传输时间Tre=tc_br-tc_se
所述客户语音数据传输时间计算模块,还用于当tc_br≤tc_se时,确定所述客户语音数据传输时间Tre=0。
进一步的,在上述的智能语音客服系统中,还包括:
空闲线程调取模块,用于在首次接收到客户语音数据后,从线程池调取一个空闲线程;
网络状态监测模块,用于通过所述线程持续监测服务器与客户端之间的网络状态,所述网络状态包括服务器与客户端之间的数据传输速率Rs_c
获取预先配置的缓冲数据大小Sc_buffer,所述缓冲数据大小为客户端预先配置的或者多媒体协议约定的可以播放的最小缓冲数据大小;
客服语音数据传输时间计算模块,用于计算所述客服语音数据传输时间
进一步的,在上述的智能语音客服系统中,所述模拟响应时间插入模块还用于在从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据后,在所述客服语音数据传输时间之前插入模拟响应时间Tsi=Tst-(Tre+Tpro+Tgen+Tse),所述客户语音数据处理时间Tpro包括对所述客户语音数据执行语音识别转换为文字的时间,所述客服语音数据生成时间Tgen为对从标准回复数据库中确定与所述客户语音数据相应的标准回复内容执行语音合成以生成所述客服语音数据的时间。
进一步的,在上述的智能语音客服系统中,所述客服语音数据发送模块包括:
等待时间计算子模块,用于在接收到所述客户语音数据时开始计算所述等待时间Tw
等待时间判断子模块,用于判断所述等待时间是否满足Tw=Tpro+Tgen+Tsi或者Tw=Tst-(Tre+Tse);
客服语音数据发送子模块,用于在判断为是时,将所述客服语音数据发送给客户。
进一步的,在上述的智能语音客服系统中,还包括智能客服语音数据生成模块,所述空闲线程调取模块还用于当预测的所述语音反馈时间大于所述标准语音反馈时间时,从线程池调取两个空闲线程,其中一个线程用于调用所述标准回复语音生成模块用于从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据,另外一个线程用于调用所述智能客服语音数据生成模块用于通过预先训练好的智能语音客服模型生成所述客服语音数据并缓存在内存中以备客户再次发送包含相同问题的客户语音数据时,使用缓存的所述客服语音数据进行回复。
进一步的,在上述的智能语音客服系统中,所述智能客服语音数据生成模块包括:
语音识别子模块,用于对所述客户语音数据执行语音识别以生成客户文本数据;
回复文本生成子模块,用于将所述客户文本数据输入预先训练好的智能语音客服模型中生成客服文本数据,所述客服文本数据是所述智能语音客服模型基于对所述客户文本数据的自然语义理解实时生成的回复文本;
语音合成子模块,用于使用预先配置的语音合成参数将所述客服文本数据合成为所述客服语音数据。
进一步的,在上述的智能语音客服系统中,所述语音反馈时间预测模块具体用于调用所述客户语音数据发送时间获取模块、所述客户语音数据接收时间记录模块以及所述客户语音数据传输时间计算模块计算所述客户语音数据传输时间Tre,调用所述网络状态监测模块、所述客服语音数据大小获取模块以及所述客服语音数据传输时间计算模块计算所述客服语音数据传输时间Tse,所述语音反馈时间预测模块还包括:
客户语音数据大小模取子模块,用于获取所述客户语音数据的大小;
语音识别时间预测子模块,用于根据所述客户语音数据的大小预测语音识别时间Tc_reco
语音数据处理子模块,用于将所述客户语音数据输入预先训练好的时间预测模型以得到语义理解时间Tc_und、客服文本数据生成时间Ts_txgen以及语音合成时间Ts_vogen
预测的所述语音反馈时间其中Tpro=Tc_reco+Tc_und,Tgen=Ts_txgen+Ts_rogen
进一步的,在上述的智能语音客服系统中,所述标准语音反馈时间Tst为动态值,所述客户语音数据接收模块还用于在每一次接收到客户语音数据时调用所述标准语音反馈时间获取模块实时生成所述标准语音反馈时间Tst
进一步的,在上述的智能语音客服系统中,所述标准语音反馈时间获取模块包括:
基础响应时间获取模块,用于获取预先配置的基础响应时间Tbase
动态变化范围获取模块,用于获取所述标准语音反馈时间的动态变化范围(ΔTbutton,ΔTtop),其中ΔTbutton为负值,ΔTtop为正值;
动态变化时间生成模块,用于随机生成在所述动态变化范围内的动态变化时间ΔT=random(ΔTbutton,ΔTtop);
计算所述标准语音反馈时间Tst=Tbase+ΔT。
本发明提出一种智能语音客服系统,通过预测客户收到智能语音客服回复所述客户语音数据的语音反馈时间,当预测的所述语音反馈时间小于所述标准语音反馈时间时,在所述客服语音数据传输时间之前插入模拟响应时间,当预测的所述语音反馈时间大于所述标准语音反馈时间时,从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据,在客户发出所述客户语音数据后等待时间到达所述标准语音反馈时间之前,将所述客服语音数据发送给客户,能够实现以标准的语音反馈时间给客户进行回复,具有更好的客户使用体验。
附图说明
图1是本发明一个实施例提供的一种智能语音客服系统的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
在本发明的描述中,术语“多个”则指两个或两个以上,除非另有明确的限定,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本说明书的描述中,术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
下面参照附图来描述根据本发明一些实施方式提供的一种智能语音客服系统。
如图1所示,本发明提出了一种智能语音客服系统,包括:
客户语音数据接收模块,用于接收客户语音数据;
语音反馈时间预测模块,用于预测客户收到智能语音客服回复所述客户语音数据的语音反馈时间所述语音反馈时间包括客户语音数据传输时间Tre、客户语音数据处理时间Tpro、客服语音数据生成时间Tgen以及客服语音数据传输时间Tse
标准语音反馈时间获取模块,用于获取预先配置的标准语音反馈时间Tst
模拟响应时间插入模块,用于当预测的所述语音反馈时间小于所述标准语音反馈时间时,在通过预先训练好的智能语音客服模型生成所述客服语音数据后,在所述客服语音数据传输时间之前插入模拟响应时间Tsi
标准回复语音生成模块,用于当预测的所述语音反馈时间大于所述标准语音反馈时间时,从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据;
客服语音数据发送模块,用于在客户发出所述客户语音数据后等待时间Tw到达所述标准语音反馈时间之前,将所述客服语音数据发送给客户。
具体的,客户和智能语音客服之间的通话过程是一个通过语音数据进行来回交互的过程,在客户与智能语音客服的一次通话过程中,客户会通过客户端程序多次向智能语音客服系统发来客户语音数据,智能语音客服系统在每一次接收到客户语音数据后,会对当次接收到的客户语音数据进行识别并生成相应的回复内容后,转为客服语音数据发送给客户端程序。即所述客服语音数据是智能语音客服针对每次收到的客户语音数据生成的回复语音,根据客户语音数据涉及的内容的复杂程度不同,通过人工智能模型实时生成回复内容的时间也会有所不同,当客户的问题较为复杂时,智能语音客服系统需要较长的时间来生成其回复内容,从而导致客户在提出问题后,需要等待较长的时间才能收到智能语音客服的回复。而对于一些简单的、常见的问题,智能语音客服系统可以在非常短的时间内生成回复内容并发送给客户。无论是回复过快还是回复过慢,都会引起客户的不适,根据研究表明,客户在通话过程中的最舒适的响应等待时间在600毫秒到1200毫秒之间。
站在客户的角度来看,其等待时间是以其说完话的时间为起点,到其听到客服回复内容的语音为结束点,在这期间,包括几个阶段的时间,分别是客户语音数据从客户端向服务器的传输时间、服务器对客户语音数据进行处理的时间,服务器生成客服语音数据的时间以及客服语音数据从服务器传输到客户端的时间。在配置了标准语音反馈时间之后,去除其中的客户语音数据传输时间、客户语音数据处理时间以及客服语音数据传输时间后,智能语音客服系统用于生成客服语音数据的时间并不多,当生成客服语音数据所需的时间较长的情况下,可能会导致智能语音客服系统无法在标准语音反馈时间内向客户发出回复。在这种情况下,本发明采用对语音反馈时间进行预测,并根据预测时间以确定是使用智能语音客服模型实时生成回复内容还是从标准回复数据库中选择预置的语音回复内容以回复客户的问题。
所述标准回复数据库中存放的是在所述智能语音客服系统的实际使用中真实出现过的语音数据,即在标准回复数据库中存储所述智能语音客服系统在过去使用期间所接收到的客户提出过的问题,每个问题都会有预设对应答案,当客户语音数据中的问题与标准回复数据库中保存的问题相同或类似时,返回对应答案。智能语音客服系统通过设置丰富的标准回复数据库,在无法在标准语音反馈时间内实时生成语音答复的情况下,根据对客户提出的问题进行语义分析,精确匹配到标准回复数据库中存储的相应的问题,并根据对问题预设的答案,向客户进行反馈,从而节省智能语音客服系统的处理时间,实现在标准语音反馈时间内响应客户提出的问题。
采用上述实施方式的技术方案,通过预测客户收到智能语音客服回复所述客户语音数据的语音反馈时间,当预测的所述语音反馈时间小于所述标准语音反馈时间时,在所述客服语音数据传输时间之前插入模拟响应时间,当预测的所述语音反馈时间大于所述标准语音反馈时间时,从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据,在客户发出所述客户语音数据后等待时间到达所述标准语音反馈时间之前,将所述客服语音数据发送给客户,能够实现以标准的语音反馈时间给客户进行回复,具有更好的客户使用体验。
在上述的智能语音客服系统中,所述客户语音数据包含客户发送所述客户语音数据的发送时间,所述智能语音客服系统还包括:
发送时间获取模块,用于从所述客户语音数据中获取所述客户语音数据的发送时间tc_se,所述客户语音数据的发送时间tc_se为客户说完所述客户语音数据对应的语音的时间点;
断点检测模块,用于检测接收到的所述客户语音数据中的断点;
断点时间确定模块,用于将检测到所述客户语音数据中的第一个断点的时间确定为断点时间tc_br
客户语音数据传输时间计算模块,用于当tc_br>tc_se时,根据所述断点时间tc_br和所述发送时间tc_se计算所述客户语音数据传输时间Tre=tc_br-tc_se
所述客户语音数据传输时间计算模块,还用于当tc_br≤tc_se时,确定所述客户语音数据传输时间Tre=0。
具体的,语音数据在客户端与所述智能语音客服系统的服务器之间以数据流的方式进行传输,在客户说话的过程中即将开始将语音数据向服务器传输,智能语音客服系统在接收到所述客户语音数据时,对该客户语音数据进行断句识别,并在识别到第一个断点时即可开始对其执行语音识别以将其转为文字。由于客户语音数据的长短以及网络传输速度的影响,智能语音客服系统开始执行语音识别的时间有可能早于所述发送时间,也有可能晚于所述发送时间,在上述实施方式的技术方案中,以第一个断点时间作为开始执行语音识别的时间点,根据其是否晚于所述发送时间来判断其对所述等待时间的影响。
客户端在接收客户的语音内容并实时将其转为客户语音数据向服务器传输的过程中,实时检测客户是否说完当前的语音内容,并在确定客户说完之后,将该语音内容结束时间点写入所述客户语音数据中,以使所述发送时间获取模块可以从所述客户语音数据中获取所述发送时间。
在上述的智能语音客服系统中,还包括:
空闲线程调取模块,用于在首次接收到客户语音数据后,从线程池调取一个空闲线程;
网络状态监测模块,用于通过所述线程持续监测服务器与客户端之间的网络状态,所述网络状态包括服务器与客户端之间的数据传输速率Rs_c
获取预先配置的缓冲数据大小Sc_buffer,所述缓冲数据大小为客户端预先配置的或者多媒体协议约定的可以播放的最小缓冲数据大小;
客服语音数据传输时间计算模块,用于计算所述客服语音数据传输时间
具体的,客户端可以自定义接收到多少音频数据时开始播放,或者按照所使用的多媒体协议所约定的可以开始播放的最小缓冲数据大小。在上述实施方式的技术方案中,通过对客户端与服务器之间的网络状态的实时监测,可以快速且准确地确定所述客服语音数据从服务器传输到客户端的大小为所述缓冲数据大小所需要的时间,从而更加精确地确定客户的所述等待时间。
在上述的智能语音客服系统中,所述模拟响应时间插入模块还用于在从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据后,在所述客服语音数据传输时间之前插入模拟响应时间Tsi=Tst-(Tre+Tpro+Tgen+Tse),所述客户语音数据处理时间Tpro包括对所述客户语音数据执行语音识别转换为文字的时间,所述客服语音数据生成时间Tgen为对从标准回复数据库中确定与所述客户语音数据相应的标准回复内容执行语音合成以生成所述客服语音数据的时间。
在上述实施方式的技术方案中,从标准回复数据库选择回复内容可以在较短的时间内生成回复语音并发送给客户端,为避免回复速度过快引起客户不适,同样插入模拟响应时间以适当延长回复等待时间。
在上述的智能语音客服系统中,所述客服语音数据发送模块包括:
等待时间计算子模块,用于在接收到所述客户语音数据时开始计算所述等待时间Tw
等待时间判断子模块,用于判断所述等待时间是否满足Tw=Tpro+Tgen+Tsi或者Tw=Tst-(Tre+Tse);
客服语音数据发送子模块,用于在判断为是时,将所述客服语音数据发送给客户。
具体的,所述智能语音客户系统在接收到所述客户语音数据时,从所述客户语音数据中获取所述客户语音数据的发送时间tc_se,并以该发送时间为所述等待时间Tw的起算点。当所述智能语音客户系统在接收到所述客户语音数据时,客户还没有说完当前的语音内容时,对所接收到的客户语音数据进行断点检测,并在检测到断点开始执行语音识别将接收到的客户语音数据转为文字内容。在确定客户说完当前的语音内容后,从客户语音数据中获取所述发送时间作为所述等待时间Tw的起算点。
在上述的智能语音客服系统中,还包括智能客服语音数据生成模块,所述空闲线程调取模块还用于当预测的所述语音反馈时间大于所述标准语音反馈时间时,从线程池调取两个空闲线程,其中一个线程用于调用所述标准回复语音生成模块用于从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据,另外一个线程用于调用所述智能客服语音数据生成模块用于通过预先训练好的智能语音客服模型生成所述客服语音数据并缓存在内存中以备客户再次发送包含相同问题的客户语音数据时,使用缓存的所述客服语音数据进行回复。
具体的,由于受客户表达方式、关联场景以及标准回复数据库中问题的全面性等各种因素的影响,采用从标准回复数据库中确定与所述客户语音数据相应的标准回复内容的方式,其回复内容往往不如通过智能语音客服模型实时生成的回复内容更加符合客户的需求。当客户对标准回复内容的答复不满意时,有很大概率会在同一次通话中再次提出相同的问题。在上述实施方式的技术方案中,在从标准回复数据库中确定与所述客户语音数据相应的标准回复内容的同时,另起一个线程调用所述智能客服语音数据生成模块用于通过预先训练好的智能语音客服模型生成所述客服语音数据并缓存在内存中,在客户再次提出相同的问题时可以直接从缓存中取出该回复内容发送给客户。
在上述的智能语音客服系统中,所述智能客服语音数据生成模块包括:
语音识别子模块,用于对所述客户语音数据执行语音识别以生成客户文本数据;
回复文本生成子模块,用于将所述客户文本数据输入预先训练好的智能语音客服模型中生成客服文本数据,所述客服文本数据是所述智能语音客服模型基于对所述客户文本数据的自然语义理解实时生成的回复文本;
语音合成子模块,用于使用预先配置的语音合成参数将所述客服文本数据合成为所述客服语音数据。
具体的,使用所述智能语音客服系统的历史语音数据转为文本数据后,作为训练样本用于训练所述智能语音客服模型,根据所述智能语音系统中的对应各个历史语音数据的服务质量评价将所述历史语音数据分为正样本和负样本对所述智能语音客服模型进行训练。
在上述的智能语音客服系统中,所述语音反馈时间预测模块具体用于调用所述客户语音数据发送时间获取模块、所述客户语音数据接收时间记录模块以及所述客户语音数据传输时间计算模块计算所述客户语音数据传输时间Tre,调用所述网络状态监测模块、所述客服语音数据大小获取模块以及所述客服语音数据传输时间计算模块计算所述客服语音数据传输时间Tse,所述语音反馈时间预测模块还包括:
客户语音数据大小模取子模块,用于获取所述客户语音数据的大小;
语音识别时间预测子模块,用于根据所述客户语音数据的大小预测语音识别时间Tc_reco
语音数据处理子模块,用于将所述客户语音数据输入预先训练好的时间预测模型以得到语义理解时间Tc_und、客服文本数据生成时间Ts_txgen以及语音合成时间Ts_vogen
预测的所述语音反馈时间其中Tpro=Tc_reco+Tc_und,Tgen=Ts_txgen+Ts_vogen
具体的,智能语音客服系统根据所述客户语音数据的大小估算对所述客户语音数据执行语音识别以转成文字的语音识别执行时间T′c_reco,所述语音识别执行时间T′c_reco为以检测到所述客户语音数据的第一个断点开始,到对所述客户语音数据的全部语音完成语音识别的时间。则可以预测得到,当tc_br>tc_se时,所述等待时间Tw中的语音识别时间Tc_reco=T′c_reco;当tc_br≤tc_se时,所述等待时间Tw中的语音识别时间Tc_reco=T′c_reco-(tc_se-tc_br)。
在上述的智能语音客服系统中,所述标准语音反馈时间Tst为动态值,所述客户语音数据接收模块还用于在每一次接收到客户语音数据时调用所述标准语音反馈时间获取模块实时生成所述标准语音反馈时间Tst
智能语音客服系统如果所有发给客户的答复语音都采用相同的响应时间,会给客户带来非常机械、非常刻板的体验,因此在上述实施方式的技术方案中,通过将所述标准语音反馈时间Tst配置为动态值,每一次收到客户语音数据时均重新计算一个在指定范围内的动态语音反馈时间,从而提高用户的交互体验。
在上述的智能语音客服系统中,所述标准语音反馈时间获取模块包括:
基础响应时间获取模块,用于获取预先配置的基础响应时间Tbase
动态变化范围获取模块,用于获取所述标准语音反馈时间的动态变化范围(ΔTbutton,ΔTtop),其中ΔTbutton为负值,ΔTtop为正值;
动态变化时间生成模块,用于随机生成在所述动态变化范围内的动态变化时间ΔT=random(ΔTbutton,ΔTtop);
计算所述标准语音反馈时间Tst=Tbase+ΔT。
应当知道的是,即使所述标准语音反馈时间Tst被配置为动态值,其动态变化的范围不能太大,否则仍然会存在回复过快或回复过慢导致客户不适的问题。在上述实施方式的技术方案中,配置一个在600毫秒和1200毫秒之间的基础响应时间,例如900毫秒,以及配置一个幅度较小的动态范围,例如300毫秒,使得随机生成的标准语音反馈时间仍然在600毫秒和1200毫秒之间。
本发明提出一种智能语音客服系统,通过预测客户收到智能语音客服回复所述客户语音数据的语音反馈时间,当预测的所述语音反馈时间小于所述标准语音反馈时间时,在所述客服语音数据传输时间之前插入模拟响应时间,当预测的所述语音反馈时间大于所述标准语音反馈时间时,从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据,在客户发出所述客户语音数据后等待时间到达所述标准语音反馈时间之前,将所述客服语音数据发送给客户,能够实现以标准的语音反馈时间给客户进行回复,具有更好的客户使用体验。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文所述,这些实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施例。显然,根据以上描述,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种智能语音客服系统,其特征在于,包括:
客户语音数据接收模块,用于接收客户语音数据;
语音反馈时间预测模块,用于预测客户收到智能语音客服回复所述客户语音数据的语音反馈时间所述语音反馈时间包括客户语音数据传输时间Tre、客户语音数据处理时间Tpro、客服语音数据生成时间Tgen以及客服语音数据传输时间Tse
标准语音反馈时间获取模块,用于获取预先配置的标准语音反馈时间Tst
模拟响应时间插入模块,用于当预测的所述语音反馈时间小于所述标准语音反馈时间时,在通过预先训练好的智能语音客服模型生成所述客服语音数据后,在所述客服语音数据传输时间之前插入模拟响应时间Tsi
标准回复语音生成模块,用于当预测的所述语音反馈时间大于所述标准语音反馈时间时,从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据;
客服语音数据发送模块,用于在客户发出所述客户语音数据后等待时间Tw到达所述标准语音反馈时间之前,将所述客服语音数据发送给客户。
2.根据权利要求1所述的智能语音客服系统,其特征在于,所述客户语音数据包含客户发送所述客户语音数据的发送时间,所述智能语音客服系统还包括:
发送时间获取模块,用于从所述客户语音数据中获取所述客户语音数据的发送时间tc_se,所述客户语音数据的发送时间tc_se为客户说完所述客户语音数据对应的语音的时间点;
断点检测模块,用于检测接收到的所述客户语音数据中的断点;
断点时间确定模块,用于将检测到所述客户语音数据中的第一个断点的时间确定为断点时间tc_br
客户语音数据传输时间计算模块,用于当tc_br>tc_se时,根据所述断点时间tc_br和所述发送时间tc_se计算所述客户语音数据传输时间Tre=tc_br-tc_se
所述客户语音数据传输时间计算模块,还用于当tc_br≤tc_se时,确定所述客户语音数据传输时间Tre=0。
3.根据权利要求2所述的智能语音客服系统,其特征在于,还包括:
空闲线程调取模块,用于在首次接收到客户语音数据后,从线程池调取一个空闲线程;
网络状态监测模块,用于通过所述线程持续监测服务器与客户端之间的网络状态,所述网络状态包括服务器与客户端之间的数据传输速率Rs_c
获取预先配置的缓冲数据大小Sc_buffer,所述缓冲数据大小为客户端预先配置的或者多媒体协议约定的可以播放的最小缓冲数据大小;
客服语音数据传输时间计算模块,用于计算所述客服语音数据传输时间
4.根据权利要求3所述的智能语音客服系统,其特征在于,所述模拟响应时间插入模块还用于在从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据后,在所述客服语音数据传输时间之前插入模拟响应时间Tsi=Tst-(Tre+Tpro+Tgen+Tse),所述客户语音数据处理时间Tpro包括对所述客户语音数据执行语音识别转换为文字的时间,所述客服语音数据生成时间Tgen为对从标准回复数据库中确定与所述客户语音数据相应的标准回复内容执行语音合成以生成所述客服语音数据的时间。
5.根据权利要求4所述的智能语音客服系统,其特征在于,所述客服语音数据发送模块包括:
等待时间计算子模块,用于在接收到所述客户语音数据时开始计算所述等待时间Tw
等待时间判断子模块,用于判断所述等待时间是否满足Tw=Tpro+Tgen+Tsi或者Tw=Tst-(Tre+Tse);
客服语音数据发送子模块,用于在判断为是时,将所述客服语音数据发送给客户。
6.根据权利要求3所述的智能语音客服系统,其特征在于,还包括智能客服语音数据生成模块,所述空闲线程调取模块还用于当预测的所述语音反馈时间大于所述标准语音反馈时间时,从线程池调取两个空闲线程,其中一个线程用于调用所述标准回复语音生成模块用于从标准回复数据库中确定与所述客户语音数据相应的标准回复内容生成所述客服语音数据,另外一个线程用于调用所述智能客服语音数据生成模块用于通过预先训练好的智能语音客服模型生成所述客服语音数据并缓存在内存中以备客户再次发送包含相同问题的客户语音数据时,使用缓存的所述客服语音数据进行回复。
7.根据权利要求6所述的智能语音客服系统,其特征在于,所述智能客服语音数据生成模块包括:
语音识别子模块,用于对所述客户语音数据执行语音识别以生成客户文本数据;
回复文本生成子模块,用于将所述客户文本数据输入预先训练好的智能语音客服模型中生成客服文本数据,所述客服文本数据是所述智能语音客服模型基于对所述客户文本数据的自然语义理解实时生成的回复文本;
语音合成子模块,用于使用预先配置的语音合成参数将所述客服文本数据合成为所述客服语音数据。
8.根据权利要求7所述的智能语音客服系统,其特征在于,所述语音反馈时间预测模块具体用于调用所述客户语音数据发送时间获取模块、所述客户语音数据接收时间记录模块以及所述客户语音数据传输时间计算模块计算所述客户语音数据传输时间Tre,调用所述网络状态监测模块、所述客服语音数据大小获取模块以及所述客服语音数据传输时间计算模块计算所述客服语音数据传输时间Tse,所述语音反馈时间预测模块还包括:
客户语音数据大小模取子模块,用于获取所述客户语音数据的大小;
语音识别时间预测子模块,用于根据所述客户语音数据的大小预测语音识别时间Tc_reco
语音数据处理子模块,用于将所述客户语音数据输入预先训练好的时间预测模型以得到语义理解时间Tc_und、客服文本数据生成时间Ts_txgen以及语音合成时间Ts_vogen
预测的所述语音反馈时间其中Tpro=Tc_reco+Tc_und,Tgen=Ts_txgen+Ts_vogen
9.根据权利要求1所述的智能语音客服系统,其特征在于,所述标准语音反馈时间Tst为动态值,所述客户语音数据接收模块还用于在每一次接收到客户语音数据时调用所述标准语音反馈时间获取模块实时生成所述标准语音反馈时间Tst
10.根据权利要求9所述的智能语音客服系统,其特征在于,所述标准语音反馈时间获取模块包括:
基础响应时间获取模块,用于获取预先配置的基础响应时间Tbase
动态变化范围获取模块,用于获取所述标准语音反馈时间的动态变化范围(ΔTbutton,ΔTtop),其中ΔTbutton为负值,ΔTtop为正值;
动态变化时间生成模块,用于随机生成在所述动态变化范围内的动态变化时间ΔT=random(ΔTbutton,ΔTtop);
计算所述标准语音反馈时间Tst=Tbase+ΔT。
CN202211151738.9A 2022-09-21 2022-09-21 一种智能语音客服系统 Active CN115565535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211151738.9A CN115565535B (zh) 2022-09-21 2022-09-21 一种智能语音客服系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211151738.9A CN115565535B (zh) 2022-09-21 2022-09-21 一种智能语音客服系统

Publications (2)

Publication Number Publication Date
CN115565535A CN115565535A (zh) 2023-01-03
CN115565535B true CN115565535B (zh) 2024-04-12

Family

ID=84740416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211151738.9A Active CN115565535B (zh) 2022-09-21 2022-09-21 一种智能语音客服系统

Country Status (1)

Country Link
CN (1) CN115565535B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127981A (ja) * 1995-10-31 1997-05-16 Toshiba Corp 音声認識装置及び方法
JP2007286097A (ja) * 2006-04-12 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 音声受付クレーム検出方法、装置、音声受付クレーム検出プログラム、記録媒体
JP2014119716A (ja) * 2012-12-19 2014-06-30 Fujitsu Ltd 対話制御方法及び対話制御用コンピュータプログラム
JP2014199323A (ja) * 2013-03-29 2014-10-23 富士通株式会社 音声対話装置及び対話制御方法
WO2016043179A1 (ja) * 2014-09-16 2016-03-24 シャープ株式会社 音声対話装置、電子機器、音声対話方法、音声対話制御プログラム
JP2016126294A (ja) * 2015-01-08 2016-07-11 シャープ株式会社 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置
JP2016126293A (ja) * 2015-01-08 2016-07-11 シャープ株式会社 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置
JP2018045202A (ja) * 2016-09-16 2018-03-22 トヨタ自動車株式会社 音声対話システムおよび音声対話方法
JP2018101905A (ja) * 2016-12-20 2018-06-28 シャープ株式会社 情報通信端末、情報通信端末の制御方法、およびプログラム
CN109059953A (zh) * 2017-06-07 2018-12-21 丰田自动车株式会社 唤醒支持系统和唤醒支持方法
JP2019045831A (ja) * 2017-09-07 2019-03-22 日本電信電話株式会社 音声処理装置、方法およびプログラム
CN111903138A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法、发送装置以及发送方法
JP2020184183A (ja) * 2019-05-08 2020-11-12 シャープ株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法
CN116994565A (zh) * 2023-09-26 2023-11-03 深圳琪乐科技有限公司 一种智能语音助手及其语音控制方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127981A (ja) * 1995-10-31 1997-05-16 Toshiba Corp 音声認識装置及び方法
JP2007286097A (ja) * 2006-04-12 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 音声受付クレーム検出方法、装置、音声受付クレーム検出プログラム、記録媒体
JP2014119716A (ja) * 2012-12-19 2014-06-30 Fujitsu Ltd 対話制御方法及び対話制御用コンピュータプログラム
JP2014199323A (ja) * 2013-03-29 2014-10-23 富士通株式会社 音声対話装置及び対話制御方法
WO2016043179A1 (ja) * 2014-09-16 2016-03-24 シャープ株式会社 音声対話装置、電子機器、音声対話方法、音声対話制御プログラム
JP2016126294A (ja) * 2015-01-08 2016-07-11 シャープ株式会社 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置
JP2016126293A (ja) * 2015-01-08 2016-07-11 シャープ株式会社 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置
JP2018045202A (ja) * 2016-09-16 2018-03-22 トヨタ自動車株式会社 音声対話システムおよび音声対話方法
JP2018101905A (ja) * 2016-12-20 2018-06-28 シャープ株式会社 情報通信端末、情報通信端末の制御方法、およびプログラム
CN109059953A (zh) * 2017-06-07 2018-12-21 丰田自动车株式会社 唤醒支持系统和唤醒支持方法
JP2019045831A (ja) * 2017-09-07 2019-03-22 日本電信電話株式会社 音声処理装置、方法およびプログラム
CN111903138A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法、发送装置以及发送方法
JP2020184183A (ja) * 2019-05-08 2020-11-12 シャープ株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法
CN116994565A (zh) * 2023-09-26 2023-11-03 深圳琪乐科技有限公司 一种智能语音助手及其语音控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
语音交互反馈体验中的时间心理研究与应用;李悦;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20200815;全文 *

Also Published As

Publication number Publication date
CN115565535A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN111246027B (zh) 一种实现人机协同的语音通讯系统及方法
JP6755304B2 (ja) 情報処理装置
US10911596B1 (en) Voice user interface for wired communications system
CN107818798A (zh) 客服服务质量评价方法、装置、设备及存储介质
CN112099628A (zh) 基于人工智能的vr互动方法、装置、计算机设备及介质
US10755704B2 (en) Information processing apparatus
US20110172989A1 (en) Intelligent and parsimonious message engine
US10194023B1 (en) Voice user interface for wired communications system
CN107133709B (zh) 一种客户服务的质量检验方法、装置及系统
MX2008016354A (es) Deteccion de una maquina contestadora utilizando reconocimiento de dialogo.
US10326886B1 (en) Enabling additional endpoints to connect to audio mixing device
CN112866086B (zh) 智能外呼的信息推送方法、装置、设备及存储介质
CN109785834B (zh) 一种基于验证码的语音数据样本采集系统及其方法
US20230070000A1 (en) Speech recognition method and apparatus, device, storage medium, and program product
CN109643551A (zh) 信息处理装置、信息处理方法和程序
CN116417003A (zh) 语音交互系统、方法、电子设备和存储介质
JP2023548157A (ja) 通話およびオーディオメッセージからのその他の話者の音声フィルタリング
CN114328867A (zh) 一种人机对话中智能打断的方法及装置
CN114882861A (zh) 语音生成方法、装置、设备、介质及产品
US20010056345A1 (en) Method and system for speech recognition of the alphabet
CN115565535B (zh) 一种智能语音客服系统
WO2021169825A1 (zh) 语音合成方法、装置、设备和存储介质
US20170221481A1 (en) Data structure, interactive voice response device, and electronic device
CN111556999A (zh) 通过即时提供实质性回答以提供自然语言对话的方法、计算机装置及计算机可读存储介质
CN110047473B (zh) 一种人机协作交互方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240315

Address after: Room 201-1, North 2nd Floor, Main Building, Shuntian Industrial Park, No. 8, Mount Taishan Road, Jianye District, Nanjing City, Jiangsu Province, 210000

Applicant after: Nanjing Floating Point Intelligent Computing Digital Technology Co.,Ltd.

Country or region after: China

Address before: 518000 718, Unit 1, Jiaxiye Square, No. 318, Minzhi Community, Minzhi Street, Longhua District, Shenzhen, Guangdong

Applicant before: Shenzhen Qile Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant