CN114203173A - 机器人预约客户的方法、装置、计算机设备及存储介质 - Google Patents
机器人预约客户的方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114203173A CN114203173A CN202111264356.2A CN202111264356A CN114203173A CN 114203173 A CN114203173 A CN 114203173A CN 202111264356 A CN202111264356 A CN 202111264356A CN 114203173 A CN114203173 A CN 114203173A
- Authority
- CN
- China
- Prior art keywords
- time
- reservation
- client
- voice
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000002452 interceptive effect Effects 0.000 claims abstract description 47
- 238000004891 communication Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 238000012790 confirmation Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 31
- 239000012634 fragment Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 10
- 238000004821 distillation Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及语音交互的领域,尤其涉及一种机器人预约客户的方法、装置、计算机设备及存储介质。其方法包括:通过实时获取智能机器人与目标客户之间的实时交互语音;对实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对实时客户文本进行意图识别,得到意图文本;根据意图文本确定目标客户的意图类别,判断意图类别是否满足对目标客户进行预约的预约要求;若意图类别满足预约要求,则向目标客户发出预约邀请;在接收到目标客户响应预约邀请的确认信息之后,根据预约时间和预约内容生成预约信息;获取目标客户的联系方式,将预约信息发送至与联系方式对应的通信地址。本方法可提高客户的体验度和智能机器人的服务效率。
Description
技术领域
本发明涉及语音交互的领域,尤其涉及一种器人预约客户的方法、装置、计算机设备及存储介质。
背景技术
随着人工智能技术的不断发展,智能机器人的应用越来越广泛。
通常,智能机器人需要与客户进行多轮交互,以完成智能服务。现有的智能机器人在与客户进行交互时,往往容易出现客户没有时间继续进行交互,使得智能服务不能很好地进行,导致智能机器人的服务效率较低,且影响客户的体验度,降低用户的粘性。
发明内容
基于此,有必要针对上述技术问题,提供一种机器人预约客户的方法、装置、计算机设备及存储介质,以解决现有技术中智能机器人的服务效率较低的问题。
一种机器人预约客户的方法,包括:
实时获取智能机器人与目标客户之间的实时交互语音;
对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;
根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;
若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;
在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;
获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
一种机器人预约客户的装置,包括:
实时交互语音模块,用于实时获取智能机器人与目标客户之间的实时交互语音;
意图文本模块,用于对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;
判断模块,用于根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;
预约邀请模块,用于若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;
预约信息生成模块,用于在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;
预约信息发送模块,用于获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述机器人预约客户的方法。
一个或多个存储有计算机可读指令的可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如上述机器人预约客户的方法。
上述机器人预约客户的方法、装置、计算机设备及存储介质,通过实时获取智能机器人与目标客户之间的实时交互语音;对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。本发明通过识别目标客户的意图,并根据意图的类别去判断是否进行预约,以更好的完成智能服务,可提高客户的体验度,同时提高智能机器人的服务效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中机器人预约客户的方法的一应用环境示意图;
图2是本发明一实施例中机器人预约客户的方法的一流程示意图;
图3是本发明一实施例中机器人预约客户的装置的一结构示意图;
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供的机器人预约客户的方法,可应用在如图1的应用环境中,其中,客户端与服务端进行通信。其中,客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种机器人预约客户的方法,以该方法应用在图1中的服务端为例进行说明,包括如下步骤:
S10、实时获取智能机器人与目标客户之间的实时交互语音。
可理解的,智能机器人是指能够与客户进行对话并完成指定的智能服务的机器人。目标客户是指该智能机器人进行智能服务的对象。优选的,该目标客户在智能机器人提供智能服务的应用软件中经过认证并拥有身份标识码。实时交互语音是指智能机器人按照指定智能服务为目标客户提供服务的过程中,与目标客户交互产生的语音数据信息。该实时交互语音包括智能机器人与目标客户之间的实时语音。
S20、对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本。
可理解的,实时交互语音包括智能机器人和目标客户两个角色的语音片段。语音角色分割是指通过角色识别模型对实时交互语音中每个语音片段对应的角色进行匹配并分割,从实时交互语音中识别出目标客户的实时语音数据。语音识别是指对目标客户的实时语音数据进行文本识别预测。实时客户文本是指通过语音识别模型对目标客户的实时语音进行识别预测得到的文字文本。意图识别是指对实时客户文本中的意图关键字进行识别。意图文本为包括若干意图关键字的文字文本。
S30、根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求。
可理解的,意图文本中包括若干意图关键字。其中,意图关键字是指通过意图识别模型对实时客户文本中进行识别得到的与意图相关的字或词语。意图类别是指目标客户的意图所属的类别,该类别是根据意图关键字、意图关键字的上下文语义以及意图关键字出现的次数确定的。优选的,意图类别包括但不限于真忙意图、考虑意图、有异议意图以及主动预约意图。在确定目标客户的意图类别之后,获取预设预约要求,并判断意图类别是否满足预设预约要求的条件。
S40、若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容。
可理解的,预约要求可根据实际需求设定。预约要求包括第一触发要求和第二触发要求。其中,第一触发要求包括在交互过程中目标客户出现主动预约意图。第二触发要求可包括在交互过程中目标客户出现真忙意图、在交互过程中目标客户出现考虑意图或在交互过程中目标客户出现有异议意图等。预约邀请是指在确定目标客户的意图类别满足预约要求之后,智能机器人向目标客户发出包含预约时间和预约内容的信息,以继续完成本次指定的智能服务或其他智能服务。优选的,智能机器人对目标客户发出包含预约时间和预约内容的信息包括但不限于通过语音播报的方式。其中,预约内容包括智能服务的相关信息。预约时间可以是根据预设预约时间规则进行匹配的下一次进行智能服务的时间,也可以是目标客户指定的时间。该时间可以是一个时间段或某个确定的时间点。预约内容是根据在交互过程中客户的意图类别生成的信息。
优选的,预设预约时间规则可以是根据目标客户的意图类别确定预约时间。根据目标客户的意图类别确定预约时间的规则可根据实际需求设定,在此不做限定。例如,目标客户的意图类别为真忙意图,则将可将下次进行智能服务的时间预约为2小时后。
可选的,预设预约时间规则可以是根据本次提供智能服务的时间点确定预约时间。根据本次提供智能服务的时间点确定预约时间的规则可根据实际需求设定,在此不做限定。例如,本次智能服务的时间为上午10点,可将下次进行智能服务的时间预约为下午6点。
可选的,预设预约时间规则还可以是根据本次智能服务中与目标客户的交流深度确定预约时间。根据本次智能服务中与目标客户的交流深度确定预约时间的规则可根据实际续期设定,在此不做限定。例如,本次指定的智能服务已完成,可对本次的智能服务的回访时间进行预约,预约时间为4天后,生成的预约内容为对本次已完成的智能服务进行回访。
S50、在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息。
可理解的,确认信息是指目标客户确认接受预约邀请的信息,即目标客户接受智能机器人播报的约时间和预约内容。预约信息是指包括预约时间、预约内容以及预约类型等预约数据的信息。
S60、获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
可理解的,目标客户在智能机器人提供智能服务的应用软件中经过认证并拥有身份标识码。认证信息包括个人资料信息,该个人资料信息包括姓名、联系方式、年龄等。历史业务办理数据包括交互时间、交互语音和业务类型等。联系方式包括但不限于电话、邮箱和微信。通讯地址是指与联系方式对应的用于通讯的账号,例如,电话号码、邮箱号码、微信号等。
在步骤S10-S60中,通过实时获取智能机器人与目标客户之间的实时交互语音;对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。本实施例通过识别目标客户的意图,并根据意图的类别去判断是否进行预约,以更好的完成智能服务,可提高客户的体验度,同时提高智能机器人的服务效率。
可选的,所述预约要求包括第一触发要求;若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请,包括:
S401、若所述意图类别满足对所述目标客户进行预约的第一触发要求,则从实时客户文本中获取第一预约时间,并对所述第一预约时间进行第一次语音播报;
S402、获取所述目标用户响应所述第一次语音播报的第一回复信息,以根据所述第一回复信息判断所述目标客户是否同意所述第一预约时间;
S403、若所述目标客户未同意所述第一预约时间,则获取与所述第一预约时间对应的第二预约时间,并对所述第二预约时间进行第二次语音播报;
S404、获取所述目标用户响应所述第二次语音播报的第二回复信息,以根据所述第二回复信息判断所述目标客户是否同意所述第二预约时间;
S405、若所述目标客户同意所述第二预约时间,则将所述第二预约时间确定为所述预约时间,并向所述目标客户发出包含所述预约时间的预约邀请。
可理解的,预约要求包括第一触发要求和第二触发要求。其中,第一触发要求包括在交互过程中目标客户出现主动预约意图。当目标客户出现主动预约意图时,对实时文本进行时间特征分析,从实时文本中提取出时间特征信息,即得到第一预约时间,进而将第一预约时间转换为语音,通过语音对第一预约时间进行第一次语音播报,并在进行播报以后接收目标客户对第一预约时间做出的响应,即第一回复信息。基于接收到的目标客户的第一回复信息判断目标客户是否同意所述第一预约时间。优选的,判断目标客户的第一回复信息是肯定语气还是否定语气,若是肯定语气,则判定目标客户同意第一预约时间。若是否定语气,则判定目标客户不同意第一预约时间。
第二预约时间是指在目标客户不同意第一预约时间,对第一预约时间进行修改得到的预约时间。第二预约时间可以是目标客户重新提出的预约时间,也可以是根据第一预约时间匹配的预约时间。若目标客户重新提出新的预约时间,则将目标客户重新提出的预约时间作为第二预约时间,并对该第二预约时间进行第二次语音播报;若目标客户未重新提出新的预约时间,则根据第一预约时间匹配第二预约时间,并对该第二预约时间进行第二次语音播报。第二回复信息是指目标客户对第二次语音播报的第二预约时间做出的响应信息,以根据该第二回复信息判断目标客户是否同意第二预约时间。在目标客户同意该第二预约时间之后,将该第二预约时间确定为预约时间,并对该预约时间进行打标,例如,将该预约时间标注为“预约且客户同意”。其中,“预约且客户同意”则为该预约时间的预约类型。预约类型是指预约时间的分类类型。
优选的,若目标客户同意第一预约时间,则将第一预约时间确定为预约时间,并对该预约时间进行打标,例如,将该预约时间标注为“客户播报时间”。其中,“客户播报时间”为该预约时间的预约类型。在确认预约时间之后,向目标客户发出包含预约时间的预约邀请。
优选的,若目标客户未同意第二预约时间,判断客户信息中是否包含目标客户的第二联系方式,若包含第二联系方式,则可以根据本次提供智能服务的时间点确定预约时间,并对该预约时间进行打标。例如,将该预约时间标注为“无明确预约时间”,则“无明确预约时间”为该预约时间的预约类型。
在步骤S401-S405中,若所述意图类别满足对所述目标客户进行预约的第一触发要求,则从实时客户文本中获取第一预约时间,并对所述第一预约时间进行第一次语音播报;获取所述目标用户响应所述第一次语音播报的第一回复信息,以根据所述第一回复信息判断所述目标客户是否同意所述第一预约时间;若所述目标客户未同意所述第一预约时间,则获取与所述第一预约时间对应的第二预约时间,并对所述第二预约时间进行第二次语音播报;获取所述目标用户响应所述第二次语音播报的第二回复信息,以根据所述第二回复信息判断所述目标客户是否同意所述第二预约时间;若所述目标客户同意所述第二预约时间,则将所述第二预约时间确定为所述预约时间,并向所述目标客户发出包含所述预约时间的预约邀请。本方法对预约时间的确定考虑了目标客户的主观意愿,更加符合目标客户的需求,可提高客户的体验度,从而增加用户的粘性。
可选的,在步骤S20中,即所述对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本,包括:
S201、对所述实时交互语音进行语音角色分割,得到所述目标客户的实时语音数据;并对所述实时语音数据进行语音识别,得到所述实时客户文本;
S202,对所述实时客户文本进行意图识别,识别出所述实时客户文本中的若干意图关键字;
S203、对所述意图关键字进行上下文语义分析,以生成与所述目标客户对应的所述意图文本。
可理解的,语音角色分割是指通过角色识别模型对实时交互语音中每个语音片段对应的角色进行匹配并分割,从实时交互语音中识别出目标客户的实时语音数据。实时语音数据是指目标客户在与智能机器人交互过程中产生的语音信息。实时语音数据包含若干客户语音片段。例如,目标客户对智能机器人的提问做出回答的语音片段或目标客户向智能机器人提出服务需求的语音片段。实时客户文本是指通过语音识别模型对实时语音数据进行识别并转化得到的文本数据。意图识别是指对实时客户文本的意图关键字进行识别的过程。其中,意图关键字是指表征客户意图的字或者词语。例如,意图关键字为“在开会”、“在开车”或“在医院”,表征客户的意图为在忙。根据识别出的意图关键字的上下文语义确定客户的意图,得到包含意图关键字以及与意图关键字对应的客户意图的文字文本,即意图文本。
在步骤S201-S203中,通过对所述实时交互语音进行语音角色分割,得到所述目标客户的实时语音数据;并对所述实时语音数据进行语音识别,得到所述实时客户文本;对所述实时客户文本进行意图识别,识别出所述实时客户文本中的若干意图关键字;对所述意图关键字进行上下文语义分析,以生成与所述目标客户对应的所述意图文本。本方法可准确的识别出目标客户的实时语音数据,并基于该实时语音数据识别出目标客户的意图文本。
可选的,在步骤S201中,即所述对所述实时交互语音进行语音角色分割,得到所述目标客户的实时语音数据;并对所述实时语音数据进行语音识别,得到所述实时客户文本,包括:
S2011、对所述实时交互语音进行分段处理,得到若干语音片段;
S2012、通过角色识别模型对所述语音片段进行角色识别,得到客户语音片段;所述实时语音数据包括若干所述客户语音片段;
S2013,通过语音识别模型对所述客户语音片段进行频域特征提取,并根据提取的频域特征进行文本预测,得与所述客户语音片段对应的片段文本;
S2015,将所述片段文本进行时序拼接,得到所述实时客户文本。
可理解的,实时交互语音包含智能机器人和目标客户两个角色的语音片段。分段处理是指将实时交互语音分割成多段的过程。角色识别模型为用于识别输入的语音片段是否为智能机器人的音频的模型。通过角色识别模型可从实时交互语音中识别出目标客户的语音片段,即客户语音片段。角色识别是指对语音片段的发声者的识别过程。
在得到目标客户的语音片段之后,通过语音识别模型对客户语音片段进行文本预测。语音识别模型为用于对客户语音片段进行文本预测的模型。具体的,提取输入的客户语音片段的频域特征,并对提取的频域特征进行文字预测出客户语音片段中的每一个字。优选的,语音识别模型可以为运用蒸馏学习方法的识别模型,具体的,通过训练教师模型和学生模型提取频域特征及文字预测,并通过训练完成的学生模型对输入的客户语音片段进行识别。语音识别模型也可以是基于自动语音识别技术得到的语音转换文本的模型。其中,自动语音识别技术是一种将人的语音转换为文本的技术。
频域特征是指按频率观察的信号特征,即与频域特征参数相关的特征。其中,频域参数包括重心频率、平均频率、均方根频率以及频率标准差等。文本预测是指对提取的频域特征进行掩蔽预测编码处理以及微调文字解码,以及对微调文字解码后的所有掩蔽序列进行基于蒸馏学习的预测。片段文本是指对客户语音片段进行文本预测得到的文字文本。时序拼接是指根据客户语音片段产生的时间顺序对片段文本进行拼接。实时客户文本包含若干按时序拼接的片段文本。
可选的,在步骤S2013之前,即所述通过语音识别模型对所述客户语音片段进行频域特征提取之前,包括:
S20131、获取语音样本集;所述语音样本集包括多个语音样本。
可理解的,语音样本集为所有语音样本的集合。其中,语音样本为历史收集的音频文件,语音样本可以为预设时长的音频文件,可以将一段音频文件按照预设时长进行分割从而得到语音样本。
S20132、将所述语音样本输入含有初始参数的初始识别模型。
可理解的,初始识别模型包括教师模型和学生模型。其中,初始识别模型包含初始参数,初始参数是指初始识别模型各个层级的参数,即初始参数包括与教师模型对应的教师参数和与学生模型对应的学生参数。
S20134、通过教师模型对所述语音样本进行第一音频特征提取,得到第一音频特征向量;通过学生模型对所述语音样本进行第二音频特征提取,得到第二音频特征向量;所述初始识别模型包括所述教师模型和所述学生模型。
可理解的,教师模型可以是基于Bert的神经网络模型。该教师模型用于对输入的语音样本进行第一音频特征的提取,并根据提取的第一音频特征输出第一特征向量,进而对输出的第一音频特征向量进行识别得到文本内容。学生模型可以为基于TinyBert(TinyBidirectionalEncoder Representations from Transformer,小型Bert模型)构建的神经网络模型。该学生模型为对教师模型进行蒸馏学习后获得,该学生模型通过蒸馏学习的方式提取输入的语音样本的第二音频特征,并根据提取的第二音频特征输出第二音频特征向量,并能够对输出的第二音频特征向量进行识别得到文本内容。其中,第一音频特征为与声音频率相关的特征,即学习频域上的序列编码映射成文本内容的特征。第二音频特征为基于蒸馏学习得到的第一音频特征中的特征。
S20135、根据所述第一音频特征向量和所述第二音频特征向量确定损失值。
可理解的,第一音频特征向量是指根据第一音频特征生成的特征向量。第一音频特征向量是指根据第二音频特征生成的特征向量。将第一特征向量加入动态队列中,通过动态队列得到一个与正样本对应的特征向量和多个与负样本对应的特征向量,将第一特征向量与动态队列中的特征向量进行内积处理,并将第二特征向量与动态队列中的特征向量进行内积处理,进而通过交叉熵公式确定出损失值。其中,初始的动态队列包含收集到的所有负样本对应的特征向量,也即输入的语音样本之间不同的特征向量。更新后的动态队列包含一个与正样本对应的特征向量和多个与负样本对应的特征向量。
S20136、在所述损失值未达到预设的收敛条件时,迭代更新所述初始识别模型的初始参数,直至所述损失值达到所述收敛条件时,将收敛之后的所述初始识别模型确定语音识别模型。
可理解的,收敛条件可以为损失值很小且趋于稳定,收敛条件也可以是损失值小于预设阈值。其中,预设阈值为预先设置定阈值。当损失值达到收敛条件时,停止训练,将停止训练后的初始识别模型确定为语音识别模型。在损失值未达到收敛条件时,迭代更新初始识别模型的初始参数,即不断调整初始识别模型的初始参数。可以不断让学习网络向准确的结果靠拢,即提高语音识别的准确率。
可选的,在步骤S30中,即所述根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求,包括:
S301、获取所述意图文本中的意图关键字,根据所述意图关键字以及所述意图关键字出现的次数确定所述目标客户的意图类别;
S302、获取第一触发要求,判断所述意图类别是否满足所述第一触发要求。
可理解的,意图文本中包括若干意图关键字。其中,意图关键字是指通过意图识别模型对实时客户文本中进行识别得到的与意图相关的字或词语。意图类别是指目标客户的意图所属的类别。意图类别包括但不限于真忙意图、考虑意图、有异议意图以及主动预约意图。优选的,意图关键字包括“在开车”、“在开会”、“在医院”、“没有时间”、“考虑”、“有朋友已办”等。当出现一次“在开车”的意图关键字,并根据上下文语义分析确定目标客户真的在开车,则判定目标客户的意图为真忙。当出现两次“没有时间”或“考虑”等意图关键字,并根据上下文语义分析确定客户需要考虑,则判定目标客户的意图为考虑。意图类别还可以包括异常意图,即智能服务失败时,判定目标客户的意图为异常。例如,报价失败、礼品调取失败等。当目标客户的意图类别为异常时,将触发报警机制,以使智能服务系统在接收到报警后对该次智能服务进行记录并下发人工,以完成对目标客户的服务。
预约要求包括第一触发要求和第二触发要求。第一触发要求包括在交互过程中目标客户出现主动预约意图。其中,主动预约意图是指目标客户主动进行预约,例如,目标客户主动播报预约时间。获取第一触发要求,判断意图类别是否满足第一触发要求的条件,即判断意图类别是否为主动预约意图,若意图类别包括主动预约意图,则根据主动预约意图对应的预约规则确定目标客户的预约时间。若意图类别不包括主动预约意图,则判断意图类别是否满足第二触发要求。
可选的,在步骤S60之后,即所述获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址之后,包括:
S601、根据所述预约时间确定与所述目标客户对应的预约类型;
S602、获取与所述预约类型匹配的通讯规则,基于所述通讯规则向所述目标客户发出会话请求。
可理解的,预约类型是指预约时间的分类类型。分类类型可包括“预约且客户同意”、“客户播报时间”等。分类的标准可以是区分预约时间的确定客户是否同意,或者区分预约时间是否是客户主动提出。通讯规则是指向目标客户发出会发请求的规则。不同预约类型对应不同通讯规则。例如,预约类型为预约且客户同意,则通讯规则为:在预约时间向目标客户发出会话请求,若会话请求失败,则在下一个工作日的相同时间点或时间段再次向该目标客户发起会话请求。其中,会话请求包括语音通话请求、微信聊天请求等等。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种机器人预约客户的装置,该机器人预约客户的装置与上述实施例中机器人预约客户的方法一一对应。如图3所示,该机器人预约客户的装置包括实时交互语音模块10、意图文本模块20、判断模块30、预约邀请模块40、预约信息生成模块50和预约信息发送模块60。各功能模块详细说明如下:
实时交互语音模块10,用于实时获取智能机器人与目标客户之间的实时交互语音;
意图文本模块20,用于对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;
判断模块30,用于根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;
预约邀请模块40,用于若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;
预约信息生成模块50,用于在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;
预约信息发送模块60,用于获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
可选的,所述预约要求包括第一触发要求;预约邀请模块40,包括:
第一预约时间单元,用于若所述意图类别满足对所述目标客户进行预约的第一触发要求,则从实时客户文本中获取第一预约时间,并对所述第一预约时间进行第一次语音播报;
第一判断到单元,用于获取所述目标用户响应所述第一次语音播报的第一回复信息,以根据所述第一回复信息判断所述目标客户是否同意所述第一预约时间;
第二预约时间单元,用于若所述目标客户未同意所述第一预约时间,则获取与所述第一预约时间对应的第二预约时间,并对所述第二预约时间进行第二次语音播报;
第二判断到单元,用于获取所述目标用户响应所述第二次语音播报的第二回复信息,以根据所述第二回复信息判断所述目标客户是否同意所述第二预约时间;
预约时间确定单元,用于若所述目标客户同意所述第二预约时间,则将所述第二预约时间确定为所述预约时间,并向所述目标客户发出包含所述预约时间的预约邀请。
可选的,意图文本模块20,包括:
实时客户文本单元,用于对所述实时交互语音进行语音角色分割,得到所述目标客户的实时语音数据;并对所述实时语音数据进行语音识别,得到所述实时客户文本;
意图关键字单元,用于对所述实时客户文本进行意图识别,识别出所述实时客户文本中的若干意图关键字;
意图文本单元,用于对所述意图关键字进行上下文语义分析,以生成与所述目标客户对应的所述意图文本。
可选的,所述实时客户文本单元,包括:
语音片段单元,用于对所述实时交互语音进行分段处理,得到若干语音片段;
客户语音片段单元,用于通过角色识别模型对所述语音片段进行角色识别,得到客户语音片段;所述实时语音数据包括若干所述客户语音片段;
片段文本单元,用于通过语音识别模型对所述客户语音片段进行频域特征提取,并根据提取的频域特征进行文本预测,得与所述客户语音片段对应的片段文本;
时序拼接单元,用于将所述片段文本进行时序拼接,得到所述实时客户文本。
可选的,在片段文本单元之前,包括:
语音样本集单元,用于获取语音样本集;所述语音样本集包括多个语音样本;
初始识别模型单元,用于将所述语音样本输入含有初始参数的初始识别模型;
频特征提取单元,用于通过教师模型对所述语音样本进行第一音频特征提取,得到第一音频特征向量;通过学生模型对所述语音样本进行第二音频特征提取,得到第二音频特征向量;所述初始识别模型包括所述教师模型和所述学生模型;
损失值单元,用于根据所述第一音频特征向量和所述第二音频特征向量确定损失值;
语音识别模型单元,用于在所述损失值未达到预设的收敛条件时,迭代更新所述初始识别模型的初始参数,直至所述损失值达到所述收敛条件时,将收敛之后的所述初始识别模型确定语音识别模型。
可选的,判断模块30,包括:
意图类别单元,用于获取所述意图文本中的意图关键字,根据所述意图关键字以及所述意图关键字出现的次数确定所述目标客户的意图类别;
第一触发要求单元,用于获取第一触发要求,判断所述意图类别是否满足所述第一触发要求。
可选的,在预约信息发送模块60之后,包括:
预约类型模块,用于根据所述预约时间确定与所述目标客户对应的预约类型;
通讯规则模块,用于获取与所述预约类型匹配的通讯规则,基于所述通讯规则向所述目标客户发出会话请求。
关于机器人预约客户的装置的具体限定可以参见上文中对于机器人预约客户的方法的限定,在此不再赘述。上述机器人预约客户的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储机器人预约客户的方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种机器人预约客户的方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令,处理器执行计算机可读指令时实现以下步骤:
实时获取智能机器人与目标客户之间的实时交互语音;
对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;
根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;
若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;
在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;
获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
在一个实施例中,提供了一个或多个存储有计算机可读指令的计算机可读存储介质,本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令,计算机可读指令被一个或多个处理器执行时实现以下步骤:
实时获取智能机器人与目标客户之间的实时交互语音;
对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;
根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;
若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;
在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;
获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器 (ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM) 或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路 (Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM) 等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种机器人预约客户的方法,其特征在于,包括:
实时获取智能机器人与目标客户之间的实时交互语音;
对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;
根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;
若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;
在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;
获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
2.如权利要求1所述的机器人预约客户的方法,其特征在于,所述预约要求包括第一触发要求;所述若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请,包括:
若所述意图类别满足对所述目标客户进行预约的第一触发要求,则从实时客户文本中获取第一预约时间,并对所述第一预约时间进行第一次语音播报;
获取所述目标用户响应所述第一次语音播报的第一回复信息,以根据所述第一回复信息判断所述目标客户是否同意所述第一预约时间;
若所述目标客户未同意所述第一预约时间,则获取与所述第一预约时间对应的第二预约时间,并对所述第二预约时间进行第二次语音播报;
获取所述目标用户响应所述第二次语音播报的第二回复信息,以根据所述第二回复信息判断所述目标客户是否同意所述第二预约时间;
若所述目标客户同意所述第二预约时间,则将所述第二预约时间确定为所述预约时间,并向所述目标客户发出包含所述预约时间的预约邀请。
3.如权利要求1所述的机器人预约客户的方法,其特征在于,所述对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本,包括:
对所述实时交互语音进行语音角色分割,得到所述目标客户的实时语音数据;并对所述实时语音数据进行语音识别,得到所述实时客户文本;
对所述实时客户文本进行意图识别,识别出所述实时客户文本中的若干意图关键字;
对所述意图关键字进行上下文语义分析,以生成与所述目标客户对应的所述意图文本。
4.如权利要求3所述的机器人预约客户的方法,其特征在于,所述对所述实时交互语音进行语音角色分割,得到所述目标客户的实时语音数据;并对所述实时语音数据进行语音识别,得到所述实时客户文本,包括:
对所述实时交互语音进行分段处理,得到若干语音片段;
通过角色识别模型对所述语音片段进行角色识别,得到客户语音片段;所述实时语音数据包括若干所述客户语音片段;
通过语音识别模型对所述客户语音片段进行频域特征提取,并根据提取的频域特征进行文本预测,得与所述客户语音片段对应的片段文本;
将所述片段文本进行时序拼接,得到所述实时客户文本。
5.如权利要求4所述的机器人预约客户的方法,其特征在于,在所述通过语音识别模型对所述客户语音片段进行频域特征提取之前,包括:
获取语音样本集;所述语音样本集包括多个语音样本;
将所述语音样本输入含有初始参数的初始识别模型;
通过教师模型对所述语音样本进行第一音频特征提取,得到第一音频特征向量;通过学生模型对所述语音样本进行第二音频特征提取,得到第二音频特征向量;所述初始识别模型包括所述教师模型和所述学生模型;
根据所述第一音频特征向量和所述第二音频特征向量确定损失值;
在所述损失值未达到预设的收敛条件时,迭代更新所述初始识别模型的初始参数,直至所述损失值达到所述收敛条件时,将收敛之后的所述初始识别模型确定语音识别模型。
6.如权利要求1所述的机器人预约客户的方法,其特征在于,所述根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求,包括:
获取所述意图文本中的意图关键字,根据所述意图关键字以及所述意图关键字出现的次数确定所述目标客户的意图类别;
获取第一触发要求,判断所述意图类别是否满足所述第一触发要求。
7.如权利要求1所述的机器人预约客户的方法,其特征在于,所述获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址之后,包括:
根据所述预约时间确定与所述目标客户对应的预约类型;
获取与所述预约类型匹配的通讯规则,基于所述通讯规则向所述目标客户发出会话请求。
8.一种机器人预约客户的装置,其特征在于,包括:
实时交互语音模块,用于实时获取智能机器人与目标客户之间的实时交互语音;
意图文本模块,用于对所述实时交互语音进行语音角色分割和语音识别,得到实时客户文本;并对所述实时客户文本进行意图识别,得到与所述目标客户对应的意图文本;
判断模块,用于根据所述意图文本确定所述目标客户的意图类别,判断所述意图类别是否满足对所述目标客户进行预约的预约要求;
预约邀请模块,用于若所述意图类别满足对所述目标客户进行预约的预约要求,则向所述目标客户发出预约邀请;所述预约邀请包括预约时间和预约内容;
预约信息生成模块,用于在接收到所述目标客户响应所述预约邀请的确认信息之后,根据所述预约时间和所述预约内容生成预约信息;
预约信息发送模块,用于获取所述目标客户的联系方式,将所述预约信息发送至与所述联系方式对应的通信地址。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述机器人预约客户的方法。
10.一个或多个存储有计算机可读指令的可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至7中任一项所述机器人预约客户的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111264356.2A CN114203173A (zh) | 2021-10-28 | 2021-10-28 | 机器人预约客户的方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111264356.2A CN114203173A (zh) | 2021-10-28 | 2021-10-28 | 机器人预约客户的方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114203173A true CN114203173A (zh) | 2022-03-18 |
Family
ID=80646418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111264356.2A Pending CN114203173A (zh) | 2021-10-28 | 2021-10-28 | 机器人预约客户的方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114203173A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114610158A (zh) * | 2022-03-25 | 2022-06-10 | Oppo广东移动通信有限公司 | 数据处理方法及装置、电子设备、存储介质 |
CN115879583A (zh) * | 2023-03-03 | 2023-03-31 | 广州平云小匠科技有限公司 | 工单数据的处理方法、设备以及计算机可读存储介质 |
-
2021
- 2021-10-28 CN CN202111264356.2A patent/CN114203173A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114610158A (zh) * | 2022-03-25 | 2022-06-10 | Oppo广东移动通信有限公司 | 数据处理方法及装置、电子设备、存储介质 |
CN115879583A (zh) * | 2023-03-03 | 2023-03-31 | 广州平云小匠科技有限公司 | 工单数据的处理方法、设备以及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111105782B (zh) | 会话交互处理方法、装置、计算机设备和存储介质 | |
US10057419B2 (en) | Intelligent call screening | |
CN111104495A (zh) | 基于意图识别的信息交互方法、装置、设备和存储介质 | |
CN111932144B (zh) | 一种客服坐席分配方法、装置、服务器及存储介质 | |
CN111858892B (zh) | 基于知识图谱的语音交互方法、装置、设备及介质 | |
CN109514586B (zh) | 实现智能客服机器人的方法及系统 | |
CN111883140B (zh) | 基于知识图谱和声纹识别的认证方法、装置、设备及介质 | |
CN114203173A (zh) | 机器人预约客户的方法、装置、计算机设备及存储介质 | |
CN111061847A (zh) | 对话生成及语料扩充方法、装置、计算机设备和存储介质 | |
CN112037799B (zh) | 语音中断处理方法、装置、计算机设备和存储介质 | |
CN112989046A (zh) | 实时话术预判方法、装置、计算机设备和存储介质 | |
CN115017289A (zh) | 一种基于知识库的对客服务方法及装置 | |
CN114724561A (zh) | 一种语音打断方法、装置、计算机设备及存储介质 | |
CN113591463A (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN116049411B (zh) | 一种信息匹配方法、装置、设备和可读存储介质 | |
CN112860873A (zh) | 智能应答方法、装置及存储介质 | |
CN113111157B (zh) | 问答处理方法、装置、计算机设备和存储介质 | |
CN110931002A (zh) | 人机交互方法、装置、计算机设备和存储介质 | |
CN114756668A (zh) | 基于人工智能的对话交互方法、装置、计算机设备及介质 | |
CN112929502B (zh) | 一种基于电力客服的语音识别方法及系统 | |
CN114446325A (zh) | 基于情绪识别的信息推送方法、装置、计算机设备及介质 | |
CN111614845A (zh) | 人机对话中人设匹配方法、装置、计算机设备和存储介质 | |
CN112965593A (zh) | 基于ai算法实现多模态控制数字人交互方法及装置 | |
CN113297367A (zh) | 用户对话衔接语生成的方法及相关设备 | |
CN112040076A (zh) | 处理坐席上报文本的方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |