CN111775165A - 一种实现移动式智能客服机器人的系统、机器人终端以及后端处理模块 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种实现移动式智能客服机器人的系统、机器人终端以及后端处理模块，其技术方案要点是包括机器人终端和后端处理模块；所述机器人终端用于输入和输出语音，所述后端处理模块用于对机器人终端接收的语音进行处理并通过所述机器人终端反馈生成的机器人应答语音。所述机器人终端包括拾音播音子模块，用于接收语音和播放语音；通话控制模块，用于处理控制信号，用于自动拨打、接听电话、挂断电话；数据处理子模块，用于处理语音数据，与后端处理模块进行数据传递；联网子模块，用于和后端处理模块连接，能够与通信系统进行解耦，易于部署、切换，提供可移动性，可以方便地放置在各种场合。

Description

一种实现移动式智能客服机器人的系统、机器人终端以及后 端处理模块

技术领域

本发明涉及人工智能领域，更具体地说，它涉及一种实现移动式智能客服机器人的系统、机器人终端以及后端处理模块。

背景技术

随着计算机技术、通信技术、互联网和人工智能技术的快速进步，各种智能家用电器不断走进人们的生活。例如，智能电视、智能冰箱、智能空调、智能音箱、智能手表、智能手环、智能眼镜等等。目前各种品牌的基于语音交互的智能设备已经大量上市，用户可以通过发出语音指令的方式与智能设备进行交互，实现听歌、报时、闲聊、游戏、陪伴、信息查询、设备控制等功能。但目前智能设备主要应用于家庭生活、休闲娱乐或儿童教育等领域，在企业级应用方面很少也很难得到应用。

随着人工智能技术和通信科技的蓬勃发展，智能语音交互机器人已广泛应用各行各业，大幅度降低人工外呼成本，提高外呼效率。但目前的语音交互机器人特别是电话机器人系统涵盖了以人工智能技术和对话系统为主的机器人系统和以通信网络和VOIP技术为主的语音通信系统，两者紧密绑定，系统异常复杂，开发、部署和维护难度都很大，成本很高，而替换其中任何一个组件都非常困难，很不灵活。基于此开发的电话机器人过于复杂和庞大，一旦部署就很难移动。这种电话机器人基于大规模云服务器，没有一个普通人可以方便认知的实体，无法给人以直观亲切的印象。

发明内容

本发明的目的是提供一种实现移动式智能客服机器人的系统、机器人终端以及后端处理模块，能够与通信系统进行解耦，易于部署，便于切换，提供了可移动性，机器人终端可以方便地放置在各种场合；便捷的接入个人手机或通话终端。

本发明的上述技术目的是通过以下技术方案得以实现的：一种实现移动式智能客服机器人的系统，包括机器人终端和后端处理模块；所述机器人终端用于输入和输出语音，所述后端处理模块用于对机器人终端接收的语音进行处理并通过所述机器人终端反馈生成的机器人应答语音。

一种实现移动式智能客服机器人的机器人终端，包括：

拾音播音子模块，用于接收语音和播放语音；

通话控制模块，用于处理控制信号，用于自动拨打、接听电话、挂断电话；

数据处理子模块，用于处理语音数据，与后端处理模块进行数据传递；

联网子模块，用于和后端处理模块连接。

作为本发明的一种优选技术方案，所述拾音播音子模块还包括第一语音接口和第二语音接口，所述第一语音接口用于传输通话对象和后端处理模块的通话音频；所述第二语音接口用于传输人工坐席和通话对象的通话音频。

作为本发明的一种优选技术方案，所述机器人终端还包括显示屏，所述显示屏用于显示机器人终端和通话对象的通话记录或通话相关信息。

作为本发明的一种优选技术方案，所述机器人终端还包括按键子模块，所述按键子模块用于输入控制指令。

作为本发明的一种优选技术方案，所述后端处理模块用于对机器人终端发来的语音数据进行处理并生成机器人应答语音和文字发回给机器人终端。

一种实现移动式智能客服机器人的后端处理模块，包括对话管理子模块、语音识别子模块 、意图识别子模块、语音合成子模块；

所述对话管理子模块用于控制对话的流程和逻辑，生成应答文本；

所述语音识别子模块用于识别接收到的通话对象语音并转化为文字；

所述意图识别子模块用于根据识别的语音文本识别出通话对象意图；

所述语音合成子模块用于将应答文本合成为语音并发送到机器人终端。

综上所述，本发明具有以下有益效果：把通信系统与机器人系统进行解耦，降低了系统的复杂性，使之易于部署，便于灵活切换，可以大幅度降低电话机器人系统的开发、部署和维护成本；为机器人提供了可移动性，机器人终端可以方便地放置在各种场合，也可以为机器人提供一个直观、可触摸的实体，使之更具有亲和力；便捷的接入个人手机或者通话终端；提供蓝牙端、音频端口接入方式，应用范围广泛。

附图说明

图1是本发明的机器人终端框图；

图2是本发明的拾音播音子模块的连接框图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明提供一种实现移动式智能客服机器人的系统、机器人终端以及后端处理模块；其中机器人终端和后端处理模块组成的机器人系统还应用在一种基于人工智能的移动式语音交互对话系统中。

一种基于人工智能的移动式语音交互对话系统，包括：

通信模块，用于支持通话对象和机器人系统通信；

机器人系统，用于处理通信模块发来的语音数据并回复，具体包括机器人终端和后端处理模块，机器人终端用于输入和输出语音，后端处理模块用于对机器人终端接收的语音进行处理并通过机器人终端反馈处理结果，其中机器人终端具有实体结构，而后端处理模块可以设置于云端服务器；

语音连接模块，用于在机器人系统和通信模块解耦后，连接机器人系统和通信模块，使得两者之间能够进行数据传输。

其中通信模块包括通信网络和通信终端，通信网络可以直接对接已有的或第三方的通信网络和系统，使用已有通信设备，例如移动、联通、电信等各大运营商的网络；

通信终端用于采集通话对象语音和传输机器人终端语音给通话对象，通信终端可以兼容手机、固定电话、基于PC的VOIP电话、微信电话、Skype或其他APP语音电话；通信终端内部配置有命令芯片，也可以再通信终端内配置实现命令芯片功能的特定应用软件，用于发送特定命令或信号，例如装置唤醒命令，通话接通或挂断信号等，可以用包含特定命令词的一段语音实现，也可以用事先约定的一组信令实现；特定应用软件与通话控制模块通信连接，用于拨打通话和接听通话以及接收控制指令、号码数据，配合实现批量拨打。

如图1所示，机器人终端包括拾音播音子模块、联网子模块、数据处理子模块和通话控制模块；

拾音播音子模块，如图2所示，还包括第一语音接口和第二语音接口，第一语音接口和第二语音接口可以为蓝牙端或者音频端口，第一语音接口用于传输通话对象和后端处理模块的通话音频；第二语音接口用于传输人工坐席和通话对象的通话音频，在通话过程中，人工坐席可以通过第二语音接口接收到通话音频，从而判断是否要进行人工介入，需要介入时，也从第二语音接口将人工坐席语音发给机器人终端；

其中在音频端口可以设置一个或多个普通麦克风或者MEMS麦克风，也可以采用远场麦克风阵列，用于接收通信终端通过语音连接模块发来的通话对象语音，还可以设置扬声器等放音设备，用于播放机器人应答语音；如有必要，在不会导致回响、啸叫和混响的前提下，也可以通过扬声器播放通话对象的语音。

数据处理子模块，用于调度控制机器人终端中的其他模块，用于处理语音数据并发到后端处理模块，处理来自后端处理模块的语音数据，调用拾音播音子模块通过语音连接模块将语音发给通信终端，通过拾音收音子模块播放机器人语音，控制显示屏显示通话的文字记录，接收来自触摸屏的用户指令；

通话控制模块，用于控制通信模块和机器人系统之间进行批量通话。

通话控制模块包括：通话对象数据库、系统数据库、任务管理模块、通信控制器子模块；

通话对象数据库，用于存储通话对象相关的数据；

系统数据库，用于存储通话记录及通话过程相关的其它数据；

任务管理模块，用于管理通话任务；

通信控制器模块，调度其它模块，获取或存入数据；控制通信模块实现批量通话；和机器人系统通信，并同步数据；

此外通话控制模块还包括话术编辑器和话术数据库，话术编辑器用于话术制作人员制作和修改话术，话术数据库用于存储话术制作人员通过话术编辑器制作的话术。

通话控制模块的工作流程如下：

根据管理员的操作或者事先计划好的任务，通过任务管理模块加载任务清单；

从话术数据库检索出任务需要的、由话术制作人员事先制作好的话术；其中一个话术就代表一套完整的业务流程，包括其对话规则、所有可能的应答句子文本、对通话对象的意向评价的规则等对话和业务相关数据，如果使用录音师录音，则还包括录音音频；

从通话对象数据库中查询出所需数据，例如电话号码、姓名、性别等，以及其它和业务相关的数据比如欠款金额之类；

通过网络把话术和通话对象数据同步到后端处理模块；

控制通信终端接通（主动拨打或被动接听）通话对象；

等待通话结束，从后端处理模块接收通话记录存储到数据库；

根据需要，以上流程可以批量执行；也可以并发执行，前提是有多个通信终端和机器人终端，同时后端处理模块支持并发任务。

此外机器人终端还包括显示屏和按键子模块，显示屏可以显示机器人系统和通话对象的通话记录或其他通话相关信息，也可以使用触摸屏，同时实现按键功能，让用户通过触摸的方式输入控制指令；

机器人终端还可以设置蓝牙等无线通信模块，用于和语音连接模块进行通信；

机器人终端还可以设置音频电路，使得音频的输入输出能够直接以数字形式进行；

机器人终端还可以设置功率放大模块，用于放大来自语音连接模块的声音信号；

机器人终端还可以设置语音降噪模块，对收到的音频信号作降噪处理；

机器人终端还可以设置AD/DA转换芯片，用于把接收到的通话对象的语音转成数字信号传输，把接收到的机器人语音转成模拟信号通过扬声器播放；

机器人终端还可以设置联网子模块，通过有线链路、WIFI或4G/5G网络连接后端处理模块，发送/接收语音及其它数据；

机器人终端还可以设置控制接口，包括按钮、旋钮等，用于外部控制。

机器人终端的运行过程为：

A1、连接机器人终端和通信终端；

A2、连接机器人终端和后端处理模块；

A3、开启会话并接通通话对象；

A4、通话对象语音通过通信终端、机器人终端传输到后端处理模块；

A5、后端处理模块处理通话对象语音后生成机器人应答语音和文字；

A6、机器人应答语音通过机器人终端、通信终端传输给通话对象；

A7、机器人应答文字传输到机器人终端并显示；

A8、人工坐席通过机器人终端随时跟踪通话过程，必要时可以转入人工接听，实现人机协作呼叫功能。

后端处理模块用于对机器人终端发来的语音数据进行意图识别，并根据语音意图生成回复语音发回给机器人终端。后端处理模块包括对话管理子模块、语音识别子模块、意图识别子模块、语音合成子模块、分词子模块、声音分离子模块、声纹识别、会话管理子模块；后端处理模块部署在云端服务器上，通过有线或无线网络与机器人终端通信。

对话管理子模块用于控制对话的流程和逻辑，生成应答文本；

语音识别子模块用于识别接收到的通话对象语音并转化为文字；

意图识别子模块用于根据识别的语音文本识别出通话对象意图；

语音合成子模块用于将应答文本合成为语音并发送到机器人终端。

后端处理模块的对话系统运行过程如下：

S1、通话控制系统通过通信终端接通（主动拨打或被动接听）通话对象的电话后，把根据业务逻辑编写的话术、通话对象的数据同步到后端处理模块的会话管理子模块和对话管理子模块；

S2、会话管理子模块开启一个新的会话；

S3、会话管理子模块向机器人终端发送指令，使之进入接听模式；

S4、会话管理子模块向机器人终端发送开场白/欢迎词的语音和文本；

S5、机器人终端通过语音连接模块和通信模块把语音发送给通话对象，开启机器人和通话对象之间的通话；

S6、机器人终端收到通话对象语音，通过网络发送到后端处理模块的语音识别子模块；

S7、语音识别子模块把通话对象语音转成文本，发送到意图识别子模块；

S8、意图识别子模块调用分词子模块先分词，再根据分词结果，结合话术识别出通话对象的意图，发送到对话管理子模块；

S9、可选地，意图识别也可以通过意图识别子模块直接由通话对象的语音得到；

S10、对话管理子模块根据话术内置的策略和规则，生成应答句子文本，发送到语音合成子模块；

S11、语音合成子模块把文本转换成机器人应答语音；可选地，机器人应答语音也可以事先由录音师录好，根据应答句子检索出来；

S12、把应答句子文本和语音一起发送到机器人终端，由机器人终端播放并通过语音连接模块和通信模块发送给通话对象；

S13、如此循环，直到对话结束；

S14、会话管理子模块关闭会话，把通话记录传输到通话控制模块，保存到系统数据库，供以后查询分析。

具体的，语音连接模块包括话筒听筒设备、音频信号线、无线通信设备的任意一种或多种；

话筒听筒设备用于采集机器人终端播音端和通信模块播音端发出的语音再分别传递到通信模块的收音端和机器人终端的收音端，收音部分可以采用麦克风，麦克风可以采用普通麦克风或者MEMS麦克风，放音部分可以采用听筒、扬声器等放音设备，可以直接将语音播放出来；采用话筒听筒设备实际是对语音进行转播，减少语音在传播时的损耗；

音频信号线的两端分别接入机器人终端和通信模块，用于实现通信模块和机器人终端之间的数据传输；

无线通信子模块，可以采用蓝牙模块，用于在机器人终端和通信模块之间进行数据的无线传输。

一种基于人工智能的移动式语音交互对话系统的使用步骤大致如下：

把语音连接模块连接到机器人终端。可选的连接方式有：话筒听筒设备，蓝牙，音频信号线；

把语音连接模块连接到通信终端。可选的连接方式有：话筒听筒设备，蓝牙，音频信号线；

用通信终端拨打/接听通话对象的电话；

通话对象的语音通过语音连接模块传输到机器人终端，机器人终端再通过网络传输到后端处理模块；

后端处理模块经过语音识别子模块、意图识别子模块等处理后，生成语音和文字答复，发送到机器人终端；

机器人终端通过语音连接模块把机器人语音传输到通信终端，后者通过通信网络把机器人语音发送给通话对象，从而实现和通话对象的自动对话。

本发明的优点在于：把通信系统与机器人系统进行解耦，降低了系统的复杂性，使之易于部署，便于灵活切换，可以大幅度降低电话机器人系统的开发、部署和维护成本；为机器人提供了可移动性，机器人终端可以方便地放置在各种场合，也可以为机器人提供一个直观、可触摸的实体，使之更具有亲和力；便捷的接入个人手机或者通话终端；提供蓝牙端、音频端口接入方式，应用范围广泛。

并延续了传统电话客服机器人系统功能：提供屏幕显示，可以方便的设置，调取通话记录和切换，使用更便捷；支持外放设备如头戴式耳机，随时进行通话跟踪以便人工坐席介入。

实施例1、本发明的语音交互对话系统可用于实现呼出电话机器人（即外呼机器人），步骤如下：

G1、把语音连接模块的音频信号线一端插入通信终端设备，播放器插入机器人终端的耳机孔，触发机器人终端的接听模式。可选地，也可以通过音频信号线把语音连接模块连接到机器人终端。可选地，也可以通过蓝牙把语音连接模块连接到机器人终端；

G2、根据管理员的操作或者预定的任务计划，通话控制模块从通话对象数据库取出通话对象数据，从话术数据库读取相应话术，控制通信终端通过通信网络拨通通话对象的电话；

G3、通话控制模块把包括通话对象数据和通话话术的通话相关数据同步到后端处理模块会话管理子模块和对话管理子模块；

G4、后端处理模块会话管理子模块开启会话，向机器人终端发送指令使它进入等待通话模式，同时把开场白语音/文字、通话对象名称等必要的数据发送给它；

G5、通信终端接通通话对象的电话时，通过内置命令芯片或APP发送接通信号，再通过语音连接模块的音频信号线传到机器人终端；

G6、机器人终端的数据处理子模块模块检测到电话接通信号，通过扬声器播放开场白语音，在显示屏显示相关文字信息。可选地，同时通过音频信号线或蓝牙模块向语音连接模块发送开场白语音；

G7、语音连接模块通过通信网络向通话对象发送开场白语音；

G8、机器人终端通过语音连接模块接收到通话对象的语音。若通过麦克风接收，则需要AD/DA转换芯片转成数字信号再传输。然后经过数据处理子模块和联网子模块发送到后端处理模块；

G9、后端处理模块调用语音识别模块把语音转换成文字，再通过意图识别子模块识别出通话对象的意图，经过加载有指定话术的对话管理子模块判断决策后，生成机器人答复文字和语音。可选地，也可以通过意图识别子模块直接把通话对象的语音识别为通话对象的意图；

G10、机器人答复文字和语音经由联网子模块发送到机器人终端；

G11、机器人答复语音经机器人终端中的数据处理子模块处理后播放出来，同时依次通过音频输出电路、音频信号线传输到通信终端，再经过通信网络发送给通话对象；

G12、答复文字经机器人终端中的数据处理子模块处理后，以通话记录的形式显示在显示屏上；

G13、如此循环，直到通话结束；

G14、如果对话逻辑要求机器人挂断，则对话管理子模块通过通话控制模块向通信终端发送挂断指令，然后关闭会话；

G15、如果数据处理子模块检测到通话对象挂断的信号，则直接关闭会话；

G16、后端处理模块关闭会话时，上传通话记录等相关数据到通话控制模块。

实施例2、本发明的语音交互对话系统可以用于实现呼入电话机器人，步骤如下：

H1、和G1相同，用语音连接模块连接机器人终端和通信终端；

H2、通信控制子系统控制通信终端使之处于接听模式；

H3、通信控制子系统控制后端处理模块使之处于等待呼入模式，并加载相应业务话术数据；

H4、后端处理模块把欢迎语音和文字发送到机器人终端；

H5、通信终端接通通话对象的呼入电话时，通过内置命令芯片或APP发送接通信号和来电号码，再通过语音连接模块的音频信号线传到机器人终端；

H6、机器人终端的数据处理子模块检测到电话接通信号，开启会话，通过扬声器播放欢迎语音，在显示屏显示相关文字信息。可选地，同时通过音频信号线向语音连接模块发送欢迎语音；

H7、语音连接模块通过通信网络向通话对象发送欢迎语音；

H8、进入对话循环，后续步骤和实施例1的G8~G16相同。

实施例3、本发明的语音交互对话系统可以用于实现协呼电话机器人，步骤如下：

I1、按实施例1的相同步骤，拨通通话对象的电话，由机器人和通话对象的对话，通话文字记录显示在显示屏上；

I2、人工坐席可以通过专门的耳机收听机器人语音和通话对象的语音，或者通过观看屏幕文字，了解通话进程；

I3、在人工坐席认为必要的时候，按下机器人终端上的介入按钮开始人工介入；

I4、机器人终端内的数据处理子模块把会话转为人工介入模式，此时对通信网络本身没有任何影响，切断与后端处理模块的连接，关闭语音连接模块与通信终端的麦克风；

I5、人工坐席直接对着机器人终端内的麦克风讲话，按照前述相同的路径，发送到通话对象，直接和通话对象对话，实现无缝切换。机器人语音和坐席语音已经通过声音克隆技术进行匹配，所以能够较好地模拟坐席的声音；

I6、人工坐席和通话对象的对话也可以通过后端处理模块的语音识别模块识别成文字，显示在显示屏并记录到数据库；

I7、可选地，人工坐席也可以选择切断机器人终端，直接通过通信终端或语音连接模块的麦克风与通话对象的对话。

实施例4、本发明的语音交互对话系统可以用于实现会议记录机器人，步骤如下：

J1、通过机器人终端上的按钮设置为会议记录模式，关闭扬声器外放；

J2、会议过程中，通过远场麦克风阵列接受参会人员的语音；

J3、通过网络把会议语音传输到后端处理模块；

J4、后端处理模块调用声音分离模块分离不同说话人的声音，调用声纹识别模块识别出各个说话人的身份，调用语音识别模块把每个说话人的语音分别转换成文字；把上述信息整合为带有说话人身份标识的文字会议记录。

J5、把上述文字会议记录发送到机器人终端，在显示屏上显示；同时把文字会议记录保存到数据库。

实施例5、本发明的语音交互对话系统可以用于实现个人语音助手，帮助客户自动接听电话。当客户在做别的事情例如做饭、休息、开会、睡觉等，无法接听电话，就可以用语音命令机器人终端代接电话，让机器人和对方对话，了解一些简单信息，或回答一些简单问题，或者安抚对方。实现步骤如下：

K1、同G1，用语音连接模块连接机器人终端和通信终端；

K2、预先登录自己的用户名，并且定制一个或多个自动接听电话的话术；可以根据电话号码、区号、联系人分组、性别、来电时间等因素自定规则，选择合适的话术；

K3、设置机器人终端为自动接听电话模式。可选地，也可以在来电时用语音命令机器人终端代接电话，例如，冲着机器人终端大喊：“小硅同学，帮我接一下电话！”；

K4、有来电呼入时，如果机器人终端处于自动接听电话模式，就通过音频信号线发送一个指令给手机内的APP，APP就自动接听电话，并把对方语音接入机器人终端；

K5、机器人终端连接后端处理模块，加载符合条件的话术；

K6、后续步骤和呼入实施例相同；

K7、类似于协呼实施例，机器人接听过程中，机主也可以随时切入，亲自和对方讲话。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种实现移动式智能客服机器人的系统，其特征是：包括机器人终端和后端处理模块；所述机器人终端用于输入和输出语音，所述后端处理模块用于对机器人终端接收的语音进行处理并通过所述机器人终端反馈生成的机器人应答语音。

2.一种实现移动式智能客服机器人的机器人终端，其特征是：包括：

拾音播音子模块，用于接收语音和播放语音；

通话控制模块，用于处理控制信号，用于自动拨打、接听电话、挂断电话；

数据处理子模块，用于处理语音数据，与后端处理模块进行数据传递；

联网子模块，用于和后端处理模块连接。

3.根据权利要求2所述的一种实现移动式智能客服机器人的机器人终端，其特征是：所述拾音播音子模块还包括第一语音接口和第二语音接口，所述第一语音接口用于传输通话对象和后端处理模块的通话音频；所述第二语音接口用于传输人工坐席和通话对象的通话音频。

4.根据权利要求2或3任一所述的一种实现移动式智能客服机器人的机器人终端，其特征是：所述机器人终端还包括显示屏，所述显示屏用于显示机器人终端和通话对象的通话记录或通话相关信息。

5.根据权利要求4所述的一种实现移动式智能客服机器人的机器人终端，其特征是：所述机器人终端还包括按键子模块，所述按键子模块用于输入控制指令。

6.根据权利要求1、2、3、5任一所述的一种实现移动式智能客服机器人的机器人终端，其特征是：所述后端处理模块用于对机器人终端发来的语音数据进行处理并生成机器人应答语音和文字发回给机器人终端。

7.一种实现移动式智能客服机器人的后端处理模块，其特征是：

包括对话管理子模块、语音识别子模块 、意图识别子模块、语音合成子模块；

所述对话管理子模块用于控制对话的流程和逻辑，生成应答文本；

所述语音识别子模块用于识别接收到的通话对象语音并转化为文字；

所述意图识别子模块用于根据识别的语音文本识别出通话对象意图；

所述语音合成子模块用于将应答文本合成为语音并发送到机器人终端。

Images