CN111787169B - 一种用于移动式人机协作呼叫机器人的三方通话终端 - Google Patents

一种用于移动式人机协作呼叫机器人的三方通话终端 Download PDF

Info

Publication number
CN111787169B
CN111787169B CN202010669451.XA CN202010669451A CN111787169B CN 111787169 B CN111787169 B CN 111787169B CN 202010669451 A CN202010669451 A CN 202010669451A CN 111787169 B CN111787169 B CN 111787169B
Authority
CN
China
Prior art keywords
call
voice
submodule
party
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010669451.XA
Other languages
English (en)
Other versions
CN111787169A (zh
Inventor
司马华鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Guiji Intelligent Technology Co ltd
Original Assignee
Nanjing Guiji Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Guiji Intelligent Technology Co ltd filed Critical Nanjing Guiji Intelligent Technology Co ltd
Priority to CN202010669451.XA priority Critical patent/CN111787169B/zh
Publication of CN111787169A publication Critical patent/CN111787169A/zh
Application granted granted Critical
Publication of CN111787169B publication Critical patent/CN111787169B/zh
Priority to PCT/CN2021/105295 priority patent/WO2022012413A1/zh
Priority to EP21794449.5A priority patent/EP3968619B1/en
Priority to US17/612,673 priority patent/US11516346B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/527—Centralised call answering arrangements not requiring operator intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5166—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing in combination with interactive voice response systems or voice portals, e.g. as front-ends
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/39—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/50—Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/5018—Initiating a conference during a two-party conversation, i.e. three-party service or three-way call
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5183—Call or contact centers with computer-telephony arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及人工智能领域，公开了一种用于移动式人机协作呼叫机器人的三方通话终端，其技术方案要点是第一语音接口，用于传输通话对象和后端处理模块的通话音频；CODEC1模块，用于通话对象和后端处理模块之间的通话语音音频编码、解码；第二语音接口，用于传输人工坐席和通话对象的通话音频；CODEC2模块，用于人工坐席和通话对象的通话语音音频编码、解码；通话控制模块，用于处理控制信号，用于自动拨打、接听电话、挂断电话；数据处理子模块，用于处理语音数据，与后端处理模块进行数据传递；联网子模块，用于和后端处理模块连接，能够与通信系统进行解耦，易于部署，便于切换，提供了可移动性，可以方便地放置在各种场合。

Description

一种用于移动式人机协作呼叫机器人的三方通话终端
技术领域
本发明涉及人工智能领域，更具体地说，它涉及一种用于移动式人机协作呼叫机器人的三方通话终端。
背景技术
随着计算机技术、通信技术、互联网和人工智能技术的快速进步，各种智能家用电器不断走进人们的生活。例如，智能电视、智能冰箱、智能空调、智能音箱、智能手表、智能手环、智能眼镜等等。目前各种品牌的基于语音交互的智能设备已经大量上市，用户可以通过发出语音指令的方式与智能设备进行交互，实现听歌、报时、闲聊、游戏、陪伴、信息查询、设备控制等功能。但目前智能设备主要应用于家庭生活、休闲娱乐或儿童教育等领域，在企业级应用方面很少也很难得到应用。
随着人工智能技术和通信科技的蓬勃发展，电话机器人已广泛应用各行各业，大幅度降低了呼叫中心的人工成本，提高了效率。但目前的语音交互机器人特别是电话人机协作呼叫机器人系统涵盖了以人工智能技术和对话系统为主的人机协作呼叫机器人系统，和以通信网络和VOIP技术为主的语音通信系统。两者紧密绑定，系统异常复杂，开发、部署和维护难度都很大，成本很高。而替换其中任何一个组件都非常困难，很不灵活。基于此开发的电话机器人过于复杂和庞大，一旦部署就很难移动。这种电话机器人基于大规模云端服务器，没有一个普通人可以方便认知的实体，无法给人以直观亲切的印象。
要实现移动式的人机协作呼叫机器人，就需要一种支持三方通话并且方便易用的电话三方通话终端。传统的人机协作呼叫机器人一般使用台式机作为通话终端，操作复杂，不方便移动；而新式的移动式电话三方通话终端并不支持三方通话，无法实现人机协作呼叫机器人。
发明内容
本发明的目的是提供一种用于移动式人机协作呼叫机器人的三方通话终端，能够与通信系统进行解耦，易于部署，便于切换，提供了可移动性，可以方便地放置在各种场合；便捷的接入个人手机或通话终端。
本发明的上述技术目的是通过以下技术方案得以实现的：一种用于移动式人机协作呼叫机器人的三方通话终端，包括：
第一语音接口，用于传输通话对象和后端处理模块的通话音频；
CODEC1模块，用于通话对象和后端处理模块之间的通话语音音频编码、解码；
第二语音接口，用于传输人工坐席和通话对象的通话音频；
CODEC2模块，用于人工坐席和通话对象的通话语音音频编码、解码；
通话控制模块，用于处理控制信号，用于自动拨打、接听电话、挂断电话；
数据处理子模块，用于处理语音数据，与后端处理模块进行数据传递；
联网子模块，用于和后端处理模块连接。
作为本发明的一种优选技术方案，所述三方通话终端还包括显示屏，所述显示屏用于显示三方通话终端和通话对象的通话记录或通话相关信息。
作为本发明的一种优选技术方案，所述三方通话终端还包括按键子模块，所述按键子模块用于输入控制指令。
作为本发明的一种优选技术方案，所述后端处理模块用于对三方通话终端发来的语音数据进行处理并生成机器人应答语音和文字发回给三方通话终端。
作为本发明的一种优选技术方案，所述后端处理模包括对话管理子模块、语音识别子模块 、意图识别子模块、语音合成子模块；
所述对话管理子模块用于控制对话的流程和逻辑，生成应答文本；
所述语音识别子模块用于识别接收到的通话对象语音并转化为文字；
所述意图识别子模块用于根据识别的语音文本识别出通话对象意图；
所述语音合成子模块用于将应答文本合成为语音并发送到三方通话终端。
综上所述，本发明具有以下有益效果：把通信系统与人机协作呼叫机器人系统进行解耦，降低了系统的复杂性，使之易于部署，便于灵活切换，可以大幅度降低电话人机协作呼叫机器人系统的开发、部署和维护成本；为机器人提供了可移动性，三方通话终端可以方便地放置在各种场合，也可以为机器人提供一个直观、可触摸的实体，使之更具有亲和力；便捷的接入个人手机或者通话终端；提供蓝牙端、音频端口接入方式，应用范围广泛。
附图说明
图1是本发明的三方通话终端的模块框图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，三方通话终端包括：
第一语音接口，用于传输通话对象和后端处理模块的通话音频；
CODEC1模块，用于通话对象和后端处理模块之间的通话语音音频编码、解码；
第二语音接口，用于传输人工坐席和通话对象的通话音频；
CODEC2模块，用于人工坐席和通话对象的通话语音音频编码、解码；
第一语音接口和第二语音接口可以为蓝牙端或者音频端口，在通话过程中，人工坐席可以通过第二语音接口接收到通话音频，从而判断是否要进行人工介入，需要介入时，也从第二语音接口将人工坐席语音发给三方通话终端；
其中在音频端口可以设置一个或多个普通麦克风或者MEMS麦克风，也可以采用远场麦克风阵列，用于接收通信终端通过语音连接模块发来的通话对象语音，还可以设置扬声器等放音设备，用于播放机器人应答语音；如有必要，在不会导致回响、啸叫和混响的前提下，也可以通过扬声器播放通话对象的语音。
联网子模块，通过有线链路、WIFI或4G/5G网络连接后端处理模块，发送/接收语音及其它数据；
数据处理子模块，用于调度控制三方通话终端中的其他模块，用于处理语音数据并发到后端处理模块，处理来自后端处理模块的语音数据，并发送到通信终端，控制显示屏显示通话的文字记录，接收来自触摸屏的用户指令；
通话控制模块，用于控制通信系统和三方通话终端之间进行批量通话。
通话控制模块包括：通话对象数据库、系统数据库、任务管理模块、通信控制器子模块；
通话对象数据库，用于存储通话对象相关的数据；
系统数据库，用于存储通话记录及通话过程相关的其它数据；
任务管理模块，用于管理通话任务；
通信控制器模块，调度其它模块，获取或存入数据；控制通信系统实现批量通话；
此外通话控制模块还包括话术编辑器和话术数据库，话术编辑器用于话术制作人员制作和修改话术，话术数据库用于存储话术制作人员通过话术编辑器制作的话术。
通话控制模块的工作流程如下：
根据管理员的操作或者事先计划好的任务，通过任务管理模块加载任务清单；
从话术数据库检索出任务需要的、由话术制作人员事先制作好的话术；其中一个话术就代表一套完整的业务流程，包括其对话规则、所有可能的应答句子文本、对通话对象的意向评价的规则等对话和业务相关数据，如果使用录音师录音，则还包括录音音频；
从通话对象数据库中查询出所需数据，例如电话号码、姓名、性别等，以及其它和业务相关的数据比如欠款金额之类；
通过网络把话术和通话对象数据同步到后端处理模块；
控制通信终端接通（主动拨打或被动接听）通话对象；
等待通话结束，从后端处理模块接收通话记录存储到数据库；
根据需要，以上流程可以批量执行；也可以并发执行，前提是有多个通信终端和三方通话终端，同时后端处理模块支持并发任务。
此外三方通话终端还包括显示屏和按键子模块，显示屏可以显示人机协作呼叫机器人系统和通话对象的通话记录或其他通话相关信息，也可以使用触摸屏，同时实现按键功能，让用户通过触摸的方式输入控制指令；
三方通话终端还可以设置蓝牙等无线通信系统，用于和语音连接模块进行通信；
三方通话终端还可以设置音频电路，使得音频的输入输出能够直接以数字形式进行；
三方通话终端还可以设置功率放大模块，用于放大来自语音连接模块的声音信号；
三方通话终端还可以设置语音降噪模块，对收到的音频信号作降噪处理；
三方通话终端还可以设置AD/DA转换芯片，用于把接收到的通话对象的语音转成数字信号传输，把接收到的机器人语音转成模拟信号通过扬声器播放；
三方通话终端还可以设置控制接口，包括按钮、旋钮等，用于外部控制。
三方通话终端的运行过程为：
A1、连接三方通话终端和通信终端；
A2、连接三方通话终端和后端处理模块；
A3、开启会话并接通通话对象；
A4、通话对象语音通过通信终端、三方通话终端传输到后端处理模块；
A5、后端处理模块处理通话对象语音后生成机器人应答语音和文字；
A6、机器人应答语音通过三方通话终端、通信终端传输给通话对象；
A7、机器人应答文字传输到三方通话终端并显示；
A8、人工坐席通过三方通话终端随时跟踪通话过程，必要时可以转入人工接听，实现人机协作呼叫功能。
后端处理模块用于对三方通话终端发来的语音数据进行意图识别，并根据语音意图生成回复语音发回给三方通话终端。后端处理模块包括对话管理子模块、语音识别子模块、意图识别子模块、语音合成子模块、分词子模块、声音分离子模块、声纹识别、会话管理子模块；后端处理模块部署在云端服务器上，通过有线或无线网络与三方通话终端通信。
对话管理子模块用于控制对话的流程和逻辑，生成应答文本；
语音识别子模块用于识别接收到的通话对象语音并转化为文字；
意图识别子模块用于根据识别的语音文本识别出通话对象意图；
语音合成子模块用于将应答文本合成为语音并发送到三方通话终端。
后端处理模块的对话系统运行过程如下：
S1、通话控制模块通过通信终端接通（主动拨打或被动接听）通话对象的电话后，把根据业务逻辑编写的话术、通话对象的数据同步到后端处理模块的会话管理子模块和对话管理子模块；
S2、会话管理子模块开启一个新的会话；
S3、会话管理子模块向三方通话终端发送指令，使之进入接听模式；
S4、会话管理子模块向三方通话终端发送开场白/欢迎词的语音和文本；
S5、三方通话终端通过语音连接模块和通信系统把语音发送给通话对象，开启机器人和通话对象之间的通话；
S6、三方通话终端收到通话对象语音，通过网络发送到后端处理模块的语音识别子模块；
S7、语音识别子模块把通话对象语音转成文本，发送到意图识别子模块；
S8、意图识别子模块调用分词子模块先分词，再根据分词结果，结合话术识别出通话对象的意图，发送到对话管理子模块；
S9、可选地，意图识别也可以通过意图识别子模块直接由通话对象的语音得到；
S10、对话管理子模块根据话术内置的策略和规则，生成应答句子文本，发送到语音合成子模块；
S11、语音合成子模块把文本转换成机器人应答语音；可选地，机器人应答语音也可以事先由录音师录好，根据应答句子检索出来；
S12、把应答句子文本和语音一起发送到三方通话终端，由三方通话终端播放并通过语音连接模块和通信系统发送给通话对象；
S13、如此循环，直到对话结束；
S14、会话管理子模块关闭会话，把通话记录传输到通话控制模块，保存到系统数据库，供以后查询分析。
本发明的优点在于：把通信系统与人机协作呼叫机器人系统进行解耦，降低了系统的复杂性，使之易于部署，便于灵活切换，可以大幅度降低电话人机协作呼叫机器人系统的开发、部署和维护成本；为机器人提供了可移动性，三方通话终端可以方便地放置在各种场合，也可以为机器人提供一个直观、可触摸的实体，使之更具有亲和力；便捷的接入个人手机或者通话终端；提供蓝牙端、音频端口接入方式，应用范围广泛。
并延续了传统电话客服人机协作呼叫机器人系统功能：提供屏幕显示，可以方便的设置，调取通话记录和切换，使用更便捷；支持外放设备如头戴式耳机，随时进行通话跟踪以便人工坐席介入。
本发明可以用于实现人机协作呼叫电话机器人，步骤如下：
D1、把三方通话终端装置连接到通信终端设备，连接方式可为蓝牙或3.5mm音频接口；
D2、人工坐席接入三方通话终端，接入方式可为蓝牙或3.5mm音频接口；
D3、三方通话终端连接后端处理模块，连接方式可以为以太网、WIFI、4G或者5G；
D4、控制通信终端拨通或者接听通话对象的电话；
D5、会话管理子模块开启会话，向三方通话终端发送指令使它进入等待通话模式，同时把开场白语音/文字、通话对象相关数据等必要的数据发送给它；
D6、三方通话终端检测到电话接通信号，通过通信终端向通话对象发送开场白语音，在显示屏显示相关文字信息；
D7、三方通话终端接收到通话对象的语音，发送到后端处理模块；
D8、后端处理模块调用语音识别子模块把语音转换成文字，再通过意图识别子模块识别出通话对象的意图，经过对话管理模块判断决策后，生成机器人答复文字和语音。可选地，也可以通过意图识别子模块直接把通话对象的语音识别为通话对象的意图；
D9、机器人答复文字和语音经由联网子模块发送到三方通话终端；
D10、机器人答复语音经三方通话终端中的数据处理子模块处理后播放出来，同时通过通信终端发送给通话对象；
D12、答复文字经三方通话终端中的数据处理子模块处理后，以通话记录的形式显示在显示屏上；
D13、人工坐席可以通过第二语音接口收听机器人语音和通话对象的语音，或者通过观看屏幕文字，了解通话进程；
D14、在人工坐席认为必要的时候，按下三方通话终端上设置的介入按钮开始人工介入；
D15、三方通话终端内数据处理子模块器把会话转为人工介入模式（对通信系统本身没有任何影响），切断与后端处理模块的连接；
D16、人工坐席直接对着三方通话终端内的第二语音接口讲话，通过通信终端发送到通话对象，直接和通话对象对话，实现无缝切换。机器人语音和坐席语音已经通过语音合成子模块进行匹配，所以能够较好地模拟坐席的声音；
D17、人工坐席和通话对象的对话也可以通过后端处理模块的语音识别子模块识别成文字，显示在显示屏；
D18、关闭会话时，保存通话记录等相关数据到数据库。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种用于移动式人机协作呼叫机器人的三方通话终端，其特征是：包括：
第一语音接口，用于传输通话对象和后端处理模块的通话音频；通话对象指代的对象为与三方通话终端建立通话连接的用户终端的使用者；
CODEC1模块，用于通话对象和后端处理模块之间的通话语音音频编码、解码；
第二语音接口，用于传输人工坐席和通话对象的通话音频；
CODEC2模块，用于人工坐席和通话对象的通话语音音频编码、解码；
通话控制模块，用于处理控制信号，用于自动拨打、接听电话、挂断电话；
数据处理子模块，用于处理语音数据，与后端处理模块进行数据传递；
联网子模块，用于和后端处理模块连接。
2.根据权利要求1所述的一种用于移动式人机协作呼叫机器人的三方通话终端，其特征是：所述三方通话终端还包括显示屏，所述显示屏用于显示三方通话终端和通话对象的通话记录或通话相关信息。
3.根据权利要求1或2所述的一种用于移动式人机协作呼叫机器人的三方通话终端，其特征是：所述三方通话终端还包括按键子模块，所述按键子模块用于输入控制指令。
4.根据权利要求3所述的一种用于移动式人机协作呼叫机器人的三方通话终端，其特征是：所述后端处理模块用于对三方通话终端发来的语音数据进行处理并生成机器人应答语音和文字发回给三方通话终端。
5.根据权利要求1、2、4任一所述的一种用于移动式人机协作呼叫机器人的三方通话终端，其特征是：所述后端处理模包括对话管理子模块、语音识别子模块、意图识别子模块、语音合成子模块；
所述对话管理子模块用于控制对话的流程和逻辑，生成应答文本；
所述语音识别子模块用于识别接收到的通话对象语音并转化为文字；
所述意图识别子模块用于根据识别的语音文本识别出通话对象意图；
所述语音合成子模块用于将应答文本合成为语音并发送到三方通话终端。
CN202010669451.XA 2020-07-13 2020-07-13 一种用于移动式人机协作呼叫机器人的三方通话终端 Active CN111787169B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010669451.XA CN111787169B (zh) 2020-07-13 2020-07-13 一种用于移动式人机协作呼叫机器人的三方通话终端
PCT/CN2021/105295 WO2022012413A1 (zh) 2020-07-13 2021-07-08 一种用于移动式人机协作呼叫机器人的三方通话终端
EP21794449.5A EP3968619B1 (en) 2020-07-13 2021-07-08 Three-party call terminal for use in mobile man-machine collaborative calling robot
US17/612,673 US11516346B2 (en) 2020-07-13 2021-07-08 Three-way calling terminal for mobile human-machine coordination calling robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010669451.XA CN111787169B (zh) 2020-07-13 2020-07-13 一种用于移动式人机协作呼叫机器人的三方通话终端

Publications (2)

Publication Number Publication Date
CN111787169A CN111787169A (zh) 2020-10-16
CN111787169B true CN111787169B (zh) 2021-06-15

Family

ID=72768082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010669451.XA Active CN111787169B (zh) 2020-07-13 2020-07-13 一种用于移动式人机协作呼叫机器人的三方通话终端

Country Status (4)

Country Link
US (1) US11516346B2 (zh)
EP (1) EP3968619B1 (zh)
CN (1) CN111787169B (zh)
WO (1) WO2022012413A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787169B (zh) * 2020-07-13 2021-06-15 南京硅基智能科技有限公司 一种用于移动式人机协作呼叫机器人的三方通话终端
CN117544719A (zh) * 2023-11-09 2024-02-09 深圳市恩泰世科技有限公司 一种自动拨号系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145219A1 (en) * 2014-03-28 2015-10-01 Navaratnam Ratnakumar Systems for remote service of customers using virtual and physical mannequins
CN106550156A (zh) * 2017-01-23 2017-03-29 苏州咖啦魔哆信息技术有限公司 一种基于语音识别的人工智能客服系统及其实现方法
US10040201B2 (en) * 2015-08-31 2018-08-07 Avaya Inc. Service robot communication systems and system self-configuration
CN109819124A (zh) * 2019-01-23 2019-05-28 广州市聚星源科技有限公司 一种ivr智能服务及其实现方法
CN110191242A (zh) * 2019-05-21 2019-08-30 辽宁聆智科技有限公司 人工智能与人工客服相结合的基于电话网络的交互系统
CN110505354A (zh) * 2019-07-08 2019-11-26 中国平安人寿保险股份有限公司 基于人工智能的外呼方法、外呼装置、计算机设备及存储介质
CN111246031A (zh) * 2020-02-27 2020-06-05 大连即时智能科技有限公司 人机协同的电话客服方法及系统
CN111294471A (zh) * 2020-02-06 2020-06-16 广州市讯飞樽鸿信息技术有限公司 一种智能电话应答方法和系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
US5855003A (en) * 1996-10-11 1998-12-29 Motorola, Inc. Method and apparatus for establishing a link in a wireless communication system
US6690776B1 (en) * 1999-04-12 2004-02-10 Conexant Systems, Inc. Communication on hold notifier
US6704567B1 (en) * 2000-09-18 2004-03-09 International Business Machines Corporation Wireless communications device and method
US6690933B1 (en) * 2000-09-18 2004-02-10 International Business Machines Corporation Sharing of wirelines using a network node device
US7283519B2 (en) * 2001-04-13 2007-10-16 Esn, Llc Distributed edge switching system for voice-over-packet multiservice network
US7333798B2 (en) * 2002-08-08 2008-02-19 Value Added Communications, Inc. Telecommunication call management and monitoring system
US9432237B2 (en) * 2011-02-16 2016-08-30 Clearone, Inc. VOIP device, VOIP conferencing system, and related method
CN103971686B (zh) * 2013-01-30 2015-06-10 腾讯科技（深圳）有限公司 自动语音识别方法和系统
US9307084B1 (en) * 2013-04-11 2016-04-05 Noble Systems Corporation Protecting sensitive information provided by a party to a contact center
US9602571B2 (en) * 2013-10-29 2017-03-21 International Business Machines Corporation Codec selection and usage for improved VoIP call quality
KR102306624B1 (ko) * 2016-03-31 2021-09-28 엔티티 디스럽션 유에스 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
US9876909B1 (en) * 2016-07-01 2018-01-23 At&T Intellectual Property I, L.P. System and method for analytics with automated whisper mode
US20180020093A1 (en) 2016-07-15 2018-01-18 Circle River, Inc. Automated call answering based on artificial intelligence
US20180240162A1 (en) * 2017-02-22 2018-08-23 Koopid, Inc. Conversational commerce platform
US10850395B2 (en) * 2017-05-19 2020-12-01 Stc.Unm System and methods for multiple-place swarm foraging with dynamic depots
US9930088B1 (en) * 2017-06-22 2018-03-27 Global Tel*Link Corporation Utilizing VoIP codec negotiation during a controlled environment call
US10694038B2 (en) * 2017-06-23 2020-06-23 Replicant Solutions, Inc. System and method for managing calls of an automated call management system
US10645228B2 (en) * 2017-06-26 2020-05-05 Apple Inc. Adaptability in EVS codec to improve power efficiency
KR102338618B1 (ko) * 2017-07-25 2021-12-10 삼성에스디에스 주식회사 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법
DK179822B1 (da) * 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10791222B2 (en) * 2018-06-21 2020-09-29 Wells Fargo Bank, N.A. Voice captcha and real-time monitoring for contact centers
CN108965620A (zh) 2018-08-24 2018-12-07 杭州数心网络科技有限公司 一种人工智能呼叫中心系统
US11196863B2 (en) * 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
CN111326141A (zh) * 2018-12-13 2020-06-23 南京硅基智能科技有限公司 一种处理获取人声数据的方法
US11012559B2 (en) * 2019-02-14 2021-05-18 Rochester Institute Of Technology Method and system to enhance communication between multiple parties
CN110035187A (zh) * 2019-04-16 2019-07-19 浙江百应科技有限公司 一种在电话中实现ai和人工坐席无缝切换的方法
CN110166643A (zh) 2019-06-18 2019-08-23 深圳市一号互联科技有限公司 人机耦合的坐席控制方法、系统及语音机器人
US11587561B2 (en) * 2019-10-25 2023-02-21 Mary Lee Weir Communication system and method of extracting emotion data during translations
CN111787169B (zh) 2020-07-13 2021-06-15 南京硅基智能科技有限公司 一种用于移动式人机协作呼叫机器人的三方通话终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145219A1 (en) * 2014-03-28 2015-10-01 Navaratnam Ratnakumar Systems for remote service of customers using virtual and physical mannequins
US10040201B2 (en) * 2015-08-31 2018-08-07 Avaya Inc. Service robot communication systems and system self-configuration
CN106550156A (zh) * 2017-01-23 2017-03-29 苏州咖啦魔哆信息技术有限公司 一种基于语音识别的人工智能客服系统及其实现方法
CN109819124A (zh) * 2019-01-23 2019-05-28 广州市聚星源科技有限公司 一种ivr智能服务及其实现方法
CN110191242A (zh) * 2019-05-21 2019-08-30 辽宁聆智科技有限公司 人工智能与人工客服相结合的基于电话网络的交互系统
CN110505354A (zh) * 2019-07-08 2019-11-26 中国平安人寿保险股份有限公司 基于人工智能的外呼方法、外呼装置、计算机设备及存储介质
CN111294471A (zh) * 2020-02-06 2020-06-16 广州市讯飞樽鸿信息技术有限公司 一种智能电话应答方法和系统
CN111246031A (zh) * 2020-02-27 2020-06-05 大连即时智能科技有限公司 人机协同的电话客服方法及系统

Also Published As

Publication number Publication date
EP3968619B1 (en) 2024-09-04
WO2022012413A1 (zh) 2022-01-20
EP3968619A1 (en) 2022-03-16
CN111787169A (zh) 2020-10-16
US11516346B2 (en) 2022-11-29
US20220210275A1 (en) 2022-06-30
EP3968619A4 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
JP3651508B2 (ja) 情報処理装置および情報処理方法
CN107134286A (zh) 基于语音交互的无线音频播放方法、音乐播放器及存储介质
CN103973877A (zh) 一种在移动终端中利用文字实现实时通话的方法和装置
CN110072006A (zh) 智能终端的应答方法及智能终端
CN107613132A (zh) 语音接听方法与移动终端装置
CN107274897A (zh) 语音操控方法与移动终端装置
JP2008099330A (ja) 情報処理装置、携帯電話機
CN111787169B (zh) 一种用于移动式人机协作呼叫机器人的三方通话终端
CN111263014A (zh) 用于聊天机器人与人类通话的可编程智能代理机
CN101510917B (zh) 一种移动终端无声通话的方法
CN101534489A (zh) 一种带有无声接听模式的移动终端及其处理方法
CN101193378A (zh) 一种实现无干扰通话的方法及移动终端
CN113194203A (zh) 一种用于听障人士的沟通系统、接听拨打方法及通讯系统
CN111835923B (zh) 一种基于人工智能的移动式语音交互对话系统
CN110473550A (zh) 语音通信方法、装置及存储介质
CN101415257A (zh) 一种人机对话聊天方法
CN111775165A (zh) 一种实现移动式智能客服机器人的系统、机器人终端以及后端处理模块
CN108259653B (zh) 一种语音测试方法及装置、系统
CN101136954B (zh) 一种全球呼电话及其控制装置和方法
CN113783771A (zh) 一种基于微信的ai虚拟人交互方法和系统
CN117544727A (zh) 一种家用智能音箱内置话机系统及实现方法
CN101197863A (zh) 虚拟来电的方法及移动通信装置
CN203278970U (zh) 一种支持跨网络通信的无线会议耦合器
CN110534084A (zh) 一种基于FreeSWITCH的智能语音控制方法及系统
CN105306656B (zh) 呼叫留言方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: SiMa Huapeng

Inventor after: Chen Liping

Inventor before: SiMa Huapeng

CB03 Change of inventor or designer information