CN115086257B - 一种人机客服互动方法、装置、终端设备和存储介质 - Google Patents
一种人机客服互动方法、装置、终端设备和存储介质 Download PDFInfo
- Publication number
- CN115086257B CN115086257B CN202210688657.6A CN202210688657A CN115086257B CN 115086257 B CN115086257 B CN 115086257B CN 202210688657 A CN202210688657 A CN 202210688657A CN 115086257 B CN115086257 B CN 115086257B
- Authority
- CN
- China
- Prior art keywords
- customer service
- text data
- service robot
- user
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008451 emotion Effects 0.000 claims description 41
- 230000009471 action Effects 0.000 claims description 40
- 230000014509 gene expression Effects 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 28
- 238000005516 engineering process Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供了一种人机客服互动方法、装置、终端设备和存储介质，该人机客服互动方法包括在进入虚拟场景后，显示人机互动界面，所述人机互动界面中展示有虚拟客服机器人，接收用户的语音，基于语音确定对应的应答文本，基于应答文本生成语音信息，并通过虚拟客服机器人对语音信息进行播报。本申请可以让用户完全沉浸于虚拟世界中，与虚拟客服机器人更好进行对话和互动，不仅可以让用户感觉到更有趣，从而间接增加用户的粘性，还可以增强用户使用体验。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种人机客服互动方法、装置、终端设备和存储介质。
背景技术
目前行业内，AI客服系统已经成为大公司必备的系统。但是业内的这些客服系统，都是2D系统，只能实现简单的问答功能，用户无法与客服机器人有更深入的交互。用户无法实现与机器人握手、用手打招呼、面对面互动等各种各样的沉浸式的交互。当用户与客服机器人互动的时候，会比较生硬，无法像和真人一样那样互动，不管是通过电话和客服机器人互动，还是通过app和客服机器人互动，还是通过和web版的客服机器人互动，都无法实现像现实世界那样沉浸式的用户体验。此外客服机器人回复的答案，并不总能让用户满意，用户不满意就可能会让用户产生情绪，而常规客服机器人无法改善用户情绪。
发明内容
第一方面，本发明提供一种人机客服互动方法，所述方法包括：
在进入虚拟场景后，显示人机互动界面，所述人机互动界面中展示有虚拟客服机器人；
接收所述用户的语音；
基于所述语音确定对应的应答文本；
基于所述应答文本生成语音信息，并通过所述虚拟客服机器人对所述语音信息进行播报。
在可选的实施方式中，所述基于所述语音确定对应的应答文本包括：
基于预设的语音识别技术对所述语音进行处理，得到文字数据；
根据所述文字数据查找预设问题库中与所述文字数据契合的问题，并确定所述问题对应的预设答案为应答文本。
在可选的实施方式中，所述得到文字数据之后还包括；
判断所述文字数据中是否具有情绪关键词；
若所述文字数据中具有一个所述情绪关键词，则查询预设的动作表情库确定以所述情绪关键词对应的动作和表情，并通过所述虚拟客服机器人对所述动作和所述表情进行展示；
若所述文字数据中不具有所述情绪关键词，则控制所述虚拟客服机器人保持默认状态。
在可选的实施方式中，所述方法还包括：
若所述文字数据中具有多个所述情绪关键词，则基于所述动作表情库确定每个所述情绪关键词对应的动作和表情，并通过所述虚拟客服机器人对所述动作和所述表情进行依次展示。
在可选的实施方式中，所述人机互动界面中还展示有至少一个信息面板；
将所述文字数据和所述应答文本在所述信息面板进行实时展示。
在可选的实施方式中，所述方法还包括；
通过socket.io技术将所述文字数据和所述应答文本发送至后台，以实现人工客服干预。
在可选的实施方式中，所述显示人机互动界面之后，还包括：
在检测到所述用户向所述虚拟客服机器人方向移动时，控制所述虚拟客服机器人做出动作反应。
第二方面，本发明提供一种人机客服互动装置，所述装置包括：
显示模块，在进入虚拟场景后，显示人机互动界面，所述人机互动界面中展示有虚拟客服机器人；
获取模块，用于接收用户的语音；
处理模块，用于基于所述语音确定对应的应答文本；
输出模块，用于基于所述应答文本生成语音信息，并通过所述虚拟客服机器人对所述语音信息进行播报。
第三方面，本发明提供一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的人机客服互动方法。
第四方面，本发明提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的人机客服互动方法。
本申请的实施例具有如下有益效果：
本申请实施例公开了一种人机客服互动方法、装置、终端设备和存储介质，该人机客服互动方法包括在进入虚拟场景后，显示人机互动界面，所述人机互动界面中展示有虚拟客服机器人，接收用户的语音，基于语音确定对应的应答文本，基于应答文本生成语音信息，并通过虚拟客服机器人对语音信息进行播报。本申请可以让用户完全沉浸于虚拟世界中，与虚拟客服机器人更好进行对话和互动，不仅可以让用户感觉到更有趣，从而间接增加用户的粘性，还可以增强用户使用体验。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提出的一种人机客服互动方法的流程示意图；
图2示出了本申请实施例提出的一种人机客服互动方法中人机互动界面的示意图；
图3示出了本申请实施例提出的一种人机客服互动方法中确定应答文本的流程示意图；
图4示出了本申请实施例提出的一种人机客服互动方法中判断情绪关键词的流程示意图；
图5示出了本申请实施例提出的另一种人机客服互动方法中的流程示意图；
图6示出了示出了本申请实施例提出的一种人机客服互动装置的结构示意图。
主要元件符号说明：
10-人机客服互动装置；11-显示模块；12-获取模块；13-处理模块；14-输出模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
实施例1
本发明的实施例提供一种人机客服互动方法，如图1所示，包括：
S100：在进入虚拟场景后，显示人机互动界面，人机互动界面中展示有虚拟客服机器人。
可以理解的是，如图2所示，利用虚拟现实技术在Unity3D平台上搭建虚拟的3D房间，以提供一个人机互动界面，其中该人机互动界面展示有可进行人机交互的3D虚拟客服机器人。此外，人机互动界面中还展示有至少一个信息面板，该信息面板上可以对用户常见问题进行举例展示，用户可以根据信息面板提示进行提问，以使用户提问更加准确，以便获取用户所需答案；信息面板上还可以对故障信息等内容进行提示，以使用户更加了解虚拟客服机器人的状况。
示范性的，用户戴上VR眼镜后，打开上述的人机互动界面后，用户将会进入一个3D虚拟场景，换言之，用户将进入3D沉浸式人机互动场景，之后用户可以开始讲话，从而实现与虚拟客服机器人的互动。
S200：获取用户的语音。
在用户说话完毕后，用户将停顿一定的时间，在此时，将获取用户说话的语音。
S300：基于语音确定对应的应答文本。
在获取用户的语音后，将通过语音确定该语音对应的答案，即虚拟客服机器人将回复的用户的应答文本。如图3所示，步骤S300包括子步骤S310～S330：
子步骤S310：基于预设的语音识别技术对语音进行处理，得到文字数据。
在本实施例中，获取语音后，基于语音识别引擎通过预设的语音识别技术对获取的语音进行处理，即将语音转换成文字数据。其中，预设的语音识别技术可以为动态时间规整(DTW)、隐马尔科夫模型(HMM)理论和矢量量化(VQ)技术等方法。
子步骤S320：根据文字数据查找预设问题库中与文字数据契合的问题，并确定问题对应的预设答案为应答文本。
确定语音对应的文字数据后，根据人工智能技术调用虚拟客服机器人的接口，并将获取的文字数据发送至该接口。在通过虚拟客服机器人的接口获取到文字数据后，根据文字数据在预设的问题库中查找与该文字数据契合的问题，即与文字数据最接近的问题。在确定问题后，可以确定该问题对应的预设答案，而该答案则为虚拟客服机器人回应用户的应答文本。其中，预设的问题库中包括用户常见的多个问题以及每个问题对应的预设答案。
在本实施例中，在确定文字数据和对应该文字数据的虚拟客服机器人的应答文本后，将把用户与虚拟客服机器人之间进行对话的文字数据和应答文本在信息面板上进行显示，以使用户更加清楚的了解到虚拟客服机器人所回答的应答文本，避免用户误听造成误会。
子步骤S330：通过socket.io技术将文字数据和应答文本发送至后台，以实现人工客服干预。
在用户与虚拟客服机器人之间进行实时互动时，在确定文字数据和应答文本后，将通过socket.io技术将用户语音数据对应的文字数据和虚拟客服机器人所答复的应答文本内容发送至后台，即发送至人工客服所使用的后台电脑里进行数据处理和分析，当人工客服需要对用户与虚拟客服机器人之间互动进行干预时，人工客服将对文字数据进行回答，将人工客服输入的回答转换为语音信息，并通过虚拟客服机器人进行播报。以使人工客服可以根据接收的文字数据和应答文本进行针对性的干预，从而帮助用户更好的解决问题。其中，socket.io是一个WebSocket库，包括了客户端的js和服务端的nodejs，它的目标是构建可以在不同浏览器和移动设备上使用的实时应用，他会自动根据浏览器从WebSocket、AJAX长轮询、iframe流等方式中选择最佳的方式来实现网络实时应用。
示范性的，当用户提出一个问题时，在预设的问题库无法查找到与该问题契合的问题，此时虚拟客服机器人将无法回答用户提出的问题，或是无法准确的回答用户提出的问题，将可能使用户的体验感不好。此时人工客服后台在获取到该互动内容时，可以及时的进行干预，例如，人工客服将回复正确的答案并通过虚拟客服机器人将答案转换为语音信息，以完成与用户的互动，从而可以提高用户体验。
如图4所示，步骤S300还包括子步骤S340～S380，具体内容如下：
子步骤S340：判断文字数据中是否具有情绪关键词，若是，则执行子步骤S350，若否，则执行子步骤S370。
当用户与虚拟客服机器人进行互动时，在获取用户的文字数据后，将通过关键字检测技术对该文字数据进行判断，确定文字数据中是否具有情绪关键字。若文字数据中存在情绪关键词，则将执行子步骤S350，若文字数据中不存在情绪关键词，则将执行子步骤S370。其中，关键字检测技术是语音识别领域的一个子领域，其目的是在语音信号中检测指定词语的所有出现位置。
子步骤S350：判断文字数据中是否只具有一个情绪关键词，若是，则执行子步骤S360，若否，则执行子步骤S380。
在确定文字数据中存情绪关键词后，将再对文字数据中情绪关键词的个数进行确定。当文字数据中只具有一个情绪关键词时，将执行子步骤S350，当文字数据中只具有多个情绪关键词时，将执行子步骤S370。
子步骤S360：查询预设的动作表情库确定以情绪关键词对应的动作和表情，并通过虚拟客服机器人对动作和表情进行展示。
当获取的用户一段的文字数据中仅包括一个情绪关键词时，将从预设的动作表情库中查找该情绪关键词对应的虚拟客服机器人的动作和表情，虚拟客服机器人将根据确定的动作和表情做出对应的动作和表情给客户。其中，预设的动作表情库包括预先设置的多个情绪关键词以及每个情绪关键词所对应的虚拟客服机器人的动作和表情。
子步骤S370：控制虚拟客服机器人保持默认状态。
当文字数据中不存在情绪关键词时，则虚拟客服机器人将继续保持默认状态，即虚拟客服机器人将不做出任何表情或动作，仅保持初始状态与用户继续进行对话。
子步骤S380：基于动作表情库确定每个情绪关键词对应的动作和表情，并通过虚拟客服机器人对动作和表情进行依次展示。
当文字数据中存在多个情绪关键词时，将获取多个情绪关键词，并在预设的动作表情库中查询每个情绪关键词对应的虚拟客服机器人的动作和表情，在确定每个情绪关键词对应的动作和表情后，虚拟客服机器人将根据文字数据中每个情绪关键词的顺序对动作和表情进行依次展示。
本实施例中通过对用户情绪的判断，从而使虚拟客服机器人做出反应，例如一个微笑或一个有趣的动作，可以使整个人机互动的过程更加有灵性、更加生动、以及更有温度。从2D世界转换到3D世界，使用户沉浸于一个3D人机对话中，从而可以给用户带来沉浸式的不同用户体验。
S400：基于应答文本生成语音信息，并通过虚拟客服机器人对语音信息进行播报。
在获取到用户语音数据对应的合适应答文本后，将通过预设的语音合成技术将应答文本实时的转换为对应的语音信息，而后通过虚拟客服机器人对该语音信息进行播报，从而实现用户与虚拟客服机器人之间的实时互动。其中，语音合成技术又称文语转换(Textto Speech)技术，能将任意文字信息实时转化为标准流畅的语音朗读出来，相当于给机器装上了人工嘴巴，例如波形拼接的合成方法。
本申请可以让用户完全沉浸于虚拟世界中，与虚拟客服机器人更好进行对话和互动，不仅可以让用户感觉到更有趣，从而间接增加用户的粘性，还可以增强用户使用体验。
实施例2
如图5所示，在一种实施方式中，在进入虚拟场景后，显示人机互动界面之后，还包括以下步骤：
S600：在检测到用户向虚拟客服机器人方向移动时，控制虚拟客服机器人做出动作反应。
在本实施例中，当检测到用户向虚拟客服机器人方向移动时，将控制虚拟客服机器人做出相应的动作反应，从而可以提高用户体验。其中，虚拟客服机器人做出的动作反应可以为跳舞、展示握手姿势、以及与用户打招呼等。
示范性的，当虚拟客服机器人在人机互动界面的正中间时，即在用户的正前方时，若检测到用户向正前方进行移动，则虚拟客服机器人将主动伸出手，展示出握手姿势。
实施例3
基于上述实施例的人机客服互动方法，图6示出了本申请实施例提供的人机客服互动装置10的结构示意图。该人机客服互动装置10包括：
显示模块11，在检测到用户进入虚拟房间后，显示人机互动界面，所述人机互动界面中展示有虚拟客服机器人。
获取模块12，用于获取用户的语音。
处理模块13，用于基于所述语音确定对应的应答文本。
输出模块14，用于基于所述应答文本生成语音信息，并通过所述虚拟客服机器人对所述语音信息进行播报。
可以理解，本实施例中的各模块的功能对应于上述实施例中的相应方法步骤，上述实施例的可选项同样适用于本实施例，故在此不再重复描述。
此外，本申请还提出一种终端设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行上述实施例的人机客服互动方法。
本实施例还提供了一种可读存储介质，其存储有计算机程序，计算机程序在处理器上运行时执行上述实施例的人机客服互动方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种人机客服互动方法，其特征在于，所述方法包括：
在进入虚拟场景后，显示人机互动界面，所述人机互动界面中展示有虚拟客服机器人；其中，在检测到用户向所述虚拟客服机器人方向移动时，控制所述虚拟客服机器人做出动作反应；
接收所述用户的语音；
基于预设的语音识别技术对所述语音进行处理，得到文字数据；其中，判断所述文字数据中是否具有情绪关键词；若所述文字数据中具有一个所述情绪关键词，则查询预设的动作表情库确定以所述情绪关键词对应的动作和表情，并通过所述虚拟客服机器人对所述动作和所述表情进行展示；若所述文字数据中不具有所述情绪关键词，则控制所述虚拟客服机器人保持默认状态；若所述文字数据中具有多个所述情绪关键词，则基于所述动作表情库确定每个所述情绪关键词对应的动作和表情，并通过所述虚拟客服机器人对所述动作和所述表情进行依次展示；
根据所述文字数据查找预设问题库中与所述文字数据契合的问题，并确定所述问题对应的预设答案为应答文本；
基于所述应答文本生成语音信息，并通过所述虚拟客服机器人对所述语音信息进行播报。
2.根据权利要求1所述的人机客服互动方法，其特征在于，所述人机互动界面中还展示有至少一个信息面板；
将所述文字数据和所述应答文本在所述信息面板进行实时展示。
3.根据权利要求1所述的人机客服互动方法，其特征在于，所述方法还包括；
通过socket.io技术将所述文字数据和所述应答文本发送至后台，以实现人工客服干预。
4.一种人机客服互动装置，其特征在于，所述装置包括：
显示模块，在检测到用户进入虚拟房间后，显示人机互动界面，所述人机互动界面中展示有虚拟客服机器人；其中，在检测到所述用户向所述虚拟客服机器人方向移动时，控制所述虚拟客服机器人做出动作反应；
获取模块，用于获取用户的语音；
处理模块，用于基于预设的语音识别技术对所述语音进行处理，得到文字数据；其中，判断所述文字数据中是否具有情绪关键词；若所述文字数据中具有一个所述情绪关键词，则查询预设的动作表情库确定以所述情绪关键词对应的动作和表情，并通过所述虚拟客服机器人对所述动作和所述表情进行展示；若所述文字数据中不具有所述情绪关键词，则控制所述虚拟客服机器人保持默认状态；若所述文字数据中具有多个所述情绪关键词，则基于所述动作表情库确定每个所述情绪关键词对应的动作和表情，并通过所述虚拟客服机器人对所述动作和所述表情进行依次展示；根据所述文字数据查找预设问题库中与所述文字数据契合的问题，并确定所述问题对应的预设答案为应答文本；
输出模块，用于基于所述应答文本生成语音信息，并通过所述虚拟客服机器人对所述语音信息进行播报。
5.一种终端设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至3任一项所述的人机客服互动方法。
6.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至3任一项所述的人机客服互动方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210688657.6A CN115086257B (zh) | 2022-06-16 | 2022-06-16 | 一种人机客服互动方法、装置、终端设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210688657.6A CN115086257B (zh) | 2022-06-16 | 2022-06-16 | 一种人机客服互动方法、装置、终端设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115086257A CN115086257A (zh) | 2022-09-20 |
| CN115086257B true CN115086257B (zh) | 2023-07-14 |
Family
ID=83253774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210688657.6A Active CN115086257B (zh) | 2022-06-16 | 2022-06-16 | 一种人机客服互动方法、装置、终端设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115086257B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111294468A (zh) * | 2020-02-07 | 2020-06-16 | 普强时代(珠海横琴)信息技术有限公司 | 一种客服中心呼叫用语音质检分析系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019523714A (ja) * | 2016-04-26 | 2019-08-29 | タキオン ロボティクス コーポレーション | 多重相互作用人格ロボット |
| CN110427472A (zh) * | 2019-08-02 | 2019-11-08 | 深圳追一科技有限公司 | 智能客服匹配的方法、装置、终端设备及存储介质 |
| CN110647636B (zh) * | 2019-09-05 | 2021-03-19 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
| CN110807388B (zh) * | 2019-10-25 | 2021-06-08 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
| CN111488433B (zh) * | 2020-06-28 | 2021-04-23 | 南京银行股份有限公司 | 一种适用于银行的提升现场体验感的人工智能交互系统 |
| CN113157371A (zh) * | 2021-04-26 | 2021-07-23 | 平安科技（深圳）有限公司 | 人工客服切换方法、装置、存储介质和计算机设备 |
-
2022
- 2022-06-16 CN CN202210688657.6A patent/CN115086257B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111294468A (zh) * | 2020-02-07 | 2020-06-16 | 普强时代(珠海横琴)信息技术有限公司 | 一种客服中心呼叫用语音质检分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115086257A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455549B2 (en) | Modeling characters that interact with users as part of a character-as-a-service implementation | |
| CN112162628A (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| US11183187B2 (en) | Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog | |
| CN107818798A (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
| CN112099628A (zh) | 基于人工智能的vr互动方法、装置、计算机设备及介质 | |
| CN112100352A (zh) | 与虚拟对象的对话方法、装置、客户端及存储介质 | |
| CN110808034A (zh) | 语音转换方法、装置、存储介质及电子设备 | |
| CN111290682A (zh) | 交互方法、装置及计算机设备 | |
| CN111290568A (zh) | 交互方法、装置及计算机设备 | |
| CN104488027A (zh) | 声音处理系统以及终端装置 | |
| CN107403011B (zh) | 虚拟现实环境语言学习实现方法和自动录音控制方法 | |
| CN111027425A (zh) | 一种智能化表情合成反馈交互系统及方法 | |
| WO2022170848A1 (zh) | 人机交互方法、装置、系统、电子设备以及计算机介质 | |
| KR101998482B1 (ko) | 가상현실 기반의 의사소통 훈련 및 모바일 장치를 이용한 지속적인 피드백 시스템 및 방법 | |
| CN111291151A (zh) | 交互方法、装置及计算机设备 | |
| EP3627304A1 (en) | Interactive responding method and computer system using the same | |
| CN110767005A (zh) | 基于儿童专用智能设备的数据处理方法及系统 | |
| CN115982400A (zh) | 基于多模态的情绪图像的生成方法和服务器 | |
| CN113850898A (zh) | 场景渲染方法及装置、存储介质及电子设备 | |
| CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
| CN115086257B (zh) | 一种人机客服互动方法、装置、终端设备和存储介质 | |
| CN116737883A (zh) | 人机交互方法、装置、设备及存储介质 | |
| CN113314096A (zh) | 语音合成方法、装置、设备和存储介质 | |
| CN114201596A (zh) | 虚拟数字人使用方法、电子设备和存储介质 | |
| CN110718119A (zh) | 基于儿童专用穿戴智能设备的教育能力支持方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |