CN109101663A - 一种基于互联网的机器人对话系统 - Google Patents

Abstract

本发明公开了一种基于互联网的机器人对话系统。这种基于互联网的机器人对话系统功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。

Description

一种基于互联网的机器人对话系统

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于互联网的机器人对话系统。

背景技术

在现有的人工智能对话系统中，利用语料库以及模板来判断用户讲话，对话系统通常使用搜索的方式来寻找合适的回答。但是，并没有使用用户的情感当作线索来调整回答策略，除了考量用户情绪外，机器人也应该基于自身的情绪来选择回应的策略。在人与人的自然对话上，情感是一个重要因素，人类会根据对方所表达的情感和自身现有的情感来调整自己的回答策略，达到沟通的效果。

虽然人类在智能化领域已经获得了重大的突破，但是至今为止几乎所有的人工智能系统都没有能够拥有识别人类情绪的能力从而使得自身变得更加人性化。比如现在各大手机厂商所宣传的手机语音交互功能，其实都只能做到以完成任务为目的的交流。用户在手机智能助手交流的过程中都仍然会保有一种和机器对话的感觉。

现有的人工智能情感识别技术多专注于图像识别，而图像识别由于硬件的要求较高以及人类面部表情本身的多变性和快速性，使得图像识别技术依旧很难在日常生活中被广泛的应用。而由于语言本身是具有一定的语法结构，并且语言情感识别对硬件要求相对较小，语言情感识别是更具有应用性的一种识别方式。

语言情感识别目前已知的技术多局限于单一维度的情感判断既正向情感和负向情感。对于人类复杂情绪的判断，比如愉快、紧张、害羞还缺乏有效的判断方式。

发明内容

本发明的目的是提供一种能够及时的更新交互功能，以增强与用户的交互体验，可以准确的识别用户的语音信息和表情信息，通过内在的语料库可以对用户进行反馈，从而达到情感陪护的目的的基于互联网的机器人对话系统。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于互联网的机器人对话系统，包括设备终端和云平台，所述云平台用于提供数据存储、大数据分析、视频存储、音频存储及后台服务；通过云平台，用户随时控制查看设备终端的状态，并能与设备终端进行语音、视频通话，使用户随时随地利用该系统疏导自己的情绪；所述设备终端包括控制模块、环境传感器模块、情绪模块、电源模块、摄像模块、音响模块及显示器模块：

所述控制模块，用于通过所述环境传感器模块及所述情绪模块采集环境信息和/或用户的情绪信息，对采集到的环境信息和/或用户的情绪信息进行结构化预处理，并将结构化预处理后的信息传送到云平台；

所述电源模块，与所述控制模块信号连接，用于为所述控制模块提供能量；

所述摄像模块，与所述控制模块信号连接，用于依据人眼成像的原理采集用户的人脸图像信息，并将该头像信息传送到所述控制模块；

所述音响模块，与所述控制模块信号连接，用于采集用户的声音信息，并将该声音信息传送到所述控制模块；

所述显示器模块，与所述控制模块信号连接，用于在该提取的关键字是采集情绪信息的指令时显示与该关键字对应的提示信息。

上述的基于互联网的机器人对话系统，所述环境传感器模块包括用于采集环境信息的体温传感器、血糖传感器、心跳传感器或血压传感器。

上述的基于互联网的机器人对话系统，情绪模块用于根据所述人脸图像信息、所述声音信息和所述文字信息，对情绪进行判别， 确定情绪向量。

上述的基于互联网的机器人对话系统，所述人脸图像信息包括笑、忧伤、愤怒、吃惊、无表情。

上述的基于互联网的机器人对话系统，所述控制模块还用于根据用户的表情信息控制所述显示器模块和所述音响模块执行对应的操作。

上述的基于互联网的机器人对话系统，所述设备终端还包括无线通信模块，用于实现信息采集和用户情感识别设备与云平台之间的交互。

上述的基于互联网的机器人对话系统，还包括反馈模块，用于根据回话策略，分析所述情绪向量、所述人脸图像信息和所述文字信息，输出回馈文字。

上述的基于互联网的机器人对话系统，所述音响模块包括：

ASR模块，用于将所述声音信息转换为文字信息；

TTS模块，用于将所述回馈文字转换为语音信息。

综上所述，本发明具有以下有益效果：这种基于互联网的机器人对话系统功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。

附图说明

图1为本发明的一种基于互联网的机器人对话系统的结构示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

参阅图1，一种基于互联网的机器人对话系统，包括设备终端1和云平台2，所述云平台2用于提供数据存储、大数据分析、视频存储、音频存储及后台服务；通过云平台2，用户随时控制查看设备终端1的状态，并能与设备终端1进行语音、视频通话，使用户随时随地利用该系统疏导自己的情绪；所述云平台主要包括服务器、数据库及相关服务，所述服务器包括有视频服务器和音频服务器，所述设备终端1包括控制模块11、环境传感器模块12、情绪模块13、电源模块14、摄像模块15、音响模块16及显示器模块17：

所述控制模块11，用于通过所述环境传感器模块12及所述情绪模块13采集环境信息和/或用户的情绪信息，对采集到的环境信息和/或用户的情绪信息进行结构化预处理，并将结构化预处理后的信息传送到云平台2，具体而言，结构化预处理是将环境信息和/或用户的情绪信息转换成XML格式；

所述电源模块14，与所述控制模块11信号连接，用于为所述控制模块11提供能量；

所述摄像模块15，与所述控制模块11信号连接，用于依据人眼成像的原理采集用户的人脸图像信息，并将该头像信息传送到所述控制模块11，控制模块11用于对摄像模块15采集的头像信息进行处理，以得到深度信息以及用户的彩色图像，对采集到的深度信息和彩色图像进行去冗余处理，以准确地识别出用户的面部状态，并将用户的面部状态与控制模块11中存储的表情库进行匹配，以确定用户的表情信息；

所述音响模块16，与所述控制模块11信号连接，用于采集用户的声音信息，并将该声音信息传送到所述控制模块11，控制模块11用于将该声音信息识别为文字，对文字进行关键字提取，在该提取的关键字是采集健康信息的指令时控制显示模块17显示与该关键字对应的提示信息，以告知用户使用健康传感器执行相应的采集健康信息操作，并在采集结束后显示采集到的结果，在该提取的关键字不是采集健康信息的指令时根据提取的关键字控制网卡从远端的云平台获取对应的内容，并控制显示模块17将该内容显示给用户；

所述显示器模块17，与所述控制模块11信号连接，用于在该提取的关键字是采集情绪信息的指令时显示与该关键字对应的提示信息。

其中基于互联网的机器人对话系统设置于用户家中，且通过云平台与远程客户端通信连接，用于将采集的数据传送到远程客户端，云平台为后台服务器，用于存储与处理家用信息采集和用户情感识别设备采集的数据，远程客户端为诸如手机、笔记本电脑、PDA 的移动终端，可用于远程控制多功能家用信息采集和用户情感识别设备和/ 或查看家用信息采集和用户情感识别设备提供的传感信息。

进一步地，本发明一种基于互联网的机器人对话系统的较佳的实施例中，所述环境传感器模块12包括用于采集环境信息的体温传感器、血糖传感器、心跳传感器或血压传感器。

进一步地，本发明一种基于互联网的机器人对话系统的较佳的实施例中，情绪模块13用于根据所述人脸图像信息、所述声音信息和所述文字信息，对情绪进行判别，确定情绪向量。为了进一步提高本实施例基于多模态情绪与脸部属性识别的人机交互方法的准确性，在确定情绪向量时，根据人脸图像、声音信息和文字信息，对情绪进行判别，确定情绪向量，具体采用的算法为机器/深度学习算法，即根据人脸图像、声音信息和文字信息，采用机器/深度学习算法，对情绪进行判别，确定情绪向量，其中，情绪向量为四个。

具体地，本发明实施例基于互联网的机器人对话系统提供九种情绪的机率预测向量输出，但情绪识别种类不限于本发明实施例基于多模态情绪与脸部属性识别 的人机交互方法所提的九种。另外，亦根据三个模态的模型输出的向量特征做融合，以达到 综合多模态情感的预测。因此在本发明实施例基于多模态情绪与脸部属性识别的人机交互 方法中，我们一共有四个输出的情绪向量。

具体地，本发明实施例基于互联网的机器人对话系统还具备错字校正检验的功能，将声音信息转换为文字信息之后，根据人脸图像、声音信息和文字信息，对情绪进行判别之前，该方法还能够校正检验文字信息，维持输出信号的准确性，以提 高情绪判断和对话回馈的预测效果。

根据人脸图像、声音信息和文字信息，对情绪进行判别，确定情绪向量时，具体实现过程为：根据人脸图像、声音信息和校正检验后的文字信息，对情绪进行判别，确定情绪向量。

根据回话策略，分析情绪向量、人脸属性特征和文字信息，输出回馈文字时，具体实现过程为：根据回话策略，分析情绪向量、人脸属性特征和校正检验后的文字信息，输出回馈文字。

具体地，本发明实施例基于互联网的机器人对话系统能够结合用户体验数据，输出回馈文字，例如，根据情绪向量、人脸属性特征与文字信息，并根据特定场景下预先搜集的用户体验数据与统计，归纳分析选择语料库中适切的回话内容输出，具体实现过程如下：

输出回馈文字之前，该方法还包括：搜索用户的用户体验数据。

根据回话策略，分析情绪向量、人脸属性特征和文字信息，输出回馈文字时，具体实现过程如下：根据回话策略，分析情绪向量、人脸属性特征、文字信息和用户体验数据，从语料库中匹配目标语料数据，作为回馈文字，进行输出。

进一步地，本发明一种基于互联网的机器人对话系统的较佳的实施例中，所述人脸图像信息包括笑、忧伤、愤怒、吃惊、无表情。

进一步地，本发明一种基于互联网的机器人对话系统的较佳的实施例中，所述控制模块11还用于根据用户的表情信息控制所述显示器模块17和所述音响模块16执行对应的操作。如果表情信息是笑，则向用户显示大笑表情，并播放欢快的音乐；如果是忧伤，则向用户显示微笑表情，并播放舒缓的音乐；如果是愤怒，则向用户显示微笑表情，并对用户说话，以平息用户；如果是吃惊，则向用户显示微笑表情，并对用户说话，以抚慰用户，如果用户无表情则不进行反馈。

进一步地，本发明一种基于互联网的机器人对话系统的较佳的实施例中，所述设备终端1还包括无线通信模块18，用于实现信息采集和用户情感的设备终端1与云平台2之间的交互。

进一步地，本发明一种基于互联网的机器人对话系统的较佳的实施例中，还包括反馈模块19，用于根据回话策略，分析所述情绪向量、所述人脸图像信息和所述文字信息，输出回馈文字。

进一步地，本发明一种基于互联网的机器人对话系统的较佳的实施例中，所述音响模块16包括：

ASR模块，用于将所述声音信息转换为文字信息；

TTS模块，用于将所述回馈文字转换为语音信息。

综上所述，这种基于互联网的机器人对话系统功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。

本实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (8)

1.一种基于互联网的机器人对话系统，包括设备终端（1）和云平台（2），其特征是：所述云平台（2）用于提供数据存储、大数据分析、视频存储、音频存储及后台服务；通过云平台（2），用户随时控制查看设备终端（1）的状态，并能与设备终端（1）进行语音、视频通话，使用户随时随地利用该系统疏导自己的情绪；所述设备终端（1）包括控制模块（11）、环境传感器模块（12）、情绪模块（13）、电源模块（14）、摄像模块（15）、音响模块（16）及显示器模块（17）：

所述控制模块（11），用于通过所述环境传感器模块（12）及所述情绪模块（13）采集环境信息和/或用户的情绪信息，对采集到的环境信息和/或用户的情绪信息进行结构化预处理，并将结构化预处理后的信息传送到云平台（2）；

所述电源模块（14），与所述控制模块（11）信号连接，用于为所述控制模块（11）提供能量；

所述摄像模块（15），与所述控制模块（11）信号连接，用于依据人眼成像的原理采集用户的人脸图像信息，并将该头像信息传送到所述控制模块（11）；

所述音响模块（16），与所述控制模块（11）信号连接，用于采集用户的声音信息，并将该声音信息传送到所述控制模块（11）；

所述显示器模块（17），与所述控制模块（11）信号连接，用于在该提取的关键字是采集情绪信息的指令时显示与该关键字对应的提示信息。

2.根据权利要求1所述的一种基于互联网的机器人对话系统，其特征是：所述环境传感器模块（12）包括用于采集环境信息的体温传感器、血糖传感器、心跳传感器或血压传感器。

3.根据权利要求1所述的一种基于互联网的机器人对话系统，其特征是：情绪模块（13）用于根据所述人脸图像信息、所述声音信息和所述文字信息，对情绪进行判别， 确定情绪向量。

4.根据权利要求3所述的一种基于互联网的机器人对话系统，其特征是：所述人脸图像信息包括笑、忧伤、愤怒、吃惊、无表情。

5.根据权利要求1所述的一种基于互联网的机器人对话系统，其特征是：所述控制模块（11）还用于根据用户的表情信息控制所述显示器模块（17）和所述音响模块（16）执行对应的操作。

6.根据权利要求1所述的一种基于互联网的机器人对话系统，其特征是：所述设备终端（1）还包括无线通信模块（18），用于实现信息采集和用户情感的设备终端（1）与云平台（2）之间的交互。

7.根据权利要求3所述的一种基于互联网的机器人对话系统，其特征是：还包括反馈模块（19），用于根据回话策略，分析所述情绪向量、所述人脸图像信息和所述文字信息，输出回馈文字。

8.根据权利要求1所述的一种基于互联网的机器人对话系统，其特征是：所述音响模块（16）包括：

ASR模块，用于将所述声音信息转换为文字信息；

TTS模块，用于将所述回馈文字转换为语音信息。