CN105345818B - 带有情绪及表情模块的3d视频互动机器人 - Google Patents

Abstract

本发明公开了带有情绪及表情模块的3D视频互动机器人，包括：输入模块，用于接收用户行为以及用户资料；情绪模块，根据用户资料以及当前的用户行为，得出机器人相应的情绪种类以及情绪等级，并反馈相应的情绪数据给处理模块；表情模块，根据情绪种类以及情绪等级，查找符合相应情绪数据的3D人物动作动画以及语音；输出模块，显示相应的3D人物动作动画，同时播报3D人物的语音；处理模块，对各模块进行协调控制。本发明功能丰富，还能支持日常的各种机器人提醒、新闻推送、协助记录，录音，代替进行互联网数据搜索，检索，协助拨通电话，附近好友、附近美食等功能。

Description

带有情绪及表情模块的3D视频互动机器人

技术领域

本发明涉及带3D显示的智能机器人领域。

背景技术

目前很多商业场所以及教学领域已经采用了可互动的交互式系统，大部分采用的是语音交互或文字检索交互，统称为黑屏幕交互，而通过形象化的3D人物替代现有的黑屏幕，或文字屏幕，让人们在遇到问题时，或者在接受一些广告宣传时，可以根据交互式系统，形象化地、拟人表情化的直观地得到人们想要的信息，十分方便快捷。

目前现有的交互系统只能进行简单的互动，例如只能根据问题库回答问题，因此，应用范围较窄。例如在一些教学体系当中，需要交互系统或者机器人根据人们当时话语以及做出的动作进行适当的有情绪的反馈，但是目前还没有任何交互系统满足这个需求。

发明内容

本发明为了解决上述现有技术的问题，提出带有情绪及表情模块的3D视频互动机器人，包括：输入模块，用于接收用户行为以及用户资料；情绪模块，根据用户资料以及当前的用户行为，得出机器人相应的情绪种类以及情绪等级，并反馈相应的情绪数据给处理模块；表情模块，根据情绪种类以及情绪等级，查找符合相应情绪数据的3D人物动作动画以及语音；输出模块，显示相应的3D人物动作动画，同时播报3D人物的语音；处理模块，对各模块进行协调控制。

本发明还进一步包括性格模块、关系进程模块、剧本模块，性格模块可以设置机器人的性格数据，关系进程模块根据用户与机器人的互动，记录用户与机器人当前的关系亲密度系数，剧本模块则用于设置互动剧本。所述情绪模块根据用户资料、输入模块接收的当前用户行为、性格数据、关系亲密度系数以及互动剧本，综合得出相应的情绪种类以及情绪等级。在用户行为和3D人物的当前情绪状态的基础上，综合3D人物的性格和/或互动剧本，进行分析处理，使表情模块可以调用相应的3D人物的语音和动作动画给输出模块。

上述技术方案中，用户行为包括用户手势、触摸输入、语音。输入模块包括用于检测用户手势的三轴加速传感器、用于接收用户触摸输入的触摸显示屏、用于接收用户语音的麦克风。处理模块对用户输入的语音进行的是全句解析，而不是关键字解析，情绪模块根据解析后的全句的文本信息进行分析处理。用户资料包括用户年龄、性别、教育程度、职业、生活作息时间、爱好、地域、文化。

情绪种类可以分为喜怒哀悲惧惊思六种，每个情绪种类有多个级别，根据输入模块输入的用户行为进行变化。

本发明的交互式系统赋予了3D人物或者机器人性格，使其有情绪变化，富有情感，在与用户的沟通过程中，可以与用户进行更便捷、更加人性化。此外，还可以将存储器设置在本地数据库中，根据不同用户的需求，进行个性化设置。本发明可以与用户进行情感互动，大范围趣味性，拟人性的代替人类的很多简单，重复性的沟通工作，如卖场讲解员，导览员或者陪伴聊天等等。

附图说明

图1是本发明的结构示意图；

图2是本发明数据处理的示意图。

具体实施方式

以下结合附图和实施例，详细说明本发明的工作过程。

如图1、图2所示，本发明一实施例提出的带有情绪及表情模块的3D视频互动机器人，包括输入模块、输出模块、情绪模块、表情模块、性格模块、关系进程模块、剧本模块以及处理模块。输入模块接收用户行为以及用户资料，输出模块可以在输出模块中显示相应的3D智能机器人，情绪模块，根据用户资料以及当前的用户行为，得出机器人相应的情绪种类以及情绪等级，并反馈相应的情绪数据给处理模块，然后处理模块控制表情模块根据情绪种类以及情绪等级，查找符合相应情绪数据的3D人物动作动画以及语音，使得3D机器人自带情绪和性格，根据与用户的互动信息，进行相应的反馈。

为了使机器人的反应更加真实，符合用户需求，性格模块可设置机器人的性格数据。关系进程模块根据用户与机器人的互动，记录用户与机器人当前的关系亲密度系数。剧本模块可以用于设置互动剧本。然后情绪模块根据用户资料、输入模块接收的当前用户行为、性格数据、关系亲密度系数以及互动剧本，综合得出相应的情绪种类以及情绪等级。

3D人物的情绪等级分为以下六种，每种情绪有6个级别，例如喜就包括满意、愉快、喜悦、快乐、大喜、狂喜这六种，3D人物的当前情绪状态会根据输入模块输入的用户行为进行变化。

机器人情绪表并对应当时的手部，面部，眼部，头部等动作。

所有情绪均有指向的动作配合，如表情“满意”：动作为：“点头三下”。如大喜动作为“做鬼脸，伸舌头，扭屁股及面部的开心表情”。

输入模块包括：用于检测用户手势的三轴加速传感器、用于接收用户触摸输入的触摸显示屏或者是触摸屏、用于接收用户语音的麦克风等，可以用来接收用户行为，包括但不限于用户手势、触摸输入、语音等。同时，输入模块可以让用户输入用户资料进行简单的个性化设定，用户资料包括用户年龄、性别、教育程度、职业、生活作息时间、爱好、地域、文化。

输出模块则用于显示3D人物的动作以及播报3D人物的语音，输出模块可以利用输入模块的触摸显示屏进行显示。

处理模块根据一些参数，以及预定的策略，进行分析处理，调用存储器中相应的3D人物的语音和动作给输出模块。其中参数可以是输入模块接收的用户行为，或者3D人物的当前情绪状态，或者3D人物的性格，或者互动剧本或者它们之间的组合。

下面以作为女朋友的3D智能机器人对本发明的使用方法进行详细说明。

在交互系统每次启动时，可以播放内置的2秒广告界面，然后自动跳转到欢迎页面，界面上有多个美女3D人物的图片，用户选择其中一个美女3D人物，提示3分钟后，即可拥有自己的情感伴侣或语言工作机器人，并提示请进行用户资料的输入。同时可以无限设置问句与回答内容。将内容设置为本地内容或云端公众数据内容。云端内容为服务器审核内容。

输入的用户资料有姓名，昵称，性别，年龄，学历，爱好，邮箱等等，或可以通过QQ、微信自动登录。登录后作为女友角色的3D人物自动生成，弹出请设置每日起床时间，睡眠时间，每日健康提醒等作息时间的设置后，进入首次使用模式。

首次使用时，会有如何使用女友的文字及语音提示。“亲爱的，您好，好开心能为您服务，今天开始，我……。您可以……。”

该3D人物的画面可以占屏幕3分之2，也可以满屏，但触摸一个“书面会话”键后，触摸显示屏的最下方形成微信一样的文字互动界面，并有历史对话记录。屏幕上面有各种功能标示，如设置，用户资料更新，情感进程查询（有情感进程等级依据时间及使用频率进程确定情感进程为：初恋，热恋等）。屏幕上有当日新闻，早晚模式，健康管理模式设置等。女友3D人物根据用户触摸其身体，有各种回答，这个回答库定期更新，但因为顾客选择的模式分各种回答库。如温柔，暴力等。

早间模式有温柔唤醒，暴力唤醒，新闻推送唤醒，每日国学学习，诗歌朗诵唤醒等。晚间模式，自行设置晚间睡眠时间，自动启动音乐播放文件夹。可关闭或开启的健康管理，可以分为每日早中晚的语音+文字推送提醒，：“亲爱的，吃早餐了吗，早餐最佳搭配建议……。“亲爱的，午饭时间到了，你吃饭了吗？最佳搭配建议……。

每次开启互动系统后3D人物主动问好，根据用户使用周期时间不同，顺序启动问好库。互动剧本内有100种以上的问好方式。可根据日期问好，提示当日时间。3D人物可供调用的回应有10000个以上。3D人物还可以进行一些小游戏，例如语音命令成语接龙，进入成语接龙程序，可以完成1000个语音会话成语接龙。3D人物的语音还包括多种语种，可以进行英语学习或学习英语，可以进入你说中文，他说英文的环节。

触摸按键随时静音状态。在主界面上有声音字符键。

记录用户某些特殊语言的表达频率，以此来分析用户的表达习惯，并根据频率的大小，来调取机器人相应的反馈，包括语言和动作。如用户第一次说“我爱你”时记录为“1”；第二次说“我爱你”时记录为“2”；第三次说“我爱你”时记录为“3”……第n次说“我爱你”时记录为“n”。后续用户再次说“我爱你”时，机器人回答“这是你第n+1次说“我爱你”哦，你的心意人家知道了呢！等等……

人格矩阵是研发的机器人拟人化人格体系，根据人类的人格体系发展，机器人依据使用人的基础信息及用户习惯，用户用语及用户情绪，有一个体系的机器人自我情绪释放及性格模式。同时，根据用户使用习惯，机器人的人格处于拟人化的发展过程。让人与机器人的交互更加完美。具体人格矩阵见流程表。

人格矩阵详表

人格矩阵应用表

用户语言

机器人性格

年龄

地域

教育程度

亲密度

场景

该语言表达次数

机器人变化前情绪

机器人变化后情绪

机器人回应动作

机器人回应语言

你是谁？

热情奔放

18-20

珠三角

高中

初识期

客厅

满意

满意

尴尬

哎，我也不知道诶。

语音会话工程中，书面会话自动生成，可以在下部分进行书面会话，类似微信。

个别命令词回答指向内容为顺序播放。顺序播放完毕自动到后台跟新更新的。

交互系统根据使用频率，例如每日使用10次以上、30次以上等，以及每次使用语音或文字，推送相应的内容显示给用户。可以推送新闻，新闻推送采取一张图片格式，或文字界面并可自动进入详细链接。

所有语音识别回答内容库在存储器中，均为文字版本。3D人物的语音及动作均采用即时科大语音匹配。每次执行时自动更新并矫正，确保整体上3D人物的语音与其口型、动作匹配合理。

应当理解的是，上述针对具体实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。

Claims (6)

1.带有情绪及表情模块的3D视频互动机器人，其特征在于，包括：

输入模块，用于接收用户行为以及用户资料；

性格模块，可设置机器人的性格数据；

关系进程模块，根据用户与机器人的互动，记录用户与机器人当前的关系亲密度系数；

剧本模块，用于设置互动剧本；

情绪模块，根据用户资料、输入模块接收的当前用户行为、性格数据、关系亲密度系数以及互动剧本，综合得出机器人相应的情绪种类以及情绪等级，并反馈相应的情绪数据给处理模块；

表情模块，根据情绪种类以及情绪等级，查找符合相应情绪数据的3D人物动作动画以及语音；

输出模块，显示相应的3D人物动作动画，同时播报3D人物的语音；

处理模块，对各模块进行协调控制。

2.如权利要求1所述的机器人，其特征在于，所述用户资料包括用户年龄、性别、学历、教育程度、职业、生活作息时间、爱好。

3.如权利要求1所述的机器人，其特征在于，所述用户行为包括用户手势、触摸输入、语音。

4.如权利要求3所述的机器人，其特征在于，所述处理模块对用户输入的语音进行全句解析，再将全句解析后的文本信息反馈给所述情绪模块。

5.如权利要求1所述的机器人，其特征在于，所述输入模块包括用于检测用户手势的三轴加速传感器、用于接收用户触摸输入的触摸显示屏、用于接收用户语音的麦克风。

6.如权利要求1所述的机器人，其特征在于，所述情绪种类至少包括喜怒哀悲惧惊思六种，每一个情绪种类包含至少6个等级。