CN111590600A

CN111590600A - 一种基于多模态数据情感交互的抱枕机器人系统

Info

Publication number: CN111590600A
Application number: CN202010419267.XA
Authority: CN
Inventors: 陈敏
Original assignee: Wuhan Awake Robot Co ltd
Current assignee: Wuhan Awake Robot Co ltd
Priority date: 2020-05-18
Filing date: 2020-05-18
Publication date: 2020-08-28

Abstract

本发明公开了一种基于多模态数据情感交互的抱枕机器人系统，该系统包括抱枕主体，所述抱枕主体具有仿人型结构；所述抱枕主体包括控制器、感知模块以及反馈模块；所述控制器分别与所述感知模块、所述反馈模块以及云端服务器可通信相连。本申请提供的基于多模态数据情感交互的抱枕机器人系统，能够更加接近人们交流的真实感受。并且抱枕机器人采用拟人型外型，不同于电话通信，社交媒体通信一样，该系统关注通信双方情感之间的交流，不再单单是简单的文字、语音和视频这些静止的表达方式，而是结合触觉，感觉上给用户以真实的感受和体验。

Description

一种基于多模态数据情感交互的抱枕机器人系统

技术领域

本发明涉及智能交互技术领域，特别是涉及一种基于多模态数据情感交互的抱枕机器人系统。

背景技术

我们的世界通过互联网、手机、和无数的物与物互联，物理世界和信息世界无缝融合成为未来网络发展趋势。随着国民经济和人们生活水平的稳步提高，人们已将关注的重心从物理世界到精神世界转移，不再满足于现有交互方式，期待能够得到更立体的交互方式，尤其是情感交互方式。现有的人与人之间的远端交互主要使用文字，语音和视频，很难满足人们在精神世界的交互需求。

随着计算机技术，现代控制技术，传感技术，人工智能技术的发展，机器人得到了迅速发展。机器人开始走进了人类日常生活，同时机器人与人的行为交互体现自主性，安全性和友好性等重要特征，因此基于机器人的交互系统设计受到了越来越多的关注。现有也有一些交互机器人的出现，包含声音和视觉上的信息交流，都是静态的交流方式，在交互上面缺乏对用户多模态的情感识别，触觉安抚，温度感知等真实的情感感知能力。

发明内容

本发明提供了一种基于多模态数据情感交互的抱枕机器人系统。其目的在于突破现有交互系统的静止表达方式，可以从触觉、感觉上给用户以真实的感觉和体验，并且机器人在云端的支持下利用多维数据识别情感，及时分析掌握用户的情绪。

本发明提供了如下方案：

一种基于多模态数据情感交互的抱枕机器人系统，包括：

抱枕主体，所述抱枕主体具有仿人型结构；所述抱枕主体包括控制器、感知模块以及反馈模块；所述控制器分别与所述感知模块、所述反馈模块以及云端服务器可通信相连；所述控制器用于执行以下操作：

接收通过所述感知模块获取到的第一用户的传感器数据信息，并将所述第一用户的传感器数据信息发送至所述云端服务器，以便所述云端服务器根据所述第一用户的传感器数据信息生成第一用户的情感状态信息并将所述第一用户的情感状态信息发送至第二用户的终端设备；

接收所述云端服务器发送的反馈信息并发送至所述反馈模块，以便所述反馈模块执行所述反馈信息；所述反馈信息为所述云端服务器根据接收到的所述第二用户的终端设备返回的安抚信息所生成的用于指示所述反馈模块的反馈方式的信息。

优选地：所述云端服务器与第一用户的智能移动终端设备可通信相连；所述第一用户的智能移动终端设备用于采集第一用户的最近的社交信息并发送给所述云端服务器，以便所述服务器根据所述第一用户的传感器数据信息以及所述第一用户的最近的社交信息生成所述第一用户的情感状态信息并将所述第一用户的情感状态信息发送至第二用户的终端设备。

优选地：社交信息包括用户的电话日志、用户的短信日志、用户的智能移动终端设备应用使用信息以及用户的地理位置信息。

优选地：所述第二用户的终端设备包括与所述云端服务器可通信相连的另一所述抱枕主体，所述云端服务器将所述第一用户的情感状态信息至另一所述抱枕主体；另一所述抱枕主体的控制器将所述第一用户的情感状态信息通过另一所述抱枕主体的反馈模块展示给所述第二用户；所述安抚信息包括另一所述抱枕主体的感知模块获取到的所述第二用户的传感器数据信息。

优选地：所述第二用户的终端设备包括与所述云端服务器可通信相连的第二用户的智能移动终端设备；所述第二用户的智能移动终端设备用于采集第二用户的最近的社交信息并发送给所述云端服务器，所述安抚信息包括所述第二用户的最近的社交信息。

优选地：所述感知模块包括摄像头、麦克风、温度传感器、心率传感器、呼吸频率传感器、力度传感器以及拍打频率传感器；所述情感状态信息包括人脸面部图像信息、用户的声音信息、用户面部我温度信息、用户的心跳频率信息、用户呼吸时腹部起伏频率、用户拥抱抱枕主体的拥抱力度信息、用户拍打抱枕主体背部的拍打频率信息。

优选地：所述摄像头包括两个并分别位于所述抱枕主体的眼部，所述麦克风位于所述抱枕主体的耳部，所述温度传感器位于所述抱枕主体的脸部，所述心率传感器位于所述抱枕主体的胸部，所述呼吸频率传感器位于所述抱枕主体的腹部，所述力度传感器以及所述拍打频率传感器均位于所述抱枕主体的背部。

优选地：各传感器均为可穿戴式的柔性纺织传感器。

优选地：所述反馈模块包括模拟心跳模块、语音模块、模拟呼吸频率模块、发热模块、拥抱模拟模块和拍打模块。

优选地：所述模拟心跳模块位于所述抱枕主体的胸部用于根据所述控制器的指令模拟互动对方心脏的跳动，所述语音模块位于所述抱枕主体的脸部用于根据所述控制器的指令发出相应的声音模拟互动对方说话，所述模拟呼吸频率模块位于所述抱枕主体的腹部用于根据所述控制器的指令模拟互动对方的呼吸，所述发热模块位于所述抱枕主体的脸部用于根据所述控制器的指令进行发热模拟互动对方的体温，所述拥抱模拟模块包括至少两组且分别位于所述抱枕主体的手臂用于根据所述控制器的指令模拟拥抱时手臂的压力作用，所述拍打模块位于所述抱枕主体的手部用于根据所述控制器的指令模拟互动对方手的拍打。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过本发明，可以实现一种基于多模态数据情感交互的抱枕机器人系统，在一种实现方式下，该系统可以包括抱枕主体，所述抱枕主体具有仿人型结构；所述抱枕主体包括控制器、感知模块以及反馈模块；所述控制器分别与所述感知模块、所述反馈模块以及云端服务器可通信相连；所述控制器用于执行以下操作：接收通过所述感知模块获取到的第一用户的传感器数据信息，并将所述第一用户的传感器数据信息发送至所述云端服务器，以便所述云端服务器根据所述第一用户的传感器数据信息生成第一用户的情感状态信息并将所述第一用户的情感状态信息发送至第二用户的终端设备；接收所述云端服务器发送的反馈信息并发送至所述反馈模块，以便所述反馈模块执行所述反馈信息；所述反馈信息为所述云端服务器根据接收到的所述第二用户的终端设备返回的安抚信息所生成的用于指示所述反馈模块的反馈方式的信息。本申请提供的基于多模态数据情感交互的抱枕机器人系统，能够更加接近人们交流的真实感受。并且抱枕机器人采用拟人型外型，不同于电话通信，社交媒体通信一样，该系统关注通信双方情感之间的交流，不再单单是简单的文字、语音和视频这些静止的表达方式，而是结合触觉，感觉上给用户以真实的感受和体验。

当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于多模态数据情感交互的抱枕机器人系统的示意图;

图2是本发明实施例提供的抱枕主体的正面结构示意图；

图3是本发明实施例提供的抱枕主体的反面结构示意图；

图4是本发明实施例提供的抱枕主体包含的各元件的连接框图；

图5是本发明实施例提供的系统的工作流程图。

图中：抱枕主体1、控制器11、摄像头121、麦克风122、温度传感器123、心率传感器124、呼吸频率传感器125、力度传感器126、拍打频率传感器127、模拟心跳模块131、语音模块132、模拟呼吸频率模块133、发热模块134、拥抱模拟模块135、拍打模块136、电源14、云端服务器2、智能移动终端设备3。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参见图1、图2、图3、图4、图5，为本发明实施例提供的一种基于多模态数据情感交互的抱枕机器人系统，如图1、图2、图3、图4、图5所示，该系统包括抱枕主体1，所述抱枕主体1具有仿人型结构；所述抱枕主体1包括控制器11、感知模块以及反馈模块；所述控制器11分别与所述感知模块、所述反馈模块以及云端服务器2可通信相连；所述控制器11用于执行以下操作：

接收通过所述感知模块获取到的第一用户的传感器数据信息，并将所述第一用户的传感器数据信息发送至所述云端服务器，以便所述云端服务器根据所述第一用户的传感器数据信息生成第一用户的情感状态信息并将所述第一用户的情感状态信息发送至第二用户的终端设备；具体的，所述感知模块包括摄像头121、麦克风122、温度传感器123、心率传感器124、呼吸频率传感器125、力度传感器126以及拍打频率传感器127；所述情感状态信息包括人脸面部图像信息、用户的声音信息、用户面部我温度信息、用户的心跳频率信息、用户呼吸时腹部起伏频率、用户拥抱抱枕主体的拥抱力度信息、用户拍打抱枕主体背部的拍打频率信息。所述摄像头121包括两个并分别位于所述抱枕主体1的眼部，所述麦克风122位于所述抱枕主体1的耳部，所述温度传感器123位于所述抱枕主体1的脸部，所述心率传感器124位于所述抱枕主体1的胸部，所述呼吸频率传感器125位于所述抱枕主体1的腹部，所述力度传感器126以及所述拍打频率传感器127均位于所述抱枕主体1的背部。各传感器均为可穿戴式的柔性纺织传感器。相应的，所述反馈模块包括模拟心跳模块131、语音模块132、模拟呼吸频率模块133、发热模块134、拥抱模拟模块135和拍打模块136。所述模拟心跳模块131位于所述抱枕主体1的胸部用于根据所述控制器11的指令模拟互动对方心脏的跳动，所述语音模块132位于所述抱枕主体1的脸部用于根据所述控制器11的指令发出相应的声音模拟互动对方说话，所述模拟呼吸频率模块133位于所述抱枕主体1的腹部用于根据所述控制器11的指令模拟互动对方的呼吸，所述发热模块134位于所述抱枕主体1的脸部用于根据所述控制器11的指令进行发热模拟互动对方的体温，所述拥抱模拟模块135包括至少两组且分别位于所述抱枕主体1的手臂用于根据所述控制器11的指令模拟拥抱时手臂的压力作用，所述拍打模块136位于所述抱枕主体1的手部用于根据所述控制器11的指令模拟互动对方手的拍打。

接收所述云端服务器发送的反馈信息并发送至所述反馈模块，以便所述反馈模块执行所述反馈信息；所述反馈信息为所述云端服务器根据接收到的所述第二用户的终端设备返回的安抚信息所生成的用于指示所述反馈模块的反馈方式的信息。所述云端将接收到的感知模块的数据和智能手机的数据进行多模态下的情感识别，得到情感识别结果；云端利用智能手机采集的数据和抱枕机器人采集到的信号进行多模态的情感识别。所述云端对数据进行预处理，特征提取，进行情感识别，最终给出用户的情感。所述云端将根据用户状态数据集进行判断得出的结果，即用户生理状态（包括心跳、呼吸、拍打和体温）和用户情感，通过抱枕机器人反馈给对方。

进一步的，所述云端服务器2与第一用户的智能移动终端设备3可通信相连；所述第一用户的智能移动终端设备3用于采集第一用户的最近的社交信息并发送给所述云端服务器2，以便所述服务器根据所述第一用户的传感器数据信息以及所述第一用户的最近的社交信息生成所述第一用户的情感状态信息并将所述第一用户的情感状态信息发送至第二用户的终端设备。所述社交信息包括用户的电话日志、用户的短信日志、用户的智能移动终端设备应用使用信息以及用户的地理位置信息。第一用户的智能移动终端设备可以是智能手机、平板电脑等。智能手机作为一种便携设备，能够比较直接的反应出用户的日常生活习惯进而反应出用户的情绪状态，主要用于收集用户电话、短信、手机应用的使用记录以及用户的位置和活动状态等信息。所述智能手机每隔5分钟收集一次数据，收集的数据还包括日期和时间，并利用手机让用户对自己的情感进行标识，作为情感数据的标签。

进一步的，所述第二用户的终端设备包括与所述云端服务器可通信相连的另一所述抱枕主体，所述云端服务器将所述第一用户的情感状态信息至另一所述抱枕主体；另一所述抱枕主体的控制器将所述第一用户的情感状态信息通过另一所述抱枕主体的反馈模块展示给所述第二用户；所述安抚信息包括另一所述抱枕主体的感知模块获取到的所述第二用户的传感器数据信息。所述第二用户的终端设备包括与所述云端服务器可通信相连的第二用户的智能移动终端设备；所述第二用户的智能移动终端设备用于采集第二用户的最近的社交信息并发送给所述云端服务器，所述安抚信息包括所述第二用户的最近的社交信息。第二用户使用另一抱枕主体用户实现与第一用户使用的抱枕主体进行情感交互。当然可以想到的是，第二用户也可以采用手机等智能设备安装的相关软件向云端服务器发送安抚信息，用于云端服务器向第一用户使用的抱枕主体发送反馈信息，以便反馈模块执行相应的操作。

需要说明的是，本申请提供的抱枕主体还包括供电组件以及用于实现供电组件控制的任何配套电路。

本申请提供的系统包括类似拟人型的抱枕机器人（抱枕主体），智能手机（智能移动终端设备）和云端（云端服务器）。

所述抱枕机器人，包括控制器（微型计算机），感知模块（微型摄像头，微型麦克风，温度传感器，心率传感器，呼吸频率传感器，力度传感器和拍打频率传感器），反馈模块（语音模块，发热模块，模拟心跳模块，模拟呼吸模块，拥抱模拟模块和拍打模块）和电源。

微型摄像头为一对，安装在抱枕机器人的眼部，用于采集用户的人脸图像，该传感器将收集到的图像信号量转化成数字信号量，通过控制器处理后发送给云端。

微型麦克风安装在抱枕机器人的耳部，用于采集用户的声音信号，该传感器将收集到的语音信号量转化成数字信号量，通过控制器处理后发送给云端。

温度传感器安装在抱枕机器人的脸部，用于采集用户的温度信号，该传感器将检测到的温度信号量转化成数字信号量，通过控制器处理后发送给云端。

心率传感器安装在抱枕机器人的胸部，用来检测用户的心跳频率，该传感器将采集到的心率信号量转化成数字信号量，通过控制器处理后发送给云端。

呼吸频率传感器安装在抱枕机器人的腹部，用于检测用户呼吸时腹部起伏的频率，该传感器将收集到的呼吸频率信号量转化成数字信号量，通过控制器处理后发送给云端。

力度传感器安装在抱枕机器人的背部，用于检测用户对互动抱枕机器人的拥抱力度。该传感器将采集到的力度信号量化成数字信号，通过控制器处理后发送给云端。

拍打频率传感器安装在抱枕机器人的背部，用于检测用户对抱枕机器人背部的拍打频率。该传感器将采集到的拍打频率信号量化成数字信号，通过控制器处理后发送给云端。

语音模块安装在抱枕机器人的脸部，控制器将接收的语音信号传给该模块，使其发出相应的声音模拟互动对方说话。

发热模块安装在抱枕机器人的脸部，控制器将接收的温度信号传给该模块，使其发热模拟互动对方的体温。

模拟心跳模块安装在抱枕机器人的胸部，控制器将接收的心率信号传给该模块，使其模拟互动对方心脏的跳动。

模拟呼吸模块安装在抱枕机器人的腹部，控制器将接收的呼吸频率信号传给该模块，使其模拟互动对方呼吸。

拥抱模拟模块为一对，安装在抱枕机器人的两个手臂处，控制器将接收的力度信号传给该模块，使其模拟拥抱时手臂的压力作用。

拍打模块安装在抱枕机器人的手部，控制器将接收的拍打频率信号传给该模块，使其模拟互动对方手的拍打（通过提供一定的压力模拟拍打）。

各种传感器对数据信息的获取功能以及各模拟模块工作原理作为本领域普通技术人员都能掌握的常规技术手段，在此就不一一详述了。

如图2-5所示，当用户A拥抱抱枕机器人时，其抱枕机器人内置的传感器会检测用户的相应信号（如图4所示称之多维数据集分别为：用户的图像信号，语音信号，温度信号，心率信号，呼吸频率信号，力度信号，拍打频率信号和智能手机提供的用户A社交信息），然后将多维数据集发送到云端。同时云端对多维数据集进行情感识别分析，云端再将得到情绪结果和互动方多维情感数据作为反馈信息反馈给用户B的抱枕机器人的控制器，控制器将得到的反馈信息传递给反馈模块（分别为语音模块，发热模块，模拟心跳模块，模拟呼吸模块，拥抱模拟模块和拍打模块）。反之，互动对方也是这样进行情感的交互和通信的，从而让用户双方感受到更加真实地交流体验。

本申请实施例可以提供一个应用场景，家中的孩子用户和出差的母亲（互动对方）之间进行情感通信，孩子想念母亲，通过智能手机发起与母亲通信，拥抱抱枕机器人，抱枕机器人开始收集孩子的语音，图像，以及生理状态信号（心跳，呼吸等），并通过抱枕机器人当中的控制器传输到云端，云端通过情感识别判断出孩子目前的情绪，云端通过母亲的抱枕机器人将孩子的状态信息传送给母亲，母亲知道了孩子的情感，母亲会用积极的话语和语调来鼓励孩子，同时母亲会抚摸，轻拍母亲身边的抱枕机器人，表达对孩子的安慰，同样地，母亲的生理状态和情感通过抱枕机器人上传到云端，母亲的情绪和生理状态集合会发送到孩子的抱枕机器人中去，然后会触发控制器的反馈模块，将母亲的生理状态集合映射到具体的模块当中，实现对孩子的安抚。孩子的抱枕机器人去模拟母亲的拥抱，心跳，呼吸，体温，同时将母亲的语音通过语音模块播放出来。让孩子感受到母亲的安慰与拥抱。

总之，本申请提供的基于多模态数据情感交互的抱枕机器人系统，能够更加接近人们交流的真实感受。并且抱枕机器人采用拟人型外型，不同于电话通信，社交媒体通信一样，该系统关注通信双方情感之间的交流，不再单单是简单的文字、语音和视频这些静止的表达方式，而是结合触觉，感觉上给用户以真实的感受和体验。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种基于多模态数据情感交互的抱枕机器人系统，其特征在于，包括：

2.根据权利要求1所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，所述云端服务器与第一用户的智能移动终端设备可通信相连；所述第一用户的智能移动终端设备用于采集第一用户的最近的社交信息并发送给所述云端服务器，以便所述服务器根据所述第一用户的传感器数据信息以及所述第一用户的最近的社交信息生成所述第一用户的情感状态信息并将所述第一用户的情感状态信息发送至第二用户的终端设备。

3.根据权利要求2所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，社交信息包括用户的电话日志、用户的短信日志、用户的智能移动终端设备应用使用信息以及用户的地理位置信息。

4.根据权利要求1所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，所述第二用户的终端设备包括与所述云端服务器可通信相连的另一所述抱枕主体，所述云端服务器将所述第一用户的情感状态信息至另一所述抱枕主体；另一所述抱枕主体的控制器将所述第一用户的情感状态信息通过另一所述抱枕主体的反馈模块展示给所述第二用户；所述安抚信息包括另一所述抱枕主体的感知模块获取到的所述第二用户的传感器数据信息。

5.根据权利要求4所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，所述第二用户的终端设备包括与所述云端服务器可通信相连的第二用户的智能移动终端设备；所述第二用户的智能移动终端设备用于采集第二用户的最近的社交信息并发送给所述云端服务器，所述安抚信息包括所述第二用户的最近的社交信息。

6.根据权利要求1所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，所述感知模块包括摄像头、麦克风、温度传感器、心率传感器、呼吸频率传感器、力度传感器以及拍打频率传感器；传感器数据信息包括人脸面部图像信息、用户的声音信息、用户面部我温度信息、用户的心跳频率信息、用户呼吸时腹部起伏频率、用户拥抱抱枕主体的拥抱力度信息、用户拍打抱枕主体背部的拍打频率信息。

7.根据权利要求6所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，所述摄像头包括两个并分别位于所述抱枕主体的眼部，所述麦克风位于所述抱枕主体的耳部，所述温度传感器位于所述抱枕主体的脸部，所述心率传感器位于所述抱枕主体的胸部，所述呼吸频率传感器位于所述抱枕主体的腹部，所述力度传感器以及所述拍打频率传感器均位于所述抱枕主体的背部。

8.根据权利要求6所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，各传感器均为可穿戴式的柔性纺织传感器。

9.根据权利要求1所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，所述反馈模块包括模拟心跳模块、语音模块、模拟呼吸频率模块、发热模块、拥抱模拟模块和拍打模块。

10.根据权利要求9所述的基于多模态数据情感交互的抱枕机器人系统，其特征在于，所述模拟心跳模块位于所述抱枕主体的胸部用于根据所述控制器的指令模拟互动对方心脏的跳动，所述语音模块位于所述抱枕主体的脸部用于根据所述控制器的指令发出相应的声音模拟互动对方说话，所述模拟呼吸频率模块位于所述抱枕主体的腹部用于根据所述控制器的指令模拟互动对方的呼吸，所述发热模块位于所述抱枕主体的脸部用于根据所述控制器的指令进行发热模拟互动对方的体温，所述拥抱模拟模块包括至少两组且分别位于所述抱枕主体的手臂用于根据所述控制器的指令模拟拥抱时手臂的压力作用，所述拍打模块位于所述抱枕主体的手部用于根据所述控制器的指令模拟互动对方手的拍打。