CN113334397B - 一种情绪识别的实体机器人装置 - Google Patents

Abstract

本发明涉及智能机器人技术领域，具体公开了一种情绪识别的实体机器人装置；包括机器人本体和移动底座，机器人本体包括球形头部和锥形体部，球形头上设置有平面显示屏，球形头部顶端设置有光线摄像头，球形头部上设置有扬声器和麦克风，锥形体部的内部设置有智能决策系统、GPU计算模块、数据采集模块、可视化显示模块、语言输出模块和PLC控制模块；本发明公开情绪识别的实体机器人装置结合了情感识别技术与机器人装置可以帮助个人或他人更好的进行诉说、疏解心情，提升精神上的生活品质；对小孩、老人的陪护具有重要的价值和意义，从家庭生活来说情感的正向和负向并存，解决焦虑问题，避免抑郁症的人群用户增多是技术向善、科技向善的重要责任。

Description

一种情绪识别的实体机器人装置

技术领域

本发明涉及智能机器人技术领域，具体公开了一种情绪识别的实体机器人装置。

背景技术

所谓机器人，是自动执行工作的机器装置，既可以接受人类指挥，又可以运行预先编排的程序。情绪识别主要面对的是活体情绪的分析技术，目前的主要应用领域是对现实生活中人体面部表情、语言表达的一种分析技术。主要的识别方式为通过图像、语音的采集设备将数据传入到神经网路模型并输出情绪的一种置信度分数，对人的心理变化进行一种分析判定并给出结果或依据输出结果执行下一步的行为操作。

目前市场上除了一些公共场所提升顾客使用体验的实体机器人外，在居家生活场景中，实体机器人更多以清洁、儿童玩伴、娱乐类为主。例如申请号为CN2018114877248的发明就公开了一种具有人机互动交流功能的智能机器人，包括机器人本体、对话连接模块、信息询问模块、亲属语音采集模块和中央处理模块，机器人本体表面的一侧固定连接有人机交互显示屏，机器人本体的表面且位于人机交互显示屏的上方固定连接有语音播报器。该发明公开的的具有人机互动交流功能的智能机器人虽然能很好的与老年人进行对话，具有与人机互动交流的功能，很好的解决了空巢老人寂寞孤单的问题，但是其功能仍然过于单一，无法识别用户的情绪，无法根据情绪作出准确的动作，导致机器人与用户之间缺少情感和默契。另外，该机互动交流功能的智能机器人行动不便捷，而且在特殊情况下无法与紧固在地面上，发生情况时容易发生倾倒。因此，针对现有人机互动交流功能的智能机器人无法进行情绪识别、行动不便的不足，设计一种具有人体情绪的多模态识别、且行动方便的实体机器人装置是一项有待解决的技术问题。

发明内容

本发明的目的时通过一种实体的机器人装置系统实现对人体情绪的多模态识别和情绪引导干预工作，帮助人们更健康的生活和工作。

本发明是通过以下技术方案实现的：

一种情绪识别的实体机器人装置，包括机器人本体和移动底座，所述机器人本体的下端与移动底座相连接，所述机器人本体包括球形头部和锥形体部，所述球形头部和锥形体部构成了一个雪人状的机器人壳体，所述球形头部的前端设置有用于展示表情和信息的平面显示屏，位于所述平面显示屏上方的球形头部顶端设置有光线摄像头，位于所述平面显示屏下方的球形头部左右两端分别设置有扬声器和麦克风；

位于所述锥形体部的前端设置有操控面板，所述操控面板上设置有操控按键和显示面板，所述锥形体部的内部下端设置有蓄电池，所述锥形体部的后侧面下端设置有与蓄电池相连接的充电插口，所述锥形体部的左右两侧上端均连接有一个机器人手臂座，且每个机器人手臂座上活动连接有一个机器人手臂，且机器人手臂的下端连接有机械夹手；

所述锥形体部的内部设置有智能决策系统、GPU计算模块、数据采集模块、可视化显示模块、语言输出模块和PLC控制模块，所述光线摄像头、麦克风与数据采集模块之间电性连接，所述平面显示屏与可视化显示模块之间电性连接，所述扬声器与语言输出模块之间电性连接；

所述移动底座包括一个矩形的底盘，所述矩形底盘的下表面开设有收纳槽，所述收纳槽中设置有与收纳槽相匹配的吸盘安装板，所述吸盘安装板与收纳槽的顶壁之间连接有若干弹簧，所述吸盘安装板的下表面规则连接有多个硅胶吸盘，位于所述收纳槽上的底盘内部开设有驱动腔，所述驱动腔中设置有双轴自锁电机，所述双轴自锁电机的左右两端分别连接有一个转动轴，所述收纳槽的顶壁两端开设有与驱动腔相连通的通槽，两个所述传动轴上均饶设有牵引丝，所述牵引丝的下端穿过通槽与吸盘安装板的上表面左右两端相连接，每个所述转动轴的端部均连接有一个主动锥形齿轮；

所述底盘左右两侧面的前后两端均开设有转动槽，每个转动槽中均设置有转动臂，位于同一侧前后两端的两个转动臂上端连接有同一根转杆，且所述转杆上设置有与主动锥形齿轮相啮合的从动锥形齿轮，所述转动臂的下端内侧面设置有行驶电机，所述行驶电机穿过转动臂的端部连接有行走轮，所述机器人本体和移动底座之间还设置有万向角度调节结构。

优选地，所述万向角度调节结构包括设置在底盘上表面的轴承套环和设置在锥形体部下表面的连接套，所述连接套的外壁与轴承套环的内壁相配合，所述连接套的内圆面设置有内齿圈，所述底盘中设置有驱动电机，所述驱动电机的输出轴上连接有与内齿圈相啮合的驱动齿轮。

优选地，所述底盘的左右两端面均设置有障碍物探测雷达。

优选地，所述机器人手臂座与机器人手臂之间通过万向球铰活动连接。

优选地，所述机器人手臂包括两个臂体和一个万向球铰连接件，两个所述两个臂体一端与万向球铰连接件相连接。

优选地，述吸盘安装板为矩形，且在矩形的吸盘安装板下表面四个拐角处各设置一个硅胶吸盘。

优选地，所述牵引丝为高抗拉强度的钢丝绳或者尼龙绳其中的一种。

优选地，所述智能决策系统为云端和本地离线两种运行模式。

优选地，所述云端运行模式下的智能决策系统通过内部设置的无线传输模块与网络终端相连接，其中云端运行模式在连接公用网络的情况下，通过对实体机器人的系统升级操作可实现对本地内置决策系统模块的系统更新。

优选地，，所述数据采集模块中设置有面部表情识别模型和语音情感识别模型。

本发明在对用户情绪识别时，其数据采集模块包含高清图像摄像头子模块、麦克风音频输入子模块，其作用为数据源的输入源，作为实体机器人重要的意图识别依据。决策芯片主板的作用一是组织协调机器人内部各个模块接口的调用，二是对情绪识别计算处理后的结果作出决策并指导机器人作出下一步的进程命令。其中，计算处理模块由存储和GPU子模块构成，主要作用是通过算法模型对输入进的源数据按照计算队列输出对应的结果并返回给决策模块。

可视化模块由显示屏连接决策主板，通过图像的形式展示主动发起的对话信息或者是情绪识别的输出结果信息。语音输出模块同步于可视化模块显示的当前行为信息，主要是对当前信息的一个语音化展示，提供给人们更加真实、贴近用户的一种信息输出。

在整个对话的场景中，主要对参与者情绪识别的处理流程如下：

S1：在用户与机器人装置对话的行为下，通过语音识别技术将语音数据转化为文本数据，并对文本数据进行关键词抽取并匹配搜索用户意图；

S2：若根据用户表达的内容命中机器人识别的意图，则进入到情感技能库进行深入的对话和情绪识别分析与决策；

S3：若根据用户表达的内容未命中机器人识别意图，机器人则主动发起询问意图，其中询问的文本通过TTS技术合成为语音数据并通过语音输出模块返回给用户；

S4：根据用户再次输入的语音信息再次进行意图识别，若用户在对话过程中多次对话为〞无目的″的对话模式，则机器人默认进入到闲聊技能库并与用户开启多轮对话模式；

S5：若根据用户表达的意图进入到情感技能库，则进行深层次的对话意图判断；其中数据采集模块开始进行用户的特征提取并分析用户在正常对话状态下表情的动态变化情况，通过每次对话提取的特征数据传入到计算处理模块并将处理结果返回给决策系统模块。

其中，对于特征分析与抽取分为三个分支节点：

a.面部表情的特征提取：

通过数据采集模块的摄像头装置拍摄人脸图像，对人脸的五官进行定位，将拍摄的数据输入到面部表情识别模型；

b.语音信息的特征提取：

通过数据采集模块的麦克风装置采集用户的语音数据，对语音数据中的基频、音量、清晰度进行分析并将语音特征输入到语音情感识别模型；

c.文本的情感特征提取：

通过数据采集模块的麦克风装置采集用户的语音数据，对语音数据中的语音利用语音识别模型ASR转换为文本信息，提取文本信息中的关键词特征并输入到文本情感识别模型。

根据面部表情图像数据、语音数据、语音识别文本数据的特征进行模型融合和数据输入，调用计算模块进行计算并输出融合模型的识别结果

将识别的结果返回给决策模块，决策模块根据情绪识别结果调用情感技能中的子技能模块进行主动干预，子技能模块发起主动话题并通过TTS技术合成为语音并通过语音输出模块的装置返回给用户。

与现有技术相比，本发明具有以下优势：

1)本发明公开情绪识别的实体机器人装置结合了情感识别技术与机器人装置可以帮助个人或他人更好的进行诉说、疏解心情，提升精神上的生活品质。随着AI技术的成熟与发展，其心理领域的应用场景巨大。在智能陪护场景下，实体对话机器人装置对小孩、老人的陪护具有重要的价值和意义，从家庭生活来说情感的正向和负向并存，解决焦虑问题，避免抑郁症的人群用户增多是技术向善、科技向善的重要责任。

2)本发明公开的实体机器人装置在使用过程中通过移动底座上设置的行驶轮和行驶电机的左右，能够实现整个机器人装置在平整地面上的顺畅行驶；当机器人行驶到指定位置后通过内部设置的双轴自锁电机转动，从而使得转动至水平，同时其缠绕的牵引绳开始松卷，然后吸盘安装板在弹簧的作用下向下移动，从而使得上面安装的多个硅胶吸盘与地面接触并压下，从而与地面之间实现吸附，能够对机器人装置主体进行稳定固定。整个机器人装置可根据不同使用状态自由切换形式状态，其行驶方便、稳定，实用性强。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的第一角度立体结构图；

图2为本发明的第二角度立体结构图；

图3为本发明中机器人本体的立体结构示意图；

图4为本发明中移动底座的第一角度立体结构示意图；

图5为本发明中移动底座的第二角度立体结构示意图；

图6为本发明中移动底座的主视内部平面结构示意图；

图7为本发明中吸盘安装板、硅胶吸盘、弹簧等立体结构示意图；

图8为本发明中转动臂、行驶电机、行走轮等立体结构示意图；

图9为本发明的情绪识别控制模块原理图；

图10为本发明的行驶过程的控制原理图。

其中：

1-机器人本体，101-球形头部，102-锥形体部，103-平面显示屏，104-光线摄像头，105-扬声器，106-麦克风，107-操控面板，1071-操控按键，1072-显示面板，108-蓄电池，109-充电插口，110-机器人手臂座，112-机械夹手；

2-移动底座，201-底盘，2011-收纳槽，2012-驱动腔，2013-通槽，2014-转动槽，202-吸盘安装板，203-弹簧，204-硅胶吸盘，205-双轴自锁电机，206-转动轴，207-牵引丝，208-主动锥形齿轮，209-转动臂，210-转杆，211-从动锥形齿轮，212-行驶电机，213-行走轮，214-轴承套环，215-连接套，216-内齿圈，217-驱动电机，218-驱动齿轮，219-障碍物探测雷达。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语〞第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图1～10，并结合实施例来详细说明本申请公开的情绪识别的实体机器人装置。

实施例1

本实施例1公开了一种情绪识别的实体机器人装置，参考附图1和附图2，其主体结构包括机器人本体1和移动底座2，将机器人本体1的下端与移动底座2相连接。

其中，机器人本体1包括球形头部101和锥形体部102，球形头部101和锥形体部102构成了一个雪人状的机器人壳体，其球形头部101和锥形体部102组成的类似于雪人状更具有亲和力。在球形头部101的前端设置有用于展示表情和信息的平面显示屏103，位于平面显示屏103上方的球形头部101顶端设置有光线摄像头104，位于平面显示屏103下方的球形头部101左右两端分别设置有扬声器105和麦克风106。

参考附图4，在位于锥形体部102的前端设置有操控面板107，操控面板107上设置有操控按键1071和显示面板1072，锥形体部102的内部下端设置有蓄电池108，锥形体部102的后侧面下端设置有与蓄电池108相连接的充电插口109，其充电插口109通过充电器与电源相连接能够对蓄电池108进行充电。在锥形体部102的左右两侧上端均连接有一个机器人手臂座110，并且每个机器人手臂座110上活动连接有一个机器人手臂111，其中机器人手臂座110与机器人手臂111之间通过万向球铰活动连接，机器人手臂111包括两个臂体和一个万向球铰连接件，两个臂体一端与万向球铰连接件相连接，在机器人手臂111的下端连接有机械夹手112。在锥形体部102的内部设置有智能决策系统、GPU计算模块、数据采集模块、可视化显示模块、语言输出模块和PLC控制模块(其中锥形体部102的模块图中并未画出)。将光线摄像头104、麦克风106与数据采集模块之间电性连接，平面显示屏103与可视化显示模块之间电性连接，扬声器105与语言输出模块之间电性连接(可参考附图9)。

参考附图5、附图6、附图7和附图8，其中，移动底座2包括一个矩形的底盘201，矩形底盘201的下表面开设有收纳槽2011，收纳槽2011中设置有与收纳槽2011相匹配的吸盘安装板202，吸盘安装板202与收纳槽2011的顶壁之间连接有若干弹簧203，吸盘安装板202的下表面规则连接有多个硅胶吸盘204，具体设置时吸盘安装板202为矩形，且在矩形的吸盘安装板202下表面四个拐角处各设置一个硅胶吸盘204。位于收纳槽2011上的底盘201内部开设有驱动腔2012，驱动腔2012中设置有双轴自锁电机205，双轴自锁电机205的左右两端分别连接有一个转动轴206，收纳槽2011的顶壁两端开设有与驱动腔2012相连通的通槽2013，两个传动轴206上均饶设有牵引丝207，其中牵引丝207为高抗拉强度的钢丝绳或者尼龙绳其中的一种，牵引丝207的下端穿过通槽2013与吸盘安装板202的上表面左右两端相连接，每个转动轴206的端部均连接有一个主动锥形齿轮208。在底盘201左右两侧面的前后两端均开设有转动槽2014，每个转动槽2014中均设置有转动臂209，位于同一侧前后两端的两个转动臂209上端连接有同一根转杆210，且转杆210上设置有与主动锥形齿轮208相啮合的从动锥形齿轮211，转动臂209的下端内侧面设置有行驶电机212，行驶电机212穿过转动臂209的端部连接有行走轮213。

实施例2

实施例2介绍了一种基于实施例1基础上改进后的种情绪识别的实体机器人装置，其与实施例1相同之处不做再次说明，其不同之处在于：本实施例2还在机器人本体1和移动底座2之间还设置有万向角度调节结构。具体地万向角度调节结构包括设置在底盘201上表面的轴承套环214和设置在锥形体部102下表面的连接套215，连接套215的外壁与轴承套环214的内壁相配合，连接套215的内圆面设置有内齿圈216，底盘201中设置有驱动电机217，驱动电机217的输出轴上连接有与内齿圈216相啮合的驱动齿轮218。通过驱动电机217驱动齿轮218转动，然后通过驱动齿轮218与内齿圈216之间的啮合作用即可实现机器人本体1在移动底座2上360°转动。

同时，本实施2还在底盘201的左右两端面均设置有障碍物探测雷达219，其障碍物探测雷达219用于机器人前进时实时对前方障碍物进行探测，再配合光学摄像头104的拍摄分析，可准备控制机器人的前进过程。

另外，本实施例2中的智能决策系统为云端和本地离线两种运行模式。其中，云端运行模式下的智能决策系统通过内部设置的无线传输模块与网络终端相连接。

最后，本实施例2还在数据采集模块中设置有面部表情识别模型和语音情感识别模型，用于更加准确分析人物情绪，从而做出准确的判断。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种情绪识别的实体机器人装置，包括机器人本体（1）和移动底座（2），所述机器人本体（1）的下端与移动底座（2）相连接，其特征在于，所述机器人本体（1）包括球形头部（101）和锥形体部（102）；所述球形头部（101）和锥形体部（102）构成了一个雪人状的机器人壳体，所述球形头部（101）的前端设置有用于展示表情和信息的平面显示屏（103），位于所述平面显示屏（103）上方的球形头部（101）顶端设置有光线摄像头（104），位于所述平面显示屏（103）下方的球形头部（101）左右两端分别设置有扬声器（105）和麦克风（106）；

位于所述锥形体部（102）的前端设置有操控面板（107），所述操控面板（107）上设置有操控按键（1071）和显示面板（1072），所述锥形体部（102）的内部下端设置有蓄电池（108），所述锥形体部（102）的后侧面下端设置有与蓄电池（108）相连接的充电插口（109），所述锥形体部（102）的左右两侧上端均连接有一个机器人手臂座（110），且每个机器人手臂座（110）上活动连接有一个机器人手臂（111），且机器人手臂（111）的下端连接有机械夹手（112）；

所述锥形体部（102）的内部设置有智能决策系统、GPU计算模块、数据采集模块、可视化显示模块、语言输出模块和PLC控制模块，所述光线摄像头（104）、麦克风（106）与数据采集模块之间电性连接，所述平面显示屏（103）与可视化显示模块之间电性连接，所述扬声器（105）与语言输出模块之间电性连接；

所述移动底座（2）包括一个矩形的底盘（201），所述矩形底盘（201）的下表面开设有收纳槽（2011），所述收纳槽（2011）中设置有与收纳槽（2011）相匹配的吸盘安装板（202），所述吸盘安装板（202）与收纳槽（2011）的顶壁之间连接有若干弹簧（203），所述吸盘安装板（202）的下表面规则连接有多个硅胶吸盘（204），位于所述收纳槽（2011）上的底盘（201）内部开设有驱动腔（2012），所述驱动腔（2012）中设置有双轴自锁电机（205），所述双轴自锁电机（205）的左右两端分别连接有一个转动轴（206），所述收纳槽（2011）的顶壁两端开设有与驱动腔（2012）相连通的通槽（2013），两个所述转 动轴（206）上均绕设有牵引丝（207），所述牵引丝（207）的下端穿过通槽（2013）与吸盘安装板（202）的上表面左右两端相连接，每个转动轴（206）的端部均连接有一个主动锥形齿轮（208）；

所述底盘（201）左右两侧面的前后两端均开设有转动槽（2014），每个转动槽（2014）中均设置有转动臂（209），位于同一侧前后两端的两个转动臂（209）上端连接有同一根转杆（210），且所述转杆（210）上设置有与主动锥形齿轮（208）相啮合的从动锥形齿轮（211），所述转动臂（209）的下端内侧面设置有行驶电机（212），所述行驶电机（212）穿过转动臂（209）的端部连接有行走轮（213），所述机器人本体（1）和移动底座（2）之间还设置有万向角度调节结构；所述万向角度调节结构包括设置在底盘（201）上表面的轴承套环（214）和设置在锥形体部（102）下表面的连接套（215），所述连接套（215）的外壁与轴承套环（214）的内壁相配合，所述连接套（215）的内圆面设置有内齿圈（216），所述底盘（201）中设置有驱动电机（217），所述驱动电机（217）的输出轴上连接有与内齿圈（216）相啮合的驱动齿轮（218）。

2.根据权利要求1所述的一种情绪识别的实体机器人装置，其特征在于，所述底盘（201）的左右两端面均设置有障碍物探测雷达（219）。

3.根据权利要求1所述的一种情绪识别的实体机器人装置，其特征在于，所述机器人手臂座（110）与机器人手臂（111）之间通过万向球铰活动连接。

4.根据权利要求3所述的一种情绪识别的实体机器人装置，其特征在于，所述机器人手臂（111）包括两个臂体和一个万向球铰连接件，两个所述臂体一端与万向球铰连接件相连接。

5.根据权利要求1所述的一种情绪识别的实体机器人装置，其特征在于，所述吸盘安装板（202）为矩形，且在矩形的吸盘安装板（202）下表面四个拐角处各设置一个硅胶吸盘（204）。

6.根据权利要求1所述的一种情绪识别的实体机器人装置，其特征在于，所述牵引丝（207）为高抗拉强度的钢丝绳或者尼龙绳其中的一种。

7.根据权利要求1所述的一种情绪识别的实体机器人装置，其特征在于，所述智能决策系统为云端和本地离线两种运行模式。

8.根据权利要求7所述的一种情绪识别的实体机器人装置，其特征在于，所述云端运行模式下的智能决策系统通过内部设置的无线传输模块与网络终端相连接。

9.根据权利要求1所述的一种情绪识别的实体机器人装置，其特征在于，所述数据采集模块中设置有面部表情识别模型和语音情感识别模型。

Images