CN106361356A - 情绪监控和预警方法及系统 - Google Patents

Abstract

本发明公开了一种情绪监控和预警方法及系统，该方法包括：获取用户图像，根据所述用户图像对用户进行身份识别；根据该用户的多模态输入信息对用户情绪进行监控；当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出。本发明能够提高用户与智能机器人的交互体验，增强机器人的智能化和人性化以满足用户越来越高的交互需求。

Description

情绪监控和预警方法及系统

技术领域

本发明涉及智能机器人领域，尤其涉及一种情绪监控和预警方法及系统。

背景技术

随着智能机器人产品的逐渐普及，更多的智能机器人走进家庭，成为孩子的玩伴和大人的管家。

在智能机器人与用户进行交互时，大多数情况下是进行问题答复和生活辅助查询。在这种交互模式中，一般由用户主动发起话题，机器人根据用户发起的话题进行答复。然而具备这种交互功能的机器人仅是能够与用户进行对话，相对来说，其智能化和人性化较弱，降低了机器人与用户的交互需求。

因此，亟需提供一种解决方案，能够提高用户与智能机器人的交互体验，增强智能机器人的智能化和人性化，以满足用户越来越高的交互需求。

发明内容

本发明所要解决的技术问题之一是需要提供一种能够提高用户与智能机器人的交互体验，增强机器人的智能化和人性化以满足用户越来越高的交互需求的解决方案。

为了解决上述技术问题，本申请的实施例首先提供了一种情绪监控和预警方法，该方法包括：获取用户图像，根据所述用户图像对用户进行身份识别；根据该用户的多模态输入信息对用户情绪进行监控；当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出。

优选地，所述异常情绪包括消沉情绪和极端情绪。

优选地，通过如下步骤对用户情绪进行监控，设置第一阈值和第二阈值，当从所述用户的多模态输入信息中获取的情绪值在所述第一阈值与所述第二阈值之间时，判断为消沉情绪，当所述情绪值在所述第二阈值之上时，判断为极端情绪。

优选地，当检测到异常情绪时，将预警发送到家长端。

优选地，在根据预设的异常情绪应对模型，生成多模态输出数据并进行输出的步骤中，进一步包括：当用户身份为儿童时，若该用户处于消沉情绪时，则向家长端预警发送；若该用户处于极端情绪时，则向家长端预警发送的同时进行言语和/或肢体干预；当用户身份为成人时，若该用户处于异常情绪时，则对该用户进行言语和/或肢体干预。

另一方面，本发明实施例还提供了一种情绪监控和预警系统，包括：身份识别模块，其配置为获取用户图像，根据所述用户图像对用户进行身份识别；情绪监控模块，其配置为根据该用户的多模态输入信息对用户情绪进行监控；多模态输出模块，其配置为当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出。

优选地，所述异常情绪包括消沉情绪和极端情绪。

优选地，所述情绪监控模块配置为，其通过执行如下操作对用户情绪进行监控，设置第一阈值和第二阈值，当从所述用户的多模态输入信息中获取的情绪值在所述第一阈值与所述第二阈值之间时，判断为消沉情绪，当所述情绪值在所述第二阈值之上时，判断为极端情绪。

优选地，所述多模态输出模块配置为当检测到异常情绪时，将预警发送到家长端。

优选地，所述多模态输出模块进一步配置为执行如下操作：当用户身份为儿童时，若该用户处于消沉情绪时，则向家长端预警发送；若该用户处于极端情绪时，则向家长端预警发送的同时进行言语和/或肢体干预；当用户身份为成人时，若该用户处于异常情绪时，则对该用户进行言语和/或肢体干预。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明实施例获取用户图像，根据用户图像对用户进行身份识别，然后根据该用户的多模态输入信息对用户情绪进行监控，当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出，能够进行情绪监控与预警，对异常情绪下的家庭成员进行安抚和劝解，提高了增强智能机器人的智能化和人性化，以满足用户越来越高的交互需求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1是根据本发明实施例的情绪监控和预警系统的结构框图。

图2是根据本发明实施例的情绪监控和预警方法的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有的智能机器人一般只是与用户进行娱乐、沟通和交流，在家庭成员出现异常情绪，尤其是儿童出现异常情绪时，智能机器人不能进行任何处理措施，无法对儿童进行安抚和劝解以保护其身心健康。

因此，本发明实施例提供一种能够对用户进行情绪监控与预警，对异常情绪下的家庭成员进行安抚和劝解的解决方案。在家庭场景中，本实施例的智能机器人会实时监控与分析每位家庭成员的情绪状态，并设置阈值及预警界限。当家庭成员有两位以上处于阈值以上的异常情绪状态(愤怒、焦躁、辱骂)时，进行肢体或言语干预。再比如在进行儿童陪伴与看护时，当发现儿童在较长一段时间内处于情绪异常状态(如闷闷不乐、焦虑、沉默)，便会及时预警发送到家长端，提醒家长注意孩子的身心健康。更进一步，儿童出现极端情绪(如暴怒、哭泣)时，智能机器人也会尝试以言语或肢体动作干预儿童的状态，并发送警报给家长。

(实施例)

图1是根据本发明实施例的情绪监控和预警系统100的结构框图。如图1所示，本申请实施例的情绪监控和预警系统100，主要包括：身份识别模块110、情绪监控模块120以及多模态输出模块140。

身份识别模块110，其配置为获取用户图像，根据用户图像对用户进行身份识别。

具体地，身份识别模块110首先启动人脸检测与追踪。在检测到人脸后，通过智能机器人的摄像头获取视觉边界内的所有用户图像，利用人脸识别技术根据用户图像对用户身份进行识别以获取有关该用户的身份信息。

更具体地，在机器人被唤醒后，身份识别模块110开始进行人脸检测，即从各种不同的场景中检测出人脸的存在并确定其位置。然后，在检测到人脸后，进行人脸识别，即将已检测到的待识别的人脸与数据库中已知人脸图像进行比较匹配，得到相关信息。人脸识别可以采取提取人脸几何特征的方法和模板匹配的方法，本例中优先采取模板匹配的方法。

人脸识别的具体过程包括：人脸图像获取、图像预处理、人脸特征的提取与选择以及进行分类决策。在通过上面一系列步骤从图片库中查找到匹配图片，并根据匹配图片确定用户身份后，调取有关于该用户的身份记录信息。其中，用户的身份记录信息包括姓名、家庭成员、年龄、职业等。

例如，在通过人脸识别检测出用户是“麦克”时，则可以调取有关“麦克”的如下身份信息：姓名“麦克”、家庭成员“儿子”、年龄“5岁”等。当然，还可以检测出其他的成人家庭成员，此处不再赘述。

由于本发明实施例预先针对不同的用户会设定不同的异常情绪应对模型，因此机器人在进行情绪监控和预警的过程中，需要通过身份识别模块110识别用户身份，以至在后面的处理过程中可以根据用户的特征，执行与不同用户对应的区别化情绪应对处理。

情绪监控模块120，其配置为根据该用户的多模态输入信息对用户情绪进行监控。多模态输入数据包括采用语音识别、视线跟踪等技术，使用户可用多种形态或多个通道以自然、并行和协作的方式与机器人进行交互的数据。

情绪监控模块120对于每位经过确认的家庭成员，利用情绪识别技术监控其情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、心率、行为、文本和生理信号识别等方面，通过以上内容来可以判断用户的情绪状态。

情绪识别技术可以仅通过视觉情绪识别技术来监控家庭成员的情绪状态，也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控家庭成员的情绪状态，且并不局限于此。在本实施例中，优选采用二者结合的方式来监控情绪。

在本实施例中，异常情绪包括消沉情绪和极端情绪。例如，人们熟知的焦虑、紧张、愤怒、沮丧、悲伤、痛苦等负性情绪(Negative Emotion)，人们之所以这样称呼这些情绪，是因为此类情绪体验是不积极的，身体也会有不适感，甚至影响工作和生活的顺利进行，进而有可能引起身心的伤害。

下面以愤怒、恐惧和悲伤为例，对这三种异常情绪所展现出来的面部表情进行说明。

当人们愤怒时，额眉内皱，目光凝视，鼻翼扩张，张口呈方形或紧闭，并在愤怒的大哭中表现最明显。

当人们恐惧时，额眉平直，眼睛张大时，额头有些抬高或平行皱纹，眉头微皱，上眼睑上抬，下眼睑紧张。口微张，双唇紧张，显示口部向后平拉，窄而平。严重恐惧时，面部肌肉都较为紧张，口角后拉，双唇紧贴牙齿。

当人们悲伤时，额眉下垂，眼角下塌，口角下拉，可能伴有流泪。婴幼儿悲伤常伴随哭泣，有鲜明的外显形式。

情绪监控模块120在进行视觉情绪识别时，通过使用机器人摄像头收集人类面部表情图像，而后转换成可分析数据，再利用图像处理、人工智能等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。

需要说明的是，情绪监控模块120预先设置了两个表情阈值，不同的阈值区间代表不同的异常情绪，例如，在第一表情阈值与第二表情阈值之间的第一段阈值区间是消沉情绪，在第二表情阈值之上的第二段阈值区间是极端情绪。情绪监控模块120在进行人脸表情情绪识别后得到关于该家庭用户的表情情绪值，通过与预先设置的第一表情阈值和第二表情阈值来判断该家庭用户的当前情绪状态。当从用户的多模态输入信息中获取的表情情绪值在第一表情阈值与第二表情阈值之间时，判断为消沉情绪(例如悲伤)，当情绪值在第二表情阈值之上时，判断为极端情绪(例如愤怒)。

容易理解，在情绪监控模块120进行视觉情绪识别时，识别到的表情情绪不是异常情绪，则继续通过人脸检测与追踪进行人脸表情情绪检测。另外，为了更加准确地判断出异常情绪，本实施例的情绪监控模块120还进行声音情绪识别。

具体地，在确定表情情绪为异常情绪后，情绪监控模块120启动录音，进行声音情绪检测。情绪监控模块120从声音信息中后得到关于该家庭用户的声音情绪值，通过与预先设置的第一声音阈值和第二声音阈值来判断该家庭用户的当前情绪状态。具体地，当从用户的多模态输入信息中获取的声音情绪值在第一声音阈值与第二声音阈值之间时，判断为消沉情绪，当情绪值在第二声音阈值之上时，判断为极端情绪。

在一个例子中，通过测量语速和音频来评估家庭成员的声音情绪状态。在测量出语速的快慢和/或音频的高低超出预先设定的第二声音阈值时，情绪监控模块120能更加准确确认用户当前处于极端情绪中。

另外，在监测到消沉情绪后，情绪监控模块120还可以对该消沉情绪持续的时间进行监控，随后，情绪监控模块120将其监控到的情绪状态信息发送到多模态输出模块140中。

多模态输出模块140，其配置为当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出。其中，多模态输出数据可以是针对不同的异常情绪输出的语音信息或是机器人要进行肢体动作时对应的执行指令，或是机器人内部进行数据处理时对应的处理指令等。

根据预设的异常情绪应对模型，在一个实施例中，当检测到异常情绪时，多模态输出模块140将预警发送到家长端。具体地，可以以文字和/或视频的形式将关于某个家庭成员处于某种异常情绪的信息发送到与智能机器人相关联的客户端，告知可以操作该客户端的用户当前该家庭成员的状态，用户可以通过装载有该客户端的移动设备，如手机，管理智能机器人。

在一个优选示例中，多模态输出模块140配置为当用户身份为儿童时，若该用户处于消沉情绪时，则向家长端预警发送；若该用户处于极端情绪时，则向家长端预警发送的同时进行言语和/或肢体干预；当用户身份为成人时，若该用户处于异常情绪时，则对该用户进行言语和/或肢体干预。

例如，在两位以上的成人家庭成员出现极端情绪时，机器人会根据多模态输出数据进行相应的言语和/或肢体干预，如站到发生争执的家庭成员中间，以语音模式发出“不要争执，有什么话坐下来好好谈谈”的语音信息，伴随着上肢的动作如挥手、摇头等。

又例如，当儿童处于设定时间的消沉情绪时，机器人可以根据处理指令对该儿童进行录像、录音，并将录制的信息作为预警信息发送给家长端。当儿童突然处于极端情绪时，向家长端预警发送信息的同时，进行言语、肢体干预，例如机器人可以根据执行指令拥抱安慰儿童，或者发出类似于“冷静一下，让我好好安慰安慰你”等一系列语音信息。

由于在用户处于异常情绪的状态下，机器人能够及时应对用户的异常情绪，这样，用户就会产生对智能机器人的“依赖性”，而这种依赖性再促使机器人为用户提供更好的服务，满足用户更多的情感需求。比起直接解决问题的感知计算型人工智能，感知情绪的智能机器人能够先与用户建立一种信任关系，然后在此基础上形成一种情感交流和需求满足的良性循环。

下面参照图2中的流程对情绪监控和预警方法的具体情况进行分步说明。

(步骤S210)

首先，身份识别模块110获取用户图像，根据用户图像对用户进行身份识别。

具体地，身份识别模块110首先启动人脸检测与追踪。在检测到人脸后，通过智能机器人的摄像头获取视觉边界内的所有用户图像，利用人脸识别技术根据用户图像对用户身份进行识别以获取有关该用户的身份信息。

更具体地，在机器人被唤醒后，身份识别模块110开始进行人脸检测，即从各种不同的场景中检测出人脸的存在并确定其位置。然后，在检测到人脸后，进行人脸识别，即将已检测到的待识别的人脸与数据库中已知人脸图像进行比较匹配，得到相关信息。人脸识别可以采取提取人脸几何特征的方法和模板匹配的方法，本例中优先采取模板匹配的方法。

人脸识别的具体过程包括：人脸图像获取、图像预处理、人脸特征的提取与选择以及进行分类决策。在通过上面一系列步骤从图片库中查找到匹配图片，并根据匹配图片确定用户身份后，调取有关于该用户的身份记录信息。其中，用户的身份记录信息包括姓名、家庭成员、年龄、职业等。

(步骤S220)

接着，情绪监控模块120根据该用户的多模态输入信息对用户情绪进行监控。多模态输入数据包括采用语音识别、视线跟踪等技术，使用户可用多种形态或多个通道以自然、并行和协作的方式与机器人进行交互的数据。

情绪监控模块120对于每位经过确认的家庭成员，利用情绪识别技术监控其情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、心率、行为、文本和生理信号识别等方面，通过以上内容来可以判断用户的情绪状态。

情绪监控模块120在进行视觉情绪识别时，通过使用机器人摄像头收集人类面部表情图像，而后转换成可分析数据，再利用图像处理、人工智能等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。

需要说明的是，情绪监控模块120设置第一阈值和第二阈值，当从用户的多模态输入信息中获取的情绪值在第一阈值与所述第二阈值之间时，判断为消沉情绪，当情绪值在第二阈值之上时，判断为极端情绪。

(步骤S230)

最后，多模态输出模块140当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出。其中，多模态输出数据可以是针对不同的异常情绪输出的语音信息或是机器人要进行肢体动作时对应的执行指令，或是机器人内部进行数据处理时对应的处理指令等。

根据预设的异常情绪应对模型，在一个实施例中，当检测到异常情绪时，多模态输出模块140将预警发送到家长端。具体地，可以以文字和/或视频的形式将关于某个家庭成员处于某种异常情绪的信息发送到与智能机器人相关联的客户端，告知可以操作该客户端的用户当前该家庭成员的状态，用户可以通过装载有该客户端的移动设备，如手机，管理智能机器人。

在一个优选示例中，多模态输出模块140配置为当用户身份为儿童时，若该用户处于消沉情绪时，则向家长端预警发送；若该用户处于极端情绪时，则向家长端预警发送的同时进行言语和/或肢体干预；当用户身份为成人时，若该用户处于异常情绪时，则对该用户进行言语和/或肢体干预。

本发明实施例获取用户图像，根据用户图像对用户进行身份识别，然后根据该用户的多模态输入信息对用户情绪进行监控，当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出，能够进行情绪监控与预警，对异常情绪下的家庭成员进行安抚和劝解，提高了增强智能机器人的智能化和人性化，以满足用户越来越高的交互需求。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法中的全部或部分步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

Claims (10)

1.一种情绪监控和预警方法，包括：

获取用户图像，根据所述用户图像对用户进行身份识别；

根据该用户的多模态输入信息对用户情绪进行监控；

当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出。

2.根据权利要求1所述的情绪监控和预警方法，其特征在于，

所述异常情绪包括消沉情绪和极端情绪。

3.根据权利要求2所述的情绪监控和预警方法，其特征在于，通过如下步骤对用户情绪进行监控，

设置第一阈值和第二阈值，当从所述用户的多模态输入信息中获取的情绪值在所述第一阈值与所述第二阈值之间时，判断为消沉情绪，当所述情绪值在所述第二阈值之上时，判断为极端情绪。

4.根据权利要求1～3任一项所述的情绪监控和预警方法，其特征在于，

当检测到异常情绪时，将预警发送到家长端。

5.根据权利要求2所述的情绪监控和预警方法，其特征在于，在根据预设的异常情绪应对模型，生成多模态输出数据并进行输出的步骤中，进一步包括：

当用户身份为儿童时，若该用户处于消沉情绪时，则向家长端预警发送；若该用户处于极端情绪时，则向家长端预警发送的同时进行言语和/或肢体干预；

当用户身份为成人时，若该用户处于异常情绪时，则对该用户进行言语和/或肢体干预。

6.一种情绪监控和预警系统，包括：

身份识别模块，其配置为获取用户图像，根据所述用户图像对用户进行身份识别；

情绪监控模块，其配置为根据该用户的多模态输入信息对用户情绪进行监控；

多模态输出模块，其配置为当该用户出现异常情绪时，根据预设的异常情绪应对模型，生成多模态输出数据并进行输出。

7.根据权利要求6所述的情绪监控和预警系统，其特征在于，

所述异常情绪包括消沉情绪和极端情绪。

8.根据权利要求7所述的情绪监控和预警系统，其特征在于，所述情绪监控模块配置为，其通过执行如下操作对用户情绪进行监控，

设置第一阈值和第二阈值，当从所述用户的多模态输入信息中获取的情绪值在所述第一阈值与所述第二阈值之间时，判断为消沉情绪，当所述情绪值在所述第二阈值之上时，判断为极端情绪。

9.根据权利要求6～8任一项所述的情绪监控和预警系统，其特征在于，

所述多模态输出模块配置为当检测到异常情绪时，将预警发送到家长端。

10.根据权利要求7所述的情绪监控和预警系统，其特征在于，所述多模态输出模块进一步配置为执行如下操作：

当用户身份为儿童时，若该用户处于消沉情绪时，则向家长端预警发送；若该用户处于极端情绪时，则向家长端预警发送的同时进行言语和/或肢体干预；

当用户身份为成人时，若该用户处于异常情绪时，则对该用户进行言语和/或肢体干预。