CN109446303A - 机器人交互方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本发明涉及机器人领域，提供了一种机器人交互方法，所述方法包括：扫描当前环境，获取用户图像信息中的面部表情；采集用户的语音信息，获取用户的音调信息；获取用户的的动态图像信息中的行为动作；根据所述用户的面部表情、语言以及行为动作，分析并确认用户当前的心情；根据所述用户当前的心情，做出相应的反应。本发明实施例提供的机器人交互方法，解决了现有技术中机器人在与人交互过程中没有考虑用户的心情的技术问题，能够使机器人更加拟人化并且让用户感受到亲切感，实现机器人与用户之间的情感交流。

Description

机器人交互方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及机器人领域，特别是涉及一种机器人交互方法、装置、计算机设备及可读存储介质。

背景技术

近年来，随着人工智能的迅速发展，人工智能也应用到越来越多的领域之中，功能也越来越完善。

为了使机器人更加的拟人化，通常需要机器人能够根据用户的不同情绪做出相应的反应。而在现有技术中，机器人往往是通过分析用户的语音信息从而确认用户的情绪，然后做出相应的语音回应。然而，由于语音信息存在着较多的技术缺陷，比如口音会对机器人准确的获取用户的语音信息产生影响，相同的语音信息在不同的语境中还甚至可能会表现出截然不同的情绪，而机器人却无法识别这样的差异。

可见现有技术中，仅仅通过分析用户的语音信息确认用户的情绪存在着准确性不够的技术缺陷，使得机器人无法做出正确的反应，导致在机器人与人交互的过程中出现障碍。

发明内容

本发明实施例提供一种机器人交互方法，旨在解决现有技术中存在的对用户的情绪识别不够准确的技术缺陷。

本发明实施例提供一种机器人交互方法，所述方法包括以下步骤：

扫描当前环境，识别出用户目标，并获取用户图像信息，所述用户图像信息包括用户的面部表情；

采集用户的语音信息，所述用户的语音信息包括用户的语言；

获取用户动态图像信息，所述用户动态图像信息包括用户的行为动作；

根据所述获取的用户的面部表情、语言以及行为动作，分析并确认用户当前的心情；

根据所述用户当前的心情，做出相应的反应。

本发明实施例还提供一种机器人交互装置，所述装置包括：

图像信息获取单元，用于扫描当前环境，识别出用户目标，并获取用户图像信息，所述用户图像信息包括用户的面部表情；

语音信息获取单元，用于采集用户的语音信息，所述用户的语音信息包括用户的语言；

动态图像信息获取单元，用于获取用户动态图像信息，所述用户动态图像信息包括用户的行为动作；

心情分析单元，用于根据所述获取的用户的面部表情、语言以及行为动作，分析并确认用户当前的心情；

行为控制单元，用于根据所述用户当前的心情，做出相应的反应。

本发明实施例还提供一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述所述机器人交互方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述所述机器人交互方法的步骤。

本发明实施例提供的机器人交互方法，通过获取用户的面部表情信息，用户的语音信息以及用户的行为动作信息，并提取与情绪部分相关的特征内容，综合分析上述信息并确认用户的情绪，并根据确认用户的情绪特征作出相应的反应，相比于仅仅通过用户的语音信息确认用户的情绪，本发明实施例提供的机器人交互方法具有更强的鲁棒性。

附图说明

图1为本发明实施例提供的一种机器人交互方法的整体流程图；

图2为本发明实施例提供的一种机器人交互装置的结构示意图；

图3为本发明实施例提供的心情分析单元的结构示意图。

图4为本发明实施例提供的面部表情分析主模块的结构示意图。

图5为本发明实施例提供的行为控制单元的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，机器人交互方法可以应用于终端中；计算机设备，计算机设备可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、机器人等，但并不局限于此。

图1为本发明实施例提供的一种机器人方法的整体流程图，详述如下。

步骤S101，扫描当前环境，识别出用户目标，并获取用户图像信息，所述用户图像信息包括用户的面部表情。

在本发明实施例中，所述用户的面部表情包括用户的表情特征，利用用户的表情特征确定用户的情绪。

在本发明实施例中，进一步的，所述用户的表情特征用于与预设的用户面部表情暂态特征进行比较，所述用户的表情特征包括眉毛形状，眼睛、眼睑形状以及嘴唇形状。

作为本发明的一个实施例，通过利用摄像头设备扫描当前环境，识别出用户目标，并获取用户图像信息。

步骤S102，采集用户的语音信息，所述用户的语音信息包括用户的语言。

在本发明实施例中，所述用户的语言包括用户语言的音调，利用用户语言的音调确定用户的情绪。相比于利用用户语言的内容信息，用户的音调更能反映出用户真实的情绪。

作为本发明的一个实施例，通过利用麦克风设备采集用户的语音信息，所述用户的语音信息包括用户的语言。

步骤S103，获取用户动态图像信息，所述用户动态图像信息包括用户的行为动作。

在本发明实施例中，用户的行为动作包括姿体形态，还包括用户行进的形式以及速度。

作为本发明的一个实施例，通过利用摄像头设备获取用户动态图像信息，所述用户动态图像信息包括用户的行为动作。

步骤S104，根据所述获取的用户的面部表情、语言以及行为动作，分析并确认用户当前的心情。

在本发明实施例中，获取用户的面部表情、语言以及行为动作后，并提取用户表情特征、用户语言的音调以及用户的姿体形态后，确认用户的心情。用户表情特征、用户语言的音调以及用户的姿体形态是所述用户的面部表情、语言以及行为动作中最能反映出用户情绪的信息部分。

在本发明实施例中，所述用户当前的心情包括开心、生气、吃惊、悲伤以及恐惧。

在本发明实施例中，所述用户的面部表情分析包括表情特征提取和表情识别，所述表情特征提取基于局部二值模式，包括整体特征提取以及局部特征提取，为了解决交互过程中出现了人脸局部特征被遮蔽的问题，将预先获取的整体人脸图像划分为1*N或者N*1的多个子区域，并相应的提取被遮蔽区域的局部特征与当前部分被遮蔽图像融合。

步骤S105，根据所述用户当前的心情，做出相应的反应。

在本发明实施例中，所述反应包括机器人的屏幕显示、输出的语调、机器人的手部动作、机器人的躯干动作。

作为本发明的一个实施例，当确认用户当前的心情为开心时，所述机器人屏幕显示愉悦的表情，并使用愉悦的语调与用户进行交流；当确认用户当前的心情为生气时，所述机器人屏幕显示害怕的表情，并使用颤抖的语调与用户进行交流；当确认用户当前的心情为吃惊时，所述机器人屏幕显示惊讶的表情，并使用惊讶的语调与用户进行交流；当确认用户当前的心情为悲伤时，所述机器人屏幕显示担心的表情，并使用安慰的语调与用户进行交流；当确认用户当前的心情为恐惧时，所述机器人屏幕显示和蔼的表情，并使用温和的语调与用户进行交流。

本发明实施例提供的机器人交互方法，通过获取用户的面部表情信息，用户的语音信息以及用户的行为动作信息，并提取与情绪部分相关的特征内容，综合分析上述信息并确认用户的情绪，并根据确认用户的情绪特征作出相应的反应，相比于仅仅通过用户的语音信息确认用户的情绪，本发明实施例提供的机器人交互方法具有更强的鲁棒性。

图2为本发明实施例提供的一种机器人交互装置的结构示意图，为了便于说明，仅示出于本发明实施例相关的部分。

在本发明实施例中，所述一种机器人交互装置包括：

图像信息获取单元201，用于扫描当前环境，识别出用户目标，并获取用户图像信息，所述用户图像信息包括用户的面部表情。

在本发明实施例中，所述用户的面部表情包括用户的表情特征，利用用户的表情特征确定用户的情绪。

在本发明实施例中，进一步的，所述用户的表情特征用于与预设的用户面部表情暂态特征进行比较，所述用户的表情特征包括眉毛形状，眼睛、眼睑形状以及嘴唇形状。

作为本发明的一个实施例，所述图像信息获取单元可以是摄像头设备。

语音信息获取单元202，用于采集用户的语音信息，所述用户的语音信息包括用户的语言。

在本发明实施例中，所述用户的语言包括用户语言的音调，利用用户语言的音调确定用户的情绪。相比于利用用户语言的内容信息，用户的音调更能反映出用户真实的情绪。

作为本发明的一个实施例，所述语音信息获取单元可以是麦克风设备。

动态图像信息获取单元203，用于获取用户动态图像信息，所述用户动态图像信息包括用户的行为动作。

在本发明实施例中，用户的行为动作包括姿体形态，还包括用户行进的形式以及速度。

作为本发明的一个实施例，所述动态图像信息获取单元可以是摄像头设备。

心情分析单元204，用于根据所述获取的用户的面部表情、语言以及行为动作，分析并确认用户当前的心情。

在本发明实施例中，获取用户的面部表情、语言以及行为动作后，并提取用户表情特征、用户语言的音调以及用户的姿体形态后，确认用户的心情。用户表情特征、用户语言的音调以及用户的姿体形态是所述用户的面部表情、语言以及行为动作中最能反映出用户情绪的信息部分。

在本发明实施例中，所述用户当前的心情包括开心、生气、吃惊、悲伤以及恐惧。

在本发明实施例中，所述用户的面部表情分析包括表情特征提取和表情识别，所述表情特征提取基于局部二值模式，包括整体特征提取以及局部特征提取，为了解决交互过程中出现了人脸局部特征被遮蔽的问题，将预先获取的整体人脸图像划分为1*N或者N*1的多个子区域，并相应的提取被遮蔽区域的局部特征与当前部分被遮蔽图像融合。

行为控制单元205，用于根据所述用户当前的心情，做出相应的反应。

在本发明实施例中，所述反应包括机器人的屏幕显示、输出的语调、机器人的手部动作、机器人的躯干动作。

作为本发明的一个实施例，当确认用户当前的心情为开心时，控制所述机器人屏幕显示愉悦的表情，并使用愉悦的语调与用户进行交流；当确认用户当前的心情为生气时，控制所述机器人屏幕显示害怕的表情，并使用颤抖的语调与用户进行交流；当确认用户当前的心情为吃惊时，控制所述机器人屏幕显示惊讶的表情，并使用惊讶的语调与用户进行交流；当确认用户当前的心情为悲伤时，控制所述机器人屏幕显示担心的表情，并使用安慰的语调与用户进行交流；当确认用户当前的心情为恐惧时，控制所述机器人屏幕显示和蔼的表情，并使用温和的语调与用户进行交流。

图3为本发明实施例提供的心情分析单元的结构示意图，为了便于说明，仅示出与本发明实施例相关的部分。

在本发明实施例中，所述心情分析单元包括面部表情分析主模块301、语言分析主模块302以及行为动作分析主模块303。

所述面部表情分析主模块301，用于提取并识别用户的面部表情，并确认用户的心情。

所述语言分析主模块302，用于提取用户语言的音调，并确认用户的心情。

所述行为动作分析主模块303，用于识别用户的姿体形态，并确认用户的心情。

本发明实施里提供的心情分析单元通过三个分析主模块分别对用户的面部表情、用户语言的音调以及用户的姿体形态进行分析，综合分析结果确认的用户情绪具有更强的鲁棒性。

图4为本发明实施例提供的面部表情分析主模块的结构示意图，为了便于说明，仅示出与本发明实施例相关的部分。

在本发明实施例中，所述面部表情分析主模块包括面部表情提取次模块401以及面部表情识别次模块402。

所述面部表情提取次模块401，用于提取用户的面部表情特征。

在本发明实施例中，所述提取用户的面部表情特征基于局部二值模式，包括整体特征提取以及局部特征提取，为了解决交互过程中出现了人脸局部特征被遮蔽的问题，将预先获取的整体人脸图像划分为1*N或者N*1的多个子区域，并相应的提取被遮蔽区域的局部特征与当前部分被遮蔽图像融合。

所述面部表情识别次模块402，用于根据用户的面部表情特征与预设的用户面部表情暂态特征之间的差异，确认用户的心情。

在本发明实施例中，所述用户的面部表情特征与预设的用户面部表情暂态特征之间的差异主要包括眉毛形状的差异，眼睛、眼睑形状的差异以及嘴唇形状的差异。

作为本发明的一个实施例，所述用户当前的心情包括开心、生气、吃惊、悲伤以及恐惧。

作为本发明的又一个实施例，以上述心情为例，此时面部表情的主要特征如下所述：

所述眉毛稍微下弯、下眼睑下边有皱纹并鼓起、唇角向后拉伸并抬高，嘴张大，牙齿露出时，可以确定用户当前的心情为开心；所述眉毛皱在一起，压低、下眼睑拉紧并抬起，上眼睑拉紧，眼睛瞪大并鼓起、嘴唇紧闭或者张开时，可以确定用户当前的心情为生气；所述眉毛抬起，变高变弯、眼睛睁大，上眼睑抬高，下眼睑下落、嘴张开，唇和齿分开时，可以确定用户当前的心情为吃惊；所述眉毛抬起并皱在一起、上眼睑抬起，下眼睑拉紧、嘴唇轻微向后拉时，可以确定用户当前的心情为恐惧；所述眉毛内角皱在一起，抬高、眼内角的上眼睑抬高、嘴角下拉并颤抖时，可以确定用户当前的心情为悲伤。

图5为本发明实施例提供的行为控制单元的结构示意图，为了便于说明，仅示出与本发明实施例相关的部分。

在本发明实施例中，所述行为控制单元包括：

屏幕显示模块501，用于根据所述用户当前的心情，显示相应的表情符号。

在本发明实施例中，所述表情符号包括愉悦、害怕、惊讶、担心以及和蔼。

语音输出模块502，用于根据所述用户当前的心情，确定输出的语音信息的音调。

在本发明实施例中，所述语音信息的音调包括愉悦、颤抖、惊讶、安慰以及温和。

手部行为控制模块503，用于根据所述用户当前的心情，控制机器人手部执行相应的动作。

在本发明实施例中，所述机器人手部相应动作包括安抚、鼓掌、抱拳。

躯干行为控制模块504，用于根据所述用户当前的心情，控制机器人行进与转向。

本发明实施例提供的机器人交互方法，通过获取用户的面部表情信息，用户的语音信息以及用户的行为动作信息，并提取与情绪部分相关的特征内容，综合分析上述信息并确认用户的情绪，并根据确认用户的情绪特征作出相应的反应，相比于仅仅通过用户的语音信息确认用户的情绪，本发明实施例提供的机器人交互方法具有更强的鲁棒性。

本发明实施例提供一种计算机装置，该计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述图1所示出的实施例所提供的机器人交互方法的步骤。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。例如，计算机程序可以被分割成上述各个方法实施例提供的机器人交互方法的步骤。

本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信号以及软件分发介质等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种机器人交互方法，其特征在于，所述方法包括以下步骤：

扫描当前环境，识别出用户目标，并获取用户图像信息，所述用户图像信息包括用户的面部表情；

采集用户的语音信息，所述用户的语音信息包括用户的语言；

获取用户动态图像信息，所述用户动态图像信息包括用户的行为动作；

根据所述获取的用户的面部表情、语言以及行为动作，分析并确认用户当前的心情；

根据所述用户当前的心情，做出相应的反应。

2.根据权利要求1所述的方法，其特征在于，所述用户当前的心情包括开心、生气、吃惊、悲伤以及恐惧。

3.根据权利要求2所述的方法，其特征在于，所述根据所述用户当前的心情，做出相应的反应的步骤，具体包括：

当确认用户当前的心情为开心时，所述机器人屏幕显示愉悦的表情，并使用愉悦的语调与用户进行交流；

当确认用户当前的心情为生气时，所述机器人屏幕显示害怕的表情，并使用颤抖的语调与用户进行交流；

当确认用户当前的心情为吃惊时，所述机器人屏幕显示惊讶的表情，并使用惊讶的语调与用户进行交流；

当确认用户当前的心情为悲伤时，所述机器人屏幕显示担心的表情，并使用安慰的语调与用户进行交流；

当确认用户当前的心情为恐惧时，所述机器人屏幕显示和蔼的表情，并使用温和的语调与用户进行交流。

4.一种机器人交互装置，其特征在于，所述机器人交互装置包括：

图像信息获取单元，用于扫描当前环境，识别出用户目标，并获取用户图像信息，所述用户图像信息包括用户的面部表情；

语音信息获取单元，用于采集用户的语音信息，所述用户的语音信息包括用户的语言；

动态图像信息获取单元，用于获取用户动态图像信息，所述用户动态图像信息包括用户的行为动作；

心情分析单元，用于根据所述获取的用户的面部表情、语言以及行为动作，分析并确认用户当前的心情；

行为控制单元，用于根据所述用户当前的心情，做出相应的反应。

5.根据权利要求4所述的装置，其特征在于，所述心情分析单元包括：

面部表情分析主模块，用于提取并识别用户的面部表情，并确认用户的心情；

语言分析主模块，用于提取用户语言的音调，并确认用户的心情；以及

行为动作分析主模块，用于识别用户的姿体形态，并确认用户的心情。

6.根据权利要求5所述的装置，其特征在于，所述面部表情分析主模块包括：

面部表情提取次模块，用于提取用户的面部表情特征；以及

面部表情识别次模块，用于根据用户的面部表情特征与预设的用户面部表情暂态特征之间的差异，确认用户的心情。

7.根据权利要求4所述的装置，其特征在于，所述行为控制单元包括：

屏幕显示模块，用于根据所述用户当前的心情，显示相应的表情符号；

语音输出模块，用于根据所述用户当前的心情，确定输出的语音信息的音调；

手部动作控制模块，用于根据所述用户当前的心情，控制机器人手部执行相应的动作；以及

躯干动作控制模块，用于根据所述用户当前的心情，控制机器人行进与转向。

8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至3中任一项权利要求所述机器人交互方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述机器人交互方法的步骤。