CN106326980A - 机器人和机器人模拟人脸面部运动的方法 - Google Patents

Abstract

本发明公开了一种机器人和机器人模拟人脸面部运动的方法，该方法包括：扫描步骤，对人脸进行扫描；运动识别步骤，获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别，以及运动模拟步骤，根据虚拟机器人的面部运动模型，模拟与所识别出的人脸面部运动对应的虚拟运动。本发明能够提高用户与智能机器人的交互体验，使得智能机器人能够模拟用户的面部运动。

Description

机器人和机器人模拟人脸面部运动的方法

技术领域

本发明涉及智能机器人领域，尤其涉及一种机器人和机器人模拟人脸面部运动的方法。

背景技术

随着智能机器人产品的逐渐普及，更多的智能机器人走进家庭，成为孩子的玩伴和大人的管家。

在现有技术中，一般智能机器人仅是与用户进行语言上的一问一答式交流，缺乏情感上的交流，尤其在面部图像识别及运动生成方面存在很大缺失，因此给用户带来很差的交互体验。

因此，亟需提供一种解决方案，该方案能够提高用户与智能机器人的交互体验，使得智能机器人能够模拟用户的面部运动。

发明内容

本发明所要解决的技术问题之一是需要提供一种模拟人脸面部运动的机器人，该机器人能够提高用户与智能机器人的交互体验，使得智能机器人能够模拟用户的面部运动。

为了解决上述技术问题，本申请的实施例首先提供了一种机器人模拟人脸面部运动的方法，包括：扫描步骤，对人脸进行扫描；运动识别步骤，获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别，以及运动模拟步骤，根据虚拟机器人的面部运动模型，模拟与所识别出的人脸面部运动对应的虚拟运动。

优选地，在运动识别步骤中，测定描述所述特征点的参数，包括面部各器官位置、器官角度、器官起伏大小和面部是否被物体遮挡，以及，对人脸面部图像进行属性判定得到人脸所属用户的年龄和性别。

优选地，在运动识别步骤中，以面部无运动状态下的运动为基准，根据相对于该状态下的运动的各个运动区域的相对运动参数，对人脸面部运动进行识别。

优选地，在运动模拟步骤中，根据当前机器人硬件条件输出所述虚拟运动。

优选地，该方法还包括：多模态输出步骤，在机器人模拟与所述人脸面部运动对应的虚拟运动的同时，还进行多模态输出。

另一方面，本发明实施例还提供了一种模拟人脸面部运动的机器人，包括：扫描单元，其配置为对人脸进行扫描；识别单元，其配置为获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别，以及运动模拟单元，其配置为根据虚拟机器人的面部运动模型，模拟与所识别出的人脸面部运动对应的虚拟运动。

优选地，所述识别单元进一步配置为，测定描述所述特征点的参数，包括面部各器官位置、器官角度、器官起伏大小和面部是否被物体遮挡，以及，对人脸面部图像进行属性判定得到人脸所属用户的年龄和性别。

优选地，所述识别单元进一步配置为，以面部无运动状态下的运动为基准，根据相对于该状态下的运动的各个运动区域的相对运动参数，对人脸面部运动进行识别。

优选地，所述运动模拟单元进一步配置为，根据当前机器人硬件条件输出所述虚拟运动。

优选地，还包括：多模态输出单元，其配置为在机器人模拟与所述人脸面部运动对应的虚拟运动的同时，还进行多模态输出。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明实施例提供的机器人通过对人脸进行扫描，获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别，以及根据虚拟机器人的面部运动模型，能够模拟与所识别出的人脸面部运动对应的虚拟运动，相比单调地与用户进行语言上一问一答式的交流，提高了用户与智能机器人的交互体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1是根据本发明实施例的机器人100的结构框图。

图2是根据本发明实施例的机器人模拟人脸面部运动的方法的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例能够实现通过面部特征点的扫描和识别，以分析得到用户的面部运动，而用户的面部运动由机器人根据实际的设定/配置进行模拟输出。

在本实施例中通过机器学习等自然科学理论和关键技术，使虚拟机器人较为准确地模仿人的面部动作，进而表达与用户对应的情感，最终实现与人类进行高效准确的信息交流。

在本例中，图1是根据本发明实施例的机器人100的结构框图。如图1所示，本申请实施例的机器人100主要包括：扫描单元110、识别单元120、运动模拟单元130以及多模态输出单元140。

扫描单元110，其配置为对人脸进行扫描。

具体地，在机器人通过语音或按键启动之后，开启人脸检测模式进行人脸检测、定位与跟踪，即从各种不同的场景中检测出人脸的存在并确定其位置。对于动态图像，不仅要求检测出人脸的位置，还要求能够跟踪人脸。针对每一帧包括人脸在内的图像，采用一定的策略从未知的图像背景中分割、提取并确认可能存在的人脸，如果监测到人脸，提取人脸特征，并返回人脸的位置、大小和姿态。

识别单元120，其与扫描单元110连接，其配置为获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别。

进一步，识别单元120采取面部特征提取方法提取出能够表示已被检测出的面部运动图像的特征，即从人脸图像中提取能够表征输入运动本质的信息，用来描述运动图像。可以使用原图像的灰度信息或频率信息，也可以使用基于图像内容的几何信息，还可以根据解剖学的知识建立物理模型来进行描述。在提取特征数据的过程中，为了避免维数危机可能还需要特征降维、特征分解等进一步处理。

一方面，识别单元120测定描述特征点的参数，包括面部各器官位置、器官角度、器官起伏大小和面部是否被物体遮挡，以及对人脸面部图像进行属性判定得到人脸所属用户的年龄和性别。根据这些参数信息能够较为准确地描述运动图像。

容易理解，在进行运动识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部运动。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。

下面以惊奇、恐惧和悲伤为例，对这三种情绪下所展现出来的面部运动进行说明。

(1)惊奇时：眉毛被抬起来、变高变弯，眉毛下的皮肤被拉伸，皱纹可能横跨额头，眼睛睁大了，上眼皮被抬高，下眼皮下落，眼白可能在瞳孔的上边露出来，下边的也可能露出来，嘴张开，唇和牙齿分开，但嘴部并不紧张，也不拉伸。

(2)恐惧时：额眉平直，眼睛张大时，额头有些抬高或平行皱纹，眉头微皱，上眼睑上抬，下眼睑紧张。口微张，双唇紧张，显示口部向后平拉，窄而平。严重恐惧时，面部肌肉都较为紧张，口角后拉，双唇紧贴牙齿。

(3)悲伤时，额眉下垂，眼角下塌，口角下拉，可能伴有流泪。

在具体分析时，对人脸面部图像采用一定的策略进行特征提取，提取出上面所述的各器官位置、各器官角度、起伏大小和面部是否被物体遮挡等特征参数。而对于面部是否被物体遮挡的参数涉及是否戴眼镜、是否带墨镜、是否戴帽子、是否戴口罩等等，检测这些参数的目的在于，在虚拟机器人模仿人脸面部动作之前，仅对除被物体遮挡的其他面部特征进行计算并且识别，节省计算量和计算空间。

另外，通过对人脸面部图像采用一定策略判定目标的属性，例如年龄、性别等，在进行模拟时能够基于匹配地更为准确地模拟对象的特征。在一个例子中，可以通过人脸识别技术从用户图像库中识别出该用户来获得该用户的属性。具体地，在检测到人脸后，进行人脸识别，即将已检测到的待识别的人脸与数据库中已知人脸图像进行比较匹配，得到相关信息。人脸识别可以采取提取人脸几何特征的方法和模板匹配的方法，本例中优先采取模板匹配的方法。在通过上面步骤从图片库中查找到匹配图片，并根据匹配图片确定用户身份后，调取有关于该用户的属性信息。其中，用户的属性信息包括姓名、年龄等。例如，在通过人脸识别检测出用户是“麦克”时，则可以调取有关“麦克”的如下身份信息：姓名“麦克”、年龄“23岁”、性别“男”等。

另一方面，在对人脸面部运动进行识别时，识别单元120以面部无运动状态(也可以称为“中性状态”)下的运动为基准，根据相对于该状态下的运动的各个运动区域的相对运动参数，对人脸面部运动进行识别。

需要说明的是，为了能够实现对人脸面部运动较为准确的识别，事先可以采用机器学习的方法来教机器人如何以一种适用于大多数面孔的方式来识别和追踪面部运动，并根据学习结果建立人脸情绪数据库，该人脸情绪数据库中存储有相对于中性状态下的运动的各个运动区域的相对运动参数。例如，机器人可以先学习上面提到的惊奇、恐惧和悲伤这三种情绪所展现出来的面部运动相对于中性状态下的人脸各个运动区域的相对运动参数，随后建立与这些面部运动对应的数据信息，进而在进行情绪识别时可以通过将获取的参数信息与数据库中的信息进行比对来确定用户所处的情绪。

在机器人学习人脸面部运动的过程中，利用机器人对人脸进行自动化扫描，在电脑上形成虚拟机器人，在虚拟机器人上布置与各动作单元区域相对应的运动控制点，一个动作单元对应的是脸部肌肉的一个小动作，每一种基本运动都可以由这些人脸动作单元的参数来描述，多个不同人脸动作单元参数的组合可以得到一系列不同的运动，用人脸动作单元参数可以实现虚拟机器人不同的面部运动。

更具体地，在学习人脸面部运动的过程中，第一步，运用机器人自动化建立面部几何模型。在该步骤中，首先让机器人使用摄像头各个方向扫描真实人脸，然后采用算法自动检测出人脸上各个特征点的位置，这些特征点很好地标记了人脸的面部特征，包括脸轮廓，眼睛、鼻子、嘴巴的位置等。第二步，根据面部解剖学理论、面部编码系统等技术，得出多种面部运动相对于中性状态时的各个运动区域的相对运动参数，中性状态下的运动即不具情感意义的运动，即不做出任何运动、自然状态下的面孔，根据检测结果及事先选择好的一个中性标准网格模型进行空间网格变形模型以使其变形为转换为虚拟个性化人脸几何模型。通过上面的步骤，已经在机器人内部存储了不同的虚拟个性化人脸几何模型，在后面模拟的过程中，只需要调用最接近的模型就能较好地模拟出当前人脸的面部运动。

运动模拟单元130，其与识别单元120连接，其配置为根据虚拟机器人的面部运动模型，模拟与所识别出的人脸面部运动对应的虚拟运动。

具体地，运动模拟单元130基于识别出的人脸面部运动的信息，利用分析方法分析相应数学模型，生成真实感的人脸纹理模型，通过计算各人脸的参数来实现机器人自动化模仿人类面部运动。

需要说明的是，人脸运动繁复精密，考虑到机器人当前硬件条件，本实施例中的机器人可能不能够一一精确模仿的，在一个例子中配置了20多个虚拟运动模型。本实施例的机器人内部运动模拟单元130配置为根据当前机器人硬件条件输出与当前人脸运动最接近的虚拟运动。

多模态输出单元140，其与运动模拟单元130连接，其配置为在机器人模拟与人脸面部运动对应的虚拟运动的同时，还进行多模态输出。

为了更好地提高用户体验，在机器人输出虚拟运动的同时，还进行例如语音信息或肢体运动等的多模态数据的输出。例如，在虚拟运动指示的情绪为高兴时，机器人会输出“哈哈哈”的笑声以及挥舞双臂或手舞足蹈的肢体动作。

由于机器人能够模仿用户的面部运动，这样，用户就会产生对智能机器人的“依赖性”，而这种依赖性再促使机器人为用户提供更好的服务，满足用户更多的情感需求。比起直接解决问题的感知计算型人工智能，感知情绪的智能机器人能够先与用户建立一种信任关系，然后在此基础上形成一种情感交流和需求满足的良性循环。

另外，本发明实施例相比人工来进行扫描照片或人类面部信息输入的方式来说，可以形成准确度更高、速度更快的人脸运动识别系统，最终实现适应人类情感的、和谐的人机交互环境。

下面参照图2中的流程对机器人模拟人脸面部运动的方法进行分步说明。

如图2所示，具体步骤包括如下内容。

(步骤S210)

首先，扫描单元110对人脸进行扫描。

具体地，在机器人通过语音或按键启动之后，开启人脸检测模式进行人脸检测、定位与跟踪，即从各种不同的场景中检测出人脸的存在并确定其位置。对于动态图像，不仅要求检测出人脸的位置，还要求能够跟踪人脸。针对每一帧包括人脸在内的图像，采用一定的策略从未知的图像背景中分割、提取并确认可能存在的人脸，如果监测到人脸，提取人脸特征，并返回人脸的位置、大小和姿态。

(步骤S220)

接着，识别单元120获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别。

一方面，识别单元120测定描述特征点的参数，包括面部各器官位置、器官角度、器官起伏大小和面部是否被物体遮挡，以及对人脸面部图像进行属性判定得到人脸所属用户的年龄和性别。

容易理解，在进行运动识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部运动。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。

在具体分析时，对人脸面部图像采用一定的策略进行特征提取，提取出上面所述的各器官位置、各器官角度、起伏大小和面部是否被物体遮挡等特征参数。而对于面部是否被物体遮挡的参数涉及是否戴眼镜、是否带墨镜、是否戴帽子、是否戴口罩等等，检测这些参数的目的在于，在虚拟机器人模仿人脸面部动作之前，仅对除被物体遮挡的其他面部特征进行计算并且识别，节省计算量和计算空间。

另外，通过对人脸面部图像采用一定策略判定目标的属性，例如年龄、性别等，在进行后面模拟时能够更好地把握模拟对象的特征，使得用户体验更好。

另一方面，在对人脸面部运动进行识别时，识别单元120以面部无运动状态(也可以称为“中性状态”)下的运动为基准，根据相对于该状态下的运动的各个运动区域的相对运动参数，对人脸面部运动进行识别。

(步骤S230)

接着，运动模拟单元130根据虚拟机器人的面部运动模型，模拟与所识别出的人脸面部运动对应的虚拟运动。

具体地，运动模拟单元130基于识别出的人脸面部运动的信息，利用分析方法分析相应数学模型，生成真实感的人脸纹理模型，通过计算各人脸的参数来实现机器人自动化模仿人类面部运动。本实施例的机器人内部运动模拟单元130配置为根据当前机器人硬件条件输出与当前人脸运动最接近的虚拟运动。

(步骤S240)

最后，多模态输出单元140在机器人模拟与人脸面部运动对应的虚拟运动的同时，还进行多模态输出。

为了更好地提高用户体验，在机器人输出虚拟运动的同时，还进行例如语音信息或肢体运动等的多模态数据的输出。例如，在虚拟运动指示的情绪为高兴时，机器人会根据输出“哈哈哈”的笑声以及挥舞双臂或手舞足蹈的肢体动作。

由于机器人能够模仿用户的面部运动，这样，用户就会产生对智能机器人的“依赖性”，而这种依赖性再促使机器人为用户提供更好的服务，满足用户更多的情感需求。比起直接解决问题的感知计算型人工智能，感知情绪的智能机器人能够先与用户建立一种信任关系，然后在此基础上形成一种情感交流和需求满足的良性循环。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法中的全部或部分步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括以上全部或部分步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

Claims (10)

1.一种机器人模拟人脸面部运动的方法，包括：

扫描步骤，对人脸进行扫描；

运动识别步骤，获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别，以及

运动模拟步骤，根据虚拟机器人的面部运动模型，模拟与所识别出的人脸面部运动对应的虚拟运动。

2.根据权利要求1所述的方法，其特征在于，在运动识别步骤中，

测定描述所述特征点的参数，包括面部各器官位置、器官角度、器官起伏大小和面部是否被物体遮挡，以及，

对人脸面部图像进行属性判定得到人脸所属用户的年龄和性别。

3.根据权利要求1或2所述的方法，其特征在于，在运动识别步骤中，

以面部无运动状态下的运动为基准，根据相对于该状态下的运动的各个运动区域的相对运动参数，对人脸面部运动进行识别。

4.根据权利要求1所述的方法，其特征在于，在运动模拟步骤中，

根据当前机器人硬件条件输出所述虚拟运动。

5.根据权利要求1所述的方法，其特征在于，该方法还包括：

多模态输出步骤，在机器人模拟与所述人脸面部运动对应的虚拟运动的同时，还进行多模态输出。

6.一种模拟人脸面部运动的机器人，包括：

扫描单元，其配置为对人脸进行扫描；

识别单元，其配置为获取人脸上各个特征点及相应的特征参数，对人脸面部运动进行识别，以及

运动模拟单元，其配置为根据虚拟机器人的面部运动模型，模拟与所识别出的人脸面部运动对应的虚拟运动。

7.根据权利要求6所述的机器人，其特征在于，所述识别单元进一步配置为，

测定描述所述特征点的参数，包括面部各器官位置、器官角度、器官起伏大小和面部是否被物体遮挡，以及，

对人脸面部图像进行属性判定得到人脸所属用户的年龄和性别。

8.根据权利要求6或7所述的机器人，其特征在于，所述识别单元进一步配置为，

以面部无运动状态下的运动为基准，根据相对于该状态下的运动的各个运动区域的相对运动参数，对人脸面部运动进行识别。

9.根据权利要求6所述的机器人，其特征在于，所述运动模拟单元进一步配置为，

根据当前机器人硬件条件输出所述虚拟运动。

10.根据权利要求6所述的机器人，其特征在于，还包括：

多模态输出单元，其配置为在机器人模拟与所述人脸面部运动对应的虚拟运动的同时，还进行多模态输出。