CN106919899B - 基于智能机器人的模仿人脸表情输出的方法和系统 - Google Patents

Abstract

本发明提供一种基于智能机器人的模仿人脸表情输出的方法和系统。所述方法包括以下步骤：获取待显示无表情面部图像以及用户无表情的面部图像；对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型；实时获取并解析用户的表情图像，根据用户的人脸三角形模型和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行映射，生成模仿人脸表情的图像并输出。根据本发明，能够使智能机器人生动的模仿用户表情，贴近用户兴趣爱好，提高用户对智能机器人的体验度。

Description

基于智能机器人的模仿人脸表情输出的方法和系统

技术领域

本发明涉及智能机器人领域，具体地说，涉及一种基于智能机器人的模仿人脸表情输出的方法和系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。因此，提升智能机器人的交互能力，改善机器人的类人性和智能性，是现在亟需解决的重要问题。

发明内容

本发明的目的在于提供一种基于智能机器人的模仿人脸表情输出的方法来解决上述技术问题。该方法包括以下步骤：

获取待显示无表情面部图像以及用户无表情的面部图像；

对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型；

实时获取并解析用户的表情图像，根据用户的人脸三角形模型和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行映射，生成模仿人脸表情的图像并输出。

根据本发明的基于智能机器人的模仿人脸表情输出的方法，优选的是，在对用户无表情的面部图像和待显示无表情面部图像进行解析的步骤中具体包括：

对所述用户无表情的面部图像和待显示无表情面部图像进行人脸关键点检测；

基于检测到的设定个数的人脸关键点生成人脸三角形模型。

根据本发明的基于智能机器人的模仿人脸表情输出的方法，优选的是，在对所述用户无表情的面部图像进行人脸关键点检测步骤之前还包括：

获取多张多角度的用户无表情的面部图像；

基于所述多张多角度的用户无表情的面部图像进行三维建模。

根据本发明的基于智能机器人的模仿人脸表情输出的方法，优选的是，

生成三角形仿射变换矩阵，对静态人脸图像进行逐三角形仿射变换，模仿人脸表情的图像并输出。

根据本发明的另一个方面，还提供了一种基于智能机器人的模仿人脸表情输出的系统，所述系统包括以下模块：

面部图像获取模块，其获取待显示无表情面部图像以及用户无表情的面部图像；

人脸网格模型确定模块，其对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型；

人脸表情模仿模块，其实时获取并解析用户的表情图像，根据用户的人脸三角形模型和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行映射，生成模仿人脸表情的图像并输出。

根据本发明的基于智能机器人的模仿人脸表情输出的系统，优选的是，所述人脸网格模型确定模块，其进一步包括：

关键点检测子模块，其对所述用户无表情的面部图像和待显示无表情面部图像进行人脸关键点检测；

人脸网格模型生成子模块，其基于检测到的设定个数的人脸关键点生成人脸三角形模型。

根据本发明的基于智能机器人的模仿人脸表情输出的系统，优选的是，所述人脸网格模型确定模块，其进一步包括：

三维建模子模块，其获取多张多角度的用户无表情的面部图像，基于所述多张多角度的用户无表情的面部图像进行三维建模。

根据本发明的基于智能机器人的模仿人脸表情输出的系统，优选的是，所述人脸表情模仿模块，其进一步生成三角形仿射变换矩阵，对静态人脸图像进行逐三角形仿射变换，模仿人脸表情的图像并输出。

本发明通过对获取的待显示无表情面部图像以及用户无表情的面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型，在模仿用户人脸表情的过程中，能够在待显示无表情面部图像的人脸三角形模型上映射出实时采集到的人脸表情状态信息，生成模仿人脸表情的图像并输出。由此，本发明的有益之处在于，能够使智能机器人生动的模仿用户表情，贴近用户兴趣爱好，提高用户对智能机器人的体验度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的一个实施例的基于智能机器人的模仿人脸表情输出的方法的流程示意图。

图2为根据本发明实施例的对面具(待显示无表情面部图像)关键点检测和标记的具体流程示意图。

图3为根据本发明实施例的对用户无表情的面部图像进行人脸3D建模的具体流程示意图。

图4为根据本发明实施例的人脸关键点检测的结果示意图。

图5为根据本发明实施例的面具模仿人脸表情的具体流程示意图。

图6为根据本发明实施例的面具模仿人脸表情的结果示意图。

图7为根据本发明的一个实施例的基于智能机器人的模仿人脸表情输出的系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在现有的智能机器人领域中，大多数机器人能够与用户进行语音交互，完成用户赋予的任务或者与用户进行简单的问答行为。但是，这种交互方式逐渐使用户感到单调，降低了用户与机器人之间互动的兴趣。因此，本发明实施例为了解决上面的问题，提供了一种新型的人机交互方法，使机器人能够在用户输入的无表情面具上模仿人脸表情输出。具体来说，机器人首先对用户输入的面具图像和用户无表情的面部图像进行解析，确定各自在无表情状态下的人脸三角形模型。在通过摄像头拍摄采集到用户的有表情图像后，解析有表情图像和用户的无表情人脸三角形模型，并在面具图像的无表情人脸三角形模型上映射解析结果，从而使面具图像可以模仿人脸表情。根据上述方法能够提高机器人智能性和拟人性，而且，用户可以根据喜好选择面具图像，机器人通过处理能够实现在面具图像上模仿人脸实时的表情，提高了人机交互的趣味性。

第一实施例

图1为涉及本发明的基于智能机器人的模仿人脸表情输出的方法的示例一的流程示意图，该智能机器人优选为安装有机器人操作系统的机器人。下面参考图1来说明该实施例的各个步骤。

在步骤S110中，获取待显示无表情面部图像以及用户无表情的面部图像。

在该步骤中，机器人可以通过用户根据自己的喜好在机器人的显示屏幕上绘制无表情面部图像的方式或者接收来自用户上传的选定好的无表情面部图片的方式来获取面具图像，面具图像例如可以是无表情的卡通图像。而在获取用户无表情的面部图像时，机器人可以启动摄像头，通过摄像头对用户面部进行拍摄来获取用户无表情的面部图像。或者，也可以接收用户上传的用户自己的无表情面部图像。其中涉及的“无表情”可以认为是面部的各个关键点例如眼睛、嘴等不出现几何或纹理变化的“中性表情”或“平静表情”。

在步骤S120中，对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型。

概括来说，首先对用户无表情的面部图像和待显示无表情面部图像进行人脸关键点检测，然后基于检测到的设定个数(本例优选为70个)的人脸关键点生成人脸三角形模型。需要说明的是，人脸关键点是指人脸中具有特质特征的区域，比如眼角、嘴角等。

图2为根据本发明实施例的对面具(待显示无表情面部图像)关键点检测和标记的具体流程示意图。下面参考图2来说明如何生成无表情面具图像的人脸三角形模型。

如图2所示，首先用户上传面具图片，机器人对上传的面具图片进行人脸检测，判断是否检测到图片中的人脸信息。人脸检测技术包括很多种较好的方法，其中主要包括：基于几何特征的识别方法、模板匹配法、特征脸方法、奇异值分解(SVD)的方法、隐马尔可夫模型、神经网络方法、弹性图匹配方法等。根据需要可以选择其中任一种方法来进行人脸检测。

在识别得到人脸图像后，对该人脸图像进行关键点提取，得到有关该面具图像的二维(2D)人脸关键点。在本实施例中，可以采用ASM或AAM算法进行脸部关键点定位，得到面具图像的70个二维人脸关键点。在本发明的其他实施例中，根据实际需要，所提取的人脸关键点的数量还可以为其他合理值，本发明不限于此。另外，由于面具图像中的人脸可能是夸张后的卡通人物，人脸的尺度、位置、朝向等条件都是不同的，可能会存在无法检测出人脸或无法标定出满足设定数量的关键点的情况，在出现上面情况时，则提示用户手动标记/微调面具图像中的70个人脸关键点。

随后，可以根据从面具图像中提取出的70个2D人脸关键点，基于Delaunay(德洛内)三角网对上述面具图像中的人脸进行区域划分，从而得到面具无表情的人脸三角形模型，下文可称为面具无表情Delaunay三角模型。

下面参考图3来说明如何对用户无表情的面部图像进行人脸3D建模。概括来说，需要先获取多张多角度的用户无表情的面部图像，然后基于多张多角度的用户无表情的面部图像进行三维建模。

如图3所示，用户可以上传5张图像或通过机器人的摄像头拍摄5张用户图像，这5张图像均是用户保持平静表情状态下脸部从正脸到侧脸的呈不同角度时拍摄的图像，图像两两之间的角度差优选为5度以上。选择5张用户图像是为了得到较为准确的人脸模型，容易理解，根据实际需要，可以选择其他数量的用户图像，此处不做限定。

其次，可以采用机器学习类算法对每幅图像中的人脸进行人脸关键点检测，每个关键点都由固定的标号，如图4所示的左内侧眼角标号为39，得到每幅图像中的70个2D人脸关键点，通过观测三维空间中的若个人脸关键点在不同角度的二维图像中的状态，还原出静态人脸的三维结构。具体来说，可以采用SFM算法计算出70个关键点的三维坐标，并组成稀疏的三维网格结构，得到人脸三维网格模型，也可以称为人脸无表情三维模型。需要说明的是，除了可以采用SFM算法来得到人脸的三维网格模型，还可以采用其他的人脸三维建模方法，此处不做限定。

由此，完成了对面具图像的70个二维人脸关键点的检测和用户无表情状态下的脸部建模。

在步骤S130中，实时获取并解析用户的表情图像，根据用户的人脸三角形模型和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行映射，生成模仿人脸表情的图像并输出。

进一步，本步骤根据实时获取的用户的表情图像，生成三角形仿射变换矩阵，对静态人脸图像进行逐三角形仿射变换，模仿人脸表情的图像并输出。图5为根据本发明实施例的面具模仿人脸表情的具体流程示意图。下面参考图5来详细说明模仿人脸表情的具体过程。

关于人脸图像这一方面，如图5所示，首先，机器人通过摄像头对用户的人脸进行拍摄得到用户图像信息，然后采用现有的人脸检测算法(机器学习类算法，例如Adaboost跟踪算法)进行人脸检测，标记出当前二维图像中的70个二维人脸关键点。

接着，基于当前二维图像的70个2D人脸关键点和人脸无表情三维模型求解PNP问题。具体来说，根据已知三维点集P1(即人脸无表情70个3D关键点)、二维点集P2(即人脸有表情的70个2D关键点)和相机内参矩阵C，求解3×3的刚体变换矩阵(也称人脸旋转矩阵)R，使P1×R×C-P2的值最小化，即如何旋转P1才能使它从相机的角度看上去与P2吻合。

其次，利用刚体变换矩阵R和人脸无表情的70个3D关键点得到当前二维图像中的70个无表情点的参考位置。一方面，通过将得到的当前二维图像中的70个无表情2D关键点参考位置与当前人脸的70个2D关键点进行减法运算得到人脸表情变动向量，将人脸表情变动向量与人脸表情增强系数进行乘法运算得到增强后的人脸表情变动向量，然后，基于人脸表情变动向量与当前人脸的2D关键点的加法运算得到当前人脸二维的51个表情增强点参考位置。另一方面，基于当前二维图像中的70个无表情点的参考位置得到当前二维图像的人脸无表情参考Delaunay三角模型。然后，根据当前人脸二维的51个表情增强点参考位置和当前的人脸无表情参考Delaunay三角模型判断每个表情增强点落在三角模型中的哪个三角形内。

关于面具图像这一方面，如图5所示，基于面具图像的70个2D人脸关键点得到面具无表情Delaunay三角模型，利用当前人脸的无表情参考Delaunay三角模型和面具无表情Delaunay三角模型生成三角形仿射变换矩阵阵列。然后根据判断每个表情增强点落在三角模型中的哪个三角形内的结果进行逐点三角形仿射变换得到面具图像中51个有表情点的参考位置。将面具图像中51个有表情点的参考位置和面具图像中的二维无表情关键点进行减法运算得到面具表情变动向量。接着，将面具表情变动向量与面具表情约束系数相乘得到约束后的面具表情变动向量，然后将该向量与面具图像中的二维无表情关键点进行解算得到面具有表情参考点，进而得到面具有表情Delaunay三角模型，将面具有表情Delaunay三角模型和面具无表情Delaunay三角模型进行计算得到三角形仿射变换矩阵阵列，基于该三角形仿射变换矩阵阵列和面具图像进行逐三角形仿射变换生成模仿人脸表情的图像。

图6所示的内容就是根据上述方法使机器人能够利用面具图像准确模仿用户表情的显示效果，可以看出模仿的准确度较高，提高了机器人的智能性和类人性。

综上，根据上述方法能够提高机器人智能性和拟人性，而且，用户可以根据喜好选择面具图像，机器人通过处理能够实现在面具图像上模仿人脸实时的表情，提高了人机交互的趣味性。

第二实施例

图7为根据本发明一个实施例的基于智能机器人的模仿人脸表情输出的系统700的结构示意图。如图7所示，本实施例的系统700主要包括：面部图像获取模块710、人脸网格模型确定模块720和人脸表情模仿模块730。

面部图像获取模块710，其获取待显示无表情面部图像以及用户无表情的面部图像。

人脸网格模型确定模块720，其对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型。如图7所示，人脸网格模型确定模块720，其进一步包括关键点检测子模块7210、人脸网格模型生成子模块7220和三维建模子模块7230。关键点检测子模块7210，其对所述用户无表情的面部图像和待显示无表情面部图像进行人脸关键点检测；人脸网格模型生成子模块7220，其基于检测到的设定个数的人脸关键点生成人脸三角形模型；三维建模子模块7230，其获取多张多角度的用户无表情的面部图像，基于所述多张多角度的用户无表情的面部图像进行三维建模。

人脸表情模仿模块730，其实时获取并解析用户的表情图像，根据用户的人脸三角形模型和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行映射，生成模仿人脸表情的图像并输出。所述人脸表情模仿模块730，其进一步生成三角形仿射变换矩阵，对静态人脸图像进行逐三角形仿射变换，模仿人脸表情的图像并输出。

通过合理设置，本实施例的系统700可以执行第一实施例中涉及的模仿人脸表情输出方法的各个步骤，此处不再赘述。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种基于智能机器人的模仿人脸表情输出的方法，其特征在于，所述方法包括以下步骤：

获取待显示无表情面部图像以及用户无表情的面部图像；

对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型；

实时获取并解析用户的表情图像，根据用户的人脸三角形模型、和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行逐三角形仿射变换，生成模仿人脸表情的图像并输出，其中，

基于当前用户表情图像的二维人脸关键点，得到当前用户表情图像中的无表情点的参考位置、以及当前用户人脸无表情参考三角形模型；

根据所述当前用户表情图像中的无表情点的参考位置与所述当前用户表情图像的二维人脸关键点，得到人脸表情变动向量，并对其进行增强处理；

根据增强后的所述人脸表情变动向量和所述当前用户表情图像的二维人脸关键点得到当前用户表情图像的二维表情增强点参考位置；

根据所述当前用户表情图像的二维表情增强点参考位置和所述当前用户人脸无表情参考三角形模型，确定每个表情增强点在当前无表情参考三角模型中的位置；

利用所述当前用户人脸无表情参考三角形模型和所述待显示无表情面部图像的人脸三角形模型，生成第一三角形仿射变换矩阵阵列；

根据每个表情增强点的位置并利用所述第一三角形仿射变换矩阵阵列，对待显示无表情图像进行逐点三角形仿射变换，得到待显示图像中有表情点的参考位置；

根据所述待显示图像中有表情点的参考位置、和待显示无表情图像的二维人脸关键点，得到待显示图像的表情变动向量，并进行增强处理，进一步得到增强后的待显示图像有表情参考点及其对应的待显示有表情面部图像的人脸三角形模型；

根据所述待显示无表情面部图像的人脸三角形模型、和待显示有表情面部图像的人脸三角形模型，生成第二三角形仿射变换矩阵，以利用该矩阵生成模仿人脸表情的图像。

2.如权利要求1所述的基于智能机器人的模仿人脸表情输出的方法，其特征在于，在对用户无表情的面部图像和待显示无表情面部图像进行解析的步骤中具体包括：

对所述用户无表情的面部图像和待显示无表情面部图像进行人脸关键点检测；

基于检测到的设定个数的人脸关键点生成人脸三角形模型。

3.如权利要求2所述的基于智能机器人的模仿人脸表情输出的方法，其特征在于，在对所述用户无表情的面部图像进行人脸关键点检测步骤之前还包括：

获取多张多角度的用户无表情的面部图像；

基于所述多张多角度的用户无表情的面部图像进行三维建模。

4.一种基于智能机器人的模仿人脸表情输出的系统，其特征在于，所述系统包括以下模块：

面部图像获取模块，其获取待显示无表情面部图像以及用户无表情的面部图像；

人脸网格模型确定模块，其对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型；

人脸表情模仿模块，其实时获取并解析用户的表情图像，根据用户的人脸三角形模型、和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行逐三角形仿射变换，生成模仿人脸表情的图像并输出，其中，

基于当前用户表情图像的二维人脸关键点，得到当前用户表情图像中的无表情点的参考位置、以及当前用户人脸无表情参考三角形模型；

根据所述当前用户表情图像中的无表情点的参考位置与所述当前用户表情图像的二维人脸关键点，得到人脸表情变动向量，并对其进行增强处理；

根据增强后的所述人脸表情变动向量和所述当前用户表情图像的二维人脸关键点得到当前用户表情图像的二维表情增强点参考位置；

根据所述当前用户表情图像的二维表情增强点参考位置和所述当前用户人脸无表情参考三角形模型，确定每个表情增强点在当前无表情参考三角模型中的位置；

利用所述当前用户人脸无表情参考三角形模型和所述待显示无表情面部图像的人脸三角形模型，生成第一三角形仿射变换矩阵阵列；

根据每个表情增强点的位置并利用所述第一三角形仿射变换矩阵阵列，对待显示无表情图像进行逐点三角形仿射变换，得到待显示图像中有表情点的参考位置；

根据所述待显示图像中有表情点的参考位置、和待显示无表情图像的二维人脸关键点，得到待显示图像的表情变动向量，并进行增强处理，进一步得到增强后的待显示图像有表情参考点及其对应的待显示有表情面部图像的人脸三角形模型；

根据所述待显示无表情面部图像的人脸三角形模型、和待显示有表情面部图像的人脸三角形模型，生成第二三角形仿射变换矩阵，以利用该矩阵生成模仿人脸表情的图像。

5.如权利要求4所述的基于智能机器人的模仿人脸表情输出的系统，其特征在于，所述人脸网格模型确定模块，其进一步包括：

关键点检测子模块，其对所述用户无表情的面部图像和待显示无表情面部图像进行人脸关键点检测；

人脸网格模型生成子模块，其基于检测到的设定个数的人脸关键点生成人脸三角形模型。

6.如权利要求5所述的基于智能机器人的模仿人脸表情输出的系统，其特征在于，所述人脸网格模型确定模块，其进一步包括：

三维建模子模块，其获取多张多角度的用户无表情的面部图像，基于所述多张多角度的用户无表情的面部图像进行三维建模。

Images