CN109159129A - 一种基于人脸表情识别的智能陪伴机器人 - Google Patents

Abstract

本发明提供了一种基于人脸表情识别的智能陪伴机器人，包括：所述陪伴机器人包括信息获取模块、表情识别模块、互动模式选择模块、互动内容提取模块以及动作响应模块；所述信息获取模块，用于采集陪伴目标的人脸表情图像，并获取陪伴人的数字个性信息；所述表情识别模块用于识别陪伴人脸部的表情类别；所述互动模式选择模块确定与陪伴目标的互动模式；所述互动内容提取模块提取出与所述互动模式对应的互动内容；所述动作响应模块根据所述互动模式以及互动内容进行响应动作。本发明的机器人可以实时在线的检测陪伴对象的人脸表情，且根据识别出来的人脸表情，陪伴机器人选择合适的基于用户个性的互动模式以及互动内容。

Description

一种基于人脸表情识别的智能陪伴机器人

技术领域

本发明涉及表情识别的技术领域，特别是一种基于人脸表情识别的智能陪伴机器人。

背景技术

随着人工智能的不断发展，教育的人工智能(Educated ArtificialIntelligence，Educated AI)包括具有应用限定、用户教育、自学习推理能力、判断能力等特点的智能系统，能够帮助人们更高效、更好地完成具体的任务或任务集。在现代社会的家庭中，越来越多的父母不能时刻陪伴孩子，在不能够陪伴的孩子的时候，父母可以使用智能机器人对孩子进行陪伴，现有的智能机器人能够与孩子进行交流，并基于与孩子之间的交流，学习和更新与孩子的交流方式。

但是，现有的智能机器人大多基于语音控制，需要大人或小孩自主出控制机器人动作，机器人不能自主自发的依据陪伴目标对象的情绪状态智能的实现触发工作，来对陪伴目标进行更高级别的个性化陪伴。

发明内容

针对上述问题，本发明旨在提供一种基于人脸表情识别的智能陪伴机器人，能够控制机器人结合陪伴对象的个性化特征，对陪伴目标进行陪伴及情绪安抚。

本发明的目的采用以下技术方案来实现：

提供了一种基于人脸表情识别的智能陪伴机器人，包括：所述陪伴机器人包括信息获取模块、表情识别模块、互动模式选择模块、互动内容提取模块以及动作响应模块；所述信息获取模块，用于采集陪伴目标的人脸表情图像，并获取陪伴人的数字个性信息，所述数字个性信息包括数字化的所述陪伴人的信息集合；所述表情识别模块用于对人脸表情图像进行处理，进而识别陪伴人的脸部表情类别；所述互动模式选择模块用于根据识别出的脸部表情类别和所述数字个性信息，确定与陪伴目标的互动模式；所述互动内容提取模块用于将机器人内部储存空间内的互动内容进行重组，基于机器学习算法，提取出与所述互动模式对应的互动内容；所述动作响应模块根据所述互动模式以及互动内容进行响应动作；

优选的，所述数字个性信息包括陪伴目标或陪伴目标监护人人为输入过去一段时间所述陪伴目标的多种人脸表情图像以及对应的表情类别，还包括人为输入或设定的与所述表情类别对应的互动模式以及与所述互动模式对应的互动内容数据包。

优选的，所述互动模式选择模块具体为依据识别出的表情类别，在所述数字个性信息中选择出与所述表情类别对应的互动模式。

优选的，所述互动内容提取模块具体为在与所述互动模式对应的互动内容数据包中通过随机算法随机筛选出多个所述互动内容，将多个所述互动内容进行整合排序，输出给动作响应模块进行响应。

优选的，所述表情识别模块包括：表情图像预处理单元、图像分割单元、表情特征提取单元、表情识别单元；所述图像预处理单元用于将输入的人脸表情图像进行去噪平滑处理，输出目标人脸图像；所述图像分割单元用于对所述目标人脸图像进行阀值分割得到特征区域；所述表情特征提取单元用于处理所述特征区域从所述特征区域中提取出反映人脸表情的特征向量；所述表情识别单元基于机器学习算法以所述特征向量为分类器的输入，输出识别出的表情类别。

优选的，所述图像分割单元对所述目标人脸图像进行阀值分割来获取人脸对应的特征区域的具体过程为：

(1)对所述目标人脸图像进行处理，并分别获取与所述目标人脸图像对应的经归一化的灰度图像H(u,v)和归一化的梯度图像T(u,v)；并基于此，建立灰梯度概率联合矩阵P_C；其中u,v分别为所述目标人脸图像中的任一个像素点的横坐标值与纵坐标值；H(u,v)为像素点(u,v)处的灰度值；T(u,v)为像素点(u,v)的梯度值；

(2)所述灰梯度联合矩阵P_C为一个N_h×N_t的矩阵；计算寻找最优阀值(m,n)将矩阵分割，得到灰度值H(u,v)>m且梯度值T(u,v)>n的子矩阵，其中，m为图像灰度级的分割值，n为图像梯度级的分割级。

对最优阀值进行求取的计算公式为：

式中，所述(m,n)为最优分割阀值，所述p_ij为灰梯度概率联合矩阵P_C中第i行第j列的元素值，通过可计算得到；c_ij代表着使得图像中灰度值H(u,v)＝i且梯度值T(u,v)＝j的像素点的个数；N_h为设定的最大的灰度级；N_t为设定的最大梯度级；m为对应图像灰度级的分割值，n为对应图像梯度级的分割级。

(3)根据所述最优阀值对所述目标人脸图像进行分割得到多个局部特征区域；然后基于数学形态学的算法对局部特征区域依次进行膨胀运算，使得特征区域连通；然后通过形态学闭合运算对连通后的特征区域进行平滑，最后通过二值图像处理得到人脸目标图像的特征区域。

本发明的有益效果为：本发明提出的一种基于人脸表情识别的智能陪伴机器人，实现了对陪伴对象的人脸表情的检测以及分类识别，基于机器视觉获取陪伴对象的人脸表情图像，通过预处理以及阀值分割等一系列处理得到含有表情特征的特征区域，进而对表情特征进行提取，采用机器学习算法依据提取到的特征向量对表情类别进行识别，所述系统用于实时在线的检测陪伴对象的人脸表情，且根据识别出来的人脸表情，陪伴机器人选择合适的基于用户个性的互动模式以及互动内容。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明一个优选实施例中所述智能陪伴机器人内部的功能模块连接图。

具体实施方式

结合以下应用场景对本发明作进一步描述。

参见图1，本实施例中一种基于人脸表情识别的智能陪伴机器人，包括：所述陪伴机器人包括信息获取模块、表情识别模块、互动模式选择模块、互动内容提取模块以及动作响应模块；所述信息获取模块，用于采集陪伴目标的人脸表情图像，并获取陪伴人的数字个性信息，所述数字个性信息包括数字化的所述陪伴人的信息集合；所述表情识别模块用于对人脸表情图像进行处理，进而识别陪伴人的脸部表情类别；所述互动模式选择模块用于根据识别出的脸部表情类别和所述数字个性信息，确定与陪伴目标的互动模式；所述互动内容提取模块用于将机器人内部储存空间内的互动内容进行重组，基于机器学习算法，提取出与所述互动模式对应的互动内容；所述动作响应模块根据所述互动模式以及互动内容进行响应动作。

本实施例中，所述数字个性信息包括陪伴目标或陪伴目标监护人人为输入过去一段时间所述陪伴目标的多种人脸表情图像以及对应的表情类别，还包括人为输入或设定的与所述表情类别对应的互动模式以及与所述互动模式对应的互动内容数据包。

本实施例中，所述互动模式选择模块具体为依据识别出的表情类别，在所述数字个性信息中选择出与所述表情类别对应的互动模式。

本实施例中，所述互动内容提取模块具体为在与所述互动模式对应的互动内容数据包中通过随机算法随机筛选出多个所述互动内容，将多个所述互动内容进行整合排序，输出给动作响应模块进行响应。

本实施例中，所述表情识别模块包括：表情图像预处理单元、图像分割单元、表情特征提取单元、表情识别单元；所述图像预处理单元用于将输入的人脸表情图像进行去噪平滑处理，输出目标人脸图像；所述图像分割单元用于对所述目标人脸图像进行阀值分割得到特征区域；所述表情特征提取单元用于处理所述特征区域从所述特征区域中提取出反映人脸表情的特征向量；所述表情识别单元基于机器学习算法以所述特征向量为分类器的输入，输出识别出的表情类别。

本实施例中，所述信息获取模块采集陪伴目标的人脸表情图像，优选的，选用一种面阵排布的黑白CCD传感器相机才进行采集人脸表情图像；为清楚的对所述人脸图像进行采集需要使得所述机器人的摄像相机与所述人脸的垂直距离不可过远也不可过近，此处，设计了所述相机与所述陪伴目标的人脸基本在同一水平面内时，所述相机与陪伴目标的人脸的垂直距离的计算式为：

式中，D_C为相机与陪伴目标的人脸的的垂直距离；f为相机镜头的焦距；g为相机镜头的最大光圈；d为所述CCD相机内传感器的容许弥散圆直径；q为相机镜头的前景深。

本实施例中，所述陪伴机器人在开启后，根据相机参数而确定的上述垂直距离进行移动，调整相机与与陪伴目标的人脸的距离，实现对人脸表情图像的精确拍摄，如此可以在图像的采集层，对相机参数进行合理的选取，依据陪伴对象可与陪伴机器人的合适距离，个性化的选择相机参数，在相机硬件层面进行一定优化使得对人脸表情图像的采集精度高、采集到的人脸表情图像质量好，且不影响陪伴对象的反感。

本实施例中，所述图像预处理单元对输入的人脸表情图像进行去噪平滑处理的具体过程为：采用5×5的滤波窗口对所述人脸表情图像进行中值滤波，将滤波得到的图像进行二值化处理，得到二值化图像；基于形态成分分析算法对二值化图像进行处理，考虑到开运算既可以消除部分噪声又可保留整体轮廓信息，故采用矩形结构元素对二值处理过后的二值化图像进行开运算处理，得到人脸区域图像；而采用矩形结构元素对所述人脸区域图像再进行闭运算处理，以达到连接并平滑脸部局部边缘的目的，得到目标人脸图像。

所述图像分割单元对所述目标人脸图像进行阀值分割来获取脸部特征区域的具体过程为：

(1)对所述目标人脸图像进行处理，并分别获取与所述目标人脸图像对应的经归一化的灰度图像H(u,v)和归一化的梯度图像T(u，v)；并基于此，建立灰梯度概率联合矩阵P_C；其中u,v分别为所述目标人脸图像中的任一个像素点的横坐标值与纵坐标值；H(u,v)为像素点(u，v)处的灰度值；T(u,v)为像素点(u,v)的梯度值；

(2)所述灰梯度联合矩阵P_C为一个N_h×N_t的矩阵；计算寻找最优阀值(m,n)将矩阵分割，得到灰度值H(u,v)>m且梯度值T(u,v)>n的子矩阵，其中，m为图像灰度级的分割值，n为图像梯度级的分割级。

对最优阀值进行求取的计算公式为：

式中，所述(m,n)为最优分割阀值，所述p_ij为灰梯度概率联合矩阵P_C中第i行第j列的元素值，通过可计算得到；c_ij代表着使得图像中灰度值H(u,v)＝i且梯度值T(u，v)＝j的像素点的个数；N_h为设定的最大的灰度级；N_t为设定的最大梯度级；m为对应图像灰度级的分割值，n为对应图像梯度级的分割级。

(3)根据所述最优阀值对所述目标人脸图像进行分割得到多个局部特征区域；

本优选实施例中，设定特定的灰梯度级，设计出图像分割的最优阈值对所述目标人脸图像进行分割，得到包括嘴部、眼睛以及眉毛区域的局部特征区域；然后基于数学形态学的算法对局部特征区域依次进行膨胀运算，使得特征区域连通；然后通过形态学闭合运算对连通后的特征区域进行平滑，最后通过二值图像处理得到人脸目标图像的特征区域，使得图像的分割精度高，为后面表情特征提取单元提供了高质量的特征区域。

本实施例中，所述表情特征提取单元处理所述特征区域从所述特征区域中提取出反映人脸表情的特征向量，所述特征向量包括有所述特征区域的几何特征、灰度特征以及纹理特征，而对这三类特征进行提取的具体方法为：

(1)特征区域的几何特征提取：用来提取出表达特征区域几何形状的几何特征，具体为：

式中，G_f为所述代表特征区域几何形状的几何特征函数值；M为特征区域内的像素点的总个数；L_c为所述特征区域最小外接矩形的长边长度；L_d为所述特征区域最小外接矩形的短边长度；s为特征区域内像素点构成的集合；(u,v)为所述特征区域内一个任意像素点；u分别代表着所述特征区域内像素点(u,v)的横坐标值；v为所述特征区域内像素点(u，v)的纵坐标值；(u_o，v₀)为所述特征区域的重心坐标；p(u,v)为特征区域内像素点(u,v)的像素值。

(2)灰度特征的提取：获得与所述特征区域对应的灰度图像，然后得到对应灰度图像的灰度级以及对应直方图，计算得到灰度值出现的概率，进而得到所述灰度图像的整体灰度均值以及灰度熵，并将灰度均值与灰度熵按照特定融合方式融合得到灰度特征；

(3)纹理特征的提取：首先，生成与所述特征区域对应的灰度共生矩阵；基于灰度共生矩阵，计算其纹理特征：

式中，T_f为所述特征区域对应纹理特征的函数值；K为所述特征区域对应灰度图的灰度级；i为特征区域内任一像素点的灰度值；j为特征区域内与像素点距离为d的邻域内另一像素点的灰度值；依据像素点(i.j)出现的次数，构建关于距离d的灰度共生矩阵Y；距离d根据纹理的周期性分布来选择；y(i.j)为灰度共生矩阵Y中第i+1行第j+1列的元素值。

本优选实施例中，通过依据人脸表情变化时明显特征设计了可靠的几何特征计算公式，能够有效、准确地描述出特征区域的几何特征；定义了纹理特征值函数，函数中考虑了特征区域的平均灰度值对纹理特征的影响，且同时提高了纹理特征的提取速度并保证了图像纹理特征的准确度；最后将从三个不同维度获取的所述几何特征、灰度特征以及纹理特征进行组合得到特征向量，用于后面的表情识别单元。

本实施例中，所述表情识别单元基于机器学习算法以所述特征向量为分类器的输入，输出识别出的表情类别，具体过程为：

将陪伴机器人内部储存所述数字个性信息中的过去一段时间所述陪伴目标的多种人脸表情图像通过上述步骤获取其对应的特征向量，将过去一段时间人脸表情图像对应的特征向量以及对应的表情类别送入支持向量机中进行离线训练，进而获取并存储下训练完成的分类器用于人脸表情图像的在线分类识别。本设计中，将陪伴目标的人脸表情划分为笑、怒、静、哀这四类相对明显的表情类别，而四种表情类别即四种分类问题，故训练6个分类器来实现对所述四类表情进行分类识别，每两个表情类别之间就训练一个分类器，比如在人脸表情为笑和怒之间就设置一个分类器，基于得到的特征向量，在分类器中对两类表情类别进行投票，通过投票区分所述人脸表情图像更可能属于两类表情类别中的哪一类；

然后，将上述实时采集获取的人脸表情图像对应的特征向量送入上述训练完成的6个分类器中，进行表情分类识别，如此可将全局多类的类别分类问题转化为多个二分类模型问题，通过二值分类器，依据所述特征向量在两个不同表情类别之间投票，通过对所述6个分类器的分类结果进行得票数统计，最后实时统计每种表情类别所得票数，得票数最多的表情类别即为所述特征向量经过多分类器识别出来的人脸表情类别。

本优选实施例中，采用基于支持向量机的机器学习算法来对所述特征向量进行分类识别，确定采集到的人脸表情图像的表情类别，采用多个SVM二值分类器，每个分类器仅需考虑两种表情类别，相对而言，易于训练，适合工程实际，实现实时高效的对人脸表情类别的识别。

最后，依据识别出的表情类别，在所述数字个性信息中选择出与所述表情类别对应的互动模式；在与所述互动模式对应的互动内容数据包中通过随机算法随机筛选出多个所述互动内容，将多个所述互动内容进行整合排序，输出给动作响应模块进行响应，进而促成陪伴机器人的动作发生以安抚逗乐陪伴对象。

本发明上述实施例中，提出了一种基于人脸表情识别的智能陪伴机器人，实现了对陪伴对象的人脸表情的检测以及分类识别，基于机器视觉获取陪伴对象的人脸表情图像，通过预处理以及阀值分割等一系列处理得到含有表情特征的特征区域，进而对表情特征进行提取，采用机器学习算法依据提取到的特征向量对表情类别进行识别，所述系统用于实时在线的检测陪伴对象的人脸表情，且根据识别出来的人脸表情，陪伴机器人选择合适的基于用户个性的互动模式以及互动内容。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于人脸表情识别的智能陪伴机器人，其特征在于，包括：所述陪伴机器人包括信息获取模块、表情识别模块、互动模式选择模块、互动内容提取模块以及动作响应模块；所述信息获取模块，用于采集陪伴目标的人脸表情图像，并获取陪伴人的数字个性信息，所述数字个性信息包括数字化的所述陪伴人的信息集合；所述表情识别模块用于对人脸表情图像进行处理，进而识别陪伴人脸部的表情类别；所述互动模式选择模块用于根据识别出的脸部表情类别和所述数字个性信息，确定与陪伴目标的互动模式；所述互动内容提取模块用于将机器人内部储存空间内的互动内容进行重组，基于机器学习算法，提取出与所述互动模式对应的互动内容；所述动作响应模块根据所述互动模式以及互动内容进行响应动作。

2.根据权利要求1所述的一种基于人脸表情识别的智能陪伴机器人，其特征在于，所述数字个性信息包括陪伴目标或陪伴目标监护人人为输入过去一段时间所述陪伴目标的多种人脸表情图像以及对应的表情类别，还包括人为输入或设定的与所述表情类别对应的互动模式以及与所述互动模式对应的互动内容数据包。

3.根据权利要求2所述的一种基于人脸表情识别的智能陪伴机器人，其特征在于，所述互动模式选择模块具体为依据识别出的表情类别，在所述数字个性信息中选择出与所述表情类别对应的互动模式。

4.根据权利要求3所述的一种基于人脸表情识别的智能陪伴机器人，其特征在于，所述互动内容提取模块具体为在与所述互动模式对应的互动内容数据包中通过随机算法随机筛选出多个所述互动内容，将多个所述互动内容进行整合排序，输出给动作响应模块进行响应。

5.根据权利要求1所述的一种基于人脸表情识别的智能陪伴机器人，其特征在于，所述表情识别模块包括：表情图像预处理单元、图像分割单元、表情特征提取单元、表情识别单元；所述图像预处理单元用于将输入的人脸表情图像进行去噪平滑处理，输出目标人脸图像；所述图像分割单元用于对所述目标人脸图像进行阀值分割得到特征区域；所述表情特征提取单元用于处理所述特征区域从所述特征区域中提取出反映人脸表情的特征向量；所述表情识别单元基于机器学习算法以所述特征向量为分类器的输入，输出识别出的表情类别。

6.根据权利要求5所述的一种基于人脸表情识别的智能陪伴机器人，其特征在于，所述图像分割单元对所述目标人脸图像进行阀值分割来获取人脸对应的特征区域的具体过程为：

(1)对所述目标人脸图像进行处理，并分别获取与所述目标人脸图像对应的经归一化的灰度图像H(u,v)和归一化的梯度图像T(u,v)；并基于此，建立灰梯度概率联合矩阵P_C；其中u,v分别为所述目标人脸图像中的任一个像素点的横坐标值与纵坐标值；H(u,v)为像素点(u,v)处的灰度值；T(u,v)为像素点(u,v)的梯度值；

(2)所述灰梯度联合矩阵P_C为一个N_h×N_t的矩阵；计算寻找最优阀值(m,n)将矩阵分割，得到灰度值H(u,v)>m且梯度值T(u,v)>n的子矩阵，其中，m为图像灰度级的分割值，n为图像梯度级的分割级；

对最优阀值进行求取的计算公式为：

式中，所述(m,n)为最优分割阀值，所述p_ij为灰梯度概率联合矩阵P_C中第i行第j列的元素值，通过可计算得到；c_ij代表着使得图像中灰度值H(u,v)＝i且梯度值T(u,v)＝j的像素点的个数；N_h为设定的最大的灰度级；N_t为设定的最大梯度级；m为对应图像灰度级的分割值，n为对应图像梯度级的分割级；

(3)根据所述最优阀值对所述目标人脸图像进行分割得到多个局部特征区域；然后基于数学形态学的算法对局部特征区域依次进行膨胀运算，使得特征区域连通；然后通过形态学闭合运算对连通后的特征区域进行平滑，最后通过二值图像处理得到人脸目标图像的特征区域。