CN110363124B - 基于人脸关键点与几何形变的快速表情识别及应用方法 - Google Patents

Abstract

本发明公开了一种基于人脸关键点与几何形变的快速表情识别方法，包括以下步骤：采集图像，对原始图像进行人脸检测；对目标人脸进行68个面部关键点定位；采用内眼角中心与鼻尖的连线作为人脸坐标空间的垂直方向，从关键点中计算能表征嘴部形变程度的特征向量与间距；统计常规与极端表情的嘴型形变参数，根据获取的向量与距离，进行嘴型状态判别，查询表情定义表格，实现表情识别。本发明适用于避免受有限表情数据集约束的，基于人脸关键点几何形变程度的表情识别方法，尤其是对同类表情的夸张程度与表情种类丰富性具有严格区分的使用场景。

Description

基于人脸关键点与几何形变的快速表情识别及应用方法

技术领域

本发明涉及人工智能、图形图像学领域，特别是指一种基于人脸关键点与几何形变的快速表情识别及应用的方法。

背景技术

人脸表情识别技术广泛应用于生活中的各个领域，如医疗中病人情绪监控，娱乐游戏中人脸与卡通角色的表情匹配等。而随着深度学习在计算机视觉领域掀起的热潮，表情识别也成为科研领域的热门挑战之一。

表情识别通常包含三个阶段：人脸检测、特征提取、表情分类。其中，特征提取主要分为人脸关键点的几何特征，和基于原始高维图像的自动降维特征，前者需要较精确的人脸关键点提取算法，后者则类似于黑盒处理，且直接对图像进行特征提取很容易受图像采集时光照等的影响；表情分类方法则有基于规则的表情匹配和机器学习决策，前者需人工分析各表情的几何特征及设计匹配规则，而后者则需要大量的数据集进行参数学习。

虽然不同应用场景中对表情识别的需求不尽相同，但识别过程中所需支持的实时匹配速度与表情丰富程度是急需的。在实际使用场景中，少量的表情数据集和较弱的设备计算能力通常会导致机器学习不够充分以及前向推断耗时，进而影响准确率和实时性，最终导致较差的用户体验，尤其是基于堆叠模型的表情识别系统，大量的机器学习模型的存在使得此类缺点更为明显。此外，从近年来各大计算机视觉相关学术型会议(如CVPR等)公布的数据集与技术来看，人脸关键点的相关研究是一大趋势，而表情识别则鲜有丰富的数据集公开与新颖的算法提出，因而针对当前的研究热点与实际需求，有必要利用几何关键点，针对基于形变规则的传统表情识别算法做进一步优化。

综上所述，当前基于数据驱动的表情识别技术存在的弱点有：1、不同人做出表情的变化幅度不同；2、并未有包含更加丰富表情的数据公开，导致无法识别不在数据库之内的表情；3、一旦新增表情，整个模型就必须重新训练，这一步骤相当耗时，且随着表情种类的增多，机器学习模型的复杂度也需随之提高，避免欠拟合；4、具有较高复杂度的机器学习模型往往难以达到较好的实时性；5、基于图像的端到端表情识别容易受图像采集环境如光照等的影响。以上情况均限制了表情识别的使用场景和准确度。

发明内容

本发明提出一种基于人脸关键点与几何形变的快速表情识别及应用的方法，适用于避免受有限表情数据集约束的，基于人脸关键点几何形变程度的表情识别方法，尤其是对同类表情的夸张程度与表情种类丰富性具有严格区分的使用场景。

本发明的技术方案是这样实现的：

一种基于人脸关键点与几何形变的快速表情识别方法，包括以下步骤：

S1，采集图像，对原始图像进行人脸检测；

S2，对目标人脸进行68个面部关键点定位；

S3，采用内眼角中心与鼻尖的连线作为人脸坐标空间的垂直方向，从关键点中计算能表征嘴部形变程度的特征向量与间距；

S4，统计常规与极端表情的嘴型形变参数，根据获取的向量与距离，进行嘴型状态判别，查询表情定义表格，实现表情识别。

作为本发明的一个优选实施例，所述步骤S1中，预先采用目标检测算法的特征级联分类模块对场景进行人脸检测，将面积最大的检测框包含的人脸作为目标人脸。

作为本发明的一个优选实施例，步骤S3具体包括以下步骤：

S31，选取用于确定表情参数的人脸关键点，包括左右内眼角的中心点、鼻尖、内嘴唇、左右嘴角、上下嘴唇的中心点以及上下嘴唇中心的左右相邻点；

S32，计算能够表征嘴型的特征向量和判断嘴闭合与否的唇间距；特征向量包括内嘴唇轮廓线的上下嘴唇中心点与左右相邻点的连接向量、上下嘴唇中心点与左右嘴角的连接向量以及将左右眼角中心点与鼻尖的连线作为分割左右人脸的中心线；唇间距包括上下嘴唇最大间距、左右嘴角间距、上下嘴唇中心以及嘴唇中心距上下嘴唇与左右嘴角的间距。

作为本发明的一个优选实施例，步骤S4中统计常规与极端表情的嘴型形变参数，具体包括

从网络或公开数据集中提取人脸处于平静和极端情况时的人脸图像；

记录平静状态下，嘴唇与嘴角的向量与人脸中线的夹角浮动范围，嘴呈圆形时，上下嘴唇各自角度夹角范围；

将当前嘴型细分为嘴角形状与张闭嘴状态，张闭嘴状态包括闭嘴、张小嘴与张大嘴，嘴角状态包括单双嘴角上扬、下撇、平嘴、圆嘴以及嘴唇凸凹；

计算相关形变参数：上嘴唇中心与其左邻点夹角θ_1-9、右邻点夹角θ_2-9、左嘴角夹角θ_3-9、右嘴角夹角θ_4-9，下嘴唇中心与其左邻点夹角θ_7-9、右邻点夹角θ_9-9、左嘴角夹角θ_5-9、右嘴角夹角θ_6-9。其中θ_i-j表示向量V_i与V_j间的夹角，计算方法为：

作为本发明的一个优选实施例，步骤S4中，根据获取的向量与距离，进行嘴型状态判别，具体包括：

采用自顶向下方法，通过上下嘴唇与人脸中线的夹角，以及嘴唇、嘴角各自间距逐层判断，定义相关形变的层级关系为：第一层级：上扬、下撇、平、圆；第二层级：单唇凸、凹、平；

判断嘴角状态是否为圆嘴；

根据嘴角变形程度判断上扬、平嘴、下撇；

针对二级形变中上扬时的上嘴唇，与下撇时的下嘴唇的凸凹性进行计算。

作为本发明的一个优选实施例，判断嘴角状态是否为圆嘴具体包括以下两种方法：

通过标准差计算嘴唇的中心点到上下唇、左右嘴角的距离是否接近；

判断上下嘴唇中心到左右邻点的倾角是否满足圆形嘴的统计结果。

作为本发明的一个优选实施例，针对二级形变中上扬时的上嘴唇，与下撇时的下嘴唇的凸凹性进行计算具体包括：

上扬时上嘴唇凸凹状态的计算方法为：

下撇时下嘴唇凹凸状态的计算方法为：

一种基于人脸关键点与几何形变的快速表情应用的方法，具体包括以下步骤：

A，针对不同嘴型设计对应的卡通表情；

B，训练人脸检测的MobileNet-SSD模型，以及人脸关键点检测的MobileNet-V2模型，通过TensorFlow-Lite框架移植到手机端调用；

C，保持手机屏幕时刻有固定数量的表情展现在屏幕上，利用前置摄像头定时捕捉人脸，若检测到人脸，则进入关键点检测推断模型，反之则循环检测人脸；

D，判断人脸表情，消除屏幕上对应表情，并增加得分，随机新增另一表情显示。

本发明的有益效果在于：适用于避免受有限表情数据集约束的，基于人脸关键点几何形变程度的表情识别方法，尤其是对同类表情的夸张程度与表情种类丰富性具有严格区分的使用场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于人脸关键点与几何形变的快速表情识别方法一个实施例的流程图；

图2是本发明选取的人脸关键点与唇部内轮廓特征向量示意图。

图3是本发明在表情游戏实施中的嘴型-卡通表情匹配方案。

图4是本发明依据嘴唇与嘴角形变程度判别层级表情的流程。

图5是本发明对真实图像中夸张表情与emoji卡通表情的匹配结果；

图6为本发明一种基于人脸关键点与几何形变的快速表情应用方法一个实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提出了一种基于人脸关键点与几何形变的快速表情识别方法，包括以下步骤：

S1，采集图像，对原始图像进行人脸检测；从包括但不限于摄像头或本地文件管理器中获取图像。

步骤S1中，预先采用目标检测算法的特征级联分类模块对场景进行人脸检测，将面积最大的检测框包含的人脸作为目标人脸。当场景中有多张人脸时，若直接采用关键点检测算法，将极大加重系统运算负担，因此为抗人群干扰，提高运行效率，预先采用MobileNet-SSD或者OpenCV中的haar特征级联分类模块对场景进行人脸检测，将面积最大的检测框包含的人脸作为目标人脸，对其面部器官进行关键点定位。

S2，对目标人脸进行68个面部关键点定位；

利用MobileNet-SSD和MobileNet-V2分别在WIDERFACE和IBUG-330W上训练人脸检测模型与68个人脸关键点定位模型，随后级联作为输入图像的人脸关键点提取模型。使用MobileNet的好处在于此深度学习模型已在移动设备中被广泛使用，其在视觉任务(如目标追踪，物体分类)中对运行时效与模型准确度所达到的均衡性也得到肯定，因此可满足大部分实时场景的使用，当然也可以替换为OpenCV、DLib或其它相关论文中提供的特征点检测模块，由于此技术已相当成熟，故不再赘述其它替换方案。考虑到系统运行实时性与识别结果的稳定性，我们观察了利用MobileNet-V2进行关键点定位的结果，发现：①不同人的眉毛长短与颜色浓淡程度不同，在定位的时候会发生严重的抖动与偏移；②眼睑属于更为精细的部分，同样无法稳定且精确定位；③人脸轮廓在非面向镜头的情况下，无法准确获取被遮挡区域。而模型对于区分度较高的面部器官(如内外眼角、嘴唇轮廓、鼻尖)，具有良好的定位效果，因此将这些稳定点作为候选关键点。

S3，采用内眼角中心与鼻尖的连线作为人脸坐标空间的垂直方向，从关键点中计算能表征嘴部形变程度的特征向量与间距；步骤S3具体包括以下步骤：

S31，选取用于确定表情参数的人脸关键点，具体为：左右内眼角(40,43)的中心点、鼻尖(34)、内嘴唇(61-68)；其中定义第61、65关键点分别为左右嘴角，63、67分别为上下嘴唇的中心点，62、64、68、66分别为上下嘴唇中心的左右相邻点。

S32，计算能够表征嘴型的特征向量和判断嘴闭合与否的唇间距；如图2所示，提取9个空间向量，其中前8个向量涵盖了内嘴唇轮廓线的上下嘴唇中心点与左右相邻点的连接向量(V1，V2，V7，V8)，以及上下嘴唇中心点与左右嘴角的连接向量(V3-V6)；将左右眼角中心点与鼻尖的连线作为分割左右人脸的中心线V9，当输入人脸倾斜时，可据此将人脸对齐，确定正脸方向。除相关向量的计算外，还需获取以下距离：

左右内眼角间距：d1＝P_40-43；

上下嘴唇最大间距：d2＝max(P_62-68，P_63-67，P_64-66)；

左右嘴角间距：d3＝P_61-65；

上下嘴唇中心：

嘴唇中心距上下嘴唇与左右嘴角的间距依次为：

d4＝P_center-63；d5＝P_center-67；d6＝P_center-61；d7＝P_center-65；

其中两点间欧式距离的计算方法为

利用提取的68个人脸关键点，在当前坐标空间中计算出图2所表示的特征向量(V1-V9)，其中中线向量V9是由左右内眼角坐标的中心位置到鼻尖坐标的向量，将其作为左右面部的分割向量，主要原因在于人脸关键点提取时，针对不同的肤色或光暗度，眉毛(18-27)和鼻梁(28-31)经常发生抖动，而左右眼角与鼻尖特征部位凸出，关键点较为稳定，且从生物学角度上观测，刚好适合作为人脸的对称中线。此外，图3中标记点为上下唇中心点，用于判断嘴是否呈圆形。从候选关键点中获取能够表征人脸几何形变程度的特征向量。观察发现，嘴唇的大小与厚度因人而异，厚嘴唇的外轮廓接近圆形，因而将唇部内轮廓作为嘴型判别依据。此外，考虑到小孩与成人嘴的大小不同，造成了判断嘴张合程度时不能统一阈值，因而将内眼角距作为参照距离，判断闭嘴，张小嘴或者张大嘴的情况。特别地，在实际使用中，用户人脸通常会发生一定程度的倾斜，为矫正嘴角倾斜角度的计算结果，考虑到鼻部仅有鼻尖定位较为稳定，因此采用内眼角中心与鼻尖的连线作为人脸坐标空间的垂直方向，所有向量的倾角计算均以此为基准。

S4，统计常规与极端表情的嘴型形变参数，根据获取的向量与距离，进行嘴型状态判别，查询表情定义表格，实现表情识别。

步骤S4中统计常规与极端表情的嘴型形变参数，具体包括：

从网络或公开数据集(FER2013、JAFFE等)中提取人脸处于平静和极端情况(闭嘴持平，张大嘴呈圆形)时的人脸图像；记录平静状态下，嘴唇与嘴角的向量与人脸中线的夹角浮动范围，嘴呈圆形时，上下嘴唇各自角度夹角范围；经统计可发现平静状态下，嘴唇与嘴角的向量(V3-V6)与人脸中线(V9)的夹角浮动范围在85°～95°；而当嘴呈圆形时，上下嘴唇各自角度即V1与V2的夹角和V7与V8的夹角在60°～80°。

本发明将当前嘴型细分为嘴角形状与张闭嘴状态，张闭嘴状态包括闭嘴、张小嘴与张大嘴，嘴角状态包括单双嘴角上扬、下撇、平嘴、圆嘴以及嘴唇凸凹；

对于不同的人脸，其嘴唇大小不同，因而很难依据唇间距来判断张开程度，此外也需注意关键点检测通常无法在嘴闭合的情况下将内嘴唇上下对应的关键点重合构成一条直线，缝隙是无法避免的，为消除其影响，本发明以左右眼角的间距作为参考距离，以0.15与0.25倍距作为判断嘴张开程度的依据，即：

关于嘴角状态，则被细分为单双嘴角上扬、下撇、平嘴、圆嘴以及嘴唇凸凹等共九种情形。需预计算相关形变参数：上嘴唇中心与其左邻点夹角θ_1-9、右邻点夹角θ_2-9、左嘴角夹角θ_3-9、右嘴角夹角θ_4-9，下嘴唇中心与其左邻点夹角θ_7-9、右邻点夹角θ_8-9、左嘴角夹角θ_5-9、右嘴角夹角θ_6-9。其中θ_i-j表示向量V_i与V_j间的夹角，计算方法为：

步骤S4中，根据获取的向量与距离，进行嘴型状态判别，具体包括：

在图3细分的九种表情中，部分存在共通特征，如“上嘴唇平、上嘴唇凸、上嘴唇凹”，均由嘴角上扬的表情细分而来，因此可采用自顶向下方法，通过上下嘴唇与人脸中线的夹角，以及嘴唇、嘴角各自间距逐层判断，定义相关形变的层级关系为：第一层级：上扬、下撇、平、圆；第二层级：单唇凸、凹、平；

判断嘴角状态是否为圆嘴；

根据嘴角变形程度判断上扬、平嘴、下撇；

针对二级形变中上扬时的上嘴唇，与下撇时的下嘴唇的凸凹性进行计算。

嘴呈圆形是一种比较特殊的情况，因为上下嘴唇分别呈凸形与凹形，这与细分表情“上扬(上嘴唇凸)”和“下撇(下嘴唇凹)”极为相似，但隶属于不同层级，因此需先将圆形嘴型区分开，有两种判别方案：

①通过标准差计算嘴唇的中心点到上下唇、左右嘴角的距离是否接近；

当且仅当σ＜5.0时，即可判断当前嘴呈圆形。

②判断上下嘴唇中心到左右邻点的倾角是否满足圆形嘴的统计结果。

当且仅当60°≤θ_down≤θ_up≤80°，即可判断当前嘴呈圆形。

以上两种判别条件均不符合时，便可依据嘴角变形程度判断上扬、平、下撇。嘴角形变程度由唇部形变均值确定：

其中

最后便是针对二级形变中上扬时的上嘴唇，与下撇时的下嘴唇的凸凹性进行计算，通常情况下，高兴表情不会出现下嘴唇下撇，或者沮丧表情出现上嘴唇上扬情况，因而不考虑上扬时的下嘴唇与下撇时的上嘴唇状态。

上扬时上嘴唇凸凹状态的计算方法为：

下撇时下嘴唇凹凸状态的计算方法为：

通过提取出两类嘴型特征(闭合程度、凹凸程度)后，即可在表中查询出对应表情。本发明实施案例中，表情分类过程不依赖具体的表情数据库做匹配，因此除图3中表格的表头不可变动外，其余表格内容均可依据具体使用场景灵活变动。此外，由于此步骤实现方法简单，运算速度较快，因而对系统实时性不会造成太大影响。

本发明为区分细微和夸张表情，以及脱离数据集中固有表情种类的约束，在观测嘴型对各表情的表征程度后，将表情进行层级划分，一级表情为粗糙划分为平静、积极、消极类别，二级表情则是对一级表情的细化，如微笑、咧嘴笑、大笑等同属积极表情分支，同理，沮丧、大哭等则为消极表情。以上描述受具体使用环境的变动可定义不同的层级关系，不受本发明约束。据此，本发明定义了表情识别的流程为先依据嘴角倾斜程度与闭合情况确定一级标签，随后利用嘴唇轮廓的凹凸情况确定隶属的二级标签。

如图6所示，本发明还提出了一种基于人脸关键点与几何形变的快速表情应用的方法，将本发明提供的表情识别方法应用到手机端的表情游戏上，具体包括以下步骤：

A，针对不同嘴型设计对应的卡通表情；

B，训练人脸检测的MobileNet-SSD模型，以及人脸关键点检测的MobileNet-V2模型，通过TensorFlow-Lite框架移植到手机端调用；

C，保持手机屏幕时刻有固定数量的表情展现在屏幕上，利用前置摄像头定时捕捉人脸，若检测到人脸，则进入关键点检测推断模型，反之则循环检测人脸；

D，判断人脸表情，消除屏幕上对应表情，并增加得分，随机新增另一表情显示。

经实验验证，本发明提出的一种结合人脸中线，计算两类嘴型状态的表情识别方法，在基于人脸关键点检测的前提下，能够对细微和夸张表情达到较好的识别效果。

图5展示了在不同分辨率下，人脸具有不同朝向时，采用本发明的表情识别流程所提取出的嘴型以及识别的对应卡通表情，各图的上方标题所示为对应的嘴型标签，右上角的小表情对应从图3中检索出的卡通表情。在时间效率上，MobileNet为基于深度学习的移动端适用模型，人脸检测和面部器官关键点定位模块总耗时能保证在70ms以内(依据不同使用设备有不同速率)。实践中，为保证执行速度，在某种程度上牺牲了模型准确率，经测试发现其在人眼和眉毛的检测上准确率较低，这就导致了传统的基于多个人脸特征点的表情匹配算法容易发生误匹配现象。本发明采用仅包含内眼角、鼻尖、内嘴唇在内的共11个人脸关键点，利用尽量少的且检测较准确的关键点识别人脸表情，保证了系统稳定性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于人脸关键点与几何形变的快速表情识别方法，其特征在于，包括以下步骤：

S1，采集图像，对原始图像进行人脸检测；

S2，对目标人脸进行68个面部关键点定位；

S3，采用内眼角中心与鼻尖的连线作为人脸坐标空间的垂直方向，从关键点中计算能表征嘴部形变程度的特征向量与间距；

S4，统计常规与极端表情的嘴型形变参数，根据获取的向量与距离，进行嘴型状态判别，查询表情定义表格，实现表情识别；

其中，所述根据获取的向量与距离，进行嘴型状态判别，具体包括：

采用自顶向下方法，通过上下嘴唇与人脸中线的夹角，以及嘴唇、嘴角各自间距逐层判断，定义相关形变的层级关系为：第一层级：上扬、下撇、平嘴、圆嘴；第二层级：单唇凸、凹、平；

判断嘴角状态是否为圆嘴；

若所述嘴角状态不是圆嘴，则根据嘴角变形程度判断上扬、平嘴、下撇；

针对二级形变中上扬时的上嘴唇，与下撇时的下嘴唇的凸凹性进行计算。

2.根据权利要求1所述的基于人脸关键点与几何形变的快速表情识别方法，其特征在于，所述步骤S1中，预先采用目标检测算法的特征级联分类模块对场景进行人脸检测，将面积最大的检测框包含的人脸作为目标人脸。

3.根据权利要求1所述的基于人脸关键点与几何形变的快速表情识别方法，其特征在于，步骤S3具体包括以下步骤：

S31，选取用于确定表情参数的人脸关键点，包括左右内眼角的中心点、鼻尖、内嘴唇轮廓点、左右嘴角、内嘴唇轮廓线的上下嘴唇的中心点及其左右相邻点；

S32，计算能够表征嘴型的特征向量和判断嘴闭合与否的唇间距；特征向量包括内嘴唇轮廓线的上下嘴唇中心点与左右相邻点的连接向量、内嘴唇轮廓线的上下嘴唇中心点与左右嘴角的连接向量以及将左右眼角中心点与鼻尖的连线作为分割左右人脸的中心线；唇间距包括上下内嘴唇最大间距、左右嘴角间距、内嘴唇轮廓线的上下嘴唇中心以及嘴唇中心距上下内嘴唇与左右嘴角的间距。

4.根据权利要求3所述的基于人脸关键点与几何形变的快速表情识别方法，其特征在于，步骤S4中统计常规与极端表情的嘴型形变参数，具体包括

从网络或公开数据集中提取人脸处于平静和极端情况时的人脸图像；

记录平静状态下，嘴唇与嘴角的向量与人脸中线的夹角浮动范围，嘴呈圆形时，上下嘴唇各自角度夹角范围；

将当前嘴型细分为嘴角形状与张闭嘴状态，张闭嘴状态包括闭嘴、张小嘴与张大嘴，嘴角状态包括单双嘴角上扬、下撇、平嘴、圆嘴以及嘴唇凸凹；

计算相关形变参数：上嘴唇中心与其左邻点夹角θ_1-9、右邻点夹角θ_2-9、左嘴角夹角θ_3-9、右嘴角夹角θ_4-9，下嘴唇中心与其左邻点夹角θ_7-9、右邻点夹角θ_8-9、左嘴角夹角θ_5-9、右嘴角夹角θ_6-9，其中θ_i-j表示向量V_i与V_j间的夹角，计算方法为：

其中，向量V₁，V₂，V₇，V₈分别为内嘴唇轮廓线的上下嘴唇中心点与左右相邻点的连接向量，向量V₃-V₆分别为内嘴唇轮廓线的上下嘴唇中心点与左右嘴角的连接向量，向量V₉为左右眼角中心点与鼻尖的连接向量。

5.根据权利要求4所述的基于人脸关键点与几何形变的快速表情识别方法，其特征在于，判断嘴角状态是否为圆嘴具体包括以下两种方法：

通过标准差计算嘴唇的中心点到上下唇、左右嘴角的距离是否接近；

判断上下嘴唇中心到左右邻点的倾角是否满足圆形嘴的统计结果。

6.根据权利要求5所述的基于人脸关键点与几何形变的快速表情识别方法，其特征在于，针对二级形变中上扬时的上嘴唇，与下撇时的下嘴唇的凸凹性进行计算具体包括

上扬时上嘴唇凸凹状态的计算方法为：

下撇时下嘴唇凹凸状态的计算方法为：

7.一种基于人脸关键点与几何形变的快速表情应用的方法，基于权利要求1-6任一项实现，其特征在于，具体包括以下步骤：

A，针对不同嘴型设计对应的卡通表情；

B，训练人脸检测的MobileNet-SSD模型，以及人脸关键点检测的MobileNet-V2模型，通过TensorFlow-Lite框架移植到手机端调用；

C，保持手机屏幕时刻有固定数量的表情展现在屏幕上，利用前置摄像头定时捕捉人脸，若检测到人脸，则进入关键点检测推断模型，反之则循环检测人脸；

D，判断人脸表情，消除屏幕上对应表情，并增加得分，随机新增另一表情显示。

Images