CN113343927A - 一种适用于面瘫患者的智能化人脸识别方法和系统 - Google Patents

Abstract

本发明提出了一种适用于面瘫患者的智能化人脸识别方法和系统，该方法包括：获取面瘫患者的横向转角图像，横向转角图像与患者正脸图像尺寸相同，横向转角图像中每个像素值表征该像素位于侧脸面部边界处时患者脸部的横向转动角度；根据患者病情信息和横向转角图像得到最佳脸部偏转角度，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像，患者侧脸图像中患者病变位置被遮挡；对患者侧脸图像进行转正得到患者健康人脸图像，根据患者健康人脸图像对患者进行人脸识别。本发明中提出了针对面瘫患者的人脸识别技术方案，消除了面瘫患者病变位置对人脸识别的影响，能够准确对面瘫患者进行人脸识别。

Description

一种适用于面瘫患者的智能化人脸识别方法和系统

技术领域

本申请涉及人工智能领域，具体涉及一种适用于面瘫患者的智能化人脸识别方法和系统。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，近些年发展十分迅速，应用于各个场景，除了安防、金融领域外，人脸识别还在交通、教育、医疗、警务、电子商务等诸多场景实现了广泛应用。目前的人脸识别，往往是利用当前采集的人脸图像与身份库内的人脸进行相似性比较，从而进行人脸识别。

但是在实际应用中，即时采集的人脸与之前人脸库中的人脸差异是比较大的，很难进行人脸识别。若是仅依据人脸局部的特征来进行识别，势必会降低识别的准确性。

对于脸瘫患者，人脸识别时，其面部发生了病变，此时实时采集到的面部的部分特征与无病变时面部特征不同，就很容易造成识别不出或者识别错误的情况。

发明内容

针对上述问题，本发明提出了一种适用于面瘫患者的智能化人脸识别方法和系统，所采用的技术方案如下：

获取面瘫患者的横向转角图像，横向转角图像与患者正脸图像尺寸相同，横向转角图像中每个像素值表征该像素位于侧脸面部图像边界处时患者脸部的横向转动角度；

根据患者病情信息和横向转角图像得到最佳脸部偏转角度，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像，患者侧脸图像中患者病变位置被遮挡；

对患者侧脸图像进行转正得到患者健康人脸图像，根据患者健康人脸图像对患者进行人脸识别。

优选地，所述获取面瘫患者的横向转角图像包括：将患者的面部形状参数输入转角推理网络得到患者的横向转角图像。

优选地，所述患者的面部形状参数获取包括：使用模型推理网络对患者面部深度图像进行推理，得到对应深度图像人脸模型的形状参数。

优选地，患者健康人脸图像特征点为第一特征点集，库存患者健康人脸图像特征点为第二特征点集；

以鼻尖为原点，建立极坐标系，计算第一、第二特征点集其他特征点到对应原点的距离和角度；

根据特征点在横向转角图像中像素值角以及最佳脸部偏转角度得到转角影响系数；

获取第一、第二特征点集中相同类别特征点到原点的距离差异、角度差异，根据该类别特征点对应的转角影响系数对距离差异、角度差异进行修正得到修正差异，根据所有类别特征点的修正差异得到患者健康人脸图像与库存患者健康人脸图像相似度，从而进行人脸识别。

本申请还提供了一种适用于面瘫患者的智能化人脸识别系统，该系统主要包括：

横向转角图像获取模块，用于获取面瘫患者的横向转角图像，横向转角图像与患者正脸图像尺寸相同，横向转角图像中每个像素值表征该像素位于侧脸面部图像边界处时患者脸部的横向转动角度；

最佳脸部偏转角度获取模块，用于根据患者病情信息和横向转角图像得到最佳脸部偏转角度，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像，患者侧脸图像中患者病变位置被遮挡；

患者健康人脸图像获取模块，用于对患者侧脸图像进行转正得到患者健康人脸图像，根据患者健康人脸图像对患者进行人脸识别。

本技术方案有如下有益效果：

现有人脸识别领域中针对面瘫患者的人脸识别是无涉及的，在本发明中提出了针对面瘫患者的人脸识别技术方案，利用横向转角图像得到患者所需转动角度，消除了面瘫患者病变位置对人脸识别的影响，能够准确对面瘫患者进行人脸识别。利用神经网络获取患者对应的横向转角图像，无需对患者转动角度进行调试，提高了面瘫识别的效率。

附图说明

图1为本发明的流程图。

图2为图像采集时角度值与相对关系的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的视频通讯数据高效压缩方法和系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

实施例1：

本发明所针对的场景为：面瘫患者的面部病变区域以及病情的恶化和康复，这和健康时的人脸特征都是有区别的，而身份库内的面部信息是患者健康时的信息，例如身份证等证件信息，这样一来对于面瘫患者的人脸识别都是有很大影响的。直接比较有病变的人脸和健康的人脸，很容易操作误识别，误判断。首先，获取面瘫患者的横向转角图像，横向转角图像与患者正脸图像尺寸相同，横向转角图像中每个像素值表征该像素位于侧脸面部图像边界处时患者脸部的横向转动角度。即当患者头部横向转动像素值对应的角度后采集患者侧脸图像，则该像素位于所得侧脸图像的面部边界。具体如下：

1.本发明的流程图如图1所示。在进行人脸识别前可先利用病情识别网络对待识别对象进行病情判断。训练病情识别网络，对患者的面部图像进行处理，得到病情信息，需要对采集到的人脸图像进行判断，识别其是否为面瘫患者图像，同时给出患者病变的程度和区域。所述病情识别网络的具体内容如下：

1)该网络具有两个分支分别为病情判断分支和病情分割分支。其中病情判断分支的结构为Encoder-FC结构，输出图像对应的病情分类结果。病情分割分支为Encoder-Decoder结构，输出图像为对应的病情语义分割结果图像。

2)网络使用数据集为采集的面瘫患者图像及少量正常人脸图像，图像包括正脸图像和侧脸图像。

3)网络具有两个分支，所以不同分支需要的标签不同，对应的损失函数也不相同。

4)病情判断分支用于判断采集人脸图像对应的面瘫病变区域即病变程度等级。该分支为序列标签。

对应标签形式为：[qy1,qy2,qy3,qy4,qy5,qy6],分别对应左眼部位、右眼部位、左鼻唇沟、右鼻唇沟、左嘴角、右嘴角的病变程度。对于健康人脸图像，其值都为0。否则，对应区域病变程度划分为0-9的等级。损失函数采用均方误差损失函数。

5)病情分割分支用于分割出面部上的病变区域。该分支为语义分割标签。

对应的标签为同比例尺寸的语义分割图像，其中背景像素标记为0，人脸像素标记为1，病变区域标记为2。损失函数采用交叉熵损失函数。采集的患者人脸图像经过病情识别网络后，可推理得到对应的病变区域与病变等级，以及对应的病情语义分割图像。

2.构建转角推理网络的标签图像

本发明所述的标签图像为以训练图像对应的横向转角图像，其与患者正脸图像尺寸大小相同，初始化像素值均为0。

训练图像的标签图像获得过程为：

1)构建训练图像对应的三维人脸模型。例如3DMM(3D Morphable Models)模型。

2)如图2所示于模型鼻尖高度架设相机进行图像的采集，从人脸右侧环绕至左侧，采集各偏转角度下的侧脸图像。采集范围为脸部左侧到右侧180°的范围，以步长m°进行采集，则共需采集180/m张图像。

3)构建与人脸模型正脸图像尺寸相同的横向转角图像，确定侧脸图像边界处像素在横向转角图像中的像素位置，该像素位置的像素值为侧脸图像的横向转动角度。

4)横向转角图像其他位置的像素通过邻域像素拟合插值赋值。至此，得到该标签图像。

3.将患者的面部形状参数输入转角推理网络得到患者的横向转角图像。

不同的人脸，其对应的横向转角图像应是不同的。本发明通过DNN网络来实现横向转角图像的自适应生成，具体为：

采集患者正脸深度图像，使用模型推理网络对人脸深度图像进行推理，得到对应深度图像的人脸模型的面部形状参数Shape Vector。模型推理网络的训练细节为：

训练数据：不断调整模型的形状参数，得到以鼻尖为原点的深度图像，即训练图像。以深度图像为输入数据，以形状参数为标签数据，进行网络训练。Loss使用均方误差损失函数。

再使用转角推理网络对模型形状参数进行推理，得到对应的人脸横向转角图像。转角推理网络的训练细节为：

训练数据：不断调整模型的形状参数，以构建标签图像的方法，得到对应的人脸横向转角图。以模型参数为输入数据，以人脸横向转角图像为标签，进行网络训练Loss使用均方误差损失函数。

进一步地，根据患者病情信息和横向转角图像得到最佳脸部偏转角度，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像，患者侧脸图像中患者病变位置被遮挡。

将患者病情语义分割图像与对应人脸横向转角图像进行对齐操作，使得两图像对应位置能够匹配。病变往往是出现在患者的单侧人脸的，所以先对病变区域进行单侧判断，识别病变在左侧还是右侧，对病变区域进行连通域分析，得到对应中心点坐标，比较该坐标与人脸框中心点的坐标，实现单侧判断。若是左侧病变，则获得病变区域的最右侧像素点；若是右侧病变，则获得病变区域的最左侧像素点。病变区域的最左侧或最右侧像素点对应的角度(横向转角)即为患者所需转动的角度，该角度下的侧脸图像，能够避免病变区域对侧脸转正的影响。

此外，为提高人脸识别精度，使用病情判断网络对所需的横向转动角度进行二次调整，得到患者人脸的最终转角和对应的侧脸图像。具体地使用病情判断网络对该侧脸图像推理，若结果无病变，则该转动角度为最佳脸部转动角度，若存在病变，则需在此基础上，继续向对应侧转动，最后得到最佳脸部转动角度Ds，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像。

最后，对患者侧脸图像进行转正得到患者健康人脸图像，根据患者健康人脸图像对患者进行人脸识别。

采集到患者的无病变症状的健康侧脸图像，之后训练大角度侧脸转正网络，利用训练完成的大角度侧脸转正网络对健康侧脸图像进行推理，得到基于该健康侧脸的健康正脸图像。

将推理得出的患者健康正脸图像与库存的患者健康正脸图像进行相似性比较，完成人脸识别。

具体为：利用关键点识别网络提取人脸landmark特征点，患者健康正脸图像的特征点集为第一特征点集，标记为p，库存患者健康正脸图像特征点集为第二特征点集，标记为q。其中每个特征点集特征点的数量为SM。获取患者健康人脸图像与库存健康人脸图像相同类别特征点的描述差异，本发明中以相同类别特征点的距离和角度作为其描述差异。

以鼻尖点为原点，建立极坐标系，以原点为基准得到第一特征点集、第二特征点集除鼻尖点外其他特征点相对于原点的距离r和角度θ，以此描述其他特征点。

结合横向转角图像对患者健康正脸图像和库存患者健康正脸图像进行相似性比较：

其中ls为对应特征点的转角影响系数，由特征点在横向转角图像中的像素值Ms以及最佳脸部转动角度得到转角影响系数，根据转角影响系数对特征点的描述差异进行修正得到修正差异，得到所有类别特征点的修正差异，从而得到患者健康人脸图像与库存将康人脸图像的相似度，达到对面瘫患者进行人脸识别的目的。

不同病变位置，ls的计算不同：

Ds小于0，人脸左侧为病变区域，Ms-Ds越小，影响越小。若Ms-Ds小于0则ls值为1；

Ds大于0，人脸右侧为病变区域，Ms-Ds小于0，则ls值为1。

当Ds＜0，即人脸左侧发生病变。

当Ds＞0，即人脸右侧发生病变。

以上所述仅为本发明的较佳实施例，并不用于限制本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

实施例2

本实施例提供了一种系统实施例。一种适用于面瘫患者的智能化人脸识别系统，该系统主要包括横向转角图像获取模块、最佳脸部偏转角度获取模块和患者健康人脸图像获取模块，具体为：

横向转角图像获取模块，用于获取面瘫患者的横向转角图像，横向转角图像与患者正脸图像尺寸相同，横向转角图像中每个像素值表征该像素位于侧脸面部图像边界处时患者脸部的横向转动角度；

最佳脸部偏转角度获取模块，用于根据患者病情信息和横向转角图像得到最佳脸部偏转角度，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像，患者侧脸图像中患者病变位置被遮挡；

患者健康人脸图像获取模块，用于对患者侧脸图像进行转正得到患者健康人脸图像，根据患者健康人脸图像对患者进行人脸识别。

Claims (10)

1.一种适用于面瘫患者的智能化人脸识别方法，其特征在于，该方法包括：

获取面瘫患者的横向转角图像，横向转角图像与患者正脸图像尺寸相同，横向转角图像中每个像素值表征该像素位于侧脸图像面部边界处时患者脸部的横向转动角度；

根据患者病情信息和横向转角图像得到最佳脸部偏转角度，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像，患者图像侧脸图像中患者病变位置被遮挡；

对患者侧脸图像进行转正得到患者健康人脸图像，根据患者健康人脸图像对患者进行人脸识别。

2.根据权利要求1所述的方法，其特征在于，所述获取面瘫患者的横向转角图像包括：将患者的面部形状参数输入转角推理网络得到患者的横向转角图像。

3.根据权利要求1所述的方法，其特征在于，所述患者的面部形状参数获取包括：使用模型推理网络对患者面部深度图像进行推理，得到对应深度图像人脸模型的形状参数。

4.根据权利要求1所述的方法，其特征在于，所述根据患者健康人脸图像对患者进行人脸识别包括：根据特征点在横向转角图像中的像素值以及最佳脸部偏转角度得到转角影响系数；

获取患者健康人脸图像与库存健康人脸图像相同类别特征点的描述差异，根据转角影响系数对特征点的描述差异进行修正得到修正差异；根据所有类别特征点的修正差异得到患者健康人脸图像与库存健康人脸图像的相似度，根据相似度得到人脸识别结果。

5.根据权利要求2所述的方法，其特征在于，所述转角推理网络以训练图像对应的横向转角图像为标签图像，训练图像的标签图像获取包括：构建训练图像对应的三维人脸模型，以人脸模型鼻尖的高度架设模拟相机，采集人脸模型横向转动时的图像得到不同横向转动角度对应的侧脸图像；

构建与人脸模型正脸图像尺寸相同的横向转角图像，确定侧脸图像面部边界处像素在横向转角图像中的像素位置，该像素位置的像素值为侧脸图像的横向转动角度；横向转角图像其他位置的像素值通过邻域像素拟合插值赋值。

6.一种适用于面瘫患者的智能化人脸识别系统，其特征在于，系统包括：

横向转角图像获取模块，用于获取面瘫患者的横向转角图像，横向转角图像与患者正脸图像尺寸相同，横向转角图像中每个像素值表征该像素位于侧脸图像面部边界处时患者脸部的横向转动角度；

最佳脸部偏转角度获取模块，用于根据患者病情信息和横向转角图像得到最佳脸部偏转角度，使患者以最佳脸部偏转角度横向转动得到患者侧脸图像，患者侧脸图像中患者病变位置被遮挡；

患者健康人脸图像获取模块，用于对患者侧脸图像进行转正得到患者健康人脸图像，根据患者健康人脸图像对患者进行人脸识别。

7.根据权利要求6所述的系统，其特征在于，横向转角图像获取模块还用于将患者的面部形状参数输入转角推理网络得到患者的横向转角图像。

8.根据权利要求6所述的系统，其特征在于，横向转角图像获取模块还包括患者面部深度图像形状参数获取子模块，用于使用模型推理网络对患者面部深度图像进行推理，得到对应深度图像人脸模型的形状参数。

9.根据权利要求6所述的系统，其特征在于，患者健康人脸图像获取模块还包括人脸识别子模块，用于根据特征点在横向转角图像中的像素值以及最佳脸部偏转角度得到转角影响系数；

获取患者健康人脸图像与库存健康人脸图像相同类别特征点的描述差异，根据转角影响系数对特征点的描述差异进行修正得到修正差异；根据所有类别特征点的修正差异得到患者健康人脸图像与库存健康人脸图像的相似度，根据相似度得到人脸识别结果。

10.根据权利要求6所述的系统，其特征在于，所述横向转角图像获取模块，还用于构建训练图像对应的三维人脸模型，以人脸模型鼻尖的高度架设模拟相机，采集人脸模型横向转动时的图像得到不同横向转动角度对应的侧脸图像；

构建与人脸模型正脸图像尺寸相同的横向转角图像，确定侧脸图像面部边界处像素在横向转角图像中的像素位置，该像素位置的像素值为侧脸图像的横向转动角度；横向转角图像其他位置的像素值通过邻域像素拟合插值赋值。

Images