CN114842544A - 一种适用于面瘫患者的智能化人脸识别方法和系统 - Google Patents

一种适用于面瘫患者的智能化人脸识别方法和系统 Download PDF

Info

Publication number
CN114842544A
CN114842544A CN202210776519.3A CN202210776519A CN114842544A CN 114842544 A CN114842544 A CN 114842544A CN 202210776519 A CN202210776519 A CN 202210776519A CN 114842544 A CN114842544 A CN 114842544A
Authority
CN
China
Prior art keywords
lesion
face
face image
facial paralysis
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210776519.3A
Other languages
English (en)
Other versions
CN114842544B (zh
Inventor
吕新远
戴兵
刘驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Bro Information Technology Co ltd
Original Assignee
Jiangsu Bro Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Bro Information Technology Co ltd filed Critical Jiangsu Bro Information Technology Co ltd
Priority to CN202210776519.3A priority Critical patent/CN114842544B/zh
Publication of CN114842544A publication Critical patent/CN114842544A/zh
Application granted granted Critical
Publication of CN114842544B publication Critical patent/CN114842544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种适用于面瘫患者的智能化人脸识别方法与系统。方法包括：获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变信息编码；利用变分自编码网络的解码器对可控病变信息编码进行解码得到人脸图像对应的病变人脸图像；根据人脸数据库中每张人脸图像对应病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。本发明解决了面瘫患者直接进行人脸识别容易出现识别错误的问题，提高了面瘫患者的人脸识别的合理性和准确性，并且使面瘫患者的人脸识别的速度也进一步得到了提升。

Description

一种适用于面瘫患者的智能化人脸识别方法和系统
技术领域
本发明涉及人脸识别和人工智能领域，具体涉及一种适用于面瘫患者的智能化人脸识别方法和系统。
背景技术
人脸识别技术在近几年出现了爆发式增长，从全球人脸识别技术领域的应用场景布局来看，安防、金融、交通、零售、教育、医疗等领域都有较多应用场景，为经济社会的发展以及人们日常生活的便捷带来了新机遇。
而现实生活中，人脸识别时也会遇到一些问题，例如实时采集到的人脸与人脸库中的人脸差异较大，很难进行人脸识别，此时使用局部的特征进行识别，又会降低识别的准确性，这一问题对于面瘫患者尤为突出，面瘫患者在进行人脸识别时，由于其面部发生了病变，所以其面部的部分特征必定与无病变时的面部特征不同，这个时候用病变人脸图像和人脸库中的健康人脸进行相似度对比，会有较大的误差，难以进行准确的人脸识别。
发明内容
针对上述问题，本发明提出了一种适用于面瘫患者的智能化人脸识别方法和系统，所采用的技术方案如下：
第一方面，本发明一个实施例提供了一种适用于面瘫患者的智能化人脸识别方法。所采用的技术方案具体如下：获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；
将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变信息编码；利用变分自编码网络的解码器对可控病变信息编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；
根据人脸数据库中每张人脸图像对应病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
优选地，获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码包括：将待识别面瘫患者人脸根据病变位置分为包括左眼区域、右眼区域、左嘴角区域、右嘴角区域的多个区域；以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；在映射后的人脸图像中，获得正常眼睛外交点和病变眼睛外眼角点坐标组成的眼睛区域的病变向量，获得正常嘴角点和病变嘴角点坐标组成的嘴巴区域的病变向量；根据眼睛和嘴巴区域的病变向量获得包含面瘫患者的病变位置、病变方向和病变程度的病变信息编码。
优选地，重映射网络的训练过程包括：在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码；将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络，输出人脸图像训练样本的可控病变信息编码；对可控病变信息编码解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
优选地，重映射网络的损失函数为：
Figure DEST_PATH_IMAGE001
Y
Figure 354916DEST_PATH_IMAGE002
为根据可控病变信息编码生成的病变人脸图像，Y为不同病变信息对应的真值 病变人脸图像，N为训练样本数量，
Figure DEST_PATH_IMAGE003
为生成的病变人脸图像和真值病变人脸图像的 距离；
Figure 396690DEST_PATH_IMAGE004
、
Figure 858983DEST_PATH_IMAGE005
分别为第i个、第j个训练样本的病变信息编码；
Figure 191876DEST_PATH_IMAGE006
、
Figure 193199DEST_PATH_IMAGE007
分别为第i个、第j个 样本对应的重映射网络输出第k维的采样值；
Figure 953344DEST_PATH_IMAGE008
分别为第i个、第j个训练样本的均值 向量中第k维均值，
Figure 908793DEST_PATH_IMAGE009
分别为第i个、第j个训练样本的标准差向量中第k维标准差。
优选地，根据人脸数据库中每张人脸图像对应病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别包括：获取与待识别面瘫患者面部图像相似度最高的病变人脸图像，病变人脸图像对应的人脸数据库的人脸图像为面瘫患者的健康人脸图像，完成对面瘫患者的人脸识别。
第二方面，本发明另一个实施例提供了一种适用于面瘫患者的智能化人脸识别系统。该系统包括：病变信息编码获取模块，用于获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；
病变人脸图像生成模块，用于将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变编码；利用变分自编码网络的解码器对可控病变编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；
人脸识别模块，用于根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
优选地，病变信息编码获取模块还用于将待识别面瘫患者人脸根据病变位置分为包括左眼区域、右眼区域、左嘴角区域、右嘴角区域的多个区域；以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；在映射后的人脸图像中，获得正常和病变眼睛外眼角点坐标组成的眼睛区域的病变向量，获得正常和病变嘴角点坐标组成的嘴巴区域的病变向量；根据眼睛和嘴巴区域的病变向量获得包含面瘫患者的病变位置、病变方向和病变程度的病变信息编码。
优选地，病变人脸图像生成模块还用于在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码；将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络，输出人脸图像训练样本的可控病变信息编码；对可控病变信息编码解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
优选地，病变人脸图像生成模块中重映射网络的损失函数为：
Figure 45376DEST_PATH_IMAGE001
Y
Figure 166785DEST_PATH_IMAGE002
为根据可控病变信息编码生成的病变人脸图像，Y为不同病变信息对应的真值 病变人脸图像，N为训练样本数量，
Figure 566673DEST_PATH_IMAGE003
为生成的病变人脸图像和真值病变人脸图像的距 离；
Figure 743839DEST_PATH_IMAGE004
、
Figure 402222DEST_PATH_IMAGE005
分别为第i个、第j个训练样本的病变信息编码；
Figure 863291DEST_PATH_IMAGE006
、
Figure 247130DEST_PATH_IMAGE007
分别为第i个、第j个样 本对应的重映射网络输出第k维的采样值；
Figure 426438DEST_PATH_IMAGE008
分别为第i个、第j个训练样本的均值向 量中第k维均值，
Figure 622933DEST_PATH_IMAGE009
分别为第i个、第j个训练样本的标准差向量中第k维标准差。
优先地，人脸识别模块还用于获取与待识别面瘫患者面部图像相似度最高的病变人脸图像，病变人脸图像对应的人脸数据库的人脸图像为面瘫患者的健康人脸图像，完成对面瘫患者的人脸识别。
本技术方案有如下有益效果：
本发明中通过训练重映射网络和变分自编码网络，基于人脸数据库的健康人脸图像和待识别面瘫患者的病变信息生成病变的人脸图像，与待识别面瘫患者的病变人脸图像比较，得到其相似度，从而达到对面瘫患者进行人脸识别的目的。本发明解决了面瘫患者直接进行人脸识别容易出现识别错误的问题，提高了面瘫患者的人脸识别的合理性和准确性，并且使面瘫患者的人脸识别的速度也进一步得到了提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种适用于面瘫患者的智能化人脸识别方法和系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种适用于面瘫患者的智能化人脸识别方法和系统的具体方案。
实施例1：
本发明具体所针对的场景为：应用于人脸识别场景，主要是针对于面部发生病变的面瘫患者，对于面瘫患者，后台备份的资料多是身份证等证件，其得到的患者对应的人脸信息是患者健康无病情时的人脸，与当前病变的人脸具有一定的差异，直接比较异常的病变人脸和正常的健康人脸，很容易被病变带来的差异影响，使得出现识别错误。
请参阅图1，其示出了本发明一个实施例提供的一种适用于面瘫患者的智能化人脸识别方法流程图，该方法包括以下步骤：
首先，获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码。
病变信息编码M1表示人脸图像中的病变信息，包括病变位置、病变方向以及病变程度。病变信息的获得方式为：
（1）面瘫患者的病变体现在人脸的左眼、右眼、左嘴角、右嘴角4个位置。因此，本实施例中的病变信息编码M1包括4个部分，分别对应4个病变位置，每个部分的信息为对应位置的病变信息。
（2）为了获得各位置的病变信息，首先需要根据4个病变位置对人脸图像进行区域划分，包括左眼区域、右眼区域、左嘴角区域和右嘴角区域等四个区域。其中，左、右眼区域是以瞳孔为中心点，以两个眼睛长度中的最大值R1为直径的圆区域，左、右嘴角区域是以嘴角点为中心，以正常嘴角点与鼻尖点所在面部纵向等分线的距离为半径的圆区域。据此将人脸划分为多个区域。
（3）本发明中用病变方向θ和病变程度γ来表征每个病变位置的病变信息（θ，γ）。
（4）基于经验可知，面瘫患者的病变位置一般发生在同一侧，因此，本发明基于对称差异来表征病变方向θ和病变程度γ。
以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；则 在对称映射后的人脸图像中，由正常眼睛外眼角点和病变眼睛外眼角点坐标P1和P2，可得 到眼睛病变向量
Figure 204087DEST_PATH_IMAGE010
；由正常嘴角点和病变嘴角点的坐标P3、P4，可得到嘴角病变向量
Figure 221810DEST_PATH_IMAGE011
； 则上述眼睛病变方向即为向量
Figure 153994DEST_PATH_IMAGE010
对应的方向，病变程度即为
Figure 419759DEST_PATH_IMAGE010
对应的长度，嘴角病变方 向即为眼睛病变向量
Figure 855420DEST_PATH_IMAGE011
对应的方向，病变程度即为
Figure 315482DEST_PATH_IMAGE011
对应的长度。
（5）因此，可获得图像中包含人脸的病变位置、病变方向、病变程度的病变信息。以上述病变信息为基础，则病变信息编码M1=[（θ1，γ1），（θ2，γ2），（θ3，γ3），（θ4，γ4）]，分别对应左眼、右眼、左嘴角、右嘴角的病变信息。且当人脸某个区域没有发生病变时，该区域对应的病变信息为（0，0）。
然后，将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变信息编码；利用变分自编码网络的解码器对可控病变信息编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像。
目前DNN方面的三大生成模型，分别是变分自编码（VAE），对抗生成网络（GAN）以及流模型（Glow）。本实施例使用变分自编码网络进行数据生成。搭建变分自编码网络，该网络为Encoder-Decoder结构，使用人脸数据集训练变分自编码网络，实现功能为：输入人脸图像，通过编码器得到图像对应的隐码Z，再将隐码Z经过解码操作得到生成图像。本发明变分自编码网络的训练集包括不同的健康人脸图像、大量不同面瘫病情的面瘫患者人脸图像，结合变分自编码的损失函数经过训练，本发明的变分自编码网络可以生成不同面瘫病情的人脸图像。
人脸信息编码M2为将人脸数据库中的健康人脸图像输入变分自编码网络中的编码器得到的高维特征向量（包括均值向量和标准差向量），且人脸数据库中每张健康人脸图像均有一个对应的人脸信息编码M2。
此时，训练重映射网络，完成病变信息编码M1和人脸信息编码M2到可控病变信息编码M的重映射。当在模拟器中对一张健康人脸图像加入不同的病变信息时，该张人脸图像对应的病变信息编码M1的值会发生对应改变，此时该张人脸图像随着病变信息的加入由健康人脸图像转变为病变人脸图像，则该张人脸图像对应的隐码Z发生变化，即可控病变信息编码发生变化。
本实施例中的重映射网络完成病变信息编码M1和人脸信息编码M2到可控病变信息编码M的重映射后，根据重映射之后的可控病变信息编码M生成人脸数据库中健康人脸对应的病变人脸图像。该重映射网络为全连接网络结构，训练过程为：
（1）人脸图像训练样本为人脸数据库中的健康人脸图像。在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码M1；将人脸图像训练样本的病变信息编码M1和人脸信息编码M2输入重映射网络，输出人脸图像训练样本的可控病变信息编码M，即重映射隐码Z；对可控病变信息编码M解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
（2）重映射网络的损失函数为：
Figure 203804DEST_PATH_IMAGE012
其中，Y
Figure 273260DEST_PATH_IMAGE002
为根据重映射隐码Z生成的病变人脸图像，Y为可控病变信息编码M1对应 的真值病变人脸图像，N为训练样本数量（病变信息编码M1个数），
Figure 829006DEST_PATH_IMAGE003
为生成的病变人脸 图像和真值病变人脸图像的距离；M1i、M1j分别为第i个、第j个样本的病变信息编码，Zi,k、 Zj,k分别为第i个、第j个样本对应的全连接网络输出（重映射隐码Z）第k维的采样值，μi,k、 μj,k分别为第i个、第j个训练样本的均值向量中第k维均值，σi,k、σj,k分别为第i个、第j个训 练样本的方差向量中第k维标准差。
网络训练过程中若第i个和第j个训练样本的加入的病变信息相似或者相同，则全连接网络输出的第i个和第j个样本的重映射隐码的Z的采样值相近，其随机采样的方式相同。
完成重映射网络的训练后，在健康人脸图像的基础上，将待识别面瘫患者面部图像对应的病变信息编码M1和人脸数据库中的人脸图像的人脸信息编码M2，输入重映射网络，输出可控病变信息编码M，即重映射隐码Z。可控病变信息编码M在自编码网络中解码得到人脸数据库中每张健康人脸图像对应的病变人脸图像。
本发明通过训练变分自编码网络生成不同的病变人脸图像，通过简单可靠的网络结构，可将多张健康人脸图像与病变人脸图像之间的识别转换成多张生成的病变人脸图像与真实病变人脸图像之间的识别，提高了识别的合理性和准确性。
与实现属性可编辑的单个对抗生成网络相比，本发明使用简单的变分自编码网络和全连接网络相结合生成病变人脸图像，优势为：
本发明网络结构简单，易训练，低功耗。单个对抗生成网络至少包括三个分支，结构复杂，训练难，功耗高，对硬件设备的要求较高；且对应3个Loss，每个分支的Loss均对整个网络造成影响，降低网络准确性。本发明将简单的自编码网络和全连接网络相结合，结构简单，易于训练且功耗低，对硬件设备的要求很低。
本发明网络中不需要鉴别器，生成的病变人脸图像均为合理图像而单个对抗生成网络至少需要两个鉴别器，一个鉴别器用来衡量生成人脸图像与真实人脸图像之间的差异，使得生成人脸图像为合理的人脸图像；另一个鉴别器用于判断身份特征信息与图像之间的对应关系，确保学习到的身份与人脸图像之间的对应关系。本发明使用变分自编码网络生成病变人脸图像，获得人脸数据库中人脸图像对应的人脸信息编码M2。健康人脸图像加入病情信息后对应的可控病变信息编码M，即重映射隐码Z，其可控病变信息编码中包含的人脸信息编码与人脸数据库中人脸图像的人脸信息编码M2具有一致的分布空间。
因此，基于变分自编码网络的特性，基于重映射隐码Z生成的病变人脸图像符合人脸数据库人脸图像加入病变信息后的病变人脸图像特性，因此不需要鉴别器来衡量其合理性。可控病变信息编码M与生成的病变人脸图像一一对应，因此可保证不同的人脸信息与同样的病情信息结合之后对应生成不同的病变人脸图像。
最后，根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
在变分自编码网络中，上述可控病变信息编码M经过解码可得到人脸数据库中每张人脸图像对应的病变人脸图像，该病变人脸图像即为人脸数据库中健康人脸图像在与待识别面瘫患者病变人脸图像包含一致的病变信息下生成的病变人脸图像。
可根据相似度对比，找到与待识别面瘫患者面部图像相似性最高的病变人脸图像，该生成病变人脸图像对应的健康人脸图像，即为面瘫患者病变之前的健康人脸图像，从而完成对待识别面瘫患者的人脸识别。
实施例2：
本实施例提供了一种系统实施例。一种适用于面瘫患者的智能化人脸识别系统，包括：病变信息编码获取模块，用于获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；
病变人脸图像生成模块，用于将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变编码；利用变分自编码网络的解码器对可控病变编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；
人脸识别模块，用于根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种适用于面瘫患者的智能化人脸识别方法，其特征在于，该方法包括：获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；
将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变信息编码；利用变分自编码网络的解码器对可控病变信息编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；
根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码包括：将待识别面瘫患者人脸根据病变位置分为包括左眼区域、右眼区域、左嘴角区域、右嘴角区域的多个区域；以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；在映射后的人脸图像中，获得正常眼睛外眼角点和病变眼睛外眼角点坐标组成的眼睛区域的病变向量，获得正常嘴角点和病变嘴角点坐标组成的嘴巴区域的病变向量；根据眼睛和嘴巴区域的病变向量获得包含面瘫患者的病变位置、病变方向和病变程度的病变信息编码。
3.根据权利要求1所述的方法，其特征在于，所述重映射网络的训练过程包括：在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码；将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络，输出人脸图像训练样本的可控病变信息编码；对可控病变信息编码解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
4.根据权利要求1所述的方法，其特征在于，所述重映射网络的损失函数为：
Figure DEST_PATH_IMAGE002
Y
Figure DEST_PATH_IMAGE004
为根据可控病变信息编码生成的病变人脸图像，Y为不同病变信息对应的真值病变人脸图像，N为训练样本数量，
Figure DEST_PATH_IMAGE006
为生成的病变人脸图像和真值病变人脸图像的距离；
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE010
分别为第i个、第j个训练样本的病变信息编码；
Figure DEST_PATH_IMAGE012
、
Figure DEST_PATH_IMAGE014
分别为第i个、第j个样本对应的重映射网络输出第k维的采样值；
Figure DEST_PATH_IMAGE016
分别为第i个、第j个训练样本的均值向量中第k维均值，
Figure DEST_PATH_IMAGE018
分别为第i个、第j个训练样本的标准差向量中第k维标准差。
5.根据权利要求1所述的方法，所述根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别包括：获取与待识别面瘫患者面部图像相似度最高的病变人脸图像，病变人脸图像对应的人脸数据库的人脸图像为面瘫患者的健康人脸图像，完成对面瘫患者的人脸识别。
6.一种适用于面瘫患者的智能化人脸识别系统，其特征在于，该系统包括：病变信息编码获取模块，用于获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；
病变人脸图像生成模块，用于将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变编码；利用变分自编码网络的解码器对可控病变编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；
人脸识别模块，用于根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
7.根据权利要求6所述的系统，其特征在于，所述病变信息编码获取模块还用于将待识别面瘫患者人脸根据病变位置分为包括左眼区域、右眼区域、左嘴角区域、右嘴角区域的多个区域；以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；在映射后的人脸图像中，获得正常和病变眼睛外眼角点坐标组成的眼睛区域的病变向量，获得正常和病变嘴角点坐标组成的嘴巴区域的病变向量；根据眼睛和嘴巴区域的病变向量获得包含面瘫患者的病变位置、病变方向和病变程度的病变信息编码。
8.根据权利要求6所述的系统，其特征在于，所述病变人脸图像生成模块还用于在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码；将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络，输出人脸图像训练样本的可控病变信息编码；对可控病变信息编码解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
9.根据权利要求6所述的系统，其特征在于，所述病变人脸图像生成模块中重映射网络的损失函数为：
Figure DEST_PATH_IMAGE002A
Y
Figure 239895DEST_PATH_IMAGE004
为根据可控病变信息编码生成的病变人脸图像，Y为不同病变信息对应的真值病变人脸图像，N为训练样本数量，
Figure 625877DEST_PATH_IMAGE006
为生成的病变人脸图像和真值病变人脸图像的距离；
Figure 77718DEST_PATH_IMAGE008
、
Figure 191036DEST_PATH_IMAGE010
分别为第i个、第j个训练样本的病变信息编码；
Figure 474250DEST_PATH_IMAGE012
、
Figure 765554DEST_PATH_IMAGE014
分别为第i个、第j个样本对应的重映射网络输出第k维的采样值；
Figure 501429DEST_PATH_IMAGE016
分别为第i个、第j个训练样本的均值向量中第k维均值，
Figure 684018DEST_PATH_IMAGE018
分别为第i个、第j个训练样本的标准差向量中第k维标准差。
10.根据权利要求6所述的系统，其特征在于，所述人脸识别模块还用于获取与待识别面瘫患者面部图像相似度最高的病变人脸图像，病变人脸图像对应的人脸数据库的人脸图像为面瘫患者的健康人脸图像，完成对面瘫患者的人脸识别。
CN202210776519.3A 2022-07-04 2022-07-04 一种适用于面瘫患者的智能化人脸识别方法和系统 Active CN114842544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776519.3A CN114842544B (zh) 2022-07-04 2022-07-04 一种适用于面瘫患者的智能化人脸识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776519.3A CN114842544B (zh) 2022-07-04 2022-07-04 一种适用于面瘫患者的智能化人脸识别方法和系统

Publications (2)

Publication Number Publication Date
CN114842544A true CN114842544A (zh) 2022-08-02
CN114842544B CN114842544B (zh) 2022-09-06

Family

ID=82574155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776519.3A Active CN114842544B (zh) 2022-07-04 2022-07-04 一种适用于面瘫患者的智能化人脸识别方法和系统

Country Status (1)

Country Link
CN (1) CN114842544B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288512A (zh) * 2019-05-16 2019-09-27 成都品果科技有限公司 用于图像合成的光照重映射方法、装置、存储介质和处理器
CN111582059A (zh) * 2020-04-20 2020-08-25 哈尔滨工程大学 一种基于变分自编码器的人脸表情识别方法
WO2020237887A1 (zh) * 2019-05-29 2020-12-03 平安科技（深圳）有限公司 人脸识别方法、装置、终端及存储介质
CN113343927A (zh) * 2021-07-03 2021-09-03 郑州铁路职业技术学院 一种适用于面瘫患者的智能化人脸识别方法和系统
WO2021184898A1 (zh) * 2020-03-19 2021-09-23 支付宝(杭州)信息技术有限公司 一种人脸特征提取方法、装置及设备
CN113688698A (zh) * 2021-08-09 2021-11-23 河南职业技术学院 基于人工智能的人脸转正识别方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288512A (zh) * 2019-05-16 2019-09-27 成都品果科技有限公司 用于图像合成的光照重映射方法、装置、存储介质和处理器
WO2020237887A1 (zh) * 2019-05-29 2020-12-03 平安科技（深圳）有限公司 人脸识别方法、装置、终端及存储介质
WO2021184898A1 (zh) * 2020-03-19 2021-09-23 支付宝(杭州)信息技术有限公司 一种人脸特征提取方法、装置及设备
CN111582059A (zh) * 2020-04-20 2020-08-25 哈尔滨工程大学 一种基于变分自编码器的人脸表情识别方法
CN113343927A (zh) * 2021-07-03 2021-09-03 郑州铁路职业技术学院 一种适用于面瘫患者的智能化人脸识别方法和系统
CN113688698A (zh) * 2021-08-09 2021-11-23 河南职业技术学院 基于人工智能的人脸转正识别方法和系统

Also Published As

Publication number Publication date
CN114842544B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN111932444B (zh) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN108491835B (zh) 面向面部表情识别的双通道卷积神经网络
WO2020258668A1 (zh) 基于对抗网络模型的人脸图像生成方法及装置、非易失性可读存储介质、计算机设备
JP7246811B2 (ja) 顔画像生成用のデータ処理方法、データ処理機器、コンピュータプログラム、及びコンピュータ機器
CN111368662A (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN110288513B (zh) 用于改变人脸属性的方法、装置、设备和存储介质
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN113792856A (zh) 基于vae医疗保健联邦学习框架的确定方法
CN110309853A (zh) 基于变分自编码器的医学图像聚类方法
CN112116684A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN112766217B (zh) 基于解纠缠和特征级差异学习的跨模态行人重识别方法
US20230245419A1 (en) Saliency prediction method and system for 360-degree image
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及系统
CN113822282A (zh) 图像语义分割方法、装置、计算机设备及存储介质
Li et al. PSAQ-ViT v2: Toward accurate and general data-free quantization for vision transformers
CN116863045A (zh) 一种轻量级语音驱动三维脸部模型生成方法
CN116977763A (zh) 模型训练方法、装置、计算机可读存储介质及计算机设备
CN114842544B (zh) 一种适用于面瘫患者的智能化人脸识别方法和系统
US11837021B1 (en) Compound expression recognition method with few samples of multi-domain adversarial learning
CN113936333A (zh) 一种基于人体骨架序列的动作识别算法
CN113343927A (zh) 一种适用于面瘫患者的智能化人脸识别方法和系统
CN116842329A (zh) 基于脑电信号和深度学习的运动想象任务分类方法及系统
CN112329875A (zh) 一种基于连续吸引子网络的连续图像序列识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant