CN111310798A - 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 - Google Patents

基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 Download PDF

Info

Publication number
CN111310798A
CN111310798A CN202010063066.0A CN202010063066A CN111310798A CN 111310798 A CN111310798 A CN 111310798A CN 202010063066 A CN202010063066 A CN 202010063066A CN 111310798 A CN111310798 A CN 111310798A
Authority
CN
China
Prior art keywords
face
features
facial expression
image
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010063066.0A
Other languages
English (en)
Other versions
CN111310798B (zh
Inventor
苏鸽
尹建伟
林博
罗巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010063066.0A priority Critical patent/CN111310798B/zh
Publication of CN111310798A publication Critical patent/CN111310798A/zh
Application granted granted Critical
Publication of CN111310798B publication Critical patent/CN111310798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其中构建的基于面部表情特征的检测模型可用于检测与帕金森相关的运动迟缓症状。面部表情特征包括几何特征和纹理特征。几何特征定义了FEF(面部表情因子)和FECF(面部表情改变因子)以量化静态图像的面部表情。然而，这些几何特征只涉及空间信息，其中，SEM面部特征是借鉴普氏分析来构造的。而纹理特征使用扩展的HOG算法来提取在短时间内的动态表情变化。纹理特征结合了空间维度和时间维度，从而弥补了几何特征的缺点。最后，使用五种监督式机器学习方法构建基于面部表情特征的检测模型。实验结果表明，该系统的F1指数最高可达94.46％。

Description

基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建 方法
技术领域
本发明涉及基于面部视频检测帕金森患者面部运动迟缓技术领域，具体涉及一种基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法。
背景技术
众所周知，帕金森是一种典型的慢性老年疾病之一，65岁以上老年人发病率可达到1％～2％，是全人类发病率(0.3％)的3倍以上。对于大多数帕金森患者(PD患者)来说，帕金森的运动性症状比较典型，主要体现在静止性震颤、肌强直、运动迟缓和姿势平衡障碍四个方面。围绕这四个方面，新版世界运动障碍学会帕金森病综合评量表(MDS-UPDRS)对运动性症状的检测通过脸部表情、肢体转动、手指运动、手掌运动、脚趾运动、步态、姿势等方面检查来诊断PD患者病情的轻重。
目前，临床医学上主要通过MDS-UPDRS来评估PD患者病情的轻重。本发明在研究过程中也将MDS-UPDRS中的脸部表情模块的评估进行参考，将眨眼率、嘴唇微张，表情变化作为重点研究方向。2014年，Luca Marsili等人研究发现PD患者自发性微笑和有意识微笑都是不正常的。这表明与健康人群相比，无论是无意识的情绪流露过程，还是下意识的情绪展现过程，PD患者由于受内在病理的影响，脸部表情表达方面产生了障碍，从外在表现上影响了PD患者的正常情绪表达。因此，本发明借助这一发现，选择PD患者和HC对象的微笑视频为案例，对帕金森病症进行检测。2017年，Andrea Bandini等人通过面部表情的几何特征量化PD患者和HC对象模仿脸部表情和中性表情之间之间的差异，并进行统计分析得出PD患者模仿的脸部表情基于中性表情的变化要小于HC对象。2018年，为了探究PD患者静态图像能否诊断表情缺失，M.Rajnoha等人通过人脸识别对面部表情参数化，最终证明静态图像最高以67.33％的准确率识别PD患者表情缺失的症状。Andrea Bandini和M.Rajnoha等人的研究用实验证实PD患者表情缺失在一定程度上识别的，但是识别的精度需要进一步提高。
上述技术方案中，PD患者表示帕金森患者，MDS-UPDRS表示新版世界运动障碍学会帕金森病综合评量表。
发明内容
本发明提出了一种基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，该方法利用我们设计的几何特征和纹理特征，从两个方面对帕金森患者脸部表情信息进行提取，并进一步利用机器学习方式进行训练建模，该模型可用于检测帕金森患者的运动迟缓。
一种基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，包括如下步骤：
1)人脸检测；
2)利用步骤1)中人脸检测得到的包含人脸的串行图像序列进行人脸对齐，得到人脸对齐后的图像序列；
3)人脸标准化；
4)构造度量脸部迟缓症状的面部表情特征；
5)基于面部表情特征进行运动迟缓检测分类器模型训练；
使用步骤4)中获得几何特征和纹理特征对监督式机器学习模型进行训练，构建基于几何特征和纹理特征的运动迟缓的检测模型，建模后通过面部视频可用于对帕金森患者是否存在面部肌肉运动迟缓进行检测。
步骤1)中，所述的人脸检测具体包括：
使用python中的face_recognition库从原始脸部视频中提取人脸部分，去除每帧图像中与检测目标无关的物体，将脸部活动视频转换成仅包含人脸的串行图像序列；
步骤2)中，利用步骤1)中人脸检测得到的包含人脸的串行图像序列进行人脸对齐，具体包括：
在人脸图像中，左眼参考点Ple和右眼参考点Pre的具体坐标计算方式如下：
Figure BDA0002375115940000021
Figure BDA0002375115940000022
Figure BDA0002375115940000031
Figure BDA0002375115940000032
Ple表示左眼参考点，Pre表示右眼参考点，Ple(x)表示左眼参考点的横坐标，Ple(y)表示左眼参考点的纵坐标，Pre(x)表示右眼参考点的横坐标，Pre(y)表示右眼参考点的纵坐标，Pi(x)表示序号为i的点的横坐标，Pi(y)表示序号为i的点的纵坐标，序号i为12表示左眼上眼睑离眼尾三分之一处，序号i为13表示左眼上眼睑离眼尾三分之二处，序号i为15表示左眼下眼睑离眼尾三分之二处，序号i为16表示左眼下眼睑离眼尾三分之一处，序号i为19表示右眼上眼睑离眼尾三分之一处，序号i为18表示右眼上眼睑离眼尾三分之二处，序号i为22表示右眼下眼睑离眼尾三分之二处，序号i为21表示右眼下眼睑离眼尾三分之一处；
在包含人脸的串行图像序列的图像中，以过左眼参考点Ple且垂直于图像的直线为旋转轴，水平面内旋转人脸，直至两眼参考点Ple,Pre之间连线保持水平，完成人脸对齐。
步骤3)中，将步骤2)中的人脸对齐后的图像序列中的图像裁剪为200*200像素标准化图像和128*128像素标准化图像。为了构造步骤4)中的几何特征，本发明将步骤2)中的人脸对齐后的图像序列中的图像裁剪为200*200像素；为了构造步骤4)中的纹理特征，本发明将步骤2)中的人脸对齐后的图像序列中的图像裁剪为128*128像素。
步骤4)中，构造度量帕金森运动迟缓症状的面部表情特征，具体包括：
41)构造几何特征：
411)从步骤3)人脸标准化后得到的200*200像素标准化图像提取68个面部关键点；
412)利用这68个面部关键点，围绕面部器官，以面部肌肉运动为依据设计面部表情因子FEF，这些面部表情因子FEF围绕眼睛、眉毛、鼻子、嘴巴、下巴在面部设置，利用欧几里得距离和三点连线夹角来构造面部表情因子FEF，定义如下：
Figure BDA0002375115940000033
Figure BDA0002375115940000041
其中，fp1,fp2,fp3表示三个面部关键点，D(fp1,fp2)表示编号为fp1的面部关键点和编号为fp2的面部关键点之间的欧几里得距离，D(fp3,fp2)表示编号为fp3的面部关键点和编号为fp2的面部关键点之间的欧几里得距离，θ(fp1,fp2,fp3)表示以编号为fp2的面部关键点为公共顶点，以编号为fp1和编号为fp2的两个面部关键点形成的射线为角其中一边，以编号为fp2和编号为fp3的两个面部关键点形成的射线为角另外一边构成的角度，x(fp1)表示编号为fp1的面部关键点的横坐标，y(fp1)表示编号为fp1的面部关键点的纵坐标；x(fp2)表示编号为fp2的面部关键点的横坐标，y(fp2)表示编号为fp2的面部关键点的纵坐标；x(fp3)表示编号为fp3的面部关键点的横坐标，y(fp3)表示编号为fp3的面部关键点的纵坐标，cos-1表示反余弦。
按照fp1，fp2，fp3不同的取值，可获得脸部不同器官的几何特征，具体取值如下表1。
表1
Figure BDA0002375115940000042
Figure BDA0002375115940000051
413)使用步骤3)人脸标准化后得到的200*200像素标准化图像的中性表情构造每个人的标准面部表情模型SEM，计算每个人的标准面部表情模型SEM的面部表情因子，得到SEM的面部表情因子，同时选择200*200像素标准化图像中有面部表情变化的图像计算面部表情因子FEF，得到面部表情变化图的FEF，计算SEM的面部表情因子和面部表情变化图的FEF的差值，得到面部表情变化因子FECF。
步骤413)中，标准面部表情模型SEM构造算法如下：
4131)读入第一帧图像，对图像进行数据预处理(包括人脸检测、人脸对齐、人脸标准化)，并将第一帧图像作为目标基准图像；
4132)继续读入下一帧图像，进行数据预处理，作为第二帧图像。
4133)将基准图像与第二帧图像对应面部关键点位置求均值。
4134)将新得到的关键点求均值，赋值给基准图像，更新基准图像。
4135)不断重复中间三个步骤，直到新读入的图像数目达到训练标准表情模型的数量。
按照步骤413)中标准面部表情模型SEM构造算法计算每个人的标准面部表情模型SEM的面部表情因子，得到SEM的面部表情因子，同时选择200*200像素标准化图像中有面部表情变化的图像计算FEF，得到面部表情变化图的FEF，计算SEM的面部表情因子和面部表情变化图的FEF的差值，得到面部表情变化因子FECF。面部表情变化因子即为构造的面部几何特征，他们依据面部结构构造，具有较强的可解释性。
42)构造纹理特征：
421)将步骤3)人脸标准化后得到的128*128像素标准化图像构成的图像序列表示为由空间轴x,y和时间轴t构成的信息空间。该信息空间包含三个平面，分别是由空间轴x,y构成的XY平面，由空间轴x和时间轴t构成的XT平面，和由空间轴y和时间轴t构成的YT平面，利用HOG(方向梯度直方图)特征在XY平面上进行纹理特征提取，形成HOG-XY，利用HOG特征在XT平面上进行纹理特征提取，形成HOG-XT，利用HOG特征在YT平面上进行纹理特征提取，形成HOG-YT，连接三个平面的特征，形成完整的纹理特征。
步骤5)中，监督式机器学习模型为五种，这五种监督式机器学习模型包含决策树、随机森林、贝叶斯、支持向量机、K最近邻算法。
与现有技术相比，本发明具有如下优点：
本发明公开了一种基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法。帕金森病是一种神经退行性疾病，具有明显的面部表情丧失特征，严重影响了帕金森病患者(PD患者)的情绪表达和日常交流。本发明提出了一套基于面部表情的运动迟缓症状的自动检测系统ADSPD-FE。使用ADSPD-FE，可以从两个方面检测帕金森病有关的运动迟缓症状，包括几何特征和纹理特征。几何特征定义了FEF(面部表情因子)和FECF(面部表情改变因子)以量化静态图像的面部表情。然而，这些几何特征只涉及空间信息，其中，SEM面部特征是借鉴普氏分析来构造的。而纹理特征使用扩展的HOG算法来提取在短时间内的动态表情变化。纹理特征结合了空间维度和时间维度，从而弥补了几何特征的缺点。最后，ADSPD-FE使用五种监督式机器学习方法建立了基于几何特征和纹理特征的检测模型，该模型可用来检测这两种特征与帕金森病有关的运动迟缓症状之间的关系。实验结果表明，该系统的F1指数最高可达94.46％。
附图说明
图1是本发明方法中的基于几何特征和纹理特征的脸部运动迟缓的检测模型的整体框架图；
图2是本发明中HOG特征扩展到三个平面的示意图；
图3是健康对照对象几何特征的可视化结果；
图4是帕金森患者和健康对照对象的几何特征对照可视化结果。
图5是面部关键点位置图。
具体实施方式
如图1所示，为本发明方法中的基于几何特征和纹理特征的脸部运动迟缓的检测模型的整体框架图。HOG-XY：图像序列使用空间轴X、Y和时间轴T来表示，其中纹理特征在XY平面内的HOG特征被称为HOG-XY；HOG-XT：图像序列使用空间轴X、Y和时间轴T来表示，其中纹理特征在XT平面内的HOG特征被称为HOG-XT；HOG-YT：图像序列使用空间轴X、Y和时间轴T来表示，其中纹理特征在YT平面内的HOG特征被称为HOG-YT；PCA：Principal ComponentAnalysis，主成分分析降维方法。KNN：k-NearestNeighbor，k最近邻分类算法。SVM：SupportVector Machine，支持向量机。PD患者：Parkinsondisease patients,帕金森患者。HC对象：Healthy control subjects，健康对照对象。
一种基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，该方法包括如下步骤：
1)人脸检测
使用python中的face_recognition库从原始脸部视频中提取人脸部分，去除每帧图像中与检测目标无关的物体，将脸部活动视频转换成仅包含人脸的串行图像序列；
2)人脸对齐
利用步骤1)中检测出来的串行图像序列进行人脸对齐得到人脸对齐后的图像序列。在图像中，以过左眼参考点Ple且垂直于图像的直线为旋转轴，水平面内旋转人脸，直至两眼参考点Ple,Pre之间连线保持水平。左眼参考点Ple的具体坐标计算方式如下：
Figure BDA0002375115940000071
Figure BDA0002375115940000072
Figure BDA0002375115940000073
Figure BDA0002375115940000081
Ple表示左眼参考点，Pre表示右眼参考点，Ple(x)表示左眼参考点的横坐标，Ple(y)表示左眼参考点的纵坐标，Pre(x)表示右眼参考点的横坐标，Pre(y)表示右眼参考点的纵坐标，Pi(x)表示序号为i的点的横坐标，Pi(y)表示序号为i的点的纵坐标，12表示左眼上眼睑离眼尾三分之一处，13表示左眼上眼睑离眼尾三分之二处，15表示左眼下眼睑离眼尾三分之二处，16表示左眼下眼睑离眼尾三分之一处，19表示右眼上眼睑离眼尾三分之一处，18表示右眼上眼睑离眼尾三分之二处，22表示右眼下眼睑离眼尾三分之二处，21表示右眼下眼睑离眼尾三分之一处。
3)人脸标准化
该发明将步骤2)中的人脸对齐后的图像序列中的图像裁剪为固定尺寸大小，得到了200*200像素标准化图像和128*128像素标准化图像。为了构造步骤4)中的几何特征，本发明将步骤2)中的人脸对齐后的图像序列中的图像裁剪为200*200像素；为了构造步骤4)中的纹理特征，本发明将步骤2)中的人脸对齐后的图像序列中的图像裁剪为128*128像素。
4)构造度量帕金森运动迟缓症状的面部表情特征。
在该步骤，本发明重点构建面部表情特征，主要分为几何特征和纹理特征两种类别。
几何特征的构造过程如下：
从步骤3)人脸标准化后得到的200*200像素标准化图像提取68个面部关键点，关键点位置如图5所示；
利用这68个面部关键点，围绕面部器官，以面部肌肉运动为依据设计面部表情因子FEF，这些面部表情因子FEF围绕眼睛、眉毛、鼻子、嘴巴、下巴在面部设置，利用欧几里得距离和三点连线夹角来构造面部表情因子FEF，定义如下：
Figure BDA0002375115940000082
Figure BDA0002375115940000083
其中，fp1,fp2,fp3表示三个面部关键点，D(fp1,fp2)表示编号为fp1的面部关键点和编号为fp2的面部关键点之间的欧几里得距离，D(fp3,fp2)表示编号为fp3的面部关键点和编号为fp2的面部关键点之间的欧几里得距离，θ(fp1,fp2,fp3)表示以编号为fp2的面部关键点为公共顶点，以编号为fp1和编号为fp2的两个面部关键点形成的射线为角其中一边，以编号为fp2和编号为fp3的两个面部关键点形成的射线为角另外一边构成的角度，x(fp1)表示编号为fp1的面部关键点的横坐标，y(fp1)表示编号为fp1的面部关键点的纵坐标；x(fp2)表示编号为fp2的面部关键点的横坐标，y(fp2)表示编号为fp2的面部关键点的纵坐标；x(fp3)表示编号为fp3的面部关键点的横坐标，y(fp3)表示编号为fp3的面部关键点的纵坐标，cos-1表示反余弦。
按照fp1，fp2，fp3不同的取值，可获得脸部不同器官的几何特征FEF，具体取值如下表1。
表1
Figure BDA0002375115940000091
Figure BDA0002375115940000101
接着，使用步骤3)中获得的200*200像素标准化图像中的中性表情构造每个人的标准面部表情模型SEM，构造算法如下：
Figure BDA0002375115940000102
以上标准面部表情模型构建算法解释如下：
·读入第一帧图像，对图像进行数据预处理，并将第一帧图像作为目标基准图像。
·继续读入下一帧图像，进行数据预处理。
·将基准图像与第二帧图像对应面部关键点位置求均值。
·将新得到的关键点求均值，赋值给基准图像，更新基准图像。
·不断重复中间三个步骤，直到新读入的图像数目达到训练标准表情模型的数量。
计算每个人的标准面部表情模型SEM的面部表情因子，得到SEM的面部表情因子，同时选择200*200像素标准化图像中有面部表情变化的图像计算FEF，得到面部表情变化图的FEF，计算SEM的面部表情因子和面部表情变化图的FEF的差值，得到面部表情变化因子FECF。面部表情变化因子即为构造的面部几何特征，他们依据面部结构构造，具有较强的可解释性。
纹理特征的构造过程如下：
利用步骤3)中的128*128像素标准化图像构造纹理特征。如图3，将步骤3)中的128*128像素标准化图像构成的图像序列表示为由空间轴x,y和时间轴t构成的信息空间。该信息空间包含三个平面，分别是由空间轴x,y构成的XY平面，由空间轴x和时间轴t构成的XT平面，和由空间轴y和时间轴t构成的YT平面。利用HOG(方向梯度直方图)特征在XY平面上进行纹理特征提取，形成HOG-XY，利用HOG特征在XT平面上进行纹理特征提取，形成HOG-XT，利用HOG特征在YT平面上进行纹理特征提取，形成HOG-YT，连接三个平面的特征，形成完整的纹理特征。
5)分类器模型训练
使用步骤4)中获得几何特征和纹理特征对五种监督式机器学习模型进行训练，这五种监督式机器学习模型包含决策树、随机森林、贝叶斯、支持向量机、K最近邻算法。
具体地，本发明基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法进一步分析如下：
一、数据预处理
1)人脸检测去除图像中的无用信息。视频数据中有许多无关内容，例如:边缘信息，背景、服饰、配饰、椅子等与帕金森病症诊断无关的因素。因此，人脸检测技术一方面进行图像中是否包含人脸的判断，一方面确定图像中人脸的位置，排除一切非脸部表情因素。
2)人脸对齐矫正图像中人脸。本发明以眉间、鼻尖、下巴中央连线为对称轴研究受试者的左右脸对称性，需要将受试者脸部对齐，消除头部上下左右转向、平面旋转对实验的影响。本发明以过左眼参考点并垂直于视频平面的直线为旋转轴，对视频中人脸进行平面旋转以保持左右两眼参考点连线水平，此过程矫正了人脸左右转向问题，防止人脸歪斜。
3)人脸标准化将视频对象的人脸锁定到同一区域。由于视频来自于不同的研究对象，每个研究对象脸部区域在视频中的位置截然不同，因此，为了统一数据，将人脸以从视频帧中截取出来，缩放至固定尺寸的图像中。几何特征图像尺寸设置至200x200像素；纹理特征图像尺寸设置至128x128像素。
二、特征提取
按照发明内容中阐述的方法，构造几何特征和纹理特征。
三、帕金森运动迟缓症状特征训练
将帕金森患者的几何特征和纹理特征标记为1，将健康对照对象的几何特征和纹理特征标记为0，使用五种监督式机器学习算法进行训练，训练模型可检测新样本的归类问题。
四、特征可视化
表1中设计的特征可使用折线图画出各个变量随时间改变的轨迹，从这些轨迹可以看出帕金森患者的面部表情改变。
图2中，x,y,t：表示空间轴x,y,和时间坐标轴t。X-Y flat：由空间轴x,y构成的XY平面。Y-T flat：由空间轴y和时间坐标轴t构成的YT平面。X-T flat：由空间轴x和时间坐标轴t构成的XT平面。HOG-XY：图像序列使用空间轴X、Y和时间轴T来表示，其中纹理特征在XY平面内的HOG特征被称为HOG-XY；HOG-XT：图像序列使用空间轴X、Y和时间轴T来表示，其中纹理特征在XT平面内的HOG特征被称为HOG-XT；HOG-YT：图像序列使用空间轴X、Y和时间轴T来表示，其中纹理特征在YT平面内的HOG特征被称为HOG-YT。
图3两张图横坐标都是面部表情变化因子(FECF)的幅度，纵坐标都是视频的帧序列，(a)图表示右嘴角面部表情变化因子的幅度随时间变化，(b)图表示左嘴角面部表情变化因子的幅度随时间变化。由图可知，健康对照对象微笑三次，图中显示三次明显尖峰，表明几何特征可视化结果符合正常人的脸部运动表达，并且左右嘴角变化幅度几乎一致，没有较大不同。
图4中四张图横坐标都是面部表情变化因子(FECF)的幅度，纵坐标都是视频的帧序列，a图和b图是健康对照对象的面部表情变化因子(FECF)可视化结果，其中，a图表示健康对照对象右嘴角面部表情变化因子的幅度随时间变化，b图表示健康对照对象左嘴角面部表情变化因子的幅度随时间变化。c图和d图是帕金森患者的面部表情变化因子(FECF)可视化结果，c图表示帕金森患者右嘴角面部表情变化因子的幅度随时间变化，d图表示帕金森患者左嘴角面部表情变化因子的幅度随时间变化。按照最大变化幅度，可以看出，帕金森患者的脸部表情变化幅度明显小于健康对找对象，并且左右嘴角变化幅度不一致，而健康对照对象的面部表情变化幅度较大，且左右嘴角变化幅度相对一致。

Claims (9)

1.一种基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，包括如下步骤：
1)人脸检测；
2)利用步骤1)中人脸检测得到的包含人脸的串行图像序列进行人脸对齐，得到人脸对齐后的图像序列；
3)人脸标准化；
4)构造度量脸部迟缓症状的面部表情特征；
5)使用步骤4)中获得几何特征和纹理特征对监督式机器学习模型进行训练，构建基于几何特征和纹理特征的脸部运动迟缓的检测模型。
2.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤1)中，所述的人脸检测具体包括：
从原始脸部视频中提取人脸部分，去除每帧图像中与检测目标无关的物体，将脸部活动视频转换成仅包含人脸的串行图像序列。
3.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤2)中，利用步骤1)中人脸检测得到的包含人脸的串行图像序列进行人脸对齐，具体包括：
在人脸图像中，左眼参考点Ple和右眼参考点Pre的具体坐标计算方式如下：
Figure FDA0002375115930000011
Figure FDA0002375115930000012
Figure FDA0002375115930000013
Figure FDA0002375115930000014
Ple表示左眼参考点，Pre表示右眼参考点，Ple(x)表示左眼参考点的横坐标，Ple(y)表示左眼参考点的纵坐标，Pre(x)表示右眼参考点的横坐标，Pre(y)表示右眼参考点的纵坐标，Pi(x)表示序号为i的点的横坐标，Pi(y)表示序号为i的点的纵坐标，序号i为12表示左眼上眼睑离眼尾三分之一处，序号i为13表示左眼上眼睑离眼尾三分之二处，序号i为15表示左眼下眼睑离眼尾三分之二处，序号i为16表示左眼下眼睑离眼尾三分之一处，序号i为19表示右眼上眼睑离眼尾三分之一处，序号i为18表示右眼上眼睑离眼尾三分之二处，序号i为22表示右眼下眼睑离眼尾三分之二处，序号i为21表示右眼下眼睑离眼尾三分之一处；
在包含人脸的串行图像序列的图像中，以过左眼参考点Ple且垂直于图像的直线为旋转轴，水平面内旋转人脸，直至两眼参考点Ple,Pre之间连线保持水平，完成人脸对齐。
4.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤3)中，将步骤2)中的人脸对齐后的图像序列中的图像裁剪为200*200像素标准化图像和128*128像素标准化图像。
5.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤4)中，构造度量帕金森运动迟缓症状的面部表情特征，具体包括：
41)构造几何特征；
42)构造纹理特征。
6.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤41)中，构造几何特征，具体包括：
411)从步骤3)人脸标准化后得到的200*200像素标准化图像提取面部关键点；
412)利用面部关键点，围绕面部器官，以面部肌肉运动为依据设计面部表情因子FEF，这些面部表情因子FEF围绕眼睛、眉毛、鼻子、嘴巴、下巴在面部设置，利用欧几里得距离和三点连线夹角来构造面部表情因子FEF，定义如下：
Figure FDA0002375115930000021
Figure FDA0002375115930000022
其中，fp1,fp2,fp3表示三个面部关键点，D(fp1,fp2)表示编号为fp1的面部关键点和编号为fp2的面部关键点之间的欧几里得距离，D(fp3,fp2)表示编号为fp3的面部关键点和编号为fp2的面部关键点之间的欧几里得距离，θ(fp1,fp2,fp3)表示以编号为fp2的面部关键点为公共顶点，以编号为fp1和编号为fp2的两个面部关键点形成的射线为角其中一边，以编号为fp2和编号为fp3的两个面部关键点形成的射线为角另外一边构成的角度，x(fp1)表示编号为fp1的面部关键点的横坐标，y(fp1)表示编号为fp1的面部关键点的纵坐标；x(fp2)表示编号为fp2的面部关键点的横坐标，y(fp2)表示编号为fp2的面部关键点的纵坐标；x(fp3)表示编号为fp3的面部关键点的横坐标，y(fp3)表示编号为fp3的面部关键点的纵坐标，cos-1表示反余弦；
413)使用步骤3)人脸标准化后得到的200*200像素标准化图像的中性表情构造每个人的标准面部表情模型SEM，计算每个人的标准面部表情模型SEM的面部表情因子，得到标准面部表情模型SEM的面部表情因子，同时选择200*200像素标准化图像中有面部表情变化的图像计算面部表情因子FEF，得到面部表情变化图的FEF，计算标准面部表情模型SEM的面部表情因子和面部表情变化图的FEF的差值，得到面部表情变化因子FECF。
7.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤413)中，标准面部表情模型SEM构造算法如下：
4131)读入第一帧图像，对图像进行数据预处理，并将第一帧图像作为目标基准图像；
4132)继续读入下一帧图像，进行数据预处理，作为第二帧图像；
4133)将目标基准图像与第二帧图像对应面部关键点位置求均值；
4134)将得到的关键点求均值，赋值给基准图像，更新基准图像；
4135)不断重复步骤4132)、4133)和4134)，直到新读入的图像数目达到训练标准表情模型的数量。
8.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤42)中，构造纹理特征，具体包括：
421)将步骤3)人脸标准化后得到的128*128像素标准化图像构成的图像序列表示为由空间轴x,y和时间轴t构成的信息空间。该信息空间包含三个平面，分别是由空间轴x,y构成的XY平面，由空间轴x和时间轴t构成的XT平面，和由空间轴y和时间轴t构成的YT平面，利用方向梯度直方图HOG特征在XY平面上进行纹理特征提取，形成HOG-XY，利用HOG特征在XT平面上进行纹理特征提取，形成HOG-XT，利用HOG特征在YT平面上进行纹理特征提取，形成HOG-YT，连接三个平面的特征，形成完整的纹理特征。
9.根据权利要求1所述的基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法，其特征在于，步骤5)中，监督式机器学习模型为五种，包含决策树、随机森林、贝叶斯、支持向量机、K最近邻算法。
CN202010063066.0A 2020-01-19 2020-01-19 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 Active CN111310798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010063066.0A CN111310798B (zh) 2020-01-19 2020-01-19 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010063066.0A CN111310798B (zh) 2020-01-19 2020-01-19 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法

Publications (2)

Publication Number Publication Date
CN111310798A true CN111310798A (zh) 2020-06-19
CN111310798B CN111310798B (zh) 2023-05-16

Family

ID=71144911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063066.0A Active CN111310798B (zh) 2020-01-19 2020-01-19 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法

Country Status (1)

Country Link
CN (1) CN111310798B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307942A (zh) * 2020-10-29 2021-02-02 广东富利盛仿生机器人股份有限公司 一种面部表情量化表示方法、系统及介质
CN112734682A (zh) * 2020-12-31 2021-04-30 杭州艾芯智能科技有限公司 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质
US11216652B1 (en) * 2021-03-01 2022-01-04 Institute Of Automation, Chinese Academy Of Sciences Expression recognition method under natural scene

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767349B1 (en) * 2016-05-09 2017-09-19 Xerox Corporation Learning emotional states using personalized calibration tasks
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107491740A (zh) * 2017-07-28 2017-12-19 北京科技大学 一种基于面部表情分析的新生儿疼痛识别方法
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN109214279A (zh) * 2018-07-27 2019-01-15 东南大学 基于视频的在线人脸表情预检测方法及装置
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109446980A (zh) * 2018-10-25 2019-03-08 华中师范大学 表情识别方法及装置
CN109635820A (zh) * 2018-08-06 2019-04-16 浙江大学 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法
CN109711378A (zh) * 2019-01-02 2019-05-03 河北工业大学 人脸表情自动识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767349B1 (en) * 2016-05-09 2017-09-19 Xerox Corporation Learning emotional states using personalized calibration tasks
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107491740A (zh) * 2017-07-28 2017-12-19 北京科技大学 一种基于面部表情分析的新生儿疼痛识别方法
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN109214279A (zh) * 2018-07-27 2019-01-15 东南大学 基于视频的在线人脸表情预检测方法及装置
CN109635820A (zh) * 2018-08-06 2019-04-16 浙江大学 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109446980A (zh) * 2018-10-25 2019-03-08 华中师范大学 表情识别方法及装置
CN109711378A (zh) * 2019-01-02 2019-05-03 河北工业大学 人脸表情自动识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN J, CHEN Z, CHI Z, ET AL.: "Facial expression recognition in video with multiple feature fusion" *
LOU Y, HUANG P, LI D, ET AL.: "Altered brain network centrality in depressed Parkinson\'s disease patients" *
叶继华,等: "人脸表情识别综述" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307942A (zh) * 2020-10-29 2021-02-02 广东富利盛仿生机器人股份有限公司 一种面部表情量化表示方法、系统及介质
CN112734682A (zh) * 2020-12-31 2021-04-30 杭州艾芯智能科技有限公司 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质
CN112734682B (zh) * 2020-12-31 2023-08-01 杭州芯炬视人工智能科技有限公司 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质
US11216652B1 (en) * 2021-03-01 2022-01-04 Institute Of Automation, Chinese Academy Of Sciences Expression recognition method under natural scene

Also Published As

Publication number Publication date
CN111310798B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Lou et al. Realistic facial expression reconstruction for VR HMD users
CN107491740B (zh) 一种基于面部表情分析的新生儿疼痛识别方法
Roy et al. An approach for automatic pain detection through facial expression
TWI383325B (zh) 臉部表情辨識
Li et al. Classification of gait anomalies from kinect
Dibeklioglu et al. Eyes do not lie: Spontaneous versus posed smiles
Guo et al. Dynamic facial expression recognition with atlas construction and sparse representation
CN111310798B (zh) 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法
CN112308932B (zh) 一种注视检测方法、装置、设备及存储介质
Ilyas et al. Facial expression recognition for traumatic brain injured patients
Yan et al. Misalignment-robust face recognition
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估系统
Wang et al. Automatic recognition of facial movement for paralyzed face
Li et al. Appearance-based gaze estimation for ASD diagnosis
Loureiro et al. Using a skeleton gait energy image for pathological gait classification
Cornejo et al. Emotion recognition from occluded facial expressions using weber local descriptor
CN115482574B (zh) 基于深度学习的屏幕注视点估计方法、装置、介质及设备
Shao et al. A multi-modal gait analysis-based detection system of the risk of depression
Jyoti et al. Automatic eye gaze estimation using geometric & texture-based networks
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
Perez et al. Real-time iris detection on coronal-axis-rotated faces
Jabber et al. Robust eye features extraction based on eye angles for efficient gaze classification system
Dutta Facial pain expression recognition in real-time videos
Huang et al. Optimizing features quality: a normalized covariance fusion framework for skeleton action recognition
Zhi et al. Multimodal-based stream integrated neural networks for pain assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant