CN111553250B - 一种基于人脸特征点的精准面瘫程度评测方法及装置 - Google Patents
一种基于人脸特征点的精准面瘫程度评测方法及装置 Download PDFInfo
- Publication number
- CN111553250B CN111553250B CN202010336000.4A CN202010336000A CN111553250B CN 111553250 B CN111553250 B CN 111553250B CN 202010336000 A CN202010336000 A CN 202010336000A CN 111553250 B CN111553250 B CN 111553250B
- Authority
- CN
- China
- Prior art keywords
- facial paralysis
- theta
- points
- facial
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于人脸特征点的精准面瘫程度评测方法及装置。该方法包括:建立面瘫关键点检测模型;获取待检测数据并对待检测数据进行处理:将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫关键点检测模型中以输出相应的多组人脸形状,更新多组人脸形状;对待检测用户的面瘫程度进行评测:计算θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10并分别与其阈值比较;通过比较结果对待检测用户的面瘫程度进行判定,并计算面瘫指数。本发明可以使检测模型具有较高的检测定位精度,大大提升待检测用户面瘫程度综合评价及检测的精度及准度,为面瘫患者的预防发现及治疗提供有力支撑。
Description
技术领域
本发明涉及面瘫识别技术领域的一种精准面瘫程度评测方法,尤其涉及一种基于人脸特征点的精准面瘫程度评测方法,还涉及应用该方法的基于人脸特征点的精准面瘫程度评测装置。
背景技术
面瘫,一种面部肌肉运动功能受阻的常见病,患者往往难以正常完成如闭眼、抬眉、鼓腮、皱鼻或张嘴等基本面部动作,而且在我国是发病率较高的地区。面瘫一般称为面神经麻痹,一般症状是口眼歪斜,患者往往连最基本的抬眉、闭眼、鼓嘴等动作都无法完成。
目前,面瘫诊断相关的面神经功能评价方法有将近20多种,如H-B分级法、线性测量指数、诺丁汉分级系统及多伦多分级法等,但这些系统在评价面瘫程度的评价标准普遍都存在一定的缺陷,如评价结果很大程度上由于人工操作的过程中所带有的专家主观性评判,不仅效率较低而且存在较大的误差,由此大大影响了对面瘫患者的面瘫程度的评估结果,同时对面瘫患者的治疗过程及恢复情况没有信息化的统计记录而难于准确评价治疗效果,从而对面瘫患者的后续治疗带来了较大的阻力。因此,需要一种利用现有计算视觉等技术而实现面瘫程度评测方法,该方法能够应用于面瘫检测设备中,作为医疗设备的检测方法对面瘫患者的面瘫程度进行检测,并且能够大规模、广泛地进行产业化应用,例如可以作为独立的程序应用在手机端、客户端中,可供面瘫患者在非治疗时期进行纠正和检查,同时也可以供非面瘫患者做预防方法使用。
发明内容
为解决现有的面瘫程度评测方法存在误差大,评测效率低的技术问题,本发明提供一种基于人脸特征点的精准面瘫程度评测方法及装置。
本发明采用以下技术方案实现:一种基于人脸特征点的精准面瘫程度评测方法,其包括以下步骤:
(1)确定眉毛的面瘫关键点s1、s2,鼻子的面瘫关键点s3、s4、s5、s6、s7,嘴唇的面瘫关键点s8、s9、s10、s11、s12、s13,左眼的面瘫关键点s14、s15、s16、s17、s18,右眼的面瘫关键点s19、s20、s21、s22、s23;定义(xsm,ysm)为面瘫关键点sm的坐标,m={1,2,...,23},以上述的多个面瘫关键点为元素形成的集合表示人脸形状;
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状;
对多组人脸形状依次分别基于面瘫关键点s14、s19进行线性回归获得直线l1,并确定面瘫关键点s14、s19的中点p5;
基于面瘫关键点s3,s4,s5,s6,s7,s8及点p5进行线性回归获得直线l0,并确定直线l0与直线l1的交点p0,还确定面瘫关键点s11与s12的中点p1;
设置向量向量向量并基于面瘫关键点s15、s16、s17、s18统计由其构成的矩形最小包围盒中所包含的像素点个数n1,基于面瘫关键点s20、s21、s22、s23统计由其构成矩形最小包围盒中所包含的像素点个数n2,基于面瘫关键点s9、s10、s12统计由其构成矩形最小包围盒中所包含的像素点个数n3,面瘫关键点s14与s19的欧氏距离为d;
(3)对于更新后的无表情自然状态人脸形状S0,计算: θ1=arccos(a),对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先计算序列图像一中第一张图像的面瘫关键点s1与其它图像的面瘫关键点s1之间的欧式距离,并确定最大的欧式距离b1,再计算所述序列图像一中第一张图像的面瘫关键点s2与其它图像的面瘫关键点s2之间的欧式距离,并确定最大的欧式距离b2,最后计算:θ3=min(b1,b2),θ4=|b1+b2|/|b1-b2|,其中,所述序列图像一为待检测用户在做皱眉动作全过程中所产生的图像;
对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先确定序列图像二中各个图像中面积n1的最小值c1以及面积n2的最小值c2,再计算: θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|,其中,所述序列图像二在做闭眼动作全过程的图像;
对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先计算所述序列图像一中第一张图像的面瘫关键点s10与其它图像的面瘫关键点s10之间的欧式距离,并确定最大的欧式距离e1,再计算所述序列图像一中第一张图像的面瘫关键点s13与其它图像的面瘫关键点s13之间的欧式距离,并确定最大的欧式距离e2,最后计算:θ7=min(e1,e2),θ8=|e1+e2|/|e1-e2|;
通过比较结果对待检测用户的面瘫程度进行判定,并计算面瘫指数;
其中,步骤(3)还包括:设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11;其中,阈值θ’1、θ’2、θ’4、θ’6、θ’8、θ’10、θ’11分别根据外部实现情况预设;
若θ1>θ’1或θ2<θ’2,则判定所述待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2θ1/θ2)+(0.1d0/θ3)+(0.1/θ4)+(0.3θ5/θ6)+(0.3d0/θ7)+(0.3/θ8)+(0.1θ11/θ9);
若θ1≤θ’1且θ2≥θ’2,同时满足θ6<θ’6或θ8<θ’8或θ11>θ’11时,则判定所述待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ11。
若θ10≠0,则判定所述待检测用户存在面瘫症状且属于半脸面瘫;
若满足以下条件:θ1≤θ’1、θ2≥θ’2、θ6≥θ’6、θ8≥θ’8、θ11≤θ’11,则判定所述待检测用户不存在面瘫症状。
本发明先通过多个面瘫关键点形成人脸形状,再对用户数据进行处理,最后根据处理后的用户数据对其面瘫程度进行评测,这样获取待检测用户脸部的静态图像及动态视频,利用面瘫关键点检测模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及动态视频的所有关键点,根据相似性测度距离综合评价检测用户面瘫程度,可以使检测模型具有较高的检测定位精度,结合优选的基于关键点相似性测度距离,大大提升待检测用户面瘫程度综合评价及检测的精度及准度,解决了现有的面瘫程度评测方法存在误差大,评测效率低的技术问题,得到了面瘫程度探测准确性高,评测效率高,可大规模、产业化应用在面瘫识别和程度评测设备中的技术效果。
作为上述方案的进一步改进,步骤(1)还包括:建立面瘫关键点检测模型;在所述面瘫关键点检测模型中,定义一对眉毛的邻近两点为面瘫关键点s1、s2,鼻子的鼻根点为面瘫关键点s3,鼻子的鼻梁上下两点为面瘫关键点s4、s5,鼻子的准头点为面瘫关键点s6,鼻子的鼻尖为面瘫关键点s7,上唇的中部顶点为面瘫关键点s8,下唇的中部低点为面瘫关键点s9,嘴角两点为面瘫关键点s10、s13,上唇的两个最高点为面瘫关键点s11、s12,一对眼睛的相邻两点为面瘫关键点s14、s19,其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s15、s16、s17、s18,其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s20、s21、s22、s23。
进一步地,步骤(2)还包括:获取待检测数据并对所述待检测数据进行处理;其中,所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四。
再进一步地,步骤(2)还包括:将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫关键点检测模型中以输出相应的多组人脸形状。
再进一步地,更新后人脸形状分别为:
再进一步地,所述面瘫关键点检测模型的建立方法包括以下步骤:
(1.1)创建深度全卷积网络模型;
(1.2)通过多个已标定训练样本以获取模型训练集;
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷积网络模型中进行训练;以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数;
在所述执行次数未达到所述最大训练次数时,获取所述深度全卷积网络模型一个周期的损失值,并判断所述损失值是否大于模型目标损失阈值;
在所述损失值大于所述模型目标损失阈值时,执行步骤(1.3);
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时,将所述深度全卷积网络模型作为面瘫关键点检测模型;
或,
在所述深度全卷积网络模型中,下采样及上采样层数均为N0,N0为正整数,相邻的下采样及上采样间,或下采样与下采样间,或上采样与上采样间均堆叠多层卷积层,输入层通道数为3或1;
或,
在所述深度全卷积网络模型中,输入层没有激活函数,输出层的激活函数为sigmoid函数,紧邻输出层的卷积层的激活函数为tanh函数,其他所有卷积层的激活函数均为Rule函数;
或,
利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值,学习率初始化为le,模型目标Loss阈值设置为m,模型最大训练次数设置为T,并通过贝叶斯正则化或动量梯度下降进行优化,损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种;
或,
所述已标定训练样本的获取方法包括以下步骤:先通过至少一个摄影设备获取包含人脸的图像Im作为所述模型训练集中一个训练样本的数据,再标定图像Im中所有人脸的关键点的坐标值并作为训练样本的标签,并重复进行以获得多个已标定训练样本;
或,
按照一个预设前向传播公式计算所述深度全卷积网络模型的输出,按照一个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型后的模型输出和所述已标定训练样本标签间的误差,并通过反向传播更新所述深度全卷积网络模型所有权值和阈值;
或,
定义面瘫关键点s14、s15、s16、s17、s18位于所述面瘫关键点检测模型中整个人脸的右脸,面瘫关键点s19、s20、s21、s22、s23位于所述面瘫关键点检测模型中整个人脸的左脸;则在步骤(3.7)中,
若θ10>0,则判定所述待检测用户的面瘫部位为右脸;
若θ10<0,则判定所述待检测用户的面瘫部位为右脸;
或,
所述深度全卷积网络模型的下采样及上采样层数均为3层,各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块,输入层通道数为3,输出层通道数为23,学习率初始化为0.001,模型目标Loss阈值为0.1,模型最大训练次数设置为20000。
本发明还提供一种基于人脸特征点的精准面瘫程度评测装置,该装置应用上述任意所述的基于人脸特征点的精准面瘫程度评测方法,其包括:
检测模型建立模块,其用于建立面瘫关键点检测模型;在所述面瘫关键点检测模型中,定义一对眉毛的邻近两点为面瘫关键点s1、s2,鼻子的鼻根点为面瘫关键点s3,鼻子的鼻梁上下两点为面瘫关键点s4、s5,鼻子的准头点为面瘫关键点s6,鼻子的鼻尖为面瘫关键点s7,上唇的中部顶点为面瘫关键点s8,下唇的中部低点为面瘫关键点s9,嘴角两点为面瘫关键点s10、s13,上唇的两个最高点为面瘫关键点s11、s12,一对眼睛的相邻两点为面瘫关键点s14、s19,其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s15、s16、s17、s18,其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s20、s21、s22、s23,以所有面瘫关键点为元素形成的集合表示人脸形状;
数据获取模块,其用于获取待检测数据;其中,所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四;
数据处理模块,其用于对所述待检测数据进行处理;所述数据处理模块包括输入单元和更新单元;所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫关键点检测模型中以输出相应的多组人脸形状;所述更新单元用于先对多组人脸形状依次分别基于面瘫关键点s14、s19进行线性回归获得直线l1,并确定面瘫关键点s14、s19的中点p5,再基于面瘫关键点s3,s4,s5,s6,s7,s8及点p5进行线性回归获得直线l0,并确定直线l0与直线l1的交点p0,还确定面瘫关键点s11与s12的中点p1,然后设置向量向量向量再然后基于面瘫关键点s15、s16、s17、s18统计由其构成的矩形最小包围盒中所包含的像素点个数n1,基于面瘫关键点s20、s21、s22、s23统计由其构成矩形最小包围盒中所包含的像素点个数n2,基于面瘫关键点s9、s10、s12统计由其构成矩形最小包围盒中所包含的像素点个数n3,面瘫关键点s14与s19的欧氏距离为d,最后将点p0、点p1、向量向量向量面积n1、面积n2、面积n3及距离d作为元素加入至对应的人脸形状中以获得更新后人脸形状且分别为:
面瘫程度综合评测模块,其用于对待检测用户的面瘫程度进行评测;所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元;所述计算单元一用于对于更新后的无表情自然状态人脸形状S0,计算: 所述计算单元二用于对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先计算所述序列图像一中第一张图像的面瘫关键点s1与其它图像的面瘫关键点s1之间的欧式距离,并确定最大的欧式距离b1,再计算所述序列图像一中第一张图像的面瘫关键点s2与其它图像的面瘫关键点s2之间的欧式距离,并确定最大的欧式距离b2,最后计算:θ3=min(b1,b2),θ4=|b1+b2|/|b1-b2|;所述计算单元三用于对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先确定所述序列图像二中各个图像中面积n1的最小值c1以及面积n2的最小值c2,再计算: θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|;所述计算单元四用于对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先计算所述序列图像一中第一张图像的面瘫关键点s10与其它图像的面瘫关键点s10之间的欧式距离,并确定最大的欧式距离e1,再计算所述序列图像一中第一张图像的面瘫关键点s13与其它图像的面瘫关键点s13之间的欧式距离,并确定最大的欧式距离e2,最后计算:θ7=min(e1,e2),θ8=|e1+e2|/|e1-e2|;所述计算单元五用于对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn,计算: θ10=arccos(f2),θ11=|θ10|;所述设置比较单元用于设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11;所述判定单元用于根据所述设置比较单元的比较结果进行判定;若θ1>θ’1或θ2<θ’2,所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2θ1/θ2)+(0.1d0/θ3)+(0.1/θ4)+(0.3θ5/θ6)+(0.3d0/θ7)+(0.3/θ8)+(0.1θ11/θ9);若θ1≤θ’1且θ2≥θ’2,同时满足θ6<θ’6或θ8<θ’8或θ11>θ’11时,所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ11;若θ10≠0,所述判定单元则判定所述待检测用户存在面瘫症状且属于半脸面瘫;若满足以下条件:θ1≤θ’1、θ2≥θ’2、θ6≥θ’6、θ8≥θ’8、θ11≤θ’11,所述判定单元则判定所述待检测用户不存在面瘫症状。
相较于现有的面瘫程度评测方法,本发明的基于人脸特征点的精准面瘫程度评测方法及装置具有以下有益效果:
该基于人脸特征点的精准面瘫程度评测方法,其先建立面瘫关键点检测模型,并在模型中选取面部中的眉毛、眼睛、鼻子、嘴唇等的面瘫关键点,再获取待检测用户的待检测数据并对所述待检测数据进行处理,采集用户在无表情、皱眉、闭眼、微笑以及吹哨过程中的图像,并将图像输入至面瘫关键点检测模型中输出多组人脸形状,随后分别对各组人脸形状进行线性回归等操作,获得一系列面瘫关联元素并对人脸形状进行更新,最后计算更新后的各组人脸形状的各种特征值,并针对特征值之间的关系对待检测用户的面瘫程度进行评测,实现对用户面瘫程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频,利用面瘫关键点检测模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及动态视频的所有关键点,根据相似性测度距离综合评价检测用户面瘫程度,可以使检测模型具有较高的检测定位精度,结合优选的基于关键点相似性测度距离,大大提升待检测用户面瘫程度综合评价及检测的精度及准度,为面瘫患者的预防发现及治疗提供有力支撑。
而且,该基于人脸特征点的精准面瘫程度评测方法由于可以采用计算机视觉技术检测用户的面部图像,并通过计算机执行其他步骤,这样在应用时可以直接使用在现有的手机、计算机等设备中,也可以使用在专门评估用户的面瘫程度的医疗设备中,还可以作为独立模块进行产品化应用,可以大规模、产业化应用在面瘫识别和程度评测设备中,提高现有的医疗设备的评测效率和准确性。
该基于人脸特征点的精准面瘫程度评测装置,其有益效果与上述的基于人脸特征点的精准面瘫程度评测方法的有益效果相同,在此不再做赘述。
附图说明
图1为本发明实施例1的基于人脸特征点的精准面瘫程度评测方法的流程图。
图2为本发明实施例1的基于人脸特征点的精准面瘫程度评测方法所建立的面瘫关键点检测模型中面瘫关键点在人脸中具体位置分布图。
图3为本发明实施例2的基于人脸特征点的精准面瘫程度评测方法所建立的深度全卷积网络模型的结构示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
请参阅图1,本实施例提供了一种基于人脸特征点的精准面瘫程度评测方法,该方法能够应用于面瘫检测设备中,作为医疗设备的检测方法对面瘫患者的面瘫程度进行检测,并且能够大规模、广泛地进行产业化应用,例如可以作为独立的程序应用在手机端、客户端中,可供面瘫患者在非治疗时期进行纠正和检查,同时也可以供非面瘫患者做预防方法使用。其中,该精准面瘫程度评测方法包括以下这些步骤。
步骤(1):建立面瘫关键点检测模型。在本实施例中,面瘫关键点检测模型的建立方法包括以下这些步骤,即步骤(1.1)-(1.4)。
(1.1)创建深度全卷积网络模型。在深度全卷积网络模型中,下采样及上采样层数均为N0,N0为正整数。相邻的下采样及上采样间,或下采样与下采样间,或上采样与上采样间均堆叠多层卷积层(层数大于等于1),输入层通道数为3或1,输出层通道数与面瘫关键点检测模型所需检测的关键点个数相同,输出层中每一个通道一一对应且仅表示面瘫关键点检测中一个具体的关键点。而且,在深度全卷积网络模型中,输出层采用one-hot编码,输入层没有激活函数,输出层的激活函数为sigmoid函数,紧邻输出层的卷积层的激活函数为tanh函数,其他所有卷积层的激活函数均为Rule函数。并且,利用高斯分布随机数初始化深度全卷积网络模型的所有权值和阈值,学习率初始化为le,模型目标Loss阈值设置为m,模型最大训练次数设置为T,并通过贝叶斯正则化或动量梯度下降进行优化,损失函数为BinaryCross Entropy、Focal Loss、MSE中的一种。
(1.2)通过多个已标定训练样本以获取模型训练集。在本实施例中,已标定训练样本的获取方法包括以下步骤:先通过至少一个摄影设备获取包含人脸的图像Im作为模型训练集中一个训练样本的数据,再标定图像Im中所有人脸的关键点的坐标值并作为训练样本的标签,并重复进行以获得多个已标定训练样本,即重复该步骤N1次以获取N1个已标定训练样本组成训练集P,其中N1可以根据用户实际应用需要而自定义。
(1.3)在模型训练集中选取一组已标定训练样本输入至深度全卷积网络模型中进行训练。在本实施例中,按照一个预设前向传播公式计算深度全卷积网络模型的输出,按照一个预设误差公式计算出该已标定训练样本输入到深度全卷积网络模型后的模型输出和已标定训练样本标签间的误差,并通过反向传播更新深度全卷积网络模型所有权值和阈值。
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数;在执行次数未达到最大训练次数时,获取深度全卷积网络模型一个周期的损失值,并判断损失值是否大于模型目标损失阈值;在损失值大于模型目标损失阈值时,执行步骤(1.3);在损失值小于模型目标损失阈值或执行次数达到最大训练次数时,将深度全卷积网络模型作为面瘫关键点检测模型。在本步骤中,实际上为不断重复步骤(1.3),每执行一次步骤(1.3)后获取模型一个epoch的Loss值M,若M小于模型目标Loss阈值m,或重复执行步骤(1.3)的次数达到模型最大训练次数T,则不再执行步骤(1.3),深度全卷积网络模型训练完成,选取该已训练完成的深度全卷积网络模型作为面瘫关键点检测模型。
请参阅图2,在面瘫关键点检测模型中,定义一对眉毛的邻近两点为面瘫关键点s1、s2,鼻子的鼻根点为面瘫关键点s3,鼻子的鼻梁上下两点为面瘫关键点s4、s5,鼻子的准头点为面瘫关键点s6,鼻子的鼻尖为面瘫关键点s7,上唇的中部顶点为面瘫关键点s8,下唇的中部低点为面瘫关键点s9,嘴角两点为面瘫关键点s10、s13,上唇的两个最高点为面瘫关键点s11、s12,一对眼睛的相邻两点为面瘫关键点s14、s19,其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s15、s16、s17、s18,其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s20、s21、s22、s23。在本实施例中,定义面瘫关键点s14、s15、s16、s17、s18位于面瘫关键点检测模型中整个人脸的右脸,面瘫关键点s19、s20、s21、s22、s23位于面瘫关键点检测模型中整个人脸的左脸。这里需要指出的是,,以所有面瘫关键点为元素形成的集合表示人脸形状。这里的左右关系是相对于待检测用户而言,而非他人所看到的待检测用户的面部情况。
步骤(2):获取待检测数据并对待检测数据进行处理。其中,待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四。在本实施例中,通过摄影设备,获取:包含待检测用户整个人脸的1张无表情自然状态静态图像Img0;包含待检测用户整个人脸的1组(包含n张)待检测用户在做皱眉动作全过程的序列图像Imga1,Imga2,……,Imgan;包含待检测用户整个人脸的1组(包含n张)待检测用户在做闭眼动作全过程的序列图像Imgb1,Imgb2,……,Imgbn;包含待检测用户整个人脸的1组(包含n张)待检测用户在做微笑动作全过程的序列图像Imgc1,Imgc2,……,Imgcn;包含待检测用户整个人脸的1组(包含n张)待检测用户在做吹哨动作全过程的序列图像Imgd1,Imgd2,……,Imgdn,其中n可以根据用户实际应用需要而自定义。而待检测数据的处理方法包括以下这些步骤,即步骤(2.1)和步骤(2.2),步骤(2.2)还可以拆分为多个子步骤单独执行。
(2.1)将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫关键点检测模型中以输出相应的多组人脸形状。即:将图像Img0,Imga1,Imga2……Imgan,Imgb1,Imgb2……Imgbn,Imgc1,Imgc2……Imgcn,Imgd1,Imgd2……Imgdn依次输入至面瘫关键点检测模型获得对应输出人脸形状S0,Sa1,Sa2,……,San,Sb1,Sb2,……,Sbn,Sc1,Sc2,,……,Scn,Sd1,Sd2,……,Sdn,其中:
(2.2)先对多组人脸形状依次分别基于面瘫关键点s14、s19进行线性回归获得直线l1,并确定面瘫关键点s14、s19的中点p5,再基于面瘫关键点s3,s4,s5,s6,s7,s8及点p5进行线性回归获得直线l0,并确定直线l0与直线l1的交点p0,还确定面瘫关键点s11与s12的中点p1,然后设置向量向量向量再然后基于面瘫关键点s15、s16、s17、s18统计由其构成的矩形最小包围盒中所包含的像素点个数n1,基于面瘫关键点s20、s21、s22、s23统计由其构成矩形最小包围盒中所包含的像素点个数n2,基于面瘫关键点s9、s10、s12统计由其构成矩形最小包围盒中所包含的像素点个数n3,面瘫关键点s14与s19的欧氏距离为d,最后将点p0、点p1、向量向量向量面积n1、面积n2、面积n3及距离d作为元素加入至对应的人脸形状中以获得更新后人脸形状且分别为:
步骤(3):对待检测用户的面瘫程度进行评测。其中,评测方法包括以下这些步骤,即步骤(3.1)-(3.7)。
(3.2)对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先计算序列图像一中第一张图像的面瘫关键点s1与其它图像的面瘫关键点s1之间的欧式距离,并确定最大的欧式距离b1,再计算序列图像一中第一张图像的面瘫关键点s2与其它图像的面瘫关键点s2之间的欧式距离,并确定最大的欧式距离b2,最后计算:θ3=min(b1,b2),θ4=|b1+b2|/|b1-b2|。在本实施例中,其他计算公式可表示为:
(3.3)对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先确定序列图像二中各个图像中面积n1的最小值c1以及面积n2的最小值c2,再计算:θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|。在本实施例中,其他的具体计算公式可表示为:
(3.4)对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先计算序列图像一中第一张图像的面瘫关键点s10与其它图像的面瘫关键点s10之间的欧式距离,并确定最大的欧式距离e1,再计算序列图像一中第一张图像的面瘫关键点s13与其它图像的面瘫关键点s13之间的欧式距离,并确定最大的欧式距离e2,最后计算:θ7=min(e1,e2),θ8=|e1+e2|/|e1-e2|。在本实施例中,其他计算公式可表示为:
(3.6)设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11。
(3.7)若θ1>θ’1或θ2<θ’2,则判定待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2θ1/θ2)+(0.1d0/θ3)+(0.1/θ4)+(0.3θ5/θ6)+(0.3d0/θ7)+(0.3/θ8)+(0.1θ11/θ9)。若θ1≤θ’1且θ2≥θ’2,同时满足θ6<θ’6或θ8<θ’8或θ11>θ’11时,则判定待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ11。若θ10≠0,则判定待检测用户存在面瘫症状且属于半脸面瘫。若满足以下条件:θ1≤θ’1、θ2≥θ’2、θ6≥θ’6、θ8≥θ’8、θ11≤θ’11,则判定待检测用户不存在面瘫症状。在本实施例中,若θ10>0,则判定待检测用户的面瘫部位为右脸。若θ10<0,则判定待检测用户的面瘫部位为右脸。
综上所述,相较于现有的面瘫程度评测方法,本实施例的基于人脸特征点的精准面瘫程度评测方法具有以下优点:
该基于人脸特征点的精准面瘫程度评测方法,其先建立面瘫关键点检测模型,并在模型中选取面部中的眉毛、眼睛、鼻子、嘴唇等的面瘫关键点,再获取待检测用户的待检测数据并对待检测数据进行处理,采集用户在无表情、皱眉、闭眼、微笑以及吹哨过程中的图像,并将图像输入至面瘫关键点检测模型中输出多组人脸形状,随后分别对各组人脸形状进行线性回归等操作,获得一系列面瘫关联元素并对人脸形状进行更新,最后计算更新后的各组人脸形状的各种特征值,并针对特征值之间的关系对待检测用户的面瘫程度进行评测,实现对用户面瘫程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频,利用面瘫关键点检测模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及动态视频的所有关键点,根据相似性测度距离综合评价检测用户面瘫程度,可以使检测模型具有较高的检测定位精度,结合优选的基于关键点相似性测度距离,大大提升待检测用户面瘫程度综合评价及检测的精度及准度,为面瘫患者的预防发现及治疗提供有力支撑。
而且,该基于人脸特征点的精准面瘫程度评测方法由于可以采用计算机视觉技术检测用户的面部图像,并通过计算机执行其他步骤,这样在应用时可以直接使用在现有的手机、计算机等设备中,也可以使用在专门评估用户的面瘫程度的医疗设备中,还可以作为独立模块进行产品化应用,可以大规模、产业化应用在面瘫识别和程度评测设备中,提高现有的医疗设备的评测效率和准确性。
实施例2
请参阅图3,本实施例提供了一种基于人脸特征点的精准面瘫程度评测方法,该方法与实施例1的相似,区别在于本实施例的深度全卷积网络模型不同。本实施例的深度全卷积网络模型的具体结构,可根据用户具体要求而单独设计,为方便进一步介绍,现设计一个深度全卷积网络模型结构示例如图3所示。深度全卷积网络模型的下采样及上采样层数均为3层,下采样均采用maxpooling最大值池化方式,池化层尺寸均为2×2且步长均为2,上采样均采用dconv反卷积方式,反卷积层尺寸均为2×2且步长均为2,各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块conv1、conv2、conv3、conv4、conv5和conv6。其中,conv1由9层卷积层堆叠组成,conv1第一层卷积层如“64@1×1,1”表示conv1所组成的第一层卷积层的卷积核大小为1×1,数量为64,步长为1。conv1第二层卷积层如“64@3×3,1”表示conv1所组成的第二层卷积层的卷积核大小为3×3,数量为64,步长为1。conv1第三层卷积层如“128@1×1,1”表示conv1所组成的第三层卷积层的卷积核大小为1×1,数量为128,步长为1。conv1第四层卷积层如“64@1×1,1”表示conv1所组成的第四层卷积层的卷积核大小为1×1,数量为64,步长为1。conv1第五层卷积层如“64@3×3,1”表示conv1所组成的第五层卷积层的卷积核大小为3×3,数量为64,步长为1。conv1第六层卷积层如“128@1×1,1”表示conv1所组成的第六层卷积层的卷积核大小为1×1,数量为128,步长为1。conv1第七层卷积层如“64@1×1,1”表示conv1所组成的第七层卷积层的卷积核大小为1×1,数量为64,步长为1。conv1第八层卷积层如“64@3×3,1”表示conv1所组成的第八层卷积层的卷积核大小为3×3,数量为64,步长为1。conv1第九层卷积层如“128@1×1,1”表示conv1所组成的第九层卷积层的卷积核大小为1×1,数量为128,步长为1。对于其他卷积层模块conv2、conv3、conv4、conv5和conv6均具有相同规律,在此不再赘述。输入层通道数为3,输出层通道数为23,输出层采用one-hot编码并且输出层中每一个通道一一对应并仅表示面瘫关键点检测中一个具体的关键点,输入层没有激活函数,输出层的激活函数为sigmoid函数,紧邻输出层的卷积层的激活函数为tanh函数,其他所有卷积层的激活函数均为Rule函数。另外,利用高斯分布随机数初始化深度全卷积网络模型的所有权值和阈值,学习率初始化为0.001,模型目标Loss阈值为0.1,模型最大训练次数设置为20000,并通过Adam进行优化,损失函数为Binary Cross Entropy。
实施例3
本实施例提供了一种基于人脸特征点的精准面瘫程度评测装置,该装置应用实施例1或实施例2的基于人脸特征点的精准面瘫程度评测方法。其中,精准面瘫程度评测装置包括检测模型建立模块、数据获取模块、数据处理模块以及面瘫程度综合评测模块,数据获取模块和数据处理模块可以组成一个待检测数据获取及处理模块。这些模块可以作为计算机程序模块,也可以作为硬件模块,其能够执行实施例1或实施例2中所介绍的相关步骤。
检测模型建立模块用于建立面瘫关键点检测模型,其实际上用于执行实施例1中的步骤(1)。在面瘫关键点检测模型中,定义一对眉毛的邻近两点为面瘫关键点s1、s2,鼻子的鼻根点为面瘫关键点s3,鼻子的鼻梁上下两点为面瘫关键点s4、s5,鼻子的准头点为面瘫关键点s6,鼻子的鼻尖为面瘫关键点s7,上唇的中部顶点为面瘫关键点s8,下唇的中部低点为面瘫关键点s9,嘴角两点为面瘫关键点s10、s13,上唇的两个最高点为面瘫关键点s11、s12,一对眼睛的相邻两点为面瘫关键点s14、s19,其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s15、s16、s17、s18,其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s20、s21、s22、s23,以所有面瘫关键点为元素形成的集合表示人脸形状。
数据获取模块用于获取待检测数据,该数据为待检测用户的面部数据。其中,待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四。
数据处理模块用于对待检测数据进行处理,而且数据处理模块包括输入单元和更新单元。输入单元用于将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫关键点检测模型中以输出相应的多组人脸形状。更新单元用于先对多组人脸形状依次分别基于面瘫关键点s14、s19进行线性回归获得直线l1,并确定面瘫关键点s14、s19的中点p5,再基于面瘫关键点s3,s4,s5,s6,s7,s8及点p5进行线性回归获得直线l0,并确定直线l0与直线l1的交点p0,还确定面瘫关键点s11与s12的中点p1,然后设置向量向量向量再然后基于面瘫关键点s15、s16、s17、s18统计由其构成的矩形最小包围盒中所包含的像素点个数n1,基于面瘫关键点s20、s21、s22、s23统计由其构成矩形最小包围盒中所包含的像素点个数n2,基于面瘫关键点s9、s10、s12统计由其构成矩形最小包围盒中所包含的像素点个数n3,面瘫关键点s14与s19的欧氏距离为d,最后将点p0、点p1、向量向量向量面积n1、面积n2、面积n3及距离d作为元素加入至对应的人脸形状中以获得更新后人脸形状且分别为:
面瘫程度综合评测模块用于对待检测用户的面瘫程度进行评测。面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元。面瘫程度综合评测模块实际上用于执行实施例1中的步骤(3),而各个单元则分别用于执行步骤(3.1)-(3.7)。
计算单元一用于对于更新后的无表情自然状态人脸形状S0,计算:θ1=arccos(a),计算单元二用于对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先计算序列图像一中第一张图像的面瘫关键点s1与其它图像的面瘫关键点s1之间的欧式距离,并确定最大的欧式距离b1,再计算序列图像一中第一张图像的面瘫关键点s2与其它图像的面瘫关键点s2之间的欧式距离,并确定最大的欧式距离b2,最后计算:θ3=min(b1,b2),θ4=|b1+b2|/|b1-b2|。
计算单元三用于对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先确定序列图像二中各个图像中面积n1的最小值c1以及面积n2的最小值c2,再计算:θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|。计算单元四用于对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先计算序列图像一中第一张图像的面瘫关键点s10与其它图像的面瘫关键点s10之间的欧式距离,并确定最大的欧式距离e1,再计算序列图像一中第一张图像的面瘫关键点s13与其它图像的面瘫关键点s13之间的欧式距离,并确定最大的欧式距离e2,最后计算:θ7=min(e1,e2),θ8=|e1+e2|/|e1-e2|。计算单元五用于对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn,计算: θ10=arccos(f2),θ11=|θ10|。
设置比较单元用于设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11。判定单元用于根据设置比较单元的比较结果进行判定。若θ1>θ’1或θ2<θ’2,判定单元则判定待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2θ1/θ2)+(0.1d0/θ3)+(0.1/θ4)+(0.3θ5/θ6)+(0.3d0/θ7)+(0.3/θ8)+(0.1θ11/θ9)。若θ1≤θ’1且θ2≥θ’2,同时满足θ6<θ’6或θ8<θ’8或θ11>θ’11时,判定单元则判定待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ11。若θ10≠0,判定单元则判定待检测用户存在面瘫症状且属于半脸面瘫。若满足以下条件:θ1≤θ’1、θ2≥θ’2、θ6≥θ’6、θ8≥θ’8、θ11≤θ’11,判定单元则判定待检测用户不存在面瘫症状。
该基于人脸特征点的精准面瘫程度评测装置相较于现有面瘫程度评测设备,其所具有的优点与实施例1中的基于人脸特征点的精准面瘫程度评测方法的优点相同,在此不再做赘述。
实施例4
本实施例提供一种计算机终端,其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的基于人脸特征点的精准面瘫程度评测方法的步骤。
实施例1的方法在应用时,可以软件的形式进行应用,如设计成独立运行的程序,安装在计算机终端上,计算机终端可以是电脑、智能手机、控制系统以及其他物联网设备等。实施例1的方法也可以设计成嵌入式运行的程序,安装在计算机终端上,如安装在单片机上。
实施例5
本实施例提供一种计算机可读存储介质,其上存储有计算机程序。程序被处理器执行时,实现实施例1的基于人脸特征点的精准面瘫程度评测方法的步骤。
实施例1的方法在应用时,可以软件的形式进行应用,如设计成计算机可读存储介质可独立运行的程序,计算机可读存储介质可以是U盘,设计成U盾,通过U盘设计成通过外在触发启动整个方法的程序。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于人脸特征点的精准面瘫程度评测方法,其特征在于,其包括以下步骤:
(1)确定眉毛的面瘫关键点s1、s2,鼻子的面瘫关键点s3、s4、s5、s6、s7,嘴唇的面瘫关键点s8、s9、s10、s11、s12、s13,左眼的面瘫关键点s14、s15、s16、s17、s18,右眼的面瘫关键点s19、s20、s21、s22、s23;定义(xsm,ysm)为面瘫关键点sm的坐标,m={1,2,...,23},以上述的多个面瘫关键点为元素形成的集合表示人脸形状;
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状;
对多组人脸形状依次分别基于面瘫关键点s14、s19进行线性回归获得直线l1,并确定面瘫关键点s14、s19的中点p5;
基于面瘫关键点s3,s4,s5,s6,s7,s8及点p5进行线性回归获得直线l0,并确定直线l0与直线l1的交点p0,还确定面瘫关键点s11与s12的中点p1;
设置向量向量向量并基于面瘫关键点s15、s16、s17、s18统计由其构成的矩形最小包围盒中所包含的像素点个数n1,基于面瘫关键点s20、s21、s22、s23统计由其构成矩形最小包围盒中所包含的像素点个数n2,基于面瘫关键点s9、s10、s12统计由其构成矩形最小包围盒中所包含的像素点个数n3,面瘫关键点s14与s19的欧氏距离为d;
对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先计算序列图像一中第一张图像的面瘫关键点s1与其它图像的面瘫关键点s1之间的欧式距离,并确定最大的欧式距离b1,再计算所述序列图像一中第一张图像的面瘫关键点s2与其它图像的面瘫关键点s2之间的欧式距离,并确定最大的欧式距离b2,最后计算:θ3=min(b1,b2),θ4=|b1+b2|/|b1-b2|,其中,所述序列图像一为待检测用户在做皱眉动作全过程中所产生的图像;
对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先确定序列图像二中各个图像中面积n1的最小值c1以及面积n2的最小值c2,再计算: θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|,其中,所述序列图像二在做闭眼动作全过程的图像;
对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先计算所述序列图像一中第一张图像的面瘫关键点s10与其它图像的面瘫关键点s10之间的欧式距离,并确定最大的欧式距离e1,再计算所述序列图像一中第一张图像的面瘫关键点s13与其它图像的面瘫关键点s13之间的欧式距离,并确定最大的欧式距离e2,最后计算:θ7=min(e1,e2),θ8=|e1+e2|/|e1-e2|;
通过比较结果对待检测用户的面瘫程度进行判定,并计算面瘫指数;
其中,步骤(3)还包括:设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11;其中,阈值θ’1、θ’2、θ’4、θ’6、θ’8、θ’10、θ’11分别根据外部实现情况预设;
若θ1>θ’1或θ2<θ’2,则判定所述待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2θ1/θ2)+(0.1d0/θ3)+(0.1/θ4)+(0.3θ5/θ6)+(0.3d0/θ7)+(0.3/θ8)+(0.1θ11/θ9);
若θ1≤θ’1且θ2≥θ’2,同时满足θ6<θ’6或θ8<θ’8或θ11>θ’11时,则判定所述待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ11;
若θ10≠0,则判定所述待检测用户存在面瘫症状且属于半脸面瘫;
若满足以下条件:θ1≤θ’1、θ2≥θ’2、θ6≥θ’6、θ8≥θ’8、θ11≤θ’11,则判定所述待检测用户不存在面瘫症状。
2.如权利要求1所述的基于人脸特征点的精准面瘫程度评测方法,其特征在于,步骤(1)还包括:建立面瘫关键点检测模型;在所述面瘫关键点检测模型中,定义一对眉毛的邻近两点为面瘫关键点s1、s2,鼻子的鼻根点为面瘫关键点s3,鼻子的鼻梁上下两点为面瘫关键点s4、s5,鼻子的准头点为面瘫关键点s6,鼻子的鼻尖为面瘫关键点s7,上唇的中部顶点为面瘫关键点s8,下唇的中部低点为面瘫关键点s9,嘴角两点为面瘫关键点s10、s13,上唇的两个最高点为面瘫关键点s11、s12,一对眼睛的相邻两点为面瘫关键点s14、s19,其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s15、s16、s17、s18,其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s20、s21、s22、s23。
3.如权利要求2所述的基于人脸特征点的精准面瘫程度评测方法,其特征在于,步骤(2)还包括:获取待检测数据并对所述待检测数据进行处理;其中,所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四。
4.如权利要求3所述的基于人脸特征点的精准面瘫程度评测方法,其特征在于,步骤(2)还包括:将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫关键点检测模型中以输出相应的多组人脸形状。
6.如权利要求1所述的基于人脸特征点的精准面瘫程度评测方法,其特征在于,所述面瘫关键点检测模型的建立方法包括以下步骤:
(1.1)创建深度全卷积网络模型;
(1.2)通过多个已标定训练样本以获取模型训练集;
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷积网络模型中进行训练;以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数;
在所述执行次数未达到所述最大训练次数时,获取所述深度全卷积网络模型一个周期的损失值,并判断所述损失值是否大于模型目标损失阈值;
在所述损失值大于所述模型目标损失阈值时,执行步骤(1.3);
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时,将所述深度全卷积网络模型作为面瘫关键点检测模型;
或,
在所述深度全卷积网络模型中,下采样及上采样层数均为N0,N0为正整数,相邻的下采样及上采样间,或下采样与下采样间,或上采样与上采样间均堆叠多层卷积层,输入层通道数为3或1;
或,
在所述深度全卷积网络模型中,输入层没有激活函数,输出层的激活函数为sigmoid函数,紧邻输出层的卷积层的激活函数为tanh函数,其他所有卷积层的激活函数均为Rule函数;
或,
利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值,学习率初始化为le,模型目标Loss阈值设置为m,模型最大训练次数设置为T,并通过贝叶斯正则化或动量梯度下降进行优化,损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种;
或,
所述已标定训练样本的获取方法包括以下步骤:先通过至少一个摄影设备获取包含人脸的图像Im作为所述模型训练集中一个训练样本的数据,再标定图像Im中所有人脸的关键点的坐标值并作为训练样本的标签,并重复进行以获得多个已标定训练样本;
或,
按照一个预设前向传播公式计算所述深度全卷积网络模型的输出,按照一个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型后的模型输出和所述已标定训练样本标签间的误差,并通过反向传播更新所述深度全卷积网络模型所有权值和阈值;
或,
定义面瘫关键点s14、s15、s16、s17、s18位于所述面瘫关键点检测模型中整个人脸的右脸,面瘫关键点s19、s20、s21、s22、s23位于所述面瘫关键点检测模型中整个人脸的左脸;则在步骤(3.7)中,
若θ10>0,则判定所述待检测用户的面瘫部位为右脸;
若θ10<0,则判定所述待检测用户的面瘫部位为右脸;
或,
所述深度全卷积网络模型的下采样及上采样层数均为3层,各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块,输入层通道数为3,输出层通道数为23,学习率初始化为0.001,模型目标Loss阈值为0.1,模型最大训练次数设置为20000。
7.一种基于人脸特征点的精准面瘫程度评测装置,其应用如权利要求1-6中任意一项所述的基于人脸特征点的精准面瘫程度评测方法,其特征在于,其包括:
检测模型建立模块,其用于建立面瘫关键点检测模型;在所述面瘫关键点检测模型中,定义一对眉毛的邻近两点为面瘫关键点s1、s2,鼻子的鼻根点为面瘫关键点s3,鼻子的鼻梁上下两点为面瘫关键点s4、s5,鼻子的准头点为面瘫关键点s6,鼻子的鼻尖为面瘫关键点s7,上唇的中部顶点为面瘫关键点s8,下唇的中部低点为面瘫关键点s9,嘴角两点为面瘫关键点s10、s13,上唇的两个最高点为面瘫关键点s11、s12,一对眼睛的相邻两点为面瘫关键点s14、s19,其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s15、s16、s17、s18,其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s20、s21、s22、s23,以所有面瘫关键点为元素形成的集合表示人脸形状;
数据获取模块,其用于获取待检测数据;其中,所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四;
数据处理模块,其用于对所述待检测数据进行处理;所述数据处理模块包括输入单元和更新单元;所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫关键点检测模型中以输出相应的多组人脸形状;所述更新单元用于先对多组人脸形状依次分别基于面瘫关键点s14、s19进行线性回归获得直线l1,并确定面瘫关键点s14、s19的中点p5,再基于面瘫关键点s3,s4,s5,s6,s7,s8及点p5进行线性回归获得直线l0,并确定直线l0与直线l1的交点p0,还确定面瘫关键点s11与s12的中点p1,然后设置向量向量向量再然后基于面瘫关键点s15、s16、s17、s18统计由其构成的矩形最小包围盒中所包含的像素点个数n1,基于面瘫关键点s20、s21、s22、s23统计由其构成矩形最小包围盒中所包含的像素点个数n2,基于面瘫关键点s9、s10、s12统计由其构成矩形最小包围盒中所包含的像素点个数n3,面瘫关键点s14与s19的欧氏距离为d,最后将点p0、点p1、向量向量向量面积n1、面积n2、面积n3及距离d作为元素加入至对应的人脸形状中以获得更新后人脸形状且分别为:
面瘫程度综合评测模块,其用于对待检测用户的面瘫程度进行评测;所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元;所述计算单元一用于对于更新后的无表情自然状态人脸形状S0,计算:θ1=arccos(a),所述计算单元二用于对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先计算所述序列图像一中第一张图像的面瘫关键点s1与其它图像的面瘫关键点s1之间的欧式距离,并确定最大的欧式距离b1,再计算所述序列图像一中第一张图像的面瘫关键点s2与其它图像的面瘫关键点s2之间的欧式距离,并确定最大的欧式距离b2,最后计算:θ3=min(b1,b2),θ4=|b1+b2|/|b1-b2|;所述计算单元三用于对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先确定所述序列图像二中各个图像中面积n1的最小值c1以及面积n2的最小值c2,再计算: θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|;所述计算单元四用于对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先计算所述序列图像一中第一张图像的面瘫关键点s10与其它图像的面瘫关键点s10之间的欧式距离,并确定最大的欧式距离e1,再计算所述序列图像一中第一张图像的面瘫关键点s13与其它图像的面瘫关键点s13之间的欧式距离,并确定最大的欧式距离e2,最后计算:θ7=min(e1,e2),θ8=|e1+e2|/|e1-e2|;所述计算单元五用于对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn,计算: θ10=arccos(f2),θ11=|θ10|;所述设置比较单元用于设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11;所述判定单元用于根据所述设置比较单元的比较结果进行判定;若θ1>θ’1或θ2<θ’2,所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2θ1/θ2)+(0.1d0/θ3)+(0.1/θ4)+(0.3θ5/θ6)+(0.3d0/θ7)+(0.3/θ8)+(0.1θ11/θ9);若θ1≤θ’1且θ2≥θ’2,同时满足θ6<θ’6或θ8<θ’8或θ11>θ’11时,所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ11;若θ10≠0,所述判定单元则判定所述待检测用户存在面瘫症状且属于半脸面瘫;若满足以下条件:θ1≤θ’1、θ2≥θ’2、θ6≥θ’6、θ8≥θ’8、θ11≤θ’11,所述判定单元则判定所述待检测用户不存在面瘫症状。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010336000.4A CN111553250B (zh) | 2020-04-25 | 2020-04-25 | 一种基于人脸特征点的精准面瘫程度评测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010336000.4A CN111553250B (zh) | 2020-04-25 | 2020-04-25 | 一种基于人脸特征点的精准面瘫程度评测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111553250A CN111553250A (zh) | 2020-08-18 |
CN111553250B true CN111553250B (zh) | 2021-03-09 |
Family
ID=72000354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010336000.4A Active CN111553250B (zh) | 2020-04-25 | 2020-04-25 | 一种基于人脸特征点的精准面瘫程度评测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111553250B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112220450B (zh) * | 2020-08-21 | 2023-08-15 | 上海交通大学医学院附属第九人民医院 | 基于三维模型的眼眶病筛查方法、系统以及终端 |
CN113033359B (zh) * | 2021-03-12 | 2023-02-24 | 西北大学 | 基于自监督的预训练和面瘫分级的建模、分级方法及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106175780A (zh) * | 2016-07-13 | 2016-12-07 | 天远三维(天津)科技有限公司 | 面肌运动捕捉分析系统及其分析方法 |
CN106980815A (zh) * | 2017-02-07 | 2017-07-25 | 王俊 | 基于h‑b分级评分监督下的面瘫客观评估方法 |
CN107713984B (zh) * | 2017-02-07 | 2024-04-09 | 王俊 | 面瘫客观评估方法 |
KR101908851B1 (ko) * | 2017-04-14 | 2018-10-17 | 한국 한의학 연구원 | 얼굴 자세 보정 장치 및 방법 |
CN109508644B (zh) * | 2018-10-19 | 2022-10-21 | 陕西大智慧医疗科技股份有限公司 | 基于深度视频数据分析的面瘫等级评估系统 |
CN109686418A (zh) * | 2018-12-14 | 2019-04-26 | 深圳先进技术研究院 | 面瘫程度评价方法、装置、电子设备及存储介质 |
CN110084259B (zh) * | 2019-01-10 | 2022-09-20 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估系统 |
CN109919049A (zh) * | 2019-02-21 | 2019-06-21 | 北京以萨技术股份有限公司 | 基于深度学习人脸姿态估计的疲劳检测方法 |
CN110013227A (zh) * | 2019-05-14 | 2019-07-16 | 深圳德技创新实业有限公司 | 一种脸部皮肤检测仪 |
CN110097970A (zh) * | 2019-06-26 | 2019-08-06 | 北京康健数字化健康管理研究院 | 一种基于深度学习的面瘫诊断系统及其系统建立方法 |
CN110516626A (zh) * | 2019-08-29 | 2019-11-29 | 上海交通大学 | 一种基于人脸识别技术的面部对称性评估方法 |
CN111126180B (zh) * | 2019-12-06 | 2022-08-05 | 四川大学 | 一种基于计算机视觉的面瘫严重程度自动检测系统 |
CN111062936B (zh) * | 2019-12-27 | 2023-11-03 | 中国科学院上海营养与健康研究所 | 用于面部变形诊疗效果的量化指标评估方法 |
-
2020
- 2020-04-25 CN CN202010336000.4A patent/CN111553250B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111553250A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Attribute-aware face aging with wavelet-based generative adversarial networks | |
CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
CN108229381B (zh) | 人脸图像生成方法、装置、存储介质和计算机设备 | |
Chin et al. | Incremental kernel principal component analysis | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
CN110532880B (zh) | 样本筛选及表情识别方法、神经网络、设备及存储介质 | |
US20060217925A1 (en) | Methods for entity identification | |
Fang et al. | Deep3DSaliency: Deep stereoscopic video saliency detection model by 3D convolutional networks | |
CN113139479A (zh) | 一种基于光流和rgb模态对比学习的微表情识别方法及系统 | |
WO2022179083A1 (zh) | 图像检测方法、装置、设备、介质和程序 | |
CN111611934A (zh) | 一种人脸检测模型生成和人脸检测方法、装置及设备 | |
CN111553250B (zh) | 一种基于人脸特征点的精准面瘫程度评测方法及装置 | |
CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
CN112734911A (zh) | 基于卷积神经网络的单幅图像三维人脸重建方法及系统 | |
CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
CN115862120B (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 | |
CN111382791B (zh) | 深度学习任务处理方法、图像识别任务处理方法和装置 | |
CN112465773A (zh) | 一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法 | |
CN107194364B (zh) | 一种基于分治策略的Huffman-LBP多姿态人脸识别方法 | |
CN113160392A (zh) | 基于深度神经网络的光学建筑目标三维重建方法 | |
CN114724218A (zh) | 视频检测方法、装置、设备及介质 | |
CN115439669A (zh) | 基于深度学习的特征点检测网络及跨分辨率图像匹配方法 | |
CN111553249B (zh) | 一种cv下基于h-b分级的精准面瘫程度评测方法及装置 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN111401209B (zh) | 一种基于深度学习的动作识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |