CN111680545A - 一种基于语义分割的精准面瘫程度评测方法及装置 - Google Patents

一种基于语义分割的精准面瘫程度评测方法及装置 Download PDF

Info

Publication number
CN111680545A
CN111680545A CN202010335990.XA CN202010335990A CN111680545A CN 111680545 A CN111680545 A CN 111680545A CN 202010335990 A CN202010335990 A CN 202010335990A CN 111680545 A CN111680545 A CN 111680545A
Authority
CN
China
Prior art keywords
theta
point
facial paralysis
detected
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010335990.XA
Other languages
English (en)
Inventor
冯少华
李伟中
李健
金波
邓利平
冼上轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen DJ Innovation Industry Co Ltd
Original Assignee
Shenzhen DJ Innovation Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen DJ Innovation Industry Co Ltd filed Critical Shenzhen DJ Innovation Industry Co Ltd
Priority to CN202010335990.XA priority Critical patent/CN111680545A/zh
Publication of CN111680545A publication Critical patent/CN111680545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明公开了一种基于语义分割的精准面瘫程度评测方法及装置。该方法包括：建立面瘫语义分割模型；获取待检测数据并对待检测数据进行处理：将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫语义分割模型中以输出相应的多组人脸形状，更新多组人脸形状；对待检测用户的面瘫程度进行评测：计算θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、b1、b2、c1、c2、e1、e2并与其阈值比较；通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数。本发明可以使检测模型具有较高的检测定位精度，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。

Description

一种基于语义分割的精准面瘫程度评测方法及装置
技术领域
本发明涉及面瘫识别技术领域的一种精准面瘫程度评测方法，尤其涉及一 种基于语义分割的精准面瘫程度评测方法，还涉及应用该方法的基于语义分割 的精准面瘫程度评测装置。
背景技术
面瘫，一种面部肌肉运动功能受阻的常见病，患者往往难以正常完成如闭 眼、抬眉、鼓腮、皱鼻或张嘴等基本面部动作，而且在我国是发病率较高的地 区。面瘫一般称为面神经麻痹，一般症状是口眼歪斜，患者往往连最基本的抬 眉、闭眼、鼓嘴等动作都无法完成。
目前，面瘫诊断相关的面神经功能评价方法有将近20多种，如H-B分级法、 线性测量指数、诺丁汉分级系统及多伦多分级法等，但这些系统在评价面瘫程 度的评价标准普遍都存在一定的缺陷，如评价结果很大程度上由于人工操作的 过程中所带有的专家主观性评判，不仅效率较低而且存在较大的误差，由此大 大影响了对面瘫患者的面瘫程度的评估结果，同时对面瘫患者的治疗过程及恢 复情况没有信息化的统计记录而难于准确评价治疗效果，从而对面瘫患者的后 续治疗带来了较大的阻力。因此，需要一种利用现有计算视觉等技术而实现面 瘫程度评测方法，该方法能够应用于面瘫检测设备中，作为医疗设备的检测方 法对面瘫患者的面瘫程度进行检测，并且能够大规模、广泛地进行产业化应用， 例如可以作为独立的程序应用在手机端、客户端中，可供面瘫患者在非治疗时 期进行纠正和检查，同时也可以供非面瘫患者做预防方法使用。
发明内容
为解决现有的面瘫程度评测方法存在误差大，评测效率低的技术问题，本 发明提供一种基于语义分割的精准面瘫程度评测方法及装置。
本发明采用以下技术方案实现：一种基于语义分割的精准面瘫程度评测方 法，其包括以下步骤：
(1)确定两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为 s3，位于眉毛区域s2一侧的眼白区域为s4，嘴唇区域为s5，以区域s1、s3、s4、 s5为元素形成的集合表示人脸形状；
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做 闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；
依次分别计算眉毛区域s1的中心点p1，眉毛区域s2的中心点p2，眼白区域s3的中心点p3，眼白区域s4的中心点p4，嘴唇区域s5的中心点p5，点p1与点p2的 中点为p6，点p3与点p4的中点为p7，点p1与点p3的中点为p8，点p2与点p4的中 点为p9；
计算眼白区域s3内x轴取值最大的像素点p10，眼白区域s4内x轴取值最小 的像素点p11，嘴唇区域s5内x轴取值最小的像素点p12，嘴唇区域s5内x轴取值 最大的像素点p13，点p10与点p11的中点为p14；
在过点p14且与直线p10p11相垂直的直线上随机选取一点p15，并计算嘴唇区 域s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16，还计算嘴唇区 域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17；
设置向量
Figure BDA0002466631260000021
Figure BDA0002466631260000022
Figure BDA0002466631260000023
随后统计眼白区域s3内像素点数量n1以及眼白区域 s4内像素点数量n2，计算嘴唇区域s5的最小包围圆区域s6，并统计最小包围圆 区域s6内像素点数量n3，嘴唇区域s5内像素点数量n4，像素点数量n3与像素点 数量n4的差值n5；
将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点 p11、点p12、点p13、点p14、点p15、点p16、点p17、向量
Figure BDA0002466631260000031
向量
Figure BDA0002466631260000032
向量
Figure BDA0002466631260000033
向量
Figure BDA0002466631260000034
向量
Figure BDA0002466631260000035
向量
Figure BDA0002466631260000036
向量
Figure BDA0002466631260000037
向量
Figure BDA0002466631260000038
向量
Figure BDA0002466631260000039
向量
Figure BDA00024666312600000310
向量
Figure BDA00024666312600000311
向 量
Figure BDA00024666312600000312
向量
Figure BDA00024666312600000313
面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至 对应的人脸形状中以获得更新后人脸形状；
(3)对于更新后的无表情自然状态人脸形状S0，先计算
Figure RE-GDA00026203831800000314
Figure RE-GDA00026203831800000315
Figure RE-GDA00026203831800000316
再计算θ1＝|a1+a2|/|a1-a2|，θ2＝ |a3+a4|/|a3-a4|；
对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别计算
Figure RE-GDA00026203831800000317
Figure RE-GDA00026203831800000318
Figure RE-GDA00026203831800000319
再计算
Figure RE-GDA00026203831800000320
Figure RE-GDA00026203831800000321
最后计算
Figure RE-GDA00026203831800000322
θ4＝ |b1+b2|/|b1-b2|；
对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算
Figure RE-GDA00026203831800000323
Figure RE-GDA00026203831800000324
再计算
Figure RE-GDA00026203831800000325
Figure RE-GDA00026203831800000326
最后计算θ5＝max(d1，d2)，θ6＝ |d1+d2|/|d1-d2|；
对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次分别计算
Figure BDA00024666312600000324
Figure BDA00024666312600000325
并依次分别计算面积
Figure BDA00024666312600000326
Figure BDA00024666312600000327
再计算
Figure BDA00024666312600000328
Figure BDA0002466631260000041
最后计算θ7＝max(e1，e2)，θ8＝|e1+e2|/|e1-e2|；
对于更新后的吹哨动作人脸形状Sd1，Sd2，……，Sdn，先计算
Figure RE-GDA0002620383180000041
Figure RE-GDA0002620383180000042
Figure RE-GDA0002620383180000043
再计算
Figure RE-GDA0002620383180000044
Figure RE-GDA0002620383180000045
并计算
Figure RE-GDA0002620383180000046
最后计算θ11＝arccos(f2)；
将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、b1、b2、c1、c2、e1、e2分 别与其阈值比较；
通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数。
本发明先确定面瘫关键点，再获取人脸形状并进行更新，最后根据更新后 的人脸形状并选取参数并对其面瘫程度进行评测，这样获取待检测用户脸部的 静态图像及动态视频，利用面瘫语义分割模型分别在静态图像及动态视频中提 取待检测用户脸部的静态图像及动态视频的所有关于眉毛、眼白及嘴唇的语义 分割信息，根据待检测用户在不同表情下面部对应关键区域间向量关系综合评 价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的 不同表情下面部对应关键区域间向量关系，大大提升待检测用户面瘫程度综合 评价及检测的精度及准度，解决了现有的面瘫程度评测方法存在误差大，评测 效率低的技术问题，得到了面瘫程度探测准确性高，评测效率高，可大规模、 产业化应用在面瘫识别和程度评测设备中的技术效果。
作为上述方案的进一步改进，步骤(1)还包括：建立面瘫语义分割模型， 且建立方法包括以下步骤：
(1.1)创建深度全卷积网络模型；
(1.2)通过多个已标定训练样本以获取模型训练集；
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷 积网络模型中进行训练；以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；
在所述执行次数未达到所述最大训练次数时，获取所述深度全卷积网络模 型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；
在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训 练次数时，将所述深度全卷积网络模型作为面瘫语义分割模型。
进一步地，步骤(2)还包括：获取待检测数据并对所述待检测数据进行处 理；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图 像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼 动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作 全过程的序列图像四。
再进一步地，步骤(2)还包括：将所述无表情自然状态静态图像、所述序 列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至 所述面瘫语义分割模型中以输出相应的多组人脸形状。
再进一步地，更新后的人脸形状依次为：
Figure BDA0002466631260000051
Figure BDA0002466631260000052
Figure BDA0002466631260000053
Figure BDA0002466631260000054
Figure BDA0002466631260000055
Figure BDA0002466631260000056
Figure BDA0002466631260000061
Figure BDA0002466631260000062
Figure BDA0002466631260000063
Figure BDA0002466631260000064
Figure BDA0002466631260000065
Figure BDA0002466631260000066
Figure BDA0002466631260000067
Figure BDA0002466631260000068
再进一步地，步骤(3)还包括：设置θ1对应的阈值θ′1，θ2对应的阈值θ′2， θ4对应的阈值θ′4，θ6对应的阈值θ′6，θ8对应的阈值θ′8，θ10对应的阈值 θ′10，θ11对应的阈值θ′11，b1对应的阈值b′1，b2对应的阈值b′2，c1对应的阈值c′1， c2对应的阈值c′2，e1对应的阈值e′1，e2对应的阈值e′2，并比较θ1与θ′1，θ2与θ′2， θ4与θ′4，θ6与θ′6，θ8与θ′8，θ10与θ′10，θ11与θ′11，b1与b′1，b2与b′2，c1与c′1，c2与c′2， e1与e′1，e2与e′2；其中，阈值θ′1、θ′2、θ′4、θ′6、θ′10、θ′11、b′1、b′2、c′1、c′2、e′1、e′2分别根据外部实现情况预设。
再进一步地，步骤(3)还包括：若θ1＞θ′1或θ2＜θ′2，则判定所述待检测 用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2/θ1)+ (0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+ (0.1θ10/θ9)；
若θ1≥θ′1且θ2≥θ′2，同时满足θ4＜θ′4或θ6＜θ′6或θ8＜θ′8或θ10＞θ′10时， 则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指 数K2＝(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10；
若b1＜b′1或c1＞c′1，则判定所述待检测用户的一侧上脸部存在面瘫；
若b2＜b′2或c2＞c′2，则判定所述待检测用户的另一侧上脸部存在面瘫；
若e1＜e′1或θ11＜-θ′11＜0，则判定所述待检测用户的一侧下脸部存在面 瘫；
若e2＜e′2或θ11＞θ′11＞0，则判定所述待检测用户的另一侧下脸部存在面 瘫。
再进一步地，步骤(3)还包括：若同时满足以下条件：θ1≥θ′1、θ2≥θ′2、 θ4≥θ′4、θ6≥θ′6、θ8≥θ′8、θ10≤θ′10，则判定所述待检测用户不存在面瘫症 状。
再进一步地，在所述深度全卷积网络模型中，下采样及上采样层数均为N0， N0为正整数；相邻的下采样及上采样间，或下采样与下采样间，或上采样与上 采样间均堆叠多层卷积层；输入层通道数为3或1；
或，
在所述深度全卷积网络模型中，输入层没有激活函数，输出层的激活函数 为sigmoid函数，紧邻输出层的卷积层的激活函数为tanh函数，其他所有卷积 层的激活函数均为Rule函数；
或，
利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值， 学习率初始化为le，模型目标Loss阈值设置为m，模型最大训练次数设置为T， 并通过贝叶斯正则化或动量梯度下降进行优化，损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种；
或，
所述已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备 获取仅包含一个人脸的图像Im作为所述模型训练集中一个训练样本的数据，再 在图像Im中标定人脸的眉毛区域s1、s2，眼白区域s3、s4，嘴唇区域s5内的所 有像素点作为训练样本的具有5个通道的标签，并重复进行以获得多个已标定 训练样本；
或，
按照一个预设前向传播公式计算所述深度全卷积网络模型的输出，按照一 个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型 后的模型输出和所述已标定训练样本标签间的误差，并通过反向传播更新所述 深度全卷积网络模型所有权值和阈值；
或，
所述深度全卷积网络模型的下采样及上采样层数均为3层，各相邻上采样 或下采样间分别间隔由多层卷积层堆叠的卷积层模块；学习率初始化为0.001， 模型目标Loss阈值为0.1，模型最大训练次数设置为20000；
或，
所述卷积层模块的数量为六个，输入层通道数为3，输出层通道数为5，输 出层中五个通道分别表示眉毛区域s1、s2，眼白区域s3、s4，嘴唇区域s5。
本发明还提供一种基于语义分割的精准面瘫程度评测装置，其应用上述任 意所述的基于语义分割的精准面瘫程度评测方法，其包括：
检测模型建立模块，其用于建立面瘫语义分割模型；在所述面瘫语义分割 模型中，两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位 于眉毛区域s2一侧的眼白区域为s4，嘴唇区域为s5，以区域s1、s3、s4、s5为元 素形成的集合表示人脸形状；
数据获取模块，其用于获取待检测数据；其中，所述待检测数据包括待检 测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作 全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑 动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；
数据处理模块，其用于对所述待检测数据进行处理；所述数据处理模块包 括输入单元和更新单元；所述输入单元用于将所述无表情自然状态静态图像、 所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次 输入至所述面瘫语义分割模型中以输出相应的多组人脸形状；所述更新单元用 于对于多组人脸形状，先依次分别计算眉毛区域s1的中心点p1，眉毛区域s2的 中心点p2，眼白区域s3的中心点p3，眼白区域s4的中心点p4，嘴唇区域s5的中 心点p5，点p1与点p2的中点为p6，点p3与点p4的中点为p7，点p1与点p3的中点 为p8，点p2与点p4的中点为p9，再计算：眼白区域s3内x轴取值最大的像素点p10， 眼白区域s4内x轴取值最小的像素点p11，嘴唇区域s5内x轴取值最小的像素点 p12，嘴唇区域s5内x轴取值最大的像素点p13，点p10与点p11的中点为p14，然 后在过点p14且与直线p10p11相垂直的直线上随机选取一点p15，并计算嘴唇区域 s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16，还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17，再然后设置向量
Figure BDA0002466631260000091
Figure BDA0002466631260000092
随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数 量n2，计算嘴唇区域s5的最小包围圆区域s6，并统计最小包围圆区域s6内像素 点数量n3，嘴唇区域s5内像素点数量n4，像素点数量n3与像素点数量n4的差值n5， 最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点 p11、点p12、点p13、点p14、点p15、点p16、点p17、向量
Figure BDA0002466631260000093
向量
Figure BDA0002466631260000094
向量
Figure BDA0002466631260000095
向量
Figure BDA0002466631260000096
向量
Figure BDA0002466631260000097
向量
Figure BDA0002466631260000098
向量
Figure BDA0002466631260000099
向量
Figure BDA00024666312600000910
向量
Figure BDA00024666312600000911
向量
Figure BDA00024666312600000912
向量
Figure BDA00024666312600000913
向 量
Figure BDA0002466631260000101
向量
Figure BDA0002466631260000102
面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至 对应的人脸形状中以获得更新后人脸形状；
面瘫程度综合评测模块，其用于对待检测用户的面瘫程度进行评测；所述 面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元 四、计算单元五、设置比较单元以及判定单元；所述计算单元一用于对于更新 后的无表情自然状态人脸形状S0，先计算
Figure BDA0002466631260000103
Figure BDA0002466631260000104
Figure BDA0002466631260000105
再计算θ1＝|a1+a2|/|a1-a2|，θ2＝|a3+a4|/|a3-a4|；所述计 算单元二用于对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别 计算
Figure BDA0002466631260000106
Figure BDA0002466631260000107
Figure BDA0002466631260000108
再计算
Figure BDA0002466631260000109
最后计算
Figure BDA00024666312600001010
Figure BDA00024666312600001011
θ4＝|b1+b2|/|b1-b2|；所述计算单元三用于对于更新 后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算
Figure BDA00024666312600001012
Figure BDA00024666312600001013
再计算
Figure BDA00024666312600001014
Figure BDA00024666312600001015
最后计算θ5＝max(d1，d2)，θ6＝|d1+d2|/|d1-d2|； 所述计算单元四用于对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次 分别计算
Figure BDA00024666312600001016
Figure BDA00024666312600001017
并依次分别计算面积
Figure BDA00024666312600001018
Figure BDA00024666312600001019
再计算
Figure BDA00024666312600001020
最后计算θ7＝ max(e1，e2)，θ8＝|e1+e2|/|e1-e2|；所述计算单元五用于对于更新后的吹哨 动作人脸形状Sd1，Sd2，……，Sdn，先计算
Figure BDA00024666312600001021
Figure BDA00024666312600001022
Figure BDA0002466631260000111
再计算θ10＝max(f1 0，f1 d1，f1 d2，...，f1 dn)，并计算
Figure BDA0002466631260000112
最后计算θ11＝arccos(f2)；所述设置比较模块 用于设置θ1对应的阈值θ′1，θ2对应的阈值θ′2，θ4对应的阈值θ′4，θ6对应的阈值θ′6， θ8对应的阈值θ′8，θ10对应的阈值θ′10，θ11对应的阈值θ′11，b1对应的阈值b′1，b2对 应的阈值b′2，c1对应的阈值c′1，c2对应的阈值c′2，e1对应的阈值e′1，e2对应的阈 值e′2，并比较θ1与θ′1，θ2与θ′2，θ4与θ′4，θ6与θ′6，θ8与θ′8，θ10与θ′10，θ11与θ′11， b1与b′1，b2与b′2，c1与c′1，c2与c′2，e1与e′1，e2与e′2；其中，阈值θ′1、θ′2、θ′4、θ′6、θ′10、 θ′11、b′1、b′2、c′1、c′2、e′1、e′2分别根据外部实现情况预设；所述判定单元用于 根据所述设置比较模块的比较结果进行判定；若θ1＞θ′1或θ2＜θ′2，所述判定单 元则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指 数K1＝(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+ (0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9)；若θ1≥θ′1且θ2≥θ′2，同时满足θ4＜θ′4或 θ6＜θ′6或θ8＜θ′8或θ10＞θ′10时，所述判定单元则判定所述待检测用户存在面 瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ4)+(0.3/θ6)+ (0.3/θ8)+0.1θ10；若b1＜b′1或c1＞c′1，所述判定单元则判定所述待检测用户 的一侧上脸部存在面瘫；若b2＜b′2或c2＞c′2，所述判定单元则判定所述待检测 用户的另一侧上脸部存在面瘫；若e1＜e′1或θ11＜-θ′11＜0，所述判定单元则 判定所述待检测用户的一侧下脸部存在面瘫；若e2＜e′2或θ11＞θ′11＞0，所述 判定单元则判定所述待检测用户的另一侧下脸部存在面瘫；若同时满足以下条 件：θ1≥θ′1、θ2≥θ′2、θ4≥θ′4、θ6≥θ′6、θ8≥θ′8、θ10≤θ′10，所述判定单元 则判定所述待检测用户不存在面瘫症状。
相较于现有的面瘫程度评测方法，本发明的基于语义分割的精准面瘫程度 评测方法及装置具有以下有益效果：
该基于语义分割的精准面瘫程度评测方法，其先建立面瘫语义分割模型， 并在模型中选取面部中的眉毛、眼睛、嘴唇等的面瘫关键区域，再获取待检测 用户的待检测数据并对所述待检测数据进行处理，采集用户在无表情、皱眉、 闭眼、微笑以及吹哨过程中的图像，并将图像输入至面瘫语义分割模型中输出 多组人脸形状，随后分别对各组人脸形状进行线性回归等操作，获得一系列面 瘫关联元素并对人脸形状进行更新，最后计算更新后的各组人脸形状的各种特 征值，并针对特征值之间的关系对待检测用户的面瘫程度进行评测，实现对用 户面瘫程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频，利 用面瘫语义分割模型分别在静态图像及动态视频中提取待检测用户脸部的静态 图像及动态视频的所有关于眉毛、眼白及嘴唇的语义分割信息，根据待检测用 户在不同表情下面部对应关键区域间向量关系综合评价检测用户面瘫程度，可 以使检测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键 区域间向量关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度， 为面瘫患者的预防发现及治疗提供有力支撑。
而且，该基于语义分割的精准面瘫程度评测方法由于可以采用计算机视觉 技术检测用户的面部图像，并通过计算机执行其他步骤，这样在应用时可以直 接使用在现有的手机、计算机等设备中，也可以使用在专门评估用户的面瘫程 度的医疗设备中，还可以作为独立模块进行产品化应用，可以大规模、产业化 应用在面瘫识别和程度评测设备中，提高现有的医疗设备的评测效率和准确性。
该基于语义分割的精准面瘫程度评测装置，其有益效果与上述的基于语义 分割的精准面瘫程度评测方法的有益效果相同，在此不再做赘述。
附图说明
图1为本发明实施例1的基于语义分割的精准面瘫程度评测方法的流程图。
图2为本发明实施例1的基于语义分割的精准面瘫程度评测方法所建立的 面瘫语义分割模型中面瘫关键点在人脸中具体位置分布图。
图3为本发明实施例2的基于语义分割的精准面瘫程度评测方法所建立的 深度全卷积网络模型的结构示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 用以解释本发明，并不用于限定本发明。
实施例1
请参阅图1，本实施例提供了一种基于语义分割的精准面瘫程度评测方法， 该方法能够应用于面瘫检测设备中，作为医疗设备的检测方法对面瘫患者的面 瘫程度进行检测，并且能够大规模、广泛地进行产业化应用，例如可以作为独 立的程序应用在手机端、客户端中，可供面瘫患者在非治疗时期进行纠正和检 查，同时也可以供非面瘫患者做预防方法使用。其中，该精准面瘫程度评测方 法包括以下这些步骤，即步骤(1)-(3)。
步骤(1)：建立面瘫语义分割模型。在本实施例中，面瘫语义分割模型的 建立方法包括以下这些步骤，即步骤(1.1)-(1.4)。请参阅图2，在面瘫语 义分割模型中，在面瘫语义分割模型中，两个眉毛区域分别为s1、s2，位于眉 毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，嘴唇区域 为s5，，以区域s1、s3、s4、s5为元素形成的集合表示人脸形状。这里需要指出 的是，这里的左右关系是相对于观察者而言，而非待检测用户的其自己所判断 的面部情况。
(1.1)创建深度全卷积网络模型。在深度全卷积网络模型中，下采样及上 采样层数均为N0，N0为正整数。相邻的下采样及上采样间，或下采样与下采样 间，或上采样与上采样间均堆叠多层卷积层(层数大于等于1)，输入层通道数 为3或1，输出层通道数与面瘫语义分割模型所需检测的关键点个数相同，输 出层中每一个通道一一对应且仅表示面瘫关键点检测中一个具体的关键点。而 且，在深度全卷积网络模型中，输出层采用one-hot编码，输入层没有激活函 数，输出层的激活函数为sigmoid函数，紧邻输出层的卷积层的激活函数为tanh 函数，其他所有卷积层的激活函数均为Rule函数。并且，利用高斯分布随机数初始化深度全卷积网络模型的所有权值和阈值，学习率初始化为le，模型目标 Loss阈值设置为m，模型最大训练次数设置为T，并通过贝叶斯正则化或动量 梯度下降进行优化，损失函数为BinaryCrossEntropy、FocalLoss、MSE中的一 种。
(1.2)通过多个已标定训练样本以获取模型训练集。在本实施例中，所述 已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取仅包 含一个人脸的图像Im作为所述模型训练集中一个训练样本的数据，再在图像Im 中标定人脸的眉毛区域s1、s2，眼白区域s3、s4，嘴唇区域s5内的所有像素点作 为训练样本的具有5个通道的标签，并重复进行以获得多个已标定训练样本。 即重复该步骤N1次以获取N1个已标定训练样本组成训练集P，其中N1可以根据 用户实际应用需要而自定义。
(1.3)在模型训练集中选取一组已标定训练样本输入至深度全卷积网络模 型中进行训练。在本实施例中，按照一个预设前向传播公式计算深度全卷积网 络模型的输出，按照一个预设误差公式计算出该已标定训练样本输入到深度全 卷积网络模型后的模型输出和已标定训练样本标签间的误差，并通过反向传播 更新深度全卷积网络模型所有权值和阈值。
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；在 执行次数未达到最大训练次数时，获取深度全卷积网络模型一个周期的损失值， 并判断损失值是否大于模型目标损失阈值；在损失值大于模型目标损失阈值时， 执行步骤(1.3)；在损失值小于模型目标损失阈值或执行次数达到最大训练次 数时，将深度全卷积网络模型作为面瘫语义分割模型。在本步骤中，实际上为 不断重复步骤(1.3)，每执行一次步骤(1.3)后获取模型一个epoch的Loss 值M，若M小于模型目标Loss阈值m，或重复执行步骤(1.3)的次数达到模 型最大训练次数T，则不再执行步骤(1.3)，深度全卷积网络模型训练完成， 选取该已训练完成的深度全卷积网络模型作为面瘫语义分割模型。
步骤(2)：获取待检测数据并对待检测数据进行处理。其中，待检测数据 包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉 动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做 微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。在本实施 例中，通过摄影设备，获取：仅包含单个待检测用户整个人脸的1张无表情自 然状态静态图像Img0；仅包含单个待检测用户整个人脸的1组(包含n张)待 检测用户在做皱眉动作全过程的序列图像Imga1，Imga2，......，Imgan；仅包含单 个待检测用户整个人脸的1组(包含n张)待检测用户在做闭眼动作全过程的 序列图像Imgb1，Imgb2，......，Imgbn；仅包含单个待检测用户整个人脸的1组(包 含n张)待检测用户在做微笑动作全过程的序列图像Imgc1，Imgc2，......，Imgcn； 仅包含单个待检测用户整个人脸的1组(包含n张)待检测用户在做吹哨动作 全过程的序列图像Imgd1，Imgd2，......，Imgdn，其中n可以根据用户实际应用需要 而自定义。而待检测数据的处理方法包括以下这些步骤，即步骤(2.1)和步骤 (2.2)，步骤(2.2)还可以拆分为多个子步骤单独执行。
(2.1)将无表情自然状态静态图像、序列图像一、序列图像二、序列图像 三以及序列图像四依次输入至面瘫语义分割模型中以输出相应的多组人脸形状。 即：将图像Img0，Imga1，Imga2……Imgan，Imgb1，Imgb2……Imgbn，Imgc1， Imgc2……Imgcn，Imgd1，Imgd2……Imgdn依次输入至面瘫语义分割模型获得 对应输出人脸形状 S0，Sa1，Sa2，……，San，Sb1，Sb2，……，Sbn，Sc1，Sc2，，……，Scn，Sd1，Sd2，……，Sdn。 其中：
Figure BDA0002466631260000151
Figure BDA0002466631260000152
(2.2)对于多组人脸形状，先依次分别计算眉毛区域s1的中心点p1，眉毛 区域s2的中心点p2，眼白区域s3的中心点p3＝(xp3，yp3)，眼白区域s4的中心点 p4＝(xp4，yp4)，嘴唇区域s5的中心点p5＝(xp5，yp5)，点p1与点p2的中点为 p6＝(xp6，yp6)，点p3与点p4的中点为p7＝(xp7，yp7)，点p1与点p3的中点为 p8＝(xp8，yp8)，点p2与点p4的中点为p9＝(xp9，yp9)，再计算：眼白区域s3内x 轴取值最大的像素点p10＝(xp10，yp10)，眼白区域s4内x轴取值最小的像素点p11＝(xp11，yp11)，嘴唇区域s5内x轴取值最小的像素点p12＝(xp12，yp12)，嘴 唇区域s5内x轴取值最大的像素点p13＝(xp13，yp13)，点p10与点p11的中点为 p14＝(xp14，yp14)，然后在过点p14且与直线p10p11相垂直的直线上随机选取一 点p15＝(xp15，yp15)，并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组 成区域的中心点p16＝(xp16，yp16)，还计算嘴唇区域s5内y轴取值小于yp5的所 有像素点所组成区域的中心点p17＝(xp17，yp17)，再然后设置向量
Figure BDA0002466631260000161
Figure BDA0002466631260000162
Figure BDA0002466631260000163
随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2，计算嘴唇区域 s5的最小包围圆区域s6，并统计最小包围圆区域s6内像素点数量n3，嘴唇区域s5内像素点数量n4，像素点数量n3与像素点数量n4的差值n5，最后将点p1、点p2、 点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、点p13、 点p14、点p15、点p16、点p17、向量
Figure BDA0002466631260000164
向量
Figure BDA0002466631260000165
向量
Figure BDA0002466631260000166
向量
Figure BDA0002466631260000167
向量
Figure BDA0002466631260000168
向量
Figure BDA0002466631260000169
向量
Figure BDA00024666312600001610
向量
Figure BDA00024666312600001611
向量
Figure BDA00024666312600001612
向量
Figure BDA00024666312600001613
向量
Figure BDA00024666312600001614
向量
Figure BDA00024666312600001615
向量
Figure BDA00024666312600001616
面 积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至对应的人脸形状中以 获得更新后人脸形状。其中，更新后的人脸形状依次为：
Figure BDA00024666312600001617
Figure BDA0002466631260000171
Figure BDA0002466631260000172
Figure BDA0002466631260000173
Figure BDA0002466631260000174
Figure BDA0002466631260000175
Figure BDA0002466631260000176
Figure BDA0002466631260000177
Figure BDA0002466631260000178
Figure BDA0002466631260000179
Figure BDA00024666312600001710
Figure BDA00024666312600001711
Figure BDA00024666312600001712
Figure BDA0002466631260000181
步骤(3)：待检测用户的面瘫程度进行评测。其中，评测方法包括以下这 些步骤，即步骤(3.1)-(3.7)。
(3.1)对于更新后的无表情自然状态人脸形状S0，先计算
Figure RE-GDA0002620383180000181
Figure RE-GDA0002620383180000182
Figure RE-GDA0002620383180000183
再计算θ1＝|a1+a2|/|a1-a2|，θ2＝ |a3+a4|/|a3-a4|。
(3.2)对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别计 算
Figure RE-GDA0002620383180000184
Figure RE-GDA0002620383180000185
Figure RE-GDA0002620383180000186
再计算
Figure RE-GDA0002620383180000187
Figure RE-GDA0002620383180000188
最后计算
Figure RE-GDA0002620383180000189
Figure RE-GDA00026203831800001810
θ4＝|b1+b2|/|b1-b2|。
(3.3)对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算
Figure RE-GDA00026203831800001811
Figure RE-GDA00026203831800001812
再计算
Figure RE-GDA00026203831800001813
Figure RE-GDA00026203831800001814
最后计算θ5＝max(d1，d2)，θ6＝ |d1+d2|/|d1-d2|。
(3.4)对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次分别计 算
Figure BDA00024666312600001813
Figure BDA00024666312600001814
并依次分别计算面积
Figure BDA00024666312600001815
Figure BDA00024666312600001816
再计算
Figure BDA00024666312600001817
Figure BDA0002466631260000191
最后计算θ7＝max(e1，e2)，θ8＝|e1+e2|/|e1-e2|。
(3.5)对于更新后的吹哨动作人脸形状Sd1，Sd2，……，Sdn，先计算
Figure RE-GDA00026203831800001821
Figure RE-GDA00026203831800001822
Figure RE-GDA00026203831800001823
再计算
Figure RE-GDA00026203831800001824
Figure RE-GDA0002620383180000191
并计算
Figure RE-GDA0002620383180000192
最后计算θ11＝arccos(f2)。
(3.6)设置θ1对应的阈值θ′1，θ2对应的阈值θ′2，θ4对应的阈值θ′4，θ6对应 的阈值θ′6，θ8对应的阈值θ′8，θ10对应的阈值θ′10，θ11对应的阈值θ′11，b1对应的 阈值b′1，b2对应的阈值b′2，c1对应的阈值c′1，c2对应的阈值c′2，e1对应的阈值e′1，e2对应的阈值e′2，并比较θ1与θ′1，θ2与θ′2，θ4与θ′4，θ6与θ′6，θ8与θ′8，θ10与 θ′10，θ11与θ′11，b1与b′1，b2与b′2，c1与c′1，c2与c′2，e1与e′1，e2与e′2。其中，阈 值θ′1、θ′2、θ′4、θ′6、θ′10、θ′11、b′1、b′2、c′1、c′2、e′1、e′2分别根据外部实现情况 预设，即各个阈值可以根据具体实现情况而具体确定。
(3.7)若θ1＞θ′1或θ2＜θ′2，则判定待检测用户存在面瘫症状且属于严重 面瘫，并计算相应的面瘫指数K1＝(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+ (0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9)；
若θ1≥θ′1且θ2≥θ′2，同时满足θ4＜θ′4或θ6＜θ′6或θ8＜θ′8或θ10＞θ′10时， 则判定待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数 K2＝(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10；
若b1＜b′1或c1＞c′1，则判定待检测用户的一侧上脸部存在面瘫；
若b2＜b′2或c2＞c′2，则判定待检测用户的另一侧上脸部存在面瘫；
若e1＜e′1或θ11＜-θ′11＜0，则判定待检测用户的一侧下脸部存在面瘫；
若e2＜e′2或θ11＞θ′11＞0，则判定待检测用户的另一侧下脸部存在面瘫；
若同时满足以下条件：θ1≥θ′1、θ2≥θ′2、θ4≥θ′4、θ6≥θ′6、θ8≥θ′8、 θ10≤θ′10，则判定待检测用户不存在面瘫症状。
在本实施例中，若待检测用户属于严重面瘫或存在面瘫症状但不属于严重 面瘫，若(b1＜b′1or c1＞c′1)，则待检测用户左上部脸存在面瘫，若 (b2＜b′2or c2＞c′2)，则待检测用户右上部脸存在面瘫，若(e1＜e′1orθ11＜ -θ′11＜0)，则待检测用户左下部脸存在面瘫，若(e2＜e′2orθ11＞θ′11＞0)， 则待检测用户右下部脸存在面瘫。
综上所述，相较于现有的面瘫程度评测方法，本实施例的基于语义分割的 精准面瘫程度评测方法具有以下优点：
该基于语义分割的精准面瘫程度评测方法，其先建立面瘫语义分割模型， 并在模型中选取面部中的眉毛、眼睛、嘴唇等的面瘫关键区域，再获取待检测 用户的待检测数据并对待检测数据进行处理，采集用户在无表情、皱眉、闭眼、 微笑以及吹哨过程中的图像，并将图像输入至面瘫语义分割模型中输出多组人 脸形状，随后分别对各组人脸形状进行线性回归等操作，获得一系列面瘫关联 元素并对人脸形状进行更新，最后计算更新后的各组人脸形状的各种特征值， 并针对特征值之间的关系对待检测用户的面瘫程度进行评测，实现对用户面瘫 程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频，利用面瘫 语义分割模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及 动态视频的所有关于眉毛、眼白及嘴唇的语义分割信息，根据待检测用户在不 同表情下面部对应关键区域间向量关系综合评价检测用户面瘫程度，可以使检 测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键区域间 向量关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面 瘫患者的预防发现及治疗提供有力支撑。
而且，该基于语义分割的精准面瘫程度评测方法由于可以采用计算机视觉 技术检测用户的面部图像，并通过计算机执行其他步骤，这样在应用时可以直 接使用在现有的手机、计算机等设备中，也可以使用在专门评估用户的面瘫程 度的医疗设备中，还可以作为独立模块进行产品化应用，可以大规模、产业化 应用在面瘫识别和程度评测设备中，提高现有的医疗设备的评测效率和准确性。
实施例2
请参阅图3，本实施例提供了一种基于语义分割的精准面瘫程度评测方法， 该方法与实施例1的相似，区别在于本实施例的深度全卷积网络模型不同。本 实施例的深度全卷积网络模型的具体结构，可根据用户具体要求而单独设计， 为方便进一步介绍，现设计一个深度全卷积网络模型结构示例如图3所示。深 度全卷积网络模型的下采样及上采样层数均为3层，下采样均采用maxpooling 最大值池化方式，池化层尺寸均为2×2且步长均为2，上采样均采用dconv反 卷积方式，反卷积层尺寸均为2×2且步长均为2，各相邻上采样或下采样间分 别间隔由多层卷积层堆叠的卷积层模块conv1、conv2、conv3、conv4、conv5 和conv6。其中，conv1由9层卷积层堆叠组成，conv1第一层卷积层如 “64@1×1，1”表示conv1所组成的第一层卷积层的卷积核大小为1×1，数量 为64，步长为1。conv1第二层卷积层如“64@3×3，1”表示conv1所组成的第 二层卷积层的卷积核大小为3×3，数量为64，步长为1。conv1第三层卷积层 如“128@1×1，1”表示conv1所组成的第三层卷积层的卷积核大小为1×1，数 量为128，步长为1。conv1第四层卷积层如“64@1×1，1”表示conv1所组成 的第四层卷积层的卷积核大小为1×1，数量为64，步长为1。conv1第五层卷 积层如“64@3×3，1”表示conv1所组成的第五层卷积层的卷积核大小为3×3， 数量为64，步长为1。conv1第六层卷积层如“128@1×1，1”表示conv1所组 成的第六层卷积层的卷积核大小为1×1，数量为128，步长为1。conv1第七层 卷积层如“64@1×1，1”表示conv1所组成的第七层卷积层的卷积核大小为1×1， 数量为64，步长为1。conv1第八层卷积层如“64@3×3，1”表示conv1所组成 的第八层卷积层的卷积核大小为3×3，数量为64，步长为1。conv1第九层卷 积层如“128@1×1，1”表示conv1所组成的第九层卷积层的卷积核大小为1×1， 数量为128，步长为1。对于其他卷积层模块conv2、conv3、conv4、conv5和 conv6均具有相同规律，在此不再赘述。输入层通道数为3，输出层通道数为5， 输出层中五个通道分别表示眉毛区域s1、s2，眼白区域s3、s4，嘴唇区域s5。输 出层采用one-hot编码并且输出层中每一个通道一一对应并仅表示面瘫关键点 检测中一个具体的关键点，输入层没有激活函数，输出层的激活函数为sigmoid 函数，紧邻输出层的卷积层的激活函数为tanh函数，其他所有卷积层的激活函 数均为Rule函数。另外，利用高斯分布随机数初始化深度全卷积网络模型的所 有权值和阈值，学习率初始化为0.001，模型目标Loss阈值为0.1，模型最大 训练次数设置为20000，并通过Adam进行优化，损失函数为BinaryCrossEntropy。
实施例3
本实施例提供了一种基于语义分割的精准面瘫程度评测装置，该装置应用 实施例1或实施例2的基于语义分割的精准面瘫程度评测方法。其中，精准面 瘫程度评测装置包括检测模型建立模块、数据获取模块、数据处理模块以及面 瘫程度综合评测模块，数据获取模块和数据处理模块可以组成一个待检测数据 获取及处理模块。这些模块可以作为计算机程序模块，也可以作为硬件模块， 其能够执行实施例1或实施例2中所介绍的相关步骤。
检测模型建立模块用于建立面瘫语义分割模型，其实际上用于执行实施例 1中的步骤(1)。在面瘫语义分割模型中，两个眉毛区域分别为s1、s2，位于 眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，嘴唇区 域为s5。
数据获取模块用于获取待检测数据，该数据为待检测用户的面部数据。其 中，待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检 测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序 列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图 像四。
数据处理模块用于对待检测数据进行处理，而且数据处理模块包括输入单 元和更新单元。输入单元用于将无表情自然状态静态图像、序列图像一、序列 图像二、序列图像三以及序列图像四依次输入至面瘫语义分割模型中以输出相 应的多组人脸形状。更新单元用于对于多组人脸形状，先依次分别计算眉毛区 域s1的中心点p1，眉毛区域s2的中心点p2，眼白区域s3的中心点p3，眼白区域s4的 中心点p4，嘴唇区域s5的中心点p5，点p1与点p2的中点为p6，点p3与点p4的中 点为p7，点p1与点p3的中点为p8，点p2与点p4的中点为p9，再计算：眼白区域s3内 x轴取值最大的像素点p10，眼白区域s4内x轴取值最小的像素点p11，嘴唇区域s5内x轴取值最小的像素点p12，嘴唇区域s5内x轴取值最大的像素点p13，点p10与点p11的中点为p14，然后在过点p14且与直线p10p11相垂直的直线上随机选取 一点p15，并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组成区域的中 心点p16，还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中 心点p17，再然后设置向量
Figure BDA0002466631260000231
Figure BDA0002466631260000232
Figure BDA0002466631260000233
随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2，计算嘴唇区域s5的最小包围圆区域s6，并统 计最小包围圆区域s6内像素点数量n3，嘴唇区域s5内像素点数量n4，像素点数 量n3与像素点数量n4的差值n5，最后将点p1、点p2、点p3、点p4、点p5、点p6、 点p7、点p8、点p9、点p10、点p11、点p12、点p13、点p14、点p15、点p16、点p17、向量
Figure BDA0002466631260000234
向量
Figure BDA0002466631260000235
向量
Figure BDA0002466631260000236
向量
Figure BDA0002466631260000237
向量
Figure BDA0002466631260000238
向量
Figure BDA0002466631260000239
向量
Figure BDA00024666312600002310
向量
Figure BDA00024666312600002311
向量
Figure BDA00024666312600002312
向量
Figure BDA00024666312600002313
向量
Figure BDA00024666312600002314
向量
Figure BDA00024666312600002315
向量
Figure BDA00024666312600002316
面积n1、面积n2、面积n3、面积n4及面积n5作为 元素加入至对应的人脸形状中以获得更新后人脸形状。
面瘫程度综合评测模块用于对待检测用户的面瘫程度进行评测。面瘫程度 综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算 单元五、设置比较单元以及判定单元。面瘫程度综合评测模块实际上用于执行 实施例1中的步骤(3)，而各个单元则分别用于执行步骤(3.1)-(3.7)。
计算单元一用于对于更新后的无表情自然状态人脸形状S0，先计算
Figure BDA0002466631260000241
Figure BDA0002466631260000242
再计算θ1＝|a1+a2|/|a1-a2|， θ2＝|a3+a4|/|a3-a4|。计算单元二用于对于更新后的皱眉动作人脸形状 Sa1，Sa2，……，San，先依次分别计算
Figure BDA0002466631260000243
Figure BDA0002466631260000244
Figure BDA0002466631260000245
再计算
Figure BDA0002466631260000246
最后计算
Figure BDA0002466631260000247
θ4＝|b1+b2|/|b1-b2|。
计算单元三用于对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计 算
Figure RE-GDA0002620383180000245
再计算
Figure RE-GDA0002620383180000246
Figure RE-GDA0002620383180000247
最后计算θ5＝max(d1，d2)，θ6＝ |d1+d2|/|d1-d2|。计算单元四用于对于更新后的微笑动作人脸形状 Sc1，Sc2，……，Scn，先依次分别计算
Figure RE-GDA0002620383180000248
Figure RE-GDA0002620383180000249
并依次分别计算面积
Figure RE-GDA00026203831800002410
Figure RE-GDA00026203831800002411
再计算
Figure RE-GDA00026203831800002412
最后计算θ7＝max(e1，e2)，θ8＝|e1+e2|/|e1-e2|。计算单元五用于对于更新后的 吹哨动作人脸形状Sd1，Sd2，……，Sdn，先计算
Figure RE-GDA00026203831800002413
Figure RE-GDA00026203831800002414
Figure RE-GDA00026203831800002415
再计算
Figure RE-GDA00026203831800002416
并计算
Figure RE-GDA00026203831800002417
Figure RE-GDA00026203831800002418
最后计算θ11＝arccos(f2)。
设置比较模块用于设置θ1对应的阈值θ′1，θ2对应的阈值θ′2，θ4对应的阈值θ′4， θ6对应的阈值θ′6，θ8对应的阈值θ′8，θ10对应的阈值θ′10，θ11对应的阈值θ′11，b1对 应的阈值b′1，b2对应的阈值b′2，c1对应的阈值c′1，c2对应的阈值c′2，e1对应的阈 值e′1，e2对应的阈值e′2，并比较θ1与θ′1，θ2与θ′2，θ4与θ′4，θ6与θ′6，θ8与θ′8，θ10与 θ′10，θ11与θ′11，b1与b′1，b2与b′2，c1与c′1，c2与c′2，e1与e′1，e2与e′2。判定单元 用于根据设置比较模块的比较结果进行判定。若θ1＞θ′1或θ2＜θ′2，判定单元则 判定待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数 K1＝(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9)。若θ1≥θ′1且θ2≥θ′2，同时满足θ4＜θ′4或 θ6＜θ′6或θ8＜θ′8或θ10＞θ′10时，判定单元则判定待检测用户存在面瘫症状但 不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ4)+(0.3/θ6)+ (0.3/θ8)+0.1θ10。若b1＜b′1或c1＞c′1，判定单元则判定待检测用户的一侧上 脸部存在面瘫。若b2＜b′2或c2＞c′2，判定单元则判定待检测用户的另一侧上脸 部存在面瘫。若e1＜e′1或θ11＜-θ′11＜0，判定单元则判定待检测用户的一侧 下脸部存在面瘫。若e2＜e′2或θ11＞θ′11＞0，判定单元则判定待检测用户的另 一侧下脸部存在面瘫。若同时满足以下条件：θ1≥θ′1、θ2≥θ′2、θ4≥θ′4、θ6≥θ′6、 θ8≥θ′8、θ10≤θ′10，判定单元则判定待检测用户不存在面瘫症状。
该基于语义分割的精准面瘫程度评测装置相较于现有面瘫程度评测设备， 其所具有的优点与实施例1中的基于语义分割的精准面瘫程度评测方法的优点 相同，在此不再做赘述。
实施例4
本实施例提供一种计算机终端，其包括存储器、处理器以及存储在存储器 上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的基于 语义分割的精准面瘫程度评测方法的步骤。
实施例1的方法在应用时，可以软件的形式进行应用，如设计成独立运行 的程序，安装在计算机终端上，计算机终端可以是电脑、智能手机、控制系统 以及其他物联网设备等。实施例1的方法也可以设计成嵌入式运行的程序，安 装在计算机终端上，如安装在单片机上。
实施例5
本实施例提供一种计算机可读存储介质，其上存储有计算机程序。程序被 处理器执行时，实现实施例1的基于语义分割的精准面瘫程度评测方法的步骤。
实施例1的方法在应用时，可以软件的形式进行应用，如设计成计算机可 读存储介质可独立运行的程序，计算机可读存储介质可以是U盘，设计成U盾， 通过U盘设计成通过外在触发启动整个方法的程序。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明 的保护范围之内。

Claims (10)

1.一种基于语义分割的精准面瘫程度评测方法，其特征在于，其包括以下步骤：
(1)确定两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，嘴唇区域为s5，以区域s1、s3、s4、s5为元素形成的集合表示人脸形状；
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；
依次分别计算眉毛区域s1的中心点p1，眉毛区域s2的中心点p2，眼白区域s3的中心点p3，眼白区域s4的中心点p4，嘴唇区域s5的中心点p5，点p1与点p2的中点为p6，点p3与点p4的中点为p7，点p1与点p3的中点为p8，点p2与点p4的中点为p9；
计算眼白区域s3内x轴取值最大的像素点p10，眼白区域s4内x轴取值最小的像素点p11，嘴唇区域s5内x轴取值最小的像素点p12，嘴唇区域s5内x轴取值最大的像素点p13，点p10与点p11的中点为p14；
在过点p14且与直线p10p11相垂直的直线上随机选取一点p15，并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16，还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17；
设置向量
Figure FDA0002466631250000011
Figure FDA0002466631250000012
Figure FDA0002466631250000013
Figure FDA0002466631250000014
Figure FDA0002466631250000015
Figure FDA0002466631250000016
随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2，计算嘴唇区域s5的最小包围圆区域s6，并统计最小包围圆区域s6内像素点数量n3，嘴唇区域s5内像素点数量n4，像素点数量n3与像素点数量n4的差值n5；
将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、点p13、点p14、点p15、点p16、点p17、向量
Figure FDA0002466631250000021
向量
Figure FDA0002466631250000022
向量
Figure FDA0002466631250000023
向量
Figure FDA0002466631250000024
向量
Figure FDA0002466631250000025
向量
Figure FDA0002466631250000026
向量
Figure FDA0002466631250000027
向量
Figure FDA0002466631250000028
向量
Figure FDA0002466631250000029
向量
Figure FDA00024666312500000210
向量
Figure FDA00024666312500000211
向量
Figure FDA00024666312500000212
向量
Figure FDA00024666312500000213
面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至对应的人脸形状中以获得更新后人脸形状；
(3)对于更新后的无表情自然状态人脸形状S0，先计算
Figure FDA0002466631250000091
Figure FDA0002466631250000092
Figure FDA0002466631250000093
再计算θ1＝|a1+a2|/|a1-a2|，θ2＝|a3+a4|/|a3-a4|；
对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别计算
Figure FDA0002466631250000094
Figure FDA0002466631250000095
Figure FDA0002466631250000096
Figure FDA0002466631250000097
再计算
Figure FDA0002466631250000098
最后计算
Figure FDA00024666312500000220
θ4＝|b1+b2|/|b1-b2|；
对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算
Figure FDA00024666312500000221
Figure FDA00024666312500000222
再计算
Figure FDA00024666312500000223
最后计算θ5＝max(d1，d2)，θ6＝|d1+d2|/|d1-d2|；
对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次分别计算
Figure FDA00024666312500000224
Figure FDA00024666312500000225
并依次分别计算面积
Figure FDA00024666312500000226
Figure FDA00024666312500000227
再计算
Figure FDA00024666312500000228
Figure FDA0002466631250000031
最后计算θ7＝max(e1，e2)，θ8＝|e1+e2|/|e1-e2|；
对于更新后的吹哨动作人脸形状Sd1，Sd2，……，Sdn，先计算
Figure FDA00024666312500000920
Figure FDA00024666312500000921
Figure FDA00024666312500000922
再计算
Figure FDA0002466631250000035
并计算
Figure FDA0002466631250000036
最后计算θ11＝arccos(f2)；
将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、b1、b2、c1、c2、e1、e2分别与其阈值比较；
通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数。
2.如权利要求1所述的基于语义分割的精准面瘫程度评测方法，其特征在于，步骤(1)还包括：建立面瘫语义分割模型，且建立方法包括以下步骤：
(1.1)创建深度全卷积网络模型；
(1.2)通过多个已标定训练样本以获取模型训练集；
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷积网络模型中进行训练；以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；
在所述执行次数未达到所述最大训练次数时，获取所述深度全卷积网络模型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；
在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时，将所述深度全卷积网络模型作为面瘫语义分割模型。
3.如权利要求2所述的基于语义分割的精准面瘫程度评测方法，其特征在于，步骤(2)还包括：获取待检测数据并对所述待检测数据进行处理；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。
4.如权利要求3所述的基于语义分割的精准面瘫程度评测方法，其特征在于，步骤(2)还包括：将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫语义分割模型中以输出相应的多组人脸形状。
5.如权利要求4所述的基于语义分割的精准面瘫程度评测方法，其特征在于，更新后的人脸形状依次为：
Figure FDA0002466631250000041
Figure FDA0002466631250000042
Figure FDA0002466631250000043
Figure FDA0002466631250000044
Figure FDA0002466631250000045
Figure FDA0002466631250000046
Figure FDA0002466631250000047
Figure FDA0002466631250000048
Figure FDA0002466631250000049
Figure FDA0002466631250000051
Figure FDA0002466631250000052
Figure FDA0002466631250000053
Figure FDA0002466631250000054
Figure FDA0002466631250000055
6.如权利要求5所述的基于语义分割的精准面瘫程度评测方法，其特征在于，步骤(3)还包括：设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，b1对应的阈值b’1，b2对应的阈值b’2，c1对应的阈值c’1，c2对应的阈值c’2，e1对应的阈值e’1，e2对应的阈值e’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，b1与b’1，b2与b’2，c1与c’1，c2与c’2，e1与e’1，e2与e’2；其中，阈值θ’1、θ’2、θ’4、θ’6、θ’10、θ’11、b’1、b’2、c’1、c’2、e’1、e’2分别根据外部实现情况预设。
7.如权利要求6所述的基于语义分割的精准面瘫程度评测方法，其特征在于，步骤(3)还包括：若θ1＞θ’1或θ2＜θ’2，则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9)；
若θ1≥θ’1且θ2≥θ’2，同时满足θ4＜θ’4或θ6＜θ’6或θ8＜θ’8或θ10＞θ’10时，则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10；
若b1＜b’1或c1＞c’1，则判定所述待检测用户的一侧上脸部存在面瘫；
若b2＜b’2或c2＞c’2，则判定所述待检测用户的另一侧上脸部存在面瘫；
若e1＜e’1或θ11＜-θ’11＜0，则判定所述待检测用户的一侧下脸部存在面瘫；
若e2＜e’2或θ11＞θ’11＞0，则判定所述待检测用户的另一侧下脸部存在面瘫。
8.如权利要求7所述的基于语义分割的精准面瘫程度评测方法，其特征在于，步骤(3)还包括：若同时满足以下条件：θ1≥θ’1、θ2≥θ’2、θ4≥θ’4、θ6≥θ’6、θ8≥θ’8、θ10≤θ’10，则判定所述待检测用户不存在面瘫症状。
9.如权利要求8所述的基于语义分割的精准面瘫程度评测方法，其特征在于，在所述深度全卷积网络模型中，下采样及上采样层数均为N0，N0为正整数；相邻的下采样及上采样间，或下采样与下采样间，或上采样与上采样间均堆叠多层卷积层；输入层通道数为3或1；
或，
在所述深度全卷积网络模型中，输入层没有激活函数，输出层的激活函数为sigmoid函数，紧邻输出层的卷积层的激活函数为tanh函数，其他所有卷积层的激活函数均为Rule函数；
或，
利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值，学习率初始化为le，模型目标Loss阈值设置为m，模型最大训练次数设置为T，并通过贝叶斯正则化或动量梯度下降进行优化，损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种；
或，
所述已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取仅包含一个人脸的图像Im作为所述模型训练集中一个训练样本的数据，再在图像Im中标定人脸的眉毛区域s1、s2，眼白区域s3、s4，嘴唇区域s5内的所有像素点作为训练样本的具有5个通道的标签，并重复进行以获得多个已标定训练样本；
或，
按照一个预设前向传播公式计算所述深度全卷积网络模型的输出，按照一个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型后的模型输出和所述已标定训练样本标签间的误差，并通过反向传播更新所述深度全卷积网络模型所有权值和阈值；
或，
所述深度全卷积网络模型的下采样及上采样层数均为3层，各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块；学习率初始化为0.001，模型目标Loss阈值为0.1，模型最大训练次数设置为20000；
或，
所述卷积层模块的数量为六个，输入层通道数为3，输出层通道数为5，输出层中五个通道分别表示眉毛区域s1、s2，眼白区域s3、s4，嘴唇区域s5。
10.一种基于语义分割的精准面瘫程度评测装置，其应用于如权利要求1-9中任意一项所述的基于语义分割的精准面瘫程度评测方法，其特征在于，其包括：
检测模型建立模块，其用于建立面瘫语义分割模型；在所述面瘫语义分割模型中，两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，嘴唇区域为s5，以区域s1、s3、s4、s5为元素形成的集合表示人脸形状；
数据获取模块，其用于获取待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；
数据处理模块，其用于对所述待检测数据进行处理；所述数据处理模块包括输入单元和更新单元；所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫语义分割模型中以输出相应的多组人脸形状；所述更新单元用于对于多组人脸形状，先依次分别计算眉毛区域s1的中心点p1，眉毛区域s2的中心点p2，眼白区域s3的中心点p3，眼白区域s4的中心点p4，嘴唇区域s5的中心点p5，点p1与点p2的中点为p6，点p3与点p4的中点为p7，点p1与点p3的中点为p8，点p2与点p4的中点为p9，再计算：眼白区域s3内x轴取值最大的像素点p10，眼白区域s4内x轴取值最小的像素点p11，嘴唇区域s5内x轴取值最小的像素点p12，嘴唇区域s5内x轴取值最大的像素点p13，点p10与点p11的中点为p14，然后在过点p14且与直线p10p11相垂直的直线上随机选取一点p15，并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16，还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17，再然后设置向量
Figure FDA0002466631250000081
Figure FDA0002466631250000082
Figure FDA0002466631250000083
Figure FDA0002466631250000084
Figure FDA0002466631250000085
Figure FDA0002466631250000086
随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2，计算嘴唇区域s5的最小包围圆区域s6，并统计最小包围圆区域s6内像素点数量n3，嘴唇区域s5内像素点数量n4，像素点数量n3与像素点数量n4的差值n5，最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、点p13、点p14、点p15、点p16、点p17、向量
Figure FDA0002466631250000087
向量
Figure FDA0002466631250000088
向量
Figure FDA0002466631250000089
向量
Figure FDA00024666312500000810
向量
Figure FDA00024666312500000811
向量
Figure FDA00024666312500000812
向量
Figure FDA00024666312500000813
向量
Figure FDA00024666312500000814
向量
Figure FDA00024666312500000815
向量
Figure FDA00024666312500000816
向量
Figure FDA00024666312500000817
向量
Figure FDA00024666312500000818
向量
Figure FDA00024666312500000819
面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至对应的人脸形状中以获得更新后人脸形状；
面瘫程度综合评测模块，其用于对待检测用户的面瘫程度进行评测；所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元；所述计算单元一用于对于更新后的无表情自然状态人脸形状S0，先计算
Figure FDA0002466631250000091
Figure FDA0002466631250000092
Figure FDA0002466631250000093
再计算θ1＝|a1+a2|/|a1-a2|，θ2＝|a3+a4|/|a3-a4|；所述计算单元二用于对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别计算
Figure FDA0002466631250000094
Figure FDA0002466631250000095
Figure FDA0002466631250000096
Figure FDA0002466631250000097
再计算
Figure FDA0002466631250000098
最后计算
Figure FDA0002466631250000099
Figure FDA00024666312500000910
θ4＝|b1+b2|/|b1-b2|；所述计算单元三用于对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算
Figure FDA00024666312500000911
Figure FDA00024666312500000912
再计算
Figure FDA00024666312500000913
Figure FDA00024666312500000914
最后计算θ5＝max(d1，d2)，θ6＝|d1+d2|/|d1-d2|；所述计算单元四用于对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次分别计算
Figure FDA00024666312500000915
Figure FDA00024666312500000916
并依次分别计算面积
Figure FDA00024666312500000917
Figure FDA00024666312500000918
再计算
Figure FDA00024666312500000919
最后计算θ7＝max(e1，e2)，θ8＝|e1+e2|/|e1-e2|；所述计算单元五用于对于更新后的吹哨动作人脸形状Sd1，Sd2，……，Sdn，先计算
Figure FDA00024666312500000920
Figure FDA00024666312500000921
Figure FDA00024666312500000922
再计算
Figure FDA00024666312500000923
并计算
Figure FDA00024666312500000924
最后计算θ11＝arccos(f2)；所述设置比较模块用于设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，b1对应的阈值b’1，b2对应的阈值b’2，c1对应的阈值c’1，c2对应的阈值c’2，e1对应的阈值e’1，e2对应的阈值e’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，b1与b’1，b2与b’2，c1与c’1，c2与c’2，e1与e’1，e2与e’2；所述判定单元用于根据所述设置比较模块的比较结果进行判定；若θ1＞θ’1或θ2＜θ’2，所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9)；若θ1≥θ’1且θ2≥θ’2，同时满足θ4＜θ’4或θ6＜θ’6或θ8＜θ’8或θ10＞θ’10时，所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10；若b1＜b’1或c1＞c’1，所述判定单元则判定所述待检测用户的一侧上脸部存在面瘫；若b2＜b’2或c2＞c’2，所述判定单元则判定所述待检测用户的另一侧上脸部存在面瘫；若e1＜e’1或θ11＜-θ’11＜0，所述判定单元则判定所述待检测用户的一侧下脸部存在面瘫；若e2＜e’2或θ11＞θ’11＞0，所述判定单元则判定所述待检测用户的另一侧下脸部存在面瘫；若同时满足以下条件：θ1≥θ’1、θ2≥θ’2、θ4≥θ’4、θ6≥θ’6、θ8≥θ’8、θ10≤θ’10，所述判定单元则判定所述待检测用户不存在面瘫症状。
CN202010335990.XA 2020-04-25 2020-04-25 一种基于语义分割的精准面瘫程度评测方法及装置 Pending CN111680545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010335990.XA CN111680545A (zh) 2020-04-25 2020-04-25 一种基于语义分割的精准面瘫程度评测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010335990.XA CN111680545A (zh) 2020-04-25 2020-04-25 一种基于语义分割的精准面瘫程度评测方法及装置

Publications (1)

Publication Number Publication Date
CN111680545A true CN111680545A (zh) 2020-09-18

Family

ID=72452189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010335990.XA Pending CN111680545A (zh) 2020-04-25 2020-04-25 一种基于语义分割的精准面瘫程度评测方法及装置

Country Status (1)

Country Link
CN (1) CN111680545A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估系统
CN109543526A (zh) * 2018-10-19 2019-03-29 谢飞 基于深度差异性特征的真假面瘫识别系统
CN109686418A (zh) * 2018-12-14 2019-04-26 深圳先进技术研究院 面瘫程度评价方法、装置、电子设备及存储介质
CN110013227A (zh) * 2019-05-14 2019-07-16 深圳德技创新实业有限公司 一种脸部皮肤检测仪
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
WO2020035852A2 (en) * 2018-08-14 2020-02-20 Neurotrigger Ltd. Method and apparatus for transcutaneous facial nerve stimulation and applications thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020035852A2 (en) * 2018-08-14 2020-02-20 Neurotrigger Ltd. Method and apparatus for transcutaneous facial nerve stimulation and applications thereof
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估系统
CN109543526A (zh) * 2018-10-19 2019-03-29 谢飞 基于深度差异性特征的真假面瘫识别系统
CN109686418A (zh) * 2018-12-14 2019-04-26 深圳先进技术研究院 面瘫程度评价方法、装置、电子设备及存储介质
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN110013227A (zh) * 2019-05-14 2019-07-16 深圳德技创新实业有限公司 一种脸部皮肤检测仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许鹏飞等: ""一种基于深度时序特征的面瘫分级评估方法"", 《自动化学报》, pages 1 - 9 *

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN112507990A (zh) 视频时空特征学习、抽取方法、装置、设备及存储介质
CN110532880B (zh) 样本筛选及表情识别方法、神经网络、设备及存储介质
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN110827265B (zh) 基于深度学习的图片异常检测方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
WO2022179083A1 (zh) 图像检测方法、装置、设备、介质和程序
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN110246171B (zh) 一种实时单目视频深度估计方法
Nguyen et al. Deep visual saliency on stereoscopic images
CN111553250B (zh) 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN112560710A (zh) 一种用于构建指静脉识别系统的方法及指静脉识别系统
CN113706544A (zh) 一种基于完备注意力卷积神经网络的医学图像分割方法
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN111553249B (zh) 一种cv下基于h-b分级的精准面瘫程度评测方法及装置
CN112818774A (zh) 一种活体检测方法及装置
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
CN115761358A (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法
CN111680545A (zh) 一种基于语义分割的精准面瘫程度评测方法及装置
CN114694074A (zh) 一种使用图像生成视频的方法、装置以及存储介质
CN111882551B (zh) 病理图像细胞计数方法、系统及装置
CN112001213B (zh) 一种基于3d点云分割的精准面瘫程度评测方法及装置
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination