CN112001213B - 一种基于3d点云分割的精准面瘫程度评测方法及装置 - Google Patents

一种基于3d点云分割的精准面瘫程度评测方法及装置 Download PDF

Info

Publication number
CN112001213B
CN112001213B CN202010335999.0A CN202010335999A CN112001213B CN 112001213 B CN112001213 B CN 112001213B CN 202010335999 A CN202010335999 A CN 202010335999A CN 112001213 B CN112001213 B CN 112001213B
Authority
CN
China
Prior art keywords
point
facial paralysis
theta
detected
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010335999.0A
Other languages
English (en)
Other versions
CN112001213A (zh
Inventor
冯少华
李伟中
李健
金波
邓利平
冼上轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen DJ Innovation Industry Co Ltd
Original Assignee
Shenzhen DJ Innovation Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen DJ Innovation Industry Co Ltd filed Critical Shenzhen DJ Innovation Industry Co Ltd
Priority to CN202010335999.0A priority Critical patent/CN112001213B/zh
Publication of CN112001213A publication Critical patent/CN112001213A/zh
Application granted granted Critical
Publication of CN112001213B publication Critical patent/CN112001213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明公开了一种基于3D点云分割的精准面瘫程度评测方法及装置。该方法包括：建立面瘫3D语义分割模型；获取待检测数据并对待检测数据进行处理：将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫3D语义分割模型中以输出相应的多组人脸形状，更新多组人脸形状；对待检测用户的面瘫程度进行评测：计算θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、θ11、|θ12|、a1、a2、b1、b2并与其阈值比较；对待检测用户的面瘫程度进行判定，并计算面瘫指数。本发明可以使检测模型具有较高的检测定位精度，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。

Description

一种基于3D点云分割的精准面瘫程度评测方法及装置
技术领域
本发明涉及面瘫识别技术领域的一种精准面瘫程度评测方法，尤其涉及一种基于3D点云分割的精准面瘫程度评测方法，还涉及应用该方法的基于3D点云分割的精准面瘫程度评测装置。
背景技术
面瘫，一种面部肌肉运动功能受阻的常见病，患者往往难以正常完成如闭眼、抬眉、鼓腮、皱鼻或张嘴等基本面部动作，而且在我国是发病率较高的地区。面瘫一般称为面神经麻痹，一般症状是口眼歪斜，患者往往连最基本的抬眉、闭眼、鼓嘴等动作都无法完成。
目前，面瘫诊断相关的面神经功能评价方法有将近20多种，如H-B分级法、线性测量指数、诺丁汉分级系统及多伦多分级法等，但这些系统在评价面瘫程度的评价标准普遍都存在一定的缺陷，如评价结果很大程度上由于人工操作的过程中所带有的专家主观性评判，不仅效率较低而且存在较大的误差，由此大大影响了对面瘫患者的面瘫程度的评估结果，同时对面瘫患者的治疗过程及恢复情况没有信息化的统计记录而难于准确评价治疗效果，从而对面瘫患者的后续治疗带来了较大的阻力。因此，需要一种利用现有计算视觉等技术而实现面瘫程度评测方法，该方法能够应用于面瘫检测设备中，作为医疗设备的检测方法对面瘫患者的面瘫程度进行检测，并且能够大规模、广泛地进行产业化应用，例如可以作为独立的程序应用在手机端、客户端中，可供面瘫患者在非治疗时期进行纠正和检查，同时也可以供非面瘫患者做预防方法使用。
发明内容
为解决现有的面瘫程度评测方法存在误差大，评测效率低的技术问题，本发明提供一种基于3D点云分割的精准面瘫程度评测方法及装置。
本发明采用以下技术方案实现：一种基于3D点云分割的精准面瘫程度评测方法，其包括以下步骤：
(1)确定两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6；以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状；
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；
依次分别计算眉毛区域s1的中心点p1＝(xp1,yp1,zp1)，眉毛区域s2的中心点p2＝(xp2,yp2,zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为/>
计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量
设置旋转矩阵旋转矩阵/>并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3；
计算眼白区域s3内y轴取值最大的点为p3＝(xp3,yp3,zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4,yp4,zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5,yp5,zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6,yp6,zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7,yp7,zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8,yp8,zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9,yp9,zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10,yp10,zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11,yp11,zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12,yp12,zp12)，设置向量 其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1,αa2,αa3,αb1,αb2,αb3≤π；
将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量向量/>向量/>向量/>向量/>向量/>向量/>向量/>面积n1及面积n2作为元素加入至对应的人脸形状中以获得更新后人脸形状；
(3)对于更新后的无表情自然状态人脸形状S0，计算
对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San，先依次分别计算 再计算/> 最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|；
对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn，先计算 再计算θ6＝max(b3,b4)，θ7＝|b3+b4|/|b3-b4|；
对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn，先依次分别计算 再计算/> 最后计算/>
对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn，先依次分别计算 再计算/> 最后计算θ10＝|d1-d2|/|d1+d2|，/>θ12＝arccos(d7)；
将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、θ11、|θ12|、a1、a2、b1、b2分别与其阈值比较；
通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数。
本发明先通过确定人脸中各个区域并作为元素形成的集合表示人脸形状，再对各个元素进行处理，最后根据处理后的用户数据对其面瘫程度进行评测，这样获取待检测用户脸部的静态3D图像及动态序列3D图像，利用面瘫3D语义分割模型分别在静态3D图像及动态序列3D图像中提取待检测用户脸部的所有关于眉毛、眼白上嘴唇及下嘴唇的语义分割信息，根据待检测用户在不同表情下面部对应关键区域间在3D空间中的各种点线面间几何关系综合评价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键区域间向量关系，所优选的不同表情下面部对应关键区域间在3D空间中的各种点线面间几何关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，解决了现有的面瘫程度评测方法存在误差大，评测效率低的技术问题，得到了面瘫程度探测准确性高，评测效率高，可大规模、产业化应用在面瘫识别和程度评测设备中的技术效果。
作为上述方案的进一步改进，步骤(1)还包括：建立面瘫3D语义分割模型，建立方法包括以下步骤：
(1.1)创建三维深度网络模型；
(1.2)通过多个已标定训练样本以获取模型训练集；
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述三维深度网络模型中进行训练；以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；
在所述执行次数未达到所述最大训练次数时，获取所述三维深度网络模型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；
在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时，将所述三维深度网络模型作为面瘫3D语义分割模型。
进一步地，步骤(2)还包括：获取待检测用户整个人脸的待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。
再进一步地，步骤(2)还包括：将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫3D语义分割模型中以输出相应的多组人脸形状。
再进一步地，更新后人脸形状依次为：
再进一步地，步骤(3)还包括：设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a’2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a’1，a2与a’2，b1与b’1，b2与b’2；其中，阈值θ’1、θ’2、θ’4、θ’6、θ’8、θ’10、θ’11、θ’12、a’1、a’2、b’1、b’2分别根据外部实现情况预设。
再进一步地，步骤(3)还包括：若θ1>θ’1，或θ2<θ’2，或θ3>θ’3，则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ1θ3/θ2)+(0.1/θ4)+(0.1/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.3/θ9)+(0.1/θ10)+(0.1/θ11)；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5<θ’5、θ7<θ’7、θ9<θ’9、θ11<θ’11，则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ5)+(0.3/θ7)+(0.3/θ9)+0.1θ11；
若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1<a’1或b1>b’1，则判定所述待检测用户的一侧上脸部存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2<a’2或b2>b’2，则判定所述待检测用户的另一侧上脸部存在面瘫；若θ12>θ’12>0，则判定所述待检测用户另一侧下脸部存在面瘫；若θ12<-θ’12<0，则判定所述待检测用户的一侧下脸部存在面瘫。
再进一步地，步骤(3)还包括：若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，则判定所述待检测用户不存在面瘫症状。
再进一步地，在所述三维深度网络模型中，输入为三通道点云数据，输出类别数为六，并通过高斯分布随机数初始化所述三维深度网络模型的所有权值和阈值；
或，
通过贝叶斯正则化或动量梯度下降进行优化，损失函数为Binary CrossEntropy、Focal Loss、MSE中的一种；
或，
所述已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取仅包含一个人脸的3D点云图像Im作为所述模型训练集中一个训练样本的数据，再标定3D点云图像Im中标定人脸的眉毛区域s1、s2，眼白区域s3、s4，上嘴唇区域s5及下嘴唇区域s6内的所有点云作为训练样本的标签，并重复进行以获得多个已标定训练样本；
或，
按照一个预设前向传播公式计算所述三维深度网络模型的输出，按照一个预设误差公式计算出该所述已标定训练样本输入到所述三维深度网络模型后的模型输出和所述已标定训练样本标签间的误差，并通过反向传播更新所述三维深度网络模型所有权值和阈值；
或，
在所述面瘫3D语义分割模型中，定义左眉毛区域s1、右眉毛区域s2、左眼白区域s3、右眼白区域s4；在步骤(3.7)中，若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1<a’1或b1>b’1，判定所述待检测用户的左上部脸存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2<a’2或b2>b’2，则判定所述待检测用户的右上部脸存在面瘫；若θ12>θ’12>0，则判定所述待检测用户的右下部脸存在面瘫；若θ12<-θ’12<0，则判定所述待检测用户的左下部脸存在面瘫；
或，
在所述三维深度网络模型中，学习率初始化为0.001，模型目标Loss阈值为0.1；
或，
模型最大训练次数设置为20000，并通过Adam进行优化，损失函数为Binary CrossEntropy。
本发明还提供一种基于3D点云分割的精准面瘫程度评测装置，其应用上述任意所述的基于3D点云分割的精准面瘫程度评测方法，其包括：
检测模型建立模块，其用于建立面瘫3D语义分割模型；在所述面瘫3D语义分割模型中，两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6，并以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状；
数据获取模块，其用于获取待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；
数据处理模块，其用于对所述待检测数据进行处理；所述数据处理模块包括输入单元和更新单元；所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫3D语义分割模型中以输出相应的多组人脸形状；所述更新单元用于对于多组人脸形状，先依次分别计算眉毛区域s1的中心点p1＝(xp1,yp1,zp1)，眉毛区域s2的中心点p2＝(xp2,yp2,zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为/> 再计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量 并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量 然后设置旋转矩阵/>旋转矩阵/> 并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3，再然后计算眼白区域s3内y轴取值最大的点为p3＝(xp3,yp3,zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4,yp4,zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5,yp5,zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6,yp6,zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7,yp7,zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8,yp8,zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9,yp9,zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10,yp10,zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11,yp11,zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12,yp12,zp12)，设置向量/> 其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1,αa2,αa3,αb1,αb2,αb3≤π，最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量/>向量/>向量/>向量/>向量/>向量/>向量/>向量面积n1及面积n2作为元素加入至对应的人脸形状中以获得更新后人脸形状；
面瘫程度综合评测模块，其用于对待检测用户的面瘫程度进行评测；所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元；所述计算单元一用于对于更新后的无表情自然状态人脸形状S0，计算 所述计算单元二用于对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San，先依次分别计算/> 再计算/> 最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|；所述计算单元三用于对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn，先计算/> 再计算θ6＝max(b3,b4)，θ7＝|b3+b4|/|b3-b4|；所述计算单元四用于对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn，先依次分别计算/> 再计算/> 最后计算θ8＝|c1-c2|/|c1+c2|，/> 所述计算单元五用于对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn，先依次分别计算 再计算/> 最后计算θ10＝|d1-d2|/|d1+d2|，/>θ12＝arccos(d7)；所述设置比较模块用于设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a’2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a’1，a2与a’2，b1与b’1，b2与b’2；所述判定单元用于根据所述设置比较模块的比较结果进行判定；若θ1>θ’1，或θ2<θ’2，或θ3>θ’3，所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ1θ3/θ2)+(0.1/θ4)+(0.1/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.3/θ9)+(0.1/θ10)+(0.1/θ11)；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5<θ’5、θ7<θ’7、θ9<θ’9、θ11<θ’11，所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ5)+(0.3/θ7)+(0.3/θ9)+0.1θ11；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1<a’1或b1>b’1，所述判定单元则判定所述待检测用户的一侧上脸部存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2<a’2或b2>b’2，所述判定单元则判定所述待检测用户的另一侧上脸部存在面瘫；若θ12>θ’12>0，所述判定单元则判定所述待检测用户另一侧下脸部存在面瘫；若θ12<-θ’12<0，所述判定单元则判定所述待检测用户的一侧下脸部存在面瘫；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，所述判定单元则判定所述待检测用户不存在面瘫症状。
相较于现有的面瘫程度评测方法，本发明的基于3D点云分割的精准面瘫程度评测方法及装置具有以下有益效果：
该基于3D点云分割的精准面瘫程度评测方法，其先建立面瘫3D语义分割模型，并在模型中选取面部中的眉毛、眼睛、嘴唇等的面瘫关键区域，再获取待检测用户的待检测数据并对所述待检测数据进行处理，采集用户在无表情、皱眉、闭眼、微笑以及吹哨过程中的图像，并将图像输入至面瘫3D语义分割模型中输出多组人脸形状，随后分别对各组人脸形状进行线性回归等操作，获得一系列面瘫关联元素并对人脸形状进行更新，最后计算更新后的各组人脸形状的各种特征值，并针对特征值之间的关系对待检测用户的面瘫程度进行评测，实现对用户面瘫程度的精确评测。这样获取待检测用户脸部的静态3D图像及动态序列3D图像，利用面瘫3D语义分割模型分别在静态3D图像及动态序列3D图像中提取待检测用户脸部的所有关于眉毛、眼白上嘴唇及下嘴唇的语义分割信息，根据待检测用户在不同表情下面部对应关键区域间在3D空间中的各种点线面间几何关系综合评价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键区域间向量关系，所优选的不同表情下面部对应关键区域间在3D空间中的各种点线面间几何关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。
而且，该基于3D点云分割的精准面瘫程度评测方法由于可以采用计算机视觉技术检测用户的面部图像，并通过计算机执行其他步骤，这样在应用时可以直接使用在现有的手机、计算机等设备中，也可以使用在专门评估用户的面瘫程度的医疗设备中，还可以作为独立模块进行产品化应用，可以大规模、产业化应用在面瘫识别和程度评测设备中，提高现有的医疗设备的评测效率和准确性。
该基于3D点云分割的精准面瘫程度评测装置，其有益效果与上述的基于3D点云分割的精准面瘫程度评测方法的有益效果相同，在此不再做赘述。
附图说明
图1为本发明实施例1的基于3D点云分割的精准面瘫程度评测方法的流程图。
图2为本发明实施例1的基于3D点云分割的精准面瘫程度评测方法所建立的面瘫3D语义分割模型中面瘫关键点在人脸中具体位置分布图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
请参阅图1，本实施例提供了一种基于3D点云分割的精准面瘫程度评测方法，该方法能够应用于面瘫检测设备中，作为医疗设备的检测方法对面瘫患者的面瘫程度进行检测，并且能够大规模、广泛地进行产业化应用，例如可以作为独立的程序应用在手机端、客户端中，可供面瘫患者在非治疗时期进行纠正和检查，同时也可以供非面瘫患者做预防方法使用。其中，该精准面瘫程度评测方法包括以下这些步骤，即步骤(1)-(3)。
步骤(1)：建立面瘫3D语义分割模型。在本实施例中，面瘫3D语义分割模型的建立方法包括以下这些步骤，即步骤(1.1)-(1.4)。请参阅图2，在面瘫3D语义分割模型中，在面瘫3D语义分割模型中，两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，嘴唇区域为s5、s6，以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状。这里需要指出的是，这里的左右关系是相对于观察者而言，而非待检测用户的其自己所判断的面部情况。在本实施例中，定义左眉毛区域s1、右眉毛区域s2、左眼白区域s3、右眼白区域s4。
(1.1)创建三维深度网络模型(PointNet网络模型)。在三维深度网络模型中，输入为三通道点云数据，输出类别数为六，并通过高斯分布随机数初始化三维深度网络模型的所有权值和阈值。学习率初始化为le，模型目标Loss阈值设置为m，模型最大训练次数设置为T。通过贝叶斯正则化或动量梯度下降进行优化，损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种。
(1.2)通过多个已标定训练样本以获取模型训练集。在本实施例中，已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取仅包含一个人脸的3D点云图像Im作为模型训练集中一个训练样本的数据，再标定3D点云图像Im中标定人脸的眉毛区域s1、s2，眼白区域s3、s4，上嘴唇区域s5及下嘴唇区域s6内的所有点云作为训练样本的标签，并重复进行以获得多个已标定训练样本。
(1.3)在模型训练集中选取一组已标定训练样本输入至三维深度网络模型中进行训练。在本实施例中，按照一个预设前向传播公式计算三维深度网络模型的输出，按照一个预设误差公式计算出该已标定训练样本输入到三维深度网络模型后的模型输出和已标定训练样本标签间的误差，并通过反向传播更新三维深度网络模型所有权值和阈值。
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；在执行次数未达到最大训练次数时，获取三维深度网络模型一个周期的损失值，并判断损失值是否大于模型目标损失阈值；在损失值大于模型目标损失阈值时，执行步骤(1.3)；在损失值小于模型目标损失阈值或执行次数达到最大训练次数时，将三维深度网络模型作为面瘫3D语义分割模型。在本步骤中，实际上为不断重复步骤(1.3)，每执行一次步骤(1.3)后获取模型一个epoch的Loss值M，若M小于模型目标Loss阈值m，或重复执行步骤(1.3)的次数达到模型最大训练次数T，则不再执行步骤(1.3)，三维深度网络模型训练完成，选取该已训练完成的三维深度网络模型作为面瘫3D语义分割模型。
步骤(2)：获取待检测数据并对待检测数据进行处理。其中，待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。在本实施例中，通过摄影设备，获取：仅包含单个待检测用户整个人脸的1张无表情自然状态静态图像Img0；仅包含单个待检测用户整个人脸的1组(包含n张)待检测用户在做皱眉动作全过程的序列图像Imga1，Imga2，......，Imgan；仅包含单个待检测用户整个人脸的1组(包含n张)待检测用户在做闭眼动作全过程的序列图像Imgb1，Imgb2，......，Imgbn；仅包含单个待检测用户整个人脸的1组(包含n张)待检测用户在做微笑动作全过程的序列图像Imgc1,Imgc2,......,Imgcn；仅包含单个待检测用户整个人脸的1组(包含n张)待检测用户在做吹哨动作全过程的序列图像Imgd1，Imgd2,......,Imgdn，其中n可以根据用户实际应用需要而自定义。而待检测数据的处理方法包括以下这些步骤，即步骤(2.1)和步骤(2.2)，步骤(2.2)还可以拆分为多个子步骤单独执行。
(2.1)将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫3D语义分割模型中以输出相应的多组人脸形状。即：将图像Img0，Imga1，Imga2……Imgan，Imgb1，Imgb2……Imgbn，Imgc1，Imgc2……Imgcn，Imgd1，Imgd2……Imgdn依次输入至面瘫3D语义分割模型获得对应输出人脸形状S0,Sa1,Sa2,……,San,Sb1,Sb2,……,Sbn,Sc1,Sc2,,……,Scn,Sd1,Sd2,……,Sdn。其中：
(2.2)对于多组人脸形状，先依次分别计算眉毛区域s1的中心点p1＝(xp1,yp1,zp1)，眉毛区域s2的中心点p2＝(xp2,yp2,zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为/> 再计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量 并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量 然后设置旋转矩阵/>旋转矩阵/> 并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3，再然后计算眼白区域s3内y轴取值最大的点为p3＝(xp3,yp3,zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4,yp4,zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5,yp5,zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6,yp6,zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7,yp7,zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8,yp8,zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9,yp9,zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10,yp10,zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11,yp11,zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12,yp12,zp12)，设置向量/> 其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1,αa2,αa3,αb1,αb2,αb3≤π，最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量/>向量/>向量/>向量/>向量/>向量/>向量/>向量面积n1及面积n2作为元素加入至对应的人脸形状中以获得更新后人脸形状。其中，更新后的人脸形状依次为：
/>
/>
步骤(3)：待检测用户的面瘫程度进行评测。其中，评测方法包括以下这些步骤，即步骤(3.1)-(3.7)。
(3.1)对于更新后的无表情自然状态人脸形状S0，计算
(3.2)对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San，先依次分别计算 再计算/> 最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|。
(3.3)对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn，先计算 再计算θ6＝max(b3,b4)，θ7＝|b3+b4|/|b3-b4|。
(3.4)对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn，先依次分别计算 再计算/> 最后计算θ8＝|c1-c2|/|c1+c2|，/>
(3.5)对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn，先依次分别计算/> 再计算/> 最后计算θ10＝|d1-d2|/|d1+d2|，θ12＝arccos(d7)。
(3.6)设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a’2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a’1，a2与a’2，b1与b’1，b2与b’2。其中，阈值θ’1、θ’2、θ’4、θ’6、θ’8、θ’10、θ’11、θ’12、a’1、a’2、b’1、b’2分别根据外部实现情况预设。
(3.7)若θ1>θ’1，或θ2<θ’2，或θ3>θ’3，则判定待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ1θ3/θ2)+(0.1/θ4)+(0.1/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.3/θ9)+(0.1/θ10)+(0.1/θ11)；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5<θ’5、θ7<θ’7、θ9<θ’9、θ11<θ’11，则判定待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ5)+(0.3/θ7)+(0.3/θ9)+0.1θ11；
若待检测用户存在面瘫症状但不属于严重面瘫，并且a1<a’1或b1>b’1，则判定待检测用户的一侧上脸部存在面瘫；若待检测用户存在面瘫症状但不属于严重面瘫，并且a2<a’2或b2>b’2，则判定待检测用户的另一侧上脸部存在面瘫；若θ12>θ’12>0，则判定待检测用户另一侧下脸部存在面瘫；若θ12<-θ’12<0，则判定待检测用户的一侧下脸部存在面瘫；
若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，则判定待检测用户不存在面瘫症状。
在本实施例中，若待检测用户存在面瘫症状但不属于严重面瘫，并且a1<a’1或b1>b’1，判定待检测用户的左上部脸存在面瘫；若待检测用户存在面瘫症状但不属于严重面瘫，并且a2<a’2或b2>b’2，则判定待检测用户的右上部脸存在面瘫；若θ12>θ’12>0，则判定待检测用户的右下部脸存在面瘫；若θ12<-θ’12<0，则判定待检测用户的左下部脸存在面瘫。
综上所述，相较于现有的面瘫程度评测方法，本实施例的基于3D点云分割的精准面瘫程度评测方法具有以下优点：
该基于3D点云分割的精准面瘫程度评测方法，其先建立面瘫3D语义分割模型，并在模型中选取面部中的眉毛、眼睛、嘴唇等的面瘫关键区域，再获取待检测用户的待检测数据并对待检测数据进行处理，采集用户在无表情、皱眉、闭眼、微笑以及吹哨过程中的图像，并将图像输入至面瘫3D语义分割模型中输出多组人脸形状，随后分别对各组人脸形状进行线性回归等操作，获得一系列面瘫关联元素并对人脸形状进行更新，最后计算更新后的各组人脸形状的各种特征值，并针对特征值之间的关系对待检测用户的面瘫程度进行评测，实现对用户面瘫程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频，利用面瘫3D语义分割模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及动态视频的所有关于眉毛、眼白及嘴唇的语义分割信息，根据待检测用户在不同表情下面部对应关键区域间向量关系综合评价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键区域间向量关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。
而且，该基于3D点云分割的精准面瘫程度评测方法由于可以采用计算机视觉技术检测用户的面部图像，并通过计算机执行其他步骤，这样在应用时可以直接使用在现有的手机、计算机等设备中，也可以使用在专门评估用户的面瘫程度的医疗设备中，还可以作为独立模块进行产品化应用，可以大规模、产业化应用在面瘫识别和程度评测设备中，提高现有的医疗设备的评测效率和准确性。
实施例2
本实施例提供了一种基于3D点云分割的精准面瘫程度评测方法，该方法与实施例1的相似，区别在于本实施例的三维深度网络模型不同。本实施例的三维深度网络模型的具体结构，可根据用户具体要求而单独设计，0可直接使用标准PointNet模型结构或根据用户具体要求而对该结构进行修改，模型的一种具体训练参数如下：利用高斯分布随机数初始化深度全卷积网络模型的所有权值和阈值，学习率初始化为0.001，模型目标Loss阈值为0.1，模型最大训练次数设置为20000，优化器算法选取Adam，损失函数选用Binary CrossEntropy。
实施例3
本实施例提供了一种基于3D点云分割的精准面瘫程度评测装置，该装置应用实施例1或实施例2的基于3D点云分割的精准面瘫程度评测方法。其中，精准面瘫程度评测装置包括检测模型建立模块、数据获取模块、数据处理模块以及面瘫程度综合评测模块，数据获取模块和数据处理模块可以组成一个待检测数据获取及处理模块。这些模块可以作为计算机程序模块，也可以作为硬件模块，其能够执行实施例1或实施例2中所介绍的相关步骤。
检测模型建立模块用于建立面瘫3D语义分割模型，其实际上用于执行实施例1中的步骤(1)。在面瘫3D语义分割模型中，两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6。
数据获取模块用于获取待检测数据，该数据为待检测用户的面部数据。其中，待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。
数据处理模块用于对待检测数据进行处理，而且数据处理模块包括输入单元和更新单元。输入单元用于将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫3D语义分割模型中以输出相应的多组人脸形状。更新单元用于对于多组人脸形状，先依次分别计算眉毛区域s1的中心点p1＝(xp1,yp1,zp1)，眉毛区域s2的中心点p2＝(xp2,yp2,zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为/>再计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量/> 并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量/> 然后设置旋转矩阵/>旋转矩阵/>并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3，再然后计算眼白区域s3内y轴取值最大的点为p3＝(xp3,yp3,zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4,yp4,zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5,yp5,zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6,yp6,zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7,yp7,zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8,yp8,zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9,yp9,zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10,yp10,zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11,yp11,zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12,yp12,zp12)，设置向量/> 其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1,αa2,αa3,αb1,αb2,αb3≤π，最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量/>向量/>向量/>向量/>向量/>向量/>向量/>向量/>面积n1及面积n2作为元素加入至对应的人脸形状中以获得更新后人脸形状。
面瘫程度综合评测模块用于对待检测用户的面瘫程度进行评测。面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元。面瘫程度综合评测模块实际上用于执行实施例1中的步骤(3)，而各个单元则分别用于执行步骤(3.1)-(3.7)。
计算单元一用于对于更新后的无表情自然状态人脸形状S0，计算 计算单元二用于对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San，先依次分别计算/> 再计算/> 最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|。
计算单元三用于对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn，先计算 再计算θ6＝max(b3,b4)，θ7＝|b3+b4|/|b3-b4|。计算单元四用于对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn，先依次分别计算/> 再计算/> 最后计算θ8＝|c1-c2|/|c1+c2|，/>
计算单元五用于对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn，先依次分别计算/> 再计算/> 最后计算/>|d1-d2|/|d1+d2|，θ12＝arccos(d7)。设置比较模块用于设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a’2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a’1，a2与a’2，b1与b’1，b2与b’2。
判定单元用于根据设置比较模块的比较结果进行判定。若θ1>θ’1，或θ2<θ’2，或θ3>θ’3，判定单元则判定待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ1θ3/θ2)+(0.1/θ4)+(0.1/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.3/θ9)+(0.1/θ10)+(0.1/θ11)。若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5<θ’5、θ7<θ’7、θ9<θ’9、θ11<θ’11，判定单元则判定待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ5)+(0.3/θ7)+(0.3/θ9)+0.1θ11。若待检测用户存在面瘫症状但不属于严重面瘫，并且a1<a’1或b1>b’1，判定单元则判定待检测用户的一侧上脸部存在面瘫。若待检测用户存在面瘫症状但不属于严重面瘫，并且a2<a’2或b2>b’2，判定单元则判定待检测用户的另一侧上脸部存在面瘫。若θ12>θ’12>0，判定单元则判定待检测用户另一侧下脸部存在面瘫。若θ12<-θ’12<0，判定单元则判定待检测用户的一侧下脸部存在面瘫。若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，判定单元则判定待检测用户不存在面瘫症状。
该基于3D点云分割的精准面瘫程度评测装置相较于现有面瘫程度评测设备，其所具有的优点与实施例1中的基于3D点云分割的精准面瘫程度评测方法的优点相同，在此不再做赘述。
实施例4
本实施例提供一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的基于3D点云分割的精准面瘫程度评测方法的步骤。
实施例1的方法在应用时，可以软件的形式进行应用，如设计成独立运行的程序，安装在计算机终端上，计算机终端可以是电脑、智能手机、控制系统以及其他物联网设备等。实施例1的方法也可以设计成嵌入式运行的程序，安装在计算机终端上，如安装在单片机上。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于3D点云分割的精准面瘫程度评测方法，其特征在于，其包括以下步骤：
(1)确定两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6；以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状；
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；
依次分别计算眉毛区域s1的中心点p1＝(xp1，yp1，zp1)，眉毛区域s2的中心点p2＝(xp2，yp2，zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为/>
计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量
设置旋转矩阵旋转矩阵/>并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3；
计算眼白区域s3内y轴取值最大的点为p3＝(xp3，yp3，zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4，yp4，zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5，yp5，zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6，yp6，zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7，yp7，zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8，yp8，zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9，yp9，zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10，yp10，zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11，yp11，zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12，yp12，zp12)，设置向量 其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1，αa2，αa3，αb1，αb2，αb3≤π；
将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量向量向量/>向量/>向量/>向量/>向量/>向量/>眼白区域s3内点云数量n1及眼白区域s4内点云数量n2作为元素加入至对应的人脸形状中以获得更新后人脸形状；
(3)对于更新后的无表情自然状态人脸形状S0，计算
对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别计算 再计算/> 最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|；
对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算 再计算θ6＝max(b3，b4)，θ7＝|b3+b4|/|b3-b4|；
对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次分别计算 再计算/> 最后计算θ8＝|c1-c2|/|c1+c2 |，/>
对于更新后的吹哨动作人脸形状Sd1，Sd2，……，Sdn，先依次分别计算 再计算/> 最后计算θ10＝|d1-d2|/|d1+d2|，/> θ12＝arccos(d7)；
将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、θ11、|θ12|、a1、a2、b1、b2分别与其阈值比较；通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数；
所述步骤(3)还包括：设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a′2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a’1，a2与a’2，b1与b’1，b2与b’2；其中，阈值θ’1、θ’2、θ’4、θ’6、θ’8、θ’10、θ’11θ’12、a’1、a’2、b’1、b’2分别根据外部实现情况预设；
若θ1＞θ’1，或θ2＜θ’2，或θ3＞θ’3，则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ1θ3/θ2)+(0.1/θ4)+(0.1/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.3/θ9)+(0.1/θ10)+(0.1/θ11)；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5＜θ’5、θ7＜θ’7、θ9＜θ’9、θ11＜θ’11，则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ5)+(0.3/θ7)+(0.3/θ9)+0.1θ11；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1＜a’1或b1＞b’1，则判定所述待检测用户的一侧上脸部存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2＜a’2或b2＞b’2，则判定所述待检测用户的另一侧上脸部存在面瘫；若θ12＞θ’12＞0，则判定所述待检测用户另一侧下脸部存在面瘫；若θ12＜-θ’12＜0，则判定所述待检测用户的一侧下脸部存在面瘫；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，则判定所述待检测用户不存在面瘫症状。
2.如权利要求1所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(1)还包括：建立面瘫3D语义分割模型，建立方法包括以下步骤：
(1.1)创建三维深度网络模型；
(1.2)通过多个已标定训练样本以获取模型训练集；
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述三维深度网络模型中进行训练；以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；
在所述执行次数未达到所述最大训练次数时，获取所述三维深度网络模型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；
在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时，将所述三维深度网络模型作为面瘫3D语义分割模型。
3.如权利要求2所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(2)还包括：获取待检测用户整个人脸的待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。
4.如权利要求3所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(2)还包括：将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫3D语义分割模型中以输出相应的多组人脸形状。
5.如权利要求4所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，更新后人脸形状依次为：
6.如权利要求5所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，在所述三维深度网络模型中，输入为三通道点云数据，输出类别数为六，并通过高斯分布随机数初始化所述三维深度网络模型的所有权值和阈值；
或，
通过贝叶斯正则化或动量梯度下降进行优化，损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种；
或，
所述已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取仅包含一个人脸的3D点云图像Im作为所述模型训练集中一个训练样本的数据，再标定3D点云图像Im中标定人脸的眉毛区域s1、s2，眼白区域s3、s4，上嘴唇区域s5及下嘴唇区域s6内的所有点云作为训练样本的标签，并重复进行以获得多个已标定训练样本；
或，
按照一个预设前向传播公式计算所述三维深度网络模型的输出，按照一个预设误差公式计算出该所述已标定训练样本输入到所述三维深度网络模型后的模型输出和所述已标定训练样本标签间的误差，并通过反向传播更新所述三维深度网络模型所有权值和阈值；
或，
在所述面瘫3D语义分割模型中，定义左眉毛区域s1、右眉毛区域s2、左眼白区域s3、右眼白区域s4；在步骤(3.7)中，若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1＜a′1或b1＞b′1，判定所述待检测用户的左上部脸存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2＜a′2或b2＞b′2，则判定所述待检测用户的右上部脸存在面瘫；若θ12＞θ’12＞0，则判定所述待检测用户的右下部脸存在面瘫；若θ12＜-θ’12＜0，则判定所述待检测用户的左下部脸存在面瘫；
或，
在所述三维深度网络模型中，学习率初始化为0.001，模型目标Loss阈值为0.1；
或，
模型最大训练次数设置为20000，并通过Adam进行优化，损失函数为Binary CrossEntropy。
7.一种基于3D点云分割的精准面瘫程度评测装置，其应用于如权利要求1-6中任意一项所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，其包括：
检测模型建立模块，其用于建立面瘫3D语义分割模型；在所述面瘫3D语义分割模型中，两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6，并以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状；
数据获取模块，其用于获取待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；
数据处理模块，其用于对所述待检测数据进行处理；所述数据处理模块包括输入单元和更新单元；所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫3D语义分割模型中以输出相应的多组人脸形状；所述更新单元用于对于多组人脸形状，先依次分别计算眉毛区域s1的中心点p1＝(xp1，yp1，zp1)，眉毛区域s2的中心点p2＝(xp2，yp2，zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为/>再计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量 并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量 然后设置旋转矩阵/>旋转矩阵/>并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3，再然后计算眼白区域s3内y轴取值最大的点为p3＝(xp3，yp3，zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4，yp4，zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5，yp5，zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6，yp6，zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7，yp7，zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8，yp8，zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9，yp9，zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10，yp10，zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11，yp11，zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12，yp12，zp12)，设置向量/> 其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1，αa2，αa3，αb1，αb2，αb3≤π，最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p1o、点p11、点p12、向量/>向量/>向量/>向量/>向量/>向量向量/>向量/>面积n1及面积n2作为元素加入至对应的人脸形状中以获得更新后人脸形状；
面瘫程度综合评测模块，其用于对待检测用户的面瘫程度进行评测；所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元；所述计算单元一用于对于更新后的无表情自然状态人脸形状S0，计算 所述计算单元二用于对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别计算/> 再计算/> 最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|；所述计算单元三用于对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算/> 再计算θ6＝max(b3，b4)，θ7＝|b3+b4|/|b3-b4|；所述计算单元四用于对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次分别计算/> 再计算/> 最后计算θ8＝|c1-c2|/|c1+c2|，/> 所述计算单元五用于对于更新后的吹哨动作人脸形状Sd1，Sd2，……，Sdn，先依次分别计算 再计算 最后计算θ10＝|d1-d2|/|d1+d2|，/> θ12＝arccos(d7)；
所述设置比较单元用于设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a’2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a′1，a2与a’2，b1与b’1，b2与b’2；所述判定单元用于根据所述设置比较模块的比较结果进行判定；若θ1＞θ’1，或θ2＜θ’2，或θ3＞θ’3，所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ1θ3/θ2)+(0.1/θ4)+(0.1/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.3/θ9)+(0.1/θ10)+(0.1/θ11)；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5＜θ’5、θ7＜θ’7、θ9＜θ’9、θ11＜θ’11，所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ5)+(0.3/θ7)+(0.3/θ9)+0.1θ11；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1＜a’1或b1＞b’1，所述判定单元则判定所述待检测用户的一侧上脸部存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2＜a’2或b2＞b’2，所述判定单元则判定所述待检测用户的另一侧上脸部存在面瘫；若θ12＞θ’12＞0，所述判定单元则判定所述待检测用户另一侧下脸部存在面瘫；若θ12＜-θ’12＜0，所述判定单元则判定所述待检测用户的一侧下脸部存在面瘫；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，所述判定单元则判定所述待检测用户不存在面瘫症状。
CN202010335999.0A 2020-04-25 2020-04-25 一种基于3d点云分割的精准面瘫程度评测方法及装置 Active CN112001213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010335999.0A CN112001213B (zh) 2020-04-25 2020-04-25 一种基于3d点云分割的精准面瘫程度评测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010335999.0A CN112001213B (zh) 2020-04-25 2020-04-25 一种基于3d点云分割的精准面瘫程度评测方法及装置

Publications (2)

Publication Number Publication Date
CN112001213A CN112001213A (zh) 2020-11-27
CN112001213B true CN112001213B (zh) 2024-04-12

Family

ID=73461825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010335999.0A Active CN112001213B (zh) 2020-04-25 2020-04-25 一种基于3d点云分割的精准面瘫程度评测方法及装置

Country Status (1)

Country Link
CN (1) CN112001213B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150106151A (ko) * 2014-03-11 2015-09-21 가천대학교 산학협력단 동적 움직임 측정을 통한 안면 신경마비의 정량화 방법
GB201708187D0 (en) * 2014-11-28 2017-07-05 Univ Nottingham Trent Facial exercise system
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估系统
CN109543526A (zh) * 2018-10-19 2019-03-29 谢飞 基于深度差异性特征的真假面瘫识别系统
CN109686418A (zh) * 2018-12-14 2019-04-26 深圳先进技术研究院 面瘫程度评价方法、装置、电子设备及存储介质
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备
CN110013227A (zh) * 2019-05-14 2019-07-16 深圳德技创新实业有限公司 一种脸部皮肤检测仪
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN110163098A (zh) * 2019-04-17 2019-08-23 西北大学 基于分层深度网络的人脸表情识别模型构建及识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006008988D1 (de) * 2005-12-21 2009-10-15 Philips Intellectual Property Computergestützte gesichtslähmungsbewertung

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150106151A (ko) * 2014-03-11 2015-09-21 가천대학교 산학협력단 동적 움직임 측정을 통한 안면 신경마비의 정량화 방법
GB201708187D0 (en) * 2014-11-28 2017-07-05 Univ Nottingham Trent Facial exercise system
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估系统
CN109543526A (zh) * 2018-10-19 2019-03-29 谢飞 基于深度差异性特征的真假面瘫识别系统
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备
CN109686418A (zh) * 2018-12-14 2019-04-26 深圳先进技术研究院 面瘫程度评价方法、装置、电子设备及存储介质
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN110163098A (zh) * 2019-04-17 2019-08-23 西北大学 基于分层深度网络的人脸表情识别模型构建及识别方法
CN110013227A (zh) * 2019-05-14 2019-07-16 深圳德技创新实业有限公司 一种脸部皮肤检测仪

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Eigenspace的面瘫判定系统;曾文珺等;计算机应用与软件;第20卷(第12期);第70-72页 *
基于计算机视觉的面瘫客观评价方法的研究进展;冯佳玲等;北京生物医学工程(第6期);第87-91+114页 *

Also Published As

Publication number Publication date
CN112001213A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
WO2022111236A1 (zh) 一种结合注意力机制的面部表情识别方法及系统
Meng et al. Sample fusion network: An end-to-end data augmentation network for skeleton-based human action recognition
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
CN113139479B (zh) 一种基于光流和rgb模态对比学习的微表情识别方法及系统
CN105426929B (zh) 对象形状对准装置、对象处理装置及其方法
CN109117755A (zh) 一种人脸活体检测方法、系统和设备
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN113011401A (zh) 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN111553250B (zh) 一种基于人脸特征点的精准面瘫程度评测方法及装置
Zhou et al. MTCNet: Multi-task collaboration network for rotation-invariance face detection
CN110598595A (zh) 一种基于人脸关键点和姿态的多属性人脸生成算法
Zhang et al. Linearly augmented real-time 4D expressional face capture
CN112001213B (zh) 一种基于3d点云分割的精准面瘫程度评测方法及装置
CN111553249B (zh) 一种cv下基于h-b分级的精准面瘫程度评测方法及装置
CN110598647A (zh) 一种基于图像识别的头部姿态识别方法
CN110428405A (zh) 一种检测生物组织图像中肿块的方法、相应设备及介质
CN115331153A (zh) 一种用于辅助前庭康复训练的姿态监测方法
Yang Face feature tracking algorithm of aerobics athletes based on Kalman filter and mean shift
CN114782592A (zh) 基于图像的卡通动画生成方法、装置、设备及存储介质
Liu et al. Adaptive recognition method for VR image of Wushu decomposition based on feature extraction
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
Wang et al. Three-dimensional lip motion network for text-independent speaker recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant