CN112329640A - 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统 - Google Patents

基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统 Download PDF

Info

Publication number
CN112329640A
CN112329640A CN202011231973.8A CN202011231973A CN112329640A CN 112329640 A CN112329640 A CN 112329640A CN 202011231973 A CN202011231973 A CN 202011231973A CN 112329640 A CN112329640 A CN 112329640A
Authority
CN
China
Prior art keywords
degree
patient
eyebrow
eye
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011231973.8A
Other languages
English (en)
Inventor
李俊
陈艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011231973.8A priority Critical patent/CN112329640A/zh
Publication of CN112329640A publication Critical patent/CN112329640A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统，该系统包括：用于获取眼肌运动能力的眼肌运动能力检测模块，用于获取抬眉动作依赖度的抬眉动作依赖度检测模块，用于获取皱额动作依赖度的皱额动作依赖度检测模块，用于根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度获取患病程度的患病程度检测模块，用于获取面部姿态对称度的面部姿态检测模块，以及用于根据患病程度和面部姿态对称度获取康复程度的康复程度检测模块；本发明可以对患者的患病程度和康复程度进行精确量化，帮助患者完成康复训练。

Description

基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统
技术领域
本发明涉及医疗、人工智能领域，尤其是一种基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统。
背景技术
面部神经麻痹疾病是以面部表情肌群运动功能障碍为主要特征的一种疾病，它是一种常见病、多发病，且不受年龄限制。现有的对面部神经麻痹进行检测的方法大多数是让患者做出微笑、示赤、闭眼等多种动作，之后医生进行综合评分，得到患病程度，这类方法不仅耗时，而且会由于诊治医生主观因素的影响导致检测结果不准确。
发明内容
为了解决上述问题，本发明提出一种基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统，该系统包括：
眼肌运动能力检测模块，用于获取患者眼睛下视、上视时的人脸图像，并对人脸图像进行处理得到患病侧眼睛下视时上眼睑的面积、上视时上眼睑的面积以及患病侧眼睛在下视到上视这段时间内眼球的运动速度；根据上眼睑的面积变化得到上眼睑的运动能力，基于上眼睑的运动能力和眼球的运动速度得到眼肌运动能力；
抬眉动作依赖度检测模块，用于利用三维人脸重建算法获得人脸三维模型，基于人脸三维模型获得患病侧眼睛由下视至上视时患病侧眉毛的高度变化量以及眉毛的弯曲程度变化量；基于高度变化量和弯曲程度变化量得到眼睛由下视到上视这一过程中的抬眉动作依赖度；
皱额动作依赖度检测模块，用于对人脸图像进行处理，得到下视、上视时的额纹面积，基于额纹面积得到眼睛由下视到上视这一过程中的皱额动作依赖度；
患病程度检测模块，用于根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度预测患者的患病程度；
面部姿态检测模块，用于基于人脸三维模型获取患者眼睛下视时的眼睛不对称度、眉毛不对称度，根据眼睛不对称度、眉毛不对称度得到患者的面部姿态对称度；
康复程度检测模块，用于根据患者的患病程度和患者的面部姿态对称度获取患者的康复程度。
所述上眼睑的面积的获取步骤为：人脸图像经过语义分割操作得到上眼睑遮罩，基于上眼睑遮罩得到上眼睑面积。
所述眼球的运动速度的获取步骤为：人脸图像经过语义分割操作得到患病侧下眼睑遮罩、瞳孔遮罩，获取下眼睑遮罩上边缘最低点与瞳孔遮罩中心点之间的间隔距离，基于间隔距离和患者眼睛下视至上视所用时间得到眼球的运动速度。
所述眼肌运动能力具体为：
L1＝(1-f(d))L11+f(d)L12
L1表示眼肌运动能力，L11表示上眼睑的运动能力，L12表示眼球的运动速度，f(d)为权重系数，f(d)的取值和d相关，d表示下视时的间隔距离与上视时的间隔距离的差值。
抬眉动作依赖度的获取步骤为：
L2＝0.1exp(L21+L22)
L2表示抬眉动作依赖度，L21表示眉毛的高度变化量，L22表示眉毛的弯曲程度变化量。
所述皱纹面积的获取步骤为：人脸图像经过语义分割操作得到额头遮罩，利用额头遮罩裁剪人脸图像，得到额头图像，对额头图像进行边缘特征提取后得到边缘特征图，对边缘特征图进行二值化、归一化处理后得到额纹纹理图，额纹纹理图中所有像素之和为额纹面积。
皱额动作依赖度的获取步骤为：
Figure BDA0002765512410000021
L3表示皱额动作依赖度，C1表示上视时的额纹面积，C2表示下视时的额纹面积，A表示额头遮罩的面积。
所述患病程度具体为：
Figure BDA0002765512410000022
其中，L表示患病程度，δ为修正系数，且δ的取值和L2相关。
所述面部姿态对称度具体为：
Figure BDA0002765512410000023
Q表示面部姿态对称度，
Figure BDA0002765512410000024
表示患者眼睛由下视到上视时鼻尖的位置变化量，ε为上视时上眼睑面积与闭眼时上眼睑面积的比值，Q1表示下视时的眼睛不对称度，Q2表示下视时的眉毛不对称度，α、β为权重系数，γ为上视时瞳孔被遮盖面积与瞳孔面积的比值。
所述康复程度的获取步骤为：患者眼睛下视至上视为一个标准动作，患者重复进行多次标准动作后，得到患病程度序列和面部姿态对称度序列，患病程度序列和面部姿态对称度序列分别按照从大到小的顺序进行排序，在排序后的患病程度序列和面部姿态对称度序列中分别选取前k个数值，得到两组数据，分别计算两组数据的均值，得到均值Lmean、Qmean，则R＝exp(-(Lmean+Qmean))，R表示康复程度。
本发明的有益效果在于：
1.本发明获取眼肌运动能力，并获取患者眼睛由下视到上视这一过程中对抬眉动作、皱额动作的依赖度，根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度预测患者的患病程度，所选进行患病程度预测的特征能够完备的描述患者的患病情况，实现对患者患病程度的精确量化。
2.本发明基于患者患病程度以及患者面部姿态对称度获取患者的康复程度，可以根据患者的康复程度及时调整医治方法，帮助患者完成康复训练。
3.该系统功耗低，易于推广，所得结果误差小，且该系统解决了现有通过医生进行人为检测这一方法主观性强这一问题。
附图说明
图1为本发明的系统结构图。
具体实施方式
为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。
本发明的目的是通过检测人脸眼部及相关肌肉等特征来计算眼睛部位出现神经麻痹患者的眼部康复情况；本发明的系统结构如图1所示，具体的，包括用于获取眼肌运动能力的眼肌运动能力检测模块，用于获取抬眉动作依赖度的抬眉动作依赖度检测模块，用于获取皱额动作依赖度的皱额动作依赖度检测模块，用于获取患病程度的患病程度检测模块，用于获取面部姿态对称度的面部姿态检测模块，以及用于获取康复程度的康复程度检测模块。
实施例：
眼肌运动能力检测模块，用于获取患者眼睛下视、上视时的人脸图像，并对人脸图像进行处理得到眼肌运动能力，具体地：
患者面对相机让眼球做下视、上视动作，相机获得患者的人脸RGB图像序列，患者可以有脸部的歪斜和偏转，但是歪斜和偏转幅度不能太大，这在实际中是容易做到的。
利用语义分割网络对人脸RGB图像进行处理获得患者的上眼睑遮罩、下眼睑遮罩、瞳孔遮罩、额头遮罩，对这些遮罩进行二值化和归一化处理。
对于人脸RGB图像序列中任一帧人脸图像，获取该帧人脸图像对应的上眼睑遮罩、下眼睑遮罩、瞳孔遮罩，对于任一侧眼睛，获取该侧下眼睑遮罩上边缘最低点与瞳孔遮罩中心点之间的间隔距离；按照所述间隔距离的获取方法，得到人脸图像序列中每一帧人脸图像对应的间隔距离，间隔距离最小时，对应的人脸图像为患者眼睛下视时采集到的，间隔距离最大时，对应的人脸图像为患者眼睛上视时采集到的；对于上视时的人脸图像，根据上眼睑遮罩获取左右两只眼睛对应的上眼睑面积，上眼睑面积较大一侧为患病侧。
得到患者眼睛下视、上视时的人脸图像后，基于上眼睑遮罩得到下视时上眼睑的面积S1、上视时上眼睑的面积S2；根据上眼睑的面积变化得到上眼睑的运动能力
Figure BDA0002765512410000031
基于上视时的间隔距离、下视时的间隔距离和患者眼睛下视至上视所用时间得到患病侧眼球的运动速度L12；获取这两个量的有益效果是：这两个量反映了眼睛肌肉对眼睛的控制能力，将这两个量整合起来可以获得眼肌的运动能力，而眼肌的运动能力又是患者康复程度的重要指标，因此，基于上眼睑的运动能力和眼球的运动速度得到眼肌运动能力：
L1＝(1-f(d))L11+f(d)L12
L1表示眼肌运动能力，f(d)为权重系数，表示L1对L11、L12的关注程度，f(d)的取值和d相关，d表示下视时的间隔距离与上视时的间隔距离的差值,当d较大时说明眼球的运动幅度还是较大、运动能力较强，此时本发明应减少对参量L12的关注程度，因为此时L12不再是患者康复的重要指标，而L11更能体现患者的康复情况；具体地：
Figure BDA0002765512410000032
其中，
Figure BDA0002765512410000033
d1表示下视时的间隔距离，a、b为超参数，实施例中a为-5.1，b为-1.1。
至此获得眼肌运动能力L1，但是L1还不能完备的表示患者的康复程度。在患者上视时可能伴随着抬眉动作，这是因为患者上视时只依靠眼部肌肉无法将眼球或上眼睑拉起来，往往会通过抬眉来完成上视动作，因此需要将抬眉动作依赖度引入康复程度的衡量指标。
在获取抬眉动作依赖度之前，需要补充说明的是，在采集图像数据时很难保证人脸时正视的，只能确保人脸大体上是正对相机的，虽然人脸可能出现少许偏转，人脸偏转对计算L1是没有影响的，但是对抬眉动作依赖度进行计算分析时会有较大的误差干扰。
因此，为了解决人脸没有正视相机，人脸有偏转的问题，本发明在抬眉动作依赖度检测模块利用三维人脸重建算法基于人脸图像构建人脸三维模型，所述人脸三维模型由很多空间中的网格和网格点构成，这些网格点和网格能够描述人脸五官和肌肉的分布与变化。
获取患病侧眉毛部位的所有网格点，这些网格点能够描述眉毛所处的姿态，本发明需要计算的是眉毛在由下视到上视时被挑起的高度以及眉毛的弯曲程度。
设眼睛上视时眉毛的网格点的位置集合为P1，眼睛下视时眉毛网格点的位置集合为P2，则眉毛上网格点的位置变化量ΔP′＝P1-P2，所述的位置变化量也是一个集合，其中的元素是指P1中的每个网格点的三维位置坐标代表的向量与P2中对应的网格点的三维坐标所代表的的向量的差值。
需要注意的是，上述计算是假设眼球由下视到上视时，人脸是没有移动的。但是患者可能在由下视到上视时可能稍微改变脸的位置，因为有些患者在抬眉时往往会将脸向上仰一下,以便辅助眼球视物。本发明通过检测人脸三维模型的鼻尖的网格点在上视和下视时的位置变化量来表示患者的脸仰起位移向量，设鼻尖的网格点在由下视到上视的位置变化量为
Figure BDA0002765512410000041
根据
Figure BDA0002765512410000042
对眉毛上网格点的位置变化量ΔP′进行修正：
Figure BDA0002765512410000043
这样进行修正的目的是使得ΔP只表示眉毛上网格点的位置变化，不包含脸部上仰导致的变化。
集合ΔP中的元素表示的是下视到上视时，眉毛上每个网格点的位移向量，位移向量所在的方向就是眉毛上的网格点的运动方向，位移向量的长度就是网格点运动的距离，因此ΔP中所有元素中大多数向量共同指向的方向就是眉毛的主要运动方向。对集合ΔP中元素进行PCA主成分分析，将ΔP中三维的元素降为一维，这样做的有益效果为：在三维空间中只关注ΔP中元素主要的分布特征，忽略人脸的朝向和坐标系的选取等问题，降维后的数据只表征眉毛在主要运动方向上的运动距离，这个运动距离就表示眉毛挑起的高度L21，具体地，对ΔP进行PCAto1D(ΔP)操作后在位置集合中选取前5个最大的元素生成一个列表，并求该列表数据的均值L21，L21为眉毛的高度变化量，其中，PCAto1D(ΔP)表示对ΔP进行主成分分析，并将ΔP降为一维。
根据经验，眉毛在下视时是呈条状的，上视时眉毛虽然会抬起和弯曲，但是还是呈现条状的。本发明对集合P1中的元素进行PCA主成分分析，并将数据降维为一维，集合P2也同样做PCA降维，最终获得的数据表征的是眉毛网格点在主成分方向的分布，所谓的主成分方向对眉毛而言就是眉毛的条状方向。如果眉毛越弯曲，眉毛会变细，眉毛的网格点会向眉毛的横向中间轴靠拢，那么降维后的数据在主方向上的分布越集中，方差越小，具体地：
P1、P2分别经过PCAto1D(P1)、PCAto1D(P2)操作后得到P1D、P2D，对P1D、P2D进行归一化：
Figure BDA0002765512410000044
Figure BDA0002765512410000045
max()表示求集合的最大值，min()表示求集合的最小值。
眉毛的弯曲程度变化量为：
L22＝Var(P2D)-Var(P1D)
Var()表示求集合元素的方差。
进行上述计算的有益效果为：不用考虑人脸的朝向和坐标系的选取等问题，直接根据数据的分布特征利用现有的工具即可快速实施本方案，快速获得所需的结果数据。
基于高度变化量和弯曲程度变化量得到眼睛由下视到上视这一过程中的抬眉动作依赖度：
L2＝0.1exp(L21+L22)
至此获得抬眉动作依赖度L2，有益效果是利用眉毛在患者下视和上视时的变化情况获得眉毛被挑起的高度和弯曲程度，这两个特征是患者的显著特征，有这两个特征计算而得的抬眉动作依赖度L2更具有实用意义，是后续评估患者康复程度的重要指标。
为了进一步获得患者的康复程度，本发明引入了患者的额头纹理特征，有益效果是：患者在上述时除了抬眉，往往还会皱额头，使得额头皱纹增加，这种皱纹的增加也是衡量患者康复程度的一个指标。
在皱额动作依赖度检测模块对人脸图像进行处理，得到下视、上视时的额纹面积，额纹面积的获取方法为：
人脸图像经过语义分割操作得到额头遮罩，利用额头遮罩裁剪人脸图像，得到额头图像，对额头图像进行边缘特征提取后得到边缘特征图，边缘特征提取方法有Canny、Laplacian等方法，实施例使用Canny算法；对边缘特征图进行二值化、归一化处理后得到额纹纹理图，额纹纹理图中所有像素之和为额纹面积。
基于额纹面积得到眼睛由下视到上视这一过程中的皱额动作依赖度：
Figure BDA0002765512410000051
L3表示皱额动作依赖度，C1表示上视时的额纹面积，C2表示下视时的额纹面积，A表示额头遮罩的面积。
至此获得了眼肌运动能力L1、抬眉动作依赖度L2以及皱额动作依赖度L3。这三者参量描述的是眼部神经麻痹患者的患病程度，L1越大表示眼部肌肉对眼睛的控制能力越强，患者患病程度越小，患者康复程度越好；L2越大表示患者上视时眉毛的姿态改变量就越大，患者完成上视时对抬眉动作的依赖就越强，患者患病程度越大，患者的康复程度就越小；L3越大说明患者上视时皱纹增量加大，对皱额动作的依赖就越强，患者患病程度越大，患者康复程度较低。
患病程度检测模块，用于根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度预测患者的患病程度：
Figure BDA0002765512410000052
其中，L表示患病程度，δ为修正系数，系数
Figure BDA0002765512410000053
表示的是眼球移动单位距离时眉毛上挑的高度，该值越大表明眼球的运动对眉毛的依赖就越大，引入该系数的有益效果是使得获得的患病程度考虑到更多的关联因素，使得计算结果更加合理。另外考虑到L3的取值可能较小或者接近于零，因此需将L3映射为exp(L3)参与L的计算。
考虑患者可能无法完成抬眉动作，此时患者的患病程度是更加严重的。当L21和L22为零，即L2＝0.1时，说明患者的眉毛没有发生姿态变化，即患者无法抬眉。此时需要对上述的患病程度做修正，具体地，L2＝0.1时，δ的值为5，L2>0.1时，δ的值为1。
本发明的目的是为了检测患者的康复程度，只获得患者的患病程度还是不够的，本发明考虑到患者康复时不仅要患病程度减小，还要有良好的面貌姿态，因为患者由于眼部神经麻痹疾病，使得患者左右眼不对称、眉毛变形、视物时脸部经常上仰等异常特征或姿态。因此接下来计算患者的面貌姿态对称度。
在人脸3D模型上，患者下视时，患者的双眼的上眼睑都会下垂，此时获得的眼睛的对称性能排除掉上眼睑的干扰，其他情况下一个眼睛上眼睑下垂，一个眼睛上眼睑正常，这是不利于眼睛对称性分析的。
在面部姿态检测模块基于人脸三维模型获取患者眼睛下视时的眼睛不对称度、眉毛不对称度，具体地：
患者下视时，获取左右眼睛的所有网格点，将其中一个眼睛的网格沿面部的对称轴线镜像到另一边，获得该眼睛镜像过后的网格，并计算镜像后的眼睛的网格上的每一个网格点与另一个眼睛的对应网格点的位置的差值，因为每个眼睛有多个网格点，因此获得多个差值，如果这两个眼睛是完全对称的话，这些差值所表示的向量均为0向量；但是如果网格点不是对称的话，这些差值所代表的向量的方向和大小是各不相同的。将这些向量称为ΔQ，对于实际的患者，当一个眼睛相对于另一个眼睛发生移位或倾斜时，ΔQ的大部分向量会指向这个位移或倾斜的方向，这些沿位移或倾斜方向的向量的长度越大，说明位移或倾斜的程度越大，眼睛越不对称；当一个眼睛相对另一个眼睛的大小宽窄不一致时，同样ΔQ中大部分向量指向大小和宽窄变化的方向，同理如果眼睛的轮廓存在差异时，这些向量ΔQ也会有着一定的分布特征。因此本发明需要获取ΔQ中的向量的主要朝向，以及ΔQ在这个主要朝向上的长度，于是对这些向量进行PCA分析，获得这些向量的主成分方向向量，并对ΔQ中的向量进行PCA降维，将ΔQ中的所有三维向量降维成一维标量，最终获得的这些一维标量数据就是ΔQ在其主要朝向上的长度的集合。最终获取这些标量绝对值的均值，该均值就是所需的两个眼睛的不对称程度Q1。
由于患者在上视时会出现抬头仰脸的动作，这种动作久而久之会变成患者的常态动作，因此这种动作也是衡量患者容貌姿态的一个重要指标，本发明用
Figure BDA0002765512410000061
表示患者在下视到上视时的仰脸幅度，
Figure BDA0002765512410000062
为向量
Figure BDA0002765512410000063
的模长。
同理，患者在视物时如果长时间抬眉的话，会使眉毛变形，使左右的眉毛不对称。眼球下视时，眉毛是舒展的,通过检测眼球下视时的眉毛获得的对称性更加准确。利用如下方法获得眉毛的对称性：将一侧眉毛的网格沿面部中心线对称到另一侧，获得对称后的网格；计算对称后的网格的每个网格点与另一个眉毛的网格点的位置的差值，每个眉毛上有多个网格点，因此获得多个差值；将这些差值用PCA降维，将这些三维的差值降维为一维标准量，这些标量的绝对值的均值称为眉毛的不对称程度Q2。
至此，获得了眼睛不对称度、眉毛不对称度。
根据眼睛不对称度、眉毛不对称度得到患者的面部姿态对称度：
Figure BDA0002765512410000064
Q表示面部姿态对称度；
Figure BDA0002765512410000065
表示患者眼睛由下视到上视时鼻尖的位置变化量；ε是一个不为0基准值，引入ε的目的是当
Figure BDA0002765512410000066
取值很小时，保证Q不为0，而且引入的ε也是与患者面貌特征相关的参量，表征的是上视时上眼睑面积与闭眼时上眼睑面积的比值；α、β为权重系数，α+β＝1，实施例中α＝β＝0.5；γ是一个偏移权重，为上视时瞳孔被遮盖面积与瞳孔面积的比值，其中已知的是未被遮盖的瞳孔的面积，通过霍夫圆形拟合，获得整个瞳孔的区域，进而获得整个瞳孔的面积，被遮盖住的瞳孔的面积等于瞳孔的总面积减去未遮盖住的瞳孔区域的面积；需要说明的是人脸有较小的运动幅度和偏转幅度时，ε、γ也是保持不变的；引入ε、γ的有益效果是更加全面的考虑了对人脸面貌姿态的有影响的特征，将这些特征作为参量融入Q之中，使得Q的结果更加完备，对后续的康复程度的判断更加准确。
获得患者面部的面部姿态对称度Q的有益效果是从复杂的面容信息筛选提取处有益的、详尽的一些特征，利用这些特征精准的描述面部姿态对称度Q，使得患者的面部姿态对称度可以量化表示。
在康复程度检测模块根据患者的患病程度和患者的面部姿态对称度获取患者的康复程度：
上述只是针对患者眼睛从下视到上视这一个标准动作进行的分析，获得两个主要特征L、Q。实际中，患者进行一次康复检测时可能要进行多次下视到上视的动作，本发明令患者在一次康复检测时完成K次标准动作，实施例中K＝10，得到长度都为10的患病程度序列和面部姿态对称度序列，患病程度序列和面部姿态对称度序列分别按照从大到小的顺序进行排序，在排序后的患病程度序列和面部姿态对称度序列中分别选取前k个数值，实施例中k取5，得到两组数据，分别计算两组数据的均值，得到均值Lmean、Qmean，则R＝exp(-(Lmean+Qmean))，R表示康复程度，进行上述操作的目的是不考虑没有研究价值的数值过小的数据，使得结果更加准确。就结果而言，如果患者的患病程度与面部姿态对称度越大则患者的康复程度越小，否则康复程度越大。
上述只是获得一次康复检测时的康复程度，实施例建议患者每隔一个月进行一次康复检测，患者可以通过数月的康复检测获得患者康复程度的变化曲线，根据康复程度的变化评估康复训练的成果。
以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明。

Claims (10)

1.一种基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统，其特征在于，该系统包括：眼肌运动能力检测模块，用于获取患者眼睛下视、上视时的人脸图像，并对人脸图像进行处理得到患病侧眼睛下视时上眼睑的面积、上视时上眼睑的面积以及患病侧眼睛在下视到上视这段时间内眼球的运动速度；根据上眼睑的面积变化得到上眼睑的运动能力，基于上眼睑的运动能力和眼球的运动速度得到眼肌运动能力；
抬眉动作依赖度检测模块，用于利用三维人脸重建算法获得人脸三维模型，基于人脸三维模型获得患病侧眼睛由下视至上视时患病侧眉毛的高度变化量以及眉毛的弯曲程度变化量；基于高度变化量和弯曲程度变化量得到眼睛由下视到上视这一过程中的抬眉动作依赖度；
皱额动作依赖度检测模块，用于对人脸图像进行处理，得到下视、上视时的额纹面积，基于额纹面积得到眼睛由下视到上视这一过程中的皱额动作依赖度；
患病程度检测模块，用于根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度预测患者的患病程度；
面部姿态检测模块，用于基于人脸三维模型获取患者眼睛下视时的眼睛不对称度、眉毛不对称度，根据眼睛不对称度、眉毛不对称度得到患者的面部姿态对称度；
康复程度检测模块，用于根据患者的患病程度和患者的面部姿态对称度获取患者的康复程度。
2.如权利要求1所述的系统，其特征在于，所述上眼睑的面积的获取步骤为：人脸图像经过语义分割操作得到上眼睑遮罩，基于上眼睑遮罩得到上眼睑面积。
3.如权利要求1所述的系统，其特征在于，所述眼球的运动速度的获取步骤为：人脸图像经过语义分割操作得到患病侧下眼睑遮罩、瞳孔遮罩，获取下眼睑遮罩上边缘最低点与瞳孔遮罩中心点之间的间隔距离，基于间隔距离和患者眼睛下视至上视所用时间得到眼球的运动速度。
4.如权利要求3所述的系统，其特征在于，所述眼肌运动能力具体为：
L1＝(1-f(d))L11+f(d)L12
L1表示眼肌运动能力，L11表示上眼睑的运动能力，L12表示眼球的运动速度，f(d)为权重系数，f(d)的取值和d相关，d表示下视时的间隔距离与上视时的间隔距离的差值。
5.如权利要求4所述的系统，其特征在于，抬眉动作依赖度的获取步骤为：
L2＝0.1exp(L21+L22)
L2表示抬眉动作依赖度，L21表示眉毛的高度变化量，L22表示眉毛的弯曲程度变化量。
6.如权利要求5所述的系统，其特征在于，所述皱纹面积的获取步骤为：人脸图像经过语义分割操作得到额头遮罩，利用额头遮罩裁剪人脸图像，得到额头图像，对额头图像进行边缘特征提取后得到边缘特征图，对边缘特征图进行二值化、归一化处理后得到额纹纹理图，额纹纹理图中所有像素之和为额纹面积。
7.如权利要求6所述的系统，其特征在于，皱额动作依赖度的获取步骤为：
Figure FDA0002765512400000011
L3表示皱额动作依赖度，C1表示上视时的额纹面积，C2表示下视时的额纹面积，A表示额头遮罩的面积。
8.如权利要求7所述的系统，其特征在于，所述患病程度具体为：
Figure FDA0002765512400000021
其中，L表示患病程度，δ为修正系数，且δ的取值和L2相关。
9.如权利要求8所述的系统，其特征在于，所述面部姿态对称度具体为：
Figure FDA0002765512400000022
Q表示面部姿态对称度，
Figure FDA0002765512400000023
表示患者眼睛由下视到上视时鼻尖的位置变化量，ε为上视时上眼睑面积与闭眼时上眼睑面积的比值，Q1表示下视时的眼睛不对称度，Q2表示下视时的眉毛不对称度，α、β为权重系数，γ为上视时瞳孔被遮盖面积与瞳孔面积的比值。
10.如权利要求9所述的系统，其特征在于，所述康复程度的获取步骤为：患者眼睛下视至上视为一个标准动作，患者重复进行多次标准动作后，得到患病程度序列和面部姿态对称度序列，患病程度序列和面部姿态对称度序列分别按照从大到小的顺序进行排序，在排序后的患病程度序列和面部姿态对称度序列中分别选取前k个数值，得到两组数据，分别计算两组数据的均值，得到均值Lmean、Qmean，则R＝exp(-(Lmean+Qmean))，R表示康复程度。
CN202011231973.8A 2020-11-06 2020-11-06 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统 Withdrawn CN112329640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011231973.8A CN112329640A (zh) 2020-11-06 2020-11-06 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011231973.8A CN112329640A (zh) 2020-11-06 2020-11-06 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统

Publications (1)

Publication Number Publication Date
CN112329640A true CN112329640A (zh) 2021-02-05

Family

ID=74317120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011231973.8A Withdrawn CN112329640A (zh) 2020-11-06 2020-11-06 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统

Country Status (1)

Country Link
CN (1) CN112329640A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570590A (zh) * 2021-08-03 2021-10-29 江苏仁和医疗器械有限公司 一种基于视觉感知的面部神经麻痹患者康复检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570590A (zh) * 2021-08-03 2021-10-29 江苏仁和医疗器械有限公司 一种基于视觉感知的面部神经麻痹患者康复检测系统

Similar Documents

Publication Publication Date Title
Fuller et al. Segmentation of three-dimensional retinal image data
Abdullah et al. A review on glaucoma disease detection using computerized techniques
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
CN110544274B (zh) 一种基于多光谱的眼底图像配准方法及系统
JP2018055470A (ja) 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
CN111291701B (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN102567734B (zh) 基于比值的视网膜细小血管分割方法
Tu et al. Automatic measurement algorithm of scoliosis Cobb angle based on deep learning
US11663845B2 (en) Method and apparatus for privacy protected assessment of movement disorder video recordings
CN104008364B (zh) 人脸识别方法
CN108629336A (zh) 基于人脸特征点识别的颜值计算方法
CN114694236A (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN113362924A (zh) 一种基于医疗大数据的面瘫康复任务辅助生成方法及系统
CN111339828B (zh) 基于红外影像和超声多普勒结合的静脉显影识别方法
CN112465773A (zh) 一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法
CN116128814A (zh) 舌诊图像的标准化采集方法及相关装置
Nguyen et al. Kinect-driven patient-specific head, skull, and muscle network modelling for facial palsy patients
CN112329640A (zh) 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统
CN111428555B (zh) 一种分关节的手部姿态估计方法
Davis et al. Analysis of human attractiveness using manifold kernel regression
JP7439932B2 (ja) 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース
CN115713800A (zh) 图像分类方法及装置
Deepa et al. Repercussion of Expressions in Facial Age Estimation
JP5688514B2 (ja) 視線計測システム、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210205