CN113053517B - 一种基于动态区域量化指标的面瘫级别评估方法 - Google Patents

一种基于动态区域量化指标的面瘫级别评估方法 Download PDF

Info

Publication number
CN113053517B
CN113053517B CN202110332986.2A CN202110332986A CN113053517B CN 113053517 B CN113053517 B CN 113053517B CN 202110332986 A CN202110332986 A CN 202110332986A CN 113053517 B CN113053517 B CN 113053517B
Authority
CN
China
Prior art keywords
facial paralysis
facial
frame image
grading
paralysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110332986.2A
Other languages
English (en)
Other versions
CN113053517A (zh
Inventor
但果
李维犇
肖伟
陈凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110332986.2A priority Critical patent/CN113053517B/zh
Publication of CN113053517A publication Critical patent/CN113053517A/zh
Application granted granted Critical
Publication of CN113053517B publication Critical patent/CN113053517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于动态区域量化指标的面瘫级别评估方法，所述方法包括：采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。本发明实施例通过面瘫人脸特征点模型得到面瘫的对称指标和运动指标，并将对称指标和运动指标与面神经分级量表相结合量化，能实现准确快速客观的面瘫严重程度分级。

Description

一种基于动态区域量化指标的面瘫级别评估方法
技术领域
本发明涉及面瘫评估与康复技术领域，尤其涉及的是一种基于动态区域量化指标的面瘫级别评估方法。
背景技术
面瘫，是以面部表情肌群运动功能障碍为主要特征的一种疾病。根据病变区域不同，分为周围性面瘫和中枢性面瘫两大类。周围性面瘫是由于面神经麻痹，引起病灶同侧全部颜面肌肉瘫痪，一般症状是口眼歪斜，无法完成抬眉、闭眼、鼓嘴等动作。中枢性面瘫引发原因是面部神经核以上的部位发生损伤，面部损伤部位的肌肉发生麻痹，颜面不对称并不明显，常体现在脑内血管疾病。
人际交往仪容有着重要的地位，但是面瘫患者由于面神经损伤而导致面部仪容受损，发生异常，如眼口歪斜，严重者嘴角流口水等。面瘫疾病不仅给患者生理上带来伤害，还给患者心理上造成了极大地伤害。准确分析面瘫患者的严重程度与面瘫康复训练方法，一直都是学者和医生所期望的目标。但是现有技术中人脸特征点检测算法主要是针对正常人，检测面瘫患者的人脸特征点存在较大的误差。其次，大多数评估方法在某些级之间存在较大的模糊性，导致级与级之间不能完全区分开来。最后，大多数方法忽略了面瘫患者面部区域的运动信息，从而导致面瘫患者严重程度等级评估存在一定的误差。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于动态区域量化指标的面瘫级别评估方法，旨在解决现有技术中人脸特征点检测算法主要是针对正常人，检测面瘫患者的人脸特征点存在较大的误差。其次，大多数评估方法在某些级之间存在较大的模糊性，导致级与级之间不能完全区分开来。最后，大多数方法忽略了面瘫患者面部区域的运动信息，从而导致面瘫患者严重程度等级评估存在一定的误差的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于动态区域量化指标的面瘫级别评估方法，其中，所述方法包括：
采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；
将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；
根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。
在一种实现方式中，其中，所述视频数据具体为：
抬眉视频数据、闭眼视频数据、嘟嘴视频数据和示齿动作视频数据。
在一种实现方式中，其中，所述对所述视频数据进行图像调整处理，得到面瘫帧图像包括：
对所述视频数据进行分帧处理，得到帧图像；
将所述帧图像进行人脸裁剪和图像归一化操作，得到预处理帧图像；
将所述预处理帧图像进行特征点标注，得到面瘫帧图像。
在一种实现方式中，其中，所述面瘫人脸特征点模型的训练过程具体为：
获取训练数据输入样本；
将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫人脸特征点坐标值；
根据所述预测面瘫人脸特征点坐标值和预设的真实面瘫人脸特征点坐标值调整所述初始网络模型的参数，并继续执行将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫人脸特征点的步骤，直到满足预设的训练条件，以得到面瘫人脸特征点模型。
在一种实现方式中，其中，所述获取训练数据输入样本包括：
采集第一视频数据，并对所述第一视频数据进行分帧处理、人脸裁剪和尺度归一化处理，得到第一帧图像；
对将所述第一帧图像进行特征点标注，得到第一特征点标注帧图像；
获取所述第一特征点标注帧图像的欧拉角；
根据所述欧拉角，对所述第一特征点标注帧图像进行人脸对齐操作、图像翻转、图像旋转得到训练数据输入样本。
在一种实现方式中，其中，所述面瘫人脸特征点模型包括主网络和辅助网络，其中，所述主网络包括Vovnet模块、特征融合模块和全连接层；辅助网络包括卷积层、展平层和全连接层。
在一种实现方式中，其中，所述根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果包括：
根据所述面瘫人脸特征点坐标值，分别计算面瘫人脸的对称指标和面瘫人脸的运动指标；其中，所述对称指标为用于表征面瘫人脸眉区、眼区和嘴区左右两侧特征点的对称性；运动指标用于表征面瘫人脸肌肉在做抬眉、闭眼、嘟嘴和示齿的运动能力；
根据所述对称指标、运动指标和预设的面神经分级量表，得到面瘫严重程度的分级结果。
在一种实现方式中，其中，所述根据所述对称指标、运动指标和预设的面神经分级量表，得到面瘫严重程度的分级结果包括：
将所述对称指标和预设的面神经分级量表进行相关性分析，得到对称指标分级区间；
将所述运动指标和预设的面神经分级量表进行相关性分析，得到运动指标分级区间；
将所述对称指标分级区间和运动指标分级区间进行融合和分级量化，得到面瘫严重程度的分级结果。
第二方面，本发明实施例还提供一种基于动态区域量化指标的面瘫评估装置，其中，上述装置包括：
面瘫帧图像获取单元，用于采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；
面瘫人脸特征点坐标值获取单元，用于将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；
面瘫严重程度的分级结果获取单元，用于根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于动态区域量化指标的面瘫级别评估方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于动态区域量化指标的面瘫级别评估方法。
本发明的有益效果：本发明实施例首先采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；然后将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；最后根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果；可见，本发明实施例通过面瘫人脸特征点模型得到面瘫的对称指标和运动指标，并将对称指标和运动指标与面神经分级量表相结合量化，能实现准确快速客观的面瘫严重程度分级。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于动态区域量化指标的面瘫级别评估方法流程示意图。
图2为本发明实施例提供的面神经分级量表2.0(FNGS2.0)的表格图。
图3为本发明实施例提供的基于动态区域量化指标的面瘫级别评估方法的总体框架图。
图4为本发明实施例提供的面瘫患者人脸数据集流程示意图。
图5为本发明实施例提供的面瘫患者人脸特征点检测模型框图。
图6为本发明实施例提供的人工标注的人脸特征点分布示意图。
图7为本发明实施例提供的面瘫患者严重程度分级流程图。
图8为本发明实施例提供的基于动态区域量化指标的面瘫评估装置的原理框图。
图9为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了一种基于动态区域量化指标的面瘫级别评估方法、智能终端、存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，人脸特征点检测算法主要是针对正常人，检测面瘫患者的人脸特征点存在较大的误差。其次，大多数评估方法在某些级之间存在较大的模糊性，导致级与级之间不能完全区分开来。最后，大多数方法忽略了面瘫患者面部区域的运动信息，从而导致面瘫患者严重程度等级评估存在一定的误差。
为了解决现有技术的问题，本实施例提供了一种基于动态区域量化指标的面瘫级别评估方法，通过上述方法中的面瘫患者人脸特征点模型得到面瘫患者的对称指标和运动指标，并将对称指标和运动指标与面神经分级量表相结合量化，能实现准确快速客观的面瘫患者严重程度分级。具体实施时，首先采集面瘫患者的视频数据，并对所述视频数据进行图像调整处理，得到面瘫患者帧图像，然后将所述面瘫患者帧图像输入到训练好的面瘫患者人脸特征点模型，得到面瘫患者人脸特征点坐标值，最后根据所述面瘫患者人脸特征点坐标值和预设的面神经分级量表，得到面瘫患者严重程度的分级结果。
举例说明
对于面瘫患者严重程度等级评估，国内外学者进行大量的研究。Wachtman等人基于静态图像不对称性进行面瘫评估。Liu等人通过比较面部两侧特定区域像素值来估计面瘫严重程度。Ngo等人通过检测面部特征点计算面部的不对称性来估计面瘫程度。Szczapa等人从图像中量化不对称性，用来对面瘫患者的严重程度进行评估。还比如：一种面瘫等级评估方法，该方法采用多卷积特征和视频帧上下文信息相结合的面瘫等级评估方法。用于面部变形诊疗效果的量化指标评估方法，该方法计算出人脸对称轴后重新构建一种基于人脸区域不对称度和人脸角度不对称度的人脸不对称模型，结合五官区域大小不一致性和五官中心的位置不一致性，输出诊疗量化评估结果。面瘫客观评估方法及其系统，该方法采用面部特征点检测，提取出面部对称性特征，建立面瘫分类器自动确定出面瘫患者的面瘫分级评估结果。一种基于计算机视觉的面瘫严重程度自动检测系统该方法采用自然表情分类器、露睛分类器、严重示齿分类器和抬眉分类器进行面瘫严重程度评估诊断。现有技术中，面瘫患者严重程度等级评估大多是采用较为传统的人脸特征点检测算法，而传统的人脸特征点检测算法主要是针对正常人，检测面瘫患者的人脸特征点存在较大的误差。其次，大多数评估方法是以House-Brackmann分级量表作为面瘫患者严重等级评估的金标准，而此量表在III级和IV级之间存在较大的模糊性，导致III级和IV级之间不能完全区分开来。最后大多数方法采用单一的面瘫患者人脸对称性进行量化评估，而忽略了面瘫患者面部区域的运动信息，从而导致面瘫患者严重程度等级评估存在一定的误差。故在本发明实施例中，首先采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像，然后将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值，最后根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。本发明实施例通过面瘫患者人脸特征点模型得到面瘫患者的对称指标和运动指标，并将对称指标和运动指标与面神经分级量表相结合量化，能实现准确快速客观的面瘫患者严重程度分级。
示例性方法
本实施例提供一种基于动态区域量化指标的面瘫评估，该方法可以应用于面瘫评估与康复的智能终端。具体如图1所示，所述方法包括：
步骤S100、采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；
具体地，目前对面瘫患者等级评估主要分为主观和客观评估两种，主观评估为面神经功能评价量表，主要包括House-Brackmann分级量表(H-B)、面神经分级量表2.0(FNGS2.0)如图2所示、Sunnybrook面部分级系统等。这类评估方法易受医师的医疗经验以及主观性的影响，从而导致医师不能对面瘫患者做出准确评估。而客观评估主要分为神经电生理检测和计算机评估系统。神经电生理检测主要包括肌电图、神经电图、瞬目反射等。这类评估方法对硬件要求高，硬件配置低时会导致得到的面瘫严重程度结果不精确。计算机评估系统，通过对面瘫患者图像进行分析，只采用单一的面瘫患者的面部不对称性进行评估，却忽略面瘫患者面部运动的动态信息，从而导致得到的面瘫严重程度结果的不精准。如图3所示，故本发明实施例基于动态区域的对称指标和运动指标，将对称指标和运动指标的值与面神经分级量表2.0(FNGS2.0)相结合量化分级区间，得到与面神经分级量表2.0(FNGS2.0)相一致的结果，输出面瘫患者严重程度的等级，为了得到运动指标，需要采集面瘫患者的视频数据，面瘫患者的视频数据可以包含面瘫患者的一些动态信息，这样就可以通过面瘫患者的视频数据得到运动指标。相应的，为了得到面瘫患者的视频数据，所述视频数据具体为：抬眉视频数据、闭眼视频数据、嘟嘴视频数据和示齿动作视频数据。
在本发明实施例的一种实现方式中，由于面瘫患者的一般症状是口眼歪斜，无法完成抬眉、闭眼、嘟嘴和示齿等动作，故为了采集出面瘫患者的运动信息，需要采集面瘫患者做抬眉、闭眼、嘟嘴和示齿等一系列动作时的视频，为了保证视频数据都成功采集了抬眉、闭眼、嘟嘴和示齿等动作，将抬眉、闭眼、嘟嘴和示齿等动作的视频数据重复采集两遍，总共采集116例面瘫患者视频数据。此外，由于在数据处理过程中，是对一帧一帧的图像数据进行处理，并且对图像的尺寸等有要求，故还需要对所述视频数据进行图像调整处理，得到面瘫患者帧图像，为后续提取面瘫患者人脸特征点坐标值做准备。相应的，所述对所述视频数据进行图像调整处理，得到面瘫患者帧图像包括如下步骤：对所述视频数据进行分帧处理，得到帧图像；将所述帧图像进行人脸裁剪和图像归一化操作，得到预处理帧图像；将所述预处理帧图像进行特征点标注，得到面瘫患者帧图像。
在本发明实施例的一种实现方式中，将每例面瘫患者的视频数据进行分帧处理，将每个运动动作(抬眉、闭眼、嘟嘴和示齿)分别挑选从静止到运动幅度最大的5张图像，如，对于抬眉动作，将保持眉毛不动的视频起始帧图像到面瘫患者抬起眉头的帧图像进行抬眉动作幅度降序排列，然后从中选出抬眉动作幅度位于前五位的帧图像，这样终端处理设备总计得到2320张图片。然后将选出的帧图像进行人脸裁剪和图像归一化操作，得到预处理帧图像。再将所述预处理帧图像进行特征点标注，例如，对所有的面瘫患者图像进行人脸68点特征点手动标注，终端处理设备接收到指令执行特征点标注，得到面瘫患者帧图像。
得到面瘫患者帧图像后，就可以执行如图1所示的如下步骤：S200、将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；相应的，所述面瘫患者人脸特征点模型的训练过程具体为如下步骤：获取训练数据输入样本；将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫患者人脸特征点坐标值；根据所述预测面瘫患者人脸特征点坐标值和预设的真实面瘫患者人脸特征点坐标值调整所述初始网络模型的参数，并继续执行将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫患者人脸特征点的步骤，直到满足预设的训练条件，以得到面瘫患者人脸特征点模型。
具体地，对于模型训练而言，先将训练数据集对初始模型进行训练，故要先获取训练数据集，训练数据集包括训练模型的输入数据，还包括训练模型的样本标签，也即真实数据。相应的，所述获取训练数据输入样本包括如下步骤：采集第一视频数据，并对所述第一视频数据进行分帧处理、人脸裁剪和尺度归一化处理，得到第一帧图像；对将所述第一帧图像进行特征点标注，得到第一特征点标注帧图像；获取所述第一特征点标注帧图像的欧拉角；根据所述欧拉角，对所述第一特征点标注帧图像进行人脸对齐操作、图像翻转、图像旋转得到训练数据输入样本。
在本发明实施例的一种实现方式中，采集第一视频数据，例如，通过高清摄像头以及基于pyqt编写的采集程序，采集面瘫患者做抬眉、闭眼、嘟嘴和示齿等动作的视频数据，共计116例患者。对采集的第一视频数据进行分帧处理，选取面瘫患者抬眉、闭眼、嘟嘴和示齿等4个运动动作的图像，对于每个运动动作从图像中选取从静止到运动过程中运动幅度最大的5张图像，每个面瘫患者共计20张图像，通过图像预处理，对选取的面瘫患者图像进行人脸裁剪、尺度归一化等操作，得到第一帧图像；对将所述第一帧图像进行特征点标注，机器标注结束后，会进行人为更加精细修正。这样共计2320张第一特征点标注帧图像，将2320张第一特征点标注帧图像按照6:3:1分成训练集、验证集和测试集。然后如图4所示，首先获取训练集(此时图像个数为2320*0.6＝1392张图像)中的第一特征点标注帧图像的欧拉角，对图像进行人脸对齐操作，进一步对面瘫患者人脸图像进行图像镜像翻转(此时图像个数为1392*2＝2784张图像)，然后对图像进行旋转，旋转范围为-30度到30度之间，以均匀的方式旋转16次(此时图像个数为2784*16＝44544张图像)，共计44544张第一特征点标注帧图像，实现对数据的扩增，防止模型训练数据量太少造成过拟合。其中，人脸对齐操作是通过人脸姿势估计获得的欧拉角，该欧拉角由标准人脸模板获得，根据该欧拉角进行对齐，这个过程是为了获取正的人脸。然后将44544张图像做为训练数据输入样本，将其作为面瘫人脸特征点模型的输入。将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫患者人脸特征点坐标值；根据所述预测面瘫患者人脸特征点坐标值和预设的真实面瘫患者人脸特征点坐标值可以得到损失函数，损失函数可以采用交叉熵函数，也可以采用其他实际中可能出现的函数，根据损失函数调整所述初始网络模型的参数，并继续执行将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫患者人脸特征点的步骤，直到损失函数收敛或者迭代次数达到预设次数阈值，则停止模型的训练，以得到面瘫患者人脸特征点模型。
在本发明实施例的另一种实现方式中，所述面瘫患者人脸特征点模型包括主网络和辅助网络，如图5所示，其中，所述主网络包括Vovnet模块、特征融合模块和全连接层；辅助网络包括卷积层、展平层和全连接层。主网络主要输出预测的68个特征点的坐标值，如图6所示，其中，68个特征点分别代表面瘫患者眉区、眼区、嘴区、鼻部和面部轮廓的坐标信息。辅助网路主要是对于每一个输入的面瘫患者人脸样本，进行欧拉角的估计，该辅助网络还可以监督和辅助训练收敛，辅助主网络进行特征点检测。
得到面瘫患者人脸特征点坐标值后，就可以执行如图1所示的如下步骤：S300、根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。相应的，所述根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果包括如下步骤：
S301、根据所述面瘫人脸特征点坐标值，分别计算面瘫人脸的对称指标和面瘫人脸的运动指标；其中，所述对称指标为用于表征面瘫人脸眉区、眼区和嘴区左右两侧特征点的对称性；运动指标用于表征面瘫人脸肌肉在做抬眉、闭眼、嘟嘴和示齿的运动能力；
S302、根据所述对称指标、运动指标和预设的面神经分级量表，得到面瘫严重程度的分级结果。
具体地，如图7所示，所述面瘫患者人脸特征点坐标值，也即面瘫患者人脸特征点68点的坐标值，根据公式
Figure BDA0002996979400000121
得到对称指标，其中xLi,xRi,yLi,yRi表示面瘫患者人脸眉区、眼区和嘴区左右两侧特征点的坐标值，θ表示左右两侧差异的角度值，也即对称指标。根据如下公式：
Figure BDA0002996979400000122
计算眼区、眉区和嘴区的运动指标，其中D表示当前帧图像到上一帧图像特征点移动的距离，该特征表征肌肉在做抬眉、闭眼、嘟嘴和示齿时的运动指标，其中xti,x(t-1)i,yti,y(t-1)i分别表示当前帧和上一帧图像面瘫患者特征点的坐标值。根据所述对称指标、运动指标和预设的面神经分级量表，得到面瘫患者严重程度的分级结果。相应的，所述根据所述对称指标、运动指标和预设的面神经分级量表，得到面瘫患者严重程度的分级结果包括如下步骤：将所述对称指标和预设的面神经分级量表进行相关性分析，得到对称指标分级区间；将所述运动指标和预设的面神经分级量表进行相关性分析，得到运动指标分级区间；将所述对称指标分级区间和运动指标分级区间进行融合和分级量化，得到面瘫患者严重程度的分级结果。
在本发明实施例的一种实现方式中，将所述对称指标θ和预设的面神经分级量表进行相关性分析，也即根据面神经分级量表2.0(FNGS2.0)对面瘫患者眉区、眼区和嘴区进行对称评分，得到对称指标分级区间；将所述运动指标D和预设的面神经分级量表进行相关性分析，也即根据面神经分级量表2.0(FNGS2.0)对面瘫患者眉区、眼区和嘴区进行运动评分，得到运动指标分级区间；然后将所述对称指标分级区间和运动指标分级区间进行融合，也即结合所述对称指标分级区间和运动指标分级区间的结果，最后根据面神经分级量表2.0(FNGS2.0)进行面瘫严重程度分级量化，面神经分级量表2.0(FNGS2.0)共分为I级到VI级，其中I级为正常，VI为完全面瘫，这样便可得到面瘫患者严重程度的分级结果。
示例性设备
如图8中所示，本发明实施例提供一种基于动态区域量化指标的面瘫评估装置，该装置包括面瘫帧图像获取单元401，面瘫人脸特征点坐标值获取单元402，面瘫严重程度的分级结果获取单元403，其中：
面瘫帧图像获取单元401，用于采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；
面瘫人脸特征点坐标值获取单元402，用于将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；
面瘫严重程度的分级结果获取单元403，用于根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图9所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于动态区域量化指标的面瘫级别评估方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图9中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；
将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；
根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了基于动态区域量化指标的面瘫级别评估方法、智能终端、存储介质，所述方法包括：采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果。本发明实施例通过面瘫人脸特征点模型得到面瘫的对称指标和运动指标，并将对称指标和运动指标与面神经分级量表相结合量化，能实现准确快速客观的面瘫严重程度分级。
基于上述实施例，本发明公开了一种基于动态区域量化指标的面瘫级别评估方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于动态区域量化指标的面瘫级别评估方法，其特征在于，所述方法包括：
采集面瘫的视频数据，并对所述视频数据进行图像调整处理，得到面瘫帧图像；
将所述面瘫帧图像输入到训练好的面瘫人脸特征点模型，得到面瘫人脸特征点坐标值；
根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到用于体现面瘫严重程度的分级结果；
所述面瘫的视频数据重复采集两遍；
所述对所述视频数据进行图像调整处理，得到面瘫帧图像包括：
对所述视频数据进行分帧处理，得到帧图像；
将每个运动动作分别挑选从静止到运动幅度最大的五张图像；
将所述帧图像进行人脸裁剪和图像归一化操作，得到预处理帧图像；
将所述预处理帧图像进行特征点标注，得到面瘫帧图像；
所述面瘫人脸特征点模型的训练过程具体为：
获取训练数据输入样本；
将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫人脸特征点坐标值；
根据所述预测面瘫人脸特征点坐标值和预设的真实面瘫人脸特征点坐标值调整所述初始网络模型的参数，并继续执行将所述训练数据输入样本输入到预设的初始网络模型，得到预测面瘫人脸特征点的步骤，直到满足预设的训练条件，以得到面瘫人脸特征点模型；
所述获取训练数据输入样本包括：
采集第一视频数据，并对所述第一视频数据进行分帧处理、人脸裁剪和尺度归一化处理，得到第一帧图像；
对将所述第一帧图像进行特征点标注，得到第一特征点标注帧图像，并进行人为精细修正；
将所述第一特征点标注帧图像按照6:3:1分成训练集、验证集和测试集；
获取所述第一特征点标注帧图像的欧拉角；
根据所述欧拉角，对所述第一特征点标注帧图像进行人脸对齐操作、图像翻转、图像旋转得到训练数据输入样本；
对所述第一特征点标注帧图像进行旋转，旋转范围为-30度到30度之间，以均匀的方式旋转16次；
所述人脸对齐操作是通过人脸姿势估计获得的欧拉角进行对齐，以获取正的人脸；
所述根据所述面瘫人脸特征点坐标值和预设的面神经分级量表，得到面瘫严重程度的分级结果包括：
根据所述面瘫人脸特征点坐标值，分别计算面瘫人脸的对称指标和面瘫人脸的运动指标；其中，所述对称指标为用于表征面瘫人脸眉区、眼区和嘴区左右两侧特征点的对称性；
运动指标用于表征面瘫人脸肌肉在做抬眉、闭眼、嘟嘴和示齿的运动能力；
根据所述对称指标、运动指标和预设的面神经分级量表，得到面瘫严重程度的分级结果。
2.根据权利要求1所述的基于动态区域量化指标的面瘫级别评估方法，其特征在于，所述视频数据具体为：
抬眉视频数据、闭眼视频数据、嘟嘴视频数据和示齿动作视频数据。
3.根据权利要求1所述的基于动态区域量化指标的面瘫级别评估方法，其特征在于，所述面瘫人脸特征点模型包括主网络和辅助网络，其中，所述主网络包括Vovnet模块、特征融合模块和全连接层；辅助网络包括卷积层、展平层和全连接层。
4.根据权利要求1所述的基于动态区域量化指标的面瘫级别评估方法，其特征在于，所述根据所述对称指标、运动指标和预设的面神经分级量表，得到面瘫严重程度的分级结果包括：
将所述对称指标和预设的面神经分级量表进行相关性分析，得到对称指标分级区间；
将所述运动指标和预设的面神经分级量表进行相关性分析，得到运动指标分级区间；
将所述对称指标分级区间和运动指标分级区间进行融合和分级量化，得到面瘫严重程度的分级结果。
5.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-4中任意一项所述的方法。
6.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-4中任意一项所述的方法。
CN202110332986.2A 2021-03-29 2021-03-29 一种基于动态区域量化指标的面瘫级别评估方法 Active CN113053517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110332986.2A CN113053517B (zh) 2021-03-29 2021-03-29 一种基于动态区域量化指标的面瘫级别评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110332986.2A CN113053517B (zh) 2021-03-29 2021-03-29 一种基于动态区域量化指标的面瘫级别评估方法

Publications (2)

Publication Number Publication Date
CN113053517A CN113053517A (zh) 2021-06-29
CN113053517B true CN113053517B (zh) 2023-03-07

Family

ID=76516371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110332986.2A Active CN113053517B (zh) 2021-03-29 2021-03-29 一种基于动态区域量化指标的面瘫级别评估方法

Country Status (1)

Country Link
CN (1) CN113053517B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327247B (zh) * 2021-07-14 2024-06-18 中国科学院深圳先进技术研究院 一种面神经功能评估方法、装置、计算机设备及存储介质
CN113782184A (zh) * 2021-08-11 2021-12-10 杭州电子科技大学 一种基于面部关键点与特征预学习的脑卒中辅助评估系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107713984A (zh) * 2017-02-07 2018-02-23 王俊 面瘫客观评估方法及其系统
CN110516626A (zh) * 2019-08-29 2019-11-29 上海交通大学 一种基于人脸识别技术的面部对称性评估方法
CN111403026A (zh) * 2020-03-11 2020-07-10 张锦霞 一种面瘫等级评估方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177469A (zh) * 2019-12-20 2020-05-19 国久大数据有限公司 人脸检索方法及人脸检索装置
CN111599432B (zh) * 2020-05-29 2024-04-02 上海优医基医疗影像设备有限公司 一种三维颅面影像特征点标记分析系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107713984A (zh) * 2017-02-07 2018-02-23 王俊 面瘫客观评估方法及其系统
CN110516626A (zh) * 2019-08-29 2019-11-29 上海交通大学 一种基于人脸识别技术的面部对称性评估方法
CN111403026A (zh) * 2020-03-11 2020-07-10 张锦霞 一种面瘫等级评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Using Eye Aspect Ratio to Enhance Fast and Objective Assessment of Facial Paralysis;Jialing Feng et al.;《Computational and Mathematical Methods in Medicine》;20200129;第2-10页 *

Also Published As

Publication number Publication date
CN113053517A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
Araújo et al. DR| GRADUATE: Uncertainty-aware deep learning-based diabetic retinopathy grading in eye fundus images
US11645748B2 (en) Three-dimensional automatic location system for epileptogenic focus based on deep learning
Wang et al. Automatic evaluation of the degree of facial nerve paralysis
CN113053517B (zh) 一种基于动态区域量化指标的面瘫级别评估方法
CN107713984B (zh) 面瘫客观评估方法
CN110428908B (zh) 一种基于人工智能的眼睑运动功能评估系统
CN114694236B (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN109615634A (zh) 光学眼底图像分割方法、装置、计算机设备及存储介质
CN108416772A (zh) 一种基于级联卷积神经网络的斜眼检测方法
CN111862020B (zh) 一种眼前节生理年龄预测方法、装置、服务器及存储介质
CN111126180A (zh) 一种基于计算机视觉的面瘫严重程度自动检测系统
CN108596087A (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
US20240005494A1 (en) Methods and systems for image quality assessment
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN112837805A (zh) 基于深度学习的眼睑拓扑形态特征的提取方法
CN110660454A (zh) 一种癌痛实时评估仪及其评估方法
CN114343563A (zh) 一种多模态融合辅助干眼诊断和分型的方法、装置及系统
CN111062443B (zh) 一种基于深度学习的泪膜破裂时间检测系统
JP7257645B2 (ja) 画像処理方法、装置、電子デバイス及び記憶媒体
WO2024060418A1 (zh) 基于眼部异常姿态的异常屈光状态识别方法及装置
CN115661101A (zh) 基于随机采样和深度学习的早产儿视网膜病变检测系统
US20220245811A1 (en) Analysis of retinal imaging using video
TWI742782B (zh) 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法
CN115223232A (zh) 一种眼健康综合管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant