CN115346664A - 基于深度学习的面瘫诊断评级方法及其系统 - Google Patents

基于深度学习的面瘫诊断评级方法及其系统 Download PDF

Info

Publication number
CN115346664A
CN115346664A CN202211045993.5A CN202211045993A CN115346664A CN 115346664 A CN115346664 A CN 115346664A CN 202211045993 A CN202211045993 A CN 202211045993A CN 115346664 A CN115346664 A CN 115346664A
Authority
CN
China
Prior art keywords
motion
facial
user
facial paralysis
muscle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211045993.5A
Other languages
English (en)
Inventor
刘银华
单良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University
Original Assignee
Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University filed Critical Qingdao University
Priority to CN202211045993.5A priority Critical patent/CN115346664A/zh
Publication of CN115346664A publication Critical patent/CN115346664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4519—Muscles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Neurology (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Neurosurgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于深度学习的面瘫诊断评级方法及其系统，属于面瘫识别技术领域。面瘫诊断评级方法包括步骤有S1：建立正常人在特定面部动作下的运动模型；S2：获取使用者在实际面部动作下的运动数据；S3：将使用者的运动数据与正常人的运动模型进行对比，得到对比结果；S4：对S3中得到的对比结果进行分析，生成使用者的面瘫程度结论。基于深度学习的面瘫诊断评级系统，用于实现上述方法，包括构建模块，图像采集模块，诊断模块，评估模块和显示模块。本方案解决了现有技术中缺少支持多平台和多机型的智能化面瘫识别方案，以及缺少一个统一化的高精度、高准确度面瘫诊断评级系统的问题，减轻了患者外出频繁就医的人力、物力花费。

Description

基于深度学习的面瘫诊断评级方法及其系统
技术领域
本发明属于面瘫识别技术领域，具体为一种基于深度学习的面瘫诊断评级方法及其系统。
背景技术
现有的面瘫识别方法基本为依靠医生进行人工识别，在实际生活情况中需要患者在病期内多次往返医院进行诊断，导致人力物力耗费较大；并且，由于人工识别具有较高程度的主观性，即不同医生对于面瘫程度的诊断标准难以形成一致，从而对面瘫的系统化诊断造成了难以克服的阻碍。
在上述基础上，采用机器识别方法是一个必然的优化方向。然而目前的机器识别方案较少，其中较为成熟、准确度较高的方案，例如论文《Utilization of SmartphoneDepth Mapping Cameras for App-Based Grading of Facial Movement Disorders:Development and Feasibility Study》公开了一种适用于面瘫识别的移动端评级设备，该设备基于ios的FaceID技术对脸部进行3d建模、从而实现判别；但是，该设备有一个较大的局限性，即无法在安卓手机、电脑和旧代iphone等硬件上使用。另外，现有的机器识别技术大多只能对患者整体的面瘫程度给出粗略的诊断，并不能对患者的具体患病部位进行明确或预测，进而无法对医学上面瘫重要的联带运动进行考量与反馈，从而导致面瘫识别精度、准度低并且难以作用于接下来的治疗环节。
发明内容
本发明的目的在于提供一种基于深度学习的面瘫诊断评级方法及其系统，本方法及其系统不局限于某一设备平台，可对患者进行精度与准确度较高的面瘫诊断评级，并且能够对患者有可能的患病部位做出预测与判断；以解决现有技术中缺少支持多平台和多机型的智能化面瘫识别方案，以及缺少一个统一化的高精度、高准确度面瘫诊断评级系统的问题。
本发明是采用以下技术方案实现的：
一种基于深度学习的面瘫诊断评级方法，包括如下步骤：
S1：建立正常人在特定面部动作下的运动模型；即对于所执行的特定面部动作，建立起正常人进行相应面部运动时、相关肌肉或肌群的运动数据模型，其中肌群意为肌肉集合。
S2：获取使用者在实际面部动作下的运动数据；即对于所执行的实际面部动作，获取使用者进行相应面部运动时、相关肌肉或肌群的运动数据集，其中使用者意为使用本方法进行面瘫诊断评级的用户，可为已确定或待确定的面瘫患者。
S3：将使用者的运动数据与正常人的运动模型进行对比，得到对比结果；即对使用者和正常人在相同面部动作下的肌肉或肌群的运动数据集进行对比，从而得出使用者在执行某面部动作(或动作组合)时、肌肉或肌群的运动异常情况。
S4：对S3中得到的对比结果进行分析，生成使用者的面瘫程度结论；面瘫程度结论主要指的是使用者的面瘫严重性及概率，还包括存在面瘫情况的可能性，其中存在面瘫情况的可能性是由于现有技术中暂无对面瘫诊断评级的统一标准，因此本方法对多个权威标准进行综合后、根据不同使用者的实际情况得出存在面瘫情况的可能性。
上述方案中，经过步骤S1-S4，可实现对使用者的面瘫程度诊断与评级。在面瘫识别领域的现有技术中，几乎没有这种采用正常信息建模来处理异常信息的方案，本方案可解决面瘫患者动作数据过少、动作流程不统一的问题，此问题也是目前对其他方案的识别准确度限制和影响最大的。对于待确定的面瘫患者来说，可使其知悉本人是否存在面瘫症状以及可能的面瘫程度，从而有助于患者及时寻求治疗；对于已确定的面瘫患者来说，可使其通过面瘫程度结论来判断本人的面瘫情况是得到了缓解还是恶化，从而有助于患者及时采取应对措施。因此，本方法能够令使用者进行面瘫自我诊断与面瘫康复过程的监督，同时减轻了面瘫患者频繁外出就医造成的人力、物力花费，也避免了患者外出就医可能面临的心理问题。
进一步的，所述诊断评级方法还包括步骤S5：获取使用者可能的面瘫部位与相关神经的信息。其中，由于现有技术中并没有对面瘫识别的统一标准及方案，“可能”一词表示本方法所得出的结论并不代表行业内的标准结论，只是可供使用者参考、能够作为后续人工病因检查的辅助性判断。
上述方案中，本方法还可根据S3中得到的对比结果，得出某面部动作(或动作组合)下运动错误或无法运动的具体肌肉或肌群，从而实现对面瘫神经受损部位与神经修复异常的初步分析。因此，本方法在实现面瘫程度诊断与评级的基础上，突破了现有技术中仅对整体面瘫程度进行监控的局限性、实现了对面瘫肌肉级别的监控，即可具体到每个肌肉或其神经的瘫痪概率与瘫痪严重性，从而将联带运动纳入考量、为后续治疗提供帮助；在此基础上，由于综合考虑了面部的全部主要肌肉在不同动作下的运动，从而对联带运动的识别精确度也十分优秀。
进一步的，所述S1具体包括如下子步骤：
S11：确定特定面部动作方案；该动作方案在前期由相关人员(医师、本领域学者、患者、程序开发者等)选择，选择标准以能科学化地判断面瘫程度为宜。
S12：预先采集或收集正常人执行特定面部动作方案时的数据样本，并做好标签；需要注意的是，此处的“正常人”为群体性指代，因此正常人的样本数量不限，数量标准以能科学化地建立容错率较强的肌肉运动模型为宜，另外数据样本应为视频形式，影像应涵盖执行特定面部动作的全过程。
S13：根据给定的面部肌肉划分标准，对正常人数据样本进行面部肌肉划分其中该划分标准同样应用于步骤S2；面部肌肉划分标准为现有成熟标准中的一种，根据该标准可对人脸的对应区域进行划分，划分的具体方法为现有成熟技术中的一种。
S14：根据步骤S13，利用深度学习技术从正常人影像中获取正常人执行特定面部动作方案时、各肌肉的实时位置，从而得出正常人执行某特定动作时、各肌肉或肌群的变化趋势。
S15：对S11中的动作方案与S14中得出的变化趋势进行参数拟合，再通过循环神经网络或机器学习等方法建立出正常人在各个特定面部动作下的肌肉或肌群运动模型，即正常人在各个特定面部动作下、对应运动肌肉或肌群变化趋势的判别网络，该运动模型用于步骤S3。
进一步的，所述S2具体包括如下子步骤：
S21：确定实际面部动作方案；实际面部动作方案由使用者自行选择。
S22：由使用者执行动作方案、并进行自我动作数据的采集，即在执行过程中自行通过摄影设备拍摄面部，从而获取使用者在实际面部动作下的面部图像；其中，拍摄可在使用者所挑选的任何照明良好的场所进行，从而有效保护使用者的隐私。
S23：对S22中获取到的面部图像进行面部肌肉划分；划分标准为S13中所述的给定面部肌肉划分标准，即此处的划分标准始终与S13中的保持一致。
S24：根据步骤S23，利用深度学习技术获取使用者执行实际动作方案时、各肌肉的实时位置，从而得出使用者执行某动作时、各肌肉或肌群的变化趋势，该变化趋势即为使用者在实际面部动作下的运动数据，该运动数据用于步骤S3。
进一步的，所述S21中，实际面部动作方案为S1中的特定面部动作，或使用者已有面瘫症状所涉及的动作或动作组合，或其他自由划分的动作或动作组合。其中，S1中的特定面部动作包括使用者已有面瘫症状所涉及的动作或动作组合、以及其他自由划分的动作或动作组合，这是由于正常人模型中的数据必须涵盖使用者所可能执行的全部动作。
进一步的，所述S3中，对比结果包括运动度、运动数量和运动幅度；
所述运动度是人为划定的、某动作下的某一运动阶段的运动幅度离散值，运动度离散值取值的具体计算过程包括如下子步骤：
S1运动度：计算某动作下的某一运动阶段中，使用者的实际运动幅度同正常人的标准运动幅度(正常人的标准运动幅度的确定参照S1中所建立的正常人运动模型)之间的差值；
S2运动度：将S1运动度中所得差值的绝对值同标准运动幅度进行比较；
S3运动度：将S2运动度中比较后的结果与既定标准进行匹配，对应得出某肌群运动状况的离散值，该离散值用于步骤S4；
进一步的，所述运动数量和运动幅度的其中一种计算方法为，计算某动作下、相关运动肌肉或肌群在整个动作时间域上的动作幅度的累积。
一种基于深度学习的面瘫诊断评级系统，应用于以上所述的面瘫诊断评级方法，包括：
构建模块，用于建立正常人运动模型；
图像采集模块，用于获取使用者的面部运动图像；
诊断模块，用于将使用者的面部运动数据同正常人运动模型对比，得出使用者进行面部运动时肌肉或肌群的异常情况；
评估模块，用于判定使用者的面瘫程度，并获取使用者可能的面瘫部位及相关神经的信息；
显示模块，用于实现图像采集模块中的人机交互(即系统指示使用者进行拍摄并接收拍摄完成信息、使用者选择实际面部动作方案等)，并示出评估模块所得的各项结论。
上述方案中，系统各模块与面瘫诊断评级方法的各步骤相对应，能够实现对使用者面瘫程度的诊断评级，并对联带现象进行及时反馈。对于本系统的使用者来说，首先需要根据个人情况自行选择动作方案，随后根据指示拍摄并上传自己的动作图像或视频，而后只需要等待很短的时间(小于1分钟)，即可获悉面瘫程度诊断与评级结果，该结果示出面瘫严重性及概率、存在面瘫情况的可能性，以及可能的面瘫部位与相关神经的信息。基于此，待确定患者能够及时发现自己的面瘫现象及程度；已确定患者能够及时跟踪自己的面瘫治疗进程与效果，同时若出现恶化、产生新的联带运动(神经修复时连接了错误的肌肉)等现象，亦可及时察觉并采取就医措施。
本发明实现的有益效果是：
(1)基于深度学习的面瘫诊断评级方法，通过采用正常信息建模来处理异常信息，即将使用者运动数据与正常人运动模型进行对比，实现了对使用者面瘫程度的精确诊断与精准评级；与传统的人工识别技术或现有的机器识别技术相比，突破了面瘫患者动作数据过少、动作流程不统一的问题，并且支持多平台和多机型，减轻了患者外出频繁就医的人力、物力花费。
(2)进一步的，本方法将医学上重要的联带运动纳入考量、实现了对面瘫肌肉级别上的监控，综合考虑了面部的全部主要肌肉在不同动作下的运动，具有较高的精确度与准确度，有助于患者的后续治疗。
(3)基于深度学习的面瘫诊断评级系统，能够实现对使用者面瘫程度的诊断评级、并对联带现象进行及时反馈，具备使用者操作简便、系统计算处理速度快、系统人机交互性能好等优点。
附图说明
图1是本发明面瘫诊断评级方法的步骤流程图；
图2是实施例1和实施例2中步骤S1的子步骤流程图；
图3是实施例1/实施例2中步骤S2～步骤S4/步骤S5的子步骤流程图；
图4是实施例1和实施例2中所采用的面部肌肉划分标准示意图；
图5是多伦多打分表的内容示意图；
图6是实施例1和实施例2中所采用的98个点的人脸特征点标注示意图。
具体实施方式
为清楚说明本发明中的方案，下面结合附图做进一步说明：
实施例1
请参照图1至图6，本实施例中所述的一种基于深度学习的面瘫诊断评级方法，包括如下步骤：
S1：建立正常人在特定面部动作下的运动模型；
S2：获取使用者在实际面部动作下的运动数据；
S3：将使用者的运动数据与正常人的运动模型进行对比，得到对比结果；
S4：对S3中得到的对比结果进行分析，生成使用者的面瘫程度结论。
所述S1具体包括如下子步骤：
S11：参考医学界较为权威的面瘫认定方式，确定特定面部动作方案为多伦多打分表所使用的动作方案，如图5所示，该方案包括抬额、轻轻闭眼、张嘴微笑、呲牙、吮吸这五个动作。
S12：采用Genki4k等现有的数据集，获取到正常人分别执行抬额、轻轻闭眼、张嘴微笑、呲牙、吮吸这五个动作时的视频片段。
S13：根据如图4所示的面部肌肉划分标准，对步骤S12中获取到的全部视频片段进行面部肌肉划分，其中划分利用现有技术中人脸特征点标注的深度学习方案实现，本实施例中采用的是PFLD人脸特征点检测，具体为如图6所示的98个点的人脸特征点标注方式。另外，对于本领域技术人员，划分还可利用以下三种方法实现，一是使用开放的人脸特征点检测接口，对人脸区域上肌肉位置进行实时判断；二是按照面部行为编码系统FACS中对人脸动作单元AU的识别与判断，建立起对肌群的识别与判断，原理在于该方法下的人脸动作单元AU与肌群(肌肉组合)的概念可认作相同，均是通过神经网络进行识别；三是按照计算机视觉中的光流概念，利用光流法确定肌肉运动过程。
S14：根据步骤S13，对步骤S12中获取到的各动作下的各视频片段进行肌肉位置的实时判断，从而获取正常人执行多伦多打分表动作方案时、各肌肉的实时位置，进而得出正常人执行多伦多打分表动作方案时、各肌肉或肌群的变化趋势。其中，在本实施例所采用的PFLD人脸特征点检测下，对肌肉位置的实时判断速度在家用电脑上便可达到60fps以上，因此足以得到较为精准的结果，从而进一步通过神经网络判断出肌肉或肌群的变化趋势；另外，对于本领域技术人员，通过对人脸动作单元AU的识别与判断，也可判断出肌肉或肌群的实时变化趋势。
S15：利用诸如RNN、LST、PERFORMER等常见的循环神经网络，对S11中的动作方案与S14中得出的变化趋势进行参数拟合，建立出正常人在各个特定面部动作下的肌肉或肌群运动模型，即正常人在各个特定面部动作下、对应运动肌肉或肌群变化趋势的判别网络。另外，对于本领域技术人员，通过使用机器学习进行简单的面积变化的判断，也可建立出正常人运动模型。
所述S2具体包括如下子步骤：
S21：确定实际面部动作方案，本实施例中的实际面部动作方案同样为多伦多打分表中的动作方案。需要注意的是，此处实际面部动作方案由使用者自行选择，可与S1中的特定面部动作方案相一致，或使用者已有面瘫症状所涉及的动作或动作组合，或其他自由划分的动作或动作组合。
S22：由使用者自由挑选一个照明良好的环境，而后使用者分别执行抬额、轻轻闭眼、张嘴微笑、呲牙、吮吸这五个动作，并在执行过程中自行通过摄影设备拍摄面部，从而获取使用者在实际面部动作下的面部图像。
S23：同步骤S13，对S22中获取到的面部图像进行面部肌肉划分。
S24：同步骤S14，获取使用者实际面部动作方案时、各肌肉的实时位置，进而得出使用者执行实际面部动作方案时、各肌肉或肌群的变化趋势，该变化趋势即为使用者在实际面部动作下的运动数据。
所述S3中，对比结果包括运动度、运动数量和运动幅度；其中，为了便于说明，将运动度定义为人为划定的、某动作下的某一运动阶段的运动幅度离散值，这是由于每个动作包括多个运动阶段、每个运动阶段中的运动幅度各有不同。运动度的离散值取值的具体计算过程包括如下子步骤：
S1运动度：计算某动作下的某一运动阶段中，使用者的实际运动幅度同正常人的标准运动幅度之间的差值；
S2运动度：将S1运动度中所得差值的绝对值同标准运动幅度进行比较；
S3运动度：将S2运动度中比较后的结果与既定标准进行匹配，对应得出某肌群运动状况的离散值，该离散值用于步骤S4。
为便于说明上述计算过程，本实施例中分别取正常人和使用者执行多伦多打分表动作方案时的实际数据代入，例如正常人、病例1、病例2、病例3分别执行抬额动作时的部分动作数据的数值如下：
正常人右侧额肌标准运动数量为3、标准运动幅度为{[(+0.078521)-(+0.171291)，(+0.487121)-(+0.68172)]，[(-0.018521)-(+0.02871)，(-0.187121)-(-0.291817)]}；病例1右侧额肌实际运动数量为2、实际运动幅度为{[+0.057918，+0.459181]}；病例2右侧额肌实际运动数量为1、实际运动幅度为{[-0.037918，+0.259181]}；病例3执行抬额动作时，出现右侧上唇方肌群的异常运动，实际运动数量为3、实际运动幅度为{[+0.478121，+0.489181]，[-0.387121，-0.319021],[+0.371121，+0.389111]}。其中运动数量的值即代表执行动作时所具备的运动阶段数量值，比如病例1的右侧额肌实际运动数量为2，则代表病例1执行抬额动作时共经历2个运动阶段。在本实施例中，针对以上数据，分别计算病例1、病例2(病例3出现右侧上唇方肌群的异常运动，初步可判断为联带运动，联带运动采用专门的计算体系)在抬额动作下各个运动阶段的运动度的离散值取值，为了更直观的说明，不妨作如下划分：
若病例在抬额运动下右侧额肌的实际运动幅度同标准运动幅度之差的绝对值大于等于标准运动幅度的110％，则运动度取-1；
若病例在抬额运动下右侧额肌的实际运动幅度同标准运动幅度之差的绝对值大于等于标准运动幅度的70％，则运动度取0；
若病例在抬额运动下右侧额肌的实际运动幅度同标准运动幅度之差的绝对值大于等于标准运动幅度的50％，则运动度取1；
若病例在抬额运动下右侧额肌的实际运动幅度同标准运动幅度之差的绝对值大于等于标准运动幅度的30％，则运动度取2；
若病例在抬额运动下右侧额肌的实际运动幅度同标准运动幅度之差的绝对值大于等于标准运动幅度的10％，则运动度取3。
所述S4中，面瘫程度结论包括面瘫严重性。本实施例中，在步骤S3的基础上，进一步将面瘫程度结论中的面瘫严重性参照多伦多打分表的划分方式，按照无、轻度、中度、重度四个阶段细分为正常运动、几乎完整运动、偏移运动、轻微运动、不能运动、联带运动运动六种，其中联带运动独立于其它五种运动、采用专门的计算体系。
从算法角度出发，可将正常运动、几乎完整运动、偏移运动、轻微运动、不能运动这五种严重性理解为与运动正常度的离散形式相对应，对应关系由专家(医师、本领域学者、患者、程序开发者等)自由划分；而对于运动正常度的离散取值，通过计算运动度之和与运动数量*系数之间的比值关系来实现，其中运动度之和指的是执行某动作时、全部运动阶段的运动度数值(浮点值)之和，系数取值与对应关系(指前文中的：五种严重性理解为与运动正常度的离散形式相对应，对应关系由专家(医师、本领域学者、患者、程序开发者等)自由划分)相适配、由专家按照特定数据集确定。在本实施例中，针对正常运动、几乎完整运动、轻微运动、不能运动与偏移运动的比值定为，
正常运动：运动度正数之和大于等于运动数量*2.9，小于运动数量*3.2；
几乎完整运动：运动度正数之和大于等于运动数量*2.6，小于运动数量*2.9；
轻微运动：运动度正数之和小于等于运动数量*2.1，大于等于运动数量*1.3；
不能运动：运动度正数之和小于等于运动数量*1.3；
偏移运动：运动度产生负数。
将病例1、病例2的所有发生运动的面部肌群的数据代入上述比值关系，得到各个肌群的正常运动、几乎完整运动、偏移运动、轻微运动、不能运动情况。而针对某个运动而言，因其可能牵扯多个肌群工作，因此在获得各个肌群运动情况后将对各个肌群运动情况乘以一定系数，且各个肌群运动情况对整个动作运动情况的占比系数可由面部解刨学与医师经验确定，从而将病例1的抬额动作判断为发起轻微运动、病例2的抬额动作判断为不能运动；另外，由于病例3执行抬额动作时出现右侧上唇方肌群的异常运动，从而将病例3的抬额动作判断为产生联带运动。
需要注意的是，在实际的机器判断和算法过程中，运动正常度并不采取离散形式，例如程序中的正常运动、几乎完整运动、偏移运动、轻微运动、不能运动这五个离散程度将会是从1-5的浮点数值；而运动度的数值在程序中同为浮点数值、代表某运动阶段下实际运动幅度同标准运动幅度之差的绝对值与标准运动幅度差值的比值；基于此，运动正常度的计算为运动度之和同运动数量与系数的乘积；另外，联带运动的运动正常度为：其联带动作运动幅度同面部最大宽度的比值与系数的乘积。综上所述，文中所出现的运动度和运动正常度的离散值取值均是为了便于说明与理解，而在面瘫诊断评级方法的实际运行中，依托于像素级别的检测，所获得的并非是粗略的离散值，因此本方法同人工打分和传统打分方法相比，拥有更高的准确度与精度。
所述S3中，对比结果还包括运动数量和运动幅度，运动数量和运动幅度的其中一种计算方法为：计算某动作下、相关运动肌肉或肌群在整个动作时间域上的动作幅度的累积。进一步的，若在步骤S13和步骤S23中采用深度学习技术，利用人脸动作单元AU建立对肌群的识别判断，则此处可相应对人脸动作单元AU的强度进行计算；若在步骤S13和步骤S23中采用深度学习技术，也可利用人脸特征点检测的方法实时标注肌群结构，确定形状及形心，计算肌肉运动；或者采用计算机视觉中的光流概念，直接对相关运动肌群进行计算，计算过程利用光流法实现，具体来说：首先获取图像序列中某个肌群所占像素在动作时间域上的变化及相邻帧之间的相关性、从而找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间肌群的运动信息；更进一步，利用上述三种方案之一识别出肌群后，将数据集与测试集(即S12中的正常人动作数据与S22中的患者动作数据)的同一动作放缩至相同帧数，经过计算后，该运动信息可以概括为k*m*n的向量矩阵，其中k代表肌群数量、n代表某肌群整个运动过程中所占据的所有像素点数目、m时整个运动持续帧数；对该矩阵，针对某肌群，计算某时刻下、在步骤S13/步骤S23所标注的肌群范围中的向量的运动均值，则可以从该n*m的矩阵中提取出描述该肌群在m个帧中的运动向量，即m个元素的向量数组，而后对m个向量进行分析、得出序列变化情况，即可提取出该动作的运动数量和运动幅度。例如病例4在做抬额运动时，额肌运动序列为[(0,0),(0,+0.000125),(+0.001281,+0.0000291),(+0.01819，+0.00139)，……,(+0.000013,+0.00000123),(0，0)，……]，该序列中的两个(0，0)向量中间的序列可认为出现了往(+，+)方向(即右上方)的运动，运动幅度为两个(0，0)向量的中间向量之和，即(+0.371，+0.571)；对于整个序列，按照上述计算方法，可以获得n个诸如(+0.371，+0.571)的运动过程，则n即为病例4做抬额运动时、额肌的运动数量，n个诸如(+0.371，+0.571)的数值范围即为每个运动阶段的运动幅度；对抬额运动过程中、所有相关运动肌群的运动数量和运动幅度进行统计，即可得出病例4在做抬额动作时、所有肌群出现的运动数量与运动幅度；通过以上计算方法，亦可求出正常人某动作下所有肌群应该出现的运动数量与运动幅度，因此便可对正常人数据与病例4数据进行对比，从而得出病例4的运动异常信息，并通过计算得出病例4的运动正常度。
综上所述，经过步骤S1-S4，可实现对使用者的面瘫程度诊断与评级，本方案可解决面瘫患者动作数据过少、动作流程不统一的问题，并且诊断评级结果的精确度和准确度较高。
实施例2
参照图1至图6，在实施例1的基础上，本实施例中的基于深度学习的面瘫诊断评级方法，还包括如下步骤：
S5：获取使用者可能的面瘫部位与相关神经的信息。即得出某面部动作(或动作组合)下运动错误或无法运动的具体肌肉或肌群，从而实现对面瘫神经受损部位与神经修复异常的初步分析。
例如，本实施例中有病例5执行步骤S22，即病例5分别执行抬额、轻轻闭眼、张嘴微笑、呲牙、吮吸这五个动作。当此种多个运动的运动情况进行结合时，根据实施例1中所述计算方法，得出病例5的运动正常度为<1,5,6,48.567>、<0,98.198>、<1,5,-3,69.196>、<2,47,8,29,4,47.981>、<0,97.463>，该结构标准为<异常肌肉数量，异常肌肉1编号，异常肌肉1运动情况(负数代表产生了不该运动但是出现运动的联带现象，不同数字大小代表该运动所匹配模式，例如1为快速收缩并持续绷紧，2为肌肉主体快速向上后向下弹跳一次，……)，异常肌肉2编号，异常肌肉2运动情况……，总运动正常度得分>，其中该运动正常度的得出可由专家自由划分各个肌群运动数量与运动程度的贡献关系。
首先，如步骤S4所述，对上述得到的运动正常度进行分析计算，生成使用者的面瘫程度结论，面瘫程度结论包括使用者的面瘫严重性及概率，以及存在面瘫情况的可能性。经过计算，病例5的面瘫最可能的程度为严重，并将结论“您可能存在严重的面瘫情况，存在面瘫情况的可能性为95.81％，面瘫情况为严重的可能性为78.56％”反馈给使用者。其中存在面瘫情况的可能性与面瘫程度及其可能性的计算均参照多伦多打分表中的各动作权重、并结合医师建议所设定的占比系数，同时相比于人工打分的多伦多表等方法，本系统依托于像素级的计算，即各个值采取浮点数而非简单的离散整数，因此面瘫情况的相关值相比于多伦多表，存在小数部分。
而后，如步骤S5所述，对上述得到的运动正常度进行分析计算，得到用户可能的面瘫受损肌肉与相关神经，作为后续人工病因检查的辅助性判断。具体的计算方法为综合所有涉及某肌肉的运动正常度，得到该肌肉与神经的异常概率。例如，对于病例5的额肌(编号5)来说，需要先从<1,5,6,48.567>、<0,98.198>、<1,5,-3,69.196>、<2，47，8，29，4，47.981>、<0,97.463>中提取涉及额肌的运动正常度，而后代入计算方案：1-{[SUM(相关肌肉与该动作的相关系数*运动正常度*))+联带运动系数*SUM(联带运动肌肉与该动作的相关系数*产生联带运动的运动正常度)]/总占比正常下应得大小(无联带运动)}，即1-{[(0.832*48.567)+(0.3414*98.198)(动作2中模型同样涉及额肌)+0.148*(1-0.042)*69.196]/[0.832*100+0.3414*100+0.958*100]}＝0.56，即在这种计算方案下病例5的额肌异常概率为56.0％，其中，对于某肌肉与某动作的相关系数的得出，在步骤S3中就各肌群各动作运动情况计算Spearman秩相关系数即可；该方法同样适用于计算异常肌肉运动情况，即用于判断某运动是否应该出现(若不应出现但是出现即为联带运动)。
对于实施例1中的病例2和病例3，采取上述原理方法进行计算，判断得出病例2右侧额肌相关神经产生传导问题可能性较大，病例3存在运动相关神经搭错至右侧上唇(联带运动明显)。
综上所述，本方案中的面瘫诊断评级方法还可根据步骤S3中得到的对比结果，实现对面瘫肌肉级别上的监控，即可具体到每个肌肉或其神经的瘫痪概率，因此在实现面瘫程度诊断与评级的基础上，突破了现有技术中仅对整体面瘫程度进行监控的局限性。
实施例3
一种基于深度学习的面瘫诊断评级系统，应用于实施例1和实施2所述的面瘫诊断评级方法，包括：
构建模块，用于建立正常人运动模型；
图像采集模块，用于获取使用者的面部运动图像；
诊断模块，用于将使用者的面部运动数据同正常人运动模型对比，得出使用者进行面部运动时肌肉或肌群的异常情况；
评估模块，用于判定使用者的面瘫程度，并获取使用者可能的面瘫部位及相关神经的信息；
显示模块，用于实现图像采集模块中的人机交互(即系统指示使用者进行拍摄并接收拍摄完成信息、使用者选择实际面部动作方案等)，并示出评估模块所得的各项结论。
对于实施例2中的病例5来说，构建模块用于建立正常人执行多伦多打分表中动作方案时的运动模型；图像采集模块用于获取病例5执行抬额、轻轻闭眼、张嘴微笑、呲牙、吮吸五个动作时的面部运动图像(视频片段形式)；诊断模块，用于将病例5的面部运动数据同正常人运动模型对比，分别得出病例5执行前述五个动作时肌肉或肌群的异常情况；评估模块用于判定病例5的面瘫程度，并获取病例5可能的面瘫部位及相关神经的信息；显示模块，用于指示病例5选择动作方案、拍摄动作视频、以及查看诊断与评级结论，即“您可能存在严重的面瘫情况，存在面瘫情况的可能性为95.81％，面瘫情况为严重的可能性为78.56％，额肌异常概率为56.0％。”
综上所述，系统各模块与面瘫诊断评级方法的各步骤相对应，能够实现对使用者面瘫程度的诊断评级，并对联带现象进行及时反馈。对于本系统的使用者来说，首先需要根据个人情况自行选择动作方案，随后根据指示拍摄并上传自己的动作图像或视频，而后只需要等待很短的时间(小于1分钟)，即可获悉面瘫程度诊断与评级结果，该结果示出面瘫严重性及概率、存在面瘫情况的可能性，以及可能的面瘫部位与相关神经的信息。基于此，待确定患者能够及时发现自己的面瘫现象及程度；已确定患者能够及时跟踪自己的面瘫治疗进程与效果，同时若出现恶化、产生新的联带运动(神经修复时连接了错误的肌肉)等现象，亦可及时察觉并采取就医措施。
当然，上述内容仅为本发明的较佳实施例，不能被认为用于限定对本发明的实施例范围。本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的均等变化与改进等，均应归属于本发明的专利涵盖范围内。

Claims (8)

1.一种基于深度学习的面瘫诊断评级方法，其特征在于，包括如下步骤：
S1：建立正常人在特定面部动作下的运动模型；
S2：获取使用者在实际面部动作下的运动数据；
S3：将使用者的运动数据与正常人的运动模型进行对比，得到对比结果；
S4：对S3中得到的对比结果进行分析，生成使用者的面瘫程度结论。
2.根据权利要求1所述的基于深度学习的面瘫诊断评级方法，其特征在于，所述诊断评级方法还包括步骤
S5：获取使用者可能的面瘫部位与相关神经的信息。
3.根据权利要求1所述的基于深度学习的面瘫诊断评级方法，其特征在于，所述S1具体包括如下子步骤：
S11：确定特定面部动作方案；
S12：预先采集或收集正常人执行特定面部动作方案时的数据样本；
S13：根据给定的面部肌肉划分标准，对正常人数据样本进行面部肌肉划分，其中该划分标准同样应用于步骤S2；
S14：根据步骤S13，获取正常人执行特定面部动作方案时、各肌肉的实时位置，从而得出正常人执行某特定动作时、各肌肉或肌群的变化趋势；
S15：对S11中的动作方案与S14中得出的变化趋势进行参数拟合，建立出正常人在各个特定面部动作下的肌肉或肌群运动模型，该运动模型用于步骤S3。
4.根据权利要求3所述的基于深度学习的面瘫诊断评级方法，其特征在于，所述S2具体包括如下子步骤：
S21：确定实际面部动作方案；
S22：由使用者执行动作方案、并在执行过程中自行通过摄影设备拍摄面部，从而获取使用者在实际面部动作下的面部图像；
S23：对S22中获取到的面部图像进行面部肌肉划分；
S24：根据步骤S23，获取使用者执行实际动作方案时、各肌肉的实时位置，从而得出使用者执行某动作时、各肌肉或肌群的变化趋势，该变化趋势即为使用者在实际面部动作下的运动数据，该运动数据用于步骤S3。
5.根据权利要求4所述的基于深度学习的面瘫诊断评级方法，其特征在于：所述S21中，实际面部动作方案为S1中的特定面部动作，或使用者已有面瘫症状所涉及的动作或动作组合，或其他自由划分的动作或动作组合。
6.根据权利要求4所述的基于深度学习的面瘫诊断评级方法，其特征在于：所述S3中，对比结果包括运动度、运动数量和运动幅度；
所述运动度是人为划定的、某动作下的某一运动阶段的运动幅度离散值，运动度离散值取值的具体计算过程包括如下子步骤：
S1运动度：计算某动作下的某一运动阶段中，使用者的实际运动幅度同正常人的标准运动幅度之间的差值；
S2运动度：将S1运动度中所得差值的绝对值同标准运动幅度进行比较
S3运动度：将S2运动度中比较后的结果与既定标准进行匹配，对应得出某肌群运动状况的离散值，该离散值用于步骤S4。
7.根据权利要求6所述的基于深度学习的面瘫诊断评级方法，其特征在于：所述运动数量和运动幅度的其中一种计算方法为，计算某动作下、相关运动肌肉或肌群在整个动作时间域上的动作幅度的累积。
8.一种基于深度学习的面瘫诊断评级系统，用于实现权利要求1-7任一所述的面瘫诊断评级方法，其特征在于，包括：
构建模块，用于建立正常人运动模型；
图像采集模块，用于获取使用者的面部运动图像；
诊断模块，用于将使用者的面部运动数据同正常人运动模型对比，得出使用者进行面部运动时肌肉或肌群的异常情况；
评估模块，用于判定使用者的面瘫程度，并获取使用者可能的面瘫部位及相关神经的信息；
显示模块，用于实现图像采集模块中的人机交互，并示出评估模块所得的各项结论。
CN202211045993.5A 2022-08-30 2022-08-30 基于深度学习的面瘫诊断评级方法及其系统 Pending CN115346664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211045993.5A CN115346664A (zh) 2022-08-30 2022-08-30 基于深度学习的面瘫诊断评级方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211045993.5A CN115346664A (zh) 2022-08-30 2022-08-30 基于深度学习的面瘫诊断评级方法及其系统

Publications (1)

Publication Number Publication Date
CN115346664A true CN115346664A (zh) 2022-11-15

Family

ID=83954012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211045993.5A Pending CN115346664A (zh) 2022-08-30 2022-08-30 基于深度学习的面瘫诊断评级方法及其系统

Country Status (1)

Country Link
CN (1) CN115346664A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311477A (zh) * 2023-05-15 2023-06-23 华中科技大学 一种面向跨身份一致性的面部运动单元检测模型构建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311477A (zh) * 2023-05-15 2023-06-23 华中科技大学 一种面向跨身份一致性的面部运动单元检测模型构建方法

Similar Documents

Publication Publication Date Title
US10002311B1 (en) Generating an enriched knowledge base from annotated images
CN111528859A (zh) 基于多模态深度学习技术的儿童adhd筛查评估系统
US20210100471A1 (en) Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
CN115346664A (zh) 基于深度学习的面瘫诊断评级方法及其系统
Mehta et al. Towards automated and marker-less Parkinson disease assessment: predicting UPDRS scores using sit-stand videos
CN114566282B (zh) 一种基于超声心动图检测报告的治疗决策系统
Chen et al. Edge2Analysis: a novel AIoT platform for atrial fibrillation recognition and detection
US11571161B2 (en) Systems and methods for electrocardiogram diagnosis using deep neural networks and rule-based systems
CN114847877A (zh) 一种基于视觉记忆力评估的阿尔兹海默病风险评估方法
CN112741620A (zh) 基于肢体动作的颈椎病评估装置
Zheng et al. Severity assessment of cervical spondylotic myelopathy based on intelligent video analysis
You et al. Alzheimer's disease distinction based on gait feature analysis
CN114742090A (zh) 一种基于精神疲劳监测的驾驶舱人机交互系统
Simmatis et al. Reliability of automatic computer vision-based assessment of orofacial kinematics for telehealth applications
CN117137435B (zh) 一种基于多模态信息融合的康复动作识别方法和系统
CN113642525A (zh) 一种基于骨骼点的婴儿神经发育评估方法和系统
Li et al. An optimized-skeleton-based Parkinsonian gait auxiliary diagnosis method with both monitoring indicators and assisted ratings
CN117339184A (zh) 一种智能化易操作的健身体育器材
Zhang et al. Diversity and complexity of hand movement for autism spectrum disorder intervention
Uy et al. Analysis of detecting compensation for robotic stroke rehabilitation therapy using imbalanced learning and outlier detection
CN112936342B (zh) 基于人体姿态识别算法的实体机器人动作评测系统及方法
Chaabouni et al. Prediction of visual attention with Deep CNN for studies of neurodegenerative diseases
KR102407587B1 (ko) 급성심근경색 판단 방법, 장치 및 프로그램
US20220262516A1 (en) Atrial Fibrillation Prediction Model And Prediction System Thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination