CN111403026A - 一种面瘫等级评估方法 - Google Patents
一种面瘫等级评估方法 Download PDFInfo
- Publication number
- CN111403026A CN111403026A CN202010166507.XA CN202010166507A CN111403026A CN 111403026 A CN111403026 A CN 111403026A CN 202010166507 A CN202010166507 A CN 202010166507A CN 111403026 A CN111403026 A CN 111403026A
- Authority
- CN
- China
- Prior art keywords
- facial paralysis
- facial
- frames
- deep learning
- grade evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000004929 Facial Paralysis Diseases 0.000 title claims abstract description 87
- 208000036826 VIIth nerve paralysis Diseases 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000009432 framing Methods 0.000 claims abstract description 4
- 230000001815 facial effect Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims 1
- 238000011160 research Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000028389 Nerve injury Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000000256 facial nerve Anatomy 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面瘫等级评估方法，所述方法包括以下步骤：S1.面瘫数据收集和处理；S2.基于多卷积特征和视频帧上下文信息相结合的面瘫等级评估算法；该算法主要包括以下几步：S2.1.利用potplay软件对收集到的面瘫视频数据进行分帧，然后对这一系列帧进行相关处理，采用统一标准；S2.2.利用深度学习进行面瘫识别和面瘫等级评估时，首先将第一步中预处理后的一系列帧作为深度学习网络的输入，利用深度学习强大的样本本质特征抽取能力对这一系列帧进行学习和提取特征。本方案可提高面瘫识别精度和面瘫等级评估准确度。
Description
技术领域
本发明涉及面瘫技术领域，尤其涉及一种面瘫等级评估方法。
背景技术
面瘫是一种常见的症状，主要症状显示为面部神经受损导致面部表情肌群无法像常人一样做某些正常的功能性运动，具体表现为面部某侧肌肉无力、不能闭眼、口角不能闭合等一系列情况。
目前对于面瘫的诊断以及面瘫等级的评估都是由医生结合自身多年医疗经验和其它标准对病人的面瘫情况做出诊断，但受限于医疗条件以及医生专业知识的影响，导致医生对于面瘫患者的一些细微情况不能准确认识，进而导致医生不能对面瘫病人的情况做出准确诊断，使得多数面瘫患者不能得到及时治疗。
目前，对于面瘫症状的诊断和评估，国内外学者进行了大量的研究。董军宇等人根据面部关键点计算面部两侧差异，进而对于病人做出相关诊断。Liu等人采用SUSAN边缘检测算法检测眼睛和皱纹的边缘，然后基于假设图像为阈值包含两类像素，利用Otsu算法，获得嘴巴和鼻孔区域，最后通过比较人脸两侧特定区域的像素对面瘫程度做出评估。Wang等人使用pface定义面瘫患者面部的不对称性，然后使用特征流测量面瘫患者和正常人面部的差异，最终对面瘫患者做出诊断。Wachtman等人根据人脸图像的不对称性来判断面瘫程度。他们手工标记三个特征点(左右眼的内眼角点以及人中点)将人脸分为左右两部分，然后根据左右脸部分强度和边缘差异来判断面瘫程度。AFA算法采用密集流检测运动、Lucas-Kanada算法跟踪人脸特征、皱纹和皱纹特征提取的高梯度分量检测以及面瘫患者的运动变化检测等多种处理方法，有研究利用AFA算法实现了面部运动细微变化的识别。Hontanilla利用3D模型信息来评估面瘫程度，他首先要求面瘫患者做一些微笑、张嘴、闭眼和提额等面部运动来定量分析面部运动。
综合以上国内外学者的研究现状看来，一些研究虽然在一定程度上可以识别面瘫并能对面瘫等级进行评估，但仍存在一些问题：
1、现有大多数研究对面瘫等级评估方法通过计算眼睛，鼻子，嘴唇等关键部位的对称性或者面部肌肉运动时面瘫患者面部两侧产生的差异；
2、一方面，现有的大多数研究都是基于以上两种中的一种，一个是在对面瘫等级评估时信息利用不完全，在一个是这些方法或多或少需要人为参与或者认为设定阈值来对面瘫等级进行划分，再有人为主观因素的影响下，面瘫程度的评估的精确性会有所降低；
3、另一方面，静态图像难以表现面部运动特征，对于一些面瘫程度稍轻的患者来说其面部发生的变化感知起来并不是太明显，更重要的是在对轻度面瘫患者的面瘫等级评估以及其临床恢复会带来不小影响。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种面瘫等级评估方法。
为了实现上述目的，本发明采用了如下技术方案：
一种面瘫等级评估方法，所述方法包括以下步骤：
S1.面瘫数据收集和处理；
S2.基于多卷积特征和视频帧上下文信息相结合的面瘫等级评估算法；该算法主要包括以下几步：
S2.1.利用potplay软件对收集到的面瘫视频数据进行分帧，然后对这一系列帧进行相关处理，采用统一标准；
S2.2.利用深度学习进行面瘫识别和面瘫等级评估时，首先将第一步中预处理后的一系列帧作为深度学习网络的输入，利用深度学习强大的样本本质特征抽取能力对这一系列帧进行学习和提取特征；
S2.3.将深度学习网络最后一层抽象特征和前几层网络产生的边缘特征、轮廓特征等其它特征有选择性的结合起来已提高面瘫识别精度；
S3.基于MCNN和LSTM相结合的面瘫等级评估算法；该算法主要包括以下几步：
S3.1.将大卷积核分解成若干小卷积核的叠加；由此设计出MCNN神经网络结构；该结构主要包含4个卷积层，3个全连接层，一个softmax层；
S3.2.将视频帧序列处理后得到一些特征向量，然后将特征序列带入到LSTM中进行面瘫等级评估；
进一步地，在所述S3.1中，使用多个小卷积核的卷积层代替一个卷积核较大的卷积层；这样会使网络层次适当加深，参数数目大为减少，网络的拟合表达能力野有显著提高；同时可以提取面部运动的整体信息和面部运动过程中的一些细节信息。
进一步地，在所述S3.2中，特征序列长度T的选择对面瘫识别结果以及面瘫等级评估有重要影响；
进一步地，在所述S3.2中，若特征序列长度T长度较短，运算速度快，但无法获取充足的信息，对于面瘫动作不能准确识别；若特征序列长度T较长，则会增加运算成本。
进一步地，一般情况下，一次面部动作需要0.5秒，对视频帧序列取15-20帧较为合适。
相比于现有技术，本发明的有益效果在于：
1、本方案提出基于多卷积特征和视频帧上下文信息相结合的面瘫等级评估算法。针对不同的面瘫行为，将深度学习网络最后一层抽象特征和前几层网络产生的边缘特征、轮廓特征相结合以及视频帧上下文信息来提高面瘫识别精度和面瘫等级评估准确度。
2、本方案提出MCNN和LSTM相结合的深度神经网络模型可以同时提取面瘫患者面部动作时的空间特征时域特征。由多个小卷积核的卷积层代替一个大卷积核的卷积层组成的多个卷积层和LSTM相结合对面瘫等级进行评估，神经网络的参数大幅度减少，加快了训练速度，计算成本大大降低；并且增强了视频帧的空间表达能力，能够关注微动作的细节特征；同时利用连续帧的特征向量作为LSTM网络的输入，能很好的提取面部皮肤的运动信息，使得面瘫等级评估更为精确。
综上所述，本方案可提高面瘫识别精度和面瘫等级评估准确度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的总框架图；
图2为基于多卷积特征的深度学习方法的面瘫等级评估示意图；
图3为MCNN神经网络结构图；
图4为基于MCNN和LSTM相结合的面瘫等级评估算法框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-4，一种面瘫等级评估方法，所述方法包括以下步骤：
S1.面瘫数据收集和处理；
S2.基于多卷积特征和视频帧上下文信息相结合的面瘫等级评估算法；该算法主要包括以下几步(其大致流程如图2)：
S2.1.利用potplay软件对收集到的面瘫视频数据进行分帧，然后对这一系列帧进行相关处理，采用统一标准；
S2.2.利用深度学习进行面瘫识别和面瘫等级评估时，首先将第一步中预处理后的一系列帧作为深度学习网络的输入，利用深度学习强大的样本本质特征抽取能力对这一系列帧进行学习和提取特征；
S2.3.将深度学习网络最后一层抽象特征和前几层网络产生的边缘特征、轮廓特征等其它特征有选择性的结合起来已提高面瘫识别精度；
S3.基于MCNN和LSTM相结合的面瘫等级评估算法；该算法主要包括以下几步(参照图4)：
S3.1.将大卷积核分解成若干小卷积核的叠加；由此设计出MCNN神经网络结构；该结构主要包含4个卷积层，3个全连接层，一个softmax层(参照图3)；
S3.2.将视频帧序列处理后得到一些特征向量，然后将特征序列带入到LSTM中进行面瘫等级评估；
进一步地，在所述S3.1中，使用多个小卷积核的卷积层代替一个卷积核较大的卷积层；这样会使网络层次适当加深，参数数目大为减少，网络的拟合表达能力野有显著提高；同时可以提取面部运动的整体信息和面部运动过程中的一些细节信息。
进一步地，在所述S3.2中，特征序列长度T的选择对面瘫识别结果以及面瘫等级评估有重要影响；
进一步地，在所述S3.2中，若特征序列长度T长度较短，运算速度快，但无法获取充足的信息，对于面瘫动作不能准确识别；若特征序列长度T较长，则会增加运算成本。
进一步地，一般情况下，一次面部动作需要0.5秒，对视频帧序列取15-20帧较为合适。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种面瘫等级评估方法，其特征在于，所述方法包括以下步骤：
S1.面瘫数据收集和处理；
S2.基于多卷积特征和视频帧上下文信息相结合的面瘫等级评估算法；该算法主要包括以下几步：
S2.1.利用potplay软件对收集到的面瘫视频数据进行分帧，然后对这一系列帧进行相关处理，采用统一标准；
S2.2.利用深度学习进行面瘫识别和面瘫等级评估时，首先将第一步中预处理后的一系列帧作为深度学习网络的输入，利用深度学习强大的样本本质特征抽取能力对这一系列帧进行学习和提取特征；
S2.3.将深度学习网络最后一层抽象特征和前几层网络产生的边缘特征、轮廓特征等其它特征有选择性的结合起来已提高面瘫识别精度；
S3.基于MCNN和LSTM相结合的面瘫等级评估算法；该算法主要包括以下几步：
S3.1.将大卷积核分解成若干小卷积核的叠加；由此设计出MCNN神经网络结构；该结构主要包含4个卷积层，3个全连接层，一个softmax层；
S3.2.将视频帧序列处理后得到一些特征向量，然后将特征序列带入到LSTM中进行面瘫等级评估。
2.根据权利要求1所述的一种面瘫等级评估方法，其特征在于，在所述S3.1中，使用多个小卷积核的卷积层代替一个卷积核较大的卷积层；这样会使网络层次适当加深，参数数目大为减少，网络的拟合表达能力野有显著提高；同时可以提取面部运动的整体信息和面部运动过程中的一些细节信息。
3.根据权利要求1所述的一种面瘫等级评估方法，其特征在于，在所述S3.2中，特征序列长度T的选择对面瘫识别结果以及面瘫等级评估有重要影响。
4.根据权利要求3所述的一种面瘫等级评估方法，其特征在于，在所述S3.2中，若特征序列长度T长度较短，运算速度快，但无法获取充足的信息，对于面瘫动作不能准确识别；若特征序列长度T较长，则会增加运算成本。
5.根据权利要求4所述的一种面瘫等级评估方法，其特征在于，一般情况下，一次面部动作需要0.5秒，对视频帧序列取15-20帧较为合适。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010166507.XA CN111403026A (zh) | 2020-03-11 | 2020-03-11 | 一种面瘫等级评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010166507.XA CN111403026A (zh) | 2020-03-11 | 2020-03-11 | 一种面瘫等级评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111403026A true CN111403026A (zh) | 2020-07-10 |
Family
ID=71428644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010166507.XA Pending CN111403026A (zh) | 2020-03-11 | 2020-03-11 | 一种面瘫等级评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111403026A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597842A (zh) * | 2020-12-15 | 2021-04-02 | 周美跃 | 基于人工智能的运动检测面瘫程度评估系统 |
| CN113033359A (zh) * | 2021-03-12 | 2021-06-25 | 西北大学 | 基于自监督的预训练和面瘫分级的建模、分级方法及系统 |
| CN113053517A (zh) * | 2021-03-29 | 2021-06-29 | 深圳大学 | 一种基于动态区域量化指标的面瘫级别评估方法 |
| CN117372437A (zh) * | 2023-12-08 | 2024-01-09 | 安徽农业大学 | 用于面神经麻痹智能化检测与量化方法及其系统 |
-
2020
- 2020-03-11 CN CN202010166507.XA patent/CN111403026A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597842A (zh) * | 2020-12-15 | 2021-04-02 | 周美跃 | 基于人工智能的运动检测面瘫程度评估系统 |
| CN112597842B (zh) * | 2020-12-15 | 2023-10-20 | 芜湖明瞳数字健康科技有限公司 | 基于人工智能的运动检测面瘫程度评估系统 |
| CN113033359A (zh) * | 2021-03-12 | 2021-06-25 | 西北大学 | 基于自监督的预训练和面瘫分级的建模、分级方法及系统 |
| CN113033359B (zh) * | 2021-03-12 | 2023-02-24 | 西北大学 | 基于自监督的预训练和面瘫分级的建模、分级方法及系统 |
| CN113053517A (zh) * | 2021-03-29 | 2021-06-29 | 深圳大学 | 一种基于动态区域量化指标的面瘫级别评估方法 |
| CN113053517B (zh) * | 2021-03-29 | 2023-03-07 | 深圳大学 | 一种基于动态区域量化指标的面瘫级别评估方法 |
| CN117372437A (zh) * | 2023-12-08 | 2024-01-09 | 安徽农业大学 | 用于面神经麻痹智能化检测与量化方法及其系统 |
| CN117372437B (zh) * | 2023-12-08 | 2024-02-23 | 安徽农业大学 | 用于面神经麻痹智能化检测与量化方法及其系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111403026A (zh) | 一种面瘫等级评估方法 | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN110084259A (zh) | 一种结合面部纹理和光流特征的面瘫分级综合评估系统 | |
| US11663845B2 (en) | Method and apparatus for privacy protected assessment of movement disorder video recordings | |
| CN106446811A (zh) | 基于深度学习的驾驶员疲劳检测方法及装置 | |
| CN110428908B (zh) | 一种基于人工智能的眼睑运动功能评估系统 | |
| CN107007257A (zh) | 面部不自然度的自动评级方法和装置 | |
| CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
| CN109805944B (zh) | 一种儿童共情能力分析系统 | |
| Torres et al. | Evaluation of interpretability for deep learning algorithms in EEG emotion recognition: A case study in autism | |
| CN113095382B (zh) | 基于ct图像的可解释性肺结核分类网络识别方法 | |
| CN114358194A (zh) | 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法 | |
| CN111329445A (zh) | 基于组卷积残差网络和长短期记忆网络的房颤识别方法 | |
| CN110491506A (zh) | 心房颤动预测模型及其预测系统 | |
| Çallı et al. | FRODO: Free rejection of out-of-distribution samples: application to chest x-ray analysis | |
| CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
| Kadhim et al. | Detection of COVID-19 in X-Rays by convolutional neural networks | |
| CN111128368A (zh) | 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置 | |
| CN117316440A (zh) | 一种基于机器学习面部特征计算的智能面瘫程度评测方法 | |
| Purwanithami et al. | Hemorrhage diabetic retinopathy detection based on fundus image using neural network and FCM segmentation | |
| CN115565676A (zh) | 一种基于影像组学的阿尔兹海默症风险预测平台 | |
| Lyu et al. | Skeleton-based sleep posture recognition with BP neural network | |
| CN106446810A (zh) | 一种用于精神状态分析的计算机视觉方法 | |
| Kriangsakdachai et al. | Anomaly detection in red reflex images using deep learning approaches | |
| CN118512173B (zh) | 一种基于深度学习的儿童听力检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200710 |