CN109508644B - 基于深度视频数据分析的面瘫等级评估系统 - Google Patents

基于深度视频数据分析的面瘫等级评估系统 Download PDF

Info

Publication number
CN109508644B
CN109508644B CN201811221249.XA CN201811221249A CN109508644B CN 109508644 B CN109508644 B CN 109508644B CN 201811221249 A CN201811221249 A CN 201811221249A CN 109508644 B CN109508644 B CN 109508644B
Authority
CN
China
Prior art keywords
region
video
module
evaluation
facial paralysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811221249.XA
Other languages
English (en)
Other versions
CN109508644A (zh
Inventor
谢飞
郜刚
繆飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Great Wisdom Medical Care Technology Co ltd
Original Assignee
Shaanxi Great Wisdom Medical Care Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Great Wisdom Medical Care Technology Co ltd filed Critical Shaanxi Great Wisdom Medical Care Technology Co ltd
Priority to CN201811221249.XA priority Critical patent/CN109508644B/zh
Publication of CN109508644A publication Critical patent/CN109508644A/zh
Application granted granted Critical
Publication of CN109508644B publication Critical patent/CN109508644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于深度视频数据分析的面瘫等级评估系统，包括：训练集建立模块、评估模型建立模块、输入模块、判断和输出模块，其中所述的评估模型建立模块建立评估网络，并根据所述的训练集进行评估网络的训练，得到评估模型；所述的识别网络包括三路并行设置的LSTM网络，每个LSTM网络用于提取一个面部区域的运动特征信息，然后用于对不同面部区域提取的运动特征信息，采用一维线性卷积核分别对所述运动特征信息进行加权，并采用特征向量相加的方式进行加权后特征的融合以得到融合特征，然后通过对所述的融合特征进行分类而得到对应的分级结果；所提取的特征中能够较大程度包含面部肌肉运动的动态信息，从而能大幅提升面瘫分级精度。

Description

基于深度视频数据分析的面瘫等级评估系统
技术领域
本发明涉及医疗、神经网络技术领域，具体涉及一种基于深度视频数据分析的面瘫等级评估系统。
背景技术
面瘫是面部肌肉运动功能受到阻碍的一种常见且多发的疾病，其主要症状为面部表情肌群无法进行正常的功能性运动，临床常表现为单侧周围性的面瘫(一侧面部患病，另一侧正常)，发病范围广泛且不受年龄限制。面瘫会对患者的身心健康产生极大的危害，既会影响到患者的正常工作和生活又会严重妨碍患者与他人的社交活动，给患者带来较重的精神负担。因此，对病症进行准确的诊断和评估就显得极为重要，这关系到治疗方案的制定以及后续疗效的评估。
目前，有关面瘫分级评估的主要方法大致可以分为如下的两类：基于关键点检测的面瘫分级方法和利用人脸区域分块进行面瘫等级评估，这些方法存在着一系列问题有待改进：
第一，采用区域分块进行等级评估的算法往往只考虑单个器官的局部区域，这样做非常容易造成病人的面部整体信息遭到破坏，导致分块之间缺乏一定的关联性。
第二，传统的区域分块算法需要对每个分块区域分别进行训练，有多少个分块区域就需要重复训练多少次，这样做不仅耗时而且效率较低，也无法保证区域分块间的关联性。
第三，传统的区域分块算法在进行区域间的特征融合时一般采用的是加权的方式，但是其加权系数的选择是通过多次人工试验得到的，而且其系数是一个固定的值无法根据实际的问题做出自适应调整和优化，导致其得到的融合特征往往无法很好地适应实际情况。
第四，传统的区域分块算法大多是采用面部静态图像的面瘫分级评估，只考虑了面瘫患者的面部不对称信息而忽略了其面部肌肉的运动信息。
此外，传统的面瘫评估方法大多是采用传统的机器学习算法，难以从海量数据中提取更有效的特征信息。即使某些方法能够保留患者肌肉运动信息，也难以表现出病人运动变化的完整过程。
发明内容
针对现有技术中存在的问题和挑战，本发明提出一种基于深度视频数据分析的面瘫等级评估系统，该系统中建立了Triple-stream LSTM网络，该网络通过视频数据能够自动学习面瘫患者在做不同面部动作时的面部状态的深层次特征，并且，所提取的特征中能够较大程度包含面部肌肉运动的动态信息，从而能大幅提升面瘫分级精度。
为了实现上述任务，本发明采用以下技术方案：
一种基于深度视频数据分析的面瘫等级评估系统，包括：
训练集建立模块，用于通过视频数据建立训练集；
评估模型建立模块，用于建立评估网络，并根据所述的训练集进行评估网络的训练，得到评估模型；所述的识别网络包括三路并行设置的LSTM网络，每个LSTM网络用于提取一个面部区域的运动特征信息，然后用于对不同面部区域提取的运动特征信息，采用一维线性卷积核分别对所述运动特征信息进行加权，并采用特征向量相加的方式进行加权后特征的融合以得到融合特征，然后通过对所述的融合特征进行分类而得到对应的分级结果；
输入模块，用于接收待评估的视频并进行预处理，得到待测试样本；
判断和输出模块，用于将待测试样本输入所述的评估模型中，得到模型的输出结果即为评估结果，并将评估结果通过显示器进行输出。
进一步地，所述的训练集建立模块包括：
视频数据获取模块，用于根据从医院采集面瘫病人面部做动作时的视频，对视频进行去噪处理，得到去噪后的视频；
视频分类模块，用于对去噪后的视频，按照病人面部所做动作进行分类，将每个动作按照医生给定的面瘫分级表进行面瘫等级的划分；
视频分帧模块，用于将每个视频按照分区规则截取成该视频中动作对应的分块子视频，对于每一个分块子视频分别进行分帧处理，并去除未做动作时间段的图像，得到分帧序列图像；
样本建立模块，用于根据所述的分帧序列图像建立训练集。
进一步地，所述的分区规则为：
1)抬眉：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成；
2)闭眼：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成；
3)耸鼻：由眉毛眼睛区域R2、鼻子区域R3和中半脸联合区域R6组成；
4)鼓腮：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成；
5)示齿：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成；
6)微笑：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成；
7)皱眉：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成。
进一步地，根据所述的分帧序列图像建立训练集，包括：
将所有的分帧序列图像分别按比例放缩，采样成一维行向量形式，并在行向量末尾额外添加一列表示对应的面瘫分级标记的标签；然后将每5个一维行向量合并为一个样本，每个样本包含的一维行向量的标签一致；从而得到每个面部区域对应的样本集，所有样本集构成训练集。
进一步地，所述的评估模型建立模块，包括：
特征提取模块，包括三路并行设置的LSTM网络，每个LSTM网络分别用于提取一个面部区域的运动特征信息；
参数加权模块，用于对不同面部区域提取的运动特征信息，采用一维线性卷积核分别对所述运动特征信息进行加权，并采用特征向量相加的方式进行加权后特征的融合以得到融合特征；
分级输入模块，用于对所述融合特征进行分类而得到对应的分级结果；
训练模块，用于以样本为单位，将所有的样本的顺序打乱，选取训练样本和验证样本，将训练样本和验证样本输入到所述的评估网络中，采用随机梯度下降算法进行训练，得到评估模型。
进一步地，所述的预处理过程为：对视频进行分帧处理，将处理后得到的图像按比例放缩，采样成一维向量的形式，并将每5个一维向量合并为一个待测试样本。
本发明与现有技术相比，具有以下技术特点：
第一，本发明系统中所选取的区域分块是基于动作的面部变化，针对不同的动作划分出相应的区域，不仅具有人脸的几何形状信息，而且还包含局部细节纹理信息；此外，所选取的区域中既有局部五官区域分块又有包含两个五官区域的半全局联合区域分块，区域分块间的关联性得到了非常有效地保留。
第二，本发明系统是三个区域分块同时同步并行进行训练的，只需要训练一次网络就能够同时提取到三个区域的特征，相比较对每个区域分别进行训练，能够大幅地缩短训练时间，提高网络的实用性。此外，由于不同区域分块的帧之间维持着一一对应的关系，因此在所提取的分块区域特征间也是存在着一定联系。
第三，本发明系统在进行区域特征间的融合叠加时所选取的加权系数不是通过逐次试验得到的，而是通过网络的训练自适应学习得到的，能够随着输入的改变不断进行自适应地调整和优化，所提取得到的融合特征也更能较准确地表达数据的更有效的特征信息，并且融合特征中能够反映出各区域提取特征之间的关联性。此外，通过将加权系求解优化问题内化为网络内部参数学习和优化环节，这在一定程度上简化了算法的流程和处理步骤，无需再进行额外的操作。
第四，本发明系统是基于深度视频数据分析的方法进行面瘫等级评估，既能够在保存大量的面部肌肉运动的动态细节信息的同时，也能够极大程度上克服传统机器学习方法处理数据能力不足的问题，且所输入的视频样本中包含病人相对完整的运动过程。
第五，本发明能够大幅有效提升医生面瘫诊断的效率，为医生进行面瘫诊断提供一定的参考和建议。同时本发明可以帮助患者在没有医生的情形下进行自测，以方便患者了解自身病情变化。
附图说明
图1为本发明系统中评估网络的结构示意图；
图2为面部划分为不同区域的示意图；
图3的(a)为上半脸联合区域示意图，(b)为中半脸联合区域示意图，(c)为下半脸联合区域示意图；
图4为参数加权示模块意图；
图5为一个LSTM单元的内部组成结构示意图；
图6为LSTM网络和Triple-steamLSTM网络的loss函数曲线和acc函数曲线对比图，其中(a)为抬眉，(b)为闭眼，(c)为耸鼻，(d)为鼓腮，(e)为示齿，(f)为微笑，(g)为皱眉。
具体实施方式
为了更好地体现面部运动变化的局部细节，提供一定程度上的区域关注机制，本方案将人脸划分成4块五官局部矩形区域，分别用R1、R2、R3和R4进行表示，如图2所示，依次表示为额头区域、眉毛眼睛区域、鼻子区域和嘴巴区域。为了避免由于区域分块导致面部整体信息与区域之间的关联性遭到破坏的问题，我们在进行局部五官区域分块的同时增加包含两个五官区域的矩形联合区域。根据动作的关注区域不同，将其划分为上半脸，中半脸和下半脸这三个联合区域，分别用包含额头和眉毛眼睛的上半脸区域R5、包含眉毛眼睛和鼻子的中半脸区域R6和包含鼻子和嘴巴的下半脸区域R7进行表示，具体细节请参考图3。
由于医生在进行面瘫诊断时，要求待诊断面瘫患者分别做抬眉、闭眼、耸鼻、鼓腮、示齿、微笑和皱眉这7个标准动作用于进行面瘫的等级评估。因此，本方案也同样利用这七个面部动作的视频进行面瘫分级，并且每个标准动作分别选取面部的两个局部五官区域和一个联合区域作为参考区域(对于闭眼动作仅选取一个面部器官区域作为参考)，对于不同标准动作所选取的参考区域的分区规则如下：
1)抬眉：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成。
2)闭眼：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成。
3)耸鼻：由眉毛眼睛区域R2、鼻子区域R3和中半脸联合区域R6组成。
4)鼓腮：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成。
5)示齿：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成。
6)微笑：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成。
7)皱眉：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成。
本发明的一种基于深度视频分析的面瘫等级评估系统，包括以下模块：
1.训练集建立模块
用于获取视频，并进行视频帧序列的划分，从而构成训练集，具体包括：
1.1视频数据获取模块，用于根据从医院采集面瘫病人面部做动作时的视频，对视频进行去噪处理，得到去噪后的视频；所述的去噪处理主要是指去除视频中的抖动噪声。
1.2，视频分类模块，用于对去噪后的视频，按照病人面部所做动作进行分类，将每个动作按照医生给定的面瘫分级表进行面瘫等级的划分；
该步骤中，首先将不同动作的视频进行分类，得到抬眉、闭眼、耸鼻、鼓腮、示齿、微笑和皱眉这7类动作的视频；对于每一类动作视频，将其中的每个视频根据视频中病人面部的动作按照面瘫分级表进行划分，其中面瘫分级表包含正常及轻微、轻度面瘫、中度面瘫和重度面瘫四个等级，分别用0,1,2,3表示，每个等级分别对应面瘫患者的不同面部情况。通过该步骤处理，得到了7类视频，以及每类视频中每个视频对应的面瘫等级。
1.3，视频分帧模块，用于将每个视频按照分区规则截取成该视频中动作对应的分块子视频，这样每一个视频就分别分割出了对应的三个分块子视频；对于每一个分块子视频分别进行分帧处理，即将分块子视频分成一帧帧图像，并去除未做动作时间段的图像，得到分帧序列图像；
该步骤中，所述的分区规则是指前述的1)-7)，该规则中，将每个面部动作分成三个区域，其中有两个是五官局部区域，剩余一个是包含有两个五官局部区域的联合区域。例如对于一个抬眉的视频，分别从视频中截取额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5对应的三个分块子视频，即仅包含这些区域的子视频；再将分块子视频分别进行分帧；其中五官局部区域截取比例为16:9大小，联合区域截取比例为4:3大小。
1.4，样本建立模块，用于将所有的分帧序列图像分别按比例放缩，采样成一维行向量形式，并在行向量末尾额外添加一列表示对应的面瘫分级标记(即0,1,2,3)的标签；然后将每5个一维行向量合并为一个样本，每个样本包含的一维行向量的标签一致；从而得到每个面部区域(R1-R7)对应的样本集，所有样本集构成训练集。
该步骤中在建立样本时，所述的标签是指分帧序列图像对应的视频的面瘫等级(1.2部分)；在样本集中，将不足5个行向量的样本剔除。
2.评估模型建立模块
该模块用于建立评估网络，然后在网络框架的基础上利用训练集进行训练和测试，得到评估模型；所述的评估网络包括以下子模块：
2.1，特征提取模块，包括三路并行设置的LSTM(Long Short-Term Memory，LSTM)网络，每个LSTM网络分别用于提取一个面部区域的运动特征信息；
2.2，参数加权模块，用于对不同面部区域提取的运动特征信息进行加权融合；具体地，采用一维线性卷积核分别对所述运动特征信息进行加权，并采用特征向量相加的方式进行加权后特征的融合以得到融合特征；
2.3，分级输入模块，用于对所述融合特征进行分类而得到对应的分级结果。具体地，本实施例中采用softmax分类器进行分类。
特征提取模块、参数加权模块、分级输入模块共同构成所述的评估网络Triple-stream LSTM，如图1所示。
2.4，训练模块，用于以样本为单位，将所有的样本的顺序打乱，选取前70％作为训练样本，其余30％作为验证样本，将训练样本和验证样本输入到所述的评估网络中，采用随机梯度下降算法进行训练，得到评估模型。
3.输入模块
用于接收待评估的视频，并进行预处理，以得到待测试样本；
所述的预处理过程为：对视频进行分帧处理，将处理后得到的图像按比例放缩，采样成一维向量的形式，并将每5个一维向量合并为一个待测试样本。
4.判断和输出模块
用于将待测试样本输入所述的评估模型中，得到模型的输出结果即为评估结果，并将评估结果通过显示器进行输出，具体形式为：对一段待评估视频经预处理后输入到所评估模型中的待测试样本的评估结果进行统计，选择认定次数最多的等级作为最终的输出评判等级，并将评判等级进行显示输出。
本方案评估系统的三分支网络构架具有三分支区域输入，相比单分支区域输入的架构来说其训练时间将更短。应当注意的是，这三个分支输入区域之间不是孤立存在的，每个不同区域的输入样本间存在着一种一一对应的关系，而这种对应关系能够保证所提取的特征之间是存在相应的关联性的，单分支区域输入的架构则很难保证这种区域特征间的关联性。此外，这种三分支区域输入的架构也额外提供了一种多分辨率视角，即联合区域提供整体宏观性视角，细节五官区域提供细节微观性视角，因此能够将多种分辨率视角的特征进行有效结合以提高识别的精度。通过进行对比实验的结果也表明这种三分支区域输入架构网络的收敛速度是要比单分支区域输入架构网络的收敛速度快很多的。
由于本方案进行面瘫等级评估是利用分块区域分别进行评估以得到相应的区域提取特征，那么其总体特征(融合特征)应是所有分块区域特征的加权融合，如下式所示：
Fsum＝α1F1+α2F2+α3F3
其中，F1、F2和F3分别表示各分块区域的提取特征，α1、α2和α3分别表示其对应区域提取特征的加权系数，Fsum表示加权融合后得到的总体特征(融合特征)。
传统的加权融合是通过逐次进行试验来得到最佳的加权系数的，其加权系数一般是根据经验人工设置的一个固定的常量。但是随之而来会产生三个问题：首先，加权的系数必须通过逐次地进行试验才能得到，通过少量次数的试验往往无法获得最优的加权系数组合，对于数据量很小的样本这样做无可厚非，但是对于数据量非常大的样本这样做的效率就十分低下了；其次，每个区域的加权系数为一个固定的常量，对于耸鼻动作来说鼻子区域对总体特征的贡献量是比较大的而对于示齿动作来说其对总体特征的贡献量就没那么大了，如果采用固定的加权系数就难以辨别这种差异；最后，若采用针对每个动作分别去求取相应的最佳加权系数值的方法，会在无形中增加计算的复杂度，试验成本会随着参考动作数的增加成倍增长。事实上，对于同一个动作来说，其区域的加权系数也不应是一个固定不变的常量，而是应当随着样本的变化能够进行自适应动态调整的。
为了使加权系数能够随着网络训练进行自适应调节，我们将其融入到网络内部结构之中，以自动学习到最优的融合参数。我们的具体思路是在每个提取特征向量之后额外添加一个1D的1×1大小的线性卷积层，如图4所示。图4中，f1，……，fn分别表示所提取特征的每个特征分量，w为1×1大小卷积核的权值，αf1，……，αfn分别表示每个特征分量加权后的值。由于我们添加1×1卷积层是用于进行参数加权，因此我们不采用激活函数，此外该卷积层只有一个参数(权值)，用于学习区域提取特征的加权系数值。因为线性1×1的卷积相当于对每个输入分量乘以卷积核的权值，因此该操作相当于给提取特征整体乘以卷积核的权值进行加权。由于卷积核的权值是随着网络的训练不断进行调整的，因此加权的结果也能随着网络的训练不断进行优化和改善。
试验与结果分析
数据来源：本文实验数据由当地合作医院在与病人协商，在病人允许的情况下经过长期的数据采集，共获得了55位面瘫患者的视频图像数据，其中男性患者27位，女性患者28位。每位患者一共采集七段视频，分别对应抬眉、闭眼、耸鼻、鼓腮、示齿、微笑和皱眉这七个动作，每个动作平均每个病人做3遍。按照面瘫的严重程度依次将其分为正常、轻微、中度和重度这4个等级，分别由三位专科医生对其进行评分，在3位医生评判的结果一致的情况下，评分直接作为病人面瘫等级的标准参考值(ground truth)，当意见不一致的情况下，由资深面瘫诊断专家进行综合分析，给出最终的评分结果。
数据预处理：我们将采集好的视频数据按七个动作依次分为七组，每组按面瘫等级划分为4个类(分别用0,1,2,3进行表示)。之后我们对视频进行去抖动处理并按照3.2节所述的参考区域的划分标准对视频进行分割，每个视频分别分割出三个相关区域的子视频，其中五官区域的截取比例为16:9大小，联合区域的截取比例为4:3大小，分别将其保存为1920×1080和1440×1080分辨率大小的子视频，并将视频进行分帧处理。随后，我们以5帧序列长度为一组作为一个训练样本。
网络训练：我们的Triple-stream网络采用标准的反向传播算法进行端到端训练。使用Mini-batch随机梯度下降(SGD)算法来优化交叉熵损失函数，梯度下降的优化采用Aadm优化方法。初始学习率设定为0.00001，batch的大小为800，所提取的特征向量维是128，训练的迭代次数为1000。实验中以序列为单位随机抽取70％作为训练数据，余下30％作为测试数据。
试验结果分析：
动作 抬眉 闭眼 耸鼻 鼓腮 示齿 微笑 皱眉
准确率 97.02％ 97.67％ 93.05％ 98.13％ 97.88％ 97.78％ 96.56％
上表展示了实验结果，从表中我们可以看出，Triple-stream LSTM普遍分级的准确率还是非常高的。除了耸鼻动作外，其余6个动作的分级准确率均能超过96％。且分级的准确率能比其余方法平均能高出3％左右。为了更好地说明Triple-stream LSTM网络在收敛速度上的性能优势，我们分别作出不同动作下Triple-stream LSTM的学习曲线(见图6)，并与LSTM的学习曲线进行对比以便突出我们在性能上的优势。从图中我们明显可以看出，对于任意的一个动作，Triple-stream LSTM Loss曲线的下降速度是明显要比LSTM Loss曲线的下降速度快很多的，对大部分动作来说，Triple-stream LSTM的精度平均能比LSTM高出10％。此外，相比较LSTM学习曲线Triple-stream LSTM的学习曲线更加平缓，Triple-stream LSTM学习曲线波动要比LSTM学习曲线的波动小很多，也就是说Triple-streamLSTM方法的收敛速度要明显快于LSTM方法。

Claims (6)

1.一种基于深度视频数据分析的面瘫等级评估系统，其特征在于，包括：
训练集建立模块，用于通过视频数据建立训练集；
评估模型建立模块，用于建立评估网络，并根据所述的训练集进行评估网络的训练，得到评估模型；所述的评估网络包括三路并行设置的LSTM网络，每个LSTM网络用于提取一个面部区域的运动特征信息，然后用于对不同面部区域提取的运动特征信息，采用一维线性卷积核分别对所述运动特征信息进行加权，并采用特征向量相加的方式进行加权后特征的融合以得到融合特征，然后通过对所述的融合特征进行分类而得到对应的分级结果；
输入模块，用于接收待评估的视频并进行预处理，得到待测试样本；
判断和输出模块，用于将待测试样本输入所述的评估模型中，得到模型的输出结果即为评估结果，并将评估结果通过显示器进行输出。
2.如权利要求1所述的基于深度视频数据分析的面瘫等级评估系统，其特征在于，所述的训练集建立模块包括：
视频数据获取模块，用于根据从医院采集面瘫病人面部做动作时的视频，对视频进行去噪处理，得到去噪后的视频；
视频分类模块，用于对去噪后的视频，按照病人面部所做动作进行分类，将每个动作按照医生给定的面瘫分级表进行面瘫等级的划分；
视频分帧模块，用于将每个视频按照分区规则截取成该视频中动作对应的分块子视频，对于每一个分块子视频分别进行分帧处理，并去除未做动作时间段的图像，得到分帧序列图像；
样本建立模块，用于根据所述的分帧序列图像建立训练集。
3.如权利要求2所述的基于深度视频数据分析的面瘫等级评估系统，其特征在于，根据所述的分帧序列图像建立训练集，包括：
将所有的分帧序列图像分别按比例放缩，采样成一维行向量形式，并在行向量末尾额外添加一列表示对应的面瘫分级标记的标签；然后将每5个一维行向量合并为一个样本，每个样本包含的一维行向量的标签一致；从而得到每个面部区域对应的样本集，所有样本集构成训练集。
4.如权利要求2所述的基于深度视频数据分析的面瘫等级评估系统，其特征在于，所述的分区规则为：
1)抬眉：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成；
2)闭眼：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成；
3)耸鼻：由眉毛眼睛区域R2、鼻子区域R3和中半脸联合区域R6组成；
4)鼓腮：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成；
5)示齿：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成；
6)微笑：由鼻子区域R3、嘴巴区域R4和下半脸联合区域R7组成；
7)皱眉：由额头区域R1、眉毛眼睛区域R2和上半脸联合区域R5组成。
5.如权利要求1所述的基于深度视频数据分析的面瘫等级评估系统，其特征在于，所述的评估模型建立模块，包括：
特征提取模块，包括三路并行设置的LSTM网络，每个LSTM网络分别用于提取一个面部区域的运动特征信息；
参数加权模块，用于对不同面部区域提取的运动特征信息，采用一维线性卷积核分别对所述运动特征信息进行加权，并采用特征向量相加的方式进行加权后特征的融合以得到融合特征；
分级输入模块，用于对所述融合特征进行分类而得到对应的分级结果；
训练模块，用于以样本为单位，将所有的样本的顺序打乱，选取训练样本和验证样本，将训练样本和验证样本输入到所述的评估网络中，采用随机梯度下降算法进行训练，得到评估模型。
6.如权利要求1所述的基于深度视频数据分析的面瘫等级评估系统，其特征在于，所述的预处理过程为：对视频进行分帧处理，将处理后得到的图像按比例放缩，采样成一维向量的形式，并将每5个一维向量合并为一个待测试样本。
CN201811221249.XA 2018-10-19 2018-10-19 基于深度视频数据分析的面瘫等级评估系统 Active CN109508644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811221249.XA CN109508644B (zh) 2018-10-19 2018-10-19 基于深度视频数据分析的面瘫等级评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811221249.XA CN109508644B (zh) 2018-10-19 2018-10-19 基于深度视频数据分析的面瘫等级评估系统

Publications (2)

Publication Number Publication Date
CN109508644A CN109508644A (zh) 2019-03-22
CN109508644B true CN109508644B (zh) 2022-10-21

Family

ID=65746758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811221249.XA Active CN109508644B (zh) 2018-10-19 2018-10-19 基于深度视频数据分析的面瘫等级评估系统

Country Status (1)

Country Link
CN (1) CN109508644B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263916B (zh) * 2019-05-31 2021-09-10 腾讯科技（深圳）有限公司 数据处理方法和装置、存储介质及电子装置
CN111126180B (zh) * 2019-12-06 2022-08-05 四川大学 一种基于计算机视觉的面瘫严重程度自动检测系统
CN111553250B (zh) * 2020-04-25 2021-03-09 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN112001213B (zh) * 2020-04-25 2024-04-12 深圳德技创新实业有限公司 一种基于3d点云分割的精准面瘫程度评测方法及装置
CN111680545B (zh) * 2020-04-25 2024-07-12 深圳德技创新实业有限公司 一种基于语义分割的精准面瘫程度评测方法及装置
CN111553249B (zh) * 2020-04-25 2021-04-30 深圳德技创新实业有限公司 一种cv下基于h-b分级的精准面瘫程度评测方法及装置
CN111613306A (zh) * 2020-05-19 2020-09-01 南京审计大学 一种多特征融合的面瘫自动评估方法
CN113450913A (zh) * 2020-08-06 2021-09-28 心医国际数字医疗系统(大连)有限公司 一种数据处理装置、方法及电子设备
CN112466437A (zh) * 2020-11-03 2021-03-09 桂林医学院附属医院 一种中风信息处理系统
CN112768065B (zh) * 2021-01-29 2024-07-02 北京大学口腔医学院 一种基于人工智能的面瘫分级诊断方法、装置
CN113033359B (zh) * 2021-03-12 2023-02-24 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及系统
CN113327247B (zh) * 2021-07-14 2024-06-18 中国科学院深圳先进技术研究院 一种面神经功能评估方法、装置、计算机设备及存储介质
CN114664410B (zh) * 2022-03-11 2022-11-08 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499025B1 (en) * 1999-06-01 2002-12-24 Microsoft Corporation System and method for tracking objects by fusing results of multiple sensing modalities
US9317785B1 (en) * 2014-04-21 2016-04-19 Video Mining Corporation Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法
CN105913038B (zh) * 2016-04-26 2019-08-06 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
US10417483B2 (en) * 2017-01-25 2019-09-17 Imam Abdulrahman Bin Faisal University Facial expression recognition
CN107273845B (zh) * 2017-06-12 2020-10-02 大连海事大学 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN108388876B (zh) * 2018-03-13 2022-04-22 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108388890A (zh) * 2018-03-26 2018-08-10 南京邮电大学 一种基于面部表情识别的新生儿疼痛程度评估方法及系统
CN108596039B (zh) * 2018-03-29 2020-05-05 南京邮电大学 一种基于3d卷积神经网络的双模态情感识别方法及系统

Also Published As

Publication number Publication date
CN109508644A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN109508644B (zh) 基于深度视频数据分析的面瘫等级评估系统
Zhao et al. Supervised segmentation of un-annotated retinal fundus images by synthesis
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
Haloi Improved microaneurysm detection using deep neural networks
Yan et al. Modeling annotator expertise: Learning when everybody knows a bit of something
CN113724880A (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
CN106530295A (zh) 一种视网膜病变的眼底图像分类方法和装置
CN107886503A (zh) 一种消化道解剖位置识别方法及装置
US12008793B2 (en) Object behavior analysis method, information display method, and electronic device
CN110991254A (zh) 超声图像视频分类预测方法及系统
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
KR20210007260A (ko) 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체
CN114038564A (zh) 一种糖尿病无创风险预测方法
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
CN117671787A (zh) 一种基于Transformer的康复动作评估方法
Vamsi et al. Early Detection of Hemorrhagic Stroke Using a Lightweight Deep Learning Neural Network Model.
CN113506274B (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
Norval et al. Evaluation of image processing technologies for pulmonary tuberculosis detection based on deep learning convolutional neural networks
CN114372985A (zh) 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统
CN117338234A (zh) 一种屈光度与视力联合检测方法
KR20230054286A (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
CN115909438A (zh) 基于深度时空域卷积神经网络的疼痛表情识别系统
CN110020597A (zh) 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统
CN113033359A (zh) 基于自监督的预训练和面瘫分级的建模、分级方法及系统
CN111932486A (zh) 一种基于3d卷积神经网络的脑胶质瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant