CN113221859A - 一种基于微表情分析的睡眠障碍判别方法和系统 - Google Patents
一种基于微表情分析的睡眠障碍判别方法和系统 Download PDFInfo
- Publication number
- CN113221859A CN113221859A CN202110690775.6A CN202110690775A CN113221859A CN 113221859 A CN113221859 A CN 113221859A CN 202110690775 A CN202110690775 A CN 202110690775A CN 113221859 A CN113221859 A CN 113221859A
- Authority
- CN
- China
- Prior art keywords
- sleep disorder
- feature point
- analysis
- training
- eye contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000019116 sleep disease Diseases 0.000 title claims abstract description 100
- 208000020685 sleep-wake disease Diseases 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000010195 expression analysis Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000001815 facial effect Effects 0.000 claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 239000013598 vector Substances 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 20
- 238000003745 diagnosis Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 208000020016 psychiatric disease Diseases 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000001364 causal effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000012850 discrimination method Methods 0.000 claims 2
- 239000010410 layer Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012938 design process Methods 0.000 description 2
- 208000019888 Circadian rhythm sleep disease Diseases 0.000 description 1
- 208000006199 Parasomnias Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 208000024450 sleep related movement disease Diseases 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种基于微表情分析的睡眠障碍判别方法，包括：如下步骤：步骤1)、采集视频数据；步骤2)、处理视频数据：在步骤1)的基础上提取面部特征点，截取眼部轮廓图，排除可能的背景干扰；步骤3)、训练睡眠障碍面部特征点分析识别模型4)、训练睡眠障碍眼部轮廓分析识别模型；步骤5)、识别输出结果。本发明还包括一种基于微表情分析的睡眠障碍判别方法。本发明在已有良好清晰度的用户问诊视频的条件下，实现了基于微表情分析识别睡眠障碍的方法，实验结果表明，本发明能够有效地通过微表情分析识别睡眠障碍。
Description
技术领域
本发明属于机器视觉技术领域，具体涉及一种借助微表情变化实现睡眠障碍判别的方法和系统。
背景技术
睡眠是人体生命活动的重要组成部分，当人们进入睡眠后，大量的细胞反应在此期间发生、发展、相互联系，这些反应涉及机体的修复、再生以及为第2天的生活提供更好的精神及体力支持，而睡眠问题在人群中普遍存在。
2014年发布的第3版国际睡眠障碍分类将睡眠障碍分为了以下几种，包括失眠、睡眠相关呼吸障碍、过度嗜睡、昼夜节律睡眠障碍、异态睡眠、睡眠相关运动障碍、孤立症状，表面看似正常的变异和未定义的综合征及其他睡眠障碍。这种普遍存在的睡眠障碍会对患者造成巨大的身体和心理压力。因此，睡眠障碍的识别对于睡眠障碍的医疗防治工作是至关重要的。
近年来，随着微表情识别技术和深度学习技术的发展，使睡眠障碍的防治工作有了新的方向。但由于微表情强度微弱，容易受环境扰动，持续时间短，发生部位区域狭小且不确定等因素影响，导致微表情识别的准确率大大降低进而影响睡眠障碍的识别，并且为用户提供的智能识别设备对微表情识别系统的实时性的要求苛刻，而微表情识别所采用的深度神经网络并不能满足条件。
综上所述，如何在现有技术上提出智能化、个性化、精确化、便利化的基于微表情分析的睡眠障碍识别系统成为了目前业内人士所亟待解决的问题。
目前国内外尚没有人利用人工智能技术基于微表情分析进行智能睡眠障碍筛查的相关研究。有待设计高效的深度学习模型，以专家医生与患者的诊断视频为样本，对所设计的深度学习模型进行训练和测试，以设计出能达到高评估准确率的深度学习模型。
发明内容
本发明要克服上述国内外基于微表情分析的睡眠障碍检测技术的缺失，从面部特征点和眼部轮廓两方面入手，提出一种新的基于微表情分析识别睡眠障碍的方法和系统。
本发明研究了不同部位的面部特征点在微表情检测中的权重和影响力，最后选取了在睡眠障碍检测中最具影响力的68个面部特征点，同时结合眼部轮廓的图像检测，有效地克服了表情变化环境扰动，发生部位狭小且不确定等因素的影响，利用患者问诊视频实现了高准确率、较高效率的睡眠障碍检测方法。
本发明所述的基于微表情分析的睡眠障碍判别方法，包括以下步骤：
步骤1)、精神疾病专家问诊视频数据预处理，具体包括：
(1.1)整理精神疾病专家问诊视频，根据个人截取问诊的核心片段；
(1.2)使用市面上的面部特征点提取工具，对问诊视频片段中的人脸进行特征点提取，得到按时间戳排序的68个面部三维坐标点数据；
(1.3)手动截取问诊视频中的眼部轮廓图片；
(1.4)检查提取的特征点数据，清洗其中置信度低的数据，手动修正眼部轮廓图片中的错误内容；
步骤2)、训练睡眠障碍面部特征点分析识别模型，具体包括：
(2.1)提取步骤1获得的面部特征点数据集，提取面部特征点所属者的诊断结果作为标签，将特征点序列与标签对应起来，完成训练集，验证集和测试集的制作；
(2.2)搭建TCN时间序列模型，TCN使用十层因果卷积，卷积核大小设置为5，隐藏层的神经元个数设置为128，输出结果为0和1(是否有睡眠障碍)；
(2.3)构建二元交叉熵损失函数。损失函数公式如(1-1)所示。
(2.4)将训练集面部特征点数据、标签作为输入信号，输入搭建的睡眠障碍识别模型，采用经过DAIC-WOZ Depression Database预训练模型进行训练，将面部特征点数据变成一个3维的向量。向量输入TCN因果卷积层中，将每一个时序的输出向量经过大小为5的一维卷积核卷积后送入隐藏层，取最后一层隐藏层的所有神经元输出向量进行加权，并将结果作为特征向量，再选择Softmax函数进行分类，得到输出信号，即是否有睡眠障碍；
步骤3)、训练睡眠障碍眼部轮廓分析识别模型，具体包括：
(3.1)提取步骤1获得的眼部轮廓图片数据集，提取眼部轮廓图所属者的诊断结果作为标签，将图片与标签对应起来，完成训练集，验证集和测试集的制作；
(3.2)搭建YOLOv4视频目标检测模型，使用Mosaic数据增强，输出结果为轻度、中度和重度(患有睡眠障碍的程度)三个标签及其置信度；
(3.3)构建CIoU Loss函数。损失函数公式如(1-2)所示。
(3.4)将训练集图片、标签作为输入信号，输入搭建的睡眠障碍眼部轮廓分析模型，采用经过ImageNet预训练的模型权重进行迁移学习，将输入的图片变成3通道的二维向量，通过多次卷积操作提取特征向量，选用PANet和SPPNet对主干特征提取网络得到的特征向量进行加强提取，最后得到的特征向量输入YOLOHead取得结果，即睡眠障碍的程度；
步骤4)、识别用户的睡眠障碍情况，具体包括：
(4.1)选择要诊断的用户问诊视频，提取特征点数据；
(4.2)加载步骤2中保存的睡眠障碍面部特征点分析识别模型，输入步骤(4.1)中得到的特征点数据，得到用户是否患有睡眠障碍的结果；
(4.3)加载步骤3中保存的睡眠障碍眼部轮廓分析识别模型，输入视频数据，得到视频全程中用户眼部轮廓的检测结果；
(4.4)综合步骤(4.2)和(4.3)中得到的结果，综合给出用户睡眠障碍诊断情况。
优选地，步骤(3.2)中YOLOv4输入图片尺寸为412*412，权重衰减正则值设置为0.0005，初始学习率设置为0.0013。
本发明还包括实施所述的一种基于微表情分析的睡眠障碍判别方法的系统，包括依次连接的精神疾病专家问诊视频数据预处理模块、睡眠障碍面部特征点分析识别模型训练模块、睡眠障碍眼部轮廓分析识别模型训练模块、用户的睡眠障碍情况识别模块。
本发明的优点是：本发明方法易于操作，模型训练快速，匹配准确率高。由于在目前的睡眠障碍诊断中，需要前往专业的医疗机构进行诊断，诊断周期长，手续繁琐，成本高。因此本发明可以作为睡眠障碍检测的辅助手段，用户只需要通过摄像头录制问诊视频上传到模型中，便可以得到结果，反馈速度快，并能给出用户睡眠障碍的程度，为用户后续是否选择前往医院就诊提供参考。
附图说明
图1为本发明的一张采集良好的面部特征点三维散点图。
图2为本发明的一张模糊化后的眼部轮廓图。
图3为本发明睡眠障碍面部特征点分析识别模型图。
图4为本发明TCN模型的单层因果卷积模型图。
图5为本发明中睡眠障碍眼部轮廓分析识别模型。
图6是本发明的流程图。
具体实施方式
下面结合附图进一步说明本发明。
本发明所述的基于微表情分析的睡眠障碍判别方法，包括以下步骤：
步骤1)、精神疾病专家问诊视频数据预处理，具体包括：
(1.1)整理精神疾病专家问诊视频，根据个人截取问诊的核心片段；
(1.2)使用市面上的面部特征点提取工具，对问诊视频片段中的人脸进行特征点提取，得到按时间戳排序的68个面部三维坐标点数据，示意图如说明书附图中图1所示；
(1.3)手动截取问诊视频中的眼部轮廓图片，示意图如说明书附图中图2所示；
(1.4)检查提取的特征点数据，清洗其中置信度低的数据，手动修正眼部轮廓图片中的错误内容；
步骤2)、训练睡眠障碍面部特征点分析识别模型，具体包括：
(2.1)提取步骤1获得的面部特征点数据集，提取面部特征点所属者的诊断结果作为标签，将特征点序列与标签对应起来，完成训练集，验证集和测试集的制作；
(2.2)搭建TCN时间序列模型，模型设计流程如说明书附图中图3所示，TCN使用十层因果卷积，因果卷积设计如说明书附图中图4所示，卷积核大小设置为5，隐藏层的神经元个数设置为128，输出结果为0和1(是否有睡眠障碍)；
(2.3)构建二元交叉熵损失函数。损失函数公式如(1-1)所示。
(2.4)将训练集面部特征点数据、标签作为输入信号，输入搭建的睡眠障碍识别模型，采用经过DAIC-WOZ Depression Database预训练模型进行训练，将面部特征点数据变成一个3维的向量。向量输入TCN因果卷积层中，将每一个时序的输出向量经过大小为5的一维卷积核卷积后送入隐藏层，取最后一层隐藏层的所有神经元输出向量进行加权，并将结果作为特征向量，再选择Softmax函数进行分类，得到输出信号，即是否有睡眠障碍；
步骤3)、训练睡眠障碍眼部轮廓分析识别模型，具体包括：
(3.1)提取步骤1获得的眼部轮廓图片数据集，提取眼部轮廓图所属者的诊断结果作为标签，将图片与标签对应起来，完成训练集，验证集和测试集的制作；
(3.2)搭建YOLOv4视频目标检测模型，模型示意图如说明书附图中图5所示，YOLOv4输入图片尺寸为412*412，权重衰减正则值设置为0.0005，初始学习率设置为0.0013，使用Mosaic数据增强，输出结果为轻度、中度和重度(患有睡眠障碍的程度)三个标签及其置信度；
(3.3)构建CIoU Loss函数。损失函数公式如(1-2)所示。
(3.4)将训练集图片、标签作为输入信号，输入搭建的睡眠障碍眼部轮廓分析模型，采用经过ImageNet预训练的模型权重进行迁移学习，将输入的图片变成3通道的二维向量，通过多次卷积操作提取特征向量，选用PANet和SPPNet对主干特征提取网络得到的特征向量进行加强提取，最后得到的特征向量输入YOLOHead取得结果，即睡眠障碍的程度；
步骤4)、识别用户的睡眠障碍情况，具体包括：
(4.1)选择要诊断的用户问诊视频，提取特征点数据；
(4.2)加载步骤2中保存的睡眠障碍面部特征点分析识别模型，输入(4.1)中得到的特征点数据，得到用户是否患有睡眠障碍的结果；
(4.3)加载步骤3中保存的睡眠障碍眼部轮廓分析识别模型，输入视频数据，得到视频全程中用户眼部轮廓的检测结果；
(4.4)综合(4.2)和(4.3)中得到的结果，综合给出用户睡眠障碍诊断情况。
本发明还包括实施所述的一种基于微表情分析的睡眠障碍判别方法的系统，包括依次连接的精神疾病专家问诊视频数据预处理模块、睡眠障碍面部特征点分析识别模型训练模块、睡眠障碍眼部轮廓分析识别模型训练模块、用户的睡眠障碍情况识别模块；
精神疾病专家问诊视频数据预处理模块，具体包括：
(1.1)整理精神疾病专家问诊视频，根据个人截取问诊的核心片段；
(1.2)使用市面上的面部特征点提取工具，对问诊视频片段中的人脸进行特征点提取，得到按时间戳排序的68个面部三维坐标点数据，示意图如说明书附图中图1所示；
(1.3)手动截取问诊视频中的眼部轮廓图片，示意图如说明书附图中图2所示；
(1.4)检查提取的特征点数据，清洗其中置信度低的数据，手动修正眼部轮廓图片中的错误内容；
睡眠障碍面部特征点分析识别模型训练模块，具体包括：
(2.1)提取精神疾病专家问诊视频数据预处理模块获得的面部特征点数据集，提取面部特征点所属者的诊断结果作为标签，将特征点序列与标签对应起来，完成训练集，验证集和测试集的制作；
(2.2)搭建TCN时间序列模型，模型设计流程如说明书附图中图3所示，TCN使用十层因果卷积，因果卷积设计如说明书附图中图4所示，卷积核大小设置为5，隐藏层的神经元个数设置为128，输出结果为0和1(是否有睡眠障碍)；
(2.3)构建二元交叉熵损失函数。损失函数公式如(1-1)所示。
(2.4)将训练集面部特征点数据、标签作为输入信号，输入搭建的睡眠障碍识别模型，采用经过DAIC-WOZ Depression Database预训练模型进行训练，将面部特征点数据变成一个3维的向量。向量输入TCN因果卷积层中，将每一个时序的输出向量经过大小为5的一维卷积核卷积后送入隐藏层，取最后一层隐藏层的所有神经元输出向量进行加权，并将结果作为特征向量，再选择Softmax函数进行分类，得到输出信号，即是否有睡眠障碍；
睡眠障碍眼部轮廓分析识别模型训练模块，具体包括：
(3.1)提取精神疾病专家问诊视频数据预处理模块获得的眼部轮廓图片数据集，提取眼部轮廓图所属者的诊断结果作为标签，将图片与标签对应起来，完成训练集，验证集和测试集的制作；
(3.2)搭建YOLOv4视频目标检测模型，模型示意图如说明书附图中图5所示，YOLOv4输入图片尺寸为412*412，权重衰减正则值设置为0.0005，初始学习率设置为0.0013，使用Mosaic数据增强，输出结果为轻度、中度和重度(患有睡眠障碍的程度)三个标签及其置信度；
(3.3)构建CIoU Loss函数。损失函数公式如(1-2)所示。
(3.4)将训练集图片、标签作为输入信号，输入搭建的睡眠障碍眼部轮廓分析模型，采用经过ImageNet预训练的模型权重进行迁移学习，将输入的图片变成3通道的二维向量，通过多次卷积操作提取特征向量，选用PANet和SPPNet对主干特征提取网络得到的特征向量进行加强提取，最后得到的特征向量输入YOLOHead取得结果，即睡眠障碍的程度；
用户的睡眠障碍情况识别模块，具体包括：
(4.1)选择要诊断的用户问诊视频，提取特征点数据；
(4.2)加载睡眠障碍面部特征点分析识别模型训练模块中保存的睡眠障碍面部特征点分析识别模型，输入所述的特征点数据，得到用户是否患有睡眠障碍的结果；
(4.3)加载睡眠障碍眼部轮廓分析识别模型训练模块中保存的睡眠障碍眼部轮廓分析识别模型，输入视频数据，得到视频全程中用户眼部轮廓的检测结果；
(4.4)综合用户是否患有睡眠障碍的结果和视频全程中用户眼部轮廓的检测结果，综合给出用户睡眠障碍诊断情况。
Claims (3)
1.一种基于微表情分析的睡眠障碍判别方法，包括：
步骤1)、精神疾病专家问诊视频数据预处理，具体包括：
(1.1)整理精神疾病专家问诊视频，根据个人截取问诊的核心片段；
(1.2)使用市面上的面部特征点提取工具，对问诊视频片段中的人脸进行特征点提取，得到按时间戳排序的68个面部三维坐标点数据；
(1.3)手动截取问诊视频中的眼部轮廓图片；
(1.4)检查提取的特征点数据，清洗其中置信度低的数据，手动修正眼部轮廓图片中的错误内容；
步骤2)、训练睡眠障碍面部特征点分析识别模型，具体包括：
(2.1)提取步骤1获得的面部特征点数据集，提取面部特征点所属者的诊断结果作为标签，将特征点序列与标签对应起来，完成训练集，验证集和测试集的制作；
(2.2)搭建TCN时间序列模型，TCN使用十层因果卷积，卷积核大小设置为5，隐藏层的神经元个数设置为128，输出结果为0和1(是否有睡眠障碍)；
(2.3)构建二元交叉熵损失函数。损失函数公式如(1-1)所示。
(2.4)将训练集面部特征点数据、标签作为输入信号，输入搭建的睡眠障碍识别模型，采用经过DAIC-WOZ Depression Database预训练模型进行训练，将面部特征点数据变成一个3维的向量。向量输入TCN因果卷积层中，将每一个时序的输出向量经过大小为5的一维卷积核卷积后送入隐藏层，取最后一层隐藏层的所有神经元输出向量进行加权，并将结果作为特征向量，再选择Softmax函数进行分类，得到输出信号，即是否有睡眠障碍；
步骤3)、训练睡眠障碍眼部轮廓分析识别模型，具体包括：
(3.1)提取步骤1获得的眼部轮廓图片数据集，提取眼部轮廓图所属者的诊断结果作为标签，将图片与标签对应起来，完成训练集，验证集和测试集的制作；
(3.2)搭建YOLOv4视频目标检测模型，YOLOv4输入图片尺寸为412*412，权重衰减正则值设置为0.0005，初始学习率设置为0.0013，使用Mosaic数据增强，输出结果为轻度、中度和重度(患有睡眠障碍的程度)三个标签及其置信度；
(3.3)构建CIoU Loss函数。损失函数公式如(1-2)所示。
(3.4)将训练集图片、标签作为输入信号，输入搭建的睡眠障碍眼部轮廓分析模型，采用经过ImageNet预训练的模型权重进行迁移学习，将输入的图片变成3通道的二维向量，通过多次卷积操作提取特征向量，选用PANet和SPPNet对主干特征提取网络得到的特征向量进行加强提取，最后得到的特征向量输入YOLOHead取得结果，即睡眠障碍的程度；
步骤4)、识别用户的睡眠障碍情况，具体包括：
(4.1)选择要诊断的用户问诊视频，提取特征点数据；
(4.2)加载步骤2中保存的睡眠障碍面部特征点分析识别模型，输入(4.1)中得到的特征点数据，得到用户是否患有睡眠障碍的结果；
(4.3)加载步骤3中保存的睡眠障碍眼部轮廓分析识别模型，输入视频数据，得到视频全程中用户眼部轮廓的检测结果；
(4.4)综合步骤(4.2)和(4.3)中得到的结果，综合给出用户睡眠障碍诊断情况。
2.如权利要求1所述的一种基于微表情分析的睡眠障碍判别方法的系统，其特征在于：YOLOv4输入图片尺寸为412*412，权重衰减正则值设置为0.0005，初始学习率设置为0.0013。
3.实施权利要求1所述的一种基于微表情分析的睡眠障碍判别方法的系统，其特征在于：包括依次连接的精神疾病专家问诊视频数据预处理模块、睡眠障碍面部特征点分析识别模型训练模块、睡眠障碍眼部轮廓分析识别模型训练模块、用户的睡眠障碍情况识别模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110690775.6A CN113221859B (zh) | 2021-06-22 | 2021-06-22 | 一种基于微表情分析的睡眠障碍判别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110690775.6A CN113221859B (zh) | 2021-06-22 | 2021-06-22 | 一种基于微表情分析的睡眠障碍判别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113221859A true CN113221859A (zh) | 2021-08-06 |
| CN113221859B CN113221859B (zh) | 2024-03-29 |
Family
ID=77080844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110690775.6A Active CN113221859B (zh) | 2021-06-22 | 2021-06-22 | 一种基于微表情分析的睡眠障碍判别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221859B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115429293A (zh) * | 2022-11-04 | 2022-12-06 | 之江实验室 | 一种基于脉冲神经网络的睡眠类型分类方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170084516A (ko) * | 2016-01-12 | 2017-07-20 | 주식회사 선테크 | 원격 진단을 병행한 수면성 호흡장애 진단시스템 |
| CN110348500A (zh) * | 2019-06-30 | 2019-10-18 | 浙江大学 | 基于深度学习和红外热像的睡眠障碍辅助诊断方法 |
| CN111563435A (zh) * | 2020-04-28 | 2020-08-21 | 深圳市优必选科技股份有限公司 | 用户的睡眠状态检测方法及装置 |
| CN112493991A (zh) * | 2020-11-10 | 2021-03-16 | 博恒科技（杭州）有限公司 | 一种针对睡眠呼吸暂停的红外摄像检测系统 |
-
2021
- 2021-06-22 CN CN202110690775.6A patent/CN113221859B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170084516A (ko) * | 2016-01-12 | 2017-07-20 | 주식회사 선테크 | 원격 진단을 병행한 수면성 호흡장애 진단시스템 |
| CN110348500A (zh) * | 2019-06-30 | 2019-10-18 | 浙江大学 | 基于深度学习和红外热像的睡眠障碍辅助诊断方法 |
| CN111563435A (zh) * | 2020-04-28 | 2020-08-21 | 深圳市优必选科技股份有限公司 | 用户的睡眠状态检测方法及装置 |
| CN112493991A (zh) * | 2020-11-10 | 2021-03-16 | 博恒科技（杭州）有限公司 | 一种针对睡眠呼吸暂停的红外摄像检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 覃恒基;刘官正;: "基于自编码器和隐马尔可夫模型的睡眠呼吸暂停检测方法", 中国生物医学工程学报, no. 04, 20 August 2020 (2020-08-20), pages 41 - 50 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115429293A (zh) * | 2022-11-04 | 2022-12-06 | 之江实验室 | 一种基于脉冲神经网络的睡眠类型分类方法和装置 |
| CN115429293B (zh) * | 2022-11-04 | 2023-04-07 | 之江实验室 | 一种基于脉冲神经网络的睡眠类型分类方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113221859B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | CANet: cross-disease attention network for joint diabetic retinopathy and diabetic macular edema grading | |
| Haloi | Improved microaneurysm detection using deep neural networks | |
| CN110188836B (zh) | 一种基于变分自编码器的脑功能网络分类方法 | |
| CN109447183A (zh) | 模型训练方法、装置、设备以及介质 | |
| CN105426875A (zh) | 一种基于深度卷积神经网络的人脸识别方法和考勤系统 | |
| CN109993100B (zh) | 基于深层特征聚类的人脸表情识别的实现方法 | |
| CN107392109A (zh) | 一种基于深度神经网络的新生儿疼痛表情识别方法 | |
| CN110717389A (zh) | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 | |
| CN109919938A (zh) | 青光眼的视盘分割图谱获取方法 | |
| Chandrasekaran et al. | Fuzzy KNN Implementation for Early Parkinson's Disease Prediction | |
| CN116343284A (zh) | 基于注意力机制的多特征户外环境情绪识别方法 | |
| Gang et al. | Recognition of honeycomb lung in CT images based on improved MobileNet model | |
| CN114093501A (zh) | 基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法 | |
| CN117198468A (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
| CN112767374A (zh) | 基于mri的阿尔茨海默症病灶区域语义分割算法 | |
| Al Jannat et al. | Detection of multiple sclerosis using deep learning | |
| Naz et al. | Ensembled Deep Convolutional Generative Adversarial Network for Grading Imbalanced Diabetic Retinopathy Recognition | |
| CN113221859B (zh) | 一种基于微表情分析的睡眠障碍判别方法和系统 | |
| Zheng et al. | Rapid screening of children with autism spectrum disorders through face image classification | |
| Sadek et al. | Neural network-based method for early diagnosis of autism spectral disorder head-banging behavior from recorded videos | |
| Tobias et al. | Android Application for Chest X-ray Health Classification From a CNN Deep Learning TensorFlow Model | |
| CN116746929A (zh) | 一种基于混合增强和时序对比学习的脑电情绪识别方法 | |
| Semerjian et al. | White blood cells classification using built-in customizable trained convolutional neural network | |
| CN116484290A (zh) | 一种基于Stacking集成的抑郁症识别模型构建方法 | |
| El-Sayed | A Hybrid CNN-LSTM Deep Learning Model for Classification of the Parkinson Disease. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |