CN113255535A - 一种基于微表情分析的抑郁症识别方法 - Google Patents
一种基于微表情分析的抑郁症识别方法 Download PDFInfo
- Publication number
- CN113255535A CN113255535A CN202110606543.8A CN202110606543A CN113255535A CN 113255535 A CN113255535 A CN 113255535A CN 202110606543 A CN202110606543 A CN 202110606543A CN 113255535 A CN113255535 A CN 113255535A
- Authority
- CN
- China
- Prior art keywords
- face
- micro
- depression
- training
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000010195 expression analysis Methods 0.000 title claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000008451 emotion Effects 0.000 claims abstract description 10
- 230000001815 facial effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 10
- 230000002996 emotional effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000003442 weekly effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 2
- 208000020401 Depressive disease Diseases 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于微表情分析的抑郁症识别方法，包括：S1，通过用户的移动终端的前置相机动态捕捉使用者面部图片；S2，对面部图片进行依次预处理、人脸检测、人脸特征提取；S3，将提取的人脸特征输入已训练好的人脸识别模型进行微表情识别；S4，利用价态‑唤醒度理论对人脸进行情绪分类。本发明利用手机前置相机动态捕捉使用者面部图片，通过微表情识别技术，最终生成数据报告提供给医生辅助治疗，可以使得诊断更加准确，克服了专业抑郁症识别系统覆盖范围小、操作难度大、技术要求高的缺点。
Description
技术领域
本发明涉及机器视觉技术领域，具体涉及一种基于微表情分析的抑郁症识别方法。
背景技术
根据权威机构估算，目前中国泛抑郁人数已经接近一亿人。在抑郁症增速如此之高的现在，人们对于坏情绪与抑郁症难以区分，造成就医延误或浪费公共资源。随着机器学习领域的发展，抑郁症患者的情绪信息加工成为了前沿科学问题和研究热点，现有的抑郁症检测手段单一、检测设备昂贵，准确率低。因此行业内需要研发一种设备简单、检测准确率高的基于机器视觉的抑郁症识别方法。
发明内容
本发明的目的是为了克服以上现有技术存在的不足，提供了一种设备简单，检测准确率高的基于微表情分析的抑郁症识别方法。
本发明的目的通过以下的技术方案实现：
一种基于微表情分析的抑郁症识别方法，包括：
S1，通过用户的移动终端的前置相机动态捕捉使用者面部图片；
S2，对面部图片进行依次预处理、人脸检测、人脸特征提取；
S3，将提取的人脸特征输入已训练好的人脸识别模型进行微表情识别；
S4，利用价态-唤醒度理论对人脸进行情绪分类。
优选地，人脸识别模型的训练包括：获取人脸身份特征头像库，创建人脸识别模型；对头像库里面的人脸身份特征头像进行预处理、人脸检测、人脸特征提取；修改训练的配置和预训练权重，对人脸识别模型进行训练，最后输出训练结果。将情绪分类结果与预设结果对照。
优选地，人脸识别模型为YOLO-v3模型，YOLO-v3模型输出人脸预测边界框的中心点坐标、预测边界框的宽高以及该预测边界框的得分。
优选地，每张图片提取的特征图的维度为(num_anchors*bbox_attrs，grid_size，grid_size)；其中：num_anchors表示特征图上每个格子使用的Anchors的数量，bbox_attrs表示每个预测边际框所包含的参数；grid_size表示特征图的尺寸；
优选地，对面部图片进行预处理包括：面部图片对人脸图像进行人脸对齐与归一化处理，增强图像中的人脸信息。
优选地，在步骤S1中，前置相机间隔预设时间动态捕捉使用者面部图片。
优选地，移动终端为手机。
优选地，步骤S4之后还包括：生成日/周/月情绪汇报。
本发明相对于现有技术具有如下优点：
随着科技发展，手机的使用越来越普遍，利用手机前置相机动态捕捉使用者面部图片，通过微表情识别技术，最终生成数据报告提供给医生辅助治疗，可以使得诊断更加准确，克服了专业抑郁症识别系统覆盖范围小、操作难度大、技术要求高的缺点。本发明利用手机前置相机可以进行长期的数据收集，进行抑郁症诊断提供帮助在科学上具有可行性。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的基于微表情分析的抑郁症识别方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参见图1、一种基于微表情分析的抑郁症识别方法，包括：
S1，通过用户的移动终端的前置相机动态捕捉使用者面部图片；具体地，前置相机间隔预设时间动态捕捉使用者面部图片。移动终端为手机。
S2，对面部图片进行依次预处理、人脸检测、人脸特征提取；对面部图片进行预处理包括：面部图片对人脸图像进行人脸对齐与归一化处理，增强图像中的人脸信息。
其中，预处理后还进行清洗。
每张图片提取的特征图的维度为(num_anchors*bbox_attrs，grid_size，grid_size)；其中：num_anchors表示特征图上每个格子使用的Anchors的数量，YOLO_v3中为3；bbox_attrs表示每个预测边际框所包含的参数，原始YOLO_v3中其大小为85，其中80为目标类别数，5为每个预测框的输出，包含2个中心点坐标以及预测框的宽和高以及该预测框的得分；grid_size表示特征图的尺寸；YOLO_v3在训练中计算损失时，是将一个batch_size数的图片的数据一起计算的。
S3，将提取的人脸特征输入已训练好的人脸识别模型进行微表情识别；
在本实施例，人脸识别模型的训练包括：获取人脸身份特征头像库，创建人脸识别模型；对头像库里面的人脸身份特征头像进行预处理、人脸检测、人脸特征提取；修改训练的配置和预训练权重，对人脸识别模型进行训练，最后输出训练结果。将情绪分类结果与预设结果对照。
在本实施例，人脸识别模型为YOLO-v3模型，YOLO-v3模型输出人脸预测边界框的中心点坐标、预测边界框的宽高以及该预测边界框的得分。
S4，利用价态-唤醒度理论对人脸进行情绪分类。
在本实施例，步骤S4之后还包括：生成日/周/月情绪汇报。
本申请基于YOLO-v3模型的表情检测流程如下：首先对训练集进行预处理，人脸检测、人脸特征提取，之后使用YOLO模型对学习者面部进行微表情识别，引入V-A模型输出Arousal–Valence标签作为情绪评价的参数，对YOLO_v3训练损失函数计算，利用V-A理论进行情绪检测，最后使用修改后的YOLO_v3网络训练获得模型，最终在训练完成的模型上进行人脸及表情的检测。
因此本发明使得微表情辅助诊断抑郁症方法简单，实现难度小，使得可以大范围覆盖人群，减少中重度抑郁症的形成、减少因为抑郁症产生的社会危害、减少医疗资源在抑郁症前期诊断方面具有重大意义。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于微表情分析的抑郁症识别方法，其特征在于，包括：
S1，通过用户的移动终端的前置相机动态捕捉使用者面部图片；
S2，对面部图片进行依次预处理、人脸检测、人脸特征提取；
S3，将提取的人脸特征输入已训练好的人脸识别模型进行微表情识别；
S4，利用价态-唤醒度理论对人脸进行情绪分类。
2.根据权利要求1所述的基于微表情分析的抑郁症识别方法，其特征在于，人脸识别模型的训练包括：
获取人脸身份特征头像库，创建人脸识别模型；
对头像库里面的人脸身份特征头像进行预处理、人脸检测、人脸特征提取；
修改训练的配置和预训练权重，对人脸识别模型进行训练，最后输出训练结果。
将情绪分类结果与预设结果对照。
3.根据权利要求1所述的基于微表情分析的抑郁症识别方法，其特征在于，人脸识别模型为YOLO-v3模型，YOLO-v3模型输出人脸预测边界框的中心点坐标、预测边界框的宽高以及该预测边界框的得分。
4.根据权利要求1所述的基于微表情分析的抑郁症识别方法，其特征在于，每张图片提取的特征图的维度为(num_anchors*bbox_attrs，grid_size，grid_size)；
其中：num_anchors表示特征图上每个格子使用的Anchors的数量，bbox_attrs表示每个预测边际框所包含的参数；grid_size表示特征图的尺寸。
5.根据权利要求1所述的基于微表情分析的抑郁症识别方法，其特征在于，对面部图片进行预处理包括：面部图片对人脸图像进行人脸对齐与归一化处理，增强图像中的人脸信息。
6.根据权利要求1所述的基于微表情分析的抑郁症识别方法，其特征在于，在步骤S1中，前置相机间隔预设时间动态捕捉使用者面部图片。
7.根据权利要求1所述的基于微表情分析的抑郁症识别方法，其特征在于，移动终端为手机。
8.根据权利要求1所述的基于微表情分析的抑郁症识别方法，其特征在于，步骤S4之后还包括：生成日/周/月情绪汇报。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110606543.8A CN113255535A (zh) | 2021-05-28 | 2021-05-28 | 一种基于微表情分析的抑郁症识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110606543.8A CN113255535A (zh) | 2021-05-28 | 2021-05-28 | 一种基于微表情分析的抑郁症识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113255535A true CN113255535A (zh) | 2021-08-13 |
Family
ID=77185613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110606543.8A Pending CN113255535A (zh) | 2021-05-28 | 2021-05-28 | 一种基于微表情分析的抑郁症识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113255535A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218499A (zh) * | 2023-09-29 | 2023-12-12 | 北京百度网讯科技有限公司 | 面部表情捕捉模型的训练方法、面部表情驱动方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472564A (zh) * | 2019-08-14 | 2019-11-19 | 成都中科云集信息技术有限公司 | 一种基于特征金字塔网络的双向lstm微表情识别抑郁症方法 |
| CN110610138A (zh) * | 2019-08-22 | 2019-12-24 | 西安理工大学 | 一种基于卷积神经网络的面部情感分析方法 |
| CN110688911A (zh) * | 2019-09-05 | 2020-01-14 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
| CN111353390A (zh) * | 2020-01-17 | 2020-06-30 | 道和安邦（天津）安防科技有限公司 | 一种基于深度学习的微表情识别方法 |
| CN112232191A (zh) * | 2020-10-15 | 2021-01-15 | 南京邮电大学 | 基于微表情分析的抑郁症识别系统 |
| CN112380924A (zh) * | 2020-10-26 | 2021-02-19 | 华南理工大学 | 一种基于面部微表情动态识别的抑郁倾向检测方法 |
-
2021
- 2021-05-28 CN CN202110606543.8A patent/CN113255535A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472564A (zh) * | 2019-08-14 | 2019-11-19 | 成都中科云集信息技术有限公司 | 一种基于特征金字塔网络的双向lstm微表情识别抑郁症方法 |
| CN110610138A (zh) * | 2019-08-22 | 2019-12-24 | 西安理工大学 | 一种基于卷积神经网络的面部情感分析方法 |
| CN110688911A (zh) * | 2019-09-05 | 2020-01-14 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
| CN111353390A (zh) * | 2020-01-17 | 2020-06-30 | 道和安邦（天津）安防科技有限公司 | 一种基于深度学习的微表情识别方法 |
| CN112232191A (zh) * | 2020-10-15 | 2021-01-15 | 南京邮电大学 | 基于微表情分析的抑郁症识别系统 |
| CN112380924A (zh) * | 2020-10-26 | 2021-02-19 | 华南理工大学 | 一种基于面部微表情动态识别的抑郁倾向检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| GUAN-CHUN LUH等: "FACIAL EXPRESSION BASED EMOTION RECOGNITION EMPLOYING YOLOV3 DEEP NEURAL NETWORKS", 《2019 INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS（ICMLC）》, 6 January 2020 (2020-01-06), pages 3 - 4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218499A (zh) * | 2023-09-29 | 2023-12-12 | 北京百度网讯科技有限公司 | 面部表情捕捉模型的训练方法、面部表情驱动方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090458B (zh) | 人体跌倒检测方法和装置 | |
| CN104361276B (zh) | 一种多模态生物特征身份认证方法及系统 | |
| CN105160318B (zh) | 基于面部表情的测谎方法及系统 | |
| CN108304793B (zh) | 在线学习分析系统及方法 | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
| CN108921038A (zh) | 一种基于深度学习人脸识别技术的课堂快速点名签到方法 | |
| CN112201343B (zh) | 基于脸部微表情的认知状态识别系统及方法 | |
| CN108510988A (zh) | 一种用于聋哑人的语言识别系统及方法 | |
| CN109568123B (zh) | 一种基于yolo目标检测的穴位定位方法 | |
| CN109872714A (zh) | 一种提高语音识别准确性的方法、电子设备及存储介质 | |
| CN110826612A (zh) | 深度学习的训练识别方法 | |
| CN112768070A (zh) | 一种基于对话交流的精神健康评测方法和系统 | |
| CN113269903A (zh) | 人脸识别课堂考勤系统 | |
| CN111539408A (zh) | 基于拍照识物的智能点读方案 | |
| CN109345427B (zh) | 一种结合人脸识别和行人识别技术的教室视频点到方法 | |
| CN113076860B (zh) | 一种野外场景下的鸟类检测系统 | |
| CN113255535A (zh) | 一种基于微表情分析的抑郁症识别方法 | |
| CN110399810A (zh) | 一种辅助点名方法及装置 | |
| CN111199050B (zh) | 一种用于对病历进行自动脱敏的系统及应用 | |
| CN111507124A (zh) | 基于深度学习的非接触式视频测谎方法及系统 | |
| CN113642446A (zh) | 一种基于人脸动态情绪识别的检测方法和装置 | |
| CN106599765A (zh) | 基于对象连续发音的视-音频判断活体的方法及系统 | |
| CN114463776A (zh) | 跌倒识别方法、装置、设备及存储介质 | |
| EP3973476A1 (en) | Systems and methods to train a cell object detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |