CN105279380B - 一种基于表情分析的抑郁程度自动评估系统 - Google Patents

Abstract

本发明公开了一种基于表情分析的抑郁程度自动评估系统，包括数据采集模块、预处理和特征提取模块、相关特征提取模块、预测模型训练模块、新视频标注模块和新视频预测模块。本发明全程自动化，无侵入，无需受试对象的长时间配合，可长时间工作；本发明提供了一种客观的评估标准，不依赖于主观经验，能够真正做到客观有效的评估；本发明能够综合分析不同受试对象的数据，不局限于对单一对象进行孤立分析。

Description

一种基于表情分析的抑郁程度自动评估系统

技术领域

本发明涉及抑郁程度评估系统，特别是涉及一种基于表情分析的抑郁程度自动评估系统。

背景技术

抑郁症是以行为出现异常，心境低落为主要症状的一种心身疾病，常伴有情绪认知障碍，具有高发病率、难治愈和高自杀率的特点。据世界卫生组织统计，抑郁症的年患病率为10％，终身患病率为17％，每年约100万人死于自杀。并且，据世界卫生组织预测，截至2020年抑郁症将成为世界第二大致残诱因，至2030年抑郁症将成为最大的疾病负担。

传统的抑郁症评估采用临床问卷及访谈方式，需要根据病人的当前状况、病史、家族史以及各种社会心理量表填写情况进行评估。常用的三大诊断系统为精神疾病诊断与统计手册第4版、国际疾病分类第10版和中国精神疾病分类方案与诊断标准第3版。现有的抑郁评估时根据抑郁症自评量表和医生的经验来判断的，该技术存在以下不足：

(1)临床问卷及访谈对医生的专业知识和临床经验要求较高，易受到医生的主观因素影响；

(2)临床问卷及访谈需要受试对象的长时间的积极配合，已引起受试者的烦躁；

(3)临床问卷及访谈忽略了抑郁症患者的无意识表情或动作，无法进行客观有效的分析评估。并且，临床问卷及访谈方式效率低，资源消耗大。

发明内容

发明目的：本发明的目的是提供一种自动化、无需受试对象长时间配合的客观有效的基于表情分析的抑郁程度自动评估系统。

技术方案：为达到此目的，本发明采用以下技术方案：

本发明所述的基于表情分析的抑郁程度自动评估系统，包括：

数据采集模块：采集受试对象的访谈视频，每一段视频都对应标注了抑郁程度HAMD-17分值y；

预处理和特征提取模块：根据FACS手册定义视频特征库f，并在访谈视频中提取视频特征库f及其对应的HAMD-17分值y，并对HAMD-17分值y进行5级量化得到HAMD-17量化分值；

相关特征提取模块：获取视频特征库f中与抑郁严重程度最相关的特征f_s；

预测模型训练模块：利用ε-SVR参数回归方法建立抑郁程度的预测模型函数h(·)；

新视频标注模块：对于新输入的访谈视频，自动标注出最值得注意的位置和区段；

进一步，所述数据采集模块的访谈视频的内容为受试对象接受HAMD-17量表访谈时的面部动作；并且，每一段视频都对应标注了抑郁程度HAMD-17分值y。

进一步，所述视频特征库f中包括FACS手册定义的AU特征f_AU，AU组合事件特征AU时间域统计特征底层几何特征f_Geo，底层表观特征f_App；其中，AU为表情动作单元。

进一步，所述底层表观特征f_App选用SIFT的描述子。

进一步，所述预处理和特征提取模块中的HAMD-17量化分值是对HAMD-17分值y进行5级量化得到，量化区间为：0-7、8-13、14-18、19-22、23分及以上；对应的HAMD-17的量化分值分别为1、2、3、4、5。

进一步，所述相关特征提取模块是在预处理和特征提取模块提取的视频特征库f和对应的HAMD-17分值基础上，利用皮尔逊相关系数搜索视频特征库中与抑郁严重程度最相关的特征f_s；在搜索与抑郁严重程度最相关的特征f_s时，对视频特征库f中每一个维度计算皮尔逊相关系数R(i)，然后基于R(i)²对特征维度降序排列。

进一步，所述预测模型训练模块是基于相关特征提取模块得到的与抑郁严重程度最相关的特征，建立的抑郁程度预测模型。

进一步，所述的抑郁程度预测模型输出为HAMD-17量化分值，HAMD-17的量化分值1、2、3、4、5分别对应正常、轻微、中性、重度和极重度五个抑郁等级。

进一步，所述新视频标注模块根据相关特征提取模块得到的与抑郁严重程度最相关的特征，在视频的相应帧区间内进行标注，便于回顾视频中与抑郁严重程度最相关视频位置和区段。

有益效果：本发明具有以下的有益效果：

1)本发明全程自动化，无侵入，无需受试对象的长时间配合，可长时间工作；

2)本发明提供了一种客观的评估标准，不依赖于主观经验，能够真正做到客观有效的评估；

3)本发明能够综合分析不同受试对象的数据，不局限于对单一对象进行孤立分析。

附图说明

图1为本发明的系统框图；

图2为本发明的预处理和特征提取模块进行人脸特征点提取和图像对齐的示意图；

图3为本发明的底层几何特征的示意图；

图4为本发明的表情分析视频标注的示意图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步的介绍。

本发明的系统包括数据采集模块1、预处理和特征提取模块2、相关特征提取模块3、预测模型训练模块4、新视频标注模块5和新视频预测模块6，如图1所示。

其中：

数据采集模块1：采集受试对象的访谈视频，每一段视频都对应标注了抑郁程度HAMD-17分值y；

预处理和特征提取模块2：根据FACS手册定义视频特征库f，并在访谈视频中提取视频特征库f及其对应的HAMD-17分值y，并对HAMD-17分值y进行5级量化得到HAMD-17量化分值；其中，FACS(Facial Action Coding System)手册是心理学家为了科学分析面部表情，在上世纪70年代提出的；

相关特征提取模块3：获取视频特征库f中与抑郁严重程度最相关的特征f_s，以下简称为最相关特征f_s；

预测模型训练模块4：利用ε-SVR参数回归方法建立预测模型函数h(·)；

新视频标注模块5：对于新输入的访谈视频，自动标注出最值得注意的位置和区段；

系统的输出包括两个部分：(1)预测器给出的抑郁程度预测分值；(2)新输入数据中最相关特征所在的视频位置。本系统通过预测抑郁程度，自动标注新输入视频中值得注意的位置和区段，为受试者的抑郁特征评估提供了客观依据。

下面以一个实施例为例，对本发明系统进行更进一步的介绍，本发明系统的工作过程如下：

1)数据采集模块1采集受试对象的访谈视频

录制访谈视频时，固定光照环境和拍摄角度，由两名评定者与受试对象进行交谈，整个过程持续15分钟或者20分钟，访谈结束后，两名评定者分别独立评分。为避免评定者主观因素对判定结果的影响，后期选取两评定员一致性较好的评分结果进行分析。并为了保证不同受试对象不同时间的访谈录像中成像环境和讨论问题一致，访谈内容为HAMD-17量表，保证了视频数据的可比性。由此，每一段访谈视频都对应了一个HAMD-17心理学量表分值。本发明将这个分值作为抑郁程度标签，记为y。

2)预处理和特征提取模块2根据FACS手册定义视频特征库f，并在访谈视频中提取视频特征库f及其对应的HAMD-17分值y，并对HAMD-17分值y进行5级量化得到HAMD-17量化分值

本发明的视频预处理过程是采用SDM技术和普氏分析法实现视频中的人脸特征点检测和人脸图像对齐。SDM技术检测访谈视频中的每一帧的人脸特征点，人脸特征点的检测示意图见图2(a)。由于人脸视频中包含头部姿态，焦距，拍摄角度和距离的等因素，会干扰表情的分析。因此，将视频中的人脸与参考人脸形状对齐，实现图像对齐。在对齐过程中，预先选定一个固定大小(200X200像素)的参考人脸形状，如图2(b)所示。对每一张人脸图像，利用普氏分析法，计算最优的尺度，(平面内)旋转和平移变换，使得人脸图像与参考形状最接近。这个过程保证了参与训练和测试的所有人脸图像在统一的尺度上，并且不受头部姿态(平面内)偏转的影响。对齐后的人脸图像和特征点如图2(c)所示。

在特征提取中，预先定义一个视频特征库f，包括FACS表情动作单元(AU)f_AU，AU组合事件AU时间域统计特征底层几何特征f_Geo，底层表观特征f_App等。

视频特征库f中包括了一些AU组合事件。AU组合事件包含超出单个AU相加的信息。例如受试对象刻意控制自己的笑容(smile control)，通常表现为AU 12未正常结束时出现轻蔑表情AU 14或厌恶表情AU 15。这被心理学研究者认为是受试对象抑制自己愉悦情绪表达的一种倾向，是一个与抑郁程度紧密关联的重要特征。

视频特征库f中包括了一些AU时间域统计特征，例如特定AU在一段时间内出现的频率，平均持续时间等。除了瞬时的表情动作之外，面部表情动作在一段时间内的统计特征也与抑郁紧密关联。例如长时间面部表情缺乏变化被认为是抑郁的一个表征，面部肌肉运动的缺乏预示着精神运动迟滞。抑郁症患者中AU 14的出现频率会显著升高，而AU 12的出现频率显著降低。视频特征库f中包括的底层几何特征指的是由人脸特征点计算出的一系列角度和距离等几何测量。图3给出了根据AU 12设计的一组几何特征示意图，标示了特征点之间的距离、脸部某一部位的高度、点之间的角度。视频特征库f中包括的底层表观特征则描绘了人脸图像中纹理，边缘，曲线方向等信息。本发明选用SIFT的描述子作为表观特征。通常SIFT描述子的提取位置和尺度由SIFT检测子得到，但本发明选择一组由人脸特征点决定的固定提取位置。同时本发明固定SIFT的提取尺度。结合之前描述的图像对齐步骤，本发明保证了训练和测试中所有人脸图像上提取到的SIFT描述子可以在统一平台上做比较。

由上所述，系统经过预处理和特征提取，将受试对象的各类人脸特征汇集成视频特征库

3)相关特征提取模块3：获取视频特征库f中的最相关特征f_s

相关特征选择部分3，是基于预处理和特征提取部分2，计算特征库f中的每一个维度f(i)与抑郁标签y的相关程度，以选择与抑郁程度最为相关的特征。本发明采用皮尔逊相关系数定义来计算相关程度R(i).为了从{f(i)}中选取出与抑郁标签y相关程度(包括正相关和负相关)最大的特征,本发明基于R(i)²对{f(i)}进行降序排序,根据实际应用需要，选取前n个特征维度，或选取所有R(i)²大于一定预设阈值的特征维度。本发明将选取得到的特征维度集合记为{f_s(j)}。对f_s中每一个特征维度，本发明同时记录对应的R_s(i)。

4)预测模型训练模块4利用ε-SVR参数回归方法建立预测模型函数h(·)

在训练预测器时，利用视频数据集合样本个数为n_k，训练一个回归模型，来预测新输入视频的抑郁严重程度。为了提升系统稳定性，本发明计算量化后的抑郁程度标签y_q，量化标准中的五个等级分别对应了正常，轻微抑郁，中性抑郁，重度抑郁和极重度抑郁。

本发明采用如下的量化标准:

训练回归模型时，本发明采用标准ε-SVR参数回归方法，即求解优化问题:

w回归方程的权重矩阵，b表示回归方程的截距，表示表示特征向量，表示标签值。C是正则化参数，ξ_k表示回归方程软间隔，ε＞0。

ε-SVR在训练样本中估计一个预测函数h(·)，在保持函数的平滑性的同时，尽可能符合训练样本。对于新输入视频，本发明提取选定特征f_s，进而预测抑郁程度

5)对于新输入的访谈视频，新视频标注模块5自动标注出最值得注意的位置和区段，新视频预测模块6给出新输入访谈视频的抑郁严重程度

在新输入视频时，本发明采取与训练集中一致的预处理方法，检测人脸特征点，对齐图像，提取图像特征。本发明根据提取得到的最相关特征f_s，标注出视频中最值得注意的位置和区段。对于AU特征f_AU，AU组合事件和底层几何特征f_Geo，本发明在人脸图像相应视频位置和区段做出标注。对于AU时间域统计特征本发明在视频上添加显示说明。图4给出了一个视频标注的示意。图4(a)侧展示了用户选定的回顾帧和当前播放所在帧。在两帧中，值得注意的位置用虚线圆标出，与抑郁正相关采用灰色，负相关采用黑色。图4(b)，系统在视频中标注出了值得注意的时间区段，与抑郁正相关的特征区段用灰色标出，负相关的特征区段用黑色标出。其中正负相关信息来自特征选取时记录的R_s(i)。图4(c)、图4(d)，系统显示了一段时间内的AU变化曲线和统计信息。同时，利用ε-SVR训练得到的预测函数h(·)，本发明可以预测新视频的抑郁程度这个分值为抑郁程度的评估提供了数据依据。

在本发明中，本发明提出了一套基于表情分析的抑郁程度自动评估系统。在实际使用时，该系统可以自动的预测受试对象的抑郁严重程度，同时在访谈视频中标注出值得注意的位置和区段，为抑郁症的评估提供了一种客观的参考标准。

以上所述的是本发明的一个优选实施方式，应当指出：在不脱离本发明原理的前提下，本研究领域的技术人员做出的若干改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于表情分析的抑郁程度自动评估系统，其特征在于：包括：

数据采集模块(1)：采集受试对象的访谈视频，每一段视频都对应标注了抑郁程度HAMD-17分值y；所述数据采集模块(1)的访谈视频的内容为受试对象接受HAMD-17量表访谈时的面部动作；

预处理和特征提取模块(2)：根据FACS手册定义视频特征库f，并在访谈视频中提取视频特征库f及其对应的HAMD-17分值y，并对HAMD-17分值y进行5级量化得到HAMD-17量化分值；

相关特征提取模块(3)：获取视频特征库f中与抑郁严重程度最相关的特征f_s；

预测模型训练模块(4)：利用ε-SVR参数回归方法建立抑郁程度的预测模型函数h(·)；

新视频标注模块(5)：对于新输入的访谈视频，自动标注出最值得注意的位置和区段；

新视频预测模块(6)：由预测模型函数h(·)给出新输入访谈视频的抑郁严重程度

2.根据权利要求1所述的基于表情分析的抑郁程度自动评估系统，其特征在于：所述视频特征库f中包括FACS手册定义的AU特征f_AU，AU组合事件特征f_AUc，AU时间域统计特征f_AUt，底层几何特征f_Geo，底层表观特征f_App；其中，AU为表情动作单元。

3.根据权利要求2所述的基于表情分析的抑郁程度自动评估系统，其特征在于：所述底层表观特征f_App选用SIFT的描述子。

4.根据权利要求1所述的基于表情分析的抑郁程度自动评估系统，其特征在于：所述预处理和特征提取模块(2)中的HAMD-17量化分值是对HAMD-17分值y进行5级量化得到，量化区间为：0-7、8-13、14-18、19-22、23分及以上；对应的HAMD-17的量化分值分别为1、2、3、4、5。

5.根据权利要求1所述的基于表情分析的抑郁程度自动评估系统，其特征在于：所述相关特征提取模块(3)是在预处理和特征提取模块(2)提取的视频特征库f和对应的HAMD-17分值基础上，利用皮尔逊相关系数搜索视频特征库中与抑郁严重程度最相关的特征f_s；在搜索与抑郁严重程度最相关的特征f_s时，对视频特征库f中每一个维度计算皮尔逊相关系数R(i)，然后基于R(i)²对特征维度降序排列。

6.根据权利要求1所述的基于表情分析的抑郁程度自动评估系统，其特征在于：所述预测模型训练模块(4)是基于相关特征提取模块(3)得到的与抑郁严重程度最相关的特征，建立的抑郁程度预测模型。

7.根据权利要求6所述的基于表情分析的抑郁程度自动评估系统，其特征在于：所述的抑郁程度预测模型输出为HAMD-17量化分值，HAMD-17的量化分值1、2、3、4、5分别对应正常、轻微、中性、重度和极重度五个抑郁等级。

8.根据权利要求1所述的基于表情分析的抑郁程度自动评估系统，其特征在于：所述新视频标注模块(5)根据相关特征提取模块(3)得到的与抑郁严重程度最相关的特征，在视频的相应帧区间内进行标注，便于回顾视频中与抑郁严重程度最相关视频位置和区段。