CN105559802A - 一种基于注意和情感信息融合的抑郁症诊断系统及方法 - Google Patents

Abstract

一种基于注意和情感信息融合的抑郁症诊断系统及方法，该系统包括：情绪刺激模块，用于设置多个情绪刺激任务并提供至受测者；图像采集模块，用于采集受测者在进行情绪刺激任务时的眼部图像和面部图像；数据传输模块，用于获取并发送眼部图像和面部图像；数据预处理模块，用于对眼部图像和面部图像进行预处理；数据处理模块，用于计算受测者的注视点位置和瞳孔直径；特征提取模块，用于提取注意类特征和情感类特征；识别反馈模块，用于对受测者进行抑郁症诊断识别。本发明利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征，可以全面、系统、定量的对抑郁症进行识别。

Description

一种基于注意和情感信息融合的抑郁症诊断系统及方法

技术领域

本发明涉及图像处理、生物特征提取、模式识别技术领域，特别涉及一种基于注意和情感信息融合的抑郁症诊断系统及方法。

背景技术

目前抑郁症最广泛的诊断标准是美国精神疾病诊断和统计手册第四版(DSM-IV)，并且抑郁症诊断局限于以临床症状为主，其诊断主要依据精神科医生的经验和相关的抑郁症量表，但是抑郁症量表的评分结果不能准确的反映患者的心理状况，患者可能存在主观隐瞒的情况，诊断结果往往会受到医生自身主观因素和实际临床经验的影响，并且在抑郁症诊断方面缺少量化的诊断指标和可靠、高效的诊断系统，诊断效率低、误诊率高、资源耗费大的情况一直得不到解决。

发明内容

本发明的目的是提供一种基于注意和情感信息融合的抑郁症诊断系统及方法，该系统利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征，可以全面、系统、定量的对抑郁症进行识别。

为实现上述目的，本发明一方面提供一种基于注意和情感信息融合的抑郁症诊断系统，包括：情绪刺激模块，用于设置多个情绪刺激任务并以预设顺序将所述多个情绪刺激任务提供至受测者，以诱发所述受测者的情绪；图像采集模块，用于采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像；数据传输模块，用于获取并发送所述眼部图像和面部图像；数据预处理模块，用于接收来自所述数据传输模块的眼部图像和面部图像，并对所述眼部图像和面部图像进行预处理；数据处理模块，用于对所述预处理后的眼部图像进行分析，计算所述受测者的注视点位置和瞳孔直径；特征提取模块，用于提取反映所述受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；识别反馈模块，用于对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别。

根据本发明的一个方面，所述多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负性情绪刺激。

根据本发明的一个方面，所述图像采集模块包括：

第一摄像机，所述第一摄像机设置于所述受测者眼睛的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的眼部视频；

眼部图像采集单元，所述眼部图像采集单元的输入端与所述第一摄像机相连，所述眼部图像采集单元的输出端与所述数据传输模块相连，用于接收所述眼部视频并从所述眼部视频中采集所述受测者的眼部图像，将所述眼部图像发送至数据传输模块；

第二摄像机，所述第二摄像机设置于所述受测者面部的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的面部视频；

面部图像采集单元，所述面部图像采集单元的输入端与所述第二摄像机相连，所述面部图像采集单元的输出端与所述数据传输模块相连，用于接收所述面部视频并从所述面部视频中采集所述受测者的面部图像，将所述面部图像发送至数据传输模块。

根据本发明的一个方面，所述数据预处理模块包括：

眼部图像预处理单元，用于对所述眼部图像进行预处理，得到预处理后的眼部图像；

面部图像预处理单元，用于对所述面部图像进行预处理，得到预处理后的面部图像。

根据本发明的一个方面，所述眼部图像预处理单元对所述眼部图像进行预处理，包括：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。

根据本发明的一个方面，所述面部图像预处理单元对所述面部图像进行预处理，包括：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。

根据本发明的一个方面，所述数据处理模块包括：注视点位置计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的注视点位置；瞳孔直径计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的瞳孔直径。

根据本发明的一个方面，所述注视点位置计算单元计算所述受测者在进行所述情绪刺激任务时的注视点位置，包括：

首先，建立所述受测者在头部位置固定情况下的视线映射函数模型：

$\{\begin{array}{c}{x}_{fixation}^i=a_0+a_1{x}_i+a_2{y}_i+a_3{x}_i{y}_i+a_4{x_i}^2+a_5{y_i}^2\\ y_{fixation}^i=b_0+b_1{x}_i+b_2{y}_i+b_3{x}_i{y}_i+b_4{x_i}^2+b_5{y_i}^2\end{array};$

其中为注视点坐标，(x_i，y_i)为所述受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅为系数，其中，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅通过预先让所述受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；

然后，获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，根据所述视线映射函数模型和瞳孔中心的坐标值(x_j，y_j)，得到所述受测者的视线在屏幕上落点坐标

根据本发明的一个方面，所述注视点位置计算单元获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j），包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)。

根据本发明的一个方面，所述瞳孔直径计算单元计算所述受测者在进行所述情绪刺激任务时的瞳孔直径，包括：

对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。

根据本发明的一个方面，所述瞳孔直径计算单元计算在进行每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和所述受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值

根据本发明的一个方面，所述注意类特征包括：所述受测者的注视点中心距特征和注意偏向分数特征；所述情感类特征包括所述受测者的情感带宽特征和面部表情特征。

根据本发明的一个方面，所述特征提取模块提取所述受测者的注视点中心距特征包括：

首先，计算所述受测者在进行每个所述情绪刺激任务时的注视点位置和视频位置的中心点坐标(x₀，y₀)的欧式距离，得到所述受测者的注视点中心距d_j，

$d_j=\sqrt{{(x_{fixation}^j-x_0)}^2+{(y_{fixation}^j-y_0)}^2};$

然后，将计算得到的注视点中心距特征存入矩阵x₁，

x₁＝(d₁，d₂，d₃，…，d_n)^T；

其中x₁为注视点中心距特征矩阵，n为特征个数。

根据本发明的一个方面，所述特征提取模块提取所述受测者的注意偏向分数特征包括：首先，计算所述受测者的正性注意偏向分数特征和负性注意偏向分数特征

然后，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x₂：

x₂＝(fixation¹ _正性偏向，…，fixationⁿ _正性偏向，fixation¹ _负性偏向，…，fixationⁿ _负性偏向)^T，

其中，x₂是一个2*i维的特征矩阵，表示所述受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，i＝1，2，3，…，n。

根据本发明的一个方面，所述受测者的正性注意偏向分数特征如下：

其中为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征；

所述受测者的负性注意偏向分数特征如下：

其中为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。

根据本发明的一个方面，所述特征提取模块提取所述受测者的情感带宽特征包括：

首先，根据所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的正性情感带宽特征：

$S_{PaBW}^i\left(D\right)=d_p^i-d_m^i;$

根据所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的负性情感带宽特征：

$S_{NaBW}^i\left(D\right)=d_n^i-d_m^i;$

然后，将计算得到所述受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x₃：

$x_3={(S_{PaBW}^1,S_{PaBW}^2,\mathrm{...},S_{PaBW}^n,S_{NaBW}^1,S_{NaBW}^2,\mathrm{...},S_{NaBW}^n)}^T$

其中，x₃是一个2*i维的特征矩阵，表示所述受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。

根据本发明的一个方面，所述特征提取模块提取所述受测者的面部表情特征包括：

首先，根据预处理后的面部图像分别提取所述受测者观看所述正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和

然后，根据和分别计算正性差分表情特征向量和负性差分表情特征向量

最后，将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x₄，其中，

其中，x₄是一个2*i维的特征向量，表示所述受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。

根据本发明的一个方面，所述正性差分表情特征向量为：所述负性差分表情特征向量为：

根据本发明的一个方面，所述识别反馈模块对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别，包括：将所述特征提取模块提取的所述受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊断，并以符号函数形式输出诊断结果。

本发明实施例提供的基于注意和情感信息融合的抑郁症诊断系统，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。

本发明另一方面提出一种基于注意和情感信息融合的抑郁症诊断方法，包括如下步骤：

步骤S1，设置多个情绪刺激任务并以预设顺序将所述多个情绪刺激任务提供至受测者，以诱发所述受测者的情绪；

步骤S2，采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像；

步骤S3，对所述眼部图像和面部图像进行预处理，得到预处理后的眼部图像和面部图像；

步骤S4，对所述预处理后的眼部图像进行分析，计算所述受测者的注视点位置和瞳孔直径；

步骤S5，根据所述受测者的注视点位置、瞳孔直径以及预处理后的面部图像，提取反映所述受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；

步骤S6，对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别。

根据本发明的一个方面，所述多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，

其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负性情绪刺激。

根据本发明的一个方面，在所述步骤S2中，所述采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像，包括如下步骤：

采用设置于所述受测者眼睛的邻近处的第一摄像机采集所述受测者在进行所述情绪刺激任务时的眼部视频，并从所述眼部视频中采集所述受测者的眼部图像，

采用设置于所述受测者面部的邻近处的第二摄像机采集所述受测者在进行所述情绪刺激任务时的面部视频，并从所述面部视频中采集所述受测者的面部图像。

根据本发明的一个方面，在所述步骤S3中，对所述眼部图像进行预处理，包括如下步骤：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。

根据本发明的一个方面，在所述步骤S3中，对所述面部图像进行预处理，包括如下步骤：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。

根据本发明的一个方面，在所述步骤S4中，所述计算所述受测者的注视点位置包括如下步骤：

首先，建立所述受测者在头部位置固定情况下的视线映射函数模型：

$\left\{\begin{array}{c}{x}_{fixation}^i=a_0+a_1{x}_i+a_2{y}_i+a_3{x}_i{y}_i+a_4{x_i}^2+a_5{y_i}^2\\ y_{fixation}^i=b_0+b_1{x}_i+b_2{y}_i+b_3{x}_i{y}_i+b_4{x_i}^2+b_5{y_i}^2\end{array}\right.;$

其中为注视点坐标，(x_i，y_i)为所述受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅为系数，其中，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅通过预先让所述受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；

然后，获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，根据所述视线映射函数模型和瞳孔中心的坐标值(x_j，y_j)，得到所述受测者的视线在屏幕上落点坐标

根据本发明的一个方面，获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)。

根据本发明的一个方面，在所述步骤S4中，所述计算所述受测者的瞳孔直径，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。

根据本发明的一个方面，所述计算在进行每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和所述受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值

根据本发明的一个方面，所述注意类特征包括：所述受测者的注视点中心距特征和注意偏向分数特征；所述情感类特征包括所述受测者的情感带宽特征和面部表情特征。

根据本发明的一个方面，在所述步骤S5中，所述提取反映所述受测者的注意力的注意类特征，包括如下步骤：首先，计算所述受测者在进行每个所述情绪刺激任务时的注视点位置和视频位置的中心点坐标(x₀，y₀)的欧式距离，得到所述受测者的注视点中心距d_j，

$d_j=\sqrt{{(x_{fixation}^j-x_0)}^2+{(y_{fixation}^j-y_0)}^2};$

然后，将计算得到的注视点中心距特征存入矩阵x₁，

x₁＝(d₁，d₂，d₃，…，d_n)^T；

其中x₁为注视点中心距特征矩阵，n为特征个数。

根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的注意偏向分数特征包括如下步骤：

首先，计算所述受测者的正性注意偏向分数特征和负性注意偏向分数特征

然后，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x₂：

x₂＝(fixation¹ _正性偏向，…，fixationⁿ _正性偏向，fixation¹ _负性偏向，…，fixationⁿ _负性偏向)^T，

其中，x₂是一个2*i维的特征矩阵，表示所述受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，i＝1，2，3，…，n。

根据本发明的一个方面，所述受测者的正性注意偏向分数特征如下：

其中为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征；

所述受测者的负性注意偏向分数特征如下：

其中为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。

根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的情感带宽特征包括如下步骤：

首先，根据所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的正性情感带宽特征：

$S_{PaBW}^i\left(D\right)=d_p^i-d_m^i;$

根据所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的负性情感带宽特征：

$S_{NaBW}^i\left(D\right)=d_n^i-d_m^i;$

然后，将计算得到所述受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x₃：

$x_3={(S_{PaBW}^1,S_{PaBW}^2,\mathrm{...},S_{PaBW}^n,S_{NaBW}^1,S_{NaBW}^2,\mathrm{...},S_{NaBW}^n)}^T$

其中，x₃是一个2*i维的特征矩阵，表示所述受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。

根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的面部表情特征包括如下步骤：首先，根据预处理后的面部图像分别提取所述受测者观看所述正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和

然后，根据和分别计算正性差分表情特征向量和负性差分表情特征向量

最后，将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x₄，其中，

其中，x₄是一个2*i维的特征向量，表示所述受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。

根据本发明的一个方面，所述正性差分表情特征向量为：所述负性差分表情特征向量为：

根据本发明的一个方面，在所述步骤S6中，所述对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别，包括如下步骤：将所述特征提取模块提取的所述受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊断，并以符号函数形式输出诊断结果。

本发明实施例提供的基于注意和情感信息融合的抑郁症诊断方法，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。

附图说明

图1是根据本发明实施方式的基于注意和情感信息融合的抑郁症诊断系统的结构图；

图2是根据本发明实施方式的图像采集模块的结构图；

图3是根据本发明实施方式的数据预处理模块的结构图；

图4是根据本发明实施方式的数据处理模块的结构图；

图5为根据本发明实施方式的基于注意和情感信息融合的抑郁症诊断方法的流程图；

图6是根据本发明实施方式的注视点中心距特征提取的流程图；

图7是根据本发明实施方式的注意偏向分数特征提取的流程图；

图8是根据本发明实施方式的情感带宽特征提取的流程图；

图9是根据本发明实施方式的面部表情特征提取的流程图；

图10是根据本发明实施方式的诊断识别的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明实施方式提供了一种基于注意和情感信息融合的抑郁症诊断系统，在详细介绍该系统的技术方案之前，首先对该系统基于的抑郁症识别标准进行说明：

抑郁症是以注意损伤和情感障碍为主的精神类疾病，其对愉快情感的接受敏感度下降，并伴随着信息加工的注意偏向。具体表现为：抑郁症患者面对正性刺激时，正性情感带宽变窄，对正性信息的注意减少，导致对正性刺激的体验能力不足，其高兴面部表情特征变化幅度小于正常人；面对负性刺激时，抑郁症患者对负性信息的注意增加，导致其负性情绪加工过度，其悲伤面部表情特征变化幅度大于正常人。另外，抑郁症患者存在注意受损，其注意范围变小、视野受限，呈现中心特性。与正常人相比，抑郁症患者的情感体验能力和注意能力均受损，对于外界呈现的情绪刺激，表现为不同的注视点中心距特征、注意偏向分数特征、情感带宽模式和面部表情特征序列，这为抑郁症的识别提供了客观、可靠的标准，也为抑郁症诊断系统的准确、高效诊断提供了有力保障。

基于上述对于抑郁症的识别诊断标准，本发明提出一种基于注意和情感信息融合的抑郁症诊断系统。

如图1所示，本发明提供一种基于注意和情感信息融合的抑郁症诊断系统，包括：情绪刺激模块1、图像采集模块2、数据传输模块3、数据预处理模块4、数据处理模块5、特征提取模块6和识别反馈模块7。

具体来说，情绪刺激模块1设置多个情绪刺激任务并以预设顺序将多个情绪刺激任务提供至受测者，以诱发受测者的情绪。其中，多个情绪刺激任务至少包括：

1)正性情绪刺激任务1：一段正性情绪刺激视频；

2)中性情绪刺激任务2：一段中性情绪刺激视频；

3)负性情绪刺激任务3：一段负性情绪刺激视频；

4)情绪刺激任务4：同时提供的一段正性情绪刺激视频和中性刺激视频；

5)情绪刺激任务5：同时提供的一段负性情绪刺激视频和中性刺激视频。

需要说明的是，正性情绪刺激视频是指用于对受测者产生正性情绪刺激，中性情绪刺激视频是指用于对受测者产生中性情绪刺激，负性情绪刺激视频是指用于对受测者产生负性情绪刺激。

优选的，每段情绪刺激视频的时长为30秒。

具体来说，情绪刺激模块1首先从视频库中选取正性、中性、负性情绪刺激视频各一段，时长30s。然后将上述三段情绪刺激视频排列组合为上述5个情绪刺激任务。首先将情绪刺激任务1、2、3呈现给用户，再将情绪刺激任务4、5呈现给用户。即，先将正性情绪刺激任务1、中性情绪刺激任务2和负性情绪刺激任务3呈现给用户，再将情绪刺激任务4和情绪刺激任务5呈现给用户。

图像采集模块2采集受测者在进行情绪刺激任务时的眼部图像和面部图像，并发送至数据传输模块3。

具体地，如图2所示，图像采集模块2包括：第一摄像机21、眼部图像采集单元22、第二摄像机23和面部图像采集单元24。

第一摄像机21设置于受测者眼睛的邻近处，采集受测者在进行情绪刺激任务时的眼部视频。眼部图像采集单元22的输入端与第一摄像机21相连，眼部图像采集单元22的输出端与数据传输模块3相连，接收眼部视频并从眼部视频中采集受测者的眼部图像，例如，受测者分别进行上述5个情绪刺激任务时的眼部图像，然后将眼部图像发送至数据传输模块3。

第二摄像机23设置于受测者面部的邻近处，用于采集受测者在进行情绪刺激任务时的面部视频。面部图像采集单元24的输入端与第二摄像机23相连，面部图像采集单元24的输出端与数据传输模块3相连，用于接收面部视频并从面部视频中采集受测者的面部图像，例如，受测者分别进行上述5个情绪刺激任务1至3时的面部图像，将面部图像发送至数据传输模块3。

换言之，情绪刺激模块1先将情绪刺激任务1、2、3呈现给用户，同时第一摄像机21和眼部图像采集单元22进行眼部图像采集，第二摄像机23和面部图像采集单元24进行面部图像采集，即分别采集用户在情绪刺激任务1、2、3下的眼部图像和面部表情图像。然后，情绪刺激模块1再将情绪刺激任务4、5呈现给用户，只由第一摄像机21和眼部图像采集单元22采集用户在此情绪刺激任务下的眼部图像。

数据传输模块3获取并向数据预处理模块4发送眼部图像和面部图像。

数据预处理模块4接收来自数据传输模块3的眼部图像和面部图像，并对眼部图像和面部图像进行预处理。

具体地，如图3所示，数据预处理模块4包括眼部图像预处理单元41和面部图像预处理单元42。

眼部图像预处理单元41对受测者观看每个情绪刺激任务时的眼部图像进行预处理，包括：对眼部图像进行归一化处理，即对眼部图像进行图像切割、旋转、缩放处理，得到符合要求的归一化眼部图像。再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对眼部灰度图像进行直方图均衡化处理，利用瞳孔灰度与周围区域的灰度差异，对经过直方图均衡化处理的灰度图像进行二值化处理，最后经过多次图像膨胀处理和图像腐蚀处理，获得眼部二值化图像。

面部图像预处理单元42对面部图像进行预处理，包括：对受测者观看情绪刺激任务1至3时的面部图像进行归一化处理，即以双眼坐标和两眼距离为依据进行图像切割、旋转、缩放处理，得到符合要求的归一化面部表情图像，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，为了增强图像的对比度，对灰度图像进行拉伸变换，对拉伸处理完的图像进行滤波，滤除噪声，得到预处理后的面部表情图像。

数据处理模块5对预处理后的眼部图像进行分析，计算受测者的注视点位置和瞳孔直径。

具体地，如图4所示，数据处理模块5包括注视点位置计算单元51和瞳孔直径计算单元52。

注视点位置计算单元51根据预处理后的眼部图像，计算受测者在进行每个情绪刺激任务时的注视点位置。

首先，注视点位置计算单元51利用视线估计技术中眼球转动时相对位置不变的特征作为参照，在位置变化特征和不变特征之间提取视线估计参数，建立受测者在头部位置固定情况下的视线映射函数：

$\left\{\begin{array}{c}{x}_{fixation}^i=a_0+a_1{x}_i+a_2{y}_i+a_3{x}_i{y}_i+a_4{x_i}^2+a_5{y_i}^2\\ y_{fixation}^i=b_0+b_1{x}_i+b_2{y}_i+b_3{x}_i{y}_i+b_4{x_i}^2+b_5{y_i}^2\end{array}\right.$

其中为注视点坐标，(x_i，y_i)为受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅为系数，其中，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、_b4和b₅通过预先让受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到。具体地，为了确定12个未知参数a₀，a₁，a₂，a₃，a₄，a₅，b₀，b₁，b₂，b₃，b₄，b₅的值，选取屏幕上固定的6个点，其坐标为 让受测者依次观看这6个点的同时获得其相应的眼部图像。

下面对计算上述12个未知参数的过程进行说明：将受测者观看屏幕上6个固定点时采集到的眼部图像，交由眼部图像预处理单元41进行预处理，对预处理后的图像进行边缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔中心的坐标值(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)，(x₅，y₅)，(x₆，y₆)。然后将 (x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)，(x₅，y₅)，(x₆，y₆)分别代入视线映射函数模型，获得12个方程，确定出参数a₀，a₁，a₂，a₃，a₄，a₅，b₀，b₁，b₂，b₃,b₄,b₅的值，进而得到视线映射函数：

$\left\{\begin{array}{c}{x}_{fixation}^j=a_0+a_1{x}_j+a_2{y}_j+a_3{x}_j{y}_j+a_4{x_j}^2+a_5{y_j}^2\\ y_{fixation}^j=b_0+b_1{x}_j+b_2{y}_j+b_3{x}_i{y}_j+b_4{x_j}^2+b_5{y_j}^2\end{array}\right..$

然后，注视点位置计算单元51对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。

瞳孔直径计算单元52根据预处理后的眼部图像，计算受测者在进行情绪刺激任务1至3时的瞳孔直径。

瞳孔直径计算单元52对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值

特征提取模块6提取反映受测者的注意力的注意类特征和反映受测者的情感状态的情感类特征。其中，注意类特征包括：受测者的注视点中心距特征和注意偏向分数特征。情感类特征包括受测者的情感带宽特征和面部表情特征。

下面分别对特征提取模块6提取注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征的过程进行说明。

1)注视点中心距特征

特征提取模块6首先计算受测者在进行情绪刺激任务1至3时的注视点位置和视频位置的中心点坐标(x₀，y₀)的欧式距离，得到受测者的注视点中心距d_j，

$d_j=\sqrt{{(x_{fixation}^j-x_0)}^2+{(y_{fixation}^j-y_0)}^2}.$

然后，特征提取模块6将计算得到的注视点中心距特征存入矩阵x₁，

x₁＝(d₁，d₂，d₃，…，d_n)^T；

其中x₁为一个j维的特征矩阵，表示受测者的视野范围，i为特征个数，j＝1，2，3，…，n。

2)注意偏向分数特征

特征提取模块6计算受测者的正性注意偏向分数特征和负性注意偏向分数特征。首先，特征提取模块6对预处理完的受测者观看情绪刺激任务4和5时的眼部图像进行边缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔中心的坐标值(x_k，y_k)，代入计算完成的视线映射函数中，得到视线在屏幕上的落点坐标

然后，特征提取模块6计算正性注意偏向分数特征，包括如下步骤：

情绪刺激任务4中播放正性视频的窗口在电脑屏幕上位置满足：k₁≤x_正≤k₂，k₃≤y_正≤k₄；播放中性视频的窗口在电脑屏幕上位置满足：k₅≤x_中≤k₆，k₇≤y_中≤k₈。

情绪刺激任务4中，若计算的注视点的坐标满足：且则判断注视点落在正性视频区域，其个数为

若计算的注视点的坐标满足：且则判断注视点落在中性视频区域，其个数为

将落在正性视频区域内的注视点个数和落在中性视频区域内注视点个数进行差分运算得到的差值，与落在正性视频区域内的注视点个数和落在中性视频区域内注视点个数的和的比值作为正性注意偏向分数特征，具体如下：

其中，为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征。

特征提取模块6计算负性注意偏向分数特征，包括如下步骤：

情绪刺激任务5中播放负性视频的窗口位置与情绪刺激任务4中播放正性视频的窗口位置一致，满足：k₁≤x_负≤k₂，k₃≤y_负≤k₄；播放中性视频的窗口与情绪刺激任务4中播放中性视频的窗口位置一致，满足：k₅≤x_中≤k₆，k₇≤y_中≤k₈。

情绪刺激任务5中，若计算的注视点的坐标满足：且则判断注视点落在负性视频区域，其个数为

若计算的注视点的坐标满足：且则判断注视点落在中性视频区域，其个数为

将落在负性视频区域的注视点个数和落在中性视频区域内注视点个数的差值，与落在负性视频区域内的注视点个数和落在中性视频区域内注视点个数的和的比值作为负性注意偏向分数特征，具体如下：

其中，为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。

最后，特征提取模块6将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x₂：

x₂＝(fixation¹ _正性偏向，…，fixationⁿ _正性偏向，fixation¹ _负性偏向，…，fixationⁿ _负性偏向)^T，

其中，x₂是一个2*i维的特征矩阵，表示受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，i＝1，2，3，…，n。

3)情感带宽特征

首先由数据预处理模块3对受测者观看情绪刺激任务1，2，3时的眼部图像，即正性情绪刺激下眼部图像、中性情绪刺激下眼部图像和负性情绪刺激下眼部图像，进行预处理，包括对眼部图像进行二值化处理，经过多次图像膨胀处理和图像腐蚀处理，获得眼部二值化图像，再对二值化图像进行噪声滤除处理，对噪声滤除处理后的眼部二值化图像进行边缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔中心的坐标值，进一步计算出受测者分别观看情绪刺激任务1至3时采集到的每帧图像的瞳孔直径值：和

然后，特征提取模块6根据受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值计算受测者的正性情感带宽特征：

$S_{PaBW}^i\left(D\right)=d_p^i-d_m^i.$

特征提取模块6根据受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值计算受测者的负性情感带宽特征：

$S_{NaBW}^i\left(D\right)=d_n^i-d_m^i.$

最后，特征提取模块6将计算得到受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x₃：

$x_3={(S_{PaBW}^1,S_{PaBW}^2,\mathrm{...},S_{PaBW}^n,S_{NaBW}^1,S_{NaBW}^2,\mathrm{...},S_{NaBW}^n)}^T$

其中，x₃是一个2*i维的特征矩阵，表示受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。

4)面部表情特征

特征提取模块6根据FCP(facialcharacteristicpoints)的特征点集合，对预处理完后的每帧面部表情图像分别定位了m个面部特征点。

首先，特征提取模块6根据预处理后的面部图像分别提取受测者观看正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和

具体地，特征提取模块6提取观看情绪刺激任务1时预处理完的每帧面部表情图像的表情特征点向量：

特征提取模块6提取观看情绪刺激任务2时预处理完的每帧面部表情图像的表情特征点向量：

特征提取模块6提取观看情绪刺激任务3时预处理完的每帧面部表情图像的表情特征点向量：

然后，特征提取模块6根据计算正性差分表情特征向量其中，

根据计算负性差分表情特征向量其中，

最后，特征提取模块6将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x₄，其中，

其中，x₄是一个2*i维的特征向量，表示受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。

识别反馈模块7对注意类特征和情感类特征进行融合以对受测者进行抑郁症诊断识别。

具体来说，识别反馈模块7将特征提取模块提取的受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型(SVM)中进行预测，实现抑郁症识别诊断。

如果判断当前受测者为抑郁症患者，则输出参数y_i＝1；若判断当前受测者为正常人，则输出参数y_i＝0；如果无法完成判断，则输出参数y_i＝-1。

在本发明中，采用符号函数作为判决函数，输出识别结果至对应的受测者。

综上，本实施例的基于注意和情感信息融合的抑郁症诊断系统，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。

如图5所示，本发明还提出一种基于注意和情感信息融合的抑郁症诊断方法，包括如下步骤：

步骤S1，设置多个情绪刺激任务并以预设顺序将多个情绪刺激任务提供至受测者，以诱发受测者的情绪。

具体地，多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频。其中，正性情绪刺激视频用于对受测者产生正性情绪刺激，中性情绪刺激视频用于对受测者产生中性情绪刺激，负性情绪刺激视频用于对受测者产生负性情绪刺激。

步骤S2，采集受测者在进行情绪刺激任务时的眼部图像和面部图像。

具体地，在本步骤中，采用设置于受测者眼睛的邻近处的第一摄像机采集受测者在进行情绪刺激任务时的眼部视频，并从眼部视频中采集受测者的眼部图像。并且，采用设置于受测者面部的邻近处的第二摄像机采集受测者在进行情绪刺激任务时的面部视频，并从面部视频中采集受测者的面部图像。

步骤S3，对眼部图像和面部图像进行预处理，得到预处理后的眼部图像和面部图像。

具体地，对眼部图像进行预处理，包括如下步骤：对眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。

对面部图像进行预处理，包括如下步骤：对面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。

步骤S4，对预处理后的眼部图像进行分析，计算受测者的注视点位置和瞳孔直径。

计算受测者的注视点位置包括如下步骤：

首先，建立受测者在头部位置固定情况下的视线映射函数模型：

$\{\begin{array}{c}{x}_{fixation}^i=a_0+a_1{x}_i+a_2{y}_i+a_3{x}_i{y}_i+a_4{x_i}^2+a_5{y_i}^2\\ y_{fixation}^i=b_0+b_1{x}_i+b_2{y}_i+b_3{x}_i{y}_i+b_4{x_i}^2+b_5{y_i}^2\end{array};$

其中为注视点坐标，(x_i，y_i)为受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅为系数，其中，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅通过预先让受测者观看6个预设屏幕上固定点坐标和和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；

然后，获取受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，根据视线映射函数模型和瞳孔中心的坐标值(x_j，y_j)，得到受测者的视线在屏幕上落点坐标

具体地，获取受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，包括如下步骤：对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)。

此外，计算受测者的瞳孔直径，包括如下步骤：对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。

具体地，计算在进行每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值

步骤S5，根据受测者的注视点位置、瞳孔直径以及预处理后的面部图像，提取反映受测者的注意力的注意类特征和反映受测者的情感状态的情感类特征。

在本发明的一个实施例中，注意类特征包括：受测者的注视点中心距特征和注意偏向分数特征；情感类特征包括受测者的情感带宽特征和面部表情特征。

下面对注意类特征和情感类特征的提取过程进行说明。

图6是根据本发明实施方式的注视点中心距特征提取的流程图。

如图6所示，提取反映受测者的注视点中心距特征，包括如下步骤：

步骤S601，参考步骤S4中的描述确定瞳孔中心的坐标值(x_j，y_j)。

步骤S602，参考步骤S4中的描述建立视线映射函数模型

$\{\begin{array}{c}{x}_{fixation}^i=a_0+a_1{x}_i+a_2{y}_i+a_3{x}_i{y}_i+a_4{x_i}^2+a_5{y_i}^2\\ y_{fixation}^i=b_0+b_1{x}_i+b_2{y}_i+b_3{x}_i{y}_i+b_4{x_i}^2+b_5{y_i}^2\end{array};$

步骤S603，计算受测者在进行每个情绪刺激任务时的注视点坐标 $(x_{fixation}^i,y_{fixation}^i);$

步骤S604，计算视频位置的中心点坐标(x₀，y₀)的欧式距离，得到受测者的注视点中心距d_j，

$d_j=\sqrt{{(x_{fixation}^j-x_0)}^2+{(y_{fixation}^j-y_0)}^2};$

然后，将计算得到的注视点中心距特征存入矩阵x₁，

x₁＝(d₁，d₂，d₃，…，d_n)^T；

其中x₁为注视点中心距特征矩阵，n为特征个数。

图7是根据本发明实施方式的注意偏向分数特征提取的流程图。

如图7所示，提取受测者的注意偏向分数特征包括如下步骤：

首先，计算受测者的正性注意偏向分数特征和负性注意偏向分数特征

步骤S701，获取落在正性视频区域内注视点个数

步骤S702，获取落在中性视频区域内注视点个数

步骤S703，将和进行差分运算；

步骤S704，计算受测者正性注意偏向分数特征

其中，受测者的正性注意偏向分数特征如下：

其中为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征。

步骤S705，获取落在负性视频区域内注视点个数

步骤S706，获取落在中性视频区域内注视点个数

步骤S707，将和进行差分运算；

步骤S708，计算受测者的负性注意偏向分数特征

受测者的负性注意偏向分数特征如下：

其中为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。

步骤S709，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x₂：

x₂＝(fixation¹ _正性偏向，…，fixationⁿ _正性偏向，fixation¹ _负性偏向，…，fixationⁿ _负性偏向)^T，

其中，x₂是一个2*i维的特征矩阵，表示受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，i＝1，2，3，…，n。

此外，在本步骤中，如图8所示，提取受测者的情感带宽特征包括如下步骤：

步骤S801，分别对正性、中性和负性情绪刺激下眼部图像进行二值化处理；

步骤S802，对二值化处理后的图像进行噪声滤除；

步骤S803，对噪声滤除后的图像进行形态学处理；

步骤S804，对形态学处理后的图像进行边缘检测；

步骤S805，建立圆方程；

步骤S806～步骤S808，参考上述步骤描述分别计算受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值

步骤S809，根据受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值

步骤S810，计算受测者的正性情感带宽特征：

$S_{PaBW}^i\left(D\right)=d_p^i-d_m^i;$

步骤S811，根据受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值

步骤S812，计算受测者的负性情感带宽特征：

$S_{NaBW}^i\left(D\right)=d_n^i-d_m^i;$

然后，将计算得到受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x₃：

$x_3={(S_{PaBW}^1,S_{PaBW}^2,...,S_{PaBW}^n,S_{NaBW}^1,S_{NaBW}^2,...,S_{NaBW}^n)}^T$

其中，x₃是一个2*i维的特征矩阵，表示受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。

图9是根据本发明实施方式的面部表情特征提取的流程图。

如图9所示，提取受测者的面部表情特征包括如下步骤：

步骤S901～步骤S903，根据预处理后的面部图像分别提取受测者观看正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和

步骤S904，根据计算正性差分表情特征向量

其中，正性差分表情特征向量为：

步骤S905，根据和分别负性差分表情特征向量

其中，负性差分表情特征向量为：

步骤S906，将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x₄，其中，

其中，x₄是一个2*i维的特征向量，表示受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。

步骤S6，对注意类特征和情感类特征进行融合以对受测者进行抑郁症诊断识别。

图10是根据本发明实施方式的诊断识别的流程图。

如图10所示，对注意类特征和情感类特征进行融合以对受测者进行抑郁症诊断识别，包括如下步骤：

步骤S1001，将特征提取模块提取的受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊断，并以符号函数形式输出诊断结果，判断该受测者为正常人(步骤S1002)，或者受测者患有抑郁症(步骤S1003)；或者该受测者的症状无法判定(步骤S1004)。

综上，本实施例的基于注意和情感信息融合的抑郁症诊断方法，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于注意和情感信息融合的抑郁症诊断系统，其特征在于，包括：

情绪刺激模块，用于设置多个情绪刺激任务并以预设顺序将所述多个情绪刺激任务提供至受测者，以诱发所述受测者的情绪；

图像采集模块，用于采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像；

数据传输模块，用于获取并发送所述眼部图像和面部图像；

数据预处理模块，用于接收来自所述数据传输模块的眼部图像和面部图像，并对所述眼部图像和面部图像进行预处理；

数据处理模块，用于对所述预处理后的眼部图像进行分析，计算所述受测者的注视点位置和瞳孔直径；

特征提取模块，用于提取反映所述受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；

识别反馈模块，用于对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别。

2.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，

其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负性情绪刺激。

3.根据权利要求1或2所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述图像采集模块包括：

第一摄像机，所述第一摄像机设置于所述受测者眼睛的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的眼部视频；

眼部图像采集单元，所述眼部图像采集单元的输入端与所述第一摄像机相连，所述眼部图像采集单元的输出端与所述数据传输模块相连，用于接收所述眼部视频并从所述眼部视频中采集所述受测者的眼部图像，将所述眼部图像发送至数据传输模块；

第二摄像机，所述第二摄像机设置于所述受测者面部的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的面部视频；

面部图像采集单元，所述面部图像采集单元的输入端与所述第二摄像机相连，所述面部图像采集单元的输出端与所述数据传输模块相连，用于接收所述面部视频并从所述面部视频中采集所述受测者的面部图像，将所述面部图像发送至数据传输模块。

4.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述数据预处理模块包括：

眼部图像预处理单元，用于对所述眼部图像进行预处理，得到预处理后的眼部图像；

面部图像预处理单元，用于对所述面部图像进行预处理，得到预处理后的面部图像。

5.根据权利要求4所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述眼部图像预处理单元对所述眼部图像进行预处理，包括：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。

6.根据权利要求4所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述面部图像预处理单元对所述面部图像进行预处理，包括：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。

7.根据权利要求2所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述数据处理模块包括：

注视点位置计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的注视点位置；

瞳孔直径计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的瞳孔直径。

8.根据权利要求7所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述注视点位置计算单元计算所述受测者在进行所述情绪刺激任务时的注视点位置，包括：

建立所述受测者在头部位置固定情况下的视线映射函数模型：

$\{\begin{array}{c}{x}_{fixation}^i=a_0+a_1{x}_i+a_2{y}_i+a_3{x}_i{y}_i+a_a{x_i}^2+a_5{y_i}^2\\ y_{fixation}^i=b_0+b_1{x}_i+b_2{y}_i+b_3{x}_i{y}_i+b_4{x_i}^2+b_5{y_i}^2\end{array};$

其中为注视点坐标，(x_i，y_i)为所述受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅为系数，其中，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄和b₅通过预先让所述受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；

获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，根据所述视线映射函数模型和瞳孔中心的坐标值(x_j，y_j)，得到所述受测者的视线在屏幕上落点坐标

9.根据权利要求8所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述注视点位置计算单元获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中心的坐标值(x_j，y_j)。

10.根据权利要求7所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述瞳孔直径计算单元计算所述受测者在进行所述情绪刺激任务时的瞳孔直径，包括：

对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。