CN105559802B - 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 - Google Patents
基于注意和情感信息融合的抑郁诊断系统及数据处理方法 Download PDFInfo
- Publication number
- CN105559802B CN105559802B CN201510468260.6A CN201510468260A CN105559802B CN 105559802 B CN105559802 B CN 105559802B CN 201510468260 A CN201510468260 A CN 201510468260A CN 105559802 B CN105559802 B CN 105559802B
- Authority
- CN
- China
- Prior art keywords
- image
- testee
- attention
- video
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 96
- 238000003672 processing method Methods 0.000 title abstract description 10
- 230000000994 depressogenic effect Effects 0.000 title 1
- 210000001747 pupil Anatomy 0.000 claims abstract description 92
- 238000003745 diagnosis Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 39
- 230000008921 facial expression Effects 0.000 claims abstract description 38
- 208000020401 Depressive disease Diseases 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 230000002996 emotional effect Effects 0.000 claims description 228
- 230000000638 stimulation Effects 0.000 claims description 211
- 230000007935 neutral effect Effects 0.000 claims description 72
- 238000000605 extraction Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 44
- 230000001815 facial effect Effects 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 20
- 238000003708 edge detection Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000002347 injection Methods 0.000 claims description 12
- 239000007924 injection Substances 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 abstract description 115
- 206010049119 Emotional distress Diseases 0.000 abstract 3
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 6
- 230000006397 emotional response Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000017194 Affective disease Diseases 0.000 description 1
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 1
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000035231 inattentive type attention deficit hyperactivity disease Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种基于注意和情感信息的融合处理系统及处理方法，该系统包括：情绪刺激模块，用于设置多个情绪刺激任务并提供至受测者；图像采集模块，用于采集受测者在进行情绪刺激任务时的眼部图像和面部图像；数据传输模块，用于获取并发送眼部图像和面部图像；数据预处理模块，用于对眼部图像和面部图像进行预处理；数据处理模块，用于计算受测者的注视点位置和瞳孔直径；特征提取模块，用于提取注意类特征和情感类特征；识别反馈模块，用于对受测者进行抑郁症诊断识别。本发明利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征，可以全面、系统、定量的对抑郁症进行识别。
Description
技术领域
本发明涉及图像处理、生物特征提取、模式识别技术领域，特别涉及一种基于注意和情感信息融合的抑郁症诊断系统及数据处理方法。
背景技术
目前抑郁症最广泛的诊断标准是美国精神疾病诊断和统计手册第四版(DSM-IV)，并且抑郁症诊断局限于以临床症状为主，其诊断主要依据精神科医生的经验和相关的抑郁症量表，但是抑郁症量表的评分结果不能准确的反映患者的心理状况，患者可能存在主观隐瞒的情况，诊断结果往往会受到医生自身主观因素和实际临床经验的影响，并且在抑郁症诊断方面缺少量化的诊断指标和可靠、高效的诊断系统，诊断效率低、误诊率高、资源耗费大的情况一直得不到解决。
发明内容
本发明的目的是提供一种基于注意和情感信息融合的抑郁症诊断系统及数据处理方法，该系统利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征，可以全面、系统、定量的对抑郁症进行识别。
为实现上述目的，本发明一方面提供一种基于注意和情感信息融合的抑郁症诊断系统，包括：情绪刺激模块，用于设置多个情绪刺激任务并以预设顺序将所述多个情绪刺激任务提供至受测者，以诱发所述受测者的情绪；图像采集模块，用于采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像；数据传输模块，用于获取并发送所述眼部图像和面部图像；数据预处理模块，用于接收来自所述数据传输模块的眼部图像和面部图像，并对所述眼部图像和面部图像进行预处理；数据处理模块，用于对所述预处理后的眼部图像进行分析，计算所述受测者的注视点位置和瞳孔直径；特征提取模块，用于提取反映所述受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；识别反馈模块，用于对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别。
根据本发明的一个方面，所述多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负性情绪刺激。
根据本发明的一个方面，所述图像采集模块包括：
第一摄像机，所述第一摄像机设置于所述受测者眼睛的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的眼部视频；
眼部图像采集单元，所述眼部图像采集单元的输入端与所述第一摄像机相连，所述眼部图像采集单元的输出端与所述数据传输模块相连，用于接收所述眼部视频并从所述眼部视频中采集所述受测者的眼部图像，将所述眼部图像发送至数据传输模块；
第二摄像机，所述第二摄像机设置于所述受测者面部的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的面部视频；
面部图像采集单元，所述面部图像采集单元的输入端与所述第二摄像机相连，所述面部图像采集单元的输出端与所述数据传输模块相连，用于接收所述面部视频并从所述面部视频中采集所述受测者的面部图像，将所述面部图像发送至数据传输模块。
根据本发明的一个方面，所述数据预处理模块包括：
眼部图像预处理单元，用于对所述眼部图像进行预处理，得到预处理后的眼部图像；
面部图像预处理单元，用于对所述面部图像进行预处理，得到预处理后的面部图像。
根据本发明的一个方面，所述眼部图像预处理单元对所述眼部图像进行预处理，包括：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。
根据本发明的一个方面，所述面部图像预处理单元对所述面部图像进行预处理，包括：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。
根据本发明的一个方面，所述数据处理模块包括：注视点位置计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的注视点位置；瞳孔直径计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的瞳孔直径。
根据本发明的一个方面，所述注视点位置计算单元计算所述受测者在进行所述情绪刺激任务时的注视点位置，包括：
首先，建立所述受测者在头部位置固定情况下的视线映射函数模型：
其中为注视点坐标，(xi，yi)为所述受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5为系数，其中，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5通过预先让所述受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；
然后，获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，根据所述视线映射函数模型和瞳孔中心的坐标值(xj，yj)，得到所述受测者的视线在屏幕上落点坐标
根据本发明的一个方面，所述注视点位置计算单元获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)。
根据本发明的一个方面，所述瞳孔直径计算单元计算所述受测者在进行所述情绪刺激任务时的瞳孔直径，包括：
对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。
根据本发明的一个方面，所述瞳孔直径计算单元计算在进行每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和所述受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值
根据本发明的一个方面，所述注意类特征包括：所述受测者的注视点中心距特征和注意偏向分数特征；所述情感类特征包括所述受测者的情感带宽特征和面部表情特征。
根据本发明的一个方面，所述特征提取模块提取所述受测者的注视点中心距特征包括：
首先，计算所述受测者在进行每个所述情绪刺激任务时的注视点位置和视频位置的中心点坐标(x0，y0)的欧式距离，得到所述受测者的注视点中心距dj，
然后，将计算得到的注视点中心距特征存入矩阵x1，
x1＝(d1，d2，d3，…，dn)
其中x1为注视点中心距特征矩阵，n为特征个数。
根据本发明的一个方面，所述特征提取模块提取所述受测者的注意偏向分数特征包括：首先，计算所述受测者的正性注意偏向分数特征和负性注意偏向分数特征
然后，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x2：
x2＝(fixation1 正性偏向，…，fixationn 正性偏向，fixation1 负性偏向，…，fixationn 负性偏向)T，
其中，x2是一个2*i维的特征矩阵，表示所述受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，ii＝1，2，3，…，n。
根据本发明的一个方面，所述受测者的正性注意偏向分数特征如下：
其中为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征；
所述受测者的负性注意偏向分数特征如下：
其中为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。
根据本发明的一个方面，所述特征提取模块提取所述受测者的情感带宽特征包括：
首先，根据所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的正性情感带宽特征：
根据所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的负性情感带宽特征：
然后，将计算得到所述受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x3：
其中，x3是一个2*i维的特征矩阵，表示所述受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。
根据本发明的一个方面，所述特征提取模块提取所述受测者的面部表情特征包括：
首先，根据预处理后的面部图像分别提取所述受测者观看所述正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和
然后，根据和分别计算正性差分表情特征向量和负性差分表情特征向量
最后，将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x4，其中，
其中，x4是一个2*i维的特征向量，表示所述受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。
根据本发明的一个方面，所述正性差分表情特征向量为：所述负性差分表情特征向量为：
根据本发明的一个方面，所述识别反馈模块对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别，包括：将所述特征提取模块提取的所述受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊断，并以符号函数形式输出诊断结果。
本发明实施例提供的基于注意和情感信息融合的抑郁症诊断系统，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。
本发明另一方面提出一种基于注意和情感信息融合的数据处理方法，包括如下步骤：
步骤S1，设置多个情绪刺激任务并以预设顺序将所述多个情绪刺激任务提供至受测者，以诱发所述受测者的情绪；
步骤S2，采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像；
步骤S3，对所述眼部图像和面部图像进行预处理，得到预处理后的眼部图像和面部图像；
步骤S4，对所述预处理后的眼部图像进行分析，计算所述受测者的注视点位置和瞳孔直径；
步骤S5，根据所述受测者的注视点位置、瞳孔直径以及预处理后的面部图像，提取反映所述受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；
步骤S6，对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别。
根据本发明的一个方面，所述多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，
其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负性情绪刺激。
根据本发明的一个方面，在所述步骤S2中，所述采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像，包括如下步骤：
采用设置于所述受测者眼睛的邻近处的第一摄像机采集所述受测者在进行所述情绪刺激任务时的眼部视频，并从所述眼部视频中采集所述受测者的眼部图像，
采用设置于所述受测者面部的邻近处的第二摄像机采集所述受测者在进行所述情绪刺激任务时的面部视频，并从所述面部视频中采集所述受测者的面部图像。
根据本发明的一个方面，在所述步骤S3中，对所述眼部图像进行预处理，包括如下步骤：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。
根据本发明的一个方面，在所述步骤S3中，对所述面部图像进行预处理，包括如下步骤：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。
根据本发明的一个方面，在所述步骤S4中，所述计算所述受测者的注视点位置包括如下步骤：
首先，建立所述受测者在头部位置固定情况下的视线映射函数模型：
其中为注视点坐标，(xi，yi)为所述受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5为系数，其中，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5通过预先让所述受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；
然后，获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，根据所述视线映射函数模型和瞳孔中心的坐标值(xj，yj)，得到所述受测者的视线在屏幕上落点坐标
根据本发明的一个方面，获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)。
根据本发明的一个方面，在所述步骤S4中，所述计算所述受测者的瞳孔直径，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。
根据本发明的一个方面，所述计算在进行每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和所述受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值
根据本发明的一个方面，所述注意类特征包括：所述受测者的注视点中心距特征和注意偏向分数特征；所述情感类特征包括所述受测者的情感带宽特征和面部表情特征。
根据本发明的一个方面，在所述步骤S5中，所述提取反映所述受测者的注意力的注意类特征，包括如下步骤：首先，计算所述受测者在进行每个所述情绪刺激任务时的注视点位置和视频位置的中心点坐标(x0，y0)的欧式距离，得到所述受测者的注视点中心距dj，
然后，将计算得到的注视点中心距特征存入矩阵x1，
x1＝(d1，d2，d3，...，dn)T；
其中x1为注视点中心距特征矩阵，n为特征个数。
根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的注意偏向分数特征包括如下步骤：
首先，计算所述受测者的正性注意偏向分数特征和负性注意偏向分数特征
然后，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x2：
x2＝(fixation1 正性偏向，…，fixationn 正性偏向，fixation1 负性偏向，…，fixationn 负性偏向)T，
其中，x2是一个2*i维的特征矩阵，表示所述受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，
i＝1，2，3，…，n。
根据本发明的一个方面，所述受测者的正性注意偏向分数特征如下：
其中为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征；
所述受测者的负性注意偏向分数特征如下：
其中为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。
根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的情感带宽特征包括如下步骤：
首先，根据所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的正性情感带宽特征：
根据所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的负性情感带宽特征：
然后，将计算得到所述受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x3：
其中，x3是一个2*i维的特征矩阵，表示所述受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，...，n。
根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的面部表情特征包括如下步骤：首先，根据预处理后的面部图像分别提取所述受测者观看所述正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和
然后，根据和分别计算正性差分表情特征向量和负性差分表情特征向量
最后，将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x4，其中，
其中，x4是一个2*i维的特征向量，表示所述受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，...，n。
根据本发明的一个方面，所述正性差分表情特征向量为：所述负性差分表情特征向量为：
根据本发明的一个方面，在所述步骤S6中，所述对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别，包括如下步骤：将所述特征提取模块提取的所述受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊断，并以符号函数形式输出诊断结果。
本发明实施例提供的基于注意和情感信息融合的数据处理方法，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。
附图说明
图1是根据本发明实施方式的基于注意和情感信息融合的抑郁症诊断系统的结构图；
图2是根据本发明实施方式的图像采集模块的结构图；
图3是根据本发明实施方式的数据预处理模块的结构图；
图4是根据本发明实施方式的数据处理模块的结构图；
图5为根据本发明实施方式的基于注意和情感信息融合的数据处理方法的流程图；
图6是根据本发明实施方式的注视点中心距特征提取的流程图；
图7是根据本发明实施方式的注意偏向分数特征提取的流程图；
图8是根据本发明实施方式的情感带宽特征提取的流程图；
图9是根据本发明实施方式的面部表情特征提取的流程图；
图10是根据本发明实施方式的诊断识别的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明实施方式提供了一种基于注意和情感信息融合的抑郁症诊断系统，在详细介绍该系统的技术方案之前，首先对该系统基于的抑郁症识别标准进行说明：
抑郁症是以注意损伤和情感障碍为主的精神类疾病，其对愉快情感的接受敏感度下降，并伴随着信息加工的注意偏向。具体表现为：抑郁症患者面对正性刺激时，正性情感带宽变窄，对正性信息的注意减少，导致对正性刺激的体验能力不足，其高兴面部表情特征变化幅度小于正常人；面对负性刺激时，抑郁症患者对负性信息的注意增加，导致其负性情绪加工过度，其悲伤面部表情特征变化幅度大于正常人。另外，抑郁症患者存在注意受损，其注意范围变小、视野受限，呈现中心特性。与正常人相比，抑郁症患者的情感体验能力和注意能力均受损，对于外界呈现的情绪刺激，表现为不同的注视点中心距特征、注意偏向分数特征、情感带宽模式和面部表情特征序列，这为抑郁症的识别提供了客观、可靠的标准，也为抑郁症诊断系统的准确、高效诊断提供了有力保障。
基于上述对于抑郁症的识别诊断标准，本发明提出一种基于注意和情感信息融合的抑郁症诊断系统。
如图1所示，本发明提供一种基于注意和情感信息融合的抑郁症诊断系统，包括：情绪刺激模块1、图像采集模块2、数据传输模块3、数据预处理模块4、数据处理模块5、特征提取模块6和识别反馈模块7。
具体来说，情绪刺激模块1设置多个情绪刺激任务并以预设顺序将多个情绪刺激任务提供至受测者，以诱发受测者的情绪。其中，多个情绪刺激任务至少包括：
1)正性情绪刺激任务1：一段正性情绪刺激视频；
2)中性情绪刺激任务2：一段中性情绪刺激视频；
3)负性情绪刺激任务3：一段负性情绪刺激视频；
4)情绪刺激任务4：同时提供的一段正性情绪刺激视频和中性刺激视频；
5)情绪刺激任务5：同时提供的一段负性情绪刺激视频和中性刺激视频。
需要说明的是，正性情绪刺激视频是指用于对受测者产生正性情绪刺激，中性情绪刺激视频是指用于对受测者产生中性情绪刺激，负性情绪刺激视频是指用于对受测者产生负性情绪刺激。
优选的，每段情绪刺激视频的时长为30秒。
具体来说，情绪刺激模块1首先从视频库中选取正性、中性、负性情绪刺激视频各一段，时长30s。然后将上述三段情绪刺激视频排列组合为上述5个情绪刺激任务。首先将情绪刺激任务1、2、3呈现给用户，再将情绪刺激任务4、5呈现给用户。即，先将正性情绪刺激任务1、中性情绪刺激任务2和负性情绪刺激任务3呈现给用户，再将情绪刺激任务4和情绪刺激任务5呈现给用户。
图像采集模块2采集受测者在进行情绪刺激任务时的眼部图像和面部图像，并发送至数据传输模块3。
具体地，如图2所示，图像采集模块2包括：第一摄像机21、眼部图像采集单元22、第二摄像机23和面部图像采集单元24。
第一摄像机21设置于受测者眼睛的邻近处，采集受测者在进行情绪刺激任务时的眼部视频。眼部图像采集单元22的输入端与第一摄像机21相连，眼部图像采集单元22的输出端与数据传输模块3相连，接收眼部视频并从眼部视频中采集受测者的眼部图像，例如，受测者分别进行上述5个情绪刺激任务时的眼部图像，然后将眼部图像发送至数据传输模块3。
第二摄像机23设置于受测者面部的邻近处，用于采集受测者在进行情绪刺激任务时的面部视频。面部图像采集单元24的输入端与第二摄像机23相连，面部图像采集单元24的输出端与数据传输模块3相连，用于接收面部视频并从面部视频中采集受测者的面部图像，例如，受测者分别进行上述5个情绪刺激任务1至3时的面部图像，将面部图像发送至数据传输模块3。
换言之，情绪刺激模块1先将情绪刺激任务1、2、3呈现给用户，同时第一摄像机21和眼部图像采集单元22进行眼部图像采集，第二摄像机23和面部图像采集单元24进行面部图像采集，即分别采集用户在情绪刺激任务1、2、3下的眼部图像和面部表情图像。然后，情绪刺激模块1再将情绪刺激任务4、5呈现给用户，只由第一摄像机21和眼部图像采集单元22采集用户在此情绪刺激任务下的眼部图像。
数据传输模块3获取并向数据预处理模块4发送眼部图像和面部图像。
数据预处理模块4接收来自数据传输模块3的眼部图像和面部图像，并对眼部图像和面部图像进行预处理。
具体地，如图3所示，数据预处理模块4包括眼部图像预处理单元41和面部图像预处理单元42。
眼部图像预处理单元41对受测者观看每个情绪刺激任务时的眼部图像进行预处理，包括：对眼部图像进行归一化处理，即对眼部图像进行图像切割、旋转、缩放处理，得到符合要求的归一化眼部图像。再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对眼部灰度图像进行直方图均衡化处理，利用瞳孔灰度与周围区域的灰度差异，对经过直方图均衡化处理的灰度图像进行二值化处理，最后经过多次图像膨胀处理和图像腐蚀处理，获得眼部二值化图像。
面部图像预处理单元42对面部图像进行预处理，包括：对受测者观看情绪刺激任务1至3时的面部图像进行归一化处理，即以双眼坐标和两眼距离为依据进行图像切割、旋转、缩放处理，得到符合要求的归一化面部表情图像，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，为了增强图像的对比度，对灰度图像进行拉伸变换，对拉伸处理完的图像进行滤波，滤除噪声，得到预处理后的面部表情图像。
数据处理模块5对预处理后的眼部图像进行分析，计算受测者的注视点位置和瞳孔直径。
具体地，如图4所示，数据处理模块5包括注视点位置计算单元51和瞳孔直径计算单元52。
注视点位置计算单元51根据预处理后的眼部图像，计算受测者在进行每个情绪刺激任务时的注视点位置。
首先，注视点位置计算单元51利用视线估计技术中眼球转动时相对位置不变的特征作为参照，在位置变化特征和不变特征之间提取视线估计参数，建立受测者在头部位置固定情况下的视线映射函数：
其中为注视点坐标，(xi，yi)为受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5为系数，其中，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5通过预先让受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到。具体地，为了确定12个未知参数a0，a1，a2，a3，a4，a5，b0，b1，b2，b3，b4，b5的值，选取屏幕上固定的6个点，其坐标为 让受测者依次观看这6个点的同时获得其相应的眼部图像。
下面对计算上述12个未知参数的过程进行说明：将受测者观看屏幕上6个固定点时采集到的眼部图像，交由眼部图像预处理单元41进行预处理，对预处理后的图像进行边缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔中心的坐标值(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)。然后将 (x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)分别代入视线映射函数模型，获得12个方程，确定出参数a0，a1，a2，a3，a4，a5，b0，b1，b2，b3，b4，b5的值，进而得到视线映射函数：
然后，注视点位置计算单元51对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。
瞳孔直径计算单元52根据预处理后的眼部图像，计算受测者在进行情绪刺激任务1至3时的瞳孔直径。
瞳孔直径计算单元52对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值
特征提取模块6提取反映受测者的注意力的注意类特征和反映受测者的情感状态的情感类特征。其中，注意类特征包括：受测者的注视点中心距特征和注意偏向分数特征。情感类特征包括受测者的情感带宽特征和面部表情特征。
下面分别对特征提取模块6提取注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征的过程进行说明。
1)注视点中心距特征
特征提取模块6首先计算受测者在进行情绪刺激任务1至3时的注视点位置和视频位置的中心点坐标(x0，y0)的欧式距离，得到受测者的注视点中心距dj，
然后，特征提取模块6将计算得到的注视点中心距特征存入矩阵x1，
x1＝(d1，d2，d3，...，dn)T；
其中x1为一个j维的特征矩阵，表示受测者的视野范围，i为特征个数，j＝1，2，3，…，n。
2)注意偏向分数特征
特征提取模块6计算受测者的正性注意偏向分数特征和负性注意偏向分数特征。首先，特征提取模块6对预处理完的受测者观看情绪刺激任务4和5时的眼部图像进行边缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔中心的坐标值(xk，yk)，代入计算完成的视线映射函数中，得到视线在屏幕上的落点坐标
然后，特征提取模块6计算正性注意偏向分数特征，包括如下步骤：
情绪刺激任务4中播放正性视频的窗口在电脑屏幕上位置满足：k1≤x正≤k2，k3≤y正≤k４；播放中性视频的窗口在电脑屏幕上位置满足：k5≤x中≤k6，k7≤y中≤k8。
情绪刺激任务4中，若计算的注视点的坐标满足：且则判断注视点落在正性视频区域，其个数为
若计算的注视点的坐标满足：且则判断注视点落在中性视频区域，其个数为
将落在正性视频区域内的注视点个数和落在中性视频区域内注视点个数进行差分运算得到的差值，与落在正性视频区域内的注视点个数和落在中性视频区域内注视点个数的和的比值作为正性注意偏向分数特征，具体如下：
其中，为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征。
特征提取模块6计算负性注意偏向分数特征，包括如下步骤：
情绪刺激任务5中播放负性视频的窗口位置与情绪刺激任务4中播放正性视频的窗口位置一致，满足：k1≤x负≤k2，k3≤y负≤k4；播放中性视频的窗口与情绪刺激任务4中播放中性视频的窗口位置一致，满足：k5≤x中≤k6，k7≤y中≤k8。
情绪刺激任务5中，若计算的注视点的坐标满足：且则判断注视点落在负性视频区域，其个数为
若计算的注视点的坐标满足：且则判断注视点落在中性视频区域，其个数为
将落在负性视频区域的注视点个数和落在中性视频区域内注视点个数的差值，与落在负性视频区域内的注视点个数和落在中性视频区域内注视点个数的和的比值作为负性注意偏向分数特征，具体如下：
其中，为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。
最后，特征提取模块6将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x2：
x2＝(fixation1 正性偏向，…，fixationn 正性偏向，fixation1 负性偏向，…，fixationn 负性偏向)T，
其中，x2是一个2*i维的特征矩阵，表示受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，i＝1，2，3，…，n。
3)情感带宽特征
首先由数据预处理模块3对受测者观看情绪刺激任务1，2，3时的眼部图像，即正性情绪刺激下眼部图像、中性情绪刺激下眼部图像和负性情绪刺激下眼部图像，进行预处理，包括对眼部图像进行二值化处理，经过多次图像膨胀处理和图像腐蚀处理，获得眼部二值化图像，再对二值化图像进行噪声滤除处理，对噪声滤除处理后的眼部二值化图像进行边缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔中心的坐标值，进一步计算出受测者分别观看情绪刺激任务1至3时采集到的每帧图像的瞳孔直径值：和
然后，特征提取模块6根据受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值计算受测者的正性情感带宽特征：
特征提取模块6根据受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值计算受测者的负性情感带宽特征：
最后，特征提取模块6将计算得到受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x3：
其中，x3是一个2*i维的特征矩阵，表示受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。
4)面部表情特征
特征提取模块6根据FCP(facial characteristic points)的特征点集合，对预处理完后的每帧面部表情图像分别定位了m个面部特征点。
首先，特征提取模块6根据预处理后的面部图像分别提取受测者观看正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和
具体地，特征提取模块6提取观看情绪刺激任务1时预处理完的每帧面部表情图像的表情特征点向量：
特征提取模块6提取观看情绪刺激任务2时预处理完的每帧面部表情图像的表情特征点向量：
特征提取模块6提取观看情绪刺激任务3时预处理完的每帧面部表情图像的表情特征点向量：
然后，特征提取模块6根据计算正性差分表情特征向量其中，
根据计算负性差分表情特征向量其中，
最后，特征提取模块6将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x4，其中，
其中，x4是一个2*i维的特征向量，表示受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。
识别反馈模块7对注意类特征和情感类特征进行融合以对受测者进行抑郁症诊断识别。
具体来说，识别反馈模块7将特征提取模块提取的受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型(SVM)中进行预测，实现抑郁症识别诊断。
如果判断当前受测者为抑郁症患者，则输出参数yi＝1；若判断当前受测者为正常人，则输出参数yi＝0；如果无法完成判断，则输出参数yi＝-1。
在本发明中，采用符号函数作为判决函数，输出识别结果至对应的受测者。
综上，本实施例的基于注意和情感信息融合的抑郁症诊断系统，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。
如图5所示，本发明还提出一种基于注意和情感信息融合的数据处理方法，包括如下步骤：
步骤S1，设置多个情绪刺激任务并以预设顺序将多个情绪刺激任务提供至受测者，以诱发受测者的情绪。
具体地，多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频。其中，正性情绪刺激视频用于对受测者产生正性情绪刺激，中性情绪刺激视频用于对受测者产生中性情绪刺激，负性情绪刺激视频用于对受测者产生负性情绪刺激。
步骤S2，采集受测者在进行情绪刺激任务时的眼部图像和面部图像。
具体地，在本步骤中，采用设置于受测者眼睛的邻近处的第一摄像机采集受测者在进行情绪刺激任务时的眼部视频，并从眼部视频中采集受测者的眼部图像。并且，采用设置于受测者面部的邻近处的第二摄像机采集受测者在进行情绪刺激任务时的面部视频，并从面部视频中采集受测者的面部图像。
步骤S3，对眼部图像和面部图像进行预处理，得到预处理后的眼部图像和面部图像。
具体地，对眼部图像进行预处理，包括如下步骤：对眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。
对面部图像进行预处理，包括如下步骤：对面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。
步骤S4，对预处理后的眼部图像进行分析，计算受测者的注视点位置和瞳孔直径。
计算受测者的注视点位置包括如下步骤：
首先，建立受测者在头部位置固定情况下的视线映射函数模型：
其中为注视点坐标，(xi，yi)为受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5为系数，其中，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5通过预先让受测者观看6个预设屏幕上固定点坐标和和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；
然后，获取受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，根据视线映射函数模型和瞳孔中心的坐标值(xj，yj)，得到受测者的视线在屏幕上落点坐标
具体地，获取受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，包括如下步骤：对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)。
此外，计算受测者的瞳孔直径，包括如下步骤：对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。
具体地，计算在进行每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值
步骤S5，根据受测者的注视点位置、瞳孔直径以及预处理后的面部图像，提取反映受测者的注意力的注意类特征和反映受测者的情感状态的情感类特征。
在本发明的一个实施例中，注意类特征包括：受测者的注视点中心距特征和注意偏向分数特征；情感类特征包括受测者的情感带宽特征和面部表情特征。
下面对注意类特征和情感类特征的提取过程进行说明。
图6是根据本发明实施方式的注视点中心距特征提取的流程图。
如图6所示，提取反映受测者的注视点中心距特征，包括如下步骤：
步骤S601，参考步骤S4中的描述确定瞳孔中心的坐标值(xj，yj)。
步骤S602，参考步骤S4中的描述建立视线映射函数模型
步骤S603，计算受测者在进行每个情绪刺激任务时的注视点坐标
步骤S604，计算视频位置的中心点坐标(x0，y0)的欧式距离，得到受测者的注视点中心距dj，
然后，将计算得到的注视点中心距特征存入矩阵x1，
x1＝(d1，d2，d3，…，dn)；
其中x1为注视点中心距特征矩阵，n为特征个数。
图7是根据本发明实施方式的注意偏向分数特征提取的流程图。
如图7所示，提取受测者的注意偏向分数特征包括如下步骤：
首先，计算受测者的正性注意偏向分数特征和负性注意偏向分数特征
步骤S701，获取落在正性视频区域内注视点个数
步骤S702，获取落在中性视频区域内注视点个数
步骤S703，将和进行差分运算；
步骤S704，计算受测者正性注意偏向分数特征
其中，受测者的正性注意偏向分数特征如下：
其中为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征。
步骤S705，获取落在负性视频区域内注视点个数
步骤S706，获取落在中性视频区域内注视点个数
步骤S707，将和进行差分运算；
步骤S708，计算受测者的负性注意偏向分数特征
受测者的负性注意偏向分数特征如下：
其中为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。
步骤S709，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x2：
x2＝(fixation1 正性偏向，…，fixationn 正性偏向，fixation1 负性偏向，…，fixationn 负性偏向)T，
其中，x2是一个2*i维的特征矩阵，表示受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，i＝1，2，3，…，n。
此外，在本步骤中，如图8所示，提取受测者的情感带宽特征包括如下步骤：
步骤S801，分别对正性、中性和负性情绪刺激下眼部图像进行二值化处理；
步骤S802，对二值化处理后的图像进行噪声滤除；
步骤S803，对噪声滤除后的图像进行形态学处理；
步骤S804，对形态学处理后的图像进行边缘检测；
步骤S805，建立圆方程；
步骤S806～步骤S808，参考上述步骤描述分别计算受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值
步骤S809，根据受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值
步骤S810，计算受测者的正性情感带宽特征：
步骤S811，根据受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值
步骤S812，计算受测者的负性情感带宽特征：
然后，将计算得到受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x3：
其中，x3是一个2*i维的特征矩阵，表示受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。
图9是根据本发明实施方式的面部表情特征提取的流程图。
如图9所示，提取受测者的面部表情特征包括如下步骤：
步骤S901～步骤S903，根据预处理后的面部图像分别提取受测者观看正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和
步骤S904，根据计算正性差分表情特征向量
其中，正性差分表情特征向量为：
步骤S905，根据和分别负性差分表情特征向量
其中，负性差分表情特征向量为：
步骤S906，将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x4，其中，
其中，x4是一个2*i维的特征向量，表示受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。
步骤S6，对注意类特征和情感类特征进行融合以对受测者进行抑郁症诊断识别。
图10是根据本发明实施方式的诊断识别的流程图。
如图10所示，对注意类特征和情感类特征进行融合以对受测者进行抑郁症诊断识别，包括如下步骤：
步骤S1001，将特征提取模块提取的受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊断，并以符号函数形式输出诊断结果，判断该受测者为正常人(步骤S1002)，或者受测者患有抑郁症(步骤S1003)；或者该受测者的症状无法判定(步骤S1004)。
综上，本实施例的基于注意和情感信息融合的数据处理方法，对抑郁症的诊断采用了四项注意和情感类反应指标，利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (18)
1.一种基于注意和情感信息融合的抑郁症诊断系统，其特征在于，包括：
情绪刺激模块，用于设置多个情绪刺激任务并以预设顺序将所述多个情绪刺激任务提供至受测者，以诱发所述受测者的情绪；
图像采集模块，用于采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像，并发送至数据传输模块；
数据传输模块，与所述图像采集模块连接，用于获取所述眼部图像和面部图像并发送所述眼部图像和面部图像至数据预处理模块；
数据预处理模块，与所述数据传输模块连接，用于接收来自所述数据传输模块的眼部图像和面部图像，并对所述眼部图像和面部图像进行预处理；
数据处理模块，与所述数据预处理模块连接，用于对所述预处理后的眼部图像进行分析，计算所述受测者的注视点位置和瞳孔直径；
特征提取模块，与所述数据处理模块连接，用于提取反映所述受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；
所述注意类特征包括：所述受测者的注视点中心距特征和注意偏向分数特征；所述情感类特征包括所述受测者的情感带宽特征和面部表情特征；
识别反馈模块，与所述特征提取模块连接，用于对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别。
2.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述多个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，
其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负性情绪刺激。
3.根据权利要求1或2所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述图像采集模块包括：
第一摄像机，所述第一摄像机设置于所述受测者眼睛的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的眼部视频；
眼部图像采集单元，所述眼部图像采集单元的输入端与所述第一摄像机相连，所述眼部图像采集单元的输出端与所述数据传输模块相连，用于接收所述眼部视频并从所述眼部视频中采集所述受测者的眼部图像，将所述眼部图像发送至数据传输模块；
第二摄像机，所述第二摄像机设置于所述受测者面部的邻近处，用于采集所述受测者在进行所述情绪刺激任务时的面部视频；
面部图像采集单元，所述面部图像采集单元的输入端与所述第二摄像机相连，所述面部图像采集单元的输出端与所述数据传输模块相连，用于接收所述面部视频并从所述面部视频中采集所述受测者的面部图像，将所述面部图像发送至数据传输模块。
4.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述数据预处理模块包括：
眼部图像预处理单元，用于对所述眼部图像进行预处理，得到预处理后的眼部图像；
面部图像预处理单元，用于对所述面部图像进行预处理，得到预处理后的面部图像。
5.根据权利要求4所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述眼部图像预处理单元对所述眼部图像进行预处理，包括：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换以生成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。
6.根据权利要求4所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述面部图像预处理单元对所述面部图像进行预处理，包括：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换以生成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。
7.根据权利要求2所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述数据处理模块包括：
注视点位置计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的注视点位置；
瞳孔直径计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的瞳孔直径。
8.根据权利要求7所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述注视点位置计算单元计算所述受测者在进行所述情绪刺激任务时的注视点位置，包括：
建立所述受测者在头部位置固定情况下的视线映射函数模型：
其中为注视点坐标，(xi，yi)为所述受测者在观看屏幕固定点坐标时的瞳孔中心坐标，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5为系数，其中，a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5通过预先让所述受测者观看6个预设屏幕上固定点坐标和观看固定点时计算得到的6组瞳孔中心坐标组成的12个方程计算得到；
获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，根据所述视线映射函数模型和瞳孔中心的坐标值(xj，yj)，得到所述受测者的视线在屏幕上落点坐标
9.根据权利要求8所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述注视点位置计算单元获取所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中心的坐标值(xj，yj)。
10.根据权利要求7所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述瞳孔直径计算单元计算所述受测者在进行所述情绪刺激任务时的瞳孔直径，包括：
对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帧图像的瞳孔直径值。
11.根据权利要求10所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述瞳孔直径计算单元计算在进行每个情绪刺激任务时采集到的每帧图像的瞳孔直径值，包括：所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值、所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和所述受测者观看负性情绪刺激视频时每帧图像的瞳孔直径值
12.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述特征提取模块提取所述受测者的注视点中心距特征包括：
计算所述受测者在进行每个所述情绪刺激任务时的注视点位置和视频位置的中心点坐标(x0，y0)的欧式距离，得到所述受测者的注视点中心距dj，
将计算得到的注视点中心距特征存入矩阵x1，
x1＝(d1，d2，d3，…，dn)T；
其中x1为注视点中心距特征矩阵，n为特征个数。
13.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述特征提取模块提取所述受测者的注意偏向分数特征包括：首先，计算所述受测者的正性注意偏向分数特征和负性注意偏向分数特征
然后，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵x2：
x2＝(fixation1 正性偏向，…，fixationn 正性偏向，fixation1 负性偏向，…，fixationn 负性偏向)T，
其中，x2是一个2*i维的特征矩阵，表示所述受测者的注意偏向分数特征，i为正性注意偏向分数特征或负性注意偏向分数特征个数，i＝1，2，3，…，n。
14.根据权利要求13所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述受测者的正性注意偏向分数特征如下：
其中为落在正性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的正性注意偏向分数特征；
所述受测者的负性注意偏向分数特征如下：
其中为落在负性视频区域内注视点个数，为落在中性视频区域内注视点个数，为计算得到的负性注意偏向分数特征。
15.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述特征提取模块提取所述受测者的情感带宽特征包括：
根据所述受测者观看正性情绪刺激视频时每帧图像的瞳孔直径值和观看中性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的正性情感带宽特征：
根据所述受测者观看中性情绪刺激视频时每帧图像的瞳孔直径值和观看负性情绪刺激视频时每帧图像的瞳孔直径值计算所述受测者的负性情感带宽特征：
将计算得到所述受测者的正性情感带宽特征和负性情感带宽特征存入矩阵x3：
其中，x3是一个2*i维的特征矩阵，表示所述受测者的情感带宽，i为图像序列的帧数，i＝1，2，3，…，n。
16.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述特征提取模块提取所述受测者的面部表情特征包括：
根据预处理后的面部图像分别提取所述受测者观看所述正性情绪刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量和
根据和分别计算正性差分表情特征向量和负性差分表情特征向量
将计算得到的正性差分表情特征向量和负性差分表情特征向量存入矩阵x4，其中，
其中，x4是一个2*i维的特征向量，表示所述受测者的面部特征点运动情况，i为图像序列的帧数，i＝1，2，3，…，n。
17.根据权利要求16所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述正性差分表情特征向量为：
所述负性差分表情特征向量为：
18.根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述识别反馈模块对所述注意类特征和所述情感类特征进行融合以对所述受测者进行抑郁症诊断识别，包括：将所述特征提取模块提取的所述受测者的注视点中心距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊断，并以符号函数形式输出诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510468260.6A CN105559802B (zh) | 2015-07-29 | 2015-08-03 | 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510456766 | 2015-07-29 | ||
| CN2015104567665 | 2015-07-29 | ||
| CN201510468260.6A CN105559802B (zh) | 2015-07-29 | 2015-08-03 | 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105559802A CN105559802A (zh) | 2016-05-11 |
| CN105559802B true CN105559802B (zh) | 2018-11-02 |
Family
ID=55870852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510468260.6A Expired - Fee Related CN105559802B (zh) | 2015-07-29 | 2015-08-03 | 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105559802B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6371366B2 (ja) * | 2016-12-12 | 2018-08-08 | ダイキン工業株式会社 | 精神疾患判定装置 |
| CN107610099A (zh) * | 2017-08-18 | 2018-01-19 | 中山大学 | 一种基于瞳孔信息的情感精神状态检测系统及方法 |
| CN107832698A (zh) * | 2017-11-02 | 2018-03-23 | 北方工业大学 | 基于阵列镜头的学习兴趣测试方法及装置 |
| CN108652648B (zh) * | 2018-03-16 | 2021-05-04 | 合肥数翼信息科技有限公司 | 一种用于老年人抑郁症的抑郁监控装置 |
| TWI673034B (zh) * | 2018-07-27 | 2019-10-01 | 高雄醫學大學 | 眼瞼下垂檢測方法及系統 |
| WO2020019286A1 (zh) | 2018-07-27 | 2020-01-30 | 高雄医学大学 | 眼睑下垂检测方法及系统 |
| CN109259775A (zh) * | 2018-08-30 | 2019-01-25 | 清华大学 | 一种人脸刺激范式生成方法及自闭症分析系统 |
| CN109157231B (zh) * | 2018-10-24 | 2021-04-16 | 阿呆科技（北京）有限公司 | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 |
| CN109223006A (zh) * | 2018-10-26 | 2019-01-18 | 首都医科大学附属北京安定医院 | 一种精神分裂症诊断系统 |
| CN109480864A (zh) * | 2018-10-26 | 2019-03-19 | 首都医科大学附属北京安定医院 | 一种基于神经认知功能与机器学习的精神分裂症自动评估系统 |
| CN109711291A (zh) * | 2018-12-13 | 2019-05-03 | 合肥工业大学 | 基于眼睛凝视热力图的人格预测方法 |
| CN110393539B (zh) * | 2019-06-21 | 2021-11-23 | 合肥工业大学 | 心理异常检测方法、装置、存储介质及电子设备 |
| CN110599442B (zh) * | 2019-07-01 | 2022-08-12 | 兰州大学 | 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统 |
| CN112201339A (zh) * | 2019-07-08 | 2021-01-08 | 四川大学华西医院 | 一种精神医学辅助诊断系统 |
| CN110415815A (zh) * | 2019-07-19 | 2019-11-05 | 银丰基因科技有限公司 | 深度学习和人脸生物特征信息的遗传病辅助诊断系统 |
| CN110881987B (zh) * | 2019-08-26 | 2022-09-09 | 首都医科大学 | 一种基于可穿戴设备的老年人情绪监测系统 |
| CN110840467A (zh) * | 2019-10-18 | 2020-02-28 | 天津大学 | 一种眼动数据与精神系统疾病的关联分析方法 |
| WO2021090783A1 (ja) * | 2019-11-08 | 2021-05-14 | ソニー株式会社 | 情報処理システム、情報処理方法およびプログラム |
| CN112307947A (zh) * | 2020-10-29 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 用于生成信息的方法和装置 |
| CN112674770B (zh) * | 2020-12-22 | 2021-09-21 | 北京科技大学 | 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法 |
| CN113658697B (zh) * | 2021-07-29 | 2023-01-31 | 北京科技大学 | 一种基于视频注视差异的心理测评系统 |
| CN113610067B (zh) * | 2021-10-11 | 2021-12-28 | 北京工业大学 | 情绪状态展示方法、装置及系统 |
| CN113842145B (zh) * | 2021-10-11 | 2023-10-03 | 北京工业大学 | 基于瞳孔波计算情绪指标的方法、装置及系统 |
| CN114209322B (zh) * | 2021-12-13 | 2023-08-29 | 沃民高新科技（北京）股份有限公司 | 由计算机执行基于视频分析的抑郁症检测的方法 |
| CN114743680B (zh) * | 2022-06-09 | 2022-09-06 | 云天智能信息(深圳)有限公司 | 一种未病评测方法、设备及存储介质 |
| CN115620384B (zh) * | 2022-12-19 | 2023-06-06 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像预测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6186145B1 (en) * | 1994-05-23 | 2001-02-13 | Health Hero Network, Inc. | Method for diagnosis and treatment of psychological and emotional conditions using a microprocessor-based virtual reality simulator |
| JP2003070753A (ja) * | 2001-09-06 | 2003-03-11 | Scalar Corp | 診断システム、診断データ生成方法、それに用いられる情報処理装置、及び端末装置、並びに記録媒体 |
| CN104244842A (zh) * | 2012-02-28 | 2014-12-24 | 阿纳·马里亚·索扎 | 用于诊断和治疗情绪障碍的方法、设备以及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002007568A (ja) * | 2000-06-27 | 2002-01-11 | Kaihatsu Komonshitsu:Kk | 診断システム、診断データ生成方法、それに用いられる情報処理装置、及び端末装置、並びに記録媒体 |
-
2015
- 2015-08-03 CN CN201510468260.6A patent/CN105559802B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6186145B1 (en) * | 1994-05-23 | 2001-02-13 | Health Hero Network, Inc. | Method for diagnosis and treatment of psychological and emotional conditions using a microprocessor-based virtual reality simulator |
| JP2003070753A (ja) * | 2001-09-06 | 2003-03-11 | Scalar Corp | 診断システム、診断データ生成方法、それに用いられる情報処理装置、及び端末装置、並びに記録媒体 |
| CN104244842A (zh) * | 2012-02-28 | 2014-12-24 | 阿纳·马里亚·索扎 | 用于诊断和治疗情绪障碍的方法、设备以及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105559802A (zh) | 2016-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105559802B (zh) | 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 | |
| EP3373798B1 (en) | Method and system for classifying optic nerve head | |
| Chen et al. | Strabismus Recognition Using Eye‐Tracking Data and Convolutional Neural Networks | |
| US10154818B2 (en) | Biometric authentication method and apparatus | |
| US10262196B2 (en) | System and method for predicting neurological disorders | |
| WO2021186655A1 (ja) | 転倒リスク評価システム | |
| US20160012291A1 (en) | Biometric identification via retina scanning with liveness detection | |
| Speth et al. | Deception detection and remote physiological monitoring: A dataset and baseline experimental results | |
| Wang et al. | Screening early children with autism spectrum disorder via response-to-name protocol | |
| JP2008522652A (ja) | 多変量ダイナミック生体測定システム | |
| WO2022022551A1 (zh) | 具有隐私保护功能的运动障碍评估录像分析方法及设备 | |
| JP2017093760A (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| CN112259237A (zh) | 基于多情感刺激和多级分类模型的抑郁评估系统 | |
| Harati et al. | Discriminating clinical phases of recovery from major depressive disorder using the dynamics of facial expression | |
| CN112890815A (zh) | 一种基于深度学习的孤独症辅助评估系统和方法 | |
| WO2020070745A1 (en) | Remote prediction of human neuropsychological state | |
| US10631727B2 (en) | Method and system for detecting time domain cardiac parameters by using pupillary response | |
| CN107480635B (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及系统 | |
| Szankin et al. | Long distance vital signs monitoring with person identification for smart home solutions | |
| Singh et al. | Detection of stress, anxiety and depression (SAD) in video surveillance using ResNet-101 | |
| CN112992340A (zh) | 基于行为识别的疾病预警方法、装置、设备及存储介质 | |
| Tan et al. | Vision-Based Gait Analysis for Neurodegenerative Disorders Detection | |
| Shubhangi et al. | A machine learning approach for early detection and diagnosis of autism and normal controls and estimating severity levels based on face recognition | |
| Nelufule et al. | Image quality assessment for iris biometrics for minors | |
| Valenzuela et al. | A spatio-temporal hypomimic deep descriptor to discriminate parkinsonian patients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181102 Termination date: 20190803 |