CN109805944B - 一种儿童共情能力分析系统 - Google Patents

Abstract

本发明提供一种儿童共情能力分析系统，包括：情绪感知能力分析模块，用于自动化分析儿童对给定刺激材料中情绪的感知能力；认知能力分析模块，用于分析儿童的认知能力；表情模仿能力分析模块，用于自动分析儿童对情景中出现的表情进行模仿的能力。本发明采用模式识别方法分析儿童的多模态信号，能自动地分析儿童对情绪的感知能力、共情认知能力以及表情模仿能力，能够提高儿童共情能力分析的客观性和准确性，为共情缺陷儿童的共情干预提供可靠依据。

Description

一种儿童共情能力分析系统

技术领域

本发明涉及教育技术学领域，具体涉及一种儿童共情能力分析系统。

背景技术

共情是指识别和理解他人的情绪状态，并对其行为、意图做出推测的能力，是成功的社会认知和恰当的行为反应的基础，并且共情能力被认为是亲社会行为的重要促进因素。共情主要由情绪共情和认知共情组成，二者相互影响并互为补充。共情缺陷是导致儿童社交障碍的重要因素。因此，对儿童在共情过程中各阶段能力的量化分析，可以为有共情缺陷的儿童定制精准的干预方案，有利于提升共情缺陷儿童的共情干预效果。

儿童的共情过程大致可以分为三个阶段，即情绪感知，认知和情绪模仿。因此，对共情能力的测量与分析可依照这三个阶段依次进行。情绪感知，是指受到他人情绪感染的能力，是刺激驱动的自动化的过程。情绪感知能力的测量也可以通过调查问卷和行为观察，然而调查问卷很容易受各方面主客观因素的影响，而行为观察难以准确量化，这两种方式都难以反映受试人群的真实情况。从生理学的角度，研究者发现，共情缺陷患者的中枢神经系统和自主神经系统都会对社会性刺激产生反应，因此，研究者认为使用生物标记性行为评估情绪自动感知能力是客观并且有效的。

认知能力，是指个体获取知识的能力，以思维能力为核心。认知共情是个体在认知的基础上，能够理解他人的想法和意图，并做出合理推测，提升个体对他人行为的帮助和配合能力。儿童正常的社会交往，需要一定的认知共情能力，测量和评估儿童的认知共情能力对于提升共情缺陷儿童的社会交往能力具有重要的指导意义。PASS理论是戴斯于1990年提出的智力模型，该模型认为人的信息加工系统包括两种加工类型：继时性加工和同时性加工。杜晓新等基于智力的PASS理论，构建出一个学龄前儿童认知评估与干预体系，该体系从空间次序、动作系列、目标辨认、图形推理和逻辑类比五方面来评估儿童的认知能力，既包含儿童基础认知能力的评估，又包含对他人的想法和意图的理解和推测能力评估，适用于儿童认知共情能力的测量。

表情模仿，是一种社会化参照的表现，显示了儿童模仿学习或观察学习能力。自闭症儿童镜像神经元系统受损，损害了个体的非语言交流能力，包括肢体交流和面部表情的多样性及程度。然而，面部表情难以进行客观的量化。目前有一些研究人员尝试使用定量的方法分析面部表情，例如Rozga等人使用肌电生理传感器，通过表情肌的肌电变化率来衡量共情缺陷患者对他人的表情模仿能力，但肌电生理传感器被放置在面部皮肤上，可能会抑制自发性面部表情的产生。使用非侵入式光学传感器捕捉共情缺陷患者的面部表情，减少了接触式采集设备的噪声干扰，因此，与肌电生理传感器相比，研究者更倾向于使用非侵入式光学传感器采集表情数据。

目前，对该领域已经展开诸多研究，但是对于共情缺陷存在的具体表现却有不同的意见，且缺乏客观准确的量化分析方法。

发明内容

针对现有技术的缺陷，本发明提供一种儿童共情能力分析系统，其目的在于，采用模式识别方法分析儿童的多模态信号，能自动地分析儿童对情绪的感知能力、共情认知能力以及表情模仿能力，能够提高对儿童共情能力分析的客观性和准确性，为共情缺陷儿童的共情干预提供可靠依据。

为了实现本发明的技术目的，本发明提供了如下技术方案：

一种儿童共情能力分析系统，包括：

情绪感知能力分析模块，包括皮电反应传感器、特征提取模块和情绪感知分类模块，电反应传感器用于采集待测者的皮电信号；特征提取模块用于从皮电信号中提取表征情绪感知能力的特征；情绪感知分类模块用于根据提取的特征判定儿童当前的情绪感知能力；

认知能力分析模块，包括测试模块和认知能力判定模块，测试模块用于展示测试试题、接收待测者答题操作，认知能力判定模块用于统计测试结果并根据答题正确率高低判定儿童的认知能力；

表情模仿能力分析模块，包括图像采集模块、人脸检测模块和表情模仿能力判定模块；图像采集模块用于采集待测者的人脸图像；人脸检测模块用于从人脸图像中识别人脸；表情模仿能力判定模块用于从人脸中提取表情强度并以此判定表情模仿能力。

进一步的，所述情绪感知能力分析模块还包括情绪唤醒判定模块，用于依据皮电信号的强弱判定待测者情绪是否已被激活。

进一步的，从皮电信号中提取基线均值和激活均值，若激活均值比基线均值高出预定阈值，则表明待测者处于情绪激活状态；否则，表明待测者处于情绪未激活状态。

进一步的，在特征提取前还对皮电信号作数据平滑和滤波处理。

进一步的，所述皮电信号数据平滑采用Hanmming窗滤波；所述皮电信号滤波采用Batterworth低通滤波器。

进一步的，在特征提取前还对皮电信号消除个体差异，具体实现方式为：

去除个体差异后的皮电信号特征值Y＝Y_init-Y_calm，其中，Y_calm是个体皮电信号基线均值，Y_init是个体接受情绪刺激时的皮电信号特征值。

进一步的，所述情绪感知分类模块将特征输入分类器，输出情绪感知能力级别；所述分类器采用神经网络、支撑向量机及K均值聚类中的任意一种。

进一步的，所述表情模仿能力判定模块将人脸输入表情强度模型得到面部表情的强度值，所述表情强度模型的训练方法为：

准备训练样本集

其中I_m和I_n为来自同一序列的两张人脸图像，m和n表示时刻；D_m为图像I_m的表情强度值，D_n为图像I_n的表情强度值；R_mn为图像I_m和I_n中表情强度的相对值；当两个图像来自于一段从中性表情到峰值表情的序列，且m＜n,则R_mm＝1；当两个图像来自于一段峰值表情到中性表情的序列，且m＜n,则R_mn＝-1。

选择一个由人脸识别数据集预训练的深度神经网络，并将输出层改为预测样本的表情强度，然后通过权值共享构建孪生网络，即生成两个完全相同的深度神经网络分别用来处理训练样本中的两张图像，二者的输出层相减后示表情强度的相对值；模型的总损失loss＝k*loss_regression+loss_rank，其中loss_regression为回归损失，为单张图片经过单个卷积神经网络产生的预测损失；loss_rank为排序损失，为两张图片分别经过两个完全相同的卷积神经网络，输出层相减后产生的预测损失，k为损失系数；

使用训练样本集

通过随机梯度下降法反复迭代构建的深度神经网络模型。

本发明的有益技术效果体现在：

本发明通过生理信号数据分析其情绪自动感知能力，通过提问测试结果的分析评估体系考察待测者的认知共情能力，使用面部表情数据分析其面部表情模仿能力，通过多模态数据实现儿童共情的自动化量化分析，能够提高对儿童共情能力分析的客观性和准确性，为共情缺陷儿童的共情干预提供可靠依据。

附图说明

图1是本发明一种儿童共情能力分析系统较佳实施例结构组成示意图；

图2是本发明情绪感知能力分析模块较佳实施例模块组成示意图；

图3是本发明表情强度估计模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1示出了本发明一个较佳实施例。一种儿童共情能力分析系统，包括：一种儿童共情能力分析系统，包括：

情绪感知能力分析模块，包括皮电反应传感器、特征提取模块和情绪感知分类模块，电反应传感器用于采集待测者的皮电信号；特征提取模块用于从皮电信号中提取表征情绪感知能力的特征；情绪感知分类模块用于根据提取的特征判定儿童当前的情绪感知能力；

认知能力分析模块，包括测试模块和认知能力判定模块，测试模块用于展示测试试题、接收待测者答题操作，认知能力判定模块用于统计测试结果并根据答题正确率高低判定儿童的认知能力；

表情模仿能力分析模块，包括图像采集模块、人脸检测模块和表情模仿能力判定模块；图像采集模块用于采集待测者的人脸图像；人脸检测模块用于从人脸图像中识别人脸；表情模仿能力判定模块用于从人脸中提取表情强度并以此判定表情模仿能力。

按照一种优选方式，采用皮电反应传感器对被试儿童进行情绪数据测量，然后采用模式识别方法对测量的结果进行分析，如图2所示。具体的实现步骤为：

(S1011)被试者佩戴带有皮电反应传感器的智能手环，通过智能手环采集被试者的皮电信号；

(S1012)从皮电信号中提取基线均值和激活均值，判断被试者的情绪唤醒状态；

(S1013)对(S1012)判断为情绪激活状态的皮电信号进行数据平滑与滤波；

(S1014)对平滑与滤波后的信号进一步消除个体差异；

(S1015)对消除个体差异的信号进行统计特征提取；

(S1016)将提取的特征输入分类器判断情绪状态的正负向性。

(S1011)所述皮电传感器手环为Empatica E4手环。

所述情绪感知分类模块将特征输入分类器，输出情绪感知能力级别；所述分类器采用神经网络、支撑向量机及K均值聚类中的任意一种。

所述步骤(S1012)的一种优选实现方式为，从皮电信号中提取基线均值和激活均值，若激活均值比基线均值高出预定阈值，则表明待测者处于情绪激活状态；否则，表明待测者处于情绪未激活状态。基线均值为被试者在无外部刺激平静状态下采集的皮电信号均值，所述激活均值为被试者在给定外部刺激时采集的皮电信号均值。

所述消除个体差异的一种优选实现方式为：去除个体差异后的皮电信号特征值Y＝Y_init-Y_calm，其中，Y_calm是个体皮电信号基线均值，Y_init是个体接受情绪刺激时的皮电信号特征值。

本实例中，(S1013)所述Hanmming窗的窗口大小设置为25ms；所述Batterworth低通滤波器的阶数设为2，截止频率设置为0.3Hz。(S1015)所述的统计特征为为德国Augsburg大学提出的特征提取方法(Lang,P.J..(2000).Emotion and motivation:attention,perception,and action.Journal of Sport&Exercise Psychology,22(2),180-199.)，特征维度为30。(S1016)所述分类器为无监督的k-means，分类器的聚类数为2。统计特征为德国Augsburg大学提出的特征提取方法(Lang,P.J..(2000).Emotion and motivation:attention,perception,and action.Journal of Sport&Exercise Psychology,22(2),180-199.)，特征维度为30。

认知能力分析模块11用于分析被试儿童对刺激材料的认知能力，本发明提供一种较佳的实现方式为：

(S1111)通过语音向儿童提出问题。

(S1112)统计儿童回答问题的正确率，每个问题分值为1分，回答正确记1分，回答错误记0分。

优选地，(S1111)所述问题由专家基于PASS理论，根据情绪刺激材料的内容和特点，将评估体系中的评估指标细化为儿童对视频中空间环境、人物及情绪的识别与认知能力，对人物关系、事件原因、人物动作的推理和预测能力。儿童在不同情绪状态下，针对每一项细化指标设置相应的互动性问题。

进一步地，所述认知能力分析模块的具体实现方式为：

(S1111)通过语音向儿童提出问题。

(S1112)统计儿童回答问题的正确率，每个问题分值为1分，回答正确记1分，回答错误记0分。

进一步的，(S1111)所述问题由专家基于PASS理论，根据情绪刺激材料的内容和特点，将评估体系中的评估指标细化为儿童对视频中空间环境、人物及情绪的识别与认知能力，对人物关系、事件原因、人物动作的推理和预测能力。儿童在不同情绪状态下，针对每一项细化指标设置相应的互动性问题。

本步骤不局限于语音测试，网页版测试或其它测试方式均可。

所述表情模仿能力分析模块的具体实现方式为：

(S1211)利用摄像头采集被试者观看实验素材后的人脸视频序列；

(S1212)对视频序列中的每一帧进行人脸检测和人脸对齐；

(S1213)将对齐的人脸图像输入表情强度模型得到面部表情的强度值，用于反映被测者对表情的模仿能力。

所述人脸检测方法用于确定视频图像帧中人脸的位置，采用的方法可以是Viola-Jones人脸检测算法(Robust Real-time Object Detection.Paul Viola,MichaelJones.IJCV 2004)，MTCNN人脸检测算法(Zhang,K.,Zhang,Z.,Li,Z.,&Qiao,Y..(2016).Joint face detection and alignment using multitask cascaded convolutionalnetworks.IEEE Signal Processing Letters,23(10),1499-1503.)的一种。

所述人脸对齐的具体方法为：将提取的人脸图像进行仿射变换。变换后，所有图像的尺寸保持一致，所有图像中眼睛的眼睛中心坐标保持一致。

仿射变换将原坐标(x,y)变换为新坐标(x',y')，计算公式如下：

x′＝m11*x+m12*y+m13

y′＝m21*x+m22*y+m23

其中，(m11，m12，m13；m21，m22，m23)为仿射变换矩阵中的变换参数，通过上面公式可以计算出原图像经过变换后的新图像。

所述表情强度估计模型示意图如图3所示，具体的训练方法为：

(S12131)准备训练样本集

其中I_m和I_n为来自同一序列的两张人脸图像，m和n表示时刻；D_m为图像I_m的表情强度值，D_n为图像I_n的表情强度值；R_mn为图像I_m和I_n中表情强度的相对值，当D_m＞D_n，R_mn＝1,R_mn＝1；当D_m＜D_n,D_m＜D_n，R_mn＝-1。D_m和D_n可以缺省，当D_m和D_n缺省时，R_mn可以根据图像序列的顺序信息得到，当两个图像来自于一段从中性表情到峰值表情的序列，且m＜n,则R_mn＝1；当两个图像来自于一段峰值表情到中性表情的序列，且m＜n,则R_mn＝-1。

(S12132)选择一个由人脸识别数据集预训练的深度神经网络，并将输出层改为预测样本的表情强度，然后通过权值共享构建孪生网络，即生成两个完全相同的深度神经网络分别用来处理训练样本中的两张图像，二者的输出层相减后用来表示表情强度的相对值。模型的总损失loss＝k*loss_regression+loss_rank，其中loss_regression为回归损失，为单张图片经过单个卷积神经网络产生的预测损失；loss_rank为排序损失，为两张图片分别经过两个完全相同的卷积神经网络，输出层相减后产生的预测损失。当D_m和D_n缺省时，k＝0。

实例：

下面以两组儿童(孤独症患者组和正常组)的共情分析实验为例，对本发明作进一步的说明。选取10段视频作为情绪刺激材料，使用的10段视频材料来源于少儿题材的情景剧——家有儿女，主题内容分别为：受表扬、助人为乐、排练节目、放学回家、吃零食、被蚊虫叮咬、挑食厌食、玩具损坏、心情不好、受惊吓。每段视频时长12秒，视频开始的前2秒为黑屏，用于被试平静状态下生理信号的测量，后10秒为情绪刺激状态下生理信号的测量。前5段视频渲染出积极欢快的正面情绪，后5段视频渲染出了悲伤难过的负面情绪。在实验过程中，为避免同一情绪类型视频材料对儿童情绪的惯性影响，两种情绪类型的视频交叉播放。

并且基于PASS理论对每段视频设置关联性问题，问题的设置由3位以上专家共同完成。通过情绪刺激材料激发被试的情绪共情，通过关联性问题测试被试的认知共情能力。研究中每段视频后的问题分别考察被试对空间、人物、情绪的认知能力以及对人物关系、事件原因、执行动作的分析和推理能力。

实验过程中使用到的硬件设备包括：计算机(显示情绪刺激材料和关联性问题)，Intel Realsense图像采集和分析设备(采集和分析被试的面部表情)，Empatica E4生理信号传感器(采集被试生理信号)。实验现场图如图1所示，被试坐在计算机显示器前约60cm处，Realsense设备置于被试的正前方(计算机显示器上方)，被试在左手腕处佩戴EmpaticaE4生理信号传感器。

在学校教师陪同下，每个被试单独进行实验，孤独症组和正常组在相同的实验环境下使用相同的实验材料和实验流程。实验共包含10个block，每个block中包含一段12s的视频，视频播放结束后，一名施测教师依次进行问题的提问并记录被试的回答情况，另一名施测教师操作智能手环记录被试的生理信号，使生理信号与视频的播放时间同步，在整个过程中同时使用Realsense设备记录被试的面部表情。每个block执行完成后，给出30s的休息时间再进入下一block。

参与实验的28名被试在10种不同的情绪刺激材料下的皮电信号信号进行数据采集，得到280个数据样本。原始数据在经过了降噪和滤波处理后，分别统计每个样本中基线数据的平均值和情绪激活数据的平均值，若后者数值高出前者15％，并且情绪激活数值介于[0.5，4.0]的范围内，则认为儿童当前处于情绪唤醒状态。按照此方法对280个数据样本进行筛选，共有239个数据样本处于情绪唤醒状态。

然后对皮电信号进行平滑、去噪及消除个体差异处理，经过处理的信号进行特征提取，并使用K-Means算法进行聚类运算，由于情绪刺激材料分为正向情绪刺激和负向情绪刺激两类，因此聚类个数K设定为2，最大迭代次数置为500次，距离函数使用欧式距离。孤独症组共有109个处于唤醒状态的情绪样本，聚类1的样本个数为65，样本个数占比59.6％，聚类2的样本个数为44，样本个数占比40.3％。

对照每一个样本对应的刺激材料与皮电信号识别结果的情绪类型，若一致则表明该样本为被正确唤醒的情绪样本，正确唤醒率＝被正确唤醒的情绪样本个数/情绪唤醒状态的样本总数。孤独症组中，有48个正向情绪生理信号样本由正向情绪刺激材料唤醒，有31个负向情绪生理信号样本由负向情绪刺激材料唤醒，有13个负向情绪生理信号样本由正向情绪刺激材料唤醒，有17个正向情绪生理信号样本由负向情绪刺激材料唤醒。孤独症儿童在不同情绪刺激下情绪反应正确唤醒率为0.724，在109个情绪唤醒样本中，被正确唤醒的正向情绪有48个，被正确唤醒的负向情绪有31个，表明正向情绪刺激材料的唤醒能力较强。按照相同的数据分析方法，正常儿童在不同情绪刺激下情绪反应正确唤醒率为0.807，被正确唤醒的正向情绪有73个，被正确唤醒的负向情绪有32个，同样表现出正向情绪刺激材料较强的情绪唤醒能力。通过实验数据发现：(1)正向情绪刺激材料在两组儿童中都表现出较强的唤醒能力。(2)孤独症儿童对正向表情的模仿能力强于负向表情。因此，与情绪自动感知能力相比，孤独症儿童与正常儿童的面部表情模仿能力差异更大，孤独症儿童的情绪共情缺陷主要体现在较差的面部表情模仿能力；与正常儿童相同，正向情绪材料较之负向情绪材料更容易诱发孤独症儿童的情绪共情。

使用基于PASS理论的学龄前儿童认知评估体系设置互动性问题，根据儿童对问题的答题得分评估其认知共情能力。统计结果显示，孤独症组儿童答题正确率为50.2％，正常组儿童答题正确率为100％，相比较而言，孤独症组儿童的认知共情能力差。

根据所述表情强度估计方法估计被测孩子的表情，孤独症组和正常组均有有效样本28个，分别计算每一个有效样本的面部表情模仿情况，将统计结果数据放入混淆矩阵，计算出孤独症组正确面部表情模仿率为0.214，正常组正确面部表情模仿率为0.714。与正常组儿童相比，孤独症组儿童面部表情模仿能力较差。

本领域的技术人员容易理解，在本发明的精神和原则之内将本发明涉及的单元或模块进行拆分、重组等，应包含在本发明的保护范围之内。

本实例的硬件包括手机、平板电脑、智能电视、个人计算机等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种儿童共情能力分析系统，其特征在于，包括：

情绪感知能力分析模块，包括皮电反应传感器、特征提取模块和情绪感知分类模块，电反应传感器用于采集待测者的皮电信号；特征提取模块用于从皮电信号中提取表征情绪感知能力的特征；情绪感知分类模块用于根据提取的特征判定儿童当前的情绪感知能力；

认知能力分析模块，包括测试模块和认知能力判定模块，测试模块用于展示测试试题、接收待测者答题操作，认知能力判定模块用于统计测试结果并根据答题正确率高低判定儿童的认知能力；

表情模仿能力分析模块，包括图像采集模块、人脸检测模块和表情模仿能力判定模块；图像采集模块用于采集待测者的人脸图像；人脸检测模块用于从人脸图像中识别人脸；表情模仿能力判定模块用于从人脸中提取表情强度并以此判定表情模仿能力；

所述表情模仿能力判定模块将人脸输入表情强度模型得到面部表情的强度值，所述表情强度模型的训练方法为：

准备训练样本集D＝{I_m，I_n，D_m，D_n，R_mn}，其中I_m和I_n为来自同一序列的两张人脸图像，m和n表示时刻；D_m为图像I_m的表情强度值，D_n为图像I_n的表情强度值；R_mn为图像I_m和I_n中表情强度的相对值；当两个图像来自于一段从中性表情到峰值表情的序列，且m＜n，则R_mn＝1；当两个图像来自于一段峰值表情到中性表情的序列，且m＜n，则R_mn＝-1；

选择一个由人脸识别数据集预训练的深度神经网络，并将输出层改为预测样本的表情强度，然后通过权值共享构建孪生网络，即生成两个完全相同的深度神经网络分别用来处理训练样本中的两张图像，二者的输出层相减后示表情强度的相对值；模型的总损失loss＝k*loss_regression+loss_rank，其中loss_regression为回归损失，为单张图片经过单个卷积神经网络产生的预测损失；loss_rank为排序损失，为两张图片分别经过两个完全相同的卷积神经网络，输出层相减后产生的预测损失，k为损失系数；

使用训练样本集D通过随机梯度下降法反复迭代构建的深度神经网络模型。

2.根据权利要求1所述的儿童共情能力分析系统，其特征在于，所述情绪感知能力分析模块还包括情绪唤醒判定模块，用于依据皮电信号的强弱判定待测者情绪是否已被激活。

3.根据权利要求2所述的儿童共情能力分析系统，其特征在于，从皮电信号中提取基线均值和激活均值，若激活均值比基线均值高出预定阈值，则表明待测者处于情绪激活状态；否则，表明待测者处于情绪未激活状态。

4.根据权利要求1或2或3所述的儿童共情能力分析系统，其特征在于，在特征提取前还对皮电信号作数据平滑和滤波处理。

5.根据权利要求4所述的儿童共情能力分析系统，其特征在于，所述皮电信号数据平滑采用Hanmming窗滤波；所述皮电信号滤波采用Batterworth低通滤波器。

6.根据权利要求1或2或3所述的儿童共情能力分析系统，其特征在于，在特征提取前还对皮电信号消除个体差异，具体实现方式为：

去除个体差异后的皮电信号特征值Y＝Y_init-Y_calm，其中，Y_calm是个体皮电信号基线均值，Y_init是个体接受情绪刺激时的皮电信号特征值。

7.根据权利要求1或2或3所述的儿童共情能力分析系统，其特征在于，所述情绪感知分类模块将特征输入分类器，输出情绪感知能力级别；所述分类器采用神经网络、支撑向量机及K均值聚类中的任意一种。

Images