CN115429271A - 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法 - Google Patents

Abstract

本申请提供一种基于眼动和面部表情的孤独症谱系障碍筛查系统及方法，首先向受试者播放具有不同认知测试的测试范式。获取受试者在观看测试范式过程中的眼部信息和面部视频。根据眼部信息对面部视频进行预处理，得到与所述眼动信息中眼动条目对应的包含所述受试者人脸框的人脸图像帧，从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，将所述眼动特征和所述表情特征输入训练好的筛查模型中，得到所述筛查模型输出的所述受试者的孤独症谱系障碍筛查结果。

Description

基于眼动和面部表情的孤独症谱系障碍筛查系统及方法

技术领域

本申请涉及心理学、医学、人工智能交叉领域，尤其涉及一种基于眼动和面部表情的孤独症谱系障碍筛查系统及方法。

背景技术

孤独症谱系障碍(Autism Spectrum Disorder，ASD)是一种神经发育障碍，具有遗传性、终生性的特点，其病因和病程复杂，伴随着社会相互发展障碍和社会判断困难等现象，通常在幼龄阶段就会表现出来。与正常发育(Typically Developing，TD)的孩子不同，患有ASD的小朋友通常存在眼神回避、不寻常的重复性动作、偏好、行为刻板等问题。

用于诊断ASD的方式主要包括两种：量表和借助设备。量表是诊断人员基于较权威的标准给出专业的、准确性高的判断。借助设备是借助一些专业的设备采集特定的数据，再通过数据统计、分析、可视化等方式探索受试者对照组之间的差异，以获取诊断和分类受试者的有效信息。

然而，使用传统的量表进行自闭症的筛查，一方面对诊断人员的要求极高，诊断人员必须拥有丰富的临床经验，并对自闭症的发展历史、相关症状有着深入的了解，才能给出专业的、准确性高的判断。另一方面，不同于数据驱动的方式，基于量表给出的诊断结果往往高度依赖诊断人员的主观想法，不同的经历和对量表的不同解读可能使得诊断人员给出不同的结果。目前诊断ASD的设备较多集中于脑成像数据(神经影像)、姿势控制模式、眼动数据的获取，并且基于眼动的自闭症筛查的研究都局限于某种情境，且所提取的特征局限于眼部注视的相关特征。针对自闭症表情的相关研究主要集中在自闭症患者的情绪识别能力(自我及他人)，但他们自身的情绪表现鲜有关注和报道。

发明内容

本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查系统及方法，以解决孤独症谱系障碍诊断时高度依赖诊断人员、诊断设备提取的特征局限于眼部注视的相关特征等缺陷导致的漏诊和误诊的问题。

第一方面，本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查系统，包括：

显示模块，用于显示测试范式，所述测试范式包括至少一个情景测试任务，以测试受试者的不同特性。

采集模块，用于采集观看所述测试范式时受试者的眼动信息和面部视频，并将所述眼动信息和所述面部视频发送至预处理模块。

预处理模块，用于根据所述眼动信息对所述面部视频进行预处理，得到与所述眼动信息中眼动条目对应的包含所述受试者人脸框的人脸图像帧。

特征提取模块，用于从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，所述眼动特征包括眼部注视特征、眼部生理特征以及总体注视特征，所述表情特征为所述受试者情绪占比情况的特征。

筛查模块，用于将所述眼动特征和所述表情特征输入训练好的筛查模型中，以得到所述受试者的孤独症谱系障碍筛查结果。

第二方面，本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查方法，包括：

显示测试范式，所述测试范式包括至少一个情景测试任务，以测试受试者的不同特性。

采集观看所述测试范式时受试者的眼动信息和面部视频，并将所述眼动信息和所述面部视频发送至预处理模块。

根据所述眼动信息对所述面部视频进行预处理，得到与所述眼动信息中眼动条目对应的包含所述受试者人脸的人脸图像帧。

从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，所述眼动特征包括眼部注视特征、眼部生理特征以及总体注视特征，所述表情特征为所述受试者情绪占比情况的特征。

将所述眼动特征和所述表情特征输入训练好的筛查模型中，以得到所述受试者的孤独症谱系障碍筛查结果。

由以上技术方案可以看出，本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查系统及方法，首先向受试者播放具有不同认知测试的测试范式。获取受试者在观看测试范式过程中的眼部信息和面部视频。根据眼部信息对面部视频进行预处理得到与所述眼动信息中眼动条目对应的包含所述受试者人脸框的人脸图像帧，从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，将所述眼动特征和所述表情特征输入训练好的筛查模型中，得到所述筛查模型输出的所述受试者的孤独症谱系障碍筛查结果。其中，设计包含多个情境的测试范式，关注了孤独症谱系障碍患者的多种行为特征，所述筛查模型是将多个样本受试者观看测试范式时的眼动特征和面部特征进行特征融合训练得到的，采集了包含正常样本受试者和孤独症谱系障碍样本受试者的数据集，并从眼动和表情两个层面进行孤独症谱系障碍的筛查，更客观、全面的评估受试者，大大降低了漏诊率和误诊率，提高了筛查精度和效率，筛查方法简单易行。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例提供的示例性的基于眼动和面部表情的孤独症谱系障碍筛查系统的示意性框图；

图2为本实施例提供的示例性的面部观察任务的示意图；

图3为本实施例提供的一种示例性的重复性动作偏好测试任务的示意图；

图4为本实施例提供的另一种示例性的重复性动作偏好测试任务的示意图；

图5为本实施例提供的一种示例性的共同关注能力测试任务的示意图；

图6为本实施例提供的另一种示例性的共同关注能力测试任务的示意图；

图7为本实施例提供的示例性的动态社会图像和动态几何图像偏好测试任务的示意图；

图8为本实施例提供的示例性的采集模块的示意性框图；

图9为本实施例提供的示例性的将子场景划分成若干个感兴趣区域的示意图；

图10为本实施例提供的示例性的左右眼的关键位置示意图；

图11为本实施例提供的示例性的基于RMS的关键点映射过程示意图；

图12为本实施例提供的示例性的训练情绪识别模型的示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

现有诊断ASD的方式存在对诊断人员的要求极高，诊断结果高度依赖诊断人员的主观想法，以及基于眼动的孤独症谱系障碍筛查的研究都局限于某种情境，且所提取的特征局限于眼部注视的相关特征等问题，造成孤独症谱系障碍评估效率低、准确性差并且不能客观、全面的评估受试者的问题，本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查系统及方法，不仅能够提高孤独症谱系障碍评估的效率和准确度，并且设置多个情境的测试范式，从眼动和表情两个层面进行孤独症谱系障碍的筛查，更客观、全面的评估受试者，大大降低了漏诊率和误诊率。

第一方面，本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查系统，如图1所示，孤独症谱系障碍筛查系统包括显示模块11，采集模块12，预处理模块13，特征提取模块14以及筛查模块15。

显示模块11用于显示测试范式，所述测试范式包括至少一个情景测试任务，以测试受试者的不同特性。

在本实施例中，显示模块11显示测试范式用于受试者观看，测试范式设置多个情境的情景测试任务，以预设顺序将多个情景测试任务呈现至受试者，以测试受试者在观看测试范式时对不同情景测试任务的反应，例如：眼神回避、不寻常的重复性动作、偏好或行为刻板等。其中，情景测试任务至少包括：

面部观察任务，用于观察ASD受试者(孤独症谱系障碍受试者)和TD受试者(正常受试者)面部观察模式的差异。如图2所示，示例性的，显示多个面部供受试者观察。

重复性动作偏好测试任务，用于重复性动作偏好测试，对比ASD受试者和TD受试者对重复性运动偏好程度的差异。如图3和4所示，示例性的，重复性动作偏好测试任务可以为2D或3D动画，图3和图4为动画画面的两种显示内容。图3示出了两个播放窗口，一个播放窗口显示五角星和其运动的圆形轨道、另一个播放窗口显示五角星和其运动的随机轨道，在播放动画时，一个窗口播放五角星固定绕圆形轨道转动，另一个窗口播放五角星随机轨道运动，图4示出了两个播放窗口，一个播放窗口显示在矩形框内的三角星和其运动的椭圆形轨道、另一个播放窗口显示在矩形框内的三角星和其运动的随机轨道，在播放动画时，一个窗口播放三角星固定绕椭圆形轨道转动，另一个窗口播放三角星随机轨道运动。

共同关注能力测试任务，用于共同关注能力测试，衡量受试者自然注视及跟随注视他人目光的能力。如图5和6所示，示例性的，图5示出了显示动画内容为形象看向物体，图6示出了显示动画内容为形象看向人物。

动态社会图像和动态几何图像偏好测试任务，用于动态社会图像和动态几何图像偏好测试，对比ASD受试者和TD受试者对社交及几何场景偏好程度的差异。如图7所示，显示人物和几何图案。

需要说明的是，显示模块11只需将测试范式显示给受试者观看，可以是显示器、投影仪、电脑等设备，本申请对此不做限制。

采集模块12用于采集观看所述测试范式时受试者的眼动信息和面部视频，并将所述眼动信息和所述面部视频发送至预处理模块13。

在本实施例中，如图8所示，采集模块12包括面部采集单元121和眼部采集单元122。正常受试者和孤独症谱系障碍受试者在观看测试范式时的眼动数据和面部表情数据不同。这可以通过眼动和表情的各种变化特征体现。通过将多情境下的眼动信息和表情作为分析和预测的信息，能够更客观、全面的评估受试者。

面部采集单元121，用于采集所述受试者在观看所述测试范式时的面部视频，并将所述面部视频发送至所述预处理模块13。

眼部采集单元122，用于采集所述受试者在观看所述测试范式时的眼部信息，并将所述眼部信息发送至所述预处理模块13。

面部采集单元121和眼部采集单元122可以是任何能够采集眼动数据和面部视频的装置或设备，可用其采集受试者观看测试范式时的眼动信息和面部视频。

示例性的，面部采集单元121包括摄像头，眼部采集单元122包括眼动仪，显示模块11为便携式显示器，摄像头放置在显示器的旁边，用于记录受试者观看测试范式全程的面部信息。眼动仪安装在其底部，用于捕捉受试者眼睛的眼动信息，通过眼动仪可以为每个受试者进行定制化的校准，使眼动仪能够更精准的定位双眼位置，更精确的计算眼动方向，避免受试者的身高及眼部差异造成眼动信息存在误差。进一步的，为了降低受试者进行孤独症谱系障碍测试的复杂性以及避免受试者对测试范式以外的东西产生关注，设置控制器16，控制器16与显示模块11、面部采集单元121、眼部采集单元122连接，用于控制显示模块11的显示与面部采集单元121、眼部采集单元122对数据的采集工作。在受试者实际测试中，控制显示模块11显示由多个情景测试任务组合成的测试范式并控制采集模块12执行数据捕获程序，受试者观看完毕后程序自动退出，并输出受试者的眼动信息文件和面部视频。

进一步的，孤独症谱系障碍筛查系统还包括监视模块，所述监视模块包括全局摄像头和监视器，全局摄像头用于实时关注并录制受试者整体测试情况，以便后续对受试者的状态以及数据的可用性做出评估和筛选，监视器用于实时观察全局摄像头录制的画面。

预处理模块13用于根据所述眼动信息对所述面部视频进行预处理，得到与所述眼动信息中眼动条目对应的包含所述受试者人脸框的人脸图像帧。

预处理模块13接收来自采集模块12的眼动信息和面部视频，并根据眼动信息对面部视频进行预处理。具体的，对受试者的眼动信息的面部视频进行帧对齐操作，面部视频是动态的图像序列，而眼动信息是一条一条的眼动条目，因此要对面部视频进行读帧操作，以便将同一时间点的眼动条目和面部图像联系起来。帧对齐就是根据眼动信息中的眼动条目来进行图像帧读取的过程。进一步的，对从面部视频中读取到的图像帧进行人脸匹配操作，读取到的图像帧中可能存在不仅有受试者一张面部的现象(如测试房间角落的观察人员、受试者的老师等)，并且环境中也可能出现某些类似人脸的像素差等问题，因此需进行人脸匹配操作，以保证识别和处理的人脸是受试者本身。

其中，预处理模块13根据所述眼动信息对所述面部视频进行预处理通过以下方式实现：

读取所述面部视频中每帧的图像信息，得到若干个图像帧以及若干个所述图像帧对应的帧数位置。

遍历所述图像帧。

若所述图像帧的帧数位置对应于所述眼动信息中的眼动条目，则基于所述图像帧生成图像帧集合。

对所述图像帧集合中的图像帧进行人脸匹配，得到包含所述受试者人脸框的人脸图像帧。

在本实施例中，从头开始读取所述面部视频中每帧的图像信息，并记录每帧对应的帧数位置。根据眼动信息文件中的帧数列确定当前读取的面部视频帧是否对应于眼动信息文件中记录的某条眼动条目，若不对应，直接丢弃，若对应，则保存此帧到指定目录下，得到图像帧集合。并对所述图像帧集合中的图像帧进行人脸匹配，匹配所述受试者对应的人脸。

其中，对所述图像帧集合中的图像帧进行人脸匹配通过以下方式实现：

对所述图像帧集合中的图像帧进行人脸检测，定位人脸区域，得到包含人脸区域的人脸图像；

获取各人脸区域中人脸对应的描述向量，所述描述向量用于表征人脸的特征；

计算各人脸区域中人脸对应的描述向量与基本向量之间的欧式距离，所述基本向量为预先对所述受试者的人脸图像进行人脸检测后得到的所述受试者人脸对应的描述向量；

若所述欧式距离小于预设阈值，则所述欧式距离对应的人脸与所述受试者人脸匹配成功，以得到包含所述受试者人脸框的人脸图像帧，所述受试者人脸框内包含所述受试者对应的人脸区域。

在本实施例中，本申请运用Dlib对图像进行处理，Dlib是一个机器学习的开源库，包含机器学习算法的C++开源工具包，含有机器学习的很多算法。对所述图像帧集合中的图像帧进行人脸匹配时，预先手动截取只含受试者一张人脸的图像。利用Dlib提供的人脸检测器(Detector)对所述只含受试者一张人脸的图像进行人脸检测，并利用Dlib提供的人脸描述器(Discriptor)获取受试者脸部的描述向量，所述描述向量为128维人脸描述向量，描述面部的128维的特征向量，并将此向量作为基本向量保存下来，记为Disp_GT。

利用Dlib的人脸检测器依次对图像帧集合中的图像帧进行多人脸检测，检测得到多个包含人脸的人脸区域，使用人脸描述器获取所有检测到的人脸所对应的128维人脸描述向量。用Frame_i(i＝1...n)表示读取的第i张图像帧，n表示图像帧总数，用Disp_ij(i＝1...n，j＝1…m_i)表示第i张图像帧中第j张人脸的128维人脸描述向量，m_i表示第i张图像帧中探测到的人脸数。

依次计算并对比图像帧中各人脸描述向量Disp_ij和真实人脸描述向量Disp_GT之间的欧氏距离，所述预设阈值为人脸相似度阈值，将所述欧式距离按照设定的人脸相似度阈值来判定是否匹配，示例性的，所述人脸相似度阈值设置为0.4。

若图像帧中一个人脸对应的欧式距离小于人脸相似度阈值，则确定该人脸与受试者人脸匹配，并在该人脸对应的人脸区域划定受试者人脸框，即人脸外部矩形框。所述受试者人脸框内包含该人脸对应的人脸区域。

特征提取模块14用于从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，所述眼动特征包括眼部注视特征、眼部生理特征以及总体注视特征，所述表情特征为所述受试者情绪占比情况的特征。

在本实施例中，所述特征提取模块14从所述眼动信息和所述人脸图像帧中提取眼动特征通过以下方式实现：

将所述眼动信息和所述人脸图像帧输入至训练好的眼动模态分类模型，得到所述受试者的眼动特征，所述眼动模态分类模型是以多个样本受试者观看所述测试范式时的眼动信息和人脸图像帧，以及所述多个样本受试者的眼部注视特征、眼部生理特征以及总体注视特征作为样本数据，训练分类器得到的。

训练眼动模态分类模型通过以下方式实现：

将所述测试范式中情景测试任务对应的不同情景下的各子场景划分成若干个感兴趣区域。

获取多个样本受试者的眼动信息和人脸图像帧，所述样本受试者包括正常受试者和孤独症谱系障碍受试者。

根据所述多个样本受试者的眼动信息和所述感兴趣区域，计算所述多个样本受试者的眼部注视特征以及总体注视特征，所述眼部注视特征包括总注视点数、区域注视点数以及区域间切换次数，所述总注视点数用于表征受试者不同情境下各子场景的注视次数，所述区域注视点数用于表征受试者在不同情境下各子场景中的各感兴趣区域的注视次数，所述区域间切换次数用于表征不同情境下受试者的注视点在各感兴趣区域之间来回切换的次数，所述总体注视特征包括注视率。

根据所述多个样本受试者的眼动信息和人脸图像帧，计算所述多个样本受试者的眼部生理特征，所述眼部生理特征包括眼部宽高比、眼球宽高比以及眨眼率。

基于所述多个样本受试者观看所述测试范式时的眼动信息和人脸图像帧，以及所述多个样本受试者对应的眼部注视特征、眼部生理特征以及总体注视特征，训练得到所述眼动模态分类模型。

在本实施例中，对于一张图片，孤独症谱系障碍儿童和正常儿童关注的区域不同，例如人脸照片，孤独症谱系障碍儿童更关注人脸照片的嘴部区域，正常儿童更关注眼部区域。可以理解的是，测试范式包括多个情景测试任务，每个情景包括对个子场景，受试者在观看测试范式中的不同子场景时，对子场景的不同区域会有不同程度的兴趣，所以可以将测试范式中的子场景划分成不同的区域，以用于评估受试者对于不同区域的关注程度，进而衡量受试者的相关特征。如图9所示，为了分析ASD受试者和TD受试者的观察模式的差异，可以采用手动划分的方法，将情景测试任务对应的不同情景下的各子场景划分成若干个感兴趣区域(Region of Interest，ROI)，包括包含脸部、物体、几何图形等区域以及其他区域(背景区域)，为每个感兴趣区域编号，如ROI_1、ROI_2、ROI_3、ROI_4等。图9示例性的示出了4个不同情景下的子场景划分的感兴趣区域。受试者对上述测试范式的子场景中的不同感兴趣区域的关注可以通过注视次数等特征来衡量。通常情况下，受试者对某个感兴趣区域的注视次数越多说明其对所述区域越关注。示例性的，可以通过眼部注视特征、眼部生理特征以及总体注视特征来体现。

本实施例通过获取的多个样本受试者观看测试范式时的眼动信息和人脸图像帧，根据划分感兴趣区域，分别计算出眼部注视特征、眼部生理特征以及总体注视特征，共82维特征，如下表所示：

在本实施例中，本申请使用逻辑回归模型(Logistic Regression，LR)进行分类器的训练，其中，为了使简化机器学习模型的训练和预测，可以对特征进行降维，保留主要特征，使数据量大大缩减，提高训练和预测的效率。本申请使用交叉验证的递归特征消除算法(RFECV)进行特征降维，选取最优的75％的特征(61维特征)作为眼动模态的特征组合，并使用该特征组合训练眼动模态的分类器，得到眼动模态分类模型。目前所提取的眼部特征局限于眼部注视的相关特征。本申请通过提出了基于多特征组的特征提取方案，不仅关注眼部注视特征，还关注了除眼部注视特征之外的眼部生理特征、总体注视特征等重要评估指标，在多情境下更全面的评估了受试者的不同特性。

对于眼部主视特征，具体计算方式如下：

总注视点数：根据样本受试者的眼动信息，统计样本受试者在不同情境下各子场景的注视次数，共提取12维特征。

区域注视点数：根据划分的感兴趣区域，确定眼动信息中各眼动条目所属的感兴趣区域，并进行累加计算，共提取44维特征。

区域间切换次数：根据眼动信息中眼动条目的先后顺序来比对当前眼动条目所属感兴趣区域与前一条眼动条目所属感兴趣区域的编号是否不同，若不同则进行累加计算，共提取11维特征。

对于眼部生理特征，计算眼部宽高比、眼球宽高比以及眨眼率通过以下方式实现：

对所述样本受试者的人脸图像帧进行人脸关键点检测，得到样本关键点图像，所述样本关键点图像包括样本受试者面部关键点。

从所述样本关键点图像中提取出眼部关键点，所述眼部关键点包括左眼的关键点位置和右眼的关键点位置，所述关键点位置包括眼睑位置、眼角位置及眼球位置。

根据所述眼部关键点，计算所述样本受试者的眼部宽高比、眼球宽高比，所述眼部宽高比为左右眼眼部宽高比均值，所述眼球宽高比为左右眼眼球宽高比均值。

根据所述眼部宽高比的数值，确定眨眼率。

具体的，利用Dlib提供的关键点检测器对所述样本受试者的人脸图像帧中匹配到的面部进行关键点探测，得到包含样本受试者面部关键点的样本关键点图像，提取出眼部关键点，如图10所示。图10中L_i和R_i(i＝1...6)分别表示左右眼的关键位置，包括眼睑、眼角及眼球的位置，用L_i(L_xi，L_yi)和R_i(R_xi，R_yi)表示对应位置的坐标，用以下公式计算眼部宽高比：

其中，L_whr、R_whr分别为左眼和右眼的眼部宽高比。用下面的公式来计算眼球宽高比：

其中，LB_whr、RB_whr分别为左眼和右眼的眼球宽高比。每个人脸图像帧取左右眼眼部宽高比均值和眼球宽高比均值作为当前人脸图像帧的眼部宽高比和眼球宽高比，最后计算样本受试者的所有人脸图像帧的眼部宽高比的统计量和期望、眼球宽高比的统计量和期望，共4维特征。对于眨眼率，将眼部宽高比的大小作为评判是否眨眼的标准，示例性的，将阈值设定为0.5，若眼部宽高比的倒数小于0.5，则视作眨眼并进行累加，得到1维特征。

对于总体注视特征，该特征用于总体的评估样本受试者在不同情境下各子场景中的注视情况，具体计算方式如下：

其中m表示样本受试者编号，范围为1到66，n表示参与统计的子场景编号，范围为1到10，

表示第m个样本受试者在第n个子场景下的注视点数，

表示第m个样本受试者在第n个子场景下的综合注视率，即当前用户注视点数与同一子场景下所有样本受试者注视点数平均值的比值。共提取样本受试者10维的注视率特征。

在本实施例中，与正常发育的孩子相比，孤独症谱系障碍孩子的表情呈现出刻板的现象。情绪这种主观感受主要通过其外在表现模式-面部表情来传达。本申请在筛查是否患有孤独症谱系障碍时将受试者的表情也作为分析和预测的信息之一，以更客观、全面的评估受试者。所述特征提取模块14从所述眼动信息和所述人脸图像帧中提取表情特征通过以下方式实现：

对所述人脸图像帧中受试者人脸框内的人脸区域进行人脸关键点检测，得到关键点图像，所述关键点图像包含受试者面部关键点，每个所述受试者面部关键点对应一个二维坐标。

从所述关键点图像中提取出所述人脸区域。

将所述人脸区域的宽度调整至预设宽度。

根据所述预设宽度，获取宽度调整后的所述人脸区域中受试者面部关键点对应的二维坐标，以得到所述人脸图像帧对应的面部特征，所述面部特征为所述二维坐标映射成的一维信息。

具体的，从所述人脸图像帧中进行面部特征提取，提取出面部特征以进行情绪识别。不同于以往的划分动作单元、计算几何距离的方式，本申请提出一种行优先映射策略(Row-first Mapping Strategy，RMS)，将关键点二维坐标映射为一维信息，对所有关键点的相对位置进行建模。如图11所示，为基于RMS的关键点映射过程，出于保护受试者信息的目的，本实施例使用CK+标准人脸数据库提供的可公开图像来演示此过程。首先，使用Dlib提供的关键点检测器，对所述人脸图像帧中受试者人脸框内的受试者人脸进行关键点检测，得到包含受试者面部关键点的关键点图像，面部关键点包括68个关键点，每个关键点对应一个二维位置坐标用以标识关键点的位置。图11中示出的人脸外部的矩形框为受试者人脸框，标记了经人脸匹配后识别到的人脸位置，人脸上的点标记了探测到的面部关键点位置。根据获取的人脸位置从关键点图像中裁剪出人脸区域。为了保留所有关键点的相对位置信息，将裁剪后的人脸区域视为像素矩阵，并采用行优先策略将二维坐标映射为一维特征信息。

进一步的，为了加快模型的收敛速度以及避免人与相机之间距离不同带来的影响，调整人脸区域的大小，对裁剪后得到的人脸区域进行了基于行的调整操作。具体的，假设图11中某关键点的坐标为(L_x，L_y)，裁剪后的人脸区域宽度和高度分别为W和H，将该人脸区域的宽度调整至固定值W′，调整后的关键点坐标为

对应于图11中相应的位置。最后，根据以下公式完成关键点

的映射：

完成每个人脸关键点的映射后，得到所述人脸图像帧对应的面部特征，包括68维面部特征。

将所述面部特征和所述眼部生理特征输入至训练好的情绪识别模型中，得到所述人脸图像帧的情绪标签，所述情绪标签包括基本情绪标签和中性情绪标签。

其中，训练情绪识别模型通过以下方式实现：

获取标准人脸数据库中的模型情绪集；

筛选所述模型情绪集，得到筛选后的目标情绪集，所述目标情绪集包括基本情绪和中性情绪；

获取所述目标情绪集中的人脸图像对应的面部特征和所述目标模型数据集中的人脸图像对应的眼部生理特征；

基于所述目标情绪集、所述目标情绪集中的人脸图像对应的面部特征和所述目标模型数据集中的人脸图像对应的眼部生理特征，训练得到所述情绪识别模型。

具体的，利用标准数据库作为数据集预训练一个情绪识别模型，所述情绪识别模型用于对受试者的人脸图像帧中匹配到的人脸进行情绪识别。所述标准数据库为CK+标准人脸数据库，使用CK+标准人脸数据库作为模型的数据集进行整个情绪识别模型的训练。如图12所示，从CK+标准人脸数据库中获取模型情绪集，所述模型情绪集包含123个模型受试者的593个表情序列，这593个表情序列中有327个是符合情感原型定义的，共能表示7种情感，包括6种基本情绪(快乐、愤怒、恐惧、惊奇、厌恶和悲伤)和1种中性情绪(轻蔑)，每个表情序列都是从平静的表情到表情峰值的过程，即序列的先后顺序代表了情绪的不同程度。对所述模型情绪集进行预处理，即筛选所述模型情绪集，选取出6种基本情绪及中性情绪的人脸图像，共选取出2822张人脸图像用于情绪识别模型训练。在训练情绪识别模型阶段，首先对每张人脸图像进行面部探测，包括人脸检测和关键点检测，提取出每张人脸图像的68维面部特征和每张人脸图像的眼部宽高比、眼球宽高比的眼部生理特征，共提取出人脸图像的眼部宽高比的统计量和期望、眼球宽高比的统计量和期望，共4维特征。进一步的，为了对特征进行寻优，使用交叉验证的递归特征消除算法(RFECV)进行特征降维，选取最优的61维特征，其中面部特征选取59维，眼部特征选取2维，分别记为M_f、M_e。基于选取的61维特征组成的特征矩阵M′＝[M_f，M_e]，使用逻辑回归模型(Logistic Regression，LR)进行分类器的训练，得到了用于情绪识别的情绪识别模型。

使用预训练的情绪识别模型对受试者的所有人脸图像帧依次进行情绪识别，将人脸图像帧中受试者的面部特征和眼部生理特征中通过交叉验证的递归特征消除算法(RFECV)选中的特征组合起来，输入情绪识别模型，情绪识别模型输出每张人脸图像帧的情绪分类结果，得到所述人脸图像帧的情绪标签，所述情绪标签包括基本情绪标签和中性情绪标签，基本情绪标签包括快乐、愤怒、恐惧、惊奇、厌恶和悲伤6种基本情绪，所述中性情绪包括轻蔑1种中性情绪。通过对受试者的人脸图像帧打上相应标签，建立了情绪特征和受试者类别之间的关系。

本实施例中，训练情绪识别模型时，由于眼部状态是表情定位的一个关键因素，除提取面部特征之外，还提取每张人脸图像对应的眼部宽高比、眼球宽高比的生理相关特征，提高情绪识别的准确性。

得到所述人脸图像帧的情绪标签后，将所述情绪标签输入至训练好的表情模态分类模型中，得到所述受试者对应的表情特征，所述表情特征为所述受试者情绪占比情况的特征，所述表情模态分类模型是以多个样本受试者的人脸图像帧对应的情绪标签和所述多个样本受试者的情绪标签的占比情况作为样本数据，训练分类器得到的。

其中，表情模态分类模型通过以下方式实现：

获取对个样本受试者的人脸图像帧对应的情绪标签和所述多个样本受试者的情绪标签的占比情况。由于需要获取受试者在参与整个孤独症谱系障碍测试过程中的情绪状态而不是某一时刻的单一情绪，所以对情绪标签中7种情绪出现的频次分别进行了统计，并计算出7种情绪的占比情况，即7维表示受试者情绪占比情况的特征。基于该7维表示受试者情绪占比情况的特征，使用逻辑回归模型(Logistic Regression，LR)进行表情模态的分类器训练，学习情绪标签和表情的相关性，得到表情模态分类模型。

筛查模块15用于将所述眼动特征和所述表情特征输入训练好的筛查模型中，以得到所述受试者的孤独症谱系障碍筛查结果。

在本实施例中，将眼动模态分类模型和表情模态分类模型输出的眼动特征和表情特征输入筛查模型中，筛查模型输出受试者是否患孤独症谱系障碍的筛查结果。示例性的，筛查结果可用0或1表示，0表示未患有孤独症谱系障碍，1表示患有孤独症谱系障碍。

其中，训练筛查模型通过以下方式实现：

获取多个样本受试者的眼部特征和多个样本受试者的表情特征，所述样本受试者包括正常受试者和孤独症谱系障碍受试者。

将所述多个样本受试者的眼部特征和所述多个样本受试者的表情特征融合成训练样本。

基于所述训练样本，训练得到所述筛查模型。

具体的，将眼动模态分类模型和表情模态分类模型进行融合，采取的方式是特征级别融合，直接拼合了眼动模态分类模型和表情模态分类模型输出的眼动特征和表情特征，即将61维眼动特征(降维后)和7维表情特征组合为68维的特征矩阵，使用逻辑回归模型(Logistic Regression，LR)进行筛查模型的训练。

第二方面，本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查方法，包括：

显示测试范式，所述测试范式包括至少一个情景测试任务，以测试受试者的不同特性。

采集观看所述测试范式时受试者的眼动信息和面部视频，并将所述眼动信息和所述面部视频发送至预处理模块。

根据所述眼动信息对所述面部视频进行预处理，得到与所述眼动信息中眼动条目对应的包含所述受试者人脸的人脸图像帧。

从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，所述眼动特征包括眼部注视特征、眼部生理特征以及总体注视特征，所述表情特征为所述受试者情绪占比情况的特征。

将所述眼动特征和所述表情特征输入训练好的筛查模型中，以得到所述受试者的孤独症谱系障碍筛查结果。

上述方法中在应用前述系统时的作用效果可参见前述系统实施例中的说明，在此不再赘述。

由上述技术方案可知，本申请提供了一种基于眼动和面部表情的孤独症谱系障碍筛查系统及方法，设计包含多个情境的测试范式，关注了孤独症谱系障碍患者的多种行为特征，包括眼动特征和表情特征，关于眼动特征，提出了基于多特征组的特征提取方案，不仅关注眼部注视特征，还关注了除眼部注视特征之外的眼部生理特征、总体注视特征等重要评估指标。关于表情特征，提出一种新的面部关键特征提取方法-RMS，并训练了一个用于情绪识别的情绪识别模型。筛查模型是将多个样本受试者观看测试范式时的眼动特征和面部特征进行特征融合训练得到的，采集了包含正常样本受试者和孤独症谱系障碍样本受试者的数据集，并从眼动和表情两个层面进行孤独症谱系障碍的筛查，更客观、全面的评估受试者，大大降低了漏诊率和误诊率，提高了筛查精度和效率，筛查方法简单易行。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好地解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (12)

1.基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，包括：

显示模块，用于显示测试范式，所述测试范式包括至少一个情景测试任务，以测试受试者的不同特性；

采集模块，用于采集观看所述测试范式时受试者的眼动信息和面部视频，并将所述眼动信息和所述面部视频发送至预处理模块；

预处理模块，用于根据所述眼动信息对所述面部视频进行预处理，得到与所述眼动信息中眼动条目对应的包含所述受试者人脸框的人脸图像帧；

特征提取模块，用于从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，所述眼动特征包括眼部注视特征、眼部生理特征以及总体注视特征，所述表情特征为所述受试者情绪占比情况的特征；

筛查模块，用于将所述眼动特征和所述表情特征输入训练好的筛查模型中，以得到所述受试者的孤独症谱系障碍筛查结果。

2.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，所述情景测试任务包括：面部观察任务、重复性动作偏好测试任务、共同关注能力测试任务以及动态社会图像和动态几何图像偏好测试任务。

3.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，所述采集模块包括：

面部采集单元，用于采集所述受试者在观看所述测试范式时的面部视频，并将所述面部视频发送至所述预处理模块；

眼部采集单元，用于采集所述受试者在观看所述测试范式时的眼部信息，并将所述眼部信息发送至所述预处理模块。

4.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，所述预处理模块根据所述眼动信息对所述面部视频进行预处理通过以下方式实现：

读取所述面部视频中每帧的图像信息，得到若干个图像帧以及若干个所述图像帧对应的帧数位置；

遍历所述图像帧；

若所述图像帧的帧数位置对应于所述眼动信息中的眼动条目，则基于所述图像帧生成图像帧集合；

对所述图像帧集合中的图像帧进行人脸匹配，得到包含所述受试者人脸框的人脸图像帧。

5.根据权利要求4所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，对所述图像帧集合中的图像帧进行人脸匹配通过以下方式实现：

对所述图像帧集合中的图像帧进行人脸检测，定位人脸区域，得到包含人脸区域的人脸图像；

获取各人脸区域中人脸对应的描述向量，所述描述向量用于表征人脸的特征；

计算各人脸区域中人脸对应的描述向量与基本向量之间的欧式距离，所述基本向量为预先对所述受试者的人脸图像进行人脸检测后得到的所述受试者人脸对应的描述向量；

若所述欧式距离小于预设阈值，则所述欧式距离对应的人脸与所述受试者人脸匹配成功，以得到包含所述受试者人脸框的人脸图像帧，所述受试者人脸框内包含所述受试者对应的人脸区域。

6.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，所述特征提取模块从所述眼动信息和所述人脸图像帧中提取眼动特征通过以下方式实现：

将所述眼动信息和所述人脸图像帧输入至训练好的眼动模态分类模型，得到所述受试者的眼动特征，所述眼动模态分类模型是以多个样本受试者观看所述测试范式时的眼动信息和人脸图像帧，以及所述多个样本受试者的眼部注视特征、眼部生理特征以及总体注视特征作为样本数据，训练分类器得到的。

7.根据权利要求6所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，训练眼动模态分类模型通过以下方式实现：

将所述测试范式中情景测试任务对应的不同情景下的各子场景划分成若干个感兴趣区域；

获取多个样本受试者的眼动信息和人脸图像帧，所述样本受试者包括正常受试者和孤独症谱系障碍受试者；

根据所述多个样本受试者的眼动信息和所述感兴趣区域，计算所述多个样本受试者的眼部注视特征以及总体注视特征，所述眼部注视特征包括总注视点数、区域注视点数以及区域间切换次数，所述总注视点数用于表征受试者不同情境下各子场景的注视次数，所述区域注视点数用于表征受试者在不同情境下各子场景中的各感兴趣区域的注视次数，所述区域间切换次数用于表征不同情境下受试者的注视点在各感兴趣区域之间来回切换的次数，所述总体注视特征包括注视率；

根据所述多个样本受试者的眼动信息和人脸图像帧，计算所述多个样本受试者的眼部生理特征，所述眼部生理特征包括眼部宽高比、眼球宽高比以及眨眼率；

基于所述多个样本受试者观看所述测试范式时的眼动信息和人脸图像帧，以及所述多个样本受试者对应的眼部注视特征、眼部生理特征以及总体注视特征，训练得到所述眼动模态分类模型。

8.根据权利要求7所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，计算眼部宽高比、眼球宽高比以及眨眼率通过以下方式实现：

对所述样本受试者的人脸图像帧进行人脸关键点检测，得到样本关键点图像，所述样本关键点图像包括样本受试者面部关键点；

从所述样本关键点图像中提取出眼部关键点，所述眼部关键点包括左眼的关键点位置和右眼的关键点位置，所述关键点位置包括眼睑位置、眼角位置及眼球位置；

根据所述眼部关键点，计算所述样本受试者的眼部宽高比、眼球宽高比，所述眼部宽高比为左右眼眼部宽高比均值，所述眼球宽高比为左右眼眼球宽高比均值；

根据所述眼部宽高比的数值，确定眨眼率。

9.根据权利要求6所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，所述特征提取模块从所述眼动信息和所述人脸图像帧中提取表情特征通过以下方式实现：

对所述人脸图像帧中受试者人脸框内的人脸区域进行人脸关键点检测，得到关键点图像，所述关键点图像包含受试者面部关键点，每个所述受试者面部关键点对应一个二维坐标；

从所述关键点图像中提取出所述人脸区域；

将所述人脸区域的宽度调整至预设宽度；

根据所述预设宽度，获取宽度调整后的所述人脸区域中受试者面部关键点对应的二维坐标，以得到所述人脸图像帧对应的面部特征，所述面部特征为所述二维坐标映射成的一维信息；

将所述面部特征和所述眼部生理特征输入至训练好的情绪识别模型中，得到所述人脸图像帧的情绪标签，所述情绪标签包括基本情绪标签和中性情绪标签；

将所述情绪标签输入至训练好的表情模态分类模型中，得到所述受试者对应的表情特征，所述表情模态分类模型是以多个样本受试者的人脸图像帧对应的情绪标签和所述多个样本受试者的情绪标签的占比情况作为样本数据，训练分类器得到的。

10.根据权利要求9所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，训练情绪识别模型通过以下方式实现：

获取标准人脸数据库中的模型情绪集；

筛选所述模型情绪集，得到筛选后的目标情绪集，所述目标情绪集包括基本情绪和中性情绪；

获取所述目标情绪集中的人脸图像对应的面部特征和所述目标模型数据集中的人脸图像对应的眼部生理特征；

基于所述目标情绪集、所述目标情绪集中的人脸图像对应的面部特征和所述目标模型数据集中的人脸图像对应的眼部生理特征，训练得到所述情绪识别模型。

11.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统，其特征在于，训练筛查模型通过以下方式实现：

获取多个样本受试者的眼部特征和多个样本受试者的表情特征，所述样本受试者包括正常受试者和孤独症谱系障碍受试者；

将所述多个样本受试者的眼部特征和所述多个样本受试者的表情特征融合成训练样本；

基于所述训练样本，训练得到所述筛查模型。

12.基于眼动和面部表情的孤独症谱系障碍筛查方法，其特征在于，包括：

显示测试范式，所述测试范式包括至少一个情景测试任务，以测试受试者的不同特性；

采集观看所述测试范式时受试者的眼动信息和面部视频，并将所述眼动信息和所述面部视频发送至预处理模块；

根据所述眼动信息对所述面部视频进行预处理，得到与所述眼动信息中眼动条目对应的包含所述受试者人脸的人脸图像帧；

从所述眼动信息和所述人脸图像帧中提取所述受试者的眼动特征和表情特征，所述眼动特征包括眼部注视特征、眼部生理特征以及总体注视特征，所述表情特征为所述受试者情绪占比情况的特征；

将所述眼动特征和所述表情特征输入训练好的筛查模型中，以得到所述受试者的孤独症谱系障碍筛查结果。

Images