CN109620259B - 基于眼动技术与机器学习对孤独症儿童自动识别的系统 - Google Patents

Abstract

本发明涉及一种基于眼动技术与机器学习对孤独症儿童自动识别的系统，其数据采集模块用于采集儿童个体在视觉追随任务中的眼动坐标数据；标准化转换模块用于对每个任务试次中的目标图片和干扰图片位置进行标准化转换；分类用特征值获取模块是在获得眼动坐标数据及标准化转换模块处理后，按照特征值种类对眼动坐标数据进行数据处理，并将处理后的数据作为最终分类用的特征值；分类模型训练模块利用K‑近邻分类器，以及将收集到的眼动坐标数据转化为特征值的数据，训练出分类模型，根据建立的分类模型，自动对未知儿童进行分类识别。本发明操作简单，耗时较少，并能对不同功能水平的孤独症儿童进行识别。

Description

基于眼动技术与机器学习对孤独症儿童自动识别的系统

技术领域

本发明涉及一种眼动信息捕捉和机器学习领域，特别是关于一种基于眼动技术与机器学习对孤独症儿童自动识别的系统。

背景技术

孤独症谱系障碍(Autism Spectrum Disorder,ASD，以下简称孤独症)，是一种以社会交往和语言沟通障碍、兴趣范围狭窄及重复刻板行为为主要特征的神经发育障碍(DSM-5；APA,2013)，一般发病于婴幼儿期，症状异质性较大且伴随终身。孤独症的患病率非常高，根据美国疾病控制与预防中心在2016年的研究报告，孤独症在美国的患病率高达14.7‰。对北京地区的小学抽样调查的结果发现我国的孤独症患病率和发达国家类似(1.19％，Sun et al.,2015)。孤独症对患者的生活、教育、工作与人际关系产生了严重影响，已成为世界性的公共健康问题，并成为发展与临床心理学、精神病学、临床医学及神经科学的国际研究热点。然而，目前尚无基于生物学的测试方法来对孤独症进行直接诊断。传统行为学诊断方法严重依赖医师主观判断，诊断过程长，流程复杂且受患儿发育阶段限制，且在我国国内，潜在患者人群数量远超过孤独症诊断医师数量，大量疑似孤独症儿童由于经济条件、居住环境、父母文化水平限制等多方面原因，无法得到专业医师的诊断。

共同注意方面的障碍，是孤独症诊断分类中的重要依据。许多关于孤独症儿童的研究发现，孤独症儿童能够对他人注视进行简单的注视跟随，但在更高层次的视觉定位和共同注意上会表现出行为缺失。共同注意主要指跟随他人视线，对同一件事物进行注视并且维持相对专注的注意力的行为，而在大量相关研究中均发现，孤独症儿童在利用方向性线索尤其是人类眼神信息进行共同注意行为的任务中，表现出各层次上的障碍：1)孤独症儿童在通过视觉跟随方式来和他人共享注视信息时有明显困难。2)孤独症儿童无法在注视跟随后维持注意力，并在通过注视信息推测他人意图能力上有着明显缺陷。

发明内容

针对上述问题，本发明的目的是提供一种基于眼动技术与机器学习对孤独症儿童自动识别的系统，其通过记录视觉追随任务中，儿童眼动的坐标数据，结合机器学习算法，在不进行人为主观干扰的情况下，根据孤独症儿童与正常儿童在共同注意方面的差异性作为本方法的基础，对孤独症儿童进行自动识别，具有较高的识别准确率与诊断参考价值。

为实现上述目的，本发明采取以下技术方案：一种基于眼动技术与机器学习对孤独症儿童自动识别的系统，其包括数据采集模块、标准化转换模块、分类用特征值获取模块和分类模型训练模块；所述数据采集模块用于采集儿童个体在视觉追随任务中的眼动坐标数据；所述标准化转换模块用于对每个任务试次中的目标图片和干扰图片位置进行标准化转换；所述分类用特征值获取模块是在获得眼动坐标数据及标准化转换模块处理后，按照特征值种类对眼动坐标数据进行数据处理，并将处理后的数据作为最终分类用的特征值；所述分类模型训练模块利用K-近邻分类器，以及将收集到的眼动坐标数据转化为特征值的数据，训练出分类模型，根据建立的分类模型，自动对未知儿童进行分类识别。

进一步，所述标准化转换模块中，对每个任务试次中的目标图片和干扰图片位置进行标准化转换的方法为：所有在线索区域和其它区域的采样点坐标保持不变，而目标图片区域采样点坐标被统一转换在线索区域上方位置，三张干扰区域采样点被统一叠放在线索区域下方。

进一步，所述特征值种类如下表：

。

进一步，所述分类用特征值获取模块中的数据处理方法为：对于表中前八类特征值种类，根据眼动坐标数据的横、纵坐标所在的四个兴趣区：中心线索兴趣区、正确目标图片兴趣区、非目标干扰图片兴趣区以及周围无信息其它区，均能算出一个特征值，即计算在四类兴趣区内眼动横、纵坐标的算术平均值、中位数、标准差、偏度、斜度、四分位距、坐标最小值和坐标最大值，最终每类特征均获得了八个特征值；对于第九类特征值，计算四类兴趣区内的眼动采样点个数，得到4个特征数量。

进一步，所述视觉追随任务采用4线索条件×4方向条件；在每个试次中，方向性线索出现在屏幕中心，并指向上、下、左、右四个方向其中一个，四张对应物体图片分别呈现在线索图片周围，且方向性线索共分为人类面孔注视线索、卡通面孔注视线索、指示手指和箭头四种。

进一步，所述数据采集模块中眼动坐标数据的采集利用Tobii Pro-X120眼动仪获取，其采样频率为120Hz。

进一步，所述眼动坐标数据获取时，首先需要对眼动进行五点校准，然后进行正式任务试次，任务时长上限设置为4秒，4秒内未能完成任务要求则算作任务失败。

进一步，所述校准方法为：儿童坐在距离屏幕约60厘米处，儿童被要求依次看向屏幕四个角落和中间的校准点，只有当所有五个校准点误差平均不超过1°视角时，则校准部分通过。

进一步，所述正式任务试次中，儿童个体每完成10个试次后进行一次注视精度测试。

进一步，所述注视精度测试过程为：屏幕上出现一个带有颜色的圆点，以屏幕中心为圆心，200像素为半径进行圆周运动一周，儿童个体会被要求视觉追踪该圆点运动轨迹，如追踪精度较好则继续进行任务；否则进行眼动仪重新校准后继续任务；其中，追踪精度较好是指平均追踪偏移度小于等于1°视角。

本发明由于采取以上技术方案，其具有以下优点：本发明通过一个计算机呈现的视觉追随任务，针对性地测量了70余名正常儿童与高低功能的孤独症儿童在任务中的眼动行为表现，通过眼动仪记录他们在不同社会性程度的视觉线索下的视觉追踪与共同注意方面的眼动数据，利用机器学习算法，建立自动分类模型，对正常儿童与不同认知能力的孤独症儿童进行分类，达到了较高的分类准确率。在需要进行新的分类诊断时，可以将未知分类儿童依照本实验范式采集原始眼动数据，并根据建立的模型，自动对未知儿童进行分类。该分类方法完全由算法自动进行，操作简单，整个过程耗时较少，并能对不同功能水平的孤独症儿童进行识别，能帮助医生进行辅助诊断，具有较高的应用价值。

附图说明

图1a是任务试次所采用的视觉刺激示例；星号为一个儿童的注视点示例，儿童首先观察线索(这里是面孔)，然后根据线索的朝向(这里是眼神朝向)看向目标物体并维持一段注视时间；

图1b是四类线索和四类指向示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明提供一种基于眼动技术与机器学习对孤独症儿童自动识别的系统，其包括数据采集模块、标准化转换模块、分类用特征值获取模块和分类模型训练模块。

数据采集模块用于采集儿童个体在视觉追随任务中的眼睛注视模式相关的数据，即眼动坐标数据；其中，视觉追随任务采用现有具有科学研究基础的任务；

标准化转换模块用于对每个任务试次中的目标图片和干扰图片位置进行标准化转换：所有在线索区域和其它区域的采样点坐标保持不变，而目标图片区域采样点坐标被统一转换在线索区域上方位置，三张干扰区域采样点被统一叠放在线索区域下方；

分类用特征值获取模块是在获得眼动坐标数据及标准化转换模块处理后，按照表1中特征值种类对眼动坐标数据进行数据处理，并将处理后的数据作为最终分类用的特征值；

表1

其中，数据处理过程为：对于表1中前八类特征值种类，根据眼动坐标数据的横、纵坐标所在的四个兴趣区，即中心线索兴趣区、正确目标图片兴趣区、非目标干扰图片兴趣区以及周围无信息其它区(如图1a中黑色部分区域)，均能算出一个特征值，即计算在四类兴趣区内眼动横、纵坐标的算术平均值、中位数、标准差、偏度、斜度、四分位距、坐标最小值和坐标最大值，最终每类特征均获得了八个特征值；对于第九类特征值(每个兴趣区眼动采样数)，计算四类兴趣区内的眼动采样点个数，得到4个特征数量。

分类模型训练模块利用K-近邻分类器(近邻数K设定为5)，以及将收集到的眼动坐标数据转化为特征值的数据，训练出分类模型。K近邻分类器是机器学习的一类方法，它是在给定一个训练数据集；对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。未来可以继续采集样本数据，使该分类模型进一步优化并提高分类准确率。在实际应用中，可以将未知分类儿童依照本任务采集原始眼动数据，并根据建立的分类模型，自动对未知儿童进行分类识别。

在一个优选的实施例中，视觉追随任务采用4(线索条件)×4(方向条件)；在每个试次中，方向性线索出现在屏幕中心，并指向上、下、左、右四个方向其中一个，四张对应物体图片分别呈现在线索图片周围，且方向性线索共分为人类面孔注视线索、卡通面孔注视线索、指示手指和箭头四种(如图1b所示)。每种线索条件包括40张图片，每个指向性方向对应10张线索图片。任务共计160张线索图片，随机分布于每个儿童个体的160个任务试次中。周围分布的物体图片分为一张目标图片(线索所指的物体)和三张干扰图片(如图1a所示)，图片内容包括家具、乐器、体育器材、文具和水杯等孩子熟悉的物体，总计640张图片。每个试次进行时随机抽取四张图片，任务过程中中心线索图片与周围图片中心距离为250个像素点。

在一个优选的实施例中，数据采集模块中眼动坐标数据的采集利用Tobii Pro-X120眼动仪获取，其采样频率为120Hz。

在一个优选的实施例中，眼动坐标数据获取时，首先需要对眼动进行五点校准，然后进行正式任务试次，为了提高任务难度增强对不同认知能力孤独症儿童的区分度，任务时长上限设置为4秒，4秒内未能完成任务要求则算作任务失败，进行下一个任务。其中，校准方法为：儿童坐在距离屏幕约60厘米处，儿童被要求依次看向屏幕四个角落和中间的校准点，只有当所有五个校准点误差平均不超过1°视角时，则校准部分通过。具体测试时，可以让儿童首先完成五个练习试次以帮助他们熟悉任务要求。

上述实施例中，在正式任务试次中，为了保证眼动仪采样的准确性，儿童个体每完成10个试次后进行一次注视精度测试。测试过程为：屏幕上出现一个带有颜色的圆点，以屏幕中心为圆心，200像素为半径进行圆周运动一周，儿童个体会被要求视觉追踪该圆点运动轨迹，如追踪精度较好则继续进行任务；否则进行眼动仪重新校准后继续任务。其中，追踪精度较好是指平均追踪偏移度小于等于1°视角。

综上，本发明的分类结果可作为临床医生的参考进行辅助诊断。本发明也可以对大量疑似孤独症儿童进行广泛筛查，具有一定的自动排查价值，可作为初筛系统进行推广。同时，本发明可以将新的获得医师权威诊断的儿童数据加入分类模型中，不断进行优化，进一步提高后续识别准确率，具有较大的发展成长空间。

实施例：

在本实施例中，事先收集了70余名高低功能的孤独症与正常儿童在视觉追随任务中的眼动数据并进行分析。以眼动数据的坐标平均值、标准差、数据偏度与斜度等作为机器学习分类的特征值，发现这些事先采集的数据在分类验证中可以很好地将三组儿童(正常儿童、高功能和低功能孤独症儿童)区分开，获得80％以上的分类准确度。在实际使用中，对于待分类的儿童，需要儿童完成视觉追踪任务并获取其原始眼动数据，根据建立的分类模型对待分类儿童进行分类。

如何选择适当的视觉追随任务来更好地揭露孤独症与正常儿童注视模式差异是需要重点考量的因素。由于不同社会性程度的视觉线索对于视觉追踪和定位都有着潜在的影响，故选择了真实面孔注视、卡通面孔注视、手指和箭头这四种包含不同层次社会信息的视觉线索作为刺激。儿童被要求追踪线索所指向的对应图片并且对该图片维持一定时间的注意从而完成任务以获得奖励反馈。任务线索指向方向包含上下左右四个，有一定的复杂度，对于高低功能孤独症儿童和正常儿童均有一定难度，这样的设计有助于更好地揭露组间儿童个体在视觉追随上的表现差异。

眼动数据的采集使用Tobii Pro-X120眼动仪，采样频率为120Hz。任务刺激通过在Matlab编程平台(Math Works Inc.,Natick,MA)上的Psychtoolbox工具包进行呈现。任务使用的用显示器高25.5厘米，宽34厘米，显示器的分辨率为1024×768像素。

任务中，儿童坐在距离屏幕约60厘米。首先进行眼动的五点校准：儿童被要求依次看向屏幕四个角落和中间的校准点，只有当所有五个校准点误差平均不超过1°视角时，校准部分才算通过。儿童首先完成五个练习试次以帮助他们熟悉任务要求。

练习试次阶段结束后正式任务试次开始，总共进行160个任务试次并以随机方式呈现。当主试观察到儿童的注意力集中在屏幕上时，手动使用回车键开始试次。试次开始时，一个红色十字出现在屏幕中心并在黑色背景中闪烁1000ms以吸引孩子注意力，之后中心线索图片和周围四张图片同时展现在屏幕上。并通过语言指导告知儿童任务的目的是观察中心线索图片所指示的对应目标图片。需要儿童跟随线索指向看向对应图片，并成功在图片上维持1秒注意力才可完成任务要求。为了提高任务难度增强对不同认知能力孤独症儿童的区分度，任务时长上限设置为4秒，4秒内未能完成任务要求则算作任务失败，进行下一个任务。

如表1所示，在获得了视觉定位实验中儿童的眼动坐标数据后，需要严格按照表格中类别对原始眼动坐标进行数据处理并将处理后的数据作为最终分类用的特征值。在进行特征值获取之前，需要先对每个任务试次中的目标以及干扰图片位置进行标准化转换。

在测试本发明的效果时，采用了leave-one-out的方法，即把一个儿童当做测试对象，其余儿童作为训练集，并循环进行直到每个儿童都被当做测试对象为止。使用K-近邻分类器，设定近邻数为5，对分类器进行训练，获得了较好的分类结果：进行双分类时(孤独症和正常儿童的分类)，获得的正确率达到了93.24％；进行三分类时(高低功能的孤独症儿童和正常儿童的分类)，正确率也达到了81.08％。这说明本发明的分类模型虽然不能保证完全的准确率，但是具有一定的辅助诊断的参考价值。

上述各实施例仅用于说明本发明，各个部分都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部分进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (5)

1.一种基于眼动技术与机器学习对孤独症儿童自动识别的系统，其特征在于：包括数据采集模块、标准化转换模块、分类用特征值获取模块和分类模型训练模块；

所述数据采集模块用于采集儿童个体在视觉追随任务中的眼动坐标数据；

所述标准化转换模块用于对每个任务试次中的目标图片和干扰图片位置进行标准化转换；

所述分类用特征值获取模块是在获得眼动坐标数据及标准化转换模块处理后，按照特征值种类对眼动坐标数据进行数据处理，并将处理后的数据作为最终分类用的特征值；

所述分类模型训练模块利用K-近邻分类器，以及将收集到的眼动坐标数据转化为特征值的数据，训练出分类模型，根据建立的分类模型，自动对未知儿童进行分类识别；

所述标准化转换模块中，对每个任务试次中的目标图片和干扰图片位置进行标准化转换的方法为：所有在线索区域和其它区域的采样点坐标保持不变，而目标图片区域采样点坐标被统一转换在线索区域上方位置，三张干扰区域采样点被统一叠放在线索区域下方；

所述眼动坐标数据获取时，首先需要对眼动进行五点校准，然后进行正式任务试次，任务时长上限设置为4秒，4秒内未能完成任务要求则算作任务失败；

所述正式任务试次中，儿童个体每完成10个试次后进行一次注视精度测试；

所述注视精度测试过程为：屏幕上出现一个带有颜色的圆点，以屏幕中心为圆心，200像素为半径进行圆周运动一周，儿童个体会被要求视觉追踪该圆点运动轨迹，如追踪精度较好则继续进行任务；否则进行眼动仪重新校准后继续任务；其中，追踪精度较好是指平均追踪偏移度小于等于1°视角。

2.如权利要求1所述系统，其特征在于：所述分类用特征值获取模块中的数据处理方法为：对于特征值种类表中前八类特征值种类，根据眼动坐标数据的横、纵坐标所在的四个兴趣区：中心线索兴趣区、正确目标图片兴趣区、非目标干扰图片兴趣区以及周围无信息其它区，均能算出一个特征值，即计算在四类兴趣区内眼动横、纵坐标的算术平均值、中位数、标准差、偏度、斜度、四分位距、坐标最小值和坐标最大值，最终每类特征均获得了八个特征值；对于第九类特征值，计算四类兴趣区内的眼动采样点个数，得到4个特征数量。

3.如权利要求1所述系统，其特征在于：所述视觉追随任务采用4线索条件×4方向条件；在每个试次中，方向性线索出现在屏幕中心，并指向上、下、左、右四个方向其中一个，四张对应物体图片分别呈现在线索图片周围，且方向性线索共分为人类面孔注视线索、卡通面孔注视线索、指示手指和箭头四种。

4.如权利要求1所述系统，其特征在于：所述数据采集模块中眼动坐标数据的采集利用Tobii Pro-X120眼动仪获取，其采样频率为120Hz。

5.如权利要求1所述系统，其特征在于：所述校准方法为：儿童坐在距离屏幕约60厘米处，儿童被要求依次看向屏幕四个角落和中间的校准点，只有当所有五个校准点误差平均不超过1°视角时，则校准部分通过。

Images