CN105069304A - 一种基于机器学习的评估预测asd的方法 - Google Patents

Abstract

本发明公开一种基于机器学习的评估预测ASD的方法，包括以下步骤：S1.采集数据：采用眼动仪分别采集参与的实验人员观看人脸图片时眼球扫描人脸的眼动数据，所述参与的实验人员包括患有ASD个体与正常个体；S2.提取特征：根据采集的眼动坐标数据将人脸图片分成不同的区域，并从眼动仪采集的原始数据中提取特征并标记；S3训练分类器：利用已标记的特征训练分类器，得到预测ASD分类器模型；S4.进行预测：采用由步骤S3获取预测ASD的分类器模型对测试者进行测试，对测试者的孤独症程度进行评估预测。本发明能被视作一个ASD评估的补充方法，使得早期的ASD评估预测更加准确与方便。

Description

一种基于机器学习的评估预测ASD的方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种基于机器学习的根据眼动模式评估预测孤独症的方法，是一种基于机器学习技术，根据被试观测人脸图片时的视线扫视模式以评估预测孤独症谱系障碍的方法。

背景技术

社会对孤独症谱系障碍(autismspectrumdisorder,ASD)的关注在过去几年大幅上升，在美国，每68人中就会有1人患上孤独症。虽然现有的ASD评估方法非常有效，但却费时费力；并且大多数诊断方法主要是对语言交流障碍、社会交往障碍、重复刻板行为这三方面的测评。现在最广泛应用的测量方法包括孤独症诊断观察量表(AutismDiagnosticObservationSchedule-Generic,ADOS-G)与它的修订版本(ADOS-2)。这些方法需要一个受过临床训练的专业人员长达90分钟的操作，这不仅增加了不必要的诊断成本，也减少了孤独症被早期诊断的机会。

最近的行为研究提供了ASD个体不同的眼动模式的证据。大量的文献通过眼球追踪技术，研究了ASD个体如何扫描人脸。这些研究一致认为孤独症个体与正常生长的小孩相比，对面部有更少的视觉注意。目前为止，大多数研究都停留在发现统计意义上的孤独症症状，但很少有人将其应用到孤独症的预测上。

行为研究中，AOI(areaofinterest)方法被广泛应用于人脸扫描模式的行为分析中。AOI旨在测量眼睛的注视预定义的感兴趣的面部区域，通常包括眼睛、鼻子和嘴，然后统计出眼睛注视这些区域的频率。AOI方法的缺点是它所分的区域比较大，没有将这些区域做进一步的区分。并且只在统计意义上进行分辨是否具有统计显著性，没有进行进一步的预测。AOI的边界往往是凭经验决定的，需要人工手动标注每一张图片的边界。而事实上，视觉注意力很大程度会被某些特定的AOI内的更小的子区域所影响，此类子区域与大脑联系更紧密。怎样去除人工经验不同对结果带来的影响，并且更好的利用面孔图片上更有统计显著意义的区域进行预测，变成了一个有挑战性的问题。

发明内容

本发明上述现有技术存在的问题，提出一种基于机器学习的孤独症评估预测方法，该方法能够以简化ASD评估流程，减少ASD评估时间，提高ASD早期预测的机会。

为解决上述技术问题，本发明的技术方案如下：

一种基于机器学习的评估预测ASD的方法，包括以下步骤：

S1.采集数据：采用眼动仪分别采集参与的实验人员观看人脸图片时眼球扫描人脸的眼动数据，所述参与的实验人员包括患有ASD个体与正常个体；

S2.划分人脸区域：将人脸图片划分成不同区域；

S3.提取特征：从眼动仪采集的原始数据中提取特征并标记；

S4.训练分类器：利用已标记的特征训练分类器，得到预测ASD的眼动分类器模型；

S5.进行预测：采用由步骤S4获取的预测ASD的眼动模型对测试者进行测试，对测试者的孤独症进行评估预测。

优选的，所述步骤S2中将人脸图片分成不同的区域的方式为自动聚类算法、网格法或手工分割法中的任意一种。

优选的，所述步骤S3中从眼动仪采集的原始数据中提取特征并标记，所述提取的特征为“词袋”BoW直方图特征，首先把坐标信息进行量化：对每一个时刻的注视坐标，选择最近的聚类中心作为它的代表；接下来统计落入每一个子区域的坐标点个数，并进行归一化得到视线坐标分布的直方图。

优选的，根据原始信息提取两种特征：眼睛注视点坐标的直方图特征、眼睛注视点移动的直方图特征；具体过程为：

S31.提取眼睛注视点坐标的软直方图特征；

软直方图：该直方图特征是对不同“词典单词”的隶属度的累加；隶属度是在0到1之间的一个数值，代表每一个特征在某个特定的“词典单词”的份量有多大；设x_i,j,n表示第i个参与的实验人员在第j幅图的第n次眼睛注视的位置坐标，那么它对第k个“词典单词”的隶属度可用以下公式计算：

$u_{i,j,n}^k=\frac{1/\left|\right|x_{i,j,n}-d_k|{|}_2^2}{{\mathrm{\Σ}}_{k=1}^{K}1/\left|\right|x_{i,j,n}-d_k|{|}_2^2}$

上式中，d_k表示自动聚类算法中第k类的中心点坐标，K表示自动聚类方法的类数；

可知 ${\mathrm{\Σ}}_{k=1}^K{u}_{i,j,n}^k=1;$ 令 $u_{i,j,n}=\[u_{i,j,n}^1,...,u_{i,j,n}^K\],$ 软直方图为：

$h_{i,j}=\frac{1}{N_j}\underset{n=1}{\overset{N_j}{\Σ}}{u}_{i,j,n}$

将直方图中的每一个分量取平方根：

$\begin{array}{cc}\sqrt{h_{i,j}}=\[\sqrt{h_{i,j}^1},...,\sqrt{h_{i,j}^K}\]& s.t.{\mathrm{\Σ}}_{k=1}^K{\left(\sqrt{h_{i,j}^k}\right)}^2=1;\end{array}$

S32.提取眼睛注视点移动的BoW特征；

眼球注视的移动向量为：

m_i,j,n＝x_i,j,n+1-x_i,j,n

得到移动向量后，它的BoW特征的提取与步骤S31的操作是一样的；

S33.标记特征；得到眼睛注视点坐标的BoW特征与眼睛注视点移动的BoW特征后，根据这个特征对应的个体是否患有ASD，标记此特征为正类或负类，即患有ASD的个体对应的特征为正类，不患有ASD的个体对应的特征为负类。

优选的，所述步骤S4使用支持向量机SVM对已标记的特征进行训练分类。

优选的，所述步骤S5采用由步骤S4获取的预测ASD的眼动模型对测试者进行测试，对测试者的孤独症进行评估预测；测试得到一个分数，分数即为测试者看每张图片时的预测结果；将所有属于某个测试者看每一张图片得到的预测分数加以处理以得到最后的该个体的预测分数；

得到个体层级的分数后，基于设定的门限值T，预测该测试者是否患有ASD。当分数大于T时，预测该个体患有ASD，反之亦然：

对每一个被试者看每张图片时的眼动数据做特征提取，使用训练出的预测ASD的SVM模型评估被试者，得到一个分数，代表该被试者患自闭症概率高低。

优选的，所述步骤S3还能够使用N-gram模型训练出ASD的正反两个模型，以体现眼睛注视点的时序变化。

与现有ASD诊断技术相比，本发明技术方案的有益效果是：

提出了基于机器学习的框架，对被试者看面孔图片时眼球不同的扫视模式进行分析，提出来一种预测ASD的方法。相比于传统的ADOS-D与ADOS-2方法，本发明提出的方法不需要太多的人工成本。虽然本发明提出的方法并不能完全替代传统的ASD诊断方法，但它能被视作一个ASD评估的补充方法，使得早期的ASD评估预测更加准确与方便。

使用自动聚类算法代替现有行为分析中的AOI与iMAP方法，对脸部进行聚类得到不同的区域。自动聚类算法完全以数据为驱动，得到的脸部分区具备统计意义上的重要性。直观上来说，自动聚类得到的区域的中心最具代表性的眼球注视的“热点”。

附图说明

图1是本发明基于机器学习的预测ASD的总框架结构图。

图2是本发明中机器学习方法所用数据的过程示意图；

图3是本发明中使用自动聚类算法k-means聚类的结果示意图。其中从左至右K分别为16、32、48、64的结果示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明一种基于机器学习的评估预测ASD的方法，针对传统的ASD诊断方法的人工成本高、诊断周期长，与传统做ASD行为分析时AOI模型的精确度低的问题，通过采用自动聚类方法，通过孤独症患者眼睛注视不同的人脸位置的数据，将人脸分成多个不同的区域，并根据这些区域结合训练数据，生成孤独症患者眼球移动模式的模型，根据该眼动模型进行孤独症的评估预测。

实施例：

本方案整体可分为四步，分别是采集数据，提取特征，训练分类器与进行预测。

如图1所示，是本发明中孤独症评估预测方法的流程图，包括以下步骤：

步骤1，采集罹患孤独症个体与正常个体眼球扫描人脸的眼动数据。

具体地，使用眼动仪，将人面孔图片显示在眼动仪的屏幕上，眼动仪将记录参与的实验人员所注视的人脸位置的数据，得到一个对应于图像上的坐标。

在本实施例中，采用的是TobiiT60眼动仪，它的采样率为60Hz，屏幕分辨率为1024×768像素。将一组700×500像素的人脸图片显示在眼动仪的屏幕上，眼动仪自动记录各参与的实验人员眼球注视的位置坐标，如果注视点位于图像之外，则忽略此点。

在该实施例中，采集到两组数据。第一组ASD行为分析数据的目标为小孩，包括：29个患有ASD的小孩、29个年龄相当的正常小孩、29个智力障碍的小孩。第二组数据为青少年组，包括：19个ASD患者、22个智力障碍患者、28个年龄相当的正常人。对于每一个参与实验的人员，他们将观看一组人脸图片，眼动仪将记录其眼动数据。因此各参与的实验人员看每一幅图时，眼动仪都会记录下一组坐标点，该组数据将会被进一步处理成为一个特征，如图2所示。

步骤2，跟据眼动仪记录下来的数据，使用自动聚类算法进行坐标聚类，本实施例中，以k-means聚类算法为例，将人脸分成不同的区域。其中K的值可以任意选择，以达到最好的预测效果。一般情况下，K的值应大于AOI特征模型中的区域数；通过设置一组不同的K值，评估K值对预测结果的影响，选择使得预测结果最好的K值。

具体地，将眼动仪记录下来的所有坐标点使用k-means方法进行聚类，它将脸部划分为多个区域。如图3所示，将聚类的类数K设定为16、32、48、64，得到四种分类。

步骤3，从眼动仪记录下的各参与的实验人员看每一张图的原始数据中提取特征。

具体地，使用“词袋”BoW(bagofwords)直方图特征。

首先把坐标信息进行量化：对每一个时刻的注视坐标，选择最近的k-means中心作为它的代表。

接下来统计落入每一个子区域的坐标点个数，并进行归一化得到视线坐标分布的直方图。

希望除了眼睛注视点之外，眼睛注视点之间移动的幅度与方向也能提供预测ASD的信息，所以，将会根据原始信息提取两种特征：眼睛注视点坐标的直方图特征、眼睛注视点移动的直方图特征。

步骤3.1，提取眼睛注视点坐标的直方图特征。

考虑两种不同的直方图特征表示：

硬直方图：这种直方图特征是由每一个“词典单词”出现的次数构成的向量，也就是说，它表明了原始数据中眼睛注视人脸不同区域的频率。在统计出出现次数后，将此直方图归一化使得其中所有值加起来为1。

软直方图：这种直方图特征是对不同“词典单词”的隶属度的累加。隶属度是在0到1之间的一个数值，代表每一个特征在某个特定的“词典单词”的份量有多大。设x_i,j,n表示第i个参与的实验人员在第j幅图的第n次眼睛注视的位置坐标，那么它对第k个“词典单词”的隶属度可用以下公式计算：

$u_{i,j,n}^k=\frac{1/\left|\right|x_{i,j,n}-d_k|{|}_2^2}{{\mathrm{\Σ}}_{k=1}^{K}1/\left|\right|x_{i,j,n}-d_k|{|}_2^2}$

上式中，d_k表示k-means聚类中第k类的中心点坐标，K表示k-means聚类方法的类数；

可以看出 ${\mathrm{\Σ}}_{k=1}^K{u}_{i,j,n}^k=1.$ 令 $u_{i,j,n}=\[u_{i,j,n}^1,...,u_{i,j,n}^K\],$ 软直方图为：

$h_{i,j}=\frac{1}{N_j}\underset{n=1}{\overset{N_j}{\Σ}}{u}_{i,j,n}$

相比于硬直方图，软直方图得到了一个更加合理的频率统计，因为它考虑了所有“词典单词”，而不是直接对最接近的“词典单词”进行统计。使用软直方图有利于统计刚好落在两个区域边界上的眼睛注视点。

考虑一种简单而且有效的技术，平方根表示，它将直方图中的每一个分量取平方根：

$\begin{array}{cc}\sqrt{h_{i,j}}=\[\sqrt{h_{i,j}^1},...,\sqrt{h_{i,j}^K}\]& s.t.{\underset{k=1}{\overset{K}{\Σ}}\left(\sqrt{h_{i,j}^k}\right)}^2=1\end{array}$

这种平方根表示法在抗干扰和得到可靠的分类上很有优势，因此，在本实施例中，采用这种表示方法。

步骤3.2，提取眼睛注视点移动的BoW特征。

具体地，眼球注视的移动向量为：

m_i,j,n＝x_i,j,n+1-x_i,j,n

得到移动向量后，它的BoW特征的提取与步骤3.1的操作是一样的。

步骤3.3，标记特征。

具体地，在得到眼睛注视点坐标的BoW特征与眼睛注视点移动的BoW特征后，根据这个特征对应的个体是否患有ASD，未患有ASD则标记此特征为正类(positive)或患有ASD则标记为负类(negitive)。

步骤4，训练预测ASD的眼动模型。

具体地，使用一个二元分类器算法来训练已标记好的特征，得到预测ASD的眼动模型。

在本实施例中，使用支持向量机(supportvectormachine,SVM)对已标记的特征进行分类。线性SVM从训练数据中学习到了一个边界，使得两种不同类别的特征区分度尽可能大。但本实施例中得到的直方图特征并不是线性可分的，所以本实施例中使用核SVM，通过引入一个非线性的边界来区分特征。RBF(RadialBasisFunction)函数具有优良的性能，选择它作为核函数训练出SVM分类模型。

步骤5，根据训练出的模型进行ASD的预测。

利用上一步训练得到的SVM分类器对待测试数据进行测试，得到一个分数，这个分数即为每个参与的实验人员看每张图片时的预测结果。然而如果仅仅根据一张图片的分数来预测ASD，则预测结果的鲁棒性较低。因此，需要将所有属于某个参与的实验人员看每一张图片得到的预测分数加以处理以得到最后的该个体的预测分数。

得到个体层级的分数后，基于某个门限值T，对这个个体是否患有ASD做出预测。当分数大于T时，预测该个体患有ASD，反之亦然：

实验设置：

1.获取测试数据与训练数据。

具体地，采用交叉比对策略，即按照顺序依次选择每一个个体的数据作为测试数据，同时把其余参与者的数据作为训练数据。

2.分类方法2：N-gram模型

除了以上实施例使用的SVM模型之外，还可以使用N-gram模型训练出ASD的正反两个模型，以体现眼睛注视点的时序变化。

具体地，每一个注视点的坐标代表了k-means方法得出的“词典”中的一个“字典单词”。眼动仪记录下每一个人注视某一幅人脸图片的坐标数据被转换成为一组离散类别的标签，代表每个坐标对应的“词典单词”，因此对于每一个人看每一幅图片，得到的是一组标签序列而不是一个直方图特征。

使用SRILM工具包，将患有ASD的个体的数据、没有患ASD的个体的数据、测试数据作为输入，得到两个分数：l_pos(i)与l_neg(i)，代表测试数据拟合两组训练数据的程度。将最后得到的分数做归一化，得到：

$subject\_score\left(i\right)=\frac{|l\_pos\left(i\right)-l\_neg\left(i\right)|}{|l\_pos\left(i\right)|+|l\_neg\left(i\right)|}$

3.特征提取方法2：从AOI词典中得到直方图特征。

AOI从其意义上来说，能够被看做不同的“词典单词”。在本实验中，AOI被分别定义在不同的脸部图片上，将脸部图片分成几个有意义的部分：脸颊、鼻子、嘴巴、左眼、右眼。通过统计眼睛注视点落在哪一个AOI的区域的次数，能够从AOI“词典单词”中获得BoW直方图特征。将这个特征得出的结果与其他的特征方法进行对比，以评判它们预测性能的好坏。

4.评估基准

实验中，使用以下标准来量化地评估预测结果的性能。

受试者工作特征(ROC)曲线：改变门限值，计算相应的真正类率与假正类率，绘制出ROC曲线。

ROC曲线下的面积(AUC)：ROC曲线下的面积与总面积的比值。AUC越接近1，评估效果越好。

准确率：准确预测出是否患有ASD与否的人数与总人数的比值。

实验结果：

下表对比了4种方法在数据库上的预测准确性。4种方法为：眼球注视点坐标模型、眼球注视点移动模型、AOI特征模型、N-gram模型。其中k-means聚类采用使得结果最佳的K值，采用软直方图特征、软预测，采用使得结果最佳的预测门限值。

表1

由表1可知：1)本发明提出来的机器学习框架可以广泛应用在不同的特征上，包括但不局限于：依据K-means聚类得到的直方图特征，利用坐标在AOI不同区域上分布得到的直方图特征等。2)本发明提出的框架可以使用不同分类算法，包括但不局限于SVM分类器，n-gram算法。

本发明较好的验证了依据眼动数据，可以达到较好的预测结果90.08％。相比传统使用AQ分数进行预测80％左右的准确性，更为客观并达到了更高的精度。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于机器学习的评估预测ASD的方法，其特征在于，包括以下步骤：

S1.采集数据：采用眼动仪分别采集参与的实验人员观看人脸图片时眼球扫描人脸的眼动数据，所述参与的实验人员包括患有ASD个体与正常个体；

S2.划分人脸区域：将人脸图片划分成不同区域；

S3.提取特征：从眼动仪采集的原始数据中提取特征并标记；

S4.训练分类器：利用已标记的特征训练分类器，得到预测ASD的眼动分类器模型；

S5.进行预测：采用由步骤S4获取的预测ASD的分类器模型对测试者进行测试，对测试者的孤独症进行评估预测。

2.根据权利要求1所述的基于机器学习的评估预测ASD的方法，其特征在于，所述步骤S2中将人脸图片分成不同的区域的方式为自动聚类算法、网格法或手工分割法中的任意一种。

3.根据权利要求2所述的基于机器学习的评估预测ASD的方法，其特征在于，所述步骤S3中从眼动仪采集的原始数据中提取特征并标记，所述提取的特征为“词袋”BoW直方图特征，首先把坐标信息进行量化：对每一个时刻的注视坐标，选择最近的聚类中心作为它的代表；接下来统计落入每一个子区域的坐标点个数，并进行归一化得到视线坐标分布的直方图。

4.根据权利要求3所述的基于机器学习的评估预测ASD的方法，其特征在于，根据原始信息提取两种特征：眼睛注视点坐标的直方图特征、眼睛注视点移动的直方图特征；具体过程为：

S31.提取眼睛注视点坐标的软直方图特征；

软直方图：该直方图特征是对不同“词典单词”的隶属度的累加；隶属度是在0到1之间的一个数值，代表每一个特征在某个特定的“词典单词”的份量有多大；设x_i，j，n表示第i个参与的实验人员在第j幅图的第n次眼睛注视的位置坐标，那么它对第k个“词典单词”的隶属度可用以下公式计算：

$u_{i,j,n}^k=\frac{1/\left|\right|x_{i,j,n}-d_k|{|}_2^2}{{\mathrm{\Σ}}_{k=1}^{K}1/\left|\right|x_{i,j,n}-d_k|{|}_2^2}$

上式中，d_k表示自动聚类算法中第k类的中心点坐标，K表示自动聚类方法的类数；

可知 ${\mathrm{\Σ}}_{k=1}^K{u}_{i,j,n}^k=1;$ 令 $u_{i,j,n}=\[u_{i,j,n}^1,...,u_{i,j,n}^K\],$ 软直方图为：

$h_{i,j}=\frac{1}{N_j}\underset{n=1}{\overset{N_j}{\Σ}}{u}_{i,j,n}$

将直方图中的每一个分量取平方根：

$\sqrt{h_{i,j}}=\[\sqrt{h_{i,j}^1},...,\sqrt{h_{i,j}^K}\]s.t.{\mathrm{\Σ}}_{k=1}^K{\left(\sqrt{h_{i,j}^k}\right)}^2=1;$

S32.提取眼睛注视点移动距离的BoW特征；

眼球注视的移动向量为：

m_i，j，n＝x_i，j，n+1-x_i，j，n

得到移动向量后，它的BoW特征的提取与步骤S31的操作是一样的；

S33.标记特征；得到眼睛注视点坐标的BoW特征与眼睛注视点移动的BoW特征后，根据这个特征对应的个体是否患有ASD，标记此特征为正类或负类，即患有ASD的个体对应的特征为正类，不患有ASD的个体对应的特征为负类。

5.根据权利要求4所述的基于机器学习的评估预测ASD的方法，其特征在于，所述步骤S4使用支持向量机SVM算法对已标记的特征进行训练分类。

6.根据权利要求5所述的基于机器学习的评估预测ASD的方法，其特征在于，所述步骤S5采用由步骤S4获取的预测ASD的眼动模型对测试者进行测试，对测试者的孤独症进行评估预测；测试得到一个分数，分数即为测试者看每张图片时的预测结果；将所有属于某个测试者看每一张图片得到的预测分数加以处理以得到最后的该个体的预测分数；

得到个体层级的分数后，基于设定的门限值T，预测该测试者是否患有ASD；当分数大于T时，预测该个体患有ASD，反之亦然：

7.根据权利要求4所述的基于机器学习的评估预测ASD的方法，其特征在于，所述步骤S4还能够使用N-gram模型训练出ASD的正反两个模型，以体现眼睛注视点的时序变化。