CN109498038A - 自闭症评估方法及装置 - Google Patents

Abstract

本发明提供一种自闭症评估方法及装置，通过捕捉自闭症测定者在观看具有不同认知刺激角度的预制视频时的面部活动特征以及自闭症预估神经网络模型，对自闭症测定者是否存在自闭症进行预估，相比于问卷调查的方式，有效缩短了预估时间，提高了预估效率，并且不易受到外界的干扰，评估方法简单易行。

Description

自闭症评估方法及装置

技术领域

本发明涉及预估和计算领域，具体涉及一种自闭症评估方法及装置。

背景技术

自闭症儿童与正常儿童在认知信息加工方面有较大的差异性。因其自身的认知信息加工信息过程不同，从而产生不同的行为反应过程。上述不同认知的形成是由于每个个体在感知觉的刺激阈限、注意资源、工作记忆、刺激信息表征方式、语义记忆体系、问题解决策略等方面存在差异，造成了对认知信息的加工过程不同。再进一步，上述在认知信息加工过程中的各种差异，主要是由于不同个体的脑结构存在差异以及不同个体在启动认知任务时的脑网络层级水平的活动存在差异造成的。故具备不同的脑结构、活动差异的个体，一方面在认知信息加工过程中表现出差异，另一方面在伴随性的生理表征上也存在差异。

当前，一般通过以下几种方法实现对人格的评估：方法一，问卷调查的方式实现自闭症的评估，获取个体对自闭症评估问卷的答案，基于获得答案评估个体的自闭症状况。该方法虽然能够得到比较准确自闭症评估结果，但是耗时较长，一般需要消耗1至2个小时的时间，效率低下。方法二，基于脑电信号分析的方法评估自闭症，该方法鲁棒性较弱，容易收到外部环境干扰。方法三，基于行为特征观察计算法评估自闭症，该方法需要参与者进行大量操作行为，繁琐并且效率低下。

总之，当前的自闭症评估方法都无法实现快速、准确地评估自闭症。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种自闭症评估方法及装置，解决了现有技术中自闭症评估存在的效率低、准确度差的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供了一种自闭症评估方法，包括：

向自闭症测定者播放具有不同认知刺激角度的预制视频；

分别获取自闭症测定者在观看每种预制视频过程中的面部活动特征；

利用自闭症预估神经网络模型，对自闭症测定者在观看每种预制视频对应面部活动特征进行处理，得到所述自闭症测定者的自闭症预估结果；其中，所述自闭症预估神经网络模型是利用多个样本测定者的自闭症评定结果以及多个样本测定者在观看每种预制视频过程中的面部活动特征训练得到的。

在一种可能的实施方式中，所述面部活动特征为自闭症测定者面部的至少一个预定区域内的面部活动特征。

在一种可能的实施方式中，所述面部活动特征包括以下至少一项：

自闭症测定者在观看每种预制视频时的面部温度变化；自闭症测定者在观看每种预制视频时的心率变化；自闭症测定者在观看每种预制视频时的呼吸变化。

在一种可能的实施方式中，所述获取自闭症测定者在观看每种预制视频过程中的面部活动特征，包括：

获取自闭症测定者在观看每种预制视频时的面部图像，得到每种预制视频对应的K张面部图像；其中，K为正整数；

针对每种预制视频对应的每张面部图像，基于该面部图像与该面部图像对应的比较图像的灰度值的变化，确定该面部图像对应的温度变化值、心率变化值以及呼吸变化值；

针对每种预制视频，基于该预制视频对应的每张面部图像的温度变化值、心率变化值以及呼吸变化值，确定自闭症测定者在观看该预制视频过程中的面部活动特征。

在一种可能的实施方式中，所述该面部图像对应的比较图像为在拍摄所述该面部图像的前一秒或后一秒拍摄的面部图像。

在一种可能的实施方式中，所述方法还包括构建所述自闭症预估神经网络模型的步骤：

获取多个样本测定者的自闭症评定结果；

获取多个样本测定者在观看每种预制视频过程中的面部活动特征；

基于所述多个样本测定者的自闭症评定结果，以及多个样本测定者在观看每种预制视频过程中的面部活动特征，训练得到所述自闭症预估神经网络模型。

在一种可能的实施方式中，所述方法基于多个样本测定者对自闭症预估问卷的答案，获取所述多个样本测定者的自闭症评定结果。

在一种可能的实施方式中，所述自闭症预估神经网络模型包括3个卷积&MaxPooling、1个全链接层以及一个p＝0.5的Softmax层。

在一种可能的实施方式中，所述具有不同认知刺激角度的预制视频包括以下至少一个预制视频：

针对感知觉的预制视频；针对工作记忆的预制视频；针对语义记忆的预制视频；针对高级认知加工的预制视频；其中所述高级认知包括逻辑推理、计算以及问题求解。

第二方面，提供了一种自闭症评估装置，包括：

视频展示模块，用于向自闭症测定者播放具有不同认知刺激角度的预制视频；

特征获取模块，用于分别获取自闭症测定者在观看每种预制视频过程中的面部活动特征；

自闭症预测模块，用于利用自闭症预估神经网络模型，对自闭症测定者在观看每种预制视频对应面部活动特征进行处理，得到所述自闭症测定者的自闭症预估结果；其中，所述自闭症预估神经网络模型是利用多个样本测定者的自闭症评定结果以及多个样本测定者在观看每种预制视频过程中的面部活动特征训练得到的。

(三)有益效果

本发明实施例提供了一种自闭症评估方法及装置。具备以下有益效果：

本发明实施例首先向自闭症测定者播放具有不同认知刺激角度的预制视频；之后，分别获取自闭症测定者在观看每种预制视频过程中的面部活动特征；最后，利用自闭症预估神经网络模型，对自闭症测定者在观看每种预制视频对应面部活动特征进行处理，得到所述自闭症测定者的自闭症预估结果。其中，所述自闭症预估神经网络模型是利用多个样本测定者的自闭症评定结果以及多个样本测定者在观看每种预制视频过程中的面部活动特征训练得到的。上述技术方案通过捕捉自闭症测定者在观看具有不同认知刺激角度的预制视频时的面部活动特征以及自闭症预估神经网络模型，对自闭症测定者是否存在自闭症进行预估，相比于问卷调查的方式，有效缩短了预估时间，提高了预估效率，并且不易受到外界的干扰，评估方法简单易行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性的示出了本发明一实施例的自闭症评估方法的流程图；

图2示意性的示出了本发明另一实施例的自闭症评估方法中构建自闭症预估神经网络模型的流程图；

图3示意性的示出了本发明一实施例的自闭症评估装置的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术中自闭症预估效率低、准确性差、评估过程繁琐并且容易受到外界干扰的缺陷，本申请的一些实施例提供了一种自闭症预估方法，该方法不仅能够提高自闭症预估的效率，并且能够提高预估准确度、简化评估过程、提高抗干扰性。具体地，如图1所述，本实施例的自闭症预估方法包括如下步骤：

S110、向自闭症测定者播放具有不同认知刺激角度的预制视频。

这里，预制视频是通过采用特殊编制方法编制的视频材料，用于激发自闭症测定者的感知觉、工作记忆、语义记忆、高级认知加工等认知行为。具体地，具有不同认知刺激角度的预制视频包括以下至少一个预制视频：针对感知觉的预制视频；针对工作记忆的预制视频；针对语义记忆的预制视频；针对高级认知加工的预制视频；其中所述高级认知包括逻辑推理、计算以及问题求解。本步骤利用预制视频作为认知刺激源，激发自闭症测定者的认知活动。

S120、分别获取自闭症测定者在观看每种预制视频过程中的面部活动特征。

这里，在自闭症测定者观看刺激视频时，采用枪式摄像机记录自闭症测定者的面部活动，每秒记录X帧图像。对每一种预制视频对应的认知活动下的面部活动视频采样K张面部图像。其中，K为正整数。

所述面部活动特征为自闭症测定者面部的至少一个预定区域内的面部活动特征。这里的预定区域预先设定的兴趣区域，这些预定的兴趣区域是人的面部最能体现人的情绪的部位。预定的兴趣区域的数量可以根据实际的需求灵活设定，例如设置9个预定的兴趣区域。

每个预定区域可以设置多个活动点位(Landmarks)，每一个活动点位由一组坐标值描述：

Dn(Xn，Yn)

D表示某一活动点位，n为点位的序号，Xn为第n个活动点位的横坐标值，Yn为第n个活动点位的纵坐标值。

在具体实施时，每个预定区域可以设置18到20个点位。

这里，面部活动特征包括以下至少一项：自闭症测定者在观看每种预制视频时的面部温度变化；自闭症测定者在观看每种预制视频时的心率变化；自闭症测定者在观看每种预制视频时的呼吸变化。

本步骤在得到针对每种预制视频对应的面部图像后，基于面部图像与该面部图像对应的比较图像的灰度值的变化，确定该面部图像对应的温度变化值、心率变化值以及呼吸变化值；之后针对每种预制视频，基于该预制视频对应的每张面部图像的温度变化值、心率变化值以及呼吸变化值，确定自闭症测定者在观看该预制视频过程中的面部活动特征。

上述该面部图像对应的比较图像为在拍摄所述该面部图像的前一秒或后一秒拍摄的面部图像。当然，比较图像还可以是在拍摄面部图像之前或之后的N秒拍摄的图像。

面部得温度的变化值、心率的变化值以及呼吸的变化值表现在面部的视频图像的颜色变化上，上面比较图像与面部图像即位于视频图像的相邻位置上。

在具体实施例时，通过图像增强技术可以将面部图像的温度变化值、心率的变化值或呼吸的变化值描述为：

ΔC＝(C(n+1)-Cn)

上述，C表示面部图像的色彩，C(n+1)表示第(n+1)秒的面部图像的色彩值，Cn表示第n秒的面部图像的色彩值。

上述面部图像可以是32*32的灰度图。

S130、利用自闭症预估神经网络模型，对自闭症测定者在观看每种预制视频对应面部活动特征进行处理，得到所述自闭症测定者的自闭症预估结果；其中，所述自闭症预估神经网络模型是利用多个样本测定者的自闭症评定结果以及多个样本测定者在观看每种预制视频过程中的面部活动特征训练得到的。

上述自闭症预估神经网络模型可以是卷积神经网络模型，包括3个卷积&MaxPooling、1个全链接层以及一个p＝0.5的Softmax层。根据各层神经元个数不同，又分为：

CNN-64：[32，32，64，64]

CNN-96：[48，48，96，200]

CNN-128：[64,64,128,300]

除了Softmax层外，其余各层激活函数均为：

ReLU(x)＝max(0，x)

权值W初始化采用Krizhevsky的零均值、常数标准差(Standard Deviation,STD)方案，各层STD为：

[0.0001,0.001,0.001,0.01,0.1]

每一段预制视频由K张面部图像构成，则：

X＝(K1,K2......Kn)，n为预制视频的数量。

上述步骤得到的自闭症预估结果包括自闭症、非自闭症。

新的自闭症测定者观看预制视频，观看完成后，基于采集的面部图像，利用本申请的上述方法只需2-5秒就能得到自闭症预估结果，有效提升了自闭症测评的效率，并且降低了测评中需要自闭症测定者进行大量操作的问题，参与者无需自己回答、报告任何问题，只需要观看视频；同时无需连接脑电记录设备，利用预制视频及卷积神经网络(CNN)的方法更加具备鲁棒性。

应当说明的是，上述预制视频的时间长度只需要几分钟，例如3分钟，因此相比于问卷调查的方式有效节省了自闭症预估的时间，提高了自闭症预估的效率。

在一些实施例中，如图2所示，自闭症评估方法还可以包括还包括构建所述自闭症预估神经网络模型的步骤：

S210、获取多个样本测定者的自闭症评定结果。

这里，基于多个样本测定者对自闭症预估问卷的答案，获取所述多个样本测定者的自闭症评定结果。即根据问卷的答案确定样本测定者是否存在自闭症，存在标注为值1,不存在标注为值0，作为Y值,Y(1/0)。

S220、获取多个样本测定者在观看每种预制视频过程中的面部活动特征。

S230、基于所述多个样本测定者的自闭症评定结果，以及多个样本测定者在观看每种预制视频过程中的面部活动特征，训练得到所述自闭症预估神经网络模型。

在具体实施时，可以对200名自闭症测定者采集面部活动特征，通过Bootstrap法抽取其中的训练集与测试集，且其中训练集和测试集均表示为：

In(Xn，Yn)，其中n为样本编号。

之后利用训练集训练上述自闭症预估神经网络模型，利用训练得到自闭症预估神经网络模型对测试集中的自闭症测定者进行自闭症评估。

上述自闭症预估神经网络模型可以是深度卷积神经网络模型，利用训练得到的自闭症预估神经网络模型进行任何评估，准确率高于98％。

在一些实施例中，提供了一种自闭症评估装置，该装置与上述自闭症评估方法相对应，用于执行上述自闭症评估方法。如图3所示，自闭症评估装置包括：

视频展示模块310，用于向自闭症测定者播放具有不同认知刺激角度的预制视频；

特征获取模块320，用于分别获取自闭症测定者在观看每种预制视频过程中的面部活动特征；

自闭症预测模块330，用于利用自闭症预估神经网络模型，对自闭症测定者在观看每种预制视频对应面部活动特征进行处理，得到所述自闭症测定者的自闭症预估结果；其中，所述自闭症预估神经网络模型是利用多个样本测定者的自闭症评定结果以及多个样本测定者在观看每种预制视频过程中的面部活动特征训练得到的。

本发明实施例的方法中的每个步骤是与本发明实施例的装置在自闭症评估过程中的步骤一一对应的，本发明实施例的装置在自闭症评估过程中每个步骤均包含在本发明实施例的方法中，因此，对于重复的部分，这里不再进行赘述。

上述实施例通过启动复合性的认知刺激信息装置(即使自闭症测定者观看激发不同认知活动的预制视频)，激发自闭症测定者不同类型的认知信息加工过程，并记录其在不同认知加工过程下对应的生理表征(即面部活动特征)，可以有效区分不同个体的认知信息加工机制的差异，从而反向推断是否存在自闭症，不仅能够保证自闭症预估的准确度，并且能够提高自闭症预估的效率、简化评估过程、提高评估抗干扰度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种自闭症评估方法，其特征在于，包括：

向自闭症测定者播放具有不同认知刺激角度的预制视频；

分别获取自闭症测定者在观看每种预制视频过程中的面部活动特征；

利用自闭症预估神经网络模型，对自闭症测定者在观看每种预制视频对应面部活动特征进行处理，得到所述自闭症测定者的自闭症预估结果；其中，所述自闭症预估神经网络模型是利用多个样本测定者的自闭症评定结果以及多个样本测定者在观看每种预制视频过程中的面部活动特征训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述面部活动特征为自闭症测定者面部的至少一个预定区域内的面部活动特征。

3.根据权利要求2所述的方法，其特征在于，所述面部活动特征包括以下至少一项：

自闭症测定者在观看每种预制视频时的面部温度变化；自闭症测定者在观看每种预制视频时的心率变化；自闭症测定者在观看每种预制视频时的呼吸变化。

4.根据权利要求3所述的方法，其特征在于，所述获取自闭症测定者在观看每种预制视频过程中的面部活动特征，包括：

获取自闭症测定者在观看每种预制视频时的面部图像，得到每种预制视频对应的K张面部图像；其中，K为正整数；

针对每种预制视频对应的每张面部图像，基于该面部图像与该面部图像对应的比较图像的灰度值的变化，确定该面部图像对应的温度变化值、心率变化值以及呼吸变化值；

针对每种预制视频，基于该预制视频对应的每张面部图像的温度变化值、心率变化值以及呼吸变化值，确定自闭症测定者在观看该预制视频过程中的面部活动特征。

5.根据权利要求4所述的方法，其特征在于，所述该面部图像对应的比较图像为在拍摄所述该面部图像的前一秒或后一秒拍摄的面部图像。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括构建所述自闭症预估神经网络模型的步骤：

获取多个样本测定者的自闭症评定结果；

获取多个样本测定者在观看每种预制视频过程中的面部活动特征；

基于所述多个样本测定者的自闭症评定结果，以及多个样本测定者在观看每种预制视频过程中的面部活动特征，训练得到所述自闭症预估神经网络模型。

7.根据权利要求6所述的方法，其特征在于，所述方法基于多个样本测定者对自闭症预估问卷的答案，获取所述多个样本测定者的自闭症评定结果。

8.根据权利要求6所述的方法，其特征在于，所述自闭症预估神经网络模型包括3个卷积&MaxPooling、1个全链接层以及一个p＝0.5的Softmax层。

9.根据权利要求1所述的方法，其特征在于，所述具有不同认知刺激角度的预制视频包括以下至少一个预制视频：

针对感知觉的预制视频；针对工作记忆的预制视频；针对语义记忆的预制视频；针对高级认知加工的预制视频；其中所述高级认知包括逻辑推理、计算以及问题求解。

10.一种自闭症评估装置，其特征在于，包括：

视频展示模块，用于向自闭症测定者播放具有不同认知刺激角度的预制视频；

特征获取模块，用于分别获取自闭症测定者在观看每种预制视频过程中的面部活动特征；

自闭症预测模块，用于利用自闭症预估神经网络模型，对自闭症测定者在观看每种预制视频对应面部活动特征进行处理，得到所述自闭症测定者的自闭症预估结果；其中，所述自闭症预估神经网络模型是利用多个样本测定者的自闭症评定结果以及多个样本测定者在观看每种预制视频过程中的面部活动特征训练得到的。