CN114388143A - 基于游戏交互的阿尔兹海默症面部数据采集方法及装置 - Google Patents

Abstract

本发明公开了一种基于游戏交互的阿尔兹海默症面部数据采集方法及装置，涉及数据采集技术领域。包括：获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，面部视频数据包括面部特征数据及眼动轨迹数据；将人机交互数据以及面部视频数据输入到构建好的数据采集模型；基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，数据库包括人机交互数据、面部视频数据。本发明能够解决现有技术中，缺乏阿尔兹海默症人群特征数据库的问题。

Description

基于游戏交互的阿尔兹海默症面部数据采集方法及装置

技术领域

本发明涉及数据采集技术领域，特别是指一种基于游戏交互的阿尔兹海默症面部数据采集方法及装置。

背景技术

AD(Alzheimer disease，阿尔茨海默氏病)是最普遍的痴呆症，病情的不断发展干扰着老年人的日常生活，每年死亡人数的比例大幅度增加。2006年，全球阿尔茨海默氏病患病率为2660万。到2050年，该疾病的患病率将翻两番，届时全世界85人中将有1人患有这种疾病。一些阿尔茨海默氏症患者在40、50、60年代出现症状并迅速恶化，常常丧失其语言能力。阿尔茨海默氏病不是正常衰老的一部分，平均发病年龄为75岁。越来越多的机构在痴呆症的早期发现、预防和疾病管理等方面进行了大量的投资，因此，拥有一个经济、高效且能够用于大规模的阿尔兹海默症初步筛查的方法变得至关重要。

现在，AD的早期诊断工具通常是一些大型的设备，例如FMRI(functionalmagnetic resonance imaging，功能磁共振成像)和CT(Computed Tomography，计算机断层扫描)，采用这些工具很昂贵并且花费很多时间，不适用于社区性质的大规模、大范围的筛查。另外，面部失用症是指患者在面部表现方面存在障碍，运动计划和结果存在偏差。失用症是阿尔茨海默氏病特征的认知缺陷之一，尽管该病在诊断阿尔茨海默氏病方面很盛行且具有相关性，但该话题很少受到关注，没有合适的计算机任务范式去定义面部特征与患病的关系，以及AD患者下面部(口、舌、喉)和上面部(眼、眉)失用的发生率与痴呆严重程度的关系。

当前AD缺乏面部视频的采集方法和面部数据库的建立，这阻碍了其转化为临床实践的可能。

发明内容

本发明针对现有技术缺乏阿尔兹海默症人群特征数据库的问题，提出了本发明。

为解决上述技术问题，本发明提供如下技术方案：

一方面，本发明提供了一种基于游戏交互的阿尔兹海默症面部数据采集方法，该方法由电子设备实现，该方法包括：

S1、获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，面部视频数据包括面部特征数据及眼动轨迹数据。

S2、将人机交互数据以及面部视频数据输入到构建好的数据采集模型。

S3、基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，数据库包括人机交互数据、面部视频数据。

可选地，游戏交互任务包括视空间理解任务、执行能力评判任务、注意力评判任务和记忆能力评判任务。

视空间理解任务包括：水果从智能移动终端显示屏顶端接连掉落，阿尔兹海默症用户在规定的上下区域内通过点击来接住水果。

执行能力评判任务包括：阿尔兹海默症用户将接到的水果根据指定路线滑动放入果篮中。

注意力评判任务包括：阿尔兹海默症用户持续关注果篮中的水果，如果有水果成熟发生变色，阿尔兹海默症述用户在指定时间内点击成熟的水果。

记忆能力评判任务包括：智能移动终端显示屏顺序展示包含不同水果的果篮，阿尔兹海默症用户在预留时间内记忆果篮出现的顺序，预留时间结束后，阿尔兹海默症用户点击果篮出现的顺序。

人机交互数据包括：视空间理解任务得分、执行能力评判任务得分、注意力评判任务得分和记忆能力评判任务得分。

可选地，数据采集模型包括数据处理模块、针对性训练模块和数据库构建模块。

S3中的基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库包括：

S31、将面部视频数据输入到数据处理模块，得到数据处理后的面部视频数据。

S32、将人机交互数据和面部视频数据输入到针对性训练模块，对其中得分低于预设阈值的游戏交互任务进行针对性训练；其中，针对性训练为游戏交互任务的重复执行。

S33、将数据处理后的面部视频数据输入到数据库构建模块，得到数据库。

可选地，数据处理模块包括视频数据预处理模块、人脸检测模块和特征表示模块。

S31中的数据处理模块将面部视频数据进行数据处理，得到数据处理后的面部视频数据包括：

S311、将面部视频数据输入到数据预处理模块，得到预处理后的面部视频数据；其中，预处理后的面部视频数据为面部视频数据进行视频截帧、图像几何变化和数据增广后的面部视频数据；

S312、将预处理后的面部视频数据输入到人脸检测模块，得到人脸定位后的面部视频数据。

S313、将人脸定位后的面部视频数据输入到特征表示模块，得到特征信息。

可选地，S313中的将人脸定位后的面部视频数据输入到特征表示模块，得到特征信息包括：

S3131、提取人脸定位后的面部视频数据的局部感兴趣区域的细粒度变化特征，建立高维特征。

S3132、获取高维特征的深层次的帧特征之间的相互影响，选取高效的帧特征。

S3133、根据高效的帧特征和人机交互数据进行特征加权融合。

S3134、将加权融合后的特征输入到支持向量机模型进行训练，校验特征信息是否具有代表性。

另一方面，本发明提供了一种基于游戏交互的阿尔兹海默症面部数据采集装置，该装置应用于实现基于游戏交互的阿尔兹海默症面部数据采集方法，该装置包括：

获取模块，用于获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，所述面部视频数据包括面部特征数据及眼动轨迹数据。

输入模块，用于将人机交互数据以及面部视频数据输入到构建好的数据采集模型。

输出模块，用于基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，数据库包括人机交互数据、面部视频数据。

可选地，游戏交互任务包括视空间理解任务、执行能力评判任务、注意力评判任务和记忆能力评判任务。

视空间理解任务包括：水果从智能移动终端显示屏顶端接连掉落，阿尔兹海默症用户在规定的上下区域内通过点击来接住水果。

执行能力评判任务包括：阿尔兹海默症用户将接到的水果根据指定路线滑动放入果篮中。

注意力评判任务包括：阿尔兹海默症用户持续关注果篮中的水果，如果有水果成熟发生变色，阿尔兹海默症述用户在指定时间内点击成熟的水果。

记忆能力评判任务包括：智能移动终端显示屏顺序展示包含不同水果的果篮，阿尔兹海默症用户在预留时间内记忆果篮出现的顺序，预留时间结束后，阿尔兹海默症用户点击果篮出现的顺序。

人机交互数据包括：视空间理解任务得分、执行能力评判任务得分、注意力评判任务得分和记忆能力评判任务得分。

可选地，输出模块，进一步用于：

S31、将面部视频数据输入到数据处理模块，得到数据处理后的面部视频数据。

S32、将人机交互数据和面部视频数据输入到针对性训练模块，对其中得分低于预设阈值的游戏交互任务进行针对性训练；其中，针对性训练为游戏交互任务的重复执行。

S33、将数据处理后的面部视频数据输入到数据库构建模块，得到数据库。

可选地，输出模块，进一步用于：

S311、将面部视频数据输入到数据预处理模块，得到预处理后的面部视频数据；其中，预处理后的面部视频数据为面部视频数据进行视频截帧、图像几何变化和数据增广后的面部视频数据。

S312、将预处理后的面部视频数据输入到人脸检测模块，得到人脸定位后的面部视频数据。

S313、将人脸定位后的面部视频数据输入到特征表示模块，得到特征信息。

可选地，输出模块，进一步用于：

S3131、提取人脸定位后的面部视频数据的局部感兴趣区域的细粒度变化特征，建立高维特征。

S3132、获取高维特征的深层次的帧特征之间的相互影响，选取高效的帧特征。

S3133、根据高效的帧特征和人机交互数据进行特征加权融合。

S3134、将加权融合后的特征输入到支持向量机模型进行训练，校验特征信息是否具有代表性。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于游戏交互的阿尔兹海默症面部数据采集方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于游戏交互的阿尔兹海默症面部数据采集方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

上述方案中，基于人脸特征对阿尔兹海默症的面部数据采集，以安卓游戏为刺激，将整个游戏交互过程中的面部过程变化进行录制，通过算法进行面部特征提取和计算，将人机交互特征和眼动特征与面部特征分别以局部注意力和相关注意力的方式进行融合，所以本申请是一个以面部特征、瞳孔轨迹和人机交互行为为核心的数据采集过程。本申请对于阿尔兹海默症识别的数据库来源不同于一般数据库，放弃从功能磁共振成像或者脑电图像分类等方式，采用这些工具很昂贵并且花费很多时间，不适用于大规模的检测与筛查，而是采用游戏交互的方式获取面部视频数据，这种方式采集设备简便、检测时间短，在社区大范围应用。

本申请采集用户在游戏交互中的面部视频数据，对采集到的数据进行分析。游戏任务从视空间理解能力、执行力、持续注意力、记忆力等为宗旨进行设计。本申请的所述方法可以全面的获取游戏交互中基于用户面部特征变化等状态。为医学检测提供一个维度的参考，并为未来的研究和临床应用提供帮助，为突破阿尔兹海默症人群特征数据库建立提供新手段和新途径。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于游戏交互的阿尔兹海默症面部数据采集方法流程示意图；

图2是本发明基于游戏交互的阿尔兹海默症面部数据采集方法流程示意图；

图3是本发明人机交互数据以及面部视频数据获取示意图；

图4是本发明针对性训练流程示意图；

图5是本发明基于游戏交互的阿尔兹海默症面部数据采集装置框图；

图6是本发明一种电子设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，本发明实施例提供了一种基于游戏交互的阿尔兹海默症面部数据采集方法，该方法可以由电子设备实现。如图1所示的基于游戏交互的阿尔兹海默症面部数据采集方法流程图，该方法的处理流程可以包括如下的步骤：

S11、获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，所述面部视频数据包括面部特征数据及眼动轨迹数据。

S12、将人机交互数据以及面部视频数据输入到构建好的数据采集模型。

S13、基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，数据库包括人机交互数据、面部视频数据。

可选地，游戏交互任务包括视空间理解任务、执行能力评判任务、注意力评判任务和记忆能力评判任务。

视空间理解任务包括：水果从智能移动终端显示屏顶端接连掉落，阿尔兹海默症用户在规定的上下区域内通过点击来接住水果。

执行能力评判任务包括：阿尔兹海默症用户将接到的水果根据指定路线滑动放入果篮中。

注意力评判任务包括：阿尔兹海默症用户持续关注果篮中的水果，如果有水果成熟发生变色，阿尔兹海默症述用户在指定时间内点击成熟的水果。

记忆能力评判任务包括：智能移动终端显示屏顺序展示包含不同水果的果篮，阿尔兹海默症用户在预留时间内记忆果篮出现的顺序，预留时间结束后，阿尔兹海默症用户点击果篮出现的顺序。

人机交互数据包括：视空间理解任务得分、执行能力评判任务得分、注意力评判任务得分和记忆能力评判任务得分。

可选地，数据采集模型包括数据处理模块、针对性训练模块和数据库构建模块。

S13中的基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库包括：

S131、将面部视频数据输入到数据处理模块，得到数据处理后的面部视频数据。

S132、将人机交互数据和面部视频数据输入到针对性训练模块，对其中得分低于预设阈值的游戏交互任务进行针对性训练；其中，针对性训练为游戏交互任务的重复执行。

S133、将数据处理后的面部视频数据输入到数据库构建模块，得到数据库。

可选地，数据处理模块包括视频数据预处理模块、人脸检测模块和特征表示模块。

S131中的数据处理模块将面部视频数据进行数据处理，得到数据处理后的面部视频数据包括：

S1311、将面部视频数据输入到数据预处理模块，得到预处理后的面部视频数据；其中，预处理后的面部视频数据为面部视频数据进行视频截帧、图像几何变化、数据增广后的面部视频数据；

S1312、将预处理后的面部视频数据输入到人脸检测模块，得到人脸定位后的面部视频数据。

S1313、将人脸定位后的面部视频数据输入到特征表示模块，得到特征信息。

可选地，S1313中的将人脸定位后的面部视频数据输入到特征表示模块，得到特征信息包括：

S13131、提取人脸定位后的面部视频数据的局部感兴趣区域的细粒度变化特征，建立高维特征。

S13132、获取高维特征的深层次的帧特征之间的相互影响，选取高效的帧特征。

S13133、根据高效的帧特征和人机交互数据进行特征加权融合。

S13134、将加权融合后的特征输入到支持向量机模型进行训练，校验特征信息是否具有代表性。

本发明实施例中，基于人脸特征对阿尔兹海默症的面部数据采集，以安卓游戏为刺激，将整个游戏交互过程中的面部过程变化进行录制，通过算法进行面部特征提取和计算，将人机交互特征和眼动特征与面部特征分别以局部注意力和相关注意力的方式进行融合，所以本申请是一个以面部特征、瞳孔轨迹和人机交互行为为核心的数据采集过程。本申请对于阿尔兹海默症识别的数据库来源不同于一般数据库，放弃从功能磁共振成像或者脑电图像分类等方式，采用这些工具很昂贵并且花费很多时间，不适用于大规模的检测与筛查，而是采用游戏交互的方式获取面部视频数据，这种方式采集设备简便、检测时间短，在社区大范围应用。

本申请采集用户在游戏交互中的面部视频数据，对采集到的数据进行分析。游戏任务从视空间理解能力、执行力、持续注意力、记忆力等为宗旨进行设计。本申请的所述方法可以全面的获取游戏交互中基于用户面部特征变化等状态。为医学检测提供一个维度的参考，并为未来的研究和临床应用提供帮助，为突破阿尔兹海默症人群特征数据库建立提供新手段和新途径。

如图2所示，本发明实施例提供了一种基于游戏交互的阿尔兹海默症面部数据采集方法，该方法可以由电子设备实现。如图2所示的基于游戏交互的阿尔兹海默症面部数据采集方法流程图，该方法的处理流程可以包括如下的步骤：

S21、获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据。

其中，面部视频数据包括面部特征数据及眼动轨迹数据，阿尔兹海默症用户在游戏交互过程中的游戏得分与面部特征以及眼动轨迹是对当前认知程度的一种反馈，具有一定的普遍性。实时游戏交互反映受试者对当前任务的视空间理解、执行能力和专注能力以及记忆能力，面部特征反映受试者对当前游戏成功与失败的刺激反馈，眼部的运动趋势反映受试者在游戏交互过程中的专注程度，三者融合构成受试者在交互过程中的状态。

具体地，眼动轨迹数据可以由眼动轨迹处理模块获得，眼动轨迹处理模块为眼动轨迹追踪和特征提取，眼动追踪系统可以追踪眼睛的运动轨迹，从而得到人眼运动的注视点位置、注视轨迹、注视时间、注视频率等指标，并且通过观察和研究视线轨迹图，可以获取用户对当前任务的专注度。对于眼动特征提取，首先通过图像处理的方法分割出眼部瞳孔的图像，然后对瞳孔图像进行纹理特征提取。眼部区域的图像通过人脸检测、眼部关键点定位以及图像分隔得到，然后根据瞳孔总是比眼睛的其他部分更暗的原理，将定位好的眼部区域进行灰度转换，利用通过实验数据得到的阈值，根据阈值从眼部区域分隔出瞳孔。对于眼动轨迹运动只需关注瞳孔，因为瞳孔可以反映用户的聚焦点，进而进行特征提取。

如图3所示，游戏交互任务整体流程可以包括用户信息录入、游戏任务、视频录制和生成游戏任务数据库。

其中，用户信息录入主要记录个人信息，用户通过输入姓名、年龄、身份证号登录系统，这些信息为必填选项，为之后的数据记录、身份认证起到关键作用，用户成功登录账户后系统自动将基本资料输入到用户数据库中储存，才可以进入到之后的游戏任务。

可选地，游戏交互任务中的游戏任务包括视空间理解任务、执行能力评判任务、注意力评判任务和记忆能力评判任务。对应的，人机交互数据可以包括：视空间理解任务得分、执行能力评判任务得分、注意力评判任务得分、记忆能力评判任务得分。下面对这四个游戏任务分别进行介绍：

(1)视空间理解任务包括：水果从智能移动终端显示屏顶端接连掉落，阿尔兹海默症用户在规定的上下区域内通过点击来接住水果。

一种可行的实施方式中，视空间理解任务通过用户对水果相对位置的判断来采集这个过程中的面部视频数据和交互行为数据。测试分为三个等级，用户在上下横线所示的区间内接住水果才算成功，当前模块任务的难度是通过改变水果掉落的速度来实现。屏幕的右端有一个手型标志，用户通过在屏幕上的点击来移动手型标志，在与物体接触后，触发愉悦的提示音；如果用户在区间之外点击水果或者点击在错误的位置会触发刺耳的声音提示任务失败。在受试者成功接触的情况下，画面上会不断更新受试者的得分，成功对应加分，失败对应减分。自动记录用户点击的次数、点击位置的偏移程度以及每个水果所用的时间。

(2)执行能力评判任务包括：阿尔兹海默症用户将接到的水果根据指定路线滑动放入果篮中。

一种可行的实施方式中，执行能力评判任务通过用户按照既定路线的移动来采集这个过程中的面部视频数据和交互行为数据。测试分为三个等级，每个等级的难度是通过路线的复杂程度实现的，用户需要按照系统给定的路线来拖动水果，直到水果进入果篮表示成功。如果整个拖动过程中水果和路线的偏离位置超过阈值，会触发刺耳的声音提示任务失败，水果进入果篮后触发愉悦的提示音表示成功。自动记录用户拖动每一个水果所用的时间以及成功进入果篮的水果个数。

(3)注意力评判任务包括：阿尔兹海默症用户持续关注果篮中的水果，如果有水果成熟发生变色，阿尔兹海默症述用户在指定时间内点击成熟的水果。

一种可行的实施方式中，注意力评判任务通过用户关注变化的水果来采集这个过程中的面部视频数据和交互行为数据。测试分为三个等级，每个等级的难度是通过控制反应时间实现的，水果成熟变色是随机发生的，用户需要在允许的反映时间内点击成熟的水果。如果时间超过阈值或者点击错误都会触发刺耳的声音提示任务失败，成功则触发愉悦的提示音。自动记录水果成熟变色后到用户作出反应进行点击的这一段时间，以及用户点击成功的个数和点击偏移的程度。

(4)记忆能力评判任务包括：智能移动终端显示屏顺序展示包含不同水果的果篮，阿尔兹海默症用户在预留时间内记忆果篮出现的顺序，预留时间结束后，阿尔兹海默症用户点击果篮出现的顺序。

一种可行的实施方式中，记忆能力评判任务通过刺激用户记忆能力表现来采集这个过程中的面部视频数据和交互行为数据。测试分为三个等级，通过改变需要记忆的个数来操纵难度，系统在屏幕上会随机摆放一些果篮，用户有一定的时间去记住果篮出现的顺序，接着屏幕清空，系统会打乱所有的果篮，要求用户按刚才的顺序来选择果篮，最后自动记录用户的用时和选择的顺序来评判用户的正确率。

在用户完成上述游戏任务过程中，电子设备可以进行视频录制，视频录制主要是记录游戏各个任务过程中的面部视频数据和交互行为数据。在整个过程中伴随着数据的自动记录，在游戏开始时自动启动视频录制功能，将用户游戏交互中的面部表现通过视频的形式进行保存，整个录制界面通过隐藏的方式保证用户面部视频的真实展现。除此之外，还会记录用户的点击次数、点击的时间间隔、点击在错误位置的次数以及每次点击与物体的直线距离，这些操作数据便于对用户执行能力进行分析，在整个过程中还会记录用户的用时长短便于对用户记忆能力进行分析。

一种可行的实施方式中，生成游戏任务数据库主要是将游戏交互中的各种数据以数据库的形式保存。游戏任务数据库主要包括录入的个人信息、各个任务的面部视频数据和对应的交互数据以及用户对应的认知状态。

S22、将面部视频数据输入到数据预处理模块，得到预处理后的面部视频数据。

其中，预处理后的面部视频数据为面部视频数据进行视频截帧、图像几何变化、数据增广后的面部视频数据。

一种可行的实施方式中，恰当的预处理能够减少因图像质量对识别效果的影响，同时也能提升算法的鲁棒性。上述预处理为现有技术中的常用处理方法，本发明实施例在此无需赘述。

S23、将预处理后的面部视频数据输入到人脸检测模块，得到人脸定位后的面部视频数据。

一种可行的实施方式中，人脸检测需要定位出图像中人脸的位置，人脸检测是做人脸对齐的前提，直接决定了后续的关键点定位的性能。上述人脸定位技术为现有技术中的常用处理方法，本发明实施例在此无需赘述。

S24、将人脸定位后的面部视频数据输入到特征表示模块，得到特征信息。

一种可行的实施方式中，上述步骤S24可以包括下述步骤S241-S244:

S241、提取人脸定位后的面部视频数据的局部感兴趣区域的细粒度变化特征，建立高维特征。

一种可行的实施方式中，对于感兴趣区域的特征提取，本发明实施例指的是图像中对认知分类起主要作用的区域。由眼睛、鼻子组成的面部上半部分和嘴巴以及周边构成的面部下半部分，这两个区域几乎涵盖了面部的所有重要特征，所以通过这个区域来关注认知状态与面部局部区域的关系。

一种可行的实施方式中，感兴趣区域的特征提取分为两部分，首先，需要获取面部的原始特征，包括几何特征、外貌特征和序列特征。其次，需要对原始特征进行特征降维，剔除冗余信息、维度过高等问题，以提高区分性。为了得到对分类更有利的特征数据，需要对特征进行分解，去除干扰因素。考虑认知状态区分时仅与面部局部区域相关，该步骤将进一步关心认知状态与面部局部区域关系，提取面部局部感兴趣区域的外貌特征可以进一步辅助认知状态的分类。在特征提取方法层面。局部二元模式是一种有效的图像纹理特征描述算子，它通过使用图像中的任意一点与其邻域点灰度值之间的大小关系来表征图像中局部纹理的空间结构，具有一定的抗明暗变化、噪声干扰、旋转等能力。

S242、获取高维特征的深层次的帧特征之间的相互影响，选取高效的帧特征。

一种可行的实施方式中，对于提取到的每帧的特征不是简单的堆叠起来去作为整个视频的特征表达，而是对于高效的帧赋予较大的权重。人脸的面部动作变化是一个渐进式的过程，其中明显的面部动作常常发生在有所刺激的时候，选取游戏中触发提示音的时刻，选择当前时刻前后的帧赋予较大的权重来提升对最终面部视频特征的贡献程度。

S243、根据高效的帧特征和人机交互数据进行特征加权融合。

一种可行的实施方式中，使用单一特征并不能很好的解决当前的问题，将以上单独的特征进行组合而造成的特征组合有助于表示非线性关系，更有利于对认知状态进行分类。上述特征加权融合采用现有技术中常用的处理方法，本发明实施例在此无需赘述。

S244、将加权融合后的特征输入到支持向量机模型进行训练，校验特征信息是否具有代表性。

其中，校验特征信息是否具有代表性，若是，则将该特征信息输入到分类器中可得到更好的结果，进一步说明采用该特征提取的方式为最优方式；若否，则选择其他特征信息输入到分类器中。

一种可行的实施方式中，针对游戏交互过程中认知状态识别的复杂性，利用面部特征和眼动轨迹特征组合游戏得分、游戏用时等交互数据。其中面部特征反映用户在受到游戏成功或失败的刺激的情况下面部失用情况，眼动轨迹特征反映用户在整个过程中的专注程度，游戏得分则反映用户整体的执行能力和记忆能力。支持向量机引入核函数可以解决低维空间映射到高维空间时出现的维数膨胀过大的问题，被认为是最可靠，最准确的数据分类方法之一。本发明实施例中，将组合后的特征输入到带有核函数的支持向量机模型中。在此基础上可以进行扩展研究，观察由眼睛、鼻子组成的面部上半部分和嘴巴以及周边构成的面部下半部分，这两个区域分别对最后认知分类的影响，从而得出外界刺激下，阿尔兹海默症患者面部局部区域对分类结果的贡献度。

S25、将人机交互数据输入到针对性训练模块，对其中得分低于预设阈值的游戏交互任务进行针对性训练。

其中，针对性训练为游戏交互任务的重复执行。

一种可行的实施方式中，如图4所示，以视空间能力模块、执行力模块、持续注意力模块和记忆力模块得分为指标，眼动的轨迹作为辅助评判标准，对于较低的模块进行针对性安排训练，可以有效提高视空间理解能力、执行能力、专注程度以及记忆能力。

具体地，当用户某项游戏任务得分低于预设阈值时，需要安排用户针对这一项游戏任务进行重复训练，可根据用户游戏任务得分对游戏任务的难易程度作适应性调节。

S26、将数据处理后的面部视频数据输入到数据库构建模块，得到数据库。

一种可行的实施方式中，用户的年龄、性别、认知状态等作为数据库的基本数据，游戏任务中各个模块录制的面部变化作为主要的视频数据，用户的任务得分、游戏交互中的点击频率、点击偏移等作为辅助数据，通过上述数据来建立阿尔兹海默症在当前游戏任务中的面部视频数据库。

一种可行的实施方式中，本实验采集的设备是华为平板M5，大小为10.1英寸，重量约480克，前置摄像头800w，屏幕分辨率1920*1200。在每一个任务从开始到结束的期间，利用安卓平板自带的摄像头对受试者面部进行自动录像。另外，为了使受试者的面部表现更加真实，所以将任务过程中的摄像界面隐藏。最后，将每一个受试者的姓名、年龄、每个等级的得分以及自评形成一个文本文档，将文本文档和视频数据都保存在本地内存中。

本发明实施例中，基于人脸特征对阿尔兹海默症的面部数据采集，以安卓游戏为刺激，将整个游戏交互过程中的面部过程变化进行录制，通过算法进行面部特征提取和计算，将人机交互特征和眼动特征与面部特征分别以局部注意力和相关注意力的方式进行融合，所以本申请是一个以面部特征、瞳孔轨迹和人机交互行为为核心的数据采集过程。本申请对于阿尔兹海默症识别的数据库来源不同于一般数据库，放弃从功能磁共振成像或者脑电图像分类等方式，采用这些工具很昂贵并且花费很多时间，不适用于大规模的检测与筛查，而是采用游戏交互的方式获取面部视频数据，这种方式采集设备简便、检测时间短，在社区大范围应用。

本申请采集用户在游戏交互中的面部视频数据，对采集到的数据进行分析。游戏任务从视空间理解能力、执行力、持续注意力、记忆力等为宗旨进行设计。本申请的所述方法可以全面的获取游戏交互中基于用户面部特征变化等状态。为医学检测提供一个维度的参考，并为未来的研究和临床应用提供帮助，为突破阿尔兹海默症人群特征数据库建立提供新手段和新途径。

如图5所示，本发明实施例提供了一种基于游戏交互的阿尔兹海默症面部数据采集装置500，该装置500应用于实现基于游戏交互的阿尔兹海默症面部数据采集方法，该装置500包括：

获取模块510，用于获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，所述面部视频数据包括面部特征数据及眼动轨迹数据。

输入模块520，用于将人机交互数据以及面部视频数据输入到构建好的数据采集模型。

输出模块530，用于基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，数据库包括人机交互数据、面部视频数据。

可选地，游戏交互任务包括视空间理解任务、执行能力评判任务、注意力评判任务和记忆能力评判任务。

视空间理解任务包括：水果从智能移动终端显示屏顶端接连掉落，阿尔兹海默症用户在规定的上下区域内通过点击来接住水果。

执行能力评判任务包括：阿尔兹海默症用户将接到的水果根据指定路线滑动放入果篮中。

注意力评判任务包括：阿尔兹海默症用户持续关注果篮中的水果，如果有水果成熟发生变色，阿尔兹海默症述用户在指定时间内点击成熟的水果。

记忆能力评判任务包括：智能移动终端显示屏顺序展示包含不同水果的果篮，阿尔兹海默症用户在预留时间内记忆果篮出现的顺序，预留时间结束后，阿尔兹海默症用户点击果篮出现的顺序。

人机交互数据包括：视空间理解任务得分、执行能力评判任务得分、注意力评判任务得分和记忆能力评判任务得分。

可选地，输出模块530，进一步用于：

S31、将面部视频数据输入到数据处理模块，得到数据处理后的面部视频数据。

S32、将人机交互数据和面部视频数据输入到针对性训练模块，对其中得分低于预设阈值的游戏交互任务进行针对性训练；其中，针对性训练为游戏交互任务的重复执行。

S33、将数据处理后的面部视频数据输入到数据库构建模块，得到数据库。

可选地，输出模块530，进一步用于：

S311、将面部视频数据输入到数据预处理模块，得到预处理后的面部视频数据；其中，预处理后的面部视频数据为面部视频数据进行视频截帧、图像几何变化和数据增广后的面部视频数据。

S312、将预处理后的面部视频数据输入到人脸检测模块，得到人脸定位后的面部视频数据。

S313、将人脸定位后的面部视频数据输入到特征表示模块，得到特征信息。

可选地，输出模块530，进一步用于：

S3131、提取人脸定位后的面部视频数据的局部感兴趣区域的细粒度变化特征，建立高维特征。

S3132、获取高维特征的深层次的帧特征之间的相互影响，选取高效的帧特征。

S3133、根据高效的帧特征和人机交互数据进行特征加权融合。

S3134、将加权融合后的特征输入到支持向量机模型进行训练，校验特征信息是否具有代表性。

本发明实施例中，基于人脸特征对阿尔兹海默症的面部数据采集，以安卓游戏为刺激，将整个游戏交互过程中的面部过程变化进行录制，通过算法进行面部特征提取和计算，将人机交互特征和眼动特征与面部特征分别以局部注意力和相关注意力的方式进行融合，所以本申请是一个以面部特征、瞳孔轨迹和人机交互行为为核心的数据采集过程。本申请对于阿尔兹海默症识别的数据库来源不同于一般数据库，放弃从功能磁共振成像或者脑电图像分类等方式，采用这些工具很昂贵并且花费很多时间，不适用于大规模的检测与筛查，而是采用游戏交互的方式获取面部视频数据，这种方式采集设备简便、检测时间短，在社区大范围应用。

本申请采集用户在游戏交互中的面部视频数据，对采集到的数据进行分析。游戏任务从视空间理解能力、执行力、持续注意力、记忆力等为宗旨进行设计。本申请的所述方法可以全面的获取游戏交互中基于用户面部特征变化等状态。为医学检测提供一个维度的参考，并为未来的研究和临床应用提供帮助，为突破阿尔兹海默症人群特征数据库建立提供新手段和新途径。

图6是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，存储器602中存储有至少一条指令，至少一条指令由处理器601加载并执行以实现下述基于游戏交互的阿尔兹海默症面部数据采集方法：

S1、获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，所述面部视频数据包括面部特征数据及眼动轨迹数据；

S2、将人机交互数据以及面部视频数据输入到构建好的数据采集模型；

S3、基于阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，数据库包括人机交互数据、面部视频数据。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于游戏交互的阿尔兹海默症面部数据采集方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于游戏交互的阿尔兹海默症面部数据采集方法，其特征在于，所述方法包括：

S1、获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，所述面部视频数据包括面部特征数据及眼动轨迹数据；

S2、将所述人机交互数据以及面部视频数据输入到构建好的数据采集模型；

S3、基于所述阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，所述数据库包括人机交互数据、面部视频数据。

2.根据权利要求1所述的方法，其特征在于，所述游戏交互任务包括视空间理解任务、执行能力评判任务、注意力评判任务和记忆能力评判任务；

所述视空间理解任务包括：水果从智能移动终端显示屏顶端接连掉落，所述阿尔兹海默症用户在规定的上下区域内通过点击来接住水果；

所述执行能力评判任务包括：所述阿尔兹海默症用户将接到的水果根据指定路线滑动放入果篮中；

所述注意力评判任务包括：所述阿尔兹海默症用户持续关注果篮中的水果，如果有水果成熟发生变色，所述阿尔兹海默症述用户在指定时间内点击成熟的水果；

所述记忆能力评判任务包括：智能移动终端显示屏顺序展示包含不同水果的果篮，所述阿尔兹海默症用户在预留时间内记忆果篮出现的顺序，预留时间结束后，所述阿尔兹海默症用户点击果篮出现的顺序；

所述人机交互数据包括：视空间理解任务得分、执行能力评判任务得分、注意力评判任务得分和记忆能力评判任务得分。

3.根据权利要求1所述的方法，其特征在于，所述数据采集模型包括数据处理模块、针对性训练模块和数据库构建模块；

所述S3中的基于所述阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库包括：

S31、将所述面部视频数据输入到所述数据处理模块，得到数据处理后的面部视频数据；

S32、将所述人机交互数据输入到所述针对性训练模块，对其中得分低于预设阈值的游戏交互任务进行针对性训练；其中，所述针对性训练为所述游戏交互任务的重复执行；

S33、将所述数据处理后的面部视频数据输入到所述数据库构建模块，得到数据库。

4.根据权利要求3所述的方法，其特征在于，所述数据处理模块包括视频数据预处理模块、人脸检测模块和特征表示模块；

所述S31中的数据处理模块将所述面部视频数据进行数据处理，得到数据处理后的面部视频数据包括：

S311、将所述面部视频数据输入到所述数据预处理模块，得到预处理后的面部视频数据；其中，所述预处理后的面部视频数据为所述面部视频数据进行视频截帧、图像几何变化和数据增广后的面部视频数据；

S312、将所述预处理后的面部视频数据输入到所述人脸检测模块，得到人脸定位后的面部视频数据；

S313、将人脸定位后的面部视频数据输入到所述特征表示模块，得到特征信息。

5.根据权利要求4所述的方法，其特征在于，所述S313中的将人脸定位后的面部视频数据输入到所述特征表示模块，得到特征信息包括：

S3131、提取所述人脸定位后的面部视频数据的局部感兴趣区域的细粒度变化特征，建立高维特征；

S3132、获取所述高维特征的深层次的帧特征之间的相互影响，选取高效的帧特征；

S3133、根据所述高效的帧特征和人机交互数据进行特征加权融合；

S3134、将加权融合后的特征输入到支持向量机模型进行训练，校验特征信息是否具有代表性。

6.一种基于游戏交互的阿尔兹海默症面部数据采集装置，其特征在于，所述装置包括：

获取模块，用于获取阿尔兹海默症用户在完成游戏交互任务中，生成的人机交互数据以及面部视频数据，其中，所述面部视频数据包括面部特征数据及眼动轨迹数据；

输入模块，用于将所述人机交互数据以及面部视频数据输入到构建好的数据采集模型；

输出模块，用于基于所述阿尔兹海默症用户人机交互数据、面部视频数据以及数据采集模型，获得数据库；其中，所述数据库包括人机交互数据、面部视频数据。

7.根据权利要求6所述的装置，其特征在于，所述游戏交互任务包括视空间理解任务、执行能力评判任务、注意力评判任务和记忆能力评判任务；

所述视空间理解任务包括：水果从智能移动终端显示屏顶端接连掉落，所述阿尔兹海默症用户在规定的上下区域内通过点击来接住水果；

所述执行能力评判任务包括：所述阿尔兹海默症用户将接到的水果根据指定路线滑动放入果篮中；

所述注意力评判任务包括：所述阿尔兹海默症用户持续关注果篮中的水果，如果有水果成熟发生变色，所述阿尔兹海默症述用户在指定时间内点击成熟的水果；

所述记忆能力评判任务包括：智能移动终端显示屏顺序展示包含不同水果的果篮，所述阿尔兹海默症用户在预留时间内记忆果篮出现的顺序，预留时间结束后，所述阿尔兹海默症用户点击果篮出现的顺序；

所述人机交互数据包括：视空间理解任务得分、执行能力评判任务得分、注意力评判任务得分和记忆能力评判任务得分。

8.根据权利要求6所述的装置，其特征在于，所述输出模块，进一步用于：

S31、将所述面部视频数据输入到所述数据处理模块，得到数据处理后的面部视频数据；

S32、将所述人机交互数据和面部视频数据输入到所述针对性训练模块，对其中得分低于预设阈值的游戏交互任务进行针对性训练；其中，所述针对性训练为所述游戏交互任务的重复执行；

S33、将所述数据处理后的面部视频数据输入到所述数据库构建模块，得到数据库。

9.根据权利要求8所述的装置，其特征在于，所述输出模块，进一步用于：

S311、将所述面部视频数据输入到所述数据预处理模块，得到预处理后的面部视频数据；其中，所述预处理后的面部视频数据为所述面部视频数据进行视频截帧、图像几何变化和数据增广后的面部视频数据；

S312、将所述预处理后的面部视频数据输入到所述人脸检测模块，得到人脸定位后的面部视频数据；

S313、将人脸定位后的面部视频数据输入到所述特征表示模块，得到特征信息。

10.根据权利要求9所述的装置，其特征在于，所述输出模块，进一步用于：

S3131、提取所述人脸定位后的面部视频数据的局部感兴趣区域的细粒度变化特征，建立高维特征；

S3132、获取所述高维特征的深层次的帧特征之间的相互影响，选取高效的帧特征；

S3133、根据所述高效的帧特征和人机交互数据进行特征加权融合；

S3134、将加权融合后的特征输入到支持向量机模型进行训练，校验特征信息是否具有代表性。

Images