CN113506624A - 基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统 - Google Patents

Abstract

本发明公开了基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，所述系统包括数据采集模块、摄像头录像权限请求模块、认知能力评估模块、认知能力干预计划生成模块、认知能力干预训练模块、认知能力数字康复报告模块。本发明由于没有特殊的设备要求，只要家庭拥有一台可上网的智能终端设备即可，设备成本低廉，且对家长的介入需求非常少，孤独症儿童就能够在熟悉的环境下进行数字康复干预训练，大幅度提高其干预效果，因此，该系统是有认知功能缺陷的孤独症儿童接受专业康复治疗师干预训练的有益补充，特别适用于医疗条件落后、缺乏专业康复治疗师地区的有认知功能缺陷的孤独症儿童或家长精力有限的家庭。

Description

基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统

技术领域

本发明涉及孤独症儿童数字康复干预技术领域，尤其涉及基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统。

背景技术

公开该背景技术部分的信息旨在增加对本发明总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。

孤独症谱系障碍(ASD，Autism Spectrum Disorder，简称孤独症)，是一种脑部发育障碍的疾病，其在认知沟通交流方面存在着障碍，阻碍了他们融入正常的社会生活，然而，直接教会孤独症儿童认识东西和如何与人交流是非常困难的。研究发现，孤独症儿童擅长利用视觉信息进行沟通和交流，因此，目前大多数康复医师就是利用这一认知沟通方式来慢慢引发儿童交流的欲望，从而启发从图片沟通转换到语言沟通，并取得了非常好的效果。然而，使用该认知康复方式需要经验丰富的专业医疗人员和专家深度介入，但目前我国这方面的专业人员相对缺乏，且主要集中在一线城市，在偏远地区和欠发达地区，专业医疗人员和专家极度匮乏。此外，由于这种康复方式的周期长，专业医疗人员和专家需要一对一进行康复训练，因此，相关费用也非常昂贵，这给孤独症家庭带来了极大的经济负担。随着人工智能技术的发展，越来越多的科研团队开始研究基于人工智能技术的孤独症儿童数字康复方法、系统和装置，期望能够解决当前的困境。

目前，已经存在一些基于人工智能技术的孤独症儿童数字康复方法、系统和装置，例如，申请号为201810805539.2的中国专利文献通过可穿戴式设备、多个传感器设备以及图像采集设备捕获孤独症儿童在训练过程中的生理数据和面部表情特征，从而对该儿童的自闭症进行评估。申请号为201510788498.7的中国专利文献通过教师遥控器、学生互动笔、便携式脑波仪等设备评估孤独症儿童在教学过程中的学习状态以及对应的量化指标。申请号为201510788844.1的中国专利文献通过学生智能终端、便携式脑波仪、数据机顶盒、云服务器和家长手持智能手机等设备，解决孤独症儿童执行功能评测与训练问题，提高儿童的执行能力。虽然这些专利技术在一定程度上可以提高孤独症儿童的训练效率，但本发明发现这些技术需要穿戴式设备或脑电设备辅助，这让患者儿童非常紧张，常常无法正常训练，此外，也给经济不富裕的家庭带来较大的经济负担。

此外，申请号为201410035362.4的中国专利文献通过Kinect传感器、计算机设备以及智能终端实现和虚拟三维人物的互动，从而完成康复训练。申请号为202010246257.0的中国专利文献通过机器学习方法对测评对象的档案信息和教学数据生成对应的教学计划模型，从而形成与病情相对应的课程。申请号为201810667807.9的中国专利文献通过Kinect传感器捕获孤独症儿童的人体骨架信息，并通过数据线进行数据传递，进而控制游戏引擎中的虚拟人物，使得整个学习过程更加生动、形象、有趣。然而，本发明调研发现：这些技术虽然各具优点，但是在孤独症儿童的认知能力评估和干预方面还有所欠缺，没有根据儿童认知规律和过程设计对应的评估和干预方法和系统，这样导致孤独症儿童的认知能力康复训练效果不佳，掌握知识不扎实，常常容易出现边学边忘的情况。此外，在康复训练过程中，这些方法或系统对设备的要求也比较高，也常常需要专业医疗人员的深入参与，这非常不利于它们在偏远地区进行推广。

发明内容

针对上述现有技术存在的问题，本发明提出了基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统。该系统是有认知功能缺陷的孤独症儿童接受专业康复治疗师干预训练的有益补充，特别适用于医疗条件落后、缺乏专业康复治疗师地区的、有认知功能缺陷的孤独症儿童或家长精力有限的家庭。为实现上述目的，本发明是根据以下技术方案实现的：

基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，包括：

数据采集模块：其至少用于采集孤独症儿童的病情报告信息。

摄像头录像权限请求模块：其用于请求对孤独症儿童康复训练过程进行录像、上传。

认知能力评估模块：其用于根据所述病情报告信息或儿童认知能力评估过程信息，通过深度学习模型自动进行认知能力评估，并在评估过程中采用逐层泛化的评估游戏推送逻辑，记录孤独症儿童认知能力的变化过程。

认知能力干预计划生成模块：其用于根据所述认知能力评估模块的评估结果、认知能力变化过程，通过已经训练好的干预计划生成模型生成多级逐层泛化的个性化数字康复计划。

认知能力干预训练模块：用于根据所述个性化数字康复计划让孤独症儿童在游戏中进行更为符合认知过程的学习、训练和康复，并实时记录儿童每一个干预单元数据，最后根据训练干预结果，不断更新、泛化个性化数字康复计划。

认知能力数字康复报告模块：用于多维度可视化呈现孤独症儿童数字康复过程中，不同的康复干预计划、认知能力的变化过程以及所花费的时间精力信息，为后续孤独症儿童的数字康复提供重要参考。

上述技术方案中，所述数据采集模块包括儿童个人信息采集单元、儿童病情报告信息采集单元、家长头像和声音采集单元以及特定音乐或图片采集单元、信息保密合同签署单元；

进一步地，所述儿童个人信息采集单元用于获取孤独症儿童的姓名、性别、孕周、民族、身份证号、年龄、头像、声音、家长姓名、家庭住址等个人信息，其中身份证号作为该儿童的唯一标识。

所述家长信息采集单元用于获取孤独症儿童家长的姓名、年龄、民族、教育水平、与儿童关系、头像、声音、家庭住址信息等个人信息，其中家长头像或声音可以用于后续的数字康复过程，增加孤独症儿童的熟悉感和亲近感；特别地，如果家长无法正常或不愿意参与其中，那么通过系统自带的治疗师声音进行专业指令的发出，该指令具有专业、重点突出等特点；

所述儿童病情报告信息采集单元用于获取孤独症儿童的病历信息或者特定的孤独症调查报告，这些信息可以通过上传电子版文件或扫描件，并通过文本识别技术对其内容进行自动识别，并保存对应的信息，从而避免家长多次重复填写或输入的麻烦；

所述特定音乐或图片采集单元是为了采集孤独症儿童喜欢的、熟悉的音乐或图片，用于奖励其答对某项内容时的奖励，并在后续的干预训练时对其进行强化。

所述信息保密合同签署单元是为了让孤独症儿童家长安全放心地填写儿童相关的真实信息，并保证信息的安全性和保密性；

上述技术方案中，摄像头录像权限请求模块是为了在孤独症儿童开启数字康复训练时，系统请求自动开启智能终端的自动录像功能，在完成数字康复训练后，将对应视频进行自动上传，这样，便于后续通过该视频监测儿童数字康复过程中认知学习关注度，这样不仅可以减少对其它设备的需求，减轻孤独症儿童家庭的经济负担，而且其与数字康复过程具有重要的互补作用；如果孤独症儿童的家长出于隐私性考虑或其它特殊情况，例如，摄像头损坏或儿童存在身体不适等，也可以通过儿童与平板互动操作连续性、时间序列以及操作系列来评估其认知学习的关注度；

上述技术方案中，认知能力评估模块，首先将儿童病情报告信息或调查报告信息输入到对应的认知能力评估模型，并根据评估结果推送认知能力评估游戏，并对其游戏过程中的认知能力进行进一步评估，根据评估结果采用逐层泛化的推送逻辑进行游戏推送，依次类推，直到能够准确地评估其认知能力；如果该儿童缺失病情报告信息或调查报告信息，则根据其年龄从数据库中任意选择与其匹配的游戏进行推送，同样，根据其游戏过程中的认知能力进行进一步评估，根据评估结果采用逐层泛化的推送逻辑进行游戏推送，依次类推，直到能够准确地评估其认知能力；此外，还需要记录其认知能力的变化过程，发现该儿童认知能力的优势领域和弱势领域，便于后续制定对用的数字康复计划。

特别地，上述技术方案中，所述基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，根据儿童真实认知过程，将认知能力按照逐层泛化的思想进行等级划分，具体原则为：1)单一场景→复杂场景(结构化干预场景→复杂自然生活场景)；2)具体概念→抽象概念(具体的名词动词概念→复杂抽象的时间空间概念)；3)基础认知→高级认知(基础概念认知→高级的规则和社交认知)；4)简单事件→复杂事件(简单的因果关系→复杂的逻辑顺序)；根据以上逐层泛化思想和原则，将儿童认知能力分为以下五个等级：将认知能力分为以下几个等级：1)认知能力I级，能够通过卡片图像从多种物体中选择某种常见的物品、基础颜色、基本形状，能够通过动态视频从多个动作中选择某个动作，能够进行简单的视觉搜索，理解常见事件发生的先后顺序；2)认知能力II级，能够通过卡片图像从多种物体中选择某种非常见的物品、认知复杂的颜色和形状，能够通过动作卡片从多个动作中选择某个动作，能够进行复杂的视觉搜索，理解复杂事件发生的先后顺序；3)认知能力III级，能够通过动画视频从多种颜色中选择某种物品、颜色或形状，对数概念有顺序与多少的认知，能够对基本事件有更精细的认知与理解；4)认知能力IV级，能够理解更加抽象的概念(如情绪、测量、复杂的时间概念等)，能够理解紧急事件，有解决简单问题的能力；5)认知能力V级，能够理解复杂的社会规则，能够理解简单的科学原理，能够指认紧急情况并解决复杂的问题，能够使用复杂的句式。这样，在认知能力评估过程中，采用逐层泛化的推送逻辑进行游戏推送，通过儿童玩游戏的无意识过程能够精确地评估其认知能力；这样，在认知能力评估过程中，采用逐层泛化的推送逻辑进行游戏推送，通过儿童玩游戏的无意识过程能够精确地评估其认知能力；特别地，认知能力评估的模型是通过认知能力、学业能力、社会规则、社交技能、生活技能和生命技能这6大技能领域建立的，评估时只需评估认知能力和学业能力就可以建立能力基线，为儿童生成康复干预计划，而不需要评估所有的6大技能领域。

上述技术方案中，认知能力干预计划生成模块根据认知能力评估模块的结果以及其认知能力变化过程，通过已经训练好的数字康复干预计划生成模型生成多级逐层泛化的精细化、个性化数字康复计划，且针对每个认知能力等级都形成不同的数字康复计划，用于后续的数字康复干预。在干预训练过程中，每天可以推送适当数量的游戏训练项目，及每个游戏训练项目的个性化时间规划，最短路径完成一个数字康复干预过程；当儿童全部成功完成所有游戏过程后，通过认知能力评估模块对其进行精准测评，并根据其测试结果进一步更新干预计划，依次类推；另外，当儿童在干预计划内仍然无法完成一个认知等级的所有数字康复计划时，需要降低认知能力等级，并形成新的数字康复计划；特别地，在认知能力相同等级的数字康复规划中，必须保证每次游戏康复干预项目的难易程度相同，但是干预项目内容必须不同，且需要根据数字康复干预的结果，自适应地调整数字康复项目，这样，更有利于孤独症儿童认知能力的提升。

上述技术方案中，认知能力干预训练模块包括认知能力训练干预单元和认知学习关注度检测单元；

进一步地，所述认知能力训练干预单元，根究儿童多级泛化的个性化数字康复计划，让孤独症儿童在游戏项目中进行更为符合认知过程的学习、训练和康复，并实时记录儿童每一个干预单元数据，最后，根据其干预训练结果(例如，学习速度、不同能力领域的强项和弱项、干预过程本身的趣味度)不断的更新、泛化个性化数字康复计划，不断的提高、巩固孤独症儿童的认知能力。在康复训练过程中，游戏交互过程必须简单，儿童仅需要点击指认或简单拖拽等操作，家长仅需要在系统开启阶段以及康复计划的第一天简单教会儿童简单操作，后续家长仅需要在电脑旁边陪同即可，只有当儿童真正需要帮助的时候，介入干预，否则家长无需深入参与，这样可以大幅度减轻家长的工作负担；另外，在做康复游戏过程中，为了增加儿童的亲近感和熟悉感，将家长或儿童的头像以及声音自适应地的嵌入到游戏康复计划中，同时，通过家长的声音或熟悉的音乐，当儿童通过某个游戏关卡或题目时，对其进行奖励或鼓励；特别地，当对某一层级的认知能力进行训练干预的次数达到某个数目时，如果儿童仍然无法通过对应的认知能力评估等级，则必须下调对应的认知能力等级，并形成新的数字康复干预计划；如果儿童能够顺利的通过对应的认知能力评估等级，则对其数字康复干预计划进行泛化，提高对应的认知能力等级，并形成新的精准化、个性化、泛化性的数字康复干预计划；依次类推，不断地对孤独症儿童的认知能力进行干预训练，快速、简单、高效地提高其认知能力；

所述认知学习关注度检测单元，用于检测认知学习过程中儿童的注意力情况，主要通过机器学习算法对儿童脸部姿态进行估计，并根据儿童脸部的朝向以及对应的数字康复计划的答题时刻进行联合判断；如果孤独症儿童的家长出于隐私性考虑或其它特殊情况，例如，摄像头损坏或儿童存在身体不适等，也可以通过儿童与平板互动操作连续性、时间序列以及操作系列来评估其认知学习的关注度。

上述技术方案中，认知能力数字康复报告模块记录了孤独症儿童不同的康复干预计划、认知能力的变化过程以及所花费的时间精力等信息，针对其数字康复过程，形成对应的认知能力数字康复报告，为后续孤独症儿童的数字康复提供重要参考；

上述技术方案中，所述基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，认知能力训练干预单元和认知学习关注度视觉检测单元进行协同工作，当儿童在干预训练的某个答题时刻，判断这时儿童是否正脸，是否注视屏幕，如果是正脸，那么儿童具有良好的关注度，对应环节得分权重保持不变，否则儿童的注意力不够，很可能是猜测或无意触碰的，因此，对应环节得分的权重降低。特别地，如果孤独症儿童的家长出于隐私性考虑或其它特殊情况，例如，摄像头损坏或儿童存在身体不适等，也可以通过儿童与平板互动操作连续性、时间序列以及操作系列来评估其认知学习的关注度；如果答题时间过长，则儿童的注意力也不够专注，因此，对应环节得分的权重也要降低。这样，统计本次游戏康复计划中所有环节的得分情况，从而判断本次认知能力训练是否成功，如果不成功，下次需要重复推送该游戏康复计划。

上述技术方案中，所述基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，其特征在于，包括基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统、视频数据自动采集装置。

进一步地，视频数据自动采集装置，该装置为一台可上网、具有触摸屏的智能终端设备，用于自动抓取儿童在进行认知能力干预训练过程中头部姿态，判断其注意力情况；

本发明与现有技术相比，本发明具有如下的有益效果：

(1)本发明提出了基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，该系统主要针对孤独症儿童认知能力的提升进行评估干预、提出了逐层泛化的、更为符合认知过程的康复计划推送逻辑，能够更为精确地评估孤独症儿童的认知能力，同时，通过逐层泛化、个性化的康复干预计划，也能够让儿童更加牢靠的掌握所学知识，更容易记忆所学知识.

(2)本发明的孤独症儿童认知能力评估干预系统仅仅需要一个智能终端设备，不需要专业的穿戴式设备，设备成本低廉，能够大幅度降低对康复训练器材的需求，且对专业人员和家长的介入需求非常少，孤独症儿童就能够在熟悉的环境下进行数字康复干预训练，大幅度提高其干预效果，因此，该系统是有认知功能缺陷的孤独症儿童接受专业康复治疗师干预训练的有益补充，特别适用于医疗条件落后、缺乏专业康复治疗师地区的有认知功能缺陷的孤独症儿童或家长精力有限的家庭，且更易于应用推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统中智能设备和儿童相对位置示意图。

图2为本发明基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统实施方式的结构框图。

图3为本发明基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统进行试验的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明作进一步的描述。

参阅图2所示，本发明基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统包括数据采集模块10、摄像头录像权限请求模块20、认知能力评估模块30、认知能力干预计划生成模块40、认知能力干预训练模块50和认知能力数字康复报告模块60，其中：

所述数据采集模块10包括儿童个人信息采集单元、儿童病情报告信息采集单元、家长头像和声音采集单元以及特定音乐或图片采集单元、信息保密合同签署单元。

所述儿童个人信息采集单元101用于获取孤独症儿童的姓名、性别、孕周、民族、身份证号、年龄、头像、声音、家长姓名、家庭住址等个人信息，其中身份证号作为该儿童的唯一标识，儿童声音和头像可以加入到后续的数字康复干预过程，提升儿童的参与感和兴趣，家庭地址用于确定儿童所在区域的专业医疗水平以及后续康复的跟进。

所述家长信息采集单元102用于获取孤独症儿童家长的姓名、年龄、民族、教育水平、与儿童关系、头像、声音、家庭住址等个人信息，其中家长头像或声音可以用于后续的数字康复过程，增加孤独症儿童的熟悉感和亲近感；特别地，如果家长无法正常参与其中，例如，偏于地区的家长无法正常讲普通话或者家长过于繁忙等，那么就通过系统自带的治疗师声音进行专业指令的发出，该指令具有专业、重点突出等特点。

所述儿童病情报告信息采集单元103用于获取孤独症儿童的病历信息或者特定的孤独症调查报告，这些信息可以通过上传电子版文件或扫描件，并通过深度文本识别技术或百度文字识别接口对其内容进行自动识别，并保存对应的信息，从而避免家长多次重复填写或输入的麻烦；当儿童没有任何病情信息时，年龄作为认知能力评估的依据，通过年龄随机产生对应的认知能力评估游戏。进一步地，通过儿童玩游戏的过程对其认知能力进行进一步的评估。所述文字识别技术具体见：https://ai.baidu.com/ai-doc/OCR/ Ek3h7xypm。

所述特定音乐或图片采集单元104是为了采集孤独症儿童喜欢的、熟悉的音乐或图片，用于奖励其答对某项内容时的奖励，其中，这些图片可以是父母举起大拇指的图片或者父母鼓掌的图片，音乐可以是鼓舞人心的声音或父母鼓励的声音。

所述信息保密合同签署单元105是为了让孤独症儿童家长安全放心地填写儿童相关的真实信息，并保证信息的安全性和保密性。

所述摄像头录像权限请求模块20是为了在孤独症儿童开启数字康复训练时，系统请求自动开启智能终端的自动录像功能，在完成数字康复训练后，将对应视频进行自动上传，这样，便于后续通过该视频监测儿童数字康复过程中认知学习关注度，这样不仅可以减少对其它设备的需求，减轻孤独症儿童家庭的经济负担，而且其与数字康复过程具有重要的互补作用；特别地，系统会根据日期以及对用训练次数自动为对应的视频进行命名，这样做的目的是为了尽可能减少对家长的要求；如果孤独症儿童的家长出于隐私性考虑或其它特殊情况，例如，摄像头损坏或儿童存在身体不适等。也可以通过儿童与平板互动操作连续性、时间序列以及操作系列来评估其认知学习的关注度。

对于所述认知能力评估模块30，首先将儿童病情报告信息或调查报告信息输入到对应的认知能力评估模型，并根据评估结果推送认知能力评估游戏，并对其游戏过程中的认知能力进行进一步评估，根据评估结果采用逐层泛化的推送逻辑进行游戏推送，依次类推，直到能够准确地评估其认知能力；如果该儿童缺失病情报告信息或调查报告信息，则根据其年龄从数据库中任意选择与其匹配的游戏进行推送，进一步地，根据其玩游戏过程中的认知能力进行认知能力的进一步评估，根据评估结果采用逐层泛化的推送逻辑进行游戏推送，依次类推，直到能够准确地评估其认知能力；此外，还需要记录其认知能力的变化过程，发现该儿童认知能力的优势领域和弱势领域，便于后续制定对用的数字康复计划；特别地，将认知能力分为以下几个等级：1)认知能力I级，能够通过卡片图像从多种物体中选择某种常见的物品、基础颜色、基本形状，能够通过动态视频从多个动作中选择某个动作，能够进行简单的视觉搜索，理解常见事件发生的先后顺序。2)认知能力II级，能够通过卡片图像从多种物体中选择某种非常见的物品、认知复杂的颜色和形状，能够通过动作卡片从多个动作中选择某个动作，能够进行复杂的视觉搜索，理解复杂事件发生的先后顺序。3)认知能力III级，能够通过动画视频从多种颜色中选择某种物品、颜色或形状，对数概念有顺序与多少的认知，能够对基本事件有更精细的认知与理解。4)认知能力IV级，能够理解更加抽象的概念(如情绪、测量、复杂的时间概念等)，能够理解紧急事件，有解决简单问题的能力。5)认知能力V级，能够理解复杂的社会规则，能够理解简单的科学原理，能够指认紧急情况并解决复杂的问题，能够使用复杂的句式。这样，在认知能力评估过程中，采用逐层泛化的推送逻辑进行游戏推送，通过儿童玩游戏的无意识过程能够精确地评估其认知能力。

特别地，所述认知能力评估模型有两种：1)基于病情报告信息或调查报告信息的认知能力评估模型，首先该模型通过OCR技术识别对应文档的内容信息，然后通过词嵌入以及双向LSTM等自然语言处理技术对其处理，最后，搭建对应的深度学习模型实现孤独症儿童认知能力的评估；具体方法见：Goldberg Y,Levy O.word2vec Explained:derivingMikolov et al.'snegative-sampling word-embedding method[J].arXiv,2014,http:// colah.github.io/posts/2015-08-Understanding-LSTMs/。2)基于认知能力康复游戏计划的认知能力评估模型，该模型通过大数据分析技术，对孤独症儿童在一定时间内完成游戏康复计划中题目数量以及正确度进行分析和评估，并根据医生的诊断结果以及其答题情况，构建对应的认知能力评估模型；此外，为了精确评估孤独症儿童的认知能力，需要根据其认知评估结果，不断地泛化其评估游戏，例如，如果某儿童能够通过卡片图像认识某种颜色，则对颜色进行泛化，卡片图像不再仅仅是颜色了，将其变为该颜色的某种物体，进一步地，让该儿童从不同颜色的物体中搜索出某种颜色的物体，搜索出某种颜色的某种形状的物体，直到找到对应的平衡点，这样，非常符合儿童的认知过程，也非常有利于孤独症儿童后续的认知能力干预计划生成。

所述认知能力干预计划生成模块40根据认知能力评估模块的结果以及其认知能力变化过程，通过已经训练好的数字康复干预计划生成模型生成多级逐层泛化的精细化、个性化数字康复计划，且针对每个认知能力等级都要形成不同的数字康复计划，用于后续的数字康复干预。在干预训练过程中，每天可以推送适当数量的游戏训练项目，及每个游戏训练项目的个性化时间规划，最短路径完成一个数字康复干预过程；当儿童完成全部成功完成所有游戏过程后，通过认知能力评估模块对其进行精准测评，并根据其测试结果进一步更新干预计划，依次类推；另外，当儿童在干预计划内仍然无法完成所有数字康复干预项目时，需要降低认知能力等级，并形成新的数字康复计划；特别地，在认知能力相同等级的数字康复计划中，必须保证每次游戏康复干预项目的难易程度相同，但是干预内容必须不同，且需要根据数字康复干预的结果，自适应地调整数字康复项目，这样，更有利于孤独症儿童认知能力的提升；在游戏康复计划设计过程中，需要根据不同认知等级以及儿童感兴趣的事宜，设计具有吸引力的游戏康复计划，增加更多的卡通人物或儿童自己或父母的头像，同时，让儿童在轻松愉快的心情下完成游戏康复计划，且需要保持游戏康复计划的差异性，让儿童保持新鲜感，并乐于参与到游戏康复计划中。

所述认知能力干预训练模块50包括认知能力训练干预单元和认知学习关注度检测单元。

所述认知能力训练干预单元501，根据儿童多级泛化的个性化数字康复计划，让孤独症儿童在游戏项目中进行更为符合认知过程的学习、训练和康复，并实时记录儿童每一个干预单元数据，最后，根据其干预训练结果，例如，学习速度、不同能力领域的强项和弱项、干预过程本身的趣味度，不断的更新、泛化个性化数字康复计划，不断的提高、巩固孤独症儿童的认知能力；在康复训练过程中，每个康复游戏计划中题目数量为N个，每题得分为100/N分，总分为100分，且游戏交互过程必须简单，儿童仅需要点击指认或简单拖拽等操作，家长仅需要在系统开启阶段以及康复计划的第一天简单教会儿童简单操作，后续家长仅需要在电脑旁边陪同即可，只有当儿童真正需要帮助的时候，家长才介入干预，否则家长无需深入参与，这样可以大幅度减轻家长的工作负担；另外，在做康复游戏过程中，为了增加儿童的亲近感和熟悉感，将家长或儿童的头像以及声音自适应地的嵌入到游戏康复计划中，同时，通过家长的声音或熟悉的音乐，当儿童通过某个游戏关卡或题目时，对其进行奖励或鼓励，并记录对应题目的得分100/N分，否则对应的得分为0；特别地，当对某一层级的认知能力进行训练干预的次数达到某个数目时，如果儿童仍然无法通过对应的认知能力评估等级，则必须下调对应的认知能力等级，并形成新的数字康复干预计划；如果儿童能够顺利的通过对应的认知能力评估等级，则对其数字康复干预计划进行泛化，提高对应的认知能力等级，并形成新的精准化、个性化、泛化性的数字康复干预计划；依次类推，不断地对孤独症儿童的认知能力进行干预训练，快速、简单、高效地提高其认知能力。

所述认知学习关注度视觉检测单元502用于检测认知学习过程中儿童的注意力情况，主要通过机器学习算法对儿童脸部姿态进行估计，并根据儿童脸部的朝向以及对应的数字康复计划的答题时刻进行联合判断；具体地，当儿童在点击或拖拽按钮时，记录对应的时刻，并通过该时刻前后M帧图像查找统计对应视频中儿童的脸部朝向问题，如果其脸部朝向正面统计概率大于50％，则认为儿童此时的学习状态比较正常，则对应题目得分的权重为1，否则对应题目得分的权重为0.5；最后，综合所有题目的得分，只有当该康复计划的所有题目得分超过Threshold时，则认为完成该数字康复计划为优秀，具体地：

其中：所述Score_Class是该康复计划的总体得分，N是每个数字康复计划中项目数量，w_i表示孤独症儿童在点击或拖拽第i个项目时，脸部朝向为正面的得分权值，Score_Prob(i)为该康复计划中第i个项目的得分，Class_excellent表示孤独症儿童完成该康复计划是否达到优秀；此外，根据孤独症儿童的个人情况，每天推送一定数量的康复游戏计划，同时，在规定时间内，统计该孤独症儿童是否完成了所有康复计划，且每门游戏康复计划是否达到优秀；如果孤独症儿童在规定时间内仍然无法完成一个认知等级的所有数字康复计划时，需要降低认知能力等级，并形成新的数字康复计划。

所述认知能力数字康复报告模块60记录了孤独症儿童不同的数字康复干预计划、认知能力的变化过程以及所花费的时间精力等信息，针对其数字康复过程，形成对应的认知能力数字康复报告，为后续孤独症儿童的数字康复提供重要参考，且该数字康复报告为专业医生后续的诊断提供了重要的依据。

上述技术方案中，所述基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，其特征在于，根据儿童真实认知过程，将认知能力按照逐层泛化的思想进行等级划分，具体原则为：1)单一场景→复杂场景(结构化干预场景→复杂自然生活场景)；2)具体概念→抽象概念(具体的名词动词概念→复杂抽象的时间空间概念)；3)基础认知→高级认知(基础概念认知→高级的规则和社交认知)；4)简单事件→复杂事件(简单的因果关系→复杂的逻辑顺序)。

根据以上逐层泛化思想和原则，将儿童认知能力分为以下五个等级：

1)认知能力I级，能够通过卡片图像从多种物体中选择某种常见的物品、基础颜色、基本形状，能够通过动态视频从多个动作中选择某个动作，能够进行简单的视觉搜索，理解常见事件发生的先后顺序。

2)认知能力II级，能够通过卡片图像从多种物体中选择某种非常见的物品、认知复杂的颜色和形状，能够通过动作卡片从多个动作中选择某个动作，能够进行复杂的视觉搜索，理解复杂事件发生的先后顺序。

3)认知能力III级，能够通过动画视频从多种颜色中选择某种物品、颜色或形状，对数的概念有顺序与多少的认知，能够对基本事件有更精细的认知与理解。

4)认知能力IV级，能够理解更加抽象的概念(如情绪、测量、复杂的时间概念等)，能够理解紧急事件，有解决简单问题的能力。

5)认知能力V级，能够理解复杂的社会规则，能够理解简单的科学原理，能够指认紧急情况并解决复杂的问题，能够使用复杂的句式。这些认知泛化思想不仅适用于在线康复计划，在对孤独症儿童进行线下康复计划设计时，也可以采用该思想，也能够让孤独症儿童更加容易的掌握和记忆所学知识，提高其认知能力，具体可以参见图3。

上述技术方案中，所述基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，其特征在于，认知能力训练干预单元和认知学习关注度检测单元进行协同工作，当儿童在干预训练的某个答题时刻，必须通过机器学习技术统计判断该时刻前后M帧图像中该儿童是否为正脸，是否注视屏幕，如果是正脸，那么该儿童具有良好的关注度，对应环节得分权重为1，否则儿童的注意力不够，很可能是猜测或无意触碰的，因此，对应环节得分的权重变为0.5。这样，统计本次游戏康复计划中所有环节的得分情况，从而判断本次认知能力训练是否成功，如果不成功，下次需要重复推送该游戏康复计划。具体地，儿童正脸判断模型为：

其中w_i表示孤独症儿童在点击或拖拽第i个项目时，脸部朝向为正面的得分权值，Frontal(i)表示孤独症儿童在点击或拖拽第i个项目时，脸部朝向为正面的统计概率，face(i,j)表示孤独症儿童在点击或拖拽第i个项目时，每帧图像中脸部朝向为正面的概率，其中M表示孤独症儿童在点击或拖拽第i个项目时，该时刻前后M帧图像的图像数量，其总数为2M+1帧；只有当脸部朝向为正面的统计概率Frontal(i)大于0.5时，则认为孤独症儿童具有比较好的关注度。

参阅图2，本发明实施方式还公开了基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，其特征在于，包括基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统、视频数据自动采集装置，具体地，所述视频数据自动采集装置为一台可上网、具有触摸屏的智能终端设备(如手机、平板等)，用于自动抓取儿童在进行认知能力干预训练过程中头部姿态，判断其注意力情况。

本实施例中，视频数据自动采集装置中儿童与智能设备之间的距离在30cm～40cm之间任意可选，如30cm、33cm、35cm、40cm等，家长陪同在儿童身边，当儿童确实需要帮助的时，家长可以给与适当的帮助，具体可以参见图1。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统，包括：

数据采集模块：其至少用于采集孤独症儿童的病情报告信息；

摄像头录像权限请求模块：其用于请求对孤独症儿童康复训练过程进行录像、上传；

认知能力评估模块：其用于根据所述病情报告信息或儿童认知能力评估过程信息，通过深度学习模型自动进行认知能力评估，并在评估过程中采用逐层泛化的评估游戏推送逻辑，记录孤独症儿童认知能力的变化过程；

认知能力干预计划生成模块：其用于根据所述认知能力评估模块的评估结果、认知能力变化过程，通过已经训练好的干预计划生成模型生成多级逐层泛化的个性化数字康复计划；

认知能力干预训练模块：用于根据所述个性化数字康复计划让孤独症儿童在游戏中进行更为符合认知过程的学习、训练和康复，并实时记录儿童每一个干预单元数据，最后根据训练干预结果，不断更新、泛化个性化数字康复计划；

认知能力数字康复报告模块：用于多维度可视化呈现孤独症儿童数字康复过程中，不同的康复干预计划、认知能力的变化过程以及所花费的时间精力信息。

2.根据权利要求1所述的评估干预系统，其特征在于，所述评估干预系统具有治疗师声音指令发出模块；

优选地，所述数据采集模块包括：儿童个人信息采集单元、儿童病情报告信息采集单元、家长头像和声音采集单元、音乐和/或图片采集单元、信息保密合同签署单元；

优选地，所述儿童个人信息采集单元用于获取孤独症儿童的姓名、性别、孕周、民族、身份证号、年龄、头像、声音、家长姓名、家庭住址信息，其中身份证号作为该儿童的唯一标识；

优选地，所述家长信息采集单元用于获取孤独症儿童家长的姓名、年龄、民族、教育水平、与儿童关系、头像、声音、家庭住址信息；

优选地，所述儿童病情报告信息采集单元用于获取孤独症儿童的病历信息或者特定的孤独症调查报告；更优选地，所述儿童病情报告信息采集单元能够通过上传电子版文件或扫描件，并通过文本识别技术对其内容进行自动识别，并保存对应的信息；

优选地，所述音乐或图片采集单元用于采集孤独症儿童喜欢的、熟悉的音乐和/或图片；

优选地，所述信息保密合同签署单元用于和孤独症儿童家长签署信息安全、保密协议。

3.根据权利要求1所述的评估干预系统，其特征在于，所述摄像头录像权限请求模块具有在孤独症儿童开启数字康复训练时，该系统请求自动开启智能终端的自动录像功能，并具有在完成数字康复训练后将对应视频进行自动上传的功能。

4.根据权利要求1所述的评估干预系统，其特征在于，所述认知能力评估模块中具有根据儿童病情报告信息或调查报告信息进行认知能力评估的模型，并能够根据评估结果推送认知能力评估游戏，并对其游戏过程中的认知能力进行进一步评估，根据评估结果采用逐层泛化的推送逻辑进行游戏推送，依次类推，直到能够准确地评估其认知能力；

优选地，如果该儿童缺失病情报告信息或调查报告信息，所述认知能力评估模块根据其年龄从数据库中选择与其匹配的游戏进行推送，同样，通过其游戏过程中的认知能力进行进一步评估，并根据评估结果采用逐层泛化的推送逻辑进行游戏推送，依次类推，直到能够准确评估其认知能力；

优选地，所述认知能力评估模块具有记录儿童认知能力的变化过程，并据此发现该儿童认知能力的优势领域和弱势领域。

5.根据权利要求4所述的评估干预系统，其特征在于，所述认知能力评估的模型将认知能力按照逐层泛化的思想进行等级划分，原则为：1）单一场景到复杂场景；2）具体概念到抽象概念；3）基础认知到高级认知；4）简单事件到复杂事件；

更优选地，所述认知能力评估模块将认知能力分为以下等级：

1）认知能力I级，能够通过卡片图像从多种物体中选择某种常见的物品、基础颜色、基本形状，能够通过动态视频从多个动作中选择某个动作，能够进行简单的视觉搜索，理解常见事件发生的先后顺序；

2）认知能力II级，能够通过卡片图像从多种物体中选择某种非常见的物品、认知复杂的颜色和形状，能够通过动作卡片从多个动作中选择某个动作，能够进行复杂的视觉搜索，理解复杂事件发生的先后顺序；

3）认知能力III级，能够通过动画视频从多种颜色中选择某种物品、颜色或形状，对数的概念有顺序与多少的认知，能够对基本事件有更精细的认知与理解；

4）认知能力IV级，能够理解更加抽象的概念（优选为：情绪、测量、复杂的时间概念），能够理解紧急事件，有解决简单问题的能力，

5）认知能力V级，能够理解复杂的社会规则，能够理解简单的科学原理，能够指认紧急情况并解决复杂的问题，能够使用复杂的句式。

6.根据权利要求1所述的评估干预系统，其特征在于，所述认知能力干预计划生成模块能够根据认知能力评估模块的结果以及其认知能力变化过程，通过已经训练好的数字康复干预计划生成模型生成多级逐层泛化的精细化、个性化数字康复计划，且针对每个认知能力等级都形成不同的数字康复计划；

优选地，所述认知能力干预计划生成模块能够在干预训练过程中，每天推送适当数量的游戏训练项目，及每个游戏训练项目的个性化时间规划，最短路径完成一个数字康复干预过程；当儿童全部成功完成所有游戏过程后，通过认知能力评估模块对其进行精准测评，并根据其测试结果进一步更新干预计划，依次类推；

优选地，所述认知能力干预计划生成模块能够在儿童在干预计划内仍然无法完成所有数字康复干预项目时，降低认知能力等级，并形成新的数字康复计划；

优选地，在认知能力相同等级的数字康复计划中，所述认知能力干预计划生成模块每次游戏康复干预项目的难易程度相同，但干预内容不同，且所述认知能力干预计划生成模块能够根据数字康复干预的结果，自适应地调整数字康复项目。

7.根据权利要求6所述的评估干预系统，其特征在于，所述认知能力干预训练模块包括：认知能力训练干预单元和认知学习关注度检测单元；

优选地，所述认知能力训练干预单元用于根据儿童多级泛化的个性化数字康复计划，让孤独症儿童在游戏项目中进行更为符合认知过程的学习、训练和康复，并实时记录儿童每一个干预单元数据，最后，根据其干预训练结果（优选为学习速度、不同能力领域的强项和弱项、干预过程本身的趣味度）不断更新、泛化个性化数字康复计划；

进一步优选地，在康复训练过程中，游戏交互过程必须简单，儿童仅需要点击指认或简单拖拽操作，家长仅需要在系统开启阶段以及康复计划的第一天简单教会儿童简单操作，后续家长仅需要在电脑旁边陪同即可，只有当儿童真正需要帮助的时候，家长才介入干预，否则家长无需深入参与，这样可以大幅度减轻家长的工作负担；

进一步优选地，在做康复游戏过程中，将家长或儿童的头像以及声音自适应地的嵌入到康复计划中，同时，通过家长的声音或熟悉的音乐，当儿童通过某个游戏关卡的目标时，对其进行奖励或鼓励；

进一步优选地，当对某一层级的认知能力进行训练干预的次数达到某个数目时，如果儿童仍然无法通过对应的认知能力评估，所述认知能力干预训练模块能够下调对应的认知能力等级，并形成新的数字康复干预计划；如果儿童能够顺利的通过对应的认知能力评估，则对其数字康复干预目标进行泛化，所述认知能力干预训练模块提高对应的认知能力等级，并形成新的精准化、个性化、泛化性的数字康复干预计划；依次类推，不断地对孤独症儿童的认知能力进行干预训练；

优选地，所述认知学习关注度检测单元用于检测认知学习过程中儿童的注意力情况，更优选地，所述认知学习关注度检测单元主要通过机器学习算法对儿童脸部姿态进行估计，并根据儿童脸部的朝向以及对应的数字康复计划的答题时刻进行联合判断；

更优选地，如果孤独症儿童的家长出于隐私性考虑或特殊情况（如摄像头损坏或儿童存在身体不适），通过儿童与平板互动操作连续性、时间序列以及操作系列来评估其认知学习的关注度。

8.根据权利要求7所述的评估干预系统，其特征在于，所述认知能力训练干预单元和认知学习关注度视觉检测单元进行协同工作，当儿童在干预训练的某个答题时刻，判断这时儿童是否正脸，是否注视屏幕，如果是正脸，那么儿童具有良好的关注度，对应环节得分权重保持不变，否则儿童的注意力不够，因此，对应环节得分的权重降低；

优选地，如果答题时间过长，则儿童的注意力也不够专注，因此，对应环节得分的权重也要降低，通过统计本次游戏计划中所有环节的得分情况，从而判断本次认知能力训练是否成功，如果不成功，下次重复推送该游戏计划。

9.根据权利要求1所述的评估干预系统，其特征在于，所述认知能力数字康复报告模块具有记录孤独症儿童不同的康复干预计划、认知能力的变化过程以及所花费的时间精力信息的功能，并能够针对其数字康复过程，形成对应的认知能力数字康复报告。

10.根据权利要求1-9任一项所述的评估干预系统，其特征在于，还包括视频数据自动采集装置；

优选地，所述视频数据自动采集装置包括能够上网且具有触屏功能的智能终端设备。

Images