CN110678935A - 采用面部追踪和情感检测及其相关的方法应用在一种交互式自适应学习及神经认知障碍诊断系统 - Google Patents

Abstract

一种用于传送学习程序的系统，包括光学传感器，用于在学习期间捕捉对象的面部表情、眼动、注视点和头部姿势；包含任务数据实体的数据存储库；一个模块，用于使用捕获到的感测数据估计受试对象的情感和认知状态；以及另一个模块，用于根据受试对象对相关信息的理解概率，在每次完成任务数据实体后，选择一个任务数据实体呈现给受试对象识知；其中被试的理解概率是用被试作评估的情感认知状态来计算的。该系统也可用于神经认知障碍的诊断测试。在诊断测试过程中，受试对象根据采集到的感测数据进行情感和认知状态的评估，反馈给系统，驱动测试过程，自适应地改变测试材料，影响受试对象的情绪。

Description

采用面部追踪和情感检测及其相关的方法应用在一种交互式 自适应学习及神经认知障碍诊断系统

相关申请的交叉引用

本申请要求于2017年7月12日提交的美国专利申请号15/647,272、2017年2月14日提交的美国专利申请号62/458,654和2017年6月15日提交的美国专利申请号62/520,542的优先权，其公开内容通过引用整体并入本文。

技术领域

本发明大体上涉及用于提供和传送教育计划和培训的方法和系统，包括公司培训、学术辅导、课内和课外学习，特别地，本发明涉及通过使用情感检测和分析来定制测试和评估学习进度。本发明另涉及用于提供和传送医疗服务和老年照护的方法和系统，特别在于认知障碍的诊断。

背景技术

在当前的教育体系中，特别是在东南亚，学校的压力越来越大。在以结果为导向的社会中，学生需要达到高分才有机会进入有名望的学术界，取得高等学位。学校系统持续的严重依赖于课堂教学和书面考试。因此，对个性化学习的支持非常有限。此外，每个学生的知识只能在每年举行的几次考试时进行评估。

这些不足导致辅导中心的兴起，教师/导师和学生之间有更多的个人关注和对话。任何对学习路径的偏离或知识差距都可以直接得到补救。然而，在辅导行业，优质教师/辅导老师供不应求，教师/导师培训往往是非正式和随意的。费用压力进一步增加了教师/辅导老师承担越来越多相关行政工作的压力，如课程材料准备，班级安排等后勤工作，减少了有效的教学时间。

过去几十年来，人们越来越多地关注心理障碍的诊断和理解，例如自闭症谱系和注意缺陷多动障碍(ADHD)。父母对教育工作者发现学生的这些疾病的能力抱有很高的期望，但是诊断这些疾病是困难的，需要相关专业人士的专业判断。

为了解决上述问题，就迫切需要具有对学生的情感和认知状态进行建模的智能学习和培训系统，以帮助教师/培训师提供个性化教学、监测学生的心理健康并最小化行政任务以便让教师/培训师重点关注教学/培训。

上述这些困难包括提供个性化学习、缺乏合格的教师/培训师以及无法满足心理障碍早期诊断的需求，也常见于企业的培训环境。

关于心理障碍的早期诊断，特别对于大部分人口老化的已开发国家来说，医疗和老年照护系统对资源与照护员的需求日益迫切。神经认知障碍的诊断、预防和治疗在医疗和老年照护范畴中是较少被关注的领域。即便各种神经认知障碍的早期及精确诊断可以达到有效的治疗，但是对于学校和企业培训的情况来说，能否得到认可的专业人员仍是一个难题。

发明内容

本发明提供了一种用于使用感测学生对象的手势、情绪和动作以及测试结果和学习进度的定量测量的组合来提供和管理交互式和适应性学习培训计划的方法和系统。提供适用于工作场合绩效监测和鉴定评估的这种方法和系统也是本发明的一个目的。本发明另一个目的是在普遍的医疗服务和老年照护环境提供一种用于诊断神经认知障碍的方法和系统。

根据本发明的一个方面，系统通过图像和/或视频捕获和分析对象的面部表情、眼睛运动、注视点和头部姿势；以及生理检测，例如施加在触觉感测装置上的触觉压力、对象的笔迹和在采样时间窗口中的声调，来评估对象的情感状态和认知状态。图像或视频捕获可以通过目标使用的台式计算机、笔记本电脑、平板电脑和/或智能电话机中内置或外置的摄像机和/或其它光学感测装置来执行。然后使用机器视觉技术分析捕获的图像和/或视频。例如，停滞的眼睛运动、注视点散焦和倾斜的头部姿势是表示对测试题目中呈现的对象缺乏兴趣和注意力的信号；而检测到强烈的触觉压力则是表示对在学习或培训阶段中呈现的对象生成焦虑、缺乏信心和/或沮丧的信号。

根据一个实施例，在确定对象对学习材料的理解的同时，也收集来自对象的选定的绩效数据和行为数据。这些选定的绩效数据和行为数据包括但不限于答案的正确性、成功和不成功的尝试次数、给定答案选择之间的切换次数和对特定类型、对象和/或难度的测试问题的答题速度水平以及解题步骤。例如，对象在回答测试问题时，在给定选择之间的过度切换和答题速度缓慢显示了对测试问题的回答的怀疑和犹豫。该对象针对测试问题的答题步骤被捕获以与标准解题步骤相匹配，从而提供关于对象对材料的理解的洞察。

情感状态和认知状态评估和绩效数据主要用于衡量对象对学习或培训计划中涵盖的材料的理解和兴趣。使用单一评估可以提供该对象在学习或培训计划中进展情况的快照评估，以及对象对材料的测试结果的预测，同时使用复合评估来提供该对象的学习或培训计划的进度和该对象的特征的历史和趋势的评估(例如：强项、弱项、学习模式和习惯)。此外，该对象的学习或培训计划的进度、特征、情感状态和认知状态的评估还用于在题材选择、传送方式和管理方面中的学习或培训计划的模式建立。

根据本发明的另一方面，用于传送和管理交互式和适应性学习培训计划的方法和系统在作为专业知识的学习培训计划中逻辑地构建讲课材料和传送机制数据，并且其数据存储在专业知识库中。专业知识库包括一个或多个概念对象和一个或多个任务对象。每个概念对象包括一个或多个知识和技能项目。知识和技能项目按难度排序，两个或多个知识和技能项目可以链接形成课程安排。在将本发明应用于学校的情况下，本发明所定义的课程安排等同于学校课程安排，而知识与技能项目与学校课程安排中的课程之间存在一对一的关系。可以将概念对象链接以形成用于任务选择过程的逻辑树数据结构。

每个任务对象包括各种讲课内容资料，并且与课程安排中的一个或多个概念对象相关联。根据一个实施例，任务对象可以被分类为：基本任务、交互任务或具有基础认知或专家模型的任务。每个基本任务包括一个或多个讲课笔记、插图、旨在评估对象是否阅读了所有材料的测试问题和答案以及带有嵌入式测试问题和答案的教学视频。每个交互任务包括一个或多个解题练习，每个解题练习包括设计为指导对象导出问题的解题方案的一个或多个步骤。每一步都提供了一个答案、常见的误解和提示。这些步骤是按照讲课的传送流程来设计的顺序排序。具有基础认知或专家模型的每个任务包括一个或多个解题练习，并且每个任务包括一个或多个启发式规则和/或约束，用于模拟与学生对象的学习进度同步地提供的解题练习步骤。这允许基于解题练习中呈现的问题集或空间中的点，为每个学生对象提供定制支架式教学(例如提供指导和/或提示)。

根据本发明的另一方面，用于传送和管理交互式和适应性学习培训计划的方法和系统逻辑地建立在专业知识之上的两种操作模型：学生模型和培训模型。在学生模型下，系统执行在学生对象的学习阶段中的专业知识中的课程安排相关联的一个或多个任务对象中的每一个。在执行任务对象期间，系统测量学生对象的表现并获取每个任务中的学生对象的绩效指标，例如：任务中的问题的成功和不成功的尝试次数，所请求的提示数以及完成任务花费的时间。获得的绩效指标以及任务对象的信息(如其难度级别)被馈送到与任务对象相关联的每个概念对象的逻辑回归数学模型中。这也被称为学生对象的知识跟踪。知识跟踪是计算学生对象对概念对象中的材料的理解的概率。学生模型的优点包括任务对象的执行可以适应学生对象的变化的能力。在一个非限制性的例子中，按照学生模型，系统可以评估学生的学习进度的数量，评估下一个任务的预期学习增益，并为即将到来的测试提供学生对象的绩效预测。然后将这些数据用于培训模型，并进行假设检验以进一步改进系统，评估教师/培训师质量和讲课材料的质量。

在培训模型下，系统接收在学生模型下执行的任务对象搜集的数据和专业知识用于为学习或培训策略做出决策，并向学生对象或教师/培训师提供反馈。在培训模型下，系统主要负责执行以下工作：

1.)定义第一个任务的切入点。最初，知识和技能项目的所有指标都设置为默认值，这是从学生对象或教师/培训师填写的申请表中的数据或由教师/培训师对学生对象进行初步评估推断出来的。选择要执行的任务的顺序。要选择下一个任务，系统的培训师模块必须搜索概念对象的逻辑树数据结构，找到具有最低技能水平的知识和技能，然后使用问题矩阵来查找与学生对象的学习特征相匹配的相应任务项。一旦被选中，必要的讲课内容材料就从专业知识中提取出来，并发送到系统的通信模块，以便在系统的通信模块用户界面中进行传送。

2.)提供反馈。当学生正在从事执行中的任务对象时，系统的培训师模块将监视每个任务步骤花费的时间。当超过限制时，根据学生对象的当前情感状态提供反馈。例如，这可以是从通用列表中选择的令人鼓舞的、同情的或挑战的消息，或者是来自专业知识的专门提示。

3.)驱动系统的教学助理。该系统的培训师模块将目前学生对象的情感状态与教学助理中的可用状态相匹配。除了提供情感状态信息之外，文本消息可以被发送到系统的通信模块，以在向学生显示的用户界面中与教学助理一同呈现。

4.)决定概念何时被掌握。如前所述，在“学生模型”下，系统评估学生对每个概念中材料的理解概率。基于预定阈值(例如95％)，教师/培训师可以判定概念何时被掌握。

5.)标记学生被认为与精神障碍有关的行为。例如，系统在学生模型下的运行显示与已知的历史背景相比检测数据中存在异常情况并且显示出较慢的学习进度时，培训模型下的系统会向教师/培训师发出警告通知。它还提供了关于常见的疾病标志的详细信息，例如注意力缺陷多动障碍(ADHD)和自闭症谱系障碍(ASD)。

本发明另可以应用于认知障碍的医疗辅助，例如：阿尔茨海默式痴呆症和自闭型ADHD。根据一实施例，其提供一用于对患者对象执行认知测验的神经认知障碍诊断系统。类似于前述传送和管理交互式和适应性学习培训计划，此系统通过利用所收集和分析的患者对象的面部表情、眼球运动、注视点、头部姿势、声音、语音清晰度、反应时间及/或触碰反应等感测数据来监测和评估患者对象的情感状态与认知状态。

所述认知测验的材料也可以是基于患者对象的历史事件知识和近期事件知识，通过唤回记忆的时间和精准程度作为认知测验中患者对象的表现数据以评估患者对象的长期记忆和短期记忆的状态。于患者对象情感状态与认知状态的评估，连同认知测验中患者对象的表现数据被反馈回系统从而推动该认知测验的进程，自适应地改变认知测验的材料以及影响患者对象的情感。

该神经认知障碍诊断系统提供一个较少人为错误的实时诊断。患者对象的情感状态和认知状态评估也可以与患者对象大脑活动的核磁共振成像(MRI)数据相匹配并用于进一步例如不同类型的神经认知障碍及其诊断的研究。

该神经认知障碍诊断系统的一目标在于能够早期检测出认知障碍，特别像是照护长者机构的退休之家的长者，通过周期性的利用本系统进行感知测验，从而能够早期发现认知障碍。另一目标则是可以追踪治疗的效果，方便调整治疗的进程、药物剂量与医生诊视的次数。

附图说明

以下参考附图更详细地描述本发明的实施例，其中：

图1描绘根据本发明的一个实施例的用于传送和管理交互式和适应性学习培训计划的系统的示意图；

图2描绘用于传送和管理交互式和适应性学习培训计划的系统的逻辑数据流程图；

图3描绘根据本发明的一个实施例的用于传送和管理交互式和适应性学习培训计划的方法的行为图；

图4描绘系统在计算学生对象对讲课材料的理解概率时使用的迭代机器学习工作流程图；以及

图5示出了由根据本发明的一个实施例的系统使用的用于传送和管理交互式和适应性学习培训计划的逻辑数据结构。

具体实施方式

在下面的描述中，将用于传送和管理学习培训计划等的方法和系统作为优选实施例进行了阐述。对于本领域技术人员显而易见的是，在不脱离本发明的范围和精神的情况下，可以进行修改，包括添加和/或替换。可以省略具体细节，以免使本发明模糊不清；然而，本公开是为了使本领域技术人员能够在不进行过多实验的情况下实施本文的教导。

根据本发明的各种实施例，用于传送和管理交互式和适应性学习培训计划的方法和系统使用了对学生对象的手势、情绪和动作的感测的组合以及测试结果和学习进度的定量测量。

根据本发明的一个方面，系统通过图像和/或视频捕获和分析对象的面部表情、眼睛运动、注视点和头部姿势来评估对象的情感状态和认知状态以及触觉反馈，例如在采样时间窗口期间施加在触觉感测装置上的触觉压力。图像或视频捕获可以通过对象使用的台式计算机、笔记本电脑、平板电脑和/或智能电话机中的内置或外围摄像机和/或其它光学感测装置来执行。然后使用机器视觉技术分析捕获的图像和/或视频。例如，停滞的眼睛运动，注视点失焦和倾斜的头部姿势是表示对在学习或培训中呈现学习材料缺乏兴趣和注意力的信号；而检测到的强烈的触觉是表示对测试题目中被问及的问题感到焦虑、缺乏信心和/或沮丧的信号。

根据一个实施例，在情感状态和认知状态评估中来自对象的所选定的绩效数据和行为数据也会被收集。这些所选定的绩效数据和行为数据包括但不限于答案的正确性、成功和不成功的尝试次数、在给定答案选择之间的切换，以及某些类型、对象和/或难度级别的测试问题的答题速度、答题步骤、以及对象的笔迹和语调。例如，对象在回答测试问题时反复在给定的选择之间切换和缓慢的答题速度表明对测试问题的答案有怀疑和犹豫。该对象针对测试问题的答题步骤被捕获以便与标准答题方案进行匹配，从而提供对象对讲课材料的理解的洞察。

根据各种实施例，用于传送和管理交互式和适应性学习培训计划的系统包括通过在通用和专用的计算机处理器中执行的软件和固件的组合来实现的传感器处理模块。传感器处理模块管理系统采用的各种传感器。传感器处理模块与各种电子感测装置进行电和/或数据通信，包括但不限于光学和触摸感测装置；输入设备，包括但不限于键盘、鼠标、指点设备、触控笔和电子笔；图像捕获设备；和相机。

在系统运行期间，以各种采样率连续地收集输入感测数据，并且计算输入感测数据的样本的平均值。为了处理不同感测装置的不同采样率，选择参考速率(例如5Hz)。较慢的采样率输入感测数据用零级保持内插，然后以参考速率进行采样。较高的采样率输入感测数据以参考速率进行二次采样。采样率对齐后，将最后几秒的跟踪保留在存储器中，之后计算平均值。这样可以有效地生成输入感测数据的移动平均值，并且用作低通滤波器以去除噪声。

眼球运动，注视点，和头部姿势检测

在一个实施例中，使用内置在计算设备(例如平板计算机中的面向对象的相机)中的低成本光学传感器。以最小5Hz的速率，从传感器获得图像。然后通过本领域已知的面部/眼睛跟踪和分析系统处理每个图像。以欧拉角(俯仰，偏航和滚转)测量三维(3D)的头方位。为了测量目标点，从光学传感器的原点到用户瞳孔的中心假定3D矢量，其次，从眼球的中心到瞳孔确定3D矢量。然后使用这两个向量来计算注视点。校准步骤有助于补偿偏移(屏幕背后的对象位置，相对于屏幕的相机位置)。使用该数据，可以导出计算机屏幕上的目光的平面坐标。

面部表情和情绪判定

在另一个实施例中，如上所述捕获的图像和/或视频被处理以识别脸部上的关键地标，例如眼睛、鼻尖、嘴角。然后对这些地标之间的区域进行分析，并分类为：注意力、眉毛、眉毛抬起、脸颊抬高、下巴抬起、凹陷(唇角收紧，向内拉)、闭眼、眼睛变宽、内眉抬起、下颚下垂、盖紧、唇角凹陷、唇压、唇膏(向前推)、唇部伸展、嘴唇开口、鼻子皱纹、微笑、假笑、上唇抬起。然后，使用查找表将这些表达式映射到以下情绪：愤怒、蔑视、厌恶、参与(表现力)、恐惧、喜悦、悲伤、惊喜和效价(积极与消极的人的体验的本质)。每个情绪都以百分比编码，同时输出。

生理测量

系统可以包括可穿戴装置，用于测量的生理参数包括但不限于：心率、电皮肤活性(EDA)和皮肤温度。该设备无线连接到客户端计算设备(如平板电脑或笔记本电脑)。心率来自血容量脉搏的监测。电子测量DA导电性皮肤作为交感神经系统兴奋的指标。基于此，可以推导出与压力、参与和兴奋相关的特征。另一种方法是使用视觉分析技术直接测量基于拍摄图像的心率。这种方法是基于由于心率而导致血液量变化的面部静脉的光吸收的微小变化。

笔迹分析

在另一个实施例中，测试答案可以使用数字笔写在专用纸上，并接收诸如“步骤完成”之类的命令。书面回答即时通过智能光学字符识别引擎进行数字化处理，系统可以评估学生对象所写的内容，并提供必要的反馈信息，以便在需要时指导学生。研究表明，做手写笔记可以鼓励学生处理和重塑信息，改善学习成果。或者，实施例可以在任务完成之后使用OCR。使用复印机扫描纸张，并将数字化图像馈送到OCR软件。

教学助理-对象相互作用

作为非限制性示例，教学助理可以是非人类动画角色，其具有通过在一个或多个通用计算机处理器和/或特定配置的计算机处理器中运行的软件和/或固件的组合来实现的人类特征。它可以通过从一组动画(例如，动画GIF)中进行选择来显示基本情绪，或者通过在用户界面中对对象显示的静态图像上使用脚本化几何变换来显示基本情绪。另一种方法是使用基于SVG的动画。动画可以使用短信注释(例如显示在动画旁边的气球中)。文本消息由系统的培训师模块生成和接收。对象对教学助理人的回应由系统收到，用于评估对象的情感状态。

情感状态和认知状态评估主要用于衡量对象对学习或培训计划中涵盖的材料的理解和兴趣。在使用单个评估来提供学习或培训计划中学科进展情况的快照评估，并对材料的科目测试结果进行预测的同时，使用多项评估来提供该对象的学习培训计划和特征的学习进度的评估历史和趋势。此外，对该对象的情感状态和认知状态的评估还用于在题材选择、传送方式和管理方面中的学习或培训计划的建模。

专业知识

参考图5，根据本发明的一个方面，用于提供和管理交互式和自适应学习培训计划的方法和系统逻辑地构造讲课材料，和在如专业知识500的学习培训计划中的传送机制。专业知识500包括一个或多个概念对象501和一个或多个任务对象502。每个概念对象501包括一个或更多的知识和技能项目503。知识和技能项目503通过难度等级排序，以及两个或多个概念对象501可以分组形成课程安排。在将本发明应用于学校的情况下，本发明所定义的课程安排等同于学校课程安排，而知识与技能项目与学校课程安排中的课程之间存在一对一的关系。概念对象可以被链接以形成逻辑树数据结构(逻辑树，Knowledge Tree)，使得具有在一个主题中是基础的和/或基本的知识和技能项目的概念对象由靠近逻辑树根的节点表示并且具有更进步的以及一些常见的基础的和/或基本的知识和技能项目的分支的知识和技能项目的概念对象由逻辑树的不同分支中更高的节点表示。

每个任务对象502具有各种讲课内容材料504，并与一个课程安排中的一个或多个概念对象501相关联。该关联被记录下来，并且可以在查找矩阵506进行查找。根据一个实施例，任务对象502可被分类为：基本任务、交互式任务或包含潜在的认知或专家模型的任务。每个基本任务包括一个或多个讲课笔记、插图(例如视频剪辑和其他多媒体内容)、旨在评估对象是否阅读了所有的学习材料的测试题和答案，以及带有嵌入式测试题和答案的教学视频。每个交互任务包括一个或多个解题练习，每个解题练习包括一个或多个步骤，被设计为指导对象导出问题的解决方案。每一步都提供了一个答案、常见的误解和提示。这些步骤根据讲课的传送设计的顺序排序。具有基础认知或专家模型的每个任务包括一个或多个解题练习，并且每个任务包括一个或多个启发式规则和/或约束，用于模拟与学生对象的学习进程同步地提供的解题的练习步骤。这允许基于解题练习中呈现的问题集或空间中的点，为每个学生对象提供定制的支架式教学(例如提供指导和/或提示)。

根据本发明的各种实施例，任务对象集合了与学习目标的实现相关的一组讲课材料(例如讲义、插图、测试问题和答案、问题集和解题的练习)。除了上述分类之外，任务可以是以下类型之一：

1)阅读任务：讲课笔记或插图，介绍一个没有分级的新话题，必须在进行一被允许的练习任务之前完成；

2)练习任务：从一個主题到一新的主題的一系列问题供问题的实践直到达到阈值(例如连续五次在沒有提示的情況下成功解答，或达到60％或更高的理解水平)；

3)掌握挑战任务：从多个主题选择的问题，让学生对象在一个主题上做到融会贯通(达到95％或更高的理解水平)，并可能包括暂停，以促进知识的记忆(例如给学生对象的复习机会)；或者

4)组任务：针对同伴挑战设计，可能不需要分級的一系列问题、问题集和/或解题练习，以促进多个学生对象的更多参与

根据本发明的一个实施例，专业知识、其成分任务对象和概念对象、每个概念对象中的知识和技能项目和课程，每个任务对象中的讲课笔记、插图、测试问题和答案、问题集和解题练习都是存储于系统可访问的关系数据库(专业知识库)中的数据实体。一个或多个专业知识库可以驻留在系统可访问的第三方系统中，用于传送和管理交互式和适应性的学习培训计划。

根据本发明的另一方面，用于传送和管理交互式和适应性学习培训计划的方法和系统在逻辑上建立在专业知识的两个操作模型之上：学生模型和培训模型。

学生模型

在学生模型下，系统执行与学生对象的专业知识中的课程相关联的一个或多个任务对象中的每一个。在执行任务对象期间，系统测量学生对象的表现并获取每个任务中的学生对象的绩效指标，例如：任务中的问题的成功和不成功的尝试次数，所请求的提示数以及完成任务花费的时间。获得的绩效指标以及任务对象的信息(如其难度级别)被馈送到与任务对象相关联的每个概念对象的逻辑回归数学模型中。这也被称为学生对象的知识跟踪。知识跟踪是计算学生对象对概念对象中的材料的理解的概率。在一个实施例中，理解概率的计算使用学生对象的答题等级/分数对时间的移动平均，其中较老的尝试、成功尝试次数、失败次数、成功率(成功尝试除以尝试总数)、花费的时间、对象难度和问题难度具有较低的权重。

在一个实施例中，系统使用迭代机器学习工作流程来计算学生对象对概念对象中的材料的理解的概率，以使数学模型与收集的数据(学生对象的绩效指标和任务的信息)相适应，包括但不限于学生对象的答题成绩/分数的时间移动平均值，其中较老的尝试、成功尝试次数、失败尝试次数、成功率(成功尝试次数除以总尝试次数)、花费的时间、对象难度和问题难度具有较低的权重。图4描绘了上述迭代机器学习工作流程的流程图。在该示例性实施例中，数据被收集(401)，验证和清洁(402)；然后将验证和清洁的数据用于拟合数学模型(使用403)的尝试；所述数学模型在一个循环中被迭代培训(404)直到验证和清洁的数据拟合数学模型；然后数学模型被部署(405)，以获得学生对象对概念对象的材料的理解的概率；拟合数学模型也被环回返回至并在所收集的数据的验证和清洗的步骤中使用。

学生对象的知识跟踪被系统用于驱动任务的讲课材料项目(例如问题和习题集)的选择，驱动任务对象(主题)的选择和驱动讲课材料的排名。学生模型的优点包括任务对象的执行可以适应学生对象的变化的能力。对于一个非限制性的例子，按照学生模型，系统可以评估学生的学习进度的数量，评估下一个任务的预期学习增益，并为即将到来的测试提供学生对象的绩效预测。然后将这些数据用于培训模型，并进行假设检验以进一步改进系统，评估教师/培训师质量和讲课材料的质量。

培训模型

在培训模型下，系统接收在学生模型下执行的任务对象搜集的数据和专业知识用于为学习或培训策略做出决策，并向学生对象或教师/培训师提供反馈。用于传送和管理交互式和适应性学习培训计划的系统包括由通用和专用的计算机处理器执行的软件和固件的组合来实现一个培训师模块。在一个实施例中，培训师模块驻留在一个或多个服务器计算机中。培训师模块是用于执行对应于培训模型下的活动的搬出的机器指令的主要原因。在培训模型下，培训师模块执行如下：

1)定义第一个任务的切入点。最初，知识和技能项目的所有指标都设置为默认值，这是从学生对象或教师/培训师填写的申请表中的数据或由教师/培训师对学生对象进行初步评估推断出来的。选择要执行的任务的顺序。要选择下一个任务，系统的培训师模块必须搜索概念对象的逻辑树数据结构(知识树)，找到具有最低技能水平的知识和技能(最接近知识树根部的)，然后使用问题矩阵来查找与学生对象的学习特征相匹配的相应任务项。一旦被选中，任务对象数据就从专业知识中提取出来，并发送到系统的通信模块用于传送展示。

2.)提供反馈。当学生正在从事执行中的任务对象时，系统的培训师模块将监视每个任务步骤花费的时间。当超过限制时，根据学生对象的当前情感状态提供反馈。例如，这可以是从通用列表中选择的令人鼓舞的、同情的或挑战的消息，或者是来自专业知识的专门提示。

3)驱动系统的教学助理。该系统的培训师模块将目前学生对象的情感状态与教学助理中的可用状态相匹配。除了提供情感状态信息之外，文本消息可以被发送到系统的通信模块，以在向学生显示的用户界面中与教学助理一同呈现。

4)决定概念何时被掌握。如前所述，在“学生模型”下，系统评估学生对每个概念中材料的理解概率。基于预定阈值(例如95％)，教师/培训师可以判定概念何时被掌握。

5)标记学生被认为与精神障碍有关的行为。例如，系统在学生模型下的运行显示与已知的历史背景相比检测数据中存在异常情况并且显示出较慢的学习进度时，培训模型下的系统会向教师/培训师发出警告通知。它还提供了关于常见的疾病标志的详细信息，例如注意力缺陷多动障碍(ADHD)和自闭症谱系障碍(ASD)。

根据各种实施例，用于传送和管理交互式和适应性学习培训计划的系统进一步包括通过在通用和专用的计算机处理器执行的软件和固件的组合来实现的通信模块。在一个实施例中，通信模块的一部分驻留在一个或多个服务器计算机中执行，并且通信模块的另一部分驻留和运行于一个或多个客户端计算机，包括但不限于台式计算机、膝上型计算机、平板电脑、智能手机和其他移动计算设备，其中一些是专供学生对象和其他教师/培训人员使用。

通信模块包括一个或多个用户界面，用户界面设计成向学生对象和教师/培训师显示来自专业知识的相关数据和通过系统运行于学生模型和培训模型下生成的材料。用户接口进一步被设计为协助在采集用户输入(文本、手势、图像和视频输入)和显示包括文本提示和模拟教学助理的动作在内的反馈中的用户交互。所述通信模块的另一重要特征是为当前执行的任务对象提供一个屏幕(由学生对象所使用的计算设备的屏幕)上的平面坐标和视觉提示或焦点尺寸。在一个非限制性的例子中，当在屏幕上显示来自一个任务对象的讲课笔记，通信模块提供所述平面坐标和讲课笔记显示区域的大小并且该信息被用来匹配从一个注视点跟踪传感器搜集的数据，以确定学生的对象是否实际从事于该任务(看讲课笔记)。

图2描绘了根据本发明的各种实施例的用于传送和管理交互式和适应性学习培训计划的系统的逻辑数据流程图。逻辑数据流程图显示系统的主要组成部分如何一同工作于在学生模型和培训模型的运行中的反馈回路。在参考图2的示例性实施例，登记期间，一个合适的课程由学习或培训计划的学生(或父母)选择。这个课程直接对应于一个课程安排对象，课程安排对象是专业知识202中的一组链接的概念对象，并包括这个学生对象的学习目标201。当学生对象经由系统的通信模块呈现的用户界面登录系统时，在培训模型中，系统的培训师模块从所述专业知识202中选择并检索适当的概念对象和相关联的第一任务对象。进入学生模型，从专业知识资源库中检索任务对象数据，系统在学生对象的用户界面为上呈现任务对象数据(例如讲义、考试题和习题集)，并且学生对象开始执行该任务。同时，系统通过收集情感状态的感测数据监控学习过程203，感测数据包括，但不限于，注视点、情感和生理数据，以及通过任务的问题和答案以及学生对象与用户界面(204)的行为分析的交互获得的认知状态数据。分析所收集的情感状态感测数据和认知状态数据之后，学习状态205被更新。更新后的学习状态205与学习目标201相比较。所确定的知识/技能差距或指导策略的契合206被再次提供给培训模型，完成循环。如果收集到的情感状态感测数据和认知状态数据的分析显示理解概率高于阈值，学习目标被认为是实现了207。

图3详细地描绘了用于在学生模型和培训模型下传送和管理交互式和适应性学习培训计划的系统的运行流程。在一个参考图3的示例性实施例中，运行流程如下：

301、学生对象通过她的计算设备运行的由系统的通信模块呈现的用户界面登录到系统。

302、学生对象选择一个用户界面呈现给她的课程安排。

303、在接收到该用户登录，认证成功，并且接收到课程安排选择后，服务器计算机上运行的系统的培训师模块，从专业知识存储库中选择和请求与所选课程安排相关联的一个或多个任务对象。当没有任务对象被定义以便与选定课程安排中的任何概念对象相关联，系统评估知识树，并找到尽可能靠近知识树根部(基础)的该学生对象尚未实践或掌握的概念知识和技能。这个过程是由系统的推荐引擎完成，它可以通过在通用和专用的计算机处理器执行的软件和固件的组合来实现。推荐引擎可以推荐实习任务，和较低速度的掌握挑战任务。系统推荐的任务有一个默认的优先级；教师/培训人员分配的任务在任务选择中拥有较高的优先级。在一个实施例中，该系统进一步包括用于推荐将要在接下来的一个课程安排中学习的讲课材料(例如主题)的推荐引擎。使用了评估的学生对象的情感状态与认知状态数据、学生对象的绩效数据、知识树(列出所有的“边缘”主题)、老师/培训师的推荐信息、来自协同过滤器(查看来自同学对象的数据)的数据、以及讲课内容数据(将学生属性与学习材料的属性匹配)，推荐引擎推荐培训模型中系统执行的下一个任务。例如，学生对象的消极情绪可以通过识别不喜欢的主题(从某些任务的执行期间所评估的情感状态数据)得到缓解并且推荐具有一个不同的/青睐的主题的下一个任务；并在学生对象的情感状态处于检测位置时推荐具有不喜欢的主题的任务作为下一个任务。在另一实例中，所评估的情感状态的数据显示该学生对象没有受到挑战时，推荐引擎可以选择推荐更高难度的任务作为下一个任务。这将使得任务与最高学习收获相匹配。这将允许基于类似的绩效数据和/或情感状态和认知状态评估的任务的集群。这也允许同伴学生的共同兴趣的匹配。

304、如果发现所请求的任务对象，它们的数据被检索，并发送到学生对象的计算装置在系统的通信模块的用户界面中现实。

305、学生对象选择一个任务目标开始学习阶段。

306、该系统的培训师模块从专业知识库中检索所选择的任务对象的下一个项目用于在系统的通信模块的用户界面中显示。

307、进入学生模型，系统的通信模块的用户界面显示所选择的任务对象中的项目。

308、一种用于捕获学生对象的脸部的相机被激活。

309、在学生对象接触所选择的任务对象(309a)的项目中的学习材料时，对学生对象的注视焦点和面部表情进行分析(309b)。

310、根据基于学生对象的资料收集传感器数据和学生对象的配置信息(概括，包括所有过去的绩效数据和学习进度的数据)评估的学生对象的情感状态与认知状态，可以在该系统的通信模块的用户界面以指导的形式呈现虚拟助理/或文本提示。

311、学生对象提交答案尝试。

312、答案尝试分级并且等级在系统的通信模块的用户界面中向学生对象现示。

313、答案尝试和等级也由系统进行存储用于进一步的分析。

314、答案尝试和等级用于计算学生对象对与所选择的任务对象相关联的概念的理解的概率。

315、如果所选的任务完成后，系统的培训师模块基于已计算的学生对象对相关概念的理解概率选择并请求下一个任务，然后从步骤303开始重复步骤。

316、如果选定的任务尚未完成，该系统的培训师模块检索所选择的任务的下一个项目，然后从步骤306开始重复步骤。

317、所有任务完成后，系统会生成关于学生问题的结果报告。

根据本发明的另一方面，一种用于传送和管理交互式和适应性学习和培训方案的系统还包括一个管理模块，其从所述教师/培训师、学生对象和协助跨多个实体教育/培训中心以及在线、远程学习过程中的专业知识接受信息。在一个示例性实施例中，管理模块包括基于约束的调度算法，用于确定优化的课程调度，同时观察约束，例如教师/培训师认证，学生和培训师通勤距离，教学的先来先服务，根据学习进度和培训战略的教学/培训组和组合。例如，当老师/培训师要促进同伴教学/培训，调度算法可以选择具有互补技能的学生对象，使他们能够互相帮助。

一种课堂的学习阶段可包括一个典型的流程，例如：学生对象签到，执行小测验评价学生对象的认知状态，并且完成后其结果直接呈现在教师/培训师的用户界面的仪表板。然后，课程继续由教师/培训师解释一个新概念，这里的老师/培训师收到来自系统的教学助理的关于教学目标和提示的帮助。解释后，学生对象可能从事练习/任务，系统根据需要尽可能多的提供支持。根据学习进度和学生个体的情感状态，系统的培训师模块决定关于如何继续学习阶段的几个选项：如提供处理负面情绪的教育游戏，并允许两个或两个以上的学生对象参与小奖品、数字徽章或类似物品的竞争。学习阶段在签出时终止。考勤数据被收集用于计费的目的，其次为安全起见父母可以验证(或接收来自系统的通知)子女到达和出发时间。

尽管以上描述了本发明的实施例在学术环境主要应用，本发明而无需过多实验可适于公司培训、调查和工作绩效的评估。根据本发明的一个实施例，用于传送和管理交互式和适应性学习培训计划的方法和系统逻辑地构造了作为专业数据的培训材料和传送机制数据，其具有知识和技能项目和与有关行业或贸易相关的培训材料的组成概念对象和任务对象。根据学生模型和培训模型系统的操作则基本与学术环境中的类似。在调查中的应用，对象的情感状态和认知状态的系统评估可以用于驱动对调查问题的选择和显示。因此又使得从对象获得的调查结果更准确更快速。在工作绩效评估的应用中，员工个体在岗时的情感状态和值班认知状态的系统的评估持续允许雇主来衡量员工的技术水平、参与程度以及员工的兴趣，从而为工作和角色分配提供了帮助。

本发明还可以用于认知障碍的医疗评估，如阿尔茨海默式痴呆症和注意缺陷多动障碍(ADHD)。根据一个实施例，提供一种神经认知障碍诊断系统(例如，使用平板电脑、个人电脑、笔记本电脑，或其他计算设备)，用于对患者对象进行认知测试(例如，六项认知损害测验)。该系统使用(例如，从平板电脑、个人电脑、笔记本电脑，或其他计算设备的内置摄像头)收集与上述系统类似的患者对象面部表情、眼球运动、注视点、头部姿势、声音、语音清晰度、反应时间和/或触摸响应等感测数据，并分析该数据用于提供和管理交互式和适应性学习和培训课程。

所述认知测验的材料也可以是基于患者对象的历史事件知识和近期事件知识，通过唤回记忆的时间和精准程度作为认知测验中患者对象的表现数据以评估患者对象的长期记忆和短期记忆的状态。于患者对象情感状态与认知状态的评估，跟随认知测验中患者对象的表现数据所提供的反馈作为系统执行认知测验的课程依据，自适应地改变认知测验的材料以及影响患者对象的情感。

该神经认知障碍诊断系统提供一个较少人为错误的实时诊断。患者对象的情感状态和认知状态评估也可以与患者对象大脑活动的核磁共振成像(MRI)数据相匹配并用于进一步例如不同类型的神经认知障碍及其诊断的研究。

该神经认知障碍诊断系统的一目标在于能够早期检测出认知障碍，特别像是照护长者机构的退休之家的长者，通过周期性的利用本系统进行感知测验，从而能够早期发现认知障碍。另一目标则是可以追踪治疗的效果，方便调整治疗的进程、药物剂量与医生诊视的次数。

根据本发明的一个实施例，本发明提供一种用于传送和管理神经认知障碍诊断的系统，包括：一个或多个光学传感器，其被配置用于在神经认知障碍诊断测试期间捕获和生成患者对象的感測數據；一个或多个电子数据库，包括一个或多个神经认知障碍诊断测试数据实体；由一个或多个计算机处理设备执行的病人模块，配置成使用从光学传感器所收集的感測數據评估患者对象的情感状态和认知状态；由一个或多个计算机处理设备执行的训练器模块，配置成在每次完成神经认知障碍诊断测试期间的神经认知障碍诊断测试数据实体之后，选择随后的神经认知障碍诊断测试数据实体，并从电子数据库中提取向患者对象传送和呈现的神经认知障碍诊断测试数据实体的内容材料项；以及由一个或多个计算机处理设备执行的推荐引擎，被配置成创建神经认知障碍诊断测试数据实体的列表以用于随后的神经认知障碍诊断测试数据实体的选择；其中，从所述可供选择的神经认知障碍诊断测试数据实体列表中选择一个神经认知障碍诊断测试数据实体，所述选择利用患者对象情感状态和认知状态评估以及患者对象的表现数据和行为数据作为输入数据。

所述感測數據可以包括患者对象的一个或多个面部表情、眼球运动、注视点和头部姿势。患者受试者的表现数据和行为数据可以包括一个或多个答案的正确性、患者对象答案得分的基于时间的移动平均值、成功和失败的尝试次数、给定答案选择之间的切换次数，以及回答问题的速度。该系统还可包括一个或多个生理测量装置，其被配置用于在神经认知障碍诊断测试期间捕获施加在触觉传感装置上的患者受试者的一个或多个触觉压力、心率、电皮肤活动(EDA)、皮肤温度和触觉反应，并生成附加的感測數據；其中，患者模块还被配置成使用从光学传感器收集的感測數據和从生理测量设备收集的附加感測數據来评估患者受试者的情感状态和认知状态。该系统还可包括一个或多个语音记录设备，其被配置用于捕获患者对象的声音和语音清晰度，并在神经认知障碍诊断测试期间生成附加的感測數據；其中，患者模块进一步被配置成使用从光学传感器收集的感測數據和从语音记录设备收集的附加感測數據来评估患者对象的情感状态和认知状态。该系统还可以包括一个或多个笔迹捕获设备，该笔迹捕获设备被配置用于捕获患者对象的笔迹，并且在神经认知障碍诊断测试期间生成附加的感測數據；其中，患者模块被进一步配置以评估患者受试者的情感状态和认知状态使用从光学传感器收集的感測數據和从笔迹捕获设备收集的附加感測數據。该系统还可以包括一个或多个教学助理，其被配置用于捕获患者对象与教学助理的互动，并在神经认知障碍诊断测试期间生成附加的感測數據；其中，患者模块被进一步配置使用从光学传感器收集的感測數據和从教学助理收集的附加感測數據来评估患者对象的情感状态和认知状态。每一个神经认知障碍诊断测试数据实体的内容材料项可以是一个与六项认知损害测验相关的插图、测试问题或嵌入有测试问题的视频。每个神经认知障碍诊断测试数据实体的内容材料项也可以是一个与患者对象的过去事件知识或最近事件知识相关的插图、测试问题、或嵌入有测试问题的视频。

本文所公开的电子实施例可使用通用或专用计算设备、计算机处理器或电子电路系统被实现，电子电路系统包括但不限于特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)以及其它根据本公开的教导配置或编程的可编程逻辑设备。运行在通用或专用的计算设备、计算机处理器或可编程逻辑器件内的计算机指令或软件代码可以容易地由软件或电子领域的技术人员基于本公开的教导进行编制。

电子实施例的全部或部分可以在一个或多个通用或计算设备，例如包括服务器计算机、个人计算机、膝上型计算机，移动计算设备诸如智能电话、平板电脑，来执行。

所述的电子类实施例包括具有可用于编程计算机或微处理器以执行任何本发明的方法的存储在其中的计算机指令或软件代码的计算机存储介质。该存储介质可以包括，但不限于，软盘、光盘、蓝光光盘、DVD、CD-ROM、以及磁光盘、ROM、RAM、闪存设备，或任何类型的适合于存储指令、代码和/或数据的介质或设备。

本发明的各种实施例还可以在分布式计算环境和/或云计算环境中实现，其中全部或部分机器指令以分布式方式由一个或多个由通信网络，例如内联网，广域网(WAN)，局域网(LAN)，因特网，和其他形式的数据传输介质，互连的处理设备执行。

本发明的前述说明旨在说明和描述的目的。它不应当理解为是对本发明的穷举或将本发明限制到所公开的精确形式。许多对本发明的修改和变化对本领域技术人员是显而见。

实施例的选择描述是为了最好地解释本发明的原理及其实际应用，从而使本领域的技术人员能够理解本发明的各种实施例和适于所设想的特定用途的各种修改。如上所述，以优选实施例所描述了本发明。然而，本领域技术人员将认识到，在不偏离所附权利要求及其等价物中定义的本发明的精神和范围的情况下，可以对本发明进行各种修改和改变。

Claims (38)

1.一种用于传送和管理学习培训计划的系统，包括：

一个或多个光学传感器，用于捕获和生成学生对象在学习阶段的感测数据；

一个或多个电子数据库，包括一个或多个专业知识数据实体，每个专业知识数据实体包括一个或多个概念数据实体和一个或多个任务数据实体，其中每个概念数据实体包括一个以上的知识和技能内容项，其中每个任务数据实体包括一个以上讲课内容资料项，其中每个任务数据实体与至少一个概念数据实体相关联，其中通过组合多个所述概念数据实体而形成一个课程；

学生模块，其通过一个或多个计算机处理设备执行，以利用收集自所述光学传感器的感测数据来评估所述学生对象的情感状态和认知状态；

培训师模块，其通过一个或多个计算机处理设备执行，并被配置为在学习阶段的每个任务数据实体完成后，选择后续的任务数据实体，并从所述电子数据库中检索用于传送和呈现给所述学生对象的任务数据实体的讲课内容资料项；以及

推荐引擎，其通过一个或多个计算机处理设备执行，且被配置为创建所述后续任务数据实体的可选任务数据实体列表，其中作为所述可选的任务数据实体是与形成所述课程的所述一个以上概念数据实体相关联的任务数据实体；

其中，从所述可选任务数据实体列表选择一个任务数据实体是基于所述学生对象对所关联的概念数据实体的知识和技能内容项的理解率；以及

其中所述学生对象的理解率是通过利用所述学生对象的情感状态和认知状态的评估作为输入数据来计算。

2.如权利要求1所述的系统，进一步包括：

一个或多个生理测量装置，其配置为用于捕获所述学生对象施加在触觉感测设备上的触觉压力、心率、皮肤电活动(EDA)、皮肤温度、以及触摸响应中的一个或多个，并在所述学习阶段生成附加感测数据；

其中，所述学生模块还被配置为利用从所述光学传感器收集的感测数据，以及从所述生理测量装置收集的附加感测数据，来评估所述学生对象的情感状态和认知状态。

3.根据权利要求1所述的系统，进一步包括：

一个或多个语音记录设备，其被配置用于捕获所述学生对象的声音和语音清晰度，并在所述学习阶段生成附加感测数据；

其中，所述学生模块还被配置为利用从所述光学传感器收集的感测数据以及从所述语音记录设备收集的所述附加感测数据来评估所述学生对象的情感状态和认知状态。

4.根据权利要求1所述的系统，进一步包括：

一个或多个笔迹捕获设备，其配置为用于捕获所述学生对象的笔迹，并在所述学习阶段生成附加感测数据；

其中，所述学生模块还被配置为利用从所述光学传感器收集的感测数据以及从所述笔迹捕获设备收集的所述附加感测数据来评估所述学生对象的情感状态和认知状态。

5.根据权利要求1所述的系统，进一步包括：

一个或多个教学助理，其被配置用于捕获所述学生对象与教学助理的互动，并在所述学习阶段生成附加感测数据；

其中，所述学生模块还被配置为根据从所述光学传感器收集的感测数据和从所述教学助理收集的所述附加感测数据评估所述学生对象的情感状态和认知状态。

6.如权利要求1所述的系统，其中，每个讲课内容资料项是讲课笔记、插图、测试问题、具有嵌入的测试问题的视频、具有设计成在推导问题解决方案中提供指导的多个步骤的解题练习或具有一个或多个用于模拟与所述学生对象学习进度同步的解题练习步骤的启发式规则或约束的解题练习。

7.如权利要求1所述的系统，

其中，多个概念数据实体串连形成一逻辑树数据结构；

其中，包含一个主题的基本知识和技能内容项的概念数据实体被表示在所述逻辑树数据结构更靠近根的节点，而包含高级知识和技能内容项的概念数据实体以及常规基础知识和技能内容项的分支被表示在所述逻辑树数据结构的不同分支的较高节点；

其中，所述推荐引擎进一步配置为创建所述后续任务数据实体的可选任务数据实体列表，其中所述可选任务数据实体是与形成所述课程的一个以上概念数据实体相关联的任务数据实体，且所述一个以上概念数据实体包含有所述学生对象未掌握的并靠近所述概念数据实体所属逻辑树数据结构的根的知识技能项。

8.如权利要求1所述的系统，

其中，所述学生对象对关联的概念数据实体的知识和技术内容项的理解率通过利用所述学生对象的情感状态和认知状态的评估输入数据和所述学生对象的表现数据和行为数据来计算；以及

所述学生对象的表现数据和行为数据包括答案的正确性、基于时间变化的所述学生对象答案分数的均值、成功和失败尝试的数目、在给定答案选项之间切换的数目、答题响应速度、最高难度级别、试题难易程度和达成解决方案的操作步骤其中之一或多个。

9.如权利要求1所述的系统，其中，所述感测数据包括所述学生对象的面部表情、眼球运动、注视点和头部姿势其中之一或多个。

10.如权利要求1所述的系统，

其中，从所述可选任务数据实体列表选择一个任务数据实体是基于所述学生对象对所关联的概念数据实体的知识和技能内容项的理解率和所述学生对象的估定情感状态；

其中，当学生对象的估定情感状态表示的是消极情绪，则具有所述学生对象喜欢的知识和技能内容项的概念数据实体的关联任务数据实体被选中，而具有所述学生对象不喜欢的知识和技能内容项的另一个概念数据实体的关联任务数据实体未被选中；以及

其中，当学生对象的估定情感状态表示的是积极情绪，则具有所述学生对象不喜欢的知识和技能内容项的概念数据实体的关联任务数据实体被选中，而具有所述学生对象喜欢的知识和技能内容项的另一个概念数据实体的关联任务数据实体未被选中。

11.一种用于传送和管理学习培训计划的方法，包括：

使用一个或多个光学传感器在学习阶段从学生对象捕获和生成感测数据；

提供一个或多个电子数据库，所述电子数据库包括一个或多个专业知识数据实体，各所述专业知识数据实体包括一个或多个概念数据实体和一个或多个任务数据实体，其中各所述概念数据实体包括一个或多个知识和技能内容项，其中各所述任务数据实体包括一个或多个讲课内容资料项，其中各所述任务数据实体是与至少一所述概念数据实体关联，其中课程是通过集合多个所述概念数据实体而形成；

使用自光学传感器收集的感测数据评估所述学生对象的情感状态和认知状态；以及

选择一后续的任务数据实体，并在学习阶段的每个任务数据实体完成后，从所述电子数据库中提取用于传送和呈现给所述学生对象的任务数据实体的讲课内容资料项；

建立一可供选择后续任务数据实体的可选任务数据实体列表，其中所述可供选择的任务数据实体与用以形成所述课程的一或多个概念数据实体相关；

其中，从所述可供选择的任务数据实体列表选择一个任务数据实体是基于所述学生对象对所关联的概念数据实体的知识和技能内容项的理解率；以及

其中所述学生对象的理解率是通过利用所述学生对象的情感状态和认知状态的评估输入数据来计算。

12.如权利要求11所述的方法，进一步包括：

捕获所述学生对象施加在触觉感测设备上的触觉压力、心率、皮肤电活动(EDA)、皮肤温度、以及触摸响应中的一个或多个，并在所述学习阶段生成附加感测数据；

其中，利用从光学传感器收集的感测数据以及所述附加感测数据，来评估所述学生对象的情感状态和认知状态。

13.如权利要求11所述的方法，进一步包括：

使用一个或多个语音记录设备捕获所述学生对象的声音和语音清晰度，并在所述学习阶段生成附加感测数据；

其中，利用从所述光学传感器收集的感测数据以及从所述语音记录设备收集的所述附加感测数据来评估所述学生对象的情感状态和认知状态。

14.如权利要求11所述的方法，进一步包括：

使用一个或多个笔迹捕获设备捕获所述学生对象的笔迹，并在所述学习阶段生成第三附加感测数据；

其中，利用从所述光学传感器收集的感测数据以及从所述笔迹捕获设备收集的所述附加感测数据来评估所述学生对象的情感状态和认知状态。

15.如权利要求11所述的方法，进一步包括：

捕获所述学生对象与一个或多个教学助理的互动，并在所述学习阶段生成附加感测数据；

其中，根据从所述光学传感器收集的感测数据和从所述教学助理收集的所述附加感测数据，来评估所述学生对象的情感状态和认知状态。

16.如权利要求11所述的方法，其中，每个讲课内容资料项是讲课笔记、插图、测试问题、嵌入有测试问题的视频、具有设计成在推导问题解决方案中提供指导的多个步骤的解题练习或具有一个或多个用于模拟与所述学生对象学习进度同步的解题练习步骤的启发式规则或约束的解题练习。

17.如权利要求11所述的方法，

其中，多个概念数据实体串连形成一逻辑树数据结构；

其中，包含一个主题的基本知识和技能内容项的概念数据实体被表示在所述逻辑树数据结构更靠近根的节点，而包含高级知识和技能内容项的概念数据实体以及常规基础知识和技能内容项的分支被表示在所述逻辑树数据结构的不同分支的较高节点；

其中，可选任务数据实体的任务数据实体是与形成所述课程的一个以上概念数据实体相关联，且所述一个以上概念数据实体包含有所述学生对象未掌握的并靠近所述概念数据实体所属逻辑树数据结构的根的知识技能项。

18.如权利要求11所述的方法，

其中，所述学生对象对关联的概念数据实体的知识和技术内容项的理解率通过利用所述学生对象的情感状态和认知状态的评估和所述学生对象的表现数据和行为数据作为输入数据来计算；以及

所述学生对象的表现数据和行为数据包括答案的正确性、基于时间变化的所述学生对象答案分数的均值、成功和失败尝试的数目、在给定答案选项之间切换的数目、答题响应速度、最高难度级别、试题难易程度和达成解决方案的操作步骤(working steps)其中之一或多个。

19.如权利要求11所述的方法，其中，所述感测数据包括所述学生对象的面部表情、眼球运动、注视点和头部姿势其中之一或多个。

20.如权利要求11所述的方法，

其中，从所述可选任务数据实体列表选择一个任务数据实体是基于所述学生对象对所关联的概念数据实体的知识和技能内容项的理解率和所述学生对象的估定情感状态；

其中，当学生对象的估定情感状态表示的是消极情绪，则具有所述学生对象喜欢的知识和技能内容项的概念数据实体的关联任务数据实体被选中，而具有所述学生对象不喜欢的知识和技能内容项的另一个概念数据实体的关联任务数据实体未被选中；以及

其中，当学生对象的估定情感状态表示的是积极情绪，则具有所述学生对象不喜欢的知识和技能内容项的概念数据实体的关联任务数据实体被选中，而具有所述学生对象喜欢的知识和技能内容项的另一个概念数据实体的关联任务数据实体未被选中。

21.一种用于传送和管理神经认知障碍诊断的系统，包括：

一个或多个光学传感器，用于捕获和生成学生对象在诊断神经认知障碍测试期间的感测数据；

一个或多个电子数据库，包括一个或多个诊断神经认知障碍测试数据实体；

患者模块，其通过一个或多个计算机处理设备执行，利用自所述光学传感器收集的感测数据来评估所述患者对象的情感状态和认知状态；

培训师模块，其通过一个或多个计算机处理设备执行，并被配置为在诊断神经认知障碍测试期间的每个诊断神经认知障碍测试数据实体完成后，选择后续的神经认知障碍诊断测试数据实体，并从所述电子数据库中提取所述向患者对象传送和呈现的神经认知障碍诊断测试数据实体的内容材料项；以及

推荐引擎，其通过一个或多个计算机处理设备执行，且被配置成创建神经认知障碍诊断测试数据实体的列表以可用于随后的神经认知障碍诊断测试数据实体的选择；

其中，从所述可供选择的神经认知障碍诊断测试数据实体列表中选择一个神经认知障碍诊断测试数据实体，所述选择利用患者对象的情感状态和认知状态的评估以及患者对象的表现数据和行为数据作为输入数据。

22.如权利要求21所述的系统，其中所述感测数据包括所述患者对象的面部表情、眼球运动、注视点和头部姿势其中之一或多个。

23.如权利要求21所述的系统，其中患者对象的表现数据和行为数据包括一个或多个答案的正确性、基于时间的患者对象答案得分移动平均值、成功和失败的尝试次数、给定答案之间的切换次数选择和回答问题的速度。

24.如权利要求21所述的系统，另包括：

一个或多个生理测量装置，用于在神经认知障碍诊断测试期间捕获施加在触觉传感装置上的一个或多个患者对象的触觉压力、心率、电皮肤活动(EDA)、皮肤温度和触觉反应，并生成附加感测数据；

其中，所述患者模块还被配置成使用从所述患光学传感器收集的感测数据和从生理测量设备收集的附加感测数据来评估患者对象的情感状态和认知状态。

25.如权利要求21所述的系统，另包括：

一个或多个语音记录设备，其被配置用于捕获患者对象的声音和语音清晰度，并在神经认知障碍诊断测试期间生成附加感測數據；

其中，所述患者模块进一步被配置成使用从光学传感器收集的感测数据和从语音记录设备收集的附加感测数据来评估患者对象的情感状态和认知状态。

26.如权利要求21所述的系统，另包括：

一个或多个笔迹捕获设备，其被配置用于捕获所述患者对象的笔迹，并在所述神经认知障碍诊断测试期间生成附加感测数据；

其中，所述患者模块进一步被配置根据从所述光传感器光学传感器收集的感测数据和从所述笔迹捕获设备收集的所述附加感测数据来评估所述患者对象的情感状态和认知状态。

27.如权利要求21所述的系统，另包括：

一个或多个教学助理，其被被配置为捕获所述患者对象与教学助理的互动，并在所述神经认知障碍诊断测试期间生成附加感测数据；

其中，所述患者模块进一步被配置根据从光学传感器收集的感测数据和从教学助理收集的附加感测数据来评估所述患者对象的情感状态和认知状态。

28.如权利要求21所述的系统，其中所述神经认知障碍诊断测试数据实体的内容材料项是与所述六项认知损害测验相关的插图、测试问题或嵌入有测试问题的视频。

29.如权利要求21所述的系统，其中，所述神经认知障碍诊断测试数据实体的内容材料项中是与患者对象的过去事件知识或最近事件知识相关的插图、测试问题或嵌入有测试问题的视频。

30.一种用于传送和管理神经认知障碍诊断的方法，包括：

在神经认知障碍诊断测试过程中，使用一个或多个光学传感器捕获并生成患者对象的感测数据；

提供一个或多个电子数据库，包括一个或多个神经认知障碍诊断测试数据实体；

利用从光学传感器收集的感测数据评估患者对象的情感状态和认知状态；

随后选择一个神经认知障碍诊断测试数据实体，并在完成每次神经认知障碍诊断后从所述电子数据库中提取所述向患者对象传送和呈现的神经认知障碍诊断测试数据实体的内容材料项；以及

建立一个神经认知障碍诊断测试数据实体列表，用于神经认知障碍诊断测试数据实体的选择；

其中，从所述可供选择的神经认知障碍诊断测试数据实体列表中选择一个神经认知障碍诊断测试数据实体，所述选择利用患者对象情感状态和认知状态的评估以及患者对象的表现数据和行为数据作为输入数据。

31.如权利要求30所述的方法，其中所述感测数据包括患者对象的面部表情、眼球运动、注视点和头部姿势中的一个或多个。

32.如权利要求30所述的方法，其中患者对象的表现数据和行为数据包括一个或多个答案的正确性、基于时间的患者对象答案得分的移动平均值、成功和失败的尝试次数、给定答案之间的切换次数选择和回答问题的速度。

33.如权利要求30所述的方法，还包括：

在神经认知障碍诊断测试期间，捕获一个或多个患者对象施加在触觉传感装置上的触觉压力、心率、电皮肤活动(EDA)、皮肤温度和触觉反应，并生成附加感测数据；

其中，使用从光学传感器收集的感测数据和从生理测量设备收集的附加感测数据来评估患者对象的情感状态和认知状态。

34.如权利要求30所述的方法，还包括：

在神经认知障碍诊断测试过程中，使用一个或多个语音记录设备捕获并生成关于患者对象声音和语音清晰度的附加感测数据；

其中，使用从光学传感器收集的感测数据和从语音记录设备收集的附加感测数据来评估患者对象的情感状态和认知状态。

35.如权利要求30所述的方法，还包括：

在神经认知障碍诊断测试期间，使用一个或多个笔迹捕获设备捕获并生成关于患者对象笔迹的附加感测数据；

其中，使用从光学传感器收集的感测数据和从笔迹捕获设备收集的附加感测数据来评估患者对象的情感状态和认知状态。

36.如权利要求30所述的方法，还包括：

在神经认知障碍诊断测试课程中，获取并生成学生对象与一个或多个教学助理互动的附加感测数据；

其中，使用从光学传感器收集的感测数据和从教育剂收集的附加感测数据来评估患者對象的情感状态和认知状态。

37.如权利要求30所述的方法，其中所述神经认知障碍诊断测试数据实体的内容材料项是与六项认知损害测验相关的插图、测试问题或嵌入有测试问题的视频。

38.如权利要求30所述的方法，其中所述神经认知障碍诊断测试数据实体的内容材料项是与患者對象的过去事件知识或最近事件知识相关的插图、测试问题或嵌入有测试问题的视频。

Images