CN110812803A - 用于认知能力提升的交互式辅助干预系统 - Google Patents

Abstract

本发明提出一种用于认知能力提升的交互式辅助干预系统，包括：外形为立方体的交互装置，该交互装置侧面的四个面上分别具有预设颜色和形状的物块，该交互装置顶面具有触控按钮，该交互装置底面具有彩灯，该交互装置内部具有扬声器、麦克风、运动传感器和控制模块；智能终端，用于生成交互任务，并将该交互任务发送至该控制模块，该控制模块根据该交互任务控制该彩灯的颜色和扬声器的发声内容，在使用者通过该交互装置完成该交互任务的过程中，该控制模块实时获取该触控按钮、该麦克风和该运动传感器采集的交互信号，该智能终端通过分类模型处理该交互信号，得到该使用者的认知能力。

Description

用于认知能力提升的交互式辅助干预系统

技术领域

本发明涉及认知计算领域，特别涉及一种面向儿童认知能力障碍的交互式辅助干预系统。

背景技术

认知能力包括理解能力、推理能力、判断能力、语言能力和思维能力等，认知能力障碍会体现为智力障碍、学习障碍等多方面异常。认知能力障碍会对患者的社会交往、学习生活、人格建立等多方面造成深远的恶性影响。相关研究表明，注意缺陷多动障碍(Attention Deficit Hyperactivity Disorder，ADHD)、孤独症谱系障碍(AutisticSpectrum Disorder，ASD)、脑性瘫痪、精神分裂症等多种神经和精神类疾病，会导致患者的认知能力障碍。部分心血管疾病(Cerebralvascular Accident，CVA)包括脑卒中等也会引发患者的认知能力障碍。上述部分疾病如ADHD、ASD等在儿童中往往有着高发性，对于儿童的认知能力障碍影响深远并且将持续到成年，对于患儿的学习能力、生活能力乃至成年后的正常社会功能承担、情感表达、经济压力等多方面造成极大的影响。

发明内容

本发明的交互式辅助干预装置和系统能够根据儿童认知发育特点，提供视、听、触等多种交互方式，并将交互场景和认知训练有机结合，引起儿童的兴趣，更有利于提高儿童进行认知训练的积极性、感受性和成就感。让儿童在游戏中完成训练，长期丰富、适量的感觉刺激能促进脑功能的发育，有效地促进儿童的运动、语言、认知及社会适应能力全面发展，从而起到对儿童认知障碍辅助干预的效果。同时，类似于神经调控、人工辅助认知训练等康复治疗方法均需要在医生的全程看护下在医院完成，而交互式系统可布设在学校教室或者拿回家中，足不出户继续康复治疗，既可以减轻患者家庭经济负担，也可为脑性瘫痪等行动不便的患者减少因外出就医不便造成的种种麻烦。另外，本发明将多种干预任务集中在了一个干预装置中，有效丰富了装置的功能性。

具体来说，本发明提出一种用于认知能力提升的交互式辅助干预系统，其中包括：

外形为立方体的交互装置，该交互装置侧面的四个面上分别具有预设颜色和形状的物块，该交互装置顶面具有触控按钮，该交互装置底面具有彩灯，该交互装置内部具有扬声器、麦克风、运动传感器和控制模块；

智能终端，用于生成交互任务，并将该交互任务发送至该控制模块，该控制模块根据该交互任务控制该彩灯的颜色和该扬声器的发声内容，在使用者通过该交互装置完成该交互任务的过程中，该控制模块实时获取该触控按钮、该麦克风和该运动传感器采集的交互信号，该智能终端通过分类模型处理该交互信号，得到该使用者的认知能力。

所述的用于认知能力提升的交互式辅助干预系统，其中该交互装置内还设有震动马达，以在该触控按钮被按下时产生实时的震动反馈。

所述的用于认知能力提升的交互式辅助干预系统，其中该交互任务包括听觉交互、视觉交互和触觉交互的训练任务。

所述的用于认知能力提升的交互式辅助干预系统，其中得到该认知能力的具体过程包括：

获取完成该交互任务的过程中第i秒的运动传感器的交互信号，

其中a表示加速度信号、g表示角速度、m表示磁力，x、y和z分别代表空间直角坐标系中横轴方向、纵轴方向和竖轴方向；

对具有相同采样时间的三维加速度，陀螺仪和磁力计数据进行合成，

得到合成加速度数据{A₁，A₂，…，A_n，…}，合成角速度数据{G₁，G₂，…，G_n，…}以及合成磁力数据{M₁，M₂，…，M_n，…}；

针对一个训练任务下的任务完成度、该合成加速度数据、该合成角速度数据和该合成磁力数据进行特征提取，得到特征向量，将该特征向量输入至该分类模型，得到各训练任务的评分，将采用加权各训练任务评分的方式得到该认知能力。

所述的用于认知能力提升的交互式辅助干预系统，其中该特征提取包括均值、标准方差、过零率、百分位数、关联系数、功率谱密度、频域熵和谱峰位置。

所述的用于认知能力提升的交互式辅助干预系统，其中该分类模型包括支持向量机、线性分类器、朴素贝叶斯、K近邻、决策树、集成模型和极限学习机。

所述的用于认知能力提升的交互式辅助干预系统，其中该训练任务包括听觉划消训练、形色干扰训练、朗读训练、平衡控制训练、短时记忆训练和短时记忆训练。

所述的用于认知能力提升的交互式辅助干预系统，其中该任务完成度包括：正确个数No_c、错误个数No_e、遗漏率No_m、错添率No_ea、总用时长time以及完成度rate。

所述的用于认知能力提升的交互式辅助干预系统，其中得到该特征向量Xm的具体过程包括：

该听觉划消训练的特征向量X¹，X¹＝{No_c，No_e，No_m，No_ea，time}；

该形色干扰训练的特征向量X²，X²＝{No_c，No_e，No_m，No_ea，time}；

该朗读训练的特征向量X³，X³＝{No_c，No_e，No_m，No_ea，time}；

该平衡控制训练的特征向量X⁴，X⁴＝{Xm，time}；

该短时记忆训练的特征向量X⁵，X⁵＝{No_c，No_e，No_m，No_ea，time}；

该空间逻辑训练的特征向量X⁶，X⁶＝{Xm，time，rate}。

所述的用于认知能力提升的交互式辅助干预系统，其中第i个训练任务的干预效果评分为tⁱ＝fⁱ(Xⁱ)，i＝1，…，6；该认知能力为

附图说明

图1为本发明装置和系统的架构图；

图2为“交互魔方”干预装置结构图；

图3为软件系统组成模块示意图；

图4为干预训练过程流程图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明面向儿童认知能力提升提出了一种交互式辅助干预装置和系统，融合典型儿童精神类疾病(注意缺陷多动症，孤独症等)临床诊断中通用的评定量表，结合认知能力相关检测范式，并且基于严肃游戏的理论，构建交互式的感知觉训练辅助干预装置和软件系统。其中干预装置是一个集成多种传感器(运动传感器、声音传感器、灯光传感器，触控传感器等)的“交互魔方”，支持无线连接。为了配合干预装置的使用，本发明还提出了软件系统，可以运行在移动终端设备上。在儿童进行针对认知能力的感知觉辅助训练时，通过系统选择训练任务，并且通过“交互魔方”来完成相应的任务。训练过程中，“交互魔方”能够以视觉交互、听觉交互和触觉交互的方式来帮助儿童进行感知觉系统训练，提高认知能力。同时在训练过程中，“交互魔方”会实时采集多元感知数据，并发送给系统，系统中我们通过构建的算法模型对儿童的认知能力在理解、推理、判断、语言和思维等维度进行量化判断，从而不断的调整训练策略，为儿童提供个性化的训练方案，保证训练的有效性。

整个装置和系统如图1所示，软件系统运行在移动终端上，并且通过无线连接方式与“交互魔方”装置连接。

1、干预装置

本发明提出的面向儿童认知能力提升的交互式辅助干预装置是一个集成有多种传感器、交互器件和控制模块的“交互魔方”。外形为一个立方体，内部结构如图2所示。该装置集成了满足多种交互任务的部件和传感器：

1)形状色块：立方体侧方的四个面上分别有四种不同颜色、不同形状的物块；

2)触控按钮：顶部有一个触控按钮，可完成与儿童的触觉交互；

3)LED灯：立方体下方，隐藏着一个全彩LED灯，可以根据训练任务需求发出不同颜色的灯光；

4)扬声器：在立方体内部，对称地贴有两个扬声器；

5)麦克风：立方体的边缘布置有麦克风，可以在录制儿童的声音，扬声器与麦克风组成听觉交互系统，用于语言交流等认知能力训练；

6)运动传感器：为了全面训练与评估儿童的认知能力，“交互魔方”还内置了加速度计、陀螺仪、磁力计等运动和姿态传感器，可以全面量化地捕捉儿童在交互过程中的行为，同时也可用于完成运动能力、周身协调能力的训练和评估任务；

7)震动马达：在立方体的内部有一个震动马达，可以在按钮按下时产生接近实时的震动反馈；在完成训练任务的过程中，震动马达会随着任务的进行发出不同强度、不同时长的震动，以提升训练任务的代入感，吸引儿童的注意力。

为了提升使用的便利性，装置设计为完全无线连接，儿童可以像普通玩具一样使用。同时为了降低功耗，延长使用时间，本发明采用低功耗硬件和智能算法降低功耗的方法。“交互魔方”内部配有锂离子电池，可为魔方本身提供续航。包括按钮、全彩LED灯、扬声器与麦克风、各类传感器在内的元件均与控制模块直接连接，并由控制模块通过无线信号与软件系统链接，使得软件系统与“交互魔方”协同完成认知能力提升辅助干预任务，并记录下儿童的交互情况以及传感器的感知数据。当儿童需要进行干预训练时，可通过配套软件系统进行任务选择，并且配合“交互魔方”完成相应的任务。

2、配套软件系统

为配合干预装置的使用，本发明还提出了配套软件系统。软件系统设有四个模块，如图3所示，包括训练任务模块，数据模块，算法模块和用户管理模块。

1)训练任务模块：训练任务模块包括覆盖听觉交互、视觉交互、触觉交互的训练任务。每个任务的设计分别针对性地训练认知能力的一个或多个方面。另外，所有任务的设计会根据认知能力检测范式，相关疾病的诊断量表以及心理学理论等，为了提高儿童对训练的依存性，还会考虑训练任务的科学性和趣味性。儿童可自主选择训练任务，或由监护人员安排训练任务，系统也会提示训练任务，之后儿童需按照软件上的导语提示，与“交互魔方”进行交互，完成训练任务。

2)数据模块：数据模块的主要功能是采集训练任务完成过程中的全程实时数据，包括任务完成情况以及交互感知数据两大类。其中任务完成情况的数据包括完成时长、正确率、错误率、反应时间等等；交互感知数据是通过“交互魔方”上的丰富传感器获得的，包括运动姿态数据、按钮交互数据、音频数据等等。上述所有数据均封装成标准的数据接口Interface，提供给可视化展示、儿童认知能力的评估或者智能算法判断等。另外数据模块还会按照预设定期将数据上传到云端服务器，云端的服务器集群应用自适应个性化的干预模型对儿童的多模态数据进行处理，形成个性化的干预训练方案，推送到手机APP上，为儿童的下一步干预提供改进意见。

3)算法模块：算法模块是本申请的核心部分，能够基于数据模块实时提供的数据来对儿童的任务完成情况以及认知能力的提升情况进行评估，并且基于评估结果实时调整训练干预方案。具体来说，该模块需要对数据进行预处理，通过预设的方法完成特征提取，然后输入数据到预测评估模型中，得到评估结果，再根据评估结果进行相应的处理。这里的预测模型既包括从云端获得的通用性模型，也包括针对儿童训练过程中实时调整的模型，从而实现个性化的自适应干预训练。

4)用户管理模块：该模块用于儿童信息登记、干预训练任务选择、历史训练记录查看等主要功能，以及附加设置等辅助功能。当儿童或监护人员首次登陆软件系统时，会要求登记儿童年龄、性别、受教育程度等人口学信息等信息，完成后会进入干预训练任务选择界面，儿童可在历史训练记录界面查看曾经完成的训练任务，包括训练完成的时间以及具体完成情况、正确率等信息。

3、训练流程

训练流程如图4所示，首先分别开启干预装置和软件系统，接着在软件系统中登录用户，如果是首次登录还需要先行注册用户信息；进入系统后进行干预任务的选择，然后用户根据干预任务的要求在“交互魔方”装置上完成干预任务。相关数据会通过无线通信回传到软件系统上。用户可以继续在软件系统中选择其他的干预任务，直到结束；系统会根据本次所有完成的干预任务和算法模型，评估出干预效果并输出。

4、评估干预效果

本发明提出基于多训练任务的加权干预效果评估模型，如图4所示。给定有m个训练任务，每个训练任务的完成情况特征向量为Xⁱ(i＝1，..，m)，每个训练任务的评估模型为fⁱ＝(x)，每个训练任务对干预评估效果的权值为w_i(i＝1，..，m)，则最终的干预效果为

在实际的应用中，每个训练任务的评估模型g_i(x)可以采用的分类模型包括支持向量机(SVM)、线性分类器(如LR)、朴素贝叶斯(NB)、K近邻(KNN)、决策树(DT)、集成模型(RF/GDBT等)，极限学习机(ELM)等，权重参数w_i是超参，需要通过大量的实验确定最佳值。

具体来说本实施例为了实现满足儿童视、听、触等多种交互方式的认知能力提升干预训练，实现6个场景驱动的辅助干预训练任务设计，这些任务使用了临床中通用的经典评定量表与检测范式，融合了多种交互方式并且结合了专家医生的临床经验。

一、训练任务设计

基于本发明提出的面向儿童认知能力提升的交互式辅助干预装置和系统，可行的干预任务如下面6个所示，但是本发明不限于下述6个任务，其他能够由本发明提出的装置和系统完成的干预训练任务均可以：

(1)听觉划消训练：训练对象会听到扬声器中播放的各类名词，例如随机播报0-9十个数字，当听见特定的词时，例如听到数字“3”，需要立即按下装置上的按钮。越短的反应时长表示越快的反应力。训练播报的名词除了数字还可以是家具名词，动物名称等等，划消的规则也可以更加复杂以提升难度，例如听到数字“3”后面紧跟着数字“1”时，按下按钮。通过不断的训练，可以提高儿童的听觉能力以及反应力。

(2)形色干扰训练：软件系统会随机出现特定颜色和形状的图标，儿童需要按照颜色相同、形状相同或者颜色和形状都相同的规则在装置上选择相应的面。本发明装置上的四个色块是：红色三角，绿色方块，黄色五星和蓝色圆形。在开始本训练任务后，软件系统上会不断出现颜色和形状均随机的色块，并且文字显示比对条件。例如屏幕上出现红色方块并且显示“颜色”时，则训练对象需要将红色三角的一面朝上放置；屏幕上出现黄色圆形时并且显示“形状”时，则训练对象需要将蓝色圆形的一面朝上放置；屏幕上出现绿色方块并且显示“颜色+形状”时，则训练对象需要将绿色方块的一面朝上放置；当屏幕显示的题目无解时，用户则不触动装置即可。该训练是通过视觉和触觉来训练儿童对颜色和形状两种属性冲突情况下的认知和判断力。

(3)朗读训练：通过在软件系统中选择“朗读训练”任务后，界面上会显示一段文字，儿童对着装置的麦克风朗读，系统会根据音频来智能分析儿童的表达能力，并且推送文字的难度、形式、内容不同的语料。除了阅读文字之外，还可以通过“智能魔方”上的扬声器播放音频，让儿童进行跟读训练。

(4)平衡控制训练：测试对象需要按照软件系统的提示，将装置放在身体的特定位置，例如头上，手背上等，然后身体做出某种指定姿态(例如走路、单脚站立等)，同时尽量保证魔方平衡不倾斜，保持一定的时长，从而训练平衡力。

(5)短时记忆训练：软件系统会出现特定序列的形状和颜色的图标，儿童需要按照相同的顺序将魔方进行摆放，从而训练短时记忆力。这种训练也可以通过魔方的震动马达形成特定的震动序列，儿童通过按钮复现该序列来进行。

(6)短时记忆训练：在软件系统上显示三维立体的迷宫，并且显示一个虚拟的魔方，让儿童通过控制实物魔方来驱动软件系统中虚拟的魔方逃出迷宫，从而训练空间观察能力和逻辑思维能力。

二、数据处理流程

本发明提供的交互式辅助干预装置和系统能够实现基于数据的量化感知，包括数据采集和存储，数据检索与展示以及数据预处理。

数据的采集和存储：数据的采集和存储是通过设置固定的频率主动从传感器中读取数据或者以触发的方式当传感器接收到数据时候主动向数据处理模块发送数据。为了清楚地描述数据处理过程，定义以下符号：

表示训练过程中第i秒的运动传感器(加速度、陀螺仪、磁力计)的感知数据，表示交互魔方的实时姿态；

Au＝[aul，au2，…，aut]：表示麦克风获取的语音信号；

B＝[b1，b2，…，bi，…，bt]，b_j∈{0，1}：表示按钮记录的触发操作数据则是以固定频率采集形成一维向量，其中0表示按钮没有被按下，1表示按钮为按下状态。

除了设备感知数据以外，任务完成度相关数据也是本发明的重要数据组成部分。包括正确个数No_c，错误个数No_e，遗漏率No_m，错添率No_ea，总用时长time以及完成度rate等。数据的存储采用key-value形式，以jason格式存储在交互魔方的存储芯片上。

数据检索与展示：数据检索和展示主要是针对任务完成度数据，通过特定的用户id和时间戳选择相应的数据部分，解析jason格式数据提取语义信息，并通过无线形式发送到手机进行展示。

数据预处理：为了实现基于数据的训练效果量化评估，需要对采集数据进行算法建模前的预处理得到特征向量，其中针对运动传感器数据向量进行预处理。对具有相同采样时间的三维加速度，陀螺仪和磁力计数据进行合成，即

得到合成加速度数据{A₁，A₂，…，A_n，…}，合成陀螺仪数据{G₁，G₂，…，G_n，…}以及合成磁力计{M₁，M₂，…，M_n，…}。针对一个训练任务下的所有数据进行特征提取。典型的特征包括但不限于均值、标准方差、过零率、百分位数、关联系数、功率谱密度、频域熵、谱峰位置等，记为Xm。本应用实施例中的六个训练任务提取的特征向量如下：

训练任务	特征向量
		听觉划消训练	x<sup>1</sup>＝{No_c，No_e，No_m，No_ea，time}
形色干扰训练	x<sup>2</sup>＝{No_c，No_e，No_m，No_ea，time}
		朗读训练	X<sup>3</sup>＝{No_c，No_e，No_m，No_ea，time}
平衡控制训练	X<sup>4</sup>＝{Xm，time}
		短时记忆训练	X<sup>5</sup>＝{No_c，No_e，No_m，No_ea，time}
空间逻辑训练	x<sup>6</sup>＝{Xm，time，rate}

三、评估干预效果

评估干预效果需要基于上述训练任务的特征向量输入到预训练好的模型中，得到相应的结果。给定上述各训练任务的特征向量，则第i个训练任务的干预效果评分为tⁱ＝fⁱ(Xⁱ)，i＝1，…，6。整体的干预效果评价采用加权的方式得到，因此最终的干预效果为

Claims (10)

1.一种用于认知能力提升的交互式辅助干预系统，其特征在于，包括：

外形为立方体的交互装置，该交互装置侧面的四个面上分别具有预设颜色和形状的物块，该交互装置顶面具有触控按钮，该交互装置底面具有彩灯，该交互装置内部具有扬声器、麦克风、运动传感器和控制模块；

智能终端，用于生成交互任务，并将该交互任务发送至该控制模块，该控制模块根据该交互任务控制该彩灯的颜色和该扬声器的发声内容，在使用者通过该交互装置完成该交互任务的过程中，该控制模块实时获取该触控按钮、该麦克风和该运动传感器采集的交互信号，该智能终端通过分类模型处理该交互信号，得到该使用者的认知能力。

2.如权利要求1所述的用于认知能力提升的交互式辅助干预系统，其特征在于，该交互装置内还设有震动马达，以在该触控按钮被按下时产生实时的震动反馈。

3.如权利要求1所述的用于认知能力提升的交互式辅助干预系统，其特征在于，该交互任务包括听觉交互、视觉交互和触觉交互的训练任务。

4.如权利要求3所述的用于认知能力提升的交互式辅助干预系统，其特征在于，得到该认知能力的具体过程包括：

获取完成该交互任务的过程中第i秒的运动传感器的交互信号，

其中a表示加速度信号、g表示角速度、m表示磁力，x、y和z分别代表空间直角坐标系中横轴方向、纵轴方向和竖轴方向；

对具有相同采样时间的三维加速度，陀螺仪和磁力计数据进行合成，

得到合成加速度数据{A₁,A₂,…,A_n,…}，合成角速度数据{G₁,G₂,…,G_n,…}以及合成磁力数据{M₁,M₂,…,M_n,…}；

针对一个训练任务下的任务完成度、该合成加速度数据、该合成角速度数据和该合成磁力数据进行特征提取，得到特征向量，将该特征向量输入至该分类模型，得到各训练任务的评分，将采用加权各训练任务评分的方式得到该认知能力。

5.如权利要求3所述的用于认知能力提升的交互式辅助干预系统，其特征在于，该特征提取包括均值、标准方差、过零率、百分位数、关联系数、功率谱密度、频域熵和谱峰位置。

6.如权利要求1所述的用于认知能力提升的交互式辅助干预系统，其特征在于，该分类模型包括支持向量机、线性分类器、朴素贝叶斯、K近邻、决策树、集成模型和极限学习机。

7.如权利要求4所述的用于认知能力提升的交互式辅助干预系统，其特征在于，该训练任务包括听觉划消训练、形色干扰训练、朗读训练、平衡控制训练、短时记忆训练和短时记忆训练。

8.如权利要求6所述的用于认知能力提升的交互式辅助干预系统，其特征在于，该任务完成度包括：正确个数No_c、错误个数No_e、遗漏率No_m、错添率No_ea、总用时长time以及完成度rate。

9.如权利要求8所述的用于认知能力提升的交互式辅助干预系统，其特征在于，得到该特征向量Xm的具体过程包括：

该听觉划消训练的特征向量X¹，X¹＝{No_c,No_e,No_m,No_ea,time}；

该形色干扰训练的特征向量X²，X²＝{No_c,No_e,No_m,No_ea,time}；

该朗读训练的特征向量X³，X³＝{No_c,No_e,No_m,No_ea,time}；

该平衡控制训练的特征向量X⁴，X⁴＝{Xm,time}；

该短时记忆训练的特征向量X⁵，X⁵＝{No_c,No_e,No_m,No_ea,time}；

该空间逻辑训练的特征向量X⁶，X⁶＝{Xm,time,rate}。

10.如权利要求9所述的用于认知能力提升的交互式辅助干预系统，其特征在于，第i个训练任务的干预效果评分为tⁱ＝fⁱ(Xⁱ),i＝1,…,6；该认知能力为

Images