CN112686121A - 一种面向孤独症的视觉运动整合能力智能化识别系统 - Google Patents

Abstract

本发明公开了一种面向孤独症的视觉运动整合能力智能化识别系统，包括：用户登录模块、控制与通信模块、游戏提供模块、游戏绩效分析模块、视觉注意感知模块、手部动作感知模块、视觉感知判定模块、手眼协调判定模块、精细动作识别模块和视觉运动整合能力识别模块。本发明从视觉感知、精细动作、手眼协调三个方面对视觉运动整合进行智能化识别，可对孤独症的视觉运动整合能力进行综合全面精准地识别，并且针对其中的手眼协调能力和精细动作能力，设计合理的计算方法，使得识别更为精细化。

Description

一种面向孤独症的视觉运动整合能力智能化识别系统

技术领域

本发明属于特殊教育以及人机交互技术领域，更具体地，涉及一种面向孤独症的视觉运动整合能力智能化识别系统。

背景技术

视觉运动整合指的是人们接受视觉输入与动作输出的整合，即人类的视觉感知与动作技能的协调工作能力，是孤独症适应性行为的基础，并且影响其他多方面能力的发展，如模仿能力、语言、日常生活技能，甚至是入学后的阅读能力和写作能力。儿童的多元智能发展需要良好的视觉运动整合能力才能实现。

视觉运动整合的传统识别方法主要表现为使用纸笔临摹或描边图形。这种识别任务适用于各类儿童视觉运动整合识别，并不完全特定适用于孤独症儿童。尤其是学前孤独症儿童，受其认知能力及症状严重程度影响，难以完成这种识别任务。其次，视觉运动整合识别的评分依赖于专家主观判断，且为二级评分法，属于定性评价，难以表现个体差异。因此，迫切需要客观、量化、易操作的智能化识别手段。

信息技术为孤独症儿童干预提供了一种实践新途经。现有技术中提出了标准量表的信息化表现方式，以期克服传统识别中的主观判断、定性评价等问题，以正确率、完成时间等指标来判定儿童的视觉运动整合水平，这类利用信息技术进行识别的现有技术中，都存在以下问题：任务难度不适用于认知能力受损的儿童或低龄儿童，且忽略了对任务过程中的动态测量，不能体现任务完成方式表现出的个体差异，难以满足精细化识别的需求，也就无法为精准干预提供强有力的依据。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了种面向孤独症的视觉运动整合能力智能化识别系统，能够客观地、实时地、准确地对孤独症儿童的视觉运动整合能力进行识别。

为实现上述目的，按照本发明的第一方面，提供了一种面向孤独症的视觉运动整合能力智能化识别系统，包括：游戏提供模块、游戏绩效分析模块、视觉注意感知模块、手部动作感知模块、视觉感知判定模块、手眼协调判定模块、精细动作识别模块和视觉运动整合能力识别模块；

所述游戏提供模块包括视觉游戏提供模块、手眼协调游戏提供模块、精细动作游戏提供模块；

所述游戏绩效分析模块用于采集用户完成所述视觉游戏提供模块提供的游戏的游戏绩效数据；

所述视觉注意感知模块用于采集用户完成所述手眼协调游戏提供模块提供的游戏时的视觉注视数据；

所述手部动作感知模块用于采集用户完成所述手眼协调感游戏提供模块和所述精细动作游戏提供模块提供的游戏时的手部动作数据；

所述视觉感知判定模块用于根据所述游戏绩效数据输出视觉感知能力值；

所述手眼协调判定模块用于根据所述手部动作数据和所述视觉注视数据输出手眼协调能力值；

所述精细动作识别模块用于根据所述手部动作数据输出精细动作能力值；

所述视觉运动整理能力识别模块用于根据所述视觉感知能力值、所述手眼协调能力值和所述精细动作能力值输出视觉运动整理能力值。

优选的，所述手部动作数据包括：用户单点触摸屏幕的坐标、单点触摸时长、多点触摸时长、以及触摸时拇指和食指间距离。

优选的，所述视觉注视数据包括用户注视屏幕的坐标；

所述手眼协调判定模块用于根据所述用户注视屏幕的坐标和所述用户单点触摸屏幕的坐标之间的相关性输出手眼协调能力值。

优选的，所述手眼协调能力值的计算方法为：

其中，S₂为所述手眼协调能力值，2代表所述手眼协调能力强，1代表所述手眼协调能力中等，0代表所述手眼协调能力差，

和

为预先设置的阈值，C为所述用户注视屏幕的坐标和所述用户单点触摸屏幕的坐标之间的相关性；

将用户注视屏幕的坐标记为(E_x,E_y)，将用户单点触摸屏幕的坐标记为(H_x,H_y)，则相关性C的计算公式为：

C＝(cov(E_x,H_x)+cov(E_y,H_y))/2,

其中，所述cov()为相关性计算函数。

优选的，所述视觉感知能力值的计算公式为：

其中，S₁为所述视觉感知能力值，2代表所述视觉感知能力强，1代表所述视觉感知能力中等，0代表所述视觉感知能力差；

和

分别预先设置的阈值，A游戏得分，T为游戏耗时。

优选的，所述精细动作能力值的计算方法为：

将单点触摸时长记为T_S，触摸时拇指和食指间距离记为D，以及多点触摸时长记为T_M，将数据(T_S,D,T_M)输入到模式识别算法训练的分类器，输出所述精细动作能力值。

优选的，所述视觉运动整合能力值的计算方法为：

将所述视觉感知能力值记为S₁，将所述手眼协调能力值记为S₂，将所述精细动作能力值记为S₃，将数据(S₁,S₂,S₃)输入到用模式识别算法训练的分类器，输出所述视觉运动整合能力值。

总体而言，本发明与现有技术相比，具有有益效果：从视觉感知、精细动作、手眼协调三个方面对视觉运动整合进行智能化识别，可对孤独症的视觉运动整合缺陷进行综合全面精准地识别，能为医疗诊断提供精细化的补充信息，且为特殊教育情境中的持续性识别提供过程性支持，为个性化的干预方案提供客观依据，并协助特殊教育情境中及时调整教学目标及教学方式以提高教学效果。并且针对其中的手眼协调能力和精细动作能力，设计合理的计算方法，使得识别更为精细化。

附图说明

图1是本发明实施例的智能化识别系统的原理示意图；

图2是本发明实施例的智能化识别系统的组成示意图；

图3是本发明实施例的通信与控制模块的示意。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例的一种面向孤独症的视觉运动整合能力智能化识别系统，通过引导儿童参与电脑游戏；根据游戏绩效量化识别儿童的视觉感知能力；采集儿童在游戏过程中的视觉注视数据；记录儿童在游戏过程中的手部动作数据；根据同步的视觉注视数据和手部动作数据，量化识别儿童的手眼协调能力；根据手部动作数据，智能识别儿童的精细动作能力；融合儿童的视觉感知、手眼协调和精细动作三项指标，智能化分析儿童的视觉运动整合能力。

如图2所示，本发明实施例的一种面向孤独症的视觉运动整合能力智能化识别系统，包括：03游戏提供模块、04游戏绩效分析模块、05视觉感知判定模块、06视觉注意感知模块、07手部动作感知模块、08手眼协调判定模块、09精细动作识别模块和10视觉运动整合能力识别模块。优选的，智能化识别系统还包括01用户登录模块和02控制与通信模块。

游戏提供模块包括视觉游戏提供模块、手眼协调游戏提供模块、精细动作游戏提供模块。

游戏绩效分析模块用于采集用户完成视觉游戏提供模块提供的游戏的游戏绩效数据。

视觉注意感知模块用于采集用户完成手眼协调游戏提供模块提供的游戏时的视觉注视数据。

手部动作感知模块用于采集用户完成手眼协调感游戏提供模块和精细动作游戏提供模块提供的游戏时的手部动作数据。

视觉感知判定模块用于根据游戏绩效数据输出视觉感知能力值。

手眼协调判定模块用于根据手部动作数据和视觉注视数据输出手眼协调能力值。

精细动作识别模块用于根据手部动作数据输出精细动作能力值。

视觉运动整理能力识别模块用于将视觉感知能力值、手眼协调能力值和精细动作能力值输入到用模式识别算法训练的分类器，输出视觉运动整理能力值。

下面说明每个模块的优选实现方式。

(1)用户登录模块，用于用户身份信息的识别与系统的登录。包括摄像头，用户登陆界面，人脸识别子模块。摄像头，安装于显示屏顶部中间，用于采集用户的人脸图像；用户登陆界面，用于实时显示摄像头采集的图像，并提示用户调整人脸到指定的识别区域内；人脸识别子模块，对指定区域内的人脸图像进行识别以判断用户身份，当用户身份被识别后，则启动系统的控制与通信模块。

进一步地，用户登录界面和人脸识别子模块，可配置在同一计算机上，为了加速人脸识别过程，计算机需配置GPU。

(2)控制与通信模块，用于接收用户的操作指令，并发出相应的控制信号。包括操控输入设备(21)，信号控制子模块(22)。

(21)操控输入设备使用可触摸显示屏，作为用户进行人机交互的硬件媒介。

(22)信号控制子模块可根据用户的操作，对游戏绩效分析模块发出启动，切换和关闭等控制指令；对手部动作感知模块发出启动，屏幕触碰，终止等控制指令，如图3所示。

(3)游戏提供模块，游戏提供模块提供的游戏根据视觉运动整合标准识别量表及考查范式设计。视觉游戏提供模块提供的游戏用于识别其视觉感知能力，可涵盖儿童的视觉匹配能力、视觉辨别、视觉填充、图形恒常性、空间关系等能力的考察。手眼协调游戏提供模块提供的游戏可为简单的点击类游戏，用于识别儿童的手眼协调能力，在儿童执行点击任务时记录其人眼注视屏幕的坐标和单点触摸屏幕的坐标，可量化其手眼协调能力。精细动作游戏提供模块提供的游戏可为多点触摸任务，用于识别儿童的精细动作能力。

(4)游戏绩效分析模块，用于记录儿童完成游戏的得分A和耗时T，并计算二者之间的比值。

(5)视觉感知判定模块，用于根据游戏绩效量化评判视觉感知能力。

进一步地，儿童的视觉感知能力通过游戏绩效量化得到，即

其中，2代表能力强，1代表能力中等，0代表能力差；

和

分别是游戏绩效的高低阈值，可由少量样本实证研究获得。

(6)视觉注意感知模块，用于监测儿童的视觉注视数据。视觉注意感知模块读取并保存由眼动仪采集的儿童注视点在屏幕上的坐标(E_x,E_y)。

进一步地，眼动仪是用于记录儿童的注视区域的硬件媒介，可采用Tobii X120，Tobii Eye Tracker 4C，Tobii Pro Glasses2中的一种。

(7)手部动作感知模块，用于读取并保存由触摸屏感知的儿童的手部动作数据，包括单点触摸屏幕的坐标(H_x,H_y)、单点触摸时长T_S、触摸时拇指和食指间距离D，以及多点触摸时长T_M。

(8)手眼协调判定模块，用于根据视觉注视数据和手部动作数据量化评判手眼协调能力。

进一步地，手眼协调能力的判定方法为根据人眼注视屏幕的坐标与单点触摸屏幕的坐标之间的相关性量化得到，即

其中，2代表能力强，1代表能力中等，0代表能力差；C＝(cov(E_x,H_x)+cov(E_y,H_y))/2,cov()为相关性计算函数；

和

分别是人眼注视屏幕的坐标与单点触摸屏幕的坐标之间的相关性的高低阈值，可由少量样本实证研究获得。具体地，由于评估过程中人眼注视屏幕的坐标与单点触摸屏幕的坐标是随着时间变化的，因此具体计算相关性时，Ex，Ey，Hx，Hy可以理解为在同一时间段内采集多组数据所构成的向量，即眼睛注视点随时间变化的横纵坐标向量以及手指触碰点随时间变化的横纵坐标向量，相关性计算是指同一时间段内眼睛注视点横坐标向量与触碰点横坐标向量之间的相关性以及眼睛注视点纵坐标向量与触碰点纵坐标向量之间的相关性的二者之和。

(9)精细动作识别模块，用于根据手部动作特征智能评判精细动作能力。

进一步地，所述智能评判精细动作能力采用模式识别算法训练的分类器1。分类器1的输入为归一化的手部动作特征(T_S,D,T_M)。输出为精细动作能力等级0,1,2，2代表能力强，1代表能力中等，0代表能力差。由于(T_S,D,T_M)是随着时间变化的，取多个不同时刻的(T_S,D,T_M)的均值作为分类器的输入。

进一步，分类器1采用逻辑回归、支撑向量机及决策树中的任意一种。

(10)视觉运动整合能力识别模块，用于根据视觉感知、手眼协调、精细动作三项指标智能评判视觉运动整合能力。

进一步地，所述智能评判视觉运动整合能力采用模式识别算法训练的分类器2。分类器2的输入为视觉感知、手眼协调、精细动作三项指标(S₁,S₂,S₃)，输出为0、1、2三种级别，2代表能力强，1代表能力中等，0代表能力差。

进一步地，所述分类器2采用逻辑回归、支撑向量机及决策树中的任意一种。

优选的，智能化识别系统还包括干预模块，干预模块用于根据视觉感知能力值、手眼协调能力值和精细动作能力值控制所述游戏提供模块提供不同的游戏干预方案给儿童。例如，若视觉感知能力值低，则提供视觉感知干预方案：游戏名：形状宝宝回家，准备上有各种几何形状的拼板，要求儿童能把拿出的形状放回拼版原来的位置。若手眼协调能力值低，则提供手眼协调干预方案：游戏名：舀豆子准备两只相同的碗，其中一只放有硬币，豆子，玻璃球等物品，要求儿童使用勺子将碗中的物品移动到另一只碗中。例如，若精细动作能力值低，则提供精细动作干预方案：游戏名：解绳子，将每根绳子打若干个结，要求儿童逐个解开。

下面以两组儿童(孤独症儿童组和典型发展儿童组)的视觉运动整合识别实验为例，对本发明作进一步的说明。

为考查视觉运动整合的各子项目，共设计开发了五款电脑游戏。其中两款游戏用于识别其视觉感知能力，涵盖了儿童的视觉匹配能力、视觉辨别、视觉填充、图形恒常性、空间关系等能力的考察。两款游戏为简单的点击类游戏，用于识别儿童的手眼协调能力，在儿童执行点击任务时记录其人眼注视屏幕的坐标和单点触摸屏幕的坐标，可量化其手眼协调能力。最后一款游戏为多点触摸任务，用于识别儿童的精细动作能力。

实验过程中使用到的硬件设备包括：计算机(带触摸屏，用于感知和记录手部动作数据)，眼动仪(用于感知和记录视觉注视数据)。被测试儿童试坐在计算机显示器前约45cm处，儿童通过触摸电脑屏幕完成考查任务。其中，此处使用的眼动仪为Tobii Eye Tracker4C。

在学校教师陪同下，每个被试单独进行实验，孤独症组和典型发展组在相同的实验环境下使用相同的实验材料和实验流程。实验经儿童熟悉设备、眼动仪校准等准备阶段至正式实验结束，共计大约8分钟，时长因儿童能力差异有出入。实验过程中视觉注意数据、手部触摸数据各放置在每个儿童的单独文件夹中。

儿童的视觉感知能力由游戏绩效来评定，游戏绩效为游戏得分与游戏耗时的比值。统计结果显示，孤独症组的游戏绩效为0.058，典型发展组的游戏绩效为0.137。

儿童的手眼协调能力由眼动仪所记录的注视点坐标与触摸屏记录的手部触摸点坐标来计算相关性，实验结果显示，孤独症组的手眼协调相关系数为0.621，典型发展组的手眼协调相关系数为0.802。

儿童的精细动作通过人眼注视屏幕的坐标与单点触摸屏幕的坐标之间的相关性量化表示实验结果显示，孤独症组触摸时拇指和食指间距离为181.8像素，典型发展组的对应值为122.0像素，此外，多点触摸时长为，孤独症组的平均值1153.1ms，典型发展组的平均值401.6ms。

将所述视觉感知、手眼协调、精细动作所提取特征进行归一化处理，并输入分类器，输出儿童视觉运动整合级别；所述分类器采用逻辑回归、支撑向量机及决策树中的任意一种。

得到儿童视觉运动整合识别值为0、1、2三种级别，0代表能力强，1代表能力中等，2代表能力差。

基于本实验采集的各维度数据，最终得到分类准确率分别为96.67％(支持向量机)，95％(决策树)，93.33％(逻辑回归)。

本发明将所述视觉注意感知模块、视觉运动整合能力判别模块同时部署一台计算机或两台计算机，并无显著差别。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向孤独症的视觉运动整合能力智能化识别系统，其特征在于，包括：游戏提供模块、游戏绩效分析模块、视觉注意感知模块、手部动作感知模块、视觉感知判定模块、手眼协调判定模块、精细动作识别模块和视觉运动整合能力识别模块；

所述游戏提供模块包括视觉游戏提供模块、手眼协调游戏提供模块、精细动作游戏提供模块；

所述游戏绩效分析模块用于采集用户完成所述视觉游戏提供模块提供的游戏的游戏绩效数据；

所述视觉注意感知模块用于采集用户完成所述手眼协调游戏提供模块提供的游戏时的视觉注视数据；

所述手部动作感知模块用于采集用户完成所述手眼协调感游戏提供模块和所述精细动作游戏提供模块提供的游戏时的手部动作数据；

所述视觉感知判定模块用于根据所述游戏绩效数据输出视觉感知能力值；

所述手眼协调判定模块用于根据所述手部动作数据和所述视觉注视数据输出手眼协调能力值；

所述精细动作识别模块用于根据所述手部动作数据输出精细动作能力值；

所述视觉运动整理能力识别模块用于将所述视觉感知能力值、所述手眼协调能力值和所述精细动作能力值输入到用模式识别算法训练的分类器，输出视觉运动整理能力值。

2.如权利要求1所述的一种面向孤独症的视觉运动整合能力智能化识别系统，其特征在于，所述手部动作数据包括：用户单点触摸屏幕的坐标、单点触摸时长、多点触摸时长、以及触摸时拇指和食指间距离。

3.如权利要求2所述的一种面向孤独症的视觉运动整合能力智能化识别系统，其特征在于，所述视觉注视数据包括用户注视屏幕的坐标；

所述手眼协调判定模块用于根据所述用户注视屏幕的坐标和所述用户单点触摸屏幕的坐标之间的相关性输出手眼协调能力值。

4.如权利要求3所述的一种面向孤独症的视觉运动整合能力智能化识别系统，其特征在于，所述手眼协调能力值的计算方法为：

其中，S₂为所述手眼协调能力值，2代表所述手眼协调能力强，1代表所述手眼协调能力中等，0代表所述手眼协调能力差，

和

为预先设置的阈值，C为所述用户注视屏幕的坐标和所述用户单点触摸屏幕的坐标之间的相关性；

将用户注视屏幕的坐标记为(E_x，E_y)，将用户单点触摸屏幕的坐标记为(X_x，H_y)，则相关性C的计算公式为：

C＝(cov(E_x，H_x)+cov(E_y，H_y))/2，

其中，所述cov()为相关性计算函数。

5.如权利要求1所述的一种面向孤独症的视觉运动整合能力智能化识别系统，其特征在于，所述视觉感知能力值的计算公式为：

其中，S₁为所述视觉感知能力值，2代表所述视觉感知能力强，1代表所述视觉感知能力中等，0代表所述视觉感知能力差；

和

分别预先设置的阈值，A游戏得分，T为游戏耗时。

6.如权利要求2所述的一种面向孤独症的视觉运动整合能力智能化识别系统，其特征在于，所述精细动作能力值的计算方法为：

将单点触摸时长记为T_s，触摸时拇指和食指间距离记为D，以及多点触摸时长记为T_M，将数据(T_S，D，T_M)输入到模式识别算法训练的分类器，输出所述精细动作能力值。

7.如权利要求1所述的一种面向孤独症的视觉运动整合能力智能化识别系统，其特征在于，所述视觉运动整合能力值的计算方法为：

将所述视觉感知能力值记为S₁，将所述手眼协调能力值记为S₂，将所述精细动作能力值记为S₃，将数据(S₁，S₂，S₃)输入到用模式识别算法训练的分类器，输出所述视觉运动整合能力值。

Images