CN107997933B - 一种具有实时评估功能的儿童视功能训练康复系统 - Google Patents

Abstract

本发明公开了一种具有实时评估功能的儿童视功能训练康复系统。该系统包括交互界面、训练模块和评估模块，交互界面设有显示屏和摄像头组。训练模块提供训练康复任务，并通过交互界面呈现给待训练的儿童，交互界面通过摄像头组实时记录儿童进行训练时的眼部运动录像并传送给评估模块，评估模块对儿童的眼部运动进行识别，生成相应的评分和评语，并将其反馈至交互界面。本发明可以随时随地进行视功能训练，并实时得到训练效果的评估，更客观，更准确，同时摆脱了专业人员和训练室的限制，更方便，成本更低。

Description

一种具有实时评估功能的儿童视功能训练康复系统

技术领域

本发明属于儿童视功能训练领域，特别涉及了一种具有实时评估功能的儿童视功能训练康复系统。

背景技术

视觉是人类获取信息的主要渠道，是分辨形状的重要器官，在统整其它感知觉工作中有着重要的作用，能协助个体认识物体的客观存在性，扩大个体的活动范围，协助个体模仿、学习，刺激个体探索环境的动机等。对于视力残疾儿童来说，视觉受损后，视觉特有的优越性也就丧失了，视觉缺陷影响各种功能和各种功能相互联系的发展，限制了他们获得生活经验、运动发展及与同伴的交往，因而对个体的心理发生发展会造成一定的负面影响。

Corn(1983)认为，功能性视力是不断发育、成长的。有效的功能性视力不是自然而然就能获得的，而是需要长期的视觉活动和视觉信息的反馈才能渐渐形成，功能性视力可以通过有关的视觉经验刺激、视觉技能和技巧的一系列训练，即视功能训练而得到提高。我国学者沈云裳、李季平发表的“低视力儿童视觉功能训练和评估”，许保生、杨开宏发表的“低视力儿童教学中的视功能训练实验报告”结果也证明，视功能训练使视力障碍儿童学会了基本的视觉操作，掌握了视觉技能，促进了视觉潜力的开发，故而在一定程度上提高了他们的视觉运用能力，使功能视力得到改善，并以此推进了学习成绩的提高，更广泛更全面地接触和认识世界。

目前的视功能训练都是在专门创设的训练室环境中进行，由专业人员进行辅导并对训练效果进行评估，进而制定下一步的训练计划。在训练室进行训练康复成本极高，且专业人员和训练室的数量远远满足不了日益增多的视力障碍儿童。另外，由于受训练儿童年龄太小不会表达或者害羞不愿表达，依靠训练师进行康复状态的评估并不准确，容易导致对训练效果的评估发生偏差。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种具有实时评估功能的儿童视功能训练康复系统，利用该系统随时随地进行视功能训练，并能实时得到训练效果的评估，同时摆脱专业人员和训练室的限制。

为了实现上述技术目的，本发明的技术方案为：

一种具有实时评估功能的儿童视功能训练康复系统，包括交互界面、训练模块和评估模块，交互界面设有显示屏和摄像头组；训练模块提供训练康复任务，并通过交互界面呈现给待训练的儿童，交互界面通过摄像头组实时记录儿童进行训练时的眼部运动录像并传送给评估模块，评估模块对儿童的眼部运动进行识别，生成相应的评分和评语，并将其反馈至交互界面。

进一步地，所述眼部运动是指眼球的移动方向和轨迹。

进一步地，所述评估模块的工作流程如下：

(1)实时读取交互界面记录的眼部运动录像；

(2)对眼部运动录像进行分析，通过眼球识别算法识别出眼球的移动方向和轨迹；

(3)读取当前训练康复任务的内容；

(4)将步骤(2)得到的识别结果与当前训练康复任务对应的特征库进行匹配，得到匹配结果；

(5)根据匹配结果生成相应的评分，并从评语库中匹配出最佳评语，反馈至交互界面。

进一步地，步骤(2)中所述眼球识别算法的步骤如下：

(21)读取眼部运动录像视频帧；

(22)判断该帧图片中是否存在人脸，如果存在，采用人脸识别算法提取人脸，然后进入步骤(23)；如果不存在，返回步骤(21)；

(23)以人脸图像左下角为原点，以正右方向为x轴正方向、正上方向为y轴正方向，在提取的人脸图像上建立平面直角坐标系，根据数据统计分析得到眼部区域占人脸的比重特征：在x轴方向区域x轴总长度的0.15-0.85之间，在y轴方向为区域y轴总长度的0.3-0.55之间；基于此对人眼粗略定位，框出两眼所在的矩形区域；

(24)根据眼球颜色与人脸肤色、眼白区域的明显差异，采用迭代阈值选择算法确定一个阈值a；

(25)将阈值a乘以统计经验值g，得到精确阈值b，采用精确阈值b对双眼所在的矩形区域进行分割二值化，得到二值化图片A；

(26)利用形态学方法对二值化图片A进行处理，先腐蚀后膨胀，去除与眼球部分灰度值近似的部分；

(27)找出二值化图片A中所有值为1的连通区域，并根据连通区域的面积进行排序；

(28)取面积最大的两块连通区域，即为两只眼球，位于左边的记为C1，位于右边的记为C2；

(29)计算C1、C2的重心O1、O2；

(210)分别以O1、O2为出发点，计算从东、西、南、北、东南、东北、西南、西北八个方向到C1和C2区域边缘的距离，并排序；分别选取距离最大的三个边缘点进行圆形拟合，用圆心修正C1、C2的重心为O1’、O2’；

(211)对O1’、O2’进行动态轨迹跟踪。

进一步地，利用两眼所在的矩形区域的灰度分布和眼球占矩形区域的灰度比重反推分割阈值，通过数据统计表明，该分割阈值与迭代阈值选择算法计算出来的阈值比值在0.35-0.45之间，取该阈值比值区间的平均值0.4作为步骤(25)所述统计经验值。

进一步地，步骤(4)中所述特征库和步骤(5)所述评语库均来自于临床经验的专家库。

进一步地，所述训练模块提供的训练康复任务包括刺激、凝视、追视、转移和手眼协调。

进一步地，训练康复任务所使用的图案的形状、颜色、尺寸、切换速度、个数和运动变化模式均有多种选择。

采用上述技术方案带来的有益效果：

(1)本发明可以在现有的带有摄像头的移动设备，例如智能手机、手提电脑上实现；也可以在特制设备上实现，能够随时随地进行训练，方便快捷；

(2)本发明突破了由专业人员指导在传统训练康复室进行训练的限制，可随时随地进行训练，不用医生指导，节省了时间成本和经济成本；

(3)本发明带有实时评估功能，评估综合了相关领域专家的临床经验，比人工评估更客观更准确；突破了儿童年龄太小不能表达或者害羞不愿表达的限制，具有更好的适用性。

附图说明

图1是本发明的训练康复任务示意图；

图2是本发明的系统组成示意图；

图3是本发明的眼球识别算法流程图；

图4是本发明的眼球识别算法的每一步效果示意图；

图5是本发明的眼球动态跟踪示意图；

图6是本发明的一种交互界面的示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示是本发明的训练康复任务示意图，图中显示了五种训练任务，分别是刺激、凝视、追视、转移、手眼协调。图1中的(a)展示了黑白棋盘刺激训练任务，(b)展示了栅栏刺激训练任务；训练过程中黑白棋盘/栅栏格填充整个屏幕，从左至右水平滑动，棋盘/栅栏有3种全尺寸、3级切换时间可供选择。棋盘一定是方格，三种尺寸分大中小，为：1.25cm、0.6cm、0.2cm；栅栏格的三种尺寸是：3cm、1.5cm、0.75cm。切换时间定义为同一物体从左至右完成屏幕滑动的时间，分快中慢3档，分别为：1s、5s、10s。图1中的(c)展示了凝视训练任务，纯色圆形图案在黑色背景上固定位置闪烁，大小在全尺寸、1/2尺寸间切换、1/4尺寸间切换，有3种全尺寸、3级闪烁时间，图案颜色可以有红、黄、蓝、绿等。图1中的(d)展示了追视训练任务，纯色圆形图案在黑色背景上平滑移动。移动的轨迹为：从左向右直线移动，到边后上下反复走45度斜边返回左侧，如此反复。在单位移动时间内，应水平移动屏幕尺寸的1/8宽度，有3种尺寸、3级移动时间可供选择，移动的轨迹还可以做其他设计。另外单独增加直线滑动效果，滑动完成后，消失一段时间后(例如5s)从随机位置再次开始直线滑动过程。图1中的(e)展示了转移训练任务，纯色圆形图案在黑色背景上4个固定位置随机出现，3种尺寸、3级转移时间可供选择。另外图案出现的数量和位置可做其他设计。图1中的(f)展示了手眼协调训练任务，纯色圆形图案在黑色背景上若干个固定位置随机出现(根据所选择的尺寸，按照圆形图案的外界矩形划分位置)。手指(鼠标)点击到对应的位置(图案出现的外接矩形内部任意一点)后，发出“正确”声音；点击到错误位置后，发出“错误”声音，并进行伸缩效果的闪烁。在设定的切换时间内未点击正确位置，自动切换下一位置；若点击到正确位置，自动切换下一位置。有3种尺寸、3级切换时间可供选择。图1中显示的五种训练任务可供选择的3种尺寸、3级切换时间为默认，也可以做其他的设计，若干种尺寸和若干级切换时间；图1中显示的凝视、追视、转移、手眼协调等四种使用的图形默认为纯色圆形，颜色可以有红、黄、蓝、绿等，另外图案还可以自定义，使用风景图片、动物图片、家人图片等。该系统还可以添加新的训练康复任务。

如图2所示是本发明的系统组成示意图，该系统包括交互界面、训练模块和评估模块，其中训练模块，用于提供训练康复任务，并通过交互界面呈献给视功能障碍儿童同时将当前任务同步到评估模块用于实时评估时匹配，其中训练康复任务是刺激、凝视、追视、转移、手眼协调，种类还可以根据需求进行添加；其中交互界面，带有摄像头组，除用于显示训练康复任务外，还实时记录儿童进行训练时的眼部运动并反馈给所述评估模块，另外训练康复任务的配置也通过交互界面，例如训练任务种类、图案、颜色、尺寸、切换时间等的选择配置；其中评估模块，用于实时对眼部运动即眼球运动方向与轨迹进行识别，并根据从训练模块同步过来的当前任务进行匹配并生成相应的评分和评语，实时呈现到交互界面上。

在进行视功能训练康复前，可根据训练康复专家和自己的意愿对训练任务进行配置。其中评估模块评估流程的具体步骤如图2所示：

步骤一、实时读取交互界面记录的眼部运动录像；

步骤二、对眼部运动录像进行分析，用眼球识别算法识别出眼球移动方向与轨迹；

步骤三、读取当前训练康复任务内容；

步骤四、将步骤二得到的识别结果与步骤三任务对应的特征库进行匹配，得到匹配结果；

步骤五、根据步骤四得到的匹配结果生成相应的评分，从评语库中匹配出最佳评语反馈到交互界面。

其中步骤四中特征库与步骤五中评语库来自于专家库，专家库由搜集了多年的训练康复临床经验形成。

如图3所示是本发明的眼球识别算法流程图，图4是本发明眼球识别算法的每一步效果示意图，图5是本发明眼球动态跟踪示意图。录训练康复过程时，由于要保证评估的实时性，所以选择的帧数是12帧/秒，其中图4中的(a)为实时视频帧的其中一帧，以这一帧为例进行眼球识别算法的说明。首先要判断该帧照片中是否存在人脸，若存在则通过ViolaJones等经典算法等经典人脸提取算法提取人脸，图4中的(b)为用Viola Jones算法提取的图4(a)中的人脸效果图。通过数据统计分析可知眼部区域占人脸的比重特征：在x轴方向为区域x轴总长度的0.15-0.85之间，在y轴方向为区域y轴总长度的0.3-0.55之间；因此可以对人眼粗略定位，框出两眼所在的矩形区域，效果图为图4中的(c)。图4中的(d)为精确阈值分割和形态学处理后的二值化图像效果图，通过对人眼部的观察，可以看出人脸肤色和眼球颜色是有明显差异，可以对人眼做阈值分割，以提取眼球部分；首先对其进行迭代阈值选择算法确定阈值a，由于睫毛和眉毛部分的灰度值与眼球部分是接近的，所以直接用阈值a对眼球的提取效果并不好；观察可知，眼球比睫毛和眉毛灰度值更小一些，利用两眼所在的矩形区域的灰度分布和眼球占矩形区域的灰度比重反推分割阈值，大量的数据统计表明该分割阈值与迭代阈值选择算法计算出来的阈值比值在0.35-0.45之间，因此取平均这0.4乘上阈值a可得到一精确阈值b，利用阈值b进行图像分割二值化可更精确的提取眼球部分；再利用形态学方法，对两眼所在的矩形区域进行先腐蚀后膨胀的处理，进一步去除睫毛根部的影响，更好的提取出眼球部分。从图4中的(d)可知，眼球区域在二值化图像中是连通对象，是连通对象中两个面积最大的，计算出所有连通对象的面积，对该些面积进行排序,取面积最大的两块，即为两只眼球，位于左边的记为C1，右边的记为C2；计算C1和C2的重心分别为O1和O2。由于眼球的运动，所以提取的眼球再经过处理之后仍然会有一部分是不规则的，人眼是圆形，因此我们分别以O1和O2为出发点，计算从东、西、南、北、东南、东北、西南、西北八个方向到C1和C2区域边缘的距离，并排序；分别选取距离最大的三个边缘点进行圆形拟合，用圆心修正C1，C2的重心为O1'和O2'。图5中的(a)为人脸简图，实时识别出每帧图像中眼球的重心(相对不动点)，并动态跟踪，得到眼球运动轨迹，如图5中的(b)眼球动态跟踪示意图。

如图6所示是交互界面示意图，图6中的(a)展示了选择刺激训练任务之后的交互界面。训练过程中黑白棋盘填充整个屏幕，若选择栅栏，即栅栏格填充整个屏幕；图6中的(b)展示了选择凝视、追视、转移、手眼协调等训练任务之后的交互界面。训练过程中黑色背景填充整个屏幕。将任务设置成刺激时，可以设置棋盘或者栅栏，并通过尺寸和切换时间进度条调整尺寸大小和切换速度；而图案设置、颜色选择均不可操作。当任务设置成非刺激的训练任务后，棋盘和栅栏均不可操作；可以设置图案类型，红黄蓝绿等颜色并通过尺寸和切换时间进度条调整尺寸大小和切换速度。另外在训练过程中在屏幕下方实时显示相应的评分和评语，即图6中显示“您已使用本软件n分钟，祝您早日康复”处。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种具有实时评估功能的儿童视功能训练康复系统，其特征在于：该系统包括交互界面、训练模块和评估模块，交互界面设有显示屏和摄像头组；训练模块提供训练康复任务，并通过交互界面呈现给待训练的儿童，交互界面通过摄像头组实时记录儿童进行训练时的眼部运动录像并传送给评估模块，评估模块对儿童的眼部运动进行识别，生成相应的评分和评语，并将其反馈至交互界面；所述评估模块的工作流程如下：

（1）实时读取交互界面记录的眼部运动录像；

（2）对眼部运动录像进行分析，通过眼球识别算法识别出眼球的移动方向和轨迹；

所述眼球识别算法的步骤如下：

（21）读取眼部运动录像视频帧；

（22）判断该帧图片中是否存在人脸，如果存在，采用人脸识别算法提取人脸，然后进入步骤（23）；如果不存在，返回步骤（21）；

（23）以人脸图像左下角为原点，以正右方向为x 轴正方向、正上方向为y轴正方向，在提取的人脸图像上建立平面直角坐标系，根据数据统计分析得到眼部区域占人脸的比重特征：在x 轴方向为区域x 轴总长度的0.15-0.85 之间，在y轴方向为区域y 轴总长度的0.3-0.55 之间；基于此对人眼粗定位，框出两眼所在的矩形区域；

（24）根据眼球颜色与人脸肤色、眼白区域的明显差异，采用迭代阈值选择算法确定一个阈值a；

（25）将阈值a 乘以统计经验值g，得到精确阈值b，采用精确阈值b 对双眼所在的矩形区域进行分割二值化，得到二值化图片A；

（26）利用形态学方法对二值化图片A 进行处理，先腐蚀后膨胀，去除与眼球部分灰度值近似的部分；

（27）找出二值化图片A 中所有值为1 的连通区域，并根据连通区域的面积进行排序；

（28）取面积最大的两块连通区域，即为两只眼球，位于左边的记为C1，位于右边的记为C2；

（29）计算C1、C2 的重心O1、O2；

（210）分别以O1、O2 为出发点，计算从东、西、南、北、东南、东北、西南、西北八个方向到C1 和C2 区域边缘的距离，并排序；分别选取距离最大的三个边缘点进行圆形拟合，用圆心修正C1、C2 的重心为O1’、O2’；

（211）对O1’、O2’进行动态轨迹跟踪；

（3）读取当前训练康复任务的内容；

（4）将步骤（2）得到的识别结果与当前训练康复任务对应的特征库进行匹配，得到匹配结果；

（5）根据匹配结果生成相应的评分，并从评语库中匹配出最佳评语，反馈至交互界面。

2.根据权利要求1 所述具有实时评估功能的儿童视功能训练康复系统，其特征在于：利用两眼所在的矩形区域的灰度分布和眼球占矩形区域的灰度比重反推分割阈值，通过数据统计表明，该分割阈值与迭代阈值选择算法计算出来的阈值比值在0.35-0.45 之间，取该阈值比值区间的平均值0.4 作为步骤（25）所述统计经验值。

3.根据权利要求1 所述具有实时评估功能的儿童视功能训练康复系统，其特征在于：步骤（4）中所述特征库和步骤（5）所述评语库均来自于临床经验的专家库。

4.根据权利要求1-3 中任意一项所述具有实时评估功能的儿童视功能训练康复系统，其特征在于：所述训练模块提供的训练康复任务包括刺激、凝视、追视、转移和手眼协调。

5.根据权利要求1-3 中任意一项所述具有实时评估功能的儿童视功能训练康复系统，其特征在于：训练康复任务所使用的图案的形状、颜色、尺寸、切换速度、个数和运动变化模式均有多种选择。

Images