CN110781734A - 一种基于纸笔交互的儿童认知游戏系统 - Google Patents

Abstract

本发明公开了一种基于纸笔交互的儿童认知游戏系统，包括交互单元、图片处理单元、网络训练模块及识别结果反馈模块；交互单元包括：知识库、投影仪用以依据用户选择的模式投影对应内容的图片或视频、纸张用以使用户根据投影的内容在带有标识块的纸张上进行手写、摄像头用以采集用户根据投影内容在带有标识块的纸张上手写的内容得到摄像头采集的图片、图片处理单元用以对摄像头采集的图片进行处理、网络训练模块将图片处理单元处理得到的字符图像作为深度神经网络的输入训练得到每个字符图像的识别结果、识别结果反馈模块。本发明符合用户习惯、视力友好、自然健康、新颖合理、便于控制并使用效果好、操作性强、趣味性高，可以应用于儿童教育领域。

Description

一种基于纸笔交互的儿童认知游戏系统

技术领域

本发明属于结合深度神经网络的人机交互领域，涉及一种基于纸笔交互的儿童认知游戏系统。

背景技术

通过计算机，人们可以获得难以企及的计算能力和浩如烟海的知识资源。作为连接人与计算机的桥梁的人机交互技术，直接影响着人们能否充分利用计算机这一强大的工具。没有桥梁，计算机再强大也成为了摆设。随着触控交互、语音识别、图像识别、自然语言处理、多模态等技术的发展，人机交互方式变得越来越多样化和自然化。手写识别作为一项发展已久的技术，在计算机硬件及深度学习的发展下，已经在识别的准确度和速度上实现了重要突破。手写识别用于人机交互最大的优势是交互方式的自然性。相比较于键盘鼠标等早期的交互方式，手写更加自然、舒适和便捷。将用户的手写作为输入，经过计算机处理后把结果反馈给用户，从而使得整个交互过程更加自然流畅、舒适便捷。

此外，当前普遍使用的电子屏幕对人的视力(尤其是儿童的视力)有着不可忽视的损害。由于屏幕闪烁、色温偏冷、光线直射等问题，人在长时间使用电子产品后经常出现眼镜酸涩、头晕眼花的不适。

发明内容

针对现有技术中的缺陷和不足，本发明提供了一种基于纸笔交互的儿童认知游戏系统，解决了现有技术中存在的上述问题。其目的是提供自然舒适、视力友好的基于纸笔交互的认知训练方法。

为达到上述目的，本发明采取如下的技术方案：

本发明提供一种基于纸笔交互的儿童认知游戏系统，包括交互单元、图片处理单元、网络训练模块及识别结果反馈模块；

所述交互单元包括：知识库，该知识库包括单词库和算式库以对应单词拼写模式和数字计算模式；投影仪，该投影仪通过支架安装在操作平台上方且光轴垂直于操作平台平面，依据用户选择的模式投影对应内容的图片或视频；纸张，用户根据投影内容在带有标识块的纸张上进行手写；摄像头，该摄像头通过支架安装在操作平台上方且光轴垂直于操作平台平面，用以采集用户根据投影图像在带有标识块的纸张上手写的内容，得到摄像头采集的图片；

所述图片处理单元，用以对摄像头采集的图片进行处理；

所述网络训练模块，将图片处理单元处理得到的字符图像作为深度神经网络的输入，训练得到每个字符图像的识别结果；

识别结果反馈模块，如果识别结果与投影图像所对应的内容一致，则投影一个代表正确的视觉效果；否则投影一个代表不正确的视觉效果。

本发明还包括如下技术特征：

具体的，所述单词库中每个单词的属性包含用于在窗口中显示的图片以及正确的拼写形式；算式库中每个算式的属性包括用于窗口中显示的图片以及算式的结果。

具体的，所述图片处理单元包括：

图片二值化模块，用以将摄像头采集的图片二值化，包括图像灰度化、光滑去噪、直方图均衡化、大津法二值化，最终返回二值化后的图像；

纸张标识块定位模块，用以在二值化后的图像上寻找轮廓，满足设定约束的轮廓是标识块，共三个；依据三个标识块的位置获取感兴趣区域(ROI区域)；当右下角标识块由不可见变为可见时，认为用户完成了一次书写；

对ROI图像进行透视变换模块，依据标识块的位置进行透视变换，从而矫正发生扭曲的ROI图像；

对ROI图像进行字符分割模块，使用投影法进行分割字符，首先对ROI图像进行垂直投影，然后对垂直投影的结果进行水平投影，将满足字符最小高度和宽度要求的区域作为字符图像保存。

具体的，所述网络训练模块中，构建用于字符识别的深度神经网络的方法包括：

步骤a，准备数据集：选择手写体数据集NIST Handprinted Forms andCharacters Database；并在上述手写体数据集中再加入自行制作或收集的手写体字符集，作为深度神经网络的训练集和测试集；加入自行制作或收集的手写体字符集用以提高识别准确度和鲁棒性；

步骤b，搭建深度神经网络：深度神经网络选择的是经典的卷积神经网络LeNet，包括2个卷积层、2个下抽样层和3个全连接层，这里不局限于LeNet深度学习网络模型；

步骤c，训练深度神经网络：将训练集作为输入送入深度神经网络，使用随机梯度下降法寻找最优参数并保存，得到训练后的深度神经网络；

步骤d，评价深度神经网络：将测试集作为输入送入步骤c得到的训练后的深度神经网络进行预测，然后将预测结果与测试集的真实标签进行对比，得到深度神经网络的准确度；

步骤e，迭代寻找满足预测准确度的深度神经网络：若步骤d所得的准确度满足要求，则停止迭代；否则调整深度神经网络的超参数，重复步骤c、d，直至得到预测准确度符合要求的深度神经网络。

具体的，所述交互单元进行初始化的方法，取一张空白的、带有标识块的纸张进行处理，初始化交互单元的参数；纸张上的标识块用以定位纸张。

本发明与现有技术相比，有益的技术效果是：

本发明中，用户在纸张上书写后，由摄像头采集纸张图片，经过预处理、图像增强、图像分割等处理后，送入深度神经网络进行识别，然后将识别结果反馈给程序。程序根据拼写的结果给出对应的反馈，并通过投影仪以投影的方式反馈给用户。该交互方式更加符合用户的交互习惯，且保护视力，是一种自然健康的交互方式。本发明还具体如下效果：

1.设计新颖，采用普通纸笔作为交互手段，达到信息输入的目的，具体是通过摄像头读取纸张的书写内容，实现信息输入的目的。

2.硬件设备简单且投入成本非常低。

3.提供了一种自然舒适的交互方式，在纸上书写更加符合用户的习惯，对于低龄用户来说门槛更低、方式更加友好。

4.采用投影仪显示技术，经过漫反射出来的光更加柔和，眼睛看起来不容易疲劳，更加护眼。

5.采用深度神经网络作为识别手段，相比较于传统识别手段，识别的准确率有了显著提高。

综上所述，本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性强、趣味性高，提供了一种自然舒适、健康护眼的交互方式。

附图说明

图1为本发明的原理框图；

图2为本发明的认知系统示意图；

图3为本发明中相机、投影仪的安装位置示意图；

图4为本发明所采用的带有标识块的纸张示意图；

图5为本发明实施方式中的ROI图像；

图6位本发明所使用深度神经网络的结构；

图中：1纸张，2摄像头，3计算机，3-1处理器，3-2存储器，3-3显示器，4投影仪，5拼写反馈，6支架，7操作平台。

具体实施方式

如图1至图6所示，本发明公开了一种基于纸笔交互的儿童认知游戏系统，包括交互单元、图片处理单元、网络训练模块及识别结果反馈模块；

交互单元包括：

知识库，该知识库包括单词库和算式库以对应单词拼写模式和数字计算模式；单词库中每个单词的属性包含用于在窗口中显示的图片以及正确的拼写形式；算式库中每个算式的属性包括用于窗口中显示的图片以及算式的结果。

投影仪，该投影仪通过支架安装在操作平台上方且光轴垂直于操作平台平面，依据用户选择的模式投影对应内容的图片或视频；

纸张，用户根据投影内容在带有标识块的纸张上进行手写；

摄像头，该摄像头通过支架安装在操作平台上方且光轴垂直于操作平台平面，用以采集用户根据投影图像在带有标识块的纸张上手写的内容，得到摄像头采集的图片；

如图2和图3所示，摄像头和投影仪均连接至计算机；

图片处理单元，用以对摄像头采集的图片进行处理；图片处理单元包括：图片二值化模块，用以将摄像头采集的图片二值化，包括图像灰度化、光滑去噪、直方图均衡化、大津法二值化，最终返回二值化后的图像；纸张标识块定位模块，用以在二值化后的图像上寻找轮廓，满足设定约束(三个同心正方形轮廓，且面积比为25:16:9)的轮廓是标识块，共三个，如图4所示，对于得到的三个标识块，根据其位置重新排列；当右下角的标识块的识别状态由不可见变成可见且未检测到人手遮挡时，我们认为用户完成了一次书写，进而执行后续步骤；否则跳转重新进行图片处理；依据三个标识块的位置获取ROI区域(即字符所在区域)；当右下角标识块由不可见变为可见时，认为用户完成了一次书写；对ROI图像进行透视变换模块，依据标识块的位置进行透视变换，从而矫正发生扭曲的ROI图像；对ROI图像进行字符分割模块，使用投影法进行字符分割，首先对ROI图像进行垂直投影，然后对垂直投影的结果进行水平投影，将满足字符最小高度和宽度要求的区域作为字符图像保存。

网络训练模块，将图片处理单元处理得到的字符图像作为深度神经网络的输入，训练得到每个字符图像的识别结果；网络训练模块中，具体的，在本实施方式中，图6为本发明所使用深度神经网络的结构；构建用于字符识别的深度神经网络的方法包括：

步骤a，准备数据集：选择手写体数据集NIST Handprinted Forms andCharacters Database(英文手写字符数据，由美国标准技术研究院发布(NIST)，包括810000个英文字符的手写图像，可用于构建视觉字符识别任务)；并在上述手写体数据集中再加入自行制作或收集的手写体字符集(更加贴近中国儿童的书写)，包括字母、数字和加减乘除等号基本运算符号；通过加入自制数据集，显著提高了深度神经网络的识别准确率；作为深度神经网络的训练集和测试集；加入自行制作或收集的手写体字符集用以提高识别准确度和鲁棒性；

步骤b，搭建深度神经网络：深度神经网络选择的是经典的卷积神经网络LeNet，主要有2个卷积层、2个下抽样层(池化层)、3个全连接层；

步骤c，训练深度神经网络：将训练集作为输入送入深度神经网络，使用随机梯度下降法寻找最优参数并保存，得到训练后的深度神经网络；

步骤d，评价深度神经网络：将测试集作为输入送入步骤c得到的训练后的深度神经网络进行预测，然后将预测结果与测试集的真实标签进行对比，得到深度神经网络的准确度；

步骤e，迭代寻找满足预测准确度的深度神经网络：若步骤d所得的准确度满足要求，则停止迭代；否则调整深度神经网络的超参数，重复步骤c、d，直至得到预测准确度符合要求的深度神经网络。

识别结果反馈模块，如果识别结果与投影图像所对应的内容一致，则投影一个代表正确的视觉效果；否则投影一个代表不正确的视觉效果。在本实施方式中，识别结果反馈模块根据识别结果对用户做出反馈：

单词拼写模式：如果识别结果与投影图像所对应的单词的正确拼写形式一致，则投影一个代表正确的视觉效果；如果不一致则投影一个代表不正确的视觉效果，并播放代表错误的语音，并显示正确的拼写、播放单词的发音，强化用户的记忆；具体的，代表正确的视觉效果为一个绿色的对号；代表不正确的视觉效果为一个红色的叉号；

数字计算模式：如果识别结果与投影图像的算式的结果一致，则投影一个代表正确的视觉效果；如果不一致则投影一个代表不正确的视觉效果，并播放代表错误的语音，并显示正确的算式的结果。具体的，代表正确的视觉效果为一个绿色的对号；代表不正确的视觉效果为一个红色的叉号。

本实施方式中的基于纸笔交互的儿童认知游戏系统的工作过程：

用户启动交互单元后会从知识库加载交互单元所需要的学习内容，包括图片、音频等；

取一张空白的、带有预定义标识块的纸张初始化交互单元的参数，包括二值化阈值参数、标识块特征参数等，从而在后续步骤中可以得到更好的处理效果；

选择模式，选择单词拼写模式或数字计算模式；

投影仪会依据客户选择的模式投影出的图片，若为模式为单词拼写模式，系统将会从单词库中随机挑选单词，投影其图片，然后用户根据投影的图片在带有标识块的纸张上拼写，最后将纸张放在摄像头的拍摄范围内；若为模式为数字计算模式，系统将从算式库中随机挑选算式，投影其图片，然后用户根据投影的图片在带有标识块的纸张上书写，最后将纸张放在摄像头的拍摄范围内；系统进行识别；

对于单词拼写模式，如果识别结果与投影图像所对应的单词的正确拼写形式一致，则会投影出一个代表正确的视觉效果；如果不一致则投影出一个代表不正确的视觉效果，播放代表错误的语音，显示正确的拼写、播放单词的发音；

对于数字计算模式，如果识别结果与投影图像的算式的结果一致，则会投影一个代表正确的视觉效果；如果不一致则会投影一个代表不正确的视觉效果，播放代表错误的语音，显示正确的算式的结果。

Claims (4)

1.一种基于纸笔交互的儿童认知游戏系统，其特征在于，包括交互单元、图片处理单元、网络训练模块及识别结果反馈模块；

所述交互单元包括：知识库，该知识库包括单词库和算式库以对应单词拼写模式和数字计算模式；投影仪，该投影仪通过支架安装在操作平台上方且光轴垂直于操作平台平面，依据用户选择的模式投影对应内容的图片或视频；纸张，用户根据投影内容在带有标识块的纸张上进行手写；摄像头，该摄像头通过支架安装在操作平台上方且光轴垂直于操作平台平面，用以采集用户根据投影图像在带有标识块的纸张上手写的内容，得到摄像头采集的图片；

所述图片处理单元，用以对摄像头采集的图片进行处理；

所述网络训练模块，将图片处理单元处理得到的字符图像作为深度神经网络的输入，训练得到每个字符图像的识别结果；

识别结果反馈模块，如果识别结果与投影图像所对应的内容一致，则投影一个代表正确的视觉效果；否则投影一个代表不正确的视觉效果。

2.如权利要求1所述的基于纸笔交互的儿童认知游戏系统，其特征在于，所述单词库中每个单词的属性包含用于在窗口中显示的图片以及正确的拼写形式；算式库中每个算式的属性包括用于窗口中显示的图片以及算式的结果。

3.如权利要求1所述的基于纸笔交互的儿童认知游戏系统，其特征在于，所述图片处理单元包括：

图片二值化模块，用以将摄像头采集的图片二值化，包括图像灰度化、光滑去噪、直方图均衡化、大津法二值化，最终返回二值化后的图像；

纸张标识块定位模块，用以在二值化后的图像上寻找轮廓，满足设定约束的轮廓是标识块，共三个；依据三个标识块的位置获取感兴趣区域(ROI区域)；当右下角标识块由不可见变为可见时，认为用户完成了一次书写；

对ROI图像进行透视变换模块，依据标识块的位置进行透视变换，从而矫正发生扭曲的ROI图像；

对ROI图像进行字符分割模块，使用投影法进行分割字符，首先对ROI图像进行垂直投影，然后对垂直投影的结果进行水平投影，将满足字符最小高度和宽度要求的区域作为字符图像保存。

4.如权利要求1所述的基于纸笔交互的儿童认知游戏系统，其特征在于，所述网络训练模块中，构建用于字符识别的深度神经网络的方法包括：

步骤a，准备数据集：选择手写体数据集NIST Handprinted Forms and CharactersDatabase；并在上述手写体数据集中再加入自行制作或收集的手写体字符集，作为深度神经网络的训练集和测试集；加入自行制作或收集的手写体字符集用以提高识别准确度和鲁棒性；

步骤b，搭建深度神经网络：深度神经网络选择的是经典的卷积神经网络LeNet，包括2个卷积层、2个下抽样层和3个全连接层，这里不局限于LeNet深度学习网络模型；

步骤c，训练深度神经网络：将训练集作为输入送入深度神经网络，使用随机梯度下降法寻找最优参数并保存，得到训练后的深度神经网络；

步骤d，评价深度神经网络：将测试集作为输入送入步骤c得到的训练后的深度神经网络进行预测，然后将预测结果与测试集的真实标签进行对比，得到深度神经网络的准确度；

步骤e，迭代寻找满足预测准确度的深度神经网络：若步骤d所得的准确度满足要求，则停止迭代；否则调整深度神经网络的超参数，重复步骤c、d，直至得到预测准确度符合要求的深度神经网络。

Images