CN110853424A - 一种具有视觉识别的语音学习方法、装置及系统 - Google Patents

Abstract

一种具有视觉识别的语音学习方法、装置和系统，该装置包括信息处理单元，图像获取单元，音频输入单元，音频输出单元，手写显示单元，手写轨迹获取单元，存储单元，无线通信单元，本发明直接拍摄学习资料的画面获取学习资料，操作简便、便于升级扩容；减少了用户对显示屏的依赖，帮助学生提高学习效率的同时，保护青少年的视力；使得让长辈也可以帮助孩子学习；家长可以直接通过APP在服务器上查询学习进度和评分；在一台设备上综合实现了多种功能，操作简便。

Description

一种具有视觉识别的语音学习方法、装置及系统

技术领域

本发明涉及儿童自主学习领域，特别的涉及一种通过视觉识别的方式获取学习资料的语音学习方法、装置及系统。

背景技术

随着互联网、人工智能的发展，基于终端的智能学习工具越来越多，而语言学习是学生学习中的一大难点，辅助学习的工具很多。现有的学习工具包括电脑、平板、手机等智能终端，在这些设备上安装各类学习APP后，APP软件将要学习的内容显示到屏幕上，学生通过触屏互动学习；这种类设备除了可以装学习软件外，同样可以安装娱乐软件，不易管理，容易被当成娱乐工具使用，长时间使用容易伤害学生视力。另外，一种学习工具是扫读笔，是用光学扫描头将学习的内容扫描到平板或者本身带有的显示屏上；也需要借助于电子显示屏才能发挥学习作用，长时间看电子显示屏则是导致青少年近视的主要原因。而通过MP3没有图像显示屏，但是只能听声音功能单一，不能联网没有互动。通过点读笔，使用时需要在点读的书册刷上对应的OID码才能准确的播放语音，灵活性差、缺少互动，学习过程中难免枯燥。

此外，很多家庭经常由爷爷奶奶辈的长辈负责孩子的学习，老人不会使用智能设备，现有技术没有很好的解决这类用户如何教育孩子学习的问题。另外，很多智能设备都是单独的一个学习工具，缺少互动和学习进度的跟进功能。

因此，如何能够增加学习的互动性，增加学习的乐趣；增加学习的操作便捷性，便于获取学习内容，适用于多数人群，且容易扩展学习素材；减少对显示屏依赖，避免孩子沉迷于娱乐APP并损害视力；同时能够对学习程度进行实时的判别和记录，既能增加学习的自主性，又便于家长了解学习的情况，成为现有技术亟需解决的技术问题。

发明内容

本发明的目的在于提出一种具有视觉识别的语音学习方法、装置及系统，便于获取学习的内容，减少对显示屏的依赖，帮助学生提高学习效率的同时，保护青少年的视力，同时实现一机多功能。

为达此目的，本发明采用以下技术方案：

一种具有视觉识别的语音学习方法,其特征在于，包括如下步骤：

图像获取步骤S110:语音学习装置拍摄获取需要学习的绘本或者卡片的全部或者部分图像信息；

学习资料获取步骤S120：语音学习装置根据所述图像信息从本地的存储单元或者远端的服务器中获取与所述图像信息关联的学习信息；

学习资料播放步骤S130：语音学习装置根据所述学习资料播放待学习的语音，以便用户在听到语音时进行拼读和/或书写；

学习信息获取步骤S140：语音学习装置采集用户的拼读语音信息，和/或用户输入的书写轨迹，并在手写显示单元上显示用户的书写内容；

评分步骤S150：对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹在本地进行评分或者发送到远端的服务器进行评分、

可选的，还包括AI聊天步骤S160，所述语音学习装置采集用户的语音与远程的服务器进行AI聊天。

本发明还公开了一种具有视觉识别的语音学习装置，其特征在于，包括：

图像获取单元，用于拍摄获取需要学习的绘本或者卡片的全部或者部分图像信息；

信息处理单元，用于根据所述图像信息从本地的存储单元获取与所述图像信息关联的学习信息，或者用于使得无线通信单元根据所述图像信息从远端的服务器中获取与所述图像信息关联的学习信息；

音频输出单元，用于根据所述学习资料播放待学习的语音，以便用户在听到语音时进行拼读；

音频输入单元，用于采集用户的拼读语音信息；

手写显示单元，设置在手写轨迹获取单元的上部，用于显示用户书写的内容；

手写轨迹获取单元，设置在手写显示单元的底部，用于获取用户书写的轨迹；

所述信息处理单元能够对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹进行评分，然后通过所述无线通信单元将分数传送至远端的服务器；或者所述无线通信单元将获取到的用户的拼读语音信息和/或用户输入的书写轨迹，发送到远端的服务器进行评分。

可选的，所述手写显示单元为LCD按压显示膜、电子墨水屏或者电容触摸屏。

可选的，所述音频输入单元和音频输出单元还能够用于与远端服务器进行AI聊天。

可选的，所述语音学习装置还包括：

存储单元，用于存储学习数据和各类图像、书写和语音数据；

无线通信单元，用于终端设备接入网络或者与其它设备互联。

可选的，所述存储单元包括本地存储单元和外接存储单元。

本发明还公开了一种适用于视觉识别的语音学习的服务器，其特征在于：

该服务器与上述的语音学习装置通信，并具有：

资源存储单元，用于存储于与需要学习的绘本或者卡片的图像信息关联的学习信息；

学习评分单元，用于对收到的用户的拼读语音信息和/或用户输入的书写轨迹进行评分；

学习进度存储单元，用于存储用户的学习进度、学习分数，并提供查询服务。

可选的，所述服务器还具有AI聊天单元，能够与所述语音学习装置进行通信，提供聊天功能。

本发明还公开了一种具有视觉识别的语音学习系统，其特征在于，包括：

上述的语音学习装置；

手写笔，用于在所述语音学习装置上输入文字信息；

上述的服务器，用于存储学习信息、对学习内容进行评分、存储以及查询学习评分和进度、和AI聊天。

本发明通过直接拍摄学习资料的画面获取学习资料，操作简便、便于升级扩容；减少了用户对显示屏的依赖，帮助学生提高学习效率的同时，保护青少年的视力；使得让长辈也可以帮助孩子学习，家长可以直接通过APP在服务器上查询学习进度和评分；在一台设备上综合实现了多种功能，操作简便。

附图说明

图1是根据本发明具体实施例的具有视觉识别的语音学习方法的流程图；

图2是根据本发明具体实施例的具有视觉识别的语音学习装置的模块图；

图3是根据本发明具体实施例的具有视觉识别的语音学习服务器的模块图；

图4是根据本发明具体实施例的具有视觉识别的语音学习系统的模块图；

图5是根据本发明具体实施例的绘本卡片的示例。。

图中的附图标记所分别指代的技术特征为：

1、信息处理单元；2、无线通信单元；3、音频输入单元；4、音频输出单元；5、手写显示单元；6、手写轨迹获取单元；7、存储单元；8、电源；9、图像获取单元；100、语音学习装置；、200、手写笔；300、绘本卡片；400、服务器；410、资源存储单元；420、学习评分单元；430、学习进度存储单元；440、AI聊天单元。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明在于通过视觉识别的方式，直接拍摄所要学习的卡片或者绘本，而不是二维码，获取该卡片或者绘本的学习信息，通过读音和书写的形式，让用户进行学习，对学习的情况进行获取并评分，记录用户的学习进度和学习成绩，从而使得用户的学习更加智能化，用户获取学习资料的方式也更加方便。

具体的，参见图1，示出了根据本发明的具有视觉识别的语音学习方法的流程图，包括如下步骤：

图像获取步骤S110:语音学习装置拍摄获取需要学习的绘本或者卡片的全部或者部分图像信息；

在该步骤中，所述图像信息是绘本或者卡片图像的全部或者部分，而不是扫描其中二维码或者条形码等标记码。即利用普通的摄像头拍摄绘本或者卡片的全部或者部分图像。

学习资料获取步骤S120：语音学习装置根据所述图像信息从本地的存储单元或者远端的服务器中获取与所述图像信息关联的学习信息；

在该步骤中，所述学习信息指的是与绘本或者卡片关联的读音、笔划等相关信息。

具体的，在该步骤中，所述学习资料可以保存在语音学习装置中，语音学习装置从该装置的存储器中获取学习资料；所述学习资料也可以保存在远端服务器，语音学习装置将图像信息发送至远端服务器，从服务器中获取学习资料。

学习资料播放步骤S130：语音学习装置根据所述学习资料播放待学习的语音，以便用户在听到语音时进行拼读和/或书写。

在该步骤中，所播放的可以是要学习的单词的发音，用于教用户新单词如何发音，或者一段学习讲义，给用户进行授课。

学习信息获取步骤S140：语音学习装置采集用户的拼读语音信息，和/或用户输入的书写轨迹，并在手写显示单元上显示用户的书写内容。

在该步骤中，用户可以根据学习内容发音，也可以根据学习内容在书写内容，而语音学习装置可以通过诸如麦克风采集用户的拼读语音信息，通过电磁手写板获取用户输入的书写轨迹，以获得用户书写的字体、内容等并在手写显示单元上进行显示。其中手写显示单元可以为LCD按压显示膜、电子墨水屏或者电容触摸屏。

对于LCD按压显示膜，该显示膜片初始状态呈现黑色，通过压力使膜片内的液晶分子排列扭曲，当光线穿过膜片时，将光线反射回来，形成可见的线条。当画笔在LCD按压显示膜片上滑动时，给予LCD液晶膜片压力，扭曲了膜片内部分子结构，形成了文字或者图案。当需要清屏或者重新绘制时通过按键启动清屏电路，清屏电路输出高压脉冲连接在LCD膜片的正/负极上，使膜片内原本扭曲的分子结构复原，从而将绘画/书写的内容全部清除掉；由于是光线反射的原理，本身不带光源，所以对眼睛没有伤害。

对于电子墨水屏。电子墨水屏又被称为电子纸，主要利用电场控制黑白带电粒子胶囊浮动成像，无背光，通过反射环境光实现明亮显示，没有蓝光伤害，有效地保护了孩子的眼睛。电子墨水有许多优点，包括易读性、柔性，低功耗。与其它显示技术相比，电子墨水的反射率和对比度较佳。

所述手写显示单元还可以为电容触摸屏。所述

评分步骤S150：对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹在本地进行评分或者发送到远端的服务器进行评分。

在该步骤中，语音学习装置能够直接对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹进行评分。

或者，语音学习装置将获取到的用户的拼读语音信息发送到远端的服务器端，服务器对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹进行评分。

因此，由于本发明直接拍摄所要学习的卡片的图像，而并非对编码进行扫描，而远端的服务器或者本地的资料库中保存于与该图像对应的学习资料，例如发音、字形等等，从而分别利用麦克风进行读音的判别，利用手写显示单元即手写板练字，利用手写轨迹获取单元获取所写的字，并发送到服务器或者在本地进行所联系的字形的判定。

由于采用图像与学习资料对应，简化了家长辅导教学的难度，简化了使用者例如儿童操作的难度，同时可以在本地或者后台不断的新增学习资料，对学习进行升级。

所述语音学习装置还配合电磁式手写笔或者电容笔使用。

该方法中包括本地的语音学习装置、远端通过网络连接的服务器和配合语音学习终端使用的电磁式手写笔或者电容笔。

此外，还包括AI聊天步骤S160，所述语音学习装置采集用户的语音与远程的服务器进行AI聊天。

实施例1、

进一步的，本发明还公开了一种具有视觉识别的语音学习装置100，参见图2，示出了该语音学习装置100的模块图，包括：

图像获取单元9，用于拍摄获取需要学习的绘本或者卡片的全部或者部分图像信息；该单元可以例如为摄像头，用于拍摄绘本或者卡片图像的全部或者部分，而不是扫描其中二维码或者条形码等标记码。即利用普通的摄像头拍摄绘本或者卡片的全部或者部分图像。

信息处理单元1，用于根据所述图像信息从本地的存储单元7获取与所述图像信息关联的学习信息，或者用于使得无线通信单元2根据所述图像信息从远端的服务器中获取与所述图像信息关联的学习信息；

所述学习信息指的是与绘本或者卡片关联的读音、笔划等相关信息。

即信息处理单元可以直接从本地存储单元中获取学习资料；所述学习资料也可以保存在远端服务器，语音学习装置将图像信息发送至远端服务器，从服务器中获取学习资料。

音频输出单元4，用于根据所述学习资料播放待学习的语音，以便用户在听到语音时进行拼读。在一个具体的实施例中，所述音频输出单元4包括喇叭单元和/或耳机接口。

所播放的可以是要学习的单词的发音，用于教用户新单词如何发音，或者一段学习讲义，给用户进行授课。

音频输入单元3，用于采集用户的拼读语音信息；所采用的语音信号经信息处理单元处理后，例如模数转换，进行AI语音聊天或者相应的发音的正确性判断；在一个具体的实施例中，所述音频输入单元3可以为麦克风。

手写显示单元5，设置在手写轨迹获取单元6的上部，用于显示用户书写的内容。

手写轨迹获取单元6，设置在手写显示单元5的底部，用于获取用户书写的轨迹；

在本发明的具体实施例中，所述手写显示单元可以为LCD按压显示膜、电子墨水屏或者电容触摸屏。

对于LCD按压显示膜，该显示膜片初始状态呈现黑色，通过压力使膜片内的液晶分子排列扭曲，当光线穿过膜片时，将光线反射回来，形成可见的线条。当画笔在LCD按压显示膜片上滑动时，给予LCD液晶膜片压力，扭曲了膜片内部分子结构，形成了文字或者图案。当需要清屏或者重新绘制时通过按键启动清屏电路，清屏电路输出高压脉冲连接在LCD膜片的正/负极上，使膜片内原本扭曲的分子结构复原，从而将绘画/书写的内容全部清除掉；由于是光线反射的原理，本身不带光源，所以对眼睛没有伤害。

对于电子墨水屏。电子墨水屏又被称为电子纸，主要利用电场控制黑白带电粒子胶囊浮动成像，无背光，通过反射环境光实现明亮显示，没有蓝光伤害，有效地保护了孩子的眼睛。电子墨水有许多优点，包括易读性、柔性，低功耗。与其它显示技术相比，电子墨水的反射率和对比度较佳。

其中，所述信息处理单元1能够对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹进行评分，然后通过所述无线通信单元将分数传送至远端的服务器；或者所述无线通信单元将获取到的用户的拼读语音信息和/或用户输入的书写轨迹，发送到远端的服务器进行评分。

所述评分包括发音是否准确、问题答案是否正确、文字书写是否正确等等。

进一步的，所述音频输入单元3和音频输出单元4还能够用于与远端服务器进行AI聊天。所述AI聊天包括AI语音的问答、聊天、和资源搜索

本发明中，存储单元7，用于存储学习数据和各类图像、书写和语音数据。例如，通过服务器端发送来的包括语音的各类学习数据或本地保存的用户发音数据、用户书写数据等。

因此，通过存储单元和信息处理单元能够将识别评分功能本地化或者传送至服务器端完成。

所述存储单元7包括本地存储单元和外接存储单元，外接存储单元可以通过各类的存储接口，例如USB接口,TF卡座等存储卡座等等，通过各种可插拔的方式来连接外接存储元件。

因此，本发明的语音学习装置能够方便进行升级，从而适用于利用上述的学习资料获取方式，无须复杂的操作就可以快速的应用于各种不同的学习卡片。

无线通信单元2，用于终端设备接入网络或者与其它设备互联，包括WiFi，蜂窝无线通讯接入技术(如2G、3G、4G以及后续的5G)，蓝牙等等。通过蓝牙能够连接打印机。

电源8，用于给所述语音学习终端供电，包括外接电源和本地充电电源。

进一步的，在所述语音学习装置100上还具有功能选择开关(图中未示出)，按键可实现不同的功能，例如绘本视觉识别、AI语音、音量加减、暂停/播放、配网/绑定、微聊、本地音乐、清理显示屏幕等。

进一步的，在所述语音学习终端上还具有LED灯，使得用户能够在光线充足的环境下学习，避免了近视的可能。

实施例2：

进一步的，本发明还公开了一种与语音学习装置配合使用的服务器400，参见图3，示出了本发明具体实施例的具有视觉识别的语音学习服务器的模块图，所述服务器包括：

资源存储单元410，用于存储于与需要学习的绘本或者卡片的图像信息关联的学习信息；所述学习信息指的是与绘本或者卡片关联的读音、笔划等相关信息。

学习评分单元420，用于对收到的用户的拼读语音信息和/或用户输入的书写轨迹进行评分。

学习进度存储单元430，用于存储用户的学习进度、学习分数，并提供查询服务。

其它的用户能够利用APP访问服务器400，查询学习进度存储单元中的学习进度、学习分数，从而即使出差在外，也能够随时掌握孩子的学习进度。

进一步的，所述服务器400还具有AI聊天单元，能够与所述语音学习装置进行通信，提供聊天功能。

实施例3：

本发明还公开了一种具有视觉识别的语音学习系统，参见图4，示出了根据本发明具体实施例的具有视觉识别的语音学习系统的模块图，包括：

如上文所述的语音学习装置100；

手写笔200，用于在所述语音学习装置100上输入文字信息；

服务器300，用于存储学习信息、对学习内容进行评分、存储以及查询学习评分和进度、和AI聊天。

其中手写笔200，优选为电磁式手写笔，能够更好根据用户执笔时按压力度的不同，产生粗细不同的线条、或着色的浓淡。

其中卡片400，是作为学习材料。

以下通过具体的实施例说明本发明的语音学习终端的工作方式：

1、绘本读音学习模式。

用户可以将语音学习终端设置在绘本读音学习模式，

图像获取单元9扫描读取卡片后，语音学习终端将拍照的图片编码并且通过无线网络传送给服务器端，由服务器匹配相应的音频资源并返回到智能设备播放。参见图5，示出了读取绘本卡片的一个示例。

当需要默写或者听写时，可以将卡片翻转到B面，同样用智能终端扫描B面，在服务器端B面同样对应的是A面同样的音频资源，当听到schoolbag时就可以在纸上或者自带的画板或电子墨水屏上将单词书写出来。

在默写的时候，用户可以在语音学习终端的画板或电子墨水屏上将单词书写出来，语音学习终端判别用户书写的正确与否。同时，用户也可以同时对该内容进行跟读，语音学习终端的麦克风采集用户的发音，对用户的发音正确与否进行判别。书写和发音的练习可以同时进行也可以具有一定的先后关系。

对于音频资料的获取可以由信息处理单元经无线通信单元从远程的服务器端获取，也可以由存储单元保存在本地，由信息处理单元从存储单元获取。

同样的，对于书写和发音的评分判断可以在本地进行，也可以将音频信号和书写信号发送至服务器端后在服务器端进行。

2、AI语音聊天模式

用户可以将语音学习终端设置在AI语音聊天模式。信息处理单元运行在存储单元中的程序，经过无线通信单元与远程的服务器端的人工智能语音聊天程序通信，利用喇叭单元和麦克风与用户进行语音聊天，例如小度聊天机器人，或者谷歌聊天机器人，用户在聊天的同时，能够在手写显示单元书写内容。

综上，本发明通过直接拍摄学习资料的画面获取学习资料，操作简便、便于升级扩容；减少了用户对显示屏的依赖，帮助学生提高学习效率的同时，保护青少年的视力；使得让长辈也可以帮助孩子学习；在一台设备上综合实现了多种功能，操作简便。

显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (10)

1.一种具有视觉识别的语音学习方法,其特征在于，包括如下步骤：

图像获取步骤S110:语音学习装置拍摄获取需要学习的绘本或者卡片的全部或者部分图像信息；

学习资料获取步骤S120：语音学习装置根据所述图像信息从本地的存储单元或者远端的服务器中获取与所述图像信息关联的学习信息；

学习资料播放步骤S130：语音学习装置根据所述学习资料播放待学习的语音，以便用户在听到语音时进行拼读和/或书写；

学习信息获取步骤S140：语音学习装置采集用户的拼读语音信息，和/或用户输入的书写轨迹，并在手写显示单元上显示用户的书写内容；

评分步骤S150：对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹在本地进行评分或者发送到远端的服务器进行评分。

2.根据权利要求1所述的具有视觉识别的语音学习方法,其特征在于：

还包括AI聊天步骤S160，所述语音学习装置采集用户的语音与远程的服务器进行AI聊天。

3.一种具有视觉识别的语音学习装置，其特征在于，包括：

图像获取单元，用于拍摄获取需要学习的绘本或者卡片的全部或者部分图像信息；

信息处理单元，用于根据所述图像信息从本地的存储单元获取与所述图像信息关联的学习信息，或者用于使得无线通信单元根据所述图像信息从远端的服务器中获取与所述图像信息关联的学习信息；

音频输出单元，用于根据所述学习资料播放待学习的语音，以便用户在听到语音时进行拼读；

音频输入单元，用于采集用户的拼读语音信息；

手写显示单元，设置在手写轨迹获取单元的上部，用于显示用户书写的内容；

手写轨迹获取单元，设置在手写显示单元的底部，用于获取用户书写的轨迹；

所述信息处理单元能够对获取到的用户的拼读语音信息，和/或用户输入的书写轨迹进行评分，然后通过所述无线通信单元将分数传送至远端的服务器；或者所述无线通信单元将获取到的用户的拼读语音信息和/或用户输入的书写轨迹，发送到远端的服务器进行评分。

4.根据权利要求3所述的具有视觉识别的语音学习装置，其特征在于：

所述手写显示单元为LCD按压显示膜、电子墨水屏或者电容触摸屏。

5.根据权利要求3所述的具有视觉识别的语音学习装置，其特征在于：

所述音频输入单元和音频输出单元还能够用于与远端服务器进行AI聊天。

6.根据权利要求3所述的具有视觉识别的语音学习装置，其特征在于：

所述语音学习装置还包括：

存储单元，用于存储学习数据和各类图像、书写和语音数据；

无线通信单元，用于终端设备接入网络或者与其它设备互联。

7.根据权利要求6所述的具有视觉识别的语音学习装置，其特征在于：

所述存储单元包括本地存储单元和外接存储单元。

8.一种适用于视觉识别的语音学习的服务器，其特征在于：

该服务器与权利要求3-7中任意一项所述的语音学习装置通信，并具有：

资源存储单元，用于存储于与需要学习的绘本或者卡片的图像信息关联的学习信息；

学习评分单元，用于对收到的用户的拼读语音信息和/或用户输入的书写轨迹进行评分；

学习进度存储单元，用于存储用户的学习进度、学习分数，并提供查询服务。

9.根据权利要求8所述的服务器，其特征在于：

所述服务器还具有AI聊天单元，能够与所述语音学习装置进行通信，提供聊天功能。

10.一种具有视觉识别的语音学习系统，其特征在于，包括：

权利要求3-7中任意一项所述的语音学习装置；

手写笔，用于在所述语音学习装置上输入文字信息；

权利要求8或9所述的服务器，用于存储学习信息、对学习内容进行评分、存储以及查询学习评分和进度、和AI聊天。

Images