CN107798931A - 一种智能幼教学习系统及方法 - Google Patents

Abstract

本发明提供一种智能幼教学习系统及方法，包括摄像头、本地图像采集模块、输入终端、本地语音识别模块、通信模块、个人文库、语音处理服务器、图像处理服务器和输出终端。用户通过语音输入或所述摄像头拍摄文本方式新建资源，添加用户想要学习内容，扩展更新所述个人文库；用户语音输入要学的内容，所述扬声器播放所选内容进行教学，通过所述语音处理服务器语音合成个性化语音，模仿亲人的发音进行教学，幼儿根据发音进行跟读学习，可通过发音评测，根据发音的评价等级进行反复学习，直到达标，实现个性化的学习。

Description

一种智能幼教学习系统及方法

技术领域

本发明涉及智能教育领域，具体涉及一种智能幼教学习系统及方法。

背景技术

目前用于儿童教学的产品主要有早教机和点读机。早教机一般是由单片机最小系统构成,由语音播放模块,按键电路,蜂鸣器等组成。系统中包含多首幼儿歌曲,多个故事以及若干英文语句,通过程序进行按键设置,单片机进行按键获取并且执行相应的播放、切换、暂停等功能。

点读机是一种有声学习辅助产品，是将书本等纸质教材变成能按学习需要发声的读音教材设备。传统的点读机是采用电磁感应或压力感应等技术，结合电磁或压力感应面板外置按钮点读笔和显示屏等硬件设备，通过外置按钮等输入方式进行人工选择所需书本，再从书库里调出相应书本的语音信息，以实现书本选择功能。

点读笔是采用光学图像识别技术的高科技产品，是继学习机、点读机之后的新一代智能阅读和教育学习工具。点读笔是采用光学图像识别技术，其智能阅读和学习功能实现局限于含底码层配套书本，对普通书本无识别能力。

点读机的教学内容都是针对给定的书籍内容定制的产品,可扩展性不强。通过预先录制声音然后回放来实现“让机器说话”的。这种方式无论是在内容、存储、传输或者方便性、及时性等方面都存在很大的限制。

专利的申请号：201610668326.0一种智能图像识别点读笔文中，点读笔利用点读笔的摄像头生成标示页图像，将标示页图像与云服务器或者存储器中存储的标示页图像一一配比，配比成功返回配比成功图像文件名的前缀作为普通书本的ID，查询图片图像与书名对应表，得到该普通书本图像、音频存储文件，可实现的前提是云服务器中有相关的图像及音频文件，智能性不高。

诵读对儿童启蒙教育非常重要，但现在城市生活压力大，家长平时忙于工作，有的甚至长期外地出差，没有很多的时间监督辅导孩子进行阅读背诵，同时对于幼儿来说，往往识字不多，操作复杂的工具又不容易上手，因此开发一种可实现语音交互，并可以利用亲人的语音进行教学，操作简单，帮助儿童诵读的教学应用，一方面可以提高儿童的文学修养，另一方面也可以纠正儿童的发音。

发明内容

为解决上述技术问题，本发明的目的在于提供一种智能幼教学习系统及方法。

本发明是通过以下技术方案实现的：

一种智能幼教学习系统，包括摄像头、本地图像采集模块、输入终端、本地语音识别模块、通信模块、个人文库、语音处理服务器、图像处理服务器和输出终端；

所述摄像头、本地图像采集模块和通信模块依次连接；

所述输入模块、本地语音识别模块、个人文库依次连接；

所述个人文库与所述通信模块互相通信连接；

所述通信模块与所述语音处理服务器和所述图像处理服务器通信连接；

所述语音处理服务器用于语音识别、语音合成和语音评测；

所述图像处理服务器用于图片文字识别。

进一步的，所述输入终端包括语音输入模块、触摸屏和/或键盘；所述输出终端包括显示屏和扬声器。

一种智能幼教学习方法，

用户通过语音输入或所述摄像头拍摄文本方式新建资源，添加用户想要学习内容，扩展更新所述个人文库；用户语音输入要学的内容，所述扬声器播放所选内容进行教学，通过所述语音处理服务器语音合成个性化语音，模仿亲人的发音进行教学，幼儿根据发音进行跟读学习，可通过发音评测，根据发音的评价等级进行反复学习，直到达标，实现个性化的学习。

进一步的，所述摄像头拍摄文本方式新建资源，包括以下步骤：

S1：所述摄像头拍摄所述文本页面得到图片信息，并将所述图片存储在所述本地图像采集模块；

S2：通过所述通信模块将所述图片信息上传到所述图像处理服务器；

S3：所述图像处理服务器对所述图片信息进行识别，转换成对应的文本，通过所述通信模块将转换的所述文本发送给所述显示屏；

S4：用户对转换的所述文本进行修订确认；

S5：将确认的所述文本保存到所述个人文库。

进一步的，所述语音输入方式新建资源，包括以下步骤：

S1：所述语音输入模块输入语音获得语音信号，通过所述通信模块上传所述语音信号到所述语音处理服务器；

S2：所述语音处理服务器完成对所述语音信号的识别,转换成对应的文本,通过所述通信模块将转换的所述文本发送给所述显示屏；

S3：用户对转换的所述文本进行修订确认；

S4：将确认的所述文本保存到所述个人文库。

进一步的，所述跟读学习，包括以下步骤：

S1：所述语音输入模块输入语音获得语音信号，所述本地语音识别模块对所述语音信号进行识别，识别出关键字；

S2：将所述关键字在所述个人文库中查找，如果找到所述关键字对应的文本,将所述文本发送到所述语音处理服务器；如果所述个人文库中没有所述关键字对应的文本,则在互联网中搜索，直至找到所述关键字对应的文本，将所述文本发送到所述语音处理服务器；

S3：所述语音处理服务器根据文本合成的语音信息传给所述用户端，并通过所述扬声器语音播报教学，同时在所述触摸屏显示教学的内容，并通过所述通信模块发送文本内容保存至所述个人文库。

进一步的，所述发音评测，包括以下步骤：

S1：由用户选择测试范围，在所述个人文库中选择测试范围内的部分文本信息；

S2：将所述文本信息通过所述通信模块传送到所述语音处理服务器；

S3：所述语音处理服务器对所述文本信息进行语音合成，将合成的语音信息通过所述通信模块发送到所述输出终端，通过所述扬声器播放，同时在所述显示屏上显示对应的文本；

S4：测试者应在给定时间内输入答案，将测试者输入的语音信息打包传给所述语音处理服务器，进行语音评测，将发音的评测结果反馈给所述输出终端，同时将语音识别出来的文字信息发送给所述显示屏；

S5：根据识别的文字和所述个人文库中的文字进行比对，并给出评测结果，将发音评测结果和文字内容评测结果均进行评价，如果任何一个评测结果不合格，则继续学习，否则可以根据用户选择，是否继续学习，同时记录测试结果。

进一步的，所述语音合成可以基于原有的语音库，也可以利用用户的语音信息来训练语音模型，构建自己的语音库。

本发明的智能幼教学习系统可以是一个独立的机器人或是包含有摄像头，麦克风、扬声器和触摸屏的智能终端。

所述个人文库存储了教学的文章内容和与文章的注释等内容，如诗人的情况，诗词的释意等。个人文库的内容可扩充，可根据客户提供的语音或图像信息，进行识别，并将识别后的的文本信息，存储在个人文库中。

为了增强亲子互动，在学习的过程中可以选择亲人的语音，如父亲或母亲的声音进行教学，并在教学过程中，显示父亲或母亲的图像信息。

用户可创建目录，直接方便快捷地从用户目录中选择学习资源，实现个性化的学习需要。为了避免幼儿学习疲劳，默认设置学习时间为20分钟，时间到会自动提醒学习结束，学习时间设置可自行修改。

相比现有技术,本发明具有如下有益效果:

智能点读笔的标示页图像和音频信息都需要预先存储在存储器中，限制了学习的范围，智能性不高，本发明的智能幼教学习系统可以通过语音或图像识别技术获取学习资源，扩展更新个人文库，不需要预存学习资源，可以自建目录，把想学的内容添加上传保存，并利用语音合成进行发音，学习的灵活性更强，实现个性化教学。

本发明提供了交互式的语音教学，引导幼儿学习文学知识,可以通过语音交互，通过语音处理服务器语音合成个性化语音，模仿亲人的发音进行教学，利用家人的语音和图像信息教学，弥补父母亲不在身边的遗憾，促进亲子感情交流。

附图说明

图1本发明系统构成示意图；

图2本发明语音处理服务器功能示意图；

图3本发明跟读流程图；

图4本发明通过语音输入方式新建资源流程图；

图5本发明通过摄像头拍摄文本方式新建资源流程图；

图6本发明发音评测流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程。

本发明系统构成如图1所示,语音处理服务器功能如图2所示。

图3跟读流程如下：通过语音输入要学习的内容，本地语音识别模块对输入语音进行识别，将识别到的关键字在所述个人文库中进行搜索,如果找到相关文本,即可将文本发送到语音处理服务器，由语音处理服务器反馈相关的语音信息进行教学；如果个人文库中没有,则利用互联网搜索识别到的关键字,如果有多个资源对应输入关键字，则将资源列表信息返回给所述显示屏，由用户做进一步选择，直至找到目标文本，并将该文本保存在所述个人文库,同时将该文本发送到语音处理服务器，由语音处理服务器反馈相关的语音信息进行教学；同时在显示屏显示教学的内容，学习的内容包括文章本身和注释。

图4通过语音输入方式新建资源流程

输入终端输入语音,通过通信模块上传输入的语言信息到语音处理服务器,由语音处理服务器完成对语音信号的识别,转换成对应的文本,再通过通信模块将识别后的文本发送给输出终端，并将转换的文本确认，保存到所述个人文库。

图5通过摄像头拍摄文本方式新建资源流程

用户通过摄像头拍摄书本页面得到图片信息,将图片信息保存并通过通信模块上传到图像处理服务器,由图像处理服务器完成对图片的识别,转换成对应的文本,再通过通信模块将识别后的文本发送给所述显示屏,并确认保存到所述个人文库。

图6发音评测流程

由用户选择测试范围，在个人文库中选择测试范围内的部分文本信息，如一个上联或下联、部分文本信息或诗名等，将该文本信息通过通信模块传送到语音处理服务器，语音处理服务器对文字进行语音合成，将合成的语音信息反馈回来并播放，同时在显示屏显示对应的文本。测试者应在给定时间内语音输入答案，学习系统将测试者输入的语音信息打包传给语音处理服务器，在服务器端进行语音评测，将发音的评测结果反馈给学习系统，同时将语音识别出来的文字信息发送给学习系统，学习系统根据识别的文字和文库中的文字进行比对，并给出评测结果。将发音评测结果和文字内容评测结果均按最高五颗星进行评价，如果任何一个评测结果低于3星，则继续学习。否则可以根据用户选择，是否继续学习。同时将测试结果记录下来。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。

Claims (8)

1.一种智能幼教学习系统，其特征在于，包括摄像头、本地图像采集模块、输入终端、本地语音识别模块、通信模块、个人文库、语音处理服务器、图像处理服务器和输出终端；

所述摄像头、本地图像采集模块和通信模块依次连接；

所述输入模块、本地语音识别模块、个人文库依次连接；

所述个人文库与所述通信模块互相通信连接；

所述通信模块与所述语音处理服务器和所述图像处理服务器通信连接；

所述语音处理服务器用于语音识别、语音合成和语音评测；

所述图像处理服务器用于图片文字识别。

2.根据权利要求1所述的一种智能幼教学习系统，其特征在于，所述输入终端包括语音输入模块、触摸屏和/或键盘；所述输出终端包括显示屏和扬声器。

3.一种基于权利要求2所述的一种智能幼教学习系统的智能幼教学习方法，其特征在于，

用户通过语音输入或所述摄像头拍摄文本方式新建资源，添加用户想要学习内容，扩展更新所述个人文库；用户语音输入要学的内容，所述扬声器播放所选内容进行教学，通过所述语音处理服务器语音合成个性化语音，模仿亲人的发音进行教学，幼儿根据发音进行跟读学习，可通过发音评测，根据发音的评价等级进行反复学习，直到达标，实现个性化的学习。

4.根据权利要求3所述的一种智能幼教学习方法，其特征在于，所述摄像头拍摄文本方式新建资源，包括以下步骤：

S1：所述摄像头拍摄所述文本页面得到图片信息，并将所述图片存储在所述本地图像采集模块；

S2：通过所述通信模块将所述图片信息上传到所述图像处理服务器；

S3：所述图像处理服务器对所述图片信息进行识别，转换成对应的文本，通过所述通信模块将转换的所述文本发送给所述显示屏；

S4：用户对转换的所述文本进行修订确认；

S5：将确认的所述文本保存到所述个人文库。

5.根据权利要求3所述的一种智能幼教学习方法，其特征在于，所述语音输入方式新建资源，包括以下步骤：

S1：所述语音输入模块输入语音获得语音信号，通过所述通信模块上传到所述语音处理服务器；

S2：所述语音处理服务器完成对所述语音信号的识别,转换成对应的文本,通过所述通信模块将转换的所述文本发送给所述显示屏；

S3：用户对转换的所述文本进行修订确认；

S4：将确认的所述文本保存到所述个人文库。

6.根据权利要求3所述的一种智能幼教学习方法，其特征在于，所述跟读学习，包括以下步骤：

S1：所述语音输入模块输入语音获得语音信号，所述本地语音识别模块对所述语音信号进行识别，识别出关键字；

S2：将所述关键字在所述个人文库中查找，如果找到所述关键字对应的文本,将所述文本发送到所述语音处理服务器；如果所述个人文库中没有所述关键字对应的文本,则在互联网中搜索，直至找到所述关键字对应的文本，将文本内容保存至所述个人文库，并将所述文本发送到所述语音处理服务器；

S3：所述语音处理服务器根据文本合成的语音信息通过所述通信模块发送给所述输出终端，并通过所述扬声器播报语音教学，同时在所述显示屏显示教学的内容，并通过所述通信模块发送文本内容保存至所述个人文库。

7.根据权利要求3所述的一种智能幼教学习方法，其特征在于，所述发音评测，包括以下步骤：

S1：由用户选择测试范围，在所述个人文库中选择测试范围内的部分文本信息；

S2：将所述文本信息通过所述通信模块传送到所述语音处理服务器；

S3：所述语音处理服务器对所述文本信息进行语音合成，将合成的语音信息通过所述通信模块发送到所述输出终端，通过所述扬声器播放，同时在所述显示屏上显示对应的文本；

S4：测试者应在给定时间内输入答案，将测试者输入的语音信息打包传给所述语音处理服务器，进行语音评测，将发音的评测结果反馈给所述输出终端，同时将语音识别出来的文字信息发送给所述显示屏；

S5：根据识别的文字和所述个人文库中的文字进行比对，并给出评测结果，将发音评测结果和文字内容评测结果均进行评价，如果任何一个评测结果不合格，则继续学习，否则可以根据用户选择，是否继续学习，同时记录测试结果。

8.根据权利要求3所述的一种智能幼教学习系统，其特征在于，所述语音合成可以基于原有的语音库，也可以利用用户的语音信息来训练语音模型，构建自己的语音库。