CN105427687A - 一种幼儿自助阅读系统 - Google Patents

一种幼儿自助阅读系统 Download PDF

Info

Publication number
CN105427687A
CN105427687A CN201510821843.2A CN201510821843A CN105427687A CN 105427687 A CN105427687 A CN 105427687A CN 201510821843 A CN201510821843 A CN 201510821843A CN 105427687 A CN105427687 A CN 105427687A
Authority
CN
China
Prior art keywords
module
database
books
bookid
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510821843.2A
Other languages
English (en)
Inventor
于拾全
卫亚东
朱晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Fandou Information Technology Co Ltd
Original Assignee
Dongguan Fandou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Fandou Information Technology Co Ltd filed Critical Dongguan Fandou Information Technology Co Ltd
Priority to CN201510821843.2A priority Critical patent/CN105427687A/zh
Publication of CN105427687A publication Critical patent/CN105427687A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种幼儿自助阅读系统,包括：系统终端，网络接口，以及网络服务器，系统终端通过网络接口与网络服务器连接，所述网络服务器具有图书BookID数据库，图书特征参数数据库，图书页面PageID数据库，以及多媒体服务系统，系统终端具有语音交互模块，语音识别模块，图像扫描模块，图像识别模块，以及音频视频下载播放模块，语音交互模块与语音识别模块连接，图像扫描模块与图像识别模块连接，语音识别模块与图书BookID数据库连接，图像识别模块与图书特征参数数据库及图书页面PageID数据库连接，音频视频下载播放模块与多媒体服务系统连接。幼儿可以通过上述自助阅读系统收听或收看到待阅读图书或图书中某个页面的相关媒体信息，无需别人的帮助。

Description

一种幼儿自助阅读系统
技术领域
本发明涉及一种幼儿自助阅读系统。
背景技术
由于汉字属于图形文字，复杂度相对较高，中国的低龄儿童一般在6岁之前难以实现自主的图书阅读。一般都需要家长或老师辅助进行。而实际家长和老师很难有足够多的时间辅助幼儿进行大量阅读，这导致了中国的儿童的阅读量普遍较低的现象。
目前的市场上，有一定数量的提供在线图书媒体下载播放的服务平台，但是他们都是基于手机或平台电脑等纯粹的网络接口实现。内容检索需要输入文字实现，对于幼儿来说是比较困难的，另外目前还没有产品可以做到对图书的每页内容都进行单独检索定位。因此基于目前市面的产品无法真正实现幼儿的自助阅读。
有鉴于此，有必要提供一种适用于幼儿的自助阅读系统。
发明内容
本发明为了解决上述问题而提供的一种幼儿自助阅读系统,包括：系统终端，网络接口，以及网络服务器，所述系统终端通过所述网络接口与所述网络服务器连接，所述网络服务器具有图书BookID数据库，图书特征参数数据库，图书页面PageID数据库，以及多媒体服务系统，所述系统终端具有语音交互模块，语音识别模块，图像扫描模块，图像识别模块，以及音频视频下载播放模块，所述语音交互模块与所述语音识别模块连接，所述图像扫描模块与所述图像识别模块连接，所述语音识别模块与所述图书BookID数据库连接，所述图像识别模块与所述图书特征参数数据库及所述图书页面PageID数据库连接，所述音频视频下载播放模块与所述多媒体服务系统连接。
优选地，所述语音识别模块包括语音提取模块,图书BookID网络解析模块,以及语音合成模块。
优选地，所述语音提取模块包括语音BookID格式方案，BookID解析数据库设计方案，以及语音电子标签设计方案。
优选地，所述图书BookID网络解析模块包括HTTP、HTTPS、FTP协议接口模块，网络数据包格式方案，数据包打包模块，以及数据包解析模块。
优选地，所述网络服务器包括图书信息数据服务，图书页面信息数据服务，以及实时/非实时多媒体服务，所述图书信息数据服务由所述图书BookID数据库支持，所述图书页面信息数据服务由所述图书特征参数数据库和所述图书页面PageID数据库支持，所述实时/非实时多媒体服务由所述多媒体服务系统支持。
优选地，所述图像识别模块包括图像尺寸缩放模块，图像特征提取模块，图像特征数据库训练模块以及图像特征模板匹配模块。
优选地，所述音频视频下载播放模块具有网络数据包组包模块。
优选地，所述语音交互模块和所述图像扫描模块为同一个摄像头实时图像输入接口。
本发明的有益效果在于：幼儿可以通过上述自助阅读系统收听或收看到待阅读图书或图书中某个页面的相关媒体信息，期间所有需要的处理就用摄像头扫描自己想阅读的部分，无需家长或老师的帮助。
附图说明
图1为本发明实施例提供的幼儿自助阅读系统的框架示意图。
具体实施方式
下面结合附图对本发明作进一步阐述：
本发明实施例提供一种幼儿自助阅读系统，该幼儿自助阅读系统的阅读对象为图书，如纸质图书、绘本或电子图书绘本。图书带有特定的语音，用于标示该图书的BookID。图书的语音是根据服务器可提供图书的范围设计得到，为每本图书设计约定相应的语音，语音一般为N位的数字或字母序列组合，每本图书BookID可以由语音唯一标示或小范围标示。例如，某套图书可以共享一个语音。
如图1所示，该幼儿自助阅读系统包括系统终端，网络接口，以及网络服务器。该系统终端可以为手机或平板电脑，系统终端通过网络接口连接网络服务系统。
网络服务器包括图书信息数据服务，图书页面信息数据服务，以及实时/非实时多媒体服务。图书信息数据服务由图书BookID数据库支持，BookID数据库里还具有关键词列表。图书页面信息数据服务由图书特征参数数据库和图书页面PageID数据库支持。实时/非实时多媒体服务由多媒体服务系统支持，多媒体服务系统包括图书音频视频资料数据库系统、音频视频实时在线播放服务系统、音频视频实时下载播放服务系统、音频视频离线播放服务系统。此外，实时/非实时多媒体服务支持包括HTTP、FTP等顺序流传输协议，RTSP、MMS实时流传输协议等多种流媒体协议接口，用于图书、图书页面相关的媒体内容播放。即网络服务器具有图书BookID数据库，图书特征参数数据库，图书页面PageID数据库，以及多媒体服务系统。
网络接口包括但不限于wifi无线网络、移动无线网络和有线网络接口。网络接口通过http，https，FTP，RTSP等协议接口实现连接。
系统终端具有语音交互模块，语音识别模块，图像扫描模块，图像识别模块，以及音频视频下载播放模块。语音识别模块，图像识别模块和音频视频下载播放模块分别通过网络接口与网络服务器连接。
语音交互模块为实时语音输入/输出接口,用于用户自然语音的输入，以及BookID检索期间的反馈信息的输出。
语音识别模块通过网络接口与图书BookID数据库相连。语音识别模块包括语音提取模块，图书BookID网络解析模块，以及语音合成模块。语音提取模块用于提取用户输入的语音中的BookID或辅助关键词；图书BookID网络解析模块用于把BookID打包成网络数据包，并且通过网络接口与图书BookID数据库连接，把网络数据包发送给图书BookID数据库，并从图书BookID数据库得到相应图书的资料存储信息。语音合成模块用于把检索期间的中间结果信息合成自然语音反馈给用户。
语音提取模块包括BookID格式方案，BookID解析数据库设计方案(包括主键和外键的约束关系，图书和音频视频资料的一对多关系映射方法)，以及语音电子标签设计方案，用于关联语音和图书存储资料的映射关系，实现BookID解析功能。
图书BookID网络解析模块包括HTTP、HTTPS、FTP协议接口模块，网络数据包格式方案，数据包打包模块，以及数据包解析模块，用于实现对所述语音解码得到的BookID进行解析，检索定位待阅读图书的网络资料存储信息。
语音交互模块和语音识别模块通过和用户的语音交互最终获取待阅读图书的BookID。获取待阅读图书的BookID的方法步骤如下：
1)用户语音输入，该语音命令格式为提前约定的：[我要读]BookID[号图书]，如用户语音输入为：[我要读]00000001[号图书]。
2)语音提取模块根据约定格式从语音中提取BookID：00000001。
3)图书BookID网络解析模块把BookID打包成网络数据包，发送给服务器系统，服务系统根据BookID在网络数据库查询相关信息BookName。根据本地预存图书BooKID列表进行遍历查询用户输入中是否存在某个BookID，如果存在则获取BookName并进入步骤4，如果不存在则进入步骤6。
4)语音合成模块通过语音交互模块输出：你是不是要读BookName？
5)用户语音输入判断信息：
(a)如果输入为：是的/对，则交互结束开始数据下载步骤，根据BookID查询数据库，得到相应图书的资料存储信息，下载该图书对应的图像特征数据库或音频视频数据。；
(b)如果用户输入：不对/不是。则进入步骤6。
6)语音合成系统反馈：还有其他信息吗？
7)用户输入关键词信息，其语音命令格式为：[我要读]关键词，如输入：[我要读]托马斯和多多岛。
8)语音识别模块通过语音提取模块提取用户输入的关键词，遍历关键词列表，检索是否存在包含这些关键词的记录。如果存在则回到步骤4确认结果。如果不存在，则回到步骤6。
如果经过多次交互得不到唯一的结果。则系统终端开始在前面的检索结果内，选择匹配关键词最多的记录开始推荐。优选地，系统终端中设定一个数值M，使推荐次数最多为M次。
图像扫描模块与图像识别模块连接。图像扫描模块为一个摄像头实时图像输入接口，用于获取页面图像，以及页面图像识别检索定位。
图像识别模块通过网络接口与图书特征参数数据库、图书页面PageID数据库相连。图像识别模块包括图像尺寸缩放模块，图像特征提取模块，图像特征数据库训练模块以及图像特征模板匹配模块。图像尺寸缩放模块用于调整实时图像尺寸和特征采集系统使用图像的尺寸进行匹配；图像特征提取模块用于提取图像的特征值，包括但不限于Harris角点、Fast特征点和Surf特征点；图像特征数据库训练模块用于把前面提取的特征值统一固化成数据库，即提前把所有图书的页面都采集图像创建特征模板数据库；图像特征模板匹配模块使用包括但不限于SIFT算法，Surf算法、SVM算法，用于实时获取图像特征值和数据库特征值进行匹配判断，用于确定当前图像和训练图像的匹配关系。例如，幼儿用摄像头实时图像输入接口扫描待阅读图书中的某一个页面的图像，图像识别模块提取相应的特征信息，然后通过匹配算法从图书页面PageID数据库获取该页面在图书中对应的页码PageID。
音频视频下载播放模块与多媒体服务系统连接，具有网络数据包组包模块，用于把前面的PageID打包发送给网络服务器。网络服务器根据前面的BookID和PageID查询数据库确定页面PageID对应的音频视频数据位置UrlM。
音频视频下载播放系统根据前面获取的UrlM，直接播放或下载后播放相应的媒体数据，也可以进一步检索后续的页面的数据。至此幼儿就可以自助收听或收看到待阅读图书或图书中某个页面的相关媒体信息。期间所有需要的处理就用摄像头扫描自己想阅读的部分，无需家长或老师的帮助。
以上所述实施例，只是本发明的较佳实例，并非来限制本发明的实施范围，故凡依本发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。

Claims (7)

1.一种幼儿自助阅读系统,包括：系统终端，网络接口，以及网络服务器，所述系统终端通过所述网络接口与所述网络服务器连接，其特征在于，
所述网络服务器具有图书BookID数据库，图书特征参数数据库，图书页面PageID数据库，以及多媒体服务系统，
所述系统终端具有语音交互模块，语音识别模块，图像扫描模块，图像识别模块，以及音频视频下载播放模块，所述语音交互模块与所述语音识别模块连接，所述图像扫描模块与所述图像识别模块连接，所述语音识别模块与所述图书BookID数据库连接，所述图像识别模块与所述图书特征参数数据库及所述图书页面PageID数据库连接，所述音频视频下载播放模块与所述多媒体服务系统连接。
2.如权利要求1所述的幼儿自助阅读系统，其特征在于，所述语音识别模块包括语音提取模块，图书BookID网络解析模块，以及语音合成模块。
3.如权利要求2所述的幼儿自助阅读系统，其特征在于，所述语音提取模块包括语音BookID格式方案，BookID解析数据库设计方案，以及语音电子标签设计方案。
4.如权利要求2所述的幼儿自助阅读系统，其特征在于，所述图书BookID网络解析模块包括HTTP、HTTPS、FTP协议接口模块，网络数据包格式方案，数据包打包模块，以及数据包解析模块。
5.如权利要求1所述的幼儿自助阅读系统，其特征在于，所述网络服务器包括图书信息数据服务，图书页面信息数据服务，以及实时/非实时多媒体服务，所述图书信息数据服务由所述图书BookID数据库支持，所述图书页面信息数据服务由所述图书特征参数数据库和所述图书页面PageID数据库支持，所述实时/非实时多媒体服务由所述多媒体服务系统支持。
6.如权利要求1所述的幼儿自助阅读系统，其特征在于，所述图像识别模块包括图像尺寸缩放模块，图像特征提取模块，图像特征数据库训练模块以及图像特征模板匹配模块。
7.如权利要求1所述的幼儿自助阅读系统，其特征在于，所述音频视频下载播放模块具有网络数据包组包模块。
CN201510821843.2A 2015-11-23 2015-11-23 一种幼儿自助阅读系统 Pending CN105427687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510821843.2A CN105427687A (zh) 2015-11-23 2015-11-23 一种幼儿自助阅读系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510821843.2A CN105427687A (zh) 2015-11-23 2015-11-23 一种幼儿自助阅读系统

Publications (1)

Publication Number Publication Date
CN105427687A true CN105427687A (zh) 2016-03-23

Family

ID=55505860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510821843.2A Pending CN105427687A (zh) 2015-11-23 2015-11-23 一种幼儿自助阅读系统

Country Status (1)

Country Link
CN (1) CN105427687A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844978A (zh) * 2016-05-18 2016-08-10 华中师范大学 一种小学语文词语学习辅助语音机器人装置及其工作方法
CN106408480A (zh) * 2016-11-25 2017-02-15 山东孔子文化产业发展有限公司 基于增强现实、语音识别的国学三维交互学习系统及方法
CN106548773A (zh) * 2016-11-04 2017-03-29 百度在线网络技术（北京）有限公司 基于人工智能的儿童用户搜索方法及装置
CN107705640A (zh) * 2017-09-12 2018-02-16 深圳市天演传媒有限公司 基于音频的互动教学方法、终端和计算机存储介质
CN107885847A (zh) * 2017-11-12 2018-04-06 成都明镜视觉科技有限公司 一种用于移动终端的实时3d说明书系统
CN109254663A (zh) * 2018-09-07 2019-01-22 许昌特博特科技有限公司 一种儿童图书辅助阅读机器人的使用方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063927A (zh) * 2006-04-25 2007-10-31 杭州草莓资讯有限公司 可即时上网与无线超链接学习机
CN102117317A (zh) * 2010-12-28 2011-07-06 北京航空航天大学 一种基于语音技术的盲人互联网系统
CN102332215A (zh) * 2010-07-12 2012-01-25 凌通科技股份有限公司 有声便利贴系统
CN102625164A (zh) * 2012-04-06 2012-08-01 上海车音网络科技有限公司 多媒体数据处理平台及多媒体读物、系统和方法
CN202615639U (zh) * 2012-04-16 2012-12-19 黄进明 触摸式点读机
CN103729457A (zh) * 2014-01-09 2014-04-16 中南出版传媒集团股份有限公司湖南教育出版社分公司 基于互联网的数字化图书辅助阅读系统及其方法
EP2720216A2 (en) * 2012-10-10 2014-04-16 Zanzoon SAS Method for establishing virtual interactivity between an individual and an electronic guessing game device
CN104063517A (zh) * 2014-07-15 2014-09-24 北京网梯科技发展有限公司 一种将点读资源投射到其他设备的方法及设备
CN104899293A (zh) * 2015-06-05 2015-09-09 深圳市创易联合科技有限公司 资源调取方法及系统
CN104992205A (zh) * 2015-06-04 2015-10-21 西安教育文化数码有限责任公司 Ar图书及基于ar图书的索引式增强现实系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063927A (zh) * 2006-04-25 2007-10-31 杭州草莓资讯有限公司 可即时上网与无线超链接学习机
CN102332215A (zh) * 2010-07-12 2012-01-25 凌通科技股份有限公司 有声便利贴系统
CN102117317A (zh) * 2010-12-28 2011-07-06 北京航空航天大学 一种基于语音技术的盲人互联网系统
CN102625164A (zh) * 2012-04-06 2012-08-01 上海车音网络科技有限公司 多媒体数据处理平台及多媒体读物、系统和方法
CN202615639U (zh) * 2012-04-16 2012-12-19 黄进明 触摸式点读机
EP2720216A2 (en) * 2012-10-10 2014-04-16 Zanzoon SAS Method for establishing virtual interactivity between an individual and an electronic guessing game device
CN103729457A (zh) * 2014-01-09 2014-04-16 中南出版传媒集团股份有限公司湖南教育出版社分公司 基于互联网的数字化图书辅助阅读系统及其方法
CN104063517A (zh) * 2014-07-15 2014-09-24 北京网梯科技发展有限公司 一种将点读资源投射到其他设备的方法及设备
CN104992205A (zh) * 2015-06-04 2015-10-21 西安教育文化数码有限责任公司 Ar图书及基于ar图书的索引式增强现实系统和方法
CN104899293A (zh) * 2015-06-05 2015-09-09 深圳市创易联合科技有限公司 资源调取方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844978A (zh) * 2016-05-18 2016-08-10 华中师范大学 一种小学语文词语学习辅助语音机器人装置及其工作方法
CN106548773A (zh) * 2016-11-04 2017-03-29 百度在线网络技术（北京）有限公司 基于人工智能的儿童用户搜索方法及装置
CN106548773B (zh) * 2016-11-04 2020-06-23 百度在线网络技术（北京）有限公司 基于人工智能的儿童用户搜索方法及装置
CN106408480A (zh) * 2016-11-25 2017-02-15 山东孔子文化产业发展有限公司 基于增强现实、语音识别的国学三维交互学习系统及方法
CN107705640A (zh) * 2017-09-12 2018-02-16 深圳市天演传媒有限公司 基于音频的互动教学方法、终端和计算机存储介质
CN107885847A (zh) * 2017-11-12 2018-04-06 成都明镜视觉科技有限公司 一种用于移动终端的实时3d说明书系统
CN109254663A (zh) * 2018-09-07 2019-01-22 许昌特博特科技有限公司 一种儿童图书辅助阅读机器人的使用方法
CN109254663B (zh) * 2018-09-07 2021-04-09 许昌特博特科技有限公司 一种儿童图书辅助阅读机器人的使用方法

Similar Documents

Publication Publication Date Title
CN105427687A (zh) 一种幼儿自助阅读系统
CN105374241A (zh) 一种幼儿自助阅读系统
US9372926B2 (en) Intelligent video summaries in information access
CN102349087B (zh) 自动提供与捕获的信息例如实时捕获的信息关联的内容
CN102063476B (zh) 视频搜索方法及系统
CN112449253B (zh) 交互式视频生成
KR101811468B1 (ko) 톱-ｋ 처리를 이용한 의미 보강
JP5634853B2 (ja) 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法
CN109582945A (zh) 文章生成方法、装置及存储介质
CN103348338A (zh) 文件格式、服务器、数字漫画的观看器设备、数字漫画产生设备
KR101492249B1 (ko) 사용자 맞춤형 광고 및 콘텐츠 제공 시스템
JP2010011332A (ja) テロップ収集装置およびテロップ収集方法
US20140324858A1 (en) Information processing apparatus, keyword registration method, and program
WO2017107448A1 (zh) 一种广告数据获取方法、装置及相关系统
JP6202815B2 (ja) 文字認識装置および文字認識方法並びに文字認識プログラム
KR20200045852A (ko) 음성 합성 또는 영상 편집을 통한 멀티미디어 컨텐츠 내 광고 서비스 플랫폼 및 음성 합성 서비스와 영상 편집 서비스를 제공하는 방법
CN103593356A (zh) 基于多媒体信息指纹技术的信息搜索方法、系统和应用
CN110209692A (zh) 数据标签的提供方法、数据处理方法、装置及设备
JP2019220098A (ja) 動画編集サーバおよびプログラム
CN105374240A (zh) 一种幼儿自助阅读系统
US9084011B2 (en) Method for advertising based on audio/video content and method for creating an audio/video playback application
KR20220079029A (ko) 문서 기반 멀티 미디어 콘텐츠 자동 제작 서비스 제공 방법
CN112445921A (zh) 摘要生成方法和装置
KR102435242B1 (ko) 음성 정보의 영상 리소스 매칭을 이용한 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치
JP2008204007A (ja) 画像辞書生成方法及び装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323