CN108022464A - 一种识别语言描述并显示对应图片的学习教具系统 - Google Patents

Abstract

本发明公开了一种识别语言描述并显示对应图片的学习教具系统，包括掌上电子设备、嵌入式系统、语音识别芯片及flash存储芯片，其中，所述掌上电子设备上带有屏幕、麦克风、扬声器和按键；所述嵌入式系统，分别与所述掌上电子设备的屏幕、麦克风、扬声器和按键相连接；所述语音识别芯片连接在所述嵌入式系统上；所述嵌入式系统还与所述flash存储芯片相连接，用于存储图片数据。本发明的学习教具系统可以实时识别儿童的语音描述，并整合描述内容选取并显示所描述的图片，通过对图片的对比可以非常清晰直观地看出不同精度语言描述的实际效果的不同，建立有效的学习反馈机制。

Description

一种识别语言描述并显示对应图片的学习教具系统

技术领域

本发明涉及嵌入式开发技术、语音识别技术、图片显示技术，直接应用于教育教具、玩具等领域，具体地说，是涉及一种识别语言描述并显示对应图片的学习教具系统。

背景技术

目前已有的玩教具大多仍以图书形式出现，也没有根据儿童的描述实时反馈出所描述内容的玩教具产品。

发明内容

本发明的目的是解决上述技术的不足，目的是训练儿童认真观察和清晰描述不同事物的能力，通过使用明确的描述语言对该事物进行描述，系统可以根据语音识别实时呈现语言所描述的物体图片，从而及时反馈出描述与对象实际的差异，帮助儿童及时纠正。

为解决上述技术问题，本发明提供了一种识别语言描述并显示对应图片的学习教具系统，包括掌上电子设备、嵌入式系统、语音识别芯片及flash存储芯片，其中，

所述掌上电子设备上带有屏幕、麦克风、扬声器和按键；

所述嵌入式系统，分别与所述掌上电子设备的屏幕、麦克风、扬声器和按键相连接；

所述语音识别芯片连接在所述嵌入式系统上；

所述嵌入式系统还与所述flash存储芯片相连接，用于存储图片数据。

优选地，所述嵌入式系统，进一步为，ARM250内核的嵌入式系统。

优选地，所述语音识别芯片，进一步为，XFS5152CE语音识别芯片。

优选地，所述flash存储芯片的容量在1GB以上。

优选地，在使用时的具体步骤如下：

以某个事物为描述对象，罗列出常见的对该事物的定语描述；根据不同的描述词的组合关系，对应分别制作不同的图片；设定被描述的事物名为变量n，各种描述词依照次序设为p1、p2…pn，这些事物名与描述词被定义为不同的数值，每张图片的文件名即是事物名+描述词的组合，命名为n+p1+p2+…+pn.jpg，所有属性不同的组合所构成的全部图片都存储在系统的flash存储芯片上；

预设图片：使用所述按键选择一个事物的图片，该事物的图片会显示到所述显示器的一个位置上，得到预设图片；

获取识别图片：通过语言描述该事物，所述麦克风读取语音，所述语音识别芯片将识别出的描述词与事物名所对应的数值赋值到变量n与p中，根据n+p1+p2+…+pn.jpg选择对应的图片文件显示在屏幕的另一位置上，得到识别图片；

当识别图片与预设图片相同，扬声器发出预先录入的描述完全正确的语音提示；

当语音未成功识别、描述不清、或未与任何预置的图片名对应匹配，显示器不显示识别图片，扬声器发出预先录入的没有听清、请重新描述的语音提示。

该系统的技术背景主要为单片机嵌入式开发和语音识别技术。该系统中需要用到的嵌入式开发技术和语音识别技术都已非常成熟。软件方面，通过语言描述呈现画面的项目大多还不成熟，主要原因在于自然语言识别准确率低语法分析复杂，转换成对应的图片更是难上加难，大量模糊感性的语言难以定量表达，即便使用模拟神经网络和深度学习算法也往往难以胜任。但在为了培养儿童细致观察和精准描述事物的这一目的下，可以通过规定识别特定关键词而无需考虑自然语言语法关系的方法来大大提升语言识别的成功率，并将各种描述词语的组合情况都绘制成图片预先存储在系统中，再根据识别出的关键词提取对应的图片即可，从而达成教具的各个具体功能。该发明也可通过更新图片和数据库来拓展内容和玩法，因此有较大市场空白和教育意义。

细致的观察和精准的语言描述是建立理性逻辑思维不可缺少的基础素养，其中，让儿童意识到一般模糊大概的语言描述与精准的描述之间有很大的差异，从而督促儿童养成精确描述习惯的意识，是设计这类教具的重点功能。

与现有技术相比，本发明所述的识别语言描述并显示对应图片的学习教具系统，达到了如下效果：

本发明的学习教具系统可以实时识别儿童的语音描述，并整合描述内容选取并显示所描述的图片，通过对图片的对比可以非常清晰直观地看出不同精度语言描述的实际效果的不同，建立有效的学习反馈机制。

本发明使用语音识别芯片结合固定关键词的筛选方式，无需考虑自然语言语法关系或各种个性化语言习惯差异，可以大大提升语音识别的成功率，提升开发效率，减少与测试成本。将语音描述的结果转换为图片呈现和对比让学习反馈的效率更高，对比更明显。通过图片名来比较描述是否完全正确无需图片识别分析技术，大大降低了对设备处理性能的要求，降低了制造和设计成本。后期通过更新图片内容和数据库信息可以不断拓展新的内容和玩法，有巨大的教育和市场价值。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为识别语言描述并显示对应图片的学习教具系统结构示意图；

图2为识别语言描述并显示对应图片的学习教具系统工作方法流程图；

其中：1-掌上电子设备；

2-屏幕；

3-扬声器；

4-麦克风；

5-按键；

6-预设图片；

7-识别图片。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。

实施例1：

结合图1，本实施例提供了一种识别语言描述并显示对应图片的学习教具系统，包括掌上电子设备1、嵌入式系统、语音识别芯片及flash存储芯片，其中，

所述掌上电子设备1上带有屏幕2、麦克风4、扬声器3和按键5；

所述嵌入式系统，分别与所述掌上电子设备1的屏幕2、麦克风4、扬声器3和按键5相连接；

所述语音识别芯片连接在所述嵌入式系统上；

所述嵌入式系统还与所述flash存储芯片相连接，用于存储图片数据。

所述嵌入式系统，进一步为，ARM250内核的嵌入式系统。

所述语音识别芯片，进一步为，XFS5152CE语音识别芯片。

所述flash存储芯片的容量在1GB以上。

使用时具体步骤如下：

以某个事物为描述对象，罗列出常见的对该事物的定语描述；根据不同的描述词的组合关系，对应分别制作不同的图片；设定被描述的事物名为变量n，各种描述词依照次序设为p1、p2…pn，这些事物名与描述词被定义为不同的数值，每张图片的文件名即是事物名+描述词的组合，命名为n+p1+p2+…+pn.jpg，所有属性不同的组合所构成的全部图片都存储在系统的flash存储芯片上；

预设图片6：使用所述按键5选择一个事物的图片，该事物的图片会显示到所述显示器的一个位置上，得到预设图片6；

获取识别图片7：通过语言描述该事物，所述麦克风4读取语音，所述语音识别芯片将识别出的描述词与事物名所对应的数值赋值到变量n与p中，根据n+p1+p2+…+pn.jpg选择对应的图片文件显示在屏幕2的另一位置上，得到识别图片7；

当识别图片7与预设图片6相同，扬声器3发出预先录入的描述完全正确的语音提示；

当语音未成功识别、描述不清、或未与任何预置的图片名对应匹配，显示器不显示识别图片7，扬声器3发出预先录入的没有听清、请重新描述的语音提示。

实施例2：

本发明的识别语言描述并显示对应图片的学习教具系统包括以下设备：（1）一个带有屏幕2、麦克风4、扬声器3、按键5的掌上电子设备1；（2）设备内置ARM250内核或具有同等处理性能CPU的嵌入式系统，屏幕2、麦克风4、扬声器3、按键5均与该嵌入式系统相连；（3）设备内置XFS5152CE或同等处理能力的语音识别芯片，芯片连接在嵌入式系统上；语音识别芯片也叫语音识别IC，与传统的语音芯片相比，语音识别芯片最大的特点就是能够语音识别，它能让机器听懂人类的语音，并且可以根据命令执行各种动作，如眨眼睛、动嘴巴（智能娃娃）。除此之外，语音识别芯片还具有高品质、高压缩率录音放音功能，可实现人机对话。（4）嵌入式系统连接一个flash存储芯片，容量1GB以上，用于存储图片等数据。

功能说明：（1）以某个事物为描述对象，罗列出常见的对该事物的定语描述，如：红色的书包、双肩书包等；（2）根据不同的描述词的组合关系，对应分别制作不同的图片；（3）在程序中设定被描述的事物名为变量n，各种描述词依照次序设为p₁、p_2…p_n ；（4）这些事物名与描述词汇被定义为不同的数值；（5）每张图片的文件名即是“事物名+描述词”的组合，命名为“n+p₁+p₂+_…+p_n.jpg”，所有属性不同的组合所构成的全部图片都存储在系统的flash存储芯片上；（6）开机后使用按键5选择一个事物的图片，该事物图片会显示到显示器的一个位置上；（7）操作者通过语言描述该事物，麦克风4读取语音，语音处理芯片将识别出的描述词与事物名所对应的数值赋值到变量n与p中；（8）根据n+p₁+p₂+_…+p_n.jpg选择对应的图片文件显示在屏幕2的另一位置上；（9）如果后显示的图片与预先选择的图片相同，扬声器3发出预先录入的“描述完全正确！”语音提示；（10）如果语音未成功识别、或描述不清、未与任何预置的图片名对应匹配，显示器不显示新图片，扬声器3发出预先录入的“没有听清，请重新描述”的语音提示。

实施例3：

结合图2，在实施例1和实施例2的基础上，本实施例为应用实施例，具体步骤如下：

1）打开掌上设备开关，通过按键5选取一个图片，图片显示到显示器的一侧；

2）儿童用语音描述该图片，要求描述内容包含该图片中事物的名称及各个部分、位置的特征；

3）语音识别模块识别儿童的该段描述内容，并将识别出的事物名关键词与各个描述词所对应的数值分别对应赋值给变量n、p₁、p_2…p_n ；

4）系统从flash存储芯片中选取文件名为n+p₁+p₂+_…+p_n.jpg的图片，显示到屏幕2的另一侧；

5）通过if型语句判断该图片与步骤1）中选取的图片文件名是否相同，若相同则扬声器3提示“描述完全正确！”，若不相同则无提示反应，麦克风4继续待机接收新一段的语音描述。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种识别语言描述并显示对应图片的学习教具系统，其特征在于，包括掌上电子设备、嵌入式系统、语音识别芯片及flash存储芯片，其中，

所述掌上电子设备上带有屏幕、麦克风、扬声器和按键；

所述嵌入式系统，分别与所述掌上电子设备的屏幕、麦克风、扬声器和按键相连接；

所述语音识别芯片连接在所述嵌入式系统上；

所述嵌入式系统还与所述flash存储芯片相连接，用于存储图片数据。

2.根据权利要求1所述的识别语言描述并显示对应图片的学习教具系统，其特征在于，所述嵌入式系统，进一步为，ARM250内核的嵌入式系统。

3.根据权利要求1所述的识别语言描述并显示对应图片的学习教具系统，其特征在于，所述语音识别芯片，进一步为，XFS5152CE语音识别芯片。

4.根据权利要求1所述的识别语言描述并显示对应图片的学习教具系统，其特征在于，所述flash存储芯片的容量在1GB以上。

5.根据权利要求1所述的识别语言描述并显示对应图片的学习教具系统，其特征在于，在使用时的具体步骤如下：

以某个事物为描述对象，罗列出常见的对该事物的定语描述；根据不同的描述词的组合关系，对应分别制作不同的图片；设定被描述的事物名为变量n，各种描述词依照次序设为p₁、p_2…p_n，这些事物名与描述词被定义为不同的数值，每张图片的文件名即是事物名+描述词的组合，命名为n+p₁+p₂+_…+p_n.jpg，所有属性不同的组合所构成的全部图片都存储在系统的flash存储芯片上；

预设图片：使用所述按键选择一个事物的图片，该事物的图片会显示到所述显示器的一个位置上，得到预设图片；

获取识别图片：通过语言描述该事物，所述麦克风读取语音，所述语音识别芯片将识别出的描述词与事物名所对应的数值赋值到变量n与p中，根据n+p₁+p₂+_…+p_n.jpg选择对应的图片文件显示在屏幕的另一位置上，得到识别图片；

当识别图片与预设图片相同，扬声器发出预先录入的描述完全正确的语音提示；

当语音未成功识别、描述不清、或未与任何预置的图片名对应匹配，显示器不显示识别图片，扬声器发出预先录入的没有听清、请重新描述的语音提示。