CN109389155A - 一种语言学习方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种语言学习方法，包括：反馈学习任务步骤，根据选择学习指令反馈对应的单词卡片学习任务内容，单词卡片单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容；反馈实物拍摄任务步骤，根据拍摄任务请求，反馈实物拍摄任务界面及相关提示；图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。本发明还公开了一种电子设备及存储介质，本发明的一种语言学习方法、电子设备及存储介质，通过卡片学习内容后，为了进一步强化记忆，提供实物拍摄任务供用户选择，进而强化用户对所学单词的记忆，较好地辅助用户学习语言。

Description

一种语言学习方法、电子设备及存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种语言学习方法、电子设备及存储介质。

背景技术

语言，是人类最重要的交际工具，是人们进行沟通的主要表达方式，人们借助语言保存和传递人类文明的成果。一直以来，语言学习都是教育事业的重中之重，而随着语言教育的发展进步，人们不再局限于学习自身的母语，在此基础上，越来越多的人选择学习一门第二语言以提升自身的交际、沟通能力。语言学习的初始阶段，是从对一系列声音、符号及其约定俗成意义的识别、再整和重现的过程，期间需要经过多次反复才能逐步理解直至掌握记忆。对于儿童学习语言的过程也是感知和理解语音和符号的过程，对词的感知主要是对词的音和形的把握，而对词的理解则是对词义的把握。

目前，出于辅助语言学习的考虑，已有一些辅助学习的软件和应用，利用单词发音配以手绘图像和对应单词和句子文字，来帮助儿童学习和记忆各种不同语言的词汇，然而，在一些外形或形态接近的场景名词、事物的学习上，儿童的理解还是会存在偏差。而对于强化记忆而言，仅仅通过发音配以对应图像的方式，使得掌握单词的语义需要一个较长的过程。

基于此，在语言学习时，如何帮助儿童更好的理解和掌握所学知识点，将物品平面图形图像认知和知识点传授与现实场景中的实物联系起来进行强化记忆和认知检验，从而有效辅助青少年较好地学习一门语言，并且帮助家长或教学机构进一步了解儿童的学习情况，尤其是了解儿童对词、句的语义认知和理解程度，是目前社会普遍关注的问题和研究方向。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种语言学习方法，能够以图形、词、句的方式进行单词学习之后，通过实物拍摄任务进一步强化记忆和认知检验，较好地辅助学习语言。

本发明的目的之一采用如下技术方案实现：

一种语言学习方法，包括：反馈学习任务步骤，根据选择学习指令反馈对应的单词卡片学习任务内容，所述单词卡片单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容；反馈实物拍摄任务步骤，根据拍摄任务请求，反馈实物拍摄任务界面及相关提示；图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。

进一步地，在所述反馈学习任务步骤之前，还包括：建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。

进一步地，在所述建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。

进一步地，每一个单词对应物品均包括有多个标准模板。

进一步地，在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。

进一步地，在所述反馈学习任务步骤中，还根据用户的播放请求反馈播放与任务单词、单词应用例句对应的音频内容。

进一步地，在所述反馈实物拍摄任务步骤中，若用户于拍摄任务界面设定时间段内未拍摄上传图像，则反馈任务单词对应中文语音内容。

进一步地，在所述图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。

本发明的目的之二在于提供一种电子设备，能够以图形、词、句的方式进行单词学习之后，通过实物拍摄任务进一步强化记忆和认知检验，较好地辅助学习语言。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明目的之一所述的一种语言学习方法。

本发明的目的之三在于提供一种存储介质，能够以图形、词、句的方式进行单词学习之后，通过实物拍摄任务进一步强化记忆和认知检验，较好地辅助学习语言。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明目的之一所述的一种语言学习方法。

相比现有技术，本发明的有益效果在于：

本发明的一种语言学习方法、电子设备及存储介质，通过在提供包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容的卡片学习内容后，为了进一步强化记忆，提供实物拍摄任务供用户选择，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而强化用户对所学单词的记忆，同时检验用户对所学单词的掌握情况，较好地辅助用户学习语言。

附图说明

图1为发明一种语言学习方法流程图；

图2为卡片学习任务内容界面。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一：

如图1所示的一种基于图像识别的语言学习方法，包括如下步骤：

S0建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型；

S1反馈学习任务步骤，根据选择学习指令反馈对应的单词卡片学习任务内容，单词卡片单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容；

S2反馈实物拍摄任务步骤，根据拍摄任务请求，反馈实物拍摄任务界面及相关提示；

S3图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。

本实施例的语言学习方法，首先通过展示平面图形图像和配以单词、句子以及对应的翻译内容进行知识点传授，在学习之后用户可通过任务模式帮助理解和强化记忆对应知识，同时系统通过判断任务的完成正确与否检测学习理解和掌握情况，能够及时纠正错误的理解输入，帮助用户更好的进行第二语言的学习和理解。甚至对于低龄儿童而言，对学习母语也是一种较好的辅助方式。在进行语言学习和引导时，通过用户终端如手机、学习机展示对应各种分类场景下的物品图像以及相关的单词、例句和对应语音发音来进行知识传授，通过看、听、跟读的学习过程对用户进行知识传授，之后再通过任务模式进行知识学习、理解情况的检测，帮助用户对对应单词的强化记忆。

首先，一方面，需要提供学习的所有单词，每个单词均对应存储有单词、单词应用例句及对应用户母语的单词及例句翻译内容，以及单词、单词应用例句的音频内容。此外，每个单词还包括有其对应的物品实物或者手绘图像。需要注意的是，提供学习的所有单词均为名词，这些单词涵盖有物品、食品、动物、植物等种类的名词，系统先根据种类进行分类，方便后续用户选择对应分类的单词进行学习。另一方面，为了能够识别判断后续用户实物拍摄任务上传的图像，需要预先建立好系统提供检验学习的所有单词对应物品的识别模型。譬如，若系统提供检验学习的单词多为物品、食品、动物、植物等种类的名词，则通过互联网获取这些单词对应的各种物品、食品、动物、植物在不同光线下拍摄的各个角度的图片，然后通过卷积神经网络算法进行学习训练，建立识别模型。识别模型建立过程具体如下：

1、首先通过对图像进行灰度处理，提高服务器的处理效率。灰度处理加权平均法公式如下：

f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)

其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。根据上述公式，计算各图像每个像素点的灰度值，取值范围是0-255，使图像都呈现黑白灰状态。此外，为了解决图片中物品存在位置偏移、大小不一、旋转不定的问题，需要通过质心对齐和线性插值放大可以使图像中的物品变为统一的规格，以便于后续匹配。质心对齐和线性插值放大为现有较成熟图像处理技术，这里不多赘述。

2、完成灰度处理后，则对图像进行特征提取，从每个单词对应物品的所有图像，均从图像中提取出一定维数的特征向量，从而提高物品匹配和识别的存储量和运算速度。由于每种物品都有很多特征，选用合适的特征才能达到正确识别的目的。本实施例根据各种不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的像素点数与物品总像素点数之比，以得到M＊N维特征向量。M、N的取值根据实际需要设定。

3、最后通过识别训练，从训练集各物品图像中提取出标准模板，建立标准特征库，即识别模型。每种物品都有几百个标准模板，通过特征提取后，将训练集各物品的特征向量存入文件中，训练时需要指明各种物品的正确值。完成上述操作后，则系统单词库每一单词均对应有多个标准模板构成的识别模型，后续用户上传拍摄任务图像时，只需通过图像处理与识别模型比对即可确定用户拍摄图像是否与任务单词对应。

之后，用户在进行语言学习时，通过用户终端，系统先展示包括动物、植物、食物、汽车等等多个分类的学习场景供用户选择，每个场景下均包括多个物品对应的单词卡片学习任务内容，系统预先将提供学习的单词分类，能够方便用户针对性进行学习。在获取用户选择的场景选择学习指令后，会按顺序或者随机反馈该选择学习指令对应场景的所有卡片学习任务内容。在用户终端上，通过交互界面显示任意一个卡片学习任务内容，以英语学习为例，卡片学习任务内容界面如图2所示，单词卡片内容包括：场景单词图像、场景物品的描述单词、单词应用例句及对应用户母语的单词及例句翻译内容，单词及例句后边设置有读音播放的按钮，点击按钮即可发送播放请求获取与任务单词、单词应用例句对应的音频内容。例句下方还设置有学习后的拍照任务，通过点击发送拍摄任务请求开启实物拍摄界面进行拍摄。需要注意的是，场景名词及单词应用例句为用户需要学习的英文、日文或其他第二语言，通过后台设置后可以切换学习的语种，默认设置为英文学习，对应母语为中文。

用户进行场景单词、例句学习后点击拍照按钮开始拍摄任务，用户终端提示用户拍摄与场景对应的物品照片上传，获取用户提交的照片。此外，如用户在拍摄界面停留较长时间没有进行其他操作，则播放对应的中文语音内容提示用户，方便用户理解单词语义，完成实物拍摄任务。

在用户上传拍摄任务图像后，系统获取用户提交的照片，利用预先建立的识别模型对照片进行识别，判断照片中拍摄的物品是否正确，正确则给予奖励，错误则展示一张正确的实物照片给用户查看，同时提示用户再次拍摄来完成任务。需要注意的是，对于用户错误上传的图片，如若系统检验到该图像对应系统中的另一单词，也可同时反馈该错误图像实际对应的单词。此外，为了提高本方法学习英语的趣味性，鼓励用户特别是儿童进行语言学习检验，对每个单词包括3次拍摄任务，同一天多次拍摄上传成功只计为完成一次拍摄任务，每次完成获得一颗星奖励，之后进入下一个该场景下的语音播放物品拍摄任务。识别模型比对识别过程具体如下：

1、用户在用户终端取景框中取景后点击拍照按钮，拍摄物品照片进行提交，系统获取用户提交的物品照片，对照片进行灰度处理，通过质心对齐和线性插值放大将场景物品照片处理为统一的规格，以便于匹配。

2、对物品照片进行特征提取，比对预先建立的识别模型对照片中包含的物品类型进行识别，根据识别结果判断照片中拍摄的物品是否正确。识别时，与建立识别模型时一样，根据不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的点数与物品总点数之比，得到M＊N维特征向量，将提取的特征向量与识别模型中包含的各类物品的特征向量做比对，判断出照片中拍摄的物品的类型，将识别出的物品类型结果与任务中的物品类型做比较，判断拍摄任务是否正确完成。

3、当用户正确完成拍摄任务时，判断该任务是否符合星星奖励条件，是则给予一星奖励后开启下一个语音播放及拍摄任务；如拍摄任务识别结果错误则展示一张正确的实物照片给用户查看后返回任务界面再次播放语音内容，提示用户重新拍摄来完成任务。

本实施例的一种语言学习方法，通过在提供包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容的卡片学习内容后，为了进一步强化记忆，提供实物拍摄任务供用户选择，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而强化用户对所学单词的记忆，同时检验用户对所学单词的掌握情况，较好地辅助用户学习语言。

实施例二：

实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种语言学习方法，该电子设备可以是手机、电脑、平板电脑等等一系列的电子设备。

实施例三：

实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种语言学习方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种语言学习方法，其特征在于，包括：

反馈学习任务步骤，根据选择学习指令反馈对应的单词卡片学习任务内容，所述单词卡片包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容；

反馈实物拍摄任务步骤，根据拍摄任务请求，反馈实物拍摄任务界面及相关提示；

图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。

2.如权利要求1所述的一种语言学习方法，其特征在于，在所述反馈学习任务步骤之前，还包括：

建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。

3.如权利要求2所述的一种语言学习方法，其特征在于：在所述建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。

4.如权利要求3所述的一种语言学习方法，其特征在于：每一个单词对应物品均包括有多个标准模板。

5.如权利要求3所述的一种语言学习方法，其特征在于：在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。

6.如权利要求1所述的一种语言学习方法，其特征在于：在所述反馈学习任务步骤中，还根据用户的播放请求反馈播放与任务单词、单词应用例句对应的音频内容。

7.如权利要求1所述的一种语言学习方法，其特征在于：在所述反馈实物拍摄任务步骤中，若用户于拍摄任务界面设定时间段内未拍摄上传图像，则反馈任务单词对应中文语音内容。

8.如权利要求1所述的一种语言学习方法，其特征在于：在所述图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。

9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-8任意一项所述的一种语言学习方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8任意一项所述的一种语言学习方法。