CN109167913B - 一种语言学习型相机 - Google Patents

Abstract

一种语言学习型相机，包括外壳、摄像头、屏幕、扬声器、闪光灯、内部处理电路，内部处理电路包括处理器，摄像头、屏幕、扬声器、闪光灯安装在外壳上，内部处理电路置于外壳内，摄像头、屏幕、扬声器、闪光灯与内部处理电路连接，处理器接收摄像头发送的图片信息和用户通过屏幕发送的学习指令，处理器执行以下步骤：反馈第一任务步骤，反馈实物拍摄任务步骤，第一图像检验步骤，反馈第二任务步骤，第二图像检验步骤，通过卡片学习内容后，提供实物拍摄任务供用户选择，进而强化用户对所学单词的记忆，通过反馈单词语音内容的同时展示实物拍摄界面，对用户拍摄的实物图像进行判断，进而实现对用户所学单词掌握情况的检验，较好地辅助用户学习语言。

Description

一种语言学习型相机

技术领域

本发明涉及图像识别技术领域，尤其涉及一种语言学习型相机。

背景技术

语言，是人类最重要的交际工具，是人们进行沟通的主要表达方式，人们借助语言保存和传递人类文明的成果。一直以来，语言学习都是教育事业的重中之重，而随着语言教育的发展进步，人们不再局限于学习自身的母语，在此基础上，越来越多的人选择学习一门第二语言以提升自身的交际、沟通能力。语言学习的初始阶段，是从对一系列声音、符号及其约定俗成意义的识别、再整和重现的过程，期间需要经过多次反复才能逐步理解直至掌握记忆。对于儿童学习语言的过程也是感知和理解语音和符号的过程，对词的感知主要是对词的音和形的把握，而对词的理解则是对词义的把握。

目前，出于辅助语言学习的考虑，已有一些辅助学习的软件和应用，利用单词发音配以手绘图像和对应单词和句子文字，来帮助儿童学习和记忆各种不同语言的词汇，然而，在一些外形或形态接近的场景名词、事物的学习上，儿童的理解还是会存在偏差。而对于强化记忆而言，仅仅通过发音配以对应图像的方式，使得掌握单词的语义需要一个较长的过程。

基于此，在语言学习时，如何帮助儿童更好的理解和掌握所学知识点，将物品平面图形图像认知和知识点传授与现实场景中的实物联系起来进行强化记忆和认知检验，以及将现实场景中的物品或场景的语音描述与实物联系起来进行强化记忆和认知检验，从而有效辅助青少年较好地学习一门语言，并且帮助家长或教学机构进一步了解儿童的学习情况，尤其是了解儿童对词、句的语义认知和理解程度，是目前社会普遍关注的问题和研究方向。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种语言学习型相机，解决了在语言学习时，将物品平面图形图像认知和知识点传授与现实场景中的实物联系起来进行强化记忆和认知检验，以及将现实场景中的物品或场景的语音描述与实物联系起来进行强化记忆和认知检验，从而有效辅助青少年较好地学习一门语言的问题。

本发明提供一种语言学习型相机，包括外壳、摄像头、屏幕、扬声器、闪光灯、内部处理电路，所述内部处理电路包括主板、处理器、内存、存储器、电池，所述摄像头、屏幕、扬声器、闪光灯安装在所述外壳上，所述内部处理电路置于所述外壳内，所述摄像头、屏幕、扬声器、闪光灯与所述内部处理电路连接，所述处理器接收所述摄像头发送的图片信息和用户通过所述屏幕发送的学习指令，所述学习指令包括第一学习指令和第二学习指令，若所述学习指令为第一学习指令，则所述处理器执行以下步骤：

反馈第一任务步骤，根据第一学习指令反馈对应的单词卡片学习任务内容，所述单词卡片包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容；

反馈实物拍摄任务步骤，根据拍摄任务请求，反馈实物拍摄任务界面及相关提示；

第一图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果；

若所述学习指令为第二学习指令，则所述处理器执行以下步骤：

反馈第二任务步骤，根据第二学习指令反馈对应的单词语音内容及实物拍摄任务；

第二图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。

进一步地，在所述反馈第一任务步骤和所述反馈第二任务步骤之前，还包括：

建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。

进一步地，在所述建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。

进一步地，每一个单词对应物品均包括有多个标准模板。

进一步地，在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。

进一步地，在所述反馈第一任务步骤中，还根据用户的播放请求反馈播放与任务单词、单词应用例句对应的音频内容；

在所述反馈第二任务步骤中，还根据用户请求重新播放单词语音内容及单词对应例句的语音内容。

进一步地，在所述反馈实物拍摄任务步骤中，若用户于拍摄任务界面设定时间段内未拍摄上传图像，则反馈任务单词对应中文语音内容；

在所述反馈第二任务步骤中，若用户获取实物拍摄任务设定时间段后未拍摄上传图像，则反馈任务单词对应中文语音内容。

进一步地，在所述第一图像检验步骤和所述第二图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。

进一步地，还包括查看历史记录步骤，根据查看历史记录请求，反馈包含记录列表的历史记录界面，根据用户在所述记录列表中选择的记录，展示所述记录关联的图像及图像识别结果。

进一步地，还包括参数设置步骤，根据设置请求，反馈设置界面，根据用户在所述设置界面选择的闪光灯开启和/或关闭请求、语音自动播报开启和/或关闭请求、录入用户资料请求开启和/或关闭闪光灯、开启和/或关闭自动语音自动播报、反馈用户资料录入界面。

相比现有技术，本发明的有益效果在于：

本发明的一种语言学习型相机，处理器接收到第一学习指令时，提供包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容的卡片学习内容，为了进一步强化记忆，提供实物拍摄任务供用户选择，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而强化用户对所学单词的记忆，同时检验用户对所学单词的掌握情况，较好地辅助用户学习语言；处理器接收到第二学习指令时，反馈单词语音内容的同时展示实物拍摄界面，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而实现对用户所学单词掌握情况的检验，较好地辅助用户学习语言。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种语言学习型相机内部结构示意图；

图2为本发明实施例中处理器执行的方法流程图一；

图3为卡片学习任务内容界面；

图4为本发明实施例中处理器执行的方法流程图二。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

一种语言学习型相机，如图1所示，包括外壳、摄像头、屏幕、扬声器、闪光灯、内部处理电路，内部处理电路包括主板、处理器、内存、存储器、电池，摄像头、屏幕、扬声器、闪光灯安装在外壳上，内部处理电路置于外壳内，摄像头、屏幕、扬声器、闪光灯与内部处理电路连接，处理器接收摄像头发送的图片信息和用户通过屏幕发送的学习指令，学习指令包括第一学习指令和第二学习指令，如图2所示，若学习指令为第一学习指令，则处理器执行以下步骤：

反馈第一任务步骤，根据第一学习指令反馈对应的单词卡片学习任务内容，单词卡片包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容；优选的，在反馈第一任务步骤中，还根据用户的播放请求反馈播放与任务单词、单词应用例句对应的音频内容；

反馈实物拍摄任务步骤，根据拍摄任务请求，反馈实物拍摄任务界面及相关提示；

第一图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果；优选的，在第一图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。

在一实施例中，优选的，在反馈第一任务步骤之前，还包括：建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。优选的，在建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。优选的，每一个单词对应物品均包括有多个标准模板。优选的，在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。

本实施例中处理器处理第一学习指令的方法，首先通过展示平面图形图像和配以单词、句子以及对应的翻译内容进行知识点传授，在学习之后用户可通过任务模式帮助理解和强化记忆对应知识，同时系统通过判断任务的完成正确与否检测学习理解和掌握情况，能够及时纠正错误的理解输入，帮助用户更好的进行第二语言的学习和理解。甚至对于低龄儿童而言，对学习母语也是一种较好的辅助方式。在进行语言学习和引导时，通过用户终端如手机、学习机展示对应各种分类场景下的物品图像以及相关的单词、例句和对应语音发音来进行知识传授，通过看、听、跟读的学习过程对用户进行知识传授，之后再通过任务模式进行知识学习、理解情况的检测，帮助用户对对应单词的强化记忆。

首先，一方面，需要提供学习的所有单词，每个单词均对应存储有单词、单词应用例句及对应用户母语的单词及例句翻译内容，以及单词、单词应用例句的音频内容。此外，每个单词还包括有其对应的物品实物或者手绘图像。需要注意的是，提供学习的所有单词均为名词，这些单词涵盖有物品、食品、动物、植物等种类的名词，系统先根据种类进行分类，方便后续用户选择对应分类的单词进行学习。另一方面，为了能够识别判断后续用户实物拍摄任务上传的图像，需要预先建立好系统提供检验学习的所有单词对应物品的识别模型。譬如，若系统提供检验学习的单词多为物品、食品、动物、植物等种类的名词，则通过互联网获取这些单词对应的各种物品、食品、动物、植物在不同光线下拍摄的各个角度的图片，然后通过卷积神经网络算法进行学习训练，建立识别模型。识别模型建立过程具体如下：

1、首先通过对图像进行灰度处理，提高服务器的处理效率。灰度处理加权平均法公式如下：

f(i，j)＝0.30(i，j)+0.59G(i，j)+0.11B(i，j)

其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。根据上述公式，计算各图像每个像素点的灰度值，取值范围是0-255，使图像都呈现黑白灰状态。此外，为了解决图片中物品存在位置偏移、大小不一、旋转不定的问题，需要通过质心对齐和线性插值放大可以使图像中的物品变为统一的规格，以便于后续匹配。质心对齐和线性插值放大为现有较成熟图像处理技术，这里不多赘述。

2、完成灰度处理后，则对图像进行特征提取，从每个单词对应物品的所有图像，均从图像中提取出一定维数的特征向量，从而提高物品匹配和识别的存储量和运算速度。由于每种物品都有很多特征，选用合适的特征才能达到正确识别的目的。本实施例根据各种不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的像素点数与物品总像素点数之比，以得到M＊N维特征向量。M、N的取值根据实际需要设定。

3、最后通过识别训练，从训练集各物品图像中提取出标准模板，建立标准特征库，即识别模型。每种物品都有几百个标准模板，通过特征提取后，将训练集各物品的特征向量存入文件中，训练时需要指明各种物品的正确值。完成上述操作后，则系统单词库每一单词均对应有多个标准模板构成的识别模型，后续用户上传拍摄任务图像时，只需通过图像处理与识别模型比对即可确定用户拍摄图像是否与任务单词对应。

之后，用户在进行语言学习时，通过用户终端，系统先展示包括动物、植物、食物、汽车等等多个分类的学习场景供用户选择，每个场景下均包括多个物品对应的单词卡片学习任务内容，系统预先将提供学习的单词分类，能够方便用户针对性进行学习。在获取用户选择的场景选择学习指令后，会按顺序或者随机反馈该选择学习指令对应场景的所有卡片学习任务内容。在用户终端上，通过交互界面显示任意一个卡片学习任务内容，以英语学习为例，卡片学习任务内容界面如图3所示，单词卡片内容包括：场景单词图像、场景物品的描述单词、单词应用例句及对应用户母语的单词及例句翻译内容，单词及例句后边设置有读音播放的按钮，点击按钮即可发送播放请求获取与任务单词、单词应用例句对应的音频内容。例句下方还设置有学习后的拍照任务，通过点击发送拍摄任务请求开启实物拍摄界面进行拍摄。需要注意的是，场景名词及单词应用例句为用户需要学习的英文、日文或其他第二语言，通过后台设置后可以切换学习的语种，默认设置为英文学习，对应母语为中文。

用户进行场景单词、例句学习后点击拍照按钮开始拍摄任务，用户终端提示用户拍摄与场景对应的物品照片上传，获取用户提交的照片。此外，如用户在拍摄界面停留较长时间没有进行其他操作，则播放对应的中文语音内容提示用户，方便用户理解单词语义，完成实物拍摄任务。

在用户上传拍摄任务图像后，系统获取用户提交的照片，利用预先建立的识别模型对照片进行识别，判断照片中拍摄的物品是否正确，正确则给予奖励，错误则展示一张正确的实物照片给用户查看，同时提示用户再次拍摄来完成任务。需要注意的是，对于用户错误上传的图片，如若系统检验到该图像对应系统中的另一单词，也可同时反馈该错误图像实际对应的单词。此外，为了提高本方法学习英语的趣味性，鼓励用户特别是儿童进行语言学习检验，对每个单词包括3次拍摄任务，同一天多次拍摄上传成功只计为完成一次拍摄任务，每次完成获得一颗星奖励，之后进入下一个该场景下的语音播放物品拍摄任务。识别模型比对识别过程具体如下：

1、用户在用户终端取景框中取景后点击拍照按钮，拍摄物品照片进行提交，系统获取用户提交的物品照片，对照片进行灰度处理，通过质心对齐和线性插值放大将场景物品照片处理为统一的规格，以便于匹配。

2、对物品照片进行特征提取，比对预先建立的识别模型对照片中包含的物品类型进行识别，根据识别结果判断照片中拍摄的物品是否正确。识别时，与建立识别模型时一样，根据不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的点数与物品总点数之比，得到M＊N维特征向量，将提取的特征向量与识别模型中包含的各类物品的特征向量做比对，判断出照片中拍摄的物品的类型，将识别出的物品类型结果与任务中的物品类型做比较，判断拍摄任务是否正确完成。

3、当用户正确完成拍摄任务时，判断该任务是否符合星星奖励条件，是则给予一星奖励后开启下一个语音播放及拍摄任务；如拍摄任务识别结果错误则展示一张正确的实物照片给用户查看后返回任务界面再次播放语音内容，提示用户重新拍摄来完成任务。

如图4所示，若学习指令为第二学习指令，则处理器执行以下步骤：

反馈第二任务步骤，根据第二学习指令反馈对应的单词语音内容及实物拍摄任务；在反馈第二任务步骤中，还根据用户请求重新播放单词语音内容及单词对应例句的语音内容。优选的，在反馈第二任务步骤中，若用户获取实物拍摄任务设定时间段后未拍摄上传图像，则反馈任务单词对应中文语音内容。

第二图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。优选的，在第二图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。

在一实施例中，优选的，在反馈第二任务步骤之前，还包括：建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。优选的，在建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。优选的，每一个单词对应物品均包括有多个标准模板。优选的，在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。

本实施例通过播放单词语音提示用户来完成相应实物的拍摄，通过图像识别技术判断任务的完成正确与否来检测学习理解和掌握情况，能够及时纠正用户对单词学习的错误理解，其趣味性的拍照任务模式能帮助用户更好的进行第二语言的学习。甚至对于低龄儿童而言，对学习母语也是一种较好的辅助方式。在进行英语学习和引导时，通过播放各种分类场景下的物品单词、例句的语音发音，来帮助用户(主要为儿童)听音识物学习第二语言，通过根据听到的语音进行拍照的任务模式进行知识理解情况的检测，帮助儿童进行强化记忆。

首先，为了能够识别判断后续用户实物拍摄任务上传的图像，需要预先建立好系统提供检验学习的所有单词对应物品的识别模型。譬如，若系统提供检验学习的单词多为物品、食品、动物、植物等种类的名词，则通过互联网获取这些单词对应的各种物品、食品、动物、植物在不同光线下拍摄的各个角度的图片，然后通过卷积神经网络算法进行学习训练，建立识别模型。识别模型建立过程具体如下：

2、首先通过对图像进行灰度处理，提高服务器的处理效率。灰度处理加权平均法公式如下：

f(i，j)＝0.30(i，j)+0.59G(i，j)+0.11B(i，j)

其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。根据上述公式，计算各图像每个像素点的灰度值，取值范围是0-255，使图像都呈现黑白灰状态。此外，为了解决图片中物品存在位置偏移、大小不一、旋转不定的问题，需要通过质心对齐和线性插值放大可以使图像中的物品变为统一的规格，以便于后续匹配。质心对齐和线性插值放大为现有较成熟图像处理技术，这里不多赘述。

2、完成灰度处理后，则对图像进行特征提取，从每个单词对应物品的所有图像，均从图像中提取出一定维数的特征向量，从而提高物品匹配和识别的存储量和运算速度。由于每种物品都有很多特征，选用合适的特征才能达到正确识别的目的。本实施例根据各种不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的像素点数与物品总像素点数之比，以得到M＊N维特征向量。M、N的取值根据实际需要设定。

3、最后通过识别训练，从训练集各物品图像中提取出标准模板，建立标准特征库，即识别模型。每种物品都有几百个标准模板，通过特征提取后，将训练集各物品的特征向量存入文件中，训练时需要指明各种物品的正确值。完成上述操作后，则系统单词库每一单词均对应有多个标准模板构成的识别模型，后续用户上传拍摄任务图像时，只需通过图像处理与识别模型比对即可确定用户拍摄图像是否与任务单词对应。

之后，用户在进行语言学习检验时，通过用户终端，系统先展示包括动物、植物、食物、汽车等等多个分类的学习场景供用户选择，每个场景下均包括多个物品对应的单词学习检验任务，系统预先将提供检验学习的单词分类，能够方便用户针对性进行学习。在获取用户选择的场景选择学习指令后，会按顺序或者随机反馈该选择学习指令对应场景的所有单词任务，供用户依次完成实物拍摄任务进行单词检验学习。通过用户终端播放该场景下某个单词的语音内容，与此同时展示实物拍摄上传任务的交互界面给用户查看，提示用户拍摄并提交对应语音内容所描述的实物照片。此外，考虑到用户听一遍无法掌握单词语义，在任务界面中还包括重新播放语音按钮，用户点击重新播放按钮后系统反馈单词语音内容及单词对应例句的语音内容，再次播放单词及例句语音内容。单词播放完毕后等待1～3秒，继续播放该单词对应的例句的语音内容，如用户在拍摄界面停留较长时间，例如例句播放3～5秒后没有进行其他操作，则播放对应的中文语音内容提示用户，方便用户理解单词语义。

在用户上传拍摄任务图像后，系统获取用户提交的照片，利用预先建立的识别模型对照片进行识别，判断照片中拍摄的物品是否正确，正确则给予奖励，错误则展示一张正确的实物照片给用户查看，同时提示用户再次拍摄来完成任务。需要注意的是，对于用户错误上传的图片，如若系统检验到该图像对应系统中的另一单词，也可同时反馈该错误图像实际对应的单词。此外，为了提高本方法学习英语的趣味性，鼓励用户特别是儿童进行语言学习检验，对每个单词包括3次拍摄任务，同一天多次拍摄上传成功只计为完成一次拍摄任务，每次完成获得一颗星奖励，之后进入下一个该场景下的语音播放物品拍摄任务。识别模型比对识别过程具体如下：

1、用户在用户终端取景框中取景后点击拍照按钮，拍摄物品照片进行提交，系统获取用户提交的物品照片，对照片进行灰度处理，通过质心对齐和线性插值放大将场景物品照片处理为统一的规格，以便于匹配。

2、对物品照片进行特征提取，比对预先建立的识别模型对照片中包含的物品类型进行识别，根据识别结果判断照片中拍摄的物品是否正确。识别时，与建立识别模型时一样，根据不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的点数与物品总点数之比，得到M＊N维特征向量，将提取的特征向量与识别模型中包含的各类物品的特征向量做比对，判断出照片中拍摄的物品的类型，将识别出的物品类型结果与任务中的物品类型做比较，判断拍摄任务是否正确完成。

3、当用户正确完成拍摄任务时，判断该任务是否符合星星奖励条件，是则给予一星奖励后开启下一个语音播放及拍摄任务；如拍摄任务识别结果错误则展示一张正确的实物照片给用户查看后返回任务界面再次播放语音内容，提示用户重新拍摄来完成任务。

在一实施例中，优选的，还包括查看历史记录步骤，根据查看历史记录请求，反馈包含记录列表的历史记录界面，根据用户在记录列表中选择的记录，展示记录关联的图像及图像识别结果，上下拖动滚动条可以查看被隐藏的更多历史记录列表，点击选择按钮可以对选中的历史记录进行删除处理。

在一实施例中，优选的，还包括参数设置步骤，根据设置请求，反馈设置界面，根据用户在设置界面选择的闪光灯开启和/或关闭请求、语音自动播报开启和/或关闭请求、录入用户资料请求开启和/或关闭闪光灯、开启和/或关闭自动语音自动播报、反馈用户资料录入界面，在用户资料录入界面可以录入相关儿童的资料信息，进行多个儿童之间的学习切换管理，学习时间控制设置等。

本发明的一种语言学习型相机，处理器接收到第一学习指令时，提供包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容的卡片学习内容，为了进一步强化记忆，提供实物拍摄任务供用户选择，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而强化用户对所学单词的记忆，同时检验用户对所学单词的掌握情况，较好地辅助用户学习语言；处理器接收到第二学习指令时，反馈单词语音内容的同时展示实物拍摄界面，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而实现对用户所学单词掌握情况的检验，较好地辅助用户学习语言。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是，凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种语言学习型相机，其特征在于：包括外壳、摄像头、屏幕、扬声器、闪光灯、内部处理电路，所述内部处理电路包括主板、处理器、内存、存储器、电池，所述摄像头、屏幕、扬声器、闪光灯安装在所述外壳上，所述内部处理电路置于所述外壳内，所述摄像头、屏幕、扬声器、闪光灯与所述内部处理电路连接，所述处理器接收所述摄像头发送的图片信息和用户通过所述屏幕发送的学习指令，所述学习指令包括第一学习指令和第二学习指令，若所述学习指令为第一学习指令，则所述处理器执行以下步骤：

反馈第一任务步骤，根据第一学习指令反馈对应的单词卡片学习任务内容，所述单词卡片包括单词对应图像、单词、单词应用例句及对应用户母语的单词及例句翻译内容；

反馈实物拍摄任务步骤，根据拍摄任务请求，反馈实物拍摄任务界面及相关提示；

第一图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果；

若所述学习指令为第二学习指令，则所述处理器执行以下步骤：

反馈第二任务步骤，根据第二学习指令反馈对应的单词语音内容及实物拍摄任务；

第二图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。

2.如权利要求1所述的一种语言学习型相机，其特征在于：在所述反馈第一任务步骤和所述反馈第二任务步骤之前，还包括：

建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。

3.如权利要求2所述的一种语言学习型相机，其特征在于：在所述建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。

4.如权利要求3所述的一种语言学习型相机，其特征在于：每一个单词对应物品均包括有多个标准模板。

5.如权利要求3所述的一种语言学习型相机，其特征在于：在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。

6.如权利要求1所述的一种语言学习型相机，其特征在于：在所述反馈第一任务步骤中，还根据用户的播放请求反馈播放与单词、单词应用例句对应的音频内容；

在所述反馈第二任务步骤中，还根据用户请求重新播放单词语音内容及单词对应例句的语音内容。

7.如权利要求1所述的一种语言学习型相机，其特征在于：在所述反馈实物拍摄任务步骤中，若用户于拍摄任务界面设定时间段内未拍摄上传图像，则反馈任务单词对应中文语音内容；

在所述反馈第二任务步骤中，若用户获取实物拍摄任务设定时间段后未拍摄上传图像，则反馈任务单词对应中文语音内容。

8.如权利要求1所述的一种语言学习型相机，其特征在于：在所述第一图像检验步骤和所述第二图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。

9.如权利要求1所述的一种语言学习型相机，其特征在于：还包括查看历史记录步骤，根据查看历史记录请求，反馈包含记录列表的历史记录界面，根据用户在所述记录列表中选择的记录，展示所述记录关联的图像及图像识别结果。

10.如权利要求1所述的一种语言学习型相机，其特征在于：还包括参数设置步骤，根据设置请求，反馈设置界面，根据用户在所述设置界面选择的闪光灯开启或关闭请求、语音自动播报开启或关闭请求、录入用户资料请求开启或关闭闪光灯、开启或关闭自动语音自动播报、反馈用户资料录入界面。

Images