CN109446891A - 一种基于图像识别的语言学习方法、电子设备及存储介质 - Google Patents

一种基于图像识别的语言学习方法、电子设备及存储介质 Download PDF

Info

Publication number
CN109446891A
CN109446891A CN201811056994.3A CN201811056994A CN109446891A CN 109446891 A CN109446891 A CN 109446891A CN 201811056994 A CN201811056994 A CN 201811056994A CN 109446891 A CN109446891 A CN 109446891A
Authority
CN
China
Prior art keywords
word
task
user
image
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811056994.3A
Other languages
English (en)
Inventor
邓立邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Intellect Cloud Picture Polytron Technologies Inc
Original Assignee
Guangdong Intellect Cloud Picture Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Intellect Cloud Picture Polytron Technologies Inc filed Critical Guangdong Intellect Cloud Picture Polytron Technologies Inc
Priority to CN201811056994.3A priority Critical patent/CN109446891A/zh
Priority to PCT/CN2018/111416 priority patent/WO2020051999A1/zh
Publication of CN109446891A publication Critical patent/CN109446891A/zh
Priority to US17/198,331 priority patent/US20210201697A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/06—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于图像识别的语言学习方法，包括：反馈任务步骤，根据选择学习指令反馈对应的单词语音内容及实物拍摄任务；图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。本发明还公开了一种电子设备及存储介质，本发明的一种基于图像识别的语言学习方法、电子设备及存储介质，通过反馈单词语音内容的同时展示实物拍摄界面，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而实现对用户所学单词掌握情况的检验，较好地辅助用户学习语言。

Description

一种基于图像识别的语言学习方法、电子设备及存储介质
技术领域
本发明涉及图像识别领域，尤其涉及一种基于图像识别的语言学习方法、电子设备及存储介质。
背景技术
语言，是人类最重要的交际工具，是人们进行沟通的主要表达方式，人们借助语言保存和传递人类文明的成果。一直以来，语言学习都是教育事业的重中之重，而随着语言教育的发展进步，人们不再局限于学习自身的母语，在此基础上，越来越多的人选择学习一门第二语言以提升自身的交际、沟通能力。语言学习的初始阶段，是从对一系列声音、符号及其约定俗成意义的识别、再整和重现的过程，期间需要经过多次反复才能逐步理解直至掌握记忆。对于儿童学习语言的过程也是感知和理解语音和符号的过程，对词的感知主要是对词的音和形的把握，而对词的理解则是对词义的把握。
目前，出于辅助语言学习的考虑，已有一些辅助学习的软件和应用，利用单词发音配以手绘图像和对应单词和句子文字，来帮助儿童学习和记忆各种不同语言的词汇，然而，在一些外形或形态接近的场景名词、事物的学习上，儿童的理解还是会存在偏差。而对于强化记忆而言，仅仅通过发音配以对应图像的方式，使得掌握单词的语义需要一个较长的过程。
基于此，在语言学习时，如何帮助儿童更好的理解和掌握所学知识点，将现实场景中的物品或场景的语音描述与实物联系起来进行强化记忆和认知检验，从而有效辅助青少年较好地学习一门语言，并且帮助家长或教学机构进一步了解儿童的学习情况，尤其是了解儿童对词、句的听力认知和理解程度，是目前社会普遍关注的问题和研究方向。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种基于图像识别的语言学习方法，能够有效检验语言学习的理解掌握情况，较好地辅助学习语言。
本发明的目的之一采用如下技术方案实现：
一种基于图像识别的语言学习方法，包括：反馈任务步骤，根据选择学习指令反馈对应的单词语音内容及实物拍摄任务；图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。
进一步地，在所述反馈任务步骤之前，还包括：建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。
进一步地，在所述建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。
进一步地，每一个单词对应物品均包括有多个标准模板。
进一步地，在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。
进一步地，在所述反馈任务步骤中，还根据用户请求重新播放单词语音内容及单词对应例句的语音内容。
进一步地，在所述反馈任务步骤中，若用户获取实物拍摄任务设定时间段后未拍摄上传图像，则反馈任务单词对应中文语音内容。
进一步地，在所述图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。
本发明的目的之二在于提供一种电子设备，能够有效检验语言学习的理解掌握情况，较好地辅助学习语言。
本发明的目的之二采用如下技术方案实现：
一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明目的之一所述的一种基于图像识别的语言学习方法。
本发明的目的之三在于提供一种存储介质，能够有效检验语言学习的理解掌握情况，较好地辅助学习语言。
本发明的目的之三采用如下技术方案实现：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明目的之一所述的一种基于图像识别的语言学习方法。
相比现有技术，本发明的有益效果在于：
本发明的一种基于图像识别的语言学习方法、电子设备及存储介质，通过反馈单词语音内容的同时展示实物拍摄界面，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而实现对用户所学单词掌握情况的检验，较好地辅助用户学习语言。
附图说明
图1为发明一种基于图像识别的语言学习方法流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一：
如图1所示的一种基于图像识别的语言学习方法，包括如下步骤：
S0建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型；
S1反馈任务步骤，根据选择学习指令反馈对应的单词语音内容及实物拍摄任务；
S2图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。
本实施例通过播放单词语音提示用户来完成相应实物的拍摄，通过图像识别技术判断任务的完成正确与否来检测学习理解和掌握情况，能够及时纠正用户对单词学习的错误理解，其趣味性的拍照任务模式能帮助用户更好的进行第二语言的学习。甚至对于低龄儿童而言，对学习母语也是一种较好的辅助方式。在进行英语学习和引导时，通过播放各种分类场景下的物品单词、例句的语音发音，来帮助用户(主要为儿童)听音识物学习第二语言，通过根据听到的语音进行拍照的任务模式进行知识理解情况的检测，帮助儿童进行强化记忆。
首先，为了能够识别判断后续用户实物拍摄任务上传的图像，需要预先建立好系统提供检验学习的所有单词对应物品的识别模型。譬如，若系统提供检验学习的单词多为物品、食品、动物、植物等种类的名词，则通过互联网获取这些单词对应的各种物品、食品、动物、植物在不同光线下拍摄的各个角度的图片，然后通过卷积神经网络算法进行学习训练，建立识别模型。识别模型建立过程具体如下：
1、首先通过对图像进行灰度处理，提高服务器的处理效率。灰度处理加权平均法公式如下：
f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)
其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。根据上述公式，计算各图像每个像素点的灰度值，取值范围是0-255，使图像都呈现黑白灰状态。此外，为了解决图片中物品存在位置偏移、大小不一、旋转不定的问题，需要通过质心对齐和线性插值放大可以使图像中的物品变为统一的规格，以便于后续匹配。质心对齐和线性插值放大为现有较成熟图像处理技术，这里不多赘述。
2、完成灰度处理后，则对图像进行特征提取，从每个单词对应物品的所有图像，均从图像中提取出一定维数的特征向量，从而提高物品匹配和识别的存储量和运算速度。由于每种物品都有很多特征，选用合适的特征才能达到正确识别的目的。本实施例根据各种不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的像素点数与物品总像素点数之比，以得到M＊N维特征向量。M、N的取值根据实际需要设定。
3、最后通过识别训练，从训练集各物品图像中提取出标准模板，建立标准特征库，即识别模型。每种物品都有几百个标准模板，通过特征提取后，将训练集各物品的特征向量存入文件中，训练时需要指明各种物品的正确值。完成上述操作后，则系统单词库每一单词均对应有多个标准模板构成的识别模型，后续用户上传拍摄任务图像时，只需通过图像处理与识别模型比对即可确定用户拍摄图像是否与任务单词对应。
之后，用户在进行语言学习检验时，通过用户终端，系统先展示包括动物、植物、食物、汽车等等多个分类的学习场景供用户选择，每个场景下均包括多个物品对应的单词学习检验任务，系统预先将提供检验学习的单词分类，能够方便用户针对性进行学习。在获取用户选择的场景选择学习指令后，会按顺序或者随机反馈该选择学习指令对应场景的所有单词任务，供用户依次完成实物拍摄任务进行单词检验学习。通过用户终端播放该场景下某个单词的语音内容，与此同时展示实物拍摄上传任务的交互界面给用户查看，提示用户拍摄并提交对应语音内容所描述的实物照片。此外，考虑到用户听一遍无法掌握单词语义，在任务界面中还包括重新播放语音按钮，用户点击重新播放按钮后系统反馈单词语音内容及单词对应例句的语音内容，再次播放单词及例句语音内容。单词播放完毕后等待1～3秒，继续播放该单词对应的例句的语音内容，如用户在拍摄界面停留较长时间，例如例句播放3～5秒后没有进行其他操作，则播放对应的中文语音内容提示用户，方便用户理解单词语义。
在用户上传拍摄任务图像后，系统获取用户提交的照片，利用预先建立的识别模型对照片进行识别，判断照片中拍摄的物品是否正确，正确则给予奖励，错误则展示一张正确的实物照片给用户查看，同时提示用户再次拍摄来完成任务。需要注意的是，对于用户错误上传的图片，如若系统检验到该图像对应系统中的另一单词，也可同时反馈该错误图像实际对应的单词。此外，为了提高本方法学习英语的趣味性，鼓励用户特别是儿童进行语言学习检验，对每个单词包括3次拍摄任务，同一天多次拍摄上传成功只计为完成一次拍摄任务，每次完成获得一颗星奖励，之后进入下一个该场景下的语音播放物品拍摄任务。识别模型比对识别过程具体如下：
1、用户在用户终端取景框中取景后点击拍照按钮，拍摄物品照片进行提交，系统获取用户提交的物品照片，对照片进行灰度处理，通过质心对齐和线性插值放大将场景物品照片处理为统一的规格，以便于匹配。
2、对物品照片进行特征提取，比对预先建立的识别模型对照片中包含的物品类型进行识别，根据识别结果判断照片中拍摄的物品是否正确。识别时，与建立识别模型时一样，根据不同物品的空间密度的颜色、纹理、图案、形状、透明度等组合排布情况特征，将物品图像分为M＊N个方格区域，计算每个方格中的点数与物品总点数之比，得到M＊N维特征向量，将提取的特征向量与识别模型中包含的各类物品的特征向量做比对，判断出照片中拍摄的物品的类型，将识别出的物品类型结果与任务中的物品类型做比较，判断拍摄任务是否正确完成。
3、当用户正确完成拍摄任务时，判断该任务是否符合星星奖励条件，是则给予一星奖励后开启下一个语音播放及拍摄任务；如拍摄任务识别结果错误则展示一张正确的实物照片给用户查看后返回任务界面再次播放语音内容，提示用户重新拍摄来完成任务。
本实施例的一种基于图像识别的语言学习方法，通过反馈单词语音内容的同时展示实物拍摄界面，根据用户拍摄的实物图像与预先建立的识别模型进行比对，判断用户拍摄的实物图像与任务单词是否对应同一物品，进而实现对用户所学单词掌握情况的检验，较好地辅助用户学习语言。
实施例二：
实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种基于图像识别的语言学习方法，该电子设备可以是手机、电脑、平板电脑等等一系列的电子设备。
实施例三：
实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种基于图像识别的语言学习方法。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于图像识别的语言学习方法，其特征在于，包括：
反馈任务步骤，根据选择学习指令反馈对应的单词语音内容及实物拍摄任务；
图像检验步骤，获取用户拍摄的图像，根据预先建立的识别模型识别图像，将图像识别结果与任务单词比对，判断实物拍摄任务是否正确完成，并反馈相应结果。
2.如权利要求1所述的一种基于图像识别的语言学习方法，其特征在于，在所述反馈任务步骤之前，还包括：
建立识别模型步骤，获取各单词对应实物不同光线下多个角度的图像，通过卷积神经网络算法进行学习训练，建立各单词对应物品的识别模型。
3.如权利要求2所述的一种基于图像识别的语言学习方法，其特征在于：在所述建立识别模型步骤中，通过对每一张图像进行灰度处理后再进行特征提取，通过识别训练提取出标准模板，建立标准特征库，完成各单词对应物品的识别模型建立。
4.如权利要求3所述的一种基于图像识别的语言学习方法，其特征在于：每一个单词对应物品均包括有多个标准模板。
5.如权利要求3所述的一种基于图像识别的语言学习方法，其特征在于：在灰度处理过程中，通过质心对齐和线性插值放大使各图像中的物品变为统一规格。
6.如权利要求1所述的一种基于图像识别的语言学习方法，其特征在于：在所述反馈任务步骤中，还根据用户请求重新播放单词语音内容及单词对应例句的语音内容。
7.如权利要求1所述的一种基于图像识别的语言学习方法，其特征在于：在所述反馈任务步骤中，若用户获取实物拍摄任务设定时间段后未拍摄上传图像，则反馈任务单词对应中文语音内容。
8.如权利要求1所述的一种基于图像识别的语言学习方法，其特征在于：在所述图像检验步骤中，若用户实物拍摄任务完成正确，则反馈相应奖励；若用户实物拍摄任务完成错误，则反馈正确实物图像和/或提示用户再次拍摄来完成任务。
9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-8任意一项所述的一种基于图像识别的语言学习方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8任意一项所述的一种基于图像识别的语言学习方法。
CN201811056994.3A 2018-09-11 2018-09-11 一种基于图像识别的语言学习方法、电子设备及存储介质 Pending CN109446891A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811056994.3A CN109446891A (zh) 2018-09-11 2018-09-11 一种基于图像识别的语言学习方法、电子设备及存储介质
PCT/CN2018/111416 WO2020051999A1 (zh) 2018-09-11 2018-10-23 一种基于图像识别的语言学习方法、电子设备及存储介质
US17/198,331 US20210201697A1 (en) 2018-09-11 2021-03-11 Language learning method, electronic device executing the method, and storage medium storing the method program files

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811056994.3A CN109446891A (zh) 2018-09-11 2018-09-11 一种基于图像识别的语言学习方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN109446891A true CN109446891A (zh) 2019-03-08

Family

ID=65532903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811056994.3A Pending CN109446891A (zh) 2018-09-11 2018-09-11 一种基于图像识别的语言学习方法、电子设备及存储介质

Country Status (3)

Country Link
US (1) US20210201697A1 (zh)
CN (1) CN109446891A (zh)
WO (1) WO2020051999A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111648A (zh) * 2019-04-17 2019-08-09 吉林大学珠海学院 一种编程训练系统及方法
CN111079485A (zh) * 2019-05-17 2020-04-28 广东小天才科技有限公司 一种听写内容的获取方法及学习设备
CN111638783A (zh) * 2020-05-18 2020-09-08 广东小天才科技有限公司 一种人机交互方法及电子设备
CN111882932A (zh) * 2020-07-31 2020-11-03 托普爱英(北京)科技有限公司 辅助语言学习的方法、装置、电子设备及存储介质
CN112163751A (zh) * 2020-09-21 2021-01-01 百度在线网络技术（北京）有限公司 一种在线学习激励方法、装置、设备和存储介质
CN112672216A (zh) * 2020-12-08 2021-04-16 深圳市优必选科技股份有限公司 一种在线学习方法、装置、电子设备及存储介质
WO2023056849A1 (zh) * 2021-10-09 2023-04-13 北京字节跳动网络技术有限公司 交互方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006208863A (ja) * 2005-01-28 2006-08-10 Kanazawa Inst Of Technology 言語習得システムおよび言語習得キット
CN101923791A (zh) * 2010-05-31 2010-12-22 华中师范大学 一种利用增强现实技术与平面读物相结合的汉字学习方法
CN102567626A (zh) * 2011-12-09 2012-07-11 江苏矽岸信息技术有限公司 一种以母语学习为教授方式的互动式语言学习系统
CN103123750A (zh) * 2011-11-18 2013-05-29 英业达股份有限公司 结合语言学习功能的数字相框及其显示方法
US20140295383A1 (en) * 2013-03-29 2014-10-02 Carlos Rodriguez Processes and methods to use pictures as a language vehicle
CN105719518A (zh) * 2016-04-26 2016-06-29 迟同斌 智能儿童早教机
CN106056991A (zh) * 2016-07-19 2016-10-26 北京乐学企鹅教育科技有限公司 一种基于汉字识别的儿童早教系统、方法
CN106448293A (zh) * 2016-12-27 2017-02-22 李靖 一种基于二维码的语言学习机控制方法
CN106875762A (zh) * 2017-04-22 2017-06-20 上海唐街教育科技有限公司 一种多媒体游戏式词语学习机
CN107248341A (zh) * 2017-08-11 2017-10-13 兰州大学 地理实践教学系统、方法及装置
TWM559482U (zh) * 2017-12-08 2018-05-01 China Univ Of Technology 遊戲連結互動教學裝置
CN107992507A (zh) * 2017-03-09 2018-05-04 北京物灵智能科技有限公司 一种儿童智能对话学习方法、系统及电子设备
CN108108412A (zh) * 2017-12-12 2018-06-01 山东师范大学 基于ai开放平台的儿童认知学习交互系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324979B2 (en) * 2003-08-29 2008-01-29 Bbn Technologies Corp. Genetically adaptive neural network classification systems and methods
CN106951473B (zh) * 2017-03-06 2019-11-26 浙江大学 面向视觉障碍人士的深度视觉问答系统的构建方法
CN107133612A (zh) * 2017-06-06 2017-09-05 河海大学常州校区 基于图像处理与语音识别技术的智能病房及其运行方法
CN107679573A (zh) * 2017-09-30 2018-02-09 深圳市锐曼智能装备有限公司 智慧货柜的物品识别系统及其方法
CN107957994A (zh) * 2017-10-30 2018-04-24 努比亚技术有限公司 一种翻译方法、终端及计算机可读存储介质
CN108197572B (zh) * 2018-01-02 2020-06-12 京东方科技集团股份有限公司 一种唇语识别方法和移动终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006208863A (ja) * 2005-01-28 2006-08-10 Kanazawa Inst Of Technology 言語習得システムおよび言語習得キット
CN101923791A (zh) * 2010-05-31 2010-12-22 华中师范大学 一种利用增强现实技术与平面读物相结合的汉字学习方法
CN103123750A (zh) * 2011-11-18 2013-05-29 英业达股份有限公司 结合语言学习功能的数字相框及其显示方法
CN102567626A (zh) * 2011-12-09 2012-07-11 江苏矽岸信息技术有限公司 一种以母语学习为教授方式的互动式语言学习系统
US20140295383A1 (en) * 2013-03-29 2014-10-02 Carlos Rodriguez Processes and methods to use pictures as a language vehicle
CN105719518A (zh) * 2016-04-26 2016-06-29 迟同斌 智能儿童早教机
CN106056991A (zh) * 2016-07-19 2016-10-26 北京乐学企鹅教育科技有限公司 一种基于汉字识别的儿童早教系统、方法
CN106448293A (zh) * 2016-12-27 2017-02-22 李靖 一种基于二维码的语言学习机控制方法
CN107992507A (zh) * 2017-03-09 2018-05-04 北京物灵智能科技有限公司 一种儿童智能对话学习方法、系统及电子设备
CN106875762A (zh) * 2017-04-22 2017-06-20 上海唐街教育科技有限公司 一种多媒体游戏式词语学习机
CN107248341A (zh) * 2017-08-11 2017-10-13 兰州大学 地理实践教学系统、方法及装置
TWM559482U (zh) * 2017-12-08 2018-05-01 China Univ Of Technology 遊戲連結互動教學裝置
CN108108412A (zh) * 2017-12-12 2018-06-01 山东师范大学 基于ai开放平台的儿童认知学习交互系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111648A (zh) * 2019-04-17 2019-08-09 吉林大学珠海学院 一种编程训练系统及方法
CN111079485A (zh) * 2019-05-17 2020-04-28 广东小天才科技有限公司 一种听写内容的获取方法及学习设备
CN111079485B (zh) * 2019-05-17 2024-03-22 广东小天才科技有限公司 一种听写内容的获取方法及学习设备
CN111638783A (zh) * 2020-05-18 2020-09-08 广东小天才科技有限公司 一种人机交互方法及电子设备
CN111882932A (zh) * 2020-07-31 2020-11-03 托普爱英(北京)科技有限公司 辅助语言学习的方法、装置、电子设备及存储介质
CN112163751A (zh) * 2020-09-21 2021-01-01 百度在线网络技术（北京）有限公司 一种在线学习激励方法、装置、设备和存储介质
CN112163751B (zh) * 2020-09-21 2024-04-09 百度在线网络技术（北京）有限公司 一种在线学习激励方法、装置、设备和存储介质
CN112672216A (zh) * 2020-12-08 2021-04-16 深圳市优必选科技股份有限公司 一种在线学习方法、装置、电子设备及存储介质
WO2023056849A1 (zh) * 2021-10-09 2023-04-13 北京字节跳动网络技术有限公司 交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20210201697A1 (en) 2021-07-01
WO2020051999A1 (zh) 2020-03-19

Similar Documents

Publication Publication Date Title
CN109446891A (zh) 一种基于图像识别的语言学习方法、电子设备及存储介质
CN109389155A (zh) 一种语言学习方法、电子设备及存储介质
CN109359215B (zh) 视频智能推送方法和系统
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN110162164B (zh) 一种基于增强现实的学习互动方法、装置及存储介质
CN107203953A (zh) 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN112395403B (zh) 一种基于知识图谱的问答方法、系统、电子设备及介质
CN110992741A (zh) 一种基于课堂情绪和行为分析的学习辅助方法及系统
Spaulding et al. A social robot system for modeling children's word pronunciation
CN110245253B (zh) 一种基于环境信息的语义交互方法及系统
CN108228700A (zh) 图像描述模型的训练方法、装置、电子设备及存储介质
CN106649294B (zh) 一种分类模型的训练及其从句识别方法和装置
CN109167913A (zh) 一种语言学习型相机
CN107544956A (zh) 一种文本要点检测方法及系统
CN113127682A (zh) 题目讲解方法、系统、电子设备及计算机可读存储介质
CN109800880B (zh) 基于动态学习风格信息的自适应学习特征提取系统及应用
CN108764757A (zh) 基于大数据与人工智能的精准教学评价方法和机器人系统
CN108921405A (zh) 基于大数据与人工智能的精准学习评价方法和机器人系统
CN111178199B (zh) 一种基于实时图像识别的交互式问答方法及终端
CN114220135A (zh) 教学中的人脸的注意力、表情识别方法、系统、介质及装置
CN114520003B (zh) 语音交互方法、装置、电子设备和存储介质
CN114140282B (zh) 一种基于深度学习的普教课堂答题快速评审方法及装置
CN112733806B (zh) 基于表情识别的课堂中学生实时分类与遴选方法
CN114898449B (zh) 一种基于大数据的外语教学辅助方法及装置
US11676501B2 (en) Modifying a lesson package

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination