CN110085068A - 一种基于图像识别的学习辅导方法及装置 - Google Patents

Abstract

本申请实施例公开了一种基于图像识别的学习辅导方法、装置、电子设备及存储介质。所述方法包括：获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示；从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别；根据识别到的求解目标从预设数据库获取对应的解答内容并进行显示和/或音频播放。本申请实施例提供的技术方案，通过获取携带有求解目标的关联图像，对图像进行识别，确定指示标识指示的图像区域，再确定图像区域包含的问题内容；根据问题内容在预设数据库获取对应的解答内容。以此能够快速解答用户问题，同时方便用户操作，优化用户体验，避免操作繁琐影响学习的问题。

Description

一种基于图像识别的学习辅导方法及装置

技术领域

本申请实施例涉及智能学习产品技术领域，尤其涉及一种基于图像识别的学习辅导方法及装置。

背景技术

学生在学习、作业过程中往往会遇到各种各样的疑惑和不解，往往这个时候，家长、老师会成为学生求问解答的对象。然而，在这个快节奏的生活环境下，家长由于工作忙碌可能没有充足的时间辅导孩子，而学校的老师往往需要教育很多学生，没有足够的注意力注意到每个学生的学习进度和学习情况，并且老师在学生课外学习的过程中，也很难实时给予帮助。为此，学生需要通过课外辅导班一对一的辅导老师进行辅导教学。但是这种方式成本昂贵，给家长带来了较大的经济压力。因而使得越来越多的学生无法及时解决学习上碰到的疑惑问题，导致学习成绩下降。

为了有效辅助学生学习，降低成本，市面上出现了许多用于学习的电子设备，例如平板电脑，手机，学习机等等，这些设备能够一定程度上解决学生学习过程中遇到的疑难问题。在使用设备过程中，常见的一种方式是，利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。通过上述方式能够帮助学生快速找到问题答案，以此有效地辅导学生学习。

但是，上述辅导学生解决作业问题的方式，会致使学生脱离当前的作业场景，通过使用电子设备进行疑问求解，导致学习过程中断，频繁地中断学习过程导致对应电子设备的使用体验较差。同时采用电子设备进行学习，也容易导致学生分心，甚至直接使用电子设备做与学习非相关的事情。基于此，如何利用学习设备方便学生操作，快速解答问题，是目前智能学习设备领域值得探究的技术问题。

发明内容

本申请实施例提供一种基于图像识别的学习辅导方法、装置、电子设备及存储介质，能够识别学生指示内容，进行指示内容问题解答。

在第一方面，本申请实施例提供了一种基于图像识别的学习辅导方法，包括：

获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示；

从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别；

根据识别到的求解目标从预设数据库获取对应的解答内容并进行显示和/或音频播放。

优选的，所述关联图像通过分离式佩戴摄像头进行拍摄；

在所述获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示之前，还包括：

接收图像采集指令，将所述图像采集指令发送到所述分离式佩戴摄像头触发图像采集；

所述获取携带有求解目标的关联图像，具体为：

获取所述分离式佩戴摄像头采集的携带有求解目标的关联图像。

优选的，所述从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别包括：

从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

将求解目标所对应的区域部分的图像与预设数据库比对，查找对应的习题图像；

所述根据识别到的求解目标从预设数据库获取对应的解答内容包括：

根据所述习题图像获取预设数据库中与所述习题图像对应的解答内容。

优选的，所述从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别包括：

从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

对求解目标所对应的区域部分的图像进行图像文字识别，解析出文字信息；

所述根据识别到的求解目标从预设数据库获取对应的解答内容包括：

根据所述文字信息查找预设数据库，获取与文字信息对应习题的解答内容。

优选的，所述从所述关联图像识别出指示标识具体为：

通过深度学习算法从所述关联图像识别用户用手指或者笔作出的指示标识；

所述确定所述指示标识指示的求解目标所对应的区域具体为：

根据所述指示标识所指示的点选定求解目标所对应的区域。

在第二方面，本申请实施例提供了一种基于图像识别的学习辅导装置，包括：

图像获取模块，获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示；

问题识别模块，用于从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别；

解答模块，用于根据识别到的求解目标从预设数据库获取对应的解答内容并进行显示和/或音频播放。

优选的，所述问题识别模块包括：

确定单元，用于从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

图像查找单元，将求解目标所对应的区域部分的图像与预设数据库比对，查找对应的习题图像；

所述解答模块具体用于根据所述习题图像获取预设数据库中与所述习题图像对应的解答内容。

优选的，所述问题识别模块包括：

确定单元，用于从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

文字解析单元，用于对求解目标所对应的区域部分的图像进行图像文字识别，解析出文字信息；

所述解答模块具体用于根据所述文字信息查找预设数据库，获取与文字信息对应习题的解答内容。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于图像识别的学习辅导方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于图像识别的学习辅导方法。

本申请实施例通过获取携带有求解目标的关联图像，对图像进行识别，确定指示标识指示的图像区域，再确定图像区域包含的问题内容；根据问题内容在预设数据库获取对应的解答内容并反馈解答内容给用户。用户通过手指或笔指示，指示哪个问题，就反馈对应问题的解答内容，以此能够快速解答用户问题，同时方便用户操作，优化用户体验，避免操作繁琐影响学习的问题。

附图说明

图1是本申请实施例一提供的一种基于图像识别的学习辅导方法的流程图；

图2是本申请实施例提供的一种基于图像识别的学习辅导方法应用场景示意图；

图3是本申请实施例提供的携带有求解目标的关联图像示意图；

图4是实施例一基于图像识别的学习辅导方法问题识别求解的具体流程图；

图5是本申请实施例二提供的一种基于图像识别的学习辅导方法的流程图；

图6是本申请实施例三提供的一种基于图像识别的学习辅导装置的结构示意图；

图7是本申请实施例四提供的一种基于图像识别的学习辅导装置的结构示意图。

图中：501、学习机；502、书本；503、摄像头。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的学生学习辅导方案，旨在通过识别学生指示求解的区域，来提取其中的问题信息，通过查找题库快速反馈学生对应的问题解答内容。学生指示书本的哪个位置，就识别对应位置的问题信息进行解答。直接通过手指或者笔等方式指示问题位置，真正实现了“指哪里，解哪里”的技术难题，以此极大的方便学生进行问题求解，有效提高学习效率。

实施一：

图1给出了本申请实施例一提供的一种基于图像识别的学习辅导方法的流程图，本实施例提供的基于图像识别的学习辅导方法可以由基于图像识别的学习辅导装置来执行，通过软件程序的方式实现。基于图像识别的学习辅导装置可集成在学习机、手机、平板电脑等电子设备中，实现该基于图像识别的学习辅导方法，也可以通过摄像装置配合学习机等电子设备，实现该基于图像识别的学习辅导方法。

参照图2所示的场景为基于图像识别的学习辅导方法的应用场景，如图2所示，用户将摄像头503装置佩戴于头上，摄像头503镜头对准学生书本或作业内容。学生有疑问需要求解时，通过手指、笔等方式指示要求解的问题。摄像头装置通过拍摄桌面书本502内容，并且通过无线传输的方式，实时向学习机传输内容。学习机501屏幕面向用户，根据接收内容反馈解答内容给用户。通过学习机501或者学习机501与摄像头503配合的方式，利用本基于图像识别的学习辅导方法，进行问题求解。

在使用过程中，用户通过语音唤醒、手动启动等方式开启指示求解流程。学习机和摄像头装置首先通过无线通信方式建立通信连接，进而开始执行该基于图像识别的学习辅导方法。

参照图1，该基于图像识别的学习辅导方法具体包括：

S110、获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示。

示例性的，在开始指示求解流程后，由用户操作触发图像采集指令给到学习机，学习机接收图像采集指令，将所述图像采集指令发送到分离式佩戴摄像头，触发图像采集摄像头实时捕捉用户指示求解的图像，摄像头拍摄到图像后，可以发送到学习机一端，由学习机获取用户指示求解的图像进行图像处理，也可以由摄像头内部处理单元进行图像处理。由于摄像头需要实时拍摄来获取带有用户指示动作的图像，因此获取到的图像可能有多张，后续需要进行逐一识别，以带有用户指示标识的关联图像作为用户指示求解的图像，且图像中需带有书本或者练习册页面的内容。需要说明的是，通过摄像头拍摄用户指示求解图像时，摄像头装置可佩带于用户身上或者固定设置在某一位置，以能够完整获取用户指示书本或者练习册求解问题图像为标准，摄像头的具体设置位置本实施例做固定限制。

S120、从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别。

示例性的，要对手指、笔指示区域部分的图像进行识别，需要先通过深度学习算法识别用户用手指或者笔作出的指示标识，以此来选中指示区域图像进行识别。之后通过确定整个图像中，手指或者笔指示的中心点，即可选定指示区域图像。

具体的，在深度学习算法识别用户用手指或者笔作出的指示动作中，首先需要通过利用爬虫算法在网上搜索出100万以上的图片(图片越多，训练的就越充分，得到的效果就越好)的人手指头伸出的图片和笔的图片，以及计划识别出的图案上的物体(本实施例为书本或者练习册等学生学习过程中需要的作业资料)，标注出人手的矩形框以及笔和笔的尖端的矩形框，以及需要识别的物体的矩形框。作为深度学习网络的训练集和测试集。再建立CNN网络，对网络进行训练。在使用中，将采集到的图片输入到CNN网络中，输出分类结果。

训练过程具体包括如下步骤：

1.输入图像为：1920x1080大小，首先将图像惊醒尺度变换缩放到512x512的大小，图像的channel也即通道数为3：RGB，分别代表：红色、绿色、蓝色。

2.分别经过大小为5x5x32、5x5x64以及1x1x64的卷积层，再经过一个的2x2，步长为2的最大池化层，输出一个256x256x64的特征图。

3.以两个3x3x128的卷积层和一个2x2步长为2的最大池化层为一组，实施两组操作，输出一个64x64x128的特征图。

4.经过一个1x1x512的卷积层和两个3x3x256的卷积层以及一个2x2步长为2的最大池化层，输出一个32x32x128的特征图。

5.经过一个1x1x512的卷积层和两个3x3x1024的卷积层以及一个2x2步长为2的最大池化层，输出一个16x16x1024的特征图。

6.经过一个全连接层，输出一个1x1x1024的特征图。

7.经过一个全连接层输出为一个11x11x40的网络。

8.其中11x11的网格里，每一个网格对应有40个变量：(B*5+C)，其中B表示每一个网格的预测的矩形框的个数，其中5个变量分别为(x，y，w，h，p)，其中p表示该矩形框的概率。C表示设定的类别的概率，在本专利选取类别为30类，则C表示设定的每一类的概率。

9.首先在两个矩形框中选择概率较大的一个框作为候选框，得到121个候选框，然后在121个候选框中以小于一定的阈值T，在本申请中优选为T＝0.5，剔除掉部分的候选框。

10.候选框合并：将剩下的候选框按照概率由大到小的排序，由概率最大的往后依次与其他候选框计算IOU，即两个候选框的交集比上候选框的并集，当IOU大于某个阈值，本实施例优选阈值为0.2，剔除掉概率较小的候选框。

11.将识别到的物体的位置，按照原始图像和输入网络的图像的比例进行缩放。比如识别出来手指尖端的位置为(x，y)(其中x，y分别为手指尖端的像素点的x和y的坐标)，则在原始图像中指尖中心的位置为(x*scale_w，y*scale_h),其中scale_w＝w_src/w_d st，scale_h＝h_src/h_dst。其中w_src为初始的图像的宽，在本实施例中为1920，不作一般性限定，具体取决于采集图像的分辨率，w_dst为当前的图像宽度为11，scale_w为两者宽度的比值。h_src、h_dst、scale_h解释与前面类似。

之后即可确定手或者笔指示图像中的具体位置：利用前面CNN检测出的人手伸出的指头的矩形框和人手的矩形框，将两个矩形框存在交集的作为一组，如果存在一个人手的矩形框与多个指尖的矩形框存在交集，选择IOU也即交集与并集的比最大的一个，若同时存在手指和笔的尖端，只选择笔的尖端矩形框和手的矩形框，这样即使出现在摄像机视野中存在干扰的笔或者手，或者有多个手指伸出的情形时，也能得到很好的识别效果，从而减少了操作人和环境的限制，使用起来更加方便。选取矩形框的中心点建立连线，与指头矩形框架边界的交点，取较远的交点所在的边中点设为指头所指示的中心点。

对获取到的多个图像进行识别，通过上述深度学习算法即可识别出带有手指或者笔指示的图像，至此选定对应图像进行下一步识别。需要注意的是，在选定手指指示中心点之后，需要圈定一个手指指示区域的范围，相对于对整付图像进行识别，选定一个区域进行指示问题图像的识别肯定是更加准确的。根据实际操作需要，可以以手指指示的点为中心点，选取一定半径区域内的区域作为指示区域图像。也可以以手指指示的点为中心点，选取中心点上和或下，一定距离的范围作为指示区域图像。

可选的，参照图3，对于获取到的携带有求解目标关联图像的示意图，参照上述确定指示区域的方式，那么根据选定区域的不同可能后续进行图像识别时，会出现“2×＿＝9”或者“2×＿＝9 15”两种不同的结果，那么根据这两种不同的识别结果求解答案，可能会得到不同的解答内容。为了避免系统误识别“9 15”为“915”，进而得出一个错误的解答内容给用户，针对这一情况，在选定指示区域范围的时候，通过对图像灰度化处理，获取图像中的像素点分布情况，如图3所示的携带有求解目标关联图像，通过像素点分布情况，可以明显获知图像中空白的区域，以此将关联图像中的题目判断为四组题目，根据指示标识(手指)指尖对应的点靠近题目“2×＿＝9”，那么则选定指示标识所指示的区域图像为“2×＿＝9”这一部分图像。

之后即可通过指示区域图像来确定指示区域包含的问题内容。将指示区域部分的图像与数据库比对，确定数据库中与之最为相似的图像，以此查找到对应的习题图像。

S130、根据识别到的求解目标从预设数据库获取对应的解答内容并进行显示和/或音频播放。

示例性的，根据上述S120查找到对应的习题图像，由于数据库在建立过程中习题图像会与解答内容一一对应存储，两者建立关联关系，确定数据库对应的习题图像，即可得到对应的习题内容。

如图3所示，参照上述步骤S120～S130，对问题识别求解的具体流程进一步描述，其中包括：

S1201、从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域。

指示区域图像通过上述深度学习算法来确定，确定后的指示区域部分图像与预先建立的数据库中的图像进行识别比对，查找图像库中最相似的图像。

S1202、将求解目标所对应的区域部分的图像与预设数据库比对，查找对应的习题图像。

在进行图像比对之前，预先建立一个题库，对应收集有大量的学生书本、练习册等对应的习题图像，将这些习题图像逐一截取，并对应解答内容保存。通过卷积神经网络算法建立一个习题图像的识别模型。之后对指示区域图像进行图像识别，利用识别模型确定数据库中与指示区域图像最相似的习题图像。图像识别比对为现有较成熟技术，这里不多赘述。需要说明的是，在进行图像识别比对时，可能由于指示区域的选定不明确导致找到图像的相似度偏低，因此，需要再次选定指示区域，通过扩大范围等方式再次圈选指示区域，进行再次图像比对识别。

S1301、根据习题图像获取数据库中与习题图像对应的解答内容。

由于数据库中所有习题图像一一对应有解答内容，那么在确定对应习题图像后，即可根据习题图像，在数据库中获取对应的习题解答内容。

之后，将获取到的解答内容反馈给用户，可以通过两种不同方式，一方面，通过学习机等电子设备的屏幕显示习题解答内容；另一方面，通过学习机的扬声器播放解答内容。通过画面显示和/或音频的方式，进行习题解答内容的反馈。

需要说明的是，上述步骤S120～S130，可以是学习机接收摄像头拍摄图像后执行，也可以由摄像头处理单元完成部分步骤，将识别结果上传至学习机，由学习机进行解答内容的查找。本实施例对具体步骤的执行端不做限定。

上述，通过获取携带有求解目标的关联图像，对图像进行识别，确定指示标识指示的图像区域，再确定图像区域包含的问题内容；根据问题内容在预设数据库获取对应的解答内容并反馈解答内容给用户。用户通过手指或笔指示，指示哪个问题，就反馈对应问题的解答内容，以此能够快速解答用户问题，同时方便用户操作，优化用户体验，避免操作繁琐影响学习的问题。

实施例二：

在上述实施例的基础上，图4为本申请实施例二提供的另一种基于图像识别的学习辅导方法，具体包括：

S210、获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示。

示例性的，在开始指示求解流程后，摄像头实时捕捉用户指示求解的图像，摄像头拍摄到图像后，可以发送到学习机一端，由学习机获取用户指示求解的图像进行图像处理，也可以由摄像头内部处理单元进行图像处理。由于摄像头需要实时拍摄来获取带有用户指示动作的图像，因此获取到的图像可能有多张，后续需要进行逐一识别，以带有用户指示动作的图像作为用户指示求解的图像。

S221、从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域。

参见上述实施例一确定指示区域图像的方法，本实施例同样通过深度学习算法确定指示区域，这里不多赘述。

S222、对求解目标所对应的区域部分的图像进行图像文字识别，解析出文字信息。

示例性的，对于确定后的指示区域图像，通过OCR识别图像中的文字信息，OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

可选的，为了能够识别多种字体，对OCR无法识别的文字信息，做进一步识别。首先利用边缘识别查找图像中包含的每个字，根据各个字的边缘特征建立描点，得到每个字的描点信息。通过使用边缘检测识别查找出书名包含的每一个字，根据各个字的边缘特征建立描点，得到对应图像的描点信息分布数组。在此之前，通过同样的方法，建立好对应所有习题图像的字符描点信息分布数组的数据库，字符描点信息分布数组对应有相应的文字信息。将待比对数组与数据库中的描点信息分布数组比对，确定最相似的描点信息分布数组，以此查找对应的文字信息。边缘识别均为现有较为成熟的技术，这里不做赘述。

S230、根据所述文字信息查找预设数据库，获取与文字信息对应习题的解答内容。

由于数据库中所有文字信息一一对应有解答内容，那么在解析出对应习题文字信息后，即可根据文字信息，在数据库中获取对应的习题解答内容。

需要说明的是，上述步骤S221～S230，可以是学习机接收摄像头拍摄图像后执行，也可以由摄像头处理单元完成部分步骤，将解析结果上传至学习机，由学习机进行解答内容的查找。本实施例对具体步骤的执行端不做限定。

之后，将获取到的解答内容反馈给用户，可以通过两种不同方式，一方面，通过学习机等电子设备的屏幕显示习题解答内容；另一方面，通过学习机的扬声器播放解答内容。通过画面显示和/或音频的方式，进行习题解答内容的反馈。

上述，通过获取携带有求解目标的关联图像，对图像进行识别，确定指示标识指示的图像区域，再确定图像区域包含的问题内容；根据问题内容在预设数据库获取对应的解答内容并反馈解答内容给用户。用户通过手指或笔指示，指示哪个问题，就反馈对应问题的解答内容，以此能够快速解答用户问题，同时方便用户操作，优化用户体验，避免操作繁琐影响学习的问题。

实施例三：

在上述实施例的基础上，图5为本申请实施例三提供的一种基于图像识别的学习辅导装置的结构示意图。参考图5，本实施例提供的一种基于图像识别的学习辅导装置具体包括：图像获取模块301、问题识别模块302、解答模块303。

其中，图像获取模块301，获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示；问题识别模块302，用于从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别；解答模块，用于根据识别到的求解目标从预设数据库获取对应的解答内容并进行显示和/或音频播放。

上述，通过获取携带有求解目标的关联图像，对图像进行识别，确定指示标识指示的图像区域，再确定图像区域包含的问题内容；根据问题内容在预设数据库获取对应的解答内容并反馈解答内容给用户。用户通过手指或笔指示，指示哪个问题，就反馈对应问题的解答内容，以此能够快速解答用户问题，同时方便用户操作，优化用户体验，避免操作繁琐影响学习的问题。

进一步的，问题识别模块包括：确定单元3021，用于从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；图像查找单元3022，用于将求解目标所对应的区域部分的图像与预设数据库比对，查找对应的习题图像；

并且，解答模块具体用于根据所述习题图像获取预设数据库中与所述习题图像对应的解答内容。

本申请实施例三提供的基于图像识别的学习辅导装置可以用于执行上述实施例一提供的基于图像识别的学习辅导方法，具备相应的功能和有益效果。

实施例四：

在上述实施例的基础上，图6为本申请实施例四提供的另一种基于图像识别的学习辅导装置的结构示意图。参考图6，本实施例提供的一种基于图像识别的学习辅导装置具体包括：图像获取模块401、问题识别模块402、解答模块403。

其中，图像获取模块401，获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示；问题识别模块402，包括：确定单元4021，用于从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；文字解析单元4022，用于对求解目标所对应的区域部分的图像进行图像文字识别，解析出文字信息；解答模块403，用于根据所述文字信息查找预设数据库，获取与文字信息对应习题的解答内容。

上述，通过获取携带有求解目标的关联图像，对图像进行识别，确定指示标识指示的图像区域，再确定图像区域包含的问题内容；根据问题内容在预设数据库获取对应的解答内容并反馈解答内容给用户。用户通过手指或笔指示，指示哪个问题，就反馈对应问题的解答内容，以此能够快速解答用户问题，同时方便用户操作，优化用户体验，避免操作繁琐影响学习的问题。

本申请实施例四提供的基于图像识别的学习辅导装置可以用于执行上述实施例二提供的基于图像识别的学习辅导方法，具备相应的功能和有益效果。

实施例五：

本申请实施例五提供了一种电子设备，该电子设备包括：处理器、存储器、通信模块。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块可以通过总线或者其他方式连接。该电子设备可以是学习机、手机、平板电脑，也可以它们与摄像头装置的结合，同时摄像头装置具备处理单元。

存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于图像识别的学习辅导方法对应的程序指令/模块(例如，基于图像识别的学习辅导装置中的图像获取模块、问题识别模块、解答模块。)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块用于与待升级设备建立无线连接，并进行数据传输。

处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于图像识别的学习辅导方法。

上述提供的电子设备可用于执行上述实施例一、二提供的基于图像识别的学习辅导方法，具备相应的功能和有益效果。

实施例六：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于图像识别的学习辅导方法，该基于图像识别的学习辅导方法包括：获取用户指示求解的图像；识别指示区域部分的图像，确定指示区域包含的问题内容；根据问题内容获取对应的解答内容；反馈解答内容给用户。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于图像识别的学习辅导方法，还可以执行本申请任意实施例所提供的基于图像识别的学习辅导方法中的相关操作。

上述实施例中提供的学习辅装置、存储介质及电子设备可执行本申请任意实施例所提供的学习辅方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的学习辅方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于图像识别的学习辅导方法，其特征在于，包括：

获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示；

从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别；

根据识别到的求解目标从预设数据库获取对应的解答内容并进行显示和/或音频播放。

2.根据权利要求1所述的基于图像识别的学习辅导方法，其特征在于，所述关联图像通过分离式佩戴摄像头进行拍摄；

在所述获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示之前，还包括：

接收图像采集指令，将所述图像采集指令发送到所述分离式佩戴摄像头触发图像采集；

所述获取携带有求解目标的关联图像，具体为：

获取所述分离式佩戴摄像头采集的携带有求解目标的关联图像。

3.根据权利要求1所述的基于图像识别的学习辅导方法，其特征在于，所述从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别包括：

从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

将求解目标所对应的区域部分的图像与预设数据库比对，查找对应的习题图像；

所述根据识别到的求解目标从预设数据库获取对应的解答内容包括：

根据所述习题图像获取预设数据库中与所述习题图像对应的解答内容。

4.根据权利要求1所述的基于图像识别的学习辅导方法，其特征在于，所述从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别包括：

从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

对求解目标所对应的区域部分的图像进行图像文字识别，解析出文字信息；

所述根据识别到的求解目标从预设数据库获取对应的解答内容包括：

根据所述文字信息查找预设数据库，获取与文字信息对应习题的解答内容。

5.根据权利要求3-4任意一项所述的基于图像识别的学习辅导方法，其特征在于，所述从所述关联图像识别出指示标识具体为：

通过深度学习算法从所述关联图像识别用户用手指或者笔作出的指示标识；

所述确定所述指示标识指示的求解目标所对应的区域具体为：

根据所述指示标识所指示的点选定求解目标所对应的区域。

6.一种基于图像识别的学习辅导装置，其特征在于，包括：

图像获取模块，获取携带有求解目标的关联图像，所述求解目标通过指示标识进行指示；

问题识别模块，用于从所述关联图像识别出指示标识，并对所述指示标识指示的求解目标进行识别；

解答模块，用于根据识别到的求解目标从预设数据库获取对应的解答内容并进行显示和/或音频播放。

7.根据权利要求6所述的基于图像识别的学习辅导装置，其特征在于，所述问题识别模块包括：

确定单元，用于从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

图像查找单元，将求解目标所对应的区域部分的图像与预设数据库比对，查找对应的习题图像；

所述解答模块具体用于根据所述习题图像获取预设数据库中与所述习题图像对应的解答内容。

8.根据权利要求6所述的基于图像识别的学习辅导装置，其特征在于，所述问题识别模块包括：

确定单元，用于从所述关联图像识别出指示标识，确定所述指示标识指示的求解目标所对应的区域；

文字解析单元，用于对求解目标所对应的区域部分的图像进行图像文字识别，解析出文字信息；

所述解答模块具体用于根据所述文字信息查找预设数据库，获取与文字信息对应习题的解答内容。

9.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一所述的基于图像识别的学习辅导方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5任一所述的基于图像识别的学习辅导方法。