CN110096589A - 一种基于图像识别技术的试题反馈和推荐讲解方法与系统 - Google Patents

Abstract

本申请实施例提出了一种基于图像识别技术的试题反馈和推荐讲解方法，包括：接收用户端发送的试题图像，所述试题图像包括试题的文字信息；提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集；当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述试题进行分析，生成知识树，并对所述试题进行分类；当接收到用户端发送的用户请求对所述试题进行讲解的信息时，根据所述试题的知识树和所述试题所属的类别向所述用户端推荐对应的讲解链接。本申请实施例的方法，对试题进行分析生成知识树，并对试题进行分类，由专业老师对该试题进行讲解，有利于用户对试题知识点的掌握。

Description

一种基于图像识别技术的试题反馈和推荐讲解方法与系统

技术领域

本申请涉及图像识别技术领域，尤其涉及一种基于图像识别技术的试题反馈和推荐讲解方法与系统。

背景技术

在中小学生写作业或者家长辅导学生的时候，常遇到不会做的试题或题目。这时用户常常通过互联网寻求试题的答案。

当前，已有多种服务于学生或家长的中小学生试题解析网站或网络应用，帮助用户获取答案，顺利完成作业，例如，作业帮，问他，作业宝等网站。用户通过手动输入试题内容进行检索，获取试题答案。

但是，现有的作业解析网站，app等都是直接返回用户(学生)输入试题的答案，没有专业老师对该试题进行讲解，同时，不能返回同类型的试题，不利于用户对试题知识点的掌握。

发明内容

有鉴于此，本申请的目的在于提出一种基于图像识别技术的试题反馈和推荐讲解方法与系统，来解决现有技术中用户通过网址获取试题答案时，没有专业老师对该试题进行讲解，同时，不能返回同类型的试题，不利于用户对试题知识点的掌握的技术问题。

基于上述目的，在本申请的一个方面，提出了一种基于图像识别技术的试题反馈和推荐讲解方法，包括：

接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集；

当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述对应的试题进行分析，生成知识树，并对所述对应的试题进行分类；

当接收到用户端发送的用户请求对所述对应的试题进行讲解的信息时，根据所述对应的试题的知识树和所述对应的试题所属的类别向所述用户端推荐对应的讲解链接。

在一些实施例中，所述提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集，具体包括：

对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息；

对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息，进而确定所述文字信息中的知识点；

根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息相匹配的试题，生成试题集；

向所述用户端以待选择方式反馈所述试题集。

在一些实施例中，所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息，包括：

采用字符切分法，查找连续直线的空白区域获得基准水平线，根据所述基准水平线对所述试题图像进行旋转-水平切割-垂直切割，提取出所述文字信息中的有效字符信息。

在一些实施例中，所述根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息相匹配的试题，生成试题集，包括：

根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息的匹配度大于预设阈值的试题，作为匹配结果，按照匹配度由大到小对所述匹配结果进行排序，并按照预设条件选取所述匹配结果中的习题，生成试题集。

在一些实施例中，在所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息之前，还包括：

对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

在一些实施例中，所述对所述试题进行分析，生成知识树，并对所述试题进行分类，具体包括：

对所述试题进行每个类别的关键字和关键词的权重进行分析，生成所述试题的知识树，并根据所述试题对应的年级、学科和知识点对所述试题进行分类。

在一些实施例中，所述讲解链接包括：

对应类别试题的老师对该类试题进行讲解的视频的链接地址。

在一些实施例中，所述讲解链接包括：

对应类别试题的老师通信软件的联系方式。

基于上述目的，在本申请的另一个方面，还提出了一种基于图像识别技术的试题反馈和推荐讲解系统，包括：

试题图像接收模块，用于接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

试题集反馈模块，用于提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集；

试题分类模块，用于当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述试题进行分析，生成知识树，并对所述试题进行分类；

讲解链接推送模块，用于当接收到用户端发送的用户请求对所述试题进行讲解的信息时，根据所述试题的知识树和所述试题所属的类别向所述用户端推荐对应的讲解链接。

在一些实施例中，还包括：试题图像预处理模块，用于对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

本申请实施例提出了一种基于图像识别技术的试题反馈和推荐讲解方法和系统，其中方法包括：接收用户端发送的试题图像，所述试题图像包括试题的文字信息；提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集；当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述试题进行分析，生成知识树，并对所述试题进行分类；当接收到用户端发送的用户请求对所述试题进行讲解的信息时，根据所述试题的知识树和所述试题所属的类别向所述用户端推荐对应的讲解链接。本申请实施例的方法和系统，在用户通过网址获取试题答案时，通过对试题进行分析生成知识树，并对所述试题进行分类，能反馈同类型的试题，同时由专业老师对该试题进行讲解，有利于用户对试题知识点的掌握。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例一的基于图像识别技术的试题反馈和推荐讲解方法的流程图；

图2是本申请实施例一中的试题集生成方法的流程图；

图3是本申请实施例二的基于图像识别技术的试题反馈和推荐讲解系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，是本申请实施例一的基于图像识别技术的试题反馈和推荐讲解方法的流程图。从图1中可以看出，本申请实施例的基于图像识别技术的试题反馈和推荐讲解方法，应用于服务器，可以包括以下步骤：

S101：接收用户端发送的试题图像，所述试题图像包括试题的文字信息。

在本实施例中，当用户在遇到不会做的试题，可以通过本实施例的方法查找对应的试题，进而获取对应的答案。具体地，用户可以通过用户端发送试题图像，所述试题图像中可以包括试题的文字信息。在本实施例中，所述用户端可以是智能手机、平板电脑等具有访问互联网功能的移动设备，也可以是专门为申请实施例方法设置的设备，通过所述用户端可以将用户遇到的不会做的试题的试题图像发送至服务器，以令服务器根据所述试题图像查找类似的试题，进而获取试题的答案和解题方法。

具体地，所述试题图像可以是用户端通过扫描试卷获取的试题图像，或者也可以是用户端对试卷或者作业、习题进行拍摄获取的试题图像，此外，还可以是其他用户端发送给当前用户的试题图像。例如，学生在做习题或者作业的时候，可以通过第一用户端扫描不会做的试题，生成试题图像，该第一用户端可以是具有扫描功能的学习用品，例如具有扫描功能的笔、台灯等，或者是专门扫描试题用的移动终端，并将该试题图像发送至第二用户端，该第二用户端可以智能手机或者各种类型的电脑等，该第二用户端由学生的家长使用，由学生的家长通过所述第二用户端将试题图像发送至服务器。

S102：提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集。

在本实施例中，当接收到用户端发送的试题图像后，根据所述试题图像中的文字信息提取该试题的知识点，并根据提取到的知识点从习题数据库中查找与所述知识点对应的试题，生成试题集，并向所述用户端以待选择方式反馈所述试题集。在本实施例中，以待选择方式反馈所述试题集是指向所述户端反馈所述试题集的同时，发送一个获取用户对所述试题集进行的操作的消息，当用户对所述试题集中的试题进行选择操作时，例如选择所述试题集中的部分试题，并将选择的试题收藏至错题集，则服务器可以获取到用户的这一操作的信息。

S103：当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述对应的试题进行分析，生成知识树，并对所述对应的试题进行分类。

在本实施例中，当用户选择并收藏所述试题集中对应的试题时，对对应的试题进行分析，具体地，对所述试题进行每个类别的关键字和关键词的权重进行分析，生成所述试题的知识树，例如关键字和关键次可以是“已知”、“求”、“半径”、“面积”或“周长”等短语，并对同一类关键字和关键词在所述试题集中出现的频率的权重进行分析，来判断对应的试题对应的类别在所述试题集中的比例，并根据所述试题对应的年级、学科和知识点对所述试题进行分类，进而确定擅长该类试题讲解的老师，并在用户需要时，由擅长该类试题讲解的老师对该试题进行讲解。

S104：当接收到用户端发送的用户请求对所述对应的试题进行讲解的信息时，根据所述对应的试题的知识树和所述对应的试题所属的类别向所述用户端推荐对应的讲解链接。

当用户通过用户端向服务器发送对所述试题进行讲解的请求时，服务器根据所述试题的知识树和所述试题所属的类别向所述用户端推荐对应的讲解链接。在本实施例中，所述讲解链接可以包括对应类别试题的老师对该类试题进行讲解的视频的链接地址，用户通过点击该链接地址可以获取预先录制好的擅长该类试题讲解的老师对该试题进行讲解的视频。或者，所述讲解链接还包括：对应类别试题的老师通信软件的联系方式，例如擅长该类试题讲解的老师的微信号、QQ号，或者其他社交软件的账号，用户可以通过与擅长该类试题讲解的老师进行语音通话或者视频通话，接收老师对该类试题的讲解。

本申请实施例的基于图像识别技术的试题反馈和推荐讲解方法，在用户通过网址获取试题答案时，通过对试题进行分析生成知识树，并对所述试题进行分类，能反馈同类型的试题，同时由专业老师对该试题进行讲解，有利于用户对试题知识点的掌握。

如图2所示，是本申请实施例一中的试题集生成方法的流程图，从图2中可以看出，试题集的生成方法可以包括以下步骤：

S1021：对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息。

具体地，可以采用字符切分法，查找连续直线的空白区域获得基准水平线，根据所述基准水平线对所述试题图像进行旋转-水平切割-垂直切割，提取出所述文字信息中的有效字符信息。

S1022：对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息，进而确定所述文字信息中的知识点。

S1023：根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息相匹配的试题，生成试题集。

根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息的匹配度大于预设阈值的试题，作为匹配结果，按照匹配度由大到小对所述匹配结果进行排序，并按照预设条件选取所述匹配结果中的习题，生成试题集。

此外，为了避免噪声对有效字符信息提取的影响，在所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息之前，还包括：对所述试题图像进行预处理，具体包括：对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

具体地，可以先对所述试题图像进行灰度处理，再对灰度处理后的试题图像进行二值化处理，最后对二值化处理后的试题图像进行去噪。图像灰度化就是使色彩的三种颜色分量R、G、B的值相同，由于颜色值的取值范围是[0，255]，所以灰度的级别只有256种，即灰度图象仅能表现256种灰度颜色，常用有3种处理方法：

最大值法(Maximum)：R＝G＝B＝Max(R,G,B)，这种方法处理后灰度图象的亮度会偏高。

平均值法(Average)：R＝G＝B＝(R+G+B)/3，这种方法处理后灰度图象的亮度较柔和。

加权平均值法(Weighted Average)：R＝G＝B＝wr*R+wg*G+wb*B，wr、wg、wb分别为R、G、B的权值。当其权值取不同的值时，能够形成不同灰度的灰度图象，由于人眼对绿色的敏感度最高，红色次之，蓝色最低，因此当wg>wr>wb时，所产生的灰度图像更符合人眼的视觉感受。通常wr＝30％，wg＝59％，wb＝11％，图像的灰度最合理。

图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

对二值化处理后的试题图像进行去噪可以采用中值滤波法，其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换，其主要功能是让周围象素灰度值的差比较大的像素改取与周围的像素值接近的值，从而可以消除孤立的噪声点，所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘，从而获得较满意的复原效果。

本实施例的基于图像识别技术的试题反馈和推荐讲解方法，能够使得对试题图像的识别更准确，从而使得反馈给用户端的试题集与所述试题图像中的试题更加类似。

如图3所示，是本申请实施例二的基于图像识别技术的试题反馈和推荐讲解系统的结构示意图。本实施例的基于图像识别技术的试题反馈和推荐讲解系统，可以包括：

试题图像接收模块301，用于接收用户端发送的试题图像，所述试题图像包括试题的文字信息。

在本实施例中，当用户在遇到不会做的试题，可以通过本实施例的方法查找对应的试题，进而获取对应的答案。具体地，用户可以通过用户端发送试题图像，所述试题图像中可以包括试题的文字信息。

试题集反馈模块302，用于提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集。

在本实施例中，当接收到用户端发送的试题图像后，根据所述试题图像中的文字信息提取该试题的知识点，并根据提取到的知识点从习题数据库中查找与所述知识点对应的试题，生成试题集，并向所述用户端以待选择方式反馈所述试题集。在本实施例中，以待选择方式反馈所述试题集是指向所述户端反馈所述试题集的同时，发送一个获取用户对所述试题集进行的操作的消息，当用户对所述试题集中的试题进行选择操作时，例如选择所述试题集中的部分试题，并将选择的试题收藏至错题集，则服务器可以获取到用户的这一操作的信息。

试题分类模块303，用于当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述对应的试题进行分析，生成知识树，并对所述对应的试题进行分类。

在本实施例中，当用户选择并收藏所述试题集中对应的试题时，对对应的试题进行分析，具体地，对所述试题进行每个类别的关键字和关键词的权重进行分析，生成所述试题的知识树，例如关键字和关键次可以是“已知”、“求”、“半径”、“面积”或“周长”等短语，并对同一类关键字和关键词在所述试题集中出现的频率的权重进行分析，来判断对应的试题对应的类别在所述试题集中的比例，并根据所述试题对应的年级、学科和知识点对所述试题进行分类，进而确定擅长该类试题讲解的老师，并在用户需要时，由擅长该类试题讲解的老师对该试题进行讲解。

讲解链接推送模块304，用于当接收到用户端发送的用户请求对所述对应的试题进行讲解的信息时，根据所述对应的试题的知识树和所述对应的试题所属的类别向所述用户端推荐对应的讲解链接。

当用户通过用户端向服务器发送对所述试题进行讲解的请求时，服务器根据所述试题的知识树和所述试题所属的类别向所述用户端推荐对应的讲解链接。在本实施例中，所述讲解链接可以包括对应类别试题的老师对该类试题进行讲解的视频的链接地址，用户通过点击该链接地址可以获取预先录制好的擅长该类试题讲解的老师对该试题进行讲解的视频。或者，所述讲解链接还包括：对应类别试题的老师通信软件的联系方式，例如擅长该类试题讲解的老师的微信号、QQ号，或者其他社交软件的账号，用户可以通过与擅长该类试题讲解的老师进行语音通话或者视频通话，接收老师对该类试题的讲解。

本申请实施例的基于图像识别技术的试题反馈和推荐讲解系统，能够取得与上述方法相类似的技术效果，这里不再赘述。

此外，作为本申请基于图像识别技术的试题反馈和推荐讲解系统的一个实施例，所述系统还可以包括：试题图像预处理模块，用于对所述试题图像进行预处理，具体地，所述试题图像预处理模块用于对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。即先对所述试题图像进行灰度处理，再对灰度处理后的试题图像进行二值化处理，最后对二值化处理后的试题图像进行去噪。图像灰度化就是使色彩的三种颜色分量R、G、B的值相同，由于颜色值的取值范围是[0，255]，所以灰度的级别只有256种，即灰度图象仅能表现256种灰度颜色，常用有3种处理方法：

最大值法(Maximum)：R＝G＝B＝Max(R,G,B)，这种方法处理后灰度图象的亮度会偏高。

平均值法(Average)：R＝G＝B＝(R+G+B)/3，这种方法处理后灰度图象的亮度较柔和。

加权平均值法(Weighted Average)：R＝G＝B＝wr*R+wg*G+wb*B，wr、wg、wb分别为R、G、B的权值。当其权值取不同的值时，能够形成不同灰度的灰度图象，由于人眼对绿色的敏感度最高，红色次之，蓝色最低，因此当wg>wr>wb时，所产生的灰度图像更符合人眼的视觉感受。通常wr＝30％，wg＝59％，wb＝11％，图像的灰度最合理。

图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

对二值化处理后的试题图像进行去噪可以采用中值滤波法，其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换，其主要功能是让周围象素灰度值的差比较大的像素改取与周围的像素值接近的值，从而可以消除孤立的噪声点，所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘，从而获得较满意的复原效果。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于图像识别技术的试题反馈和推荐讲解方法，其特征在于，包括：

接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集；

当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述对应的试题进行分析，生成知识树，并对所述对应的试题进行分类；

当接收到用户端发送的用户请求对所述对应的试题进行讲解的信息时，根据所述对应的试题的知识树和所述对应的试题所属的类别向所述用户端推荐对应的讲解链接。

2.根据权利要求1所述的方法，其特征在于，所述提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集，具体包括：

对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息；

对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息，进而确定所述文字信息中的知识点；

根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息相匹配的试题，生成试题集；

向所述用户端以待选择方式反馈所述试题集。

3.根据权利要求2所述的方法，其特征在于，所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息，包括：

采用字符切分法，查找连续直线的空白区域获得基准水平线，根据所述基准水平线对所述试题图像进行旋转-水平切割-垂直切割，提取出所述文字信息中的有效字符信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息相匹配的试题，生成试题集，包括：

根据所述知识点的语义信息，从习题数据库中查找与所述知识点的语义信息的匹配度大于预设阈值的试题，作为匹配结果，按照匹配度由大到小对所述匹配结果进行排序，并按照预设条件选取所述匹配结果中的习题，生成试题集。

5.根据权利要求4所述的方法，其特征在于，在所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息之前，还包括：

对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

6.根据权利要求5所述的方法，其特征在于，所述对所述试题进行分析，生成知识树，并对所述试题进行分类，具体包括：

对所述试题进行每个类别的关键字和关键词的权重进行分析，生成所述试题的知识树，并根据所述试题对应的年级、学科和知识点对所述试题进行分类。

7.根据权利要求6所述的方法，其特征在于，所述讲解链接包括：

对应类别试题的老师对该类试题进行讲解的视频的链接地址。

8.根据权利要求6所述的方法，其特征在于，所述讲解链接包括：

对应类别试题的老师通信软件的联系方式。

9.一种基于图像识别技术的试题反馈和推荐讲解系统，其特征在于，包括：

试题图像接收模块，用于接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

试题集反馈模块，用于提取所述文字信息中的知识点，根据所述知识点向所述用户端以待选择方式反馈与所述知识点相关的试题集；

试题分类模块，用于当接收到用户端发送的用户选择并收藏所述试题集中对应的试题的信息时，对所述试题进行分析，生成知识树，并对所述试题进行分类；

讲解链接推送模块，用于当接收到用户端发送的用户请求对所述试题进行讲解的信息时，根据所述试题的知识树和所述试题所属的类别向所述用户端推荐对应的讲解链接。

10.根据权利要求9所述的系统，其特征在于，还包括：试题图像预处理模块，用于对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。