CN110084099A - 基于图像识别技术的信息反馈方法和系统 - Google Patents

Abstract

本申请实施例提供一种基于图像识别技术的信息反馈方法，包括：接收用户端发送的试题图像，所述试题图像包括试题的文字信息；对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息；对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息；根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果；将所述查找结果反馈给所述用户端。本申请实施例的基于图像识别技术的信息反馈方法，通过根据用户端发送的试题图像从习题数据库中查找对应的匹配结果，将匹配结果反馈给用户端，从而避免了试题解析在用户提问高峰期，存在的较长时间的延迟，提高了试题解析的效率。

Description

基于图像识别技术的信息反馈方法和系统

技术领域

本申请涉及图像识别技术领域，尤其涉及一种基于图像识别技术的信息反馈方法和系统。

背景技术

在中小学生写作业或者家长辅导学生的时候，常遇到不会做的试题或题目。这时用户常常通过互联网寻求试题的答案。

当前，已有多种服务于学生或家长的中小学生试题解析网站或网络应用，帮助用户获取答案，顺利完成作业，例如，作业帮，问他，作业宝等网站。用户通过手动输入试题内容进行检索，获取试题答案。

但现有的作业解析网站，app等都是通过人工回答，网站的其他用户，或在线教师查看试题后给出答案。从用户提问到获取到答案，存在时间成本的问题，不能快速满足用户的即时需求。在用户提问高峰期，或是对于难度较大的问题，有时会出现较长时间，如几个小时或一天内无人作答的情况，效率十分低下。长时间的等待也影响用户体验。并且，不同的作答可能多种不同的答案，令用户难以分辨。

发明内容

有鉴于此，本申请的目的在于提出一种基于图像识别技术的信息反馈方法和系统，来解决现有技术中试题解析在用户提问高峰期，或是对于难度较大的问题，存在的较长时间的延迟，导致的试题解析效率低的技术问题。

基于上述目的，在本申请的一个方面，提出了一种基于图像识别技术的信息反馈方法，包括：

接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息；

对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息；

根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果；

将所述查找结果反馈给所述用户端。

在一些实施例中，所述用户端发送的试题图像，包括：

用户端通过扫描试卷获取的试题图像和/或用户端对试卷进行拍摄获取的试题图像。

在一些实施例中，在所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息之前，还包括：

对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

在一些实施例中，所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息，包括：

采用字符切分法，查找连续直线的空白区域获得基准水平线，根据所述基准水平线对所述试题图像进行旋转-水平切割-垂直切割，提取出所述文字信息中的有效字符信息。

在一些实施例中，所述根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果，包括：

根据所述语义信息，从习题数据库中查找与所述语义信息的匹配度大于预设阈值的习题，作为匹配结果，按照匹配度由大到小对所述匹配结果进行排序，并按照预设条件选取所述匹配结果中的习题作为查找结果。

在一些实施例中，还包括：

从习题数据库中获取所述查找结果中的习题的解题方法，将所述解题方法反馈给所述用户端。

在一些实施例中，若习题数据库中的习题与所述语义信息的匹配度不大于所述预设阈值，则根据所述语义信息从互联网中查找与所述语义信息相匹配的习题，并将查找到的习题作为查找结果。

在一些实施例中，若试题图像还包括试题的附图信息，则直接从习题数据库中查找附图信息与所述试题的附图信息相匹配的习题，作为查找结果。

基于上述目的，在本申请的另一个方面，提出了一种基于图像识别技术的信息反馈系统，包括：

试题图像接收模块，用于接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

有效字符信息提取模块，用于对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息；

语义信息确定模块，用于对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息；

习题匹配模块，用于根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果；

查找结果反馈模块，用于将所述查找结果反馈给所述用户端。

在一些实施例中，还包括：

试题图像预处理模块，用于对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

本申请实施例的基于图像识别技术的信息反馈方法和系统，通过根据用户端发送的试题图像从习题数据库中查找对应的匹配结果，将匹配结果反馈给用户端，从而避免了试题解析在用户提问高峰期，或是对于难度较大的问题，存在的较长时间的延迟，提高了试题解析的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例一的基于图像识别技术的信息反馈方法的流程图；

图2是本申请实施例二的基于图像识别技术的信息反馈方法的流程图；

图3是本申请实施例三的基于图像识别技术的信息反馈系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，是本申请实施例一的基于图像识别技术的信息反馈方法的流程图。从图1中可以看出，本申请实施例的基于图像识别技术的信息反馈方法，应用于服务器，可以包括以下步骤：

S101：接收用户端发送的试题图像，所述试题图像包括试题的文字信息。

在本实施例中，当用户在遇到不会做的试题，可以通过本实施例的方法查找对应的试题，进而获取对应的答案。具体地，用户可以通过用户端发送试题图像，所述试题图像中可以包括试题的文字信息。在本实施例中，所述用户端可以是智能手机、平板电脑等具有访问互联网功能的移动设备，也可以是专门为申请实施例方法设置的设备，通过所述用户端可以将用户遇到的不会做的试题的试题图像发送至服务器，以令服务器根据所述试题图像查找类似的试题，进而获取试题的答案和解题方法。

S102：对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息。

在本实施例中，当服务器接收到的用户端发送的试题图像后，可以应用图像处理技术对所述试题图像进行分析处理，进而提取出所述文字信息中的有效字符信息。该有效字符信息可以是表征该试题类型的文字信息，或者表征该试题知识点的文字信息。

S103：对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息。

S104：根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果。

在确定所述有效字符信息表达的语义信息后，可以根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果。

S105：将所述查找结果反馈给所述用户端。

本申请实施例的基于图像识别技术的信息反馈方法和系统，通过根据用户端发送的试题图像从习题数据库中查找对应的匹配结果，将匹配结果反馈给用户端，从而避免了试题解析在用户提问高峰期，或是对于难度较大的问题，存在的较长时间的延迟，提高了试题解析的效率。

如图2所示，是本申请实施例二的基于图像识别技术的信息反馈方法的流程图。在本实施例中，所述基于图像识别技术的信息反馈方法，包括以下步骤：

S201：接收用户端发送的试题图像，所述试题图像包括试题的文字信息。

在本实施例中，当用户在遇到不会做的试题，可以通过本实施例的方法查找对应的试题，进而获取对应的答案。用户可以通过用户端发送试题图像，所述试题图像中可以包括试题的文字信息。具体地，所述试题图像可以是用户端通过扫描试卷获取的试题图像，或者也可以是用户端对试卷或者作业、习题进行拍摄获取的试题图像，此外，还可以是其他用户端发送给当前用户的试题图像。例如，学生在做习题或者作业的时候，可以通过第一用户端扫描不会做的试题，生成试题图像，该第一用户端可以是具有扫描功能的学习用品，例如具有扫描功能的笔、台灯等，或者是专门扫描试题用的移动终端，并将该试题图像发送至第二用户端，该第二用户端可以智能手机或者各种类型的电脑等，该第二用户端由学生的家长使用，由学生的家长通过所述第二用户端将试题图像发送至服务器。

S202：对所述试题图像进行预处理。

具体地，可以先对所述试题图像进行灰度处理，再对灰度处理后的试题图像进行二值化处理，最后对二值化处理后的试题图像进行去噪。图像灰度化就是使色彩的三种颜色分量R、G、B的值相同，由于颜色值的取值范围是[0，255]，所以灰度的级别只有256种，即灰度图象仅能表现256种灰度颜色，常用有3种处理方法：

最大值法(Maximum)：R＝G＝B＝Max(R,G,B)，这种方法处理后灰度图象的亮度会偏高。

平均值法(Average)：R＝G＝B＝(R+G+B)/3，这种方法处理后灰度图象的亮度较柔和。

加权平均值法(Weighted Average)：R＝G＝B＝wr*R+wg*G+wb*B，wr、wg、wb分别为R、G、B的权值。当其权值取不同的值时，能够形成不同灰度的灰度图象，由于人眼对绿色的敏感度最高，红色次之，蓝色最低，因此当wg>wr>wb时，所产生的灰度图像更符合人眼的视觉感受。通常wr＝30％，wg＝59％，wb＝11％，图像的灰度最合理。

图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

对二值化处理后的试题图像进行去噪可以采用中值滤波法，其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换，其主要功能是让周围象素灰度值的差比较大的像素改取与周围的像素值接近的值，从而可以消除孤立的噪声点，所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘，从而获得较满意的复原效果。

S203：采用字符切分法，查找连续直线的空白区域获得基准水平线，根据所述基准水平线对所述试题图像进行旋转-水平切割-垂直切割，提取出所述文字信息中的有效字符信息。

由于通常情况下，试题是由文字组成的，组成试题的文字之间有行间距，单个文字和单个文字之间也留有空隙，因此，可以通过查找连续直线的空白区域，并从中选取一条直线作为基准水平线，通过对所述基准水平线进行90°角的旋转，可以以所述基准水平线将试题的文字切分为多个字符，然后去除掉切分后的多个字符中的虚词，剩余的即为文字信息中的有效字符信息。该有效字符信息可以是表征该试题类型的文字信息，或者表征该试题知识点的文字信息。

S204：对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息。

S205：根据所述语义信息，从习题数据库中查找与所述语义信息的匹配度大于预设阈值的习题，作为匹配结果，按照匹配度由大到小对所述匹配结果进行排序，并按照预设条件选取所述匹配结果中的习题作为查找结果。

在根据所述语义信息从习题数据库中查找对应的习题时，可能会查找到多道习题，并且每道习题的语义信息和所述语义信息都具有一定的匹配度，例如文字的重合率，或者文字所表达的逻辑结构的重合率，即试题类型的关键字相同。因此，可以将匹配度大于预设阈值的习题作为匹配结果，并按照匹配度由大到小对匹配成功的习题进行排序，按照预设条件选取所述匹配结果中的习题作为查找结果，例如选取其中前五道习题作为查找结果。

S206：将所述查找结果反馈给所述用户端。

本申请实施例的基于图像识别技术的信息反馈方法和系统，通过根据用户端发送的试题图像从习题数据库中查找对应的匹配结果，将匹配结果反馈给用户端，从而避免了试题解析在用户提问高峰期，或是对于难度较大的问题，存在的较长时间的延迟，提高了试题解析的效率。

此外，作为本申请的一个可选实施例，在上述实施例中，在按照预设条件选取所述匹配结果中的习题作为查找结果的同时，从习题数据库中获取所述查找结果中的习题的解题方法，将所述解题方法反馈给所述用户端。

作为本申请的一个可选实施例，若习题数据库中的习题与所述语义信息的匹配度不大于所述预设阈值，则根据所述语义信息从互联网中查找与所述语义信息相匹配的习题，并将查找到的习题作为查找结果。

作为本申请的一个可选实施例，若试题图像还包括试题的附图信息，则直接从习题数据库中查找附图信息与所述试题的附图信息相匹配的习题，作为查找结果。通常情况下，附图相同的试题基本为同一试题，因此，若试题图像还包括试题的附图信息，则直接从习题数据库中查找附图信息与所述试题的附图信息相匹配的习题，作为查找结果。同时，获取该试题的解题方法。

如图3所示，是本申请实施例三的基于图像识别技术的信息反馈系统的结构示意图。本实施例的基于图像识别技术的信息反馈系统，包括：

试题图像接收模块301，用于接收用户端发送的试题图像，所述试题图像包括试题的文字信息。

在本实施例中，当用户在遇到不会做的试题，可以通过用户端发送试题图像，所述试题图像中可以包括试题的文字信息。通过所述用户端可以将用户遇到的不会做的试题的试题图像发送至服务器，以令服务器根据所述试题图像查找类似的试题，进而获取试题的答案和解题方法。当用户通过用户端发送试题图像时，所述试题图像接收模块301，用于接收用户端发送的试题图像。

有效字符信息提取模块302，用于对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息。

由于通常情况下，试题是由文字组成的，组成试题的文字之间有行间距，单个文字和单个文字之间也留有空隙，因此，可以通过查找连续直线的空白区域，并从中选取一条直线作为基准水平线，通过对所述基准水平线进行90°角的旋转，可以以所述基准水平线将试题的文字切分为多个字符，然后去除掉切分后的多个字符中的虚词，剩余的即为文字信息中的有效字符信息。该有效字符信息可以是表征该试题类型的文字信息，或者表征该试题知识点的文字信息。

语义信息确定模块303，用于对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息。

习题匹配模块304，用于根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果。

在确定所述有效字符信息表达的语义信息后，可以根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果。

在根据所述语义信息从习题数据库中查找对应的习题时，可能会查找到多道习题，并且每道习题的语义信息和所述语义信息都具有一定的匹配度，例如文字的重合率，或者文字所表达的逻辑结构的重合率，即试题类型的关键字相同。因此，可以将匹配度大于预设阈值的习题作为匹配结果，并按照匹配度由大到小对匹配成功的习题进行排序，按照预设条件选取所述匹配结果中的习题作为查找结果，例如选取其中前五道习题作为查找结果。

查找结果反馈模块305，用于将所述查找结果反馈给所述用户端。

此外，还可以包括试题图像预处理模块306，用于对所述试题图像进行预处理，即在所述有效字符信息提取模块302在对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息之前，对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

具体地，可以先对所述试题图像进行灰度处理，再对灰度处理后的试题图像进行二值化处理，最后对二值化处理后的试题图像进行去噪。图像灰度化就是使色彩的三种颜色分量R、G、B的值相同，由于颜色值的取值范围是[0，255]，所以灰度的级别只有256种，即灰度图象仅能表现256种灰度颜色，常用有3种处理方法：

最大值法(Maximum)：R＝G＝B＝Max(R,G,B)，这种方法处理后灰度图象的亮度会偏高。

平均值法(Average)：R＝G＝B＝(R+G+B)/3，这种方法处理后灰度图象的亮度较柔和。

加权平均值法(Weighted Average)：R＝G＝B＝wr*R+wg*G+wb*B，wr、wg、wb分别为R、G、B的权值。当其权值取不同的值时，能够形成不同灰度的灰度图象，由于人眼对绿色的敏感度最高，红色次之，蓝色最低，因此当wg>wr>wb时，所产生的灰度图像更符合人眼的视觉感受。通常wr＝30％，wg＝59％，wb＝11％，图像的灰度最合理。

图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

对二值化处理后的试题图像进行去噪可以采用中值滤波法，其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换，其主要功能是让周围象素灰度值的差比较大的像素改取与周围的像素值接近的值，从而可以消除孤立的噪声点，所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘，从而获得较满意的复原效果。

本申请实施例的基于图像识别技术的信息反馈系统，能够取得与上述实施例中的方法相类似的技术效果，这里不再赘述。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于图像识别技术的信息反馈方法，其特征在于，包括：

接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息；

对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息；

根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果；

将所述查找结果反馈给所述用户端。

2.根据权利要求1所述的方法，其特征在于，所述用户端发送的试题图像，包括：

用户端通过扫描试卷获取的试题图像和/或用户端对试卷进行拍摄获取的试题图像。

3.根据权利要求2所述的方法，其特征在于，在所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息之前，还包括：

对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。

4.根据权利要求3所述的方法，其特征在于，所述对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息，包括：

采用字符切分法，查找连续直线的空白区域获得基准水平线，根据所述基准水平线对所述试题图像进行旋转-水平切割-垂直切割，提取出所述文字信息中的有效字符信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果，包括：

根据所述语义信息，从习题数据库中查找与所述语义信息的匹配度大于预设阈值的习题，作为匹配结果，按照匹配度由大到小对所述匹配结果进行排序，并按照预设条件选取所述匹配结果中的习题作为查找结果。

6.根据权利要求5所述的方法，其特征在于，还包括：

从习题数据库中获取所述查找结果中的习题的解题方法，将所述解题方法反馈给所述用户端。

7.根据权利要求5所述的系统，其特征在于，若习题数据库中的习题与所述语义信息的匹配度不大于所述预设阈值，则根据所述语义信息从互联网中查找与所述语义信息相匹配的习题，并将查找到的习题作为查找结果。

8.根据权利要求1所述的方法，其特征在于，若试题图像还包括试题的附图信息，则直接从习题数据库中查找附图信息与所述试题的附图信息相匹配的习题，作为查找结果。

9.一种基于图像识别技术的信息反馈系统，其特征在于，包括：

试题图像接收模块，用于接收用户端发送的试题图像，所述试题图像包括试题的文字信息；

有效字符信息提取模块，用于对所述试题图像进行分析处理，提取所述文字信息中的有效字符信息；

语义信息确定模块，用于对所述有效字符信息进行语义分析，确定所述有效字符信息表达的语义信息；

习题匹配模块，用于根据所述语义信息，从习题数据库中查找与所述语义信息相匹配的习题，作为查找结果；

查找结果反馈模块，用于将所述查找结果反馈给所述用户端。

10.根据权利要求9所述的系统，其特征在于，还包括：

试题图像预处理模块，用于对所述试题图像进行预处理，具体包括：

对所述试题图像进行灰度处理，对灰度处理后的试题图像进行二值化处理，对二值化处理后的试题图像进行去噪。