CN107644105A - 一种搜题方法及装置 - Google Patents

Abstract

本发明实施例公开了一种搜题方法及装置。该方法包括：获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；根据题干图片和年级数据，确定目标题目的类型；若目标题目的类型为图形类型，则提取目标题目的题干图片的局部特征；根据题干图片的局部特征获取与目标题目匹配的解析数据，通过本发明的技术方案，解决了在使用搜题APP时，对于一些图形偏多的题目，使用常规的搜索方法导致搜索成功率比较低的问题，能够提高搜题成功率。

Description

一种搜题方法及装置

技术领域

本发明实施例涉及搜题领域，尤其涉及一种搜题方法及装置。

背景技术

目前，智能终端类产品有许多解决学生作业难题的搜题APP，用户可以对难以解决的问题进行拍照，再将拍照内容输入搜题APP，以便搜题APP根据拍照内容搜索到相应的解题答案。

但由于在使用搜题APP时，对于一些图形偏多的题目，使用常规的OCR(OpticalCharacter Recognition，光学字符识别)方法无法识别，这样会使得某些年级的题目使用常规的搜索方法会导致搜索成功率比较低。

发明内容

本发明实施例提供一种搜题方法及装置，以提高搜题成功率。

第一方面，本发明实施例提供了一种搜题方法，包括：

获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；

根据所述题干图片和所述年级数据，确定所述目标题目的类型；

若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征；

根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据。

进一步的，还包括：

若所述目标题目的类型为文本类型，则将所述目标题目的题干图片转换为与之匹配的文本数据；

根据所述文本数据获取与所述目标题目匹配的解析数据。

进一步的，根据所述题干图片和所述年级数据，确定所述目标题目的类型包括：

若所述题干图片中包括图形信息，且所述年级数据小于预设年级数据，则确定所述目标题目的类型为图形类型；

若所述题干图片中不包括图形信息，或所述年级数据大于或者等于预设年级数据，则确定所述目标题目的类型为文本类型。

进一步的，若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征之前，还包括：

建立题干图片的局部特征与解析数据的对应关系，并将所述对应关系存储到数据库中；

相应的，根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据包括：

在所述数据库中查找与所述题干图片的局部特征相匹配的解析数据。

进一步的，若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征包括：

若所述目标题目的类型为图形类型，则将所述目标题目的题干图片转换成灰度图片；

提取所述灰度图片中的局部特征。

第二方面，本发明实施例还提供了一种搜题装置，该装置包括：

第一获取模块，用于获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；

确定模块，用于根据所述题干图片和所述年级数据，确定所述目标题目的类型；

提取模块，用于若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征；

第二获取模块，用于根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据。

进一步的，还包括：

转换模块，用于若所述目标题目的类型为文本类型，则将所述目标题目的题干图片转换为与之匹配的文本数据；

第三获取模块，用于根据所述文本数据获取与所述目标题目匹配的解析数据。

进一步的，所述确定模块具体用于：

若所述题干图片中包括图形信息，且所述年级数据小于预设年级数据，则确定所述目标题目的类型为图形类型；

若所述题干图片中不包括图形信息，或所述年级数据大于或者等于预设年级数据，则确定所述目标题目的类型为文本类型。

进一步的，还包括：

数据库建立模块，用于在若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征之前，建立题干图片的局部特征与解析数据的对应关系，并将所述对应关系存储到数据库中；

相应的，所述第二获取模块具体用于：

在所述数据库中查找与所述题干图片的局部特征相匹配的解析数据。

进一步的，所述提取模块具体用于：

若所述目标题目的类型为图形类型，则将所述目标题目的题干图片转换成灰度图片；

提取所述灰度图片中的局部特征。

本发明实施例通过获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；根据题干图片和年级数据，确定目标题目的类型；若目标题目的类型为图形类型，则提取目标题目的题干图片的局部特征；根据题干图片的局部特征获取与目标题目匹配的解析数据，解决了在使用搜题APP时，对于一些图形偏多的题目，使用常规的搜索方法导致搜索成功率比较低的问题，能够提高搜题成功率。

附图说明

图1是本发明实施例一中的一种搜题方法的流程图；

图2是本发明实施例二中的一种搜题方法的流程图；

图3是本发明实施例三中的一种搜题方法的流程图；

图4是本发明实施例四中的一种搜题装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种搜题方法的流程图，本实施例可适用于通过终端设备搜题的情况，该方法可以由本发明实施例提供的搜题装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何需要搜题的终端设备中，例如典型的是智能终端(例如智能手机或平板电脑等)，如图1所示，该方法具体包括如下步骤：

S110，获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据。

其中，所述摄像头为安装在智能终端上的摄像头，当用户开启智能终端中的搜题应用后，接收到搜题指令时，开启摄像头。例如可以是，智能手机的后置摄像头，本发明实施例对摄像头的具体形式不进行限制。

其中，所述目标题目至少包括用户通过终端设备上的摄像头拍摄的需要搜索答案的题目，例如可以是，用户习题上的一道试题。

其中，摄像头拍摄目标题目的题干图片的方式可以为将摄像头的中心对准需要拍摄的目标题目的题干，也可以为先通过摄像头拍摄包含目标题目的题干图片的图片，再从所述图片中分割出目标题目的题干图片。

其中，所述用户输入的年级数据至少包括用户输入的年级，例如可以是，一年级或者二年级。所述用户输入的年级数据可以为用户自己所属的年级，也可以为用户需要搜索的题目所需要的知识所属的年级。

其中，用户输入年级数据的方式可以为当用户打开搜题应用的时候弹出悬浮窗显示年级供用户选择，用户选择悬浮窗中某一年级之后，悬浮窗则消失，摄像头开启，拍摄用户需要搜索的目标题目；也可以为当用户打开搜题应用之后，先开启摄像头拍摄用户需要搜索的目标题目，在获取目标题目之后，再弹出窗口供用户输入年级数据，本发明实施例对此不进行限制。

具体的，通过智能终端上的摄像头获取用户需要搜索的目标题目，获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据。

S120，根据题干图片和年级数据，确定目标题目的类型。

其中，所述目标题目的类型包括文本类型和图形类型，所述文本类型为根据目标题目中的文字信息就可以准确的搜索到目标题目的答案的目标题目，也就是说在文本类型中目标题目中可以含有图片，但是图片并不是目标题目的题干。

具体的，根据摄像头拍摄的目标题目的题干图片和用户输入的年级数据确定目标题目的类型，例如可以是，若摄像头拍摄的目标题目的题干图片中不包含图片，则可以说明目标题目的类型为文本类型。若摄像头拍摄的目标题目的题干图片中包含图片，且用户输入的年级为1年级小于三年级，则可以说明目标题目的类型为图形类型。

S130，若目标题目的类型为图形类型，则提取目标题目的题干图片的局部特征。

具体的，若目标题目的类型为图形类型，则对目标题目的题干图片中的每个像素点提取局部特征。例如可以是，通过在图像二维平面空间和尺度空间，同时寻找局部极值点以实现尺度不变性。得到候选的特征点后，利用候选特征点其周围的数据对特征点进行精确的定位。通过拟和三维二次函数来精确确定特征点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。为了使得到的特征点具有旋转不变性，利用特征点邻域像素的梯度方向分布特性，为每个特征点指定方向参数。采用方向直方图来确定其主方向。首先将坐标轴旋转为关键点的方向，以确保旋转不变性，接下来以关键点为中心取8×8的窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，最终形成128维的特征向量。

S140，根据题干图片的局部特征获取与目标题目匹配的解析数据。

其中，与目标题目匹配的解析数据可以为目标题目的答案，也可以为目标题目的解题思路，例如可以是，若目标题目为选择题，则与目标题目匹配的解析数据可以为选择的选项，也可以为如何得到选项的解题过程。

具体的，根据题干图片的局部特征获取与目标题目匹配的解析数据的方式为将题干图片的局部特征与预先建立的关于题干图片的局部特征与解析数据的对应关系的列表进行比对，获取与目标题目匹配的解析数据。

在一个具体的例子中，预先将局部特征A对应答案Q、题目局部特征B对应答案W，局部特征C对应答案P，局部特征D对应答案O，局部特征E对应答案V以列表的形式存储，若摄像头拍摄的目标题目的题干图片的局部特征为A，则获取与目标题目匹配的解析数据为答案Q。

可选的，还包括：

若所述目标题目的类型为文本类型，则将所述目标题目的题干图片转换为与之匹配的文本数据；

根据所述文本数据获取与所述目标题目匹配的解析数据。

具体的，文本类型的目标题目则可以通过常规的OCR(Optical CharacterRecognition，光学字符识别)方法识别。

本实施例的技术方案，通过获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；根据题干图片和年级数据，确定目标题目的类型；若目标题目的类型为图形类型，则提取目标题目的题干图片的局部特征；根据题干图片的局部特征获取与目标题目匹配的解析数据，解决了在使用搜题APP时，对于一些图形偏多的题目，使用常规的搜索方法导致搜索成功率比较低的问题，能够提高搜题成功率。

实施例二

图2为本发明实施例二中的一种搜题方法的流程图，本实施例以前述实施例一为基础进行优化，提供了优选的搜题方法，具体是，根据所述题干图片和所述年级数据，确定所述目标题目的类型包括：若所述题干图片中包括图形信息，且所述年级数据小于预设年级数据，则确定所述目标题目的类型为图形类型；若所述题干图片中不包括图形信息，或所述年级数据大于或者等于预设年级数据，则确定所述目标题目的类型为文本类型。

相应的，本实施例的方法具体包括如下步骤：

S210，获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据。

S220，判断题干图片中是否包括图形信息，若是，则执行S230，若否，则执行S270。

其中，所述图形信息为目标题目的题干中的图形，例如可以是圆形、三角形、长方形或者上述图形的组合。

具体的，判断题干图片中是否包括图形信息可以为判断题干图片是否包含图形信息的特征，也可以为判断题干图片的梯度变化特征是否明显。例如可以是，针对低年级的题目的题干图片分析，题干图片背景版面相对文本题复杂，文字比较少，图片的梯度变化特征非常明显。

S230，判断年级数据是否小于预设年级数据，若是，则执行S240，若否，则执行S270。

其中，所述预设年级数据可以为用户根据不同年级的题目的题干中图形的重要程度设定的，也可以为系统对各个年级的题目的题干中图形的重要程度进行考量，最终确定的年级数据。例如可以是，若3年级以下的题目的题干中图形是供答题者知晓题意的要素，则可以将预设年级数据设定为3年级。

具体的，将用户输入的年级数据与预先设定的年级数据进行比较，进而判断年级数据是否小于预设年级数据。

S240，确定目标题目的类型为图形类型。

其中，所述图形类型为根据目标题目中的文字信息和图形信息才可以准确的搜索到目标题目的答案的目标题目的类型。

S250，提取目标题目的题干图片的局部特征。

S260，根据题干图片的局部特征获取与目标题目匹配的解析数据。

在一个具体的例子中，获取提干图片，获取用户的年级信息，结合年级信息，判断题干是属于图形题还是文本题(提干中有图形，且年级信息小于三年级，则判定题目的类型为图形类型，反之判定题目的类型为文本类型)，如果题目的类型为文本类型，则走常规算法，如果题目的类型为图形类型，进入图形搜索算法。

可选的，若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征之前，还包括：

建立题干图片的局部特征与解析数据的对应关系，并将所述对应关系存储到数据库中；

相应的，根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据包括：

在所述数据库中查找与所述题干图片的局部特征相匹配的解析数据。

在一个具体的例子中，获取图形题干图片，转换成灰度图片，对每个像素点提取局部特征，将特征存储在索引中，只建立小学低年级带图形的题目，根据文本行高以及年级信息特征，文本行高基本固定，确定是否建到索引库。获取用户拍摄的图形题题干图片，提取图片的所有局部特征，匹配索引中的特征值，找到最匹配的图片，进而获得用户拍摄的图形题的答案。

S270，确定目标题目的类型为文本类型。

其中，所述文本类型为根据目标题目中的文字信息就可以准确的搜索到目标题目的答案的目标题目的类型，也就是说目标题目中可以含有图片，但是图片并不是目标题目的题干。本实施例的技术方案，通过获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；根据题干图片和年级数据，确定目标题目的类型；若目标题目的类型为图形类型，则提取目标题目的题干图片的局部特征；根据题干图片的局部特征获取与目标题目匹配的解析数据，解决了在使用搜题APP时，对于一些图形偏多的题目，使用常规的搜索方法导致搜索成功率比较低的问题，能够提高搜题成功率。

实施例三

图3为本发明实施例三中的一种搜题方法的流程图，本实施例以前述实施例为基础进行优化，提供了优选的搜题方法，具体是，若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征包括：若所述目标题目的类型为图形类型，则将所述目标题目的题干图片转换成灰度图片；提取所述灰度图片中的局部特征。

相应的，本实施例的方法具体包括如下步骤：

S310，获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据。

S320，根据题干图片和年级数据，确定目标题目的类型。

S330，若目标题目的类型为图形类型，则将目标题目的题干图片转换成灰度图片。

S340，提取灰度图片中的局部特征。

具体的，将所述目标题目的题干图片转换成灰度图片后，用尺度不变特征转换(Scale-invariant feature transform，SIFT)检测到的特征是局部的，而且该特征对于图像的尺度和旋转能够保持不变性。同时，这些特征对于亮度变化具有很强的鲁棒性，对于噪声和视角的微小变化也能保持一定的稳定性。SIFT特征还具有很强的可区分性，它们很容易被提取出来，并且即使在低概率的不匹配情况下也能够正确的识别出目标来。

在一个具体的例子中，将目标题目的题干图片转换成灰度图片，所述灰度图片的局部最值为SIFT的稳定点。构建尺度空间，检测极值点，获得尺度不变性，特征点过滤并进行精确定位，提出不稳定的特征点，在特征点处提取特征描述符，为特征点分配方向值，生成特征描述子，利用特征描述符寻找匹配点。

S350，根据题干图片的局部特征获取与目标题目匹配的解析数据。

本发明实施例主要用于解决小学低年级的图形题目，针对低年级的题目题干内容的分析，题干内容图形居多，背景版面相对文本题复杂，文字比较少，这样图形的梯度变化特征非常明显，故采用SIFT算法能很好的解决使用常规的OCR方法对于图形无法识别，搜索成功率比较低问题。

本实施例的技术方案，通过获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；根据题干图片和年级数据，确定目标题目的类型；若目标题目的类型为图形类型，则提取目标题目的题干图片的局部特征；根据题干图片的局部特征获取与目标题目匹配的解析数据，解决了在使用搜题APP时，对于一些图形偏多的题目，使用常规的搜索方法导致搜索成功率比较低的问题，能够提高搜题成功率。

实施例四

图4为本发明实施例四的一种搜题装置的结构示意图。本实施例可适用于通过终端设备搜题的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供搜题功能的设备中，例如典型的是智能终端(例如智能手机或平板电脑等)，如图4所示，所述搜题装置具体包括：第一获取模块410、确定模块420、提取模块430和第二获取模块440。

其中，第一获取模块410，用于获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；

确定模块420，用于根据所述题干图片和所述年级数据，确定所述目标题目的类型；

提取模块430，用于若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征；

第二获取模块440，用于根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据。

可选的，还包括：

转换模块，用于若所述目标题目的类型为文本类型，则将所述目标题目的题干图片转换为与之匹配的文本数据；

第三获取模块，用于根据所述文本数据获取与所述目标题目匹配的解析数据。

可选的，所述确定模块具体用于：

若所述题干图片中包括图形信息，且所述年级数据小于预设年级数据，则确定所述目标题目的类型为图形类型；

若所述题干图片中不包括图形信息，或所述年级数据大于或者等于预设年级数据，则确定所述目标题目的类型为文本类型。

可选的，还包括：

数据库建立模块，用于在若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征之前，建立题干图片的局部特征与解析数据的对应关系，并将所述对应关系存储到数据库中；

相应的，所述第二获取模块具体用于：

在所述数据库中查找与所述题干图片的局部特征相匹配的解析数据。

可选的，所述提取模块具体用于：

若所述目标题目的类型为图形类型，则将所述目标题目的题干图片转换成灰度图片；

提取所述灰度图片中的局部特征。

本实施例的技术方案，通过获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；根据题干图片和年级数据，确定目标题目的类型；若目标题目的类型为图形类型，则提取目标题目的题干图片的局部特征；根据题干图片的局部特征获取与目标题目匹配的解析数据，解决了在使用搜题APP时，对于一些图形偏多的题目，使用常规的搜索方法导致搜索成功率比较低的问题，能够提高搜题成功率。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种搜题方法，其特征在于，包括：

获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；

根据所述题干图片和所述年级数据，确定所述目标题目的类型；

若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征；

根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述目标题目的类型为文本类型，则将所述目标题目的题干图片转换为与之匹配的文本数据；

根据所述文本数据获取与所述目标题目匹配的解析数据。

3.根据权利要求1所述的方法，其特征在于，根据所述题干图片和所述年级数据，确定所述目标题目的类型包括：

若所述题干图片中包括图形信息，且所述年级数据小于预设年级数据，则确定所述目标题目的类型为图形类型；

若所述题干图片中不包括图形信息，或所述年级数据大于或者等于预设年级数据，则确定所述目标题目的类型为文本类型。

4.根据权利要求1所述的方法，其特征在于，若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征之前，还包括：

建立题干图片的局部特征与解析数据的对应关系，并将所述对应关系存储到数据库中；

相应的，根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据包括：

在所述数据库中查找与所述题干图片的局部特征相匹配的解析数据。

5.根据权利要求1所述的方法，其特征在于，若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征包括：

若所述目标题目的类型为图形类型，则将所述目标题目的题干图片转换成灰度图片；

提取所述灰度图片中的局部特征。

6.一种搜题装置，其特征在于，包括：

第一获取模块，用于获取摄像头拍摄目标题目的题干图片以及用户输入的年级数据；

确定模块，用于根据所述题干图片和所述年级数据，确定所述目标题目的类型；

提取模块，用于若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征；

第二获取模块，用于根据所述题干图片的局部特征获取与所述目标题目匹配的解析数据。

7.根据权利要求6所述的装置，其特征在于，还包括：

转换模块，用于若所述目标题目的类型为文本类型，则将所述目标题目的题干图片转换为与之匹配的文本数据；

第三获取模块，用于根据所述文本数据获取与所述目标题目匹配的解析数据。

8.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：

若所述题干图片中包括图形信息，且所述年级数据小于预设年级数据，则确定所述目标题目的类型为图形类型；

若所述题干图片中不包括图形信息，或所述年级数据大于或者等于预设年级数据，则确定所述目标题目的类型为文本类型。

9.根据权利要求6所述的装置，其特征在于，还包括：

数据库建立模块，用于在若所述目标题目的类型为图形类型，则提取所述目标题目的题干图片的局部特征之前，建立题干图片的局部特征与解析数据的对应关系，并将所述对应关系存储到数据库中；

相应的，所述第二获取模块具体用于：

在所述数据库中查找与所述题干图片的局部特征相匹配的解析数据。

10.根据权利要求6所述的装置，其特征在于，所述提取模块具体用于：

若所述目标题目的类型为图形类型，则将所述目标题目的题干图片转换成灰度图片；

提取所述灰度图片中的局部特征。