CN109492644A - 一种习题图像的匹配识别方法及终端设备 - Google Patents

Abstract

本发明提供了一种习题图像的匹配识别方法及终端设备，适用于数据处理技术领域，该方法包括：对习题图像进行图像分割，得到文字区域图像以及附图区域图像；对文字区域图像进行字符识别，得到包含的习题标识以及文字内容；基于获取到的用户信息识别出用户在习题数据库中对应的第一习题数据集合，习题数据库中包含习题数据以及与习题数据唯一对应的习题标识；基于习题标识、文字内容以及附图区域图像对第一习题数据集合内的习题数据进行匹配，得到习题图像对应的匹配结果。相对仅根据习题的文字内容进行匹配而言，因此本发明实施例能能极大地提高匹配的精度和效率，够实现高效准确的拍照搜题。

Description

一种习题图像的匹配识别方法及终端设备

技术领域

本发明属于数据处理技术领域，尤其涉及习题图像的匹配识别方法及终端设备。

背景技术

现有的拍照搜题类的应用程序有很多，但都是在用户拍照后，直接基于现有的光学字符识别技术来识别习题的题目文字内容，再在数据库中进行文字匹配检索出对应的习题和答案分析，这样做虽然能实现对习题的匹配，但由于数据库包含的习题较多数据量大，同时相似习题数有较多，从而使得现有技术在进行匹配时往往都需要耗费较长的时间，且匹配结果的准确率也难以满足要求。

发明内容

有鉴于此，本发明实施例提供了一种习题图像的匹配识别方法及终端设备，以解决现有技术中拍照搜题的方法效率低下且准确率不高的问题。

本发明实施例的第一方面提供了一种习题图像的匹配识别方法，包括：

对习题图像进行图像分割，得到文字区域图像以及附图区域图像；

对所述文字区域图像进行字符识别，得到包含的习题标识以及文字内容；

基于获取到的用户信息识别出用户在习题数据库中对应的第一习题数据集合，所述习题数据库中包含习题数据以及与习题数据唯一对应的习题标识；

基于所述习题标识、所述文字内容以及所述附图区域图像对所述第一习题数据集合内的习题数据进行匹配，得到所述习题图像对应的匹配结果。

本发明实施例的第二方面提供了一种终端设备，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤。

对习题图像进行图像分割，得到文字区域图像以及附图区域图像；

对所述文字区域图像进行字符识别，得到包含的习题标识以及文字内容；

基于获取到的用户信息识别出用户在习题数据库中对应的第一习题数据集合，所述习题数据库中包含习题数据以及与习题数据唯一对应的习题标识；

基于所述习题标识、所述文字内容以及所述附图区域图像对所述第一习题数据集合内的习题数据进行匹配，得到所述习题图像对应的匹配结果。

本发明实施例的第三方面提供了一种计算机可读存储介质，包括：存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的习题图像的匹配识别方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：一方面基于用户的实际情况确定出用户在习题数据库中对应的习题数据集合，仅对习题数据集合内的习题数据进行匹配，极大地减小了匹配的工作量提高了拍照搜题的效率，另一方面通过对习题图像进行图像分割和字符识别，确定出习题图像中习题的习题标识、文字内容以及附图区域图像，并基于习题标识、文字内容以及附图区域图像三部分内容，同时进行习题数据集合内的习题数据匹配识别，相对仅根据习题的文字内容进行匹配而言，能极大地提高匹配的精度和效率，因此本发明实施例能够实现高效准确的拍照搜题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的习题图像的匹配识别方法的实现流程示意图；

图2是本发明实施例二提供的习题图像的匹配识别方法的实现流程示意图；

图3是本发明实施例三提供的习题图像的匹配识别方法的实现流程示意图；

图4是本发明实施例四提供的习题图像的匹配识别方法的实现流程示意图；

图5是本发明实施例五提供的习题图像的匹配识别方法的实现流程示意图；

图6是本发明实施例六提供的习题图像的匹配识别方法的实现流程示意图；

图7是本发明实施例七提供的习题图像的匹配识别装置的结构示意图；

图8是本发明实施例八提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

为了便于理解本发明，此处先对本发明进行简要说明：现有技术中都是仅根据对习题图像进行字符识别得到的文字内容进行匹配，以确定出对应的匹配结果，但实际情况中一方面由于拍摄角度光线等因素问题，会使得拍摄的习题图像的质量无法得到保障，从而使得字符识别的结果本身精确度以及后续匹配的精确度无法得到保证，另一方面由于习题数据库中相似的习题很多，因此仅根据文字内容进行匹配的精确度难以得到保障。

为了提高对习题图像匹配的准确度，本发明实施例一方面在现有技术的基础上对习题数据库中每道习题数据都预先设置了一个唯一的标识，如唯一数字编号等，在习题图像识别时，对习题图像进行文字区域和附图区域的图像分割，并对文字区域进行习题标识和文字内容的字符识别，从而得到习题图像中习题标识以及具体的习题文字内容，最后再基于习题标识和文字内容对习题数据库进行字符匹配，基于附图区域图像对习题数据库进行图像匹配，从而实现了从习题标识、文字内容和附图三个维度的习题数据匹配，极大地提高了对影响因素的抗干扰能力，提高了对习题数据匹配的准确性，另一方面考虑到实际情况中，不同用户对应的习题数据需求是有一定规律的，例如中学生一般搜的都是中学阶段的习题，大学生搜的一般都是大学阶段的习题，因此本发明实施例预先对用户和习题数据进行分类对应，在匹配时根据用户的实际情况确定出其对应的习题数据集合，再在该集合中进行匹配，从而极大地减小了匹配的工作量，提高了拍照搜题的效率和准确率。详述如下：

图1示出了本发明实施例一提供的习题图像的匹配识别方法的实现流程图，详述如下：

S101，对习题图像进行图像分割，得到文字区域图像以及附图区域图像。

其中，习题图像的获取方式此处不予限定，如既可以是由用户直接拍摄得到的，也可以是预先存储好的习题图像。同时对习题图像的具体分割算法此处亦不予限定，可由技术人员自行设定，包括但不限于如先对习题图像进行字符识别，确定出其中包含的字符对应的文字区域图像，再将习题图像中除文字区域图像以外的部分直接作为附图区域图像即可。

作为本发明的一个实施例，考虑到有些习题原本并不一定具有附图，因此在本发明实施例中为了便于统一处理，对于原本不包含附图的习题统一设置为附图为空白图像，即在对习题数据进行存储时，若习题原本不存在附图，则标记其附图为空白图像，而在习题图像进行图像分割时，若其中不存在附图，则直接标记其对应的附图区域图像为空白图像。

S102，对文字区域图像进行字符识别，得到包含的习题标识以及文字内容。

在本发明实施例中，一个标准的习题数据包括文字和附图，其中文字包括习题标识以及文字内容(即习题的题目文字部分内容)，且每个习题标识是与习题数据唯一对应的。考虑到实际应用中习题数据库中相似的习题很多，有时仅根据文字内容还是难以准确区分这些相似的习题，因此为了提高对习题匹配的准确性，本发明实施例中会预先对习题数据库中每个习题数据中加入一个唯一对应的习题标识，该标识可以是数字编号也可以是字母序列等，如在每个习题题目前加上一个习题的数字编号作为其习题标识，由于标识与习题数据之间是唯一对应的关系，因此理论上知道了习题标识就能确定出其对应的习题数据，从而可以实现对习题数据的准确识别。但实际应用中发现，由于拍摄角度光线等因素问题，会使得拍摄的习题图像的质量无法得到保障，因此识别出来的习题标识也不是一定准确的，因此本发明实施例中并未仅将习题标识作为匹配筛选的条件，而是将其作为条件之一，以增加筛选的准确性。

具体而言，本发明实施例中不对具体使用的字符识别算法进行限定，可由技术人员根据需求自行选取，但由于习题标识本身也是字符构成的，因此在得到字符识别结果之后，本发明实施例中还需要将习题标识与文字内容区分开来。为了实现对两种的准确区分，本发明实施例中会预先设定好习题标识的格式以及与文字内容的位置关系，如可以设置习题标识为6位的数字，且位置在文字内容最前方，在得到字符识别结果之后，再根据习题标识的格式以及位置，来将字符识别结果划分为习题标识和文字内容。

S103，基于获取到的用户信息识别出用户在习题数据库中对应的第一习题数据集合，习题数据库中包含习题数据以及与习题数据唯一对应的习题标识。

考虑到实际的习题数据库包含的习题数据量非常大，直接进行全库的习题数据匹配时工作量极大，效率低下且容易匹配出一些与用户完全无关的习题数据，但实际应用中发现，每个用户对习题数据的需求确是相对有限且具有一定规律的，例如中学生一般搜的都是中学阶段的习题，大学生搜的一般都是大学阶段的习题。因此，为了减小对习题数据匹配的工作量，提高匹配的效率以及准确率，本发明实施例会预先对用户和习题数据进行分类对应，如可以先将用户分为小学、中学、大学以及研究生4个类型，并将习题数据库中的习题数据按照实际情况划分为对应的4个类型，分类为4个对应的习题数据集合，并在进行数据匹配时，根据用户的用户信息确定出其对应的习题数据集合，并以该习题数据集合作为此次匹配的数据源，如用户信息中记录用户为中学生时，直接将对应的中学阶段习题数据集合作为匹配的数据源，从而大大减小了匹配的工作量，同时由于该习题数据集合中都是与用户实际需求密切相关的习题数据，因此匹配出来的习题数据符合用户实际需求的可能性更大，准确率更高。

S104，基于习题标识、文字内容以及附图区域图像对第一习题数据集合内的习题数据进行匹配，得到习题图像对应的匹配结果。

在确定出习题标识、文字内容以及附图区域图像3个维度的筛选条件，以及对应匹配的习题数据集合之后，本发明实施例再基于这3个筛选条件对习题数据集合中的习题数据进行匹配，确定出同时满足的习题数据即可。

其中，由于拍摄角度光线等因素等问题，使得得到的3个筛选条件本身的可靠性难以确定，因此，为了尽可能地保障最终输出给用户的匹配结果中能够包含实际习题图像中的习题，保障匹配的准确性，本发明实施例在进行筛选条件匹配时，每个条件对应的匹配度阈值不宜设置的过高，优选地可以设置为70％，并在有多条习题数据满足匹配度阈值要求时，根据每条习题数据的匹配度进行优先排序并保留一定数量的习题数据即可得到最终的匹配结果。

本发明实施例中，一方面基于用户的实际情况确定出用户在习题数据库中对应的习题数据集合，仅对习题数据集合内的习题数据进行匹配，极大地减小了匹配的工作量提高了拍照搜题的效率，另一方面通过对习题图像进行图像分割和字符识别，确定出习题图像中习题的习题标识、文字内容以及附图区域图像，并基于习题标识、文字内容以及附图区域图像三个维度筛选条件，同时进行习题数据集合内的习题数据匹配识别，相对仅根据习题的文字内容进行匹配而言，能极大地提高匹配的精度和效率，因此本发明实施例能够实现高效准确的拍照搜题。

作为本发明实施例一种对文字图像区域的文字内容进行识别的一种具体实现方式，考虑到现有技术中单独对文字或者单独对数学公式进行图像识别的算法都较多，且准确率也较高，但未有直接对包含文字以及数学公式内容的图像进行准确识别的算法，因此，为了保证在习题文字内容中包含数学公式时的准确识别，以提高对习题图像识别的准确率和后续匹配的准确率，如图2所示，本发明实施例二，包括：

S201，对文字区域图像进行字符识别，得到其中包含的文字内容，并检测文字内容中是否包含数学公式。

S202，若文字内容包含数学公式，对文字区域图像进行图像分割，提取出其中数学公式对应的公式图像。

在本发明实施例中，为了实现对包含数学公式的文字内容的准确识别，首先对文字区域图像进行了整体的字符识别，得到初步的文字内容识别结果，但由于直接进行字符识别时数学公式识别会出现乱码的现象，因此在得到初步识别结果之后，还会进一步地对初步识别结果进行乱码后的数学公式的识别，确定出数学公式在初步识别结果中的位置，再根据在初步识别结果中的位置确定出其在习题图像中对应的图像区域，即可实现对公式图像的确定和提取。其中，具体的对乱码数学公式的识别方法此处不予限定，可有技术人员根据自行设定，包括但不限于如利用一些现有的乱码检测工具来进行乱码检测，或者根据技术人员自定义的一些乱码字符串检测规则来进行乱码检测。

S203，对公式图像进行数学公式识别，并基于识别得到的数学公式内容对文字内容进行更新。

在确定出包含数学公式的公示图像之后，本发明实施例再对公式图像进行数学公式识别，以确定出其中包含的具体公式内容，并在确定出具体公式内容之后，将初步识别得到的文字内容中数学公式对应的乱码部分替换为给具体公式内容，即可实现对初步识别结果的更新，保证文字内容识别的准确性。其中，考虑到具体对数学公式的图像识别方法并非本发明的发明点所在，同时现有技术中已有较多成熟可用的算法，因此本发明实施例中并未对具体的数学公式图像识别算法进行限定，具体可由技术人员自行选定。

作为本发明实施例二中对初步识别结果中包含的乱码字符串的数学公式识别的一种具体实现方式，考虑到现有的乱码识别算法难以结合实际的数学公式识别乱码情况进行处理，因此对数据公式乱码字符串识别的效果并不理想，而实际应用中发现，数学公式字符识别后产生的乱码字符串虽然具体包含的字符内容是无规律的，但其确实有一定格式规律的，因此，为了实现对乱码后的数学公式的准确识别，如图3所示，本发明实施例三，包括：

S301，对文字内容进行语义纠错分析。

实际应用中发现，在对数学公式进行字符识别时，出现的乱码字符串都是ASCII码表中无规则的字符组合，一般不会出现汉字乱码，但另一方面，考虑到在进行字符识别时由于光线、拍摄角度以及选用的识别算法等因素的影响，得到的非数学公式的文字内容中也可能会出现误识别，特别是对于英文单词而言，极可能会出现部分字母出错的情况，如“Administrator”被误识别为“Adninistrator”，而因为字母又属于ASCII码表中字符，因此若直接按照“乱码字符串都是ASCII码表中无规则的字符组合”这一条件进行筛选，可能会将这些误识别的英文单词，错误认定为是数学公式的乱码字符串。因此为了保证对数学公式的乱码字符串的准确识别，本发明实施例在得到初步识别的文字内容结果之后，首先会对其进行语义纠错分析，纠正其中存在的一些文字单词错误，再对纠错后的文字内容进行数学公式乱码字符串的进一步识别。其中，具体的语义纠错分析算法可由技术人员根据实际需求进行设定，既可以是现有的一些语义纠错算法，也可以是技术人员自行设计的算法，此处不予限定。

S302，检测语义纠错后的文字内容中是否包含特殊字符串，特殊字符串为字符均属于ASCII码表、字符总数量大于或等于N，且包含的预设种类字符的数量占其字符总数量比值大于预设阈值的字符串，其中，N为大于3的正整数。

在完成对初步识别的文字内容的语义纠错后，开始对其中没有确切语义的字符串进行数学公式对应的乱码字符串的识别。考虑到实际情况中，除了普通英文单词误识别可能导致数学公式的乱码字符串错误识别以外，还有可能会出现自定义的多个单词的缩写，如“The United States of America”一般缩写为“USA”，但也可能会被自定义缩写为“TUSOA”，由于自定义的缩写无法被语义识别和纠错，即无法识别确切的语义，且也是属于英文字母组成的长字符串，因此即使在语义纠错之后也极有可能被错误识别为数学公式的乱码字符串，因此本发明实施例需要同时防止对普通英文单词和自定义英文缩写的误识别。

实际应用中发现，字母识别错误时一般错误的结果还是字母(这里是字符识别出错而非乱码)，但数学公式不同，由于其中必定包含着数学符号，而对数学符号识别的乱码结果一般都是ASCII码表中的一些如“$”“&”等特殊符号，因此，为了将对英文单词和自定义英文缩写与数学公式的乱码结果区分开来，本发明实施例中设置了一个预设种类字符的数量与乱码字符串字符总数量比值的阈值，被识别的乱码字符串必须是包含一定比例的预设种类字符的字符串，才能被认定为为本发明实施例中的特殊字符串(即数学公式的乱码字符串)。其中预设种类字符是指ASCII码表内除英文字母以为的字符。其中预设阈值的具体值大小可由技术人员根据需求自行设定，优选地，可设置为10％。

最后，考虑到一个数学公式中包含的字符数一般不会少于4个，因此本发明实施例中还对乱码字符串的最小字符数量进行限定，以提升对乱码字符串识别的准确率，其中N的具体值可由技术人员自行设定，优选地，考虑到一些简单的数学公式字符数可能较少，因此，N可以设置为4。

S303，若语义纠错后的文字内容中包含特殊字符串，判定文字内容中包含数学公式。

若语义纠错后的文字内容中存在同时满足上述三个条件的字符串，则说明该字符串极大可能是数学公式字符识别后得到的乱码字符串，因此说明该文字内容中包含数学公式。

作为本发明实施例四，考虑到本发明实施例一中是针对用户所属类型对应的习题数据集合来进行习题数据匹配的，由于对用户的分类和习题数据的分类无法保证绝对的准确，且有时候用户所需搜索的习题数据也可能不是其原本对应的习题数据集合，例如大学用户有时也可能需要搜索中学的习题数据，因此仅对用户原始对应的习题数据集合进行习题数据的匹配有时难以保证得到的匹配结果的准确性，为了保证最终匹配的准确性，如图4所示，包括：

S401，若匹配结果中包含的习题数据条数小于预设数量阈值，基于用户信息确定出用户在习题数据库中的第二习题数据集合，第二习题数据集合包含第一习题数据集合。

S402，基于习题标识、文字内容以及附图区域图像，对第二习题数据集合内的习题数据进行匹配，确定出习题图像对应的匹配结果。

本发明实施例中为匹配结果包含的习题数据条数设置一个数量阈值，如可以设置为6条，并设置最终匹配输出的习题数据条数应当不小于该数量阈值，若小于则说明查找的习题数据集合内满足习题图像要求的习题数据较少，极有可能是出现了上述由于分类不准确或者用户需求不同的情况，此时本发明实施例会扩大习题数据搜索的范围，即会重新为用户确定一个习题数据集合，且这个习题数据集合内的习题数据包括了上次匹配的习题数据集合的习题数据，如上述例子中，假设将用户分为小学、中学、大学以及研究生4个类型，并将习题数据库中的习题数据按照实际情况划分为对应的4个类型，分类为4个对应的习题数据集合，假设在本发明实施例一根据用户信息确认出用户是中学生，对应的是中学阶段的习题数据集合，此时若匹配出的习题数据条数小于数量阈值，会将该习题数据集合由中学阶段扩大至中学阶段+小学阶段/大学阶段，再进行进一步地匹配。

由于每个习题数据库所包含的习题数据始终是有限的，有时可能会出现用户所需的习题确实不在习题数据库的情况，此时无论如何逐步扩大匹配范围，最终得到的匹配结果的习题数据条数都会小于数量阈值，因此，本发明实施例中，若在将习题数据集合扩增至整个习题数据库大小时得到的匹配结果习题数据条数仍小于数量阈值，则以最终匹配结果为准进行输出。

作为本发明实施例一和本发明实施例四基于习题标识、文字内容以及附图区域图像进行习题数据集合的匹配的一种具体实现方式，如图5所示，本发明实施例五，包括：

S501，利用附图区域图像对习题数据集合内习题数据的习题附图进行图像匹配，确定出匹配成功的第一习题数据集。

S502，基于习题标识对第一习题数据集中习题数据对应的习题标识进行匹配，确定出匹配成功的第二习题数据集。

S503，基于文字内容对第一习题数据集中习题数据的文字内容进行字符匹配，确定出匹配成功的第三习题数据集。

S504，对第二习题数据集和第三习题数据集中的习题数据取交集，得到习题图像对应的匹配结果。

考虑到实际情况中，并非所有的习题数据都具有附图，因此通过先进行附图的图像匹配一轮筛选，可以极大地缩小后续习题数据匹配的数据量，提升匹配的效率。在一轮匹配筛选之后，再进行习题标识和文字内容的分别匹配，并取匹配结果的交集，从而保证了最终得到的匹配结果是同时满足3个筛选条件的习题数据，保证了匹配的准确性。

应当说明地，本发明实施例五仅是利用3个筛选条件进行匹配的一种可选实施方式，同样的，技术人员也可根据自己的需求进行其他实施方式的选取设定，如对3个筛选条件分别进行习题数据集合的筛选，再取三个筛选结果的交集即可。

作为本发明实施例六，考虑到实际情况中，用户直接拍摄的原始图像内可能会包含不止一个习题的图像，如拍摄的原始图像内包含了出一道完整的习题以外，还有半道不完整的习题，而上述本发明实施例在进行习题识别匹配的时候，都是针对单道习题进行处理的，因此就需要对原始图像进行裁剪，提取出其中包含的完整的习题图像，如图6所示，包括：

S601，对获取到的原始图像进行习题标识识别。

S602，基于识别出的习题标识在原始图像中的图像位置对原始图像进行裁剪，得到习题图像。

由于在本发明实施例中，习题标识都是具有一定格式且与习题文字内容相对位置固定的字符，因此本发明实施例中利用每道习题的习题标识来进行习题与习题之间的划分，如假设习题标识设置是位于文字内容之首的6位数字编号，此时通过识别出原始图像中包含的所有习题标识，即可确定出其具体包含的习题数量以及每道习题在原始图像的位置，如当习题标识是文字内容之首时，每个习题标识的所在行字符，即为该道习题的上限分界线，而其下一道习题的上限分界线，则为该道习题的下限分界线，通过两个分界线即可将每道习题的习题图像划分出来。

在确定出每一道习题对应的习题图像之后，再从中确定出最靠近原始图像中心且包含的习题完整的习题图像，即可得到本发明实施例一至五所需的习题图像。

在本发明实施例中，一方面基于用户的实际情况确定出用户在习题数据库中对应的习题数据集合，仅对习题数据集合内的习题数据进行匹配，极大地减小了匹配的工作量提高了拍照搜题的效率，且会在匹配结果不满足数量阈值要求时逐步扩大匹配的习题数据集合，已在提高搜题效率的同时，保证匹配结果的准确率。另一方面通过对习题图像进行图像分割和字符识别，确定出习题图像中习题的习题标识、文字内容以及附图区域图像，并基于习题标识、文字内容以及附图区域图像三部分内容，同时进行习题数据集合内的习题数据匹配识别，相对仅根据习题的文字内容进行匹配而言，能极大地提高匹配的精度和效率，且考虑到习题的文字内容中可能会包含无法正常字符识别的数学公式，为了实现对数学公式的自动准确识别，本发明实施例会在得到字符识别的文字内容之后，再进一步地对其进行数学公式乱码字符串的识别，并进行数学公式图像的提取和识别，最后根据识别出的数学公式对原文字内容进行更新，从而保证了对包含数学公式的文字内容的准确有效识别。综上可知，本发明实施例能够实现高效准确的拍照搜题。

对应于上文实施例的方法，图7示出了本发明实施例提供的习题图像的匹配识别装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。图7示例的习题图像的匹配识别装置可以是前述实施例一提供的习题图像的匹配识别方法的执行主体。

参照图7，该习题图像的匹配识别装置包括：

图像分割模块71，用于对习题图像进行图像分割，得到文字区域图像以及附图区域图像。

字符识别模块72，用于对所述文字区域图像进行字符识别，得到包含的习题标识以及文字内容。

集合确定模块73，用于基于获取到的用户信息识别出用户在习题数据库中对应的第一习题数据集合，所述习题数据库中包含习题数据以及与习题数据唯一对应的习题标识。

数据匹配模块74，用于基于所述习题标识、所述文字内容以及所述附图区域图像对所述第一习题数据集合内的习题数据进行匹配，得到所述习题图像对应的匹配结果。

进一步地，字符识别模块72，包括：

公式检测模块，用于对所述文字区域图像进行字符识别，得到其中包含的所述文字内容，并检测所述文字内容中是否包含数学公式。

图像提取模块，用于若所述文字内容包含数学公式，对所述文字区域图像进行图像分割，提取出其中所述数学公式对应的公式图像。

公式识别模块，用于对所述公式图像进行数学公式识别，并基于识别得到的数学公式内容对所述文字内容进行更新。

进一步地，公式检测模块，包括：

对所述文字内容进行语义纠错分析。

检测语义纠错后的所述文字内容中是否包含特殊字符串，所述特殊字符串为字符均属于ASCII码表、字符总数量大于或等于N，且包含的预设种类字符的数量占其字符总数量比值大于预设阈值的字符串，其中，N为大于3的正整数。

若语义纠错后的所述文字内容中包含所述特殊字符串，判定所述文字内容中包含数学公式。

进一步地，该习题图像的匹配识别装置，还包括：

若所述匹配结果中包含的习题数据条数小于预设数量阈值，基于所述用户信息确定出所述用户在所述习题数据库中的第二习题数据集合，所述第二习题数据集合包含所述第一习题数据集合。

基于所述习题标识、所述文字内容以及所述附图区域图像，对所述第二习题数据集合内的习题数据进行匹配，确定出所述习题图像对应的匹配结果。

进一步地，数据匹配模块74，包括：

利用所述附图区域图像对习题数据集合内习题数据的习题附图进行图像匹配，确定出匹配成功的第一习题数据集。

基于所述习题标识对所述第一习题数据集中习题数据对应的习题标识进行匹配，确定出匹配成功的第二习题数据集。

基于所述文字内容对所述第一习题数据集中习题数据的文字内容进行字符匹配，确定出匹配成功的第三习题数据集。

对所述第二习题数据集和所述第三习题数据集中的习题数据取交集，得到所述习题图像对应的匹配结果。

进一步地，该习题图像的匹配识别装置，还包括：

对获取到的原始图像进行习题标识识别。

基于识别出的所述习题标识在所述原始图像中的图像位置对所述原始图像进行裁剪，得到所述习题图像。

本发明实施例提供的习题图像的匹配识别装置中各模块实现各自功能的过程，具体可参考前述图1所示实施例一的描述，此处不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本发明实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一表格可以被命名为第二表格，并且类似地，第二表格可以被命名为第一表格，而不背离各种所描述的实施例的范围。第一表格和第二表格都是表格，但是它们不是同一表格。

图8是本发明一实施例提供的终端设备的示意图。如图8所示，该实施例的终端设备8包括：处理器80、存储器81，所述存储器81中存储有可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个习题图像的匹配识别方法实施例中的步骤，例如图1所示的步骤101至104。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块71至74的功能。

所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。

所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经发送或者将要发送的数据。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种习题图像的匹配识别方法，其特征在于，包括：

对习题图像进行图像分割，得到文字区域图像以及附图区域图像；

对所述文字区域图像进行字符识别，得到包含的习题标识以及文字内容；

基于获取到的用户信息识别出用户在习题数据库中对应的第一习题数据集合，所述习题数据库中包含习题数据以及与习题数据唯一对应的习题标识；

基于所述习题标识、所述文字内容以及所述附图区域图像对所述第一习题数据集合内的习题数据进行匹配，得到所述习题图像对应的匹配结果。

2.如权利要求1所述的习题图像的匹配识别方法，其特征在于，所述对所述文字区域图像进行字符识别，得到包含的习题标识以及文字内容，包括：

对所述文字区域图像进行字符识别，得到其中包含的所述文字内容，并检测所述文字内容中是否包含数学公式；

若所述文字内容包含数学公式，对所述文字区域图像进行图像分割，提取出其中所述数学公式对应的公式图像；

对所述公式图像进行数学公式识别，并基于识别得到的数学公式内容对所述文字内容进行更新。

3.如权利要求2所述的习题图像的匹配识别方法，其特征在于，所述检测所述文字内容中是否包含数学公式，包括：

对所述文字内容进行语义纠错分析；

检测语义纠错后的所述文字内容中是否包含特殊字符串，所述特殊字符串为字符均属于ASCII码表、字符总数量大于或等于N，且包含的预设种类字符的数量占其字符总数量比值大于预设阈值的字符串，其中，N为大于3的正整数；

若语义纠错后的所述文字内容中包含所述特殊字符串，判定所述文字内容中包含数学公式。

4.如权利要求1所述的习题图像的匹配识别方法，其特征在于，在所述基于所述习题标识、所述文字内容以及所述附图区域图像对所述第一习题数据集合内的习题数据进行匹配，得到所述习题图像对应的匹配结果之后，包括：

若所述匹配结果中包含的习题数据条数小于预设数量阈值，基于所述用户信息确定出所述用户在所述习题数据库中的第二习题数据集合，所述第二习题数据集合包含所述第一习题数据集合；

基于所述习题标识、所述文字内容以及所述附图区域图像，对所述第二习题数据集合内的习题数据进行匹配，确定出所述习题图像对应的匹配结果。

5.如权利要求1或4所述的习题图像的匹配识别方法，其特征在于，基于所述习题标识、所述文字内容以及所述附图区域图像，对习题数据集合内的习题数据进行匹配得到匹配结果的过程，包含：

利用所述附图区域图像对习题数据集合内习题数据的习题附图进行图像匹配，确定出匹配成功的第一习题数据集；

基于所述习题标识对所述第一习题数据集中习题数据对应的习题标识进行匹配，确定出匹配成功的第二习题数据集；

基于所述文字内容对所述第一习题数据集中习题数据的文字内容进行字符匹配，确定出匹配成功的第三习题数据集；

对所述第二习题数据集和所述第三习题数据集中的习题数据取交集，得到所述习题图像对应的匹配结果。

6.如权利要求1所述的习题图像的匹配识别方法，其特征在于，在所述对习题图像进行图像分割之前，还包括：

对获取到的原始图像进行习题标识识别；

基于识别出的所述习题标识在所述原始图像中的图像位置对所述原始图像进行裁剪，得到所述习题图像。

7.一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

对习题图像进行图像分割，得到文字区域图像以及附图区域图像；

对所述文字区域图像进行字符识别，得到包含的习题标识以及文字内容；

基于获取到的用户信息识别出用户在习题数据库中对应的第一习题数据集合，所述习题数据库中包含习题数据以及与习题数据唯一对应的习题标识；

基于所述习题标识、所述文字内容以及所述附图区域图像对所述第一习题数据集合内的习题数据进行匹配，得到所述习题图像对应的匹配结果。

8.如权利要求7所述的终端设备，其特征在于，所述对所述文字区域图像进行字符识别，得到包含的习题标识以及文字内容，包括：

对所述文字区域图像进行字符识别，得到其中包含的所述文字内容，并检测所述文字内容中是否包含数学公式；

若所述文字内容包含数学公式，对所述文字区域图像进行图像分割，提取出其中所述数学公式对应的公式图像；

对所述公式图像进行数学公式识别，并基于识别得到的数学公式内容对所述文字内容进行更新。

9.如权利要求7所述的终端设备，其特征在于，所述处理器执行所述计算机程序时还实现如下步骤：

若所述匹配结果中包含的习题数据条数小于预设数量阈值，基于所述用户信息确定出所述用户在所述习题数据库中的第二习题数据集合，所述第二习题数据集合包含所述第一习题数据集合；

基于所述习题标识、所述文字内容以及所述附图区域图像，对所述第二习题数据集合内的习题数据进行匹配，确定出所述习题图像对应的匹配结果。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。