CN113239908B - 一种题目处理方法、装置、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种题目处理方法、装置、设备及介质，其中该方法包括：获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；确定各连线对象在目标图像中的对象图像，并将各连线对象的对象图像输入特征提取模型中，得到各连线对象的目标特征，其中，特征提取模型包括特征编码器和特征处理模型；基于各连线对象的目标特征之间的距离确定连线题的当前连线对应关系；基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果。采用上述技术方案，提升了确定当前连线对应关系以及判题结果的准确性，由于特征提取模型相较于相关技术处理速度更快，不仅能够实现各种类型的连线题的批改，还提升了处理效率。

Description

一种题目处理方法、装置、设备及介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种题目处理方法、装置、设备及介质。

背景技术

随着人工智能技术的快速发展，越来越多地被应用在教育行业。拍照判题是人工智能技术在教育领域的一项重要应用。

连线题是一种较为特殊的题目，语义复杂、作答多样化并且无法通过逻辑规则进行判断。现阶段对连线题的判题在准确性和效率上不能满足要求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种题目处理方法、装置、设备及介质。

本公开实施例提供了一种题目处理方法，所述方法包括：

获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

确定各所述连线对象在所述目标图像中的对象图像，并将各所述连线对象的对象图像输入特征提取模型中，得到各所述连线对象的目标特征，其中，所述特征提取模型包括特征编码器和特征处理模型；

基于各所述连线对象的目标特征确定各所述连线对象之间的相似度，并基于所述相似度确定所述连线题的当前连线对应关系；

基于所述当前连线对应关系与所述连线题的标准连线对应关系的对比结果，确定所述连线题的判题结果。

本公开实施例还提供了一种题目处理装置，所述装置包括：

图像获取模块，用于获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

特征提取模块，用于确定各所述连线对象在所述目标图像中的对象图像，并将各所述连线对象的对象图像输入特征提取模型中，得到各所述连线对象的目标特征，其中，所述特征提取模型包括特征编码器和特征处理模型；

连线关系模块，用于基于各所述连线对象的目标特征确定各所述连线对象之间的相似度，并基于所述相似度确定所述连线题的当前连线对应关系；

判题模块，用于基于所述当前连线对应关系与所述连线题的标准连线对应关系的对比结果，确定所述连线题的判题结果。

本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的题目处理方法。

本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的题目处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的题目处理方案，获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；确定各连线对象在目标图像中的对象图像，并将各连线对象的对象图像输入特征提取模型中，得到各连线对象的目标特征，其中，特征提取模型包括特征编码器和特征处理模型；基于各连线对象的目标特征确定各连线对象之间的相似度，并基于相似度确定连线题的当前连线对应关系；基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果。采用上述技术方案，由于特征提取模型由编码器和处理模型组成，使得对连线题中连线对象的特征提取更加精确，进而提升了确定当前连线对应关系以及判题结果的准确性，并且由于特征提取模型相较于相关技术处理速度更快，不仅能够实现各种类型的连线题的批改，还提升了处理效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种题目处理方法的流程示意图；

图2为本公开实施例提供的一种连线题的示意图；

图3为本公开实施例提供的另一种连线题的示意图；

图4为本公开实施例提供的另一种题目处理方法的流程示意图；

图5为本公开实施例提供的一种连线题检测的示意图；

图6为本公开实施例提供的一种题目处理装置的结构示意图；

图7为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

拍照判题是人工智能技术在教育领域的一项重要应用，具体过程可以包括：采用手机或平板电脑等终端设备进行拍照，然后上传至拍照判题的应用程序，接着应用程序将图像送入题型判断模型，题型判断模型是一种文本检测模型，它会检测横式、竖式和脱式三种题型并将它们用文本框框起来，也就是拿到文本区域坐标。题型判断模型也称为版面分析模型和文本行检测模型，文本行检测模型只检测横向文本行；然后会根据版面分析模型和文本行检测模型的检测结果进行版面分析，对框进行合并，同时根据每种题型的特点，分析得到每个题是由那些框组成的，然后根据框的坐标在原图上进行裁剪，将裁剪得到的图像送入识别模型，得到每个题目的内容，然后根据题目内容进行判题，最后将判断结果进行输出。

上述方案，在理想情况下版面分析模型、文本行检测模型和识别模型的结果都非常准确，那么最后通过判题策略得到的判题结果也会相当准确。但是实际情况是，上述的拍照判题流程前三个环节，每个环节的结果都不是非常准确，这导致最终的判题结果会出现错判对或者对判错的问题，也就是判题准确率比较低，尽管如此，目前也尚能满足用户需求。但上述方案，只能处理一些常规的且是逻辑可批改的题型，如横式、竖式和脱式等，无法处理一些逻辑可批改的特殊题型例如“树状计算”、“珠心算”等等；同时，也无法处理一些常规的语义信息上具有较强依赖并且无法通过逻辑规则计算出答案的题目，例如选择题、填空题、应用题等，更无法处理连线题和做图题这种语义复杂、作答多样化的题目。

假设连线题中参与连线的点称为节点，现阶段找到连线题中节点之间的连接关系是对连线题的处理中的关键点，但是连线题中由于用户作答各式各样以及拍照判题过程中图像上传时加入的各种噪声使得很难通过检测或者形态学图像处理的方法准确地找到节点之间的对应关系。在相关技术中，可以通过检测模型对连线题进行检测确定节点的特征，进而根据节点的特征确定上述节点之间的连接关系，但是由于每个节点可能是汉字、数字或图像，针对汉字和数字需要先使用文字识别模型识别，而对于图像则需要先使用图像识别模型识别，然后在使用自然语言处理方法（如Glove、Word2vec等）进行编码，如此往往费时费力，节点特征的确定在准确性和效率上较低，进而使得对连线题的判题在准确性和效率上不能满足要求。为了解决上述问题，本公开实施例提供了一种题目处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的一种题目处理方法的流程示意图，该方法可以由题目处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：

步骤101、获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象。

其中，连线题是一种需要通过连线建立对应关系的题目，连线对象是指连线题中连线的对象，连线对象的类型可以包括多种，例如连线对象可以包括数字、文字和图像等，文字对语言不限，文字可以包括汉子和英文字母等，具体不限。

示例性的，图2为本公开实施例提供的一种连线题的示意图，图3为本公开实施例提供的另一种连线题的示意图，图2和图3中分别表征了两种类型的连线题。如图2所示，图中的连线题中可以包括10个连线对象，每个矩形框中的算式表征一个连线对象，该连线题是一种数值可计算的类型，可以根据运算法则进行计算。如图3所示，图中的连线题中可以包括6个连线对象，每个矩形框中的数字或文字表征一个连线对象，该连线题是一种语义强相关的类型。

本公开实施例中，题目处理装置可以获取目标图像，目标图像可以为任意一个需要进行判题并且包括至少一个连线题的图像，目标图像的来源不限，例如目标图像可以为用户实时拍摄得到的图像，也可以为从互联网上下载得到的图像。

步骤102、确定各连线对象在目标图像中的对象图像，并将各连线对象的对象图像输入特征提取模型中，得到各连线对象的目标特征，其中，特征提取模型包括特征编码器和特征处理模型。

其中，对象图像是指连线对象在目标图像中所占用的区域图像。连线对象的目标特征可以为能够表征连线对象的特征，具体可以根据连线对象在目标图像中对象图像进行确定。

特征提取模型可以理解为预先训练好的用于确定连线对象的特征的深度学习模型，本公开实施例中特征提取模型可以包括特征编码器和特征处理模型，特征编码器可以为变分自编码器（Variational Auto-Encoder，VAE）模型中的编码器。VAE模型是一种重要的生成式模型，它由编码器和解码器两部分组成，通常以对数似然的下确界作为优化目标，因此VAE模型的损失函数一般由重构损失和交叉熵损失两部分组成。VAE模型可以将输入通过编码器进行编码，然后将编码输入解码器，用于还原输入，在多数情况下，还原出的图像与原图像极为相近，VAE模型相比于其他的生成式模型，VAE模型的训练更稳定，而且速度更快。特征处理模型可以为用于对特征编码器得到的特征进行进一步降维和关联计算等处理的深度学习模型，特征处理模型可以基于图卷积神经网络建立。

本公开实施例中，确定各连线对象在目标图像中的对象图像，包括：采用版面检测模型中对目标图像进行检测，确定各连线对象的位置信息；根据各连线对象的位置信息在目标图像中截取各连线对象的对象图像。

其中，版面检测模型是指预先训练好的用于对图像中的连线题进行检测的深度学习模型。本公开实施例中，版面检测模型可以包括两个分支检测模型，具体包括第一分支检测模型和第二分支检测模型，每个分支检测模型的作用不同，第一分支检测模型可以用于实现版面分析，检测整体的版面大框，也即将整个连线题从目标图像中框选起来；第二分支检测模型又称文本行检测模型，用于检测图像中的文本区域，采用矩形检测框将各个文本区域框出，并确定各个文本区域的位置，也即将连线题中的连线对象框选出来，并确定其位置。上述两个分支检测模型在训练过程中使用的损失（Loss）函数和训练方式可以相同，也可以不同。

具体的，获取到目标图像之后，可以采用版面检测模型中的第一分支检测模型对目标图像进行检测，确定目标图中连线题的整体区域，之后可以对连线题的整体区域采用第二分支检测模型进行检测，确定连线题中各连线对象的位置信息，根据该位置信息将其在目标图像中的矩形检测框的图像截取出来，可以得到各连线对象的对象图像。

本公开实施例中，将各连线对象的对象图像输入特征提取模型中，得到各连线对象的目标特征，包括：将各连线对象的对象图像输入特征编码器中，得到各连线对象的第一特征向量；将各连线对象的第一特征向量输入特征处理模型中，得到各连线对象的第二特征向量，将第二特征向量确定为目标特征，其中，第二特征向量的维度小于第一特征向量的维度。

确定各连线对象的对象图像之后，可以将其输入特征编码器中，得到每个连线对象的第一特征向量，第一特征向量的维度较高；之后可以将各连线对象的第一特征向量输入预先训练好的特征处理模型中，可以得到各连线对象降维之后的第二特征向量，也即得到各连线对象的目标特征。

步骤103、基于各连线对象的目标特征确定各连线对象之间的相似度，并基于相似度确定连线题的当前连线对应关系。

其中，各连线对象的之间的相似度可以理解为用于表征各连线对象的之间相似性的度量值，具体不限，例如可以采用各连线对象的特征的欧式距离或余弦距离来表征。当前连线对应关系是指目标图像中当前连线题中各连线对象之间通过连线形式表征的对应关系。如图2和图3中两两连线对象可以建立连线，例如图2中“2+2”与“3+1”建立连线，图3中“小军”和“3”建立连线，图2和图3中每个连线的对应关系的组合即为该连线题的连线对应关系。

本公开实施例中，基于各连线对象的目标特征确定各连线对象之间的相似度，可以包括：将各连线对象的目标特征之间的欧式距离或余弦距离，确定为各连线对象之间的相似度。可选的，基于相似度确定连线题的当前连线对应关系，包括：针对每个连线对象，将与其相似度最大的连线对象确定为具有对应关系的连线对象，将各连线对象之间的对应关系确定为连线题的当前连线对应关系。

分别确定每两个连线对象的目标特征之间的相似度，针对每个连线对象，可以将与其相似度最大的另一个连线对象确定为建立连线的连线对象，也即上述两个连线对象之间具有对应关系，采用上述方式确定各连线对象之间的对应关系，进而可以确定连线题的当前连线对应关系。由于相似度可以采用欧式距离或余弦距离表征，并且欧式距离和余弦距离均与相似度成反比，也即欧式距离或余弦距离越小相似度越大，可以针对每个连线对象将与其欧式距离或余弦距离最小的连线对象确定为建立连线的连线对象。可以理解的是，上述采用欧式距离或余弦距离表征相似度仅为示例，而不是唯一限定。

步骤104、基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果。

其中，标准连线对应关系可以为预先建立的连线题的正确连线对应关系。判题结果是指对目标图像中的连线题的批改结果，具体可以包括正确和错误两种结果。

本公开实施例中，基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果，可以包括：将目标图像的连线题在连线题库中进行匹配，确定对应的标准连线对应关系；将当前连线对应关系与标准连线对应关系进行对比，如果对比结果为相同，则连线题的判题结果为正确；否则，连线题的判题结果为错误。

连线题库中可以包括预先建立的包括多个已标注正确连线对应关系的连线题，可以预先通过人工标注建立得到。具体的，将目标图像的连线题在连线题库中进行匹配，具体可以通过将图像匹配或文字匹配的方式进行匹配，将连线题库中匹配度大于或等于匹配度阈值的连线题确定为目标连线题，该目标连线题的连线对象关系为标准连线对应关系。上述匹配度阈值可以根据实际需要设置，具体不限。之后可以将当前连线对应关系与标准连线对应关系进行对比，如果对比结案为上述当前连线对应关系与标准连线对应关系相同，则连线题的判题结果为正确，如果对比结案为上述当前连线对应关系与标准连线对应关系不同，则连线题的判题结果为错误。

本公开实施例提供的题目处理方案，获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；确定各连线对象在目标图像中的对象图像，并将各连线对象的对象图像输入特征提取模型中，得到各连线对象的目标特征，其中，特征提取模型包括特征编码器和特征处理模型；基于各连线对象的目标特征确定各连线对象之间的相似度，并基于相似度确定连线题的当前连线对应关系；基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果。采用上述技术方案，由于特征提取模型由编码器和处理模型组成，使得对连线题中连线对象的特征提取更加精确，进而提升了确定当前连线对应关系以及判题结果的准确性，并且由于特征提取模型相较于相关技术处理速度更快，不仅能够实现各种类型的连线题的批改，还提升了处理效率。

在一些实施例中，特征编码器通过以下方法训练获得：获取样本图像中样本连线对象的对象图像，样本图像包括已标注样本连线对应关系的样本连线题，样本连线题包括多个样本连线对象；将样本连线对象的对象图像作为输入和输出，对变分自编码器模型进行训练，得到训练完成的变分自编码器模型，并将训练完成的变分自编码器模型中的编码器作为特征编码器。

其中，样本图像可以为已经对包括的样本连线题标注其样本连线对象和样本连线对应关系的图像，样本图像的数量不作限定。具体的，题目处理装置可以获取样本图像，并采用版面检测模型对样本图像进行检测，确定样本连线题的各样本连线对象的位置信息，进而从样本图像中截取得到样本连线对象的对象图像；之后可以将样本连线对象的对象图像作为输入和输出，对变分自编码器模型进行训练，得到训练完成的变分自编码器模型，进而可以将训练完成的变分自编码器模型中的编码器确定为特征编码器。

上述方案中，在VAE模型训练结束后只保留其编码器，输入为图像，输出为其对应的固定维度的特征，由于特征编码器为VAE模型中的编码器，无论输入是文本还是图像都能被有效提取特征，提升了特征提取的准确性和效率，进而提升了后续连线对应关系以及判题结果确定的准确性和效率。

在一些实施例中，特征处理模型通过以下方法训练获得：将样本连线对象的对象图像输入特征编码器中，得到样本连线对象的第一样本特征向量；根据样本连线对应关系构建样本连线对象的第二样本特征向量；将样本连线对象的第一样本特征向量作为输入，样本连线对象的第二样本特征向量作为输出，对图卷积神经网络进行训练，得到特征处理模型。上述第二样本特征向量的维度小于第一样本特征向量的维度。

可选的，根据样本连线对应关系构建样本连线对象的第二样本特征向量，可以包括：对样本连线对象的第一样本特征向量进行降维，得到第三样本特征向量；根据样本连线对应关系将多个样本连线对象进行两两组合，得到多个样本连线对象对；将每个样本连线对中两个样本连线对象的第三样本特征向量的平均值，确定为各样本连线对象对应的第二样本特征向量。样本连线对象对是由样本连线题中具有连线对应关系的两个样本连线对象组成。第二样本特征向量的维度与第三样本特征向量的维度相同。

将样本连线对象的第一样本特征向量进行主成分分析（Principal ComponentAnalysis，PCA）方法进行降维，得到预设维度的第三样本特征向量，预设维度可以根据实际情况确定，例如预设维度可以为3维。之后根据样本连线题的样本连线对应关系可以将多个样本连线对象进行两两组合，得到多个样本连线对象对；对每个样本连线对确定其中包括的两个样本连线对象的第三样本特征向量的平均值，将该平均值确定为上述两个样本连线对象的第二样本特征向量。

将样本连线对象的维度较高的第一样本特征向量作为输入，样本连线对象的维度较低的第二样本特征向量作为输出，对图卷积神经网络进行训练，在训练过程中可以使用均方误差损失函数进行训练，得到损失函数满足要求的图卷积神经网络为上述特征处理模型。图卷积神经网络可以包括预设数量的卷积层，预设数量可以根据需要进行设置，例如图卷积神经网络可以包括8层的卷积层。

上述方案中，在对目标图像中的连线题进行判题之前，可以训练得到特征提取模型中的特征编码器和特征处理模型，进而可以在后续判题过程中使用，提升了后续处理的效率。

图4为本公开实施例提供的另一种题目处理方法的流程示意图，本实施例在上述实施例的基础上，进一步优化了上述题目处理方法。如图4所示，该方法包括：

步骤201、获取包括至少一个连线题的目标图像。

其中，连线题包括多个连线对象。

步骤201之后，可以执行步骤202-步骤205，步骤202-步骤203用于确定各连线对象在目标图像中的对象图像，步骤204-步骤205用于将各连线对象的对象图像输入特征提取模型中，得到各连线对象的目标特征。其中，特征提取模型包括特征编码器和特征处理模型。

步骤202、采用版面检测模型中对目标图像进行检测，确定各连线对象的位置信息。

本方案中可以采用一个版面检测模型实现版面分析和文本行检测，例如使用CenterNet模型或者SSD模型，同时在所选择的模型中增加1个检测分支，即所选择的模型一共有2个检测分支，分别为：第一分支检测模型，用于实现版面分析的功能，用于检测目标图像整体的版面大框，示例性的，图5为本公开实施例提供的一种连线题检测的示意图，如图5所示，图中展示了一个目标图像，通过第一分支检测模型将整个连线题从目标图像中整个框选起来，并截取下来形成一个小图，作为待处理图像进行后续处理。第二分支检测模型，用于实现文本行检测，也即用于检测每个文本行（也即文本区域或文本框），如图5中，连线题的题目和连线中每个连线对象均被框选起来，并且检测得到位置信息。

步骤203、根据各连线对象的位置信息在目标图像中截取各连线对象的对象图像。

步骤204、将各连线对象的对象图像输入特征编码器中，得到各连线对象的第一特征向量。

可选的，特征编码器通过以下方法训练获得：获取样本图像中样本连线对象的对象图像，样本图像包括已标注样本连线对应关系的样本连线题，样本连线题包括多个样本连线对象；将样本连线对象的对象图像作为输入和输出，对变分自编码器模型进行训练，得到训练完成的变分自编码器模型，并将训练完成的变分自编码器模型中的编码器作为特征编码器。

步骤205、将各连线对象的第一特征向量输入特征处理模型中，得到各连线对象的第二特征向量，将第二特征向量确定为目标特征。

其中，第二特征向量的维度小于第一特征向量的维度。

可选的，特征处理模型通过以下方法训练获得：将样本连线对象的对象图像输入特征编码器中，得到样本连线对象的第一样本特征向量；根据样本连线对应关系构建样本连线对象的第二样本特征向量；将样本连线对象的第一样本特征向量作为输入，样本连线对象的第二样本特征向量作为输出，对图卷积神经网络进行训练，得到特征处理模型。

可选的，根据样本连线对应关系构建样本连线对象的第二样本特征向量，包括：对样本连线对象的第一样本特征向量进行降维，得到第三样本特征向量；根据样本连线对应关系将多个样本连线对象进行两两组合，得到多个样本连线对象对；将每个样本连线对中两个样本连线对象的第三样本特征向量的平均值，确定为各样本连线对象对应的第二样本特征向量。

可选的，特征处理模型可以包括预设数量的卷积层和全连接层，并且基于图卷积神经网络建立。接下来以特征处理模型为一个8层的图卷积神经网络为例进行说明，其输入和输出均为每个连线对象的特征向量，不同的是输出和输出的特征向量的维度不同，将连线题中的连线对象成为节点，上述8层的图卷积神经网络具体可以包括：对于每一个输入节点对应的特征向量使用多个3*3卷积核做卷积操作（每一个节点对应的卷积核都不相同），得到16通道卷积映射，然后将每一个节点和它对应节点（两个相连节点）的得到的16通道卷积映射逐通道逐点相加之后求平均，这是第一层的输出，第二层重复第一层的操作，通道数变为32，同理，第三层重复第二层操作，通道数变为64，第四层重复第三层操作，通道数变为128，第五层重复第四层操作，通道数变为64，第六层重复第五层操作，通道数变为32，第七层重复第六层操作，通道数变为16，第八层（也是输出层）重复第七层操作，通道数变为3，大小变为1*1。通过对上述8层的图卷积神经网络的训练，得到特征处理模型。

步骤206、基于各连线对象的目标特征确定各连线对象之间的相似度，并基于相似度确定连线题的当前连线对应关系。

可选的，基于各连线对象的目标特征确定各连线对象之间的相似度，包括：将各连线对象的目标特征之间的欧式距离或余弦距离，确定为各连线对象之间的相似度。可选的，基于相似度确定连线题的当前连线对应关系，包括：针对每个连线对象，将与其相似度最大的连线对象确定为具有对应关系的连线对象，将各连线对象之间的对应关系确定为连线题的当前连线对应关系。

步骤207、基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果。

可选的，基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果，包括：将目标图像的连线题在连线题库中进行匹配，确定对应的标准连线对应关系；将当前连线对应关系与标准连线对应关系进行对比，如果对比结果为相同，则连线题的判题结果为正确；否则，连线题的判题结果为错误。

本方案可以由三部分组成，第一部分首先通过对图像的检测得到连线题中的连线对象以及连线对象的对象图像，第二部分通过构建由特征编码器和特征处理模型组成的特征提取模型，将连线对象的对象图像输入上述特征提取模型中，可以得到连线对象的特征向量，第三部分根据连线对象的特征向量可以确定各连线对象之间的相似度，进而可以确定当前连线题的当前连线对应关系，根据计算或已经建立的题库获取标准连线对应关系之后，可以将当前连线对应关系与标准连线对应关系进行比较，得到上述图像中连线题的判题结果。本方案不仅可以扩大的连线题的批改范围，还可以提升连线题批改的准确性和处理效率。

本公开实施例提供的题目处理方案，获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；确定各连线对象在目标图像中的对象图像，并将各连线对象的对象图像输入特征提取模型中，得到各连线对象的目标特征，其中，特征提取模型包括特征编码器和特征处理模型；基于各连线对象的目标特征确定各连线对象之间的相似度，并基于相似度确定连线题的当前连线对应关系；基于当前连线对应关系与连线题的标准连线对应关系的对比结果，确定连线题的判题结果。采用上述技术方案，由于特征提取模型由编码器和处理模型组成，使得对连线题中连线对象的特征提取更加精确，进而提升了确定当前连线对应关系以及判题结果的准确性，并且由于特征提取模型相较于相关技术处理速度更快，不仅能够实现各种类型的连线题的批改，还提升了处理效率。

图6为本公开实施例提供的一种题目处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图6所示，该装置包括：

图像获取模块301，用于获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

特征提取模块302，用于确定各所述连线对象在所述目标图像中的对象图像，并将各所述连线对象的对象图像输入特征提取模型中，得到各所述连线对象的目标特征，其中，所述特征提取模型包括特征编码器和特征处理模型；

连线关系模块303，用于基于各所述连线对象的目标特征确定各所述连线对象之间的相似度，并基于所述相似度确定所述连线题的当前连线对应关系；

判题模块304，用于基于所述当前连线对应关系与所述连线题的标准连线对应关系的对比结果，确定所述连线题的判题结果。

可选的，所述特征提取模块302具体用于：

采用版面检测模型中对所述目标图像进行检测，确定各所述连线对象的位置信息；

根据各所述连线对象的位置信息在所述目标图像中截取各所述连线对象的对象图像。

可选的，所述特征提取模块302具体用于：

将各所述连线对象的对象图像输入所述特征编码器中，得到各所述连线对象的第一特征向量；

将各所述连线对象的第一特征向量输入所述特征处理模型中，得到各所述连线对象的第二特征向量，将所述第二特征向量确定为所述目标特征，其中，所述第二特征向量的维度小于所述第一特征向量的维度。

可选的，所述装置还包括第一训练模块，用于：

获取样本图像中样本连线对象的对象图像，所述样本图像包括已标注样本连线对应关系的样本连线题，所述样本连线题包括多个所述样本连线对象；

将所述样本连线对象的对象图像作为输入和输出，对变分自编码器模型进行训练，得到训练完成的变分自编码器模型，并将所述训练完成的变分自编码器模型中的编码器作为所述特征编码器。

可选的，所述装置还包括第二训练模块，用于：

将所述样本连线对象的对象图像输入所述特征编码器中，得到所述样本连线对象的第一样本特征向量；

根据所述样本连线对应关系构建所述样本连线对象的第二样本特征向量；

将所述样本连线对象的第一样本特征向量作为输入，所述样本连线对象的第二样本特征向量作为输出，对图卷积神经网络进行训练，得到所述特征处理模型。

可选的，所述第二训练模块用于：

对所述样本连线对象的所述第一样本特征向量进行降维，得到第三样本特征向量；

根据所述样本连线对应关系将多个所述样本连线对象进行两两组合，得到多个样本连线对象对；

将每个所述样本连线对中两个样本连线对象的第三样本特征向量的平均值，确定为各所述样本连线对象对应的第二样本特征向量。

可选的，所述连线关系模块303具体用于：

将各所述连线对象的目标特征之间的欧式距离或余弦距离，确定为各所述连线对象之间的相似度。

可选的，所述连线关系模块303具体用于：

针对每个所述连线对象，将与其相似度最大的连线对象确定为具有对应关系的连线对象，将各所述连线对象之间的对应关系确定为所述连线题的当前连线对应关系。

可选的，所述判题模块304具体用于：

将所述目标图像的所述连线题在连线题库中进行匹配，确定对应的标准连线对应关系；

将所述当前连线对应关系与所述标准连线对应关系进行对比，如果对比结果为相同，则所述连线题的判题结果为正确；否则，所述连线题的判题结果为错误。

本公开实施例所提供的题目处理装置可执行本公开任意实施例所提供的题目处理方法，具备执行方法相应的功能模块和有益效果。

图7为本公开实施例提供的一种电子设备的结构示意图。如图7所示，电子设备400包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的题目处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

此外，该输入装置403还可以包括例如键盘、鼠标等等。

该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的题目处理方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的题目处理方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种题目处理方法，其特征在于，包括：

获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

确定各所述连线对象在所述目标图像中的对象图像，并将各所述连线对象的对象图像输入特征提取模型中，得到各所述连线对象的目标特征，其中，所述特征提取模型包括特征编码器和特征处理模型，对象图像是指连线对象在目标图像中所占用的区域图像；

基于各所述连线对象的目标特征确定各所述连线对象之间的相似度，并基于所述相似度确定所述连线题的当前连线对应关系；

基于所述当前连线对应关系与所述连线题的标准连线对应关系的对比结果，确定所述连线题的判题结果；

确定各所述连线对象在所述目标图像中的对象图像，包括：

采用版面检测模型对所述目标图像进行检测，确定各所述连线对象的位置信息；

根据各所述连线对象的位置信息在所述目标图像中截取各所述连线对象的对象图像。

2.根据权利要求1所述的方法，其特征在于，将各所述连线对象的对象图像输入特征提取模型中，得到各所述连线对象的目标特征，包括：

将各所述连线对象的对象图像输入所述特征编码器中，得到各所述连线对象的第一特征向量；

将各所述连线对象的第一特征向量输入所述特征处理模型中，得到各所述连线对象的第二特征向量，将所述第二特征向量确定为所述目标特征，其中，所述第二特征向量的维度小于所述第一特征向量的维度。

3.根据权利要求1所述的方法，其特征在于，所述特征编码器通过以下方法训练获得：

获取样本图像中样本连线对象的对象图像，所述样本图像包括已标注样本连线对应关系的样本连线题，所述样本连线题包括多个所述样本连线对象；

将所述样本连线对象的对象图像作为输入和输出，对变分自编码器模型进行训练，得到训练完成的变分自编码器模型，并将所述训练完成的变分自编码器模型中的编码器作为所述特征编码器。

4.根据权利要求3所述的方法，其特征在于，所述特征处理模型通过以下方法训练获得：

将所述样本连线对象的对象图像输入所述特征编码器中，得到所述样本连线对象的第一样本特征向量；

根据所述样本连线对应关系构建所述样本连线对象的第二样本特征向量；

将所述样本连线对象的第一样本特征向量作为输入，所述样本连线对象的第二样本特征向量作为输出，对图卷积神经网络进行训练，得到所述特征处理模型。

5.根据权利要求4所述的方法，其特征在于，根据所述样本连线对应关系构建所述样本连线对象的第二样本特征向量，包括：

对所述样本连线对象的所述第一样本特征向量进行降维，得到第三样本特征向量；

根据所述样本连线对应关系将多个所述样本连线对象进行两两组合，得到多个样本连线对象对；

将每个所述样本连线对中两个样本连线对象的第三样本特征向量的平均值，确定为各所述样本连线对象对应的第二样本特征向量。

6.根据权利要求1所述的方法，其特征在于，基于各所述连线对象的目标特征确定各所述连线对象之间的相似度，包括：

将各所述连线对象的目标特征之间的欧式距离或余弦距离，确定为各所述连线对象之间的相似度。

7.根据权利要求1所述的方法，其特征在于，基于所述相似度确定所述连线题的当前连线对应关系，包括：

针对每个所述连线对象，将与其相似度最大的连线对象确定为具有对应关系的连线对象，将各所述连线对象之间的对应关系确定为所述连线题的当前连线对应关系。

8.根据权利要求1所述的方法，其特征在于，基于所述当前连线对应关系与所述连线题的标准连线对应关系的对比结果，确定所述连线题的判题结果，包括：

将所述目标图像的所述连线题在连线题库中进行匹配，确定对应的标准连线对应关系；

将所述当前连线对应关系与所述标准连线对应关系进行对比，如果对比结果为相同，则所述连线题的判题结果为正确；否则，所述连线题的判题结果为错误。

9.一种题目处理装置，其特征在于，包括：

图像获取模块，用于获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

特征提取模块，用于确定各所述连线对象在所述目标图像中的对象图像，并将各所述连线对象的对象图像输入特征提取模型中，得到各所述连线对象的目标特征，其中，所述特征提取模型包括特征编码器和特征处理模型，对象图像是指连线对象在目标图像中所占用的区域图像；

连线关系模块，用于基于各所述连线对象的目标特征确定各所述连线对象之间的相似度，并基于所述相似度确定所述连线题的当前连线对应关系；

判题模块，用于基于所述当前连线对应关系与所述连线题的标准连线对应关系的对比结果，确定所述连线题的判题结果；

所述特征提取模块具体用于：采用版面检测模型对所述目标图像进行检测，确定各所述连线对象的位置信息；根据各所述连线对象的位置信息在所述目标图像中截取各所述连线对象的对象图像。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8中任一所述的题目处理方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一所述的题目处理方法。

Images