CN113239909B - 一种题目处理方法、装置、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种题目处理方法、装置、设备及介质，其中该方法包括：获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；采用版面检测模型对目标图像进行检测，确定连线题中各连线对象的特征图像以及连线题的连线对应关系，其中，连线对应关系为各连线对象之间的连接关系；利用预先建立的判题模型根据各所述连线对象的特征图像以及所述连线题的连线对应关系，得到所述连线题的判题结果。采用上述技术方案，在确定连线题中连线对象的特征图像和连线对应关系之后，可以直接采用判题模型对连线题进行判断，不仅能够实现各种连线题的批改，还避免了构建正确答案的题库，降低了连线题的处理成本，提升了处理效率。

Description

一种题目处理方法、装置、设备及介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种题目处理方法、装置、设备及介质。

背景技术

随着人工智能技术的快速发展，越来越多地被应用在教育行业。拍照判题是人工智能技术在教育领域的一项重要应用。

连线题是一种较为特殊的题目，语义复杂、作答多样化并且无法通过逻辑规则进行判断。现阶段对连线题的处理通常需要构建正确答案的题库，成本较高，效率较低。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种题目处理方法、装置、设备及介质。

本公开实施例提供了一种题目处理方法，所述方法包括：

获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

采用版面检测模型对所述目标图像进行检测，确定所述连线题中各所述连线对象的特征图像以及所述连线题的连线对应关系，其中，所述连线对应关系为各所述连线对象之间的连接关系；

利用预先建立的判题模型根据各所述连线对象的特征图像以及所述连线题的连线对应关系，得到所述连线题的判题结果。

本公开实施例还提供了一种题目处理装置，所述装置包括：

图像获取模块，用于获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

检测模块，用于采用版面检测模型对所述目标图像进行检测，确定所述连线题中各所述连线对象的特征图像以及所述连线题的连线对应关系，其中，所述连线对应关系为各所述连线对象之间的连接关系；

判题模块，用于利用预先建立的判题模型根据各所述连线对象的特征图像以及所述连线题的连线对应关系，得到所述连线题的判题结果。

本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的题目处理方法。

本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的题目处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的题目处理方案，获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；采用版面检测模型对目标图像进行检测，确定连线题中各连线对象的特征图像以及连线题的连线对应关系，其中，连线对应关系为各连线对象之间的连接关系；利用预先建立的判题模型根据各连线对象的特征图像以及连线题的连线对应关系，得到连线题的判题结果。采用上述技术方案，在确定连线题中连线对象的特征图像和连线对应关系之后，可以直接采用判题模型对连线题进行判断，不仅能够实现各种连线题的批改，还避免了构建正确答案的题库，降低了连线题的处理成本，提升了处理效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种题目处理方法的流程示意图；

图2为本公开实施例提供的一种连线题的示意图；

图3为本公开实施例提供的另一种连线题的示意图；

图4为本公开实施例提供的另一种题目处理方法的流程示意图；

图5为本公开实施例提供的一种题目处理的示意图；

图6为本公开实施例提供的一种题目处理装置的结构示意图；

图7为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

拍照判题是人工智能技术在教育领域的一项重要应用，具体过程可以包括：采用手机或平板电脑等终端设备进行拍照，然后上传至拍照判题的应用程序，接着应用程序将图像送入题型判断模型，题型判断模型是一种文本检测模型，它会检测横式、竖式和脱式三种题型并将它们用文本框框起来，也就是拿到文本区域坐标。题型判断模型也称为版面分析模型和文本行检测模型，文本行检测模型只检测横向文本行；然后会根据版面分析模型和文本行检测模型的检测结果进行版面分析，对框进行合并，同时根据每种题型的特点，分析得到每个题是由那些框组成的，然后根据框的坐标在原图上进行裁剪，将裁剪得到的图像送入识别模型，得到每个题目的内容，然后根据题目内容进行判题，最后将判断结果进行输出。

上述方案，在理想情况下版面分析模型、文本行检测模型和识别模型的结果都非常准确，那么最后通过判题策略得到的判题结果也会相当准确。但是实际情况是，上述的拍照判题流程前三个环节，每个环节的结果都不是非常准确，这导致最终的判题结果会出现错判对或者对判错的问题，也就是判题准确率比较低，尽管如此，目前也尚能满足用户需求。但上述方案，只能处理一些常规的且是逻辑可批改的题型，如横式、竖式和脱式等，无法处理一些逻辑可批改的特殊题型例如“树状计算”、“珠心算”等等；同时，也无法处理一些常规的语义信息上具有较强依赖并且无法通过逻辑规则计算出答案的题目，例如选择题、填空题、应用题等，更无法处理连线题和做图题这种语义复杂、作答多样化的题目。

现阶段对连线题的处理通常有两种：假设连线题中参与连线的点称为节点，一是找到节点之间的连接关系之后，识别每个节点的内容，然后计算得出每个节点的逻辑值，然后直接判断；二是预先建立题库，找到节点之间的连接关系之后，然后利用图像搜索或者文字搜索等方式直接从题库得到答案，然后进行判断。但是上述方案一只能处理节点可以逻辑计算出结果且可比较的连线题，没办法处理其他内容的连线题，方案二虽然处理的连线题较多，但是构建正确答案的题库，成本较高，效率较低。为了解决上述问题，本公开实施例提供了一种题目处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的一种题目处理方法的流程示意图，该方法可以由题目处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：

步骤101、获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象。

其中，连线题是一种需要通过连线建立对应关系的题目，连线对象是指连线题中连线的对象，连线对象的类型可以包括多种，例如连线对象可以包括数字、文字和图像等，具体不限。

示例性的，图2为本公开实施例提供的一种连线题的示意图，图3为本公开实施例提供的另一种连线题的示意图，图2和图3中分别表征了两种类型的连线题。如图2所示，图中的连线题中可以包括10个连线对象，每个矩形框中的算式表征一个连线对象，该连线题是一种数值可计算的类型，可以根据运算法则进行计算。如图3所示，图中的连线题中可以包括6个连线对象，每个矩形框中的数字或文字表征一个连线对象，该连线题是一种语义强相关的类型。

本公开实施例中，题目处理装置可以获取目标图像，目标图像可以为任意一个需要进行判题并且包括至少一个连线题的图像，目标图像的来源不限，例如目标图像可以为用户实时拍摄得到的图像，也可以为从互联网上下载得到的图像。

步骤102、采用版面检测模型对目标图像进行检测，确定连线题中各连线对象的特征图像以及连线题的连线对应关系，其中，连线对应关系为各连线对象之间的连接关系。

其中，版面检测模型是指预先训练好的用于对图像中的连线题进行检测的深度学习模型。本公开实施例中，版面检测模型可以包括三个分支检测模型，具体包括第一分支检测模型、第二分支检测模型和第三分支检测模型，每个分支检测模型的作用不同。

连线对象的特征图像可以为连线对象在目标图像中的图像。连线对应关系是指连线题中各连线对象之间通过连线形式表征的连接关系。如图2和图3中两两连线对象可以建立连线，例如图2中“2+2”与“3+1”建立连线，图3中“小军”和“3”建立连线，图2和图3中每个连线的连接关系的组合即为该连线题的连线对应关系。

本公开实施例中，采用版面检测模型对目标图像进行检测，确定各连线对象的特征图像，可以包括：采用版面检测模型中的第一分支检测模型确定各连线对象的位置信息；基于各连线对象的位置信息确定各连线对象在目标图像中的区域图像，将区域图像向外扩充预设倍数之后的图像确定为各连线对象的特征图像。

其中，第一分支检测模型又称文本行检测模型，用于检测图像中的文本区域，采用矩形检测框将各个文本区域框出，并确定各个文本区域的位置。具体的，采用第一分支检测模型可以对目标图像进行检测，确定其中各连线对象的位置信息，根据各连线对象的位置信息将其在目标图像中的矩形检测框的图像确定为区域图像，之后将该区域图像向外扩充预设倍数之后的图像确定为各连线对象的特征图像。预设倍数可以根据实际情况确定，例如预设倍数可以为两倍。

可选的，基于第一分支检测模型得到目标图像中各连线对象的位置信息之后，根据各连线对象的位置信息之间的关系，可以确定连线题的类型，类型可以包括上下连线题和左右连线题，上下连线题是由两行文本框组成，左右连线题是由两列文本框组成。

本公开实施例中，采用版面检测模型对目标图像进行检测，确定连线题的连线对应关系，包括：采用第二分支检测模型确定目标图像中连线题的整体区域的位置信息；采用第三分支检测模型确定连线题的连线对应关系的连线交点的位置信息；基于连线题的各连线对象的位置信息、整体区域的位置信息和连线交点的位置信息，确定连线题的连线对应关系。

其中，第二分支检测模型可以用于实现版面分析，检测整体的版面大框，也即将整个连线题从目标图像中框选起来。第三分支检测模型可以用于检测连线的交点，也即将连线的交点区域框选起来。上述版面检测模型的三个分支检测模型在训练过程中使用的损失（Loss）函数和训练方式可以相同，也可以不同。

具体的，在上述采用第一分支检测模型得到目标图像中各连线对象的位置信息之后，可以采用第二分支检测模型对目标图像进行检测确定连线题的整体区域的位置信息，以及采用第三分支检测模型对目标图像进行检测确定连线题的连线交点的位置信息。之后，可以根据各连线对象的位置信息以及连线交点的位置信息，对各连线对象的区域图像以及连线交点的交点区域进行处理，以去除连线对象的区域图像和交点区域，避免连线对象的区域和交点区域对连线识别带来噪声，进而避免对连线识别造成影响，提升连线识别的准确率。具体可以根据各连线对象的位置信息，将每个连线对象的区域图像的全部像素点设置为0，根据连线交点的位置信息，将每个连线交点的交点区域的全部像素点设置为0，以使各连线对象的区域、交点区域与目标图像的背景相匹配，去除上述各连线对象的区域、交点区域。

根据连线题的整体区域的位置信息，将整个连线题从目标图像中整个框选起来，并截取下来形成一个小图，作为待处理图像。采用Canny边缘检测算法检测待处理图像的边缘，以得到多条连线线段，由于上述对交点区域进行了去除，得到互不相交的多条连线线段。

进一步地，针对上述多条连线线段判断两条线段是否属于同一连线。求取连线线段的连通域，得到每条连线线段的具体坐标信息，根据各条连线线段的坐标信息，确定斜率相同的两条直线方程；确定上述两条斜率相同的直线方程之间的两条连线线段，并确定两条连线连段的斜率差距。此处考虑到实际场景中，连线题之间的实际连线并非为直线，可能为曲线，所以，设置两条斜率相同的直线方程来将连线线段夹在中间，进而确定出真实的连线关系。进一步地，若两条线段之间的斜率差距小于斜率阈值则可以确定这两条线段属于一条连线，基于上述方式可以得到所有的连线，进而确定连线题的连线对应关系。

步骤103、利用预先建立的判题模型根据各连线对象的特征图像以及连线题的连线对应关系，得到连线题的判题结果。

其中，判题模型是指预先建立的用于对连线题进行判断或批改的深度学习模型，该判题模型的输出为二分类值，表示对错。

本公开实施例中，利用预先建立的判题模型根据各连线对象的特征图像以及连线题的连线对应关系，得到连线题的判题结果，包括：利用预先建立的判题模型根据连线题的连线对应关系，将多个连线对象进行两两组合，得到多个连线对象对；利用判题模型对每个连线对象对中的两个连线对象的特征图像进行关联计算，确定连线题的判题结果，其中，连线题的判题结果为正确或错误。可选的，判题模型可以包括预设数量的卷积层和全连接层，判题模型基于图卷积神经网络建立。预设数量可以根据实际情况确定，例如预设数量可以为5。全连接层中神经元节点数量可以为2。

具体的，确定各连线对象的特征图像以及连线题的连线对应关系之后，可以将各连线对象的特征图像以及连线题的连线对应关系输入判题模型中进行计算。在计算过程中可以根据连线对应关系将多个连线对象进行两两组合，得到多个连线对象对；之后以连线对象对为单位，将每个连线对象对中的两个连线对象的特征图像在判题模型中的每一层依次进行关联计算，最终可以确定连线题分别为正确或错误的两个概率值。如果连线题为正确的概率值大于连线题为错误的概率值，则判题结果为正确；如果连线题为正确的概率值小于连线题为错误的概率值，则判题结果为错误。

可选的，利用判题模型对每个连线对象对中的两个连线对象的特征图像进行关联计算，确定连线题的判题结果，包括：利用判题模型中的多个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征；利用判题模型中的全连接层对卷积特征进行全连接处理，得到连线题的判题结果。

可选的，利用判题模型中的多个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，包括：利用判题模型的第一个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积操作，并基于卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第一个卷积层的输出特征，其中，第一个卷积层的输出特征包括两个连线对象分别对应的第一输出特征；利用第N个卷积层对第N-1个卷积层的输出特征进行卷积操作，并基于卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第N个卷积层的输出特征，N为大于等于2的整数；其中，每个卷积层的输出特征的通道数量不同。

具体地，在判题模型的第一个卷积层中，对每个连线对象对的两个连线对象的特征图像，均采用多个预设大小的卷积核进行卷积操作，得到多个通道特征，并将两个连线对象得到的多个通道特征通道相加之后计算平均值，将各个通道的通道特征平均值作为两个连线对象在该通道的输出值，进而将两个连线对象在多个通道的输出值作为第一卷积层的输出特征。上述每个连线对象对的两个连线对象在多个通道的输出值均相同，也即两个连线对象分别在第一各卷积层中的输出特征相同。通过计算平均值，可以增加连线相连的两个连线对象的相同信息，进而提升后续的判断的准确性。

在之后的每个卷积层中均将上一层的输出特征作为该层的输入特征，按照第一卷积层的方式进行关联计算，不同的是通道数量不同，并且可以逐层递增。例如假设有5个卷积层，第一层的通道数量可以为16，第二层的通道数量可以为32，第三层的通道数量可以为64，第四层的通道数量可以为128，第五层的通道数量可以为256。

可选的，利用判题模型中的多个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征，还包括：对最后一个卷积层的输出特征按通道进行串联叠加并进行卷积操作，得到卷积特征。

具体地，利用判题模型中的多个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积计算之后，对于最后一个卷积层的输出特征可以按照该卷积层的通道数量将输出特征在各通道的输出值进行串联叠加，得到一个增加通道维度的聚合特征，之后针对该聚合特征可以进行一次预设通道数量的卷积操作，得到卷积特征。该预设通道数量小于上述最后一关卷积层的通道数量，例如最后一个卷积层的通道数量为256，预设通道数量可以为64。上述判题模型中在多个卷积层的卷积计算之后，可以通过串联叠加聚合信息，之后通过低通道数量的卷积操作降低参数量，提升后续判题效率。

之后，利用判题模型中的全连接层对每个连线对象对中两个连线对象的卷积特征进行全连接处理，得到连线题分别为正确或错误的两个概率值。如果连线题为正确的概率值大于连线题为错误的概率值，则判题结果为正确；如果连线题为正确的概率值小于连线题为错误的概率值，则判题结果为错误。

本公开实施例中，上述判题模型可以通过以下方法训练获得：获取包括样本连线题的样本图像，样本连线题中已标注样本判题结果；采用版面检测模型对样本图像进行检测，确定样本连线题中样本连线对应关系和各样本连线对象的特征图像；将样本连线题中样本连线对应关系和各样本连线对象的特征图像作为图卷积神经网络的输入，样本判题结果作为输出，对图卷积神经网络进行训练，得到判题模型。

其中，样本图像可以为已经对包括至少一个样本连线题的图像进行判题结果标注的图像，样本图像的数量不作限定。具体的，题目处理装置可以采用版面检测模型对样本图像进行检测，确定样本连线题中样本连线对应关系和各样本连线对象的特征图像；之后可以构建一个多层的图卷积神经网络，将上述样本连线题中样本连线对应关系和各样本连线对象的特征图像作为图卷积神经网络的输入，样本判题结果作为图卷积神经网络的输出，对图卷积神经网络进行训练，在训练过程中，可以采用二分类交叉熵损失函数训练，得到损失函数满足要求的图卷积神经网络为判题模型。

本公开实施例提供的题目处理方案，获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；采用版面检测模型对目标图像进行检测，确定连线题中各连线对象的特征图像以及连线题的连线对应关系，其中，连线对应关系为各连线对象之间的连接关系；利用预先建立的判题模型根据各连线对象的特征图像以及连线题的连线对应关系，得到连线题的判题结果。采用上述技术方案，在确定连线题中连线对象的特征图像和连线对应关系之后，可以直接采用判题模型对连线题进行判断，不仅能够实现各种连线题的批改，还避免了构建正确答案的题库，降低了连线题的处理成本，提升了处理效率。

图4为本公开实施例提供的另一种题目处理方法的流程示意图，本实施例在上述实施例的基础上，进一步对上述题目处理方法进行具体说明。如图4所示，该方法包括：

步骤201、获取包括至少一个连线题的目标图像。

其中，连线题包括多个连线对象。

步骤201之后，可以执行步骤202-步骤206，用于基于版面检测模型对目标图像进行检测，确定连线题中各连线对象的特征图像以及连线题的连线对应关系。其中，连线对应关系为各连线对象之间的连接关系。步骤202-步骤203用于确定各连线对象的特征图像，步骤202、步骤204-步骤206用于确定连线题的连线对应关系。

可选的，版面检测模型包括第一分支检测模型、第二分支检测模型和第三分支检测模型。

本方案中，使用一个版面检测模型实现版面分析和文本行检测，例如使用CenterNet模型或者SSD模型，同时在所选择的模型中增加2个检测分支，即所选择的模型一共有3个检测分支，分别为：第一分支检测模型，实现版面分析的功能，用于检测目标图像整体的版面大框，示例性的，图5为本公开实施例提供的一种连线题检测的示意图，如图5所示，图中展示了一个目标图像，通过第一分支检测模型将整个连线题从目标图像中整个框选起来，并截取下来形成一个小图，作为待处理图像进行后续处理。第二分支检测模型，实现文本行检测模型的功能，用于检测每个文本行（也即文本区域或文本框），如图5中，连线题的题目和连线中每个连线对象均被框选起来，并且检测得到位置信息。第三分支检测模型，检测连线的交点，即将图5所示的连线的交点区域框选起来。在训练过程中，三个分支检测模型使用的损失函数和训练方式可以相同。

基于第二分支检测模型的检测结果使用识别模型对文本行进行识别，得到识别结果，然后根据第二分支检测模型检测到的文本框的位置关系，判断题目类型是上下线连线题还是左右连线题，这里，上下连线题是两行文本框（也即图5所示的连线题），左右连线题是两列文本框，然后根据识别结果即可确定出正确的连线关系。

可以理解的是，上述确定连线题的连线对应关系的方式仅为示例，其他可以确定的方式也可适用，具体不限。

步骤202、采用版面检测模型中的第一分支检测模型确定各连线对象的位置信息。

步骤202之后，可以分别执行步骤203和步骤204-步骤207，具体执行顺序不限，可以先执行步骤203再执行步骤204-步骤207，也可以先执行步骤204-步骤207再执行步骤203。

步骤203、基于各连线对象的位置信息确定各连线对象在目标图像中的区域图像，将区域图像向外扩充预设倍数之后的图像确定为各连线对象的特征图像。

本方案中，各连线对象的特征图像为一个3通道图像。

步骤204、采用第二分支检测模型确定目标图像中连线题的整体区域的位置信息。

步骤205、采用第三分支检测模型确定连线题的连线对应关系的连线交点的位置信息。

步骤206、基于连线题的各连线对象的位置信息、整体区域的位置信息和连线交点的位置信息，确定连线题的连线对应关系。

步骤207、利用预先建立的判题模型根据连线题的连线对应关系，将多个连线对象进行两两组合，得到多个连线对象对。

步骤208、利用判题模型对每个连线对象对中的两个连线对象的特征图像进行关联计算，确定连线题的判题结果。

其中，连线题的判题结果为正确或错误。

可选的，利用判题模型对每个连线对象对中的两个连线对象的特征图像进行关联计算，确定连线题的判题结果，包括：利用判题模型中的多个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征；利用判题模型中的全连接层对卷积特征进行全连接处理，得到连线题的判题结果。

可选的，利用判题模型中的多个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，包括：利用判题模型的第一个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积操作，并基于卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第一个卷积层的输出特征，其中，第一个卷积层的输出特征包括两个连线对象分别对应的第一输出特征；利用第N个卷积层对第N-1个卷积层的输出特征进行卷积操作，并基于卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第N个卷积层的输出特征，N为大于等于2的整数；其中，每个卷积层的输出特征的通道数量不同。

可选的，利用判题模型中的多个卷积层对每个连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征，还包括：对最后一个卷积层的输出特征按通道进行串联叠加并进行卷积操作，得到卷积特征。

可选的，判题模型通过以下方法训练获得：获取包括样本连线题的样本图像，样本连线题中已标注样本判题结果；采用版面检测模型对样本图像进行检测，确定样本连线题中样本连线对应关系和各样本连线对象的特征图像；将样本连线题中样本连线对应关系和各样本连线对象的特征图像作为图卷积神经网络的输入，样本判题结果作为输出，对图卷积神经网络进行训练，得到判题模型。

接下来以判题模型为一个6层的图卷积神经网络为例，对判题模型的训练过程进行具体说明。判题模型的训练过程可以包括：将连线题中的连线对象称为节点，构建一个6层的图卷积神经网络，其输入为节点之间的对应的关系以及每个节点的特征向量，输出是二分类值，表示对错；具体过程为，对于每一个输入节点对应的特征向量使用多个3*3卷积核做卷积操作，得到16通道卷积映射，然后将每一个节点和它对应的节点（两个相连节点）的得到的16通道卷积映射逐通道相加之后求平均，这是构建的6层图神经网络的第一层的输出；第二层重复第一层的操作，通道数变为32；同理，第三层重复第二层操作，通道数变为64；第四层重复第三层操作，通道数变为128，第五层重复第四层操作，通道数变为256；接着，将每个节点对应的256通道特征映射进行串联叠加，然后进行一次卷积操作，得到通道数为64，大小为1*1的输出，然后在接一个全连接层（神经元节点数量为2）；第一节点输出的概率值表示此连线题是对的概率，第二个节点输出的概率值表示此连线题是错的概率。在训练过程中，使用二分类交叉熵损失函数训练。

本方案中可以将连线题当作一个整体，抽象成一个典型的二部图，连线题的图可以由顶点和边组成，输入该连线题的整体图至判题模型中进行判断，不仅可以扩大的连线题的批改范围，同时降低了连线题的批改成本。

本公开实施例提供的题目处理方案，获取包括至少一个连线题的目标图像，其中，连线题包括多个连线对象；采用版面检测模型对目标图像进行检测，确定连线题中各连线对象的特征图像以及连线题的连线对应关系，其中，连线对应关系为各连线对象之间的连接关系；利用预先建立的判题模型根据各连线对象的特征图像以及连线题的连线对应关系，得到连线题的判题结果。采用上述技术方案，在确定连线题中连线对象的特征图像和连线对应关系之后，可以直接采用判题模型对连线题进行判断，不仅能够实现各种连线题的批改，还避免了构建正确答案的题库，降低了连线题的处理成本，提升了处理效率。

图6为本公开实施例提供的一种题目处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图6所示，该装置包括：

图像获取模块301，用于获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

检测模块302，用于采用版面检测模型对所述目标图像进行检测，确定所述连线题中各所述连线对象的特征图像以及所述连线题的连线对应关系，其中，所述连线对应关系为各所述连线对象之间的连接关系；

判题模块303，用于利用预先建立的判题模型根据各所述连线对象的特征图像以及所述连线题的连线对应关系，得到所述连线题的判题结果。

可选的，所述判题模块303具体用于：

利用预先建立的判题模型根据所述连线题的连线对应关系，将多个所述连线对象进行两两组合，得到多个连线对象对；

利用所述判题模型对每个所述连线对象对中的两个连线对象的特征图像进行关联计算，确定所述连线题的判题结果，其中，所述连线题的判题结果为正确或错误。

可选的，所述判题模块303具体用于：

利用所述判题模型中的多个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征；

利用所述判题模型中的全连接层对所述卷积特征进行全连接处理，得到所述连线题的判题结果。

可选的，所述判题模块303具体用于：

利用所述判题模型的第一个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积操作，并基于所述卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第一个卷积层的输出特征，其中，所述第一个卷积层的输出特征包括两个连线对象分别对应的第一输出特征；

利用第N个卷积层对第N-1个卷积层的输出特征进行卷积操作，并基于所述卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第N个卷积层的输出特征，N为大于等于2的整数；

其中，每个卷积层的输出特征的通道数量不同。

可选的，所述判题模块303具体用于：

对最后一个卷积层的输出特征按通道进行串联叠加并进行卷积操作，得到所述卷积特征。

可选的，所述装置还包括判题模型模块，用于：

获取包括样本连线题的样本图像，所述样本连线题中已标注样本判题结果；

采用版面检测模型对样本图像进行检测，确定所述样本连线题中样本连线对应关系和各所述样本连线对象的特征图像；

将所述样本连线题中样本连线对应关系和各所述样本连线对象的特征图像作为图卷积神经网络的输入，所述样本判题结果作为输出，对所述图卷积神经网络进行训练，得到所述判题模型。

可选的，所述版面检测模型包括第一分支检测模型、第二分支检测模型和第三分支检测模型。

可选的，所述检测模块302具体用于：

采用所述版面检测模型中的第一分支检测模型确定各所述连线对象的位置信息；

基于各连线对象的位置信息确定各所述连线对象在所述目标图像中的区域图像，将所述区域图像向外扩充预设倍数之后的图像确定为各所述连线对象的特征图像。

可选的，所述检测模块302具体用于：

采用所述第二分支检测模型确定所述目标图像中所述连线题的整体区域的位置信息；

采用所述第三分支检测模型确定所述连线题的连线对应关系的连线交点的位置信息；

基于所述连线题的各所述连线对象的位置信息、整体区域的位置信息和所述连线交点的位置信息，确定所述连线题的连线对应关系。

本公开实施例所提供的题目处理装置可执行本公开任意实施例所提供的题目处理方法，具备执行方法相应的功能模块和有益效果。

图7为本公开实施例提供的一种电子设备的结构示意图。如图7所示，电子设备400包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的题目处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

此外，该输入装置403还可以包括例如键盘、鼠标等等。

该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。

本公开实施例还提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上文所述的本公开的实施例的题目处理方法。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的题目处理方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的题目处理方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种题目处理方法，其特征在于，包括：

获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

采用版面检测模型对所述目标图像进行检测，确定所述连线题中各所述连线对象的特征图像以及所述连线题的连线对应关系，其中，所述连线对应关系为各所述连线对象之间的连接关系；

利用预先建立的判题模型根据所述连线题的连线对应关系，将多个所述连线对象进行两两组合，得到多个连线对象对；

利用所述判题模型中的多个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征；

利用所述判题模型中的全连接层对所述卷积特征进行全连接处理，得到所述连线题的判题结果，其中，所述连线题的判题结果为正确或错误；

所述利用所述判题模型中的多个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，包括：

利用所述判题模型的第一个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积操作，并基于所述卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第一个卷积层的输出特征，其中，所述第一个卷积层的输出特征包括两个连线对象分别对应的第一输出特征；

利用第N个卷积层对第N-1个卷积层的输出特征进行卷积操作，并基于所述卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第N个卷积层的输出特征，N为大于等于2的整数；

其中，每个卷积层的输出特征的通道数量不同。

2.根据权利要求1所述的方法，其特征在于，所述利用所述判题模型中的多个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征，还包括：

对最后一个卷积层的输出特征按通道进行串联叠加并进行卷积操作，得到所述卷积特征。

3.根据权利要求1所述的方法，其特征在于，所述判题模型通过以下方法训练获得：

获取包括样本连线题的样本图像，所述样本连线题中已标注样本判题结果；

采用版面检测模型对样本图像进行检测，确定所述样本连线题中样本连线对应关系和各所述样本连线对象的特征图像；

将所述样本连线题中样本连线对应关系和各所述样本连线对象的特征图像作为图卷积神经网络的输入，所述样本判题结果作为输出，对所述图卷积神经网络进行训练，得到所述判题模型。

4.根据权利要求1所述的方法，其特征在于，所述版面检测模型包括第一分支检测模型、第二分支检测模型和第三分支检测模型。

5.根据权利要求4所述的方法，其特征在于，采用版面检测模型对所述目标图像进行检测，确定各所述连线对象的特征图像，包括：

采用所述版面检测模型中的第一分支检测模型确定各所述连线对象的位置信息；

基于各连线对象的位置信息确定各所述连线对象在所述目标图像中的区域图像，将所述区域图像向外扩充预设倍数之后的图像确定为各所述连线对象的特征图像。

6.根据权利要求5所述的方法，其特征在于，采用版面检测模型对所述目标图像进行检测，确定所述连线题的连线对应关系，包括：

采用所述第二分支检测模型确定所述目标图像中所述连线题的整体区域的位置信息；

采用所述第三分支检测模型确定所述连线题的连线对应关系的连线交点的位置信息；

基于所述连线题的各所述连线对象的位置信息、整体区域的位置信息和所述连线交点的位置信息，确定所述连线题的连线对应关系。

7.一种题目处理装置，其特征在于，包括：

图像获取模块，用于获取包括至少一个连线题的目标图像，其中，所述连线题包括多个连线对象；

检测模块，用于采用版面检测模型对所述目标图像进行检测，确定所述连线题中各所述连线对象的特征图像以及所述连线题的连线对应关系，其中，所述连线对应关系为各所述连线对象之间的连接关系；

判题模块，用于利用预先建立的判题模型根据所述连线题的连线对应关系，将多个所述连线对象进行两两组合，得到多个连线对象对；

利用所述判题模型中的多个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积以及叠加计算，得到卷积特征；

利用所述判题模型中的全连接层对所述卷积特征进行全连接处理，得到所述连线题的判题结果，其中，所述连线题的判题结果为正确或错误；

所述判题模块具体用于：利用所述判题模型的第一个卷积层对每个所述连线对象对中的两个连线对象的特征图像进行卷积操作，并基于所述卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第一个卷积层的输出特征，其中，所述第一个卷积层的输出特征包括两个连线对象分别对应的第一输出特征；利用第N个卷积层对第N-1个卷积层的输出特征进行卷积操作，并基于所述卷积操作后得到的每个连线对象对应的多个通道特征逐通道进行相加之后计算平均值，得到第N个卷积层的输出特征，N为大于等于2的整数；其中，每个卷积层的输出特征的通道数量不同。

8.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6中任一所述的题目处理方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6中任一所述的题目处理方法。

Images