CN112989768B - 连线题批改方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种连线题批改方法、装置、电子设备及存储介质，应用于图像处理技术领域，所述方法包括：获取待处理图像，基于预先训练的检测模型确定待处理图像中各第一类角点的信息和各第二类角点的信息，第一类角点的信息包括：第一类角点的位置坐标和第一类角点指向第二类角点的偏移量；第二类角点的信息包括：第二类角点的位置坐标和第二类角点指向第一类角点的偏移量；根据各第一类角点的信息和各第二类角点的信息，确定待处理图像中各子区域的连线关系；将连线关系与待处理图像对应的标准连线关系进行比较，得到批改结果。本申请可以提高连线题批改的通用性。

Description

连线题批改方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种连线题批改方法、装置、电子设备及存储介质。

背景技术

目前，拍照判题在教育领域得到了广泛的应用。用户可以通过终端设备对试题进行拍照并上传至应用程序，应用程序可以通过题型判断模型对图像进行版面分析和文本行分析，得到版面框和文本框。同时根据题型的特点，分析得到每个试题对应的版面框和文本框，然后根据框的坐标在图像上进行裁剪，将裁剪得到的图像通过识别模型识别题目的内容，并根据题目内容进行判题。

然而，上述方法只能处理有限类型的题目，例如算术题（横式、竖式、脱式等），仍然有大量的的题目无法通过逻辑运算进行批改。例如连线题，由于其形式繁多，种类丰富，一般难以通过常规逻辑规则进行批改。因此，如何正确、有效地批改连线题成为亟待解决的技术问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种连线题批改方法、装置、电子设备及存储介质。

根据本申请的第一方面，提供了一种连线题批改方法，包括：

获取待处理图像，其中，所述待处理图像包括多个子区域以及连接所述子区域的多根连接线；

基于预先训练的检测模型确定所述待处理图像中各第一类角点的信息和各第二类角点的信息，所述第一类角点的信息包括：所述第一类角点的位置坐标和所述第一类角点指向第二类角点的偏移量；所述第二类角点的信息包括：所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量；

根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系；

将所述连线关系与所述待处理图像对应的标准连线关系进行比较，得到批改结果。

在一种可选的实施方式中，所述根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系，包括：

根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，在所述根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系之前，所述方法还包括：

基于所述检测模型确定所述待处理图像中各中心点的信息，所述中心点为所述连接线上的点，所述中心点的信息包括：所述中心点的位置坐标；

所述第一类角点的信息还包括：所述第一类角点指向中心点的偏移量；所述第二类角点的信息还包括：所述第二类角点指向中心点的偏移量；

所述根据所述各第一类角点的信息和所述第二类角点的信息，确定所述待处理图像中的连线关系，包括：

根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向第一类角点的偏移量、所述第一类角点指向中心点的偏移量、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，所述检测模型包括：第一网络部分，所述第一网络部分包括：第一分支和第二分支；所述第一分支用于检测所述各第一类角点的信息，所述第二分支用于检测所述各第二类角点的信息；

基于所述检测模型确定所述待处理图像中各第一类角点的信息，包括：

基于所述第一分支确定所述各第一类角点的位置坐标的第一类角点得分图、所述各第一类角点指向第二类角点的偏移量和所述各第一类角点指向中心点的偏移量；

基于所述检测模型确定所述待处理图像中各第二类角点的信息，包括：

基于所述第二分支确定所述各第二类角点的位置坐标的第二类角点得分图、所述各第二类角点指向第一类角点的偏移量和所述各第二类角点指向中心点的偏移量。

在一种可选的实施方式中，所述根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向第一类角点的偏移量、所述第一类角点指向中心点的偏移量、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系，包括：

根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述各第一类角点和所述各第二类角点之间的对应关系；

根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，所述根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述各第一类角点和所述各第二类角点之间的对应关系，包括：

针对单个所述第一类角点，根据该第一类角点的位置坐标和该第一类角点指向第二类角点的偏移量，确定第二类角点预测位置坐标；

确定所述各第二类角点中与所述第二类角点预测位置坐标之间的距离最小，且小于预设距离阈值的第二类角点，与该第一类角点具有对应关系；或者，

针对单个所述第二类角点，根据该第二类角点的位置坐标和该第二类角点指向第一类角点的偏移量，确定第一类角点预测位置坐标；

确定所述各第一类角点中与所述第一类角点预测位置坐标之间的距离最小，且小于所述预设距离阈值的第一类角点，与该第二类角点具有对应关系。

在一种可选的实施方式中，所述根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系，包括：

根据所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述第一类角点和所述中心点的对应关系；

根据所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述第二类角点和所述中心点的对应关系；

根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点和所述中心点的对应关系和所述第二类角点和所述中心点的对应关系，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，所述检测模型还包括：第二网络部分；所述第二网络部分用于检测所述各中心点的信息；

基于所述检测模型确定所述待处理图像中各中心点的信息，包括：

基于所述第二网络部分确定所述各中心点的位置坐标的中心点得分图；或者，

基于所述第二网络部分确定所述各中心点的位置坐标的中心点得分图，以及以下一种或多种：用于对所述中心点的位置坐标进行矫正的所述中心点的中心点偏移量、所述中心点对应的目标区域的宽度和高度、所述目标区域与预设方向的夹角，其中，所述目标区域为包含所述中心点所在连接线的矩形框。

在一种可选的实施方式中，所述检测模型通过以下方法训练获得：

获取多个样本图像，所述样本图像包括多个样本子区域以及连接所述样本子区域的多根连接线；

通过初始模型第一网络部分的第一分支对所述样本图像进行处理，得到各样本第一类角点的预测信息；所述样本第一类角点的预测信息包括：所述样本第一类角点的预测得分图、所述样本第一类角点指向样本第二类角点的预测偏移量、所述样本第一类角点指向样本中心点的预测偏移量；

通过所述初始模型第一网络部分的第二分支对所述样本图像进行处理，得到各样本第二类角点的预测信息；所述样本第二类角点的预测信息包括：所述样本第二类角点的预测得分图、所述样本第二类角点指向样本第一类角点的预测偏移量、所述样本第二类角点指向样本中心点的预测偏移量；

通过所述初始模型的第二网络部分对所述样本图像进行处理，得到各样本中心点的预测信息；所述样本中心点的预测信息包括：所述样本中心点的预测得分图、目标样本区域的预测宽度和预测高度以及所述目标样本区域与预设方向的预测夹角；所述目标样本区域为包含所述样本中心点所在连线的矩形框；

获取所述样本图像的标签数据，所述标签数据包括：所述样本第一类角点的真实信息、所述样本第二类角点的真实信息和所述样本中心点的真实信息；其中，样本第一类角点的真实信息包括：所述样本第一类角点的真实得分图、所述样本第一类角点指向样本第二类角点的真实偏移量、所述样本第一类角点指向样本中心点的真实偏移量；所述样本第二类角点的真实信息包括：所述样本第二类角点的真实得分图、所述样本第二类角点指向样本第一类角点的真实偏移量、所述样本第二类角点指向样本中心点的真实偏移量；所述样本中心点的真实信息包括：所述样本中心点的真实得分图、所述目标样本区域的真实宽度和真实高度以及所述目标样本区域与所述预设方向的真实夹角；

根据所述各样本第一类角点的预测信息、所述各样本第二类角点的预测信息、各样本中心点的预测信息，以及所述样本图像的标签数据，基于预设的损失函数，对所述初始模型进行训练，生成所述检测模型。

在一种可选的实施方式中，所述根据所述各样本第一类角点的预测信息、所述各样本第二类角点的预测信息、各样本中心点的预测信息，以及所述样本图像的标签数据，基于预设的损失函数，对所述初始模型进行训练，生成所述检测模型，包括：

根据所述各样本第一类角点的预测信息，以及所述各样本第一类角点的真实信息，基于预设的第一损失函数确定第一类角点损失值；

根据所述各样本第二类角点的预测信息，以及所述各样本第二类角点的真实信息，基于预设的第二损失函数确定第二类角点损失值；

根据所述各样本中心点的预测信息，以及所述各样本中心点的真实信息，基于预设的第三损失函数确定中心点损失值；

根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，对所述初始模型进行训练，生成所述检测模型。

在一种可选的实施方式中，所述根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，对所述初始模型进行训练，生成所述检测模型，包括：

根据所述第一类角点损失值，对所述初始模型第一网络部分的第一分支的参数进行调整，生成所述检测模型第一网络部分的第一分支；

根据所述第二类角点损失值，对所述初始模型第一网络部分的第二分支的参数进行调整，生成所述检测模型第一网络部分的第二分支；

根据所述中心点损失值，对所述初始模型第二网络部分的参数进行调整，生成所述检测模型第二网络部分。

在一种可选的实施方式中，所述根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，对所述初始模型进行训练，生成所述检测模型，包括：

根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，确定目标损失值；

基于所述目标损失值对所述初始模型中的参数进行调整，生成所述检测模型。

在一种可选的实施方式中，基于所述检测模型确定所述待处理图像中各第一类角点的信息，还包括：

基于所述第一分支确定用于对所述第一类角点的位置坐标进行矫正的所述第一类角点的角点偏移量；

基于所述检测模型确定所述待处理图像中各第二类角点的信息，还包括：

基于所述第二分支确定用于对所述第二类角点的位置坐标进行矫正的所述第二类角点的角点偏移量。

在一种可选的实施方式中，在所述将所述连线关系与所述待处理图像对应的标准连线关系进行比较之前，所述方法还包括：

获取连线题库，其中，所述连线题库包括：多个包含标准连线关系的标准连线题图像；

识别所述待处理图像中的试题内容，根据所述试题内容在所述连线题库中搜索，得到所述待处理图像对应的标准连线题图像；

将所述待处理图像对应的标准连线题图像中的连线关系，作为所述待处理图像对应的标准连线关系。

根据本申请的第二方面，提供了一种连线题批改装置，包括：

待处理图像获取模块，用于获取待处理图像，其中，所述待处理图像包括多个子区域以及连接所述子区域的多根连接线；

角点信息确定模块，用于基于预先训练的检测模型确定所述待处理图像中各第一类角点的信息和各第二类角点的信息，所述第一类角点的信息包括：所述第一类角点的位置坐标和所述第一类角点指向第二类角点的偏移量；所述第二类角点的信息包括：所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量；

连线关系确定模块，用于根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系；

批改结果确定模块，用于将所述连线关系与所述待处理图像对应的标准连线关系进行比较，得到批改结果。

在一种可选的实施方式中，所述连线关系确定模块，具体用于根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，所述连线题批改装置，还包括：

中心点信息确定模块，用于基于所述检测模型确定所述待处理图像中各中心点的信息，所述中心点为所述连接线上的点，所述中心点的信息包括：所述中心点的位置坐标；

所述第一类角点的信息还包括：所述第一类角点指向中心点的偏移量；所述第二类角点的信息还包括：所述第二类角点指向中心点的偏移量；

所述连线关系确定模块，具体用于根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向第一类角点的偏移量、所述第一类角点指向中心点的偏移量、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，所述检测模型包括：第一网络部分，所述第一网络部分包括：第一分支和第二分支；所述第一分支用于检测所述各第一类角点的信息，所述第二分支用于检测所述各第二类角点的信息；

所述角点信息确定模块包括：

第一类角点信息确定单元，用于基于所述第一分支确定所述各第一类角点的位置坐标的第一类角点得分图、所述各第一类角点指向第二类角点的偏移量和所述各第一类角点指向中心点的偏移量；

第二类角点信息确定单元，用于基于所述第二分支确定所述各第二类角点的位置坐标的第二类角点得分图、所述各第二类角点指向第一类角点的偏移量和所述各第二类角点指向中心点的偏移量。

在一种可选的实施方式中，所述连线关系确定模块，包括：

第二类角点对应关系确定单元，用于根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述各第一类角点和所述各第二类角点之间的对应关系；

连线关系确定单元，用于根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，所述第二类角点对应关系确定单元具体用于针对单个所述第一类角点，根据该第一类角点的位置坐标和该第一类角点指向第二类角点的偏移量，确定第二类角点预测位置坐标；

确定所述各第二类角点中与所述第二类角点预测位置坐标之间的距离最小，且小于预设距离阈值的第二类角点，与该第一类角点具有对应关系；或者，

针对单个所述第二类角点，根据该第二类角点的位置坐标和该第二类角点指向第一类角点的偏移量，确定第一类角点预测位置坐标；

确定所述各第一类角点中与所述第一类角点预测位置坐标之间的距离最小，且小于所述预设距离阈值的第一类角点，与该第二类角点具有对应关系。

在一种可选的实施方式中，连线关系确定单元，具体用于根据所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述第一类角点和所述中心点的对应关系；根据所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述第二类角点和所述中心点的对应关系；根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点和所述中心点的对应关系和所述第二类角点和所述中心点的对应关系，确定所述待处理图像中各子区域的连线关系。

在一种可选的实施方式中，所述检测模型还包括：第二网络部分；所述第二网络部分用于检测所述各中心点的信息；

所述中心点信息确定模块具体用于基于所述第二网络部分确定所述各中心点的位置坐标的中心点得分图；或者，

基于所述第二网络部分确定所述各中心点的位置坐标的中心点得分图，以及以下一种或多种：用于对所述中心点的位置坐标进行矫正的所述中心点的中心点偏移量、所述中心点对应的目标区域的宽度和高度、所述目标区域与预设方向的夹角，其中，所述目标区域为包含所述中心点所在连接线的矩形框。

在一种可选的实施方式中，上述连线题批改装置，还包括：

样本图像获取模块，用于获取多个样本图像，所述样本图像包括多个样本子区域以及连接所述样本子区域的多根连接线；

第一类样本角点信息预测模块，用于通过初始模型第一网络部分的第一分支对所述样本图像进行处理，得到各样本第一类角点的预测信息；所述样本第一类角点的预测信息包括：所述样本第一类角点的预测得分图、所述样本第一类角点指向样本第二类角点的预测偏移量、所述样本第一类角点指向样本中心点的预测偏移量；

第二类样本角点信息预测模块，用于通过所述初始模型第一网络部分的第二分支对所述样本图像进行处理，得到各样本第二类角点的预测信息；所述样本第二类角点的预测信息包括：所述样本第二类角点的预测得分图、所述样本第二类角点指向样本第一类角点的预测偏移量、所述样本第二类角点指向样本中心点的预测偏移量；

样本中心点信息预测模块，用于通过所述初始模型的第二网络部分对所述样本图像进行处理，得到各样本中心点的预测信息；所述样本中心点的预测信息包括：所述样本中心点的预测得分图、目标样本区域的预测宽度和预测高度以及所述目标样本区域与预设方向的预测夹角；所述目标样本区域为包含所述样本中心点所在连线的矩形框；

标签数据获取模块，用于获取所述样本图像的标签数据，所述标签数据包括：所述样本第一类角点的真实信息、所述样本第二类角点的真实信息和所述样本中心点的真实信息；其中，样本第一类角点的真实信息包括：所述样本第一类角点的真实得分图、所述样本第一类角点指向样本第二类角点的真实偏移量、所述样本第一类角点指向样本中心点的真实偏移量；所述样本第二类角点的真实信息包括：所述样本第二类角点的真实得分图、所述样本第二类角点指向样本第一类角点的真实偏移量、所述样本第二类角点指向样本中心点的真实偏移量；所述样本中心点的真实信息包括：所述样本中心点的真实得分图、所述目标样本区域的真实宽度和真实高度以及所述目标样本区域与所述预设方向的真实夹角；

模型训练模块，用于根据所述各样本第一类角点的预测信息、所述各样本第二类角点的预测信息、各样本中心点的预测信息，以及所述样本图像的标签数据，基于预设的损失函数，对所述初始模型进行训练，生成所述检测模型。

在一种可选的实施方式中，所述模型训练模块包括：

第一类角点损失值确定单元，用于根据所述各样本第一类角点的预测信息，以及所述样本第一类角点的真实信息，基于预设的第一损失函数确定第一类角点损失值；

第二类角点损失值确定单元，用于根据所述各样本第二类角点的预测信息，以及所述各样本第二类角点的真实信息，基于预设的第二损失函数确定第二类角点损失值；

中心点损失值确定单元，用于根据所述各样本中心点的预测信息，以及所述样本中心点的真实信息，基于预设的第三损失函数确定中心点损失值；

模型训练单元，用于根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，对所述初始模型进行训练，生成所述检测模型。

在一种可选的实施方式中，所述模型训练单元，具体用于根据所述第一类角点损失值，对所述初始模型第一网络部分的第一分支的参数进行调整，生成所述检测模型第一网络部分的第一分支；根据所述第二类角点损失值，对所述初始模型第一网络部分的第二分支的参数进行调整，生成所述检测模型第一网络部分的第二分支；根据所述中心点损失值，对所述初始模型第二网络部分的参数进行调整，生成所述检测模型第二网络部分。

在一种可选的实施方式中，所述模型训练单元，具体用于根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，确定目标损失值；基于所述目标损失值对所述初始模型中的参数进行调整，生成所述检测模型。

在一种可选的实施方式中，所述第一类角点信息确定单元，还用于基于所述第一分支确定用于对所述第一类角点的位置坐标进行矫正的所述第一类角点的角点偏移量；

所述第二类角点信息确定单元，还用于基于所述第二分支确定用于对所述第二类角点的位置坐标进行矫正的所述第二类角点的角点偏移量。

在一种可选的实施方式中，上述连线题批改装置，还包括：

题库获取模块，用于获取连线题库，其中，所述连线题库包括：多个包含标准连线关系的标准连线题图像；

标准连线题图像搜索模块，用于识别所述待处理图像中的试题内容，根据所述试题内容在所述连线题库中搜索，得到所述待处理图像对应的标准连线题图像；

标准连线关系确定模块，用于将所述待处理图像对应的标准连线题图像中的连线关系，作为所述待处理图像对应的标准连线关系。

根据本申请的第三方面，提供了一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的方法。

根据本申请的第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

本申请实施例提供的技术方案与现有技术相比具有如下优点：

通过预先训练的检测模型检测待处理图像中第一类角点的信息和第二类角点的信息（例如，对于上下连线题图像，第一类角点可以为上角点，第二类角点可以为下角点），根据第一类角点的信息和第二类角点的信息即可确定待处理图像中的连线关系。这样，即使具有连线关系的两个区域之间通过曲线进行连接，也可以识别出待处理图像中的连线关系，从而可以提高待处理图像中连线关系识别的准确性。并且，不论任何类型的连线题，尤其是无法通过逻辑运算的方式确定连线关系的连线题，本申请也可以直接通过检测模型检测第一类角点的信息和第二类角点的信息，确定连线关系，将该连线关系与标准连线关系进行比较即可判题。因此，可以提高连线题判题的通用性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为关于数值计算类型的连线题的一种示意图；

图2示出了可以应用本申请实施例的连线题批改方法及装置的示例性应用环境的系统架构的示意图；

图3为本申请实施例中连线题批改方法的一种示意图；

图4为本申请实施例中连线题批改方法的一种流程图；

图5为本申请实施例中目标区域的一种示意图；

图6为本申请实施例中目标区域中上第二类角点的一种示意图；

图7为本申请实施例中连线题批改方法的又一种流程图；

图8为本申请实施例中的一种连线关系示意图；

图9A为本申请实施例中检测模型训练方法的一种流程图；

图9B为本申请实施例中检测模型具体训练过程的一种流程图；

图10为本申请实施例中连线题批改装置的一种结构示意图；

图11为本申请实施例中电子设备的一种结构示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。

在教育领域，通过拍照判题可以提高判题的效率。现有的拍照判题方法中，只能处理可以用逻辑规则进行批改的常规题型，例如，计算题（横式、竖式和脱式等），关于数值计算的连线题等等。参见图1，图1为关于数值计算类型的连线题的一种示意图，可以看出，直接通过计算的方式即可找出对应关系，具体如下：

首先，可以利用版面分析模型将整个连线题框起来，利用文本行检测模型检测题干框（即图1中有数字内容的框），并识别出框中的内容进行运算，然后识别出连线的位置，判断连线的位置和运算结果是否匹配。然而，上述识别连线的过程中，可能存在着多种误差，导致识别结果不够准确。

除此之外，上述方法无法处理不能计算的连线题。例如，上一行是各种数量的小苹果，下一行是各种数量的小鸭梨，题目要求将相同数量的小苹果和小鸭梨连接起来，该类问题虽然可以通过训练模型检测每种数量的物体并将其框起来，当然也可以增加一个分类模型，用于识别检测框中的小苹果有几个，然后再进行连线判断。但是，对于有题意描述的连线题，例如，小红和小军是好朋友，小兰和小黄是好朋友，上一行是名字，下一行也是名字，要求将好朋友连起来，针对该类问题，无法通过上述方法解决。

综上所述，针对每种类型的连线题，虽然可以通过设置一种检测和识别模型以及判题策略，来解决该类型的连线题问题，但是，每个网络均需要大量的数据进行训练，成本较高。

基于此，本申请实施例提供了一种连线题批改方法、装置、电子设备及存储介质，通过准确识别图像中的连线关系，将该连线关系与标准答案进行比较，可以对所有类型的连线题进行批改，从而可以扩展拍照判题所处理题目的样式。

图2示出了可以应用本申请实施例的连线题批改方法及装置的示例性应用环境的系统架构的示意图。

如图2所示，系统架构200可以包括终端设备201、终端设备202、终端设备203中的一个或多个，网络204和服务器205。网络204用以在终端设备201、终端设备202、终端设备203和服务器105之间提供通信链路的介质。网络204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备201、终端设备202、终端设备203可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器205可以是多个服务器组成的服务器集群等。

本申请实施例所提供的连线题批改方法一般由服务器205执行，相应地，连线题批改装置可以设置于服务器205中。但本领域技术人员容易理解的是，本申请实施例所提供的连线题批改方法也可以由终端设备201、终端设备202、终端设备203执行，相应地，连线题批改装置也可以设置于终端设备201、终端设备202、终端设备203中。举例而言，可以是终端设备201、终端设备202、终端设备203对完成的连线题进行拍照，得到待处理图像，并将待处理图像上传至服务器205，服务器205通过本申请实施例所提供的连线题批改方法确定批改结果，并将批改结果显示在终端设备201、终端设备202、终端设备203上。

参见图3，图3为本申请实施例中连线题批改方法的一种示意图，服务器205在获取上述待处理图像后，可以将待处理图像输入检测模型，通过检测模型的三个分支（第一类角点检测分支、第二类角点检测分支和中心点检测分支）分别检测第一类角点的信息、第二类角点的信息和中心点的信息，根据第一类角点的信息、第二类角点的信息和中心点的信息可以确定待处理图像中的连线关系。根据待处理图像，在题库中进行搜索，得到待处理图像对应的标准连线关系，将待处理图像中的连线关系和该标准连线关系进行比较，即可确定连线题的批改结果。

以下首先对本申请实施例的连线题批改方法进行详细介绍。

参见图4，图4为本申请实施例中连线题批改方法的一种流程图，可以包括以下步骤：

步骤410，获取待处理图像，其中，待处理图像包括多个子区域以及连接子区域的多根连接线。

本申请实施例中，待处理图像可以是任何具有连线关系的图像，例如，可以是对学生所做的连线题进行拍照之后得到的图像等。子区域指具有连线关系的区域，假设一个连线题上面包含10个框，下面包含10个框，可以确定该待处理图像中包含20个子区域。本申请还可以将具有连线关系的两个框作为一个物体，对于上述连线题，可以确定该连线题中包含10个类型的物体。

步骤420，基于预先训练的检测模型确定目标区域中各第一类角点的信息和各第二类角点的信息，第一类角点的信息包括：第一类角点的位置坐标和第一类角点指向第二类角点的偏移量；第二类角点的信息包括：第二类角点的位置坐标和第二类角点指向第一类角点的偏移量。

本申请实施例中，检测模型是预先训练完成的、可以检测待处理图像中第一类角点的信息和第二类角点的信息的模型。第一类角点和第二类角点是待处理图像中目标区域的第一类角点和第二类角点。在检测到第一类角点的信息和第二类角点的信息后，可以根据第一类角点的信息和第二类角点的信息确定该目标区域。

其中，目标区域指包含两个框的连线部分（可以是直线或曲线）的区域，目标区域可以是矩形区域、椭圆形区域或其他形状的区域，本申请对此不做限定。参见图5，图5为本申请实施例中目标区域的一种示意图，图5中包含3个不同类型的物体。目标区域510即为虚线框部分，该目标区域510中的连线可以连接子区域501和子区域502。

为了减小误差，提高连线关系识别的准确性，目标区域的第一类角点和第二类角点分别可以为具有连线关系的两个子区域内的点。每个第一类角点和第二类角点均可以对应一个子区域。如图6所示，目标区域510的第一类角点521和第二类角点522分别可以为子区域501和子区域502的中心点。需要说明的是，连线题中各子区域的排列方式不同，第一类角点和第二类角点的类型也可以不同。例如，对于上下连线图，第一类角点可以为上角点，第二类角点可以为下角点；对于左右连线题，第一类角点可以为左角点，第二类角点可以为右角点。

在检测过程中，检测模型可以对待处理图像中的每个像素点进行检测，分别得到第一类角点得分图和第二类角点得分图，第一类角点得分图表示每个像素点属于第一类角点的概率，第二类角点得分图表示每个像素点属于第二类角点的概率，对第一类角点得分图和第二类角点得分图分别进行二值化，可以确定多个第一类角点的位置坐标和多个第二类角点的位置坐标。

在确定第一类角点的信息时，针对每个像素点，检测模型还可以输出该像素点指向第二类角点的偏移量。在确定第二类角点的信息时，针对每个像素点，检测模型还可以输出该像素点指向第一类角点的偏移量。需要说明的是，第一类角点指向第二类角点的偏移量指的是属于第一类角点的像素点指向第二类角点的偏移量，第二类角点指向第一类角点的偏移量指的是属于第二类角点的像素点指向第一类角点的偏移量。

步骤430，根据各第一类角点的信息和各第二类角点的信息，确定待处理图像中各子区域的连线关系。

需要说明的是，在得到第一类角点的信息和第二类角点的信息后，可以直接根据第一类角点的信息和第二类角点的信息，确定待处理图像中的连线关系。例如，针对每个第一类角点，可以将该第一类角点的位置坐标与第一类角点指向第二类角点的偏移量相加，得到第二类角点预测位置坐标，将与该第二类角点预测位置坐标距离最近的第二类角点作为与该第一类角点对应的第二类角点。根据该第一类角点和该第一类角点对应的第二类角点，确定连线关系。或者，针对每个第二类角点，可以将该第二类角点的位置坐标与第二类角点指向第一类角点的偏移量相加，得到第一类角点预测位置坐标，将与该第一类角点预测位置坐标距离最近的第一类角点作为与该第二类角点对应的第一类角点。根据该第二类角点和该第二类角点对应的第一类角点，确定连线关系。

或者，也可以根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标和第二类角点指向第一类角点的偏移量，确定待处理图像中各子区域的连线关系。即，针对每个第一类角点和每个第二类角点，分别确定第一类角点对应的第二类角点，以及第二类角点对应的第一类角点。这样，可以更准确地确定第一类角点和第二类角点之间的对应关系，根据该对应关系确定连线关系可以提高连线关系确定的准确性。根据上述方法，即使待处理图像中的连线是曲线，也可以准确识别出待处理图像中的连线关系。

步骤440，将连线关系与待处理图像对应的标准连线关系进行比较，得到批改结果。

具体的，待处理图像中对应的标准连线关系可以是预先根据待处理图像中的试题确定的标准答案。在一种可选的实施方式中，可以先获取连线题库，其中，连线题库包括：多个包含标准连线关系的标准连线题图像。通过识别待处理图像中的试题内容，根据试题内容在连线题库中搜索，得到待处理图像对应的标准连线题图像。标准连线题图像中包含的连线题内容与待处理图像中的连线题内容相同，即标准连线题图像中包含的要连线的框的内容，以及各个框的排列顺序均与待处理图像中包含的要连线的框的内容，以及各个框的排列顺序相同。将待处理图像对应的标准连线题图像中的连线关系，作为待处理图像对应的标准连线关系。然后，将待处理图像中的连线关系与标准连线关系进行比较，得到批改结果。

本申请实施例的连线题批改方法，通过预先训练的检测模型检测待处理图像中第一类角点的信息和第二类角点的信息（例如，对于上下连线题图像，第一类角点可以为上角点，第二类角点可以为下角点），根据第一类角点的信息和第二类角点的信息，即可确定待处理图像中的连线关系。这样，即使具有连线关系的两个区域之间通过曲线进行连接，也可以识别出待处理图像中的连线关系，从而可以提高待处理图像中连线关系识别的准确性。并且，不论任何类型的连线题，尤其是无法通过逻辑运算的方式确定连线关系的连线题，本申请也可以直接通过检测模型检测第一类角点的信息和第二类角点的信息，确定连线关系，将该连线关系与标准连线关系进行比较即可判题。因此，可以提高连线题判题的通用性。

参见图7，图7为本申请实施例中连线题批改方法的又一种流程图，可以包括以下步骤：

步骤710，获取待处理图像，其中，待处理图像包括多个子区域以及连接子区域的多根连接线。

需要说明的是，本步骤与图4实施例步骤410相同，具体参见图4实施例中的描述即可，在此不再赘述。

步骤720，基于预先训练的检测模型确定目标区域中各第一类角点的信息、各第二类角点的信息和各中心点的信息，第一类角点的信息包括：第一类角点的位置坐标、第一类角点指向第二类角点的偏移量和第一类角点指向中心点的偏移量；第二类角点的信息包括：第二类角点的位置坐标、第二类角点指向第一类角点的偏移量和第二类角点指向中心点的偏移量；中心点为连接线上的点，中心点的信息包括：中心点的位置坐标。

本申请实施例中，检测模型除了检测待处理图像中第一类角点的信息和第二类角点的信息之外，还可以检测中心点的信息，在第一类角点的信息和第二类角点的信息的基础上，进一步结合中心点的信息确定待处理图像中各子区域的连线关系。类似地，检测模型可以对待处理图像中的每个像素点进行检测，得到中心点得分图，中心点得分图表示每个像素点属于中心点的概率，对上述得分图进行二值化，可以确定多个中心点的位置坐标。

相应地，在确定第一类角点的信息时，第一类角点的信息还可以包括：第一类角点指向中心点的偏移量；在确定第二类角点的信息时，第二类角点的信息还包括：第二类角点指向中心点的偏移量。这样，通过三种点（第一类角点、第二类角点和中心点）的信息确定连线关系，与通过两种点（第一类角点和第二类角点）的信息确定连线关系相比，可以提高连线关系确定的准确性。例如，在检测到的第二类角点的数量与第一类角点的数量不相等的情况下，即第一类角点丢失或第二类角点丢失，也可以根据第二类角点指向中心点的偏移量或第一类角点指向中心点的偏移量，准确识别待处理图像中各子区域的连线关系。以及，在中心点丢失的情况下，或中心点重合的情况下，也可以准确识别待处理图像中的连线关系。

参见图8，图8为本申请实施例中的一种连线关系示意图，可以看出，目标区域810和目标区域820的中心点重合，均为中心点801。如果检测到待处理图像中第一类角点、第二类角点的数量均为3，检测到的中心点的数量为2，根据3个第一类角点的位置坐标、每个第一类角点指向第二类角点的偏移量、3个第二类角点的位置坐标、每个第二类角点指向第一类角点的偏移量、每个第一类角点指向中心点的偏移量、每个第二类角点指向中心点的偏移量和2中心点的位置坐标，可以准确识别待处理图像中的连线关系。

在一种可选的实施方式中，检测模型可以包括：第一网络部分，例如，可以是cornernet网络，第一网络部分包括：第一分支和第二分支；第一分支用于检测各第一类角点的信息，第二分支用于检测各第二类角点的信息；可以基于第一分支确定各第一类角点的位置坐标的第一类角点得分图、各第一类角点指向第二类角点的偏移量和各第一类角点指向中心点的偏移量；基于第二分支确定各第二类角点的位置坐标的第二类角点得分图、各第二类角点指向第一类角点的偏移量和各第二类角点指向中心点的偏移量。

可选的，基于第一分支还可以确定用于对第一类角点的位置坐标进行矫正的第一类角点的角点偏移量。这样，通过该第一类角点的角点偏移量对第一类角点的位置坐标进行矫正，使矫正后的第一类角点的位置坐标更接近真实的第一类角点的位置坐标。同样地，可以基于第二分支确定用于对第二类角点的位置坐标进行矫正的第二类角点的角点偏移量。这样，通过该第二类角点的角点偏移量对第二类角点的位置坐标进行矫正，使矫正后的第二类角点的位置坐标更接近真实的第二类角点的位置坐标。进一步地，可以提高连线关系识别的准确性。

在一种可选的实施方式中，检测模型还可以包括：第二网络部分，例如，可以是centernet网络；第二网络部分用于检测各中心点的信息；可以基于第二网络部分确定各中心点的位置坐标的中心点得分图。或者，基于第二网络部分确定各中心点的位置坐标的中心点得分图，以及以下一种或多种：用于对中心点的位置坐标进行矫正的中心点的中心点偏移量、中心点对应的目标区域的宽度和高度、目标区域与预设方向的夹角，其中，目标区域为包含中心点所在连接线的矩形框。

其中，通过中心点的中心点偏移量对中心点的位置坐标进行矫正，可以使矫正后的中心点的位置坐标更接近真实的中心点的位置坐标，以进一步提高连线关系识别的准确性。需要说明的是，在检测模型应用阶段，可以不使用目标区域的宽度和高度，以及目标区域与预设方向的夹角。而是在模型训练阶段，通过目标样本区域的宽度和高度，以及目标样本区域与预设方向的夹角来优化检测模型的参数，以提高训练生成的检测模型的准确性。

步骤730，根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标、第二类角点指向第一类角点的偏移量、第一类角点指向中心点的偏移量、第二类角点指向中心点的偏移量和中心点的位置坐标，确定待处理图像中各子区域的连线关系。

需要说明的是，由于根据第一类角点、第二类角点和中心点中的任意两个点的位置坐标，以及该两个点中一个点指向另一个点的偏移量，即可确定该两个点是否在一条直线上。因此，根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标、第二类角点指向第一类角点的偏移量、第一类角点指向中心点的偏移量、第二类角点指向中心点的偏移量和中心点的位置坐标，确定待处理图像中各子区域的连线关系的方式可以有多种。

在一种可选的实施方式中，可以先根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标和第二类角点指向第一类角点的偏移量，确定各第一类角点和各第二类角点之间的对应关系。之后，根据各第一类角点和各第二类角点之间的对应关系、第一类角点的位置坐标、第一类角点指向中心点的偏移量、第二类角点的位置坐标、第二类角点指向中心点的偏移量和中心点的位置坐标，确定待处理图像中各子区域的连线关系。

具体的，针对单个第一类角点，可以根据该第一类角点的位置坐标和该第一类角点指向第二类角点的偏移量，确定第二类角点预测位置坐标。确定各第二类角点中与第二类角点预测位置坐标之间的距离最小，且小于预设距离阈值的第二类角点，与该第一类角点具有对应关系。或者，针对单个第二类角点，根据该第二类角点的位置坐标和该第二类角点指向第一类角点的偏移量，确定第一类角点预测位置坐标。确定各第一类角点中与第一类角点预测位置坐标之间的距离最小，且小于预设距离阈值的第一类角点，与该第二类角点具有对应关系。

类似地，也可以根据第一类角点的位置坐标、第一类角点指向中心点的偏移量和中心点的位置坐标，确定第一类角点和中心点的对应关系；以及根据第二类角点的位置坐标、第二类角点指向中心点的偏移量和中心点的位置坐标，确定第二类角点和中心点的对应关系；根据各第一类角点和各第二类角点之间的对应关系、第一类角点和中心点的对应关系和第二类角点和中心点的对应关系，确定待处理图像中各子区域的连线关系。

步骤740，将该连线关系与待处理图像对应的标准连线关系进行比较，得到批改结果。

本申请实施例的连线题批改方法，可以根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标、第二类角点指向第一类角点的偏移量、第一类角点指向中心点的偏移量、第二类角点指向中心点的偏移量和中心点的位置坐标，确定待处理图像中各子区域的连线关系。这样，在第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标和第二类角点指向第一类角点的偏移量存在误差的情况下，或检测到的第一类角点、第二类角点数量不相等的情况下，结合第一类角点指向中心点的偏移量、第二类角点指向中心点的偏移量和中心点的位置坐标，提高连线关系识别的准确性。例如，在第二类角点丢失的情况下，根据第一类角点的位置坐标、第一类角点指向中心点的偏移量和中心点的位置坐标，确定连线关系，并进一步结合第一类角点指向第二类角点的偏移量确定该连线关系的准确性，从而可以提高连线关系识别的准确性。并且，不论任何类型的连线题，均可以直接通过检测模型检测第一类角点的信息、第二类角点的信息和中心点的信息，确定连线关系，将该连线关系与标准连线关系进行比较即可判题。因此，可以提高连线题判题的通用性。

参见图9A，图9A为本申请实施例中检测模型训练方法的一种流程图，可以包括以下步骤：

步骤910，获取多个样本图像，样本图像包括多个样本子区域以及连接样本子区域的多根连接线。

需要说明的是，样本图像可以是包含正确连线关系的图像，由于在实际训练过程中，每个连线题可能要连接的框的数量不一样，因此，检测模型中物体（具有连线关系的两个框作为一个物体）的数量可以取一个合理的较大值，例如20等。物体数量不足20的位置可以补零。

步骤920，通过初始模型第一网络部分的第一分支对样本图像进行处理，得到各样本第一类角点的预测信息；样本第一类角点的预测信息包括：样本第一类角点的预测得分图、样本第一类角点指向样本第二类角点的预测偏移量、样本第一类角点指向样本中心点的预测偏移量。

本申请实施例中，初始模型指的是未经过训练的、与训练完成的检测模型结构相同的模型，初始模型中的参数可以是预先设置初始值，通过训练的过程对初始模型中的参数进行调整，从而得到检测模型。可以理解的是，通过初始模型第一网络部分的第一分支对样本图像进行处理，可以得到各样本第一类角点的预测信息，每个样本第一类角点的预测信息与对应的样本第一类角点的真实信息之间存在误差，通过训练，可以逐步减小该误差。

步骤930，通过初始模型第一网络部分的第二分支对样本图像进行处理，得到各样本第二类角点的预测信息；样本第二类角点的预测信息包括：样本第二类角点的预测得分图、样本第二类角点指向样本第一类角点的预测偏移量、样本第二类角点指向样本中心点的预测偏移量。

类似地，通过初始模型第一网络部分的第二分支对样本图像进行处理，可以得到各样本第二类角点的预测信息，每个样本第二类角点的预测信息与对应的样本第二类角点的真实信息之间存在误差，通过训练，可以逐步减小该误差。

步骤940，通过初始模型的第二网络部分对样本图像进行处理，得到各样本中心点的预测信息；样本中心点的预测信息包括：样本中心点的预测得分图、目标样本区域的预测宽度和预测高度以及目标样本区域与预设方向的预测夹角；目标样本区域为包含样本中心点所在连线的矩形框。

类似地，通过初始模型第二网络部分对样本图像进行处理，可以得到各样本中心点的预测信息，每个样本中心点的预测信息与对应的样本中心点的真实信息之间存在误差，通过训练，可以逐步减小该误差。

步骤950，获取样本图像的标签数据，标签数据包括：样本第一类角点的真实信息、样本第二类角点的真实信息和样本中心点的真实信息；其中，样本第一类角点的真实信息包括：样本第一类角点的真实得分图、样本第一类角点指向样本第二类角点的真实偏移量、样本第一类角点指向样本中心点的真实偏移量；样本第二类角点的真实信息包括：样本第二类角点的真实得分图、样本第二类角点指向样本第一类角点的真实偏移量、样本第二类角点指向样本中心点的真实偏移量；样本中心点的真实信息包括：样本中心点的真实得分图、目标样本区域的真实宽度和真实高度以及目标样本区域与预设方向的真实夹角。

本申请实施例中，针对每个样本图像，均包含正确的连线关系，因此，可以确定样本图像中的第一类角点、第二类角点和中心点。具体的，可以将该样本图像划分为多个像素，例如，对于100×100大小的样本图像，如果包含三通道的特征，则像素点个数为100×100×3，即30000个像素点。可以根据样本图像中的像素点建立坐标系，确定样本第一类角点的真实位置坐标、样本第二类角点的真实位置坐标和样本中心点的真实位置坐标。并根据样本第一类角点的真实位置坐标、样本第二类角点的真实位置坐标和样本中心点的真实位置坐标，确定样本第一类角点指向样本第二类角点的真实偏移量、样本第一类角点指向样本中心点的真实偏移量；以及样本第二类角点指向样本第一类角点的真实偏移量、样本第二类角点指向样本中心点的真实偏移量。并且，还可以确定目标样本区域的真实宽度和真实高度以及目标样本区域与预设方向的真实夹角。

由于检测模型包含三个分支，针对第一网络部分的第一分支，可以将第一类角点对应的像素点置为1，其他位置的像素点置为0，建立样本第一类角点的真实得分图。可以理解的是，像素点为1的数量与要连线的框的组数相等。假设试题中包含10组已经连线的框，那么，像素点为1的数量即为10。可以将样本第一类角点的真实得分图、样本第一类角点指向样本第二类角点的真实偏移量、样本第一类角点指向样本中心点的真实偏移量，作为样本第一类角点的真实信息。或者，也可以将样本第一类角点的真实得分图、样本第一类角点指向样本第二类角点的真实偏移量、样本第一类角点指向样本中心点的真实偏移量，以及第一类角点的真实偏移量（为0），作为样本第一类角点的真实信息。

类似地，针对第一网络部分的第二分支，可以将第二类角点对应的像素点置为1，其他位置的像素点置为0，建立样本第二类角点的真实得分图。可以将样本第二类角点的真实得分图、样本第二类角点指向样本第一类角点的真实偏移量、样本第二类角点指向样本中心点的真实偏移量，作为样本第二类角点的真实信息。或者，还可以将样本第二类角点的真实得分图、样本第二类角点指向样本第一类角点的真实偏移量、样本第二类角点指向样本中心点的真实偏移量以及第二类角点的角点偏移量（为0），作为样本第二类角点的真实信息。

针对第二网络部分，也可以得到样本中心点的真实得分图。还可以确定每个样本图像中的目标样本区域，以及目标样本区域的真实宽度和真实高度，以及目标样本区域与预设方向的真实夹角。可以将样本中心点的真实得分图、目标样本区域的真实宽度和真实高度，以及目标样本区域与预设方向的真实夹角，作为样本中心点的真实信息。或者，也可以将样本中心点的真实得分图、目标样本区域的真实宽度和真实高度、目标样本区域与预设方向的真实夹角，以及样本中心点的中心点偏移量（为0），作为样本中心点的真实信息。至此，得到了样本图像的标签数据。

其中，目标样本区域为矩形时，目标样本区域与预设方向的夹角可以指目标样本区域中较长的边与预设方向的夹角。预设方向可以是竖直向上或水平向右等等。

步骤960，根据各样本第一类角点的预测信息、各样本第二类角点的预测信息、各样本中心点的预测信息，以及样本图像的标签数据，基于预设的损失函数，对初始模型进行训练，生成检测模型。

本申请实施例中，在训练过程中，针对初始模型的第一网络部分的第一分支，可以基于各样本第一类角点的预测信息，以及样本图像的标签数据中各样本第一类角点的真实信息，确定第一分支的损失值。针对初始模型的第一网络部分的第二分支，基于各样本第二类角点的预测信息，以及样本图像的标签数据中各样本第二类角点的真实信息，确定第二分支的损失值。针对初始模型的第二网络部分，基于各样本中心点的预测信息，以及样本图像的标签数据中各样本中心点的真实信息，确定第二网络部分的损失值。基于上述第一分支的损失值、第二分支的损失值和第二网络部分的损失值，确定初始模型的损失值。基于该损失值对初始模型进行训练，得到检测模型。

在一种可选的实施方式中，步骤960的具体实现过程可参见图9B，可以包括以下步骤：

步骤961，根据样本第一类角点的预测得分图、样本第一类角点指向样本第二类角点的预测偏移量、样本第一类角点指向样本中心点的预测偏移量，以及样本第一类角点的真实得分图、样本第一类角点指向样本第二类角点的真实偏移量、样本第一类角点指向样本中心点的真实偏移量，基于预设的第一损失函数确定第一类角点损失值。

步骤962，根据样本第二类角点的预测得分图、样本第二类角点指向样本第一类角点的预测偏移量、样本第二类角点指向样本中心点的预测偏移量，以及样本第二类角点的真实得分图、样本第二类角点指向样本第一类角点的真实偏移量、样本第二类角点指向样本中心点的真实偏移量，基于预设的第二损失函数确定第二类角点损失值。

步骤963，根据样本中心点的预测得分图、目标样本区域的预测宽度和预测高度、目标样本区域与预设方向的预测夹角，以及样本中心点的真实得分图、目标样本区域的真实宽度和真实高度以及目标样本区域与预设方向的真实夹角，基于预设的第三损失函数确定中心点损失值。

在上述步骤961~步骤963中，每个分支可以分别计算对应的损失值。如果初始模型的输出包括第一类角点的角点偏移量、第二类角点的角点偏移量和中心点的中心点偏移量，对于第一类角点的角点偏移量、第二类角点的角点偏移量和中心点的中心点偏移量均可以使用centernet网络中使用的focal loss损失函数。对于其他偏移量（例如，第一类角点指向第二类角点的偏移量、第一类角点指向中心点的偏移量、第二类角点指向第一类角点的偏移量、第二类角点指向中心点的偏移量），以及目标样本区域的宽度和高度、目标样本区域与预设方向的夹角等，均可以使用L1损失函数进行训练。即第一网络部分的第一分支的第一损失函数、第一网络部分的第二分支的第二损失函数和第二网络部分的第三损失函数均可以包含两种损失函数，可以将两种损失函数之和，或者加权之和分别作为第一网络部分的第一分支的第一损失函数、第一网络部分的第二分支的第二损失函数和第二网络部分的第三损失函数。

如前所述，在检测模型的应用阶段，检测模型也可以输出目标区域的宽度和高度，以及目标区域与预设方向的夹角。目标区域的宽度和高度，以及目标区域与预设方向的夹角在确定连线关系时并未使用。然而，在训练检测模型时，可以通过目标样本区域的宽度和高度，以及目标样本区域与预设方向的夹角对检测模型的模型参数进行优化，从而使最终训练完成的检测模型的准确性更高，进而提高连线关系识别的准确性。

步骤964，根据第一类角点损失值、第二类角点损失值和中心点损失值，对初始模型进行训练，生成检测模型。

本申请实施例中，在训练过程中，可以对三个分支分别训练，也可以对三个分支进行联合训练。在对三个分支分别训练时，可以根据第一类角点损失值，对初始模型第一网络部分的第一分支的参数进行调整，生成检测模型第一网络部分的第一分支；根据第二类角点损失值，对初始模型第一网络部分的第二分支的参数进行调整，生成检测模型第一网络部分的第二分支；根据中心点损失值，对初始模型第二网络部分的参数进行调整，生成检测模型第二网络部分。这样，通过对每个分支进行训练，可以提高每个分支的准确性，进而提高整个模型的准确性。

在对三个分支进行联合训练时，可以根据第一类角点损失值、第二类角点损失值和中心点损失值，确定目标损失值；基于目标损失值对初始模型中的参数进行调整，生成检测模型。其中，目标损失值可以是第一网络部分的第一分支的损失值、第一网络部分的第二分支的损失值和第二网络部分的损失值之和。或者，预先对第一网络部分的第一分支、第一网络部分的第二分支和第二网络部分设置对应的权重，将第一网络部分的第一分支的损失值、第一网络部分的第二分支的损失值和第二网络部分的损失值的加权之和作为目标损失值，等等。联合训练可以同时对模型中的所有参数进行调整，从而可以简化训练的过程，减小计算量。

相应于上述方法实施例，本申请实施例还提供了一种连线题批改装置，参见图10，图10为本申请实施例中连线题批改装置的一种结构示意图，连线题批改装置1000可以包括：

待处理图像获取模块1010，用于待处理图像获取模块，用于获取待处理图像，其中，待处理图像包括多个子区域以及连接子区域的多根连接线；

角点信息确定模块1020，用于基于预先训练的检测模型确定待处理图像中各第一类角点的信息和各第二类角点的信息，第一类角点的信息包括：第一类角点的位置坐标和第一类角点指向第二类角点的偏移量；第二类角点的信息包括：第二类角点的位置坐标和第二类角点指向第一类角点的偏移量；

连线关系确定模块1030，用于根据各第一类角点的信息和各第二类角点的信息，确定待处理图像中各子区域的连线关系；

批改结果确定模块1040，用于将连线关系与待处理图像对应的标准连线关系进行比较，得到批改结果。

在一种可选的实施方式中，连线关系确定模块，具体用于根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标和第二类角点指向第一类角点的偏移量，确定待处理图像中各子区域的连线关系。

在一种可选的实施方式中，连线题批改装置，还包括：

中心点信息确定模块，用于基于检测模型确定待处理图像中各中心点的信息，中心点为连接线上的点，中心点的信息包括：中心点的位置坐标；

第一类角点的信息还包括：第一类角点指向中心点的偏移量；第二类角点的信息还包括：第二类角点指向中心点的偏移量；

连线关系确定模块，具体用于根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标、第二类角点指向第一类角点的偏移量、第一类角点指向中心点的偏移量、第二类角点指向中心点的偏移量和中心点的位置坐标，确定待处理图像中各子区域的连线关系。

在一种可选的实施方式中，检测模型包括：第一网络部分，第一网络部分包括：第一分支和第二分支；第一分支用于检测各第一类角点的信息，第二分支用于检测各第二类角点的信息；

角点信息确定模块包括：

第一类角点信息确定单元，用于基于第一分支确定各第一类角点的位置坐标的第一类角点得分图、各第一类角点指向第二类角点的偏移量和各第一类角点指向中心点的偏移量；

第二类角点信息确定单元，用于基于第二分支确定各第二类角点的位置坐标的第二类角点得分图、各第二类角点指向第一类角点的偏移量和各第二类角点指向中心点的偏移量。

在一种可选的实施方式中，连线关系确定模块，包括：

第二类角点对应关系确定单元，用于根据第一类角点的位置坐标、第一类角点指向第二类角点的偏移量、第二类角点的位置坐标和第二类角点指向第一类角点的偏移量，确定各第一类角点和各第二类角点之间的对应关系；

连线关系确定单元，用于根据各第一类角点和各第二类角点之间的对应关系、第一类角点的位置坐标、第一类角点指向中心点的偏移量、第二类角点的位置坐标、第二类角点指向中心点的偏移量和中心点的位置坐标，确定待处理图像中各子区域的连线关系。

在一种可选的实施方式中，第二类角点对应关系确定单元具体用于针对单个第一类角点，根据该第一类角点的位置坐标和该第一类角点指向第二类角点的偏移量，确定第二类角点预测位置坐标；

确定各第二类角点中与第二类角点预测位置坐标之间的距离最小，且小于预设距离阈值的第二类角点，与该第一类角点具有对应关系；或者，

针对单个第二类角点，根据该第二类角点的位置坐标和该第二类角点指向第一类角点的偏移量，确定第一类角点预测位置坐标；

确定各第一类角点中与第一类角点预测位置坐标之间的距离最小，且小于预设距离阈值的第一类角点，与该第二类角点具有对应关系。

在一种可选的实施方式中，连线关系确定单元，具体用于根据第一类角点的位置坐标、第一类角点指向中心点的偏移量和中心点的位置坐标，确定第一类角点和中心点的对应关系；根据第二类角点的位置坐标、第二类角点指向中心点的偏移量和中心点的位置坐标，确定第二类角点和中心点的对应关系；根据各第一类角点和各第二类角点之间的对应关系、第一类角点和中心点的对应关系和第二类角点和中心点的对应关系，确定待处理图像中各子区域的连线关系。

在一种可选的实施方式中，检测模型还包括：第二网络部分；第二网络部分用于检测各中心点的信息；

中心点信息确定模块具体用于基于第二网络部分确定各中心点的位置坐标的中心点得分图；或者，

基于第二网络部分确定各中心点的位置坐标的中心点得分图，以及以下一种或多种：用于对中心点的位置坐标进行矫正的中心点的中心点偏移量、中心点对应的目标区域的宽度和高度、目标区域与预设方向的夹角，其中，目标区域为包含中心点所在连接线的矩形框。

在一种可选的实施方式中，上述连线题批改装置，还包括：

样本图像获取模块，用于获取多个样本图像，样本图像包括多个样本子区域以及连接样本子区域的多根连接线；

第一类样本角点信息预测模块，用于通过初始模型第一网络部分的第一分支对样本图像进行处理，得到各样本第一类角点的预测信息；样本第一类角点的预测信息包括：样本第一类角点的预测得分图、样本第一类角点指向样本第二类角点的预测偏移量、样本第一类角点指向样本中心点的预测偏移量；

第二类样本角点信息预测模块，用于通过初始模型第一网络部分的第二分支对样本图像进行处理，得到各样本第二类角点的预测信息；样本第二类角点的预测信息包括：样本第二类角点的预测得分图、样本第二类角点指向样本第一类角点的预测偏移量、样本第二类角点指向样本中心点的预测偏移量；

样本中心点信息预测模块，用于通过初始模型的第二网络部分对样本图像进行处理，得到各样本中心点的预测信息；样本中心点的预测信息包括：样本中心点的预测得分图、目标样本区域的预测宽度和预测高度以及目标样本区域与预设方向的预测夹角；目标样本区域为包含样本中心点所在连线的矩形框；

标签数据获取模块，用于获取样本图像的标签数据，标签数据包括：样本第一类角点的真实信息、样本第二类角点的真实信息和样本中心点的真实信息；其中，样本第一类角点的真实信息包括：样本第一类角点的真实得分图、样本第一类角点指向样本第二类角点的真实偏移量、样本第一类角点指向样本中心点的真实偏移量；样本第二类角点的真实信息包括：样本第二类角点的真实得分图、样本第二类角点指向样本第一类角点的真实偏移量、样本第二类角点指向样本中心点的真实偏移量；样本中心点的真实信息包括：样本中心点的真实得分图、目标样本区域的真实宽度和真实高度以及目标样本区域与预设方向的真实夹角；

模型训练模块，用于根据各样本第一类角点的预测信息、各样本第二类角点的预测信息、各样本中心点的预测信息，以及样本图像的标签数据，基于预设的损失函数，对初始模型进行训练，生成检测模型。

在一种可选的实施方式中，模型训练模块包括：

第一类角点损失值确定单元，用于根据样本第一类角点的预测得分图、样本第一类角点指向样本第二类角点的预测偏移量、样本第一类角点指向样本中心点的预测偏移量，以及样本第一类角点的真实得分图、样本第一类角点指向样本第二类角点的真实偏移量、样本第一类角点指向样本中心点的真实偏移量，确定第一类角点损失值；

第二类角点损失值确定单元，用于根据样本第二类角点的预测得分图、样本第二类角点指向样本第一类角点的预测偏移量、样本第二类角点指向样本中心点的预测偏移量，以及样本第二类角点的真实得分图、样本第二类角点指向样本第一类角点的真实偏移量、样本第二类角点指向样本中心点的真实偏移量，确定第二类角点损失值；

中心点损失值确定单元，用于根据样本中心点的预测得分图、目标样本区域的预测宽度和预测高度、目标样本区域与预设方向的预测夹角，以及样本中心点的真实得分图、目标样本区域的真实宽度和真实高度以及目标样本区域与预设方向的真实夹角，确定中心点损失值；

模型训练单元，用于根据第一类角点损失值、第二类角点损失值和中心点损失值，对初始模型进行训练，生成检测模型。

在一种可选的实施方式中，模型训练单元，具体用于根据第一类角点损失值，对初始模型第一网络部分的第一分支的参数进行调整，生成检测模型第一网络部分的第一分支；根据第二类角点损失值，对初始模型第一网络部分的第二分支的参数进行调整，生成检测模型第一网络部分的第二分支；根据中心点损失值，对初始模型第二网络部分的参数进行调整，生成检测模型第二网络部分。

在一种可选的实施方式中，模型训练单元，具体用于根据第一类角点损失值、第二类角点损失值和中心点损失值，确定目标损失值；基于目标损失值对初始模型中的参数进行调整，生成检测模型。

在一种可选的实施方式中，第一类角点信息确定单元，还用于基于第一分支确定用于对第一类角点的位置坐标进行矫正的第一类角点的角点偏移量；

第二类角点信息确定单元，还用于基于第二分支确定用于对第二类角点的位置坐标进行矫正的第二类角点的角点偏移量。

在一种可选的实施方式中，上述连线题批改装置，还包括：

题库获取模块，用于获取连线题库，其中，连线题库包括：多个包含标准连线关系的标准连线题图像；

标准连线题图像搜索模块，用于识别待处理图像中的试题内容，根据试题内容在连线题库中搜索，得到待处理图像对应的标准连线题图像；

标准连线关系确定模块，用于将待处理图像对应的标准连线题图像中的连线关系，作为待处理图像对应的标准连线关系。

上述装置中各模块或单元的具体细节已经在对应的方法中进行了详细的描述，因此，此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本申请实施例还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述连线题批改方法的步骤。

图11为本申请实施例中电子设备的一种结构示意图。需要说明的是，图11示出的电子设备1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图11所示，电子设备1100包括中央处理单元（CPU）1101，其可以根据存储在只读存储器（ROM）1102中的程序或者从存储部分1108加载到随机访问存储器（RAM）1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出（I/O）接口1105也连接至总线1104。

以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如局域网（LAN）卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元（CPU）1101执行时，执行本申请的装置中限定的各种功能。

本申请实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述连线题批改方法的步骤。

需要说明的是，本申请所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

本申请实施例中，还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述连线题批改方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种连线题批改方法，其特征在于，所述方法包括：

获取待处理图像，其中，所述待处理图像包括多个子区域以及连接所述子区域的多根连接线；

基于预先训练的检测模型确定所述待处理图像中各第一类角点的信息和各第二类角点的信息，所述检测模型包括：第一网络部分，所述第一网络部分包括：第一分支和第二分支；所述第一分支用于检测所述各第一类角点的信息，所述第二分支用于检测所述各第二类角点的信息；所述第一类角点的信息包括：所述第一类角点的位置坐标和所述第一类角点指向第二类角点的偏移量；所述第二类角点的信息包括：所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量；

根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系，包括：根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述待处理图像中各子区域的连线关系；

将所述连线关系与所述待处理图像对应的标准连线关系进行比较，得到批改结果。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系之前，所述方法还包括：

基于所述检测模型确定所述待处理图像中各中心点的信息，所述中心点位于所述第一类角点和所述第二类角点之间，所述中心点的信息包括：所述中心点的位置坐标；

所述第一类角点的信息还包括：所述第一类角点指向中心点的偏移量；所述第二类角点的信息还包括：所述第二类角点指向中心点的偏移量；

所述根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系，包括：

根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向第一类角点的偏移量、所述第一类角点指向中心点的偏移量、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系。

3.根据权利要求2所述的方法，其特征在于，基于所述检测模型确定所述待处理图像中各第一类角点的信息，包括：

基于所述第一分支确定所述各第一类角点的位置坐标的第一类角点得分图、所述各第一类角点指向第二类角点的偏移量和所述各第一类角点指向中心点的偏移量；

基于所述检测模型确定所述待处理图像中各第二类角点的信息，包括：

基于所述第二分支确定所述各第二类角点的位置坐标的第二类角点得分图、所述各第二类角点指向第一类角点的偏移量和所述各第二类角点指向中心点的偏移量。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向第一类角点的偏移量、所述第一类角点指向中心点的偏移量、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系，包括：

根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述各第一类角点和所述各第二类角点之间的对应关系；

根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述各第一类角点和所述各第二类角点之间的对应关系，包括：

针对单个所述第一类角点，根据该第一类角点的位置坐标和该第一类角点指向第二类角点的偏移量，确定第二类角点预测位置坐标；

确定所述各第二类角点中与所述第二类角点预测位置坐标之间的距离最小，且小于预设距离阈值的第二类角点，与该第一类角点具有对应关系；或者，

针对单个所述第二类角点，根据该第二类角点的位置坐标和该第二类角点指向第一类角点的偏移量，确定第一类角点预测位置坐标；

确定所述各第一类角点中与所述第一类角点预测位置坐标之间的距离最小，且小于所述预设距离阈值的第一类角点，与该第二类角点具有对应关系。

6.根据权利要求4所述的方法，其特征在于，所述根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量、所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述待处理图像中各子区域的连线关系，包括：

根据所述第一类角点的位置坐标、所述第一类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述第一类角点和所述中心点的对应关系；

根据所述第二类角点的位置坐标、所述第二类角点指向中心点的偏移量和所述中心点的位置坐标，确定所述第二类角点和所述中心点的对应关系；

根据所述各第一类角点和所述各第二类角点之间的对应关系、所述第一类角点和所述中心点的对应关系和所述第二类角点和所述中心点的对应关系，确定所述待处理图像中各子区域的连线关系。

7.根据权利要求2所述的方法，其特征在于，所述检测模型还包括：第二网络部分；所述第二网络部分用于检测所述各中心点的信息；

基于所述检测模型确定所述待处理图像中各中心点的信息，包括：

基于所述第二网络部分确定所述各中心点的位置坐标的中心点得分图；或者，

基于所述第二网络部分确定所述各中心点的位置坐标的中心点得分图，以及以下一种或多种：用于对所述中心点的位置坐标进行矫正的所述中心点的中心点偏移量、所述中心点对应的目标区域的宽度和高度、所述目标区域与预设方向的夹角，其中，所述目标区域为包含所述中心点所在连接线的矩形框。

8.根据权利要求7所述的方法，其特征在于，所述检测模型通过以下方法训练获得：

获取多个样本图像，所述样本图像包括多个样本子区域以及连接所述样本子区域的多根连接线；

通过初始模型第一网络部分的第一分支对所述样本图像进行处理，得到各样本第一类角点的预测信息；所述样本第一类角点的预测信息包括：所述样本第一类角点的预测得分图、所述样本第一类角点指向样本第二类角点的预测偏移量、所述样本第一类角点指向样本中心点的预测偏移量；

通过所述初始模型第一网络部分的第二分支对所述样本图像进行处理，得到各样本第二类角点的预测信息；所述样本第二类角点的预测信息包括：所述样本第二类角点的预测得分图、所述样本第二类角点指向样本第一类角点的预测偏移量、所述样本第二类角点指向样本中心点的预测偏移量；

通过所述初始模型的第二网络部分对所述样本图像进行处理，得到各样本中心点的预测信息；所述样本中心点的预测信息包括：所述样本中心点的预测得分图、目标样本区域的预测宽度和预测高度以及所述目标样本区域与预设方向的预测夹角；所述目标样本区域为包含所述样本中心点所在连线的矩形框；

获取所述样本图像的标签数据，所述标签数据包括：所述样本第一类角点的真实信息、所述样本第二类角点的真实信息和所述样本中心点的真实信息；其中，样本第一类角点的真实信息包括：所述样本第一类角点的真实得分图、所述样本第一类角点指向样本第二类角点的真实偏移量、所述样本第一类角点指向样本中心点的真实偏移量；所述样本第二类角点的真实信息包括：所述样本第二类角点的真实得分图、所述样本第二类角点指向样本第一类角点的真实偏移量、所述样本第二类角点指向样本中心点的真实偏移量；所述样本中心点的真实信息包括：所述样本中心点的真实得分图、所述目标样本区域的真实宽度和真实高度以及所述目标样本区域与所述预设方向的真实夹角；

根据所述各样本第一类角点的预测信息、所述各样本第二类角点的预测信息、所述各样本中心点的预测信息，以及所述样本图像的标签数据，基于预设的损失函数，对所述初始模型进行训练，生成所述检测模型。

9.根据权利要求8所述的方法，其特征在于，所述根据所述各样本第一类角点的预测信息、所述各样本第二类角点的预测信息、所述各样本中心点的预测信息，以及所述样本图像的标签数据，基于预设的损失函数，对所述初始模型进行训练，生成所述检测模型，包括：

根据所述各样本第一类角点的预测信息，以及所述各样本第一类角点的真实信息，基于预设的第一损失函数确定第一类角点损失值；

根据所述各样本第二类角点的预测信息，以及所述各样本第二类角点的真实信息，基于预设的第二损失函数确定第二类角点损失值；

根据所述各样本中心点的预测信息，以及所述各样本中心点的真实信息，基于预设的第三损失函数确定中心点损失值；

根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，对所述初始模型进行训练，生成所述检测模型。

10.根据权利要求9所述的方法 ，其特征在于，所述根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，对所述初始模型进行训练，生成所述检测模型，包括：

根据所述第一类角点损失值，对所述初始模型第一网络部分的第一分支的参数进行调整，生成所述检测模型第一网络部分的第一分支；

根据所述第二类角点损失值，对所述初始模型第一网络部分的第二分支的参数进行调整，生成所述检测模型第一网络部分的第二分支；

根据所述中心点损失值，对所述初始模型第二网络部分的参数进行调整，生成所述检测模型第二网络部分。

11.根据权利要求9所述的方法 ，其特征在于，所述根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，对所述初始模型进行训练，生成所述检测模型，包括：

根据所述第一类角点损失值、所述第二类角点损失值和所述中心点损失值，确定目标损失值；

基于所述目标损失值对所述初始模型中的参数进行调整，生成所述检测模型。

12.根据权利要求3所述的方法 ，其特征在于，基于所述检测模型确定所述待处理图像中各第一类角点的信息，还包括：

基于所述第一分支确定用于对所述第一类角点的位置坐标进行矫正的所述第一类角点的角点偏移量；

基于所述检测模型确定所述待处理图像中各第二类角点的信息，还包括：

基于所述第二分支确定用于对所述第二类角点的位置坐标进行矫正的所述第二类角点的角点偏移量。

13.根据权利要求1所述的方法 ，其特征在于，在所述将所述连线关系与所述待处理图像对应的标准连线关系进行比较之前，所述方法还包括：

获取连线题库，其中，所述连线题库包括：多个包含标准连线关系的标准连线题图像；

识别所述待处理图像中的试题内容，根据所述试题内容在所述连线题库中搜索，得到所述待处理图像对应的标准连线题图像；

将所述待处理图像对应的标准连线题图像中的连线关系，作为所述待处理图像对应的标准连线关系。

14.一种连线题批改装置，其特征在于，所述装置包括：

待处理图像获取模块，用于获取待处理图像，其中，所述待处理图像包括多个子区域以及连接所述子区域的多根连接线；

角点信息确定模块，用于基于预先训练的检测模型确定所述待处理图像中各第一类角点的信息和各第二类角点的信息，所述检测模型包括：第一网络部分，所述第一网络部分包括：第一分支和第二分支；所述第一分支用于检测所述各第一类角点的信息，所述第二分支用于检测所述各第二类角点的信息；所述第一类角点的信息包括：所述第一类角点的位置坐标和所述第一类角点指向第二类角点的偏移量；所述第二类角点的信息包括：所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量；

连线关系确定模块，用于根据所述各第一类角点的信息和所述各第二类角点的信息，确定所述待处理图像中各子区域的连线关系；

其中，所述连线关系确定模块，具体用于根据所述第一类角点的位置坐标、所述第一类角点指向第二类角点的偏移量、所述第二类角点的位置坐标和所述第二类角点指向第一类角点的偏移量，确定所述待处理图像中各子区域的连线关系；

批改结果确定模块，用于将所述连线关系与所述待处理图像对应的标准连线关系进行比较，得到批改结果。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1~13任一项所述的方法。

16.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~13任一项所述的方法。

Images