CN114821077A - 试卷图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种试卷图像处理方法、装置、存储介质及电子设备。该方法包括：获取待处理试卷图像对应的原始试卷图像；该待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；获取原始试卷图像与待处理试卷图像之间的光流信息；根据光流信息将原始试卷图像和待处理试卷图像进行图像对齐；根据对齐后的原始试卷图像和待处理试卷图像，获取待处理试卷图像对应的作答信息。这样，根据对齐后的图像可以更加准的获取用户的作答信息，提高了作答信息获取的准确率，同时，由于无需进行手写文字识别，针对题目和作答均为手写体的场景也可以准确获取作答信息，增加了试卷图像处理的应用场景，提高了作答信息获取的准确率。

Description

试卷图像处理方法、装置、存储介质及电子设备

技术领域

本公开涉及计算机领域，具体地，涉及一种试卷图像处理方法、装置、存储介质及电子设备。

背景技术

随着计算机和互联网技术的发展，人们越来越多的使用电子设备对学生试卷进行阅卷。例如，用户可以通过对试卷拍照或扫描的方式，将纸质版的试卷信息转换为试卷图像，上传至电子设备(例如服务器或终端设备)对该试卷图像进行阅卷。用户上传的试卷图像可以包括题目信息和作答信息，例如，题目信息可以是原始试卷上的打印体，作答信息可以是用户基于原始试卷作答的手写体。为了提高电子化阅卷效率，需要获取用户上传的试卷图像中的作答信息。在相关技术中，作答信息的获取不够准确。

发明内容

本公开的目的是提供一种试卷图像处理方法、装置、存储介质及电子设备，以部分地解决相关技术中存在的上述问题。

为了实现上述目的，本公开的第一方面提供了一种试卷图像处理方法，所述方法包括：

获取待处理试卷图像对应的原始试卷图像；所述待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；

获取所述原始试卷图像与所述待处理试卷图像之间的光流信息；

根据所述光流信息将所述原始试卷图像和所述待处理试卷图像进行图像对齐；

根据对齐后的原始试卷图像和待处理试卷图像，获取所述待处理试卷图像对应的作答信息。

可选地，所述获取所述原始试卷图像与所述待处理试卷图像之间的光流信息包括：

确定所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量；

根据所述目标偏移矢量获取所述光流信息；

所述根据所述光流信息将所述原始试卷图像和所述待处理试卷图像进行图像对齐包括：

根据所述目标偏移矢量，对所述原始试卷图像的每个像素点在图像中的位置进行调整，以将所述原始试卷图像和所述待处理试卷图像对齐。

可选地，所述确定所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量包括：

根据预设能量优化函数，计算得到所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量；所述预设能量优化函数包括表征所述原始试卷图像与所述待处理试卷图像的光流连续性约束参数。

可选地，所述预设能量优化函数还包括亮度约束参数、平滑性约束参数与特征匹配约束参数。

可选地，所述根据对齐后的原始试卷图像和待处理试卷图像，获取所述待处理试卷图像对应的作答信息包括：

对所述待处理试卷图像进行图像二值化处理，得到待处理二值图像；

对所述原始试卷图像进行图像二值化处理，得到原始二值图像；

根据所述待处理二值图像和原始二值图像，确定作答区域；

根据所述待处理试卷图像和所述作答区域确定所述作答信息。

可选地，所述获取待处理试卷图像对应的原始试卷图像包括：

获取待处理试卷图像中的图像标识；所述图像标识包括所述待处理试卷图像对应的试卷标识和所述待处理试卷图像的页码；

根据所述图像标识，从预设试卷库中获取与所述待处理试卷图像对应的所述原始试卷的原始试卷图像。

可选地，所述待处理试卷图像可以通过以下方式获取：

通过摄像装置获取用户在原始试卷图像对应的试卷上作答后的待定图像；

通过关键点检测算法确定所述待定图像的多个预设关键点；

根据所述预设关键点对所述待处理试卷图像进行裁切校正，得到所述待处理试卷图像。

第二方面，本公开提供了一种试卷图像处理装置，所述装置包括：

图像获取模块，用于获取待处理试卷图像对应的原始试卷图像；所述待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；

信息获取模块，用于获取所述原始试卷图像与所述待处理试卷图像之间的光流信息；

图像对齐模块，用于根据所述光流信息将所述原始试卷图像和所述待处理试卷图像进行图像对齐；

图像处理模块，用于根据对齐后的原始试卷图像和待处理试卷图像，获取所述待处理试卷图像对应的作答信息。

可选地，所述信息获取模块，用于确定所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量；根据所述目标偏移矢量获取所述光流信息；

所述图像对齐模块，用于根据所述目标偏移矢量，对所述原始试卷图像的每个像素点在图像中的位置进行调整，以将所述原始试卷图像和所述待处理试卷图像对齐。

可选地，所述信息获取模块，用于根据预设能量优化函数，计算得到所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量；所述预设能量优化函数包括表征所述原始试卷图像与所述待处理试卷图像的光流连续性约束参数。

可选地，所述预设能量优化函数还包括亮度约束参数、平滑性约束参数与特征匹配约束参数。

可选地，所述图像处理模块，用于对所述待处理试卷图像进行图像二值化处理，得到待处理二值图像；对所述原始试卷图像进行图像二值化处理，得到原始二值图像；根据所述待处理二值图像和原始二值图像，确定作答区域；根据所述待处理试卷图像和所述作答区域确定所述作答信息。

可选地，所述图像获取模块，用于获取待处理试卷图像中的图像标识；所述图像标识包括所述待处理试卷图像对应的试卷标识和所述待处理试卷图像的页码；根据所述图像标识，从预设试卷库中获取与所述待处理试卷图像对应的所述原始试卷的原始试卷图像。

可选地，所述图像获取模块，用于通过摄像装置获取用户在原始试卷图像对应的试卷上作答后的待定图像；通过关键点检测算法确定所述待定图像的多个预设关键点；根据所述预设关键点对所述待处理试卷图像进行裁切校正，得到所述待处理试卷图像。

第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。

采用上述技术方案，获取待处理试卷图像对应的原始试卷图像；该待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；获取原始试卷图像与待处理试卷图像之间的光流信息；根据光流信息将原始试卷图像和待处理试卷图像进行图像对齐；根据对齐后的原始试卷图像和待处理试卷图像，获取待处理试卷图像对应的作答信息。这样，根据对齐后的图像可以更加准的获取用户的作答信息，提高了作答信息获取的准确率，同时，由于无需进行手写文字识别，针对题目和作答均为手写体的场景也可以准确获取作答信息，增加了试卷图像处理的应用场景，提高了作答信息获取的准确率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是本公开实施例提供的一种试卷图像处理方法的流程图。

图2是本公开实施例提供的一种原始二值图像的示意图。

图3是本公开实施例提供的一种待处理二值图像的示意图。

图4是本公开实施例提供的一种与待处理二值图像对齐后的新的原始二值图像的示意图。

图5是本公开实施例提供的一种试卷图像处理装置的示意图。

图6是本公开实施例提供的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

在本公开中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序；术语“S101”、“S102”、“S201”、“S202”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤；下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。

首先，对本公开的应用场景进行说明。本公开可以应用于电子教学领域，特别是通过电子设备对拍照或扫描得到的试卷图像进行分析或阅卷的场景。为了提高电子化阅卷效率，需要获取用户上传的试卷图像中的作答信息，并对作答信息进行分析和阅卷。在相关技术中，可以通过手写文字识别的方式获取作答信息，例如，识别用户上传的试卷图像中的手写文字和打印文字，将打印文字作为原始试卷题目，将手写文字作为用户的作答信息，但是采用该方式无法包含所有的手写内容，例如无法识别手绘符号、几何图案等。另外，部分试卷的题目也可以采用手写体的形式，该方式也无法使用题目为手写体的场景。

为了解决上述问题，本公开提供了一种试卷图像处理方法、装置、存储介质及电子设备，根据光流信息将原始试卷图像和待处理试卷图像进行图像对齐，然后根据对齐后的原始试卷图像和待处理试卷图像，获取待处理试卷图像对应的作答信息，这样，可以更加准的获取用户的作答信息，提高了作答信息获取的准确率，同时，由于无需进行手写文字识别，针对题目和作答均为手写体的场景也可以准确获取作答信息，增加了试卷图像处理的应用场景，提高了作答信息获取的准确率。

以下结合附图对本公开的具体实施方式进行详细说明。

图1是本公开实施例提供的一种试卷图像处理方法，该方法可以应用于电子设备，该电子设备可以包括终端设备，例如智能手机、智能可穿戴设备、智能音箱、智能平板、PDA(Personal Digital Assistant，个人数字助理)、CPE(Customer Premise Equipment，客户终端设备)、个人计算机等，也可以包括服务器，例如本地服务器或云服务器。如图1所示，该方法包括：

S101、获取待处理试卷图像对应的原始试卷图像。

该待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像。

本步骤中，获取该原始试卷图像的方式可以有多种。

在一些实施例中，可以对用户作答前的原始试卷进行拍照或扫描，得到作答前试卷图像；在用户对原始试卷作答后，可以将作答后试卷进行拍照或扫描，得到待处理试卷图像。这样，可以将上述作答前试卷图像作为该待处理试卷图像对应的原始试卷图像。

在另一些实施例中，该原始试卷可以包括图像标识。示例地，该图像标识可以位于原始试卷的预设位置，该预设位置可以是试卷的上方(例如页眉)、下方(例如页脚)、左侧或右侧等位置中的一个或多个；该图像标识可以包括试卷标识和页码，该试卷标识用于表征该原始试卷的唯一序列号，该唯一序列号可以包括字母、数字和日期中的一种或多种。例如，可以，将预设试卷库中的多个试卷按照预设顺序进行编号，使得每个试卷均分配有一个唯一序列号，将该唯一序列号作为该原始试卷的试卷标识。这样，可以通过以下步骤获取待处理试卷图像对应的原始试卷图像：

首先，获取待处理试卷图像中的图像标识。

示例地，可以将该待处理试卷图像输入预设图像识别模型中，获取图像标识，该预设图像识别模型可以包括OCR(Optical Character Recognition，光学字符文字识别)模型，通过该OCR模型对该待处理试卷图像的预设位置(例如页眉、页脚、或上下左右任一方向的边缘位置)进行文字识别，可以获取该图像标识。该图像标识可以包括待处理试卷图像对应的试卷标识和待处理试卷图像的页码。

其次，根据所述图像标识，从预设试卷库中获取与所述待处理试卷图像对应的所述原始试卷的原始试卷图像。

示例地，该预设试卷库中可以包括图像标识与原始试卷图像的对应关系，通过该对应关系，可以根据图像标识检索得到对应的原始试卷图像。从而可以得到一组待处理试卷图像与原始试卷图像的图像对。

S102、获取原始试卷图像与待处理试卷图像之间的光流信息。

其中，该光流信息可以用于表示两个图像中目标对象的偏移信息，该目标对象可以是原始试卷图像中的题目、文字、公式、图形等信息，例如，可以确定原始试卷图像中的目标题目与待处理试卷图像中相同的目标题目的偏移信息。

在一些实施例中，可以通过稀疏光流法(Sparse Optical Flow)获取上述光流信息。示例地，可以确定原始试卷图像上的多个第一目标点，确定该第一目标点在原始试卷图像的第一位置信息，以及在待处理试卷图像中的第二位置信息，根据第一位置信息和第二位置信息计算得到该第一目标点的偏移量，根据多个第一目标点的偏移量确定该光流信息。

在另一些实施例中，也可以通过稠密光流(Dense Optical Flow)法获取上述光流信息。该稠密光流法可以进行像素级别的图像配准，以便得到像素级别的偏移信息。示例地，可以计算原始试卷图像上每个像素点的位置信息与待处理试卷图像的对应像素点的偏移量，根据多个像素点的偏移量确定上述光流信息。这样，可以获取更为准确的光流信息。

S103、根据光流信息将原始试卷图像和待处理试卷图像进行图像对齐。

示例地，可以根据该光流信息对原始试卷图像进行重映射，例如通过调整每个像素的位置实现对原始试卷图像进行拉伸或缩放处理，得到与待处理试卷图像对齐后的原始试卷图像。

S104、根据对齐后的原始试卷图像和待处理试卷图像，获取待处理试卷图像对应的作答信息。

示例地，可以将对齐后的原始试卷图像与待处理试卷图像进行对比，将待处理试卷图像与对齐后的原始试卷图像做差得到作答区域，也就是将待处理试卷图像中非空白而原始试卷图像中空白的区域作为作答区域。可以将待处理试卷图像的作答区域中的文字、公式、图案等信息作为该作答信息。

另外，也可以将待处理试卷图像与对齐后的原始试卷图像的交集作为原始区域(也可以称为非作答区域、印刷区域)，可以将该待处理试卷图像上除了原始区域外的图像区域作为作答区域。该作答区域可以以掩膜的形式存储，该掩膜用于表征作答区域的坐标。

采用上述方法，获取待处理试卷图像对应的原始试卷图像；该待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；获取原始试卷图像与待处理试卷图像之间的光流信息；根据光流信息将原始试卷图像和待处理试卷图像进行图像对齐；根据对齐后的原始试卷图像和待处理试卷图像，获取待处理试卷图像对应的作答信息。这样，根据对齐后的图像可以更加准的获取用户的作答信息，提高了作答信息获取的准确率，同时，由于无需进行手写文字识别，针对题目和作答均为手写体的场景也可以准确获取作答信息，增加了试卷图像处理的应用场景，提高了作答信息获取的准确率。

在本公开的另一实施例中，上述S102步骤获取光流信息的方式可以包括：确定原始试卷图像与待处理试卷图像的每个像素点的目标偏移矢量；并根据目标偏移矢量获取光流信息。例如，可以将多个像素点的目标便宜矢量作为光流信息。

在本公开的了另一实施例中，可以通过以下步骤获取该目标偏移矢量：

示例地，可以将原始试卷图像与待处理试卷图像输入预先训练的光流网络，通过该光流网络计算得到每个像素点的目标偏移矢量，可以将该目标偏移矢量作为光流信息。

例如，可以通过以下公式(1)计算得到目标偏移矢量：

F＝G(I_src,I_tgt) (1)；

其中，F表示目标偏移矢量，I_tgt表示待处理试卷图像，I_src表示原始试卷图像，G表示稠密光流计算。

这样，得到该目标偏移矢量后，可以根据该目标偏移矢量，对原始试卷图像的每个像素点在图像中的位置进行调整，以将原始试卷图像和待处理试卷图像对齐。

示例地，可以根据目标偏移矢量对原始试卷图像的每个像素点进行调整，以得到与待处理试卷图像对齐的新的原始试卷图像。

示例地，可以通过以下公式(2)对原始试卷图像进行调整：

I_aligned＝H(I_src,F) (2)；

其中，F表示目标偏移矢量，I_src表示原始试卷图像，H表示图像像素位置调整处理，I_aligned表示与待处理试卷图像对齐后的新的原始试卷图像。

示例地，图2至图4分别为上述I_src、I_tgt和I_aligned的示意图，其中：图2是本公开实施例提供的一种原始试卷图像的示意图(例如I_src)，图3是本公开实施例提供的一种待处理试卷图像的示意图(例如I_tgt)，图4是根据上述任一实施例中提供的方式对原始试卷图像进行处理后，得到的与待处理试卷图像对齐后的新的原始试卷图像(例如I_aligned)。

在本公开的另一实施例中，可以根据预设能量优化函数，计算得到待处理试卷图像和原始试卷图像的每个像素点的目标偏移矢量。

其中，该预设能量优化函数可以包括一个或多个参数，例如，可以包括表征待处理试卷图像和原始试卷图像的光流连续性约束参数。

示例地，该光流连续性约束参数可以通过以下公式(3)计算得到：

其中，E_C表示该光流连续性约束参数，x表示指定像素点在原始试卷图像中的x轴坐标，y表示该指定像素点在原始试卷图像中的y轴坐标，u表示该指定像素点在x轴方向上的偏移量，也就是该指定像素点对应的待处理试卷图像中的x轴坐标与原始试卷图像中的x轴坐标的差值，v表示指定像素点在y轴方向上的偏移量，也就是该指定像素点对应的待处理试卷图像中的y轴坐标与原始试卷图像中的y轴坐标的差值，

表示求二阶导数(例如

表示对u求二阶导数)，

表示求一阶导数(例如

表示对x²求一阶导数)，

表示对

向量进行取模运算，ζ表示预设常数(例如0.001、0.01或0.1)，可以用于避免目标数值(例如分母或开根号)为零。

需要说明的是，相关技术中，光流算法对应的能量优化函数用于计算通用场景的光流信息，而在通用场景中，由于物体的位移可视为具有随机性，即图像中紧邻的像素的运动方向和大小未必连续。例如，在一个街景视频中，相邻车辆运动方向不相同因而得到了非连续光流，又比如运动物体与背景的光流具有不连续性，因此相关技术中的光流算法未考虑光流连续性。而对于根据纸质试卷或其它纸质文档拍摄得到的图像，在纸质文档不被撕裂的情况下，其光流信息是具有连续性的。通过该光流连续性约束参数可以保证待处理试卷图像与原始试卷图像的光流连续性，通过在预设能量优化函数中包括该光流连续性约束参数，可以增强对试卷图像的连续性约束，针对试卷图像处理场景更有针对性，可以提高光流信息计算的准确度。

进一步地，该预设能量优化函数还可以包括亮度约束参数、平滑性约束参数与特征匹配约束参数。

示例地，该预设能量优化函数可以包括以下公式(4)：

E(u,v)＝∫(E_D+αE_S+βE_M+λE_C)dxdy (4)；

其中，E(u,v)表示目标偏移矢量，u表示指定像素点在x轴方向上的偏移量，v表示指定像素点在y轴方向上的偏移量，E_D表示亮度约束参数，E_S表示平滑性约束参数，E_M表示特征匹配约束参数，E_C表示上述光流连续性约束参数，x表示该指定像素点在原始试卷图像中的x轴坐标，dx表示对x取微分，y表示该指定像素点在原始试卷图像中的y轴坐标，dy表示对y取微分，α表示第一权重超参数，β表示第二权重超参数，λ表示第三权重超参数。上述权重超参数α、β、λ，可以根据样本数据进行训练后得到。

其中，该亮度约束参数可以包括以下公式(5)：

其中，E_D表示该亮度约束参数，c表示原始试卷图像的通道数，在RBG模式下，该通道数可以为3，u表示该指定像素点在x轴方向上的偏移量，也就是该指定像素点对应的待处理试卷图像中的x轴坐标与原始试卷图像中的x轴坐标的差值，v表示指定像素点在y轴方向上的偏移量，也就是该指定像素点对应的待处理试卷图像中的y轴坐标与原始试卷图像中的y轴坐标的差值，ζ表示预设常数(例如0.001、0.01或0.1)，可以用于避免目标数值为零，δ表示第四权重超参数，ε表示第五权重超参数。上述权重超参数δ和ε，同样可以根据样本数据进行训练后得到。

表示第一亮度约束子参数，

表示第二亮度约束子参数(也可以称为梯度约束参数)。

其中，该第一亮度约束子参数可以包括以下公式(6)：

其中，

表示第一亮度约束子参数，Iⁱ表示指定像素点在第i个通道上的像素值(例如亮度值)，x表示该指定像素点在原始试卷图像中的x轴坐标，y表示该指定像素点在原始试卷图像中的y轴坐标，t可以表示预设时间间隔，在本实施例中，t可以为预设的固定值(例如1秒)，

表示求一阶导数(例如

表示对x求一阶导数)，ζ同样表示预设常数(例如0.001、0.01或0.1)。

其中，该第二亮度约束子参数可以包括以下公式(7)：

其中，

表示第二亮度约束子参数(也可以称为梯度约束参数)，

表示与该指定像素点的x轴坐标相同的像素点在第i个通道上的平均像素值(例如平均亮度值)，

表示与该指定像素点的y轴坐标相同的像素点在第i个通道上的平均像素值(例如平均亮度值)，

表示求一阶导数(例如

表示对x求一阶导数)，ζ同样表示预设常数(例如0.001、0.01或0.1)。

上述平滑性约束参数可以包括以下公式(8)：

其中，E_S表示平滑性约束参数，u表示指定像素点在x轴方向上的偏移量，v表示指定像素点在y轴方向上的偏移量，

表示x轴方向上的偏移量的一阶导数，

表示y轴方向上的偏移量的一阶导数。

上述特征匹配约束参数可以包括以下公式(9)：

其中，E_M表示特征匹配约束参数，D可以表征指定像素点是否可以匹配的试卷变量，在指定像素点在待处理试卷图像中存在与原始试卷图像匹配的像素点的情况下，D可以设置为1，反之，在指定像素点在待处理试卷图像中不存在与原始试卷图像中匹配的像素点的情况下，D可以设置为0；w表示当前迭代计算得到待定偏移量，w′表示前一轮迭代计算得到的目标偏移矢量，ζ同样表示预设常数(例如0.001、0.01或0.1)，φ(x)表示通过以下公式(10)对x进行运算：

其中，

表示x的自相关矩阵的最小特征值乘以10得到的值，σ_M表示预设值，例如可以是50，x可以为上述公式(8)中的

)，Δ(x)表示通过以下公式(11)对x进行运算：

其中，Δ(x)表示通过公式(11)对x进行运算，c表示原始试卷图像的通道数，在RBG模式下，该通道数可以为3，x同样可以为上述公式(8)中的

)，

表示求解一阶导数，w′(x)表示当前迭代的上一轮迭代得到的x的值，

表示原始试卷图像在指定像素点在第i个通道上的像素值(例如亮度值)，

表示原始试卷图像在指定像素点在第i个通道上的像素值(例如亮度值)。

这样，可以通过样本数据对上述预设能量优化函数进行训练确定其中的权重超参数；然后根据训练后的预设能量优化函数，可以计算得到待处理试卷图像和原始试卷图像的每个像素点的目标偏移矢量。

需要说明的是，通过预设能量优化函数获取光流信息的方式，也可以参考相关技术中的方式，本公开对此不作限定。

在本公开的另一实施例中，上述S104步骤可以包括以下步骤：

首先，将对齐后的原始试卷图像和待处理试卷图像均进行图像二值化处理，得到原始试卷图像对应的原始二值图像和待处理试卷图像对应的待处理二值图像。

在本步骤中，将对齐后的原始试卷图像进行图像二值化处理，可以得到原始二值图像；将待处理试卷图像进行图像二值化处理，可以得到待处理二值图像。

示例地，通过图像二值化处理，可以将待处理图像(可以是对齐后的原始试卷图像或待处理试卷图像)上的像素点的灰度值设置为第一预设灰度值或第二预设灰度值，其中，该第一预设灰度值可以是表征黑色的灰度极大值，例如255；该第二预设灰度值可以是表征白色的灰度极小值。例如，把大于或等于预设临界灰度值的像素灰度设为第一预设灰度值，把小于该预设临界灰度值的像素灰度设为第二预设灰度值，从而实现图像二值化处理。这样，经过二值化处理后，待处理二值图像与原始二值图像均呈现出明显的只有黑和白的视觉效果，以便于准确高效地对比两个图像，确定作答区域。

进一步地，若待处理试卷图像为拍照上传，为了更为准确地计算光流信息，可以对拍照得到的待处理试卷图像进行预处理，该预处理可以包括阴影擦除、噪声消除、矩形校正等。

然后，根据待处理二值图像和原始二值图像，确定作答区域。

示例地，可以将待处理二值图像和原始二值图像中有差异的区域作为作答区域；例如，将待处理二值图像和原始二值图像作差得到作答区域，也就是将待处理试卷图像中非空白而原始试卷图像中空白的区域作为作答区域。该作答区域可以以掩膜的形式存储，该掩膜用于表征作答区域的坐标。

另外，也可以将待处理二值图像和原始二值图像的交集作为原始区域(也可以称为非作答区域、印刷区域)，可以将该待处理试卷图像上除了原始区域外的图像区域作为作答区域。

最后，根据该待处理试卷图像和该作答区域确定作答信息。

示例地，可以将待处理试卷图像的作答区域中的文字、公式、图案等信息作为该作答信息。

在本公开的另一实施例中，上述待处理试卷图像可以通过以下方式获取：

首先，通过摄像装置获取用户在原始试卷图像对应的试卷上作答后的待定图像。

其次，通过关键点检测算法确定待定图像的多个预设关键点。

最后，根据预设关键点对待处理试卷图像进行裁切校正，得到待处理试卷图像。

示例地，该预设关键点可以为待定图像的矩形顶点，可以根据该矩形顶点确定四边形区域，将该四边形区域外的图像部分裁切掉，然后将剩余的四边形进行矩形校正，得到规范的矩形图像，将该矩形图像作为待处理试卷图像。

这样，通过对拍摄得到的待定图像进行裁切校正，可以使得获取到的待处理试卷图像为较为规范的矩形图像，并去掉了周边的非试卷区域，以便更为准确高效的对该待处理试卷图像进行分析，准确获取图像中的作答信息。

图5是本公开实施例提供的一种试卷图像处理装置的结构示意图，如图5所示，该装置包括：

图像获取模块501，用于获取待处理试卷图像对应的原始试卷图像；该待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；

信息获取模块502，用于获取该原始试卷图像与该待处理试卷图像之间的光流信息；

图像对齐模块503，用于根据该光流信息将该原始试卷图像和该待处理试卷图像进行图像对齐；

图像处理模块504，用于根据对齐后的原始试卷图像和待处理试卷图像，获取该待处理试卷图像对应的作答区域。

可选地，该信息获取模块502，用于确定该原始试卷图像与该待处理试卷图像的每个像素点的目标偏移矢量；根据该目标偏移矢量获取该光流信息；

该图像对齐模块503，用于根据该目标偏移矢量，对该原始试卷图像的每个像素点在图像中的位置进行调整，以将该原始试卷图像和该待处理试卷图像对齐。

可选地，该信息获取模块502，用于根据预设能量优化函数，计算得到该原始试卷图像与该待处理试卷图像的每个像素点的目标偏移矢量；该预设能量优化函数包括表征该原始试卷图像与该待处理试卷图像的光流连续性约束参数。

可选地，该预设能量优化函数还包括亮度约束参数、平滑性约束参数与特征匹配约束参数。

可选地，该图像处理模块504，用于对该待处理试卷图像进行图像二值化处理，得到待处理二值图像；对该原始试卷图像进行图像二值化处理，得到原始二值图像；根据该待处理二值图像和原始二值图像，确定作答区域；根据该待处理试卷图像和该作答区域确定该作答信息。

可选地，该图像获取模块501，用于获取待处理试卷图像中的图像标识；该图像标识包括该待处理试卷图像对应的试卷标识和该待处理试卷图像的页码；根据该图像标识，从预设试卷库中获取与该待处理试卷图像对应的该原始试卷的原始试卷图像。

可选地，该图像获取模块501，用于通过摄像装置获取用户在原始试卷图像对应的试卷上作答后的待定图像；通过关键点检测算法确定该待定图像的多个预设关键点；根据该预设关键点对该待处理试卷图像进行裁切校正，得到该待处理试卷图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种电子设备900的框图。如图6所示，该电子设备900可以包括：处理器901，存储器902。该电子设备900还可以包括多媒体组件903，输入/输出(I/O)接口904，以及通信组件905中的一者或多者。

其中，处理器901用于控制该电子设备900的整体操作，以完成上述的试卷图像处理方法中的全部或部分步骤。存储器902用于存储各种类型的数据以支持在该电子设备900的操作，这些数据例如可以包括用于在该电子设备900上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等。该存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件903可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器902或通过通信组件905发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口904为处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件905用于该电子设备900与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、5G、NB-IOT、eMTC、或其他6G等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件905可以包括：Wi-Fi模块，蓝牙模块，NFC模块等。

在一示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的试卷图像处理方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的试卷图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器902，上述程序指令可由电子设备900的处理器901执行以完成上述的试卷图像处理方法。示例地，该计算机可读存储介质可以为非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述试卷图像处理方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种试卷图像处理方法，其特征在于，所述方法包括：

获取待处理试卷图像对应的原始试卷图像；所述待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；

获取所述原始试卷图像与所述待处理试卷图像之间的光流信息；

根据所述光流信息将所述原始试卷图像和所述待处理试卷图像进行图像对齐；

根据对齐后的原始试卷图像和待处理试卷图像，获取所述待处理试卷图像对应的作答信息。

2.根据权利要求1所述的方法，其特征在于，所述获取所述原始试卷图像与所述待处理试卷图像之间的光流信息包括：

确定所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量；

根据所述目标偏移矢量获取所述光流信息；

所述根据所述光流信息将所述原始试卷图像和所述待处理试卷图像进行图像对齐包括：

根据所述目标偏移矢量，对所述原始试卷图像的每个像素点在图像中的位置进行调整，以将所述原始试卷图像和所述待处理试卷图像对齐。

3.根据权利要求2所述的方法，其特征在于，所述确定所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量包括：

根据预设能量优化函数，计算得到所述原始试卷图像与所述待处理试卷图像的每个像素点的目标偏移矢量；所述预设能量优化函数包括表征所述原始试卷图像与所述待处理试卷图像的光流连续性约束参数。

4.根据权利要求3所述的方法，其特征在于，所述预设能量优化函数还包括亮度约束参数、平滑性约束参数与特征匹配约束参数。

5.根据权利要求1所述的方法，其特征在于，所述根据对齐后的原始试卷图像和待处理试卷图像，获取所述待处理试卷图像对应的作答信息包括：

对所述待处理试卷图像进行图像二值化处理，得到待处理二值图像；

对所述原始试卷图像进行图像二值化处理，得到原始二值图像；

根据所述待处理二值图像和所述原始二值图像，确定作答区域；

根据所述待处理试卷图像和所述作答区域确定所述作答信息。

6.根据权利要求1所述的方法，其特征在于，所述获取待处理试卷图像对应的原始试卷图像包括：

获取待处理试卷图像中的图像标识；所述图像标识包括所述待处理试卷图像对应的试卷标识和所述待处理试卷图像的页码；

根据所述图像标识，从预设试卷库中获取与所述待处理试卷图像对应的所述原始试卷的原始试卷图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述待处理试卷图像可以通过以下方式获取：

通过摄像装置获取用户在原始试卷图像对应的试卷上作答后的待定图像；

通过关键点检测算法确定所述待定图像的多个预设关键点；

根据所述预设关键点对所述待处理试卷图像进行裁切校正，得到所述待处理试卷图像。

8.一种试卷图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理试卷图像对应的原始试卷图像；所述待处理试卷图像为用户在原始试卷图像对应的试卷上作答后的图像；

信息获取模块，用于获取所述原始试卷图像与所述待处理试卷图像之间的光流信息；

图像对齐模块，用于根据所述光流信息将所述原始试卷图像和所述待处理试卷图像进行图像对齐；

图像处理模块，用于根据对齐后的原始试卷图像和待处理试卷图像，获取所述待处理试卷图像对应的作答信息。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至7中任一项所述方法的步骤。

Images