CN113033711A - 题目批改方法、装置、电子设备及计算机存储介质 - Google Patents

题目批改方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN113033711A
CN113033711A CN202110555975.0A CN202110555975A CN113033711A CN 113033711 A CN113033711 A CN 113033711A CN 202110555975 A CN202110555975 A CN 202110555975A CN 113033711 A CN113033711 A CN 113033711A
Authority
CN
China
Prior art keywords
image
corrected
answer
question
standard answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110555975.0A
Other languages
English (en)
Inventor
李盼盼
秦勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202110555975.0A priority Critical patent/CN113033711A/zh
Publication of CN113033711A publication Critical patent/CN113033711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images

Abstract

本申请实施例提供了一种题目批改方法、装置、电子设备及计算机存储介质,通过获取待批改图像,以及在预存的多个标准答案图像中搜索到的待批改图像对应的标准答案图像,待批改图像包括至少一个待批改题目,通过直接搜索获得标准答案图像,减少了检测、识别等步骤,提高了效率。根据待批改图像与标准答案图像之间的特征匹配对,计算待批改图像和标准答案图像之间的单应矩阵;根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,获得待批改题目中用户作答答案的图像。根据用户作答答案的图像和标准答案图像中作答区域,获得待批改题目的判题结果,通过直接比对作答区域的方式实现对语义信息的题型的批改,提高了判题效率。

Description

题目批改方法、装置、电子设备及计算机存储介质
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种题目批改方法、装置、电子设备及计算机存储介质。
背景技术
随着在线教育的快速发展,众多教学辅助类产品应运而生。在教学过程中,上述产品可以为老师提供技术支持,减轻老师的工作量,例如:可以实现题目的自动批改等。
通过对包含题目的图像进行题目识别,是实现题目批改、题目讲解等的基础。现有技术中在对题目进行题目识别时,利用题型判断模型对图像中题目的题型进行区分,将与预先指定的题型对应的题目用文本框框起来。同时利用文本行检测模型检测横向文本行,得到横向文本行检测结果,然后根据横向文本行检测结果对文本框进行合并,同时根据每种题型的特点,分析得到每个题是由哪些文本框组成的,然后根据文本框的坐标在图像上进行裁剪,将裁剪得到的图像送入识别模型,得到每个题目的内容,然后根据题目内容进行判题。
然而,根据题型判断模型和文本行检测模型,对题目内容进行识别的方案中,只能处理一些常规的逻辑可批改题型,例如横式、竖式和脱式。无法处理带有语义信息的题型,例如,选择题、填空题、判断题、应用题等具有固定作答区域的题型。因此亟需提供一种题目批改方案,以实现对语义信息的题型的批改。
发明内容
有鉴于此,本申请实施例提供一种题目批改方案,以至少部分解决上述问题。
根据本申请实施例的第一方面,提供了一种题目批改方法,所述方法包括:获取待批改图像,以及在预存的多个标准答案图像中搜索到的所述待批改图像对应的标准答案图像,所述待批改图像包括至少一个待批改题目;根据所述待批改图像与所述标准答案图像之间的特征匹配对,计算所述待批改图像和所述标准答案图像之间的单应矩阵;根据所述单应矩阵将所述标准答案图像中作答区域坐标映射到所述待批改图像上对应位置,获得所述待批改题目中用户作答答案的图像;根据所述用户作答答案的图像和所述标准答案图像中作答区域,获得所述待批改题目的判题结果。
根据本申请实施例的第二方面,提供了一种题目批改装置,所述装置包括:获取模块,用于获取待批改图像,以及在预存的多个标准答案图像中搜索到的所述待批改图像对应的标准答案图像,所述待批改图像包括至少一个待批改题目;计算模块,用于根据所述待批改图像与所述标准答案图像之间的特征匹配对,计算所述待批改图像和所述标准答案图像之间的单应矩阵;映射模块,用于根据所述单应矩阵将所述标准答案图像中作答区域坐标映射到所述待批改图像上对应位置,获得所述待批改题目中用户作答答案的图像;判题模块,用于根据所述用户作答答案的图像和所述标准答案图像中作答区域,获得所述待批改题目的判题结果。
根据本申请实施例的第三方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如第一方面所述的题目批改方法对应的操作。
根据本申请实施例的第四方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的题目批改方法。
根据本申请实施例提供的题目批改方案,该方案包括:获取待批改图像,以及在预存的多个标准答案图像中搜索到的待批改图像对应的标准答案图像,待批改图像包括至少一个待批改题目,通过直接搜索获得标准答案图像,减少了检测、识别等步骤,提高了获得标准答案图像的效率。根据待批改图像与标准答案图像之间的特征匹配对,计算待批改图像和标准答案图像之间的单应矩阵;根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,获得待批改题目中用户作答答案的图像。根据用户作答答案的图像和标准答案图像中作答区域,获得待批改题目的判题结果,通过直接比对作答区域的方式实现对语义信息的题型的批改,提高了判题效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种题目批改方法的流程图;
图2为本申请实施例提供的一种变分自编码器模型的结构示意图;
图3为本申请实施例提供的另一种题目批改方法的流程图;
图4为本申请实施例提供的一种题目批改装置的结构框图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。
需要说明的是,本申请中的第一和第二只是为了区分名称,并不代表顺序关系,不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,例如,第一编码器模型、第二编码器模型,第一初始编码器模型、第二初始编码器模型,第一样本题目、第二样本题目,第一样本预测题目,第二样本预测题目,第一训练图像样本、第二训练图像样本、第三训练图像样本;本申请中的目标只是为了表示单数概念,而不用于限制,不是特指某一个,例如,目标匹配对、目标字符串。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一、
本申请实施例一提供的题目批改方法,如图1所示,图1为本申请实施例提供的一种题目批改方法的流程图,该题目批改方法包括以下步骤:
步骤S101、获取待批改图像,以及在预存的多个标准答案图像中搜索到的待批改图像对应的标准答案图像。
其中,待批改图像包括至少一个待批改题目。
需要说明的是,本申请实施例中待批改题目是指带有语义信息的题目,例如,选择题、填空题、判断题、应用题、做图题等。一个待批改图像包括一个或多个待批改题目,待批改题目包括题干以及用户作答答案,题干可以理解为打印体文本,便于用户阅读理解题意,用户作答答案可以理解为手写体文本,是用户对于题干理解后相应的作答文本。一个标准答案图像包括至少一个标准题目,标准题目包括题干以及题干对应的标准答案,题干对应的标准答案可以理解为题干对应的正确答案,可以为手写体文本,也可以为打印体文本,为便于区分用户作答答案,该标准答案可以设置为打印体文本。
本申请实施例基于题库搜索标准答案图像,题库中预存有多个标准答案图像,本申请实施例中通过直接在题库中搜索获得待批改图像对应的标准答案图像,减少了对待批改图像的检测、识别等步骤,提高了获得标准答案图像的效率。
步骤S102、根据待批改图像与标准答案图像之间的特征匹配对,计算待批改图像和标准答案图像之间的单应矩阵。
本申请实施例通过将待批改图像中的特征点与标准答案图像中的特征点进行特征匹配,得到特征匹配对,特征匹配对用于描述两个特征点相似度满足要求的特征点组合,两个特征点包括待批改图像中的特征点和标准答案图像中的特征点。
单应性变换对应的变换矩阵为单应矩阵,单应性(Homography)变换描述物体在世界坐标系和像素坐标系之间的位置映射关系。对应到本申请实施例中,题目表征物理,待批改图像对应的坐标系以及标准答案图像对应的坐标系分别表征世界坐标系和像素坐标系。本示例根据多个特征匹配对计算待批改图像和标准答案图像之间的单应矩阵。单应矩阵表征待批改图像和标准答案图像中对应点之间的关系。
步骤S103、根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,获得待批改题目中用户作答答案的图像。
标准答案图像中作答区域坐标也就是标准答案所在的坐标位置,待批改图像上对应位置也就是用户作答答案所在的位置,因此根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,可以获得待批改题目中用户作答答案的图像,实现了标准答案图像中作答区域和用户作答答案之间的匹配。用户作答答案的图像可以通过将用户作答答案从待批改图像上剪切或复制得到的图像,对此本申请实施例不做限制。
步骤S104、根据用户作答答案的图像和标准答案图像中作答区域,获得待批改题目的判题结果。
本申请实施例将用户作答答案的图像中的内容与标准答案图像中作答区域中的内容进行比较,获得该道题目的批改结果,如果是客观题,例如,选择题、判断题和填空题等,若两者内容相同,则作答正确,若两者内容不相同,则作答错误,判题结果可以为在每道题目的答案处标记√或×。如果是主观题,主观题的作答区域不固定,即在留白处可以随意填写,且答案表述多样化,不唯一,例如应用题、做图题等可以用不同语义表述的题目,可以像客观题一样,直接判断两者内容是否相同,也可以通过将两个图像进行语义匹配的方式进行判题,例如,通过两者内容中相同或相似的关键词的数量进行判题。可以理解的是,判题结果也可以为得分情况,例如,在每道题目的答案处标记10分或0分,本申请实施例判题结果不做限制。
需要说明的是,本申请实施例中一个待批改图像可以包括多个待批改题目,以一个待批改图像包括4个待批改题目时,进一步的,判题结果还可以是4个待批改题目的得分总和,例如,4个待批改题目得分分别是2分、0分、3分和5分,则该待批改图像的判题结果为10分。
本申请实施例通过获取待批改图像,以及在预存的多个标准答案图像中搜索到的待批改图像对应的标准答案图像,待批改图像包括至少一个待批改题目,通过直接搜索获得标准答案图像,减少了检测、识别等步骤,提高了获得标准答案图像的效率。根据待批改图像与标准答案图像之间的特征匹配对,计算待批改图像和标准答案图像之间的单应矩阵;根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,获得待批改题目中用户作答答案的图像。根据用户作答答案的图像和标准答案图像中作答区域,获得待批改题目的判题结果,通过直接比对作答区域的方式实现对语义信息的题型的批改,提高了判题效率。
实施例二、
本申请实施例二基于实施例一的方案,可选地,在本申请的一种实施例中,其中实施例一中步骤S101中可通过以下步骤S101a-步骤S101c实现。
步骤S101a、获取包含待批改题目的待批改图像。
步骤S101b、通过预先训练完成的第一编码器模型,对待批改图像进行编码,获得待批改题目编码向量。
本申请中的编码器模型可以是任意适当的、包括编码器模型和解码器模型部分的编码器模型,包括但不限于变分自编码器(Variational Auto-Encoder,简称VAE)、生成对抗网络(Generative Adversarial Networks,简称GAN)、回归模型(regression model)、图像描述模型(Image Captioning)等,对此本申请不做限制。编码器模型在训练完成后,即可实现相应的编码功能。具体到本申请实施例,可以实现对题目区域的图像部分的数据进行编码,生成编码向量的功能。
可选地,在本申请的一种实施例中,编码器模型为变分自编码器模型。
如图2所示,图2为本申请实施例提供的一种变分自编码器模型的结构示意图,变分自编码器模型通常以对数似然的下确界作为优化目标,因此变分自编码器模型的损失函数一般由重构损失和交叉熵损失两部分组成。变分自编码器模型是一种生成式模型,包括编码器(Encoder)模型和解码器(Decoder)模型,可选地,编码器模型由8层卷积构成,解码器模型由8层反卷积构成,编码器模型的每层特征跳连至解码器模型的反卷积对应层(U-Net结构)。示例地,编码器模型用于将输入图像进行编码,以提取特征信息,编码器模型可采用卷积神经网络进行特征提取,得到的编码向量可以包含整个输入图像的信息;解码器模型用于接收编码器输出的特征信息,解码器模型可采用循环神经网络、长短期记忆网络等来处理这些特征信息,可以将上下文向量初始化,然后输出图像。
将输入图像通过编码器模型进行编码,得到编码向量,再将编码向量输入解码器模型,进行解码,得到输出图像,输出图像和输入图像相同。虽然变分自编码器模型输出的生成图像的质量,往往不如生成对抗网络和回归模型,但是,该输出图像与输入图像极为相似,可以用于还原输入的原始图像,相较于其他的生成式模型,变分自编码器模型的训练更稳定,而且速度更快。
本示例编码向量可以是高维向量,可以是某种分布的参数,也可以是特征图等。其中,高维向量可以理解为多维向量,可以有效表征题目的题目特点。
步骤S101c、基于待批改题目编码向量与预存的多个标准答案图像对应的题目特征向量的匹配结果,获得待批改图像对应的标准答案图像。
需要说明的是,本申请实施例中题目特征向量可以理解为题目编码向量(该题目包括题干和题干对应的标准答案),为便于与待批改题目编码向量进行区分,此处用题目特征向量表示。虽然,将待批改图像输入预先训练完成的编码器模型时,其未携带任何与题目有关的信息,但通过编码器模型得到的编码向量却能够携带足够地表征题目相关的信息。基于此,将编码向量与预存的多个标准答案图像对应的题目特征向量进行匹配,其中,题目特征向量中包括多种可表征题目内容的特征向量,这些特征向量同样基于图像特征获得,因此,通过图像特征的比对,可确定待批改图像对应的标准答案图像。
本示例中通过对待批改图像进行编码,获得待批改题目编码向量,基于题目特征向量的匹配结果,直接在预存的多个标准答案图像中搜索待批改图像对应的标准答案图像,减少了对待批改图像的检测、识别等步骤,提高了获得标准答案图像的效率。
可选地,在本申请的一种实施例中,步骤S101c可通过以下方式实现:计算待批改题目编码向量与预存的多个题目特征向量之间的向量相似度,得到多个向量相似度;将多个向量相似度中最大向量相似度对应的标准答案图像,作为待批改图像对应的标准答案图像。
不同向量之间的向量相似度通常采用的方法就是计算向量之间的“距离”,距离的计算方式包括但不限于:欧式距离、曼哈顿距离、余弦距离等。以编码向量是多维向量为例进行说明,本示例在进行编码向量之间的相似度匹配时,采用余弦距离的计算方式,该向量相似度的计算方式简单,并可以清楚地表明向量之间的相似程度。通过计算待批改题目编码向量与预存的多个题目特征向量之间的向量相似度,得到多个向量相似度,将多个向量相似度中最大向量相似度对应的标准答案图像,作为待批改图像对应的标准答案图像,提高了获得标准答案图像的准确性。
实施例一中步骤S102中可通过以下步骤S102a-步骤S102c实现。
步骤S102a、分别对待批改图像和标准答案图像进行特征点提取,获得待批改图像的特征点和标准答案图像的特征点。
本示例中特征点可以理解为图像特征点,是指图像中有典型代表性的像素点,可选地,每个特征点都有一个表征其周围局部信息的256维8位无符号整型描述子,描述子表征特征点周围图像的信息,一般情况下,一个图像上至少有超过2000多个特征点。本示例中特征点满足差异性和重复性两个基本要求,差异性是该像素点相比于其周围的像素点,灰度变换明显,例如角点、边缘点等;重复性是指同一特征点在不同视角中重复出现,且具有旋转、光度和尺度不变性。
特征点可以应用于以下场景:相机标定、图像拼接、稠密重建和场景理解,其中,场景理解中常用的是词袋方法,即以特征点为中心生成关键词袋进行场景识别;特征点在计算机视觉的多项任务中有着重要应用。
本示例中可通过以下三个示例获得特征点,示例一、特征点检测算法,例如尺度不变特征转换(scale-invariant feature transform,简称sift)、surf、快速特征点提取和描述的算法(Oriented FAST and Rotated BRIEF,简称orb)、fast((features fromaccelerated segment test)和方向梯度直方图(histogram of oriented gradient,简称hog)等;示例二、采用基于深度学习的方法获得特征点,例如,通过样本图像训练神经网络模型,训练好的神经网络模型用于提取特征点;示例三、以场景中的人工标记点作为特征点。
可选地,本申请实施例通过sift算法分别对待批改图像和标准答案图像进行特征点提取,获得待批改图像的特征点和标准答案图像的特征点。
sift算法是在不同的尺度空间上查找关键点(即特征点),并计算出关键点的方向。sift所查找到的关键点是一些十分突出,不会因光照,仿射变换和噪音等因素而变化的点,如角点、边缘点、暗区的亮点及亮区的暗点等。相较于深度学习的方法,sift算法无需训练,降低了成本,且具有较快的速度,容易实现,效果稳定。
可选地,在本申请的一种实施例中,步骤S102a可通过以下方式实现:对待批改图像和标准答案图像分别进行灰度化,得到待批改灰度图和答案灰度图;分别对待批改灰度图和标准答案灰度图的特征点进行提取,得到待批改图像的特征点和标准答案图像的特征点。
在特征点提取时,最关键的因素是梯度特征,梯度特征意味着边缘,这是最本质的部分,而在计算梯度特征时,用到的是灰度图像。而图像中的颜色本身,非常容易受到光照等因素的影响,同类的物体颜色有很多变化,因此颜色本身难以提供关键信息。本示例中在进行特征点提取之前,还对图像进行灰度化,获得灰度图,使得在对灰度图进行提取特征点时,提高提取特征点的准确度。
步骤S102b、根据图像特征点匹配算法将待批改图像的特征点与标准答案图像的特征点进行特征点匹配,获得多个特征匹配对。
图像特征点匹配算法用于将两个图像中相似度高的特征点匹配成特征匹配对。示例地,利用两个特征点之间的距离反映其相似程度,也就是这两个特征点是不是同一个,该距离可以是欧式距离、汉明距离等。可选地,图像特征点匹配算法包括但不限于暴力匹配、交叉匹配、KNN匹配、K-Means算法。其中,暴力匹配方法用于计算某一个特征点与其他所有特征点之间的距离,然后将得到的距离进行排序,取距离最近的一个作为匹配点。
在根据图像特征点匹配算法进行特征点匹配得到多个特征匹配对时,一种可实现的方式中,计算待批改图像的多个特征点以及标准答案图像的多个特征点之间的特征相似度,以得到多个特征相似度;筛选出多个特征相似度中不低于设定阈值的特征相似度,根据该特征相似度所对应的待批改图像的特征点以及标准答案图像的特征点形成特征匹配对。
步骤S102c、根据多个特征匹配对确定待批改图像和标准答案图像之间的单应矩阵。
本示例根据图像特征点匹配算法将待批改图像的特征点与标准答案图像的特征点进行特征点匹配,获得多个特征匹配对,提高了特征匹配对的准确性。根据多个特征匹配对计算待批改图像和标准答案图像之间的单应矩阵,以便于根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置。
可选地,在本申请的一种实施例中,步骤S102c可通过以下方式实现:根据多个特征匹配对的随机一致性在多个特征匹配对中选取多个目标匹配对;根据多个目标匹配对计算待批改图像和标准答案图像之间的单应矩阵。
通过图像特征点匹配算法将待批改图像的特征点与标准答案图像的特征点进行特征点匹配,获得的个特征匹配对中会存在错误匹配对,即出现两个特征点误匹配的现象。本申请实施例根据多个特征匹配对的随机一致性在多个特征匹配对中进行选取,将错误匹配对滤除。可选地,根据随机抽样一致算法(RANdomSAmple Consensus,简称RANSAC)在多个特征匹配对中选取多个目标匹配对,再根据选取的多个目标匹配对计算单应矩阵,提高了计算准确度。
在计算单应矩阵时,至少需要4个特征匹配对,可以理解的是,为了计算更精确,可以选择远大于4个特征匹配对计算单应矩阵,通过选取的多个目标匹配对计算单应矩阵,减少了特征匹配对的数量,提高了计算效率。
可选地,在本申请的一种实施例中,实施例一中步骤S103中可通过以下步骤S103a-步骤S103b实现。
步骤S103a、根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,确定待批改图像上用户作答答案的坐标。步骤S103b、根据用户作答答案的坐标对待批改图像进行剪切,得到用户作答答案的图像。
本示例中根据单应矩阵将标准答案图像中作答区域坐标通过映射,将待批改图像中用户作答答案区域与标准答案图像中标准答案区域进行匹配,得到待批改图像中用户作答答案的坐标,减少了误差,提高了获得用户作答答案的坐标的准确度。然后根据用户作答答案的坐标对待批改图像进行剪切,可以得到用户作答答案的图像。本示例通过映射方式获得用户作答答案的图像,提高了效率。
可选地,在本申请的一种实施例中,实施例一中步骤S104中可通过以下步骤S104a-步骤S104b实现。步骤S104a、将用户作答答案的图像输入预先训练完成的图像识别模型,得到目标字符串。步骤S104b、将目标字符串与标准答案图像中作答区域的字符串进行比较,获得待批改题目的判题结果。
本申请实施例中的图像识别模型可以是任意适当的、能够对图像进行文本识别、得到字符串的神经网络模型,对于采用的图像识别模型的具体结构,此处不做限定,例如:长短期记忆神经网络(Long Short-Term Memory,简称LSTM),循环神经网络(RecurrentNeural Network,简称RNN),卷积循环神经网络(Convolutional Recurrent NeuralNetwork,简称CRNN)。
示例地,通过字符串匹配算法对目标字符串和标准答案图像中作答区域的字符串进行比较,从而获得待批改题目的判题结果。针对客观题,例如,选择题、判断题和填空题等,若两者字符串相同,则作答正确,若两者字符串不相同,则作答错误。针对主观题,主观题的作答区域不固定,即在留白处可以随意填写,且答案表述多样化,不唯一,例如应用题、做图题等可以用不同语义表述的题目,可以像客观题一样,直接判断两者字符串是否相同,相同,则作答正确,不相同,则作答错误;也可以通过比较两者字符串的相似程度,通过相似程度进行判题。本示例中通过字符串比较的方法获得待批改题目的判题结果,提高了判题结果的准确性。
实施例三、
本申请实施例三基于实施例一和实施例二的方案,可选地,在本申请的一种实施例中,上述实施例二步骤S101b中的第一编码器模型通过以下方式进行预先训练:获取包含第一样本题目的第一训练图像样本,第一样本题目包括题干和用户作答答案;将第一训练图像样本输入第一初始编码器模型,得到第一样本题目的题目预测编码向量;将第一样本题目的题目预测编码向量输入第一初始解码器模型,得到第一样本预测题目;根据第一样本预测题目,采用重构损失函数,对第一初始编码器模型和第一初始解码器模型进行训练,得到第一编码器模型。
本示例中训练图像样本包括多个图像样本,每个图像样本包括至少一个样本题目,该样本题目包括题干和用户作答答案,可以理解为用户作答过的图像,例如,考试试卷对应的图像、练习册对应的图像、习题对应的图像等。利用上述样本题目训练好的编码器模型在对待批改图像进行编码时,提高编码向量的准确性。
根据第一样本预测题目,采用重构损失函数,对第一初始编码器模型和第一初始解码器模型进行训练,直至达到训练终止条件,例如,训练次数达到预设次数,或者,损失值达到预设阈值等,得到第一编码器模型和第一解码器模型。在第一编码器模型和第一解码器模型训练结束后,在应用阶段,只使用第一编码器模型。
可选地,在本申请的一种实施例中,上述实施例一步骤S101以及实施例二步骤S101c中,预存的多个标准答案图像对应的题目特征向量通过以下方式获得:获取多个标准答案图像样本;通过预先训练完成的第二编码器模型,对多个标准答案图像样本进行编码,得到多个标准答案图像样本对应的题目特征向量;根据多个标准答案图像样本对应的题目特征向量,以及,与标准答案图像样本的作答区域标注位置对应的字符串,获得预存的多个标准答案图像。
本示例中,通过第二编码器模型对多个标准答案图像样本进行编码,得到多个题目特征向量,并对每个标准答案图像样本中的作答区域位置进行标注,并获得标准答案对应的字符串,以构建题库,标准答案对应的字符串即实施例二步骤S104b中标准答案图像中作答区域的字符串。
本示例中通过构建题库,该题库存储多个标准答案图像,每个标准答案图像包括题目特征向量、标注的作答区域位置以及作答区域对应的字符串。本申请实施例通过构建题库,根据题目特征向量可以在题库中找到待批改图像对应的标准答案图像,根据标注的作答区域位置可以映射到待批改图像中用户作答答案的位置,根据作答区域对应的字符串可以用户作答答案对应的目标字符串进行判题,得到待批改题目的判题结果,提高了判题效率。
可选地,在本申请的一种实施例中,第二编码器模型通过以下方式进行预先训练:获取包含第二样本题目的第二训练图像样本,第二样本题目包括题干和题干对应的标准答案;将第二训练图像样本输入第二初始编码器模型,得到第二样本题目的题目预测编码向量;将第二样本题目的题目预测编码向量输入第二初始解码器模型,得到第二样本预测题目;根据第二样本预测题目,采用重构损失函数,对第二初始编码器模型和第二初始解码器模型进行训练,得到第二编码器模型。
需要说明的是,本示例中的第二训练图像样本也可以是上述多个标准答案图像样本,若直接利用多个标准答案图像样本对第二编码器模型进行训练,在训练完成后,通过训练好的第二编码器模型对多个标准答案图像样本进行编码,以建立题库,则不用重复收集样本数据,节约成本,提高样本数据的利用率。
本示例中训练图像样本包括多个图像样本,每个图像样本包括至少一个样本题目,该样本题目包括题干和题干对应的标准答案,可以理解为题库中存储的包括标准答案的题目对应的图像数据,例如,教辅图像,该教辅图像中包括未进行作答的题干及其对应的标准答案;其中,未进行作答的题干和对应的标准答案可以是分开的,分别在不同的图像中,但是具有对应关系;未进行作答的题干和对应的标准答案也可以是放在一起,在同一个图像中,对此本申请实施例不做限制。利用上述样本题目训练好的编码器模型在对标准答案图像进行编码时,提高编码向量的准确性。
需要说明的是,第一编码器模型和第二编码器模型的训练过程一样,只有训练图像样本是不同的,即第一编码器模型使用的样本题目包括题干和用户作答答案,第二编码器模型使用的样本题目包括题干和题干对应的标准答案。
根据第二样本预测题目,采用重构损失函数,对第二初始编码器模型和第二初始解码器模型进行训练,直至达到训练终止条件,例如,训练次数达到预设次数,或者,损失值达到预设阈值等,得到第二编码器模型和第二解码器模型。在第二编码器模型和第二解码器模型训练结束后,在应用阶段,只使用第二编码器模型。
可选地,在本申请的一种实施例中,上述实施例二步骤S104a中图像识别模型通过以下方式进行预先训练:获取包含样本答案的第三训练图像样本,样本答案表征用户作答答案;将第三训练图像样本输入初始图像识别模型,得到样本答案的预测文本;根据样本答案的预测文本和样本答案的标注文本之间的差异,对初始图像识别模型进行训练,得到图像识别模型,标注文本包括对用户作答答案进行切分,得到的标注文本行对应的字符串。
根据样本答案的预测文本和样本答案的标注文本得到损失值,根据损失值对初始图像识别模型进行训练,直至达到训练终止条件,例如,训练次数达到预设次数,或者,损失值达到预设阈值等,得到图像识别模型。
可以理解的是,本示例中第三训练图像样本不局限于是作答答案,也可以是其他用途的手写文本,不一定是用户作答答案。上述第一训练图像样本的第一样本题目包括题干和用户作答答案,第二训练图像样本的第二样本题目包括题干和题干对应的标准答案,本示例中第三训练图像样本的样本答案是用户作答答案,也就是第一训练图像样本中第一样本题目的用户作答答案。此处,第一样本题目的题干与第二样本题目的题干相同,样本答案为第一样本题目的用户作答答案,不用重复收集样本数据,节约成本,提高样本数据的利用率。
需要说明的是,由于图像识别模型在识别文本时,是对一行一行的文本进行识别的,因此本申请实施例通过对用户作答答案进行切分,得到多个文本行,并且标注文本行对应的字符串,得到标注文本。该文本行便于被图像识别模型识别,提高训练效率。
列举一个具体地示例对本申请实施例中对题目批改进行说明,具体如下。如图3所示,图3为本申请实施例提供的另一种题目批改方法的流程图。
步骤S301、收集大量的标准答案图像。
此处,标准答案图像可以理解为教辅图像,该教辅图像中包括未进行作答的题干及其对应的标准答案。
步骤S302、使用大量的标准答案图像,训练第一个VAE模型,等到模型训练好之后,保留其编码器模型部分。
步骤S303、使用编码器模型对每个标准答案图像进行编码,得到多个题目编码向量。
步骤S304、对每个标准答案图像中的作答区域位置进行标注,并获得标准答案对应的字符串,将作答区域的位置和标准答案的字符串对应起来,构建题库,至此,题库构建完成。
步骤S305、收集大量的用户作答过的图像。
用户作答过的图像包括题干和用户作答答案,此处,用户作答过的图像中的题干可以是步骤S301教辅图像中未进行作答的题干,不用重复收集样本数据,节约成本,提高样本数据的利用率。
步骤S306、使用用户作答过的图像训练第二个VAE模型,等到模型训练好之后,保留其编码器模型部分。
步骤S307、对步骤S305中用户作答答案,进行文本行切分,并标注出切分的文本行对应的字符串,得到一个CRNN模型训练数据集。
步骤S308、使用步骤S307得到的数据集训练CRNN模型。
CRNN模型用于文本识别,CRNN模型包括卷积神经网络、循环神经网络和翻译层,卷积神经网络用于从带文字的图像中提取特征,循环神经网络用于将卷积神经网络提取的特征进行序列预测,翻译层用于将循环神经网络得到的序列翻译为字母序列,目标函数选择“联结时序分类”(CTC)损失函数;CRNN模型中尽管包含不同类型的网络结构,但是仍然能够被端到端的训练,采用CRNN模型对图像进行文本识别,提高了识别结果的准确性。
需要说明的是,上述步骤S301至步骤S308均为题库构建和训练阶段的步骤,本领域技术人员应当明了,在应用阶段,无需执行上述步骤。
步骤S309、用户上传待批改图像,使用步骤S306得到的第二个VAE模型的编码器模型,进行编码,得到待批改题目编码向量。
步骤S310、将待批改题目编码向量与题库中所有标准答案图像对应的题目编码向量进行距离计算,得到待批改图像对应的标准答案图像。
步骤S311、对待批改图像和标准答案图像分别进行灰度化,得到待批改灰度图和标准答案灰度图。
步骤S312、分别对待批改灰度图和标准答案灰度图使用sift算法提取特征点。
每个特征点都有一个表征其周围局部信息的256维8位无符号整型描述子,描述子表征特征点周围图像的信息,一般情况下,一个图像上至少有超过2000多个特征点。
步骤S313、根据特征点构建单应矩阵。
对待批改灰度图的特征点和标准答案灰度图的特征点,使用暴力匹配或者K-Means算法进行匹配,匹配结束后,得到多个特征匹配对,根据RANSAC算法在多个特征匹配对中选取多个目标匹配对,根据多个目标匹配对构建单应矩阵。
步骤S314、根据单应矩阵进行映射,获得用户作答答案的图像,再输入CRNN模型进行识别,得到用户作答答案对应的目标字符串。
根据单应矩阵,将题库中标准答案图像中作答区域坐标映射到用户上传的待批改图像上对应位置,确定待批改图像上用户作答答案的坐标,根据用户作答答案的坐标对待批改图像进行剪切,将剪切得到的用户作答答案的图像输入CRNN模型进行识别,得到用户作答答案对应的目标字符串。
步骤S315、根据目标字符串与题库中标准答案图像中作答区域的字符串,进行判题,得到待批改图像的批改结果。
将目标字符串与题库中标准答案图像中作答区域的字符串进行比较,根据两者内容是否相同,得出每个用户作答答案的判题结果,最后汇总判题结果,得到待批改图像的批改结果。
本申请实施例提供的题目批改方法,可以理解为基于已有题库快速批改作答区域固定的问题的方法,以此可实现对语音信息的题目的批改。是针对带有语义信息的题目,该题目可分为两类,一类是作答区域固定、对应答案表述也基本固定的问题,如选择题、填空题、判断题等题目,另一类是做图题、应用题等作答区域不固定,即可在留白处可以随意填写,且答案表述多样化,不唯一。
由于本申请实施例是基于题库进行题目批改的方案,因此首先需要构建题库,在构建题库时,一种可实现的方式中,采用层次化题库里所存储的题目的方式,即要对页-题-文本行进行层次化构建,利用文本行、题目检测模型以及图像识别模型重构整个图像,将整个图像的信息结构化存储下来,然后在处理用户上传的待批改图像时,也是使用检测、图像识别模型得到整个图像信息,然后搜索到对应标准答案图像,然后再进行批改。使用该方案构建题库时,存在以下两个问题,一是通过检测、识别、搜索得到标准答案图像,最后匹配、判题,整体流程太长,必然有大量误差累积,影响判题效果,二是题库的信息需要人工进行文本行的标注以及对应标准答案内容的转录,费时费力,而且做得越多,误差越大。本示例中对整体流程进行改进,直接使用用户上传的该批改图像在题库中进行搜索,得到标准答案图像,然后直接将用户作答答案和标准答案图像中作答区域进行比对,本示例中只需要标注标准答案的位置区域和对应答案的字符串,其余一律不管,不仅降低了题库的标注成本,而且降低了误差。通过基于题库快速批改作答区域固定的问题的方法,不仅提高了判题速度,还进一步提高了判题准确度。
实施例四、
基于上述实施例一至实施例三描述的任一项题目批改方法,本申请实施例提供了一种题目批改装置,如图4所示,图4为本申请实施例提供的一种题目批改装置,题目批改装置40包括:获取模块401,用于获取待批改图像,以及在预存的多个标准答案图像中搜索到的待批改图像对应的标准答案图像,待批改图像包括至少一个待批改题目;计算模块402,用于根据待批改图像与标准答案图像之间的特征匹配对,计算待批改图像和标准答案图像之间的单应矩阵;映射模块403,用于根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,获得待批改题目中用户作答答案的图像;判题模块404,用于根据用户作答答案的图像和标准答案图像中作答区域,获得待批改题目的判题结果。
可选地,在本申请的一种实施例中,计算模块402还用于分别对待批改图像和标准答案图像进行特征点提取,获得待批改图像的特征点和标准答案图像的特征点;根据图像特征点匹配算法将待批改图像的特征点与标准答案图像的特征点进行特征点匹配,获得多个特征匹配对;根据多个特征匹配对确定待批改图像和标准答案图像之间的单应矩阵。
可选地,在本申请的一种实施例中,计算模块402还用于对待批改图像和标准答案图像分别进行灰度化,得到待批改灰度图和答案灰度图;分别对待批改灰度图和标准答案灰度图的特征点进行提取,得到待批改图像的特征点和标准答案图像的特征点。
可选地,在本申请的一种实施例中,计算模块402还用于根据多个特征匹配对的随机一致性在多个特征匹配对中选取多个目标匹配对;根据多个目标匹配对计算待批改图像和标准答案图像之间的单应矩阵。
可选地,在本申请的一种实施例中,映射模块403还用于根据单应矩阵将标准答案图像中作答区域坐标映射到待批改图像上对应位置,确定待批改图像上用户作答答案的坐标;根据用户作答答案的坐标对待批改图像进行剪切,得到用户作答答案的图像。
可选地,在本申请的一种实施例中,获取模块401还用于获取包含待批改题目的待批改图像;通过预先训练完成的第一编码器模型,对待批改图像进行编码,获得待批改题目编码向量;基于待批改题目编码向量与预存的多个标准答案图像对应的题目特征向量的匹配结果,获得待批改图像对应的标准答案图像。
可选地,在本申请的一种实施例中,获取模块401还用于计算待批改题目编码向量与预存的多个题目特征向量之间的向量相似度,得到多个向量相似度;将多个向量相似度中最大向量相似度对应的标准答案图像,作为待批改图像对应的标准答案图像。
可选地,在本申请的一种实施例中,第一编码器模型通过以下方式进行预先训练:获取包含第一样本题目的第一训练图像样本,第一样本题目包括题干和用户作答答案;将第一训练图像样本输入第一初始编码器模型,得到第一样本题目的题目预测编码向量;将第一样本题目的题目预测编码向量输入第一初始解码器模型,得到第一样本预测题目;根据第一样本预测题目,采用重构损失函数,对第一初始编码器模型和第一初始解码器模型进行训练,得到第一编码器模型。
可选地,在本申请的一种实施例中,预存的多个标准答案图像通过以下方式获得:获取多个标准答案图像样本;通过预先训练完成的第二编码器模型,对多个标准答案图像样本进行编码,得到多个标准答案图像样本对应的题目特征向量;根据多个标准答案图像样本对应的题目特征向量,以及,与标准答案图像样本的作答区域标注位置对应的字符串,获得预存的多个标准答案图像。
可选地,在本申请的一种实施例中,第二编码器模型通过以下方式进行预先训练:获取包含第二样本题目的第二训练图像样本,第二样本题目包括题干和题干对应的标准答案;将第二训练图像样本输入第二初始编码器模型,得到第二样本题目的题目预测编码向量;将第二样本题目的题目预测编码向量输入第二初始解码器模型,得到第二样本预测题目;根据第二样本预测题目,采用重构损失函数,对第二初始编码器模型和第二初始解码器模型进行训练,得到第二编码器模型。
可选地,在本申请的一种实施例中,判题模块404还用于将用户作答答案的图像输入预先训练完成的图像识别模型,得到目标字符串;将目标字符串与标准答案图像中作答区域的字符串进行比较,获得待批改题目的判题结果。
可选地,在本申请的一种实施例中,图像识别模型通过以下方式进行预先训练:获取包含样本答案的第三训练图像样本,样本答案表征用户作答答案;将第三训练图像样本输入初始图像识别模型,得到样本答案的预测文本;根据样本答案的预测文本和样本答案的标注文本之间的差异,对初始图像识别模型进行训练,得到图像识别模型,标注文本包括对用户作答答案进行切分,得到的标注文本行对应的字符串。
本申请实施例的题目批改装置用于实现前述多个方法实施例中相应的题目批改方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本申请实施例的题目批改装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
实施例五、
基于上述实施例一至实施例三描述的任一项题目批改方法,本申请实施例提供了一种电子设备,需要说明的,本申请实施例的题目批改方法可以由任意适当的具有题目批改能力的电子设备执行,包括但不限于:服务器、移动终端(如手机、PAD等)和PC机等。如图5所示,图5为本申请实施例提供的一种电子设备的结构图。本申请具体实施例并不对电子设备的具体实现做限定。该电子设备50可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它电子设备或服务器进行通信。
处理器502,用于执行计算机程序510,具体可以执行上述题目批改方法实施例中的相关步骤。
具体地,计算机程序510可以包括计算机程序代码,该计算机程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放计算机程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510中各步骤的具体实现可以参见上述题目批改方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
实施例六、
基于上述实施例一至实施例三所描述的题目批改方法,本申请实施例提供了一种计算机存储介质,其存储有计算机程序,该计算机程序被处理器执行时实现如实施例一至实施例三所描述的题目批改方法。
需要指出,根据实施的需要,可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的题目批改方法。此外,当通用计算机访问用于实现在此示出的题目批改方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的题目批改方法的专用计算机。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例地单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例,而并非对本申请实施例的限制,有关技术领域的普通技术人员,在不脱离本申请实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请实施例的范畴,本申请实施例的专利保护范围应由权利要求限定。

Claims (15)

1.一种题目批改方法,其特征在于,所述方法包括:
获取待批改图像,以及在预存的多个标准答案图像中搜索到的所述待批改图像对应的标准答案图像,所述待批改图像包括至少一个待批改题目;
根据所述待批改图像与所述标准答案图像之间的特征匹配对,计算所述待批改图像和所述标准答案图像之间的单应矩阵;
根据所述单应矩阵将所述标准答案图像中作答区域坐标映射到所述待批改图像上对应位置,获得所述待批改题目中用户作答答案的图像;
根据所述用户作答答案的图像和所述标准答案图像中作答区域,获得所述待批改题目的判题结果。
2.根据权利要求1所述的方法,其特征在于,根据所述待批改图像与所述标准答案图像之间的特征匹配对,计算所述待批改图像和所述标准答案图像之间的单应矩阵,包括:
分别对所述待批改图像和所述标准答案图像进行特征点提取,获得所述待批改图像的特征点和所述标准答案图像的特征点;
根据图像特征点匹配算法将所述待批改图像的特征点与所述标准答案图像的特征点进行特征点匹配,获得多个特征匹配对;
根据所述多个特征匹配对确定所述待批改图像和所述标准答案图像之间的单应矩阵。
3.根据权利要求2所述的方法,其特征在于,分别对所述待批改图像和所述标准答案图像进行特征点提取,获得所述待批改图像的特征点和所述标准答案图像的特征点,包括:
对所述待批改图像和所述标准答案图像分别进行灰度化,得到待批改灰度图和答案灰度图;
分别对所述待批改灰度图和所述标准答案灰度图的特征点进行提取,得到所述待批改图像的特征点和所述标准答案图像的特征点。
4.根据权利要求2所述的方法,其特征在于,根据所述多个特征匹配对确定所述待批改图像和所述标准答案图像之间的单应矩阵,包括:
根据多个特征匹配对的随机一致性在所述多个特征匹配对中选取多个目标匹配对;
根据所述多个目标匹配对计算所述待批改图像和所述标准答案图像之间的单应矩阵。
5.根据权利要求1所述的方法,其特征在于,根据所述单应矩阵将所述标准答案图像中作答区域坐标映射到所述待批改图像上对应位置,获得用户作答答案的图像,包括:
根据所述单应矩阵将所述标准答案图像中作答区域坐标映射到所述待批改图像上对应位置,确定所述待批改图像上用户作答答案的坐标;
根据所述用户作答答案的坐标对所述待批改图像进行剪切,得到所述用户作答答案的图像。
6.根据权利要求1所述的方法,其特征在于,获取待批改图像,以及在预存的多个标准答案图像中搜索到的所述待批改图像对应的标准答案图像,包括:
获取包含待批改题目的待批改图像;
通过预先训练完成的第一编码器模型,对所述待批改图像进行编码,获得所述待批改题目编码向量;
基于所述待批改题目编码向量与预存的多个标准答案图像对应的题目特征向量的匹配结果,获得所述待批改图像对应的标准答案图像。
7.根据权利要求6所述的方法,其特征在于,基于所述待批改题目编码向量与预存的多个标准答案图像对应的题目特征向量的匹配结果,获得所述待批改图像对应的标准答案图像,包括:
计算所述待批改题目编码向量与所述预存的多个题目特征向量之间的向量相似度,得到多个向量相似度;
将所述多个向量相似度中最大向量相似度对应的标准答案图像,作为所述待批改图像对应的标准答案图像。
8.根据权利要求6所述的方法,其特征在于,所述第一编码器模型通过以下方式进行预先训练:
获取包含第一样本题目的第一训练图像样本,所述第一样本题目包括题干和用户作答答案;
将所述第一训练图像样本输入第一初始编码器模型,得到所述第一样本题目的题目预测编码向量;
将所述第一样本题目的题目预测编码向量输入第一初始解码器模型,得到第一样本预测题目;
根据所述第一样本预测题目,采用重构损失函数,对所述第一初始编码器模型和所述第一初始解码器模型进行训练,得到所述第一编码器模型。
9.根据权利要求1所述的方法,其特征在于,所述预存的多个标准答案图像通过以下方式获得:
获取多个标准答案图像样本;
通过预先训练完成的第二编码器模型,对所述多个标准答案图像样本进行编码,得到多个标准答案图像样本对应的题目特征向量;
根据所述多个标准答案图像样本对应的题目特征向量,以及,与标准答案图像样本的作答区域标注位置对应的字符串,获得所述预存的多个标准答案图像。
10.根据权利要求9所述的方法,其特征在于,所述第二编码器模型通过以下方式进行预先训练:
获取包含第二样本题目的第二训练图像样本,所述第二样本题目包括题干和题干对应的标准答案;
将所述第二训练图像样本输入第二初始编码器模型,得到所述第二样本题目的题目预测编码向量;
将所述第二样本题目的题目预测编码向量输入第二初始解码器模型,得到第二样本预测题目;
根据所述第二样本预测题目,采用重构损失函数,对所述第二初始编码器模型和所述第二初始解码器模型进行训练,得到所述第二编码器模型。
11.根据权利要求1所述的方法,其特征在于,根据所述用户作答答案的图像和所述标准答案图像中作答区域,获得所述待批改题目的判题结果,包括:
将所述用户作答答案的图像输入预先训练完成的图像识别模型,得到目标字符串;
将所述目标字符串与所述标准答案图像中作答区域的字符串进行比较,获得所述待批改题目的判题结果。
12.根据权利要求11所述的方法,其特征在于,所述图像识别模型通过以下方式进行预先训练:
获取包含样本答案的第三训练图像样本,所述样本答案表征用户作答答案;
将所述第三训练图像样本输入初始图像识别模型,得到所述样本答案的预测文本;
根据所述样本答案的预测文本和样本答案的标注文本之间的差异,对所述初始图像识别模型进行训练,得到所述图像识别模型,所述标注文本包括对用户作答答案进行切分,得到的标注文本行对应的字符串。
13.一种题目批改装置,其特征在于,所述装置包括:
获取模块,用于获取待批改图像,以及在预存的多个标准答案图像中搜索到的所述待批改图像对应的标准答案图像,所述待批改图像包括至少一个待批改题目;
计算模块,用于根据所述待批改图像与所述标准答案图像之间的特征匹配对,计算所述待批改图像和所述标准答案图像之间的单应矩阵;
映射模块,用于根据所述单应矩阵将所述标准答案图像中作答区域坐标映射到所述待批改图像上对应位置,获得所述待批改题目中用户作答答案的图像;
判题模块,用于根据所述用户作答答案的图像和所述标准答案图像中作答区域,获得所述待批改题目的判题结果。
14.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一个可执行指令,所述可执行指令使所述处理器执行如权利要求1-12中任一项所述的题目批改方法对应的操作。
15.一种计算机存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-12中任一所述的题目批改方法。
CN202110555975.0A 2021-05-21 2021-05-21 题目批改方法、装置、电子设备及计算机存储介质 Pending CN113033711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110555975.0A CN113033711A (zh) 2021-05-21 2021-05-21 题目批改方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110555975.0A CN113033711A (zh) 2021-05-21 2021-05-21 题目批改方法、装置、电子设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN113033711A true CN113033711A (zh) 2021-06-25

Family

ID=76455713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110555975.0A Pending CN113033711A (zh) 2021-05-21 2021-05-21 题目批改方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113033711A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177115A (zh) * 2021-06-30 2021-07-27 中移(上海)信息通信科技有限公司 对话内容的处理方法、装置及相关设备
CN113254626A (zh) * 2021-07-16 2021-08-13 北京世纪好未来教育科技有限公司 文档处理方法、装置、电子设备及可读存储介质
CN113326815A (zh) * 2021-07-12 2021-08-31 北京世纪好未来教育科技有限公司 一种文档处理方法、装置、电子设备及可读存储介质
CN113486171A (zh) * 2021-09-07 2021-10-08 北京世纪好未来教育科技有限公司 一种图像处理方法及装置、电子设备
CN113723367A (zh) * 2021-10-27 2021-11-30 北京世纪好未来教育科技有限公司 一种答案确定方法、判题方法及装置和电子设备
CN114565750A (zh) * 2022-02-22 2022-05-31 杭州布谷蓝途科技有限公司 一种纸质试题的处理方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020160347A1 (en) * 2001-03-08 2002-10-31 Wallace Douglas H. Computerized test preparation system employing individually tailored diagnostics and remediation
CN110245640A (zh) * 2019-06-21 2019-09-17 深圳市采集科技有限公司 用于作业批改中自动定位题目的方法和作业批改方法、系统及存储介质
CN110705442A (zh) * 2019-09-27 2020-01-17 集美大学 一种试卷答案自动获取方法、终端设备及存储介质
CN110991357A (zh) * 2019-12-06 2020-04-10 北京一起教育信息咨询有限责任公司 一种答案匹配方法、装置和电子设备
CN112200230A (zh) * 2020-09-29 2021-01-08 深圳市优必选科技股份有限公司 一种训练板的识别方法、装置及机器人
CN112598000A (zh) * 2021-03-03 2021-04-02 北京世纪好未来教育科技有限公司 题目识别方法、装置、电子设备及计算机存储介质
CN112686263A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 文字识别方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020160347A1 (en) * 2001-03-08 2002-10-31 Wallace Douglas H. Computerized test preparation system employing individually tailored diagnostics and remediation
CN110245640A (zh) * 2019-06-21 2019-09-17 深圳市采集科技有限公司 用于作业批改中自动定位题目的方法和作业批改方法、系统及存储介质
CN110705442A (zh) * 2019-09-27 2020-01-17 集美大学 一种试卷答案自动获取方法、终端设备及存储介质
CN110991357A (zh) * 2019-12-06 2020-04-10 北京一起教育信息咨询有限责任公司 一种答案匹配方法、装置和电子设备
CN112200230A (zh) * 2020-09-29 2021-01-08 深圳市优必选科技股份有限公司 一种训练板的识别方法、装置及机器人
CN112686263A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 文字识别方法、装置、电子设备及存储介质
CN112598000A (zh) * 2021-03-03 2021-04-02 北京世纪好未来教育科技有限公司 题目识别方法、装置、电子设备及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU ZHIPENG等: "Extraction of Answer Image of Choice Questions in Examination Paper", 《IEEE》 *
李莹等: "基于图像识别技术的智能阅卷系统优化设计", 《信息与电脑(理论版)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177115A (zh) * 2021-06-30 2021-07-27 中移(上海)信息通信科技有限公司 对话内容的处理方法、装置及相关设备
CN113177115B (zh) * 2021-06-30 2021-10-26 中移(上海)信息通信科技有限公司 对话内容的处理方法、装置及相关设备
CN113326815A (zh) * 2021-07-12 2021-08-31 北京世纪好未来教育科技有限公司 一种文档处理方法、装置、电子设备及可读存储介质
CN113254626A (zh) * 2021-07-16 2021-08-13 北京世纪好未来教育科技有限公司 文档处理方法、装置、电子设备及可读存储介质
CN113486171A (zh) * 2021-09-07 2021-10-08 北京世纪好未来教育科技有限公司 一种图像处理方法及装置、电子设备
CN113723367A (zh) * 2021-10-27 2021-11-30 北京世纪好未来教育科技有限公司 一种答案确定方法、判题方法及装置和电子设备
CN114565750A (zh) * 2022-02-22 2022-05-31 杭州布谷蓝途科技有限公司 一种纸质试题的处理方法和系统

Similar Documents

Publication Publication Date Title
CN113033711A (zh) 题目批改方法、装置、电子设备及计算机存储介质
CN110795543B (zh) 基于深度学习的非结构化数据抽取方法、装置及存储介质
CN109271401B (zh) 一种题目搜索、批改方法、装置、电子设备和存储介质
CN111753767A (zh) 一种作业自动批改的方法、装置、电子设备和存储介质
CN109583429B (zh) 一种批改试卷中应用题的方法及装置
CN111597908A (zh) 试卷批改方法和试卷批改装置
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
CN113111154B (zh) 相似度评估方法、答案搜索方法、装置、设备及介质
CN111507330B (zh) 习题识别方法、装置、电子设备及存储介质
CN112598000A (zh) 题目识别方法、装置、电子设备及计算机存储介质
CN111079641B (zh) 作答内容识别方法、相关设备及可读存储介质
CN111581367A (zh) 一种题目录入的方法和系统
CN113177435A (zh) 试卷分析方法、装置、存储介质及电子设备
CN111753120A (zh) 一种搜题的方法、装置、电子设备和存储介质
CN112347997A (zh) 一种试题检测识别方法、装置、电子设备及介质
Obaidullah et al. Structural feature based approach for script identification from printed Indian document
CN114821613A (zh) 一种pdf中表格信息的抽取方法和系统
CN110956038A (zh) 图文内容重复判断方法及装置
CN109101973B (zh) 文字识别方法、电子设备、存储介质
CN114092931B (zh) 场景文字识别方法、装置、电子设备及存储介质
CN113239908B (zh) 一种题目处理方法、装置、设备及介质
CN113221718B (zh) 公式识别方法、装置、存储介质和电子设备
CN110533035B (zh) 基于文本匹配的学生作业页码识别方法
CN111598075A (zh) 图片生成方法、设备及可读存储介质
CN112288058B (zh) 一种基于增强现实的答案智能填写方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625

RJ01 Rejection of invention patent application after publication