CN111104883A - 作业答案提取方法、装置、设备及计算机可读存储介质 - Google Patents
作业答案提取方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111104883A CN111104883A CN201911253511.3A CN201911253511A CN111104883A CN 111104883 A CN111104883 A CN 111104883A CN 201911253511 A CN201911253511 A CN 201911253511A CN 111104883 A CN111104883 A CN 111104883A
- Authority
- CN
- China
- Prior art keywords
- answer
- job
- image
- area
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Character Input (AREA)
Abstract
本申请提供一种作业答案提取方法、装置、设备及计算机可读存储介质,该方法包括:获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。本申请涉及图像处理领域,可以有效地提高作业答案的提取准确度。
Description
技术领域
本申请涉及图像处理的技术领域,尤其涉及一种作业答案提取方法、装置、设备及计算机可读存储介质。
背景技术
目前,大部分的学校和机构对学生布置的作业仍然采用传统的纸质作业方式,但随着人工智能的发展,作业自动批改也随之出现。由于作业题目的排版五花八门,并且部分学生会在作业纸的空白处进行草稿演算,极大增加了作业自动批改的难度,因此,作业自动批改的关键在于如何准确的定位提取学生的手写答案。
传统的手写答案的提取方法主要是通过答案坐标定位确定答案坐标范围,并将答案坐标范围内的图像内容判定为学生作答区域。但此种方法要求输入的作业图像质量高,为了保证准确提取手写答案,需要学生多次拍摄作业,才能得到质量高的作业图像,此外,答案坐标范围的准确度影响手写答案的提取准确度,因此,如何提高手写答案的提取准确度是目前亟待解决的问题。
发明内容
本申请的主要目的在于提供一种作业答案提取方法、装置、设备及计算机可读存储介质,旨在提高手写答案的提取准确度。
第一方面,本申请提供一种作业答案提取方法,所述作业答案提取方法包括以下步骤:
获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;
根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;
通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。
第二方面,本申请还提供一种作业答案提取装置,所述作业答案提取装置包括:
获取模块,用于获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;
提取模块,用于根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;
文字识别模块,用于通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。
第三方面,本申请还提供一种计算机设备,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如上述的作业答案提取方法的步骤。
第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如上述的作业答案提取方法的步骤。
本申请提供一种作业答案提取方法、装置、设备及计算机可读存储介质,本申请通过答案标记符定位模型可以准确的定位作业图像中的答案标记符的坐标,通过答案标记符的坐标和空白作业图像,可以准确的从作业图像中提取出答案文字块,然后通过预设的文字识别模型,可以对答案文字块进行文字识别,从而提取出该答案文字块中的作业答案,本申请能够有效的提高作业答案的提取准确度。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种作业答案提取方法的流程示意图;
图2为图1中的作业答案提取方法的子步骤流程示意图;
图3为实施本实施例提供的作业答案提取方法的一场景示意图;
图4为本申请实施例提供的另一种作业答案提取方法的流程示意图;
图5为本申请实施例提供的一种作业答案提取装置的示意性框图;
图6为图5中的作业答案提取装置的子模块的示意性框图;
图7为本申请实施例提供的另一种作业答案提取装置的示意性框图;
图8为本申请一实施例涉及的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,虽然在装置示意图中进行了功能模块的划分,但是在某些情况下,可以以不同于装置示意图中的模块划分。
本申请实施例提供一种作业答案提取方法、装置、设备及计算机可读存储介质。其中,该作业答案提取方法可应用于服务器,该服务器可以为单台的服务器,也可以为由多台服务器组成的服务器集群。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本申请的实施例提供的一种作业答案提取方法的流程示意图。
如图1所示,该作业答案提取方法包括步骤S101至步骤S103。
步骤S101、获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息。
当用户需要获取作业图像时,可以通过移动终端对作业进行拍照,并将拍照得到的作业图像上传至服务器,服务器在接收到移动终端上传的作业图像之后,可以实时提取作业图像中的作业答案,也可以先存储作业图像,之后再统一提取作业图像中的作业答案。其中,该移动终端包括智能手机和平板电脑。
具体地,移动终端显示作业图像上传页面,该图像上传页面显示有作业提醒信息,用于提醒用户拍摄的作业均在作业图像中。用户应当注意调整拍摄的角度及拍摄的距离,使得拍摄得到的作业图像中的四角完整,便于服务器更准确地进行后续的作业提取和文字识别。当用户基于该作业图像上传页面触发拍摄指令时,移动终端监测到该拍摄指令,并基于该拍摄指令对作业进行拍摄,得到作业图像并上传至服务器。
同时,当触发作业答案提取请求时,服务器监测到该用户触发的作业答案提取请求,此时,服务器可以从该作业答案提取请求中获取作业图像,或者从该作业答案提取请求中获取图像标识符,并从数据库中获取与该图像标识符对应的作业图像。需要说明的是,该作业答案提取请求可以实时触发,也可以定时触发,上述定时触发的定时时间可基于实际情况进行设置,本申请对此不作具体限定。
其中,作业答案提取请求的实时触发方式具体为:移动终端显示作业答案选择页面,其中,作业答案选择页面显示有不同批次的作业图像;获取用户基于作业答案选择页面选择的作业图像,并获取选择的作业图像的图像标识符;生成携带有该图像标识符的作业答案提取请求,且将该作业答案提取请求发送至服务器。
在获取到作业图像之后,服务器基于预设的答案标记符定位模型对该作业图像进行处理,以获取作业图像中的答案标记符的坐标信息。其中,该答案标记符定位模型为基于深度学习的目标检测网络,可选为改进的yolo3网络结构,即去掉原始yolo3网络结构中的最后一层特征后的结构的最后三层特征,以更多覆盖符合标记实际情况的小目标范围。需要说明的是,作业上的答案区域可以用题号和答案标记符进行标记,通过基于深度学习的目标检测网络检测作业图像中的答案标记符的坐标,即可确定作业图像中的答案标记符的坐标信息,该坐标信息用于定位作业图像中的答案区域。
需要说明的是,该答案标记符定位模型是通过样本数据对改进的yolo3网络结构进行迭代训练得到的,训练的样本数据为标记有题号和答案标记符的坐标的作业图像,通过标记有题号和答案标记符的坐标的作业图像对改进的yolo3网络结构进行训练,直到改进的yolo3网络结构收敛,就可以得到答案标记符定位模型。需要说明的是,上述答案标记符可基于实际情况进行设置,本申请对此不作具体限定,可选为括号或下划横线。
步骤S102、根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块。
在获取作业图像中的答案标记符的坐标信息之后,服务器根据答案标记符的坐标信息,可以获取预设的空白作业图像当中与该坐标信息对应的空白作业内容图像,也可以获取作业图像当中与该坐标信息对应的作业内容图像,对获取的空白作业内容图像与作业内容图像进行图像处理,从而可以从该作业图像中提取答案文字块。其中,该预设的空白作业图像为未作答的作业图像,空白作业图像上仅显示印刷体的字符,该字符包括但不限于数字、文字和符号,该作业内容图像包括印刷体的字符以及手写体的字符,该答案文字块由手写体的字符组成。
在一实施例中,如图2所示,步骤S102包括:子步骤S1021至子步骤S1023。
子步骤S1011、对预设的空白作业图像的尺寸进行调整,使得所述空白作业图像与所述作业图像的尺寸相同。
将预设的空白作业图像的尺寸调整为作业图像的尺寸,使得该空白作业图像与该作业图像的尺寸相同,可以间接提高答案文字块的提取准确性。其中,对空白作业图像的尺寸进行调整可以是尺寸放大调整或是尺寸缩小调整,可选的,将预设的空白作业图像的长宽比例与上传的作业图像长宽比例设置为相同比例,例如长宽比例均为16:9,本申请对空白作业图像与作业图像的长宽比例不做具体限制。
具体地,获取上传的作业图像的尺寸和预设的空白作业图像的尺寸;根据获取的作业图像的尺寸和空白作业图像的尺寸,确定空白作业图像的缩放比例;按照确定的空白作业图像的缩放比例,对该空白作业图像的尺寸进行调整,使得该空白作业图像与该作业图像的尺寸相同。其中,该缩放比例包括图像长度的缩放比例和图像宽度的缩放比例。
在一实施例中,将作业图像的尺寸调整为预设的空白作业图像的尺寸,使得该作业图像与该空白作业图像的尺寸相同。需要说明的是,作业图像的尺寸进行调整之后,对该作业图像对应的答案标记符的坐标信息进行对应调整,例如对作业图像的尺寸放大调整至原作业图像的1.5倍之后,对该作业图像对应的答案标记符的坐标信息进行相应的1.5倍放大调整。
在一实施例中,按照预设的图像尺寸,分别调整预设的空白作业图像的尺寸和作业图像的尺寸,使得空白作业图像和作业图像的尺寸都与预设的图像尺寸相同。其中,预设的图像尺寸可根据实际情况进行调整,本申请对此不做具体限制,需要说明的是,若作业图像的尺寸进行了调整,则对该作业图像对应的答案标记符的坐标信息进行对应调整。
子步骤S1012、根据所述答案标记符的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像。
根据答案标记符的坐标信息,可以基于作业图像获取作业内容图像,亦可以基于经过调整的空白作业图像获取空白作业内容图像。其中,该空白作业内容图像上仅显示印刷体的答案标记符,该作业内容图像包括印刷体的答案标记符、题号以及手写体的字符,该字符包括但不限于数字、文字和符号需要说明的是,该空白作业内容图像上显示的印刷体的答案标记符与该作业内容图像显示的印刷体的答案标记符一致,上述答案标记符可基于实际情况进行设置,本申请对此不作具体限定,可选为括号或下划横线。
在一实施例中,获取作业内容图像和空白作业内容图像的具体方式为:通过答案标记符的坐标信息和预设的答案区域选定规则,确定答案区域的坐标信息;根据答案区域的坐标信息,从作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像。其中,预设的答案区域选定规则可以根据实际情况进行设置,本申请对此不做具体限定,通过设置预设的答案区域选定规则可以更精准地确定答案区域的坐标信息,提高获取作业内容图像和空白作业内容图像的准确性。
可选地,答案区域为矩形,答案标记符为括号,答案区域选定规则为以该括号中心为基准,将位于括号上方,且距离该中心3个括号高度的位置记为答案区域的上边缘,将位于括号下方,且距离该中心3个括号高度的位置记为答案区域的下边缘,将位于括号左侧,且距离该中心3个括号宽度的位置记为答案区域的左边缘,将位于括号右侧,且距离该中心6个括号宽度的位置记为答案区域的下边缘,上下左右边缘围成一个矩形的答案区域。
子步骤S1023、对所述作业内容图像和所述空白作业内容图像进行作差处理,得到目标作业图像,并从所述目标作业图像中提取答案文字块。
对作业内容图像和空白作业内容图像进行作差处理,消除作业内容图像中的印刷体的答案标记符,保留手写体的字符,得到目标作业图像,对该目标作业图像进行二值化处理,再进行腐蚀和膨胀处理,可以得到该目标作业图像中的连通域,并根据该目标作业图像中的连通域,从该目标作业图像中提取答案文字块。需要说明的是,得到的目标作业图像中的连通域由独立的手写体的字符组成,一个独立的手写体的字符可以形成一个独立的连通域。
其中,对作业内容图像和空白作业内容图像进行作差处理的具体方式为:获取空白作业内容图像中的印刷体的字符,并获取作业内容图像中的印刷体的字符,根据获取的空白作业内容图像中的印刷体的字符,以及作业内容图像中的印刷体的字符,消除作业内容图像中与空白作业内容图像一致的印刷体的字符,得到保留手写体的字符的目标作业图像。
在一实施例中,从目标作业图像中提取答案文字块的具体方式为:确定目标作业图像中的各个连通域,并计算每个连通域的面积;确定面积大于预设的面积阈值的连通域为候选连通域,并计算每两个候选连通域之间的距离;根据每两个候选连通域之间的距离,执行候选连通域合并操作,得到至少一个答案文字块。需要说明的是,预设的面积阈值可根据实际情况进行设置,本申请不做具体限制,每两个候选连通域之间的距离为两个候选连通域之间的最短距离,对面积小于预设的面积阈值的连通域进行清除,只保留面积大于预设的面积阈值的连通域作为候选连通域,可以进一步提高候选连通域的提取准确度。
其中,执行候选连通域合并操作的具体方式为:将每两个候选连通域之间的距离小于或等于预设的合并距离阈值的候选连通域进行合并,得到新的候选连通域,且获取其余没有合并的候选连通域。需要说明的是,上述合并距离阈值可基于实际情况进行设置,本申请对此不作具体限定,通过执行候选连通域合并操作,可以进一步地提高提取答案文字块的识别准确性。
在一实施例中,得到至少一个答案文字块之后,还可以执行:确定答案文字块对应的答案区域,并确定答案文字块是否位于答案区域内;若答案文字块不位于答案区域内,则计算答案文字块与答案区域之间的距离;根据答案文字块与答案区域之间的距离,去除不满足预设的距离条件的答案文字块。需要说明的是,该距离阈值可基于实际情况进行设置,本申请对此不作具体限定,答案区域可通过预设的答案区域选定规则进行确定,答案文字块与答案区域之间的距离为答案文字块边界与答案区域边界的最短距离。
其中,根据答案文字块与答案区域之间的距离,去除不满足预设的距离条件的答案文字块的具体方式为:若答案文字块边界与其他的答案区域边界的最短距离大于预设的距离阈值,则对该答案文字块进行去除,若该最短距离小于或等于预设的距离阈值,则对该答案文字块进行保留。通过对答案文字块进行异常去除处理,可以进一步地提高答案文字块的识别准确性。
在一实施例中,若答案文字块位于答案区域内,则保留位于答案区域内的答案文字块,无需对答案文字块进行去除。
步骤S103、通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。
在提取得到答案文字块之后,通过预设的文字识别模型对该答案文字块进行文字识别,以提取该答案文字块中的作业答案。其中,该文字识别模型用于对答案文字块进行文字识别,该文字识别模型包括卷积神经网络层(Convolutional Neural Networks,CNN)、双向循环卷积神经网络层(Recurrent Neural Network,RNN)和联接时间分类层(Connectionist temporal classification,CTC)。
在一实施例中,该文字识别模型包括涂改区域处理层和文字识别层,该文字识别层用于对答案文字块进行文字识别,该涂改区域处理层由涂改区域标记子层和涂改区域处理子层组成,该涂改区域标记子层基于深度学习的目标检测网络实现,该涂改区域处理子层用于对有涂改区域的答案文字块进行去涂改处理。需要说明的是,该涂改区域标记子层基于深度学习的目标检测网络实现,通过大量的涂改样本对基于深度学习的目标检测网络进行训练直到收敛,即可得到涂改区域标记子层,该涂改样本为标注有涂改区域的图像。文字识别层包括CNN、RNN和CTC。
其中,对答案文字块进行文字识别的方式具体为:通过涂改区域标记子层确定答案文字块中是否存在涂改区域,如果答案文字块中存在涂改区域,则在答案文字块中标记涂改区域;通过涂改区域处理子层对标记有涂改区域的答案文字块进行处理,得到无涂改区域的答案文字块;将无涂改区域的答案文字块输入至文字识别层,从无涂改区域的答案文字块中提取出作业答案。
在一实施例中,对标记有涂改区域的答案文字块进行处理的具体方式为:将标记的涂改区域替换填充为白色区域,并重新创建一个白色画布,将答案文字块中的每个文字依次贴到白色画布上,从而去除涂改区域,排除涂改区域在提取作业答案时的干扰。
请参照图3,图3为实施本实施例提供的作业答案提取方法的一场景示意图。
如图3所示,当用户发出拍摄指令时,移动终端基于该拍摄指令对作业进行拍摄,得到作业图像并上传至服务器;当用户通过移动终端发出作业答案提取请求时,服务器可以对获取的作业图像进行图像处理,并将处理得到的包含答案文字块的作业答案发送至移动终端显示。
上述实施例提供的作业答案提取方法,通过答案标记符定位模型可以准确的定位作业图像中的答案标记符的坐标,通过答案标记符的坐标和空白作业图像,可以准确的从作业图像中提取出答案文字块,然后通过预设的文字识别模型,可以对答案文字块进行文字识别,从而提取出该答案文字块中的作业答案,本申请能够有效的提高作业答案的提取准确度。
请参照图4,图4为本申请实施例提供的另一种作业答案提取方法的流程示意图。
如图4所示,该作业答案提取方法包括步骤S201至205。
步骤S201、获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息。
在获取到作业图像之后,服务器基于预设的答案标记符定位模型对该作业图像进行处理,以获取作业图像中的答案标记符的坐标信息。其中,该答案标记符定位模型为基于深度学习的目标检测网络,该答案标记符的坐标信息通过答案标记符定位模型检测作业图像中的题号和答案标识符的坐标确定,需要说明的是,上述答案标记符可基于实际情况进行设置,本申请对此不作具体限定,可选为括号或下划横线,该坐标为二维平面坐标,可选作业图像中心点为基准。
在一实施例中,获取答案标记符的坐标信息具体方式为:确定作业图像的形状是否为预设形状,若该作业图像的形状不为预设形状,则基于预设的答案标记符定位模型对作业图像中的答案标识符的坐标进行修正,以获取修正后的作业图像中的答案标记符的坐标信息。其中,该预设形状可选为矩形,该答案标识符可选为括号或下划横线。
步骤S202、根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块。
在获取作业图像中的答案标记符的坐标信息之后,根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块。其中,该预设的空白作业图像为未作答的作业图像,空白作业图像上仅显示印刷体的答案标记符。
在一实施例中,从作业图像中提取答案文字块的具体方式为:根据答案标记符的坐标信息,在作业图像中标记每个答案区域,得到目标作业图像;将预设的空白作业图像的尺寸调整为该目标作业图像的尺寸,使得空白作业图像与该目标作业图像的尺寸相同;将空白作业图像与目标作业图像进行作差处理,消除该目标作业图像中的印刷体的文字块,得到目标答案图像;对目标答案图像进行图像处理,得到答案文字块。其中,该目标作业图像为标记有答案区域的作业图像,该目标答案图像中保留有手写体的文字块,可以进一步地提高答案文字块的识别准确性。
步骤S203、根据所述文字识别模型中的涂改区域处理子层判断所述答案文字块中是否存在涂改区域。
具体地,预设的文字识别模型中包括涂改区域处理子层,该涂改区域处理子层设置有涂改区域处理规则,可以对判断答案文字块中是否存在涂改区域,若判断该答案文字块中不存在涂改区域,则不对该答案文字块进行涂改区域的处理,若判断该答案文字块中存在涂改区域,则对该答案文字块进行涂改区域处理,消除该答案文字块中的涂改区域。其中,该涂改区域为作业图像中手写笔迹被涂改的区域。
步骤S204、若所述答案文字块中存在涂改区域,则通过所述涂改区域处理子层对所述答案文字块进行去涂改处理,得到无涂改区域的答案文字块。
若根据涂改区域处理规则确定答案文字块中存在涂改区域,则通过涂改区域处理子层对所述答案文字块进行去涂改处理,去除涂改区域,得到无涂改区域的答案文字块。
其中,对答案文字块进行去涂改处理的具体方式为:通过所述涂改区域处理子层,在所述答案文字块的涂改区域上覆盖空白涂层,得到无涂改区域的答案文字块。需要说明的是,该空白涂层的颜色可基于实际情况进行设置,本申请对此不作具体限定,可选地,空白涂层的颜色为作业图像的背景色。
在一实施例中,对答案文字块进行去涂改处理的实施方式为:通过涂改区域处理子层,在答案文字块的涂改区域上覆盖涂层,得到有涂层的答案文字块;根据涂层与答案文字块中的文字的位置关系,对有涂层的答案文字块中的文字进行偏移,得到无涂改区域的答案文字块。其中,该位置关系为上下位置关系或左右位置关系,该涂层为空白涂层,需要说明的是,被涂层覆盖的区域不会被涂改区域处理子层再次识别,保证后续提取作业答案不存在涂改区域,从而提高作业答案的提取准确度。
具体地,根据涂层与答案文字块中的文字的位置关系,对有涂层的答案文字块中的文字进行偏移的方式具体为:确定涂层与答案文字块中的文字为是否存在上下位置关系;若该涂层与答案文字块中的文字存在上下位置关系,则不对答案文字块中的文字进行偏移;若该涂层与答案文字块中的文字不存在上下位置关系,则确定涂层与答案文字块中的文字为是否存在左右位置关系;涂层与答案文字块中的文字存在左右位置关系,则将该涂层的一侧文字向该涂层位置方向偏移。其中,该一侧文字为该涂层的左侧文字或右侧文字,需要说明的是,该偏移为对答案文字块中的独立文字进行移位,对与该涂层存在上下位置关系的文字以及其他答案文字块中的文字不进行偏移,可以保留涂改区域的上方或下方可能存在的答案。
步骤S205、将无涂改区域的答案文字块输入至所述文字识别模型中的文字识别层,从所述无涂改区域的答案文字块中提取出作业答案。
得到无涂改区域的答案文字块之后,将无涂改区域的答案文字块输入至文字识别模型中的文字识别层,通过文字识别层对无涂改区域的答案文字块进行文字识别,并提取出作业答案。其中,该文字识别层包括卷积神经网络层(Convolutional NeuralNetworks,CNN)、双向循环卷积神经网络层(Recurrent Neural Network,RNN)和联接时间分类层(Connectionist temporalclassification,CTC)。
上述实施例提供的作业答案提取方法,通过预设的文字识别模型可以有效的识别并去除涂改区域,排除答案区域内涂改区域的干扰,使得作业答案页面干净整洁,且能够提高作业答案的提取准确度。
请参照图5,图5为本申请实施例提供的一种作业答案提取装置的示意性框图。
如图5所示,该作业答案提取装置300,包括:获取模块301、提取模块302和文字识别模块303。
获取模块301,用于获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;
提取模块302,用于根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;
文字识别模块303,用于通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。
在一个实施例中,如图6所示,所述提取模块302包括:
调整子模块3021,用于对预设的空白作业图像的尺寸进行调整,使得所述空白作业图像与所述作业图像的尺寸相同;
获取子模块3022,用于根据所述答案标记符的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像;
提取子模块3023,用于对所述作业内容图像和所述空白作业内容图像进行作差处理,得到目标作业图像,并从所述目标作业图像中提取答案文字块。
在一个实施例中,获取子模块3022,还用于:
通过答案标记符的坐标信息和预设的答案区域选定规则,确定答案区域的坐标信息;
根据答案区域的坐标信息,从作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像。
在一个实施例中,提取子模块3023,还用于:
确定目标作业图像中的各个连通域,并计算每个连通域的面积;
确定所述面积大于预设的面积阈值的连通域为候选连通域,并计算每两个候选连通域之间的距离;
根据每两个候选连通域之间的距离,执行候选连通域合并操作,得到至少一个答案文字块。
在一个实施例中,提取模块302,还用于:
确定所述答案文字块对应的答案区域,并确定所述答案文字块是否位于所述答案区域内;
若答案文字块不位于答案区域内,则计算答案文字块与答案区域之间的距离;
根据所述答案文字块与所述答案区域之间的距离,去除不满足预设的距离条件的答案文字块。
请参照图7,图7为本申请实施例提供的另一种作业答案提取装置的示意性框图。
如图7所示,该作业答案提取装置400,包括:获取模块401、提取模块402和文字识别模块303。
获取模块401,用于获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;
提取模块402,用于根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;
判断模块403,用于根据所述文字识别模型中的涂改区域处理子层判断所述答案文字块中是否存在涂改区域;
去涂改模块404,用于若所述答案文字块中存在涂改区域,则通过所述涂改区域处理子层对所述答案文字块进行去涂改处理,得到无涂改区域的答案文字块;
文字识别模块405,用于将无涂改区域的答案文字块输入至所述文字识别模型中的文字识别层,从所述无涂改区域的答案文字块中提取出作业答案。
去涂改模块404,还用于:
通过所述涂改区域处理子层,在所述答案文字块的涂改区域上覆盖空白涂层,得到无涂改区域的答案文字块。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块及单元的具体工作过程,可以参考前述作业答案提取方法实施例中的对应过程,在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8,图8为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器。
如图8所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种作业答案提取方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种作业答案提取方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;
根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;
通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。
在一个实施例中,所述处理器在实现所述根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块时,用于实现:
对预设的空白作业图像的尺寸进行调整,使得所述空白作业图像与所述作业图像的尺寸相同;
根据所述答案标记符的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像;
对所述作业内容图像和所述空白作业内容图像进行作差处理,得到目标作业图像,并从所述目标作业图像中提取答案文字块。
在一个实施例中,所述处理器在实现所述从所述目标作业图像中提取答案文字块时,用于实现:
确定目标作业图像中的各个连通域,并计算每个所述连通域的面积;
确定所述面积大于预设的面积阈值的连通域为候选连通域,并计算每两个所述候选连通域之间的距离;
根据每两个所述候选连通域之间的距离,执行候选连通域合并操作,得到至少一个答案文字块。
在一个实施例中,所述处理器在实现所述根据每两个所述候选连通域之间的距离,执行候选连通域合并操作,得到至少一个答案文字块之后,用于实现:
确定所述答案文字块所属的答案区域,并确定所述答案文字块是否位于所述答案区域内;
若所述答案文字块不位于所述答案区域内,则计算所述答案文字块与所述答案区域之间的距离;
根据所述答案文字块与所述答案区域之间的距离,去除不满足预设的距离条件的答案文字块。
在一个实施例中,所述处理器在实现所述根据所述答案标记符的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像时,用于实现:
通过所述答案标记符的坐标信息和预设的答案区域选定规则,确定答案区域的坐标信息;
根据所述答案区域的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像。
在一个实施例中,所述处理器在实现所述通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案时,用于实现:
根据所述文字识别模型中的涂改区域处理子层判断所述答案文字块中是否存在涂改区域;
若所述答案文字块中存在涂改区域,则通过所述涂改区域处理子层对所述答案文字块进行去涂改处理,得到无涂改区域的答案文字块;
将无涂改区域的答案文字块输入至所述文字识别模型中的文字识别层,从所述无涂改区域的答案文字块中提取出作业答案。
在一个实施例中,所述处理器在实现所述通过所述涂改区域处理子层对所述答案文字块进行去涂改处理,得到无涂改区域的答案文字块时,用于实现:
通过所述涂改区域处理子层,在所述答案文字块的涂改区域上覆盖空白涂层,得到无涂改区域的答案文字块。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述计算机设备的具体工作过程,可以参考前述文本处理方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时所实现的方法可参照本申请作业答案提取方法的各个实施例。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种作业答案提取方法,其特征在于,包括:
获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;
根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;
通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。
2.如权利要求1所述的作业答案提取方法,其特征在于,所述根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块,包括:
对预设的空白作业图像的尺寸进行调整,使得所述空白作业图像与所述作业图像的尺寸相同;
根据所述答案标记符的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像;
对所述作业内容图像和所述空白作业内容图像进行作差处理,得到目标作业图像,并从所述目标作业图像中提取答案文字块。
3.如权利要求2所述的作业答案提取方法,其特征在于,所述从所述目标作业图像中提取答案文字块,包括:
确定目标作业图像中的各个连通域,并计算每个所述连通域的面积;
确定所述面积大于预设的面积阈值的连通域为候选连通域,并计算每两个所述候选连通域之间的距离;
根据每两个所述候选连通域之间的距离,执行候选连通域合并操作,得到至少一个答案文字块。
4.如权利要求3所述的作业答案提取方法,其特征在于,所述根据每两个所述候选连通域之间的距离,执行候选连通域合并操作,得到至少一个答案文字块之后,还包括:
确定所述答案文字块对应的答案区域,并确定所述答案文字块是否位于所述答案区域内;
若所述答案文字块不位于所述答案区域内,则计算所述答案文字块与所述答案区域之间的距离;
根据所述答案文字块与所述答案区域之间的距离,去除不满足预设的距离条件的答案文字块。
5.如权利要求2所述的作业答案提取方法,其特征在于,所述根据所述答案标记符的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像,包括:
通过所述答案标记符的坐标信息和预设的答案区域选定规则,确定答案区域的坐标信息;
根据所述答案区域的坐标信息,从所述作业图像和经过调整的空白作业图像中分别获取作业内容图像和空白作业内容图像。
6.如权利要求1-5中任一项所述的作业答案提取方法,其特征在于,所述通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案,包括:
根据所述文字识别模型中的涂改区域处理子层判断所述答案文字块中是否存在涂改区域;
若所述答案文字块中存在涂改区域,则通过所述涂改区域处理子层对所述答案文字块进行去涂改处理,得到无涂改区域的答案文字块;
将无涂改区域的答案文字块输入至所述文字识别模型中的文字识别层,从所述无涂改区域的答案文字块中提取出作业答案。
7.如权利要求6所述的作业答案提取方法,其特征在于,所述通过所述涂改区域处理子层对所述答案文字块进行去涂改处理,得到无涂改区域的答案文字块,包括:
通过所述涂改区域处理子层,在所述答案文字块的涂改区域上覆盖空白涂层,得到无涂改区域的答案文字块。
8.一种作业答案提取装置,其特征在于,所述作业答案提取装置包括:
获取模块,用于获取作业图像,并基于预设的答案标记符定位模型对所述作业图像进行处理,以获取所述作业图像中的答案标记符的坐标信息;
提取模块,用于根据所述答案标记符的坐标信息和预设的空白作业图像,从所述作业图像中提取答案文字块;
文字识别模块,用于通过预设的文字识别模型对所述答案文字块进行文字识别,以提取所述答案文字块中的作业答案。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1至7中任一项所述的作业答案提取方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的作业答案提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911253511.3A CN111104883B (zh) | 2019-12-09 | 2019-12-09 | 作业答案提取方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911253511.3A CN111104883B (zh) | 2019-12-09 | 2019-12-09 | 作业答案提取方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111104883A true CN111104883A (zh) | 2020-05-05 |
CN111104883B CN111104883B (zh) | 2023-06-06 |
Family
ID=70422518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911253511.3A Active CN111104883B (zh) | 2019-12-09 | 2019-12-09 | 作业答案提取方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111104883B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434641A (zh) * | 2020-12-10 | 2021-03-02 | 成都市精卫鸟科技有限责任公司 | 一种试题图像处理方法、装置、设备和介质 |
CN112907705A (zh) * | 2021-05-10 | 2021-06-04 | 北京世纪好未来教育科技有限公司 | 涂改图像生成方法、装置、设备及存储介质 |
CN115547132A (zh) * | 2022-11-29 | 2022-12-30 | 深圳市采集科技有限公司 | 作业批改方法、装置、存储介质及电子设备 |
CN115841670A (zh) * | 2023-02-13 | 2023-03-24 | 福建鹿鸣教育科技有限公司 | 一种基于图像识别的作业错题收集系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778816A (zh) * | 2014-01-27 | 2014-05-07 | 上海五和文化传播有限公司 | 纸质试卷的答案提取系统 |
CN104573675A (zh) * | 2015-01-29 | 2015-04-29 | 百度在线网络技术(北京)有限公司 | 作业图像的展示方法和装置 |
CN109740515A (zh) * | 2018-12-29 | 2019-05-10 | 科大讯飞股份有限公司 | 一种评阅方法及装置 |
CN109815932A (zh) * | 2019-02-02 | 2019-05-28 | 杭州大拿科技股份有限公司 | 一种试卷批改方法、装置、电子设备及存储介质 |
CN110490180A (zh) * | 2019-07-05 | 2019-11-22 | 平安国际智慧城市科技股份有限公司 | 基于图像识别的作业批改方法、装置、存储介质及服务器 |
-
2019
- 2019-12-09 CN CN201911253511.3A patent/CN111104883B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778816A (zh) * | 2014-01-27 | 2014-05-07 | 上海五和文化传播有限公司 | 纸质试卷的答案提取系统 |
CN104573675A (zh) * | 2015-01-29 | 2015-04-29 | 百度在线网络技术(北京)有限公司 | 作业图像的展示方法和装置 |
CN109740515A (zh) * | 2018-12-29 | 2019-05-10 | 科大讯飞股份有限公司 | 一种评阅方法及装置 |
CN109815932A (zh) * | 2019-02-02 | 2019-05-28 | 杭州大拿科技股份有限公司 | 一种试卷批改方法、装置、电子设备及存储介质 |
CN110490180A (zh) * | 2019-07-05 | 2019-11-22 | 平安国际智慧城市科技股份有限公司 | 基于图像识别的作业批改方法、装置、存储介质及服务器 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434641A (zh) * | 2020-12-10 | 2021-03-02 | 成都市精卫鸟科技有限责任公司 | 一种试题图像处理方法、装置、设备和介质 |
CN112907705A (zh) * | 2021-05-10 | 2021-06-04 | 北京世纪好未来教育科技有限公司 | 涂改图像生成方法、装置、设备及存储介质 |
CN115547132A (zh) * | 2022-11-29 | 2022-12-30 | 深圳市采集科技有限公司 | 作业批改方法、装置、存储介质及电子设备 |
CN115841670A (zh) * | 2023-02-13 | 2023-03-24 | 福建鹿鸣教育科技有限公司 | 一种基于图像识别的作业错题收集系统 |
CN115841670B (zh) * | 2023-02-13 | 2023-05-12 | 福建鹿鸣教育科技有限公司 | 一种基于图像识别的作业错题收集系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111104883B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111104883B (zh) | 作业答案提取方法、装置、设备及计算机可读存储介质 | |
CN109726643B (zh) | 图像中表格信息的识别方法、装置、电子设备及存储介质 | |
CN109634961B (zh) | 一种试卷样本生成方法、装置、电子设备和存储介质 | |
CN110232311B (zh) | 手部图像的分割方法、装置及计算机设备 | |
CN109815932B (zh) | 一种试卷批改方法、装置、电子设备及存储介质 | |
CN111507251B (zh) | 试题图像中作答区域的定位方法、装置、电子设备及计算机存储介质 | |
US11410407B2 (en) | Method and device for generating collection of incorrectly-answered questions | |
US10902283B2 (en) | Method and device for determining handwriting similarity | |
CN108304814B (zh) | 一种文字类型检测模型的构建方法和计算设备 | |
CN110956171A (zh) | 铭牌自动识别方法、装置、计算机设备和存储介质 | |
CN104134072A (zh) | 一种答题卡识别方法 | |
CN111368638A (zh) | 电子表格的创建方法、装置、计算机设备和存储介质 | |
CN108509988B (zh) | 一种试卷分数自动统计方法、装置、电子设备及存储介质 | |
CN112926421B (zh) | 图像处理方法和装置、电子设备和存储介质 | |
CN112001406A (zh) | 一种文本区域检测方法及装置 | |
CN109389110B (zh) | 一种区域确定方法及装置 | |
CN111814716A (zh) | 印章去除方法、计算机设备和可读存储介质 | |
CN112149561A (zh) | 图像处理方法和装置、电子设备和存储介质 | |
CN112418243A (zh) | 特征提取方法、装置及电子设备 | |
CN110942497A (zh) | 批改痕迹添加方法、装置、设备及计算机可读存储介质 | |
CN111414914A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN110796663A (zh) | 图片剪裁方法、装置、设备和存储介质 | |
CN114332895A (zh) | 文本图像合成方法、装置、设备、存储介质和程序产品 | |
CN112991410A (zh) | 一种文本图像配准方法、电子设备及其存储介质 | |
CN111652204B (zh) | 目标文本区域选择的方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |