CN115601778A - 基于图像识别的作业批改方法、装置、设备及存储介质 - Google Patents

基于图像识别的作业批改方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115601778A
CN115601778A CN202211289043.7A CN202211289043A CN115601778A CN 115601778 A CN115601778 A CN 115601778A CN 202211289043 A CN202211289043 A CN 202211289043A CN 115601778 A CN115601778 A CN 115601778A
Authority
CN
China
Prior art keywords
image
answer
question
job
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211289043.7A
Other languages
English (en)
Inventor
王�华
蔡溢枫
邱海矶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Megain Technology Co ltd
Original Assignee
Zhuhai Megain Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Megain Technology Co ltd filed Critical Zhuhai Megain Technology Co ltd
Priority to CN202211289043.7A priority Critical patent/CN115601778A/zh
Publication of CN115601778A publication Critical patent/CN115601778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域，公开了一种基于图像识别的作业批改方法、装置、设备及存储介质。本方法包括：通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。

Description

基于图像识别的作业批改方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于图像识别的作业批改方法、装置、设备及存储介质。
背景技术
在教学的过程中，常常需要通过学生完成作业来巩固所学的知识。但是，作业的批改却给老师带来很多额外的负担，特别是在老师所带学生人数较多的情况下，老师批改作业的压力就更为明显。
随着计算机技术的发展，出现了针对学生作业的智能批改技术。针对学生作业的智能批改技术可对学生提交的作业进行自动批改，大大减小了老师线下批改作业的压力。传统的作业批改方法，需要对学生上传的作业进行文本识别，从而新生成一份作业文本，然后在该作业文本中进行批改，单独生成一份批改报告，并将批改报告向学生反馈，从而导致批改反馈不够准确。
发明内容
本发明的主要目的是通过对作业的图像数据进行识别处理，针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
本发明第一方面提供了一种基于图像识别的作业批改方法，包括：确定作业图像中每个题目的区域范围；识别模块根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系；识别模块分别对所述题目图像和所述答案图像进行特征提取，得到所述作业图像的题目特征数据和所述答案图像的答案特征数据；识别模块根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板；识别模块将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果，其中，所述批改结果包括批改信息和批改标记。
可选地，在本发明第一方面的第一种实现方式中，所述根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系，包括：根据所述题目的区域范围对所述作业图像进行分割，得到预设数量个子作业图像；基于预设识别规则，将每个所述子作业图像进行分割，得到所述作业图像对应的题目图像和答案图像；并将所述题目图像与所述答案图像关联，得到所述题目图像与所述答案图像之间的关联关系。
可选地，在本发明第一方面的第二种实现方式中，所述题目特征数据包括题目序号、题目类型，所述对所述题目图像进行特征提取，得到所述作业图像的题目特征数据，包括：若所述题目图像的题目部分所属的题目类型为客观题，则直接判断所述答案部分中的符号或字母与所述标准答案的符号或字母是否相同；若所述题目图像的题目部分所属的题目类型为主观题，则判断所述题目部分所属的科目，根据所述科目确定所述作业图像的题目特征数据。
可选地，在本发明第一方面的第三种实现方式中，所述根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板，包括：将所述题目特征数据与预设模板库中的描述信息进行匹配，得到匹配结果；若所述匹配结果不为空，则获取与所述描述信息对应的模板作为初始答题模板；若所述匹配结果为空，则将所述题目特征数据发送给目标用户进行确认，并将所述目标用户反馈的模板作为初始答题模板；根据所述题目序号，将所述题目特征数据同步至所述初始答题模板，得到与所述题目图像对应的答题模板。
可选地，在本发明第一方面的第四种实现方式中，在所述将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果之前，还包括：采集历史作业批改数据，并对所述历史作业批改数据中的正确作业进行标注，得到标注后的目标作业数据；将所述标注后的目标作业数据按预设规则进行序列化处理，并将序列化处理的目标作业数据作为训练样本数据；将所述训练样本数据输入预设神经网络模型中进行训练，得到作业批改模型。
可选地，在本发明第一方面的第五种实现方式中，所述神经网络模型包括STN网络、特征提取网络、双向LSTM网络及CTC解码网络，其特征在于，所述将所述训练样本数据输入预设神经网络模型中进行训练，得到作业批改模型，包括：将所述训练样本数据输入到所述STN网络中进行图像矫正处理，得到矫正图像；将所述矫正图像输入所述特征提取网络，基于所述特征提取网络对所述矫正图像进行特征提取，得到序列化特征；将所述序列化特征输出到所述双向LSTM网络中进行预测处理，得到预测字符串；基于所述CTC解码网络对所述预测字符串进行解码，输出预测结果；将所述预测结果与预设目标结果进行余弦相似度计算，并根据计算结果与损失函数确定所述作业批改模型。
可选地，在本发明第一方面的第六种实现方式中，在所述将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果之后，还包括：将所述作业图像发送至预设作业批改界面，并在所述作业图像中展示针对所述答案特征数据的批改标记；将所述批改标记与相对应的批改意见进行关联，建立所述批改标记与所述批改意见的映射关系。
本发明第二方面提供了一种基于图像识别的作业批改装置，包括：第一确定模块，用于确定作业图像中每个题目的区域范围；分割模块，用于根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系；特征提取模块，用于分别对所述题目图像和所述答案图像进行特征提取，得到所述作业图像的题目特征数据和所述答案图像的答案特征数据；确定模块，用于根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板；批改模块，用于将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果，其中，所述批改结果包括批改信息和批改标记。
可选地，在本发明第二方面的第一种实现方式中，所述分割模块具体用于：根据所述题目的区域范围对所述作业图像进行分割，得到预设数量个子作业图像；基于预设识别规则，将每个所述子作业图像进行分割，得到所述作业图像对应的题目图像和答案图像；并将所述题目图像与所述答案图像关联，得到所述题目图像与所述答案图像之间的关联关系。
可选地，在本发明第二方面的第二种实现方式中，所述特征提取模块具体用于：若所述题目图像的题目部分所属的题目类型为客观题，则直接判断所述答案部分中的符号或字母与所述标准答案的符号或字母是否相同；若所述题目图像的题目部分所属的题目类型为主观题，则判断所述题目部分所属的科目，根据所述科目确定所述作业图像的题目特征数据。
可选地，在本发明第二方面的第三种实现方式中，所述确定模块具体用于：将所述题目特征数据与预设模板库中的描述信息进行匹配，得到匹配结果；若所述匹配结果不为空，则获取与所述描述信息对应的模板作为初始答题模板；若所述匹配结果为空，则将所述题目特征数据发送给目标用户进行确认，并将所述目标用户反馈的模板作为初始答题模板；根据所述题目序号，将所述题目特征数据同步至所述初始答题模板，得到与所述题目图像对应的答题模板。
可选地，在本发明第二方面的第四种实现方式中，所述基于图像识别的作业批改装置还包括：标注模块，用于采集历史作业批改数据，并对所述历史作业批改数据中的正确作业进行标注，得到标注后的目标作业数据；序列化模块，用于将所述标注后的目标作业数据按预设规则进行序列化处理，并将序列化处理的目标作业数据作为训练样本数据；训练模块，用于将所述训练样本数据输入预设神经网络模型中进行训练，得到作业批改模型。
可选地，在本发明第二方面的第五种实现方式中，所述训练模块包括：矫正单元，用于将所述训练样本数据输入到所述STN网络中进行图像矫正处理，得到矫正图像；提取单元，用于将所述矫正图像输入所述特征提取网络，基于所述特征提取网络对所述矫正图像进行特征提取，得到序列化特征；预测单元，用于将所述序列化特征输出到所述双向LSTM网络中进行预测处理，得到预测字符串；解码单元，用于基于所述CTC解码网络对所述预测字符串进行解码，输出预测结果；计算单元，用于将所述预测结果与预设目标结果进行余弦相似度计算，并根据计算结果与损失函数确定所述作业批改模型。
可选地，在本发明第二方面的第六种实现方式中，所述基于图像识别的作业批改装置还包括：展示模块，用于将所述作业图像发送至预设作业批改界面，并在所述作业图像中展示针对所述答案特征数据的批改标记；关联模块，用于将所述批改标记与相对应的批改意见进行关联，建立所述批改标记与所述批改意见的映射关系。
本发明第三方面提供了一种基于图像识别的作业批改设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像识别的作业批改设备执行上述的基于图像识别的作业批改方法的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于图像识别的作业批改方法的各个步骤。
本发明提供的技术方案中，通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
附图说明
图1为本发明提供的基于图像识别的作业批改方法的第一个实施例示意图；
图2为本发明提供的基于图像识别的作业批改方法的第二个实施例示意图；
图3为本发明提供的基于图像识别的作业批改方法的第三个实施例示意图；
图4为本发明提供的基于图像识别的作业批改装置的第一个实施例示意图；
图5为本发明提供的基于图像识别的作业批改装置的第二个实施例示意图；
图6为本发明提供的基于图像识别的作业批改设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于图像识别的作业批改方法、装置、设备及存储介质，本发明的技术方案中，首先通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于图像识别的作业批改方法的第一个实施例包括：
101、确定作业图像中每个题目的区域范围；
本实施例中，图像处理的前提是有图像录入，可以通过手写板，平板电脑，手机等电子设备，实现图像的输入，图像录入分为两类，一种是图像整张录入，答案和题目在同一种图像上面，一种是使用图像裁剪或者手写板单题作答，实现答案和题目自动关联。
102、根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；
本实施例中，以图像整张录入为例，答案和题目在同一种图像上面，所以需要依据图像特征将图像逐题切割，特征点识别时，可以以题目的标号(比如“1、”，“2、”等)作为识别不同题目的特征点。基于字体识别将每个所述子图像均分割成题目部分和答题部分，并将每个所述子图像的所述题目部分和所述答题部分进行关联。对图像逐题切割后，还需要再使用手写体和印刷体识别技术，实现子图像的题目题干和答题区域的切分。
对每个所述子图像进行批改时，使用每个所述子图像的所述题目部分在预设的图像库中进行检索，获得每个所述子图像的所述题目部分对应的标准答案。预设设置有题库服务器，题库服务器中储存有大量的试题图像，形成图像库，图像库中的试题图像也可以由日常批改的图像生成，批改时，使用子图像切分得到的题目部分在图像库中进行检索，匹配正确的题目，试题图像中包括有该试题的答案。
103、分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；
本实施例中，具体来说，分别对题目图像和答案图像进行识别，主要针对于客观题，比如选择题和判断题等，得到作业图像的题目特征数据和答案图像的答案特征数据。由于选择和判断类型的题目具备快速批改的特性，目前市面上通过题型的改造，把很多题目由书写题目修改为选择或者判断题目，从一定的程度上解决了部分题目的批改的问题。但是不同题型的考察方面是不同的，题型多样化批改一直被不断探索。本方案可有效扩展程序化实现自动批改和辅助批改的题目类型，提高用户的工作效率。
具体地，若所述子图像的所述题目部分所属的题目类型为主观题，则继续判断所述题目部分所属的科目，根据所述题目部分所属的科目加载对应的对比方法。
104、根据关联关系和题目特征数据，确定与题目图像对应的答题模板；
本实施例中，通过对获取到的所有题目信息对应的题目特征数据进行识别，获取所有题目信息中包含不同题目类型的n个题目特征数据，将该n个题目特征数据按照预设组合规则生成一个新的题目特征数据，并将该新的题目特征数据与预设模板库中的描述信息进行匹配。其中，n为大于等于1的正整数，即当n为1时，表示所有题目信息中只包含一种题目类型，当n为2时，表示所有题目信息中包含两种题目类型。
具体地，若题目特征数据与描述信息相同，表示匹配成功，并从预设模板库中选取该描述信息对应的合法模板作为初始答题模板。若题目特征数据与描述信息不同，则将题目信息发送给目标用户进行确认，并获取目标用户反馈的反馈模板作为初始答题模板。
具体地，获取所有题目信息包含的题目序号，按照题目序号先后顺序确定题目类型的先后顺序，并根据题目类型的先后顺序确定初始答题模板中的题目类型的排版顺序，即确定初始答题模板中的题目类型区域，最后将每个题目按照题目序号填充至排版顺序确定好的初始答题模板中，在所有题目填充完成后，将该初始答题模板作为目标答题模板。
105、将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。
本实施例中，具体地，将答案特征数据和答题模板一并输入到预先训练好的作业批改模型，当作业批改模型检测到答案特征数据和答题模板时，将根据预先训练好的逻辑，根据答案特征数据对答题模板进行批改处理，并输出批改结果。
本实施例中，根据获取到的题目类型标识选取初始答题模板，并基于初始答题模板和题目信息生成目标答题模板，获取答题用户根据目标答题模板进行答题后反馈的目标答案图像，将答案信息填充至目标答题模板中生成答题模板，最后将答题模板与目标答案图像一并输入到预先训练好的作业批改模型中进行批改处理，输出批改结果。通过设定目标答题模板的方式，能够保证准确获取目标答案区域，避免直接从图像中识别答案存在答案区域识别不准确的情况，从而提高后续基于答案区域进行作业批改的准确性，最后根据作业批改模型进行作业批改的方式，能够避免人工干预，进一步提高作业批改的准确性及效率。
本发明实施例中，通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
请参阅图2，本发明实施例中基于图像识别的作业批改方法的第二个实施例包括：
201、确定作业图像中每个题目的区域范围；
202、根据题目的区域范围对作业图像进行分割，得到预设数量个子作业图像；
本实施例中，以图像整张录入为例，答案和题目在同一种图像上面，所以需要依据图像特征将图像逐题切割，特征点识别时，可以以题目的标号(比如“1、”，“2、”等)作为识别不同题目的特征点。
本实施例中，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。
203、基于预设识别规则，将每个子作业图像进行分割，得到作业图像对应的题目图像和答案图像；
本实施例中，对每个子作业图像进行逐题切割后，还需要再使用手写体和印刷体识别技术，实现子图像的题目题干和答题区域的切分，得到作业图像对应的题目图像和答案图像。具体的，根据图像对应的题目部分，获取题目的题型，如果是客观题，直接通过答案对比，进行判断，如果是主观题，先使用OCR识别技术，将答题部分识别成文本，把OCR识别的结果与标准答案的文本进行对比。
204、若题目图像的题目部分所属的题目类型为客观题，则直接判断答案部分中的符号或字母与标准答案的符号或字母是否相同；
本实施例中，具体来说，目前市面上存在的批改技术，主要针对于客观题，比如选择题和判断题等，由于选择和判断类型的题目具备快速批改的特性，目前市面上通过题型的改造，把很多题目由书写题目修改为选择或者判断题目，从一定的程度上解决了部分题目的批改的问题。但是不同题型的考察方面是不同的，题型多样化批改一直被不断探索。本方案可有效扩展程序化实现自动批改和辅助批改的题目类型，提高用户的工作效率。
具体地，若所述子图像的所述题目部分所属的题目类型为主观题，则继续判断所述题目部分所属的科目，根据所述题目部分所属的科目加载对应的对比方法。
在本实施例中，也可以不判断题目部分是否为主观题和客观题，也就是先将答题部分的内容识别成文本，把文本与标准答案的文本进行对比，对比一致且字数小于一定的阈值，则认为其为客观题。如果对比不一样，则认为为主观题，需要进行后续的步骤。
205、若题目图像的题目部分所属的题目类型为主观题，则判断题目部分所属的科目，根据科目确定作业图像的题目特征数据；
本实施例中，根据图片对应的题目部分，获取题目的题型，如果是客观题，直接通过答案对比，进行判断，如果是主观题，先使用OCR识别技术，将答题部分识别成文本，把OCR识别的结果与标准答案的文本进行对比。具体地，若题目图像的题目部分所属的题目类型为主观题，则判断题目部分所属的科目，根据科目确定作业图像的题目特征数据，通过所述批改方法完成对每个所述子图片的所述答题部分的批改。
具体来说，目前市面上存在的批改技术，主要针对于客观题，比如选择题和判断题等，由于选择和判断类型的题目具备快速批改的特性，目前市面上通过题型的改造，把很多题目由书写题目修改为选择或者判断题目，从一定的程度上解决了部分题目的批改的问题。
206、将题目特征数据与预设模板库中的描述信息进行匹配，得到匹配结果；
本实施例中，通过对获取到的所有题目信息对应的题目特征数据进行识别，获取所有题目信息中包含不同题目类型的n个题目特征数据，将该n个题目特征数据按照预设组合规则生成一个新的题目特征数据，并将该新的题目特征数据与预设模板库中的描述信息进行匹配。其中，n为大于等于1的正整数，即当n为1时，表示所有题目信息中只包含一种题目类型，当n为2时，表示所有题目信息中包含两种题目类型。
预设组合规则是指根据用户的实际需求设定用于合成多个题目特征数据的规则，例如，其具体可以是对n的个数进行检测，若检测到n为1，则不做处理，若n的值大于1，则将n个题目特征数据根据预设组合规则进行合成一个新的题目特征数据，例如，当存在题目特征数据为选择和判断，将这2个题目特征数据根据预设组合规则进行合成后得到新的题目特征数据为选择判断。
207、若匹配结果不为空，则获取与描述信息对应的模板作为初始答题模板；
本实施例中，若题目特征数据与描述信息相同，表示匹配成功，并从预设模板库中选取该描述信息对应的合法模板作为初始答题模板。
208、若匹配结果为空，则将题目特征数据发送给目标用户进行确认，并将目标用户反馈的模板作为初始答题模板；
本实施例中，若题目特征数据与描述信息不同，则将题目信息发送给目标用户进行确认，并获取目标用户反馈的反馈模板作为初始答题模板。具体地，根据步骤207的匹配方式，若题目特征数据与描述信息不相同，则将题目信息按照预设发送方式发送给目标用户进行确认，当目标用户接收到题目信息后，将根据实际情况重新制定新的模板，并将该模板反馈给服务端，若服务端检测到目标用户反馈的模板，则直接将该模板确定为初始答题模板。
需要说明的是，目标用户是指专门针对题目特征数据与描述信息不相同情况下进行制定模板的审核用户。预设发送方式具体可以是指邮件方式，也可以根据用户的实际需求进行设定，此处不做限制。
209、根据题目序号，将题目特征数据同步至初始答题模板，得到与题目图像对应的答题模板；
本实施例中，获取所有题目信息包含的题目序号，按照题目序号先后顺序确定题目类型的先后顺序，并根据题目类型的先后顺序确定初始答题模板中的题目类型的排版顺序，即确定初始答题模板中的题目类型区域，最后将每个题目按照题目序号填充至排版顺序确定好的初始答题模板中，在所有题目填充完成后，将该初始答题模板作为目标答题模板。
例如，存在5道题目分别为题目a、题目b、题目c、题目d和题目e，题目序号分别为1、2、3、4和5，其对应的题目类型分别为选择、选择、判断、判断和填空，根据题目序号确定的题目类型先后顺序分别为选择、判断和填空，故初始答题模板中的题目类型的排版顺序分别为选择、判断和填空，若选择类型的区域为A、判断类型的区域为B，填空类型的区域为C，则将题目a和题目b填充至初始答题模板中的选择类型区域A，将题目c和题目d填充至初始答题模板中的判断类型区域B，将题目e填充至初始答题模板中的填空类型区域C。
需要说明的是，填充后的目标答题模板为json文件，且该json文件是一个key-value形式的数据结构。另外，目标答题模板中包含每个题目的答案区域对应的答题位置。
210、将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。
本实施例中步骤201、210与第一实施例中的步骤101、105类似，此处不再赘述。
本发明实施例中，通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
请参阅图3，本发明实施例中基于图像识别的作业批改方法的第三个实施例包括：
301、确定作业图像中每个题目的区域范围；
302、根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；
303、分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；
304、根据关联关系和题目特征数据，确定与题目图像对应的答题模板；
305、采集历史作业批改数据，并对历史作业批改数据中的正确作业进行标注，得到标注后的目标作业数据；
本实施例中，具体地，通过从预设样本库中直接获取历史作业批改数据作为训练样本。其中，预设样本库是指专门用于存储历史作业批改数据作为训练样本的数据库。
具体地，所述数据标注是对未经处理的初级数据，包括语音、图片、文本、视频等进行加工处理并转换为机器可识别信息的过程。
306、将标注后的目标作业数据按预设规则进行序列化处理，并将序列化处理的目标作业数据作为训练样本数据；
本实施例中，在输入至作业批改模型进行自动批改之前，先将所述待批改的编程作业向量化处理，将图形化的编程作业转换为准确数字量化的编程作业，进而实现对编程作业的自动识别，为实现高效且准确的自动批改提供可靠的数据基础。
具体地，所述批改训练样本的获得是通过采集大量的历史作业批改数据，并且人工筛选出其中的正确编程作业进行标注，从而获得不同实现形式的正确答案，之后同样将标注后的正确编程作业按预设规则进行序列化处理后形成所述批改训练样本，即在训练阶段就透过量化的编程作业数据对深度学习网络模型进行训练，有利于简化所有正确答案直接的关系，提高训练效率和训练效果。
307、将训练样本数据输入到STN网络中进行图像矫正处理，得到矫正图像；
本实施例中，所述STN网络由参数预测层,坐标映射层和像素采集层组成，且参数预测层包含用于进行仿射变换处理的仿射变换函数、坐标映射层包含用于矩阵运算的矩阵函数，像素采集层包含用于像素填充的像素填充函数。
具体地，将训练样本输入到STN网络中，当参数预测层检测到训练样本时，将根据仿射变换函数对训练样本进行仿射变换处理，得到变化参数，再将变化参数导入到坐标映射层进行矩阵运算，输出坐标系数，最后根据坐标系数，通过像素采集层进行像素填充，得到矫正图像。
308、将矫正图像输入特征提取网络，基于特征提取网络对矫正图像进行特征提取，得到序列化特征；
本实施例中，利用预设特征提取网络对矫正图像进行特征提取，得到特征提取后的序列化特征。其中，预设特征提取网络是指专门用于提取序列化特征的特征提取网络，其具体是指特征提取网络Resnet50。
需要说明的是，Resnet50特征提取输入是STN输出的矫正图像feature map，输出是一个序列化特征，如：sequence feature map V＝{vi}，i＝1…I(I＝256)，其中，I是维度信息。下面是Resnet50的组成结构，主要完成特征提取操作。ResNet50是由大量的bottleNeck block组成的，然后根据shortcut分支上有无卷积操作分为identityBlock，convBlock。
309、将序列化特征输出到双向LSTM网络中进行预测处理，得到预测字符串；
本实施例中，将序列化特征依次导入到双向LSTM网络中的输入门、遗忘门、输出门和softmax进行卷积操作，最后将卷积结果进行输出，即输出预测字符串。
需要说明的是，输入门、遗忘门、输出门和softmax都有预先设置好的卷积核，通过将输入数据导入到每一层中能够根据预先设置好的卷积核进行卷积操作，得到对应的输出结果。
310、基于CTC解码网络对预测字符串进行解码，输出预测结果；
本实施例中，通过直接利用CTC解码网络对预测字符串进行解码处理，输出解码处理后的预测结果。
需要说明的是，CTC解码网络是指专门用于对预测字符串进行解码处理，将预测字符串转换成对应的目标字符，即转换成预测结果的处理网络。
311、将预测结果与预设目标结果进行余弦相似度计算，并根据计算结果与损失函数确定作业批改模型；
本实施例中，从预设分量库中获取预测结果的i个分量和预设目标结果的i个分量，并按照余弦相似度公式计算预测结果与预设目标结果之间的余弦相似度，得到计算结果。其中，所述余弦相似度可以看做是模型预测出预测结果和预设目标结果匹配的概率，当模型预测出的概率达到预先设定值时，表示预测结果和预设目标结果匹配，当模型预测出的概率未达到预先设定值时，表示预测结果和预设目标结果不匹配。
进一步地，根据计算结果计算交叉熵损失函数结果，若交叉熵损失函数结果达到预设阈值或者训练过程达到预先设定的训练轮次，则停止训练，并将该交叉熵损失函数结果对应的神经网络模型确定为作业批改模型。其中，预设阈值是指根据用户实际需求设定的值。
本实施例中，通过将训练样本导入到STN网络中进行图像矫正以获取矫正图像，再利用预设特征提取网络对矫正图像进行特征提取，获取序列化特征，利用双向LSTM网络对序列化特征进行预测处理，得到预测字符串，基于CTC解码网络对预测字符串进行解码处理，得到预测结果，最后根据预测结果与预设目标结果进行余弦相似度计算，并根据计算结果与损失函数确定作业批改模型。基于STN网络、预设特征提取网络、双向LSTM网络、CTC解码网络能够快速准确地对训练样本进行一系列处理，保证预测结果的准确性，进一步提高作业批改模型训练的准确性。
312、将作业图像发送至预设作业批改界面，并在作业图像中展示针对答案特征数据的批改标记；
本实施例中，所述作业批改界面是用于批改针对作业图像所表征的作业的界面。批改标记，是通过自动化批改方式对作业进行自动批改所得到的批改结果。作业图像是与作业内容相关的图像。智能批改信息，是通过自动化批改方式对作业进行自动批改所得到的针对作业图像自动标记的批改信息。
具体地，作业批改端可以基于教学应用获取批改标记，并在该教学应用的作业批改界面中展示批改标记。
在一个实施例中，服务器可获取作业图像，并基于作业图像对作业进行自动批改，得到批改标记。服务器可将批改标记发送至作业批改端。作业批改端可以接收服务器发送的批改标记，并在教学应用的作业批改界面中展示批改标记。
313、将批改标记与相对应的批改意见进行关联，建立批改标记与批改意见的映射关系。
本实施例中，响应于针对批改标记的自定义批改操作，将批改标记与相对应的批改意见进行关联，展示目标批改结果。其中，所述目标批改结果至少包括作业图像和基于批改标记进行自定义批改操作后确定的目标批改信息。
其中，自定义批改操作，是一种非自动化，即手动的批改操作。目标批改结果，是对批改标记进行自定义批改操作后所产生的作为目标的批改结果。目标批改信息，是对批改标记进行自定义批改操作后所产生的作为目标的批改信息。
具体地，批改方可在作业批改界面中触发针对批改标记的自定义批改操作。作业批改端可以响应于针对批改标记的自定义批改操作，生成目标批改结果，并在作业批改界面中展示目标批改结果。
在一个实施例中，自定义批改操作可包括新增批改操作。批改方可在作业批改界面中触发针对批改标记的新增批改操作，作业批改端可以响应于针对批改标记触发的新增批改操作，添加任意的自定义批改信息。其中，新增批改操作，是在智能批改信息的基础上新增自定义批改信息的操作。自定义批改信息，是批改方自定义的批改信息，即非自动生成的批改信息。
本实施例中步骤301-304、312与第一实施例中的步骤101-104、105类似，此处不再赘述。
本发明实施例中，通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
上面对本发明实施例中基于图像识别的作业批改方法进行了描述，下面对本发明实施例中基于图像识别的作业批改装置进行描述，请参阅图4，本发明实施例中基于图像识别的作业批改装置的第一个实施例包括：
第一确定模块401，用于确定作业图像中每个题目的区域范围；
分割模块402，用于根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系；
特征提取模块403，用于分别对所述题目图像和所述答案图像进行特征提取，得到所述作业图像的题目特征数据和所述答案图像的答案特征数据；
第二确定模块404，用于根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板；
批改模块405，用于将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果，其中，所述批改结果包括批改信息和批改标记。
本发明实施例中，通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
请参阅图5，本发明实施例中基于图像识别的作业批改装置的第二个实施例，该基于图像识别的作业批改装置具体包括：
第一确定模块401，用于确定作业图像中每个题目的区域范围；
分割模块402，用于根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系；
特征提取模块403，用于分别对所述题目图像和所述答案图像进行特征提取，得到所述作业图像的题目特征数据和所述答案图像的答案特征数据；
第二确定模块404，用于根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板；
批改模块405，用于将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果，其中，所述批改结果包括批改信息和批改标记。
本实施例中，所述分割模块402具体用于：
根据所述题目的区域范围对所述作业图像进行分割，得到预设数量个子作业图像；
基于预设识别规则，将每个所述子作业图像进行分割，得到所述作业图像对应的题目图像和答案图像；
并将所述题目图像与所述答案图像关联，得到所述题目图像与所述答案图像之间的关联关系。
本实施例中，所述特征提取模块403具体用于：
若所述题目图像的题目部分所属的题目类型为客观题，则直接判断所述答案部分中的符号或字母与所述标准答案的符号或字母是否相同；
若所述题目图像的题目部分所属的题目类型为主观题，则判断所述题目部分所属的科目，根据所述科目确定所述作业图像的题目特征数据。
本实施例中，所述第二确定模块404具体用于：
将所述题目特征数据与预设模板库中的描述信息进行匹配，得到匹配结果；
若所述匹配结果不为空，则获取与所述描述信息对应的模板作为初始答题模板；
若所述匹配结果为空，则将所述题目特征数据发送给目标用户进行确认，并将所述目标用户反馈的模板作为初始答题模板；
根据所述题目序号，将所述题目特征数据同步至所述初始答题模板，得到与所述题目图像对应的答题模板。
本实施例中，所述基于图像识别的作业批改装置还包括：
标注模块406，用于采集历史作业批改数据，并对所述历史作业批改数据中的正确作业进行标注，得到标注后的目标作业数据；
序列化模块407，用于将所述标注后的目标作业数据按预设规则进行序列化处理，并将序列化处理的目标作业数据作为训练样本数据；
训练模块408，用于将所述训练样本数据输入预设神经网络模型中进行训练，得到作业批改模型。
本实施例中，所述训练模块408包括：
矫正单元4081，用于将所述训练样本数据输入到所述STN网络中进行图像矫正处理，得到矫正图像；
提取单元4082，用于将所述矫正图像输入所述特征提取网络，基于所述特征提取网络对所述矫正图像进行特征提取，得到序列化特征；
预测单元4083，用于将所述序列化特征输出到所述双向LSTM网络中进行预测处理，得到预测字符串；
解码单元4084，用于基于所述CTC解码网络对所述预测字符串进行解码，输出预测结果；
计算单元4085，用于将所述预测结果与预设目标结果进行余弦相似度计算，并根据计算结果与损失函数确定所述作业批改模型。
本实施例中，所述基于图像识别的作业批改装置还包括：
展示模块409，用于将所述作业图像发送至预设作业批改界面，并在所述作业图像中展示针对所述答案特征数据的批改标记；
关联模块410，用于将所述批改标记与相对应的批改意见进行关联，建立所述批改标记与所述批改意见的映射关系。
本发明实施例中，通过对获取的作业图像进行特征点识别，得到作业图像中每个题目的区域范围；根据题目的区域范围对作业图像进行分割，得到作业图像对应的题目图像和答案图像之间的关联关系；分别对题目图像和答案图像进行特征提取，得到作业图像的题目特征数据和答案图像的答案特征数据；根据关联关系和题目特征数据，确定与题目图像对应的答题模板；将答案特征数据和答题模板输入预设作业批改模型中进行批改，得到待批改作业的批改结果。针对批改结果输入的描述信息，能够更加准确地反馈作业批改结果，解决了现有作业批改效率低下的问题。
上面图4和图5从模块化功能实体的角度对本发明实施例中的基于图像识别的作业批改装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于图像识别的作业批改设备进行详细描述。
图6是本发明实施例提供的一种基于图像识别的作业批改设备的结构示意图，该基于图像识别的作业批改设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于图像识别的作业批改设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在基于图像识别的作业批改设备800上执行存储介质830中的一系列指令操作，以实现上述各方法实施例提供的基于图像识别的作业批改方法的步骤。
基于图像识别的作业批改设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于图像识别的作业批改设备结构并不构成对本申请提供的基于图像识别的作业批改设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述基于图像识别的作业批改方法的步骤。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像识别的作业批改方法，其特征在于，所述基于图像识别的作业批改方法包括：
确定作业图像中每个题目的区域范围；
根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系；
分别对所述题目图像和所述答案图像进行特征提取，得到所述作业图像的题目特征数据和所述答案图像的答案特征数据；
根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板；
将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果，其中，所述批改结果包括批改信息和批改标记。
2.根据权利要求1所述的基于图像识别的作业批改方法，其特征在于，所述根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系，包括：
根据所述题目的区域范围对所述作业图像进行分割，得到预设数量个子作业图像；
基于预设识别规则，将每个所述子作业图像进行分割，得到所述作业图像对应的题目图像和答案图像；
并将所述题目图像与所述答案图像关联，得到所述题目图像与所述答案图像之间的关联关系。
3.根据权利要求1所述的基于图像识别的作业批改方法，其特征在于，所述题目特征数据包括题目序号、题目类型，所述对所述题目图像进行特征提取，得到所述作业图像的题目特征数据，包括：
若所述题目图像的题目部分所属的题目类型为客观题，则直接判断所述答案部分中的符号或字母与所述标准答案的符号或字母是否相同；
若所述题目图像的题目部分所属的题目类型为主观题，则判断所述题目部分所属的科目，根据所述科目确定所述作业图像的题目特征数据。
4.根据权利要求1所述的基于图像识别的作业批改方法，其特征在于，所述根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板，包括：
将所述题目特征数据与预设模板库中的描述信息进行匹配，得到匹配结果；
若所述匹配结果不为空，则获取与所述描述信息对应的模板作为初始答题模板；
若所述匹配结果为空，则将所述题目特征数据发送给目标用户进行确认，并将所述目标用户反馈的模板作为初始答题模板；
根据所述题目序号，将所述题目特征数据同步至所述初始答题模板，得到与所述题目图像对应的答题模板。
5.根据权利要求1所述的基于图像识别的作业批改方法，其特征在于，在所述将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果之前，还包括：
采集历史作业批改数据，并对所述历史作业批改数据中的正确作业进行标注，得到标注后的目标作业数据；
将所述标注后的目标作业数据按预设规则进行序列化处理，并将序列化处理的目标作业数据作为训练样本数据；
将所述训练样本数据输入预设神经网络模型中进行训练，得到作业批改模型。
6.根据权利要求5所述的基于图像识别的作业批改方法，所述神经网络模型包括STN网络、特征提取网络、双向LSTM网络及CTC解码网络，其特征在于，所述将所述训练样本数据输入预设神经网络模型中进行训练，得到作业批改模型，包括：
将所述训练样本数据输入到所述STN网络中进行图像矫正处理，得到矫正图像；
将所述矫正图像输入所述特征提取网络，基于所述特征提取网络对所述矫正图像进行特征提取，得到序列化特征；
将所述序列化特征输出到所述双向LSTM网络中进行预测处理，得到预测字符串；
基于所述CTC解码网络对所述预测字符串进行解码，输出预测结果；
将所述预测结果与预设目标结果进行余弦相似度计算，并根据计算结果与损失函数确定所述作业批改模型。
7.根据权利要求1-6中任一项所述的基于图像识别的作业批改方法，其特征在于，在所述将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果之后，还包括：
将所述作业图像发送至预设作业批改界面，并在所述作业图像中展示针对所述答案特征数据的批改标记；
将所述批改标记与相对应的批改意见进行关联，建立所述批改标记与所述批改意见的映射关系。
8.一种基于图像识别的作业批改装置，其特征在于，所述基于图像识别的作业批改装置包括：
第一确定模块，用于确定作业图像中每个题目的区域范围；
分割模块，用于根据所述题目的区域范围对所述作业图像进行分割，得到所述作业图像对应的题目图像和答案图像之间的关联关系；
特征提取模块，用于分别对所述题目图像和所述答案图像进行特征提取，得到所述作业图像的题目特征数据和所述答案图像的答案特征数据；
第二确定模块，用于根据所述关联关系和所述题目特征数据，确定与所述题目图像对应的答题模板；
批改模块，用于将所述答案特征数据和所述答题模板输入预设作业批改模型中进行批改，得到所述待批改作业的批改结果，其中，所述批改结果包括批改信息和批改标记。
9.一种基于图像识别的作业批改设备，其特征在于，所述基于图像识别的作业批改设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像识别的作业批改设备执行如权利要求1-7中任一项所述的基于图像识别的作业批改方法的各个步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于图像识别的作业批改方法的各个步骤。
CN202211289043.7A 2022-10-20 2022-10-20 基于图像识别的作业批改方法、装置、设备及存储介质 Pending CN115601778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211289043.7A CN115601778A (zh) 2022-10-20 2022-10-20 基于图像识别的作业批改方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211289043.7A CN115601778A (zh) 2022-10-20 2022-10-20 基于图像识别的作业批改方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115601778A true CN115601778A (zh) 2023-01-13

Family

ID=84849725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211289043.7A Pending CN115601778A (zh) 2022-10-20 2022-10-20 基于图像识别的作业批改方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115601778A (zh)

Similar Documents

Publication Publication Date Title
CN109271401B (zh) 一种题目搜索、批改方法、装置、电子设备和存储介质
CN109670504B (zh) 一种手写答案识别批改方法及装置
CN109583429B (zh) 一种批改试卷中应用题的方法及装置
CN111753767A (zh) 一种作业自动批改的方法、装置、电子设备和存储介质
CN109800761A (zh) 基于深度学习模型创建纸质文档结构化数据的方法和终端
CN109284355B (zh) 一种批改试卷中口算题的方法及装置
CN111144079B (zh) 一种智能获取学习资源的方法、装置、打印机和存储介质
CN109189895B (zh) 一种针对口算题的题目批改方法及装置
CN109740473B (zh) 一种基于阅卷系统的图片内容自动标记方法及系统
CN113255583B (zh) 数据标注方法、装置、计算机设备和存储介质
CN112580503A (zh) 一种作业批改方法、装置、设备及存储介质
CN113177435A (zh) 试卷分析方法、装置、存储介质及电子设备
CN111860443A (zh) 语文作业题目文字识别方法、搜索方法、服务器及系统
CN113807308A (zh) 作业批改方法、装置、设备、存储介质和计算机程序产品
CN111680669A (zh) 一种试题分割方法、系统及可读存储介质
CN111626029B (zh) 一种项目咨询用预算方法、装置、电子设备
CN112613367A (zh) 票据信息文本框获取方法、系统、设备及存储介质
CN112418813A (zh) 基于智能解析识别的aeo资质智能评级管理系统、方法及存储介质
CN115601778A (zh) 基于图像识别的作业批改方法、装置、设备及存储介质
CN113705157B (zh) 一种纸质作业拍照批改的方法
CN110569401A (zh) 阅卷方法、装置、计算机设备和存储介质
CN113486171B (zh) 一种图像处理方法及装置、电子设备
CN113901768A (zh) 一种标准文件生成方法、装置、设备及存储介质
CN114332898A (zh) 连线试题的自动批改方法、装置及存储介质
CN110096257B (zh) 一种基于智能识别的设计图形自动化评判系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination