CN112270261A - 题干及答案混合的切分方法、装置、存储介质 - Google Patents

题干及答案混合的切分方法、装置、存储介质 Download PDF

Info

Publication number
CN112270261A
CN112270261A CN202011174453.8A CN202011174453A CN112270261A CN 112270261 A CN112270261 A CN 112270261A CN 202011174453 A CN202011174453 A CN 202011174453A CN 112270261 A CN112270261 A CN 112270261A
Authority
CN
China
Prior art keywords
detection result
option
answer
frame
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011174453.8A
Other languages
English (en)
Inventor
兴百桥
刘涛
黄家冕
李保俊
曾鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN202011174453.8A priority Critical patent/CN112270261A/zh
Publication of CN112270261A publication Critical patent/CN112270261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种题干及答案混合的切分方法、装置、存储介质、计算机设备，首先依据获取到的待检测图像的题干及答案布局，将待检测图像划分为多个选项框，并确定选项框的类型，实现题干及答案自动切分，减少了人工切题的工作量，大大提高了录题的效率；然后再针对不同类型的选项框分别进行二次检测，能够解决题目和答案的版面种类各式各样的问题，对应的第二检测结果中题干及答案切分准确率更高；因此，在得到第二检测结果后，根据第二检测结果来查验第一检测结果中是否有漏检的选项框，如果有，则依据第二检测结果对待检测图像的题干及答案区域进行切分，使得整体切分框的准确率进一步提高，同时切分效果更佳。

Description

题干及答案混合的切分方法、装置、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种题干及答案混合的切分方法、装置、存储介质、计算机设备。
背景技术
在教育场景中，题目录入是一个非常重要而又繁琐的任务，涉及到诸多环节，从而导致题目录入不仅效率低下而且成本比较大。最近几年AI技术飞速发展，在目标检测和OCR等领域获得了巨大的成功，且由于OCR的引入，解决了题目录入中文字转录的问题，大大提高了题目录入的效率。但是，当批量录入教辅书或试卷题目时，在将文字区域进行转录之前，必须将题目和答案区域切分出来，才能实现题目的批量录入。
现有技术中，由于题目和答案的版面种类各式各样，有些还存在冲突，即在相同的版面分布情况下，有的是答案区域，有的是题干区域，有的是多个题目，有的是一道题目，有的将题目分割成几部分，有的位于其他题目之侧，还有插图与表格的多种多样的分布等等，这些都给题目及答案的切分带来很大的困难，导致题目与答案区域划分不准确，题目录入效率低。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中题目和答案的版面种类各式各样，导致题目与答案区域划分不准确，题目录入效率低的技术缺陷。
本发明提供了一种题干及答案混合的切分方法，所述方法包括：
获取待检测图像，并对所述待检测图像的题干及答案布局进行检测，得到第一检测结果；
根据所述第一检测结果确定与所述待检测图像对应的多个选项框及选项框的类型，并对各个类型的选项框分别进行二次检测，得到第二检测结果；
将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框，若有，则依据所述第二检测结果对所述待检测图像的题干及答案区域进行切分。
可选地，所述题干及答案混合的切分方法还包括：
确定所述第一检测结果中是否有漏检的选项框；
若没有，则依据所述第一检测结果对所述待检测图像的题干及答案区域进行切分。
可选地，所述各个选项框对应的类型包括无公共题干复合题框、带插图题干框、答题卡区域框；
所述对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，包括：
遍历所述第一检测结果，并确定所述第一检测结果中的无公共题干复合题框；
对所述无公共题干复合题框所在区域进行子题号检测，并对检测的子题号进行识别，确定对应的题号和答案区域。
可选地，所述对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，还包括：
遍历所述第一检测结果，并确定所述第一检测结果中的带插图题干框；
将所述待插图题干框的插图区域进行覆盖，并对覆盖后的带插图题干框进行题干识别，确定对应的题干区域。
可选地，所述对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，还包括：
遍历所述第一检测结果，并确定所述第一检测结果中的答题卡区域框；
对所述答题卡区域框进行选项检测，确定对应的选项区块信息。
可选地，所述将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，包括：
将所述题号和答案区域对应的选项框与所述第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
可选地，所述将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，包括：
将所述题干区域对应的选项框与第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
可选地，所述将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，包括：
将所述选项区块信息对应的选项框与第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
本发明还提供了一种题干及答案混合的切分装置，包括：
第一检测模块，用于获取待检测图像，并对所述待检测图像的题干及答案布局进行检测，得到第一检测结果；
第二检测模块，用于根据所述第一检测结果确定与所述待检测图像对应的多个选项框及选项框的类型，并对各个类型的选项框分别进行二次检测，得到第二检测结果；
切分模块，用于将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框，若有，则依据所述第二检测结果对所述待检测图像的题干及答案区域进行切分。
本发明还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述题干及答案混合的切分方法的步骤。
本发明还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述题干及答案混合的切分方法的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明提供的一种题干及答案混合的切分方法、装置、存储介质、计算机设备，包括：获取待检测图像，并对所述待检测图像的题干及答案布局进行检测，得到第一检测结果；根据所述第一检测结果确定与所述待检测图像对应的多个选项框及选项框的类型，并对各个类型的选项框分别进行二次检测，得到第二检测结果；将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框，若有，则依据所述第二检测结果对所述待检测图像的题干及答案区域进行切分。
本发明中，首先依据获取到的待检测图像的题干及答案布局，将待检测图像划分为多个选项框，并确定选项框的类型，实现题干及答案自动切分，减少了人工切题的工作量，大大提高了录题的效率；然后再针对不同类型的选项框分别进行二次检测，能够解决题目和答案的版面种类各式各样的问题，对应的第二检测结果中题干及答案切分准确率更高；因此，在得到第二检测结果后，根据第二检测结果来查验第一检测结果中是否有漏检的选项框，如果有，则依据第二检测结果对待检测图像的题干及答案区域进行切分，使得整体切分框的准确率进一步提高，同时切分效果更佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的应用环境示意图；
图2为本发明实施例提供的一种题干及答案混合的切分方法的流程示意图；
图3为本发明实施例提供的无公共题干复合题框的第一结构示意图；
图4为本发明实施例提供的无公共题干复合题框的第二结构示意图；
图5为本发明实施例提供的无公共题干复合题框的检测流程示意图；
图6为本发明实施例提供的带插图题干框的结构示意图；
图7为本发明实施例提供的带插图题干框的检测流程示意图；
图8为本发明实施例提供的答题卡区域框的检测流程示意图；
图9为本发明实施例提供的题干及答案混合的切分装置的结构示意图；
图10为本发明实施例提供的一种计算机设备的内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像本申请实施例中一样被特定定义，否则不会用理想化或过于正式的含义来解释。
参考图1所示，图1是本发明实施例提供的应用环境示意图；本申请的技术方案可以基于服务器上实现，如图1中，服务器102获取待检测图像，并将该待检测图像输入至相应的检测模型中，以实现相关功能；在本申请实施例中，服务器102中部署有多个检测模型，当服务器102获取终端设备101输入的待检测图像后，通过其中一个检测模型对待检测图像的题干及答案布局进行检测，得到第一检测结果，然后通过其他检测模型对检测得到的各个类型的选项框分别进行二次检测，得到第二检测结果，然后将第二检测结果与第一检测结果之间进行比对，确定第一检测结果中是否有漏检的选项框，若有，则依据第二检测结果对待检测图像的题干及答案区域进行切分，从而实现题干及答案混合的切分功能。
需要说明的是，这里的终端设备101包括智能手机、平板电脑、电子阅读器、台式电脑或笔记本电脑等，对此并不做限定；本实施例中的终端设备101可以实现扫描功能，终端设备101中安装的客户端可以依据该扫描功能对题目进行录入。
这里的服务器102指的是为终端设备101中安装的客户端录入的题目提供题干及答案切分服务的服务器，可以用独立服务器或多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，图2为本发明实施例提供的一种题干及答案混合的切分方法的流程示意图，本发明提供了一种题干及答案混合的切分方法，具体包括如下步骤：
S110：获取待检测图像，并对所述待检测图像的题干及答案布局进行检测，得到第一检测结果。
本步骤中，服务器对待录入至题库的题目进行题干及答案切分之前，需要获取与该题目对应的待检测图像，利用训练好的目标检测模型对待检测图像的题干及答案布局进行检测，以便得到第一检测结果，该第一检测结果包括但不限于与待检测图像对应的多个选项框及选项框的类型。
需要说明的是，这里的待检测图像可以是扫描图像，也可以是其他场景下获得的包含题目信息的图像；这里的选项框是依据目标检测模型对待检测图像的题干及答案布局进行检测得到的；这里的目标检测模型是根据人工标注的图像进行训练得到的。
例如，按照待检测图像的布局类型分为题干、答案、解析、答题卡选项、插图、表格、无公共题干复合题、答题卡区域；其中，目标检测模型对答题卡选项进行检测时，每个选项框仅框一个小题的选项，而答题卡区域将所有小题的选项框合在一起为一个大的选项框；无公共题干复合题，即由多个子题目组成的一道大题，且多个子题目之间没有共同的题干描述文字，因此，针对无公共题干复合题的答案及解析进行检测时，也是将多个子题目的答案解析框为一个大的选项框。
因此，将待检测图像输入至目标检测模型后，该目标检测模型即可根据待检测图像中的内容检测出各个选项框及对应的类型，该类型包括但不限于无公共题干复合题框、带插图题干框、答题卡区域框等等。
可以理解的是，这里的目标检测模型可以是Faster-RCNN模型，在实际使用时也可以采用其他目标检测模型，本方案选用该模型的目的为解决题干及答案对应的各类型区域尺寸变化比较剧烈的问题，该模型为近年来目标检测领域比较优秀的网络模型，同时具有检测大目标及小目标兼优的属性。
S120：根据所述第一检测结果确定与所述待检测图像对应的多个选项框及选项框的类型，并对各个类型的选项框分别进行二次检测，得到第二检测结果。
本步骤中，通过步骤S110对待检测图像的题干及答案布局进行检测，得到第一检测结果后，服务器可再次利用相关的检测模型对检测到的不同类型的选项框分别进行二次检测，以便得到第二检测结果。
可以理解的是，通过步骤S110检测得到的第一检测结果中，包含有各个类型的选项框，目标检测模型针对不同类型的选项框检测的正确率，与针对同一类型的选项框选用较为适宜的目标检测模型来说，检测的正确率相对低一些；且直接使用第一检测结果对待检测图像的题干及答案区域进行切分，可能存在漏检的选项框。
因此，本申请中，在利用目标检测模型对待检测图像中的题干及答案布局进行检测，并得到第一检测结果后，可根据第一检测结果中的各个选项框及对应的类型，然后针对不同类型的选项框分别使用不同的检测模型进行二次检测，以便得到第二检测结果。
可以理解的是，这里的选项框对应的类型包括但不限于无公共题干复合题框、带插图题干框、答题卡区域框等，因此，可针对多种类型分别选用适宜的目标检测模型来进行检测，以便提高检测结果的准确率。
例如，在对无公共题干复合题框进行二次检测时，可使用SSD模型，该模型具有在保证高正确率的前提下效率也比较高的优势，是近年来在目标检测领域表现比较稳的模型，同时也是目标检测领域一个里程碑式的模型；当然，在实际使用时还可以采用其他一些比较优秀的模型，如YOLO-V3模型等。
S130：将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框，若有，则依据所述第二检测结果对所述待检测图像的题干及答案区域进行切分。
本步骤中，当通过步骤S120得到各个类型的选项框对应的第二检测结果后，可将第二检测结果与第一检测结果之间进行比对，以确定第一检测结果中是否有漏检的选项框。
举例来说，当第二检测结果中选项框的类型对应的是答题卡区域框时，确定第一检测结果中是否有漏检的选项框判定规则为：
(1)遍历第二检测结果中检测到的答题卡选项框；
(2)将当前第二检测结果中检测到的答题卡选项框与第一检测结果中检测到的所有的答题卡选项框分别进行交并比计算，并确定是否存在交并比大于预设阈值的情况，是的话判定为非漏检的选项框，并继续步骤(3)，否则判定为漏检框，并继续步骤(3)；
(3)判断第二检测结果中是否还有未遍历的选项框，是的话返回步骤(2)。
从上述判定规则可知，判定为漏检的选项框的步骤可以表示为：先从第二检测结果中选取一个答题卡区域框，并与第一检测结果中的所有选项框进行对比，查看该答题卡区域框是否已经被检测出来了，如果没有就保留，如果被检测出来了就丢弃，保留第一检测结果中对应的选项框。
需要说明的是，这里的交并比，即术语IOU，IOU＝两个矩形交集的面积/两个矩形的并集面积，当IOU大于预设阈值时，则将两个选项框进行合并或丢弃其中一个。
进一步地，如果通过第二检测结果检测到了漏检的选项框，则将第二检测结果中的选项框进行保留，并通过该选项框对对待检测图像中的题干及答案区域进行切分。
另外，有些包含子题目的题干或解析在标注时由于人工标注标准不统一的情况，导致检测时会出现整个题目被检测出一个大框的同时，还按照子题目检测了多个小框，因此，需要将重复的选项框进行合并。
上述实施例中，首先依据获取到的待检测图像的题干及答案布局，将待检测图像划分为多个选项框，并确定选项框的类型，实现题干及答案自动切分，减少了人工切题的工作量，大大提高了录题的效率；然后再针对不同类型的选项框分别进行二次检测，能够解决题目和答案的版面种类各式各样的问题，对应的第二检测结果中题干及答案切分准确率更高；因此，在得到第二检测结果后，根据第二检测结果来查验第一检测结果中是否有漏检的选项框，如果有，则依据第二检测结果对待检测图像的题干及答案区域进行切分，使得整体切分框的准确率进一步提高，同时切分效果更佳。
在一个实施例中，所述题干及答案混合的切分方法还可以包括：
S140：确定所述第一检测结果中是否有漏检的选项框，若没有，则依据所述第一检测结果对所述待检测图像的题干及答案区域进行切分。
本实施例中，通过第二检测结果来检测第一检测结果中是否有漏检的选项框时，若没有漏检的选项框，则表示第一检测结果包含了所有的选项框，此时，可将第二检测结果中的选项框丢弃，保留第一检测结果中对应的选项框，并将其作为待检测图像的题干及答案区域切分的依据。
或者，将第二检测结果中的选项框与第一检测结果的选项框进行合并，并取合并后的选项框对待检测图像的题干及答案区域进行切分。
在一个实施例中，所述各个选项框对应的类型可以包括无公共题干复合题框、带插图题干框、答题卡区域框；步骤S120中对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，可以包括：
S121：遍历所述第一检测结果，并确定所述第一检测结果中的无公共题干复合题框；
S122：对所述无公共题干复合题框所在区域进行子题号检测，并对检测的子题号进行识别，确定对应的题号和答案区域。
本实施例中，由于题干及答案分布的多样性，以及相同的布局，不同场景下切分区域不同，导致题干及答案区域的切分过程较为困难。示意性地，如图3、4所示，图3为本发明实施例提供的无公共题干复合题框的第一结构示意图，图4为本发明实施例提供的无公共题干复合题框的第二结构示意图。
图3中，整个选项框中的内容为题干内容，其中，小括号a/b/c为子题号，图4中，该选项框对应的场景为答案场景，该答案场景中小括号的内容为答案选项，选项右侧为解析，在教研录题需求场景下答案与解析是需要分开录入的。
因此，针对无公共题干复合题框，可采用本实施例进行检测，示意性地，如图5所示，图5为本发明实施例提供的无公共题干复合题框的检测流程示意图；图5中，对于无公共题干复合题框的检测流程包括如下步骤：
a101：遍历第一检测结果输出的选项框；
a102：确定是否还有未遍历的选项框，如果有，则继续步骤a103，否则结束；
a103：判断当前的选项框是否为无公共题干复合题框，如果是，则进行步骤a104，否则返回步骤a101；
a104：在当前的无公共题干复合题框对应的区域内进行子题号检测；
a105：对步骤a104中检测到的题号进行进一步地判断，确定是否为答案选项。
上述步骤中，对于步骤a104中子题号检测可采用SSD模型，或YOLO-V3模型等，对检测出的题号区域进行识别可采用的比较轻量的Lenet5模型。
可以理解的是，由于题号一般为26个字母或100以内的数字，因此可将题号区域分为126类，实际上数字超过20的子题目很少，设为46类也是可以的，本方案在实际使用时为了识别精确，所以多设置了一些类数。
当然，在类数较少或样本比较充足时，可以不采用单独识别的方案，直接利用SSD模型进行检测识别也是可以的。
进一步地，对于步骤a105中确定题号是否为答案选项的判断规则为：
1)有且仅有一个题号，如果数字题号大于1或字母题号大于a，则将该题号判断为答案选项，如果数字题号等于1或字母题号等于a，则判断为题号；
2)有多个题号时，如果题号由小到大且连续，则判定为题号，否则判定为答案选项。
在一个实施例中，步骤S120中对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，还可以包括：
S123：遍历所述第一检测结果，并确定所述第一检测结果中的带插图题干框；
S124：将所述待插图题干框的插图区域进行覆盖，并对覆盖后的带插图题干框进行题干识别，确定对应的题干区域。
本实施例中，由于题干内容的多样性，其中不可避免地，会出现非题干文字内容的表述，如插图等。插图将题目分割为多部分，如图6所示，图6为本发明实施例提供的带插图题干框的结构示意图；图6中，三个选项框的内容均为题干内容，其中，中间选项框为插图。
针对图6所示的场景，可采用本实施例的检测流程进行检测。具体地，如图7所示，图7为本发明实施例提供的带插图题干框的检测流程示意图；图7中，对于带插图题干框的检测流程包括如下步骤：
b101：遍历第一检测结果输出的选项框；
b102：确定是否还有未遍历的选项框，如果有，则继续步骤b103，否则结束；
b103：判断当前的选项框是否为带插图题干框，如果是，则进行步骤b104，否则返回步骤b101；
b104：crop插图；
b105：在原图Mask掉插图。
图7中，首先遍历第一检测结果中的所有选项框，并确定第一检测结果中的带插图题干框，然后将待插图题干框的插图区域进行覆盖，这样既可对覆盖后的带插图题干框进行题干识别，确定对应的题干区域。
需要说明的是，对于带插图题干框，由于在框选时将被插图分为多个区域的题干及插图框在一个大框内，作为该题的题干框，插图部分单独再框一个框，两个框的类型不同，但都属于题干内容，如果将被分割的题干分为多部分进行检测的话，就会面临题干恢复的问题及部分丢失的风险。
因此，在将该题干区域送进OCR识别时，将题干区域中的插图区域Mask掉，即都置为0或255，这样在识别题干的时候就不会被其中的插图所干扰，同时保证了题干的完整性，完美地解决了题干中非题干因素干扰的问题，提高了OCR对题干内容的识别准确率。
当然，针对题干中的其他干扰因素，也可以用相同的方法将之去除，保证题干的完整及正确性。
在一个实施例中，步骤S120中对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，还可以包括：
S125：遍历所述第一检测结果，并确定所述第一检测结果中的答题卡区域框；
S126：对所述答题卡区域框进行选项检测，确定对应的选项区块信息。
本实施例中，由于答题卡场景下的选项小、多、密集，而且布局多种多样，有的答题卡区域内对应题号位置处填写字母选项，且呈矩形分布，有的题号对应的答案选项中有多选项，还有的因题号数量不同，陈列的方式也不同。
因此，针对答题卡区域框中多种布局的场景，可采用本实施例的检测流程进行检测。示意性地，如图8所示，图8为本发明实施例提供的答题卡区域框的检测流程示意图；图8中，对于答题卡区域框的检测流程包括如下步骤：
c101：遍历第一检测结果输出的选项框；
c102：确定是否还有未遍历的选项框，如果有，则继续步骤c103，否则结束；
c103：判断当前的选项框是否为答题卡区域框，如果是，则进行步骤c104，否则返回步骤c101；
c104：在当前的答题卡区域框内进行选项检测，得到选项区块信息。
上述步骤c104中，对答题卡区域框进行选项检测主要采用的检测模型为SSD模型，该模型具有在保证高正确率的前提下效率也比较高的优势，是近年来在目标检测领域表现比较稳的模型，同时也是目标检测领域一个里程碑式的模型。
并且，本实实施例中的选项检测只有目标和非目标之分，无需再进行识别，识别任务由后面的OCR模块来完成。实际使用时还可以采用其他一些比较优秀的检测模型如YOLO-V3等。
在一个实施例中，步骤S130中将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，可以包括：
将所述题号和答案区域对应的选项框与所述第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
本实施例中，由于第二检测结果中使用的检测模型只是针对某一类型的选项框，如针对无公共题干复合题框的检测，该检测结果的正确率相对第一检测结果来说相对较高，因此，将第二检测结果中的题号和答案区域对应的选项框与第一检测结果中的选项框之间进行比对，即可确定第一检测结果中是否有漏检的选项框，提升模型的正确率。
进一步地，该比对过程可通过交并比实现，将第二检测结果中的题号和答案区域对应的选项框与第一检测结果中的选项框交集的面积，除以并集的面积，当两者的交并比大于预设阈值时，则确定无漏检的选项框，并且，确定没有漏检的选项框之后，可将两个选项框进行合并或丢弃其中一个。
在一个实施例中，步骤S130中将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，可以包括：
将所述题干区域对应的选项框与第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
本实施例中，由于第二检测结果中使用的检测模型只是针对某一类型的选项框，如针对带插图题干框的检测，该检测结果的正确率相对第一检测结果来说相对较高，因此，将第二检测结果中的题干区域对应的选项框与第一检测结果中的选项框之间进行比对，即可确定第一检测结果中是否有漏检的选项框，提升模型的正确率。
进一步地，该比对过程可通过交并比实现，将第二检测结果中的题干区域对应的选项框与第一检测结果中的选项框交集的面积，除以并集的面积，当两者的交并比大于预设阈值时，则确定无漏检的选项框，并且，确定没有漏检的选项框之后，可将两个选项框进行合并或丢弃其中一个。
在一个实施例中，所述将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，包括：
将所述选项区块信息对应的选项框与第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
本实施例中，由于第二检测结果中使用的检测模型只是针对某一类型的选项框，如答题卡区域框中检测答题卡选项框，该检测的答题卡选项框正确率一般比第一检测结果中的答题卡选项框正确率高很多，所以设置了该模块对答题卡区域进行答题卡选项检测，将两者的检测结果进行融合达到最优效果。
进一步地，该比对过程可通过交并比实现，将第二检测结果中的选项区块信息对应的选项框与第一检测结果中的选项框交集的面积，除以并集的面积，当两者的交并比大于预设阈值时，则确定无漏检的选项框，并且，确定没有漏检的选项框之后，可将两个选项框进行合并或丢弃其中一个。
在一个实施例中，如图9所示，图9为本发明实施例提供的题干及答案混合的切分装置的结构示意图；图9中，本发明还提供了一种题干及答案混合的切分装置，包括第一检测模块210、第二检测模块220、切分模块230，具体包括如下：
第一检测模块210，用于获取待检测图像，并对所述待检测图像的题干及答案布局进行检测，得到第一检测结果；
第二检测模块220，用于根据所述第一检测结果确定与所述待检测图像对应的多个选项框及选项框的类型，并对各个类型的选项框分别进行二次检测，得到第二检测结果；
切分模块230，用于将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框，若有，则依据所述第二检测结果对所述待检测图像的题干及答案区域进行切分。
上述实施例中，首先依据获取到的待检测图像的题干及答案布局，将待检测图像划分为多个选项框，并确定选项框的类型，实现题干及答案自动切分，减少了人工切题的工作量，大大提高了录题的效率；然后再针对不同类型的选项框分别进行二次检测，能够解决题目和答案的版面种类各式各样的问题，对应的第二检测结果中题干及答案切分准确率更高；因此，在得到第二检测结果后，根据第二检测结果来查验第一检测结果中是否有漏检的选项框，如果有，则依据第二检测结果对待检测图像的题干及答案区域进行切分，使得整体切分框的准确率进一步提高，同时切分效果更佳。
关于题干及答案混合的切分装置的具体限定可以参见上文中对于题干及答案混合的切分方法的限定，在此不再赘述。上述题干及答案混合的切分装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，本发明还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述题干及答案混合的切分方法的步骤。
在一个实施例中，本发明还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述题干及答案混合的切分方法的步骤。
示意性地，如图10所示，图10为本发明实施例提供的一种计算机设备的内部结构示意图，该计算机设备300可以被提供为一服务器。参照图10，计算机设备300包括处理组件302，其进一步包括一个或多个处理器，以及由存储器301所代表的存储器资源，用于存储可由处理组件302的执行的指令，例如应用程序。存储器301中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件302被配置为执行指令，以执行上述任意实施例的题干及答案混合的切分方法。
计算机设备300还可以包括一个电源组件303被配置为执行计算机设备300的电源管理，一个有线或无线网络接口304被配置为将计算机设备300连接到网络，和一个输入输出(I/O)接口305。计算机设备300可以操作基于存储在存储器301的操作系统，例如WindowsServer TM、Mac OS XTM、Unix TM、Linux TM、Free BSDTM或类似。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种题干及答案混合的切分方法，其特征在于，所述方法包括：
获取待检测图像，并对所述待检测图像的题干及答案布局进行检测，得到第一检测结果；
根据所述第一检测结果确定与所述待检测图像对应的多个选项框及选项框的类型，并对各个类型的选项框分别进行二次检测，得到第二检测结果；
将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框，若有，则依据所述第二检测结果对所述待检测图像的题干及答案区域进行切分。
2.根据权利要求1所述的题干及答案混合的切分方法，其特征在于，还包括：
确定所述第一检测结果中是否有漏检的选项框；
若没有，则依据所述第一检测结果对所述待检测图像的题干及答案区域进行切分。
3.根据权利要求1所述的题干及答案混合的切分方法，其特征在于，所述各个选项框对应的类型包括无公共题干复合题框、带插图题干框、答题卡区域框；
所述对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，包括：
遍历所述第一检测结果，并确定所述第一检测结果中的无公共题干复合题框；
对所述无公共题干复合题框所在区域进行子题号检测，并对检测的子题号进行识别，确定对应的题号和答案区域。
4.根据权利要求3所述的题干及答案混合的切分方法，其特征在于，所述对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，还包括：
遍历所述第一检测结果，并确定所述第一检测结果中的带插图题干框；
将所述待插图题干框的插图区域进行覆盖，并对覆盖后的带插图题干框进行题干识别，确定对应的题干区域。
5.根据权利要求3所述的题干及答案混合的切分方法，其特征在于，所述对各个类型的选项框分别进行二次检测，得到第二检测结果的步骤，还包括：
遍历所述第一检测结果，并确定所述第一检测结果中的答题卡区域框；
对所述答题卡区域框进行选项检测，确定对应的选项区块信息。
6.根据权利要求3所述的题干及答案混合的切分方法，其特征在于，所述将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，包括：
将所述题号和答案区域对应的选项框与所述第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
7.根据权利要求4所述的题干及答案混合的切分方法，其特征在于，所述将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，包括：
将所述题干区域对应的选项框与第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
8.根据权利要求5所述的题干及答案混合的切分方法，其特征在于，所述将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框的步骤，包括：
将所述选项区块信息对应的选项框与第一检测结果中的选项框之间进行比对，确定所述第一检测结果中是否有漏检的选项框。
9.一种题干及答案混合的切分装置，其特征在于，包括：
第一检测模块，用于获取待检测图像，并对所述待检测图像的题干及答案布局进行检测，得到第一检测结果；
第二检测模块，用于根据所述第一检测结果确定与所述待检测图像对应的多个选项框及选项框的类型，并对各个类型的选项框分别进行二次检测，得到第二检测结果；
切分模块，用于将所述第二检测结果与所述第一检测结果之间进行比对，确定所述第一检测结果中是否有漏检的选项框，若有，则依据所述第二检测结果对所述待检测图像的题干及答案区域进行切分。
10.一种存储介质，其特征在于：所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中任一项所述题干及答案混合的切分方法的步骤。
11.一种计算机设备，其特征在于：所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中任一项所述题干及答案混合的切分方法的步骤。
CN202011174453.8A 2020-10-28 2020-10-28 题干及答案混合的切分方法、装置、存储介质 Pending CN112270261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011174453.8A CN112270261A (zh) 2020-10-28 2020-10-28 题干及答案混合的切分方法、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011174453.8A CN112270261A (zh) 2020-10-28 2020-10-28 题干及答案混合的切分方法、装置、存储介质

Publications (1)

Publication Number Publication Date
CN112270261A true CN112270261A (zh) 2021-01-26

Family

ID=74344374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011174453.8A Pending CN112270261A (zh) 2020-10-28 2020-10-28 题干及答案混合的切分方法、装置、存储介质

Country Status (1)

Country Link
CN (1) CN112270261A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990180A (zh) * 2021-04-29 2021-06-18 北京世纪好未来教育科技有限公司 判题方法、装置、设备及存储介质
CN113762274A (zh) * 2021-11-10 2021-12-07 江西风向标教育科技有限公司 一种答题卡目标区域检测方法、系统、存储介质及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990180A (zh) * 2021-04-29 2021-06-18 北京世纪好未来教育科技有限公司 判题方法、装置、设备及存储介质
CN112990180B (zh) * 2021-04-29 2021-08-06 北京世纪好未来教育科技有限公司 判题方法、装置、设备及存储介质
CN113762274A (zh) * 2021-11-10 2021-12-07 江西风向标教育科技有限公司 一种答题卡目标区域检测方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
CN109583443B (zh) 一种基于文字识别的视频内容判断方法
CN105590101A (zh) 基于手机拍照的手写答题卡自动处理和阅卷方法及系统
US20130262466A1 (en) Group work support method
Arai et al. Method for automatic e-comic scene frame extraction for reading comic on mobile devices
CN112270261A (zh) 题干及答案混合的切分方法、装置、存储介质
CN111738041A (zh) 一种视频分割方法、装置、设备及介质
CN108335293B (zh) 图像质量的确定方法及装置
CN106778703A (zh) 电子阅卷的方法和装置
CN106846961A (zh) 电子试卷的处理方法和装置
CN109309844A (zh) 视频台词处理方法、视频客户端及服务器
WO2023040480A1 (zh) 用于图像检测的方法、装置、电子设备以及存储介质
CN111405360A (zh) 视频处理方法、装置、电子设备和存储介质
CN107895140A (zh) 基于人脸肤色的色情图片识别办法
CN114095749A (zh) 推荐及直播界面展示方法、计算机存储介质、程序产品
CN111652140A (zh) 基于深度学习的题目精准分割方法、装置、设备和介质
CN112330585A (zh) 图像质量的检测方法、装置及电子设备
CN112381099A (zh) 一种基于数字教育资源的录题系统
CN111783855A (zh) 智能阅卷方法及装置
CN115393837A (zh) 图像检测方法、设备和存储介质
CN105678301A (zh) 一种自动识别并分割文本图像的方法、系统及装置
CN112989768B (zh) 连线题批改方法、装置、电子设备及存储介质
CN113469147B (zh) 答题卡识别方法、装置、电子设备以及存储介质
CN113822907A (zh) 图像处理方法及装置
CN114463770A (zh) 一种用于普遍试卷题目的智能切题方法
CN111666884A (zh) 活体检测方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination