CN112364679A - 一种图像区域识别方法及电子设备 - Google Patents

一种图像区域识别方法及电子设备 Download PDF

Info

Publication number
CN112364679A
CN112364679A CN202010924009.7A CN202010924009A CN112364679A CN 112364679 A CN112364679 A CN 112364679A CN 202010924009 A CN202010924009 A CN 202010924009A CN 112364679 A CN112364679 A CN 112364679A
Authority
CN
China
Prior art keywords
identifier
area
image
content
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010924009.7A
Other languages
English (en)
Inventor
李辉
常新峰
王璐妍
吕琬军
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010924009.7A priority Critical patent/CN112364679A/zh
Publication of CN112364679A publication Critical patent/CN112364679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area

Abstract

本申请公开了一种图像区域识别方法及电子设备,该方法包括:对获取的试卷图像的布局进行分析,确定试卷图像中的第一区域,其中,第一区域至少具有文本内容;获取表征文本内容在第一区域中的排布走向的基线信息;识别文本内容中的标识符,获取标识符的位置信息;其中,标识符用于标识目标对象,目标对象包含部分文本内容;基于基线信息和标识符的位置信息,确定位于第一区域中的多个第二区域,其中,第二区域为每个目标对象所处的区域。该方法基于文本内容的基线信息和标识符的位置信息,能够准确确定试卷图像中试题或试题单元所处的区域,有助于后续准确获取试题或试题单元的试题图像,以及准确的识别试题或题单元的试题内容。

Description

一种图像区域识别方法及电子设备
技术领域
本申请涉及电子设备技术领域,特别涉及一种图像区域识别方法及电子设备。
背景技术
随着网络通信、人工智能、物联网、云计算等现在信息技术被广泛应用于教育领域,极大地促进了教育信息化和教育现代化,如电子阅卷、智能搜题等技术已被广泛应用。
以电子阅卷为例,首先需要对试卷进行扫描或拍照,以获取试卷图像,然后需要对试卷图像中试题图像进行切分,继而将相应的试题图像发送给相应的阅卷老师进行阅卷打分。智能搜题过程相似,在进行切分后会对相应试卷图像中的试题内容进行识别,进而基于相应的试题内容检索试题答案。对试卷图像中的试题图像进行切分通常利用目标检测技术来实现,目标检测技术通常基于试题的排版形状对试题区域进行划分,但由于试题内容和排版差异较大,导致试题区域划分的准确率较低,极大地限制了该类技术的推广应用。
发明内容
有鉴于现有技术中存在的上述问题,本申请提供了一种图像区域识别方法及电子设备,本申请实施例采用的技术方案如下:
本申请实施例第一方面提供了一种图像区域识别方法,包括:
对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,其中,所述第一区域至少具有文本内容;
获取表征所述文本内容在所述第一区域中的排布走向的基线信息;
识别所述文本内容中的标识符,获取所述标识符的位置信息;其中,所述标识符用于标识目标对象,所述目标对象包含部分所述文本内容;
基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,其中,所述第二区域为每个所述目标对象所处的区域。
在一些实施例中,所述基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,包括:
在检测到所述标识符的第一侧与所述第一区域的第一侧的边界线之间具有文本内容的情况下,在所述标识符和检测到的所述文本内容之间确定第一分割线;
基于所述第一区域的边界线和所述第一分割线,确定位于所述第一区域中的多个所述第二区域。
在一些实施例中,所述方法还包括:
识别所述第一区域中的表格内容,获取所述表格内容的位置信息;和/ 或
识别所述第一区域中的图像内容,获取所述图像内容的位置信息;
相应的,所述基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,包括:
基于所述基线信息和所述标识符的位置信息,以及所述表格内容的位置信息和/或所述图像内容的位置信息,确定位于所述第一区域中的多个所述第二区域。
在一些实施例中,所述对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,包括:
识别所述试卷图像中形成所述文本内容的目标图像;
确定包覆所述目标图像的轮廓的第一外接区域。
在一些实施例中,所述识别所述文本内容中的标识符,获取所述标识符的位置信息,包括:
识别所述第一区域中形成所述标识符的标识符图像;
确定包覆所述标识符图像的第二外接区域的位置信息。
在一些实施例中,所述识别所述文本内容中的标识符,获取所述标识符的位置信息,包括:
识别所述文本内容中的标识符;
基于预设规则确定所述标识符中的有效标识符;
获取表征所述有效标识符的位置信息。
在一些实施例中,所述标识符包括用于标识一级目标对象的一级标识符和用于标识二级目标对象的二级标识符,所述二级目标对象包含于所述一级目标对象;所述基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,包括:
基于所述基线信息和所述一级标识符的位置信息,确定每个所述一级目标对象所处的一级区域;
基于所述基线信息和所述二级标识符的位置信息,确定每个所述二级目标对象所处的二级区域。
本申请实施例第二方面提供了一种电子设备,包括:
分析模块,用于对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,其中,所述第一区域至少具有文本内容;
获取模块,用于获取表征所述文本内容在所述第一区域中的排布走向的基线信息;
第一识别模块,用于识别所述文本内容中的标识符,获取所述标识符的位置信息;其中,所述标识符用于标识目标对象,所述目标对象包含部分所述文本内容;
确定模块,用于基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,其中,所述第二区域为每个所述目标对象所处的区域。
在一些实施例中,所述确定模块具体用于:
在检测到所述标识符的第一侧与所述第一区域的第一侧的边界线之间具有文本内容的情况下,在所述标识符和检测到的所述文本内容之间确定第一分割线;
基于所述第一区域的边界线和所述第一分割线,确定位于所述第一区域中的多个所述第二区域。
在一些实施例中,还包括:
第二识别模块,用于识别所述第一区域中的表格内容,获取所述表格内容的位置信息;和/或
第三识别模块,用于识别所述第一区域中的图像内容,获取所述图像内容的位置信息;
相应的,所述确定模块具体用于:
基于所述基线信息和所述标识符的位置信息,以及所述表格内容的位置信息和/或所述图像内容的位置信息,确定位于所述第一区域中的多个所述第二区域。
在一些实施例中,所述分析模块具体用于:
识别所述试卷图像中形成所述文本内容的目标图像;
确定包覆所述目标图像的轮廓的第一外接区域。
在一些实施例中,所述第一识别模块具体用于:
识别所述第一区域中形成所述标识符的标识符图像;
确定包覆所述标识符图像的第二外接区域的位置信息。
在一些实施例中,所述第一识别模块具体用于:
识别所述文本内容中的标识符;
基于预设规则确定所述标识符中的有效标识符;
获取表征所述有效标识符的位置信息。
在一些实施例中,所述标识符包括用于标识一级目标对象的一级标识符和用于标识二级目标对象的二级标识符,所述二级目标对象包含于所述一级目标对象;所述确定模块具体用于:
基于所述基线信息和所述一级标识符的位置信息,确定每个所述一级目标对象所处的一级区域;
基于所述基线信息和所述二级标识符的位置信息,确定每个所述二级目标对象所处的二级区域。
本申请实施例第三方面提供了一种电子设备,至少包括存储器和处理器,所述存储器上存储有可执行程序,所述处理器在执行所述存储器上的可执行程序时实现如下步骤:
对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,其中,所述第一区域至少具有文本内容;
获取表征所述文本内容在所述第一区域中的排布走向的基线信息;
识别所述文本内容中的标识符,获取所述标识符的位置信息;其中,所述标识符用于标识目标对象,所述目标对象包含部分所述文本内容;
基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,其中,所述第二区域为每个所述目标对象所处的区域。
本申请实施例的图像区域识别方法,在确定试卷图案中的第一区域后,获取第一区域中文本内容的基线信息,以及文本内容中标识符的位置信息,基于文本内容的基线信息和标识符的位置信息,确定第一区域中的多个第二区域,也即目标对象所属的区域,由于文本内容的基线信息和标识符的位置信息易于获取,且检测和识别的准确性较高,因此,基于文本内容的基线信息和标识符的位置信息能够准确的确定目标对象所属区域,也即试题或试题单元所属区域。
附图说明
图1为本申请实施例的图像区域识别方法的流程图;
图2为本申请实施例的图像区域识别方法的步骤S1的效果示意图;
图3为本申请实施例的图像区域识别方法的步骤S2的效果示意图;
图4为本申请实施例的图像区域识别方法的步骤S3的效果示意图;
图5a至图5e为本申请实施例的图像区域识别方法的步骤S4的效果示意图;
图6为本申请实施例的图像区域识别方法的步骤S1的流程图;
图7为本申请实施例的图像区域识别方法的步骤S4的流程图;
图8为本申请实施例的图像区域识别方法的步骤S5的效果示意图;
图9为本申请实施例的电子设备的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例;然而,应当理解,所申请的实施例仅仅是本申请的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请实施例提供了一种图像区域识别方法,基于文本内容的基线信息和标识符的位置信息,能够准确确定试卷图像中试题或试题单元所处的区域,进而能够准确获取包含该试题或该试题单元的试题图像,以便能够准确的识别该试题或试题单元的试题内容。
图1为本申请实施例的图像区域识别方法的流程图,参见图1所示,本申请实施例的图像区域识别方法,包括:
S1,对获取的试卷图像11的布局进行分析,确定试卷图像11中的第一区域12,其中,第一区域12至少具有文本内容13,如图2所示。
其中,该试卷图像11应广义的理解为包含试题的图像,可为例如用于考试或测验时的试卷的图像,也可为教科书的课后练习部分的图像、习题册的图像、练习册的图像、应用程序的界面图像或其他包含试题的图像,该试卷图像11不应狭义理解为仅包含常规试卷形式的图像。
该试卷图像11可通过电子设备自带的摄像装置或扫描装置拍摄或扫描获取,也可通过例如截屏软件截取电子设备上运行的应用程序的界面图像,亦或者可通过与另一电子设备通信获取。
该第一区域12可为包含试题或试题单元的区域,试题或试题单元通常由文字构成,或至少包含文字。以该试卷图像11为用于考试或测验时的试卷的图像为例,该第一区域12可为除去卷头区、姓名区等不包含试题的区域外的包含试题的区域。以该试卷图像11为习题册的图像,该第一区域 12可为除去页眉区和页脚区外的包含试题的区域。
在实际应用时,可基于特定规则对获取的试卷图像11的布局进行分析。如可对试卷图像11的图像内容进行识别,将该试卷图像11中具有特定图像内容的图像区域确定为第一区域12。也可对试卷图像11中图像要素的轮廓形状进行识别,将包含特定轮廓形状的图像要素的图像区域确定为第一区域12。
在实际应用时,也可通过第一模型对试卷图像11的布局进行分析,以确定试卷图像11的第一区域12,该第一模型通过对建立的模型框架进行训练形成,具体的,可预先准备训练数据集,该训练数据集可包括试卷图像11集,以及对应的第一区域12数据集,以该试卷图像11集作为输入数据,以第一区域12数据集作为输出数据训练该模型框架。最后通过验证数据集验证训练后的第一模型,当第一模型的分析结果的准确率达到标准要求时即完成了训练过程。在训练完成后,将获取到的试卷图像11输入到该第一模型,该第一模型就能够对试卷图像11进行分析,并确定试卷图像 11中的第一区域12。
S2,获取表征文本内容13在第一区域12中的排布走向的基线信息。
其中,该基线信息可为表征每行文本内容13的底部连线的信息,如图 3所示,该基线信息也可为表征每行文本内容13的中部连线或顶部连线的信息,该基线信息能够表征文本内容13在第一区域12中的排布走向。
在一个具体实施例中,可对第一区域12中的文本内容13进行文字识别,进而确定第一区域12中文字的位置信息,之后基于文字的位置信息确定文本内容13在第一区域12中的排布走向的基线信息。
在另一个具体实施例中,可通过第二模型对第一区域12中文本内容 13的排布走向进行分析,以获取文本内容13的基线信息。该第二模型也为通过对建立的模型框架进行训练而成。当然,上诉文本内容13的基线信息的获取方式仅为示例性的,不构成对文本内容13的基线信息的获取方式的具体限定。
进一步的,为避免在获取该试卷图像11时,因扫描或拍摄角度等原因导致试卷图像11扭曲或倾斜,进而导致获取的文本内容13的基线信息不准确,还可基于第一区域12的边界线的位置信息对该文本内容13的基线信息进行校正。以该第一区域12为矩形区域为例,当文本内容13横向排布时,该文本内容13的基线应与第一区域12的上边线和下边线近似于平行,并与第一区域12的左边线和右边线近似于互相垂直。可检测文本内容 13的基线与第一区域12的边界线之间的夹角,如果文本内容13的基线与第一区域12的边界线之间的夹角在预设范围内,则确定该文本内容13的基线较为准确,无需校正,如果文本内容13的基线与第一区域12的边界线之间的夹角在预设范围之外时,可基于该第一区域12的边界线对文本内容13的基线进行校正,如修正文本内容13的基线的排布角度等。
S3,识别文本内容13中的标识符14,获取标识符14的位置信息。
其中,标识符14用于标识目标对象,该标识符14可为用于标识该目标对象的排序的序号,也可为其他类型的标识符14。以该标识符14为序号为例,该标识符14可采用中文大写数字、中文小写数字、阿拉伯数字、英文字母或其他能够表征顺序的符号,如“壹、贰、叁、肆……”、“一、二、三、四……”、“1、2、3、4……”、“A、B、C、D……”等。该目标对象可为包含部分文本内容13的试题或试题单元,如以试卷图案为用于考试的试卷的图案为例,该目标对象可为具体的第一题、第二题或第三题等具体的试题,也可为由多个选择题、多个填空题或多个简答题等一类题组成的试题单元。
在实际应用时,可对第一区域12中的文本内容13进行文字识别,以识别文本内容13中的标识符14,进而检测识别出的标识符14的位置信息。具体的,可通过第三模型对文本内容13中的标识符14进行识别,并获取标识符14的位置信息,该第三模型也通过对建立的模型框架进行训练而成。该第三模型的训练数据集可为第一区域12的图像集,以及标识符14的位置信息。以第一区域12的图像集作为输入数据,以标识符14的位置信息作为输出数据训练建立的模型框架,当第三模型的分析结果的准确率达到标准要求时,即完成训练过程。将确定的第一区域12的图像输入到训练完成的第三模型中,就能够获取到文本内容13中标识符14的位置信息,如图4所示。
S4,基于文本内容13的基线信息和标识符14的位置信息,确定位于第一区域12中的多个第二区域15,其中,第二区域15为每个目标对象所处的区域。
标识符14与标识符14所标识的目标对象所属的文本内容13,以及该目标对象本身通常具有特定的位置关系。如仍然以试卷图案为用于考试的试卷的图案为例,序号通常位于所标识的试题的左上角,一个试题单元的序号也通常位于该试题单元的左上角。因此,基于该特定的位置关系、文本内容13的基线信息、标识符14的位置信息,以及预置的划分规则,就能够将第一区域12划分为多个第二区域15,每个第二区域15内包含一个目标对象。如图5a至图5e示出了五个不同的试卷图像11,以及在这五个试卷图像11上所确定的第二区域15的效果示意图。此外,还需要说明的是,本申请实施例中所述的“上、下、左、右”与文字的上、下、左、右相对应。
本申请实施例的图像区域识别方法,在确定试卷图案中的第一区域12 后,获取第一区域12中文本内容13的基线信息,以及文本内容13中标识符14的位置信息,基于文本内容13的基线信息和标识符14的位置信息,确定第一区域12中的多个第二区域15,也即目标对象所属的区域,由于文本内容13的基线信息和标识符14的位置信息易于获取,且检测和识别的准确性较高,因此,基于文本内容13的基线信息和标识符14的位置信息能够准确的确定目标对象所属区域,也即试题或试题单元所属区域。
配合图2和图6所示,在一些实施例中,步骤S1,对获取的试卷图像 11的布局进行分析,确定试卷图像11中的第一区域12,包括:
S11,识别试卷图像11中形成文本内容13的目标图像16;
S12,确定包覆目标图像16的轮廓的第一外接区域。
如可通过第一模型对试卷图像11进行布局分析,首先通过该第一模型识别形成文本内容13的目标图像16,也即试卷图像11中形成文本内容13 的像素点集所构成的目标图像16,之后,确定保护该目标图像16的轮廓的第一外接区域,该第一外接区域可为包覆该目标图像16的轮廓的最小外接斜矩形,并将该最小外接斜矩形所对应的区域确定为试卷图像11的第一区域12。当然,该第一外接区域不仅限于矩形区域,也可呈其他形状。在具体实施时,该试卷图像11中可仅具有一个第一区域12,也可具有多个间隔布置的第一区域12。
在一些实施例中,步骤S3,识别文本内容13中的标识符14,获取标识符14的位置信息,包括:
识别文本内容13中的标识符14;
基于预设规则确定标识符14中的有效标识符14;
获取表征有效标识符14的位置信息。
在识别文本内容13中标识符14的过程中,文本中的一些用于标识时间、数量或其他含义的数字和文字也会被识别为标识符14,但这部分数字或文字并不起标识作用,更不是用于标识目标对象。基于预设规则从识别出的标识符14中确定有效的标识符14,可去掉这部分不起标识作用的数字和文字,有益于提高标识符14识别的准确性,进而能够提高试题或试题单元所属区域识别的准确性。
如前所述,标识符14与该标识符14所标识的目标对象所述的文本内容13,以及该目标对象本身通常具有特定的位置关系。因此,在一个具体实施例中,可基于该特定的位置关系对识别到的标识符14进行筛选,将符合该特定的位置关系的标识符14确定为有效标识符14。例如,以试题在试卷图像11上按自上至下依次排列,且序号通常位于试题的左上角为例,则可将位于第一区域12内左侧预设范围内的标识符14确定为有效标识符 14。
此外,当试题或试题单元按照自上之下或自左至右等特定方式排布时,则用于标识目标对象的排序的序号通常与试题或试题单元的排布方式相同,并且同一格式的序号在一定范围内是连续的顺序排布。因此,在另一个具体实施例中,也可基于序号的顺序和格式对识别出的序号进行筛选以确定有效的序号。进而获取该有效的序号的位置信息,以提高试题或试题单元所属区域识别的准确性。
在一些实施例中,步骤S3,识别文本内容13中的标识符14,获取标识符14的位置信息,包括:
识别第一区域12中形成标识符14的标识符14图像;
确定包覆标识符14图像的第二外接区域的位置信息。
具体的,可将第一区域12的图像输入到第三模型中,通过第三模型对第一区域12中的标识符14进行识别,并确定形成标识符14的标识符14 图像,也即确定形成该标识符14的像素点集,之后,确定保护该标识符 14图像的第二外接区域,并确定该第二外接区域的位置信息。该第二外接区域可为包覆该标识符14图像的外接矩形区域,该第二外接区域的位置信息可包括该外接矩形区域的上边界、下边界、左边界及右边界的位置信息。
配合图7所示,在一些实施例中,步骤S4,基于基线信息和标识符14 的位置信息,在第一区域12中确定多个第二区域15,包括:
S41,在检测到标识符14的第一侧与第一区域12的第一侧的边界线之间具有文本内容13的情况下,在标识符14和检测到的文本内容13之间确定第一分割线;
S42,基于第一区域12的边界线和第一分割线,确定位于第一区域12 中的多个第二区域15。
以标识符14位于试题或试题单元的左上角为例,可检测标识符14的上边界与第一区域12的上边界之间是否具有文本内容13,如果具有文本内容13,则在标识符14和文本内容13之间确定一条沿横向延伸的第一分割线;再检测标识符14的左边界与第一区域12的左边界之间是否具有文本内容13,如果检测标识符14的左边界与第一区域12的左边界之间具有文本内容13,则试题或试题单元可能是沿横向排列的,在标识符14和位于该标识符14左侧的文本内容13之间确定一条沿竖向延伸的第一分割线。如此检测每个标识符14的顶部和左侧是否具有文本内容13,并确定相应的第一分割线。之后基于第一区域12的边界线和确定的第一分割线,来确定第一区域12中的过个第二区域15,也即通过确定的第一分割线将第一区域12划分成多个第二区域15。每个第二区域15即为相应标识符14所标识的试题或试题单元所属的区域。提取第二区域15的图像就能够准确识别到相应试题或试题单元的内容。
试卷图像11中的内容形式虽然以文本内容13为主,但通常不仅限于文本内容13,如还可包括表格内容17、图像内容或其他形式的内容,因此,所述方法还包括:
S5,识别第一区域12中的表格内容17,获取表格内容17的位置信息;和/或
S6,识别第一区域12中的图像内容,获取图像内容的位置信息;
相应的,步骤S4,基于基线信息和标识符14的位置信息,确定位于第一区域12中的多个第二区域15,包括:
基于基线信息和标识符14的位置信息,以及表格内容17的位置信息和/或图像内容的位置信息,确定位于第一区域12中的多个第二区域15。
在具体实施时,可通过第一模型直接识别第一区域12中的表格内容 17和图像内容,并确定表格内容17和图像内容的位置信息。也可为表格内容17训练第四模型,通过第四模型来识别第一区域12中的表格内容17,并获取表格内容17的位置信息,如图8所示,并为图像内容训练第五模型,通过第五模型来识别第一区域12中的图像内容,并获取图像内容的位置信息,如此,有益于提高表格内容17的位置信息,以及图像内容的位置信息的准确性。
在同时包含文本内容13、表格内容17和图像内容时,可基于标识符 14的位置信息、文本内容13的基线信息、表格内容17的位置信息以及图像内容的位置信息共同确定第一区域12中的多个第二区域15。也可先基于文本内容13的基线信息和标识符14的位置信息确定第一区域12中的多个第二区域15,再基于表格内容17和图像内容的位置信息对确定的第二区域15进行校正。如可检测各个表格内容17和图像内容是否完全位于确定的第二区域15中,当表格内容17或图像内容与第二区域15的边界线交叠时,对第二区域15与表格内容17或图像内容交叠的边界线进行校正。例如,当表格内容17的凸出于确定的第二区域15的下边界时,可在表格内容17和位于该表格内容17下方的标识符14之间重新确定一第一分割线,作为该第二区域15的下边界线。
在一些实施例中,标识符14包括用于标识一级目标对象的一级标识符 14和用于标识二级目标对象的二级标识符14,二级目标对象包含于一级目标对象;基于基线信息和标识符14的位置信息,确定位于第一区域12中的多个第二区域15,包括:
基于基线信息和一级标识符14的位置信息,确定每个一级目标对象所处的一级区域;
基于基线信息和二级标识符14的位置信息,确定每个二级目标对象所处的二级区域。
一张试卷或一套课后练习通常具有多个题型,也即试题单元,每个题型通常包括多个试题。可将题型视为一级目标对象,而各题型所属的试题则可视为二级目标对象。题型可通过例如中文小写数字标识,试题可通过例如阿拉伯数字标识。在具体实施时,可基于文本内容13的基线信息和一级标识符14的位置信息,确定每个一级目标对象所处的一级区域,也即各题型所处的区域。再基于文本内容13的基线信息和二级标识符14的位置信息,确定每个二级目标对象所处的二级区域,也即各试题所处的区域。如此,能够识别不同级别目标对象所处的区域,以满足用户对不同级别目标对象识别的需求。
参见图9所示,本申请实施例还提供了一种电子设备,包括:
分析模块100,用于对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,其中,所述第一区域至少具有文本内容;
获取模块200,用于获取表征所述文本内容在所述第一区域中的排布走向的基线信息;
第一识别模块300,用于识别所述文本内容中的标识符,获取所述标识符的位置信息;其中,所述标识符用于标识目标对象,所述目标对象包含部分所述文本内容;
确定模块400,用于基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,其中,所述第二区域为每个所述目标对象所处的区域。
在一些实施例中,所述确定模块400具体用于:
在检测到所述标识符的第一侧与所述第一区域的第一侧的边界线之间具有文本内容的情况下,在所述标识符和检测到的所述文本内容之间确定第一分割线;
基于所述第一区域的边界线和所述第一分割线,确定位于所述第一区域中的多个所述第二区域。
在一些实施例中,还包括:
第二识别模块,用于识别所述第一区域中的表格内容,获取所述表格内容的位置信息;和/或
第三识别模块,用于识别所述第一区域中的图像内容,获取所述图像内容的位置信息;
相应的,所述确定模块400具体用于:
基于所述基线信息和所述标识符的位置信息,以及所述表格内容的位置信息和/或所述图像内容的位置信息,确定位于所述第一区域中的多个所述第二区域。
在一些实施例中,所述分析模块100具体用于:
识别所述试卷图像中形成所述文本内容的目标图像;
确定包覆所述目标图像的轮廓的第一外接区域。
在一些实施例中,所述第一识别模块300具体用于:
识别所述第一区域中形成所述标识符的标识符图像;
确定包覆所述标识符图像的第二外接区域的位置信息。
在一些实施例中,所述第一识别模块300具体用于:
识别所述文本内容中的标识符;
基于预设规则确定所述标识符中的有效标识符;
获取表征所述有效标识符的位置信息。
在一些实施例中,所述标识符包括用于标识一级目标对象的一级标识符和用于标识二级目标对象的二级标识符,所述二级目标对象包含于所述一级目标对象;所述确定模块400具体用于:
基于所述基线信息和所述一级标识符的位置信息,确定每个所述一级目标对象所处的一级区域;
基于所述基线信息和所述二级标识符的位置信息,确定每个所述二级目标对象所处的二级区域。
本申请实施例还提供了一种电子设备,至少包括存储器和处理器,所述存储器上存储有可执行程序,所述处理器在执行所述存储器上的可执行程序时实现本申请上述任一实施例提供的图像区域识别方法。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种图像区域识别方法,包括:
对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,其中,所述第一区域至少具有文本内容;
获取表征所述文本内容在所述第一区域中的排布走向的基线信息;
识别所述文本内容中的标识符,获取所述标识符的位置信息;其中,所述标识符用于标识目标对象,所述目标对象包含部分所述文本内容;
基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,其中,所述第二区域为每个所述目标对象所处的区域。
2.根据权利要求1所述的图像区域识别方法,其中,所述基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,包括:
在检测到所述标识符的第一侧与所述第一区域的第一侧的边界线之间具有文本内容的情况下,在所述标识符和检测到的所述文本内容之间确定第一分割线;
基于所述第一区域的边界线和所述第一分割线,确定位于所述第一区域中的多个所述第二区域。
3.根据权利要求1所述的图像区域识别方法,其中,所述方法还包括:
识别所述第一区域中的表格内容,获取所述表格内容的位置信息;和/或
识别所述第一区域中的图像内容,获取所述图像内容的位置信息;
相应的,所述基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,包括:
基于所述基线信息和所述标识符的位置信息,以及所述表格内容的位置信息和/或所述图像内容的位置信息,确定位于所述第一区域中的多个所述第二区域。
4.根据权利要求1所述的图像区域识别方法,其中,所述对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,包括:
识别所述试卷图像中形成所述文本内容的目标图像;
确定包覆所述目标图像的轮廓的第一外接区域。
5.根据权利要求1所述的图像区域识别方法,其中,所述识别所述文本内容中的标识符,获取所述标识符的位置信息,包括:
识别所述第一区域中形成所述标识符的标识符图像;
确定包覆所述标识符图像的第二外接区域的位置信息。
6.根据权利要求1所述的图像区域识别方法,其中,所述识别所述文本内容中的标识符,获取所述标识符的位置信息,包括:
识别所述文本内容中的标识符;
基于预设规则确定所述标识符中的有效标识符;
获取表征所述有效标识符的位置信息。
7.根据权利要求1所述的图像区域识别方法,其中,所述标识符包括用于标识一级目标对象的一级标识符和用于标识二级目标对象的二级标识符,所述二级目标对象包含于所述一级目标对象;所述基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,包括:
基于所述基线信息和所述一级标识符的位置信息,确定每个所述一级目标对象所处的一级区域;
基于所述基线信息和所述二级标识符的位置信息,确定每个所述二级目标对象所处的二级区域。
8.一种电子设备,包括:
分析模块,用于对获取的试卷图像的布局进行分析,确定所述试卷图像中的第一区域,其中,所述第一区域至少具有文本内容;
获取模块,用于获取表征所述文本内容在所述第一区域中的排布走向的基线信息;
第一识别模块,用于识别所述文本内容中的标识符,获取所述标识符的位置信息;其中,所述标识符用于标识目标对象,所述目标对象包含部分所述文本内容;
确定模块,用于基于所述基线信息和所述标识符的位置信息,确定位于所述第一区域中的多个第二区域,其中,所述第二区域为每个所述目标对象所处的区域。
9.根据权利要求8所述的电子设备,其中,所述确定模块具体用于:
在检测到所述标识符的第一侧与所述第一区域的第一侧的边界线之间具有文本内容的情况下,在所述标识符和检测到的所述文本内容之间确定第一分割线;
基于所述第一区域的边界线和所述第一分割线,确定位于所述第一区域中的多个所述第二区域。
10.根据权利要求8所述的电子设备,其中,还包括:
第二识别模块,用于识别所述第一区域中的表格内容,获取所述表格内容的位置信息;和/或
第三识别模块,用于识别所述第一区域中的图像内容,获取所述图像内容的位置信息;
相应的,所述确定模块具体用于:
基于所述基线信息和所述标识符的位置信息,以及所述表格内容的位置信息和/或所述图像内容的位置信息,确定位于所述第一区域中的多个所述第二区域。
CN202010924009.7A 2020-09-04 2020-09-04 一种图像区域识别方法及电子设备 Pending CN112364679A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010924009.7A CN112364679A (zh) 2020-09-04 2020-09-04 一种图像区域识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010924009.7A CN112364679A (zh) 2020-09-04 2020-09-04 一种图像区域识别方法及电子设备

Publications (1)

Publication Number Publication Date
CN112364679A true CN112364679A (zh) 2021-02-12

Family

ID=74516883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010924009.7A Pending CN112364679A (zh) 2020-09-04 2020-09-04 一种图像区域识别方法及电子设备

Country Status (1)

Country Link
CN (1) CN112364679A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177435A (zh) * 2021-03-31 2021-07-27 新东方教育科技集团有限公司 试卷分析方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709492A (zh) * 2016-12-15 2017-05-24 网易(杭州)网络有限公司 试卷图像处理方法、设备和计算机可读存储介质
CN107798321A (zh) * 2017-12-04 2018-03-13 海南云江科技有限公司 一种试卷分析方法和计算设备
KR20180073440A (ko) * 2016-12-22 2018-07-02 주식회사 에스비앤컴퍼니 시험지 인식을 통한 유사 문제 추출 장치 및 그 방법
CN110414529A (zh) * 2019-06-26 2019-11-05 深圳中兴网信科技有限公司 试卷信息提取方法、系统及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709492A (zh) * 2016-12-15 2017-05-24 网易(杭州)网络有限公司 试卷图像处理方法、设备和计算机可读存储介质
KR20180073440A (ko) * 2016-12-22 2018-07-02 주식회사 에스비앤컴퍼니 시험지 인식을 통한 유사 문제 추출 장치 및 그 방법
CN107798321A (zh) * 2017-12-04 2018-03-13 海南云江科技有限公司 一种试卷分析方法和计算设备
CN110414529A (zh) * 2019-06-26 2019-11-05 深圳中兴网信科技有限公司 试卷信息提取方法、系统及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177435A (zh) * 2021-03-31 2021-07-27 新东方教育科技集团有限公司 试卷分析方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110766014B (zh) 票据信息定位方法、系统及计算机可读存储介质
CN107798321B (zh) 一种试卷分析方法和计算设备
CN109815932B (zh) 一种试卷批改方法、装置、电子设备及存储介质
CN107657255B (zh) 网络阅卷方法、装置、可读存储介质以及电子设备
CN107590495B (zh) 答题卡图片纠偏方法、装置、可读存储介质以及电子设备
CN105046200B (zh) 基于直线检测的电子阅卷方法
CN110414563A (zh) 考试成绩统计方法、系统及计算机可读存储介质
CN108563559A (zh) 一种验证码的测试方法、装置、终端设备及存储介质
CN105096677A (zh) 一种教学系统及其工作方法
CN110879965A (zh) 试卷客观题的自动批阅方法、电子装置、设备及存储介质
US20060194188A1 (en) Material processing apparatus, material processing method, and storage medium storing material processing program
CN107358148B (zh) 一种基于手写识别的防作弊网络调研的方法及装置
CN113343815B (zh) 一种pdf等版式文档中识别表格的方法
CN112434699A (zh) 手写汉字或偏旁、笔划的自动提取及智能评分系统
CN112446262A (zh) 文本分析方法、装置、终端和计算机可读存储介质
CN111753120A (zh) 一种搜题的方法、装置、电子设备和存储介质
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN111008594A (zh) 改错题评阅方法、相关设备及可读存储介质
CN112364679A (zh) 一种图像区域识别方法及电子设备
US20060194187A1 (en) Material processing apparatus, material processing method, and program product
CN112348019B (zh) 一种答题卡矫正方法、装置、电子设备及存储介质
CN110956173B (zh) 题目内容识别方法、装置、可读存储介质及计算机设备
CN109635798B (zh) 一种信息提取方法及装置
CN116704523A (zh) 一种用于出版印刷设备的文字排版图像识别系统
US7853194B2 (en) Material processing apparatus, material processing method and material processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination