CN116189212A - 一种基于图像的表格智能识别与计分方法 - Google Patents

一种基于图像的表格智能识别与计分方法 Download PDF

Info

Publication number
CN116189212A
CN116189212A CN202310353451.2A CN202310353451A CN116189212A CN 116189212 A CN116189212 A CN 116189212A CN 202310353451 A CN202310353451 A CN 202310353451A CN 116189212 A CN116189212 A CN 116189212A
Authority
CN
China
Prior art keywords
text
image
structure frame
table structure
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310353451.2A
Other languages
English (en)
Inventor
许剑
武建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Lanjiexin Information Technology Co ltd
Original Assignee
Anhui Lanjiexin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Lanjiexin Information Technology Co ltd filed Critical Anhui Lanjiexin Information Technology Co ltd
Priority to CN202310353451.2A priority Critical patent/CN116189212A/zh
Publication of CN116189212A publication Critical patent/CN116189212A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Input (AREA)

Abstract

本发明涉及表格识别计分，具体涉及一种基于图像的表格智能识别与计分方法，利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架；对初级表格结构框架进行分析，筛选关键点；基于关键点得到目标表格结构框架；根据目标表格结构框架生成表格型文本，并从表格型文本中抽取待识别字段的文本数据；构建与表格实体布局关联的文本识别模型，根据待识别字段的文本数据来源选择对应的文本识别模型获取文本识别结果；根据待识别字段的文本识别结果及相应评分标准进行计分；本发明提供的技术方案能够有效克服现有技术所存在的无法对不同类型表格进行高效、准确地识别，以及文本识别准确度较低的缺陷。

Description

一种基于图像的表格智能识别与计分方法
技术领域
本发明涉及表格识别计分，具体涉及一种基于图像的表格智能识别与计分方法。
背景技术
考试是老师对学生学习成果的一种考核方式，通过考试可以对学生的学习成果进行检验。现有技术中，针对表格的阅卷方式一般是通过模板匹配的方法来提取感兴趣区域中的文字，再利用文字识别技术进行文字识别和计分。上述方法的实现过程如下：首先，上传与待识别表格结构一致的模板图像，并在模板图像中框选出感兴趣区域；其次，记录感兴趣区域的位置信息(如角点坐标、框体长度/宽度等)，基于感兴趣区域的位置信息生成表格模板；最后，根据表格模板确定待识别表格中的感兴趣区域，并利用文字识别技术识别感兴趣区域中的文字，基于文字识别结果进行分数统计。
上述现有技术方案主要存在以下问题：表格模板对于固定版式的表格较为适用，但是对于每次的考卷，其中包含待识别表格的版式或类型是多样的，如果为每种待识别表格都生成一个表格模板，不仅费时费力，而且需要付出非常大的成本。换句话说，上述表格模板存在局限性大、灵活性低的问题。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种基于图像的表格智能识别与计分方法，能够有效克服现有技术所存在的无法对不同类型表格进行高效、准确地识别，以及文本识别准确度较低的缺陷。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于图像的表格智能识别与计分方法，包括以下步骤：
S1、利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架；
S2、对初级表格结构框架进行分析，筛选关键点；
S3、基于关键点得到目标表格结构框架；
S4、根据目标表格结构框架生成表格型文本，并从表格型文本中抽取待识别字段的文本数据；
S5、构建与表格实体布局关联的文本识别模型，根据待识别字段的文本数据来源选择对应的文本识别模型获取文本识别结果；
S6、根据待识别字段的文本识别结果及相应评分标准进行计分。
优选地，S1中利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架之后，包括：
生成水平梯度卷积核和竖直梯度卷积核，并利用水平梯度卷积核、竖直梯度卷积核分别对初级表格结构框架进行卷积处理，以分别提取初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合。
优选地，S2中对初级表格结构框架进行分析，筛选关键点，包括：
基于初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合，得到多个连通区域；
获取各连通区域的最小外接矩形，并根据各连通区域的最小外接矩形获取关键点。
优选地，所述连通区域为同行、同列相邻，且像素值相同的像素点的集合。
优选地，所述获取各连通区域的最小外接矩形，包括：
基于初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合，生成像素点的坐标；
将对应连通区域面积最小的外接矩形最为该连通区域的最小外接矩形，得到各连通区域的最小外接矩形。
优选地，所述根据各连通区域的最小外接矩形获取关键点，包括：
提取并连接各最小外接矩形的短边的中点，得到多条连接线；
叠加多条连接线，筛选多条连接线中具有相同坐标的点，得到关键点。
优选地，S3中基于关键点得到目标表格结构框架，包括：
依次获取关键点的坐标，重构相应的单元格，生成表格的目标表格结构框架。
优选地，S4中根据目标表格结构框架生成表格型文本，包括：
根据目标表格结构框架将包含表格的图像转换为文本形式，得到表格型文本。
优选地，S4中从表格型文本中抽取待识别字段的文本数据，包括：
对表格型文本中的待识别字段进行标注，利用文本抽取模型抽取标注后待识别字段的文本数据。
优选地，所述待识别字段的文本数据中配置有反映待识别字段在表格中位置来源的位置坐标信息。
(三)有益效果
与现有技术相比，本发明所提供的一种基于图像的表格智能识别与计分方法，具有以下有益效果：
1)利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架，对初级表格结构框架进行分析，筛选关键点，基于关键点得到目标表格结构框架，通过获取不同类型表格的关键点，并根据关键点得到表格的目标表格结构框架，能够实现对不同类型表格高效、准确地识别，有效获取不同类型表格的结构信息，为后续准确进行文本识别提供支持；
2)根据目标表格结构框架生成表格型文本，并从表格型文本中抽取待识别字段的文本数据，构建与表格实体布局关联的文本识别模型，根据待识别字段的文本数据来源选择对应的文本识别模型获取文本识别结果，通过选择与待识别字段的文本数据来源相匹配的文本识别模型进行文本识别，能够有效提高对于待识别字段文本识别的准确度，从而能够对考卷中的表格进行准确计分。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图；
图2为本发明中对不同类型表格进行智能识别的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于图像的表格智能识别与计分方法，如图1和图2所示，①利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架。
其中，利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架之后，包括：
生成水平梯度卷积核和竖直梯度卷积核，并利用水平梯度卷积核、竖直梯度卷积核分别对初级表格结构框架进行卷积处理，以分别提取初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合。
②对初级表格结构框架进行分析，筛选关键点，具体包括：
基于初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合，得到多个连通区域；
获取各连通区域的最小外接矩形，并根据各连通区域的最小外接矩形获取关键点。
1)获取各连通区域的最小外接矩形，包括：
基于初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合，生成像素点的坐标；
将对应连通区域面积最小的外接矩形最为该连通区域的最小外接矩形，得到各连通区域的最小外接矩形。
2)根据各连通区域的最小外接矩形获取关键点，包括：
提取并连接各最小外接矩形的短边的中点，得到多条连接线；
叠加多条连接线，筛选多条连接线中具有相同坐标的点，得到关键点。
本申请技术方案中，连通区域为同行、同列相邻，且像素值相同的像素点的集合。
③基于关键点得到目标表格结构框架，具体包括：
依次获取关键点的坐标，重构相应的单元格，生成表格的目标表格结构框架。
上述技术方案，利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架，对初级表格结构框架进行分析，筛选关键点，基于关键点得到目标表格结构框架，通过获取不同类型表格的关键点，并根据关键点得到表格的目标表格结构框架，能够实现对不同类型表格高效、准确地识别，有效获取不同类型表格的结构信息，为后续准确进行文本识别提供支持。
如图1所示，④根据目标表格结构框架生成表格型文本，并从表格型文本中抽取待识别字段的文本数据。
1)根据目标表格结构框架生成表格型文本，包括：
根据目标表格结构框架将包含表格的图像转换为文本形式，得到表格型文本。
2)从表格型文本中抽取待识别字段的文本数据，包括：
对表格型文本中的待识别字段进行标注，利用文本抽取模型抽取标注后待识别字段的文本数据。
本申请技术方案中，待识别字段的文本数据中配置有反映待识别字段在表格中位置来源的位置坐标信息。
⑤构建与表格实体布局关联的文本识别模型，根据待识别字段的文本数据来源选择对应的文本识别模型获取文本识别结果。
⑥根据待识别字段的文本识别结果及相应评分标准进行计分。
上述技术方案，根据目标表格结构框架生成表格型文本，并从表格型文本中抽取待识别字段的文本数据，构建与表格实体布局关联的文本识别模型，根据待识别字段的文本数据来源选择对应的文本识别模型获取文本识别结果，通过选择与待识别字段的文本数据来源相匹配的文本识别模型进行文本识别，能够有效提高对于待识别字段文本识别的准确度，从而能够对考卷中的表格进行准确计分。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像的表格智能识别与计分方法，其特征在于：包括以下步骤：
S1、利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架；
S2、对初级表格结构框架进行分析，筛选关键点；
S3、基于关键点得到目标表格结构框架；
S4、根据目标表格结构框架生成表格型文本，并从表格型文本中抽取待识别字段的文本数据；
S5、构建与表格实体布局关联的文本识别模型，根据待识别字段的文本数据来源选择对应的文本识别模型获取文本识别结果；
S6、根据待识别字段的文本识别结果及相应评分标准进行计分。
2.根据权利要求1所述的基于图像的表格智能识别与计分方法，其特征在于：S1中利用预设的线框识别模型对图像中的线框进行识别，得到初级表格结构框架之后，包括：
生成水平梯度卷积核和竖直梯度卷积核，并利用水平梯度卷积核、竖直梯度卷积核分别对初级表格结构框架进行卷积处理，以分别提取初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合。
3.根据权利要求2所述的基于图像的表格智能识别与计分方法，其特征在于：S2中对初级表格结构框架进行分析，筛选关键点，包括：
基于初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合，得到多个连通区域；
获取各连通区域的最小外接矩形，并根据各连通区域的最小外接矩形获取关键点。
4.根据权利要求3所述的基于图像的表格智能识别与计分方法，其特征在于：所述连通区域为同行、同列相邻，且像素值相同的像素点的集合。
5.根据权利要求3所述的基于图像的表格智能识别与计分方法，其特征在于：所述获取各连通区域的最小外接矩形，包括：
基于初级表格结构框架中的水平线框像素点集合、竖直线框像素点集合，生成像素点的坐标；
将对应连通区域面积最小的外接矩形最为该连通区域的最小外接矩形，得到各连通区域的最小外接矩形。
6.根据权利要求5所述的基于图像的表格智能识别与计分方法，其特征在于：所述根据各连通区域的最小外接矩形获取关键点，包括：
提取并连接各最小外接矩形的短边的中点，得到多条连接线；
叠加多条连接线，筛选多条连接线中具有相同坐标的点，得到关键点。
7.根据权利要求6所述的基于图像的表格智能识别与计分方法，其特征在于：S3中基于关键点得到目标表格结构框架，包括：
依次获取关键点的坐标，重构相应的单元格，生成表格的目标表格结构框架。
8.根据权利要求7所述的基于图像的表格智能识别与计分方法，其特征在于：S4中根据目标表格结构框架生成表格型文本，包括：
根据目标表格结构框架将包含表格的图像转换为文本形式，得到表格型文本。
9.根据权利要求8所述的基于图像的表格智能识别与计分方法，其特征在于：S4中从表格型文本中抽取待识别字段的文本数据，包括：
对表格型文本中的待识别字段进行标注，利用文本抽取模型抽取标注后待识别字段的文本数据。
10.根据权利要求1或9所述的基于图像的表格智能识别与计分方法，其特征在于：所述待识别字段的文本数据中配置有反映待识别字段在表格中位置来源的位置坐标信息。
CN202310353451.2A 2023-04-04 2023-04-04 一种基于图像的表格智能识别与计分方法 Pending CN116189212A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310353451.2A CN116189212A (zh) 2023-04-04 2023-04-04 一种基于图像的表格智能识别与计分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310353451.2A CN116189212A (zh) 2023-04-04 2023-04-04 一种基于图像的表格智能识别与计分方法

Publications (1)

Publication Number Publication Date
CN116189212A true CN116189212A (zh) 2023-05-30

Family

ID=86440616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310353451.2A Pending CN116189212A (zh) 2023-04-04 2023-04-04 一种基于图像的表格智能识别与计分方法

Country Status (1)

Country Link
CN (1) CN116189212A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173723A (zh) * 2023-09-05 2023-12-05 广州凌思云计算有限公司 一种纸质表格识别方法、系统、设备及可存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173723A (zh) * 2023-09-05 2023-12-05 广州凌思云计算有限公司 一种纸质表格识别方法、系统、设备及可存储介质

Similar Documents

Publication Publication Date Title
TWI631514B (zh) Method and system for marking recognition based on mobile terminal
CN112597773B (zh) 文档结构化方法、系统、终端及介质
CN110807454B (zh) 基于图像分割的文字定位方法、装置、设备及存储介质
CN106446882A (zh) 一种基于8字码的智能留痕阅卷方法
CN111507351B (zh) 一种古籍文档数字化的方法
CN109635808B (zh) 一种在自然场景图像中对中文关键词及上下文的提取方法
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN111814576A (zh) 一种基于深度学习的购物小票图片识别方法
CN114119949A (zh) 一种增强文本合成图像的生成方法和系统
CN113537227A (zh) 一种结构化文本识别方法及系统
CN107067399A (zh) 一种试卷图像分割处理方法
CN116189212A (zh) 一种基于图像的表格智能识别与计分方法
CN116052193B (zh) Rpa界面动态表格的拾取和匹配方法及系统
CN112347997A (zh) 一种试题检测识别方法、装置、电子设备及介质
CN115240210A (zh) 一种用于手写汉字辅助练习的系统及方法
CN111047646A (zh) 基于fpga的多目标透镜定位方法及系统
CN115019310B (zh) 图文识别方法及设备
CN108062548B (zh) 一种盲文方自适应定位方法及系统
CN111079742A (zh) 一种扫描试卷中作文区域图像文本块精准定位方法
CN107886808B (zh) 一种盲文方辅助标注方法及系统
JP2004094427A (ja) 帳票画像処理装置及び該装置を実現するためのプログラム
CN114202761B (zh) 一种基于图片信息聚类的信息批量提取方法
CN112115949B (zh) 一种烟草证件以及订单的光学文字识别方法
Phan et al. An Integrated Approach for Table Detection and Structure Recognition
Nguyen et al. Automatic extract handwriting marked regions in business document images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination