CN117454859A - 油气站数据自动录入方法、装置、电子设备及存储介质 - Google Patents

油气站数据自动录入方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117454859A
CN117454859A CN202311743951.3A CN202311743951A CN117454859A CN 117454859 A CN117454859 A CN 117454859A CN 202311743951 A CN202311743951 A CN 202311743951A CN 117454859 A CN117454859 A CN 117454859A
Authority
CN
China
Prior art keywords
image
cell
sample
images
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311743951.3A
Other languages
English (en)
Other versions
CN117454859B (zh
Inventor
陈友明
陈思竹
姜超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Honghe Digital Intelligence Group Co ltd
Original Assignee
Sichuan Honghe Digital Intelligence Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Honghe Digital Intelligence Group Co ltd filed Critical Sichuan Honghe Digital Intelligence Group Co ltd
Priority to CN202311743951.3A priority Critical patent/CN117454859B/zh
Publication of CN117454859A publication Critical patent/CN117454859A/zh
Application granted granted Critical
Publication of CN117454859B publication Critical patent/CN117454859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种油气站数据自动录入方法、装置、电子设备及存储介质,涉及数据自动录入技术领域,获取表格图像并进行直线检测,得到表格图像的轮廓数据和第一单元格图像;对第一单元格图像中所有单元格图像进行拆分,得到多个第二单元格图像;对多个第二单元格图像中的文本数据进行识别,得到多个文本信息;计算第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像和目标参数信息;基于目标样本图像中多个样本单元格的位置信息,将文本信息填写至对应样本单元格处,作为数据录入结果。本发明通过获取表格图像的表格和文本信息,并与样本图像数据相匹配,快速完成表格和文本信息的入库,极大提高了录入表格图像的效率和准确度。

Description

油气站数据自动录入方法、装置、电子设备及存储介质
技术领域
本发明涉及数据自动录入技术领域,特别是涉及一种油气站数据自动录入方法、装置、电子设备及存储介质。
背景技术
在危化品存储或特定场景下,需要对入库存储物品表单进行信息录入,针对现有表单信息的录入工作,通常采用工作人员手动打字输入的方式,将表单信息中的文本内容输入至应用软件中,再通过应用软件传输至数据库中,实现表单信息的录入工作。但该方法不仅录入效率低下,而且由于人工输入的问题,可能导致录入信息错误的问题。
基于此,本发明提出一种油气站数据自动录入方法,以解决人工录入表单信息带来的问题。
发明内容
本发明提供一种油气站数据自动录入方法、装置、电子设备及存储介质,以解决或至少部分解决上述现有技术中的问题。
第一方面,本发明实施例提供一种油气站数据自动录入方法,包括:
获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;
对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;
将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;
对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;
计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;
基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。
在本发明可选地一实施例中,所述获取表格图像,包括:
获取待识别图像,所述待识别图像包含表格目标;
对所述待识别图像中包含的表格目标进行多个顶点检测,得到所述表格目标的第一位置信息,所述第一位置信息至少包括多个顶点和每个所述顶点的坐标;
获取所述样本图像的位置信息,所述样本图像的位置信息为第一视角下的所述样本图像的多个顶点坐标;
基于所述样本图像的位置信息,对所述表格目标的第一位置信息进行调整处理,得到所述表格图像,所述表格图像与所述样本图像的尺寸相同。
在本发明可选地一实施例中,所述表格图像为第一颜色空间的图像,所述对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像,包括:
将所述表格图像从所述第一颜色空间转换为第二颜色空间;
将所述表格图像转换为二值图,并对所述二值图进行至少一次形态处理以消除所述二值图中的噪声,得到形态图像,所述形态图像至少包括第一类像素点;
将所述形态图像中的所有第一类像素点进行连接,得到所述表格图像的轮廓数据,所述轮廓数据为构成所述表格图像的直线方向和直线长度;
对所述形态图像中的多个所述直线进行检测,得到多个所述直线的位置信息;
基于所述轮廓数据和多个所述直线的位置信息,将多个所述直线组成多个所述单元格;
将多个所述单元格,以及多个所述单元格对应的所述表格图像内的区域进行组合,得到所述第一单元格图像。
在本发明可选地一实施例中,所述将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像,包括:
以所述第一单元格图像的任一顶点作为坐标原点,建立直角坐标系;
基于所述直角坐标系,获取所述第一单元格图像中每个所述单元格对应的多个顶点坐标,作为每个所述单元格的第二位置信息;
基于每个所述单元格对应的所述第二位置信息,获取每个所述单元格在所述第一单元格图像中的图像区域,作为所述第二单元格图像。
在本发明可选地一实施例中,所述计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,包括:
基于所述轮廓数据,计算所述第一单元格图像与每个所述样本图像之间的轮廓相似度,得到多个轮廓相似度值;
将大于预设轮廓阈值的多个所述轮廓相似度值对应的所述样本图像,作为第一样本图像;
获取每个所述第二单元格图像的第二位置信息,并计算每个所述第二位置信息对应的所述第二单元格图像与每个样本单元格图像之间的位置相似度,得到多个位置相似度值,所述样本单元格图像为所述样本图像中每个单元格对应的图像;
对每个所述第一样本图像中的所有所述样本单元格图像的位置相似度值求和,得到多个总相似度值;
将最大所述总相似度值对应的所述第一样本图像作为所述目标样本图像,并获取所述目标样本图像中的参数信息作为所述目标参数信息。
在本发明可选地一实施例中,所述基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,包括:
基于所述目标样本图像中的多个样本单元格图像的位置信息,将所述第二单元格图像与在所述目标样本图像中位置相同的所述样本单元格图像一一对应;
将每个所述第二单元格图像内的文本信息填写至与每个所述第二单元格图像对应的所述样本单元格内;
基于所述第二单元格图像与所述样本单元格图像之间的对应关系,将所述目标参数信息依次与多个所述文本信息进行组合,得到多个信息对;
将包含多个所述信息对的所述目标样本图像作为所述数据录入结果。
在本发明可选地一实施例中,所述样本图像是从包含多种不同类型表格图像的模板数据库中获取的,所述模板数据库是通过以下方法建立的:
获取待录入图像,所述待录入图像包含多个不同类型的表格图像;
依次对所述待录入图像进行灰度化处理和二值化处理,得到待录入形态图像及所述待录入图像的轮廓数据;
对所述待录入形态图像中的所有直线进行检测,得到所有所述直线和由所述直线组成的多个待录入单元格;
将每个所述待录入单元格对应的图像拆分为多个待录入单元格图像,并标记出每个所述待录入单元格图像对应的参数信息;
将每个所述待录入单元格图像与所述参数信息一一配对组合得到所述样本图像,将多个所述样本图像进行保存,得到所述模板数据库。
第二方面,本发明实施例提供一种油气站数据自动录入装置,包括:
获取模块,用于获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;
直线检测模块,用于对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;
拆分模块,用于将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;
文本数据识别模块,用于对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;
目标参数信息确定模块,用于计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;
数据录入结果获取模块,用于基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。
在本发明可选地一实施例中,所述获取模块包括:
图像获取子模块,用于获取待识别图像,所述待识别图像包含表格目标;
检测子模块,用于对所述待识别图像中包含的表格目标进行多个顶点检测,得到所述表格目标的第一位置信息,所述第一位置信息至少包括多个顶点和每个所述顶点的坐标;
位置信息获取子模块,用于获取所述样本图像的位置信息,所述样本图像的位置信息为第一视角下的所述样本图像的多个顶点坐标;
表格图像获取子模块,用于基于所述样本图像的位置信息,对所述表格目标的第一位置信息进行调整处理,得到所述表格图像,所述表格图像与所述样本图像的尺寸相同。
在本发明可选地一实施例中,所述直线检测模块包括:
转换子模块,用于将所述表格图像从所述第一颜色空间转换为第二颜色空间;
形态图像获取子模块,用于将所述表格图像转换为二值图,并对所述二值图进行至少一次形态处理以消除所述二值图中的噪声,得到形态图像,所述形态图像至少包括第一类像素点;
轮廓数据获取子模块,用于将所述形态图像中的所有第一类像素点进行连接,得到所述表格图像的轮廓数据,所述轮廓数据为构成所述表格图像的直线方向和直线长度;
位置信息获取子模块,用于对所述形态图像中的多个所述直线进行检测,得到多个所述直线的位置信息;
第一单元格获取子模块,用于基于所述轮廓数据和多个所述直线的位置信息,将多个所述直线组成多个所述单元格;
第一单元格图像获取子模块,用于将多个所述单元格,以及多个所述单元格对应的所述表格图像内的区域进行组合,得到所述第一单元格图像。
在本发明可选地一实施例中,所述拆分模块包括:
建立子模块,用于以所述第一单元格图像的任一顶点作为坐标原点,建立直角坐标系;
第二位置信息获取子模块,用于基于所述直角坐标系,获取所述第一单元格图像中每个所述单元格对应的多个顶点坐标,作为每个所述单元格的第二位置信息;
第二单元格图像获取子模块,用于基于每个所述单元格对应的所述第二位置信息,获取每个所述单元格在所述第一单元格图像中的图像区域,作为所述第二单元格图像。
在本发明可选地一实施例中,所述目标参数信息确定模块包括:
轮廓相似度值计算子模块,用于基于所述轮廓数据,计算所述第一单元格图像与每个所述样本图像之间的轮廓相似度,得到多个轮廓相似度值;
第一样本图像确定子模块,用于将大于预设轮廓阈值的多个所述轮廓相似度值对应的所述样本图像,作为第一样本图像;
位置相似度值计算子模块,用于获取每个所述第二单元格图像的第二位置信息,并计算每个所述第二位置信息对应的所述第二单元格图像与每个样本单元格图像之间的位置相似度,得到多个位置相似度值,所述样本单元格图像为所述样本图像中每个单元格对应的图像;
总相似度值计算子模块,用于对每个所述第一样本图像中的所有所述样本单元格图像的位置相似度值求和,得到多个总相似度值;
目标参数信息确定子模块,用于将最大所述总相似度值对应的所述第一样本图像作为所述目标样本图像,并获取所述目标样本图像中的参数信息作为所述目标参数信息。
在本发明可选地一实施例中,所述数据录入结果获取模块包括:
对应子模块,用于基于所述目标样本图像中的多个样本单元格图像的位置信息,将所述第二单元格图像与在所述目标样本图像中位置相同的所述样本单元格图像一一对应;
文本信息填写子模块,用于将每个所述第二单元格图像内的文本信息填写至与每个所述第二单元格图像对应的所述样本单元格内;
组合子模块,用于基于所述第二单元格图像与所述样本单元格图像之间的对应关系,将所述目标参数信息依次与多个所述文本信息进行组合,得到多个信息对;
数据录入结果确定子模块,用于将包含多个所述信息对的所述目标样本图像作为所述数据录入结果。
在本发明可选地一实施例中,所述油气站数据自动录入装置还包括模板数据库建立模块,所述模板数据库建立模块包括:
待录入图像获取子模块,用于获取待录入图像,所述待录入图像包含多个不同类型的表格图像;
待录入形态图像获取子模块,用于依次对所述待录入图像进行灰度化处理和二值化处理,得到待录入形态图像及所述待录入图像的轮廓数据;
第二单元格获取子模块,用于对所述待录入形态图像中的所有直线进行检测,得到所有所述直线和由所述直线组成的多个待录入单元格;
标记子模块,用于将每个所述待录入单元格对应的图像拆分为多个待录入单元格图像,并标记出每个所述待录入单元格图像对应的参数信息;
模板数据库建立子模块,用于将每个所述待录入单元格图像与所述参数信息一一配对组合得到所述样本图像,将多个所述样本图像进行保存,得到所述模板数据库。
第三方面,本发明实施例提供一种电子设备,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如上述第一方面中任一项所述的油气站数据自动录入方法。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项所述的油气站数据自动录入方法。
本发明包括以下优点:本发明实施例提供一种油气站数据自动录入方法、装置、电子设备及存储介质,通过获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。本发明实施例提供的油气站数据自动录入方法基于深度学习的模型快速获取表单文本信息,基于预设的多种样本图像(不同类型的表格图像模板),获取对应的表格模板和单元格参数信息,智能将表格图像中文字信息和参数信息进行对应,将信息对应的样本图像作为数据录入结果,该方法可以快速、高效、准确的识别并输入表格信息,极大的加快了表格信息统计进程,减少工作人员的等待时间。此外,上述油气站数据自动录入方法成本较低,可以适用于多种类型的服务器,进一步应用于多种场景进行数据自动录入。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于油气站数据自动录入方法的步骤流程示意图;
图2是本发明实施例提供的一种基于油气站数据自动录入方法的流程示意图;
图3是本发明实施例提供的一种基于模板数据库建立方法的步骤流程示意图;
图4是本发明实施例提供的一种基于油气站数据自动录入装置的架构图;
图5是本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在危化品存储或特定场景下,需要对入库存储物品表单进行信息录入,针对现有表单信息的录入工作,通常采用工作人员手动打字输入的方式,将表单信息中的文本内容输入至应用软件中,再通过应用软件传输至数据库中,实现表单信息的录入工作。
人工录入表单信息的方法存在几个方面的问题:1)准确性无从考证,员工可能因为长时间工作个人疏忽,导致信息填报错误,导致数据信息错误出现不必要的经济损失;2)录入效率低下,人工填写需要花费较长时间输入,输入完成后要保证数据信息正确,需要多次核实信息,导致效率低下,不核实,会出现数据错误的可能。
由于人工智能的快速发展,已将人工智能应用于多种图像识别和文字识别的场景中,本发明通过结合人工智能的识别方式提出一种油气站数据自动录入方法,以至少解决部分人工录入表单信息带来的问题。
本发明实施例第一方面提供一种油气站数据自动录入方法,参阅图1,图1为本发明实施例提供的一种基于油气站数据自动录入方法的步骤流程示意图,所述油气站数据自动录入方法包括以下步骤:
步骤101:获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;
步骤102:对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;
步骤103:将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;
步骤104:对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;
步骤105:计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;
步骤106:基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。
为了使本领域技术人员更好的理解本发明提供的一种油气站数据自动录入方法,图2示出了本发明实施例提供的一种基于油气站数据自动录入方法的流程示意图,接下来结合图2,对该方案进行详细阐述:
具体实施步骤101时,通过获取危险场景或其他特定场景下需要录入数据的表单图像数据作为待识别图像,并对所述待识别图像进行尺寸变换调整等处理,得到所述表格图像,且所述表格图像中至少包括一个单元格。上述危险场景或特定场景可以为加油站场景、加气站场景、油库场景、危化品入库场景等。上述待识别图像中包含运送人员的身份信息、入库物品信息、入库时间、签收人员等文本信息,且每个上述文本信息均对应一个单独的单元格。本发明实施例中提供的表格图像举例并不对上述表格图像做任何限定,仅做说明示意,上述表格图像可以是任何实际需要的表格图像,在此不做赘述。
具体地,首先获取包含表格目标的待识别图像,可以预先设置固定的图像采集设备采集所述待识别图像,所述待识别图像中包含表格目标,所述表格目标由多个单元格组成。在本发明实施例中,所述图像采集设备可以为高清防爆摄像头、高清防爆平板等,其中高清防爆摄像头至少为200万像素(1920*1080)的高清摄像头,设置摄像头的大于1米且小于10米,ipx6级防水级别,以适应上述危险场景或特定场景的图像采集需求。
然后,对所述待识别图像中包含的所述表格目标的多个顶点进行检测,例如,所述顶点可以为表格目标的左上角顶点、右上角顶点、左下角顶点和右下角顶点,并获取多个上述顶点对应的坐标。将检测得到的多个顶点和多个顶点坐标作为所述表格目标的第一位置信息。
在得到表格目标的第一位置信息之后,获取第一视角下样本图像的多个顶点坐标作为所述样本图像的位置信息,所述样本图像为包含多种不同类型表格图像的模板数据库中的图像,所述第一视角为图像采集设备位于表格图像的正上方拍摄,该视角即为第一视角。
进而基于所述样本图像的位置信息,对所述表格目标的第一位置信息进行调整处理,得到所述表格图像,以样本图像的位置信息为基准,对所述表格目标的第一位置信息进行透视变换处理、缩放处理、平移处理、旋转处理等操作。示例性地,当所述调整处理为透视变换处理的情况下,表格目标的第一位置信息中包含的多个顶点以及顶点对应的多个顶点坐标分别为左上角顶点A1(X1,Y1),右上角顶点B1(X2,Y2),左下角顶点C1(X3,Y3),右下角顶点D1(X4,Y4),样本图像的位置信息中包含的多个顶点以及顶点对应的多个顶点坐标分别为左上角顶点A2(X5,Y5),右上角顶点B2(X6,Y6),左下角顶点C2(X7,Y7),右下角顶点D2(X8,Y8),以样本图像的顶点A2为起点,顶点B2、C2和D2为边界点,对表格目标的多个顶点A1、B1、C1和D1计算变换矩阵M,将变换矩阵M传递给cv2.warpPerspective()函数(图像透视变换函数),该函数将透视变换应用于表格目标得到透视变换后的表格图像。经过上述调整处理的表格图像和所述样本图像的尺寸相同。
具体实施步骤102时,对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像,所述表格图像为第一颜色空间的图像,通过计算机视觉技术获取所述表格图像的轮廓数据时,需要对所述表格图像进行颜色空间的转换,使其变换为只有两种像素值的二值图,然后提取表格图像对应的轮廓数据。具体地,首先将所述表格图像从所述第一颜色空间转换为第二颜色空间,所述第一颜色空间可以为RGB颜色空间(RGB颜色空间标识每个像素由三个通道组成,每个通道代表一种颜色,R为red红色,G为green绿色,B为blue蓝色),所述第二颜色空间可以为GARY颜色空间(GRAY色彩空间即灰度图像的色彩空间,在像素数组中,可以是从0到255的256个数字,每个数值表示从黑变白的颜色深浅程度,0表示纯黑色,255表示纯白色,数值越大越趋于白色)。
进而将第二颜色空间的表格图像转换为二值图,所述二值图中像素点对应的像素值为0或255,当像素值为0时呈现黑色,当像素值为255时呈现白色,并对所述二值图进行至少一次形态处理以消除所述二值图中的噪声,所述形态处理可以为腐蚀处理、膨胀处理等操作,通过形态处理可以消除所述二值图上存在的多余噪声,去除孤立的白点或白线,以得到轮廓清晰的形态图像。示例性地,本发明实施例中采用opencv工具库中的膨胀处理函数(cv2.dilate())和腐蚀处理函数(cv2.erode()),可以先对所述表格图像进行腐蚀处理,再进行膨胀处理的开运算,也可以对所述表格图像先进行膨胀处理,再进行腐蚀处理的闭运算。所述形态图像中包含第一类像素点和第二类像素点,在本发明实施例中,第一类像素点为像素值为255的所有像素点,第二类像素点为像素值为0的所有像素点;将所有形态图像中的所有第一类像素点进行连接,得到连接的直线,将连接得到的直线长度和直线方向作为表格图像中的轮廓数据。在本发明实施例中,可以通过OSTU(最大类间方差法,是一种二值化图像算法)对所述第二颜色空间的表格图像进行二值化处理,得到二值图。本发明实施例中提供的OSTU并不对上述二值化处理方式做任何限定,仅做说明示意,上述二值化处理方式可以是任何实际需要的方法,在此不做赘述。
由于通过二值图获取表格图像的轮廓数据不能完整的将组成所述表格图像中的所有单元格的直线检测出来,在本发明实施例中为解决该问题,通过对所述形态图像中的多个直线进行检测,得到所述形态图像中的所有直线的位置。本发明实施例优选霍夫直线检测以获取所述形态图像中的所有直线的位置,此处霍夫直线检测的方法与现有技术中的相同,不再赘述。
基于检测得到的轮廓数据和多个直线的位置信息,将所有直线组成多个单元格,将多个单元格和多个所述单元格对应的表格图像内的区域进行组合,得到所述第一单元格图像,所述第一单元格图像中的多个单元格和所述表格图像中的多个单元格尺寸相同。
具体实施步骤103时,由于获取的所述第一单元格图像中包含的单元格有多个,对上述表格目标中包含的文本进行识别后得到的文本信息不能和每个单独的单元格一一进行组合。为解决上述问题,本发明实施例先将上述第一单元格图像中包含的所有单元格图像进行拆分,然后对每个单独的单元格图像进行文本识别。
具体地,首先以所述第一单元格图像的任一顶点作为坐标原点,以该顶点相连的第一单元格图像中的直线建立直角坐标系。例如,可以以左上角顶点、右上角顶点、左下角顶点和右下角顶点中的任一顶点为坐标原点,建立直角坐标系;通过所述直角坐标系,获取所述第一单元格图像中每个所述单元格对应的多个顶点坐标,作为每个所述单元格对应的第二位置信息。例如,当所述第一表格图像P1中包含单元格①、②、③和④的情况下(参阅图2),以单元格①的左上角顶点作为坐标原点建立直角坐标系,分别获取单元格①、②、③和④对应的顶点坐标,以单元格①为例进行说明,单元格①的第二位置信息W1包括多个顶点坐标:左上角顶点a(xa,ya),右上角顶点b(xb,yb),左下角顶点c(xc,yc),右下角顶点d(xd,yd),单元格②、③和④的第二位置信息W2、W3和W4也根据建立的直角坐标系获取,此处不再赘述。
通过每个所述单元格对应的多个顶点坐标可以确定出每个单元格对应的第一单元格图像中的图像区域,通过每个所述单元格在所述第一单元格图像中的图像区域获取所述第二单元格图像。示例性地,以单元格①为例进行说明,单元格①的第二位置信息包括左上角顶点a(xa,ya),右上角顶点b(xb,yb),左下角顶点c(xc,yc),右下角顶点d(xd,yd),通过单元格①的第二位置信息可以确定出单元格①在第一单元格图像中的位置区域,并将该区域提取出来作为单元格①对应的单元格图像,该单元格图像即为单元格①对应的第二单元格图像,单元格②、③和④对应的第二单元格图像的方法也按照上述方法获取,此处不再赘述。
具体实施步骤104时,由于第一单元格图像中包含至少一个单元格,将第一单元格图像中每个单元格对应的图像进行拆分后,得到至少一个单元格对应的第二单元格图像。每个第二单元格图像内均包含了该单元格图像对应的文本数据,通过对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息,上述文本数据的识别过程可以通过OCR识别获取得到,这是由于OCR(Optical CharacterRecognition,光学字符识别)是一种通过电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的方法。示例性地,以单元格①对应的第二单元格图像为例进行说明,该图像内的文本数据为“张XX”,通过OCR识别可以得到“张XX”作为单元格①对应的第二单元格图像的文本信息,同理可以获得单元格②对应的第二单元格图像的文本信息“120…778”,单元格③对应的第二单元格图像的文本信息“石油”,单元格④对应的第二单元格图像的文本信息“30桶”。
具体实施步骤105时,当获取得到表格图像对应的第一单元格图像,以及表格图像中每个单元格包含的文本信息后,本发明实施例通过对第一单元格图像与模板数据库中样本图像之间的单元格相似度进行计算,其中,所述样本图像是从包含不同类型表格图像的模板数据库中获取的,以将第一单元格图像与模板数据库中某种表格类型的样本图像进行匹配,将最大单元格相似度的样本图像作为第一单元格图像匹配的目标样本图像,并将目标样本图像对应的参数信息作为目标参数信息,将该目标参数信息用于后续对单元格的文本信息进行匹配,以对单元格文本信息属性进行正确分类匹配。
具体地,首先通过第一单元格图像的轮廓数据,计算第一单元格图像和每个样本图像之间的轮廓相似度,得到多个轮廓相似度值,预先设置轮廓阈值,将大于预设轮廓阈值的轮廓相似度值筛选出来,并大于预设轮廓阈值的多个轮廓相似度值对应的多个样本图像作为第一样本图像。例如,所述预设轮廓阈值可以设置为0.6、0.7等,本申请实施例并不对此进行限制,以实际需求为准进行设置。
然后获取所有第二单元格图像对应的第二位置信息(获取每个所述第二单元格图像的第二位置信息的方法具体参见具体实施步骤103,此处不再赘述),基于所述第二位置信息,计算每个所述第二位置信息对应的所述第二单元格图像与每个样本单元格图像之间的位置相似度,得到多个位置相似度值,其中,所述样本单元格图像为所述样本图像中每个单元格对应的图像。将每个所述第一样本图像中的所有所述样本单元格图像的位置相似度值进行求和处理,得到每个第一样本图像对应的总相似度值,将最大所述总相似度值对应的所述第一样本图像作为所述目标样本图像,并获取所述目标样本图像中的参数信息作为所述目标参数信息。
示例性地,当模板数据库中包含不同类型的样本图像十张,以第一表格图像P1为例进行说明,将第一表格图像P1的轮廓数据与上述十张样本图像的轮廓数据进行相似度计算,得到轮廓相似度值0.1、0.3、0.5、0.9、0.7、0.55、0.34、0.67、0.55、0.88,将大于预设轮廓阈值0.6的轮廓相似度值0.9、0.7、0.67、0.88对应的样本图像作为第一样本图像;获取第一表格图像P1中所有第二位置信息W1、W2、W3和W4,计算每个第二位置信息对应的第二单元格图像与第一样本图像中对应的样本单元格图像的位置相似度,对每个第一样本图像中的所有样本单元格图像的位置相似度值求和,得到多个总相似度值0.95、0.3、0.7、0.5,将最大总相似度值0.95对应的第一样本图像作为目标样本图像,并获取其中的参数信息作为目标参数信息,目标样本图像包含4个单元格,分别对应的参数信息从左上单元格依次往右分别为姓名、身份证号,从左下单元格依次往右对应的参数信息分别为入库物品信息、入库物品数量(参阅图2)。
具体实施步骤106时,在得到相似度最高的目标样本图像和目标样本图像对应的目标参数信息后,需要将所有第二单元格图像中的文本信息与上述目标参数信息进行匹配,以使每个样本单元格的文本信息和目标参数信息一一对应,将对应后的文本信息和目标参数信息以及目标样本图像作为数据录入结果,完成表格图像数据的数据录入。
具体地,首先基于所述目标样本图像中的多个样本单元格图像的位置信息,将所述第二单元格图像与在所述目标样本图像中位置相同的所述样本单元格图像一一对应,然后将每个所述第二单元格图像内的文本信息填写至与每个所述第二单元格图像对应的所述样本单元格内,进而基于所述第二单元格图像与所述样本单元格图像之间的对应关系,将所述目标参数信息依次与多个所述文本信息进行组合,得到多个信息对,将包含多个所述信息对的所述目标样本图像作为所述数据录入结果。
示例性地,从模板数据库获取目标样本图像中每个样本单元格的位置信息,将第一表格图像P1中每个第二单元格图像与在目标样本图像中位置相同的样本单元格图像一一对应,将文本信息“张XX”、“120…778”、“石油”和“30桶”依次填写至第二单元格图像对应的样本单元格内,将样本单元格对应的目标参数信息与文本信息组合,得到多个信息对“姓名-张XX”、“身份证号-120…778”、“入库物品信息-石油”和“入库物品数量-30桶”,将上述多个信息对和目标样本图像作为数据录入结果。
在本发明可选地一实施例中,所述样本图像是从包含多种不同类型表格图像的模板数据库中获取的,参阅图3,图3是本发明实施例提供的一种基于模板数据库建立方法的步骤流程示意图,所述模板数据库是通过以下步骤建立的:
步骤301:获取待录入图像,所述待录入图像包含多个不同类型的表格图像;
步骤302:依次对所述待录入图像进行灰度化处理和二值化处理,得到待录入形态图像及所述待录入图像的轮廓数据;
步骤303:对所述待录入形态图像中的所有直线进行检测,得到所有所述直线和由所述直线组成的多个待录入单元格;
步骤304:将多个所述单元格对应的图像拆分为多个待录入单元格图像,并标记出每个所述待录入单元格图像对应的参数信息;
步骤305:将每个所述待录入单元格图像与所述参数信息一一配对组合得到所述样本图像,将多个所述样本图像进行保存,得到所述模板数据库。
具体实施步骤301时,获取多个不同类型的单元格图像作为待录入图像,且所述待录入图像均为第一视角下的表格图像。当获取的单元格图像不是第一视角的情况下,需要对该类型的单元格图像进行尺寸调整等处理,可以为对所述单元格图像的位置信息进行透视变换处理、缩放处理、平移处理、旋转处理等操作,使该非第一视角下的单元格图像转换为与第一视角下的单元格图像后,再对该第一视角下的单元格图像进行轮廓数据的获取。
具体实施步骤302时,所述待录入图像为第一颜色空间的图像,上述灰度化处理为将待录入图像从第一颜色空间转换为第二颜色空间,所述第一颜色空间可以为RGB三颜色空间,所述第二颜色空间可以为GARY颜色空间,上述二值化处理为将第二颜色空间的待录入图像转换为二值图,依次对待录入图像进行灰度化处理和二值化处理后,得到待录入形态图像和待录入图像的轮廓数据,所述轮廓数据为所述待录入图像中组成表格目标的直线长度和直线方向等信息。实施步骤302的具体操作和上述实施步骤102的操作相同,具体参见上述实施步骤102处的详细描述,此处不再赘述。
具体实施步骤303时,对所述待录入图像中的所有直线进行检测,得到所有直线的位置信息,所述直线的位置信息包括待录入图像中的直线的方向、长度等信息,基于上述待录入图像的轮廓数据和所述直线的位置信息,组合得到所述待录入图像的多个待录入单元格。所述待录入单元格与所述样本单元格的尺寸相同。实施步骤303的具体操作和上述实施步骤103的操作相同,具体参见上述实施步骤103处的详细描述,此处不再赘述。
具体实施步骤304时,将多个所述单元格对应的待录入图像中的图像进行拆分,得到多个待录入单元格图像,上述拆分可以为对所述图像进行裁剪、抠取等处理,本发明实施例并不对此进行限制,仅以实际可实施为准。然后,对每个所述待录入图像中的参数信息进行标记。所述待录入单元格图像与所述样本单元格图像的尺寸相同。示例性地,当待录入图像为第一视角下的单元格图像时,该待录入图像包括四个单元格,通过步骤202、步骤203和步骤204的处理之后,可以得到上述单元格对应的四个待录入单元格图像Ⅰ、Ⅱ、Ⅲ和Ⅳ,当待录入单元格图像Ⅰ的参数信息为“姓名”的情况下,将待录入单元格图像Ⅰ的参数信息标记为“姓名”,依次对待录入单元格图像Ⅱ、Ⅲ和Ⅳ的参数信息进行标记,依次标记为“身份证号”、“入库物品信息”和“入库物品数量”。
具体实施步骤305时,将每个所述待录入单元格图像与所述每个待录入单元格图像的参数信息一一配对组合得到所述样本图像,将多个所述样本图像进行保存,得到所述模板数据库。将每种表格类型的表格图像依次进行上述步骤301至步骤305的操作,将最终所有表格图像的样本图像保存至模板数据库中。当需要更新模板数据库中的样本图像的情况下,采用上述步骤301至步骤305的操作对需更新的单元格图像进行对应处理并保存即可。
本发明实施例提供一种油气站数据自动录入方法,通过获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。本发明实施例提供的油气站数据自动录入方法基于深度学习的模型快速获取表单文本信息,基于预设的多种样本图像(不同类型的表格图像模板),获取对应的表格模板和单元格参数信息,智能将表格图像中文字信息和参数信息进行对应,将信息对应的样本图像作为数据录入结果,该方法可以快速、高效、准确的识别并输入表格信息,极大的加快了表格信息统计和录入进程,减少工作人员的等待时间以及压力。此外,上述油气站数据自动录入方法成本较低,可以适用于多种类型的服务器,进一步应用于多种场景进行数据自动录入。
基于上述第一方面同一发明构思,在本发明的实施例中还提供一种油气站数据自动录入装置,参阅图4,图4为本发明实施例提供的一种基于油气站数据自动录入装置的架构图,所述油气站数据自动录入装置包括:
获取模块401,用于获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;
直线检测模块402,用于对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;
拆分模块403,用于将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;
文本数据识别模块404,用于对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;
目标参数信息确定模块405,用于计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;
数据录入结果获取模块406,用于基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。
其中,所述获取模块包括:
图像获取子模块,用于获取待识别图像,所述待识别图像包含表格目标;
检测子模块,用于对所述待识别图像中包含的表格目标进行多个顶点检测,得到所述表格目标的第一位置信息,所述第一位置信息至少包括多个顶点和每个所述顶点的坐标;
位置信息获取子模块,用于获取所述样本图像的位置信息,所述样本图像的位置信息为第一视角下的所述样本图像的多个顶点坐标;
表格图像获取子模块,用于基于所述样本图像的位置信息,对所述表格目标的第一位置信息进行调整处理,得到所述表格图像,所述表格图像与所述样本图像的尺寸相同。
其中,所述直线检测模块包括:
转换子模块,用于将所述表格图像从所述第一颜色空间转换为第二颜色空间;
形态图像获取子模块,用于将所述表格图像转换为二值图,并对所述二值图进行至少一次形态处理以消除所述二值图中的噪声,得到形态图像,所述形态图像至少包括第一类像素点;
轮廓数据获取子模块,用于将所述形态图像中的所有第一类像素点进行连接,得到所述表格图像的轮廓数据,所述轮廓数据为构成所述表格图像的直线方向和直线长度;
位置信息获取子模块,用于对所述形态图像中的多个所述直线进行检测,得到多个所述直线的位置信息;
第一单元格获取子模块,用于基于所述轮廓数据和多个所述直线的位置信息,将多个所述直线组成多个所述单元格;
第一单元格图像获取子模块,用于将多个所述单元格,以及多个所述单元格对应的所述表格图像内的区域进行组合,得到所述第一单元格图像。
其中,所述拆分模块包括:
建立子模块,用于以所述第一单元格图像的任一顶点作为坐标原点,建立直角坐标系;
第二位置信息获取子模块,用于基于所述直角坐标系,获取所述第一单元格图像中每个所述单元格对应的多个顶点坐标,作为每个所述单元格的第二位置信息;
第二单元格图像获取子模块,用于基于每个所述单元格对应的所述第二位置信息,获取每个所述单元格在所述第一单元格图像中的图像区域,作为所述第二单元格图像。
其中,所述目标参数信息确定模块包括:
轮廓相似度值计算子模块,用于基于所述轮廓数据,计算所述第一单元格图像与每个所述样本图像之间的轮廓相似度,得到多个轮廓相似度值;
第一样本图像确定子模块,用于将大于预设轮廓阈值的多个所述轮廓相似度值对应的所述样本图像,作为第一样本图像;
位置相似度值计算子模块,用于获取每个所述第二单元格图像的第二位置信息,并计算每个所述第二位置信息对应的所述第二单元格图像与每个样本单元格图像之间的位置相似度,得到多个位置相似度值,所述样本单元格图像为所述样本图像中每个单元格对应的图像;
总相似度值计算子模块,用于对每个所述第一样本图像中的所有所述样本单元格图像的位置相似度值求和,得到多个总相似度值;
目标参数信息确定子模块,用于将最大所述总相似度值对应的所述第一样本图像作为所述目标样本图像,并获取所述目标样本图像中的参数信息作为所述目标参数信息。
其中,所述数据录入结果获取模块包括:
对应子模块,用于基于所述目标样本图像中的多个样本单元格图像的位置信息,将所述第二单元格图像与在所述目标样本图像中位置相同的所述样本单元格图像一一对应;
文本信息填写子模块,用于将每个所述第二单元格图像内的文本信息填写至与每个所述第二单元格图像对应的所述样本单元格内;
组合子模块,用于基于所述第二单元格图像与所述样本单元格图像之间的对应关系,将所述目标参数信息依次与多个所述文本信息进行组合,得到多个信息对;
数据录入结果确定子模块,用于将包含多个所述信息对的所述目标样本图像作为所述数据录入结果。
其中,所述油气站数据自动录入装置还包括模板数据库建立模块,所述模板数据库建立模块包括:
待录入图像获取子模块,用于获取待录入图像,所述待录入图像包含多个不同类型的表格图像;
待录入形态图像获取子模块,用于依次对所述待录入图像进行灰度化处理和二值化处理,得到待录入形态图像及所述待录入图像的轮廓数据;
第二单元格获取子模块,用于对所述待录入形态图像中的所有直线进行检测,得到所有所述直线和由所述直线组成的多个待录入单元格;
标记子模块,用于将每个所述待录入单元格对应的图像拆分为多个待录入单元格图像,并标记出每个所述待录入单元格图像对应的参数信息;
模板数据库建立子模块,用于将每个所述待录入单元格图像与所述参数信息一一配对组合得到所述样本图像,将多个所述样本图像进行保存,得到所述模板数据库。
基于上述第一方面同一发明构思,本发明实施例公开了一种电子设备,图5示出了本发明实施例公开的一种电子设备示意图,如图5所示,电子设备100包括:存储器110和处理器120,所述电子设备的存储器不少于12G,处理器主频不低于2.4GHz,存储器110与处理器120之间通过总线通信连接,存储器110中存储有计算机程序,该计算机程序可在处理器120上运行,以实现本发明实施例公开的一种油气站数据自动录入方法。
基于上述第一方面同一发明构思,本发明实施例公开了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现本发明实施例公开的一种油气站数据自动录入方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种油气站数据自动录入方法、装置、电子设备及存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种油气站数据自动录入方法,其特征在于,所述方法包括:
获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;
对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;
将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;
对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;
计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;
基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。
2.根据权利要求1所述的油气站数据自动录入方法,其特征在于,所述获取表格图像,包括:
获取待识别图像,所述待识别图像包含表格目标;
对所述待识别图像中包含的表格目标进行多个顶点检测,得到所述表格目标的第一位置信息,所述第一位置信息至少包括多个顶点和每个所述顶点的坐标;
获取所述样本图像的位置信息,所述样本图像的位置信息为第一视角下的所述样本图像的多个顶点坐标;
基于所述样本图像的位置信息,对所述表格目标的第一位置信息进行调整处理,得到所述表格图像,所述表格图像与所述样本图像的尺寸相同。
3.根据权利要求1所述的油气站数据自动录入方法,其特征在于,所述表格图像为第一颜色空间的图像,所述对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像,包括:
将所述表格图像从所述第一颜色空间转换为第二颜色空间;
将所述表格图像转换为二值图,并对所述二值图进行至少一次形态处理以消除所述二值图中的噪声,得到形态图像,所述形态图像至少包括第一类像素点;
将所述形态图像中的所有第一类像素点进行连接,得到所述表格图像的轮廓数据,所述轮廓数据为构成所述表格图像的直线方向和直线长度;
对所述形态图像中的多个所述直线进行检测,得到多个所述直线的位置信息;
基于所述轮廓数据和多个所述直线的位置信息,将多个所述直线组成多个所述单元格;
将多个所述单元格,以及多个所述单元格对应的所述表格图像内的区域进行组合,得到所述第一单元格图像。
4.根据权利要求1所述的油气站数据自动录入方法,其特征在于,所述将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像,包括:
以所述第一单元格图像的任一顶点作为坐标原点,建立直角坐标系;
基于所述直角坐标系,获取所述第一单元格图像中每个所述单元格对应的多个顶点坐标,作为每个所述单元格的第二位置信息;
基于每个所述单元格对应的所述第二位置信息,获取每个所述单元格在所述第一单元格图像中的图像区域,作为所述第二单元格图像。
5.根据权利要求1所述的油气站数据自动录入方法,其特征在于,所述计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,包括:
基于所述轮廓数据,计算所述第一单元格图像与每个所述样本图像之间的轮廓相似度,得到多个轮廓相似度值;
将大于预设轮廓阈值的多个所述轮廓相似度值对应的所述样本图像,作为第一样本图像;
获取每个所述第二单元格图像的第二位置信息,并计算每个所述第二位置信息对应的所述第二单元格图像与每个样本单元格图像之间的位置相似度,得到多个位置相似度值,所述样本单元格图像为所述样本图像中每个单元格对应的图像;
对每个所述第一样本图像中的所有所述样本单元格图像的位置相似度值求和,得到多个总相似度值;
将最大所述总相似度值对应的所述第一样本图像作为所述目标样本图像,并获取所述目标样本图像中的参数信息作为所述目标参数信息。
6.根据权利要求1所述的油气站数据自动录入方法,其特征在于,所述基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,包括:
基于所述目标样本图像中的多个样本单元格图像的位置信息,将所述第二单元格图像与在所述目标样本图像中位置相同的所述样本单元格图像一一对应;
将每个所述第二单元格图像内的文本信息填写至与每个所述第二单元格图像对应的所述样本单元格内;
基于所述第二单元格图像与所述样本单元格图像之间的对应关系,将所述目标参数信息依次与多个所述文本信息进行组合,得到多个信息对;
将包含多个所述信息对的所述目标样本图像作为所述数据录入结果。
7.根据权利要求1所述的油气站数据自动录入方法,其特征在于,所述样本图像是从包含多种不同类型表格图像的模板数据库中获取的,所述模板数据库是通过以下方法建立的:
获取待录入图像,所述待录入图像包含多个不同类型的表格图像;
依次对所述待录入图像进行灰度化处理和二值化处理,得到待录入形态图像及所述待录入图像的轮廓数据;
对所述待录入形态图像中的所有直线进行检测,得到所有所述直线和由所述直线组成的多个待录入单元格;
将每个所述待录入单元格对应的图像拆分为多个待录入单元格图像,并标记出每个所述待录入单元格图像对应的参数信息;
将每个所述待录入单元格图像与所述参数信息一一配对组合得到所述样本图像,将多个所述样本图像进行保存,得到所述模板数据库。
8.一种油气站数据自动录入装置,其特征在于,包括:
获取模块,用于获取表格图像,所述表格图像为油气站数据表格的图像,所述表格图像至少包括一个单元格;
直线检测模块,用于对所述表格图像进行直线检测,得到所述表格图像的轮廓数据和第一单元格图像;
拆分模块,用于将所述第一单元格图像中所有单元格对应的图像进行拆分,得到多个第二单元格图像;
文本数据识别模块,用于对多个所述第二单元格图像中包含的文本数据进行识别,得到多个所述第二单元格图像对应的文本信息;
目标参数信息确定模块,用于计算所述第一单元格图像与多个样本图像之间的单元格相似度,确定目标样本图像,将所述目标样本图像的参数信息作为目标参数信息,所述参数信息为所述样本图像中每个样本单元格的属性信息,所述目标样本图像为最大单元格相似度对应的样本图像;
数据录入结果获取模块,用于基于所述目标样本图像中多个所述样本单元格的位置信息,将所述文本信息填写至所述目标样本图像中每个所述样本单元格处,作为数据录入结果,所述目标样本图像中的每个所述样本单元格的所述文本信息和所述目标参数信息一一对应。
9.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-7中任一项所述的油气站数据自动录入方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的油气站数据自动录入方法。
CN202311743951.3A 2023-12-19 2023-12-19 油气站数据自动录入方法、装置、电子设备及存储介质 Active CN117454859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311743951.3A CN117454859B (zh) 2023-12-19 2023-12-19 油气站数据自动录入方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311743951.3A CN117454859B (zh) 2023-12-19 2023-12-19 油气站数据自动录入方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117454859A true CN117454859A (zh) 2024-01-26
CN117454859B CN117454859B (zh) 2024-04-02

Family

ID=89595163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311743951.3A Active CN117454859B (zh) 2023-12-19 2023-12-19 油气站数据自动录入方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117454859B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577817A (zh) * 2012-07-24 2014-02-12 阿里巴巴集团控股有限公司 表单识别方法与装置
CN106407883A (zh) * 2016-08-10 2017-02-15 北京工业大学 一种复杂表格及其内部手写数字识别方法
CN111144081A (zh) * 2019-12-10 2020-05-12 东软集团股份有限公司 表单生成方法、装置、存储介质及电子设备
CN112052186A (zh) * 2020-10-10 2020-12-08 腾讯科技(深圳)有限公司 目标检测方法、装置、设备以及存储介质
CN112200117A (zh) * 2020-10-22 2021-01-08 长城计算机软件与系统有限公司 表格识别方法及装置
CN112445849A (zh) * 2020-11-27 2021-03-05 深圳前海微众银行股份有限公司 一种报表分析方法及装置
CN114359918A (zh) * 2021-12-08 2022-04-15 上海浦东发展银行股份有限公司 提货单信息提取方法、装置及计算机设备
CN114627482A (zh) * 2022-05-16 2022-06-14 四川升拓检测技术股份有限公司 基于图像处理与文字识别实现表格数字化处理方法及系统
JP2023003887A (ja) * 2021-06-24 2023-01-17 ネットスマイル株式会社 書類画像処理システム、書類画像処理方法、および書類画像処理プログラム
CN116524527A (zh) * 2023-03-21 2023-08-01 山东浪潮科学研究院有限公司 一种表格图像文本识别方法及系统
CN116798055A (zh) * 2022-03-14 2023-09-22 北京中医药大学 表单录入方法及装置、电子设备和计算机可读介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577817A (zh) * 2012-07-24 2014-02-12 阿里巴巴集团控股有限公司 表单识别方法与装置
CN106407883A (zh) * 2016-08-10 2017-02-15 北京工业大学 一种复杂表格及其内部手写数字识别方法
CN111144081A (zh) * 2019-12-10 2020-05-12 东软集团股份有限公司 表单生成方法、装置、存储介质及电子设备
CN112052186A (zh) * 2020-10-10 2020-12-08 腾讯科技(深圳)有限公司 目标检测方法、装置、设备以及存储介质
CN112200117A (zh) * 2020-10-22 2021-01-08 长城计算机软件与系统有限公司 表格识别方法及装置
CN112445849A (zh) * 2020-11-27 2021-03-05 深圳前海微众银行股份有限公司 一种报表分析方法及装置
JP2023003887A (ja) * 2021-06-24 2023-01-17 ネットスマイル株式会社 書類画像処理システム、書類画像処理方法、および書類画像処理プログラム
CN114359918A (zh) * 2021-12-08 2022-04-15 上海浦东发展银行股份有限公司 提货单信息提取方法、装置及计算机设备
CN116798055A (zh) * 2022-03-14 2023-09-22 北京中医药大学 表单录入方法及装置、电子设备和计算机可读介质
CN114627482A (zh) * 2022-05-16 2022-06-14 四川升拓检测技术股份有限公司 基于图像处理与文字识别实现表格数字化处理方法及系统
CN116524527A (zh) * 2023-03-21 2023-08-01 山东浪潮科学研究院有限公司 一种表格图像文本识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUBHAM SINGH PALIWAL 等: "TableNet: Deep Learning Model for End-to-end Table Detection and Tabular Data Extraction from Scanned Document Images", 《2019 INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION (ICDAR)》, 3 February 2020 (2020-02-03), pages 1 - 5 *
刘兵: "表格文档图像分析方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 07, 15 July 2013 (2013-07-15), pages 138 - 1136 *

Also Published As

Publication number Publication date
CN117454859B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN110334585B (zh) 表格识别方法、装置、计算机设备和存储介质
CN109636815B (zh) 一种基于计算机视觉的金属板带产品标签信息识别方法
Elrefaei et al. Automatic electricity meter reading based on image processing
EP0807297A2 (en) Method and apparatus for separating foreground from background in images containing text
CN110675940A (zh) 病理图像标注方法、装置、计算机设备及存储介质
CN110659634A (zh) 一种基于颜色定位和字符分割的集装箱箱号定位方法
CN111598889B (zh) 均压环倾斜故障的识别方法、装置、计算机设备
CN110728687B (zh) 文件图像分割方法、装置、计算机设备和存储介质
CN110119742B (zh) 一种集装箱号的识别方法、装置及移动终端
JP2018120445A (ja) 車番認識装置
CN112686264A (zh) 数字式仪表读数方法、装置、计算机设备和存储介质
CN113592886A (zh) 建筑图纸的审图方法、装置、电子设备及介质
CN111553176B (zh) 一种适用于变电站屏柜接线的无线传输检查方法及系统
CN115880566A (zh) 一种基于视觉分析的智能阅卷系统
US11906441B2 (en) Inspection apparatus, control method, and program
CN117454859B (zh) 油气站数据自动录入方法、装置、电子设备及存储介质
CN110991434B (zh) 自助终端证件识别方法及装置
CN104077562B (zh) 一种答卷的扫描方向判断方法
CN113076795A (zh) 一种带印章的表格协议书图像自动审核方法
KR20170010753A (ko) 부호의 광학적 검출 방법
CN110378337B (zh) 金属切削刀具图纸标识信息视觉输入方法及系统
CN111507119A (zh) 标识码识别方法、装置、电子设备及计算机可读存储介质
CN112288372B (zh) 一种可同时识别一维条码和三段码字符的快递单识别方法
CN113554024A (zh) 一种车辆的清洁度的确定方法、装置及计算机设备
CN115393855A (zh) 一种车牌产品质量检测方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant