CN112434665A - 一种基于机器学习智能识别图像中财务数据的方法及装置 - Google Patents
一种基于机器学习智能识别图像中财务数据的方法及装置 Download PDFInfo
- Publication number
- CN112434665A CN112434665A CN202011452478.XA CN202011452478A CN112434665A CN 112434665 A CN112434665 A CN 112434665A CN 202011452478 A CN202011452478 A CN 202011452478A CN 112434665 A CN112434665 A CN 112434665A
- Authority
- CN
- China
- Prior art keywords
- blob
- image
- financial data
- row
- blobs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000010801 machine learning Methods 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 abstract description 7
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000013075 data extraction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
本发明涉及招标采购管理技术领域，提供一种基于机器学习智能识别图像中财务数据的方法及装置，用于解决招标文件中财务数据提取困难的问题。本发明提供的基于机器学习智能识别图像中财务数据的方法，包括：获取投标文件的图像；识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。神经网络经过训练可以提高财务数据提取效率，节约评标所需时间，降低招标采购成本。
Description
技术领域
本发明涉及招标采购管理技术领域，具体涉及基于机器学习智能识别图像中财务数据的方法。
背景技术
按照广电企[2019]8号文《关于印发公司深化招标管理改革任务分解表的通知》整体要求，通过利用供应商数据重构等技术实现智能推荐、风险分析与智能预警，保证招标采购遴选供应商合规高效，防范采购过程中由于供应商自身风险导致履约、审计的风险。
评标过程中，财务数据多以表格的形式存在，数据较难提取。
发明内容
本发明解决的技术问题为招标文件中财务数据提取困难的问题，提供基于机器学习智能识别图像中财务数据的方法。
为了解决上述技术问题，本发明提供的技术方案为：
基于机器学习智能识别图像中财务数据的方法，包括：
获取投标文件的图像；
识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；
将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。
应用神经网络识别出财务数据，大度提高了识别效率和速度。
神经网络经过训练可以提高财务数据提取效率，节约评标所需时间，降低招标采购成本。
优选地，含有财务数据的区域内含有表格区域，识别出表格区域内的文字blob块；
对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；
对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；
分别计算表格的列集合和行集合；
将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；
将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。Blob为连通区域，用blob领域缩小了表格中文本块的搜索范围，大大加快了识别效率。
优选地，将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。卷积神经网络可以提高基于连通域内文字识别的效率和准确率。
优选地，所述神经网络在MatConvNet环境下搭建。
优选地，将含有财务数据的区域图像纠偏后再处理。
基于机器学习智能识别图像中财务数据的装置，包括：
图像获取模块，所述图像获取模块获取投标文件的图像；
区域图像获取模块，所述区域图像获取模块识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；
数据获取模块，所述数据获取模块将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。
优选地，还包括区域图像处理模块，所述区域图像处理模块识别出区域图像内的表格区域内的文字blob块；
对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；
对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；
分别计算表格的列集合和行集合；
将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；
将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。
优选地，所述数据获取模块将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。
优选地，所述数据获取模块在MatConvNet环境下搭建神经网络。
优选地，还包括纠偏模块，所述纠偏模块将含有财务数据的区域图像纠偏。
与现有技术相比，本发明具有的有益效果为：神经网络经过训练可以提高财务数据提取效率，节约评标所需时间，降低招标采购成本。
用blob领域缩小了表格中文本块的搜索范围，大大加快了识别效率，再采用卷积神经网络可以提高基于连通域内文字识别的效率和准确率。
附图说明
图1为基于机器学习智能识别图像中财务数据的方法的示意图。
图2为基于机器学习智能识别图像中财务数据的装置的示意图。
具体实施方式
以下实施列是对本发明的进一步说明，不是对本发明的限制。
基于机器学习智能识别图像中财务数据的方法，在本申请的一些实施例中，包括：
S100.获取投标文件的图像；
S200.识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；
S300.将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。
应用神经网络识别出财务数据，大度提高了识别效率和速度。
神经网络经过训练可以提高财务数据提取效率，节约评标所需时间，降低招标采购成本。
在本申请的一些实施例中，含有财务数据的区域图像处理包括：
含有财务数据的区域内含有表格区域，识别出表格区域内的文字blob块；
对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；
对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；
分别计算表格的列集合和行集合；
将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；
将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。
Blob为连通区域，用blob领域缩小了表格中文本块的搜索范围，大大加快了识别效率。
在本申请的一些实施例中，对blob集合进行分类前，训练blob关系分类模型，选用GNN模型，包括：
将标注数据中的每个blob与其邻近集合中的每个blob建立blob对，得到每个blob对的两种关系：是否同行、是否同列，作为ground truth；再计算每个blob对的特征；
建立两个分类器，分别用于分类是否同行、是否同行；
预测blob与邻近集合中每个blob是否同行、同列。
在本申请的一些实施例中，将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。
卷积神经网络可以提高基于连通域内文字识别的效率和准确率。
在本申请的一些实施例中，从招标文件中提取将近3000个字符进行标记，形成数据集，将数据集分为训练集和测试集，分别占数据集的70%和30%；
将训练集进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出的向量中每一维都是输入图像属于该类别的概率，其最大概率所属类别为预测类别，完成字符识别训练
在本申请的一些实施例中，所述神经网络在MatConvNet环境下搭建。
在本申请的一些实施例中，将含有财务数据的区域图像纠偏后再处理。
基于机器学习智能识别图像中财务数据的装置，在本申请的一些实施例中，包括：
图像获取模块，所述图像获取模块获取投标文件的图像；
区域图像获取模块，所述区域图像获取模块识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；
数据获取模块，所述数据获取模块将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。
在本申请的一些实施例中，还包括区域图像处理模块，所述区域图像处理模块识别出区域图像内的表格区域内的文字blob块；
对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；
对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；
分别计算表格的列集合和行集合；
将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；
将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。
在本申请的一些实施例中，所述数据获取模块将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。
在本申请的一些实施例中，所述数据获取模块在MatConvNet环境下搭建神经网络。
在本申请的一些实施例中，还包括纠偏模块，所述纠偏模块将含有财务数据的区域图像纠偏。
上列详细说明是针对本发明可行实施例的具体说明，以上实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。
Claims (10)
1.基于机器学习智能识别图像中财务数据的方法，其特征在于，包括：
获取投标文件的图像；
识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；
将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。
2.根据权利要求1所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，含有财务数据的区域内含有表格区域，识别出表格区域内的文字blob块；
对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；
对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；
分别计算表格的列集合和行集合；
将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；
将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。
3.根据权利要求1所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。
4.根据权利要求2所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，所述神经网络在MatConvNet环境下搭建。
5.根据权利要求1所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，将含有财务数据的区域图像纠偏后再处理。
6.基于机器学习智能识别图像中财务数据的方法，其特征在于，包括：
图像获取模块，所述图像获取模块获取投标文件的图像；
区域图像获取模块，所述区域图像获取模块识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；
数据获取模块，所述数据获取模块将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。
7.根据权利要求6所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，还包括区域图像处理模块，所述区域图像处理模块识别出区域图像内的表格区域内的文字blob块；
对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；
对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；
分别计算表格的列集合和行集合；
将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；
将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。
8.根据权利要求7所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，所述数据获取模块将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。
9.根据权利要求6所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，所述数据获取模块在MatConvNet环境下搭建神经网络。
10.根据权利要求6所述的基于机器学习智能识别图像中财务数据的方法，其特征在于，还包括纠偏模块，所述纠偏模块将含有财务数据的区域图像纠偏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011452478.XA CN112434665A (zh) | 2020-12-12 | 2020-12-12 | 一种基于机器学习智能识别图像中财务数据的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011452478.XA CN112434665A (zh) | 2020-12-12 | 2020-12-12 | 一种基于机器学习智能识别图像中财务数据的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112434665A true CN112434665A (zh) | 2021-03-02 |
Family
ID=74692622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011452478.XA Pending CN112434665A (zh) | 2020-12-12 | 2020-12-12 | 一种基于机器学习智能识别图像中财务数据的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434665A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110249905A1 (en) * | 2010-01-15 | 2011-10-13 | Copanion, Inc. | Systems and methods for automatically extracting data from electronic documents including tables |
| CN107066599A (zh) * | 2017-04-20 | 2017-08-18 | 北京文因互联科技有限公司 | 一种基于知识库推理的相似上市公司企业检索分类方法及系统 |
| CN108596066A (zh) * | 2018-04-13 | 2018-09-28 | 武汉大学 | 一种基于卷积神经网络的字符识别方法 |
| CN111027297A (zh) * | 2019-12-23 | 2020-04-17 | 海南港澳资讯产业股份有限公司 | 一种对图像型pdf财务数据关键表格信息的处理方法 |
| CN111144300A (zh) * | 2019-12-26 | 2020-05-12 | 杭州费尔斯通科技有限公司 | 一种基于图像识别的pdf表格结构识别方法 |
-
2020
- 2020-12-12 CN CN202011452478.XA patent/CN112434665A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110249905A1 (en) * | 2010-01-15 | 2011-10-13 | Copanion, Inc. | Systems and methods for automatically extracting data from electronic documents including tables |
| CN107066599A (zh) * | 2017-04-20 | 2017-08-18 | 北京文因互联科技有限公司 | 一种基于知识库推理的相似上市公司企业检索分类方法及系统 |
| CN108596066A (zh) * | 2018-04-13 | 2018-09-28 | 武汉大学 | 一种基于卷积神经网络的字符识别方法 |
| CN111027297A (zh) * | 2019-12-23 | 2020-04-17 | 海南港澳资讯产业股份有限公司 | 一种对图像型pdf财务数据关键表格信息的处理方法 |
| CN111144300A (zh) * | 2019-12-26 | 2020-05-12 | 杭州费尔斯通科技有限公司 | 一种基于图像识别的pdf表格结构识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 谢达奇: "基于图像的印刷体表格识别系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 7, pages 138 - 676 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633007B (zh) | 一种基于层次化ap聚类的商品评论数据标签化系统和方法 | |
| Yao et al. | Traffic sign recognition using HOG-SVM and grid search | |
| CN108171184A (zh) | 基于Siamese网络的用于行人重识别的方法 | |
| CN112907595B (zh) | 一种表面缺陷检测方法及装置 | |
| CN113591866B (zh) | 基于db与crnn的特种作业证件检测方法及系统 | |
| CN114038037B (zh) | 基于可分离残差注意力网络的表情标签修正和识别方法 | |
| CN112883926B (zh) | 表格类医疗影像的识别方法及装置 | |
| CN111462752A (zh) | 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法 | |
| Pastor-López et al. | Quality assessment methodology based on machine learning with small datasets: Industrial castings defects | |
| CN104463091B (zh) | 一种基于图像lgbp特征子向量的人脸图像识别方法 | |
| CN117437647B (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
| Lian et al. | Fast and accurate detection of surface defect based on improved YOLOv4 | |
| CN113239807B (zh) | 训练票据识别模型和票据识别的方法和装置 | |
| Zhang et al. | Zero-DD: Zero-sample defect detection for industrial products | |
| CN112434665A (zh) | 一种基于机器学习智能识别图像中财务数据的方法及装置 | |
| CN111414889A (zh) | 基于文字识别的财务报表识别方法及装置 | |
| CN116522011A (zh) | 一种基于大数据的推送方法及推送系统 | |
| CN110599232A (zh) | 基于大数据的消费群体分析方法 | |
| CN115713775A (zh) | 一种从文档中提取表格的方法、系统和计算机设备 | |
| Shang et al. | RiceNet: a lightweight instance segmentation network for adhesive rice grains | |
| Phan et al. | An Integrated Approach for Table Detection and Structure Recognition | |
| CN110348521A (zh) | 图像处理聚类方法及其系统、电子设备 | |
| Anggoro et al. | Classification of Solo Batik patterns using deep learning convolutional neural networks algorithm | |
| Monteiro et al. | Deep learning recognition of a large number of pollen grain types | |
| CN110019164A (zh) | 一种异构结构化数据融合概率的计算方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |