CN112347865A - 一种基于关键点检测的票据矫正方法 - Google Patents

一种基于关键点检测的票据矫正方法 Download PDF

Info

Publication number
CN112347865A
CN112347865A CN202011135572.2A CN202011135572A CN112347865A CN 112347865 A CN112347865 A CN 112347865A CN 202011135572 A CN202011135572 A CN 202011135572A CN 112347865 A CN112347865 A CN 112347865A
Authority
CN
China
Prior art keywords
bill
data
key point
correction
point detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011135572.2A
Other languages
English (en)
Inventor
杨懿龄
刘楚雄
肖欣庭
池明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN202011135572.2A priority Critical patent/CN112347865A/zh
Publication of CN112347865A publication Critical patent/CN112347865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关键点检测的票据矫正方法，通过对真实数据进行合理的数据增强，增加训练数据关键点标注，结合高分辨率网络HR‑Net，提升了票据矫正算法模型的性能，并最终达到票据矫正的目的。

Description

一种基于关键点检测的票据矫正方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于关键点检测的票据矫正方法。
背景技术
目前，各种类型的票据数量逐渐增大，因此票据的定位矫正识别检测等一系列问题已经越来越重要。其中，票据矫正作为票据识别的先决步骤，起着至关重要的作用。目前在票据的定位矫正领域中，常用的方法包括传统图像处理方法和深度学习方法。其中，传统图像处理方法可以结合图像二值化、边缘检测等技术来定位票据；而深度学习方法可以是使用了基于卷积神经网络的方法。这些办法的具体缺陷是：传统图像处理方法对样本要求严格并且准确率低下；深度学习方法中存在着数据集过少，模型兼容性差、效果差的原因。具体缺陷的技术原因是：传统图像处理算法例如图像分割、边缘检测都是基于像素的处理，因此有效性稳定性都很差；而深度学习方法中数据集和网络结构都可能影响最终的模型性能，该方法对数据集要求很高，而获取真实的票据数据又是十分困难的，人工批量制造的票据数据集又不能完全模拟真实的票据数据；另外有的票据关键点回归模型中，数据标注的关键点过少，或者模型结构不同也会引起模型性能较差的问题。
发明内容
本发明的目的就在于为了解决当前主流票据定位矫正方法中存在着的准确率低下、算法性能较差的问题而提供一种基于关键点检测的票据矫正方法，本发明解决问题的方法技术本质是，对真实数据进行合理的数据增强，增加训练数据关键点标注，结合高分辨率网络HR-Net来共同提升票据定位矫正算法模型的性能。
本发明通过以下技术方案来实现上述目的：
一种基于关键点检测的票据矫正方法，包括以下步骤：
步骤1，数据准备
收集票据图片，并分类整理为图片数据集，在数据收集过程中，进行初步的筛选，选取较为清晰的可用的图片数据，然后使用数据标注工具对数据集进行标注，最后将数据集划分为训练集和测试集；
步骤2，矫正坐标标定
将待定位矫正的票据的关键点指定最终的矫正坐标，该矫正坐标为最终票据应处于的合理位置；
步骤3，数据集增强
对数据集进行合理增强，其做法是：遍历数据集并给定一个随机数阈值，根据生成的随机数的大小决定是否增强某一图片数据；其中，增强的方法包括缩放、旋转、平移、剪切变换；
步骤4，模型训练
使用的关键点检测网络结构是高分辨率网络HR-Net；
步骤5，模型评估
使用验证集对模型性能进行评估。根据模型评估的结果对模型进行微调，以更加契合票据数据；
步骤6，仿射变换矩阵计算及票据矫正
提取图片中的票据，并对票据的位置进行矫正。
进一步方案为，所述步骤1中，在数据集标注过程中，增加关键点个数，因此将部分票据表格线交点标记为关键点，更多的关键点有助于提高后续票据矫正的精准度。
进一步方案为，所述步骤4中，HR-Net采用将不同分辨率并行连接的结构，每一个分辨率的输出表征都会融合三个分辨率输入的表征，以保证信息的充分利用和交互。
进一步方案为，所述步骤6中，首先提取网络输出中各个关键点达到得分阈值的预测坐标，然后结合矫正坐标进行仿射变换矩阵的计算；最后根据变换矩阵对原图片进行处理，输出最终的矫正票据结果。
本发明的有益效果在于：
本发明的一种基于关键点检测的票据矫正方法，通过对真实数据进行合理的数据增强，增加训练数据关键点标注，结合高分辨率网络HR-Net，提升了票据矫正算法模型的性能，并最终达到票据矫正的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明HR-Net网络结构图；
图2为本发明结构图；
图3为矫正坐标图；
图4为数据增强过程效果图；
图5为网络输出结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
在任一实施例中，如图1-5所示，本发明的一种基于关键点检测的票据矫正方法，包括：
步骤一：数据准备
本实施例收集了增值税发票数据，首先筛选出较为清晰的可用图片数据，并对图片进行标注，一共标注了18个关键点，其分布如图3所示。然后将数据及划分为训练集和测试集。
步骤二：矫正坐标标定
本步骤为待定位矫正的票据的关键点指定最终的矫正坐标。该矫正坐标为最终票据应处于的合理位置。本实例矫正坐标如图3所示，点A-R为标定的18个矫正坐标。
步骤三：数据集增强
本步骤对数据集进行合理增强。其做法是：本实例给定了一个随机数阈值0.2，对每一轮数据集遍历都将生成一个随机数，大于阈值的图片都将进行随机增强。其中，增强的方法包括缩放、旋转、平移、剪切变换，如图4所示，图(a)，(b)，(c)，(d)，(e)分别为某一增强过程中图片数据的原图、缩放、旋转、平移和剪切变换效果。
步骤四：模型训练
将训练集导入高分辨率网络HR-Net进行训练，如图1(a)所示，HR-Net采用不同分辨率表征并行连接的结构，HR-Net一共包含四个阶段，主体为四个并行的子网，其分辨率逐渐降低到一半，相应的宽度(通道数)增加了一倍。第一阶段包含4个残差单元，每个单元都和ResNet-50一样，是由一个宽度为64的bottleneck组成，紧随其后的是一个3x3卷积特征图，第二，第三，第四阶段分别包含1、4、3个交换块。一个交换块包含4个残差单元，其中每个单元在每个分辨率中包含2个3x3的卷积，以及一个分辨率的交换单元。如图1(a)所示，虚线框内即为HR-Net的分辨率交换单元。
HR-Net的结构使得该网络的高分辨率表征的信息十分充分。经过训练后，模型将输出训练结果，图5为本实例某一数据关键点的预测结果。
步骤五：模型评估
本步骤使用验证集对模型性能进行评估。根据模型评估的结果对模型进行微调。
步骤六：仿射变换矩阵计算及票据矫正
将需要矫正的票据导入训练好的模型，获取该票据能预测出来的所有关键点坐标，然后结合步骤二中标定的校正坐标，计算该票据的仿射变换矩阵，最后根据仿射变换矩阵得到最终的票据矫正结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (4)

1.一种基于关键点检测的票据矫正方法，其特征在于，包括以下步骤：
步骤1，数据准备
收集票据图片，并分类整理为图片数据集，在数据收集过程中，进行初步的筛选，选取较为清晰的可用的图片数据，然后使用数据标注工具对数据集进行标注，最后将数据集划分为训练集和测试集；
步骤2，矫正坐标标定
将待定位矫正的票据的关键点指定最终的矫正坐标，该矫正坐标为最终票据应处于的合理位置；
步骤3，数据集增强
对数据集进行合理增强，其做法是：遍历数据集并给定一个随机数阈值，根据生成的随机数的大小决定是否增强某一图片数据；其中，增强的方法包括缩放、旋转、平移、剪切变换；
步骤4，模型训练
使用的关键点检测网络结构是高分辨率网络HR-Net；
步骤5，模型评估
使用验证集对模型性能进行评估。根据模型评估的结果对模型进行微调，以更加契合票据数据；
步骤6，仿射变换矩阵计算及票据矫正
提取图片中的票据，并对票据的位置进行矫正。
2.如权利要求1所述的一种基于关键点检测的票据矫正方法，其特征在于，所述步骤1中，在数据集标注过程中，增加关键点个数，因此将部分票据表格线交点标记为关键点，更多的关键点有助于提高后续票据矫正的精准度。
3.如权利要求1所述的一种基于关键点检测的票据矫正方法，其特征在于，所述步骤4中，HR-Net采用将不同分辨率并行连接的结构，每一个分辨率的输出表征都会融合三个分辨率输入的表征，以保证信息的充分利用和交互。
4.如权利要求1所述的一种基于关键点检测的票据矫正方法，其特征在于，所述步骤6中，首先提取网络输出中各个关键点达到得分阈值的预测坐标，然后结合矫正坐标进行仿射变换矩阵的计算；最后根据变换矩阵对原图片进行处理，输出最终的矫正票据结果。
CN202011135572.2A 2020-10-21 2020-10-21 一种基于关键点检测的票据矫正方法 Pending CN112347865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011135572.2A CN112347865A (zh) 2020-10-21 2020-10-21 一种基于关键点检测的票据矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135572.2A CN112347865A (zh) 2020-10-21 2020-10-21 一种基于关键点检测的票据矫正方法

Publications (1)

Publication Number Publication Date
CN112347865A true CN112347865A (zh) 2021-02-09

Family

ID=74359615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011135572.2A Pending CN112347865A (zh) 2020-10-21 2020-10-21 一种基于关键点检测的票据矫正方法

Country Status (1)

Country Link
CN (1) CN112347865A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699861A (zh) * 2021-03-24 2021-04-23 杭州学谷智能科技有限公司 一种基于神经网络热点图的自然场景票据矫正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886257A (zh) * 2019-01-30 2019-06-14 四川长虹电器股份有限公司 一种ocr系统中采用深度学习矫正发票图片分割结果的方法
CN110032990A (zh) * 2019-04-23 2019-07-19 杭州智趣智能信息技术有限公司 一种发票文本识别方法、系统及相关组件
CN110674815A (zh) * 2019-09-29 2020-01-10 四川长虹电器股份有限公司 基于深度学习关键点检测的发票图像畸变校正方法
CN110738092A (zh) * 2019-08-06 2020-01-31 深圳市华付信息技术有限公司 一种发票文本检测方法
CN111476184A (zh) * 2020-04-13 2020-07-31 河南理工大学 一种基于双注意力机制的人体关键点检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886257A (zh) * 2019-01-30 2019-06-14 四川长虹电器股份有限公司 一种ocr系统中采用深度学习矫正发票图片分割结果的方法
CN110032990A (zh) * 2019-04-23 2019-07-19 杭州智趣智能信息技术有限公司 一种发票文本识别方法、系统及相关组件
CN110738092A (zh) * 2019-08-06 2020-01-31 深圳市华付信息技术有限公司 一种发票文本检测方法
CN110674815A (zh) * 2019-09-29 2020-01-10 四川长虹电器股份有限公司 基于深度学习关键点检测的发票图像畸变校正方法
CN111476184A (zh) * 2020-04-13 2020-07-31 河南理工大学 一种基于双注意力机制的人体关键点检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢庄淳: "《银行票据图像分类算法设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699861A (zh) * 2021-03-24 2021-04-23 杭州学谷智能科技有限公司 一种基于神经网络热点图的自然场景票据矫正方法
CN112699861B (zh) * 2021-03-24 2021-06-22 杭州学谷智能科技有限公司 一种基于神经网络热点图的自然场景票据矫正方法

Similar Documents

Publication Publication Date Title
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN109377445B (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN112489096B (zh) 基于图匹配模型的低配准精度下遥感图像变化检测方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN112613553B (zh) 图片样本集生成方法、装置、计算机设备和存储介质
CN111967313A (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN112052855A (zh) 一种基于深度学习的车牌识别方法及装置
CN114038004A (zh) 一种证件信息提取方法、装置、设备及存储介质
US20220222799A1 (en) Method for detecting defect in products and electronic device using method
CN113778719A (zh) 基于复制粘贴的异常检测算法
CN113159045A (zh) 一种结合图像预处理与卷积神经网络的验证码识别方法
CN115331012B (zh) 基于零样本学习的联合生成式图像实例分割方法及系统
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
CN112396042A (zh) 实时更新的目标检测方法及系统、计算机可读存储介质
CN113435407A (zh) 一种输电系统的小目标识别方法及装置
CN113065598A (zh) 一种绝缘子识别模型的获取方法、装置及计算机设备
CN116309483A (zh) 基于ddpm的半监督变电设备表征缺陷检测方法及系统
CN107169498A (zh) 一种融合局部和全局稀疏的图像显著性检测方法
CN112347865A (zh) 一种基于关键点检测的票据矫正方法
CN111325724B (zh) 隧道裂纹区域检测方法和装置
CN113315995B (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN114399681A (zh) 电力能源设备识别方法、装置和终端设备
CN111709951B (zh) 目标检测网络训练方法及系统及网络及装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210209