CN111881923B - 一种基于特征匹配的票据要素提取方法 - Google Patents
一种基于特征匹配的票据要素提取方法 Download PDFInfo
- Publication number
- CN111881923B CN111881923B CN202010738133.4A CN202010738133A CN111881923B CN 111881923 B CN111881923 B CN 111881923B CN 202010738133 A CN202010738133 A CN 202010738133A CN 111881923 B CN111881923 B CN 111881923B
- Authority
- CN
- China
- Prior art keywords
- point set
- feature
- key point
- matching
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000004519 manufacturing process Methods 0.000 claims abstract description 13
- 238000005520 cutting process Methods 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 7
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征匹配的票据要素提取方法，涉及图像处理领域。该方法包括：制作匹配模板，针对匹配模板提取第一关键点集合，对原始图像进行下采样得到特征检测图像，并提取第二关键点集合；根据第一关键点集合和第二关键点集合得到对应的匹配模板特征点集和特征检测图像特征点集，并通过透视变换获得原始图像特征点集和目标尺寸输出图像特征点集；通过透视变换将原始图像的感兴趣区域透视变换为目标尺寸输出图像；根据目标尺寸输出图像中要素相对位置标注并裁减出各个要素所在区域，文本识别并校正后，识别结果合并输出。本发明简单高效，能保证匹配过程的快速准确且免疫绝大部分自然拍摄环境背景带来的影响，具有很强的抗干扰能力。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于特征匹配的票据要素提取方法。
背景技术
票据作为一种重要的会计凭证，在金融、保险、医疗、财务报销等领域存在着大量的信息采集需求。例如信贷、银行、基金等行业需要通过票据信息评估企业的实际经营情况；再如企业财务人员需要依据发票中的财务要素进行费用报销及核算。
目前，票据信息提取主要有以下两种方式：(1)人工手动录入，这种方式需要进行人工操作，不仅费时费力效率低下，人力成本高，而且非常容易产生录入错误；(2)OCR自动识别，这种方式是指借助OCR技术，将非结构化的票据影像转换为结构化数据，实现发票信息的提取。
随着OCR技术的不断成熟，利用方式(2)进行票据信息采集已经成为了主流趋势，但目前市面上票据OCR识别系统质量参差不齐，许多OCR识别系统对于自然环境背景下的票据图像无法进行较为有效的处理和识别。
发明内容
为了解决以上问题，本发明提供一种基于特征匹配的票据要素提取方法，该方法通过制作与票据类型相对应的匹配模板，并非直接与待匹配的原始输入图像直接进行特征匹配，而是将下采样后的原始图像与匹配模板分别计算特征，然后通过透视变换等方式将获取到的特征图像规整为指定规格尺寸，将附有特征信息的规整后图像与变换为目标尺寸大小的模板进行尺度不变特征变换(Scale-invariant feature transform，SIFT)特征匹配，并通过生成的匹配矩阵将输入图像进行矫正，得到规正图像，然后根据各要素在图像中固定的行列像素比例位置进行裁剪，得到最终的要素提取框。
根据本发明的第一方面，提供一种基于特征匹配的票据要素提取方法，所述方法包括：
步骤1：根据原始图像制作匹配模板，针对匹配模板提取第一关键点集合，对原始图像进行下采样得到特征检测图像，并提取第二关键点集合；
步骤2：根据第一关键点集合和第二关键点集合得到对应的匹配模板特征点集和特征检测图像特征点集，并通过透视变换获得原始图像特征点集和目标尺寸输出图像特征点集；
步骤3：根据原始图像特征点集和目标尺寸输出图像特征点集，通过透视变换将原始图像的感兴趣区域透视变换为目标尺寸输出图像；
步骤4：根据目标尺寸输出图像中要素相对位置标注并裁减出各个要素所在区域，文本识别并校正后，识别结果合并输出。
进一步的，所述步骤1具体包括：
步骤11：根据票据格式的原始图像制作匹配模板，确定匹配模板规格、特征检测图像规格以及输出图像目标尺寸；
步骤12：根据匹配模板规格，针对匹配模板利用尺度不变特征变换(Scale-invariant feature transform，SIFT)算法提取第一关键点集合，获取第一关键点描述子以及相应特征向量；
步骤13:输入原始图像，下采样得到特征检测图像，并利用SIFT算法提取第二关键点集合，获取第二关键点描述子以及相应特征向量。
关于SIFT算法，关键点表示图像空间尺度中的极值点，特征向量是关键点邻域高斯图像梯度统计结果的一种表示，通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。
进一步的，步骤11中，匹配模板的制作方法包括但不限于：采用现有模板，或对待提取信息要素的票据进行透视变换规整、多次迭代规整获得。
进一步的，步骤11中，匹配模板规格、特征检测图像规格以及输出图像目标尺寸的确定方式包括但不限于按比例指定以及透视变换。
进一步的，步骤12中获取的第一关键点描述子以及相应特征向量存入模板信息库以便后续直接调用。
进一步的，所述步骤2具体包括：
步骤21：计算由匹配模板规格到输出图像目标尺寸的透视变换矩阵M1，同时计算原始图像规格到特征检测图像规格的透视变换矩阵M2及其逆矩阵inverse(M2)；
步骤22：根据第一关键点描述子和第二关键点描述子的相似性得到对应的匹配模板特征点集和特征检测图像特征点集，并根据M1和inverse(M2)获得目标尺寸输出图像特征点集和原始图像特征点集。
进一步的，所述步骤22具体包括：
步骤221：对第一关键点描述子和第二关键点描述子进行匹配，以关键点特征向量的欧式距离作为第一关键点集合和第二关键点集合的相似性判定度量；
步骤222：获得一一对应的匹配模板特征点集和特征检测图像特征点集；
步骤223：根据步骤21中计算得到的M1和inverse(M2)，分别将匹配模板特征点集和特征检测图像特征点集映射到目标尺寸输出图像和原始图像中，获得目标尺寸输出图像特征点集和原始图像特征点集。
进一步的，步骤221中，如距离比率小于某个阈值则被认为是正确匹配。该阈值越小越严苛，通常取值在0.7-0.8。
进一步的，所述步骤3具体为：
利用随机抽样一致性(Random Sample Consensus，RANSAC)算法，计算原始图像特征点集和目标尺寸输出图像特征点集的透视变换矩阵M3，并通过M3将原始图像的感兴趣区域透视变换为目标尺寸输出图像。
根据本发明的第二方面，提供一种基于特征匹配的多模板票据要素提取方法，所述方法包括：
步骤1：制作多个匹配模板，针对多个匹配模板分别提取多个第一关键点集合，对原始图像进行下采样得到特征检测图像，并提取第二关键点集合；
步骤2：确定多个第一关键点集合与第二关键点集合的匹配度，由此确定匹配度最高的第一关键点集合所对应的最佳匹配模板；
步骤3：根据最佳匹配模板的第一关键点集合和第二关键点集合得到对应的最佳匹配模板特征点集和特征检测图像特征点集，并通过透视变换获得原始图像特征点集和目标尺寸输出图像特征点集；
步骤4：通过透视变换将原始图像的感兴趣区域透视变换为目标尺寸输出图像；
步骤5：根据目标尺寸输出图像中要素相对位置标注并裁减出各个要素所在区域，文本识别并校正后，识别结果合并输出。
进一步的，所述步骤1具体包括：
步骤11：制作多个匹配模板，针对多个匹配模板确定匹配模板规格、特征检测图像规格以及输出图像目标尺寸；
步骤12：根据匹配模板规格，针对多个匹配模板利用SIFT算法提取对应的多个第一关键点集合，获取对应的多个第一关键点描述子以及相应特征向量；
步骤13:输入原始图像，下采样得到特征检测图像，并利用SIFT算法提取第二关键点集合，获取第二局部关键点描述子以及相应特征向量。
进一步的，步骤11中，多个匹配模板的制作方法包括但不限于：采用现有材料，或对待提取信息要素的票据进行透视变换规整、多次迭代规整获得。
进一步的，步骤11中，匹配模板规格、特征检测图像规格以及输出图像目标尺寸的确定方式包括但不限于按比例指定以及透视变换。
进一步的，步骤12中获取的对应的多个第一关键点描述子以及相应特征向量存入模板信息库以便后续直接调用。
进一步的，所述步骤2具体包括：
步骤21：对多个匹配模板对应的多个第一关键点描述子和第二局部关键点描述子进行匹配，以关键点特征向量的欧式距离作为多个匹配模板的第一关键点集合和第二关键点集合的相似性判定度量；
步骤22：获得一一对应的多个匹配模板特征点集和特征检测图像特征点集；
步骤23：以正确匹配数最多的匹配模板作为最佳匹配模板。
进一步的，所述步骤3具体包括：
步骤31：计算由最佳匹配模板规格到输出图像目标尺寸的透视变换矩阵M1，同时计算原始图像规格到特征检测图像规格的透视变换矩阵M2及其逆矩阵inverse(M2)；
步骤32：根据最佳匹配模板的第一关键点描述子和第二关键点描述子的相似性得到对应的最佳匹配模板特征点集和特征检测图像特征点集，并根据M1和inverse(M2)获得目标尺寸输出图像特征点集和原始图像特征点集。
进一步的，所述步骤32具体包括：
步骤321：对最佳匹配模板的第一关键点描述子和第二关键点描述子进行匹配，以关键点特征向量的欧式距离作为最佳匹配模板的第一关键点集合和第二关键点集合的相似性判定度量；
步骤322：获得一一对应的最佳匹配模板特征点集和特征检测图像特征点集；
步骤323：根据步骤31中计算得到的M1和inverse(M2)，分别将最佳匹配模板特征点集和特征检测图像特征点集映射到目标尺寸输出图像和原始图像中，获得目标尺寸输出图像特征点集和原始图像特征点集。
进一步的，步骤321中，如距离比率小于某个阈值则被认为是正确匹配。该阈值越小越严苛，通常取值在0.7-0.8。
进一步的，所述步骤4具体为：
利用RANSAC算法，计算原始图像特征点集和目标尺寸输出图像特征点集的透视变换矩阵M3，并通过M3将原始图像的感兴趣区域透视变换为目标尺寸输出图像。
根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据以上任一方面所述方法的步骤。
根据本发明的第四方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据任一方面所述方法的步骤。
本发明的有益效果：
利用本方法对票据图像进行匹配和要素提取，简单高效，不仅能保证匹配过程的快速准确，又能免疫绝大部分自然拍摄环境背景带来的影响，具有很强的抗干扰能力。
票据图像的特征匹配方法，主要采用如下机制来确保匹配的准确性和快速性：
a)通过下采样机制，将待匹配的输入图像通过缩放、透视变换等方式变换为较小尺寸，能大幅提升匹配前特征寻找阶段的速度；
b)通过SIFT匹配机制，由于SIFT特征匹配具有尺度不变性，可在快速获得特征信息后通过逆变换将图像恢复到高像素水平，即可在特征信息不丢失的情况下保证匹配过程的准确性；
c)要素提取机制，由于经过特征匹配后的图像规格尺寸统一，即根据各个要素区域在图像中行列像素比例位置进行区域图像裁剪，获得待识别的票据要素提取框。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1示出根据本发明的基于特征匹配的票据要素提取方法的方法流程图；
图2示出根据本发明实施例的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
多个，包括两个或者两个以上。
和/或，应当理解，对于本公开中使用的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本发明提出一种基于模板匹配的发票要素区域精准定位和信息提取的方法，该方法具有极强的抗干扰性，能在票据褶皱、图像昏暗、图像倾斜等自然环境背景恶劣的情况下依然保持较高的要素提取准确率，解决了现有技术中因票据粘贴、拍照不规范导致的OCR数据获取不准确的问题。
如图1所示，根据本发明的技术方案的基于特征匹配的票据要素提取方法主要包括：
步骤101：根据原始图像制作匹配模板，针对匹配模板提取第一关键点集合，对原始图像进行下采样得到特征检测图像，并提取第二关键点集合；
步骤102：根据第一关键点集合和第二关键点集合得到对应的匹配模板特征点集和特征检测图像特征点集，并通过透视变换获得原始图像特征点集和目标尺寸输出图像特征点集；
步骤103：根据原始图像特征点集和目标尺寸输出图像特征点集，通过透视变换将原始图像的感兴趣区域透视变换为目标尺寸输出图像；
步骤104：根据目标尺寸输出图像中要素相对位置标注并裁减出各个要素所在区域，文本识别并校正后，识别结果合并输出。
实施例1：
根据图2所示，该实施例包括：
步骤1：根据所要提取信息要素的票据格式，制作相对应的匹配模板，其制作方法包括但不限于现有材料、透视变换规整、多次迭代规整；
步骤2：统一模板尺寸规格、特征检测图像规格以及输出图像目标尺寸规格；其确定方式包括但不限于按比例指定以及透视变换等；
步骤3：根据步骤2确定的模板规格大小，针对对应模板利用SIFT算法提取关键点，获取局部关键点描述子以及相应特征向量，同时将以上信息存入模板信息库方便直接调用；
步骤4：对输入图像进行下采样得到特征检测图像，结合步骤3中的SIFT算法检测图像关键点，获取局部关键点描述子以及相应特征向量；
步骤5：计算由统一模板规格到目标尺寸输出图像规格的透视变换矩阵M1，同时计算由原输入图像规格到特征检测图像规格的透视变换矩阵M2及其逆矩阵inverse(M2)；
步骤6：对步骤3和4得到的描述子进行匹配，以关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。当距离比率小于某个阈值则被认为是正确匹配。从筛选结果中能够获得两组一一对应的特征点集(模板特征点集和特征检测图像特征点集)。根据步骤五中计算得到的M1和inverse(M2)，分别将两组特征点集映射到输入图像和目标尺寸输出图像中，获得输入图像特征点集和目标尺寸输出图像特征点集。
步骤7：利用RANSAC算法，计算输入图像特征点集和目标尺寸输出图像特征点集的变换矩阵M3。通过M3，即可将输入图像感兴趣区域透视变换为目标尺寸输出图像。
步骤8：由步骤7得到的最终匹配图像为统一尺寸大小，且各个要素区域所处的相对位置保持一致；根据要素相对位置标注出各个要素所在区域，并从票据图像中分别裁剪出包含各要素信息的图像；
步骤9：对步骤8提取到的要素框进行文本识别和后期校正；
步骤10：识别结果合并输出。
实施例2：
步骤1：针对方法1中的步骤1中模板的制作采用一一对应的方式，即制作与多种票据格式种类分别对应的多个模板；并根据方法1中的步骤2、3同时获取多个模板特征信息，存入模板信息库等待调用；
步骤2：对方法2步骤1中的多个模板依次进行遍历，分别与票据输入图像进行方法1中步骤4、5、6、7步骤，比较由方法1步骤7中得到的匹配度统计量大小，选取匹配程度最高的模板为最佳模板选择；
步骤3：根据步骤2得到的结果，实施方法1中步骤8、9、10，得到匹配识别结果。
最佳模板的选择主要基于正确匹配数，通过欧氏距离判断两组关键点中的正确匹配数，例如模板A得到的正确匹配数记为NA，模板B得到的正确匹配数为NB，如果NA>NB，则认为A是更好的模板选择，反之B是更好的模板选择。多个模板也是如此。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (8)
1.一种基于特征匹配的票据要素提取方法，其特征在于，所述方法包括：
步骤1：根据原始图像制作匹配模板，针对匹配模板提取第一关键点集合，对原始图像进行下采样得到特征检测图像，并提取第二关键点集合，
其中，所述步骤1具体包括：
步骤11：根据票据格式的原始图像制作匹配模板，确定匹配模板规格、特征检测图像规格以及输出图像目标尺寸；
步骤12：根据匹配模板规格，针对匹配模板利用尺度不变特征变换算法提取第一关键点集合，获取第一关键点描述子以及相应特征向量；
步骤13:输入原始图像，下采样得到特征检测图像，并利用尺度不变特征变换算法提取第二关键点集合，获取第二关键点描述子以及相应特征向量；
步骤2：根据第一关键点集合和第二关键点集合得到对应的匹配模板特征点集和特征检测图像特征点集，并通过透视变换获得原始图像特征点集和目标尺寸输出图像特征点集，
其中，所述步骤2具体包括：
步骤21：计算由匹配模板规格到输出图像目标尺寸的透视变换矩阵M1，同时计算原始图像规格到特征检测图像规格的透视变换矩阵M2及其逆矩阵inverse(M2)；
步骤22：根据第一关键点描述子和第二关键点描述子的相似性得到对应的匹配模板特征点集和特征检测图像特征点集，并根据M1和inverse(M2) 获得目标尺寸输出图像特征点集和原始图像特征点集；
步骤3：根据原始图像特征点集和目标尺寸输出图像特征点集，通过透视变换将原始图像的感兴趣区域透视变换为目标尺寸输出图像；
步骤4：根据目标尺寸输出图像中要素相对位置标注并裁减出各个要素所在区域，文本识别并校正后，识别结果合并输出。
2.根据权利要求1所述的票据要素提取方法，其特征在于，步骤11中，匹配模板的制作方法包括：采用现有模板，或对待提取信息要素的票据进行透视变换规整、多次迭代规整获得。
3.根据权利要求1所述的票据要素提取方法，其特征在于，步骤11中，匹配模板规格、特征检测图像规格以及输出图像目标尺寸的确定方式包括按比例指定以及透视变换。
4.根据权利要求1所述的票据要素提取方法，其特征在于，所述步骤22具体包括：
步骤221：对第一关键点描述子和第二关键点描述子进行匹配，以关键点特征向量的欧式距离作为第一关键点集合和第二关键点集合的相似性判定度量，距离比率小于0.7-0.8则被认为是正确匹配；
步骤222：获得一一对应的匹配模板特征点集和特征检测图像特征点集；
步骤223：根据步骤21中计算得到的M1和inverse(M2)，分别将匹配模板特征点集和特征检测图像特征点集映射到目标尺寸输出图像和原始图像中，获得目标尺寸输出图像特征点集和原始图像特征点集。
5.根据权利要求1所述的票据要素提取方法，其特征在于，所述步骤3具体为：
利用随机抽样一致性算法，计算原始图像特征点集和目标尺寸输出图像特征点集的透视变换矩阵M3，并通过M3将原始图像的感兴趣区域透视变换为目标尺寸输出图像。
6.一种基于特征匹配的多模板票据要素提取方法，所述方法包括：
步骤1：制作多个匹配模板，针对多个匹配模板分别提取多个第一关键点集合，对原始图像进行下采样得到特征检测图像，并提取第二关键点集合，
其中，所述步骤1具体包括：
步骤11：制作多个匹配模板，针对多个匹配模板确定匹配模板规格、特征检测图像规格以及输出图像目标尺寸；
步骤12：根据匹配模板规格，针对多个匹配模板利用SIFT算法提取对应的多个第一关键点集合，获取对应的多个第一关键点描述子以及相应特征向量；
步骤13:输入原始图像，下采样得到特征检测图像，并利用SIFT算法提取第二关键点集合，获取第二局部关键点描述子以及相应特征向量；
步骤2：确定多个第一关键点集合与第二关键点集合的匹配度，由此确定匹配度最高的第一关键点集合所对应的最佳匹配模板；
步骤3：根据最佳匹配模板的第一关键点集合和第二关键点集合得到对应的最佳匹配模板特征点集和特征检测图像特征点集，并通过透视变换获得原始图像特征点集和目标尺寸输出图像特征点集，
其中，所述步骤3具体包括：
步骤31：计算由最佳匹配模板规格到输出图像目标尺寸的透视变换矩阵M1，同时计算原始图像规格到特征检测图像规格的透视变换矩阵M2及其逆矩阵inverse(M2)；
步骤32：根据最佳匹配模板的第一关键点描述子和第二关键点描述子的相似性得到对应的最佳匹配模板特征点集和特征检测图像特征点集，并根据M1和inverse(M2)获得目标尺寸输出图像特征点集和原始图像特征点集；
步骤4：通过透视变换将原始图像的感兴趣区域透视变换为目标尺寸输出图像；
步骤5：根据目标尺寸输出图像中要素相对位置标注并裁减出各个要素所在区域，文本识别并校正后，识别结果合并输出。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1至5任一项所述方法的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738133.4A CN111881923B (zh) | 2020-07-28 | 2020-07-28 | 一种基于特征匹配的票据要素提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738133.4A CN111881923B (zh) | 2020-07-28 | 2020-07-28 | 一种基于特征匹配的票据要素提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111881923A CN111881923A (zh) | 2020-11-03 |
| CN111881923B true CN111881923B (zh) | 2024-07-12 |
Family
ID=73201754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010738133.4A Active CN111881923B (zh) | 2020-07-28 | 2020-07-28 | 一种基于特征匹配的票据要素提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881923B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766264B (zh) * | 2021-01-25 | 2024-06-07 | 广州互联网法院 | 图片比对方法及电子设备、计算机可读存储介质 |
| CN112949736B (zh) * | 2021-03-15 | 2023-07-21 | 浙江中控技术股份有限公司 | 一种特征匹配方法及相关设备 |
| CN113343785A (zh) * | 2021-05-19 | 2021-09-03 | 山东大学 | 一种基于透视降采样的yolo地面标志检测方法、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558844A (zh) * | 2018-11-30 | 2019-04-02 | 厦门商集网络科技有限责任公司 | 基于图像归一化提升自定义模板识别率的方法及设备 |
| CN113903024A (zh) * | 2021-09-28 | 2022-01-07 | 合肥高维数据技术有限公司 | 一种手写票据数值信息识别方法、系统、介质及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007130688A2 (en) * | 2006-05-10 | 2007-11-15 | Evolution Robotics, Inc. | Mobile computing device with imaging capability |
| JP2008158626A (ja) * | 2006-12-21 | 2008-07-10 | Nippon Telegr & Teleph Corp <Ntt> | テンプレート作成装置，テンプレート作成方法，その方法を実装したテンプレート作成プログラム，そのプログラムを格納した記憶媒体と、テンプレートマッチング装置，テンプレートマッチング方法，その方法を実装したテンプレートマッチングプログラム，そのプログラムを格納した記憶媒体 |
| KR101270173B1 (ko) * | 2007-08-23 | 2013-05-31 | 삼성전자주식회사 | 디지털 이미지에서 특징점을 추출하는 방법 및 장치 |
| KR101127793B1 (ko) * | 2011-01-04 | 2012-03-23 | 위드로봇 주식회사 | 이미지 인식 시스템 및 그 제공방법 |
| US10210427B2 (en) * | 2014-07-09 | 2019-02-19 | Slyce Acquisition Inc. | Systems, methods, and devices for image matching and object recognition in images |
| CN111191708A (zh) * | 2019-12-25 | 2020-05-22 | 浙江省北大信息技术高等研究院 | 自动化样本关键点标注方法、装置及系统 |
-
2020
- 2020-07-28 CN CN202010738133.4A patent/CN111881923B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558844A (zh) * | 2018-11-30 | 2019-04-02 | 厦门商集网络科技有限责任公司 | 基于图像归一化提升自定义模板识别率的方法及设备 |
| CN113903024A (zh) * | 2021-09-28 | 2022-01-07 | 合肥高维数据技术有限公司 | 一种手写票据数值信息识别方法、系统、介质及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 自然场景采集的卡证票据精准识别方法;王家亮;《中国优秀硕士学位论文全文数据库（电子期刊）》;I138-344 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111881923A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111881923B (zh) | 一种基于特征匹配的票据要素提取方法 | |
| CN109657665B (zh) | 一种基于深度学习的发票批量自动识别系统 | |
| RU2695489C1 (ru) | Идентификация полей на изображении с использованием искусственного интеллекта | |
| CN110222687B (zh) | 复杂背景卡面信息识别方法及系统 | |
| US9202146B2 (en) | Duplicate check image resolution | |
| CN110569878A (zh) | 一种基于卷积神经网络的照片背景相似度聚类方法及计算机 | |
| CN113963147B (zh) | 一种基于语义分割的关键信息提取方法及系统 | |
| US11574492B2 (en) | Efficient location and identification of documents in images | |
| CN110796145B (zh) | 基于智能决策的多证件分割关联方法及相关设备 | |
| CN110119460A (zh) | 图像检索方法、装置及电子设备 | |
| CN111858977B (zh) | 票据信息采集方法、装置、计算机设备和存储介质 | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| CN114648776B (zh) | 一种财务报销数据处理方法和处理系统 | |
| CN112001200A (zh) | 识别码识别方法、装置、设备、存储介质和系统 | |
| CN112989921A (zh) | 一种目标图像信息识别方法及其装置 | |
| CN114511866A (zh) | 数据稽核方法、装置、系统、处理器及机器可读存储介质 | |
| CN113780116A (zh) | 发票分类方法、装置、计算机设备和存储介质 | |
| CN115147855A (zh) | 票据进行批量ocr识别方法及系统 | |
| CN115063617B (zh) | 广告图像识别方法及广告图像识别系统 | |
| CN111414917A (zh) | 一种低像素密度文本的识别方法 | |
| CN112308141B (zh) | 一种扫描票据分类方法、系统及可读存储介质 | |
| Sreelakshmy et al. | An improved method for copy-move forgery detection in digital forensic | |
| CN114092684A (zh) | 一种文本校准方法、装置、设备及存储介质 | |
| CN113011249A (zh) | 票据审核方法、装置、设备及存储介质 | |
| CN117115839B (zh) | 一种基于自循环神经网络的发票字段识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |