CN112132016B - 票据信息提取方法、装置及电子设备 - Google Patents

票据信息提取方法、装置及电子设备 Download PDF

Info

Publication number
CN112132016B
CN112132016B CN202011003120.9A CN202011003120A CN112132016B CN 112132016 B CN112132016 B CN 112132016B CN 202011003120 A CN202011003120 A CN 202011003120A CN 112132016 B CN112132016 B CN 112132016B
Authority
CN
China
Prior art keywords
bill
template
alignment
target
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011003120.9A
Other languages
English (en)
Other versions
CN112132016A (zh
Inventor
师燕妮
韩茂琨
刘玉宇
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011003120.9A priority Critical patent/CN112132016B/zh
Publication of CN112132016A publication Critical patent/CN112132016A/zh
Application granted granted Critical
Publication of CN112132016B publication Critical patent/CN112132016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/43—Editing text-bitmaps, e.g. alignment, spacing; Semantic analysis of bitmaps of text without OCR

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Input (AREA)

Abstract

本公开涉及图像处理技术领域，揭露一种票据信息提取方法、装置及电子设备，该票据信息提取方法包括：获取第一位置模板以及第二位置模板；基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置；将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息。本公开可以提高提取票据信息的灵活度。

Description

票据信息提取方法、装置及电子设备
技术领域
本公开涉及图像处理技术领域，尤其涉及一种票据信息提取方法、装置及电子设备。
背景技术
在众多票据相关的领域中，例如：智慧医疗领域、智慧零售领域或者其他需要采集所打印纸质票据的票据信息的领域。在纸质票据的打印过程中，出于打印机的硬件原因或者人工操作的原因，常常会导致在原始的空白票据上所打印的票据信息发生错位，例如：医疗票据中所打印的患者姓名偏离了医疗票据的姓名栏。现有技术中，常常采取训练文本多分类模型的方法来提取票据信息，训练过程中需要大量数据，而且只能适用于特定类型的票据，灵活度低。
发明内容
本公开提供一种票据信息提取方法、装置及电子设备，其主要目的在于提高了提取票据信息的灵活度。
为实现上述目的，本公开提供的一种票据信息提取方法，包括：
获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板；
基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，其中，所述文本识别结果包含所识别出文本在所述目标票据上的位置信息；
以所述标识项目在所述目标票据中的位置与所述标识项目在所述第一位置模板中的位置为对齐基准，将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；
基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；
将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息。
可选地，在基于目标票据的文本识别结果，确定预设的标识项目在所述目标票据中的位置之前，所述方法包括：
获取所述目标票据的图像；
对所述目标票据的图像进行文本识别，得到所述文本识别结果。
可选地，在对所述目标票据的图像进行文本识别，得到所述文本识别结果之后，所述方法还包括：
从所述文本识别结果中，确定预设的用于透视变换的至少四个参考项目分别在所述目标票据的图像中的第三位置；
确定所述至少四个参考项目分别在所述第一模板中的第四位置；
基于所述第三位置与所述第四位置，对所述文本识别结果进行透视变换，得到透视变换后的文本识别结果。
可选地，基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，包括：
获取预设的正则表达式；
根据所述正则表达式与所述文本识别结果的匹配结果，确定所述标识项目在所述目标票据中的位置。
可选地，预先根据票据类型在模板集合中设置多个候选模板票据，在获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板之前，所述方法包括：
按照预设顺序每次从所述模板集合中选取一个所述候选模板票据用于提取所述目标票据的票据信息，并得到对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果；
基于所述候选第一对齐结果以及所述候选第二对齐结果分别与所述文本识别结果的对齐度，确定对应的所述候选模板票据与所述目标票据的匹配度；
基于所述匹配度从所得到的多个所述候选信息提取结果中筛选出所述目标票据的票据信息。
可选地，基于所述候选第一对齐结果以及所述候选第二对齐结果分别与所述文本识别结果的对齐度，确定对应的所述候选模板票据与所述目标票据的匹配度，包括：
基于所述候选第一对齐结果确定对应的所述候选模板票据的第一位置模板与所述文本识别结果的第一对齐度；
基于所述候选第二对齐结果确定对应的所述候选模板票据的第二位置模板与所述文本识别结果的第二对齐度；
基于所述第一对齐度与所述第二对齐度确定对应的所述候选模板票据与所述目标票据的匹配度。
可选地，得到对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果之后，所述方法还包括：
若对应的所述候选模板票据与所述目标票据的匹配度达到预设阈值则停止从所述模板集合中继续选取下一个候选模板票据，并将当前所得到的所述候选信息提取结果确定为所述目标票据的票据信息。
为了解决上述问题，本公开还提供一种票据信息提取装置，所述装置包括：
获取模块，配置为获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板；
确定模块，配置为基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，其中，所述文本识别结果包含所识别出文本在所述目标票据上的位置信息；
第一对齐模块，配置为以所述标识项目在所述目标票据中的位置与所述标识项目在所述第一位置模板中的位置为对齐基准，将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；
筛选模块，配置为基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；
第二对齐模块，配置为将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息。
为了解决上述问题，本公开还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的票据信息提取方法。
为了解决上述问题，本公开还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的票据信息提取方法。
本公开实施例通过按照项目与项目值的区别将预设的模板票据一分为二，得到用于描述项目位置分布的第一位置模板以及用于描述项目值位置分布的第二位置模板。进而根据第一位置模板确定出目标票据的项目位置分布，从而筛选出目标票据的项目值；再将目标票据的项目值与第二位置模板进行对齐，从而确定目标票据的项目分别所对应的项目值，完成对目标票据的票据信息提取。本公开实施例所提供的方法，无需复杂的模型训练，无论对哪一种类型的票据均适用，可应用于智慧医疗领域中，提高票据信息提取的灵活度，从而推动智慧城市的建设。
附图说明
图1为本公开一实施例提供的票据信息提取方法的流程示意图；
图2为本公开一实施例提供的票据信息提取装置的模块示意图；
图3为本公开一实施例提供的实现票据信息提取方法的电子设备的内部结构示意图。
本公开目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
本公开提供一种票据信息提取方法。参照图1所示，为本公开一实施例提供的票据信息提取方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，票据信息提取方法包括：
步骤S1、获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板；
步骤S2、基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，其中，所述文本识别结果包含所识别出文本在所述目标票据上的位置信息；
步骤S3、以所述标识项目在所述目标票据中的位置与所述标识项目在所述第一位置模板中的位置为对齐基准，将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；
步骤S4、基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；
步骤S5、将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息。
本公开实施例中，预设有用于作为对比规范的模板票据，并预先设置该模板票据的第一位置模板以及第二位置模板。其中，该第一位置模板描述的是模板票据的项目位置分布，该第二位置模板描述的是模板票据的项目值位置分布。对于同一种类型的票据，其项目位置分布是固定的，其项目值位置分别却可能在打印的过程中错位。例如：在空白的医疗票据中，“姓名”这一项目所在的位置是固定的，但实际打印出的患者姓名这一项目值却可能偏离“姓名”这一项目。而模板票据则是规范地将各个项目值无偏离地打印在空白票据后所得到的票据，其中，第一位置模板描述的是该空白票据中各个项目的位置分布，第二位置模板描述的是规范打印出的各个项目值的位置分布。
本公开实施例中，基于目标票据的文本识别结果提取目标票据的票据信息。其中，文本识别结果不仅包含所识别出的文本信息，还包含所识别出的各组文本分别在目标票据上的位置信息。
在一实施例中，在基于目标票据的文本识别结果，确定预设的标识项目在目标票据中的位置之前，该方法包括：
获取目标票据的图像；
对目标票据的图像进行文本识别，得到文本识别结果。
该实施例中，获取目标票据的图像，其中，目标票据的图像可以经由图像采集终端采集而来。进而可以根据OCR(Optical Character Recognition，光学字符识别)技术对目标票据的图像进行文本识别，得到文本识别结果，从而可以确定目标票据上的各组文本，以及各组文本在目标票据上的位置信息。
在一实施例中，在对目标票据的图像进行文本识别，得到文本识别结果之后，该方法还包括：
从文本识别结果中，确定预设的用于透视变换的至少四个参考项目分别在目标票据的图像中的第三位置；
确定至少四个参考项目分别在第一模板中的第四位置；
基于第三位置与第四位置，对文本识别结果进行透视变换，得到透视变换后的文本识别结果。
该实施例中，对目标票据的图像进行文本识别得到文本识别结果之后，进一步地对文本识别结果进行透视变换，得到透视变换后的文本识别结果，进而再以透视变换后的文本识别结果为基础进行后续处理。
具体的，预设有类似标识项目的至少四个参考项目。得到文本识别结果后，从文本识别结果中确定该至少四个参考项目分别在目标票据的图像中的第三位置；同样，确定该至少四个参考项目分别在第一模板中的第四位置；进而根据该至少四个参考项目的第三位置以及第四位置，计算出将文本识别结果投影到模板票据所在平面的透视变换矩阵，进而根据该透视变换矩阵对文本识别结果进行透视变换，得到去除图像形状畸变影响的透视变换后的文本识别结果。
该实施例的优点在于，通过透视变换得到透视变换后的文本识别结果，去除了图像采集过程中所造成的图像形状畸变影响，提高了后续处理的稳定性与准确度。
本公开实施例中，预设有用于定位对齐的标识项目，标识项目在目标票据中的位置与标识项目在模板票据中的位置(即，标识项目在第一位置模板中的位置)是一致的。因此，在确定标识项目在目标票据中的位置后，即可以标识项目在目标票据中的位置与标识项目在第一位置模板中的位置为对齐基准，将目标票据的文本识别结果与第一位置模板进行第一对齐，得到第一对齐结果。第一对齐结果描述的是目标票据的项目与第一位置模板的对应关系，故进而基于第一对齐结果确定目标票据的项目位置分布。
例如：“姓名”这一项目在目标票据中的位置甲，与“姓名”这一项目在模板票据中的位置乙是对应相同的，则可以将“姓名”这一项目作为标识项目。进而在票据信息提取过程中，将位置甲与位置乙相互重叠，从而实现“姓名”这一项目的对齐。同时，目标票据中的其他项目也与模板票据中的对应项目一一完成对齐，实现文本识别结果与第一位置模板的第一对齐，得到第一对齐结果。从第一对齐结果中即可确定——文本识别结果中与第一位置模板重叠对齐的部分即为目标票据的各项目，并同时确定目标票据的各项目的具体位置，即目标票据的项目位置分布。
在一实施例中，基于目标票据的文本识别结果确定预设的标识项目在目标票据中的位置，包括：
获取预设的正则表达式；
根据正则表达式与文本识别结果的匹配结果，确定标识项目在目标票据中的位置。
该实施例中，预设有用于匹配的正则表达式，该正则表达式是按照特定的匹配规则定义好的字符或者字符串的组合的表达式。考虑到即使是同一类票据，同一种含义的项目在不同版本中或者在不同场合中可能会存在不同的文本表述。例如：同样是医疗票据，第一版本医疗票据中收费项目的文本表述为“支付金额”，第二版本医疗票据中收费项目的文本表述为“收费金额”。
根据正则表达式与文本识别结果的匹配结果，即可确定出标识项目以及该标识项目在目标票据中的位置。
可以理解的，除了采用正则表达式匹配的方式定位标识项目，还可以采用其他类似的匹配规则定位标识项目，也可以采用穷举并一一对比的方式定位标识项目。该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
本公开实施例中，目标票据的项目位置分布，即是目标票据的项目在文本识别结果中的具体位置。因此，根据确定的目标票据的项目位置分布，即可将目标票据的项目从文本识别结果中剔除掉，从而筛选出目标票据的项目值。
本公开实施例中，筛选出目标票据的项目值后，将目标票据的项目值作为一个整体与第二位置模板进行第二对齐，保证二者的整体重叠度尽量高从而得到第二对齐结果。由于第二位置模板所描述的项目值位置分布与第一位置模板所描述的项目位置分布之间的对应关系是已经确定的，而第二对齐结果描述的又是目标票据的项目值与第二位置模板的对应关系，因此，通过第二对齐结果即可确定目标票据的项目分别所对应的项目值，也就得到了目标票据的票据信息。
在一实施例中，预先根据票据类型在模板集合中设置多个候选模板票据，在获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述模板票据的项目值位置分布的第二位置模板之前，方法包括：
按照预设顺序每次从模板集合中选取一个候选模板票据用于提取目标票据的票据信息，并得到对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果；
基于候选第一对齐结果以及候选第二对齐结果分别与文本识别结果的对齐度，确定对应的候选模板票据与目标票据的匹配度；
基于匹配度从所得到的多个候选信息提取结果中筛选出目标票据的票据信息。
该实施例中，对每种票据类型预设对应的一个候选模板票据。当未确定目标票据的票据类型时，即，当未确定应该选用哪一个候选模板票据用于提取目标票据的票据信息时，则按照预设顺序每次选取出一个候选模板票据用于提取目标票据的票据信息，得到该候选模板票据对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果，并基于候选第一对齐结果以及候选第二对齐结果确定该候选模板票据与目标票据的匹配度。
当每个候选模板票据都被用于提取目标票据的票据信息后，即得到多个候选信息提取结果，进而基于匹配度从这多个候选信息提取结果中筛选出目标票据的票据信息。
例如：针对医疗票据预设对应的候选模板票据A，针对税收票据预设对应的候选模板票据B。
先采用候选模板票据A提取目标票据的票据信息，得到候选第一对齐结果A，候选第二对齐结果A以及候选信息提取结果A。并基于候选第一对齐结果A以及候选第二对齐结果A分别与目标票据的文本结果的对齐度，确定候选模板票据A与目标票据的匹配度A。
再采用候选模板票据B提取目标票据的票据信息，得到候选第一对齐结果B，候选第二对齐结果B以及候选信息提取结果B。并基于候选第一对齐结果B以及候选第二对齐结果B分别与目标票据的文本结果的对齐度，确定候选模板票据B与目标票据的匹配度B。
可以理解的，若目标票据为医疗票据，则候选信息提取结果A更接近正确的目标票据的票据信息，则匹配度A大于匹配度B；若目标票据为税收票据，则候选信息提取结果B更接近正确的目标票据的票据信息，则匹配度B大于匹配度A。因此，可以将最大匹配度对应的候选信息提取结果确定为目标票据的票据信息。
该实施例的优点在于，通过模板集合的方式预设多个候选匹配模板，即使每一确定目标票据的票据类型，也能正确提取出目标票据的票据信息，进一步提高了提取票据信息的灵活度。可以理解的，除了可以将最大匹配度对应的候选信息提取结果确定为目标票据的票据信息外，还可以从前N位匹配度中随机选取一个匹配度(N为预设的大于0的自然数)，将所选取的匹配度对应的候选信息提取结果确定为目标票据的票据信息。
在一实施例中，基于候选第一对齐结果以及候选第二对齐结果分别与文本识别结果的对齐度，确定对应的候选模板票据与目标票据的匹配度，包括：
基于候选第一对齐结果确定对应的候选模板票据的第一位置模板与文本识别结果的第一对齐度；
基于候选第二对齐结果确定对应的候选模板票据的第二位置模板与文本识别结果的第二对齐度；
基于第一对齐度与第二对齐度确定对应的候选模板票据与目标票据的匹配度。
该实施例中，针对每一候选模板票据，该候选模板票据的第一位置模板与目标票据的文本识别结果进行第一对齐后得到候选第一对齐结果。候选第一对齐结果描述的是文本识别结果与该候选模板票据的第一位置模板的具体对齐情况——该第一位置模板中的每一待对齐位置是否均与文本识别结果中的一组文本相互重叠；对于相互重叠的待对齐位置与文本，二者的重叠程度具体为多大。因此，基于该候选第一对齐结果，可以衡量出该候选模板票据的第一位置模板与文本识别结果的对齐程度，即，第一对齐度。第一对齐度越大，则说明该候选模板票据的项目位置分布与目标票据的项目位置分布越接近。
同理，该候选模板票据的第二位置模板与目标票据的文本识别结果进行第二对齐后得到的候选第二对齐结果，描述的是文本识别结果与该候选模板票据的第一位置模板的具体对齐情况。因此，基于该候选第二对齐结果，可以衡量出该候选模板票据的第二位置模板与文本识别结果的对齐程度，即，第二对齐度。第二对齐度越大，则说明该候选模板票据的项目值位置分布与目标票据的项目值位置分布越接近。
进而基于第一对齐度与第二对齐度确定该候选模板票据与目标票据的匹配度。匹配度越大，则说明采用该候选模板票据提取出的候选信息提取结果越接近正确的目标票据的票据信息。具体的，可以直接将第一对齐度与第二对齐度的平均值确定为该候选模板票据与目标票据的匹配度；也可以根据预先分别向第一位置模板以及第二位置模板所分配的权重，对第一对齐度与第二对齐度进行加权，将得到的加权和确定为该候选模板票据与目标票据的匹配度。
在一实施例中，得到对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果之后，方法还包括：
若对应的候选模板票据与目标票据的匹配度达到预设阈值则停止从模板集合中继续选取下一个候选模板票据，并将当前所得到的候选信息提取结果确定为目标票据的票据信息。
该实施例中，针对匹配度预设一阈值。若匹配度超过该阈值，则说明采用对应的候选模板票据所提取出的候选信息提取结果已经足够接近正确的目标票据的票据信息。故在依次轮流选取候选模板票据用于提取目标票据的票据信息过程中，一旦匹配度达到该阈值便停止后续的轮流选取对齐等一系列过程，并将当前所得到的候选信息提取结果确定为目标票据的票据信息。
该实施例的优点在于，通过针对匹配度预设阈值，从而在提取出正确的目标票据的票据信息时能够及时终止后续无意义的循环处理，节省了处理资源，提高了提取票据信息的速度。
如图2所示，是本公开票据信息提取装置的功能模块图。
本公开的票据信息提取装置100可以安装于电子设备中。根据实现的功能，票据信息提取装置可以包括获取模块101、确定模块102、第一对齐模块103、筛选模块104、第二对齐模块105。本公开的模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
数据清洗模块101配置为获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板；
确定模块102配置为基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，其中，所述文本识别结果包含所识别出文本在所述目标票据上的位置信息；
第一对齐模块103配置为以所述标识项目在所述目标票据中的位置与所述标识项目在所述第一位置模板中的位置为对齐基准，将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；
筛选模块104配置为基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；
第二对齐模块105配置为将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息。
具体地，所述票据信息提取装置100的功能模板具体所实现的功能可参考图1对应实施例中相关步骤的描述，在此不赘述。
如图3所示，是本公开实现票据信息提取方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如票据信息提取程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如票据信息提取程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如票据信息提取程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图2示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的票据信息提取程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板；
基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，其中，所述文本识别结果包含所识别出文本在所述目标票据上的位置信息；
以所述标识项目在所述目标票据中的位置与所述标识项目在所述第一位置模板中的位置为对齐基准，将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；
基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；
将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本公开不限于上述示范性实施例的细节，而且在不背离本公开的精神或基本特征的情况下，能够以其他的具体形式实现本公开。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本公开的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本公开内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本公开的技术方案而非限制，尽管参照较佳实施例对本公开进行了详细说明，本领域的普通技术人员应当理解，可以对本公开的技术方案进行修改或等同替换，而不脱离本公开技术方案的精神和范围。

Claims (9)

1.一种票据信息提取方法，其特征在于，所述方法包括：
获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板；
基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，其中，所述文本识别结果包含所识别出文本在所述目标票据上的位置信息；
以所述标识项目在所述目标票据中的位置与所述标识项目在所述第一位置模板中的位置为对齐基准，将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；
基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；
将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息；
其中，预先根据票据类型在模板集合中设置多个候选模板票据，在未确定所述目标票据的票据类型时，按照预设顺序每次从所述模板集合中选取一个所述候选模板票据用于提取所述目标票据的票据信息，并得到对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果；
基于所述候选第一对齐结果以及所述候选第二对齐结果分别与所述文本识别结果的对齐度，确定对应的所述候选模板票据与所述目标票据的匹配度；
基于所述匹配度从所得到的多个所述候选信息提取结果中筛选出所述目标票据的票据信息。
2.如权利要求1所述的方法，其特征在于，在基于目标票据的文本识别结果，确定预设的标识项目在所述目标票据中的位置之前，所述方法包括：
获取所述目标票据的图像；
对所述目标票据的图像进行文本识别，得到所述文本识别结果。
3.如权利要求2所述的方法，其特征在于，在对所述目标票据的图像进行文本识别，得到所述文本识别结果之后，所述方法还包括：
从所述文本识别结果中，确定预设的用于透视变换的至少四个参考项目分别在所述目标票据的图像中的第三位置；
确定所述至少四个参考项目分别在所述第一位置模板中的第四位置；
基于所述第三位置与所述第四位置，对所述文本识别结果进行透视变换，得到透视变换后的文本识别结果。
4.如权利要求1所述的方法，其特征在于，基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，包括：
获取预设的正则表达式；
根据所述正则表达式与所述文本识别结果的匹配结果，确定所述标识项目在所述目标票据中的位置。
5.如权利要求1所述的方法，其特征在于，基于所述候选第一对齐结果以及所述候选第二对齐结果分别与所述文本识别结果的对齐度，确定对应的所述候选模板票据与所述目标票据的匹配度，包括：
基于所述候选第一对齐结果确定对应的所述候选模板票据的第一位置模板与所述文本识别结果的第一对齐度；
基于所述候选第二对齐结果确定对应的所述候选模板票据的第二位置模板与所述文本识别结果的第二对齐度；
基于所述第一对齐度与所述第二对齐度确定对应的所述候选模板票据与所述目标票据的匹配度。
6.如权利要求1所述的方法，其特征在于，得到对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果之后，所述方法还包括：
若对应的所述候选模板票据与所述目标票据的匹配度达到预设阈值则停止从所述模板集合中继续选取下一个候选模板票据，并将当前所得到的所述候选信息提取结果确定为所述目标票据的票据信息。
7.一种票据信息提取装置，其特征在于，所述装置包括：
获取模块，配置为获取用于描述模板票据的项目位置分布的第一位置模板以及用于描述所述模板票据的项目值位置分布的第二位置模板；
确定模块，配置为基于目标票据的文本识别结果确定预设的标识项目在所述目标票据中的位置，其中，所述文本识别结果包含所识别出文本在所述目标票据上的位置信息；
第一对齐模块，配置为以所述标识项目在所述目标票据中的位置与所述标识项目在所述第一位置模板中的位置为对齐基准，将所述文本识别结果与所述第一位置模板进行第一对齐，并基于第一对齐结果确定所述目标票据的项目位置分布；
筛选模块，配置为基于所述目标票据的项目位置分布筛选出所述文本识别结果包含的所述目标票据的项目值；
第二对齐模块，配置为将所述目标票据的项目值与所述第二位置模板进行第二对齐，并基于第二对齐结果确定所述目标票据的项目分别所对应的项目值，得到所述目标票据的票据信息；
其中，预先根据票据类型在模板集合中设置多个候选模板票据，在未确定所述目标票据的票据类型时，按照预设顺序每次从所述模板集合中选取一个所述候选模板票据用于提取所述目标票据的票据信息，并得到对应的候选第一对齐结果、对应的候选第二对齐结果以及对应的候选信息提取结果；
基于所述候选第一对齐结果以及所述候选第二对齐结果分别与所述文本识别结果的对齐度，确定对应的所述候选模板票据与所述目标票据的匹配度；
基于所述匹配度从所得到的多个所述候选信息提取结果中筛选出所述目标票据的票据信息。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的票据信息提取方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的票据信息提取方法。
CN202011003120.9A 2020-09-22 2020-09-22 票据信息提取方法、装置及电子设备 Active CN112132016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011003120.9A CN112132016B (zh) 2020-09-22 2020-09-22 票据信息提取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003120.9A CN112132016B (zh) 2020-09-22 2020-09-22 票据信息提取方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112132016A CN112132016A (zh) 2020-12-25
CN112132016B true CN112132016B (zh) 2023-09-15

Family

ID=73842454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003120.9A Active CN112132016B (zh) 2020-09-22 2020-09-22 票据信息提取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112132016B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800848A (zh) * 2020-12-31 2021-05-14 中电金信软件有限公司 票据识别后信息结构化提取方法、装置和设备
CN113723347B (zh) * 2021-09-09 2023-11-07 京东科技控股股份有限公司 信息提取的方法、装置、电子设备及存储介质
CN113792681B (zh) * 2021-09-17 2024-05-28 平安科技（深圳）有限公司 基于点云匹配的信息采集方法、装置、电子设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839058A (zh) * 2012-11-21 2014-06-04 方正国际软件(北京)有限公司 一种基于标准模版的文档图像的信息定位方法
CN108806059A (zh) * 2018-05-08 2018-11-13 中山大学 基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法
CN109308476A (zh) * 2018-09-06 2019-02-05 邬国锐 票据信息处理方法、系统及计算机可读存储介质
CN110399798A (zh) * 2019-06-25 2019-11-01 朱跃飞 一种基于深度学习的离散图片文件信息提取系统及方法
CN110516664A (zh) * 2019-08-16 2019-11-29 咪咕数字传媒有限公司 票据识别方法、装置、电子设备及存储介质
CN110751143A (zh) * 2019-09-26 2020-02-04 中电万维信息技术有限责任公司 一种电子发票信息的提取方法及电子设备
CN111126125A (zh) * 2019-10-15 2020-05-08 平安科技（深圳）有限公司 证件中的目标文本提取方法、装置、设备及可读存储介质
CN111476227A (zh) * 2020-03-17 2020-07-31 平安科技（深圳）有限公司 基于ocr的目标字段识别方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839058A (zh) * 2012-11-21 2014-06-04 方正国际软件(北京)有限公司 一种基于标准模版的文档图像的信息定位方法
CN108806059A (zh) * 2018-05-08 2018-11-13 中山大学 基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法
CN109308476A (zh) * 2018-09-06 2019-02-05 邬国锐 票据信息处理方法、系统及计算机可读存储介质
CN110399798A (zh) * 2019-06-25 2019-11-01 朱跃飞 一种基于深度学习的离散图片文件信息提取系统及方法
CN110516664A (zh) * 2019-08-16 2019-11-29 咪咕数字传媒有限公司 票据识别方法、装置、电子设备及存储介质
CN110751143A (zh) * 2019-09-26 2020-02-04 中电万维信息技术有限责任公司 一种电子发票信息的提取方法及电子设备
CN111126125A (zh) * 2019-10-15 2020-05-08 平安科技（深圳）有限公司 证件中的目标文本提取方法、装置、设备及可读存储介质
CN111476227A (zh) * 2020-03-17 2020-07-31 平安科技（深圳）有限公司 基于ocr的目标字段识别方法、装置及存储介质

Also Published As

Publication number Publication date
CN112132016A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132016B (zh) 票据信息提取方法、装置及电子设备
CN112507936B (zh) 图像信息审核方法、装置、电子设备及可读存储介质
CN112016304A (zh) 文本纠错方法、装置、电子设备及存储介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN112052850A (zh) 车牌识别方法、装置、电子设备及存储介质
CN112396005A (zh) 生物特征图像识别方法、装置、电子设备及可读存储介质
CN111932562B (zh) 基于ct序列的图像识别方法、装置、电子设备及介质
CN112036292A (zh) 基于神经网络的文字识别方法、装置及可读存储介质
CN109784339A (zh) 图片识别测试方法、装置、计算机设备及存储介质
CN113705462A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113961473A (zh) 数据测试方法、装置、电子设备及计算机可读存储介质
CN112668575A (zh) 关键信息提取方法、装置、电子设备及存储介质
CN114708461A (zh) 基于多模态学习模型的分类方法、装置、设备及存储介质
CN112036304A (zh) 医疗票据版面识别的方法、装置及计算机设备
CN112560855B (zh) 图像信息提取方法、装置、电子设备及存储介质
CN111932413B (zh) 案件要素提取方法、装置、设备及介质
CN113344125A (zh) 长文本匹配识别方法、装置、电子设备及存储介质
CN113065607A (zh) 图像检测方法、装置、电子设备及介质
CN112613367A (zh) 票据信息文本框获取方法、系统、设备及存储介质
CN112541688A (zh) 业务数据校验方法、装置、电子设备及计算机存储介质
CN111814743A (zh) 笔迹识别方法、装置及计算机可读存储介质
CN116188189A (zh) 数据对账方法、装置、设备及介质
CN115203364A (zh) 软件故障反馈处理方法、装置、设备及可读存储介质
CN113221888B (zh) 车牌号管理系统测试方法、装置、电子设备及存储介质
CN112580505B (zh) 网点开关门状态识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant