CN111652232A - 票据识别方法及装置、电子设备和计算机可读存储介质 - Google Patents

票据识别方法及装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111652232A
CN111652232A CN202010479792.0A CN202010479792A CN111652232A CN 111652232 A CN111652232 A CN 111652232A CN 202010479792 A CN202010479792 A CN 202010479792A CN 111652232 A CN111652232 A CN 111652232A
Authority
CN
China
Prior art keywords
target
bill
training
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010479792.0A
Other languages
English (en)
Other versions
CN111652232B (zh
Inventor
张博熠
刘设伟
马文伟
王洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd, Taikang Online Property Insurance Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202010479792.0A priority Critical patent/CN111652232B/zh
Publication of CN111652232A publication Critical patent/CN111652232A/zh
Application granted granted Critical
Publication of CN111652232B publication Critical patent/CN111652232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Character Discrimination (AREA)

Abstract

本公开提供一种票据识别方法、装置以及电子设备和计算机可读存储介质，包括：获取目标训练票据图像，目标训练票据图像包括目标合成票据图像和目标真实票据图像；根据目标合成票据图像对目标识别模型进行预训练，目标识别模型包括第一神经网络、第二神经网络以及第三神经网络；根据目标真实票据图像，对预训练后的目标识别模型进行迁移训练；通过迁移训练后的第一神经网络对目标票据图像进行处理，以获得目标票据图像中的第一目标票据；通过迁移训练后的第二神经网络对第一目标票据进行处理，以获得第一目标票据中的目标文本框；通过迁移训练后的第三神经网络对目标文本框进行处理，以获得目标文本框中的目标文字信息。

Description

票据识别方法及装置、电子设备和计算机可读存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种票据识别方法及装置、电子设备和计算机可读存储介质。
背景技术
在保险行业中，由于保险种类繁杂多样，保障内容层出不穷，导致保险票据种类颇多。为了加快保险赔付过程，通常需要对保险票据进行自动识别以获取票据内容，即将非结构化的票据图像转换为结构化数据，以实现票据信息的提取。目前，对票据的结构化处理大概有以下两类：(1)票据影像的人工录入。这种方式需要员工进行人工操作，耗时费力，人力成本较高，且由于人工录入，不可避免的会带来一些人为错误；(2)基于OCR(OpticalCharacter Recognition，光学字符识别)技术对保险票据进行信息自动化提取。但是，OCR技术受较多因素的影响，导致识别效果较差。例如OCR技术会受到包括：复杂背景、艺术字体、低分辨率、非均匀光照、图像退化、字符形变、多语言混合、文本行复杂版式、检测框字符残缺等因素的影响，使得OCR技术的整体识别效果较差。
因此，一种能够对保险票据进行自动、准确并且高效识别的技术，对保险行业来说具有重大意义。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例提供一种票据识别方法及装置、电子设备和计算机可读存储介质，通过该方法提供的目标识别模型可以对目标类型的票据进行自动、高效准确地识别。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提出一种票据识别方法，该方法包括：获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像，所述目标识别模型包括第一神经网络、第二神经网络以及第三神经网络；根据所述目标合成票据图像对目标识别模型进行预训练；根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练；通过迁移训练后的所述第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据；通过迁移训练后的所述第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框；通过迁移训练后的所述第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。
在一些实施例中，所述目标合成票据图像包括第一训练票据；其中，根据所述目标合成票据图像对目标识别模型进行预训练，包括：通过所述第一训练票据在所述目标合成票据图像中的位置信息，训练所述目标识别模型的第一神经网络，所述第一训练票据包括第一训练文本框；通过所述第一训练文本框在所述第一训练票据中的位置信息，训练所述目标识别模型的第二神经网络；通过所述第一训练文本框中的文字信息，训练所述目标识别模型的第三神经网络。
在一些实施例中，所述目标真实票据图像包括第二训练票据；其中，根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练，包括：通过所述第二训练票据在所述目标真实票据图像中的位置信息对所述第一神经网络进行迁移训练，所述第二训练票据包括第二训练文本框；通过所述第二训练文本框在所述第二训练票据中的位置信息对所述第二神经网络进行迁移训练；通过所述第二训练文本框中的文字内容信息对所述第三神经网络进行迁移训练，以完成对所述目标识别模型的训练。
在一些实施例中，根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练，包括：通过预训练后的所述第一神经网络对所述目标真实票据图像进行处理，并根据所述第一神经网络的处理结果确定所述第二训练票据在所述目标真实票据图像中的位置信息；通过预训练后的所述第二神经网络对所述第二训练票据进行处理，并根据所述第二神经网络的处理结果确定所述第二训练文本框在所述第二训练票据中的位置信息；通过预训练后的所述第三神经网络对所述第二训练文本框进行处理，并根据所述第三神经网络的处理结果确定所述第二训练文本框中的文字内容信息。
在一些实施例中，所述票据识别方法还包括：获取第二目标票据的底板图像；获取所述第二目标票据的表单和印章；在所述第二目标票据的表单中生成票据文字，以获得票据文字表单；将所述票据文字表单、所述印章以及所述第二目标票据的底板图像融合，以形成初始合成票据图像；根据所述初始合成票据图像确定所述目标合成票据图像。
在一些实施例中，根据所述初始合成票据图像确定所述目标合成票据图像，包括：通过图像噪声处理技术对所述初始合成票据图像进行图像增强和图像变换处理，以生成所述目标合成票据图像。
在一些实施例中，将所述票据文字表单、所述印章以及所述第二目标票据的底板图像融合，以形成初始合成票据图像，包括：通过二层掩膜图和泊松融合技术将所述票据文字表单、所述印章与所述第二目标票据的底板图像融合，以形成所述初始合成票据图像。
本公开实施例提供一种票据识别装置，所述票据识别装置包括：目标训练票据图像获取模块、预训练模块、迁移训练模块、票据识别模块、文本框识别模块以及文字信息识别模块。
其中，所述目标训练票据图像获取模块可以配置为获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像。所述预训练模块可以配置为根据所述目标合成票据图像对目标识别模型进行预训练，所述目标识别模型包括第一神经网络、第二神经网络以及第三神经网络；所述迁移训练模块可以配置为根据所述目标真实票据图像对预训练后的目标识别模型进行迁移训练；所述票据识别模块，配置为通过迁移训练后的所述第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据；所述文本框识别模块，配置为通过迁移训练后的所述第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框；所述文字信息识别模块，配置为通过迁移训练后的所述第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。
本公开实施例提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的票据识别方法。
本公开实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一项所述的票据识别方法。
本公开某些实施例提供的票据识别方法、装置及电子设备和计算机可读存储介质，通过目标合成票据图像和目标真实票据图像对目标识别模型进行训练，既能通过目标合成票据图像保证训练目标识别模型时有足够多的训练数据，又能使得训练完成的目标识别模型实现对目标类型的票据进行自动、准确并且高效的识别。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了应用于本公开实施例的票据识别方法或票据识别装置的示例性系统架构的示意图。
图2根据一示例性实施例示出的一种应用于票据识别装置的计算机系统的结构示意图。
图3是根据一示例性实施例示出的一种票据识别方法的流程图。
图4是图3中步骤S1在一示例性实施例中的流程图。
图5是图3中步骤S2在一示例性实施例中的流程图。
图6是图3中步骤S3在一示例性实施例中的流程图。
图7是根据一示例性实施例示出的一种票据识别方法。
图8是根据一示例性实施例示出的一种票据识别系统。
图9是根据一示例性实施例示出的一种票据识别系统。
图10是根据一示例性实施例示出的一种票据识别装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。
下面结合附图对本公开示例实施方式进行详细说明。
图1示出了可以应用于本公开实施例的票据识别方法或票据识别装置的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。其中，终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
服务器105可例如获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像；服务器105可例如根据所述目标合成票据图像对目标识别模型进行预训练，所述目标识别模型包括第一神经网络、第二神经网络以及第三神经网络；服务器105可例如根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练，通过迁移训练后的所述第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据；通过迁移训练后的所述第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框；通过迁移训练后的所述第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图2，其示出了适于用来实现本申请实施例的终端设备的计算机系统200的结构示意图。图2示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从储存部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统200操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块和/或单元和/或子单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元和/或子单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些模块和/或单元和/或子单元的名称在某种情况下并不构成对该模块和/或单元和/或子单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像；根据所述目标合成票据图像对目标识别模型进行预训练，所述目标识别模型包括第一神经网络、第二神经网络以及第三神经网络；根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练，通过迁移训练后的所述第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据；通过迁移训练后的所述第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框；通过迁移训练后的所述第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。
在保险行业中，传统方法通常通过OCR技术对保险票据进行识别，以获得保险票据中的结构化信息。但是，一方面OCR技术受外界因素(例如复杂背景、光照不均压等)影响较大；另一方面，OCR技术属于多分类问题，对比英文识别，中文OCR具备更强挑战。例如英文数字可建模为62分类问题，若要识别中文10000个汉字，则需建模为10000分类问题。此外，中文的笔画复杂度、形近字数量、简繁体数量、版式排列、词语组合数量，都比纯英文识别挑战更大。
在一些实施例中，可以通过深度学习技术，基于真实票据对票据识别模型进行训练，以使得票据识别模型可以对票据进行识别。
但是，保险行业票据种类繁多，不同类型的票据的版面、图像背景、文字类型、文字大小、颜色、文本长度、关键内容都会存在比较大的差别。而在实际操作过程中，如果为不同种类的票据图像统一训练一个综合票据识别模型(可以通过该综合票据识别模型可以对不同类型的票据进行识别)。可想而知，由于该票据识别模型的综合性较强，导致对于不同类型的保险票据的针对性较弱，最终的识别效果较差。
因此，本公开实施例提供了一种可以针对不同类型的票据分别进行识别的票据识别方法。
但是，在实际操作中如果每次遇到不同地域不同版型的票据，都要收集真实票据以进行专项开发，既会因为收集真实票据导致研发效率降低，又会由于真实票据较少导致票据识别模型的识别效果较差。
本公开实施例提供一种票据识别方法，可以对票据进行高效、准确的识别。
图3是根据一示例性实施例示出的一种票据识别方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备处理，例如上述图1实施例中的服务器105和/或终端设备102、103，在下面的实施例中，以服务器105为执行主体为例进行举例说明，但本公开并不限定于此。
参照图3，本公开实施例提供的票据识别方法可以包括以下步骤。
在步骤S1中，获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像。
在一些实施例中，训练票据图像可以指的是一些既包括票据内容又包括背景图像的影像。
在一些实施例中，目标真实票据图像可以指的是在现实中获得的、实际存在的票据图像，目标合成票据图像可以指的是结合实际应用场景合成的票据图像。
在相关技术中，不同地区、不同业务的票据图像可以完全不同(例如，底板内容不同、格式排版不同、文字样式不同等)。
在一些实施例中，目标真实票据图像和目标合成票据图像可以包括不同类型的票据图像，也可以只包括同一类型的票据图像(例如票据所属地区、票据底板图像、票据内容排版以及票据包含的业务等相同)，例如目标真实票据图像和目标合成票据图像均是XX地区、XX业务的票据图像。
在步骤S2中，根据所述目标合成票据图像对目标识别模型进行预训练。
在一些实施例中，目标合成票据图像与实际应用的真实的票据图像相差无几，所以可以基于目标合成票据图像对目标识别模型进行预训练。
在步骤S3中，根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练，以便所述目标识别模型对目标类型的票据进行识别。
在一些实施例中，由于目标真实票据图像的数量可能较少，无法对目标识别模型进行独立训练。因此，可以在通过目标合成票据图像完成对目标识别模型的预训练之后，再通过目标真实票据图像对目标识别模型进行迁移训练。
本实施例提供的技术方案，首先通过目标合成票据对目标识别模型进行预训练，以便目标识别模型初步学习到票据中的特点；然后再通过目标真实票据图像对目标识别模型进行迁移训练，以便提高目标识别模型对目标类型的票据识别的准确率。本方案既可以通过目标合成票据图像解决由于目标真实票据图像数量过少，导致票据识别模型训练的无法完成的问题；又可以通过目标合成票据图像和目标真实图像的联合训练，提供票据识别的准确率；另外通过本实施例提供的技术方案，可以针对不同类型的票据训练不同的目标识别模型，以完成对对不同类型的票据的针对性识别，从而提高最终的版面、文字识别效果。
在现实生活中各个企业面对的纷繁复杂的各类票据，往往是同一种类别票据数量很少，而票据种类十分庞杂，版式多样。本实施例提供的技术方案既能规范、增效、加速研发周期，又能适应不同类别、不同地域的票据识别。
在一些实施例中，由于目标类型的真实票据图像的数量相对较少，无法完成对该目标类型的票据识别模型的训练。为解决票据识别模型的训练数据过少的问题，本公开实施例提供了一种票据图像生成方法，以合成目标合成票据图像。。
图4是图3中步骤S1在一示例性实施例中的流程图。参考图4，上述步骤S1可以包括以下步骤。
在步骤S11中，获取第二目标票据的底板图像。
在相关技术中，由于不同地区或不同业务的票据图像的底板图像不会相同，所以在合成票据图像时，需要针对不同的票据图像获取不同的底板图像。
在一些实施例中，第二目标票据可以是待生成的票据，第二目标票据的底板图像就是待生成票据的图像。
在步骤S12中，获取所述第二目标票据的表单和印章。
在一些实施例中，第二目标票据的表单可以指的是票据中文字所在表格的排版等，本公开对此不做限制。
在一些实施例中，还需要获取待生成的第二目标票据的印章。
可以理解的是，不同的票据可以有不同的表单和印章，为了确保目标合成票据的多样性，不同第二目标票据的表单和印章均可以是不同的。
在步骤S13中，在所述第二目标票据的表单中生成票据文字，以获得票据文字表单。
应该理解的是，为了保证目标合成票据图像的多样性，可以在不同的表单中填充不同的票据文字(例如，实际应用的文字内容)。
在步骤S14中，将所述票据文字表单、所述印章以及所述第二目标票据的底板图像融合，以形成初始合成票据图像。
在一些实施例中，可以通过二层掩膜图和泊松融合技术将所述票据文字表单、所述印章与所述第二目标票据的底板图像融合，以形成所述初始合成票据图像。
在步骤S15中，根据所述初始合成票据图像确定所述目标合成票据图像。
在一些实施例中，由于现实中不同的真实票据图像之间的背景、折叠情况、拍摄角度等都会不同。为了最大程度的模拟真实情况，在获得初始合成票据后，还需要对初始合成票据图像进行背景增加(不同的票据，背景图像可以不同)、折叠、噪声增加等处理，本公开对此不做限制。可以理解的是，不同的票据，背景图像、弯折情况、噪声添加等情况均可以不同。
在一些实施例中，还可以通过图像噪声处理技术对所述初始合成票据图像进行图像增强和图像变换处理，以生成所述目标合成票据图像。在一些实施例中，还可以通过图像折叠技术、图像褶皱技术、图像缺损技术等至少一种图像处理技术对初始合成票据图像进行图像处理，以获得目标合成票据图像。
在一些实施例中，还可以通过图像增强技术、图像折叠技术、图像褶皱技术、图像缺损技术等至少一种技术对真实的票据图像进行处理，以获得目标合成票据图像。
本实施例提供的技术方案，可以通过合成二层掩膜图和泊松融合的图像处理技术，并结合数据增强以及图像任意变换技术产出逼近真实图像，高仿真真实环境下由于人为对票据造成的折叠和拍照角度不同导致票据产生扭曲和形变效果。
可以理解的是，由于目标合成票据图像是合成的，所以目标合成票据图像中票据所在位置、文本框所在位置以及文本框中的文字内容均可以是已知的。
图5是图3中步骤S2在一示例性实施例中的流程图。参考图5，上述步骤S2可以包括以下步骤。
在步骤S21中，通过所述第一训练票据在所述目标合成票据图像中的位置信息，训练所述目标识别模型的第一神经网络，所述第一训练票据包括第一训练文本框。
在一些实施例中，目标合成票据图像中可以包括第一训练票据和第一训练票据的背景，其中第一训练票据中可以包括第一训练文本框(即第一训练票据中包括文字的文本框，可以是上述实施例中表单中的各个文本框)。
在一些实施例中，为了实现对目标类型票据的识别工作，可以通过包括第一训练票据的目标合成票据图像对目标识别模型进行训练。
在一些实施例中，在合成目标合成票据图像时，可以已知第一训练票据图像在目标合成票据图像中的位置信息，也可以已知各个第一训练文本框在第一训练票据中的位置。
在一些实施例中，可以通过第一训练票据在目标合成票据图像中的位置信息，可以训练目标识别模型的第一神经网络。
在一些实施例中，第一神经网络可以指的是dhSegment(deep-learning approachfor document Segmentation，用于文档分割的通用深度学习方法)网络。
可以理解的是，可以根据不同的票据类型选择不同的网络模型以识别票据图像中的票据信息，本公开对此不做限制。
在步骤S22中，通过所述第一训练文本框在所述第一训练票据中的位置信息，训练所述目标识别模型的第二神经网络。
在一些实施例中，第二神经网络可以是East(Efficient and Accuracy SceneText，高效和准确的场景文本检测)神经网络，还可以是CTPN网络模型，也可以是EAST网络模型。其中，文字检测算法有CTPN能有效定位长文本，并对检测的文字上下左右留有一定距离的余边，EAST能有效定位倾斜文字，并对检测的文字卡的较紧实等。
在一些实施例中，可以根据不同类型的票据，选择不同的网络模型以作为第二神经网络，以有效利用不同文本框检测算法模型的特点对需要检测的票据做灵活的模型搭配，通过选用不同的算法进行搭配，得到适合对应场景下最优的引擎模型和最佳的识别准确率。
在步骤S23中，通过所述第一训练文本框中的文字信息，训练所述目标识别模型的第三神经网络。
在一些实施例中，第三神经网络可以指的是CRNN(Convolutional RecurrentNeural Network，卷积循环神经网络)模型。可以理解的是，可以根据不同的票据图像确定不同的网络模型作为第三神经网络，本公开对此不做限制。
在一些实施例中，在合成目标票据图像时，可以同步记录各个文本框中的文字信息。
在一些实施例中，可以根据各个第一训练文本框中的文字信息，训练目标识别模型的第三神经网络。
本公开实施例提供的技术方案，一方面，可以根据不同的使用场景为不同的票据图像，有针对性的设置不同的第一神经网络、第二神经网络、第三神经网络，提供票据识别准确率；另一方面，通过目标合成票据图像对目标识别模型的各个神经网络进行预训练，有助于各个神经网络初步获取待识别票据的基本特征。
图6是图3中步骤S3在一示例性实施例中的流程图。参考图6，上述步骤S3可以包括以下步骤。
在步骤S31中，通过所述第二训练票据在所述目标真实票据图像中的位置信息对所述第一神经网络进行迁移训练，所述第二训练票据包括第二训练文本框。
在一些实施例中，目标真实票据图像中可以包括第二训练票据和第二训练票据的背景，第二训练票据中可以包括第二训练文本框(即第二训练票据中包括文字的文本框，可以是上述实施例中表单中的各个文本框)。
在一些实施例中，可以通过预训练后的目标识别模型的第一神经网络对目标真实票据进行处理，以初步确定第二训练票据在目标真实票据图像中的位置信息，然后再通过人为修订以确定第二训练票据在目标真实票据图像中的实际位置信息。
需要说明的是，其它可以确定第二训练票据在目标真实票据图像中位置的方法也在本公开的保护范围之内。
在另外一些实施例中，还可以只通过第二训练票据在目标真实票据图像中的位置信息对第一神经网络进行训练。
在步骤S32中，通过所述第二训练文本框在所述第二训练票据中的位置信息对所述第二神经网络进行迁移训练。
在一些实施例中，还可以通过预训练后的目标识别模型中的第二神经网络对第二训练票据进行处理，以初步确定第二训练文本框在第二训练票据中的位置信息，然后再通过人为修订以确定第二训练文本框在第二训练票据中的实际位置信息。
可以理解的是，其它可以准确确定第二训练文本框在第二训练票据中的实际位置的方法也在本公开的保护范围之内。
在一些实施例中，可以通过第二训练文本框在第二训练票据中的实际位置信息对目标识别模型的第二神经网络进行训练。
在步骤S33中，通过所述第二训练文本框中的文字内容信息对所述第三神经网络进行迁移训练，以完成对所述目标识别模型的训练。
在一些实施例中，还可以通过预训练后的目标识别模型中的第三神经网络对第二训练文本框中的文字内容信息进行识别，然后再通过人为修订以准确确定第二训练文本框中的文字内容信息。
本实施例提供的技术方案，通过目标真实票据图像对目标识别模型的各个神经网络进行迁移训练，有助于各个神经网络准确获取待识别票据的特征，以提高目标识别模型对票据识别的准确性。
图7是根据一示例性实施例示出的一种票据识别方法。参考图7，上述票据识别方法可以包括以下步骤。
在步骤S4中，通过所述目标识别模型的第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据。
在一些实施例中，目标票据图像可以指的是待识别的目标类型的票据图像。
在步骤S5中，通过所述目标识别模型的第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框。
在步骤S6中，通过所述目标识别模型的第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。
本实施例提供的技术方案，免去了中间人为去做数据分类和手工数据准备以及导入，全过程实现完全自动化流程控制。该方法可依据产生数据的类别的不同，针对性的训练对应的票据识别模型。如此不但保证了不同类型票据识别的通用性，也保障了每一类票据识别的准确率。
本公开实施例提供了一种票据识别系统。如图8所示，上述票据识别系统包括：合成票据图像生成子系统801、真实票据预处理子系统802、真实票据标注子系统803、票据识别子系统804。其中，票据识别子系统804可以包括票据定位单元8041、文本框检测单元8042以及文字识别单元8043。
上述票据识别系统对应的票据识别方法需要包括两大步骤：通过合成票据图像和真实票据图像对票据识别子系统进行训练；通过票据识别子系统对待识别的票据图像进行识别。
其中，通过合成票据图像和真实票据图像对票据识别子系统进行训练可以包括以下步骤：通过合成票据图像生成子系统801合成目标类型的目标合成票据图像；通过目标合成票据图像对票据识别子系统804中的票据定位网络8041、文本检测网络8042以及文字识别网络8043进行预训练；通过真实票据预处理子系统802对目标真实票据图像进行预处理(例如去噪、平滑等)；通过真实票据标注子系统对预处理后的目标真实票据进行标注处理，以确定目标真实票据中的票据以及文本框的位置信息(例如可以通过预训练后的票据识别子系统804对目标真实票据图像进行预处理，然后再通过人为修订，以确定目标真实票据中的票据以及文本框的位置信息)；通过目标真实票据图像对预训练后的票据定位网络8041、文本检测网络8042以及文字识别网络8043进行迁移训练。当目标识别模型训练结束后就可以对目标类型的而目标票据图像进行识别。
图9是根据一示例性实施例示出的一种票据识别系统。如图9所示，上述票据识别系统可以包括：数据层、训练层、测试层以及生产层。
其中，数据层可以包括合成图像样本自定义系统、真实样本图像标注系统。在一些实施例中，根据图像样本自定义系统可以自定义生成不同的合成票据图像(包括票据位置信息、文本框位置信息以及文本框中文字内容信息)、根据真实样本图像标注系统可以确定真实票据图像中的票据位置信息、文本框位置信息以及文本框中文字内容信息。
在一些实施例中，训练层可以包括票据定位模型、文本框检测模型以及文字识别模型，其中票据定位模型可以用来识别票据图像中的票据信息，文本框检测模型可以用来识别票据信息的文本框信息，文字识别模型可以用来识别文本框信息中的文字内容信息。
在一些实施例中，可以根据数据层中的真实票据图像及其标签信息(例如票据位置信息、文本框位置信息以及文本框中文字内容信息)、合成图像及其标签信息训练训练层中的各个网络模型。
在一些实施例中，为了有针对性的对不同类型的票据进行识别，训练层中可以针对不同的票据类型设置不同的票据识别模型(一个票据定位模型+文本框检测模型+文字识别模型可以为一个票据识别模型)，那么当数据层获得待训练票据时，可以根据待训练票据的类型训练不同的票据识别模型。
在一些实施例中，当训练层中的各个票据识别模型训练完成后，可以通过测试层进行测试过程。其中测试过程可以包括：对待测试票据进行图像预处理；通过票据定位模型对待测试票据图像进行票据定位，以确定目标票据；通过文本框检测模型对目标票据中的文本框进行定位，以确定目标文本框；通过文字识别模型对目标文本框中的目标文字进行识别；根据目标识别文字与待训练票据图像中的已知标签(例如待训练票据图像中目标票据的位置信息、文本框位置信息以及文字内容信息)做比对，并输出评估效果。
在一些实施例中，若训练完成后的票据定位模型、文本框检测模型以及文字识别模型，在测试层中测试通过后则可以进入生产层，以面对用户。
在现实生活中企业面对的纷繁复杂的各类票据，往往是同一种类别票据数量很少，而票据种类十分庞杂，版式多样。为解决企业用户的需求，本公开实施例提供的技术方案，针对不同类型的票据分别训练不同的票据识别模型，既能规范，增效，加速研发周期，又能适应不同类别，不同地域的单据识别。本实施例提供的数据层的核心是由真实样本标注系统、合成图像样本自定义系统组成。
在一些实施例中，用户可以直接通过网页操控通过合成图像自定义系统产生用户需要的高仿真票据图像，其中合成图像自定义系统可以采用数据增强、深度图与图像分割、深度学习生成对抗网络等诸多新技术，合成大量与真实样本图像相近的数据，以用于深度学习模型的训练，再通过少量真实样本对训练好的模型进行微调。
本公开实施例提供的数据层不但充分利用了数据，解决了数据来源的问题，还将通过数据层产生的数据按类别自动加载到模型训练层，充分实现高效的专用专研。
本实施例提供的训练层核心是由票据定位深度学习模型框架，文字检测深度学习模型框架和文字识别深度学习框架组成，可以利用深度学习算法dhSegment进行票据版面的定位，EAST进行文字检测和CRNN进行文字识别的模型训练。免去了中间人为去做数据分类和手工数据准备以及导入，全过程实现完全自动化流程控制。该系统可依据产生数据的类别不同针对性的训练对应的票据文字检测和文字识别模型，如此不但保证了测试层票据识别的通用性，也保障了每一类票据识别的准确率。该一体化框架通过强大的数据层与训练层的紧密对接，充分做到了为测试层多类别，多版面，多地区的票据识别框架保驾护航。
数据层和训练层解决了高精度票据定位，文字检测和文字识别的问题，测试层则提供了一套完整的OCR票据识别验证系统，真正实现了针对不同类别不同地区进行专用化票据识别。结构上的模块化，功能上的可配置化，最终实现了对不同类别，不同版型，不同地区的票据文字内容精准化识别和结果评估。生产层则可以为企业解决人工票据识别的耗时和准确率低，减少人力成本和提升工作实效性。一体化OCR系统让保险服务环节实现大大提速，极大提高客户体验满意度的同时，还为公司节省大量人力物力财力。
图10是根据一示例性实施例示出的一种票据识别装置的框图。参照图10，本公开实施例提供的票据识别装置1000可以包括：目标训练票据图像获取模块1001、预训练模块1002、迁移训练模块1003、票据识别模块1004、文本框识别模块1005以及文字内容识别模块1006。
其中，所述目标训练票据图像获取模块1001可以配置为获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像。所述预训练模块1002可以配置为根据所述目标合成票据图像对目标识别模型进行预训练，所述目标识别模型包括第一神经网络、第二神经网络以及第三神经网络。所述迁移训练模块1003可以配置为根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练。所述票据识别模块1004可以配置为通过迁移训练后的所述第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据。所述文本框识别模块1005可以配置为通过迁移训练后的所述第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框。所述文字信息识别模块1006可以配置为通过迁移训练后的所述第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。在一些实施例中，所述目标合成票据图像包括第一训练票据。
在一些实施例中，所述预训练模块1002可以包括：第一神经网络训练单元、第二神经网络训练单元以及第三神经网络训练单元。
其中，所述第一神经网络训练单元可以配置为通过所述第一训练票据在所述目标合成票据图像中的位置信息，训练所述目标识别模型的第一神经网络，所述第一训练票据包括第一训练文本框。所述第二神经网络训练单元可以配置为通过所述第一训练文本框在所述第一训练票据中的位置信息，训练所述目标识别模型的第二神经网络。所述第三神经网络训练单元可以配置为通过所述第一训练文本框中的文字信息，训练所述目标识别模型的第三神经网络。
在一些实施例中，所述目标真实票据图像包括第二训练票据。
在一些实施例中，所述迁移训练模块1003可以包括：第一神经网络迁移训练单元、第二神经网络迁移训练单元以及第三神经网络迁移训练单元。
其中，所述第一神经网络迁移训练单元可以配置为通过所述第二训练票据在所述目标真实票据图像中的位置信息对所述第一神经网络进行迁移训练，所述第二训练票据包括第二训练文本框。所述第二神经网络迁移训练单元可以配置为通过所述第二训练文本框在所述第二训练票据中的位置信息对所述第二神经网络进行迁移训练。所述第三神经网络迁移训练单元可以配置为通过所述第二训练文本框中的文字内容信息对所述第三神经网络进行迁移训练，以完成对所述目标识别模型的训练。
在一些实施例中，所述迁移训练模块1003可以包括：第一位置信息确定单元、第二位置确定单元以及文字内容信息确定单元。
其中，所述第一位置信息确定单元可以配置为通过预训练后的所述第一神经网络对所述目标真实票据图像进行处理，并根据所述第一神经网络的处理结果确定所述第二训练票据在所述目标真实票据图像中的位置信息。所述第二位置确定单元可以配置为通过预训练后的所述第二神经网络对所述第二训练票据进行处理，并根据所述第二神经网络的处理结果确定所述第二训练文本框在所述第二训练票据中的位置信息。所述文字内容信息确定单元可以配置为通过预训练后的所述第三神经网络对所述第二训练文本框进行处理，并根据所述第三神经网络的处理结果确定所述第二训练文本框中的文字内容信息。
在一些实施例中，所述目标训练票据图像获取模块1001可以包括：底板图像获取单元、印章获取单元、文字表单生成单元、融合单元、目标合成票据图像生成单元。
其中，所述底板图像获取单元可以配置为取第二目标票据的底板图像。所述印章获取单元可以配置为获取所述第二目标票据的表单和印章。所述文字表单生成单元可以配置为在所述第二目标票据的表单中生成票据文字，以获得票据文字表单。所述融合单元可以配置为将所述票据文字表单、所述印章以及所述第二目标票据的底板图像融合，以形成初始合成票据图像。所述目标合成票据图像生成单元可以配置为根据所述初始合成票据图像确定所述目标合成票据图像。
在一些实施例中，所述目标合成票据图像生成单元可以包括：噪声处理子单元。
其中，所述噪声处理子单元可以配置为通过图像噪声处理技术对所述初始合成票据图像进行图像增强和图像变换处理，以生成所述目标合成票据图像。
在一些实施例中，所述融合单元可以包括：初始合成子单元。
其中，所述初始合成子单元可以配置为通过二层掩膜图和泊松融合技术将所述票据文字表单、所述印章与所述第二目标票据的底板图像融合，以形成所述初始合成票据图像。
由于本公开的示例实施例的票据识别装置1000的各个功能模块与上述票据识别方法的示例实施例的步骤对应，因此在此不再赘述。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者智能设备等)执行根据本公开实施例的方法，例如图3的一个或多个所示的步骤。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种票据识别方法，其特征在于，包括：
获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像；
根据所述目标合成票据图像对目标识别模型进行预训练，所述目标识别模型包括第一神经网络、第二神经网络以及第三神经网络；
根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练；
通过迁移训练后的所述第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据；
通过迁移训练后的所述第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框；
通过迁移训练后的所述第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。
2.根据权利要求1所述方法，其特征在于，所述目标合成票据图像包括第一训练票据；其中，根据所述目标合成票据图像对目标识别模型进行预训练，包括：
通过所述第一训练票据在所述目标合成票据图像中的位置信息，训练所述目标识别模型的第一神经网络，所述第一训练票据包括第一训练文本框；
通过所述第一训练文本框在所述第一训练票据中的位置信息，训练所述目标识别模型的第二神经网络；
通过所述第一训练文本框中的文字信息，训练所述目标识别模型的第三神经网络。
3.根据权利要求1所述方法，其特征在于，所述目标真实票据图像包括第二训练票据；其中，根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练，包括：
通过所述第二训练票据在所述目标真实票据图像中的位置信息对所述第一神经网络进行迁移训练，所述第二训练票据包括第二训练文本框；
通过所述第二训练文本框在所述第二训练票据中的位置信息对所述第二神经网络进行迁移训练；
通过所述第二训练文本框中的文字内容信息对所述第三神经网络进行迁移训练，以完成对所述目标识别模型的训练。
4.根据权利要求3所述方法，其特征在于，根据所述目标真实票据图像，对预训练后的目标识别模型进行迁移训练，包括：
通过预训练后的所述第一神经网络对所述目标真实票据图像进行处理，并根据所述第一神经网络的处理结果确定所述第二训练票据在所述目标真实票据图像中的位置信息；
通过预训练后的所述第二神经网络对所述第二训练票据进行处理，并根据所述第二神经网络的处理结果确定所述第二训练文本框在所述第二训练票据中的位置信息；
通过预训练后的所述第三神经网络对所述第二训练文本框进行处理，并根据所述第三神经网络的处理结果确定所述第二训练文本框中的文字内容信息。
5.根据权利要求1所述方法，其特征在于，还包括：
获取第二目标票据的底板图像；
获取所述第二目标票据的表单和印章；
在所述第二目标票据的表单中生成票据文字，以获得票据文字表单；
将所述票据文字表单、所述印章以及所述第二目标票据的底板图像融合，以形成初始合成票据图像；
根据所述初始合成票据图像确定所述目标合成票据图像。
6.根据权利要求5所述方法，其特征在于，根据所述初始合成票据图像确定所述目标合成票据图像，包括：
通过图像噪声处理技术对所述初始合成票据图像进行图像增强和图像变换处理，以生成所述目标合成票据图像。
7.根据权利要求5所述方法，其特征在于，将所述票据文字表单、所述印章以及所述第二目标票据的底板图像融合，以形成初始合成票据图像，包括：
通过二层掩膜图和泊松融合技术将所述票据文字表单、所述印章与所述第二目标票据的底板图像融合，以形成所述初始合成票据图像。
8.一种票据识别装置，其特征在于，包括：
目标训练票据图像获取模块，配置为获取目标训练票据图像，所述目标训练票据图像包括目标合成票据图像和目标真实票据图像；
预训练模块，配置为根据所述目标合成票据图像对目标识别模型进行预训练，所述目标识别模型包括第一神经网络、第二神经网络以及第三神经网络；
迁移训练模块，配置为根据所述目标真实票据图像对预训练后的目标识别模型进行迁移训练；
票据识别模块，配置为通过迁移训练后的所述第一神经网络对目标票据图像进行处理，以获得所述目标票据图像中的第一目标票据；
文本框识别模块，配置为通过迁移训练后的所述第二神经网络对所述第一目标票据进行处理，以获得所述第一目标票据中的目标文本框；
文字信息识别模块，配置为通过迁移训练后的所述第三神经网络对所述目标文本框进行处理，以获得所述目标文本框中的目标文字信息，实现对所述目标票据图像的识别。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202010479792.0A 2020-05-29 2020-05-29 票据识别方法及装置、电子设备和计算机可读存储介质 Active CN111652232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010479792.0A CN111652232B (zh) 2020-05-29 2020-05-29 票据识别方法及装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010479792.0A CN111652232B (zh) 2020-05-29 2020-05-29 票据识别方法及装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111652232A true CN111652232A (zh) 2020-09-11
CN111652232B CN111652232B (zh) 2023-08-22

Family

ID=72348139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010479792.0A Active CN111652232B (zh) 2020-05-29 2020-05-29 票据识别方法及装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111652232B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183594A (zh) * 2020-09-17 2021-01-05 微民保险代理有限公司 票据图像的处理方法和装置、存储介质及电子设备
CN112541443A (zh) * 2020-12-16 2021-03-23 平安科技（深圳）有限公司 发票信息抽取方法、装置、计算机设备及存储介质
CN112633251A (zh) * 2021-01-07 2021-04-09 南方电网深圳数字电网研究院有限公司 基于文本识别的目标单据获取方法、装置及存储介质
CN112784751A (zh) * 2021-01-22 2021-05-11 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、设备以及介质
CN112837466A (zh) * 2020-12-18 2021-05-25 北京百度网讯科技有限公司 票据识别方法、装置、设备以及存储介质
CN113435437A (zh) * 2021-06-24 2021-09-24 随锐科技集团股份有限公司 开关分合指示牌状态的识别方法、识别装置及存储介质
CN113705554A (zh) * 2021-08-13 2021-11-26 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、设备及存储介质
CN114998277A (zh) * 2022-06-16 2022-09-02 吉林大学 抓取点识别方法、装置、电子设备及计算机存储介质
US11972489B1 (en) 2020-04-24 2024-04-30 State Farm Mutual Automobile Insurance Company Claims process assistance using models
CN112183594B (zh) * 2020-09-17 2024-06-11 微民保险代理有限公司 票据图像的处理方法和装置、存储介质及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446621A (zh) * 2018-03-14 2018-08-24 平安科技（深圳）有限公司 票据识别方法、服务器及计算机可读存储介质
CN109214386A (zh) * 2018-09-14 2019-01-15 北京京东金融科技控股有限公司 用于生成图像识别模型的方法和装置
CN109635627A (zh) * 2018-10-23 2019-04-16 中国平安财产保险股份有限公司 图片信息提取方法、装置、计算机设备及存储介质
US20190164012A1 (en) * 2017-06-13 2019-05-30 Digital Surgery Limited State detection using machine-learning model trained on simulated image data
CN110008956A (zh) * 2019-04-01 2019-07-12 深圳市华付信息技术有限公司 发票关键信息定位方法、装置、计算机设备及存储介质
CN110163285A (zh) * 2019-05-23 2019-08-23 阳光保险集团股份有限公司 票证识别训练样本合成方法和计算机存储介质
CN110287911A (zh) * 2019-06-28 2019-09-27 广东工业大学 一种发票的内容识别方法、装置、设备及存储介质
US20190318204A1 (en) * 2019-06-25 2019-10-17 Intel Corporation Methods and apparatus to manage tickets
CN110689658A (zh) * 2019-10-08 2020-01-14 北京邮电大学 一种基于深度学习的出租车票据识别方法和系统
CN110751143A (zh) * 2019-09-26 2020-02-04 中电万维信息技术有限责任公司 一种电子发票信息的提取方法及电子设备
CN110766014A (zh) * 2018-09-06 2020-02-07 邬国锐 票据信息定位方法、系统及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190164012A1 (en) * 2017-06-13 2019-05-30 Digital Surgery Limited State detection using machine-learning model trained on simulated image data
CN108446621A (zh) * 2018-03-14 2018-08-24 平安科技（深圳）有限公司 票据识别方法、服务器及计算机可读存储介质
CN110766014A (zh) * 2018-09-06 2020-02-07 邬国锐 票据信息定位方法、系统及计算机可读存储介质
CN109214386A (zh) * 2018-09-14 2019-01-15 北京京东金融科技控股有限公司 用于生成图像识别模型的方法和装置
CN109635627A (zh) * 2018-10-23 2019-04-16 中国平安财产保险股份有限公司 图片信息提取方法、装置、计算机设备及存储介质
CN110008956A (zh) * 2019-04-01 2019-07-12 深圳市华付信息技术有限公司 发票关键信息定位方法、装置、计算机设备及存储介质
CN110163285A (zh) * 2019-05-23 2019-08-23 阳光保险集团股份有限公司 票证识别训练样本合成方法和计算机存储介质
US20190318204A1 (en) * 2019-06-25 2019-10-17 Intel Corporation Methods and apparatus to manage tickets
CN110287911A (zh) * 2019-06-28 2019-09-27 广东工业大学 一种发票的内容识别方法、装置、设备及存储介质
CN110751143A (zh) * 2019-09-26 2020-02-04 中电万维信息技术有限责任公司 一种电子发票信息的提取方法及电子设备
CN110689658A (zh) * 2019-10-08 2020-01-14 北京邮电大学 一种基于深度学习的出租车票据识别方法和系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11972489B1 (en) 2020-04-24 2024-04-30 State Farm Mutual Automobile Insurance Company Claims process assistance using models
CN112183594A (zh) * 2020-09-17 2021-01-05 微民保险代理有限公司 票据图像的处理方法和装置、存储介质及电子设备
CN112183594B (zh) * 2020-09-17 2024-06-11 微民保险代理有限公司 票据图像的处理方法和装置、存储介质及电子设备
CN112541443A (zh) * 2020-12-16 2021-03-23 平安科技（深圳）有限公司 发票信息抽取方法、装置、计算机设备及存储介质
CN112541443B (zh) * 2020-12-16 2024-05-10 平安科技（深圳）有限公司 发票信息抽取方法、装置、计算机设备及存储介质
CN112837466A (zh) * 2020-12-18 2021-05-25 北京百度网讯科技有限公司 票据识别方法、装置、设备以及存储介质
CN112633251A (zh) * 2021-01-07 2021-04-09 南方电网深圳数字电网研究院有限公司 基于文本识别的目标单据获取方法、装置及存储介质
CN112784751A (zh) * 2021-01-22 2021-05-11 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、设备以及介质
CN113435437A (zh) * 2021-06-24 2021-09-24 随锐科技集团股份有限公司 开关分合指示牌状态的识别方法、识别装置及存储介质
CN113705554A (zh) * 2021-08-13 2021-11-26 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、设备及存储介质
CN114998277A (zh) * 2022-06-16 2022-09-02 吉林大学 抓取点识别方法、装置、电子设备及计算机存储介质
CN114998277B (zh) * 2022-06-16 2024-05-17 吉林大学 抓取点识别方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN111652232B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111652232B (zh) 票据识别方法及装置、电子设备和计算机可读存储介质
US20230401828A1 (en) Method for training image recognition model, electronic device and storage medium
CN110990053A (zh) 机器学习方案模板的创建方法、使用方法及装置
CN113704614A (zh) 基于用户画像的页面生成方法、装置、设备及介质
CN113705733A (zh) 医疗票据图像处理方法及装置、电子设备、存储介质
CN115917613A (zh) 文档中文本的语义表示
CN113627395A (zh) 文本识别方法、装置、介质及电子设备
CN115471775A (zh) 基于录屏视频的信息验证方法、装置、设备及存储介质
EP3913533A2 (en) Method and apparatus of processing image device and medium
CN112464927B (zh) 一种信息提取方法、装置及系统
CN111881900B (zh) 语料生成、翻译模型训练、翻译方法、装置、设备及介质
CN116484836B (zh) 基于nlp模型的问卷生成系统、方法、电子设备及介质
CN112560855A (zh) 图像信息提取方法、装置、电子设备及存储介质
CN115130437B (zh) 一种文档智能填写方法、装置及存储介质
CN116453125A (zh) 基于人工智能的数据录入方法、装置、设备及存储介质
CN113822215A (zh) 设备操作指引文件生成方法、装置、电子设备及存储介质
CN113128496B (zh) 一种从图像中提取结构化数据的方法、装置和设备
CN114972006A (zh) 图像生成方法、装置、设备和存储介质
CN114067343A (zh) 一种数据集的构建方法、模型训练方法和对应装置
CN113569741A (zh) 图像试题的答案生成方法、装置、电子设备及可读介质
CN113704650A (zh) 信息展示方法、装置、系统、设备及存储介质
US20240135740A1 (en) System to extract checkbox symbol and checkbox option pertaining to checkbox question from a document
CN111768261B (zh) 一种展示信息确定方法、装置、设备及介质
EP4300445A1 (en) Generalizable key-value set extraction from documents using machine learning models
CN117437649A (zh) 文件签章方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant