CN112949450B - 票据处理方法、装置、电子设备和存储介质 - Google Patents
票据处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112949450B CN112949450B CN202110214584.2A CN202110214584A CN112949450B CN 112949450 B CN112949450 B CN 112949450B CN 202110214584 A CN202110214584 A CN 202110214584A CN 112949450 B CN112949450 B CN 112949450B
- Authority
- CN
- China
- Prior art keywords
- image
- theme
- bill
- text
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000003058 natural language processing Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
本公开公开了一种票据处理方法，涉及人工智能领域，尤其涉及自然语言处理和图像处理领域。具体实现方案为：票据包括多个预设的主题以及与各个主题对应的内容，使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系，作为第一识别结果；使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系，作为第二识别结果；根据第一识别结果和第二识别结果生成票据信息。本公开还公开了一种票据处理装置、电子设备和存储介质。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及自然语言处理和图像处理技术。更具体地，本公开提供了一种票据处理方法、装置、电子设备和存储介质。
背景技术
票据通常是纸质或图片形式，实际应用中经常会遇到需要将票据内容录入到电子文档中的情况。目前采用人工手动录入票据内容的方式，效率低并且人为误差大。
发明内容
本公开提供了一种票据处理方法、装置、设备以及存储介质。
根据第一方面，提供了一种票据处理方法，票据包括多个预设的主题以及与各个主题对应的内容，该方法包括：使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系，作为第一识别结果；使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系，作为第二识别结果；根据第一识别结果和第二识别结果生成票据信息。
根据第二方面，提供了一种票据处理装置，票据包括多个预设的主题以及与各个主题对应的内容，装置包括：第一识别模块，用于使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系，作为第一识别结果；第二识别模块，用于使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系，作为第二识别结果；生成模块，用于根据第一识别结果和第二识别结果生成票据信息。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1A是根据本公开一个实施例的可以应用票据处理方法和装置的示例性系统架构示意图；
图1B是根据本公开一个实施例的票据的示例性示意图；
图2是根据本公开的一个实施例的票据处理方法的流程图；
图3是根据本公开的一个实施例的票据处理方法的系统示意图；
图4是根据本公开的一个实施例的从票据图像中识别出多个文字块的方法的示意图；
图5是根据本公开的一个实施例的基于文字块和文字块的位置进行自然语言处理的方法的示意图；
图6是根据本公开的一个实施例的使用第二识别模型对票据图像进行图像处理的方法的流程图；
图7是根据本公开的一个实施例的票据处理装置的框图；
图8是根据本公开的一个实施例的票据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
许多行业经常会遇到将票据内容转化为结构化信息录入到系统的任务，以形成电子记录文档，这里的票据通常为纸质或图片形式。目前人工手动录入票据内容的方式，效率低并且人为误差大。
票据可以是各种行业、各种类型的票据，例如银行、保险行业的金融票据、医疗行业的检查单票据等。票据中包括多个主题和与各个主题对应的内容，主题例如可以是金额、单价、数量等，内容可以是对应主题的具体值，例如与金额、单价、数量对应的内容可以是20元、5元和4个。
不同行业、不同类型的票据中主题和内容的对应关系不同，例如，内容可以在主题的下方，或者在主题的右方。对于对应关系确定的单一类型票据(如内容均在主题的下方)，可以根据对应关系确定提取规则，编写出提取模板，利用模板可以针对该类型的票据直接进行信息提取。但是实际应用中票据往往是各种各样的，单一类型的提取规则不能满足多种票据的提取需求，如果针对每种票据均编写提取模板，则任务量大，遇到新类型的票据，还需要新增新模板，且大量的模板也不便于维护。
图1A是根据本公开一个实施例的可以应用票据处理方法和装置的示例性系统架构示意图。需要注意的是，图1A所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1A所示，根据该实施例的系统架构100可以包括多个终端设备101、网络102、服务器103和服务器104。网络102用以在终端设备101和服务器103、104之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101通过网络102与服务器103、104进行交互，以接收或发送消息等。终端设备101可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
服务器103和服务器104均可以是提供票据处理服务的服务器。服务器103可以提供基于自然语言处理的票据识别模型，使用基于自然语言处理的票据识别模型对票据图像进行处理。服务器104可以提供基于图像处理的票据识别模型，使用基于图像处理的票据识别模型对票据图像进行处理。
例如，服务器103提供的基于自然语言处理的票据识别模型可以对票据图像进行文字识别，然后根据识别出的主题、主题的位置、内容以及内容的位置，确定主题与内容之间的对应关系。服务器104提供的基于图像处理的票据识别模型可以检测出包含内容的图像块，并将图像块划分到多个类别之一，每个类别对应一个主题，通过文字识别技术识别出图像块中的内容，根据图像块的类别确定图像块中的内容对应的主题。需要说明的是，基于自然语言处理的票据识别模型和基于图像处理的票据识别模型由不同的服务器提供仅为示例，两个模型可以在同一服务器中训练，并由该同一服务器同时提供该两个模型。
例如，用户利用终端设备101上传的票据图像，服务器103和服务器104均可以对票据图像进行识别，识别出票据图像中的多个主题、多个内容，以及各个主题与各个内容之间的对应关系。可以综合服务器103和服务器104的识别结果，选取出准确率更高的对应关系识别结果，得到每个内容对应的主题，从而可以将主题和内容相对应地录入到电子文档或系统中。
具体地，基于自然语言处理的票据识别模型对于语义理解能力更强，对于字体大小相同或字体类型相同的内容，能够基于语义将这些内容划分到不同的主题。基于图像处理的票据识别模型能够敏锐的捕获字体大小、字体类型的差异，对于没有显著的关键词字、字体较大或较小、字体加粗等特点的主题，可以准确识别出来。因此，对于字体大小相同或字体类型相同的主题可以选择基于自然语言处理的票据识别模型的识别结果，对于字体特征显著的主题可以选择基于图像处理的票据识别模型的识别结果，综合两个模型的识别结果，可以使得票据识别结果的准确率更高。
图1B是根据本公开一个实施例的票据的示例性示意图。
如图1B所示，票据110中的主题包括“项目规格”、“数量”、“单价”、“计价”和“应收备注”。与“项目规格”对应的内容可以包括“1”和“2”，与“数量”对应的内容可以包括“1人次”，与“单价”对应的内容可以包括“15”和“10”，与“应收备注”对应的内容可以包括“15(1)”和“10(5)”。
图2是根据本公开的一个实施例的票据处理方法的流程图。
如图2所示，该票据处理方法200可以包括操作S210～操作S230。
在操作S210，使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系。
具体地，第一识别模型可以包括第一图文识别层和自然语言处理层，第一图文识别层可以是基于OCR技术的处理层，自然语言处理层可以是基于文本语料训练出来的包含大量语义知识的自然语言处理模型，例如可以是Bert(Bidirectional encoderrepresentation from transformers，双向转换的编码)模型，或者是ERNIE(EnhancedRepresentation from kNowledge IntEgration，知识增强语义表示)模型。
针对票据图像，第一图文识别层可以从票据图像中识别出多个文字块，这些识别出的文字块中包含了表示主题的文字块和表示内容的文字块。在识别出这些文字块之后，还可以确定每个文字块在票据图像中的位置，例如，文字块的左上角顶点和右下角顶点的坐标可以确定文字块的位置。
针对识别出的文字块，自然语言处理层可以对文字块进行语义分析，根据预设的主题的语义，识别出文字块是主题还是内容，从而将识别出的文字块划分为表示主题的第一文字块和表示内容的第二文字块。例如，第一文字块包括“数量”和“单价”等，第二文字块包括“1人次”和“15”等。根据各个第一文字块与各个第二文字块之间的语义关系和位置关系可以确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。例如，根据“1人次”与“数量”之间的语义关系和位置关系，以及“1人次”与“单价”之间的语义关系，可以确定内容“1人次”与主题“数量”相对应。
在操作S220，使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系。
第二识别模型可以包括图像处理层和第二图文识别层。图像处理层可以是基于图像样本训练出来的目标检测模型，如Cascade-R-CNN等。第二图文识别层可以是基于OCR技术的处理层。
针对票据图像，目标检测模型可以从图像中检测出包含主题的图像块和包含内容的图像块，将每个图像块划分到预设的多个类别之一，每个类别对应一个主题。例如，图像块1的类别是A，图像块2的类别是B，类别A对应主题“数量”，类别B对应主题“单价”。
第二图文识别层可以识别出图像块中的文字，针对包含内容的图像块，识别出图像块中的内容，根据图像块的类别，可以确定图像块中的内容对应的主题。例如，图像块1中的内容是“1人次”，图像块1的类别是A，类别A对应主题“数量”，则确定内容“1人次”与主题“数量”相对应。
在操作S230，根据第一识别结果和第二识别结果生成票据信息。
具体地，第一识别模型的识别结果可以作为第一识别结果，第二识别模型的识别结果可以作为第二识别结果。综合第一识别结果和第二识别结果可以得到准确率更高的票据信息识别结果。例如可以从第一识别结果中选取至少一个第一主题，以及与各个第一主题对应的内容，从第二识别结果中选取除第一主题以外的至少一个第二主题以及与各个第二主题对应的内容，结合所选取的第一主题、与第一主题对应的内容、第二主题以及与第二主题对应的内容，生成票据信息。
具体地，第二识别模型对于图像特征识别能力更强，票据图像中如果某一主题对应的内容采用特殊字体，则第二识别模型能够准确地识别与该主题对应的内容。例如，主题“单价”的内容均相比于其他内容字体加大并加粗，则第二识别模型能够准确地识别出使用该特殊字体的图像块，并将这些图像块分类为与主题“单价”对应的类别，使用特殊字体的图像块中的内容均与“单价”相对应。
具体地，第一识别模型对于语义理解能力更强，对于字体大小相同或字体类型相同的内容，可以基于语义将这些内容区分开来。例如，主题“数量”的内容与主题“应收备注”的内容字体类型和大小相似，第一识别模型可以基于语义识别出“1人次”与“数量”对应，“10(5)”与“应收备注”对应。
因此，可以从第一识别结果中选取主题“数量”、与“数量”对应的内容、主题“应收备注”与“应收备注”对应的内容，从第二识别结果中选取主题“单价”以及与“单价”对应的内容。此外，对于主题“项目规格”、与“项目规格”对应的内容、“计价”、与“计价”对应的内容可以从第一识别结果中选取或者从第二识别结果中选取。最终可以结合所选取的各个主题以及与各个主题对应的内容生成票据信息，票据信息可以是结构化形式，例如{“项目规格”：“1”}、{“数量”：“1人次”}以及{“单价”：“15”}等等。
根据本公开的实施例，使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系，作为第一识别结果，使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系，作为第二识别结果，根据第一识别结果和第二识别结果生成票据信息，相比于人工手动录入票据信息，能够提高票据处理效率，并且减少误差。
图3是根据本公开的一个实施例的票据处理方法的系统示意图。
如图3所示，该系统包括自然语言处理模块311、图像处理模块312和融合模块313。自然语言处理模块311包括第一图文识别子模块3111和自然语言处理子模块3112，图像处理模块312包括图像处理子模块3121和第二图文识别子模块3122。
票据图像输入到自然语言处理模块311中，第一图文识别子模块3111从票据图像中识别出多个文字块，并确定每个文字块在票据图像中的位置，位置可以包括文字块的左上角顶点和右下角顶点的坐标。这些识别出的文字块中包含了表示主题的文字块和表示内容的文字块。自然语言处理子模块3112对文字块进行语义分析，识别出文字块是主题还是内容，将识别出的文字块划分为表示主题的第一文字块和表示内容的第二文字块。根据各个第一文字块与各个第二文字块之间的语义关系和位置关系可以确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。
票据图像输入到图像处理模块312中，图像处理子模块3121从图像中检测出多个图像块，图像块可以包括包含了主题的图像块和包含内容的图像块，将每个图像块划分到预设的多个类别之一，每个类别对应一个主题。第二图文识别子模块3122识别出每个图像块中的文字，确定图像块是包含主题的图像块还是包含内容的图像块，针对包含内容的图像块，根据图像块的类别确定图像块中的内容所对应的主题。
融合模块313从自然语言处理模块311的识别结果中选取出多个主题中的至少一个第一主题以及与各个第一主题对应的内容，并从图像处理模块312的识别结果中选取出多个主题中除第一主题以外的至少一个第二主题以及与各个第二主题对应的内容。例如多个主题包括主题1、主题2、主题3、主题4和主题5，可以从自然语言处理模块311的识别结果中选取出主题1、主题2和主题4，以及与主题1、主题2和主题4对应的内容，从图像处理模块312的识别结果中选取出主题3和主题5，以及与主题3和主题5对应的内容。结合所选取的信息生成票据的结构化信息。
图4是根据本公开的一个实施例的从票据图像中识别出多个文字块的方法的示意图。
如图4所示，可以使用OCR技术对票据图像410进行识别，识别结果420可以包括多个文字块，多个文字块包括表征主题的第一文字块和表征内容的第二文字块，第一文字块例如是“项目规格”、“数量”等，第二文字块例如是“1”和“1人次”等。还可以识别出每个文字块在票据图像中的位置，文字块的位置包括文字块的左上角顶点和又下角顶点的坐标。
根据本公开实施例，使用OCR技术从票据图像410中可以识别多个文字块以及文字块的位置，如文字块“项目规格”以及“项目规格”的左上角顶点和右下角顶点的坐标。使用OCR技术从票据图像410中可以识别出多个文字，如识别出文字“项”以及“项”的左上角顶点和右下角顶点的坐标。可以理解，识别出的文字是从文字块中切分出来的，但是对文字块的切分可能会引入切分错误，例如，文字块“1人次”的正确识别结果应该是{“数量”：“1人次”}，而如果切分为文字，则文字“1”可能被识别为数字实体，“人次”被识别为单位实体，出现错误的识别结果{“数量”：“1”，“单位”：“人次”}。因此，识别出文字块，无需对文字块进行切分，基于文字块和文字块的位置进行自然语言处理，能够避免切分出错，提高识别准确率。
图5是根据本公开的一个实施例的基于文字块和文字块的位置进行自然语言处理的方法的示意图。
例如，票据的文字块识别结果510输入到自然语言处理模型520，自然语言处理模型520基于文字块和文字块的位置进行自然语言处理。文字块的识别结果510中包括表示主题的第一文字块和表示内容的第二文字块。将各个第一文字块转化为第一词向量，将各个第一文字块的位置转化为第一位置向量，将各个第二文字块转化为第二词向量，并将各个第二文字块的位置转化为第二位置向量。将各个第一词向量、第二词向量、第一位置向量和第二位置向量作为语言处理模型520的输入。第一位置向量和第二位置向量均包括左上角顶点坐标向量和右下角顶点坐标向量。
例如，将表示“数量”的第一文字块转化为第一词向量E数量，将表示内容“1”的第二文字块转化为第二词向量E1等等。表示“项目规格”的第一文字块的左上角的坐标是(21，6)，可以将坐标(21，6)转化为坐标向量E21和E6。表示“项目规格”的第一文字块的右下角的坐标是(88，23)，可以将坐标(88，23)转化为坐标向量E88和E23。
自然语言处理模型520的输入还可以包括用于区分是否是同一句子的分段向量(Segment Embeddings)，在输入自然语言处理模型520的句子有多个时，用不同的向量表示不同的句子，例如句子1用向量EA表示，句子2用向量EB表示，由于票据图像输入的不是句子，无需进行句子的区分，因此均用EA表示。
自然语言处理模型520根据输入的各个第一词向量和各个第二词向量(TokenEmbeddings)确定各个第一文字块和各个第二文字块之间的语义关系，根据输入的各个第一位置向量和第二位置向量(Position Embeddings)确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。针对每个第二文字块，生成该第二文字块相对于各个第一文字块的语义关系向量和位置关系向量，根据语义关系向量和位置关系向量将该第二文字块划分到预设的多个类别之一，每个类别对应一个主题，根据各个第二文字块的划分结果确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。例如，第二文字块“1”的类别对应“项目规格”，第二文字块“1人次”的类别对应“数量”，第二文字块“15”的类别对应“单价”。
图6是根据本公开的一个实施例的使用第二识别模型对票据图像进行图像处理的方法的流程图。
如图6所示，该方法可以包括操作S621～操作S624。
在操作S621，从票据图像中提取多个图像块。
例如，可以先将图像分割为很多的小尺寸图像区域，根据小尺寸的图像区域的特征合并小尺寸的图像区域得到图像块。
图像块可以是包含主题的图像块和包含内容的图像块，例如，图像块A是包含主题“数量”的图像块，图像块B是包含内容“1人次”的图像块。
在操作S622，根据各图像块的图像特征将该图像划分到预设的多个类别之一。
例如，第二识别模型可以是由大量的样本图像训练出来的神经网络模型，样本图像的标签可以是预设的多个类别，每个类别对应一个主题，则在训练过程中，第二识别模型能够根据图像特征将样本图像分类到多个类别之一，根据第二识别模型对样本图像的分类结果和标签之间的差异，调整第二识别模型，不断迭代优化，得到分类精确度较高的第二识别模型。将图像块输入到经训练的第二识别模型中，第二识别模型能够将图像块划分到预设的多个类别之一。
在操作S623，从各个图像块中提取出内容。
在操作S624，根据各个图像块所属的类别确定从该图像块提取出的内容与各个主题之间的对应关系。
例如，使用OCR技术识别出每个图像块中的文字，确定图像块是包含主题的图像块还是包含内容的图像块，针对包含内容的图像块，根据图像块的类别确定图像块中的内容所对应的主题。
图7是根据本公开的一个实施例的票据处理装置的框图。
如图7所示，该票据处理700可以包括第一识别模块701、第二识别模块702和生成模块703。
第一识别模块701用于使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系，作为第一识别结果。
第二识别模块702使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系，作为第二识别结果。
生成模块703用于根据第一识别结果和第二识别结果生成票据信息。
根据本公开的实施例，第一识别模块701包括识别单元、第一确定单元和第二确定单元。
识别单元用于从票据图像中识别出多个文字块并确定各个文字块在票据图像中的位置。
第一确定单元用于通过对多个文字块进行语义分析，将多个文字块中的至少一个文字块确定为表示主题的第一文字块，将多个文字块中除第一文字块以外的文字块确定为表示内容的第二文字块。
第二确定单元用于根据各个第一文字块和各个第二文字块之间的语义关系和位置关系，确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。
根据本公开的实施例，第二确定单元包括生成子单元、划分子单元和确定子单元。
生成子单元用于生成各个第一文字块的第一词向量和第一位置向量，并生成各个第二文字块的第二词向量和第二位置向量；
划分子单元用于针对每个第二文字块，生成该第二文字块相对于各个第一文字块的语义关系向量和位置关系向量，根据语义关系向量和位置关系向量将该第二文字块划分到预设的多个类别之一，每个类别对应一个主题；
确定子单元用于根据各个第二文字块的划分结果确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。
根据本公开的实施例，第二识别模块包括第一提取单元、划分单元、第二提取单元和第三确定单元。
第一提取单元用于从票据图像中提取多个图像块。
划分单元用于根据各图像块的图像特征将该图像划分到预设的多个类别之一，每个类别对应一个主题。
第二提取单元用于从各个图像块中提取出内容。
第三确定单元用于根据各个图像块所属的类别确定从该图像块提取出的内容与各个主题之间的对应关系。
根据本公开的实施例，生成模块703包括第一选取单元、第二选取单元和生成单元。
第一选取单元用于从第一识别结果中选取出多个主题中的至少一个第一主题以及与各个第一主题对应的内容。
第二选取单元用于从第二识别结果中选取出多个主题中除第一主题以外的至少一个第二主题以及与各个第二主题对应的内容。
生成单元用于根据第一主题、与第一主题对应的内容、第二主题以及与第二主题对应的内容，生成票据信息。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如票据处理方法。例如，在一些实施例中，票据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的票据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行票据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (8)
1.一种票据处理方法，所述票据包括多个预设的主题以及与各个主题对应的内容，所述方法包括：
使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系，作为第一识别结果；
使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系，作为第二识别结果；
根据所述第一识别结果和所述第二识别结果生成票据信息；
其中，所述使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系包括：
从票据图像中识别出多个文字块并确定各个文字块在票据图像中的位置；
通过对所述多个文字块进行语义分析，将所述多个文字块中的至少一个文字块确定为表示主题的第一文字块，将所述多个文字块中除第一文字块以外的文字块确定为表示内容的第二文字块；
生成各个第一文字块的第一词向量和第一位置向量，并生成各个第二文字块的第二词向量和第二位置向量；
针对每个第二文字块，生成该第二文字块相对于各个第一文字块的语义关系向量和位置关系向量，根据所述语义关系向量和位置关系向量将该第二文字块划分到预设的多个类别之一，每个类别对应一个主题；
根据各个第二文字块的划分结果确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。
2.根据权利要求1所述的方法，其中，所述使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系包括：
从票据图像中提取多个图像块；
根据各图像块的图像特征将该图像划分到预设的多个类别之一，每个类别对应一个主题；
从各个图像块中提取出内容；
根据各个图像块所属的类别确定从该图像块提取出的内容与各个主题之间的对应关系。
3.根据权利要求1所述的方法，其中，所述根据所述第一识别结果和所述第二识别结果生成票据信息包括：
从所述第一识别结果中选取出所述多个主题中的至少一个第一主题以及与各个第一主题对应的内容；
从所述第二识别结果中选取出所述多个主题中除第一主题以外的至少一个第二主题以及与各个第二主题对应的内容；
根据第一主题、与第一主题对应的内容、第二主题以及与第二主题对应的内容，生成所述票据信息。
4.一种票据处理装置，所述票据包括多个预设的主题以及与各个主题对应的内容，所述装置包括：
第一识别模块，用于使用第一识别模型对票据图像进行自然语言处理，得到票据中的各个主题与各个内容之间的对应关系，作为第一识别结果；
第二识别模块，用于使用第二识别模型对票据图像进行图像处理，得到票据中的各个主题与各个内容之间的对应关系，作为第二识别结果；
生成模块，用于根据所述第一识别结果和所述第二识别结果生成票据信息；
第一识别模块包括：
识别单元，用于从票据图像中识别出多个文字块并确定各个文字块在票据图像中的位置；
第一确定单元，用于通过对所述多个文字块进行语义分析，将所述多个文字块中的至少一个文字块确定为表示主题的第一文字块，将所述多个文字块中除第一文字块以外的文字块确定为表示内容的第二文字块；
第二确定单元，用于生成各个第一文字块的第一词向量和第一位置向量，并生成各个第二文字块的第二词向量和第二位置向量；针对每个第二文字块，生成该第二文字块相对于各个第一文字块的语义关系向量和位置关系向量，根据所述语义关系向量和位置关系向量将该第二文字块划分到预设的多个类别之一，每个类别对应一个主题；根据各个第二文字块的划分结果确定各个第一文字块所表示的主题与各个第二文字块所表示的内容之间的对应关系。
5.根据权利要求4所述的装置，第二识别模块包括：
第一提取单元，用于从票据图像中提取多个图像块；
划分单元，用于根据各图像块的图像特征将该图像划分到预设的多个类别之一，每个类别对应一个主题；
第二提取单元，用于从各个图像块中提取出内容；
第三确定单元，用于根据各个图像块所属的类别确定从该图像块提取出的内容与各个主题之间的对应关系。
6.根据权利要求4所述的装置，生成模块包括：
第一选取单元，用于从所述第一识别结果中选取出所述多个主题中的至少一个第一主题以及与各个第一主题对应的内容；
第二选取单元，用于从所述第二识别结果中选取出所述多个主题中除第一主题以外的至少一个第二主题以及与各个第二主题对应的内容；
生成单元，用于根据第一主题、与第一主题对应的内容、第二主题以及与第二主题对应的内容，生成所述票据信息。
7. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214584.2A CN112949450B (zh) | 2021-02-25 | 2021-02-25 | 票据处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214584.2A CN112949450B (zh) | 2021-02-25 | 2021-02-25 | 票据处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949450A CN112949450A (zh) | 2021-06-11 |
| CN112949450B true CN112949450B (zh) | 2024-01-23 |
Family
ID=76246321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110214584.2A Active CN112949450B (zh) | 2021-02-25 | 2021-02-25 | 票据处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949450B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003223610A (ja) * | 2002-01-28 | 2003-08-08 | Toshiba Corp | 文字認識装置及び文字認識方法 |
| CN105528604A (zh) * | 2016-01-31 | 2016-04-27 | 华南理工大学 | 一种基于ocr的票据自动识别与处理系统 |
| WO2019174130A1 (zh) * | 2018-03-14 | 2019-09-19 | 平安科技（深圳）有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
| CN110399878A (zh) * | 2019-06-14 | 2019-11-01 | 南京火眼锐视信息科技有限公司 | 表格版式恢复方法，计算机可读介质以及计算机 |
| CN110569846A (zh) * | 2019-09-16 | 2019-12-13 | 北京百度网讯科技有限公司 | 图像文字识别方法、装置、设备及存储介质 |
| CN111582085A (zh) * | 2020-04-26 | 2020-08-25 | 中国工商银行股份有限公司 | 单据拍摄图像识别方法及装置 |
| CN111582222A (zh) * | 2020-05-19 | 2020-08-25 | 国网吉林省电力有限公司 | 一种基于标题位置参照模板的票据图像位置精确修正方法 |
| CN111709339A (zh) * | 2020-06-09 | 2020-09-25 | 北京百度网讯科技有限公司 | 一种票据图像识别方法、装置、设备及存储介质 |
| CN111753744A (zh) * | 2020-06-28 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于票据图像分类的方法、装置、设备及可读存储介质 |
| CN111753727A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于提取结构化信息的方法、装置、设备及可读存储介质 |
| CN111967387A (zh) * | 2020-08-17 | 2020-11-20 | 北京市商汤科技开发有限公司 | 表单识别方法、装置、设备及计算机可读存储介质 |
| CN112348017A (zh) * | 2020-11-09 | 2021-02-09 | 浙江太美医疗科技股份有限公司 | 临床试验收费单据的识别方法和识别装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10452904B2 (en) * | 2017-12-01 | 2019-10-22 | International Business Machines Corporation | Blockwise extraction of document metadata |
| US10878197B2 (en) * | 2018-11-27 | 2020-12-29 | International Business Machines Corporation | Self-learning user interface with image-processed QA-pair corpus |
-
2021
- 2021-02-25 CN CN202110214584.2A patent/CN112949450B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003223610A (ja) * | 2002-01-28 | 2003-08-08 | Toshiba Corp | 文字認識装置及び文字認識方法 |
| CN105528604A (zh) * | 2016-01-31 | 2016-04-27 | 华南理工大学 | 一种基于ocr的票据自动识别与处理系统 |
| WO2019174130A1 (zh) * | 2018-03-14 | 2019-09-19 | 平安科技（深圳）有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
| CN110399878A (zh) * | 2019-06-14 | 2019-11-01 | 南京火眼锐视信息科技有限公司 | 表格版式恢复方法，计算机可读介质以及计算机 |
| CN110569846A (zh) * | 2019-09-16 | 2019-12-13 | 北京百度网讯科技有限公司 | 图像文字识别方法、装置、设备及存储介质 |
| CN111582085A (zh) * | 2020-04-26 | 2020-08-25 | 中国工商银行股份有限公司 | 单据拍摄图像识别方法及装置 |
| CN111582222A (zh) * | 2020-05-19 | 2020-08-25 | 国网吉林省电力有限公司 | 一种基于标题位置参照模板的票据图像位置精确修正方法 |
| CN111709339A (zh) * | 2020-06-09 | 2020-09-25 | 北京百度网讯科技有限公司 | 一种票据图像识别方法、装置、设备及存储介质 |
| CN111753727A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于提取结构化信息的方法、装置、设备及可读存储介质 |
| CN111753744A (zh) * | 2020-06-28 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于票据图像分类的方法、装置、设备及可读存储介质 |
| CN111967387A (zh) * | 2020-08-17 | 2020-11-20 | 北京市商汤科技开发有限公司 | 表单识别方法、装置、设备及计算机可读存储介质 |
| CN112348017A (zh) * | 2020-11-09 | 2021-02-09 | 浙江太美医疗科技股份有限公司 | 临床试验收费单据的识别方法和识别装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于BP神经网络的银行票据识别;韩梦迪;曹玉东;杜刚;;信息通信(09);163-165 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949450A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220270382A1 (en) | Method and apparatus of training image recognition model, method and apparatus of recognizing image, and electronic device | |
| US20220253631A1 (en) | Image processing method, electronic device and storage medium | |
| EP3872652B1 (en) | Method and apparatus for processing video, electronic device, medium and product | |
| CN113780098B (zh) | 文字识别方法、装置、电子设备以及存储介质 | |
| CN111950279A (zh) | 实体关系的处理方法、装置、设备及计算机可读存储介质 | |
| CN115917613A (zh) | 文档中文本的语义表示 | |
| CN114429633A (zh) | 文本识别方法、模型的训练方法、装置、电子设备及介质 | |
| CN114092948B (zh) | 一种票据识别方法、装置、设备以及存储介质 | |
| CN113762109B (zh) | 一种文字定位模型的训练方法及文字定位方法 | |
| US11881044B2 (en) | Method and apparatus for processing image, device and storage medium | |
| CN112464927B (zh) | 一种信息提取方法、装置及系统 | |
| CN113657088A (zh) | 接口文档解析方法、装置、电子设备以及存储介质 | |
| CN113963364A (zh) | 目标化验单生成方法、装置、电子设备及存储介质 | |
| CN117312140A (zh) | 测试用例的生成方法、装置、电子设备及存储介质 | |
| US20220392243A1 (en) | Method for training text classification model, electronic device and storage medium | |
| CN112949450B (zh) | 票据处理方法、装置、电子设备和存储介质 | |
| CN116311300A (zh) | 表格生成方法、装置、电子设备以及存储介质 | |
| CN116416640A (zh) | 文档元素确定的方法、装置、设备以及存储介质 | |
| CN114359928A (zh) | 一种电子发票识别方法、装置、计算机设备及存储介质 | |
| CN114445833A (zh) | 文本识别方法、装置、电子设备和存储介质 | |
| CN115809325B (zh) | 文档处理模型训练方法、文档处理方法、装置及设备 | |
| CN114792423B (zh) | 文档图像的处理方法、装置和存储介质 | |
| CN114639107B (zh) | 表格图像处理方法、装置和存储介质 | |
| CN112949298B (zh) | 分词方法、装置、电子设备和可读存储介质 | |
| CN115497112B (zh) | 表单识别方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |