CN113569738A - 制表信息提取处理方法、装置、计算机设备和存储介质 - Google Patents
制表信息提取处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113569738A CN113569738A CN202110859909.2A CN202110859909A CN113569738A CN 113569738 A CN113569738 A CN 113569738A CN 202110859909 A CN202110859909 A CN 202110859909A CN 113569738 A CN113569738 A CN 113569738A
- Authority
- CN
- China
- Prior art keywords
- text
- network
- tabulation
- document image
- text content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 102100032202 Cornulin Human genes 0.000 description 2
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
Abstract
本申请涉及人工智能技术领域，提供了一种制表信息提取处理方法、装置、计算机设备和存储介质。本申请能够减少对文档图像中单个字符和过短的字符串的漏定，提高对文档图像中制表信息提取的准确性。该方法包括：获取携带制表文本的文档图像，然后将文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取文本检测网络输出的对制表文本在该文档图像上的位置检测结果，其中该梯级特征金字塔网络中各梯级网络用于提取文档图像的各尺度特征，然后根据位置检测结果利用文本识别网络识别制表文本的文本内容，最后根据文本内容获取制表信息。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种制表信息提取处理方法、装置、计算机设备和存储介质。
背景技术
OCR(Optical Character Recognition)，中文为光学字符识别，是将打字、手写、或印刷的文本的图像电子或机械转换为机器编码的文本，无论是来自扫描的文档、文档的照片还是场景的照片或叠加在图像上的字幕文本，因而使用OCR技术可以替代人工来提取如PDF文档等文件中的关键信息，并且生成需要的如excel等格式的表格，这样可以大大提高办公作业效率。
OCR主要包含文本检测和文本识别两个步骤；其中，文本检测主要分为基于回归的文本检测模型和基于分割的文本检测模型两大类，基于回归的文本检测模型可以是如TextBoxes、TextBoxes++、SegLink、RRD、RRPN、R2CNN和CTPN等等，基于分割的文本检测模型可以是如PseNet、PANNet、DBNet、CRAFT等等；文本识别主要基于CRNN框架实现，解码部分可分为基于CTC的解码和基于Attention的编码器-解码器来进行解码。
目前所公开的文本检测和文本识别技术主要是针对街景文本数据，对于文档图像中的单个字符和过短的字符串存在容易漏定的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种制表信息提取处理方法、装置、计算机设备和存储介质。
一种制表信息提取处理方法，所述方法包括：
获取携带制表文本的文档图像；
将所述文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取所述文本检测网络输出的对所述制表文本在所述文档图像上的位置检测结果；所述梯级特征金字塔网络中各梯级网络用于提取所述文档图像的各尺度特征；
根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容；
根据所述文本内容，获取制表信息。
一种制表信息提取处理装置，包括：
图像获取模块，用于获取携带制表文本的文档图像；
文本检测模块，用于将所述文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取所述文本检测网络输出的对所述制表文本在所述文档图像上的位置检测结果；所述梯级特征金字塔网络中各梯级网络用于提取所述文档图像的各尺度特征；
文本识别模块，用于根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容；
信息获取模块，用于根据所述文本内容，获取制表信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取携带制表文本的文档图像；将所述文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取所述文本检测网络输出的对所述制表文本在所述文档图像上的位置检测结果；所述梯级特征金字塔网络中各梯级网络用于提取所述文档图像的各尺度特征；根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容；根据所述文本内容，获取制表信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取携带制表文本的文档图像；将所述文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取所述文本检测网络输出的对所述制表文本在所述文档图像上的位置检测结果；所述梯级特征金字塔网络中各梯级网络用于提取所述文档图像的各尺度特征；根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容；根据所述文本内容，获取制表信息。
上述制表信息提取处理方法、装置、计算机设备和存储介质，获取携带制表文本的文档图像，然后将文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取文本检测网络输出的对制表文本在该文档图像上的位置检测结果，该梯级特征金字塔网络中各梯级网络用于提取文档图像的各尺度特征，然后根据位置检测结果利用文本识别网络识别制表文本的文本内容，最后根据文本内容获取制表信息。该方案采用梯级特征金字塔网络构建的文本检测网络，进一步增强了对文档图像中多种尺度特征的提取，尤其可以文档图像中增强小目标特征的提取，从而可以减少对文档图像中的单个字符和过短的字符串的漏定，提高对文档图像中制表信息提取的准确性。
附图说明
图1为一个实施例中制表信息提取处理方法的流程示意图；
图2为一个实施例中文本检测网络的处理示意图；
图3为一个实施例中文本识别网络的结构示意图；
图4为一个应用示例中制表信息提取处理方法的流程示意图；
图5为一个实施例中制表信息提取处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的制表信息提取处理方法，可由例如终端、服务器等计算机设备执行。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图1所示，提供了一种制表信息提取处理方法，该方法包括如下步骤：
步骤S101，获取携带制表文本的文档图像；
本步骤中，携带制表文本的文档图像可以由携带制表文本的PDF文档解析得到。不同于街景文本的背景复杂、字体多样等特点，文档图像存在版式多样、文本密集、单个字符或者短字符串占整个图像的比例非常小等特点，尤其是一些表单、账单中单个字符或者短字符串占比很高，且通常是关键制表信息。本步骤可将携带制表文本的PDF文档解析成图片，作为携带制表文本的文档图像，这是由于PDF文档通常不能直接作为文本检测网络的输入数据，需要在程序中调用一些工具包，将PDF文档解析成图片，并且在解析过程中，可选择合适的dpi，由此既保证图片细节的质量，又不因图片过大而导致模型运行时间的增加。
步骤S102，将文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取文本检测网络输出的对制表文本在文档图像上的位置检测结果；
本步骤中，文本检测网络可基于梯级特征金字塔网络构建，该梯级特征金字塔网络所包含的各梯级网络用于提取文档图像的各尺度特征。本步骤将携带制表文本的文档图像输入该基于梯级特征金字塔网络构建的文本检测网络，然后获取该文本检测网络输出的对制表文本在文档图像上的位置检测结果，该位置检测结果可以是在文档图像上的对制表文本的定位框。
具体的，如图2所示，在一个实施例中，文本检测网络可以包括骨干网络、梯级特征金字塔网络和拼接层。该骨干网络可采用ResNet网络(如ResNet18)，骨干网络从如账单等文档图像(Image)提取的特征传递至梯级特征金字塔网络，梯级特征金字塔网络(Stair-FPN)包括多个梯级网络(如Stair-step1、Stair-step2和Stair-step3)，各梯级网络用于提取该文档图像的各尺度特征并传递至拼接(concat)层进行拼接，该拼接层可对梯级特征金字塔网络中各梯级不同层(如图2所示的concat层左侧的四个箭头对应四层)的特征进行拼接得到拼接结果，该拼接结果经过DBNet网络(Differentiable Binarization Network，可微分二值化网络)的后处理操作(PostProcess)得到位置检测结果，该位置检测结果具体可以是对该文档图像中的制表文本的定位框。
步骤S103，根据位置检测结果，利用文本识别网络识别制表文本的文本内容；
本步骤主要是在得到对制表文本在文档图像上的位置检测结果后，利用文本识别网络识别该制表文本的具体内容即文本内容。
在一些实施例中，步骤S103可以包括：将文档图像中与该位置检测结果对应的文档图像区域输入文本识别网络，获取文本识别网络输出的制表文本的文本内容。
具体的，在得到对制表文本在文档图像上的位置检测结果后，即可确定出文档图像中与位置检测结果对应的图像区域，作为文档图像区域，该文档图像区域中即包含有制表所需的文本内容，如图2示出的“账单”、“金额：198”、“时间：”等等。本实施例可将文档图像中与该位置检测结果对应的文档图像区域输入至文本识别网络，如图3所示，该文本识别网络具体可以包括依次连接的ResNet网络、RNN网络和CTC(Connectionist TemporalClassification，联结时序分类)解码网络，该ResNet网络作为文本识别网络的骨干网络，具体可采用ResNet50网络，接着的RNN网络则可采用LSTM结构，然后通过CTC解码网络进行CTC解码输出得到制表文本的文本内容，该文本内容作为文本识别网络最终输出的文本识别结果。
步骤S104，根据文本内容，获取制表信息。
本步骤主要是根据文本识别网络所识别输出的文本内容，获取制表信息，如图2所示，该制表信息具体可以是“金额：198”、“时间：”等等，具体将哪些文本内容作为制表信息，可依据实际场景所需进行确定。
上述制表信息提取处理方法，获取携带制表文本的文档图像，然后将文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取文本检测网络输出的对制表文本在该文档图像上的位置检测结果，该梯级特征金字塔网络中各梯级网络用于提取文档图像的各尺度特征，然后根据位置检测结果利用文本识别网络识别制表文本的文本内容，最后根据文本内容获取制表信息。该方案采用梯级特征金字塔网络构建的文本检测网络，进一步增强了对文档图像中多种尺度特征的提取，尤其可以文档图像中增强小目标特征的提取，从而可以减少对文档图像中的单个字符和过短的字符串的漏定，提高对文档图像中制表信息提取的准确性。
在一些实施例中，步骤S104中的根据文本内容，获取制表信息，可以包括：
将文本内容进行关键字匹配，得到文本内容中与预设关键字相匹配的第一关键文本内容；根据第一关键文本内容，获取文本内容中与第一关键文本内容在文档图像上位置关联的第二关键文本内容；将第二关键文本内容作为制表信息。
本实施例中，可根据文本识别网络的文本识别结果即制表文本的文本内容，进行关键字的匹配，例如将制表文本的文本内容与一个或多个预设关键字进行匹配，得到该文本内容中与预设关键字相匹配的文本内容(称为第一关键文本内容)。示例性的，如图2所示，若“金额：”为预设关键字，则可将文本识别网络所识别的制表文本的文本内容中的“金额：”作为第一关键文本内容。然后，根据该第一关键文本内容，从该制表文本的文本内容中获取与第一关键文本内容在文档图像上位置关联的第二关键文本内容，示例性的，结合图2，若第一关键文本内容为“金额：”那么需要从文本内容中获取在文档图像上位于“金额：”附近区域的值即“198”作为第二关键文本内容，也即位置关联可以是指在文档图像上位于第一关键文本内容的附近，具体可量化为在文档图像上以第一关键文本内容为中心的一定/预设图像区域范围内。在得到第二关键文本内容如“198”后，可将该第二关键文本内容“198”作为制表信息。
在一些实施例中，将第二关键文本内容作为制表信息之后，还可以进行如下步骤处理：基于制表信息中的第二关键文本内容以及第一关键文本内容，生成表格。
本实施例主要是利用从文档图像中提取的关键文本内容(如第二关键文本内容“198”、第一关键文本内容“金额：”)进行制表，具体可提取到文档图像中所有关键文本内容后，可通过相应的程序生成excel表格，也可根据实际场景使用的规则生成各种表格。
在一个应用实例中，还提供一种制表信息提取处理方法，如图4所示，该应用实例的方法主要包括PDF解析为图像、文本检测、文本识别、关键信息提取制表四个过程，具体的：
在PDF解析为图像过程中，因为PDF通常不能直接作为文本检测网络的输入数据，所以需要在程序中调用一些工具包，将PDF解析成图像即文档图像，在解析过程中，可选择合适的dpi，从而既保证图片细节的质量，又不因图片过大而导致模型运行时间的增加。在文本检测过程中，文本检测网络可采用基于梯级特征金字塔网络(Stair-FPN)的改进DBNet网络，如图2所示，其中骨干网络可采用ResNet18网络，然后接梯级特征金字塔网络(Stair-FPN)，接着对各梯级不同层的特征通过拼接层(concat)进行拼接，然后经过DBNet原有的后处理操作(PostProcess)得到最终的文本的定位框即对制表文本在文档图像上的位置检测结果。在文本识别过程中，如图3所示，文本识别网络可采用基于CRNN框架(ConvolutionalRecurrent Neural Network，卷积递归神经网络)加CTC解码的格式来进行文本识别处理，其中骨干网络可采用ResNet50网络，RNN(Recurrent Neural Network，递归神经网络)使用LSTM结构，然后进行CTC解码，得到最终的文本识别结果即制表文本的文本内容。在关键信息提取制表过程中，根据文本识别结果，进行关键词的匹配，然后于文档图像上在匹配到的关键词附近的区域匹配到相对应的值，如匹配到关键字“金额：”，然后在文档图像上的“金额：”附近匹配相对应的值“198”，从而在提取到文档图像上的所有关键制表信息以后，可通过程序生成excel表格，还可根据实际场景使用的规则生成多种表格。
本申请实施例提供的制表信息提取处理方法，基于Stair-FPN的改进DBNet网络，通过Stair-FPN进一步增强了多种尺度特征的提取，尤其可以增强小目标特征的提取，因而可以减少文档图像中的单个字符和过短的字符串的漏定，提高了文档图像中关键制表信息的检出率和准确性。
应该理解的是，虽然如上流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种制表信息提取处理装置，该装置500可以包括：
图像获取模块501，用于获取携带制表文本的文档图像；
文本检测模块502，用于将所述文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取所述文本检测网络输出的对所述制表文本在所述文档图像上的位置检测结果；所述梯级特征金字塔网络中各梯级网络用于提取所述文档图像的各尺度特征；
文本识别模块503，用于根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容；
信息获取模块504，用于根据所述文本内容，获取制表信息。
在一个实施例中，所述文本检测网络包括梯级特征金字塔网络和拼接层；所述梯级特征金字塔网络包括多个梯级网络，各梯级网络用于提取所述文档图像的各尺度特征并传递至所述拼接层进行拼接。
在一个实施例中，所述文本检测网络的骨干网络采用ResNet网络；所述拼接层对所述各尺度特征的拼接结果经过DBNet网络的后处理操作得到所述位置检测结果。
在一个实施例中，文本识别模块503，用于将所述文档图像中与所述位置检测结果对应的文档图像区域输入所述文本识别网络，获取所述文本识别网络输出的所述制表文本的文本内容。
在一个实施例中，所述文本识别网络包括依次连接的ResNet网络、RNN网络和CTC解码网络。
在一个实施例中，信息获取模块504，用于将所述文本内容进行关键字匹配，得到所述文本内容中与预设关键字相匹配的第一关键文本内容；根据所述第一关键文本内容，获取所述文本内容中与所述第一关键文本内容在所述文档图像上位置关联的第二关键文本内容；将所述第二关键文本内容作为制表信息。
在一个实施例中，该装置500还包括：制表处理单元，用于基于所述制表信息中的第二关键文本内容以及所述第一关键文本内容，生成表格。
关于制表信息提取处理装置的具体限定可以参见上文中对于制表信息提取处理方法的限定，在此不再赘述。上述制表信息提取处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种制表信息提取处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种制表信息提取处理方法，其特征在于，所述方法包括：
获取携带制表文本的文档图像；
将所述文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取所述文本检测网络输出的对所述制表文本在所述文档图像上的位置检测结果；所述梯级特征金字塔网络中各梯级网络用于提取所述文档图像的各尺度特征；
根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容；
根据所述文本内容，获取制表信息。
2.根据权利要求1所述的方法，其特征在于，所述文本检测网络包括梯级特征金字塔网络和拼接层；所述梯级特征金字塔网络包括多个梯级网络，各梯级网络用于提取所述文档图像的各尺度特征并传递至所述拼接层进行拼接。
3.根据权利要求2所述的方法，其特征在于，所述文本检测网络的骨干网络采用ResNet网络；所述拼接层对所述各尺度特征的拼接结果经过DBNet网络的后处理操作得到所述位置检测结果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容，包括：
将所述文档图像中与所述位置检测结果对应的文档图像区域输入所述文本识别网络，获取所述文本识别网络输出的所述制表文本的文本内容。
5.根据权利要求4所述的方法，其特征在于，所述文本识别网络包括依次连接的ResNet网络、RNN网络和CTC解码网络。
6.根据权利要求1所述的方法，其特征在于，所述根据所述文本内容，获取制表信息，包括：
将所述文本内容进行关键字匹配，得到所述文本内容中与预设关键字相匹配的第一关键文本内容；
根据所述第一关键文本内容，获取所述文本内容中与所述第一关键文本内容在所述文档图像上位置关联的第二关键文本内容；
将所述第二关键文本内容作为制表信息。
7.根据权利要求6所述的方法，其特征在于，所述将所述第二关键文本内容作为制表信息之后，所述方法还包括：
基于所述制表信息中的第二关键文本内容以及所述第一关键文本内容，生成表格。
8.一种制表信息提取处理装置，其特征在于，包括：
图像获取模块，用于获取携带制表文本的文档图像；
文本检测模块，用于将所述文档图像输入基于梯级特征金字塔网络构建的文本检测网络，获取所述文本检测网络输出的对所述制表文本在所述文档图像上的位置检测结果；所述梯级特征金字塔网络中各梯级网络用于提取所述文档图像的各尺度特征；
文本识别模块，用于根据所述位置检测结果，利用文本识别网络识别所述制表文本的文本内容；
信息获取模块，用于根据所述文本内容，获取制表信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859909.2A CN113569738A (zh) | 2021-07-28 | 2021-07-28 | 制表信息提取处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859909.2A CN113569738A (zh) | 2021-07-28 | 2021-07-28 | 制表信息提取处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113569738A true CN113569738A (zh) | 2021-10-29 |
Family
ID=78168647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110859909.2A Pending CN113569738A (zh) | 2021-07-28 | 2021-07-28 | 制表信息提取处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569738A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030013814A (ko) * | 2001-08-09 | 2003-02-15 | 권오석 | 비텍스트 형태 데이터 포함 컨텐츠 검색 시스템 및 그 방법 |
| CN103617422A (zh) * | 2013-10-29 | 2014-03-05 | 浙江工业大学 | 一种基于名片识别的社交关系管理方法 |
| US20160381530A1 (en) * | 2015-06-26 | 2016-12-29 | Lenovo (Beijing) Co., Ltd. | Information Processing Method and Electronic Device |
| CN112149399A (zh) * | 2020-09-25 | 2020-12-29 | 北京来也网络科技有限公司 | 基于rpa及ai的表格信息抽取方法、装置、设备及介质 |
| CN112434689A (zh) * | 2020-12-01 | 2021-03-02 | 天冕信息技术(深圳)有限公司 | 识别图片中信息的方法、装置、设备及存储介质 |
-
2021
- 2021-07-28 CN CN202110859909.2A patent/CN113569738A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030013814A (ko) * | 2001-08-09 | 2003-02-15 | 권오석 | 비텍스트 형태 데이터 포함 컨텐츠 검색 시스템 및 그 방법 |
| CN103617422A (zh) * | 2013-10-29 | 2014-03-05 | 浙江工业大学 | 一种基于名片识别的社交关系管理方法 |
| US20160381530A1 (en) * | 2015-06-26 | 2016-12-29 | Lenovo (Beijing) Co., Ltd. | Information Processing Method and Electronic Device |
| CN112149399A (zh) * | 2020-09-25 | 2020-12-29 | 北京来也网络科技有限公司 | 基于rpa及ai的表格信息抽取方法、装置、设备及介质 |
| CN112434689A (zh) * | 2020-12-01 | 2021-03-02 | 天冕信息技术(深圳)有限公司 | 识别图片中信息的方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MINGHUI LIAO 等: "Real-Time Scene Text Detection with Differentiable Binarization", 《THE THIRTY-FOURTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-20)》, pages 1 - 8 * |
| XUAN-THUY VO 等: "Stair-Step Feature Pyramid Networks for Object Detection", 《SPRINGER》, pages 3 - 8 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11170248B2 (en) | Video capture in data capture scenario | |
| CN110569341B (zh) | 配置聊天机器人的方法、装置、计算机设备和存储介质 | |
| US20200004815A1 (en) | Text entity detection and recognition from images | |
| CN112036295B (zh) | 票据图像处理方法、装置、存储介质及电子设备 | |
| US20200387701A1 (en) | On-device partial recognition systems and methods | |
| CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
| CN113159013B (zh) | 基于机器学习的段落识别方法、装置、计算机设备和介质 | |
| CN112330331A (zh) | 基于人脸识别的身份验证方法、装置、设备及存储介质 | |
| CN113033269B (zh) | 一种数据处理方法及装置 | |
| CN111488732A (zh) | 一种变形关键词检测方法、系统及相关设备 | |
| CN113673528B (zh) | 文本处理方法、装置、电子设备和可读存储介质 | |
| CN110889341A (zh) | 基于ai的表单图像识别方法、装置、计算机设备和存储介质 | |
| CN112749639B (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN112581344A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN112418813A (zh) | 基于智能解析识别的aeo资质智能评级管理系统、方法及存储介质 | |
| US20230048495A1 (en) | Method and platform of generating document, electronic device and storage medium | |
| CN110909733A (zh) | 基于ocr图片识别的模版定位方法、装置和计算机设备 | |
| CN112861649B (zh) | 指纹签名生成方法、装置、电子设备及计算机存储介质 | |
| CN113569738A (zh) | 制表信息提取处理方法、装置、计算机设备和存储介质 | |
| US11335108B2 (en) | System and method to recognise characters from an image | |
| CN114329030A (zh) | 一种信息处理方法、装置、计算机设备和存储介质 | |
| CN113705560A (zh) | 基于图像识别的数据提取方法、装置、设备及存储介质 | |
| TWM593008U (zh) | 表單內容辨識系統 | |
| CN111753836A (zh) | 文字识别方法、装置、计算机可读介质及电子设备 | |
| US20240176951A1 (en) | Electronic document validation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yu Yang Inventor after: Yao Xufeng Inventor after: Shen Xiaoyong Inventor after: Lv Jiangbo Inventor before: Yu Yang Inventor before: Yao Xufeng Inventor before: Yu Bei Inventor before: Shen Xiaoyong Inventor before: Lv Jiangbo Inventor before: Jia Jiaya |
|
| CB03 | Change of inventor or designer information |