CN114519858B - 文档图像的识别方法、装置、存储介质以及电子设备 - Google Patents

文档图像的识别方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN114519858B
CN114519858B CN202210143148.5A CN202210143148A CN114519858B CN 114519858 B CN114519858 B CN 114519858B CN 202210143148 A CN202210143148 A CN 202210143148A CN 114519858 B CN114519858 B CN 114519858B
Authority
CN
China
Prior art keywords
document image
identified
vector
information
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210143148.5A
Other languages
English (en)
Other versions
CN114519858A (zh
Inventor
庾悦晨
章成全
姚锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210143148.5A priority Critical patent/CN114519858B/zh
Publication of CN114519858A publication Critical patent/CN114519858A/zh
Priority to US17/884,264 priority patent/US20230260306A1/en
Priority to KR1020230020484A priority patent/KR20230123449A/ko
Priority to JP2023022386A priority patent/JP2023119593A/ja
Application granted granted Critical
Publication of CN114519858B publication Critical patent/CN114519858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/182—Extraction of features or characteristics of the image by coding the contour of the pattern
    • G06V30/1823—Extraction of features or characteristics of the image by coding the contour of the pattern using vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本公开提供了一种文档图像的识别方法、装置、存储介质以及电子设备，涉及人工智能识别技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用于图像处理、光学字符识别OCR场景。具体实现方案为：将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；匹配上述第一识别内容和上述第二识别内容，得到目标识别内容。

Description

文档图像的识别方法、装置、存储介质以及电子设备
技术领域
本公开涉及人工智能识别技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用于图像处理、光学字符识别OCR场景，具体涉及一种文档图像的识别方法、装置、存储介质以及电子设备。
背景技术
现有技术中的文档图像的识别方法主要通过光学字符识别技术OCR来实现，但是，现有的文档图像的识别方法采用光学字符识别技术来实现，往往需要通过复杂的图像处理流程，并且该识别方法对于质量较差的文档图像或者存在噪声的文档扫描文件(即存在对比度较弱、明暗分布不均且背景模糊等情况的文档图像或文档扫描文件)，识别准确性较低且较为费时。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本公开提供了一种文档图像的识别方法、装置、存储介质以及电子设备。
根据本公开的一方面，提供了一种文档图像的识别方法，包括：将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；匹配上述第一识别内容和上述第二识别内容，得到目标识别内容。
根据本公开的另一方面，提供了一种文档图像的识别装置，包括：转化模块，用于将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；第一预测模块，用于基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；第二预测模块，用于采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；匹配模块，用于匹配上述第一识别内容和上述第二识别内容，得到目标识别内容。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行任一项上述的文档图像的识别方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行任一项上述的文档图像的识别方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现任一项上述的文档图像的识别方法。
根据本公开的另一方面，提供了一种文档图像的识别产品，包括：如上述的电子设备。
在本公开实施例中，通过将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；匹配上述第一识别内容和上述第二识别内容，得到目标识别内容，达到了准确识别文档图像中的内容信息的目的，从而实现了提升文档图像的识别精度和识别效率，降低图像识别算法的计算量的技术效果，进而解决了相关技术中的文档图像识别方法对于质量较差的文档图像的识别精度较低且算法计算量大的技术问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的文档图像的识别方法的流程图；
图2是根据本公开第一实施例的一种可选的文档图像的识别方法的流程图；
图3是根据本公开第一实施例的另一种可选的文档图像的识别方法的流程图；
图4是根据本公开第一实施例的另一种可选的文档图像的识别方法的流程图；
图5是根据本公开第一实施例的另一种可选的文档图像的识别方法的流程图；
图6是根据本公开第二实施例的文档图像的识别装置的结构示意图；
图7是用来实现本公开实施例的文档图像的识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
随着网络信息化和图像识别处理技术的不断发展，光学字符识别技术(OpticalCharacter Recognition，OCR)在教育、金融、医疗、交通和保险等各行各业都取到了广泛的关注和应用，随着办公电子化程度的提高，原本以纸质形式保存的文档资料逐渐通过扫描仪等电子化手段转为以图像形式保存。为了能查询或调阅指定记录的图像，需要将影像和影像内容数据建立索引。为建立索引一般通过光学字符识别技术OCR将扫描得到的影像进行分类处理、然后再进行识别以得到其内容。
业界主流的图像处理算法的文档图像识别方案，往往需要通过复杂的图像处理流程来解决，对于质量较差的文档图像或者存在噪声的扫描文件(即存在对比度较弱、明暗分布不均且背景模糊等情况的文档图像或文档扫描文件)，识别准确率较低，而且较为费时。
现有的利用光学字符识别OCR技术进行文档图像识别(如表格识别)时，采用光学字符识别技术进行文档图像识别的具体实现过程包括：首先通过对文档图像进行二值化处理、图像进行倾斜校正处理以及图像分割处理等提取出文档图像中的单个字符，之后通过调用现有的字符识别工具或通过训练通用的神经网络分类器进行字符识别。
具体的，首先对文档图像进行二值化处理，其中，上述二值化处理方法主要包括：全局阈值法、局部阈值法、区域增长的方法、水线算法、最小描述长度法、基于马尔科夫随机场的方法，等等；然后对而之后分割处理后的文档图像进行倾斜校正处理，其中，上述倾斜校正处理的方法主要包括：基于投影图的方法、基于Hough变换的方法、最近邻簇方法以及矢量化方法，等等；对倾斜校正处理后的文档图像进行分割处理，提取出文档图像中的单个字符，并通过调用现有的字符识别工具或通过训练通用的神经网络分类器进行字符识别。
可以看出，上述方法需要通过复杂的图像处理流程来实现，并且往往存在一定的弊端，例如，上述全局阈值法仅仅考虑了图像的灰度信息，而忽略了图像中的空间信息，对所有像素采用同一灰度阈值，只适合亮度处处均匀并且图像直方图具有较明显双峰的理想情况，当图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠时，通常难以获得令人满意的效果；上述局部阈值法虽能克服全局阈值法中存在的亮度分布不均的缺陷，但却在存在窗口大小设定的问题，即过小的窗口容易导致线条断裂，过大的窗口又容易使图像失去应有的局部细节；上述投影法需要计算每个倾斜角度的投影形状，要使倾斜估计精度较高的话，这种方法的计算量将非常大，且该方法一般适用于文字文档的倾斜校正，对于具有复杂结构的表格校正，该方法的效果较差；最近邻簇方法对于具有较多相互邻近的组成部分时，该方法十分费时，总体性能不理想；矢量化算法需要直接对光栅图像的各个像素进行处理，存储量大，而且其校正结果的好坏、算法的性能及图像处理的时间、空间成本均极大的依赖于矢量基元的选择；上述Hough变换方法计算量大，十分费时，且难以确定直线的起点和终点，只是对纯文本文档比较有效，而对带有图表的复杂结构的文档图像，由于图和表的干扰，无法得到满意的结果，因此在具体的工程实践中的应用却受到了限制。此外，上述方法对于质量较差的文档图像或者存在噪声的文档扫描文件(即存在对比度较弱、明暗分布不均且背景模糊等情况的文档图像或文档扫描文件)，识别准确性较低且较为费时。
基于上述问题，本公开实施例提供了一种文档图像的识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本公开第一实施例的文档图像的识别方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；
步骤S104，基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；
步骤S106，采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；
步骤S108，匹配上述第一识别内容和上述第二识别内容，得到目标识别内容。
可选的，通过卷积神经网络算法将待识别的文档图像转化为图像特征图，即将待识别的文档图像输入至交换机神经网络模型，得到上述图像特征图，其中，上述卷积神经网络算法可以但不限于包括ResNet、VGG、MobileNet等算法。
可选的，上述第一识别内容可以但不限于包括通过预测方法识别出的上述文档图像中的文字识别内容以及文字区域的位置信息；上述第二识别内容可以但不限于包括通过光学字符识别算法OCR识别出的上述文档图像中的文字识别内容以及文字区域的位置信息；上述匹配上述第一识别内容和上述第二识别内容，可以但不限于包括对上述第一识别内容和上述第二识别内容中的文字识别内容以及文字区域的位置信息进行匹配。
需要说明的是，本公开实施例的文档图像的识别方法，主要用于对文档和/或图表中的文本信息进行精确识别，因此，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息。
在本公开实施例中，通过将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；匹配上述第一识别内容和上述第二识别内容，得到目标识别内容，达到了准确识别文档图像中的内容信息的目的，从而实现了提升文档图像的识别精度和识别效率，降低图像识别算法的计算量的技术效果，进而解决了相关技术中的文档图像识别方法对于质量较差的文档图像的识别精度较低且算法计算量大的技术问题。
作为一种可选的实施例，图2是根据本公开第一实施例的一种可选的文档图像的识别方法的流程图，如图2所示，上述基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容，包括：
步骤S202，根据每个上述文本框的大小，将上述图像特征图划分为多个特征子图；
步骤S204，确定上述字符中自然语言词语对应的第一向量，其中，不同上述字符的自然语言词语转化为长度相等且长度固定的向量；
步骤S206，分别确定上述文本框的第一坐标信息对应的第二向量，以及与上述字符的第二坐标信息对应的第三向量，其中，上述第二向量和第三向量的向量长度相等且固定；
步骤S208，采用文档结构解码器对上述多个特征子图、上述第一向量、上述第二向量和上述第三向量进行解码处理，得到上述第一识别内容。
可选的，根据文本框的位置信息确定每个上述文本框的大小，并根据每个上述文本框的大小，将上述图像特征图划分为多个特征子图，其中，每个上述文本框对应于一个特征子图，并且每个特征子图的大小与对应的文本框的大小相同。
可选的，在获得上述图像特征图(即待识别的文档图像的整图的特征图)之后，通过将上述图像特征图输入至ROI卷积层，得到上述待识别的文档图像中每个上述文本框对应的特征子图，其中，上述ROI卷积层用于提取每个上述文本框中的关键特征(例如，字符特征)，并生成与文本框相同尺寸的特征子图。
可选的，可以但不限于将每个字符输入至Word2Vec模型识别出上述各字符中的自然语言词语，并将上述字符中自然语言词语转化为长度相等且长度固定的向量，即得到上述第一向量，以便于以批的形式来处理上述各字符，获取上述第一识别内容。
可选的，获取上述文本框的第一坐标信息和上述字符的第二坐标信息(即[x1、y1、x2、y2])，可以但不限于通过将上述第一坐标信息和上述第二坐标信息分别输入至Word2Vec模型的方式，将上述第一坐标信息和上述第二坐标信息分别转化成向量长度相等且固定的向量(即上述第二向量和上述第三向量)。
需要说明的是，上述多个特征子图、上述第一向量、上述第二向量和上述第三向量对应于多个不同的模态特征，通过上述文档结构解码器可将上述多个不同的模态特征进行解码处理，得到获取上述第一识别内容，以达到突出文本信息特征，更准确得识别出待识别的文档图像中的第一识别内容的目的。
作为一种可选的实施例，图3是根据本公开第一实施例的另一种可选的文档图像的识别方法的流程图，如图3所示，上述采用文档结构解码器对上述多个特征子图、上述第一向量、上述第二向量和上述第三向量进行解码处理，得到上述第一识别内容，包括：
步骤S302，将上述多个特征子图、上述第一向量、上述第二向量和上述第三向量输入至多模态转化模型，得到上述多模态转化模型对应输出的多模态特征；
步骤S304，采用上述文档结构解码器对上述多模态特征进行解码处理，得到上述待识别的文档图像的表格特征序列；
步骤S306，采用链接关系预测算法预测上述表格特征序列与上述文本信息中文字行之间的链接关系，得到预测链接矩阵；
步骤S308，基于上述表格特征序列和上述预测链接矩阵确定上述第一识别内容。
可选的，上述多模态转化模型可以但不限于为具有多层自注意力网络的Transformer模型，其中，上述Transformer可利用注意力机制来提高模型训练速度。
可选的，上述多模态转化模型用于将不同模态的信息转化至同一个特征空间中，并融合得到多模态特征，即通过上述多模态转化模型可将上述多个不同的模态特征转化至同一个特征空间当中，然后对上述多个不同的模态特征进行融合处理，将上述多个不同的模态特征融合成一个同时具备多模态信息的特征(即上述多模态特征)。
可选的，采用上述文档结构解码器对上述多模态特征进行解码处理，得到上述待识别的文档图像的表格特征序列，例如，“<thead><tr><td></td></tr></thead>”等序列。
可选的，上述链接关系预测算法可以但不限于为linking算法，例如，如图4所示，通过linking分支，预测表格特征序列<td></td>与上述文本信息中文字行之间的链接关系，得到预测链接矩阵；上述预测链接矩阵用于确定上述表格特征序列在上述待识别的文档图像中的位置信息。
需要说明的是，上述多个特征子图、上述第一向量、上述第二向量和上述第三向量对应于多个不同的模态特征，通过将上述多个特征子图、上述第一向量、上述第二向量和上述第三向量输入至多模态转化模型，得到上述多模态转化模型对应输出的多模态特征；采用上述文档结构解码器对上述多模态特征进行解码处理，得到上述待识别的文档图像的表格特征序列；采用链接关系预测算法预测上述表格特征序列与上述文本信息中文字行之间的链接关系，得到预测链接矩阵；基于上述表格特征序列和上述预测链接矩阵确定上述第一识别内容的方式，可以达到突出文档图像中的文本信息特征，更准确得识别出待识别的文档图像文本信息和位置信息的目的。
作为一种可选的实施例，图5是根据本公开第一实施例的另一种可选的文档图像的识别方法的流程图，如图5所示，上述采用上述文档结构解码器对上述多模态特征进行解码处理，得到上述待识别的文档图像的表格特征序列，包括：
步骤S502，采用上述文档结构解码器对上述多模态特征进行解码处理，得到上述待识别的文档图像中每个表格的表格标签；
步骤S504，将上述表格标签转化为上述表格特征序列；
步骤S506，输出并展示上述表格特征序列。
可选的，将上述模态转化模型输出的多模态特征取出，输入至上述文档结构解码器，上述文档结构解码器会依次输出文档图像中每个表格的表格标签，例如“<td>”，并将上述表格标签转化为上述表格特征序列，最终输出并展示文档图像中每个表格的特征序列。
在一种可选的实施例中，上述将待识别的文档图像转化为图像特征图，包括：
采用卷积神经网络模型将上述待识别的文档图像转化为上述图像特征图。
可选的，上述卷积神经网络模型可以但不限于为ResNet、VGG、MobileNet等卷积神经网络模型。
需要说明的是，采用卷积神经网络模型将上述待识别的文档图像转化为上述图像特征图，可以达到提高图像特征图识别准确性的目的。
在一种可选的实施例中，上述采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容，包括：
采用上述光学字符识别算法识别上述待识别的文档图像，得到每个上述文本框的第一信息和每个上述字符的第二信息。
可选的，上述第一信息和第二信息均包括：文本信息和坐标信息。
需要说明的是，本公开实施例采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容时，不仅要获取待识别文本图像中的文本框和字符中的文本信息，同时获取上述文本信息对应的位置信息，通过文本信息与位置信息相结合的方式，以达到提升文档图像中文本信息识别准确性的目的。
需要说明的是，本实施例的可选或优选实施方式可以参见上述车辆的信息提示方法实施例中的相关描述，此处不再赘述。本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
实施例2
根据本公开实施例，还提供了一种用于实施上述文档图像的识别方法的装置实施例，图6是根据本公开第二实施例的文档图像的识别装置的结构示意图，如图6所示，上述障碍物检测装置，包括：转化模块600、第一预测模块602、第二预测模块604、匹配模块606，其中：
上述转化模块600，用于将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；
上述第一预测模块602，用于基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；上述第二预测模块604，用于采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；
上述匹配模块606，用于匹配上述第一识别内容和上述第二识别内容，得到目标识别内容。
在本公开实施例中，通过上述转化模块600，用于将待识别的文档图像转化为图像特征图，其中，上述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；上述第一预测模块602，用于基于上述图像特征图、上述字符和上述文本框，预测得到上述待识别的文档图像的第一识别内容；上述第二预测模块604，用于采用光学字符识别算法识别上述待识别的文档图像，得到第二识别内容；上述匹配模块606，用于匹配上述第一识别内容和上述第二识别内容，得到目标识别内容，达到了提高障碍物图像特征提取效率的目的，从而实现了提高障碍物检测精度和检测效率，降低资源损耗以及障碍物检测技术在自动驾驶系统中的可靠性的技术效果，进而解决了相关技术中的文档图像识别方法对于质量较差的文档图像的识别精度较低且算法计算量大的技术问题。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述转化模块600、第一预测模块602、第二预测模块604、匹配模块606对应于实施例1中的步骤S102至步骤S108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
可选的，上述第一预测模块还包括：第一划分模块，用于根据每个上述文本框的大小，将上述图像特征图划分为多个特征子图；第一确定模块，用于确定上述字符中自然语言词语对应的第一向量，其中，不同上述字符的自然语言词语转化为长度相等且长度固定的向量；第二确定模块，用于分别确定上述文本框的第一坐标信息对应的第二向量，以及与上述字符的第二坐标信息对应的第三向量，其中，上述第二向量和第三向量的向量长度相等且固定；第一解码模块，用于采用文档结构解码器对上述多个特征子图、上述第一向量、上述第二向量和上述第三向量进行解码处理，得到上述第一识别内容。
可选的，上述第一解码模块还包括：输入模块，用于将上述多个特征子图、上述第一向量、上述第二向量和上述第三向量输入至多模态转化模型，得到上述多模态转化模型对应输出的多模态特征，其中，上述多模态转化模型用于将不同模态的信息转化至同一个特征空间中，并融合得到多模态特征；第二解码模块，用于采用上述文档结构解码器对上述多模态特征进行解码处理，得到上述待识别的文档图像的表格特征序列；第一预测子模块，用于采用链接关系预测算法预测上述表格特征序列与上述文本信息中文字行之间的链接关系，得到预测链接矩阵，其中，上述预测链接矩阵用于确定上述表格特征序列在上述待识别的文档图像中的位置信息；第三确定模块，用于基于上述表格特征序列和上述预测链接矩阵确定上述第一识别内容。
可选的，上述第二解码模块还包括：第三解码模块，用于采用上述文档结构解码器对上述多模态特征进行解码处理，得到上述待识别的文档图像中每个表格的表格标签；第一转化子模块，用于将上述表格标签转化为上述表格特征序列；展示模块，用于输出并展示上述表格特征序列。
可选的，上述转化模块还包括：第二转化子模块，用于采用卷积神经网络模型将上述待识别的文档图像转化为上述图像特征图。
可选的，上述转化模块还包括：识别模块，用于采用上述光学字符识别算法识别上述待识别的文档图像，得到每个上述文本框的第一信息和每个上述字符的第二信息，其中，上述第一信息和第二信息均包括：文本信息和坐标信息。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
实施例3
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品以及包括如上述电子设备的文档图像的识别产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法将待识别的文档图像转化为图像特征图。例如，在一些实施例中，方法将待识别的文档图像转化为图像特征图可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的方法将待识别的文档图像转化为图像特征图的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法将待识别的文档图像转化为图像特征图。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种文档图像的识别方法，包括：
将待识别的文档图像转化为图像特征图，其中，所述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；
基于所述图像特征图、所述字符和所述文本框，预测得到所述待识别的文档图像的第一识别内容，其中，所述第一识别内容至少包括：所述文档图像中的文字识别内容以及文字区域的位置信息；
采用光学字符识别算法识别所述待识别的文档图像，得到第二识别内容，其中，所述第二识别内容至少包括：所述文档图像中的文字识别内容以及文字区域的位置信息；
匹配所述第一识别内容和所述第二识别内容，得到目标识别内容；
其中，匹配所述第一识别内容和所述第二识别内容，包括：
将所述第一识别内容和所述第二识别内容中的文字识别内容以及文字区域的位置信息进行匹配。
2.根据权利要求1所述的方法，其中，所述基于所述图像特征图、所述字符和所述文本框，预测得到所述待识别的文档图像的第一识别内容，包括：
根据每个所述文本框的大小，将所述图像特征图划分为多个特征子图；
确定所述字符中自然语言词语对应的第一向量，其中，不同所述字符的自然语言词语转化为长度相等且长度固定的向量；
分别确定所述文本框的第一坐标信息对应的第二向量，以及与所述字符的第二坐标信息对应的第三向量，其中，所述第二向量和第三向量的向量长度相等且固定；
采用文档结构解码器对所述多个特征子图、所述第一向量、所述第二向量和所述第三向量进行解码处理，得到所述第一识别内容。
3.根据权利要求2所述的方法，其中，所述采用文档结构解码器对所述多个特征子图、所述第一向量、所述第二向量和所述第三向量进行解码处理，得到所述第一识别内容，包括：
将所述多个特征子图、所述第一向量、所述第二向量和所述第三向量输入至多模态转化模型，得到所述多模态转化模型对应输出的多模态特征，其中，所述多模态转化模型用于将不同模态的信息转化至同一个特征空间中，并融合得到多模态特征；
采用所述文档结构解码器对所述多模态特征进行解码处理，得到所述待识别的文档图像的表格特征序列；
采用链接关系预测算法预测所述表格特征序列与所述文本信息中文字行之间的链接关系，得到预测链接矩阵，其中，所述预测链接矩阵用于确定所述表格特征序列在所述待识别的文档图像中的位置信息；
基于所述表格特征序列和所述预测链接矩阵确定所述第一识别内容。
4.根据权利要求3所述的方法，其中，所述采用所述文档结构解码器对所述多模态特征进行解码处理，得到所述待识别的文档图像的表格特征序列，包括：
采用所述文档结构解码器对所述多模态特征进行解码处理，得到所述待识别的文档图像中每个表格的表格标签；
将所述表格标签转化为所述表格特征序列；
输出并展示所述表格特征序列。
5.根据权利要求1所述的方法，其中，所述将待识别的文档图像转化为图像特征图，包括：
采用卷积神经网络模型将所述待识别的文档图像转化为所述图像特征图。
6.根据权利要求1所述的方法，其中，所述采用光学字符识别算法识别所述待识别的文档图像，得到第二识别内容，包括：
采用所述光学字符识别算法识别所述待识别的文档图像，得到每个所述文本框的第一信息和每个所述字符的第二信息，其中，所述第一信息和第二信息均包括：文本信息和坐标信息。
7.一种文档图像的识别装置，包括：
转化模块，用于将待识别的文档图像转化为图像特征图，其中，所述文档图像中至少包括：至少一个文本框、包含多个字符的文本信息；
第一预测模块，用于基于所述图像特征图、所述字符和所述文本框，预测得到所述待识别的文档图像的第一识别内容，其中，所述第一识别内容至少包括：所述文档图像中的文字识别内容以及文字区域的位置信息；
第二预测模块，用于采用光学字符识别算法识别所述待识别的文档图像，得到第二识别内容，其中，所述第二识别内容至少包括：所述文档图像中的文字识别内容以及文字区域的位置信息；
匹配模块，用于匹配所述第一识别内容和所述第二识别内容，得到目标识别内容；
其中，匹配模块还用于：
将所述第一识别内容和所述第二识别内容中的文字识别内容以及文字区域的位置信息进行匹配。
8.根据权利要求7所述的装置，其中，所述第一预测模块还包括：
第一划分模块，用于根据每个所述文本框的大小，将所述图像特征图划分为多个特征子图；
第一确定模块，用于确定所述字符中自然语言词语对应的第一向量，其中，不同所述字符的自然语言词语转化为长度相等且长度固定的向量；
第二确定模块，用于分别确定所述文本框的第一坐标信息对应的第二向量，以及与所述字符的第二坐标信息对应的第三向量，其中，所述第二向量和第三向量的向量长度相等且固定；
第一解码模块，用于采用文档结构解码器对所述多个特征子图、所述第一向量、所述第二向量和所述第三向量进行解码处理，得到所述第一识别内容。
9.根据权利要求8所述的装置，其中，所述第一解码模块还包括：
输入模块，用于将所述多个特征子图、所述第一向量、所述第二向量和所述第三向量输入至多模态转化模型，得到所述多模态转化模型对应输出的多模态特征，其中，所述多模态转化模型用于将不同模态的信息转化至同一个特征空间中，并融合得到多模态特征；
第二解码模块，用于采用所述文档结构解码器对所述多模态特征进行解码处理，得到所述待识别的文档图像的表格特征序列；
第一预测子模块，用于采用链接关系预测算法预测所述表格特征序列与所述文本信息中文字行之间的链接关系，得到预测链接矩阵，其中，所述预测链接矩阵用于确定所述表格特征序列在所述待识别的文档图像中的位置信息；
第三确定模块，用于基于所述表格特征序列和所述预测链接矩阵确定所述第一识别内容。
10.根据权利要求9所述的装置，其中，所述第二解码模块还包括：
第三解码模块，用于采用所述文档结构解码器对所述多模态特征进行解码处理，得到所述待识别的文档图像中每个表格的表格标签；
第一转化子模块，用于将所述表格标签转化为所述表格特征序列；
展示模块，用于输出并展示所述表格特征序列。
11.根据权利要求7所述的装置，其中，所述转化模块还包括：
第二转化子模块，用于采用卷积神经网络模型将所述待识别的文档图像转化为所述图像特征图。
12.根据权利要求7所述的装置，其中，所述转化模块还包括：
识别模块，用于采用所述光学字符识别算法识别所述待识别的文档图像，得到每个所述文本框的第一信息和每个所述字符的第二信息，其中，所述第一信息和第二信息均包括：文本信息和坐标信息。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的文档图像的识别方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的文档图像的识别方法。
CN202210143148.5A 2022-02-16 2022-02-16 文档图像的识别方法、装置、存储介质以及电子设备 Active CN114519858B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210143148.5A CN114519858B (zh) 2022-02-16 2022-02-16 文档图像的识别方法、装置、存储介质以及电子设备
US17/884,264 US20230260306A1 (en) 2022-02-16 2022-08-09 Method and Apparatus for Recognizing Document Image, Storage Medium and Electronic Device
KR1020230020484A KR20230123449A (ko) 2022-02-16 2023-02-16 문서 이미지의 인식 방법, 장치, 저장 매체 및 전자 기기
JP2023022386A JP2023119593A (ja) 2022-02-16 2023-02-16 ドキュメント画像の認識方法、装置、記憶媒体、及び電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210143148.5A CN114519858B (zh) 2022-02-16 2022-02-16 文档图像的识别方法、装置、存储介质以及电子设备

Publications (2)

Publication Number Publication Date
CN114519858A CN114519858A (zh) 2022-05-20
CN114519858B true CN114519858B (zh) 2023-09-05

Family

ID=81598877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210143148.5A Active CN114519858B (zh) 2022-02-16 2022-02-16 文档图像的识别方法、装置、存储介质以及电子设备

Country Status (4)

Country Link
US (1) US20230260306A1 (zh)
JP (1) JP2023119593A (zh)
KR (1) KR20230123449A (zh)
CN (1) CN114519858B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171110B (zh) * 2022-06-30 2023-08-22 北京百度网讯科技有限公司 文本识别方法及装置、设备、介质和产品
CN115331152B (zh) * 2022-09-28 2024-03-08 江苏海舟安防科技有限公司 一种消防识别方法和系统
CN116958998B (zh) * 2023-09-20 2023-12-26 四川泓宝润业工程技术有限公司 一种基于深度学习的数字仪表读数的识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732228A (zh) * 2015-04-16 2015-06-24 同方知网数字出版技术股份有限公司 一种pdf文档乱码的检测、校正的方法
CN110827247A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种识别标签的方法及设备
CN110826567A (zh) * 2019-11-06 2020-02-21 北京字节跳动网络技术有限公司 光学字符识别方法、装置、设备及存储介质
CN111385424A (zh) * 2018-12-25 2020-07-07 佳能株式会社 图像处理系统和图像处理方法
CN112966522A (zh) * 2021-03-03 2021-06-15 北京百度网讯科技有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113313114A (zh) * 2021-06-11 2021-08-27 北京百度网讯科技有限公司 证件信息获取方法、装置、设备以及存储介质
CN113642584A (zh) * 2021-08-13 2021-11-12 北京百度网讯科技有限公司 文字识别方法、装置、设备、存储介质和智能词典笔

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6859977B2 (ja) * 2018-04-02 2021-04-14 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732228A (zh) * 2015-04-16 2015-06-24 同方知网数字出版技术股份有限公司 一种pdf文档乱码的检测、校正的方法
CN111385424A (zh) * 2018-12-25 2020-07-07 佳能株式会社 图像处理系统和图像处理方法
CN110827247A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种识别标签的方法及设备
CN110826567A (zh) * 2019-11-06 2020-02-21 北京字节跳动网络技术有限公司 光学字符识别方法、装置、设备及存储介质
CN112966522A (zh) * 2021-03-03 2021-06-15 北京百度网讯科技有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113313114A (zh) * 2021-06-11 2021-08-27 北京百度网讯科技有限公司 证件信息获取方法、装置、设备以及存储介质
CN113642584A (zh) * 2021-08-13 2021-11-12 北京百度网讯科技有限公司 文字识别方法、装置、设备、存储介质和智能词典笔

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像处理和卷积神经网络的文本验证码识别方案;陈振昂;黄星期;秦中元;;网络空间安全(第08期);全文 *

Also Published As

Publication number Publication date
CN114519858A (zh) 2022-05-20
JP2023119593A (ja) 2023-08-28
US20230260306A1 (en) 2023-08-17
KR20230123449A (ko) 2023-08-23

Similar Documents

Publication Publication Date Title
CN114519858B (zh) 文档图像的识别方法、装置、存储介质以及电子设备
CN113657390B (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
CN113657274B (zh) 表格生成方法、装置、电子设备及存储介质
US20220027661A1 (en) Method and apparatus of processing image, electronic device, and storage medium
CN114429637A (zh) 一种文档分类方法、装置、设备及存储介质
CN114724133A (zh) 文字检测和模型训练方法、装置、设备及存储介质
CN114495101A (zh) 文本检测方法、文本检测网络的训练方法及装置
CN113780578B (zh) 模型训练方法、装置、电子设备及可读存储介质
CN114445826A (zh) 视觉问答方法、装置、电子设备以及存储介质
CN112966140B (zh) 字段识别方法、装置、电子设备、存储介质和程序产品
CN114022865A (zh) 基于车道线识别模型的图像处理方法、装置、设备和介质
CN114511862B (zh) 表格识别方法、装置及电子设备
CN115082598B (zh) 文本图像生成、训练、文本图像处理方法以及电子设备
CN116259064A (zh) 表格结构识别方法、表格结构识别模型的训练方法及装置
CN113435257B (zh) 表格图像的识别方法、装置、设备和存储介质
CN115359502A (zh) 一种图像处理方法、装置、设备以及存储介质
CN115019321A (zh) 一种文本识别、模型训练方法、装置、设备及存储介质
CN116266259A (zh) 图像文字结构化输出方法、装置、电子设备和存储介质
CN114283343A (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备
CN114049640A (zh) 一种票据文本检测方法、装置、电子设备及存储介质
CN113947195A (zh) 模型确定方法、装置、电子设备和存储器
CN113887394A (zh) 一种图像处理方法、装置、设备及存储介质
CN115171110B (zh) 文本识别方法及装置、设备、介质和产品
CN116168442B (zh) 样本图像生成方法、模型的训练方法、目标检测方法
CN114202728B (zh) 一种视频检测方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant