CN114937277B - 基于图像的文本获取方法、装置、电子设备及存储介质 - Google Patents

基于图像的文本获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114937277B
CN114937277B CN202210543075.9A CN202210543075A CN114937277B CN 114937277 B CN114937277 B CN 114937277B CN 202210543075 A CN202210543075 A CN 202210543075A CN 114937277 B CN114937277 B CN 114937277B
Authority
CN
China
Prior art keywords
features
text
grid
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210543075.9A
Other languages
English (en)
Other versions
CN114937277A (zh
Inventor
曹健健
李煜林
钦夏孟
姚锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210543075.9A priority Critical patent/CN114937277B/zh
Publication of CN114937277A publication Critical patent/CN114937277A/zh
Application granted granted Critical
Publication of CN114937277B publication Critical patent/CN114937277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本公开提供了一种基于图像的文本获取方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别(Optical Character Recognition，OCR)等场景。具体实现方案为：获取文档图像，文档图像包括：文本内容，获取文档图像的图像网格特征，根据图像网格特征，获取与文本内容对应的视觉语义特征，根据视觉语义特征，从文档图像中获取目标文本。由于文档图像的图像网格特征能够表征文档图像中所包含内容的空间维度特征和语义维度特征，实现联合文档图像的空间维度特征和语义维度特征，识别出文档图像中所包含文本内容的视觉语义特征，有效丰富了视觉语义特征的空间语义信息，有效提升目标文本获取的准确性。

Description

基于图像的文本获取方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉技术领域，尤其涉及一种基于图像的文本获取方法、装置、电子设备及存储介质。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。
相关技术中，通常是在一维语义空间中进行特征建模，以提取对应的特征用于获取目标文本。
发明内容
本公开提供了一种基于图像的文本获取方法、装置、电子设备、存储介质及计算机程序产品。
根据本公开的第一方面，提供了一种基于图像的文本获取方法，包括：获取文档图像，其中，所述文档图像包括：文本内容，获取所述文档图像的图像网格特征，根据所述图像网格特征，获取与所述文本内容对应的视觉语义特征，根据所述视觉语义特征，从所述文档图像中获取目标文本。
根据本公开的第二方面，提供了一种基于图像的文本获取装置，包括：第一获取模块，用于获取文档图像，其中，所述文档图像包括：文本内容；第二获取模块，用于获取所述文档图像的图像网格特征；第三获取模块，用于根据所述图像网格特征，获取与所述文本内容对应的视觉语义特征；第四获取模块，用于根据所述视觉语义特征，从所述文档图像中获取目标文本。
根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例的基于图像的文本获取方法。
根据本公开的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开第一方面实施例的基于图像的文本获取方法。
根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序，当计算机程序由处理器执行时实现本公开第一方面实施例的基于图像的文本获取方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第三实施例的示意图；
图4是本公开实施例中的语义编码器的任务形式示意图；
图5是根据本公开第四实施例的示意图；
图6本公开实施例中的目标文本获取流程示意图；
图7是根据本公开第五实施例的示意图；
图8是根据本公开第六实施例的示意图；
图9示出了可以用来实施本公开的实施例的基于图像的文本获取方法的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开第一实施例的示意图。
其中，需要说明的是，本实施例的基于图像的文本获取方法的执行主体为基于图像的文本获取装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
本公开实施例涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别(Optical Character Recognition，OCR)等场景。
其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
深度学习，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
图像处理，是利用计算机技术对图像进行分析，以达到所需图像结果的技术，图像处理一般指数字图像处理，图像处理技术一般包括图像变换，图像压缩，图像增强和复原，图像匹配、描述和识别等。
计算机视觉，计算机视觉是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
光学字符识别(Optical Character Recognition，OCR)，是指利用电子设备(例如扫描仪或数码相机)检查图像中的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字。
如图1所示，该基于图像的文本获取方法，包括：
S101：获取文档图像，其中，文档图像包括：文本内容。
其中，文档图像，是指将文档格式的文本转换为图像格式后包含文档内容的图像，该文档内容可以包括文本、表格或者数字表单等，文档图像可以为对纸质文档进行扫描后得到的文档扫描图像，或者可以为对电子文档进行截图处理后得到的文档截图图像等，对此不做限制。
其中，文本内容，是指文档图像中文本部分对应的区域图像。
本公开实施例中，在获取文档图像时，可以利用扫描仪等扫描装置对纸质文档进行扫描处理，以获取对应的文档扫描图像，并将获取到的文档扫描图像作为文档图像，或者可以对电子文档进行截图处理，以获取对应的文档截图图像，并将获取到的文档截图图像作为文档图像，文档图像中包含文本内容，文本内容为文档中文本部分对应的区域图像。
另一些实施例中，在获取文档图像时，还可以在基于图像的文本获取装置上配置数据采集装置，利用图像采集装置采集文档文件，并将文档文件进行格式转换处理，将文档格式转换为图片格式，以获取对应的图像作为文档图像，或者也可以预先在基于图像的文本获取装置上配置数据传输接口，经由该数据传输接口接收其他电子设备传输的包含文档内容的图像作为文档图像，或者也可以采用其他任意可能的方式获取文档图像，对此不做限制。
S102：获取文档图像的图像网格特征。
其中，图像网格特征，是指可以对文档图像内容进行表征的视觉二维网格特征图，该文档图像的图像网格特征可以描述文档图像中文本的视觉位置信息，例如可以对文档图像中文本的字段位置进行表征等，对此不做限制。
本公开实施例中，在获取文档图像的图像网格特征时，可以利用视觉特征编码器对文档图像进行视觉特征编码提取处理，可以将文档图像输入至残差网络结构的特征金字塔网络(Residual Network-Feature Pyramid Networks for Object Detection，ResNet-FPN)中进行特征提取处理，以得到特征金字塔网络输出的二维特征图，并将所输出的二维特征图作为文档图像的图像网格特征。
S103：根据图像网格特征，获取与文本内容对应的视觉语义特征。
其中，视觉语义特征，是指可以对文档图像的文本语义内容和视觉信息进行表征的二维数据特征，视觉语义特征可以为将文档图像的二维语义特征和二维视觉特征进行融合处理后得到的数据特征。
本公开实施例在上述获取文档图像的图像网格特征之后，可以根据图像网格特征，获取与文本内容对应的视觉语义特征。
本公开实施例中，在根据图像网格特征，获取与文本内容对应的视觉语义特征时，可以首先获取文本内容对应的二维语义特征，可以将文档图像输入至光学字符识别(Optical Character Recognition，OCR)引擎中进行文字检测识别处理，以获取文本内容中的各个文字在文档图像中的位置信息和文字内容信息，而后将OCR引擎的输出结果输入至词编码器中进行特征提取处理，以提取到文档内容中各个词语对应的特征向量，而后可以将各个词语对应的特征向量输入至语义编码器中进行语义特征提取，以得到文本内容对应的一维语义特征，而后可以对一维语义特征进行空间特征映射处理，以将一维语义特征映射至图像网格特征对应的二维空间网格上，以得到映射处理后文本内容对应的二维语义特征。
本公开实施在上述获取文本内容对应的二维语义特征之后，可以将二维语义特征与图像网格特征进行拼接处理，并对拼接处理后的特征输入至卷积神经网络中进行进一步的特征编码处理，以获取卷积神经网络的输出特征，并将卷积神经网络输出的特征作为与文本内容对应的视觉语义特征。
S104：根据视觉语义特征，从文档图像中获取目标文本。
其中，目标文本，是指待对其从文档中进行提取的文本内容，举例而言，当应用场景为文档视觉问答场景时，目标文本可以为文档相关问题对应的答案文本，应用场景为对文档进行信息抽取时，目标文本可以为文档中待对其进行抽取的文本，对此不做限制。
本公开实施例中，在根据视觉语义特征，从文档图像中获取目标文本时，可以根据视觉语义特征，对文档图像中文本内容的文字是否为目标文本进行分类处理，可以将视觉语义特征输入至感兴趣区域池化层(Region of Interest pooling，RoI pooling)层中进行目标检测处理，以将文档图像的二维的视觉语义特征转换为一维序列信息，而后可以将根据一维序列信息输入至分类模型中，判断文本内容中的词语是否目标文本中所包含的字段，根据分类结果提取出目标文本中包含的多个字段，对提取到的多个字段进行组合处理，以生成对应的文本，并将生成的文本作为目标文本。
本实施例中，通过获取文档图像，获取文档图像的图像网格特征，根据图像网格特征，获取与文本内容对应的视觉语义特征，根据视觉语义特征，从文档图像中获取目标文本，由于文档图像的图像网格特征能够表征文档图像中所包含内容的空间维度特征和语义维度特征，从而实现联合文档图像的空间维度特征和语义维度特征，识别出文档图像中所包含文本内容的视觉语义特征，有效丰富了视觉语义特征的空间语义信息，有效提升目标文本获取的准确性。
图2是根据本公开第二实施例的示意图。
如图2所示，该基于图像的文本获取方法，包括：
S201：获取文档图像，其中，文档图像包括：文本内容。
S202：获取文档图像的图像网格特征。
S201-S202的描述说明可以示例参见上述实施例，在此不再赘述。
S203：生成与文本内容对应的文本网格特征。
其中，文本网格特征，是指可以对文本内容的语义信息进行表征的二维语义特征，文本网格特征可以是将文本内容对应的一维语义特征映射至二维空间网格上后得到的文本特征。
本公开实施例中，在生成与文本内容对应的文本网格特征时，可以首先提取文本内容对应的一维语义特征，可以将文档图像输入至OCR引擎中进行文字检测识别处理，以获取文本内容中的各个文字在文档图像中的位置信息和文字内容信息，而后将OCR引擎的输出结果输入至词编码器中进行特征提取处理，以提取到各个文字对应的特征向量作为文本内容的语言特征，而后可以将语言特征输入至语义编码器中进行语义特征提取，以得到文本内容对应的一维语义特征。
本公开实施例在上述提取文本内容对应的一维语义特征之后，可以对一维语义特征进行空间特征映射处理，以将一维语义特征映射至二维空间网格上，以获取映射处理后的二维语义特征，并将获取到的二维语义特征作为与文本内容对应的文本网格特征，以生成与文本内容对应的文本网格特征。
可选地，一些实施例中，在生成与文本内容对应的文本网格特征时，可以确定网格尺寸信息，根据网格尺寸信息，生成初始空间网格，获取文本内容的文本内容特征，将文本内容特征映射至初始空间网格中，得到文本网格特征，从而可以将文本内容特征映射至初始空间网格以获取二维的文本网格特征，使得映射后的文本网格不仅包含文本内容的语义信息，还包含的对应的空间位置信息，实现语义信息与空间信息的有效结合，有效提升在语义空间推理能力。
其中，网格尺寸信息，是指可以用于描述二维特征网格的尺寸的数据信息，该网格尺寸信息可以包括二维特征网格图的总长宽尺寸、二维特征网格图中每个网格的长宽尺寸信息和位置信息等，对此不做限制。
其中，初始空间网格，是指预先根据网格尺寸信息生成的，未将对应特征映射至对应位置上的空白特征网格。
其中，文本内容特征，是指可以用于对文档图像中文本内容的语义信息进行调整的数据特征，该文本内容特征可以为一维语义特征。
本公开实施例中，在生成与文本内容对应的文本网格特征时，可以首先确定网格尺寸信息，可以获取文档图像的长宽尺寸信息，根据文档图像对应的长宽尺寸信息获取文档图像中字词的文本框尺寸信息，而后可以将文档图像的长宽尺寸信息以及文档图像中字词的文本框尺寸信息作为网格尺寸信息，而后可以根据网格尺寸信息，生成空白的二维特征网格，并将生成的空白二维特征网格作为初始空间网格。
本公开实施例在上述确定网格尺寸信息，并根据网格尺寸信息，生成初始空间网格之后，可以获取文本内容的文本内容特征，将文本内容特征映射至初始空间网格中，可以将文档图像输入至OCR引擎中进行文字检测识别处理，以获取文档图像的文本内容中的各个词在文档图像中的位置信息和文字内容信息，而后将OCR引擎的输出结果输入至词编码器中进行特征提取处理，利用词编码器构建数据集所有的单词对应的词表，根据词表的特征对文本内容中中的词进行一一映射，以得到文本内容中每个词对应的特征向量作为语言特征，而后可以将提取到的语言特征输入至语义编码器中进行语义特征编码处理，而后可以将各个词对应的特征向量输入至语义编码器中进行语义特征提取，以得到文本内容对应的一维语义特征，并将提取到的文本内容对应的一维语义特征作为文本内容的文本内容特征，而后可以将文本内容特征映射至初始空间网格中，可以OCR引擎中提取的各个词在文档图像中的位置信息将文本内容特征映射至初始空间网格的对应位置上，以映射生成二维的语义特征，并将该二维语义特征作为与文本内容对应的文本网格特征。
S204：根据图像网格特征和文本网格特征，生成视觉语义特征。
本公开实施例在上述，获取文档图像的图像网格特征，并生成与文本内容对应的文本网格特征之后，可以根据图像网格特征和文本网格特征，生成视觉语义特征。
本公开实施例中在根据图像网格特征和文本网格特征，生成视觉语义特征时，可以将图像网格特征和文本网格特征进行融合处理，将对应网格位置上的图像网格特征和文本网格特征进行拼接融合，并对拼接融合处理后的特征进行进一步的特征编码，以实现跨模态的图像网格特征和文本网格特征间更好的融合，并将融合处理后的特征作为视觉语义特征。
本实施例中，通过生成与文本内容对应的文本网格特征，根据图像网格特征和文本网格特征，生成视觉语义特征，从而可以根据图像网格特征和文本网格特征生成视觉语义特征，使得获取到的视觉语义特征中包含文本内容的语义特征和视觉特征，实现语义信息、视觉信息在空间上的细致建模，保证了语义信息、视觉信息和空间信息的有效结合，由于视觉语义特征可以用于获取目标文本，从而可以有效提升目标文本获取效果。
S205：获取文本需求信息。
其中，文本需求信息，是指可以用于对待对其进行抽取的目标文本进行标识的需求信息，举例而言，当应用场景为文档视觉问答场景时，文本需求信息为针对文档提出的相关问题文本信息，当应用场景为对文档进行信息抽取时，文本需求信息可以为文档中待对其进行抽取的文本定位信息等，对此不做限制。
本公开实施例中，在获取文本需求信息时，可以获取针对文档提出的自然语言问题信息，将该自然语言问题信息作为文本需求信息，或者可以在基于图像的文本获取装置上配置数据传输接口，经由该数据传输接口接收其他电子设备传输的针对文档的自然语言问题信息作为文本需求信息。
另一些实施例中，当应用场景为对文档进行信息抽取时，可以获取待对其进行抽取的文本定位信息，并将该文本定位信息作为文本需求信息，或者也可以采用其他任意可能的方式获取文本需求信息，对此不做限制。
S206：确定与文本需求信息对应的需求语义特征。
其中，需求语义特征，是指可以用于对文本需求信息的语义内容进行描述的语义特征。
本公开实施例在上述获取文本需求信息之后，可以确定与文本需求信息对应的需求语义特征。
本公开实施例中，在确定与文本需求信息对应的需求语义特征时，可以将文本需求信息输入至词编码器word embedding中进行特征编码处理，利用词编码器构建数据集所有的单词对应的词表，根据词表的特征对文本需求信息中的词进行一一映射，以得到文本需求信息中每个词对应的特征向量作为语言特征，而后可以将提取到的语言特征输入至语义编码器中进行语义特征编码处理，以提取到针对文档的自然语言问题信息对应的语义特征，并将语义编码器的输出结果作为需求语义特征。
S207：根据视觉语义特征，从文档图像中获取与需求语义特征所匹配文本作为目标文本。
本公开实施例在上述确定与文本需求信息对应的需求语义特征之后，可以根据视觉语义特征，从文档图像中获取与需求语义特征所匹配文本作为目标文本。
本公开实施例中，在根据视觉语义特征，从文档图像中获取与需求语义特征所匹配文本作为目标文本时，可以将视觉语义特征与需求语义特征输入至卷积神经网络(Convolutional Neural Networks，CNN)进行特征编码处理，并将编码处理后的语义特征输入至RoI pooling层中进行目标检测处理，根据视觉语义特征中包含的文档图片中各个词的位置信息，对视觉语义特征图进行抠图处理，以得到每个词对应的特征区域，将各个特征区域进行池化处理，以得到各个词对应特征区域的一维语义序列信息，将该一维语义序列信息输入至分类层中，以对各个词是否为与需求语义特征所匹配文本的词进行判断，选取分与需求语义特征所匹配文本的词，根据多个词生成与需求语义特征所匹配的文本，将与需求语义特征所匹配文本作为目标文本。
本实施例中，通过获取文本需求信息，确定与文本需求信息对应的需求语义特征，根据视觉语义特征，从文档图像中获取与需求语义特征所匹配文本作为目标文本，由于视觉语义特征是文本内容的视觉特征、语义特征和空间语义特征建模获取的，使得视觉语义特征具有较优的空间语义推理性能，当根据视觉语义特征和需求语义特征从文档图像中获取目标文本时，可以较大程度上提升目标文本获取的准确性。
本实施例中，通过获取文档图像，获取文档图像的图像网格特征，根据图像网格特征，获取与文本内容对应的视觉语义特征，根据视觉语义特征，从文档图像中获取目标文本，由于文档图像的图像网格特征能够表征文档图像中所包含内容的空间维度特征和语义维度特征，实现联合文档图像的空间维度特征和语义维度特征，识别出文档图像中所包含文本内容的视觉语义特征，有效丰富了视觉语义特征的空间语义信息，有效提升目标文本获取的准确性，通过生成与文本内容对应的文本网格特征，根据图像网格特征和文本网格特征，生成视觉语义特征，从而可以根据图像网格特征和文本网格特征生成视觉语义特征，使得获取到的视觉语义特征中包含文本内容的语义特征和视觉特征，实现语义信息、视觉信息在空间上的细致建模，保证了语义信息、视觉信息和空间信息的有效结合，由于视觉语义特征可以用于获取目标文本，从而可以有效提升目标文本获取效果。
图3是根据本公开第三实施例的示意图。
如图3所示，该基于图像的文本获取方法，包括：
S301：获取文档图像，其中，文档图像包括：文本内容。
S302：获取文档图像的图像网格特征。
S301-S302的描述说明可以示例参见上述实施例，在此不再赘述。
S303：将图像网格特征的尺寸信息作为网格尺寸信息。
其中，图像网格特征的尺寸信息，是指对文档图像进行视觉特征提取后得到的二维视觉网格特征图。
本公开实施例中，在确定网格尺寸信息时，可以确定图像网格特征的尺寸信息，可以确定图像网格特征图的长宽数据信息以及图像网格特征图中的网格尺寸数据信息作为图像网格特征的尺寸信息，将图像网格特征的尺寸信息作为网格尺寸信息。
本实施例中，通过将图像网格特征的尺寸信息作为网格尺寸信息，从而可以保证根据网格尺寸信息生成的初始空间网格可以与文档图像的尺寸匹配，以保证将特征映射至初始空间网格时的映射准确性，保证生成的文本网格特征的准确性。
S304：根据网格尺寸信息，生成初始空间网格。
S304的描述说明可以示例参见上述实施例，在此不再赘述。
S305：获取文本内容的语义特征。
其中，文本内容的语义特征，是指可以用于对文本内容的语义内容信息进行表征的一维数据特征。
本公开实施例中，在获取文本内容的语义特征时，可以将文档图像输入至OCR引擎中进行文字检测处理，以得到文档图像的文本内容中的文字内容信息，而后可以将提取到的文字内容信息依次输入至词编码器和语义编码器中进行特征编码处理，以得到语义编码器输出的一维语义特征作为文本内容的语义特征。
可选地，一些实施例中，在获取文本内容的语义特征时，可以获取与文本内容对应的文本语言特征，根据文本语言特征，确定文本内容的语义特征，从而可以对文本内容中的各个词进行分别映射编码处理以得到各个词对应的特征向量作为语言特征，以实现对文本内容中的文字的准确检测，并将根据文本语言特征确定文本内容的语义特征，以实现对文本内容中各个词之间的语义关联，实现对语义特征的细粒度分析，有效提升获取的文本内容的语义特征的准确性。
其中，文本语言特征，是指将文本内容中的词进行特征映射处理后得到的特征向量。
本公开实施例中，在获取文本内容的语义特征时，可以首先获取与文本内容对应的文本语言特征，可以将文档图像输入至OCR引擎中，利用OCR引擎对文档图像的文本内容进行文字检测处理，以提取文本内容的文字内容信息，而后可以将文字内容信息输入至词编码器word embedding中进行特征编码处理，利用词编码器构建数据集所有的单词对应的词表，根据词表的特征对文本内容中的词进行一一映射，以得到文本内容中每个词对应的特征向量，并经各个词的特征向量作为与文本内容对应的文本语言特征。
本公开实施例在上述获取与文本内容对应的文本语言特征之后，可以根据文本语言特征，确定文本内容的语义特征，可以将与文本内容对应的文本语言特征输入至语义编码器中进行语义特征提取处理，以得到语义编码器输出的语义特征，并将语义编码器输出的语义特征作为文本内容的语义特征。
举例而言，在根据文本语言特征，确定文本内容的语义特征时，可以引入语义理解技术与平台，利用预训练任务帮助语义理解技术与平台学习语言知识，以训练得到成熟的语义理解技术与平台，而后可以将文本语义特征输入至语义理解技术与平台中进行语义特征提取，以得到语义理解技术与平台输出的一维语义特征作为文本内容的语义特征，如图4所示，图4是本公开实施例中的语义编码器的任务形式示意图。
S306：获取文本内容相对于文档图像的位置特征。
其中，文本内容相对于文档图像的位置特征，是指可以用于表征文本内容中的文字相对于文档图像的位置信息的数据特征，该位置特征可以用于描述文本内容中的文字相对于文档图像中的坐标位置信息。
本公开实施例中，在获取文本内容相对于文档图像的位置特征时，可以获取文本内容中的文字相对于文档图像中的坐标位置信息，可以将文档图像输入至OCR引擎中，利用OCR引擎对文档图像的文本内容进行文字检测处理，以提取文本内容的文字内容信息以及文字内容相对于文档图像中的坐标位置信息，并将文字内容相对于文档图像中的坐标位置信息作为文本内容相对于文档图像的位置特征。
S307：将语义特征和位置特征共同作为文本内容特征。
本公开实施例在上述获取文本内容的语义特征，并获取文本内容相对于文档图像的位置特征之后，可以将语义特征和位置特征共同作为文本内容特征。
本实施例中，通过获取文本内容的语义特征，获取文本内容相对于文档图像的位置特征，将语义特征和位置特征共同作为文本内容特征，从而可以获取文本内容的语义特征和位置特征共同作为文本内容特征，由于文本内容的位置特征可以用于将文本内容特征应设置对应的空间网格上，从而可以保证特征映射的准确性，保证提取到的文本网格特征的准确性。
S308：将文本内容特征映射至初始空间网格中，得到文本网格特征。
可选地，一些实施例中，在将文本内容特征映射至初始空间网格中，得到文本网格特征时，可以确定初始空间网格中与位置特征对应的待映射位置，将语义特征映射至初始空间网格中待映射位置处，得到目标空间网格，确定目标空间网格的空间网格特征，并将空间网格特征作为文本网格特征，从而可以将一维的语义特征映射至空间网格中以得到二维的文本网格特征，由于二维的文本网格特征中具有丰富的空间语义信息，从而可以有效提升多模态特征信息间的学习效果，在根据图像网格特征和文本网格特征生成视觉语义特征时，可以有效提升文本网格特征与图像网格特征的融合学习效果，有效提升视觉语义特征生成效果。
其中，待映射位置，是指将文字相对与文档图像中的位置投影至初始空间网格上时，初始空间网格中对应的网格位置。
其中，目标空间网格，是指将语义特征映射至初始空间网格中待映射位置处之后的包含特征信息的空间网格。
其中，空间网格特征，是指对目标空间网格中的特征信息进行提取处理后得到的二维文本特征，该空间网格特征可以作为文本内容对应的文本网格特征。
本公开实施例中，在将文本内容特征映射至初始空间网格中时，可以根据文本内容的位置特征，将文字内容中的文字相对于文档图像中的位置投影至初始空间网格上，以得到初始空间网格中对应的投影网格位置作为待映射位置，将语义特征映射至初始空间网格中待映射位置处，以得到映射处理后的空间网格作为目标空间网格，而后可以根据目标空间网格生成对应的文本特征图作为目标空间网格的空间网格特征，并将空间网格特征作为文本网格特征。
S309：根据图像网格特征和文本网格特征，生成视觉语义特征。
S310：根据视觉语义特征，从文档图像中获取目标文本。
S309-S310的描述说明可以示例参见上述实施例，在此不再赘述。
本实施例中，通过获取文档图像，获取文档图像的图像网格特征，根据图像网格特征，获取与文本内容对应的视觉语义特征，根据视觉语义特征，从文档图像中获取目标文本，由于文档图像的图像网格特征能够表征文档图像中所包含内容的空间维度特征和语义维度特征，实现联合文档图像的空间维度特征和语义维度特征，识别出文档图像中所包含文本内容的视觉语义特征，有效丰富了视觉语义特征的空间语义信息，有效提升目标文本获取的准确性，通过将图像网格特征的尺寸信息作为网格尺寸信息，从而可以保证根据网格尺寸信息生成的初始空间网格可以与文档图像的尺寸匹配，以保证将特征映射至初始空间网格时的映射准确性，保证生成的文本网格特征的准确性，通过获取文本内容的语义特征，获取文本内容相对于文档图像的位置特征，将语义特征和位置特征共同作为文本内容特征，从而可以获取文本内容的语义特征和位置特征共同作为文本内容特征，由于文本内容的位置特征可以用于将文本内容特征应设置对应的空间网格上，从而可以保证特征映射的准确性，保证提取到的文本网格特征的准确性。
图5是根据本公开第四实施例的示意图。
如图5所示，该基于图像的文本获取方法，包括：
S501：获取文档图像，其中，文档图像包括：文本内容。
S502：获取文档图像的图像网格特征。
S503：生成与文本内容对应的文本网格特征。
S501-S502的描述说明可以示例参见上述实施例，在此不再赘述。
S504：融合图像网格特征和文本网格特征，得到融合网格特征。
其中，融合网格特征，是指对图像网格特征和文本网格特征进行拼接融合处理后得到的二维网格特征，融合网格特征中包含了文档图像的视觉信息、语义信息以及空间信息。
本公开实施例中，在融合图像网格特征和文本网格特征，得到融合网格特征时，可以将空间网格中的每个网格位置上的图像网格特征和文本网格特征在特征通道维度上直接拼接融合，以得到融合处理后的特征作为融合网格特征。
可选地，一些实施例中，在融合图像网格特征和文本网格特征，得到融合网格特征时，从图像网格特征中解析与多个特征位置分别对应的多个图像特征，从文本网格特征中解析与多个特征位置分别对应的多个文本特征，对与特征位置对应的图像特征和文本特征进行融合处理，得到融合特征，根据多个特征位置和相应多个融合特征，生成融合网格特征，从而可以对多个特征位置上的图像特征和文本特征进行对应位置上的准确特征融合，保证融合网格特征的生成准确性。
本公开实施例中，在融合图像网格特征和文本网格特征，得到融合网格特征时，可以根据位置特征对图像网格特征进行解析处理，以得到各个网格对应的多个图像特征，将各个网格对应的多个图像特征作为从图像网格特征中解析与多个特征位置分别对应的多个图像特征，并根据位置特征对文本网格特征进行解析处理，以得到各个网格对应的多个文本特征，将各个网格对应的多个文本特征作为从文本网格特征中解析与多个特征位置分别对应的多个文本特征，而后可以对与特征位置对应的图像特征和文本特征进行融合处理，以得到融合处理后各个特征位置上的融合特征，而后可以根据多个特征位置和相应多个融合特征，生成融合网格特征图，并将生成的融合网格特征图作为融合网格特征。
S505：对融合网格特征进行编码处理，得到编码结果特征。
本公开实施例在上述融合图像网格特征和文本网格特征，得到融合网格特征之后，可以对融合网格特征进行编码处理，以得到编码结果特征。
其中，编码结果特征，是指对融合网格特征进行编码处理后得到的编码结果特征，编码处理可以实现对融合网格特征中的语义信息、视觉信息和空间信息间的融合学习。
本公开实施例中，在对融合网格特征进行编码处理，得到编码结果特征时，可以将融合网格特征输入至卷积神经网络中，利用卷积神经网络中的特征编码器对融合网格特征中的图像网格特征和文本网格特征进行跨模态间的特征信息学习，以对融合网格特征中的语义信息、视觉信息和空间信息进行进一步的编码处理，并将卷积神经网络输出的特征作为编码结果特征。
S506：将编码结果特征作为视觉语义特征。
本公开实施例在上述融合图像网格特征和文本网格特征，得到融合网格特征，并对融合网格特征进行编码处理，得到编码结果特征之后，可以将编码结果特征作为视觉语义特征。
本公开实施例在将编码结果特征作为视觉语义特征之后，可以根据视觉语义特征，从文档图像中获取目标文本。
举例而言，如图6所示，图6是本公开实施例中的目标文本获取流程示意图，可以将文档图像送入OCR引擎中提取这文档图像中文字的内容信息和位置信息，再将提取的文档图像中的文字token text和输入的问题question text送入词编码器word embedding中提取文字的语言特征，而后可以将提取到的语言特征输入语义理解与技术平台中提取问题和文字的一维语义特征，而后根据文字的空间位置将一维语义特征映射到二维的空间网格上，以得到映射处理后文本的二维网格特征，而后采用传统的视觉特征编码器ResNet-FPN提取文档图像的视觉二维网格特征，视觉二维网格特征和文本二维网格特征具有相同的尺寸，可以直接在特征通道纬度进行拼接融合，基于CNN的特征编码器进行进一步的特征编码，提取更为丰富的视觉语义特征，最后根据每个文字的空间位置利用ROI Pooling层提取对应的编码特征送入答案预测模块中预测问题的答案，并将预测得到的问题的答案作为目标文本。
本实施例中，通过融合图像网格特征和文本网格特征，得到融合网格特征，对融合网格特征进行编码处理，得到编码结果特征，将编码结果特征作为视觉语义特征，从而可以基于卷积神经的编码器的特征编码器对融合处理后的融合网格特征进行进一步的编码处理，有效提升文档图像中的语义信息、视觉信息和空间信息的融合学习效果，避免跨模态间的特征直接融合影响信息融合效果，以得到信息较为丰富的语义特征图。
S507：根据视觉语义特征，从文档图像中获取目标文本。
S507的描述说明可以示例参见上述实施例，在此不再赘述。
本实施例中，通过获取文档图像，获取文档图像的图像网格特征，根据图像网格特征，获取与文本内容对应的视觉语义特征，根据视觉语义特征，从文档图像中获取目标文本，由于文档图像的图像网格特征能够表征文档图像中所包含内容的空间维度特征和语义维度特征，实现联合文档图像的空间维度特征和语义维度特征，识别出文档图像中所包含文本内容的视觉语义特征，有效丰富了视觉语义特征的空间语义信息，有效提升目标文本获取的准确性，通过融合图像网格特征和文本网格特征，得到融合网格特征，对融合网格特征进行编码处理，得到编码结果特征，将编码结果特征作为视觉语义特征，从而可以基于卷积神经的编码器的特征编码器对融合处理后的融合网格特征进行进一步的编码处理，有效提升文档图像中的语义信息、视觉信息和空间信息的融合学习效果，避免跨模态间的特征直接融合影响信息融合效果，以得到信息较为丰富的语义特征图。
图7是根据本公开第五实施例的示意图。
如图7所示，该基于图像的文本获取装置70，包括：
第一获取模块701，用于获取文档图像，其中，文档图像包括：文本内容；
第二获取模块702，用于获取文档图像的图像网格特征；
第三获取模块703，用于根据图像网格特征，获取与文本内容对应的视觉语义特征；
第四获取模块704，用于根据视觉语义特征，从文档图像中获取目标文本。
在本公开的一些实施例中，如图8所示，图8是根据本公开第六实施例的示意图，该基于图像的文本获取装置80，包括：第一获取模块801，第二获取模块802，第三获取模块803，第四获取模块804，其中，第三获取模块703，包括：
第一生成子模块7031，用于生成与文本内容对应的文本网格特征；
第二生成子模块7032，用于根据图像网格特征和文本网格特征，生成视觉语义特征。
在本公开的一些实施例中，其中，第一生成子模块7031，具体用于：
确定网格尺寸信息；
根据网格尺寸信息，生成初始空间网格；
获取文本内容的文本内容特征；
将文本内容特征映射至初始空间网格中，得到文本网格特征。
在本公开的一些实施例中，其中，第一生成子模块7031，还用于：
将图像网格特征的尺寸信息作为网格尺寸信息。
在本公开的一些实施例中，其中，第一生成子模块7031，还用于：
获取文本内容的语义特征；
获取文本内容相对于文档图像的位置特征；
将语义特征和位置特征共同作为文本内容特征。
在本公开的一些实施例中，其中，第一生成子模块7031，还用于：
确定初始空间网格中与位置特征对应的待映射位置；
将语义特征映射至初始空间网格中待映射位置处，得到目标空间网格；
确定目标空间网格的空间网格特征，并将空间网格特征作为文本网格特征。
在本公开的一些实施例中，其中，第一生成子模块7031，还用于：
获取与文本内容对应的文本语言特征；
根据文本语言特征，确定文本内容的语义特征。
在本公开的一些实施例中，其中，第二生成子模块7032，具体用于：
融合图像网格特征和文本网格特征，得到融合网格特征；
对融合网格特征进行编码处理，得到编码结果特征；
将编码结果特征作为视觉语义特征。
在本公开的一些实施例中，其中，第二生成子模块7032，还用于：
从图像网格特征中解析与多个特征位置分别对应的多个图像特征；
从文本网格特征中解析与多个特征位置分别对应的多个文本特征；
对与特征位置对应的图像特征和文本特征进行融合处理，得到融合特征；
根据多个特征位置和相应多个融合特征，生成融合网格特征。
在本公开的一些实施例中，其中，第四获取模块704，具体用于：
获取文本需求信息；
确定与文本需求信息对应的需求语义特征；
根据视觉语义特征，从文档图像中获取与需求语义特征所匹配文本作为目标文本。
可以理解的是，本实施例附图8中的基于图像的文本获取装置80与上述实施例中的基于图像的文本获取装置70，第一获取模块801与上述实施例中的第一获取模块701，第二获取模块802与上述实施例中的第二获取模块702，第三获取模块803与上述实施例中的第三获取模块703，第四获取模块804与上述实施例中的第四获取模块704可以具有相同的功能和结构。
本实施例中，通过获取文档图像，获取文档图像的图像网格特征，根据图像网格特征，获取与文本内容对应的视觉语义特征，根据视觉语义特征，从文档图像中获取目标文本，由于文档图像的图像网格特征能够表征文档图像中所包含内容的空间维度特征和语义维度特征，实现联合文档图像的空间维度特征和语义维度特征，识别出文档图像中所包含文本内容的视觉语义特征，有效丰富了视觉语义特征的空间语义信息，有效提升目标文本获取的准确性。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如基于图像的文本获取方法。例如，在一些实施例中，基于图像的文本获取方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的基于图像的文本获取方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于图像的文本获取方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种基于图像的文本获取方法，包括：
获取文档图像，其中，所述文档图像包括：文本内容；
获取所述文档图像的图像网格特征；
确定网格尺寸信息；
根据所述网格尺寸信息，生成初始空间网格；
获取所述文本内容的语义特征；
获取所述文本内容相对于所述文档图像的位置特征；
将所述语义特征和所述位置特征共同作为所述文本内容特征；
将所述文本内容特征映射至所述初始空间网格中，得到文本网格特征；
融合所述图像网格特征和所述文本网格特征，得到融合网格特征；
对所述融合网格特征进行编码处理，得到编码结果特征；
将所述编码结果特征作为视觉语义特征；
根据所述视觉语义特征，从所述文档图像中获取目标文本。
2.根据权利要求1所述的方法，其中，所述确定网格尺寸信息，包括：
将所述图像网格特征的尺寸信息作为所述网格尺寸信息。
3.根据权利要求1所述的方法，其中，所述将所述文本内容特征映射至所述初始空间网格中，得到所述文本网格特征，包括：
确定所述初始空间网格中与所述位置特征对应的待映射位置；
将所述语义特征映射至所述初始空间网格中所述待映射位置处，得到目标空间网格；
确定所述目标空间网格的空间网格特征，并将所述空间网格特征作为所述文本网格特征。
4.根据权利要求1所述的方法，其中，所述获取所述文本内容的语义特征，包括：
获取与所述文本内容对应的文本语言特征；
根据所述文本语言特征，确定所述文本内容的语义特征。
5.根据权利要求1所述的方法，其中，所述融合所述图像网格特征和所述文本网格特征，得到融合网格特征，包括：
从所述图像网格特征中解析与多个特征位置分别对应的多个图像特征；
从所述文本网格特征中解析与所述多个特征位置分别对应的多个文本特征；
对与所述特征位置对应的所述图像特征和所述文本特征进行融合处理，得到融合特征；
根据所述多个特征位置和相应多个所述融合特征，生成所述融合网格特征。
6.根据权利要求1所述的方法，其中，所述根据所述视觉语义特征，从所述文档图像中获取目标文本，包括：
获取文本需求信息；
确定与所述文本需求信息对应的需求语义特征；
根据所述视觉语义特征，从所述文档图像中获取与所述需求语义特征所匹配文本作为所述目标文本。
7.一种基于图像的文本获取装置，包括：
第一获取模块，用于获取文档图像，其中，所述文档图像包括：文本内容；
第二获取模块，用于获取所述文档图像的图像网格特征；
第三获取模块，用于根据所述图像网格特征，获取与所述文本内容对应的视觉语义特征；
第四获取模块，用于根据所述视觉语义特征，从所述文档图像中获取目标文本；
所述第三获取模块，包括：
第一生成子模块，用于生成与所述文本内容对应的文本网格特征；
第二生成子模块，用于根据所述图像网格特征和所述文本网格特征，生成所述视觉语义特征；
所述第一生成子模块，具体用于：
确定网格尺寸信息；
根据所述网格尺寸信息，生成初始空间网格；
获取所述文本内容的语义特征；
获取所述文本内容相对于所述文档图像的位置特征；
将所述语义特征和所述位置特征共同作为所述文本内容特征；
将所述文本内容特征映射至所述初始空间网格中，得到所述文本网格特征；
所述第二生成子模块，具体用于：
融合所述图像网格特征和所述文本网格特征，得到融合网格特征；
对所述融合网格特征进行编码处理，得到编码结果特征；
将所述编码结果特征作为所述视觉语义特征。
8.根据权利要求7所述的装置，其中，所述第一生成子模块，还用于：
将所述图像网格特征的尺寸信息作为所述网格尺寸信息。
9.根据权利要求7所述的装置，其中，所述第一生成子模块，还用于：
确定所述初始空间网格中与所述位置特征对应的待映射位置；
将所述语义特征映射至所述初始空间网格中所述待映射位置处，得到目标空间网格；
确定所述目标空间网格的空间网格特征，并将所述空间网格特征作为所述文本网格特征。
10.根据权利要求7所述的装置，其中，所述第一生成子模块，还用于：
获取与所述文本内容对应的文本语言特征；
根据所述文本语言特征，确定所述文本内容的语义特征。
11.根据权利要求7所述的装置，其中，所述第二生成子模块，还用于：
从所述图像网格特征中解析与多个特征位置分别对应的多个图像特征；
从所述文本网格特征中解析与所述多个特征位置分别对应的多个文本特征；
对与所述特征位置对应的所述图像特征和所述文本特征进行融合处理，得到融合特征；
根据所述多个特征位置和相应多个所述融合特征，生成所述融合网格特征。
12.根据权利要求7所述的装置，其中，所述第四获取模块，具体用于：
获取文本需求信息；
确定与所述文本需求信息对应的需求语义特征；
根据所述视觉语义特征，从所述文档图像中获取与所述需求语义特征所匹配文本作为所述目标文本。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
CN202210543075.9A 2022-05-18 2022-05-18 基于图像的文本获取方法、装置、电子设备及存储介质 Active CN114937277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210543075.9A CN114937277B (zh) 2022-05-18 2022-05-18 基于图像的文本获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210543075.9A CN114937277B (zh) 2022-05-18 2022-05-18 基于图像的文本获取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114937277A CN114937277A (zh) 2022-08-23
CN114937277B true CN114937277B (zh) 2023-04-11

Family

ID=82864458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210543075.9A Active CN114937277B (zh) 2022-05-18 2022-05-18 基于图像的文本获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114937277B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152817B (zh) * 2022-12-30 2024-01-02 北京百度网讯科技有限公司 信息处理方法、装置、设备、介质和程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780098A (zh) * 2021-08-17 2021-12-10 北京百度网讯科技有限公司 文字识别方法、装置、电子设备以及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075846B2 (en) * 2012-12-12 2015-07-07 King Fahd University Of Petroleum And Minerals Method for retrieval of arabic historical manuscripts
CN106127198A (zh) * 2016-06-20 2016-11-16 华南师范大学 一种基于多分类器集成的图像文字识别方法
CN112508015A (zh) * 2020-12-15 2021-03-16 山东大学 一种铭牌识别方法、计算机设备、存储介质
CN112949477B (zh) * 2021-03-01 2024-03-15 苏州美能华智能科技有限公司 基于图卷积神经网络的信息识别方法、装置及存储介质
CN113553418B (zh) * 2021-07-27 2023-06-02 天津大学 一种基于多模态学习的视觉对话生成方法及装置
CN113722458A (zh) * 2021-08-27 2021-11-30 海信电子科技(武汉)有限公司 视觉问答处理方法、设备、计算机可读介质和程序产品
CN113807340B (zh) * 2021-09-07 2024-03-15 南京信息工程大学 一种基于注意力机制的不规则自然场景文本识别方法
CN114091451A (zh) * 2021-11-23 2022-02-25 润联软件系统(深圳)有限公司 一种文本分类方法、装置、设备及存储介质
CN114187595A (zh) * 2021-12-14 2022-03-15 中国科学院软件研究所 基于视觉特征和语义特征融合的文档布局识别方法及系统
CN114359886A (zh) * 2021-12-29 2022-04-15 湖北工业大学 一种基于多层次特征选择的自然场景文本识别方法
CN114372477B (zh) * 2022-03-21 2022-06-10 北京百度网讯科技有限公司 文本识别模型的训练方法、文本识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780098A (zh) * 2021-08-17 2021-12-10 北京百度网讯科技有限公司 文字识别方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN114937277A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN114399769B (zh) 文本识别模型的训练方法、文本识别方法及装置
CN112949415B (zh) 图像处理方法、装置、设备和介质
CN110852256B (zh) 时序动作提名的生成方法、装置、设备及存储介质
CN113361578B (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113392253B (zh) 视觉问答模型训练及视觉问答方法、装置、设备及介质
CN115063875B (zh) 模型训练方法、图像处理方法、装置和电子设备
CN114863437B (zh) 文本识别方法、装置、电子设备和存储介质
CN113361363A (zh) 人脸图像识别模型的训练方法、装置、设备及存储介质
CN114429637B (zh) 一种文档分类方法、装置、设备及存储介质
CN114092759A (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
CN116152833B (zh) 基于图像的表格还原模型的训练方法及表格还原方法
CN114937277B (zh) 基于图像的文本获取方法、装置、电子设备及存储介质
CN112560846A (zh) 纠错语料的生成方法、装置及电子设备
CN115131801A (zh) 基于多模态的文档识别方法、装置、设备和存储介质
CN114445826A (zh) 视觉问答方法、装置、电子设备以及存储介质
CN114972910B (zh) 图文识别模型的训练方法、装置、电子设备及存储介质
CN115186683B (zh) 一种基于跨模态翻译的属性级多模态情感分类方法
CN114118049B (zh) 信息获取方法、装置、电子设备及存储介质
CN114970666B (zh) 一种口语处理方法、装置、电子设备及存储介质
CN115565186A (zh) 文字识别模型的训练方法、装置、电子设备和存储介质
CN114863450A (zh) 图像处理方法、装置、电子设备及存储介质
CN112560848B (zh) 兴趣点poi预训练模型的训练方法、装置及电子设备
CN115620314A (zh) 文本识别方法、答案文本的验证方法、装置、设备及介质
CN114707017A (zh) 视觉问答方法、装置、电子设备和存储介质
CN115631502A (zh) 文字识别方法、装置、模型训练方法、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant