CN114821622A - 文本抽取方法、文本抽取模型训练方法、装置及设备 - Google Patents

文本抽取方法、文本抽取模型训练方法、装置及设备 Download PDF

Info

Publication number
CN114821622A
CN114821622A CN202210234230.9A CN202210234230A CN114821622A CN 114821622 A CN114821622 A CN 114821622A CN 202210234230 A CN202210234230 A CN 202210234230A CN 114821622 A CN114821622 A CN 114821622A
Authority
CN
China
Prior art keywords
extracted
features
detection
image
text information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210234230.9A
Other languages
English (en)
Other versions
CN114821622B (zh
Inventor
钦夏孟
张晓强
黄聚
李煜林
谢群义
姚锟
韩钧宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210234230.9A priority Critical patent/CN114821622B/zh
Publication of CN114821622A publication Critical patent/CN114821622A/zh
Priority to JP2022145248A priority patent/JP7423715B2/ja
Priority to KR1020220115367A priority patent/KR20220133141A/ko
Priority to US18/059,362 priority patent/US20230106873A1/en
Application granted granted Critical
Publication of CN114821622B publication Critical patent/CN114821622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/182—Extraction of features or characteristics of the image by coding the contour of the pattern
    • G06V30/1823—Extraction of features or characteristics of the image by coding the contour of the pattern using vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19127—Extracting features by transforming the feature space, e.g. multidimensional scaling; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Abstract

本公开提供了一种文本抽取方法、文本抽取模型训练方法、装置及设备，涉及人工智能技术领域，尤其涉及计算机视觉技术领域。具体实现方案为：获取待检测图像的视觉编码特征；从待检测图像中提取多组多模态特征，其中，每组多模态特征包括从待检测图像中提取的一个检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息；基于视觉编码特征、待抽取属性以及多组多模态特征，从多组多模态特征包括的第一文本信息中，获取与待抽取属性匹配的第二文本信息，待抽取属性为需要被抽取的文本信息的属性。该方案可以对多种版式的证件票据进行文本信息抽取，提高了抽取效率。

Description

文本抽取方法、文本抽取模型训练方法、装置及设备
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉技术领域。
背景技术
为了提高信息传递的效率，结构化文本已经成为常用的信息载体，被广泛应用于数字化和自动化的办公场景中。目前存在大量的实体文档中的信息需要被记录为电子化的结构化文本。例如，需要将大量的实体票据中的信息提取出来，并存储为结构化文本，以支持企业办公智能化。
发明内容
本公开提供了一种文本抽取方法、文本抽取模型训练方法、装置及设备。
根据本公开的第一方面，提供了一种文本抽取方法，包括：
获取待检测图像的视觉编码特征；
从所述待检测图像中提取多组多模态特征，其中，每组多模态特征包括从所述待检测图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
基于所述视觉编码特征、待抽取属性以及所述多组多模态特征，从所述多组多模态特征包括的第一文本信息中，获取与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性。
根据本公开的第二方面，提供了一种文本抽取模型训练方法，其中，所述文本抽取模型包括视觉编码子模型、检测子模型和输出子模型；所述方法包括：
获取所述视觉编码子模型提取的样本图像的视觉编码特征；
获取所述检测子模型从所述样本图像中提取的多组多模态特征，其中，每组多模态特征包括从所述样本图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
将所述视觉编码特征、待抽取属性以及所述多组多模态特征输入所述输出子模型，得到所述输出子模型输出的与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性；
基于所述输出子模型输出的与所述待抽取属性匹配的第二文本信息和所述样本图像中实际需要被抽取的文本信息，对所述文本抽取模型进行训练。
根据本公开的第三方面，提供了一种文本抽取装置，包括：
第一获取模块，用于获取待检测图像的视觉编码特征；
提取模块，用于从所述待检测图像中提取多组多模态特征，其中，每组多模态特征包括从所述待检测图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
第二获取模块，用于基于所述视觉编码特征、待抽取属性以及所述多组多模态特征，从所述多组多模态特征包括的第一文本信息中，获取与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性。
根据本公开的第四方面，提供了一种文本抽取模型训练装置，其中，所述文本抽取模型包括视觉编码子模型、检测子模型和输出子模型；所述装置包括：
第一获取模块，用于获取所述视觉编码子模型提取的样本图像的视觉编码特征；
第二获取模块，用于获取所述检测子模型从所述样本图像中提取的多组多模态特征，其中，每组多模态特征包括从所述样本图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
文本抽取模块，用于将所述视觉编码特征、待抽取属性以及所述多组多模态特征输入所述输出子模型，得到所述输出子模型输出的与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性；
训练模块，用于基于所述输出子模型输出的与所述待抽取属性匹配的第二文本信息和所述样本图像中实际需要被抽取的文本信息，对所述文本抽取模型进行训练。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面或第二方面中任一项所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面或第二方面中任一项所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面或第二方面中任一项所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的一种文本抽取方法的流程图；
图2是本公开实施例提供的另一种文本抽取方法的流程图；
图3是本公开实施例提供的另一种文本抽取方法的流程图；
图4是本公开实施例提供的另一种文本抽取方法的流程图；
图5是本公开实施例提供的一种文本抽取模型训练方法的流程图；
图6是本公开实施例提供的另一种文本抽取模型训练方法的流程图；
图7是本公开实施例提供的另一种文本抽取模型训练方法的流程图；
图8是本公开实施例提供的一种文本抽取模型的示例性示意图；
图9是本公开实施例提供的一种文本抽取装置的结构示意图；
图10是本公开实施例提供的一种文本抽取模型训练装置的结构示意图；
图11是用来实现本公开实施例的文本抽取方法或文本抽取模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
目前，在各种场景下为了生成结构化文本，可以从实体文档中提取信息，并进行结构化存储，其中，实体文档具体可以为纸质文件、各种票据、证件或卡片等。
目前常用的结构化信息提取方式有人工录入的方式，人工录入的方式为人工从实体文档中获取需要提取的信息，并录入结构化文本中。
或者还可以采用基于模板匹配的方法，即针对结构简单的证件，这些证件中的各部分一般具有固定的几何版式，所以可以对相同结构的证件构建一个标准模板，该标准模板指定了从证件的哪些几何区域提取文本信息，基于标准模板从每个证件中固定的位置提取文本信息后，通过光学字符识别(Optical Character Recognition，OCR)识别提取的文本信息，进而将提取出的文本信息进行结构化存储。
或者还可以采用基于关键符号搜索的方法，即提前设置搜索规则，提前指定在关键符号之前或者之后指定长度的区域内搜索文本。例如，在关键符号“日期”之后搜索满足“XX年XX月XX日”格式的文本，将搜索到的文本作为结构化文本中“日期”字段的属性值。
上述方法均需要大量的人工操作，即需要人工提取信息，或者人工为每种结构的证件构建模板，或者人工设置搜索规则，需要耗费大量的人力，不能适用于对多种版式的实体文档提取，提取效率较低。
为了解决上述问题，本公开实施例提供了一种文本抽取方法，可以由电子设备执行，该电子设备可以为智能手机、平板电脑、台式电脑、服务器等设备。
以下对本公开实施例提供文本抽取方法进行详细介绍。
如图1所示，本公开实施例提供了一种文本抽取方法，该方法包括：
S101、获取待检测图像的视觉编码特征。
其中，待检测图像可以为上述实体文档的图像，比如纸质文件的图像、各种票据、证件或卡片的图像等。
待检测图像的视觉编码特征为对待检测图像进行特征提取，并对提取出的特征进行编码操作后得到的特征，获取视觉编码特征的方法将在后续实施例中进行详细介绍。
视觉编码特征可以表征待检测图像中文本的上下文信息。
S102、从待检测图像中提取多组多模态特征。
其中，每组多模态特征包括从待检测图像中提取的一个检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息。
本公开实施例中，检测框可以为矩形，检测框的位置信息可以被表示为(x，y，w，h)，其中，x和y表示检测框的任意一角在待检测图像中的位置坐标，例如可以为检测框左上角在待检测图像中的位置坐标，w和h分别表示检测框的宽和高。例如，检测框的位置信息被表示为(3，5，6，7)，则该检测框的左上角在待检测图像中位置坐标为(3，5)，该检测框的宽为6，高为7。
本公开实施例对检测框的位置信息的表现形式不作限定，也可以是其他能够表示检测框位置信息的形式，比如还可以为检测框的四个角的坐标。
检测框中的检测特征为：待检测图像中该检测框部分图像的特征。
S103、基于视觉编码特征、待抽取属性以及多组多模态特征，从多组多模态特征包括的第一文本信息中，获取与待抽取属性匹配的第二文本信息。
其中，待抽取属性为需要被抽取的文本信息的属性。
例如，待检测图像为车票图像，需要被抽取的文本信息为该车票中的起始站的站点名称，则待抽取属性为起始站名称。例如，车票中起始站的站点名称为“北京”，则“北京”为需要被抽取的文本信息。
通过视觉编码特征、待抽取属性以及多组多模态特征，可以确定每组多模态特征包括的第一文本信息是否与待抽取属性匹配，从而获取与待抽取属性匹配的第二文本信息。
采用本公开实施例，可以通过视觉编码特征和多组多模态特征，从多组多模态特征包括的第一文本信息中，获取与待抽取属性匹配的第二文本信息。因多组多模态特征中包括了待检测图像中的多个第一文本信息，其中有与待抽取属性匹配的文本信息和与待抽取属性不匹配的文本信息，且视觉编码特征可以表征待检测图像中的文本的全局上下文信息，所以基于视觉编码特征，可以从多组多模态特征中获取与待抽取属性相匹配的第二文本信息。在上述过程中，无需人工操作，且对待检测图像的特征提取不受限于待检测图像的版式，无需分别为每种版式的实体文档创建模板或者设置搜索规则，可以提高信息提取的效率。
在本公开另一实施例中，对获取视觉编码特征的过程进行介绍，如图2所示，在上述实施例的基础上，S101、获取待检测图像的视觉编码特征，具体可以包括以下步骤：
S1011、将待检测图像输入骨干网络，获取骨干网络输出的图像特征。
其中，骨干网络(Backbone)可以是卷积神经网络(Convolutional NeuralNetworks,CNN)，例如具体可以是深度残差网络(Deep residual network,ResNet)。或者，骨干网络也可以是基于Transformer的神经网络。
以采用基于Transformer的骨干网络为例，该骨干网络可以采取层次化设计，例如可以包括依次连接的4层特征提取层，即该骨干网络可以实现4个特征提取阶段(stage)。每一层特征提取层输出的特征图的分辨依次降低，与CNN类似，可以逐层扩大感受野。
其中，第一层特征提取层包括：标记嵌入(Token Embedding)模块和Transformer架构中的编码块(Transformer Block)，后续三层特征提取层均包括标记融合(TokenMerging)模块和编码块(Transformer Block)。第一层特征提取层的Token Embedding模块可以进行图像分块和嵌入位置信息的操作，其余层的Token Merging模块主要起到下层采样作用，各层中的编码块用于对特征进行编码，每个编码块可以包括两个Transformer编码器。其中，第一个Transformer编码器的自注意力层为窗口自注意力层，用于将注意力计算集中在固定大小的窗口内部，以降低计算量。第二个Transformer编码器中的自注意力层可以保证不同窗口之间的信息交流，如此实现了从局部到整体的特征提取，可以显著提升整个骨干网络的特征提取能力。
S1012、将图像特征与预设位置编码特征相加后，进行编码操作，得到待检测图像的视觉编码特征。
其中，通过对预设位置向量进行位置嵌入(position Embedding)得到预设位置编码特征。该预设位置向量可以基于实际需求设置，通过将图像特征与预设位置编码特征进行相加，可以得到能够体现2D空间位置信息的视觉特征。
在本公开实施例中，可以通过融合网络将图像特征和预设位置编码特征相加，得到视觉特征。然后将视觉特征输入一个Transformer编码器或其他类型编码器中进行编码操作，得到视觉编码特征。
如果使用Transformer编码器进行编码操作，则可以先将视觉特征转换为一维向量，例如可以通过1*1的卷积层对相加结果进行降维以满足Transformer编码器的序列化输入要求，再将该一维向量输入Transformer编码器进行编码操作，如此可以降低编码器的计算量。
需要说明的是，上述S1011-S1012可通过预先训练的文本抽取模型包括的视觉编码子模型实现，训练文本抽取模型的过程将在后续实施例中进行描述。
采用该方法，可以通过骨干网络获取待检测图像的图像特征，然后将该图像特征与预设位置编码特征相加，可以提高得到的视觉特征对文本上下文信息的表达能力，提高后续得到的视觉编码特征对待检测图像表达的准确性，进而通过该视觉编码特征也可以提高后续抽取的第二文本信息的准确性。
在本公开另一实施例中，对提取多模态特征的过程进行介绍，其中，多模态特征包括三个部分，分别为检测框的位置信息、检测框中的检测特征和检测框中的文字内容。如图3所示，上述S102、从待检测图像中提取多组多模态特征，具体可以实现为以下步骤：
S1021、将待检测图像输入预设检测模型，得到待检测图像的特征图和多个检测框的位置信息。
其中，预设检测模型可以为用于提取图像中包括文本信息的检测框的模型，该模型可以为OCR模型，也可以为相关技术中其他的模型，比如神经网络模型，本公开实施例对此不作限定。
将待检测图像输入预设检测模型后，预设检测模型可以输出待检测图像的特征图(feature map)，以及待检测图像中包括文本信息的检测框的位置信息。位置信息的表示方式可参考上述S102中的相关描述，此处不再赘述。
S1022、利用多个检测框的位置信息对特征图进行剪切，得到每一检测框中的检测特征。
可以理解的是，在得到待检测图像的特征图和各检测框的位置信息后，可以分别基于每个检测框的位置信息，从特征图中截取(crop)与该检测框位置匹配的特征，作为该检测框对应的检测特征。
S1023、利用多个检测框的位置信息对待检测图像进行剪切，得到每个检测框中的待检测子图。
其中，因检测框的位置信息用于表征检测框在待检测图像中的位置，所以可以基于每个检测框的位置信息，将待检测图像中的检测框位置的图像剪切出来，将剪切出的子图像作为待检测子图。
S1024、利用预设识别模型识别每个待检测子图中的文本信息，得到每一检测框中的第一文本信息。
其中，预设识别模型可以为相关技术中的任一文本识别模型，比如可以为OCR模型。
S1025、针对每一检测框，将该检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息进行拼接，得到该检测框对应的一组多模态特征。
本公开实施例中，可以针对每一检测框，将该检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息分别进行嵌入(embedding)操作，转换为特征向量的形式后，再进行拼接，从而得到该检测框的多模态特征。
需要说明的是，上述S1021-S1025可通过预先训练的文本抽取模型包括的检测子模型实现，该检测子模型包括上述预设检测模型和预设识别模型。训练文本抽取模型的过程将在后续实施例中进行介绍。
采用该方法，可以从待检测图像中准确提取出每个检测框的位置信息、检测特征和第一文本信息，以便于后续从提取出的第一文本信息中获取与待抽取属性匹配的第二文本信息。因本公开实施例提取多模态特征时未依赖于模板规定的位置或者关键词位置，所以即使待检测图像中的第一文本信息存在扭曲变形、打印偏移等问题，也能够准确地从待检测图像中提取出多模态特征。
在本公开另一实施例中，如图4所示，在上述实施例的基础上，S103具体可以实现为：
S1031、将视觉编码特征、待抽取属性以及多组多模态特征输入解码器，得到解码器输出的序列向量。
其中，该解码器可以为Transformer解码器，解码器包括自注意力层和编解码注意力层，S1031具体可以实现为：
步骤一、将待抽取属性以及多组多模态特征输入解码器的自注意力层，得到多个融合特征。其中，每个融合特征为对一组多模态特征与待抽取属性融合得到的特征。
在本公开实施例中，多模态特征可以作为Transformer网络中的多模态queries，待抽取属性可以作为key query。可以将待抽取属性进行embedding操作后输入解码器的自注意力层，并将多组多模态特征输入自注意力层，进而自注意力层可以分别将每组多模态特征与待抽取属性进行融合，输出每组多模态特征对应的融合特征。
将Key quey通过自注意力层融合到多模态特征queries中，能够使Transformer网络同时理解key query和多模态特征中第一文本信息(value)，从而理解key-value之间的关系。
步骤二、将多个融合特征和视觉编码特征输入解码器的编解码注意力层，得到编解码注意力层输出的序列向量。
通过自注意力机制将待抽取属性与多模态特征的融合，得到了待抽取属性与多组多模态特征中包括的第一文本信息的之间的关联，同时Transformer解码器的注意力机制获取了表征待检测图像的上下文信息的视觉编码特征，进而解码器可以基于视觉编码特征得到多模态特征和待抽取属性之间的关系，即序列向量可以反映每组多模态特征与待抽取属性之间的关系，进而可以使得后续多层感知网络可以基于序列向量准确地确定出每组多模态特征的类别。
S1032、将解码器输出的序列向量输入多层感知网络，得到多层感知网络输出的每个第一文本信息所属的类别。
其中，多层感知网络输出的类别包括正确类别(right answer)和错误类别(wronganswer)。正确类别表示多模态特征中的第一文本信息的属性是待抽取属性，错误类别表示多模态特征中的第一文本信息的属性不是待抽取属性。
本公开实施例中的多层感知网络为多层感知机制(Multilayer Perceptron，MLP)网络。MLP网络具体可以输出每组多模态queries的类别，即若MLP输出的一组多模态queries的类别为right answer，则代表该组多模态queries中包括的第一文本信息为待抽取的第二文本信息；若MLP输出的一组多模态queries的类别为wrong answer，则代表该组多模态queries包括的第一文本信息不是待抽取的第二文本信息。
需要说明的是，本公开实施例中的解码器和多层感知网络均已经过训练，具体的训练方法将在后续实施例中进行描述。
S1033、将属于正确类别的第一文本信息作为与待抽取属性匹配的第二文本信息。
需要说明的是，上述S1031-S1033可通过预先训练的文本抽取模型包括的输出子模型实现，该输出子模型包括上述解码器和多层感知网络。训练文本抽取模型的过程将在后续实施例中进行介绍。
采用本公开实施例，通过解码器中的注意力机制对多组多模态特征、待抽取属性以及视觉编码特征进行解码，得到序列向量，进而，多层感知网络可以根据序列向量输出每个第一文本信息的类别，确定出正确类别的第一文本信息为与待抽取属性匹配的第二文本信息，实现了对多种版式的证件票据的文本提取，节省了人力成本，且可以提高提取效率。
基于相同的技术构思，本公开实施例还提供了一种文本抽取模型训练方法，该文本抽取模型包括视觉编码子模型、检测子模型和输出子模型，如图5所示，该方法包括：
S501、获取视觉编码子模型提取的样本图像的视觉编码特征。
其中，样本图像为上述实体文档的图像，比如纸质文件的图像、各种票据、证件或卡片的图像等。
视觉编码特征可以表征样本图像中文本的上下文信息。
S502、获取检测子模型从样本图像中提取的多组多模态特征。
其中，每组多模态特征包括从样本图像中提取的一个检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息。
其中，关于检测框的位置信息和检测框中的检测特征可参考上述S102中的相关描述，此处不再赘述。
S503、将视觉编码特征、待抽取属性以及多组多模态特征输入输出子模型，得到输出子模型输出的与待抽取属性匹配的第二文本信息。
其中，待抽取属性为需要被抽取的文本信息的属性。
例如，样本图像为车票图像，需要被抽取的文本信息为该车票中的起始站的站点名称，则待抽取属性为起始站名称。例如，车票中起始站的站点名称为“北京”，则“北京”为需要被抽取的文本信息。
S504、基于输出子模型输出的第二文本信息和样本图像中实际需要被抽取的文本信息，对文本抽取模型进行训练。
本公开实施例中，样本图像的标注为样本图像中实际需要被抽取的文本信息。可以基于与待抽取属性匹配的第二文本信息和样本图像中实际需要被抽取的文本信息计算损失函数值，根据损失函数值调整文本抽取模型的参数，并判断文本抽取模型是否收敛。若未收敛，则继续基于下一个样本图像执行S501-S503，并再次计算损失函数值，直至基于损失函数值确定文本抽取模型收敛时，得到训练完成的文本抽取模型。
采用本公开实施例，文本抽取模型可以通过样本图像的视觉编码特征和多组多模态特征，从多组多模态特征包括的第一文本信息中，获取与待抽取属性匹配的第二文本信息。因多组多模态特征中包括了待检测图像中的多个第一文本信息，其中有与待抽取属性匹配的文本信息和与待抽取属性不匹配的文本信息，且视觉编码特征可以表征待检测图像中的文本的全局上下文信息，所以文本抽取模型基于视觉编码特征，可以从多组多模态特征中获取与待抽取属性相匹配的第二文本信息。经过对该文本抽取模型的训练后，后续可直接通过该文本抽取模型进行第二文本信息的抽取，无需人工操作，且不受限于需要进行文本信息抽取的实体文档的版式，可以提高信息提取效率。
在本公开另一实施例中，上述视觉编码子模型包括骨干网络和编码器，如图6所示，上述S501具体包括以下步骤：
S5011、将样本图像输入骨干网络，获取骨干网络输出的图像特征。
其中，视觉编码子块包含的骨干网络和上述实施例中描述的骨干网络相同，可以参考上述实施例中有关骨干网络的相关描述，此处不再赘述。
S5012、将图像特征与预设位置编码特征相加后，输入编码器进行编码操作，得到样本图像的视觉编码特征。
本步骤中对样本图像的图像特征的处理与上述S1012中对待检测图像的图像特征的处理过程相同，可参考上述S1012中的相关描述，此处不再赘述。
采用该方法，可以通过视觉编码子模型的骨干网络获取待检测图像的图像特征，然后将该图像特征与预设位置编码特征相加，可以提高得到的视觉特征对文本上下文信息的表达能力，提高后续编码器得到的视觉编码特征对待检测图像表达的准确性，进而通过该视觉编码特征也可以提高后续抽取的第二文本信息的准确性。
在本公开另一实施例中，上述检测子模型包括预设检测模型和预设识别模型，在此基础上，上述S502、获取检测子模型从样本图像中提取的多组多模态特征，具体可以实现为以下步骤：
步骤1、将样本图像输入预设检测模型，得到样本图像的特征图和多个检测框的位置信息。
步骤2、利用多个检测框的位置信息对特征图进行剪切，得到每一检测框中的检测特征。
步骤3、利用多个检测框的位置信息对样本图像进行剪切，得到每个检测框中的样本子图。
步骤4、利用预设识别模型识别每个样本子图中的第一文本信息，得到每一检测框中的第一文本信息。
步骤5、针对每一检测框，将该检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息进行拼接，得到该检测框对应的一组多模态特征。
上述步骤1至步骤5中从样本图像中提取多组多模态特征的方法，与上述图3对应的实施例中描述的从待检测图像中提取多模态特征的方法相同，可参考上述实施例中的相关描述，此处不再赘述。
采用该方法，使用训练好的检测子模型可以从样本图像中准确提取出每个检测框的位置信息、检测特征和第一文本信息，以便于后续从提取出的第一文本信息中获取与待抽取属性匹配的第二文本信息。因本公开实施例提取多模态特征时未依赖于模板规定的位置或者关键词位置，所以即使待检测图像中的第一文本信息存在扭曲变形、打印偏移等问题，也能够准确地从待检测图像中提取出多模态特征。
在本公开另一实施例中，输出子模型包括解码器和多层感知网络，如图7所示，S503可以包括以下步骤：
S5031、将视觉编码特征、待抽取属性以及多组多模态特征输入解码器，得到解码器输出的序列向量。
其中，解码器包括自注意力层和编解码注意力层，S5031可以实现为:
将待抽取属性以及多组多模态特征输入自注意力层，得到多个融合特征。然后，将多个融合特征和视觉编码特征输入编解码注意力层，得到编解码注意力层输出的序列向量。其中，每个融合特征为对一组多模态特征与待抽取属性融合得到的特征。
通过自注意力机制将待抽取属性与多模态特征的融合，得到了待抽取属性与多组多模态特征中包括的第一文本信息的之间的关联，同时Transformer解码器的注意力机制获取了表征待检测图像的上下文信息的视觉编码特征，进而解码器可以基于视觉编码特征得到多模态特征和待抽取属性之间的关系，即序列向量可以反映每组多模态特征与待抽取属性之间的关系，进而可以使得后续多层感知网络可以基于序列向量准确地确定出每组多模态特征的类别。
S5032、将解码器输出的序列向量输入多层感知网络，得到多层感知网络输出的每个第一文本信息所属的类别。
其中，多层感知网络输出的类别包括正确类别和错误类别，正确类别表示多模态特征中的第一文本信息的属性是待抽取属性，错误类别表示多模态特征中的第一文本信息的属性不是待抽取属性。
S5033、将属于正确类别的第一文本信息作为与待抽取属性匹配的第二文本信息。
采用本公开实施例，通过解码器中的注意力机制对多组多模态特征、待抽取属性以及视觉编码特征进行解码，得到序列向量，进而，多层感知网络可以根据序列向量输出每个第一文本信息的类别，确定出正确类别的第一文本信息为与待抽取属性匹配的第二文本信息，实现了对多种版式的证件票据的文本提取，节省了人力成本，且可以提高提取效率。
以下结合图8所示的文本抽取模型对本公开实施例提供的文本抽取方法进行描述，以待检测图像为火车票为例，如图8所示，可以从待检测图像中提取多组多模态特征queries，多模态特征包括检测框的位置信息Bbox(x，y，w，h)、检测特征(DetectionFeatures)和第一文本信息(Text)。
本公开实施例中，将原本作为key的待抽取属性作为query，可将待抽取属性称为Key Query，作为示例，待抽取属性具体可以为起始站。
将待检测图像(Image)输入骨干网络(Backbone)中提取图像特征，将图像特征进行位置嵌入(Position embedding)并转换为一维向量。
将一维向量输入到Transformer编码器(Transformer Encoder)中进行编码，得到视觉编码特征。
将视觉编码特征、多模态特征queries和待抽取属性(Key Query)输入到Transformer解码器(Transformer Decoder)中，得到序列向量。
将序列向量输入MLP中得到每一多模态特征中包含的第一文本信息的类别，类别为正确类别(right answer，或者称为Right Value)或错误类别(wrong answer，或者称为Wrong Value)。
其中，第一文本信息为正确类别表示该第一文本信息的属性为待抽取属性，该第一文本信息为要抽取的文本，图7中待抽取属性为起始站，“天津西站”类别为正确类别，则“天津西站”为要抽取的第二文本信息。
采用本公开实施例，通过将key(待抽取属性)定义为Query，并输入Transformer解码器自注意力层，将每组多模态特征Queries分别与待抽取属性进行融合，即利用Transformer编码器建立了多模态特征和待抽取属性之间的关系。之后又利用Transformer编码器编解码注意力层实现了多模态特征、待抽取属性与视觉编码特征的融合，最终使得MLP可以输出与key query对应的value answers，实现了端到端的结构化信息抽取。通过将key-value定义为question-answer的方式，使得文本抽取模型的训练可以兼容不同版式的证件票据，训练得到的文本抽取模型可以准确对多种固定版式以及非固定版式的证件票据进行结构化文本提取，扩大了票据识别的业务范围，且能够抵抗票据扭曲变形和打印偏移等因素的影响，准确抽取特定的文本信息。
对应于上述方法实施例，如图9所示，本公开实施例还提供了一种文本抽取装置，包括：
第一获取模块901，用于获取待检测图像的视觉编码特征；
提取模块902，用于从待检测图像中提取多组多模态特征，其中，每组多模态特征包括从待检测图像中提取的一个检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息；
第二获取模块903，用于基于视觉编码特征、待抽取属性以及多组多模态特征，从多组多模态特征包括的第一文本信息中，获取与待抽取属性匹配的第二文本信息，待抽取属性为需要被抽取的文本信息的属性。
在本公开另一实施例中，第二获取模块903，具体用于：
将视觉编码特征、待抽取属性以及多组多模态特征输入解码器，得到解码器输出的序列向量；
将解码器输出的序列向量输入多层感知网络，得到多层感知网络输出的每个第一文本信息所属的类别，多层感知网络输出的类别包括正确类别和错误类别；
将属于正确类别的第一文本信息作为与待抽取属性匹配的第二文本信息。
在本公开另一实施例中，第二获取模块903，具体用于：
将待抽取属性以及多组多模态特征输入解码器的自注意力层，得到多个融合特征；其中，每个融合特征为对一组多模态特征与待抽取属性融合得到的特征；
将多个融合特征和视觉编码特征输入解码器的编解码注意力层，得到编解码注意力层输出的序列向量。
在本公开另一实施例中，第一获取模块901，具体用于：
将待检测图像输入骨干网络，获取骨干网络输出的图像特征；
将图像特征与预设位置编码特征相加后，进行编码操作，得到待检测图像的视觉编码特征。
在本公开另一实施例中，提取模块902，具体用于：
将待检测图像输入预设检测模型，得到待检测图像的特征图和多个检测框的位置信息；
利用多个检测框的位置信息对特征图进行剪切，得到每一检测框中的检测特征；
利用多个检测框的位置信息对待检测图像进行剪切，得到每个检测框中的待检测子图；
利用预设识别模型识别每个待检测子图中的文本信息，得到每一检测框中的第一文本信息；
针对每一检测框，将该检测框的位置信息、该检测框中的检测特征以及该所述检测框中的第一文本信息进行拼接，得到该检测框对应的一组多模态特征。
对应于上述方法实施例，本公开实施例还提供了一种文本抽取模型训练装置，其中，文本抽取模型包括视觉编码子模型、检测子模型和输出子模型；如图10所示，该装置包括：
第一获取模块1001，用于获取视觉编码子模型提取的样本图像的视觉编码特征；
第二获取模块1002，用于获取检测子模型从样本图像中提取的多组多模态特征，其中，每组多模态特征包括从样本图像中提取的一个检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息；
文本抽取模块1003，用于将视觉编码特征、待抽取属性以及多组多模态特征输入输出子模型，得到输出子模型输出的与待抽取属性匹配的第二文本信息，待抽取属性为需要被抽取的文本信息的属性；
训练模块1004，用于基于输出子模型输出的第二文本信息和样本图像中实际要被抽取的文本信息，对文本抽取模型进行训练。
在本公开另一实施例中，输出子模型包括解码器和多层感知网络，文本抽取模块1003，具体用于：
将视觉编码特征、待抽取属性以及多组多模态特征输入解码器，得到解码器输出的序列向量；
将解码器输出的序列向量输入多层感知网络，得到多层感知网络输出的每个第一文本信息所属的类别，多层感知网络输出的类别包括正确类别和错误类别；
将属于正确类别的第一文本信息作为与待抽取属性匹配的第二文本信息。
在本公开另一实施例中，解码器包括自注意力层和编解码注意力层，文本抽取模块1003，具体用于：
将待抽取属性以及多组多模态特征输入自注意力层，得到多个融合特征；其中，每个融合特征为对一组多模态特征与待抽取属性融合得到的特征；
将多个融合特征和视觉编码特征输入编解码注意力层，得到编解码注意力层输出的序列向量。
在本公开另一实施例中，视觉编码子模型包括骨干网络和编码器，第一获取模块1001，具体用于：
将样本图像输入骨干网络，获取骨干网络输出的图像特征；
将图像特征与预设位置编码特征相加后，输入编码器进行编码操作，得到样本图像的视觉编码特征。
在本公开另一实施例中，所述检测子模型包括预设检测模型和预设识别模型，第二获取模块1002，具体用于：
将样本图像输入预设检测模型，得到样本图像的特征图和多个检测框的位置信息；
利用多个检测框的位置信息对特征图进行剪切，得到每一检测框中的检测特征；
利用多个检测框的位置信息对样本图像进行剪切，得到每个检测框中的样本子图；
利用预设识别模型识别每个样本子图中的文本信息，得到每一检测框中的文本信息；
针对每一检测框，将该检测框的位置信息、该检测框中的检测特征以及该检测框中的第一文本信息进行拼接，得到该检测框对应的一组多模态特征。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如文本抽取方法或文本抽取模型训练方法。例如，在一些实施例中，文本抽取方法或文本抽取模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的文本抽取方法或文本抽取模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本抽取方法或文本抽取模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种文本抽取方法，包括：
获取待检测图像的视觉编码特征；
从所述待检测图像中提取多组多模态特征，其中，每组多模态特征包括从所述待检测图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
基于所述视觉编码特征、待抽取属性以及所述多组多模态特征，从所述多组多模态特征包括的第一文本信息中，获取与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性。
2.根据权利要求1所述的方法，其中，所述基于所述视觉编码特征、待抽取属性以及所述多组多模态特征，从所述多组多模态特征包括的第一文本信息中，获取与所述待抽取属性匹配的第二文本信息，包括：
将所述视觉编码特征、所述待抽取属性以及所述多组多模态特征输入解码器，得到所述解码器输出的序列向量；
将所述解码器输出的序列向量输入多层感知网络，得到所述多层感知网络输出的每个第一文本信息所属的类别，所述多层感知网络输出的类别包括正确类别和错误类别；
将属于正确类别的第一文本信息作为与所述待抽取属性匹配的第二文本信息。
3.根据权利要求2所述的方法，其中，所述将所述视觉编码特征、所述待抽取属性以及所述多组多模态特征输入解码器，得到所述解码器输出的序列向量，包括：
将所述待抽取属性以及所述多组多模态特征输入所述解码器的自注意力层，得到多个融合特征；其中，每个融合特征为对一组多模态特征与所述待抽取属性融合得到的特征；
将所述多个融合特征和所述视觉编码特征输入所述解码器的编解码注意力层，得到所述编解码注意力层输出的所述序列向量。
4.根据权利要求1-3任一项所述的方法，其中，所述获取待检测图像的视觉编码特征，包括：
将所述待检测图像输入骨干网络，获取所述骨干网络输出的图像特征；
将所述图像特征与预设位置编码特征相加后，进行编码操作，得到所述待检测图像的视觉编码特征。
5.根据权利要求1-3任一项所述的方法，其中，所述从所述待检测图像中提取多组多模态特征，包括：
将所述待检测图像输入预设检测模型，得到所述待检测图像的特征图和多个检测框的位置信息；
利用所述多个检测框的位置信息对所述特征图进行剪切，得到每一检测框中的检测特征；
利用所述多个检测框的位置信息对所述待检测图像进行剪切，得到每个检测框中的待检测子图；
利用预设识别模型识别每个待检测子图中的文本信息，得到每一检测框中的第一文本信息；
针对每一检测框，将所述检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息进行拼接，得到所述检测框对应的一组多模态特征。
6.一种文本抽取模型训练方法，其中，所述文本抽取模型包括视觉编码子模型、检测子模型和输出子模型；所述方法包括：
获取所述视觉编码子模型提取的样本图像的视觉编码特征；
获取所述检测子模型从所述样本图像中提取的多组多模态特征，其中，每组多模态特征包括从所述样本图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
将所述视觉编码特征、待抽取属性以及所述多组多模态特征输入所述输出子模型，得到所述输出子模型输出的与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性；
基于所述输出子模型输出的第二文本信息和所述样本图像中实际需要被抽取的文本信息，对所述文本抽取模型进行训练。
7.根据权利要求6所述的方法，其中，所述输出子模型包括解码器和多层感知网络，所述将所述视觉编码特征、待抽取属性以及所述多组多模态特征输入所述输出子模型，得到所述输出子模型输出的与所述待抽取属性匹配的第二文本信息，包括：
将所述视觉编码特征、所述待抽取属性以及所述多组多模态特征输入所述解码器，得到所述解码器输出的序列向量；
将所述解码器输出的序列向量输入所述多层感知网络，得到所述多层感知网络输出的每个第一文本信息所属的类别，所述多层感知网络输出的类别包括正确类别和错误类别；
将属于正确类别的第一文本信息作为与所述待抽取属性匹配的第二文本信息。
8.根据权利要求7所述的方法，其中，所述解码器包括自注意力层和编解码注意力层，所述将所述视觉编码特征、所述待抽取属性以及所述多组多模态特征输入所述解码器，得到所述解码器输出的序列向量，包括：
将所述待抽取属性以及所述多组多模态特征输入所述自注意力层，得到多个融合特征；其中，每个融合特征为对一组多模态特征与所述待抽取属性融合得到的特征；
将所述多个融合特征和所述视觉编码特征输入所述编解码注意力层，得到所述编解码注意力层输出的所述序列向量。
9.根据权利要求6-8任一项所述的方法，其中，所述视觉编码子模型包括骨干网络和编码器，所述获取所述视觉编码子模型提取的样本图像的视觉编码特征，包括：
将所述样本图像输入所述骨干网络，获取所述骨干网络输出的图像特征；
将所述图像特征与预设位置编码特征相加后，输入所述编码器进行编码操作，得到所述样本图像的视觉编码特征。
10.根据权利要求6-8项任一所述的方法，其中，所述检测子模型包括预设检测模型和预设识别模型，所述获取所述检测子模型从所述样本图像中提取的多组多模态特征，包括：
将所述样本图像输入所述预设检测模型，得到所述样本图像的特征图和多个检测框的位置信息；
利用所述多个检测框的位置信息对所述特征图进行剪切，得到每一检测框中的检测特征；
利用所述多个检测框的位置信息对所述样本图像进行剪切，得到每个检测框中的样本子图；
利用所述预设识别模型识别每个样本子图中的文本信息，得到每一检测框中的第一文本信息；
针对每一检测框，将所述检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息进行拼接，得到所述检测框对应的一组多模态特征。
11.一种文本抽取装置，包括：
第一获取模块，用于获取待检测图像的视觉编码特征；
提取模块，用于从所述待检测图像中提取多组多模态特征，其中，每组多模态特征包括从所述待检测图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
第二获取模块，用于基于所述视觉编码特征、待抽取属性以及所述多组多模态特征，从所述多组多模态特征包括的第一文本信息中，获取与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性。
12.根据权利要求11所述的装置，其中，所述第二获取模块，具体用于：
将所述视觉编码特征、所述待抽取属性以及所述多组多模态特征输入解码器，得到所述解码器输出的序列向量；
将所述解码器输出的序列向量输入多层感知网络，得到所述多层感知网络输出的每个第一文本信息所属的类别，所述多层感知网络输出的类别包括正确类别和错误类别；
将属于正确类别的第一文本信息作为与所述待抽取属性匹配的第二文本信息。
13.根据权利要求12所述的装置，其中，所述第二获取模块，具体用于：
将所述待抽取属性以及所述多组多模态特征输入所述解码器的自注意力层，得到多个融合特征；其中，每个融合特征为对一组多模态特征与所述待抽取属性融合得到的特征；
将所述多个融合特征和所述视觉编码特征输入所述解码器的编解码注意力层，得到所述编解码注意力层输出的所述序列向量。
14.根据权利要求11-13任一项所述的装置，其中，所述第一获取模块，具体用于：
将所述待检测图像输入骨干网络，获取所述骨干网络输出的图像特征；
将所述图像特征与预设位置编码特征相加后，进行编码操作，得到所述待检测图像的视觉编码特征。
15.根据权利要求11-13任一项所述的装置，其中，所述提取模块，具体用于：
将所述待检测图像输入预设检测模型，得到所述待检测图像的特征图和多个检测框的位置信息；
利用所述多个检测框的位置信息对所述特征图进行剪切，得到每一检测框中的检测特征；
利用所述多个检测框的位置信息对所述待检测图像进行剪切，得到每个检测框中的待检测子图；
利用预设识别模型识别每个待检测子图中的文本信息，得到每一检测框中的第一文本信息；
针对每一检测框，将所述检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息进行拼接，得到所述检测框对应的一组多模态特征。
16.一种文本抽取模型训练装置，其中，所述文本抽取模型包括视觉编码子模型、检测子模型和输出子模型；所述装置包括：
第一获取模块，用于获取所述视觉编码子模型提取的样本图像的视觉编码特征；
第二获取模块，用于获取所述检测子模型从所述样本图像中提取的多组多模态特征，其中，每组多模态特征包括从所述样本图像中提取的一个检测框的位置信息、所述检测框中的检测特征以及所述检测框中的第一文本信息；
文本抽取模块，用于将所述视觉编码特征、待抽取属性以及所述多组多模态特征输入所述输出子模型，得到所述输出子模型输出的与所述待抽取属性匹配的第二文本信息，所述待抽取属性为需要被抽取的文本信息的属性；
训练模块，用于基于所述输出子模型输出的第二文本信息和所述样本图像中实际要被抽取的文本信息，对所述文本抽取模型进行训练。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5或6-10中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5或6-10中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5或6-10中任一项所述的方法。
CN202210234230.9A 2022-03-10 2022-03-10 文本抽取方法、文本抽取模型训练方法、装置及设备 Active CN114821622B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210234230.9A CN114821622B (zh) 2022-03-10 2022-03-10 文本抽取方法、文本抽取模型训练方法、装置及设备
JP2022145248A JP7423715B2 (ja) 2022-03-10 2022-09-13 テキスト抽出方法、テキスト抽出モデルのトレーニング方法、装置及び機器
KR1020220115367A KR20220133141A (ko) 2022-03-10 2022-09-14 텍스트 추출 방법, 텍스트 추출 모델 트레이닝 방법, 장치 및 기기
US18/059,362 US20230106873A1 (en) 2022-03-10 2022-11-28 Text extraction method, text extraction model training method, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210234230.9A CN114821622B (zh) 2022-03-10 2022-03-10 文本抽取方法、文本抽取模型训练方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114821622A true CN114821622A (zh) 2022-07-29
CN114821622B CN114821622B (zh) 2023-07-21

Family

ID=82528699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210234230.9A Active CN114821622B (zh) 2022-03-10 2022-03-10 文本抽取方法、文本抽取模型训练方法、装置及设备

Country Status (4)

Country Link
US (1) US20230106873A1 (zh)
JP (1) JP7423715B2 (zh)
KR (1) KR20220133141A (zh)
CN (1) CN114821622B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110056A (zh) * 2022-12-29 2023-05-12 北京百度网讯科技有限公司 信息抽取方法及装置、电子设备和存储介质
CN116597467A (zh) * 2023-07-17 2023-08-15 粤港澳大湾区数字经济研究院(福田) 一种图纸检测方法、系统、设备及存储介质
CN116912871A (zh) * 2023-09-08 2023-10-20 上海蜜度信息技术有限公司 身份证信息抽取方法、系统、存储介质及电子设备
CN117351257A (zh) * 2023-08-24 2024-01-05 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546488B (zh) * 2022-11-07 2023-05-19 北京百度网讯科技有限公司 信息分割方法、信息提取方法和信息分割模型的训练方法
CN115797751B (zh) * 2023-01-18 2023-06-20 中国科学技术大学 基于对比掩码图像建模的图像分析方法与系统
CN116168216B (zh) * 2023-04-21 2023-07-18 中国科学技术大学 一种基于场景提示的单目标跟踪方法
CN117037136B (zh) * 2023-10-10 2024-02-23 中国科学技术大学 场景文本识别方法、系统、设备及存储介质
CN117351331A (zh) * 2023-10-24 2024-01-05 北京云上曲率科技有限公司 一种为视觉大模型添加适配器的方法及装置
CN117274564B (zh) * 2023-11-20 2024-03-15 民航成都电子技术有限责任公司 基于图文语义差异的机场跑道异物检测方法及系统
CN117523543B (zh) * 2024-01-08 2024-03-19 成都大学 一种基于深度学习的金属压印字符识别方法
CN117711001B (zh) * 2024-02-04 2024-05-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备和介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265307A1 (en) * 2008-04-18 2009-10-22 Reisman Kenneth System and method for automatically producing fluent textual summaries from multiple opinions
US20140089302A1 (en) * 2009-09-30 2014-03-27 Gennady LAPIR Method and system for extraction
US20180285386A1 (en) * 2017-03-31 2018-10-04 Alibaba Group Holding Limited Method, apparatus, and electronic devices for searching images
CN110019812A (zh) * 2018-02-27 2019-07-16 中国科学院计算技术研究所 一种用户自生产内容检测方法和系统
US20200301672A1 (en) * 2019-03-20 2020-09-24 International Business Machines Corporation Generating program analysis rules based on coding standard documents
WO2020221298A1 (zh) * 2019-04-30 2020-11-05 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
US20210073252A1 (en) * 2019-09-11 2021-03-11 International Business Machines Corporation Dialog-based image retrieval with contextual information
CN112801010A (zh) * 2021-02-07 2021-05-14 华南理工大学 一种针对实际ocr场景下的视觉富文档信息抽取方法
WO2021104110A1 (zh) * 2019-11-30 2021-06-03 华为技术有限公司 一种语音匹配方法及相关设备
CN113032672A (zh) * 2021-03-24 2021-06-25 北京百度网讯科技有限公司 多模态poi特征的提取方法和装置
CN113033534A (zh) * 2021-03-10 2021-06-25 北京百度网讯科技有限公司 建立票据类型识别模型与识别票据类型的方法、装置
US20210200951A1 (en) * 2019-12-27 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for outputting information
CN113378832A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 文本检测模型训练方法、文本预测框方法及装置
CN113657390A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 文本检测模型的训练方法和检测文本方法、装置和设备
CN113722490A (zh) * 2021-09-06 2021-11-30 华南理工大学 一种基于键值匹配关系的视觉富文档信息抽取方法
CN113971222A (zh) * 2021-10-28 2022-01-25 重庆紫光华山智安科技有限公司 一种多模态复合编码图像检索方法和系统
WO2022042365A1 (zh) * 2020-08-26 2022-03-03 北京嘀嘀无限科技发展有限公司 一种基于图神经网络识别证件的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001368A (zh) 2020-09-29 2020-11-27 北京百度网讯科技有限公司 文字结构化提取方法、装置、设备以及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265307A1 (en) * 2008-04-18 2009-10-22 Reisman Kenneth System and method for automatically producing fluent textual summaries from multiple opinions
US20140089302A1 (en) * 2009-09-30 2014-03-27 Gennady LAPIR Method and system for extraction
US20180285386A1 (en) * 2017-03-31 2018-10-04 Alibaba Group Holding Limited Method, apparatus, and electronic devices for searching images
CN110019812A (zh) * 2018-02-27 2019-07-16 中国科学院计算技术研究所 一种用户自生产内容检测方法和系统
US20200301672A1 (en) * 2019-03-20 2020-09-24 International Business Machines Corporation Generating program analysis rules based on coding standard documents
WO2020221298A1 (zh) * 2019-04-30 2020-11-05 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
US20210073252A1 (en) * 2019-09-11 2021-03-11 International Business Machines Corporation Dialog-based image retrieval with contextual information
WO2021104110A1 (zh) * 2019-11-30 2021-06-03 华为技术有限公司 一种语音匹配方法及相关设备
US20210200951A1 (en) * 2019-12-27 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for outputting information
WO2022042365A1 (zh) * 2020-08-26 2022-03-03 北京嘀嘀无限科技发展有限公司 一种基于图神经网络识别证件的方法及系统
CN112801010A (zh) * 2021-02-07 2021-05-14 华南理工大学 一种针对实际ocr场景下的视觉富文档信息抽取方法
CN113033534A (zh) * 2021-03-10 2021-06-25 北京百度网讯科技有限公司 建立票据类型识别模型与识别票据类型的方法、装置
CN113032672A (zh) * 2021-03-24 2021-06-25 北京百度网讯科技有限公司 多模态poi特征的提取方法和装置
CN113378832A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 文本检测模型训练方法、文本预测框方法及装置
CN113657390A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 文本检测模型的训练方法和检测文本方法、装置和设备
CN113722490A (zh) * 2021-09-06 2021-11-30 华南理工大学 一种基于键值匹配关系的视觉富文档信息抽取方法
CN113971222A (zh) * 2021-10-28 2022-01-25 重庆紫光华山智安科技有限公司 一种多模态复合编码图像检索方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AGGARWAL, S等: "Text-based Person Search via Attribute-aided Matching", 《2020 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV) IEEE》, pages 2606 - 2614 *
赵瑞: "基于深度学习的视频-文本跨模态搜索", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, pages 138 - 1006 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110056A (zh) * 2022-12-29 2023-05-12 北京百度网讯科技有限公司 信息抽取方法及装置、电子设备和存储介质
CN116110056B (zh) * 2022-12-29 2023-09-26 北京百度网讯科技有限公司 信息抽取方法及装置、电子设备和存储介质
CN116597467A (zh) * 2023-07-17 2023-08-15 粤港澳大湾区数字经济研究院(福田) 一种图纸检测方法、系统、设备及存储介质
CN116597467B (zh) * 2023-07-17 2023-10-31 粤港澳大湾区数字经济研究院(福田) 一种图纸检测方法、系统、设备及存储介质
CN117351257A (zh) * 2023-08-24 2024-01-05 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统
CN117351257B (zh) * 2023-08-24 2024-04-02 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统
CN116912871A (zh) * 2023-09-08 2023-10-20 上海蜜度信息技术有限公司 身份证信息抽取方法、系统、存储介质及电子设备
CN116912871B (zh) * 2023-09-08 2024-02-23 上海蜜度信息技术有限公司 身份证信息抽取方法、系统、存储介质及电子设备

Also Published As

Publication number Publication date
US20230106873A1 (en) 2023-04-06
CN114821622B (zh) 2023-07-21
KR20220133141A (ko) 2022-10-04
JP2022172381A (ja) 2022-11-15
JP7423715B2 (ja) 2024-01-29

Similar Documents

Publication Publication Date Title
CN114821622B (zh) 文本抽取方法、文本抽取模型训练方法、装置及设备
CN113807098B (zh) 模型训练方法和装置、电子设备以及存储介质
EP3923185A2 (en) Image classification method and apparatus, electronic device and storage medium
CN108628830B (zh) 一种语义识别的方法和装置
CN113033534A (zh) 建立票据类型识别模型与识别票据类型的方法、装置
CN112396049A (zh) 文本纠错方法、装置、计算机设备及存储介质
CN113313022A (zh) 文字识别模型的训练方法和识别图像中文字的方法
CN113360699A (zh) 模型训练方法和装置、图像问答方法和装置
CN114612921B (zh) 表单识别方法、装置、电子设备和计算机可读介质
CN114818708B (zh) 关键信息抽取方法、模型训练方法、相关装置及电子设备
CN113657395B (zh) 文本识别方法、视觉特征提取模型的训练方法及装置
CN114863439B (zh) 信息提取方法、装置、电子设备和介质
CN115982376A (zh) 基于文本、多模数据和知识训练模型的方法和装置
CN113657274A (zh) 表格生成方法、装置、电子设备、存储介质及产品
CN113407851A (zh) 基于双塔模型的确定推荐信息的方法、装置、设备和介质
CN114092948B (zh) 一种票据识别方法、装置、设备以及存储介质
CN114444465A (zh) 信息抽取方法、装置、设备及存储介质
CN115035351B (zh) 基于图像的信息提取方法、模型训练方法、装置、设备及存储介质
US20230052906A1 (en) Entity Recognition Method and Apparatus, and Computer Program Product
CN115481599A (zh) 文档的处理方法、装置、电子设备和存储介质
CN114218940B (zh) 文本信息处理、模型训练方法、装置、设备及存储介质
CN114118049B (zh) 信息获取方法、装置、电子设备及存储介质
CN113361522B (zh) 用于确定字符序列的方法、装置和电子设备
CN115294593A (zh) 一种图像信息抽取方法、装置、计算机设备及存储介质
CN114627462A (zh) 化学式识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant