CN114792423B - 文档图像的处理方法、装置和存储介质 - Google Patents

文档图像的处理方法、装置和存储介质 Download PDF

Info

Publication number
CN114792423B
CN114792423B CN202210552234.1A CN202210552234A CN114792423B CN 114792423 B CN114792423 B CN 114792423B CN 202210552234 A CN202210552234 A CN 202210552234A CN 114792423 B CN114792423 B CN 114792423B
Authority
CN
China
Prior art keywords
feature map
document image
image
determining
semantic feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210552234.1A
Other languages
English (en)
Other versions
CN114792423A (zh
Inventor
李煜林
曹健健
钦夏孟
章成全
姚锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210552234.1A priority Critical patent/CN114792423B/zh
Publication of CN114792423A publication Critical patent/CN114792423A/zh
Application granted granted Critical
Publication of CN114792423B publication Critical patent/CN114792423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种文档图像的处理方法、装置和存储介质，涉及人工智能技术领域，具体涉及计算机视觉、图像处理、深度学习等技术领域。具体实现方案为：在对文档图像进行处理时，确定出文档图像中感兴趣的实体词所在的文本区域的位置信息，并对该文档图像中与该位置信息对应的图像区域进行文字识别，以得到该感兴趣的实体词在该文档图像中所对应的文本内容。由此，直接对感兴趣的实体词在文档图像上所对应的图像区域进行文字识别，以得到感兴趣的实体词在文档图像中所对应的文本内容，降低了从文档图像中获取感兴趣的文本内容的复杂度，并且提升了从文档图像中确定出了感兴趣的文本内容的准确度。

Description

文档图像的处理方法、装置和存储介质
技术领域
本公开涉及计算机技术领域，具体涉及人工智能技术领域，具体涉及计算机视觉、图像处理、深度学习等技术领域，可应用于光学字符识别(Optical CharacterRecognition，OCR)等场景，尤其涉及文档图像的处理方法、装置和存储介质。
背景技术
随着办公电子化程度的提高，原本以纸质形式保存的文档资料逐渐通过扫描仪等电子化手段转为以图像形式保存。其中，文档图像是指包含文档的图像。
相关技术中，一般采用较为复杂的图像处理流程来得到文档图像中的感兴趣的文本内容。
发明内容
本公开提供了一种用于文档图像的处理方法、装置和存储介质。
根据本公开的一方面，提供了一种文档图像的处理方法，所述方法包括：确定所述文档图像中的位置信息，其中，所述位置信息用于指示感兴趣的实体词所在的文本区域的位置；根据所述位置信息，从所述文档图像中确定出待识别的图像区域；对所述图像区域进行文字识别，以得到所述实体词在所述文档图像中所对应的文本内容。
根据本公开的另一方面，提供了一种文档图像的处理装置，所述装置包括：第一确定模块，用于确定所述文档图像中的位置信息，其中，所述位置信息用于指示感兴趣的实体词所在的文本区域的位置；第二确定模块，用于根据所述位置信息，从所述文档图像中确定出待识别的图像区域；文字识别模块，用于对所述图像区域进行文字识别，以得到所述实体词在所述文档图像中所对应的文本内容。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的文档图像的处理方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的文档图像的处理方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开的文档图像的处理方法。
上述申请中的一个实施例具有如下优点或有益效果：
在对文档图像进行处理时，直接确定出文档图像中感兴趣的实体词所在的文本区域的位置信息，并对该文档图像中与该位置信息对应的图像区域进行文字识别，以得到该感兴趣的实体词在该文档图像中所对应的文本内容。由此，直接对感兴趣的实体词在文档图像上所对应的图像区域进行文字识别，以得到感兴趣的实体词在文档图像中所对应的文本内容，降低了从文档图像中获取感兴趣的文本内容的复杂度，并且提升了从文档图像中确定出了感兴趣的文本内容的准确度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第三实施例的示意图；
图4是根据本公开第四实施例的示意图；
图5是根据本公开第五实施例的示意图；
图6是根据本公开第六实施例的示意图；
图7是根据本公开第七实施例的示意图；
图8是用来实现本公开实施例的文档图像的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
相关技术中，获取文档图像中的感兴趣的文本内容的示例性过程为：首先从文档图像提取全部文字内容，然后，通过一些规则化或者文本分类方式提取出感兴趣的文本内容。然而，这种获取感兴趣的内容的过程中，需要对文档图像进行整个识别，存在大量冗余的信息，浪费资源，从文档图像中获取感兴趣的文本内容的复杂度较高。
为此，本公开提出了一种文档图像的处理方法，在对文档图像进行处理时，确定出文档图像中感兴趣的实体词所在的文本区域的位置信息，并对该文档图像中与该位置信息对应的图像区域进行文字识别，以得到该感兴趣的实体词在该文档图像中所对应的文本内容。由此，直接对感兴趣的实体词在文档图像上所对应的图像区域进行文字识别，以得到感兴趣的实体词在文档图像中所对应的文本内容，降低了从文档图像中获取感兴趣的文本内容的复杂度，并且提升了从文档图像中确定出了感兴趣的文本内容的准确度。
下面参考附图描述本公开实施例的文档图像的处理方法、装置和存储介质。
图1是根据本公开第一实施例的示意图，该实施例提供一种文档图像的处理方法。
如图1所示，该文档图像的处理方法可以包括：
步骤101，确定文档图像中的位置信息，其中，位置信息用于指示感兴趣的实体词所在的文本区域的位置。
其中，本实施的文档图像的处理方法的执行主体为文档图像的处理装置，该文档图像的处理装置可以由软件和/或硬件实现，该文档图像的处理装置可以为电子设备，或者，可以配置在电子设备。
其中，该电子设备可以包括但不限于终端设备、服务器等，该实施例对电子设备不作具体限定。
其中，上述文档图像是需要进行感兴趣的文本内容提取的文档图像。
作为一种示例性的实施方式，可通过对任意文档进行采集的方式获取文档图像。
在一些示例性的实施方式中，上述文档图像的尺寸可以为指定尺寸，例如，指定尺寸可以为512*512。
其中，在对任意文档进行采集后，可对采集到的图像进行尺寸调整，以将采集到的图像的尺寸调整为指定尺寸，并可将调整后的图像作为本实施例中的文档图像。例如，可对采集到的图像的长边进行缩放到512，然后，对采集到的图像的短边进行等比例缩放，并用0填充至512，以得到指定尺寸的文档图像。
作为一种示例性的实施方式，为了方便用户设置文档图像中感兴趣的实体词，可获取文档图像所对应的文档的类型，并根据该类型，提供多个候选实体词，并将用户从多个候选实体词选中的目标实体词作为感兴趣的实体词。
其中，感兴趣的实体词可以为文档图像所对应的文档中所涉及到的实体词，例如，感兴趣的实体词，可以为文档中的“标题”、落款“日期”等。
其中，实体词所在的文本区域可以为文档图像中包含该实体词的一句话、多行文字或者一段文字所对应的区域，该实施例对此不作具体限定。
在本公开的一个实施例中，确定文档图像中该位置信息的一种示例性实施方式可以为：将文档图像以及感兴趣的实体词输入到预先训练好的机器学习模型中，以通过该机器学习模型确定文档图像中该实体词所在的文本区域的位置信息。
其中，上述机器学习模型是预先训练出的。其中，训练该机器学习模型的示例性的过程为：获取训练数据，其中，该训练数据包括样本文档图像、对应的感兴趣的样本实体词以及该样本文档图像中样本实体词所在的文本区域的样本位置信息，可将样本文档图像以及感兴趣的样本实体词作为机器学习模型的输入，并将样本位置信息作为机器学习模型的输出，对该机器学习模型进行训练，以得到训练好的机器学习模型。
步骤102，根据位置信息，从文档图像中确定出待识别的图像区域。
作为一种示例性的实施方式，为了可以准确确定出该感兴趣的实体词在文档图像中所对应的文本内容，可从文档图像中，确定出包括位置信息的最小外接矩形区域，然后，将最小外接矩形区域作为图像区域。
步骤103，对图像区域进行文字识别，以得到实体词在文档图像中所对应的文本内容。
在本公开的一个实施例中，可从文档图像中，确定出该包括位置信息的最小外接矩形区域，然后，对文档图像中的最小外接矩形区域进行截图，以得到截图图像，并通过文字识别技术对截图图像进行文字识别，以得到感兴趣的实体词在文档图像中所对应的文本内容。由此，可以准确确定出该实体词在文档图像中所对应的文本内容。
在本公开的一个示例性的实施方式中，可从文档图像中，确定出该包括位置信息的最小外接矩形区域的可能实现方式为：可从文档图像中，确定出基于该位置信息所形成的图像区域，并确定出该图像区域的最小外接矩形区域。
其中，可以理解的是，在对文本内容进行实体词提取时，所提取出的实体词中包括本实施例中的感兴趣的实体词。
本公开实施例的文档图像的处理方法，在对文档图像进行处理时，确定出文档图像中感兴趣的实体词所在的文本区域的位置信息，并对该文档图像中与该位置信息对应的图像区域进行文字识别，以得到该感兴趣的实体词在该文档图像中所对应的文本内容。由此，直接对感兴趣的实体词在文档图像上所对应的图像区域进行文字识别，以得到感兴趣的实体词在文档图像中所对应的文本内容，降低了从文档图像中获取感兴趣的文本内容的复杂度，并且提升了从文档图像中确定出了感兴趣的文本内容的准确度。
可以理解的是，在一些实施例中，为了提升确定出文档图像中的该位置信息的准确度，可基于实体词和文档图像所确定出的文档图像的语义特征图，来确定文档图像中的该位置信息，下面结合图2对该过程进行示例性描述，如图2所示，可以包括：
步骤201，根据实体词和文档图像，确定文档图像的语义特征图。
其中，需说明的是，根据实体词和文档图像，确定文档图像的语义特征图可通过多种方式实现，示例性说明如下：
作为一种示例性的实施方式，可将实体词和文档图像输入到用于确定语义特征图的机器学习模型中，以得到文档图像的语义特征图。由此，结合实体词和文档图像，准确确定出该文档图像的语义特征图。
作为另一种示例性的实施方式，可根据实体词、文档图像和该文档图像的语义特征图三者之间的对应关系，确定出与该实体词和文档图像对应的语义特征图。
步骤202，根据语义特征图，确定文档图像中的该位置信息。
在本实施例中，结合实体词和文档图像，准确确定出该文档图像的语义特征图，并基于语义特征图，对文档图像中感兴趣的实体词所在的文本区域的位置进行确定，提升了从该文档图像中确定出该位置信息的准确度。
在本公开的一个实施例中，为了准确确定出文档图像的语义特征图，提升确定文档图像的语义特征图的准确度，如图3所示，上述步骤201的一种可能实现方式为：
步骤301，确定文档图像的图像特征图。
在一些示例性的实施方式，可通过对文档图像进行特征提取，以得到文档图像的图像特征图。
作为一种示例性的实施方式，可将指定尺寸大小的文档图像输入到残差卷积神经网络中，以通过该残差卷积网络得到该文档图像的N个不同尺寸的图像特征图。其中，N为大于或者等于1的整数。
例如，残差卷积神经网络为ResNet-50卷积神经网络(Convolutional NeuralNetworks,CNN)，其中，ResNet-50卷积神经网络包括50个卷积层，50个修正线性单元(Rectified Linear unit，Relu)激活层，2个池化层。指定尺寸为512*512，在将512*512的文档图像输入到ResNet-50卷积神经网络(Convolutional Neural Networks,CNN)后，ResNet-50卷积神经网络(Convolutional Neural Networks,CNN)对文档图像进行特征提取，以得到4个不同尺寸的图像特征图
Figure BDA0003655334370000061
Figure BDA0003655334370000062
Ii表示第i个图像特征图，di是第i个图像特征图的分辨率，分别128,64,32,16，ci是第i个图像特征图的通道数，分别为64,128,256,512。
步骤302，确定实体词的文本特征。
作为一种示例性的实施方式中，可将实体词输入至词袋模型中，以通过词袋模型得到该实体词的文本特征。
接上述举例，为了后续可准确生成文档图像的语义特征图，上述实体词的文本特征的维度可以与第4个图像特征图的通道数相同。也就是说，该实体的文本特征Q可以表示为
Figure BDA0003655334370000071
其中，k表示实体词的长度，c4表示文本特征的维度，c4的取值与第4个图像特征图的通道数相同，因此，这里用c4对文本特征的维度进行示例性表示。
步骤303，根据图像特征图和文本特征，生成文档图像的语义特征图。
在本实施例中，结合感兴趣的实体词的文本特征和文档图像的图像特征图，来生成文档图像的语义特征图，从而使得所生成的文档图像的语义特征图中融合了实体词的文本特征和文档图像的图像特征，继而可提升后续基于该语义特征图确定文档图像中感兴趣的实体词所在的文本区域的位置信息的准确度。
在本公开的一个实施例中，在图像特征图为多个的情况下，为了提升确定文档图像的语义特征图的准确度，上述步骤303的一种可能实现方式，如图4所示，可以包括：
步骤401，按照多个图像特征图的通道数从大到小的顺序，对多个图像特征图进行排序，以得到排序结果。
例如，文档图像的图像特征图为4个，4个不同尺寸的图像特征图
Figure BDA0003655334370000072
Ii表示第i个图像特征图，di是第i个图像特征图的分辨率，分别为128,64,32,16，ci是第i个图像特征图的通道数，分别为64,128,256,512，按照通道数从大到小的顺序，对4个图像特征图进行排序后，所得到排序结果为：I4，I3，I2，I1。
步骤402，对文本特征和排序结果中排序在第一位的图像特征图进行拼接，以得到拼接特征。
接上述举例，将第四个图像特征图I4，拉直前两维度
Figure BDA0003655334370000073
Figure BDA0003655334370000074
并将
Figure BDA0003655334370000075
和T串联在一起，得到初始的拼接特征
Figure BDA0003655334370000076
通常语义表示模型对于输入数据的长度有要求，语义表示模型要求输入数据的长度为固定长度，比如300，可以判断F的长度是否达到固定长度，如果F的长度未达到固定长度，则使用0填充对初始的拼接特征到固定长度L＝300，得到图像特征图I4和实体词的最终的拼接特征：
Figure BDA0003655334370000077
另外，如果F的长度达到固定长度，则直接将初始的拼接特征输入到语义表示模型中。
步骤403，将拼接特征输入到语义表示模型中，以通过语义表示模型对拼接特征进行语义融合，以得到第一语义特征图。
作为一种示例性的实施方式，可将拼接特征
Figure BDA0003655334370000081
作为语义表示模型的输入，使用语义表示模型来交互文档特征和实体词的信息，并最后得到融合特征，并基于融合特征，生成对应的第一语义特征图
Figure BDA0003655334370000082
Figure BDA0003655334370000083
步骤404，根据第一语义特征图和排序结果中排序在第二位至最后一位的图像特征图，确定文档图像的语义特征图。
在本实施例中，在确定文档图像的语义特征图的过程中，结合通道数最多的图像特征图和文本特征进行语义融合，可以将语义特征最为丰富的图像特征图和文本特征进行充分语义融合，继而可提升所确定出的文档图像的语义特征图的准确度。
其中，需要说明的是，通道数最多的图像特征图中文档图像的语义特征最为丰富。
在本公开的一个实施例中，为了提升确定出文档图像的语义特征图的准确度，根据第一语义特征图和排序结果中排序在第二位至最后一位的图像特征图，确定文档图像的语义特征图的一种可能实现方式为：从第一语义特征图中确定出排序结果中排序在第一位的图像特征图所对应的第二语义特征图；按照排序结果所指示的排序顺序，将第二语义特征图，依次与排序结果排序在第二位至最后一位的图像特征图进行融合；获取对排序结果中排序在最后一位的图像特征图进行融合后所得到的融合特征图；将融合特征图作为文档图像的语义特征图。
在本实施例中，在基于第一语义特征图和排序结果中排序在第二位至最后一位的图像特征图，确定文档图像的语义特征图的过程中，依次将排序在第二位和最后一位之间的图像特征图中的图像特征与第一语义特征图进行融合，从而使得文档图像的语义特征图融合了丰富的图像特征，提升了所生成的文档图像的语义特征图的准确度，继而可提高后续基于该语义特征图确定文档图像中的位置信息的准确性。
接上述举例，在得到第一语义特征图
Figure BDA0003655334370000084
F′的维度和
Figure BDA0003655334370000085
的维度是相同的。取出F′特征中的前d4 2个属于文档特征的维度，以得到第一语义特征图，然后对第一语义特征图从二维图像到三维图像进行重新映射，以得到第四个图像特征图所对应的中间语义特征图
Figure BDA0003655334370000086
然后，根据第三个图像特征图I3的分辨率对第四个图像特征图所对应的中间语义特征图P4进行上采样，以得到第一上采样语义特征图
Figure BDA0003655334370000091
并将第一上采样语义特征图C4和第三个图像特征图I3进行合并，以得到第三个图像特征图所对应的中间语义特征图
Figure BDA0003655334370000092
然后，根据第二图像特征图I2的分辨率，对第三个图像特征图所对应的中间语义特征图P3进行上采样，以得到第二上采样语义特征图C3，并将第二上采样语义特征图C3和第二个图像特征图I2进行合并，以得到第二个图像特征图所对应的中间语义特征图
Figure BDA0003655334370000093
根据第一个图像特征图I1的分辨率，对第二个图像特征图所对应的中间语义特征图P2进行上采样，以得到第三上采样语义特征图C2，然后，将第三上采样语义特征图C2和第一个图像特征图I1进行合并，以得到融合特征图
Figure BDA0003655334370000094
在本公开的一个实施例中，为了提升从文档图像中确定出实体词所在的文本区域的位置信息的准确性，如图5所示，上述步骤202根据语义特征图，确定文档图像中实体词所在的文本区域的位置信息的一种可能的实现方式为：
步骤501，对语义特征图进行上采样，以得到目标语义特征图，其中，目标语义特征图的尺寸与文档图像的尺寸相同。
例如，文档图像的尺寸为512*512，在得到语义特征图后，可根据该文档图像的尺寸，对语义特征图进行上采样，以得到尺寸与文档图像相同的目标语义特征图。
步骤502，根据目标语义特征图中各个像素点上的语义特征，确定目标语义特征图中各个像素点的概率值。
其中，概率值用于指示该像素点是实体词所在的文本区域中的像素点的概率。
作为一种示例性的实施方式，为了方便地确定出目标语义图中各个像素点的概率值，在确定目标语义特征图的通道数不等于1的情况下，在根据目标语义特征图中各个像素点上的语义特征，确定目标语义特征图中各个像素点的概率值之前，可将目标语义特征图的通道数进行降维处理，以使得目标语义特征图的通道数降为1。
步骤503，获取目标语义特征图中概率值大于预设概率阈值的目标像素点。
步骤504，将目标像素点在目标语义特征图上的位置作为位置信息。
在本实施例中，在基于目标语义特征图，确定文档图像中感兴趣的实体词所在的文本区域的位置信息的过程中，结合目标语义特征图中各个像素点的语义特征，来准确确定出目标语义特征图各个像素点作为实体词所在的文本区域中的像素点的概率值，并结合概率值大于预设概率阈值的目标像素点的位置，准确确定出了文档图像中该实体词所在的文本区域所在的位置信息。
为了实现上述实施例，本公开实施例还提供一种文档图像的处理装置。
图6是根据本公开第七实施例的示意图，该实施例提供一种文档图像的处理装置。
如图6所示，该文档图像的处理装置6可以包括第一确定模块61、第二确定模块62和文字识别模块63，其中：
第一确定模块61，用于确定文档图像中的位置信息，其中，该位置信息用于指示感兴趣的实体词所在的文本区域的位置。
第二确定模块62，用于根据位置信息，从文档图像中确定出待识别的图像区域。
文字识别模块63，用于对图像区域进行文字识别，以得到实体词在文档图像中所对应的文本内容。
本公开实施例的文档图像的处理装置，在对文档图像进行处理时，确定出文档图像中感兴趣的实体词所在的文本区域的位置信息，并对该文档图像中与该位置信息对应的图像区域进行文字识别，以得到该感兴趣的实体词在该文档图像中所对应的文本内容。由此，直接对感兴趣的实体词在文档图像上所对应的图像区域进行文字识别，以得到感兴趣的实体词在文档图像中所对应的文本内容，降低了从文档图像中获取感兴趣的文本内容的复杂度，并且提升了从文档图像中确定出了感兴趣的文本内容的准确度。
在本公开的一个实施例中，如图7所示，该文档图像的处理装置7可以包括：第一确定模块71、第二确定模块72和文字识别模块73，其中，第一确定模块71，包括：第一确定子模块711和第二确定子模块712；其中，第一确定子模块711可以包括第一确定单元7111、第二确定单元7112和生成单元7113；其中，生成单元7113可以包括：排序子单元71131、拼接子单元71132、语义表示子单元71133和确定子单元71134。
其中，需要说明的是，关于第二确定模块72和文字识别模块73的详细描述可参见上述图6中的第二确定模块62和文字识别模块63的说明，此处不再进行描述。
在本公开的一个实施例中，第一确定模块71，包括：
第一确定子模块711，用于根据实体词和文档图像，确定文档图像的语义特征图；
第二确定子模块712，用于根据语义特征图，确定文档图像中实体词所在的文本区域的位置信息。
在本公开的一个实施例中，第一确定子模块711，可以包括：
第一确定单元7111，用于确定文档图像的图像特征图；
第二确定单元7112，用于确定实体词的文本特征；
生成单元7113，用于根据图像特征图和文本特征，生成文档图像的语义特征图。
在本公开的一个实施例中，在图像特征图为多个的情况下，生成单元7113，可以包括：
排序子单元71131，用于按照多个图像特征图的通道数从大到小的顺序，对多个图像特征图进行排序，以得到排序结果；
拼接子单元71132，用于对文本特征和排序结果中排序在第一位的图像特征图进行拼接，以得到拼接特征；
语义表示子单元71133，用于将拼接特征输入到语义表示模型中，以通过语义表示模型对拼接特征进行语义融合，以得到第一语义特征图；
确定子单元71134，用于根据第一语义特征图和排序结果中排序在第二位至最后一位的图像特征图，确定文档图像的语义特征图。
在本公开的一个实施例中，确定子单元71134，具体用于：从第一语义特征图中确定出排序结果中排序在第一位的图像特征图所对应的第二语义特征图；按照排序结果所指示的排序顺序，将第二语义特征图，依次与排序结果排序在第二位至最后一位的图像特征图进行融合；获取对排序结果中排序在最后一位的图像特征图进行融合后所得到的融合特征图；将融合特征图作为文档图像的语义特征图。
在本公开的一个实施例中，第二确定子模块712，具体用于：对语义特征图进行上采样，以得到目标语义特征图，其中，目标语义特征图的尺寸与文档图像的尺寸相同；根据目标语义特征图中各个像素点上的语义特征，确定目标语义特征图中各个像素点的概率值；获取目标语义特征图中概率值大于预设概率阈值的目标像素点；将目标像素点在目标语义特征图上的位置作为位置信息。
在本公开的一个实施例中，第二确定模块72，具体用于：从文档图像中，确定出包括位置信息的最小外接矩形区域；将最小外接矩形区域作为图像区域。
其中，需要说明的是，上述对文档图像的处理方法的解释说明也适用于本实施例中的文档图像的处理装置，该实施例对此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，该电子设备800可以包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如文档图像的处理方法。例如，在一些实施例中，文档图像的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的文档图像的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文档图像的处理方法。
本文中以上描述的装置和技术的各种实施方式可以在数字电子电路装置、集成电路装置、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上装置的装置(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程装置上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储装置、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储装置、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行装置、装置或设备使用或与指令执行装置、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体装置、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的装置和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的装置和技术实施在包括后台部件的计算装置(例如，作为数据服务器)、或者包括中间件部件的计算装置(例如，应用服务器)、或者包括前端部件的计算装置(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的装置和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算装置中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将装置的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机装置可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器可以是云服务器，也可以为分布式装置的服务器，或者是结合了区块链的服务器。
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种文档图像的处理方法，包括：
确定文档图像的图像特征图；
确定实体词的文本特征；
在所述图像特征图为多个的情况下，按照多个所述图像特征图的通道数从大到小的顺序，对多个所述图像特征图进行排序，以得到排序结果；
对所述文本特征和所述排序结果中排序在第一位的图像特征图进行拼接，以得到拼接特征；
将所述拼接特征输入到语义表示模型中，以通过所述语义表示模型对所述拼接特征进行语义融合，以得到第一语义特征图；
根据所述第一语义特征图和所述排序结果中排序在第二位至最后一位的图像特征图，确定所述文档图像的语义特征图；
根据所述语义特征图，确定所述文档图像中的位置信息，其中，所述位置信息用于指示感兴趣的实体词所在的文本区域的位置；
根据所述位置信息，从所述文档图像中确定出待识别的图像区域；
对所述图像区域进行文字识别，以得到所述实体词在所述文档图像中所对应的文本内容。
2.根据权利要求1所述的方法，其中，所述根据所述第一语义特征图和所述排序结果中排序在第二位至最后一位的图像特征图，确定所述文档图像的语义特征图，包括：
从所述第一语义特征图中确定出所述排序结果中排序在第一位的图像特征图所对应的第二语义特征图；
按照所述排序结果所指示的排序顺序，将所述第二语义特征图，依次与所述排序结果排序在第二位至最后一位的图像特征图进行融合；
获取对所述排序结果中排序在最后一位的图像特征图进行融合后所得到的融合特征图；
将所述融合特征图作为所述文档图像的语义特征图。
3.根据权利要求1-2中任一项所述的方法，其中，所述根据所述语义特征图，确定所述文档图像中所述实体词所在的文本区域的位置信息，包括：
对所述语义特征图进行上采样，以得到目标语义特征图，其中，所述目标语义特征图的尺寸与所述文档图像的尺寸相同；
根据所述目标语义特征图中各个像素点上的语义特征，确定所述目标语义特征图中各个像素点的概率值；
获取所述目标语义特征图中概率值大于预设概率阈值的目标像素点；
将所述目标像素点在所述目标语义特征图上的位置作为所述位置信息。
4.根据权利要求1所述的方法，其中，所述根据所述位置信息，从所述文档图像中确定出待识别的图像区域，包括：
从所述文档图像中，确定出包括所述位置信息的最小外接矩形区域；
将所述最小外接矩形区域作为所述图像区域。
5.一种文档图像的处理装置，包括：
第一确定模块，用于确定所述文档图像中的位置信息，其中，所述位置信息用于指示感兴趣的实体词所在的文本区域的位置；
第二确定模块，用于根据所述位置信息，从所述文档图像中确定出待识别的图像区域；
文字识别模块，用于对所述图像区域进行文字识别，以得到所述实体词在所述文档图像中所对应的文本内容；
所述第一确定模块，包括：
第一确定子模块，用于根据所述实体词和所述文档图像，确定所述文档图像的语义特征图；
第二确定子模块，用于根据所述语义特征图，确定所述文档图像中的所述位置信息；
所述第一确定子模块，包括：
第一确定单元，用于确定所述文档图像的图像特征图；
第二确定单元，用于确定所述实体词的文本特征；
生成单元，用于根据所述图像特征图和所述文本特征，生成所述文档图像的语义特征图；
在所述图像特征图为多个的情况下，所述生成单元，包括：
排序子单元，用于按照多个所述图像特征图的通道数从大到小的顺序，对多个所述图像特征图进行排序，以得到排序结果；
拼接子单元，用于对所述文本特征和所述排序结果中排序在第一位的图像特征图进行拼接，以得到拼接特征；
语义表示子单元，用于将所述拼接特征输入到语义表示模型中，以通过所述语义表示模型对所述拼接特征进行语义融合，以得到第一语义特征图；
确定子单元，用于根据所述第一语义特征图和所述排序结果中排序在第二位至最后一位的图像特征图，确定所述文档图像的语义特征图。
6.根据权利要求5所述的装置，其中，所述确定子单元，具体用于：
从所述第一语义特征图中确定出所述排序结果中排序在第一位的图像特征图所对应的第二语义特征图；
按照所述排序结果所指示的排序顺序，将所述第二语义特征图，依次与所述排序结果排序在第二位至最后一位的图像特征图进行融合；
获取对所述排序结果中排序在最后一位的图像特征图进行融合后所得到的融合特征图；
将所述融合特征图作为所述文档图像的语义特征图。
7.根据权利要求5-6中任一项所述的装置，其中，所述第二确定子模块，具体用于：
对所述语义特征图进行上采样，以得到目标语义特征图，其中，所述目标语义特征图的尺寸与所述文档图像的尺寸相同；
根据所述目标语义特征图中各个像素点上的语义特征，确定所述目标语义特征图中各个像素点的概率值；
获取所述目标语义特征图中概率值大于预设概率阈值的目标像素点；
将所述目标像素点在所述目标语义特征图上的位置作为所述位置信息。
8.根据权利要求5所述的装置，其中，所述第二确定模块，具体用于：
从所述文档图像中，确定出包括所述位置信息的最小外接矩形区域；
将所述最小外接矩形区域作为所述图像区域。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
CN202210552234.1A 2022-05-20 2022-05-20 文档图像的处理方法、装置和存储介质 Active CN114792423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210552234.1A CN114792423B (zh) 2022-05-20 2022-05-20 文档图像的处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210552234.1A CN114792423B (zh) 2022-05-20 2022-05-20 文档图像的处理方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN114792423A CN114792423A (zh) 2022-07-26
CN114792423B true CN114792423B (zh) 2022-12-09

Family

ID=82463567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210552234.1A Active CN114792423B (zh) 2022-05-20 2022-05-20 文档图像的处理方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114792423B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162628A (zh) * 2019-05-06 2019-08-23 腾讯科技（深圳）有限公司 一种内容识别方法及装置
CN112149642A (zh) * 2020-10-28 2020-12-29 腾讯科技（深圳）有限公司 一种文本图像识别方法和装置
CN112232336A (zh) * 2020-09-02 2021-01-15 深圳前海微众银行股份有限公司 一种证件识别方法、装置、设备及存储介质
CN113128415A (zh) * 2021-04-22 2021-07-16 合肥工业大学 一种环境辨别方法、系统、设备及存储介质
CN113361247A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN113378580A (zh) * 2021-06-23 2021-09-10 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN113435203A (zh) * 2021-08-30 2021-09-24 华南师范大学 多模态命名实体识别方法、装置以及电子设备
CN113468891A (zh) * 2021-07-27 2021-10-01 支付宝(杭州)信息技术有限公司 文本处理方法以及装置
CN113673528A (zh) * 2021-08-06 2021-11-19 Oppo广东移动通信有限公司 文本处理方法、装置、电子设备和可读存储介质
CN113936128A (zh) * 2021-09-09 2022-01-14 中国科学院自动化研究所 文本检测方法、装置、电子设备及存储介质
CN114120299A (zh) * 2021-10-14 2022-03-01 平安银行股份有限公司 信息获取方法、装置、存储介质及设备
CN114356852A (zh) * 2022-03-21 2022-04-15 展讯通信(天津)有限公司 一种文件检索方法、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977956B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN113609892A (zh) * 2021-06-16 2021-11-05 北京工业大学 深度学习与景区知识图谱融合的手写诗词识别方法
CN114255465A (zh) * 2021-12-20 2022-03-29 苏州良医汇网络科技有限公司 不规则医疗报告单图像中敏感信息脱敏方法及系统
CN114495087A (zh) * 2022-02-15 2022-05-13 阿里巴巴（中国）有限公司 模型训练和文本识别方法、装置以及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162628A (zh) * 2019-05-06 2019-08-23 腾讯科技（深圳）有限公司 一种内容识别方法及装置
CN112232336A (zh) * 2020-09-02 2021-01-15 深圳前海微众银行股份有限公司 一种证件识别方法、装置、设备及存储介质
CN112149642A (zh) * 2020-10-28 2020-12-29 腾讯科技（深圳）有限公司 一种文本图像识别方法和装置
CN113128415A (zh) * 2021-04-22 2021-07-16 合肥工业大学 一种环境辨别方法、系统、设备及存储介质
CN113361247A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN113378580A (zh) * 2021-06-23 2021-09-10 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN113468891A (zh) * 2021-07-27 2021-10-01 支付宝(杭州)信息技术有限公司 文本处理方法以及装置
CN113673528A (zh) * 2021-08-06 2021-11-19 Oppo广东移动通信有限公司 文本处理方法、装置、电子设备和可读存储介质
CN113435203A (zh) * 2021-08-30 2021-09-24 华南师范大学 多模态命名实体识别方法、装置以及电子设备
CN113936128A (zh) * 2021-09-09 2022-01-14 中国科学院自动化研究所 文本检测方法、装置、电子设备及存储介质
CN114120299A (zh) * 2021-10-14 2022-03-01 平安银行股份有限公司 信息获取方法、装置、存储介质及设备
CN114356852A (zh) * 2022-03-21 2022-04-15 展讯通信(天津)有限公司 一种文件检索方法、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Residual attention-based multi-scale script identification in scene text images;Mengkai Ma等;《Neurocomputing》;20200928;第421卷;222-233 *
场景图像中维语文字识别技术研究;符子龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210815(第08期);I138-304 *

Also Published As

Publication number Publication date
CN114792423A (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN112966522A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN112949415B (zh) 图像处理方法、装置、设备和介质
CN113378580B (zh) 文档版面分析方法、模型训练方法、装置和设备
CN115063875B (zh) 模型训练方法、图像处理方法、装置和电子设备
US20240193923A1 (en) Method of training target object detection model, method of detecting target object, electronic device and storage medium
CN114429637B (zh) 一种文档分类方法、装置、设备及存储介质
CN114490998B (zh) 文本信息的抽取方法、装置、电子设备和存储介质
CN116152833B (zh) 基于图像的表格还原模型的训练方法及表格还原方法
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN113255501A (zh) 生成表格识别模型的方法、设备、介质及程序产品
US20230377225A1 (en) Method and apparatus for editing an image and method and apparatus for training an image editing model, device and medium
CN115457329B (zh) 图像分类模型的训练方法、图像分类方法和装置
CN114792423B (zh) 文档图像的处理方法、装置和存储介质
CN114842482A (zh) 一种图像分类方法、装置、设备和存储介质
CN114118049B (zh) 信息获取方法、装置、电子设备及存储介质
CN113361522B (zh) 用于确定字符序列的方法、装置和电子设备
CN115116080A (zh) 表格解析方法、装置、电子设备和存储介质
CN114842489A (zh) 表格解析方法及装置
CN114708580A (zh) 文本识别、模型训练方法、装置、设备、存储介质及程序
CN113378774A (zh) 手势识别方法、装置、设备、存储介质以及程序产品
CN114724148A (zh) 生成模型、提取特征的方法、装置、设备、介质及产品
CN114661904A (zh) 文档处理模型的训练方法、装置、设备、存储介质及程序
CN114120305A (zh) 文本分类模型的训练方法、文本内容的识别方法及装置
CN113688938A (zh) 确定对象情感的方法、训练情感分类模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant