CN114625909A - 一种图像文本的选取方法、装置、电子设备和存储介质 - Google Patents

一种图像文本的选取方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114625909A
CN114625909A CN202210301777.6A CN202210301777A CN114625909A CN 114625909 A CN114625909 A CN 114625909A CN 202210301777 A CN202210301777 A CN 202210301777A CN 114625909 A CN114625909 A CN 114625909A
Authority
CN
China
Prior art keywords
text
image
target
attention
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210301777.6A
Other languages
English (en)
Inventor
朱彦浩
胡郡郡
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202210301777.6A priority Critical patent/CN114625909A/zh
Publication of CN114625909A publication Critical patent/CN114625909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像文本的选取方法、装置、电子设备和存储介质，属于文字识别技术领域。所述方法包括：获取目标图像和所述目标图像对应的图像文本，其中，所述图像文本包括至少一个子文本；将所述目标图像和所述图像文本输入目标识别模型，得到所述目标识别模型输出的每个子文本的注意力分数，其中，所述注意力分数用于指示所述子文本和所述目标图像之间的关联度；从所述子文本中选取出注意力分数大于预设分数阈值的目标子文本，其中，所述目标子文本能够体现所述目标图像的内容。本申请提高了场景的适用范围。

Description

一种图像文本的选取方法、装置、电子设备和存储介质
技术领域
本申请涉及文字识别技术领域，尤其涉及一种图像文本的选取方法、装置、电子设备和存储介质。
背景技术
OCR是一种将图像中的文字进行定位并提取的技术，这种技术方法可以将图像中的文字信息进行有效的提取，如名片中的姓名和联系方式，发票图像中的金额税号等，这类图像中的文字位置和文字非常规整。随着互联网信息的增多，OCR技术也被应用在了更加复杂的业务场景上，用于对样式复杂的图像进行文字提取。但这些图像存在背景复杂，文字格式多样化的情况，这导致OCR识别会出现很多无用信息，示例性地，线上售卖物品的图片背景复杂，一些图片中的文字使用艺术字体，某些敏感文字使用拼音简称等，OCR无法准确识别这些文字，导致识别出来的文字为无用信息。
目前采用的解决方法为：设置固定规则去掉图像上的某些字符。例如，使用固定规则将英文字符去除只保留中文字符；将图像中的水印或者LOGO等去除；使用中文的停用词词表将标点符号、停顿词和语气词等进行去除，那么剩下的图像文本为图像中的有效文本。
目前采用的方法需要针对特定场景进行特殊规则设定，无法适用于全部场景，导致场景适用范围小。
发明内容
本申请实施例的目的在于提供一种图像文本的选取方法、装置、电子设备和存储介质，以解决场景适用范围小的问题。具体技术方案如下：
第一方面，提供了一种图像文本的选取方法，所述方法包括：
获取目标图像和所述目标图像对应的图像文本，其中，所述图像文本包括至少一个子文本；
将所述目标图像和所述图像文本输入目标识别模型，得到所述目标识别模型输出的每个子文本的注意力分数，其中，所述注意力分数用于指示所述子文本和所述目标图像之间的关联度；
从所述子文本中选取出注意力分数大于预设分数阈值的目标子文本，其中，所述目标子文本能够体现所述目标图像的内容。
可选地，将所述目标图像和所述图像文本输入目标识别模型之前，所述方法还包括：
获取正样本对和负样本对，其中，所述正样本对包括第一样本图像和所述第一样本图像的内容相关联的第一样本文本，所述负样本对包括第二样本图像和所述第二样本图像的内容无关联的第二样本文本；
将所述正样本对和所述负样本对输入初始识别模型，对所述初始识别模型进行模型训练；
将测试样本对输入训练后的初始识别模型，得到识别结果，其中，所述识别结果用于指示所述测试样本对为正样本对或负样本对；
在所述识别结果与所述测试样本的样本标签不相同的情况下，调整所述初始识别模型的模型参数，得到目标识别模型，其中，所述目标识别模型输出的识别结果与所述测试样本的样本标签相同。
可选地，将所述正样本对和所述负样本对输入初始识别模型之前，所述方法还包括：
根据跨注意力网络构建transformer网络，其中，所述跨注意力网络用于学习文本和图像之间的注意力关系；
基于至少一层transformer网络构建所述初始识别模型。
可选地，根据跨注意力网络构建transformer结构包括：
获取自注意力网络，其中，所述自注意力网络用于学习文本中词汇之间的注意力关系和图像中区域图像之间的注意力关系，所述图像能够划分为至少两个区域图像；
根据所述跨注意力网络和所述自注意力网络构建transformer网络。
可选地，获取目标图像对应的图像文本之前，所述方法还包括：
通过OCR对所述目标图像进行文本识别，得到目标图像中的图像文本，其中，所述图像文本为所述目标图像中的全部文本。
第二方面，提供了一种图像文本的选取装置，所述装置包括：
获取模块，用于获取目标图像和所述目标图像对应的图像文本，其中，所述图像文本包括至少一个子文本；
输入输出模块，用于将所述目标图像和所述图像文本输入目标识别模型，得到所述目标识别模型输出的每个子文本的注意力分数，其中，所述注意力分数用于指示所述子文本和所述目标图像之间的关联度；
选取模块，用于从所述子文本中选取出注意力分数大于预设分数阈值的目标子文本，其中，所述目标子文本能够体现所述目标图像的内容。
可选地，该装置还用于：
根据跨注意力网络构建transformer网络，其中，所述跨注意力网络用于学习文本和图像之间的注意力关系；
基于至少一层transformer网络构建初始识别模型。
可选地，该装置还用于：
获取自注意力网络，其中，所述自注意力网络用于学习文本中词汇之间的注意力关系和图像中区域图像之间的注意力关系，所述图像能够划分为至少两个区域图像；
根据所述跨注意力网络和所述自注意力网络构建transformer网络。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一所述的图像文本的选取方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的图像文本的选取方法步骤。
本申请实施例有益效果：
本申请应用于深度学习技术领域中的计算机视觉，本申请实施例提供了一种图像文本的选取方法，在本申请中，服务器通过目标识别模型，确定目标图像中每个子文本的注意力分数，然后将注意力分数大于预设分数阈值的子文本作为目标子文本。由于注意力分数能够指示子文本和目标图像之间的关联度，因此，目标子文本与目标图像的关联度较高，目标子文本能够体现目标图像的内容。
本申请采用目标识别模型进行目标子文本的选取，该目标识别模型适用于任何场景，不受规则的约束，提高了场景的适用范围。另外，本申请无需设置规则，提高了文字选取的效率。最后，本申请选取出和目标图像的内容相关联的目标子文本，最大程度上保留了图像文本中的语义内容。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像文本的选取方法硬件环境示意图；
图2为本申请实施例提供的一种图像文本的选取的方法流程图；
图3为本申请实施例提供的生成目标识别模型的方法流程图；
图4为本申请实施例提供的目标识别模型训练的方法流程图；
图5为本申请实施例提供的目标识别模型使用的方法流程图；
图6为本申请实施例提供的一种图像文本的选取装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种图像文本的选取方法的实施例。
可选地，在本申请实施例中，上述图像文本的选取方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101包括但不限于PC、手机、平板电脑等。
本申请实施例提供了一种图像文本的选取方法，可以应用于服务器或终端，用于选取能够表示图像内容的文本。
下面将结合具体实施方式，以应用于服务器为例，对本申请实施例提供的一种图像文本的选取方法进行详细的说明，如图2所示，具体步骤如下：
步骤201：获取目标图像和目标图像对应的图像文本。
其中，图像文本包括至少一个子文本。
在本申请实施例中，服务器获取目标图像，采用OCR识别方案将目标图像中的图像文本识别出来，其中，图像文本为目标图像中的全部文本，包括与目标图像的内容相关的文本和与目标图像的内容无关的文本。
示例性地，目标图像为一幅图画，目标图像中还有水印和画面的文字描述信息，水印与图画内容无关，文字描述信息与图画内容有关，图像文本包括水印和文字描述信息。
图像文本包括至少一个子文本，子文本可以是按照预设符号划分的，也可以是按照段落划分的，本申请对子文本划分的具体方式不做限制。
示例性地，图像文本可以按照逗号、句号或分号等预设符号将图像文本划分为至少一个子文本。
步骤202：将目标图像和图像文本输入目标识别模型，得到目标识别模型输出的每个子文本的注意力分数。
其中，注意力分数用于指示子文本和目标图像之间的关联度。
在本申请实施例中，服务器将目标图像和图像文本输入目标识别模型，目标识别模型能够输出的每个子文本的注意力分数，该注意力分数用于指示子文本和目标图像之间的关联度，其中，注意力分数和关联度成正向关系，注意力分数越高，表明子文本和目标图像之间的关联度越高，子文本越能够体现目标图像的内容。
步骤203：从子文本中选取出注意力分数大于预设分数阈值的目标子文本。
其中，目标子文本能够体现目标图像的内容。
在本申请实施例中，服务器从数据库中获取预设分数阈值，服务器得到每个子文本的注意力分数后，将注意力分数和预设分数阈值进行比较，然后将大于预设分数阈值的注意力分数对应的子文本作为目标子文本。由于目标子文本的注意力分数大于预设分数阈值，因此，目标子文本和目标图像之间的关联度高，目标子文本能够体现目标图像的内容。
在本申请中，服务器通过目标识别模型，确定目标图像中每个子文本的注意力分数，然后将注意力分数大于预设分数阈值的子文本作为目标子文本。由于注意力分数能够指示子文本和目标图像之间的关联度，因此，目标子文本与目标图像的关联度较高，目标子文本能够体现目标图像的内容。
本申请采用目标识别模型进行目标子文本的选取，该目标识别模型适用于任何场景，不受规则的约束，提高了场景的适用范围。另外，本申请无需设置规则，提高了文字选取的效率。最后，本申请选取出和目标图像的内容相关联的目标子文本，最大程度上保留了图像文本中的语义内容。
作为一种可选的实施方式，如图3所示，将目标图像和图像文本输入目标识别模型之前，方法还包括：
步骤301：获取正样本对和负样本对。
其中，正样本对包括第一样本图像和第一样本图像的内容相关联的第一样本文本，负样本对包括第二样本图像和第二样本图像的内容无关联的第二样本文本。
在本申请实施例中，服务器获取正样本对和负样本对。正样本对包括第一样本图像和第一样本图像的内容相关联的第一样本文本，第一样本文本能够体现第一样本图像的图像内容；负样本对包括第二样本图像和第二样本图像的内容无关联的第二样本文本，第二样本文本能够体现第二样本图像的图像内容。
正样本对可以认为是第一样本图像和第一样本文本的样本标签，负样本对可以认为是第二样本图像和第二样本文本的样本标签。
步骤302：将正样本对和负样本对输入初始识别模型，对初始识别模型进行模型训练。
在本申请实施例中，服务器通过正样本对和负样本对进行模型训练，具体的，服务器构建初始识别模型，然后将正样本对和负样本对输入初始识别模型，对初始识别模型进行模型训练。
步骤303：将测试样本对输入训练后的初始识别模型，得到识别结果。
其中，识别结果用于指示测试样本对为正样本对或负样本对。
在本申请实施例中，服务器进行模型训练结束后，得到训练后的初始识别模型。服务器将测试样本对输入训练后的初始识别模型，得到识别结果，该识别结果用于指示测试样本对为正样本对或负样本对。
示例性地，服务器将测试样本对(正样本对或负样本对)输入训练后的初始识别模型，初始识别模型输出0或1，0表示测试样本对为负样本对，1表示测试样本对为正样本对。
步骤304：在识别结果与测试样本的样本标签不相同的情况下，调整初始识别模型的模型参数，得到目标识别模型。
其中，目标识别模型输出的识别结果与测试样本的样本标签相同。
在本申请实施例中，服务器判断识别结果和测试样本的样本标签是否相同，若相同，表示初始识别模型训练结束；若不相同，则调整初始识别模型的模型参数，然后判断初始识别模型中的损失函数是否震荡于预设区间。若损失函数没有震荡于预设区间，则继续调整模型参数，直至损失函数震荡于预设区间，此时初始识别模型输出的识别结果与测试样本的样本标签相同，得到目标识别模型。该目标识别模型在调整参数的过程中，能够学习到与图像内容相关联的文本信息。
其中，损失函数可以为二类分类网络交叉熵函数，本申请对损失函数的类型不做具体限制。
在本申请中，服务器可以通过正样本对(样本图像的内容与样本文本相关联)和负样本对(样本图像的内容与样本文本无关联)进行模型训练，这样目标识别模型能够在训练过程中学习到与图像内容相关联的文本信息，从而在后续的使用过程中，选取出能够体现目标图像的内容的目标子文本。
作为一种可选的实施方式，将正样本对和负样本对输入初始识别模型之前，方法还包括：根据跨注意力网络构建transformer网络；其中，跨注意力网络用于学习文本和图像之间的注意力关系；基于至少一层transformer网络构建初始识别模型。
在本申请实施例中，跨注意力网络(cross-model-attention)能够学习文本和图像之间的注意力关系，从而学习到与图像内容相关联的文本信息。服务器根据跨注意力网络构建transformer网络，然后基于至少一层transformer网络构建初始识别模型。其中，初始识别模型的输出以transformer的token位置进行输出。
在本申请中，服务器根据跨注意力网络得到初始识别模型，可以通过跨注意力网络学习到与图像内容相关联的文本信息，transformer网络为至少一层，每层transformer网络都可以学习文本和图像之间的注意力关系，这样能够提高初始识别模型的学习能力，从而提到选取文本的准确性。
作为一种可选的实施方式，根据跨注意力网络构建transformer结构包括：获取自注意力网络，其中，自注意力网络用于学习文本中词汇之间的注意力关系和图像中区域图像之间的注意力关系，图像能够划分为至少两个区域图像；根据跨注意力网络和自注意力网络构建transformer网络。
在本申请实施例中，自注意力网络(self-attention)能够学习各个模态自己的注意力关系，其中，模态指的是文本或图像。即，文本划分为多个词汇，自注意力网络能够学习文本中词汇之间的注意力关系；图像能够划分为至少两个区域图像，自注意力网络能够学习区域图像之间的注意力关系。
服务器根据跨注意力网络和自注意力网络构建transformer网络，从而构建初始识别模型，这样初始识别模型不但能通过跨注意力网络学习到与图像内容相关联的文本信息，还可通过自注意力网络学习各个模态自己的注意力关系，进一步提高了初始识别模型的学习能力，从而提到选取文本的准确性。
图4为目标识别模型的训练过程，可以看出，输入内容包括正样本对和负样本对，初始识别模型输出0或1。
图5为目标识别模型的使用过程，可以看出，输入内容为正样本对，正样本对中的全部文字能够体现图像内容，那么目标识别模型能够输出正样本对中的全部文字。
基于相同的技术构思，本申请实施例还提供了一种图像文本的选取装置，如图6所示，该装置包括：
获取模块601，用于获取目标图像和目标图像对应的图像文本，其中，图像文本包括至少一个子文本；
输入输出模块602，用于将目标图像和图像文本输入目标识别模型，得到目标识别模型输出的每个子文本的注意力分数，其中，注意力分数用于指示子文本和目标图像之间的关联度；
选取模块603，用于从子文本中选取出注意力分数大于预设分数阈值的目标子文本，其中，目标子文本能够体现目标图像的内容。
可选地，该装置还用于：
获取正样本对和负样本对，其中，正样本对包括第一样本图像和第一样本图像的内容相关联的第一样本文本，负样本对包括第二样本图像和第二样本图像的内容无关联的第二样本文本；
将正样本对和负样本对输入初始识别模型，对初始识别模型进行模型训练；
将测试样本对输入训练后的初始识别模型，得到识别结果，其中，识别结果用于指示测试样本对为正样本对或负样本对；
在识别结果与测试样本的样本标签不相同的情况下，调整初始识别模型的模型参数，得到目标识别模型，其中，目标识别模型输出的识别结果与测试样本的样本标签相同。
可选地，该装置还用于：
根据跨注意力网络构建transformer网络，其中，跨注意力网络用于学习文本和图像之间的注意力关系；
基于至少一层transformer网络构建初始识别模型。
可选地，该装置还用于：
获取自注意力网络，其中，自注意力网络用于学习文本中词汇之间的注意力关系和图像中区域图像之间的注意力关系，图像能够划分为至少两个区域图像；
根据跨注意力网络和自注意力网络构建transformer网络。
可选地，该装置还用于：
通过OCR对目标图像进行文本识别，得到目标图像中的图像文本，其中，图像文本为目标图像中的全部文本。
根据本申请实施例的另一方面，本申请提供了一种电子设备，如图7所示，包括存储器703、处理器701、通信接口702及通信总线704，存储器703中存储有可在处理器701上运行的计算机程序，存储器703、处理器701通过通信接口702和通信总线704进行通信，处理器701执行计算机程序时实现上述方法的步骤。
上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。
可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行上述方法的程序代码：
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像文本的选取方法，其特征在于，所述方法包括：
获取目标图像和所述目标图像对应的图像文本，其中，所述图像文本包括至少一个子文本；
将所述目标图像和所述图像文本输入目标识别模型，得到所述目标识别模型输出的每个子文本的注意力分数，其中，所述注意力分数用于指示所述子文本和所述目标图像之间的关联度；
从所述子文本中选取出注意力分数大于预设分数阈值的目标子文本，其中，所述目标子文本能够体现所述目标图像的内容。
2.根据权利要求1所述的方法，其特征在于，将所述目标图像和所述图像文本输入目标识别模型之前，所述方法还包括：
获取正样本对和负样本对，其中，所述正样本对包括第一样本图像和所述第一样本图像的内容相关联的第一样本文本，所述负样本对包括第二样本图像和所述第二样本图像的内容无关联的第二样本文本；
将所述正样本对和所述负样本对输入初始识别模型，对所述初始识别模型进行模型训练；
将测试样本对输入训练后的初始识别模型，得到识别结果，其中，所述识别结果用于指示所述测试样本对为正样本对或负样本对；
在所述识别结果与所述测试样本的样本标签不相同的情况下，调整所述初始识别模型的模型参数，得到目标识别模型，其中，所述目标识别模型输出的识别结果与所述测试样本的样本标签相同。
3.根据权利要求2所述的方法，其特征在于，将所述正样本对和所述负样本对输入初始识别模型之前，所述方法还包括：
根据跨注意力网络构建transformer网络，其中，所述跨注意力网络用于学习文本和图像之间的注意力关系；
基于至少一层transformer网络构建所述初始识别模型。
4.根据权利要求3所述的方法，其特征在于，根据跨注意力网络构建transformer结构包括：
获取自注意力网络，其中，所述自注意力网络用于学习文本中词汇之间的注意力关系和图像中区域图像之间的注意力关系，所述图像能够划分为至少两个区域图像；
根据所述跨注意力网络和所述自注意力网络构建transformer网络。
5.根据权利要求1-4任意一项所述的方法，其特征在于，获取目标图像对应的图像文本之前，所述方法还包括：
通过OCR对所述目标图像进行文本识别，得到目标图像中的图像文本，其中，所述图像文本为所述目标图像中的全部文本。
6.一种图像文本的选取装置，其特征在于，所述装置包括：
获取模块，用于获取目标图像和所述目标图像对应的图像文本，其中，所述图像文本包括至少一个子文本；
输入输出模块，用于将所述目标图像和所述图像文本输入目标识别模型，得到所述目标识别模型输出的每个子文本的注意力分数，其中，所述注意力分数用于指示所述子文本和所述目标图像之间的关联度；
选取模块，用于从所述子文本中选取出注意力分数大于预设分数阈值的目标子文本，其中，所述目标子文本能够体现所述目标图像的内容。
7.根据权利要求6所述的装置，其特征在于，该装置还用于：
根据跨注意力网络构建transformer网络，其中，所述跨注意力网络用于学习文本和图像之间的注意力关系；
基于至少一层transformer网络构建初始识别模型。
8.根据权利要求7所述的装置，其特征在于，该装置还用于：
获取自注意力网络，其中，所述自注意力网络用于学习文本中词汇之间的注意力关系和图像中区域图像之间的注意力关系，所述图像能够划分为至少两个区域图像；
根据所述跨注意力网络和所述自注意力网络构建transformer网络。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN202210301777.6A 2022-03-24 2022-03-24 一种图像文本的选取方法、装置、电子设备和存储介质 Pending CN114625909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301777.6A CN114625909A (zh) 2022-03-24 2022-03-24 一种图像文本的选取方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210301777.6A CN114625909A (zh) 2022-03-24 2022-03-24 一种图像文本的选取方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114625909A true CN114625909A (zh) 2022-06-14

Family

ID=81904579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210301777.6A Pending CN114625909A (zh) 2022-03-24 2022-03-24 一种图像文本的选取方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114625909A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821605A (zh) * 2022-06-30 2022-07-29 苏州浪潮智能科技有限公司 一种文本的处理方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821605A (zh) * 2022-06-30 2022-07-29 苏州浪潮智能科技有限公司 一种文本的处理方法、装置、设备和介质
CN114821605B (zh) * 2022-06-30 2022-11-25 苏州浪潮智能科技有限公司 一种文本的处理方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN102567509B (zh) 视觉信息辅助的即时通信方法及系统
CN110223675B (zh) 用于语音识别的训练文本数据的筛选方法及系统
CN110705301A (zh) 实体关系抽取方法及装置、存储介质、电子设备
CN109684476B (zh) 一种文本分类方法、文本分类装置及终端设备
CN107357824B (zh) 信息处理方法、服务平台及计算机存储介质
EP3908971A1 (en) Identifying key-value pairs in documents
CN111274239A (zh) 试卷结构化处理方法、装置和设备
CN106127222B (zh) 一种基于视觉的字符串相似度计算方法及相似性判断方法
CN114757176A (zh) 一种获取目标意图识别模型的方法以及意图识别方法
CN113360700B (zh) 图文检索模型的训练和图文检索方法、装置、设备和介质
CN115545039A (zh) 一种多模态谣言检测方法及系统
CN113128241A (zh) 文本识别方法、装置及设备
CN111814779A (zh) 一种票据文本识别方法、装置、设备及存储介质
CN114218945A (zh) 实体识别方法、装置、服务器及存储介质
CN115862040A (zh) 文本纠错方法、装置、计算机设备及可读存储介质
CN113392218A (zh) 文本质量评估模型的训练方法和确定文本质量的方法
CN114625909A (zh) 一种图像文本的选取方法、装置、电子设备和存储介质
CN113204956B (zh) 多模型训练方法、摘要分段方法、文本分段方法及装置
CN116881408A (zh) 基于ocr和nlp的视觉问答防诈骗方法及系统
CN112364131B (zh) 一种语料处理方法及其相关装置
CN115292492A (zh) 意图分类模型的训练方法、装置、设备及存储介质
JP2011039576A (ja) 特定情報検出装置、特定情報検出方法および特定情報検出プログラム
CN114579876A (zh) 虚假信息检测方法、装置、设备及介质
CN113704623A (zh) 一种数据推荐方法、装置、设备及存储介质
CN114067343A (zh) 一种数据集的构建方法、模型训练方法和对应装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination