CN114549874B - 多目标图文匹配模型的训练方法、图文检索方法及装置 - Google Patents

多目标图文匹配模型的训练方法、图文检索方法及装置 Download PDF

Info

Publication number
CN114549874B
CN114549874B CN202210200250.4A CN202210200250A CN114549874B CN 114549874 B CN114549874 B CN 114549874B CN 202210200250 A CN202210200250 A CN 202210200250A CN 114549874 B CN114549874 B CN 114549874B
Authority
CN
China
Prior art keywords
text
image
sample
matching model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210200250.4A
Other languages
English (en)
Other versions
CN114549874A (zh
Inventor
冯原
孙准
郑弘晖
辛颖
张滨
李超
王云浩
韩树民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210200250.4A priority Critical patent/CN114549874B/zh
Publication of CN114549874A publication Critical patent/CN114549874A/zh
Priority to JP2022165363A priority patent/JP7403605B2/ja
Priority to KR1020220133251A priority patent/KR20220147550A/ko
Priority to US18/173,689 priority patent/US20230196716A1/en
Application granted granted Critical
Publication of CN114549874B publication Critical patent/CN114549874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19093—Proximity measures, i.e. similarity or distance measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种多目标图文匹配模型的训练方法、图文检索方法及装置，涉及人工智能技术领域，尤其涉及深度学习、图像识别技术领域。方法包括：获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标；对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域；基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。本公开技术方案，通过样本文本和对应的热力图训练多目标图文匹配模型，可以解决图像中有多个目标时，计算结果不准确的问题。将多目标图文匹配模型应用到图文检索中，可以提高检索结果的准确性。

Description

多目标图文匹配模型的训练方法、图文检索方法及装置
技术领域
本公开涉及人工智能技术领域，尤其涉及深度学习、图像识别技术领域。
背景技术
随着互联网的持续普及，多媒体数据呈现爆炸式增长。如何有效地组织、管理和检索这些大规模多媒体数据已经成为当前的一个热门课题。多媒体数据由于文本、图像等多模态信息处于异构的特征空间中，他们之间的关联关系复杂多样，如何实现跨模态信息检索成为需要解决的问题。
目前，对于跨模态信息检索，在图像中存在多个目标时，容易出现多目标混淆问题，影响检索结果的准确性。
发明内容
本公开提供了一种多目标图文匹配模型的训练方法、图文检索方法及装置。
根据本公开的一方面，提供了一种多目标图文匹配模型的训练方法，包括：
获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标；
对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域；
基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。
根据本公开的另一方面，提供了一种图文检索方法，包括：
获取检索文本和多个图像；
将检索文本和多个图像输入多目标图文匹配模型，得到检索文本和多个图像的相似度；
根据检索文本和多个图像的相似度，确定检索文本对应的目标图像；
其中，多目标图文匹配模型是根据本公开实施例提供的多目标图文匹配模型的训练方法训练得到的。
根据本公开的另一方面，提供了一种多目标图文匹配模型的训练装置，包括：
第一获取模块，用于获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标；
第二获取模块，用于对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域；
模型训练模块，用于基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。
根据本公开的另一方面，提供了一种图文检索装置，包括：
获取模块，用于获取检索文本和多个图像；
匹配模块，用于将检索文本和多个图像输入多目标图文匹配模型，得到检索文本和多个图像的相似度；
确定模块，用于根据检索文本和多个图像的相似度，确定检索文本对应的目标图像；
其中，多目标图文匹配模型是根据本公开实施例提供的多目标图文匹配模型的训练方法训练得到的。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
本公开提供了一种多目标图文匹配模型的训练方法、图文检索方法及装置、电子设备及存储介质，获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标；对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域；基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。本公开技术方案，通过样本文本和对应的热力图训练多目标图文匹配模型，可以解决图像中有多个目标时，计算结果不准确的问题。将多目标图文匹配模型应用到图文检索中，可以提高检索结果的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开一实施例中多目标图文匹配模型的训练方法的流程图；
图2为本公开一实施例中的样本文本“狗”对应的热力图；
图3为本公开一实施例中的样本文本“猫”对应的热力图；
图4为本公开一实施例中图文检索方法的流程图；
图5为本公开一实施例中在线检索方法的示意图；
图6为本公开一实施例中在线检索方法的示意图；
图7为本公开一实施例中多目标图文匹配模型的训练装置的示意图；
图8为本公开一实施例中图文检索装置的示意图；
图9是用来实现本公开实施例的多目标图文匹配模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供了一种多目标图文匹配模型的训练方法，图1是本公开一实施例的多目标图文匹配模型的训练方法的流程图，该方法可以应用于多目标图文匹配模型的训练装置，该装置可以部署于终端设备、服务器或其它处理设备中。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，包括：
步骤S101，获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标。
可选的，可以通过网络搜索引擎或者网络爬虫的方式获取文本和文本对应的图像，作为样本文本和样本图像。
其中，样本图像中可以包括多个目标，例如，一张样本图像中可以包括猫的图像和狗的图像，该样本图像和样本文本“猫”组成一个样本对；该样本图像和样本文本“狗”组成一个样本对。
步骤S102，对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域。
其中，热力图是一种数据可视化呈现方式。通过颜色变化程度，可以直观反应出热点分布，区域聚集等数据信息。本公开实施例中，通过热力图来表征样本文本与样本图像中的目标对应的区域。通过热力图可以在多目标图像中实现语义对齐，使样本文本和样本图像中的目标相对应。
在一示例中，样本文本“狗”对应的热力图如图2所示，在图2中，狗的图像的位置通过颜色凸显出来。样本文本“猫”对应的热力图如图3所示，在图3中，猫的图像的位置通过颜色凸显出来。
步骤S103，基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。
将样本文本和对应的热力图作为样本对，训练图文匹配模型，得到多目标图文匹配模型。相关技术中，对于图像中存在多个目标时，图文匹配模型容易出现多目标混淆的问题，多目标图文匹配模型与图文匹配模型相比，输出结果的准确性更高。
本公开提供了的多目标图文匹配模型的训练方法，获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标；对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域；基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。本公开技术方案，通过样本文本和对应的热力图训练多目标图文匹配模型，可以解决图像中有多个目标时，计算结果不准确的问题。将多目标图文匹配模型应用到图文检索中，可以提高检索结果的准确性。
在一种可能的实现方式中，图1所示的S102，对于每一训练样本，获取训练样本中的样本文本对应的热力图，进一步包括：
获取预先训练的图文匹配模型；
对于每一训练样本，基于图文匹配模型和训练样本，得到训练样本中的样本文本对应的热力图。
在实际应用中，可以预先训练图文匹配模型，图文匹配模型可以是对比文本-图像预训练模型(Contrastive Language-Image Pre-training，CLIP)。CLIP模型结构包括一个文本编码模块(text encoder)，一个图像编码模块(image encoder)，分别将文本和图像映射到特征空间中。在获取图文样本对的图像特征与文本特征之后，计算一个批次(batch)的样本中，所有的图像和文本的相似度矩阵，分别计算每个图像与各个文本的相似度的损失(loss)与每个文本与各个图像的相似度的损失，从而反向传播之后，对整个模型进行优化，最终得到图文匹配模型。通过图文匹配模型，可以得到训练样本中的样本文本对应的热力图。
本公开实施例中，通过预先训练的图文匹配模型，可以得到每一训练样本的样本文本对应的热力图。
其中，通过预先训练的图文匹配模型得到热力图的实现过程将如下实施例：
在一种可能的实现方式中，上述实施例中的对于每一训练样本，基于图文匹配模型和训练样本，得到训练样本中的样本文本对应的热力图，进一步包括：
对于每一训练样本，将训练样本输入图文匹配模型，得到训练样本对应的相似度和梯度；基于训练样本对应的相似度和梯度，对训练样本中的样本图像进行处理，得到训练样本中的样本文本对应的热力图。
在实际应用中，可以通过将训练样本输入图文匹配模型，得到图文匹配模型输出的每个训练样本对应的相似度和梯度，通过相似度和梯度对样本图像进行处理，从而得到样本文本对应的热力图。可选的，可以通过梯度加权分类激活映射(gradient-weightedclass activation mapping，Grad-Cam)方法生成热力图。通过Grad-Cam方法，对于不同的样本文本，样本图像中的响应区域不同，从而可以生成不同的热力图。
本公开实施例中，基于训练样本对应的相似度和梯度，生成样本文本对应的热力图。通过对热力图的能量区域进行截取，可以大幅度的减少背景和其他目标的干扰，从而生成更为精确的图文对。
在一种可能的实现方式中，图1所示的S103，基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型，进一步包括：
获取预先训练的图文匹配模型；
基于多个样本文本和对应的热力图，调整图文匹配模型的模型参数，得到多目标图文匹配模型。
在实际应用中，基于多个样本文本和对应的热力图，对预先训练好的图文匹配模型的模型参数进行微调(Fine Tune)，从而得到多目标图文匹配模型。
本公开实施例中，对预先训练好的图文匹配模型的模型参数进行微调，与从头开始训练模型相比，微调可以节省计算资源和计算时间，提高计算效率以及计算结果的准确率。
在一种可能的实现方式中，上述实施例中的图文匹配模型包括预先训练的文本编码模块和图像编码模块。
本公开实施例中，采用预先训练的文本编码模块和图像编码模块作为图文匹配模型的组成部分，可以加快模型收敛速度，提升模型效果。
本公开实施例提供了一种图文检索方法，图4是本公开一实施例的图文检索方法的流程图，该方法可以应用于图文检索装置，该装置可以部署于服务器或其它处理设备中。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图4所示，包括：
步骤S401，获取检索文本和多个图像。
本公开实施例中，执行主体可以是服务器。其中，检索文本可以是服务器接收到的终端设备发送的文本，多个图像可以是预先构造的图文检索数据库中的图像。图文检索数据库可以是预先根据多个图像和文本组成的图文对构造的数据库。
步骤S402，将检索文本和多个图像输入多目标图文匹配模型，得到检索文本和多个图像的相似度。
其中，多目标图文匹配模型是根据本公开实施例提供的多目标图文匹配模型的训练方法训练得到的。将检索文本和多个图像输入多目标图文匹配模型，多目标图文匹配模型输出检索文本和每个图像的相似度。
步骤S403，根据检索文本和多个图像的相似度，确定检索文本对应的目标图像。
基于检索文本和每个图像的相似度进行筛选，将超过预设阈值的相似度对应的图像作为检索文本对应的目标图像。
本公开实施例提供的图文检索方法，采用预先训练的多目标图文匹配模型进行相似度计算，可以解决图像中有多个目标时，计算结果不准确的问题，提高检索结果的准确性。
在一种可能的实现方式中，图4所示的S401，在获取多个图像之后，进一步包括：
通过多目标图文匹配模型的图像编码模块提取多个图像中各图像的图像特征，将各图像的图像特征进行分类，得到多个类别的图像并存储。
在实际应用中，多目标图文匹配模型可以包括图像编码模块，在获取多个图像之后，可以通过图像编码模块提取多个图像中各图像的图像特征并进行分类，将图像和所属类别建立索引，并存储在预设的存储空间。在服务器接收到检索文本时，基于索引和检索文本进行图文检索。
本公开实施例中，预先对图像提取特征和分类并存储，可以提高检索速度，满足在线检索需求。
在一种可能的实现方式中，图4所示的S402，将检索文本和多个图像输入多目标图文匹配模型，得到检索文本和多个图像的相似度，进一步包括：
通过多目标图文匹配模型的文本编码模块提取检索文本的文本特征；
在多个类别的图像中确定检索文本对应的目标类别的图像；
通过多目标图文匹配模型的相似度确定模块，得到检索文本和目标类别的图像中各图像的相似度。
在实际应用中，多目标图文匹配模型还可以包括文本编码模块和相似度确定模块，在进行图文检索时，通过文本编码模块提取检索文本的文本特征之后，将检索文本匹配到相应的图像类别中，通过多目标图文匹配模型的相似度确定模块，计算检索文本和目标类别的图像中各图像的相似度。
本公开实施例中，通过确定检索文本对应的目标类别的图像，计算检索文本和目标类别的图像的相似度，避免了计算检索文本和所有图像的相似度造成的时间浪费，提高在线检索的速度。
图5为本公开一实施例中在线检索方法的示意图。多目标图文匹配模型包括文本编码模块、图像编码模块和相似度确定模块。获取多个图像，并通过图像编码模块提取图像特征，将多个图像进行分类(如图中所示的quantizer)，得到多个类别(如图所示的i、j…z)并建立索引(如图中所示的indexing)，得到倒排索引列表(如图中所示的inverted listi、inverted list j…inverted list z),图像特征y属于类别j，倒排索引列表invertedlist j记录图像特征y的ID。通过文本编码模块提取文本特征，得到检索文本(如图中所示的query)的文本特征x，确定文本特征x对应的图像类别为z，通过相似度确定模块计算文本特征x和图像类别z中各图像的相似度，将相似度排在前预设位置的图像作为检索文本对应的目标图像集合(如图中所示的calulate similarity and select top k)。
图6为本公开一实施例中在线检索方法的示意图。如图所示，第一，图文关系抓取；具体的，通过网络爬虫方式获取图像和文本，得到多个图文关系对作为训练样本集。
第二，模型训练。具体的，利用训练样本集训练初始模型，得到图文匹配模型。
第三，多目标语义对齐。具体的，获取多目标图文匹配模型的多个训练样本，每个训练样本中包括样本图像和样本文本，样本图像中包括多个目标。将训练样本输入图文匹配模型，根据图文匹配模型输出的梯度和相似度，得到样本文本对应的热力图。
第四，多模态模型。利用样本文本和对应的热力图对图文匹配模型的模型参数进行微调，得到多模态模型，即多目标图文匹配模型。
第五，在线文本检索。具体的，将检索文本输入多模态模型。将全量图片库中的各图像输入多模态模型，得到多个图像特征。将多个图像特征进行分类，并建立索引。确定检索文本对应的目标类别图像，将检索文本和对应的目标类别图像计算相似度，得到相似度满足预设条件的目标图像作为检索结果并输出。
图7为本公开一实施例中多目标图文匹配模型的训练装置的示意图。如图7所示，多目标图文匹配模型的训练装置可以包括：
第一获取模块701，用于获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标；
第二获取模块702，用于对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域；
模型训练模块703，用于基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。
本公开提供的多目标图文匹配模型的训练装置，获取多个训练样本，训练样本包括样本图像和样本文本组成的样本对，样本图像中包括多个目标；对于每一训练样本，获取训练样本中的样本文本对应的热力图，热力图表征样本文本与样本图像中的目标对应的区域；基于多个样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型。本公开技术方案，通过样本文本和对应的热力图训练多目标图文匹配模型，可以解决图像中有多个目标时，计算结果不准确的问题。将多目标图文匹配模型应用到图文检索中，可以提高检索结果的准确性。
在一中可能的实现方式中，图7所示的第二获取模块702，进一步包括获取单元和确定单元；
获取单元，用于获取预先训练的图文匹配模型；
确定单元，用于对于每一训练样本，基于图文匹配模型和训练样本，得到训练样本中的样本文本对应的热力图。
在一中可能的实现方式中，第二获取模块702中的确定单元，具体用于：
对于每一训练样本，将训练样本输入图文匹配模型，得到训练样本对应的相似度和梯度；基于训练样本对应的相似度和梯度，对训练样本中的样本图像进行处理，得到训练样本中的样本文本对应的热力图。
在一中可能的实现方式中，图7所示的模型训练模块703，具体用于：
获取预先训练的图文匹配模型；
基于多个样本文本和对应的热力图，调整图文匹配模型的模型参数，得到多目标图文匹配模型。
在一中可能的实现方式中，图文匹配模型包括预先训练的文本编码模块和图像编码模块。
本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述多目标图文匹配模型的训练方法实施例中的对应描述，在此不再赘述。
图8为本公开一实施例中图文检索装置的示意图。如图8所示，图文检索装置可以包括：
获取模块801，用于获取检索文本和多个图像；
匹配模块802，用于将检索文本和多个图像输入多目标图文匹配模型，得到检索文本和多个图像的相似度；
确定模块803，用于根据检索文本和多个图像的相似度，确定检索文本对应的目标图像；
其中，多目标图文匹配模型是根据本公开实施例提供的多目标图文匹配模型的训练方法训练得到的。
本公开实施例提供的图文检索装置，采用预先训练的多目标图文匹配模型进行相似度计算，可以解决图像中有多个目标时，计算结果不准确的问题，提高检索结果的准确性。
在一中可能的实现方式中，图8所示的图文检索装置，还包括分类模块，用于：
通过多目标图文匹配模型的图像编码模块提取多个图像中各图像的图像特征，将各图像的图像特征进行分类，得到多个类别的图像并存储。
在一中可能的实现方式中，图8所示的匹配模块802，用于：
通过多目标图文匹配模型的文本编码模块提取检索文本的文本特征；
在多个类别的图像中确定检索文本对应的目标类别的图像；
通过多目标图文匹配模型的相似度确定模块，得到检索文本和目标类别的图像中各图像的相似度。
本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述图文检索方法实施例中的对应描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和信息。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/信息。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如本公开实施例中的任一方法。例如，在一些实施例中，本公开实施例中的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例中的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收信息和指令，并且将信息和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程信息处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为信息服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字信息通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种多目标图文匹配模型的训练方法，所述方法包括：
获取多个训练样本，所述训练样本包括样本图像和样本文本组成的样本对，所述样本图像中包括多个目标；
对于每一训练样本，通过预先训练的图文匹配模型获取所述训练样本中的样本文本对应的热力图，所述热力图表征所述样本文本与所述样本图像中的目标对应的区域；
基于多个所述样本文本和对应的热力图，调整所述图文匹配模型的模型参数，得到多目标图文匹配模型。
2.根据权利要求1所述的方法，其中，所述对于每一训练样本，获取所述训练样本中的样本文本对应的热力图，包括：
获取预先训练的图文匹配模型；
对于每一训练样本，基于所述图文匹配模型和所述训练样本，得到所述训练样本中的样本文本对应的热力图。
3.根据权利要求2所述的方法，其中，所述对于每一训练样本，基于所述图文匹配模型和所述训练样本，得到所述训练样本中的样本文本对应的热力图，包括：
对于每一训练样本，将所述训练样本输入所述图文匹配模型，得到所述训练样本对应的相似度和梯度；基于所述训练样本对应的相似度和梯度，对所述训练样本中的样本图像进行处理，得到所述训练样本中的样本文本对应的热力图。
4.根据权利要求1所述的方法，其中，所述基于多个所述样本文本和对应的热力图，训练图文匹配模型，得到多目标图文匹配模型，包括：
获取预先训练的图文匹配模型；
基于多个所述样本文本和对应的热力图，调整所述图文匹配模型的模型参数，得到多目标图文匹配模型。
5.根据权利要求1所述的方法，其中，所述图文匹配模型包括预先训练的文本编码模块和图像编码模块。
6.一种图文检索方法，所述方法包括：
获取检索文本和多个图像；
将所述检索文本和所述多个图像输入多目标图文匹配模型，得到所述检索文本和所述多个图像的相似度；
根据所述检索文本和所述多个图像的相似度，确定所述检索文本对应的目标图像；
其中，所述多目标图文匹配模型是根据权利要求1-5任一项所述的方法训练得到的。
7.根据权利要求6所述的方法，其中，在获取多个图像之后，还包括：
通过所述多目标图文匹配模型的图像编码模块提取所述多个图像中各图像的图像特征，将各图像的图像特征进行分类，得到多个类别的图像并存储。
8.根据权利要求7所述的方法，其中，所述将所述检索文本和所述多个图像输入多目标图文匹配模型，得到所述检索文本和所述多个图像的相似度，包括：
通过所述多目标图文匹配模型的文本编码模块提取所述检索文本的文本特征；
在所述多个类别的图像中确定所述检索文本对应的目标类别的图像；
通过所述多目标图文匹配模型的相似度确定模块，得到所述检索文本和所述目标类别的图像中各图像的相似度。
9.一种多目标图文匹配模型的训练装置，所述装置包括：
第一获取模块，用于获取多个训练样本，所述训练样本包括样本图像和样本文本组成的样本对，所述样本图像中包括多个目标；
第二获取模块，用于对于每一训练样本，通过预先训练的图文匹配模型获取所述训练样本中的样本文本对应的热力图，所述热力图表征所述样本文本与所述样本图像中的目标对应的区域；
模型训练模块，用于基于多个所述样本文本和对应的热力图，调整所述图文匹配模型的模型参数，得到多目标图文匹配模型。
10.根据权利要求9所述的装置，其中，所述第二获取模块包括获取单元和确定单元；
所述获取单元，用于获取预先训练的图文匹配模型；
所述确定单元，用于对于每一训练样本，基于所述图文匹配模型和所述训练样本，得到所述训练样本中的样本文本对应的热力图。
11.根据权利要求10所述的装置，其中，所述确定单元，具体用于：
对于每一训练样本，将所述训练样本输入所述图文匹配模型，得到所述训练样本对应的相似度和梯度；基于所述训练样本对应的相似度和梯度，对所述训练样本中的样本图像进行处理，得到所述训练样本中的样本文本对应的热力图。
12.根据权利要求9所述的装置，其中，所述模型训练模块，具体用于：
获取预先训练的图文匹配模型；
基于多个所述样本文本和对应的热力图，调整所述图文匹配模型的模型参数，得到多目标图文匹配模型。
13.根据权利要求9所述的装置，其中，所述图文匹配模型包括预先训练的文本编码模块和图像编码模块。
14.一种图文检索装置，所述装置包括：
获取模块，用于获取检索文本和多个图像；
匹配模块，用于将所述检索文本和所述多个图像输入多目标图文匹配模型，得到所述检索文本和所述多个图像的相似度；
确定模块，用于根据所述检索文本和所述多个图像的相似度，确定所述检索文本对应的目标图像；
其中，所述多目标图文匹配模型是根据权利要求1-5任一项所述的方法训练得到的。
15.根据权利要求14所述的装置，其中，还包括分类模块，用于：
通过所述多目标图文匹配模型的图像编码模块提取所述多个图像中各图像的图像特征，将各图像的图像特征进行分类，得到多个类别的图像并存储。
16.根据权利要求15所述的装置，其中，所述匹配模块，用于：
通过所述多目标图文匹配模型的文本编码模块提取所述检索文本的文本特征；
在所述多个类别的图像中确定所述检索文本对应的目标类别的图像；
通过所述多目标图文匹配模型的相似度确定模块，得到所述检索文本和所述目标类别的图像中各图像的相似度。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202210200250.4A 2022-03-02 2022-03-02 多目标图文匹配模型的训练方法、图文检索方法及装置 Active CN114549874B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210200250.4A CN114549874B (zh) 2022-03-02 2022-03-02 多目标图文匹配模型的训练方法、图文检索方法及装置
JP2022165363A JP7403605B2 (ja) 2022-03-02 2022-10-14 マルチターゲット画像テキストマッチングモデルのトレーニング方法、画像テキスト検索方法と装置
KR1020220133251A KR20220147550A (ko) 2022-03-02 2022-10-17 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치
US18/173,689 US20230196716A1 (en) 2022-03-02 2023-02-23 Training multi-target image-text matching model and image-text retrieval

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210200250.4A CN114549874B (zh) 2022-03-02 2022-03-02 多目标图文匹配模型的训练方法、图文检索方法及装置

Publications (2)

Publication Number Publication Date
CN114549874A CN114549874A (zh) 2022-05-27
CN114549874B true CN114549874B (zh) 2024-03-08

Family

ID=81662508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210200250.4A Active CN114549874B (zh) 2022-03-02 2022-03-02 多目标图文匹配模型的训练方法、图文检索方法及装置

Country Status (4)

Country Link
US (1) US20230196716A1 (zh)
JP (1) JP7403605B2 (zh)
KR (1) KR20220147550A (zh)
CN (1) CN114549874B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115914B (zh) * 2022-06-07 2024-02-27 腾讯科技（深圳）有限公司 信息识别方法、装置以及计算机可读存储介质
KR102594547B1 (ko) * 2022-11-28 2023-10-26 (주)위세아이텍 멀티모달 특성 기반의 이미지 검색 장치 및 방법
CN116226688B (zh) * 2023-05-10 2023-10-31 粤港澳大湾区数字经济研究院(福田) 数据处理、图文检索、图像分类方法及相关设备
CN116797889B (zh) * 2023-08-24 2023-12-08 青岛美迪康数字工程有限公司 医学影像识别模型的更新方法、装置和计算机设备
CN116935418B (zh) * 2023-09-15 2023-12-05 成都索贝数码科技股份有限公司 一种三维图文模板自动重组方法、设备及系统
CN117235534B (zh) * 2023-11-13 2024-02-20 支付宝(杭州)信息技术有限公司 训练内容理解模型和内容生成模型的方法及装置
CN117688193A (zh) * 2024-02-01 2024-03-12 湘江实验室 图文统一编码方法、装置、计算机设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209862A (zh) * 2019-05-22 2019-09-06 招商局金融科技有限公司 文本配图方法、电子装置及计算机可读存储介质
CN110634125A (zh) * 2019-01-14 2019-12-31 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声图像识别方法及系统
CN112487979A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112733533A (zh) * 2020-12-31 2021-04-30 浙大城市学院 一种基于bert模型及文本-图像关系传播的多模态命名实体识别方法
CN113378857A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113378815A (zh) * 2021-06-16 2021-09-10 南京信息工程大学 一种场景文本定位识别的模型及其训练和识别的方法
CN113590865A (zh) * 2021-07-09 2021-11-02 北京百度网讯科技有限公司 图像搜索模型的训练方法及图像搜索方法
CN113656613A (zh) * 2021-08-20 2021-11-16 北京百度网讯科技有限公司 训练图文检索模型的方法、多模态图像检索方法及装置
CN113836333A (zh) * 2021-09-18 2021-12-24 北京百度网讯科技有限公司 图文匹配模型的训练方法、实现图文检索的方法、装置
CN113901907A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 图文匹配模型训练方法、图文匹配方法及装置
CN113947188A (zh) * 2021-10-14 2022-01-18 北京百度网讯科技有限公司 目标检测网络的训练方法和车辆检测方法
CN114004229A (zh) * 2021-11-08 2022-02-01 北京有竹居网络技术有限公司 文本识别方法、装置、可读介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483694B2 (en) * 2014-01-26 2016-11-01 Sang Hun Kim Image text search and retrieval system
CN110532571B (zh) * 2017-09-12 2022-11-18 腾讯科技（深圳）有限公司 文本处理方法及相关装置
JP2019194446A (ja) 2018-05-01 2019-11-07 株式会社ユタカ技研 触媒コンバータのフランジ構造
KR102102161B1 (ko) 2018-05-18 2020-04-20 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
JP2021022368A (ja) 2019-07-25 2021-02-18 学校法人中部大学 ニューラルネットワークを用いた画像認識装置およびトレーニング装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634125A (zh) * 2019-01-14 2019-12-31 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声图像识别方法及系统
CN110209862A (zh) * 2019-05-22 2019-09-06 招商局金融科技有限公司 文本配图方法、电子装置及计算机可读存储介质
CN112487979A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112733533A (zh) * 2020-12-31 2021-04-30 浙大城市学院 一种基于bert模型及文本-图像关系传播的多模态命名实体识别方法
CN113378815A (zh) * 2021-06-16 2021-09-10 南京信息工程大学 一种场景文本定位识别的模型及其训练和识别的方法
CN113378857A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113590865A (zh) * 2021-07-09 2021-11-02 北京百度网讯科技有限公司 图像搜索模型的训练方法及图像搜索方法
CN113656613A (zh) * 2021-08-20 2021-11-16 北京百度网讯科技有限公司 训练图文检索模型的方法、多模态图像检索方法及装置
CN113836333A (zh) * 2021-09-18 2021-12-24 北京百度网讯科技有限公司 图文匹配模型的训练方法、实现图文检索的方法、装置
CN113901907A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 图文匹配模型训练方法、图文匹配方法及装置
CN113947188A (zh) * 2021-10-14 2022-01-18 北京百度网讯科技有限公司 目标检测网络的训练方法和车辆检测方法
CN114004229A (zh) * 2021-11-08 2022-02-01 北京有竹居网络技术有限公司 文本识别方法、装置、可读介质及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AI深度学习在移动网异常小区检测分类中的应用;王勇;滕祖伟;周杰华;肖波;赵根;;邮电设计技术(11);全文 *
Deep residual learning for image recognition;K.He等;CVPR;全文 *
RamprasaathR.Selvaraju等.Grad-CAM Visual Explanations from Deep Networks via Gradient-based Localization.《Arxiv》.2019,1-23. *
基于多尺度特征融合的图表细分类模型;郭美宏;邵焕;;现代计算机(13);全文 *

Also Published As

Publication number Publication date
JP7403605B2 (ja) 2023-12-22
KR20220147550A (ko) 2022-11-03
CN114549874A (zh) 2022-05-27
JP2022191412A (ja) 2022-12-27
US20230196716A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
CN114549874B (zh) 多目标图文匹配模型的训练方法、图文检索方法及装置
CN113360700B (zh) 图文检索模型的训练和图文检索方法、装置、设备和介质
CN114429633B (zh) 文本识别方法、模型的训练方法、装置、电子设备及介质
CN112560461A (zh) 新闻线索的生成方法、装置、电子设备及存储介质
CN113326450B (zh) 一种兴趣点召回方法、装置、电子设备和存储介质
CN113010752B (zh) 召回内容的确定方法、装置、设备以及存储介质
CN112506864B (zh) 文件检索的方法、装置、电子设备及可读存储介质
CN113919424A (zh) 文本处理模型的训练、文本处理方法、装置、设备和介质
CN114036397B (zh) 数据推荐方法、装置、电子设备和介质
CN112784600B (zh) 信息排序方法、装置、电子设备和存储介质
CN113806541A (zh) 情感分类的方法和情感分类模型的训练方法、装置
CN112925912A (zh) 文本处理方法、同义文本召回方法及装置
CN113377921B (zh) 用于匹配信息的方法、装置、电子设备以及介质
CN113377922B (zh) 用于匹配信息的方法、装置、电子设备以及介质
CN115168537B (zh) 语义检索模型的训练方法、装置、电子设备及存储介质
CN114422584B (zh) 资源的推送方法、设备和存储介质
CN116127948B (zh) 待标注文本数据的推荐方法、装置及电子设备
CN116610782B (zh) 文本检索方法、装置、电子设备及介质
CN116244413B (zh) 新意图确定方法、设备和存储介质
CN112926319B (zh) 一种领域词汇的确定方法、装置、设备以及存储介质
CN117851546A (zh) 资源检索方法、训练方法、装置、电子设备、存储介质及程序产品
CN115965817A (zh) 图像分类模型的训练方法、装置及电子设备
CN117609418A (zh) 文档处理方法、装置、电子设备及存储介质
CN116226533A (zh) 基于关联性预测模型的新闻关联推荐方法、装置及介质
CN117633621A (zh) 开集分类模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant