CN117076695A - 图文跨模态检索方法、装置、电子设备及存储介质 - Google Patents

图文跨模态检索方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117076695A
CN117076695A CN202311020332.1A CN202311020332A CN117076695A CN 117076695 A CN117076695 A CN 117076695A CN 202311020332 A CN202311020332 A CN 202311020332A CN 117076695 A CN117076695 A CN 117076695A
Authority
CN
China
Prior art keywords
text
entity
sample
picture
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311020332.1A
Other languages
English (en)
Inventor
辛锐
欧中洪
陈曦
路欣
刘明硕
王少影
姜丹
张博
尹晓宇
章涵宇
田子敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huarui Xinzhi Technology Beijing Co ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
Huarui Xinzhi Technology Beijing Co ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huarui Xinzhi Technology Beijing Co ltd, State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical Huarui Xinzhi Technology Beijing Co ltd
Priority to CN202311020332.1A priority Critical patent/CN117076695A/zh
Publication of CN117076695A publication Critical patent/CN117076695A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种图文跨模态检索方法、装置、电子设备及存储介质。该方法包括：在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；图片样本与文本样本中包括至少同一种实体目标；对文本样本进行实体抽取，得到文本样本的实体目标；对图片样本进行分割，得到图片样本的M×N个区块；分别计算实体目标在每个区块内的权重，根据权重确定图片样本的高频实体目标；提取每个区块的文本提示信息，并将文本提示信息添加到实体目标对应的文本后；分别提取各区块和添加信息后的实体目标对应的文本的特征向量，并基于特征向量和高频实体目标进行合并。本发明能够确定实体的相对位置，进一步提高跨模态检索的准确性。

Description

图文跨模态检索方法、装置、电子设备及存储介质
技术领域
本发明涉及跨模态检索技术领域，尤其涉及一种图文跨模态检索方法、装置、电子设备及存储介质。
背景技术
移动互联网的快速发展，使文字、图片、音频、视频等多媒体数据呈现爆炸式增长。常规检索已不能满足人们日益变化的搜索需求，跨模态检索应用而生。
目前跨模态检索的方法主要有两种形式：(1)基于深度学习的跨模态检索。通过深度学习算法，不同数据模态间的数据可以被映射到一个共同的低维向量空间中，从而将数据的语义信息编码成向量表示。在该向量空间中，相似的数据点距离较近，不相似的数据点距离较远，这样可实现不同模态数据间的语义相似度计算和匹配。深度学习技术可以通过自动学习特征表示，从而实现多模态数据融合。在跨模态检索中，深度学习技术可以通过构建共同表示层来实现对多模态数据的融合。同时，深度学习技术还可以通过对共同表示层进行训练，来实现对跨模态检索性能的优化。(2)基于自然编码器的生成模型。生成模型其思想是获取一类数据的内部概率分布从而生成相似数据，是一种概率模型。将自然编码器的思想扩展，通过编码器将特征映射到同一空间，减小不同模态间相关性学习错误，再通过解码器将特征映射回原空间，减小每种模态内的特征学习错误。相关技术中大多只关注于对粗略数据进行建模，导致无法准确地优化不同模态数据的特征。
发明内容
本发明实施例提供了一种图文跨模态检索方法、装置、电子设备及存储介质，以解决图文检索时无法检测到图片中实体相对位置的问题。
第一方面，本发明实施例提供了一种图文跨模态检索方法，包括：
在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；所述图片样本与所述文本样本中包括至少同一种实体目标；
对所述文本样本进行实体抽取，得到所述文本样本的实体目标；对所述图片样本进行分割，得到所述图片样本的M×N个区块；分别计算所述实体目标在每个区块内的权重，根据所述权重确定所述图片样本的高频实体目标；
提取各区块的文本提示信息，并将所述文本提示信息添加到所述实体目标对应的文本后；其中，所述文本提示信息包括所属区块的标识以及区块生成的对象标记；分别提取各区块和所述添加信息后的实体目标对应的文本的特征向量，并基于所述特征向量和所述高频实体目标进行合并。
在一种可能的实现方式中，所述实体目标为至少有一种，每种实体目标中包括至少一个实体目标；所述分别计算所述实体目标在每个区块内的权重，根据所述权重得到所述图片样本的高频实体目标，包括：
对于每个实体目标，执行以下步骤：
检测所述图片样本中包含该实体目标的第一矩形区域面积；
对于每个区块，获取该区块中包含该实体目标的第二矩形区域面积，将第二矩形区域面积除以所述第一矩形区域面积，得到该实体目标在该区块内的权重；
对于每种实体目标，将属于该种实体目标的每个实体目标在各区块内的权重进行累加，得到该种实体目标在所述图片样本中的权重；
将每种实体目标在所述图片样本中的权重按照排序算法进行排序，将对应权重最大的一种实体目标作为所述图片样本的高频实体目标。
在一种可能的实现方式中，所述分别提取各区块和所述添加信息后的实体目标对应的文本的特征向量，包括：
采用图片编码器分别对各区块进行特征提取，得到各区块的第一特征向量；
采用文本编码器对所述添加信息后的实体目标对应的文本进行特征提取，得到第二特征向量。
在一种可能的实现方式中，所述基于所述特征向量和所述高频实体目标进行合并，包括：
将所述第一特征向量和所述第二特征向量进行编码处理，并将编码处理后的第一特征向量和第二特征向量映射到预设的共享子空间；
根据构建的张量将所述共享子空间中编码处理后的所述第一特征向量和所述第二特征向量进行乘积，得到跨模态融合后的各区块和所述实体目标对应的文本；
基于所述跨模态融合后的各区块和所述实体目标对应的文本以及所述高频实体目标进行合并。
在一种可能的实现方式中，所述对所述文本样本进行实体抽取，得到所述文本样本的实体目标，包括：
提取所述预设文本库中文本所包含的实体，得到所述预设文本库的词表；
筛选所述词表中的实体，得到多个高频实体；
将所述多个高频实体与所述文本样本中抽取得到的实体进行比对，根据比对结果得到所述文本样本的实体目标。
在一种可能的实现方式中，在对所述图片样本进行分割，得到所述图片样本的M×N个区块之后，还包括：
将各区块输入到预训练的神经网络中，获取各个区块对应的特征向量图谱；
设定所述特征向量图谱中的每一点的感兴趣区域，根据所述设定后的感兴趣区域得到至少一个候选感兴趣区域；
根据预设的区域建议网络将所述至少一个候选感兴趣区域进行二值分类和边框回归，筛选所述至少一个候选感兴趣区域；
根据筛选完成的至少一个候选感兴趣区域，将各区块和所述特征图谱的像素对应以及将所述特征图谱和对应的固定特征对应；
根据对应的各区块和所述特征图谱的像素以及所述特征图谱和对应的固定特征，将感兴趣区域进行分类、边框回归以及掩膜生成，得到各区块的实体目标。
在一种可能的实现方式中，所述预设文本库的构建过程包括：
获取文本库中的文本，根据正则表达式去除所述文本的噪音；
根据分词工具将去除噪音后的文本分割成单独的文本单元；
利用预设的停用词列表对所述文本单元进行停用词识别，并将所述文本单元中识别的停用词删除；
根据预设文本规则处理删除停用词后的文本单元，得到标准化的文本单元，并根据所述标准化的文本单元得到预设文本库。
所述预设图片库的构建过程包括：对预设图片库中的图片进行预处理操作，其中，所述预处理操作至少包括裁剪、缩放、去噪和增强。
第二方面，本发明实施例提供了一种图文跨模态检索装置，包括：
数据预处理模块，用于在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；所述图片样本与所述文本样本中包括至少同一种实体目标；
第一处理模块，用于对所述文本样本进行实体抽取，得到所述文本样本的实体目标；对所述图片样本进行分割，得到所述图片样本的M×N个区块；分别计算所述实体目标在每个区块内的权重，根据所述权重确定所述图片样本的高频实体目标；
第二处理模块，用于提取各区块的文本提示信息，并将所述文本提示信息添加到所述实体目标对应的文本后；其中，所述文本提示信息包括所属区块的标识以及区块生成的对象标记；分别提取各区块和所述添加信息后的实体目标对应的文本的特征向量，并基于所述特征向量和所述高频实体目标进行合并。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
本发明实施例提供一种图文跨模态检索方法、装置、电子设备及存储介质，通过在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；图片样本与文本样本中包括至少同一种实体目标；对文本样本进行实体抽取，得到文本样本的实体目标；对图片样本进行分割，得到图片样本的M×N个区块；分别计算实体目标在每个区块内的权重，根据权重确定图片样本的高频实体目标；提取各区块的文本提示信息，并将文本提示信息添加到实体目标对应的文本后；其中，文本提示信息包括所属区块的标识以及区块生成的对象标记；分别提取各区块和添加信息后的实体目标对应的文本的特征向量，并基于特征向量和高频实体目标进行合并。本发明实施例通过对图片进行分割，生成区块信息，并生成对象标记，捕捉图片中的细节信息，提高跨模态检索的精度。同时，对文本进行处理，添加模板，确定实体的相对位置，可以进一步提高检索的准确性和效率。通过对实体在图片分割后的权重进行统计，基于图片分割后权重判断实体的方法，不仅提高了检索的准确性和效率，还可以有效识别和区分实体在图片中的重要程度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图文跨模态检索方法的实现流程图；
图2是本发明实施例提供的一种图片样本的实体目标提取方法的架构图；
图3是本发明实施例提供的一种图片分割后的示意图；
图4是本发明实施例提供的一种跨模态融合的框架图；
图5是本发明实施例提供的一种图文跨模态检索方法的结构示意图；
图6是本发明实施例提供的一种图文跨模态检索装置的结构示意图；
图7是本发明实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
图1是本发明实施例提供的图文跨模态检索方法的实现流程图，参照图1，详述如下：
在步骤101中、在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；图片样本与文本样本中包括至少同一种实体目标。
在本实施例中，在样本随机筛选时，采用的实例构造方法是通过从A个不同类别中随机抽取B个样本来构造示例的方法，得到批量样本的数量E＝A×B。示例性的，从图片库中筛选一定数量n1的图片样本。采用实例构造方法，从a个不同类别中随机抽取b个样本，得到图片样本的数量为n1＝a×b。从文本库中筛选一定数量n2的文本样本。采用实例构造方法，从c个不同类别中随机抽取d个样本，得到文本样本的数量为n2＝c×d。示例性的，从图片库中筛选的图片文本的数量n1与从文本库中筛选的文本样本的数量n2相等。本实施例能在样本数量较少时，进行多次构造，提升训练的速率与精准度。
在本实施例中，筛选得到的图片样本中包括很多种实体目标。对应的文本样本中也包括至少一种实体目标。文本中的实体目标至少与图片中的实体目标有一种能对应便于后续匹配。若在后续训练过程中发现从文本库中提取到的文本样本与图片样本上识别到的实体种类完全不一致，则返回该步骤进行继续筛选文本样本，至少筛选得到一致的文本样本并完成后续训练。
在步骤102中、对文本样本进行实体抽取，得到文本样本的实体目标；对图片样本进行分割，得到图片样本的M×N个区块。
在本实施例中，使用语言技术平台(Language Technology Platform，LTP)工具完成命名实体识别技术，将文本中的实体进行识别，如人名、地名、组织机构名等。经过文本预处理的文本库为新的词表，作为后续过程中的标杆。
在本实施例中，将图片样本进行分割，分割成M×N个区块。M和N均为大于0的整数，其中，M＝N或M≠N。
在一些实施例中，对文本样本进行实体抽取，得到文本样本的实体目标，包括：
提取预设文本库中文本所包含的实体，得到预设文本库的词表。
筛选词表中的实体，得到多个高频实体。
将多个高频实体与文本样本中抽取得到的实体进行比对，根据比对结果得到文本样本的实体目标。
在本实施例中，采用LTP工具从文本库中提取文本所包含的实体。命名实体识别技术，将文本中的实体进行识别，如人名、地名、组织机构名等。将识别到的文本实体形成词表。筛选词表内的实体。结合大数据采集得到的文本检索频率以及其他因素判断该词表内的实体的高频实体。高频实体可以有很多个。从不同类别中抽取不同数量的样本进行构造，能够提高在少量样本情况下训练的速度和精度。通过对不同类别的样本进行构造，可以增加训练数据的多样性，减少过拟合的风险，从而提高模型的泛化性和鲁棒性。
在一些实施例中，在对图片样本进行分割，得到图片样本的M×N个区块之后，还包括：
将各区块输入到预训练的神经网络中，获取各区块对应的特征向量图谱。
设定特征向量图谱中的每一点的感兴趣区域，根据设定后的感兴趣区域得到至少一个候选感兴趣区域。
根据预设的区域建议网络将至少一个候选感兴趣区域进行二值分类和边框回归，筛选至少一个候选感兴趣区域。
根据筛选完成的至少一个候选感兴趣区域，将各区块和特征图谱的像素对应以及将特征图谱和对应的固定特征对应。
根据对应的各区块和特征图谱的像素以及特征图谱和对应的固定特征，将感兴趣区域进行分类、边框回归以及掩膜生成，得到各区块的实体目标。
在本实施例中，如图2所示，图2是本发明实施例提供的一种图片样本的实体目标提取方法的架构图。每张图片采用上述方法进行目标检测，获取每张图中所包含的实体数据将图片分割成N×N个块。将图像的每个块的目标物体和背景进行分离。需要将分割后的每个块输入到经过预训练的神经网络中，以获取对应的特征图谱(feature map)。随后，为特征图谱中的每一点设定预定好的感兴趣区域(ROI)，从而获得多个候选感兴趣区域。最后，将候选的感兴趣区域送入区域建议网络(Region Proposal Network，RPN)，进行二值分类和边框回归，过滤筛选部分感兴趣区域。然后根据筛选完成的感兴趣区域先将原图和特征图谱的像素对应起来，然后将特征图谱和固定特征对应起来。最后，对这些感兴趣区域进行分类、边框回归和掩膜(MASK)生成。最终实现对图片样本的实体目标的识别。
在步骤103中、分别计算实体目标在每个区块内的权重，根据权重确定图片样本的高频实体目标。
在本实施例中，图片样本被分割为很多区块。区块内包括至少一个实体目标，计算实体目标在各区块内的权重，将相同的种类的实体目标的权重进行累加。得到累加值最高的至少一种实体目标作为该图片样本的高频实体目标。
在一些实施例中，实体目标为至少有一种，每种实体目标中包括至少一个实体目标。步骤103包括：
步骤一，对于每个实体目标，执行以下步骤A和步骤B：
步骤A，检测图片样本中包含该实体目标的第一矩形区域面积。
步骤B，对于每个区块，获取该区块中包含该实体目标的第二矩形区域面积，将第二矩形区域面积除以第一矩形区域面积，得到该实体目标在该区块内的权重。
步骤二，对于每种实体目标，将属于该种实体目标的每个实体目标在各区块内的权重进行累加，得到该种实体目标在图片样本中的权重。
步骤三，将每种实体目标在图片样本中的权重按照排序算法进行排序，将对应权重最大的一种实体目标作为图片样本的高频实体目标。
在本实施例中，通过实体提取与权重统计的方法，建立图像与文字间的联系。对于第一次目标检测所获得的每个实体矩形面积，将其作为分母，并根据图片分割所得到的块对每个块进行目标检测，获取相同实体矩形面积作为分子。然后，将所得比率作为每个实体在该图中的权重。其中每个实体的最高权重为1，即单个实体完整的出现在分割的块中。
示例性的，如图3所述，图3是本发明实施例提供的一种图片分割后的示意图。图3实例的图片样本被分割为9个区块。图片样本中包括“树”、“塔”等多种实体目标。其中，“树”在图片样本中有很多颗，也就是属于“树”这种类别的实体目标有很多个，每颗树都是该类别“树”的一个实体目标。“塔”在图片样本中只有一个，所以属于“塔”这种类别的实体目标只有一个。若在文本样本中识别到相同实体目标执行下列步骤。用树举例说明，目标识别到一棵树，计算这棵树在整个图片中的最小外接矩形面积并作为分母，在区块4中识别到这颗树的最小外接矩形面积并作为分子，得到该课树在区块4的权重。遍历每个区块计算该棵树的权重。并计算其他几棵树的权重，将“树”类别下每颗树对应的权重进行累加。再使用相同的方式计算其他类别的实体目标的权重。并进行排序，得到权重最大的一类目标实体，作为该图片样本的最高标识。比如，经过计算，在图3中，“树”为该图片的高频实体目标。应理解，上述举例仅用于说明，不构成具体限定。通过对实体在图片分割后的权重进行统计，并根据排序算法将其排序，将权重作为特殊标识，能更加高效地实现跨模态检索。基于图片分割后权重判断实体的方法，不仅提高了检索的准确性和效率，还可以有效识别和区分实体在图片中的重要程度。
在步骤104中、提取各区块的文本提示信息，并将文本提示信息添加到实体目标对应的文本后；其中，文本提示信息包括所属区块的标识以及区块生成的对象标记。
在本实施例中，通过对图片进行分割，生成区块信息，并生成对象标记，更好地捕捉图片中的细节信息，提高跨模态检索的精度。同时，对文本进行处理，添加模板，确定实体的相对位置，可以进一步提高检索的准确性和效率。基于位置提示文本实体相对位置的方法，在图像检索领域实现更加准确和高效的跨模态检索。
具体地，获取每个块中的实体目标，将这些实体目标作为对象标记。根据获取的对象标记以及所属区块的标识，可以生成简单的文本提示：
“The block[P]has a[O].”
其中，P∈{1,……,M×N}表示所属区块的标识，用于表示目标位置；O表示为区块P生成的对象标记。
对于特定的P，方案中可能有不同的O选项，因为块可能包含多个对象。对于这种情况，每次随机选择一个O，通过这个方法每个句子都将细粒度的对象位置和语言合并到一个模型中，从而提供一种对齐对象和相关文本的新方法。
具体地，本实施例可获得每个块中所包含的实体或某几个块中包含的实体。根据所区块的数目，可以确定每一个区块相对于其他区块的位置。如图3所示，如将图片样本分割为3×3个块时，4号区块位于7号区块的上方，4号区块位于8号区块的左上方。该图中仅有一个实体，灯塔位于4号块，即在图片样本的左侧。每一个区块的实体将根据区块的相对位置，获得相对于其他实体的位置。将实体的相对位置信息存储于文本提示中。可以确定实体的相对位置，对训练文本作为一个补充。
在步骤105中、分别提取各区块和添加信息后的实体目标对应的文本的特征向量，并基于特征向量和高频实体目标进行合并。
在一些实施例中，分别提取各区块和添加信息后的实体目标对应的文本的特征向量，包括：
采用图片编码器分别对各区块进行特征提取，得到各区块的第一特征向量；
采用文本编码器对添加信息后的实体目标对应的文本进行特征提取，得到第二特征向量。
在本实施例中，在图片编码器中使用卷积神经网络来提取图片特征，将其压缩为一个固定维度的向量，将图片转换为一个向量表示，使这个向量可以与文本查询进行匹配。在文本编码器中使用Transformer深度学习模型来提取文本特征，将其压缩为一个固定维度的向量，将文本转换为一个向量表示，使这个向量可以与图片查询进行匹配。为实现了文本和图片的跨模态融合提供了融合的前提方法。
在一些实施例中，基于特征向量和高频实体目标进行合并，包括：
将第一特征向量和第二特征向量进行编码处理，并将编码处理后的第一特征向量和第二特征向量映射到预设的共享子空间；
根据构建的张量将共享子空间中编码处理后的第一特征向量和第二特征向量进行乘积，得到跨模态融合后的各区块和实体目标对应的文本；
基于跨模态融合后的各区块和实体目标对应的文本以及高频实体目标进行合并。
在本实施例中，如图4所示，图4是本发明实施例提供的一种跨模态融合的框架图。原始数据经过图片分割与文本添加模块后，得到图片的区块信息与添加模板的文本信息，这两个模态信息经过编码处理后可以被映射到一个共享子空间中，采用“乘”联合方法，将文本、图片模态融合在一起，并构建一个张量来容纳。该张量由所有单模态特征向量的输出乘积构成，从而实现文本和图片的模态融合。该框架的优点是简单且有效的融合方式，同时共享子空间通常具备语义不变性，有助于在机器学习模型中将知识从一种模态转移到另一种模态。
综上，本发明实施例提供一种图文跨模态检索方法、装置、电子设备及存储介质，通过在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；图片样本与文本样本中包括至少同一种实体目标；对文本样本进行实体抽取，得到文本样本的实体目标；对图片样本进行分割，得到图片样本的M×N个区块；分别计算实体目标在每个区块内的权重，根据权重确定图片样本的高频实体目标；提取各区块的文本提示信息，并将文本提示信息添加到实体目标对应的文本后；其中，文本提示信息包括所属区块的标识以及区块生成的对象标记；分别提取各区块和添加信息后的实体目标对应的文本的特征向量，并基于特征向量和高频实体目标进行合并。本发明实施例通过对图片进行分割，生成区块信息，并生成对象标记，捕捉图片中的细节信息，提高跨模态检索的精度。同时，对文本进行处理，添加模板，确定实体的相对位置，可以进一步提高检索的准确性和效率。通过对实体在图片分割后的权重进行统计，基于图片分割后权重判断实体的方法，不仅提高了检索的准确性和效率，还可以有效识别和区分实体在图片中的重要程度。
在一些实施例中，预设文本库的构建过程包括：
获取文本库中的文本，根据正则表达式去除文本的噪音；
根据分词工具将去除噪音后的文本分割成单独的文本单元；
利用预设的停用词列表对文本单元进行停用词识别，并将文本单元中识别的停用词删除；
根据预设文本规则处理删除停用词后的文本单元，得到标准化的文本单元，并根据标准化的文本单元得到预设文本库。
示例性地，首先利用正则表达式来去除文本数据中的噪音，如HTML标签、特殊字符、标点符号等。利用jieba分词工具将文本分割成单独的单词或词汇单元；然后使用已知的停用词列表进行停用词过滤，将停用词从文本中删除以减少数据量和噪音。停用词指不会提供太多关于文本含义的信息的词汇，例如"的"、“是"等。再将文本规则化，将文本转换为标准格式，例如将所有文本转换为小写字母，去除数字和特殊符号等。经过文本预处理的文本库为新的词表，作为后续过程中的标杆。文本预处理是指在将文本数据应用于模型之前，对原始文本数据进行一系列处理，以便更好地提取特征和进行模型训练。
预设图片库的构建过程包括：对预设图片库中的图片进行预处理操作，其中，预处理操作至少包括裁剪、缩放、去噪和增强。
下面通过一个实施示例对上述的图文跨模态检索方法进行说明，参考图5，图5是本发明实施例提供的图文跨模态检索方法的结构示意图。该方法实现的结构包括三个模块，分别为数据预处理模块，图片与文本处理模块和跨模态数据融合模块。数据预处理模块包括预设文本库、预设图片库和预设文本库的预设图片库样本随机筛选单元以及将从文本库中提取词表的单元。图片与文本处理模块用于将图片进行分割在图片编码器中的得到图片对应的特征向量，还用于将文本样本提取实体并于图片样本的实体结合生成对应的特征向量。跨模态数据融合模块用于将图片样本对应的特征向量和文本样本对应的特征向量进行跨模态融合，并将文本样本在图片样本中的对应的实体计算的权重进行融合。实现了图文跨模态检索，并提高了检索的准确率和效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
图6示出了本发明实施例提供的图文跨模态检索装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
如图6所示，图文跨模态检索装置60包括：数据预处理模块61、第一处理模块62和第二处理模块63。
数据预处理模块61，用于在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；图片样本与文本样本中包括至少同一种实体目标；
第一处理模块62，用于对文本样本进行实体抽取，得到文本样本的实体目标；对图片样本进行分割，得到图片样本的M×N个区块；分别计算实体目标在每个区块内的权重，根据权重确定图片样本的高频实体目标；
第二处理模块63，用于提取各个区块的文本提示信息，并将文本提示信息添加到实体目标对应的文本后；其中，文本提示信息包括所属区块的标识以及区块生成的对象标记；分别提取各区块和添加信息后的实体目标对应的文本的特征向量，并基于特征向量和高频实体目标进行合并。
可选地，第一处理模块62，用于对于每个实体目标，执行以下步骤：
检测图片样本中包含该实体目标的第一矩形区域面积；
对于每个区块，获取该区块中包含该实体目标的第二矩形区域面积，将第二矩形区域面积除以第一矩形区域面积，得到该实体目标在该区块内的权重；
对于每种实体目标，将属于该种实体目标的每个实体目标在各区块内的权重进行累加，得到该种实体目标在图片样本中的权重；
将每种实体目标在图片样本中的权重按照排序算法进行排序，，将对应权重最大的一种实体目标作为图片样本的高频实体目标。
可选地，第二处理模块63，用于采用图片编码器分别对各区块进行特征提取，得到各区块的第一特征向量；
采用文本编码器对添加信息后的实体目标对应的文本进行特征提取，得到第二特征向量。
可选地，第二处理模块63，用于将第一特征向量和第二特征向量进行编码处理，并将编码处理后的第一特征向量和第二特征向量映射到预设的共享子空间；
根据构建的张量将共享子空间中编码处理后的第一特征向量和第二特征向量进行乘积，得到跨模态融合后的各区块和实体目标对应的文本；
基于跨模态融合后的各区块和实体目标对应的文本以及高频实体目标进行合并。
可选地，第一处理模块62，用于提取预设文本库中文本所包含的实体，得到预设文本库的词表；
筛选词表中的实体，得到多个高频实体；
将多个高频实体与文本样本中抽取得到的实体进行比对，根据比对结果得到文本样本的实体目标。
可选地，第一处理模块62，还用于将各个区块输入到预训练的神经网络中，获取各区块对应的特征向量图谱；
设定特征向量图谱中的每一点的感兴趣区域，根据设定后的感兴趣区域得到至少一个候选感兴趣区域；
根据预设的区域建议网络将至少一个候选感兴趣区域进行二值分类和边框回归，筛选至少一个候选感兴趣区域；
根据筛选完成的至少一个候选感兴趣区域，将各区块和特征图谱的像素对应以及将特征图谱和对应的固定特征对应；
根据对应的各区块和特征图谱的像素以及特征图谱和对应的固定特征，将感兴趣区域进行分类、边框回归以及掩膜生成，得到各区块的实体目标。
可选地，数据预处理模块61，还用于获取文本库中的文本，根据正则表达式去除文本的噪音；
根据分词工具将去除噪音后的文本分割成单独的文本单元；
利用预设的停用词列表对文本单元进行停用词识别，并将文本单元中识别的停用词删除；
根据预设文本规则处理删除停用词后的文本单元，得到标准化的文本单元，并根据标准化的文本单元得到预设文本库。
可选地，数据预处理模块61，还预设图片库的构建过程包括：对预设图片库中的图片进行预处理操作，其中，预处理操作至少包括裁剪、缩放、去噪和增强。
图7是本发明一实施例提供的电子设备的示意图。如图7所示，该实施例的电子设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个图文跨模态检索方法实施例中的步骤。
所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述电子设备7中的执行过程。
所述电子设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图3仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述电子设备7的内部存储单元，例如电子设备7的硬盘或内存。所述存储器71也可以是所述电子设备7的外部存储设备，例如所述电子设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述电子设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的分割进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构分割成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的分割，仅仅为一种逻辑功能分割，实际实现时可以有另外的分割方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图文跨模态检索方法，其特征在于，包括：在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；所述图片样本与所述文本样本中包括至少同一种实体目标；
对所述文本样本进行实体抽取，得到所述文本样本的实体目标；对所述图片样本进行分割，得到所述图片样本的M×N个区块；分别计算所述实体目标在每个区块内的权重，根据所述权重确定所述图片样本的高频实体目标；
提取各区块的文本提示信息，并将所述文本提示信息添加到所述实体目标对应的文本后；其中，所述文本提示信息包括所属区块的标识以及区块生成的对象标记；分别提取各区块和所述添加信息后的实体目标对应的文本的特征向量，并基于所述特征向量和所述高频实体目标进行合并。
2.根据权利要求1所述的方法，其特征在于，所述实体目标为至少有一种，每种实体目标中包括至少一个实体目标；所述分别计算所述实体目标在每个区块内的权重，根据所述权重得到所述图片样本的高频实体目标，包括：
对于每个实体目标，执行以下步骤：
检测所述图片样本中包含该实体目标的第一矩形区域面积；
对于每个区块，获取该区块中包含该实体目标的第二矩形区域面积，将第二矩形区域面积除以所述第一矩形区域面积，得到该实体目标在该区块内的权重；
对于每种实体目标，将属于该种实体目标的每个实体目标在各区块内的权重进行累加，得到该种实体目标在所述图片样本中的权重；
将每种实体目标在所述图片样本中的权重按照排序算法进行排序，将对应权重最大的一种实体目标作为所述图片样本的高频实体目标。
3.根据权利要求1所述的方法，其特征在于，所述分别提取各区块和所述添加信息后的实体目标对应的文本的特征向量，包括：
采用图片编码器分别对各区块进行特征提取，得到各区块的第一特征向量；
采用文本编码器对所述添加信息后的实体目标对应的文本进行特征提取，得到第二特征向量。
4.根据权利要求3所述的方法，其特征在于，所述基于所述特征向量和所述高频实体目标进行合并，包括：
将所述第一特征向量和所述第二特征向量进行编码处理，并将编码处理后的第一特征向量和第二特征向量映射到预设的共享子空间；
根据构建的张量将所述共享子空间中编码处理后的所述第一特征向量和所述第二特征向量进行乘积，得到跨模态融合后的各区块和所述实体目标对应的文本；
基于所述跨模态融合后的各区块和所述实体目标对应的文本以及所述高频实体目标进行合并。
5.根据权利要求1所述的方法，其特征在于，所述对所述文本样本进行实体抽取，得到所述文本样本的实体目标，包括：
提取所述预设文本库中文本所包含的实体，得到所述预设文本库的词表；
筛选所述词表中的实体，得到多个高频实体；
将所述多个高频实体与所述文本样本中抽取得到的实体进行比对，根据比对结果得到所述文本样本的实体目标。
6.根据权利要求1所述的方法，其特征在于，在对所述图片样本进行分割，得到所述图片样本的M×N个之后，还包括：
将各个区块输入到预训练的神经网络中，获取各区块对应的特征向量图谱；
设定所述特征向量图谱中的每一点的感兴趣区域，根据所述设定后的感兴趣区域得到至少一个候选感兴趣区域；
根据预设的区域建议网络将所述至少一个候选感兴趣区域进行二值分类和边框回归，筛选所述至少一个候选感兴趣区域；
根据筛选完成的至少一个候选感兴趣区域，将各区块和所述特征图谱的像素对应以及将所述特征图谱和对应的固定特征对应；
根据对应的各区块和所述特征图谱的像素以及所述特征图谱和对应的固定特征，将感兴趣区域进行分类、边框回归以及掩膜生成，得到各区块的实体目标。
7.根据权利要求1所述的方法，其特征在于，所述预设文本库的构建过程包括：
获取文本库中的文本，根据正则表达式去除所述文本的噪音；
根据分词工具将去除噪音后的文本分割成单独的文本单元；
利用预设的停用词列表对所述文本单元进行停用词识别，并将所述文本单元中识别的停用词删除；
根据预设文本规则处理删除停用词后的文本单元，得到标准化的文本单元，并根据所述标准化的文本单元得到预设文本库；
所述预设图片库的构建过程包括：对预设图片库中的图片进行预处理操作，其中，所述预处理操作至少包括裁剪、缩放、去噪和增强。
8.一种图文跨模态检索装置，其特征在于，包括：
数据预处理模块，用于在预设图片库和预设文本库中进行样本筛选，得到图片样本和文本样本；所述图片样本与所述文本样本中包括至少同一种实体目标；
第一处理模块，用于对所述文本样本进行实体抽取，得到所述文本样本的实体目标；对所述图片样本进行分割，得到所述图片样本的M×N个区块；分别计算所述实体目标在每个区块内的权重，根据所述权重确定所述图片样本的高频实体目标；
第二处理模块，用于提取各区块的文本提示信息，并将所述文本提示信息添加到所述实体目标对应的文本后；其中，所述文本提示信息包括所属区块的标识以及区块生成的对象标记；分别提取各区块和所述添加信息后的实体目标对应的文本的特征向量，并基于所述特征向量和所述高频实体目标进行合并。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述图文跨模态检索方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述图文跨模态检索方法的步骤。
CN202311020332.1A 2023-08-14 2023-08-14 图文跨模态检索方法、装置、电子设备及存储介质 Pending CN117076695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311020332.1A CN117076695A (zh) 2023-08-14 2023-08-14 图文跨模态检索方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311020332.1A CN117076695A (zh) 2023-08-14 2023-08-14 图文跨模态检索方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117076695A true CN117076695A (zh) 2023-11-17

Family

ID=88705454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311020332.1A Pending CN117076695A (zh) 2023-08-14 2023-08-14 图文跨模态检索方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117076695A (zh)

Similar Documents

Publication Publication Date Title
CN110909725B (zh) 识别文本的方法、装置、设备及存储介质
CN109117777B (zh) 生成信息的方法和装置
CN111126396A (zh) 图像识别方法、装置、计算机设备以及存储介质
CN111858843B (zh) 一种文本分类方法及装置
CN111259144A (zh) 多模型融合文本匹配方法、装置、设备和存储介质
CN111931859B (zh) 一种多标签图像识别方法和装置
CN108229481B (zh) 屏幕内容分析方法、装置、计算设备及存储介质
CN113657274B (zh) 表格生成方法、装置、电子设备及存储介质
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN111651674B (zh) 双向搜索方法、装置及电子设备
CN113723330A (zh) 一种图表文档信息理解的方法及系统
CN114581710A (zh) 图像识别方法、装置、设备、可读存储介质及程序产品
CN116304307A (zh) 一种图文跨模态检索网络训练方法、应用方法及电子设备
Inkeaw et al. Recognition-based character segmentation for multi-level writing style
CN112183542A (zh) 基于文本图像的识别方法、装置、设备和介质
CN114168768A (zh) 图像检索方法及相关设备
CN113705468A (zh) 基于人工智能的数字图像识别方法及相关设备
CN113239225A (zh) 一种图像检索方法、装置、设备及存储介质
CN114925239B (zh) 基于人工智能的智慧教育目标视频大数据检索方法及系统
CN115984886A (zh) 表格信息抽取方法、装置、设备及存储介质
CN117076695A (zh) 图文跨模态检索方法、装置、电子设备及存储介质
CN114863574A (zh) 手写签名识别方法、装置、设备、介质及程序产品
CN111310442B (zh) 形近字纠错语料挖掘方法、纠错方法、设备及存储介质
CN113868417A (zh) 一种敏感评论识别方法、装置、终端设备和存储介质
CN113836297A (zh) 文本情感分析模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination