CN114511043A - 图像理解方法、装置、设备及介质 - Google Patents

图像理解方法、装置、设备及介质 Download PDF

Info

Publication number
CN114511043A
CN114511043A CN202210401296.2A CN202210401296A CN114511043A CN 114511043 A CN114511043 A CN 114511043A CN 202210401296 A CN202210401296 A CN 202210401296A CN 114511043 A CN114511043 A CN 114511043A
Authority
CN
China
Prior art keywords
image
text
model
training
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210401296.2A
Other languages
English (en)
Other versions
CN114511043B (zh
Inventor
郭振华
刘璐
李仁刚
赵雅倩
闫瑞栋
徐聪
金良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210401296.2A priority Critical patent/CN114511043B/zh
Publication of CN114511043A publication Critical patent/CN114511043A/zh
Application granted granted Critical
Publication of CN114511043B publication Critical patent/CN114511043B/zh
Priority to PCT/CN2022/116913 priority patent/WO2023201963A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像理解方法、装置、设备及介质，涉及人工智能领域，包括：基于训练图像对应的原始文本数据构建与训练图像对应的第一文本数据，利用简单视觉语言模型得到第二文本数据；基于训练图像、第一文本数据和第二文本数据构建图像文本对集，初始化图像理解模型；从图像文本对集中选取用作训练数据的图像文本对，利用当前的图像理解模型计算训练数据对应的模型总体损失函数值，对图像理解模型中的参数进行更新；判断当前是否满足结束条件，若否则跳转至从图像文本对集中选取用作训练数据的图像文本对的步骤，直到满足结束条件，利用当前输出的图像理解模型获取与待检测图像对应的目标文本数据。实现了能更加贴近真实应用场景的图像理解。

Description

图像理解方法、装置、设备及介质
技术领域
本发明涉及人工智能领域，特别涉及图像理解方法、装置、设备及介质。
背景技术
图像理解（Image Caption）通过计算机系统来解释图像，实现犹如人类视觉系统理解外部世界，其目的是在待检测图像中获取目标信息并利用该信息以得到目标文本数据。当前社交媒体通讯业发达，人们在国内社交软件抖音、微博，以及国外社交软件推特、Instagram等，无时无刻不在发表着个人言论。这些言论通常是以图文形式绑定出现，此时文字通常是用户设定的与图像相关的文本解释。然而，由于语言具有隐晦的性质，即图像与文本之间的关系为弱相关关系，因此在这种实际情况下，现有技术中使用计算模型试图理解人们的社交语言存在着认知障碍，文本与图像之间的强相关假设与实际社交媒体数据存在差异，这是由于人类相较于计算模型拥有更丰富的背景知识所导致的。因此，普通的图像理解方法依然无法适用在面向社交媒体的场景中。
综上可见，如何实现更加贴近真实的应用场景并且能够面向社交媒体的图像理解是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种图像理解方法、装置、设备及介质，实现了更加贴近真实的应用场景并且能够面向社交媒体的图像理解。其具体方案如下：
第一方面，本申请公开了一种图像理解方法，包括：
基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；
基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；
从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；
判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型；
利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
可选的，所述基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，包括：
获取训练图像以及与所述训练图像对应的原始文本数据；
提取所述原始文本数据的原始文本特征，并计算所述训练图像和所述原始文本数据之间的关联向量；
利用所述关联向量对所述原始文本特征进行更新，以得到所述第一文本数据。
可选的，所述计算所述训练图像和所述原始文本数据之间的关联向量，包括：
利用所述图像理解模型中的图像编码器计算出与所述训练图像对应的全局特征和浅层特征；
基于所述全局特征和所述浅层特征，并利用所述图像理解模型中的深度模型的解码器计算出所述训练图像和所述原始文本数据之间的关联向量。
可选的，所述利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，包括：
利用当前的所述图像理解模型计算所述图像文本对的像素文本匹配损失函数值和文本距离损失函数值，并基于所述像素文本匹配损失函数值以及所述文本距离损失函数值确定模型总体损失函数值。
可选的，所述利用当前的所述图像理解模型计算所述图像文本对的像素文本匹配损失函数值和文本距离损失函数值，包括：
通过当前的所述图像理解模型中的图像编码器计算与所述图像文本对中所述训练图像对应的浅层特征；
基于所述浅层特征、所述图像文本对中所述第一文本数据的第一文本特征以及所述第二文本数据的第二文本特征，并利用所述图像理解模型计算所述图像文本对的所述像素文本匹配损失函数值和所述文本距离损失函数值。
可选的，所述基于所述浅层特征、所述图像文本对中所述第一文本数据的第一文本特征以及所述第二文本数据的第二文本特征，并利用所述图像理解模型计算所述图像文本对的所述像素文本匹配损失函数值和所述文本距离损失函数值，包括：
利用所述图像理解模型确定经过正则化处理的所述第一文本特征以及经过正则化处理的所述第二文本特征；
通过所述浅层特征、经过正则化处理的所述第一文本特征和经过正则化处理的所述第二文本特征计算出所述图像文本对的所述像素文本匹配损失函数值，并利用经过正则化处理的所述第一文本特征和经过正则化处理的所述第二文本特征计算出所述图像文本对的所述文本距离损失函数值。
可选的，所述基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新，包括：
基于所述模型总体损失函数值和自适应矩估计优化器，并利用梯度下降优化算法对所述图像理解模型的参数进行更新。
第二方面，本申请公开了一种图像理解装置，包括：
图文数据获取模块，用于基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；
模型初始化模块，用于基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；
模型参数更新模块，用于从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；
模型确定模块，用于判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型；
图像理解模块，用于利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的图像理解方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的图像理解方法的步骤。
可见，本申请首先基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型，以便利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。由此可见，本申请通过基于训练图像对应的原始文本数据构建与所述训练图像对应的弱相关的第一文本数据，以便后续图像理解模型能够挖掘训练图像和第一文本数据之间的弱相关语义关系，获得丰富的语义层次监督；通过简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的强相关的第二文本数据，以便后续基于第一文本数据和第二文本数据计算模型总体损失函数值；基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新，实现对图像理解模型进行优化，直至满足预设迭代结束条件，得到最优的目标图像理解模型，以便利用目标图像理解模型获取与待检测图像对应的目标文本数据，完成了更加贴近真实应用场景并可拓展至面向社交媒体的图像理解，又由于在得到目标图像理解模型过程中为端到端方法，所以更加容易落地实施。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种图像理解方法流程图；
图2为本申请公开的一种具体的第一文本数据构建方法流程图；
图3为本申请公开的一种具体的图像理解方法流程图；
图4为本申请公开的一种具体的图像理解方法流程图；
图5为本申请公开的一种具体的图像理解方法流程图；
图6为本申请公开的一种图像理解装置结构示意图；
图7为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中使用计算模型试图理解人们的社交语言存在着认知障碍，文本与图像之间的强相关假设与实际社交媒体数据存在差异，这是由于人类相较于计算模型拥有更丰富的背景知识所导致的。因此，普通的图像理解方法依然无法适用在面向社交媒体的场景中。
为此本申请相应的提供了一种图像理解方案，实现了更加贴近真实的应用场景并且能够面向社交媒体的图像理解。
参见图1所示，本申请实施例公开了一种图像理解方法，包括：
步骤S11：基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据。
本实施例中，参见图2所示的第一文本数据构建方法流程图，首先爬取社交网站中以及公开发布的图像作为训练图像，以及与图像对应的原始文本数据，提取原始文本数据中的原始文本特征，即使用图像理解模型中的CLIP（Contrastive Language-Image Pre-training，即对比语言-图像预训练模型）获取原始文本数据的语义信息；利用图像理解模型中的图像编码器获取训练图像的全局特征和浅层特征，并基于原始文本特征、全局特征以及浅层特征计算出原文本数据和训练图像之间的关联向量，并且可以利用关联向量对基于CLIP的图像理解模型进行训练；计算关联向量与预设超参的乘积，并基于乘积与原始文本特征的和获取更新后文本特征，然后基于更新后文本特征得到第一文本数据，以便后续基于第一文本数据和第二文本数据对图像理解模型进行测试，其中预设超参可以根据实际情况进行设置，例如可以设置为0.05或0.1。可以理解的是，第一文本数据与训练图像之间为弱相关，因此构建了弱相关的监督数据集，后续能够在此基础上挖掘图像与文本之间的弱相关语义关系，获得丰富的语义层次监督。将训练图像送入简单视觉语言模型中，获取与训练图像为强相关的第二文本数据，并且在获取第二本文数据过程中，还利用目前SOTA（State-Of-The-Art，即最先进）的图像理解方法，对训练图像进行标注。
步骤S12：基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型。
本实施例中，基于训练图像{I1，I2，…In}、第一文本数据{t1 weak，t2 weak，…tn weak}以及第二文本数据{t1 strong，t2 strong，…tn strong }构建图像文本对{（I1，t1 weak，t1 strong）、（I2，t2 weak，t2 strong）、…（In，tn weak，tn strong）}，其中可以理解的是，训练图像（I1）与第一文本数据（t1 weak）相对应，训练图像（I1）与第二文本数据（t1 strong）相对应。
步骤S13：从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新。
本实施例中，从所述图像文本对集{（I1，t1 weak，t1 strong）、（I2，t2 weak，t2 strong）、…（In，tn weak，tn strong）}中选取用作训练数据的所述图像文本对；利用当前的图像理解模型计算训练数据对应的像素文本匹配损失函数值（Pixe-Text Matching Loss）和文本距离损失函数值（Text Distance Loss），并基于像素文本匹配损失函数值以及文本距离损失函数值确定模型总体损失函数值。
步骤S14：判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型。
步骤S15：利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
本实施例中，判断当前是否满足预设迭代结束条件，可以为判断当前是否到达预设迭代次数，例如预设迭代次数为100万次，如果当前迭代次数未到达100万次则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，若到达100万次，则停止训练。可以理解的是，在每一次迭代的过程中都会对当前的图像理解模型的参数进行更新，而最后一次迭代输出的模型即为目标图像理解模型，并利用目标图像理解模型输出待检测图像的目标文本数据。
可见，本申请首先基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型，以便利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。由此可见，本申请通过基于训练图像对应的原始文本数据构建与所述训练图像对应的弱相关的第一文本数据，以便后续图像理解模型能够挖掘训练图像和第一文本数据之间的弱相关语义关系，获得丰富的语义层次监督；通过简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的强相关的第二文本数据，以便后续基于第一文本数据和第二文本数据计算模型总体损失函数值；基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新，实现对图像理解模型进行优化，直至满足预设迭代结束条件，得到最优的目标图像理解模型，以便利用目标图像理解模型获取与待检测图像对应的目标文本数据，完成了更加贴近真实应用场景并可拓展至面向社交媒体的图像理解，又由于在得到目标图像理解模型过程中为端到端方法，所以更加容易落地实施。
参见图3所示，本申请实施例公开了一种具体的图像理解方法，包括：
步骤S21：基于训练图像与原始文本数据的关联向量以及原始文本数据的原始特征数据获取与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据。
本实施例中，所述基于训练图像与原始文本数据的关联向量以及原始文本数据的原始特征数据获取与所述训练图像对应的第一文本数据，具体包括：获取训练图像以及与所述训练图像对应的原始文本数据；提取所述原始文本数据的原始文本特征，并计算所述训练图像和所述原始文本数据之间的关联向量；利用所述关联向量对所述原始文本特征进行更新，以得到所述第一文本数据。在图像理解模型中引入由两个编码器组成的CLIP，其中两个编码器包括图像编码器和文本编码器，图像编码器可以为ResNet或ViT（VisionTransformer，即视觉深度模型），为了将CLIP中学习到的知识转移到下游的分类任务，一种简单而有效的方法是基于模板构造一组文本提示prompt，如“a photo of a [CLS]”，其中[CLS]可以被实际图片的类别替换。然后给定一幅图像，利用CLIP计算出该图像在嵌入空间中与文本提示符的相似度，以得分最高的类作为最终的预测。在预先构造第一文本数据的文本模板时，文本模板可以为
Figure DEST_PATH_IMAGE001
个类别，并且文本模板中包含文本提示（prompt），例如“[V]1[V]2…[V]M[CLS]”，需要注意的是，“[V]1[V]2…[V]M”以及“[CLS]”均为不固定的词语，因此文本模板更加灵活，贴近实际应用场景；获取文本特征，可以利用图像理解模型中的文本编码器提取原始文本数据的文本特征
Figure 667839DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
表示类别个数，
Figure 284765DEST_PATH_IMAGE004
表示通道数，
Figure 965145DEST_PATH_IMAGE005
表示欧式空间，其中利用关联向量对原始文本特征进行更新所涉及的公式如下：
Figure 173272DEST_PATH_IMAGE006
；
其中，
Figure 80048DEST_PATH_IMAGE007
表示更新后的原始文本特征，
Figure 844873DEST_PATH_IMAGE008
表示原始文本特征，
Figure 520705DEST_PATH_IMAGE009
表示超参数，
Figure 227630DEST_PATH_IMAGE010
表示关联向量。
本实施例中，所述计算所述训练图像和所述原始文本数据之间的关联向量，具体包括：利用所述图像理解模型中的图像编码器计算出与所述训练图像对应的全局特征和浅层特征；基于所述全局特征和所述浅层特征，并利用所述图像理解模型中的深度模型的解码器计算出所述训练图像和所述原始文本数据之间的关联向量。
本实施例中，在获取全局特征和浅层特征过程中，需要利用图像编码器提取训练图像的特征向量，例如以ResNet编码器为例，总共有4个阶段，将特征图映射表示为
Figure 418440DEST_PATH_IMAGE011
，在图像理解模型中预加载CLIP，利用CLIP在ResNet（residual network，即残差网络）编码器中引入一个注意力池化层（Attention Pooling），CLIP首先对
Figure 95278DEST_PATH_IMAGE012
执行全局平均池，以获取训练图像的全局特性
Figure 530676DEST_PATH_IMAGE013
，其中
Figure 159235DEST_PATH_IMAGE014
表示第四阶段的特征图，
Figure 40603DEST_PATH_IMAGE015
表示欧式空间，
Figure 927656DEST_PATH_IMAGE016
表示特征图的高度，
Figure 578081DEST_PATH_IMAGE017
表示特征图的宽度，
Figure 344917DEST_PATH_IMAGE018
表示特征图通道数，并将包含特征图和全局特性的连接特征送入多头注意力层（multi head self attention，即MHSA），其中涉及公式如下：
Figure 713582DEST_PATH_IMAGE019
；
其中，
Figure 873168DEST_PATH_IMAGE020
表示全局特征，
Figure 643677DEST_PATH_IMAGE021
表示浅层特征，
Figure 269831DEST_PATH_IMAGE022
表示第四阶段的全局特性，
Figure 1158DEST_PATH_IMAGE014
表示第四阶段的特征图。
本实施例中，基于全局特征、浅层特征以及原始文本特征，并利用深度模型的解码器获取关联向量，例如利用一种由注意力机制组成的深度模型（Transformer），获取关联向量，涉及公式如下：
Figure 574221DEST_PATH_IMAGE023
；
其中，
Figure 730396DEST_PATH_IMAGE024
表示关联向量，
Figure 855347DEST_PATH_IMAGE025
表示原始文本特征，
Figure 933024DEST_PATH_IMAGE026
表示全局特征，
Figure 372096DEST_PATH_IMAGE027
表示浅层特征。
本实施例中，获取到更新后文本特征、浅层特征，以便后续计算像素文本得分，其中涉及公式如下：
Figure 225520DEST_PATH_IMAGE028
；
其中，
Figure 662318DEST_PATH_IMAGE029
表示像素文本得分，
Figure 351925DEST_PATH_IMAGE030
表示经过L2正则化后的浅层特征，
Figure 266792DEST_PATH_IMAGE031
表示经过L2正则化后的更新后的原始文本特征，
Figure 397559DEST_PATH_IMAGE032
表示欧式空间，
Figure 880624DEST_PATH_IMAGE016
表示特征图的高度，
Figure 667314DEST_PATH_IMAGE017
表示特征图的宽度，
Figure 510505DEST_PATH_IMAGE033
表示特征图通道数。
步骤S22：基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型。
步骤S23：从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新。
本实施例中，所述基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新，具体包括：基于所述模型总体损失函数值和自适应矩估计优化器，并利用梯度下降优化算法对所述图像理解模型的参数进行更新。首先利用当前的图像理解模型计算图像文本对的像素文本匹配损失函数值和文本距离损失函数值，并基于像素文本匹配损失函数值以及文本距离损失函数值确定模型总体损失函数值；然后基于模型总体损失函数值和自适应矩估计优化器（Adam），并利用梯度下降优化算法对所述图像理解模型的参数进行更新。
步骤S24：判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型。
步骤S25：利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
由此可见，本申请根据与训练图像对应的原始文本数据及其原始文本特征构建与训练图像弱相关的第一文本数据，不仅仅以与训练图像强相关的第二文本数据为训练数据，第一方面避免了因第二文本数据与实际文本数据存在差异而导致训练数据的不准确，第二方面利用弱相关的第一文本数据能够丰富图像与文本之间的弱相关语义关系以及语义层次监督，更加灵活，更加符合实际。
参见图4所示，本申请实施例公开了一种具体的图像理解方法，包括：
步骤S31：基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据。
本实施例中，首先爬取社交网站中公开的图像以及与图像对应的文本，分别作为训练图像以及原始文本数据，例如，获取“圆蛋糕”图片作为训练图像，与之对应的原始文本数据“Happy birthday，Make a wish”，获取“狗和男人”图片作为训练图像，与之对应的原始文本数据“We are friends forever”。例如图5所示，将原始文本数据“We are friendsforever”以及对应的训练图像输入至图像理解模型中，图像理解模型中的文本编码器会基于预设的
Figure 761358DEST_PATH_IMAGE034
个类别文本模板以及文本模板中包含的文本提示获取与原始文本数据对应的第一文本数据“The man is sitting with his dog”，以便后续利用第一文本数据计算像素文本匹配损失函数值和文本距离损失函数值。
步骤S32：基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型。
步骤S33：从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述图像文本对的像素文本匹配损失函数值和文本距离损失函数值。
本实施例中，所述利用当前的所述图像理解模型计算所述图像文本对的像素文本匹配损失函数值和文本距离损失函数值，具体包括：通过当前的所述图像理解模型中的图像编码器计算与所述图像文本对中所述训练图像对应的浅层特征；基于所述浅层特征、所述图像文本对中所述第一文本数据的第一文本特征以及所述第二文本数据的第二文本特征，并利用所述图像理解模型计算所述图像文本对的所述像素文本匹配损失函数值和所述文本距离损失函数值。
本实施例中，所述基于所述浅层特征、所述图像文本对中所述第一文本数据的第一文本特征以及所述第二文本数据的第二文本特征，并利用所述图像理解模型计算所述图像文本对的所述像素文本匹配损失函数值和所述文本距离损失函数值，具体可以包括：利用所述图像理解模型确定经过正则化处理的所述第一文本特征以及经过正则化处理的所述第二文本特征；通过所述浅层特征、经过正则化处理的所述第一文本特征和经过正则化处理的所述第二文本特征计算出所述图像文本对的所述像素文本匹配损失函数值，并利用经过正则化处理的所述第一文本特征和经过正则化处理的所述第二文本特征计算出所述图像文本对的所述文本距离损失函数值。
其中，像素文本匹配损失函数（Pixe-Text Matching Loss）值计算公式如下：
Figure 274379DEST_PATH_IMAGE035
；
其中，
Figure 187846DEST_PATH_IMAGE036
表示像素文本匹配损失函数值，
Figure 506832DEST_PATH_IMAGE037
表示第二文本数据的文本特征，
Figure 549874DEST_PATH_IMAGE038
表示第一文本数据的文本特征，
Figure 624009DEST_PATH_IMAGE039
表示经过L2正则化后的第二文本数据的文本特征，
Figure 182030DEST_PATH_IMAGE040
表示经过L2正则化后的第一文本数据的文本特征，
Figure 242390DEST_PATH_IMAGE041
表示经过L2正则化后的浅层特征，
Figure 280884DEST_PATH_IMAGE042
表示转置。
其中，文本距离损失函数（Text Distance Loss）值计算公式如下：
Figure 198024DEST_PATH_IMAGE043
；
其中，
Figure 712182DEST_PATH_IMAGE044
表示文本距离损失函数值，
Figure 435288DEST_PATH_IMAGE045
表示经过L2正则化后的第二文本数据的文本特征，
Figure 249660DEST_PATH_IMAGE040
表示经过L2正则化后的第一文本数据的文本特征。
步骤S34：基于所述像素文本匹配损失函数值以及所述文本距离损失函数值确定模型总体损失函数值，并基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新。
本实施例中，计算像素文本匹配损失函数值与文本距离损失函数值的和，并将像素文本匹配损失函数值与文本距离损失函数值的和作为模型总体损失函数值，其中计算公式如下：
Figure 806543DEST_PATH_IMAGE046
；
其中，
Figure 650740DEST_PATH_IMAGE047
表示模型总体损失函数值，
Figure 318482DEST_PATH_IMAGE048
表示像素文本匹配损失函数值，
Figure 987361DEST_PATH_IMAGE049
表示文本距离损失函数值。
步骤S35：判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型。
步骤S36：利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
由此可见，本申请利用当前的图像理解模型计算图像文本对的像素文本匹配损失函数值和文本距离损失函数值，并基于像素文本匹配损失函数值以及文本距离损失函数值确定模型总体损失函数值，进而基于模型总体损失函数值对所述图像理解模型中的参数进行更新，实现对图像理解模型进行优化，直至满足预设迭代结束条件，得到最优的目标图像理解模型，以便利用目标图像理解模型获取与待检测图像对应的目标文本数据。
参见图6所示，本申请实施例公开了一种图像理解装置，包括：
图文数据获取模块11，用于基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；
模型初始化模块12，用于基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；
模型参数更新模块13，用于从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；
模型确定模块14，用于判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型。
图像理解模块15，用于利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
可见，本申请首先基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型，以便利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。由此可见，本申请通过基于训练图像对应的原始文本数据构建与所述训练图像对应的弱相关的第一文本数据，以便后续图像理解模型能够挖掘训练图像和第一文本数据之间的弱相关语义关系，获得丰富的语义层次监督；通过简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的强相关的第二文本数据，以便后续基于第一文本数据和第二文本数据计算模型总体损失函数值；基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新，实现对图像理解模型进行优化，直至满足预设迭代结束条件，得到最优的目标图像理解模型，以便利用目标图像理解模型获取与待检测图像对应的目标文本数据，完成了更加贴近真实应用场景并可拓展至面向社交媒体的图像理解，又由于在得到目标图像理解模型过程中为端到端方法，所以更加容易落地实施。
图7为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由计算机设备执行的图像理解方法中的相关步骤。
本实施例中，电源23用于为计算机设备20上的各硬件设备提供工作电压；通信接口24能够为计算机设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制计算机设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由计算机设备20执行的图像理解方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括计算机设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由图像理解过程中执行的方法步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种图像理解方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像理解方法，其特征在于，包括：
基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；
基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；
从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；
判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型；
利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
2.根据权利要求1所述的图像理解方法，其特征在于，所述基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，包括：
获取训练图像以及与所述训练图像对应的原始文本数据；
提取所述原始文本数据的原始文本特征，并计算所述训练图像和所述原始文本数据之间的关联向量；
利用所述关联向量对所述原始文本特征进行更新，以得到所述第一文本数据。
3.根据权利要求2所述的图像理解方法，其特征在于，所述计算所述训练图像和所述原始文本数据之间的关联向量，包括：
利用所述图像理解模型中的图像编码器计算出与所述训练图像对应的全局特征和浅层特征；
基于所述全局特征和所述浅层特征，并利用所述图像理解模型中的深度模型的解码器计算出所述训练图像和所述原始文本数据之间的关联向量。
4.根据权利要求1所述的图像理解方法，其特征在于，所述利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，包括：
利用当前的所述图像理解模型计算所述图像文本对的像素文本匹配损失函数值和文本距离损失函数值，并基于所述像素文本匹配损失函数值以及所述文本距离损失函数值确定模型总体损失函数值。
5.根据权利要求4所述的图像理解方法，其特征在于，所述利用当前的所述图像理解模型计算所述图像文本对的像素文本匹配损失函数值和文本距离损失函数值，包括：
通过当前的所述图像理解模型中的图像编码器计算与所述图像文本对中所述训练图像对应的浅层特征；
基于所述浅层特征、所述图像文本对中所述第一文本数据的第一文本特征以及所述第二文本数据的第二文本特征，并利用所述图像理解模型计算所述图像文本对的所述像素文本匹配损失函数值和所述文本距离损失函数值。
6.根据权利要求5所述的图像理解方法，其特征在于，所述基于所述浅层特征、所述图像文本对中所述第一文本数据的第一文本特征以及所述第二文本数据的第二文本特征，并利用所述图像理解模型计算所述图像文本对的所述像素文本匹配损失函数值和所述文本距离损失函数值，包括：
利用所述图像理解模型确定经过正则化处理的所述第一文本特征以及经过正则化处理的所述第二文本特征；
通过所述浅层特征、经过正则化处理的所述第一文本特征和经过正则化处理的所述第二文本特征计算出所述图像文本对的所述像素文本匹配损失函数值，并利用经过正则化处理的所述第一文本特征和经过正则化处理的所述第二文本特征计算出所述图像文本对的所述文本距离损失函数值。
7.根据权利要求1至6任一项所述的图像理解方法，其特征在于，所述基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新，包括：
基于所述模型总体损失函数值和自适应矩估计优化器，并利用梯度下降优化算法对所述图像理解模型的参数进行更新。
8.一种图像理解装置，其特征在于，包括：
图文数据获取模块，用于基于训练图像对应的原始文本数据构建与所述训练图像对应的第一文本数据，并利用简单视觉语言模型对所述训练图像进行处理，以得到与所述训练图像对应的第二文本数据；
模型初始化模块，用于基于所述训练图像、所述第一文本数据和所述第二文本数据构建图像文本对，以得到相应的图像文本对集，并初始化图像理解模型；
模型参数更新模块，用于从所述图像文本对集中选取用作训练数据的所述图像文本对，并利用当前的所述图像理解模型计算所述训练数据对应的模型总体损失函数值，然后基于所述模型总体损失函数值对所述图像理解模型中的参数进行更新；
模型确定模块，用于判断当前是否满足预设迭代结束条件，如果否则重新跳转至所述从所述图像文本对集中选取用作训练数据的所述图像文本对的步骤，直到满足所述预设迭代结束条件，并将当前输出的所述图像理解模型作为目标图像理解模型；
图像理解模块，用于利用所述目标图像理解模型获取与待检测图像对应的目标文本数据。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的图像理解方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像理解方法的步骤。
CN202210401296.2A 2022-04-18 2022-04-18 图像理解方法、装置、设备及介质 Active CN114511043B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210401296.2A CN114511043B (zh) 2022-04-18 2022-04-18 图像理解方法、装置、设备及介质
PCT/CN2022/116913 WO2023201963A1 (zh) 2022-04-18 2022-09-02 图像理解方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210401296.2A CN114511043B (zh) 2022-04-18 2022-04-18 图像理解方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114511043A true CN114511043A (zh) 2022-05-17
CN114511043B CN114511043B (zh) 2022-07-08

Family

ID=81555166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210401296.2A Active CN114511043B (zh) 2022-04-18 2022-04-18 图像理解方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114511043B (zh)
WO (1) WO2023201963A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648681A (zh) * 2022-05-20 2022-06-21 浪潮电子信息产业股份有限公司 一种图像生成方法、装置、设备及介质
CN116580832A (zh) * 2023-05-05 2023-08-11 暨南大学 基于视频数据的老年痴呆症辅助诊断系统及其方法
CN116721334A (zh) * 2023-08-11 2023-09-08 腾讯科技（深圳）有限公司 图像生成模型的训练方法、装置、设备及存储介质
CN116824278A (zh) * 2023-08-29 2023-09-29 腾讯科技（深圳）有限公司 图像内容分析方法、装置、设备和介质
WO2023201963A1 (zh) * 2022-04-18 2023-10-26 苏州浪潮智能科技有限公司 图像理解方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792113A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言模型获得及任务处理方法、装置、设备及介质
CN113792112A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言任务处理系统、训练方法、装置、设备及介质
CN114067321A (zh) * 2022-01-14 2022-02-18 腾讯科技（深圳）有限公司 一种文本检测模型训练方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188819A (zh) * 2019-05-29 2019-08-30 电子科技大学 一种基于信息增益的cnn和lstm图像高层语义理解方法
CN114511043B (zh) * 2022-04-18 2022-07-08 苏州浪潮智能科技有限公司 图像理解方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792113A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言模型获得及任务处理方法、装置、设备及介质
CN113792112A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言任务处理系统、训练方法、装置、设备及介质
CN114067321A (zh) * 2022-01-14 2022-02-18 腾讯科技（深圳）有限公司 一种文本检测模型训练方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023201963A1 (zh) * 2022-04-18 2023-10-26 苏州浪潮智能科技有限公司 图像理解方法、装置、设备及介质
CN114648681A (zh) * 2022-05-20 2022-06-21 浪潮电子信息产业股份有限公司 一种图像生成方法、装置、设备及介质
WO2023221363A1 (zh) * 2022-05-20 2023-11-23 浪潮电子信息产业股份有限公司 一种图像生成方法、装置、设备及介质
CN116580832A (zh) * 2023-05-05 2023-08-11 暨南大学 基于视频数据的老年痴呆症辅助诊断系统及其方法
CN116721334A (zh) * 2023-08-11 2023-09-08 腾讯科技（深圳）有限公司 图像生成模型的训练方法、装置、设备及存储介质
CN116721334B (zh) * 2023-08-11 2023-11-21 腾讯科技（深圳）有限公司 图像生成模型的训练方法、装置、设备及存储介质
CN116824278A (zh) * 2023-08-29 2023-09-29 腾讯科技（深圳）有限公司 图像内容分析方法、装置、设备和介质
CN116824278B (zh) * 2023-08-29 2023-12-19 腾讯科技（深圳）有限公司 图像内容分析方法、装置、设备和介质

Also Published As

Publication number Publication date
WO2023201963A1 (zh) 2023-10-26
CN114511043B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114511043B (zh) 图像理解方法、装置、设备及介质
WO2021254499A1 (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN108229272B (zh) 视觉关系检测方法和装置及视觉关系检测训练方法和装置
CN111386536A (zh) 语义一致的图像样式转换
CN109726718B (zh) 一种基于关系正则化的视觉场景图生成系统及方法
CN114942984B (zh) 视觉场景文本融合模型的预训练和图文检索方法及装置
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN114648681B (zh) 一种图像生成方法、装置、设备及介质
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN112070040A (zh) 一种用于视频字幕的文本行检测方法
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN115775349A (zh) 基于多模态融合的假新闻检测方法和装置
CN117576264B (zh) 图像生成方法、装置、设备及介质
CN112949501B (zh) 一种从示教视频学习物体的可供性方法
CN116980541B (zh) 视频编辑方法、装置、电子设备以及存储介质
CN116958324A (zh) 图像生成模型的训练方法、装置、设备及存储介质
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN117011415A (zh) 一种特效文字的生成方法、装置、电子设备和存储介质
CN116186312A (zh) 用于数据敏感信息发现模型的多模态数据增强方法
CN116958852A (zh) 视频与文本的匹配方法、装置、电子设备和存储介质
CN115563976A (zh) 文本预测方法、用于文本预测的模型建立方法及装置
CN114419514A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112883868B (zh) 一种基于关系建模的弱监督视频动作定位模型的训练方法
CN116541507A (zh) 一种基于动态语义图神经网络的视觉问答方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant