CN113240056A - 多模态数据联合学习模型训练方法及装置 - Google Patents

多模态数据联合学习模型训练方法及装置 Download PDF

Info

Publication number
CN113240056A
CN113240056A CN202110781928.8A CN202110781928A CN113240056A CN 113240056 A CN113240056 A CN 113240056A CN 202110781928 A CN202110781928 A CN 202110781928A CN 113240056 A CN113240056 A CN 113240056A
Authority
CN
China
Prior art keywords
data
modal
semantic representation
image
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110781928.8A
Other languages
English (en)
Other versions
CN113240056B (zh
Inventor
李伟
高参
牛国成
肖欣延
刘昊
刘家辰
吴华
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110781928.8A priority Critical patent/CN113240056B/zh
Publication of CN113240056A publication Critical patent/CN113240056A/zh
Application granted granted Critical
Publication of CN113240056B publication Critical patent/CN113240056B/zh
Priority to US17/809,133 priority patent/US20220327809A1/en
Priority to JP2022108385A priority patent/JP7429734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了多模态数据联合学习模型训练方法及装置，涉及计算机技术领域。具体实现方案为：通过获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；将单模态数据和Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征，对解耦注意力Transformer网络模型进行训练，由此，使解耦注意力变换Transformer网络模型有效利用多种不同模态数据互相增强，从多模态数据中获得更鲁棒和更强大的通用语义表示能力，还能够使用统一的网络结构模型处理不同模态的数据，同时执行不同模态数据的理解和生成任务，具有更精确的场景认知和更综合的逻辑推理能力。

Description

多模态数据联合学习模型训练方法及装置
技术领域
本公开涉及计算机技术领域，尤其涉及一种面向多场景认知的模态学习方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的不断发展，网络中存在大量各种不同模态的数据，例如：文本、图像、音频和视频等。
相关技术中，依据处理的数据类型不同，人工智能技术领域中应用层的任务，被划分为：自然语言处理、计算机视觉、语音识别等，这种以任务为导向的划分方式，造成了普遍只关注单一模态的数据，设计针对单模态数据理解的技术方案，而忽视了AI（ArtificialIntelligence，人工智能）需要综合学习多模态数据的需求。
发明内容
本公开提供了一种多模态数据联合学习模型训练方法、装置、电子设备及存储介质。
根据本公开的一方面，提供一种多模态数据联合学习模型训练方法，包括：获取多模态数据；其中，所述多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；将所述单模态数据和所述Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征；根据所述Token语义表示特征和所述跨模态语义表示特征，对所述解耦注意力Transformer网络模型进行训练。由此，使解耦注意力Transformer网络模型，能够有效利用多种不同模态数据互相增强，从多模态数据中获得更鲁棒和更强大的通用语义表示能力，还能够使用统一的网络结构模型处理不同模态的数据，同时执行不同模态数据的理解和生成任务，具有更精确的场景认知和更综合的逻辑推理能力。
根据本公开的第二方面，提供了一种多模态数据联合学习模型训练装置，包括：数据获取单元、语义表示单元和模型训练单元；其中，数据获取单元，用于获取多模态数据；其中，所述多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；语义表示单元，用于将所述单模态数据和所述Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征；模型训练单元，用于根据所述Token语义表示特征和所述跨模态语义表示特征，对所述解耦注意力Transformer网络模型进行训练。
根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述第一方面中任一项所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述第一方面中任一项所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请第二实施例的另一示意图；
图4是根据本申请第三实施例的示意图；
图5是根据本申请第四实施例的示意图；
图6是根据本申请第四实施例的另一示意图；
图7是用来实现本公开实施例的多模态数据联合学习模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
相关技术中，为了处理多模态数据应用场景的任务，例如：图文检索、视觉问答等，提出了各种多模态数据预训练模型，如ViLBERT（Vision-and-Language BidirectionalEncoder Representation from Transformers，视觉-语言-来自转换器的双向编码表示）等，多模态数据预训练模型基于图文对（Image-Text Pairs）数据进行自监督学习，从而学习图文对联合语义表示特征。然而，受限于只能使用强关联的图文对数据，多模态数据预训练模型仅能进行小规模数据的训练，并且其训练得到的模型难以在单模态任务（例如文本任务或者图像任务）上使用。
由此，本公开的发明人发现针对单模态数据或强关联的图文对数据的预训练模型，具有诸多缺陷：1）只能基于特定类型的数据得到特定的语义表示特征，缺乏通用性；2）无法将不同模态数据进行统一建模，从而无法利用模态间的互相增强来学习更鲁棒的通用语义表示能力；3）针对不同模态数据的建模方式不同，模型不通用，所以无法真正有效地将不同模态数据在语义空间上统一起来；4）已有多模预训练方法只面向强相关的图像和图像描述数据，数据规模受限并且不符合实际应用需求。
如何同时充分利用互联网中自然产生的单模态（文字、图片、视频等）以及多模态数据（图文结合、视文结合等），使得深度神经网络能够像人一样联合多种模态的知识和信息来理解，从多种模态数据中获得更鲁棒和更强大的通用语义表示能力，对于人工智能的发展具有重大意义。
基于此，本公开提供一种多模态数据联合学习模型训练方法，图1是根据本公开第一实施例的示意图。
如图1所示，该方法包括：
S1：获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据。
互联网中存在大量的不同类型的数据，本公开实施例中可以通过搜索引擎从互联网上抓取不同类型的数据，包括，图像数据、文本数据、音频数据、图文对数据和视文对数据等。
可以理解的是，单模态数据是指单一模态的数据，例如：文本数据、图片数据等；Pair多模态数据，例如：图文结合数据、视文对数据等。
本公开实施例中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据，可以为包括一种或多种单模态数据以及一种或多种成对Pair多模态数据，本公开实施例对此并不做具体限制。
S2：将单模态数据和Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征。
其中，本公开实施例提出的解耦注意力变换Transformer网络模型，可以同时使用单模态数据和Pair多模态数据进行联合学习，能够端到端地统一模态学习。
本公开实施例中将单模态数据和Pair多模态数据输入至该解耦注意力Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征；其中，Token语义表示特征是根据单模态数据生成的，跨模态语义表示特征是根据Pair多模态数据生成的。
S3：根据Token语义表示特征和跨模态语义表示特征，对解耦注意力Transformer网络模型进行训练。
其中，在获得Token语义表示特征和跨模态语义表示特征之后，对解耦注意力Transformer网络模型进行训练，以针对获取的包括单模态数据和Pair多模态数据的多模态数据进行统一建模，使得训练好的模型能够具备同时处理多模态数据的理解和生成任务，例如：视觉问答、图像描述生成等以及单模态数据的理解和生成任务，例如：文本分类、文本生成、图像分类等的能力。
本公开实施例提供的多模态数据联合学习模型训练方法，通过获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；将单模态数据和Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征；根据Token语义表示特征和跨模态语义表示特征，对解耦注意力Transformer网络模型进行训练，由此，使解耦注意力Transformer网络模型，能够有效利用多种不同模态数据互相增强，从多模态数据中获得更鲁棒和更强大的通用语义表示能力，还能够使用统一的网络结构模型处理不同模态的数据，同时执行不同模态数据的理解和生成任务，具有更精确的场景认知和更综合的逻辑推理能力。
图2为本公开第二实施例的示意图。
如图2所示，本公开实施例提供的一种多模态数据联合学习模型训练方法，包括：
S20：获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据。
在一些实施例中，至少一个单模态数据，包括：图像数据和文本数据；至少一个Pair多模态数据，包括：图文对数据；本公开实施例中获取的多模态数据包括：图像数据、文本数据和图文对数据。
S21：将单模态数据和Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征。
在一些实施例中，其中，解耦注意力Transformer网络模型包括：包含模态内注意力机制、模态间注意力机制和模态信息融合层的网络结构。
具体的，模态内注意力机制学习模态内部之间的交互，模态间注意力机制学习跨模态的信息交互，模态信息融合层将不同模态的信息融合起来得到跨模态语义表示特征。相比于普通Transformer，本公开实施例中解耦注意力Transformer学习模型将模态内部和模态之间的交互进行解耦，即多模态数据的模态内部和模态之间分别进行交互，通过信息融合层进行多种模态信息融合，从而可以适用于多种不同模态的单模态数据，以及不同关联程度的图文对数据。
本公开实施例中S20和S21的描述说明可以参见上述实施例中的S1和S2中的描述，此处不再赘述。
S22：将图像数据拆分成多个Token，经过多层模态内注意力机制进行学习后，生成图像数据的Token语义表示特征。
具体的，对于图像数据输入V，将图像数据输入V拆分成多个Token，即Token表征图像拆分的各对象区域的特征，示例性的，将各图像块像素作为各Token连同整个图像的特征构成序列作为输入，V={[IMG]，V1，...，Vn}，n为正整数，其中，特殊符号[IMG]表示整个图像的特征，之后经过多层的模态内注意力机制学习后，生成图像数据的Token语义表示特征。
S23：将文本数据拆分成多个Token，经过多层模态内注意力机制进行学习后，生成文本数据的Token语义表示特征。
具体的，对于文本数据输入W，将文本数据输入W拆分成多个Token，将所有Token整体作为输入W={[CLS]，W1，...Wt，[SEP]}，t为正整数，其中，特殊符号[CLS]和[SEP]分别表示文本序列的起始位置和结束位置，之后经过多层的模态内注意力机制学习后，生成文本数据的Token语义表示特征。
S24：将图文对数据分别拆分并拼接，生成图文对数据的不同模态的多个Token，依次经过多层模态内注意力机制和多层模态间注意力机制进行学习，以及经过模态信息融合层进行信息融合，生成图文对数据的跨模态语义表示特征。
具体的，对于图文对数据输入（V,W），将图文对数据输入（V,W）分别拆分并拼接，作为整体输入（V,W）={[IMG]，V1，...，Vn，[CLS]，W1，...Wt，[SEP]}，依次经过多层模态内注意力机制和多层模态间注意力机制进行学习，以及经过模态信息融合层进行信息融合，生成图文对数据的跨模态语义表示特征。
本公开实施例中，解耦注意力Transformer学习模型，分别将图像数据和文本数据通过模态内注意力机制学习，图文对数据通过模态间注意力机制学习，将模态内注意力机制和模态间注意力机制进行解耦，能够同时利用单模态数据和Pair多模态数据，从而可以适用多种不同模态的数据，以及多种不同关联程度的图文数据，端到端地学习多模态的语义表示。进一步的，将图文对数据经过多层模态内注意力机制和多层模态间注意力机制进行学习之后，经过模态信息融合层进行信息融合，自适应地对不同模态数据进行信息融合，端到端地生成Pair多模态的语义表示特征，使模型获得更加鲁棒的语义表示能力。
在一些实施例中，经过模态信息融合层进行信息融合，包括：采用门控机制，根据图文对数据的不同模态之间的关联程度，控制不同模态的跨模态信息进行融合。
其中，图文对数据的不同模态之间的关联程度由数据内容决定的，互联网中的图文对数据存在多种关联形式，例如：强关联的图文中文本是对图片的描述，弱关联的图文中文本跟图像的相关性比较弱。
示例性的，强相关和弱相关可以理解为：一个水果生日蛋糕的图像，配上如下两种文本组成图文对分别是强相关和弱相关：强相关：文本内容为“一个水果生日蛋糕上面有几根蜡烛在燃烧，一个女孩正在吹蜡烛”，弱相关：文本内容为“生日快乐！我的宝贝”，这两种类型数据在真实数据中都广泛存在，所以需要模型有能力进行有效建模。
其中，门控制机制进行信息融合是一种融合思路，具体实现可以用多种方法。示例性实施例中，通过将模态内信息表示特征X和模态间信息表示特征Y通过多层非线性转换，最终计算模态内信息表示和模态间信息表示之间的相关性门控权重δ=sigmoid（MLP（A*X+B*Y））∈[0,1] ；A，B 都是转换矩阵，基于权重进行加权得到跨模态语义表示特征 Z=δ*X+(1-δ)*Y。
本公开实施例中，通过搜索引擎从互联网上抓取了上亿条不同类型的图文数据，由于互联网中的Pair多模态数据之间的语义关联程度千变万化，有强相关的、弱相关的甚至不相关的。针对不同类型数据自适应学习模态间的交互，通过自适应信息融合层采用门控机制，能够端到端自适应地根据图文数据间的关联程度，控制跨模态信息的融合程度。
如图3所示，在上述S24之后，执行S25。
S25：根据图像数据的Token语义表示特征，基于图像重构自监督学习对解耦注意力Transformer网络模型进行训练。
其中，图像重构自监督学习，可以理解为，对于一张图片的图像数据的输入，将图片进行划分，划分成n个Token，对每个Token进行编码，取出其中至少一个Token不作为模型的输入，将剩余的Token作为输入，经过解耦注意力Transformer网络模型，得到图像数据的Token语义表示特征，可以预测取出的Token，再将预测的Token与取出的Token进行对比，对解耦注意力Transformer网络模型中的参数进行调整，达到训练解耦注意力Transformer网络模型的目的。
S26：根据文本数据的Token语义表示特征，基于掩码自回归自监督学习对解耦注意力Transformer网络模型进行训练。
其中，基于掩码自回归自监督学习，可以理解为，对于一段包括多个文字的文本数据的输入，将文本数据进行划分，划分成n个Token，对每个Token进行编码，将其中至少一个Token进行掩码，也即可以理解为不作为模型的输入，将剩余的Token作为输入，经过解耦注意力Transformer网络模型，得到文本数据的Token语义表示特征，可以预测掩码的Token，再将预测的Token与掩码的Token进行对比，对解耦注意力Transformer网络模型中的参数进行调整，达到训练解耦注意力Transformer网络模型的目的。
S27：根据图文对数据的跨模态语义表示特征，基于跨模态相关性对比学习对解耦注意力Transformer网络模型进行训练。
其中，基于跨模态相关性对比学习，可以理解为，图文对数据中包括图像数据和文本数据，对于图片的图像数据的输入，将图片进行划分，划分成n个Token，对每个Token进行编码，取出其中至少一个Token不作为模型的输入，将剩余的Token作为输入；以及，对于包括多个文字的文本数据的输入，将文本数据进行划分，划分成n个Token，对每个Token进行编码，将其中至少一个Token进行掩码，也即可以理解为不作为模型的输入，将剩余的Token作为输入。
对于图像数据输入的Token和文本数据输入的Token共同输入至解耦注意力Transformer网络模型，在对取出的图像数据输入的Token和进行掩码的文本数据输入的Token进行预测时，结合图像数据和文本数据的相关性，也即跨模态相关性，共同进行预测，得到图像数据的Token语义表示特征，可以预测取出图像数据的Token，以及得到文本数据的Token语义表示特征，可以预测文本数据掩码的Token，分别进行对比分析，对解耦注意力Transformer网络模型中的参数进行调整，达到训练解耦注意力Transformer网络模型的目的。
本公开实施例中，同时在图像上使用图像重构自监督学习，在文本上使用掩码自回归自监督学习，以及图文对上使用跨模态相关性对比学习，从而实现多种不同模态数据的统一端到端学习。同时，对解耦注意力Transformer网络模型进行训练的过程中，对于图文对数据，能够结合图文对数据之间的相关性进行预测，能够提高解耦注意力Transformer网络模型的鲁棒性。
在一些实施例中，基于跨模态相关性对比学习对解耦注意力Transformer网络模型进行训练，包括：采用相关性排序，基于跨模态相关性对比学习，对解耦注意力Transformer网络模型进行训练。
本公开实施例中，跨模态相关性对比学习采用相关性排序思想，区别于传统的图文匹配对比，可以更好地适应多种不同关联程度的图文数据。
本公开实施例提供的多模态数据联合学习模型训练方法，同时利用网络上的单模态数据和Pair多模态数据，对解耦注意力Transformer学习模型进行训练，以有效利用多种不同模态数据互相增强，从多模态数据中获得更鲁棒和更强大的通用语义表示能力，还能够使用统一的网络结构模型处理不同模态的数据，同时执行不同模态数据的理解和生成任务，具有更精确的场景认知和更综合的逻辑推理能力。
图4为本公开第三实施例的示意图。
如图4所示，本公开第三实施例还提供一种多模态数据联合学习模型训练装置10，其中，该模型训练装置10包括：数据获取单元11、语义表示单元12和模型训练单元13。
数据获取单元11用于获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据。
语义表示单元12用于将单模态数据和Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征。
模型训练单元13用于根据Token语义表示特征和跨模态语义表示特征，对解耦注意力Transformer网络模型进行训练。
本公开实施例提供的多模态数据联合学习模型训练装置10，数据获取单元11用于通过获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；语义表示单元12用于将单模态数据和Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征；模型训练单元13用于根据Token语义表示特征和跨模态语义表示特征，对解耦注意力Transformer网络模型进行训练，由此，使解耦注意力Transformer学习模型进行训练，能够有效利用多种不同模态数据互相增强，从多模态数据中获得更鲁棒和更强大的通用语义表示能力，还能够使用统一的网络结构模型处理不同模态的数据，同时执行不同模态数据的理解和生成任务，具有更精确的场景认知和更综合的逻辑推理能力。
图5是根据本公开第四实施例的示意图.
如图5所示，本公开实施例提供的一种多模态数据联合学习模型训练装置20，其中，至少一个单模态数据，包括：图像数据和文本数据；至少一个Pair多模态数据，包括：图文对数据；解耦注意力Transformer网络模型，包括：包含模态内注意力机制、模态间注意力机制和模态信息融合层的网络结构。
本公开实施例中提供的模型训练装置20，包括：数据获取单元21、图像数据语义表示单元22、文本数据语义表示单元23和图文对数据语义表示单元24。
数据获取单元21用于获取多模态数据；其中，多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据。
图像数据语义表示单元22用于将图像数据拆分成多个Token，经过多层模态内注意力机制进行学习后，生成图像数据的Token语义表示特征。
文本数据语义表示单元23用于将文本数据拆分成多个Token，经过多层模态内注意力机制进行学习后，生成文本数据的Token语义表示特征。
图文对数据语义表示单元24用于将图文对数据分别拆分并拼接，生成图文对数据的不同模态的多个Token，依次经过多层模态内注意力机制和多层模态间注意力机制进行学习，以及经过模态信息融合层进行信息融合，生成图文对数据的跨模态语义表示特征。
在一些实施例中，图文对数据语义表示单元24还用于：采用门控机制，根据所述图文对数据的不同模态之间的关联程度，控制不同模态的跨模态信息进行融合。
在一些实施例中，如图6所示，本公开实施例提供的模型训练装置20，还包括：图像训练子单元25、文本训练子单元26和图文对训练子单元27。
其中，图像训练子单元25用于根据根据图像数据的Token语义表示特征，基于图像重构自监督学习对解耦注意力Transformer网络模型进行训练。
文本训练子单元26用于根据文本数据的Token语义表示特征，基于掩码自回归自监督学习对解耦注意力Transformer网络模型进行训练。
图文对训练子单元27用于根据图文对数据的跨模态语义表示特征，基于跨模态相关性对比学习对解耦注意力Transformer网络模型进行训练。
在一些实施例中，本公开实施例中，图文对训练子单元27还用于采用相关性排序，基于跨模态相关性对比学习，对解耦注意力Transformer网络模型进行训练。
可以理解的是，本实施例附图5中的一种多模态数据联合学习模型训练装置20与上述实施例中的一种多模态数据联合学习模型训练装置10，数据获取单元21与上述实施例中的数据获取单元11，可以具有相同的功能和结构。
需要说明的是，前述对多模态联合学习模型训练方法的解释说明也适用于本实施例的多模态联合学习模型训练装置，此处不再赘述。
本公开实施例提供的多模态数据联合学习模型训练装置，同时利用网络上的单模态数据和Pair多模态数据，对解耦注意力Transformer学习模型进行训练，以有效利用多种不同模态数据互相增强，从多模态数据中获得更鲁棒和更强大的通用语义表示能力，还能够使用统一的网络结构模型处理不同模态的数据，同时执行不同模态数据的理解和生成任务，具有更精确的场景认知和更综合的逻辑推理能力。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7是用来实现本公开实施例的多模态数据联合学习模型训练方法的电子设备的框图。
电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备500包括计算单元501，其可以根据存储在只读存储器（ROM）502中的计算机程序或者从存储单元508加载到随机访问存储器（RAM）503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如，多模态数据联合学习模型训练方法。
例如，在一些实施例中，多模态数据联合学习模型训练方法方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM503并由计算单元501执行时，可以执行上文描述的多模态数据联合学习模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行多模态数据联合学习模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的多模态联合学习模型训练方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、互联网及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
除非上下文另有要求，否则，在整个说明书和权利要求书中，术语“包括被解释为开放、包含的意思，即为“包含，但不限于”。在说明书的描述中，术语“一些实施例”、“示例性实施例”、“示例”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外，所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
除非另有说明，“多个”的含义是两个或两个以上。“A和/或B”，包括以下三种组合：仅A，仅B，及A和B的组合。
本文中“用于”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。
另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种多模态数据联合学习模型训练方法，包括：
获取多模态数据；其中，所述多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；
将所述单模态数据和所述Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征；
根据所述Token语义表示特征和所述跨模态语义表示特征，对所述解耦注意力Transformer网络模型进行训练。
2.根据权利要求1所述的方法，其中，所述至少一个单模态数据，包括：图像数据和文本数据；所述至少一个Pair多模态数据，包括：图文对数据；所述解耦注意力Transformer网络模型，包括：包含模态内注意力机制、模态间注意力机制和模态信息融合层的网络结构；
其中，所述将所述单模态数据和所述Pair多模态数据输入至解耦注意力Transformer网络模型，分别生成Token语义表示特征和跨模态语义表示特征，包括：
将所述图像数据拆分成多个Token，经过多层所述模态内注意力机制进行学习后，生成所述图像数据的Token语义表示特征；
将所述文本数据拆分成多个Token，经过多层所述模态内注意力机制进行学习后，生成所述文本数据的Token语义表示特征；
将所述图文对数据分别拆分并拼接，生成所述图文对数据的不同模态的多个Token，依次经过多层所述模态内注意力机制和多层所述模态间注意力机制进行学习，以及经过所述模态信息融合层进行信息融合，生成所述图文对数据的跨模态语义表示特征。
3.根据权利要求2所述的方法，其中，所述经过所述模态信息融合层进行信息融合，包括：
采用门控机制，根据所述图文对数据的不同模态之间的关联程度，控制不同模态的跨模态信息进行融合。
4.根据权利要求2或3所述的方法，其中，所述根据所述Token语义表示特征和所述跨模态语义表示特征，对所述解耦注意力Transformer网络模型进行训练，包括：
根据所述图像数据的Token语义表示特征，基于图像重构自监督学习对所述解耦注意力Transformer网络模型进行训练；
根据所述文本数据的Token语义表示特征，基于掩码自回归自监督学习对所述解耦注意力Transformer网络模型进行训练；
根据所述图文对数据的跨模态语义表示特征，基于跨模态相关性对比学习对所述解耦注意力Transformer网络模型进行训练。
5.根据权利要求4所述的方法，其中，所述基于跨模态相关性对比学习对所述解耦注意力Transformer网络模型进行训练，包括：
采用相关性排序，基于跨模态相关性对比学习，对所述解耦注意力Transformer网络模型进行训练。
6.一种多模态数据联合学习模型训练装置，包括：
数据获取单元，用于获取多模态数据；其中，所述多模态数据中包括至少一种单模态数据和至少一种成对Pair多模态数据；
语义表示单元，用于将所述单模态数据和所述Pair多模态数据输入至解耦注意力变换Transformer网络模型，分别生成语义元素Token语义表示特征和跨模态语义表示特征；
模型训练单元，用于根据所述Token语义表示特征和所述跨模态语义表示特征，对所述解耦注意力Transformer网络模型进行训练。
7.根据权利要求6所述的装置，其中，所述至少一个单模态数据，包括：图像数据和文本数据；所述至少一个Pair多模态数据，包括：图文对数据；所述解耦注意力Transformer网络模型，包括：包含模态内注意力机制、模态间注意力机制和模态信息融合层的网络结构；所述语义表示单元，包括：
图像数据语义表示单元，用于将所述图像数据拆分成多个Token，经过多层所述模态内注意力机制进行学习后，生成所述图像数据的Token语义表示特征；
文本数据语义表示单元，用于将所述文本数据拆分成多个Token，经过多层所述模态内注意力机制进行学习后，生成所述文本数据的Token语义表示特征；
图文对数据语义表示单元，用于将所述图文对数据分别拆分并拼接，生成所述图文对数据的不同模态的多个Token，依次经过多层所述模态内注意力机制和多层所述模态间注意力机制进行学习，以及经过所述模态信息融合层进行信息融合，生成所述图文对数据的跨模态语义表示特征。
8.根据权利要求7所述的装置，其中，所述图文对数据语义表示单元，还用于：采用门控机制，根据所述图文对数据的不同模态之间的关联程度，控制不同模态的跨模态信息进行融合。
9.根据权利要求7或8所述的装置，其中，所述模型训练单元，包括：
图像训练子单元，用于根据所述图像数据的Token语义表示特征，基于图像重构自监督学习对所述解耦注意力Transformer网络模型进行训练；
文本训练子单元，用于根据所述文本数据的Token语义表示特征，基于掩码自回归自监督学习对所述解耦注意力Transformer网络模型进行训练；
图文对训练子单元，用于根据所述图文对数据的跨模态语义表示特征，基于跨模态相关性对比学习对所述解耦注意力Transformer网络模型进行训练。
10.根据权利要求9所述的装置，其中，所述图文对训练子单元，还用于采用相关性排序，基于跨模态相关性对比学习，对所述解耦注意力Transformer网络模型进行训练。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至5中任一项所述的方法。
CN202110781928.8A 2021-07-12 2021-07-12 多模态数据联合学习模型训练方法及装置 Active CN113240056B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110781928.8A CN113240056B (zh) 2021-07-12 2021-07-12 多模态数据联合学习模型训练方法及装置
US17/809,133 US20220327809A1 (en) 2021-07-12 2022-06-27 Method, device and storage medium for training model based on multi-modal data joint learning
JP2022108385A JP7429734B2 (ja) 2021-07-12 2022-07-05 マルチモーダルデータ連合学習モデルトレーニング方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110781928.8A CN113240056B (zh) 2021-07-12 2021-07-12 多模态数据联合学习模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN113240056A true CN113240056A (zh) 2021-08-10
CN113240056B CN113240056B (zh) 2022-05-17

Family

ID=77135275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110781928.8A Active CN113240056B (zh) 2021-07-12 2021-07-12 多模态数据联合学习模型训练方法及装置

Country Status (3)

Country Link
US (1) US20220327809A1 (zh)
JP (1) JP7429734B2 (zh)
CN (1) CN113240056B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780194A (zh) * 2021-09-15 2021-12-10 北京京东尚科信息技术有限公司 多模态预训练方法和装置
CN113807440A (zh) * 2021-09-17 2021-12-17 北京百度网讯科技有限公司 利用神经网络处理多模态数据的方法、设备和介质
CN113822178A (zh) * 2021-09-06 2021-12-21 中车工业研究院有限公司 基于跨模态注意力机制的焊缝缺陷识别方法
CN113947700A (zh) * 2021-10-18 2022-01-18 北京百度网讯科技有限公司 模型确定方法、装置、电子设备和存储器
CN113971404A (zh) * 2021-10-29 2022-01-25 中南民族大学 一种基于解耦注意力的文物安全命名实体识别方法
CN114417878A (zh) * 2021-12-29 2022-04-29 北京百度网讯科技有限公司 语义识别方法、装置、电子设备及存储介质
CN114549935A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 信息生成方法和装置
CN114612891A (zh) * 2022-03-09 2022-06-10 华南理工大学 基于对比学习和自适应注意力的图像描述生成方法及介质
CN114840327A (zh) * 2022-06-29 2022-08-02 阿里巴巴达摩院(杭州)科技有限公司 多模态多任务的处理方法、设备及系统
WO2024131424A1 (zh) * 2022-12-19 2024-06-27 中国科学院深圳先进技术研究院 一种多模态图像分割方法
WO2024138801A1 (zh) * 2022-12-30 2024-07-04 中山大学 一种基于跨媒介数据的联合学习方法及模型
CN118585963A (zh) * 2024-08-06 2024-09-03 中铁四局集团有限公司 基于多模态信息融合的隧道喷浆智能检测方法及系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230106716A1 (en) * 2021-10-05 2023-04-06 Samsung Electronics Co., Ltd. Multi-Granularity Alignment for Visual Question Answering
US11989941B2 (en) 2021-11-16 2024-05-21 Salesforce, Inc. Systems and methods for video and language pre-training
US20240119715A1 (en) 2022-09-29 2024-04-11 Rakuten Group, Inc. Utilizing cross-modal contrastive learning to improve item categorization bert model
CN115661594B (zh) * 2022-10-19 2023-08-18 海南港航控股有限公司 一种基于对齐和融合的图文多模态特征表示方法和系统
CN115761437B (zh) * 2022-11-09 2024-02-06 北京百度网讯科技有限公司 基于视觉转换器的图像处理方法、训练方法和电子设备
CN116012679B (zh) * 2022-12-19 2023-06-16 中国科学院空天信息创新研究院 一种基于多层级跨模态交互的自监督遥感表示学习方法
CN116089645A (zh) * 2022-12-23 2023-05-09 北京大学 一种基于层次化风格的条件文本-电商图片检索方法和系统
CN115982403B (zh) * 2023-01-12 2024-02-02 之江实验室 一种多模态哈希检索方法及装置
CN115859367B (zh) * 2023-02-16 2023-05-16 广州优刻谷科技有限公司 一种多模态联邦学习的隐私保护方法及系统
CN116431805A (zh) * 2023-03-15 2023-07-14 青岛海尔电冰箱有限公司 文本分类方法及制冷设备系统
CN116339868A (zh) * 2023-03-28 2023-06-27 北京有竹居网络技术有限公司 对象处理方法、装置、可读介质及电子设备
CN116050429B (zh) * 2023-04-03 2023-05-30 中国电子科技集团公司第十五研究所 基于多模态数据关联的地理环境实体构建系统及方法
CN116127123B (zh) * 2023-04-17 2023-07-07 中国海洋大学 基于语义实例关系渐进式海洋遥感图文检索方法
CN116757497B (zh) * 2023-06-12 2024-01-12 南京航空航天大学 基于图类感知Transformer的多模态军事智能辅助作战决策方法
CN116958767B (zh) * 2023-07-14 2024-04-30 江苏大学 基于多模态技术的智能合约安全分析方法及系统
CN117290596A (zh) * 2023-09-20 2023-12-26 北京约来健康科技有限公司 用于多模态数据模型的推荐标签生成方法、装置、设备及介质
TWI846605B (zh) * 2023-09-22 2024-06-21 鴻海精密工業股份有限公司 跨模態模型訓練方法、圖像跨模態轉換方法及電子設備
CN117097797B (zh) * 2023-10-19 2024-02-09 浪潮电子信息产业股份有限公司 云边端协同方法、装置、系统、电子设备及可读存储介质
CN117422959A (zh) * 2023-11-17 2024-01-19 中国科学院空天信息创新研究院 基于模态自适应的遥感多模态基础模型的数据处理方法
CN117390291B (zh) * 2023-12-12 2024-03-12 山东省人工智能研究院 一种基于解耦合多模态模型的用户需求推荐方法及系统
CN117611245B (zh) * 2023-12-14 2024-05-31 浙江博观瑞思科技有限公司 用于电商运营活动策划的数据分析管理系统及方法
CN117726721B (zh) * 2024-02-08 2024-04-30 湖南君安科技有限公司 基于主题驱动与多模态融合的图像生成方法、设备及介质
CN118113703A (zh) * 2024-03-08 2024-05-31 朴道征信有限公司 数据处理方法、装置、电子设备和计算机可读介质
CN118133845B (zh) * 2024-05-08 2024-07-16 中国人民解放军国防科技大学 一种多通道语义理解的融合方法、装置、设备及存储介质
CN118133191B (zh) * 2024-05-08 2024-08-02 海信集团控股股份有限公司 一种多模态数据的目标检测方法及装置
CN118133992B (zh) * 2024-05-10 2024-08-13 鹏城实验室 模型训练方法、对象识别方法、电子设备及可读存储介质
CN118314409B (zh) * 2024-06-07 2024-09-13 上海蜜度科技股份有限公司 多模态图像分类方法、系统、存储介质及电子设备
CN118378707B (zh) * 2024-06-21 2024-09-13 中国科学技术大学 一种基于价值体系引导的动态演化多模态价值生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330054A1 (en) * 2016-05-10 2017-11-16 Baidu Online Network Technology (Beijing) Co., Ltd. Method And Apparatus Of Establishing Image Search Relevance Prediction Model, And Image Search Method And Apparatus
CN109886326A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN111967470A (zh) * 2020-08-20 2020-11-20 华南理工大学 一种基于解耦注意力机制的文本识别方法及系统
CN112668671A (zh) * 2021-03-15 2021-04-16 北京百度网讯科技有限公司 预训练模型的获取方法和装置
CN112861945A (zh) * 2021-01-28 2021-05-28 清华大学 一种多模态融合谎言检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330054A1 (en) * 2016-05-10 2017-11-16 Baidu Online Network Technology (Beijing) Co., Ltd. Method And Apparatus Of Establishing Image Search Relevance Prediction Model, And Image Search Method And Apparatus
CN109886326A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN111967470A (zh) * 2020-08-20 2020-11-20 华南理工大学 一种基于解耦注意力机制的文本识别方法及系统
CN112861945A (zh) * 2021-01-28 2021-05-28 清华大学 一种多模态融合谎言检测方法
CN112668671A (zh) * 2021-03-15 2021-04-16 北京百度网讯科技有限公司 预训练模型的获取方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEI LI 等: "UNIMO: towards unified-modal understanding and generation via cross-modal contrastive learning", 《HTTPS://GITHUB.COM/WEILI-BAIDU/UNIMO》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822178A (zh) * 2021-09-06 2021-12-21 中车工业研究院有限公司 基于跨模态注意力机制的焊缝缺陷识别方法
CN113822178B (zh) * 2021-09-06 2024-04-02 中车工业研究院有限公司 基于跨模态注意力机制的焊缝缺陷识别方法
CN113780194A (zh) * 2021-09-15 2021-12-10 北京京东尚科信息技术有限公司 多模态预训练方法和装置
CN113807440A (zh) * 2021-09-17 2021-12-17 北京百度网讯科技有限公司 利用神经网络处理多模态数据的方法、设备和介质
EP4167137A1 (en) * 2021-10-18 2023-04-19 Beijing Baidu Netcom Science Technology Co., Ltd. Model determination method and apparatus, electronic device and memory
CN113947700A (zh) * 2021-10-18 2022-01-18 北京百度网讯科技有限公司 模型确定方法、装置、电子设备和存储器
CN113971404A (zh) * 2021-10-29 2022-01-25 中南民族大学 一种基于解耦注意力的文物安全命名实体识别方法
EP4191544A1 (en) * 2021-12-29 2023-06-07 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for recognizing token, electronic device and storage medium
CN114417878A (zh) * 2021-12-29 2022-04-29 北京百度网讯科技有限公司 语义识别方法、装置、电子设备及存储介质
CN114549935A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 信息生成方法和装置
CN114549935B (zh) * 2022-02-25 2024-05-07 北京百度网讯科技有限公司 信息生成方法和装置
CN114612891A (zh) * 2022-03-09 2022-06-10 华南理工大学 基于对比学习和自适应注意力的图像描述生成方法及介质
CN114612891B (zh) * 2022-03-09 2024-05-28 华南理工大学 基于对比学习和自适应注意力的图像描述生成方法及介质
CN114840327A (zh) * 2022-06-29 2022-08-02 阿里巴巴达摩院(杭州)科技有限公司 多模态多任务的处理方法、设备及系统
CN114840327B (zh) * 2022-06-29 2022-12-02 阿里巴巴达摩院(杭州)科技有限公司 多模态多任务的处理方法、设备及系统
WO2024131424A1 (zh) * 2022-12-19 2024-06-27 中国科学院深圳先进技术研究院 一种多模态图像分割方法
WO2024138801A1 (zh) * 2022-12-30 2024-07-04 中山大学 一种基于跨媒介数据的联合学习方法及模型
CN118585963A (zh) * 2024-08-06 2024-09-03 中铁四局集团有限公司 基于多模态信息融合的隧道喷浆智能检测方法及系统

Also Published As

Publication number Publication date
US20220327809A1 (en) 2022-10-13
CN113240056B (zh) 2022-05-17
JP7429734B2 (ja) 2024-02-08
JP2022137145A (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
CN113240056B (zh) 多模态数据联合学习模型训练方法及装置
CN112668671B (zh) 预训练模型的获取方法和装置
CN112560496B (zh) 语义分析模型的训练方法、装置、电子设备及存储介质
CN112487182A (zh) 文本处理模型的训练方法、文本处理方法及装置
CN113033622B (zh) 跨模态检索模型的训练方法、装置、设备和存储介质
JP2023541532A (ja) テキスト検出モデルのトレーニング方法及び装置、テキスト検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN114549935B (zh) 信息生成方法和装置
CN112883149A (zh) 一种自然语言处理方法以及装置
CN114863437B (zh) 文本识别方法、装置、电子设备和存储介质
EP4302234A1 (en) Cross-modal processing for vision and language
CN115640520B (zh) 跨语言跨模态模型的预训练方法、设备和存储介质
CN110795549A (zh) 短文本对话方法、装置、设备及存储介质
CN113901909A (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN115713797A (zh) 训练感情识别模型的方法、感情识别方法及装置
CN115761839A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN114715145B (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN114550313B (zh) 图像处理方法、神经网络及其训练方法、设备和介质
CN117216536A (zh) 一种模型训练的方法、装置和设备及存储介质
US20230245429A1 (en) Method and apparatus for training lane line detection model, electronic device and storage medium
CN113360683B (zh) 训练跨模态检索模型的方法以及跨模态检索方法和装置
CN114580425A (zh) 命名实体识别的方法和装置，以及电子设备和存储介质
CN113468857A (zh) 风格转换模型的训练方法、装置、电子设备以及存储介质
CN117351330A (zh) 图像处理方法、图像处理模型的训练方法、装置和设备
CN116543798A (zh) 基于多分类器的情感识别方法和装置、电子设备、介质
CN114937277B (zh) 基于图像的文本获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant