CN114722916A - 最大化模态一致性的多模态数据分析方法及装置 - Google Patents

最大化模态一致性的多模态数据分析方法及装置 Download PDF

Info

Publication number
CN114722916A
CN114722916A CN202210269022.2A CN202210269022A CN114722916A CN 114722916 A CN114722916 A CN 114722916A CN 202210269022 A CN202210269022 A CN 202210269022A CN 114722916 A CN114722916 A CN 114722916A
Authority
CN
China
Prior art keywords
modal
data
consistency
original data
correlation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210269022.2A
Other languages
English (en)
Inventor
黄金才
冯旸赫
刘泽一
刘忠
程光权
姚晨蝶
马扬
施伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210269022.2A priority Critical patent/CN114722916A/zh
Publication of CN114722916A publication Critical patent/CN114722916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本申请涉及一种最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。所述方法包括：利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；根据多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。采用本方法能够提高模态数据融合效率。

Description

最大化模态一致性的多模态数据分析方法及装置
技术领域
本申请涉及数据处理技术领域，特别是涉及一种最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。
背景技术
在现代信息战环境下，可用于态势感知的传感器类型多、数据量大。这些传感器形成的数据(例如雷达频谱、目标点迹航迹、态势以及报文描述等)表现为多模态数据。每个模态都可能提供一定的有用信息，但又难以提供较为完整准确的信息。这些信息有一定的互补性，同时又有严重的冗余和分歧。因此，在强对抗环境下，有效分析融合多种情报来源的多模态数据是及时准确把握瞬息万变的整体态势的必要手段。
然而，目前的传统的多模态数据分析是基于通过编码器将输入向低维映射，再通过解码器生成同维度的输出，在此过程中由于模态间间隔较大，各个模态数据之间融合效率低，且在编码解码过程中存在损失，使得模态数据融合结果存在误差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高模态数据融合效率的最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。
一种最大化模态一致性的多模态数据分析方法，所述方法包括：
获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；
利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；
多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；
根据重构误差对多模态原始数据进行分析重构。
在其中一个实施例中，根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：
Figure BDA0003553771460000021
其中，U表示第x个模态的相关矩阵，V表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，
Figure BDA0003553771460000022
表示模态x，y的编码数据。
在其中一个实施例中，相关矩阵的约束条件包括：
Figure BDA0003553771460000023
其中，I表示单位矩阵，r表示随机缺失率，T表示转置运算。
在其中一个实施例中，约束条件还包括：
Figure BDA0003553771460000024
在其中一个实施例中，根据最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为
Figure BDA0003553771460000025
其中，LR表示重构误差，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，xn表示第n个样本的第x个模态的多模态原始数据，gv()表示解码映射函数，Un表示第n个样本的第x个模态的相关矩阵，Vn表示第n个样本的第y个模态的相关矩阵，yn表示第n个样本的第y个模态的多模态原始数据。
一种最大化模态一致性的多模态数据分析装置，所述装置包括：
编码模块，用于获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
相关性约束模块，用于根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
解码模块，用于对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
重构模块，用于根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；
利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；
多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；
根据重构误差对多模态原始数据进行分析重构。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；
利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；
多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；
根据重构误差对多模态原始数据进行分析重构。
上述最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质，首先利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间，根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，利用CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，可以最小化编码子空间的相似性，相对于传统自编码有更好的空间聚类效果，更有利于打破模态间间隔，增进模态间一致性，得到最大化模态一致性数据，利用最大化模态一致性数据和多模态原始数据的重构误差对多模态原始数据进行重构，一方面提高了各个模态数据之间融合效率，另一方面避免了模态数据融合结果误差的产生。
附图说明
图1为一个实施例中最大化模态一致性的多模态数据分析方法的流程示意图；
图2为一个实施例中最大化模态一致性的多模态数据分析装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种最大化模态一致性的多模态数据分析方法，包括以下步骤：
步骤102，获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间。
多模态原始数据是指用于态势感知的传感器形成的数据，包括雷达数据、遥感数据、目标点迹航迹数据、态势数据以及报文描述数据等。
步骤104，根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵。
利用CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，可以最小化编码子空间的相似性，相对于传统自编码有更好的空间聚类效果，更有利于打破模态间间隔，增进模态间一致性，得到最大化模态一致性数据，提高了各个模态数据之间融合效率。
步骤106，对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据。
步骤108，根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。
利用最大化模态一致性数据和多模态原始数据的重构误差对多模态原始数据进行重构，避免了模态数据融合结果误差的产生。
上述最大化模态一致性的多模态数据分析方法中，首先利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间，根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，利用CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，可以最小化编码子空间的相似性，相对于传统自编码有更好的空间聚类效果，更有利于打破模态间间隔，增进模态间一致性，得到最大化模态一致性数据，利用最大化模态一致性数据和多模态原始数据的重构误差对多模态原始数据进行重构，一方面提高了各个模态数据之间融合效率，另一方面避免了模态数据融合结果误差的产生。
在其中一个实施例中，根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：
Figure BDA0003553771460000061
其中，U表示第x个模态的相关矩阵，V表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，
Figure BDA0003553771460000062
表示模态x，y的编码数据。
Uf(x)g(y)V表示由模态x的编码f(x)、y的编码g(y)的互相关矩阵，
Figure BDA0003553771460000063
表示多模态数据的所有样本的编码误差。
在其中一个实施例中，相关矩阵的约束条件包括：
Figure BDA0003553771460000064
其中，I表示单位矩阵，r表示随机缺失率，T表示转置运算。
在其中一个实施例中，约束条件还包括：
Figure BDA0003553771460000065
在其中一个实施例中，根据最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为
Figure BDA0003553771460000066
其中，LR表示重构误差，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，xn表示第n个样本的第x个模态的多模态原始数据，gv()表示解码映射函数，Un表示第n个样本的第x个模态的相关矩阵，Vn表示第n个样本的第y个模态的相关矩阵，yn表示第n个样本的第y个模态的多模态原始数据。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种最大化模态一致性的多模态数据分析装置，包括：编码模块202、相关性约束模块206、解码模块208和重构模块210，其中：
编码模块202，用于获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
相关性约束模块206，用于根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
解码模块208，用于对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
重构模块210，用于根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。
在其中一个实施例中，相关性约束模块206还用于根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：
Figure BDA0003553771460000071
其中，U表示第x个模态的相关矩阵，V表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，
Figure BDA0003553771460000081
表示模态x，y的编码数据。
在其中一个实施例中，在其中一个实施例中，相关矩阵的约束条件包括：
Figure BDA0003553771460000082
其中，I表示单位矩阵，r表示随机缺失率，T表示转置运算。
在其中一个实施例中，约束条件还包括：
Figure BDA0003553771460000083
在其中一个实施例中，重构模块210还用于根据最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为
Figure BDA0003553771460000084
其中，LR表示重构误差，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，xn表示第n个样本的第x个模态的多模态原始数据，gv()表示解码映射函数，Un表示第n个样本的第x个模态的相关矩阵，Vn表示第n个样本的第y个模态的相关矩阵，yn表示第n个样本的第y个模态的多模态原始数据。
关于最大化模态一致性的多模态数据分析装置的具体限定可以参见上文中对于最大化模态一致性的多模态数据分析方法的限定，在此不再赘述。上述最大化模态一致性的多模态数据分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种最大化模态一致性的多模态数据分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种最大化模态一致性的多模态数据分析方法，其特征在于，所述方法包括：
获取多模态原始数据集；所述多模态原始数据集中包含多个多模态原始数据；
利用自编码器对所述多模态原始数据进行编码，得到多模态原始数据的编码子空间；
根据CCA相关性分析对所述多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；
所述多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
对所述最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差；
根据所述重构误差对所述多模态原始数据进行分析重构。
2.根据权利要求1所述的方法，其特征在于，根据CCA相关性分析对所述多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：
Figure FDA0003553771450000011
其中，U表示第x个模态的相关矩阵，V表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，
Figure FDA0003553771450000012
表示模态x，y的编码数据。
3.根据权利要求2所述的方法，其特征在于，所述相关矩阵的约束条件包括：
Figure FDA0003553771450000013
其中，I表示单位矩阵，r表示随机缺失率，T表示转置运算。
4.根据权利要求3所述的方法，其特征在于，所述约束条件还包括:
Figure FDA0003553771450000021
5.根据权利要求1所述的方法，其特征在于，根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为
Figure FDA0003553771450000022
其中，LR表示重构误差，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，xn表示第n个样本的第x个模态的多模态原始数据，gv()表示解码映射函数，Un表示第n个样本的第x个模态的相关矩阵，Vn表示第n个样本的第y个模态的相关矩阵，yn表示第n个样本的第y个模态的多模态原始数据。
6.一种最大化模态一致性的多模态数据分析装置，其特征在于，所述装置包括：
编码模块，用于获取多模态原始数据集；所述多模态原始数据集中包含多个多模态原始数据；利用自编码器对所述多模态原始数据进行编码，得到多模态原始数据的编码子空间；
相关性约束模块，用于根据CCA相关性分析对所述多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；所述多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
解码模块，用于对所述最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
重构模块，用于根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差；根据所述重构误差对所述多模态原始数据进行分析重构。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202210269022.2A 2022-03-18 2022-03-18 最大化模态一致性的多模态数据分析方法及装置 Pending CN114722916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210269022.2A CN114722916A (zh) 2022-03-18 2022-03-18 最大化模态一致性的多模态数据分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210269022.2A CN114722916A (zh) 2022-03-18 2022-03-18 最大化模态一致性的多模态数据分析方法及装置

Publications (1)

Publication Number Publication Date
CN114722916A true CN114722916A (zh) 2022-07-08

Family

ID=82238589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210269022.2A Pending CN114722916A (zh) 2022-03-18 2022-03-18 最大化模态一致性的多模态数据分析方法及装置

Country Status (1)

Country Link
CN (1) CN114722916A (zh)

Similar Documents

Publication Publication Date Title
CN111880998B (zh) 服务系统异常检测方法、装置、计算机设备和存储介质
CN109886077B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109285105B (zh) 水印检测方法、装置、计算机设备和存储介质
CN113159143B (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN111612035B (zh) 训练迁移模型的方法、故障检测的方法以及装置
CN112785542B (zh) 遥感影像转换网络地图方法、装置、计算机设备和介质
CN108304790B (zh) 骨骼运动预测处理方法、装置和肢体运动预测处理方法
CN111325159A (zh) 故障诊断方法、装置、计算机设备和存储介质
CN110956195A (zh) 图像匹配方法、装置、计算机设备及存储介质
CN114401205B (zh) 无标注多源网络流量数据漂移检测方法和装置
CN109976683B (zh) 数据的打印方法、装置、设备和存储介质
CN110796652A (zh) 图像处理方法、计算机设备和存储介质
Wang et al. Parameterization of cross-token relations with relative positional encoding for vision MLP
CN112837673B (zh) 基于人工智能的语音合成方法、装置、计算机设备和介质
CN113704372A (zh) 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN114722916A (zh) 最大化模态一致性的多模态数据分析方法及装置
CN111145152B (zh) 图像检测方法、计算机设备和存储介质
CN109326324B (zh) 一种抗原表位的检测方法、系统及终端设备
CN116740570A (zh) 基于掩码图像建模的遥感图像道路提取方法、装置及设备
CN116884636A (zh) 传染病数据分析方法、装置、计算机设备及存储介质
CN113782094A (zh) 修饰位点的预测方法、装置、计算机设备和存储介质
CN114548367B (zh) 基于对抗网络的多模态数据的重构方法及装置
Long et al. Polyp segmentation network based on lightweight model and reverse attention mechanisms
CN116385823B (zh) 类别语义一致性表示的半监督分割模型生成方法及系统
CN117018858B (zh) 工业废气净化设备及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination