CN114548367B - 基于对抗网络的多模态数据的重构方法及装置 - Google Patents

基于对抗网络的多模态数据的重构方法及装置 Download PDF

Info

Publication number
CN114548367B
CN114548367B CN202210051700.8A CN202210051700A CN114548367B CN 114548367 B CN114548367 B CN 114548367B CN 202210051700 A CN202210051700 A CN 202210051700A CN 114548367 B CN114548367 B CN 114548367B
Authority
CN
China
Prior art keywords
data
reconstruction
loss
modal
mean square
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210051700.8A
Other languages
English (en)
Other versions
CN114548367A (zh
Inventor
冯旸赫
姚晨蝶
刘忠
程光权
黄金才
国子婧
周玉珍
施伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210051700.8A priority Critical patent/CN114548367B/zh
Publication of CN114548367A publication Critical patent/CN114548367A/zh
Application granted granted Critical
Publication of CN114548367B publication Critical patent/CN114548367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。所述方法包括：利用利用初始对抗网络中编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；根据解码器进行解码，得到资源对象的重构数据；利用资源对象的多模态原始数据和重构数据建立均方差重构损失；根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的初始对抗网络对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。采用本方法能够能够重构缺失的多模态数据。

Description

基于对抗网络的多模态数据的重构方法及装置
技术领域
本申请涉及数据处理技术领域，特别是涉及一种基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。
背景技术
在现代信息环境下，可用于态势感知的传感器类型多、数据量大。这些传感器形成的数据(例如雷达频谱、目标点迹航迹、态势以及报文描述等)表现为多模态数据。每个模态都可能提供一定的有用信息，但又难以提供较为完整准确的信息。这些信息有一定的互补性，同时又有严重的冗余和分歧。因此，在强对抗环境下，有效融合多种情报来源的多模态数据是及时准确把握瞬息万变的整体态势的必要手段，针对场景中大量存在的不完整多模态资源对象，主要挑战包括两方面：多模态与数据缺失。
然而，现有对于解决缺失的多模态数据方法主要集中在矩阵分解和核方法，这些方法采用浅层的线性变换将不完整多模态数据转换到同一语义共享子空间进行多模态融合分析，然而当模态间数据分布或语义偏差较大时，算法有效性受到极大影响，传统的基于矩阵分解的线性模型难以充分捕获多模态特征之间的复杂关联。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决缺失的多模态数据的基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。
一种基于对抗网络的多模态数据的重构方法，所述方法包括：
获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；
将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
在其中一个实施例中，采用GAN生成对抗缺失样本，根据对抗缺失样本进行对抗网络训练，得到初始对抗网络。
在其中一个实施例中，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：
根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；
根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；
将第一均方差重构损失和第二均方差重构损失进行加和，得到均方差重构损失。
在其中一个实施例中，根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，表示第n个样本的第v个模态完整的多模态数据，/>表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据。
在其中一个实施例中，根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，第n个样本的第v个模态随机缺失的多模态数据，/>表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，/>表示第n个样本的随机缺失的多模态数据的重构数据。
在其中一个实施例中，获取多模态原始数据的散度损失的过程，包括：
其中，表示散度损失，pnk表示n个实例到聚类中心k的概率，/>表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，/>表示第n个样本的第v个模态的统一语义表示空间，/>表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
在其中一个实施例中，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
一种基于对抗网络的多模态数据的重构装置，所述装置包括：
获取数据集模块，用于获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
编码平均模块，用于利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
解码模块，用于根据初始对抗网络中的解码器将资源对象从统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
损失计算模块，用于利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
训练模块，用于根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
重构模块，用于利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；
将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；
将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
上述基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质，首先通过初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间，通过将多个低维语义空间联合进行平均池化，将不同模态的信息映射到统一语义表示空间，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，挖掘蕴藏于缺失模态中的潜在分布信息即资源对象的缺失模态数据，通过缺失模态数据对资源对象的多模态原始数据进行重构，本申请通过在不完整多模态资源对象融合过程中，融入了缺失部分模态数据中的有用信息，得到了高质量的语义补充，解决多模态数据随机缺失的问题。
附图说明
图1为一个实施例中基于对抗网络的多模态数据的重构方法的流程示意图；
图2为一个实施例中基于对抗网络的多模态数据的重构装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于对抗网络的多模态数据的重构方法，包括以下步骤：
步骤102，获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据。
多模态原始数据是指用于态势感知的传感器形成的数据，包括雷达数据、遥感数据、目标点迹航迹数据、态势数据以及报文描述数据等，由于数据收集不完整，以及受到环境中的电子干扰、伪装、佯动等反侦察措施，导致目标对象存在模态缺失问题，这些模态的缺失往往表现为随机缺失。
步骤104，利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间。
利用深度神经网络中的编码器将各模态信息映射到各自的低维语义空间，统一语义表示空间用于学习多模态数据，然后联合各模态的语义空间，进行平均池化，达到不同模态对同一语义信息增强，籍此学习多模态数据的统一语义表示空间，该框架具有较好的可扩展性，可针对雷达数据，遥感数据，势态数据等多媒体对象设计适合的深度网络。
步骤106，根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据。
在编码器的基础上，利用解码器学习资源对象从统一语义表示空间映射到各模态数据空间，可以得到资源对象的重构数据。
步骤108，利用资源对象的多模态原始数据和重构数据建立均方差重构损失；根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络。
均方差损失的目标是使多模态原始数据的每个维度重构误差达到最小值，但没有考虑各维度之间的相关性，忽略了原始数据中蕴含的结构。本申请通过添加了散度损失来更衡量多个模态数据之间的差异。
步骤110，利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
利用解码器生成缺失数据，将补全的缺失模态数据放入编码器中，得到不完整多模态资源对象的一致表达。在不完整多模态资源对象融合过程中，融入了缺失部分模态数据中的有用信息，得到了高质量的语义补充，解决多模态数据随机缺失的问题。
上述基于对抗网络的多模态数据的重构方法中，首先通过初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间，通过将多个低维语义空间联合进行平均池化，将不同模态的信息映射到统一语义表示空间，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，挖掘蕴藏于缺失模态中的潜在分布信息即资源对象的缺失模态数据，通过缺失模态数据对资源对象的多模态原始数据进行重构，本申请通过在不完整多模态资源对象融合过程中，融入了缺失部分模态数据中的有用信息，得到了高质量的语义补充，解决多模态数据随机缺失的问题。
在其中一个实施例中，采用GAN生成对抗缺失样本，根据对抗缺失样本进行对抗网络训练，得到初始对抗网络。
在另一个实施例中，对抗网络中包含对抗损失，将资源对象的原始数据和重构数据输入对抗网络中的判别器，可以进一步提升解码器的生成效果。
在其中一个实施例中，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：
根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；
根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；
将第一均方差重构损失和第二均方差重构损失进行加和，得到均方差重构损失。
多模态原始数据集中包含完整的多模态数据和随机缺失的多模态数据，根据两者多模态数据分别构建重构损失，使得得到的均方根损失可以使多模态原始数据的每个维度重构误差达到最小值，利用该均方根损失对编码器和解码器进行训练，可以得到更加精确的编码器和解码器，进而生成更加精确的缺失数据。
在其中一个实施例中，根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，表示第n个样本的第v个模态完整的多模态数据，/>表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据。
在其中一个实施例中，根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，第n个样本的第v个模态随机缺失的多模态数据，/>表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，/>表示第n个样本的随机缺失的多模态数据的重构数据。
在其中一个实施例中，获取多模态原始数据的散度损失的过程，包括：
其中，pnk表示n个实例到聚类中心k的概率，表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，/>表示第n个样本的第v个模态的统一语义表示空间，表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
在其中一个实施例中，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数为：
L＝LR+αLA+βLD
其中，α、β表示超参。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种基于对抗网络的多模态数据的重构装置，包括：获取数据集模块202、编码平均模块204、解码模块206、损失计算模块208、训练模块210和重构模块212，其中：
获取数据集模块202，用于获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
编码平均模块204，用于利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
解码模块206，用于根据初始对抗网络中的解码器将资源对象从统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
损失计算模块208，用于利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
训练模块210，用于根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
重构模块212，利用利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
在其中一个实施例中，采用GAN生成对抗缺失样本，根据对抗缺失样本进行对抗网络训练，得到初始对抗网络。
在其中一个实施例中，损失计算模块208还用于利用资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；将第一均方差重构损失和第二均方差重构损失进行加和，得到均方差重构损失。
在其中一个实施例中，损失计算模块208还用于根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，表示第n个样本的第v个模态完整的多模态数据，/>表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据。
在其中一个实施例中，损失计算模块208还用于根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，第n个样本的第v个模态随机缺失的多模态数据，/>表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，/>表示第n个样本的随机缺失的多模态数据的重构数据。
在其中一个实施例中，获取多模态原始数据的散度损失的过程，包括：
其中，pnk表示n个实例到聚类中心k的概率，表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，/>表示第n个样本的第v个模态的统一语义表示空间，表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
在其中一个实施例中，训练模块210还用于根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
关于基于对抗网络的多模态数据的重构装置的具体限定可以参见上文中对于基于对抗网络的多模态数据的重构方法的限定，在此不再赘述。上述基于对抗网络的多模态数据的重构装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于对抗网络的多模态数据的重构方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于对抗网络的多模态数据的重构方法，其特征在于，所述方法包括：
获取资源对象的多模态原始数据集和初始对抗网络；所述多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对所述多模态原始数据集进行编码，得到多个低维语义空间；
将所述多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据所述初始对抗网络中的解码器将所述资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到所述资源对象的重构数据；
利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用所述训练好的对抗网络中的编码器和解码器对所述资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据；
利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：
根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；
根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；
将所述第一均方差重构损失和所述第二均方差重构损失进行加和，得到均方差重构损失；
根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，表示第n个样本的第v个模态完整的多模态数据，/>表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据；
根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，第n个样本的第v个模态随机缺失的多模态数据，表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，/>表示第n个样本的随机缺失的多模态数据的重构数据；
获取多模态原始数据的散度损失的过程，包括：
其中，表示散度损失，pnk表示n个实例到聚类中心k的概率，/>表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，/>表示第n个样本的第v个模态的统一语义表示空间，/>表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
2.根据权利要求1所述的方法，其特征在于，获取初始对抗网络的过程包括：
采用GAN生成对抗缺失样本，根据所述对抗缺失样本进行对抗网络训练，得到初始对抗网络。
3.根据权利要求1所述的方法，其特征在于，根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据所述均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对所述总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
4.一种基于对抗网络的多模态数据的重构装置，其特征在于，所述装置包括：
获取数据集模块，用于获取资源对象的多模态原始数据集和初始对抗网络；所述多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
编码平均模块，用于利用初始对抗网络中的编码器对所述多模态原始数据集进行编码，得到多个低维语义空间；将所述多个低维语义空间联合进行平均池化，得到统一语义表示空间；
解码模块，用于根据所述初始对抗网络中的解码器将所述资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到所述资源对象的重构数据；
损失计算模块，用于利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失；利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；将所述第一均方差重构损失和所述第二均方差重构损失进行加和，得到均方差重构损失；根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，表示第n个样本的第v个模态完整的多模态数据，/>表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据；
根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，第n个样本的第v个模态随机缺失的多模态数据，表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，/>表示第n个样本的随机缺失的多模态数据的重构数据；
训练模块，用于根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；获取多模态原始数据的散度损失的过程，包括：
其中，表示散度损失，pnk表示n个实例到聚类中心k的概率，/>表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，/>表示第n个样本的第v个模态的统一语义表示空间，/>表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差；
重构模块，用于利用所述训练好的对抗网络中的编码器和解码器对所述资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
CN202210051700.8A 2022-01-17 2022-01-17 基于对抗网络的多模态数据的重构方法及装置 Active CN114548367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210051700.8A CN114548367B (zh) 2022-01-17 2022-01-17 基于对抗网络的多模态数据的重构方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210051700.8A CN114548367B (zh) 2022-01-17 2022-01-17 基于对抗网络的多模态数据的重构方法及装置

Publications (2)

Publication Number Publication Date
CN114548367A CN114548367A (zh) 2022-05-27
CN114548367B true CN114548367B (zh) 2024-02-20

Family

ID=81672498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210051700.8A Active CN114548367B (zh) 2022-01-17 2022-01-17 基于对抗网络的多模态数据的重构方法及装置

Country Status (1)

Country Link
CN (1) CN114548367B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629374A (zh) * 2018-05-08 2018-10-09 深圳市唯特视科技有限公司 一种基于卷积神经网络的无监督多模态子空间聚类方法
CN112884010A (zh) * 2021-01-25 2021-06-01 浙江师范大学 基于自编码器的多模态自适应融合深度聚类模型及方法
CN113094566A (zh) * 2021-04-16 2021-07-09 大连理工大学 一种深度对抗多模态数据聚类方法
WO2021189960A1 (zh) * 2020-10-22 2021-09-30 平安科技（深圳）有限公司 对抗网络训练、医疗数据补充方法、装置、设备及介质
CN113657272A (zh) * 2021-08-17 2021-11-16 山东建筑大学 一种基于缺失数据补全的微视频分类方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210560B2 (en) * 2019-10-02 2021-12-28 Mitsubishi Electric Research Laboratories, Inc. Multi-modal dense correspondence imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629374A (zh) * 2018-05-08 2018-10-09 深圳市唯特视科技有限公司 一种基于卷积神经网络的无监督多模态子空间聚类方法
WO2021189960A1 (zh) * 2020-10-22 2021-09-30 平安科技（深圳）有限公司 对抗网络训练、医疗数据补充方法、装置、设备及介质
CN112884010A (zh) * 2021-01-25 2021-06-01 浙江师范大学 基于自编码器的多模态自适应融合深度聚类模型及方法
CN113094566A (zh) * 2021-04-16 2021-07-09 大连理工大学 一种深度对抗多模态数据聚类方法
CN113657272A (zh) * 2021-08-17 2021-11-16 山东建筑大学 一种基于缺失数据补全的微视频分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多模态对抗学习的无监督时间序列异常检测;黄训华;计算机研究与发展;第08卷(第2021期);全文 *

Also Published As

Publication number Publication date
CN114548367A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
WO2021189844A1 (zh) 多元kpi时间序列的检测方法、装置、设备及存储介质
Rodrigues et al. Survey on approximate computing and its intrinsic fault tolerance
CN113159143B (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
US20180365594A1 (en) Systems and methods for generative learning
CN103975327B (zh) 用于可视化事件序列中的风险评估值的方法及设备
Yang et al. Semantic segmentation of satellite images: A deep learning approach integrated with geospatial hash codes
CN115100185A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111862260A (zh) 基于跨域对偶生成式对抗网络的偏见消除方法与装置
CN116562120A (zh) 一种基于rve的涡轮发动机系统健康状况评估方法及装置
CN110928849A (zh) 气象数据的预处理方法、装置、计算机设备和存储介质
CN117290461B (zh) 融合aspp模块与跨模态交互的多模态对话生成方法
CN114548367B (zh) 基于对抗网络的多模态数据的重构方法及装置
CN117036832B (zh) 一种基于随机多尺度分块的图像分类方法、装置及介质
CN111507430B (zh) 基于矩阵乘法的特征编码方法、装置、设备及介质
CN116778505B (zh) 一种汉字识别方法、装置、电子设备及存储介质
CN110069666B (zh) 基于近邻结构保持的哈希学习方法和装置
CN109326324B (zh) 一种抗原表位的检测方法、系统及终端设备
CN116821113A (zh) 时序数据缺失值处理方法、装置、计算机设备及存储介质
CN116884636A (zh) 传染病数据分析方法、装置、计算机设备及存储介质
CN114333069B (zh) 对象的姿态处理方法、装置、设备及存储介质
CN113554549B (zh) 文本图像的生成方法、装置、计算机设备和存储介质
Yu et al. Integrating Spatio-Temporal and Generative Adversarial Networks for Enhanced Nowcasting Performance
CN113591840B (zh) 一种目标检测方法、装置、设备和存储介质
CN114722916A (zh) 最大化模态一致性的多模态数据分析方法及装置
Shao et al. A Generic Block-Level Error Confinement Technique for Memory Based on Principal Component Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant