CN114548367A - 基于对抗网络的多模态数据的重构方法及装置 - Google Patents
基于对抗网络的多模态数据的重构方法及装置 Download PDFInfo
- Publication number
- CN114548367A CN114548367A CN202210051700.8A CN202210051700A CN114548367A CN 114548367 A CN114548367 A CN 114548367A CN 202210051700 A CN202210051700 A CN 202210051700A CN 114548367 A CN114548367 A CN 114548367A
- Authority
- CN
- China
- Prior art keywords
- data
- modal
- reconstruction
- loss
- resource object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000011176 pooling Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 3
- 230000009469 supplementation Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Complex Calculations (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。所述方法包括：利用利用初始对抗网络中编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；根据解码器进行解码，得到资源对象的重构数据；利用资源对象的多模态原始数据和重构数据建立均方差重构损失；根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的初始对抗网络对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。采用本方法能够能够重构缺失的多模态数据。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。
背景技术
在现代信息环境下，可用于态势感知的传感器类型多、数据量大。这些传感器形成的数据(例如雷达频谱、目标点迹航迹、态势以及报文描述等)表现为多模态数据。每个模态都可能提供一定的有用信息，但又难以提供较为完整准确的信息。这些信息有一定的互补性，同时又有严重的冗余和分歧。因此，在强对抗环境下，有效融合多种情报来源的多模态数据是及时准确把握瞬息万变的整体态势的必要手段，针对场景中大量存在的不完整多模态资源对象，主要挑战包括两方面：多模态与数据缺失。
然而，现有对于解决缺失的多模态数据方法主要集中在矩阵分解和核方法，这些方法采用浅层的线性变换将不完整多模态数据转换到同一语义共享子空间进行多模态融合分析，然而当模态间数据分布或语义偏差较大时，算法有效性受到极大影响，传统的基于矩阵分解的线性模型难以充分捕获多模态特征之间的复杂关联。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决缺失的多模态数据的基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。
一种基于对抗网络的多模态数据的重构方法，所述方法包括：
获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；
将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
在其中一个实施例中，采用GAN生成对抗缺失样本，根据对抗缺失样本进行对抗网络训练，得到初始对抗网络。
在其中一个实施例中，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：
根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；
根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；
将第一均方差重构损失和第二均方差重构损失进行加和，得到均方差重构损失。
在其中一个实施例中，根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，
表示第n个样本的第v个模态完整的多模态数据，
表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据。
在其中一个实施例中，根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，
第n个样本的第v个模态随机缺失的多模态数据，
表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，
表示第n个样本的随机缺失的多模态数据的重构数据。
在其中一个实施例中，获取多模态原始数据的散度损失的过程，包括：
其中，
表示散度损失，pnk表示n个实例到聚类中心k的概率，
表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，
表示第n个样本的第v个模态的统一语义表示空间，
表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
在其中一个实施例中，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
一种基于对抗网络的多模态数据的重构装置，所述装置包括：
获取数据集模块，用于获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
编码平均模块，用于利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
解码模块，用于根据初始对抗网络中的解码器将资源对象从统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
损失计算模块，用于利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
训练模块，用于根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
重构模块，用于利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；
将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；
将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
上述基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质，首先通过初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间，通过将多个低维语义空间联合进行平均池化，将不同模态的信息映射到统一语义表示空间，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，挖掘蕴藏于缺失模态中的潜在分布信息即资源对象的缺失模态数据，通过缺失模态数据对资源对象的多模态原始数据进行重构，本申请通过在不完整多模态资源对象融合过程中，融入了缺失部分模态数据中的有用信息，得到了高质量的语义补充，解决多模态数据随机缺失的问题。
附图说明
图1为一个实施例中基于对抗网络的多模态数据的重构方法的流程示意图；
图2为一个实施例中基于对抗网络的多模态数据的重构装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于对抗网络的多模态数据的重构方法，包括以下步骤：
步骤102，获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据。
多模态原始数据是指用于态势感知的传感器形成的数据，包括雷达数据、遥感数据、目标点迹航迹数据、态势数据以及报文描述数据等，由于数据收集不完整，以及受到环境中的电子干扰、伪装、佯动等反侦察措施，导致目标对象存在模态缺失问题，这些模态的缺失往往表现为随机缺失。
步骤104，利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间。
利用深度神经网络中的编码器将各模态信息映射到各自的低维语义空间，统一语义表示空间用于学习多模态数据，然后联合各模态的语义空间，进行平均池化，达到不同模态对同一语义信息增强，籍此学习多模态数据的统一语义表示空间，该框架具有较好的可扩展性，可针对雷达数据，遥感数据，势态数据等多媒体对象设计适合的深度网络。
步骤106，根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据。
在编码器的基础上，利用解码器学习资源对象从统一语义表示空间映射到各模态数据空间，可以得到资源对象的重构数据。
步骤108，利用资源对象的多模态原始数据和重构数据建立均方差重构损失；根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络。
均方差损失的目标是使多模态原始数据的每个维度重构误差达到最小值，但没有考虑各维度之间的相关性，忽略了原始数据中蕴含的结构。本申请通过添加了散度损失来更衡量多个模态数据之间的差异。
步骤110，利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
利用解码器生成缺失数据，将补全的缺失模态数据放入编码器中，得到不完整多模态资源对象的一致表达。在不完整多模态资源对象融合过程中，融入了缺失部分模态数据中的有用信息，得到了高质量的语义补充，解决多模态数据随机缺失的问题。
上述基于对抗网络的多模态数据的重构方法中，首先通过初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间，通过将多个低维语义空间联合进行平均池化，将不同模态的信息映射到统一语义表示空间，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，挖掘蕴藏于缺失模态中的潜在分布信息即资源对象的缺失模态数据，通过缺失模态数据对资源对象的多模态原始数据进行重构，本申请通过在不完整多模态资源对象融合过程中，融入了缺失部分模态数据中的有用信息，得到了高质量的语义补充，解决多模态数据随机缺失的问题。
在其中一个实施例中，采用GAN生成对抗缺失样本，根据对抗缺失样本进行对抗网络训练，得到初始对抗网络。
在另一个实施例中，对抗网络中包含对抗损失，将资源对象的原始数据和重构数据输入对抗网络中的判别器，可以进一步提升解码器的生成效果。
在其中一个实施例中，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：
根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；
根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；
将第一均方差重构损失和第二均方差重构损失进行加和，得到均方差重构损失。
多模态原始数据集中包含完整的多模态数据和随机缺失的多模态数据，根据两者多模态数据分别构建重构损失，使得得到的均方根损失可以使多模态原始数据的每个维度重构误差达到最小值，利用该均方根损失对编码器和解码器进行训练，可以得到更加精确的编码器和解码器，进而生成更加精确的缺失数据。
在其中一个实施例中，根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，
表示第n个样本的第v个模态完整的多模态数据，
表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据。
在其中一个实施例中，根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，
第n个样本的第v个模态随机缺失的多模态数据，
表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，
表示第n个样本的随机缺失的多模态数据的重构数据。
在其中一个实施例中，获取多模态原始数据的散度损失的过程，包括：
其中，pnk表示n个实例到聚类中心k的概率，
表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，
表示第n个样本的第v个模态的统一语义表示空间，
表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
在其中一个实施例中，根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数为：
L＝LR+αLA+βLD
其中，α、β表示超参。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种基于对抗网络的多模态数据的重构装置，包括：获取数据集模块202、编码平均模块204、解码模块206、损失计算模块208、训练模块210和重构模块212，其中：
获取数据集模块202，用于获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
编码平均模块204，用于利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；
解码模块206，用于根据初始对抗网络中的解码器将资源对象从统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；
损失计算模块208，用于利用资源对象的多模态原始数据和重构数据建立均方差重构损失；
训练模块210，用于根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
重构模块212，利用利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
在其中一个实施例中，采用GAN生成对抗缺失样本，根据对抗缺失样本进行对抗网络训练，得到初始对抗网络。
在其中一个实施例中，损失计算模块208还用于利用资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；将第一均方差重构损失和第二均方差重构损失进行加和，得到均方差重构损失。
在其中一个实施例中，损失计算模块208还用于根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，
表示第n个样本的第v个模态完整的多模态数据，
表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据。
在其中一个实施例中，损失计算模块208还用于根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，
第n个样本的第v个模态随机缺失的多模态数据，
表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，
表示第n个样本的随机缺失的多模态数据的重构数据。
在其中一个实施例中，获取多模态原始数据的散度损失的过程，包括：
其中，pnk表示n个实例到聚类中心k的概率，
表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，
表示第n个样本的第v个模态的统一语义表示空间，
表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
在其中一个实施例中，训练模块210还用于根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
关于基于对抗网络的多模态数据的重构装置的具体限定可以参见上文中对于基于对抗网络的多模态数据的重构方法的限定，在此不再赘述。上述基于对抗网络的多模态数据的重构装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于对抗网络的多模态数据的重构方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于对抗网络的多模态数据的重构方法，其特征在于，所述方法包括：
获取资源对象的多模态原始数据集和初始对抗网络；所述多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
利用初始对抗网络中的编码器对所述多模态原始数据集进行编码，得到多个低维语义空间；
将所述多个低维语义空间联合进行平均池化，得到统一语义表示空间；
根据所述初始对抗网络中的解码器将所述资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到所述资源对象的重构数据；
利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失；
根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
利用所述训练好的对抗网络中的编码器和解码器对所述资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
2.根据权利要求1所述的方法，其特征在于，获取初始对抗网络的过程包括：
采用GAN生成对抗缺失样本，根据所述对抗缺失样本进行对抗网络训练，得到初始对抗网络。
3.根据权利要求1所述的方法，其特征在于，利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：
根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；
根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；
将所述第一均方差重构损失和所述第二均方差重构损失进行加和，得到均方差重构损失。
4.根据权利要求3所述的方法，其特征在于，根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：
其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，
表示第n个样本的第v个模态完整的多模态数据，
表示第n个样本的第v个模态完整的多模态数据的重构数据，gv(zn)表示第n个样本的完整的多模态数据的重构数据。
5.根据权利要求3所述的方法，其特征在于，根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，Mvn表示缺失的数据映射，
第n个样本的第v个模态随机缺失的多模态数据，
表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，
表示第n个样本的随机缺失的多模态数据的重构数据。
6.根据权利要求5所述的方法，其特征在于，获取多模态原始数据的散度损失的过程，包括：
其中，
表示散度损失，pnk表示n个实例到聚类中心k的概率，
表示第v个模态中n个实例到聚类中心k的概率，fk表示编码器函数，
表示第n个样本的第v个模态的统一语义表示空间，
表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。
7.根据权利要求6所述的方法，其特征在于，根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：
根据所述均方差重构损失和多模态原始数据的散度损失构建总损失函数；
对所述总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。
8.一种基于对抗网络的多模态数据的重构装置，其特征在于，所述装置包括：
获取数据集模块，用于获取资源对象的多模态原始数据集和初始对抗网络；所述多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；
编码平均模块，用于利用初始对抗网络中的编码器对所述多模态原始数据集进行编码，得到多个低维语义空间；将所述多个低维语义空间联合进行平均池化，得到统一语义表示空间；
解码模块，用于根据所述初始对抗网络中的解码器将所述资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到所述资源对象的重构数据；
损失计算模块，用于利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失；
训练模块，用于根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；
重构模块，用于利用所述训练好的对抗网络中的编码器和解码器对所述资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210051700.8A CN114548367B (zh) | 2022-01-17 | 2022-01-17 | 基于对抗网络的多模态数据的重构方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210051700.8A CN114548367B (zh) | 2022-01-17 | 2022-01-17 | 基于对抗网络的多模态数据的重构方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114548367A true CN114548367A (zh) | 2022-05-27 |
| CN114548367B CN114548367B (zh) | 2024-02-20 |
Family
ID=81672498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210051700.8A Active CN114548367B (zh) | 2022-01-17 | 2022-01-17 | 基于对抗网络的多模态数据的重构方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114548367B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629374A (zh) * | 2018-05-08 | 2018-10-09 | 深圳市唯特视科技有限公司 | 一种基于卷积神经网络的无监督多模态子空间聚类方法 |
| US20210103770A1 (en) * | 2019-10-02 | 2021-04-08 | Mitsubishi Electric Research Laboratories, Inc. | Multi-Modal Dense Correspondence Imaging System |
| CN112884010A (zh) * | 2021-01-25 | 2021-06-01 | 浙江师范大学 | 基于自编码器的多模态自适应融合深度聚类模型及方法 |
| CN113094566A (zh) * | 2021-04-16 | 2021-07-09 | 大连理工大学 | 一种深度对抗多模态数据聚类方法 |
| WO2021189960A1 (zh) * | 2020-10-22 | 2021-09-30 | 平安科技（深圳）有限公司 | 对抗网络训练、医疗数据补充方法、装置、设备及介质 |
| CN113657272A (zh) * | 2021-08-17 | 2021-11-16 | 山东建筑大学 | 一种基于缺失数据补全的微视频分类方法及系统 |
-
2022
- 2022-01-17 CN CN202210051700.8A patent/CN114548367B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629374A (zh) * | 2018-05-08 | 2018-10-09 | 深圳市唯特视科技有限公司 | 一种基于卷积神经网络的无监督多模态子空间聚类方法 |
| US20210103770A1 (en) * | 2019-10-02 | 2021-04-08 | Mitsubishi Electric Research Laboratories, Inc. | Multi-Modal Dense Correspondence Imaging System |
| WO2021189960A1 (zh) * | 2020-10-22 | 2021-09-30 | 平安科技（深圳）有限公司 | 对抗网络训练、医疗数据补充方法、装置、设备及介质 |
| CN112884010A (zh) * | 2021-01-25 | 2021-06-01 | 浙江师范大学 | 基于自编码器的多模态自适应融合深度聚类模型及方法 |
| CN113094566A (zh) * | 2021-04-16 | 2021-07-09 | 大连理工大学 | 一种深度对抗多模态数据聚类方法 |
| CN113657272A (zh) * | 2021-08-17 | 2021-11-16 | 山东建筑大学 | 一种基于缺失数据补全的微视频分类方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄训华: "基于多模态对抗学习的无监督时间序列异常检测", 计算机研究与发展, vol. 08, no. 2021 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114548367B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Brusatte et al. | Gradual assembly of avian body plan culminated in rapid rates of evolution across the dinosaur-bird transition | |
| WO2021189844A1 (zh) | 多元kpi时间序列的检测方法、装置、设备及存储介质 | |
| CN113159143B (zh) | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 | |
| CN110197195B (zh) | 一种新型面向行为识别的深层网络系统及方法 | |
| CN112016318B (zh) | 基于解释模型的分诊信息推荐方法、装置、设备及介质 | |
| US20180365594A1 (en) | Systems and methods for generative learning | |
| WO2020252911A1 (zh) | 失踪人脸识别方法、装置、计算机设备和存储介质 | |
| CN112560966B (zh) | 基于散射图卷积网络的极化sar图像分类方法、介质及设备 | |
| CN110008482B (zh) | 文本处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN112785542B (zh) | 遥感影像转换网络地图方法、装置、计算机设备和介质 | |
| CN115100185A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111666931B (zh) | 基于混合卷积文字图像识别方法、装置、设备及存储介质 | |
| CN110689230B (zh) | 一种区域的贫困程度确定方法、电子装置及存储介质 | |
| CN111862260A (zh) | 基于跨域对偶生成式对抗网络的偏见消除方法与装置 | |
| Shao et al. | Towards comprehensive monocular depth estimation: Multiple heads are better than one | |
| Tan et al. | Nope-sac: Neural one-plane ransac for sparse-view planar 3d reconstruction | |
| CN110929730A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN117635444A (zh) | 基于辐射差和空间距离的深度补全方法、装置和设备 | |
| CN114548367A (zh) | 基于对抗网络的多模态数据的重构方法及装置 | |
| CN116884636A (zh) | 传染病数据分析方法、装置、计算机设备及存储介质 | |
| CN116821113A (zh) | 时序数据缺失值处理方法、装置、计算机设备及存储介质 | |
| CN113705463B (zh) | 一种基于多尺度门控密集连接的工厂足迹提取方法及系统 | |
| Ren et al. | A novel federated multi-view clustering method for unaligned and incomplete data fusion | |
| CN114722916A (zh) | 最大化模态一致性的多模态数据分析方法及装置 | |
| Long et al. | Polyp segmentation network based on lightweight model and reverse attention mechanisms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |