CN117152578A - 基于变分推断的不完整多视图数据预测方法及系统 - Google Patents
基于变分推断的不完整多视图数据预测方法及系统 Download PDFInfo
- Publication number
- CN117152578A CN117152578A CN202311425952.3A CN202311425952A CN117152578A CN 117152578 A CN117152578 A CN 117152578A CN 202311425952 A CN202311425952 A CN 202311425952A CN 117152578 A CN117152578 A CN 117152578A
- Authority
- CN
- China
- Prior art keywords
- view
- distribution
- features
- joint
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000009826 distribution Methods 0.000 claims abstract description 118
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 17
- 238000012512 characterization method Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000002902 bimodal effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于变分推断的不完整多视图数据预测方法及系统，涉及数据处理技术领域。本发明通过为每个视图数据设计和训练特定编码器，分别学习每个视图的独特分布，更好地适应具有分布异质性的多视图建模任务，为进一步分析和处理多视图数据提供了更可靠的基础。此外，本发明对带有缺失值的视图，既不删除带有缺失值的多视图对象，又不使用可能会引入噪声的填补策略，从而灵活地利用不完整的视图进行建模，提高数据的利用率。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于变分推断的不完整多视图数据预测方法及系统。
背景技术
在大数据时代，各种数据信息被实时记录并可以被采集利用，使得同一个对象可以从多个数据源和视图特征维度进行描述，形成多视图数据。多视图数据是指来自多个视图的数据集合，每个视图代表描述同一个对象的每个不同方面。例如，在医学诊断中，有多个医学视图数据：患者的临床病历、影像学数据和实验室检验结果。然而，在实际应用中，由于数据源的分散性、无法预测的事件、数据采集器的暂时故障或人为失误等，可能导致并非所有视图数据都是存在的并且可以获取到，这种情况会导致某些视图中的数据全部缺失，从而使得多视图数据变得不完整。
在处理不完整多视图数据时，通常有两种策略。一种是删除具有缺失数据的对象只保留无缺失数据的对象，另一种是使用各种填补策略来填补具有缺失数据的对象。然而，这两种策略在实践中都存在一些限制。删除具有缺失数据的对象可能会导致丢失非缺失数据视图中有价值的信息。此外，当视图数据较为稀疏时，删除策略可能会显著减少样本大小，从而影响数据分析的可靠性。填补策略通常适用于随机缺失的情况，并且当缺失数据的数量较大时，填补可能会引入更多的噪声，从而对不完整多视图的建模产生不利影响。
通过上述描述可知，现有的处理不完整多视图数据的方法存在限制，处理效果较差。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种基于变分推断的不完整多视图数据预测方法及系统，解决了现有的处理不完整多视图数据的方法存在限制，处理效果较差的技术问题。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，本发明提供一种基于变分推断的不完整多视图数据预测方法，包括：
S1、获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征；
S2、通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征，其中，所述视图特定编码器为针对每个视图数据设计和训练的特定编码器；
S3、融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征；
S4、通过预先训练的视图解码器将联合表征映射到最终的状态。
优选的，所述S1包括：
S101、收集不完整若干视图数据，从不完整若干视图数据中提取各视图的视图特征；
S102、对各个视图的视图特征进行标准化处理；
S103、对于视图间的视图特征缺失值，将其填补为一个常数值作为缺失值标记。
优选的，所述预先构建的视图特定编码器为第一神经网络，包括全连接层、激活函数和BatchNorm1d层。
优选的，所述预先构建的视图特定编码器在训练过程中的损失函数包括散度损失函数和二元交叉熵损失函数，其具体表达式如下：
式中，表示第v个视图特征的边际后验分布；/>表示第v个视图特征的先验分布，先验分布被指定为标准高斯分布；/>分别表示第v个视图特征的边际后验分布的均值矩阵、方差矩阵；/>分别表示第v个视图特征的先验分布的均值矩阵、方差矩阵，/>表示第v个视图特征的边际后验的散度损失；
式中，表示真实的最终状态数据；/>表示第v个视图的特定视图编码器的预测输出数据；w表示权重因子；/>表示第v个视图的特定编码器的二元交叉熵损失。
优选的，所述预先训练的视图解码器为第二神经网络，所述预测方法在训练过程中的损失函数包括：
其中，
式中，表示视图解码器的输出数据；/>表示视图解码器的二元交叉熵损失；表示联合后验分布；/>表示联合先验分布，联合先验分布被指定为标准高斯分布；/>分别表示联合后验分布的均值矩阵、方差矩阵；/>分别表示联合先验分布的均值矩阵、方差矩阵；/>是一个正则化参数；/>表示联合后验的散度损失。
优选的，所述S2包括：
S201、通过预先训练的视图特定编码器中的全连接层和激活函数对每个视图的视图特征进行处理，得到每个视图特征的中间表示；
S202、当中间表示分布稳定且各个特征之间的尺度无差异，则直接执行S203，当中间表示分布不稳定或者各个特征之间的尺度有差异，则将视图特征的中间表示经过预先训练的视图特定编码器中的BatchNorm1d层进行归一化处理；
S203、经过线性层计算每个视图特征的均值矩阵和方差矩阵，所述均值矩阵和方差矩阵构成每个视图特征的潜在表征的边际后验分布，具体为：
当中间表示经过归一化处理，其公式如下：
当中间表示未经过归一化处理，其公式如下：
式中，表示第一个线性层处理，/>表示第二个线性层处理，/>表示层归一化处理，/>为第/>个视图特征的均值矩阵，/>为第/>个视图特征的方差矩阵，d表示模态特征一致后的维度。
优选的，所述S3包括：
S301、将每个视图特征的潜在表征的边际后验分布作为输入，设/>是为每个视图特征的缺失状态定义的掩码变量，若视图特征的均值为缺失值标记值，掩码识别为这个视图特征是缺失的视图特征，/>，否则，当视图特征完整时，/>；在视图特征缺失屏蔽机制下，联合后验分布的均值矩阵/>和方差矩阵/>由以下公式给出：
通过视图缺失掩码，视图融合模块在学习联合后验分布的过程中忽略了缺失的视图特征，只从非缺失的视图特征中进行学习；
S302、由于每个视图的潜在表征都来自其相应的边际后验，联合表征被设计为来自所有边际后验的联合后验；联合后验定义为：
式中，C表示一个归一化常数；
鉴于高斯的乘积本身就是高斯，推导出联合后验为：
S303、在得到联合后验后，利用重参数化技巧从联合后验分布中进行采样得到联合表征z；具体包括：通过重参数化技巧/>中抽出一个噪声项/>，并计算出以下联合表征：
。
第二方面，本发明提供一种基于变分推断的不完整多视图数据预测系统，包括：
视图预处理模块，用于获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征；
视图特定编码器模块，用于通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征，其中，所述视图特定编码器为针对每个视图数据设计和训练的特定编码器；
视图融合模块，用于融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征；
视图解码器模块，用于通过预先训练的视图解码器将联合表征映射到最终的状态。
第三方面，本发明提供一种计算机可读存储介质，其存储用于基于变分推断的不完整多视图数据预测的计算机程序，其中，所述计算机程序使得计算机执行如上述所述的基于变分推断的不完整多视图数据预测方法。
第四方面，一种电子设备，包括：
一个或多个处理器，存储器，以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上述所述的基于变分推断的不完整多视图数据预测方法。
（三）有益效果
本发明提供了一种基于变分推断的不完整多视图数据预测方法及系统。与现有技术相比，具备以下有益效果：
本发明通过获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征；通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征，其中，所述视图特定编码器为针对每个视图数据设计和训练的特定编码器；融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合这些带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征；通过预先训练的视图解码器将联合表征映射到最终的状态。本发明通过为每个视图数据设计和训练的特定编码器，分别学习每个视图的独特分布，更好地适应具有分布异质性的多视图建模任务，为进一步分析和处理多视图数据提供了更可靠的基础。此外，本发明对带有缺失值视图，既不删除带有缺失值的多视图对象，又不使用可能会引入噪声的填补策略，从而灵活地利用不完整的视图进行建模，提高数据的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例为基于变分推断的不完整多视图数据预测方法的框图；
图2为本发明实施例中基于变分推断的不完整多视图数据预测方法的具体流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于变分推断的不完整多视图数据预测方法及系统，解决了现有的处理不完整多视图数据的方法存在限制，处理效果较差的技术问题，实现在既不删除带有缺失值的视图数据对象又不使用填补策略引进噪声的前提下，有效的利用不完整多视图进行建模并且在建模的过程中识别不同视图之间的异质性。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
不完整的多视图数据是指一个对象的多视图数据中，一个或多个视图存在缺失或不可用的信息。并且，每个数据视图可能具有独特的数据分布和与最终状态的关系不同，在本发明实施例中将这种不同的视图数据的分布规律和不同的关系称为数据视图之间的异质性，不考虑视图之间的异质性可能导致信息偏差、方法不稳定性、决策偏误和数据集成困难等问题。多视图数据可以从不同的角度描述对象，每个视图可能提供独特的信息，即使某些视图中存在数据缺失，其他完整的视图仍然可以提供有价值的信息，方法仍然能够从其他视图中学习到有意义的模式和关系，减少对单一视图的依赖。如以下两个现有技术：（1）公开号为CN113221974A，名称为一种交叉图匹配不完整多视图聚类方法及系统的专利，这项专利提出了一种交叉图匹配不完整多视图聚类方法。该方法针对不完整的多模态数据，如网页数据或多媒体数据，建立了不完整多模态数据的缺失值填充模型；专利建立了不完整多模态数据的交叉图匹配模型，并且将缺失值填充模型和交叉图匹配模型的目标函数相结合，建立了交叉图匹配不完整多视图聚类模型。这个模型利用缺失值填充和交叉图匹配的结果来进行聚类操作，以实现对数据的有效分类和聚集。（2）Arya N, Saha S.Generative incomplete multi-view prognosis predictor for breast cancer: GIMPP[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2021,19(4): 2252-2263.该文献中给出了一种新的生成不完全多视图预后预测方法。它通过基于跨模态注意力的GAN模型填充基于公共子空间的不完整视图。此外，它进一步采用互补的不完整观点来研究一致的共同结构。一个名为GIMPP的两阶段生成不完全多视图预测模型，通过显式生成缺失数据来解决乳腺癌预后预测的缺失视图问题。第一阶段结合多视图编码器网络和双模态注意力方案，通过利用不同视图之间的互补知识来学习共同的潜在空间表示。第二阶段使用特定于视图的生成对抗网络生成缺失的视图数据，该网络的条件是其他视图给出的共享表示和编码视图特征。其提出的两阶段生成不完全多视图预测模型是三个子模型的组合：多视图自编码网络、双模态注意力层和特定视图生成对抗网络。
上述的现有技术存在以下缺陷：
（1）现有技术通过额外的策略来处理缺失的视图，例如删除策略和填补策略（不完整多模态数据的缺失值填充模型，使用特定于视图的生成对抗网络生成缺失的视图数据），但这可能会丢失信息或注入噪声，导致生成的视图数据与真实的完整视图之间存在一定的偏差，这种偏差可能会影响到后续的多视图数据分析和建模过程中，影响最终的结果和决策，并且对缺失值进行填补可能需要大量的计算资源和时间，特别是当数据集很大或视图特征较多时，会增加计算成本和复杂性。
（2）现有技术没有专门考虑数据视图之间的异质性，未识别视图之间的异质性。不同的数据视图可能具有不同的分布、视图特征表示或信息含量，而忽略这些异质性可能导致建模结果的局限性。
通过上述描述可知，现有方法在处理不完整多视图数据时可能存在一些局限性，无法很好地解决数据视图之间的异质性和不完整性。相比之下，本发明实施例提出的基于变分推断的不完整多视图数据预测方法及系统通过引入视图特定的编码器、掩码等关键技术点，能够对每个视图分别建模以识别不同视图之间的异质性，灵活地处理不完整多视图数据，既不删除带有缺失数据的对象，又不使用填补策略，从而提高不完整多视图建模的准确性和完整性。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供一种基于变分推断的不完整多视图数据预测方法，如图1所示，该方法包括：
S1、获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征；
S2、通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征，其中，所述视图特定编码器为针对每个视图数据设计和训练的特定编码器；
S3、融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征；
S4、通过预先训练的视图解码器将联合表征映射到最终的状态。
本发明实施例通过为每个视图数据设计和训练的特定编码器，分别学习每个视图的独特分布和与最终状态的关系，更好地适应具有异质性的多视图建模任务，为进一步分析和处理多视图数据提供了更可靠的基础。此外，本发明实施例对带有缺失值视图，既不删除带有缺失值的多视图对象，又不使用可能会引入噪声的填补策略，从而灵活地利用不完整的视图进行建模，提高数据的利用率。
下面对各个步骤进行详细说明：
基于变分推断的不完整多视图数据预测方法的具体流程如图2所示。
在步骤S1中，获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征。具体实施过程如下：
S101、收集不完整多视图数据，从不完整多视图数据中提取各视图的视图特征。
假设本发明实施例每个样本有n个视图（其中各个视图的数据不一定全部完整）。
S102、对各个视图的视图特征进行标准化：对每个视图的视图特征进行标准化处理，使其具有相似的尺度，例如使用离差标准化方法进行标准化处理。
S103、对每个视图间的视图特征缺失值进行处理：对于视图间的视图特征缺失值，将其填补为一个较小的常数值（），这里的填补并不意味着传统上真正的缺失值填补，它只是一个缺失值的标识，以便后续掩码能识别到这个是缺失的视图数据，确保更准确的使用掩码进行视图数据的融合。
在步骤S2中，通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征。具体实施过程如下：
本发明实施例中的视图特定编码器为第一神经网络，该神经网络包括全连接层、激活函数和BatchNorm1d层等。该神经网络需要训练，在训练过程中，引入规则化，其目的是确保方法在学习过程中的先验数据分布接近于标准正态分布。这是因为神经网络在训练过程中可能会产生各种各样的分布，导致过度拟合问题：一方面，在训练过程中通常会涉及到一个重要的降维步骤，即从输入数据（）映射到一个较低维度的潜在表征（记作/>），如果在这个降维过程中没有引入适当的正则化损失，很可能会导致在潜在空间中缺乏明确的可解释性和可利用性的结构；另一方面，构建潜在表征映射不仅要降低数据维度，更重要的是保留数据的信息内容，同时抑制噪声和无关信息的影响，这意味着我们需要在学习过程中找到一个平衡，既能够减少数据的维度，又能够确保数据的主要信息得以保留，以及过滤掉噪声和不相关的信息。
为了在潜在空间中获得足够的规则性，本发明实施例使用通过Kullback-Leibler（KL，散度）损失的正则化损失作为损失函数的另一部分，KL损失表示为，衡量一个概率分布P与第二个参考概率分布Q的不同，在这里，概率分布/>代表每个视图特征的边际后验/>，而概率分布/>代表其先验，即/>。KL分歧越小，后验与其相应的先验之间的一致性就越好，先验被指定为标准高斯分布。本发明实施例通过强制视图特定编码器返回的边际后验接近于标准正态分布来引入规则化。具体损失/>如下：
其中，表示第v个视图特征的边际后验分布；/>表示第v个视图特征的先验分布，先验分布被指定为标准高斯分布；/>分别表示第v个视图特征的边际后验分布的均值矩阵、方差矩阵；/>分别表示第v个视图特征的先验分布的均值矩阵、方差矩阵。
通过引入先验分布，将边际后验分布调整为接近于标准正态分布，以增强方法的泛化性能和稳定性。
进一步的，为了指导视图特定编码器模块以最能准确地学习最终状态结果的方式学习每个视图的分布，本发明实施例还为每个特定视图编码器增加了BCE（二元交叉熵）损失：
式中，表示真实的最终状态数据；/>表示第v个视图的特定视图编码器的预测输出数据；w表示权重因子，用于平衡正负样本之间的损失贡献。
通过带有缺失值标记的视图特征对神经网络进行不断地训练和优化，当其损失在一定的阈值之内，保存神经网络参数，得到视图特定编码器。视图特定编码器的训练过程为现有技术，此处不再赘述。
S201、通过预先训练的视图特定编码器中的全连接层和激活函数对每个视图的视图特征进行处理，得到每个视图特征的中间表示。包括：
对每个视图的视图特征应用全连接层和激活函数。以第个视图为例：将第/>个视图特征经过全连接层和激活函数层（其中全连接层和激活函数层都可以根据视图数据的特点来选择）：
式中，第每l层神经元的神经网络的向前传播输入，/>为第l层的输出；为第l层的权重矩阵；/>为第l层的偏置向量；/>为激活函数；/>为第/>个视图特征的中间表示。
S202、将视图特征的中间表示经过预先训练的视图特定编码器中的BatchNorm1d层（根据视图数据的分布是否稳定、各个特征之间的尺度差异区别是否较大来选择是否需要BatchNorm1d层）对每个视图的中间表示进行归一化处理，BatchNorm1d层将每个特征维度的值归一化到接近于标准正态分布，有助于减少梯度消失和爆炸问题，并且在一定程度上充当了正则化的效果，有助于减少过拟合。
S203、经过线性层计算每个视图特征的均值矩阵和方差矩阵，所述均值矩阵和方差矩阵构成每个视图特征的潜在表征的边际后验分布，具体为：
当中间表示经过归一化处理，其公式如下：
当中间表示未经过归一化处理，其公式如下：
式中，表示第一个线性层处理，/>表示第二个线性层处理，/>表示层归一化处理，/>为第/>个视图特征的均值矩阵，/>为第/>个视图特征的方差矩阵，d表示模态特征一致后的维度。
在具体实施过程中，使用上述S201、S202、S203的神经网络的层次，以为参数用神经网络估计得到第v个视图特征的边际后验分布的均值矩阵(/>)和第v个视图特征的边际后验分布的方差矩阵(/>)，即/>。第v个视图特征的潜在表征/>是从第v个视图特征的边际后验中提取的，第v个视图特征的边际后验定义为/>，其中，它由高斯分布建模，它的映射过程能够去除/>的噪音和不相关的信息，这些估计将在后续的视图融合步骤中使用。
式中，表示第v个视图特征的边际后验，/>表示第v个视图的特定编码器的网络参数，/>表示第v个视图特征的均值矩阵和方差矩阵，d表示模态特征一致后的维度，N表示N个样本。
在步骤S3中，融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征。具体实施过程如下：
S301、将每个视图特征的潜在表征的边际后验分布作为输入，用于视图融合。
在融合中，根据缺失值掩码机制（即掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合表征），忽略缺失的视图特征，只使用具有信息的视图特征进行学习，以提高方法的鲁棒性和泛化性能。设是为每个视图特征的缺失状态定义的掩码变量，若视图特征的均值为/>，掩码识别为这个视图特征是缺失的视图特征，/>，否则，当视图特征完整时/>。在视图特征缺失屏蔽机制下，联合后验分布的均值矩阵/>和方差矩阵/>由以下公式给出：
通过视图缺失掩码，视图融合模块在学习联合后验分布的过程中忽略了缺失的视图特征，只从有信息的（非缺失的）视图特征中进行学习。
S302、由于每个视图的潜在表征都来自其相应的边际后验，联合表征可以被设计为来自所有边际后验的联合后验。联合后验可以定义为：
其中C表示一个归一化常数。
鉴于高斯的乘积本身就是高斯，可以推导出联合后验为：
S303、在得到联合后验后，利用重参数化技巧从联合后验分布中进行采样得到联合表征z。具体来说，通过重参数化技巧从/>中抽出一个噪声项/>，并计算出以下联合表征：
在步骤S4中，通过预先训练的视图解码器将联合表征映射到最终的状态。具体实施过程如下：
将联合表征输入到视图解码器中，使用参数为的神经网络进行映射，将联合表征/>映射到最终结果的/>，即/>。
是一个定义为最终状态的二元随机变量。
在具体实施过程中，该预先训练的视图解码器为第二神经网络，该神经网络包括全连接层、激活函数和BatchNorm1d层等。该神经网络需要训练，在训练过程中，使用二元交叉熵损失函数来衡量神经网络的准确性，促使视图解码器输出接近真实标签。
式中，表示真实的最终状态数据，/>表示视图解码器的输出数据。
进一步，为了使神经网络输出更加接近真实标签，引入正则化项，通过计算联合后验和联合先验之间的KL散度，作为复杂性的损失函数。KL损失表示为，衡量一个概率分布P与第二个参考概率分布Q的不同，概率分布/>代表联合后验/>，而概率分布代表其先验，即/>，先验被指定为标准高斯分布。具体的损失函数/>如下：
其中，表示联合后验分布；/>表示联合先验分布，联合先验分布被指定为标准高斯分布；/>分别表示联合后验分布的均值矩阵、方差矩阵；/>分别表示联合先验分布的均值矩阵、方差矩阵。总体损失函数：考虑到每个视图的BCE损失和KL损失、联合分布的KL损失和最终状态结果的BCE损失，得到总体损失函数/>：
其中，是一个正则化参数，用于平衡准确性和复杂性。
通过联合表征对神经网络进行不断地训练和优化，当其总体损失在一定的阈值之内，保存神经网络参数，得到视图解码器。视图解码器的训练过程为现有技术，此处不再赘述。
需要说明的是，本发明实施例的基于变分推断的不完整多视图数据预测方法可以应用于各种具有不完整的多视图领域，例如医学影像分析、智能交通预测等，通过利用多个具有分布和缺失值异质性数据的视图信息，提高预测的准确性和完整性。
本发明实施例提供还提供一种基于变分推断的不完整多视图数据预测系统，该系统包括：
视图预处理模块，用于获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征；
视图特定编码器模块，用于通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征，其中，所述视图特定编码器为针对每个视图数据设计和训练的特定编码器；
视图融合模块，用于融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征；
视图解码器模块，用于通过预先训练的视图解码器将联合表征映射到最终的状态。
可理解的是，本发明实施例提供的基于变分推断的不完整多视图数据预测系统与上述基于变分推断的不完整多视图数据预测方法相对应，其有关内容的解释、举例、有益效果等部分可以参考基于变分推断的不完整多视图数据预测方法中的相应内容，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，其存储用于基于变分推断的不完整多视图数据建模的计算机程序，其中，所述计算机程序使得计算机执行如上述所述的基于变分推断的不完整多视图数据预测方法。
本发明实施例还提供一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上述所述的基于变分推断的不完整多视图数据预测方法。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例通过为每个视图数据设计和训练的特定编码器，分别学习每个视图的独特分布，更好地适应具有分布异质性的多视图建模任务，为进一步分析和处理多视图数据提供了更可靠的基础。
2、本发明实施例对带有缺失值视图，既不删除带有缺失值的多视图对象，又不使用可能会引入噪声的填补策略，从而灵活地利用不完整的视图进行建模，提高数据的利用率。
3、通过学习每个视图的独特分布以及处理和融合不完整多视图数据，简化了不完整多视图建模的操作和过程，能够更加简便高效地对不完整多视图进行建模。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术视图特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于变分推断的不完整多视图数据预测方法，其特征在于，包括：
S1、获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征；
S2、通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征，其中，所述视图特定编码器为针对每个视图数据设计和训练的特定编码器；
S3、融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征；
S4、通过预先训练的视图解码器将联合表征映射到最终的状态。
2.如权利要求1所述的基于变分推断的不完整多视图数据预测方法，其特征在于，所述S1包括：
S101、收集不完整若干视图数据，从不完整若干视图数据中提取各视图的视图特征；
S102、对各个视图的视图特征进行标准化处理；
S103、对于视图间的视图特征缺失值，将其填补为一个常数值作为缺失值标记。
3.如权利要求1所述的基于变分推断的不完整多视图数据预测方法，其特征在于，所述预先构建的视图特定编码器为第一神经网络，包括全连接层、激活函数和BatchNorm1d层。
4.如权利要求3所述的基于变分推断的不完整多视图数据预测方法，其特征在于，所述预先构建的视图特定编码器在训练过程中的损失函数包括散度损失函数和二元交叉熵损失函数，其具体表达式如下：
式中，表示第v个视图特征的边际后验分布；/>表示第v个视图特征的先验分布，先验分布被指定为标准高斯分布；/>分别表示第v个视图特征的边际后验分布的均值矩阵、方差矩阵；/>分别表示第v个视图特征的先验分布的均值矩阵、方差矩阵，/>表示第v个视图特征的边际后验的散度损失；
式中，表示真实的最终状态数据；/>表示第v个视图的特定视图编码器的预测输出数据；w表示权重因子；/>表示第v个视图的特定编码器的二元交叉熵损失。
5.如权利要求4所述的基于变分推断的不完整多视图数据预测方法，其特征在于，所述预先训练的视图解码器为第二神经网络，所述预测方法在训练过程中的损失函数包括：
其中，
式中，表示视图解码器的输出数据；/>表示视图解码器的二元交叉熵损失；/>表示联合后验分布；/>表示联合先验分布，联合先验分布被指定为标准高斯分布；分别表示联合后验分布的均值矩阵、方差矩阵；/>分别表示联合先验分布的均值矩阵、方差矩阵；/>是一个正则化参数；/>表示联合后验的散度损失。
6.如权利要求3所述的基于变分推断的不完整多视图数据预测方法，其特征在于，所述S2包括：
S201、通过预先训练的视图特定编码器中的全连接层和激活函数对每个视图的视图特征进行处理，得到每个视图特征的中间表示；
S202、当中间表示分布稳定且各个特征之间的尺度无差异，则直接执行S203，当中间表示分布不稳定或者各个特征之间的尺度有差异，则将视图特征的中间表示经过预先训练的视图特定编码器中的BatchNorm1d层进行归一化处理；
S203、经过线性层计算每个视图特征的均值矩阵和方差矩阵，所述均值矩阵和方差矩阵构成每个视图特征的潜在表征的边际后验分布，具体为：
当中间表示经过归一化处理，其公式如下：
当中间表示未经过归一化处理，其公式如下：
式中，表示第一个线性层处理，/>表示第二个线性层处理，/>表示层归一化处理，/>为第/>个视图特征的均值矩阵，/>为第/>个视图特征的方差矩阵，d表示模态特征一致后的维度。
7.如权利要求1~6任一所述的基于变分推断的不完整多视图数据预测方法，其特征在于，所述S3包括：
S301、将每个视图特征的潜在表征的边际后验分布作为输入，设/>是为每个视图特征的缺失状态定义的掩码变量，若视图特征的均值为缺失值标记值，掩码识别为这个视图特征是缺失的视图特征，/>，否则，当视图特征完整时，/>；在视图特征缺失屏蔽机制下，联合后验分布的均值矩阵/>和方差矩阵/>由以下公式给出：
通过视图缺失掩码，视图融合模块在学习联合后验分布的过程中忽略了缺失的视图特征，只从非缺失的视图特征中进行学习；
S302、由于每个视图的潜在表征都来自其相应的边际后验，联合表征被设计为来自所有边际后验的联合后验；联合后验定义为：
式中，C表示一个归一化常数；
鉴于高斯的乘积本身就是高斯，推导出联合后验为：
S303、在得到联合后验后，利用重参数化技巧从联合后验分布中进行采样得到联合表征z；具体包括：通过重参数化技巧从/>中抽出一个噪声项/>，并计算出以下联合表征：
。
8.一种基于变分推断的不完整多视图数据预测系统，其特征在于，包括：
视图预处理模块，用于获取多视图数据并对视图数据进行处理，得到带有缺失值标记的视图特征；
视图特定编码器模块，用于通过预先构建的视图特定编码器将带有缺失值标记的视图特征映射为从多元高斯分布中提取的潜在表征，其中，所述视图特定编码器为针对每个视图数据设计和训练的特定编码器；
视图融合模块，用于融合各个潜在表征的边际后验分布，融合过程中通过掩码识别带有缺失值标记的视图特征，在融合时不融合带有缺失值标记的视图特征，只融合不缺失的视图特征，得到所有视图的联合后验分布，从联合后验分布中采样得到所有视图的联合表征；
视图解码器模块，用于通过预先训练的视图解码器将联合表征映射到最终的状态。
9.一种计算机可读存储介质，其特征在于，其存储用于基于变分推断的不完整多视图数据预测的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1~7任一所述的基于变分推断的不完整多视图数据预测方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器，存储器，以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1~7任一所述的基于变分推断的不完整多视图数据预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311425952.3A CN117152578A (zh) | 2023-10-31 | 2023-10-31 | 基于变分推断的不完整多视图数据预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311425952.3A CN117152578A (zh) | 2023-10-31 | 2023-10-31 | 基于变分推断的不完整多视图数据预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117152578A true CN117152578A (zh) | 2023-12-01 |
Family
ID=88903124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311425952.3A Pending CN117152578A (zh) | 2023-10-31 | 2023-10-31 | 基于变分推断的不完整多视图数据预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152578A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132186A (zh) * | 2020-08-26 | 2020-12-25 | 安徽工业大学 | 一种存在部分缺失和未知类别标记的多标记分类方法 |
| CN113591920A (zh) * | 2021-06-30 | 2021-11-02 | 安徽工业大学 | 一种处理特征和标记同时缺失的多标记分类方法 |
| EP4134871A1 (en) * | 2021-08-13 | 2023-02-15 | Microsoft Technology Licensing, LLC | Identifiable generative models for missing not at random data imputation |
| CN116205227A (zh) * | 2023-03-17 | 2023-06-02 | 东南大学 | 一种基于变分推断理论的关键词生成方法及系统 |
| CN116884529A (zh) * | 2023-08-10 | 2023-10-13 | 上海天鹜科技有限公司 | 基于多视图神经网络变分自编码器的分子骨架跃迁方法 |
-
2023
- 2023-10-31 CN CN202311425952.3A patent/CN117152578A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132186A (zh) * | 2020-08-26 | 2020-12-25 | 安徽工业大学 | 一种存在部分缺失和未知类别标记的多标记分类方法 |
| CN113591920A (zh) * | 2021-06-30 | 2021-11-02 | 安徽工业大学 | 一种处理特征和标记同时缺失的多标记分类方法 |
| EP4134871A1 (en) * | 2021-08-13 | 2023-02-15 | Microsoft Technology Licensing, LLC | Identifiable generative models for missing not at random data imputation |
| CN116205227A (zh) * | 2023-03-17 | 2023-06-02 | 东南大学 | 一种基于变分推断理论的关键词生成方法及系统 |
| CN116884529A (zh) * | 2023-08-10 | 2023-10-13 | 上海天鹜科技有限公司 | 基于多视图神经网络变分自编码器的分子骨架跃迁方法 |
Non-Patent Citations (3)
| Title |
|---|
| LEE C: ""A Variational Information Bottleneck Approach to Multi-Omics Data Integration"", 《ARXIV》, pages 1 - 17 * |
| 谢胜利: ""基于分布对齐变分自编码器的深度多视图聚类"", 《计算机学报》, pages 1 - 15 * |
| 鸿神: ""5.Pandas处理缺失值"", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/qq_45488242/article/details/107433319> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633265B (zh) | 用于优化信用评估模型的数据处理方法及装置 | |
| Chen et al. | Selecting critical features for data classification based on machine learning methods | |
| CN109583332B (zh) | 人脸识别方法、人脸识别系统、介质及电子设备 | |
| CN110968701A (zh) | 用于图神经网络的关系图谱建立方法以及装置、设备 | |
| CN111127364B (zh) | 图像数据增强策略选择方法及人脸识别图像数据增强方法 | |
| CN114647741A (zh) | 工艺自动决策和推理方法、装置、计算机设备及存储介质 | |
| Zhu et al. | Age estimation algorithm of facial images based on multi-label sorting | |
| CN114743037A (zh) | 一种基于多尺度结构学习的深度医学图像聚类方法 | |
| CN113989574B (zh) | 图像解释方法、图像解释装置、电子设备和存储介质 | |
| CN113496148A (zh) | 一种多源数据融合方法及系统 | |
| Xiang et al. | Concept Drift Adaptation Methods under the Deep Learning Framework: A Literature Review | |
| CN114328942A (zh) | 关系抽取方法、装置、设备、存储介质和计算机程序产品 | |
| CN111161238A (zh) | 图像质量评价方法及装置、电子设备、存储介质 | |
| Zhang et al. | VESC: a new variational autoencoder based model for anomaly detection | |
| CN117152578A (zh) | 基于变分推断的不完整多视图数据预测方法及系统 | |
| CN115762721A (zh) | 一种基于计算机视觉技术的医疗影像质控方法和系统 | |
| CN111860441B (zh) | 基于无偏深度迁移学习的视频目标识别方法 | |
| CN114118526A (zh) | 一种企业风险预测方法、装置、设备及存储介质 | |
| CN113947185A (zh) | 任务处理网络生成、任务处理方法、装置、电子设备及存储介质 | |
| Ahmed et al. | Robust adversarial uncertainty quantification for deep learning fine-tuning | |
| Tu et al. | A novel grey relational clustering model under sequential three-way decision framework | |
| Suyal et al. | An Agile Review of Machine Learning Technique | |
| CN113822309B (zh) | 用户的分类方法、装置和非易失性计算机可读存储介质 | |
| Kavitha et al. | Zero shot image classification system using an optimized generalized adversarial network | |
| Zhu et al. | Naïve Bayes classifier based on reliability measurement for datasets with noisy labels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |