CN113642716A - 深度变分自编码器模型训练方法、装置、设备和存储介质 - Google Patents
深度变分自编码器模型训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113642716A CN113642716A CN202111013553.7A CN202111013553A CN113642716A CN 113642716 A CN113642716 A CN 113642716A CN 202111013553 A CN202111013553 A CN 202111013553A CN 113642716 A CN113642716 A CN 113642716A
- Authority
- CN
- China
- Prior art keywords
- depth variation
- training
- model
- constructed
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000009826 distribution Methods 0.000 claims abstract description 96
- 230000000007 visual effect Effects 0.000 claims abstract description 75
- 230000003416 augmentation Effects 0.000 claims description 23
- 238000013135 deep learning Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000011478 gradient descent method Methods 0.000 claims description 16
- 238000012800 visualization Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 9
- 238000011426 transformation method Methods 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000011423 initialization method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种深度变分自编码器模型训练方法、装置、计算机设备和存储介质。本申请能够利用可视化图表训练样本对预先构建的深度变分自编码模型进行训练，不需要对图表进行事先标注就可以使得模型自动学习可视化图表训练样本中有价值的特征因子，提高了模型的泛化能力。该方法包括：获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；确定潜变量空间的维度和潜变量空间的因子先验分布；基于维度和因子先验分布，利用可视化图表训练样本对预先构建的深度变分自编码器模型骨架进行训练，以使深度变分自编码器模型骨架生成的重构图表概率分布与可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种深度变分自编码器模型训练方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的发展，可视化软件创作技术逐渐成熟，例如Tableuau，MicrosoftPowerBI等软件极大地简化了可视化图表的创建，能够为新闻文章、商业报告、研究论文等提供直观且数据丰富的可视化图表。
机器学习技术能够从大量图表中识别出有价值的信息，例如图表模式，包括颜色、形状、位置等因子，基于这些因子能够对图表特征进行高效探索。例如目前采用的深度变分自编码器模型(Deep Variational AutoEncoder，VAE)，能够将大量的复杂的图表映射为低维空间，并从低维空间中解耦出多个具有独立语义特征的因子，例如解耦为颜色、形状、位置等因子，进而实现图表特征探索。
然而，在对深度变分自编码器模型进行训练时，往往需要大量样本数据，而对于图表数据库，例如城市的热力图数据，其数据量较小，会导致训练后的模型欠拟合，降低深度变分自编码器模型的泛化能力，难以探索有效特征。
发明内容
基于此，有必要针对上述技术问题，提供一种深度变分自编码器模型训练方法、装置、计算机设备和存储介质。
一种深度变分自编码器模型训练方法，应用于服务器，所述方法包括：
获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，所述预先构建的深度变分自编码器模型骨架包含潜变量空间；
确定所述潜变量空间的维度和所述潜变量空间的因子先验分布；
基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
在其中一个实施例中，所述基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型，包括：
获取基于梯度下降法的深度学习优化器；
基于所述维度、因子先验分布和深度学习优化器，利用所述基于梯度下降法的深度学习优化器以及所述可视化图表训练样本更新所述预先构建的深度变分自编码器模型骨架的模型参数，以使所述基于梯度下降法的深度学习优化器的损失函数值最大化，得到所述训练好的深度变分自编码器模型。
在其中一个实施例中，所述获取可视化图表训练样本之后，所述方法还包括：
利用线性变换方法基于所述可视化图表训练样本构建增广样本；
所述基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型，包括：
基于所述维度、所述因子先验分布和所述深度学习优化器，利用所述增广样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述基于梯度下降法的深度学习优化器的损失函数值最大化，且最优运输损失最小化，得到训练好的深度变分自编码器模型；
其中，所述最优运输损失最小化，是指所述增广数据在所述潜变量空间上预测分布与最有运输路径计算出的分布近似。
在其中一个实施例中，所述利用线性变换方法基于所述可视化图表训练样本构建增广样本，包括：
对于所述可视化图表训练样本中的任意两个可视化图表，利用线性变换公式对所述任意两个可视化图表进行计算，得到线性所述增广样本；其中，所述线性变换公式为：
其中，入为线性增广参数，
为增广样本，X1与X2为所述可视化图表训练样本中的任意两个可视化图表。
在其中一个实施例中，所述方法还包括：
利用泽维尔初始化方法对深度变分自编码器模型骨架进行参数初始化，得到所述预先构建的深度变分自编码器模型骨架。
在其中一个实施例中，所述可视化图表训练样本为独立同分布的样本。
在其中一个实施例中，
所述预先构建的深度变分自编码器模型骨架包括编码器和解码器；所述编码器是基于全卷积神经网络、稠密卷积神经网络或者残差神经网络构建的；所述解码器是基于反卷积算子构建的。
一种深度变分自编码器模型训练装置，所述装置包括：
训练样本获取模块，用于获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，所述预先构建的深度变分自编码器模型骨架包含潜变量空间；
因子先验分布确定模块，用于确定所述潜变量空间的维度和所述潜变量空间的因子先验分布；
模型生成模块，用于基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述深度变分自编码器模型训练方法实施例中的各步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述深度变分自编码器模型训练方法实施例中的各步骤。
上述深度变分自编码器模型训练方法、装置、计算机设备和存储介质，通过获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，预先构建的深度变分自编码器模型骨架包含潜变量空间；确定潜变量空间的维度和潜变量空间的因子先验分布；基于维度和因子先验分布，利用可视化图表训练样本对预先构建的深度变分自编码器模型骨架进行训练，以使预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。该方法能够利用可视化图表训练样本对预先构建的深度变分自编码模型进行训练，不需要对图表进行事先标注就可以使得模型自动学习可视化图表训练样本中有价值的特征因子，提高了模型的泛化能力。
附图说明
图1为一个实施例中深度变分自编码器模型训练方法的应用环境图；
图2为一个实施例中深度变分自编码器模型训练方法的流程示意图；
图3为另一个实施例中深度变分自编码器模型训练方法的网络结构示意图；
图4为一个实施例中深度变分自编码器模型训练装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的深度变分自编码器模型训练方法，可以应用于如图1所示的应用环境中。其中，终端101通过网络与服务器102进行通信。用户可通过终端101对服务器102上运行的模型进行编辑、控制、发送操作命令等。其中，终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种深度变分自编码器模型训练方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：
步骤S201，获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，预先构建的深度变分自编码器模型骨架包含潜变量空间；
其中，可视化图表训练样本是指收集在数据库中的可视化图表，例如折线图、热力图、散点图等；
可选地，在构建训练样本时，可将这些图像统一转换为三通道图像格式作为训练样本。
深度变分自编码模型(Variational autoencoder，VAE)是一种一种非常直观的无监督神经网络方法，由编码器和解码器两部分构成，自编码器是发现数据的一些隐状态(不完整，稀疏，去噪，收缩)表示的模型。更具体地说，输入数据被转换成一个编码向量，其中每个维度表示从数据学到的属性。最重要的是编码器为每个编码维度输出单个值，解码器随后接收这些值并尝试重新创建原始输入。变分自编码器(VAE)提供了描述隐空间(即潜变量空间)观察的概率方式。因此，我们不需要构建一个输出单个值来描述每个隐状态属性的编码器，而是要用编码器描述每个隐属性的概率分布。
在本实施例中，预先构建的深度变分自编码模型骨架是深度变分自编码模型的基本结构，该结构包括潜变量空间。该深度变分自编码模型骨架可以是全卷积神经网络、残差神经网络或稠密卷积神经网络，但要求模型结构的编码器包含卷积运算，解码器包含反卷积运算，且模型可以通过梯度下降法进行训练。
具体地，用户收集可视化图表样本，并预先构建深度变分自编码器模型骨架，将可视化图表样本以及预先构建的深度变分自编码器模型骨架布局在服务器102上。
可选地，服务器102还可以对上述可视化图表样本进行数据清洗，以去除不必要的数据，有利于后续特征提取。
步骤S102，确定潜变量空间的维度和潜变量空间的因子先验分布。
具体地，维度是由用户事先设定的，基于图表的基本输入大小，限制空间维度为128以内的整数。潜变量空间的因子先验分布是用户事先假定的概率分布，一般为正态分布。深度变分自编码器的编码参数为Φ，解码参数为Ψ，潜变量空间的因子分布推断函数为fΦ，通过因子生成输入的生成函数为gΨ。给定输入的图表X，第i个因子Zi的先验分布推断满足正态分布，表示成
其中，q(Zi|X)为图表X的第i个因子Zi所服从的先验分布，(μi，σi)＝fΦ(X)，该式表示图表X的第i个因子的先验分布满足正态分布，其中，μi为第i因子Zi的先验分布的均值，
为第i因子Zi的先验分布的方差，因子表示图表的特征，例如颜色、形状等；通过所有因子Z对输入X的后验生成分布(因子z的后验分布p(X|z))满足p(X|z)＝N(gΨ(z)，1)。
步骤S203，基于维度和因子先验分布，利用可视化图表训练样本对预先构建的深度变分自编码器模型骨架进行训练，以使预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
具体地，受限于上述事先设定的维度和因子先验分布，利用可视化图表训练样本对预先构建的深度变分自编码器模型骨架进行训练，以使预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
上述实施例，通过获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，预先构建的深度变分自编码器模型骨架包含潜变量空间；确定潜变量空间的维度和潜变量空间的因子先验分布；基于维度和因子先验分布，利用可视化图表训练样本对预先构建的深度变分自编码器模型骨架进行训练，以使预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。该方法能够利用可视化图表训练样本对预先构建的深度变分自编码模型进行训练，不需要对图表进行事先标注就可以使得模型自动学习可视化图表训练样本中有价值的特征因子，提高了模型的泛化能力。
在一实施例中，上述步骤S203，包括：获取基于梯度下降法的深度学习优化器；基于上述维度、因子先验分布和深度学习优化器，利用基于梯度下降法的深度学习优化器更新预先构建的深度变分自编码器模型骨架的模型参数以使基于梯度下降法的深度学习优化器的损失函数值最大化，以得到训练好的深度变分自编码器模型。
具体地，深度学习优化器的损失函数值采用变分证据下届(Evidence LowerBound，ELBO)作为损失函数，为了使得预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与可视化图表训练样本的原始概率分布趋于一致，也即使得整个深度变分自编码器的KL散度最小，必须使得变分证据下届最大化，ELBO损失函数为LELBO(X)＝-log p(X|z)+dist(q(zi|X)，N(0，I))其中，p(X|z)和q(z|X)分别表示由因子z得到的图表X的分布和因子z的后验分布，证据下界采用dist函数度量分布之间的距离，除了ELBO损失函数外，还可以选择的函数KL散度作为损失函数。在训练过程中，不断调整网络参数，使得上述ELBO损失函数趋于最大，最终得到训练好的深度变分自编码器模型。
可选地，深度学习优化器采用带动量的随机梯度下降法进行训练，可以选择的深度学习优化器包括但不限于RMSProp或Adam，动量值为算法的超参数，可以选取为0.9。
上述实施例，采用变分证据下届函数作为损失函数，能够得到训练好的深度变分自编码器模型，有利于准确提取训练样本中的数据特征。
在一实施例中，上述步骤S201中的获取可视化图表训练样本之后，还包括：利用线性变换方法基于所述可视化图表训练样本构建增广样本；上述步骤S203包括：基于维度和因子先验分布，利用增广样本对预先构建的深度变分自编码器模型骨架进行训练，以使最优运输损失最小化，得到训练好的深度变分自编码器模型；其中，最优运输损失最小化，是指增广数据在潜变量空间上预测分布与最有运输路径计算出的分布近似。
具体地，服务器在数据的输入空间采用线性变换的方法构造增广样本，然后在潜变量空间采用最优运输损失使用增广样本上对上述预先构建的深度变分自编码器模型骨架进行训练；
利用线性变换方法基于所述可视化图表训练样本构建增广样本，包括：
对于所述可视化图表训练样本中的任意两个可视化图表，利用线性变换公式对所述任意两个可视化图表进行计算，得到线性所述增广样本；其中，所述线性变换公式为：
其中，入为从[0，1]区间均匀分布上采样得到的线性增广参数，
为增广样本，X1与X2为所述可视化图表训练样本中的任意两个可视化图表。
利用输入空间的线性变换与潜变量空间的最优运输路径相对应这一特征，认为深度变分自编码器对于增广样本
的潜变量分布预测应当与最优运输路径计算出的分布相符，从而构造损失函数。根据最优运输路径计算出的分布为
最优运输损失为
其中，dist函数是一种基于边界的损失函数，表示两个边界间的距离，即上述
与
之间的距离。采用上述深度学习优化器，并结合最优运输损失对模型进行参数更新。
上述实施例，构建增广样本进行模型训练，提供了更丰富的训练样本，并利用最优运输损失训练模型，减少欠拟合，有利于增加模型泛化能力，得到有价值的特征因子。
在一实施例中，上述步骤S201之后，还包括：利用泽维尔初始化方法针对预先构建的深度变分自编码器模型骨架进行参数初始化。
上述实施例，通过对模型参数初始化，为后续模型训练提供数据铺垫。
在一实施例中，上述可视化图表训练样本为独立同分布的样本，即可以是数据之间相互独立，且符合同一种分布，即训练样本为同一种数据，例如都为城市人流量分布图，或者都为电网管线电压数据图。在获取这些数据的过程中，选择某个数据挖掘领域，例如城市，电网等，然后选择该领域中某数据来源，如出租车的轨迹，城市人流量，电网管线电压等。在上述的这些例子中，在多个时刻都会产出数据；要求数据收集的过程中，选择典型的时刻，节点，保证数据的采样过程独立同分布。利用数据进行可视化图表：选择某一类合适的数据可视化形式，例如散点图，像素图，热力图等。利用可视化软件，如PowerBI，Tableau等，将数据转化为具有视觉特征的可视化图表。对出租车的轨迹选择热力图作为可视化形式，以体现城市交通随时间变化的视觉特征；采用散点图来展现多个维度上的人群分布特征，以体现聚类特点；采用像素图来展现大型电网管线电压的变化，以体现电网在不同故障条件下各个管线的特征，从而对停电等事件进行预告。
上述实施例，采用独立同分布的训练样本，有利于模型快速收敛，得到满足要求的深度变分自编码器。
在一实施例中，上述预先构建的深度变分自编码器模型骨架包括编码器和解码器；编码器是基于全卷积神经网络、稠密卷积神经网络或者残差神经网络中的一种构建的；解码器是基于反卷积算子构建的。
具体地，如图3所示，图3为一具体的网络结构图，用稠密卷积神经网络与反卷积运算构建具有两层潜变量的深度变分自编码器模型，分为三步：
步骤1：采用稠密卷积神经网络构建编码器。
具体地，先对初始输入采用尺寸为7*7的卷积核进行步长为2的卷积(即图2中的Conv 7*7，stride＝2)，然后采用3个具有残差连接的卷积核(Conv 3*3)作为一个特征提取模块，这样的模块称为稠密模块(Dense Block)，最后对于每一个特征提取模块的输出，采用ReLU激活函数，并配以卷积(Conv 3*3)，最大池化(Max Pool 2*2)进行下采样，再送入下一个稠密模块。每经过一个稠密模块，输入图像的语义信息变丰富，而纹理信息被过滤，从而能够提取全局特征。编码器由4个稠密模块构成。
步骤2：采用编码器特征对潜变量因子进行推断。
具体地，采用步骤1所构建的编码器，选择其最后两个稠密模块的特征作为输入，分别预测两个10维潜变量空间的因子分布。
步骤3：采用预测的潜变量空间因子作为输入，用反卷积操作构建解码器。
具体地，对因子分布进行采样，将采样作为输入，通过一个2*2的反卷积与一个3*3的卷积操作耦合作为一个上采样模块，堆叠6个上采样模块，将潜变量空间的低维因子解码还原为输入空间的输入图表。
上述实施例，通过构建编码器和解码器的结构，为后续模型训练提供数据基础。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种深度变分自编码器模型训练装置400，包括：训练样本获取模块401、因子先验分布确定模块402和模型生成模块403，其中：
训练样本获取模块401，用于获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，所述预先构建的深度变分自编码器模型骨架包含潜变量空间；
因子先验分布确定模块402，用于确定所述潜变量空间的维度和所述潜变量空间的因子先验分布；
模型生成模块403，用于基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
在一实施例中，模型生成模块403，进一步用于：获取基于梯度下降法的深度学习优化器；利用所述基于梯度下降法的深度学习优化器更新所述预先构建的深度变分自编码器模型骨架的模型参数以使所述基于梯度下降法的深度学习优化器的损失函数值最大化，以得到所述训练好的深度变分自编码器模型。
在一实施例中，训练样本获取模块401，还用于利用线性变换方法基于所述可视化图表训练样本构建增广样本；上述模型生成模块403，还用于基于所述维度和所述因子先验分布，利用所述增广样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使最优运输损失最小化，得到训练好的深度变分自编码器模型；其中，所述最优运输损失最小化，是指所述增广数据在所述潜变量空间上预测分布与最有运输路径计算出的分布近似。
在一实施例中，上述训练样本获取模块401，进一步用于对于所述可视化图表训练样本中的任意两个可视化图表，利用线性变换公式对所述任意两个可视化图表进行计算，得到线性所述增广样本；其中，所述线性变换公式为：
其中，入为线性增广参数，
为增广样本，X1与X2为所述可视化图表训练样本中的任意两个可视化图表。在一实施例中，还包括模型初始化单元，用于利用泽维尔初始化方法针对所述预先构建的深度变分自编码器模型骨架进行参数初始化。
在一实施例中，所述可视化图表训练样本为独立同分布的样本。
在一实施例中，所述预先构建的深度变分自编码器模型骨架包括编码器和解码器；所述编码器是基于全卷积神经网络、稠密卷积神经网络或者残差神经网络中的一种构建的；所述解码器是基于反卷积算子构建的。
关于深度变分自编码器模型训练装置的具体限定可以参见上文中对于深度变分自编码器模型训练方法的限定，在此不再赘述。上述深度变分自编码器模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图表样本以及增广样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种深度变分自编码器模型训练方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述深度变分自编码器模型训练方法实施例中的各步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述深度变分自编码器模型训练方法实施例中的各步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种深度变分自编码器模型训练方法，其特征在于，应用于服务器，所述方法包括：
获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，所述预先构建的深度变分自编码器模型骨架包含潜变量空间；
确定所述潜变量空间的维度和所述潜变量空间的因子先验分布；
基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型，包括：
获取基于梯度下降法的深度学习优化器；
基于所述维度、因子先验分布和深度学习优化器，利用所述基于梯度下降法的深度学习优化器以及所述可视化图表训练样本更新所述预先构建的深度变分自编码器模型骨架的模型参数，以使所述基于梯度下降法的深度学习优化器的损失函数值最大化，得到所述训练好的深度变分自编码器模型。
3.根据权利要求2所述的方法，其特征在于，所述获取可视化图表训练样本之后，所述方法还包括：
利用线性变换方法基于所述可视化图表训练样本构建增广样本；
所述基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型，包括：
基于所述维度、所述因子先验分布和所述深度学习优化器，利用所述增广样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述基于梯度下降法的深度学习优化器的损失函数值最大化，且最优运输损失最小化，得到训练好的深度变分自编码器模型；
其中，所述最优运输损失最小化，是指所述增广数据在所述潜变量空间上预测分布与最有运输路径计算出的分布近似。
4.根据权利要求3所述的方法，其特征在于，所述利用线性变换方法基于所述可视化图表训练样本构建增广样本，包括：
对于所述可视化图表训练样本中的任意两个可视化图表，利用线性变换公式对所述任意两个可视化图表进行计算，得到线性所述增广样本；其中，所述线性变换公式为：
其中，λ为线性增广参数，
为增广样本，X1与X2为所述可视化图表训练样本中的任意两个可视化图表。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用泽维尔初始化方法对深度变分自编码器模型骨架进行参数初始化，得到所述预先构建的深度变分自编码器模型骨架。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述可视化图表训练样本为独立同分布的样本。
7.根据权利要求1至5任一项所述的方法，其特征在于，
所述预先构建的深度变分自编码器模型骨架包括编码器和解码器；所述编码器是基于全卷积神经网络、稠密卷积神经网络或者残差神经网络构建的；所述解码器是基于反卷积算子构建的。
8.一种深度变分自编码器模型训练装置，其特征在于，所述装置包括：
训练样本获取模块，用于获取可视化图表训练样本，以及预先构建的深度变分自编码器模型骨架；其中，所述预先构建的深度变分自编码器模型骨架包含潜变量空间；
因子先验分布确定模块，用于确定所述潜变量空间的维度和所述潜变量空间的因子先验分布；
模型生成模块，用于基于所述维度和所述因子先验分布，利用所述可视化图表训练样本对所述预先构建的深度变分自编码器模型骨架进行训练，以使所述预先构建的深度变分自编码器模型骨架生成的重构图表概率分布与所述可视化图表训练样本的原始概率分布趋于一致，得到训练好的深度变分自编码器模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111013553.7A CN113642716A (zh) | 2021-08-31 | 2021-08-31 | 深度变分自编码器模型训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111013553.7A CN113642716A (zh) | 2021-08-31 | 2021-08-31 | 深度变分自编码器模型训练方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113642716A true CN113642716A (zh) | 2021-11-12 |
Family
ID=78424574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111013553.7A Pending CN113642716A (zh) | 2021-08-31 | 2021-08-31 | 深度变分自编码器模型训练方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113642716A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627196A (zh) * | 2022-01-06 | 2022-06-14 | 福州大学 | 基于变分自动编码器的潜变量空间解耦方法 |
| CN116030063A (zh) * | 2023-03-30 | 2023-04-28 | 同心智医科技(北京)有限公司 | Mri图像的分类诊断系统、方法、电子设备及介质 |
| CN117116350A (zh) * | 2023-10-25 | 2023-11-24 | 中国农业科学院深圳农业基因组研究所(岭南现代农业科学与技术广东省实验室深圳分中心) | Rna测序数据的校正方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271964A (zh) * | 2018-10-11 | 2019-01-25 | 刘仕琪 | 基于深度学习模型与长短记忆网络的情绪识别方法及系统 |
| CN109543943A (zh) * | 2018-10-17 | 2019-03-29 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于大数据深度学习的电价稽查执行方法 |
| CN109886388A (zh) * | 2019-01-09 | 2019-06-14 | 平安科技（深圳）有限公司 | 一种基于变分自编码器的训练样本数据扩充方法和装置 |
| CN110929772A (zh) * | 2019-11-15 | 2020-03-27 | 北京奇艺世纪科技有限公司 | 模型训练方法、样本生成方法、装置、电子设备及存储介质 |
| CN111325337A (zh) * | 2019-08-19 | 2020-06-23 | 大连理工大学 | 一种基于自编码神经网络与最优传输的生成模型 |
| CN111599431A (zh) * | 2020-03-31 | 2020-08-28 | 太原金域临床检验有限公司 | 基于报告单的数据编码模型生成方法、系统和设备 |
| US10839269B1 (en) * | 2020-03-20 | 2020-11-17 | King Abdulaziz University | System for fast and accurate visual domain adaptation |
| CN112766425A (zh) * | 2021-03-25 | 2021-05-07 | 浙江师范大学 | 一种基于最优传输的深度缺失聚类机器学习方法及系统 |
| CN113467881A (zh) * | 2021-09-01 | 2021-10-01 | 南方电网数字电网研究院有限公司 | 图表样式自动化调整方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-31 CN CN202111013553.7A patent/CN113642716A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271964A (zh) * | 2018-10-11 | 2019-01-25 | 刘仕琪 | 基于深度学习模型与长短记忆网络的情绪识别方法及系统 |
| CN109543943A (zh) * | 2018-10-17 | 2019-03-29 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于大数据深度学习的电价稽查执行方法 |
| CN109886388A (zh) * | 2019-01-09 | 2019-06-14 | 平安科技（深圳）有限公司 | 一种基于变分自编码器的训练样本数据扩充方法和装置 |
| CN111325337A (zh) * | 2019-08-19 | 2020-06-23 | 大连理工大学 | 一种基于自编码神经网络与最优传输的生成模型 |
| CN110929772A (zh) * | 2019-11-15 | 2020-03-27 | 北京奇艺世纪科技有限公司 | 模型训练方法、样本生成方法、装置、电子设备及存储介质 |
| US10839269B1 (en) * | 2020-03-20 | 2020-11-17 | King Abdulaziz University | System for fast and accurate visual domain adaptation |
| CN111599431A (zh) * | 2020-03-31 | 2020-08-28 | 太原金域临床检验有限公司 | 基于报告单的数据编码模型生成方法、系统和设备 |
| CN112766425A (zh) * | 2021-03-25 | 2021-05-07 | 浙江师范大学 | 一种基于最优传输的深度缺失聚类机器学习方法及系统 |
| CN113467881A (zh) * | 2021-09-01 | 2021-10-01 | 南方电网数字电网研究院有限公司 | 图表样式自动化调整方法、装置、计算机设备和存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| _(*^▽^*)_: ""OpenCV（四）图像线性变换、图像加减乘除、图像逻辑运算（线性变换包括：图像线性混合、亮度和对比度增强、线性变换API）"", pages 2, Retrieved from the Internet <URL:https://blog.csdn.net/great_yzl/article/details/119476935> * |
| A. ABDELLA等: ""A Statistical Comparative Study on Image Reconstruction and Clustering With Novel VAE Cost Function"", 《IEEE ACCESS》, vol. 8, 3 February 2020 (2020-02-03), pages 25626 - 25637, XP011771280, DOI: 10.1109/ACCESS.2020.2971270 * |
| ZHANG等: ""Optimal transport based generative autoencoders"", 《ARXIV》, 16 October 2019 (2019-10-16), pages 1 - 15 * |
| 华迪: ""基于生成式对抗网络的数据增强技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2021 (2021-01-15), pages 138 - 1814 * |
| 开放知识图谱: ""论文浅尝 - ICML2020 | 跨域对齐的图最优运输算法"", pages 1, Retrieved from the Internet <URL:《https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/110151895》> * |
| 曹杰彰等: ""基于最优传输理论的联合分布匹配方法及应用"", 《计算机学报》, vol. 44, no. 6, 23 June 2021 (2021-06-23), pages 1233 - 1245 * |
| 李鹏: ""基于高斯混合模型的变分自动编码器"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, pages 138 - 1951 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627196A (zh) * | 2022-01-06 | 2022-06-14 | 福州大学 | 基于变分自动编码器的潜变量空间解耦方法 |
| CN116030063A (zh) * | 2023-03-30 | 2023-04-28 | 同心智医科技(北京)有限公司 | Mri图像的分类诊断系统、方法、电子设备及介质 |
| CN117116350A (zh) * | 2023-10-25 | 2023-11-24 | 中国农业科学院深圳农业基因组研究所(岭南现代农业科学与技术广东省实验室深圳分中心) | Rna测序数据的校正方法、装置、电子设备及存储介质 |
| CN117116350B (zh) * | 2023-10-25 | 2024-02-27 | 中国农业科学院深圳农业基因组研究所(岭南现代农业科学与技术广东省实验室深圳分中心) | Rna测序数据的校正方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qian et al. | PUGeo-Net: A geometry-centric network for 3D point cloud upsampling | |
| CN109299373B (zh) | 基于图卷积技术的推荐系统 | |
| CN111950594B (zh) | 基于子图采样的大规模属性图上的无监督图表示学习方法和装置 | |
| CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| Samek et al. | Evaluating the visualization of what a deep neural network has learned | |
| KR101880907B1 (ko) | 비정상 세션 감지 방법 | |
| CN113642716A (zh) | 深度变分自编码器模型训练方法、装置、设备和存储介质 | |
| US20230359865A1 (en) | Modeling Dependencies with Global Self-Attention Neural Networks | |
| Chen et al. | Convolutional neural network based dem super resolution | |
| CN113191387A (zh) | 结合无监督学习与数据自增强的文物碎片点云分类方法 | |
| CN112200266B (zh) | 基于图结构数据的网络训练方法、装置以及节点分类方法 | |
| JP2023533907A (ja) | 自己注意ベースのニューラルネットワークを使用した画像処理 | |
| Wong et al. | Segmentation of additive manufacturing defects using U-net | |
| Sun et al. | PGCNet: patch graph convolutional network for point cloud segmentation of indoor scenes | |
| CN112132739A (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
| Wen et al. | Point primitive transformer for long-term 4D point cloud video understanding | |
| CN116740527A (zh) | U型网络与自注意力机制结合的遥感图像变化检测方法 | |
| CN115600840A (zh) | 用户群体碳排放动态画像模型构建方法、装置及设备 | |
| Zhang et al. | Pqa-cnn: Towards perceptual quality assured single-image super-resolution in remote sensing | |
| Chen et al. | A lightweight iterative error reconstruction network for infrared image super-resolution in smart grid | |
| CN112115744A (zh) | 点云数据的处理方法及装置、计算机存储介质、电子设备 | |
| Afzal et al. | Discriminative feature abstraction by deep L2 hypersphere embedding for 3D mesh CNNs | |
| Chuang et al. | Learning-guided point cloud vectorization for building component modeling | |
| Li et al. | Multi-view convolutional vision transformer for 3D object recognition | |
| CN114821248B (zh) | 面向点云理解的数据主动筛选标注方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |