CN111914982A - 一种结合随机化技术的变分自编码方法 - Google Patents

一种结合随机化技术的变分自编码方法 Download PDF

Info

Publication number
CN111914982A
CN111914982A CN201910387015.0A CN201910387015A CN111914982A CN 111914982 A CN111914982 A CN 111914982A CN 201910387015 A CN201910387015 A CN 201910387015A CN 111914982 A CN111914982 A CN 111914982A
Authority
CN
China
Prior art keywords
model
randomization
optimization
solving
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910387015.0A
Other languages
English (en)
Inventor
张传雷
马文涛
杨巨成
陈亚瑞
李建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201910387015.0A priority Critical patent/CN111914982A/zh
Publication of CN111914982A publication Critical patent/CN111914982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

变分自编码模型中的生成模型及识别模型均采用多层神经网络结构，在求解优化问题时采用标准的随机梯度下降及信念传播方法可以进行推理和学习，但是信念传播训练计算模型参数需要耗费大量时间。因此本发明提出一种结合随机化技术的变分自编码方法，通过对变分自编码中的神经网络部分引入随机化技术，在保证训练精度的通知，降低算法的训练复杂度。本发明方法包括：模型建模单元、优化目标构建单元、及优化问题求解单元。模型建模单元是对结合随机化的变分自编码模型进行建模；优化目标构建单元通过变分近似构建优化目标；优化问题求解单元采用随机化技术降低传统信念传播中训练复杂度，同时可以保证训练精度。

Description

一种结合随机化技术的变分自编码方法
技术领域
本发明涉及机器学习领域，更具体说是涉及一种结合随机化技术的变分自编码方法。
背景技术
深度学习成为人工智能领域的重要研究内容之一，生成模型是构建深层模型的基本结构之一，也是进行知识表示重要方法。变分自编码是一种基于连续隐向量的生成模型，它结合了变分方法和神经网络，常被用于构建深度生成模型。变分自编码模型中的生成模型及识别模型均采用多层神经网络结构，在求解优化问题时采用标准的随机梯度下降方法可以进行推理和学习，但是信念传播训练计算模型参数需要耗费大量时间。
因此本发明提出一种结合随机化技术的变分自编码方法，通过对变分自编码中的神经网络部分引入随机化技术，在保证训练精度的通知，降低算法的训练复杂度。
发明内容
有鉴于此，本发明提供了一种结合随机化技术的变分自编码方法，在保持精确度的同时，利用随机化技术提高模型参数训练的速度。
一种结合随机化技术的变分自编码方法，包括：模型建模单元、优化目标构建单元、及优化问题求解单元。
所述模型建模单元，是对结合随机化技术的变分自编码方法进行建模。对于生成模型p(x，z)＝p(z)pθ(x|z)，其中x表示观测向量，z表示隐向量，p(z)表示隐向量先验概率分布，pθ(x|z)表示条件概率分布，θ表示模型参数，观测样本x的生成过程如下：
Figure BSA0000182920040000021
x|z～pθ(x|z)
pθ(x|z)是基于神经网络的概率分布形式。
所述优化目标构建单元，是指根据观测的数据集X＝{x1，x2，...，xN}，通过最大化样本数据的对数似然函数求解模型参数。上述生成模型中概率推理问题是根据观测数据求解数据边缘似然p(X)及隐变量后验概率分布p(z|X)，即根据边缘概率分布求解模型参数。但是因为条件概率分布pθ(x|z)是基于神经网络的概率分布，故这两个概率推理问题都是难解的，即
Figure BSA0000182920040000022
Figure BSA0000182920040000023
通过变分近似给出数据似然函数的下界进行近似求解，通过引入自由分布
Figure BSA0000182920040000024
进行变分近似，得到对数边缘似然的变分下界，即
Figure BSA0000182920040000025
Figure BSA0000182920040000026
此时构建的目标函数为
Figure BSA0000182920040000027
所述优化问题求解单元，是指通过求解上述优化问题，计算出模型参数。其生成模型上求解边缘概率和条件概率的概率推理问题转化为关于自由分布
Figure BSA0000182920040000028
的变分优化问题，可以通过随机梯度下降方法和信念传播算法求解优化式。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图图1为本发明提供的一种结合随机化技术的变分自编码方法的建模结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种结合随机化技术的变分自编码方法，具体包括包括：模型建模单元、优化目标构建单元、及优化问题求解单元。
所述模型建模单元，是对结合随机化技术的变分自编码方法进行建模。对于生成模型p(x，z)＝p(z)p(x|z)，其中x表示观测向量，z表示隐向量，p(z)表示隐向量先验概率分布，p(x|z)表示条件概率分布，观测样本x的生成过程如下：
Figure BSA0000182920040000031
x|z～p(x|z)
p(x|z)是基于神经网络的概率分布形式，具体的，若向量x为离散值，则条件概率分布pθ(x|z)为基于神经网络的伯努利分布，即
p(x|z)＝B(x；μ(z；θ))
其中μ(·；θ)由基于参数θ的神经网络实现。若向量x为连续值，则条件概率分布p(x|z)为基于神经网络的高斯分布，即
p(x|z)＝N x；μ(z；θ)，diag(σ2(z；θ))
其中μ(·；θ)，σ2(·；θ)分别由基于参数θ的神经网络实现。上述神经网络可以是单隐层神经网络结构，也可以是多隐层神经网络结构。
所述优化目标构建单元，是指根据观测的数据集X＝{x1，x2，...，xN}，根据所述模型结构通过最大化对数似然函数求解模型参数。数据集 X＝{x1，x2，...，xN}对数边缘似然函数为：
Figure BSA0000182920040000041
求解该优化问题是难解的，通过引入自由分布
Figure BSA0000182920040000042
进行变分近似。样本点x(i)的对数似然函数的变分表示形式为：
Figure BSA0000182920040000043
其中等式右侧第一项是近似后验分布与真实后验分布之间的KL距离。因为KL 距离非负，故等式右侧第二项
Figure BSA0000182920040000044
称为单样本对数边缘似然ln p(x(i))的下界，可表示为：
Figure BSA0000182920040000045
其中q(z)表示关于隐变量z的自由分布。此时的概率推理问题转化为下面优化问题：
Figure BSA0000182920040000046
Figure BSA0000182920040000047
所述优化问题求解单元，是指通过求解上述优化问题，计算出模型参数。其生成模型上求解边缘概率和条件概率的概率推理问题转化为关于自由分布
Figure BSA0000182920040000048
的变分优化问题，可以通过随机梯度下降方法和BP算法求解优化式。

Claims (4)

1.一种结合随机化技术的变分自编码方法，其特征在于，包括：模型建模单元、优化目标构建单元、及优化问题求解单元；
所述建模单元，是对结合随机化技术的变分自编码技术进行概率图模型建模；
所述优化目标构建单元，是指根据观测的数据集，通过最大化样本数据的对数似然函数求解模型参数；
所述优化问题求解单元，是指对于需要处理的变分下界，通过随机梯度下降方法和信念传播算法求解优化式。
2.根据权利要求1所述的一种结合随机化技术的变分自编码方法，其特征在于对结合随机化技术的变分自编码方法进行建模；
所述生成模型为p(x，z)＝p(z)pθ(x|z)，其中x表示观测向量，z表示隐向量，p(z)表示隐向量先验概率分布，pθ(x|z)表示条件概率分布，θ表示模型参数，观测样本x的生成过程如下：
Figure FSA0000182920030000011
x|z～pθ(x|z)
pθ(x|z)是基于神经网络的概率分布形式；
所述的基于神经网络的概率分布形式，当观测向量x为多维伯努利变量时，则概率分布pθ(x|z)为基于神经网络的伯努利分布；若向量x为连续值，则条件概率分布p(x|z)为基于神经网络的高斯分布。
3.根据权利要求1所述的一种结合随机化技术的变分自编码方法，其特征在于所述优化目标构建单元，是指根据观测的数据集X＝{x1，x2，...，xN}，通过最大化样本数据的对数似然函数求解模型参数；
所述的生成模型中概率推理问题是根据观测数据求解数据边缘似然p(X)求解模型参数，但是因为条件概率分布pθ(x|z)是基于神经网络的概率分布，故这两个概率推理问题都是难解的，即
Figure FSA0000182920030000021
通过变分近似给出数据似然函数的下界进行近似求解，通过引入自由分布
Figure FSA0000182920030000022
进行变分近似，得到对数边缘似然的变分下界，即
Figure FSA0000182920030000023
Figure FSA0000182920030000024
此时构建的目标函数为
Figure FSA0000182920030000025
4.根据权利要求1所述的一种结合随机化技术的变分自编码方法，其特征在于所述优化问题求解单元，是指通过求解上述优化问题，计算出模型参数。其生成模型上求解边缘概率和条件概率的概率推理问题转化为关于自由分布
Figure FSA0000182920030000026
的变分优化问题，求解优化问题时，对于生成模型和识别模型中神经网络结构，采用随机化技术，在优化求解过程中简化信念传播训练复杂度。
CN201910387015.0A 2019-05-08 2019-05-08 一种结合随机化技术的变分自编码方法 Pending CN111914982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910387015.0A CN111914982A (zh) 2019-05-08 2019-05-08 一种结合随机化技术的变分自编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910387015.0A CN111914982A (zh) 2019-05-08 2019-05-08 一种结合随机化技术的变分自编码方法

Publications (1)

Publication Number Publication Date
CN111914982A true CN111914982A (zh) 2020-11-10

Family

ID=73242215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910387015.0A Pending CN111914982A (zh) 2019-05-08 2019-05-08 一种结合随机化技术的变分自编码方法

Country Status (1)

Country Link
CN (1) CN111914982A (zh)

Similar Documents

Publication Publication Date Title
Kavousi-Fard et al. A new fuzzy-based combined prediction interval for wind power forecasting
Prasad et al. Comparison of back propagation and resilient propagation algorithm for spam classification
CN113449864B (zh) 用于图像数据分类的反馈型脉冲神经网络模型训练方法
Su et al. Applications of cellular neural networks to noise cancelation in gray images based on adaptive particle-swarm optimization
Zou et al. Bare-bones teaching-learning-based optimization
Shapiai et al. A non-linear function approximation from small samples based on Nadaraya-Watson kernel regression
CN115019510A (zh) 一种基于动态自适应生成对抗网络的交通数据修复方法
CN109948569B (zh) 一种利用粒子滤波框架的三维混合表情识别方法
CN113806559B (zh) 一种基于关系路径与双层注意力的知识图谱嵌入方法
CN107045803A (zh) 基于滚动规划策略的航海交通管制方法
CN106803361A (zh) 一种基于滚动规划策略的航海管制方法
JP5170698B2 (ja) 確率的推論装置
CN111914982A (zh) 一种结合随机化技术的变分自编码方法
CN103761567A (zh) 一种基于贝叶斯估计的小波神经网络权值初始化方法
Molaeezadeh et al. A 2uFunction representation for non-uniform type-2 fuzzy sets: Theory and design
CN110554604A (zh) 一种多智能体同步控制方法、设备及存储设备
Kong et al. A surrogate-assisted hybrid optimization algorithms for computational expensive problems
Sornam et al. An efficient morlet function based adaptive method for faster backpropagation for handwritten character recognition
CN109685242B (zh) 基于Adaboost算法的光伏超短期组合预测方法
CN111914865A (zh) 一种基于随机核的概率主组件分析方法
Islam et al. Training neural network with chaotic learning rate
Zhong et al. An information geometry algorithm for distribution control
Khosravani-Rad et al. Dynamic parameters optimization for enhancing performance and stability of PSO
Wang et al. A novel algorithm for edge detection of remote sensing image based on CNN and PSO
Zhang Artificial neural network based chaotic system design for the simulation of eeg time series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201110