CN111914865A - 一种基于随机核的概率主组件分析方法 - Google Patents

一种基于随机核的概率主组件分析方法 Download PDF

Info

Publication number
CN111914865A
CN111914865A CN201910387628.4A CN201910387628A CN111914865A CN 111914865 A CN111914865 A CN 111914865A CN 201910387628 A CN201910387628 A CN 201910387628A CN 111914865 A CN111914865 A CN 111914865A
Authority
CN
China
Prior art keywords
model
component analysis
unit
random
main component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910387628.4A
Other languages
English (en)
Inventor
张传雷
张璞
杨巨成
陈亚瑞
李建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201910387628.4A priority Critical patent/CN111914865A/zh
Publication of CN111914865A publication Critical patent/CN111914865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Complex Calculations (AREA)

Abstract

传统主组件分析可以看做一种概率生成模型，其中隐向量先验分布及条件概率分布均为高斯分布形式，这种形式限制了隐变量空间的表示能力。本发明提出一种基于随机核的概率主组件分析方法，通过对概率主组件模型增加基于随机神经网络的方法增加主组件分析模型隐变量表示能力。本发明包括：模型建模单元、优化目标构建单元、及优化问题求解单元。模型建模单元是对传统的主组件分析模型进行概率建模。优化目标构建单元针对数据集构建基于对数边缘似然函数的目标函数。优化问题求解单元利用最大似然函数求解模型参数，其中采用基于随机神经网络构建的协方差矩阵作为传统数据集的协方差矩阵。

Description

一种基于随机核的概率主组件分析方法
技术领域
本发明涉及机器学习领域，更具体说是涉及一种基于随机核的概率主组件分析方法。
背景技术
深度学习成为人工智能领域的研究热点，生成模型是构建深层模型的基本结构之一，也是进行知识表示重要方法。主组件分析从概率模型的角度分析，可以看出一种隐变量模型。概率主组件分析模型包括隐向量和可观测向量，其中隐向量的先验分布是多元高斯分布，可观测向量基于隐向量的条件概率分布也是高斯多元分布。传统概率主组件分析模型给出模型参数，是通过对训练数据集协方差矩阵的前k个较大特征值对应特征向量构成的矩阵。但是传统概率主组件模型中，边缘概率分布和条件概率分布均是多元高斯分布，限制了隐变量空间的表示能力。
因此本发明提出一种基于随机核的概率主组件分析方法，通过对概率主组件模型增加随机核增加模型的表示能力。
发明内容
有鉴于此，本发明提供了一种基于随机核的概率主组件分析方法，不仅可以提高模型的隐变量空间表示能力，同时可以利用概率主组件生成模型生成具有更高级性能的数据。
本发明实施例公开了一种基于随机核的概率主组件分析方法，具体包括：模型建模单元、优化目标构建单元、及优化问题求解单元。
所述的建模单元，是对主组件分析进行基于随机核的概率建模。令
Figure BSA0000182749990000021
表示可观测向量，z∈RM表示隐向量，p(z)表示隐变量的先验分布，p(x|z)表示隐向量下的条件概率分布。从生成数据角度看概率主组件分析模型，观测样本 x(i)的采样过程如下：先从隐变量先验分布p(z)中采样隐变量z(i)，再根据条件概率分布p(x|z)中采样观测值x(i)。D维观测向量x可以看做隐变量z的线性组合加上一个高斯噪音，即
x＝Wz+μ+ε
ε～N(0，δ2I)
其中W∈RD×M表示参数矩阵，μ∈RD，δ2表示方差参数。
所述的优化目标构建单元，可以通过最大似然方法求解模型参数。由于隐向量先验分布和条件概率分布均为高斯分布，则观测向量x的边缘概率分布也为高斯分布，即
Figure BSA0000182749990000022
C＝WWT+δ2I
隐向量z的后验概率分布也是高斯分布，其形式为
Figure BSA0000182749990000023
M＝WTW+δ2I
已知数据集D＝{x1，x2，…，xn}，通过最大似然函数方法求解模型参数，数据的对数边缘似然函数为
Figure BSA0000182749990000024
此时的优化问题的最大化对数边缘似然求解模型参数
Figure BSA0000182749990000025
所述优化问题求解单元，是通过求解上述优化问题，最大化似然函数下求解的模型参数记为μML，WML，
Figure BSA0000182749990000031
即
Figure BSA0000182749990000032
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于随机核的概率主组件分析方法的建模结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于随机核的概率主组件分析方法，具体包括：模型建模单元、优化目标构建单元、及优化问题求解单元。
所述的建模单元，是对主组件分析进行基于随机核的概率建模。令
Figure BSA0000182749990000033
表示可观测向量，z∈RM表示隐向量，p(z)表示隐变量的先验分布，其先验分布是零均值单位协方差的高斯分布，即
Figure BSA0000182749990000034
p(x|z)表示隐向量下的条件概率分布，该分布形式也是高斯分布，即
Figure BSA0000182749990000041
其中W∈RD×M表示参数矩阵，μ∈RD，δ2表示方差参数。
所所述的优化目标构建单元，可以通过最大似然方法求解模型参数。已知数据集D＝{x1，x2，…，xn}，通过最大似然函数方法求解模型参数，数据的对数边缘似然函数为
Figure BSA0000182749990000042
此时的优化问题的最大化对数边缘似然求解模型参数
Figure BSA0000182749990000043
所述优化问题求解单元，是通过求解上述优化问题，最大化似然函数下求解的模型参数记为μML，WML，
Figure BSA0000182749990000044
对数似然对μ求导并令结果等于零求解可得
Figure BSA0000182749990000045
将结果带入对数边缘似然函数可得，
Figure BSA0000182749990000046
其中
Figure BSA0000182749990000047
表示数据集D的协方差矩阵。此时相对于传统数据的协方差矩阵，本发明构建一个基于随机化神经网络构建的协方差矩阵，即构建函数为φ(xn)＝φ(cxn+d)，其中参数c，d通过随机赋值确定。
令对数似然函数对W求导并令结果为零可得，
WML＝UM(LM-δ2I)R
其中UM表示数据协方差矩阵S的特征向量的M个子集组成的集合，LM表示对角矩阵，其元素为特征向量所对应的特征值，R表示任意正交矩阵。参数δ2的最大似然解为：
Figure BSA0000182749990000051
Figure BSA0000182749990000052
表示被丢弃维度的方差的平均值。

Claims (5)

1.一种基于随机核的概率主组件分析方法，其特征在于包括：模型建模单元、优化目标构建单元、及优化问题求解单元；
所述模型建模单元用于构建基于随机核的概率主组件分析模型；
所述优化目标构建单元用于基于数据集构建最大化似然目标函数用于求解模型参数；
所述优化问题求解单元用于求解最大化似然函数求解模型参数。
2.根据权利要求1所述的一种基于随机核的概率主组件分析方法，其特征在于所述的建模单元是对主组件分析进行基于随机核的概率建模；
所述模型中的变量说明如下，令x∈RD表示可观测向量，z∈RM表示隐向量，p(z)表示隐变量的先验分布，p(x|z)表示隐向量下的条件概率分布；
从生成数据角度看概率主组件分析模型，观测样本x(i)的采样过程如下：先从隐变量先验分布p(z)中采样隐变量z(i)，再根据条件概率分布p(x|z)中采样观测值x(i)，D维观测向量x可以看做隐变量z的线性组合加上一个高斯噪音，即
x＝Wz+μ+ε
ε～N(0，δ2I)
其中W∈RD×M表示参数矩阵，μ∈RD，δ2表示方差参数。
3.根据权利要求1所述的一种基于随机核的概率主组件分析方法，其特征在于所述的优化目标构建单元，可以通过最大似然方法求解模型参数，已知数据集D＝{x1，x2，…，xn}，通过最大似然函数方法求解模型参数，数据的对数边缘似然函数为
Figure FSA0000182749980000011
此时的优化问题的最大化对数边缘似然求解模型参数
Figure FSA0000182749980000021
4.根据权利要求1所述的一种基于随机核的概率主组件分析方法，其特征在于所述优化问题求解单元，是通过求解所述优化问题，最大化似然函数下求解的模型参数记为μML，WML，
Figure FSA0000182749980000022
对数似然对μ求导并令结果等于零求解可得
Figure FSA0000182749980000023
将结果带入对数边缘似然函数可得，
Figure FSA0000182749980000024
其中S表示数据集D的协方差矩阵；
令对数似然函数对W求导并令结果为零可得，
WML＝UM(LM-δ2I)R
其中UM表示数据协方差矩阵S的特征向量的M个子集组成的集合，LM表示对角矩阵，其元素为特征向量所对应的特征值，R表示任意正交矩阵；
参数δ2的最大似然解为：
Figure FSA0000182749980000025
Figure FSA0000182749980000026
表示被丢弃维度的方差的平均值。
5.根据权利要求4中所述的数据协方差矩阵S中采用基于随机神经网络的形式，即
Figure FSA0000182749980000027
表示数据集D的协方差矩阵；此时相对于传统数据的协方差矩阵，本发明构建一个基于随机化神经网络构建的协方差矩阵，即构建函数为φ(xn)＝φ(cxn+d)，其中参数c，d通过随机赋值确定。
CN201910387628.4A 2019-05-08 2019-05-08 一种基于随机核的概率主组件分析方法 Pending CN111914865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910387628.4A CN111914865A (zh) 2019-05-08 2019-05-08 一种基于随机核的概率主组件分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910387628.4A CN111914865A (zh) 2019-05-08 2019-05-08 一种基于随机核的概率主组件分析方法

Publications (1)

Publication Number Publication Date
CN111914865A true CN111914865A (zh) 2020-11-10

Family

ID=73242386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910387628.4A Pending CN111914865A (zh) 2019-05-08 2019-05-08 一种基于随机核的概率主组件分析方法

Country Status (1)

Country Link
CN (1) CN111914865A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779502A (zh) * 2021-08-20 2021-12-10 绥化学院 一种基于相关向量机的图像处理证据函数估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779502A (zh) * 2021-08-20 2021-12-10 绥化学院 一种基于相关向量机的图像处理证据函数估计方法
CN113779502B (zh) * 2021-08-20 2023-08-29 绥化学院 一种基于相关向量机的图像处理证据函数估计方法

Similar Documents

Publication Publication Date Title
CN109617888B (zh) 一种基于神经网络的异常流量检测方法及系统
US20170213153A1 (en) Systems and methods for embedded unsupervised feature selection
US20140204092A1 (en) Classification of high dimensional data
Li et al. Exploring compositional high order pattern potentials for structured output learning
CN110910325B (zh) 一种基于人工蝴蝶优化算法的医疗影像处理方法及装置
CN110188825B (zh) 基于离散多视图聚类的图像聚类方法、系统、设备及介质
CN112183620A (zh) 基于图卷积神经网络的小样本分类模型的发育方法及系统
CN113553755A (zh) 电力系统状态估计方法、装置及设备
Jia et al. On view‐invariant gait recognition: a feature selection solution
CN108549718A (zh) 一种通用主题嵌入模型联合训练方法
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN117423344A (zh) 一种基于神经网络的声纹识别方法及装置
CN110955809B (zh) 一种支持拓扑结构保持的高维数据可视化方法
Zhang et al. Efficient multiview representation learning with correntropy and anchor graph
CN111914865A (zh) 一种基于随机核的概率主组件分析方法
Scrucca A fast and efficient Modal EM algorithm for Gaussian mixtures
CN112818152A (zh) 一种深度聚类模型的数据增强方法和装置
Wang et al. Research on feature selection method of intrusion detection based on deep belief network
Zhang et al. Projective label propagation by label embedding
Zhang et al. Robust Bayesian partition for extended target Gaussian inverse Wishart PHD filter
CN111091475B (zh) 一种基于非负矩阵分解的社交网络特征提取方法
Zhang et al. Join multiple Riemannian manifold representation and multi‐kernel non‐redundancy for image clustering
CN115455670A (zh) 一种基于高斯混合模型的非高斯噪声模型建立方法
Wen et al. A new fuzzy K-EVD orthogonal complement space clustering method
Besbes et al. Graph-based knowledge-driven discrete segmentation of the left ventricle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201110

WD01 Invention patent application deemed withdrawn after publication