CN112464173A - 基于mle和bic的随机点模式参数估计方法 - Google Patents

基于mle和bic的随机点模式参数估计方法 Download PDF

Info

Publication number
CN112464173A
CN112464173A CN202011526443.6A CN202011526443A CN112464173A CN 112464173 A CN112464173 A CN 112464173A CN 202011526443 A CN202011526443 A CN 202011526443A CN 112464173 A CN112464173 A CN 112464173A
Authority
CN
China
Prior art keywords
distribution
model
point mode
parameters
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011526443.6A
Other languages
English (en)
Inventor
杨豪杰
刘伟峰
李建宁
钱晓琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011526443.6A priority Critical patent/CN112464173A/zh
Publication of CN112464173A publication Critical patent/CN112464173A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于MLE和BIC的随机点模式参数估计方法。本发明方法在基于随机点模式模型的框架下，构建多个复杂度不同的随机点模式模型，将对随机点模式模型参数的极大似然估计转化为分别对基数分布参数和特征分布参数的极大似然估计，并且用最大期望算法求取特征分布参数的极大似然估计值，计算每个模型关于训练数据的Bayes信息准则指标，确定备选模型中最优模型。本发明方法提升了模型对点模式数据的信息表达能力，使训练所得的最优模型对观测数据具有良好的拟合能力，并且保障了模型的泛化能力。本发明方法放宽了对于先验信息的要求，减少主观决策对于模型精度的影响。本发明方法有效提高了建模精度和降低了模型参数估计的复杂度。

Description

基于MLE和BIC的随机点模式参数估计方法
技术领域
本发明属于模式识别技术领域，具体涉及一种基于极大似然估计(MLE)和贝叶斯信息准则(BIC)的随机点模式参数估计方法。
背景技术
点模式是无序点或者特征的集合形式，在自然界中许多现象都可以用点模式的形式描述，而在许多数据分析问题中，点模式通常被称为包(多示例)，用来描述对象的特征信息，针对点模式的学习问题本质上就是多示例学习问题。多示例学习作为有别于监督学习、无监督学习和强化学习的第4种机器学习框架，发展至今，已有很多实用的多示例学习算法被提出。
目前主要的多示例学习方法大致可以分为三类：(1)基于示例空间的多示例学习算法；(2)基于包空间的多示例学习算法；(3)基于嵌入空间的多示例学习算法。基于示例空间的这类算法的核心是训练一个示例水平的分类器，使之能够区分来自正负示例的包，然后对于新的包，由示例的标签去推断包的标签；基于包空间的这类算法的核心思想是定义一个度量包之间距离的函数，然后把该距离函数嵌入标准的基于距离的分类器,由已知包的标签推断未知包的标签；基于嵌入空间的方法的核心思想是定义一个距离映射函数或者核函数，将每个包映射为一个单一的特征向量，用来描述和对应包相关的整体信息，这样原始的包空间就被映射为一个向量化的嵌入空间，并在这个空间进行分类器训练，把多示例问题转化为标准的监督学习问题。一般用似然函数描述的统计数据模型，是基于模型的数据分析方法的必要前提。但是针对点模式数据的机器学习算法研究中，关于基于统计点模式模型的算法并没有得到足够的关注。
发明内容
本发明的目的就是针对基于模型的点模式数据分类问题，提供一种基于极大似然估计(MLE)和贝叶斯信息准则(BIC)的随机点模式参数估计方法。
本发明方法在基于随机点模式模型的框架下，构建多个复杂度不同的随机点模式模型，将对随机点模式模型参数的极大似然估计转化为分别对基数分布参数和特征分布参数的极大似然估计，并且用最大期望算法(EM)求取特征分布参数的极大似然估计值，进一步计算每个模型关于训练数据的Bayes信息准则(BIC)指标，从而确定备选模型中最优模型。
本发明方法具体是：
步骤(1)构建随机点模式模型：
Figure BDA0002850958890000021
其中，Xn表示第n个随机点模式的观测数据，n＝1,2,…,N，N为随机点模式的观测数据总个数；ξ表示模型的基数分布参数，
Figure BDA0002850958890000022
表示模型的特征分布参数；pξ表示点模式模型的基数分布，|Xn|表示Xn中元素的个数，U为超参数，用于取消各元素间的单位不统一；
Figure BDA0002850958890000023
表示点模式模型的特征分布，
Figure BDA0002850958890000024
x表示Xn中的元素。
步骤(2)构建观测数据集关于点模式模型参数的似然函数：
Figure BDA0002850958890000025
Figure BDA0002850958890000026
表示观测数据集X1:N关于模型参数ξ和
Figure BDA0002850958890000027
的似然函数；
模型基数分布为泊松分布，基数分布参数ξ与泊松系数ρ相等；
模型特征分布为高斯混合分布,
Figure BDA0002850958890000028
αk、μk和∑k分别表示第k个分布元的混合权重、均值和协方差。
步骤(3)对基数分布参数进行极大似然估计，得到基数分布参数的极大似然估计值
Figure BDA0002850958890000029
首先构建关于基数分布参数的对数似然函数：
Figure BDA00028509588900000210
对对数似然函数进行关于基数分布参数求导，令其结果为零，得到
Figure BDA00028509588900000211
步骤(4)对特征分布参数进行极大似然估计，得到特征分布参数的极大似然估计值
Figure BDA00028509588900000212
(4.1)初始化特征分布参数
Figure BDA00028509588900000213
(4.2)明确隐变量，写出完全数据关于特征分布参数的对数似然函数：
反映点模式观测数据中元素xi来自第k个分布元的数据是未知的，i＝1,2,…,|X|，
Figure BDA00028509588900000214
k＝1,2,…,K，以隐变量γi,k表示，γi,k是0～1的随机变量，那么完全数据为(xi,γi)，γi＝(γi1,γi2,…,γiK)；
完全数据关于特征分布参数的对数似然函数：
Figure BDA0002850958890000031
式中，
Figure BDA0002850958890000032
φ(xi|μk,Σk)表示第k个分布元的高斯分布函数；
(4.3)通过最大期望算法的期望步E，确定Q函数(Q function)：
Figure BDA0002850958890000033
其中，
Figure BDA0002850958890000034
表示第k个分布元对观测数据xi的响应度；
(4.4)通过最大期望算法的期望步极大步M，得到新一轮迭代的特征分布参数：
Figure BDA0002850958890000035
t表示迭代的代数；
Figure BDA0002850958890000036
的参数包括均值
Figure BDA0002850958890000037
协方差
Figure BDA0002850958890000038
和混合权重
Figure BDA0002850958890000039
将Q函数分别对μk和∑k求偏导数并令其为0，得到参数
Figure BDA00028509588900000310
和
Figure BDA00028509588900000311
在
Figure BDA00028509588900000312
条件下求偏导数并令其为0得到参数
Figure BDA00028509588900000313
结果为：
Figure BDA00028509588900000314
(4.5)如果未达到设定迭代代数，重复(4.2)～(4.4)；达到设定迭代代数后执行(4.6)；
(4.6)最后一次得到的特征分布参数作为特征分布参数的极大似然估计值
Figure BDA00028509588900000315
步骤(5)计算每个备选模型的贝叶斯信息值：
Figure BDA00028509588900000316
选取贝叶斯信息值最小的模型作为输出模型。
为了准确估计点模式模型的复杂度和参数，本发明方法提出了一种结合模型复杂度估计的点模式模型参数学习方法。该方法在基于随机点模式模型的框架下，构建多个复杂度不同的随机点模式模型，通过极大似然估计算法(MLE)和最大期望算法分别对每个模型的基数分布参数和特征分布参数进行估计，进一步计算每个模型关于训练数据的Bayes信息准则(BIC)指标，确定备选模型中最优模型。
附图说明
图1为实施例中观测数据的基数分布信息示意图；
图2为实施例中观测数据的特征分布信息示意图；
图3为实施例中贝叶斯值模型复杂度曲线示意图；
图4为实施例中模型特征分布学习结果示意图；
图5为实施例中模型基数分布学习结果示意图。
具体实施方式
基于MLE和BIC的随机点模式参数估计方法，具体是：
步骤(1)构建随机点模式模型：
Figure BDA0002850958890000041
其中，Xn表示第n个随机点模式的观测数据，n＝1,2,…,N，N为随机点模式的观测数据总个数；ξ表示模型的基数分布参数，
Figure BDA0002850958890000042
表示模型的特征分布参数；pξ表示点模式模型的基数分布，|Xn|表示Xn中元素的个数，U为超参数，用于取消各元素间的单位不统一；
Figure BDA0002850958890000043
表示点模式模型的特征分布，
Figure BDA0002850958890000044
x表示Xn中的元素。观测数据的基数分布信息如图1，观测数据的特征分布信息如图2。
步骤(2)构建观测数据集关于点模式模型参数的似然函数：
Figure BDA0002850958890000045
Figure BDA0002850958890000046
表示观测数据集X1:N关于模型参数ξ和
Figure BDA0002850958890000047
的似然函数；
模型基数分布为泊松分布，基数分布参数ξ与泊松系数ρ相等；
模型特征分布为高斯混合分布,
Figure BDA0002850958890000048
αk、μk和∑k分别表示第k个分布元的混合权重、均值和协方差。
步骤(3)对基数分布参数进行极大似然估计，得到基数分布参数的极大似然估计值
Figure BDA0002850958890000049
首先构建关于基数分布参数的对数似然函数：
Figure BDA00028509588900000410
对对数似然函数进行关于基数分布参数求导，令其结果为零，得到
Figure BDA00028509588900000411
步骤(4)对特征分布参数进行极大似然估计，得到特征分布参数的极大似然估计值
Figure BDA0002850958890000051
(4.1)初始化特征分布参数
Figure BDA0002850958890000052
(4.2)明确隐变量，写出完全数据关于特征分布参数的对数似然函数：
反映点模式观测数据中元素xi来自第k个分布元的数据是未知的，i＝1,2,…,|X|，
Figure BDA0002850958890000053
k＝1,2,…,K，以隐变量γi,k表示，γi,k是0～1的随机变量，那么完全数据为(xi,γi)，γi＝(γi1,γi2,…,γiK)；
完全数据关于特征分布参数的对数似然函数：
Figure BDA0002850958890000054
式中，
Figure BDA0002850958890000055
φ(xi|μk,Σk)表示第k个分布元的高斯分布函数；
(4.3)通过最大期望算法的期望步E，确定Q函数：
Figure BDA0002850958890000056
其中，
Figure BDA0002850958890000057
表示第k个分布元对观测数据xi的响应度；
(4.4)通过最大期望算法的期望步极大步M，得到新一轮迭代的特征分布参数：
Figure BDA0002850958890000058
t表示迭代的代数；
Figure BDA0002850958890000059
的参数包括均值
Figure BDA00028509588900000510
协方差
Figure BDA00028509588900000511
和混合权重
Figure BDA00028509588900000512
将Q函数分别对μk和∑k求偏导数并令其为0，得到参数
Figure BDA00028509588900000513
和
Figure BDA00028509588900000514
在
Figure BDA00028509588900000515
条件下求偏导数并令其为0得到参数
Figure BDA00028509588900000516
结果为：
Figure BDA00028509588900000517
(4.5)如果未达到设定迭代代数，重复(4.2)～(4.4)；达到设定迭代代数后执行(4.6)；
(4.6)最后一次得到的特征分布参数作为特征分布参数的极大似然估计值
Figure BDA00028509588900000518
步骤(5)计算每个备选模型的贝叶斯信息值：
Figure BDA0002850958890000061
选取贝叶斯信息值最小的模型作为输出模型。贝叶斯值关于模型复杂度的曲线如图3所示，模型特征分布学习结果如图4所示，模型基数分布学习结果如图5所示。

Claims (1)

1.基于MLE和BIC的随机点模式参数估计方法，其特征在于，该方法具体如下：
步骤(1)构建随机点模式模型：
Figure FDA0002850958880000011
其中，Xn表示第n个随机点模式的观测数据，n＝1,2,…,N，N为随机点模式的观测数据总个数；ξ表示模型的基数分布参数，
Figure FDA00028509588800000111
表示模型的特征分布参数；pξ表示点模式模型的基数分布，|Xn|表示Xn中元素的个数，U为超参数，用于取消各元素间的单位不统一；
Figure FDA00028509588800000112
表示点模式模型的特征分布，
Figure FDA0002850958880000012
x表示Xn中的元素；
步骤(2)构建观测数据集关于点模式模型参数的似然函数：
Figure FDA0002850958880000013
Figure FDA0002850958880000014
表示观测数据集X1:N关于模型参数ξ和
Figure FDA00028509588800000113
的似然函数；
模型基数分布为泊松分布，基数分布参数ξ与泊松系数ρ相等；
模型特征分布为高斯混合分布,
Figure FDA0002850958880000015
αk、μk和∑k分别表示第k个分布元的混合权重、均值和协方差；
步骤(3)对基数分布参数进行极大似然估计，得到基数分布参数的极大似然估计值
Figure FDA00028509588800000114
首先构建关于基数分布参数的对数似然函数：
Figure FDA0002850958880000016
对对数似然函数进行关于基数分布参数求导，令其结果为零，得到
Figure FDA0002850958880000017
步骤(4)对特征分布参数进行极大似然估计，得到特征分布参数的极大似然估计值
Figure FDA0002850958880000018
(4.1)初始化特征分布参数
Figure FDA0002850958880000019
(4.2)明确隐变量，写出完全数据关于特征分布参数的对数似然函数：
反映点模式观测数据中元素xi来自第k个分布元的数据是未知的，i＝1,2,…,|X|，
Figure FDA00028509588800000110
以隐变量γi,k表示，γi,k是0～1的随机变量，那么完全数据为(xi,γi)，γi＝(γi1,γi2,…,γiK)；
完全数据关于特征分布参数的对数似然函数：
Figure FDA0002850958880000021
式中，
Figure FDA0002850958880000022
φ(xi|μk,Σk)表示第k个分布元的高斯分布函数；
(4.3)通过最大期望算法的期望步E，确定Q函数：
Figure FDA0002850958880000023
其中，
Figure FDA0002850958880000024
表示第k个分布元对观测数据xi的响应度；
(4.4)通过最大期望算法的期望步极大步M，得到新一轮迭代的特征分布参数：
Figure FDA0002850958880000025
t表示迭代的代数；
将Q函数分别对μk和∑k求偏导数并令其为0，得到
Figure FDA00028509588800000213
的均值参数
Figure FDA00028509588800000214
和协方差参数
Figure FDA0002850958880000026
Figure FDA0002850958880000027
在
Figure FDA0002850958880000028
条件下求偏导数并令其为0，得到
Figure FDA00028509588800000211
的混合权重参数
Figure FDA0002850958880000029
(4.5)如果未达到设定的迭代代数，重复(4.2)～(4.4)；达到设定迭代的代数后执行(4.6)；
(4.6)最后一次得到的特征分布参数作为特征分布参数的极大似然估计值
Figure FDA00028509588800000212
步骤(5)计算每个备选模型的贝叶斯信息值：
Figure FDA00028509588800000210
选取贝叶斯信息值最小的模型作为输出模型。
CN202011526443.6A 2020-12-22 2020-12-22 基于mle和bic的随机点模式参数估计方法 Withdrawn CN112464173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011526443.6A CN112464173A (zh) 2020-12-22 2020-12-22 基于mle和bic的随机点模式参数估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011526443.6A CN112464173A (zh) 2020-12-22 2020-12-22 基于mle和bic的随机点模式参数估计方法

Publications (1)

Publication Number Publication Date
CN112464173A true CN112464173A (zh) 2021-03-09

Family

ID=74804474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011526443.6A Withdrawn CN112464173A (zh) 2020-12-22 2020-12-22 基于mle和bic的随机点模式参数估计方法

Country Status (1)

Country Link
CN (1) CN112464173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420425A (zh) * 2021-06-03 2021-09-21 杭州电子科技大学 基于低质量数据的arma模型参数估计方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420425A (zh) * 2021-06-03 2021-09-21 杭州电子科技大学 基于低质量数据的arma模型参数估计方法及系统

Similar Documents

Publication Publication Date Title
CN108596327B (zh) 一种基于深度学习的地震速度谱人工智能拾取方法
CN104063876B (zh) 一种交互式图像分割方法
CN105488528B (zh) 基于改进自适应遗传算法的神经网络图像分类方法
CN110427654B (zh) 一种基于敏感状态的滑坡预测模型构建方法及系统
CN109165743A (zh) 一种基于深度压缩自编码器的半监督网络表示学习算法
CN111652317A (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN113111979A (zh) 模型训练方法、图像检测方法及检测装置
Ibragimovich et al. Effective recognition of pollen grains based on parametric adaptation of the image identification model
CN110766060B (zh) 基于深度学习的时间序列相似度的计算方法、系统及介质
CN104881867A (zh) 一种基于特征分布的遥感图像质量评价方法
CN114004333A (zh) 一种基于多假类生成对抗网络的过采样方法
CN111814342A (zh) 一种复杂设备可靠性混合模型及其构建方法
CN110688484B (zh) 一种基于不平衡贝叶斯分类的微博敏感事件言论检测方法
CN111652264A (zh) 基于最大均值差异的负迁移样本筛选方法
CN112464173A (zh) 基于mle和bic的随机点模式参数估计方法
Walchessen et al. Neural likelihood surfaces for spatial processes with computationally intensive or intractable likelihoods
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法
CN116303786B (zh) 一种基于多维数据融合算法的区块链金融大数据管理系统
CN112766537A (zh) 一种短期电负荷预测方法
CN117291069A (zh) 一种基于改进de与注意力机制的lstm污水水质预测方法
Vetter et al. Sourcerer: Sample-based maximum entropy source distribution estimation
CN111797903B (zh) 一种基于数据驱动粒子群算法的多模态遥感图像配准方法
CN108460401B (zh) 基于非负特征融合的场景图像分类方法
CN109977964A (zh) 一种基于深度生成模型的sar图像方位角特征提取算法
Hart et al. Accuracy and power analysis of social interaction networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210309

WW01 Invention patent application withdrawn after publication