CN106529577A - 一种AdaBoost算法中弱分类器的同步选取、加权、排序方法 - Google Patents

一种AdaBoost算法中弱分类器的同步选取、加权、排序方法 Download PDF

Info

Publication number
CN106529577A
CN106529577A CN201610917244.5A CN201610917244A CN106529577A CN 106529577 A CN106529577 A CN 106529577A CN 201610917244 A CN201610917244 A CN 201610917244A CN 106529577 A CN106529577 A CN 106529577A
Authority
CN
China
Prior art keywords
weighting
algorithm
weak classifier
sorting
weak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610917244.5A
Other languages
English (en)
Inventor
曹万鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201610917244.5A priority Critical patent/CN106529577A/zh
Publication of CN106529577A publication Critical patent/CN106529577A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种AdaBoost算法中弱分类器的同步选取、加权、排序方法，包括：初始化GA算法参数设置，初始弱分类器集合、权值与对应排列顺序设置，GA算子更新，适应度计算，GA算法实现。通过智能的方式、基于对分类精度的追求，不但给出了最优的弱分类器组合、加权方案，而且同步的给出了弱分类器排序的最佳方案。本发明不同于以往基于人为经验的弱分类器组合选取和加权方法，同时增加了对分类器排序方案考虑，采用GA优化算法搜索弱分类器选择、加权与排序的最佳方案，使得最终基于AdaBoost算法训练得到的分类器分类效果更佳、分类精度更高。最后，应用本文方法进行了笔迹鉴权，实验结果证明利用本文算法，一系列弱分类器经过更合理选择、加权与排序之后，分类性能明显提高。

Description

一种AdaBoost算法中弱分类器的同步选取、加权、排序方法
技术领域
本发明涉及模式识别方法，特别是涉及一种AdaBoost算法中弱分类器的同步选取、加权、排序方法。
背景技术
分类算法就是基于分类器模型为待检测样本从可选的分类中选取最佳的类别假设，它属于人工智能中机器学习范畴，已经吸引了该领域相关研究者的极大关注。人们投入了大量的时间和精力研究诸如C4.5、支持向量机、贝叶斯算法、AdaBoost算法和K-最近邻分类算法等分类算法，并将它们应用于面部识别、笔迹验证、数据分析和医学应用等不同领域。
AdaBoost一词是来源于Adaptive Boosting(自适应增强)的缩写，是由YoavFreund和Robert Schapire提出的机器学习元算法。其设计的指导原则为确保当前训练样本有最高分类精度。通过将不同的弱分类器(这里所谓的弱分类器是指分类精度稍稍好于随机猜测)合理的组合起来，形成强分类器，尽管每个弱分类器的分类精度不高，但最终的强分类器在分类性能上得到巨大提升。AdaBoost算法在某种意义上讲是自适应的，通过调整之前被弱分类器错分的样本权值，提高后续弱分类器对错分样本的重视程度，实现最终分类器模型的设计。正是基于此，一组弱分类器的合理设计可以结合成强分类器，获得一个整体上令人满意的分类精度。
很明显，不同的弱分类器选择、加权和不同的弱分类器排序都将导致完全不同的分类效果。寻找最合适的弱分类器组合、加权方法并为这些分类器选择最佳的排列顺序相当重要，决定了分类器是否能拥有更高分类性能。但是，绝大多数AdaBoost算法应用中，研究者通常都直接指定用哪些分类器，这些分类器的排序也直接根据经验确定。显然，这并不合理。利用GA优化算法的并行搜索优势，本专利中以提高分类精度为目标，同步给出基于AdaBoost分类算法的最佳分类器组合选取、分类器加权和分类器排序方案。
发明内容
针对传统的AdaBoost算法的分类器组合、加权与排序方法的不足，提出一种AdaBoost算法中弱分类器的同步选取、加权、排序方法。算法不同于以往基于人为经验的弱分类器组合选取和加权方法，同时增加了对分类器排序方案考虑，采用GA(GeneticAlgorithm，简称GA)优化算法搜索弱分类器选择、加权与排序的最佳方案，使得最终基于AdaBoost算法训练得到的分类器分类效果更佳、分类精度更高。
同时，借助于GA算法并行搜索上的优势，通过智能的方式、基于对分类精度的追求，不但给出了最优的弱分类器组合、加权方案，而且同步的给出了弱分类器排序的最佳方案。通过上述策略，本文最终实现了基于GA算法的最优的AdaBoost分类器模型设计，确保了分类器模型基于分类精度指标上的最优设计。
一种AdaBoost算法中弱分类器的同步选取、加权、排序方法，包括如下步骤：
(1)初始化GA(Genetic Algorithm，简称GA)算法参数设置
设置基因算子GA(F,S,G,M,N)，F表示适应度函数，S表示候选方案，G表示代沟因子，M和N分别表示变异率和最大迭代次数；
(2)初始弱分类器集合、权值与对应排列顺序设置
选取初始基因个体，由弱分类器组合、对应权值和排列顺序三部分组成，初始个体随机产生，称为第零代；
(3)GA个体更新
用新产生的GA个体更新之前的基因算子；
(4)适应度计算
基于GA优化中每一步基因个体对应的分类器组合、加权和排序方案，给出对应的分类器模型，进而得到分类器精度作为适应度；
(5)GA算法实现
通过交叉、变异产生新一代基因个体。
(6)迭代结束条件是否满足判断
判断迭代条件是否满足，如满足，在所有候选解中选出对应最高分类精度的分类器模型所代表的分类器组合、权值和排序方案；如不满足，回到步骤(4)。
作为优选，步骤(5)中的通过交叉、变异产生新一代基因个体包括：
采用概率方法从S中选取S(1-G)个成员，加入S1；
根据配对概率p和G，利用交叉算子产生候选基因个体S2；
根据变异概率M，选取候选方案S1中的个体进行变异；
S1与S2组合成新的候选基因个体S3。
与现有技术相比，本发明具有以下明显的优势和有益效果：
(1)本发明提出一种AdaBoost算法中弱分类器的同步选取、加权、排序方法，算法不同于以往基于人为经验的弱分类器组合选取和加权方法，同时增加了对分类器排序方案的考虑。
(2)本发明采用GA优化算法搜索弱分类器选择、加权与排序的最佳方案，使得最终基于AdaBoost算法训练得到的分类器分类效果更佳、分类精度更高。为验证本分类算法，运用本发明方法到笔迹验证试验中，对笔迹书写人身份进行判断，本文算法分类精度可达到96.22％。
附图说明
图1为本发明所提出的一种AdaBoost算法中弱分类器的同步选取、加权、排序方法功能框图；
图2为本发明所涉及方法的流程图；
图3为基因个体示意图，其中，第一部w1w2···wn对应一个弱分类器组合，第二部分α1α2···αn对应弱分类器的权值，d表示一个弱分类器的排列。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1、2所示，本发明实施例提供一种AdaBoost算法中弱分类器的同步选取、加权、排序方法，包括以下步骤：
(1)初始化GA(Genetic Algorithm，简称GA)算法参数设置
设置基因算子GA(F,S,G,M,N)，F表示适应度函数，S表示候选方案，G表示代沟因子，M和N分别表示变异率和最大迭代次数；
(2)初始弱分类器集合、权值与对应排列顺序设置
随机选取初始阶段基因个体，该个体由三部分组成，如图3所示，包括弱分类器组合、对应的权值和弱分类器的一个排列，这里产生的初始基因个体被称为第零代；
(3)GA个体更新
用经过基因算法获得的新产生GA个体S3更新之前的基因个体S，初始条件下，用S0为基因个体S赋初值；
(4)适应度计算
基于GA优化中产生的基因个体S3，提取其所代表的分类器组合、权值和排序方案，给出基于该方案和AdaBoost算法训练所得的分类器模型，并基于该模型计算分类精度作为适应度；
(5)GA算法实现
通过交叉、变异产生新一代基因个体：
用概率方法从S中选取S(1-G)个成员，加入S1；
根据配对概率p和G，利用交叉算子产生候选基因个体S2；
根据变异概率M，选取候选方案S1中的个体进行变异；
S1与S2组合成新的候选基因个体S3。
(6)迭代结束条件是否满足判断
判断算法的迭代条件是否满足(迭代次数大于N)，如满足，在所有候选解中选出对应最高分类精度的分类器模型，并根据该模型给出其所代表的分类器组合、权值和排序方案；如不满足，回到步骤(4)。
运用本发明方法到笔迹验证试验中。本实验中，设置GA初始化参数为S＝36,G＝0.5,M＝0.05,N＝200。同时，根据实验需求从HIT-MW样本库随机的选取笔迹样本作为训练样本，使用正交验证理论对算法进行验证。重复上述实验，给出该算法构建分类器模型的平均分类精度。通过对笔迹书写人身份进行判断，当分类器组合、权值和排序方案最优时，其分类精度可达到96.22％。

Claims (2)

1.一种AdaBoost算法中弱分类器的同步选取、加权、排序方法，其特征在于，包括如下步骤：
步骤(1)初始化GA(Genetic Algorithm，简称GA)算法参数设置
设置基因算子GA(F,S,G,M,N)，F表示适应度函数，S表示候选方案，G表示代沟因子，M和N分别表示变异率和最大迭代次数；
步骤(2)初始弱分类器集合、权值与对应排列顺序设置
选取初始基因个体，由弱分类器组合、对应权值和排列顺序三部分组成，初始个体随机产生，称为第零代；
步骤(3)GA个体更新
用新产生的GA个体更新之前的基因算子；
步骤(4)适应度计算
基于GA优化中每一步基因个体对应的分类器组合、加权和排序方案，给出对应的分类器模型，进而得到分类器精度作为适应度；
步骤(5)GA算法实现
通过交叉、变异产生新一代基因个体。
步骤(6)迭代结束条件是否满足判断
判断迭代条件是否满足，如满足，在所有候选解中选出对应最高分类精度的分类器模型所代表的分类器组合、权值和排序方案；如不满足，回到步骤(4)。
2.如权利要求1所述的AdaBoost算法中弱分类器的同步选取、加权、排序方法，步骤(5)中的通过交叉、变异产生新一代基因个体包括：
采用概率方法从S中选取S(1-G)个成员，加入S1；
根据配对概率p和G，利用交叉算子产生候选基因个体S2；
根据变异概率M，选取候选方案S1中的个体进行变异；
S1与S2组合成新的候选基因个体S3。
CN201610917244.5A 2016-10-20 2016-10-20 一种AdaBoost算法中弱分类器的同步选取、加权、排序方法 Pending CN106529577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610917244.5A CN106529577A (zh) 2016-10-20 2016-10-20 一种AdaBoost算法中弱分类器的同步选取、加权、排序方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610917244.5A CN106529577A (zh) 2016-10-20 2016-10-20 一种AdaBoost算法中弱分类器的同步选取、加权、排序方法

Publications (1)

Publication Number Publication Date
CN106529577A true CN106529577A (zh) 2017-03-22

Family

ID=58332867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610917244.5A Pending CN106529577A (zh) 2016-10-20 2016-10-20 一种AdaBoost算法中弱分类器的同步选取、加权、排序方法

Country Status (1)

Country Link
CN (1) CN106529577A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110763466A (zh) * 2019-11-07 2020-02-07 江苏航空职业技术学院 一种Adaboost算法组合的GABP滚动轴承诊断方法
CN112764923A (zh) * 2021-01-12 2021-05-07 深圳市中博科创信息技术有限公司 计算资源分配方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110763466A (zh) * 2019-11-07 2020-02-07 江苏航空职业技术学院 一种Adaboost算法组合的GABP滚动轴承诊断方法
CN112764923A (zh) * 2021-01-12 2021-05-07 深圳市中博科创信息技术有限公司 计算资源分配方法、装置、计算机设备及存储介质
CN112764923B (zh) * 2021-01-12 2023-11-21 深圳市中博科创信息技术有限公司 计算资源分配方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Fraiman et al. Selection of variables for cluster analysis and classification rules
Pare et al. A context sensitive multilevel thresholding using swarm based algorithms
CN107392919A (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN104809476B (zh) 一种基于分解的多目标进化模糊规则分类方法
CN107273818A (zh) 遗传算法融合差分进化的选择性集成人脸识别方法
CN112784790B (zh) 一种基于元学习的泛化性伪造脸检测方法
CN101710382A (zh) 基于简化智能单粒子优化算法的Gabor人脸识别方法
CN110309771A (zh) 一种基于gbdt-insgaii的eas声磁系统标签识别算法
Zhang et al. Evolving neural network classifiers and feature subset using artificial fish swarm
CN106097351A (zh) 一种基于多目标的自适应阈值图像分割方法
CN110298434A (zh) 一种基于模糊划分和模糊加权的集成深度信念网络
CN106951728B (zh) 一种基于粒子群优化和打分准则的肿瘤关键基因识别方法
CN109583519A (zh) 一种基于p-Laplacian图卷积神经网络的半监督分类方法
CN106529577A (zh) 一种AdaBoost算法中弱分类器的同步选取、加权、排序方法
CN107273922A (zh) 一种面向多源实例迁移学习的样本筛选和权重计算方法
Chen et al. Neuroevolution of augmenting topologies with learning for data classification
CN109492746A (zh) 基于ga-pso杂交算法的深度信念网络参数优化方法
CN110503205A (zh) 一种多模态数据处理方法及系统
CN110020675A (zh) 一种双阈值AdaBoost分类方法
Gong et al. Solving multiobjective clustering using an immune-inspired algorithm
CN115810196A (zh) 一种印章鉴别方法、装置及存储介质
Karanjgaokar et al. Comparison of classification methodologies for predicting the stages of diabetic retinopathy
Cagnini et al. Increasing boosting effectiveness with estimation of distribution algorithms
Satapathy et al. Integrated PSO and DE for data clustering
CN106529579A (zh) 一种改善的基于Ransac算法的鲁棒AdaBoost分类器构建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322

RJ01 Rejection of invention patent application after publication