CN106529672A - 基于人工蜂群算法的选择性神经网络集成算法 - Google Patents

基于人工蜂群算法的选择性神经网络集成算法 Download PDF

Info

Publication number
CN106529672A
CN106529672A CN201610984312.XA CN201610984312A CN106529672A CN 106529672 A CN106529672 A CN 106529672A CN 201610984312 A CN201610984312 A CN 201610984312A CN 106529672 A CN106529672 A CN 106529672A
Authority
CN
China
Prior art keywords
source code
nectar source
fitness
nectar
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610984312.XA
Other languages
English (en)
Inventor
朱俊
刘天羽
孟畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN201610984312.XA priority Critical patent/CN106529672A/zh
Publication of CN106529672A publication Critical patent/CN106529672A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种基于人工蜂群算法的选择性神经网络集成算法，包括步骤：输入参数；生成迭代样本集；判断当前循环次数是否小于循环次数最大值，如是返回生成迭代样本集步骤；生成一蜜源码集；当当前蜜源码的被采集次数大于开采极限值时随机选择另一未被选定过的蜜源码；对该蜜源码进行开采；计算新蜜源码的适应度；判断新蜜源的适应度是否大于当前蜜源码的适应度；如是，开采新蜜源码；记录当前各蜜源码的适应度的最大值；判断当前迭代次数值是否小于预设的迭代最大次数，如否返回被采集次数判断步骤；获取当前神经网络和当前神经网络输出结果的集成。本发明的一种基于人工蜂群算法的选择性神经网络集成算法，具有算法简单和灵活性强的优点。

Description

基于人工蜂群算法的选择性神经网络集成算法
技术领域
本发明涉及人工智能领域，尤其涉及一种基于人工蜂群算法的选择性神经网络集成算法。
背景技术
人类所具有的最独特的创造力在于可以通过已有经验与常识来学习并发现未知的事物，因此具备学习能力是人的一个极其重要的特征。随着科学技术的发展，人们开始探索如何制造智能机器来替代人的繁复的智力劳动，并且在某些方面已经取得了巨大成功。然而，机器不是人，它不具备人的思维、学习创造能力。如何使机器具备智能，使机器可以模拟人的大脑思维，可以像人一样地思考问题、学习新知识，就成为急需解决和发展的科学问题。机器学习就是这样一门学科，它能够构建一些方法来有效地模拟人的大脑活动。目前，如何使机器具备拟人化的学习，进行更深层次的理解工作，还有很多问题有待探索和解决。
机器学习在人工智能的研究中占据着非常重要的地位，它逐渐成为人工智能研究的核心内容之一。现在针对机器学习的应用已经遍及人工智能领域的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人、生物信息学等领域。一般而言，机器学习的研究主要是从生理学、认知科学的角度出发，理解人类的学习过程，从而建立人类学习过程的计算模型或者认知模型，并发展成各种学习理论和学习方法。在此基础上，研究通用的学习算法，进行理论上的分析，建立面向任务的具有特定应用的学习系统，是一重要课题。
集成学习是当前机器学习中研究热点之一，其根本思路是使用多个学习器学习同一个问题，再利用合适的策略把多个学习结果进行整合，最后得到比单一学习器更好的学习效果，这样能够明显提高学习系统的泛化能力。国际机器学习界的权威学者狄特利希(T.G.Dietterich)曾将集成学习列为机器学习四大研究方向之首。要获得和利用集成学习方法，一般分为两步：第一步，产生多个训练集，独立训练，分别得到不同学习模型，主要技术有Boosting，套袋(Bagging)和Stacking；第二步，采用一定的合成方法，将集成的个体输出进行合成，分类器主要采用多数投票法。但现有的从所有学习器来组成集成的效果并不是很好。
发明内容
针对上述现有技术中的不足，本发明提供一种基于人工蜂群算法的选择性神经网络集成算法，具有算法简单、灵活性强和鲁棒性强的优点。
为了实现上述目的，本发明提供一种基于人工蜂群算法的选择性神经网络集成算法，包括步骤：
S1：输入参数并设置一基础学习器，所述参数包括一原样本集、一循环次数最大值、一阈值、一蜜源总数和一开采极限值；
S2：初始化一当前循环次数；
S3：利用自助法根据所述原样本集生成多组迭代样本集；
S4：将多组所述迭代样本集生成一神经网络；
S5：判断所述当前循环次数是否小于循环次数最大值，如是将所述当前循环次数加一并返回步骤S3，否则继续后续步骤；
S6：生成一蜜源码集，所述蜜源码集包括多个蜜源码，所述蜜源码与所述迭代样本集一一对应，将每一所述蜜源码的被采集次数置零；
S7：选定一所述蜜源码并判断当前所述蜜源码的被采集次数是否大于所述开采极限值，如是随机选择另一未被选定过的所述蜜源码，再继续后续步骤；如否，直接继续后续步骤；
S8：计算当前所述蜜源码的适应度并根据所述适应度确定的概率采用轮盘赌的方法选择一蜜源码并对该蜜源码进行开采；
S9：在当前所述蜜源码的位置的一固定范围内定位并生成一新蜜源码；
S10：计算所述新蜜源码的适应度；
S11：判断所述新蜜源的适应度是否大于当前所述蜜源码的适应度；如否，开采当前所述蜜源码，并将当前所述蜜源码的所述被采集次数加1；如是，选定所述新蜜源码并将所述新蜜源码加入所述蜜源码集，开采所述新蜜源码，并将所述新蜜源的被采集次数置一；
S12：记录当前各蜜源码的适应度的最大值；
S13：判断当前一迭代次数值是否小于预设的一迭代最大次数，如是继续后续步骤，如否返回步骤S7；
S14：获取当前所述神经网络和当前所述神经网络输出结果的集成。
本发明的进一步改进在于，所述步骤S3中：所述原样本集包括T组样本，利用自助法对所述原样本集中的T组样本有放回地抽取M组形成一所述迭代样本集，重复抽样N次，形成N组所述迭代样本集，其中，T、M和N为大于零的自然数，且T>M>N。
本发明的进一步改进在于，所述步骤S6中：对每一所述迭代样本集随机生成一蜜源码，所述蜜源码为一N位的二进制数，各所述蜜源码形成所述蜜源码集。
本发明的进一步改进在于，所述S7步骤中：所述另一未被选定过的蜜源码的位置与当前所述蜜源码的位置的关系是：
X(n+1)＝Xmin(n)+r1(Xmax(n)-Xmin(n))；
其中，X(n+1)表示另一未被选定过的蜜源码的位置，r1为随机数且0≤r1≤1；Xmin(n)为所述另一未被选定过的蜜源码的位置距离当前蜜源码的最小距离，Xmax(n)为所述另一未被选定过的蜜源码的位置距离当前蜜源码的最大距离。
本发明的进一步改进在于，所述S8步骤中：所述蜜源码的适应度f为：
其中，V表示一验证集，EV表示当前蜜源码所对应的集成输出在所述验证集V上的误差；
所述蜜源码被选择的概率为所述蜜源码的适应度与所有蜜源码适应度总和的比值，所述蜜源码被选择的概率公式为：
Pi表示第i蜜源码被选择的概率；f为当前蜜源码的适应度；
fi表示第i蜜源码的适应度，Ei V表示第i蜜源码所对应的集成输出在所述验证集V上的误差。
本发明的进一步改进在于，所述S9步骤中，所述新蜜源码的位置与当前所述蜜源码的位置的关系是：
X(n+1)＝X(n)+r2(X(n)-Xk(n))；
其中，X(n)表示当前所述蜜源码的位置，X(n+1)表示所述新蜜源码的位置，r2为随机数且-1≤r2≤1，1≤k≤N；Xk(n)为不同于当前所述蜜源码位置的一随机蜜源码位置。
本发明由于采用了以上技术方案，使其具有以下有益效果：
本发明通过改进的算法，使得本发明的方法具有算法简单、灵活性强和鲁棒性强的优点。
附图说明
图1为本发明实施例的基于人工蜂群算法的选择性神经网络集成算法的流程图。
具体实施方式
下面根据附图1，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。
请参阅图1，本发明实施例的一种基于人工蜂群算法的选择性神经网络集成算法，包括步骤：
S1：输入参数并设置一基础学习器，参数包括一原样本集、一循环次数最大值、一阈值、一蜜源总数和一开采极限值；
S2：初始化一当前循环次数；
S3：利用自助法根据原样本集生成多组迭代样本集；
S4：将多组迭代样本集生成一神经网络；
S5：判断当前循环次数是否小于循环次数最大值，如是将当前循环次数加一并返回步骤S3，否则继续后续步骤；
S6：生成一蜜源码集，蜜源码集包括多个蜜源码，蜜源码与迭代样本集一一对应，将每一蜜源码的被采集次数置零；
S7：选定一蜜源码并判断当前蜜源码的被采集次数是否大于开采极限值，如是随机选择另一未被选定过的蜜源码，再继续后续步骤；如否，直接继续后续步骤；
S8：计算当前蜜源码的适应度并根据适应度确定的概率采用轮盘赌的方法选择一蜜源码并对该蜜源码进行开采；
S9：在当前蜜源码的位置的一固定范围内定位并生成一新蜜源码；
S10：计算新蜜源码的适应度；
S11：判断新蜜源的适应度是否大于当前蜜源码的适应度；如否，开采当前蜜源码，并将当前蜜源码的被采集次数加1；如是，选定新蜜源码并将新蜜源码加入蜜源码集，开采新蜜源码，并将新蜜源的被采集次数置一；
S12：记录当前各蜜源码的适应度的最大值；
S13：判断当前一迭代次数值是否小于预设的一迭代最大次数，如是继续后续步骤，如否返回步骤S7；
S14：获取当前神经网络和当前神经网络输出结果的集成。
其中，在步骤S3中：原样本集包括T组样本，利用自助法对原样本集中的T组样本有放回地抽取M组形成一迭代样本集，重复抽样N次，形成N组迭代样本集，其中，T、M和N为大于零的自然数，且T>M>N。
在步骤S6中：对每一迭代样本集随机生成一蜜源码，蜜源码为一N位的二进制数，各蜜源码形成蜜源码集。
在S7步骤中：另一未被选定过的蜜源码的位置与当前蜜源码的位置的关系是：
X(n+1)＝Xmin(n)+r1(Xmax(n)-Xmin(n))；
其中，X(n+1)表示另一未被选定过的蜜源码的位置，r1为随机数且0≤r1≤1；Xmin(n)为另一未被选定过的蜜源码的位置距离当前蜜源码的最小距离，Xmax(n)为另一未被选定过的蜜源码的位置距离当前蜜源码的最大距离。
在S8步骤中：蜜源码的适应度f为：
其中，V表示一验证集，EV表示当前蜜源码所对应的集成输出在验证集V上的误差；
蜜源码被选择的概率为蜜源码的适应度与所有蜜源码适应度总和的比值，蜜源码被选择的概率公式为：
Pi表示第i蜜源码被选择的概率；f为当前蜜源码的适应度；
fi表示第i蜜源码的适应度，Ei V表示第i蜜源码所对应的集成输出在验证集V上的误差。
在S9步骤中，新蜜源码的位置与当前蜜源码的位置的关系是：
X(n+1)＝X(n)+r2(X(n)-Xk(n))；
其中，X(n)表示当前蜜源码的位置，X(n+1)表示新蜜源码的位置，r2为随机数且-1≤r2≤1，1≤k≤N；Xk(n)为不同于当前蜜源码位置的一随机蜜源码位置。
人工蜂群算法简单、灵活和鲁棒性强，因此将其和集成学习结合起来得到基于人工蜂群算法的选择性神经网络集成算法。首先利用Bootstrap方法产生多组迭代样本集，训练得到多个学习器，然后给每个学习器赋予能够反映其在集成中重要性的权重系数，组成权值向量个体，每个个体代表一个蜜源，将所有个体组成初始化的蜜源总体，代入人工蜂群算法寻优，最后利用得到的最优权向量(即：当前神经网络)和阈值进行比较，确定需要剔除的学习器，从而得到选择性集成学习的结果。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (6)

1.一种基于人工蜂群算法的选择性神经网络集成算法，包括步骤：
S1：输入参数并设置一基础学习器，所述参数包括一原样本集、一循环次数最大值、一阈值、一蜜源总数和一开采极限值；
S2：初始化一当前循环次数；
S3：利用自助法根据所述原样本集生成多组迭代样本集；
S4：将多组所述迭代样本集生成一神经网络；
S5：判断所述当前循环次数是否小于循环次数最大值，如是将所述当前循环次数加一并返回步骤S3，否则继续后续步骤；
S6：生成一蜜源码集，所述蜜源码集包括多个蜜源码，所述蜜源码与所述迭代样本集一一对应，将每一所述蜜源码的被采集次数置零；
S7：选定一所述蜜源码并判断当前所述蜜源码的被采集次数是否大于所述开采极限值，如是随机选择另一未被选定过的所述蜜源码，再继续后续步骤；如否，直接继续后续步骤；
S8：计算当前所述蜜源码的适应度并根据所述适应度确定的概率采用轮盘赌的方法选择一蜜源码并对该蜜源码进行开采；
S9：在当前所述蜜源码的位置的一固定范围内定位并生成一新蜜源码；
S10：计算所述新蜜源码的适应度；
S11：判断所述新蜜源的适应度是否大于当前所述蜜源码的适应度；如否，开采当前所述蜜源码，并将当前所述蜜源码的所述被采集次数加1；如是，选定所述新蜜源码并将所述新蜜源码加入所述蜜源码集，开采所述新蜜源码，并将所述新蜜源的被采集次数置一；
S12：记录当前各蜜源码的适应度的最大值；
S13：判断当前一迭代次数值是否小于预设的一迭代最大次数，如是继续后续步骤，如否返回步骤S7；
S14：获取当前所述神经网络和当前所述神经网络输出结果的集成。
2.根据权利要1所述的基于人工蜂群算法的选择性神经网络集成算法，其特征在于，所述步骤S3中：所述原样本集包括T组样本，利用自助法对所述原样本集中的T组样本有放回地抽取M组形成一所述迭代样本集，重复抽样N次，形成N组所述迭代样本集，其中，T、M和N为大于零的自然数，且T>M>N。
3.根据权利要2所述的基于人工蜂群算法的选择性神经网络集成算法，其特征在于，所述步骤S6中：对每一所述迭代样本集随机生成一蜜源码，所述蜜源码为一N位的二进制数，各所述蜜源码形成所述蜜源码集。
4.根据权利要3所述的基于人工蜂群算法的选择性神经网络集成算法，其特征在于，所述S7步骤中：所述另一未被选定过的蜜源码的位置与当前所述蜜源码的位置的关系是：
X(n+1)＝Xmin(n)+r1(Xmax(n)-Xmin(n))；
其中，X(n+1)表示另一未被选定过的蜜源码的位置，r1为随机数且0≤r1≤1；Xmin(n)为所述另一未被选定过的蜜源码的位置距离当前蜜源码的最小距离，Xmax(n)为所述另一未被选定过的蜜源码的位置距离当前蜜源码的最大距离。
5.根据权利要4所述的基于人工蜂群算法的选择性神经网络集成算法，其特征在于，所述S8步骤中：所述蜜源码的适应度f为：
f = 1 E V ;
其中，V表示一验证集，EV表示当前蜜源码所对应的集成输出在所述验证集V上的误差；
所述蜜源码被选择的概率为所述蜜源码的适应度与所有蜜源码适应度总和的比值，所述蜜源码被选择的概率公式为：
P i = f Σ i = 1 N f i ;
Pi表示第i蜜源码被选择的概率；f为当前蜜源码的适应度；
f i = 1 E i V ;
fi表示第i蜜源码的适应度，Ei V表示第i蜜源码所对应的集成输出在所述验证集V上的误差。
6.根据权利要5所述的基于人工蜂群算法的选择性神经网络集成算法，其特征在于，所述S9步骤中，所述新蜜源码的位置与当前所述蜜源码的位置的关系是：
X(n+1)＝X(n)+r2(X(n)-Xk(n))；
其中，X(n)表示当前所述蜜源码的位置，X(n+1)表示所述新蜜源码的位置，r2为随机数且-1≤r2≤1，1≤k≤N；Xk(n)为不同于当前所述蜜源码位置的一随机蜜源码位置。
CN201610984312.XA 2016-11-09 2016-11-09 基于人工蜂群算法的选择性神经网络集成算法 Pending CN106529672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610984312.XA CN106529672A (zh) 2016-11-09 2016-11-09 基于人工蜂群算法的选择性神经网络集成算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610984312.XA CN106529672A (zh) 2016-11-09 2016-11-09 基于人工蜂群算法的选择性神经网络集成算法

Publications (1)

Publication Number Publication Date
CN106529672A true CN106529672A (zh) 2017-03-22

Family

ID=58350318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610984312.XA Pending CN106529672A (zh) 2016-11-09 2016-11-09 基于人工蜂群算法的选择性神经网络集成算法

Country Status (1)

Country Link
CN (1) CN106529672A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109946424A (zh) * 2019-03-08 2019-06-28 杭州麦乐克科技股份有限公司 基于人工蜂群和神经网络的气体标定分类方法及系统
CN110185789A (zh) * 2019-06-17 2019-08-30 湖南科技大学 基于蜂群神经网络集成的新能源车amt换挡策略
CN110501983A (zh) * 2019-07-31 2019-11-26 农业农村部南京农业机械化研究所 基于批次式包衣机的专家控制系统及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109946424A (zh) * 2019-03-08 2019-06-28 杭州麦乐克科技股份有限公司 基于人工蜂群和神经网络的气体标定分类方法及系统
CN110185789A (zh) * 2019-06-17 2019-08-30 湖南科技大学 基于蜂群神经网络集成的新能源车amt换挡策略
CN110501983A (zh) * 2019-07-31 2019-11-26 农业农村部南京农业机械化研究所 基于批次式包衣机的专家控制系统及控制方法

Similar Documents

Publication Publication Date Title
Kebria et al. Deep imitation learning for autonomous vehicles based on convolutional neural networks
CN105279555B (zh) 一种基于进化算法的自适应学习神经网络实现方法
CN106446942A (zh) 基于增量学习的农作物病害识别方法
Gallego et al. Artificial neural networks technology to model and predict plant biology process
CN103620624B (zh) 用于导致稀疏连通性的局部竞争性学习规则的方法和装置
CN110379463A (zh) 基于机器学习的海洋藻类成因分析及浓度预测方法和系统
CN106250931A (zh) 一种基于随机卷积神经网络的高分辨率图像场景分类方法
CN113255936B (zh) 基于模仿学习和注意力机制的深度强化学习策略保护防御方法和装置
CN105787557A (zh) 一种计算机智能识别的深层神经网络结构设计方法
CN106529672A (zh) 基于人工蜂群算法的选择性神经网络集成算法
CN104462759B (zh) 基于反向精简差分演化算法的水质模型参数识别方法
CN107688856A (zh) 基于深度强化学习的室内机器人场景主动识别方法
CN106485259A (zh) 一种基于高约束高分散主成分分析网络的图像分类方法
CN109864737A (zh) 一种心电信号中p波识别方法和系统
CN110135498A (zh) 一种基于深度进化神经网络的图像识别方法
CN107169958A (zh) 机器学习、背景抑制与感知正反馈相结合的视觉显著性检测方法
CN111820922B (zh) 一种面向幼儿计算思维的测评方法
Kazerounian et al. Autonomous reinforcement of behavioral sequences in neural dynamics
CN108984275A (zh) 基于Unity3D和深度增强学习的智能无人农用驾驶训练方法
CN107886163A (zh) 基于agn及cnn的单目标优化问题寻优方法及装置
CN110047088B (zh) 一种基于改进教与学优化算法的ht-29图像分割方法
CN107203587A (zh) 构建地磁图方向适配性特征的方法
CN116541767A (zh) 一种基于图神经网络的多元温室环境参数预测方法及系统
Markovikj Deep apprenticeship learning for playing games
Kumari et al. Deep networks and deep learning algorithms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322