CN110245252A - 基于遗传算法的机器学习模型自动生成方法 - Google Patents
基于遗传算法的机器学习模型自动生成方法 Download PDFInfo
- Publication number
- CN110245252A CN110245252A CN201910495207.3A CN201910495207A CN110245252A CN 110245252 A CN110245252 A CN 110245252A CN 201910495207 A CN201910495207 A CN 201910495207A CN 110245252 A CN110245252 A CN 110245252A
- Authority
- CN
- China
- Prior art keywords
- population
- machine learning
- oedipus
- gene
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 85
- 230000002068 genetic effect Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000000463 material Substances 0.000 claims abstract description 6
- 108090000623 proteins and genes Proteins 0.000 claims description 53
- 230000009467 reduction Effects 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 239000000523 sample Substances 0.000 claims description 13
- 238000013526 transfer learning Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 241000208340 Araliaceae Species 0.000 claims description 9
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 9
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 9
- 235000008434 ginseng Nutrition 0.000 claims description 9
- 230000035772 mutation Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 235000000332 black box Nutrition 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000002028 premature Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000007630 basic procedure Methods 0.000 claims description 2
- 210000000349 chromosome Anatomy 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 239000012497 inhomogeneous sample Substances 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了基于遗传算法的机器学习模型自动生成方法。传统的机器学习方法，当对模型的需求或模型的应用领域发生变化时，都需要开发者频繁地调整超参数、改造算法的结构，从而耗费大量人力物力。本发明通过对基于遗传算法的机器学习的研究，提出了用于自动生成机器学习模型的算法，可以自动生成多领域的，符合不同现实需求的机器学习模型。
Description
技术领域
本发明涉及机器学习问题，设计了机器学习模型的自动调参，自动改良算法结构的方法，实现了在多领域，多需求的情况下端到端自动生成机器学习模型。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，具有重要的理论意义和广泛的应用价值。传统的机器学习方法，当对模型的需求或模型的应用领域发生变化时，都需要开发者频繁地调整超参数、改造算法的结构，从而耗费大量人力物力。随着深度学习的发展，出现了大量能够有效提取图像数据特征的深层卷积神经网络。如何将这些预训练网络应用在不同领域的迁移学习成为了一个热点问题。遗传算法具有跨领域全局搜索能力，能够自动生成复杂问题的最优解，可以用来自动筛选合适的预训练网络，自动调整机器学习模型的超参数。本发明主要研究基于遗传算法的机器学习模型自动生成方法，提出了用于自动生成机器学习模型的算法，可以生成多领域的，符合不同现实需求的机器学习模型。本发明拟通过遗传算法，自动调参，自动筛选预训练网络，实现机器学习模型的自动生成。这些都将为机器学习的自动化提供理论和方法上的支持，从而提高开发者开发机器学习模型的效率，具有重要的推广应用价值。本发明的研究成果将应用于小样本下的多领域，多需求的机器学习模型自动生成，从而提高开发机器学习模型的效率，具有明显的经济效益和社会效益。
背景技术
对机器学习的研究主要分为回归与分类两个方向。本发明主要研究了图像分类问题：即希望机器学习模型通过一部分图像数据的学习，可以正确地对测试集中新的图像进行分类，判断出测试集中的图像分别归属于哪个类别。
传统机器学习方法，当对模型的需求或模型的应用领域发生变化时，都需要开发者重新进行超参数的调整，或是改造算法的结构，从而耗费大量人力物力。如果可以提出一种算法，对模型参数进行自动调整，或者对模型结构进行自动改良，从而实现模型的自动生成，无疑可以给机器学习领域创造极大的价值。机器学习模型中，主要包括两类参数。一类是模型的参数：它通过学习由机器自动产生。一类是算法的参数：“超参数”，它通常通过人工来调节。随着机器学习的发展，出现了越来越多的由多种算法组合的机器学习模型，所提供的超参数组合也呈指数型增长。这给人工调参带来了很大的难度。如何实现超参数的自动调整，是机器学习领域一个亟待解决的困难问题。
随着深度学习的发展，出现了大量能够有效提取图像数据特征的深层卷积神经网络。如何将这些神经网络应用在不同领域的迁移学习成为了一个热点问题。但迁移学习算法中，通过深层卷积神经网络提取的特征可能会造成部分信息缺失。同时，卷积神经网络因为其的黑盒属性，人们很难通过一些先验知识判断什么样的卷积神经网络适用于什么样的数据集，传统机器学习应该设置怎样的参数与卷积神经网络配合。人们越来越需要一种可以适用于全局的优化算法，探索神经网络与传统机器学习算法的最佳组合。
遗传算法作为一种通用的智能优化算法，可以突破领域搜索的限制，在整个解空间上实现分布式信息的处理与寻优，非常适用于小样本机器学习类问题的调参。如何将遗传算法与机器学习结合起来，生成能够自动化调参的机器学习模型，成为目前机器学习领域研究的热点问题。在传统的遗传算法模型中，我们想要找到解空间里的全局最优解，由此，产生了很多关于遗传算法的变种：模拟退火算法，粒子群算法，多种群遗传算法，免疫优化算法等。此类算法都为了解决传统遗传算法的早熟收敛问题，希望种群能够尽快跳出局部最优解，找到全局的最优解。在机器学习的调参模型里，我们同样希望种群能够尽快跳出局部收敛，但目的并非寻找到测试集上的全局最优解，而是希望模型能够提供尽可能多的局部最优解，因为在小样本的机器学习模型中，刻意的追求测试集上的全局最优解是没有意义的。我们的目的是生成面对未知数据有良好结果的机器学习模型，一味的追求测试集上的全局最优解并不会对未知数据的测试结果产生很大的提升，反而可能会造成模型的过拟合，影响机器模型的效果。在小样本的机器模型中，提供尽可能多的，在测试集上有良好结果的参数组合是很有必要的，在机器学习的黑盒测试下，我们并不能很好的通过测试集上彼此间相差不大的结果来判断模型的好坏。而提供尽可能多的参数组合，有利于我们在面临更大的数据集时进行必要的筛选，得到效果最好的机器学习模型。鉴于此，针对机器学习特征，改进传统遗传算法是很有必要的。
发明内容
本发明针对机器学习模型在多领域，多需求条件下的自动生成问题。提出了基于遗传算法的机器学习模型自动生成方法。
本发明将每一种预训练网络与超参数组合映射为遗传算法种群内的一个个体，并使用该参数组合在训练集上进行PCA降维，LDA降维，SVM分类，生成机器学习模型。利用机器学习模型对测试集进行预测，根据不同的现实需求，改变遗传算法的适应度函数，并将得到的模型在测试集上的表现，映射为个体的适应度。通过适应度，进行种群的选择，进化。通过遗传算法，种群将不断探索最优的参数组合，端到端的生成各领域上的，符合各种现实需求的机器学习模型。
本发明所要解决的技术问题：根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等。同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价。当现实需求发生变化时，往往需要开发者频繁的改变超参数的值或算法的结构，以适应新的要求，从而耗费大量的人力物力。不同领域的机器学习问题具有不同的特点，人们很难找到一种通用的方法，自动生成不同领域的机器学习模型。卷积神经网络因为其强大的特征学习能力，可以对图像进行更抽象的表述，探索图像的本质特征，为深度学习在迁移学习上的应用提供了可能。但卷积神经网络因为其的黑盒属性，人们很难通过一些先验知识判断什么样的卷积神经网络适用于什么样的数据集，传统机器学习应该设置怎样的参数与卷积神经网络配合。同时，利用卷积神经网络降维后的数据很有可能有丢失掉一部分原图像的特征。
本发明的技术解决方案：一种基于遗传算法的机器学习模型自动生成方法，其特征包含以下步骤：
步骤1：利用预训练网络对数据进行降维。
用于图像分类的卷积神经网络包含两部分：首先是一系列池化层和卷积层，最后是一个密集连接分类器。本发明冻结预训练网络前几层的权重，并选择最后某几层的输出。用于数据的降维。
步骤2：设置机器学习方法。
为实现图像的分类，需要选择用于数据降维与分类的机器学习方法。通过训练集的训练生成机器学习模型，通过测试集评测机器学习模型的效果。
步骤3：为遗传算法的个体设置合适的基因。
首先，本发明根据机器学习的特点，设置了实数型，类别型两种基因型。将机器学习的超参数映射为个体的基因。同时，为实现预训练网络的自动筛选，添加预训练网络基因。为弥补预训练网络降维后会丢失一部分原图像特征的缺点，添加深层特征降维数，全局特征降维数两种基因。
步骤4：根据不同的现实需求设置合适的适应度函数。
根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等。同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价。为实现不同需求的机器学习模型的自动化生成，需要为遗传算法设置不同的适应度函数。
步骤5：利用遗传算法进行种群的优化求解。
本发明利用遗传算法对参数组合进行了寻优，设置遗传算法中不同的选择算子，交叉算子，并根据传统遗传算法与机器学习的特点，添加俄狄浦斯算子，使遗传算法能提供尽可能多的局部最优解。以实现机器学习模型的自动化生产。
具体实施方式
下面对本发明的实施方式进行详细说明。
步骤1. 利用预训练网络对数据进行降维。
为实现机器学习模型在不同领域上的自动化生成，本发明采用了迁移学习的思想，迁移学习的目的是将以前学习的知识迁移到新的任务中。迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法。对于卷积神经网络而言，迁移学习就是要把在特定数据集上训练得到的“知识”成功运用到新的领域之中。对于小样本的机器学习工作，一种常用且非常高效的方法是使用预训练网络,预训练网络是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类工作）上训练好。如果这个原始数据集足够大而且足够通用，那么预训练网络学到的特征的空间层次结构可以有效地作为视觉世界的通用模型，因此这些特征可用于各种不同的计算机视觉问题，即使这些新问题涉及的类别和原始任务完全不同。
本发明建议的预训练网络有以下几种：VGG16，Xception，Inception V3，ResNet50。本发明冻结预训练网络的权重，并选择最后某几层的输出。用于数据的降维。
步骤2：设置机器学习方法。
机器学习的基本流程包括数据的采集，数据的预处理，数据的特征提取，数据的回归或分类。为实现多领域，多需求的机器学习模型的自动生成，本发明建议选择PCA+LDA作为数据降维方法，SVM作为数据分类方法的机器学习方法。PCA即主成分分析法。降维后的特征在维数还原后，构成的图像仍旧保持为图像的形式。所以，PCA方法能够保留尽可能多的全局信息。LDA：即线性判别分析技术。LDA算法在获取样本的类别信息后，目的是通过降维使降维后的数据类间方差最大，类内方差最小。SVM：即支持向量机。其基本思想为寻找到一个最优划分超平面，将不同类的样本区分开。
步骤3：为遗传算法的个体设置合适的基因。
不同机器学习的参数中存在着一部分连续型的变量：PCA降维的特征数，SVM中的C值等，也存在着一部分非连续变量：SVM的核函数等。由此，我们选择了混合染色体编码方式。将群体中的染色体划分为实数型和类别型两种。进行机器学习参数的优化。
我们设实数型基因的下限为，上限为，类别型基因下限为，上限为，则机器学习调参的实数解空间与类别解空间如下所示：
其中，实数解空间相互之间具有相关性，即大小相近的基因之间我们认为在解空间中能起到相似的作用，类别解空间之间相互独立，大小不同的类别解彼此之间没有任何关系。
本发明主要选择了PCA+LDA进行降维，SVM进行分类的机器学习方法，所以，本发明建议设置三个实数型基因，，C。代表PCA算法的降维特征数，代表LDA算法的降维特征数，C代表SVM算法的惩罚系数。一个类别型基因，代表SVM算法的核函数。
随着科技的不断进步，以后必然会出现越来越多的，效果越来越好的“预训练网络”。而深度学习由于其特有的黑盒测试属性，我们很难通过一些先验知识去判断什么样的“预训练网络”在什么样的“数据集”上表现更好。同时，我们也很难判断降维后的数据更适合用什么样的分类器进行后续的分类工作。由此，本发明提出了利用遗传算法对迁移学习进行优化的算法。通过遗传算法，选择最适合的“预训练网络”与机器学习“超参数”的组合，完成机器学习工作。所以，本发明添加新的基因：。
我们利用预训练网络对数据进行了降维处理，但降维后的数据存在问题：可能丢失掉一部分原图像特征。原图像特征，深层卷积神经网络降维后的深层特征，在交给传统机器学习方法处理时都需要经过PCA等方法进行数据的降维，而降维的特征数是任意的，我们可以通过改变PCA降维或LDA降维的特征量，来改变三种特征的权重。由此，我们提出了一种基于遗传算法的特征融合算法。算法通过增加实数型基因...，根据测试集上的反馈结果，调节各种特征的降维数量以及对应的传统机器学习方法的超参数，来达到最好的分类效果。
步骤4：根据不同的现实需求设置合适的适应度函数。
根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等。同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价。当现实需求发生变化时，往往需要开发者频繁的改变超参数的值或算法的结构，以适应新的要求，从而耗费大量的人力物力。对于遗传算法而言，不同的现实需求，所对应的即为不同的适应度函数。由此，本发明提出了利用改变适应度函数来自动生成符合不同现实需求的机器学习模型的方法。
利用本发明自动生成符合不同现实需求的机器学习模型的例子如下：
对于追求高准确率的模型可以设置适应度函数为：
其中acc代表模型在测试集上的准确率。
对于追求降维后的特征量最少的模型，可以设置适应度函数为：
对于想要平衡查准率，查全率关系的模型，可以设置适应度函数为：降维后的特征量最少的模型，可以设置适应度函数为：
其中P代表模型在测试集上的查准率，R代表模型在测试集上的查全率。
步骤5：利用遗传算法进行种群的优化求解。
5.1传统遗传算法结构
首先，设置选择算子，变异算子，交叉算子：
在选择算子上，我们采用了经典的轮盘赌算法，每个群体被选择的概率仅和它的适应度函数的值相关（假设群体的个体数为M）：
在交叉算子上，与传统遗传算法一样，我们通过交叉概率随机的选择两个进行交叉的个体与它们要进行交叉的基因位，当要进行交叉的基因位为实数基因时，我们按下式交叉（其中，p为0到1的随机数）：
当进行交叉的基因位为类别基因时，我们按下式交叉；
在变异算子上，当满足变异概率时，我们随机的选择一个个体的一个基因位进行变异，对于实数基因，我们采用下式其中，为0到1的随机数）：
当进行变异的基因位为类别基因时，我们进行以下方式的变异；
5.2 添加俄狄浦斯算子
由于传统遗传算法在机器学习领域存在缺陷，我们提出了一种新的算子——俄狄浦斯算子，应用在机器学习的调参中，并取得了很好的效果。
种群每发生三代进化，计算一次俄狄浦斯算子，它发生在上一代进化的选择算子选择完成，下一代进化的开始阶段。首先，它通过以下公式判断基因与基因间的相似性，对于实数型基因，当满足公式下式（是事先给定的阀值）时，我们认为两个基因是相似的：
对于类别型基因，当满足公式下式时，我们认为两个基因是相似的：
俄狄浦斯算子通过基因间是否相似，判断个体间是否相似，设个体间相似的基因个数为C，个体的总基因数为N，当满足下式时，我们认为两个个体是相似的（为个体间相似的概率系数）：
我们按顺序依次选择一个个体，计算该个体与种群内其他个体的相似性，当与之相似的个体总数满足式下时，我们停止搜索，并选择该个体为种群的新的俄狄浦斯王（为种群内相似的概率系数）：
如果搜索完毕，并没有产生新的俄狄浦斯王，我们认为种群内的差异性是足够的，种群并没有进入早熟收敛阶段，我们将和传统遗传算法一样，进入下面的选择，交叉，变异阶段。
如果产生了新的俄狄浦斯王，首先，我们将它与上一代俄狄浦斯王进行相似性比较（第一代俄狄浦斯王设置为初始种群的随机一个个体）。如果新的俄狄浦斯王与老俄狄浦斯王并不相似，我们认为种群一定程度上摆脱了上一次的局部收敛。在这种情况下，我们并不应该像免疫算法那样抑制新俄狄浦斯王以及与之相似的个体的遗传进化，因为此时距离上一次摆脱局部最优解，种群仅进行了几代的进化，种群进化的次数还不足以帮助它收敛到最优。与免疫算法相反，我们应该鼓励种群的变异，加快种群的收敛速度，帮助种群尽快找到局部最优解。在俄狄浦斯算子中，我们将这种情况称为“警告”模式，如果种群触发了警告，将会连续进行三次“变异算子”，在保持种群原有大结构不变的前提下，进行多个基因的变异，帮助种群尽快推翻俄狄浦斯王，收敛到局部最优。
如果新的俄狄浦斯王与上一代俄狄浦斯王进行比较，满足相似的要求。我们认为，在触发警告之后，种群依旧没有摆脱局部最优解的限制，收敛在了局部最优解。这种情况下，我们称为种群触发了“瘟疫”模式。在瘟疫模式里，首先，种群依旧会连续进行三次“变异算子”，来提高种群的差异性，随后，在每次种群计算完适应度函数后，我们将种群中的个体依次与新的俄狄浦斯王进行相似性比较，当个体与俄狄浦斯王相似时，我们会按照下式降低个体的适应度值，以此来抑制与俄狄浦斯王相似的个体的遗传进化（为大于0小于1的系数）：
瘟疫模式直到下一次进行俄狄浦斯算子时终止。在经历了三代的自然选择之后，种群往往可以顺利的摆脱局部最优解，去探索其它的局部最优解，丰富自己最后的进化结果。
Claims (1)
1.基于遗传算法的机器学习模型自动生成方法，其特征在于如下步骤：
步骤1. 利用预训练网络对数据进行降维；
为实现机器学习模型在不同领域上的自动化生成，本发明采用了迁移学习的思想，迁移学习的目的是将以前学习的知识迁移到新的任务中；迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法；对于卷积神经网络而言，迁移学习就是要把在特定数据集上训练得到的“知识”成功运用到新的领域之中；对于小样本的机器学习工作，一种常用且非常高效的方法是使用预训练网络,预训练网络是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类工作）上训练好；如果这个原始数据集足够大而且足够通用，那么预训练网络学到的特征的空间层次结构可以有效地作为视觉世界的通用模型，因此这些特征可用于各种不同的计算机视觉问题，即使这些新问题涉及的类别和原始任务完全不同；
本发明建议的预训练网络有以下几种：VGG16，Xception，Inception V3，ResNet50；本发明冻结预训练网络的权重，并选择最后某几层的输出；用于数据的降维；
步骤2：设置机器学习方法；
机器学习的基本流程包括数据的采集，数据的预处理，数据的特征提取，数据的回归或分类；为实现多领域，多需求的机器学习模型的自动生成，本发明建议选择PCA+LDA作为数据降维方法，SVM作为数据分类方法的机器学习方法；PCA即主成分分析法；降维后的特征在维数还原后，构成的图像仍旧保持为图像的形式；所以，PCA方法能够保留尽可能多的全局信息；LDA：即线性判别分析技术；LDA算法在获取样本的类别信息后，目的是通过降维使降维后的数据类间方差最大，类内方差最小；SVM：即支持向量机；其基本思想为寻找到一个最优划分超平面，将不同类的样本区分开；
步骤3：为遗传算法的个体设置合适的基因；
不同机器学习的参数中存在着一部分连续型的变量：PCA降维的特征数，SVM中的C值等，也存在着一部分非连续变量：SVM的核函数等；由此，我们选择了混合染色体编码方式；将群体中的染色体划分为实数型和类别型两种；进行机器学习参数的优化；
我们设实数型基因的下限为，上限为，类别型基因下限为，上限为，则机器学习调参的实数解空间与类别解空间如下所示：
其中，实数解空间相互之间具有相关性，即大小相近的基因之间我们认为在解空间中能起到相似的作用，类别解空间之间相互独立，大小不同的类别解彼此之间没有任何关系；
本发明主要选择了PCA+LDA进行降维，SVM进行分类的机器学习方法，所以，本发明建议设置三个实数型基因，，C；代表PCA算法的降维特征数，代表LDA算法的降维特征数，C代表SVM算法的惩罚系数；一个类别型基因，代表SVM算法的核函数；
随着科技的不断进步，以后必然会出现越来越多的，效果越来越好的“预训练网络”；而深度学习由于其特有的黑盒测试属性，我们很难通过一些先验知识去判断什么样的“预训练网络”在什么样的“数据集”上表现更好；同时，我们也很难判断降维后的数据更适合用什么样的分类器进行后续的分类工作；由此，本发明提出了利用遗传算法对迁移学习进行优化的算法；通过遗传算法，选择最适合的“预训练网络”与机器学习“超参数”的组合，完成机器学习工作；所以，本发明添加新的基因：；
我们利用预训练网络对数据进行了降维处理，但降维后的数据存在问题：可能丢失掉一部分原图像特征；原图像特征，深层卷积神经网络降维后的深层特征，在交给传统机器学习方法处理时都需要经过PCA等方法进行数据的降维，而降维的特征数是任意的，我们可以通过改变PCA降维或LDA降维的特征量，来改变三种特征的权重；由此，我们提出了一种基于遗传算法的特征融合算法；算法通过增加实数型基因...，根据测试集上的反馈结果，调节各种特征的降维数量以及对应的传统机器学习方法的超参数，来达到最好的分类效果；
步骤4：根据不同的现实需求设置合适的适应度函数；
根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等；同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价；当现实需求发生变化时，往往需要开发者频繁的改变超参数的值或算法的结构，以适应新的要求，从而耗费大量的人力物力；对于遗传算法而言，不同的现实需求，所对应的即为不同的适应度函数；由此，本发明提出了利用改变适应度函数来自动生成符合不同现实需求的机器学习模型的方法；
利用本发明自动生成符合不同现实需求的机器学习模型的例子如下：
对于追求高准确率的模型可以设置适应度函数为：
其中acc代表模型在测试集上的准确率；
对于追求降维后的特征量最少的模型，可以设置适应度函数为：
对于想要平衡查准率，查全率关系的模型，可以设置适应度函数为：降维后的特征量最少的模型，可以设置适应度函数为：
其中P代表模型在测试集上的查准率，R代表模型在测试集上的查全率；
步骤5：利用遗传算法进行种群的优化求解；
5.1传统遗传算法结构
首先，设置选择算子，变异算子，交叉算子：
在选择算子上，我们采用了经典的轮盘赌算法，每个群体被选择的概率仅和它的适应度函数的值相关（假设群体的个体数为M）：
在交叉算子上，与传统遗传算法一样，我们通过交叉概率随机的选择两个进行交叉的个体与它们要进行交叉的基因位，当要进行交叉的基因位为实数基因时，我们按下式交叉（其中，p为0到1的随机数）：
当进行交叉的基因位为类别基因时，我们按下式交叉；
在变异算子上，当满足变异概率时，我们随机的选择一个个体的一个基因位进行变异，对于实数基因，我们采用下式其中，为0到1的随机数）：
当进行变异的基因位为类别基因时，我们进行以下方式的变异；
5.2 添加俄狄浦斯算子
由于传统遗传算法在机器学习领域存在缺陷，我们提出了一种新的算子——俄狄浦斯算子，应用在机器学习的调参中，并取得了很好的效果；
种群每发生三代进化，计算一次俄狄浦斯算子，它发生在上一代进化的选择算子选择完成，下一代进化的开始阶段；首先，它通过以下公式判断基因与基因间的相似性，对于实数型基因，当满足公式下式（是事先给定的阀值）时，我们认为两个基因是相似的：
对于类别型基因，当满足公式下式时，我们认为两个基因是相似的：
俄狄浦斯算子通过基因间是否相似，判断个体间是否相似，设个体间相似的基因个数为C，个体的总基因数为N，当满足下式时，我们认为两个个体是相似的（为个体间相似的概率系数）：
我们按顺序依次选择一个个体，计算该个体与种群内其他个体的相似性，当与之相似的个体总数满足式下时，我们停止搜索，并选择该个体为种群的新的俄狄浦斯王（为种群内相似的概率系数）：
如果搜索完毕，并没有产生新的俄狄浦斯王，我们认为种群内的差异性是足够的，种群并没有进入早熟收敛阶段，我们将和传统遗传算法一样，进入下面的选择，交叉，变异阶段；
如果产生了新的俄狄浦斯王，首先，我们将它与上一代俄狄浦斯王进行相似性比较（第一代俄狄浦斯王设置为初始种群的随机一个个体）；如果新的俄狄浦斯王与老俄狄浦斯王并不相似，我们认为种群一定程度上摆脱了上一次的局部收敛；在这种情况下，我们并不应该像免疫算法那样抑制新俄狄浦斯王以及与之相似的个体的遗传进化，因为此时距离上一次摆脱局部最优解，种群仅进行了几代的进化，种群进化的次数还不足以帮助它收敛到最优；与免疫算法相反，我们应该鼓励种群的变异，加快种群的收敛速度，帮助种群尽快找到局部最优解；在俄狄浦斯算子中，我们将这种情况称为“警告”模式，如果种群触发了警告，将会连续进行三次“变异算子”，在保持种群原有大结构不变的前提下，进行多个基因的变异，帮助种群尽快推翻俄狄浦斯王，收敛到局部最优；
如果新的俄狄浦斯王与上一代俄狄浦斯王进行比较，满足相似的要求；我们认为，在触发警告之后，种群依旧没有摆脱局部最优解的限制，收敛在了局部最优解；这种情况下，我们称为种群触发了“瘟疫”模式；在瘟疫模式里，首先，种群依旧会连续进行三次“变异算子”，来提高种群的差异性，随后，在每次种群计算完适应度函数后，我们将种群中的个体依次与新的俄狄浦斯王进行相似性比较，当个体与俄狄浦斯王相似时，我们会按照下式降低个体的适应度值，以此来抑制与俄狄浦斯王相似的个体的遗传进化（为大于0小于1的系数）：
瘟疫模式直到下一次进行俄狄浦斯算子时终止；在经历了三代的自然选择之后，种群往往可以顺利的摆脱局部最优解，去探索其它的局部最优解，丰富自己最后的进化结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910495207.3A CN110245252A (zh) | 2019-06-10 | 2019-06-10 | 基于遗传算法的机器学习模型自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910495207.3A CN110245252A (zh) | 2019-06-10 | 2019-06-10 | 基于遗传算法的机器学习模型自动生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110245252A true CN110245252A (zh) | 2019-09-17 |
Family
ID=67886253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910495207.3A Pending CN110245252A (zh) | 2019-06-10 | 2019-06-10 | 基于遗传算法的机器学习模型自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110245252A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928651A (zh) * | 2019-10-12 | 2020-03-27 | 杭州电子科技大学 | 一种移动边缘环境下的服务工作流容错调度方法 |
| CN111220921A (zh) * | 2020-01-08 | 2020-06-02 | 重庆邮电大学 | 基于改进卷积-长短时记忆神经网络的锂电池容量估算方法 |
| CN111259604A (zh) * | 2020-01-16 | 2020-06-09 | 中国科学院空间应用工程与技术中心 | 基于机器学习的高轨道卫星光压模型辨识方法及系统 |
| CN111290762A (zh) * | 2020-01-19 | 2020-06-16 | 深圳云天励飞技术有限公司 | 一种深度学习网络的部署方法、装置及终端设备 |
| CN111354338A (zh) * | 2020-02-26 | 2020-06-30 | 重庆大学 | 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统 |
| CN111709519A (zh) * | 2020-06-17 | 2020-09-25 | 湖南大学 | 一种深度学习并行计算架构方法及其超参数自动配置优化 |
| CN112163068A (zh) * | 2020-09-25 | 2021-01-01 | 山东电力研究院 | 一种基于自主进化学习器的信息预测方法及系统 |
| CN112718548A (zh) * | 2020-12-10 | 2021-04-30 | 青岛农业大学 | 一种深度学习通用型农产品智能分选机 |
| CN113779877A (zh) * | 2021-09-06 | 2021-12-10 | 众微致成(北京)信息服务有限公司 | 一种基于遗传算法的自动化特征构建方法 |
| CN114492214A (zh) * | 2022-04-18 | 2022-05-13 | 支付宝(杭州)信息技术有限公司 | 利用机器学习的选择算子确定、策略组合优化方法及装置 |
-
2019
- 2019-06-10 CN CN201910495207.3A patent/CN110245252A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928651B (zh) * | 2019-10-12 | 2022-03-01 | 杭州电子科技大学 | 一种移动边缘环境下的服务工作流容错调度方法 |
| CN110928651A (zh) * | 2019-10-12 | 2020-03-27 | 杭州电子科技大学 | 一种移动边缘环境下的服务工作流容错调度方法 |
| CN111220921A (zh) * | 2020-01-08 | 2020-06-02 | 重庆邮电大学 | 基于改进卷积-长短时记忆神经网络的锂电池容量估算方法 |
| CN111259604A (zh) * | 2020-01-16 | 2020-06-09 | 中国科学院空间应用工程与技术中心 | 基于机器学习的高轨道卫星光压模型辨识方法及系统 |
| CN111290762A (zh) * | 2020-01-19 | 2020-06-16 | 深圳云天励飞技术有限公司 | 一种深度学习网络的部署方法、装置及终端设备 |
| CN111354338A (zh) * | 2020-02-26 | 2020-06-30 | 重庆大学 | 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统 |
| CN111354338B (zh) * | 2020-02-26 | 2022-03-15 | 重庆大学 | 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统 |
| CN111709519A (zh) * | 2020-06-17 | 2020-09-25 | 湖南大学 | 一种深度学习并行计算架构方法及其超参数自动配置优化 |
| CN111709519B (zh) * | 2020-06-17 | 2024-02-06 | 湖南大学 | 一种深度学习并行计算架构方法及其超参数自动配置优化 |
| CN112163068A (zh) * | 2020-09-25 | 2021-01-01 | 山东电力研究院 | 一种基于自主进化学习器的信息预测方法及系统 |
| CN112718548A (zh) * | 2020-12-10 | 2021-04-30 | 青岛农业大学 | 一种深度学习通用型农产品智能分选机 |
| CN113779877A (zh) * | 2021-09-06 | 2021-12-10 | 众微致成(北京)信息服务有限公司 | 一种基于遗传算法的自动化特征构建方法 |
| CN113779877B (zh) * | 2021-09-06 | 2024-03-29 | 众微致成(北京)信息服务有限公司 | 一种基于遗传算法的自动化特征构建方法 |
| CN114492214A (zh) * | 2022-04-18 | 2022-05-13 | 支付宝(杭州)信息技术有限公司 | 利用机器学习的选择算子确定、策略组合优化方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245252A (zh) | 基于遗传算法的机器学习模型自动生成方法 | |
| Johnson et al. | Survey on deep learning with class imbalance | |
| CN106779087B (zh) | 一种通用机器学习数据分析平台 | |
| Karaboga et al. | A novel clustering approach: Artificial Bee Colony (ABC) algorithm | |
| Karaboga et al. | Fuzzy clustering with artificial bee colony algorithm | |
| CN109299342A (zh) | 一种基于循环生成式对抗网络的跨模态检索方法 | |
| CN103729678B (zh) | 一种基于改进dbn模型的水军检测方法及系统 | |
| CN105868775A (zh) | 基于pso算法的不平衡样本分类方法 | |
| CN101447020B (zh) | 基于直觉模糊的色情图像识别方法 | |
| CN109063719A (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
| CN109978050A (zh) | 基于svm-rf的决策规则提取及约简方法 | |
| CN110287985B (zh) | 一种基于带变异粒子群算法的可变拓扑结构的深度神经网络图像识别方法 | |
| Islam et al. | InceptB: a CNN based classification approach for recognizing traditional bengali games | |
| Fei et al. | Research on data mining algorithm based on neural network and particle swarm optimization | |
| Wozniak et al. | Designing combining classifier with trained fuser—Analytical and experimental evaluation | |
| Naik et al. | A global-best harmony search based gradient descent learning FLANN (GbHS-GDL-FLANN) for data classification | |
| Peng et al. | Dual contrastive learning network for graph clustering | |
| CN111832645A (zh) | 基于离散型乌鸦差分协同搜索算法的分类数据特征选择方法 | |
| Çetinkaya et al. | Performance comparison of most recently proposed evolutionary, swarm intelligence, and physics-based metaheuristic algorithms for retinal vessel segmentation | |
| CN110554429A (zh) | 一种基于变邻域滑动窗口机器学习的地震断层识别方法 | |
| Huang | A mental disorder prediction model with the ability of deep information expression using convolution neural networks technology | |
| Ishibuchi et al. | Designing fuzzy rule-based classifiers that can visually explain their classification results to human users | |
| Gao et al. | Statistics and Analysis of Targeted Poverty Alleviation Information Integrated with Big Data Mining Algorithm | |
| Zhou et al. | Fuzzy c-means clustering algorithm for performance improvement of ENN | |
| Feng et al. | Bean optimization algorithm based on negative Binomial Distribution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190917 |