CN111898689B - 一种基于神经网络架构搜索的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于神经网络架构搜索的图像分类方法，通过将整个卷积神经网络编码成种群，引入遗传算法产生后代，结合医疗图像分类的精确率、召回率需求，设计适应度评估策略进行种群更迭，最终找出最优种群解码后实现精准分类。相比于现有的基于特征提取的医学图像分类方法，本发明分类的速度更快并且准确率更高；相比于现有的基于人工设计神经网络的医学图像分类方法，本发明灵活度高，在各种医疗图像分类任务中都能寻找出性能更佳的架构。

Description

一种基于神经网络架构搜索的图像分类方法

技术领域

本发明属于计算机视觉领域，涉及一种基于神经网络架构搜索的图像分类方法。

背景技术

近来，将人工智能技术应用于医疗领域已经屡见不鲜，各种人工智能技术(例如SVM、决策树等)在医疗图像分割、图像分类等方面已经超越了医疗专家，尤其以深度卷积神经网络技术为代表的深度学习技术在医疗图像领域已经开始崭露锋芒。但是医疗图像领域所用的神经网络架构大多是基于手工设计的，这样会导致一个问题：当新的分类任务到来时，原本设计出来的架构可能在新的任务上表现不佳，需要重新设计，使得过程耗时耗力。基于此，神经网络架构搜索(NAS)算法应运而生，在给定数据集上，NAS可以自动地根据性能表现搜索最优的神经网络架构，在一些医学图像识别任务中，通过NAS自动搜索的CNN架构已展现出比人工设计的CNN架构更优的性能。

在NAS方法中，基于进化算法的NAS方法是一类主流的研究方法，并被证明有潜力找到全局最优的CNN架构。现有的基于进化算法的NAS方法通常使用一个个体来代表整个CNN，并使用遗传算子来探索搜索空间。但是，它们通常面临两个挑战：1)由于CNN具有大量要编码的参数和权重，因此个体的长度很长，这会导致较大的搜索空间；2)由于最佳的CNN的深度是未知的，因而这涉及到一个变长度的优化问题。由于不同尺寸的搜索空间可能具有不同的最优解，这导致搜索常常陷入混乱。

发明内容

本发明的目的是为了改进现有应用于医疗图像分类的神经网络性能并解决传统进化计算NAS两个挑战。提出了一种新的医学图像分类的神经网络架构搜索方法，能针对不同医疗图像分类任务稳定的搜索出性能更佳的神经网络架构，并且具有更好的性能。具体包含以下步骤：

一种基于神经网络架构搜索的图像分类方法，包括以下步骤：

步骤一，对待处理的图片集进行数据预处理，然后划分为训练集、测试集和验证集；

步骤二，随机初始化一个卷积神经网络，通过简单编码机制将每一层的参数和初始化权值进行编码形成个体，此时所有个体的集合即初始种群，接下来将初始种群中的个体按照所在层代表的类型划分为三个子种群即卷积、池化和全连接子种群，每个子种群中的个体长度相同且类型一致，然后采用遗传算法的交叉算子、变异算子作用于三个子种群产生三个后代子种群，将三个后代子种群合并成后代种群并打乱内部排序，构成后代种群；

步骤三，从后代种群中依次取出每一个个体，对每个个体通过插入、替换和删除的更新策略产生三个新的候选种群即候选CNN架构；

步骤四：将三个新的候选种群解码成CNN，结合训练集和验证集进行预训练，然后采用适应度评估策略计算经数据预处理后的图片集包括准确率、精确率、召回率、参数数目和损失在内的适应度，通过二进制锦标赛算法选择包括初始种群和三个候选种群共四个种群之中的最佳种群；

步骤五：用最佳种群替换步骤二中的初始种群，此时最佳种群就是新的初始种群，然后跳转回步骤二循环执行直至达到预设循环次数，将最终得到的最佳种群解码成CNN架构，结合训练集和测试集进行深度训练，获得最终模型，并将最终模型用于图片分类。

所述的方法，步骤一包括以下步骤：

a)将所有照片重设成相同尺寸；

b)通过滤波、降噪步骤对照片进行清洗；

c)照片归一化、正则化；

然后将预处理后的照片通过numpy数组转化为数字序列形式的数组，并按照6：1：3的比例划分成训练集、验证集和测试集。

所述的方法，步骤二中所述的随机初始化一个卷积神经网络，步骤为：

a)随机建立一个卷积神经网络，然后在神经网络的第一层新加一个卷积层；

b)在之后的若干层中，在每层之后随机新加一个卷积层或一个池化层；

c)在完成步骤b)后，再在神经网络的最后新加若干连续的全连接层；

初始化完成后的神经网络最后一层为逻辑全连接层，隐藏神经元数目为分类的数目，激活函数为softmax，其余参数和普通全连接层一致。

所述的方法，步骤二中所述的简单编码机制的编码方式如下：

a)卷积层：将卷积核大小、卷积核数目、初始化权值均值、初始化权值方差对应的值编码成数组，其中卷积核大小的范围为[2，20]，卷积核数目的范围为[3，50]，初始化权值的均值范围为[-1，1]，初始化权值的方差范围为[0，1]；

b)池化层：将池化窗口大小、池化类型对应的值编码成数组，其中池化窗口大小的取值列表为{2，4}，池化类型的取值列表为{0，1}，0对应最大池化，1对应平均池化；

c)全连接层：将神经元数目、初始化权值均值、初始化权值方差对应的值编码成数组，其中普通全连接层的神经元数目范围为[1000，2000],逻辑全连接层的神经元数目为分类数，初始化权值的均值范围为[-1，1]，初始化权值的方差范围为[0，1]。

所述的方法，步骤二中所述的交叉算子是基于模拟二进制交叉算法实现，公式为：

其中表示第t代的两个个体，/>表示第t+1代的两个个体，中间参数β_qi的计算公式如下：

其中u_i为[0，1]区间的随机数，η_c为交叉分布指数。一般η_c设为0.05。

所述的方法，步骤二中所述的采用遗传算法的交叉算子作用于三个子种群产生三个后代子种群，具体步骤为：以子种群规模为n，取前按正序排列构成父序列1，取后按逆序排列构成父序列2，两个父序列对齐后基于交叉算子公式将两个序列中同一位置的2个个体进行交叉，最后从产生的子种群中随机取出和原种群数目一致的个体组成新的子种群。

所述的方法，步骤二中所述的变异算子是基于遗传算法中经典的多项式变异算法实现，公式为：

其中表示第t代的个体，/>表示第t+1代的个体，中间参数β_i的计算公式为：

其中u_i为[0，1]区间的随机数，η_u为分布指数。

所述的方法，步骤三中所述的更新策略中，分别以插入、删除和替换的方式对后代种群进行更新并产生三个新的候选种群，其规则如下：

a)如果从后代中取出的个体为卷积层，那么插入操作为：将该卷积层插入到初始种群所代表网络的第一个全连接层之前的任意位置；删除操作为：删除任意一层卷积层，但当删除操作会导致网络第一层不为卷积层时，则改为进行替换操作；替换操作为：将该卷积层替换网络中的任意一层卷积层；

b)如果从后代中取出的个体为池化层，那么插入操作为：将该池化层插入到到初始种群所代表网络的第一个卷积层之后到第一个全连接层之前的任意位置；删除操作为：删除任意一层池化层，但当删除操作会导致网络中没有池化层时，则改为进行替换操作；替换操作为：将该池化层替换网络中的任意一层池化层；

c)如果从后代中取出的个体为全连接层，那么插入操作为：将该全连接层插入到初始种群所代表网络的第一个全连接层前一层到逻辑全连接层之前的任意位置；删除操作为：删除任意一层普通全连接层，但当删除操作会导致网络中没有普通全连接层时，则改为进行替换操作；替换操作为：将该全连接层替换网络中的任意一层普通全连接层。

所述的方法，步骤四所述的预训练方法，其操作过程是：将训练集和验证集用在CNN中，训练10代，以预测出该CNN的表现趋势。

所述的方法，步骤四中所述的适应度评估策略中，其适应度指标包含准确率、精确率、召回率、参数数目和训练损失；对于N分类任务，其中N≥2，全部样本的类别包括{C₁,C₂,C₃,…，C_N}，全部样本数为S,那么在最后的分类结果中，对每一类C_i(i＝1,2,3,…,N)，以样本中类别为C_i的为正类，非C_i的为负类，那么正类被分为正类的数目为TP_i，正类被分为负类的数目为FN_i，负类被分为负类的数目为TN_i，负类被分为正类的数目为FP_i，适应度指标的计算为：

a)准确率Acc：

b)精确率Precision：

c)召回率Recall：

d)参数数目：采用Keras框架中的model.summary()函数计算参数数目，其中model代表经过训练的神经网络模型，summary()指的是Keras的一种模型参数数目计算函数。

e)训练损失：通过Keras中的“categorical_crossentropy”函数自动计算损失。

其中不同医疗图像分类任务对精确率和召回率的需求不一样，所以可以根据任务要求调整上述指标的优先级。

所述的方法，步骤四中所述的二进制锦标赛算法，具体选择步骤为：

a)初始一个空列表，在列表中依次添加初始种群和三个候选种群，构成一个含有四个种群的列表；

b)从列表中随机抽取两个种群A和B，按照优先级依次比较两者的适应度指标，若A的指标较B提升超过预设阈值(其中准确率、精确率、召回率的阈值为1％，参数数目的阈值为2⁶个，训练损失的阈值为0.01)，则选择A；若B的指标较A提升超过预设阈值，则选择B；否则选择下一适应度指标进行比较。若所有指标比较后仍没有结果，则随机从A、B中选取一个作为选择的种群。

c)将上述步骤中选取的种群重新放入列表，重复步骤2)和3)，直至列表中只有一个种群，即选出的种群。

所述的方法，步骤五中所述的深度训练，其使用的数据集为训练集和测试集，训练100代，得到最终的模型。

本发明的有益效果是：

通过将整个卷积神经网络编码成种群，引入遗传算法产生后代，结合医疗图像分类的精确率、召回率需求，设计适应度评估策略进行种群更迭，最终找出最优种群解码后学习建模。

相比于现有的基于特征提取的医学图像分类方法，本发明分类的速度更快并且准确率更高；相比于现有的基于人工设计神经网络的医学图像分类方法，本发明灵活度高，能完成不同医疗图像分类任务并且性能更佳。

附图说明

图1为本发明的流程图。

图2为以卷积子种群为例应用遗传算法产生后代的流程图。

图3为产生候选种群的流程图。

具体实施方式

下面结合附图对本发明的实施方式作进一步的说明。

本发明所提出的基于神经网络架构搜索的图像分类方法，整个流程框架如图1所示，包括以下步骤：

步骤1：首先收集医疗图片，截取出照片的需要进行分类的区域，进行数据预处理，具体步骤为：

a)将所有照片重设成相同尺寸；

b)通过滤波、降噪步骤对照片进行清洗；

c)照片归一化、正则化。

然后将预处理后的照片转化为数组并分类，按照6：1：3的比例划分成训练集、验证集和测试集。

步骤2：初始化一个卷积神经网络，初始化方式为：首先在神经网络中新加一个卷积层，然后在之后的若干层中，以0.5的概率新加一个卷积层，以0.5的概率新加一个池化层，最后在神经网络中新加若干连续的全连接层，其中全连接层的最后一层为逻辑全连接层，其隐藏神经元数目为分类的数目，激活函数为softmax，其余参数和普通全连接层一致。

之后通过简单编码将上述神经网络每一层的参数和初始化权值编码成种群中的个体，简单编码的参数列表及取值范围如下表所示：

简单编码的参数列表及取值范围

此时个体的集合构成初始种群，整个种群代表一个完整的CNN，随后将种群中的个体按照层的类型划分为三个子种群(即卷积、池化和全连接子种群)，采用遗传算法的交叉变异算子产生三个新的候选种群(即候选CNN架构)，其方法流程如图2所示，其中交叉算子采用的是遗传算法中的模拟二进制交叉(SBX)算法，其公式为：

表示第t代的两个个体，/>表示第t+1代的两个个体，β_qi的计算公式如下：

其中u_i为[0，1]区间的随机数，η_c为交叉分布指数，设为0.05。

变异算子采用的是遗传算法中的多项式变异(PM)算法，其公式为：

表示第t代的个体，/>表示第t+1代的个体，β_i的计算公式为：

其中u_i为[0，1]区间的随机数，η_u为分布指数，设为0.05。

之后将三个后代子种群合并成后代种群，打乱其内部排序，构成后代种群。

步骤3：从后代种群中依次取出每一个个体，通过插入、替换和删除一个个体(层)的更新策略产生三个新的候选种群(即候选CNN架构)，其方法流程如图3所示，其更新策略如下表：

产生候选种群的更新策略

随后将候选种群解码成完整的CNN架构。

步骤4：将三个候选种群解码成CNN，结合训练集和验证集进行预训练，即将训练集和验证集用在CNN中，训练少量的代数，以预测出该CNN的表现趋势。

然后采用适应度评估策略计算三个候选种群的包括准确率、精确率、召回率等在内的适应度指标，这些指标包括：

适应度指标	默认优先级	阈值
			准确率	1	1％
精确率	2	1％
			召回率	3	1％
参数数目	4	1M
			损失	5	0.01

指标的计算方式为：

对于N分类任务(N≥2)，全部样本的类别包括{C₁,C₂,C₃,…，C_N}，全部样本数为S,那么在最后的分类结果中，对每一类C_i(i＝1,2,3,…,N)，设样本中类别为C_i的为正类，非C_i的为负类，那么正类被分为正类的数目为TP_i，正类被分为负类的数目为FN_i，负类被分为负类的数目为TN_i，负类被分为正类的数目为FP_i，那么上述指标的计算为：

a)准确率Acc：

b)精确率Precision：

c)召回率Recall：

d)参数数目：采用Keras框架中的model.summary()函数计算参数数目，其中model代表经过训练的神经网络模型，summary()指的是Keras的一种模型参数数目计算函数。

e)训练损失：通过Keras中的“categorical_crossentropy”函数自动计算损失。

其中不同医疗图像分类任务对精确率和召回率的需求不一样，所以可以根据任务要求调整上述指标的优先级。

其中不同医疗图像分类任务对精确率和召回率的需求不一样，所以可以根据任务要求调整上述指标的优先级。

随后通过二进制锦标赛算法选择进入下一循环的种群，具体步骤为：

a)将初始种群和三个候选种群组合成列表；

b)从列表中随机抽取(不放回)两个种群A和B，按照优先级依次比较两者的适应度指标，若A的指标较B提升超过预设阈值，则选择A；若B的指标较A提升超过预设阈值，则选择B；否则选择下一适应度指标进行比较。若所有指标比较后仍没有结果，随机从A、B中选取一个。

c)将上述步骤中选取的种群重新放入列表，重复步骤2)和3)，直至列表中只有一个种群，即选出的种群。

步骤5：重复上述步骤，直至满足终止条件，选出最优的种群，解码成CNN架构，结合训练集和测试集进行深度训练，即通过训练集和测试集以较多的代数放入神经网络中进行训练，得到最终的模型，这时测试集的适应度(即最终性能)。

Claims (7)

1.一种基于神经网络架构搜索的图像分类方法，其特征在于，包括以下步骤：

步骤一，对待处理的图片集进行数据预处理，然后划分为训练集、测试集和验证集；

步骤二，随机初始化一个卷积神经网络，通过简单编码机制将每一层的参数和初始化权值进行编码形成个体，此时所有个体的集合即初始种群，接下来将初始种群中的个体按照所在层代表的类型划分为三个子种群即卷积、池化和全连接子种群，每个子种群中的个体长度相同且类型一致，然后采用遗传算法的交叉算子、变异算子作用于三个子种群产生三个后代子种群，将三个后代子种群合并成后代种群并打乱内部排序，构成后代种群；

步骤三，从后代种群中依次取出每一个个体，对每个个体通过插入、替换和删除的更新策略产生三个新的候选种群即候选CNN架构；

步骤四：将三个新的候选种群解码成CNN，结合训练集和验证集进行预训练，然后采用适应度评估策略计算经数据预处理后的图片集包括准确率、精确率、召回率、参数数目和损失在内的适应度，通过二进制锦标赛算法选择包括初始种群和三个候选种群共四个种群之中的最佳种群；

步骤五：用最佳种群替换步骤二中的初始种群，此时最佳种群就是新的初始种群，然后跳转回步骤二循环执行直至达到预设循环次数，将最终得到的最佳种群解码成CNN架构，结合训练集和测试集进行深度训练，获得最终模型，并将最终模型用于图片分类；

步骤二中所述的随机初始化一个卷积神经网络，步骤为：

a)随机建立一个卷积神经网络，然后在神经网络的第一层新加一个卷积层；

b)在之后的若干层中，在每层之后随机新加一个卷积层或一个池化层；

c)在完成步骤b)后，再在神经网络的最后新加若干连续的全连接层；

初始化完成后的神经网络最后一层为逻辑全连接层，隐藏神经元数目为分类的数目，激活函数为softmax，其余参数和普通全连接层一致；

步骤二中所述的简单编码机制的编码方式如下：

a)卷积层：将卷积核大小、卷积核数目、初始化权值均值、初始化权值方差对应的值编码成数组，其中卷积核大小的范围为[2，20]，卷积核数目的范围为[3，50]，初始化权值的均值范围为[-1，1]，初始化权值的方差范围为[0，1]；

b)池化层：将池化窗口大小、池化类型对应的值编码成数组，其中池化窗口大小的取值列表为{2，4}，池化类型的取值列表为{0，1}，0对应最大池化，1对应平均池化；

c)全连接层：将神经元数目、初始化权值均值、初始化权值方差对应的值编码成数组，其中普通全连接层的神经元数目范围为[1000，2000],逻辑全连接层的神经元数目为分类数，初始化权值的均值范围为[-1，1]，初始化权值的方差范围为[0，1]；

步骤三中所述的更新策略中，分别以插入、删除和替换的方式对后代种群进行更新并产生三个新的候选种群，其规则如下：

a)如果从后代中取出的个体为卷积层，那么插入操作为：将该卷积层插入到初始种群所代表网络的第一个全连接层之前的任意位置；删除操作为：删除任意一层卷积层，但当删除操作会导致网络第一层不为卷积层时，则改为进行替换操作；替换操作为：将该卷积层替换网络中的任意一层卷积层；

b)如果从后代中取出的个体为池化层，那么插入操作为：将该池化层插入到初始种群所代表网络的第一个卷积层之后到第一个全连接层之前的任意位置；删除操作为：删除任意一层池化层，但当删除操作会导致网络中没有池化层时，则改为进行替换操作；替换操作为：将该池化层替换网络中的任意一层池化层；

c)如果从后代中取出的个体为全连接层，那么插入操作为：将该全连接层插入到初始种群所代表网络的第一个全连接层前一层到逻辑全连接层之前的任意位置；删除操作为：删除任意一层普通全连接层，但当删除操作会导致网络中没有普通全连接层时，则改为进行替换操作；替换操作为：将该全连接层替换网络中的任意一层普通全连接层。

2.根据权利要求1所述的方法，其特征在于，步骤一包括以下步骤：

a)将所有照片重设成相同尺寸；

b)通过滤波、降噪步骤对照片进行清洗；

c)照片归一化、正则化；

然后将预处理后的照片通过numpy数组转化为数字序列形式的数组，并按照6：1：3的比例划分成训练集、验证集和测试集。

3.根据权利要求1所述的方法，其特征在于，步骤二中所述的交叉算子是基于模拟二进制交叉算法实现，公式为：

其中表示第t代的两个个体，/>表示第t+1代的两个个体，中间参数β_qi的计算公式如下：

其中u_i为[0，1]区间的随机数，η_c为交叉分布指数。

4.根据权利要求3所述的方法，其特征在于，步骤二中所述的采用遗传算法的交叉算子作用于三个子种群产生三个后代子种群，具体步骤为：以子种群规模为n，取前按正序排列构成父序列1，取后/>按逆序排列构成父序列2，两个父序列对齐后基于交叉算子公式将两个序列中同一位置的2个个体进行交叉，最后从产生的子种群中随机取出和原种群数目一致的个体组成新的子种群。

5.根据权利要求1所述的方法，其特征在于，步骤二中所述的变异算子是基于遗传算法中经典的多项式变异算法实现，公式为：

其中表示第t代的个体，/>表示第t+1代的个体，中间参数β_i的计算公式为：

其中u_i为[0，1]区间的随机数，η_u为分布指数。

6.根据权利要求1所述的方法，其特征在于，步骤四中所述的适应度评估策略中，其适应度指标包含准确率、精确率、召回率、参数数目和训练损失；对于N分类任务，其中N≥2，全部样本的类别包括{C₁,C₂,C₃,…，C_N}，全部样本数为S,那么在最后的分类结果中，对每一类C_i(i＝1,2,3,…,N)，以样本中类别为C_i的为正类，非C_i的为负类，那么正类被分为正类的数目为TP_i，正类被分为负类的数目为FN_i，负类被分为负类的数目为TN_i，负类被分为正类的数目为FP_i，适应度指标的计算为：

a)准确率Acc：

b)精确率Precision：

c)召回率Recall：

d)参数数目：采用Keras框架中的model.summary()函数计算参数数目，其中model代表经过训练的神经网络模型，summary()指的是Keras的一种模型参数数目计算函数；

e)训练损失：通过Keras中的“categorical_crossentropy”函数自动计算损失；

其中不同医疗图像分类任务对精确率和召回率的需求不一样，所以可以根据任务要求调整上述指标的优先级。

7.根据权利要求1所述的方法，其特征在于,步骤四中所述的二进制锦标赛算法，具体选择步骤为：

a)初始一个空列表，在列表中依次添加初始种群和三个候选种群，构成一个含有四个种群的列表；

b)从列表中随机抽取两个种群A和B，按照优先级依次比较两者的适应度指标，若A的指标较B提升超过预设阈值，则选择A，其中准确率、精确率、召回率的阈值为1％，参数数目的阈值为2⁶个，训练损失的阈值为0.01；若B的指标较A提升超过预设阈值，则选择B；否则选择下一适应度指标进行比较；若所有指标比较后仍没有结果，则随机从A、B中选取一个作为选择的种群；

c)将上述步骤中选取的种群重新放入列表，重复步骤2)和3)，直至列表中只有一个种群，即选出的种群。