CN109871995B - Spark框架下分布式深度学习的量子优化调参方法 - Google Patents

Abstract

Spark框架下分布式深度学习的量子优化调参方法，采集数据并进行预处理和分组，确定生成对抗网络结构参数：初步构建深度神经网络，设定包括层数、各层节点数、权重和学习率，Spark主节点将参数信息广播给从节点，通过数据并行的方式训练生成对抗网络模型，初始化基于Spark的分布式量子粒子群优化算法参数信息，各个从节点分布式进行独立进化，并通过主节点进行汇总，依据上次迭代时的个体最优和全局最优更新连接权重，计算每个粒子对应的适应度函数值，评估深度学习模型的性能。本发明能够为分布式深度学习模型如何寻找最优参数提供一种参考方法，能够避免人工对深度学习模型调参需要的先验知识、效率低下的问题。

Description

Spark框架下分布式深度学习的量子优化调参方法

技术领域

本发明涉及适用于特定功能的数字计算设备或数据处理设备或数据处理方法，特别涉及一种Spark框架下分布式深度学习的量子优化调参方法。

背景技术

随着大数据时代的到来，人工智能获得了快速发展，机器学习作为人工智能的一个重要分支，以深度学习为代表引起了广泛的关注。在实际应用中，常常面临数据量样本不足、真正有价值的数据缺乏、先验知识欠缺这些问题。因此，深度学习也逐渐体现出其局限性，尤其体现在依赖大规模标注数据和大量的先验知识来调参这个问题上，如何调参来提升深度学习模型的性能已成为当前深度学习领域的的关键问题。

针对深度学习面临的上述挑战，本发明将大量参数逐层调整来缩小误差归结为非线性优化问题，采用基于内存计算的分布式集群运算框架Spark，提出一种Spark框架下分布式深度学习的量子优化调参方法，即在传统深度学习训练流程之后，增加了基于量子优化的分布式深度学习参数调优环节。该发明解决了寻找最优参数的难题，能够有效避免人工对深度学习模型调参需要的先验知识、效率低下的问题，非常适合样本较少、有价值数据缺乏和先验知识欠缺的情形。

发明内容

本发明所要解决的技术问题在于，针对深度学习调参的难题，如何寻找最优参数从而提升分布式深度学习模型的性能。

为实现上述目的，提供一种Spark框架下分布式深度学习的量子优化调参方法，具体步骤如下：

Step1：采集数据并进行预处理和分组：

Step1.1：将历史数据基于分布式文件系统(Hadoop Distributed File System，HDFS)进行存储；

Step1.2：对历史数据存在的不一致性、冗余性、不完整性以及噪声和错误问题进行预处理；

Step1.3：将所有历史数据分成两组：训练集和测试集；

Step1.4：整个分布式集群包括1个主节点和P个独立的从节点，将所有历史数据平均分成P组，对历史数据集合进行初始分组；

Step2：确定生成对抗网络结构参数：初步构建深度神经网络，设定包括层数、各层节点数、权重和学习率，Spark主节点将参数信息广播给从节点；

Step3：通过数据并行的方式训练生成对抗网络模型，初始训练过程如下：

Step3.1：生成对抗网络模型训练目标函数描述如下:

上式中，D和G分别代表微分函数判别器和生成器，x代表输入的真实数据，P_data(x)代表真实数据集分布，

代表输入真实数据的计算期望值，D(x)代表x来源于真实数据而非生成数据的概率，z代表随机噪声矢量，P_z(Z)代表先验分布，

代表随机噪声失量的计算期望值，G(z)代表生成的尽量服从真实数据分布的数据；

Step 3.2：使用自下而上的非监督学习：采用无标签数据，从第一层开始，逐层训练各层参数，将上一层的输出作为下一层的输入，学习得到各层的参数；

Step 3.3：自顶向下的监督学习：利用带标签的数据去训练，通过反向传播(BackPropagation，BP)算法分别更新生成对抗网络以执行竞争性学习，误差自顶向下传输，对网络进行微调；

Step 3.4：目标函数为公式1所示，当且仅当真实数据集分布概率和生成器数据分布概率相等时，达到纳什均衡，至此生成对抗网络训练完成，保存此时得到的初步生成对抗网络结构参数，并将结果更新到主节点；

Step4：初始化基于Spark的分布式量子粒子群优化算法参数信息：

Step4.1:首先将Step3得到的初步生成对抗网络结构参数作为量子优化算法种群的初始解，再结合生成对抗网络结构参数对量子优化算法进行初始化，其中种群规模为M、维度为d、迭代次数为T_max、适应度评估次数为Eva_max；

Step4.2:确定量子优化算法的适应度函数：以生成对抗网络网络模型的损失函数最小化为目标，将适应度函数定义为均方误差(Mean Square Error，MSE)，适应度函数如下:

上式中，N代表数据集大小，y_io代表第i个数据集对应的实际输出，y_i代表第i个数据集对应的期望输出；

Step 4.3:基于Spark框架的种群并行化：整个种群分布采用主从模型，对应P个从节点，将整个种群均匀划分为P个子种群，分别表示为子种群1，子种群2，……子种群P，Pbest代表个体最优，同时选取最小的Pbest作为初始全局最优Gbest_g；

Step5：各个从节点分布式进行独立进化，并通过主节点进行汇总，依据上次迭代时的个体最优和全局最优更新连接权重，计算每个粒子对应的适应度函数值；

Step5.1：计算个体最优位置，公式如下：

P_id＝μPbest+(1-μ)Gbest_g (公式3)

其中，P_id代表第i个个体最优位置,μ为0到1之间的随机数；

Step5.2：独立计算每个子种群对应的局部平均最优位置，公式如下：

上式中，mbest_j代表第j个子种群的局部平均最优位置，K是子种群个体数目；

Step5.3：主节点对所有从节点计算的局部平均最优位置进行求平均，可得全局平均最优位置并将计算结果返回给各个从节点，公式如下：

上式中，mbest为全局平均最优位置；

Step5.4：各个子种群分别独立进化，更新每个个体的位置，公式如下:

上式中，t代表当前迭代次数，X_id(t+1)为个体在第t+1代的位置，u是(0，1)之间的随机数，β是控制粒子收敛速度的收缩-扩张因子；

Step5.5：计算每个个体对应的适应度值，并同个体历史最优Pbest比较，如果当前值优于个体历史最优Pbest，则把当前适应度值替换为个体最优Pbest，否则不替换，将更新后的子种群局部最优发送给主节点；

Step5.6：主节点汇总各个从节点对应子种群的局部最优Gbest_j，其中Gbest_j代表第j个子种群的局部最优，然后将Gbest_j同当前全局最优Gbest_g逐一进行比较，若小于当前全局最优Gbest_g，则更新全局最优Gbest_g，否则不替换，将全局最Gbest_g优传递给从节点；

Step5.7：判断是否达到设定的适应度评估次数或种群的迭代次数，如果任一条件满足则训练结束，各个从节点停止计算；若否，则继续返回到Step5.1，学习迭代过程继续直至收敛，整个量子优化分布式搜索参数完成，即整个Spark框架下分布式深度学习的量子优化调参环节结束；

Step6：评估深度学习模型的性能，将上述量子优化算法求得的最终解作为生成对抗网络模型的参数信息，带入测试数据集中对生成对抗网络模型的性能进行评估。

本发明应用于传统深度学习训练环节之后，增加了基于量子优化的参数调优环节。

本发明所有计算都采用了Spark，因为Spark是一个立足于内存计算的分布式集群运算框架，非常适合递归计算，将生成对抗网络和量子粒子群优化在Spark上进行并行化设计，能够加速计算，提高效率；在Spark集群中，P个从节点相互独立，不需要进行相互通信，P个从节点完成大部分计算负载；

Step3采用数据并行的方式训练生成对抗网络模型，是基于Spark框架实现的，因为随着训练数据规模的增加和模型的日趋复杂，深度神经网络的训练成本越来越高，传统串行算法已经不能满足日益增长的数据要求，基于Spark框架的并行化成为增强其应用时效性的迫切需求；

Step4.2采用损失函数为量子粒子群优化的适应度函数，是因为深度学习模型性能的好坏和损失函数密切相关，当损失函数最小，即神经网络实际输出和期望输出之差的平方和最小时深度学习模型性能最佳。

综上，本发明提出的一种Spark框架下分布式深度学习的量子优化调参方法，能够为分布式深度学习模型如何寻找最优参数提供一种参考方法，该方法能够避免人工对深度学习模型调参需要的先验知识、效率低下的问题，具有重要意义。

附图说明

图1是改进后的深度学习模型基本环节；

图2是一种Spark框架下分布式深度学习的量子优化调参方法流程图；

图3是深度学习模型训练流程图；

图4是基于Spark框架的种群并行化搜索图。

具体实施方式

参照附图，本实施例以心脑血管疾病为具体应用领域对本发明进行说明。传统深度学习模型包括数据采集、深度学习训练和模型评估三个环节，本发明在上述基础上，将调参归结为寻找最优参数，增加了量子优化调参环节，如图1所示。Spark框架下分布式深度学习的量子优化调参方法流程如图2所示，详细步骤如下：

Step1：采集数据并进行预处理和分组，具体包含以下四个步骤：

Step1.1：从海量医疗数据中提取有关心脑血管疾病相关患者的数据资料，并基于分布式文件系统(Hadoop Distributed File System，HDFS)进行分布式存储；

Step1.2：运用数据预处理技术对心脑血管疾病数据存在的不一致性、冗余性、不完整性以及噪声和错误这些问题进行处理；

Step1.3：将所有心脑血管疾病数据分成两组，其中80％作为训练集，20％作为测试集；

Step1.4：整个分布式集群包括1个主节点和P个独立的从节点，将所有心脑血管疾病历史数据平均分成P组，得到心脑血管集合的初始分组；

Step2：确定生成对抗网络(Generative Adversarial Network，GAN)结构参数：初步构建深度神经网络，设定包括层数、各层节点数、权重和学习率，Spark主节点将参数信息广播给P个从节点；

Step3：通过数据并行的方式训练生成对抗网络模型；如图3所示，整个初始训练过程如下：

Step3.1：生成对抗网络模型训练目标函数描述如下:

上式中，D和G分别代表微分函数判别器和生成器，x代表输入的真实数据，P_data(x)代表真实数据集分布，

代表输入真实数据的计算期望值，D(x)代表x来源于真实数据而非生成数据的概率，z代表随机噪声矢量，P_z(Z)代表先验分布，

代表随机噪声失量的计算期望值，G(z)代表生成的尽量服从真实数据分布的数据；

Step 3.2：使用自下而上的非监督学习：采用无标签数据，从第一层开始，逐层训练各层参数，将上一层的输出作为下一层的输入，学习得到各层的参数；

Step 3.3：自顶向下的监督学习：利用带标签心脑血管疾病的数据去训练，通过反向传播(Back Propagation，BP)算法分别更新生成对抗网络以以执行竞争性学习，误差自顶向下传输，对网络进行微调；

目标函数为公式1所示，当且仅当真实心脑血管疾病数据集分布概率和生成器生成的心脑血管疾病数据分布概率相等时，达到纳什均衡，至此生成对抗网络训练完成，保存此时得到的初步生成对抗网络结构参数，并将结果更新到主节点；

Step4：初始化基于Spark的分布式量子粒子群优化算法(Distributed Quantum-behaved Particle Swarm Optimization，DQPSO)参数信息：

Step4.1:首先将Step3得到的初步生成对抗网络结构参数作为量子优化算法种群的初始解，再结合生成对抗网络结构参数对量子优化算法进行初始化，确定种群规模为M、维度为d、迭代次数为T_max、适应度评估次数为Eva_max；

Step4.2:确定量子优化算法的适应度函数：以深度网络模型损失函数最小化为目标，将适应度函数定义为均方误差(Mean Square Error，MSE)，适应度函数如下:

上式中，N代表数据集大小，y_io代表第i个数据集对应的实际输出，y_i代表第i个数据集对应的期望输出；

Step 4.3:基于Spark框架的种群并行化如图4所示，整个种群分布采用主从模型，对应P个从节点，将整个种群均匀划分为P个子种群，分别表示为子种群1，子种群2，……子种群P，Pbest代表个体最优，同时选取最小的Pbest作为初始全局最优Gbest_g；

Step5：各个从节点分布式进行独立进化，并通过主节点进行汇总，依据上次迭代时的个体最优和全局最优更新连接权重，计算每个粒子对应的适应度函数值；

Step5.1：计算个体最优位置，公式如下：

P_id＝μPbest+(1-μ)Gbest_g (公式3)

其中，P_id代表第i个个体最优位置,μ为0到1之间的随机数；

Step5.2：独立计算每个子种群对应的局部平均最优位置，公式如下：

上式中，mbest_j代表第j个子种群的局部平均最优位置，K是子种群个体数目；

Step5.3：主节点对所有从节点计算的局部平均最优位置进行求平均，可得全局平均最优位置并将计算结果返回给从节点公式如下：

上式中，mbest为全局平均最优位置；

Step5.4：各个子种群分别独立进化，更新每个个体的位置，公式如下：

上式中，t代表当前迭代次数，X_id(t+1)为个体在第t+1代的位置，u是(0，1)之间的随机数，β是控制粒子收敛速度的收缩-扩张因子；

Step5.5：计算每个个体对应的适应度值，并同个体历史最优Pbest比较，如果当前值优于个体历史最优Pbest，则把当前适应度值替换为个体最优Pbest，否则不替换，将更新后的子种群局部最优Gbest_j发送给主节点；

Step5.6：主节点汇总各个从节点对应子种群的局部最优Gbest_j，其中Gbest_j代表第j个子种群的局部最优，然后将Gbest_j同当前全局最优Gbest_g逐一进行比较，若小于当前全局最优Gbest_g，则更新全局最优Gbest_g，否则不替换，将全局最Gbest_g优传递给从节点；

Step5.7：判断是否达到设定的适应度评估次数或种群的迭代次数，如果任一条件满足则训练结束，P个从节点停止计算；若否，则继续返回到Step5.1，学习迭代过程继续直至收敛，整个量子优化分布式搜索参数完成，即整个Spark框架下分布式深度学习的量子优化调参环节结束；

Step6：评估深度学习模型的性能：将上述量子优化算法求得的最终解作为深度学习模型的参数信息，带入20％的心脑血管疾病测试数据集中对深度学习模型的性能进行评估，由于上述生成对抗网络模型对心脑血管疾病数据进行分析，挖掘了心脑血管疾病的潜在规律，可进一步用来预测心脑血管疾病的风险因素，能够为医生提供临床决策支持，辅助医生进行心脑血管疾病的诊断，具有重要意义。模型性能好坏取决于实际应用需求。

本发明应用于传统深度学习训练环节之后，增加了基于量子优化的参数调优环节；

本发明所有计算都采用了Spark，因为Spark是一个立足于内存计算的分布式集群运算框架，非常适合递归计算，将生成对抗网络和量子粒子群优化在Spark上进行并行化设计，能够加速计算，提高效率；在Spark集群中，P个从节点相互独立，不需要进行相互通信，P个从节点完成大部分计算负载；

Step3采用数据并行的方式训练生成对抗网络模型，是基于Spark框架实现的，因为随着训练数据规模的增加和模型的日趋复杂，深度神经网络的训练成本越来越高，传统串行算法已经不能满足日益增长的数据要求，基于Spark框架的并行化成为增强其应用时效性的迫切需求；

Step4.2采用损失函数为量子粒子群优化的适应度函数，是因为深度学习模型性能的好坏和损失函数密切相关，当损失函数最小，即神经网络实际输出和期望输出之差的平方和最小时深度学习模型性能最佳；

以上所述的具体实施例，以心脑血管疾病大数据作为具体应用背景，对Spark框架下分布式深度学习的量子优化调参方法的意义、技术方案和有益效果进了进一步详细说明。但本实施例仅是本发明的一部分实施例，并不代表全部。

Claims (1)

1.Spark框架下分布式深度学习的量子优化调参方法，具体步骤如下：

Step1：采集数据并进行预处理和分组：

Step1.1：将历史数据基于分布式文件系统(Hadoop Distributed File System，HDFS)进行存储；

Step1.2：对历史数据存在的不一致性、冗余性、不完整性以及噪声和错误问题进行预处理；

Step1.3：将所有历史数据分成两组：训练集和测试集；

Step1.4：整个分布式集群包括1个主节点和P个独立的从节点，将所有历史数据平均分成P组，对历史数据集合进行初始分组；

Step2：确定生成对抗网络结构参数：初步构建深度神经网络，设定包括层数、各层节点数、权重和学习率，Spark主节点将参数信息广播给从节点；

Step3：通过数据并行的方式训练生成对抗网络模型，初始训练过程如下：

Step3.1：生成对抗网络模型训练目标函数描述如下:

上式中，D和G分别代表微分函数判别器和生成器，x代表输入的真实数据，P_data(x)代表真实数据集分布，

代表输入真实数据的计算期望值，D(x)代表x来源于真实数据而非生成数据的概率，z代表随机噪声矢量，P_z(z)代表先验分布，

代表随机噪声失量的计算期望值，G(z)代表生成的尽量服从真实数据分布的数据；

Step3.2：使用自下而上的非监督学习：采用无标签数据，从第一层开始，逐层训练各层参数，将上一层的输出作为下一层的输入，学习得到各层的参数；

Step3.3：自顶向下的监督学习：利用带标签的数据去训练，通过反向传播(BackPropagation，BP)算法分别更新生成对抗网络以执行竞争性学习，误差自顶向下传输，对网络进行微调；

Step3.4：目标函数为公式1所示，当且仅当真实数据集分布概率和生成器数据分布概率相等时，达到纳什均衡，至此生成对抗网络训练完成，保存此时得到的初步生成对抗网络结构参数，并将结果更新到主节点；

Step4：初始化基于Spark的分布式量子粒子群优化算法参数信息：

Step4.1:首先将Step3得到的初步生成对抗网络结构参数作为量子优化算法种群的初始解，再结合生成对抗网络结构参数对量子优化算法进行初始化，其中种群规模为M、维度为d、迭代次数为T_max、适应度评估次数为Eva_max；

Step4.2:确定量子优化算法的适应度函数：以生成对抗网络网络模型的损失函数最小化为目标，将适应度函数定义为均方误差(Mean Square Error，MSE)，适应度函数如下:

上式中，N代表数据集大小，y_io代表第i个数据集对应的实际输出，y_i代表第i个数据集对应的期望输出；

Step4.3:基于Spark框架的种群并行化：整个种群分布采用主从模型，对应P个从节点，将整个种群均匀划分为P个子种群，分别表示为子种群1，子种群2，……子种群P，Pbest代表个体最优，同时选取最小的Pbest作为初始全局最优Gbest_g；

Step5：各个从节点分布式进行独立进化，并通过主节点进行汇总，依据上次迭代时的个体最优和全局最优更新连接权重，计算每个粒子对应的适应度函数值；

Step5.1：计算个体最优位置，公式如下：

P_id＝μPbest+(1-μ)Gbest_g (公式3)

其中，P_id代表第i个个体最优位置,μ为0到1之间的随机数；

Step5.2：独立计算每个子种群对应的局部平均最优位置，公式如下：

上式中，mbest_j代表第j个子种群的局部平均最优位置，K是子种群个体数目；

Step5.3：主节点对所有从节点计算的局部平均最优位置进行求平均，可得全局平均最优位置并将计算结果返回给各个从节点，公式如下：

上式中，mbest为全局平均最优位置；

Step5.4：各个子种群分别独立进化，更新每个个体的位置，公式如下:

上式中，t代表当前迭代次数，X_id(t+1)为个体在第t+1代的位置，u是(0，1)之间的随机数，β是控制粒子收敛速度的收缩-扩张因子；

Step5.5：计算每个个体对应的适应度值，并同个体历史最优Pbest比较，如果当前值优于个体历史最优Pbest，则把当前适应度值替换为个体最优Pbest，否则不替换，将更新后的子种群局部最优发送给主节点；

Step5.6：主节点汇总各个从节点对应子种群的局部最优Gbest_j，其中Gbest_j代表第j个子种群的局部最优，然后将Gbest_j同当前全局最优Gbest_g逐一进行比较，若小于当前全局最优Gbest_g，则更新全局最优Gbest_g，否则不替换，将全局最Gbest_g优传递给从节点；

Step5.7：判断是否达到设定的适应度评估次数或种群的迭代次数，如果任一条件满足则训练结束，各个从节点停止计算；若否，则继续返回到Step5.1，学习迭代过程继续直至收敛，整个量子优化分布式搜索参数完成，即整个Spark框架下分布式深度学习的量子优化调参环节结束；

Step6：评估深度学习模型的性能，将上述量子优化算法求得的最终解作为生成对抗网络模型的参数信息，带入测试数据集中对生成对抗网络模型的性能进行评估。

Images