CN110059875A - 基于分布式鲸鱼优化算法的公共自行车需求量预测方法 - Google Patents

Abstract

本发明公开了一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法，首先读取原始公共自行车数据集Dataset，存储在HDFS中；初始化RDD数据集和鲸鱼种群Whale，将RDD作map转换处理；根据鲸鱼初始位置值计算出适应度值fitness；根据参数选择鲸鱼捕食的策略；在Spark平台上，根据策略公式更新鲸鱼位置，然后根据公式计算出新的适应度值，并找出最好的值和当前最优值比较，若优于则代替；若满足终止条件则找出最好的鲸鱼的位置，否则回到步骤4；根据所选出的最优特征子集，使用随机森林回归模型和未来的天气数据、时间数据对站点的公共自行车需求进行预测。本发明使用基于分布式鲸鱼优化算法的特征子集优化，应用Spark分布式平台上对其进行优化，提高分类性能和运行效率。

Description

基于分布式鲸鱼优化算法的公共自行车需求量预测方法

技术领域

本发明属于机器学习、数据挖掘，分布式计算等多个领域，涉及一种公共自行车需求量预测方法，具体涉及一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法。

背景技术

近年来，随着全球经济的发展，各国对于能源的需求和消耗越来越大，温室效应加剧，环境问题和能源问题早已成为当今世界面临的主要问题。机动车的大规模使用造成了及其严重的环境污染问题，根据最新研究表明，雾霾的主要来源之一就是汽车尾气的排放，这已经严重影响到了百姓的正常工作和生活。公共自行车是一种新型的城市交通工具，具有绿色健康、无污染、灵活性强、相容性强等优点，能够使得人们出行方便快捷，又能够减少城市环境污染、缓解交通堵塞，既是方便自己，又能够营造环保的城市交通氛围。公共自行车给人们提供了方便、低成本、绿色环保的交通服务，但是其运行系统尚存着一些不便利因素，主要体现在以下几点：

(1)公共自行车系统发展不完善，站点分布不合理。例如，有的站点自行车使用率高，有的站点自行车使用率低，这造成了资源浪费。

(2)车辆调度效率低。自行车调度没有准确的调度策略，调度也不够及时，使得整个公共自行车系统运行迟钝，效率低下。

(3)在一些特殊时段，比如高峰时段，一些站点的车桩长时间是空位状态，用户无法借车，一下站点的车桩长时间是满位状态，这会导致用户无法还车。

如何进一步改善公共自行车系统，使其能够准确预测出站点自行车的需求量、挖掘出用户用车行为特征和站点运行规律以及提高车辆调度效率，这对于公共自行车系统的发展相当重要。随着公共自行车系统在各个国家城市中实施推广运营，每天都会产生大量的数据。影响人们选择出行的方式有很多，比如社会因素、环境因素以及气象因素等等。社会因素包含各种社会事件以及交通工具的路线规划等。气象因素包括温度、湿度、风速、天气类型(晴雨雪天等)。环境因素包括公共自行车站点所处的地理位置、周围人口分布情况、建筑分布情况等。这些因素对公共自行车系统有着相当重要的影响，如何从这些大量的数据中获取有效的信息，对于公共自行车的需求预测和投放有着非常重要的意义。

发明内容

现如今，大数据技术在迅猛发展，面对着日益剧增的海量数据，如何去处理并且从中挖掘到有用的信息是人们越来越关注的问题。在数据挖掘领域中，这些数据集通常包含有大量的特征数量，因此，特征选择是一种有效的数据处理方式。特征选择是数据降维的一种重要方法，它的原理是从数据集的初始特征子集中选出一组符合评价标准的最优特征子集。特征选择是模式识别和机器学习中的关键过程。给定M个候选特征，特征选择是找到包含最优的N个特征子集的数据分类的过程。本发明主要针对大数据中的特征选择的过程进行优化，提出了一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法。

本发明所采用的技术方案是：一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于，包括以下步骤：

一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于，包括以下步骤：

步骤1：读取原始公共自行车数据集，并对原始数据集进行预处理，然后利用Spark中的RDD分区将训练集分成若干RDD数据集，存储在适合运行在Spark上的分布式文件系统HDFS中；

步骤2：初始化一个RDD数据集，该数据集代表着鲸鱼种群W，将RDD数据集作Map转换处理，并计算出初始的适应度值，设置上下界；

步骤3：将转换后的RDD数据集和参数输入Spark，开始迭代将并随机化鲸鱼算法的参数；所述参数包括种群数量pop_size，迭代次数t_max；

步骤4：根据公式参数p和|A|选择捕食策略，计算迭代之后的鲸鱼个体的位置；

步骤5：对每个鲸鱼个体进行位置更新，并计算更新后的每个个体局部的适应度值；

步骤6：根据计算出的每个鲸鱼的适应度值确定适应度值的最大值；判断如果新的适应度值比先前的适应度值要更好，则新的适应度值替换先前的适应度值；

步骤7：判断更新次数是否小于迭代次数，得到判断结果；

若更新次数小于迭代次数，则回转执行步骤4，继续寻找最优适应度值；

若更新次数大于或者等于迭代次数，使用Collect算子根据更新后的适应度值最大的鲸鱼的位置输出为特征选择的结果，记为特征子集，并将结果输出到HDFS中；

步骤8：根据特征子集，使用随机森林回归模型通过未来天气、时间数据预测站点的公共自行车需求量。

本发明是一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法，算法中每个特征子集都被编码为1和0的二进制字符串，因此将所有的解表示为二进制向量的形式；并且利用Spark分布式计算的特点，算法的运行效率以及特征选择的维度缩减能力都有明显的提升。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例中特征选择的具体流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明的目的是针对大量数据中的特征选择的过程进行优化，本发明提出一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法，合理的分配各个站点自行车的投放。

请见图1和图2，本发明提供的一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法，包括以下步骤：

步骤1：读取原始公共自行车数据集，并对原始数据集进行预处理，然后利用Spark中的RDD分区将训练集分成若干RDD数据集，存储在适合运行在Spark上的分布式文件系统HDFS中；

本实施例中，对原始数据集进行预处理，包括对数据进行清洗，去掉缺失值，统一数据格式。

步骤2：初始化一个RDD数据集，该数据集代表着鲸鱼种群W，将RDD数据集作Map转换处理，并计算出初始的适应度值，设置上下界；

适应度值为：

其中，F(i)为第i个鲸鱼个体的适应度值，n(i)为所选特征个数，Accuracy(i)为分类准确率；λ为加权参数。

步骤3：将转换后的RDD数据集和参数(包括种群数量pop_size，迭代次数t_max)输入Spark，开始迭代将并随机化鲸鱼算法的参数；

步骤4：根据公式参数p和|A|选择捕食策略，计算迭代之后的鲸鱼个体的位置；

本实施例中，捕食策略包括环绕式捕食策略、bubble-net捕食策略和随机搜索策略；

根据公式参数p和|A|选择捕食策略，具体实现过程是：根据参数p，|A|判断所述鲸鱼个体的捕食策略即位置更新方式；其中p是随机产生的[0,1]之间的数，|A|是A的绝对值；如果p<0.5并且|A|<1，则采用环绕式捕食策略更新鲸鱼个体位置；如果p<0.5并且|A|>＝1，则采用bubble-net捕食策略更新鲸鱼位置；如果p>＝0.5，则采用随机搜索策略更新鲸鱼位置；

然后将迭代寻找最优解的过程并行化，每只鲸鱼的位置和寻找最优解的过程称为一个独立的并行单元。因此，n只鲸鱼构成n个独立的并行单元，然后使用Spark并行处理。本发明的分布式鲸鱼优化算法(Whale Optimization Algorithm,WOA)的公共自行车需求量预测方法采用的计算模型，由两部分组成。第一部分是Whale种群的初始化，第二部分是Mapper-Reducer迭代过程来确定最优解。

环绕式捕食策略，假设当前最优位置为目标猎物；在定义了最优位置之后，其他鲸鱼个体会将它们的位置向最优位置更新；

位置更新公式为：

式中：和是系数向量；t是当前迭代次数；是迭代到第t次时获得的最优解的位置向量；是迭代到第t次时鲸鱼群个体的位置向量；是元素之间的运算方式，如果尚存在最优解，则在每次迭代过程中更新；

和的计算公式如下：

式中：是一个随机向量，取值范围为[0，1]；a为控制参数，在迭代过程中a从2线性减小到0；

a的变化情况见下式：

式中：t_max为最大迭代次数；

bubble-net捕食策略，采用式(5)模拟座头鲸的螺旋形狩猎行为：

X(t+1)＝D′·e^bl·cos(2πl)+X^*(t) (6)

其中，D′＝|X^*(t)-X(t)|，b是定义对数螺线形状的常量，l是[-1,1]之间的随机量，X^*(t)表示当前最优位置，X(t)表示当前位置；

座头鲸收缩环绕的同时沿着螺旋形路径向猎物游动，为了模拟这种“同时”行为，建立如下位置更新数学模型：

其中，变量p是[0,1]之间的随机数，p以相等的概率在0和1之间切换；

随机搜索策略，座头鲸需要随机搜索猎物，该过程数学模型如下：

D＝|B·X_rand(t)-X(t)| (8)

其中，X_rand(t)是从种群中随机选择的搜索代理位置向量。

步骤5：对每个鲸鱼个体进行位置更新，并计算更新后的每个个体局部的适应度值；

其中适应度值的计算公式为：

其中，F(i)为第i个鲸鱼个体的适应度值，n(i)为所选特征个数，Accuracy(i)为分类准确率；λ为加权系数，通常设置λ＝0.01。

步骤6：根据计算出的每个鲸鱼的适应度值，确定适应度值的最大值；判断如果新的适应度值比先前的适应度值要更好，则新的适应度值替换先前的适应度值；

步骤7：判断更新次数是否小于迭代次数，得到判断结果；

若更新次数小于迭代次数，则回转执行步骤4，继续寻找最优适应度值；

若更新次数大于或者等于迭代次数，使用Collect算子根据更新后的适应度值最大的鲸鱼的位置输出为特征选择的结果，记为特征子集，并将结果输出到HDFS中；

步骤8：根据特征子集，使用随机森林回归模型通过未来天气、时间数据预测站点的公共自行车需求量。

本实施例中，由于特征选择问题的实质就是从样本的个属性中，选取个属性构成属性子集。因此，可以把样本的每一个属性定义为鲸鱼的一维离散二进制变量，N个属性构成鲸鱼的维离散二进制空间。对于每一个鲸鱼，将鲸鱼的位置表示为选取的特征子集，故要将鲸鱼位置离散化处理。由于鲸鱼优化算法在二进制空间中的位置更新方法的不同，需要建立关联规则以实现0到1之间的鲸鱼位置的转换；

每个特征子集都被编码为1和0，其中1表示选择一个特征来组成新的数据集，0表示不选择；用Sigmoid函数来构建这个二进制向量：

因此，位置更新公式将由以下等式代替：

其中，rand_pos()表示随机生成的位置值，代表转换之后的鲸鱼的位置。

鲸鱼优化算法是由Seyedali Mirjalili提出的新的启发式优化算法。鲸鱼优化算法的本质是模拟座头鲸的起泡网狩猎的策略，将座头鲸的独特的狩猎行为演化成随机优化过程。相对于其他的优化算法，算法具有概念简单、易于实施、不需要梯度信息以及高局部最优规避能力等优点，能够解决不同种类的优化问题。鲸鱼优化算法已经被成功应用于电力系统稳定性增强，太阳能光伏模型参数提取，乳腺癌诊断，置换流水车间调度问题等实际应用中。

数据的规模在急剧增长，云计算平台在海量数据的存储和处理计算的应用已经成为一种趋势，其中以Hadoop平台和Spark平台应用最为广泛。Hadoop的MapReduce计算模型在迭代处理时需要多次访问磁盘，影响了训练速度，而Spark就是一种类MapReduce的计算方法，其最大的特点就是将计算数据、中间结果都存储在内存中，大大减少了I/O开销，更加适合提高迭代次数较多的群体优化算法的运行效率。

本发明是基于分布式鲸鱼优化优化算法的公共自行车需求量预测方法，考虑到大多数分类算法而言，高维的特征空间对于分类精度以及维度缩减都有很大的影响，所以需要从高维原始特征中提取对分类有用的特征，从而达到降低特征空间维度的目的，以提高分类精度。因此本发明能够解决公共自行车站点投放量的合理分配问题。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于，包括以下步骤：

步骤1：读取原始公共自行车数据集，并对原始数据集进行预处理，然后利用Spark中的RDD分区将训练集分成若干RDD数据集，存储在适合运行在Spark上的分布式文件系统HDFS中；

步骤2：初始化一个RDD数据集，该数据集代表着鲸鱼种群W，将RDD数据集作Map转换处理，并计算出初始的适应度值，设置上下界；

步骤3：将转换后的RDD数据集和参数输入Spark，开始迭代将并随机化鲸鱼算法的参数；所述参数包括种群数量pop_size，迭代次数t_max；

步骤4：根据公式参数p和|A|选择捕食策略，计算迭代之后的鲸鱼个体的位置；

步骤5：对每个鲸鱼个体进行位置更新，并计算更新后的每个个体局部的适应度值；

步骤6：根据计算出的每个鲸鱼的适应度值确定适应度值的最大值；判断如果新的适应度值比先前的适应度值要更好，则新的适应度值替换先前的适应度值；

步骤7：判断更新次数是否小于迭代次数，得到判断结果；

若更新次数小于迭代次数，则回转执行步骤4，继续寻找最优适应度值；

若更新次数大于或者等于迭代次数，使用Collect算子根据更新后的适应度值最大的鲸鱼的位置输出为特征选择的结果，记为特征子集，并将结果输出到HDFS中；

步骤8：根据特征子集，使用随机森林回归模型通过未来天气、时间数据预测站点的公共自行车需求量。

2.根据权利要求1所述的基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于：步骤1中所述对原始数据集进行预处理，包括对数据进行清洗，去掉缺失值，统一数据格式。

3.根据权利要求1所述的基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于，步骤2中所述适应度值为：

其中，F(i)为第i个鲸鱼个体的适应度值，n(i)为所选特征个数，Accuracy(i)为分类准确率；λ为加权参数。

4.根据权利要求1所述的基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于：步骤4中所述捕食策略包括环绕式捕食策略、bubble-net捕食策略和随机搜索策略；

所述根据公式参数p和|A|选择捕食策略，具体实现过程是：根据参数p，|A|判断所述鲸鱼个体的捕食策略即位置更新方式；其中p是随机产生的[0,1]之间的数，|A|是A的绝对值；如果p<0.5并且|A|<1，则采用环绕式捕食策略更新鲸鱼个体位置；如果p<0.5并且|A|>＝1，则采用bubble-net捕食策略更新鲸鱼位置；如果p>＝0.5，则采用随机搜索策略更新鲸鱼位置；

所述环绕式捕食策略，假设当前最优位置为目标猎物；在定义了最优位置之后，其他鲸鱼个体会将它们的位置向最优位置更新；

位置更新公式为：

式中：和是系数向量；t是当前迭代次数；是迭代到第t次时获得的最优解的位置向量；是迭代到第t次时鲸鱼群个体的位置向量；是元素之间的运算方式，如果尚存在最优解，则在每次迭代过程中更新；

和的计算公式如下：

式中：是一个随机向量，取值范围为[0，1]；a为控制参数，在迭代过程中a从2线性减小到0；

a的变化情况见下式：

式中：t_max为最大迭代次数；

所述bubble-net捕食策略，采用式(5)模拟座头鲸的螺旋形狩猎行为：

X(t+1)＝D′·e^bl·cos(2πl)+X^*(t) (6)

其中，D′＝|X^*(t)-X(t)|，b是定义对数螺线形状的常量，l是[-1,1]之间的随机量，X^*(t)表示当前最佳的位置，X(t)表示当前位置；

座头鲸收缩环绕的同时沿着螺旋形路径向猎物游动，为了模拟这种“同时”行为，建立如下位置更新数学模型：

其中，变量p是[0,1]之间的随机数，p以相等的概率在0和1之间切换；

所述随机搜索策略，座头鲸需要随机搜索猎物，该过程数学模型如下：

D＝|B·X_rand(t)-X(t)| (8)

其中，X_rand(t)是从种群中随机选择的搜索代理位置向量。

5.根据权利要求1所述的基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于，步骤6中所述适应度值的计算公式为：

其中，F(i)为第i个鲸鱼个体的适应度值，n(i)为所选特征个数，Accuracy(i)为分类准确率；λ为加权参数。

6.根据权利要求1-5任意一项所述的基于分布式鲸鱼优化算法的公共自行车需求量预测方法，其特征在于：

每个特征子集都被编码为1和0，其中1表示选择一个特征来组成新的数据集，0表示不选择；用Sigmoid函数来构建这个二进制向量：

因此，位置更新公式将由以下等式代替：

其中，rand_pos()表示有随机函数随机生成的鲸鱼位置，代表转换之后的鲸鱼的位置。