CN109189747A - 基于Spark大数据平台的电瓶车用户行为习惯分析方法 - Google Patents

Abstract

本发明针对不同类型电瓶车用户的行驶习惯提出一种基于Spark大数据平台的电瓶车用户行为习惯分析方法，所述方法包含以下步骤：步骤1)、采集安装在每辆电瓶车上传感器的状态数据，包括行驶平均速度、放电时间、充放电次数和电压值等4种属性状态，其中电压字段用于对电瓶车类型分类；步骤2)、在大数据Spark平台上分别调用K‑Means聚类算法接口和DBSCAN聚类算法对电瓶车用户数据集进行聚类；步骤3)、使用联合Sorgenfrei系数对这两种聚类结果进行相似性评价，调整簇数k后再循环执行步骤2)获得两种算法的聚类结果，并再次用联合Sorgenfrei系数计算聚类结果的相似性指标；步骤4)、选择当联合Sorgenfrei系数取得最大时的k值作为最优簇数，输出确定最优簇数后两种算法聚类结果的交集。

Description

基于Spark大数据平台的电瓶车用户行为习惯分析方法

技术领域

本发明属于大数据环境下数据挖掘方法的技术领域，该方法特别适用于在海量数据的基础上分析不同类型电瓶车用户的行驶习惯，为电瓶车电池使用寿命预测打下基础。

背景技术

近年来，通过给电瓶车安装具有定位功能的物联网终端设备(多种传感器、GPS/BDS)感知车辆状态及行驶轨迹，系统后台可以24小时持续不断地利用GPS或基站接收电瓶车运动状态数据包括车辆方位、行驶速度、行驶方向、时间、电压值等信息，利用这些数据可对电瓶车运行的实际工况和用户使用习惯进行分析，其中电压字段用于对电瓶车类型分类。电瓶车状态数据在经过日积月累后具有典型的大数据特性，然而遗憾的是，现有的系统平台部已经无法满足大规模数据的存储和管理要求，缺乏高性能的硬件系统和有效的数据分析与处理框架。目前具有代表性的、开源的Spark大数据计算系统非常适合于分析和处理关于电瓶车用户使用习惯的场景。

聚类分析方法是一种无监督机器学习方法，目前常用的聚类技术可以分为划分方法、层次方法、基于密度的方法以及基于模型的方法。在实际应用中，我们很难找到单一种聚类算法能够准确挖掘各种簇特征，而且针对某一特定数据集，也很难判断哪种算法是最优的，并且每种算法自身也存在不同的缺陷，比如基于划分方法中的K-Means算法，它的缺点是对“噪声”和异常数据敏感，并且不能发现非凸面形状的数据等；基于密度聚类中的DBSCAN算法，它的缺点是对输入参数如聚类半径Eps和聚类点数MinPts敏感，这两个参数只能靠用户的经验确定。

由此可见，传统的聚类算法要么需要预先设定参数，或者需要依靠先验知识，并且各自的适用范围不尽相同，因而不存在某种单一算法解决各种问题的能力比其他聚类算法部好。另外，当同一算法或者不同算法设定不同参数时产生的聚类结果之间存在着一定的互补关系。因此，很多学者开始研充聚类融合方法，聚类融合是一种较新颖的集成学习方法，它通过合并不同聚类算法在相同数据集上的聚类结果从而形成一个更优的数据划分，该方法思想如图1所示，不难发现，聚类融合能够有效综合各种聚类算法的优缺点，实现权衡互补以得到更好的聚类结果。

发明内容

木发明要克服现有技术的上述缺点，提供一种基于Spark大数据平台的电瓶车用户行为习惯分析方法。

木发明采用融合聚类方法对安装在电瓶车上的传感器所采集的状态数据进行分析和挖掘，获得典型的电瓶车用户行为习惯规律，这对掌握电瓶车实际使用工况具有重要意义，为预测电瓶车电池使用寿命打下基础。

本发明的基于Spark大数据平台的电瓶车用户行为习惯分析方法，包括以下步骤：

1)采集安装在每辆电瓶车上传感器的状态数据，其数据的主要特征包括行驶平均速度、放电时间、充放电次数和电压值等4种属性状态，其中电压字段用于对电瓶车类型分类，比如常见的电瓶车类型有48v、72v和84v。为了存储与处理这些状态数据，上述步骤具体如下：

(1.1)在采集数据之前先搭建大数据存储框架HDFS用于存储传感器采集的电瓶车状态历史数据，其中HDFS是一个分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

(1.2)搭建Spark大数据平台，并进行相关配置与HDFS进行整合，以便使得前者能正常访问或者操作后者存储的历史数据。

2)在大数据Spark平台上调用K-Means聚类算法接口对电瓶车用户数据集进行聚类，根据设定参数k而得出的聚簇集合为A^(k)，具体表示为

3)在大数据Spark平台上调用编写的DBSCAN聚类算法对上述电瓶车用户数据集再次进行聚类，得出聚簇集合B^(k)，具体表示为

4)使用联合Sorgenfrei相似系数来评价由K-Means算法和DBSCAN算法分别得到的两种聚类集合A^(k)与B^(k)的相似性指标。

5)调整参数k，重复执行步骤2)～4)。计算在不同簇参数k下由K-Means和DBSCAN这两种算法聚类结果的相似性系数，并选择当联合Sorgenfrei系数取得最大时的k值作为最优簇数，记为k′。

6)输出当获得最优簇数k′时由K-Means算法和DBSCAN算法聚类而得的两种簇集合A^(k′)与B^(k′)的交集作为该类型电瓶车用户行为习惯的代表性特征。

进一步，所述的步骤2)由以下步骤组成：

(2.1)在调用接口进行K-Means算法聚类之前，确保数据集转化为向量标签结构如{[avgspe，chargetims]}，其中avgspe表示电瓶车平均速度，chargetims表示电池充放电次数。另外，还需要确定距离度量方法和代价函数，一般距离度量选择常用的是欧几里得距离，其公式如下：

其中，d(p_i，p_j)表示对象p_i和p_j之间的距离，p_i和p_j分别表示两个d维数据对象p_i＝(p_i1，p_i2，...，p_id)，p_j＝(p_j1，p_j2，...，p_jd)。

代价函数的公式可表示成：

其中，u_i表示簇C_i的中心点，聚类的目标是最小化这个代价函数，使得每个数据对象x和最近的聚类中心u_i的欧几里得距离的平方和最小。

(2.2)使用Spark平台上SparkMLlib库中封装好的接口org.apache.spark.mllib.clustering.KMeans中的train方法对数据集进行聚类，其中train方法需要设置迭代的次数，运行的时间和聚类数k等参数。接着，通过KMeansModel类中的clusterCenters属性获取到模型的所有聚类中心情况，结果如集合A^(k)所示。

进一步，所述的步骤3)具体分为：

(3.1)在调用接口进行DBSCAN算法聚类之前，确保数据集转化为向量标签结构，其中标签属性和数量与K-Means算法所需的相同。

(3.2)调用DBSCAN算法对数据集进行聚类，其中需要利用公式(3)和公式(4)确定Eps和MinPts两个参数的值，获得聚类结果集B^(k)。

Eps参数的公式为：

其中，表示第n个簇集中的任意两样本i和j之间的欧式距离，n＝1，2，...，k；

另一参数MinPts的公式为：

其中，N为电瓶车用户的样本个数。

进一步，所述的步骤4)中的联合Sorgenfrei相似系数计算公式如下：

进一步，所述的步骤5)中最优簇k′的选择方法如下公式：

其中，c是取不同簇参数的经验值，S(A^(k)，B^(k))由上述公式(5)计算而得。

进一步，所述的步骤6)中获取两种最优聚簇集合A^(k′)与B^(k′)的交集计算公式为：

进一步，所述的步骤4)中联合Sorgenfrei相似系数的计算公式(5)是由原始的Sorgenfrei系数推导而得，具体方法如下：

首先，原始的Sorgenfrei系数计算公式如下：

其中A和B分别代表两个不同的用户集合。

在此基础上，我们可引伸出单一集合和集合序列之间的相似性，假设集合A和集合序列{B₁，B₂，...，B_n}，S(A，{B₁，B₂，…，B_n})为集合A和集合序列{B₁，B₂，...，B_n}的联合Sorgenfrei相似系数，其公式如下：

其中，对于每一个元素X，如果X∈B_i，那么如果那么P(B_i，X)＝0。

其次，在公式(9)的基础上给出一个简单的近似，由此可得S(A，{B₁，B₂，...，B_k})的计算公式近似为：

然后，可引伸出两个集合序列之间的相似性，设集合序列A⁽ⁱ⁾＝{A₁，A₂，…，A_k|k∈[1，2，...，j]}，其中类似的，另一集合序列B^(j)＝{B₁，B₂，…，B_n|n∈[1，2，...，j]}，其中于是，两个集合序列A⁽ⁱ⁾与B^(j)的联合Sorgenfrei相似系数表示成S({A₁，A₂，…，A_k}，{B₁，B₂，…，B_n})，其公式如下：

其中，

A_iB_max＝max_1＜j＜n|A_i∩B_j|，|A_i|表示集合A_i的个数，S(A_i，B_j)表示原始Sorgenfrei系数，由上述公式(8)计算得出。

本发明的优点是：

1)本发明提出一个基于K-Means算法与DBSCAN算法的双重融合聚类算法，在Spark大数据平台上对电瓶车用户的平均速度和充放电次数这两个属性指标进行聚类。

2)本发明提出了联合Sorgenfrei系数来对K-Means算法与DBSCAN算法输出的聚类结果集进行相似性评价。本发明可以广泛应用在基于Spark大数据平台分析不同类型电瓶车用户的行驶习惯。

附图说明

图1.多种算法的聚类融合过程图

图2.本发明方法的总体流程图

图3.Spark大数据平台的架构图

图4.K-Means算法与DBSCAN算法双重融合的运行过程图

具体实施方式

下面结合具体实施例，进一步阐明本发明。

参照附图2、3、4

本发明提出基于Spark大数据平台的电瓶车用户行驶习惯分析方法的实施过程如下：

1)采集安装在每辆电瓶车上传感器的状态数据，其数据的主要特征包括行驶平均速度、放电时间、充放电次数和电压值等4种属性状态，其中电压字段用于对电瓶车类型分类，比如常见的电瓶车类型有48v、72v和84v。为了存储与处理这些状态数据，上述步骤具体如下：

(1.1)在采集数据之前先搭建大数据存储框架HDFS用于存储传感器采集的电瓶车状态历史数据，其中HDFS是一个分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

(1.2)搭建Spark大数据平台，如图3所示的处理框架结构，并进行相关配置与HDFS进行整合，以便使得前者能正常访问或者操作后者存储的历史数据。

2)在大数据Spark平台上调用K-Means聚类算法接口对电瓶车用户数据集进行聚类，根据设定参数k而得出的聚簇集合为A^(k)，具体表示为

(2.1)在调用接口进行K-Means算法聚类之前，确保数据集转化为向量标签结构如{[avgspe，chargetims]}，其中avgspe表示电瓶车平均速度，chargetims表示电池充放电次数。另外，还需要确定距离度量方法和代价函数，一般距离度量选择常用的是欧几里得距离，其公式如下：

其中，d(p_i，p_j)表示对象p_i和p_j之间的距离，p_i和p_j分别表示两个d维数据对象p_i＝(p_i1，p_i2，...，p_id)，p_j＝(p_j1，p_j2，...，p_jd)。

代价函数的公式可表示成：

其中，u_i表示簇C_i的中心点，聚类的目标是最小化这个代价函数，使得每个数据对象x和最近的聚类中心u_i的欧几里得距离的平方和最小。

(2.2)使用Spark平台上SparkMLlib库中封装好的接口org.apache.spark.mllib.clustering.KMeans中的train方法对数据集进行聚类，其中train方法需要设置迭代的次数，运行的时间和聚类数k等参数。接着，通过KMeansModel类中的clusterCenters属性获取到模型的所有聚类中心情况，如集合A^(k)所示。

3)在大数据Spark平台上调用编写的DBSCAN聚类算法对上述电瓶车用户数据集再次进行聚类，得出聚簇集合B^(k)，具体表示为

(3.1)在调用接口进行DBSCAN算法聚类之前，确保数据集转化为向量标签结构，其中标签属性和数量与K-Means算法所需的相同。

(3.2)调用DBSCAN算法对数据集进行聚类，其中需要利用公式(3)和公式(4)确定Eps和MinPts两个参数的值，获得聚类结果集B^(k)。

Eps参数的公式为：

其中，表示第n个簇集中的任意两样本i和j之间的欧式距离，n＝1，2，...，k。

另一参数MinPts的公式为：

其中，N为电瓶车用户的样本个数。

4)使用联合Sorgenfrei相似系数来评价由K-Means算法和DBSCAN算法分别得到的两种聚类集合A^(k)与B^(k)的相似性指标。其中联合Sorgenfrei相似系数计算公式如下：

其中，A_iB_max＝max_1＜j＜n|A_i∩B_j|，|A_i|表示集合A_i的个数，S(A_i，B_j)表示原始Sorgenfrei系数。

5)调整参数k，重复执行步骤2)～4)。一般地，k值根据人工经验而设定为2到10之间的整数。计算在不同参数k下由K-Means和DBSCAN这两种算法聚类结果的相似性系数，并选择当联合Sorgenfrei系数取得最大时的k值作为最优簇数，记为k′。具体选择方法如下公式：

其中，c是取不同簇参数的经验值，S(A^(k)，B^(k))由上述公式(5)计算而得。

6)输出当获得最优簇数k′时由K-Means算法和DBSCAN算法聚类而得的两种簇集合A^(k′)与B^(k′)的交集作为该类型电瓶车用户行为习惯的代表性特征，其中获取两种算法的最优簇集合A^(k′)与B^(k′)的交集计算公式为：

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.基于Spark大数据平台的电瓶车用户行为习惯分析方法，包括如下步骤：

1)采集安装在每辆电瓶车上传感器的状态数据，包括行驶平均速度、放电时间、充放电次数和电压值，其中电压字段用于对电瓶车类型分类，具体如下：

(1.1)在采集数据之前先搭建大数据存储框架HDFS用于存储传感器采集的电瓶车状态历史数据，其中HDFS是一个分布式文件系统；

(1.2)搭建Spark大数据平台，并进行相关配置与HDFS进行整合，以便使得前者能正常访问或者操作后者存储的历史数据。

2)在大数据Spark平台上调用K-Means聚类算法接口对电瓶车用户数据集进行聚类，根据设定参数k而得出的聚簇集合为A^(k)，具体表示为其中步骤2)具体包括：

(2.1)在调用接口进行K-Means算法聚类之前，确保数据集转化为向量标签结构如{[avgspe，chargetims]}，其中avgspe表示电瓶车平均速度，chargetims表示电池充放电次数；另外，还需要确定距离度量方法和代价函数，一般距离度量选择常用的是欧几里得距离，其公式如下：

其中，d(p_i,p_j)表示对象p_i和p_j之间的距离，p_i和p_j分别表示两个d维数据对象p_i＝(p_i1,p_i2,...,p_id)，p_j＝(p_j1,p_j2,...,p_jd)。

代价函数的公式可表示成：

其中，u_i表示簇C_i的中心点，聚类的目标是最小化这个代价函数，使得每个数据对象x和最近的聚类中心u_i的欧几里得距离的平方和最小。

(2.2)使用Spark平台上SparkMLlib库中封装好的接口org.apache.spark.mllib.clustering.KMeans中的train方法对数据集进行聚类，其中train方法需要设置迭代的次数，运行的时间和聚类数k参数；接着，通过KMeansModel类中的clusterCenters属性获取到模型的所有聚类中心情况，如集合A^(k)所示；

3)在大数据Spark平台上调用编写的DBSCAN聚类算法对上述电瓶车用户数据集再次进行聚类，得出聚簇集合B^(k)，具体表示为具体包括：

(3.1)在调用接口进行DBSCAN算法聚类之前，确保数据集转化为向量标签结构,其中标签属性和数量与K-Means算法所需的相同；

(3.2)调用DBSCAN算法对数据集进行聚类，其中需要利用公式(3)和公式(4)确定Eps和MinPts两个参数的值，获得聚类结果集B^(k)；

Eps参数的公式为：

其中，表示第n个簇集中的任意两样本i和j之间的欧式距离，n＝1,2,...,k；

另一参数MinPts的公式为：

其中，N为电瓶车用户的样本的个数；

4)使用联合Sorgenfrei相似系数来评价由K-Means算法和DBSCAN算法分别得到的两种聚类集合A^(k)与B^(k)的相似性指标。其中所述步骤4)中联合Sorgenfrei相似系数的公式为：

其中，|A_i|表示集合A_i的个数，S(A_i,B_j)表示原始的Sorgenfrei系数；

5)调整参数k，重复执行步骤2)～4)；计算在不同簇参数k下由K-Means和DBSCAN这两种算法聚类结果的相似性系数，并选择当联合Sorgenfrei系数取得最大时的k值作为最优簇数，记为k′。其中所述步骤5)中最优簇参数的选择方法为：

其中，c是取不同簇参数的经验值，S(A^(k),B^(k))由上述公式(5)计算而得；

6)输出当获得最优簇数k′时由K-Means算法和DBSCAN算法聚类而得的两种簇集合A^(k′)与B^(k′)的交集作为该类型电瓶车用户行为习惯的代表性特征；其中所述步骤6)中获取两种聚簇集合的交集计算公式为：

。

2.如权利要求1所述方法，其特征在于，步骤4)中的联合Sorgenfrei相似系数是由原始的Sorgenfrei系数推导而得，具体方法如下：

(2.1)原始的Sorgenfrei系数计算公式如下：

其中A和B分别代表两个不同的用户集合；

(2.2)在步骤(2.1)基础上，引伸出单一集合和集合序列之间的相似性，假设集合A和集合序列{B₁,B₂,...,B_n}，S(A,{B₁,B₂,…,B_n})为集合A和集合序列{B₁,B₂,...,B_n}的联合Sorgenfrei相似系数，其公式如下：

其中，对于每一个元素X，如果X∈B_i，那么如果那么P(B_i,X)＝0。

(2.3)在公式(9)的基础上给出一个简单的近似，由此可得S(A,{B₁,B₂,...,B_k})的计算公式近似为：

(2.4)进一步地，可引伸出两个集合序列之间的相似性，设集合序列A⁽ⁱ⁾＝{A₁,A₂,…,A_k|k∈[1,2,...,i]}，其中类似的，另一集合序列B^(j)＝{B₁,B₂,…,B_n||n∈[1,2,...,j]}，其中于是，两个集合序列A⁽ⁱ⁾与B^(j)的联合Sorgenfrei相似系数表示成S({A₁,A₂,…,A_k},{B₁,B₂,…,B_n})，其公式如下：

其中，|A_i|表示集合A_i的个数，S(A_i,B_j)表示原始Sorgenfrei系数，由上述公式(8)计算得出。