CN104616211A - 基于水电用量比值聚类的异常水电用户检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于水电用量比值聚类的异常水电用户检测方法，首先采集用户的水量电量数据中的非零用量数据；计算非零用量数据的水电比和电水比；然后将水电比和电水比进行K-Means聚类计算，得到异常个体数据；最后合并异常个体数据；本发明提出一种基于水电用量比值聚类的异常水电用户检测方法，该方法利用水电比和电水比整合了城市居民的用水数据、用电数据，利用K-Means聚类算法分别对整合的水电比和电水比数据进行异常检测，然后对检测结果进行合并，得到最终的异常水电用户，解决了用水、用电数据分开检测而出现局部收敛的问题，实现了对异常水电用户高效检测的目的。有效避免用水量、水电量分开检测的误检率和漏检率。

Description

基于水电用量比值聚类的异常水电用户检测方法及系统

技术领域

本发明涉及用水用电异常用户检测技术领域，尤其是涉及一种基于水电用量比值聚类的异常水电用户检测方法及系统。

背景技术

随着信息技术的不断发展，智能采集终端应用越来越广泛，大大减少了人工上门抄表的工作量。大部分城区目前基本可以通过自动集抄的方式实现水、电用量的数据采集，为后续的管理、计费提供坚实基础。但是由于网络、采集终端稳定性、用户窃电、窃水等各种原因，不可避免的会出现采集数据异常的问题，对于异常的数据如果没有及时的检测和处理，会给企业带来经济损失，严重的甚至关系到用水、用电安全。因此，水电用量的异常用户检测显得尤为重要。

传统的异常数据检测方法有很多种，如基于机理模型的预测方法、统计学方法、基于距离的检测方法、神经网络方法以及支持向量机方法等，每种检测方法都有着自己的适用范围和条件，它影响着检测方法的有效性和可靠性。因此，选择合适的检测方法对于异常数据检测至关重要。由于自来水公司和电力公司分属不同企业，用户用水、用电数据没有共享，传统的用电、用水异常检测，只能在企业内部进行，通常在电力营销系统、用水营销系统内，对用户用量与历史用量进行检测分析。由于是对用水、用电数据分开进行检测，没有对两者数据进行结合、综合分析，因此分析结果易出现局部收敛，导致检测结果不准确的问题。

发明内容

针对上述现有技术存在的不足，本发明的目的是提供一种基于水电用量比值聚类的异常水电用户检测方法及系统。

本发明的目的之一是提出一种基于水电用量比值聚类的异常水电用户检测方法；本发明的目的之二是提出一种基于水电用量比值聚类的异常水电用户检测系统。

本发明的目的之一是通过以下技术方案来实现的：

本发明提供的基于水电用量比值聚类的异常水电用户检测方法，包括以下步骤：

S1：采集用户的水量电量数据；

S2：获取水量电量数据中的非零用量数据；

S3：计算非零用量数据的水电比和电水比；

S4：将水电比进行K-Means聚类计算，得到水电比异常个体数据；

S5：将电水比进行K-Means聚类计算，得到电水比异常个体数据；

S6：合并水电比异常个体数据和电水比异常个体数据；作为异常数据并输出。

进一步，还包括以下步骤：

S21：获取水量电量数据中的零用量数据；

S22：判断零用量数据是否全是零用量，如果否，则为异常用户。

进一步，所述步骤S1中的用户水量电量数据采集，包括采集居民用户的原始用水量、用电量、水户号、电户号及日期数据。

进一步，所述步骤S4和S5中的K-Means聚类的样本特征向量为用水量/用电量w/e和用电量/用水量e/w；并按以下公式进行：

$\stackrel{\‾}{x_i}=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{x\∈C_i}x;$

其中，C_i表示新分裂向量的集合，x表示C_i里的个体向量。

本发明的目的之二是通过以下技术方案来实现的：

本发明提供的基于水电用量比值聚类的异常水电用户检测系统，包括数据采样模块、数据筛选模块、水电比计算模块、聚类分析模块、数据合并模块和数据输出模块；

所述数据采样模块，用于采集居民用户的水量电量数据；

所述数据筛选模块，用于获取水量电量数据的非零用量数据；

所述水电比计算模块，用于计算非零用量数据的水电比和电水比；

所述聚类分析模块，用于对水电比和电水比分别采用K-Means聚类算法进行聚类分析，并分别输出水电比异常个体数据和电水比异常个体数据；

所述数据合并模块，用于合并水电比异常个体数据和电水比异常个体数据；

所述数据输出模块，用于输出水电比异常个体数据和电水比异常个体数据的合并结果，作为异常水电用户。

进一步，所述数据筛选模块还包括零用量数据判断模块，所述零用量数据判断模块按以下步骤来实现：

首先获取水量电量数据中的零用量数据；然后判断零用量数据是否全是零用量，如果否，则为异常水电用户。

进一步，所述数据采样模块中的用户水量电量数据采集，包括采集居民用户的原始用水量、用电量、水户号、电户号及日期数据。

进一步，所述聚类分析模块中的K-Means聚类的样本特征向量为用水量/用电量w/e和用电量/用水量e/w；并按以下公式进行：

$\stackrel{\‾}{x_i}=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{x\∈C_i}x;$

其中，C_i表示新分裂向量的集合，x表示C_i里的个体向量。

采用上述结构后，本发明和现有技术相比所具有的优点是：

本发明提出一种基于水电用量比值聚类的异常水电用户检测方法，该方法利用水电比和电水比整合了城市居民的用水数据、用电数据，利用K-Means聚类算法分别对整合的水电比和电水比数据进行异常检测，然后对检测结果进行合并，得到最终的异常水电用户，解决了用水、用电数据分开检测而出现局部收敛的问题，实现了对异常水电用户高效检测的目的。

本发明使用水电比、电水比的方法对用户的用电量和用水量进行了有效的整合，依次作为聚类分析的输入数据进行检测，能够有效避免用水量、水电量分开检测的误检率和漏检率。

使用聚类算法分别对水电比和电水比数据进行聚类分析，然后进行合并，能够有效解决水电比或电水比数值较小而漏检的问题。通过动态设置初始种群个数的方法，能够提高检测方法的灵活度。使用数据筛选模块设计，将用水量或用电量是零的数据筛选出来，直接作为最终结果输出，不再参与后续的聚类分析，避免因为这些噪声个体参与训练而影响检测效率的问题。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1是本发明的整体结构示意图；

图2是本发明的基于水电比和电水比聚类的异常用户检测方法流程图。

具体实施方式

以下所述仅为本发明的较佳实施例，并不因此而限定本发明的保护范围。

实施例1

如图所示，本实施例提供的基于水电用量比值聚类的异常水电用户检测方法，包括以下步骤：

S1：采集用户的水量电量数据；

S2：获取水量电量数据中的非零用量数据；

S3：计算非零用量数据的水电比和电水比；

S4：将水电比进行K-Means聚类计算，得到水电比异常个体数据；

S5：将电水比进行K-Means聚类计算，得到电水比异常个体数据；

S6：合并水电比异常个体数据和电水比异常个体数据；作为异常数据并输出。

还包括以下步骤：

S21：获取水量电量数据中的零用量数据；

S22：判断零用量数据是否全是零用量，如果否，则为异常用户。

所述步骤S1中的用户水量电量数据采集，包括采集居民用户的原始用水量、用电量、水户号、电户号及日期数据。

所述步骤S4和S5中的K-Means聚类的样本特征向量为用水量/用电量w/e和用电量/用水量e/w；并按以下公式进行：

$\stackrel{\‾}{x_i}=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{x\∈C_i}x;$

其中，C_i表示新分裂向量的集合，x表示C_i里的个体向量。

本实施例还提供了一种基于水电用量比值聚类的异常水电用户检测系统，包括数据采样模块、数据筛选模块、水电比计算模块、聚类分析模块、数据合并模块和数据输出模块；

所述数据采样模块，用于采集居民用户的水量电量数据；

所述数据筛选模块，用于获取水量电量数据的非零用量数据；

所述水电比计算模块，用于计算非零用量数据的水电比和电水比；

所述聚类分析模块，用于对水电比和电水比分别采用K-Means聚类算法进行聚类分析，并分别输出水电比异常个体数据和电水比异常个体数据；

所述数据合并模块，用于合并水电比异常个体数据和电水比异常个体数据；

所述数据输出模块，用于输出水电比异常个体数据和电水比异常个体数据的合并结果，作为异常水电用户。

所述数据筛选模块还包括零用量数据判断模块，所述零用量数据判断模块按以下步骤来实现：

首先获取水量电量数据中的零用量数据；然后判断零用量数据是否全是零用量，如果否，则为异常水电用户。

所述数据采样模块中的用户水量电量数据采集，包括采集居民用户的原始用水量、用电量、水户号、电户号及日期数据。

所述聚类分析模块中的K-Means聚类的样本特征向量为用水量/用电量w/e和用电量/用水量e/w；并按以下公式进行：

$\stackrel{\‾}{x_i}=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{x\∈C_i}x;$

其中，C_i表示新分裂向量的集合，x表示C_i里的个体向量。

实施例2

本实施例进行基于水电用量的异常检测，不需要对数据对象作异常或正常标记，而是基于两点假设：(1)在整个电力营销系统或用水营销系统内，正常水电用户的数量要远大于异常用户的数量；(2)异常用户的水电用量与正常用户存在着实质的差异。本专利的基本思想就是由于正常水电用户的水电消耗量和异常用户的水电消耗不同，且异常用户数量相对较少，因此对水电用量数据进行基于支持向量聚类分析，挖掘出其中的异常水电数据，并将其视为异常水电用户。

图1示出了基于水电比和电水比聚类的异常水电用户检测方法整体结构示意图，图中，数据采样模块从原始数据进行采样，采样的数据输出到数据筛选模块进行过滤，然后传递给水电比计算模块进行计算，对于计算的结果分别使用K-Means聚类算法进行分析，最后传递给数据合并模块进行合并和输出。

图2示出了基于水电比和电水比聚类的异常水电用户检测方法流程示意图。

从某副省级城市三个核心区的水电用户的用水量和用电量数据为样本进行数据采样，时间范围是2013年10月至2014年5月，数据总量为1266007个，采样数据样本为10000个，采样得到的数据样本包括字段如表1所示：

表1水电用户数据样本字段

水户号

水户名

水地址

电户号

电户名

电地址

抄表时间

用水量

用电量

水量电量筛选模块把采样得到的数据进行过滤，对于水量和电量均不为零的用户数据输出到水电比计算模块进行计算和分析。否则，根据实际水电业务部门评估和现场勘测，水量和电量全是零，此类为正常数据，水量是零、电量不是零，判定为异常数据，水量不是零、电量是零，也判定为异常数据。

水电比计算模块对过滤后的数据，分别计算w/e(用水量/用电量)和e/w(用电量/用水量)作为聚类分析的输入。

对于计算后的w/e和e/w分别作为该样本特征向量，分别使用K-Means聚类算法进行聚类分析，因为需要聚类的个数k事先未知，所以采用多个k值进行聚类试验的方法，选定k＝7,10,15。

对于每次迭代计算之后，使用均值法计算新类的中心如公式(1)所示：

$\stackrel{\‾}{x_i}=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{x\∈C_i}x---\left(1\right)$

其中C_i表示新分裂向量的集合，x表示C_i里的个体向量。

将水电比和电水比聚类分析之后，占比较少个体作为异常数据进行合并。

最后将合并结果和水量电量筛选模块的零向量用户数据进行整合得到最终的异常水电用户数据。

异常水电用户检测方法及系统目前已广泛使用，其它结构和原理与现有技术相同，这里不再赘述。

Claims (8)

1.基于水电用量比值聚类的异常水电用户检测方法，其特征在于：包括以下步骤：

S1：采集用户的水量电量数据；

S2：获取水量电量数据中的非零用量数据；

S3：计算非零用量数据的水电比和电水比；

S4：将水电比进行K-Means聚类计算，得到水电比异常个体数据；

S5：将电水比进行K-Means聚类计算，得到电水比异常个体数据；

S6：合并水电比异常个体数据和电水比异常个体数据；作为异常数据并输出。

2.根据权利要求1所述的基于水电用量比值聚类的异常水电用户检测方法，其特征在于：还包括以下步骤：

S21：获取水量电量数据中的零用量数据；

S22：判断零用量数据是否全是零用量，如果否，则为异常用户。

3.根据权利要求1所述的基于水电用量比值聚类的异常水电用户检测方法，其特征在于：所述步骤S1中的用户水量电量数据采集，包括采集居民用户的原始用水量、用电量、水户号、电户号及日期数据。

4.根据权利要求1所述的基于水电用量比值聚类的异常水电用户检测方法，其特征在于：所述步骤S4和S5中的K-Means聚类的样本特征向量为用水量/用电量w/e和用电量/用水量e/w；并按以下公式进行：

$\stackrel{\‾}{x_i}=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{{x\∈C}_i}x;$

其中，C_i表示新分裂向量的集合，x表示C_i里的个体向量。

5.基于水电用量比值聚类的异常水电用户检测系统，其特征在于：包括数据采样模块、数据筛选模块、水电比计算模块、聚类分析模块、数据合并模块和数据输出模块；

所述数据采样模块，用于采集居民用户的水量电量数据；

所述数据筛选模块，用于获取水量电量数据的非零用量数据；

所述水电比计算模块，用于计算非零用量数据的水电比和电水比；

所述聚类分析模块，用于对水电比和电水比分别采用K-Means聚类算法进行聚类分析，并分别输出水电比异常个体数据和电水比异常个体数据；

所述数据合并模块，用于合并水电比异常个体数据和电水比异常个体数据；

所述数据输出模块，用于输出水电比异常个体数据和电水比异常个体数据的合并结果，作为异常水电用户。

6.根据权利要求5所述的基于水电用量比值聚类的异常水电用户检测系统，其特征在于：所述数据筛选模块还包括零用量数据判断模块，所述零用量数据判断模块按以下步骤来实现：

首先获取水量电量数据中的零用量数据；然后判断零用量数据是否全是零用量，如果否，则为异常水电用户。

7.根据权利要求5所述的基于水电用量比值聚类的异常水电用户检测系统，其特征在于：所述数据采样模块中的用户水量电量数据采集，包括采集居民用户的原始用水量、用电量、水户号、电户号及日期数据。

8.根据权利要求5所述的基于水电用量比值聚类的异常水电用户检测系统，其特征在于：所述聚类分析模块中的K-Means聚类的样本特征向量为用水量/用电量w/e和用电量/用水量e/w；并按以下公式进行：

$\stackrel{\‾}{x_i}=\frac{1}{\left|C_i\right|}{\mathrm{\Σ}}_{{x\∈C}_i}x;$

其中，C_i表示新分裂向量的集合，x表示C_i里的个体向量。