CN106682079A - 一种基于聚类分析的用户用电行为检测方法 - Google Patents

一种基于聚类分析的用户用电行为检测方法 Download PDF

Info

Publication number
CN106682079A
CN106682079A CN201611039954.9A CN201611039954A CN106682079A CN 106682079 A CN106682079 A CN 106682079A CN 201611039954 A CN201611039954 A CN 201611039954A CN 106682079 A CN106682079 A CN 106682079A
Authority
CN
China
Prior art keywords
cluster
user
data
final
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611039954.9A
Other languages
English (en)
Other versions
CN106682079B (zh
Inventor
王昕�
李川
曹敏
李英娜
黄炜
赵艳峰
李翔
赵旭
蒋婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power System Ltd
Original Assignee
Kunming Ligong Guangzhi Detection Technology Co Ltd
Electric Power Research Institute of Yunnan Power System Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming Ligong Guangzhi Detection Technology Co Ltd, Electric Power Research Institute of Yunnan Power System Ltd filed Critical Kunming Ligong Guangzhi Detection Technology Co Ltd
Priority to CN201611039954.9A priority Critical patent/CN106682079B/zh
Publication of CN106682079A publication Critical patent/CN106682079A/zh
Application granted granted Critical
Publication of CN106682079B publication Critical patent/CN106682079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于聚类分析的用户用电行为检测方法，该检测方法通过建立用户数据仓库以收集用户用电信息，对所建立的用户数据仓库进行处理形成主成分数据，以处理大样本数据，提高挖掘效率；对主成分数据进行聚类计算得到不同的用户用电模式，其中，用户用电模式中的离群点对象可能为窃电用户，进而对离群点对象采用层次聚类方法计算得出窃电嫌疑用户。本发明提供的基于聚类分析的用户用电行为检测方法中，层次聚类方法只需对对象之间的距离排序，并根据距离序列进行聚类，不需要检查和估算对象；同时，离群点的检测与聚类计算能够高度互补，具有很好的伸缩性。

Description

一种基于聚类分析的用户用电行为检测方法
技术领域
本发明涉及用电行为检测技术领域，尤其涉及一种基于聚类分析的用户用电行为检测方法。
背景技术
窃电是指以不缴或少缴电费为目的而采用非法手段不计量或少计量用电量的行为。窃电行为不但严重损害供电企业的利益，而且还扰乱正常的供用电秩序，严重影响了电力事业的发展，并给用电安全带来了严重威胁。窃电行为一旦形成一定规模会大大增加供电线路的负担，轻则影响整个小区的电压稳定，重则会导致整片区域停电，影响用户使用电量。
从近年来的各种窃电案件来看，不但窃电的手段越来越狡诈，窃电的数额也越来越大，同时，还有不少窃电者想方设法逃避应有的法律惩罚，因此，防治窃电问题已成为一个不容忽视的、迫切需要解决的重要课题，引起了各级供电企业和有关部门的重视。窃电行为一般在查抄电表或缴费时才被发现，然而此时已发生窃电行为，供电系统已经遭到破坏，此时只能对窃电者进行惩罚并改正其窃电行为，因此，窃电行为并不能提前知晓，也就不能提前制止窃电行为。
目前，我国防窃电的方法主要包括采用专用计量箱或专用电表箱、装设防窃电设备等，然而上述方法需要大量更换计量箱或电表箱、装设新设备，大大浪费人力、物力。若只针对个别用户更换防窃电设备，则只能对安装有更换防窃电设备的用户进行控制，并不能对整片区域的所有用户的用电行为进行检测，因而仍然可能存在有漏检的窃电用户。
发明内容
本发明提供一种基于聚类分析的用户用电行为检测方法，以通过大量的用户用电数据分析该片区域内用户的用电行为，进而确定窃电嫌疑用户。
本发明提供了一种基于聚类分析的用户用电行为检测方法，所述方法包括：
根据用户用电信息建立用户数据仓库；
对所述用户数据仓库进行处理，以选取主成分数据；
对所述主成分数据进行聚类计算得到离群点对象；
选取所述用户数据仓库中所述离群点对象的用电数据；
对所述用电数据进行层次聚类计算得到距离矩阵；
判断所述距离矩阵中类簇之间的最小距离是否大于预设阈值，且所述最小距离的数量是否大于预设数量；
若所述最小距离大于所述预设阈值，且所述最小距离的数量大于预设数量，则所述离群点对象为窃电嫌疑用户。
优选地，根据用户用电信息建立用户数据仓库包括：
将用户用电信息添加到事实表，以建立逻辑模型，所述用户用电信息包括电流、电压、用户的类型、地理位置、年均用电量、月均用电量和/或日用电量；
将所述逻辑模型转化为数据模型；
使用ETL对所述数据模型中的用电数据进行清洗，形成用户数据仓库。
优选地，对所述用户数据仓库进行处理包括对所述用户数据仓库中的数据进行切块或切片操作。
优选地，对所述主成分数据进行聚类计算得到离群点对象包括通过k-means算法或FCM算法对所述主成分数据进行聚类计算得到离群点对象。
优选地，通过k-means算法对所述主成分数据进行聚类计算得到离群点对象包括：
所述主成分数据构成数据集；
在所述数据集中选取k个对象为初始聚类中心，设定差异程度s；
计算所述数据集中其余数据与各初始聚类中心的欧式距离；
根据所述欧式距离及所述初始聚类中心将所述其余数据划分为k个类簇；
计算所述k个类簇的簇内变差E；
根据所述簇内变差E重新确定聚类中心；
根据重新确定的所述聚类中心重新划分类簇，直至连续两次划分的类簇相同，得到最终类簇及最终聚类中心；
计算所述最终类簇中的每个数据与所述最终聚类中心的距离dist(o,c0)及每个数据与所述最终聚类中心的平均距离
根据所述距离dist(o,c0)和所述平均距离计算
判断所述与所述差异程度s的大小；
若所述大于所述差异程度s，则为离群点对象；
若所述小于或等于所述差异程度s，则为正常对象。
优选地，通过FCM算法对所述主成分数据进行聚类计算得到离群点对象包括：
将所述主成分数据划分为c个类簇；
分别确立c个所述类簇的初始聚类中心；
设定模糊因子m，差异程度s；
计算所述主成分数据中的每个数据隶属于c个类簇的隶属度；
根据所述隶属度确定隶属度矩阵U；
根据计算聚类中心矩阵V；
根据所述隶属度矩阵U和所述聚类中心矩阵V计算目标函数J(U,V)；
若连续两次计算的所述目标函数J(U,V)的差值大于或等于终止误差，则重新计算隶属度矩阵U，直至连续两次计算的所述目标函数J(U,V)的差值小于终止误差，得到最终隶属度矩阵U；
根据所述最终隶属度矩阵U对所述主成分数据划分最终类簇及最终聚类中心；
计算所述最终类簇中的每个数据与所述最终聚类中心的距离dist(o,c0)及每个数据与所述最终聚类中心的平均距离
根据所述距离dist(o,c0)和所述平均距离计算
判断所述与所述差异程度s的大小；
若所述大于所述差异程度s，则为离群点对象；
若所述小于或等于所述差异程度s，则为正常对象。
优选地，对所述用电数据进行层次聚类计算得到距离矩阵包括：
将每个所述用电数据设定为一个初始类簇；
计算每两个初始类簇之间的欧式距离；
所述欧式距离形成距离矩阵。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明提供一种基于聚类分析的用户用电行为检测方法，所述方法包括：根据用户用电信息建立用户数据仓库；对所述用户数据仓库进行处理，以选取主成分数据；对所述主成分数据进行聚类计算得到离群点对象；选取所述用户数据仓库中所述离群点对象的用电数据；对所述用电数据进行层次聚类计算得到距离矩阵；判断所述距离矩阵中类簇之间的最小距离是否大于预设阈值，且所述最小距离的数量是否大于预设数量；若所述最小距离大于所述预设阈值，且所述最小距离的数量大于预设数量，则所述离群点对象为窃电嫌疑用户。本发明提供的基于聚类分析的用户用电行为检测方法通过建立用户数据仓库以收集用户用电信息，对所建立的用户数据仓库进行处理形成主成分数据，以处理大样本数据，提高挖掘效率；对主成分数据进行聚类计算得到不同的用户用电模式，其中，用户用电模式中的离群点对象可能为窃电用户，进而对离群点对象采用层次聚类方法计算得出窃电嫌疑用户。本发明提供的基于聚类分析的用户用电行为检测方法中，层次聚类方法只需对对象之间的距离排序，并根据距离序列进行聚类，不需要检查和估算对象；同时，离群点的检测与聚类计算能够高度互补，具有很好的伸缩性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于聚类分析的用户用电行为检测方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
请参考附图1，附图1示出了本发明实施例提供的基于聚类分析的用户用电行为检测方法的流程示意图，以下检测方法的描述均以附图1为基础。
本发明实施例提供了一种基于聚类分析的用户用电行为检测方法，该检测方法包括：
S01：根据用户用电信息建立用户数据仓库；
将电流、电压、用户的类型、地理位置、年均用电量、月均用电量和/或日用电量等的用户用电信息添加到事实表，形成用户数据仓库的逻辑模型，其中，该逻辑模型可以为星型模型。将形成的逻辑模型转化为数据模型，该数据模型在用户数据仓库中以表的形式存放。对转化后的数据模型进行优化，其中，该优化为使用ETL(Extract-Transform-Load)工具抽取数据模型中的电量数据、电压、电流等，ETL工具在抽取的过程中自动过滤数据，所抽取的数据形成用户数据仓库。
S02：对所述用户数据仓库进行处理，以选取主成分数据；
由于用户数据仓库中的用户用电信息种类繁多，而在实际用电情况中，时间、用户、电压、电流、日用电量等数据最能反映用户的用电情况，因此需要对已建立的用户数据仓库中的时间、用户、电压、电流、日用电量等数据进行切块或切片操作，所选取的上述数据形成主成分数据。
S03：对所述主成分数据进行聚类计算得到离群点对象；
在主成分数据中，行为不同于预期对象的点为离群点，该离群点为一个显著不同于其他数据对象的数据对象，且该离群点也不同于噪声数据。在本发明实施例中，通过采用聚类计算主成分数据来判断一个用户是否为一个离群点对象。进一步，在本发明实施例中，所采用的聚类计算方法为k-means算法或FCM(Fuzzy C-means，模糊C均值)算法，其中，k-means算法或FCM算法的具体计算过程为：
k-means算法对主成分数据进行计算得到离群点对象的具体内容包括：
选取主成分数据为数据对象o，所有数据对象o构成数据集D；
在数据集D中随机选取k个对象为初始聚类中心，设定差异程度s；
计算数据集D中其余数据与各初始聚类中心的欧式距离，欧氏距离的计算公式为：其中，xi、xj为两个n维对象，A＝(a1，a2，......，an)为每个对象的n维属性集，xi(vi1，vi2，......，vin)，xj(vj1，vj2，......，vjm)，vi为属性ai的值；
根据欧式距离及初始聚类中心将其余数据按照相似程度划分为k个类簇；
计算k个类簇的簇内变差E，其中，簇内变差E的计算公式为：
根据簇内变差E重新确定聚类中心；
根据重新确定的聚类中心重新划分类簇，迭代计算，直至连续两次划分的类簇相同，得到最终类簇及最终聚类中心；
计算最终类簇中的每个数据与最终聚类中心的距离dist(o,c0)及每个数据与最终聚类中心的平均距离
根据距离dist(o,c0)和平均距离计算
判断与差异程度s的大小；
若大于差异程度s，则为离群点对象；
若小于或等于差异程度s，则为正常对象。
FCM算法对主成分数据进行计算得到离群点对象的具体内容包括：
将主成分数据设为数据集x＝{x1,x2,…,xn}，并将该数据集划分为c个类簇；
在c个类簇中分别确立初始聚类中心，该初始聚类中心为V＝{v1,v2,…,vc}；
设定模糊因子m，差异程度s；
计算数据集x＝{x1,x2,…,xn}中的每个数据分别隶属于c个类簇的隶属度uij，uij的计算公式为其中，dij为第i个样本与第j个聚类中心的距离，dik为第i个样本与第k个类簇中心的距离，约束条件为：uij∈[0,1]，
根据隶属度确定隶属度矩阵U，该隶属度矩阵U为uij表示第i个样本属于第j类的隶属度；
根据计算聚类中心矩阵V；
根据隶属度矩阵U和聚类中心矩阵V计算目标函数J(U,V)，该目标函数J(U,V)的计算公式为：
若连续两次计算的目标函数J(U,V)的差值大于或等于终止误差，则重新迭代计算隶属度矩阵U，直至连续两次计算的目标函数J(U,V)的差值小于终止误差，得到最终隶属度矩阵U；
根据最终隶属度矩阵U，若样本xi属于第j个类簇的隶属度最大，则样本属于第j个类，从而完成对主成分数据所属最终类簇及最终聚类中心的划分‘
计算最终类簇中的每个数据与最终聚类中心的距离dist(o,c0)及每个数据与最终聚类中心的平均距离
根据距离dist(o,c0)和平均距离计算
判断与差异程度s的大小；
若大于差异程度s，则为离群点对象；
若小于或等于差异程度s，则为正常对象。
S04：选取所述用户数据仓库中所述离群点对象的用电数据；
上述所选出的离群点对象即为用电异常用户。在实际用电情况中，窃电用户的窃电方式有多种，如欠电压法、欠电流法、三相不平衡率及线损率等，但以欠电压法和欠电流法为主，因此本发明实施例通过电压或电流两方面来分析离群点对象，下述用电对象的选取以电压数据为例，欠电流法的分析方法同欠电压法。在选取数据时，选取用户数据仓库中离群点对象的电压数据。
S05：对所述用电数据进行层次聚类计算得到距离矩阵；
将每个电压数据设定为一个初始类簇；
采用最小距离的方法计算每两个初始类簇之间的欧式距离，两个初始类簇之间的欧式距离表示某两天同一时段的电压数据的变化；
将所计算得到的所有欧式距离保存成距离矩阵。
S06：判断所述距离矩阵中类簇之间的最小距离是否大于预设阈值，且所述最小距离的数量是否大于预设数量；
将距离矩阵距离最小的两个类簇合并形成新的类簇，同时更新距离矩阵，迭代计算类簇之间的距离及更新距离矩阵，在迭代计算及更新距离矩阵的过程中，类簇之间的最小距离逐渐增大，此时，判断距离矩阵中类簇之间的最小距离是否大于预设阈值，且最小距离的数量是否大于预设数量，其中，该预设阈值为电压值变化最大值，该预设数量标压的-10％—+7％。
S07：若所述最小距离大于所述预设阈值，且所述最小距离的数量大于预设数量，则所述离群点对象为窃电嫌疑用户。
依据上述判定，若最小距离大于预设阈值，且最小距离的数量大于预设数量，则表示某几天的一个时段中的电压数据跟近一个月同一时段的电压数据有差异的天数较多，即可判定用户在某一天或几天可能发生了欠电压的情况，如果这种情况长期发生，则可把该用户列为欠电压法窃电的嫌疑用户。
本发明实施例提供的基于聚类分析的用户用电行为检测方法通过建立用户数据仓库以收集用户用电信息，对所建立的用户数据仓库进行处理形成主成分数据，以处理大样本数据，提高挖掘效率；对主成分数据进行聚类计算得到不同的用户用电模式，其中，用户用电模式中的离群点对象可能为窃电用户，进而对离群点对象采用层次聚类方法计算得出窃电嫌疑用户。本发明提供的基于聚类分析的用户用电行为检测方法中，层次聚类方法只需对对象之间的距离排序，并根据距离序列进行聚类，不需要检查和估算对象；同时，离群点的检测与聚类计算能够高度互补，具有很好的伸缩性。
本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (7)

1.一种基于聚类分析的用户用电行为检测方法，其特征在于，所述方法包括：
根据用户用电信息建立用户数据仓库；
对所述用户数据仓库进行处理，以选取主成分数据；
对所述主成分数据进行聚类计算得到离群点对象；
选取所述用户数据仓库中所述离群点对象的用电数据；
对所述用电数据进行层次聚类计算得到距离矩阵；
判断所述距离矩阵中类簇之间的最小距离是否大于预设阈值，且所述最小距离的数量是否大于预设数量；
若所述最小距离大于所述预设阈值，且所述最小距离的数量大于预设数量，则所述离群点对象为窃电嫌疑用户。
2.根据权利要求1所述的基于聚类分析的用户用电行为检测方法，其特征在于，根据用户用电信息建立用户数据仓库包括：
将用户用电信息添加到事实表，以建立逻辑模型，所述用户用电信息包括电流、电压、用户的类型、地理位置、年均用电量、月均用电量和/或日用电量；
将所述逻辑模型转化为数据模型；
使用ETL对所述数据模型中的用电数据进行清洗，形成用户数据仓库。
3.根据权利要求1所述的基于聚类分析的用户用电行为检测方法，其特征在于，对所述用户数据仓库进行处理包括对所述用户数据仓库中的数据进行切块或切片操作。
4.根据权利要求1所述的基于聚类分析的用户用电行为检测方法，其特征在于，对所述主成分数据进行聚类计算得到离群点对象包括通过k-means算法或FCM算法对所述主成分数据进行聚类计算得到离群点对象。
5.根据权利要求4所述的基于聚类分析的用户用电行为检测方法，其特征在于，通过k-means算法对所述主成分数据进行聚类计算得到离群点对象包括：
所述主成分数据构成数据集；
在所述数据集中选取k个对象为初始聚类中心，设定差异程度s；
计算所述数据集中其余数据与各初始聚类中心的欧式距离；
根据所述欧式距离及所述初始聚类中心将所述其余数据划分为k个类簇；
计算所述k个类簇的簇内变差E；
根据所述簇内变差E重新确定聚类中心；
根据重新确定的所述聚类中心重新划分类簇，直至连续两次划分的类簇相同，得到最终类簇及最终聚类中心；
计算所述最终类簇中的每个数据与所述最终聚类中心的距离dist(o,c0)及每个数据与所述最终聚类中心的平均距离
根据所述距离dist(o,c0)和所述平均距离计算
判断所述与所述差异程度s的大小；
若所述大于所述差异程度s，则为离群点对象；
若所述小于或等于所述差异程度s，则为正常对象。
6.根据权利要求4所述的基于聚类分析的用户用电行为检测方法，其特征在于，通过FCM算法对所述主成分数据进行聚类计算得到离群点对象包括：
将所述主成分数据划分为c个类簇；
分别确立c个所述类簇的初始聚类中心；
设定模糊因子m，差异程度s；
计算所述主成分数据中的每个数据隶属于c个类簇的隶属度；
根据所述隶属度确定隶属度矩阵U；
根据计算聚类中心矩阵V；
根据所述隶属度矩阵U和所述聚类中心矩阵V计算目标函数J(U,V)；
若连续两次计算的所述目标函数J(U,V)的差值大于或等于终止误差，则重新计算隶属度矩阵U，直至连续两次计算的所述目标函数J(U,V)的差值小于终止误差，得到最终隶属度矩阵U；
根据所述最终隶属度矩阵U对所述主成分数据划分最终类簇及最终聚类中心；
计算所述最终类簇中的每个数据与所述最终聚类中心的距离dist(o,c0)及每个数据与所述最终聚类中心的平均距离
根据所述距离dist(o,c0)和所述平均距离计算
判断所述与所述差异程度s的大小；
若所述大于所述差异程度s，则为离群点对象；
若所述小于或等于所述差异程度s，则为正常对象。
7.根据权利要求1所述的基于聚类分析的用户用电行为检测方法，其特征在于，对所述用电数据进行层次聚类计算得到距离矩阵包括：
将每个所述用电数据设定为一个初始类簇；
计算每两个初始类簇之间的欧式距离；
所述欧式距离形成距离矩阵。
CN201611039954.9A 2016-11-21 2016-11-21 一种基于聚类分析的用户用电行为检测方法 Active CN106682079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611039954.9A CN106682079B (zh) 2016-11-21 2016-11-21 一种基于聚类分析的用户用电行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611039954.9A CN106682079B (zh) 2016-11-21 2016-11-21 一种基于聚类分析的用户用电行为检测方法

Publications (2)

Publication Number Publication Date
CN106682079A true CN106682079A (zh) 2017-05-17
CN106682079B CN106682079B (zh) 2020-06-05

Family

ID=58866362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611039954.9A Active CN106682079B (zh) 2016-11-21 2016-11-21 一种基于聚类分析的用户用电行为检测方法

Country Status (1)

Country Link
CN (1) CN106682079B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052970A (zh) * 2017-12-08 2018-05-18 深圳市智物联网络有限公司 一种数据处理方法以及处理设备
CN108256752A (zh) * 2018-01-02 2018-07-06 北京市燃气集团有限责任公司 一种燃气用户用气行为的分析方法
CN108593990A (zh) * 2018-06-04 2018-09-28 国网天津市电力公司 一种基于电能用户用电行为模式的窃电检测方法和应用
CN108765004A (zh) * 2018-05-28 2018-11-06 贵州黔驰信息股份有限公司 一种基于数据挖掘识别用户窃电行为的方法
CN109145995A (zh) * 2018-08-31 2019-01-04 国网福建省电力有限公司 一种基于聚类离散点检测的反窃电方法
CN109241190A (zh) * 2018-09-12 2019-01-18 国网江苏省电力有限公司苏州供电分公司 电力大数据混合计算架构
CN109272258A (zh) * 2018-11-08 2019-01-25 国网山东省电力公司电力科学研究院 基于K-means聚类的区域风光发电资源评估方法
CN109614997A (zh) * 2018-11-29 2019-04-12 武汉大学 一种基于深度学习的窃电风险预测方法及装置
CN109636667A (zh) * 2018-12-07 2019-04-16 国网江苏省电力有限公司扬州供电分公司 一种基于用户周用电特征的低压用户用电异常检测方法
CN109816029A (zh) * 2019-01-30 2019-05-28 重庆邮电大学 基于军事操作链的高阶聚类划分算法
CN110244099A (zh) * 2019-06-24 2019-09-17 河南工业大学 基于用户电压的窃电检测方法
CN110321934A (zh) * 2019-06-12 2019-10-11 深圳供电局有限公司 一种检测用户用电异常数据的方法及系统
CN110633371A (zh) * 2019-09-23 2019-12-31 北京安信天行科技有限公司 一种日志分类方法及系统
CN110824270A (zh) * 2019-10-09 2020-02-21 中国电力科学研究院有限公司 结合台区线损和异常事件的窃电用户辨识方法及装置
CN110851414A (zh) * 2019-11-06 2020-02-28 云南艾拓信息技术有限公司 一种以聚类法进行边界数据分析的方法及其系统
CN110874469A (zh) * 2018-09-04 2020-03-10 广州视源电子科技股份有限公司 数据库高危操作检测方法、装置、计算机设备和存储介质
CN111191687A (zh) * 2019-12-14 2020-05-22 贵州电网有限责任公司 基于改进K-means算法的电力通信数据聚类方法
CN111310854A (zh) * 2020-03-10 2020-06-19 长沙理工大学 基于用电负荷指纹的低误报率窃电检测二次筛选方法
CN111881190A (zh) * 2020-08-05 2020-11-03 厦门力含信息技术服务有限公司 基于客户画像的关键数据挖掘系统
CN112488242A (zh) * 2020-12-18 2021-03-12 深圳供电局有限公司 电力计量终端异常检测方法、装置、计算机设备和介质
CN112595906A (zh) * 2020-10-09 2021-04-02 国网浙江省电力有限公司湖州供电公司 一种台区运行异常的判断方法
CN112906736A (zh) * 2021-01-13 2021-06-04 国网山东省电力公司日照供电公司 一种基于住户用电量的社区安全精准管控方法和系统
CN113111596A (zh) * 2021-06-16 2021-07-13 国网浙江省电力有限公司杭州供电公司 基于电力大脑中枢的碳达峰实时可视化测算方法
CN113343056A (zh) * 2021-05-21 2021-09-03 北京市燃气集团有限责任公司 一种用户用气量异常检测方法及装置
CN113407797A (zh) * 2021-08-18 2021-09-17 成都千嘉科技有限公司 利用分形计算针对偷盗燃气行为的数据挖掘方法
CN113486366A (zh) * 2021-06-08 2021-10-08 贵州电网有限责任公司 一种基于聚类分析的Web违规操作行为检测方法
CN113641682A (zh) * 2021-10-14 2021-11-12 中孚安全技术有限公司 一种基于机器学习的离群资产检测方法及系统
CN113933556A (zh) * 2021-12-17 2022-01-14 广东电网有限责任公司东莞供电局 一种窃电行为的检测方法、装置、计算机设备和存储介质
CN117078112A (zh) * 2023-10-16 2023-11-17 云境商务智能研究院南京有限公司 应用于企业异常用电管理的能耗检测方法及数据分析系统
CN118013447A (zh) * 2024-04-10 2024-05-10 山东德源电力科技股份有限公司 基于模式识别的电能表监测数据的处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810261A (zh) * 2014-01-26 2014-05-21 西安理工大学 一种基于商空间理论的K-means聚类方法
CN104318316A (zh) * 2014-10-09 2015-01-28 中国科学院自动化研究所 一种用户用电实时测量方法
CN104462802A (zh) * 2014-11-26 2015-03-25 浪潮电子信息产业股份有限公司 一种大规模数据中离群数据的分析方法
CN104573713A (zh) * 2014-12-31 2015-04-29 天津弘源慧能科技有限公司 一种基于图像纹理特征的互感器红外图像识别方法
CN104850629A (zh) * 2015-05-21 2015-08-19 杭州天宽科技有限公司 一种基于改进k-means算法的海量智能用电数据分析方法
CN104881735A (zh) * 2015-05-13 2015-09-02 国家电网公司 用于支撑智慧城市运行管理的智能电网大数据挖掘系统及方法
CN105512206A (zh) * 2015-11-27 2016-04-20 河海大学 一种基于聚类的离群点检测方法
US9336484B1 (en) * 2011-09-26 2016-05-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) System and method for outlier detection via estimating clusters
CN105844294A (zh) * 2016-03-21 2016-08-10 全球能源互联网研究院 一种基于fcm聚类算法的用电行为分析方法
CN105868266A (zh) * 2016-01-27 2016-08-17 电子科技大学 一种基于聚类模型的高维数据流离群点检测方法
CN106127602A (zh) * 2016-06-15 2016-11-16 国网江苏省电力公司电力科学研究院 一种基于约简离群点算法的窃电辨识方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336484B1 (en) * 2011-09-26 2016-05-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) System and method for outlier detection via estimating clusters
CN103810261A (zh) * 2014-01-26 2014-05-21 西安理工大学 一种基于商空间理论的K-means聚类方法
CN104318316A (zh) * 2014-10-09 2015-01-28 中国科学院自动化研究所 一种用户用电实时测量方法
CN104462802A (zh) * 2014-11-26 2015-03-25 浪潮电子信息产业股份有限公司 一种大规模数据中离群数据的分析方法
CN104573713A (zh) * 2014-12-31 2015-04-29 天津弘源慧能科技有限公司 一种基于图像纹理特征的互感器红外图像识别方法
CN104881735A (zh) * 2015-05-13 2015-09-02 国家电网公司 用于支撑智慧城市运行管理的智能电网大数据挖掘系统及方法
CN104850629A (zh) * 2015-05-21 2015-08-19 杭州天宽科技有限公司 一种基于改进k-means算法的海量智能用电数据分析方法
CN105512206A (zh) * 2015-11-27 2016-04-20 河海大学 一种基于聚类的离群点检测方法
CN105868266A (zh) * 2016-01-27 2016-08-17 电子科技大学 一种基于聚类模型的高维数据流离群点检测方法
CN105844294A (zh) * 2016-03-21 2016-08-10 全球能源互联网研究院 一种基于fcm聚类算法的用电行为分析方法
CN106127602A (zh) * 2016-06-15 2016-11-16 国网江苏省电力公司电力科学研究院 一种基于约简离群点算法的窃电辨识方法及装置

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052970A (zh) * 2017-12-08 2018-05-18 深圳市智物联网络有限公司 一种数据处理方法以及处理设备
CN108256752B (zh) * 2018-01-02 2019-09-13 北京市燃气集团有限责任公司 一种燃气用户用气行为的分析方法
CN108256752A (zh) * 2018-01-02 2018-07-06 北京市燃气集团有限责任公司 一种燃气用户用气行为的分析方法
CN108765004A (zh) * 2018-05-28 2018-11-06 贵州黔驰信息股份有限公司 一种基于数据挖掘识别用户窃电行为的方法
CN108593990A (zh) * 2018-06-04 2018-09-28 国网天津市电力公司 一种基于电能用户用电行为模式的窃电检测方法和应用
CN109145995A (zh) * 2018-08-31 2019-01-04 国网福建省电力有限公司 一种基于聚类离散点检测的反窃电方法
CN110874469A (zh) * 2018-09-04 2020-03-10 广州视源电子科技股份有限公司 数据库高危操作检测方法、装置、计算机设备和存储介质
CN109241190A (zh) * 2018-09-12 2019-01-18 国网江苏省电力有限公司苏州供电分公司 电力大数据混合计算架构
CN109272258A (zh) * 2018-11-08 2019-01-25 国网山东省电力公司电力科学研究院 基于K-means聚类的区域风光发电资源评估方法
CN109272258B (zh) * 2018-11-08 2020-09-04 国网山东省电力公司电力科学研究院 基于K-means聚类的区域风光发电资源评估方法
CN109614997A (zh) * 2018-11-29 2019-04-12 武汉大学 一种基于深度学习的窃电风险预测方法及装置
CN109636667A (zh) * 2018-12-07 2019-04-16 国网江苏省电力有限公司扬州供电分公司 一种基于用户周用电特征的低压用户用电异常检测方法
CN109816029A (zh) * 2019-01-30 2019-05-28 重庆邮电大学 基于军事操作链的高阶聚类划分算法
CN109816029B (zh) * 2019-01-30 2023-12-19 重庆邮电大学 基于军事操作链的高阶聚类划分算法
CN110321934A (zh) * 2019-06-12 2019-10-11 深圳供电局有限公司 一种检测用户用电异常数据的方法及系统
CN110244099A (zh) * 2019-06-24 2019-09-17 河南工业大学 基于用户电压的窃电检测方法
CN110633371A (zh) * 2019-09-23 2019-12-31 北京安信天行科技有限公司 一种日志分类方法及系统
CN110824270A (zh) * 2019-10-09 2020-02-21 中国电力科学研究院有限公司 结合台区线损和异常事件的窃电用户辨识方法及装置
CN110824270B (zh) * 2019-10-09 2022-04-26 中国电力科学研究院有限公司 结合台区线损和异常事件的窃电用户辨识方法及装置
CN110851414A (zh) * 2019-11-06 2020-02-28 云南艾拓信息技术有限公司 一种以聚类法进行边界数据分析的方法及其系统
CN110851414B (zh) * 2019-11-06 2023-05-05 云南艾拓信息技术有限公司 一种以聚类法进行边界数据分析的方法及其系统
CN111191687A (zh) * 2019-12-14 2020-05-22 贵州电网有限责任公司 基于改进K-means算法的电力通信数据聚类方法
CN111191687B (zh) * 2019-12-14 2023-02-10 贵州电网有限责任公司 基于改进K-means算法的电力通信数据聚类方法
CN111310854A (zh) * 2020-03-10 2020-06-19 长沙理工大学 基于用电负荷指纹的低误报率窃电检测二次筛选方法
CN111881190A (zh) * 2020-08-05 2020-11-03 厦门力含信息技术服务有限公司 基于客户画像的关键数据挖掘系统
CN112595906B (zh) * 2020-10-09 2022-05-10 国网浙江省电力有限公司湖州供电公司 一种台区运行异常的判断方法
CN112595906A (zh) * 2020-10-09 2021-04-02 国网浙江省电力有限公司湖州供电公司 一种台区运行异常的判断方法
CN112488242B (zh) * 2020-12-18 2023-12-19 深圳供电局有限公司 电力计量终端异常检测方法、装置、计算机设备和介质
CN112488242A (zh) * 2020-12-18 2021-03-12 深圳供电局有限公司 电力计量终端异常检测方法、装置、计算机设备和介质
CN112906736A (zh) * 2021-01-13 2021-06-04 国网山东省电力公司日照供电公司 一种基于住户用电量的社区安全精准管控方法和系统
CN113343056A (zh) * 2021-05-21 2021-09-03 北京市燃气集团有限责任公司 一种用户用气量异常检测方法及装置
CN113486366A (zh) * 2021-06-08 2021-10-08 贵州电网有限责任公司 一种基于聚类分析的Web违规操作行为检测方法
CN113111596A (zh) * 2021-06-16 2021-07-13 国网浙江省电力有限公司杭州供电公司 基于电力大脑中枢的碳达峰实时可视化测算方法
CN113407797A (zh) * 2021-08-18 2021-09-17 成都千嘉科技有限公司 利用分形计算针对偷盗燃气行为的数据挖掘方法
CN113407797B (zh) * 2021-08-18 2021-10-29 成都千嘉科技有限公司 利用分形计算针对偷盗燃气行为的数据挖掘方法
CN113641682A (zh) * 2021-10-14 2021-11-12 中孚安全技术有限公司 一种基于机器学习的离群资产检测方法及系统
CN113933556B (zh) * 2021-12-17 2022-04-08 广东电网有限责任公司东莞供电局 一种窃电行为的检测方法、装置、计算机设备和存储介质
CN113933556A (zh) * 2021-12-17 2022-01-14 广东电网有限责任公司东莞供电局 一种窃电行为的检测方法、装置、计算机设备和存储介质
CN117078112A (zh) * 2023-10-16 2023-11-17 云境商务智能研究院南京有限公司 应用于企业异常用电管理的能耗检测方法及数据分析系统
CN117078112B (zh) * 2023-10-16 2024-01-02 云境商务智能研究院南京有限公司 应用于企业异常用电管理的能耗检测方法及数据分析系统
CN118013447A (zh) * 2024-04-10 2024-05-10 山东德源电力科技股份有限公司 基于模式识别的电能表监测数据的处理方法

Also Published As

Publication number Publication date
CN106682079B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN106682079A (zh) 一种基于聚类分析的用户用电行为检测方法
CN110097297B (zh) 一种多维度窃电态势智能感知方法、系统、设备及介质
CN110634080B (zh) 异常用电检测方法、装置、设备及计算机可读存储介质
CN106022509B (zh) 考虑地域和负荷性质双重差异的配电网空间负荷预测方法
CN111324642A (zh) 一种面向电网大数据分析的模型算法选型与评价方法
CN104156403B (zh) 一种基于聚类的大数据常态模式提取方法及系统
CN111784093B (zh) 一种基于电力大数据分析的企业复工辅助判断方法
CN105871634A (zh) 检测集群异常的方法及应用、管理集群的系统
CN109947815B (zh) 一种基于离群点算法的窃电辨识方法
Babu et al. Detecting unusual customer consumption profiles in power distribution systems—APSPDCL
CN108932724A (zh) 一种基于多人协同图像标注的系统自动审核方法
CN110738232A (zh) 一种基于数据挖掘技术的电网电压越限成因诊断方法
CN109685140A (zh) 一种基于主成分分析的dbscan算法岸桥状态分类方法
CN104574141A (zh) 一种业务影响度分析方法
CN105574666A (zh) 一种基于关键数据建模的评定企业信用等级的方法及装置
CN110244099A (zh) 基于用户电压的窃电检测方法
CN115130578A (zh) 一种基于增量式粗糙聚类的配电设备状态在线评估方法
CN106845748A (zh) 一种低压集抄系统数据偏差原因的智能辨识方法
CN114371438B (zh) 基于物联网的计量设备失准判断方法
Zhou et al. A dynamic energy benchmarking methodology on room level for energy performance evaluation
CN106651630B (zh) 关键用电行业识别方法和系统
CN107133722A (zh) 基于电力企业大数据技术的配电网差异特征诊断分析方法
CN104102730A (zh) 一种基于已知标签的大数据常态模式提取方法及系统
CN110309134A (zh) 基于用电行为迁移与社群演化的配电网用电异常检测方法
CN109522934A (zh) 一种基于聚类算法的电力用户聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191115

Address after: Yunda economic and Technological Development Zone in Yunnan province Kunming city 650217 West Road No. 105

Applicant after: Electric Power Research Institute of Yunnan Power System Ltd

Address before: Yunda economic and Technological Development Zone in Yunnan province Kunming city 650217 West Road No. 105

Applicant before: Electric Power Research Institute of Yunnan Power System Ltd

Applicant before: KUNMING LIGONG GUANGZHI DETECTION TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant