CN116628529B - 一种用于用户侧智能负荷控制系统的数据异常检测方法 - Google Patents
一种用于用户侧智能负荷控制系统的数据异常检测方法 Download PDFInfo
- Publication number
- CN116628529B CN116628529B CN202310896110.XA CN202310896110A CN116628529B CN 116628529 B CN116628529 B CN 116628529B CN 202310896110 A CN202310896110 A CN 202310896110A CN 116628529 B CN116628529 B CN 116628529B
- Authority
- CN
- China
- Prior art keywords
- user
- data
- load
- interval
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000005611 electricity Effects 0.000 claims abstract description 110
- 230000006399 behavior Effects 0.000 claims abstract description 57
- 230000006378 damage Effects 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 25
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000005856 abnormality Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000000737 periodic effect Effects 0.000 claims description 7
- 230000035772 mutation Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000003203 everyday effect Effects 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
本发明涉及数字数据处理技术领域，提出了一种用于用户侧智能负荷控制系统的数据异常检测方法，包括：获取用户负荷相关数据，根据用户不同用电行为的分析结果得到数据相似度，根据数据相似度和负荷曲线得到用电行为距离，根据负荷偏差量得到用电趋势偏差值，根据用电趋势偏差值和同簇相似度得到区间异常度，根据区间异常度获取异常用电区间，根据周期一致性和周期破坏指数得到异常行为指数，根据异常行为指数的异常得分得到决策阈值，根据决策阈值得到每个用户发生异常用电行为的具体时刻。本发明通过对用电行为习惯以及负荷曲线周期性的分析处理增大了后续局部离群因子LOF检测算法的输入数据的密度差异，提高负荷数据异常检测的效率及精度。
Description
技术领域
本发明涉及数字数据处理技术领域，具体涉及一种用于用户侧智能负荷控制系统的数据异常检测方法。
背景技术
智能负荷控制系统主要用于实现对用户侧的负荷监测、电量控制、远程抄表、防窃电等功能，通过智能负荷控制系统监测用电超量用户，保障用电负荷曲线式中处于平稳状态，为电力系统的安全运行提供保障。
智能负荷系统能够在线获取用户侧各类传感器或计量装置的数据，实时采集用户负荷、电压、电量等电力数据，同时能够通过温湿度传感器等获取用户侧的温度、湿度等气象数据。配电网辐射面积较大，节点较多，用电量不同会在整个配电网数据中造成较为频繁的数据波动，除此之外数据传输中会受到网络波动以及设备老化等多种因素的影响，因此需要对用户侧大量数据中的异常数据进行精准检测。
现阶段用于负荷控制系统中异常数据检测的方法包括基于统计的异常数据检测方法、基于k近邻的异常数据检测方法、基于神经网络的异常检测方法，其中统计检测的方法只适用于已知数据分布和低维数据的场景；k近邻的检测结果受限于k 值的选取和距离的度量方式，难以确定对检测效果起决定作用的样本；基于神经网络的异常检测方法的缺陷在于网络结构的选择和优化缺乏统一标准、训练参数的设定对检测结果影响较大。
发明内容
本发明提供一种用于用户侧智能负荷控制系统的数据异常检测方法，以解决利用局部离群因子LOF检测负荷相关数据效率慢、精度低的问题，所采用的技术方案具体如下：
本发明一个实施例一种用于用户侧智能负荷控制系统的数据异常检测方法，该方法包括以下步骤：
获取用户负荷相关数据以及数据曲线，所述负荷相关数据包括每个用户的用电负荷、温度、湿度，所述数据曲线包括负荷曲线、温度曲线、湿度曲线；
根据用户数据曲线的分布特征获取用电行为距离，根据用电行为距离获取用电区间划分结果，根据负荷偏差量得到用电趋势偏差值，根据同一聚类簇内不同用户在同一天负荷数据序列的相似程度获取同簇相似度，根据用电趋势偏差值和同簇相似度得到区间异常度，根据区间异常度获取异常用电区间；
根据用户在同一时刻的负荷数据的变化量获取周期一致性，根据异常用电区间内不同用户在同一时刻负荷数据的差值序列获取周期破坏指数，根据周期一致性和周期破坏指数得到异常行为指数，根据异常行为指数的异常得分得到决策阈值，根据决策阈值得到每个用户发生异常用电行为的具体时刻。
优选的，所述获取用户负荷相关数据以及数据曲线的方法为：
确定用户侧监测范围，分别利用专变采集终端、温湿度传感器获取监测范围内所有用户预设天数内的负荷相关数据，所述负荷相关数据包括每个用户每个采集时刻的用电负荷、温度、湿度；
对于每一类负荷相关数据，获取每个用户每天所有采集时刻的数据集合，利用最小二乘法获取数据集合的拟合曲线，将拟合曲线作为每个用户对应负荷相关数据每天的数据曲线，所述数据曲线包括负荷曲线、温度曲线、湿度曲线。
优选的，所述根据用户数据曲线的分布特征获取用电行为距离的方法为：
对于任意两个用户，计算同一天两个用户对应负荷曲线之间的皮尔逊相关系数，将预设天数负荷曲线得到皮尔逊相关系数按时间先后顺序组成的序列作为两个用户之间的用户相关序列；
计算同一天两个用户同一类数据曲线的皮尔逊相关系数，将两个用户预设天数所有数据曲线皮尔逊相关系数的均值作为两个用户之间的数据相似度；
将两个用户之间的用户相关序列与数据相似度乘积的倒数作为两个用户之间的用电行为距离。
优选的，所述根据用电行为距离获取用电区间划分结果的方法为：
将监测区域内所有用户的负荷相关数据作为代表点聚类CURE算法的输入，将用电行为距离作为CURE算法聚类过程中的度量距离，利用代表点聚类CURE算法获取检测区域内的用户聚类结果；
对于任意一个聚类簇内的用户，利用BG序列分割算法获取聚类中心对应用户每天负荷曲线中的突变点，将任意相邻两个突变点之间的范围作为聚类簇中每个用户的一个用电区间。
优选的，所述根据负荷偏差量得到用电趋势偏差值的方法为：
式中，是用户i在区间y内的第s个时刻在第t天的负荷偏差量，、分别是用户i在区间y内的第s个时刻在第t天的负荷预测值、负荷采集数据；
是用户i在区间y的用电趋势偏差值，、是用户i第t天在区间y内的上升趋
势值、下降趋势值，、分别是用户i在区间y内M天上升趋势值的均值、下降趋势值的均值。
优选的，所述根据同一聚类簇内不同用户在同一天负荷数据序列的相似程度获取同簇相似度的方法为：
式中，是用户i在区间y的同簇相似度，M是用户i采集数据的天数，m是用户i所
在聚类簇中的用户数量，q是用户i所在聚类簇中的第q个用户，是第t天用户i、q在区
间y内的负荷数据序列的皮尔逊相关系数。
优选的，所述根据区间异常度获取异常用电区间的方法为：
对于任意一个用户聚类簇，获取聚类簇内所有用户在每个用电区间的区间异常度，对于聚类簇内的任意一个用户，将每个用户所有用电区间的区间异常度作为Otsu算法的输入，利用Otsu算法获取每个用户区间异常度的分割阈值，将大于分割阈值的区间异常度对应区间记为每个用户的疑似异常区间，遍历聚类簇内所有用户，统计每个区间作为疑似异常区间的频率，将频率大于阈值的区间作为异常用电区间。
优选的，所述根据用户在同一时刻的负荷数据的变化量获取周期一致性的方法为：
式中，是用户i在第t天j时刻的周期一致性，是第t天之前包含j时刻数据的
天数，的大小为t-1，、分别是第c天j时刻、第t天j时刻采集的负荷数据。
优选的，所述根据异常用电区间内不同用户在同一时刻负荷数据的差值序列获取周期破坏指数的方法为：
式中，是用户i在第t天j时刻的周期破坏指数，是异常用电区间内用户i第t
天j时刻的负荷数据与聚类簇内其余用户在第t天j时刻负荷数据差值组成的差值序列，
是异常用电区间内用户z第t天在j时刻的负荷数据与聚类簇内其余用户在第t天j时刻负荷
数据差值组成的差值序列，是差值序列、之间的DTW距离。
优选的，所述根据异常行为指数的异常得分得到决策阈值的方法为：
式中，Y是决策阈值，、分别是异常用电区间内所有用户所有时刻异常行
为指数异常得分的最大值、最小值。
本发明的有益效果是：本发明通过不同用电行为习惯的用户聚类结果构建区间异常度，区间异常度考虑了不同用户的用电行为习惯以及每天不同时间段的用电规律，其有益效果在于利用区间内用户用电趋势的稳定程度和同类用户之间用电行为的相似性，能够消除噪声数据和孤立点对异常检测结果的影响。其次基于异常用电区间内用户负荷数据分布的周期规律构建异常行为指数，异常行为指数考虑了单个用户在连续时间内负荷数据的周期一致性以及相同用电行为习惯的聚类簇内用户负荷数据之间的周围连续性评估每个时刻异常程度，其有益效果在于能够避免大量数据采集传输过程中网络波动等干扰因素对检测结果的影响，提高了后续LOF检测算法的输入数据的密度差异。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种用于用户侧智能负荷控制系统的数据异常检测方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明一个实施例提供的一种用于用户侧智能负荷控制系统的数据异常检测方法流程图，该方法包括以下步骤：
步骤S001，采集监测区域内用户的负荷相关数据，根据预处理后的负荷相关数据获取数据曲线。
不同区域内用户的用电习惯具有较大的差异，因此智能负荷系统通常是以不同区域作为监测对象，本发明考虑以某监测区域内所有用户的用电作为检测对象，利用相应数据采集设备获取监测区域内每户居民的负荷相关数据，所述数据采集数据包括专变采集终端、温湿度传感器，所述负荷相关数据包括每个用户的用电负荷、温度、湿度。本发明中，连续采集M天的负荷相关数据，相邻两次采集的时间间隔为30min，为了避免负荷相关数据传输到控制系统的过程中出现数据丢失的现象，利用均值填充算法对采集的负荷相关数据进行预处理，均值填充算法为公知技术，具体过程不再赘述。
其次对于每类负荷相关数据，获取每个用户每天所有采集时刻的采集数据集合，利用最小二乘法获取每类负荷相关数据每天采集数据集合的拟合曲线，最小二乘法为公知技术，具体过程不再赘述，将拟合曲线作为用户的数据曲线，将负荷、温度、湿度对应的数据曲线分别记为负荷曲线、温度曲线、湿度曲线。
至此，得到用户的负荷相关数据以及数据曲线。
步骤S002，根据用户数据曲线的分布特征获取用电行为距离，根据用电行为距离获取用电区间划分结果，根据用电趋势偏差值和同簇相似度得到区间异常度并得到异常用电区间。
检测区域内不同用户的用电行为习惯不同，每天负荷曲线中的负荷峰值的高低也
会存在相应的差异，而用电行为习惯不同也会导致用户负荷控制系统中的异常数据大小、
异常数据出现的时间点是不同的。因此本发明考虑将具有相同用电习惯的用户聚类到同一
个类别中，如果两个用户用电的行为习惯相同，则两个用户的负荷曲线是具有一定相似度
的，对于任意两个用户，计算每天用户负荷曲线之间的皮尔逊相关系数，将M天的负荷曲线
得到M个皮尔逊相关系数按时间先后顺序组成的序列记为用户相关序列X。基于用户相关序
列获取聚类时两个用户之间的用电行为距离D，计算用户i，f之间的用电行为距离：
式中，是用户i，f的数据相似度，是第t天用户i，f的第b类负荷相关数据
对应曲线的皮尔逊相关系数，是采集负荷相关数据的种类，本发明中，用户侧采集负荷、
温度、湿度三种数据，因此的大小取经验值3。
是用户i，f的M个负荷曲线之间的皮尔逊相关系数组成的长度为M的用户相关
序列，是用户相关序列的赫斯特Hurst指数，赫斯特Hurst指数为公知技术，具体
过程不再赘述。的值越大，用户i，f之间的用电行为习惯差异越大，聚类时越不可能位于
同一聚类簇内。
进一步的，利用代表点聚类CURE算法对监测区域内的用户进行划分，CURE算法的输入是用户的相关负荷数据，聚类簇的数目K设置为20，代表点的数量为20，收缩因子的大小取经验值0.5，度量距离为上述用户之间的用电行为距离，CURE算法为公知技术，具体聚类过程不再赘述。
在同一聚类簇内用户之间具有相似的用电习惯，其次根据每个聚类簇内用户的负荷相关数据进行区间划分，区间划分的原因在于不同用户在不同时间段内的用电量不同、采集的用户负荷也不同，因此在不同的时间区间内，不同负荷相关数据与用户负荷的关联程度是不同的。例如，周一到周五的工作日期间，用户在家的时间集中在早起和下班之后的时间段，这种情况下家电用电量相对较大，而外出工作期间，每个用户的用电量只与部分不断电的家电相关，用电量偏小且较为稳定。除此之外，每天凌晨的时间段内，用户处于休息状态，几乎没有主动的用电行为，因此工作日期间的用户负荷曲线具有显著的两端化现象。
对于任意一个聚类簇，利用聚类中心用户的负荷曲线获取区间划分结果，具体过程为：利用BG序列分割算法获取聚类中心对应用户每天负荷曲线中的突变点，将任意相邻两个突变点之间的范围作为聚类簇中每个用户的一个用电区间，BG序列分割算法为公知技术，具体过程不再赘述。
由于用户异常用电行为不会突然出现又瞬时消失，利用指数移动平均EMA算法获取每个用户每个采集时刻的负荷预测值，因此能够利用采集数据和负荷预测值的大小反映区间内存在异常用电行为的可能性，指数移动平均EMA算法的输入为用户历史负荷数据，输出为预测时刻的负荷预测值，指数移动平均EMA算法为公知技术，具体过程不再赘述。
基于上述分析，此处构建区间异常度V，用于表征每类用户不同用电区间内出现异
常负荷数据的可能性，计算用户i在用电区间y的区间异常度：
式中，是区间y第s个时刻在第t天的负荷偏差量，、分别是用户i在
区间y内第s个时刻的负荷预测值、采集数据。
是用电趋势偏差值，、是用户i第t天在区间y内的上升趋势值、下降趋势
值，、分别是用户i在区间y内M天上升趋势值的均值、下降趋势值的均值。所述上升趋势
值的获取过程如下：将负荷偏差量大于0的时刻作为用电上升时刻，将第t天区间y内所有用
电上升时刻负荷偏差量的均值记为上升趋势值。下降趋势值的获取原理一致，不再赘述。的值越大，用户i在区间y内的M天用电趋势变化越大，越有可能存在异常用电行为。
是用户i的同簇相似度，m是用户i所在聚类簇中的用户数量，q是用户i所在聚
类簇中的第q个用户，是第t天用户i、q在区间y内的负荷数据序列的皮尔逊相关系
数。的值越大，用户i与同类用户的负荷曲线分布越相似，用户i在区间y内的负荷数据越
正常。
区间异常度反映了每类用户不同用电区间内出现异常负荷数据的可能性。用户i
在区间y内存在异常用电行为时，不同日期内用电趋势的变化越大，、的值越大，、的值越大；用户i在区间y内的负荷数据越正常，用户i与同类用户在区间
y内的负荷曲线分布越相似，的值越大，用户i在M天内的用电行为发生改变的概率越
小，的值越大，即的值越大，用户i得用电趋势规律性越差，用户i在区间y内用电行为
发生异常的概率越高。区间异常度考虑了不同用户的用电行为习惯以及每天不同时间段的
用电规律，其有益效果在于利用区间内用户用电趋势的稳定程度和同类用户之间用电行为
的相似性，能够消除噪声数据和孤立点对异常检测结果的影响。
进一步的，获取每个聚类簇内所有用户在每个用电区间的区间异常度，根据区间异常度获取不同用电行为习惯下的异常区间。以第k个聚类簇为例，对于任意一个用电区间，将聚类簇k内用户i所有用电区间的区间异常度作为Otsu算法的输入，利用Otsu算法获取用户i区间异常度的分割阈值，将用电异常度大于分割阈值的区间异常度对应区间记为用户i的疑似异常区间，Otsu算法为公知技术，具体过程不再赘述。遍历聚类簇k内所有用户，统计每个区间作为疑似异常区间的频率，将频率大于阈值0.7的区间作为异常用电区间。
至此，得到每种用电行为习惯下的异常用电区间。
步骤S003，根据用户在同一时刻的负荷数据的变化量获取周期一致性，根据异常用电区间内用户的差值序列获取周期破坏指数，根据周期一致性和周期破坏指数得到异常行为指数。
获取每种用电行为习惯下的异常用电区间后，需要进一步确定发生异常用电行为的具体时刻。在同一个用电区间内，每个用户当前时刻的负荷相关数据与历史负荷相关数据的差异越大，用户在当前时刻越有可能进行异常用电行为，负荷相关数据中越有可能是存在异常数据。
在异常用电区间内，对于发生异常用电行为的用户，此用户对应的负荷相关数据与聚类簇中正常用电用户的负荷相关数据之间将会存在明显差异，即此用户与其所在聚类簇内其余用户之间的用电行为距离将会出现一定程度增大。除此之外，异常负荷数据将会破坏负荷曲线的连续性和周期性。例如用户i在第30天第10个数据采集时刻发生了异常用电行为，产生异常负荷数据，则第30天第10个数据采集时刻获取的负荷数据与前29天第10个数据采集时刻获取的负荷数据之间的周期性将会被破坏。
基于上述分析，此处构建异常行为指数U，用于表征用户在异常用电区间内每个时
刻存在异常用电行为的概率，计算用户i在第t天j时刻的异常行为指数：
式中，是用户i在第t天j时刻的周期一致性，是第t天之前包含j时刻数据的
天数，的大小为t-1，、分别是第c天j时刻、第t天j时刻的负荷数据。的值越大，
第t天j时刻负荷数据与历史j时刻负荷数据的周期一致程度越强。
是用户i在第t天j时刻的周期破坏指数，是异常用电区间内用户i在j时刻的
负荷数据与聚类簇内其余用户在第t天j时刻负荷数据差值组成的差值序列，是异常用
电区间内用户z在j时刻的负荷数据与聚类簇内其余用户在第t天j时刻负荷数据差值组成
的差值序列，是差值序列之间的DTW距离。的值越大，用户i在第t天j时刻的
负荷数据异常程度越大。
是用户i在第t天j时刻的异常行为指数，是前t-1天，用户i在j时刻周期破坏
指数的均值。
异常行为指数反映了用户在异常用电区间内每个时刻发生异常用电行为的概率。
用户i在第t天j时刻负荷数据与用户i历史j时刻负荷数据的差异越小，用户i在j时刻负荷
数据的周期一致程度越高，的值越小，的值越小，的值越大；在第t天j时
刻用户i与聚类簇中其余用户负荷数据的差值序列相差越大，用户i负荷数据破坏聚类簇内
用户负荷数据相关性的程度越大，的值越大；即的值越大，用户i在第t天j时刻发生异
常用电行为的概率越大。异常行为指数考虑了单个用户在连续时间内负荷数据的周期一致
性以及相同用电行为习惯的聚类簇内用户负荷数据之间的周围连续性评估每个时刻异常
程度，其有益效果在于能够避免大量数据采集传输过程中网络波动等干扰因素对检测结果
的影响，提高了后续LOF检测算法的输入数据的密度差异。
至此，得到异常用电区间内用户在每个时刻的异常行为指数。
步骤S004，根据异常行为指数的异常得分得到决策阈值，根据决策阈值得到每个用户发生异常用电行为的具体时刻。
获取异常用电区间内每个用户每个时刻的异常行为指数，将所有异常用电区间的
异常行为指数作为局部离群因子LOF检测算法的输入，LOF检测算法中近邻距离设置为4，
LOF检测算法的输出为每个异常行为指数的异常得分，LOF检测算法为公知技术，具体过程
不再赘述。将异常得分的最大值、最小值分别记为、，根据异常得分获取判断负荷
数据是否异常的决策阈值Y，将异常得分大于决策阈值Y的异常行为指数对应的时刻作为每
个用户发生异常用电行为的具体时刻。
至此，得到每个用户发生异常用电行为的具体时刻。
步骤S005，根据发生异常用电行为的具体时刻获取异常负荷相关数据，完成对用户侧智能负荷系统相关数据的在线实时检测。
根据上述步骤得到了每个用户发生异常用电行为的具体时刻，根据每个用户发生异常用电行为的具体时刻获取采集数据中对应的异常负荷相关数据，其次获取监测区域内所有用户发生异常用电行为对应的异常负荷相关数据。
进一步的，统计监测区域内异常负荷相关数据的分布情况，获取每个用户发生异常用电行为的频率，对异常用电行为频率较高的用户进行上门核查，并对异常负荷相关数据集中的用电区间进行合理的电量控制，保证对用户侧智能负荷系统的在线检测和有效运行。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种用于用户侧智能负荷控制系统的数据异常检测方法，其特征在于，该方法包括以下步骤：
获取用户负荷相关数据以及数据曲线，所述负荷相关数据包括每个用户的用电负荷、温度、湿度，所述数据曲线包括负荷曲线、温度曲线、湿度曲线；
根据用户数据曲线的分布特征获取用电行为距离，根据用电行为距离获取用电区间划分结果，根据负荷偏差量得到用电趋势偏差值，根据同一聚类簇内不同用户在同一天负荷数据序列的相似程度获取同簇相似度，根据用电趋势偏差值和同簇相似度得到区间异常度，根据区间异常度获取异常用电区间；
根据用户在同一时刻的负荷数据的变化量获取周期一致性，根据异常用电区间内不同用户在同一时刻负荷数据的差值序列获取周期破坏指数，根据周期一致性和周期破坏指数得到异常行为指数，根据异常行为指数的异常得分得到决策阈值，根据决策阈值得到每个用户发生异常用电行为的具体时刻；
所述根据同一聚类簇内不同用户在同一天负荷数据序列的相似程度获取同簇相似度的方法为：
；
式中，是用户i在区间y的同簇相似度，M是用户i采集数据的天数，m是用户i所在聚类簇中的用户数量，q是用户i所在聚类簇中的第q个用户，/>是第t天用户i、q在区间y内的负荷数据序列的皮尔逊相关系数；
所述根据用户在同一时刻的负荷数据的变化量获取周期一致性的方法为：
；
式中，是用户i在第t天j时刻的周期一致性，/>是第t天之前包含j时刻数据的天数，的大小为t-1，/>、/>分别是第c天j时刻、第t天j时刻采集的负荷数据；
所述根据异常用电区间内不同用户在同一时刻负荷数据的差值序列获取周期破坏指数的方法为：
；
式中，是用户i在第t天j时刻的周期破坏指数，/>是异常用电区间内用户i第t天j时刻的负荷数据与聚类簇内其余用户在第t天j时刻负荷数据差值组成的差值序列，/>是异常用电区间内用户z第t天在j时刻的负荷数据与聚类簇内其余用户在第t天j时刻负荷数据差值组成的差值序列，/>是差值序列/>、/>之间的DTW距离。
2.根据权利要求1所述的一种用于用户侧智能负荷控制系统的数据异常检测方法，其特征在于，所述获取用户负荷相关数据以及数据曲线的方法为：
确定用户侧监测范围，分别利用专变采集终端、温湿度传感器获取监测范围内所有用户预设天数内的负荷相关数据，所述负荷相关数据包括每个用户每个采集时刻的用电负荷、温度、湿度；
对于每一类负荷相关数据，获取每个用户每天所有采集时刻的数据集合，利用最小二乘法获取数据集合的拟合曲线，将拟合曲线作为每个用户对应负荷相关数据每天的数据曲线，所述数据曲线包括负荷曲线、温度曲线、湿度曲线。
3.根据权利要求1所述的一种用于用户侧智能负荷控制系统的数据异常检测方法，其特征在于，所述根据用户数据曲线的分布特征获取用电行为距离的方法为：
对于任意两个用户，计算同一天两个用户对应负荷曲线之间的皮尔逊相关系数，将预设天数负荷曲线得到皮尔逊相关系数按时间先后顺序组成的序列作为两个用户之间的用户相关序列；
计算同一天两个用户同一类数据曲线的皮尔逊相关系数，将两个用户预设天数所有数据曲线皮尔逊相关系数的均值作为两个用户之间的数据相似度；
将两个用户之间的用户相关序列与数据相似度乘积的倒数作为两个用户之间的用电行为距离。
4.根据权利要求1所述的一种用于用户侧智能负荷控制系统的数据异常检测方法，其特征在于，所述根据用电行为距离获取用电区间划分结果的方法为：
将监测区域内所有用户的负荷相关数据作为代表点聚类CURE算法的输入，将用电行为距离作为CURE算法聚类过程中的度量距离，利用代表点聚类CURE算法获取检测区域内的用户聚类结果；
对于任意一个聚类簇内的用户，利用BG序列分割算法获取聚类中心对应用户每天负荷曲线中的突变点，将任意相邻两个突变点之间的范围作为聚类簇中每个用户的一个用电区间。
5.根据权利要求1所述的一种用于用户侧智能负荷控制系统的数据异常检测方法，其特征在于，所述根据负荷偏差量得到用电趋势偏差值的方法为：
；
；
式中，是用户i在区间y内的第s个时刻在第t天的负荷偏差量，/>、/>分别是用户i在区间y内的第s个时刻在第t天的负荷预测值、负荷采集数据；
是用户i在区间y的用电趋势偏差值，/>、/>是用户i第t天在区间y内的上升趋势值、下降趋势值，/>、/>分别是用户i在区间y内M天上升趋势值的均值、下降趋势值的均值。
6.根据权利要求1所述的一种用于用户侧智能负荷控制系统的数据异常检测方法，其特征在于，所述根据区间异常度获取异常用电区间的方法为：
对于任意一个用户聚类簇，获取聚类簇内所有用户在每个用电区间的区间异常度，对于聚类簇内的任意一个用户，将每个用户所有用电区间的区间异常度作为Otsu算法的输入，利用Otsu算法获取每个用户区间异常度的分割阈值，将大于分割阈值的区间异常度对应区间记为每个用户的疑似异常区间，遍历聚类簇内所有用户，统计每个区间作为疑似异常区间的频率，将频率大于阈值的区间作为异常用电区间。
7.根据权利要求1所述的一种用于用户侧智能负荷控制系统的数据异常检测方法，其特征在于，所述根据异常行为指数的异常得分得到决策阈值的方法为：
；
式中，Y是决策阈值，、/>分别是异常用电区间内所有用户所有时刻异常行为指数异常得分的最大值、最小值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310896110.XA CN116628529B (zh) | 2023-07-21 | 2023-07-21 | 一种用于用户侧智能负荷控制系统的数据异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310896110.XA CN116628529B (zh) | 2023-07-21 | 2023-07-21 | 一种用于用户侧智能负荷控制系统的数据异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116628529A CN116628529A (zh) | 2023-08-22 |
| CN116628529B true CN116628529B (zh) | 2023-10-20 |
Family
ID=87590647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310896110.XA Active CN116628529B (zh) | 2023-07-21 | 2023-07-21 | 一种用于用户侧智能负荷控制系统的数据异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116628529B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821833B (zh) * | 2023-08-29 | 2023-11-14 | 好林(威海)新材料有限公司 | 一种机器滤布粘连的数据异常检测方法 |
| CN116860840B (zh) * | 2023-09-05 | 2023-11-07 | 陕西交通电子工程科技有限公司 | 用于高速公路路面信息快速检索方法 |
| CN116878590B (zh) * | 2023-09-06 | 2023-11-21 | 山东远联信息科技有限公司 | 一种数智化服务协同运营管理系统 |
| CN116879662B (zh) * | 2023-09-06 | 2023-12-08 | 山东华尚电气有限公司 | 基于数据分析的变压器故障检测方法 |
| CN116955091B (zh) * | 2023-09-20 | 2024-04-30 | 深圳市互盟科技股份有限公司 | 基于机器学习的数据中心故障检测系统 |
| CN116955895B (zh) * | 2023-09-21 | 2023-12-15 | 山东博诚电气有限公司 | 一种变压器运行异常监测方法及系统 |
| CN117034177B (zh) * | 2023-10-08 | 2023-12-19 | 湖北华中电力科技开发有限责任公司 | 一种电力负荷异常数据智能监测方法 |
| CN117235557B (zh) * | 2023-11-14 | 2024-02-02 | 山东贺铭电气有限公司 | 基于大数据分析的电气设备故障快速诊断方法 |
| CN117370898B (zh) * | 2023-12-08 | 2024-03-12 | 钛合联(深圳)科技有限公司 | 一种电子数据安全管控系统 |
| CN117421616B (zh) * | 2023-12-18 | 2024-03-26 | 焦作煤业（集团）新乡能源有限公司 | 一种矿山竖井井筒检测系统及方法 |
| CN117573667B (zh) * | 2024-01-08 | 2024-04-09 | 华洋通信科技股份有限公司 | 一种煤矿井间数据优化清洗方法及系统 |
| CN117851907B (zh) * | 2024-01-10 | 2024-06-11 | 山东省水利勘测设计院有限公司 | 一种基于物联网技术的水闸渗流监测方法 |
| CN117630476B (zh) * | 2024-01-26 | 2024-03-26 | 上海懿尚生物科技有限公司 | 一种适用于动物实验室的用电负荷实时监测方法及系统 |
| CN117786582B (zh) * | 2024-02-23 | 2024-05-07 | 江苏斐能软件科技有限公司 | 基于数据驱动的用电异常状态智能监测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006352945A (ja) * | 2005-06-13 | 2006-12-28 | Shiga Yamashita:Kk | 可動ユニットの異常負荷検出方法 |
| JP2016058010A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社日立ハイテクノロジーズ | 異常傾向検出方法およびシステム |
| WO2018082523A1 (zh) * | 2016-11-02 | 2018-05-11 | 中国电力科学研究院有限公司 | 一种负荷周期的模式识别方法 |
| WO2019237492A1 (zh) * | 2018-06-13 | 2019-12-19 | 山东科技大学 | 一种基于半监督学习的异常用电用户检测方法 |
| CN112307435A (zh) * | 2020-10-30 | 2021-02-02 | 三峡大学 | 一种基于模糊聚类和趋势判断筛查用电量异常的方法 |
| CN114004296A (zh) * | 2021-11-01 | 2022-02-01 | 江苏瑞中数据股份有限公司 | 一种基于电力负荷特征反向提取监测点的方法及系统 |
| CN114676883A (zh) * | 2022-03-02 | 2022-06-28 | 深圳江行联加智能科技有限公司 | 基于大数据的电网运行管理方法、装置、设备及存储介质 |
| CN116226720A (zh) * | 2023-03-14 | 2023-06-06 | 南方电网数字电网研究院有限公司 | 基于多维数据交叉验证的高可靠负荷异常识别修补方法 |
-
2023
- 2023-07-21 CN CN202310896110.XA patent/CN116628529B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006352945A (ja) * | 2005-06-13 | 2006-12-28 | Shiga Yamashita:Kk | 可動ユニットの異常負荷検出方法 |
| JP2016058010A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社日立ハイテクノロジーズ | 異常傾向検出方法およびシステム |
| WO2018082523A1 (zh) * | 2016-11-02 | 2018-05-11 | 中国电力科学研究院有限公司 | 一种负荷周期的模式识别方法 |
| WO2019237492A1 (zh) * | 2018-06-13 | 2019-12-19 | 山东科技大学 | 一种基于半监督学习的异常用电用户检测方法 |
| CN112307435A (zh) * | 2020-10-30 | 2021-02-02 | 三峡大学 | 一种基于模糊聚类和趋势判断筛查用电量异常的方法 |
| CN114004296A (zh) * | 2021-11-01 | 2022-02-01 | 江苏瑞中数据股份有限公司 | 一种基于电力负荷特征反向提取监测点的方法及系统 |
| CN114676883A (zh) * | 2022-03-02 | 2022-06-28 | 深圳江行联加智能科技有限公司 | 基于大数据的电网运行管理方法、装置、设备及存储介质 |
| CN116226720A (zh) * | 2023-03-14 | 2023-06-06 | 南方电网数字电网研究院有限公司 | 基于多维数据交叉验证的高可靠负荷异常识别修补方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于GRU-Bagging模型的异常用电行为检测;马云波;李英娜;李川;;数据通信(04);全文 * |
| 基于相似日的超短期母线负荷概率性区间预测;赵冬梅;魏娟;张旭;王舶仲;;电气应用(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116628529A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116628529B (zh) | 一种用于用户侧智能负荷控制系统的数据异常检测方法 | |
| CN117093879B (zh) | 一种数据中心智能化运营管理方法及系统 | |
| CN115580028A (zh) | 一种用于电力管理的电能质量监测方法及系统 | |
| CN116307944B (zh) | 基于人工智能与物联网的配电箱远程监测系统 | |
| CN114004296A (zh) | 一种基于电力负荷特征反向提取监测点的方法及系统 | |
| CN116894151B (zh) | 基于人工智能的智慧电网异常数据清洗方法 | |
| CN112132283B (zh) | 一种基于遗传算法的非信号注入式户变拓扑关系识别方法 | |
| CN117368799A (zh) | 一种电力系统输电线路短路故障的诊断方法 | |
| CN117892246B (zh) | 一种智能化开关柜用数据处理方法 | |
| CN116167250A (zh) | 一种基于温差加权和时间序列算法的机房环境评估方法 | |
| CN118152836B (zh) | 一种用于电能表运行过程的稳定性评估方法 | |
| CN116797049B (zh) | 配电网差异化节能潜力量化评估方法 | |
| CN117932501A (zh) | 一种电能表运行状态管理方法和系统 | |
| CN115660225A (zh) | 一种基于电表通信模块的用电负荷预测管理方法及系统 | |
| CN117851908B (zh) | 一种改进的在线低压台区电能表失准监测方法及装置 | |
| CN115994427A (zh) | 一种基于寿命评估的gis开关柜制造优化方法及系统 | |
| CN112686549B (zh) | 节点电压暂降严重程度评估方法、装置、设备及存储介质 | |
| CN112241812B (zh) | 基于单边优化与遗传算法协作的低压配电网拓扑识别方法 | |
| CN110175705B (zh) | 一种负荷预测方法及包含该方法的存储器、系统 | |
| CN113298175A (zh) | 基于多场景和多元数据的独居老人用电监控方法和系统 | |
| CN110133396B (zh) | 一种基于二分递推svd分解的居民电器开关事件检测方法 | |
| Çimen et al. | Generalization Capacity Analysis of Non-Intrusive Load Monitoring using Deep Learning | |
| CN112016587A (zh) | 基于主站特征库技术的用能监测云端协同非侵入辨识方法 | |
| CN116859169B (zh) | 一种非侵入式电力负荷分解方法及系统 | |
| CN117895660B (zh) | 一种电力终端能耗数据采集分析处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |