CN113434493A - 一种基于Transformer的非侵入式负荷分解方法 - Google Patents
一种基于Transformer的非侵入式负荷分解方法 Download PDFInfo
- Publication number
- CN113434493A CN113434493A CN202110716776.3A CN202110716776A CN113434493A CN 113434493 A CN113434493 A CN 113434493A CN 202110716776 A CN202110716776 A CN 202110716776A CN 113434493 A CN113434493 A CN 113434493A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- training
- power
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Water Supply & Treatment (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种家用电器的非侵入式负荷分解方法，特别涉及一种基于Transformer的非侵入式负荷分解方法。所述的方法主要包括以下步骤：采集用户电能消耗数据，运用自适应高斯滤波对原始功率信号进行处理，将处理后的数据分为训练集和测试集，利用训练集数据训练模型，将测试集中的用户负荷总功率数据输入到构建好的模型中进行测试，计算模型分解出的每个电器的分解精度。本发明中的Transformer能够实现并行计算，减少了模型训练时间，通过长距离依赖能将不同时刻的功率特征进行连接，使得模型在特征提取能力上有一定的提升，相较于其他的分解模型，本发明在一定程度上提高了负荷分解准确率。
Description
技术领域
本发明涉及智能电网中的负荷监测，特别涉及一种基于Transformer的非侵入式负荷分解方法。
背景技术
随着能源互联网的蓬勃发展，设备感知能力和通信能力快速增强，使得负荷监测的基础条件日趋成熟。同时，为应对能源供应短缺问题、开发能源效率，以及推进需求侧管理工作、管理居民用户侧负荷，负荷监测成为重要解决方案之一。通过负荷监测系统，我们能够了解用户各类负荷的实际能耗水平，实时掌握各类用户的用电情况和用电行为，有针对性的提出有序用电与需求响应方案并且引导用户合理安排用电时间，为用户提供节能建议或用电异常预警，为用户提供用户用电使用及偏好分析报告等，为政府能源总量控制、电力供需平衡和宏观政策制定等工作提供数据支撑，实现数据的增值与共享。其次，对于电网调度人员还可以以此作为电力系统规划和调度的依据，从而制定合理的发电计划，来提高电网利用率，减少电能的浪费。
近年来，随着机器学习、模式识别、组合优化等方法在多个领域的快速发展，非侵入式负荷分解技术迎来了新的突破。非侵入式负荷分解技术通过提取电器的特征来完成分解任务，但现有深度学习方法在负荷特征提取方面仍然不足，导致复杂状态的电器分解精度较低，小功率电器容易被大功率电器所掩盖，因此对特征提取的研究仍然有较大的研究空间。
发明内容
为了提高非侵入式负荷分解准确率，捕捉数据长期依赖关系，提高模型的特征提取能力，本发明提出了一种基于Transformer的非侵入式负荷分解方法。
本发明解决上述技术问题的技术方案是：
采集用户家庭电力总负荷数据，剔除数据中的异常点，对数据进行降噪处理；
构建负荷分解模型，将处理后的数据分为训练集和测试集，对训练集和测试集进行归一化处理，将归一化后的训练集数据输入到负荷分解模型中，训练负荷分解模型的参数；
将测试集数据输入到训练好的模型中，求取各个电器的分解功率，计算各个电器的功率分解精度。
附图说明
图1是自适应高斯滤波去噪流程图
图2是Transformer结构图
图3是编码器和解码器结构图
具体实施方案
下面结合附图对本发明的技术方案做进一步的详细说明：
步骤一：在用户总电力入口处安装监测装置，获取用户电能消耗数据，将获取的数据进行处理，滤除噪声点。
本发明通过自适应高斯滤波去噪，高斯滤波将高斯函数与原始信号进行卷积运算后输出滤波信号，表示如下：
其一阶导数为：
原始信号经过高斯滤波后的结果为：
N(t,σ)＝f0(t)*g'(t,σ) (3)
其中，g′(t,σ)为高斯滤波器，t为负荷数据，σ为高斯滤波器标准差,N(t,σ)为滤波后的结果，“*”为卷积运算符。
假设T为采样点时间，f(t)为历史负荷数据，fk+1(t)为第k+1次迭代平滑后滤波器的输出值，滤波窗口长度为2T，ωk(t+i,σ)为窗内各点的权值，则有：
在高斯滤波器中引入自适应方法，有：
当ωk(t,σ)的值近似为0时，滤波器在满足去噪声效果的同时又能很好的保存突变点信息。
步骤二：对处理后的数据进行归一化处理，使得处理后的数据被限制在区间[0,1]之间，能使得模型在进行梯度下降时有更快的收敛速度，较少模型训练时间，归一化方法如下：
式中：Xi为归一化后的第i个功率数据，xi为归一化前的第i个功率数据，xmin为归一化前的功率数据的最小值，xmax为归一化前的功率数据的最大值。
步骤三：将归一化处理后的数据输入到负荷分解模型中进行训练，其中，模型加入了L2正则化来防止训练模型过拟合。
Transformer模型注意力机制的核心是计算输入向量列表中每个样本与该向量中所有样本的关联关系，并利用这种相互关系在一定程度上体现不同样本的重要程度，通过这种关联程度调整每个样本的权重，从而获得一个更加全局的表达，不仅考虑到样本自身，同时还将其与其他样本的关系融入在内。
解码器使用注意力机制与编码器连接。通过这种方式，解码器可以学习在做出负荷分解之前“关注”时间序列历史值中最有用的部分。其中最重要的就是attention机制。
假设输入集为X＝{X1,X2,…,Xt,Xt+1,…}，其中t为时间，编码器将输入集作为一个向量列表输入，经过存在依赖关系的各自路径进入注意力层，同时通过将向量中每个样本点积训练过程中创建的3个训练矩阵(WQ，WK，WV)，为每个样本生成三个诠释向量，即查询向量(Q)、键向量(K)、值向量(V)，注意力机制实现具体如下：
获取三个诠释向量，计算式分别表示为：
利用Softmax函数进行标准化，并将标准化后的值与向量V进行点积运算，保证在保持对当前样本关注度不变的情况下，降低对不重要样本的关注度，获取自注意力机制输出，计算式表示为：
式中Q、K、V均是通过训练得到的，而且对于同一层所有节点的K、Q、V计算，其转换矩阵的参数都是共享的。
Attention计算之后的输出Z表示加权后的结果，公式如下：
公式(10)是Attention聚合其他节点信息的表达，其中n表示节点个数。经过求和与归一化操作后，经过前馈神经网络(FFN)传递参数。
FFN(x)＝Relu(xW1+b1)W2+b2 (11)
其中，前馈神经网络的激活函数为Relu，w和b表示网络的权值和偏置值。
为了防止模型参数过多导致训练阶段出现过拟合现象，加入L2正则化，L2正则化公式非常简单，在原来的损失函数基础上加上权重系数的平方和：
其中，Ein是未包含正则化项的训练样本误差，λ是可调的正则化参数。
步骤四：将测试集数据中的总电表功率数据输入到训练好的模型中，分解模型输出单个电器的分解功率值，画出分解功率值和真实值的功率曲线图。
步骤五：计算每个电器的分解准确率大小，利用功率分解准确度apower来评估模型分解效果，apower的公式如下：
其中，
表示电器m在t时刻通过模型分解的功率值大小，
表示电器m在t时刻的实际功率值大小。
Claims (2)
1.一种基于Transformer的非侵入式负荷分解方法，主要包括以下步骤：
采集用户家庭电力总负荷数据，剔除数据中的异常点，对数据进行降噪处理；
构建负荷分解模型，将处理后的数据分为训练集和测试集，对训练集和测试集进行归一化处理，将归一化后的训练集数据输入到负荷分解模型中，训练负荷分解模型的参数；
将测试集数据输入到训练好的模型中，求取各个电器的分解功率，计算各个电器的功率分解精度。
2.根据权利要求1所述的一种基于Transformer的非侵入式负荷分解方法，所采用的Transformer模型主要由编码组件和解码组件构成，其中，编码组件部分由一堆编码器(encoder)构成，解码组件部分也是由相同数量的解码器(decoder)构成，所有编码器在结构上都是相同的，但它们没有共享参数，每个解码器都可以分解成两个子层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716776.3A CN113434493A (zh) | 2021-06-28 | 2021-06-28 | 一种基于Transformer的非侵入式负荷分解方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716776.3A CN113434493A (zh) | 2021-06-28 | 2021-06-28 | 一种基于Transformer的非侵入式负荷分解方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113434493A true CN113434493A (zh) | 2021-09-24 |
Family
ID=77754813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110716776.3A Pending CN113434493A (zh) | 2021-06-28 | 2021-06-28 | 一种基于Transformer的非侵入式负荷分解方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434493A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113970667A (zh) * | 2021-10-10 | 2022-01-25 | 上海梦象智能科技有限公司 | 一种基于预测窗口中点值的非侵入式负荷监测方法 |
| CN117239743A (zh) * | 2023-11-15 | 2023-12-15 | 青岛鼎信通讯股份有限公司 | 一种电能表用电负荷获取方法、装置、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150309092A1 (en) * | 2012-11-16 | 2015-10-29 | Tianjin University | Current Pattern Matching Method for Non-Intrusive Power Load Monitoring and Disaggregation |
| CN110119545A (zh) * | 2019-04-24 | 2019-08-13 | 西安理工大学 | 一种基于栈式自编码器的非侵入式电力负荷识别方法 |
| US20190265768A1 (en) * | 2018-02-24 | 2019-08-29 | Hefei University Of Technology | Method, system and storage medium for predicting power load probability density based on deep learning |
| CN110188826A (zh) * | 2019-05-31 | 2019-08-30 | 湖南科技大学 | 基于智能电表数据的家用电器运行状态非侵入式检测方法 |
| US20190384879A1 (en) * | 2018-06-13 | 2019-12-19 | State Grid Jiangsu Electric Power Co., Ltd. | Meteorology sensitive load power estimation method and apparatus |
| CN111753968A (zh) * | 2020-07-07 | 2020-10-09 | 苏州联电能源发展有限公司 | 非侵入式负荷监测智能电表和电量分解方法 |
| CN111783684A (zh) * | 2020-07-03 | 2020-10-16 | 湖南大学 | 一种基于Bi-GRU-SA的家庭用电负荷分解方法及系统 |
| CN112215405A (zh) * | 2020-09-23 | 2021-01-12 | 国网甘肃省电力公司营销服务中心 | 一种基于dann域适应学习的非侵入式居民用电负荷分解方法 |
-
2021
- 2021-06-28 CN CN202110716776.3A patent/CN113434493A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150309092A1 (en) * | 2012-11-16 | 2015-10-29 | Tianjin University | Current Pattern Matching Method for Non-Intrusive Power Load Monitoring and Disaggregation |
| US20190265768A1 (en) * | 2018-02-24 | 2019-08-29 | Hefei University Of Technology | Method, system and storage medium for predicting power load probability density based on deep learning |
| US20190384879A1 (en) * | 2018-06-13 | 2019-12-19 | State Grid Jiangsu Electric Power Co., Ltd. | Meteorology sensitive load power estimation method and apparatus |
| CN110119545A (zh) * | 2019-04-24 | 2019-08-13 | 西安理工大学 | 一种基于栈式自编码器的非侵入式电力负荷识别方法 |
| CN110188826A (zh) * | 2019-05-31 | 2019-08-30 | 湖南科技大学 | 基于智能电表数据的家用电器运行状态非侵入式检测方法 |
| CN111783684A (zh) * | 2020-07-03 | 2020-10-16 | 湖南大学 | 一种基于Bi-GRU-SA的家庭用电负荷分解方法及系统 |
| CN111753968A (zh) * | 2020-07-07 | 2020-10-09 | 苏州联电能源发展有限公司 | 非侵入式负荷监测智能电表和电量分解方法 |
| CN112215405A (zh) * | 2020-09-23 | 2021-01-12 | 国网甘肃省电力公司营销服务中心 | 一种基于dann域适应学习的非侵入式居民用电负荷分解方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张顺淼;陈铭龙;: "基于注意力机制与ConvBiLSTM的非侵入式负荷分解", 福建工程学院学报, no. 04 * |
| 邓舒迟;韩信锐;曾壮;廖阳春;叶毓廷;: "基于时间序列的居民用户非侵入式负荷分解研究", 电子设计工程, no. 19 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113970667A (zh) * | 2021-10-10 | 2022-01-25 | 上海梦象智能科技有限公司 | 一种基于预测窗口中点值的非侵入式负荷监测方法 |
| CN113970667B (zh) * | 2021-10-10 | 2024-04-05 | 上海梦象智能科技有限公司 | 一种基于预测窗口中点值的非侵入式负荷监测方法 |
| CN117239743A (zh) * | 2023-11-15 | 2023-12-15 | 青岛鼎信通讯股份有限公司 | 一种电能表用电负荷获取方法、装置、设备及介质 |
| CN117239743B (zh) * | 2023-11-15 | 2024-02-27 | 青岛鼎信通讯股份有限公司 | 一种电能表用电负荷获取方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ke et al. | Short-term electrical load forecasting method based on stacked auto-encoding and GRU neural network | |
| CN109783916B (zh) | 一种基于仿真技术的空气压缩机群组优化调度决策方法 | |
| CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
| CN110163429B (zh) | 一种基于相似日优化筛选的短期负荷预测方法 | |
| CN108022014B (zh) | 一种电力系统负荷预测方法及系统 | |
| CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN104966161B (zh) | 一种基于高斯混合模型的电能质量录波数据计算分析方法 | |
| CN113434493A (zh) | 一种基于Transformer的非侵入式负荷分解方法 | |
| CN103020459A (zh) | 一种多维度用电行为的感知方法及系统 | |
| CN108761377A (zh) | 一种基于长短时记忆模型的电能计量装置异常检测方法 | |
| CN111460001B (zh) | 一种配电网理论线损率评估方法及系统 | |
| CN112163371A (zh) | 一种变压器套管状态评估方法 | |
| CN111815060A (zh) | 一种用电地区短期负荷预测方法及装置 | |
| CN115759321A (zh) | 一种以线损最小为优化目标的智能无功补偿方法 | |
| CN115965150A (zh) | 一种基于权重分配的电力负荷预测方法 | |
| CN116757465A (zh) | 一种基于双训练权重分配模型的线路风险评估方法及装置 | |
| CN115146739A (zh) | 基于堆叠时间序列网络的电力变压器故障诊断方法 | |
| CN113177357B (zh) | 一种电力系统暂态稳定评估方法 | |
| CN114091776A (zh) | 一种基于K-means的多分支AGCNN短期电力负荷预测方法 | |
| CN116776209A (zh) | 一种关口计量装置运行状态辨识方法、系统、设备及介质 | |
| CN112232570A (zh) | 一种正向有功总电量预测方法、装置及可读存储介质 | |
| CN111552911B (zh) | 一种基于多场景生成的技术线损影响因素定量分析方法 | |
| CN114462306A (zh) | 基于变权重时域卷积网络的非侵入式用电负荷分解方法 | |
| CN113808071A (zh) | 基于深度学习的非侵入式负荷监测方法和系统 | |
| Zhang et al. | Short-Term Prediction of Power Load for Urban Residents Based on VMD-SVR-PSO Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210924 |