CN108009668B - 一种应用机器学习的大规模地调负荷预测方法 - Google Patents
一种应用机器学习的大规模地调负荷预测方法 Download PDFInfo
- Publication number
- CN108009668B CN108009668B CN201711050221.XA CN201711050221A CN108009668B CN 108009668 B CN108009668 B CN 108009668B CN 201711050221 A CN201711050221 A CN 201711050221A CN 108009668 B CN108009668 B CN 108009668B
- Authority
- CN
- China
- Prior art keywords
- training set
- bias
- algorithm
- training
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000010801 machine learning Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000003491 array Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000005611 electricity Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明是一种应用机器学习的大规模地调负荷预测方法。包括有如下步骤：1)训练集分割；2）偏置项处理；3）结果处理。本发明充分利用积累的负荷历史数据，提高短期负荷预测的准确率，并提高负荷预测的速度，使日常调度运行、购售电交易等所需的负荷预测需求能得到及时的满足。
Description
技术领域
本发明属于电力调度自动化领域，本发明涉及一种应用机器学习的大规模地调负荷预测方法，特别是一种应用机器学习的大规模地调负荷预测方法，属于应用机器学习的大规模地调负荷预测方法的创新技术。
背景技术
负荷预测是电力系统规划、计划、用电、调度等部门的基础工作,其重要性早已被人们所认识。目前负荷预测的研究,其主要出发点大多是以更为先进的理论提高预测的准确性,为电力系统运行的经济性和安全性提供有力的保证。
负荷预测是其它很多分析计算工作的重要基础，是电力系统节能发电调度的重要手段，为调度决策支持、电网安全校核、阻塞管理、在线安全分析和预警预控等功能的完善实用奠定坚实的基础，也是今后中国智能电网建设中的重要一环。
短期负荷预测的研究已有很长历史，国内外的许多专家、学者在预测理论和方法方面做了大量的研究工作，取得了很多卓有成效的进展。但由于负荷的随机因素太多、非线性极强，而有些传统方法理论依据尚存在局限性等问题，因此，新理论和新技术的发展一直推动着短期负荷预测的不断发展，新的预测方法层出不穷。短期负荷预测的最大特点是其具有明显的周期性包括：1)不同日之间24h整体变化规律的相似性；2)不同星期同一星期类型日的相似性；3)工作日/休息日各自的相似性；4)不同年度的重大节假日负荷曲线的相似性。
在具备上述周期性的同时短期负荷的另外一个特点是其明显受到各种环境因素的影响，如季节更替，天气因素突然变化，设备事故和检修重大文体活动等，这使得负荷时间序列的变化出现非平稳的随机过程。
影响负荷的因素总结如下：1)用电负荷的真实情况，表现在历史负荷数据或负荷曲线上，通常用建模方法来作预测；2)和负荷变化有关的某些外界因素，如工业产值、农业产值，GDP增长、居民增加等，可以用它们的未来数据利用回归分析来预测未来的负荷；3)难以定量表示的不确定的因素，如经济政策、政治风云变化、气象变化、节假日、非计划停运等。4)负荷预测的方法可以分为四大类：经典法，传统法，智能预测和新方法。
支持向量机是电力领域中较常用的负荷预测算法。它是一种监督学习算法，即需要由训练数据集中学到或建立一个模式，并依此模式推测新的实例。支持向量机应用领域集中在分类、回归预测等。针对电力负荷预测领域，选用ε-SVR支持向量回归算法。在电力负荷预测中，样本数据集多呈非线性关系，因此，通常通过非线性映射，把输入样本数据集映射到一个高维的特征空间上去，然后在被映射到的高维的空间上进行线性回归。
由于ε-SVR算法训练、核心问题就是在解决QP问题，拉格朗日乘数的数量等于训练数据集的数量，当问题规模较小时，可以直接使用投影共轭梯度方法来解决。当问题规模很大时，上述解决方法可能无法发挥作用，因为核函数矩阵的元素个数等于训练集样本个数的平方，将消耗大量的计算机内存来存储核函数数值矩阵。在智能电网云存储上，其电力负荷数据不仅是海量的，而且是高维的，更加重了对计算资源的消耗。
发明内容
本发明的目的在于考虑上述问题而提供一种应用机器学习的大规模地调负荷预测方法，本发明充分利用积累的负荷历史数据，提高短期负荷预测的准确率。提高负荷预测的速度，使日常调度运行、购售电交易等所需的负荷预测需求能得到及时的满足。
本发明的技术方案是：本发明的应用机器学习的大规模地调负荷预测方法，包括有如下步骤：
1)训练集分割；
2)偏置项处理；
3)结果处理。
上述步骤1)训练集分割的方法具体如下：
把整个训练集分割成m个数据子集，每个训练集子集分配到一个单独的Map操作任务：Map任务的个数与训练集的子集个数相同，不同Map任务并行执行SMO算法，对训练子集进行训练，当线性ε-SVR算法中，最后输出训练子集的向量和偏置项b满足：
其中，是训练集输入，yi是训练集输出，αi是拉格朗日乘数数组，/>是分类向量；
在Reduce阶段，整合各个Map操作生成的以获取全局的/>数组,
其中，是全局分类向量。
本发明将序列最小优化算法引入到支持向量机算法中，在训练过程中选择优化拉格朗日乘子，对ε-SVR的训练阶段进行优化求解，降低算法的复杂度；同时基于MapReduce编程框架和HBase的并行序列最小优化的支持向量回归负荷预测算法，以解决海量、高维负荷数据预测时，单机运算资源不足的问题，本发明具有如下优点：
1)本发明在提升预测准确率的前提下，降低了算法的复杂度。
2)本发明采用分布式架构，解决海量、高维负荷数据预测时，单机运算资源不足的问题。
3)本发明技术实现简单实用，可以直接在EMS系统上开发应用，改造工作量非常小，加上EMS系统及其数据历史数据条件较好，所以该技术更易于实用化和得到准确结果。
本发明是一种方便实用的应用机器学习的大规模地调负荷预测方法。
附图说明
图1为本发明方法的分布式结构示意图。
具体实施方式
实施例：
本发明方法的示意图如图1所示，本发明的应用机器学习的大规模地调负荷预测方法。
采用MapReduce编程框架，不同于传统的ε-SVR负荷预测算法在单机上训练所有的训练集数据的方式，该负荷预测算法将训练集数据分割成多个数据子集，在Map阶段并行的在多个单机训练各个数据子集，在Reduce阶段整合Map阶段的局部结果。在保证预测准确率的前提下，克服了智能电网海量高维数据进行负荷预测时易出现的单机计算资源不足的问题。
此外，该算法的分布式数据存储策略也直接影响着算法的性能表现，本文提出应用Hadoop HBase存储QP解决阶段生成的核函数值，HBase具有高可靠性、高性能、可伸缩的优点，建立在非关系模型基础上的分布式数据库，用以存储大规模生成的核函数值，可保证改进算法的并行性能。
本发明的具体流程和方法描述如下：
(1)训练集分割
把整个训练集分割成m个数据子集，每个训练集子集分配到一个单独的Map操作任务：Map任务的个数与训练集的子集个数相同，不同Map任务并行执行SMO算法，对训练子集进行训练。当线性ε-SVR算法中，最后输出训练子集的向量和偏置项b满足：
其中，是训练集输入，yi是训练集输出，αi是拉格朗日乘数数组，/>是分类向量。
在Reduce阶段，整合各个Map操作生成的以获取全局的/>数组。
其中，是全局分类向量。
(2)偏置项处理
在Reduce阶段还需要处理偏置项b，每个训练集子集的偏置项b都是不相同的，在Reduce阶段将对各个Map操作生成的偏置项b取平均，作为全局偏置项。
(3)结果处理
在非线性的ε-SVR算法中，每个Map阶段需生成其训练集子集的拉格朗日乘数α数组和偏置项b。在Reduce阶段，整合各个Map操作生成的拉格朗日乘数α数组，以获取全局的拉格朗日乘数α数组，偏置项b的处理与原算法相同。MapReduce任务需要生成拉格朗日乘数α数组、偏置项b和相应的训练数据集，以计算ε-SVR算法的输出。算法分布式结构如图1所示。
本发明将序列最小优化算法引入到支持向量机算法中，在训练过程中选择优化拉格朗日乘子，对ε-SVR的训练阶段进行优化求解，降低了算法的复杂度。
本发明基于MapReduce编程框架和HBase的并行计算方法，对上述序列最小优化的支持向量回归负荷预测算法进行求解，解决了海量、高维负荷数据预测时，单机运算资源不足的问题。
Claims (1)
1.一种应用机器学习的大规模地调负荷预测方法,其特征在于包括有如下步骤：
1)训练集分割；
2)偏置项处理；
3)结果处理；
上述步骤1)训练集分割的方法具体如下：
把整个训练集分割成m个数据子集，每个训练集子集分配到一个单独的Map操作任务：Map任务的个数与训练集的子集个数相同，不同Map任务并行执行SMO算法，对训练子集进行训练，当线性ε-SVR算法中，最后输出训练子集的向量和偏置项b满足：
其中，是训练集输入，yi是训练集输出，αi是拉格朗日乘数数组，/>是分类向量；
在Reduce阶段，整合各个Map操作生成的以获取全局的/>数组,
其中，是全局分类向量；
上述步骤2)偏置项处理的方法具体如下：
在Reduce阶段还需要处理偏置项b，每个训练集子集的偏置项b都是不相同的，在Reduce阶段将对各个Map操作生成的偏置项b取平均，作为全局偏置项；
上述步骤3)结果处理的方法具体如下：
在非线性的ε-SVR算法中，每个Map阶段需生成其训练集子集的拉格朗日乘数α数组和偏置项b，在Reduce阶段，整合各个Map操作生成的拉格朗日乘数α数组，以获取全局的拉格朗日乘数α数组，偏置项b的处理与原算法相同，MapReduce任务需要生成拉格朗日乘数α数组、偏置项b和相应的训练数据集，以计算ε-SVR算法的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711050221.XA CN108009668B (zh) | 2017-10-31 | 2017-10-31 | 一种应用机器学习的大规模地调负荷预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711050221.XA CN108009668B (zh) | 2017-10-31 | 2017-10-31 | 一种应用机器学习的大规模地调负荷预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108009668A CN108009668A (zh) | 2018-05-08 |
| CN108009668B true CN108009668B (zh) | 2023-08-25 |
Family
ID=62051155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711050221.XA Active CN108009668B (zh) | 2017-10-31 | 2017-10-31 | 一种应用机器学习的大规模地调负荷预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108009668B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389164A (zh) * | 2018-09-28 | 2019-02-26 | 浙江大学 | 基于支持向量回归模型的地区单位gdp能耗预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184421A (zh) * | 2011-04-22 | 2011-09-14 | 北京航空航天大学 | 一种支持向量回归机的训练方法 |
| JP2013117921A (ja) * | 2011-12-05 | 2013-06-13 | Nippon Telegr & Teleph Corp <Ntt> | ランキング関数学習装置、方法、及びプログラム |
| CN105184424A (zh) * | 2015-10-19 | 2015-12-23 | 国网山东省电力公司菏泽供电公司 | 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法 |
| CN105844371A (zh) * | 2016-05-19 | 2016-08-10 | 北京中电普华信息技术有限公司 | 一种用电客户短期负荷需求预测方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2756470A1 (en) * | 2011-09-17 | 2014-07-23 | Narayam, Amit | Load forecasting from individual customer to system level |
| US10289954B2 (en) * | 2015-01-06 | 2019-05-14 | Accenture Global Services Limited | Power distribution transformer load prediction analysis system |
-
2017
- 2017-10-31 CN CN201711050221.XA patent/CN108009668B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184421A (zh) * | 2011-04-22 | 2011-09-14 | 北京航空航天大学 | 一种支持向量回归机的训练方法 |
| JP2013117921A (ja) * | 2011-12-05 | 2013-06-13 | Nippon Telegr & Teleph Corp <Ntt> | ランキング関数学習装置、方法、及びプログラム |
| CN105184424A (zh) * | 2015-10-19 | 2015-12-23 | 国网山东省电力公司菏泽供电公司 | 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法 |
| CN105844371A (zh) * | 2016-05-19 | 2016-08-10 | 北京中电普华信息技术有限公司 | 一种用电客户短期负荷需求预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108009668A (zh) | 2018-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105184424B (zh) | 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法 | |
| CN110991700A (zh) | 基于深度学习改进的天气与用电相关性预测方法及装置 | |
| CN110689162B (zh) | 一种基于用户侧分类的母线负荷预测方法、装置及系统 | |
| Chen et al. | Development and application of big data platform for garlic industry chain | |
| Li et al. | Data-driven peer-to-peer blockchain framework for water consumption management | |
| Aslan | Archimedes optimization algorithm based approaches for solving energy demand estimation problem: a case study of Turkey | |
| CN108009668B (zh) | 一种应用机器学习的大规模地调负荷预测方法 | |
| Lei et al. | Forecasting short-term residential electricity consumption using a deep fusion model | |
| CN107748943A (zh) | 一种基于云计算的电网电力负荷管理预测方法 | |
| Zhang et al. | Short-term load forecasting based on big data technologies | |
| Tao et al. | Recurrent neural networks application to forecasting with two cases: load and pollution | |
| Zhang et al. | Building energy consumption prediction based on temporal-aware attention and energy consumption states | |
| Mohammed et al. | A comprehensive study and understanding—A neurocomputing prediction techniques in renewable energies | |
| Agga et al. | Short-term PV plant power production forecasting and hyperparameters grid search for LSTM and MLP models | |
| Han et al. | A cross-view model for tourism demand forecasting with artificial intelligence method | |
| Zhou et al. | The analysis and prediction of power consumption in industry based on machine learning | |
| Liu et al. | Power consumption prediction with K-nearest-neighbours and XGBoost algorithm | |
| Zhao et al. | Big data analytics for water resources sustainability evaluation | |
| Wang et al. | Research on Daily Tourist Flow Prediction of Scenic Spots Based on Similar Day Clustering and LSSVM Model | |
| Liang et al. | Short-term Load Forecasting of a Technology Park Based on a LightGBM-LSTM Fusion Algorithm | |
| Ling et al. | Application research of data mining technology in power dispatching management system | |
| Suresh et al. | Smart Meter Data Analytics Using Particle Swarm Optimization | |
| Liu et al. | Multi-models Study on the Influence of Space–Time Factors on the Shared Bike Usage | |
| Qu et al. | Large-scale hydropower dispatching system based on cloud platform and its key technologies | |
| Li et al. | Data-Driven Soft Sensor Modeling Method for Grinding Particle Size Using IRVFLN with Compact Constraints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |