CN112488365A - 一种基于负荷预测流水线框架语言的负荷预测系统及方法 - Google Patents

一种基于负荷预测流水线框架语言的负荷预测系统及方法 Download PDF

Info

Publication number
CN112488365A
CN112488365A CN202011283128.5A CN202011283128A CN112488365A CN 112488365 A CN112488365 A CN 112488365A CN 202011283128 A CN202011283128 A CN 202011283128A CN 112488365 A CN112488365 A CN 112488365A
Authority
CN
China
Prior art keywords
load prediction
component
micro
service
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011283128.5A
Other languages
English (en)
Inventor
李江南
周密
钟雨芯
钱斌
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
Shenzhen Power Supply Co ltd
Original Assignee
China South Power Grid International Co ltd
Shenzhen Power Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd, Shenzhen Power Supply Co ltd filed Critical China South Power Grid International Co ltd
Priority to CN202011283128.5A priority Critical patent/CN112488365A/zh
Publication of CN112488365A publication Critical patent/CN112488365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/31—Programming languages or programming paradigms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及电力系统技术领域，公开了一种基于负荷预测流水线框架语言的负荷预测系统及方法，通过LF_FLFL生成器，以可视化模板方式获取用户的负荷预测配置信息，生成满足用户电力负荷预测需求的负荷预测任务表，并转换为执行负荷预测任务的有向无环图，通过LF_FLFL解释器，在用户配置的大数据技术支持平台环境下，根据机器学习模型库及调度策略元数据库，按照有向无环图自动执行电力负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价以及模型应用负荷预测任务，从而实现负荷的智能预测，降低负荷预测的实施难度，提高负荷预测的效率。

Description

一种基于负荷预测流水线框架语言的负荷预测系统及方法
技术领域
本发明涉及电力系统技术领域，尤其涉及一种基于负荷预测流水线框架语言的负荷预测系统及方法。
背景技术
电力企业为满足电网规划、电力调度以及电力交易等业务需求，需要从区域维度、行业维度以及用户维度等多个维度对电力负荷进行周期性的预测。
目前，电力大数据负荷预测涉及异构大数据的采集、清洗、存储以及探索分析、建模特征、模型训练、模型评价以及模型应用的流程，其中使用的大数据平台及技术不仅实施复杂，而且在不断发展变化，对电力企业开展周期性负荷预测业务造成巨大的阻碍。
发明内容
本发明的目的是提供一种基于负荷预测流水线框架语言(Load ForecastingFlow Line Framework Language，LF_FLFL)的负荷预测系统及方法，以可视化的方式提交电力负荷预测需求的配置信息，并按照有向无环图自动执行电力负荷预测的大数据的采集、清洗、存储以及探索分析、建模特征、模型训练、模型评价以及模型应用负荷预测任务，从而实现负荷的智能预测，降低负荷预测的实施难度，提高负荷预测的效率。
为实现上述目的，本发明实施例提供了一种基于负荷预测流水线框架语言的负荷预测系统，包括LF_FLFL生成器、LF_FLFL解释器和大数据平台，其中，
所述LF_FLFL生成器与所述LF_FLFL解释器通过所述第一接口和所述第二接口连接，所述LF_FLFL解释器通过所述大数据适配器组件与所述大数据平台连接。
所述LF_FLFL生成器模块用于生成执行负荷预测任务的有向无环图。
所述LF_FLFL解释器模块用于按照所述有向无环图执行负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价和模型应用负荷预测任务。
所述大数据平台用于提供支持大数据平台技术的组件。
进一步的，所述LF_FLFL解释器由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成。
所述大数据平台由MapReduce适配器组件、Spark适配器组件、Flink适配器组件、Storm适配器组件、S4适配器组件和Apache Beam适配器组件组成。
所述API接口包括所述第一接口和所述第二接口。
所述连接组件为所述大数据平台适配器组件。
进一步的，所述LF_FLFL生成器模块由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成，具体为：
可视化交互组件，包括以可视化模板方式获取用户提供的负荷预测配置信息的微服务和以可视化图表方式向用户输出负荷预测结果信息的微服务。
负荷预测任务表组件，包括读取所述负荷预测配置信息的微服务和定义满足用户负荷预测需求的负荷预测任务表的微服务。
有向无环图组件，包括读取所述负荷预测任务表的微服务和将所述负荷预测任务表转换为在大数据平台上可执行负荷预测任务的有向无环图的微服务。
第一接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
进一步的，所述负荷预测配置信息由负荷预测的大数据资源配置信息、负荷预测需求配置信息、负荷预测目标配置信息、机器学习模型库配置信息和大数据平台资源配置信息组成。
进一步的，所述LF_FLFL解释器模块由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成，具体为：
有向无环图解释执行调度引擎，用于通过调用调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务。
数据加载组件，包括负荷区域负荷数据加载微服务、负荷区域气象信息加载微服务和将加载的数据存入大数据平台的微服务。
数据清洗组件，包括负荷数据缺失值填补微服务和负荷数据异常值处理微服务。
探索分析组件，包括探索性因子分析微服务和负荷预测先验信息微服务。
建模特征组件，包括验证所述探索性因子分析的微服务。
模型训练组件，包括从机器学习模型库中选择负荷预测模型的微服务和对所选择的所述负荷预测模型进行建模以及机器学习训练的微服务。
模型评价组件，包括对机器学习训练后的负荷预测模型进行精准度评价的微服务。
模型应用组件，包括对所述机器学习训练后的负荷预测模型进行入库管理的微服务和负荷预测模型应用的微服务。
大数据平台适配器组件，包括大数据平台的MapReduce适配器微服务、Spark适配器微服务、Flink适配器微服务、Storm适配器微服务、S4适配器微服务和Apache Beam适配器微服务。
第二接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
进一步的，所述负荷预测任务由数据加载组件微服务、数据清洗组件微服务、探索分析组件微服务、建模特征组件微服务、模型训练组件微服务、模型评价组件微服务和模型应用组件微服务组成。
本发明实施例还提供了一种基于负荷预测流水线框架语言的负荷预测方法，包括以下步骤：
步骤一，启动LF_FLFL生成器中的可视化交互组件微服务。
步骤二，通过所述可视化交互组件微服务，获取用户提供的负荷预测配置信息。
步骤三，启动所述LF_FLFL生成器中的负荷预测任务表组件微服务。
步骤四，根据所述负荷预测配置信息，定义负荷预测任务表的微服务。
步骤五，启动有向无环图组件微服务。
步骤六，将所述负荷预测任务表转换为可执行负荷预测任务的有向无环图的微服务。
步骤七，启动所述LF_FLFL解释器中的大数据平台适配器组件微服务。
步骤八，根据所述大数据平台资源配置信息，绑定所述大数据平台适配器组件微服务，配置大数据技术支持平台环境，并耦合所述有向无环图的负荷预测任务。
步骤九，启动所述LF_FLFL解释器中的有向无环图解释执行调度引擎。
步骤十，根据所述调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务；其中，所述访问策略包括自顶而下的访问策略和自底而上的访问策略。
本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法，与现有技术相比，具有如下有益效果：
通过LF_FLFL生成器，以可视化模板方式获取用户的负荷预测配置信息，生成满足用户电力负荷预测需求的负荷预测任务表，并转换为执行负荷预测任务的有向无环图，通过LF_FLFL解释器，在用户配置的大数据技术支持平台环境下，根据机器学习模型库及调度策略元数据库，按照有向无环图自动执行电力负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价以及模型应用负荷预测任务，从而实现负荷的智能预测，降低负荷预测的实施难度，提高负荷预测的效率。
附图说明
图1是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的系统结构图；
图2是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的系统结构图，包括LF_FLFL生成器、LF_FLFL解释器和大数据平台。
具体的，LF_FLFL生成器与LF_FLFL解释器通过第一接口和第二接口连接，LF_FLFL解释器通过大数据适配器组件与大数据平台连接。
LF_FLFL生成器模块用于生成执行负荷预测任务的有向无环图。
LF_FLFL解释器模块用于按照有向无环图执行负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价和模型应用负荷预测任务。
大数据平台用于提供支持大数据平台技术的组件。
进一步的，LF_FLFL生成器由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成。
LF_FLFL解释器由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成。
大数据平台由MapReduce适配器组件、Spark适配器组件、Flink适配器组件、Storm适配器组件、S4适配器组件和Apache Beam适配器组件组成。
其中，API接口包括第一接口和第二接口，连接组件为大数据平台适配器组件。
进一步的，LF_FLFL生成器模块由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成，具体为：
可视化交互组件，包括以可视化模板方式获取用户提供的负荷预测配置信息的微服务和以可视化图表方式向用户输出负荷预测结果信息的微服务。
具体的，可视化组件以可视化图表方式通过API接口向用户输出负荷预测结果信息。
其中，负荷预测配置信息包括负荷预测的大数据资源配置信息、负荷预测需求配置信息、负荷预测目标配置信息、机器学习模型库配置信息和大数据平台资源配置信息。
负荷预测任务表组件，包括读取负荷预测配置信息的微服务和定义满足用户负荷预测需求的负荷预测任务表的微服务。
有向无环图组件，包括读取负荷预测任务表的微服务和将负荷预测任务表转换为在大数据平台上可执行负荷预测任务的有向无环图的微服务。
第一接口，包括负荷预测配置信息输入接口的微服务和负荷预测结果信息输出接口的微服务。
进一步的，LF_FLFL解释器模块由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成。
有向无环图解释执行调度引擎，用于通过调用调度策略元数据库中的图遍历访问策略，执行有向无环图的负荷预测任务。
具体的，图遍历访问策略是访问图节点的一种技术。
具体的，负荷预测任务包括数据加载组件微服务、数据清洗组件微服务、探索分析组件微服务、建模特征组件微服务、模型训练组件微服务、模型评价组件微服务和模型应用组件微服务。
数据加载组件，包括负荷区域负荷数据加载微服务、负荷区域气象信息加载微服务和将加载的数据存入大数据平台的微服务。
具体的，数据加载组件将加载数据存入大数据平台，为负荷预测的其它数据处理组件提供待处理的数据。
数据清洗组件，包括负荷数据缺失值填补微服务和负荷数据异常值处理微服务。
探索分析组件，包括探索性因子分析微服务和负荷预测先验信息微服务。
具体的，探索性因子分析微服务用于实现因子与因子之间的相关性分析，得到探索性因子分析因子的相关系数载荷，负荷预测先验信息微服务用于给出探索性因子分析因子的相关系数载荷的权重先验信息，并将带权重先验信息的因子相关系数载荷记入因子载荷表中。
建模特征组件，包括验证所述探索性因子分析的微服务。
具体的，探索性因子分析的微服务是指通过使用因子载荷表中带权重先验信息的因子相关系数载荷信息和调度策略元数据库中的筛选策略筛选出负荷预测的建模特征，生成负荷预测的建模特征表。
模型训练组件，包括从机器学习模型库中选择负荷预测模型的微服务和对所选择的负荷预测模型进行建模以及机器学习训练的微服务。
具体的，对所选择的负荷预测模型依据建模特征表进行建模以及机器学习训练。
模型评价组件，包括对机器学习训练后的负荷预测模型进行精准度评价的微服务。
模型应用组件，包括对机器学习训练后的负荷预测模型进行入库管理的微服务和负荷预测模型应用的微服务。
大数据平台适配器组件，包括大数据平台的MapReduce适配器微服务、Spark适配器微服务、Flink适配器微服务、Storm适配器微服务、S4适配器微服务和Apache Beam适配器微服务。
具体的，大数据平台适配器组件的作用是，为用户提供的大数据平台资源配置信息的微服务选择目前流行的大数据平台的技术支持，上述列出了目前流行的大数据平台，随着大数据平台技术的发展，支持新的大数据平台技术的适配器微服务要加入到大数据平台适配器组件中。
第二接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
参见图2，是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的方法流程示意图，包括以下步骤：
S1，启动LF_FLFL生成器中的可视化交互组件微服务。
S2，通过所述可视化交互组件微服务，获取用户提供的负荷预测配置信息。
S3，启动LF_FLFL生成器中的负荷预测任务表组件微服务。
S4，根据负荷预测配置信息，定义负荷预测任务表的微服务。
S5，启动有向无环图组件微服务。
S6，将负荷预测任务表转换为可执行负荷预测任务的有向无环图的微服务。
S7，启动LF_FLFL解释器中的大数据平台适配器组件微服务。
S8，根据大数据平台资源配置信息，绑定大数据平台适配器组件微服务，配置大数据技术支持平台环境，并耦合有向无环图的负荷预测任务。
具体的，步骤S8的主要作用是，将在负荷预测过程中运行的微服务与用户提供的大数据平台资源的技术支持适配器绑定，以获得用户提供的大数据平台的技术支持。
具体的，耦合的主要意思是，适配用户提供的大数据平台资源配置信息，绑定大数据平台提供的大数据平台技术支持组件。
S9，启动LF_FLFL解释器中的有向无环图解释执行调度引擎。
S10，根据调度策略元数据库中的图遍历访问策略，执行有向无环图的负荷预测任务。
其中，访问策略包括自顶而下的访问策略和自底而上的访问策略。
运用自顶而下的访问策略执行有向无环图上的负荷预测任务的算法思想是：对入度为零的处理任务节点并行执行，对合流、分流及连接等处理任务节点，必须满足完成上游处理任务节点后才能执行。
运用自底而上的访问策略执行有向无环图上的负荷预测任务的算法思想是：找出有向无环图中所有出度为零的处理任务节点，逐个遍历，判断其是否存在入边(即上游处理任务节点)，若存在入边，则逐个递归调用入边的所有处理任务节点后才执行当前的处理任务节点，若不存在入边，则直接执行当前的处理任务节点。
本发明采用专用服务器电脑作为信息处理单元，专用服务器电脑内置的调度策略元数据库、大数据平台适配元数据库、机器学习模型库以及大数据负荷预测流水线框架语言及其实现的功能组件采用固态硬盘作为存贮介质，
相对于现有技术，本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的有益效果在于：
通过LF_FLFL生成器，以可视化模板方式获取用户的负荷预测配置信息，生成满足用户电力负荷预测需求的负荷预测任务表，并转换为执行负荷预测任务的有向无环图，通过LF_FLFL解释器，在用户配置的大数据技术支持平台环境下，根据机器学习模型库及调度策略元数据库，按照有向无环图自动执行电力负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价以及模型应用负荷预测任务，从而实现负荷的智能预测，降低负荷预测的实施难度，提高负荷预测的效率。
由于电力负荷预测流水线框架语言及其实现是由多层体系架构软硬件功能组成的，软硬件功能具有升级能力。因此，本发明具有更新换代的灵活性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种基于负荷预测流水线框架语言的负荷预测系统，其特征在于，包括LF_FLFL生成器、LF_FLFL解释器和大数据平台，其中，
所述LF_FLFL生成器与所述LF_FLFL解释器通过API接口连接，所述LF_FLFL解释器通过连接组件与所述大数据平台连接；
所述LF_FLFL生成器模块用于生成执行负荷预测任务的有向无环图；
所述LF_FLFL解释器模块用于按照所述有向无环图执行负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价和模型应用负荷预测任务；
所述大数据平台用于提供支持大数据平台技术的组件。
2.根据权利要求1所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述LF_FLFL生成器由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成；
所述LF_FLFL解释器由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成；
所述大数据平台由MapReduce适配器组件、Spark适配器组件、Flink适配器组件、Storm适配器组件、S4适配器组件和Apache Beam适配器组件组成；
所述API接口包括所述第一接口和所述第二接口；
所述连接组件为所述大数据平台适配器组件。
3.根据权利要求2所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述所述LF_FLFL生成器模块由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成，具体为：
可视化交互组件，包括以可视化模板方式获取用户提供的负荷预测配置信息的微服务和以可视化图表方式向用户输出负荷预测结果信息的微服务；
负荷预测任务表组件，包括读取所述负荷预测配置信息的微服务和定义满足用户负荷预测需求的负荷预测任务表的微服务；
有向无环图组件，包括读取所述负荷预测任务表的微服务和将所述负荷预测任务表转换为在大数据平台上可执行负荷预测任务的有向无环图的微服务。
第一接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
4.根据权利要求3所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述负荷预测配置信息由负荷预测的大数据资源配置信息、负荷预测需求配置信息、负荷预测目标配置信息、机器学习模型库配置信息和大数据平台资源配置信息组成。
5.根据权利要求2所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述所述LF_FLFL解释器模块由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成，具体为：
有向无环图解释执行调度引擎，用于通过调用调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务；
数据加载组件，包括负荷区域负荷数据加载微服务、负荷区域气象信息加载微服务和将加载的数据存入大数据平台的微服务；
数据清洗组件，包括负荷数据缺失值填补微服务和负荷数据异常值处理微服务；
探索分析组件，包括探索性因子分析微服务和负荷预测先验信息微服务；
建模特征组件，包括验证所述探索性因子分析的微服务；
模型训练组件，包括从机器学习模型库中选择负荷预测模型的微服务和对所选择的所述负荷预测模型进行建模以及机器学习训练的微服务；
模型评价组件，包括对机器学习训练后的负荷预测模型进行精准度评价的微服务；
模型应用组件，包括对所述机器学习训练后的负荷预测模型进行入库管理的微服务和负荷预测模型应用的微服务；
大数据平台适配器组件，包括大数据平台的MapReduce适配器微服务、Spark适配器微服务、Flink适配器微服务、Storm适配器微服务、S4适配器微服务和Apache Beam适配器微服务；
第二接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
6.根据权利要求5所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述负荷预测任务由数据加载组件微服务、数据清洗组件微服务、探索分析组件微服务、建模特征组件微服务、模型训练组件微服务、模型评价组件微服务和模型应用组件微服务组成。
7.一种基于负荷预测流水线框架语言的负荷预测方法，其特征在于，应用权利要求1到6任一项所述的基于负荷预测流水线框架语言的负荷预测系统实现，包括以下步骤：
步骤一，启动LF_FLFL生成器中的可视化交互组件微服务；
步骤二，通过所述可视化交互组件微服务，获取用户提供的负荷预测配置信息；
步骤三，启动所述LF_FLFL生成器中的负荷预测任务表组件微服务；
步骤四，根据所述负荷预测配置信息，定义负荷预测任务表的微服务；
步骤五，启动有向无环图组件微服务；
步骤六，将所述负荷预测任务表转换为可执行负荷预测任务的有向无环图的微服务；
步骤七，启动所述LF_FLFL解释器中的大数据平台适配器组件微服务；
步骤八，根据所述大数据平台资源配置信息，绑定所述大数据平台适配器组件微服务，配置大数据技术支持平台环境，并耦合所述有向无环图的负荷预测任务；
步骤九，启动所述LF_FLFL解释器中的有向无环图解释执行调度引擎；
步骤十，根据所述调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务；其中，所述访问策略包括自顶而下的访问策略和自底而上的访问策略。
CN202011283128.5A 2020-11-17 2020-11-17 一种基于负荷预测流水线框架语言的负荷预测系统及方法 Pending CN112488365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011283128.5A CN112488365A (zh) 2020-11-17 2020-11-17 一种基于负荷预测流水线框架语言的负荷预测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011283128.5A CN112488365A (zh) 2020-11-17 2020-11-17 一种基于负荷预测流水线框架语言的负荷预测系统及方法

Publications (1)

Publication Number Publication Date
CN112488365A true CN112488365A (zh) 2021-03-12

Family

ID=74931318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011283128.5A Pending CN112488365A (zh) 2020-11-17 2020-11-17 一种基于负荷预测流水线框架语言的负荷预测系统及方法

Country Status (1)

Country Link
CN (1) CN112488365A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092962A (zh) * 2016-02-17 2017-08-25 阿里巴巴集团控股有限公司 一种分布式机器学习方法和平台
CN109816144A (zh) * 2018-12-18 2019-05-28 广东电网有限责任公司 分布式内存并行计算优化深度信念网络的短期负荷预测方法
CN111178587A (zh) * 2019-12-06 2020-05-19 广东工业大学 一种基于spark框架的短期电力负荷快速预测方法
CN111461448A (zh) * 2020-04-09 2020-07-28 云南电网有限责任公司大理供电局 一种基于SageMath的负荷预测模型配置方法及计算机程序产品
CN111476422A (zh) * 2020-04-10 2020-07-31 北京石油化工学院 一种基于机器学习框架下LightGBM的建筑冷负荷预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092962A (zh) * 2016-02-17 2017-08-25 阿里巴巴集团控股有限公司 一种分布式机器学习方法和平台
CN109816144A (zh) * 2018-12-18 2019-05-28 广东电网有限责任公司 分布式内存并行计算优化深度信念网络的短期负荷预测方法
CN111178587A (zh) * 2019-12-06 2020-05-19 广东工业大学 一种基于spark框架的短期电力负荷快速预测方法
CN111461448A (zh) * 2020-04-09 2020-07-28 云南电网有限责任公司大理供电局 一种基于SageMath的负荷预测模型配置方法及计算机程序产品
CN111476422A (zh) * 2020-04-10 2020-07-31 北京石油化工学院 一种基于机器学习框架下LightGBM的建筑冷负荷预测方法

Similar Documents

Publication Publication Date Title
Günther et al. A Generic Import Framework for Process Event Logs: Industrial Paper
US9336288B2 (en) Workflow controller compatibility
US20110066420A1 (en) System and method for system integration test (sit) planning
CN112948110B (zh) 云应用的拓扑与编排系统、方法、存储介质及电子设备
CN109063178A (zh) 一种自动扩展的自助分析报表的方法及装置
US9104996B2 (en) Task management for changes to shared artifacts
Lee et al. On the performance of a dual-objective optimization model for workflow applications on grid platforms
CN115794038A (zh) 一种基于互联网的软件工程开发系统及其方法
CN105933154A (zh) 一种云计算资源的管理方法
Boucheneb et al. Optimal reachability in cost time Petri nets
CN117608754A (zh) 多资源池应用的处理方法及装置、电子设备和存储介质
Sarno et al. Business process optimization from single timestamp event log
CN112488365A (zh) 一种基于负荷预测流水线框架语言的负荷预测系统及方法
US10169076B2 (en) Distributed batch job promotion within enterprise computing environments
US20130097096A1 (en) Process entity graphs
US20140372386A1 (en) Detecting wasteful data collection
Panda et al. Test scenario prioritization for object-oriented systems using UML diagram
CN114185656A (zh) 一种测试任务处理方法、装置、设备及存储介质
CN114416669A (zh) 群组过程文件管理方法、装置、网盘及存储介质
Simkin et al. Research on the optimization model for building an efficient IT infrastructure using the AWS platform
CN118296856B (zh) 一种航天装备正向设计方案确定方法、装置、介质和设备
CN113791775B (zh) 元数据的流程编排方法与装置、存储介质和电子设备
US20100299291A1 (en) Cruncher - An MIP Solver Accelerator
Liang et al. Adaptive optimizations for stream-based workflows
US20240232783A1 (en) Method and system for providing domain-specific process framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312