CN110827171A - 基于电力大数据的调度依赖计算方法 - Google Patents
基于电力大数据的调度依赖计算方法 Download PDFInfo
- Publication number
- CN110827171A CN110827171A CN201911059571.1A CN201911059571A CN110827171A CN 110827171 A CN110827171 A CN 110827171A CN 201911059571 A CN201911059571 A CN 201911059571A CN 110827171 A CN110827171 A CN 110827171A
- Authority
- CN
- China
- Prior art keywords
- calculation
- data
- hdfs
- calculation method
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 108
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008676 import Effects 0.000 claims abstract description 5
- 230000008520 organization Effects 0.000 claims description 4
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于电力大数据的调度依赖计算方法，属于电力技术领域，包括以下步骤：步骤一：数据导入，将源数据导入HDFS中存储；步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；步骤三：入库，将HDFS中每一次的计算数据单独入库postgres。本发明通过将不同的计算按照上下流的关系设计成了一个模型，每个节点都只负责自己该做的计算，能很清楚的看到整个程序中的业务关系，调度计算效率较高，在计算过程中，如果某个环节出错，能够精准的定位，具体到计算。
Description
技术领域
本发明涉及一种调度依赖计算方法，特别是涉及一种基于电力大数据的调度依赖计算方法，属于电力技术领域。
背景技术
在电力系统中涉及到大量的业务数据计算，如何对所有计算业务进行设计、管理、监控、应用是当前面临的问题，在实际业务中，假设我们需要对A，B，C，D进行数据计算，A，B，C，D有依赖关系，而如果我们将A，B，C，D放在同一个程序中，按顺序调用执行，如果程序出现问题，那就整个所有的计算可能都无法正常运行了，并且在程序出现问题的时候，不能直观的定位到错误的位置，导致在程序的执行效率方面较低，为此提出了一种基于电力大数据的调度依赖计算方法。
发明内容
本发明的主要目的是为了解决现有技术的不足而提供基于电力大数据的调度依赖计算方法。
本发明的目的可以通过采用如下技术方案达到：
基于电力大数据的调度依赖计算方法，包括以下步骤：
步骤一：数据导入，将源数据导入HDFS中存储；
步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；
步骤三：入库，将HDFS中每一次的计算数据单独标记入库postgres。
优选的，步骤一中的导入的源数据为相应日期冻结后的数据。
优选的，步骤二中的计算是对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率。
优选的，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres。
优选的，在步骤三中，对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记。
优选的，调度依赖Airflow并通过trigger_rule来设置上下游节点的运行规则，trigger_rule对应的参数如下：
(1)All_success：上级依赖全部执行成功，执行下级；
(2)All_failed：上级依赖全部执行失败，执行下级；
(3)One_success：一个上级依赖执行成功，执行下级；
(4)One_failed：一个上级依赖执行失败，执行下级；
(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；
(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；
(7)none_skipped：上级处于skipped状态，执行下级；
相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行。
优选的，在步骤二中，根据HDFS中的数据还依次计算运行电能表、计量点电量和分析对象电量，且三者呈依赖式关系。
优选的，计算分析对象电量分别计算对象类别、计算组织机构、计算行业和计算终端。
优选的，Airflow可通过配置文件和很多其他的第三方程序进行集成。
优选的，Airflow自带的web监控服务，web提供一系列可对节点任务进行的操作，通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作。
本发明的有益技术效果：按照本发明的基于电力大数据的调度依赖计算方法，调度依赖关系是用于构建有序业务流程的根本，只有正确构建任务依赖关系，才能保障业务数据有效、适时地产出，形成规范化的数据研发场景，在Airflow中，通过代码自动解析，设置节点依赖关系，通过上下游关系正常及运行状态来保障业务数据的顺序产出，通过串行，并行，将不同的计算按照上下流的关系设计成了一个模型，每个节点都只负责自己该做的计算，能很清楚的看到整个程序中的业务关系，调度计算效率较高，在计算过程中，如果某个环节出错，能够精准的定位，具体到计算；拓展性也大大的加强，在新增计算业务时，无需再去考虑与其他计算的耦合性，只需考虑上下游关系，确认其输入及输出即可，简单方便。
附图说明
图1为按照本发明的基于电力大数据的调度依赖计算方法的一优选实施例的系统流程示意图；
图2为按照本发明的基于电力大数据的调度依赖计算方法的一优选实施例的计算任务依赖示意图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1-图2所示，本实施例提供的基于电力大数据的调度依赖计算方法，包括以下步骤：步骤一：数据导入，将源数据导入HDFS中存储；步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；步骤三：入库，将HDFS中每一次的计算数据单独标记入库postgres，调度依赖关系是用于构建有序业务流程的根本，只有正确构建任务依赖关系，才能保障业务数据有效、适时地产出，形成规范化的数据研发场景，在Airflow中，通过代码自动解析，设置节点依赖关系，通过上下游关系正常及运行状态来保障业务数据的顺序产出，通过串行，并行，将不同的计算按照上下流的关系设计成了一个模型，每个节点都只负责自己该做的计算，能很清楚的看到整个程序中的业务关系，调度计算效率较高，在计算过程中，如果某个环节出错，能够精准的定位，具体到计算；拓展性也大大的加强，在新增计算业务时，无需再去考虑与其他计算的耦合性，只需考虑上下游关系，确认其输入及输出即可，简单方便。
在本实施例中，如图1所示，步骤一中的导入的源数据为相应日期冻结后的数据，步骤二中的计算是对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres，在步骤二中，根据HDFS中的数据还依次计算运行电能表、计量点电量和分析对象电量，且三者呈依赖式关系，计算分析对象电量分别计算对象类别、计算组织机构、计算行业和计算终端，在步骤三中，对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记，特殊标记避免在某个结果或者环节出错，能够精准的定位，具体到计算，以便及时查找和更正。
在本实施例中，如图1和图2所示，调度依赖Airflow并通过trigger_rule来设置上下游节点的运行规则，trigger_rule对应的参数如下：
(1)All_success：上级依赖全部执行成功，执行下级；
(2)All_failed：上级依赖全部执行失败，执行下级；
(3)One_success：一个上级依赖执行成功，执行下级；
(4)One_failed：一个上级依赖执行失败，执行下级；
(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；
(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；
(7)none_skipped：上级处于skipped状态，执行下级；
相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行，Airflow可通过配置文件和很多其他的第三方程序进行集成，Airflow自带的web监控服务，web提供一系列可对节点任务进行的操作，通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作。
在本实施例中，如图1-图2所示，本实施例提供的基于电力大数据的调度依赖计算方法的工作过程如下：
步骤1：数据导入，将相应日期冻结后的数据导入HDFS中存储；
步骤2：对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres；
步骤3：对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记，特殊标记避免在某个结果或者环节出错，能够精准的定位，具体到计算，以便及时查找和更正。
综上所述，在本实施例中，按照本实施例的基于电力大数据的调度依赖计算方法，调度依赖关系是用于构建有序业务流程的根本，只有正确构建任务依赖关系，才能保障业务数据有效、适时地产出，形成规范化的数据研发场景，在Airflow中，通过代码自动解析，设置节点依赖关系，通过上下游关系正常及运行状态来保障业务数据的顺序产出，通过串行，并行，将不同的计算按照上下流的关系设计成了一个模型，每个节点都只负责自己该做的计算，能很清楚的看到整个程序中的业务关系，调度计算效率较高，在计算过程中，如果某个环节出错，能够精准的定位，具体到计算；拓展性也大大的加强，在新增计算业务时，无需再去考虑与其他计算的耦合性，只需考虑上下游关系，确认其输入及输出即可，简单方便，步骤一中的导入的源数据为相应日期冻结后的数据，步骤二中的计算是对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres，在步骤二中，依次计算运行电能表、计量点电量和分析对象电量，且三者呈依赖式关系，计算分析对象电量分别计算对象类别、计算组织机构、计算行业和计算终端，在步骤三中，对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记，特殊标记避免在某个结果或者环节出错，能够精准的定位，具体到计算，以便及时查找和更正。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。
Claims (10)
1.基于电力大数据的调度依赖计算方法，其特征在于，包括以下步骤：
步骤一：数据导入，将源数据导入HDFS中存储；
步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；
步骤三：入库，将HDFS中每一次的计算数据单独标记入库postgres。
2.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，步骤一中的导入的源数据为相应日期冻结后的数据。
3.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，步骤二中的计算是对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率。
4.如权利要求3所述的基于电力大数据的调度依赖计算方法，其特征在于，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres。
5.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，在步骤三中，对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记。
6.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，调度依赖Airflow并通过trigger_rule来设置上下游节点的运行规则，trigger_rule对应的参数如下：
(1)All_success：上级依赖全部执行成功，执行下级；
(2)All_failed：上级依赖全部执行失败，执行下级；
(3)One_success：一个上级依赖执行成功，执行下级；
(4)One_failed：一个上级依赖执行失败，执行下级；
(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；
(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；
(7)none_skipped：上级处于skipped状态，执行下级；
相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行。
7.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，在步骤二中，根据HDFS中的数据还依次计算运行电能表、计量点电量和分析对象电量，且三者呈依赖式关系。
8.如权利要求7所述的基于电力大数据的调度依赖计算方法，其特征在于，计算分析对象电量分别计算对象类别、计算组织机构、计算行业和计算终端。
9.如权利要求6所述的基于电力大数据的调度依赖计算方法，其特征在于，Airflow可通过配置文件和很多其他的第三方程序进行集成。
10.如权利要求6所述的基于电力大数据的调度依赖计算方法，其特征在于，Airflow自带的web监控服务，web提供一系列可对节点任务进行的操作，通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911059571.1A CN110827171A (zh) | 2019-11-01 | 2019-11-01 | 基于电力大数据的调度依赖计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911059571.1A CN110827171A (zh) | 2019-11-01 | 2019-11-01 | 基于电力大数据的调度依赖计算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110827171A true CN110827171A (zh) | 2020-02-21 |
Family
ID=69551957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911059571.1A Pending CN110827171A (zh) | 2019-11-01 | 2019-11-01 | 基于电力大数据的调度依赖计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827171A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508438A (zh) * | 2020-12-17 | 2021-03-16 | 国网浙江省电力公司 | 基于电力大数据的调度依赖计算方法 |
| CN112782469A (zh) * | 2021-01-13 | 2021-05-11 | 公诚管理咨询有限公司 | 一种基于分布式计算的智能电网计量处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616174A (zh) * | 2009-07-09 | 2009-12-30 | 浪潮电子信息产业股份有限公司 | 一种存储系统io处理路径动态跟踪实现优化系统性能的方法 |
| CN103955509A (zh) * | 2014-04-30 | 2014-07-30 | 广西电网公司电力科学研究院 | 一种海量电力计量数据的快速检索方法 |
| CN105184452A (zh) * | 2015-08-14 | 2015-12-23 | 山东大学 | 一种适用于用电信息大数据计算的MapReduce作业依赖控制方法 |
| CN105719126A (zh) * | 2016-01-22 | 2016-06-29 | 上海晶赞科技发展有限公司 | 一种基于生命周期模型的互联网大数据任务调度的系统及方法 |
| CN109408602A (zh) * | 2018-10-16 | 2019-03-01 | 深圳中顺易金融服务有限公司 | 一种大数据综合处理方法及系统 |
-
2019
- 2019-11-01 CN CN201911059571.1A patent/CN110827171A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616174A (zh) * | 2009-07-09 | 2009-12-30 | 浪潮电子信息产业股份有限公司 | 一种存储系统io处理路径动态跟踪实现优化系统性能的方法 |
| CN103955509A (zh) * | 2014-04-30 | 2014-07-30 | 广西电网公司电力科学研究院 | 一种海量电力计量数据的快速检索方法 |
| CN105184452A (zh) * | 2015-08-14 | 2015-12-23 | 山东大学 | 一种适用于用电信息大数据计算的MapReduce作业依赖控制方法 |
| CN105719126A (zh) * | 2016-01-22 | 2016-06-29 | 上海晶赞科技发展有限公司 | 一种基于生命周期模型的互联网大数据任务调度的系统及方法 |
| CN109408602A (zh) * | 2018-10-16 | 2019-03-01 | 深圳中顺易金融服务有限公司 | 一种大数据综合处理方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508438A (zh) * | 2020-12-17 | 2021-03-16 | 国网浙江省电力公司 | 基于电力大数据的调度依赖计算方法 |
| CN112782469A (zh) * | 2021-01-13 | 2021-05-11 | 公诚管理咨询有限公司 | 一种基于分布式计算的智能电网计量处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105719126B (zh) | 一种基于生命周期模型的互联网大数据任务调度的系统及方法 | |
| US20130173191A1 (en) | Power curve correlation system | |
| CN101685452B (zh) | 数据仓库调度方法及调度系统 | |
| US20200334562A1 (en) | Reserve optimization method and apparatus based on support outage event constrained unit commitment | |
| CN101639687B (zh) | 一种集成化工艺质量控制系统及其实现方法 | |
| CN103605662A (zh) | 一种分布式计算框架参数优化方法、装置及系统 | |
| CN110827171A (zh) | 基于电力大数据的调度依赖计算方法 | |
| CN104424512A (zh) | 操作计划决策方法和操作计划决策系统 | |
| CN110764747A (zh) | 基于Airflow的数据计算调度方法 | |
| CN110300017A (zh) | 标准配置生成装置及方法和网络设备配置纠错装置及方法 | |
| CN103825272A (zh) | 一种基于解析法的含分散风电的配电网可靠性确定方法 | |
| CN104407919A (zh) | 一种数据处理任务调度系统及方法 | |
| CN105652812A (zh) | 一种针对特殊批次货物进行预排程的系统及其方法 | |
| CN107203421A (zh) | 一种云计算环境中自适应的组合工作流方法 | |
| Eickemeyer et al. | Validation of data fusion as a method for forecasting the regeneration workload for complex capital goods | |
| CN112633807A (zh) | 一种基于智能提醒的供应链优化方法及系统 | |
| CN113408856B (zh) | 一种基于物联网技术的关键链计划调度方法 | |
| WO2016200611A1 (en) | Dynamically adjusting industrial system outage plans | |
| Reyes et al. | The Factory Physics for the Scheduling: Application to Footwear Industry. | |
| CN110851256A (zh) | 一种基于电力大数据的数据计算调度方法 | |
| Baltputnis et al. | ANN-based city heat demand forecast | |
| Overbeck et al. | Development and analysis of digital twins of production systems | |
| CN106875019A (zh) | 基于手机app的物联网设备维保费用预算管理系统 | |
| CN115375024A (zh) | 一种基于bom材料损耗预测和提醒采购方法及系统 | |
| CN114091325A (zh) | 一种基于多模型分层学习的配电台区负荷预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210728 Address after: 510700 3rd, 4th and 5th floors of building J1 and 3rd floor of building J3, No.11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province Applicant after: China Southern Power Grid Research Institute Co.,Ltd. Address before: 510670 No.11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province Applicant before: China Southern Power Grid Research Institute Co.,Ltd. Applicant before: CSG POWER GRID TECHNOLOGY RESEARCH CENTER |
|
| TA01 | Transfer of patent application right |