CN110764747A - 基于Airflow的数据计算调度方法 - Google Patents
基于Airflow的数据计算调度方法 Download PDFInfo
- Publication number
- CN110764747A CN110764747A CN201911005641.5A CN201911005641A CN110764747A CN 110764747 A CN110764747 A CN 110764747A CN 201911005641 A CN201911005641 A CN 201911005641A CN 110764747 A CN110764747 A CN 110764747A
- Authority
- CN
- China
- Prior art keywords
- data
- airflow
- task
- hdfs
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000011144 upstream manufacturing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000013515 script Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 4
- 230000001960 triggered effect Effects 0.000 abstract description 3
- 238000009795 derivation Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000012827 research and development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了基于Airflow的数据计算调度方法，属于Airflow技术领域，包括以下步骤：步骤一：开始任务，生成树，任务实例并导出原始数据；步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据。本发明具有强大的依赖关系设计和强大的拓展性并且允许触发任意的脚本，基础模块也被设计的非常容易拓展。
Description
技术领域
本发明涉及一种计算调度方法，特别是涉及一种基于Airflow的数据计算调度方法，属于Airflow技术领域。
背景技术
Airflow是一个Airbnb的Workflow开源项目，Airflow即有向无环图DAGS，数据调度在电力系统中应用广泛，但是数据计算是一个复杂的过程，传统的数据调度方法无法进行扩展，并且没有自己的调度任务web监控服务，需要依赖其他程序才能进行，同时调度程序只能做到单一的对应。
发明内容
本发明的主要目的是为了解决现有技术的不足而提供基于Airflow的数据计算调度方法。
本发明的目的可以通过采用如下技术方案达到：
基于Airflow的数据计算调度方法，包括以下步骤：
步骤一：开始任务，生成树，任务实例并导出原始数据；
步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；
步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据，当导出原始数据失败时定时任务失败同时任务日志记录到源数据库中；
步骤四：当数据计算1成功时既向下进行数据计算2、数据计算3、数据计算4和数据计算5，又将数据计算1的计算结果保存到HDFS，及mpp；
步骤五：HDFS获取结果数据与数据计算2、数据计算3、数据计算4和数据计算5同时并行任务，同时将存储过程入库并数据存储至HDFS及Mpp。
优选的，完整架构包含以下组件：
(1)作业定义，包含在源代码控制中；
(2)一个丰富的命令行工具或者命令行接口用来测试、运行、回填、描述和清理你的Airflow的组成部件；
(3)一个web应用程序，用来浏览Airflow的定义、依赖项、进度、元数据和日志，Web服务器打包在Airflow里面并且是基于Python框架Flask构建；
(4)一个元数据仓库，通常是一个MySQL或者Postgres数据库，Airflow可以用它来记录任务作业状态和其他持久化的信息；
(5)一组工作节点，以分布式的方式运行作业的任务实例；
(6)调度程序，触发准备运行的任务实例；
(7)RBAC权限管理，高强度的对用户权限进行了划分，可以细致到页面上的每个页面、每个按钮和每个任务。
优选的，Airflow推动处理的工序：
(1)数据仓库；
(2)增长分析；
(3)试验；
(4)定向邮件；
(5)会话；
(6)搜索；
(7)数据基础架构维护。
优选的，Airflow可提供1对1，1对多，多对1的依赖关系，并可通过trigger_rule来设置上下游节点的运行规则。
优选的，trigger_rule对应的参数如下：
(1)All_success：上级依赖全部执行成功，执行下级；
(2)All_failed：上级依赖全部执行失败，执行下级；
(3)One_success：一个上级依赖执行成功，执行下级；
(4)One_failed：一个上级依赖执行失败，执行下级；
(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；
(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；
(7)none_skipped：上级处于skipped状态，执行下级；
相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行。
优选的，在步骤五中的并行任务为：
场景一All_success；
场景二All_done；
场景三All_failed。
优选的，调度程序基于依赖关系，定时执行一整套的流程任务，Airflow在每个实例会通过向程序提供相同的参数，控制各个程序依赖于同一个数据源和同一批数据，并且维持上下级的数据依赖关系。
优选的，Airflow自带各种与Hive、Presto、MySQL、HDFS、Postgres和S3这些常用系统交互的方法。
优选的，生成一个实例包括：数据导入日冻结、计算分析对象电量和计算分析对象电量。
优选的，步骤三和步骤四之间还进行以下步骤：
a通过kafka采集各省数据；
b通过调度程序从kafka中导出数据并存储到HDFS；
c计算程序通过调度程序配置的参数找到HDFS的参数或者结果进行计算；
d通过调度程序将HDFS上的结果数据存储至mpp数据库；
e通过调度程序执行存储过程将数据统计到相应的库表；
f前端展示。
本发明的有益技术效果：
1、具有强大的依赖关系设计和强大的拓展性，Airflow自带各种与Hive，Presto，MySQL，HDFS，Postgres和S3这些常用系统交互的方法，并且允许触发任意的脚本，基础模块也被设计的非常容易拓展。
2、拥有自己的调度任务web监控服务，这是很多调度程序都不具备的，节约研发的时间成本和技术成本；而Airflow自带的web监控服务，可直观的监控每一个调度流程中各个节点的任务执行情况，并提供详细的任务日志，并会对任务执行的各方面数据进行统计，并形成报表展现出来，同时web还提供一系列可对节点任务进行的操作，可通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作。
3、可实现高可用的搭建，Airflow结合celery，rabbitmq/redis，mysql/postgres可搭建出稳定的一套调度架构，并能随时横向的拓展架构的资源。
4、拥有自己的权限管理系统，通过RBAC权限框架集成到web服务中，权限细化到每个按钮的操作，及每个页面的浏览，可通过管理员账号自定义不同的角色。
5、代码维护简单易用，提供丰富的任务执行方式，Airflow可对Bash脚本，python程序，spark程序，存储过程，Http请求，Hive等进行依赖的编写和定时的调度。
附图说明
图1为按照本发明的基于Airflow的数据计算调度方法的一优选实施例的方法流程示意图；
图2为按照本发明的基于Airflow的数据计算调度方法的一优选实施例的系统程序执行示意图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例一：
如图1-图2所示，本实施例提供的基于Airflow的数据计算调度方法，包括以下步骤：
步骤一：开始任务，生成树，任务实例并导出原始数据；步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据，当导出原始数据失败时定时任务失败同时任务日志记录到源数据库中；步骤四：当数据计算1成功时既向下进行数据计算2、数据计算3、数据计算4和数据计算5，又将数据计算1的计算结果保存到HDFS，及mpp；步骤五：HDFS获取结果数据与数据计算2、数据计算3、数据计算4和数据计算5同时并行任务，同时将存储过程入库并数据存储至HDFS及Mpp，1、强大的依赖关系设计和强大的拓展性，Airflow自带各种与Hive，Presto，MySQL，HDFS，Postgres和S3这些常用系统交互的方法，并且允许你触发任意的脚本，基础模块也被设计的非常容易拓展；拥有自己的调度任务web监控服务，这是很多调度程序都不具备的，节约研发的时间成本和技术成本；而Airflow自带的web监控服务，可直观的监控每一个调度流程中各个节点的任务执行情况，并提供详细的任务日志，并会对任务执行的各方面数据进行统计，并形成报表展现出来，同时web还提供一系列可对节点任务进行的操作，可通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作；可实现高可用的搭建，Airflow结合celery，rabbitmq/redis，mysql/postgres可搭建出稳定的一套调度架构，并能随时横向的拓展架构的资源；拥有自己的权限管理系统，通过RBAC权限框架集成到web服务中，权限细化到每个按钮的操作，及每个页面的浏览，可通过管理员账号自定义不同的角色；代码维护简单易用，提供丰富的任务执行方式，Airflow可对Bash脚本，python程序，spark程序，存储过程，Http请求，Hive等进行依赖的编写和定时的调度。
在本实施例中，如图1所示，完整架构包含以下组件：作业定义，包含在源代码控制中；一个丰富的命令行工具或者命令行接口用来测试、运行、回填、描述和清理你的Airflow的组成部件；一个web应用程序，用来浏览Airflow的定义、依赖项、进度、元数据和日志，Web服务器打包在Airflow里面并且是基于Python框架Flask构建；一个元数据仓库，通常是一个MySQL或者Postgres数据库，Airflow可以用它来记录任务作业状态和其他持久化的信息；一组工作节点，以分布式的方式运行作业的任务实例；调度程序，触发准备运行的任务实例；RBAC权限管理，高强度的对用户权限进行了划分，可以细致到页面上的每个页面、每个按钮和每个任务，拥有自己的权限管理系统，通过RBAC权限框架集成到web服务中，权限细化到每个按钮的操作，及每个页面的浏览，可通过管理员账号自定义不同的角色，可实现高可用的搭建，这是是否适合进入生产的关键因素，Airflow结合celery，rabbitmq/redis，mysql/postgres可搭建出稳定的一套调度架构，并能随时横向的拓展架构的资源。
在本实施例中，如图1所示，Airflow推动处理的工序：数据仓库；增长分析；试验；定向邮件；会话；搜索；数据基础架构维护，Airflow可提供1对1，1对多，多对1的依赖关系，并可通过trigger_rule来设置上下游节点的运行规则，trigger_rule对应的参数如下：All_success：上级依赖全部执行成功，执行下级；All_failed：上级依赖全部执行失败，执行下级；One_success：一个上级依赖执行成功，执行下级；One_failed：一个上级依赖执行失败，执行下级；All_done：上级依赖全部执行完毕，无论success或failed，执行下级；None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；none_skipped：上级处于skipped状态，执行下级；相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行，代码维护简单易用，调度程序以DSL模板语言实现，可将程序中的各项参数配置在Web UI中，并通过权限系统管理起来，部署起来相比于同类的调度程序，不需要复杂的编译过程，只需通过DSL模板语言配置好任务，将任务同步到指定的目录中，执行airflow提供的指令即可。
在本实施例中，如图1和图2所示，在步骤五中的并行任务为：场景一All_success；场景二All_done；场景三All_failed，调度程序基于依赖关系，定时执行一整套的流程任务，Airflow在每个实例会通过向程序提供相同的参数，控制各个程序依赖于同一个数据源和同一批数据，并且维持上下级的数据依赖关系，Airflow自带各种与Hive、Presto、MySQL、HDFS、Postgres和S3这些常用系统交互的方法，生成一个实例包括：数据导入日冻结、计算分析对象电量和计算分析对象电量，步骤三和步骤四之间还进行以下步骤：a通过kafka采集各省数据；b通过调度程序从kafka中导出数据并存储到HDFS；c计算程序通过调度程序配置的参数找到HDFS的参数或者结果进行计算；d通过调度程序将HDFS上的结果数据存储至mpp数据库；e通过调度程序执行存储过程将数据统计到相应的库表；f前端展示，提供丰富的任务执行方式，Airflow可对Bash脚本，python程序，spark程序，存储过程，Http请求，Hive等进行依赖的编写和定时的调度，Airflow生成一个实例，并向所有程序传递统一的调度时间A，数据导入日冻结，程序通过参数，导入相应日期的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压级超终端抄表率；计算：运行电能表，将数据导入日冻结中的数据进行计量点电量计算，当数据导入完成，任务被标记为success；后续计算会根据A找到这批数据并开始计算，计算完后会将计算结果会根据A命名并保存在相应的地方；下一级依赖会在上一级success后根据A找到上一级的结果继续后续的计算；计算：分析对象电量，当多个计算需要用到同一个数据源时，开始执行分析对象电量，当分析对象电量执行完毕后开始计算数据，在4个程序都success后会进入到下一个依赖进行数据的汇总并且存储到数据库中。
综上所述，在本实施例中，按照本实施例的基于Airflow的数据计算调度方法，强大的依赖关系设计和强大的拓展性，Airflow自带各种与Hive，Presto，MySQL，HDFS，Postgres和S3这些常用系统交互的方法，并且允许你触发任意的脚本，基础模块也被设计的非常容易拓展拥有自己的调度任务web监控服务，这是很多调度程序都不具备的，节约研发的时间成本和技术成本；而Airflow自带的web监控服务，可直观的监控每一个调度流程中各个节点的任务执行情况，并提供详细的任务日志，并会对任务执行的各方面数据进行统计，并形成报表展现出来，同时web还提供一系列可对节点任务进行的操作，可通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作可实现高可用的搭建，Airflow结合celery，rabbitmq/redis，mysql/postgres可搭建出稳定的一套调度架构，并能随时横向的拓展架构的资源拥有自己的权限管理系统，通过RBAC权限框架集成到web服务中，权限细化到每个按钮的操作，及每个页面的浏览，可通过管理员账号自定义不同的角色代码维护简单易用，提供丰富的任务执行方式，Airflow可对Bash脚本，python程序，spark程序，存储过程，Http请求，Hive等进行依赖的编写和定时的调度，数据导入日冻结，程序通过参数，导入相应日期的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压级超终端抄表率；计算：运行电能表，将数据导入日冻结中的数据进行计量点电量计算，当数据导入完成，任务被标记为success；后续计算会根据A找到这批数据并开始计算，计算完后会将计算结果会根据A命名并保存在相应的地方；下一级依赖会在上一级success后根据A找到上一级的结果继续后续的计算；计算：分析对象电量，当多个计算需要用到同一个数据源时，开始执行分析对象电量，当分析对象电量执行完毕后开始计算数据，在4个程序都success后会进入到下一个依赖进行数据的汇总并且存储到数据库中。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。
Claims (10)
1.基于Airflow的数据计算调度方法，其特征在于，包括以下步骤：
步骤一：开始任务，生成树，任务实例并导出原始数据；
步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；
步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据，当导出原始数据失败时定时任务失败同时任务日志记录到源数据库中；
步骤四：当数据计算1成功时既向下进行数据计算2、数据计算3、数据计算4和数据计算5，又将数据计算1的计算结果保存到HDFS，及mpp；
步骤五：HDFS获取结果数据与数据计算2、数据计算3、数据计算4和数据计算5同时并行任务，同时将存储过程入库并数据存储至HDFS及Mpp。
2.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，完整架构包含以下组件：
(1)作业定义，包含在源代码控制中；
(2)一个丰富的命令行工具或者命令行接口用来测试、运行、回填、描述和清理你的Airflow的组成部件；
(3)一个web应用程序，用来浏览Airflow的定义、依赖项、进度、元数据和日志，Web服务器打包在Airflow里面并且是基于Python框架Flask构建；
(4)一个元数据仓库，通常是一个MySQL或者Postgres数据库，Airflow可以用它来记录任务作业状态和其他持久化的信息；
(5)一组工作节点，以分布式的方式运行作业的任务实例；
(6)调度程序，触发准备运行的任务实例；
(7)RBAC权限管理，高强度的对用户权限进行了划分，可以细致到页面上的每个页面、每个按钮和每个任务。
3.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，Airflow推动处理的工序：
(1)数据仓库；
(2)增长分析；
(3)试验；
(4)定向邮件；
(5)会话；
(6)搜索；
(7)数据基础架构维护。
4.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，Airflow可提供1对1，1对多，多对1的依赖关系，并可通过trigger_rule来设置上下游节点的运行规则。
5.如权利要求4所述的基于Airflow的数据计算调度方法，其特征在于，trigger_rule对应的参数如下：
(1)All_success：上级依赖全部执行成功，执行下级；
(2)All_failed：上级依赖全部执行失败，执行下级；
(3)One_success：一个上级依赖执行成功，执行下级；
(4)One_failed：一个上级依赖执行失败，执行下级；
(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；
(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；
(7)none_skipped：上级处于skipped状态，执行下级；
相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行。
6.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，在步骤五中的并行任务为：
场景一All_success；
场景二All_done；
场景三All_failed。
7.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，调度程序基于依赖关系，定时执行一整套的流程任务，Airflow在每个实例会通过向程序提供相同的参数，控制各个程序依赖于同一个数据源和同一批数据，并且维持上下级的数据依赖关系。
8.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，Airflow自带各种与Hive、Presto、MySQL、HDFS、Postgres和S3这些常用系统交互的方法。
9.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，生成一个实例包括：数据导入日冻结、计算分析对象电量和计算分析对象电量。
10.如权利要求1所述的基于Airflow的数据计算调度方法，其特征在于，步骤三和步骤四之间还进行以下步骤：
a通过kafka采集各省数据；
b通过调度程序从kafka中导出数据并存储到HDFS；
c计算程序通过调度程序配置的参数找到HDFS的参数或者结果进行计算；
d通过调度程序将HDFS上的结果数据存储至mpp数据库；
e通过调度程序执行存储过程将数据统计到相应的库表；
f前端展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911005641.5A CN110764747A (zh) | 2019-10-22 | 2019-10-22 | 基于Airflow的数据计算调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911005641.5A CN110764747A (zh) | 2019-10-22 | 2019-10-22 | 基于Airflow的数据计算调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110764747A true CN110764747A (zh) | 2020-02-07 |
Family
ID=69332717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911005641.5A Pending CN110764747A (zh) | 2019-10-22 | 2019-10-22 | 基于Airflow的数据计算调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110764747A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506412A (zh) * | 2020-04-22 | 2020-08-07 | 上海德拓信息技术股份有限公司 | 基于Airflow的分布式异步任务构建、调度系统及方法 |
| CN111782679A (zh) * | 2020-06-22 | 2020-10-16 | 深圳市酷开网络科技有限公司 | 数据处理过程的监管方法、装置、计算机设备及存储介质 |
| CN112782469A (zh) * | 2021-01-13 | 2021-05-11 | 公诚管理咨询有限公司 | 一种基于分布式计算的智能电网计量处理方法 |
| CN112925624A (zh) * | 2021-03-17 | 2021-06-08 | 中国电子系统技术有限公司 | 一种数据处理任务的配置方法以及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184452A (zh) * | 2015-08-14 | 2015-12-23 | 山东大学 | 一种适用于用电信息大数据计算的MapReduce作业依赖控制方法 |
| CN105278373A (zh) * | 2015-10-16 | 2016-01-27 | 中国南方电网有限责任公司电网技术研究中心 | 一种变电站综合信息处理系统的实现方法 |
| WO2016101638A1 (zh) * | 2014-12-23 | 2016-06-30 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| CN106484520A (zh) * | 2016-10-17 | 2017-03-08 | 北京集奥聚合科技有限公司 | 一种基于数据血缘关系的智能调度方法及系统 |
| CN107133089A (zh) * | 2017-04-27 | 2017-09-05 | 努比亚技术有限公司 | 一种任务调度服务器及任务调度方法 |
| CN107315581A (zh) * | 2017-05-23 | 2017-11-03 | 努比亚技术有限公司 | 任务脚本生成装置及方法、任务调度系统及方法 |
| CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
| US20180181446A1 (en) * | 2016-02-05 | 2018-06-28 | Sas Institute Inc. | Generation of directed acyclic graphs from task routines |
| US20180196867A1 (en) * | 2017-01-09 | 2018-07-12 | Alexander WIESMAIER | System, method and computer program product for analytics assignment |
| CN109213754A (zh) * | 2018-03-29 | 2019-01-15 | 北京九章云极科技有限公司 | 一种数据处理系统及数据处理方法 |
| CN109376015A (zh) * | 2018-10-23 | 2019-02-22 | 苏州思必驰信息科技有限公司 | 用于任务调度系统的日志阻塞解决方法及系统 |
| CN109840267A (zh) * | 2019-03-01 | 2019-06-04 | 成都品果科技有限公司 | 一种数据etl系统及方法 |
| CN109977091A (zh) * | 2019-02-25 | 2019-07-05 | 贵州电网有限责任公司 | 一种分布式计算和存储系统 |
| CN110019144A (zh) * | 2018-06-19 | 2019-07-16 | 杭州数澜科技有限公司 | 一种大数据平台数据运维的方法和系统 |
| CN110069334A (zh) * | 2019-05-05 | 2019-07-30 | 重庆天蓬网络有限公司 | 一种基于包管理的分布式数据作业调度的方法和系统 |
-
2019
- 2019-10-22 CN CN201911005641.5A patent/CN110764747A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016101638A1 (zh) * | 2014-12-23 | 2016-06-30 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| CN105184452A (zh) * | 2015-08-14 | 2015-12-23 | 山东大学 | 一种适用于用电信息大数据计算的MapReduce作业依赖控制方法 |
| CN105278373A (zh) * | 2015-10-16 | 2016-01-27 | 中国南方电网有限责任公司电网技术研究中心 | 一种变电站综合信息处理系统的实现方法 |
| US20180181446A1 (en) * | 2016-02-05 | 2018-06-28 | Sas Institute Inc. | Generation of directed acyclic graphs from task routines |
| CN106484520A (zh) * | 2016-10-17 | 2017-03-08 | 北京集奥聚合科技有限公司 | 一种基于数据血缘关系的智能调度方法及系统 |
| US20180196867A1 (en) * | 2017-01-09 | 2018-07-12 | Alexander WIESMAIER | System, method and computer program product for analytics assignment |
| CN107133089A (zh) * | 2017-04-27 | 2017-09-05 | 努比亚技术有限公司 | 一种任务调度服务器及任务调度方法 |
| CN107315581A (zh) * | 2017-05-23 | 2017-11-03 | 努比亚技术有限公司 | 任务脚本生成装置及方法、任务调度系统及方法 |
| CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
| CN109213754A (zh) * | 2018-03-29 | 2019-01-15 | 北京九章云极科技有限公司 | 一种数据处理系统及数据处理方法 |
| CN110019144A (zh) * | 2018-06-19 | 2019-07-16 | 杭州数澜科技有限公司 | 一种大数据平台数据运维的方法和系统 |
| CN109376015A (zh) * | 2018-10-23 | 2019-02-22 | 苏州思必驰信息科技有限公司 | 用于任务调度系统的日志阻塞解决方法及系统 |
| CN109977091A (zh) * | 2019-02-25 | 2019-07-05 | 贵州电网有限责任公司 | 一种分布式计算和存储系统 |
| CN109840267A (zh) * | 2019-03-01 | 2019-06-04 | 成都品果科技有限公司 | 一种数据etl系统及方法 |
| CN110069334A (zh) * | 2019-05-05 | 2019-07-30 | 重庆天蓬网络有限公司 | 一种基于包管理的分布式数据作业调度的方法和系统 |
Non-Patent Citations (7)
| Title |
|---|
| 刘寅: "大数据技术在智能电网的应用", 电子技术与软件工程, no. 08, pages 167 * |
| 堕落门徒: "AirFlow简介", pages 1 - 6, Retrieved from the Internet <URL:《https://www.cnblogs.com/cord/p/9450910.html》> * |
| 宁剑;张勇;严亚勤;张哲;: "智能电网调度控制系统基础平台公共服务技术规范解读", 智能电网, no. 03 * |
| 李子乾;王乐之;张云志;张旭坤;: "电网大规模数据仓库的数据接入研究与设计", 计算机应用与软件, no. 08 * |
| 杨漾;张若曦;刘文彬;苏凯;: "电力云计算中关联任务调度算法", 电子测试, no. 04 * |
| 桂前进, 江千军: "分析电网调控运行大数据存储与处理技术", 自动化应用, no. 10, pages 127 - 128 * |
| 高原;顾星;翟明玉;高宗和;: "实时监控系统中的任务调度方法研究", 科技资讯 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506412A (zh) * | 2020-04-22 | 2020-08-07 | 上海德拓信息技术股份有限公司 | 基于Airflow的分布式异步任务构建、调度系统及方法 |
| CN111506412B (zh) * | 2020-04-22 | 2023-04-25 | 上海德拓信息技术股份有限公司 | 基于Airflow的分布式异步任务构建、调度系统及方法 |
| CN111782679A (zh) * | 2020-06-22 | 2020-10-16 | 深圳市酷开网络科技有限公司 | 数据处理过程的监管方法、装置、计算机设备及存储介质 |
| CN111782679B (zh) * | 2020-06-22 | 2024-03-26 | 深圳市酷开网络科技股份有限公司 | 数据处理过程的监管方法、装置、计算机设备及存储介质 |
| CN112782469A (zh) * | 2021-01-13 | 2021-05-11 | 公诚管理咨询有限公司 | 一种基于分布式计算的智能电网计量处理方法 |
| CN112925624A (zh) * | 2021-03-17 | 2021-06-08 | 中国电子系统技术有限公司 | 一种数据处理任务的配置方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110764747A (zh) | 基于Airflow的数据计算调度方法 | |
| CN109684053B (zh) | 大数据的任务调度方法和系统 | |
| Huang et al. | A history-based cost-cognizant test case prioritization technique in regression testing | |
| CN105719126B (zh) | 一种基于生命周期模型的互联网大数据任务调度的系统及方法 | |
| Goševa-Popstojanova et al. | Architecture-based approach to reliability assessment of software systems | |
| CN110647387B (zh) | 一种教育云大数据任务调度方法与系统 | |
| CN111984390A (zh) | 任务调度方法、装置、设备及存储介质 | |
| CN102467532A (zh) | 一种任务处理方法以及任务处理装置 | |
| CN113220431B (zh) | 跨云的分布式数据任务调度方法、设备及存储介质 | |
| CN111797157B (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
| CN103903312B (zh) | 自动巡检的执行方法和装置 | |
| CN106933857B (zh) | 一种数据仓库中任务的调度方法、装置 | |
| CN110442647A (zh) | 数据一致性同步方法、装置及计算机可读存储介质 | |
| CN110851256A (zh) | 一种基于电力大数据的数据计算调度方法 | |
| US11119899B2 (en) | Determining potential test actions | |
| CN106843822B (zh) | 一种执行代码生成方法及设备 | |
| CN109471709B (zh) | 基于Apache Oozie框架处理大数据的流程任务的调度方法 | |
| Reynolds et al. | Towards automated provenance collection for runtime models to record system history | |
| CN110827171A (zh) | 基于电力大数据的调度依赖计算方法 | |
| CN116185996A (zh) | 一种批量调度的校验方法及装置 | |
| US11921624B2 (en) | Dynamic templated data test generation and execution | |
| CN108121605A (zh) | 一种基于yarn的cgroup内存控制优化方法及系统 | |
| Liang | Design and Implementation of Big Data Visual Statistical Analysis Platform | |
| Marynowski | Towards dependability testing of MapReduce systems | |
| US11711179B2 (en) | Testing networked system using abnormal node failure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210729 Address after: 510700 3rd, 4th and 5th floors of building J1 and 3rd floor of building J3, No.11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province Applicant after: China Southern Power Grid Research Institute Co.,Ltd. Address before: 510670 No.11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province Applicant before: China Southern Power Grid Research Institute Co.,Ltd. Applicant before: CSG POWER GRID TECHNOLOGY RESEARCH CENTER |
|
| TA01 | Transfer of patent application right |