CN114579190B - 基于流水线机制的跨中心协同计算的编排方法与系统 - Google Patents
基于流水线机制的跨中心协同计算的编排方法与系统 Download PDFInfo
- Publication number
- CN114579190B CN114579190B CN202210145958.4A CN202210145958A CN114579190B CN 114579190 B CN114579190 B CN 114579190B CN 202210145958 A CN202210145958 A CN 202210145958A CN 114579190 B CN114579190 B CN 114579190B
- Authority
- CN
- China
- Prior art keywords
- data
- center
- pipeline
- cross
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000007246 mechanism Effects 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 85
- 238000013439 planning Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 71
- 238000007726 management method Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000011144 upstream manufacturing Methods 0.000 claims description 14
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 241000218993 Begonia Species 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241000220225 Malus Species 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于流水线机制的跨数据中心协同计算的编排方法与系统，涉及跨数据中心协同计算技术领域。所述方法包括：各数据中心构建逻辑统一、物理分散的数据资源目录；根据协同分析需求，生成模型描述语言，并基于数据资源目录，使用模型描述语言对协同分析任务进行描述；对协同分析任务进行动态规划，生成跨中心流水线描述语言；基于跨中心流水线描述语言，生成跨中心的流水线子任务，并将流水线子任务分发到各数据中心执行，以向所述用户返回结果。本发明能够可视化配置跨数据中心的协同计算，监控协同计算任务规划及运行状况，能够提升跨数据中心的协同分析服务能力。
Description
技术领域
本发明涉及流水线、跨数据中心、协同计算技术领域，提出一种基于流水线机制的跨数据中心协同计算的编排方法与系统。
背景技术
典型的交叉学科应用需要融合多学科跨领域科学数据，如黑土生态分析、大气污染治理需融合分析生态数据、大气数据、土壤数据等，这些数据分散存储于不同的数据中心，数据体量大、迁移困难，同时由于安全及隐私性考虑不能公开。传统做法往往需人工拷贝数据后进行融合分析，操作复杂且效率低下。
同时，复杂流程的大数据处理与融合分析多依赖流水线系统。“一种大数据ETL任务的编排方法与系统”(申请号：201910359658.4)提出了针对单个数据中心的大数据ETL编排方法和系统，但没有对跨数据中心的数据处理与协同分析任务进行编排与调度。
本发明从这一背景出发，提供了一种基于流水线机制的跨中心协同计算的编排方法与系统。
发明内容
为提升跨数据中心的协同分析能力，本发明提供一种基于流水线机制的跨中心协同计算的编排方法和系统，实现面向复杂分析场景的跨数据中心协同分析服务。
为达到上述目的，本发明采用如下技术方案：
一种基于流水线机制的跨中心协同计算的编排方法，其步骤包括：
各数据中心基于数据源连接框架注册数据集，构建逻辑统一、物理分散的数据资源目录，其中所述数据集包括：数据集元数据和数据主体，所述数据主体包括：数据主体访问方式；
根据协同分析需求，生成模型描述语言，并基于所述数据资源目录，通过模型描述语言分别获取目标数据的数据源、将目标数据的数据主体访问方式抽象为流水线中的数据处理组件、及进行模型算法配置与数据流向配置，从而以流水线方式对协同分析任务进行描述；
结合所述数据源的使用状态监控数据，对所述协同分析任务进行动态规划，生成跨中心流水线描述语言；
基于跨中心流水线描述语言，生成跨中心的流水线子任务，并将流水线子任务分发到各数据中心执行，以向所述用户返回结果。
进一步地，所述数据集元数据包括：协同计算节点、所属数据中心名称、数据集唯一标识、数据集名称、数据集描述、数据集创建者、数据集创建时间、数据集许可证和数据集分类。
进一步地，所述数据主体还包括：数据主体元数据、数据主体条数和数据主体存储容量。
进一步地，所述协同分析任务包括：基本信息、数据处理组件和数据流向。
进一步地，所述数据处理组件包括：数据处理组件名称、数据处理组件唯一标识、数据处理组件类名、数据处理组件属、数据处理组件数据流入端口列表、数据处理组件数据流出端口列表和数据中心属性。
进一步地，所述对所述协同分析任务进行动态规划，包括：
1)根据目标数据的分布情况给数据处理组件打标签，确定数据组件所处数据中心；
2)生成协同分析任务的有向无环图，其中所述有向无环图中的节点为数据处理组件，边为数据流向；
3)按照DAG有向无环图自顶向下遍历方式进行遍历，通过如下方式
若上游的数据处理组件在同一数据中心，则当前数据处理组件在该数据中心执行；
若上游的数据处理组件不在同一数据中心，则基于所述数据源的使用状态监控数据与各数据中心中相应的目标数据体量，依据优先执行原则，动态地确定执行当前数据处理组件所在的数据中心。
进一步地，所述优先执行原则包括：优先移动小体量数据或优先资源充裕的数据源。
进一步地，所述跨中心流水线描述语言包括：至少一个单域流水线和至少一条跨中心传递路径，其中所述单域流水线的描述包括：数据中心属性、流水线输入端口和流水线输出端口。
进一步地，基于区块链技术，监控流水线子任务的执行情况，并通过账本进行存证。
一种基于流水线机制的跨中心协同计算的编排系统，包括：
跨中心流水线服务与调度引擎，包括：
统一数据源连接框架，用以构建协同共享的数据协同环境，以基于数据集生成逻辑统一、物理分散的数据资源目录，其中所述数据集包括：数据集元数据和数据主体，所述数据主体包括：数据主体访问方式；
融合分析模块，用以根据用户的协同分析需求，使用所述数据资源目录，分别获取目标数据的数据源、将目标数据的数据主体访问方式抽象为流水线中的数据处理组件、及进行模型算法配置与数据流向配置，从而以流水线方式对协同分析任务进行描述；
动态任务规划模块，用以结合所述数据源的使用状态监控数据，对所述协同分析任务进行动态规划，生成跨中心流水线描述语言；基于跨中心流水线描述语言，生成跨中心的流水线子任务；将流水线子任务分发到各数据中心执行；
算法分析流水线平台，用以基于流水线子任务向所述用户返回结果；
交互式跨中心协同分析平台，包括：
流水线可视化分析模块，用以根据协同分析需求，生成模型描述语言。
进一步地，所述交互式跨中心协同分析平台，还包括：
数据中心节点管理模块，用以对数据中心进行管理；
数据资源目录管理模块，用以对各数据中心注册的数据集进行统一管理；
运行环境监控管理模块，用以对所述编排系统进行监控和预警；
模型算法库管理模块，用以提供大数据相关处理算子。
本发明的有益效果如下：
本发明的基于流水线机制的跨中心协同计算的编排方法与系统，能够可视化配置跨数据中心的协同计算，监控协同计算任务规划及运行状况，能够提升跨数据中心的协同分析服务能力。
附图说明
图1本发明编排方法的流程图。
图2协同计算统一数据源示意图。
图3协同分析示意图。
图4协同分析流水线描述语言。
图5A-5J跨中心协同任务动态规划示意图。
图6跨中心流水线描述语言示意图。
图7跨中心协同分析子任务调度示意图。
图8基于流水线机制的跨中心协同分析系统架构图。
图9实施例协同分析示意图。
图10实施例协同分析任务动态规划示意图。
图11实施例协同分析任务调度示意图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明。
一种基于流水线机制的跨中心协同计算的编排方法，如图1所示，包括以下步骤：
1)各数据中心基于数据源连接框架注册数据集，构建逻辑统一、物理分散的数据资源目录，其中所述数据集包括：数据集元数据和数据主体，所述数据主体包括：数据主体访问方式；
2)根据协同分析需求，生成模型描述语言，并基于所述数据资源目录，通过模型描述语言分别获取目标数据的数据源、将目标数据的数据主体访问方式抽象为流水线中的数据处理组件、及进行模型算法配置与数据流向配置，从而以流水线方式对协同分析任务进行描述；
3)结合所述数据源的使用状态监控数据，对所述协同分析任务进行动态规划，生成跨中心流水线描述语言；
4)基于跨中心流水线描述语言，生成跨中心的流水线子任务，并将流水线子任务分发到各数据中心执行，以向所述用户返回结果。
在一实施例中，上述方法中针对大数据多源、异构等特性，制定数据管理标准规范，实现可定制的统一数据源连接框架，支撑各类多源异构大数据的接入，构建面向协同分析场景的统一数据资源目录，形成“逻辑统一、物理分散、责权管控”的数据资源池。数据中心共享发布的数据集包括数据集元数据和数据主体两部分，具体见图2。数据集元数据包括协同计算节点ComputingNode、所属数据中心名称DataCenter、数据集唯一标识DatasetId、数据集名称DatasetName、数据集描述DatasetDescription、数据集创建者DatasetCreator、数据集创建时间DatasetCreateTime、数据集许可证DatasetLicense、数据集分类DatasetSubject等；数据主体包括数据主体元数据DatasetSchema、数据主体条数DatasetEntities、数据主体存储容量DatasetCapacity和数据主体访问方式DatasetURILookupEndpoint。各数据中心按需向数据源连接框架注册数据集，基于公知的区块链技术将数据元数据信息写入到区块链账本，实现数据的确权和可信存证。
在一实施例中，上述方法将数据主体访问方式抽象为流水线中的数据处理组件，同时将数据处理、融合、存储、分析等方面的各类智能算法封装成组件，采用流水线机制对跨数据中心协同分析任务进行灵活编排。支持各类数据源、数据处理组件、模型算法配置和数据流向配置，具体见图3，用户基于逻辑统一、物理分散的数据资源池，通过流水线配置实现数据协同分析任务灵活编排。
在一实施例中，上述方法基于“一种大数据ETL任务的编排方法与系统”(专利号：201910359658.4)对协同分析任务进行描述，如图4所示。同样地，协同分析任务Flow包含基本信息BasicInfo、数据处理组件Stop和数据流向Path三个模块。
在“一种大数据ETL任务的编排方法与系统”中，BasicInfo模块包含Name(ETL任务名称)，UUID(ETL任务唯一标识)、Checkpoint(ETL检查点)和RunMode(ETL任务运行模式)，其中Checkpoint和RunMode可选。Stop模块包含Name(数据处理组件名称)、UUID(数据处理组件唯一标识)、Bundle(数据处理组件类名)、Properties(数据处理组件属性，Properties包含0到多个Property)、Inports(数据处理组件数据流入端口列表，包含多个Inport)、Outports(数据处理组件数据流出端口列表，包含多个Outport)。Path模块包含From(源数据处理组件)，Outport(源数据处理组件数据流出端口)，Inport(目标数据处理组件数据流入端口)，To(目标数据处理组件)。
而本发明对数据处理组件Stop的描述进行了扩展，增加了数据中心DataCenter属性，为协同分析任务动态规划提供支持，即本发明会根据DataCenter来确定数据的分布，从而将任务分发到对应DataCenter中去执行。
在一实施例中，根据各数据处理组件、模型算法数据分布情况，按照移动计算不移动数据原则，对协同计算任务进行规划。图5A-5J展示了任务规划示意图，首先根据数据分布情况给数据处理组件打标签，确定数据组件所处数据中心DataCenter；然后按照DAG有向无环图自顶向下遍历方式进行遍历：若上游组件都在同一数据中心，则当前组件在此数据中心执行；若上游组件不在同一数据中心，综合考虑下游组件数据中心情况，动态感知上下游各数据中心计算资源、存储资源、数据体量等情况，遵循优先移动小量数据、优先资源充裕节点的原则，动态确定所在数据中心，实现协同分析任务的高效执行。
在一实施例中，上述方法基于“一种大数据ETL任务的编排方法与系统”(专利号：201910359658.4)对流水线描述语言进行扩展，将动态规划任务描述成跨中心流水线描述语言BigFlow，如图6所示。图中每个矩形框表示一个节点，矩形框跟随的加号表示节点可展开，矩形框下方的数字表示节点允许出现的次数。BigFlow由Flow和Path两个模块组成，均为一对多关系，即一条跨中心流水线可包含多个单域流水线Flow和多条跨中心传递路径Path。Flow的描述新增数据中心DataCenter属性、流水线输入端口Inport、流水线输出端口Outport，用于描述跨数据中心流水线间的数据传输。
在一实施例中，上述方法设计统一跨域协同调度策略，将子任务分发到各个数据中心进行执行，并监控子任务执行情况，具体见图7。基于公知的区块链技术，将协同计算子任务通过账本进行存证，包括调用者、调用时间、运行节点情况、输入、关键点、返回值等，实现跨中心协同计算的数据溯源与行为安全审计，完成协同分析任务。
在一实施例中，上述方法中各数据中心需部署算法分析流水线平台，算法分析流水线平台基于“一种大数据ETL任务的编排方法与系统”(专利号：201910359658.4)实现，接收协同计算子任务并执行。
与上述方法相应地，本发明还提供一种基于流水线机制的跨中心协同计算的编排系统，具体系统结构如图8所示。该系统包括跨中心流水线服务与调度引擎和交互式跨中心协同分析平台。
所述跨中心流水线服务与调度引擎包括统一数据源连接框架、融合分析、动态任务规划、算子下推、算法分析流水线平台和可信存证与溯源。统一数据源连接框架构建协同共享的数据协同环境，支撑各类多源异构大数据的接入，构建面向融合分析场景的数据资源目录；融合分析模块基于统一数据资源目录对协同分析任务进行编排并生成跨中心流水线模型描述语言；动态任务规划模块根据数据分布、计算及存储资源等情况对协同任务进行动态规划，生成子任务；算子下推模块根据任务动态规划结果进行子任务的调度，将子任务分发到各数据中心执行；算法分析流水线平台接收子任务，执行并返回结果。协同分析过程采用公知的区块链技术保证数据确权及流转溯源由。
所述的交互式跨中心协同分析平台，包括数据中心节点管理、数据资源目录管理、运行环境监控管理、模型算法库管理和流水线可视化分析。其中，数据中心节点管理包括节点的注册、审核、删除等操作；数据资源目录管理针对各个数据中心注册的数据集进行统一管理、包括数据集注册、审核、删除等操作；运行环境监控管理包括对各数据中心的状态、算法分析流水线平台、计算及存储资源情况进行监控和预警；模型算法库管理默认提供大数据相关处理算子，支持自定义开发算子、支持算子热插拔等功能；流水线可视化分析实现以所见即所得拖拽配置方式实现跨中心的协同分析。所述的流水线可视化分析模块包括跨中心流水线模型描述语言生成器，用于将用户可视化配置的流水线协同分析任务生成模型描述语言，并发送至跨中心流水线服务与调度引擎，完成协同分析任务。
本系统的构建过程以某用户某一特定需求为例进行说明。某用户特定需求描述如下：数据中心A和数据中心B分别发布共享秋海棠属物种的分布数据集，用户需融合这两个数据集做秋海棠属物种分布分析。具体实施如下：
首先，数据中心A发布共享秋海棠属物种数据集“秋海棠属物种Dataset-A”，数据体量为5GB。数据中心B发布共享秋海棠属物种数据集“秋海棠属物种Dataset-B”，数据体量为56MB。用户通过检索统一数据资源目录，发现所需数据集。针对可用数据集进行协同分析，具体流程如图9所示，将两个数据集分别做预处理后进行融合，基于融合后的数据进行物种分布算法计算，最后以可视化形式展示。
其次，针对用户配置的协同分析流水线进行任务动态规划，见图10。首先根据数据源对数据处理组件打标签，按照自顶向下方式进行遍历，确定各组件执行位置，见第一步。两个“预处理”组件对应上游组件唯一，则所在执行位置与上游组件一致，见第二步。“Merge”组件的上游组件所在数据中心位置不一致，遵循移动少量数据原则确定执行位置为数据中心A。“物种分布算法”组件和“可视化展示”组件的上游组件唯一，则执行位置均在数据中心A。最终形成两条子任务Flow1和Flow2。
第三，根据动态规划结果，首先将Flow1分发到数据中心B执行，执行结果返回给数据中心A，并在数据中心A执行Flow2，完成协同分析任务，具体图11所示。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。
Claims (6)
1.一种基于流水线机制的跨中心协同计算的编排方法，其步骤包括：
各数据中心基于数据源连接框架注册数据集，构建逻辑统一、物理分散的数据资源目录，其中所述数据集包括：数据集元数据和数据主体，所述数据主体包括：数据主体访问方式；
根据用户的协同分析需求，生成模型描述语言，并基于所述数据资源目录，通过模型描述语言分别获取目标数据的数据源、将目标数据的数据主体访问方式抽象为流水线中的数据处理组件、及进行模型算法配置与数据流向配置，从而以流水线方式对协同分析任务进行描述；其中，所述协同分析任务包括：基本信息、数据处理组件和数据流向；所述数据处理组件包括：数据处理组件名称、数据处理组件唯一标识、数据处理组件类名、数据处理组件属、数据处理组件数据流入端口列表、数据处理组件数据流出端口列表和数据中心属性；结合所述数据源的使用状态监控数据，对所述协同分析任务进行动态规划，生成跨中心流水线描述语言；其中，所述跨中心流水线描述语言包括：至少一个单域流水线和至少一条跨中心传递路径，所述单域流水线的描述包括：数据中心属性、流水线输入端口和流水线输出端口；所述对所述协同分析任务进行动态规划，包括：
根据目标数据的分布情况给数据处理组件打标签，确定数据组件所处数据中心；
生成协同分析任务的有向无环图；其中，所述有向无环图中的节点为数据处理组件，边为数据流向；
按照DAG有向无环图自顶向下遍历方式进行遍历，包括：
若上游的数据处理组件在同一数据中心，则当前数据处理组件在该数据中心执行；
若上游的数据处理组件不在同一数据中心，则基于所述数据源的使用状态监控数据与各数据中心中相应的目标数据体量，依据优先执行原则，动态地确定执行当前数据处理组件所在的数据中心；其中，所述优先执行原则包括：优先移动小体量数据或优先资源充裕的数据源；
基于跨中心流水线描述语言，生成跨中心的流水线子任务，并将流水线子任务分发到各数据中心执行，以向所述用户返回结果。
2.如权利要求1所述的方法，其特征在于，所述数据集元数据包括：协同计算节点、所属数据中心名称、数据集唯一标识、数据集名称、数据集描述、数据集创建者、数据集创建时间、数据集许可证和数据集分类。
3.如权利要求1所述的方法，其特征在于，所述数据主体还包括：数据主体元数据、数据主体条数和数据主体存储容量。
4.如权利要求1所述的方法，其特征在于，基于区块链技术，监控流水线子任务的执行情况，并通过账本进行存证。
5.一种基于流水线机制的跨中心协同计算的编排系统，包括：
跨中心流水线服务与调度引擎，包括：
统一数据源连接框架，用以构建协同共享的数据协同环境，以基于数据集生成逻辑统一、物理分散的数据资源目录，其中所述数据集包括：数据集元数据和数据主体，所述数据主体包括：数据主体访问方式；
融合分析模块，用以根据用户的协同分析需求，使用所述数据资源目录，分别获取目标数据的数据源、将目标数据的数据主体访问方式抽象为流水线中的数据处理组件、及进行模型算法配置与数据流向配置，从而以流水线方式对协同分析任务进行描述；其中，所述协同分析任务包括：基本信息、数据处理组件和数据流向；所述数据处理组件包括：数据处理组件名称、数据处理组件唯一标识、数据处理组件类名、数据处理组件属、数据处理组件数据流入端口列表、数据处理组件数据流出端口列表和数据中心属性；
动态任务规划模块，用以结合所述数据源的使用状态监控数据，对所述协同分析任务进行动态规划，生成跨中心流水线描述语言；基于跨中心流水线描述语言，生成跨中心的流水线子任务；将流水线子任务分发到各数据中心执行；其中，所述跨中心流水线描述语言包括：至少一个单域流水线和至少一条跨中心传递路径，所述单域流水线的描述包括：数据中心属性、流水线输入端口和流水线输出端口；所述对所述协同分析任务进行动态规划，包括：
根据目标数据的分布情况给数据处理组件打标签，确定数据组件所处数据中心；
生成协同分析任务的有向无环图；其中，所述有向无环图中的节点为数据处理组件，边为数据流向；
按照DAG有向无环图自顶向下遍历方式进行遍历，包括：
若上游的数据处理组件在同一数据中心，则当前数据处理组件在该数据中心执行；
若上游的数据处理组件不在同一数据中心，则基于所述数据源的使用状态监控数据与各数据中心中相应的目标数据体量，依据优先执行原则，动态地确定执行当前数据处理组件所在的数据中心；其中，所述优先执行原则包括：优先移动小体量数据或优先资源充裕的数据源；
算法分析流水线平台，用以基于流水线子任务向所述用户返回结果；
交互式跨中心协同分析平台，包括：
流水线可视化分析模块，用以根据协同分析需求，生成模型描述语言。
6.如权利要求5所述的系统，其特征在于，所述交互式跨中心协同分析平台，还包括：
数据中心节点管理模块，用以对数据中心进行管理；
数据资源目录管理模块，用以对各数据中心注册的数据集进行统一管理；
运行环境监控管理模块，用以对所述编排系统进行监控和预警；
模型算法库管理模块，用以提供大数据相关处理算子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210145958.4A CN114579190B (zh) | 2022-02-17 | 2022-02-17 | 基于流水线机制的跨中心协同计算的编排方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210145958.4A CN114579190B (zh) | 2022-02-17 | 2022-02-17 | 基于流水线机制的跨中心协同计算的编排方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114579190A CN114579190A (zh) | 2022-06-03 |
| CN114579190B true CN114579190B (zh) | 2022-10-14 |
Family
ID=81770093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210145958.4A Active CN114579190B (zh) | 2022-02-17 | 2022-02-17 | 基于流水线机制的跨中心协同计算的编排方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114579190B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116795434B (zh) * | 2023-08-21 | 2023-11-14 | 云账户技术(天津)有限公司 | 一种流水线式任务处理方法、装置、电子设备及存储介质 |
| CN117289924A (zh) * | 2023-10-13 | 2023-12-26 | 河北云在信息技术服务有限公司 | 一种基于Flink的可视化任务编排系统和方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6032203A (en) * | 1997-04-07 | 2000-02-29 | General Electric Company | System for interfacing between a plurality of processors having different protocols in switchgear and motor control center applications by creating description statements specifying rules |
| CN1781096A (zh) * | 2003-08-21 | 2006-05-31 | 微软公司 | 通过中介文件系统或设备同步计算机系统的系统和方法 |
| CN103109260A (zh) * | 2010-05-04 | 2013-05-15 | 谷歌公司 | 数据的并行处理 |
| CN106572191A (zh) * | 2016-11-15 | 2017-04-19 | 厦门市美亚柏科信息股份有限公司 | 跨数据中心协同计算方法及其系统 |
| CN108431766A (zh) * | 2015-12-02 | 2018-08-21 | 速度公司 | 用于将面向对象/函数式语言映射到数据库语言的方法和系统 |
| CN110134695A (zh) * | 2019-05-21 | 2019-08-16 | 电子科技大学 | 一种面向流水线结构化数据查询的数据库智能分区方法 |
| CN110232085A (zh) * | 2019-04-30 | 2019-09-13 | 中国科学院计算机网络信息中心 | 一种大数据etl任务的编排方法与系统 |
| CN111274294A (zh) * | 2020-01-09 | 2020-06-12 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化逻辑汇聚组织、发布与服务方法及系统 |
| CN112383878A (zh) * | 2020-09-27 | 2021-02-19 | 中国信息通信研究院 | 一种协同计算方法及电子装置 |
| CN113010598A (zh) * | 2021-04-28 | 2021-06-22 | 河南大学 | 面向遥感大数据处理的动态自适应分布式协同工作流系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3265905A4 (en) * | 2015-03-06 | 2018-11-21 | Cisco Technology, Inc. | Systems and methods for generating data visualization applications |
| US10305725B2 (en) * | 2015-10-31 | 2019-05-28 | Nicira, Inc. | Local controller agent for converting logical pipeline data |
| CN109906165A (zh) * | 2016-08-10 | 2019-06-18 | 兹沃公司 | 使用推断的注意力模型经由收集和存储的元数据提供信息的方法和设备 |
| CN111694888A (zh) * | 2020-06-12 | 2020-09-22 | 谷云科技(广州)有限责任公司 | 基于微服务架构的分布式etl数据交换系统及方法 |
-
2022
- 2022-02-17 CN CN202210145958.4A patent/CN114579190B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6032203A (en) * | 1997-04-07 | 2000-02-29 | General Electric Company | System for interfacing between a plurality of processors having different protocols in switchgear and motor control center applications by creating description statements specifying rules |
| CN1781096A (zh) * | 2003-08-21 | 2006-05-31 | 微软公司 | 通过中介文件系统或设备同步计算机系统的系统和方法 |
| CN103109260A (zh) * | 2010-05-04 | 2013-05-15 | 谷歌公司 | 数据的并行处理 |
| CN108431766A (zh) * | 2015-12-02 | 2018-08-21 | 速度公司 | 用于将面向对象/函数式语言映射到数据库语言的方法和系统 |
| CN106572191A (zh) * | 2016-11-15 | 2017-04-19 | 厦门市美亚柏科信息股份有限公司 | 跨数据中心协同计算方法及其系统 |
| CN110232085A (zh) * | 2019-04-30 | 2019-09-13 | 中国科学院计算机网络信息中心 | 一种大数据etl任务的编排方法与系统 |
| CN110134695A (zh) * | 2019-05-21 | 2019-08-16 | 电子科技大学 | 一种面向流水线结构化数据查询的数据库智能分区方法 |
| CN111274294A (zh) * | 2020-01-09 | 2020-06-12 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化逻辑汇聚组织、发布与服务方法及系统 |
| CN112383878A (zh) * | 2020-09-27 | 2021-02-19 | 中国信息通信研究院 | 一种协同计算方法及电子装置 |
| CN113010598A (zh) * | 2021-04-28 | 2021-06-22 | 河南大学 | 面向遥感大数据处理的动态自适应分布式协同工作流系统 |
Non-Patent Citations (1)
| Title |
|---|
| 模型驱动的大数据流水线框架PiFlow;朱小杰 等;《计算机应用》;20200610;第40卷(第6期);1638-1647 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114579190A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Štefanič et al. | SWITCH workbench: A novel approach for the development and deployment of time-critical microservice-based cloud-native applications | |
| CN114579190B (zh) | 基于流水线机制的跨中心协同计算的编排方法与系统 | |
| US9430294B2 (en) | Elastic management framework | |
| CN112866333A (zh) | 基于云原生的微服务场景优化方法、系统、设备和介质 | |
| CN105094818A (zh) | 基于soa的自然资源综合应用构建方法及系统 | |
| Davami et al. | Fog-based architecture for scheduling multiple workflows with high availability requirement | |
| Chauhan et al. | Cloud infrastructure for providing tools as a service: quality attributes and potential solutions | |
| Cordasco et al. | Toward the new version of D-MASON: efficiency, effectiveness and correctness in parallel and distributed agent-based simulations | |
| Plebani et al. | Fog computing and data as a service: A goal-based modeling approach to enable effective data movements | |
| CN108563787A (zh) | 一种数据中心综合管理系统的数据交互管理系统及方法 | |
| Huang et al. | Modelci-e: Enabling continual learning in deep learning serving systems | |
| Weichhart et al. | Task-based design of cyber-physical systems–meeting representational requirements with S-BPM | |
| Tabaa et al. | Towards a next generation of scientific computing in the cloud | |
| Jrad et al. | STRATFram: A framework for describing and evaluating elasticity strategies for service-based business processes in the cloud | |
| Brabra et al. | Model-driven elasticity for cloud resources | |
| Beni et al. | Infracomposer: Policy-driven adaptive and reflective middleware for the cloudification of simulation & optimization workflows | |
| Tate et al. | Reasoning with constraints within O-Plan2 | |
| Jergler et al. | D2WORM: A management infrastructure for distributed data-centric workflows | |
| Munari et al. | Microservice-based agile architectures: An opportunity for specialized niche technologies | |
| Provatas et al. | Selis bda: Big data analytics for the logistics domain | |
| Peregud et al. | Control Plane Systems Tracing and Debugging—Existing Problems and Proposed Solution | |
| Jrad et al. | STRATModel: Elasticity model description language for evaluating elasticity strategies for business processes | |
| Hassani et al. | Exploring the Integration of Business Process with Nosql Databases in the Context of BPM | |
| Morais et al. | Converging Data Mesh and Microservice Principles into a Unified Logical Architecture | |
| Darius et al. | From Data to Insights: A Review of Cloud-Based Big Data Tools and Technologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |