CN111596950A - 分布式数据开发引擎系统 - Google Patents
分布式数据开发引擎系统 Download PDFInfo
- Publication number
- CN111596950A CN111596950A CN202010413546.5A CN202010413546A CN111596950A CN 111596950 A CN111596950 A CN 111596950A CN 202010413546 A CN202010413546 A CN 202010413546A CN 111596950 A CN111596950 A CN 111596950A
- Authority
- CN
- China
- Prior art keywords
- data
- service unit
- development
- service
- service group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011161 development Methods 0.000 title claims abstract description 53
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000007726 management method Methods 0.000 claims description 13
- 238000013523 data management Methods 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
Abstract
本发明实施例提供一种分布式数据开发引擎系统，该系统包括：数据开发服务群，用于开发数据任务；基础服务群，用于存储所述数据任务的数据信息；作业服务群，用于监控所述数据任务的执行。本发明实施例提供的一种分布式数据开发引擎系统，通过数据开发服务群、基础服务群和作业服务群之间的服务关联，将数据任务开发过程抽象为多个核心服务，服务间相互协同，达到数据平台化统一治理，统一开发，解决传统数据开发规范无法统一、流程无法统一，调度无法统一，上线发布无法统一管控的问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种分布式数据开发引擎系统。
背景技术
随着互联网和信息产业的快速发展，大数据应用市场不断扩大，大数据作为国家战略，在推动我国经济转型升级过程中发挥着关键作用，其已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，逐渐成为现代社会发展的资源，各行各业都开始重视数据的价值。
在传统企业级数据任务开发过程中，因数据逻辑本身的复杂度原因，会面临四大困难：
1)系统独立数据隔离
在传统烟囱式的应用开发架构下，形成了诸多的数据孤岛，数据共享不畅。当应用需求在不断变换，多个服务模块都可能会面临接口的调整甚至重构，导致应用迭代效率低下。
2)敏捷能力差
面对快速迭代的业务需求，业务人员对数据分析及展现提出了更高的敏捷化的要求。IT技术人员与业务人员之间针对需求变更和迭代的沟通时间太长。
3)核心系统压力大
随着移动互联网的兴起，越来越多的系统面临高并发、低延迟、高吞吐的压力，导致大量业务系统需要频繁扩容，维护团队疲于奔命
4)数据访问能力低
全量历史数据提供直接在线服务时因数据量过大，数据展现时因为加载时间过长引起使用者不满。
发明内容
针对现有技术存在的问题，本发明实施例提供一种分布式数据开发引擎系统。
本发明提供一种分布式数据开发引擎系统，包括：
数据开发服务群，用于开发数据任务；
基础服务群，用于存储所述数据任务的数据信息；
作业服务群，用于监控所述数据任务的执行。
进一步地，所述数据开发服务群包括引擎管理服务单元、数据管理服务单元和数据开发服务单元，其中：
引擎管理服务单元，用于创建执行所述数据任务的数据引擎。
数据管理服务单元，用于创建对应于所述数据引擎的数据源，以及配置对应于所述数据源的数据接口。
数据开发服务单元，用于根据所述数据引擎和所述数据源开发数据任务。
进一步地，所述基础服务群包括元数据服务单元、标签服务单元和数据质量服务单元，其中：
元数据服务单元，用于存储及管理对应于数据源的底层数据；
标签服务单元，用于创建及存储对应于数据源的标签；
数据质量服务单元，用于创建及存储对数据源进行分析判定的数据质量规则。
进一步地，所述作业服务群包括监控服务单元、发布服务单元和操作服务单元，其中：
监控服务单元，用于配置对应于数据任务的监控配置信息和预警配置信息；
发布服务单元，用于发布开发后的数据任务；
操作服务单元，用于支持数据任务开发过程中的权限管理与控制。
进一步地，所述作业服务群还包括运维服务单元，用于对所述数据任务进行监控及操作。
本发明实施例提供的一种分布式数据开发引擎系统，通过数据开发服务群、基础服务群和作业服务群之间的服务关联，将数据任务开发过程抽象为多个核心服务，服务间相互协同，达到数据平台化统一治理，解决传统数据开发规范无法统一、流程无法统一，调度无法统一，上线发布无法统一管控的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的分布式数据开发引擎系统的结构图；
图2是本发明实施例提供的各服务群的结构组成图；
图3是本发明实施例提供的各服务单元间协作工作流程图；
图4是本发明实施例提供各服务单元间协作工作时序图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
图1示出了本发明一实施例提供的一种分布式数据开发引擎系统的结构示意图，参见图1，该系统基于微服务的架构设计，能够稳定可靠的分布式实现。该系统能够将数据加工为工作流，抽象为Service(服务)群，并统一外围监控与注册。由此，该系统包括数据开发服务群11、基础服务群12和作业服务群13，其中：
数据开发服务群11，用于开发数据任务，
基础服务群12，用于存储数据任务的数据信息；
作业服务群13，用于监控数据任务的执行。
需要说明的是，数据开发服务群主要着手对数据任务的开发，在开发过程中创建所需的数据源，该数据源作为对应于数据任务的数据信息存储在基础服务群中，该基础服务群存储及管理这些数据信息。在数据任务开发完成后，由作业服务群进行发布并在操作过程中完成必要的监控。
如图2所示，该数据开发服务群包括引擎管理服务单元111、数据管理服务单元112和数据开发服务单元113，其中：
引擎管理服务单元111，用于创建执行所述数据任务的数据引擎。
数据管理服务单元112，用于创建对应于所述数据引擎的数据源，以及配置对应于所述数据源的数据接口。
数据开发服务单元113，用于根据所述数据引擎和所述数据源开发数据任务。
该基础服务群包括元数据服务单元121、标签服务单元122和数据质量服务单元123，其中：
元数据服务单元121，用于存储及管理对应于数据源的底层数据。
标签服务单元122，用于创建及存储对应于数据源的标签。
数据质量服务单元123，用于创建及存储对数据源进行分析判定的数据质量规则。
该作业服务群包括监控服务单元131、发布服务单元132和操作服务单元133，其中：
监控服务单元131，用于配置对应于数据任务的监控配置信息和预警配置信息。
发布服务单元132，用于发布开发后的数据任务。
操作服务单元133，用于支持数据任务开发过程中的权限管理与控制。
该作业服务群还包括运维服务单元134，用于对所述数据任务进行监控及操作。
下面以附图3和附图4分别示出的各服务单元间协作工作流程图及工作时序图，参见图3和图4，具体如下：
开发人员通过操作服务创建项目、用户、权限等基本信息，创建完成后，通过引擎管理服务创建计算引擎，接着基于计算引擎通过数据管理服务创建对应于该数据引擎的数据源，并将对应于数据源的底层数据存储在元数据服务中，并在标签服务中为数据源配置标签。
配置数据源完成后，在开发管理服务中开发数据任务，并配置对应于该数据源的数据接口API。
在开发过程中，创建及存储对数据源进行分析判定的数据质量规则，并将数据质量规则存储在数据质量服务单元中。
还配置对应于数据任务的监控配置信息和预警配置信息，将监控配置信息和预警配置信息存储在监控服务单元中。该监控配置信息和预警配置信息表明在数据任务执行过程中所使用的监控参数及预警手段。
数据任务开发完成中，在发布服务中发布数据任务，并在运维服务中实现对数据任务的执行监控及操作。
本发明提供的分布式数据开发引擎系统，通过数据开发服务群、基础服务群和作业服务群之间的服务关联，将数据任务开发过程抽象为多个核心服务，服务间相互协同，达到数据平台化统一治理，解决传统数据开发规范无法统一、流程无法统一，调度无法统一，上线发布无法统一管控的问题。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。
Claims (5)
1.一种分布式数据开发引擎系统，其特征在于，包括：
数据开发服务群，用于开发数据任务，
基础服务群，用于存储所述数据任务的数据信息；
作业服务群，用于监控所述数据任务的执行。
2.根据权利要求1所述的分布式数据开发引擎系统，其特征在于，所述数据开发服务群包括引擎管理服务单元、数据管理服务单元和数据开发服务单元，其中：
引擎管理服务单元，用于创建执行所述数据任务的数据引擎。
数据管理服务单元，用于创建对应于所述数据引擎的数据源，以及配置对应于所述数据源的数据接口。
数据开发服务单元，用于根据所述数据引擎和所述数据源开发数据任务。
3.根据权利要求2所述的分布式数据开发引擎系统，其特征在于，所述基础服务群包括元数据服务单元、标签服务单元和数据质量服务单元，其中：
元数据服务单元，用于存储及管理对应于数据源的底层数据；
标签服务单元，用于创建及存储对应于数据源的标签；
数据质量服务单元，用于创建及存储对数据源进行分析判定的数据质量规则。
4.根据权利要求3所述的分布式数据开发引擎系统，其特征在于，所述作业服务群包括监控服务单元、发布服务单元和操作服务单元，其中：
监控服务单元，用于配置对应于数据任务的监控配置信息和预警配置信息；
发布服务单元，用于发布开发后的数据任务；
操作服务单元，用于支持数据任务开发过程中的权限管理与控制。
5.根据权利要求4所述的分布式数据开发引擎系统，其特征在于，所述作业服务群还包括运维服务单元，用于对所述数据任务进行监控及操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010413546.5A CN111596950A (zh) | 2020-05-15 | 2020-05-15 | 分布式数据开发引擎系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010413546.5A CN111596950A (zh) | 2020-05-15 | 2020-05-15 | 分布式数据开发引擎系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111596950A true CN111596950A (zh) | 2020-08-28 |
Family
ID=72191265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010413546.5A Pending CN111596950A (zh) | 2020-05-15 | 2020-05-15 | 分布式数据开发引擎系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111596950A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142949A1 (en) * | 2013-11-18 | 2015-05-21 | Nuwafin Holdings Ltd | System and method for collaborative designing, development, deployment, execution, monitoring and maintenance of enterprise applications |
| CN106649455A (zh) * | 2016-09-24 | 2017-05-10 | 孙燕群 | 一种大数据开发的标准化系统归类、命令集系统 |
| CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
| CN108563787A (zh) * | 2018-04-26 | 2018-09-21 | 郑州云海信息技术有限公司 | 一种数据中心综合管理系统的数据交互管理系统及方法 |
| CN108874524A (zh) * | 2018-06-21 | 2018-11-23 | 山东浪潮商用系统有限公司 | 大数据分布式任务调度系统 |
| CN108881477A (zh) * | 2018-07-16 | 2018-11-23 | 上海新炬网络技术有限公司 | 一种基于分布式的文件采集监控的方法 |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-05-15 CN CN202010413546.5A patent/CN111596950A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142949A1 (en) * | 2013-11-18 | 2015-05-21 | Nuwafin Holdings Ltd | System and method for collaborative designing, development, deployment, execution, monitoring and maintenance of enterprise applications |
| CN106649455A (zh) * | 2016-09-24 | 2017-05-10 | 孙燕群 | 一种大数据开发的标准化系统归类、命令集系统 |
| CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
| CN108563787A (zh) * | 2018-04-26 | 2018-09-21 | 郑州云海信息技术有限公司 | 一种数据中心综合管理系统的数据交互管理系统及方法 |
| CN108874524A (zh) * | 2018-06-21 | 2018-11-23 | 山东浪潮商用系统有限公司 | 大数据分布式任务调度系统 |
| CN108881477A (zh) * | 2018-07-16 | 2018-11-23 | 上海新炬网络技术有限公司 | 一种基于分布式的文件采集监控的方法 |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229799B (zh) | 一种多源异构电网运行实时数据接入系统及方法 | |
| CN113569987A (zh) | 模型训练方法和装置 | |
| CN111400011B (zh) | 一种实时任务调度方法、系统、设备及可读存储介质 | |
| CN109271435A (zh) | 一种支持断点续传的数据抽取方法及系统 | |
| US9430219B2 (en) | Revision safe upgrade in a hybrid cloud landscape | |
| CN101216782A (zh) | 一种金融数据实现etl加工的方法和系统 | |
| CN106354729A (zh) | 一种图数据处理方法、装置和系统 | |
| CN112445598B (zh) | 一种基于quartz的任务调度方法、装置、电子设备以及介质 | |
| CN107203421A (zh) | 一种云计算环境中自适应的组合工作流方法 | |
| CN110619014A (zh) | 一种基于etl的数据抽取方法 | |
| CN101753619B (zh) | 用于扩展服务模型的方法和系统 | |
| CN110502566B (zh) | 近实时数据采集方法、装置、电子设备、存储介质 | |
| CN112631903A (zh) | 任务测试方法、装置、电子设备及存储介质 | |
| CN111596950A (zh) | 分布式数据开发引擎系统 | |
| CN116661978A (zh) | 一种分布式的流程处理方法、装置及分布式业务流程引擎 | |
| CN116627609A (zh) | 基于Hive批处理的调度方法及装置 | |
| CN115617480A (zh) | 一种任务调度方法、装置、系统及存储介质 | |
| CN101398923A (zh) | 基于序号的业务流程建模方法及系统 | |
| CN114237858A (zh) | 一种基于多集群网络的任务调度方法及系统 | |
| CN101794417A (zh) | 基于序号的工作流调度和业务流程建模方法 | |
| CN101719239A (zh) | 一种mrp数据处理方法、装置及mrp系统 | |
| CN113254437A (zh) | 一种批处理作业处理方法和装置 | |
| US20040122749A1 (en) | System and method for managing manufacturing orders | |
| CN111428950A (zh) | 排班方法和装置 | |
| US20120303647A1 (en) | Method and system for implementing an on-demand scheduler |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 305-1, Building 16, Yard 16, Yingcai North 3rd Street, Future Science City, Changping District, Beijing 102211 Applicant after: ZTE Wisdom (Beijing) Technology Co.,Ltd. Address before: Room 305-1, Building 16, No. 16, Yingcai North Third Street, Future Science City, Changping District, Beijing, 102209 Applicant before: Bo Yi Chih soft (Beijing) Technology Co.,Ltd. |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yan Jinwen Inventor after: Yi Zhouqi Inventor after: Hu Bo Inventor after: Gong Yiling Inventor before: Yan Jinwen Inventor before: Yi Zhouqi Inventor before: Hu Bo |