CN110069335A - 任务处理系统、方法、计算机设备和存储介质 - Google Patents

任务处理系统、方法、计算机设备和存储介质 Download PDF

Info

Publication number
CN110069335A
CN110069335A CN201910376505.0A CN201910376505A CN110069335A CN 110069335 A CN110069335 A CN 110069335A CN 201910376505 A CN201910376505 A CN 201910376505A CN 110069335 A CN110069335 A CN 110069335A
Authority
CN
China
Prior art keywords
task
module
execution
waiting
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910376505.0A
Other languages
English (en)
Inventor
胡利斌
杨纲
董延峰
张宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Manyun Software Technology Co Ltd
Original Assignee
Jiangsu Manyun Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Manyun Software Technology Co Ltd filed Critical Jiangsu Manyun Software Technology Co Ltd
Priority to CN201910376505.0A priority Critical patent/CN110069335A/zh
Publication of CN110069335A publication Critical patent/CN110069335A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Abstract

本发明涉及大数据处理技术领域，提供一种任务处理系统、方法、计算机设备和存储介质。其中任务处理系统包括：任务提交模块，用于接收创建的任务，生成待处理任务并提交；应用发布模块，用于接收提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；任务执行模块，包括多个执行队列，各个执行队列根据接收的待处理任务，并行执行各个待处理任务；以及监控模块，与应用发布模块和任务执行模块通信，监控模块采集并监控应用发布数据和任务执行数据，以响应任务提交模块。本发明能够实现任务的自动化发布、执行和实时监控，提高任务处理效率和运行稳定性。

Description

任务处理系统、方法、计算机设备和存储介质
技术领域
本发明涉及大数据处理技术领域，具体地说，涉及一种任务处理系统、方法、计算机设备和存储介质。
背景技术
近年来，随着大数据技术的兴起，越来越多的公司都成立了大数据部门，通过集群管理公司业务。随着公司业务的不断增长，各公司的集群普遍存在一些问题，如：非部门员工如何使用集群资源、集群中大量任务如何启停，如何避免任务被不相关用户误操作，应用资源的独占和共享问题、任务日志的排查问题等问题。为了避免上述问题的发生，业界普遍将任务的处理集成到全家桶式的大数据架构平台，通过云平台或者Docker化发布。但由于全家桶式的大数据架构平台大而全，导致易用性较差，且权限不便控制。
具体来说，通过全家桶式的大数据架构平台，用户能通过查询Hive、Impala、SparkSql等获取数据，但是对于复杂的任务，尤其是需要复杂的聚合等逻辑计算的任务无法处理。此时通常需要开发人员通过运维开通堡垒机权限，用户通过堡垒机登录到集群机器上直接通过命令行操作。这种处理方式要求用户对相关命令的掌握程度较高，导致应用不灵活、易用性较差。且由于集群权限管理等原因，出于安全性考虑，用户无法直接查看任务运行的详细日志，无法及时查看任务执行的阶段及结果，平台管理员也无法对任务造成集群资源占用过大等情况进行管控。
需要说明的是，在上述背景技术部分申请的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种任务处理系统、方法、计算机设备和存储介质，能够实现任务的自动化发布、执行和实时监控，提高任务处理效率和运行稳定性。
根据本发明的一个方面，提供一种任务处理系统，包括：任务提交模块，用于接收创建的任务，生成待处理任务并提交；应用发布模块，用于接收提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；任务执行模块，包括多个执行队列，各个所述执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及监控模块，与所述应用发布模块和所述任务执行模块通信，所述监控模块采集并监控应用发布数据和任务执行数据，以响应所述任务提交模块。
优选地，上述的任务处理系统中，所述应用发布模块通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列，包括：解析并获得各个待处理任务的配置信息；通过YARN资源调度器获得各个DataNode节点的资源情况和各个执行队列的负载情况；所述YARN资源调度器根据每个待处理任务的配置信息，向资源情况满足该待处理任务的配置信息的DataNode节点申请执行资源，并将该待处理任务发送至负载情况满足其配置信息的执行队列。
优选地，上述的任务处理系统中，所述待处理任务的配置信息包括执行引擎，所述任务执行模块包括多个执行引擎模块，每个执行引擎模块包括多个执行队列，所述YARN资源调度器将各个待处理任务发送至对应的执行引擎模块的执行队列。
优选地，上述的任务处理系统中，所述执行引擎模块包括Spark Streaming模块、Flink Job模块和Flink Sql模块。
优选地，上述的任务处理系统中，述任务提交模块包括对外服务接口，所述监控模块通过所述对外服务接口与所述任务提交模块通信，以采集并监控任务提交数据，响应所述任务提交模块；所述监控模块还根据所述任务提交数据启动对所述应用发布模块和所述任务执行模块的监控。
优选地，上述的任务处理系统还包括：预警模块，与所述监控模块通信，所述预警模块用于分析并当所述任务提交数据、所述应用发布数据和所述任务执行数据异常时生成告警信息。
优选地，上述的任务处理系统还包括：数据接入模块，供所述任务提交数据、所述应用发布数据和所述任务执行数据读取和写入。
优选地，上述的任务处理系统还包括：配置管理模块，包括项目管理模块和模板管理模块，所述项目管理模块用于提供任务逻辑管理的配置入口，所述模板管理模块用于提供任务通用参数的配置入口。
优选地，上述的任务处理系统还包括：权限管理模块，用于在接收创建的任务之前识别任务创建者的身份，若识别为管理员身份则向其开放所述配置管理模块和所述任务提交模块的使用权限，若识别为用户身份则向其开放所述任务提交模块的使用权限。
根据本发明的另一个方面，提供一种任务处理方法，包括：接收创建的任务，生成待处理任务并提交；根据提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；各个所述执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及，采集并监控各个待处理任务的发布数据和执行数据，返回监控信息。
根据本发明的另一个方面，提供一种计算机设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的任务处理方法的步骤。
根据本发明的另一个方面，提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述的任务处理方法的步骤。
与现有技术相比，本发明的有益效果至少包括：
本发明通过任务处理系统的架构设计，采用应用发布模块自动化发布任务，并通过YARN资源调度器进行资源调度，实现负载均衡，降低使用门槛，使用户无需考虑除任务核心逻辑以外的集群、权限、配置等信息；
通过任务执行模块并行执行待处理任务，提高任务处理效率；
通过监控模块实时监控和反馈，确保用户及时跟踪任务状态，实时监控任务进程，提高任务运行稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明实施例中任务处理系统的技术架构图；
图2示出本发明实施例中任务处理系统的模块示意图；
图3示出本发明实施例中任务处理系统的系统架构图；
图4示出本发明实施例中任务处理方法的步骤示意图；
图5示出本发明实施例中一种计算机设备的结构示意图；
图6示出本发明实施例中一种计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
参照图1所示任务处理系统的技术架构图，本发明的任务处理系统后端主要使用Spring Boot+Mybatis框架进行业务逻辑开发。Spring Boot是一个快速开发框架，能够帮助开发人员快速整合，跟据所写代码进行自动配制和快速部署。MyBatis是一个支持普通SQL查询，存储过程和高级映射的持久层框架。Spring Boot+Mybatis通过Rest接口与AngularJS+Ace相互访问。AngularJS是一个JavaScript框架，是一个以JavaScript编写的库。Ace编辑器是一个嵌入Web的代码编辑器，支持语法高亮，自动补全等功能，可以在页面展示或编辑代码。Spring Boot+Mybatis框架进一步包括Spark API、CDH、YARN、Flink、Mysql等模块。Spark API提供Spark(一个为大规模数据处理而设计的快速通用的计算引擎)与应用程序进行交互的接口，应用程序可以通过使用Spark提供的库获得Spark集群的计算能力。CDH是Hadoop(Hadoop Distributed File System，一种分布式文件系统)的一种分支，提供Hadoop的核心可扩展存储(HDFS)和分布式计算(MR)，还提供Web页面进行管理、监控。YARN是一种新的Hadoop资源管理器，是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，可以为集群在利用率、资源统一管理和数据共享等方面带来巨大好处。Flink是一个开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Mysql是一个关系型数据库管理系统，可以将数据保存在不同的表中，增加数据读取速度并提高灵活性。
采用上述框架，将本发明的任务处理系统大体上分为三个模块，Common模块、Job模块和Web模块。Web模块主要是跟前端交互提供模板管理、项目管理、任务增删改及发布的接口，通过前端界面进行任务的提交及发布。Common模块主要是一些通用的工具类、项目中使用的常量及配置信息等。Job模块主要根据用户提交的任务信息，最终拼接成相应的.properties配置文件和.sh执行脚本，并通过jdk自带的ProcessBuilder启动相应的线程，执行任务。
下面结合图2和图3详细说明本发明实施例中的任务处理系统。图2示意出任务处理系统的模块结构，图3示意出任务处理系统的系统架构，结合图2和图3所示，在一些实施例中，任务处理系统10包括：
任务提交模块101，用于接收创建的任务，生成待处理任务并提交。任务提交模块101主要是为用户提交任务提供入口，例如提供一Web界面供用户使用任务处理系统10。用户能通过该Web界面将本地开发好的任务的实时业务逻辑jar包提交至任务处理系统10，任务提交模块101接收到任务后会将任务的配置信息写入到数据接入模块106的数据库，并将任务使用的jar包及其依赖包上传至HDFS(Hadoop分布式文件系统，能提供高吞吐量的数据访问，适合大规模数据集上的应用)的相应目录，并存储相应的副本。用户只需选择任务对应的执行引擎(Spark Streaming、Flink Job、Flink Sql)即可，无需考虑各执行引擎的版本及执行情况，点击保存后，即成功创建任务。
进一步的，在优选的实施例中，任务提交模块101提供一些对外服务接口，通过Pigeon(一个分布式服务通信框架(RPC))方式对外部系统或者监控模块107提供任务提交数据和任务处理系统10的运行情况数据，以便及时了解任务提交情况和任务处理系统10的健康状况。
应用发布模块104，用于接收提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列。在优选的实施例中，应用发布模块104进行任务分发的步骤包括：解析并获得各个待处理任务的配置信息；通过YARN资源调度器获得各个DataNode节点的资源情况和各个执行队列的负载情况；YARN资源调度器进一步根据每个待处理任务的配置信息，向资源情况满足该待处理任务的配置信息的DataNode节点申请执行资源，并将该待处理任务发送至负载情况满足其配置信息的执行队列。其中，待处理任务的配置信息包括执行引擎，任务执行模块包括多个执行引擎模块，每个执行引擎模块包括多个执行队列，YARN资源调度器在分发任务时将各个待处理任务发送至对应的执行引擎模块的执行队列。如前所述，执行引擎模块包括Spark Streaming模块、Flink Job模块和Flink Sql模块。Spark Streaming、FlinkJob和Flink Sql用于处理实时计算任务。
在一些实施例中，当用户通过任务提交模块101提交根据业务逻辑开发的jar包，然后选择管理员创建好的项目，并选择好依赖的lib，并上传相应的jar包到HDFS上，对于某些应用需要指定应用参数的，也可以按照Java的规范配置应用参数。对于不同的执行引擎的任务，还能通过设置环境参数和启动参数，对某些任务进行个性化设置，然后提交到任务处理系统10。应用发布模块104接收到有任务提交时，会通过YARN进行资源调度，在空闲的DataNode上申请资源启动，该发布过程对用户来说是透明的，用户无需考虑资源调度情况，直接提交任务即可，由应用发布模块104实现任务的自动化打包、上传及发布。提交完任务后，用户还能通过任务列表查看任务启动的实例，并查看日志，通过观察日志来分析实例的运行状况。
任务执行模块105，包括多个执行队列，各个执行队列根据接收的待处理任务，并行执行各个待处理任务。如前所述，任务执行模块105主要支持Spark Streaming、FlinkJob、Flink Sql的实时计算任务，任务的执行通过YARN资源调度框架进行统一管理，将不同的任务执行在不同的队列上，且这些队列是并行执行的，互不干扰，提高执行效率。
监控模块107，与应用发布模块104和任务执行模块105通信，监控模块107采集并监控应用发布数据和任务执行数据，以响应任务提交模块101。如前所述，在优选的实施例中，监控模块107可以通过任务提交模块101的对外服务接口与任务提交模块101通信，以采集并监控任务提交数据；监控模块107还根据任务提交数据，当采集到任务提交数据后，随即启动对应用发布模块104和任务执行模块105的监控，以实现对任务的提交、发布、执行进行全程跟踪和监控，并通过任务提交模块101的Web界面以日志形式实时反馈监控信息，使用户在任务启动和运行过程中能及时获取日志，跟踪任务状态。在一些实施例中，监控模块107也可以在任务执行过程中根据各个任务配置的监控触发条件采集监控数据。
进一步的，在一些实施例中，任务处理系统10还包括预警模块108，与监控模块107通信，预警模块108用于分析监控模块107采集的监控数据，包括任务提交模块101的任务提交数据、应用发布模块104的应用发布数据、任务执行模块105的任务执行数据等，并该些监控数据异常时生成告警信息。对监控数据异常的判断可以以各个任务配置的告警条件为基准，也可以以YARN配置的负载均衡策略为基准，当某个任务占用资源过多，会影响其他任务的顺利执行时生成告警信息，以避免过大的任务影响其他任务或拖垮集群，保障集群的稳定性。告警信息可以包括多个告警级别，通过电话、邮件、弹窗等形式告警。通过监控模块107和预警模块108，实现对任务的实时监控，能够对任务异常情况进行监控和告警，提高任务运行的稳定性。
任务处理系统10还包括数据接入模块106，供上述的任务提交数据、应用发布数据和任务执行数据读取和写入。具体来说，数据接入模块106包括Mysql、Kafka(一个高吞吐量的分布式发布订阅消息系统)、Redis(一个key-value存储系统)等数据库，提供任务处理系统10中任务的数据读取及写入，具体任务的数据源读取和写入对任务处理系统10是透明的，用户无需担心数据泄露的风险，且支持多种数据源的读取和写入。任务在执行过程会写入日志，也会配置不同的监控指标，通过不同的监控指标和任务在YARN上的运行状态进行对比，实时监控任务实例的运行状态，对某些达到预警的指标通过钉钉或电话进行告警提示。
进一步的，任务处理系统10还包括配置管理模块102和权限管理模块103，配置管理模块102包括项目管理模块和模板管理模块，项目管理模块用于提供任务逻辑管理的配置入口，模板管理模块用于提供任务通用参数的配置入口。权限管理模块103用于在接收创建的任务之前识别任务创建者的身份，若识别为管理员身份则向其开放配置管理模块和任务提交模块的使用权限，若识别为用户身份则向其开放任务提交模块的使用权限。
具体来说，配置管理模块102中的项目管理和模板管理仅对任务处理系统10的管理员开放操作权限，管理员通过项目管理模块，对用户的项目(任务的逻辑抽象)进行逻辑管理，每个项目能设置唯一的项目名，选择执行引擎及执行队列，集群上根据执行角色进行资源隔离，能避免用户提交的任务占用资源过多导致别的任务出现异常甚至是拖垮整个集群，还能通过设定项目组成员，让项目组能的成员能相互管理对方提交的任务。管理员在新建项目时，能对项目设定一些通用的配置参数，如core、memory、parallelism等，这样便于用户对提交的任务在某集群执行时无需再一个个设定这些通用参数。对于相同类型的项目，可能会有很多参数的名称重复，为了避免重复这部分的工作，在创建项以前抽象出模板的概念，对不同执行引擎新建模板进行统一管理。管理员在新建项目时，会快照当前时刻的模板的配置管理，然后对快照过来的配置管理进行微调。
权限管理模块103主要是将用户区分为管理员和普通用户，管理员能对任务处理系统10进行模板管理及项目管理，并管理登录系统的用户。项目组是个逻辑概念，用户提交任务时，选择相应的项目，则该项目组内的所有成员的权限都是一致的，都能管理任务，这样能避免由于人员变动导致任务不便管理的情况。在一些实施例中，用户登录后，会先验证该用户是否合法，对于非法用户，记录操作的日志，并提示用户按照流程找系统管理员开通相应的权限；对于合法的用户，则分为管理员和普通用户，管理员负责管理系统的用户、集群、资源等信息，普通用户则只能发布和监控自己提交的任务。
本发明的任务处理系统10本质上可以视为一个大数据实时计算发布平台，可以在线发布管理集群、用户、资源、任务等信息，任务处理系统10对用户实时任务来说是透明的，用户无需考虑实时数据的source、transformation、sink等数据被检测并发生敏感数据泄露。任务处理系统10提供了实时数据流的数据接入，主要支持Spark Streaming、FlinkJob、Flink Sql等实时计算任务。用户通过任务提交模块101的前端用户界面，根据自己的业务需要提交任务后，应用发布模块104会根据各任务的配置信息，将其提交至任务执行模块105的YARN上相应的队列进行执行，在任务执行中监控模块107通过各个任务的监控触发条件配置信息实时采集监控数据，预警模块108根据YARN上采集的任务信息进行分析，对达到告警条件的任务根据不同的级别进行告警，大大提高了任务运行的稳定性。
综上，本发明的任务处理系统利用Java技术，通过Sparing Boot技术，进行分模块设计，包括用户管理、集群管理、项目管理、配置管理、发布管理、监控管理、日志管理、预警管理等模块，提供了一个实时计算发布平台，可以供用户提交Spark Streaming、FlinkJob、Flink Sql等实时流计算框架的任务，通过对用户权限进行管控，并对任务的逻辑抽象(项目)进行资源隔离，实现任务的自动化发布、实时监控、日志采集、预警等功能。通过任务提交模块和应用发布模块进行任务的提交、自动化打包发布、负载均衡调度，避免用户由于对Linux及大数据Hadoop系统的命令不熟悉或者个人的失误，造成线上集群环境或者线上正常运行的任务的崩溃。用户通过本发明的任务处理系统提交开发好的任务后，不用再关注集群资源、对其他任务的影响等问题，任务处理系统的权限控制、项目管理、资源隔离、不同配置的划分及配置，均通过配置管理模块和权限管理模块配置实现，使任务处理系统权限管控清晰，资源隔离清楚。用户可以直接通过监控模块反馈的任务启动和运行日志查看任务的提交情况和运行情况，也能根据日志数据手动停止正在运行的任务。本发明的任务处理系统简单易用，使用门槛低，业务开发人员只需关注自己的业务逻辑，不用过多在乎集群的部署和应用的发布，使用户对任务的管理更加透明。本发明的任务处理系统可以解决管理员无法对集群资源进行管控，无法预见用户误操作造成生产事故，无法及时对线上事故快速定位责任人及事故原因，以及用户使用门槛较高等问题，本发明的任务处理系统上线后能让用户更聚焦业务逻辑代码的开发，而不用花过多精力在实时集群的维护管理上。
本发明实施例还提供一种任务处理方法，参照图4所示，任务处理方法包括：S10、接收创建的任务，生成待处理任务并提交；S20、根据提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；S30、各个执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及S40、采集并监控各个待处理任务的发布数据和执行数据，返回监控信息。其中，各个步骤可以由上述任务处理系统实施例所描述的任务提交模块、应用发布模块、任务执行模块和监控模块执行，本实施例不再重复说明。以及，任务处理方法还可以包括由上述任务处理系统实施例所描述的配置管理模块、权限管理模块、数据接入模块和预警模块所执行的任务处理步骤，实现任务的提交、自动化打包发布、实时监控告警，整个实时计算平台的权限控制、项目管理、资源隔离、配置划分、负载均衡、任务启动及运行日志的收集及展现。
本发明的任务处理方法能够自动化发布任务，进行资源调度，实现负载均衡，并通过并行执行待处理任务，提高任务处理效率，同时通过实时监控和反馈，确保及时跟踪任务状态，实时监控任务进程，提高任务运行稳定性。
本发明实施例还提供一种计算机设备，包括处理器和存储器，存储器中存储有可执行指令，处理器被配置为经由执行可执行指令来执行上述实施例中的任务处理方法的步骤。
如上所述，本发明的计算机设备能够通过应用发布模块自动化发布任务，通过YARN资源调度器进行资源调度，实现负载均衡，降低使用门槛；通过任务执行模块并行执行待处理任务，提高任务处理效率；通过监控模块实时监控和反馈，确保及时跟踪任务状态，实时监控任务进程，提高任务运行稳定性。
图5是本发明实施例中计算机设备的结构示意图，应当理解的是，图5仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图5来描述本发明的计算机设备400。图5显示的计算机设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备400以通用计算设备的形式表现。计算机设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同平台组件(包括存储单元420和处理单元410)的总线430、显示单元440等。
其中，存储单元存储有程序代码，程序代码可以被处理单元410执行，使得处理单元410执行上述实施例中描述的任务处理方法的步骤。例如，处理单元410可以执行如图4至所示的步骤。
存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。
存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
计算机设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算机设备400交互的设备通信，和/或与使得该计算机设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，计算机设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与计算机设备400的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述实施例描述的任务处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述实施例描述的任务处理方法的步骤。
如上所述，本发明的计算机可读存储介质能够通过应用发布模块自动化发布任务，通过YARN资源调度器进行资源调度，实现负载均衡，降低使用门槛；通过任务执行模块并行执行待处理任务，提高任务处理效率；通过监控模块实时监控和反馈，确保及时跟踪任务状态，实时监控任务进程，提高任务运行稳定性。
图6是本发明的计算机可读存储介质的结构示意图。参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种任务处理系统，其特征在于，包括：
任务提交模块，用于接收创建的任务，生成待处理任务并提交；
应用发布模块，用于接收提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；
任务执行模块，包括多个执行队列，各个所述执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及
监控模块，与所述应用发布模块和所述任务执行模块通信，所述监控模块采集并监控应用发布数据和任务执行数据，响应所述任务提交模块。
2.如权利要求1所述的任务处理系统，其特征在于，所述应用发布模块通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列，包括：
解析并获得各个待处理任务的配置信息；
通过YARN资源调度器获得各个DataNode节点的资源情况和各个执行队列的负载情况；
所述YARN资源调度器根据每个待处理任务的配置信息，向资源情况满足该待处理任务的配置信息的DataNode节点申请执行资源，并将该待处理任务发送至负载情况满足其配置信息的执行队列。
3.如权利要求2所述的任务处理系统，其特征在于，所述待处理任务的配置信息包括执行引擎，所述任务执行模块包括多个执行引擎模块，每个执行引擎模块包括多个执行队列，所述YARN资源调度器将各个待处理任务发送至对应的执行引擎模块的执行队列。
4.如权利要求3所述的任务处理系统，其特征在于，所述执行引擎模块包括SparkStreaming模块、Flink Job模块和Flink Sql模块。
5.如权利要求1所述的任务处理系统，其特征在于，所述任务提交模块包括对外服务接口，所述监控模块通过所述对外服务接口与所述任务提交模块通信，以采集并监控任务提交数据，响应所述任务提交模块；
所述监控模块还根据所述任务提交数据启动对所述应用发布模块和所述任务执行模块的监控。
6.如权利要求5所述的任务处理系统，其特征在于，还包括：
预警模块，与所述监控模块通信，所述预警模块用于分析所述任务提交数据、所述应用发布数据和所述任务执行数据的异常，生成告警信息。
7.如权利要求5所述的任务处理系统，其特征在于，还包括：
数据接入模块，供所述任务提交数据、所述应用发布数据和所述任务执行数据读取和写入。
8.如权利要求1所述的任务处理系统，其特征在于，还包括：
配置管理模块，包括项目管理模块和模板管理模块，所述项目管理模块用于提供任务逻辑管理的配置入口，所述模板管理模块用于提供任务通用参数的配置入口。
9.如权利要求8所述的任务处理系统，其特征在于，还包括：
权限管理模块，用于在接收创建的任务前识别任务创建者的身份，若识别为管理员身份则向其开放所述配置管理模块和所述任务提交模块的使用权限，若识别为用户身份则向其开放所述任务提交模块的使用权限。
10.一种任务处理方法，其特征在于，包括：
接收创建的任务，生成待处理任务并提交；
根据提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；
各个所述执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及
采集并监控各个待处理任务的发布数据和执行数据，返回监控信息。
11.一种计算机设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求10所述的任务处理方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求10所述的任务处理方法的步骤。
CN201910376505.0A 2019-05-07 2019-05-07 任务处理系统、方法、计算机设备和存储介质 Pending CN110069335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910376505.0A CN110069335A (zh) 2019-05-07 2019-05-07 任务处理系统、方法、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910376505.0A CN110069335A (zh) 2019-05-07 2019-05-07 任务处理系统、方法、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110069335A true CN110069335A (zh) 2019-07-30

Family

ID=67370258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910376505.0A Pending CN110069335A (zh) 2019-05-07 2019-05-07 任务处理系统、方法、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110069335A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324188A (zh) * 2019-07-05 2019-10-11 上海中通吉网络技术有限公司 监控告警系统及方法
CN110618869A (zh) * 2019-09-19 2019-12-27 北京思维造物信息科技股份有限公司 一种资源管理方法、装置及设备
CN110659131A (zh) * 2019-08-15 2020-01-07 中国平安人寿保险股份有限公司 任务处理方法、电子装置、计算机设备及存储介质
CN110764892A (zh) * 2019-10-22 2020-02-07 北京字节跳动网络技术有限公司 任务处理方法、设备及计算机可读存储介质
CN110781079A (zh) * 2019-10-08 2020-02-11 新华三大数据技术有限公司 数据处理流程调试方法、装置及电子设备
CN110780937A (zh) * 2019-09-16 2020-02-11 腾讯大地通途（北京）科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN110941446A (zh) * 2019-11-06 2020-03-31 苏宁云计算有限公司 基于多环境离线任务的版本发布方法及装置
CN111078396A (zh) * 2019-11-22 2020-04-28 厦门安胜网络科技有限公司 一种基于多任务实例的分布式数据接入方法和系统
CN111078496A (zh) * 2019-11-29 2020-04-28 联想(北京)有限公司 一种数据监控方法、平台及存储介质
CN111212102A (zh) * 2019-11-29 2020-05-29 泰康保险集团股份有限公司 任务推送管理方法及装置、系统、存储介质及电子设备
CN111240940A (zh) * 2020-01-09 2020-06-05 江苏满运软件科技有限公司 实时业务监控方法、装置、电子设备、存储介质
CN111562922A (zh) * 2020-04-29 2020-08-21 北京中大唯信科技有限公司 命令行程序模块化及云端化的方法、系统、电子设备
CN111711598A (zh) * 2020-04-23 2020-09-25 中国电子科技网络信息安全有限公司 一种面向大规模ssl/tls加密会话流的敏感数据检测系统
CN112130976A (zh) * 2020-09-21 2020-12-25 厦门南讯股份有限公司 一种基于rest的多引擎大数据任务管理方法
CN112328307A (zh) * 2020-11-10 2021-02-05 北京神州数字科技有限公司 一种开发运维一体化系统
WO2021031583A1 (zh) * 2019-08-16 2021-02-25 华为技术有限公司 执行语句的方法、装置、服务器及存储介质
CN112486501A (zh) * 2020-11-17 2021-03-12 中国人寿保险股份有限公司 一种Spark应用部署管理方法及相关设备
CN112637265A (zh) * 2020-11-25 2021-04-09 新华三技术有限公司 一种设备管理方法、装置及存储介质
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质
CN113127185A (zh) * 2019-12-31 2021-07-16 北京懿医云科技有限公司 任务执行队列处理方法及装置、存储介质、电子设备
CN113342561A (zh) * 2021-06-18 2021-09-03 上海哔哩哔哩科技有限公司 任务诊断方法及系统
CN113485811A (zh) * 2021-07-23 2021-10-08 平安科技（深圳）有限公司 计算任务管理方法、装置、计算机设备及存储介质
CN113485870A (zh) * 2021-06-30 2021-10-08 杭州玳数科技有限公司 多类型数据共享服务的执行方法
CN113590420A (zh) * 2021-07-28 2021-11-02 杭州玳数科技有限公司 集群状态监管方法及装置
CN113590445A (zh) * 2021-07-30 2021-11-02 杭州玳数科技有限公司 数据处理任务运行的检测方法、计算机设备和存储介质
CN113609101A (zh) * 2021-08-10 2021-11-05 平安普惠企业管理有限公司 实时数据任务的发布方法、装置、电子设备及存储介质
CN113641739A (zh) * 2021-07-05 2021-11-12 南京联创信息科技有限公司 一种基于Spark的智能数据转换方法
CN113791948A (zh) * 2021-09-10 2021-12-14 北京百度网讯科技有限公司 分布式计算系统的监控方法、装置、电子设备及存储介质
CN113821515A (zh) * 2021-09-26 2021-12-21 北京慧博科技有限公司 一种基于MySql查询分析连带率的方法
CN113961625A (zh) * 2021-10-27 2022-01-21 北京科杰科技有限公司 一种异构大数据管理平台任务迁移方法
CN114416601A (zh) * 2022-03-30 2022-04-29 南京赛宁信息技术有限公司 一种网络安全信息采集引擎和任务管理系统与方法
CN116192600A (zh) * 2023-03-02 2023-05-30 杭州乒乓智能技术有限公司 一种自动统一管理堡垒机各节点的运维方法和系统
CN115529306B (zh) * 2022-07-22 2024-05-17 四川启睿克科技有限公司 一种基于springboot的spark jar包远程提交方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
US9686141B2 (en) * 2014-09-10 2017-06-20 Ebay Inc. Systems and methods for resource sharing between two resource allocation systems
CN109213743A (zh) * 2017-06-30 2019-01-15 北京京东尚科信息技术有限公司 一种数据查询方法和装置
CN109344189A (zh) * 2018-09-19 2019-02-15 浪潮软件集团有限公司 一种基于NiFi的大数据计算方法及装置
CN109684092A (zh) * 2018-12-24 2019-04-26 新华三大数据技术有限公司 资源分配方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9686141B2 (en) * 2014-09-10 2017-06-20 Ebay Inc. Systems and methods for resource sharing between two resource allocation systems
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
CN109213743A (zh) * 2017-06-30 2019-01-15 北京京东尚科信息技术有限公司 一种数据查询方法和装置
CN109344189A (zh) * 2018-09-19 2019-02-15 浪潮软件集团有限公司 一种基于NiFi的大数据计算方法及装置
CN109684092A (zh) * 2018-12-24 2019-04-26 新华三大数据技术有限公司 资源分配方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LXW1234: "大数据平台任务调度与监控系统", 《WEB.ARCHIVE.ORG/WEB/20160201094002/HTTP://LXW1234.COM/ARCHIVES/2015/04/109.HTM》 *
薛康: "Hadoop YARN 在滴滴离线与实时计算中的应用", 《HTTPS://BLOG.DIDIYUN.COM/INDEX.PHP/2018/12/11/HADOOP-YARN/》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324188A (zh) * 2019-07-05 2019-10-11 上海中通吉网络技术有限公司 监控告警系统及方法
CN110659131A (zh) * 2019-08-15 2020-01-07 中国平安人寿保险股份有限公司 任务处理方法、电子装置、计算机设备及存储介质
CN110659131B (zh) * 2019-08-15 2024-04-02 中国平安人寿保险股份有限公司 任务处理方法、电子装置、计算机设备及存储介质
WO2021031583A1 (zh) * 2019-08-16 2021-02-25 华为技术有限公司 执行语句的方法、装置、服务器及存储介质
CN110780937A (zh) * 2019-09-16 2020-02-11 腾讯大地通途（北京）科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN110780937B (zh) * 2019-09-16 2023-12-08 腾讯大地通途（北京）科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN110618869A (zh) * 2019-09-19 2019-12-27 北京思维造物信息科技股份有限公司 一种资源管理方法、装置及设备
CN110781079A (zh) * 2019-10-08 2020-02-11 新华三大数据技术有限公司 数据处理流程调试方法、装置及电子设备
CN110781079B (zh) * 2019-10-08 2022-08-09 新华三大数据技术有限公司 数据处理流程调试方法、装置及电子设备
CN110764892A (zh) * 2019-10-22 2020-02-07 北京字节跳动网络技术有限公司 任务处理方法、设备及计算机可读存储介质
CN110941446A (zh) * 2019-11-06 2020-03-31 苏宁云计算有限公司 基于多环境离线任务的版本发布方法及装置
CN111078396B (zh) * 2019-11-22 2023-12-19 厦门安胜网络科技有限公司 一种基于多任务实例的分布式数据接入方法和系统
CN111078396A (zh) * 2019-11-22 2020-04-28 厦门安胜网络科技有限公司 一种基于多任务实例的分布式数据接入方法和系统
CN111078496A (zh) * 2019-11-29 2020-04-28 联想(北京)有限公司 一种数据监控方法、平台及存储介质
CN111212102A (zh) * 2019-11-29 2020-05-29 泰康保险集团股份有限公司 任务推送管理方法及装置、系统、存储介质及电子设备
CN113127185A (zh) * 2019-12-31 2021-07-16 北京懿医云科技有限公司 任务执行队列处理方法及装置、存储介质、电子设备
CN113127185B (zh) * 2019-12-31 2023-11-10 北京懿医云科技有限公司 任务执行队列处理方法及装置、存储介质、电子设备
CN111240940B (zh) * 2020-01-09 2022-09-16 江苏满运软件科技有限公司 实时业务监控方法、装置、电子设备、存储介质
CN111240940A (zh) * 2020-01-09 2020-06-05 江苏满运软件科技有限公司 实时业务监控方法、装置、电子设备、存储介质
CN111711598B (zh) * 2020-04-23 2022-07-05 中国电子科技网络信息安全有限公司 一种面向大规模ssl/tls加密会话流的敏感数据检测系统
CN111711598A (zh) * 2020-04-23 2020-09-25 中国电子科技网络信息安全有限公司 一种面向大规模ssl/tls加密会话流的敏感数据检测系统
CN111562922A (zh) * 2020-04-29 2020-08-21 北京中大唯信科技有限公司 命令行程序模块化及云端化的方法、系统、电子设备
CN112130976A (zh) * 2020-09-21 2020-12-25 厦门南讯股份有限公司 一种基于rest的多引擎大数据任务管理方法
CN112328307A (zh) * 2020-11-10 2021-02-05 北京神州数字科技有限公司 一种开发运维一体化系统
CN112486501A (zh) * 2020-11-17 2021-03-12 中国人寿保险股份有限公司 一种Spark应用部署管理方法及相关设备
CN112637265B (zh) * 2020-11-25 2022-07-12 新华三技术有限公司 一种设备管理方法、装置及存储介质
CN112637265A (zh) * 2020-11-25 2021-04-09 新华三技术有限公司 一种设备管理方法、装置及存储介质
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质
CN113342561A (zh) * 2021-06-18 2021-09-03 上海哔哩哔哩科技有限公司 任务诊断方法及系统
CN113485870A (zh) * 2021-06-30 2021-10-08 杭州玳数科技有限公司 多类型数据共享服务的执行方法
CN113641739A (zh) * 2021-07-05 2021-11-12 南京联创信息科技有限公司 一种基于Spark的智能数据转换方法
CN113485811A (zh) * 2021-07-23 2021-10-08 平安科技（深圳）有限公司 计算任务管理方法、装置、计算机设备及存储介质
CN113590420A (zh) * 2021-07-28 2021-11-02 杭州玳数科技有限公司 集群状态监管方法及装置
CN113590420B (zh) * 2021-07-28 2024-04-12 杭州玳数科技有限公司 集群状态监管方法及装置
CN113590445A (zh) * 2021-07-30 2021-11-02 杭州玳数科技有限公司 数据处理任务运行的检测方法、计算机设备和存储介质
CN113609101A (zh) * 2021-08-10 2021-11-05 平安普惠企业管理有限公司 实时数据任务的发布方法、装置、电子设备及存储介质
CN113791948A (zh) * 2021-09-10 2021-12-14 北京百度网讯科技有限公司 分布式计算系统的监控方法、装置、电子设备及存储介质
CN113821515A (zh) * 2021-09-26 2021-12-21 北京慧博科技有限公司 一种基于MySql查询分析连带率的方法
CN113961625B (zh) * 2021-10-27 2022-06-07 北京科杰科技有限公司 一种异构大数据管理平台任务迁移方法
CN113961625A (zh) * 2021-10-27 2022-01-21 北京科杰科技有限公司 一种异构大数据管理平台任务迁移方法
CN114416601A (zh) * 2022-03-30 2022-04-29 南京赛宁信息技术有限公司 一种网络安全信息采集引擎和任务管理系统与方法
CN114416601B (zh) * 2022-03-30 2022-07-19 南京赛宁信息技术有限公司 一种网络安全信息采集引擎和任务管理系统与方法
CN115529306B (zh) * 2022-07-22 2024-05-17 四川启睿克科技有限公司 一种基于springboot的spark jar包远程提交方法
CN116192600A (zh) * 2023-03-02 2023-05-30 杭州乒乓智能技术有限公司 一种自动统一管理堡垒机各节点的运维方法和系统

Similar Documents

Publication Publication Date Title
CN110069335A (zh) 任务处理系统、方法、计算机设备和存储介质
US10528585B2 (en) ETL tool interface for remote mainframes
US10353913B2 (en) Automating extract, transform, and load job testing
AU2019232804B2 (en) Decision tables and flow engine for building automated flows within a cloud based development platform
US10162612B2 (en) Method and apparatus for inventory analysis
US9992269B1 (en) Distributed complex event processing
CN111274001A (zh) 微服务管理平台
US11036560B1 (en) Determining isolation types for executing code portions
US20230259647A1 (en) Systems and methods for automated discovery and analysis of privileged access across multiple computing platforms
CN111221871A (zh) 实时查询任务发布方法、平台、设备及存储介质
CN111191228A (zh) 一种业务处理方法及装置、设备、存储介质
Maeno et al. PanDA: Production and Distributed Analysis System
EP3624027A1 (en) Decision tables and flow engine for building automated flows within a cloud based development platform
Hoppe et al. Towards seamless integration of data analytics into existing HPC infrastructures
CN113656812A (zh) 一种基于大数据技术的数据管理系统和方法
Xu et al. Ecosystem description of hadoop platform based on HDFS, MapReduce and data warehouse tool hive
US8375353B2 (en) Enabling the use of process flow applications within an information management system (IMS)
Blagaić et al. Application for data migration with complete data integrity
Zeng et al. Research and implementation of campus network mass log collection platform based on elastic stack
US20230036186A1 (en) Systems and methods for data integration
US20220147568A1 (en) Mapping expression generator
US20220382580A1 (en) System and method for digital automation governance
US20140025632A1 (en) Computer implemented systems and methods to augment data from data sources by simultaneously adding enhancements generated by different technologies
Sahoo Open-source ETL Framework using Big Data tools Orchestration on AWS Cloud Platform
Chen et al. Lightweight Cloud Native Application Management Platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication