CN112579276A - 一种用于大数据平台的任务作业可视化系统 - Google Patents

一种用于大数据平台的任务作业可视化系统 Download PDF

Info

Publication number
CN112579276A
CN112579276A CN202011542175.7A CN202011542175A CN112579276A CN 112579276 A CN112579276 A CN 112579276A CN 202011542175 A CN202011542175 A CN 202011542175A CN 112579276 A CN112579276 A CN 112579276A
Authority
CN
China
Prior art keywords
task
module
big data
master
data platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011542175.7A
Other languages
English (en)
Inventor
唐勇
梁家杰
李穗燕
赵艳超
王洪菊
刘会河
王志鹏
吴东平
徐智良
张柏强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lvshou Health Industry Group Co ltd
Original Assignee
Lvshou Health Industry Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lvshou Health Industry Group Co ltd filed Critical Lvshou Health Industry Group Co ltd
Priority to CN202011542175.7A priority Critical patent/CN112579276A/zh
Publication of CN112579276A publication Critical patent/CN112579276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用于大数据平台的任务作业可视化系统，包括：前端模块，用于将采集的大数据通过Ajax技术发送至Master任务模块和Worker集群模块；后端模块，用于通过系统后台数据接口与前端模块连接，以使系统在使用前端模块时调用对应的后台数据接口获取数据；Master任务模块，用于管理系统的任务调度和资源分配，收集Worker集群模块的任务状态信息，Worker集群模块，用于提供Master任务模块执行任务所需的工作集群组件；MySQL数据库模块，用于收集Master任务模块和Worker集群模块的工作日志信息并进行存储，以及用于Master任务模块和Worker集群模块对数据库进行CRUD操作。本发明能够实现大数据平台开源系统中调度任务后台处理不可见的缺陷，实现任务的可视化操作和可视化监控，提高管理效率。

Description

一种用于大数据平台的任务作业可视化系统
技术领域
本发明涉及大数据及计算机信息技术领域，尤其是涉及一种用于大数据平台的任务作业可视化系统。
背景技术
作业调度的主要功能是根据作业控制块中的信息，审查系统能否满足用户作业的资源需求，以及按照一定的算法，从外存的后备队列中选取某些作业调入内存，并为它们创建进程、分配必要的资源。然后再将新创建的进程插入就绪队列，准备执行。因此，有时也把作业调度称为接纳调度。
但是，在对现有技术的研究与实践过程中，本发明的发明人发现，现有的大数据平台开源系统中调度任务处理采取后台不可见的方式，导致调度任务作业运行效率低下，无法保证调度任务的高效运行，大大降低管理效率，且现有技术中的系统较为固定，无法根据用户需求进行扩展，容易导致维护成本的增高。因此，亟需一种能够克服上述缺陷的任务作业可视化系统。
发明内容
本发明实施例所要解决的技术问题在于，提供一种用于大数据平台的任务作业可视化系统，能够实现大数据平台开源系统任务的可视化操作和可视化监控。
为解决上述问题，本发明实施例的第一方面提供了一种用于大数据平台的任务作业可视化系统，包括前端模块、后端模块、Master任务模块、Worker集群模块和MySQL数据库模块；其中，
前端模块，用于将采集的大数据通过Ajax技术发送至所述Master任务模块和所述Worker集群模块；
后端模块，用于通过系统后台数据接口与所述前端模块连接，以使系统在使用所述前端模块时调用对应的后台数据接口获取数据；
Master任务模块，用于管理所述系统的任务调度和资源分配，收集所述Worker集群模块的任务状态信息；
Worker集群模块，用于提供所述Master任务模块执行任务所需的工作集群组件；
MySQL数据库模块，用于收集所述Master任务模块和Worker集群模块的工作日志信息并进行存储，以及用于所述Master任务模块和Worker集群模块对数据库进行CRUD操作。
在第一方面的一种可能的实现方式中，所述Master任务模块，包括任务调度单元、Work选发任务单元、告警监控单元、任务结果广播单元、负载均衡单元和任务路由单元。
在第一方面的一种可能的实现方式中，所述Master任务模块，还用于根据Cron表达式解析每个任务的执行时间，在达到预设触发时间时将对应任务加入至任务队列中。
在第一方面的一种可能的实现方式中，所述告警监控单元，用于监控目标任务，在任务自动调度执行失败后发送任务执行失败提醒消息至用户邮箱，以及在任务调度执行超时时发送任务超时提醒至用户邮箱。
在第一方面的一种可能的实现方式中，所述Master任务模块，还包括：
任务执行查看单元，用于通过任务依赖图查看系统的当前任务的上下游执行信息，并判断当前任务未执行的原因，以及查看每个任务之间的影响关系。
在第一方面的一种可能的实现方式中，所述用于大数据平台的任务作业可视化系统，还包括：
可视化模块，用于通过解析大数据平台的Jason表达式，对系统中各个任务的依赖关系进行重写，并通过Java与Js前后端交互的方式实现在任务调度单元中。
在第一方面的一种可能的实现方式中，所述可视化模块，还用于通过可视化的任务DAG展示每个任务的执行状况和依赖关系。
在第一方面的一种可能的实现方式中，所述MySQL数据库模块，还用于查看和回复所述Master任务模块的任务操作历史记录。
在第一方面的一种可能的实现方式中，所述用于大数据平台的任务作业可视化系统，还包括：
对外接口模块，用于通过开放系统任务调度触发接口对接外部系统。
在第一方面的一种可能的实现方式中，所述用于大数据平台的任务作业可视化系统，还包括：
系统功能扩展模块，用于根据预设需求扩展所述系统的功能。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种用于大数据平台的任务作业可视化系统，包括前端模块、后端模块、Master任务模块、Worker集群模块和MySQL数据库模块；其中，前端模块，用于将采集的大数据通过Ajax技术发送至所述Master任务模块和所述Worker集群模块；后端模块，用于通过系统后台数据接口与所述前端模块连接，以使系统在使用所述前端模块时调用对应的后台数据接口获取数据；Master任务模块，用于管理所述系统的任务调度和资源分配，收集所述Worker集群模块的任务状态，Worker集群模块，用于提供所述Master任务模块执行任务所需的工作集群组件；MySQL数据库模块，用于收集所述Master任务模块和Worker集群模块的工作日志信息并进行存储，以及用于所述Master任务模块和Worker集群模块对数据库进行CRUD操作。
与现有技术相比，本发明实施例能够实现大数据平台开源系统中调度任务后台处理不可见的缺陷，将任务间依赖关系、调度时间、运行状态进行可视化操作；通过后台数据接口和前端结合，实现任务的可视化操作和可视化监控，保证平台任务的高效运行，提高系统管理效率，并缩短维护成本。
附图说明
图1为本发明第一实施例提供的一种用于大数据平台的任务作业可视化系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
首先介绍本发明可以提供的应用场景，如实现大数据平台开源系统的任务可视化操作和可视化监控。
本发明第一实施例：
请参阅图1。
如图1所示，本实施例提供了一种用于大数据平台的任务作业可视化系统，包括前端模块、后端模块、Master任务模块、Worker集群模块和MySQL数据库模块；其中，
前端模块100，用于将采集的大数据通过Ajax技术发送至所述Master任务模块和所述Worker集群模块。
具体的，对于前端模块100，通过前端页面的点击来将相关信息通过ajax传入到后台中。
后端模块200，用于通过系统后台数据接口与所述前端模块连接，以使系统在使用所述前端模块时调用对应的后台数据接口获取数据。
具体的，对于后端模块200，后端提供了一系列的api接口，然后前端在使用时就去调用对应的api接口来获取数据。
Master任务模块300，用于管理所述系统的任务调度和资源分配，收集所述Worker集群模块的任务状态信息。
具体的，对于Master任务模块300，用来管理任务调度和资源分，收集worker的任务状态。在状态异常时通过邮件或钉钉来发送异常或错误信息并将相关的信息存入mysql日志表中，方便后续审计及回溯问题。
在优选的实施例中，所述Master任务模块300，包括任务调度单元、Work选发任务单元、告警监控单元、任务结果广播单元、负载均衡单元和任务路由单元。
在优选的实施例中，所述告警监控单元，用于监控目标任务，在任务自动调度执行失败后发送任务执行失败提醒消息至用户邮箱，以及在任务调度执行超时时发送任务超时提醒至用户邮箱。还能够通过钉钉、短信和邮件等多种提示方式，进行异常提醒。
在优选的实施例中，所述Master任务模块300，还包括：
任务执行查看单元，用于通过任务依赖图查看系统的当前任务的上下游执行信息，并判断当前任务未执行的原因，以及查看每个任务之间的影响关系。
在优选的实施例中，所述Master任务模块300，还用于根据Cron表达式解析每个任务的执行时间，在达到预设触发时间时将对应任务加入至任务队列中。
具体的，根据cron表达式来解析该任务的执行时间，在达到触发时间时将该任务加入任务队列；每个任务都有设置一个运行时间的表达式，会对这个表达式进行解析，这个任务是在对应的时间点来开始运行。
Worker集群模块400，用于提供所述Master任务模块执行任务所需的工作集群组件。
具体的，对于Worker集群模块400，Worker集群模块主要用来提供实际做任务的组件。
MySQL数据库模块500，用于收集所述Master任务模块和Worker集群模块的工作日志信息并进行存储，以及用于所述Master任务模块和Worker集群模块对数据库进行CRUD操作。
具体的，对于MySQL数据库模块500，采集和存储Master任务模块和Worker集群模块的工作日志信息以及异常信息，生成对应的日志表。
在优选的实施例中，所述MySQL数据库模块500，还用于查看和回复所述Master任务模块的任务操作历史记录。
在优选的实施例中，所述用于大数据平台的任务作业可视化系统，还包括：
可视化模块，用于通过解析大数据平台的Jason表达式，对系统中各个任务的依赖关系进行重写，并通过Java与Js前后端交互的方式实现在任务调度单元中。
具体的，通过解析开源平台的jason表达式，对任务的依赖关系进行重写，并将其实现在调度系统上，通过java和js前后端交互的方式，实现依赖的可视化和流程的可操作。
首先在大数据平台开源组件(hue)中设置一个任务，我们在元数据库中就会得到一个json的字符串信息，保存的是任务的属性，不能很好支持依赖。因此拿出保存的json的字符串信息，将信息进行整理得到任务的完整配置信息，并将任务之间的依赖关系就行合并，使之前不具备依赖关系的任务变成具有依赖关系，出现问题时方便快速修复问题。
在优选的实施例中，所述可视化模块，还用于通过可视化的任务DAG展示每个任务的执行状况和依赖关系。
在优选的实施例中，所述用于大数据平台的任务作业可视化系统，还包括：
对外接口模块，用于通过开放系统任务调度触发接口对接外部系统。
在优选的实施例中，所述用于大数据平台的任务作业可视化系统，还包括：
系统功能扩展模块，用于根据预设需求扩展所述系统的功能。
具体的，为解决大数据平台开源系统中，调度任务后台处理不可见方式，将任务间依赖关系、调度时间、运行状态进行可视化操作。通过后台数据接口和前端结合，实现任务的可视化操作和监控界面。系统只是负责调度以及辅助的系统，具体的计算还是要落在hadoop、hive、yarn、spark等集群中去。
在具体的实施例中，本实施例提供的一种用于大数据平台的任务作业可视化系统，通过对开源hadoop及hue等大数据框架的解析，实现任务的可视化操作控制，保证平台任务的高效运行，提高管理效率，缩减维护成本。分布式任务调度系统的设计目标首先是要完成zeus大部分核心功能，并能够根据自己公司的需求进行扩展。支持任务的定时调度、依赖调度、手动调度和手动恢复；支持丰富的任务类型：shell、hive、python、spark-sql和java；通过可视化的任务DAG图展示，任务的执行严格按照任务的依赖关系执行；查看某个任务的上、下游执行状况，通过任务依赖图可以清楚的判断当前任务为何还未执行，删除该任务会影响那些任务；支持上传文件到hdfs，支持使用hdfs文件资源；支持关注自己的任务，自动调度执行失败时会向负责人发送邮件；对外提供API，开放系统任务调度触发接口，便于对接其它需要使用系统；组下任务总览、组下任务失败和组下任务正在运行；支持map-reduce任务和yarn任务的实时取消；支持任务超时提醒告，警告类型支持邮箱以及自定义的钉钉、短信、电话等；支持任务操作历史记录查看与恢复。
本实施例提供的一种用于大数据平台的任务作业可视化系统，包括前端模块、后端模块、Master任务模块、Worker集群模块和MySQL数据库模块；其中，前端模块，用于将采集的大数据通过Ajax技术发送至所述Master任务模块和所述Worker集群模块；后端模块，用于通过系统后台数据接口与所述前端模块连接，以使系统在使用所述前端模块时调用对应的后台数据接口获取数据；Master任务模块，用于管理所述系统的任务调度和资源分配，收集所述Worker集群模块的任务状态，Worker集群模块，用于提供所述Master任务模块执行任务所需的工作集群组件；MySQL数据库模块，用于收集所述Master任务模块和Worker集群模块的工作日志信息并进行存储，以及用于所述Master任务模块和Worker集群模块对数据库进行CRUD操作。
与现有技术相比，本实施例能够实现大数据平台开源系统中调度任务后台处理不可见的缺陷，将任务间依赖关系、调度时间、运行状态进行可视化操作；通过后台数据接口和前端结合，实现任务的可视化操作和可视化监控，保证平台任务的高效运行，提高系统管理效率，并缩短维护成本。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如所述模块的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (10)

1.一种用于大数据平台的任务作业可视化系统，其特征在于，包括前端模块、后端模块、Master任务模块、Worker集群模块和MySQL数据库模块；其中，
前端模块，用于将采集的大数据通过Ajax技术发送至所述Master任务模块和所述Worker集群模块；
后端模块，用于通过系统后台数据接口与所述前端模块连接，以使系统在使用所述前端模块时调用对应的后台数据接口获取数据；
Master任务模块，用于管理所述系统的任务调度和资源分配，收集所述Worker集群模块的任务状态信息；
Worker集群模块，用于提供所述Master任务模块执行任务所需的工作集群组件；
MySQL数据库模块，用于收集所述Master任务模块和Worker集群模块的工作日志信息并进行存储，以及用于所述Master任务模块和Worker集群模块对数据库进行CRUD操作。
2.根据权利要求1所述的用于大数据平台的任务作业可视化系统，其特征在于，所述Master任务模块，包括任务调度单元、Work选发任务单元、告警监控单元、任务结果广播单元、负载均衡单元和任务路由单元。
3.根据权利要求2所述的用于大数据平台的任务作业可视化系统，其特征在于，所述Master任务模块，还用于根据Cron表达式解析每个任务的执行时间，在达到预设触发时间时将对应任务加入至任务队列中。
4.根据权利要求2所述的用于大数据平台的任务作业可视化系统，其特征在于，所述告警监控单元，用于监控目标任务，在任务自动调度执行失败后发送任务执行失败提醒消息至用户邮箱，以及在任务调度执行超时时发送任务超时提醒至用户邮箱。
5.根据权利与要求2所述的用于大数据平台的任务作业可视化系统，其特征在于，所述Master任务模块，还包括：
任务执行查看单元，用于通过任务依赖图查看系统的当前任务的上下游执行信息，并判断当前任务未执行的原因，以及查看每个任务之间的影响关系。
6.根据权利要求1所述的用于大数据平台的任务作业可视化系统，其特征在于，还包括：
可视化模块，用于通过解析大数据平台的Jason表达式，对系统中各个任务的依赖关系进行重写，并通过Java与Js前后端交互的方式实现在任务调度单元中。
7.根据权利要求6所述的用于大数据平台的任务作业可视化系统，其特征在于，所述可视化模块，还用于通过可视化的任务DAG展示每个任务的执行状况和依赖关系。
8.根据权利要求1所述的用于大数据平台的任务作业可视化系统，其特征在于，所述MySQL数据库模块，还用于查看和回复所述Master任务模块的任务操作历史记录。
9.根据权利要求1所述的用于大数据平台的任务作业可视化系统，其特征在于，还包括：
对外接口模块，用于通过开放系统任务调度触发接口对接外部系统。
10.根据权利要求1所述的用于大数据平台的任务作业可视化系统，其特征在于，还包括：
系统功能扩展模块，用于根据预设需求扩展所述系统的功能。
CN202011542175.7A 2020-12-23 2020-12-23 一种用于大数据平台的任务作业可视化系统 Pending CN112579276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011542175.7A CN112579276A (zh) 2020-12-23 2020-12-23 一种用于大数据平台的任务作业可视化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011542175.7A CN112579276A (zh) 2020-12-23 2020-12-23 一种用于大数据平台的任务作业可视化系统

Publications (1)

Publication Number Publication Date
CN112579276A true CN112579276A (zh) 2021-03-30

Family

ID=75139216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011542175.7A Pending CN112579276A (zh) 2020-12-23 2020-12-23 一种用于大数据平台的任务作业可视化系统

Country Status (1)

Country Link
CN (1) CN112579276A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331352A (zh) * 2021-12-28 2022-04-12 江苏银承网络科技股份有限公司 同城大数据调度系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557363A (zh) * 2016-12-05 2017-04-05 广发证券股份有限公司 一种大数据任务调度的系统以及方法
CN108874524A (zh) * 2018-06-21 2018-11-23 山东浪潮商用系统有限公司 大数据分布式任务调度系统
CN109800081A (zh) * 2018-12-14 2019-05-24 深圳壹账通智能科技有限公司 一种大数据任务的管理方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557363A (zh) * 2016-12-05 2017-04-05 广发证券股份有限公司 一种大数据任务调度的系统以及方法
CN108874524A (zh) * 2018-06-21 2018-11-23 山东浪潮商用系统有限公司 大数据分布式任务调度系统
CN109800081A (zh) * 2018-12-14 2019-05-24 深圳壹账通智能科技有限公司 一种大数据任务的管理方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331352A (zh) * 2021-12-28 2022-04-12 江苏银承网络科技股份有限公司 同城大数据调度系统
CN114331352B (zh) * 2021-12-28 2024-05-28 江苏银承网络科技股份有限公司 同城大数据调度系统

Similar Documents

Publication Publication Date Title
CN109388537B (zh) 运行信息跟踪方法、装置及计算机可读存储介质
CN106126403B (zh) Oracle数据库故障分析方法和装置
EP3148116A1 (en) Information system fault scenario information collection method and system
US20140025417A1 (en) Characterizing Time-Bounded Incident Management Systems
CN110851324B (zh) 基于日志的巡检处理方法、装置以及电子设备、存储介质
CN112817720A (zh) 一种可视化工作流调度方法、装置及电子设备
CN110650137A (zh) 煤矿网络异常行为预警方法、系统、设备及可读存储介质
US20140136691A1 (en) Application monitoring of related activities across multiple threads
CN115935035A (zh) Rpa流程可视化管理方法、装置、设备及可读存储介质
US8090994B2 (en) System, method, and computer readable media for identifying a log file record in a log file
CN110232013B (zh) 测试方法、装置以及控制器和介质
CN112579276A (zh) 一种用于大数据平台的任务作业可视化系统
JP2013206368A (ja) 仮想環境運用支援システム
CN111756778A (zh) 一种服务器磁盘清理脚本推送的方法、装置和存储介质
CN110928663A (zh) 一种跨平台多线程监控方法及装置
CN114625640B (zh) 软件测试项目管理方法和装置，以及存储介质和电子设备
CN112115021A (zh) 任务运维方法、装置及系统
US7680921B2 (en) Management system, management computer, managed computer, management method and program
CN111949546A (zh) 一种操作系统测试方法、装置、设备及可读存储介质
CN105868957A (zh) 一种持续集成方法及装置
CN116149824A (zh) 任务重跑的处理方法、装置、设备及存储介质
CN113641628B (zh) 数据质量检测方法、装置、设备及存储介质
CN113254728B (zh) 任务信息展示方法、装置、电子设备及存储介质
CN110502404B (zh) 一种基于数据治理平台的预警处理方法及相关设备
CN114185656A (zh) 一种测试任务处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510000 Lingnan node garden, Yuwei bridge, Huadi Avenue Road, Liwan District, Guangzhou City, Guangdong Province

Applicant after: Guangdong one health industry group Co.,Ltd.

Address before: 510000 Lingnan node garden, Yuwei bridge, Huadi Avenue Road, Liwan District, Guangzhou City, Guangdong Province

Applicant before: LVSHOU HEALTH INDUSTRY GROUP CO.,LTD.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330