CN102209100B - 一种任务调度云处理系统及其方法 - Google Patents

一种任务调度云处理系统及其方法 Download PDF

Info

Publication number
CN102209100B
CN102209100B CN 201110061721 CN201110061721A CN102209100B CN 102209100 B CN102209100 B CN 102209100B CN 201110061721 CN201110061721 CN 201110061721 CN 201110061721 A CN201110061721 A CN 201110061721A CN 102209100 B CN102209100 B CN 102209100B
Authority
CN
China
Prior art keywords
task scheduling
service node
cloud service
scheduling cloud
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201110061721
Other languages
English (en)
Other versions
CN102209100A (zh
Inventor
刘建明
刘金长
杨成月
李浩松
陈雄华
廖生伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Original Assignee
XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY Co Ltd, State Grid Corp of China SGCC filed Critical XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY Co Ltd
Priority to CN 201110061721 priority Critical patent/CN102209100B/zh
Publication of CN102209100A publication Critical patent/CN102209100A/zh
Application granted granted Critical
Publication of CN102209100B publication Critical patent/CN102209100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种任务调度云处理系统及其方法。该系统包括一个管理控制台、多个任务调度云服务节点及一个存储运行日志的日志数据库,每一个任务调度云服务节点安装有任务调度资源识别器、控制命令执行器、故障迁移监控器及运行日志记录器,采用上述技术方案,取得的有益效果是:任务调度时无需进行双服务器或多服务器热备,具有“软故障迁移”功能,避免系统的单点故障,且节约成本。

Description

一种任务调度云处理系统及其方法
技术领域
本发明涉及一种任务调度的系统及方法,特别涉及一种任务调度云处理系统及其方法。
背景技术
任务调度是企业应用中不可或缺的组成部分,广泛应用于安全生产、营销管理、项目管理、协同办公等应用系统中,如定时上报业务数据、每日凌晨生成业务报表、定时调用外部服务同步数据等,所有需要自动完成的工作都需要任务调度的支持。
传统的任务调度有两种处理方式:(1)单服务器处理方式。采用单服务器处理方式时,当该单服务器出现故障,任务调度就会失败,影响到系统稳定性;(2)多服务器硬件热备处理方式。采用此种方式,不仅架构成本高,系统维护工作量也很大。
发明内容
为解决现有技术中存在的技术问题,本发明提供了一种稳定性高、成本较低的任务调度云处理系统及其方法。
本发明解决上述技术问题,所采用的技术方案是:提供一种任务调度云处理系统,包括一个管理控制台、多个任务调度云服务节点及一个存储运行日志的日志数据库,每一任务调度云服务节点分别安装有任务调度资源识别器、控制命令执行器、故障迁移监控器及运行日志记录器,其中,所述管理控制台用于建立任务调度云服务节点注册表,定义云任务,发布云任务控制命令,查看任务运行日志;所述日志数据库用于存储云任务执行过程的数据记录,所述管理控制台可查看所述日志数据库的数据记录;所述任务调度资源识别器用于从所述管理控制台获取任务调度云服务节点注册表,并依据该任务调度云服务节点注册表识别出宿主服务节点是否是任务调度云服务节点,并选择最高优先级任务调度云服务节点当作当前任务调度云服务节点;所述控制命令执行器用于获取由所述管理控制台发布的云任务控制命令并在各任务调度云服务节点执行;所述故障迁移监控器用于监视当前任务调度云服务节点状态,并在当前任务调度云服务节点发生故障时,自动选择次优先级别的备用任务调度云服务节点作为当前任务调度云服务节点;所述运行日志记录器在侦测到云任务执行时,将云任务运行日志记录于日志数据库中。
作为本发明的一优选方案,所述云任务控制命令包括任务调度云服务节点切换命令、云任务启动命令及云任务停止命令。
作为本发明的一优选方案,所述云任务是全部任务调度云服务节点可见的全局任务。
解决现有技术中存在的技术问题,本发明还提供了一种任务调度云处理系统的方法,包括,步骤A,管理控制台注册云任务调度云服务节点数据,建立任务调度云服务节点注册表;步骤B,各任务调度云服务节点根据所述任务调度云服务节点注册表,当任务调度云服务节点启动时向其他任务调度云服务节点广播URL的HTTP请求,其他任务调度云服务节点接收请求并分析出各自的URL;步骤C,各任务调度云服务节点从管理控制台获得云任务控制命令,并在各任务调度云服务节点执行;步骤D,管理控制台对各任务调度云服务节点进行优先级排序,选择优先级别最高的任务调度云服务节点当作当前任务调度云服务节点;步骤E,各任务调度云服务节点定时向管理控制台报告活动状态,各任务调度云服务节点的故障迁移监控器对当前任务调度云服务节点进行监视,如发现故障,备用的次优先级任务调度云服务节点自动切换为当前任务调度云服务节点;步骤F,云任务开始执行,运行日志记录器将运行日志记录于日志数据库。
作为本发明一优选方案,所述步骤E进一步包括,步骤e1,定时查看当前任务调度云服务节点最后活动时间;步骤e2,最后活动时间至查看时间是否超过限定的N分钟,如果超过N分钟,则执行步骤e3;否则运行步骤e1;步骤e3,将当前任务调度云服务节点设置为非活动状态;步骤e4,选择次优先级的任务调度云服务节点作为当前任务调度云服务节点。
作为本发明一优选方案,所述步骤F进一步包括,步骤f1,运行日志记录器侦测到云任务执行;步骤f2,用户是否为该云任务自定义日志记录器,如果否,则执行步骤f3,否则执行步骤f4;步骤f3,执行默认的日志记录器并将日志存储于日志数据库;步骤f4,执行用户自定义的日志记录器并将日志存储于日志数据库。
采用上述技术方案,取得的有益效果是:
(1)任务调度时无需进行双服务器或多服务器热备,具有“软故障迁移”功能,避免系统的单点故障,且节约成本。
(2)任务调度服务无需独立部署,且不会造成“单一任务多次运行”的问题。
附图说明
图1是本发明所述的一种任务调度云处理系统示意图;
图2是本发明所述的一种任务调度云处理系统框图;
图3是本发明所述的一种任务调度云处理的方法流程图;
图4是本发明所述的任务调度云服务节点识别出各自URL的流程图;
图5是本发明所述的故障迁移监控器对当前任务调度云服务节点监视流程图;
图6是本发明所述的运行日志记录器将运行日志记录于日志数据库流程图;
图7是本发明所述的云任务列表示意图;
图8是本发明所述的管理控制台云任务运行日志。
具体实施方式
下面结合附图及实施方式说明本发明所述的技术方案。
7.如图1、图2所示,本发明所述的一种任务调度云处理系统,包括管理控制台1、多个任务调度云服务节点21及存储运行日志的日志数据库3,每一任务调度云服务节点21安装有任务调度资源识别器211、控制命令执行器212、故障迁移监控器213及运行日志记录器214,其中,管理控制台1用于建立任务调度云服务节点注册表,定义云任务,发布云任务控制命令,查看任务运行日志;日志数据库3用于存储云任务执行过程的数据记录,管理控制台1可查看所述日志数据库3的数据记录;任务调度资源识别器211用于从所述管理控制台获取任务调度云服务节点注册表,并依据该任务调度云服务节点注册表识别出宿主服务节点是否是任务调度云服务节点,并选择最高优先级任务调度云服务节点当作当前任务调度云服务节点;控制命令执行器212用于获取从管理控制台1发布的云任务控制命令并在各任务调度云服务节点执行;故障迁移监控器213用于监视当前任务调度云服务节点状态,并在当前任务调度云服务节点发生故障时,自动选择次优先级别的备用任务调度云服务节点作为当前任务调度云服务节点;运行日志记录器214在侦测到云任务执行时,将云任务运行日志记录于日志数据库3中。另外,如图8所示,云任务控制命令包括任务调度云服务节点切换命令、云任务启动命令及云任务停止命令。如图7所示,所述云任务是全部任务调度云服务节点21可见的全局任务
如图3所示,本发明所述的一种任务调度云处理的方法,包括,步骤A,管理控制台注册任务调度云服务节点数据,通过URL(如http://ip:port)指定任务调度云服务节点,建立任务调度云服务节点注册表;步骤B,各任务调度云服务节点根据所述任务调度云服务节点注册表,当任务调度云服务节点启动时向其他任务调度云服务节点广播URL的HTTP请求,其他任务调度云服务节点接收请求并分析出各自的URL;步骤C,各云服务节点都订阅了管理控制台的控制命令信息,各任务调度云服务节点从管理控制台获得云任务控制命令,并在各任务调度云服务节点执行;步骤D,管理控制台对各任务调度云服务节点进行优先级排序,选择优先级别最高的任务调度云服务节点当作当前任务调度云服务节点;步骤E,各任务调度云服务节点定时向管理控制台报告活动状态,各任务调度云服务节点的故障迁移监控器对当前任务调度云服务节点进行监视,如发现故障,备用的次优先级任务调度云服务节点自动切换为当前任务调度云服务节点;步骤F,云任务开始执行,运行日志记录器将运行日志记录于日志数据库。
如图4所示,本发明所述的任务调度云服务节点识别出各自URL的流程是:步骤b1,任务调度云服务节点启动并向其他任务调度云服务节点广播URL的HTTP请求;步骤b2,其他任务调度云服务节点接收该HTTP请求,并分析出各自的URL。采用上述流程的原因是:任务调度云服务节点不能直接获得自己的URL(即ip:port),只能根据接收到的HTTP请求才能分析出自己的URL。
如图5所示,故障迁移监控器对当前任务调度云服务节点监视流程包括:步骤e1,定时查看当前任务调度云服务节点最后活动时间;步骤e2,最后活动时间至查看时间是否超过限定的N分钟,如果超过N分钟,则执行步骤e3;否则运行步骤e1;步骤e3,将当前任务调度云服务节点设置为非活动状态;步骤e4,选择次优先级的任务调度云服务节点作为当前任务调度云服务节点。
如图6所示,本发明所述的运行日志记录器将运行日志记录于日志数据库流程包括:步骤f1,运行日志记录器侦测到云任务执行;步骤f2,用户是否为该云任务自定义日志记录器,如果否,则执行步骤f3,否则执行步骤f4;步骤f3,执行默认的日志记录器并将日志存储于日志数据库;步骤f4,执行用户自定义的日志记录器并将日志存储于日志数据库。
以上所述,仅为本发明较佳实施例,不以此限定本发明实施的范围.依本发明的技术方案及说明书内容所作的等效变化与修饰,皆应属于本发明涵盖的范围。

Claims (6)

1.一种任务调度云处理系统,其特征在于,包括一个管理控制台、多个任务调度云服务节点及一个存储运行日志的日志数据库,每一任务调度云服务节点分别安装有任务调度资源识别器、控制命令执行器、故障迁移监控器及运行日志记录器,其中,
所述管理控制台用于建立任务调度云服务节点注册表,定义云任务,发布云任务控制命令,查看任务运行日志;
所述日志数据库用于存储云任务执行过程的数据记录,所述管理控制台可查看所述日志数据库的数据记录;
所述任务调度资源识别器用于从所述管理控制台获取任务调度云服务节点注册表,并依据该任务调度云服务节点注册表识别出宿主服务节点是否是任务调度云服务节点,并选择最高优先级任务调度云服务节点当作当前任务调度云服务节点;
所述控制命令执行器用于获取由所述管理控制台发布的云任务控制命令并在各任务调度云服务节点执行;
所述故障迁移监控器用于监视当前任务调度云服务节点状态,并在当前任务调度云服务节点发生故障时,自动选择次优先级别的备用任务调度云服务节点作为当前任务调度云服务节点;
所述运行日志记录器在侦测到云任务执行时,将云任务运行日志记录于日志数据库中。
2.根据权利要求1所述的一种任务调度云处理系统,其特征在于,所述云任务控制命令包括任务调度云服务节点切换命令、云任务启动命令及云任务停止命令。
3.根据权利要求1所述的一种任务调度云处理系统,其特征在于,所述云任务是全部任务调度云服务节点可见的全局任务。
4.一种任务调度云处理的方法,其特征在于,包括,
步骤A,管理控制台注册任务调度云服务节点数据,建立任务调度云服务节点注册表;
步骤B,各任务调度云服务节点根据所述任务调度云服务节点注册表,当任务调度云服务节点启动时向其他任务调度云服务节点广播URL的HTTP请求,其他任务调度云服务节点接收请求并分析出各自的URL;
步骤C,各任务调度云服务节点从管理控制台获得云任务控制命令,并在各任务调度云服务节点执行;
步骤D,管理控制台对各任务调度云服务节点进行优先级排序,选择优先级别最高的任务调度云服务节点当作当前任务调度云服务节点;
步骤E,各任务调度云服务节点定时向管理控制台报告活动状态,各任务调度云服务节点的故障迁移监控器对当前任务调度云服务节点进行监视,如发现故障,备用的次优先级任务调度云服务节点自动切换为当前任务调度云服务节点;
步骤F,云任务开始执行,运行日志记录器将运行日志记录于日志数据库。
5.根据权利要求4所述一种任务调度云处理的方法,其特征在于,所述步骤E进一步包括,
步骤e1,定时查看当前任务调度云服务节点最后活动时间;
步骤e2,最后活动时间至查看时间是否超过限定的N分钟,如果超过N分钟,则执行步骤e3;否则运行步骤e1;
步骤e3,将当前任务调度云服务节点设置为非活动状态;
步骤e4,选择次优先级的任务调度云服务节点作为当前任务调度云服务节点。
6.根据权利要求4所述一种任务调度云处理的方法,其特征在于,所述步骤F进一步包括,
步骤f1,运行日志记录器侦测到云任务执行;
步骤f2,用户是否为该云任务自定义日志记录器,如果否,则执行步骤f3,否则执行步骤f4;
步骤f3,执行默认的日志记录器并将日志存储于日志数据库;
步骤f4,执行用户自定义的日志记录器并将日志存储于日志数据库。
CN 201110061721 2011-03-15 2011-03-15 一种任务调度云处理系统及其方法 Active CN102209100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110061721 CN102209100B (zh) 2011-03-15 2011-03-15 一种任务调度云处理系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110061721 CN102209100B (zh) 2011-03-15 2011-03-15 一种任务调度云处理系统及其方法

Publications (2)

Publication Number Publication Date
CN102209100A CN102209100A (zh) 2011-10-05
CN102209100B true CN102209100B (zh) 2013-10-23

Family

ID=44697763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110061721 Active CN102209100B (zh) 2011-03-15 2011-03-15 一种任务调度云处理系统及其方法

Country Status (1)

Country Link
CN (1) CN102209100B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523278B (zh) * 2011-12-09 2015-02-04 中国联合网络通信集团有限公司 基于云计算的服务提供方法及网络运营商服务器
CN102411766A (zh) * 2011-12-29 2012-04-11 国网信息通信有限公司 电力系统数据分析平台及方法
CN103368993A (zh) * 2012-03-28 2013-10-23 上海地面通信息网络有限公司 一种虚拟云主机备份控制装置
CN103051055B (zh) * 2012-10-31 2014-12-31 国网电力科学研究院 一种汇聚控制器
CN102999390B (zh) * 2012-11-14 2016-08-03 北京搜狐新媒体信息技术有限公司 一种云计算环境下的后端资源控制方法和装置
CN103064742B (zh) * 2012-12-25 2016-05-11 中国科学院深圳先进技术研究院 一种hadoop集群的自动部署系统及方法
CN103458055A (zh) * 2013-09-22 2013-12-18 广州中国科学院软件应用技术研究所 一种云计算平台
CN103544060B (zh) * 2013-10-25 2016-06-22 珠海许继芝电网自动化有限公司 一种基于webservice的服务调度系统及方法
US10832224B2 (en) * 2015-05-06 2020-11-10 Vmware, Inc. Calendar based management of information technology (IT) tasks
CN105806144A (zh) * 2015-05-18 2016-07-27 山东信合节能科技股份有限公司 一种利用云处理的矿井余热回收的系统与方法
US10305981B2 (en) * 2016-08-31 2019-05-28 Satori Worldwide, Llc Data replication in scalable messaging system
CN106789244A (zh) * 2016-12-22 2017-05-31 上海斐讯数据通信技术有限公司 一种云终端设备的管理方法及系统
US10417055B2 (en) 2017-01-11 2019-09-17 International Business Machines Corporation Runtime movement of microprocess components
CN108513019B (zh) * 2017-02-27 2020-09-29 北京京东尚科信息技术有限公司 一种实现自动呼叫分配服务集群的方法和系统
WO2018195899A1 (en) * 2017-04-28 2018-11-01 Beijing Didi Infinity Technology And Development Co., Ltd. System and method for task scheduling and device management
CN107273232B (zh) * 2017-05-22 2020-04-28 国网安徽省电力公司信息通信分公司 一种企业信息化系统自愈调度方法
WO2019202365A1 (en) * 2018-04-18 2019-10-24 Pratik Sharma Event based task scheduler for cloud
CN109284190A (zh) * 2018-09-20 2019-01-29 中链科技有限公司 一种任务处理方法及装置
CN109413081B (zh) * 2018-11-12 2021-09-07 郑州昂视信息科技有限公司 一种Web服务调度方法及调度系统
CN111290854B (zh) * 2020-01-20 2024-03-15 腾讯云计算(北京)有限责任公司 任务管理方法、装置、系统、计算机存储介质及电子设备
CN112291367B (zh) * 2020-11-17 2022-06-10 珠海大横琴科技发展有限公司 一种数据处理的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719931A (zh) * 2009-11-27 2010-06-02 南京邮电大学 一种基于多智能主体的层次式云端计算模型构建方法
CN101729279A (zh) * 2008-10-28 2010-06-09 中兴通讯股份有限公司 一种企业移动信息系统容灾的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729279A (zh) * 2008-10-28 2010-06-09 中兴通讯股份有限公司 一种企业移动信息系统容灾的方法
CN101719931A (zh) * 2009-11-27 2010-06-02 南京邮电大学 一种基于多智能主体的层次式云端计算模型构建方法

Also Published As

Publication number Publication date
CN102209100A (zh) 2011-10-05

Similar Documents

Publication Publication Date Title
CN102209100B (zh) 一种任务调度云处理系统及其方法
US10152382B2 (en) Method and system for monitoring virtual machine cluster
CN107451147B (zh) 一种kafka集群动态切换的方法和装置
CN107016480B (zh) 任务调度方法、装置及系统
US20140026000A1 (en) Highly available server system based on cloud computing
US10831622B2 (en) Method and apparatus for processing gateway device fault
CN106406993A (zh) 一种定时任务管理方法和系统
US9898352B2 (en) Interface call system and method
CN104408071A (zh) 一种基于集群管理器的分布式数据库高可用方法及系统
CN111314149A (zh) 基于多个边缘云平台实现统一监控运维管理的系统
US8516295B2 (en) System and method of collecting and reporting exceptions associated with information technology services
CN105302661A (zh) 一种实现虚拟化管理平台高可用的系统和方法
CN105978721B (zh) 一种集群系统中监控服务运行状态的方法、装置和系统
CN105760240A (zh) 分布式任务处理方法及装置
CN102761528A (zh) 数据管理系统及方法
CN105306272A (zh) 信息系统故障场景信息收集方法及系统
CN110750426A (zh) 服务状态监测方法、装置、电子设备及可读存储介质
CN102664747A (zh) 一种云计算平台系统
CN108089915A (zh) 基于消息队列的业务控件化处理的方法及系统
CN103178994A (zh) 自动检测多台服务器的方法
CN103827831A (zh) 活动模块诊断测试
CN111756778A (zh) 一种服务器磁盘清理脚本推送的方法、装置和存储介质
CN105025179A (zh) 呼叫中心座席的监控方法及系统
CN108154343B (zh) 一种企业级信息系统的应急处理方法及系统
CN115952227A (zh) 数据采集系统及方法、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: STATE ELECTRIC NET CROP.

Free format text: FORMER OWNER: XIAMEN EPGIS INFORMATION TECHNOLOGY CO., LTD.

Effective date: 20130105

Owner name: XIAMEN EPGIS INFORMATION TECHNOLOGY CO., LTD.

Effective date: 20130105

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 361000 XIAMEN, FUJIAN PROVINCE TO: 100081 DONGCHENG, BEIJING

TA01 Transfer of patent application right

Effective date of registration: 20130105

Address after: 100081 No. 86 West Chang'an Avenue, Beijing

Applicant after: State Grid Corporation of China

Applicant after: Xiamen Great Power Geo Information Technology Company Limited

Address before: 361000 Fujian province Xiamen software park two sunrise Road No. 28 404-406 unit

Applicant before: Xiamen Great Power Geo Information Technology Company Limited

C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
CB03 Change of inventor or designer information

Inventor after: Liu Jianming

Inventor after: Liu Jinchang

Inventor after: Yang Chengyue

Inventor after: Li Haosong

Inventor after: Chen Xionghua

Inventor after: Liao Shengwei

Inventor after: Huang Wensi

Inventor before: Liu Jianming

Inventor before: Liu Jinchang

Inventor before: Yang Chengyue

Inventor before: Li Haosong

Inventor before: Chen Xionghua

Inventor before: Liao Shengwei

COR Change of bibliographic data
TR01 Transfer of patent right

Effective date of registration: 20160722

Address after: 100081 No. 86 West Chang'an Avenue, Beijing

Patentee after: State Grid Corporation of China

Patentee after: Xiamen Great Power Geo Information Technology Company Limited

Patentee after: State Grid Inforamtion & Telecommunication Great Power Science and Technology Co., Ltd.

Address before: 100081 No. 86 West Chang'an Avenue, Beijing

Patentee before: State Grid Corporation of China

Patentee before: Xiamen Great Power Geo Information Technology Company Limited