CN110727505B - 一种可热加载的分布式任务调度与服务监控系统 - Google Patents

一种可热加载的分布式任务调度与服务监控系统 Download PDF

Info

Publication number
CN110727505B
CN110727505B CN201911300507.8A CN201911300507A CN110727505B CN 110727505 B CN110727505 B CN 110727505B CN 201911300507 A CN201911300507 A CN 201911300507A CN 110727505 B CN110727505 B CN 110727505B
Authority
CN
China
Prior art keywords
node
value
distributed
scheduling
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911300507.8A
Other languages
English (en)
Other versions
CN110727505A (zh
Inventor
侯凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lianyin Technology Co ltd
Original Assignee
Hangzhou Lianyin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lianyin Technology Co ltd filed Critical Hangzhou Lianyin Technology Co ltd
Priority to CN201911300507.8A priority Critical patent/CN110727505B/zh
Publication of CN110727505A publication Critical patent/CN110727505A/zh
Application granted granted Critical
Publication of CN110727505B publication Critical patent/CN110727505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种可热加载的分布式任务调度与服务监控系统，用于解决现有分布式任务调度分配不合理和主机任务较多，导致增加任务无法执行的可能性以及影响主机寿命的问题；包括运行节点模块、服务器、数据采集模块、分析调度模块、日志汇总模块、数据库、监控预警模块和运维分析模块；本发明通过分析调度模块对运行节点的分布式任务进行优化和调度，利用公式获取得到运行节点的调度值；通过对主机的调度值进行计算，可实现主机的任务合理安排，避免主机任务较多，导致增加任务无法执行的可能性；将分布式任务合理分配到其它主机进行执行，提高任务执行的效率，避免主机的执行任务量较多，影响主机的使用寿命。

Description

一种可热加载的分布式任务调度与服务监控系统
技术领域
本发明涉及互联网技术领域，尤其涉及一种可热加载的分布式任务调度与服务监控系统。
背景技术
调度系统一般是指以时间触发或者事件触发的方式在计算机上执行相应任务的系统。分布式主要是指将任务分布到不同的计算机上，任务执行有上下游，需要协同完成任务的工作方式。调度系统经常以分布式的方式实现，即形成分布式调度系统。主要用于在计算机集群之间执行定时或者被事件触发的任务；
在专利“CN109408204A一种分布式任务系统的任务调度方法及装”，虽然实现了大数据生产中多种复杂的任务调度依赖关系，为数据业务提供灵活的血缘关系；但存在不足：无法根据主机的处理情况，合理的将分布式任务分配到相应的主机上，容易导致主机的执行任务量较多，影响主机的使用寿命。
发明内容
本发明的目的在于提供一种可热加载的分布式任务调度与服务监控系统；本发明通过对主机的调度值进行计算，可实现主机的任务合理安排，避免主机任务较多，导致增加任务无法执行的可能性；将分布式任务合理分配到其它主机进行执行，提高任务执行的效率，避免主机的执行任务量较多，影响主机的使用寿命。
本发明所要解决的技术问题为：
(1)如何通过对分布式任务的运行节点数据进行采集，通过对运行节点的调度值进行计算，根据调度值对运行节点进行优化调度；可实现主机的任务合理安排，提高任务运行效率；解决了现有分布式任务调度分配不合理和主机任务较多，导致增加任务无法执行的可能性以及影响主机寿命的问题。
本发明的目的可以通过以下技术方案实现：一种可热加载的分布式任务调度与服务监控系统，包括运行节点模块、服务器、数据采集模块、分析调度模块、日志汇总模块、数据库、监控预警模块和运维分析模块；
所述运行节点模块由若干个主机构成，用于存储分布式任务文本数据和定时执行分布式任务并将执行分布式任务所生成的日志文件发送至服务器内；所述数据采集模块用于采集运行节点的待执行的分布式任务的数量和运行节点数据；运行节点为主机；所述运行节点数据包括主机的通电时长、主机的剩余内存和主机定时执行分布式任务的执行时间、结束时间和未执行次数；所述数据采集模块将采集的待执行的分布式任务的数量和运行节点数据发送至服务器内；所述分析调度模块用于对运行节点的分布式任务进行优化和调度，具体步骤如下：
步骤一：将运行节点标记为Yi,i＝1……n；设定运行节点的分布式任务记为WjYi,j＝1……n；设定运行节点Yi的通电时长记为TYi；分布式任务的定时时间记为T1WjYi；分布式任务的执行时间记为T2WjYi；分布式任务的结束时间记为T3WjYi；运行节点的未执行次数记为PYi；运行节点的剩余内存记为NCYi；运行节点的分布式任务数量记为MYi；
步骤二：利用求和公式
Figure GDA0002385406150000021
获取得到运行节点的执行延迟总时长YCYi；利用求和公式
Figure GDA0002385406150000022
获取得到运行节点的任务执行总时长YXYi；
步骤三：利用公式
Figure GDA0002385406150000031
获取得到运行节点Yi的调度值DYi；其中，e1、e2、e3、e4和e5均为预设比例系数，λ为误差修正值，取值为0.992782142；
步骤四：设定调度界限阈值记为DA；
步骤五：当DA<DYi则将该运行节点Yi标记为优化运行节点；当DYi<DA，不进行任何操作；
步骤六：对优化运行节点进行优化调度，具体优化调度步骤如下：
S101：获取优化运行节点的分布式任务WjYi；统计分布式任务WjYi对应的总运行次数以及每次运行的执行时间和结束时间；设定总运行次数记为k,k＝1、……、n；每次运行的执行时间记为T2kWjYi；结束时间记为T3kWjYi；
S102：利用公式
Figure GDA0002385406150000032
获取得到优化运行节点对应的分布式任务的运行值YWjYi；其中,h1和h2为预设比例值；
S103：对分布式任务WjYi依照运行值由大到小进行排序；对运行值最大的分布式任务进行优化，获取运行节点Yi的调度值DYi；并由小到大依次进行排序，选取调度值DYi最小的运行节点Yi标记为待移动运行节点；
S104：优化运行节点将运行值最大的分布式任务WjYi移送至待移动运行节点；由待移动运行节点执行运行值最大的分布式任务WjYi；同时，优化运行节点的待执行的分布式任务的数量减一，待移动运行节点的分布式任务的数量增加一；
S105：然后对优化运行节点依照步骤三进行重新计算调度值DYi；当DA<DYi；则将运行值次之的分布式任务进行优化，依照步骤三对待移动运行节点运行进行重新计算调度值，将运行Yi节点的调度值DYi由小到大依次进行重新排序；选取选取调度值DYi最小的运行节点Yi标记为待移动运行节点；执行步骤S104；当DYi<DA，则停止对优化运行节点进行优化。
优选的，所述运行节点定时执行分布式任务并生成日志文件，将日志文件发送至服务器内；所述日志汇总模块用于获取服务器内的日志文件并进行汇总，同时，日志汇总模块对进行定时分析日志文件中的关键字，当关键字错误，则生成预警指令，日志汇总模块将汇总的日志文件和预警指令发送至运维分析模块。
优选的，所述运维分析模块用于将日志文件和预警指令发送给运维人员进行展示查看，具体发送步骤如下：
S1：运维分析模块通过服务器获取数据库内存储的运维人员的人员信息和运维值；人员信息包括姓名、入职时间和联系方式；
S2：设定运维人员记为Ri,i＝1、……、n；运维值记为PRi；选取运维值最小的运维人员为选中发送人员；运维分析模块将日志文件和预警指令通过联系方式发送至运维人员的手机终端、电脑终端或平板终端上；同时记录发送时间T1Ri；
S3：运维人员通过手机终端、电脑终端或平板终端发送收到指令至运维分析模块；运维分析模块接收到收到指令，记录接收时间T2Ri；
S4：运维人员的接收总次数增加一；
其中，利用公式
Figure GDA0002385406150000041
获取得到运维值PRi；其中，RT为系统当前时间；RZRi表示运维人员的入职时间；JSRi表示运维人员的接收总次数；d1、d2和d3均为预设比例系数固定值；运维分析模块将运维值发送至服务器。
优选的，所述服务器将运维值、日志文件、运行节点的待执行的分布式任务的数量和运行节点数据以及调度值发送至数据库内进行存储；所述监控预警模块用于获取运行节点数据的表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间；当表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间中任意一项小于对应的阈值，则生成预警指令；监控预警模块通过服务器将数据库预警指令发送至运维分析模块；运维分析模块将数据库预警指令发送至运维人员进行预警。
优选的，所述服务器内还包括热加载模块，所述热加载模块用于对运行节点内的分布式任务文本数据和定时执行分布式任务进行加载和替换最新的分布式任务文本数据和定时执行分布式任务。
本发明的有益效果：
(1)本发明通过数据采集模块采集运行节点的待执行的分布式任务的数量和运行节点数据；然后通过分析调度模块对运行节点的分布式任务进行优化和调度，利用公式获取得到运行节点的调度值；通过对主机的调度值进行计算，可实现主机的任务合理安排，避免主机任务较多，导致增加任务无法执行的可能性；
(2)本发明获取优化运行节点的分布式任务；统计分布式任务对应的总运行次数以及每次运行的执行时间和结束时间；利用公式获取得到优化运行节点对应的分布式任务的运行值；对运行值最大的分布式任务进行优化，将分布式任务合理分配到其它主机进行执行，提高任务执行的效率，避免主机的执行任务量较多，影响主机的使用寿命。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明一种可热加载的分布式任务调度与服务监控系统的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种可热加载的分布式任务调度与服务监控系统，包括运行节点模块、服务器、数据采集模块、分析调度模块、日志汇总模块、数据库、监控预警模块和运维分析模块；
运行节点模块由若干个主机构成，用于存储分布式任务文本数据和定时执行分布式任务并将执行分布式任务所生成的日志文件发送至服务器内；分布式任务包括支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算；电商整点抢购，商品价格8点整开始优惠；12306购票系统，超过30分钟没有成功支付订单的，进行回收处理；商品成功发货后，需要向客户发送短信提醒等等；
数据采集模块用于采集运行节点的待执行的分布式任务的数量和运行节点数据；运行节点为主机；运行节点数据包括主机的通电时长、主机的剩余内存和主机定时执行分布式任务的执行时间、结束时间和未执行次数；数据采集模块将采集的待执行的分布式任务的数量和运行节点数据发送至服务器内；分析调度模块用于对运行节点的分布式任务进行优化和调度，具体步骤如下：
步骤一：将运行节点标记为Yi,i＝1……n；设定运行节点的分布式任务记为WjYi,j＝1……n；设定运行节点Yi的通电时长记为TYi；分布式任务的定时时间记为T1WjYi；分布式任务的执行时间记为T2WjYi；分布式任务的结束时间记为T3WjYi；运行节点的未执行次数记为PYi；运行节点的剩余内存记为NCYi；运行节点的分布式任务数量记为MYi；
步骤二：利用求和公式
Figure GDA0002385406150000071
获取得到运行节点的执行延迟总时长YCYi；利用求和公式
Figure GDA0002385406150000072
获取得到运行节点的任务执行总时长YXYi；
步骤三：利用公式
Figure GDA0002385406150000073
获取得到运行节点Yi的调度值DYi；其中，e1、e2、e3、e4和e5均为预设比例系数，λ为误差修正值，取值为0.992782142；通过公式可得，运行节点的通电时间越长，调度值越大，表示该运行节点越容易被优化；运行节点的执行延迟总时长越大，调度值越大；行节点的分布式任务数量越多，调度值越大；运行节点的剩余内存越小，调度值越大；通过对主机的调度值进行计算，可实现主机的任务合理安排，避免主机任务较多，导致增加任务无法执行的可能性；
步骤四：设定调度界限阈值记为DA；
步骤五：当DA<DYi则将该运行节点Yi标记为优化运行节点；当DYi<DA，不进行任何操作；
步骤六：对优化运行节点进行优化调度，具体优化调度步骤如下：
S101：获取优化运行节点的分布式任务WjYi；统计分布式任务WjYi对应的总运行次数以及每次运行的执行时间和结束时间；设定总运行次数记为k,k＝1、……、n；每次运行的执行时间记为T2kWjYi；结束时间记为T3kWjYi；
S102：利用公式
Figure GDA0002385406150000074
获取得到优化运行节点对应的分布式任务的运行值YWjYi；其中,h1和h2为预设比例值；通过公式可得，主机执行分布式任务的时间与定时时间差值越大，分布式任务的运行值越大，表明该分布式任务在该主机的运行速度越差，越容易被调度至其它主机进行运行；
S103：对分布式任务WjYi依照运行值由大到小进行排序；对运行值最大的分布式任务进行优化，获取运行节点Yi的调度值DYi；并由小到大依次进行排序，选取调度值DYi最小的运行节点Yi标记为待移动运行节点；
S104：优化运行节点将运行值最大的分布式任务WjYi移送至待移动运行节点；由待移动运行节点执行运行值最大的分布式任务WjYi；同时，优化运行节点的待执行的分布式任务的数量减一，待移动运行节点的分布式任务的数量增加一；
S105：然后对优化运行节点依照步骤三进行重新计算调度值DYi；当DA<DYi；则将运行值次之的分布式任务进行优化，依照步骤三对待移动运行节点运行进行重新计算调度值，将运行Yi节点的调度值DYi由小到大依次进行重新排序；选取选取调度值DYi最小的运行节点Yi标记为待移动运行节点；执行步骤S104；当DYi<DA，则停止对优化运行节点进行优化。
运行节点定时执行分布式任务并生成日志文件，将日志文件发送至服务器内；日志汇总模块用于获取服务器内的日志文件并进行汇总，同时，日志汇总模块对进行定时分析日志文件中的关键字，当关键字错误，则生成预警指令，日志汇总模块将汇总的日志文件和预警指令发送至运维分析模块；
运维分析模块用于将日志文件和预警指令发送给运维人员进行展示查看，具体发送步骤如下：
S1：运维分析模块通过服务器获取数据库内存储的运维人员的人员信息和运维值；人员信息包括姓名、入职时间和联系方式；
S2：设定运维人员记为Ri,i＝1、……、n；运维值记为PRi；选取运维值最小的运维人员为选中发送人员；运维分析模块将日志文件和预警指令通过联系方式发送至运维人员的手机终端、电脑终端或平板终端上；同时记录发送时间T1Ri；
S3：运维人员通过手机终端、电脑终端或平板终端发送收到指令至运维分析模块；运维分析模块接收到收到指令，记录接收时间T2Ri；
S4：运维人员的接收总次数增加一；
其中，利用公式
Figure GDA0002385406150000091
获取得到运维值PRi；其中，RT为系统当前时间；RZRi表示运维人员的入职时间；JSRi表示运维人员的接收总次数；d1、d2和d3均为预设比例系数固定值；运维分析模块将运维值发送至服务器；通过公式可得，运维人员入职的时间越短，运维值越小，表示越容易发送日志文件给该运维人员进行查看；运维人员的接收确认时间越长，运维值越小；运维人员的接收总次数越少，运维值越小；
服务器将运维值、日志文件、运行节点的待执行的分布式任务的数量和运行节点数据以及调度值发送至数据库内进行存储；监控预警模块用于获取运行节点数据的表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间；当表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间中任意一项小于对应的阈值，则生成预警指令；监控预警模块通过服务器将数据库预警指令发送至运维分析模块；运维分析模块将数据库预警指令发送至运维人员进行预警；服务器内还包括热加载模块，热加载模块用于对运行节点内的分布式任务文本数据和定时执行分布式任务进行加载和替换最新的分布式任务文本数据和定时执行分布式任务；
所述运维分析模块还包括任务执行单元；任务执行单元用于监控运行节点内的分布式任务的执行时间；当分布式任务在定时时间之后的设定时间阈值内没有执行，则生成任务执行失败指令；任务执行失败指令发给运维人员进行及时查看和进行维修；
本发明的工作原理：通过数据采集模块采集运行节点的待执行的分布式任务的数量和运行节点数据；然后通过分析调度模块对运行节点的分布式任务进行优化和调度，用公式
Figure GDA0002385406150000101
获取得到运行节点Yi的调度值DYi；运行节点的通电时间越长，调度值越大，表示该运行节点越容易被优化；运行节点的执行延迟总时长越大，调度值越大；行节点的分布式任务数量越多，调度值越大；运行节点的剩余内存越小，调度值越大；通过对主机的调度值进行计算，可实现主机的任务合理安排，避免主机任务较多，导致增加任务无法执行的可能性；获取优化运行节点的分布式任务WjYi；统计分布式任务WjYi对应的总运行次数以及每次运行的执行时间和结束时间；利用公式
Figure GDA0002385406150000102
获取得到优化运行节点对应的分布式任务的运行值YWjYi；主机执行分布式任务的时间与定时时间差值越大，分布式任务的运行值越大，表明该分布式任务在该主机的运行速度越差，越容易被调度至其它主机进行运行；对分布式任务WjYi依照运行值由大到小进行排序；对运行值最大的分布式任务进行优化，获取运行节点Yi的调度值DYi；并由小到大依次进行排序，选取调度值DYi最小的运行节点Yi标记为待移动运行节点；优化运行节点将运行值最大的分布式任务WjYi移送至待移动运行节点；由待移动运行节点执行运行值最大的分布式任务WjYi；运维分析模块用于将日志文件和预警指令发送给运维人员进行展示查看，选取运维值最小的运维人员为选中发送人员；运维分析模块将日志文件和预警指令通过联系方式发送至运维人员的手机终端、电脑终端或平板终端上；同时记录发送时间T1Ri；运维人员通过手机终端、电脑终端或平板终端发送收到指令至运维分析模块；运维分析模块接收到收到指令，记录接收时间T2Ri；利用公式
Figure GDA0002385406150000111
获取得到运维值PRi；运维分析模块将运维值发送至服务器；通过公式可得，运维人员入职的时间越短，运维值越小，表示越容易发送日志文件给该运维人员进行查看；运维人员的接收确认时间越长，运维值越小；运维人员的接收总次数越少，运维值越小；通过对运维人员的筛选发送，可提高新入职运维人员查看和日志文件的几率，便于运维人员对日志文件进行快速了解和掌握。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (5)

1.一种可热加载的分布式任务调度与服务监控系统，其特征在于，包括运行节点模块、服务器、数据采集模块、分析调度模块、日志汇总模块、数据库、监控预警模块和运维分析模块；
所述运行节点模块由若干个主机构成，用于存储分布式任务文本数据和定时执行分布式任务并将执行分布式任务所生成的日志文件发送至服务器内；所述数据采集模块用于采集运行节点的待执行的分布式任务的数量和运行节点数据；运行节点为主机；所述运行节点数据包括主机的通电时长、主机的剩余内存和主机定时执行分布式任务的执行时间、结束时间和未执行次数；所述数据采集模块将采集的待执行的分布式任务的数量和运行节点数据发送至服务器内；所述分析调度模块用于对运行节点的分布式任务进行优化和调度，具体步骤如下：
步骤一：将运行节点标记为Yi,i＝1……n；设定运行节点的分布式任务记为WjYi,j＝1……n；设定运行节点Yi的通电时长记为TYi；分布式任务的定时时间记为T1WjYi；分布式任务的执行时间记为T2WjYi；分布式任务的结束时间记为T3WjYi；运行节点的未执行次数记为PYi；运行节点的剩余内存记为NCYi；运行节点的分布式任务数量记为MYi；
步骤二：利用求和公式
Figure FDA0002385406140000011
获取得到运行节点的执行延迟总时长YCYi；利用求和公式
Figure FDA0002385406140000012
获取得到运行节点的任务执行总时长YXYi；
步骤三：利用公式
Figure FDA0002385406140000013
获取得到运行节点Yi的调度值DYi；其中，e1、e2、e3、e4和e5均为预设比例系数，λ为误差修正值，取值为0.992782142；
步骤四：设定调度界限阈值记为DA；
步骤五：当DA<DYi则将该运行节点Yi标记为优化运行节点；当DYi<DA，不进行任何操作；
步骤六：对优化运行节点进行优化调度，具体优化调度步骤如下：
S101：获取优化运行节点的分布式任务WjYi；统计分布式任务WjYi对应的总运行次数以及每次运行的执行时间和结束时间；设定总运行次数记为k,k＝1、……、n；每次运行的执行时间记为T2kWjYi；结束时间记为T3kWjYi；
S102：利用公式
Figure FDA0002385406140000021
获取得到优化运行节点对应的分布式任务的运行值YWjYi；其中,h1和h2为预设比例值；
S103：对分布式任务WjYi依照运行值由大到小进行排序；对运行值最大的分布式任务进行优化，获取运行节点Yi的调度值DYi；并由小到大依次进行排序，选取调度值DYi最小的运行节点Yi标记为待移动运行节点；
S104：优化运行节点将运行值最大的分布式任务WjYi移送至待移动运行节点；由待移动运行节点执行运行值最大的分布式任务WjYi；同时，优化运行节点的待执行的分布式任务的数量减一，待移动运行节点的分布式任务的数量增加一；
S105：然后对优化运行节点依照步骤三进行重新计算调度值DYi；当DA<DYi；则将运行值次之的分布式任务进行优化，依照步骤三对待移动运行节点运行进行重新计算调度值，将运行Yi节点的调度值DYi由小到大依次进行重新排序；选取选取调度值DYi最小的运行节点Yi标记为待移动运行节点；执行步骤S104；当DYi<DA，则停止对优化运行节点进行优化。
2.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统，其特征在于，所述运行节点定时执行分布式任务并生成日志文件，将日志文件发送至服务器内；所述日志汇总模块用于获取服务器内的日志文件进行汇总，并对日志文件中的关键字进行定时判断，当关键字错误，则生成预警指令，日志汇总模块将汇总的日志文件和预警指令发送至运维分析模块。
3.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统，其特征在于，所述运维分析模块用于将日志文件和预警指令发送给运维人员进行展示查看，具体发送步骤如下：
S1：运维分析模块通过服务器获取数据库内存储的运维人员的人员信息和运维值；人员信息包括姓名、入职时间和联系方式；
S2：设定运维人员记为Ri,i＝1、……、n；运维值记为PRi；选取运维值最小的运维人员为选中发送人员；运维分析模块将日志文件和预警指令通过联系方式发送至运维人员的手机终端、电脑终端或平板终端上；同时记录发送时间T1Ri；
S3：运维人员通过手机终端、电脑终端或平板终端发送收到指令至运维分析模块；运维分析模块接收到收到指令，记录接收时间T2Ri；
S4：运维人员的接收总次数增加一；
其中，利用公式
Figure FDA0002385406140000031
获取得到运维值PRi；其中，RT为系统当前时间；RZRi表示运维人员的入职时间；JSRi表示运维人员的接收总次数；d1、d2和d3均为预设比例系数固定值；运维分析模块将运维值发送至服务器。
4.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统，其特征在于，所述服务器将运维值、日志文件、运行节点的待执行的分布式任务的数量和运行节点数据以及调度值发送至数据库内进行存储；所述监控预警模块用于获取运行节点数据的表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间；当表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间中任意一项小于对应的阈值，则生成预警指令；监控预警模块通过服务器将数据库预警指令发送至运维分析模块；运维分析模块将数据库预警指令发送至运维人员进行预警。
5.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统，其特征在于，所述服务器内还包括热加载模块，所述热加载模块用于对运行节点内的分布式任务文本数据和定时执行分布式任务进行加载和替换最新的分布式任务文本数据和定时执行分布式任务。
CN201911300507.8A 2019-12-17 2019-12-17 一种可热加载的分布式任务调度与服务监控系统 Active CN110727505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911300507.8A CN110727505B (zh) 2019-12-17 2019-12-17 一种可热加载的分布式任务调度与服务监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911300507.8A CN110727505B (zh) 2019-12-17 2019-12-17 一种可热加载的分布式任务调度与服务监控系统

Publications (2)

Publication Number Publication Date
CN110727505A CN110727505A (zh) 2020-01-24
CN110727505B true CN110727505B (zh) 2020-04-10

Family

ID=69226035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911300507.8A Active CN110727505B (zh) 2019-12-17 2019-12-17 一种可热加载的分布式任务调度与服务监控系统

Country Status (1)

Country Link
CN (1) CN110727505B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447258B (zh) * 2020-03-10 2023-04-07 广州方硅信息技术有限公司 离线任务调度的方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250240A (zh) * 2016-08-02 2016-12-21 北京科技大学 一种任务优化调度方法
CN108304255A (zh) * 2017-12-29 2018-07-20 北京城市网邻信息技术有限公司 分布式任务调度方法及装置、电子设备及可读存储介质
CN109656706A (zh) * 2018-12-25 2019-04-19 江苏满运软件科技有限公司 分布式任务调度方法、系统、设备以及介质
CN110362378A (zh) * 2018-04-10 2019-10-22 中移(苏州)软件技术有限公司 一种任务调度方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250240A (zh) * 2016-08-02 2016-12-21 北京科技大学 一种任务优化调度方法
CN108304255A (zh) * 2017-12-29 2018-07-20 北京城市网邻信息技术有限公司 分布式任务调度方法及装置、电子设备及可读存储介质
CN110362378A (zh) * 2018-04-10 2019-10-22 中移(苏州)软件技术有限公司 一种任务调度方法及设备
CN109656706A (zh) * 2018-12-25 2019-04-19 江苏满运软件科技有限公司 分布式任务调度方法、系统、设备以及介质

Also Published As

Publication number Publication date
CN110727505A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
Tan et al. Structural-aware simulation analysis of supply chain resilience
US7613742B2 (en) System and method for providing three-way failover for a transactional database
US7689606B2 (en) System and method of efficiently generating and sending bulk emails
Wee Debunking real-time pricing in cloud computing
US20070288466A1 (en) System and method for evenly distributing data across a distributed member architecture utilizing a home silo
US7908264B2 (en) Method for providing the appearance of a single data repository for queries initiated in a system incorporating distributed member server groups
CN110580614B (zh) 一种基于海量策略智能处理平台的全市场多品种金融资管系统
CN110610422B (zh) 一种基于智能有效策略判定平台的全市场多品种金融资管系统
CN111400294B (zh) 数据异常监测方法、装置及系统
US20070260641A1 (en) Real-time aggregate counting in a distributed system architecture
CN111507798B (zh) 业务往来订单定期核销方法、系统及计算机设备
CN110727505B (zh) 一种可热加载的分布式任务调度与服务监控系统
GB2516357A (en) Methods and apparatus for monitoring conditions prevailing in a distributed system
CN108694609B (zh) 一种广告网盟平台
US20130239123A1 (en) Milestone manager
CN109976967B (zh) 一种基于智能调度的缴费复机监测预警方法和系统
CN101189632A (zh) 用于大量结果数据集的时间最优计算的数据处理方法
CN110570307B (zh) 一种基于智能策略平台的全市场多品种金融资管系统
CN105468502A (zh) 一种日志收集的方法、装置和系统
CN110619581B (zh) 一种基于自动量化微服务子系统的全市场多品种智能金融资管系统
US20150073878A1 (en) Device to perform service contract analysis
CN114819652B (zh) 一种基于区块链的固定资产智能管理方法及系统
CN110503477B (zh) 订单的毛利异常原因的分析方法、系统、设备和存储介质
JP6174098B2 (ja) 計画支援装置、サプライチェーン管理システム及び計画支援プログラム
CN110232092B (zh) 一种基于数据处理的批量数据异步解决方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant