CN105930246A - 一种可智能分发任务的高可用数据库监控方法 - Google Patents

一种可智能分发任务的高可用数据库监控方法 Download PDF

Info

Publication number
CN105930246A
CN105930246A CN201610215413.0A CN201610215413A CN105930246A CN 105930246 A CN105930246 A CN 105930246A CN 201610215413 A CN201610215413 A CN 201610215413A CN 105930246 A CN105930246 A CN 105930246A
Authority
CN
China
Prior art keywords
task
request
queue
controller
request message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610215413.0A
Other languages
English (en)
Inventor
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
E Surfing Reading Culture Communications Co Ltd
E Surfing Electronic Commerce Co Ltd
Original Assignee
E Surfing Electronic Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by E Surfing Electronic Commerce Co Ltd filed Critical E Surfing Electronic Commerce Co Ltd
Priority to CN201610215413.0A priority Critical patent/CN105930246A/zh
Publication of CN105930246A publication Critical patent/CN105930246A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种可智能分发任务的高可用数据库监控方法，包括以下步骤：步骤一、初始化待领取任务队列及请求消息队列的长度；步骤二、任务中心从任务定义池中获取任务定义，由任务生成控制器生成任务加入到待领取任务队列；步骤三、采集中心向任务中心发起请求信号，加入到请求消息队列中；步骤四、请求消息控制器监听请求消息队列，处理新加入的请求消息，向待领取任务队列发起请求并获取任务数据；步骤五、请求消息控制器把获取到的任务数据传输给任务分发控制器；步骤六、任务分发控制器接收到任务数据后，根据请求消息的上下文信息，将数据反馈给具体请求的采集服务器。

Description

一种可智能分发任务的高可用数据库监控方法
技术领域
本发明涉及数据库监控技术领域，特别适用于mysql、oracle等类型数据库分布式监控，具体是一种可智能分发任务的高可用数据库监控方法。
背景技术
近年来，随着互联网和移动网络的不断发展，互联网应用系统的数据量和访问并发数已经急剧增长。传统企业级数据库监控技术已经难以适应现在的系统需求，互联网技术正在朝着高并发、多维度、智能化等新架构方向发展。大规模互联网应用架构中，如何高效地监控各级数据库之间的数据互通和处理是一个重要的课题。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提供了一种可智能分发任务的高可用数据库监控方法，其特征在于：包括以下步骤：
步骤一、初始化待领取任务队列及请求消息队列的长度；
步骤二、任务中心从任务定义池中获取任务定义，由任务生成控制器生成任务加入到待领取任务队列；
步骤三、采集中心向任务中心发起请求信号，加入到请求消息队列中；
步骤四、请求消息控制器监听请求消息队列，处理新加入的请求消息，向待领取任务队列发起请求并获取任务数据；
步骤五、请求消息控制器把获取到的任务数据传输给任务分发控制器；
步骤六、任务分发控制器接收到任务数据后，根据请求消息的上下文信息，将数据反馈给具体请求的采集服务器。
进一步的，还包括如下步骤：
步骤七、采集服务器接收到反馈的任务，加入到本地的任务队列中；
步骤八、本地任务控制器从任务队列中获取到最新的任务，加入到时间表中去，等待时间触发。
进一步的，还包括如下步骤：
步骤九、发起主线程的调度任务，并发起守护线程监听主线程，进行异常与超时控制；调度完成。
本发明还公开了一种执行上述的可智能分发任务的高可用数据库监控方法的系统，包括：采集中心，用于发起采集请求和接受采集任务，支持分布式；
任务分发控制器，用于任务分发，来保证任务的准确性和可用性；
任务定义池，存放等待执行的任务，防止任务丢失；
请求任务池，位于采集中心和任务定义池之间，用于任务的请求；
任务生成控制器，用于任务定义，将定义任务生成具体任务；
本地任务控制器，从采集中心的任务池中领取任务，并生成任务执行的主线程和守护线程。
本发明有如下有益效果：
1）采用高可用技术，避免采集服务出现挂起导致该节点的所有任务都挂起的问题；
2）采用了最少连接数算法实现负载均衡，解决了采集节点任务分布不均导致的节点负载差异过大的问题；
3）改进了任务由各采集节点自动生成的机制，采用了由任务中心管理与分配的机制；
4）独创任务控制器系统和任务队列系统，解决了系统过高负载的问。
附图说明
图1是本发明的可智能分发任务的高可用数据库监控方法流程控制图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，本发明使用的系统整体架构包括：采集中心，用于发起采集请求和接受采集任务，支持分布式；任务分发控制器，用于任务分发，来保证任务的准确性和可用性；任务定义池，存放等待执行的任务，防止任务丢失；请求任务池，位于采集中心和任务定义池之间，用于任务的请求；任务生成控制器，用于任务定义，将定义任务生成具体任务；本地任务控制器，从采集节点任务池中领取任务，并生成任务执行的主线程和守护线程。
本发明的可智能分发任务的高可用数据库监控方法，包括以下步骤：
初始化待领取任务队列及请求消息队列的长度；
任务中心从任务定义池中获取任务定义，由任务生成控制器生成任务加入到待领取任务队列；
采集中心向任务中心发起请求信号，加入到请求消息队列中；
请求消息控制器监听请求消息队列，处理新加入的请求消息，向待领取任务队列发起请求并获取任务数据；
请求消息控制器把获取到的任务数据传输给任务分发控制器；
任务分发控制器接收到任务数据后，根据请求消息的上下文信息，将数据反馈给具体请求的采集服务器；
采集服务器接收到反馈的任务，加入到本地的任务队列中；
本地任务控制器从任务队列中获取到最新的任务，加入到时间表中去，等待时间触发；
发起主线程的调度任务，并发起守护线程监听主线程，进行异常与超时控制；
调度完成。
以上所述及图中所示的仅是本发明的优选实施方式。应当指出，对于本领域的普通技术人员来说，在不脱离本发明的原理的前提下，还可以作出若干变型和改进，这些也应视为属于本发明的保护范围。

Claims (4)

1.一种可智能分发任务的高可用数据库监控方法，其特征在于：包括以下步骤：
步骤一、初始化待领取任务队列及请求消息队列的长度；
步骤二、任务中心从任务定义池中获取任务定义，由任务生成控制器生成任务加入到待领取任务队列；
步骤三、采集中心向任务中心发起请求信号，加入到请求消息队列中；
步骤四、请求消息控制器监听请求消息队列，处理新加入的请求消息，向待领取任务队列发起请求并获取任务数据；
步骤五、请求消息控制器把获取到的任务数据传输给任务分发控制器；
步骤六、任务分发控制器接收到任务数据后，根据请求消息的上下文信息，将数据反馈给具体请求的采集服务器。
2.如权利要求1所述的可智能分发任务的高可用数据库监控方法，其特征在于：还包括如下步骤：
步骤七、采集服务器接收到反馈的任务，加入到本地的任务队列中；
步骤八、本地任务控制器从任务队列中获取到最新的任务，加入到时间表中去，等待时间触发。
3.如权利要求2所述的可智能分发任务的高可用数据库监控方法，其特征在于：还包括如下步骤：
步骤九、发起主线程的调度任务，并发起守护线程监听主线程，进行异常与超时控制；调度完成。
4.一种执行权利要求1-3之一的可智能分发任务的高可用数据库监控方法的系统，包括：采集中心，用于发起采集请求和接受采集任务，支持分布式；
任务分发控制器，用于任务分发，来保证任务的准确性和可用性；
任务定义池，存放等待执行的任务，防止任务丢失；
请求任务池，位于采集中心和任务定义池之间，用于任务的请求；
任务生成控制器，用于任务定义，将定义任务生成具体任务；
本地任务控制器，从采集中心的任务池中领取任务，并生成任务执行的主线程和守护线程。
CN201610215413.0A 2016-04-08 2016-04-08 一种可智能分发任务的高可用数据库监控方法 Pending CN105930246A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610215413.0A CN105930246A (zh) 2016-04-08 2016-04-08 一种可智能分发任务的高可用数据库监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610215413.0A CN105930246A (zh) 2016-04-08 2016-04-08 一种可智能分发任务的高可用数据库监控方法

Publications (1)

Publication Number Publication Date
CN105930246A true CN105930246A (zh) 2016-09-07

Family

ID=56840247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610215413.0A Pending CN105930246A (zh) 2016-04-08 2016-04-08 一种可智能分发任务的高可用数据库监控方法

Country Status (1)

Country Link
CN (1) CN105930246A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516738A (zh) * 2019-08-23 2019-11-29 佳都新太科技股份有限公司 一种分布式比对聚类方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370024A (zh) * 2007-08-15 2009-02-18 北京灵图软件技术有限公司 信息的分布式采集方法及系统
US7506075B1 (en) * 1999-12-07 2009-03-17 International Business Machines Corporation Fair elevator scheduling algorithm for direct access storage device
CN101710411A (zh) * 2009-12-01 2010-05-19 中国建设银行股份有限公司 一种实时任务处理方法及其设备
CN101950260A (zh) * 2010-09-10 2011-01-19 中兴通讯股份有限公司 一种处理器程序调度方法及装置
CN102375837A (zh) * 2010-08-19 2012-03-14 中国移动通信集团公司 数据采集系统和方法
CN102567106A (zh) * 2010-12-30 2012-07-11 中国移动通信集团云南有限公司 任务调度方法、系统和装置
CN102685100A (zh) * 2012-03-08 2012-09-19 珠海市君天电子科技有限公司 分布式文件安全性鉴定系统及方法
CN102790715A (zh) * 2011-05-23 2012-11-21 同济大学 一种基于互联网的资源分配系统及方法
CN102904746A (zh) * 2012-09-13 2013-01-30 曙光信息产业(北京)有限公司 基于消息机制的集群任务自调度系统与方法
CN103279385A (zh) * 2013-06-01 2013-09-04 北京华胜天成科技股份有限公司 一种云计算环境中集群任务调度方法及系统
CN104102740A (zh) * 2014-07-30 2014-10-15 精硕世纪科技（北京）有限公司 分布式信息获取系统及方法
CN104301130A (zh) * 2013-07-17 2015-01-21 腾讯科技（深圳）有限公司 监控数据采集方法和系统及任务分发服务器和采集装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7506075B1 (en) * 1999-12-07 2009-03-17 International Business Machines Corporation Fair elevator scheduling algorithm for direct access storage device
CN101370024A (zh) * 2007-08-15 2009-02-18 北京灵图软件技术有限公司 信息的分布式采集方法及系统
CN101710411A (zh) * 2009-12-01 2010-05-19 中国建设银行股份有限公司 一种实时任务处理方法及其设备
CN102375837A (zh) * 2010-08-19 2012-03-14 中国移动通信集团公司 数据采集系统和方法
CN101950260A (zh) * 2010-09-10 2011-01-19 中兴通讯股份有限公司 一种处理器程序调度方法及装置
CN102567106A (zh) * 2010-12-30 2012-07-11 中国移动通信集团云南有限公司 任务调度方法、系统和装置
CN102790715A (zh) * 2011-05-23 2012-11-21 同济大学 一种基于互联网的资源分配系统及方法
CN102685100A (zh) * 2012-03-08 2012-09-19 珠海市君天电子科技有限公司 分布式文件安全性鉴定系统及方法
CN102904746A (zh) * 2012-09-13 2013-01-30 曙光信息产业(北京)有限公司 基于消息机制的集群任务自调度系统与方法
CN103279385A (zh) * 2013-06-01 2013-09-04 北京华胜天成科技股份有限公司 一种云计算环境中集群任务调度方法及系统
CN104301130A (zh) * 2013-07-17 2015-01-21 腾讯科技（深圳）有限公司 监控数据采集方法和系统及任务分发服务器和采集装置
CN104102740A (zh) * 2014-07-30 2014-10-15 精硕世纪科技（北京）有限公司 分布式信息获取系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516738A (zh) * 2019-08-23 2019-11-29 佳都新太科技股份有限公司 一种分布式比对聚类方法、装置、电子设备及存储介质
CN110516738B (zh) * 2019-08-23 2022-09-16 佳都科技集团股份有限公司 一种分布式比对聚类方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11762697B2 (en) Method and apparatus for scheduling resource for deep learning framework
CN106817408B (zh) 一种分布式服务器集群调度方法及装置
US20170329643A1 (en) Distributed node intra-group task scheduling method and system
CN104461740A (zh) 一种跨域集群计算资源聚合和分配的方法
CN106776783B (zh) 非结构化数据存储管理方法和系统
CN105045607A (zh) 一种实现多种大数据计算框架统一接口的方法
CN109656690A (zh) 调度系统、方法和存储介质
CN104769919A (zh) 对复制型数据库的访问进行负载平衡
JP2007503628A5 (zh)
CN102880503A (zh) 数据分析系统及数据分析方法
CN110071965B (zh) 一种基于云平台的数据中心管理系统
CN106657314A (zh) 跨数据中心数据同步系统及方法
US20140297355A1 (en) Workflow control apparatus and method therefor
CN109783151B (zh) 规则变更的方法和装置
CN113656179A (zh) 云计算资源的调度方法及装置、电子设备和存储介质
CN113485806A (zh) 处理任务的方法、装置、设备和计算机可读介质
US20150355892A1 (en) Resources provisioning based on a set of discrete configurations
CN110728498A (zh) 一种信息交互方法和装置
CN104410511B (zh) 一种服务器管理方法及系统
CN109428926B (zh) 一种调度任务节点的方法和装置
CN111435315A (zh) 分配资源的方法、装置、设备和计算机可读介质
CN110413369A (zh) 用于虚拟化环境中的备份的系统和方法
CN111478781A (zh) 一种消息广播的方法和装置
CN102970355B (zh) 通过挂起承租人来管理数据中心的容量的方法和设备
CN102262561B (zh) 数据库大批量任务处理的调度方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Yu

Inventor after: Zhou Fei

Inventor before: Wang Yu

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160907