CN102608970A - 一种基于集中管理、自动调度的分布式数据采集的方法 - Google Patents

一种基于集中管理、自动调度的分布式数据采集的方法 Download PDF

Info

Publication number
CN102608970A
CN102608970A CN2012100545377A CN201210054537A CN102608970A CN 102608970 A CN102608970 A CN 102608970A CN 2012100545377 A CN2012100545377 A CN 2012100545377A CN 201210054537 A CN201210054537 A CN 201210054537A CN 102608970 A CN102608970 A CN 102608970A
Authority
CN
China
Prior art keywords
task
management
centralized
agent
manager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100545377A
Other languages
English (en)
Inventor
宋志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN2012100545377A priority Critical patent/CN102608970A/zh
Publication of CN102608970A publication Critical patent/CN102608970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种基于集中管理、自动调度的分布式数据采集的方法，属于数据采集方法领域。该方法通过把采集任务集中配置，把任务根据配置信息进行多级分层次的有效分解，各层级之间通过消息传递的方式进行任务下发及调度，从而实现数据的分布式采集和集中的管理。与现有技术相比，本发明的基于集中管理、自动调度的分布式数据采集的方法能够提高采集的并行处理能力和系统的健壮性，具有很好的推广应用价值。

Description

一种基于集中管理、自动调度的分布式数据采集的方法
 
技术领域
本发明涉及一种数据采集方法，具体地说是一种基于集中管理、自动调度的分布式数据采集的方法。
背景技术
目前，许多电信设备提供的数据采集接口较多，而且不同厂家之间的接口相互不统一，给数据采集带来了不便，具体表现在接口凌乱、复杂、稳定性差，或者没有正常可用的接口。这些客观条件的存在，导致数据采集难于规范化、标准化、统一化；难于集中管理、集中配置、集中监控。整个采集过程是一个黑匣子，无法管理和控制，而且现在随着运营商全业务的开展，还会有较多新类型的设备不断的加入到网络当中，而且现在随着运营商综合网管的建设，对数据统一采集的需求越来越强烈，需要有一个能够适应网络变化、自动采集、自动监管的方法来应对业务和网络的发展需求。
发明内容
本发明的技术任务是针对上述现有技术的不足，提供一种基于集中管理、自动调度的分布式数据采集的方法。该方法分析了所有设备的采集方式的共同点，并依照这些共同点定义了一组集中管理、自动调度、分布式执行方法和规则，实现了采集任务的自动调度和集中监控。
本发明的技术任务是按以下方式实现的：基于集中管理、自动调度的分布式数据采集的方法，通过把采集任务集中配置，把任务根据配置信息进行多级分层次的有效分解，各层级之间通过消息传递的方式进行任务下发及调度，从而实现数据的分布式采集和集中的管理，该处理步骤如下：
A、      对完成不同业务数据采集的业务进程归纳分类，形成一整套采集任务单元BTU（BUSSINESS TASK UNIT），在BTU中包含了采集指令、采集执行的程序的位置等的采集程序信息；
B、     为了使BTU可管理，统一对BTU进行封装、组合和标准化，使其具备运行控制，健康检查等可管理的特性，BTU经封装后成为一个可管理、可运行的任务单元MTU（MANAGERED TASK UNIT）；包含了配置采集的IP、端口、执行时间及优先级等信息；
C、     在数据采集中每一个运行MTU的任务实例都是可以被AGENT管理的，包括业务运行进程；AGENT有由管理单元(MANAGER)来统一管理；
D、      整个数据采集过程的管理模式采用集中配置，集中监控，集中调度，分布控制的方式，其中集中配置，集中监控，集中调度由管理单元(MANAGER)完成，分布控制由AGENT完成；
E、      MANAGER通过AGENT对任务单元(MTU)进行控制，AGNET作为MANAGER的代理，直接对可管理、可运行的任务单元MTU进行运行状态的控制（启、停）；
F、      MANAGER负责控制AGNET的运行状态，通过轮询或心跳检查，保障AGENT不间断运行；
G、     AGNET作为分布的管理节点，本身也具备调度功能，依据其保留的管理进程的调度计划和运行状态对其管理的进程进行调度，因此MANAGER的异常终止不会影响业务进程的正常运行，保证了系统的健壮性；
H、      MANAGER和AGENT直接采用标准消息通信方式，屏蔽了由于业务进程部署在不同硬件平台带来的MANAGER对业务进行控制的差别，使管理层本身具备跨平台的特性；
I、      整个采集层的控制都基于消息方式，管理者与被管理者直接通过消息传送，消息解析，消息处理，将各个处理过程有机无缝连接起来。
本发明的基于集中管理、自动调度的分布式数据采集的方法与现有技术相比具有以下突出的有益效果：
（一）                   为所有的设备的采集提供了统一的采集方法和规则，实现了采集任务的自动调度和集中监控，可以适用于任何厂商的设备的数据的采集，而且集中的管理方式、分布式的采集，解决了因为单个采集机故障造成数据缺失的问题，能够在资源有限的范围内，极大的提高了采集的并行处理能力和系统的健壮性；
（二）                   在新的设备应用后，仅仅在配置中添加相应的采集代理就可以实现数据采集，提高了数据采集的质量和工作效率。
附图说明
附图1是本发明基于集中管理、自动调度的分布式数据采集的方法的结构框图；
附图2是图1方法的流程图。
具体实施方式
参照说明书附图以具体实施例对本发明的基于集中管理、自动调度的分布式数据采集的方法作以下详细地说明。
实施例：
如附图1、2所示，本发明的基于集中管理、自动调度的分布式数据采集的方法通过把采集任务集中配置，把任务根据配置信息进行多级分层次的有效分解，各层级之间通过消息传递的方式进行任务下发及调度，从而实现数据的分布式采集和集中的管理。
处理步骤如下：
1．              MANAGER是整个采集层的控制、配置、调度中心，所有的AGENT和MTU都被MANAGER所管理。在此可以完成采集任务基本信息的配置，包括AGENT、BTU、MTU等信息。
2．              配置采集代理(AGENT),通过AGENT配置模块，可以根据实际情况对整个采集层的AGENT进行分配，驻留地址进行配置。完成配置后，MANGER就可以通过消息通道（查询通道，控制通道）对AGENT进行控制。AGENT配置模块主要进行如下AGENT信息的配置：AGENT标识（唯一标识），AGENT名，主机IP，系统平台，版本信息，控制协议，控制端口，备注。如：
AGENT标识 AGENT名 主机IP 系统平台 版本信息 控制协议 控制端口 备注
AGENT1 采集代理1 192.168.16.10 Solaris 1.0 Telent 23 采集控制
3．               配置采集任务(BTU)，整个采集处理过程都是通过组合一系列任务来完成的。任务配置就是通过指定任务的属性配置具备不同业务功能。任务配置如下信息：
任务名：任务的唯一标识；
任务执行体：具体的可执行程序，包括程序所在位置和命令；
任务管理归属：属于具体哪个AGENT管理，若值为0，则直接为MANAGER管理；
任务性质：如计划任务，临时任务等；
任务的输入类型：参数传递，文件，数据库表，消息
任务输入描述：与输入类型相关，如文件类型则为具体的文件位置和文件名 ；
任务的输出结果类型：进程调用返回，文件，数据库表，消息；
任务输出结果成功标识：1：成功，0：失败；
补采设置：如果本次不成功补采的次数、补采时间间隔；
任务通知方式：任务执行失败后的通知方式和对象，支持短信。
4．              配置任务调度信息(MTU)，根据前两个步骤配置完成的AGENT和任务信息组合完成任务的调度信息，任务调度信息如下：
计划名：计划唯一标识，表示一个完整的业务过程；
任务名：计划中包含的任务名，从任务配置中选取；
管理归属：该任务归属的AGENT标识；
次序：任务执行的先后顺序；
触发类型：触发任务执行的类型，分析为消息类型，时间类型；
触发优先级：一个任务支持多种触发类型，触发优先级确定了触发的策略；
触发规则：跟触发类型相关，如果是时间类型，则为周期时间的描述，若为消息类型，则为具体的消息体，消息体指定了消息的类型，消息的成功标识，消息发送的主体。
如下所示：
5．              配置完成后，MANAGER根据配置的MTU的管理归属信息实现采集任务的下发到AGENT，AGENT接收到任务后，保存任务的副本，开始按照任务调度进行执行，同时向MANAGER上报AGENT和MTU的运行状态和运行时长，MANAGER可以对AGENT和MTU进行状态查询，手工的启停等控制。
6．              AGENT调度MTU启动执行，当MTU完成启动后，通过与Agent的消息通道进行MTU传送MTU标识、启动时间、运行状态、采集是否成功的标志等。当MTU运行结束或MTU被指令停止后，通过与Agent的消息通道进行MTU身份注销，传送MTU标识、退出时间、运行状态信息。
7．              AGENT通过监测被管理的MTU的消息、心跳等方式对被管理的MTU进行运行状态的监控，并将相关运行状态信息保留在本地的运行状态表中，并把MTU运行过程中状态变化的消息发送给MANAGER。
8．              对于采集成功的任务，本次采集结束，对本次采集不成功地，采用手动、定时、消息触发结合方式，以任务方式启动补采任务，触发具体的采集程序进行补采，同时回传补采结果。
9．             MANAGER统一对整个采集过程进行监控、采集结果进行查询、显示。

Claims (1)

1.一种基于集中管理、自动调度的分布式数据采集的方法，其特征在于：该方法通过把采集任务集中配置，把任务根据配置信息进行多级分层次的有效分解，各层级之间通过消息传递的方式进行任务下发及调度，从而实现数据的分布式采集和集中的管理，该处理步骤如下： 
A、对完成不同业务数据采集的业务进程归纳分类，形成一整套采集任务单元BTU，在BTU中包含了采集程序信息，所述采集程序信息包括采集指令、采集执行的程序的位置；
B、为了使BTU可管理，统一对BTU进行封装、组合和标准化，使其具备运行控制，健康检查的可管理的特性，BTU经封装后成为一个可管理、可运行的任务单元MTU；包含了配置采集的IP、端口、执行时间及优先级信息；
C、在数据采集中每一个运行MTU的任务实例都是由AGENT管理，包括业务运行进程； AGENT又由管理单元MANAGER来统一管理；
D、整个数据采集过程的管理模式采用集中配置，集中监控，集中调度，分布控制的方式，其中集中配置，集中监控，集中调度由管理单元MANAGER完成，分布控制由AGENT完成；
E、MANAGER通过AGENT对任务单元MTU进行控制，AGNET作为MANAGER的代理，直接对可管理、可运行的任务单元MTU进行运行状态的控制；
F、MANAGER负责控制AGNET的运行状态，通过轮询或心跳检查，保障AGENT不间断运行；
G、AGNET作为分布的管理节点，本身也具备调度功能，依据其保留的管理进程的调度计划和运行状态对其管理的进程进行调度；
H、MANAGER和AGENT直接采用标准消息通信方式；
I、整个采集层的控制都基于消息方式，管理者与被管理者直接通过消息传送，消息解析，消息处理，将各个处理过程有机无缝连接起来。
CN2012100545377A 2012-03-05 2012-03-05 一种基于集中管理、自动调度的分布式数据采集的方法 Pending CN102608970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100545377A CN102608970A (zh) 2012-03-05 2012-03-05 一种基于集中管理、自动调度的分布式数据采集的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100545377A CN102608970A (zh) 2012-03-05 2012-03-05 一种基于集中管理、自动调度的分布式数据采集的方法

Publications (1)

Publication Number Publication Date
CN102608970A true CN102608970A (zh) 2012-07-25

Family

ID=46526423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100545377A Pending CN102608970A (zh) 2012-03-05 2012-03-05 一种基于集中管理、自动调度的分布式数据采集的方法

Country Status (1)

Country Link
CN (1) CN102608970A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389715A (zh) * 2013-07-26 2013-11-13 浪潮电子信息产业股份有限公司 一种高性能的分布式数据中心监控架构
CN103514277A (zh) * 2013-09-24 2014-01-15 国家电网公司 用电信息采集系统的任务并行处理方法
CN105553774A (zh) * 2015-12-23 2016-05-04 厦门市美亚柏科信息股份有限公司 一种互联网数据采集方法及系统
CN105631006A (zh) * 2015-12-28 2016-06-01 杭州东方通信软件技术有限公司 一种数据调度采集装置与方法
WO2016188223A1 (zh) * 2015-05-28 2016-12-01 中兴通讯股份有限公司 故障信息采集的方法及装置
CN106372512A (zh) * 2016-08-25 2017-02-01 浪潮电子信息产业股份有限公司 一种任务式的安全基线执行方法
CN107885780A (zh) * 2017-10-12 2018-04-06 北京人大金仓信息技术股份有限公司 一种针对分布式查询执行的性能数据收集方法
CN108512911A (zh) * 2018-03-15 2018-09-07 成都优易数据有限公司 一种基于Flume的分布式采集代理系统及其实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19910426A1 (de) * 1999-03-10 2000-10-05 Peter Renner Dezentrale Prozessautomation
CN1274905A (zh) * 1999-05-19 2000-11-29 广西三合科技有限责任公司 一种分布式数字采集与远程传输集中管理自动化网络系统
CN101072129A (zh) * 2007-06-25 2007-11-14 北京邮电大学 基于jmx的网络业务管理方法及其应用系统
CN102023617A (zh) * 2009-09-17 2011-04-20 上海可鲁系统软件有限公司 一种基于工业互联网的煤矿安全信息监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19910426A1 (de) * 1999-03-10 2000-10-05 Peter Renner Dezentrale Prozessautomation
CN1274905A (zh) * 1999-05-19 2000-11-29 广西三合科技有限责任公司 一种分布式数字采集与远程传输集中管理自动化网络系统
CN101072129A (zh) * 2007-06-25 2007-11-14 北京邮电大学 基于jmx的网络业务管理方法及其应用系统
CN102023617A (zh) * 2009-09-17 2011-04-20 上海可鲁系统软件有限公司 一种基于工业互联网的煤矿安全信息监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王金伟: "分布式数据采集与监测系统的设计、实现及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389715A (zh) * 2013-07-26 2013-11-13 浪潮电子信息产业股份有限公司 一种高性能的分布式数据中心监控架构
CN103389715B (zh) * 2013-07-26 2016-03-23 浪潮电子信息产业股份有限公司 一种高性能的分布式数据中心监控架构
CN103514277A (zh) * 2013-09-24 2014-01-15 国家电网公司 用电信息采集系统的任务并行处理方法
CN103514277B (zh) * 2013-09-24 2015-10-21 国家电网公司 用电信息采集系统的任务并行处理方法
WO2016188223A1 (zh) * 2015-05-28 2016-12-01 中兴通讯股份有限公司 故障信息采集的方法及装置
CN106301841A (zh) * 2015-05-28 2017-01-04 中兴通讯股份有限公司 故障信息采集的方法及装置
CN105553774A (zh) * 2015-12-23 2016-05-04 厦门市美亚柏科信息股份有限公司 一种互联网数据采集方法及系统
CN105631006A (zh) * 2015-12-28 2016-06-01 杭州东方通信软件技术有限公司 一种数据调度采集装置与方法
CN105631006B (zh) * 2015-12-28 2019-03-29 杭州东方通信软件技术有限公司 一种数据调度采集装置与方法
CN106372512A (zh) * 2016-08-25 2017-02-01 浪潮电子信息产业股份有限公司 一种任务式的安全基线执行方法
CN107885780A (zh) * 2017-10-12 2018-04-06 北京人大金仓信息技术股份有限公司 一种针对分布式查询执行的性能数据收集方法
CN108512911A (zh) * 2018-03-15 2018-09-07 成都优易数据有限公司 一种基于Flume的分布式采集代理系统及其实现方法

Similar Documents

Publication Publication Date Title
CN102608970A (zh) 一种基于集中管理、自动调度的分布式数据采集的方法
CN110794800B (zh) 一种智慧工厂信息管理的监控系统
CN101257694B (zh) 基于信息支撑系统的移动通信网管智能派单方法
CN102739802B (zh) 面向业务应用的it集中运维分析系统
CN102902669B (zh) 基于互联网系统的分布式信息抓取方法
CN102457390B (zh) 一种基于qoe的故障定位方法和系统
DE102014103353A1 (de) Sammeln und Bereitstellen von Daten an eine Big-Data-Maschine in einem Prozesssteuerungssystem
CN101502144A (zh) 无线通信网络中的元件管理系统
CN107483568A (zh) 一种基于云平台可弹性调度的网络和业务监控系统
CN104657150B (zh) 一种集群环境下的自动化运维方法
CN101409888A (zh) 一种移动通信网管系统中的故障工单监控方法
CN105429773B (zh) 一种分布式自动化测试系统及测试终端的管理配置方法
CN105608220A (zh) 一种基于分布式消息系统的采集方法及装置
CN104298194B (zh) 电梯远程监控系统中采集及传输数据的数据量压缩方法
CN106412730A (zh) 一种远程批量升级在Boot环境下ONU系统软件的方法
CN103064353B (zh) 针织横机远程控制方法
CN103095498A (zh) 话单采集方法和系统
CN101197714B (zh) 一种移动数据业务状态集中采集的方法
CN104914328B (zh) 一种变电站在线监测装置故障自动诊断方法
EP3324506B1 (de) Verfahren zum aufbau einer datenbank zur abbildung der netztopologie eines elektrischen verteilnetzes und verwendung dieser datenbank
CN104714875A (zh) 一种分布式的自动化采集的方法
CN105045100A (zh) 一种利用海量数据进行管理的智能运维监控平台
CN107885866A (zh) 一体化口岸查验方法及其信息支持系统
CN101883016A (zh) 一种深度报文检测设备联动策略生成系统及方法
CN105490879A (zh) 一种大规模集成级网络的自动化分布式性能测试系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120725