CN104486137A - 应用于网络监控的数据采集方法 - Google Patents
应用于网络监控的数据采集方法 Download PDFInfo
- Publication number
- CN104486137A CN104486137A CN201410690371.7A CN201410690371A CN104486137A CN 104486137 A CN104486137 A CN 104486137A CN 201410690371 A CN201410690371 A CN 201410690371A CN 104486137 A CN104486137 A CN 104486137A
- Authority
- CN
- China
- Prior art keywords
- data
- collecting
- collection
- network
- collecting method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000013480 data collection Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 239000000725 suspension Substances 0.000 claims description 3
- 230000026676 system process Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 35
- 238000005516 engineering process Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种应用于网络监控的数据采集方法，所述方法具体含以下步骤：步骤1：进行主机概况数据采集；步骤2：进行磁盘数据采集；步骤3：进行服务与进程数据的采集；步骤4：内存数据的采集；步骤5：网络数据采集；步骤6：生成告警报表；步骤7：生成告警配置。本发明通过动态任务代理数据采集方式，不仅可以为网络管理系统提供采集灵活、采集内容更加广泛并提供多样化的采集策略的要求，而且可以将这种采集方式和其他采集方式联合使用，弥补其他采集方式的不足，更好的满足目前网络管理数据采集的需求。
Description
技术领域
本发明涉及一种应用于网络监控的数据采集方法。
背景技术
数据采集是整个网络管理系统的基础。所谓数据采集就是对所关心的设备通过某种网管协议(SNMP、Telnet等)进行网络监控、故障分析和所需信息的收集工作，例如对路由器CPU的利用率、内存利用率、交换机端口流量等参数的采集。数据采集对采集的方法、形式、数据内容等没有固定的限制与界定，它是一种灵活的计算机网络获取信息的方法的总称，只要可以有效的、正确的、稳定的获取为某种目的使用的信息的过程都可以定义为数据采集，它是一种广义的应用。在数据采集模型中，一般采用管理者欣理的管理模型。该模型也是网络管理中普遍采用的管理模型。典型的网络管理系统包括网管站、管理代理、管理信息数据库和网络管理协议。
NMS(网管站)网管站运行网络管理软件，向管理代理发送查询报文，以查询网络设备运转状态、配置及性能等信息，并接收来自管理代理的响应及陷阱报文。通过构建直观拓扑图等方式，网管站可协助网络管理员确定一个网络设备、部分或整个网络的运行状态。
Agent(管理代理)管理代理是驻留在网络设备中的软件模块，负责获取本地设备运转状态、设备特性、系统配置等信息，处理网管站请求报文，并将设备信息形成响NMS应报文发送给。紧急情况下，如接口状态改变，可以发送陷阱报文的方式通知。
MIB(管理信息库)管理信息库定义网络管理系统控制的数据对象，是监控网络设备标准变量定义的集合。网络管理员可以直接或通过管理代理软件来控制这些数据对象，以实现对网络设备的配置和监控。
protoeol(网络管理协议)网络管理协议是网管站和管理代理间传递管理信息的规则集合，用于在管理员与管理代理间传递和解释操作命令，使管理信息库中的数据与设备的实际状态、工作参数保持一致。从管理代理方面来划分，我们可以大概的将数据采集分为以下三类：
1)基于公有代理的数据采集，
2)基于私有代理的数据采集，
3)其他采集方式。
基于SNMP的数据采集方式
目前SNMP是最广泛应用的网络管理协议。在SNMP管理模型中有三个基本组成部分：管理进程(Manager)、管理代理(Agent)和管理信息库(MIB)。SNMP管理模型使用了嵌入到网络设备中的管理代理来收集网络通信的信息和有关网络设备统计的数据，并把这些数据记录到管理信息库(MIB)之中，管理进程则通过向代理的MIB发出查询信号来得到这些信息。SNMP协议的最大问题还是由于太过简单而无法处理各种细节信息，无法满足当今日益膨胀的网络的发展需要。当然，现在对SNMP协议所做的一些升级版本暂且不谈。SNMP协议的另外一个缺点是所取得的数据信息相对于当前的设备状况来说存在时延(不能忽略)，而且这个时延目前没法对他进行操作或者限定。
基于WMI的数据采集方式
WMI是WBEM模型的一种实现。WBEM即Web-Based Enterprise Management，或基于web的企业管理，WBEM由DMTF(Distributed Management Task Force，分布式管理任务组)在许多厂商的帮助下创立，包括Sun、Microsoft等。WBEM的目标是，为管理企业环境开发一个标准的接口集。WBEM模型最关键的部分是它的数据模型(或描述和定义对象的方式)、编码规范(EncodingSpecification)，以及在客户端和服务器端之间传输数据的模式。WBEM的数据模型是CIM(Common Information Model，公共信息模型)。CIM是一个用来命名计算机的物理和逻辑单元的标准的命名系统(或称为命名模式)，例如硬盘的逻辑分区、正在运行的应用的一个实例，或者一条电缆。CIM是一个面向对象的模型，使用一组面向对象的术语进行描述。CIM包含类(Class)，类是被管理单元的模板。类的实例称为对象(object)，对象代表着底层系统的一个具体单元。名称空间(Namespace)是一个类的集合，每个名称空间面向一个特定的管理领域。类包含属性(Property)和方法(Method)。在Microsoft数据模型的实现中包含了存储元数据(模型中的类及关系)和存储管理数据(类或关系的实例)的知识库。数据、类和事件提供者向知识库提供数据，管理应用程序或脚本则通过WMI存取该数据。通过WMI可以访问、配置、管理和监视几乎所有的Windows资源，它提供了一种发现和获取数据的标准方式，设备驱动程序可以使用该服务向用户模式应用程序提供所有种类的数据。但是WMI技术也不是十全十美的，它是一个新标准，受到操作系统的限制，而且CIM得到的支持并不完善。
移动Agent的概念最早是由General Magic公司于20世纪90年代初，在其推出的商用系统Telescripe中提出的。简单的说，移动Agent就是一个能在异构网络中自主地从一台主机迁移到另一台主机，并可与其它Agent或资源进行交互的程序。实际上它是Agent技术与分布式计算技术的混血儿。移动Agent集中了其它传统的分布式技术(如：客户/服务器模式、分布式对象技术、移动代码技术)的优点，并结合分布式人工智能技术为开发、应用人员提供了一个开放的、综合的、简便的分布式应用开发框架，较之于传统的网络编程方式更适合于网络应用系统的开发。移动Agent技术具有的诸多优点决定了其广泛的应用前景，如：电子商务、个人数字助理、安全Agent、分布式信息查询、网络管理、信息监测与通报、工业控制、信息与软件发布、并行科学计算、多角色智力游戏等领域.
发明内容
本发明的目的是提供一种应用于网络监控的数据采集方法，以解决现有采集方式不够灵活，采集内容范围过窄，采集策略过于单一等问题，这样就大大限制了数据采集的实时和有效性，不利于对网络的有效管理和维护的问题。
为解决上述技术问题，本发明提供一种应用于网络监控的数据采集方法，具体含有以下步骤：
步骤1：进行主机概况数据采集，如处理器型号采集，系统版本数据采集，系统运行时间采集；
步骤2：进行磁盘数据采集：设备名称信息，总的磁盘空间和已用磁盘空间数据采集；
步骤3：进行服务与进程数据的采集：打印主机服务列表；服务相关属性数据采集，主机当前运行进程数据采集，进程相关属性数据采集；
步骤4：内存数据的采集：服务器内存使用状况，系统进程所占内存空间详细数据采集，系统已安装应用数据采集
步骤5：网络数据采集：打印网络路由器与交换机列表，路由器和交换机基本属性数据采集，网络拓扑结构分析；
步骤6：生成告警报表：对所有采集数据统计分析，生成告警信息汇总，生成报表；
步骤7：生成告警配置：新建和删除业务系统、业务组、监视器，以实现对不同服务器的分类数据采集提供阈值配置功能，能够基于特定条件定义属性的状态生成告警报表。
进一步地，所述的新型的网络监控的数据采集的设备库具有大容量及每种设备数据库容量为65535个。
进一步地，所述的新型的网络监控的数据采集中数据变化从进入实时库平台到显示时间：<5秒；系统年可用率：>99.5％；系统平均无故障时间：20000小时，因此具有可靠性。
进一步地，所述的新型的网络监控的实时数据刷新周期：5-10秒，具有实时性。
进一步地，系统连接安全性：具备限制不同类型用户应用系统功能的权限。
进一步地，所述的新型网络具有可维护性：采用模块化系统设计，模块替换升级开销小，维护简单。
进一步地，所述的新型网络系统提供平滑无缝升级功能，不必中止系统服务，自动实现模块升级。
本发明的有益效果为：
1、采集灵活性：用户可以根据自己的需求，动态设定采集策略，这种方式给网络管理人员很大的采集灵活性。
2、采集信息更加广泛：用户除了可以动态设定采集策略之外，还能对己有的采集策略进行增加，修改，删除等，这就很大程度上提高了采集信息的广泛性，可以说，只要设备上可以查看到的信息，我们都可以通过设定采集策略的方式进行获取。
3、多样化的采集策略：由于我们都是以直接登录上目标设备再执行采集命令的方式进行数据采集，这样就为网络管理员提供了更多的采集命令操作可能性。
4、将采集任务和采集策略映射抽象成适配规则，将采集业务与处理过程进行分离，使得这种数据采集方式具备了很好的可扩展性、移植性和动态配置型。
5、提供底层采集文件的规则语义解析方式。由于底层采集到的数据都是以文本形式返回，因此需要从文本的众多标志符中找到需要的数据标志，从而提取出有效数据。这种解析方式也被抽象成了解析规则，这样，整个解析过程就可以完全建立在一定语义的规则上。这使得语义解析过程更通用，可移植性更强，在针对不同的采集结果文件时，只需设定一下规则解析文件的规则描述语句，即可满足解析需求，可以说大大优化了整个解析过程。
综上所述，通过动态任务代理数据采集方式，不仅可以为网络管理系统提供采集灵活、采集内容更加广泛并提供多样化的采集策略的要求，而且可以将这种采集方式和其他采集方式联合使用，弥补其他采集方式的不足，更好的满足目前网络管理数据采集的需求。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
一种应用于网络监控的数据采集方法，具体含有以下步骤：
步骤1：进行主机概况数据采集，如处理器型号采集，系统版本数据采集，系统运行时间采集；
步骤2：进行磁盘数据采集：设备名称信息，总的磁盘空间和已用磁盘空间数据采集；
步骤3：进行服务与进程数据的采集：打印主机服务列表；服务相关属性数据采集，主机当前运行进程数据采集，进程相关属性数据采集；
步骤4：内存数据的采集：服务器内存使用状况，系统进程所占内存空间详细数据采集，系统已安装应用数据采集
步骤5：网络数据采集：打印网络路由器与交换机列表，路由器和交换机基本属性数据采集，网络拓扑结构分析；
步骤6：生成告警报表：对所有采集数据统计分析，生成告警告警信息汇总，生成报表；
步骤7：生成告警配置：新建和删除业务系统、业务组、监视器，以实现对不同服务器的分类数据采集提供阈值配置功能，能够基于特定条件定义属性的状态生成告警报表。
根据本申请的一个实施例，所述的新型的网络监控的数据采集的设备库具有大容量及每种设备数据库容量为65535个。
根据本申请的一个实施例，所述的新型的网络监控的数据采集中数据变化从进入实时库平台到显示时间：<5秒；系统年可用率：>99.5％；系统平均无故障时间：20000小时，因此具有可靠性。
根据本申请的一个实施例，所述的新型的网络监控的实时数据刷新周期：5-10秒，具有实时性。
根据本申请的一个实施例，系统连接安全性：具备限制不同类型用户应用系统功能的权限。
根据本申请的一个实施例，所述的新型网络具有可维护性：采用模块化系统设计，模块替换升级开销小，维护简单。
根据本申请的一个实施例，所述的新型网络系统提供平滑无缝升级功能，不必中止系统服务，自动实现模块升级。
本发明采用动态任务代理数据采集方式具有以下优点：
1、采集灵活性：用户可以根据自己的需求，动态设定采集策略，这种方式给网络管理人员很大的采集灵活性。
2、采集信息更加广泛：用户除了可以动态设定采集策略之外，还能对己有的采集策略进行增加，修改，删除等，这就很大程度上提高了采集信息的广泛性，可以说，只要设备上可以查看到的信息，我们都可以通过设定采集策略的方式进行获取。
3、多样化的采集策略：由于我们都是以直接登录上目标设备再执行采集命令的方式进行数据采集，这样就为网络管理员提供了更多的采集命令操作可能性。
4、将采集任务和采集策略映射抽象成适配规则，将采集业务与处理过程进行分离，使得这种数据采集方式具备了很好的可扩展性、移植性和动态配置型。
5、提供底层采集文件的规则语义解析方式。由于底层采集到的数据都是以文本形式返回，因此需要从文本的众多标志符中找到需要的数据标志，从而提取出有效数据。这种解析方式也被抽象成了解析规则，这样，整个解析过程就可以完全建立在一定语义的规则上。这使得语义解析过程更通用，可移植性更强，在针对不同的采集结果文件时，只需设定一下规则解析文件的规则描述语句，即可满足解析需求，可以说大大优化了整个解析过程。
综上所述，通过动态任务代理数据采集方式，不仅可以为网络管理系统提供采集灵活、采集内容更加广泛并提供多样化的采集策略的要求，而且可以将这种采集方式和其他采集方式联合使用，弥补其他采集方式的不足，更好的满足目前网络管理数据采集的需求。
Claims (7)
1.一种应用于网络监控的数据采集方法，其特征在于：所述方法具体含有以下步骤：
步骤1：进行主机概况数据采集，如处理器型号采集，系统版本数据采集，系统运行时间采集；
步骤2：进行磁盘数据采集：设备名称信息，总的磁盘空间和已用磁盘空间数据采集；
步骤3：进行服务与进程数据的采集：打印主机服务列表；服务相关属性数据采集，主机当前运行进程数据采集，进程相关属性数据采集；
步骤4：内存数据的采集：服务器内存使用状况，系统进程所占内存空间详细数据采集，系统已安装应用数据采集
步骤5：网络数据采集：打印网络路由器与交换机列表，路由器和交换机基本属性数据采集，网络拓扑结构分析；
步骤6：生成告警报表：对所有采集数据统计分析，生成告警告警信息汇总，生成报表；
步骤7：生成告警配置：新建和删除业务系统、业务组、监视器，以实现对不同服务器的分类数据采集提供阈值配置功能，能够基于特定条件定义属性的状态生成告警报表。
2.根据权利要求1所述的数据采集方法，其特征在于：所述的新型的网络监控的数据采集的设备库具有大容量及每种设备数据库容量为65535个。
3.根据权利要求1所述的数据采集方法，其特征在于：所述的新型的网络监控的数据采集中数据变化从进入实时库平台到显示时间：<5秒；系统年可用率：>99.5％；系统平均无故障时间：20000小时，因此具有可靠性。
4.根据权利要求1所述的数据采集方法，其特征在于：所述的新型的网络监控的实时数据刷新周期：5-10秒，具有实时性。
5.根据权利要求1所述的数据采集方法，其特征在于：系统连接安全性：具备限制不同类型用户应用系统功能的权限。
6.根据权利要求1所述的数据采集方法，其特征在于：所述的新型网络具有可维护性：采用模块化系统设计，模块替换升级开销小，维护简单。
7.根据权利要求1所述数据采集方法，其特征在于：所述的新型网络系统提供平滑无缝升级功能，不必中止系统服务，自动实现模块升级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410690371.7A CN104486137A (zh) | 2014-11-25 | 2014-11-25 | 应用于网络监控的数据采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410690371.7A CN104486137A (zh) | 2014-11-25 | 2014-11-25 | 应用于网络监控的数据采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104486137A true CN104486137A (zh) | 2015-04-01 |
Family
ID=52760644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410690371.7A Pending CN104486137A (zh) | 2014-11-25 | 2014-11-25 | 应用于网络监控的数据采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104486137A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569935A (zh) * | 2015-10-12 | 2017-04-19 | 中国石油化工股份有限公司 | 用于地球物理高性能计算的进程分析方法及系统 |
| CN106936660A (zh) * | 2015-12-31 | 2017-07-07 | 华为软件技术有限公司 | 数据采集方法和装置 |
| CN111190411A (zh) * | 2019-12-31 | 2020-05-22 | 一汽解放汽车有限公司 | 电控单元运行状态的监控方法、装置、系统和存储介质 |
-
2014
- 2014-11-25 CN CN201410690371.7A patent/CN104486137A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569935A (zh) * | 2015-10-12 | 2017-04-19 | 中国石油化工股份有限公司 | 用于地球物理高性能计算的进程分析方法及系统 |
| CN106936660A (zh) * | 2015-12-31 | 2017-07-07 | 华为软件技术有限公司 | 数据采集方法和装置 |
| CN106936660B (zh) * | 2015-12-31 | 2020-02-14 | 华为软件技术有限公司 | 数据采集方法和装置 |
| CN111190411A (zh) * | 2019-12-31 | 2020-05-22 | 一汽解放汽车有限公司 | 电控单元运行状态的监控方法、装置、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11757720B2 (en) | Distributed computing dependency management system | |
| US20220058042A1 (en) | Intent-based telemetry collection service | |
| US8504733B1 (en) | Subtree for an aggregation system | |
| US20210073065A1 (en) | System and method of mapping and diagnostics of data center resources | |
| CN110650038B (zh) | 面向多类监管对象的安全事件日志采集处理方法和系统 | |
| US20080098454A1 (en) | Network Management Appliance | |
| CN108092813A (zh) | 数据中心综合管理系统服务器硬件管理框架及实现方法 | |
| US20110066719A1 (en) | Automated Applicatin Dependency Mapping | |
| KR102001898B1 (ko) | 알람 정보 처리 방법, 관련 디바이스 및 시스템 | |
| US20140297834A1 (en) | Management of a plurality of system control networks | |
| EP3011474A1 (en) | Monitoring a computing network | |
| US8204972B2 (en) | Management of logical networks for multiple customers within a network management framework | |
| CN104486137A (zh) | 应用于网络监控的数据采集方法 | |
| Ali et al. | Probabilistic normed load monitoring in large scale distributed systems using mobile agents | |
| CN103078764A (zh) | 基于虚拟计算任务的运行监测系统及方法 | |
| Shan et al. | Design and Implementation of A Network Security Management System | |
| JP4522413B2 (ja) | リソース管理プログラム、リソース管理方法、およびリソース管理装置 | |
| CN106921742A (zh) | 一种K‑UX3.0操作系统上搭建storm分布式应用集群的系统及方法 | |
| Cisco | IBM Network Management | |
| CN113489796A (zh) | 基于云计算与物联网的虚拟电厂管控系统 | |
| US11876673B2 (en) | Storing configuration data changes to perform root cause analysis for errors in a network of managed network devices | |
| US20240070002A1 (en) | Hang detection models and management for heterogenous applications in distributed environments | |
| WO2023209972A1 (ja) | Ｒ１インターフェースを通じた仮想化基盤情報の提供 | |
| Das et al. | The Common Information Model (CIM) For Systems Management | |
| Deng et al. | Analysis and implementation of embedded SNMP agent |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150401 |