CN115086136B - 基于简单网络管理协议的数据采集与处理方法及装置 - Google Patents
基于简单网络管理协议的数据采集与处理方法及装置 Download PDFInfo
- Publication number
- CN115086136B CN115086136B CN202110258673.7A CN202110258673A CN115086136B CN 115086136 B CN115086136 B CN 115086136B CN 202110258673 A CN202110258673 A CN 202110258673A CN 115086136 B CN115086136 B CN 115086136B
- Authority
- CN
- China
- Prior art keywords
- data
- identifier
- object identifier
- operation logic
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种基于简单网络管理协议的数据采集与处理方法及装置,其中该方法包括:获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据。本发明可提升SNMP业务系统的灵活性和可配置性。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及基于简单网络管理协议的数据采集与处理方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
简单网络管理协议(SNMP,Simple Network Management Protocol)可应用于网络设备间的简单交互。该协议是由IETF在1990年五月发布的RFC 1157中定义的。一个网络设备以守护进程的方式运行SNMP代理,该守护进程能够响应来自网络的各种请求信息。该SNMP代理可提供大量的对象标识符OID(ObjectIdentifiers)的查询响应,每个OID都是一个键值对。一个SNMP协议数据采集程序(SNMP客户端)可以向代理查询(通常是轮询)键值对中的特定信息。如果设备响应了请求,则数据采集成功。由此可将多种不同的OID翻译为人们可以阅读的格式并以树状分类的方式组织在一起,即形成了OID描述性库文件(MIB,Management Information Base)。
现阶段,由于设备厂商在设计OID时主要考虑数据的原子性和通用性,往往通过OID获取的数值不能直接用于数据处理。如某交换机的某个接口的发送速率,厂商通常都只提供该接口的发送数据包的计数器。发送速率需要将两次获取到的计数器数值取差值再除以时间间隔才能计算出来。而双向速率更是要把发送速率的计算值与接收速率的计算值相加才能得到。
这种情况下,在进行数据采集时,仅仅能获取到计数器这类本身不具备任何业务意义的原始数据;而在获取到原始数据后,在对原始数据进行业务处理时,每当扩展或变更业务需求的时候,都必须增加或修改SNMP业务的数据处理代码,大大降低了SNMP业务系统的可配置性和灵活性。
发明内容
本发明实施例提供一种基于简单网络管理协议的数据采集与处理方法,用以提升SNMP业务系统的可配置性和灵活性,该方法包括:
获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;
根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;
根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算。
本发明实施例还提供一种基于简单网络管理协议的数据采集与处理装置,用以提升SNMP业务系统的可配置性和灵活性,该装置包括:
数据采集任务获取模块,用于获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;
目标数据采集模块,用于根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;
目标数据处理模块,用于根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于简单网络管理协议的数据采集与处理方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述基于简单网络管理协议的数据采集与处理方法的计算机程序。
本发明实施例中,获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算,与现有技术对比,在进行数据采集时不再只能获取原始数据,而是可通过对象标识符运算逻辑标识所描述的运算逻辑,直接实现对目标数据的逻辑运算,从而不再需要对目标数据进行单独的计算,也不再需要频繁修改或增加SNMP业务系统的数据处理代码,可更方便快捷得实现数据处理,提升了SNMP业务系统的灵活性;同时通过将数据采集任务和对象标识符运算逻辑标识可配置化,提升了SNMP业务系统的可配置性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中一种基于简单网络管理协议的数据采集与处理方法的示例图;
图2为本发明实施例中一种基于简单网络管理协议的数据采集与处理方法的流程示意图;
图3为本发明实施例中一种基于简单网络管理协议的数据采集与处理装置的结构示意图;
图4为本发明实施例中一种基于简单网络管理协议的数据采集与处理装置的结构示意图;
图5为本发明实施例中一种基于简单网络管理协议的数据采集与处理装置的结构示意图;
图6为本发明实施例中一种基于简单网络管理协议的数据采集与处理装置的具体示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
发明人发现:现阶段的网络设备,能以守护进程的方式来运行SNMP代理,而该守护进程能够响应来自网络的各种请求信息。该SNMP代理可提供大量的对象标识符OID(ObjectIdentifiers)的查询响应,每个OID都是一个键值对。一个SNMP协议数据采集程序(SNMP客户端)可以向代理查询(通常是轮询)键值对中的特定信息。如果设备响应了请求,则数据采集成功。
目前,SNMP业务系统可包括数据采集模块和业务模块,如图1所示。首先,工作人员可为数据采集模块,配置下发数据采集任务,该数据采集任务可包含每项数据采集任务的目标设备标识(如目标设备IP)、数据采集周期(即数据采集频度)、指标项标识(如指标项名称)及对象标识符(OID,Object Identifiers)。数据采集模块按照数据采集任务的上述配置内容,进行周期性地数据采集,并将采集到的原始数据交给业务模块。其次,业务模块按照业务需求对采集到的原始数据,通过特定的算法逻辑进行处理,最后将预处理得到的数据用于分析、告警或显示等业务逻辑。
如图1所示,数据采集模块按照预先配置执行数据采集任务,扩展新的数据采集任务仅需变更配置数据重新下发即可。而业务模块则需要根据业务需求编程实现,根据业务不同,实现不同的原始数据执行特定的处理方法,该处理方法包括对目标数据的预处理。
由于设备厂商在设计OID时主要考虑数据的原子性和通用性,往往通过OID获取的数值不能直接用于数据分析或前台展示。如某交换机的某个接口的发送速率,厂商通常都只提供该接口的发送数据包的计数器。发送速率需要将两次获取到的计数器数值取差值再除以时间间隔才能计算出来。而双向速率更是要把发送速率的计算值与接收速率的计算值相加才能得到。
这种情况下,数据采集模块虽然配置灵活但仅能获取到计数器这类本身不具备任何业务意义的原始数据。而业务模块的可配置性较差,每当扩展或变更业务需求的时候,都必须增加或修改预处理代码,这大大降低了业务系统的配置灵活性。
而本发明实施例提供了一种基于简单网络管理协议的数据采集与处理方法,可用以解决上述问题,提升了SNMP业务系统的可配置性和灵活性,如图2所示,该方法包括如下步骤:
步骤201:获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;
步骤202:根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;
步骤203:根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算。
本发明实施例中,获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算,与现有技术对比,在进行数据采集时不再只能获取原始数据,而是可通过对象标识符运算逻辑标识所描述的运算逻辑,直接实现对目标数据的逻辑运算,从而不再需要对目标数据进行单独的计算,也不再需要频繁修改或增加SNMP业务系统的数据处理代码,可更方便快捷得实现数据处理,提升了SNMP业务系统的灵活性;同时通过将数据采集任务和对象标识符运算逻辑标识可配置化,提升了SNMP业务系统的可配置性。
具体实施时,首先获取预配置的基于简单网络管理协议的数据采集任务;数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑。
实施例中,基于简单网络管理协议的数据采集任务,可根据工作人员的使用需求进行配置。
在上述实施例中,通过配置对象标识符运算逻辑标识,可使得基于简单网络管理协议的数据采集与处理可配置化,不再需要频繁修改或增加SNMP业务系统的数据处理代码,可更方便快捷得实现数据处理,提升了SNMP业务系统的可配置性和灵活性。区别于现有技术下的数据采集方法,本发明实施例在原有配置采集项名称及OID的基础上,增加配置了“对象标识符运算逻辑标识”(可简称为逻辑OID,下同)这一参数,该对象标识符运算逻辑标识可用于描述通过支持四则运算与一系列函数方法的OID表达式,从而可用于描述数据指标的采集与预处理算法。
具体实施时,在获取预配置的基于简单网络管理协议的数据采集任务后,根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据。
实施例中,数据采集任务还携带有数据采集周期和指标项标识;根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据,可以包括:根据目标设备标识、原始对象标识符、数据采集周期、指标项标识,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据。
在上述实施例中,基于简单网络管理协议的数据采集任务中可携带有目标设备标识、原始对象标识符、数据采集周期、指标项标识和对象标识符运算逻辑标识。
具体实施时,本发明实施例提供的一种基于简单网络管理协议的数据采集与处理方法,还可以包括:对目标数据和数据采集周期进行同步存储。
实施例中,通过对目标数据和数据采集周期进行同步存储,可有助于工作人员对数据采集进度的监管与控制。
具体实施时,本发明实施例提供的一种基于简单网络管理协议的数据采集与处理方法,还可以包括:按如下方式预配置不同对象标识符运算逻辑标识:
预配置不同对象标识符运算逻辑标识对应的关键字;关键字包括采集时刻;
和/或,预配置不同对象标识符运算逻辑标识对应的不同对象标识符间的运算逻辑;不同对象标识符间的运算逻辑包括不同对象标识符间的取差值运算逻辑和取值运算逻辑。
实施例中,关键字可以包括采集时刻,time。不同对象标识符间的运算逻辑可以包括不同对象标识符间的取差值运算逻辑和不同对象标识符间的取值运算逻辑。
不同对象标识符间的取差值运算逻辑,举一例如:函数delta,其详细描述如下:
函数名:delta
意义:取本次获取目标设备中对应该对象标识符的对象的数据,与上次获取的数据的差值,函数内只能是单节点;
注意:delta针对MIB2中Counter32和Counter64计数器取差值设计,Counter计数器出现越界情况时,差值会出现负值,delta函数会自动判断计数器类型,并选取合适的偏移量,把负值处理成正确数值;
用法:1.delta(<OID英文名>)2.delta(time);
返回:浮点数;
实例:
1)带宽占用率=
(delta(<ifInOctets>)+delta(<ifOutOctets>))/delta(time)/<ifSpeed>
或
(delta(<.1.3.6.1.2.1.2.2.1.10>)+delta(<.1.3.6.1.2.1.2.2.1.16>))/delta(time)/<.1.3.6.1.2.1.2.2.1.5>
2)接口发送速率=
delta(<ifOutOctets>)/delta(time)
或
delta(<.1.3.6.1.2.1.2.2.1.16>)/delta(time)。
不同对象标识符间的取差值运算逻辑,另举一例如:函数sub,其详细描述如下:
函数名:sub
意义:取本次获取目标设备中对应该对象标识符的对象的数据与上次获取的数据的差值,与delta的差别在于:sub支持函数内的四则运算;
用法:1.sub(<OID英文名>)2.sub(time);
返回:浮点数;
实例:
sub(<OID1>+<OID2>)/sub(time)
或
sub(<.1.3.6.1.2.1.2.2.1.10>+<.1.3.6.1.2.1.2.2.1.16>)/sub(time)
不同对象标识符间的取值运算逻辑,举一例如:函数get_num,其详细描述如下:
函数名:get_num;
意义:获取数值,如果是字符串,则从中提取第一个数字子串的数值;如果是数值,则返回数值;
用法:get_num(<OID英文名>);
返回:数值;
实例:
1)get_num(<cpuPercent>)或get_num(<.1.3.6.1.4.1.39165.1.7>)
Mib节点<.1.3.6.1.4.1.39165.1.7>的snmp返回值为字符串“34percent”,则get_num(<.1.3.6.1.4.1.39165.1.7>)应返回数值类型的34。
在上述实施例中,通过配置对象标识符运算逻辑标识,可使得基于简单网络管理协议的数据采集与处理可配置化,工作人员可灵活的根据使用场景和使用需求进行灵活设置,提升了SNMP业务系统的可配置性和灵活性。
具体实施时,在根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据后,根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算。
实施例中,根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算,可以包括:获取对象标识符运算逻辑标识所引用的对象标识符;从目标数据中,获取对应对象标识符运算逻辑标识所引用的对象标识符所代表对象的数据;根据对象标识符运算逻辑标识所描述的运算逻辑,对从目标数据中获取的对应对象标识符运算逻辑标识所引用的对象标识符所代表对象的数据,进行数据处理。
在上述实施例中,通过增强基于SNMP的数据采集与处理,并实现基于此增强配置功能的自动化的数据处理方法,将数据处理步骤尽可能的在本发明所提供的方法内完成,可解决现有技术下由于扩展或变更业务需求时需要编程修改数据处理程序的问题,从而大大增强整个SNMP业务系统的可配置性和灵活性。
具体实施时,本发明实施例提供的一种基于简单网络管理协议的数据采集与处理方法,还可以包括:对目标数据进行数据分析、数据告警和数据显示。
在上述实施例中,本发明实施例提供了实时数值监测、告警、历史统计等功能,增强了整个SNMP业务系统的实用性。
本发明实施例中,获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算,与现有技术对比,在进行数据采集时不再只能获取原始数据,而是可通过对象标识符运算逻辑标识所描述的运算逻辑,直接实现对目标数据的逻辑运算,从而不再需要对目标数据进行单独的计算,也不再需要频繁修改或增加SNMP业务系统的数据处理代码,可更方便快捷得实现数据处理,提升了SNMP业务系统的灵活性;同时通过将数据采集任务和对象标识符运算逻辑标识可配置化,提升了SNMP业务系统的可配置性。
本发明实施例中还提供了一种基于简单网络管理协议的数据采集与处理装置,如下面的实施例。由于该装置解决问题的原理与基于简单网络管理协议的数据采集与处理方法相似,因此该装置的实施可以参见基于简单网络管理协议的数据采集与处理方法的实施,重复之处不再赘述。
本发明实施例提供的一种基于简单网络管理协议的数据采集与处理装置,可用以提升SNMP业务系统的可配置性和灵活性,如图3所示,该装置可以包括:
数据采集任务获取模块01,用于获取预配置的基于简单网络管理协议的数据采集任务;数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;
目标数据采集模块02,用于根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;
目标数据处理模块03,用于根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算。
在一个实施例中,数据采集任务还携带有数据采集周期和指标项标识;目标数据采集模块,具体用于:根据目标设备标识、原始对象标识符、数据采集周期、指标项标识,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据。
在一个实施例中,如图4所示,本发明实施例提供的一种基于简单网络管理协议的数据采集与处理装置,还可以包括:数据存储模块04,用于:对目标数据和数据采集周期进行同步存储。
在一个实施例中,如图5所示,本发明实施例提供的一种基于简单网络管理协议的数据采集与处理装置,还可以包括:对象标识符运算逻辑标识预配置模块05,用于:按如下方式预配置不同对象标识符运算逻辑标识:预配置不同对象标识符运算逻辑标识对应的关键字;关键字包括采集时刻;和/或,预配置不同对象标识符运算逻辑标识对应的不同对象标识符间的运算逻辑;不同对象标识符间的运算逻辑包括不同对象标识符间的取差值运算逻辑和取值运算逻辑。
在一个实施例中,目标数据处理模块,具体用于:获取对象标识符运算逻辑标识所引用的对象标识符;从目标数据中,获取对应对象标识符运算逻辑标识所引用的对象标识符所代表对象的数据;根据对象标识符运算逻辑标识所描述的运算逻辑,对从目标数据中获取的对应对象标识符运算逻辑标识所引用的对象标识符所代表对象的数据,进行数据处理。
在一个实施例中,还包括:第二数据处理模块,用于:对目标数据进行数据分析、数据告警和数据显示。
下面给出一个具体实施例,来说明本发明的装置的具体应用,该实施例中,如图6所示,该实例可以包括:
数据采集模块:即上述的数据采集任务获取模块、目标数据采集模块、目标数据处理模块、数据存储模块和对象标识符运算逻辑标识预配置模块;
业务模块:即上述的第二数据处理模块。
下面结合图6对该实施例进行具体说明:
首先进行数据采集(即目标数据采集):解析过滤采集配置中所有原始OID,按照配置采集周期执行数据采集任务(即获取预配置的基于简单网络管理协议的数据采集任务;数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑)。区别于现有技术下的数据采集方法,本发明实施例在原有配置采集项名称及OID的基础上,增加配置了“对象标识符运算逻辑标识”(可简称为逻辑OID,下同)这一参数,可通过支持四则运算与一系列函数方法的OID表达式,来描述数据指标的采集与预处理算法。
数据采集模块,扫描数据采集任务的配置中的所有指标项,将所有“原始OID”及“逻辑OID表达式中引用到的原始OID”搜集到一起。然后,数据采集模块根据目标设备标识所对应的目标设备,基于数据采集任务中的指标项,以及配置的数据采集周期,自动执行数据采集任务,并根据原始OID定期获取原始数据。其次,将获取到的原始数据及采集时间缓存下来。需要注意的是,只需要缓存各个设备上获取的本次目标数据和上一次目标数据,超期的数据可从缓存中进行清除处理。
其次进行数据预处理:根据逻辑OID表达式(即对象标识符运算逻辑所描述的预配置的不同对象标识符间的运算逻辑)执行数据处理算法。区别于现有技术中需要内置与业务模块且需要根据业务编程实现的数据处理方法,本发明实施例提供的数据处理步骤可被实现于数据采集模块,即可根据可配置的逻辑OID表达式,自动化预处理数据采集步骤采集并缓存的原始数据。
举一具体示例,如:实时监控路由器192.168.1.1接口1的双向速率,刷新时间间隔为5秒钟。本发明实施例提供的装置,对该实例实现数据采集与处理的步骤如下所示:
1、配置采集任务:【采集目标设备:192.168.1.1;数据采集周期:5秒钟;指标项标识(名称):双向速率;OID:(delta(<ifOutOctets>)+delta(ifInOctets))/delta(time)】;
2、数据采集模块解析出,本次数据采集任务包含ifOutOctets(.1.3.6.1.2.1.2.2.1.16)和ifInOctets(.1.3.6.1.2.1.2.2.1.10)两个原始OID;
3、数据采集模块查询系统中记录的192.168.1.1的SMMP参数(包括SNMP版本、readcommunity等参数),利用SNMP协议,向192.168.1.1发起两次snmp get请求,OID分别为.1.3.6.1.2.1.2.2.1.16.1(接口1的发送计数器读数)和.1.3.6.1.2.1.2.2.1.10.1(接口1的接收计数器读数),得到返回数据后,将数据分别赋予变量ifOutCounter1和ifInCounter1,连通当前时间timestamp1记录到缓存中;
4、5秒钟后,数据采集模块再次利用SNMP协议,向192.168.1.1发起两次snmp get请求,OID分别为.1.3.6.1.2.1.2.2.1.16.1(接口1的发送计数器读数)和.1.3.6.1.2.1.2.2.1.10.1(接口1的接收计数器读数),得到返回数据后,将数据分别赋予变量ifOutCounter2和ifInCounter2,连通当前时间timestamp2记录到缓存中;
5、数据采集模块执行数据预处理步骤,按照采集任务中的逻辑OID表达式:(delta(<ifOutOctets>)+delta(ifInOctets))/delta(time),从缓存中读取变量ifOutCounter1、ifInCounter1、timestamp1、ifOutCounter2、ifInCounter2、timestamp2,执行运算((ifOutCounter2-ifOutCounter1)+(ifInCounter2-ifInCounter1))/(timestamp2-timestamp1),得到192.168.1.1的接口1的双向速率,并将双向速率数据传递给业务模块进行前台显示;
6、将ifOutCounter2赋值给ifOutCounter1,将ifInCounter2赋值给ifInCounter1;转到步骤4继续执行。
本发明实施例意在通过增强基于SNMP协议的数据采集配置功能,实现了基于此增强配置功能的自动化的数据处理方法,将数据处理的步骤尽可能的在数据采集模块中完成,解决由于扩展或变更业务需求时需要编程修改业务模块的预处理程序的问题,从而大大增强整个系统的可配置性和灵活性。
在一般情况下,即使面对全新类型的设备,只需要拿到该型设备的私有MIB库,经过分析筛选,将所有需要采集的数据指标(即数据采集任务)通过以上方式,将OID或逻辑OID配置到数据采集的定时任务中,数据采集模块可直接得到各种性能指标的值并传递给业务模块或保存到数据库中。而业务模块无需知道指标的实际含义,即可完成实时数值监测、告警、历史统计等常见功能。也就是说,SNMP业务系统可以完全通过配置的方式扩展监控新的指标或扩展支持新型设备的监控管理,而不需要通过修改程序来实现。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于简单网络管理协议的数据采集与处理方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述基于简单网络管理协议的数据采集与处理方法的计算机程序。
本发明实施例中,获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算,与现有技术对比,在进行数据采集时不再只能获取原始数据,而是可通过对象标识符运算逻辑标识所描述的运算逻辑,直接实现对目标数据的逻辑运算,从而不再需要对目标数据进行单独的计算,也不再需要频繁修改或增加SNMP业务系统的数据处理代码,可更方便快捷得实现数据处理,提升了SNMP业务系统的灵活性;同时通过将数据采集任务和对象标识符运算逻辑标识可配置化,提升了SNMP业务系统的可配置性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于简单网络管理协议的数据采集与处理方法,其特征在于,包括:
获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;
根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;
根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算。
2.如权利要求1所述的方法,其特征在于,所述数据采集任务还携带有数据采集周期和指标项标识;
根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据,包括:
根据目标设备标识、原始对象标识符、数据采集周期、指标项标识,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据。
3.如权利要求2所述的方法,其特征在于,还包括:对目标数据和数据采集周期进行同步存储。
4.如权利要求1所述的方法,其特征在于,还包括:按如下方式预配置不同对象标识符运算逻辑标识:
预配置不同对象标识符运算逻辑标识对应的关键字;所述关键字包括采集时刻;
和/或,预配置不同对象标识符运算逻辑标识对应的不同对象标识符间的运算逻辑;所述不同对象标识符间的运算逻辑包括不同对象标识符间的取差值运算逻辑和取值运算逻辑。
5.如权利要求1所述的方法,其特征在于,根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算,包括:
获取对象标识符运算逻辑标识所引用的对象标识符;
从目标数据中,获取对应对象标识符运算逻辑标识所引用的对象标识符所代表对象的数据;
根据对象标识符运算逻辑标识所描述的运算逻辑,对从目标数据中获取的对应对象标识符运算逻辑标识所引用的对象标识符所代表对象的数据,进行数据处理。
6.如权利要求1所述的方法,其特征在于,还包括:
对目标数据进行数据分析、数据告警和数据显示。
7.一种基于简单网络管理协议的数据采集与处理装置,其特征在于,包括:
数据采集任务获取模块,用于获取预配置的基于简单网络管理协议的数据采集任务;所述数据采集任务携带有目标设备标识、原始对象标识符和对象标识符运算逻辑标识;所述对象标识符运算逻辑用于描述预配置的不同对象标识符所代表对象的数据间的运算逻辑;
目标数据采集模块,用于根据目标设备标识、原始对象标识符,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据;所述目标数据为从目标设备中采集的对应不同对象标识符所代表对象的数据;
目标数据处理模块,用于根据对象标识符运算逻辑标识所描述的运算逻辑,对目标数据进行逻辑运算。
8.如权利要求7所述的装置,其特征在于,所述数据采集任务还携带有数据采集周期和指标项标识;
目标数据采集模块,具体用于:
根据目标设备标识、原始对象标识符、数据采集周期、指标项标识,以及对象标识符运算逻辑标识所引用的对象标识符,对目标设备进行数据采集,得到目标数据。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110258673.7A CN115086136B (zh) | 2021-03-10 | 2021-03-10 | 基于简单网络管理协议的数据采集与处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110258673.7A CN115086136B (zh) | 2021-03-10 | 2021-03-10 | 基于简单网络管理协议的数据采集与处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115086136A CN115086136A (zh) | 2022-09-20 |
CN115086136B true CN115086136B (zh) | 2023-07-14 |
Family
ID=83240733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110258673.7A Active CN115086136B (zh) | 2021-03-10 | 2021-03-10 | 基于简单网络管理协议的数据采集与处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115086136B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102387043A (zh) * | 2011-12-07 | 2012-03-21 | 深圳市同洲视讯传媒有限公司 | 基于简单网络管理协议的告警解析方法、工作站及系统 |
CN103997412A (zh) * | 2013-02-18 | 2014-08-20 | 中兴通讯股份有限公司 | 管理信息库文件生成方法及装置、数据处理系统 |
CN109802843A (zh) * | 2017-11-16 | 2019-05-24 | 四川勇超网络科技有限公司 | 一种基于snmp的网络设备监控系统 |
CN112035243A (zh) * | 2019-06-04 | 2020-12-04 | 顺丰科技有限公司 | 数据查询方法、装置、终端及介质 |
CN112152824A (zh) * | 2019-06-26 | 2020-12-29 | 北京神州泰岳软件股份有限公司 | 一种性能指标数据采集方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10826750B2 (en) * | 2019-01-31 | 2020-11-03 | Hewlett Packard Enterprise Development Lp | Patricia trie for simple network management protocol management information base operations |
-
2021
- 2021-03-10 CN CN202110258673.7A patent/CN115086136B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102387043A (zh) * | 2011-12-07 | 2012-03-21 | 深圳市同洲视讯传媒有限公司 | 基于简单网络管理协议的告警解析方法、工作站及系统 |
CN103997412A (zh) * | 2013-02-18 | 2014-08-20 | 中兴通讯股份有限公司 | 管理信息库文件生成方法及装置、数据处理系统 |
CN109802843A (zh) * | 2017-11-16 | 2019-05-24 | 四川勇超网络科技有限公司 | 一种基于snmp的网络设备监控系统 |
CN112035243A (zh) * | 2019-06-04 | 2020-12-04 | 顺丰科技有限公司 | 数据查询方法、装置、终端及介质 |
CN112152824A (zh) * | 2019-06-26 | 2020-12-29 | 北京神州泰岳软件股份有限公司 | 一种性能指标数据采集方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115086136A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11042510B2 (en) | Configuration file management in a search head cluster | |
US10938634B1 (en) | System and method for centralized analytics for edge devices with enrichment pushdown | |
US10460255B2 (en) | Machine learning in edge analytics | |
US20180129579A1 (en) | Systems and Methods with a Realtime Log Analysis Framework | |
EP2487860B1 (en) | Method and system for improving security threats detection in communication networks | |
CN107659453B (zh) | 通过zabbix监控大量TCP服务端口的方法 | |
CN101933003A (zh) | 自动化的应用依赖性映射 | |
KR102328938B1 (ko) | 전자 시스템들에서의 로그 데이터의 관리 | |
CN110325979B (zh) | 测量解决方案服务提供系统 | |
US11956335B1 (en) | Automated mapping of multi-tier applications in a distributed system | |
US10116488B2 (en) | System for analyzing an industrial control network | |
CN110928681A (zh) | 数据的处理方法和装置、存储介质及电子装置 | |
CN112600719A (zh) | 告警聚类方法、装置及存储介质 | |
CN115086136B (zh) | 基于简单网络管理协议的数据采集与处理方法及装置 | |
CN111817865A (zh) | 一种监控网管设备的方法及监控系统 | |
EP3511830A1 (en) | Method for monitoring devices in a network, computerized system and application program interface | |
CN112445861A (zh) | 信息处理方法、装置、系统及存储介质 | |
CN115914033A (zh) | 设备信息的监控方法、装置、电子设备及存储介质 | |
CN112910842B (zh) | 一种基于流量还原的网络攻击事件取证方法与装置 | |
CN112564984A (zh) | 基于大数据的物联网的分布式安全运维的方法 | |
CN107124293B (zh) | 一种分布式网络系统的协议管理方法及系统 | |
CN110989537A (zh) | 生产数据处理方法、设备、介质及系统 | |
CN109684158A (zh) | 分布式协调系统的状态监控方法、装置、设备及存储介质 | |
CN114244740B (zh) | 一种网络数据采集方法及系统 | |
US20240095662A1 (en) | Network inventory management and anomaly detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |