CN116016117A - 网络设备运维数据采集方法、系统、电子设备及存储介质 - Google Patents

网络设备运维数据采集方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116016117A
CN116016117A CN202211714857.0A CN202211714857A CN116016117A CN 116016117 A CN116016117 A CN 116016117A CN 202211714857 A CN202211714857 A CN 202211714857A CN 116016117 A CN116016117 A CN 116016117A
Authority
CN
China
Prior art keywords
acquisition
task
information
equipment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211714857.0A
Other languages
English (en)
Inventor
赵昌健
史晶晶
刘岚
杜俊莲
杨凯敏
吕冬冬
王涛
李宁
周健
李浩男
杜彬
孙汉敏
代汶君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Heli Innovation Science & Technology Co ltd
Original Assignee
Shanxi Heli Innovation Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Heli Innovation Science & Technology Co ltd filed Critical Shanxi Heli Innovation Science & Technology Co ltd
Priority to CN202211714857.0A priority Critical patent/CN116016117A/zh
Publication of CN116016117A publication Critical patent/CN116016117A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本申请实施例提供网络设备运维数据采集方法、系统、电子设备及存储介质,包括:S10,对采集的设备进行管理,维护设备的基本信息;S20,创建/更新采集任务,对采集任务进行调度;S30,通过异步采集的方式执行采集任务;S40,将采集的数据解析为结构化数据,并存储;具有有效改善工作效率的有益效果,适用于网络运维的技术领域。

Description

网络设备运维数据采集方法、系统、电子设备及存储介质
技术领域
本申请涉及网络运维的技术领域,具体涉及网络设备运维数据采集方法、系统、电子设备及存储介质。
背景技术
随着计算机技术的不断发展,计算机网络已经成为信息时代的重要特征,以计算机和网络通信技术为特征的信息技术在各个领域得到了广泛应用,如:将信息技术与运维工作相结合,能够大大提高设备运维工作的便利性。
然而,传统的网络运维需要远程登录设备,通过命令获取设备的性能信息,对于庞大的网络系统,故障不易查找,操作效率差,使得网络设备的问题不能及时发现,发现问题不够及时,给网络运维人员的工作带来了极大的不便。
发明内容
为了解决上述技术缺陷之一,本申请实施例中提供了一种有效改善工作效率的网络设备运维数据采集方法、系统、电子设备及存储介质。
根据本申请实施例的第一个方面,提供了网络设备运维数据采集方法,包括以下步骤:
S10,对采集的设备进行管理,维护设备的基本信息;
S20,创建/更新采集任务,对采集任务进行调度;
S30,通过异步采集的方式执行采集任务;
S40,将采集的数据解析为结构化数据,并存储。
根据本申请实施例的第二个方面,提供了网络设备运维数据采集系统,包括:
设备管理模块,用于对采集的设备进行管理,维护设备的基本信息;
采集任务调度管理模块,用于创建/更新采集任务,对采集任务进行调度;
异步采集模块,用于通过异步采集的方式执行采集任务;
采集数据存储模块,用于将采集的数据解析为结构化数据,并存储;
历史数据查询模块,用于通过接口服务,对采集的历史数据进行查询分析;
同步采集模块,用于通过同步采集的方式执行采集任务。
根据本申请实施例的第三个方面,提供了一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如上所述的网络设备运维数据采集方法。
根据本申请实施例的第四个方面,提供了一种计算机可读存储介质,其上存储有计算机程序;所述计算机程序被处理器执行以实现如上所述的网络设备运维数据采集方法。
采用本申请实施例中提供的网络设备运维数据采集方法、系统、电子设备及存储介质,各个步骤/模块之间形成较为完整、严密的采集流程,通过使用消息队列,各步骤/模块之间相互独立,耦合程度低,能够降低复杂性,提升稳定性;同时,本申请使用异步采集的方式,能够有效提升任务采集的吞吐量,改善工作效率,实用性极强。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的网络设备运维数据采集方法的流程示意图;
图2为本申请实施例中步骤S10的流程示意图;
图3为本申请实施例中步骤S20中创建/更新采集任务的流程示意图;
图4为本申请实施例中步骤S20中对采集任务进行调度的流程示意图;
图5为本申请实施例中步骤S30的流程示意图;
图6为本申请实施例中步骤S60的流程示意图;
图7为本申请实施例中步骤S40的流程示意图;
图8为本申请实施例提供的网络设备运维数据采集系统的结构示意图;
图中:
10为设备管理模块,20为采集任务调度管理模块,30为异步采集模块,40为采集数据存储模块,50为历史数据查询模块,60为同步采集模块。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在实现本申请的过程中,发明人发现,传统的网络运维需要远程登录设备,通过命令获取设备的性能信息,对于庞大的网络系统,故障不易查找,操作效率差,使得网络设备的问题不能及时发现,发现问题不够及时,给网络运维人员的工作带来了极大的不便。
针对上述问题,本申请实施例中提供了网络设备运维数据采集方法、系统、电子设备及存储介质,通过完整、严密的采集流程,使得各步骤/模块之间相互独立,耦合程度低,能够降低复杂性,提升稳定性,有效改善工作效率。
以下以一个具体的实施例,对本申请的技术方案进行说明。
如图1所示,网络设备运维数据采集方法,包括以下步骤:
S10,对采集的设备进行管理,维护设备的基本信息;
S20,创建/更新采集任务,对采集任务进行调度;
S30,通过异步采集的方式执行采集任务;
S40,将采集的数据解析为结构化数据,并存储。
本实施例中,各个步骤之间形成较为完整、严密的采集流程,通过使用消息队列,各步骤之间相互独立,耦合程度低,能够降低复杂性,提升稳定性;同时,本申请使用异步采集的方式,能够有效提升任务采集的吞吐量,改善工作效率,实用性极强。
具体地,在所述步骤S40之后,还包括:
S50,通过接口服务,对采集的历史数据进行查询分析;
在所述步骤S20,之后还包括:
S60,通过同步采集的方式执行采集任务。
本实施例中,能够随时查看设备的历史性能数据,可以发现设备的监控状态,故障率,以便评估设备的稳定性和可用率;此外,也可通过更细分的数据挖掘,分析设备的故障情况,如:某种品牌型号的路由器、交换机是否存在故障率偏高等情况,通过分析原因,为管理人员提供决策建议。
如图2所示,所述步骤S10,包括:
S101,接收用户的设备添加或修改操作指令;
S102,判断是否配置了采集数据预览功能,如是,则调取设备实时性能采集数据并呈现预览视图,之后执行步骤S103;否则,直接执行步骤S103;
其中,设备实时性能采集数据包括:cpu使用率、内存使用率、温度值、端口状态、板卡状态。
S103,接收用户的保存指令;
S104,检查设备的设备的ip、设备类型、设备型号、采集开关状态是否修改,如是,则记录设备修改时间为当前运行时间t1,之后执行步骤S105,否则,直接执行步骤S105;
其中:检查设备的设备的ip、设备类型、设备型号、采集开关状态是否修改,包括:
对于设备添加操作指令,则,视为修改;
对于设备修改操作指令,则,将当前的配置信息与存储在数据库的配置信息进行逐项比较,如果有一项配置值不同,则视为有修改,否则,视为无修改;
S105,检查采集凭证信息是否有修改,如是,则记录采集凭证修改时间为当前运行时间t2,之后执行步骤S106,否则,直接执行步骤S106;
其中,检查采集凭证信息是否有修改,包括:
对于设备添加操作指令,则,视为凭证信息有修改;
对于设备修改操作指令,则,将凭证信息的当前配置信息与数据库的配置信息进行逐项比较,如果有一项配置值不同,则视为凭证信息有修改,否则,视为无修改;
S106,检查设备采集频率、采集指标是否有修改,如是,则记录采集配置修改时间为当前时间t3,之后执行步骤S107,否则,直接执行步骤S107;
其中,检查设备采集频率、采集指标是否有修改,包括:
对于设备添加操作指令,则,视为有修改;
对于设备修改操作指令,则,将当前的配置信息与数据库的配置信息进行逐项比较,如果有一项配置值不同则视为有修改,否则,视为无修改;
S107,将设备采集信息,以及时间t1、t2、t3保存至关系型数据库;
S108,发送设备采集修改信息到设备采集信息更新队列;以使步骤S20根据设备采集信息更新队列执行采集任务调度。
本实施例中,采集频率设置灵活,如:可以对同一类型设备的采集频率进行指标设定。
如图3、图4所示,所述步骤S20中,创建/更新采集任务包括:
S201,启动设备采集信息更新队列监听器,循环监听信息,如,收到信息,则从设备采集信息更新队列中拉取出设备采集更新信息,否则,继续监听;
S202,从设备采集更新信息中提取设备标识或者型号标识,并从关系型数据库中查询设备标识或者型号标识对应的设备采集信息;
其中,设备型号和设备是一对多关系,设备采集信息主要包括:设备ip、采集凭证、采集指标、采集频率;
S203,根据设备采集信息生成以采集指标为粒度的采集任务;其中,每个采集任务对应有唯一的任务标识(taskId);
本实施例中,网络设备采集使用snmp协议,snmp协议有get、walk两种请求方式;get获取指定oid(snmp协议中对象的唯一标识)对应的节点信息,walk可以遍历指定oid下面的所有节点且支持批量操作,一次请求多个oid,提高效率;
S204,判断采集任务的方式是否为walk方式,如是,则将相同设备且同一指标分类下的多个采集任务合并为一个采集任务,并形成任务信息;否则,不合并采集任务,并形成任务信息;
S205,检测设备是否开启采集,如是,则通过采集数据中的任务标识查询内存数据库中的任务记录信息,否则,通过任务标识删除内存数据库中的任务信息;
S206,判断内存数据库中的任务记录信息是否为空,如是,表示该任务未在内存数据库中缓存过,未加载过该任务,将该任务信息保存到内存数据库进行缓存,并执行步骤S209;否则,提取出内存数据库中查询的任务信息所对应的更新时间戳timestamp1;
S207,将当前处理的任务对应的任务信息更新时间记为timestamp2,且timestamp2=max(t1,t2,t3);其中,t1为设备修改时间,t2为采集凭证修改时间,t3为采集配置修改时间;
S208,判断是否timestamp1>timestamp2,如是,则表示任务内信息没有变化,无需更新,否则,执行步骤S209;
S209,将该任务信息保存到内存数据库进行缓存;
S2010,将采集任务信息发送到采集任务延迟消息队列(延迟时间取自设备信息配置,设置延迟时间为delay,单位为分钟,一般配置2分钟);
以使步骤S30根据采集任务延迟消息队列,执行采集任务;
所述步骤S20中,对采集任务进行调度,包括:
S2011,启动采集任务完成消息队列监听器,循环监听信息,如,收到信息,则从采集任务完成消息队列中拉取出任务完成信息,否则,继续监听;
S2012,根据任务完成消息中包含的任务标识,从内存数据库查询缓存信息;
S2013,判断内存数据库中查询的缓存信息是否为空,如是,则通过丢弃任务,来关闭采集任务,不再进行采集;否则,执行步骤S2014;
S2014,判断内存数据库中查询的任务更新时间是否大于任务完成消息中的任务更新时间,如是,表示任务已经被修改,则丢弃过期的任务信息;否则,执行步骤S2015;
S2015,将内存数据库中对应的任务信息的发送时间更新为当前运行时间,之后,发送任务消息到采集任务延迟消息队列。
如图5所示,所述步骤S30,包括:
S301,启动采集任务延迟消息队列监听器,循环监听任务延迟消息队列中消息停留时间是否超过预设时间delay,如是,则执行步骤S302,否则继续监听;
S302,拉取任务延迟消息队列中的任务消息;
S303,判断采集任务的方式是否为walk方式,如是,则调用snmp协议组件并发送异步walk请求;否则,调用snmp协议组件并发送异步get请求;
S304,执行请求发送;
S305,判断设定的请求超时时间内,是否有数据返回,如是,则执行步骤S306,否则,判断当前重试次数是否≤请求配置的重试次数,如是,则继续执行步骤S304;否则,封装设备通讯失败采集结果后,执行步骤S306;
S306,封装统一格式的采集结果;
S307,发送采集结果到采集结果队列;
S308,发送采集任务完成消息到采集任务完成消息队列。
如图6所示,所述步骤S60,包括:
S601,服务调用者向采集服务发起http请求,请求调用开放接口;
S602,采集服务解析调用请求参数;
S603,判断设备指标采集方式为walk,如是,则调用snmp协议组件并发送同步walk请求;否则,调用snmp协议组件并发送同步get请求;
S604,执行请求发送;
S605,判断设定的请求超时时间内,是否有数据返回,如是,则执行步骤S606,否则,判断当前重试次数是否≤请求配置的重试次数,如是,则继续执行步骤S604;否则,封装设备通讯失败采集结果后,执行步骤S606;
S606,封装统一格式的采集结果;
S607,返回采集结果给调用方。
本实施例中,所述步骤S30、步骤S60中,均采用了重试请求机制,相对提高了数据采集的准确性,尽量减少采集单次请求网络异常或者堵塞造成采集设备通讯故障误判。
如图7所示,所述步骤S40,包括:
S401,启动采集结果队列监听器;循环监听消息,如,收到消息,则从采集结果队列中拉取出采集结果消息,否则,继续监听;
S402,根据指标分类值对采集结果进行分类解析;具体包括:
指标分类1表示设备运行时间,指标分类2表示设备CPU使用率,指标分类3表示设备端口信息,指标分类4表示设备温度信息,指标分类5表示设备内存使用率,指标分类6表示设备板卡状态;
S403,按照最小颗粒度,封装指标采集结果信息;
S404,保存指标采集结果信息至时序数据库。
本实施例中,所述步骤S402,具体包括:
S4021,判断指标分类值是否为1,如是,则从采集结果中解析出设备运行时间指标;否则执行步骤S4022;
S4022,判断指标分类值是否为2,如是,则从采集结果中解析出设备CPU使用率;否则执行步骤S4023;
S4023,判断指标分类值是否为3,如是,则从采集结果中解析出设备端口信息;否则执行步骤S4024;
S4024,判断指标分类值是否为4,如是,则从采集结果中解析出设备温度信息;否则执行步骤S4025;
S4025,判断指标分类值是否为5,如是,则从采集结果中解析出设备内存使用率;否则执行步骤S4026;
S4026,判断指标分类值是否为6,如是,则从采集结果中解析出设备板卡状态;否则执行步骤S403。
具体地,步骤S403,按照最小颗粒度,封装指标采集结果信息中,设备运行时间、CPU使用率、温度信息、内存使用率按照设备拆分到最小粒度;端口相关数据按照设备id和端口的索引编号拆分到最小粒度;板卡按照设备id和板卡索引编号拆分到最小粒度。
本实施例中,通过使用消息队列能够进行削峰,可以应对生产者和消费不匹配的异常波动,增加系统的健壮性;使用内存数据库缓存任务信息,能够提升系统的响应能力;使用时序数据库数据库存储采集性能数据,能够有效提升数据的写入、读取效率,使用时间戳索引,能够方便按照时间范围检索数据。
本实施例中,所述步骤S50,通过接口服务,对采集的历史数据进行查询分析;具体包括:
将采集数据实时存入时序数据库,通过连接时序数据库可以方便的进行网络设备性能数据的采集分析,在数据基础上添加业务功能,如:大屏实时监控设备状态、设备的温度变化曲线、CPU负载、内存使用率曲线等。
时序数据库可以缓存最新的数据记录,以及按照时间范围滑动查询,数据的储存容量大,读写性能好;本实施例使用restful接口,具有数据开放性,可通过实时开放接口和共享时序数据库,方便的将数据共享到其他系统。
本申请还提供了网络设备运维数据采集系统,包括:
设备管理模块10,用于对采集的设备进行管理,维护设备的基本信息;
采集任务调度管理模块20,用于创建/更新采集任务,对采集任务进行调度;
异步采集模块30,用于通过异步采集的方式执行采集任务;
采集数据存储模块40,用于将采集的数据解析为结构化数据,并存储;
历史数据查询模块50,用于通过接口服务,对采集的历史数据进行查询分析;
同步采集模块60,用于通过同步采集的方式执行采集任务。
本实施例中,所述设备管理模块10中,设备的基本信息包括:设备ip、设备的类型(路由器、交换机等)、型号、设备采集开关状态、采集指标oid配置等信息;其中,对设备进行管理包括:添加采集设备,其过程可通过同步采集模块调用获取设备实时性能信息,也可通过用户页面接收用户输入的方式实现添加采集设备。
所述采集任务调度管理模块20,包括:接收设备采集更新消息通知、创建更新采集任务、删除任务、任务完成消息处理、发送任务消息到延迟消息队列等。
所述异步采集模块能够高性能的处理网络设备的大批量采集任务;
所述同步采集模块可以直接获取实时的网络设备采集数据。
本申请中,方法和系统是基于同一发明构思的,由于方法及系统解决问题的原理相似,因此系统与方法的实施可以相互参见,重复之处不再赘述。
本申请还提供了一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如上所述的网络设备运维数据采集方法。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序;所述计算机程序被处理器执行以实现如上所述的网络设备运维数据采集方法。
综上,本申请通过使用snmp协议设计完整的采集系统,可以方便的采集性能数据,对设备状况进行监控,能够主动发现设备问题,极大改善工作效率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现,例如,C语言、VHDL语言、Verilog语言、面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.网络设备运维数据采集方法,其特征在于,包括以下步骤:
S10,对采集的设备进行管理,维护设备的基本信息;
S20,创建/更新采集任务,对采集任务进行调度;
S30,通过异步采集的方式执行采集任务;
S40,将采集的数据解析为结构化数据,并存储。
2.根据权利要求1所述的网络设备运维数据采集方法,其特征在于,在所述步骤S40之后,还包括:
S50,通过接口服务,对采集的历史数据进行查询分析;
在所述步骤S20,之后还包括:
S60,通过同步采集的方式执行采集任务。
3.根据权利要求1所述的网络设备运维数据采集方法,其特征在于,所述步骤S10,包括:
S101,接收用户的设备添加或修改操作指令;
S102,判断是否配置了采集数据预览功能,如是,则调取设备实时性能采集数据并呈现预览视图,之后执行步骤S103;否则,直接执行步骤S103;
S103,接收用户的保存指令;
S104,检查设备的设备的ip、设备类型、设备型号、采集开关状态是否修改,如是,则记录设备修改时间为当前运行时间t1,之后执行步骤S105,否则,直接执行步骤S105;
S105,检查采集凭证信息是否有修改,如是,则记录采集凭证修改时间为当前运行时间t2,之后执行步骤S106,否则,直接执行步骤S106;
S106,检查设备采集频率、采集指标是否有修改,如是,则记录采集配置修改时间为当前时间t3,之后执行步骤S107,否则,直接执行步骤S107;
S107,将设备采集信息,以及时间t1、t2、t3保存至关系型数据库;
S108,发送设备采集修改信息到设备采集信息更新队列;以使步骤S20根据设备采集信息更新队列执行采集任务调度。
4.根据权利要求1所述的网络设备运维数据采集方法,其特征在于,所述步骤S20中,创建/更新采集任务包括:
S201,启动设备采集信息更新队列监听器,循环监听信息,如,收到信息,则从设备采集信息更新队列中拉取出设备采集更新信息,否则,继续监听;
S202,从设备采集更新信息中提取设备标识或者型号标识,并从关系型数据库中查询设备标识或者型号标识对应的设备采集信息;
S203,根据设备采集信息生成以采集指标为粒度的采集任务;其中,每个采集任务对应有唯一的任务标识;
S204,判断采集任务的方式是否为walk方式,如是,则将相同设备且同一指标分类下的多个采集任务合并为一个采集任务,并形成任务信息;否则,不合并采集任务,并形成任务信息;
S205,检测设备是否开启采集,如是,则通过采集数据中的任务标识查询内存数据库中的任务记录信息,否则,通过任务标识删除内存数据库中的任务信息;
S206,判断内存数据库中的任务记录信息是否为空,如是,表示该任务未在内存数据库中缓存过,将该任务信息保存到内存数据库进行缓存,并执行步骤S209;否则,提取出内存数据库中查询的任务信息所对应的更新时间戳timestamp1;
S207,将当前处理的任务对应的任务信息更新时间记为timestamp2,且timestamp2=max(t1,t2,t3);其中,t1为设备修改时间,t2为采集凭证修改时间,t3为采集配置修改时间;
S208,判断是否timestamp1>timestamp2,如是,则表示任务内信息没有变化,无需更新,否则,执行步骤S209;
S209,将该任务信息保存到内存数据库进行缓存;
S2010,将采集任务信息发送到采集任务延迟消息队列,以使步骤S30根据采集任务延迟消息队列,执行采集任务;
所述步骤S20中,对采集任务进行调度,包括:
S2011,启动采集任务完成消息队列监听器,循环监听信息,如,收到信息,则从采集任务完成消息队列中拉取出任务完成信息,否则,继续监听;
S2012,根据任务完成消息中包含的任务标识,从内存数据库查询缓存信息;
S2013,判断内存数据库中查询的缓存信息是否为空,如是,则关闭采集任务,不再进行采集,否则,执行步骤S2014;
S2014,判断内存数据库中查询的任务更新时间是否大于任务完成消息中的任务更新时间,如是,表示任务已经被修改,则丢弃过期的任务信息;否则,执行步骤S2015;
S2015,将内存数据库中对应的任务信息的发送时间更新为当前运行时间,之后,发送任务消息到采集任务延迟消息队列。
5.根据权利要求1所述的网络设备运维数据采集方法,其特征在于,所述步骤S30,包括:
S301,启动采集任务延迟消息队列监听器,循环监听任务延迟消息队列中消息停留时间是否超过预设时间delay,如是,则执行步骤S302,否则继续监听;
S302,拉取任务延迟消息队列中的任务消息;
S303,判断采集任务的方式是否为walk方式,如是,则调用snmp协议组件并发送异步walk请求;否则,调用snmp协议组件并发送异步get请求;
S304,执行请求发送;
S305,判断设定的请求超时时间内,是否有数据返回,如是,则执行步骤S306,否则,判断当前重试次数是否≤请求配置的重试次数,如是,则继续执行步骤S304;否则,封装设备通讯失败采集结果后,执行步骤S306;
S306,封装统一格式的采集结果;
S307,发送采集结果到采集结果队列;
S308,发送采集任务完成消息到采集任务完成消息队列。
6.根据权利要求1所述的网络设备运维数据采集方法,其特征在于,所述步骤S60,包括:
S601,服务调用者向采集服务发起http请求,请求调用开放接口;
S602,采集服务解析调用请求参数;
S603,判断设备指标采集方式为walk,如是,则调用snmp协议组件并发送同步walk请求;否则,调用snmp协议组件并发送同步get请求;
S604,执行请求发送;
S605,判断设定的请求超时时间内,是否有数据返回,如是,则执行步骤S606,否则,判断当前重试次数是否≤请求配置的重试次数,如是,则继续执行步骤S604;否则,封装设备通讯失败采集结果后,执行步骤S606;
S606,封装统一格式的采集结果;
S607,返回采集结果给调用方。
7.根据权利要求1所述的网络设备运维数据采集方法,其特征在于,所述步骤S40,包括:
S401,启动采集结果队列监听器;循环监听消息,如,收到消息,则从采集结果队列中拉取出采集结果消息,否则,继续监听;
S402,根据指标分类值对采集结果进行分类解析;具体包括:
指标分类1表示设备运行时间,指标分类2表示设备CPU使用率,指标分类3表示设备端口信息,指标分类4表示设备温度信息,指标分类5表示设备内存使用率,指标分类6表示设备板卡状态;
S403,按照最小颗粒度,封装指标采集结果信息;
S404,保存指标采集结果信息至时序数据库。
8.网络设备运维数据采集系统,其特征在于,包括:
设备管理模块(10),用于对采集的设备进行管理,维护设备的基本信息;
采集任务调度管理模块(20),用于创建/更新采集任务,对采集任务进行调度;
异步采集模块(30),用于通过异步采集的方式执行采集任务;
采集数据存储模块(40),用于将采集的数据解析为结构化数据,并存储;
历史数据查询模块(50),用于通过接口服务,对采集的历史数据进行查询分析;
同步采集模块(60),用于通过同步采集的方式执行采集任务。
9.一种电子设备,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1至7任一项所述的网络设备运维数据采集方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;所述计算机程序被处理器执行以实现如权利要求1至7任一项所述的网络设备运维数据采集方法。
CN202211714857.0A 2022-12-27 2022-12-27 网络设备运维数据采集方法、系统、电子设备及存储介质 Pending CN116016117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211714857.0A CN116016117A (zh) 2022-12-27 2022-12-27 网络设备运维数据采集方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211714857.0A CN116016117A (zh) 2022-12-27 2022-12-27 网络设备运维数据采集方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116016117A true CN116016117A (zh) 2023-04-25

Family

ID=86036922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211714857.0A Pending CN116016117A (zh) 2022-12-27 2022-12-27 网络设备运维数据采集方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116016117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117311916A (zh) * 2023-11-29 2023-12-29 中山大学 用于身份鉴别的数据处理方法、系统、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117311916A (zh) * 2023-11-29 2023-12-29 中山大学 用于身份鉴别的数据处理方法、系统、设备和存储介质
CN117311916B (zh) * 2023-11-29 2024-03-22 中山大学 用于身份鉴别的数据处理方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN108667725B (zh) 一种基于多种接入及边缘计算的工业软网关以及实现方法
AU2019232789B2 (en) Aggregating data in a mediation system
EP2563062B1 (en) Long connection management apparatus and link resource management method for long connection communication
CN112445626B (zh) 一种基于消息中间件的数据处理方法和装置
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN105227367A (zh) 一种低延迟的告警解析处理方法
CN103645904A (zh) 一种接口调用的缓存实现方法
CN111367760B (zh) 日志采集方法及装置、计算机设备、存储介质
CN112765152B (zh) 用于合并数据表的方法和装置
CN107783985A (zh) 一种分布式数据库查询方法、装置及管理系统
CN111459944A (zh) 一种mr数据存储方法、装置、服务器及存储介质
CN112865311B (zh) 一种电力系统消息总线监视方法和装置
CN116016117A (zh) 网络设备运维数据采集方法、系统、电子设备及存储介质
CN111782672A (zh) 多领域数据管理方法及相关装置
CN113783913A (zh) 一种消息推送管理方法和装置
CN115033646B (zh) 一种基于Flink&Doris构建实时数仓系统的方法
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统
CN110879818B (zh) 一种获取数据的方法、装置、介质和电子设备
CN117573473A (zh) 一种电力系统机房设备运维系统、运维方法及相应设备
CN112422349A (zh) 面向nfv的网管系统、方法、设备及介质
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN111125161A (zh) 数据的实时处理方法、装置、设备及存储介质
CN108881401A (zh) 节点性能文件处理方法、中间服务器、节点、系统及介质
CN103886075B (zh) 分布式网络感知信息存储和查询系统
CN110928938B (zh) 一种接口中间件系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination