CN114785683A - 一种数据处理方法、采集系统及存储介质 - Google Patents
一种数据处理方法、采集系统及存储介质 Download PDFInfo
- Publication number
- CN114785683A CN114785683A CN202210431652.5A CN202210431652A CN114785683A CN 114785683 A CN114785683 A CN 114785683A CN 202210431652 A CN202210431652 A CN 202210431652A CN 114785683 A CN114785683 A CN 114785683A
- Authority
- CN
- China
- Prior art keywords
- configuration information
- information
- equipment side
- data
- acquisition system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 abstract description 32
- 238000007726 management method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/085—Retrieval of network configuration; Tracking network configuration history
- H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/18—Protocol analysers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Computer And Data Communications (AREA)
Abstract
本公开实施例提供了一种数据处理方法、采集系统及存储介质，该方法应用于采集系统，包括：监测设备侧基于被动数据采集协议上传的数据信息；若预设时长未接收到设备侧上传的数据信息，则登录设备侧；在成功登录设备侧后，获取设备侧的被动数据采集协议的第一配置信息；若第一配置信息与预先存储的设备侧的第二配置信息不同，则根据第一配置信息更新第二配置信息。应用本公开实施例提供的技术方案，能够解决采集系统与设备侧间的被动数据采集协议的配置信息异常问题。
Description
技术领域
本公开涉及数据处理技术领域，特别是涉及一种数据处理方法、采集系统及存储介质。
背景技术
被动数据采集协议为5GC(5G核心网)网元和数据通信设备的一种数据采集协议，被动数据采集协议是由设备侧主动发起的，采集系统负责接收设备侧发送的数据信息，设备侧的状态不可以被采集系统感知。而设备侧的被动数据采集协议的配置信息随时可能被改动，一旦被动数据采集协议的配置信息被改动，由于采集系统无法感知到设备侧的状态，这将导致采集系统与设备侧间的被动数据采集协议的配置信息异常。
发明内容
本公开实施例的目的在于提供一种数据处理方法、采集系统及存储介质，以解决采集系统与设备侧间的被动数据采集协议的配置信息异常问题。具体技术方案如下：
第一方面，本公开实施例提供了一种数据处理方法，应用于采集系统，所述方法包括：
监测设备侧基于被动数据采集协议上传的数据信息；
若预设时长未接收到所述设备侧上传的数据信息，则登录所述设备侧；
在成功登录所述设备侧后，获取所述设备侧的所述被动数据采集协议的第一配置信息；
若所述第一配置信息与预先存储的所述设备侧的第二配置信息不同，则根据所述第一配置信息更新所述第二配置信息。
在一些实施例中，所述根据所述第一配置信息更新所述第二配置信息的步骤，包括：
将所述第二配置信息中的第一字段信息更新为所述第一配置信息中的第一字段信息，所述第一配置信息与所述第二配置信息中的第一字段信息不同。
在一些实施例中，所述根据所述第一配置信息更新所述第二配置信息的步骤，包括：
将所述第二配置信息更新为所述第一配置信息。
在一些实施例中，所述方法还包括：
计算所述第一配置信息的第一校验值，并计算所述第二配置信息的第二校验值；
若所述第一校验值与所述第二校验值不同，则确定所述第一配置信息与所述第二配置信息不同。
在一些实施例中，所述方法还包括：
对比所述第一配置信息与所述第二配置信息中的各个字段信息；
若所述第一配置信息与所述第二配置信息中的第一字段信息不同，则确定所述第一配置信息与所述第二配置信息不同。
在一些实施例中，所述方法还包括：
若登录所述设备侧失败，则生成报警事件，并输出所述报警事件。
在一些实施例中，所述登录所述设备侧的步骤，包括：
与所述设备侧建立第一连接；
通过所述第一连接，向所述设备侧发送登录请求，以登录所述设备侧。
在一些实施例中，在根据所述第一配置信息更新所述第二配置信息之后，所述方法还包括：
与所述设备侧建立第二连接；
通过所述第二连接，接收所述设备侧基于更新后的第二配置信息发送的数据信息。
第二方面，本公开实施例提供了一种采集系统，所述采集系统包括：
数据监测模块，被配置为监测设备侧基于被动数据采集协议上传的数据信息；
状态监测模块，被配置为若预设时长未接收到所述设备侧上传的数据信息，则登录所述设备侧；
信息对比模块，被配置为在成功登录所述设备侧后，获取所述设备侧的所述被动数据采集协议的第一配置信息；若所述第一配置信息与预先存储的所述设备侧的第二配置信息不同，则根据所述第一配置信息更新所述第二配置信息。
一些实施例中，所述信息对比模块，具体被配置为将所述第二配置信息中的第一字段信息更新为所述第一配置信息中的第一字段信息，所述第一配置信息与所述第二配置信息中的第一字段信息不同。
一些实施例中，所述信息对比模块，具体被配置为将所述第二配置信息更新为所述第一配置信息。
一些实施例中，所述信息对比模块，还被配置为计算所述第一配置信息的第一校验值，并计算所述第二配置信息的第二校验值；若所述第一校验值与所述第二校验值不同，则确定所述第一配置信息与所述第二配置信息不同。
一些实施例中，所述信息对比模块，还被配置为对比所述第一配置信息与所述第二配置信息中的各个字段信息；若所述第一配置信息与所述第二配置信息中的第一字段信息不同，则确定所述第一配置信息与所述第二配置信息不同。
一些实施例中，所述系统还包括：
管理接口，被配置为若登录所述设备侧失败，则生成报警事件，并输出所述报警事件。
一些实施例中，所述数据监测模块，具体被配置为与所述设备侧建立第一连接；通过所述第一连接，向所述设备侧发送登录请求，以登录所述设备侧。
一些实施例中，所述系统还包括：
数据采集模块，被配置为在根据所述第一配置信息更新所述第二配置信息之后，与所述设备侧建立第二连接；通过所述第二连接，接收所述设备侧基于更新后的第二配置信息发送的数据信息。
第三方面，本公开实施例还提供了一种采集系统，包括存储器和处理器，所述存储器上存储有计算机程序指令；所述处理器，被配置为执行存储在所述存储器上的指令，以执行上述任一所述的数据处理方法步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序指令，所述指令被处理器执行时实现上述任一所述的数据处理方法步骤。
第五方面，本公开实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据处理方法步骤。
当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本公开实施例提供的数据处理方法的第一种流程示意图；
图2为本公开实施例提供的数据处理方法的第二种流程示意图；
图3为本公开实施例提供的数据处理方法的第三种流程示意图；
图4为本公开实施例提供的数据处理方法的第四种流程示意图；
图5为本公开实施例提供的数据处理方法的第五种流程示意图；
图6为本公开实施例提供的数据处理方法的第六种流程示意图；
图7为本公开实施例提供的数据处理方法的第七种流程示意图；
图8为本公开实施例提供的数据处理方法的第八种流程示意图；
图9为本公开实施例提供的采集系统的第一种结构示意图；
图10为本公开实施例提供的采集系统的第二种结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员基于本公开所获得的所有其他实施例，都属于本公开保护的范围。
采集系统集中统一实现对5GC网元以及配套的数据通信设备的数据采集，并将采集的数据信息发送至数据共享平台，以供上层应用调用。数据信息可以包括对设备侧的流量、以及CPU(Central Processing Unit，中央处理器)、内存显卡、主板等配件的的运行状态等，运行状态可以包括电能信号信息和温度信号信息等。设备侧可以包括5GC网元以及数据通信设备等。
5GC网元和数据通信设备的数据采集协议包括主动数据采集协议和被动数据采集协议。主动数据采集协议包括SFTP(Secure Shell-File Transfer Protocol，安全文件传送协议)、FTPS(File Transfer Protocol-Secure Sockets Layer，文件传输协议-安全套接字协议)和RESTful(Representational State Transfer-ful，符合表现层状态转移的构架)等。主动数据采集协议是由采集系统主动发起的，设备侧响应采集系统的数据采集请求，设备侧的状态可以立即被采集系统感知。
被动数据采集协议包括SNMP(Simple Network Management Protocol，简单网络管理协议)等，被动数据采集协议是由设备侧主动发起的，采集系统负责接收设备侧发送的数据信息，设备的状态不可以被采集系统感知。
以SNMP为例，设备侧存储有SNMP的配置信息，该配置信息可以包括设备侧和采集系统之间的通信所采用的加密协议、认证协议、加密密码和认证密码，以及设备侧的用户名等多个字段信息。实际应用中，设备侧的SNMP配置信息很可能被修改，例如，设备侧升级SNMP时，设备侧的SNMP配置信息被修改。当SNMP配置信息中一个或多个字段信息被改动时，例如，SNMP的配置信息中的认证协议被改动，采集系统无法感知到设备的状态，即感知不到SNMP的配置信息中的认证协议被改动，这将导致采集系统与设备侧间的SNMP配置信息异常。
而由于采集系统与设备侧间的SNMP配置信息异常，即采集系统依旧采用为改动前的认证协议，对设备侧基于SNMP发送的数据信息进行解析，这将导致设备侧的数据信息无法被采集系统正确解析得到。这种情况下，采集系统认为未接收该设备侧基于SNMP发送的数据信息，设备侧的数据信息采集出现异常。
为解决上述问题，本公开实施例提供了一种数据处理方法，该方法应用于采集系统，该采集系统可以为一台独立的服务器，也可以为由多个服务器构成的设备集合，该设备集合中多个服务器具有相同的对外接口，即多个服务器使用同一对外接口与设备侧通信。
该数据处理方法中，采集系统监测设备侧基于被动数据采集协议上传的数据信息，也就是，对采集系统采集设备侧的数据信息的情况进行监测。当监测到预设时长未接收到设备侧上传的数据信息时，则说明设备侧的数据信息采集出现异常，采集系统登录设备侧，从设备侧获取当前的被动数据采集协议的配置信息(即第一配置信息)，比对从设备侧获取的第一配置信息和采集系统预先存储的设备侧的第二配置信息。当确定二者不同时，采集系统利用第一配置信息更新第二配置信息，这可以使得采集系统中存储的被动数据采集协议的配置信息与设备侧的被动数据采集协议的配置信息一致，进而解决了采集系统与设备侧间的被动数据采集协议的配置信息异常问题。
下面通过具体实施例，对本公开实施例提供的数据处理方法进行详细说明。为便于理解，下面均以被动数据采集协议为SNMP为例进行说明，并不起限定作用。
如图1所示，该数据处理方法应用于采集系统，包括如下步骤：
步骤S11，采集系统监测设备侧基于SNMP上传的数据信息。
设备侧可以周期性的采集自身的数据信息，并基于SNMP，对数据信息进行认证和加密处理，并将认证和加密处理后的数据信息发送至采集系统。采集系统可以周期性的监测设备侧基于SNMP上传的数据信息，检查基于SNMP采集设备侧数据信息的情况。
其中，设备侧基于SNMP上传的数据信息的周期时长简称为第一周期时长，采集系统监测设备侧基于SNMP上传的数据信息的周期时长简称为第二周期时长。第一周期时长可以为第二周期时长的整数倍，以便及时发现设备侧是否基于SNMP上传数据信息。例如，第一周期时长可以为3分钟，第二周期时长可以为1分钟，即第一周期时长为第二周期时长的3倍。
为了降低采集系统的负担，第一周期时长与第二周期时长相同。例如，第一周期时长可以为3分钟，第二周期时长可以为3分钟。
在一些实施例中，设备侧向采集系统上传数据信息前，设备侧可以与采集系统建立用于传输基于SNMP的数据信息的连接，后续，设备侧通过该连接，向采集系统上传基于SNMP的数据信息。
其中，用于传输基于SNMP的数据信息的连接可以为采用三次握手的方式所建立TCP(Transmission Control Protocol，传输控制协议)连接，也可以为VXLAN(VirtualExtensible Local Area Network，虚拟扩展局域网)隧道等。
步骤S12，若预设时长未接收到设备侧上传的数据信息，则采集系统登录设备侧。
预设时长可以为第一周期时长的整数倍，例如，预设时长可以为第一周期时长的1倍、2倍、3倍或4倍等。为了降低采集系统的负担，以及避免设备侧长时间脱离采集系统管控，预设时长可以为第一周期时长的3倍。例如，第一周期时长可以为3分钟，则预设时长可以为3*3＝9分钟。再例如，第一周期时长可以为5分钟，则预设时长可以为3*5＝15分钟。这种情况下，采集系统不会频繁登录设备侧，以检测设备侧的SNMP配置信息是否异常，降低了采集系统的负担；另外，3个第一周期时长是相对较短的时间段，并且3个第一周期时长未接收到设备侧上传的数据信息，采集系统可以认为很大概率设备侧的数据信息采集出现异常，这种情况下，采集系统登录设备侧，以检测设备侧的SNMP配置信息是否异常，并在SNMP配置信息异常的情况下，解决SNMP配置信息异常的问题，使得采集系统恢复对设备侧的数据信息采集，进而使得设备侧处于采集系统管控范围内，避免了设备侧长时间脱离采集系统管控，提高工作效率。
采集系统未接收到设备侧上传的数据信息的原因有多种，例如，设备侧本身宕机、故障，设备侧与采集系统之间的网络异常，SNMP配置信息被改动，即采集系统与设备侧间的SNMP配置信息异常等。若设备侧本身宕机、故障，设备侧与采集系统之间的网络异常，则采集系统完全不会接收到设备侧基于SNMP发送的任何信息；若采集系统与设备侧间的SNMP配置信息异常，则采集系统会接收到设备侧基于SNMP发送的信息，但无法正常解析得到设备侧的数据信息。
本公开实施例中，若采集系统预设时长未接收到设备侧上传的数据信息，则采集系统触发进行设备侧的状态检测，包括：根据设备侧的地址，登录设备侧。其中，设备侧的地址可以包括IP(Internet Protocol，网络协议)地址和MAC(Media Access Control，媒体访问控制)地址等。
在一些实施例中，设备侧可以向采集系统提供一个web界面，采集系统展示该web界面，用户向web界面输入密码、用户名等验证信息。采集系统将用户输入的验证信息携带在登录请求中，并将该登录请求发送给设备侧。设备侧对比登录请求中携带的验证信息与预先存储的验证信息；若二者一致，则设备侧向采集系统发送登录成功消息，采集系统成功登录设备侧；若二者不一致，如密码不同，用户名不同等，则设备侧向采集系统发送登录失败消息，采集系统可以认为设备侧异常，登录设备侧失败。
另外，若采集系统向设备侧发送登录请求后，指定时长内未接收到登录成功消息，则采集系统可以认为网络异常，登录设备侧失败。
在一些实施例中，若采集系统预设时长未接收到设备侧上传的数据信息，采集系统可以根据设备侧的地址，与设备侧建立第一连接；通过第一连接，向设备侧发送登录请求，以登录设备侧。其中，第一连接可以为采用三次握手的方式所建立TCP连接，也可以为VXLAN隧道等。
采集系统预设时长未接收到设备侧上传的数据信息，可能是由设备侧与采集系统之间基于SNMP采集数据信息的连接故障所导致的；而若设备侧与采集系统之间基于SNMP采集数据信息的连接故障，采集系统通过该连接是无法登陆设备侧的，这将导致无法准确确定采集系统与设备侧间的被动数据采集协议的配置信息是否异常。本公开实施例中，在采集系统预设时长未接收到设备侧上传的数据信息的情况下，采集系统重新与设备侧建立连接，通过重新建立的连接登录设备侧，可以有效规避上述问题，准确确定采集系统与设备侧间的被动数据采集协议的配置信息是否异常。
步骤S13，在成功登录设备侧后，采集系统获取设备侧的SNMP的第一配置信息。
本公开实施例中，设备侧的SNMP的配置信息称为第一配置信息。采集系统在成功登录设备侧后，说明设备侧和网络均正常，获取当前设备侧的SNMP配置信息，也就是第一配置信息。
例如，采集系统向设备侧发送配置获取请求；设备侧接收到配置获取请求，获取当前设备侧中存储的SNMP配置信息，并将该SNMP配置信息携带在配置获取响应中，将该配置获取响应反馈给采集系统。
步骤S14，若第一配置信息与预先存储的设备侧的第二配置信息不同，则采集系统根据第一配置信息更新第二配置信息。
采集系统中预先存储有设备侧的SNMP配置信息，即第二配置信息。在获取到第一配置信息后，采集系统对比第一配置信息与预先存储的设备侧的第二配置信息。若对比结果为第一配置信息与第二配置信息不同，则说明SNMP配置信息出现了增加、减少或变更，采集系统与设备侧间的被动数据采集协议的配置信息异常，根据第一配置信息更新第二配置信息。
在一些实施例中，若第一配置信息与第二配置信息相同，则可以说明采集系统与设备侧间的被动数据采集协议的配置信息正常，采集系统可以清空统计的连续未接收到所述设备侧上传的数据信息的时长，重新执行步骤S11，继续等待设备侧基于SNMP上传的数据信息。
在一些实施例中，若第一配置信息与第二配置信息相同，则采集系统可以清空统计的连续未接收到所述设备侧上传的数据信息的时长，并更新预设时长，更新后的预设时长比更新前的预设时长增加预设变量；之后，重新执行步骤S11，继续等待设备侧基于SNMP上传的数据信息。
例如，预设时长为15分钟，预设变量为5分钟，当前为1:00，若监测到连续15分钟未接收到设备侧上传的数据信息，采集系统登录设备侧，并获取第一配置信息，若获取的第一配置信息与第二配置信息相同，则清空统计的连续未接收到所述设备侧上传的数据信息的时长，并更新预设时长为15+5＝20分钟，重新执行步骤S11，当时间到达1:20时，若还未接收到设备侧上传的数据信息，此时，已连续20分钟未接收到设备侧上传的数据信息，则采集系统重新登录设备侧。
通过该实施例中，采集系统实时调整预设时长，可以有效避免采集系统频繁登录设备侧，降低对设备侧的业务处理的影响，降低采集系统的负担。
本公开实施例提供的技术方案中，采集系统监测设备侧基于被动数据采集协议上传的数据信息，也就是，对采集系统采集设备侧的数据信息的情况进行监测。当监测到预设时长未接收到设备侧上传的数据信息时，则说明设备侧的数据信息采集出现异常，采集系统登录设备侧，从设备侧获取当前的被动数据采集协议的配置信息(即第一配置信息)，比对从设备侧获取的第一配置信息和采集系统预先存储的设备侧的第二配置信息。当确定二者不同时，采集系统利用第一配置信息更新第二配置信息，这可以使得采集系统中存储的被动数据采集协议的配置信息与设备侧的被动数据采集协议的配置信息一致，进而解决了采集系统与设备侧间的被动数据采集协议的配置信息异常问题。
通过上述实施例，采集系统可以快速定位出设备侧的数据信息采集异常是由采集系统与设备侧间的被动数据采集协议的配置信息异常导致的，并解决了采集系统与设备侧间的被动数据采集协议的配置信息异常问题，这样，就可以恢复采集系统对设备侧的数据信息采集，无法人工进行排查，提高了工作效率。
在一些实施例中，还提供了一种数据处理方法，如图2所示，该方法可以包括步骤S21-步骤S24，步骤S21-步骤S23与上述步骤S11-步骤S13相同，此处不再赘述。
步骤S24，若第一配置信息与预先存储的设备侧的第二配置信息不同，则采集系统将第二配置信息中的第一字段信息更新为第一配置信息中的第一字段信息，第一配置信息与第二配置信息中的第一字段信息不同。
第一配置信息和第二配置信息中包括多个字段信息，如加密协议、认证协议、加密密码、认证密码、以及用户名等。
采集系统对比第一配置信息与第二配置信息，可以确定二者不同的字段信息，即第一字段信息，例如，第一配置信息中的加密协议与第二配置信息中的加密协议不同，则第一字段信息为加密协议。采集信息确定第一字段信息后，将第二配置信息中的第一字段信息更新为第一配置信息中的第一字段信息，也就是，使用第一配置信息中的第一字段信息覆盖第二配置信息中的第一字段信息。
本公开实施例提供的技术方案中，采集系统对比第一配置信息与第二配置信息，确定二者不同的第一字段信息，仅更新了第二配置信息中的第一字段信息，也就是，只需要在第二配置信息中的第一字段信息的存储位置处重新写入第一配置信息中的第一字段信息，无需对第一字段信息的存储位置外的区域进行操作，降低了对第一字段信息的存储位置外的区域的写入次数，提高了存储介质的使用寿命。
在一些实施例中，还提供了一种数据处理方法，如图3所示，该方法可以包括步骤S31-步骤S34，步骤S31-步骤S33与上述步骤S11-步骤S13相同，此处不再赘述。
步骤S34，若第一配置信息与预先存储的设备侧的第二配置信息不同，则采集系统将第二配置信息更新为第一配置信息。
本公开实施例中，若确定第一配置信息与第二配置信息不同，则采集系统直接使用第一配置信息覆盖第二配置信息，相对于对比第一配置信息与第二配置信息，确定二者不同的第一字段信息，仅更新第一字段信息，可以有效提高配置信息更新效率。
在一些实施例中，还提供了一种数据处理方法，如图4所示，该方法可以包括步骤S41-步骤S45，步骤S41-步骤S43与上述步骤S11-步骤S13相同，此处不再赘述。
步骤S44，采集系统计算第一配置信息的第一校验值，并计算第二配置信息的第二校验值。
步骤S45，若第一校验值与第二校验值不同，则采集系统根据第一配置信息更新第二配置信息。
本公开实施例中，采集系统计算第一校验值和第二校验值的算法可以包括但不限于MD5(Message Digest Algorithm 5，消息摘要算法第五版)、hash(哈希)算法和CRC(Cyclic Redundancy Check，循环冗余校验)算法等，对此不进行限定，只要保证计算第一校验值和第二校验值的算法相同即可。
例如，采集系统利用hash算法计算第一配置信息的第一校验值，并利用hash算法计算第二配置信息的第二校验值。
在计算出第一配置信息的第一校验值，以及第二配置信息的第二校验值之后，采集系统对比第一校验值与第二校验值，若对比结果为第一校验值与第二校验值不同，则可以确定第一配置信息与第二配置信息不同，采集系统根据第一配置信息更新第二配置信息。
本公开实施例提供的技术方案中，采集系统可以不需要一一对比第一配置信息与第二配置信息中的每个字段信息，可以快速的确定第一配置信息与第二配置信息是否相同。
在一些实施例中，还提供了一种数据处理方法，如图5所示，该方法可以包括步骤S51-步骤S55，步骤S51-步骤S53与上述步骤S11-步骤S13相同，此处不再赘述。
步骤S54，采集系统对比第一配置信息与第二配置信息中的各个字段信息。
步骤S55，若第一配置信息与第二配置信息中的第一字段信息不同，则采集系统根据第一配置信息更新第二配置信息。
本公开实施例中，采集系统一一对比第一配置信息与第二配置信息中各个字段信息。若第一配置信息与第二配置信息中的字段信息(如第一字段信息)不同，则可以确定第一配置信息与第二配置信息不同，进而采集系统根据第一配置信息更新第二配置信息。
本公开实施例提供的技术方案中，采集系统通过一一对比第一配置信息与第二配置信息中各个字段信息，确定第一配置信息与第二配置信息是否相同。基于此，采集系统可以精准的确定第一配置信息与第二配置信息哪些字段信息不同。
基于一一对比第一配置信息与第二配置信息中各个字段信息，确定第一配置信息与第二配置信息不同时，采集系统可以直接利用上述的对比结果，更新第二配置信息中的第一字段信息，提高在确定第一配置信息与第二配置信息不同时配置信息更新的效率。
在一些实施例中，还提供了一种数据处理方法，如图6所示，该方法可以包括步骤S61-步骤S65，步骤S61-步骤S64与上述步骤S11-步骤S14相同，此处不再赘述。
步骤S65，若登录设备侧失败，则采集系统生成报警事件，并输出报警事件。
本公开实施例中，若采集系统登录设备侧失败，采集系统可以生成报警事件，并输出报警事件。报警事件可以包括指示登录设备侧失败的信息，例如，报警事件可以包括“登录失败，原因：设备异常或网络异常”等。
在一些实施例中，采集系统可以向指定终端发送报警事件。该指定终端可以为负责维护设备侧的运维人员的终端。
在一些实施例中，采集系统也可以在本身的web界面上显示报警事件，以便于由采集系统侧的用户通知负责维护设备侧的运维人员。
本公开实施例提供的技术方案中，在登录设备侧失败的情况下，采集系统输出报警事件，以使维护人员及时对设备侧进行维修，快速恢复对设备侧的数据信息采集，确保了设备侧不会脱管。
在一些实施例中，还提供了一种数据处理方法，如图7所示，该方法可以包括步骤S71-步骤S76，步骤S71-步骤S74与上述步骤S11-步骤S14相同，此处不再赘述。
步骤S75，采集系统与设备侧建立第二连接。
本公开实施例中，在更新了第二配置信息后，采集系统可以重新与设备侧建立用于传输基于SNMP的数据信息的传输基于SNMP的数据信息的连接，即第二连接。
步骤S76，通过第二连接，采集系统接收设备侧基于更新后的第二配置信息发送的数据信息。
采集系统预设时长未接收到设备侧上传的数据信息，可能是由设备侧与采集系统之间基于SNMP采集数据信息的原连接故障所导致的。本公开实施例中，采集系统重新与设备侧建立第二连接，并通过第二连接，接收设备侧基于更新后的第二配置信息发送的数据信息，可以有效规避上述问题，保证后续数据信息的采集。
下面结合图8所示的数据处理方法流程，对本公开实施例提供的数据处理方法进行详细说明。
步骤S81，设备侧基于SNMP向采集系统发送数据信息。步骤S81的实现方式可参见步骤S11部分的相关描述。
步骤S82，采集系统对采集的数据信息进行监测，即对设备侧基于SNMP上传的数据信息进行监测。步骤S82的实现方式可参见步骤S11部分的相关描述。
步骤S83，采集系统检测数据信息采集是否正常。若采集正常，则结束本次数据处理进程；若采集异常，则执行步骤S84。
本公开实施例中，若采集系统预设时长未接收到设备侧上传的数据信息，则认为数据信息采集正常，结束本次数据处理进程；否则，认为数据信息采集异常，执行步骤S84。
步骤S84，采集系统自动登录检测，即采集系统尝试登陆设备侧，以检测设备侧的状态。若登陆设备侧失败，则执行步骤S85；若成功登陆设备侧，则执行步骤S86。
上述步骤S83-S84的实现方式可参见步骤S12部分的相关描述。
步骤S85，采集系统执行事件通知，即生成报警事件，并输出报警事件。步骤S85的实现方式可参见步骤S65部分的相关描述。
步骤S86，采集系统获取最新配置信息，即获取当前设备侧存储的SNMP配置信息。步骤S86的实现方式可参见步骤S13部分的相关描述。
本公开实施例中，采集系统可以基于SSH(Secure Shell，安全壳协议)登录设备侧，并查询SNMP配置信息，以提高数据传输的安全性。
步骤S87，采集系统对比配置信息，即将步骤S86获取的最新配置信息与采集系统中存储的配置信息进行比对。若对比结果为二者不一致，则执行步骤S88。步骤S87的实现方式可参见图4和图5部分的相关描述。
步骤S88，采集系统更新采集系统的配置信息，即将步骤S86获取的最新配置信息覆盖采集系统中存储的配置信息。步骤S88的实现方式可参见步骤S14、图2和图3部分的相关描述。
与上述数据处理方法对应，本公开实施例提供了一种采集系统，如图9所示，该系统包括：
数据监测模块91，被配置为监测设备侧基于被动数据采集协议上传的数据信息；
状态监测模块92，被配置为若预设时长未接收到设备侧上传的数据信息，则登录设备侧；
信息对比模块93，被配置为在成功登录设备侧后，获取设备侧的被动数据采集协议的第一配置信息；若第一配置信息与预先存储的设备侧的第二配置信息不同，则根据第一配置信息更新第二配置信息。
在一些实施例中，信息对比模块93，具体可以被配置为将第二配置信息中的第一字段信息更新为第一配置信息中的第一字段信息，第一配置信息与第二配置信息中的第一字段信息不同。
在一些实施例中，信息对比模块93，具体可以被配置为将第二配置信息更新为第一配置信息。
在一些实施例中，信息对比模块93，还可以被配置为计算第一配置信息的第一校验值，并计算第二配置信息的第二校验值；若第一校验值与第二校验值不同，则确定第一配置信息与第二配置信息不同。
在一些实施例中，信息对比模块93，还可以被配置为对比第一配置信息与第二配置信息中的各个字段信息；若第一配置信息与第二配置信息中的第一字段信息不同，则确定第一配置信息与第二配置信息不同。
在一些实施例中，上述采集系统还可以包括：
管理接口，被配置为若登录设备侧失败，则生成报警事件，并输出报警事件。
在一些实施例中，数据监测模块91，具体可以被配置为与设备侧建立第一连接；通过第一连接，向设备侧发送登录请求，以登录设备侧。
在一些实施例中，上述采集系统还可以包括：
数据采集模块，被配置为在根据第一配置信息更新第二配置信息之后，与设备侧建立第二连接；通过第二连接，接收设备侧基于更新后的第二配置信息发送的数据信息。
本公开实施例提供的技术方案中，采集系统监测设备侧基于被动数据采集协议上传的数据信息，也就是，对采集系统采集设备侧的数据信息的情况进行监测。当监测到预设时长未接收到设备侧上传的数据信息时，则说明设备侧的数据信息采集出现异常，采集系统登录设备侧，从设备侧获取当前的被动数据采集协议的配置信息(即第一配置信息)，比对从设备侧获取的第一配置信息和采集系统预先存储的设备侧的第二配置信息。当确定二者不同时，采集系统利用第一配置信息更新第二配置信息，这可以使得采集系统中存储的被动数据采集协议的配置信息与设备侧的被动数据采集协议的配置信息一致，进而解决了采集系统与设备侧间的被动数据采集协议的配置信息异常问题。
通过上述实施例，采集系统可以快速定位出设备侧的数据信息采集异常是由采集系统与设备侧间的被动数据采集协议的配置信息异常导致的，并解决了采集系统与设备侧间的被动数据采集协议的配置信息异常问题，这样，就可以恢复采集系统对设备侧的数据信息采集，无法人工进行排查，提高了工作效率。
与上述数据处理方法对应，本公开实施例还提供了一种采集系统，如图10所示，包括处理器101和存储器102，存储器102存储有能够被处理器101执行的计算机程序指令，处理器101被计算机程序指令促使：实现上述任一数据处理方法步骤。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本公开提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一数据处理方法的步骤。
在本公开提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于采集系统、存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本公开的较佳实施例，并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本公开的保护范围内。
Claims (18)
1.一种数据处理方法，其特征在于，应用于采集系统，所述方法包括：
监测设备侧基于被动数据采集协议上传的数据信息；
若预设时长未接收到所述设备侧上传的数据信息，则登录所述设备侧；
在成功登录所述设备侧后，获取所述设备侧的所述被动数据采集协议的第一配置信息；
若所述第一配置信息与预先存储的所述设备侧的第二配置信息不同，则根据所述第一配置信息更新所述第二配置信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一配置信息更新所述第二配置信息的步骤，包括：
将所述第二配置信息中的第一字段信息更新为所述第一配置信息中的第一字段信息，所述第一配置信息与所述第二配置信息中的第一字段信息不同。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一配置信息更新所述第二配置信息的步骤，包括：
将所述第二配置信息更新为所述第一配置信息。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
计算所述第一配置信息的第一校验值，并计算所述第二配置信息的第二校验值；
若所述第一校验值与所述第二校验值不同，则确定所述第一配置信息与所述第二配置信息不同。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
对比所述第一配置信息与所述第二配置信息中的各个字段信息；
若所述第一配置信息与所述第二配置信息中的第一字段信息不同，则确定所述第一配置信息与所述第二配置信息不同。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若登录所述设备侧失败，则生成报警事件，并输出所述报警事件。
7.根据权利要求1-3和6任一项所述的方法，其特征在于，所述登录所述设备侧的步骤，包括：
与所述设备侧建立第一连接；
通过所述第一连接，向所述设备侧发送登录请求，以登录所述设备侧。
8.根据权利要求1-3和6任一项所述的方法，其特征在于，在根据所述第一配置信息更新所述第二配置信息之后，所述方法还包括：
与所述设备侧建立第二连接；
通过所述第二连接，接收所述设备侧基于更新后的第二配置信息发送的数据信息。
9.一种采集系统，其特征在于，包括：
数据监测模块，被配置为监测设备侧基于被动数据采集协议上传的数据信息；
状态监测模块，被配置为若预设时长未接收到所述设备侧上传的数据信息，则登录所述设备侧；
信息对比模块，被配置为在成功登录所述设备侧后，获取所述设备侧的所述被动数据采集协议的第一配置信息；若所述第一配置信息与预先存储的所述设备侧的第二配置信息不同，则根据所述第一配置信息更新所述第二配置信息。
10.根据权利要求9所述的系统，其特征在于，所述信息对比模块，具体被配置为将所述第二配置信息中的第一字段信息更新为所述第一配置信息中的第一字段信息，所述第一配置信息与所述第二配置信息中的第一字段信息不同。
11.根据权利要求9所述的系统，其特征在于，所述信息对比模块，具体被配置为将所述第二配置信息更新为所述第一配置信息。
12.根据权利要求9-11任一项所述的系统，其特征在于，所述信息对比模块，还被配置为计算所述第一配置信息的第一校验值，并计算所述第二配置信息的第二校验值；若所述第一校验值与所述第二校验值不同，则确定所述第一配置信息与所述第二配置信息不同。
13.根据权利要求9-11任一项所述的系统，其特征在于，所述信息对比模块，还被配置为对比所述第一配置信息与所述第二配置信息中的各个字段信息；若所述第一配置信息与所述第二配置信息中的第一字段信息不同，则确定所述第一配置信息与所述第二配置信息不同。
14.根据权利要求9所述的系统，其特征在于，所述系统还包括：
管理接口，被配置为若登录所述设备侧失败，则生成报警事件，并输出所述报警事件。
15.根据权利要求9-11和14任一项所述的系统，其特征在于，所述数据监测模块，具体被配置为与所述设备侧建立第一连接；通过所述第一连接，向所述设备侧发送登录请求，以登录所述设备侧。
16.根据权利要求9-11和14任一项所述的系统，其特征在于，所述系统还包括：
数据采集模块，被配置为在根据所述第一配置信息更新所述第二配置信息之后，与所述设备侧建立第二连接；通过所述第二连接，接收所述设备侧基于更新后的第二配置信息发送的数据信息。
17.一种采集系统，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序指令；所述处理器，被配置为执行存储在所述存储器上的指令，以执行根据权利要求1-8中的任一项所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序指令，所述指令被处理器执行时实现权利要求1-8任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210431652.5A CN114785683A (zh) | 2022-04-22 | 2022-04-22 | 一种数据处理方法、采集系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210431652.5A CN114785683A (zh) | 2022-04-22 | 2022-04-22 | 一种数据处理方法、采集系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114785683A true CN114785683A (zh) | 2022-07-22 |
Family
ID=82432226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210431652.5A Withdrawn CN114785683A (zh) | 2022-04-22 | 2022-04-22 | 一种数据处理方法、采集系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114785683A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540700A (zh) * | 2009-04-10 | 2009-09-23 | 成都市华为赛门铁克科技有限公司 | 配置联动方法、系统、终端和网络设备管理服务器 |
| CN104506393A (zh) * | 2015-01-06 | 2015-04-08 | 北京海量数据技术股份有限公司 | 一种基于云平台的系统监控方法 |
| CN106502856A (zh) * | 2015-09-07 | 2017-03-15 | 中国移动通信集团公司 | 一种信息处理方法及装置 |
| CN111061498A (zh) * | 2019-12-25 | 2020-04-24 | 上海众源网络有限公司 | 一种配置信息管理系统 |
| CN111273573A (zh) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 一种环境数据监测方法及装置 |
| CN111708557A (zh) * | 2020-05-26 | 2020-09-25 | 北京金山云网络技术有限公司 | 更新配置文件的方法、设备及存储介质 |
-
2022
- 2022-04-22 CN CN202210431652.5A patent/CN114785683A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540700A (zh) * | 2009-04-10 | 2009-09-23 | 成都市华为赛门铁克科技有限公司 | 配置联动方法、系统、终端和网络设备管理服务器 |
| CN104506393A (zh) * | 2015-01-06 | 2015-04-08 | 北京海量数据技术股份有限公司 | 一种基于云平台的系统监控方法 |
| CN106502856A (zh) * | 2015-09-07 | 2017-03-15 | 中国移动通信集团公司 | 一种信息处理方法及装置 |
| CN111273573A (zh) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 一种环境数据监测方法及装置 |
| CN111061498A (zh) * | 2019-12-25 | 2020-04-24 | 上海众源网络有限公司 | 一种配置信息管理系统 |
| CN111708557A (zh) * | 2020-05-26 | 2020-09-25 | 北京金山云网络技术有限公司 | 更新配置文件的方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 朱振军;: "智能网络运维监控系统", 电脑知识与技术 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10057298B2 (en) | Configurable investigative tool | |
| US10701096B1 (en) | Systems and methods for anomaly detection on core banking systems | |
| US20120209983A1 (en) | Configurable forensic investigative tool | |
| US8973113B1 (en) | Systems and methods for automatically resetting a password | |
| CN108134713B (zh) | 一种通信方法及装置 | |
| CN111158975A (zh) | 一种监控bmc的方法、设备以及存储介质 | |
| JP7391313B2 (ja) | 人工知能マシンラーニング行為ベースウェブプロトコル分析によるウェブ攻撃検知および遮断システムおよび方法 | |
| CN115001967B (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
| CN107592199B (zh) | 一种数据同步的方法和系统 | |
| CN116089205A (zh) | 一种自动化运维管理方法、装置、服务器和存储介质 | |
| CN112528296B (zh) | 漏洞检测方法、装置和存储介质及电子设备 | |
| CN114785683A (zh) | 一种数据处理方法、采集系统及存储介质 | |
| WO2016101474A1 (zh) | 配置数据的监控方法、装置及其系统 | |
| CN114189515B (zh) | 基于sgx的服务器集群日志获取方法和装置 | |
| WO2019239191A1 (en) | Methods, wireless modules, electronic devices and server devices | |
| CN113268278A (zh) | 配置校验同步方法、装置、电子装置和存储介质 | |
| CN117156474B (zh) | 远程智能运维系统及其运维方法 | |
| CN114301774B (zh) | 设备配置方法、系统、装置、电子设备及存储介质 | |
| TWI827207B (zh) | 雲端伺服器及其操作方法 | |
| CN117527575B (zh) | 基于ota的客户前置设备升级方法及客户前置设备 | |
| CN114584328B (zh) | Api接口的访问方法、计算机设备及计算机存储介质 | |
| US20230009270A1 (en) | OPC UA-Based Anomaly Detection and Recovery System and Method | |
| CN115695529B (zh) | 智能化远程运维方法、装置、计算机设备及存储介质 | |
| CN107566473A (zh) | 一种电力二次系统设备核查方法 | |
| CN107749878B (zh) | 一种同步文件的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220722 |