CN117762728A - 数据采集方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种数据采集方法、装置及电子设备，如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；根据目标配置协议和资源信息，生成采集指令；根据采集指令采集目标资源的目标数据。该方式由发生异常的目标监控对象主动上报异常数据，从而可以更快速的进行异常定位，并且只需要针对性采集发生异常的目标资源的目标数据，不需要批量采集海量数据，从而可以降低网络负载和对计算资源的消耗。

Description

数据采集方法、装置及电子设备

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据采集方法、装置及电子设备。

背景技术

随着各行业信息化建设的不断深入发展，服务器集群大量应用于中、小型企业中，服务器性能监控和日常维护变得复杂。运维管理一般都是通过监控管理系统，来实时了解服务器的运行状态，检测服务器故障，并维护服务器的正常运行。在现有的监控系统中常见的轮循采集、主动上报两种方式进行数据采集。但随着集群规模的增大，需要监控的对象信息也随之增大，网络环境更加复杂，监控所处理的数据也会越来越大，越来越多。所收集到的海量数据，大多是普通运行情况的数据，难以快速进行异常定位，且网络负载过大，对计算资源的消耗也较大。

发明内容

本发明的目的在于提供一种数据采集方法、装置及电子设备，以快速进行异常定位，降低网络负载和对计算资源的消耗。

本发明提供的一种数据采集方法，方法包括：如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；根据目标配置协议和资源信息，生成采集指令；根据采集指令采集目标资源的目标数据。

进一步的，如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果的步骤包括：如果接收到目标监控对象上报的异常数据，分析异常数据，得到异常分类结果；其中，异常分类结果包括：硬件异常、软件异常或峰值异常；根据异常分类结果和异常数据，对目标监控对象中发生异常的目标资源进行定位，得到分析结果。

进一步的，目标资源属于硬件、软件或中间件。

进一步的，协议配置信息中包括：多个监控对象的对象信息，以及每个监控对象中每种资源分别对应的采集指标和配置协议。

进一步的，根据采集指令采集目标资源的目标数据的步骤包括：根据采集指令采集目标资源的日志数据；根据目标资源对应的目标采集指标，从日志数据中提取目标采集指标对应的目标数据。

进一步的，针对目标监控对象中的每种资源，该资源配置有异常事件的触发条件，当资源满足触发条件时，确定资源发生异常。

本发明提供的一种数据采集装置，装置包括：分析模块，用于如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；查找模块，用于根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；生成模块，用于根据目标配置协议和资源信息，生成采集指令；采集模块，用于根据采集指令采集目标资源的目标数据。

进一步的，分析模块还用于：如果接收到目标监控对象上报的异常数据，分析异常数据，得到异常分类结果；其中，异常分类结果包括：硬件异常、软件异常或峰值异常；根据异常分类结果和异常数据，对目标监控对象中发生异常的目标资源进行定位，得到分析结果。

本发明提供的一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述任一项的数据采集方法。

本发明提供的一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述任一项的数据采集方法。

本发明提供的数据采集方法、装置及电子设备，如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；根据目标配置协议和资源信息，生成采集指令；根据采集指令采集目标资源的目标数据。该方式由发生异常的目标监控对象主动上报异常数据，从而可以更快速的进行异常定位，并且只需要针对性采集发生异常的目标资源的目标数据，不需要批量采集海量数据，从而可以降低网络负载和对计算资源的消耗。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据采集方法的流程图；

图2为本发明实施例提供的另一种数据采集方法的流程图；

图3为本发明实施例提供的一种智能分析的流程图；

图4为本发明实施例提供的一种异常发现的流程图；

图5为本发明实施例提供的一种多协议配置示意图；

图6为本发明实施例提供的一种数据采集装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中的数据采集方式，难以快速进行异常定位，且网络负载过大，对计算资源的消耗也较大，基于此，本发明实施例提供了一种数据采集方法、装置及电子设备，该技术可以应用于需要对发生异常的被监控对象进行相关数据采集的应用中。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据采集方法进行介绍，如图1所示，该方法包括如下步骤：

步骤S102，如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；

上述目标监控对象可以是服务器等需要被监控运行状态的设备；上述资源可以包括目标监控对象中包括的硬件资源、软件资源等，目标资源可能是硬件资源中的资源或软件资源中的资源等，比如，目标资源为主机硬件CPU、硬盘等；上述资源信息可以包括目标资源的名称、型号等信息；在实际实现时，当目标监控对象出现异常时，可以主动上报异常数据，当接收到目标监控对象发送的异常数据后，可以对该异常数据进行智能分析，得到分析结果，该分析结果中通常携带有目标监控对象中实际发生异常的目标资源的资源信息，比如，目标监控对象中的硬盘发生异常，则该分析结果中可以包括硬盘的型号等信息。

步骤S104，根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；

上述协议配置信息中包括预先为目标监控对象的所有硬件资源和软件资源所建立的相应的采集指标和配置协议；在实际实现时，当得到上述分析结果后，可以根据分析结果中携带的目标资源的资源信息，从协议配置信息中查找该目标资源对应的目标配置协议，比如，服务器主机硬件采集指标有CPU信息、内存信息、硬盘信息、网卡信息和流量等，配置使用IPMI(Intelligent Platform Management Interface，智能平台管理接口)、SNMP(Simple Network Management Protocol，简单网络管理协议)或Redfish协议进行采集。

步骤S106，根据目标配置协议和资源信息，生成采集指令；

在查找到目标资源对应的目标配置协议后，可以根据该目标配置协议和发生异常的目标资源的资源信息，智能生成采集指令。

步骤S108，根据采集指令采集目标资源的目标数据。

上述目标数据可以理解为是与目标资源发生异常相关联的数据，该目标数据可以是该目标资源的日志中的至少一部分数据；在实际实现时，在生成采集指令后，即可根据该采集指令采集目标资源的目标数据，比如，主机硬件CPU、内存、硬盘、网卡等异常，则可以生成IPMI、SNMP或Redfish采集指令，根据该采集指令采集主机BMC(Baseboard ManagementController，基板管理控制器)事件日志。

上述数据采集方法，如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；根据目标配置协议和资源信息，生成采集指令；根据采集指令采集目标资源的目标数据。该方式由发生异常的目标监控对象主动上报异常数据，从而可以更快速的进行异常定位，并且只需要针对性采集发生异常的目标资源的目标数据，不需要批量采集海量数据，从而可以降低网络负载和对计算资源的消耗。

本发明实施例还提供了另一种数据采集方法，该方法在上述实施例方法的基础上实现，如图2所示，该方法包括如下步骤：

步骤S202，如果接收到目标监控对象上报的异常数据，分析异常数据，得到异常分类结果；其中，异常分类结果包括：硬件异常、软件异常或峰值异常；

在实际实现时，当接收到目标监控对象上报的异常数据后，可以对该异常数据进行初步解析，进一步确认该异常数据是否真实存在，如果真实存在，可以对该异常数据进行分类、智能分析，确认该异常数据的异常分类结果是硬件异常、软件异常还是峰值异常。

步骤S204，根据异常分类结果和异常数据，对目标监控对象中发生异常的目标资源进行定位，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；

在确定异常分类结果后，可以结合异常数据，定位出发生异常的目标资源；比如，如图3所示的一种智能分析的流程图，如果异常分类结果为硬件异常，则可以定位到对应的硬件设备；如果异常分类结果为软件异常，则可以定位到软件或中间件；如果异常分类结果为峰值异常，则可以获取占用过高进程，定位到对应的软件或中间件。

目标资源属于硬件、软件或中间件。即目标监控对象中，发生异常的目标资源可能属于硬件、软件或中间件，其中，中间件是介于应用系统和系统软件之间的一类软件，它使用系统软件所提供的基础服务(功能)，衔接网络上应用系统的各个部分或不同的应用，能够达到资源共享、功能共享的目的。比如，如果目标资源为硬盘、网卡，则属于硬件；如果目标资源为主机系统，则属于软件等。

针对目标监控对象中的每种资源，该资源配置有异常事件的触发条件，当资源满足触发条件时，确定资源发生异常。本实施例中，异常发现是基于SNMP Trap动态捕捉目标监控对象的状态信息、峰值信息，来发现异常。SNMP协议是用来管理设备的协议，目前SNMP已成为网络管理领域中事实上的工业标准，并被广泛支持和应用，大多数网络管理系统和平台都是基于SNMP的。SNMP Trap就是被管理设备主动发送消息给NMS的一种机制。SNMPTrap不同于SNMP的主动采集，它是以事件为驱动，在目标监控对象设置陷阱，一旦目标监控对象出现相关问题，立刻发送SNMP Trap，因此能够在最短的时间内发现故障。

参见图4所示的一种异常发现的流程图，当目标监控对象出现异常时，自动Trap发送信息，将异常的Trap信息(对应上述异常数据)发送给SNMP receiver，SNMP receiver对接收到的Trap信息进行分类解析，并将分类解析后的Trap信息发送至数据处理服务。

步骤S206，根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；

协议配置信息中包括：多个监控对象的对象信息，以及每个监控对象中每种资源分别对应的采集指标和配置协议。

上述多个监控对象可以是服务器集群中的多个服务器等，当然也可以是其他多个需要被监控运行状态的设备；上述对象信息可以包括监控对象的名称、型号、编号等信息；每个监控对象中通常包括多种资源，如包括多种硬件资源、软件资源等，可以在协议配置信息中预先配置好每个监控对象的所有硬件资源和软件资源分别对应的采集指标和配置协议；如：服务器主机硬件采集指标有CPU信息、内存信息、硬盘信息、网卡信息和流量等，配置使用IPMI、SNMP或Redfish协议进行采集。主机系统采集指标有系统运行时间、操作系统版本、进程信息和端口信息等，则配置使用SSH(Secure Shell，安全外壳)协议进行采集。对数据库采集指标有数据库运行时长、数据库表空间信息、数据库用户信息和吞吐量等，则使用JDBC(Java DataBase Connectivity，Java数据库连接)采集协议进行数据采集。可配置多网络协议的采集插件，将IPMI、Redfish、HTTP、JMX(Java Management Extensions，Java管理扩展)、SSH、SNMP、JDBC、ICMP(Intemet Control Message Protocol，因特网控制报文协议)等协议规范可配置化，如图5所示的一种多协议配置示意图，只需在配置监控模版中，就能使用这些协议去自定义采集想要的指标数据。

如果从预设的协议配置信息中未查找目标资源对应的目标配置协议，结束该数据采集过程。

步骤S208，根据目标配置协议和资源信息，生成采集指令；

步骤S210，根据采集指令采集目标资源的日志数据；

上述日志数据通常是系统或应用程序运行过程中产生的记录，用于追踪和理解系统的行为。日志可能包括时间戳、事件类型、源、目标、状态代码、消息内容等信息。日志对于故障排查、系统优化、安全审计等任务至关重要。在实际实现时，当生成采集指令后，可以根据该采集指令采集目标资源对应的日志数据，如：主机硬件CPU、内存、硬盘、网卡等异常，则生成IPMI、SNMP或Redfish采集指令，采集主机BMC事件日志。主机系统CPU、内存使用率峰值过高等，则生成SSH采集指令，调用采集占用过高的进程，并采集其日志信息。数据库表空间异常、吞吐量过高等，则生成JDBC采集指令，采集数据库日志信息。

步骤S212，根据目标资源对应的目标采集指标，从日志数据中提取目标采集指标对应的目标数据。

在实际实现时，所采集的目标资源的日志数据中通常记录有该目标资源的所有运行记录，可以根据协议配置信息中，该目标资源对应的目标采集指标，从所采集的日志数据中提取出该目标采集指标所对应的目标数据，该目标数据通常是与目标资源发生异常相关联的数据。可以对采集到的目标数据进行后续处理，如解析处理、入库保存处理、告警通知处理等，后续处理的过程具体可以参考相关技术，在此不再赘述。

上述数据采集方法，异常发现与采集过程分离，更快速的异常定位，使运维更快响应、更便捷。通过异常原因分析，将现有技术中的主动批量型采集变为针对性、智能化的采集，可以解决网络负载过大、采集数据的冗余及计算资源的消耗过大的问题。该方式还支持多协议的配置扩展，支持硬件环境、软件环境的数据采集，可以满足大规模集群场景下的采集和监控需求。

本发明实施例提供了一种数据采集装置，如图6所示，装置包括：分析模块60，用于如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；查找模块61，用于根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；生成模块62，用于根据目标配置协议和资源信息，生成采集指令；采集模块63，用于根据采集指令采集目标资源的目标数据。

上述数据采集装置，如果接收到目标监控对象上报的异常数据，分析异常数据，得到分析结果；其中，分析结果中包括：目标监控对象中发生异常的目标资源的资源信息；根据分析结果，从预设的协议配置信息中查找目标资源对应的目标配置协议；根据目标配置协议和资源信息，生成采集指令；根据采集指令采集目标资源的目标数据。该装置由发生异常的目标监控对象主动上报异常数据，从而可以更快速的进行异常定位，并且只需要针对性采集发生异常的目标资源的目标数据，不需要批量采集海量数据，从而可以降低网络负载和对计算资源的消耗。

进一步的，分析模块还用于：如果接收到目标监控对象上报的异常数据，分析异常数据，得到异常分类结果；其中，异常分类结果包括：硬件异常、软件异常或峰值异常；根据异常分类结果和异常数据，对目标监控对象中发生异常的目标资源进行定位，得到分析结果。

进一步的，目标资源属于硬件、软件或中间件。

进一步的，协议配置信息中包括：多个监控对象的对象信息，以及每个监控对象中每种资源分别对应的采集指标和配置协议。

进一步的，采集模块还用于：根据采集指令采集目标资源的日志数据；根据目标资源对应的目标采集指标，从日志数据中提取目标采集指标对应的目标数据。

进一步的，针对目标监控对象中的每种资源，该资源配置有异常事件的触发条件，当资源满足触发条件时，确定资源发生异常。

本发明实施例所提供的数据采集装置，其实现原理及产生的技术效果和前述数据采集方法实施例相同，为简要描述，数据采集装置实施例部分未提及之处，可参考前述数据采集方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图7所示，该电子设备包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述数据采集方法。

进一步地，图7所示的电子设备还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。

其中，存储器131可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述数据采集方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的数据采集方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据采集方法，其特征在于，所述方法包括：

如果接收到目标监控对象上报的异常数据，分析所述异常数据，得到分析结果；其中，所述分析结果中包括：所述目标监控对象中发生异常的目标资源的资源信息；

根据所述分析结果，从预设的协议配置信息中查找所述目标资源对应的目标配置协议；

根据所述目标配置协议和所述资源信息，生成采集指令；

根据所述采集指令采集所述目标资源的目标数据。

2.根据权利要求1所述的方法，其特征在于，如果接收到目标监控对象上报的异常数据，分析所述异常数据，得到分析结果的步骤包括：

如果接收到目标监控对象上报的异常数据，分析所述异常数据，得到异常分类结果；其中，所述异常分类结果包括：硬件异常、软件异常或峰值异常；

根据所述异常分类结果和所述异常数据，对所述目标监控对象中发生异常的目标资源进行定位，得到分析结果。

3.根据权利要求1所述的方法，其特征在于，所述目标资源属于硬件、软件或中间件。

4.根据权利要求1所述的方法，其特征在于，所述协议配置信息中包括：多个监控对象的对象信息，以及每个所述监控对象中每种资源分别对应的采集指标和配置协议。

5.根据权利要求4所述的方法，其特征在于，根据所述采集指令采集所述目标资源的目标数据的步骤包括：

根据所述采集指令采集所述目标资源的日志数据；

根据所述目标资源对应的目标采集指标，从所述日志数据中提取所述目标采集指标对应的目标数据。

6.根据权利要求1所述的方法，其特征在于，针对所述目标监控对象中的每种资源，该资源配置有异常事件的触发条件，当所述资源满足所述触发条件时，确定所述资源发生异常。

7.一种数据采集装置，其特征在于，所述装置包括：

分析模块，用于如果接收到目标监控对象上报的异常数据，分析所述异常数据，得到分析结果；其中，所述分析结果中包括：所述目标监控对象中发生异常的目标资源的资源信息；

查找模块，用于根据所述分析结果，从预设的协议配置信息中查找所述目标资源对应的目标配置协议；

生成模块，用于根据所述目标配置协议和所述资源信息，生成采集指令；

采集模块，用于根据所述采集指令采集所述目标资源的目标数据。

8.根据权利要求7所述的装置，其特征在于，所述分析模块还用于：

如果接收到目标监控对象上报的异常数据，分析所述异常数据，得到异常分类结果；其中，所述异常分类结果包括：硬件异常、软件异常或峰值异常；

根据所述异常分类结果和所述异常数据，对所述目标监控对象中发生异常的目标资源进行定位，得到分析结果。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-6任一项所述的数据采集方法。

10.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1-6任一项所述的数据采集方法。