CN111614716B - 一种采集远程设备数据的方法及系统 - Google Patents

Abstract

本发明公开了一种采集远程设备数据的方法，所述方法包括：部署管理节点，并对每个远程设备部署多个采集节点，每个采集节点下部署有多个服务；管理节点将采集任务分配至每个采集节点部署的每个服务；每个服务根据采集任务采集数据，每个采集节点汇总其部署的每个服务采集的数据，并上传至管理节点。本发明还提供了一种采集远程设备数据的系统。本发明提供的采集远程设备数据的方法及系统，可以提升数据采集过程的稳定性和效率，并保证数据采集的可靠性。

Description

一种采集远程设备数据的方法及系统

技术领域

本发明涉及数据采集技术领域，特别涉及一种采集远程设备数据的方法及系统。

背景技术

随着网络技术的发展，服务器、交换机等远程设备数量的增加。需要对远程设备进行监控，若要监控远程设备，则需采集远程设备的信息，比如流量信息、CPU信息、温度信息、电源信息等。现有的采集方式中，一种方式是在远程设备本地安装采集程序，但该方式对于无法在本地安装采集程序的远程设备(比如交换机)并不适用，所以出现了通过远程访问(比如SNMP)进行数据采集的方式。该方式虽然可以进行远程采集，但是，若发生网络异常或网络波动，会出现采集数据不稳定甚至丢失的情况。特别对于需要采集的远程设备较多时，如果利用同一采集器采集数据，不但会出现不稳定的情况，而且采集效率较低。

有鉴于此，有必要提供一种可提高稳定性及效率的远程设备数据采集方式。

发明内容

本申请的目的在于提供一种采集远程设备数据的方法及系统，以提升数据采集过程的稳定性和采集效率。

为实现上述目的，本发明实施例提供了一种采集远程设备数据的方法及系统。所述技术方案如下：

第一方面，一种采集远程设备数据的方法，包括：

部署管理节点，并对每个远程设备部署多个采集节点，每个采集节点下部署有多个服务；

所述管理节点将采集任务分配至所述每个采集节点部署的每个服务；

所述每个服务根据所述采集任务采集数据，所述每个采集节点汇总其部署的每个服务采集的数据，并上传至所述管理节点。

进一步的，所述方法还包括：

所述每个采集节点定时向所述管理节点反馈心跳信息，所述心跳信息包括所述采集节点部署的每个服务的运行状态信息；

所述管理节点根据所述运行状态信息，判断每个服务或者采集节点是否异常；

若异常，则更换异常服务或者异常采集节点。

进一步的，所述心跳信息还包括所述采集节点部署的每个服务的采集任务信息，所述方法还包括：

所述管理节点根据所述采集任务信息，将所述异常服务的采集任务，分配至与所述异常服务同节点的正常服务。

进一步的，所述方法还包括：

所述管理节点根据所述采集任务信息，将所述异常采集节点的采集任务，分配至更换后的采集节点。

进一步的，若增加所述远程设备，所述方法还包括：

所述管理节点根据所述每个服务的采集任务信息，选择采集任务少的采集节点，采集增加的所述远程设备的数据。

进一步的，在上传所述采集数据至所述管理节点后包括：

若所述采集数据上传失败，则所述采集节点备份所述采集数据，并定时重传所述采集数据。

进一步的，所述采集节点包括公网采集节点和局域网采集节点，所述局域网采集节点与所要采集的远程设备处于同一局域网，且用于采集同一局域网内所有远程设备的数据；所述公网采集节点处于公网，且用于采集所有局域网内所有远程设备的数据；

所述管理节点将采集任务分配至所述每个采集节点部署的每个服务具体包括：

所述管理节点将所述采集任务分配至所述公网采集节点部署的每个服务；

所述管理节点将所述采集任务分配至所述局域网采集节点部署的每个服务。

进一步的，所述采集节点还包括本机采集节点，所述本机采集节点处于所要采集的远程设备上；

所述管理节点将采集任务分配至所述每个采集节点部署的每个服务还包括：

所述管理节点将所述采集任务分配至所述本机采集节点部署的每个服务。

进一步的，所述管理节点接收所述每个采集节点上传的采集数据后包括：

所述管理节点从所述采集数据中，选取优先级最高的采集节点上传的采集数据，并输出至数据中心。

进一步的，不同类别的所述采集节点的优先级由高到低排序，依次为本机采集节点、局域网采集节点、公网采集节点，相同类别的所述采集节点的优先级依据编号排序。

第二方面，一种采集远程设备数据的系统，用于实现如第一方面所述的采集远程设备数据的方法。

本发明实施例提供的技术方案带来的有益效果是：一方面，对每个远程设备部署公网采集节点、局域网采集节点和本机采集节点，可以避免因采集节点的单点故障或者是网络出现故障，影响数据采集，从而提升了数据采集过程的稳定性。另一方面，由于每个采集节点部署有多个服务，使得管理节点可以向每个服务平均分配采集任务，从而提高数据采集效率。再一方面，采集节点在上传采集数据至管理节点后，若采集数据上传失败，则采集节点备份采集数据，并定时重传采集数据，可以避免数据采集过程中网络异常造成采集数据丢失，保证数据采集的可靠性。此外，管理节点还可以从同一远程设备的多份相同采集数据中，选用优先级高的采集节点所上传的采集数据，从而进一步的，保证采集数据的可靠性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中采集远程设备数据的方法示意图；

图2是本发明实施例中采集远程设备数据的系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例的采集远程设备数据的方法，可以包括以下步骤：

S101：部署管理节点，并对每个远程设备部署多个采集节点，每个采集节点下部署有多个服务。

本发明实施例的远程设备可以是网络设备或者计算机，网络设备可以是交换机、路由器等，计算机可以是服务器、桌面计算机、工作站或笔记本电脑等。远程设备的数据可以包括流量信息、CPU信息、温度信息、电源信息、风扇信息等。

在一个可选的实施例中，管理节点和采集节点的部署方式，请参阅图2所示的远程设备数据采集系统，远程设备部署于局域网内，且一个局域网内可以有一个或多个远程设备。依据采集节点所处的网络，采集节点可分为公网采集节点、局域网采集节点、本机采集节点三种。公网采集节点部署于公网，一般至少部署两个或者两个以上。局域网采集节点部署于局域网内，且与所要采集的远程设备处于同一局域网，一个局域网内的局域网采集节点可以部署一个或者多个，处于同一局域网内的局域网采集节点只采集本局域网内的远程设备。本机采集节点部署于所要采集的远程设备上，本机采集节点需远程设备有条件时方可进行部署，比如对于服务器这一类的远程设备，由于其设备资源较为充足，就可以考虑部署本机采集节点；但是对于交换机这类远程设备，由于其设备资源的局限性，只能通过公网采集节点和局域网采集节点采集，无法部署本机采集节点。

在本实施例中，由于公网采集节点、局域网采集节点和本机采集节点都可以采集同一远程设备的数据，这样就可以在网络出现故障时，仍可以通过部署于不同网络内的采集节点采集数据，不会因网络出现故障而导致数据采集失败，从而提升了数据采集过程的稳定性。例如，若公网出现网络故障，公网采集节点无法进行数据采集，但局域网采集节点和本机采集节点仍可进行数据采集。即使公网和局域网同时出现故障，对于可以部署本机采集节点的远程设备，仍可通过本机采集节点进行数据采集。

在一个可选的实施例中，采集节点下部署的每个服务可以是一个进程，且每个进程用于采集一台或者多台远程设备的数据。

S102：管理节点将采集任务分配至每个采集节点部署的每个服务。

首先，管理节点可以从数据中心获取采集节点的IP地址信息以及远程设备的数量和设备信息，用户可以通过数据中心将任务分配指令发送至管理节点处，管理节点接收分配任务指令后，根据采集节点的IP地址信息和服务端口号以及远程设备的数量和设备信息，开始向每个采集节点部署的每个服务发送采集任务。不同类别的采集节点的采集任务可以进行如下分配：本机采集节点的采集任务为采集其所处的远程设备的信息，局域网采集节点的采集任务为采集本局域网中所有远程设备的信息，公网采集节点采集任务为采集所有局域网内所有远程设备的信息。

其次，管理节点尽可能向采集节点部署的每个服务平均分配采集任务。例如，公网采集节点如果用于采集100台远程设备，那么就可以在公网采集节点上部署1个服务，然后给这个服务分配采集100台远程设备的数据的任务。类似的，局域网采集节点如果用于采集10台远程设备，那么就可以在局域网采集节点上部署1个服务，然后给这个服务分配采集10台远程设备的数据的任务。考虑到公网采集节点或者局域网采集节点部署的1个服务，在对数量更多的远程设备采集数据时，会出现单个服务的采集任务过多，影响采集效率，此时，可以选择在采集节点上部署多个服务。例如，公网采集节点或者局域网采集节点如果用于采集500台远程设备，那么就可以部署5个服务，然后给每个服务分配采集100台远程设备的数据的任务。对于本机采集节点，由于其只采集一台远程设备的数据，所以可以选择只部署一个服务采集该远程设备的所有数据，也可以选择部署多个服务，每个服务分别采集该远程设备的不同参数信息。例如，一个本机采集节点部署有2个服务，一个服务用于采集远程设备的CPU信息，另一个服务用于采集远程设备的温度信息。

在一个可选的实施例中，在管理节点和采集节点部署完成后，每个采集节点就开始定时向管理节点反馈心跳信息。每个采集节点定时向管理节点反馈心跳信息的时长，可以根据管理节点和采集节点的性能设定。例如当所部署的管理节点和采集节点性能比较高时，可以设置时长为30秒，如果性能较低可设置时长为60秒。

在一个可选的实施例中，心跳信息包括采集节点部署的每个服务的运行状态信息，管理节点根据运行状态信息，判断每个服务或者采集节点是否异常，若异常，则更换异常服务或者异常采集节点。

若采集节点部署的单个服务异常，管理节点则更换异常服务。在更换异常服务后，新服务可以将其端口号发送至管理节点，管理节点可以根据端口号，向其分配采集任务。若采集节点部署的全部服务异常，则为该采集节点异常。某一采集节点异常后，管理节点更换异常采集节点，在更换异常采集节点后，更换后的采集节点可以将其IP地址信息发送至管理节点，管理节点可以根据更换后的采集节点的IP地址信息和服务端口号，向其分配采集任务，并识别更换后采集节点所反馈的心跳信息和上传的采集数据。

在一个可选的实施例中，心跳信息还包括采集节点部署的每个服务的采集任务信息，在服务或者采集节点发生异常后，管理节点可以将异常服务的采集任务，分配至与该异常服务同节点的正常服务，还可以将异常采集节点的采集任务，分配至更换后的采集节点。

在采集节点单个服务发生异常后，因为该节点部署的其余服务仍可执行采集任务，所以该采集节点需继续向管理节点反馈心跳信息，心跳信息包括该节点部署的其余服务的运行状态信息和采集任务信息。由于同采集节点部署的每个服务之间可以相互通信，该采集节点部署的其余服务可以监控异常服务的运行状态信息和采集任务信息，并将监控信息通过心跳信息一并反馈至管理节点。这样，管理节点通过心跳信息若判断出异常服务的采集任务，可以将异常服务的采集任务分配至与该异常服务同节点的其余服务。

在采集节点发生异常后，管理节点可以从异常采集节点反馈的最后一个心跳信息中，获取异常采集节点的采集任务。这样一来，在异常节点更换完成后，管理节点就可以根据更换后的采集节点的IP地址信息和服务端口号，向更换后的采集节点分配异常采集节点的采集任务。即便管理节点未将异常采集节点的采集任务分配至更换后的采集节点，因每个远程设备相应部署有公网采集节点、局域网采集节点和本机采集节点，若任一类别的采集节点异常，其余类别的采集节点仍可进行数据采集。因此，不会因为单个采集节点发生故障，而影响数据采集，从而保证数据采集过程的稳定性和采集数据的完整性。

在一个可选的实施例中，在执行采集任务的过程中，如果需要增加远程设备，则管理节点还可以根据采集节点反馈的心跳信息中所包含的每个服务的采集任务信息，选择采集任务少的采集节点，与增加的远程设备相匹配，并采集所增加的远程设备的数据。

对于增加的远程设备，可以由已部署的公网采集节点、局域网采集节点和本机采集节点进行采集。如果采集任务过多，也可以适当增加上述采集节点中的一种或者多种。远程设备数量增加之后，会导致总的采集任务量增多，管理节点会向上述部署的采集节点分配新增的采集任务。具体而言，管理节点可以通过比较公网采集节点或者局域网采集节点的采集任务量，分别从同类别的采集节点中，选取采集任务量较小的一个或者多个采集节点，与增加的远程设备相匹配。

S103：每个服务根据采集任务采集数据，每个采集节点汇总其部署的每个服务采集的数据，并上传至管理节点。

在一个可选的实施例中，每个远程设备设有唯一的编号信息。采集数据是由数据包组成，数据包中包含有远程设备的编号信息、采集节点的IP地址和管理节点的IP地址。管理节点接收到采集数据之后，可以获取采集节点的IP地址和远程设备的编号信息，以此判断出是由哪个采集节点上传的哪台远程设备的数据。

在一个可选的实施例中，采集节点在上传采集数据至管理节点后，会监控采集数据是否上传成功，若采集数据上传失败，则采集节点备份采集数据，并定时重传采集数据。

管理节点接收采集数据后，会向采集节点回复消息，用于确认是否收到采集数据。采集节点向管理节点上传数据后，若采集节点在一定时长内未接收到管理节点的消息，则采集数据上传失败。然后，采集节点可以将上传失败的采集数据备份，并定时向管理节点重新上传备份的采集数据，直到上传成功为止。

在一个可选的实施例中，为了保证采集数据的可靠性。对于每个远程设备，管理节点可以从多份相同的采集数据中，选取优先级最高的采集节点上传的采集数据，并输出至数据中心。其中，不同类别的采集节点的优先级由高到低排序，依次为本机采集节点、局域网采集节点、公网采集节点。对于同一类别采集节点的优先级排序，可以依据其编号进行排序。

不同类别的采集节点的优先级的排序可以根据网络稳定性确定，优先级越高的采集节点所处的网络环境越简单，网络稳定性也就越高。本机采集节点处于远程设备上，其所处的网络环境比局域网采集节点所处的网络环境相对简单，而公网采集节点所处的网络环境与本机采集节点或者局域网采集节点所处的网络环境相比最复杂，因此，采集节点的优先级由高到低排序，依次为本机采集节点、局域网采集节点、公网采集节点。优先级最高的采集节点所上传的采集数据，受网络延时、网络丢包等因素的影响较小，从而保证了采集数据的可靠性。

同一类别的采集节点的优先级，可以通过设置的编号顺序排序。比如所部署的公网采集节点或者局域网采集节点的编号为01、02、······N，则公网采集节点或者局域网采集节点的优先级由高到低排序为公网采集节点01、公网采集节点02、······N，或者局域网采集节点01、局域网采集节点02、······N。因为对一个远程设备只部署一个本机采集节点，且只用于采集该远程设备的数据，所以对于本机采集节点这一类别内的采集节点，可以不进行优先级排序。

由上可见，本发明实施例提供的采集远程设备数据的方法及系统。一方面，对每个远程设备部署公网采集节点、局域网采集节点和本机采集节点，可以避免因采集节点的单点故障或者是网络出现故障，影响数据采集，从而提升了数据采集过程的稳定性。另一方面，由于每个采集节点部署有多个服务，使得管理节点可以向每个服务平均分配采集任务，从而提高数据采集效率。再一方面，采集节点在上传采集数据至管理节点后，若采集数据上传失败，则采集节点备份采集数据，并定时重传采集数据，可以避免数据采集过程中网络异常造成采集数据丢失，保证数据采集的可靠性。此外，管理节点还可以从同一远程设备的多份相同采集数据中，选用优先级高的采集节点所上传的采集数据，从而进一步的，保证采集数据的可靠性。

以上所描述的装置实施例仅仅是示意性的，其中所述分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上实施的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种采集远程设备数据的方法，其特征在于，所述方法包括：

部署管理节点，并对每个远程设备部署多个采集节点，每个采集节点下部署有多个服务；其中，所述采集节点包括公网采集节点和局域网采集节点，所述局域网采集节点与所要采集的远程设备处于同一局域网，且用于采集同一局域网内所有远程设备的数据；所述公网采集节点处于公网，且用于采集所有局域网内所有远程设备的数据；

所述管理节点将采集任务分配至所述每个采集节点部署的每个服务；

所述每个服务根据所述采集任务采集数据，所述每个采集节点汇总其部署的每个服务采集的数据，并上传至所述管理节点。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述每个采集节点定时向所述管理节点反馈心跳信息，所述心跳信息包括所述采集节点部署的每个服务的运行状态信息；

所述管理节点根据所述运行状态信息，判断每个服务或者采集节点是否异常；

若异常，则更换异常服务或者异常采集节点。

3.根据权利要求2所述的方法，其特征在于，所述心跳信息还包括所述采集节点部署的每个服务的采集任务信息，所述方法还包括：

所述管理节点根据所述采集任务信息，将所述异常服务的采集任务，分配至与所述异常服务同节点的正常服务。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

所述管理节点根据所述采集任务信息，将所述异常采集节点的采集任务，分配至更换后的采集节点。

5.根据权利要求3所述的方法，其特征在于，若增加所述远程设备，所述方法还包括：

所述管理节点根据所述每个服务的采集任务信息，选择采集任务少的采集节点，采集增加的所述远程设备的数据。

6.根据权利要求1所述的方法，其特征在于，在上传所述采集数据至所述管理节点后包括：

若所述采集数据上传失败，则所述采集节点备份所述采集数据，并定时重传所述采集数据。

7.根据权利要求1所述的方法，其特征在于，所述管理节点将采集任务分配至所述每个采集节点部署的每个服务具体包括：

所述管理节点将所述采集任务分配至所述公网采集节点部署的每个服务；

所述管理节点将所述采集任务分配至所述局域网采集节点部署的每个服务。

8.根据权利要求7所述的方法，其特征在于，所述采集节点还包括本机采集节点，所述本机采集节点处于所要采集的远程设备上；

所述管理节点将采集任务分配至所述每个采集节点部署的每个服务还包括：

所述管理节点将所述采集任务分配至所述本机采集节点部署的每个服务。

9.根据权利要求8所述的方法，其特征在于，所述管理节点接收所述每个采集节点上传的采集数据后包括：

所述管理节点从所述采集数据中，选取优先级最高的采集节点上传的采集数据，并输出至数据中心。

10.根据权利要求9所述的方法，其特征在于，不同类别的所述采集节点的优先级由高到低排序，依次为本机采集节点、局域网采集节点、公网采集节点，相同类别的所述采集节点的优先级依据编号排序。

11.一种采集远程设备数据的系统，其特征在于，用于实现如权利要求1至10任一项所述的方法。

Images