CN113448819A - 一种自适应的数据采集方法、装置及系统 - Google Patents

Abstract

本文涉及数据采集领域，尤其涉及一种自适应的数据采集方法、装置及系统。本文所述方法可以但不限于应用于金融领域的数据采集，其中方法包括扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；获取所述采集客户端，以用于采集所述应用程序的数据。通过本文方法，实现了对服务器上运行的应用程序进行自适应数据采集，减小采集客户端的部署难度，提高数据采集的实时性。

Description

一种自适应的数据采集方法、装置及系统

技术领域

本文涉及数据采集领域，尤其涉及一种自适应的数据采集方法、装置及系统。

背景技术

随着科技的不断发展，服务器上运行的应用程序也随之增多，庞大的应用程序体系在提供更优质服务的同时，也带来了应用程序监控运维上的难题。

在监控运维领域，需要关注服务器上运行的重要应用程序，对于这些应用程序运行情况的监控，大多通过获取其日志、指标和配置等相关信息来实现。

目前，现有技术大多通过在服务器上部署采集客户端对指定应用程序的日志、指标和配置信息等数据进行采集，当需要监控服务器上的多个应用程序时，需要部署多个采集客户端用于采集不同应用程序的数据。现有技术中通过人工实施部署采集客户端，当服务器上运行的应用程序发生改变时，则需要人工停止原有的采集客户端，并部署新增应用程序的采集客户端，当服务器上应用程序数量较多、更新较频繁时，此种数据采集方法的运维难度将增大，运维成本将明显提高，而且存在应用程序变化发现不及时，导致数据漏采。

现在亟需一种能够自动发现、适应服务器上应用程序变化的数据采集方法，从而解决现有技术中需人工发现应用程序的变化、布署采集客户端难度较大、数据采集不及时的问题。

发明内容

为解决现有技术中需人工发现应用程序变化、布署采集客户端难度较大、数据采集不及时，本文实施例提供了一种自适应数据采集方法、装置及系统，实现了服务器上活跃应用程序的自动发现，并自动获取新增应用程序的采集客户端，以便于采集所述应用程序的数据，降低了采集客户端部署的难度，提高应用程序数据采集的实时性。

本文提供了一种自适应数据采集方法，包括，

扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

获取所述采集客户端，以用于采集所述应用程序的数据。

本文实施例还提供了一种自适应数据采集装置，包括，

应用程序监控单元，扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

采集客户端获取单元，根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

数据采集单元，接收所述采集客户端，以用于采集所述应用程序的数据。

本文实施例还提供了一种自适应数据采集系统，包括，服务器，客户端云平台以及自适应数据采集装置，

自适应数据采集装置扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

自适应数据采集装置根据所述活跃应用程序列表，向客户端云平台发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

客户端云平台接收所述采集客户端获取请求，向自适应数据采集装置发送采集客户端；

自适应数据采集装置收所述采集客户端，采集所述应用程序的数据。

本文实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本文实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述方法的指令。

利用本文实施例，自适应数据采集装置扫描服务器上运行的应用程序，当发现新增的应用程序之后，更新自身的活跃应用程序列表，活跃应用程序列表中包括单不限于应用程序id和版本信息，将新增的应用程序信息加入到活跃应用程序列表中，然根据活跃应用程序列表中新增的应用程序信息，向客户端云平台发送新增应用程序的采集客户端获取请求，采集客户端云平台根据请求的应用程序信息向自适应数据采集装置发送该应用程序的采集客户端或发送该应用程序的采集客户端下载链接，最后自适应数据采集装置获取该应用程序的采集客户端，对该应用程序进行数据采集。实现了活跃应用程序自发现并自动获取新增应用程序的采集客户端，降低了采集客户端的部署难度，提高应用程序数据采集的实时性。

附图说明

为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本文实施例一种自适应数据采集系统的结构示意图；

图2所示为本文实施例一种自适应数据采集方法的流程图；

图3所示为本文实施例一种自适应数据采集装置的结构图；

图4所示为本文实施例一种自适应数据采集系统的详细结构图；

图5所示为本文实施例自适应数据采集方法的数据流图；

图6所示为本文实施例计算设备的结构示意图。

【附图标记说明】：

101、客户端云平台；

102、服务器；

103、自适应数据采集装置；

301、应用程序监控单元；

302、采集客户端获取单元；

303、数据采集单元；

401、管理控制平台；

4011、数据同步单元；

4012、采集客户端维护单元；

4013、数据采集监控单元；

4014、告警单元；

402、客户端云平台；

4021、数据同步单元；

4022、采集客户端存储单元；

4023、采集客户端更新单元；

4024、采集客户端匹配单元；

4025、信息收发单元；

40251、客户端获取方式解析模块；

40252、负载均衡模块；

403、服务器；

404、自适应数据采集装置；

4041、应用程序监控单元；

4042、采集客户端获取单元；

40421、客户端获取方式选择模块；

40422、负载均衡模块；

40423、客户端安全性验证模块；

4043、数据采集单元；

40431、采集客户端安装/卸载模块；

40432、应用程序数据存储模块；

4044、带宽利用率获取单元；

4045、数据同步单元；

601、计算机设备；

602、处理器；

603、存储器；

604、驱动机构；

605、输入/输出模块；

606、输入设备；

607、输出设备；

608、呈现设备；

609、图形用户接口；

610、网络接口；

611、通信链路；

612、通信总线。

具体实施方式

下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。

本文所述自适应数据采集方法可以但不限于应用于金融领域的数据采集。

如图1所示为本文实施例一种自适应数据采集系统的结构示意图，在本图中，包括客户端云平台101、服务器102、自适应数据采集装置103，在本文中，自适应数据采集装置103通过应用程序的采集客户端对服务器102上运行的所述应用程序进行数据采集，客户端云平台101向服务器102提供所述应用程序的采集客户端。

自适应数据采集装置103对服务器102上的应用程序进行监控，得到服务器102上新增和/或离线的应用程序，将所述新增应用程序的采集客户端获取请请发送至客户端云平台101，客户端云平台101根据所述新增应用程序的信息查找对应的采集客户端，并发送给自适应数据采集装置103，自适应数据采集装置103获取到所述新增应用程序的采集客户端后，进行所述新增应用程序的数据采集。其中，所述服务器102可以例如包括交换机，防火墙等。

如图2所示为本文实施例一种自适应数据采集方法的流程图，在本图中描述了自适应数据采集装置监控服务器上运行的应用程序，并自动获取新增应用程序的采集客户端，通过采集客户端对所述新增应用程序进行数据采集，实现对服务器应用程序的自适应数据采集，该方法包括：

步骤201：扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

步骤202：根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

步骤203：获取所述采集客户端，以用于采集所述应用程序的数据。

通过本文实施例的方法，首先自适应数据采集装置对服务器上运行的应用程序进行监控，当监控得到新增应用程序时，更新本地存储的活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序信息，例如应用程序的id和版本信息，然后根据活跃应用程序列表，向客户端云平台发送新增应用程序的采集客户端获取请求，最后自适应数据采集装置通过获取到的采集客户端，采集所述新增应用程序的数据。

其中，采集客户端中的数据采集规则用来指定采集该应用程序的数据类别，例如指定该应用程序的日志、指标和配置信息等，不同采集客户端的数据采集规则也不相同。因此，采集客户端与应用程序一一对应，同一采集客户端只能采集其所属的应用程序的数据。此外当应用程序版本发生变化时，其所产生的数据类别也会随之变化，采集客户端根据版本信息执行不同的数据采集规则，完成该对不同版本应用程序的数据采集。

根据本文的一个实施例，自适应数据采集方法中还包括，获取服务器中离线的应用程序，将所述离线的应用程序在所述活跃应用程序列表中删除，并停止采集所述离线应用程序的数据，卸载所述离线应用程序的采集客户端。

在本步骤中，自适应数据采集装置监控服务器上离线的应用程序，所述离线应用程序为服务器中根据运行时序自动停止、运行出错自动停止、或运维人员手动停止的应用程序，自适应数据采集装置得到离线应用程序的id和版本信息，在活跃应用程序列表中将该离线应用程序删除；当该离线应用程序再次上线时，即该离线应用程序根据运行时序自动开始运行或运维人员手动启用的应用程序，自适应数据采集装置将该应用程序的id和版本信息记录在活跃应用程序列表中，使得所述应用程序列表可以感知到所述应用程序的运行状态变化，便于再次发送该应用程序的采集客户端以重新开始采集数据。

此外，自适应数据采集装置命令采集客户端停止对该离线应用程序的数据采集，最后将该离线应用程序的采集客户端卸载，以释放服务器上运行的空间，提高服务器的性能。

根据本文的一个实施例，获取采集客户端进一步包括，接收客户端云平台发送的所述采集客户端的安装包；或，接收所述客户端云平台发送的所述采集客户端的下载链接。

在本步骤中，自适应数据采集装置根据活跃应用程序列表，得到新增的应用程序，其中，服务器可能同时新增多个应用，自适应数据采集装置许获取多个应用的采集客户端。为了不影响服务器和/或自适应数据采集的正常工作，自适应数据采集装置在发送获取请求时，同时根据服务器和/或自身的工作情况发送采集客户端获取方式，采集客户端的获取方式可以为但不限于接收客户端云平台直接发送的采集客户端，或接收客户端云平台发送的采集客户端的下载链接，客户端云平台根据所述获取方式发送采集客户端，便于自适应数据采集装置根据自身工作情况和/或服务器的负载情况进行新增应用程序的数据采集。

根据本文的一个实施例，根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求进一步包括，发送所述服务器带宽利用率，使得所述客户端云平台根据所述带宽利用率发送所述采集客户端的安装包。

在本步骤中，自适应数据采集装置获取服务器的带宽利用率，包括单不限于当前带宽利用率和未来预测带宽利用率，所述预测带宽利用率根据当前带宽情况和服务器cpu使用率计算得到，并根据当前活跃应用程序列表中新增的应用程序数量预测新增应用程序的采集客户端获取时间，例如，当前带宽利用率小于80％且服务器cpu利用率小于90％，活跃应用程序列表中新增应用程序数量小于10，则发送服务器的带宽利用率至客户端云平台，以便于客户端云平台根据服务器带宽利用率以及采集客户端获取数量，分时发送应用程序的采集客户端，自适应数据采集装置在接收采集客户端的同时，不影响自身和/或服务器的正常工作。

根据本文的一个实施例，获取所述采集客户端进一步包括，根据所述服务器的带宽利用率，分时获取所述下载链接所指向的采集客户端。

在本步骤中，自适应数据采集装置获取服务器的带宽利用率，包括单不限于当前带宽利用率和未来预测带宽利用率，所述预测带宽利用率根据当前带宽情况和服务器cpu使用率计算得到，并根据当前活跃应用程序列表中新增的应用程序数量预测新增应用程序的采集客户端获取时间，例如，当前带宽利用率大于80％且服务器cpu利用率大于90％，活跃应用程序列表中新增应用程序数量大于10，则发送采集客户端下载链接获取请求，并接收客户端云平台发送的应用程序采集客户端下载链接，自适应数据采集装置根据带宽利用率情况，分时通过所述下载链接获取采集客户端，保证其自身和/或服务器的正常工组不受影响。

根据本文的一个实施例，获取所述采集客户端进一步包括，对获取的所述采集客户端进行安全性校验。

在本步骤中，由于应用程序的数据采集由采集客户客户端完成，为了避免应用成程序的数据不被盗取，自适应数据采集装置在获取到采集客户端后，对采集客户端的安全性进行校验，检验结果为安全后，才会通过采集客户端对应用程序数据进行采集。

根据本文的一个实施例，获取的所述采集客户端进行安全性校验进一步包括，

获取所述服务器中所述新增活跃应用程序的MD5值；利用所述获取到的所述采集客户端计算所述MD5值对应的验证码，将通过所述采集客户端计算得到的验证码与所述新增活跃应用程序中预存的验证码进行比较，当比较结果一致，则所述安全行校验通过。

在本步骤中，首先获取新增应用程序的MD5值，相同id且版本相同的应用程序的MD5值相同，因此在后台生成该应用程序的采集客户端时，将通过所述MD5值计算验证码的计算算法嵌入到采集客户端中，所述计算算法可以为但不限于：将MD5值进行左移1位得到验证码初始值，然后通过SHA1算法得到初始验证码的原始二进制流，再通过BASE64加密算法得到20个字节长度的验证码，并将所述校验码存入到所述新增应用程序中。

在自适应数据采集装置获取到采集客户端后，首先根据所述活跃应用程序列表得到新增应用程序的MD5值和该应用程序的预存校验码，然后利用所述获取到的所述采集客户端计算验证码，将计算得到的验证码与所述新增应用程序的预存验证码进行比较，若比较结果一致，则所述采集客户端的安全性校验通过。

通过本文实施例的方法，自动发现服务器上活跃的应用程序，对与新增应用程序，自动获取其采集客户端，并采用负载均衡的方法，在获取采集客户端的同时保证服务器和/或自适应数据采集装置的正常工作，并对获取到的采集客户端进行安全性校验，保证应程序数据不会被盗取。此外自动发现服务器上离线的应用程序，停止对其数据采集并将其采集客户端卸载，释放服务器以及自适应数据采集装置的内存空间。通过本文实施例的方法，实现了对服务器应用程序的自适应数据采集，保证了新增应用程序数据采集的实时性。

如图3所示为文本实施例一种自适应数据采集装置的结构图，在本图中描述了自适应数据采集装置的结构，其中功能单元、模块可以通过软件或硬件实现，例如可以通过通用芯片或者专用芯片实现其功能，并且各功能单元、模块的划分也不是唯一的，可以将某个功能单元、模块分别在多个硬件上实现，也可以将多个功能单元、模块在一个硬件上实现，该自适应数据采集装置具体包括：

应用程序监控单元301，扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

采集客户端获取单元302，根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

数据采集单元303，接收所述采集客户端，以用于采集所述应用程序的数据。

如图4所示为本文实施例一种自适应数据采集系统的详细结构图，在本图中描述了自适应数据采集装置的具体结构图，以及服务器、客户端云平台以及管理控制平台的结构示意图，具体包括：服务器，客户端云平台以及自适应数据采集装置，

自适应数据采集装置扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

自适应数据采集装置根据所述活跃应用程序列表，向客户端云平台发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

客户端云平台接收所述采集客户端获取请求，向自适应数据采集装置发送采集客户端；

自适应数据采集装置收所述采集客户端，采集所述应用程序的数据。

根据本文的一个实施例，所述自适应数据采集系统进一步包括管理控制平台401，所述管理控制平台401为自适应数据采集装置的管理、监控组件，对自适应数据采集系统进行全面管理和监控。所述管理控制平台401进一步包括数据同步单元4011、用于接收客户端云平台402和自适应数据采集装置404同步的数据，包括客户端云平台402接收到的采集客户端获取请求、自适应数据采集装置404发送的活跃应用程序列表。

数据同步单元4011接收自适应数据采集装置404中数据同步单元4045同步的活跃应用程序列表并存储至本地，再次接受到新的活跃应用程序列表后，与本地存储的应用程序列表进行比较，更新本地应用程序列表；此外，数据同步单元4011接收客户端云平台402中数据同步单元4021同步到客户端下载请求同步信息，并对客户端下载请求进行解析，得到下载请求的客户端id和版本信息，然后存储到本地请求信息列表中，再次接收到新的采集客户端下载请求同步信息后，和本地请求信息列表进行比较，更新本地请求信息列表。运维人员可通过应用程序列表和请求信息列表监控服务器应用程序活跃状态以及数据采集客户端部署状态。

根据本文的一个实施例，所述管理控制平台401进一步包括采集客户端维护单元4012，采集客户端维护单元4012和客户端云平台402中的采集客户端更新单元4023进行信息交互，维护采集客户端。具体地，当采集客户端更新(例如，新增采集客户端、替换采集客户端和删除采集客户端)后，将更新后的采集客户端及更新原因发送至客户端云平台402的采集客户端更新单元4023，采集客户端更新单元4023将更新的采集客户端存储至采集客户端存储单元4022中，或从采集客户端存储单元4022中删除指定的采集客户端。

根据本文的一个实施例，所述管理控制平台401进一步包括数据采集监控单元4013，数据采集监控单元4013用于监控自适应数据采集装置404对服务器403上运行的应用程序的数据采集状态，自适应数据采集装置404中的数据同步单元4045将活跃应用程序的数据采集状态发送至数据采集监控单元4013，包括数据采集开始时间、结束时间、数据采集类别以及采集数据的大小，此外，自适应数据采集装置404中的客户端安全性验证模块40423将采集客户端的安全性验证信息发送至数据采集监控单元4013。数据采集监控单元4013将接收到的信息存储至本地，运维人员可通过导出列表等方式查看数据采集状态。

根据本文的一个实施例，所述管理控制平台401进一步包括告警单元4014，当管理控制平台通过数据同步单元4011监测到采集客户端获取失败、和/或通过数据采集监控单元4013获取到数据采集异常(包括数据采集失败、采集客户端安全性验证不通过等)后，告警单元4014组织告警信息并发送给后台运维人员，以便于运维人员及时发现并处理数据采集过程中的异常信息。

根据本文的一个实施例，所述客户端云平台402进一步包括数据同步单元4021，将信息收发单元4025接收到的采集客户端获取请求同步至管理控制平台401。

根据本文的一个实施例，所述客户端云平台402进一步包括采集客户端存储单元4022，用于存储所有应用程序的采集客户端，包括采集客户端安装文件和下载链接。

根据本文的一个实施例，所述客户端云平台402进一步包括采集客户端更新单元4023，用于接收管理控制平台401下发的采集客户端更新消息，将更新的采集客户端存储至采集客客户端存储单元4022中，并根据删除消息，从采集客户端存储单元4022中删除指定的采集客户端。

根据本文的一个实施例，所述客户端云平台402进一步包括采集客户端匹配单元4024，根据信息收发单元4025接收到的自适应数据采集装置404发送的采集客户端获取请求，匹配该获取请求对应的采集客户端，具体地，采集客户端匹配单元中存储采集客户端列表，包括应用程序id及版本信息、采集客户端id，根据采集客户端获取请求中的id及版本信息在采集客户端列表中匹配所对应的采集客户端id，然后在采集客户端存储单元4022中查找id指向的采集客户端信息，将信息通过信息收发单元发送至自适应数据采集装置404。

根据本文的一个实施例，所述客户端云平台402进一步包括信息收发单元4025，用于接收自适应数据采集装置404发送的采集客户端获取请求并发送采集客户端，并将收到的采集客户端下载请求通过数据同步单元4021同步至管理控制平台401。

根据本文的一个实施例，所述信息收发单元4025进一步包括客户端获取方式解析模块40251，自适应数据采集装置404在发送采集客户端获取请求的同时，发送客户端获取方式，指定客户端云平台发送采集客户端的方式，例如发送采集客户端安装程序或发送采集客户端下载链接。

根据本文的一个实施例，所述信息收发单元4025进一步包括负载均衡模块40252，自适应数据采集装置404若发送的客户端获取方式为获取采集客户端安装程序，则同时会发送服务器的带宽利用率，负载均衡模块40252根据所述带宽利用率分时发送采集客户端至自适应数据采集装置404，以保证服务器403和自适应数据采集装置404的正常工作。

根据本文的一个实施例，所述自适应数据采集装置404进一步包括应用程序监控单元4041，监控服务器403上运行的应用程序，当新增应用程序时，获取该应用程序的id、版本信息以及MD5值，在活跃应用程序列表中增加该应用程序，然后通知采集客户端获取单元获取该应用程序的采集客户端。此外，当应用程序离线后，得到离线应用程序的id、版本信息以及MD5值，在活跃应用程序列表中将该离线应用程序删除，然后通知数据采集单元4043停止该离线应用程序的数据采集，并将该离线应用程序的采集客户端卸载。

此外，将更新的活跃应用程序列表通过数据同步单元4045同步至管理控制平台401。

根据本文的一个实施例，所述自适应数据采集装置404进一步包括采集客户端获取单元4042，根据活跃应用程序列表，得到新增的应用程序，然后向客户端云平台发送采集客户端获取请求，并接受采集客户端，最后通知数据采集单元通过采集客户端对应用程序进行采集。

根据本文的一个实施例，所述采集客户端获取单元4042进一步包括客户端获取方式选择模块40421，通过带宽利用率获取单元4044获得服务器的带宽利用率，根据所述带宽利用率选择采集客户端的获取方式，以保证服务器403和自适应数据采集装置404的正常工作。

例如，当前带宽利用率小于80％且服务器cpu利用率小于90％，活跃应用程序列表中新增应用程序数量小于10，则发送服务器的带宽利用率至客户端云平台402，以便于客户端云平台402根据服务器带宽利用率以及采集客户端获取数量，分时发送应用程序的采集客户端；当前带宽利用率大于80％且服务器cpu利用率大于90％，活跃应用程序列表中新增应用程序数量大于10，则发送采集客户端下载链接获取请求，并接收客户端云平台402发送的应用程序采集客户端下载链接，自适应数据采集装置根据带宽利用率情况，分时通过所述下载链接获取采集客户端。

根据本文的一个实施例，所述采集客户端获取单元4042进一步包括负载均衡模块40422，若发送的客户端获取方式为获取采集客户端下载链接，负载均衡模块40422根据带宽利用率分时通过所述采集客户端下载链接获取采集客户端。

根据本文的一个实施例，所述采集客户端获取单元4042进一步包括客户端安全性验证模块40423用于验证采集客户端的安全性。

首先根据活跃应用程序列表获取新增应用程序的MD5值，相同id且版本相同的应用程序的MD5值相同，因此在后台生成该应用程序的采集客户端时，将通过所述MD5值计算验证码的计算算法嵌入到采集客户端中，所述计算算法可以为但不限于：将MD5值进行左移1位得到验证码初始值，然后通过SHA1算法得到初始验证码的原始二进制流，在通过BASE64加密算法得到20个字节长度的验证码，并将所述校验码存入到所述新增应用程序中。

在自适应数据采集装置404获取到采集客户端后，首先根据所述活跃应用程序列表得到新增应用程序的MD5值和该应用程序的预存校验码，然后利用所述获取到的所述采集客户端计算验证码，将计算得到的验证码与所述新增应用程序的预存验证码进行比较，若比较结果一致，则所述采集客户端的安全性校验通过，通知数据采集单元通过采集客户端进行应用程序的数据采集，所述通知消息中包括采集客户端的id及版本信息；若比较结果不一致，则通过数据同步单元4045向管理控制平台同步采集客户端安全性验证不通过消息。

根据本文的一个实施例，所述自适应数据采集装置404进一步包括数据采集单元4043，用于通过采集客户端开始/停止应用程序的数据采集。

根据本文的一个实施例，所述数据采集单元4043进一步包括采集客户端安装/卸载模块40431，当接收到采集客户端获取单元4042的数据采集消息后，根据消息中指定的采集客户端id及版本信息安装获取的采集客户端，开始采集相应的应用成程序的数据并存储采集到的数据。

当接收到应用程序监控单元4041发送的离线应用程序消息后，首先停止该离线应用程序的数据采集，然后根据离线应用程序的id和版本信息，将该离线应用策划个程序的采集客户端卸载并删除，释放系统内存。

根据本文的一个实施例，所述数据采集单元4043进一步包括应用程序数据存储模块40432，用于存储采集到的数据，运维人员可将数据导出进行下一步的处理。

根据本文的一个实施例，所述自适应数据采集装置404进一步包括带宽利用率获取单元4044，用于通过读取服务器/proc目录下的系统运行文件，获取服务器的带宽利用率和cpu使用率。

根据本文的一个实施例，所述自适应数据采集装置404进一步包括数据同步单元4045，用于同步活跃应用程序列表和采集客户端安全性验证结果。

图5所示为本文实施例自适应数据采集方法的数据流图，在本图所示的实施例中描述了自适应数据采集的过程，包括服务器、自适应数据采集装置、分布式采集agent库、管理终端平台，实现了自发现活跃的应用程序，然后自动部署应用程序的采集客户端进行数据采集，提高了对新增应用程序数据采集的实时性。具体过程为：

步骤501：获取服务器上活跃的应用程序。

在本步骤中，自适应数据采集装置自发现服务器上活跃的应用程序，包括新增和离线的应用程序，向服务器发送应用程序ID、版本信息和MD5值获取请求。

步骤502：返回应用程序的id和版本信息。

在本步骤中，服务器从本地/proc目录下该应用程序的ID、版本信息和MD5值，然后发送给自适应数据采集装置。

步骤503：更新活跃应用程序列表。

在本步骤中，根据自发现的活跃应用程序，更新活跃应用程序列表，其中包括新增和删除的应用程序，将新增应用程序ID、版本信息和MD5值记录在活跃应用程序列表中，并从活跃应用程序列表中删除离线应用程序的上述信息。

步骤504：同步活跃应用程序列表至管理终端平台。

在本步骤中，将更新的活跃应用程序列表同步到管理中心平台。

步骤505：更新本地应用程序列表。

在本步骤中，管理终端平台根据同步的活跃应用程序列表，更新本地应用程序列表，例如，将新增应用程序信息记录在本地应用程序列表中，从本地应用程序列表中删除离线的应用程序信息。

步骤506：根据活跃应用程序列表，发送新增应用程序的采集客户端获取请求。

在本步骤中，将新增应用程序的id及版本信息发送至分布式agent库，以便于分布式agent库查找该新增应用程序的采集客户端。此外，根据获取到服务器带宽利用率、服务器cpu利用率和新增应用程序数量，同时发送采集客户端获取方式，包括获取采集客户端安装程序或采集客户端下载链接，当获取方式为获取采集客户端安装程序时，同时将服务器的带宽利用率发送至分布式agent库，以便于分布式agent库根据服务器的带宽利用率发送采集客户端安装程序。

步骤507：接收采集客户端获取请求，发送采集客户端。

在本步骤中，若采集客户端获取方式为获取采集客户端安装程序，则根据自适应数据采集装置发送的服务器带宽利用率，分时向自适应数据采集装置发送采集客户端安装程序，保证服务器和自适应数据采集装置的正常运行；若采集客户端获取方式为获取采集客户端的下载链接，则向采集客户端的下载链接发送至自适应数据采集装置。

步骤508：同步采集服务器获取请求。

在本步骤中，分布式agent库收到采集服务器下载请求后，将下载请求同步至管理终端平台，同步信息包括采集客户端对应的应用程序id及版本信息等。

步骤509：更新本地请求信息列表。

在本步骤中，采集客户端收到采集服务器下载请求同步消息之后，根据新增的采集客户端下载请求更新本地请求信息列表，包括采集客户端id和版本信息等。

管理终端平台通过由步骤505中所述的本地应用程序列表和本地请求信息列表对采集客户端的采集获取请求进行监控。将本地请求列表与本地应用程序列表相比较，判断本地应用程序列表中新增的应用程序是否在本地请求列表中存在对应的获取采集客户端请求，若不存在，则通知自适应数据采集装置再次向分布式agent库发送该应用程序的采集客户端获取请求。

步骤510：获取采集客户端，验证采集客户端的安全性。

在本步骤中，自适应数据采集装置收到分布式agent库发送的采集客户端后，根据获取方式获取采集客户端，若获取方式为获取采集客户端安装程序，则接收安装程序；若获取方式为获取采集客户端下载链接，则根据服务器带宽利用率，分时下载采集客户端。

由于应用程序的数据采集由采集客户客户端完成，为了避免应用成程序的数据不被盗取，自适应数据采集装置在获取到采集客户端后，对采集客户端的安全性进行校验，检验结果为安全后，才会通过采集客户端对应用程序数据进行采集。

首先获取新增应用程序的MD5值，相同id且版本相同的应用程序的MD5值相同，因此在后台生成该应用程序的采集客户端时，将通过所述MD5值计算验证码的计算算法嵌入到采集客户端中，所述计算算法可以为但不限于：将MD5值进行左移1位得到验证码初始值，然后通过SHA1算法得到初始验证码的原始二进制流，在通过BASE64加密算法得到20个字节长度的验证码，并将所述校验码存入到所述新增应用程序中。

在自适应数据采集装置获取到采集客户端后，首先根据所述活跃应用程序列表得到新增应用程序的MD5值和该应用程序的预存校验码，然后利用所述获取到的所述采集客户端计算验证码，将计算得到的验证码与所述新增应用程序的预存验证码进行比较，若比较结果一致，则所述采集客户端的安全性校验通过。

步骤511：若采集客户端安全性验证不通过，则同步安全性验证不通过消息。

在本步骤中，若采集客户端安全性验证结果为不通过，则自适应数据采集装置向管理终端平台同步安全性验证不通过消息。

步骤512：接收安全性验证不通过消息，发送告警。

在本步骤中，管理终端平台收到安全性验证不通过消息后，组织告警信息，其中包括应用程序id和版本信息等，然后向后台运维人员发送告警信息。

步骤513：开始采集应用程序数据。

在本步骤中，若自适应数据采集装置对采集客户端的安全性验证通过，则开始通过采集客户端对应用程序数据进行采集。

步骤514：同步数据采集状态。

在本步骤中，自适应数据采集装置完成对应用程序的数据采集后，向管理终端平台同步数据采集完成消息，后台运维人员可通过数据导出等方式查看应用程序的数据采集状态。

步骤515：监测应用程序离线，获取离线应用程序信息。

在本步骤中，自适应数据采集装置监测到应用程序离线后，向服务器发送离线应用程序信息获取请求。

步骤516：返回离线应用程序信息。

在本步骤中，服务器收到自适应数据采集装置发送的获取请求后，在/proc目录下获取该离线应用程序的信息，发送给自适应数据采集装置。

步骤517：更新活跃应用程序列表，停止数据采集，卸载采集客户端。

在本步骤中，自适应数据采集装置根据离线应用程序信息更新活跃应用程序列表，然后停止采集该离线应用程序的数据，并将该离线应用程序的采集客户端删除，释放内存占用。

步骤518：发送采集客户端更新消息。

在本步骤中，管理终端平台接收后台运维人员指令，向分布式agent库发送采集客户端更新消息，其中包括新增、更改和/或删除的采集客户端信息，以便于采集agent库更新采集客户端。

步骤519：更新采集客户端。

在本步骤中，分布式agent库接收到采集客户端更新消息后，根据消息中新增、更改和/或删除的采集客户端信息，更新采集客户端存储列表，例如，增加新增的采集客户端和其下载链接、替换更新的采集客户端和其下载链接、删除指定的采集客户端及其下载链接。

如图6所示为本文实施例计算机设备的结构示意图，在本中的自适应数据采集装置可以为本实施例中的计算设备，执行上述本文的方法，计算机设备601可以包括一个或多个处理器602，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备601还可以包括任何存储器603，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器603可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备601的固定或可移除部件。在一种情况下，当处理器602执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备601可以执行相关联指令的任一操作。计算机设备601还包括用于与任何存储器交互的一个或多个驱动机构604，诸如硬盘驱动机构、光盘驱动机构等。

计算机设备601还可以包括输入/输出模块605(I/O)，其用于接收各种输入(经由输入设备606)和用于提供各种输出(经由输出设备607))。一个具体输出机构可以包括呈现设备608和相关联的图形用户接口(GUI)609。在其他实施例中，还可以不包括输入/输出模块605(I/O)、输入设备606以及输出设备607，仅作为网络中的一台计算机设备。计算机设备601还可以包括一个或多个网络接口610，其用于经由一个或多个通信链路611与其他设备交换数据。一个或多个通信总线612将上文所描述的部件耦合在一起。

通信链路611可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路611可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。

本文实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

获取所述采集客户端，以用于采集所述应用程序的数据。

本文实施例提供的计算机设备还可以实现如图2、图5中的方法。

对应于图2、图5中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图2、图5所示的方法。

应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。

还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。

另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (11)

1.一种自适应数据采集方法，其特征在于包括，

扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

获取所述采集客户端，以用于采集所述应用程序的数据。

2.根据权利要求1所述的自适应数据采集方法，其特征在于，扫描服务器上运行的应用程序，更新活跃应用程序列表进一步包括，

获取服务器中离线的应用程序；

将所述离线的应用程序在所述活跃应用程序列表中删除；

停止采集所述离线应用程序的数据，卸载所述离线应用程序的采集客户端。

3.根据权利要求1所述的自适应数据采集方法，其特征在于，获取所述采集客户端进一步包括，

接收客户端云平台发送的所述采集客户端的安装包；或，

接收所述客户端云平台发送的所述采集客户端的下载链接。

4.根据权利要求3所述的自适应数据采集方法，其特征在于，根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求进一步包括，

发送所述服务器带宽利用率，使得所述客户端云平台根据所述带宽利用率发送所述采集客户端的安装包。

5.根据权利要求3所述的自适应数据采集方法，其特征在于，获取所述采集客户端进一步包括，

根据所述服务器的带宽利用率，分时获取所述下载链接所指向的采集客户端。

6.根据权利要求1所述的自适应数据采集方法，其特征在于，获取所述采集客户端进一步包括，对获取的所述采集客户端进行安全性校验。

7.根据权利要求6所述的自适应数据采集方法，其特征在于，对获取的所述采集客户端进行安全性校验进一步包括，

获取所述服务器中所述新增活跃应用程序的MD5值；利用所述获取到的所述采集客户端计算所述MD5值对应的验证码；

将通过所述采集客户端计算得到的验证码与所述新增活跃应用程序中预存的验证码进行比较；

当比较结果一致，则所述安全性校验通过。

8.一种自适应数据采集装置，其特征在于包括，

应用程序监控单元，扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

采集客户端获取单元，根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

数据采集单元，接收所述采集客户端，以用于采集所述应用程序的数据。

9.一种自适应数据采集系统，其特征在于包括服务器，客户端云平台以及自适应数据采集装置，

自适应数据采集装置扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；

自适应数据采集装置根据所述活跃应用程序列表，向客户端云平台发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；

客户端云平台接收所述采集客户端获取请求，向自适应数据采集装置发送采集客户端；

自适应数据采集装置收所述采集客户端，采集所述应用程序的数据。

10.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。

11.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。

Images