CN107222361A - 数据采集方法、系统、计算机设备和介质 - Google Patents

Abstract

本发明涉及一种数据数据采集方法、系统、计算机设备和介质。所述方法包括：接收第一计算机设备发送的采集脚本以及对应的采集指令；通过所述采集指令调用所述采集脚本，运行所述采集脚本进行目标数据的采集；将采集到的目标数据返回至所述第一计算机设备；接收所述第一计算机设备返回的与所述采集脚本对应的删除指令；根据所述删除指令对所述采集脚本进行删除。该方法，在无需安装代理软件的情况下实现采集交互，操作简单快捷；采集脚本执行完，从计算机设备删除，释放内存空间，减少对计算机设备资源的占用。

Description

数据采集方法、系统、计算机设备和介质

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据数据采集方法、系统、计算机设备和介质。

背景技术

随着互联网技术的发展，企业的信息技术环境越来越复杂。计算机设备数量庞大，品种繁多，如服务器、云数据中心、移动终端等。为了有效管理计算机设备，采集端需要对被采集端的计算机设备的软硬件信息及其他数据进行采集。但采集端对被采集端计算机设备的数据进行采集的方法均是在被采集端计算机设备上安装代理软件，如Go-Agent(一种代理软件)，Proxy Server Agent(一种代理软件)等，由代理软件对被采集端计算机设备的数据进行采集。但是代理软件会持续占用被采集端计算机设备的存储空间。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效节省计算机设备资源的数据采集方法、系统、计算机设备和介质。

一种数据采集方法，所述方法包括：

接收第一计算机设备发送的采集脚本以及对应的采集指令；

通过所述采集指令调用所述采集脚本，运行所述采集脚本进行目标数据的采集；

将采集到的目标数据返回至所述第一计算机设备；

接收所述第一计算机设备返回的与所述采集脚本对应的删除指令；

根据所述删除指令对所述采集脚本进行删除。在其中一个实施例中，所述采集脚本包括采集项，所述方法还包括

接收多个所述采集脚本以及分别对应的采集指令；

通过所述采集指令调用所述采集脚本，对多个所述采集脚本对应的采集项同步进行目标数据的采集。

在其中一个实施例中，所述方法还包括：

接收所述第一计算机设备发送的采集脚本对应的停止指令，以及再次发送的所述删除指令；

根据所述停止指令停止运行所述采集脚本，根据所述删除指令对所述采集脚本进行删除。

上述数据采集方法，当用户需要调整对目标数据的采集项时，只需相应调整采集脚本即可，避免了对代理软件进行调整的繁琐，减少工作量。

一种数据采集系统，所述系统包括：

第一计算机设备，用于发送采集脚本以及对应的采集指令至第二计算机设备；

第二计算机设备，用于通过所述采集指令调用所述采集脚本，运行所述采集脚本进行目标数据的采集，将采集到的目标数据返回至所述第一计算机设备；

所述第一计算机设备还用于接收所述目标数据，发送与所述采集脚本对应的删除指令；

所述第二计算机设备还用于根据所述删除指令对所述采集脚本进行删除。

在其中一个实施例中，所述采集脚本包括采集项，

所述第一计算机设备还用于发送多个所述采集脚本以及分别对应的采集指令至所述第二计算机设备；

所述第二计算机设备还用于通过所述采集指令调用所述采集脚本，对多个所述采集脚本对应的采集项同步进行目标数据的采集。

在其中一个实施例中，所述第一计算机设备还用于发送与所述采集脚本对应的停止指令以及所述删除指令至第二计算机设备；所述第二计算机设备还用于根据所述停止指令停止运行所述采集脚本，根据所述删除指令对所述采集脚本进行删除。

在其中一个实施例中，所述第二计算机设备还用于获取所述采集脚本的状态标识，当所述采集脚本运行完毕时，通过进程变更所述状态标识，发送变更后的状态标识至所述第一计算机设备；所述第一计算机设备还用于在接收到所述状态标识之后，发送所述删除指令到所述第二计算机设备。

在其中一个实施例中，所述第一计算机设备还用于在接收到所述状态标识之后的指定时间内，判断是否接收到所述目标数据；若是，则发送所述删除指令至所述第二计算机设备；否则，再次发送所述采集指令至所述第二计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明一个实施例中提供的数据采集方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明一个实施例中提供的数据采集方法的步骤。

上述数据采集方法、系统、计算机设备和介质，在无需在计算机设备安装代理软件的情况下，通过采集脚本和采集指令即可与计算机设备实现采集交互，操作简单快捷。当计算机设备执行完采集脚本时，从计算机设备删除采集脚本，释放内存空间，可以减少对计算机设备资源的占用。

附图说明

图1为一个实施例中数据数据采集方法的应用环境图；

图2为一个实施例中数据数据采集方法的流程图；

图3为一个实施例中数据数据采集系统的结构示意图；

图4为一个实施例中数据数据采集系统的时序图；

图5为一个实施例中计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中所提供的数据采集方法，可以应用于如图1所示的应用环境中。第一计算机设备102和第二计算机设备104可以通过网络进行通信。当需要在第二计算机设备104进行目标数据的采集时，客户可以在第一计算机设备102向第二计算机设备104发送采集脚本以及对应的采集指令。本实施例中，目标数据包括第二计算机设备104的硬件信息、软件信息、应用访问信息、应用日志信息、设备性能信息或前述项目的任意组合。第二计算机设备104通过采集指令调用采集脚本，通过进程运行该采集脚本进行目标数据的采集，并将采集到的目标数据返回到第一计算机设备102，从而客户可以在第一计算机设备102获取采集到的目标数据。为了避免执行完毕的采集脚本持续占用第二计算机设备104的存储空间，在第一计算机设备102接收到返回的目标数据之后，第一计算机设备102向第二计算机设备104发送与采集脚本对应的删除指令。第二计算机设备104根据删除指令进行采集脚本的删除，及时释放存储空间。

在一个实施例中，如图2所示，提供了一种数据采集方法，以该方法应用于第二计算机设备为例进行说明，包括以下步骤：

步骤202，接收第一计算机设备发送的采集脚本以及对应的采集指令。

采集脚本包括采集项，对目标数据的采集项不同所需的采集脚本也不同。因此，客户应当根据需要在第二计算机设备采集的目标数据的采集项，编写对应的采集脚本以及采集指令。例如，当需要对第二计算机设备的配置信息进行采集时，假设初始需要对第二计算机设备的配置信息的采集项包括计算机名、操作系统、语言、系统型号、处理器和内存，此后删减了“语言”和“系统型号”两个采集项，同时新增了“系统制造商”和“BIOS(Basic Input/Output System，基本输入输出系统)”两个采集项，则前后两次采集采用的采集脚本不同。

步骤204，通过采集指令调用采集脚本，运行采集脚本进行目标数据的采集。

目标数据包括第二计算机设备的硬件信息、软件信息、应用访问信息、应用日志信息、设备性能信息或前述项目的任意组合。第二计算机设备通过采集指令调用对应的采集脚本，通过进程运行该采集脚本进行目标数据的采集。

步骤206，将采集到的目标数据返回至第一计算机设备。

步骤208，接收第一计算机设备返回的与采集脚本对应的删除指令。

第二计算机设备通过进程运行采集脚本，当采集脚本运行完毕时，通过该进程变更采集脚本的状态标识，发送变更后的状态标识至第一计算机设备。本实施例中，状态标识用于表征采集脚本在第二计算机设备上的执行状态。可以理解，在第一计算机设备发送采集指令到第二计算机设备之前，采集脚本在第二计算机设备的执行状态为“未执行”，假设此时采集脚本的状态标识为第一标识；在第一计算机设备发送采集指令到第二计算机设备之后，采集脚本在第二计算机设备的执行状态为“已执行”，假设此时采集脚本的状态标识为第二标识。可以理解，当采集脚本运行完毕时，采集脚本的状态标识由第一标识转变为第二标识。

进一步的，第一计算机设备在接收到状态标识，且状态标识为第二标识时，发送删除指令至第二计算机设备。应当注意的是，本实施例中，第一计算机设备一旦接收到第二标识，立即发送删除指令至第二计算机设备，不依据目标数据是否已成功接收，以争取在最短的时间内从第二计算机设备删除采集脚本，从而尽可能的减少对第二计算机设备资源的占用。

步骤210，根据删除指令对采集脚本进行删除。

在其中一个实施例中，在接收第一计算机设备发送的采集脚本以及对应的采集指令的步骤之前，还包括：接收第一计算机设备通过应用程序发送的连接请求；根据连接请求生成对应的验证请求，发送验证请求至第一计算机设备；接收第一计算机设备根据验证请求返回的身份信息；对身份信息进行验证，发送验证结果至第一计算机设备；当验证通过时，响应连接请求与第一计算机设备之间通过通道建立连接。其中，采集脚本、状态标识、目标数据、采集指令和删除指令通过通道发送。

本实施例中，通道包括ssh安全通道(Secure Shell，安全的命令通道)。ssh为建立在应用层基础上的安全协议。当然，通道也可以选择其他通信通道，如Snmp(SimpleNetwork Management Protocol,简单网络管理协议)通道等，这里不做限制。

进一步的，针对不同的服务，第二计算机设备设有不同的服务端口，如223端口。第二计算机设备上运行有一个或多个进程，其中包括守护进程。在linux操作系统中，守护进程监听在一个服务端口上等待第一计算机设备上运行的应用程序的连接请求。当守护进程监听到第一计算机设备的连接请求时，第二计算机设备根据该连接请求生产验证请求，发送验证请求至第一计算机设备。第一计算机设备根据验证请求发送获取的身份信息至第二计算机设备。本实施例中，身份信息包括客户名和口令，当然，身份信息也可以包括指纹信息、密钥、身份证信息等其他可以唯一识别客户身份的信息。第二计算机设备对身份进行验证。身份信息的验证避免了非法客户对第二计算机设备的数据的恶意采取，提高了数据的安全性。当验证通过时，与第一计算机设备之间建立连接。

在其中一个实施例中，采集脚本包括采集项，方法还包括：接收多个采集脚本以及分别对应的采集指令；通过采集指令调用采集脚本，对多个采集脚本对应的采集项同步进行目标数据的采集。

具体地，在传统数据采集方法中，代理软件均已进行预先配置，运行代理软件时，代理软件根据预先配置进行某一类数据的采集。但是，一款代理软件通常只能根据预先配置定向采取一类数据，例如，第一代理软件只能硬件信息，第二代理软件只能采集软件信息，第三软件只能采集应用访问信息，第四代理软件只能采集设备性能信息。当需要同步采集上述几类数据时，只能在第二计算机设备同时安装第一代理软件、第二代理软件，第三代理软件和第四代理软件，进一步加重了对第二计算机设备资源的持续占用。

本实施例提供的数据采集方法支持多类目标数据的同步采集。具体的，第一计算机设备发送多个采集脚本以及分别对应的采集指令至第二计算机设备；第二计算机设备通过采集指令调用采集脚本，对多个采集脚本对应的采集项同步进行目标数据的采集。

在其中一个实施例中，方法还包括：接收第一计算机设备发送的采集脚本对应的停止指令，以及再次发送的删除指令；根据停止指令停止运行采集脚本，根据删除指令对采集脚本进行删除。

在数据采集的实际应用环境中，用户在第一计算机设备发送采集脚本和对应的采集指令后，常常发现遗漏了对目标数据的某一项或某几项采集项，或者发现错误添加了一项或几项与采集目标无关的采集项。此时，用户需要终止当前运行中的数据采集线程，在对目标数据的采集项做出调整之后重新进行目标数据的采集。然而，传统的基于代理软件进行目标数据采集的方式中，当需要对目标数据的采集项进行调整时，用户需要对其安装的代理软件也作出相应调整，操作繁琐，降低数据采集效率。本实施例中，当用户需要调整对第二计算机设备的目标数据的采集项时，只需相应调整采集脚本即可，避免了对代理软件进行调整的繁琐，减少工作量。

具体的，本实施例提供的数据采集方法支持随时终止采集脚本的运行，避免因采集错误数据或与采集目标不相关的数据而占用第二计算机设备资源。当用户需要对目标数据的采集项做出调整时，用户通过第一计算机设备发送与采集脚本对应的终止指令至第二计算机设备，并再次发送与该采集脚本对应的删除指令至第二计算机设备。第二计算机设备根据终止指令终止采集脚本对应的采集指令，通过进程终止采集脚本的运行，根据删除指令删除被终止运行的采集脚本。此时，用户可以在第一计算机设备将做出调整后的采集脚本及对应的采集指令发送到第二计算机设备，重新进行目标数据的采集。

在一个实施例中，如图3所示，提供了一种数据采集系统，包括：第一计算机设备302和第二计算机设备304，其中：

第一计算机设备302用于发送采集脚本以及对应的采集指令至第二计算机设备。

第二计算机设备304用于通过采集指令调用采集脚本，运行采集脚本进行目标数据的采集，将采集到的目标数据返回至第一计算机设备。

第一计算机设备302还用于接收目标数据，发送与采集脚本对应的删除指令。

第二计算机设备304还用于根据删除指令对采集脚本进行删除。

在其中一个实施例中，采集脚本包括采集项。第一计算机设备302还用于发送多个采集脚本以及分别对应的采集指令至第二计算机设备304；第二计算机设备304还用于通过采集指令调用采集脚本，对多个采集脚本对应的采集项同步进行目标数据的采集。

在其中一个实施例中，第一计算机设备302还用于发送与采集脚本对应的停止指令以及删除指令至第二计算机设备304；第二计算机设备304还用于根据停止指令停止运行采集脚本，根据删除指令对采集脚本进行删除。

在其中一个实施例中，第二计算机设备304还用于获取采集脚本的状态标识，当采集脚本运行完毕时，通过进程变更状态标识，发送变更后的状态标识至第一计算机设备302；第一计算机设备302还用于在接收到状态标识之后，发送删除指令到第二计算机设备304。

在其中一个实施例中，第一计算机设备302还用于在接收到状态标识之后的指定时间内，判断是否接收到目标数据；若是，则发送删除指令至第二计算机设备304；否则，再次发送采集指令至第二计算机设备304。

具体的，第一计算机设备302在接收到第二标识之后，并不立即发送删除指令至第二计算机设备304，而是依据目标数据是否已成功接收。具体地，当第一计算机设备302接收到第二标识，且在接收到第二标识的指定时间内也接收到目标数据时，第一计算机设备302发送删除指令到第二计算机设备304。指定时间是指自第一计算机设备302接收到状态标识起算的一段时间，其时间长度可以根据实际需求自由设置。如果在指定时间内没有接收到目标数据，可能采集脚本执行失败。此时，第一计算机设备302优选地重新发送采集指令，以保证目标数据采集的成功率及效率。

在一个实施例中，如图4所示，第一计算机设备与第二计算机设备之间对目标数据的采集交互过程如下：

步骤402，第一计算机设备运行应用程序；

步骤404，第一计算机设备向第二计算机设备发起连接请求；

步骤406，第二计算机设备运行守护进程，监听服务端口是否存在连接请求，当监听到连接请求时，第二计算机设备根据连接请求生成验证请求，发送验证请求至第一计算机设备；

步骤408，第一计算机设备根据验证请求获取身份信息；

步骤410，第一计算机设备将获取到的身份信息发送到第二计算机设备；

步骤412，第二计算机设备对身份信息进行验证；

步骤414，当验证通过时，第二计算机设备与第一计算机设备之间通过通道建立连接；

步骤416，第一计算机设备通过通道发送采集脚本以及对应的采集指令至到第二计算机设备；

步骤418，第二计算机设备通过采集指令调用采集脚本，通过进程运行采集脚本进行目标数据的采集，通过该进程变更采集脚本的状态标识；

步骤420，第二计算机设备通过通道发送状态标识和目标数据至第一计算机设备；

步骤422，第一计算机设备通过通道发送删除指令至第二计算机设备。

在一个实施例中，提供了一种计算机设备，如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器、存储在存储器上并可在处理器上运行的计算机程序以及网络接口等。其中，处理器用于提供计算和控制能力。存储器为计算机程序的运行提供环境。网络接口用于据以与客户终端通过网络连接通信。处理器执行计算机程序时实现以下步骤：

接收第一计算机设备发送的采集脚本以及对应的采集指令；

通过采集指令调用采集脚本，运行采集脚本进行目标数据的采集；

将采集到的目标数据返回至第一计算机设备；

接收第一计算机设备返回的与采集脚本对应的删除指令；

根据删除指令对采集脚本进行删除。

该计算机设备可以用独立的服务器来实现；也可以用多个服务器组成的服务器集群来实现，例如，用云数据中心或批量linux(一种操作系统)服务器等来实现；还可以用多个终端设备来实现，例如，用应用于物联网的嵌入式设备，智能手机、平板电脑、笔记本电脑、台式计算机等来实现。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：

接收多个采集脚本以及分别对应的采集指令；其中，采集脚本包括采集项；

通过采集指令调用采集脚本，对多个采集脚本对应的采集项同步进行目标数据的采集。

在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：

接收第一计算机设备发送的采集脚本对应的停止指令，以及再次发送的删除指令；

根据停止指令停止运行采集脚本，根据删除指令对采集脚本进行删除。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

接收第一计算机设备发送的采集脚本以及对应的采集指令；

通过采集指令调用采集脚本，运行采集脚本进行目标数据的采集；

将采集到的目标数据返回至第一计算机设备；

接收第一计算机设备返回的与采集脚本对应的删除指令；

根据删除指令对采集脚本进行删除。

在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：

接收多个采集脚本以及分别对应的采集指令；其中，采集脚本包括采集项；

通过采集指令调用采集脚本，对多个采集脚本对应的采集项同步进行目标数据的采集。

在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：

接收第一计算机设备发送的采集脚本对应的停止指令，以及再次发送的删除指令；

根据停止指令停止运行采集脚本，根据删除指令对采集脚本进行删除。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据采集方法，所述方法包括：

接收第一计算机设备发送的采集脚本以及对应的采集指令；

通过所述采集指令调用所述采集脚本，运行所述采集脚本进行目标数据的采集；

将采集到的目标数据返回至所述第一计算机设备；

接收所述第一计算机设备返回的与所述采集脚本对应的删除指令；

根据所述删除指令对所述采集脚本进行删除。

2.根据权利要求1所述的方法，其特征在于，所述采集脚本包括采集项，所述方法还包括：

接收多个所述采集脚本以及分别对应的采集指令；

通过所述采集指令调用所述采集脚本，对多个所述采集脚本对应的采集项同步进行目标数据的采集。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述第一计算机设备发送的采集脚本对应的停止指令，以及再次发送的所述删除指令；

根据所述停止指令停止运行所述采集脚本，根据所述删除指令对所述采集脚本进行删除。

4.一种数据采集系统，其特征在于，所述系统包括：

第一计算机设备，用于发送采集脚本以及对应的采集指令至第二计算机设备；

第二计算机设备，用于通过所述采集指令调用所述采集脚本，运行所述采集脚本进行目标数据的采集，将采集到的目标数据返回至所述第一计算机设备；

所述第一计算机设备还用于接收所述目标数据，发送与所述采集脚本对应的删除指令；所述第二计算机设备还用于根据所述删除指令对所述采集脚本进行删除。

5.根据权利要求4所述的系统，其特征在于，所述采集脚本包括采集项，所述第一计算机设备还用于发送多个所述采集脚本以及分别对应的采集指令至所述第二计算机设备；所述第二计算机设备还用于通过所述采集指令调用所述采集脚本，对多个所述采集脚本对应的采集项同步进行目标数据的采集。

6.根据权利要求4所述的系统，其特征在于，所述第一计算机设备还用于发送与所述采集脚本对应的停止指令以及所述删除指令至所述第二计算机设备；所述第二计算机设备还用于根据所述停止指令停止运行所述采集脚本，根据所述删除指令对所述采集脚本进行删除。

7.根据权利要求4所述的系统，其特征在于，所述第二计算机设备还用于获取所述采集脚本的状态标识，当所述采集脚本运行完毕时，通过进程变更所述状态标识，发送变更后的状态标识至所述第一计算机设备；所述第一计算机设备还用于在接收到所述状态标识之后，发送所述删除指令到所述第二计算机设备。

8.根据权利要求7所述的系统，其特征在于，所述第一计算机设备还用于在接收到所述状态标识之后的指定时间内，判断是否接收到所述目标数据；若是，则发送所述删除指令至所述第二计算机设备；否则，再次发送所述采集指令至所述第二计算机设备。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3中任意一项所述方法的步骤。