CN115392501A - 数据采集方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种数据采集方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：接收数据采集请求；从预设组件库中，获取与数据采集请求匹配的采集组件模型；根据采集组件模型的预设指标变量，建立采集编排任务；执行采集编排任务，进行数据采集。本申请实施例通过采集组件模型及其对应的预设指标变量，建立采集编排任务，使得可以根据需求选取采集组件模型和采集组件模型的预设指标变量，能够满足用户不同的采集需求，提升了采集任务建立的灵活性，实现了自定义采集。

Description

数据采集方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种数据采集方法、装置、电子设备及存储介质。

背景技术

在计算机技术领域，IT(Internet Technology，互联网技术)运维管理指的是在网络的基础设施建设完成之后，运维人员对运行环境(包括物理网络，软硬件环境等)、业务系统等进行维护管理等相关工作。通常情况下，IT运维管理是基于运维系统进行的，通过设置运维系统，对网络设备、服务器设备、操作系统的运行状况进行监控和管理。在运维管理过程中，需要采集所管理的系统、设备的运维数据，运维系统在采集运维数据的过程中，通常是按照固定的方式进行采集，采集方式固化、灵活性较差。

发明内容

本申请实施例提供了一种数据采集方法、装置、电子设备及存储介质，可以解决现有技术中运维系统采集运维数据的方式固化、灵活性较差的问题。

所述技术方案如下：

根据本申请实施例的一个方面，提供了一种数据采集的方法，该方法包括：

接收数据采集请求；

从预设组件库中，获取与所述数据采集请求匹配的采集组件模型；

根据所述采集组件模型的预设指标变量，建立采集编排任务；

执行所述采集编排任务，进行数据采集。

可选地，所述从预设组件库中，获取与所述数据采集请求匹配的采集组件模型，包括：

确定所述数据采集请求对应的采集对象类型；

根据预设对应关系，从所述预设组件库中获取与所述采集对象类型对应的采集组件模型；其中，所述预设对应关系为所述采集对象类型与所述采集组件模型之间的对应关系。

可选地，所述根据所述采集组件模型的预设指标变量，建立采集编排任务，包括：

获取所述采集组件模型的预设指标变量；

根据所述采集组件模型及其对应的预设指标变量，建立所述采集编排任务；其中，所述采集组件模型包括与所述预设指标变量对应的采集指标。

可选地，所述根据所述采集组件模型的预设指标变量，建立采集编排任务之后，所述方法还包括：

根据所述采集编排任务的预设指标变量，将所述采集编排任务中至少两个相同的采集编排任务合并。

可选地，所述根据所述采集编排任务的预设指标变量，将所述采集编排任务中至少两个相同的采集编排任务合并，包括：

根据所述采集编排任务的预设指标变量，对所述采集编排任务进行分类，将每一预设指标变量相同的采集编排任务划分为一类；

将每一类中的至少两个采集编排任务合并为一个采集编排任务。

可选地，所述执行所述采集编排任务，进行数据采集之后，所述方法还包括：

获取预设的存储模式；

基于所述存储模式，将采集得到的数据进行存储；其中，所述存储模式包括外部存储、云端存储和标准库存储。

可选地，所述基于所述存储模式，将采集得到的数据进行存储，包括：

在所述存储模式为外部存储的情况下，获取外部存储路径；

将采集得到的数据发送至所述外部存储路径进行存储。

根据本申请实施例的另一个方面，提供了一种数据采集装置，该装置包括：

请求接收模块，用于接收数据采集请求；

采集组件模型确定模块，用于从预设组件库中，获取与所述数据采集请求匹配的采集组件模型；

采集编排任务建立模块，用于根据所述采集组件模型的预设指标变量，建立采集编排任务；

数据采集模块，用于执行所述采集编排任务，进行数据采集。

根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一种数据采集方法的步骤。

根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种数据采集方法的步骤。

本申请实施例提供的技术方案带来的有益效果是：

通过在接收到数据采集请求之后，从预设组件库中获取与数据采集请求匹配的采集组件模型，通过采集组件模型及其对应的预设指标变量，建立采集编排任务，使得可以根据需求选取采集组件模型和采集组件模型的预设指标变量，能够满足用户不同的采集需求，提升了采集任务建立的灵活性，实现了自定义采集。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种数据采集方法的流程示意图；

图2为本申请实施例提供的一种数据采集装置的结构示意图；

图3为本申请另一实施例提供的一种数据采集装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

IT运维监控(也称：IT综合管理系统)是一系列IT管理产品的统称，它所包含的产品功能强大、易于使用、解决方案齐全，可一站式满足用户的各种IT管理需求。基于实践Google SRE理念，IT运维人员工作由解决运维问题逐渐向开发运维工具进行延伸，出现了各种各样的运维应用。

传统意义上的开发行为和运维行为存在的脱节现象，导致了大量冲突，同时降低了效率。因此，DevOps(敏捷运维)应运而生，DevOps可以理解为开发和运维的组合，DevOps是一个集合性概念，指的是能够理顺开发和运维之间相互配合关系的任何事物。目前，DevOps得到了广泛的关注。

IT运维管理是基于运维系统进行的，现有的基于DevOps开发的运维系统在采集运维数据的过程中，通常是按照固定的方式进行采集，采集方式固化、灵活性较差。

下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

本申请实施例中提供了一种数据采集方法，图1为本申请实施例提供的数据采集方法的流程示意图，可选地，本申请实施例所提供的方案可以由任一电子设备执行，例如运维系统；所述运维系统可以是终端设备，也可以是服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。对于现有技术中所存在的技术问题，本申请提供的数据采集方法、装置、电子设备及存储介质，旨在解决现有技术的技术问题中的至少一项。

为了便于说明，后续以所述数据采集方法应用于运维系统介绍，然而这并不构成对本申请实施例的限制。

如图1所示，该方法包括：

步骤101，接收数据采集请求；

具体地，数据采集请求可以是用户通过指令发送的数据采集请求，用于启动数据采集的任务，其中，数据采集请求可以来自同一个用户，也可以来自不同的用户，所述用户例如运维系统的客户端；数据采集请求也可以是所述运维系统的上层应用发送的指令。

数据采集请求可以包括用户指定的采集对象的信息，例如采集对象的设备类型、采集对象的设备编号等；也可以包括采集数据的数据类型，例如运行类数据、状态类数据、容量类数据等；本申请实施例对数据采集请求的具体内容不做具体限定。

步骤102，从预设组件库中，获取与数据采集请求匹配的采集组件模型；

具体地，预设组件库可以由多个采集组件模型组成；预设组件库可以是预先建立的，具体可以通过如下方式建立预设组件库：首先，收集大量历史采集任务数据，然后，对获取的大量历史采集任务数据进行整合，得到多个采集组件模型，进而构建得到预设组件库。

其中，采集组件模型可以为针对一个采集对象类型的采集编排任务的模板，一个采集组件模型可以对应一个采集对象类型；采集组件模型可以包括采集编排任务的各个采集指标，采集指标例如采集的时间周期、采集的频率、采集的数据类型等。

接收到数据采集请求之后，运维系统可以从数据采集请求中获取采集编排任务的信息；并基于采集编排任务的信息，从预设组件库中调用与数据采集请求匹配的采集组件模型，以供后续建立采集编排任务使用。

其中，一个数据采集请求可以匹配一个采集组件模型，也可以匹配多个采集组件模型。例如，用户A发送的数据采集请求a包括采集CPU(Central Processing Unit，中央处理器)的运行数据，用户B发送的数据采集请求b包括采集CPU的运行数据和内存的容量数据；则与数据采集请求a匹配的采集组件模型为CPU采集组件模型，与数据采集请求b匹配的采集组件模型为CPU采集组件模型和内存采集组件模型。

步骤103，根据采集组件模型的预设指标变量，建立采集编排任务；

具体地，在得到采集组件模型之后，可以根据采集组件模型的预设指标变量，确定采集组件模型包含的各个采集指标的具体参数，例如，当采集指标为采集时间周期时，采集指标对应的具体参数可以为采集时间周期的数值，比如15分钟；当采集指标为采集数据类型时，采集指标对应的具体参数可以为采集数据的具体类型，比如运行频率数据。

基于采集组件模型确定的采集对象类型的信息，和采集组件模型包含的各个采集指标的参数信息，进而可以构建得到采集编排任务。例如，采集对象类型的信息为CPU，采集组件模型包含的各个采集的参数信息包括设备编号为204，采集时间周期为15分钟，采集数据类型为运行频率数据，则可以建立“采集204号设备CPU在15分钟内的运行频率数据”的采集编排任务。

可选地，根据一个采集组件模型，可以建立一个采集编排任务，也可以见建立多个采集编排任务，具体方式包括但不限于：在确定采集组件模型之后，可以通过改变该采集组件模型中至少一个采集指标的预设指标变量，即可建立得到多个采集编排任务。

步骤104，执行采集编排任务，进行数据采集。

具体地，在得到采集编排任务之后，可以通过运行采集编排任务对应的脚本执行采集编排任务，并基于采集编排任务中的采集对象信息和采集指标信息，进行数据采集。

其中，采集编排任务的数量可以为一个或多个。当采集编排任务的数量为多个时，可以对多个采集编排任务同时执行，也可以按照预设的顺序对多个采集编排任务依次执行，本申请实施例对采集编排任务的执行方式不做具体限定。

可选地，根据运维系统的CPU和内存状态，确定采集编排任务的执行方式。当运维系统的CPU和内存资源充足时，同时执行多个采集编排任务同时执行；当运维系统的CPU或内存资源不足时，分批次执行多个采集编排任务。

本申请实施例中，在接收到数据采集请求之后，从预设组件库中获取与数据采集请求匹配的采集组件模型，通过采集组件模型及其对应的预设指标变量，建立采集编排任务，使得可以根据需求选取采集组件模型和采集组件模型的预设指标变量，能够满足用户不同的采集需求，提升了采集任务建立的灵活性，实现了自定义采集。

作为一种可选实施例，步骤102包括：

确定数据采集请求对应的采集对象类型；

具体地，在接收到数据采集请求之后，可以基于数据采集请求，确定进行数据采集的一个或多个采集对象类型。其中，采集对象类型可以为需要采集数据的硬件或软件类型，采集对象类型可以包括主机、CPU、内存、服务器等硬件设备，也可以为特定的软件系统，本申请实施例对此不做具体限定。

根据预设对应关系，从预设组件库中获取与采集对象类型对应的采集组件模型；其中，预设对应关系为采集对象类型与采集组件模型之间的对应关系。

具体地，预设对应关系可以为采集对象类型与采集组件模型之间的映射关系，预设对应关系可以预先建立并存储在运维系统的本地数据库中。在确定数据采集请求中的采集对象类型之后，可以根据预设对应关系，从预设组件库中筛选出与采集对象类型对应的采集组件模型，以供进一步建立采集编排任务。

作为一种可选实施例，步骤103包括：

获取采集组件模型的预设指标变量；

根据采集组件模型及其对应的预设指标变量，建立采集编排任务；其中，采集组件模型包括与预设指标变量对应的采集指标。

具体地，采集组件模型的预设指标变量可以为该采集组件模型包括的各个采集指标对应的具体参数，一个采集组件模型包括至少一个采集指标，每一个采集指标存在一个与其对应的预设指标变量。例如，CPU采集组件模型包括设备编号、采集时间和数据类型三个采集指标，上述三个采集指标分别对应的预设指标变量可以为204号、15分钟和运行频率数据。

此外，一个采集组件模型可以对应一组预设指标变量，也可以对应多组预设指标变量，结合上述示例，对于CPU采集组件模型(设备编号，采集时间，数据类型)，与其对应的一组预设指标变量可以为(204号，15分钟，运行频率数据)，与其对应的另一组预设指标变量可以为(205号，15分钟，运行频率数据)。

采集组件模型的预设指标变量可以基于接收到的数据采集请求获取得到的，也可以是在确定采集组件模型之后，通过与用户的交互获取得到的。

例如，本申请实施例提供的数据采集方法可以通过运维系统实现，系统UI界面左边设置有工具栏，右边设置有空白的画布，工具栏中包括多个工具按钮，每一个工具按钮对应一个采集组件模型，用户可以根据需求从工具栏中选取工具按钮，并将选取的工具按钮拖动至右侧的画布中，根据用户的上述操作，运维系统即可确定采集组件模型，选取的工具按钮被拖动至画布之后可以以对话框的形式呈现，在此基础上，用户可以在对应的对话框中输入采集组件模型包括的各个采集指标的具体参数，运维系统即可确定采集组件模型的预设指标变量。

在得到预设指标变量之后，根据采集组件模型以及与其对应的预设指标变量，可以得到数据采集任务的详细信息，进而可以建立对应的采集编排任务。例如，在获取得到CPU采集组件模型(设备编号，采集时间，数据类型)对应的采集预设指标变量为(204号，15分钟，运行频率数据)之后，即可建立“采集204号设备CPU在15分钟内的运行频率数据”的采集编排任务。

现有的数据采集方法是基于预设脚本执行采集编排任务，一个预设运行脚本对应一个采集编排任务，系统预先存储了多个采集编排任务对应的预设脚本，如果基于接收到的数据采集请求确定的采集编排任务与存储的采集编排任务吻合，则可以执行对应的预设脚本，进行数据采集，但是当用户请求的采集编排任务没有预先存储，则在接收到用户的数据采集请求之后，需要后台的运维人员现场临时进行脚本的编写。

例如，系统预先存储的采集编排任务为“采集204号设备CPU在10分钟内的运行频率数据”，如果接收到“204号设备上CPU在15min内的运行频率数据”的采集编排任务，后台的运维人员需要临时为用户提出的采集编排任务的整体编写脚本，增加了运维人员的工作量，提高了开发成本，降低了数据采集的效率，且存在重复开发的问题，造成了资源的浪费。

本申请实施例中，通过采集组件模型，模块化建立采集编排任务，由于采集组件模型是预设建立好的，其对应的脚本也是预先编写好的，当接收到新的采集需求时，只需要修改采集组件模型对应的预设脚本中各个采集指标的参数信息，不需要额外编码代码，即可执行采集编排任务，减少了开发成本，提高了数据采集的效率。

由于不同用户之间可能存在相同的数据采集需求，因此基于不同用户的数据采集请求建立的采集编排任务可能存在重复，如果直接执行建立的全部采集编排任务，将极大降低了系统运行的效率，增加了数据传输的压力，不仅造成了资源上的浪费，而且影响了采集的效果。

针对上述问题，作为一种可选实施例，步骤103之后还包括：

根据采集编排任务的预设指标变量，将采集编排任务中至少两个相同的采集编排任务合并。

具体地，为避免重复执行相同的采集编排任务，在得到采集编排任务之后，可以对采集编排任务进行筛选。

由于采集编排任务是基于采集组件模型及其对应的预设指标变量确定的，且一个采集组件模型可以对应多个采集编排任务，因此，基于采集组件模型，即采集对象类型，无法区分出不同的采集编排任务。

但是，不同的采集编排任务中各个指标的具体参数通常是不同的，且不同的采集组件模型包括的采集指标的数量和类型不尽相同，因此，采集编排任务的预设指标变量可以对不同的采集编排任务进行有效区分。

根据采集编排任务的预设指标变量，将各个预设指标变量全部相同的采集编排任务作为相同的采集编排任务，并将至少两个相同的采集编排任务进行合并。其中，可以将相同的多个采集编排任务全部合并为一个采集编排任务，也可以对相同的多个采集编排任务进行部分合并，本申请实施例对比不做具体限定。

需要说明的是，虽然来自不同用户的相同的采集编排任务可能只被执行一次，但是可以将基于合并之后的采集编排任务采集的数据分发给合并之前多个采集编排任务对应的各个用户，以防止个别用户无法接收到数据采集结果的情况。

本申请实施例中，根据采集编排任务的预设指标变量，将采集编排任务中至少两个相同的采集编排任务合并，减少相同采集编排任务的数量，提高了系统的运行效率，进而提升了数据采集的效率。

作为一种可选实施例，所述根据采集编排任务的预设指标变量，将采集编排任务中至少两个相同的采集编排任务合并，包括：

根据采集编排任务的预设指标变量，对采集编排任务进行分类，将每一预设指标变量相同的采集编排任务划分为一类；

将每一类中的至少两个采集编排任务合并为一个采集编排任务。

具体地，由于采集编排任务的预设指标变量可以对采集编排任务进行有效区分，因此，可以基于根据采集编排任务的预设指标变量，对采集编排任务进行分类，将每一预设指标变量都相同的采集编排任务划分为一类。

对于每一类中的多个采集编排任务，可以将每一类中至少两个采集编排任务合并为一个采集编排任务。其中，可以将每一类中的多个采集编排任务全部合并为一个采集编排任务，也可以对每一类中的多个采集编排任务进行部分合并，本申请实施例对比不做具体限定。

可选地，基于采集编排任务建立的时间，将每一类中建立时间在同一预设时间段内的多个采集编排任务合并为一个采集编排任务，例如，将每一类中建立时间在8点到8点5分之内的多个采集编排任务合并为一个采集编排任务，将每一类中建立时间在8点5分到8点10分之内的多个采集编排任务合并为另一个采集编排任务。

作为一种可选实施例，步骤104之后还包括：

获取预设的存储模式；

基于存储模式，将采集得到的数据进行存储；其中，存储模式包括外部存储、云端存储和标准库存储。

具体地，在完成数据采集之后，还需要将采集得到的数据反馈给用户，为了满足不同的存储需求，可以获取预设的存储模式。其中，预设的存储模式可以是系统默认设置的，也可以根据用户需求设置的。当预设的存储模式是根据用户需求设置时，预设的存储模式可以是基于接收到的数据采集请求确定的。

预设的存储模式可以包括外部存储、云端存储和标准库存储。其中，外部存储指的是将采集得到的数据存储在用户指定的外部存储路径中，云端存储指的是将采集得到的数据存储在云端，标准库存储指的是将采集得到的数据存储在系统内部后台的数据库中。

预设的存储模式可以是根据用户需求设置的，例如，当需要保证数据的安全性时，可以采用标准库存储；当需要将数据与其他用户共享时，可以采用外部存储。通过设置不同的存储模式，能够满足用户不同的存储需求。

此外，预设的存储模式可以包括外部存储、云端存储和标准库存储三种模式中的一种或多种，即可以根据需求设置一种或多种存储模式对采集的数据进行存储。例如，预设的存储模式包括外部存储和标准库存储两种存储模式，在此基础上，采集得到的数据既可以通过外部存储共享给其他用户，也可以通过标准库存储以供用户进行本地查阅和下载。

可选地，系统可以将云端存储和/或标准库存储作为默认的存储方式，当没有接收到没有指定存储模式或者用户指定的外部存储路径不存在时，为了不丢失采集得到的数据，可以将采集得到的数据存储在云端和/或标准库中，以便后续用户对数据进行查阅和下载。

现有的运维系统中，对于已经采集得到的数据，无法对外开放，存在采集能力无法复用的问题。

针对上述问题，作为一种可选实施例，所述基于所述存储模式，将采集得到的数据进行存储，包括：

在存储模式为外部存储的情况下，获取外部存储路径；

将采集得到的数据发送至外部存储路径进行存储。

具体地，当存储模式为外部存储时，可以获取用户输入的外部存储路径，其中，外部存储路径可以是基于用户的数据请求确定的，也可以是在完成数据采集之后，通过与用户的交互确定的，本申请实施例对外部存储路径的获取方式不作具体限定。在得到外部存储路径之后，可以将采集得到的数据发送至外部存储路径进行存储，可选地，可以基于kafka存储方式或ftp存储方式进行存储。

例如，当用户A委托用户B执行对目标系统C的数据采集任务时，用户B可以将存储模式设置为外部存储，将外部存储路径设置为用户A指定的存储路径，当完成数据采集时，采集得到的数据可以直接反馈给用户A，无需经过用户B进行转交，提高了数据共享的效率。

本申请实施例中，通过设置外部存储的存储模式，并将采集得到的数据发送至外部存储路径进行存储，提高了数据共享的效率，能够实现采集能力的复用。

图2为本申请实施例提供的一种数据采集装置的结构示意图，如图2所示，本实施例的装置可以包括：

请求接收模块201，用于接收数据采集请求；

采集组件模型确定模块202，用于从预设组件库中，获取与所述数据采集请求匹配的采集组件模型；

采集编排任务建立模块203，用于根据所述采集组件模型的预设指标变量，建立采集编排任务；

数据采集模块204，用于执行所述采集编排任务，进行数据采集。

本申请实施例中，通过请求接收模块201接收数据采集请求，采集组件模型确定模块202从预设组件库中，获取与所述数据采集请求匹配的采集组件模型，采集编排任务建立模块203根据所述采集组件模型的预设指标变量，建立采集编排任务，数据采集模块204执行所述采集编排任务，进行数据采集。通过采集组件模型及其对应的预设指标变量，建立采集编排任务，使得可以根据需求选取采集组件模型和采集组件模型的预设指标变量，能够满足用户不同的采集需求，提升了采集任务建立的灵活性，实现了自定义采集。

作为一种可选实施例，采集组件模型确定模块202包括：

采集对象类型确定子模块，用于确定所述数据采集请求对应的采集对象类型；

采集组件模型确定子模块，用于根据预设对应关系，从所述预设组件库中获取与所述采集对象类型对应的采集组件模型；其中，所述预设对应关系为所述采集对象类型与所述采集组件模型之间的对应关系。

作为一种可选实施例，采集编排任务建立模块203包括：

预设指标变量获取子模块，用于获取所述采集组件模型的预设指标变量；

采集编排任务建立子模块，用于根据所述采集组件模型及其对应的预设指标变量，建立所述采集编排任务；其中，所述采集组件模型包括与所述预设指标变量对应的采集指标。

作为一种可选实施例，该装置还包括：

任务合并模块，用于根据所述采集编排任务的预设指标变量，将所述采集编排任务中至少两个相同的采集编排任务合并。

作为一种可选实施例，任务合并模块包括：

任务分类子模块，用于根据所述采集编排任务的预设指标变量，对所述采集编排任务进行分类，将每一预设指标变量相同的采集编排任务划分为一类；

任务合并子模块，用于将每一类中的至少两个采集编排任务合并为一个采集编排任务。

作为一种可选实施例，该装置还包括：

存储模块，用于获取预设的存储模式；

基于所述存储模式，将采集得到的数据进行存储；其中，所述存储模式包括外部存储、云端存储和标准库存储。

作为一种可选实施例，存储模块包括：

外部存储子模块，用于在所述存储模式为外部存储的情况下，获取外部存储路径；

将采集得到的数据发送至所述外部存储路径进行存储。

图3为本申请实施例提供的一种数据采集装置的结构示意图，如图3所示，本实施例的装置可以包括：

请求接收模块201，用于接收数据采集请求；

采集组件模型确定模块202，用于从预设组件库中，获取与所述数据采集请求匹配的采集组件模型；

采集编排任务建立模块203，用于根据所述采集组件模型的预设指标变量，建立采集编排任务；

数据采集模块204，用于执行所述采集编排任务，进行数据采集；

任务合并模块205，用于根据所述采集编排任务的预设指标变量，将所述采集编排任务中至少两个相同的采集编排任务合并；

存储模块206，用于获取预设的存储模式；

基于所述存储模式，将采集得到的数据进行存储；其中，所述存储模式包括外部存储、云端存储和标准库存储；

其中，存储模块206包括：

外部存储子模块216，用于在所述存储模式为外部存储的情况下，获取外部存储路径；

将采集得到的数据发送至所述外部存储路径进行存储；

云端存储子模块226，用于在所述存储模式为云端存储的情况下，将采集得到的数据发送至云端进行存储；

标准库存储子模块236，用于在所述存储模式为标准库存储的情况下，将采集得到的数据存储至标准库。

本申请实施例提供的数据采集装置，具有丰富的采集脚本以及上千种标准指标，具备多种通道采集能力，例如JDBC、SHELL等等，基础条件也完善，纳管设备网络策略全线开通，从能力目录中选择对应的采集组件模型，修改变量(确定编排指标变量)即可实现采集业务需求，实现零代码化敏捷实现个性化采集，减少系统重复建设，合并采集任务则有效降低设备压力，不断丰富采集组件的对象种类和指标数量，提供更加易用的一站式可视化采集编排中心平台

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现上述数据采集方法的步骤，与相关技术相比可实现：通过在接收到数据采集请求之后，从预设组件库中获取与数据采集请求匹配的采集组件模型，通过采集组件模型及其对应的预设指标变量，建立采集编排任务，使得可以根据需求选取采集组件模型和采集组件模型的预设指标变量，能够满足用户不同的采集需求，提升了采集任务建立的灵活性，实现了自定义采集。

在一个可选实施例中提供了一种电子设备，如图4所示，图4所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。

存储器4003用于存储执行本申请实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (10)

1.一种数据采集方法，其特征在于，包括：

接收数据采集请求；

从预设组件库中，获取与所述数据采集请求匹配的采集组件模型；

根据所述采集组件模型的预设指标变量，建立采集编排任务；

执行所述采集编排任务，进行数据采集。

2.根据权利要求1所述的数据采集方法，其特征在于，所述从预设组件库中，获取与所述数据采集请求匹配的采集组件模型，包括：

确定所述数据采集请求对应的采集对象类型；

根据预设对应关系，从所述预设组件库中获取与所述采集对象类型对应的采集组件模型；其中，所述预设对应关系为所述采集对象类型与所述采集组件模型之间的对应关系。

3.根据权利要求1所述的数据采集方法，其特征在于，所述根据所述采集组件模型的预设指标变量，建立采集编排任务，包括：

获取所述采集组件模型的预设指标变量；

根据所述采集组件模型及其对应的预设指标变量，建立所述采集编排任务；其中，所述采集组件模型包括与所述预设指标变量对应的采集指标。

4.根据权利要求1至3中任一项所述的数据采集方法，其特征在于，所述根据所述采集组件模型的预设指标变量，建立采集编排任务之后，所述方法还包括：

根据所述采集编排任务的预设指标变量，将所述采集编排任务中至少两个相同的采集编排任务合并。

5.根据权利要求4所述的数据采集方法，其特征在于，所述根据所述采集编排任务的预设指标变量，将所述采集编排任务中至少两个相同的采集编排任务合并，包括：

根据所述采集编排任务的预设指标变量，对所述采集编排任务进行分类，将每一预设指标变量相同的采集编排任务划分为一类；

将每一类中的至少两个采集编排任务合并为一个采集编排任务。

6.根据权利要求1至3中任一项所述的数据采集方法，其特征在于，所述执行所述采集编排任务，进行数据采集之后，所述方法还包括：

获取预设的存储模式；

基于所述存储模式，将采集得到的数据进行存储；其中，所述存储模式包括外部存储、云端存储和标准库存储。

7.根据权利要求6所述的数据采集方法，其特征在于，所述基于所述存储模式，将采集得到的数据进行存储，包括：

在所述存储模式为外部存储的情况下，获取外部存储路径；

将采集得到的数据发送至所述外部存储路径进行存储。

8.一种数据采集装置，其特征在于，包括：

请求接收模块，用于接收数据采集请求；

采集组件模型确定模块，用于从预设组件库中，获取与所述数据采集请求匹配的采集组件模型；

采集编排任务建立模块，用于根据所述采集组件模型的预设指标变量，建立采集编排任务；

数据采集模块，用于执行所述采集编排任务，进行数据采集。

9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

Images