CN112925686A - 数据采集方法、服务器、系统及存储介质 - Google Patents

Abstract

本发明实施例提供一种数据采集方法、服务器、系统及存储介质，通过管理服务器为业务服务器生成采集任务并发送给业务服务器，其中，采集任务中包括采集配置文件，采集配置文件包括待采集的业务数据类型，业务服务器根据采集任务采集业务数据，并基于采集到的业务数据生成采集数据发送给管理服务器，管理服务器存储采集数据，在某些实施过程中，通过为业务服务器生成采集任务，实现了定制化采集任务，降低了存储消耗，并降低了采集数据传输过程中所消耗的通信资源。

Description

数据采集方法、服务器、系统及存储介质

技术领域

本发明实施例涉及但不限于数据处理领域，具体而言，涉及但不限于一种数据采集方法、服务器、系统及存储介质。

背景技术

随着当今社会中网络业务需求的急剧增长，网络业务以及业务服务器不断增加，为了对业务服务器进行管理，需要获取获取业务服务器的业务数据。传统获取业务服务器中的业务数据通常是通过日志服务器方式，即业务服务器运行过程中生成日志，将生成的日志发送给日志服务器，日志服务器从接收到的日志中获取业务服务器的业务数据，这种方式中，业务服务器运行过程中生成的日志较多，需要占用很大的存储消耗，且数据传输过程中占用较多通信资源。

发明内容

本发明实施例提供的数据采集方法、装置、系统及存储介质，主要解决的技术问题是数据采集过程占用很大的存储消耗和通信资源。

为解决上述技术问题，本发明实施例提供一种数据采集方法，包括：

为业务服务器生成采集任务，所述采集任务包括采集配置文件，所述采集配置文件包括待采集的业务数据类型；

将所述采集任务发送给所述业务服务器；

接收所述业务服务器根据所述采集任务获取到的采集数据，并存储。

本发明实施例还提供一种数据采集方法，包括：

接收管理服务器发送的采集任务，所述采集任务包括采集配置文件，所述采集配置文件包括待采集的业务数据类型；

根据所述采集任务采集业务数据；

基于所述业务数据生成采集数据并发送给所述管理服务器。

本发明实施例还提供一种管理服务器，包括：第一处理器、第一存储器及第一通信总线；

所述第一通信总线用于实现第一处理器和第一存储器之间的连接通信；

所述第一处理器用于执行第一存储器中存储的一个或者多个计算机程序，以实现上述第一种数据采集方法的步骤。

本发明实施例还提供一种业务服务器，包括：第二处理器、第二存储器及第二通信总线；

所述第二通信总线用于实现第二处理器和第二存储器之间的连接通信；

所述第二处理器用于执行第二存储器中存储的一个或者多个计算机程序，以实现上述第二种的数据采集方法的步骤。

本发明实施例还提供一种存储介质，所述存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现上述第一种数据采集方法的步骤，或，实现上述第二种数据采集方法的步骤。

本发明的有益效果是：

根据本发明实施例提供的数据采集方法、服务器、系统及存储介质，通过管理服务器为业务服务器生成采集任务并发送给业务服务器，其中，采集任务中包括采集配置文件，采集配置文件包括待采集的业务数据类型，业务服务器根据采集任务采集业务数据，并基于采集到的业务数据生成采集数据发送给管理服务器，管理服务器存储采集数据，在某些实施过程中，通过为业务服务器生成采集任务，实现了定制化采集任务，降低了存储消耗，并降低了采集数据传输过程中所消耗的通信资源。

本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。

附图说明

图1为本发明实施例一的数据采集方法流程图；

图2为本发明实施例一的注册流程图；

图3为本发明实施例二的数据采集方法流程图；

图4为本发明实施例二的一种生成采集数据的流程图；

图5为本发明实施例二的又一种生成采集数据的流程图；

图6为本发明实施例三的数据采集方法的流程图；

图7为本发明实施例五的管理服务器结构示意图；

图8为本发明实施例五的业务服务器结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

为了解决数据采集过程占用很大的存储消耗和通信资源的问题，本发明实施例提供一种数据采集方法，参见图1所示，数据采集方法包括：

S101、为业务服务器生成采集任务。

本发明实施例中，管理服务器可以为业务服务器生成采集任务，从而实现采集任务的定制化。需要说明的是，不同的业务服务器，为其生成的采集任务可以不同。其中，采集任务包括采集配置文件，采集配置文件包括该业务服务器待采集的业务数据类型，也即，采集配置文件包括该业务服务器需要采集的业务数据类型，应当理解的是，业务数据类型用于指示该业务服务器需要采集的业务数据，例如，业务数据类型可以包括内存大小、内存消耗情况等。其中，业务数据类型可以包括日志类型业务数据和/或非日志类型业务数据，需要说明的是，日志类型业务数据为可以从业务服务器生成的日志中获取的业务数据，非日志类型业务数据为无法从业务服务器生成的日志中获取的业务数据，例如系统情况、业务数据库情况、业务服务器部署的微服务的情况等业务数据。对于日志类型业务数据，业务数据类型可以包括日志类型，以用于指示待获取的日志的类型，例如，服务器的日志、业务日志等。

本发明实施例中，采集配置文件还可以包括以下数据中的至少一种：业务数据处理方式、度量指标生成方式、采集数据上报周期。

需要说明的是，业务数据处理方式为业务服务器基于业务数据类型采集业务数据后，对采集到的业务数据进行处理的处理方式，以指示业务服务器如何对业务数据进行处理。其中，业务数据处理方式包括但不限于以下方式中的至少一种：数据筛选方式、降维度处理方式。

本发明实施例中，数据筛选方式用于指示业务服务器如何对业务数据进行筛选，这样，可以从采集到的业务数据中筛选出关键数据，去除掉没有用的数据，从而进一步降低了内存消耗。应当理解的是，数据筛选方式包括筛选条件，其中，可以通过设置关键字，从业务数据中筛选出包括关键字的业务数据，例如，假设采集到的业务数据包括2条日志，分别为：“this[is]a|word fun”、“this[is]a|fun”，关键字为“word”，则筛选出第一条日志；也可以通过设置数据提取位置，从业务数据中提取该位置处的业务数据，例如，假设采集到的业务数据为“this[is]a|word fun”，数据提取位置为键2(需要说明的是，日志由键值对组成，键值唯一，因此，键值可以作为数据提取位置)，则从日志中提取出第2个字段的数据“is”；也可以通过设置数据提取位置以及对应的范围，从业务数据中筛选中该位置处值处于对应范围的业务数据，例如，位置可以设置为键1，范围设置为0-100，则从业务数据中提取第1个字段上值处于0-100的数据；当然，本发明实施例中，数据筛选条件包括但不限于上述方式。需要说明的是，数据筛选方式可以包括一种筛选条件，也可以包括至少两种筛选条件，各筛选条件可以独立进行筛选，也可以进行组合。本发明实施例中，数据筛选方式，除了包括筛选条件，还可以包括筛选方式，筛选方式包括但不限于以下方式中的至少一种：词法模板、正则表达式、指定分割符、解析json格式日志等。不同筛选条件可以根据实际需要为其配置对应的筛选方式。

本发明实施例中，降维度处理方式用于指示业务服务器如何对业务数据进行降维，例如，可以将处于100-199的数据重置为1xx，将200-299的数据重置为200，当然，降维度处理方式包括但不限于上述方式。

本发明实施例中，度量指标生成方式包括生成度量指标的方式，用于指示业务服务器如何基于采集到的业务数据生成度量指标。其中，生成度量指标的方式可以根据实际需要灵活设置，例如可以包括数据运算(包括但不限于对数据进行加、减、乘、除等运算)、数据组合等，例如，假设业务数据类型包括c盘已占用内存大小、c盘总内存，度量指标为c盘使用率，度量指标生成方式为：c盘已占用内存大小/c盘总内存，则在采集到c盘已占用内存大小和c盘总内存后，基于度量指标生成方式计算得到c盘使用率。

本发明实施例中，在采集配置文件包括业务数据处理方式和度量指标生成方式时，业务服务器可以先基于数据处理方式对采集到的业务数据进行处理，再基于处理后的业务数据和独立指标生成方式生成度量指标。

其中，采集数据上报周期为业务服务器采集业务数据并生成采集数据之后，向管理服务器上报采集数据的周期，以指示业务服务器采集数据的上报时间，从而实现周期性上报采集数据。需要说明的是，不同的采集数据，为其配置的上报周期可以不同，例如，假设采集数据为度量指标，对于第一种度量指标，其上报周期可以为周期1，对于第二种度量指标，其上报周期可以为周期2，其中，周期1和周期2不同。

本发明实施例中，采集任务中还包括程序文件，程序文件用于读取采集配置文件，在运行过程中根据采集配置文件采集业务数据并生成采集数据。也就是说，管理服务器可以生成程序文件，并发送业务服务器，业务服务器运行该程序文件，以实现采集业务数据以及生成采集数据。其中，程序文件可以包括多种类型(例如：用于采集服务器硬件健康状况的程序文件、用于采集服务器服务进程状态的程序文件、用于采集业务日志输出关于业务的健康状态的程序文件等)，管理服务器可以根据采集配置文件中需要采集的业务数据的类型，为其配置对应的程序文件。

本发明实施例中，管理服务器在为业务服务器生成采集任务时，可以根据该业务服务器承载的业务类型，为业务服务器生成采集任务，例如对于承载OTT(Over The Top，互联网公司越过运营商)业务的业务服务器，可以获取其硬件运行进程等情况；对于承载大数据业务的业务服务器，可以获取其数据库相关情况。

本发明实施例中，管理服务器在为业务服务器生成采集任务时，可以接收针对该业务服务器的配置指令，根据配置指令为业务服务器生成采集任务，其中，可以接收人工下发的配置指令(即由人工指定该业务服务器的采集任务)，也可以接收上级服务器下发的配置指令。

本发明实施例中，管理服务器在为业务服务器生成采集任务时，可以根据业务服务器的性能，为其生成采集任务，假设该业务服务器的性能较高，则可以为其生成运行时需要占用较大资源的采集任务；假设该业务服务器性能较低，则可以为其生成运行时占用较小资源的采集任务。例如，对于性能较低的业务服务器，可以下发基础的采集任务，该采集任务对性能要求低；对于性能较高的业务服务器，可以下发比较精准、细化的采集任务，度量指标生成方式也可以相对较复杂，从而获取到丰富全量的业务度量指标。

本发明实施例中，在为业务服务器生成采集任务之前，参见图2所示，还可以包括：

S201、接收业务服务器发送的注册请求。

本发明实施例中，在为业务服务器生成采集任务之前，可以先接收业务服务器发送的注册请求，然后，才为业务服务器生成采集任务。

S202、为业务服务器生成采集任务。

本发明实施例中，管理服务器可以在接收到业务服务器发送的注册请求后，才为该业务服务器生成采集任务。其中，在为该业务服务器生成采集任务后，可以为该业务服务器生成标识信息，将该业务服务器的标识信息和采集任务关联存储。其中，标识信息可以是IP(Internet Protocol，网际互连协议)地址、MAC地址(Media Access Control Address，物理地址)等。应当理解的是，在该业务服务器的采集任务发生变动时，会重新下发新的采集任务，并将原来存储的该业务服务器的标识信息和采集任务更新为该业务服务器的标识信息和新的采集任务。

本发明实施例中，管理服务器还可以将为该业务服务器生成的标识信息连同采集任务一同发送给业务服务器。

S102、将采集任务发送给业务服务器。

本发明实施例中，管理服务器在为业务服务器生成采集任务之后，将采集任务发送给业务服务器，以使业务服务器执行采集任务，采集业务数据，并生成采集数据。

S103、接收业务服务器根据采集任务获取到的采集数据，并存储。

本发明实施例中，管理服务器向业务服务器发送采集任务后，接收管理服务器基于采集任务获取到的采集数据，并存储。

其中，管理服务器可以周期性接收业务服务器根据采集任务获取到的采集数据，根据采集数据生成时序数据并存储。管理服务器可以周期性向业务服务器发送采集数据发送请求，以使业务服务器接收到采集数据发送请求后，才向管理服务器发送采集数据；当然，业务服务器也可以主动周期性向业务服务器发送采集数据。

本发明实施例中，管理服务器接收业务服务器根据采集任务获取到的采集数据之后，还可以判断采集数据是否处于对应的预设范围，若否，则生成告警；若是，则直接存储。

本发明实施例中，在存储时，可以将该业务服务器的标识信息、采集任务和采集数据关联存储。其中，管理服务器可以接收业务服务器连同采集数据一起发送过来的标识信息，从而根据标识信息将采集数据与之前存储的标识信息和采集任务关联存储。

本发明实施例中，管理服务器还可以向业务服务器发送采集任务控制指令，以使业务服务器基于采集任务控制指令对采集任务进行控制，其中，采集任务控制指令可以是采集任务启动指令，用于指示启动对应的采集任务；采集任务控制指令还可以是采集任务停止指令，用于指示停止对应的采集任务。

本发明实施例中，在业务服务器下线后，管理服务器可以删除该业务服务器的标识信息、采集任务，然后做下线操作，在业务服务器下线后，还可以将该业务服务器的采集数据删除。

本发明实施例提供一种数据采集方法，通过为业务服务器生成采集任务并发送给业务服务器，其中，采集任务中包括采集配置文件，采集配置文件包括待采集的业务数据类型，接收业务服务器根据采集任务获取到的采集数据并存储，在某些实施过程中，通过为业务服务器生成采集任务，实现了定制化采集任务，降低了存储消耗，并降低了采集数据传输过程中所消耗的通信资源。

实施例二：

为了解决数据采集过程占用很大的存储消耗和通信资源的问题，本发明实施例提供一种数据采集方法，参见图3所示，数据采集方法包括：

S301、接收管理服务器发送的采集任务。

本发明实施例中，业务服务器接收管理服务器发送的采集任务，该采集任务是实施例一中的管理服务器为该业务服务器生成的，需要说明的是，不同的业务服务器，其采集任务可以不同。采集任务包括采集配置文件，采集配置文件包括该业务服务器待采集的业务数据类型，也即，采集配置文件包括该业务服务器需要采集的业务数据类型，应当理解的是，业务数据类型用于指示该业务服务器需要采集的业务数据，例如，业务数据类型可以包括内存大小、内存消耗情况等。其中，业务数据类型可以包括日志类型业务数据和/或非日志类型业务数据，需要说明的是，日志类型业务数据为可以从业务服务器生成的日志中获取的业务数据，非日志类型业务数据为无法从业务服务器生成的日志中获取的业务数据，例如系统情况、业务数据库情况、业务服务器部署的微服务的情况等业务数据。对于日志类型业务数据，业务数据类型可以包括日志类型，以用于指示待获取的日志的类型，例如，服务器的日志、业务日志等。

本发明实施例中，业务服务器在接收管理服务器发送的采集任务之前，还可以包括：向管理服务器发送注册请求。

S302、根据采集任务采集业务数据。

本发明实施例中，业务服务器接收到采集任务后，业务服务器读取采集配置文件，并根据采集配置文件中的业务数据类型，采集业务数据，例如，假设业务数据类型为日志文件a.log中输出的错误信息详情，日志文件b.log中业务的服务压力峰值，以及a.log、b.log两个日志中在压力峰值时对应的错误信息详情等，则从日志中采集对应的业务数据。

本发明实施例中，业务服务器接收到采集任务后，可以周期性采集业务数据，也可以实时采集业务数据。

本发明实施例中，业务服务器还可以接收管理服务器发送的为该业务服务器生成的标识信息，业务服务器在采集业务数据后，可以为每条业务数据添加标识信息。

S303、基于业务数据生成采集数据并发送给管理服务器。

本发明实施例中，业务服务器在采集业务数据后，基于业务数据生成采集数据，并将采集数据发送给管理服务器。其中，在将采集数据发送给管理服务器时，可以将标识信息一同发送给管理服务器，以使管理服务器根据标识信息对采集数据、标识信息、采集任务进行关联存储。

其中，业务服务器可以直接将采集到的业务数据作为采集数据，发送给管理服务器。

本发明实施例中，采集配置文件还可以包括以下数据中的至少一种：业务数据处理方式、度量指标生成方式、采集数据上报周期。

在采集配置文件包括业务数据处理方式时，参见图4所示，业务服务器基于业务数据生成采集数据并发送给管理服务器可以包括：

S401、根据业务数据处理方式对业务数据进行处理。

其中，业务数据处理方式包括但不限于以下方式中的至少一种：数据筛选方式、降维度处理方式。

本发明实施例中，业务服务器基于数据筛选方式对采集到的业务数据进行筛选，这样，可以从采集到的业务数据中筛选出关键数据，去除掉没有用的数据，从而进一步降低了内存消耗。应当理解的是，数据筛选方式包括筛选条件，其中，可以通过设置关键字，从业务数据中筛选出包括关键字的业务数据，例如，假设采集到的业务数据包括2条日志，分别为：“this[is]a|word fun”、“this[is]a|fun”，关键字为“word”，则筛选出第一条日志；也可以通过设置数据提取位置，从业务数据中提取该位置处的业务数据，例如，假设采集到的业务数据为“this[is]a|word fun”，数据提取位置为键3(需要说明的是，日志由键值对组成，键值唯一，因此，可以键值可以作为数据提取位置)，则从日志中提取第3个字段的数据“a”；也可以通过设置数据提取位置以及对应的范围，从业务数据中筛选中该位置处值处于对应范围的业务数据，例如，位置可以设置为键1，范围设置为0-100，则从业务数据中提取第1个字段上值处于0-100的数据；当然，本发明实施例中，数据筛选条件包括但不限于上述方式。需要说明的是，数据筛选方式可以包括一种筛选条件，也可以包括至少两种筛选条件，各筛选条件可以独立进行筛选，也可以进行组合。本发明实施例中，数据筛选方式，除了包括筛选条件，还可以包括筛选方式，筛选方式包括但不限于以下方式中的至少一种：词法模板、正则表达式、指定分割符、解析json格式日志等。不同筛选条件可以根据实际需要为其配置对应的筛选方式。

本发明实施例中，业务服务器基于降维度处理方式对采集到的业务数据进行降维，例如，可以将处于100-199的数据重置为1xx，将200-299的数据重置为200，当然，降维度处理方式包括但不限于上述方式。

S402、将处理后的业务数据作为采集数据发送给管理服务器。

本发明实施例中，将处理后的业务数据作为采集数据发送给管理服务器。

在采集配置文件包括度量指标生成方式时，参见图5所示，业务服务器基于业务数据生成采集数据并发送给管理服务器可以包括：

S501、根据度量指标生成方式和业务数据生成度量指标。

本发明实施例中，业务服务器根据度量指标生成方式业务采集到的业务数据生成度量指标。

其中，度量指标生成方式包括生成度量指标的方式，用于指示业务服务器如何基于业务数据生成度量指标。其中，生成度量指标的方式可以根据实际需要灵活设置，例如可以包括数据运算(包括但不限于对数据进行加、减、乘、除等运算)、数据组合等，例如，假设业务数据类型包括c盘已占用内存大小、c盘总内存，度量指标为c盘使用率，度量指标生成方式为：c盘已占用内存大小/c盘总内存，则在采集到c盘已占用内存大小和c盘总内存后，基于度量指标生成方式计算得到c盘使用率。

S502、将处理后的业务数据作为采集数据发送给管理服务器。

本发明实施例中，将处理后的业务数据作为采集数据发送给管理服务器。

在采集配置文件包括采集数据上报周期时，业务服务器基于业务数据生成采集数据并发送给管理服务器可以包括：业务服务器基于业务数据生成采集数据之后，基于采集数据上报周期，周期性向管理服务器发送采集数据。需要说明的是，不同的采集数据，为其配置的上报周期可以不同，例如，假设采集数据为度量指标，对于第一种度量指标，其上报周期可以为周期1，对于第二种度量指标，其上报周期可以为周期2，其中，周期1和周期2不同。

在采集配置文件包括业务数据处理方式、度量指标生成方式、采集数据上报周期等中的至少两种时，则根据上述方式进行处理。例如，假设采集配置文件包括业务数据处理方式和度量指标生成方式，业务服务器可以先基于数据处理方式对采集到的业务数据进行处理，再基于处理后的业务数据和独立指标生成方式生成度量指标，将独立指标作为采集数据发送给管理服务器。

本发明实施例中，采集任务中还可以包括程序文件，业务服务器在接收到采集任务后，可以启动该程序文件，以执行S302、S303。也即，业务服务器启动采集任务中的程序文件，然后该程序读取采集配置文件，以执行采集业务数据，并基于采集到的业务数据生成采集数据并发送给管理服务器。

本发明实施例中，业务服务器可以在接收到管理服务器发送的采集数据发送请求之后，才将采集数据发送给管理服务器，也可以主动周期性向管理服务器发送采集数据。

本发明实施例中，业务服务器还可以接收管理服务器发送的采集任务控制指令，并根据采集任务控制指令对采集任务进行控制，其中，采集任务控制指令可以是采集任务启动指令，业务服务器根据采集任务启动指示启动对应的采集任务；采集任务控制指令还可以是采集任务停止指令，业务服务器根据采集任务停止指令停止对应的采集任务。

本发明实施例提供一种数据采集方法，通过接收管理服务器为业务服务器生成的采集任务，采集任务包括采集配置文件，采集配置文件包括待采集的业务数据类型，，根据采集任务采集业务数据，基于业务数据生成采集数据并发送给管理服务器，在某些实施过程中，通过为业务服务器生成采集任务，实现了定制化采集任务，降低了存储消耗，并降低了采集数据传输过程中所消耗的通信资源。

实施例三：

为了更好的理解本发明，本发明实施例结合更加具体的示例进行说明，参见图6所示，数据采集方法包括：

S601、业务服务器向管理服务器发送注册请求。

S602、管理服务器为业务服务器生成采集任务和标识信息，并关联存储。

其中，管理服务器在接收到业务服务器发送的注册请求后，可以根据该业务服务器上承载的业务类型生成业务采集任务，为该业务服务器生成的标识信息为该业务服务器的IP地址。其中，采集任务包括采集配置文件，采集配置文件包括：待采集业务数据类型、采集数据上报周期、业务数据处理方式和度量指标生成方式。

S603、管理服务器将采集任务和标识信息发送给业务服务器。

本发明实施例中，管理服务器为业务服务器生成采集任务和标识信息后，将采集任务和标识信息一同发送给业务服务器。

S604、业务服务器根据采集任务中的业务数据类型采集业务数据。

业务服务器在接收到采集任务后，根据采集任务中的业务数据类型周期性采集业务数据。其中，该采集周期可以根据实际需要灵活设置。

业务服务器在接收到采集任务后，对采集任务中的采集配置文件进行解析，并判断是否可以被正确解析，若是，则执行S603；若否，则向管理服务器发送中采集任务解析失败信息，以使管理服务器在接收到该信息后，重新发送采集任务。

S605、业务服务器根据采集任务中的业务数据处理方式，对采集到的数据进行处理。

本发明实施例中，业务数据处理方式包括数据筛选方式、降维度处理方式，可以先对采集到的业务数据根据数据筛选方式进行筛选后，再根据降维度处理方式对筛选后的业务数据进行将维度处理；当然，也可以先对采集到的数据根据将维度处理方式进行将维度处理后，再根据数据筛选方式对降维度处理后的业务数据进行筛选。

S606、业务服务器根据采集任务中的度量指标生成方式以及处理后的业务数据，生成度量指标。

本发明实施例中，在对采集到的数据进行处理后，根据度量指标生成方式生成度量指标。

S607、业务服务器根据采集任务中的采集数据上报周期，周期性将采集数据和标识信息一同发送给管理服务器。

本发明实施例中，度量指令可以包括至少两个度量指标，对于不同度量指标，可以为其配置不同的采集数据上报周期，基于采集数据上报周期将标识信息和对应的度量指标一同发送给管理服务器。

S608、管理服务器将该业务服务器的标识信息、采集数据、采集任务关联存储。

本发明实施例中，管理服务器在接收到业务服务器发送的标识信息和采集数据后，根据标识信息，查找到之前存储的该业务服务器的标识信息和采集任务，并将标识信息、采集数据、采集任务关联存储。

本发明实施例中，采集任务中还可以包括程序文件，程序文件根据采集配置文件进行配置。业务服务器在接收到管理服务器下发的采集任务后，启动程序文件，程序文件运行过程中读取采集配置文件，以实现上述S604-S607。

本发明实施例中，管理服务器还可以向业务服务器发送针对某一采集任务的采集任务启动或停止指令，以启动或停止该采集任务。其中，启动或停止某一采集任务(此处假设为采集任务x)前，管理服务器可以先向业务服务器发送查询采集任务x状态的指令，业务服务器在接收到该指令后，查询采集任务x，若采集任务x存在，则向管理服务器返回表征采集任务x存在的“OK”；若采集任务x不存在，则向管理服务器返回表征采集任务x不存在的“failed”(失败)。管理服务器在接收到采集任务x存在的OK后，则下发针对采集任务x的采集任务启动或停止指令；管理服务器在接收到采集任务x不存在的“failed”后，若管理服务器是需要启动采集任务x，则向业务服务器发送采集任务x，并下发针对采集任务x的启动指令；若管理服务器是需要停止采集任务x，由于业务服务器上不存在采集任务x，则结束。

本发明实施例中，在该业务服务器的采集任务发送变动(例如，生成新的采集任务)时，管理服务器需要更新业务服务器的采集任务，并将新的采集任务发送给业务服务器，业务服务器在接收到新的采集任务后，启动该新的采集任务。

本发明实施例提供一种数据采集方法，通过为管理服务器业务服务器生成采集任务并发送给业务服务器，其中，采集任务中包括采集配置文件，采集配置文件包括待采集的业务数据类型，业务服务器根据采集任务采集业务数据，并基于采集到的业务数据生成采集数据发送给管理服务器，管理服务器存储采集数据，在某些实施过程中，通过为业务服务器生成采集任务，实现了定制化采集任务，降低了存储消耗，并降低了采集数据传输过程中所消耗的通信资源。

实施例四：

本发明实施例在实施例一、实施例二、实施例三的基础上，提出一种数据采集系统，包括：管理服务器和业务服务器。

管理服务器为业务服务器生成采集任务，并将采集任务发送给业务服务器，采集任务包括采集配置文件，采集配置文件包括待采集的业务数据类型。管理服务器在生成采集任务时，可以根据业务服务器的承载的业务类型，为业务服务器生成采集任务；或，接收针对业务服务器的配置指令，根据配置指令为业务服务器生成采集任务。

业务服务器在接收到采集任务后，根据采集任务采集业务数据，基于业务数据生成采集数据，并将采集数据发送给管理服务器。

管理服务器接收到采集数据后存储。

本发明实施例中，采集配置文件还可以包括采集数据上报周期、业务数据处理方式、度量指标生成方式中的至少一种。

业务服务器可以基于采集数据上报周期，周期性向管理服务器发送采集数据，这样，管理服务器可以周期性接收业务服务器发送的采集数据，根据采集数据生成时序数据进行存储。

业务服务器可以根据业务数据处理方式，对采集到的业务数据进行处理，将处理后的业务数据作为采集数据发送给管理服务器。其中，业务数据处理方式可以包括数据筛选方式和将维度处理方式等中的至少一种。

业务服务器可以根据度量指标生成方式和业务数据生成度量指标，将度量指标作为采集数据发送给管理服务器。

本发明实施例中，采集任务中可以包括程序文件，业务服务器在接收到采集任务后，启动程序文件，程序文件运行过程中读取采集配置文件，以采集业务数据，并根据业务数据生成采集数据发送给管理服务器。

本发明实施例中，管理服务器在接收到采集数据后，在采集数据未处于对应的预设范围时，可以生成告警。

本发明实施例中，管理服务器还可以向业务服务器发送采集任务控制指令，业务服务器基于采集任务控制指令进行控制，其中，采集任务控制指令为采集任务停止指令或采集任务启动指令。

需要说明的是，本发明实施例中并未详述实施例一、实施例二、实施例三中的所有示例，实施例一、实施例二、实施例三中的所有示例均适用于本发明实施例。

本发明实施例提供一种数据采集系统，通过管理服务器为业务服务器生成采集任务并发送给业务服务器，其中，采集任务中包括采集配置文件，采集配置文件包括待采集的业务数据类型，业务服务器根据采集任务采集业务数据，并基于采集到的业务数据生成采集数据发送给管理服务器，管理服务器存储采集数据，在某些实施过程中，通过为业务服务器生成采集任务，实现了定制化采集任务，降低了存储消耗，并降低了采集数据传输过程中所消耗的通信资源。

实施例五：

本发明实施例提供了一种管理服务器，参见图7所示，管理服务器包括：第一处理器701、第一存储器702及第一通信总线703；

所述第一通信总线703用于实现第一处理器701和第一存储器702之间的连接通信；

所述第一处理器701用于执行第一存储器702中存储的一个或者多个计算机程序，以实现如实施例一、实施例二、实施例三中所述的数据采集方法的管理服务器侧的至少一个步骤。

本发明实施例提供了一种业务服务器，参见图8所示，业务服务器包括：第二处理器801、第二存储器802及第二通信总线803；

所述第二通信总线803用于实现第二处理器801和第二存储器802之间的连接通信；

所述第二处理器801用于执行第二存储器802中存储的一个或者多个计算机程序，以实现如实施例一、实施例二、实施例三中所述的数据采集方法的业务服务器侧的至少一个步骤。

本发明实施例还提供了一种存储介质，该存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(RandomAccess Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一、实施例二、实施例三中所述的数据采集方法中业务服务器侧或管理服务器侧的至少一个步骤。

本发明实施例提供一种管理服务器、业务服务器及存储介质，通过管理服务器为业务服务器生成采集任务并发送给业务服务器，其中，采集任务中包括采集配置文件，采集配置文件包括待采集的业务数据类型，业务服务器根据采集任务采集业务数据，并基于采集到的业务数据生成采集数据发送给管理服务器，管理服务器存储采集数据，在某些实施过程中，通过为业务服务器生成采集任务，实现了定制化采集任务，降低了存储消耗，并降低了采集数据传输过程中所消耗的通信资源。

可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。

此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (16)

1.一种数据采集方法，包括：

为业务服务器生成采集任务，所述采集任务包括采集配置文件，所述采集配置文件包括待采集的业务数据类型；

将所述采集任务发送给所述业务服务器；

接收所述业务服务器根据所述采集任务获取到的采集数据，并存储。

2.如权利要求1所述的数据采集方法，其特征在于，所述接收所述业务服务器根据所述采集任务获取到的采集数据，并存储包括：

周期性接收所述业务服务器根据所述采集任务获取到的采集数据；

根据所述采集数据生成时序数据并存储。

3.如权利要求1所述的数据采集方法，其特征在于，所述接收所述业务服务器根据所述采集任务获取到的采集数据之后，还包括：

在所述采集数据未处于对应的预设范围时，生成告警。

4.如权利要求1所述的数据采集方法，其特征在于，还包括：

向所述业务服务器发送采集任务控制指令，所述采集任务控制指令为采集任务停止指令或采集任务启动指令。

5.如权利要求1-4任一项所述的数据采集方法，其特征在于，所述为业务服务器生成采集任务包括：

根据所述业务服务器承载的业务类型，为所述业务服务器生成采集任务；

或，

接收针对所述业务服务器的配置指令，根据所述配置指令为所述业务服务器生成采集任务。

6.一种数据采集方法，包括：

接收管理服务器发送的采集任务，所述采集任务包括采集配置文件，所述采集配置文件包括待采集的业务数据类型；

根据所述采集任务采集业务数据；

基于所述业务数据生成采集数据并发送给所述管理服务器。

7.如权利要求6所述的数据采集方法，其特征在于，还包括：

接收所述管理服务器发送的采集任务控制指令，所述采集任务控制指令为采集任务停止指令或采集任务启动指令；

根据所述采集任务控制指令进行控制。

8.如权利要求6所述的数据采集方法，其特征在于，所述采集任务还包括程序文件，所述根据所述采集任务采集业务数据包括：

启动所述程序文件以根据所述业务数据类型采集业务数据。

9.如权利要求6所述的数据采集方法，其特征在于，所述采集配置文件还包括：采集数据上报周期，所述向所述所述管理服务器发送采集数据包括：

基于所述采集数据上报周期，周期性向所述管理服务器发送采集数据。

10.如权利要求6-9任一项所述的数据采集方法，其特征在于，所述采集配置文件还包括业务数据处理方式，所述基于所述业务数据生成采集数据并发送给所述管理服务器包括：

根据所述业务数据处理方式对所述业务数据进行处理；

将处理后的业务数据作为采集数据发送给所述管理服务器。

11.如权利要求10所述的数据采集方法，其特征在于，所述业务数据处理方式包括以下方式中的至少一种：数据筛选方式、降维度处理方式。

12.如权利要求6-9任一项所述的数据采集方法，其特征在于，所述采集配置文件还包括度量指标生成方式，所述基于所述业务数据向所述所述管理服务器发送采集数据包括：

根据所述度量指标生成方式和所述业务数据生成度量指标；

将所述度量指标作为采集数据发送给所述管理服务器。

13.一种管理服务器，包括：第一处理器、第一存储器及第一通信总线；

所述第一通信总线用于实现第一处理器和第一存储器之间的连接通信；

所述第一处理器用于执行第一存储器中存储的一个或者多个计算机程序，以实现如权利要求1至5中任一项所述的数据采集方法的步骤。

14.一种业务服务器，包括：第二处理器、第二存储器及第二通信总线；

所述第二通信总线用于实现第二处理器和第二存储器之间的连接通信；

所述第二处理器用于执行第二存储器中存储的一个或者多个计算机程序，以实现如权利要求6至12中任一项所述的数据采集方法的步骤。

15.一种数据采集系统，包括管理服务器和业务服务器，

所述管理服务器为所述业务服务器生成采集任务，并将所述采集任务发送给所述业务服务器，所述采集任务包括采集配置文件，所述采集配置文件包括待采集的业务数据类型；

所述业务服务器在接收到所述采集任务后，根据所述采集任务采集业务数据，基于所述业务数据生成采集数据，并将所述采集数据发送给所述管理服务器；

所述管理服务器接收到所述采集数据后存储。

16.一种存储介质，所述存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的数据采集方法的步骤，或，实现如权利要求6至12中任一项所述的数据采集方法的步骤。

Images