CN107528870A - 一种数据采集方法及其设备 - Google Patents

Abstract

本发明实施例公开一种数据采集方法及其设备，其中方法包括如下步骤：获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；将所述监控数据添加至所述目标监控业务类型对应的数据存储中。采用本发明，可以增加监控的业务类型和数据的多样性，在节约成本的基础上提升对基础云平台中的网络设备的监控效果。

Description

一种数据采集方法及其设备

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据采集方法及其设备。

背景技术

随着互联网技术不断的开发和完善，通过构建基础云平台可以满足日益增长的网络服务需求，例如：提供计算资源、存储资源、网络资源等必须的基础互联网技术(Internet Technology，IT)架构服务，随着服务需求的增长，基础云平台需要管控的服务器规模也不断扩大，现有的监控方式通常都是由管理人员针对网络服务设备(例如：服务器、网络设备等)进行实地记录，增加了人力资源成本，同时监控的业务类型和数据比较有限，影响了对基础云平台中的网络服务设备的监控效果。

发明内容

本发明实施例提供一种数据采集方法及其设备，可以增加监控的业务类型和数据的多样性，在节约成本的基础上提升对基础云平台中的网络服务设备的监控效果。

本发明实施例第一方面提供了一种数据采集方法，可包括：

获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；

在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

将所述监控数据添加至所述目标监控业务类型对应的数据存储中。

本发明实施例第二方面提供了一种数据采集设备，可包括：

信息获取单元，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；

类型识别单元，用于在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

数据存储单元，用于将所述监控数据添加至所述目标监控业务类型对应的数据存储中。

在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据采集方法的流程示意图；

图2是本发明实施例提供的另一种数据采集方法的流程示意图；

图3是本发明实施例提供的一种数据采集设备的结构示意图；

图4是本发明实施例提供的另一种数据采集设备的结构示意图；

图5是本发明实施例提供的类型识别单元的结构示意图；

图6是本发明实施例提供的又一种数据采集设备的结构示意图；

图7为本发明实施例提供的一种数据采集设备的系统架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的数据采集方法可以应用于对基础云平台下的多个网络服务设备中的各项监控业务类型的监控数据进行采集及存储的场景，例如：数据采集设备获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据，所述数据采集设备在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述数据采集设备将所述监控数据添加至所述目标监控业务类型对应的数据存储中的场景等。实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。

本发明实施例涉及的数据采集设备可以为对基础云平台下的服务器、网络设备、资源、服务等进行监控的后台监控服务设备；所述基础云平台可以用于提供计算资源、存储资源、网络资源等必须的基础IT架构服务。

下面将结合附图1和附图2，对本发明实施例提供的数据采集方法进行详细介绍。

请参见图1，为本发明实施例提供了一种数据采集方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-S103。

S101，获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；

具体的，数据采集设备可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、中央处理器(Central Processing Unit，CPU)使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集，而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集。采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述数据采集设备可以获取所述目标网络服务设备上报的所述目标监控信息。

需要说明的是，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，进一步的，所述数据采集设备获取基础云平台下的所有网络服务设备中的配置文件，其中，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述数据采集设备可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。同时，所述数据采集设备还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型与基础监控数据相对应，具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述数据采集设备可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型与需求监控数据相对应，具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备发送的业务标识注册请求，所述数据采集设备可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。

S102，在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

具体的，所述数据采集设备可以在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述数据采集设备可以确定所述目标设备标识对应的目标网络服务设备，所述数据采集设备在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

S103，将所述监控数据添加至所述目标监控业务类型对应的数据存储中；

具体的，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据采集设备将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据采集设备将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。

在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。

请参见图2，为本发明实施例提供了另一种数据采集方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S207。

S201，获取基础云平台下的所有网络服务设备中的配置文件；

具体的，数据采集设备获取基础云平台下的所有网络服务设备中的配置文件，其中，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述数据采集设备可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。

S202，对至少一种监控业务类型中每种监控业务类型配置业务标识；

具体的，所述数据采集设备还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述数据采集设备可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备发送的业务标识注册请求，所述数据采集设备可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识，以计算资源为例，若当前需要增加服务器中的母机的分配比例的需求监控业务类型时，可以向所述数据采集设备注册一个业务标识代表母机的分配比例的需求监控业务类型。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。

S203，获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；

具体的，所述数据采集设备可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集；而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集，所述基础云平台的服务健康状态用于表示所述基础云平台中用于提供特定功能的服务(例如：计算服务，用于提供创建和管理虚拟机功能等)的运行状态，所述用户行为用于表示用户在所述基础云平台中的行为日志，以用户行为字符串为例，针对用户访问系统的需求监控数据，可以预先自定义的定时监控脚本，当检测到存在XX用户访问该系统时，可以生成“xx_access”的用户行为字符串进行上报等。

采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述数据采集设备可以获取所述目标网络服务设备上报的所述目标监控信息。

S204，确定所述目标设备标识对应的目标网络服务设备；

S205，在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型；

具体的，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述数据采集设备可以确定所述目标设备标识对应的目标网络服务设备，所述数据采集设备在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

S206，将所述监控数据添加至所述目标监控业务类型对应的数据存储中；

具体的，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据采集设备将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据采集设备将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。

S207，对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出；

具体的，所述数据采集设备可以对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，优选的，可以对至少一种监控业务类型中每种监控业务类型下的多个监控数据进行复合计算，例如：求和、求平均、最大值、最小值等统计运算，以生成统计结果，例如：以计算资源为，获取属于母机的分配比例的需求监控业务类型的所有母机分配比例的需求监控数值，可以统计所述基础云平台下所有服务器中的母机分配比例的需求监控数值，可以生成包含母机剩余支撑数、母机总支撑数等统计结果。所述数据采集设备可以对所述统计结果进行输出，优选的，可以输出至管理人员的终端设备中进行显示等。

在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果；通过获取设备标识以及配置业务标识，可以准确识别网络服务设备发送的监控数据对应的监控业务类型，提升了数据采集的准确性；通过进行统计结果的计算，可以实现监控数据的可视化显示，方便管理人员及时了解各个网络服务设备以及当前基础云平台的运行状态，并根据运行状态进行相应的操作，提升了基础云平台的管理效率。

下面将结合附图3-附图5，对本发明实施例提供的数据采集设备进行详细介绍。需要说明的是，附图3-附图5所示的数据采集设备，用于执行本发明图1和图2所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1和图2所示的实施例。

请参见图3，为本发明实施例提供了一种数据采集设备的结构示意图。如图3所示，本发明实施例的所述数据采集设备1可以包括：信息获取单元11、类型识别单元12和数据存储单元13。

信息获取单元11，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；

具体实现中，所述信息获取单元11可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集，而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集。采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备1，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述信息获取单元11可以获取所述目标网络服务设备上报的所述目标监控信息。

需要说明的是，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，进一步的，所述数据采集设备1获取基础云平台下的所有网络服务设备中的配置文件，其中，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述数据采集设备1可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。同时，所述数据采集设备1还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型与基础监控数据相对应，具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述数据采集设备1可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型与需求监控数据相对应，具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备1发送的业务标识注册请求，所述数据采集设备1可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。

类型识别单元12，用于在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

具体实现中，所述类型识别单元12可以在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述类型识别单元12可以确定所述目标设备标识对应的目标网络服务设备，所述类型识别单元12在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

数据存储单元13，用于将所述监控数据添加至所述目标监控业务类型对应的数据存储中；

具体实现中，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据存储单元13将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据存储单元13将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。

在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。

请参见图4，为本发明实施例提供了另一种数据采集设备的结构示意图。如图4所示，本发明实施例的所述数据采集设备1可以包括：信息获取单元11、类型识别单元12、数据存储单元13、文件获取单元14、标识配置单元15和结果输出单元16。

文件获取单元14，用于获取基础云平台下的所有网络服务设备中的配置文件；

具体实现中，所述文件获取单元14获取基础云平台下的所有网络服务设备中的配置文件，其中，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述文件获取单元14可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。

标识配置单元15，用于对至少一种监控业务类型中每种监控业务类型配置业务标识；

具体实现中，所述标识配置单元15还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述标识配置单元15可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备1发送的业务标识注册请求，所述标识配置单元15可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识，以计算资源为例，若当前需要增加服务器中的母机的分配比例的需求监控业务类型时，可以向所述数据采集设备1注册一个业务标识代表母机的分配比例的需求监控业务类型。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。

信息获取单元11，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；

具体实现中，所述信息获取单元11可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集；而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集，所述基础云平台的服务健康状态用于表示所述基础云平台中用于提供特定功能的服务(例如：计算服务，用于提供创建和管理虚拟机功能等)的运行状态，所述用户行为用于表示用户在所述基础云平台中的行为日志，以用户行为字符串为例，针对用户访问系统的需求监控数据，可以预先自定义的定时监控脚本，当检测到存在XX用户访问该系统时，可以生成“xx_access”的用户行为字符串进行上报等。

采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备1，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述信息获取单元11可以获取所述目标网络服务设备上报的所述目标监控信息。

类型识别单元12，用于在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

具体实现中，所述类型识别单元12可以在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述类型识别单元12可以确定所述目标设备标识对应的目标网络服务设备，所述类型识别单元12在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

具体的，请一并参见图5，为本发明实施例提供了类型识别单元的结构示意图。如图5所示，所述类型识别单元12可以包括：

设备确定子单元121，用于确定所述目标设备标识对应的目标网络服务设备；

类型识别子单元122，用于在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型；

具体实现中，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述设备确定子单元121可以确定所述目标设备标识对应的目标网络服务设备，所述类型识别子单元122在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

数据存储单元13，用于将所述监控数据添加至所述目标监控业务类型对应的数据存储中；

具体实现中，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据存储单元13将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据存储单元13将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。

结果输出单元16，用于对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出；

具体实现中，所述结果输出单元16可以对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，优选的，可以对至少一种监控业务类型中每种监控业务类型下的多个监控数据进行复合计算，例如：求和、求平均、最大值、最小值等统计运算，以生成统计结果，例如：以计算资源为，获取属于母机的分配比例的需求监控业务类型的所有母机分配比例的需求监控数值，可以统计所述基础云平台下所有服务器中的母机分配比例的需求监控数值，可以生成包含母机剩余支撑数、母机总支撑数等统计结果。所述结果输出单元16可以对所述统计结果进行输出，优选的，可以输出至管理人员的终端设备中进行显示等。

在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果；通过获取设备标识以及配置业务标识，可以准确识别网络服务设备发送的监控数据对应的监控业务类型，提升了数据采集的准确性；通过进行统计结果的计算，可以实现监控数据的可视化显示，方便管理人员及时了解各个网络服务设备以及当前基础云平台的运行状态，并根据运行状态进行相应的操作，提升了基础云平台的管理效率。

请参见图6，为本发明实施例提供了又一种数据采集设备的结构示意图。如图6所示，所述数据采集设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据采集应用程序。

在图6所示的数据采集设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；网络接口1004用于接收用户终端发送的数据；而处理器1001可以用于调用存储器1005中存储的数据采集应用程序，并具体执行以下操作：

获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；

在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

将所述监控数据添加至所述目标监控业务类型对应的数据存储中。

在一个实施例中，所述处理器1001在执行获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息之前，还执行以下操作：

获取基础云平台下的所有网络服务设备中的配置文件，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识；

对至少一种监控业务类型中每种监控业务类型配置业务标识。

在一个实施例中，所述处理器1001在执行对所述至少一种监控业务类型中每种监控业务类型配置业务标识时，具体执行以下操作：

对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；和/或，

获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。

在一个实施例中，所述业务特征标识包括所述目标网络服务设备对应的目标设备标识和目标业务标识；

所述处理器1001在执行在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型时，具体执行以下操作：

确定所述目标设备标识对应的目标网络服务设备；

在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

在一个实施例中，所述处理器1001在执行将所述监控数据添加至所述目标监控业务类型对应的数据存储中时，具体执行以下操作：

当所述目标监控业务类型属于所述基础监控业务类型时，将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；

当所述目标监控业务类型属于所述需求监控业务类型时，将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；

其中，所述基础监控数据包括磁盘使用数据、中央处理器CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率中的任一种监控数据；所述需求监控数据包括计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串中的任一种监控数据。

在一个实施例中，所述处理器1001还执行以下操作：

对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出。

在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果；通过获取设备标识以及配置业务标识，可以准确识别网络服务设备发送的监控数据对应的监控业务类型，提升了数据采集的准确性；通过进行统计结果的计算，可以实现监控数据的可视化显示，方便管理人员及时了解各个网络服务设备以及当前基础云平台的运行状态，并根据运行状态进行相应的操作，提升了基础云平台的管理效率。

请参见图7，为本发明实施例提供了一种数据采集设备的系统架构图。如图7所示，所述数据采集设备可以包括采集层、存储层、业务层以及接口层，其中，

采集层部署于基础云平台下的网络服务设备中，用于对网络服务设备中的各项监控数据进行采集及上报，所述采集层可以包括数据采集脚本和上报接口，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，采集得到的所述监控数据可以经由所述上报接口封装为监控信息传输至所述存储层，优选的，所述网络服务设备可以包括服务器和网络设备，针对网络服务设备中的基础监控数据，可以由网络服务设备中的Agent监控程序进行数据采集，而针对网络服务设备中的资源、服务等需求监控数据，可以由自定义的定时监控脚本进行数据采集，上述采集得到的监控数据可以由网络服务设备中的Agent提供的上报接口进行上报；

存储层包括接口机、队列、分发/路由模块、一级缓存以及数据库，接口机用于接收上报接口传输的监控信息，所述接口机可以采用MCP消息通信框架，所述MCP消息通信框架为一种高性能、大容量、高可靠性的网络服务器编程框架，通过队列依据监控信息中的业务特征标识识别监控业务类型，并将每种监控业务类型的监控数据加入不同的队列中，所述队列优选为RabbitMQ(RabbitMessage Queue)队列；分发/路由模块用于对每个队列传输的监控数据进行简单运算和简单告警分析，并根据路由规则，将监控数据存储到对应的一级缓存和数据库结点上；一级缓存采用Redis集群，根据Hash一致性算法，均匀分布到集群的各结点上，一级缓存用于存储最原始的监控数据，且只缓存预定时间段内的监控数据，为了节约缓存空间，可以对监控数据进行编码及压缩缓存；数据库采用Mysql集群，数据库同样可以对监控数据进行编码及压缩，并且按照监控业务类型和时间信息，对监控数据进行分类存储。

业务层包括计算模块、二级缓存、服务逻辑模块以及告警模块，计算模块在一级缓存或数据库中获取监控数据进行复合运算，包括：求和、求平均、最大值、最小值等统计运算，以生成统计结果；二级缓存对统计结果进行缓存，二级缓存可以采用Memcache缓存系统；服务逻辑模块以及告警模块用于根据二级缓存中的统计结果为接口层提供数据输出显示及告警输出的业务逻辑。

接口层包括监控显示模块、监控输出模块以及告警输出模块，监控显示模块用于根据服务逻辑模块的业务逻辑展示所述统计结果，例如：监控数据展示、查询、大屏显示、运营日报展示、日志查询、监控等；监控输出模块用于将统计结果输出至其它监控系统；告警输出模块对接外部消息平台，用于根据告警模块的告警逻辑将告警推送出去。

在本发明实施例中，通过四层架构的方式搭建数据采集设备，可以实时展示资源和服务的总体运营数据，提供可视化展示方便管理人员了解服务器和网络设备的运营情况，可以提供告警查询以及工单处理功能，且提供设备查询、性能指标查询和服务健康状况查询功能，增加了数据监控的可扩展性，极大的增加了可满足的业务需求类型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种数据采集方法，其特征在于，包括：

获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；

在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

将所述监控数据添加至所述目标监控业务类型对应的数据存储中。

2.根据权利要求1所述的方法，其特征在于，所述获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息之前，还包括：

获取基础云平台下的所有网络服务设备中的配置文件，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识；

对至少一种监控业务类型中每种监控业务类型配置业务标识。

3.根据权利要求2所述的方法，其特征在于，所述对所述至少一种监控业务类型中每种监控业务类型配置业务标识，包括：

对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；和/或，

获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。

4.根据权利要求3所述的方法，其特征在于，所述业务特征标识包括所述目标网络服务设备对应的目标设备标识和目标业务标识；

所述在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，包括：

确定所述目标设备标识对应的目标网络服务设备；

在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

5.根据权利要求4所述的方法，其特征在于，所述将所述监控数据添加至所述目标监控业务类型对应的数据存储中，包括：

当所述目标监控业务类型属于所述基础监控业务类型时，将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；

当所述目标监控业务类型属于所述需求监控业务类型时，将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；

其中，所述基础监控数据包括磁盘使用数据、中央处理器CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率中的任一种监控数据；所述需求监控数据包括计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串中的任一种监控数据。

6.根据权利要求5所述的方法，其特征在于，还包括：

对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出。

7.一种数据采集设备，其特征在于，包括：

信息获取单元，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；

类型识别单元，用于在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；

数据存储单元，用于将所述监控数据添加至所述目标监控业务类型对应的数据存储中。

8.根据权利要求7所述的设备，其特征在于，还包括：

文件获取单元，用于获取基础云平台下的所有网络服务设备中的配置文件，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识；

标识配置单元，用于对至少一种监控业务类型中每种监控业务类型配置业务标识。

9.根据权利要求8所述的设备，其特征在于，所述标识配置单元具体用于：

对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；和/或，

获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。

10.根据权利要求9所述的设备，其特征在于，所述业务特征标识包括所述目标网络服务设备对应的目标设备标识和目标业务标识；

所述类型识别单元包括：

设备确定子单元，用于确定所述目标设备标识对应的目标网络服务设备；

类型识别子单元，用于在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。

11.根据权利要求10所述的设备，其特征在于，所述数据存储单元具体用于：

当所述目标监控业务类型属于所述基础监控业务类型时，将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；

当所述目标监控业务类型属于所述需求监控业务类型时，将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；

其中，所述基础监控数据包括磁盘使用数据、中央处理器CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率中的任一种监控数据；所述需求监控数据包括计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串中的任一种监控数据。

12.根据权利要求11所述的设备，其特征在于，还包括：

结果输出单元，用于对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出。