CN107528870B - 一种数据采集方法及其设备 - Google Patents
一种数据采集方法及其设备 Download PDFInfo
- Publication number
- CN107528870B CN107528870B CN201610456809.4A CN201610456809A CN107528870B CN 107528870 B CN107528870 B CN 107528870B CN 201610456809 A CN201610456809 A CN 201610456809A CN 107528870 B CN107528870 B CN 107528870B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- service
- target
- data
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 481
- 238000013500 data storage Methods 0.000 claims abstract description 36
- 230000006399 behavior Effects 0.000 claims description 23
- 230000003862 health status Effects 0.000 claims description 13
- 241001269238 Data Species 0.000 claims description 9
- 210000000352 storage cell Anatomy 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000007726 management method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开一种数据采集方法及其设备，其中方法包括如下步骤：获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；将所述监控数据添加至所述目标监控业务类型对应的数据存储中。采用本发明，可以增加监控的业务类型和数据的多样性，在节约成本的基础上提升对基础云平台中的网络设备的监控效果。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种数据采集方法及其设备。
背景技术
随着互联网技术不断的开发和完善，通过构建基础云平台可以满足日益增长的网络服务需求，例如：提供计算资源、存储资源、网络资源等必须的基础互联网技术(InternetTechnology，IT)架构服务，随着服务需求的增长，基础云平台需要管控的服务器规模也不断扩大，现有的监控方式通常都是由管理人员针对网络服务设备(例如：服务器、网络设备等)进行实地记录，增加了人力资源成本，同时监控的业务类型和数据比较有限，影响了对基础云平台中的网络服务设备的监控效果。
发明内容
本发明实施例提供一种数据采集方法及其设备，可以增加监控的业务类型和数据的多样性，在节约成本的基础上提升对基础云平台中的网络服务设备的监控效果。
本发明实施例第一方面提供了一种数据采集方法，可包括：
获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；
在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；
将所述监控数据添加至所述目标监控业务类型对应的数据存储中。
本发明实施例第二方面提供了一种数据采集设备，可包括：
信息获取单元，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；
类型识别单元，用于在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；
数据存储单元，用于将所述监控数据添加至所述目标监控业务类型对应的数据存储中。
在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据采集方法的流程示意图；
图2是本发明实施例提供的另一种数据采集方法的流程示意图；
图3是本发明实施例提供的一种数据采集设备的结构示意图；
图4是本发明实施例提供的另一种数据采集设备的结构示意图；
图5是本发明实施例提供的类型识别单元的结构示意图；
图6是本发明实施例提供的又一种数据采集设备的结构示意图；
图7为本发明实施例提供的一种数据采集设备的系统架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的数据采集方法可以应用于对基础云平台下的多个网络服务设备中的各项监控业务类型的监控数据进行采集及存储的场景，例如：数据采集设备获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据，所述数据采集设备在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述数据采集设备将所述监控数据添加至所述目标监控业务类型对应的数据存储中的场景等。实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。
本发明实施例涉及的数据采集设备可以为对基础云平台下的服务器、网络设备、资源、服务等进行监控的后台监控服务设备；所述基础云平台可以用于提供计算资源、存储资源、网络资源等必须的基础IT架构服务。
下面将结合附图1和附图2，对本发明实施例提供的数据采集方法进行详细介绍。
请参见图1，为本发明实施例提供了一种数据采集方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-S103。
S101，获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；
具体的，数据采集设备可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、中央处理器(Central Processing Unit，CPU)使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集，而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集。采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述数据采集设备可以获取所述目标网络服务设备上报的所述目标监控信息。
需要说明的是，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，进一步的，所述数据采集设备获取基础云平台下的所有网络服务设备中的配置文件，其中，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述数据采集设备可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。同时，所述数据采集设备还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型与基础监控数据相对应，具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述数据采集设备可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型与需求监控数据相对应，具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备发送的业务标识注册请求，所述数据采集设备可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。
S102，在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；
具体的，所述数据采集设备可以在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述数据采集设备可以确定所述目标设备标识对应的目标网络服务设备，所述数据采集设备在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。
S103，将所述监控数据添加至所述目标监控业务类型对应的数据存储中；
具体的，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据采集设备将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据采集设备将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。
在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。
请参见图2，为本发明实施例提供了另一种数据采集方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S207。
S201，获取基础云平台下的所有网络服务设备中的配置文件；
具体的，数据采集设备获取基础云平台下的所有网络服务设备中的配置文件，其中，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述数据采集设备可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。
S202，对至少一种监控业务类型中每种监控业务类型配置业务标识；
具体的，所述数据采集设备还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述数据采集设备可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备发送的业务标识注册请求，所述数据采集设备可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识，以计算资源为例，若当前需要增加服务器中的母机的分配比例的需求监控业务类型时，可以向所述数据采集设备注册一个业务标识代表母机的分配比例的需求监控业务类型。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。
S203，获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；
具体的，所述数据采集设备可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集；而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集，所述基础云平台的服务健康状态用于表示所述基础云平台中用于提供特定功能的服务(例如：计算服务，用于提供创建和管理虚拟机功能等)的运行状态，所述用户行为用于表示用户在所述基础云平台中的行为日志，以用户行为字符串为例，针对用户访问系统的需求监控数据，可以预先自定义的定时监控脚本，当检测到存在XX用户访问该系统时，可以生成“xx_access”的用户行为字符串进行上报等。
采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述数据采集设备可以获取所述目标网络服务设备上报的所述目标监控信息。
S204，确定所述目标设备标识对应的目标网络服务设备；
S205，在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型；
具体的，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述数据采集设备可以确定所述目标设备标识对应的目标网络服务设备，所述数据采集设备在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。
S206，将所述监控数据添加至所述目标监控业务类型对应的数据存储中；
具体的，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据采集设备将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据采集设备将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。
S207，对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出；
具体的，所述数据采集设备可以对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，优选的，可以对至少一种监控业务类型中每种监控业务类型下的多个监控数据进行复合计算，例如：求和、求平均、最大值、最小值等统计运算，以生成统计结果，例如：以计算资源为，获取属于母机的分配比例的需求监控业务类型的所有母机分配比例的需求监控数值，可以统计所述基础云平台下所有服务器中的母机分配比例的需求监控数值，可以生成包含母机剩余支撑数、母机总支撑数等统计结果。所述数据采集设备可以对所述统计结果进行输出，优选的，可以输出至管理人员的终端设备中进行显示等。
在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果；通过获取设备标识以及配置业务标识，可以准确识别网络服务设备发送的监控数据对应的监控业务类型，提升了数据采集的准确性；通过进行统计结果的计算，可以实现监控数据的可视化显示，方便管理人员及时了解各个网络服务设备以及当前基础云平台的运行状态，并根据运行状态进行相应的操作，提升了基础云平台的管理效率。
下面将结合附图3-附图5，对本发明实施例提供的数据采集设备进行详细介绍。需要说明的是，附图3-附图5所示的数据采集设备，用于执行本发明图1和图2所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1和图2所示的实施例。
请参见图3，为本发明实施例提供了一种数据采集设备的结构示意图。如图3所示，本发明实施例的所述数据采集设备1可以包括：信息获取单元11、类型识别单元12和数据存储单元13。
信息获取单元11，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；
具体实现中，所述信息获取单元11可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集，而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集。采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备1，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述信息获取单元11可以获取所述目标网络服务设备上报的所述目标监控信息。
需要说明的是，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，进一步的，所述数据采集设备1获取基础云平台下的所有网络服务设备中的配置文件，其中，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述数据采集设备1可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。同时，所述数据采集设备1还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型与基础监控数据相对应，具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述数据采集设备1可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型与需求监控数据相对应，具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备1发送的业务标识注册请求，所述数据采集设备1可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。
类型识别单元12，用于在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；
具体实现中，所述类型识别单元12可以在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述类型识别单元12可以确定所述目标设备标识对应的目标网络服务设备，所述类型识别单元12在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。
数据存储单元13，用于将所述监控数据添加至所述目标监控业务类型对应的数据存储中；
具体实现中，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据存储单元13将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据存储单元13将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。
在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果。
请参见图4，为本发明实施例提供了另一种数据采集设备的结构示意图。如图4所示，本发明实施例的所述数据采集设备1可以包括：信息获取单元11、类型识别单元12、数据存储单元13、文件获取单元14、标识配置单元15和结果输出单元16。
文件获取单元14，用于获取基础云平台下的所有网络服务设备中的配置文件；
具体实现中，所述文件获取单元14获取基础云平台下的所有网络服务设备中的配置文件，其中，所述基础云平台下包括多个网络服务设备，所述网络服务设备可以包括服务器(例如：母机和虚拟机等)和网络设备(例如：路由器、交换机等)，所述母机为可以虚拟化出多个虚拟机的物理机，所述虚拟机为在所述母机上创建的虚拟子机，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识，可以理解的是，所述网络设备标识为所述服务器的唯一识别码，所述母机标识为管理人员预先进行配置的标识，所述虚拟机标识为在创建时自动分配的唯一识别码，上述至少一种设备标识可以存储于对应的网络服务设备的指定的配置文件中，所述文件获取单元14可以读取所述配置文件以获取该网络服务设备中的所有设备标识，并进行存储。
标识配置单元15，用于对至少一种监控业务类型中每种监控业务类型配置业务标识；
具体实现中，所述标识配置单元15还需要对当前基础云平台下存在的至少一种监控业务类型中的每种监控业务类型配置业务标识，所述监控业务类型可以包括基础监控业务类型以及需求监控业务类型，所述基础监控业务类型具体包括网络服务设备中的磁盘使用、CPU使用、内存使用、网络流量、端口流量、数据包量、丢包率以及延迟率等基础的监控类型，所述标识配置单元15可以对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；所述需求监控业务类型具体为根据业务需求自行定义的监控类型，具体包括计算资源、存储资源、网络资源、基础云平台的服务健康状态、用户行为、安全事件等自定义的监控类型，管理人员可以根据自定义的需求监控业务类型向所述数据采集设备1发送的业务标识注册请求，所述标识配置单元15可以获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识，以计算资源为例，若当前需要增加服务器中的母机的分配比例的需求监控业务类型时，可以向所述数据采集设备1注册一个业务标识代表母机的分配比例的需求监控业务类型。针对不同网络服务设备中相同监控业务类型所配置的业务标识可以相同，以节约业务标识资源的使用。
信息获取单元11，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息；
具体实现中，所述信息获取单元11可以获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，可以理解的是，所述网络服务设备中可以预先配置有数据采集脚本，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，所述目标监控信息可以包括业务特征标识和所述目标网络服务设备的监控数据，优选的，所述监控数据可以包括基础监控数据和需求监控数据，针对网络服务设备中的基础监控数据，例如：磁盘使用数据、CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率等，可以通过所述监控程序进行采集；而针对网络服务设备中的需求监控数据，例如：计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串、安全事件字符串等，可以通过所述自定义的定时监控脚本进行采集，所述基础云平台的服务健康状态用于表示所述基础云平台中用于提供特定功能的服务(例如：计算服务，用于提供创建和管理虚拟机功能等)的运行状态，所述用户行为用于表示用户在所述基础云平台中的行为日志，以用户行为字符串为例，针对用户访问系统的需求监控数据，可以预先自定义的定时监控脚本，当检测到存在XX用户访问该系统时，可以生成“xx_access”的用户行为字符串进行上报等。
采集得到的所述监控数据可以经由所述监控程序的上报接口传输至所述数据采集设备1，所述目标网络服务设备用于表示当前上报所述监控数据的网络服务设备。所述信息获取单元11可以获取所述目标网络服务设备上报的所述目标监控信息。
类型识别单元12，用于在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；
具体实现中，所述类型识别单元12可以在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述类型识别单元12可以确定所述目标设备标识对应的目标网络服务设备，所述类型识别单元12在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。
具体的，请一并参见图5，为本发明实施例提供了类型识别单元的结构示意图。如图5所示，所述类型识别单元12可以包括：
设备确定子单元121，用于确定所述目标设备标识对应的目标网络服务设备；
类型识别子单元122，用于在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型；
具体实现中，所述业务特征标识具体可以包括所述目标网络服务设备对应的目标设备标识和目标业务标识，所述目标网络服务设备对应的目标设备标识可以用于表示当前上报的所述目标监控信息的网络服务设备的设备标识，例如：服务器中的A母机，则目标设备标识可以为“A母机的母机标识”等，所述目标业务标识可以用于表示当前上报的监控数据所属监控业务类型对应的业务标识，进一步的，所述设备确定子单元121可以确定所述目标设备标识对应的目标网络服务设备，所述类型识别子单元122在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。
数据存储单元13，用于将所述监控数据添加至所述目标监控业务类型对应的数据存储中；
具体实现中，当所述目标监控业务类型属于所述基础监控业务类型时，所述数据存储单元13将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；当所述目标监控业务类型属于所述需求监控业务类型时，所述数据存储单元13将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。可以理解的是，所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库。
结果输出单元16，用于对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出；
具体实现中，所述结果输出单元16可以对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，优选的，可以对至少一种监控业务类型中每种监控业务类型下的多个监控数据进行复合计算，例如：求和、求平均、最大值、最小值等统计运算，以生成统计结果，例如：以计算资源为，获取属于母机的分配比例的需求监控业务类型的所有母机分配比例的需求监控数值，可以统计所述基础云平台下所有服务器中的母机分配比例的需求监控数值，可以生成包含母机剩余支撑数、母机总支撑数等统计结果。所述结果输出单元16可以对所述统计结果进行输出，优选的，可以输出至管理人员的终端设备中进行显示等。
在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果；通过获取设备标识以及配置业务标识，可以准确识别网络服务设备发送的监控数据对应的监控业务类型，提升了数据采集的准确性；通过进行统计结果的计算，可以实现监控数据的可视化显示，方便管理人员及时了解各个网络服务设备以及当前基础云平台的运行状态，并根据运行状态进行相应的操作，提升了基础云平台的管理效率。
请参见图6，为本发明实施例提供了又一种数据采集设备的结构示意图。如图6所示，所述数据采集设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据采集应用程序。
在图6所示的数据采集设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；网络接口1004用于接收用户终端发送的数据；而处理器1001可以用于调用存储器1005中存储的数据采集应用程序，并具体执行以下操作：
获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据；
在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型；
将所述监控数据添加至所述目标监控业务类型对应的数据存储中。
在一个实施例中，所述处理器1001在执行获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息之前，还执行以下操作：
获取基础云平台下的所有网络服务设备中的配置文件，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识；
对至少一种监控业务类型中每种监控业务类型配置业务标识。
在一个实施例中，所述处理器1001在执行对所述至少一种监控业务类型中每种监控业务类型配置业务标识时，具体执行以下操作：
对所述所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；和/或，
获取针对所述所有网络服务设备的任一网络服务设备自定义的需求监控业务类型，并对所述需求监控业务类型配置业务标识。
在一个实施例中，所述业务特征标识包括所述目标网络服务设备对应的目标设备标识和目标业务标识；
所述处理器1001在执行在预设的至少一种监控业务类型中识别所述业务特征标识对应的目标监控业务类型时，具体执行以下操作：
确定所述目标设备标识对应的目标网络服务设备；
在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型。
在一个实施例中，所述处理器1001在执行将所述监控数据添加至所述目标监控业务类型对应的数据存储中时，具体执行以下操作：
当所述目标监控业务类型属于所述基础监控业务类型时，将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；
当所述目标监控业务类型属于所述需求监控业务类型时，将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；
其中，所述基础监控数据包括磁盘使用数据、中央处理器CPU使用数据、内存使用数据、网络流量、端口流量、数据包量、丢包率以及延迟率中的任一种监控数据；所述需求监控数据包括计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串中的任一种监控数据。
在一个实施例中，所述处理器1001还执行以下操作：
对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计以生成统计结果，并对所述统计结果进行输出。
在本发明实施例中，通过获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，识别目标监控信息中业务特征标识对应的目标监控业务类型，最终将目标监控信息中的监控数据按照目标监控业务类型进行归类存储，实现了对基础云平台下的网络服务设备的统一采集管理，无需人为实地记录，节约了数据采集的管理成本，同时，通过在网络服务设备中预设的数据采集脚本将网络服务设备的监控信息进行上报，并采用业务特征标识对监控业务类型进行对应识别，增加了监控的业务类型和数据的多样性，提升了对基础云平台中的网络服务设备的监控效果；通过获取设备标识以及配置业务标识，可以准确识别网络服务设备发送的监控数据对应的监控业务类型，提升了数据采集的准确性；通过进行统计结果的计算，可以实现监控数据的可视化显示，方便管理人员及时了解各个网络服务设备以及当前基础云平台的运行状态，并根据运行状态进行相应的操作，提升了基础云平台的管理效率。
请参见图7，为本发明实施例提供了一种数据采集设备的系统架构图。如图7所示，所述数据采集设备可以包括采集层、存储层、业务层以及接口层，其中，
采集层部署于基础云平台下的网络服务设备中，用于对网络服务设备中的各项监控数据进行采集及上报，所述采集层可以包括数据采集脚本和上报接口，所述数据采集脚本可以为所述网络服务设备中的监控程序，或者可以为管理人员自定义的定时监控脚本等，采集得到的所述监控数据可以经由所述上报接口封装为监控信息传输至所述存储层，优选的，所述网络服务设备可以包括服务器和网络设备，针对网络服务设备中的基础监控数据，可以由网络服务设备中的Agent监控程序进行数据采集，而针对网络服务设备中的资源、服务等需求监控数据，可以由自定义的定时监控脚本进行数据采集，上述采集得到的监控数据可以由网络服务设备中的Agent提供的上报接口进行上报；
存储层包括接口机、队列、分发/路由模块、一级缓存以及数据库，接口机用于接收上报接口传输的监控信息，所述接口机可以采用MCP消息通信框架，所述MCP消息通信框架为一种高性能、大容量、高可靠性的网络服务器编程框架，通过队列依据监控信息中的业务特征标识识别监控业务类型，并将每种监控业务类型的监控数据加入不同的队列中，所述队列优选为RabbitMQ(Rabbit Message Queue)队列；分发/路由模块用于对每个队列传输的监控数据进行简单运算和简单告警分析，并根据路由规则，将监控数据存储到对应的一级缓存和数据库结点上；一级缓存采用Redis集群，根据Hash一致性算法，均匀分布到集群的各结点上，一级缓存用于存储最原始的监控数据，且只缓存预定时间段内的监控数据，为了节约缓存空间，可以对监控数据进行编码及压缩缓存；数据库采用Mysql集群，数据库同样可以对监控数据进行编码及压缩，并且按照监控业务类型和时间信息，对监控数据进行分类存储。
业务层包括计算模块、二级缓存、服务逻辑模块以及告警模块，计算模块在一级缓存或数据库中获取监控数据进行复合运算，包括：求和、求平均、最大值、最小值等统计运算，以生成统计结果；二级缓存对统计结果进行缓存，二级缓存可以采用Memcache缓存系统；服务逻辑模块以及告警模块用于根据二级缓存中的统计结果为接口层提供数据输出显示及告警输出的业务逻辑。
接口层包括监控显示模块、监控输出模块以及告警输出模块，监控显示模块用于根据服务逻辑模块的业务逻辑展示所述统计结果，例如：监控数据展示、查询、大屏显示、运营日报展示、日志查询、监控等；监控输出模块用于将统计结果输出至其它监控系统；告警输出模块对接外部消息平台，用于根据告警模块的告警逻辑将告警推送出去。
在本发明实施例中，通过四层架构的方式搭建数据采集设备，可以实时展示资源和服务的总体运营数据，提供可视化展示方便管理人员了解服务器和网络设备的运营情况，可以提供告警查询以及工单处理功能，且提供设备查询、性能指标查询和服务健康状况查询功能，增加了数据监控的可扩展性，极大的增加了可满足的业务需求类型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (7)
1.一种数据采集方法，其特征在于，包括：
对所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；
接收所述所有网络服务设备的任一网络服务设备发送的与自定义的需求监控业务类型对应的业务标识注册请求，以获取针对该网络服务设备自定义的需求监控业务类型，对自定义的需求监控业务类型配置业务标识；其中，基础监控数据包括磁盘使用数据、中央处理器CPU使用数据、内存使用数据中的任一种监控数据；需求监控数据包括计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串中的任一种监控数据；所述用户行为字符串是用于表征用户访问目标网络服务设备的行为的字符串；
获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据，所述业务特征标识包括所述目标网络服务设备对应的目标设备标识和目标业务标识；所述目标业务标识用于表示当前上报的监控数据所属监控业务类型对应的业务标识；
在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型；
将所述监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库；
对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计运算，以生成统计结果，将所述统计结果输出至管理人员的终端设备中进行显示；若所述监控数据包括属于母机的分配比例的需求监控业务类型的所有母机分配比例的需求监控数值，则所述统计结果包含母机剩余支撑数以及母机总支撑数。
2.根据权利要求1所述的方法，其特征在于，所述获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息之前，还包括：
获取基础云平台下的所有网络服务设备中的配置文件，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识。
3.根据权利要求2所述的方法，其特征在于，所述将所述监控数据添加至所述目标监控业务类型对应的数据存储中，包括：
当所述目标监控业务类型属于所述基础监控业务类型时，将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；
当所述目标监控业务类型属于所述需求监控业务类型时，将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。
4.一种数据采集设备，其特征在于，包括：
标识配置单元，用于对所有网络服务设备中的至少一种基础监控业务类型中每种基础监控业务类型配置业务标识；
所述标识配置单元，还用于接收所述所有网络服务设备的任一网络服务设备发送的与自定义的需求监控业务类型对应的业务标识注册请求，以获取针对该网络服务设备自定义的需求监控业务类型，对自定义的需求监控业务类型配置业务标识；其中，基础监控数据包括磁盘使用数据、中央处理器CPU使用数据、内存使用数据中的任一种监控数据；需求监控数据包括计算资源数值、存储资源数值、网络资源数值、基础云平台的服务健康状态数值、用户行为字符串中的任一种监控数据；所述用户行为字符串是用于表征用户访问目标网络服务设备的行为的字符串；
信息获取单元，用于获取基础云平台下的目标网络服务设备基于预设数据采集脚本发送的目标监控信息，所述目标监控信息包括业务特征标识和所述目标网络服务设备的监控数据，所述业务特征标识包括所述目标网络服务设备对应的目标设备标识和目标业务标识；所述目标业务标识用于表示当前上报的监控数据所属监控业务类型对应的业务标识；
类型识别子单元，用于在预设的至少一种监控业务类型中识别所述目标业务标识对应的目标监控业务类型；
数据存储单元，用于将所述监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；所述数据存储为对所述目标网络服务设备设置的用于存储所述目标网络服务设备的各个监控业务类型对应的业务数据的分类存储数据库；
结果输出单元，用于对所述数据存储中存储的所有监控数据按照所述至少一种监控业务类型分别进行统计运算，以生成统计结果，将所述统计结果输出至管理人员的终端设备中进行显示；若所述监控数据包括属于母机的分配比例的需求监控业务类型的所有母机分配比例的需求监控数值，则所述统计结果包含母机剩余支撑数以及母机总支撑数。
5.根据权利要求4所述的设备，其特征在于，还包括：
文件获取单元，用于获取基础云平台下的所有网络服务设备中的配置文件，所述配置文件包括服务器中的母机标识、服务器中的虚拟机标识，以及网络设备标识中的至少一种设备标识。
6.根据权利要求5所述的设备，其特征在于，所述数据存储单元具体用于：
当所述目标监控业务类型属于所述基础监控业务类型时，将基础监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中；
当所述目标监控业务类型属于所述需求监控业务类型时，将需求监控数据添加至所述目标网络服务设备下的所述目标监控业务类型对应的数据存储中。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610456809.4A CN107528870B (zh) | 2016-06-22 | 2016-06-22 | 一种数据采集方法及其设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610456809.4A CN107528870B (zh) | 2016-06-22 | 2016-06-22 | 一种数据采集方法及其设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107528870A CN107528870A (zh) | 2017-12-29 |
| CN107528870B true CN107528870B (zh) | 2019-08-23 |
Family
ID=60735451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610456809.4A Active CN107528870B (zh) | 2016-06-22 | 2016-06-22 | 一种数据采集方法及其设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107528870B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311577A (zh) * | 2019-07-31 | 2021-02-02 | 中国移动通信集团广东有限公司 | 一种监控指标数据管理方法、装置、电子设备及存储介质 |
| CN112306791B (zh) * | 2019-08-01 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 一种性能监控的方法和装置 |
| CN112650656B (zh) * | 2019-10-09 | 2024-09-20 | 北京京东尚科信息技术有限公司 | 性能监控方法、装置、设备、服务器及存储介质 |
| CN112968789B (zh) * | 2019-12-12 | 2024-02-27 | 中兴通讯股份有限公司 | 数据采集方法、装置、计算机设备及计算机可读介质 |
| CN111045893B (zh) * | 2019-12-12 | 2023-09-22 | 网银在线（北京）科技有限公司 | 监控任务的执行方法、装置及系统、存储介质、电子装置 |
| CN110912757B (zh) * | 2019-12-24 | 2022-06-14 | 聚好看科技股份有限公司 | 业务的监控方法和服务器 |
| CN113778780B (zh) * | 2020-11-27 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 应用稳定性的确定方法、装置、电子设备和存储介质 |
| CN112631887A (zh) * | 2020-12-25 | 2021-04-09 | 百度在线网络技术（北京）有限公司 | 异常检测方法、装置、电子设备和计算机可读存储介质 |
| CN112965702A (zh) * | 2021-02-19 | 2021-06-15 | 中国工商银行股份有限公司 | 数据采集方法及装置 |
| CN113486100B (zh) * | 2021-06-30 | 2024-08-02 | 中国民航信息网络股份有限公司 | 服务治理方法、装置、服务器及计算机存储介质 |
| CN113688149A (zh) * | 2021-07-20 | 2021-11-23 | 青岛海尔科技有限公司 | 监控方法和装置 |
| CN114760326B (zh) * | 2022-03-02 | 2024-07-23 | 杭州华橙软件技术有限公司 | 数据存储方法、数据查询方法、数据存储系统和电子装置 |
| CN114785711B (zh) * | 2022-05-27 | 2024-03-26 | 中国联合网络通信集团有限公司 | 网络设备的性能监控方法、装置和存储介质 |
| CN115426299B (zh) * | 2022-10-20 | 2023-03-21 | 深圳红途科技有限公司 | 无特征数据标识方法、装置、计算机设备及存储介质 |
| CN116800540B (zh) * | 2023-08-03 | 2023-12-26 | 惠州迈腾伟业科技发展有限公司 | 一种网络交换机的数据管理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101714930A (zh) * | 2009-12-30 | 2010-05-26 | 北京世纪互联宽带数据中心有限公司 | 一种实现网络监控的方法及系统 |
| CN104090891A (zh) * | 2013-12-12 | 2014-10-08 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、数据处理服务器及系统 |
| CN104424236A (zh) * | 2013-08-26 | 2015-03-18 | 腾讯科技（深圳）有限公司 | 数据采集中的存储方法及装置 |
| CN104717247A (zh) * | 2013-12-13 | 2015-06-17 | 中国电信股份有限公司 | 对云存储系统中存储资源的动态调度方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1700657A (zh) * | 1998-11-24 | 2005-11-23 | 尼克桑公司 | 用于采集和分析通信数据的装置及方法 |
| CN103532780B (zh) * | 2013-10-11 | 2017-09-22 | 北京有度致远信息科技股份有限公司 | 用于it领域的运维监控一体化系统及一体化监控方法 |
| CN103632226A (zh) * | 2013-11-29 | 2014-03-12 | 国家电网公司 | 基于svg图形化建模实现信息资源监控定位的方法 |
-
2016
- 2016-06-22 CN CN201610456809.4A patent/CN107528870B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101714930A (zh) * | 2009-12-30 | 2010-05-26 | 北京世纪互联宽带数据中心有限公司 | 一种实现网络监控的方法及系统 |
| CN104424236A (zh) * | 2013-08-26 | 2015-03-18 | 腾讯科技（深圳）有限公司 | 数据采集中的存储方法及装置 |
| CN104090891A (zh) * | 2013-12-12 | 2014-10-08 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、数据处理服务器及系统 |
| CN104717247A (zh) * | 2013-12-13 | 2015-06-17 | 中国电信股份有限公司 | 对云存储系统中存储资源的动态调度方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107528870A (zh) | 2017-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107528870B (zh) | 一种数据采集方法及其设备 | |
| US9917735B2 (en) | System and method for big data aggregation in sensor network | |
| CN103152393B (zh) | 一种云计算的计费方法和计费系统 | |
| CN106612199B (zh) | 一种网络监控数据收集与分析系统及方法 | |
| CN106709003A (zh) | 基于Hadoop的海量日志数据处理方法 | |
| CN108874640A (zh) | 一种集群性能的评估方法和装置 | |
| EP2768181B1 (en) | System and method for abstracting and orchestrating mobile data networks in a network environment | |
| CN104462121B (zh) | 数据处理方法、装置及系统 | |
| CN106487574A (zh) | 自动化运行维护监测系统 | |
| CN106170947B (zh) | 一种告警信息处理方法、相关设备和系统 | |
| CN114143203A (zh) | 一种基于动态服务拓扑映射的Kubernetes容器网络数据包指标采集的方法及系统 | |
| CN110659109B (zh) | 一种openstack集群虚拟机监控系统及方法 | |
| CN106940677A (zh) | 一种应用日志数据告警方法及装置 | |
| CN106027328A (zh) | 一种基于应用容器部署的集群监控的方法及系统 | |
| CN103955509A (zh) | 一种海量电力计量数据的快速检索方法 | |
| CN108932184A (zh) | 监控装置及方法 | |
| CN111966289A (zh) | 基于Kafka集群的分区优化方法和系统 | |
| CN103886508A (zh) | 海量农田数据的监控方法和系统 | |
| CN105871957A (zh) | 监控框架设计方法和监控服务器、代理单元、中控服务器 | |
| CN105872061A (zh) | 一种服务器集群管理方法、装置及系统 | |
| CN107993004A (zh) | 一种用电信息处理系统和方法 | |
| CN103916256A (zh) | 网络优化方法及装置、系统 | |
| US9218205B2 (en) | Resource management in ephemeral environments | |
| CN110855481A (zh) | 数据采集系统及方法 | |
| CN108337100A (zh) | 一种云平台监测的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231222 Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd. Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |