CN106936660A - 数据采集方法和装置 - Google Patents
数据采集方法和装置 Download PDFInfo
- Publication number
- CN106936660A CN106936660A CN201511029521.0A CN201511029521A CN106936660A CN 106936660 A CN106936660 A CN 106936660A CN 201511029521 A CN201511029521 A CN 201511029521A CN 106936660 A CN106936660 A CN 106936660A
- Authority
- CN
- China
- Prior art keywords
- performance
- data
- data acquisition
- acquisition session
- scripts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/022—Capturing of monitoring data by sampling
- H04L43/024—Capturing of monitoring data by sampling by adaptive sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种数据采集方法和装置，涉及数据采集技术领域，所述方法包括：可编程代理节点接收网络管理系统NMS下发的数据采集任务，数据采集任务包括性能指标以及用于采集性能指标的性能数据的采集程序；可编程代理节点根据采集程序采集性能指标的性能数据；可编程代理节点反馈性能数据至NMS。解决了现有技术中数据采集的灵活度较差的问题，达到了可编程代理节点可以根据接收到的数据采集任务的不同来灵活的采集不同的性能数据，提高数据采集的灵活度的效果。同时，由于可编程代理节点可以根据数据采集任务灵活采集性能数据，所以在需要采集新的性能指标的性能数据时，并不需要对可编程代理节点所在的网元做任何改进，降低了成本。
Description
技术领域
本发明涉及数据采集领域，特别涉及一种数据采集方法和装置。
背景技术
在网络管理系统(英文：Network Management System，简称：NMS)中，NMS通常需要采集应用性能数据。比如，为了实现计费业务，NMS需要获取计费所需的各种性能数据。
现有的一种数据采集方法包括：网元中设置有表述性状态传递(英文：Representational State Transfer，简称：REST)代理(英文：Agent)，该REST Agent接收NMS下发的REST消息，根据该REST消息采集性能指标所对应的性能数据，并将采集到的性能数据反馈给NMS。
当需要新的性能指标的性能数据时，受REST Agent的接口的限制，上述方案并不能动态的采集该性能数据，数据采集的灵活度较差。
发明内容
为了解决现有技术中数据采集的灵活度较差的问题，本发明实施例提供了一种数据采集方法和装置，所述技术方案如下：
第一方面，提供了一种数据采集方法，该数据采集方法可以包括：
可编程代理节点接收网络管理系统NMS下发的数据采集任务，数据采集任务包括性能指标以及用于采集性能指标的性能数据的采集程序；
可编程代理节点根据采集程序采集性能指标的性能数据；
可编程代理节点反馈性能数据至NMS。
通过使用可编程代理节点来接收NMS下发的数据采集任务，进而根据数据采集任务来采集性能数据；解决了现有技术中数据采集的灵活度较差的问题，达到了可编程代理节点可以根据接收到的数据采集任务的不同来灵活的采集不同的性能数据，提高数据采集的灵活度的效果。同时，由于可编程代理节点可以根据数据采集任务灵活采集性能数据，所以在需要采集新的性能指标的性能数据时，并不需要对可编程代理节点所在的网元做任何改进，降低了成本。
在上述数据采集方法中，采集程序可以包括SHELL脚本、REST调用程序和结构化查询语言(英文：Structured Query Language，简称：SQL)脚本中的至少一种。
在第一种可能的实现方式中，采集程序包括SHELL脚本，数据采集任务还包括性能测量对象(英文：Performance Measurement Object，简称：PMO)、SHELL脚本的执行路径、SHELL脚本所能采集的数据的存储路径、SHELL脚本的运行用户的用户信息和采集周期中的至少一种；
根据采集程序采集性能指标的性能数据，包括：
当数据采集任务包括PMO时，根据SHELL脚本采集PMO的性能指标的性能数据；
当数据采集任务包括SHELL脚本的执行路径时，在执行路径中执行SHELL脚本，并通过SHELL脚本采集性能数据；
当数据采集任务包括SHELL脚本所能采集的数据的存储路径时，根据SHELL脚本从存储路径存储的数据中获取性能指标的性能数据；
当数据采集任务包括SHELL脚本的运行用户的用户信息时，根据SHELL脚本以及用户信息采集运行用户中性能指标的性能数据；
当数据采集任务包括采集周期时，根据SHELL脚本按照采集周期采集性能数据。
通过设置性能指标的PMO，使得性能指标可以适用于各种测量场景(针对不同的测量场景，只需设置不同的性能测量对象即可)，提高了性能指标的灵活度。
通过限制SHELL脚本的执行路径，避免了SHELL脚本在无权限的路径下执行时，给网元安全带来的危害，保证了网元中的信息的信息安全。
通过限制SHELL脚本所能采集的数据的存储路径，使得SHELL脚本只能读取存储路径中存储的数据，避免了网元中的数据被窃取的问题，保证了网元中的数据的安全。
通过限制SHELL脚本在指定的运行用户下运行，避免了SHELL脚本将网元中其它用户的数据泄露的问题。
在第二种可能的实现方式中，采集程序包括REST调用程序，性能指标包括REST参数，数据采集任务还包括性能测量对象PMO、REST调用程序的运行用户的用户信息和采集周期中的至少一种；
根据采集程序采集性能指标的性能数据，包括：
当数据采集任务包括PMO时，根据REST调用程序采集PMO的REST参数的性能数据；
当数据采集任务包括REST调用程序的运行用户的用户信息时，根据用户信息采集运行用户中REST参数的性能数据；
当数据采集任务包括采集周期时，根据REST调用程序按照采集周期采集性能数据。
其中，在上述两种可能的实现方式中，用户信息包括运行用户的用户名和密码。
在第三种可能的实现方式中，采集程序包括SQL脚本，数据采集任务还包括性能测量对象PMO、SQL脚本的脚本参数、SQL脚本的运行用户的用户信息和采集周期中的至少一种；
根据采集程序采集性能指标的性能数据，包括：
当数据采集任务包括PMO时，根据SQL脚本采集PMO的性能指标的性能数据；
当数据采集任务包括SQL脚本的脚本参数时，根据SQL脚本以及脚本参数采集性能指标的性能数据；
当数据采集任务包括SQL脚本的运行用户的用户信息时，根据SQL脚本以及用户信息采集运行用户中性能指标的性能数据；
当数据采集任务包括采集周期时，根据SQL脚本按照采集周期采集性能数据。
其中，用户信息包括运行用户的用户名、密码和数据库名称。
结合上述任一种可能的实现方式，在第四种可能的实现方式中，数据采集任务还包括采集程序的输出字段名以及输出字段值；
反馈性能数据至NMS，包括：
将性能数据按照输出字段名和输出字段值的格式反馈至NMS。
第二方面，提供了一种数据采集装置，该数据采集装置可以包括至少一个单元，该至少一个单元用于实现上述第一方面的数据采集方法。
第三方面，提供了一种网元设备，该网元设备中运行有可编程代理节点，该可编程代理节点用于实现上述数据采集方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明各个实施例提供的数据采集方法所涉及的网络架构的示意图。
图2是本发明一个实施例提供的网元设备的结构示意图。
图3是本发明一个实施例提供的数据采集方法的方法流程图。
图4是本发明另一个实施例提供的数据采集方法的方法流程图。
图5是本发明再一个实施例提供的数据采集方法的方法流程图。
图6是本发明再一个实施例提供的数据采集方法的方法流程图。
图7是本发明一个实施例提供的数据采集装置的方框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其示出了本发明全部或者部分实施例所涉及的网络架构的示意图。如图1所示，该网络架构中包括NMS110、可编程代理节点120和应用软件130。
NMS110是一个软硬件结合以软件为主的分布式网络应用系统，其目的是管理网络，使网络高效正常运行。实际实现时，NMS110可以展示网络管理界面，网络管理员可以在该网络管理界面中创建数据采集任务，并将该数据采集任务下发至可编程代理节点120。可选的，NMS110可以通过有线或者无线网络与可编程代理节点120连接。
可编程代理节点120为运行在网元设备中的一段程序代码。该可编程代理节点120可以根据注入的数据采集任务灵活的改变采集的性能指标的性能数据。该可编程代理节点120可以采集所在网元设备的性能数据，也可以采集其他网元设备的性能数据。比如，可编程代理节点120运行在网元设备1中，该可编程代理节点120可以采集与网元设备1处于同一个局域网中的其他网元设备的性能数据。
应用软件130是指需要采集性能指标的软件。实际实现时，该应用软件130可以有一个，也可以有多个(图1以应用软件有3个来举例说明)。并且该应用软件130可以包括客户管理系统(英文：Customer Relationship Manangement，简称：CRM)、计费软件或者阅读软件。可选的，该应用软件130还可以为其他软件，本实施例对此并不做限定。
请参考图2，其示出了本发明一个示例性实施例提供的网元设备的结构示意图。该网元设备中可以运行有图1所示的可编程代理节点。该网元设备可以包括：处理器220、与处理器220相连的通信接口240。本领域技术人员可以理解，图2中示出的网元设备结构并不构成对网元设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，网元设备还包括存储器260和供电电源等。其中：
处理器220是网元设备的控制中心，利用各种接口和线路连接整个网元设备的各个部分，通过运行或执行存储在存储器260内的软件程序和/或模块，以及调用存储在存储器260内的数据，执行网元设备的各种功能和处理数据，从而对网元设备进行整体控制。可选的，处理器220可包括一个或多个处理核心；可选的，处理器220可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器220中，上述调制解调处理器可以单独实现成为一个芯片。
通信接口240用于接收其他网元设备发送的信号，或者，发送信号至其他网元设备。
存储器260可用于存储软件程序以及模块。处理器220通过运行存储在存储器260的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器260可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统261、接收模块262、采集模块263、反馈模块264和至少一个其它功能所需的应用程序265等；存储数据区可存储根据网元设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器260可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。处理器220可以调用存储器260中存储的各种程序以及各个模块来实现下述实施例所述的数据采集方法。
请参考图3，其示出了本发明一个实施例提供的数据采集方法的方法流程图。本实施例以该数据采集方法用于图1所示的可编程代理节点中来举例说明。如图3所示，该数据采集方法可以包括：
步骤301，可编程代理节点接收网络管理系统NMS下发的数据采集任务，数据采集任务包括性能指标以及用于采集性能指标的性能数据的采集程序。
步骤302，可编程代理节点根据采集程序采集性能指标的性能数据。
步骤303，可编程代理节点反馈性能数据至NMS。
综上所述，本实施例提供的数据采集方法，通过使用可编程代理节点来接收NMS下发的数据采集任务，进而根据数据采集任务来采集性能数据；解决了现有技术中数据采集的灵活度较差的问题，达到了可编程代理节点可以根据接收到的数据采集任务的不同来灵活的采集不同的性能数据，提高数据采集的灵活度的效果。同时，由于可编程代理节点可以根据数据采集任务灵活采集性能数据，所以在需要采集新的性能指标的性能数据时，并不需要对可编程代理节点所在的网元做任何改进，降低了成本。
在上述实施例中，采集程序可以包括SHELL脚本、REST调用程序和SQL脚本中的至少一种，所以下述将在不同实施例中分别对上述情况进行说明。
请参考图4，其示出了本发明另一个实施例提供的数据采集方法的方法流程图，本实施例以该数据采集方法用于图1所示的可编程代理节点，且采集程序为SHELL脚本来举例说明。如图4所示，该数据采集方法包括：
步骤401，NMS获取数据采集任务，数据采集任务包括性能指标和用于采集性能指标的性能数据的SHELL脚本。
网络管理人员可以根据数据采集需求在NMS展示的网络管理界面中通过输入安全SHELL(英文：Secure Shell，简称：SSH)信息的方式来创建数据采集任务。其中，该数据采集任务包括任务名称、需要采集的性能指标的指标名称、SHELL脚本的脚本名称以及SHELL脚本的脚本内容。相应的，NMS可以接收到网络管理人员创建的该数据采集任务。性能指标可以包括呼叫次数、呼叫的平均时长、订单成功次数、磁盘空间、内存等等。
可选的，在创建数据采集任务时，网络管理人员还可以设置性能指标的PMO。比如，以性能指标为磁盘空间来举例，PMO即可为C盘、D盘或者E盘。相应的，数据采集任务可以包括该PMO。
可选的，在创建数据采集任务时，网络管理人员还可以输入SHELL脚本的执行路径，也即该数据采集任务还可以包括SHELL脚本的执行路径。
可选的，Linux系统中可以同时包括多个用户，比如，包括普通用户以及管理员用户，所以网络管理人员还可以设置给予SHELL脚本运行权限的运行用户的用户信息。其中，用户信息可以包括用户名和密码，并且，在可编程代理节点需要采集其他网元的性能数据时，该用户信息还可以包括其他网元的网络互连协议(英文：Internet Protocol，简称IP)地址。相应的，数据采集任务中还可以包括SHELL脚本的运行用户的用户信息。
可选的，网络管理人员还可以设置数据采集的采集周期。比如，网络管理人员设置的采集周期为60S。所以，该数据采集任务还可以包括该采集周期。
可选的，网络管理人员还可以设置数据采集任务中反馈数据的数据格式，也即设置SHELL脚本的输出字段名和输出字段值。相应的，数据采集任务可以包括输出字段名和输出字段值。
需要说明的是，数据采集任务中还可以包括其他内容，本实施例对此并不做限定。
步骤402，NMS下发数据采集任务至可编程代理节点。
步骤403，可编程代理节点接收NMS下发的数据采集任务。
步骤404，可编程代理节点根据SHELL脚本采集性能指标的性能数据。
可编程代理节点接收到数据采集任务之后，即可通过SSH到网元主机中执行数据采集任务中的SHELL脚本。其中，SHELL脚本的返回值即为采集到的性能指标的性能数据。
可选的，本步骤可以包括：
(1)、当数据采集任务包括PMO时，根据SHELL脚本采集PMO的性能指标的性能数据。
比如，仍然以性能指标为磁盘空间为例，当性能测量对象为C盘时，可编程代理节点可以根据SHELL脚本测量C盘的磁盘空间。
通过设置性能指标的PMO，使得性能指标可以适用于各种测量场景(针对不同的测量场景，只需设置不同的性能测量对象即可)，提高了性能指标的灵活度。
(2)、当数据采集任务包括SHELL脚本的执行路径时，在执行路径中执行SHELL脚本，并通过SHELL脚本采集性能数据。
可编程代理节点可以通过SSH到网元主机中的执行路径下执行数据采集任务中的SHELL脚本，并将接收到的SHELL脚本的返回值确定为性能指标的性能数据。
通过限制SHELL脚本的执行路径，避免了SHELL脚本在无权限的路径下执行时，给网元安全带来的危害，保证了网元中的信息的信息安全。
(3)、当数据采集任务包括SHELL脚本所能采集的数据的存储路径时，根据SHELL脚本从存储路径存储的数据中获取性能指标的性能数据。
通过限制SHELL脚本所能采集的数据的存储路径，使得SHELL脚本只能读取存储路径中存储的数据，避免了网元中的数据被窃取的问题，保证了网元中的数据的安全。
(4)、当数据采集任务包括SHELL脚本的运行用户的用户信息时，根据SHELL脚本以及用户信息采集运行用户中性能指标的性能数据。
通过限制SHELL脚本在指定的运行用户下运行，避免了SHELL脚本将网元中其它用户的数据泄露的问题。
(5)、当数据采集任务还包括采集周期时，根据SHELL脚本按照采集周期采集性能数据。
比如，可编程代理节点根据该采集周期定时通过SSH到网元主机中执行SHELL脚本，将接收到的SHELL脚本的返回值确定为性能指标的性能数据。
数据采集任务还可以同时包括上述几种参数，或者包括除上述参数之外的其他参数，本实施例对此并不做限定。
步骤405，可编程代理节点反馈性能数据至NMS。
具体的，如果数据采集任务中还包括输出字段名和输出字段值，则在可编程代理节点采集到性能数据之后，可编程代理节点可以将采集到的性能数据按照输出字段名和输出字段值的格式进行关联，并将关联后的性能数据反馈至NMS。
步骤406，NMS接收可编程代理节点反馈的性能数据。
综上所述，本实施例提供的数据采集方法，通过使用可编程代理节点来接收NMS下发的数据采集任务，进而根据数据采集任务来采集性能数据；解决了现有技术中数据采集的灵活度较差的问题，达到了可编程代理节点可以根据接收到的数据采集任务的不同来灵活的采集不同的性能数据，提高数据采集的灵活度的效果。同时，由于可编程代理节点可以根据数据采集任务灵活采集性能数据，所以在需要采集新的性能指标的性能数据时，并不需要对可编程代理节点所在的网元做任何改进，降低了成本。
请参考图5，其示出了本发明另一实施例提供的数据采集方法的方法流程图，本实施例仍然以该数据采集方法用于图1所示的可扩展代理节点中来举例说明，不同的是，本实施例以采集程序为REST调用程序来举例说明。如图5所示，该数据采集方法包括：
步骤501，NMS获取数据采集任务，该数据采集任务包括REST参数以及用于采集REST参数的REST调用程序。
网络管理人员可以根据数据采集需求在NMS展示的网络管理界面中通过输入安全REST统一资源标识符(英文：Uniform Resource Identifier，简称URI)信息的方式来创建数据采集任务。其中，该数据采集任务包括任务名称、需要采集的性能指标的指标名称、REST调用程序。相应的，NMS可以接收到网络管理人员创建的数据采集任务。
其中，REST调用程序包括REST方法名和REST调用方式。本实施例所说的REST调用方式为Post调用方式。
本实施例所说的数据采集方法用于采集存储在表格中的性能数据，所以该性能指标的指标名称可以通过key＝value的方式来定义REST参数值。比如，对于一张包含学生姓名、年龄和家庭住址的信息表，当需要获取年龄为18岁的学生的信息时，可以采用年龄＝18的方式来定义REST参数值。
此外，与上述实施例类似的是，网络管理人员也可以设置PMO、运行用户的用户信息、采集数据的采集周期以及输出字段名和输出字段值，本实施例对此并不做限定。
步骤502，NMS下发数据采集任务至可编程代理节点。
步骤503，可编程代理节点接收NMS下发的数据采集任务。
步骤504，可编程代理节点根据REST调用程序采集性能指标的性能数据。
具体的，可编程代理节点通过调用数据采集任务中的REST调用程序，将REST调用程序的返回结果确定为性能数据。
可编程代理节点接收到数据采集任务之后，即可通过Java管理扩展(英文：Java Management Extensions，简称：JMX)调用REST方法，并将方法的返回值确定为性能指标的性能数据。
可选的，本步骤可以包括：
(1)、当数据采集任务包括PMO时，根据REST调用程序采集PMO的性能指标的指标参数。
(2)、当数据采集任务包括REST调用程序的运行用户的用户信息时，根据用户信息采集运行用户中性能指标的性能数据。
通过限制REST调用程序在指定的运行用户下运行，避免了REST调用程序将网元中其它用户的数据泄露的问题。
(3)、当数据采集任务还包括采集周期时，按照该采集周期采集性能数据。
比如，可编程代理节点按照采集周期定时通过JMX调用REST方法，并将REST方法的返回值确定为性能指标的性能数据。
步骤505，可编程代理节点反馈性能数据至NMS。
具体的，如果数据采集任务中还包括输出字段名和输出字段值，则在可编程代理节点采集到数据之后，可编程代理节点可以将采集到的数据按照输出字段名和输出字段值的格式进行关联，并将关联后的性能数据反馈至NMS。
步骤506，NMS接收可编程代理节点反馈的性能数据。
综上所述，本实施例提供的数据采集方法，通过使用可编程代理节点来接收NMS下发的数据采集任务，进而根据数据采集任务来采集性能数据；解决了现有技术中数据采集的灵活度较差的问题，达到了可编程代理节点可以根据接收到的数据采集任务的不同来灵活的采集不同的性能数据，提高数据采集的灵活度的效果。同时，由于可编程代理节点可以根据数据采集任务灵活采集性能数据，所以在需要采集新的性能指标的性能数据时，并不需要对可编程代理节点所在的网元做任何改进，降低了成本。
需要补充说明的是，在上述两个实施例中，当数据采集任务有至少两个且该至少两个数据采集任务的运行用户相同时，为了避免网络管理人员为每个数据采集任务设置运行用户的用户信息的复杂操作，网络管理人员可以为该至少两个数据采集任务设置一套用户信息，也即多个数据采集任务共享一套用户信息，本实施例对此并不做限定。
请参考图6，其示出了本发明再一实施例提供的数据采集方法的方法流程图，本实施例仍然以该数据采集方法用于图1所示的可扩展代理节点中来举例说明，不同的是，本实施例以采集程序为SQL脚本来举例说明。如图6所示，该数据采集方法包括：
步骤601，NMS获取数据采集任务，该数据采集任务包括性能指标以及用于采集性能指标的SQL脚本。
网络管理人员可以根据数据采集需求在NMS展示的网络管理界面中创建数据采集任务。其中，该数据采集任务包括任务名称、需要采集的性能指标的指标名称、SQL脚本的脚本名称以及SQL脚本的脚本内容。相应的，NMS可以接收到网络管理人员创建的数据采集任务。
需要注意的是，在本实施例中，网络管理人员还需要设置运行用户中执行数据采集的数据库或者实例，所以数据采集任务中运行用户的用户信息。其中，该用户信息包括用户名、密码和数据库名称。可选的，与上述实施例类似，该用户信息还可以包括除所在网元之外的其他网元的IP地址。
可选的，在创建数据采集任务时，网络管理人员还可以设置SQL脚本的脚本参数。其中，该脚本参数可以为性能指标绑定的参数，该脚本参数与性能指标共同决定需要采集的性能数据。比如，以包含年龄、年级、姓名和家庭住址的学生信息表为例，性能指标为年龄是18岁，则该脚本参数可以为高二年级。
另外，与上述两个实施例类似，数据采集任务还可以包括PMO、采集周期、输出字段名以及输出字段值，本实施例对此并不做限定。
步骤602，NMS下发数据采集任务至可编程代理节点。
步骤603，可编程代理节点接收NMS下发的数据采集任务。
步骤604，可编程代理节点根据SQL脚本采集性能指标的性能数据。
可编程代理节点接收到数据采集任务之后，通过Java数据基础连接(英文：Java Data Base Connectivity，简称：JDBC)调用SQL脚本，将SQL脚本的返回值作为性能指标的性能数据。
可选的，本步骤可以包括：
(1)、当数据采集任务包括PMO时，根据SQL脚本采集PMO的性能指标的性能数据。
(2)、当数据采集任务包括SQL脚本的脚本参数时，根据SQL脚本以及脚本参数采集性能指标的性能数据。
(3)、当数据采集任务包括SQL脚本的运行用户的用户信息时，根据SQL脚本以及用户信息采集运行用户中性能指标的性能数据。
通过限制SQL脚本在指定的运行用户下运行，避免了SQL脚本将网元中其它用户的数据泄露的问题。
(4)、当数据采集任务包括采集周期时，根据SQL脚本按照采集周期采集性能数据。
步骤605，可编程代理节点反馈性能数据至NMS。
具体的，如果数据采集任务中还包括输出字段名和输出字段值，则在可编程代理节点采集到数据之后，可编程代理节点可以将采集到的数据按照输出字段名和输出字段值的格式进行关联，并将关联后的性能数据反馈至NMS。
步骤606，NMS接收可编程代理节点反馈的性能数据。
需要补充说明的是，当数据采集任务有至少两个，且该至少两个数据采集任务的运行用户相同时，为了避免网络管理人员为每个数据采集任务设置运行用户的用户信息的复杂操作，网络管理人员可以为该至少两个数据采集任务设置一套用户信息，也即多个数据采集任务共享一套用户信息，本实施例对此并不做限定。
综上所述，本实施例提供的数据采集方法，通过使用可编程代理节点来接收NMS下发的数据采集任务，进而根据数据采集任务来采集性能数据；解决了现有技术中数据采集的灵活度较差的问题，达到了可编程代理节点可以根据接收到的数据采集任务的不同来灵活的采集不同的性能数据，提高数据采集的灵活度的效果。同时，由于可编程代理节点可以根据数据采集任务灵活采集性能数据，所以在需要采集新的性能指标的性能数据时，并不需要对可编程代理节点所在的网元做任何改进，降低了成本。
需要补充说明的是，上述实施例只是以可编程代理节点接收到一个数据采集任务来举例说明，可选的，该可编程代理节点可以接收到至少两个数据采集任务，本实施例对此并不做限定。实际实现时，接收到的至少两个数据采集任务可以为使用同一种采集程序的任务，也可以为使用不同采集程序的任务，本实施例对此也不做限定。并且，网络管理人员可以根据性能数据的来源来创建不同采集程序的数据采集人员，比如，当性能数据为文件中的数据时，网络管理人员可以创建基于SHELL脚本的数据采集任务；当性能数据为应用程序中的数据时，网络管理人员可以创建基于REST调用程序的数据采集任务；而当性能数据为数据库中的数据时，网络管理人员可以创建基于SQL脚本的数据采集任务。
请参考图7，其示出了本发明一个实施例提供的数据采集装置的方框图。该数据采集装置可以通过硬件或者软件和硬件的结合实现成为可编程代理节点的全部或者部分，如图7所示，该数据采集装置可以包括：接收单元710、采集单元720和反馈单元730。
接收单元710，用于接收网络管理系统NMS下发的数据采集任务，所述数据采集任务包括性能指标以及用于采集所述性能指标的性能数据的采集程序；
采集单元720，用于根据所述接收单元710接收到的所述采集程序采集所述性能指标的性能数据；
反馈单元730，用于反馈所述采集单元720采集到的所述性能数据至所述NMS。
可选的，所述采集程序包括壳SHELL脚本、表述性状态传递REST调用程序和结构化查询语言SQL脚本中的至少一种。
可选的，所述采集程序包括所述SHELL脚本，所述数据采集任务还包括性能测量对象PMO、所述SHELL脚本的执行路径、所述SHELL脚本所能采集的数据的存储路径、所述SHELL脚本的运行用户的用户信息和采集周期中的至少一种；
所述采集单元720，还用于：
当数据采集任务包括所述PMO时，根据所述SHELL脚本采集所述PMO的所述性能指标的性能数据；
当数据采集任务包括所述SHELL脚本的执行路径时，在所述执行路径中执行所述SHELL脚本，并通过所述SHELL脚本采集所述性能数据；
当所述数据采集任务包括所述SHELL脚本所能采集的数据的存储路径时，根据所述SHELL脚本从所述存储路径存储的数据中获取所述性能指标的所述性能数据；
当所述数据采集任务包括所述SHELL脚本的运行用户的用户信息时，根据所述SHELL脚本以及所述用户信息采集所述运行用户中所述性能指标的所述性能数据；
当所述数据采集任务包括采集周期时，根据所述SHELL脚本按照所述采集周期采集所述性能数据。
可选的，所述采集程序包括所述REST调用程序，所述性能指标包括REST参数，所述数据采集任务还包括性能测量对象PMO、所述REST调用程序的运行用户的用户信息和采集周期中的至少一种；
所述采集单元720，还用于：
当所述数据采集任务包括所述PMO时，根据所述REST调用程序采集所述PMO的所述REST参数的性能数据；
当所述数据采集任务包括所述REST调用程序的运行用户的用户信息时，根据所述用户信息采集所述运行用户中所述REST参数的所述性能数据；
当所述数据采集任务包括所述采集周期时，根据所述REST调用程序按照所述采集周期采集所述性能数据。
可选的，所述用户信息包括所述运行用户的用户名和密码。
可选的，所述采集程序包括所述SQL脚本，所述数据采集任务还包括性能测量对象PMO、所述SQL脚本的脚本参数、所述SQL脚本的运行用户的用户信息和采集周期中的至少一种；
所述采集单元720，还用于：
当数据采集任务包括所述PMO时，根据所述SQL脚本采集所述PMO的所述性能指标的性能数据；
当所述数据采集任务包括所述SQL脚本的脚本参数时，根据所述SQL脚本以及所述脚本参数采集所述性能指标的性能数据；
当所述数据采集任务包括所述SQL脚本的运行用户的用户信息时，根据所述SQL脚本以及所述用户信息采集所述运行用户中所述性能指标的所述性能数据；
当所述数据采集任务包括所述采集周期时，根据所述SQL脚本按照所述采集周期采集所述性能数据。
可选的，所述用户信息包括所述运行用户的用户名、密码和数据库名称。
可选的，所述数据采集任务还包括所述采集程序的输出字段名以及输出字段值；
所述反馈单元730，还用于将所述性能数据按照所述输出字段名和所述输出字段值的格式反馈至所述NMS。
综上所述，本实施例提供的数据采集装置，通过使用可编程代理节点来接收NMS下发的数据采集任务，进而根据数据采集任务来采集性能数据；解决了现有技术中数据采集的灵活度较差的问题，达到了可编程代理节点可以根据接收到的数据采集任务的不同来灵活的采集不同的性能数据，提高数据采集的灵活度的效果。同时，由于可编程代理节点可以根据数据采集任务灵活采集性能数据，所以在需要采集新的性能指标的性能数据时，并不需要对可编程代理节点所在的网元做任何改进，降低了成本。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种数据采集方法，其特征在于，所述方法包括：
可编程代理节点接收网络管理系统NMS下发的数据采集任务，所述数据采集任务包括性能指标以及用于采集所述性能指标的性能数据的采集程序；
所述可编程代理节点根据所述采集程序采集所述性能指标的性能数据；
所述可编程代理节点反馈所述性能数据至所述NMS。
2.根据权利要求1所述的方法，其特征在于，所述采集程序包括壳SHELL脚本、表述性状态传递REST调用程序和结构化查询语言SQL脚本中的至少一种。
3.根据权利要求2所述的方法，其特征在于，所述采集程序包括所述SHELL脚本，所述数据采集任务还包括性能测量对象PMO、所述SHELL脚本的执行路径、所述SHELL脚本所能采集的数据的存储路径、所述SHELL脚本的运行用户的用户信息和采集周期中的至少一种；
所述根据所述采集程序采集所述性能指标的性能数据，包括：
当数据采集任务包括所述PMO时，根据所述SHELL脚本采集所述PMO的所述性能指标的性能数据；
当数据采集任务包括所述SHELL脚本的执行路径时，在所述执行路径中执行所述SHELL脚本，并通过所述SHELL脚本采集所述性能数据；
当所述数据采集任务包括所述SHELL脚本所能采集的数据的存储路径时，根据所述SHELL脚本从所述存储路径存储的数据中获取所述性能指标的所述性能数据；
当所述数据采集任务包括所述SHELL脚本的运行用户的用户信息时，根据所述SHELL脚本以及所述用户信息采集所述运行用户中所述性能指标的所述性能数据；
当所述数据采集任务包括采集周期时，根据所述SHELL脚本按照所述采集周期采集所述性能数据。
4.根据权利要求2所述的方法，其特征在于，所述采集程序包括所述REST调用程序，所述性能指标包括REST参数，所述数据采集任务还包括性能测量对象PMO、所述REST调用程序的运行用户的用户信息和采集周期中的至少一种；
所述根据所述采集程序采集所述性能指标的性能数据，包括：
当所述数据采集任务包括所述PMO时，根据所述REST调用程序采集所述PMO的所述REST参数的性能数据；
当所述数据采集任务包括所述REST调用程序的运行用户的用户信息时，根据所述用户信息采集所述运行用户中所述REST参数的所述性能数据；
当所述数据采集任务包括所述采集周期时，根据所述REST调用程序按照所述采集周期采集所述性能数据。
5.根据权利要求3或4所述的方法，其特征在于，所述用户信息包括所述运行用户的用户名和密码。
6.根据权利要求2所述的方法，其特征在于，所述采集程序包括所述SQL脚本，所述数据采集任务还包括性能测量对象PMO、所述SQL脚本的脚本参数、所述SQL脚本的运行用户的用户信息和采集周期中的至少一种；
所述根据所述采集程序采集所述性能指标的性能数据，包括：
当数据采集任务包括所述PMO时，根据所述SQL脚本采集所述PMO的所述性能指标的性能数据；
当所述数据采集任务包括所述SQL脚本的脚本参数时，根据所述SQL脚本以及所述脚本参数采集所述性能指标的性能数据；
当所述数据采集任务包括所述SQL脚本的运行用户的用户信息时，根据所述SQL脚本以及所述用户信息采集所述运行用户中所述性能指标的所述性能数据；
当所述数据采集任务包括所述采集周期时，根据所述SQL脚本按照所述采集周期采集所述性能数据。
7.根据权利要求6所述的方法，其特征在于，所述用户信息包括所述运行用户的用户名、密码和数据库名称。
8.根据权利要求1至7任一所述的方法，其特征在于，所述数据采集任务还包括所述采集程序的输出字段名以及输出字段值；
所述反馈所述性能数据至所述NMS，包括：
将所述性能数据按照所述输出字段名和所述输出字段值的格式反馈至所述NMS。
9.一种数据采集装置，其特征在于，用于可编程代理节点中，所述装置包括：
接收单元，用于接收网络管理系统NMS下发的数据采集任务，所述数据采集任务包括性能指标以及用于采集所述性能指标的性能数据的采集程序；
采集单元，用于根据所述接收单元接收到的所述采集程序采集所述性能指标的性能数据；
反馈单元，用于反馈所述采集单元采集到的所述性能数据至所述NMS。
10.根据权利要求9所述的装置，其特征在于，所述采集程序包括壳SHELL脚本、表述性状态传递REST调用程序和结构化查询语言SQL脚本中的至少一种。
11.根据权利要求10所述的装置，其特征在于，所述采集程序包括所述SHELL脚本，所述数据采集任务还包括性能测量对象PMO、所述SHELL脚本的执行路径、所述SHELL脚本所能采集的数据的存储路径、所述SHELL脚本的运行用户的用户信息和采集周期中的至少一种；
所述采集单元，还用于：
当数据采集任务包括所述PMO时，根据所述SHELL脚本采集所述PMO的所述性能指标的性能数据；
当数据采集任务包括所述SHELL脚本的执行路径时，在所述执行路径中执行所述SHELL脚本，并通过所述SHELL脚本采集所述性能数据；
当所述数据采集任务包括所述SHELL脚本所能采集的数据的存储路径时，根据所述SHELL脚本从所述存储路径存储的数据中获取所述性能指标的所述性能数据；
当所述数据采集任务包括所述SHELL脚本的运行用户的用户信息时，根据所述SHELL脚本以及所述用户信息采集所述运行用户中所述性能指标的所述性能数据；
当所述数据采集任务包括采集周期时，根据所述SHELL脚本按照所述采集周期采集所述性能数据。
12.根据权利要求10所述的装置，其特征在于，所述采集程序包括所述REST调用程序，所述性能指标包括REST参数，所述数据采集任务还包括性能测量对象PMO、所述REST调用程序的运行用户的用户信息和采集周期中的至少一种；
所述采集单元，还用于：
当所述数据采集任务包括所述PMO时，根据所述REST调用程序采集所述PMO的所述REST参数的性能数据；
当所述数据采集任务包括所述REST调用程序的运行用户的用户信息时，根据所述用户信息采集所述运行用户中所述REST参数的所述性能数据；
当所述数据采集任务包括所述采集周期时，根据所述REST调用程序按照所述采集周期采集所述性能数据。
13.根据权利要求11或12所述的装置，其特征在于，所述用户信息包括所述运行用户的用户名和密码。
14.根据权利要求10所述的装置，其特征在于，所述采集程序包括所述SQL脚本，所述数据采集任务还包括性能测量对象PMO、所述SQL脚本的脚本参数、所述SQL脚本的运行用户的用户信息和采集周期中的至少一种；
所述采集单元，还用于：
当数据采集任务包括所述PMO时，根据所述SQL脚本采集所述PMO的所述性能指标的性能数据；
当所述数据采集任务包括所述SQL脚本的脚本参数时，根据所述SQL脚本以及所述脚本参数采集所述性能指标的性能数据；
当所述数据采集任务包括所述SQL脚本的运行用户的用户信息时，根据所述SQL脚本以及所述用户信息采集所述运行用户中所述性能指标的所述性能数据；
当所述数据采集任务包括所述采集周期时，根据所述SQL脚本按照所述采集周期采集所述性能数据。
15.根据权利要求14所述的装置，其特征在于，所述用户信息包括所述运行用户的用户名、密码和数据库名称。
16.根据权利要求9至15任一所述的装置，其特征在于，所述数据采集任务还包括所述采集程序的输出字段名以及输出字段值；
所述反馈单元，还用于将所述性能数据按照所述输出字段名和所述输出字段值的格式反馈至所述NMS。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511029521.0A CN106936660B (zh) | 2015-12-31 | 2015-12-31 | 数据采集方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511029521.0A CN106936660B (zh) | 2015-12-31 | 2015-12-31 | 数据采集方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106936660A true CN106936660A (zh) | 2017-07-07 |
| CN106936660B CN106936660B (zh) | 2020-02-14 |
Family
ID=59443628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511029521.0A Active CN106936660B (zh) | 2015-12-31 | 2015-12-31 | 数据采集方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106936660B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109005083A (zh) * | 2018-07-17 | 2018-12-14 | 千寻位置网络有限公司 | 大规模收集基站数据的方法及系统 |
| CN111190803A (zh) * | 2019-12-27 | 2020-05-22 | 天津中科曙光存储科技有限公司 | 一种性能统计数据的收集和存储方法及装置 |
| CN111753169A (zh) * | 2020-06-29 | 2020-10-09 | 金电联行（北京）信息技术有限公司 | 一种基于互联网的数据采集系统 |
| CN112564957A (zh) * | 2020-12-01 | 2021-03-26 | 武汉绿色网络信息服务有限责任公司 | 虚拟网元的运行数据采集方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1968283A (zh) * | 2006-05-12 | 2007-05-23 | 华为技术有限公司 | 一种网络管理的系统和方法 |
| CN100518079C (zh) * | 2004-09-30 | 2009-07-22 | 北京航空航天大学 | 分布式性能数据采集方法 |
| CN101795207A (zh) * | 2009-12-29 | 2010-08-04 | 大唐软件技术股份有限公司 | 多技术网络的采集器动态部署方法及系统 |
| CN102801559A (zh) * | 2012-08-03 | 2012-11-28 | 南京富士通南大软件技术有限公司 | 智能化局域网数据采集方法 |
| CN104486137A (zh) * | 2014-11-25 | 2015-04-01 | 国网四川省电力公司信息通信公司 | 应用于网络监控的数据采集方法 |
-
2015
- 2015-12-31 CN CN201511029521.0A patent/CN106936660B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100518079C (zh) * | 2004-09-30 | 2009-07-22 | 北京航空航天大学 | 分布式性能数据采集方法 |
| CN1968283A (zh) * | 2006-05-12 | 2007-05-23 | 华为技术有限公司 | 一种网络管理的系统和方法 |
| CN101795207A (zh) * | 2009-12-29 | 2010-08-04 | 大唐软件技术股份有限公司 | 多技术网络的采集器动态部署方法及系统 |
| CN102801559A (zh) * | 2012-08-03 | 2012-11-28 | 南京富士通南大软件技术有限公司 | 智能化局域网数据采集方法 |
| CN104486137A (zh) * | 2014-11-25 | 2015-04-01 | 国网四川省电力公司信息通信公司 | 应用于网络监控的数据采集方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109005083A (zh) * | 2018-07-17 | 2018-12-14 | 千寻位置网络有限公司 | 大规模收集基站数据的方法及系统 |
| CN111190803A (zh) * | 2019-12-27 | 2020-05-22 | 天津中科曙光存储科技有限公司 | 一种性能统计数据的收集和存储方法及装置 |
| CN111190803B (zh) * | 2019-12-27 | 2024-01-30 | 天津中科曙光存储科技有限公司 | 一种性能统计数据的收集和存储方法及装置 |
| CN111753169A (zh) * | 2020-06-29 | 2020-10-09 | 金电联行（北京）信息技术有限公司 | 一种基于互联网的数据采集系统 |
| CN112564957A (zh) * | 2020-12-01 | 2021-03-26 | 武汉绿色网络信息服务有限责任公司 | 虚拟网元的运行数据采集方法及装置 |
| CN112564957B (zh) * | 2020-12-01 | 2022-05-17 | 武汉绿色网络信息服务有限责任公司 | 虚拟网元的运行数据采集方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106936660B (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106936660A (zh) | 数据采集方法和装置 | |
| CN105740137B (zh) | 分桶测试方法和提供配置信息的方法、装置及系统 | |
| CN108768791A (zh) | 一种信息采集配置管理系统及方法 | |
| KR20000071228A (ko) | 통신 시스템 아키텍쳐 | |
| KR20010006455A (ko) | 교환 전화 통신용 시스템, 방법 및 그 제조물 | |
| CN104883259A (zh) | 一种手机号作为网络应用账号自动注册的方法 | |
| KR20000069024A (ko) | 통신 시스템 아키텍쳐 | |
| CN102648602A (zh) | 设备抽象代理机 | |
| CN107276775A (zh) | 一种企业群组建立方法及装置 | |
| CN106713684B (zh) | 统一通信客户端账号与话机的号码的绑定方法及设备 | |
| CN106155812A (zh) | 一种对虚拟主机的资源管理的方法、装置、系统及电子设备 | |
| CN105608220A (zh) | 一种基于分布式消息系统的采集方法及装置 | |
| CN111327432B (zh) | 计费处理方法及装置、存储介质和电子装置 | |
| CN104717131B (zh) | 信息交互方法及服务器 | |
| CN103959715B (zh) | 用于测试diameter路由节点的方法、系统和装置 | |
| CN109660680A (zh) | 一种选择性接入语音通话的方法、装置 | |
| CN109889558A (zh) | 面向物联网应用的数据传输方法、中间件及系统 | |
| Claise et al. | Network management: accounting and performance strategies | |
| CN107332857A (zh) | 一种网络数据传输方法、装置、系统和存储介质 | |
| CN108924368A (zh) | 一种通话控制方法、装置及服务器 | |
| CN206728054U (zh) | 保密单位网络信息采集分析系统 | |
| CN106686576A (zh) | 终端用户状态获取方法、装置和系统 | |
| US20020138737A1 (en) | Prepaid internet access system and method | |
| CN107222361A (zh) | 数据采集方法、系统、计算机设备和介质 | |
| CN106604309A (zh) | 一种隐藏无线接入设备ssid的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200201 Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant after: HUAWEI TECHNOLOGIES Co.,Ltd. Address before: 210012 Ande Gate No. 94, Yuhuatai District, Jiangsu, Nanjing Applicant before: Huawei Technologies Co.,Ltd. |