CN102231676A - 一种网管数据采集方法和装置 - Google Patents

Abstract

本发明公开了一种网管数据采集方法和装置，该方法包括以下步骤：调用预先编写的SHELL脚本，所述SHELL脚本包括用于连接数据库和用于调用数据库脚本的命令语句，所述数据库脚本包括用于对所述数据库查询和导出所需网管数据的命令语句；通过执行所述SHELL脚本，连接数据库并调用所述数据库脚本，在所述数据库中查询和导出所需的网管数据。本发明通过应用SHELL脚本和数据库脚本，使得操作系统直接对用户数据库进行操作，整个采集操作是基于数据库进行的，从而使得网管数据的采集环境单一，避免了因应用JAVA程序而带来的安装和维护不便。

Description

一种网管数据采集方法和装置

技术领域

本发明涉及数据采集领域，尤其涉及一种基于数据库的网管数据采集方法和装置。

背景技术

目前运营商在进行网管数据采集时大多都是利用操作系统的定时任务语句，去调用JAVA程序来实现，这种方法以JAVA程序作为辅助程序，不能由操作系统直接对用户数据库进行操作，使得网管数据的采集环境不够单一且不易维护。

而且JAVA程序的运行需要经过编译、链接等步骤，以及需要特别的环境类库支持，因此，目前的网管数据采集方法以及软件安装都比较复杂。

发明内容

本发明提供一种网管数据采集方法和装置，用以解决现有技术中因采用JAVA程序而存在的采集方法复杂和操作系统不易维护的问题。

本发明方法包括，一种网管数据采集方法，包括以下步骤：

调用预先编写的SHELL脚本，所述SHELL脚本包括用于连接数据库和用于调用数据库脚本的命令语句，所述数据库脚本包括用于对所述数据库查询和导出所需网管数据的命令语句；

通过执行所述SHELL脚本，连接数据库并调用所述数据库脚本，在所述数据库中查询和导出所需的网管数据。

一种网管数据采集装置，包括：

调用单元，用于调用预先编写的SHELL脚本，所述SHELL脚本包括用于连接数据库和用于调用数据库脚本的命令语句，所述数据库脚本包括用于对所述数据库查询和导出所需网管数据的命令语句；

执行单元，用于通过执行所述SHELL脚本，连接数据库并调用所述数据库脚本，在所述数据库中查询和导出所需的网管数据。

本发明摒弃了现有技术应用JAVA程序的方式，通过应用SHELL脚本和数据库脚本，使得操作系统直接对用户数据库进行操作，整个采集操作是基于数据库进行的，从而使得网管数据的采集环境单一，避免了因应用JAVA程序而带来的安装和维护不便。

附图说明

图1为本发明实施例的一种网管数据采集方法流程图；

图2为本发明实施例的脚本编写流程图；

图3为本发明的网管数据采集方法结构流程图。

具体实施方式

脚本语言是一种解释型语言，脚本由脚本语言编写的各种命令语句组成。由于脚本语言不需要编译，因此运行脚本不像运行JAVA程序一样还需要编译成目标程序，而是在调用的时候由解释器直接解释。所以脚本语言通常比C语言、JAVA语言之类的高级编程语言要简单容易，而且不需要特别的环境类库支持就可以在操作系统中使用。

SHELL是操作系统的命令解释器，能够将外部的信息解释给操作系统，实现外部与操作系统之间的交互。而SHELL脚本就是存放于文件中的一连串操作系统能够执行的命令语句。SHELL能够解释并执行存放在文件中的SHELL脚本，即读取SHELL脚本中的命令语句，并解释给操作系统，再由操作系统去执行各种命令。

本发明提供一种网管数据采集方法，包括以下步骤：

调用预先编写的SHELL脚本，所述SHELL脚本包括用于连接数据库和用于调用数据库脚本的命令语句，所述数据库脚本包括用于对所述数据库查询和导出所需网管数据的命令语句；

通过执行所述SHELL脚本，连接数据库并调用所述数据库脚本，在所述数据库中查询和导出所需的网管数据。

本发明通过应用SHELL脚本和数据库脚本，使得操作系统直接对用户数据库进行操作，实现网管数据的采集，并将采集后的数据导出以供上级网管的查阅。由于整个采集操作是基于数据库进行的，使得网管数据的采集环境单一，避免了因应用JAVA程序而带来的安装和维护不便。

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明实施例的一种网管数据采集方法，如图1所示，包括以下步骤：

步骤S101，操作系统调用预先编写的SHELL脚本。

步骤S102，通过执行所述SHELL脚本中用于连接数据库的命令语句，操作系统与用户数据库进行连接。

步骤S103，通过执行所述SHELL脚本中用于调用数据库脚本的命令语句，操作系统调用并执行预先编写的数据库脚本，从所述用户数据库中查询和导出所需的网管数据。

优选的，操作系统将通过执行定时任务语句，实现定时对所述SHELL脚本的调用和执行，从而实现能够定时去连接所述数据库和调用所述数据库脚本。其中，所述定时任务语句为在定时时间调用和执行所述SHELL脚本的命令语句。

优选的，所述SHELL脚本中包括预先设定的采集时间参数，用于在操作系统执行所述SHELL脚本时，将所述采集时间参数传递给所述数据库脚本，所述数据库脚本根据接收到的采集时间参数，查询和导出在设定时间点或设定时间段内的所需网管数据。

优选的，所述SHELL脚本中包括设定的输出路径参数，用于在操作系统执行所述SHELL脚本时，将所述输出路径参数传递给所述数据库脚本，所述数据库脚本根据接收到的输出路径参数，将查询到的所需网管数据导出到设定的文件目录下。

优选的，所述数据库脚本中包括在导出查询到的所需网管数据之前，将所述所需网管数据存储为设定格式的文件的命令语句。

为实现本发明实施例的网管数据采集方法，本发明实施例需要编写所述SHELL脚本、所述数据库脚本以及所述定时任务语句，图2所示为本发明实施例的编写流程：

步骤S201，根据运营商的需求，确定所需的网管数据，据此编写能够从数据库中查询和导出所需网管数据的数据库脚本。

步骤S202，确定需要连接的数据库和所述数据库脚本，据此编写用于连接所述数据库和调用所述数据库脚本的SHELL脚本。

步骤S203，编写用于调用和执行所述SHELL脚本的定时任务语句。

本发明的一种网管数据采集方法的具体实施例：运营商使用LINUX操作系统和SYBASE IQ数据库，需要在名为DBNAME的用户数据库中定时采集某些类型的网管数据，并最终以XML文件的形式输出，采集需求如表1所示。

表1运营商的网管数据需求实例表

表1的内容为运营商的网管数据需求实例，其中第一列内容KPI-ID就是所要采集的指标列，第二、三列的内容是对所要采集的每一个KPI-ID的注释性内容，第四列内容表示本次采集的时间要求为按月采集。

步骤1，由表1中列出的运营商的需求，确定操作系统需要采集的网管数据指标为表中每个KPI-ID所对应的value值。

步骤2，根据已经确定的需要采集的网管数据指标，编写用于在用户数据库中查询和导出上述所有KPI-ID的value值的数据库脚本，主要包括以下三个部分：从用户数据库中查询所有KPI-ID的value值的语句、将查询结果存储为XML文件格式的语句、导出XML文件的语句，将该数据库脚本命名为a.sql。

所述数据库脚本将用于在用户数据库DBNAME中查询KPI-ID及其value值，并将查询结果存储为XML文件形式后暂存于数据库中，例如暂存于数据库表B的xmldata字段中。

为了导出该XML文件，采用以下脚本语句：

Set temporary option Temp_Extract_Column_Delimiter＝‘’

Select xmldata from B

Set temporary option temp_extract_name 1＝‘’

上述脚本的意思即将表B中的xmldata字段值输出，并且文本段与文本段之间的分隔符为‘’。

步骤3，编写用于连接用户数据库DBNAME和调用数据库脚本a.sql的SHELL脚本，主要包括以下三个部分：连接所述DBNAME数据库和调用所述数据库脚本a.sql的语句、采集时间参数、输出路径参数，将该SHELL脚本命名为b.sh。

其中，连接所述DBNAME数据库和调用所述数据库脚本a.sql的语句为：

dbisqlc                                                         -c″eng＝$SRVNAME；uid＝$SYBUSER；pwd＝$SYBPASSWD；dbn＝$DBNAME；links＝tcpip{host＝$HOST}″-q a.sql

其中$SRVNAME、$SYBUSER、$SYBPASSWD分别表示用户数据库的服务名、用户名和密码，$DBNAME、$HOST分别表示用户数据库的数据库名和端口号。-q之前的语句是用来连接数据库的，-q a.sql表示在所连接的用户数据库服务器环境下执行数据库脚本a.sql。

所述SHELL脚本的采集时间参数如下：

时间模式date_mode：值为0表示使用动态时间，并使用起始时间backstart、结束时间backdate来约束时间范围；值为1表示使用静态时间，即表示查询属于设定时间点的网管数据，例如date_mode为‘2010012100’时，表示查询属于2010年1月21日0时的KPI-ID及其value值；

采集粒度date_type：用于当上述时间模式date_mode的值为0时，表示动态时间段的时间单位，值为1表示动态时间段以1小时为单位，值为2表示动态时间段以1天为单位，值为3表示动态时间段以1月为单位；

起始时间backstart：用于当上述时间模式date_mode的值为0时，表示动态时间段的开始时间，值为0表示从当前时间开始，即包含当前时间，值为1表示采集开始的时间为以当前时间开始倒推1个时间单位的时间，值为2表示采集开始的时间为以当前时间开始倒推2个时间单位的时间，依此类推；

结束时间backdate：用于当上述时间模式date_mode的值为0时，表示动态时间段的时间长度和结束时间，值为1表示采集以起始时间开始倒推1个时间单位的时间数据，值为2表示采集以起始时间开始倒推2个时间单位的时间数据，依此类推。

例如当所述SHELL脚本的采集时间参数为‘0 1 1 4’时，第一个参数0表示使用动态时间采集；第二个参数1表示是按照小时上报；上报的时间范围由第三个参数和第四个参数确定，第三个参数1表示上报的起点是当前时间的前1个小时，第四个参数4表示上报4个小时的数据，因此就是上报当前时间1个小时之前，4个小时的数据。

操作系统在执行所述SHELL脚本时，将会与用户数据库DBNAME进行连接，并调用和执行数据库脚本a.sql，以及同时把采集时间参数和输出路径参数传递给数据库脚本a.sql，以保证操作系统能够采集设定时间段(本实施例中为1个月)内的网管数据KPI-ID及其value值，并导出到指定的文件目录下。

步骤4，编写用于调用和执行所述SHELL脚本的定时任务语句，如下：

1 6 5 5**su-sybiq-c″sh/home/sybiq/report/unicom_config/b.sh 3 0 1 1″

进入操作系统根目录下，使用命令crontab-e将此语句写入，即可实现每月五号的五点十六分调用和执行路径/home/sybiq/report/unicom_config/下的SHELL脚本“b.sh 0 3 1 1”，其中4个采集时间参数分别为0、3、1、1，即表示时间模式为动态设置，并且采集粒度为月，起始时间为上个月，结束时间为这个月，即采集上个月开始到这个月结束的网管数据KPI-ID及其value值。

步骤5，操作系统依次执行上述各个步骤，最终定时采集到以XML格式存储的所需网管数据，如下为某次采集到的网管数据结果：

该XML文件中，标识<kpiId>和</kpiId>中间的值表示查询到的KPI-ID，<value>和</value>中间的值表示查询到的KPI-ID对应的value值。

本发明实施例对应的一种网管数据采集装置，包括：

调用单元，用于调用预先编写的SHELL脚本，所述SHELL脚本包括用于连接数据库和用于调用数据库脚本的命令语句，所述数据库脚本包括用于对所述数据库查询和导出所需网管数据的命令语句；

执行单元，用于通过执行所述SHELL脚本，连接数据库并调用所述数据库脚本，在所述数据库中查询和导出所需的网管数据。

优选的，所述执行单元还用于在执行所述SHELL脚本时，将所述采集时间参数传递给所述数据库脚本，所述数据库脚本根据接收到的采集时间参数，查询和导出在设定时间点或设定时间段内的所需网管数据。

优选的，所述执行单元，还用于在执行所述SHELL脚本时，将所述输出路径参数传递给所述数据库脚本，所述数据库脚本根据接收到的输出路径参数，将查询到的所需网管数据导出到设定的文件目录下。

本发明的网管数据采集方法和装置摒弃了现有技术应用JAVA程序的方式，而是采用如图3所示的采集结构流程，即操作系统直接对用户数据库进行操作，得到最终的网管数据文件。整个采集操作是基于数据库进行的，从而使得网管数据的采集环境单一，避免了因应用JAVA程序而带来的安装和维护不便。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种网管数据采集方法，其特征在于，包括以下步骤：

调用预先编写的SHELL脚本，所述SHELL脚本包括用于连接数据库和用于调用数据库脚本的命令语句，所述数据库脚本包括用于对所述数据库查询和导出所需网管数据的命令语句；

通过执行所述SHELL脚本，连接数据库并调用所述数据库脚本，在所述数据库中查询和导出所需的网管数据。

2.如权利要求1所述的方法，其特征在于，对所述SHELL脚本的调用和执行具体包括：

通过执行定时任务语句，实现定时对所述SHELL脚本的调用和执行，所述定时任务语句为在定时时间调用和执行所述SHELL脚本的命令语句。

3.如权利要求1所述的方法，其特征在于，所述SHELL脚本还包括预先设定的采集时间参数，在执行所述SHELL脚本时，将所述采集时间参数传递给所述数据库脚本，所述数据库脚本根据接收到的采集时间参数，查询和导出在设定时间点或设定时间段内的所需网管数据。

4.如权利要求3所述的方法，其特征在于，所述采集时间参数包括：

时间模式，用于表示查询属于设定时间点的网管数据，或属于设定时间段内的网管数据；

采集粒度，用于当所述时间模式表示的是查询属于设定时间段内的网管数据时，表示设定时间段以小时\天\月为时间单位；

起始时间，用于当所述时间模式表示的是查询属于设定时间段内的网管数据时，查询开始的时间；

结束时间，用于当所述时间模式表示的是查询属于设定时间段内的网管数据时，查询结束的时间。

5.如权利要求1所述的方法，其特征在于，所述SHELL脚本还包括预先设定的输出路径参数，在执行所述SHELL脚本时，将所述输出路径参数传递给所述数据库脚本，

所述数据库脚本根据接收到的输出路径参数，将查询到的所需网管数据导出到设定的文件目录下。

6.如权利要求5所述的方法，其特征在于，所述数据库脚本还包括在导出查询到的所需网管数据之前，将所述所需网管数据存储为设定格式的文件的命令语句。

7.一种网管数据采集装置，其特征在于，包括：

调用单元，用于调用预先编写的SHELL脚本，所述SHELL脚本包括用于连接数据库和用于调用数据库脚本的命令语句，所述数据库脚本包括用于对所述数据库查询和导出所需网管数据的命令语句；

执行单元，用于通过执行所述SHELL脚本，连接数据库并调用所述数据库脚本，在所述数据库中查询和导出所需的网管数据。

8.如权利要求7所述的装置，其特征在于，还包括：

定时单元，用于执行定时任务语句来触发所述调用单元和所述执行单元，所述定时任务语句为在定时时间调用和执行所述SHELL脚本的命令语句。

9.如权利要求7所述的装置，其特征在于，

所述执行单元，还用于在执行所述SHELL脚本时，将所述采集时间参数传递给所述数据库脚本，

所述数据库脚本根据接收到的采集时间参数，查询和导出在设定时间点或设定时间段内的所需网管数据。

10.如权利要求7所述的装置，其特征在于，

所述执行单元，还用于在执行所述SHELL脚本时，将所述输出路径参数传递给所述数据库脚本，

所述数据库脚本根据接收到的输出路径参数，将查询到的所需网管数据导出到设定的文件目录下。

Images