CN101388790A - 一种导入无线网络性能数据的方法 - Google Patents
一种导入无线网络性能数据的方法 Download PDFInfo
- Publication number
- CN101388790A CN101388790A CNA2007100771343A CN200710077134A CN101388790A CN 101388790 A CN101388790 A CN 101388790A CN A2007100771343 A CNA2007100771343 A CN A2007100771343A CN 200710077134 A CN200710077134 A CN 200710077134A CN 101388790 A CN101388790 A CN 101388790A
- Authority
- CN
- China
- Prior art keywords
- data
- performance data
- file
- network
- importing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种导入无线网络性能数据的方法，该方法包括以下步骤：(1)将网管系统的性能数据及与其相关的配置数据导出，保存为文本格式的文件；(2)将上述数据文本文件拷贝到网络优化系统指定的存放目录下；(3)设定数据导入前的配置条件，并根据此配置条件对性能数据文件进行筛选；(4)将筛选后的性能数据文件按照文件名称中的时间范围进行分组，并向每组性能文件中添加与其对应的无线配置数据文件，之后将每组文件包装成一个独立的性能数据采集子任务；(5)顺序执行上述子任务，将数据从文件导入网络优化系统的数据库中。本发明通过对性能数据分组导入，使数据导入的效率有明显提高，尤其对于大数据量的数据导入。
Description
技术领域
本发明涉及一种在网络优化过程中将网管系统的性能数据导入网络优化系统的数据库的方法。
背景技术
在无线网络优化过程中，需要将网管系统的性能数据导入到网络优化系统的数据库中，性能数据的特点是与时间相关，数据量大，且经常需要导入。目前性能数据导入的方法有两种，一种是在线方式的导入，另一种是文件方式的导入。
在线导入性能数据是指网络优化系统直接连接网管数据库，从网管数据库获取数据。这种方法具有较大的局限性，因为很多网络优化软件不被允许安装在网管机房的计算机上，这些计算机也不允许通过外网来访问。
另一种方法是通过网管数据导出工具导出成规定格式的文件，网络优化软件再把这些文件导入到网络优化系统数据库。相对而言，网管数据导出工具比较容易安装在网管机房的计算机上，而且这种方法不受机房网络条件的限制。但是，从文件导入性能数据的现有技术有一个主要缺点：效率低下，在数据量小时，并不明显，数据量越大效率下降的越快。例如，对于导入780M的性能数据文件需要10个小时。根据测试表明，导入数据从文件到数据库临时表的时间很短，只有几分钟，而系统大部分时间是在调用存储过程进行数据检查和从临时表导入到正式表的操作。导致数据导入效率严重下降的根本原因是数据库在对存储的记录超过百万行的表进行操作时存在严重的性能问题。
发明内容
本发明所要解决的技术问题是提供一种导入无线网络性能数据的方法，提高数据的导入效率。
为解决上述技术问题，本发明是通过以下技术方案实现的：
一种导入无线网络性能数据的方法，所述方法包括以下步骤：
(1)将网管系统的性能数据及与其相关的配置数据导出，保存为文本格式的文件；
(2)将上述数据文本文件拷贝到网络优化系统指定的存放目录下；
(3)设定数据导入前的配置条件，并根据此配置条件对性能数据文件进行筛选；
(4)将筛选后的性能数据文件按照文件名称中的时间范围进行分组，并向每组性能文件中添加与其对应的无线配置数据文件，之后将每组文件包装成一个独立的性能数据采集子任务；
(5)顺序执行上述子任务，将数据从文件导入网络优化系统的数据库中。
其中，所述步骤(4)中对性能数据文件进行分组的方法为：
A.获取一个性能数据文件的名称；
B.读取此文件名中的本地网号、本地网名和版本号，并判断其是否与某分组的对应值相同，若是，则进入步骤C，否则进入步骤D；
C.判断此文件名称中的开始时间是否在该分组的时间范围内，若是，则进入步骤E，否则进入步骤D；
D.建立一个新组，将其时间范围设为此文件的开始时间和结束时间，将其本地网号、本地网名称和版本号设为此文件的对应值；
E.将此文件加入该分组；
F.获取下一个性能数据文件，转入步骤B，对所有性能数据文件处理完后，结束。
其中，所述方法采用异步处理的方式，即所述步骤(4)中对性能数据文件进行的分组及包装在一个线程中实现，所述步骤(5)中子任务的执行在另一个线程中实现。
其中，所述步骤(5)数据导入的过程包括：将数据从文件导入到网络优化系统数据库的临时表，经过性能数据和配置数据的检查后，再将数据从临时表导入网络优化系统数据库的正式表中。
其中，所述步骤(5)进一步包括以下步骤：
a.从任务队列中获取一个性能数据采集子任务；
b.根据该任务的文件名称加载数据到数据库的临时表；
c.删除临时表中不需要的性能数据和无线配置数据；
d.检查临时表中的无线配置数据；
e.将配置数据从临时表中导入到数据库的正式表；
f.检查临时表中的性能数据；
g.将性能数据从临时表导入到数据库的正式表；
h.获取下一个性能数据采集子任务，转入步骤b，执行完所有子任务后结束。
其中，所述性能数据文件的名称规范为：本地网号-本地网名称-公司名称-性能表名称-IP地址-网管数据的版本号-开始时间-结束时间，所述无线配置数据文件的名称规范为：本地网号-本地网名称-公司名称-无线配置表名称-IP地址-网管数据的版本号。
本发明具有如下有益效果：本发明通过对性能数据分组导入，使数据导入的效率有明显提高，尤其对于大数据量的数据导入。例如，根据测试结果，同样的780M性能数据采用本发明的导入方法时导入时间只需要50分钟，相对于原来的10个小时，效率提高了12倍。
附图说明
图1为本发明的整体方法流程图；
图2为本发明实施例的性能数据文件分组及包装的详细流程图；
图3为本发明实施例的将性能数据按时间分组的方法流程图；
图4为本发明实施例的执行性能数据导入任务的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述：
本发明的核心思想为：通过对导入的性能数据文件根据时间进行分组的方法减小单次导入数据库的数据量，避免了数据库在大数据量导入时的效率瓶颈，从而极大的提高在大数据量时性能数据导入的效率。
如图1所示，本发明包括以下步骤：
101、使用网管数据导出工具从网管系统数据库中导出性能数据和与之对应的配置数据文件，将其保存为文本文件。
在把网管数据库的性能数据导出为文件前，需要进行本地网配置、网管数据库连接配置、RNC(无线网络控制器)与本地网的关系配置，选择哪些本地网下的RNC的数据需要被导出，确定导出数据的时间范围，确定导出的性能计数器(粒度到性能表)和性能数据文件保存路径。确定导出后，性能数据会以文件的形式保存在设定的目录下。
本地网是一个逻辑概念，可以按照用户需求把一个地理区域定义为一个本地网，例如可以定义北京或上海为一个本地网。
102、拷贝生成的性能数据文件和与之相关的配置数据文件到网络优化系统指定的性能数据文件存放目录下。
103、设定数据导入前的配置条件，确定需要导入的文件中的本地网和RNC与系统的本地网的关系，确定需要导入的性能计数器(性能表名称)，并根据此配置条件对性能数据文件进行筛选。
104、根据性能数据文件名称中的时间范围对筛选后的性能数据文件进行分组，并在每组性能数据文件中添加与其相关的无线配置数据文件，之后将每组文件包装成一个独立的性能数据采集子任务。
105、顺序执行上述子任务，将数据从文件导入网络优化系统的数据库中。首先把数据(这些数据来源于任务中所包含的文件)从文件导入到网络优化系统数据库的临时表中，调用存储过程对数据进行检查后再将数据从临时表中导入到正式表中。
下面为本发明的一个实施例，无线网络性能数据的导入方法包括以下步骤：
步骤一、使用网管数据导出工具导出性能数据为文本文件。
在把网管数据库的性能数据导出为文件前，进行本地网配置、网管数据库连接配置、RNC与本地网的关系配置，选择哪些本地网下的RNC的数据需要被导出，确定导出数据的时间范围，确定导出的性能计数器(粒度到性能表)和性能数据文件保存路径。确定导出后，性能数据会以文件的形式保存在设定的目录下。
文件的格式需要预先定义，在本实施例中：
性能数据文件和与之相关的配置数据文件的格式为文本文件格式，第一行是字段名称，从第二行以后(包括第二行)是数据。
性能数据文件名称遵守的规范是：本地网号-本地网名称-公司名称-性能表名称-IP地址-网管数据的版本号-开始时间-结束时间。开始时间和结束时间包括年月日时分秒(如：2007.06.18.00.01.01)。
对于与性能数据相关的无线配置数据的文件名称遵守的规范是：本地网号-本地网名称-公司名称-无线配置表名称-IP地址-网管数据的版本号。
性能数据文件名称中包含本地网和时间信息是为了便于在数据导入时明确文件所包含的本地网信息和数据的时间范围。
为了保证一个文件中保存的性能数据不会太大，网管数据导出工具采用了按照时间范围保存的方法，每一个文件的数据的时间范围可以由用户设定。设定时间范围的配置文件格式如下：
性能表名1＝Hour1，Day1
性能表名2＝Hour2，Day2
性能表名3＝Hour3，Day3
...
以第一行为例，其含义是对于性能表名1，在构造SQL语句进行数据查询时，确保对于该表每次查询的数据时间范围在Hour1小时内，在数据保存到文件时，每一个文件保存的数据时间范围在Day1天内，按照经验，Day1选取为3天，也就是一个文件包含一个表的三天时间的数据量，如果Day1太小文件会较多，如果Day1太大，后面步骤的分组将变得没有意义。
步骤二、拷贝生成的数据文件到网络优化系统指定的性能数据文件存放目录下。
本实施例中，直接将性能数据文件保存到移动硬盘上，再通过移动硬盘拷贝到网优系统规定的性能数据文件存放目录下。网优系统规定的性能数据文件存放目录保存在系统的配置文件中。
步骤三、设定数据导入前的配置条件，根据此配置条件对性能数据文件进行筛选。
设定需要导入的文件中的本地网和RNC与系统的本地网的关系、需要导入的性能计数器(性能表名称)。为了减小性能数据导入流程的复杂程度，本实施例只允许性能数据一次导入到一个系统的本地网下。具体筛选方法如图2中的步骤201～205所示，根据文件命名规范、用户选择的性能计数器、用户选择的本地网号和本地网名称、系统所支持的版本号来对数据文件进行筛选。
步骤四、将数据文件按照文件名称中的时间范围进行分组，使得每组文件中包含一些一段时间范围内的性能数据文件和与其对应的无线配置数据文件，分组之后将每组文件封装成一个独立的子任务。
具体实现步骤如图2中的步骤206～213所示：
206、将文件分成两大组，一组包含所有性能数据文件，另一组包含所有与之相关的无线配置数据文件；
207、将无线配置数据文件按照本地网号、本地网名称和版本号进行分组，使得每组均有一套完整的配置数据；
208、将性能数据文件按照本地网号、本地网名称和版本号、时间范围进行分组；
在此步骤中，系统对性能数据文件按照本地网号，本地网名称，数据的版本号和数据的时间范围进行了分组，分组的详细流程在图3描述，这正是本发明的核心思想所在：通过对性能数据按照时间进行分组，确保每一组性能数据的数据量在合适的范围内——确保一次导入到数据库的单个表中的记录远远小于百万行，这样就避开了数据库对于百万行以上记录的表操作的效率瓶颈，保证了在大数据量数据导入时仍然保持与小数据量导入时一致的效率。
209～212、根据本地网号、本地网名称和版本号查找与各个性能数据文件相对应的配置数据文件，找到后添加到各个性能数据文件组中；
在步骤212中，系统把对应的无线配置文件组的文件名插入到性能数据组中，这是因为对于本实例，如果只有性能数据而没有对应的无线配置数据，系统会把这些性能数据作为非法数据处理。
213、将每个包含性能数据和无线配置数据的分组包装成独立的性能数据采集子任务，插入到任务队列中。
其中，上述步骤208中对性能数据文件进行分组的方法包括以下步骤，如图3所示：
301.获取一个性能数据文件的名称；
302.读取此文件名中的本地网号、本地网名和版本号，并判断其是否与某分组的对应值相同，若是，则进入下一步，否则进入步骤304；
303.判断此文件名称中的开始时间是否在该分组的时间范围内，若是，则进入步骤305，否则进入下一步；
304.建立一个新组，将其时间范围设为此文件的开始时间和结束时间，将其本地网号、本地网名称和版本号设为此文件的对应值；
305.将此文件加入该分组；
由此方法对所有性能数据文件进行操作完毕后，即完成性能数据文件的分组。
步骤五、顺序执行上述子任务，将数据从文件导入网络优化系统的数据库中。详细的流程如图4所示，包括以下步骤：
401、从任务队列中获取一个性能数据采集子任务；
402、根据任务的文件名加载数据到数据库的临时表；
403、调用存储过程删除临时表中不需要的RNC，即删除不需要的与RNC相关的性能数据和无线配置数据；
404、调用存储过程检查临时表中的无线配置数据；
405、调用存储过程将配置数据从临时表导入到正式表；
406、调用存储过程检查临时表中的性能数据；
407、调用存储过程将性能数据从临时表导入到正式表。
由于大数据量性能数据导入时间较长，为了避免用户在使用此功能时长期等待，本实施例设计为异步方式处理，对性能数据文件从按照时间分组到包装成任务的步骤在一个线程中完成，而任务的执行在另一个线程中执行。
以上所述，仅为本发明的一个较佳具体实例，是关于TD-SCDMA性能数据导入的方法，但本发明的按照时间分组的方法也适用于包括GSM和WCDMA等其他产品的无线网络性能数据导入，对于其他的与时间相关的大数据量导入，也可以利用按照时间分组的思想提高导入效率。此外，凡是在本发明的精神和原则之内，所作任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
Claims (6)
1、一种导入无线网络性能数据的方法，其特征在于，所述方法包括以下步骤：
(1)将网管系统的性能数据及与其相关的配置数据导出，保存为文本格式的文件；
(2)将上述数据文本文件拷贝到网络优化系统指定的存放目录下；
(3)设定数据导入前的配置条件，并根据此配置条件对性能数据文件进行筛选；
(4)将筛选后的性能数据文件按照文件名称中的时间范围进行分组，并向每组性能文件中添加与其对应的无线配置数据文件，之后将每组文件包装成一个独立的性能数据采集子任务；
(5)顺序执行上述子任务，将数据从文件导入网络优化系统的数据库中。
2、如权利要求1所述的导入无线网络性能数据的方法，其特征在于，所述步骤(4)中对性能数据文件进行分组的方法为：
A.获取一个性能数据文件的名称；
B.读取此文件名中的本地网号、本地网名和版本号，并判断其是否与某分组的对应值相同，若是，则进入步骤C，否则进入步骤D；
C.判断此文件名称中的开始时间是否在该分组的时间范围内，若是，则进入步骤E，否则进入步骤D；
D.建立一个新组，将其时间范围设为此文件的开始时间和结束时间，将其本地网号、本地网名称和版本号设为此文件的对应值；
E.将此文件加入该分组；
F.获取下一个性能数据文件，转入步骤B，对所有性能数据文件处理完后，结束。
3、如权利要求1所述的导入无线网络性能数据的方法，其特征在于，所述方法采用异步处理的方式，即所述步骤(4)中对性能数据文件进行的分组及包装在一个线程中实现，所述步骤(5)中子任务的执行在另一个线程中实现。
4、如权利要求1所述的导入无线网络性能数据的方法，其特征在于，所述步骤(5)数据导入的过程包括：将数据从文件导入到网络优化系统数据库的临时表，经过性能数据和配置数据的检查后，再将数据从临时表导入网络优化系统数据库的正式表中。
5、如权利要求4所述的导入无线网络性能数据的方法，其特征在于，所述步骤(5)进一步包括以下步骤：
a.从任务队列中获取一个性能数据采集子任务；
b.根据该任务的文件名称加载数据到数据库的临时表；
c.删除临时表中不需要的性能数据和无线配置数据；
d.检查临时表中的无线配置数据；
e.将配置数据从临时表中导入到数据库的正式表；
f.检查临时表中的性能数据；
g.将性能数据从临时表导入到数据库的正式表；
h.获取下一个性能数据采集子任务，转入步骤b，执行完所有子任务后结束。
6、如权利要求1至5任一项所述的导入无线网络性能数据的方法，其特征在于，所述性能数据文件的名称规范为：本地网号-本地网名称-公司名称-性能表名称-IP地址-网管数据的版本号-开始时间-结束时间，所述无线配置数据文件的名称规范为：本地网号-本地网名称-公司名称-无线配置表名称-IP地址-网管数据的版本号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100771343A CN101388790B (zh) | 2007-09-14 | 2007-09-14 | 一种导入无线网络性能数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100771343A CN101388790B (zh) | 2007-09-14 | 2007-09-14 | 一种导入无线网络性能数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101388790A true CN101388790A (zh) | 2009-03-18 |
| CN101388790B CN101388790B (zh) | 2010-12-08 |
Family
ID=40477986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007100771343A Expired - Fee Related CN101388790B (zh) | 2007-09-14 | 2007-09-14 | 一种导入无线网络性能数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101388790B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101848274A (zh) * | 2010-03-12 | 2010-09-29 | 深圳市同洲电子股份有限公司 | 移动终端中记录备份的方法和装置、及恢复的方法和装置 |
| CN101996067A (zh) * | 2009-08-19 | 2011-03-30 | 阿里巴巴集团控股有限公司 | 一种数据导出的方法和装置 |
| CN110019437A (zh) * | 2017-07-18 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 一种导出数据的方法和系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145537B (zh) * | 2017-04-21 | 2021-06-18 | 深圳市天天来玩科技有限公司 | 一种表格数据导入方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100449543C (zh) * | 2005-09-16 | 2009-01-07 | 腾讯科技（深圳）有限公司 | 一种日志保存方法及装置 |
| CN1980144A (zh) * | 2005-12-09 | 2007-06-13 | 中兴通讯股份有限公司 | 一种大数据量网管数据快速配置的方法 |
-
2007
- 2007-09-14 CN CN2007100771343A patent/CN101388790B/zh not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996067A (zh) * | 2009-08-19 | 2011-03-30 | 阿里巴巴集团控股有限公司 | 一种数据导出的方法和装置 |
| CN101996067B (zh) * | 2009-08-19 | 2014-07-16 | 阿里巴巴集团控股有限公司 | 一种数据导出的方法和装置 |
| CN101848274A (zh) * | 2010-03-12 | 2010-09-29 | 深圳市同洲电子股份有限公司 | 移动终端中记录备份的方法和装置、及恢复的方法和装置 |
| CN110019437A (zh) * | 2017-07-18 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 一种导出数据的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101388790B (zh) | 2010-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339041B (zh) | 文件解析入库、文件生成方法及装置 | |
| US8543596B1 (en) | Assigning blocks of a file of a distributed file system to processing units of a parallel database management system | |
| CN101251861B (zh) | 一种海量数据加载和查询的方法 | |
| CN110555012A (zh) | 数据迁移方法及装置 | |
| CN101639835A (zh) | 多租户场景中应用数据库分区的方法和装置 | |
| WO2010104902A2 (en) | Composite hash and list partitioning of database tables | |
| CN103077197A (zh) | 一种数据存储方法装置 | |
| CN103246549B (zh) | 一种数据转存的方法及系统 | |
| CN106326222B (zh) | 一种数据处理方法和装置 | |
| CN109885642B (zh) | 面向全文检索的分级存储方法及装置 | |
| CN107977446A (zh) | 一种基于数据分区的内存网格数据加载方法 | |
| CN110941602B (zh) | 数据库的配置方法、装置、电子设备及存储介质 | |
| EP2751667A1 (en) | Parallel operation on b+ trees | |
| CN101388790B (zh) | 一种导入无线网络性能数据的方法 | |
| CN110647542B (zh) | 一种数据获取方法和装置 | |
| CN105608126A (zh) | 一种建立海量数据库二级索引的方法和装置 | |
| CN108241540A (zh) | 一种跨数据源查询的任务调度方法以及装置 | |
| CA3176758A1 (en) | Method and apparatus for introducing data to a graph database | |
| CN110009514A (zh) | 数据的提取方法、装置、终端及计算机可读存储介质 | |
| WO2018107942A1 (en) | System and method of adaptively partitioning data to speed up join queries on distributed and parallel database systems | |
| CN103365740A (zh) | 一种数据冷备方法及装置 | |
| Barbuzzi et al. | Parallel bulk Insertion for large-scale analytics applications | |
| CN110888840A (zh) | 分布式文件系统中的文件查询方法、装置、设备及介质 | |
| CN117056305A (zh) | 多源同构数据库的构建方法、模型、数据库系统及介质 | |
| CN108121807B (zh) | Hadoop环境下多维索引结构OBF-Index的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101208 Termination date: 20150914 |
|
| EXPY | Termination of patent right or utility model |