CN101247271A

CN101247271A - 性能数据的存储方法和装置

Info

Publication number: CN101247271A
Application number: CNA2008100855983A
Authority: CN
Inventors: 邹岩; 贺德涛
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2008-03-24
Filing date: 2008-03-24
Publication date: 2008-08-20

Abstract

本发明公开了一种性能数据的存储方法，包括：步骤S102，根据预定因素在网管系统中设置存储表；步骤S104，判断从网元采集的性能数据的属性信息，并将性能数据存储到相应存储表中，其中，相应存储表为根据与性能数据的属性信息对应的预定因素设置的存储表。此外，本发明还公开了一种性能数据的存储装置。通过使用本发明，能够有效实现对海量性能数据的存储和查询，提高历史性能存储和查询的效率。

Description

性能数据的存储方法和装置

技术领域

本发明涉及通信领域，并且特别地，涉及一种性能数据的存储方法和装置。

背景技术

在电信网络管理系统中，性能管理系统是非常重要的一部分，历史性能数据的采集尤其是其中的一个难点。

通常，一个电信网络需要管理成百上千个设备，想要分析网络性能数据，就要定期采集网络上的所有设备的性能采集对象，这样就需要定期进行大批量性能数据的采集，此时就需要面对大批量数据存储、以及大批量数据查询的难题。

目前，多家厂商都提出了自己的解决办法，其中一种解决方法是通过配置文件定制网管系统可以创建并启动的最大性能采集线程数、对不同类型的网元定义不同的性能采集线程类、以及根据网元类型的不同来定制每个性能采集线程的最多采集网元数。采用该方案，能够在增加或者删除网元的情况下，在性能采集控制线程接收到相应消息后，自动将新增的网元分配给某个或者新建一个线程对该网元进行历史性能采集，或自动遍历每一个线程直到搜索到包含被删除网元的线程，将该网元从该线程的采集网元列表中删除。网管系统启动时，启动网元状态轮询线程，负责监测网元状态的变化。

该方案解决了当网管管理多个设备时的性能采集问题，但是，对于采集上来得海量数据如何存储(目前的网管系统中可以管理上千个网元，全网每天产生的性能数据可以达到7500万条，用户要求能够保存30天的数据)，存储之后如何查询等问题并没有给出解决方案。

迄今为止，尚未提出能够解决该问题的技术方案。

发明内容

考虑到上述问题而做出本发明，为此，本发明的主要目的在于提供一种，以解决相关技术中的无法满足海量性能数据存储、查询的问题。

根据本发明的实施例，提供了一种性能数据的存储方法，用于在网管系统中保存从网元采集的性能数据。

该方法包括：步骤S102，根据预定因素在网管系统中设置存储表；步骤S104，判断从网元采集的性能数据的属性信息，并将性能数据存储到相应存储表中，其中，相应存储表为根据与性能数据的属性信息对应的预定因素设置的存储表。

其中，在步骤S102中，预定因素包括以下之一及其组合：预定时间段、性能数据类型、采集粒度周期、性能数据来源。

另外，在步骤S102中，进一步包括：根据预定因素对存储表进行命名。

并且，在步骤S104之后，在对存储表中的存储的性能数据进行查询时，进一步包括：根据查询时由客户端输入的关键字和存储表的名称来进行查询。

此时，该方法还可以进一步包括：在进行查询之前，设置每次查询的性能数据的条目数量阈值；在进行查询时，每次查询n条性能数据并通知客户端，其中，n为条目数量阈值。

此外，步骤S104具体为：将采集的性能数据以文件形式存储在网元上或网管系统上的预定位置处；网管系统从预定位置获取文件；网管系统从文件中获取性能数据，判断的性能数据的属性信息，并将性能数据存储到相应存储表中。

并且，在步骤S104中进一步包括：在网管系统设置缓冲区，网管系统将从文件中获取的性能数据存储在缓冲区中；在缓冲区中的性能数据达到预定量时，将缓冲区中的性能数据存储至存储表中，并清空缓冲区。

根据本发明的另一实施例，提供了一种性能数据的存储装置。

该装置包括：性能数据表管理模块，用于根据预定因素在网管系统中设置存储表；性能采集模块，用于从网元采集性能数据；性能数据存储模块，用于判断从网元采集的性能数据的属性信息，并将性能数据存储到相应存储表中，其中，相应存储表为根据与性能数据的属性信息对应的预定因素设置的存储表。

其中，预定因素包括以下之一及其组合：预定时间段、性能数据类型、性能数据来源、采集粒度周期。

此外，性能采集模块将采集的性能数据以文件形式存储在网元上或网管系统上的预定位置处，并通知性能数据存储模块来获取文件；性能数据存储模块从预定位置获取文件，从文件中获取性能数据，并将获取的性能数据存储至存储表中。

通过本发明的上述技术方案，能够有效实现对海量性能数据的存储和查询，提高历史性能存储和查询的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明方法实施例的性能数据存储方法的流程图；

图2是根据本发明方法实施例的性能数据存储装置的框图；

图3是在实际应用当中利用图2所示的装置进行历史性能存储的示意图；

图4是根据本发明装置实施例的装置在实际应用当中进行历史性能存储的流程图；

图5是根据本发明装置实施例的装置中历史性能查询模块与数据库和客户端的连接关系示意图；以及

图6是根据本发明装置实施例的装置在实际应用当中进行历史性能查询的流程图。

具体实施方式

方法实施例

在本实施例中，提供了一种性能数据的存储方法，用于在网管系统中保存从网元采集的性能数据。

如图1所示，根据本实施例的性能数据的存储方法包括：步骤S102，根据预定因素在网管系统中设置存储表；步骤S104，判断从网元采集的性能数据的属性信息，并将性能数据存储到相应存储表中，其中，相应存储表为根据与性能数据的属性信息对应的预定因素设置的存储表。

装置实施例

在本实施例中，提供了一种性能数据的存储装置。

如图2所示，根据本实施例的根据本实施例的性能数据的存储装置包括：性能数据表管理模块202，用于根据预定因素在网管系统中设置存储表；性能采集模块204，用于从网元采集性能数据；性能数据存储模块206，用于判断从网元采集的性能数据的属性信息，并将性能数据存储到相应存储表中，其中，相应存储表为根据与性能数据的属性信息对应的预定因素设置的存储表。

此外，性能采集模块204将采集的性能数据以文件形式存储在网元上或网管系统上的预定位置处，并通知性能数据存储模块206来获取文件；性能数据存储模块206从预定位置获取文件，从文件中获取性能数据，并将获取的性能数据存储至存储表中。

图3示出了在实际应用当中采用根据本发明的性能数据存储装置进行历史性能数据的采集和存储的示意图。参照图3，再进一步结合图4，具体的存储过程包括以下处理：

(401)性能数据表管理模块会根据一定的规则(预定因素)定期在数据库中建立一批历史性能存储表，用于性能数据的分表存储，在表的名字中表示出日期、性能采集粒度周期等信息，例如，可以利用建立存储表的规则对表进行命名，以便于利用表的名字来访问，提高查询效率；

(402)性能采集模块(网元1性能采集模块、网元2性能采集模块、...、网元n性能采集模块)在网元(网元1、网元2、...、网元n)上采集到性能数据之后，保存在文件中，并且，优选地，在文件的命名中采用网元名字、采集周期、采集时间等信息，便于之后的访问；

(403)在传输网管中，性能采集模块通过ftp方式将文件存放在指定目的地(即，上述的预定位置)，然后通知性能数据存储模块去取文件，以避免大量性能数据在系统中传送，从而消耗系统资源，使系统产生处理瓶颈；

(404)在传输网管中，性能数据存储模块在收到性能采集模块的通知后，到指定的目的地去读取文件，从中取出性能数据，其中，优选地，性能数据存储模块在系统中唯一，以保证将所有网元的性能数据统一存储至数据库的存储表中；

(405)在传输网管中，性能数据存储模块将取出的数据保存到数据库中，优选地，为了减少数据库的访问次数，采取将性能数据缓存的方法，当缓存的数据量达到一定时，再批量入库存储在存储表中。

根据本实施例的装置还可以包括历史性能查询模块，该历史性能查询模块与数据库和客户端的连接关系如图5所示。

图6示出了在进行历史性能数据查询时的处理过程。如图6所示，具体可以包括以下处理：

(601)在传输网管中，从客户端发送历史性能查询条件给历史性能查询模块，其中，查询条件中包含查询的时间段、性能源、粒度周期、每一次迭代的查询数量等信息；

(602)如果是首次查询(由于查询数据量巨大，可采用迭代查询的方式，首次查询指第一次创建迭代器)，则执行步骤603，如果是后续查询执行步骤604；

(603)在传输网管中，根据查询条件建立多极查询索引，然后执行步骤605，这样可以提高查询效率，其中，这里只建立部分索引，满足本次查询要求即可(使得到的性能数据的数量满足每次迭代查询的数量)，其他索引在后续查询需要时继续建立；在传输网管中，将查询时间段按照性能采集粒度周期划分成更小的时间段，同时按照性能源进一步划分，根据划分后的查询条件建立一级查询索引，在此基础上建立二级查询索引；

(604)判断已有的多极查询索引是否满足查询要求，如果不满足，则执行步骤603，否则执行步骤605；

(605)根据查询索引确定查询条件(缩小范围后的)，向数据库查询；

(606)在数据库中查询时采用表分区优化查询，返回查询结果。由于在数据保存时采用分表保存，使得每个表的数据量不至于太大，从而提高访问效率。

其中，在进行查询时，可以按照一定规则细分查询条件，例如，按照查询时间划分，查询的时间段是十天，可以划分为十个查询段，每个是一天，这样做的目的是减少数据的访问量，减少数据库的访问次数，从而提高访问效率。之后，可以根据细分后的查询条件，建立历史性能数据查询的第一级索引，该索引中包括每一个细分后的查询条件、满足条件的性能数据数量等信息。并且，在第一级索引的基础上进行汇总，可以建立多级索引。

另外，优选地，在数据库中查询时可采用一定措施优化查询，并返回查询结果。由于在数据保存时采用分表保存的方式来存储性能数据，可以使得每个表的数据量不至于太大，从而提高访问效率。

综上所述，本发明对电信管理网(TMN)中历史性能数据的保存和查询等环节进行了优化，例如，分表保存、文件批量入库、建立多级查询索引等，借助于本发明的技术方案，能够有效实现对海量性能数据的存储和查询，提高历史性能存储和查询的效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种性能数据的存储方法，用于在网管系统中保存从网元采集的性能数据，其特征在于，所述方法包括：

步骤S102，根据预定因素在所述网管系统中设置存储表；

步骤S104，判断从所述网元采集的性能数据的属性信息，并将所述性能数据存储到相应存储表中，其中，所述相应存储表为根据与所述性能数据的属性信息对应的预定因素设置的存储表。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S102中，所述预定因素包括以下之一及其组合：预定时间段、性能数据类型、采集粒度周期、性能数据来源。

3.根据权利要求1所述的方法，其特征在于，在所述步骤S102中，进一步包括：

根据所述预定因素对所述存储表进行命名。

4.根据权利要求3所述的方法，其特征在于，在所述步骤S104之后，在对所述存储表中的存储的所述性能数据进行查询时，进一步包括：

根据查询时由客户端输入的关键字和所述存储表的名称来进行查询。

5.根据权利要求4所述的方法，其特征在于，进一步包括：在进行所述查询之前，设置每次查询的性能数据的条目数量阈值；

在进行查询时，每次查询n条性能数据并通知所述客户端，其中，n为所述条目数量阈值。

6.根据权利要求1所述的方法，其特征在于，所述步骤S104具体为：

将采集的所述性能数据以文件形式存储在所述网元上或所述网管系统上的预定位置处；

所述网管系统从所述预定位置获取所述文件；

所述网管系统从所述文件中获取所述性能数据，判断所述的性能数据的属性信息，并将所述性能数据存储到相应存储表中。

7.根据权利要求6所述的方法，其特征在于，在所述步骤S104中进一步包括：

在所述网管系统设置缓冲区，所述网管系统将从所述文件中获取的所述性能数据存储在所述缓冲区中；

在所述缓冲区中的性能数据达到预定量时，将所述缓冲区中的性能数据存储至所述存储表中，并清空所述缓冲区。

8.一种性能数据的存储装置，其特征在于，包括：

性能数据表管理模块，用于根据预定因素在所述网管系统中设置存储表；

性能采集模块，用于从网元采集性能数据；

性能数据存储模块，用于判断从所述网元采集的性能数据的属性信息，并将所述性能数据存储到相应存储表中，其中，所述相应存储表为根据与所述性能数据的属性信息对应的预定因素设置的存储表。

9.根据权利要求8所述的装置，其特征在于，所述预定因素包括以下之一及其组合：预定时间段、性能数据类型、性能数据来源、采集粒度周期。

10.根据权利要求8所述的装置，其特征在于，所述性能采集模块将采集的所述性能数据以文件形式存储在所述网元上或所述网管系统上的预定位置处，并通知所述性能数据存储模块来获取所述文件；所述性能数据存储模块从所述预定位置获取所述文件，从所述文件中获取所述性能数据，并将获取的所述性能数据存储至所述存储表中。