CN101217755B - 一种用于数据采集的前置机系统和方法 - Google Patents
一种用于数据采集的前置机系统和方法 Download PDFInfo
- Publication number
- CN101217755B CN101217755B CN2007101257516A CN200710125751A CN101217755B CN 101217755 B CN101217755 B CN 101217755B CN 2007101257516 A CN2007101257516 A CN 2007101257516A CN 200710125751 A CN200710125751 A CN 200710125751A CN 101217755 B CN101217755 B CN 101217755B
- Authority
- CN
- China
- Prior art keywords
- data
- communication detection
- end processor
- detection data
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开一种用于数据采集的前置机系统和方法，其系统包括基站控制器、网管服务器以及同时与基站控制器和网管服务器连接的前置机，其中，所述基站控制器上设有消息处理模块，用于接受并处理通讯检测数据；存储单元，用于存储来自所述消息处理模块的通讯检测数据及其相关信息；所述前置机上设有前置机接口模块，用于对所述存储单元存储的所述通讯检测数据及其相关信息进行缓冲处理。本发明在传输带宽受限制情况下，降低了成本，提高了基站控制器数据采集效率。
Description
技术领域
本发明涉及移动通讯领域，尤其涉及的是，一种用于数据采集的前置机系统和方法。
背景技术
在移动通信系统中，网管服务器需要到基站控制器获取大量的性能及告警数据。如果采取消息实时传递的方法，由于传输带宽限制的原因，通常不能在规定的时间内获取完一个粒度所有的数据。因此，需要一个中介能够存放这些数据，最好还能对这些数据进行一些处理和统计，方便网管服务器采集数据。
在2006年10月25日公告的中国发明专利文献CN200610034459中提出了一种短消息协议对等透传前置机及方法，其中的方法主要包括以下步骤：
S1：至少一个信息机以不同协议接入到前置机中，并且建立与所述不同协议中的每一种协议对应的通信接口；
S2：所述前置机以不同协议接入到对应的短消息网关，建立与所述不同协议中的每一种协议对应的通信接口，所述不同协议与步骤S1中的不同协议相对应；
S3：当所述前置机接收到消息时，所述前置机解析出所述消息的相关信息，并保存所述消息以及所述相关信息；
S4：所述前置机根据解析出的所述相关信息寻找路由；
S5：在找到对应的路由后，选择与步骤S3所述的相关信息相对应的通信接口，并把步骤S3存储的所述消息通过该通信接口发送。
该发明给出的这种移动通讯系统中的消息透传方法，优点是支持多种协议和通信接口，但介于消息透传方式采用实时传输的原因，实现它的这一优点对带宽的要求比较高。实际应用中，传输成本非常昂贵，往往是租借的，通常带宽是受限制的。这种情况下，消息透传的方式缺少足够的带宽，无法全数据上报，严重影响整个系统的性能。另，该发明采用透传方式，仅是对于消息的简单的存储、消息路由和消息传递，并没有对数据进行统计和处理的功能。
发明内容
本发明解决的技术问题是提供一种用于数据采集的前置机系统及数据采集方法，该用于数据采集的前置机系统和采集方法可以提高带宽的使用率，提高数据采集的效率，降低传输的成本。
本发明的技术方案如下：一种用于数据采集的前置机系统，包括基站控制器、网管服务器以及同时与该基站控制器和网管服务器连接的前置机，其中，所述基站控制器上设有消息处理模块，用于接受并处理通讯检测数据；存储单元，位于前置机内，用于存储来自所述消息处理模块的通讯检测数据及其相关信息；所述前置机上设有前置机接口模块，用于对所述存储单元存储的所述通讯检测数据及其相关信息进行缓冲处理，其中，扫描存储设备中的通讯检测数据；判断是否有性能数据，是则打开该性能数据文件，将性能数据写入数据库后关闭该性能数据文件；否则结束；将通讯检测数据文件压缩到相应的目录下；删除存储设备中与被压缩的文件相应的通讯检测数据文件。
一种数据采集的方法，用于移动通信系统中，其包括以下步骤，
A、基站控制器上的消息处理模块将通讯检测数据存入存储设备；所述存储设备位于前置机内；
B、前置机接口模块扫描所述通讯检测数据并进行缓冲处理；
其中，步骤B分解为以下步骤：
B1、扫描存储设备中的通讯检测数据；
B2、判断是否有性能数据，是则打开该性能数据文件，将性能数据写入数据库后关闭该性能数据文件；否则结束；
B3、将通讯检测数据文件压缩到相应的目录下；
B4、删除存储设备中与被压缩的文件相应的通讯检测数据文件。
所述的方法，其中，所述通讯检测数据包括性能数据、告警数据和呼叫失败记录数据。
所述的方法，其中，步骤A分解为以下步骤：
A1、消息处理模块扫描通讯检测数据；
A2、消息处理模块将扫描的通讯检测数据存入存储设备。
所述的方法，其中，步骤B1中由定时器控制所述前置机接口模块定时扫描所有通讯检测数据，所述定时器位于所述前置机中。
所述的方法，其中，步骤B3之前还包括以下步骤：根据自定义公式表生成自定义测量数据。
所述的方法，其中，步骤B中还包括步骤B5：所述网管服务器按照用户的需要设定自定义测量任务，并根据自定义测量任务从前置机下载所需要的文件。
所述的方法，其中，步骤B5由以下步骤实现：
B51：网管服务器定时到前置机上的目录中扫描；
B52：判断是否有自定义测量任务中对应的通讯检测数据，是则下载该数据文件。
所述的方法，其中，步骤B中还包括步骤B6：删除所述前置机上的目录中与该被下载的、对应的数据文件。
与现有技术相比，本发明所提供的一种用于数据采集的前置机系统和方法，通过消息处理模块将通讯检测数据存入存储设备，经前置机上的前置机接口模块对所述存储单元存储的所述通讯检测数据及其相关信息进行缓冲处理，传输的文件经过缓冲处理，较之现有技术中的实时传输降低了对带宽的要求，当带宽受限时，亦可减少网络的开销，在传输带宽限制情况下能有效的提高基站控制器数据采集效率，节约了硬件成本。
附图说明
图1是本发明的整个基站控制器数据采集的系统架构图。
图2是本发明的一种数据采集方法的流程图。
具体实施方式
本发明的整个基站控制器数据采集的系统架构图如图1所示，基站控制器、网管服务器以及同时与该基站控制器和网管服务器连接的前置机，前置机和基站控制器之间使用网络文件系统(NFS)协议进行通讯。
基站控制器上设有性能数据模块，告警数据模块，信令跟踪模块，消息处理模块。其中性能数据模块，用于产生性能数据；告警数据模块，用于在前、后台断链期间记录告警数据；信令跟踪模块，用于记录呼叫失败记录数据；所述的性能数据、告警数据和失败记录数据统称为通讯检测数据；消息处理模块，用于将所述通讯检测数据读取并存储到存储单元。所述存储单元可以是前置机的硬盘，对于基站控制器上的消息处理模块来说，前置机和本地硬盘一样，识别为一个可读写的存储设备。文件访问接口没有太多区别：访问本地硬盘用/IDE0接口，访问前置机用/nfsDev接口。
所述的性能数据存入存储设备是按照测量类型划分的，当缓冲区满后由消息处理模块中的写入模块将文件写到/nfsDev/iBSC/Oms/Pm/num/的目录中，其中num与测量类型相对应，文档中所有num都如上定义；num为0，1，2，...，NUMBER。NUMBER为总的测量类型数。数据库中的性能数据表按照测量类型和天数建表，表的名称的形式为“测量类型_DAY天数”，如“cell_DAY1”。所述数据库和其中的性能数据表是安装程序时建好的。当时间超过保留表格预设定的时限后，则清空原表格的数据，写入新数据，不需要删除和另建新表格。比如，保留表格预设定的时限是7天，到第8天则先清空所有_DAY1表格所记录的数据，再写入新数据。性能数 据文件结构见表1。
表1
| 参数 | 类型 | 解释 |
| dwEndian | DWORD | 常量值0x89ABCDEF，用 于判定字节序 |
| tCurrentClock | T_SysSoftClock | 测量数据产生的时间点 |
| wMeasType | WORD | 测量类型 |
| abyObjId[10] | BYTE | 查询的对象标识，前台根 据测量类型进行解读 |
| wCollectPeriod | WORD | 测量周期，秒值。现在固 定位15分钟，即900 |
| byCounterNum | BYTE | 本记录的计数器个数 |
| byReserve | BYTE | 对齐填充位 |
| adwCounterData[256] | DWORD | 计数器数据 |
表2
| 参数 | 类型 | 解释 |
| dwAlarmID | WORD32 | 告警流水号 |
| dwAlarmCode | WORD32 | 告警码 |
| tAlarmTime | T_SysSoftClock | 告警发生时间 |
| tRestoreTime | T_SysSoftClock | 告警恢复时间 |
| tAlarmPos | T_Plat_AlarmPos | 告警物理位置 |
| tLogicalAddr | T_LogicalAddr | 告警逻辑位置 |
| AlarmLevel | BYTE | 告警级别(恢复前级别) |
| tAddInfo | T_AddInfoUnion | 附加信息联合体 |
告警数据的数据结构见表2，告警数据文件为二进制格式，无文件头， 文件体为历史告警记录。文件中历史告警记录用基站控制器中的主控制器上字节序保存。表中T_AddInfo是联合体，长度是可变的。
为了便于处理，在上报的文件中，每条记录前增加两个参数：即文件中每条记录的格式如下：
记录头标志FFFF，占两个字节；记录数据的原始长度，占两个字节。两个字节的记录长度记录其后所记录实际数据的原始长度，用于校验所记录的数据有无丢失，一旦校验发现记录的原始长度与其后所记录实际数据的长度不符，如，记录长度为1024字节，而实际长度为1020字节，则判断其为无效数据，不予处理。
表3
| 参数 | 类型 | 解释 |
| dwID | WORD32 | 本模块资源编号 |
| wModule | WORD16 | 本模块号 |
| dwSRCID | WORD32 | 源资源编号 |
| wSrcModule | WORD16 | 源模块号 |
| tMsStruc | T_IMSIStruc | MS标识 |
| tClk | T_SysSoftClock | 上报失败记录的时间戳 |
| ucReasonLen | BYTE | 失败原因长度 |
| aucReason[50] | BYTE | 失败原因 |
| ucSigNum | BYTE | 信令条数 |
| atMsCache[20] | T_OMS_STAgt_MS_Data | 信令数据 |
呼叫失败记录的数据文件格式见表3，文件为二进制格式，无文件头， 文件体为呼叫失败记录。文件中呼叫失败记录用基站控制器中的主控制器上字节序保存。
以上是对三种数据文件的结构作了较为详细的说明，这个对本发明只是一种实施方式的具体化，不应理解为对本发明的限制。
前置机上设有前置机接口模块和定时器。前置机接口模块用于对存储单元存储的通讯检测数据及其相关信息进行处理，以满足网管服务器对通讯检测数据及其相关信息的要求。定时器用以控制前置机接口模块扫描通讯检测数据的时间间隔。
结合图2对本发明一种数据采集的方法进行具体描述，主要步骤如下：
110、基站控制器上的消息处理模块将通讯检测数据存入存储设备；所述通讯检测数据包括性能数据、告警数据和呼叫失败记录数据。本步骤由以下步骤分解实现：
消息处理模块扫描通讯检测数据。本发明对讯检测数据扫描的顺序并未特殊限制，在本实施方式中可限定采集通讯检测数据顺序为：先扫描性能数据，再扫描告警数据，后扫描呼叫失败记录数据。
消息处理模块在扫描通讯检测数据后将所述采集的通讯检测数据存入存储设备。例如，将通讯检测数据分别存到以下相应的路径下，性能数据目录nfsDev/iBSC/Oms/Pm/num/、告警数据目录nfsDev/iBSC/Oms/Fm/、呼叫失败记录数据目录nfsDev/iBSC/Oms/CHR/。
120、前置机接口模块扫描存储设备中的通讯检测数据。前置机中设有定时器控制前置机接口模块定时扫描存储设备上所有通讯检测数据。本实施方式中设定定时器控制前置机接口模块每30秒扫描所有通讯检测数据。
130、判断是否有性能数据，是则打开该性能数据文件，将性能数据写入数据库后关闭该性能数据文件；否则结束。
140、将通讯检测数据文件压缩到相应的目录下；并且生成自定义测量数据。
将通讯检测数据文件压缩到相应的目录下；即压缩通讯检测数据文件到nfsDev/iBSC/Omcr和nfsDev/iBSC/Omszip目录下。例如，储存数据文件有以下三个不同的目录：1)/nfsDev/iBSC/Oms/Pm/num/：基站控制器写入的文件存储的目录，存储文件的后缀名为dat或tmp。2)/nfsDev/iBSC/Omszip/Pm/num/：前置机写入的文件目录，存储文件的后缀名为zip，用作备份文件。3)/nfsDev/iBSC/Oms/OMCR_Pm/num/：前置机写入的文件目录，存储文件后缀名为zip，用作网管服务器取文件。其中num对应一般测量类型和系统预定义测量类型。
根据自定义公式表生成自定义测量数据，即根据数据库中的自定义公式表生成自定义测量数据，根据前置机的数据库中的自定义公式表计算出结果，然后写入二进制文件并压缩到/nfsDev/iBSC/Oms/OMCR_Pm目录下。这是从用户友好的角度出发，定义两类自定义测量类型：①系统预定义测量类型；②用户自定义测量类型。一般测量类型是原子的，系统预定义测量类型和一般测量类型不同，系统预定义测量类型是从多个一般测量类型中提取出用户可能关注的类型并进行组合；用户自定义测量类型是给用户提供一个接口，从而使用户可以根据自身需要，在一般测量的基础上定义一套测量类型。这就需要基站控制器的性能测量支持用户自定义测量类型，并且在数据库中增加相应个数个表来保存“系统预定义测量类型”和/或“用户自定义测量类型”，前置机根据所述的表来生成网管服务器需要的文件，即前置机根据数据库中系统预定义公式表和/或用户自定义公式表生成系统预定义数据和/或用户自定义数据，并放在专门的目录/nfsDev/iBSC/Oms/OMCR_Pm/num/下。这样经过缓冲的数据可以由用户定制，需传输的数据根据用户需求上报，占用的带宽小。能够在带宽有严格限制的情况下，提高基站控制器数据采集效率，降低了传输成本。
150、删除存储设备中与被压缩的文件相应的通讯检测数据文件。即删除/nfsDev/iBSC/Oms/Pm/num/下的数据文件。
160、所述网管服务器按照用户的需要设定自定义测量任务，并根据自定义测量任务从前置机下载所需要的文件。用户在网管服务器中根据需要在所有测量任务中选择一部份测量任务进行下载叫做自定义测量任务。
网管服务器定时到前置机上的目录中扫描。例如，设定每30秒到目录中扫描通讯检测数据。
然后判断是否有自定义测量任务中对应的通讯检测数据，是则通过文件传输协议(FPT)下载该数据文件。通过文件传输协议(FPT)下载测量数据仅是举例，而非对发明的限制。
170、删除前置机上的目录中与该被下载的对应的数据文件。根据自定义测量任务从前置机下载所需要的文件，并删除前置机上的目录中与该被下载的对应的数据文件。有选择的下载用户感兴趣的测量数据，进一步节省带宽，提高传输效率。
180、结束。
以上步骤120至160是前置机接口模块实现扫描所述通讯检测数据并进行缓冲处理。本发明的数据采集方法较之现有技术中采用的透传方式，在对待传输文件存储和传递中对数据进行统计和处理。在传输带宽受限制情况下，降低了硬件成本，有效的提高了基站控制器数据采集效率。步骤170至180根据自定义测量任务从前置机下载所需要的文件后将该文件从前置机上的目录中删除。有选择的下载用户感兴趣的测量数据，进一步节省带宽，提高传输效率。
以上对本发明进行了较为详细的描述，涉及的目录、文件的定义不能作为对本发明的限制。可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (9)
1.一种用于数据采集的前置机系统，包括基站控制器、网管服务器以及同时与该基站控制器和网管服务器连接的前置机，其特征在于，所述基站控制器上设有消息处理模块，用于接受并处理通讯检测数据；存储单元，位于前置机内，用于存储来自所述消息处理模块的通讯检测数据及其相关信息；所述前置机上设有前置机接口模块，用于对所述存储单元存储的所述通讯检测数据及其相关信息进行缓冲处理，其中，扫描存储设备中的通讯检测数据；判断是否有性能数据，是则打开该性能数据文件，将性能数据写入数据库后关闭该性能数据文件；否则结束；将通讯检测数据文件压缩到相应的目录下；删除存储设备中与被压缩的文件相应的通讯检测数据文件。
2.一种数据采集的方法，用于移动通信系统中，其包括以下步骤，
A、基站控制器上的消息处理模块将通讯检测数据存入存储设备；所述 存储设备位于前置机内；
B、前置机接口模块扫描所述通讯检测数据并进行缓冲处理；
其中，步骤B分解为以下步骤：
B1、扫描存储设备中的通讯检测数据；
B2、判断是否有性能数据，是则打开该性能数据文件，将性能数据写入数据库后关闭该性能数据文件；否则结束；
B3、将通讯检测数据文件压缩到相应的目录下；
B4、删除存储设备中与被压缩的文件相应的通讯检测数据文件。
3.根据权利要求2所述的数据采集的方法，其特征在于，所述通讯检测数据包括性能数据、告警数据和呼叫失败记录数据。
4.根据权利要求2所述的数据采集的方法，其特征在于，步骤A分解为以下步骤：
A1、消息处理模块扫描通讯检测数据；
A2、消息处理模块将扫描的通讯检测数据存入存储设备。
5.根据权利要求2所述的数据采集的方法，其特征在于，步骤B1中由定时器控制所述前置机接口模块定时扫描所有通讯检测数据，所述定时 器位于所述前置机中。
6.根据权利要求2所述的数据采集的方法，其特征在于，步骤B3之前还包括以下步骤：根据自定义公式表生成自定义测量数据。
7.根据权利要求2所述的数据采集的方法，其特征在于，步骤B中还包括步骤B5：网管服务器按照用户的需要设定自定义测量任务，并根据自定义测量任务从前置机下载所需要的文件。
8.根据权利要求7所述的数据采集的方法，其特征在于，步骤B5由以下步骤实现：
B51：网管服务器定时到前置机上的目录中扫描；
B52：判断是否有自定义测量任务中对应的通讯检测数据，是则下载该数据文件。
9.根据权利要求7所述的数据采集的方法，其特征在于，步骤B中还包括步骤B6：删除所述前置机上的目录中与该被下载的、对应的数据文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101257516A CN101217755B (zh) | 2007-12-26 | 2007-12-26 | 一种用于数据采集的前置机系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101257516A CN101217755B (zh) | 2007-12-26 | 2007-12-26 | 一种用于数据采集的前置机系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101217755A CN101217755A (zh) | 2008-07-09 |
| CN101217755B true CN101217755B (zh) | 2011-12-28 |
Family
ID=39624103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007101257516A Expired - Fee Related CN101217755B (zh) | 2007-12-26 | 2007-12-26 | 一种用于数据采集的前置机系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101217755B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102158875B (zh) * | 2010-12-01 | 2015-01-28 | 中兴通讯股份有限公司 | 一种设备信息采集方法及系统 |
| CN105574027B (zh) * | 2014-10-15 | 2020-04-24 | 中兴通讯股份有限公司 | 基于oltp/olap混合应用下多维度性能数据存储方法、装置及系统 |
| CN111061605A (zh) * | 2019-10-25 | 2020-04-24 | 山东英信计算机技术有限公司 | 一种告警信息分拣方法及相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1661596A (zh) * | 2004-02-23 | 2005-08-31 | 华为技术有限公司 | 设备档案管理系统及方法 |
| CN1852540A (zh) * | 2005-11-29 | 2006-10-25 | 华为技术有限公司 | 一种分析移动通信系统中呼叫的系统及方法 |
| CN1867149A (zh) * | 2005-12-22 | 2006-11-22 | 华为技术有限公司 | 对无线用户的信息进行管理的装置、系统和方法 |
-
2007
- 2007-12-26 CN CN2007101257516A patent/CN101217755B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1661596A (zh) * | 2004-02-23 | 2005-08-31 | 华为技术有限公司 | 设备档案管理系统及方法 |
| CN1852540A (zh) * | 2005-11-29 | 2006-10-25 | 华为技术有限公司 | 一种分析移动通信系统中呼叫的系统及方法 |
| CN1867149A (zh) * | 2005-12-22 | 2006-11-22 | 华为技术有限公司 | 对无线用户的信息进行管理的装置、系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101217755A (zh) | 2008-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101853287B (zh) | 数据压缩快速检索文件系统及其方法 | |
| CN101217392B (zh) | 行为采集分析方法及系统 | |
| CN104090889A (zh) | 数据处理方法及系统 | |
| CN101631289A (zh) | 用于多媒体消息有效传输的预处理方法及无线电通信机 | |
| CN101646140A (zh) | 消息日志处理方法和系统 | |
| CN102323940A (zh) | 基于数据库的配置台实现方法、配置台及系统 | |
| CN110134528A (zh) | 微服务框架的接口信息存储调用方法、装置和终端设备 | |
| CN108880934B (zh) | 一种基于区块链的数据流量统计方法和装置 | |
| CN101192992A (zh) | 用于电信网管系统的性能数据补充采集系统及方法 | |
| CN108599992A (zh) | 一种数据处理系统及方法 | |
| CN103823807A (zh) | 一种去除重复数据的方法、装置及系统 | |
| CN101217755B (zh) | 一种用于数据采集的前置机系统和方法 | |
| CN104636477A (zh) | 一种信息推送前推送列表的去重方法 | |
| CN106649869A (zh) | 数据库大数据的统计方法及装置 | |
| CN1996305A (zh) | 一种数据存储及读取方法及装置以及数据传输系统 | |
| CN101848430B (zh) | 用于业务请求认证的装置和方法，业务请求认证系统及其方法 | |
| CN105095224A (zh) | 一种在移动通信网络中进行olap分析的方法、装置和系统 | |
| CN101729709A (zh) | 一种分话单处理方法及装置 | |
| CN101764761A (zh) | 限制业务提供商接口的发送流量的方法及多媒体业务网关 | |
| CN103825922B (zh) | 一种数据更新方法及web服务器 | |
| CN1997005B (zh) | 网络通信数据管控系统及方法 | |
| CN102469434B (zh) | 计费方法、位置信息分析装置及系统 | |
| WO2011006385A1 (zh) | 话单信息性能统计方法及装置 | |
| CN101217385B (zh) | 暂存处理计费话单的方法和系统 | |
| CN100382506C (zh) | 一种网络管理系统中对网元服务器进行认证的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111228 Termination date: 20141226 |
|
| EXPY | Termination of patent right or utility model |