CN201336731Y - 移动网络话务统计分析系统 - Google Patents
移动网络话务统计分析系统 Download PDFInfo
- Publication number
- CN201336731Y CN201336731Y CNU2008202012164U CN200820201216U CN201336731Y CN 201336731 Y CN201336731 Y CN 201336731Y CN U2008202012164 U CNU2008202012164 U CN U2008202012164U CN 200820201216 U CN200820201216 U CN 200820201216U CN 201336731 Y CN201336731 Y CN 201336731Y
- Authority
- CN
- China
- Prior art keywords
- data
- module
- server
- network
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本实用新型提供一种移动网络话务统计分析系统，包括一台数据服务器和多台客户端，数据服务器与移动通信网络连接，多台客户端通过企业管理网络或互联网与数据服务器相连接；数据服务器为PC服务器；数据服务器包括依次连接的原始数据采集模块、解码和归并处理模块、数据汇总模块、报表展现模块，解码和归并处理模块设有平衡二叉树算法模块、大批量复制模块，微软公司数据库软件的报表服务模块。本系统采用的平衡二叉树算法大幅提高整体分析运算速度，PC服务器大幅降低系统建设成本；Reporting Services报表组件技术与客户端软件一起为客户提供B/S和C/S工作模式。
Description
技术领域
本实用新型涉及运营支撑管理系统领域中的性能分析系统，具体涉及移动网络话务统计分析系统。
背景技术
网络性能问题不是单一片面的问题，很难用简单统一的方法进行处理。对于一个完全动态的网络，需要的优化周期更长，优化方式也更加复杂。移动通信由于电波传播环境复杂多变，导致许多通信质量问题，例如慢衰落现象、快衰落现象、多普勒频移噪声、移动台自干扰等，网络性能随时变化，因此实时了解网络变化动向，及时分析变化原因对于营运商掌握移动通信网络的运行情况、网络质量显得十分必要。
性能分析系统是网络分析和优化调整的重要手段和参考依据，是移动通信营运商必不可少的日常管理工具之一。
话务统计数据包含许多通信网络统计指标，这些指标是评估网络性能的重要依据，有的指标以整个RNC(Radio Network Controller，无线网络控制器)网络范围为统计的基准，有的则是以每个Cell(小区)为基准进行统计。因此这些指标既可以从单个Cell角度，也可从整体网络的角度反应通信网络的运行质量状况。
通过对话务统计数据进行一系列的解码、筛选、汇总等数据处理，可以从话务统计数据得到移动通信营运商最关心的许多关键性能指标(KPI，KeyPerformance Indicator)，例如呼叫建立成功率(call_setup_success_rate)、掉话率(drop_call_rate)、切换成功率(handover_success_rate)、TCH话务量(tch_traffic)、SDCCH阻塞率(sdcch_congestion_key)等指标。为移动通信营运商提供及时准确的网络运行情况报告。
话务统计的数据量很大，对于300个Cell的小城市通信网络，每天约产生3G原始话务数据450MB，对于某些大型城市的通信网络，可能高达10000个Cell，每天产生的3G原始话务数据最高达15GB数据。因此必须重视数据运算速度效率，即原始数据处理速度、数据存储和检索能力。
1、原始数据处理速度
2G网络对数据处理效率要求并不高，但3G网络对数据处理效率要求很高，因为3G网络比2G网络增加了一个数据归并整理过程。经过分析，3G网络数据归并过程是分析系统最消耗时间的部分，这也是3G网络特有的处理过程。
因为3G网络突破了2G的固定模式，网络实现灵活的客户化，原始数据排列随客户配置变化而变化，这种3G客户化技术方便客户管理，却给数据处理带来全新的挑战，处理3G网络话务统计数据必须解决两个问题，首先是同一条记录的多个字段数据可能被分开存放在原始文件的不同地方，其次是部分字段数据可能会出现重复。
国内已知的网络分析软件在处理3G网络数据时，往往采用数据库归并方案，即利用数据库的排序功能实现3G数据归并处理，这些方案虽然功能正确，但是效率很差，需要消耗百万次的SQL数据库检索，其中，SQL英文全称为Structured Query Language，是一种最常见的数据库技术。这意味着消耗大量的运算时间，运行速度非常慢，而且采用的数据服务器为高档的UNIX服务器，因此客户难以接受。
如图1所示为国内已知的网络分析软件系统对原始的话务统计数据归并处理的示意图。A1，A2，A3，A4，A5是同一条数据记录的5个字段，但被分开放在原始文件的不同部分，而且原始文件中A2字段数据重复出现3次。因此3G网络分析软件系统需要通过归并整理过程来解决这些问题，归并整理的作用是将不同地方的相同记录的数据合并到一起，并且删除重复的数据，因此不同的归并实现技术直接影响到系统的处理速度。
2、数据存储和检索能力
3G原始话务统计数据经过归并后的有效数据需要存放到数据库中，对于300个cell的小规模网络，数据库设计容量约是2GB，对于10000个cell的大规模网络，数据库设计容量将达50GB。数据库每天都有大量数据导入和导出操作，低端的2G网络分析软件常用的Access数据库(Microsoft Office Access，微软公司的一种数据库软件)是无法承担这个数据规模的，因此必须选择专业的大型数据库作为基础。
由此可见，目前许多2G网络的分析软件由于各种原因并不能达到3G网络的要求，随着我国3G网络逐步推广应用，迫切需要3G网络的新分析软件。
实用新型内容
本实用新型的首要目的在于克服上述现有技术的缺点和不足，提供一种移动网络话务统计分析系统，本实用新型系统内部采用了面向内存的高效的平衡二叉树算法，代替了传统数据库归并处理，大幅提高整体分析运算速度，廉价的PC服务器上实现与高档UNIX服务器相同的功能，可以大幅降低系统建设成本；系统引入SQL Server(Microsoft SQL Server，微软公司的数据库软件)的Reporting Services(报表服务模块)，与客户端软件一起，为客户提供B/S(Browser/Server architecture model，浏览器/服务器架构模式)和C/S(client/server architecture model，客户/服务器架构模式)两种工作模式。
本实用新型目的通过下述技术方案实现：移动网络话务统计分析系统包括一台数据服务器和多台客户端，数据服务器与移动通信网络连接，多台客户端通过企业管理网络或互联网与数据服务器相连接；所述数据服务器为PC服务器；所述数据服务器包括依次连接的原始数据采集模块、解码和归并处理模块、数据汇总模块、报表展现模块，其中解码和归并处理模块设置有平衡二叉树算法模块、SqlBulkCopy模块(大批量复制模块)，所述报表展现模块采用SQL ServerReporting Services模块(微软公司数据库软件的报表服务模块)。
所述数据服务器采用windows平台的PC服务器，通过与移动通信网络连接可以取得移动通信设备的分析数据，经过解码和整理后保存在此数据服务器中。
所述原始数据采集模块定期15分钟或1小时从移动通信设备取得原始的话务统计数据；数据采集模块还具有错误重试和回溯采集的功能，在网络中断等各种原因引起的数据错漏后，能自动补充采集数据，最大限度保证数据的完整性。
所述平衡二叉树算法模块建立在部分内存中(约50MB大小)，采用平衡二叉树算法对原始的话务统计数据进行归并处理，所有归并操作都在内存中的平衡二叉树模块进行，节省了百万次的数据库操作；所述SqlBulkCopy模块采用SqlBulkCopy(大批量复制技术)技术将归并处理后的话务统计数据快速导入到数据服务器中保存。
所述数据汇总模块按照数据仓库的理念，按时间维度和网元维度两个维度对话务统计数据进行交叉汇总，在时间维度上可以产生月汇总数据、日汇总数据、小时汇总数据等，在网元维度上可以产生全网汇总数据、RNC/BSC(无线网络控制器/基站控制器)汇总数据，小区汇总数据等。
所述报表展现模块采用SQL Server Reporting Services模块，图文并茂的分析报表。SQL Server Reporting Services是SQL Server 2005(SQL Server的一个版本)的一个集成组件，是基于服务器的报表平台；SQL Server Reporting Services具有丰富的数据呈现能力，可以创建和管理包含关系数据源和多维数据源中的数据的表格、矩阵、图形和自由格式的报表，可以通过基于万维网的连接来查看和管理所创建的报表，可以输出HTML、PDF、Excel格式等的报表。同时SQLServer Reporting Services可以进行更深层次的数据挖掘等功能。所述报表展现模块引用SQL Server Reporting Services模块作为数据呈现方式之一，生成用户友好的报表，特别是柱状图、曲线图等各式图文报表，让管理员直观地了解通信网络性能变化动向。
多台客户端通过企业管理网络与数据服务器相连接，多台客户端可以并行工作，还可以通过VPN(Virtual Private Network，虚拟专用网络，)网关实现安全的远程办公管理。客户端可以在C/S模式下运行客户端软件，执行各种专业的网络分析操作；客户端还可以在B/S模式下运行IE浏览器方便地进行日常的网络分析工作。
本实用新型相对于现有技术具有如下的优点及效果：
(1)本实用新型数据服务器采用PC服务器代替传统话务数据统计系统采用的高档UNIX服务器，可以大幅降低系统建设成本；
(2)本实用新型系统内部采用了面向内存的高效的平衡二叉树算法，代替了传统数据库归并处理，大幅提高整体分析运算速度；
(3)本实用新型系统中的SqlBulkCopy模块采用SqlBulkCopy技术将归并处理后的话务统计数据快速导入到数据服务器中保存，显著地提高了数据导入速度；
(4)本实用新型系统中的报表展现模块采用SQL Server Reporting Services模块，作为数据呈现方式之一，生成用户友好的报表，特别是柱状图、曲线图等各式图文报表，让管理员直观地了解通信网络性能变化动向。
附图说明
图1是国内已知的网络分析软件系统对原始的话务统计数据归并处理的示意图；
图2是本实用新型的硬件结构图；
图3是本实用新型对原始的话务统计数据归并处理的示意图。
具体实施方式
下面结合实施例及附图，对本实用新型作进一步地详细说明，但本实用新型的实施方式不限于此。
实施例
图2所示为本实用新型的硬件结构，移动网络话务统计分析系统包括一台数据服务器和多台客户端，该数据服务器采用windows平台的PC服务器，数据服务器与移动通信网络连接，可以取得移动通信设备的分析数据，经过解码和整理后保存在此数据服务器中；
多台客户端通过企业管理网络或互联网与数据服务器相连接；多台客户端可以并行工作，还可以通过VPN网关实现安全的远程办公管理；客户端可以在C/S模式下运行客户端软件，执行各种专业的网络分析操作；客户端还可以在B/S模式下运行IE浏览器方便地进行日常的网络分析工作。
所述数据服务器包括依次连接的原始数据采集模块、解码和归并处理模块、数据汇总模块、报表展现模块，其中解码和归并处理模块设置有平衡二叉树算法模块、SqlBulkCopy模块，所述报表展现模块采用SQL Server Reporting Services模块。
所述原始数据采集模块定期15分钟或1小时从移动通信设备取得原始的话务统计数据；数据采集模块还具有错误重试和回溯采集的功能，在网络中断等各种原因引起的数据错漏后，能自动补充采集数据，最大限度保证数据的完整性。
所述平衡二叉树算法模块建立在部分内存中(约50MB大小)，采用平衡二叉树算法对原始的话务统计数据进行归并处理，所有归并操作都在内存中的平衡二叉树模块进行，节省了百万次的数据库操作。图3所示为本系统采用平衡二叉树后的归并过程示意图，具体如下：
原始文件的特点：
1、同一条记录的多个项数据被分开在不同位置；
2、部分数据项可能重复；
3、部分数据项可能缺失。
图中归并示意：
1、A1，A2，A3，A4，A5属同一条记录，但被分开放在原始文件的不同位置，需要合并成一条记录；
2、原始文件中A2，B2等字段数据重复出现多次，需要删除重复；
3、部分数据可能缺失，例如B4和D3数据缺失，用空白“□”代替。
所述SqlBulkCopy模块采用SqlBulkCopy技术将归并处理后的话务统计数据快速导入到数据服务器中保存。SqlBulkCopy技术是Microsoft公司SQL Server数据库的一项大批量复制技术。专门用于提高大批数据的导入速度。虽然它不属于标准SQL语句，但执行性能非常高，同等条件下的测试结果表明，标准SQL语句导入ACCESS数据库需要30秒，标准SQL语句导入SQL Server 2005数据库需要6秒，而使用SqlBulkCopy语句导入SQL Server 2005数据库只需要1.5秒。换句话说，这种专用技术是标准SQL语句的4倍速度，更比ACCESS数据库快了10倍以上。
所述数据汇总模块按照数据仓库的理念，按时间维度和网元维度两个维度对话务统计数据进行交叉汇总，在时间维度上可以产生月汇总数据、日汇总数据、小时汇总数据等，在网元维度上可以产生全网汇总数据、RNC/BSC汇总数据，小区汇总数据等。
所述报表展现模块采用SQL Server Reporting Services模块，图文并茂的分析报表。SQL Server Reporting Services是SQL Server 2005的一个集成组件，是基于服务器的报表平台；SQL Server Reporting Services具有丰富的数据呈现能力，可以创建和管理包含关系数据源和多维数据源中的数据的表格、矩阵、图形和自由格式的报表，可以通过基于万维网的连接来查看和管理所创建的报表，可以输出HTML、PDF、Excel格式等的报表。同时SQL Server Reporting Services可以进行更深层次的数据挖掘等功能。所述报表展现模块引用SQL ServerReporting Services模块作为数据呈现方式之一，生成用户友好的报表，特别是柱状图、曲线图等各式图文报表，让管理员直观地了解通信网络性能变化动向。客户可以在IE网页浏览器上操作，系统从数据库中检索相应的业务数据，按客户需要的数据呈现方式生成网络性能分析报表。报表格式丰富多样，既可以是数据列表，也可以是图文并茂的报表，既可以显示全网的运行情况，也可以显示某些小区的具体运行情况。
本系统采用平衡二叉树算法和SqlBulkCopy等技术措施后，解决了关键部分的性能问题，达到3G网络的技术要求，并且做了一次对比测试，下面是主要的测试条件：
| 测试机CPU | P4双核CPU |
| 测试机内存 | 2GB内存 |
| 测试机硬盘 | 136GB硬盘 |
| 测试数据格式 | 3G话务统计数据(爱立信XML格式文件) |
| 测试数据大小 | 约300MB数据，包含313个小区数据一天96个quarter的数据量 |
| 测试过程 | 将XML数据解码归并，导入数据库中 |
测试结果表明，传统的某话务分析软件共耗时1小时29分，而本系统为3分钟20秒，可见本系统比传统的话务软件速度提高20倍以上。
本系统根据国内通信网络的规模和业务需求，具有如下技术指标和参数：
1、支持2G和3G网络话务统计数据；
2、支持大型通信网络的数据分析能力，网络容量＞10000小区(Cell)；
3、实现高速数据归并处理能力，处理速度＞15OMB/15分钟；
4、支持IE浏览器操作方式和客户端操作方式；
5、支持网页报表和excel报表。
本系统研发采用成熟的微软Dot Net 2.0框架开发平台技术，以SQL Server2005作为数据库基础，具有良好的扩展性和技术前瞻性。
上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。
Claims (2)
1、移动网络话务统计分析系统，包括一台数据服务器和多台客户端，数据服务器与移动通信网络连接，多台客户端通过企业管理网络或互联网与数据服务器相连接；其特征在于：所述数据服务器为PC服务器；所述数据服务器包括依次连接的原始数据采集模块、解码和归并处理模块、数据汇总模块、报表展现模块，其中解码和归并处理模块设置有平衡二叉树算法模块、大批量复制模块，所述报表展现模块采用微软公司数据库软件的报表服务模块。
2、根据权利要求1所述的移动网络话务统计分析系统，其特征在于：所述数据服务器为采用windows平台的PC服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNU2008202012164U CN201336731Y (zh) | 2008-09-27 | 2008-09-27 | 移动网络话务统计分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNU2008202012164U CN201336731Y (zh) | 2008-09-27 | 2008-09-27 | 移动网络话务统计分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN201336731Y true CN201336731Y (zh) | 2009-10-28 |
Family
ID=41288395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNU2008202012164U Expired - Fee Related CN201336731Y (zh) | 2008-09-27 | 2008-09-27 | 移动网络话务统计分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN201336731Y (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102957813A (zh) * | 2011-08-25 | 2013-03-06 | 广州银禾网络通信有限公司 | 一种移动通信网络话务数据处理方法及系统 |
| CN104348654A (zh) * | 2013-08-06 | 2015-02-11 | 中富通股份有限公司 | 一种基于物联网的cdma无线测试数据管理平台 |
| CN108259552A (zh) * | 2017-07-24 | 2018-07-06 | 平安科技（深圳）有限公司 | 案件处理系统和方法 |
-
2008
- 2008-09-27 CN CNU2008202012164U patent/CN201336731Y/zh not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102957813A (zh) * | 2011-08-25 | 2013-03-06 | 广州银禾网络通信有限公司 | 一种移动通信网络话务数据处理方法及系统 |
| CN104348654A (zh) * | 2013-08-06 | 2015-02-11 | 中富通股份有限公司 | 一种基于物联网的cdma无线测试数据管理平台 |
| CN108259552A (zh) * | 2017-07-24 | 2018-07-06 | 平安科技（深圳）有限公司 | 案件处理系统和方法 |
| WO2019019698A1 (zh) * | 2017-07-24 | 2019-01-31 | 平安科技（深圳）有限公司 | 案件处理系统、方法、服务器和存储介质 |
| CN108259552B (zh) * | 2017-07-24 | 2020-09-11 | 平安科技（深圳）有限公司 | 案件处理系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8874600B2 (en) | System and method for building a cloud aware massive data analytics solution background | |
| US10754877B2 (en) | System and method for providing big data analytics on dynamically-changing data models | |
| US20050010660A1 (en) | System and method for aggregating real-time and historical data | |
| WO2016168211A1 (en) | High performance big data computing system and platform | |
| CN103209087A (zh) | 分布式日志统计处理方法和系统 | |
| CA3059738A1 (en) | Behaviour data processing method, device, electronic device and computer readable medium | |
| CN111143286A (zh) | 一种云平台日志管理方法及系统 | |
| CN112948492A (zh) | 一种数据处理系统、方法、装置、电子设备及存储介质 | |
| Chen et al. | Design and implementation of bilingual digital reader based on artificial intelligence and big data technology | |
| CN112347071A (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
| CN201336731Y (zh) | 移动网络话务统计分析系统 | |
| US8099663B2 (en) | Apparatus and method for document synchronization | |
| CN115858526A (zh) | 基于数据源格式不定的多维可视化的试验数据管理系统 | |
| CN109947863A (zh) | 移动网络话务统计分析系统 | |
| WO2024016594A1 (zh) | 一种伪列实现方法、装置、电子设备及存储介质 | |
| CN114936242A (zh) | 一种数据报表定制应用系统 | |
| CN112929237B (zh) | 网站细分流量的分析方法、系统、设备和介质 | |
| CN115168474A (zh) | 一种基于大数据模型的物联中台系统搭建方法 | |
| Jiadi et al. | Research on Data Center Operation and Maintenance Management Based on Big Data | |
| CN113157825A (zh) | 用户行为数据整合方法及装置 | |
| CN113111103A (zh) | 一种智能综合大数据融合处理平台 | |
| US20140143278A1 (en) | Application programming interface layers for analytical applications | |
| CN116578655B (zh) | 一种数据传输系统及其控制方法 | |
| CN111581254A (zh) | 基于互联网金融数据的etl方法及系统 | |
| CN110928898A (zh) | 数据采集方法、数据采集装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091028 Termination date: 20150927 |
|
| EXPY | Termination of patent right or utility model |