CN104750680B - 一种基于堆栈循环检测的连续线性特征区域快速聚拢方法 - Google Patents

Abstract

本发明涉及一种基于堆栈循环检测的连续线性特征区域快速聚拢算法，由原始数据采集堆栈循环检测处理、时间序列堆栈数据分析预处理、切片统计与报表生成、算法结果应用展示构成的一种基于堆栈循环检测的连续线性特征区域快速聚拢算法，实现了对中国电信无线测试数据的快速分析和统一管理，有效替代人工的工作，使得优化人员面对海量的数据的时，能够有效提取关键点和聚焦点，配合GIS图层展示，从而快速定位问题点位置，解决了现有的算法在处理堆栈循环检测数据点方面所存在的空白，为中国电信提供一种全新、直观的无线测试数据分析算法。

Description

一种基于堆栈循环检测的连续线性特征区域快速聚拢方法

技术领域

本发明涉及一种以EXCEL 格式数据作为数据来源，输入的数据列可配置的堆栈类的测试数据处理方法。

背景技术

在中国电信无线移动网络运营中，网络优化工作是无线移动网后端运营体系中的重中之重。其中所涉及的海量无线测试数据包括人工测试数据、自动路测数据、定点测试数据和其他测试数据。如何科学利用海量的无线测试数据，实时监测、评估、跟踪全省网络质量情况，对中国电信无线移动网络实施有效的管理；如何通过CDMA无线测试数据管理平台海量级数据，进行历史数据性能对比、综合分析挖掘网络问题、定位区域性故障；如何建立高效运作的维护体系，有效推进中国电信移动网络基础运营的精确管理，以信息化为支撑，通过先进的维护手段，提高维护管理效率、维护质量和服务水平，是目前急需重点解决的问题。针对以上问题，亟待发展一种可配置输入数据列的，以EXCEL数据格式为数据源的堆栈类数据处理算法，对海量无线数据进行聚焦。

然而，目前现有的测试数据处理方式流程复杂，且具有很大的局限性：网优技术人员对于大量繁琐的手工统计和局部优化分析力不从心，难以对海量无线测试数据进行全面汇总；测试数据分散、多厂商数据格式多样，无法进行统一分析；无线测试数据数量大，数据利用率低，无法形成合力，容易成为一个个“数据孤岛”，决策层难以对海量无线测试数据进行管理。因此，一种基于堆栈循环检测的连续线性特征区域快速聚拢方法已成为我们亟待解决的重要课题。

发明内容

本发明的目的在于要解决上述现有无线测试数据处理方式的不足之处，为中国电信提供一种高效快速的连续线性特征区域快速聚拢方法。

为了解决上述技术问题，本发明采用以下技术方案来实现：

本发明基于原始数据采集堆栈循环检测处理、时间序列堆栈数据分析预处理、切片统计与报表生成、算法结果应用展示。原始数据采集堆栈循环检测处理、时间序列堆栈数据分析预处理、切片统计与报表生成构成的一种基于堆栈循环检测的连续线性特征区域快速聚拢方法，实现了对中国电信无线测试数据的快速分析和统一管理，有效替代人工工作，使得用户面对海量的数据的时候，能够有效提取关键点和聚焦点，配合GIS图层展示，从而快速定位问题点位置，填补了现有的算法在处理堆栈循环检测数据点方面所存在的空白；

所述原始数据采集堆栈循环检测处理，其特征是：将各类无线测试方法产生的测试数据，采集到基于以EXCEL格式为基础的数据源，并进行数据解码、数据清洗、数据校验等操作，从而达到数据的一致性、可用性；

所述时间序列堆栈数据分析预处理，其特征是：按时间顺序读取长度为N的测试数据到序列内，计算序列内的N条测试数据的异常率，判断序列的异常率是否高于P，序列内的测试数据暂存在一个结果集合内，用于后期分析展示，从而提高系统总体处理效能；

所述切片统计与报表生成，其特征是：对符合条件的数据进行入库，从序列尾部插入下一条测试数据，形成切片结果数据，去除时间序列内的第一条测试数据，并根据切片结果统计分析预处理结果，进行报表所需数据的准备、提取工作；

所述算法结果应用展示，其特征是：通过对原始入库数据、切片结果数据以及统计分析预处理结果数据，进行计算、处理、建模操作形成图层，并且在GIS地图上显示。

有益效果：

由上述技术方案可知，本发明的有益效果是具有时效性、管理性、操作性、准确性。

（1）时效性：无线测试数据获得后，维护人员可将各类型数据通过Excel格式录入，通过算法处理最快得到堆栈类海量数据的处理结果，同时得到当前最新的无线测试数据及报告。主要源于直接解析入库，所有分析统计全部是基于数据库进行，处理效率与实时性达到统一。

（2）管理性：管理层可将无线测试数据进行集中管理，依据无线测试数据进行工作检查避免了人为因素对评价工作的影响，提高管理效能。

（3）操作性：网络状况图形化呈现，问题点一目了然。海量的全网数据、历史数据结合GIS和各类图标工具进行图形化展示，提高了直观度，便于用户问题定位和排查。利用电信集团统一的数据源格式，进行分析、展示。兼容目前电信集团所有入围厂商设备。避免了目前每个品牌测试厂商对应一套相应测试软件，不便于数据共享了，数据分析。

（4）准确性：排除了人为因素，无线测试数据直接反映网络现状，及时发现不合理的无线测试数据。数据直接入库，所有分析基于数据库数据展示，避免人为因素及操作不当造成的偏离情况发生。

附图说明：

图1是本发明的一种基于堆栈循环检测的连续线性特征区域快速聚拢方法框图。

具体实施方式:

下面结合附图和具体实施方式对本发明做详细描述:

图1是本发明的一种基于堆栈循环检测的连续线性特征区域快速聚拢方法框图，如图1所示，一种基于堆栈循环检测的连续线性特征区域快速聚拢方法，包括原始数据采集堆栈循环检测处理、时间序列堆栈数据分析预处理、切片统计与报表生成、算法结果应用展示。由原始数据采集堆栈循环检测处理、时间序列堆栈数据分析预处理、切片统计与报表生成、算法结果应用展示构成的一种基于堆栈循环检测的连续线性特征区域快速聚拢方法，主要是利用中国电信的宽带和3G网络，将全省自动路测、CQT测试、人工测试等方式采集的无线测试数据，实现了对中国电信海量无线测试数据的实时监测、评估、跟踪全省网络质量情况，对历史数据性能进行对比、综合分析挖掘网络问题、定位区域性故障。本发明的实施，有效地解决了网优人员对于大量繁琐的手工统计和局部优化分析力不从心，难以对无线测试数据进行全面汇总的情况；克服了无线测试数据分散、多厂商数据格式多样，无法进行统一分析的难题；缓解无线测试数据数量大，数据利用率低，无法形成合力，容易成为一个个“数据孤岛”的矛盾，使得决策层易于对海量无线测试数据进行管理，测试报告形成和反馈周期大大缩短，为中国电信提供一种全新、直观的无线测试数据处理方法；

所述原始数据采集堆栈循环检测处理，其特征是：将各类无线测试方法产生的无线测试数据，采集到基于Excel格式的文件中，并进行数据解码、数据清洗、数据校验等操作，从而达到数据的一致性、可用性；

所述时间序列堆栈数据分析预处理，其特征是：依据时间顺序依次读取一定数量级的数据，对这一数量级数据进行异常率检测，若异常率低于标准值P，从序列尾部插入下一条测试数据，去除序列内的第一条测试数据，若异常率符合标准，序列内的测试数据暂存在一个结果集合内，从序列尾部插入下一条测试数据，去除序列内的第一条测试数据，为了增加准确性，此处可能增加一个流程，即在异常率高出P时，为了避免出现以下情况：当前异常率=P，插入一条数据后小于P，而插入第二条数据刚好又等于P，可能添加一个缓冲长度R，多计算几个数据再确定结果是否应该截取。暂存的测试结果作为最终结果保存到结果集合，并进行下一次循环，直至循环结束得出最终结果，用于后期分析展示，从而提高系统总体处理效能。

所述切片统计与报表生成，其特征是：对符合条件的数据进行入库，从序列尾部插入下一条测试数据，形成切片结果数据，去除时间序列内的第一条测试数据，并根据切片结果统计分析预处理结果，进行报表所需数据的准备、提取工作；

所述算法结果应用展示，其特征是：通过对原始入库数据、切片结果数据以及统计分析预处理结果数据，进行各类计算、处理、建模等操作，形成图层并且在GIS地图上显示。

在本实施例中，所述的原始数据采集堆栈循环检测处理，原始数据采集由各地人工测试采集、各地自动测试数据、CQT测试采集和手机端测试采集通过FTP自动获取和系统间接口调用方式获取，采集并取得海量无线测试数据；由各地人工测试采集的海量人工无线测试数据，通过上传取得海量人工测试原始数据；自动测试数据通过FTP自动获取海量自动测试数据；CQT测试采集和手机端测试采集通过系统间接口调用，自动获取的海量自动测试数据；海量人工测试原始数据与海量自动测试数据分别通过入库前处理模块转换成海量内部统一格式数据，海量统一格式的数据由批量存储入库模块进行处理实现批量存储入库，批量存储入库的海量统一格式的数据又通过命令解码模块、参数解码模块、数据清洗模块，进行处理，实现生成各种原始数据表的功能。

本发明将各类无线测试方法采集的无线测试数据通过原始数据采集堆栈循环检测处理、时间序列堆栈数据分析预处理、切片统计与报表生成、算法结果应用展示，进行处理后，实现以下几个核心功能：

1）由全省电信自动路测、CQT测试、人工测试等方法采集的无线测试数据经由Excel格式被本算法调用，并且转换成集团统一格式数据文件后再次处理生成入库前专用内部统一格式数据；

（2）自动校验原始数据的自动校验数据的完整性和准确性，实现各类无线数据入库前预处理，在原始数据入库之前对原始数据的时间和空间数据进行解析和插值处理，减少人工工作量；

（3）实现测试数据海量存储和分布式处理的数据库架构，实现海量数据的高速入库功能，并且在入库完成之后实现对原始测试数据完全解析，通过数据仓库技术实现海量原始测试数据的存储与高速处理；

（4）实现全省、各地市、县区级三个层次的海量数据高速异常率统计功能，快速定位疑似故障区域；

（5）实现常见问题点（通话失败、掉话、切换失败、PPP连接失败、PPP掉线、FTP连接失败、FTP掉线、弱覆盖等）分析、生成、切片、GIS图层生成展示；

（6）实现对上层统计应用、分析应用、管理应用等多种应用的标准数据接口功能。

以上所述仅为本发明的较佳实施例而已，并非用来限定本发明的实施范围。凡是依据本发明申请专利范围的内容所作任何细微修改、等效变化与修饰，均属于本发明要求保护的范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种基于堆栈循环检测的连续线性特征区域快速聚拢方法，其特征是：所述一种基于堆栈循环检测的连续线性特征区域快速聚拢方法包括原始数据采集堆栈循环检测处理、时间序列堆栈数据分析预处理、切片统计与报表生成、算法结果应用展示；

所述原始数据采集堆栈循环检测处理，将各类无线测试方法产生的测试数据，采集到基于以EXCEL 数据来源为基础，并进行数据解码、数据清洗、数据校验操作，从而达到数据的一致性、可用性；所述时间序列堆栈数据分析预处理，按时间顺序读取长度为N 的测试数据到序列内，计算序列内的N 条测试数据的异常率，判断序列的异常率是否高于P，若异常率低于标准值P，序列内的测试数据暂存在一个结果集合内，从序列尾部插入下一条测试数据，去除序列内的第一条测试数据，暂存的测试结果作为最终结果保存到结果集合，并进行下一次循环，直至循环结束得出最终结果，用于后期分析展示，从而提高系统总体处理效能；所述切片统计与报表生成，对符合条件的数据进行入库，从序列尾部插入下一条测试数据，形成切片结果数据，去除时间序列内的第一条测试数据，并根据切片结果统计分析预处理结果，进行报表所需数据的准备、提取工作；

所述算法结果应用展示，通过对原始入库数据、切片结果数据以及统计分析预处理结果数据，进行计算、处理、建模操作，形成图层并且在GIS 地图上显示。

2.根据权利要求1 所述的一种基于堆栈循环检测的连续线性特征区域快速聚拢方法，其特征是：所述的原始数据采集堆栈循环检测处理，原始数据采集由各地人工测试采集、各地自动测试数据、CQT测试采集和手机端测试采集通过FTP自动获取和系统间接口调用方式获取，采集并取得海量无线测试数据；由各地人工测试采集的海量人工无线测试数据，通过上传取得海量人工测试原始数据；自动测试数据通过FTP自动获取海量自动测试数据；CQT测试采集和手机端测试采集通过系统间接口调用，自动获取的海量自动测试数据；海量人工测试原始数据与海量自动测试数据分别通过入库前处理模块转换成海量内部统一格式数据，海量统一格式的数据由批量存储入库模块进行处理实现批量存储入库，批量存储入库的海量统一格式的数据又通过命令解码模块、参数解码模块、数据清洗模块，进行处理，实现生成各种原始数据表的功能。