CN103997753B - 间隔式追加采集移动通信无线网络性能数据的方法 - Google Patents
间隔式追加采集移动通信无线网络性能数据的方法 Download PDFInfo
- Publication number
- CN103997753B CN103997753B CN201410241642.0A CN201410241642A CN103997753B CN 103997753 B CN103997753 B CN 103997753B CN 201410241642 A CN201410241642 A CN 201410241642A CN 103997753 B CN103997753 B CN 103997753B
- Authority
- CN
- China
- Prior art keywords
- data
- file
- kpi
- collection
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及一种间隔式追加采集移动通信无线网络性能数据的方法。其特征在于：在一个采集周期内，每隔2‑5分钟的时间间隔，智能识别并采集2G/3G/4G 移动通信OMC设备产生的最新性能原始数据，该最新性能原始数据包括文件型和/或数据库型，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。本发明将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快；同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。
Description
技术领域
本发明涉及一种间隔式追加采集移动通信无线网络性能数据的方法。
背景技术
现有采集方法总体上是一次性采集完所有的性能数据，再生成KPI数据，主要有以下三种采集模式，每个模式的采集步骤大致相同:
1.自动采集性能数据：定点整点后几分钟自动采集每个OMC的性能数据，通过多线程，一个OMC一个线程采集，保存到本地数据库表进行处理计算；
2.自动补采性能数据：定期检查当天或历史数据遗漏情况，如发现遗漏，在保证当前小时的情况下，自动补采遗漏数据，对于所采性能数据，如果发现BSC数严重不足，能自动触发补采数据；
3.手动补采性能数据：提供人工手动的方式补采性能数据。
现有的方式存在如下缺点：现有采集方案的三个模式中下载解析和保存入库这两个步骤比较缓慢，因为是每小时定点时刻采集一次数据，设置的时刻一般是所有OMC的所有数据都齐全的安全时刻去采，这样势必导致采集数据延时，数据及时性不高，虽然保证了数据的完整性，但性能告警不及时，不利于及时发现无线网络问题，处理问题。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种间隔式追加采集移动通信无线网络性能数据的方法的技术方案。
所述的间隔式追加采集移动通信无线网络性能数据的方法，其特征在于：在一个采集周期内，每隔2-5分钟的时间间隔，智能识别并采集2G/3G/4G 移动通信OMC设备产生的最新性能原始数据，该最新性能原始数据包括文件型和/或数据库型，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。
所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。
所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的保存至本地数据库时，通过对新数据插入，已存在的数据更新，不进行删除操作，OMC上每个文件或表对应本地的一张表，保存30天的数据；每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。
所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式。
所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的自动采集性能数据模式如下：
步骤一:间隔式下载设备最新原始数据
在一个采集周期中，每隔2-5分钟多次发起采集OMC设备数据，每个单次采集只采集本次的最新原始数据，最新原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，本地保存的文件和OMC上的文件进行比对，需满足如下比对条件：
a.通过文件名比对，如果本地不存在该文件的文件名，则归为需要下载的文件；
b.通过比对文件修改时间，如果本地文件的修改时间与OMC文件修改时间不一致，即OMC的文件有修改更新过，则归为需要下载的文件；
c.通过比对文件的大小，如果本地文件的大小与OMC有差异，即OMC文件有改动或增加过，归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选最新的数据，即每次连接下载当前数据时间点之后的所有数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:追加原则解析本地入库处理
单次下载原始数据后，通过相关网元唯一关键属性比对原则，追加解析保存；具体分两种类型，一种是需要新增的，一种是因为变更需要更新，对此应该分步处理：
1）根据网元比对本地数据库保存表，如果不存在该时刻该网元的数据，则批量插入不存在的数据；
a.小区级数据，OMC上来源多个文件或多张表的，第一个文件或表插入新数据后，第二个新增文件或表只需更新即可；
b.载频、切换级别的数据，OMC来源单个文件或表，如果判断为是新数据，只需做插入操作；
2）根据网元比对本地数据库保存表，如果已经存在该时刻该网元的数据，则批量更新存在的数据；
a.小区级数据来源多文件或多表，对于每个表或文件依次执行更新操作；
b.载频、切换级别数据，单个表或文件执行更新操作；
步骤三：自动计算KPI
对已下载解析的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库；
步骤五：循环采集
以上步骤为单次采集的4个步骤，在一个采集周期中，循环判断是否重复启动下次单次采集，启动条件如下：
1）还在一个采集周期内；
2）还未到规定的间隔式采集结束时间点；
3）本周期采集到的数据还不足；
如此重复间隔式多次追加采集原始数据，循环采集数据。
所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的自动补采性能数据模式如下：
系统自动定期检查当天或历史数据遗漏情况，如发现遗漏，在保证当前小时的情况下，自动补采遗漏数据，对于所采性能数据，如果发现BSC数严重不足，能自动触发补采数据；
自动补采数据以采集一个采集周期数据为单位，步骤如下:
步骤一:全量下载须补采周期时刻原始数据
全量采集须补采周期时刻原始数据，原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，采集的目标文件，需满足如下比对条件：
a.通过文件名比对，满足须补采周期时刻条件，则归为需要下载的文件；
b.通过比对文件修改时间，满足须补采周期时刻条件，则归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选须下载的数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:全量解析本地入库处理
下载原始数据后，直接全量解析保存；因为是补采数据，根据当前补采的数据周期时刻，比对本地数据库保存表，分情况处理：
1）如果不存在该时刻该网元的数据，则批量插入不存在的数据；
2）如果已经存在该时刻该网元的数据，则先删除本地已存在的所有级别数据，然后批量插入本次采集的数据；
步骤三：自动计算KPI
对已解析本地入库的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库。
所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的手动补采性能数据模式如下：
人工检查历史数据遗漏情况，如发现遗漏，则手动选取须补采的指定时间点启动采集；手动补采前，可设定选项开关指定是否产生性能告警；
手动补采性能数据模式同样以采集一个采集周期数据为单位，步骤如下，
步骤一:全量下载须补采周期时刻原始数据
全量采集须补采周期时刻原始数据，原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，采集的目标文件，需满足如下比对条件：
a.通过文件名比对，满足须补采周期时刻条件，则归为需要下载的文件；
b.通过比对文件修改时间，满足须补采周期时刻条件，则归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选须下载的数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:全量解析本地入库处理
下载原始数据后，直接全量解析保存；因为是补采数据，根据当前补采的数据周期时刻，比对本地数据库保存表，分情况处理：
1）如果不存在该时刻该网元的数据，则批量插入不存在的数据；
2）如果已经存在该时刻该网元的数据，则先删除本地已存在的所有级别数据，然后批量插入本次采集的数据；
步骤三：自动计算KPI
对已解析本地入库的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库。
所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述一个采集周期为1小时。
本发明通过对移动通信OMC设备在一个采集周期内，按一定的间隔时间，多次采集，智能识别,追加获取最新数据，将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快,为诸如出告警等之类的上层应用提高了应用性，同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。
本发明与现有技术相比：
1.自动采集性能数据：极大的提高了移动通信无线指标告警的及时性，基本达到了实时的效果，独创性的间隔式追加采集机制，既提高了数据的及时性又保证了数据的完整性；
2.自动补采性能数据：更加有力地保证了全天的数据完整性；比现有技术方案更智能更完备，采集也更快速；
3.手动补采性能数据：更大的灵活性，采集更迅速，采集过程耗时更短。
具体实施方式
通过对设备数据源OMC的详细分析，了解OMC出数据现状如下：
文件型OMC一个时段的数据文件，会从整点开始，从各个BSC等设备陆续汇总到OMC，文件从整点1分开始就逐渐新增，且某几分集中出现；
数据库型OMC一个时段的数据，从整点后几分钟内，先离散的出部分行数据记录，后集中一段时间出大批量数据。
本发明改进了每个模式中的两个步骤，从而从根本上既提高了数据及时性又保证了数据完整性：
（1）下载原始数据时，通过多次采集，每次下载最新的数据，提前出数据时间， 分担单次采集负荷；
（2）保存到本地数据库时，通过对新数据插入，已存在的数据更新，不做删除操作，极大减少因删除数据，所导致的数据库冗余、磁盘碎片等问题。
本发明在一个采集周期（1小时）内，每隔一定的时间间隔（2-5分钟），智能识别并采集2G/3G/4G 移动通信OMC设备产生的最新性能原始数据，该最新性能原始数据包括文件型和/或数据库型，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。整个处理流程，在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。
本发明的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式。
1.自动采集性能数据模式如下：
步骤一:间隔式下载设备最新原始数据
在一个采集周期（1小时）中，每隔2-5分钟多次发起采集OMC设备数据，每个单次采集只采集本次的最新原始数据，具体如何智能判断是否最新，分为文件型和数据库型两种方式，根据各自的特点，按不同的原则来处理；
1）对于文件型OMC，通过FTP的方式下载数据文件，本地保存的文件和OMC上的文件进行比对，需满足如下比对条件：
a.通过文件名比对，如果本地不存在该文件的文件名，则归为需要下载的文件；
b.通过比对文件修改时间，如果本地文件的修改时间与OMC文件修改时间不一致，即OMC的文件有修改更新过，则归为需要下载的文件；
c.通过比对文件的大小，如果本地文件的大小与OMC有差异，即OMC文件有改动或增加过，归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选最新的数据，即每次连接下载当前数据时间点之后的所有数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:追加原则解析本地入库处理
单次下载原始数据后，通过相关网元唯一关键属性比对原则，追加解析保存；具体分两种类型，一种是需要新增的，一种是因为变更需要更新，对此应该分步处理：
1）根据网元比对本地数据库保存表，如果不存在该时刻该网元的数据，则批量插入不存在的数据；
a.小区级数据，OMC上来源多个文件或多张表的，第一个文件或表插入新数据后，第二个新增文件或表只需更新即可；
b.载频、切换级数据，OMC来源单个文件或表，如果判断为是新数据，只需做插入操作；
2）根据网元比对本地数据库保存表，如果已经存在该时刻该网元的数据，则批量更新存在的数据；
a.小区级数据来源多文件或多表，对每个表或文件依次执行更新操作；
b.载频、切换级数据，单个表或文件执行更新操作；
步骤三：自动计算KPI
对已下载解析的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库；
步骤五：循环采集
以上步骤为单次采集的4个步骤，在一个采集周期（1小时）中，循环判断是否重复启动下次单次采集，启动条件如下：
1）还在一个采集周期内；
2）还未到规定的间隔式采集结束时间点；
3）本周期采集到的数据还不足；
如此重复间隔式（2-5分钟）多次追加采集原始数据，循环采集数据；从而最终实现快速性能告警,先产生的数据先告警，批次化快速告警，同时又保证数据的完整性。
2.自动补采性能数据模式如下：
系统自动定期检查当天或历史数据遗漏情况，如发现遗漏，在保证当前小时的情况下，自动补采遗漏数据，对于所采性能数据，如果发现BSC数严重不足，能自动触发补采数据；
自动补采数据以采集一个采集周期数据为单位，步骤如下:
步骤一:全量下载须补采周期时刻原始数据
全量采集须补采周期时刻原始数据，原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，采集的目标文件，需满足如下比对条件：
a.通过文件名比对，满足须补采周期时刻条件，则归为需要下载的文件；
b.通过比对文件修改时间，满足须补采周期时刻条件，则归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选须下载的数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:全量解析本地入库处理
下载原始数据后，直接全量解析保存；因为是补采数据，根据当前补采的数据周期时刻，比对本地数据库保存表，分情况处理：
1）如果不存在该时刻该网元的数据，则批量插入不存在的数据；
2）如果已经存在该时刻该网元的数据，则先删除本地已存在的所有级别数据，然后批量插入本次采集的数据；
步骤三：自动计算KPI
对已解析本地入库的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库。
3.手动补采性能数据模式如下：
人工检查历史数据遗漏情况，如发现遗漏，则手动选取须补采的指定时间点启动采集；手动补采前，可设定选项开关指定是否产生性能告警；
手动补采性能数据模式同样以采集一个采集周期数据为单位，步骤如下，
步骤一:全量下载须补采周期时刻原始数据
全量采集须补采周期时刻原始数据，原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，采集的目标文件，需满足如下比对条件：
a.通过文件名比对，满足须补采周期时刻条件，则归为需要下载的文件；
b.通过比对文件修改时间，满足须补采周期时刻条件，则归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选须下载的数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:全量解析本地入库处理
下载原始数据后，直接全量解析保存；因为是补采数据，根据当前补采的数据周期时刻，比对本地数据库保存表，分情况处理：
1）如果不存在该时刻该网元的数据，则批量插入不存在的数据；
2）如果已经存在该时刻该网元的数据，则先删除本地已存在的所有级别数据，然后批量插入本次采集的数据；
步骤三：自动计算KPI
对已解析本地入库的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库。
本发明优化的数据库数据保存机制，保存到本地数据库时，通过对新数据插入，已存在的数据更新，不做删除操作，极大减少因删除数据，所导致的数据库冗余、磁盘碎片等问题。OMC上每个文件或表对应本地的一张表，一般保存30天的数据。为了提高生成KPI数据性能：每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。
综上所述，本发明自动补采数据步骤基本同自动采集，区别要点如下：
1）新增检查数据步骤，定期的检查已下载入库的数据，找出缺少或没有数据的时段；
2）对于文件型OMC,下载文件时，不是找新增文件，而是下载缺少时段的数据文件，如果本地已存在该文件，且文件大小，文件修改时间同OMC，则无需下载，如果文件有改动或者本地不存在该时段的文件，则需要下载；
3）对于数据库型OMC，按时间字段筛选出补采时段的数据。
手动补采数据步骤基本同自动采集，区别要点如下：人工检查历史数据遗漏情况，如发现遗漏，则手动选取须补采的时间点，允许设定是否性能告警开关，启动一次单次采集流程，自动进行数据采集、解析、计算、处理入库。
通过本发明的应用，如获取ALCATEL厂家的性能告警的时间点，GSM类可以从原来的整点后15分钟提早到3分钟，且整点后5分钟可以采集到70%的数据；GPRS类可以从原来的整点后45分钟提前到整点30分钟，且40分可以采集到80%的数据。
Claims (4)
1.间隔式追加采集移动通信无线网络性能数据的方法，其特征在于：在一个采集周期内，每隔2-5分钟的时间间隔，智能识别并采集2G/3G/4G 移动通信OMC设备产生的最新性能原始数据，该最新性能原始数据包括文件型和/或数据库型，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警；
所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。
2.根据权利要求1所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的保存至本地数据库时，通过对新数据插入，已存在的数据更新，不进行删除操作，OMC上每个文件或表对应本地的一张表，保存30天的数据；每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。
3.根据权利要求2所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式；
所述的自动采集性能数据模式如下：
步骤一:间隔式下载设备最新原始数据
在一个采集周期中，每隔2-5分钟多次发起采集OMC设备数据，每个单次采集只采集本次的最新原始数据，最新原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，本地保存的文件和OMC上的文件进行比对，需满足如下比对条件：
a.通过文件名比对，如果本地不存在该文件的文件名，则归为需要下载的文件；
b.通过比对文件修改时间，如果本地文件的修改时间与OMC文件修改时间不一致，即OMC的文件有修改更新过，则归为需要下载的文件；
c.通过比对文件的大小，如果本地文件的大小与OMC有差异，即OMC文件有改动或增加过，归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选最新的数据，即每次连接下载当前数据时间点之后的所有数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:追加原则解析本地入库处理
单次下载原始数据后，通过相关网元唯一关键属性比对原则，追加解析保存；具体分两种类型，一种是需要新增的，一种是因为变更需要更新，对此应该分步处理：
1）根据网元比对本地数据库保存表，如果不存在该时刻该网元的数据，则批量插入不存在的数据；
a.小区级数据，OMC上来源多个文件或多张表的，第一个文件或表插入新数据后，第二个新增文件或表只需更新即可；
b.载频、切换级别的数据，OMC来源单个文件或表，如果判断为是新数据，只需做插入操作；
2）根据网元比对本地数据库保存表，如果已经存在该时刻该网元的数据，则批量更新存在的数据；
a.小区级数据来源多文件或多表，对于每个表或文件依次执行更新操作；
b.载频、切换级别数据，单个表或文件执行更新操作；
步骤三：自动计算KPI
对已下载解析的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库；
步骤五：循环采集
以上步骤为单次采集的4个步骤，在一个采集周期中，循环判断是否重复启动下次单次采集，启动条件如下：
1）还在一个采集周期内；
2）还未到规定的间隔式采集结束时间点；
3）本周期采集到的数据还不足；
如此重复间隔式多次追加采集原始数据，循环采集数据；
所述的自动补采性能数据模式如下：
系统自动定期检查当天或历史数据遗漏情况，如发现遗漏，在保证当前小时的情况下，自动补采遗漏数据，对于所采性能数据，如果发现BSC数严重不足，能自动触发补采数据；
自动补采数据以采集一个采集周期数据为单位，步骤如下:
步骤一:全量下载须补采周期时刻原始数据
全量采集须补采周期时刻原始数据，原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，采集的目标文件，需满足如下比对条件：
a.通过文件名比对，满足须补采周期时刻条件，则归为需要下载的文件；
b.通过比对文件修改时间，满足须补采周期时刻条件，则归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选须下载的数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:全量解析本地入库处理
下载原始数据后，直接全量解析保存；因为是补采数据，根据当前补采的数据周期时刻，比对本地数据库保存表，分情况处理：
1）如果不存在该时刻该网元的数据，则批量插入不存在的数据；
2）如果已经存在该时刻该网元的数据，则先删除本地已存在的所有级别数据，然后批量插入本次采集的数据；
步骤三：自动计算KPI
对已解析本地入库的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库；
所述的手动补采性能数据模式如下：
人工检查历史数据遗漏情况，如发现遗漏，则手动选取须补采的指定时间点启动采集；手动补采前，可设定选项开关指定是否产生性能告警；
手动补采性能数据模式同样以采集一个采集周期数据为单位，步骤如下，
步骤一:全量下载须补采周期时刻原始数据
全量采集须补采周期时刻原始数据，原始数据分为文件型和数据库型两种方式；
1）对于文件型OMC，通过FTP的方式下载数据文件，采集的目标文件，需满足如下比对条件：
a.通过文件名比对，满足须补采周期时刻条件，则归为需要下载的文件；
b.通过比对文件修改时间，满足须补采周期时刻条件，则归为需要下载的文件；
2）对于数据库型OMC,通过连接数据库，大容量导入导出数据的方式下载数据，按时间字段筛选须下载的数据；
3）文件型OMC，在一次下载完成后，将保存新增文件清单及创建时间和修改时间，用于下次下载文件时基准比对；
步骤二:全量解析本地入库处理
下载原始数据后，直接全量解析保存；因为是补采数据，根据当前补采的数据周期时刻，比对本地数据库保存表，分情况处理：
1）如果不存在该时刻该网元的数据，则批量插入不存在的数据；
2）如果已经存在该时刻该网元的数据，则先删除本地已存在的所有级别数据，然后批量插入本次采集的数据；
步骤三：自动计算KPI
对已解析本地入库的数据，根据预选定义好的KPI公式，以数据级别为单位，线程化并发计算KPI；
1）聚合KPI公式，即求和，求平均，求最大最小值；
2）跨等级KPI公式，汇总类KPI，具体如下：
a)将载频级别的数据汇总成小区级；
b)将切换级别的数据汇总成小区级；
c)将小区级别的数据汇总成BSS级；
d)将小区级别的数据汇总成全网system级；
3）其它特殊类KPI,单独计算处理，具体如下：
ⅰ)结合小区参数配置数据的KPI计算；
ⅱ)比对前7天平均值波动幅度的KPI计算；
步骤四：自动产生性能告警
对计算获得的KPI数据，按预定义的日常性能告警门限集，全自动逐条筛选判断产生性能告警；产生的性能告警数据，单独保存至性能告警数据库。
4.根据权利要求1或3所述间隔式追加采集移动通信无线网络性能数据的方法，其特征在于所述一个采集周期为1小时。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410241642.0A CN103997753B (zh) | 2014-06-03 | 2014-06-03 | 间隔式追加采集移动通信无线网络性能数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410241642.0A CN103997753B (zh) | 2014-06-03 | 2014-06-03 | 间隔式追加采集移动通信无线网络性能数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103997753A CN103997753A (zh) | 2014-08-20 |
| CN103997753B true CN103997753B (zh) | 2017-11-07 |
Family
ID=51311729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410241642.0A Active CN103997753B (zh) | 2014-06-03 | 2014-06-03 | 间隔式追加采集移动通信无线网络性能数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103997753B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488167B (zh) * | 2015-11-30 | 2019-12-13 | 北京金山安全软件有限公司 | 一种索引库更新方法及装置 |
| CN105843935A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股（北京）有限公司 | 一种数据采集方法以及etl组件 |
| WO2020015453A1 (zh) * | 2018-07-19 | 2020-01-23 | 华为技术有限公司 | 一种数据处理的方法及系统 |
| CN110737673B (zh) | 2018-07-19 | 2022-04-12 | 华为云计算技术有限公司 | 一种数据处理的方法及系统 |
| CN112612811A (zh) * | 2020-12-24 | 2021-04-06 | 航天信息股份有限公司 | 一种数据导入方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719237A (zh) * | 2009-12-09 | 2010-06-02 | 南京联创科技集团股份有限公司 | 基于全业务指标规则配置的数据质量监控方法 |
| CN102572883A (zh) * | 2010-12-16 | 2012-07-11 | 中国移动通信集团湖南有限公司 | 一种网络通信保障方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110122761A1 (en) * | 2009-11-23 | 2011-05-26 | Sundar Sriram | KPI Driven High Availability Method and apparatus for UMTS radio access networks |
-
2014
- 2014-06-03 CN CN201410241642.0A patent/CN103997753B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719237A (zh) * | 2009-12-09 | 2010-06-02 | 南京联创科技集团股份有限公司 | 基于全业务指标规则配置的数据质量监控方法 |
| CN102572883A (zh) * | 2010-12-16 | 2012-07-11 | 中国移动通信集团湖南有限公司 | 一种网络通信保障方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103997753A (zh) | 2014-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103997753B (zh) | 间隔式追加采集移动通信无线网络性能数据的方法 | |
| CN106845151B (zh) | CRISPR-Cas9系统sgRNA作用靶点的筛选方法及装置 | |
| CN107124394B (zh) | 一种电力通信网络安全态势预测方法和系统 | |
| CN108964960A (zh) | 一种告警事件的处理方法及装置 | |
| CN103685150A (zh) | 上传文件的方法和装置 | |
| CN110084378A (zh) | 一种基于本地学习策略的分布式机器学习方法 | |
| CN104754629B (zh) | 一种基站设备自愈的实现方法及装置 | |
| CN103108343B (zh) | 建立决策树的方法及装置、网络性能优化方法及装置 | |
| CN106507398B (zh) | 一种基于持续学习的网络自优化方法 | |
| CN1992632A (zh) | 一种通信网络告警方法以及告警系统 | |
| CN104021160A (zh) | 一种客户端数据清理方法和装置 | |
| CN101494919B (zh) | 实现无线传感器网络数据查询的路由切换方法 | |
| CN102831168B (zh) | 一种kpi指标的计算方法及装置 | |
| CN105049286A (zh) | 基于层次聚类的云平台测速数据判定方法 | |
| CN112131216A (zh) | 一种基于物模型的输电线路自适应数据库创建方法及装置 | |
| CN103222220B (zh) | 网络数据的回退方法及设备 | |
| CN104978837A (zh) | 一种面向用户端变电所的报警系统及其实现方法 | |
| CN109254962A (zh) | 一种基于t-树的索引优化方法及装置 | |
| CN104363129A (zh) | 一种网络事件关联分析和动态预警方法 | |
| CN106649552B (zh) | 常态化数据清理方法 | |
| CN109656794A (zh) | 网站数据动态定时页面数据采集方法 | |
| CN103793469A (zh) | 一种数据查询统计方法及系统 | |
| CN106202293B (zh) | 一种突发事件语料库的更新方法及装置 | |
| CN102638838A (zh) | 智能巡检方法、用户终端、服务器、巡检更新终端和系统 | |
| CN102131222A (zh) | 智能巡检的方法、用户终端、服务器和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |