CN104270340B - 一种语音信令数据存储方法及快速预警的方法 - Google Patents
一种语音信令数据存储方法及快速预警的方法 Download PDFInfo
- Publication number
- CN104270340B CN104270340B CN201410440763.8A CN201410440763A CN104270340B CN 104270340 B CN104270340 B CN 104270340B CN 201410440763 A CN201410440763 A CN 201410440763A CN 104270340 B CN104270340 B CN 104270340B
- Authority
- CN
- China
- Prior art keywords
- data
- warning
- early warning
- basic agreement
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种语音信令数据存储方法及快速预警的方法。本方法为：1)将用于语音信令数据解析的M个基础协议表同时建立在N个不同的表空间；2)将各所述基础协议表解析的数据循环存放在各所述表空间的不同分区上，即将第KN+i次各所述基础协议表解析的数据分别存放在第i个表空间的一分区上，形成交叉分区存储；3)将每次各所述基础协议表解析的数据缓存到一临时数据库表中，并生成用于告警分析的数据，然后删除缓存数据；4)将告警阈值封装到查询接口，按告警阈值条件查询当前的告警分析数据，将需告警的数据输出。本发明能快速将需要告警的语音通话数据告警，减少硬件投资成本，并且将同等设备发挥到最大效率。
Description
技术领域
本发明涉及一种语音信令数据存储及快速解析预警的方法，属于通信技术领域。
技术背景
随着经济发展及科技进步，固话和移动电话持有量持续增长，电信运营商的语音通话业务飞速发展，流量的激增也需要质量的保证，语音质量承载监测开始兴起，如何及时准确监测预警成为承载监测的关键。
电信运营商既需要预警处理后的数据，又需要保留原始解析数据，原始语音数据量十分巨大，空间存储及查询效率上都有很大问题，并且目前提取预警信息的方法是对数据做轮询遍历，一批数据从第一条到最后一条统一按照阈值比对一遍，这样效率比较低。
发明内容
针对现有技术中存在的技术问题，本发明的目的在于提供一种数据存储方法及快速加载语音信令数据并快速预警的方法。
本方法可以快速对语音数据进行解析入库，快速根据运营商的语音质量限制设置进行预警分析。例如通话时延不得大于20S，如果大于20S要对此通话主叫被叫号码显示到预警页面，让运营商获悉来改进服务质量等。
语音信令数据是由分流设备输出、被动探针解析原始语音文件生成，其中解析出的数据包括BICC、H.248、RTP、RTCP、寻呼、位置更新、RAB指派、TCH指派等，数据量比较庞大。以BICC信令为例：每秒钟BICC协议解析出的数据量大约500条，一分钟就是30000条，一小时就是180W条，一天接近4200W数据量。
本发明的技术方案为：
一种语音信令数据存储方法，其步骤为：
1)将用于语音信令数据解析的M个基础协议表同时建立在N个不同的表空间；
2)将各所述基础协议表解析的数据循环存放在各所述表空间的不同分区上，即将第KN+i次各所述基础协议表解析的数据分别存放在第i个表空间的一分区上，形成交叉分区存储；K为正整数，i＝1～N。
一种语音信令数据快速预警的方法，其步骤为：
1)将用于语音信令数据解析的M个基础协议表同时建立在N个不同的表空间；
2)将各所述基础协议表解析的数据循环存放在各所述表空间的不同分区上，即将第KN+i次各所述基础协议表解析的数据分别存放在第i个表空间的一分区上，形成交叉分区存储；K为正整数，i＝1～N；
3)将每次各所述基础协议表解析的数据缓存到一临时数据库表中，并生成用于预警分析的数据，然后删除缓存数据；
4)将预警阈值封装到查询接口，按预警阈值条件查询当前的预警分析数据，将需预警的数据输出。
进一步的，所述按预警阈值条件查询当前的预警分析数据的方法为：
1)从待分析预警数据中查出对应的指标数值，将该指标数值和该预警数据对应的阈值存入内存中；
2)根据该预警数据对应的阈值，将该指标数值大于该阈值的预警数据结果集存入数据库内存段中；
3)从当前预警信息表中查询出相应指标的已预警数据；
4)根据msc设备IP关联查询步骤2)、3)所得的两部分数据；如果查询出匹配数据则做Anti join，根据msc设备IP更新已预警数据值及预警时间，如果不匹配则新插入预警信息。
进一步的，所述待预警数据为时延、接通率、抖动或丢包率数据。
进一步的，所述表空间为oracle分区表。
进一步的，所述临时数据库表为oracle数据库表。
本发明实现快速对语音信令数据加载入库并统计预警，包括以下内容：
1.基础协议表的优化存储：拿BICC、H248、RTP这三种协议表为例，把BICC、H248、RTP协议表建在A、B、C三个不同的表空间上，每个表解析的数据按照日期存放在不同的分区上，不同的分区同时遍历存放在不同的表空间上，形成交叉分区存储。例如BICC的PBICC20140701分区存储在A表空间，PBICC20140702分区存储在B表空间，PBICC20140703分区存储在C表空间，PBICC20140704分区重复存储在A表空间上，PBICC20140705分区存储在B表空间上，PBICC20140706分区存储在C表空间上；按此规律等等延续。同理，RTP的PRTP20140701分区也同样存储在A表空间，PRTP20140702分区也同样存储在B表空间等等，在同样只有三个表空间的情况下，这种交叉存储提高访问效率及并发查询效率要比每个表仅仅只放在同一个表空间的情况好的多。此处处理方法可使普通硬盘达到高级盘阵的效果。
2.在步骤1的基础上采用数据缓存机制，即原始数据一份直接落地到基础协议表中，一份加载到oracle临时表中，在临时表中调度中间数据处理接口处理成中间数据，处理完毕后立刻清空临时表，使其被重复利用再次加载下批数据。这样做的好处是：不需要再从海量的基础协议表中查询出这批数据处理，而是直接从相对小的表中取数据处理，这种方法效率极高。
3.预警基于此步骤2的基础上本方法又提出了一次性事务处理的机制，即调度封装的预警数据查询接口一次性处理完待预警数据，而不是采用游标循环逐条处理预警信息。
与现有技术相比，本发明的积极效果为：
能快速将需要预警的语音通话数据预警，减少硬件投资成本，并且将同等设备发挥到最大效率。
附图说明
图1.被动探针解析数据流程图；
图2数据整体流向图；
图3数据逐行处理流程图；
图4数据批处理流程图；
图5为查询预警分析数据的方法流程图。
具体实施方式
本方法数据库软件采用甲骨文公司的Oracle Database 10g，服务器操作系统采用Redhat Enterprise Linux 5系列，其他关系型数据库及操作系统与之类似。
如图1所示，电信运营商的核心接入路由器的原始数据通过分流板卡分流输出给被动采集探针，由被动采集探针对接入原始通话数据包进行协议解析，生成BICC、RTP、RTCP、H.248、A接口、SGs接口数据，搬运程序把生成的数据文件搬运到数据预处理程序，数据预处理程序进行数据处理并入库存储。
被动探针输出数据后，调度数据预处理程序把相同的数据分两步操作，一步导入oracle数据库临时表中，另一步直接导入oracle分区表存储。
图2所示，整个数据实时流向，临时表是被循环使用的，即不间断重复插入数据及清空数据，数据缓存拆分为两份的目的是：由于数据本身既需要入库存储供查询使用，又要根据此数据做分析预警用，如果先入库再从库中查询出来做分析预警的话，数据积累到海量的时候会导致查询慢、分析也慢同时造成一定的存储压力。因此这样做的好处是在一处做分析预警用，在另一处做存储用，分散压力，提高性能。
存储方面我们提出交叉分区存储机制，即步骤1中所描述的方法，这种存储的好处能减低ORACLE磁盘读取压力，并且可以很好的提高并发查询效率，从工程角度讲，能很好的降低硬盘及CPU的配置，降低整体项目的成本。
对于预警阈值判断，现在的公知做法如图3所示，按顺序从游标中逐条取出数据与阈值比对，以通话时延为例，如果通话时延大于阈值便将该数据插入到预警表中预警出来，这样效率低下，因为是逐条处理，所以上百万数据量需要处理上百万次，因此我们采用如下机制保证速度(如图4所示)：首先将阈值封装到预警数据查询接口，通过调用预警数据查询接口查询所有需要预警数据，即将数据直接加载入内存中，在ORACLE内存中按阈值条件查询然后预警出来这样能省略游标循环逐条操作，不需要逐条对数据进行判断，筛选出的数据及时预警输出。这样做的好处是将数据查询压力交给ORACLE服务器，充分利用服务器核心处理能力，省略我们自己程序上的逐条处理时间，效率上比前者提高至少三倍。
具体而言，本发明封装了一个数据接口来专门做处理预警这个工作，其流程如图5所示，具体描述：
1.待预警数据为时延、接通率、抖动、丢包率等等反应通话质量的数据，这里我们以接通率为例。
2.数据接口调度查询语句，从待预警的语音通话接通率中参照对应阈值查询出的结果集放入数据库内存段中；例如10:30分北京中关村msc1设备(移动交换中心)接通率为50％，已经低于阈值70％。
3.从当前预警信息表中查询出已预警的接通率数据，根据msc设备(移动交换中心)IP关联查询两部分数据；
4.查询出匹配数据则做关联Anti join根据msc设备IP更新已预警数据值及预警时间，如果不匹配则新插入预警信息，包括msc设备IP及接通率数值；
5.每10分钟就对已发生通话数据进行统计分析并及时预警，可以满足大数据量用户通话数据的预警工作。
6.运营商根据设备IP及预警时间分析接通率低的问题。
Claims (4)
1.一种语音信令数据快速预警的方法，其步骤为：
1)将用于语音信令数据解析的M个基础协议表同时建立在N个不同的表空间；
2)将各所述基础协议表解析的数据循环存放在各所述表空间的不同分区上，即将第KN+i次各所述基础协议表解析的数据分别存放在第i个表空间的一分区上，形成交叉分区存储；K为正整数，i＝1～N；
3)将每次各所述基础协议表解析的数据缓存到一临时数据库表中，并生成用于预警分析的数据，然后删除缓存数据；
4)将预警阈值封装到查询接口，按预警阈值条件查询当前的预警分析数据，将需预警的数据输出；
其中，所述按预警阈值条件查询当前的预警分析数据的方法为：
41)从待分析预警数据中查出对应的指标数值，将该指标数值和该预警数据对应的阈值存入内存中；
42)根据该预警数据对应的阈值，将该指标数值大于该阈值的预警数据结果集存入数据库内存段中；
43)从当前预警信息表中查询出相应指标的已预警数据；
44)根据移动交换中心的设备IP关联查询步骤42)、43)所得的两部分数据；如果查询出匹配数据则对其进行关联，根据移动交换中心的IP更新已预警数据值及预警时间，如果不匹配则新插入预警信息。
2.如权利要求1所述的方法，其特征在于所述待分析预警数据为时延、接通率、抖动或丢包率数据。
3.如权利要求1所述的方法，其特征在于所述表空间为oracle分区表。
4.如权利要求1所述的方法，其特征在于所述临时数据库表为oracle数据库表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410440763.8A CN104270340B (zh) | 2014-09-01 | 2014-09-01 | 一种语音信令数据存储方法及快速预警的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410440763.8A CN104270340B (zh) | 2014-09-01 | 2014-09-01 | 一种语音信令数据存储方法及快速预警的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104270340A CN104270340A (zh) | 2015-01-07 |
| CN104270340B true CN104270340B (zh) | 2017-10-27 |
Family
ID=52161830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410440763.8A Active CN104270340B (zh) | 2014-09-01 | 2014-09-01 | 一种语音信令数据存储方法及快速预警的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104270340B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109710675A (zh) * | 2018-12-26 | 2019-05-03 | 深圳乐信软件技术有限公司 | 一种存储数据库切换方法、装置、服务器及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1482766A (zh) * | 2002-09-13 | 2004-03-17 | 华为技术有限公司 | 一种自动产生网管报表的方法 |
| CN101022421A (zh) * | 2007-03-29 | 2007-08-22 | 威盛电子股份有限公司 | 数据包处理方法及应用该方法的网络装置 |
| CN102662968A (zh) * | 2012-03-09 | 2012-09-12 | 浪潮通信信息系统有限公司 | 一种对于Oracle大数据量存储的优化方法 |
| CN103279582A (zh) * | 2013-06-24 | 2013-09-04 | 浙江宇天科技股份有限公司 | 一种基于Oracle分区的数据存储方法及装置 |
-
2014
- 2014-09-01 CN CN201410440763.8A patent/CN104270340B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1482766A (zh) * | 2002-09-13 | 2004-03-17 | 华为技术有限公司 | 一种自动产生网管报表的方法 |
| CN101022421A (zh) * | 2007-03-29 | 2007-08-22 | 威盛电子股份有限公司 | 数据包处理方法及应用该方法的网络装置 |
| CN102662968A (zh) * | 2012-03-09 | 2012-09-12 | 浪潮通信信息系统有限公司 | 一种对于Oracle大数据量存储的优化方法 |
| CN103279582A (zh) * | 2013-06-24 | 2013-09-04 | 浙江宇天科技股份有限公司 | 一种基于Oracle分区的数据存储方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104270340A (zh) | 2015-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110362632B (zh) | 一种数据同步方法、装置、设备及计算机可读存储介质 | |
| CN108241717B (zh) | 一种数据处理方法、装置及系统 | |
| CN107943841A (zh) | 流式数据处理方法、系统和计算机可读存储介质 | |
| CN106897411A (zh) | 基于Spark技术的ETL系统及其方法 | |
| CN106649422B (zh) | 关键词提取方法及装置 | |
| CN107301214A (zh) | 在hive中数据迁移方法、装置及终端设备 | |
| CN105975502A (zh) | 一种基于cdc方式实现增量抽取数据的方法 | |
| CN107291770B (zh) | 一种分布式系统中海量数据的查询方法及装置 | |
| CN103198108B (zh) | 一种索引数据更新方法、检索服务器及系统 | |
| CN107783985A (zh) | 一种分布式数据库查询方法、装置及管理系统 | |
| US20180189366A1 (en) | Data processing method, device and system of query server | |
| CN110727727A (zh) | 一种数据库的统计方法及装置 | |
| CN106897467A (zh) | 一种大数据分析引擎的数据库适配方法 | |
| CN102915344A (zh) | 一种sql语句处理方法及装置 | |
| CN104008199A (zh) | 一种数据查询方法 | |
| CN103902592A (zh) | 基于MapReduce实现分析函数的方法及系统 | |
| CN105373746B (zh) | 一种分布式数据处理方法和装置 | |
| CN105227386B (zh) | 用于分群体统计在线用户数的方法、装置及系统 | |
| CN105827787A (zh) | 一种号码标记方法及装置 | |
| CN104270340B (zh) | 一种语音信令数据存储方法及快速预警的方法 | |
| WO2019061999A1 (zh) | 断点外呼方法、电子装置及计算机可读存储介质 | |
| CN115033646A (zh) | 一种基于Flink&Doris构建实时数仓系统的方法 | |
| CN106302236A (zh) | 一种数据分流的方法及接入设备 | |
| CN106131134A (zh) | 一种消息内容合并去重方法及系统 | |
| CN104866535A (zh) | 一种号段记录压缩方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20150107 Assignee: Beijing Yuanjian Information Technology Co.,Ltd. Assignor: RUN TECHNOLOGIES Co.,Ltd. BEIJING Contract record no.: X2022990000530 Denomination of invention: A kind of voice signaling data storage method and rapid warning method Granted publication date: 20171027 License type: Common License Record date: 20220819 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for storing voice signaling data and a fast warning method Effective date of registration: 20230807 Granted publication date: 20171027 Pledgee: Bank of China Limited Beijing Xicheng Branch Pledgor: RUN TECHNOLOGIES Co.,Ltd. BEIJING Registration number: Y2023980051158 |