CN112134846B - 一种通信网络信令数据分析方法、系统、装置及介质 - Google Patents
一种通信网络信令数据分析方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN112134846B CN112134846B CN202010849120.4A CN202010849120A CN112134846B CN 112134846 B CN112134846 B CN 112134846B CN 202010849120 A CN202010849120 A CN 202010849120A CN 112134846 B CN112134846 B CN 112134846B
- Authority
- CN
- China
- Prior art keywords
- data
- xdr
- signaling
- kpi
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种通信网络信令数据分析方法、系统、装置及介质,方法包括:获取原始信令码流;对所述原始信令码流进行解码处理,得到解码处理后的信令消息;对所述信令消息进行XDR合成处理,得到XDR数据;对所述XDR数据进行实时计算,得到第一KPI统计数据;对所述XDR数据进行离线计算,得到第二KPI统计数据;获取所述XDR数据、第一KPI统计数据和第二KPI统计数据,进行应用服务。本发明减少了信令分析过程的处理环节,能够提高性能效率。
Description
技术领域
本发明涉及移动互联网技术领域,尤其是一种通信网络信令数据分析方法、系统、装置及介质。
背景技术
随着移动通信网络的不断发展,信令监测系统也得到全面的应用和发展,为运营商的网络维护提供了强有力的工具,为提高网络业务质量、提高移动用户的客户感知质量、以及市场营销支撑等方面发挥了巨大作用。
目前信令监测系统发展有两个趋势:一是平台化建设,基础应用需求种类多。因为信令监测系统涉及环节多,项目投资巨大,而且数据保密性要求高,所以目前一般采用平台化建设,同时通过固化基本需求的形式以支撑更多的应用场景,其中有实时性需求、也有非实时性的模型离线计算需求,有KPI(关键指标)统计级别需求、也有XDR(基于所采集的信令而生成的信令过程的详细记录)详单查询需求。二是数据规模快速增长,从2/3G到4G再到5G时代,信令监测系统需要处理的数据规模基本上呈指数式增长,这就要求系统的建设方案更加高效,以降低建设和运维成本。目前常见的信令数据处理办法普遍比较单一,有些只是解析成文件后再在数据库里进行查询,无法满足实时需求;有些针对数据进行实时需求处理,但又无法满足XDR详单回溯、专题模型离线计算等基本需求,不满足平台化建设要求。而且目前信令系统普遍存在处理环节过多、性能效率不高的问题。
发明内容
有鉴于此,本发明实施例提供一种效率高且实时性高的,通信网络信令数据分析方法、系统、装置及介质。
本发明的第一方面提供了一种通信网络信令数据分析方法,包括:
获取原始信令码流;
对所述原始信令码流进行解码处理,得到解码处理后的信令消息,所述解码处理包括以下至少之一:协议解析、关键字段提取和信令流程关联;
对所述信令消息进行XDR合成处理,得到XDR数据,所述XDR合成处理包括以下至少之一:XDR字段提取赋值、关联回填和业务识别;
对所述XDR数据进行实时计算,得到第一KPI统计数据;
对所述XDR数据进行离线计算,得到第二KPI统计数据;
获取所述XDR数据、第一KPI统计数据和第二KPI统计数据,进行应用服务。
在一些实施例中,所述获取原始信令码流,包括:
通过对通信网元之间接口链路进行分光采集,分光后经流量均衡器采集汇聚处理后输出原始信令码流;
和/或,
通过解析服务器对接入原始信令码流的网口进行抓包采集和分流处理,得到原始信令码流。
在一些实施例中,所述对所述原始信令码流进行解码处理,包括:
基于开源Wireshark确定解码引擎,并根据所述解码引擎以及技术规范标准对所述原始信令码流进行协议解析;
和/或,
基于开源Wireshark确定解码引擎,并根据所述解码引擎对所述原始信令码流中的关键字段信息进行提取,生成消息级记录;
根据所述消息级记录,关联得到完整信令流程消息记录,所述完整信令流程消息记录属于一个用户的一次业务,所述完整信令流程消息记录配有唯一标识。
在一些实施例中,所述对所述信令消息进行XDR合成处理,得到XDR数据,包括:
对所述信令消息中的同一个信令流程进行字段取值;
对所述信令消息中相互关联的消息进行第一回填;
采用深度包检测技术,对所述信令消息中的业务识别结果进行第二回填;
根据所述字段取值结果、所述第一回填结果以及所述第二回填结果,生成XDR数据。
在一些实施例中,所述对所述XDR数据进行实时计算,得到第一KPI统计数据,包括:
根据C++构建KPI实时统计引擎;
通过可拓展标记语言进行模型配置,其中,每个所述模型包括数据存储模块和数据运算模块;
根据所述模型和所述KPI实时统计引擎,对输入的XDR数据进行实时计算,输出不同维度的KPI统计级别数据。
在一些实施例中,所述方法还包括:
采用Hadoop架构,使用HDFS中的Hive和Impala进行XDR数据的存储;
采用分布式数据库Greenplum对第一KPI统计数据进行存储。
在一些实施例中,所述对所述XDR数据进行离线计算,得到第二KPI统计数据,包括:
基于Hive分布式数据库,通过Hive-SQL将所述XDR数据转化为MapReduce任务后进行并行计算,得到不同专题的报表数据和专题数据。
本发明的第二方面提供了一种通信网络信令数据分析系统,包括:
第一获取模块,用于获取原始信令码流;
解码关联模块,用于对所述原始信令码流进行解码处理,得到解码处理后的信令消息,所述解码处理包括以下至少之一:协议解析、关键字段提取和信令流程关联;
XDR合成模块,用于对所述信令消息进行XDR合成处理,得到XDR数据,所述XDR合成处理包括以下至少之一:XDR字段提取赋值、关联回填和业务识别;
KPI实时统计模块,用于对所述XDR数据进行实时计算,得到第一KPI统计数据;
KPI离线计算模块,用于对所述XDR数据进行离线计算,得到第二KPI统计数据;
应用服务模块,用于获取所述XDR数据、第一KPI统计数据和第二KPI统计数据,进行应用服务。
本发明的第三方面提供了一种装置,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如第一方面所述的方法。
本发明的第四方面提供了一种存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如本发明第一方面所述的方法。
本发明的实施例首先对原始信令码流进行解码处理,然后进行XDR合成处理,本发明能够对XDR数据进行实时计算和离线计算,最后根据分析得到的XDR数据、第一KPI统计数据和第二KPI统计数据进行应用服务。本发明减少了信令分析过程的处理环节,能够提高性能效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的整体步骤流程图;
图2为本发明实施例的解码关联过程的示意图;
图3为本发明实施例的KPI实时统计过程的示意图;
图4为本发明实施例的离线计算过程的示意图;
图5为本发明实施例的系统处理原理图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
针对现有技术存在的问题,本发明实施例提供了一种针对通信网络信令数据采集及分析的实现方法,通过优化各处理环节实现高效处理,满足信令系统平台化建设的实时/非实时分析的基本功能需求,如图5所示,图5是系统处理原理图,本实施例的系统可以细分为采集分流、解码关联、XDR合成、KPI实时统计、XDR数据存储、KPI数据存储、离线模型计算、应用系统等几个主要模块或组成部分。模块之间的业务松耦合,从而保证系统的可扩展性与可维护性,同时尽量减少处理环节,减少故障点和处理时延,实现简单、高效的目标。
具体参见图1,本发明实施例提供了一种通信网络信令数据分析方法,包括:
S1、获取原始信令码流;
具体地,步骤S1包括:
S11、通过对通信网元之间接口链路进行分光采集,分光后经流量均衡器采集汇聚处理后输出原始信令码流;
和/或,
S12、通过解析服务器对接入原始信令码流的网口进行抓包采集和分流处理,得到原始信令码流。
具体地,在步骤S11中,通过对通信网元之间接口链路进行分光采集,分光后经流量均衡器采集汇聚处理后输出原始码流到解析服务器进行后续处理。
在步骤S12中,解析服务器通过采集程序实现对接入原始码流的网口进行抓包采集、分流等处理,便于后续解码关联模块进行并行处理。本实现方案通过基于DPDK(DataPlane Development Kit,数据平面开发套件)技术开发出高性能数据采集及分流处理引擎,可以支持多路10G网口的数据高速采集及分流处理,具体分流策略根据不同接口而异,可以采用按网元分流、按会话分流、按五元组分流等。
S2、对所述原始信令码流进行解码处理,得到解码处理后的信令消息,所述解码处理包括以下至少之一:协议解析、关键字段提取和信令流程关联;
其中,本实施例的步骤S2包括:
S21、基于开源Wireshark确定解码引擎,并根据所述解码引擎以及技术规范标准对所述原始信令码流进行协议解析;
和/或,
S22、基于开源Wireshark确定解码引擎,并根据所述解码引擎对所述原始信令码流中的关键字段信息进行提取,生成消息级记录;
S23、根据所述消息级记录,关联得到完整信令流程消息记录,所述完整信令流程消息记录属于一个用户的一次业务,所述完整信令流程消息记录配有唯一标识。
具体地,解码关联主要负责对接收到的各接口信令原始码流进行协议解析、关键字段提取、信令流程关联等处理,输出完成流程关联后的消息级记录。解码关联包括两部分内容:
1)信令解码:对接收到的各接口信令原始码流参考3GPP、RFC等技术规范标准进行协议解析,并完成对关键字段信息的提取,生成消息级记录。由于通信网络信令涉及的接口、协议非常多,如果采用传统直接全部重写代码进行逐层逐比特解码的话,则信令解码开发工作量非常庞大,本方案采用基于开源Wireshark的解码引擎完成解码和字段提取功能,可以大大缩减开发工作量,同时大幅提升字段提取准确性,更有利于对解码平台的接口或解码字段的快速扩容。
其中,Wireshark是一款多平台的开源的数据包捕获和网络协议分析软件,它拥有强大的协议解码引擎,支持几百种常见的网络协议,覆盖了通信网络主要接口的协议。本方案通过改造Wireshark源码实现解码引擎的实现。
如图2所示,本实施例的解码关联过程可以细分为几个子模块。其中,解码子模块用于对输入的实时原始码流进行解码;关联子模块用于将解码后的消息进行关联,得到关联后的消息。核心解码引擎是解码子模块的重要组成部分,解码引擎实现了对Wireshark开源解码部分代码进行改造后的封装,所有需要使用核心解码库功能的接口均由其核心解码引擎提供。
需要说明的是,本实施例的流程关联具体是指:各接口信令原始码流通过解码提取到关键字段信息后生成消息记录,还需要通过特定的关键字把同属于一个用户的一次业务涉及的完整信令流程消息记录关联起来,并分配唯一的会话ID标识区分。比如:在S1-MME接口(基站ENB到移动性管理实体MME之间的接口)的S1AP(S1应用协议)会话重组中,消息匹配通过SIP,DIP,ENB_UE_ID,MME_UE_ID组合关键字来作为唯一连接标识,实现信令流程关联。
需要说明的是信令解码和流程关联都是按照特定的规范标准或者算法实现,需求内容比较固定,考虑合并为单个模块实现。
S3、对所述信令消息进行XDR合成处理,得到XDR数据,所述XDR合成处理包括以下至少之一:XDR字段提取赋值、关联回填和业务识别;
其中,步骤S3包括:
S31、对所述信令消息中的同一个信令流程进行字段取值;
S32、对所述信令消息中相互关联的消息进行第一回填;
S33、采用深度包检测技术,对所述信令消息中的业务识别结果进行第二回填;
S34、根据所述字段取值结果、所述第一回填结果以及所述第二回填结果,生成XDR数据。
具体地,本实施例的XDR合成模块负责对解码关联后的信令消息进行XDR字段提取赋值、关联回填、业务识别等处理,并最终输出各接口的完整XDR记录数据。
主要包括以下步骤:1)、通过消息字段实现XDR字段赋值:根据XDR各字段的取值算法,从同一个信令流程的消息(即会话ID相同的消息)中进行字段取值实现,比如XDR的开始时间字段,提取赋值算法应该是从会话ID相同的消息中,选取出现时间最早的开始消息中的时间字段来完成对XDR开始时间字段的赋值。
2)、关联回填:系统通过多接口、多层面关联算法叠加,实现关联回填(即第一回填)的高成功率和高准确性。具体关联回填场景覆盖包括同接口的信令面和用户面信息的关联回填、全局的用户身份标识MSISDN-IMSI-IMEI学习回填、通过静态翻译表辅助翻译回填、上网公网IP关联回填等。
3)、业务识别:还有部分XDR字段需要通过DPI(Deep Packet Inspection,深度包检测)业务识别进行回填(即第二回填)。通过DPI技术,对网络中的DPI业务进行精确识别,便于输出精确的业务分类的基础数据。
本实施例通过全方位的关联算法和处理逻辑实现完整XDR记录的合成,将为上层系统提供更丰富、更全面的基础数据,以更好支撑对网络问题的深度分析及准确定位。XDR合成功能对比解码关联,实现逻辑跟业务应用关联较大,需求内容不够固定,考虑跟解码关联模块分开,通过单独模块实现。
另外,针对XDR数据存储,考虑XDR数据量巨大,存储更多需要考虑磁盘空间、加载性能好、易扩展等需求,本实现方案采用成熟的Hadoop架构,并根据数据的使用特点使用基于HDFS(Hadoop分布式文件系统)数据底层存储的Hive和Impala,其中Hive应用在长时间的批处理查询分析场景,而Impala应用在实时交互式SQL查询,系统先使用Hive进行数据转换处理,之后使用Impala在Hive处理后的结果数据集上进行快速的数据分析。
S4、对所述XDR数据进行实时计算,得到第一KPI统计数据;
本发明实施例的步骤S4包括:
S41、根据C++构建KPI实时统计引擎;
S42、通过可拓展标记语言进行模型配置,其中,每个所述模型包括数据存储模块和数据运算模块;
S43、根据所述模型和所述KPI实时统计引擎,对输入的XDR数据进行实时计算,输出不同维度的KPI统计级别数据。
具体地,本实施例的KPI实时统计是信令数据实时分析的关键环节,输入实时合成后的XDR数据,经过实时计算引擎输出不同维度的KPI统计级别数据,供上层应用系统使用。
对比目前一般系统采用Storm或者Spark等大型复杂的内存计算并行计算框架,本实现方案主要从性能角度考虑,采用了基于底层语言C++实现KPI实时统计引擎,该处理引擎是基于内存的实时流处理架构,实时性强、简单高效,支持超低时延输出KPI预统计数据。在整体性能、处理时延、实现灵活性等方面要比Storm或者Spark方案更显优势。
如图3所示,本发明实施例的实时KPI处理引擎提供了足够的灵活性,支持KPI统计时间粒度可配置、支持KPI统计维度、指标可配置,按需灵活输出各接口各维度组合的特定KPI指标数据。对应的使用关键技术如下:
1)实时KPI处理引擎使用工厂模式实现维度算法类库和指标算法类库的管理,使用工厂模式的优点在于一个调用者想创建或获取一个维度或指标对象,只要知道其名称就可以在工厂创建或获取具体的对象;扩展性强,如果想增加一个具体的维度或指标对象,只要扩展工厂类就可以,能快速响应维度或指标的添加需求。
2)使用XML(可扩展标记语言)配置模型的方法,并且为每个模型设计独立的数据储存及运算模块,每个模型的数据储存及运算模块独立加载模型属性和维度指标工厂,仅通过字段名与维度指标工厂建立映射关联。从而实现维度或指标字段的算法类只需要一次编写开发便可随处调用,修改XML配置就可以把它们应用到不同的模型中。对模型已有字段的增减、字段重命名、字段数据类型修改、分表策略修改、统计粒度的修改都不需要修改任何程序代码,快速响应项目对模型结构、分表策略、统计粒度的变更需求。
另外,本实施例针对KPI统计数据存储,由于KPI数据量相对较少,需要重点考虑查询响应快速的需求,本实现方案采用成熟的大型分布式数据库Greenplum方案,满足了对数据灵活复杂查询需求,可以快速响应针对KPI统计数据查询的应用场景。
S5、对所述XDR数据进行离线计算,得到第二KPI统计数据;
具体地,本实施例基于Hive分布式数据库,通过Hive-SQL将所述XDR数据转化为MapReduce任务后进行并行计算,得到不同专题的报表数据和专题数据。
在实际的信令应用系统中,往往需要生成一些复杂算法模型的专题报表数据,而这些复杂算法模型的实现无法或者不适合通过实时框架完成,这需要使用到离线模型计算。
如图4所示,本实施例基于存储的海量业务数据XDR数据,通过设计各种准确、有效的运算模型,考虑通过利用Hive分布式数据库的计算能力,通过Hive-SQL转化为MapReduce任务进行模型的并行计算,产生不同专题的报表数据和专题数据,并输出到关系数据仓库Greenplum,以支撑一些复杂的专题应用。一些常见需要运算的专题可以包括:CSFB专题分析、速率专题分析、时延专题分析、流量提升专题分析、模拟路测专题分析等等。专题运算由于涉及海量的业务数据,同时算法逻辑普遍较为复杂,需要的运行量很大,无法或者不适合通过实时流处理方式实现,从而选择通过离线模型计算方式实现。
S6、获取所述XDR数据、第一KPI统计数据和第二KPI统计数据,进行应用服务。
具体地,本实施例通过应用系统访问XDR数据库、KPI统计数据库等非实时方式以及实时通道方式接收业务数据,通过Web对外提供应用功能服务。常见应用功能模块主要包括:质量分析、关联定界、业务分析、终端分析、监控保障、用户追踪、XDR回溯、专题应用等应用功能模块,全面分析及解决各种网络及业务问题及故障,支撑端到端的优化以及大数据方面的各种应用场景。
本发明实施例还提供了一种通信网络信令数据分析系统,包括:
第一获取模块,用于获取原始信令码流;
解码关联模块,用于对所述原始信令码流进行解码处理,得到解码处理后的信令消息,所述解码处理包括以下至少之一:协议解析、关键字段提取和信令流程关联;
XDR合成模块,用于对所述信令消息进行XDR合成处理,得到XDR数据,所述XDR合成处理包括以下至少之一:XDR字段提取赋值、关联回填和业务识别;
KPI实时统计模块,用于对所述XDR数据进行实时计算,得到第一KPI统计数据;
KPI离线计算模块,用于对所述XDR数据进行离线计算,得到第二KPI统计数据;
应用服务模块,用于获取所述XDR数据、第一KPI统计数据和第二KPI统计数据,进行应用服务。
本发明实施例还提供了一种装置,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如图1所述的方法。
本发明实施例还提供了一种存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如图1所述的方法。
综上所述,本发明相较于现有技术存在以下区别及优点:
1、通过基于开源项目Wireshark源码实现信令解码,对比传统通过编写代码逐比特解码的实现方式,大大提升解码开发效率和字段提取准确性。
2、通过基于高效C++实现的内存实时流处理KPI触发引擎,相比基于Kafka+Storm的实时分析方案更加简单、高效,并减少处理环节,减少故障点和处理时延。
3、对系统涉及的XDR详单数据、KPI报表数据,结合其数据规模及使用特点和各种数据库方案的优缺点,针对性选用Hadoop Hive+Impala+Greenplum的组合数据存储方案,实现各数据库方案的优缺点互补,支持模型专题模型离线计算,也提供了XDR详单快速回溯等基础功能,全方位支撑系统的数据存储和分析应用。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种通信网络信令数据分析方法,其特征在于,包括:
获取原始信令码流;
对所述原始信令码流进行解码处理,得到解码处理后的信令消息,所述解码处理包括以下至少之一:协议解析、关键字段提取和信令流程关联;
对所述信令消息进行XDR合成处理,得到XDR数据,所述XDR合成处理包括以下至少之一:XDR字段提取赋值、关联回填和业务识别;
对所述XDR数据进行实时计算,得到第一KPI统计数据;
对所述XDR数据进行离线计算,得到第二KPI统计数据;
获取所述XDR数据、第一KPI统计数据和第二KPI统计数据,进行应用服务;
所述对所述信令消息进行XDR合成处理,得到XDR数据,包括:
根据XDR各字段的取值算法,对所述信令消息中的同一个信令流程进行字段取值;其中,所述字段取值包括从同一个信令流程的消息中,选取出现时间最早的开始消息中的时间字段,对XDR开始时间字段进行字段取值;
对所述信令消息中相互关联的消息进行第一回填;
其中,所述第一回填场景覆盖包括:同接口的信令面和用户面信息的关联回填、全局的用户身份标识MSISDN-IMSI-IMEI学习回填和通过静态翻译表辅助翻译回填;
采用深度包检测技术,对网络中的深度包检测业务进行精确识别,对所述信令消息中的业务识别结果进行第二回填;
根据所述字段取值结果、所述第一回填结果以及所述第二回填结果,生成XDR数据。
2.根据权利要求1所述的一种通信网络信令数据分析方法,其特征在于,所述获取原始信令码流,包括:
通过对通信网元之间接口链路进行分光采集,分光后经流量均衡器采集汇聚处理后输出原始信令码流;
和/或,
通过解析服务器对接入原始信令码流的网口进行抓包采集和分流处理,得到原始信令码流。
3.根据权利要求1所述的一种通信网络信令数据分析方法,其特征在于,所述对所述原始信令码流进行解码处理,包括:
基于开源Wireshark确定解码引擎,并根据所述解码引擎以及技术规范标准对所述原始信令码流进行协议解析;
和/或,
基于开源Wireshark确定解码引擎,并根据所述解码引擎对所述原始信令码流中的关键字段信息进行提取,生成消息级记录;
根据所述消息级记录,关联得到完整信令流程消息记录,所述完整信令流程消息记录属于一个用户的一次业务,所述完整信令流程消息记录配有唯一标识。
4.根据权利要求1所述的一种通信网络信令数据分析方法,其特征在于,所述对所述XDR数据进行实时计算,得到第一KPI统计数据,包括:
根据C++构建KPI实时统计引擎;
通过可拓展标记语言进行模型配置,其中,每个所述模型包括数据存储模块和数据运算模块;
根据所述模型和所述KPI实时统计引擎,对输入的XDR数据进行实时计算,输出不同维度的KPI统计级别数据。
5.根据权利要求1所述的一种通信网络信令数据分析方法,其特征在于,所述方法还包括:
采用Hadoop架构,使用HDFS中的Hive和Impala进行XDR数据的存储;
采用分布式数据库Greenplum对第一KPI统计数据进行存储。
6.根据权利要求1所述的一种通信网络信令数据分析方法,其特征在于,所述对所述XDR数据进行离线计算,得到第二KPI统计数据,包括:
基于Hive分布式数据库,通过Hive-SQL将所述XDR数据转化为MapReduce任务后进行并行计算,得到不同专题的报表数据和专题数据。
7.一种通信网络信令数据分析系统,其特征在于,包括:
第一获取模块,用于获取原始信令码流;
解码关联模块,用于对所述原始信令码流进行解码处理,得到解码处理后的信令消息,所述解码处理包括以下至少之一:协议解析、关键字段提取和信令流程关联;
XDR合成模块,用于对所述信令消息进行XDR合成处理,得到XDR数据,所述XDR合成处理包括以下至少之一:XDR字段提取赋值、关联回填和业务识别;
KPI实时统计模块,用于对所述XDR数据进行实时计算,得到第一KPI统计数据;
KPI离线计算模块,用于对所述XDR数据进行离线计算,得到第二KPI统计数据;
应用服务模块,用于获取所述XDR数据、第一KPI统计数据和第二KPI统计数据,进行应用服务;
所述对所述信令消息进行XDR合成处理,得到XDR数据包括:
根据XDR各字段的取值算法,对所述信令消息中的同一个信令流程进行字段取值;其中,所述字段取值包括从同一个信令流程的消息中,选取出现时间最早的开始消息中的时间字段,对XDR开始时间字段进行字段取值;
对所述信令消息中相互关联的消息进行第一回填;
其中,所述第一回填场景覆盖包括:同接口的信令面和用户面信息的关联回填、全局的用户身份标识MSISDN-IMSI-IMEI学习回填和通过静态翻译表辅助翻译回填;
采用深度包检测技术,对网络中的深度包检测业务进行精确识别,对所述信令消息中的业务识别结果进行第二回填;
根据所述字段取值结果、所述第一回填结果以及所述第二回填结果,生成XDR数据。
8.一种装置,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1-6中任一项所述的方法。
9.一种存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010849120.4A CN112134846B (zh) | 2020-08-21 | 2020-08-21 | 一种通信网络信令数据分析方法、系统、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010849120.4A CN112134846B (zh) | 2020-08-21 | 2020-08-21 | 一种通信网络信令数据分析方法、系统、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112134846A CN112134846A (zh) | 2020-12-25 |
CN112134846B true CN112134846B (zh) | 2023-04-18 |
Family
ID=73851099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010849120.4A Active CN112134846B (zh) | 2020-08-21 | 2020-08-21 | 一种通信网络信令数据分析方法、系统、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112134846B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112822649B (zh) * | 2020-12-31 | 2021-09-21 | 北京赛思信安技术股份有限公司 | 一种基于非完整信令数据的用户身份信息关联实现方法 |
CN113179229A (zh) * | 2021-03-10 | 2021-07-27 | 长沙星融元数据技术有限公司 | 一种验证方法、装置、存储介质及电子设备 |
CN114363198B (zh) * | 2022-01-14 | 2023-07-21 | 深圳市优网科技有限公司 | 数据采集方法及装置、存储介质及电子设备 |
CN115087025A (zh) * | 2022-07-21 | 2022-09-20 | 中国联合网络通信集团有限公司 | 专网数据采集方法、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015165419A1 (zh) * | 2014-04-30 | 2015-11-05 | 中兴通讯股份有限公司 | 业务信令跟踪的方法、装置及计算机存储介质 |
CN106912066A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团江苏有限公司 | 一种关键绩效指标的计算方法及装置 |
CN106998538A (zh) * | 2016-01-22 | 2017-08-01 | 上海大唐移动通信设备有限公司 | 一种信令采集分析系统和信令数据更新方法 |
CN107040908A (zh) * | 2016-02-03 | 2017-08-11 | 上海大唐移动通信设备有限公司 | 一种实现合成信令xdr的方法及装置 |
CN107070890A (zh) * | 2017-03-10 | 2017-08-18 | 北京市天元网络技术股份有限公司 | 一种通信网优系统中的流数据处理装置及通信网优系统 |
CN108430067A (zh) * | 2017-02-13 | 2018-08-21 | 中国移动通信集团广东有限公司 | 一种基于xdr的互联网业务质量分析方法及系统 |
CN108683527A (zh) * | 2018-04-25 | 2018-10-19 | 武汉虹信技术服务有限责任公司 | 一种基于mr和xdr的用户感知深度检测方法 |
-
2020
- 2020-08-21 CN CN202010849120.4A patent/CN112134846B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015165419A1 (zh) * | 2014-04-30 | 2015-11-05 | 中兴通讯股份有限公司 | 业务信令跟踪的方法、装置及计算机存储介质 |
CN106912066A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团江苏有限公司 | 一种关键绩效指标的计算方法及装置 |
CN106998538A (zh) * | 2016-01-22 | 2017-08-01 | 上海大唐移动通信设备有限公司 | 一种信令采集分析系统和信令数据更新方法 |
CN107040908A (zh) * | 2016-02-03 | 2017-08-11 | 上海大唐移动通信设备有限公司 | 一种实现合成信令xdr的方法及装置 |
CN108430067A (zh) * | 2017-02-13 | 2018-08-21 | 中国移动通信集团广东有限公司 | 一种基于xdr的互联网业务质量分析方法及系统 |
CN107070890A (zh) * | 2017-03-10 | 2017-08-18 | 北京市天元网络技术股份有限公司 | 一种通信网优系统中的流数据处理装置及通信网优系统 |
CN108683527A (zh) * | 2018-04-25 | 2018-10-19 | 武汉虹信技术服务有限责任公司 | 一种基于mr和xdr的用户感知深度检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112134846A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112134846B (zh) | 一种通信网络信令数据分析方法、系统、装置及介质 | |
US11487772B2 (en) | Multi-party data joint query method, device, server and storage medium | |
CN111131379B (zh) | 一种分布式流量采集系统和边缘计算方法 | |
US9717011B2 (en) | Event management in telecommunications networks | |
CN106982150B (zh) | 一种基于Hadoop的移动互联网用户行为分析方法 | |
CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
CN101540896A (zh) | 一种视频业务质量测试方法、装置及系统 | |
CN102768845B (zh) | 录像索引方法及系统 | |
CN110474786B (zh) | 基于随机森林分析VoLTE网络故障原因的方法及装置 | |
CN107291770B (zh) | 一种分布式系统中海量数据的查询方法及装置 | |
CN111182577B (zh) | 一种适用于5g路测仪的cdr合成监测系统及方法 | |
CN115033646A (zh) | 一种基于Flink&Doris构建实时数仓系统的方法 | |
CN114820080A (zh) | 基于人群流转的用户分群方法、系统、装置及介质 | |
CN105719072B (zh) | 关联多段组件交易的系统及方法 | |
CN112506887B (zh) | 车辆终端can总线数据处理方法及装置 | |
CN113364703A (zh) | 网络应用流量的处理方法、装置、电子设备和可读介质 | |
CN113037551B (zh) | 一种基于流量切片的涉敏业务快速识别定位方法 | |
CN116186053A (zh) | 一种数据处理方法、装置及存储介质 | |
CN109802990A (zh) | 一种减少数据冗余的资源日志读写方法和装置 | |
CN115695216A (zh) | 一种互联网流量流向的大数据分析的方法 | |
CN115242760A (zh) | 一种基于WebRTC的SFU系统及方法 | |
CN113723800A (zh) | 风险识别模型训练方法及装置、风险识别方法及装置 | |
CN110868732B (zh) | VoLTE接通无线失败的问题定位方法、系统和设备 | |
US12015737B2 (en) | Methods, systems and apparatus for generating and/or using communications training data | |
Rychl et al. | Big data security analysis with tarzan platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |