CN106326461A - 一种基于网络信令记录的实时处理保障方法及系统 - Google Patents

Abstract

本发明公开了一种基于网络信令记录的实时处理保障方法及系统，本方案通过对海量网络信令数据进行过滤、小区维度分组、分多种统计维度、多种时间粒度计算用户数指标和各种业务量指标、按小区维度合并、按键key分组、按键key合并、分布式缓存的实时处理后，实现了对多种维度下的用户数指标和各种业务量指标的实时统计分析，从而快速有效的发掘网络信令数据中的价值，快速的发现问题、定位问题。解决了现阶段采用传统方式无法对海量信令数据实时有效的分析的问题。

Description

一种基于网络信令记录的实时处理保障方法及系统

技术领域

本发明涉及大数据处理领域，尤其涉及一种基于网络信令记录的实时处理保障方法及系统。

背景技术

近年，随着通信技术的飞速发展，网络逐渐改变着人类的生产生活方式，人们对网络的依赖程度越来越高。对电信运营商而言，终端产生的信令数据规模也越来越大。数据采集、数据处理、数据存储带来了进一步的挑战。如何快速有效的发现网络信令数据中所蕴含的价值，成为了电信运营商亟待解决的问题。

随着信令数据规模越来越大，传统的数据处理模式暴露出了很多问题：

首先，采用传统的集中存储和集中计算的方式已经无法满足日益增长的海量数据所带来的挑战；

其次，传统数据库读写性能已无法满足大数据的存储和分析要求；

第三，传统的离线分析技术处理时延比较大，无法及时有效的挖掘和利用数据中蕴含的价值，无法及时定位问题、调整资源配置，使数据失去了时效性。

发明内容

本发明的目的在于提供一种基于网络信令记录的实时处理保障方法及系统，解决现有技术无法满足对海量网络信令数据的实时分析处理的问题。

为了实现上述目的，本发明提供了一种基于网络信令记录的实时处理保障方法，包括以下步骤：

采集网络信令数据；

将所述网络信令数据按多种维度进行分组；

将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；

读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；

将所述实时指标按键key进行分组；

读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。

所述多种维度包括全网、地市、小区、网元、设备和热点中的一个或多个。

所述多种时间粒度包括分1分钟、5分钟和1小时的一个或多个。

所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：

根据指标算法，采用分布式流计算系统计算各类实时指标的值；

将计算得到的所述实时指标生成键值对key-value形式的数据；

将键key相同的所述实时指标的值value进行缓冲合并。

所述实时指标包括：用户数指标；所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：

先对用户IMSI号码反转，并对反转的IMSI号码计算哈希值；取哈希值的前8个字节，并用HyperLogLog算法对用户数进行去重统计，得到用户数指标的值。

所述将所述网络信令数据按多种维度进行分组步骤，包括：按小区维度分组。

所述键key为维度标识、维度、时间粒度、时间的组合。

所述读取分布式缓存中与所述计算后的实时指标相匹配的数据进行增量合并步骤，包括：

微批量读取分布式缓存中与所述计算后的实时指标小区维度相同的数据进行增量合并。

所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并，包括：

微批量读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。

所述实时指标还包括业务量指标；所述业务量指标包括流量、http成功率、http时延。

在执行所述将所述网络信令数据按多种维度进行分组步骤前，根据数据类型，过滤所述网络信令数据中的无用字段。

所述采集网络信令数据步骤，包括：

基于消息通知机制，采集网络信令数据。

将所述读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并步骤

和所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并步骤

所得到的数据合并结果，均以异步微批量的方式写入分布式缓存中；外部应用可随时的从分布式缓存中读取所述合并的结果数据，进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。

对应于本发明提供的上述方法，本发明还提供了一种基于网络信令的实时处理保障系统，其特征在于，包括：数据采集模块、第一分组模块、计算模块、第一合并模块、第二分组模块、第二合并模块、分布式缓存模块；

所述数据采集模块，用于采集网络信令数据；

所述第一分组模块，用于将所述过滤后的网络信令数据按多种维度分组；

所述计算模块，用于将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；

所述第一合并模块，用于读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；

所述第二分组模块，用于将所述实时指标按键key进行分组；

所述第二合并模块，用于读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并；

所述分布式缓存模块，用于缓存所述增量合并的数据结果。

通过采用本发明提供的一种基于网络信令记录的实时处理保障方法及系统，

由于本方案在采集网络信令数据时，采用的是消息通知机制，当有数据生成时，则发送通知消息,采集系统收到通知后立即开始采集，避免在采集程序中通过扫描等其它机制时发生数据的时延，从而可降低数据采集过程的时延；

由于内存中的对象经过网络传输时需要先进行序列化,再将对象转换成可传输的二进制数据.根据这一点，本方案根据数据类型过滤网络信令数据中的无效字段，从而减小网络信令中的字段数，网络信令中的字段数减少，则序列化过程中需要序列化的字段数也相应地减少，需要序列化的字段数减少则序列化后的二进制数据也相应地减少；因此，本方案根据数据类型过滤网络信令数据中的无效字段，减小了数据传输中的序列化开销和网络开销；

由于小区维度的数据相较于上层维度的数据,具有在单位时间内随机，分散的特点，不会出现单位时间如1秒内，数据集中在某几个小区的情况，因此数据维度越细,越随机分散数据，越能够保证数据的均匀分布；本方案正是根据这一点，将数据流按小区维度分组，使数据在各模块处理单元上均匀分布，避免了高并发下由于数据单点、热点集中而造成系统瓶颈；

且本方案将数据流按小区维度分组，使同一小区数据的读写操作都在同一模块处理单元内进行,避免出现多个模块处理单元操作同一份数据的情况,从而保证按小区维度分组后对小区数据合并时数据的一致性；

同样地，本方案将数据流按键按key分组，使同一键key数据分到同一处理单元，不会出现相同key的数据被多个模块处理单元操作的情况，从而第二次分组后对数据合并时保证数据一致性。

另外，由于本方案根据指标算法，通过分布式流计算系统，分全网、地市、小区、网元、设备和热点等多种维度和1分钟、5分钟和1小时等多种时间粒度计算去重用户数、业务量指标，并将计算的指标以键值对key-value形式在本地内存中缓冲合并，因此提高了系统吞吐量、降低了网络开销和分布式缓存系统的负荷；

此外还有，本方案采用微批量读取，增量合并，微批量异步写入的方式，将本地缓存的数据同分布式缓存中的数据做合并，其中，微批量操作不同于批量操作，批量操作在提升性能的同时会较大地增大处理时延，而微批量操作在提升性能时,不会造成较大的时延；因此，以上微批量读取，增量合并，微批量异步写入的方式在保证系统吞吐量的同时降低数据处理时延。

附图说明

图1是本发明提供的一种基于网络信令记录的实时处理保障方法的流程图；

图2是本发明实施例提供的一种基于网络信令记录的实时处理保障系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方法做进一步的详细描述。

如图1所示，本发明提供的一种基于网络信令记录的实时处理保障方法的具体过程为：

S101：采集网络信令数据；

基于消息通知机制，通过数据采集服务实时从数据源采集包括GN信令、Iups信令、LTE信令和Volte信令在内的各种网络信令；当有网络信令数据生成时,数据采集服务则根据通知消息立即开始采集数据，并将采集到的这些网络信令数据保存到在分布式文件系统中；以上基于消息通知机制，通过数据采集服务实时采集网络信令数据的过程降低了数据采集的时延。

S102：将所述网络信令数据按多种维度分组；

从分布式文件系统中读取网络信令数据，并基于指标算法设定的可用于计算实时指标的数据类型，过滤所述网络信令数据中的无用字段，保留有用字段，降低后续步骤过程中，数据传输和处理时的序列化开销和网络开销。：

将过滤后的数据按照最细的维度即按小区维度进行分组，使数据均匀地分布,便于后续步骤执行实时指标计算和数据合并的处理，避免高并发下由于数据单点、热点集中而造成系统瓶颈，拖慢处理流程。

S103：将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；

所要计算的实时指标包括：用户数指标和业务量指标；用户数指标为去重用户数；业务量指标包括：流量、http成功率和http时延；其中，每一种实时指标都有相应的指标算法来计算；

根据各指标算法，采用分布式流计算系统，先分全网、地市、小区、设备、热点等多种维度和1分钟、5分钟、小时等多种时间粒度，计算所述的各类实时指标的值；

再将计算得到的各个实时指标生成键值对key-value的数据形式，其中，键key是维度标识+维度+时间粒度+时间的组合，值value实时指标的值；

最后，将键key相同的实时指标值value缓冲合并在本地内存中；

以下是各实时指标的计算过程：

用户数指标值的计算：

计算用户数指标的值，先对用户IMSI号码进行反转，然后对反转的IMSI号码计算哈希值，取哈希值的前8个字节，并用HyperLogLog算法去重统计

生成用户数指标的键值对key-value；

将键key相同的用户数指标的值value值进行合并；

计算业务量指标的值：

流量:对于LTE信令数据和GN信令数据中的每条信令记录,取上行流量和下行流量字段,计算上行流量+下行流量；

http成功率:http成功率为http请求次数与http成功次数的比值；

http时延:http时延为http响应时长与http成功次数的比值；

分别生成流量、http成功率、http时延的键值对key-value；

将键key相同的流量的值value值进行合并；将键key相同的http成功率的值value值进行合并；将键key相同的http时延的值value值进行合并；

S104：读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；

微批量读分布式缓存中的小区维度数据，并同缓存在本地内存中的小区维度的实时指标做增量合并，将合并的结果以异步微批量的方式写入分布式缓存中；其中，所述微批量及后续步骤中的微批量操作都是指批量操作和单独操作的折中操作方式，一般进行批量操作时读取的数据量为100-1000个不等,而微批量为10-100个不等，因此微批量操作的数据量一般为批量操作的数据量的十分之一左右；采用这种微批量操作的方式在于在提升性能时,不会造成较大的时延。

S105：将所述实时指标按键key进行分组；

将本地缓存中经实时指标计算后生成的键值对key-value形式的实时指标按照键key做分组。

S106：读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并；

微批量读取分布式缓存中与本地内存中实时指标key相同的数据做增量合并，并将合并的结果以异步微批量的方式写入分布式缓存中。

通过以上步骤的具体实施，将网络信令数据进行处理得到的实时指标写入分布式缓存中，供外部应用随时从分布式缓存中读取实时指标，进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。

如图2所示，相应于以上方法实施例，本发明提供的一种基于网络信令的实时处理保障系统实施例如下：

本系统包括数据采集模块、第一分组模块、计算模块、第一合并模块、第二分组模块、第二合并模块、分布式缓存模块；

数据采集模块，用于采集网络信令数据；

采用ETL数据采集服务，实时采集包括GN信令、Iups信令、LTE信令和Volte信令在内的各种网络信令数据，保存到在HDFS分布式文件系统中，并发送通知消息，通知第一分组模块进行处理数据；

第一分组模块，用于将所述过滤后的网络信令数据按多种维度分组；

读取通知消息，按通知消息读取HDFS分布式文件系统中的网络信令数据，根据各类实时指标的算法中设定的数据类型，过滤所述网络信令数据中的无用字段，仅保留有用字段，然后按小区维度进行分组，并将分组后的数据发送至计算模块；

计算模块，用于将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；

接收按小区维度分组后的网络信令数据，根据流量、http成功率、http时延等各类实时指标的计算方法，通过分布式流计算系统，分全网、地市、小区、设备、热点等多种维度和1分钟、5分钟、小时等多种时间粒度，计算所述的相应的各类实时指标的值，并将计算得到的各类实时指标以键值对key-value的形式在本地内存中缓冲合并；

第一合并模块，用于用于读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；

微批量读分布式缓存中的小区维度数据，并同本地内存中的小区维度的实时指标做增量合并，将合并的结果以异步微批量的方式写入分布式缓存中；

第二分组模块，用于将所述实时指标按键key进行分组；；

将本地缓存中经实时指标计算后生成的键值对key-value形式的实时指标按照键key做分组，并将分组后的数据发送至第二合并模块；

第二合并模块，用于读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并；

微批量读取分布式缓存中与本地内存中实时指标key相同的数据做增量合并，将合并的结果以异步微批量的方式写入分布式缓存中。

分布式缓存模块，用于缓存所述增量合并的数据结果；

采用Redis分布式缓存服务，将来自第一合并模块和第二合并模块的数据进行分布式缓存，并供外部应用随时读取，进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。

通过上述技术方案，可实现对海量网络信令数据的实时处理实时分析。目前该技术方案可实现平均每分钟1亿条信令数据的实时处理，每分钟4亿次缓存交互操作，数据处理时延控制在秒级。目前实时数据已实现全市维度、小区维度、热点维度、业务维度和设备维度等的实时性能预警、实时区域保障、实时人流分析等。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于网络信令记录的实时处理保障方法，其特征在于，包括以下步骤：

采集网络信令数据；

将所述网络信令数据按多种维度进行分组；

将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；

读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；

将所述实时指标按键key进行分组；

读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。

2.根据权利要求1所述的方法，其特征在于，所述多种维度包括全网、地市、小区、网元、设备和热点中的一个或多个。

3.根据权利要求2所述的方法，其特征在于，所述多种时间粒度包括分1分钟、5分钟和1小时的一个或多个。

4.根据权利要求3所述的方法，其特征在于，所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：

根据指标算法，采用分布式流计算系统计算各类实时指标的值；

将计算得到的所述实时指标生成键值对key-value形式的数据；

将键key相同的所述实时指标的值value进行缓冲合并。

5.根据权利要求4所述的方法，其特征在于，所述实时指标包括用户数指标；所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：

先对用户IMSI号码反转，并对反转的IMSI号码计算哈希值；取哈希值的前8个字节，并用HyperLogLog算法对用户数进行去重统计，得到用户数指标的值。

6.根据权利要求1、3、4或5任一权利要求所述的方法，其特征在于，所述将所述网络信令数据按多种维度进行分组步骤，包括：按小区维度分组。

7.根据权利要求1所述的方法，其特征在于，所述键key为维度标识、维度、时间粒度、时间的组合。

8.根据权利要求6所述的方法，其特征在于，所述读取分布式缓存中与所述计算后的实时指标相匹配的数据进行增量合并步骤，包括：

微批量读取分布式缓存中与所述计算后的实时指标小区维度相同的数据进行增量合并。

9.根据权利要求1或7任一权利要求所述的方法，其特征在于，所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并，包括：

微批量读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。

10.根据权利要求5所述的方法，其特征在于，所述实时指标还包括业务量指标；所述业务量指标包括流量、http成功率、http时延。

11.根据权利要求1所述的方法，其特征在于，在执行所述将所述网络信令数据按多种维度进行分组步骤前，根据数据类型，过滤所述网络信令数据中的无用字段。

12.根据权利要求1所述的方法，其特征在于，所述采集网络信令数据步骤，包括：

基于消息通知机制，采集网络信令数据。

13.根据权利要求1、3至5、7至8、10至12任一权利要求所述的方法，其特征在于，

将所述读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并步骤

和所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并步骤

所得到的数据合并结果，均以异步微批量的方式写入分布式缓存中；外部应用可随时的从分布式缓存中读取所述合并的结果数据，进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。

14.一种基于网络信令的实时处理保障系统，其特征在于，包括：数据采集模块、第一分组模块、计算模块、第一合并模块、第二分组模块、第二合并模块、分布式缓存模块；

所述数据采集模块，用于采集网络信令数据；

所述第一分组模块，用于将所述网络信令数据按多种维度分组；

所述计算模块，用于将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；

所述第一合并模块，用于读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；

所述第二分组模块，用于将所述实时指标按键key进行分组；

所述第二合并模块，用于读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并；

所述分布式缓存模块，用于缓存所述增量合并的数据结果。