CN106326461A - 一种基于网络信令记录的实时处理保障方法及系统 - Google Patents

一种基于网络信令记录的实时处理保障方法及系统 Download PDF

Info

Publication number
CN106326461A
CN106326461A CN201610764635.8A CN201610764635A CN106326461A CN 106326461 A CN106326461 A CN 106326461A CN 201610764635 A CN201610764635 A CN 201610764635A CN 106326461 A CN106326461 A CN 106326461A
Authority
CN
China
Prior art keywords
real
data
time
key
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610764635.8A
Other languages
English (en)
Other versions
CN106326461B (zh
Inventor
娄瑶佳
蔡蓉
杨燕翊
虞驰
卞臻
毛广
段建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd filed Critical HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201610764635.8A priority Critical patent/CN106326461B/zh
Publication of CN106326461A publication Critical patent/CN106326461A/zh
Application granted granted Critical
Publication of CN106326461B publication Critical patent/CN106326461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • G06F16/244Grouping and aggregation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于网络信令记录的实时处理保障方法及系统,本方案通过对海量网络信令数据进行过滤、小区维度分组、分多种统计维度、多种时间粒度计算用户数指标和各种业务量指标、按小区维度合并、按键key分组、按键key合并、分布式缓存的实时处理后,实现了对多种维度下的用户数指标和各种业务量指标的实时统计分析,从而快速有效的发掘网络信令数据中的价值,快速的发现问题、定位问题。解决了现阶段采用传统方式无法对海量信令数据实时有效的分析的问题。

Description

一种基于网络信令记录的实时处理保障方法及系统
技术领域
本发明涉及大数据处理领域,尤其涉及一种基于网络信令记录的实时处理保障方法及系统。
背景技术
近年,随着通信技术的飞速发展,网络逐渐改变着人类的生产生活方式,人们对网络的依赖程度越来越高。对电信运营商而言,终端产生的信令数据规模也越来越大。数据采集、数据处理、数据存储带来了进一步的挑战。如何快速有效的发现网络信令数据中所蕴含的价值,成为了电信运营商亟待解决的问题。
随着信令数据规模越来越大,传统的数据处理模式暴露出了很多问题:
首先,采用传统的集中存储和集中计算的方式已经无法满足日益增长的海量数据所带来的挑战;
其次,传统数据库读写性能已无法满足大数据的存储和分析要求;
第三,传统的离线分析技术处理时延比较大,无法及时有效的挖掘和利用数据中蕴含的价值,无法及时定位问题、调整资源配置,使数据失去了时效性。
发明内容
本发明的目的在于提供一种基于网络信令记录的实时处理保障方法及系统,解决现有技术无法满足对海量网络信令数据的实时分析处理的问题。
为了实现上述目的,本发明提供了一种基于网络信令记录的实时处理保障方法,包括以下步骤:
采集网络信令数据;
将所述网络信令数据按多种维度进行分组;
将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算;
读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并;
将所述实时指标按键key进行分组;
读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。
所述多种维度包括全网、地市、小区、网元、设备和热点中的一个或多个。
所述多种时间粒度包括分1分钟、5分钟和1小时的一个或多个。
所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤,包括:
根据指标算法,采用分布式流计算系统计算各类实时指标的值;
将计算得到的所述实时指标生成键值对key-value形式的数据;
将键key相同的所述实时指标的值value进行缓冲合并。
所述实时指标包括:用户数指标;所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤,包括:
先对用户IMSI号码反转,并对反转的IMSI号码计算哈希值;取哈希值的前8个字节,并用HyperLogLog算法对用户数进行去重统计,得到用户数指标的值。
所述将所述网络信令数据按多种维度进行分组步骤,包括:按小区维度分组。
所述键key为维度标识、维度、时间粒度、时间的组合。
所述读取分布式缓存中与所述计算后的实时指标相匹配的数据进行增量合并步骤,包括:
微批量读取分布式缓存中与所述计算后的实时指标小区维度相同的数据进行增量合并。
所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并,包括:
微批量读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。
所述实时指标还包括业务量指标;所述业务量指标包括流量、http成功率、http时延。
在执行所述将所述网络信令数据按多种维度进行分组步骤前,根据数据类型,过滤所述网络信令数据中的无用字段。
所述采集网络信令数据步骤,包括:
基于消息通知机制,采集网络信令数据。
将所述读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并步骤
和所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并步骤
所得到的数据合并结果,均以异步微批量的方式写入分布式缓存中;外部应用可随时的从分布式缓存中读取所述合并的结果数据,进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。
对应于本发明提供的上述方法,本发明还提供了一种基于网络信令的实时处理保障系统,其特征在于,包括:数据采集模块、第一分组模块、计算模块、第一合并模块、第二分组模块、第二合并模块、分布式缓存模块;
所述数据采集模块,用于采集网络信令数据;
所述第一分组模块,用于将所述过滤后的网络信令数据按多种维度分组;
所述计算模块,用于将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算;
所述第一合并模块,用于读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并;
所述第二分组模块,用于将所述实时指标按键key进行分组;
所述第二合并模块,用于读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并;
所述分布式缓存模块,用于缓存所述增量合并的数据结果。
通过采用本发明提供的一种基于网络信令记录的实时处理保障方法及系统,
由于本方案在采集网络信令数据时,采用的是消息通知机制,当有数据生成时,则发送通知消息,采集系统收到通知后立即开始采集,避免在采集程序中通过扫描等其它机制时发生数据的时延,从而可降低数据采集过程的时延;
由于内存中的对象经过网络传输时需要先进行序列化,再将对象转换成可传输的二进制数据.根据这一点,本方案根据数据类型过滤网络信令数据中的无效字段,从而减小网络信令中的字段数,网络信令中的字段数减少,则序列化过程中需要序列化的字段数也相应地减少,需要序列化的字段数减少则序列化后的二进制数据也相应地减少;因此,本方案根据数据类型过滤网络信令数据中的无效字段,减小了数据传输中的序列化开销和网络开销;
由于小区维度的数据相较于上层维度的数据,具有在单位时间内随机,分散的特点,不会出现单位时间如1秒内,数据集中在某几个小区的情况,因此数据维度越细,越随机分散数据,越能够保证数据的均匀分布;本方案正是根据这一点,将数据流按小区维度分组,使数据在各模块处理单元上均匀分布,避免了高并发下由于数据单点、热点集中而造成系统瓶颈;
且本方案将数据流按小区维度分组,使同一小区数据的读写操作都在同一模块处理单元内进行,避免出现多个模块处理单元操作同一份数据的情况,从而保证按小区维度分组后对小区数据合并时数据的一致性;
同样地,本方案将数据流按键按key分组,使同一键key数据分到同一处理单元,不会出现相同key的数据被多个模块处理单元操作的情况,从而第二次分组后对数据合并时保证数据一致性。
另外,由于本方案根据指标算法,通过分布式流计算系统,分全网、地市、小区、网元、设备和热点等多种维度和1分钟、5分钟和1小时等多种时间粒度计算去重用户数、业务量指标,并将计算的指标以键值对key-value形式在本地内存中缓冲合并,因此提高了系统吞吐量、降低了网络开销和分布式缓存系统的负荷;
此外还有,本方案采用微批量读取,增量合并,微批量异步写入的方式,将本地缓存的数据同分布式缓存中的数据做合并,其中,微批量操作不同于批量操作,批量操作在提升性能的同时会较大地增大处理时延,而微批量操作在提升性能时,不会造成较大的时延;因此,以上微批量读取,增量合并,微批量异步写入的方式在保证系统吞吐量的同时降低数据处理时延。
附图说明
图1是本发明提供的一种基于网络信令记录的实时处理保障方法的流程图;
图2是本发明实施例提供的一种基于网络信令记录的实时处理保障系统的结构示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方法做进一步的详细描述。
如图1所示,本发明提供的一种基于网络信令记录的实时处理保障方法的具体过程为:
S101:采集网络信令数据;
基于消息通知机制,通过数据采集服务实时从数据源采集包括GN信令、Iups信令、LTE信令和Volte信令在内的各种网络信令;当有网络信令数据生成时,数据采集服务则根据通知消息立即开始采集数据,并将采集到的这些网络信令数据保存到在分布式文件系统中;以上基于消息通知机制,通过数据采集服务实时采集网络信令数据的过程降低了数据采集的时延。
S102:将所述网络信令数据按多种维度分组;
从分布式文件系统中读取网络信令数据,并基于指标算法设定的可用于计算实时指标的数据类型,过滤所述网络信令数据中的无用字段,保留有用字段,降低后续步骤过程中,数据传输和处理时的序列化开销和网络开销。:
将过滤后的数据按照最细的维度即按小区维度进行分组,使数据均匀地分布,便于后续步骤执行实时指标计算和数据合并的处理,避免高并发下由于数据单点、热点集中而造成系统瓶颈,拖慢处理流程。
S103:将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算;
所要计算的实时指标包括:用户数指标和业务量指标;用户数指标为去重用户数;业务量指标包括:流量、http成功率和http时延;其中,每一种实时指标都有相应的指标算法来计算;
根据各指标算法,采用分布式流计算系统,先分全网、地市、小区、设备、热点等多种维度和1分钟、5分钟、小时等多种时间粒度,计算所述的各类实时指标的值;
再将计算得到的各个实时指标生成键值对key-value的数据形式,其中,键key是维度标识+维度+时间粒度+时间的组合,值value实时指标的值;
最后,将键key相同的实时指标值value缓冲合并在本地内存中;
以下是各实时指标的计算过程:
用户数指标值的计算:
计算用户数指标的值,先对用户IMSI号码进行反转,然后对反转的IMSI号码计算哈希值,取哈希值的前8个字节,并用HyperLogLog算法去重统计
生成用户数指标的键值对key-value;
将键key相同的用户数指标的值value值进行合并;
计算业务量指标的值:
流量:对于LTE信令数据和GN信令数据中的每条信令记录,取上行流量和下行流量字段,计算上行流量+下行流量;
http成功率:http成功率为http请求次数与http成功次数的比值;
http时延:http时延为http响应时长与http成功次数的比值;
分别生成流量、http成功率、http时延的键值对key-value;
将键key相同的流量的值value值进行合并;将键key相同的http成功率的值value值进行合并;将键key相同的http时延的值value值进行合并;
S104:读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并;
微批量读分布式缓存中的小区维度数据,并同缓存在本地内存中的小区维度的实时指标做增量合并,将合并的结果以异步微批量的方式写入分布式缓存中;其中,所述微批量及后续步骤中的微批量操作都是指批量操作和单独操作的折中操作方式,一般进行批量操作时读取的数据量为100-1000个不等,而微批量为10-100个不等,因此微批量操作的数据量一般为批量操作的数据量的十分之一左右;采用这种微批量操作的方式在于在提升性能时,不会造成较大的时延。
S105:将所述实时指标按键key进行分组;
将本地缓存中经实时指标计算后生成的键值对key-value形式的实时指标按照键key做分组。
S106:读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并;
微批量读取分布式缓存中与本地内存中实时指标key相同的数据做增量合并,并将合并的结果以异步微批量的方式写入分布式缓存中。
通过以上步骤的具体实施,将网络信令数据进行处理得到的实时指标写入分布式缓存中,供外部应用随时从分布式缓存中读取实时指标,进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。
如图2所示,相应于以上方法实施例,本发明提供的一种基于网络信令的实时处理保障系统实施例如下:
本系统包括数据采集模块、第一分组模块、计算模块、第一合并模块、第二分组模块、第二合并模块、分布式缓存模块;
数据采集模块,用于采集网络信令数据;
采用ETL数据采集服务,实时采集包括GN信令、Iups信令、LTE信令和Volte信令在内的各种网络信令数据,保存到在HDFS分布式文件系统中,并发送通知消息,通知第一分组模块进行处理数据;
第一分组模块,用于将所述过滤后的网络信令数据按多种维度分组;
读取通知消息,按通知消息读取HDFS分布式文件系统中的网络信令数据,根据各类实时指标的算法中设定的数据类型,过滤所述网络信令数据中的无用字段,仅保留有用字段,然后按小区维度进行分组,并将分组后的数据发送至计算模块;
计算模块,用于将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算;
接收按小区维度分组后的网络信令数据,根据流量、http成功率、http时延等各类实时指标的计算方法,通过分布式流计算系统,分全网、地市、小区、设备、热点等多种维度和1分钟、5分钟、小时等多种时间粒度,计算所述的相应的各类实时指标的值,并将计算得到的各类实时指标以键值对key-value的形式在本地内存中缓冲合并;
第一合并模块,用于用于读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并;
微批量读分布式缓存中的小区维度数据,并同本地内存中的小区维度的实时指标做增量合并,将合并的结果以异步微批量的方式写入分布式缓存中;
第二分组模块,用于将所述实时指标按键key进行分组;;
将本地缓存中经实时指标计算后生成的键值对key-value形式的实时指标按照键key做分组,并将分组后的数据发送至第二合并模块;
第二合并模块,用于读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并;
微批量读取分布式缓存中与本地内存中实时指标key相同的数据做增量合并,将合并的结果以异步微批量的方式写入分布式缓存中。
分布式缓存模块,用于缓存所述增量合并的数据结果;
采用Redis分布式缓存服务,将来自第一合并模块和第二合并模块的数据进行分布式缓存,并供外部应用随时读取,进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。
通过上述技术方案,可实现对海量网络信令数据的实时处理实时分析。目前该技术方案可实现平均每分钟1亿条信令数据的实时处理,每分钟4亿次缓存交互操作,数据处理时延控制在秒级。目前实时数据已实现全市维度、小区维度、热点维度、业务维度和设备维度等的实时性能预警、实时区域保障、实时人流分析等。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于网络信令记录的实时处理保障方法,其特征在于,包括以下步骤:
采集网络信令数据;
将所述网络信令数据按多种维度进行分组;
将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算;
读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并;
将所述实时指标按键key进行分组;
读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。
2.根据权利要求1所述的方法,其特征在于,所述多种维度包括全网、地市、小区、网元、设备和热点中的一个或多个。
3.根据权利要求2所述的方法,其特征在于,所述多种时间粒度包括分1分钟、5分钟和1小时的一个或多个。
4.根据权利要求3所述的方法,其特征在于,所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤,包括:
根据指标算法,采用分布式流计算系统计算各类实时指标的值;
将计算得到的所述实时指标生成键值对key-value形式的数据;
将键key相同的所述实时指标的值value进行缓冲合并。
5.根据权利要求4所述的方法,其特征在于,所述实时指标包括用户数指标;所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤,包括:
先对用户IMSI号码反转,并对反转的IMSI号码计算哈希值;取哈希值的前8个字节,并用HyperLogLog算法对用户数进行去重统计,得到用户数指标的值。
6.根据权利要求1、3、4或5任一权利要求所述的方法,其特征在于,所述将所述网络信令数据按多种维度进行分组步骤,包括:按小区维度分组。
7.根据权利要求1所述的方法,其特征在于,所述键key为维度标识、维度、时间粒度、时间的组合。
8.根据权利要求6所述的方法,其特征在于,所述读取分布式缓存中与所述计算后的实时指标相匹配的数据进行增量合并步骤,包括:
微批量读取分布式缓存中与所述计算后的实时指标小区维度相同的数据进行增量合并。
9.根据权利要求1或7任一权利要求所述的方法,其特征在于,所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并,包括:
微批量读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。
10.根据权利要求5所述的方法,其特征在于,所述实时指标还包括业务量指标;所述业务量指标包括流量、http成功率、http时延。
11.根据权利要求1所述的方法,其特征在于,在执行所述将所述网络信令数据按多种维度进行分组步骤前,根据数据类型,过滤所述网络信令数据中的无用字段。
12.根据权利要求1所述的方法,其特征在于,所述采集网络信令数据步骤,包括:
基于消息通知机制,采集网络信令数据。
13.根据权利要求1、3至5、7至8、10至12任一权利要求所述的方法,其特征在于,
将所述读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并步骤
和所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并步骤
所得到的数据合并结果,均以异步微批量的方式写入分布式缓存中;外部应用可随时的从分布式缓存中读取所述合并的结果数据,进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。
14.一种基于网络信令的实时处理保障系统,其特征在于,包括:数据采集模块、第一分组模块、计算模块、第一合并模块、第二分组模块、第二合并模块、分布式缓存模块;
所述数据采集模块,用于采集网络信令数据;
所述第一分组模块,用于将所述网络信令数据按多种维度分组;
所述计算模块,用于将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算;
所述第一合并模块,用于读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并;
所述第二分组模块,用于将所述实时指标按键key进行分组;
所述第二合并模块,用于读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并;
所述分布式缓存模块,用于缓存所述增量合并的数据结果。
CN201610764635.8A 2016-08-30 2016-08-30 一种基于网络信令记录的实时处理保障方法及系统 Active CN106326461B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610764635.8A CN106326461B (zh) 2016-08-30 2016-08-30 一种基于网络信令记录的实时处理保障方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610764635.8A CN106326461B (zh) 2016-08-30 2016-08-30 一种基于网络信令记录的实时处理保障方法及系统

Publications (2)

Publication Number Publication Date
CN106326461A true CN106326461A (zh) 2017-01-11
CN106326461B CN106326461B (zh) 2019-07-30

Family

ID=57788742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610764635.8A Active CN106326461B (zh) 2016-08-30 2016-08-30 一种基于网络信令记录的实时处理保障方法及系统

Country Status (1)

Country Link
CN (1) CN106326461B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106998276A (zh) * 2017-05-23 2017-08-01 杭州东方通信软件技术有限公司 数据处理、存储、查询方法和数据处理系统
CN107122431A (zh) * 2017-04-14 2017-09-01 浙江数链科技有限公司 一种实时计算平台及基于实时计算平台的数据计算方法
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107479977A (zh) * 2017-08-30 2017-12-15 京信通信系统(中国)有限公司 一种确定设备性能的方法和设备
CN111211993A (zh) * 2018-11-21 2020-05-29 百度在线网络技术(北京)有限公司 流式计算的增量持久化方法及其装置
CN113225339A (zh) * 2021-05-07 2021-08-06 恒安嘉新(北京)科技股份公司 网络安全监测方法、装置、计算机设备及存储介质
CN114443626A (zh) * 2020-11-06 2022-05-06 中国移动通信集团江西有限公司 一种指标计算方法、装置、存储介质和指标计算平台
CN114697060A (zh) * 2020-12-29 2022-07-01 广州腾讯科技有限公司 业务控制方法、装置和电子设备
WO2023109302A1 (zh) * 2021-12-15 2023-06-22 中兴通讯股份有限公司 数据处理方法及其装置、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090182793A1 (en) * 2008-01-14 2009-07-16 Oriana Jeannette Love System and method for data management through decomposition and decay
CN102890714A (zh) * 2012-09-24 2013-01-23 华为技术有限公司 数据索引方法及装置
CN103678392A (zh) * 2012-09-20 2014-03-26 阿里巴巴集团控股有限公司 一种数据增量合并的方法及其装置
CN104125584A (zh) * 2013-04-27 2014-10-29 中国移动通信集团福建有限公司 一种针对网络业务的业务指标实现预测的方法及装置
EP2871869A1 (en) * 2013-11-11 2015-05-13 Deutsche Telekom AG An accurate mechanism for estimating a mobile communication service provider's market share
CN105873113A (zh) * 2015-01-21 2016-08-17 中国移动通信集团福建有限公司 无线质量问题定位方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090182793A1 (en) * 2008-01-14 2009-07-16 Oriana Jeannette Love System and method for data management through decomposition and decay
CN103678392A (zh) * 2012-09-20 2014-03-26 阿里巴巴集团控股有限公司 一种数据增量合并的方法及其装置
CN102890714A (zh) * 2012-09-24 2013-01-23 华为技术有限公司 数据索引方法及装置
CN104125584A (zh) * 2013-04-27 2014-10-29 中国移动通信集团福建有限公司 一种针对网络业务的业务指标实现预测的方法及装置
EP2871869A1 (en) * 2013-11-11 2015-05-13 Deutsche Telekom AG An accurate mechanism for estimating a mobile communication service provider's market share
CN105873113A (zh) * 2015-01-21 2016-08-17 中国移动通信集团福建有限公司 无线质量问题定位方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122431A (zh) * 2017-04-14 2017-09-01 浙江数链科技有限公司 一种实时计算平台及基于实时计算平台的数据计算方法
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN106998276A (zh) * 2017-05-23 2017-08-01 杭州东方通信软件技术有限公司 数据处理、存储、查询方法和数据处理系统
CN107479977A (zh) * 2017-08-30 2017-12-15 京信通信系统(中国)有限公司 一种确定设备性能的方法和设备
CN107479977B (zh) * 2017-08-30 2020-11-03 京信通信系统(中国)有限公司 一种确定设备性能的方法和设备
CN111211993A (zh) * 2018-11-21 2020-05-29 百度在线网络技术(北京)有限公司 流式计算的增量持久化方法及其装置
CN111211993B (zh) * 2018-11-21 2023-08-11 百度在线网络技术(北京)有限公司 流式计算的增量持久化方法、装置及存储介质
CN114443626A (zh) * 2020-11-06 2022-05-06 中国移动通信集团江西有限公司 一种指标计算方法、装置、存储介质和指标计算平台
CN114697060A (zh) * 2020-12-29 2022-07-01 广州腾讯科技有限公司 业务控制方法、装置和电子设备
CN114697060B (zh) * 2020-12-29 2024-05-07 广州腾讯科技有限公司 业务控制方法、装置和电子设备
CN113225339A (zh) * 2021-05-07 2021-08-06 恒安嘉新(北京)科技股份公司 网络安全监测方法、装置、计算机设备及存储介质
WO2023109302A1 (zh) * 2021-12-15 2023-06-22 中兴通讯股份有限公司 数据处理方法及其装置、存储介质

Also Published As

Publication number Publication date
CN106326461B (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN106326461A (zh) 一种基于网络信令记录的实时处理保障方法及系统
CN106506266B (zh) 基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法
CN106777093B (zh) 基于空间时序数据流应用的Skyline查询系统
CN109684052B (zh) 事务分析方法、装置、设备及存储介质
CN108182213A (zh) 一种基于分布式系统的数据处理优化装置及方法
CN111464336A (zh) 一种基于电力通信机房高并发数据处理方法及系统
CN107317838A (zh) 一种基于流式数据处理架构的天文元数据归档方法及系统
CN106162247B (zh) 基于时间轮盘和页面心跳的活跃用户集维护方法及系统
CN109104438A (zh) 一种窄带物联网中的僵尸网络预警方法及装置
CN106250287A (zh) 一种日志信息处理装置
MXPA06014827A (es) Dispositivo mejorador para el procesamiento de estadisticas de red.
CN105979299B (zh) 基于时间轮盘和播放器心跳的活跃用户集维护系统及方法
CN107798059B (zh) 一种nco气象数据结构化存储方法和装置
CN106162365B (zh) 基于时间轮盘和弹幕行为的活跃用户集维护方法及系统
CN104683155A (zh) 网络管理系统中的告警屏蔽机制
CN111800292A (zh) 基于历史流量的预警方法、装置、计算机设备及存储介质
CN106375295A (zh) 数据存储监控方法
CN109753009A (zh) 一种液位监测数据在线管理系统
CN104601374A (zh) 用于数控机床的网络故障处理方法和装置
CN114461594A (zh) 数据压缩方法、边缘设备及计算机存储介质
Qian et al. Characterization of 3g data-plane traffic and application towards centralized control and management for software defined networking
CN104811349A (zh) 一种访问统计的方法和装置
CN108430067A (zh) 一种基于xdr的互联网业务质量分析方法及系统
CN104954351A (zh) 数据检测方法和装置
CN111049898A (zh) 一种实现计算集群资源跨域架构的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant