CN114531706A - 区域用户流量监控方法、装置、存储介质和计算机设备 - Google Patents
区域用户流量监控方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN114531706A CN114531706A CN202011194727.XA CN202011194727A CN114531706A CN 114531706 A CN114531706 A CN 114531706A CN 202011194727 A CN202011194727 A CN 202011194727A CN 114531706 A CN114531706 A CN 114531706A
- Authority
- CN
- China
- Prior art keywords
- user
- regional
- flow
- traffic
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000011664 signaling Effects 0.000 claims abstract description 70
- 230000008859 change Effects 0.000 claims abstract description 49
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 32
- 238000004140 cleaning Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000001934 delay Effects 0.000 claims description 6
- 238000011010 flushing procedure Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims 1
- 238000005206 flow analysis Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0888—Throughput
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供的一种区域用户流量监控方法、装置、存储介质和计算机设备的技术方案中,采集用户信令数据,通过流计算引擎接收及清洗用户信令数据,并根据用户信令数据计算出区域业务流量,根据获取的用户号码计算区域用户数,基于获取的业务类别、区域用户数以及区域业务流量,确定出多个区域用户流量,基于多个区域用户流量,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警,能够降低资源消耗以及延迟,提高了对区域用户流量分析监控的实时性。
Description
【技术领域】
本发明涉及数据处理技术领域,具体地涉及一种区域用户流量监控方法、装置、存储介质和计算机设备。
【背景技术】
在相关技术中,大数据平台需要监控区域用户流量和业务。现有数据处理技术包括,一是通过分布式实时大数据处理框架Storm处理数据,二是通过大数据处理框架Spark-streaming处理数据,然而通过这两种方式都容易造成资源消耗大、延迟高,导致吞吐量表现差的问题。
【发明内容】
有鉴于此,本发明提供一种区域用户流量监控方法、装置、存储介质和计算机设备,用于解决现有方法对资源消耗过大延迟过高的情况。
一方面,本发明实施例提供了一种区域用户流量监控方法,包括:
采集用户信令数据;
通过流计算引擎接收及清洗所述用户信令数据,并根据所述用户信令数据计算出区域业务流量,所述区域业务流量用于指示在该区域的所有业务中,该区域用户所使用流量;
根据获取的用户号码计算区域用户数;
基于获取的业务类别、所述区域用户数以及所述区域业务流量,确定出多个所述区域用户流量,所述区域用户流量用于指示在该区域中的某一业务中,该区域用户所使用的流量;
基于多个所述区域用户流量,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
可选地,所述基于多个所述区域用户流量,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警,包括:
从每个所述区域用户流量中确定出区域用户的流量大小、流量时延以及流量速率;
根据多个所述区域用户的流量大小、流量时延以及流量速率,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
可选地,在所述通过流计算引擎接收及清洗所述用户信令数据之前,还包括:
将所述用户信令数据发送至预先建立的消息队列,并通过所述消息队列中,将所述用户信令数据发送至所述流计算引擎。
可选地,所述区域业务流量包括小区业务流量、地市业务流量或者省市业务流量;
所述根据所述用户信令数据计算出区域业务流量,包括:
从所述用户信息数据中提取字段信息,所述字段信息包括流量、时延、业务类别、用户所在省市、用户所在地市以及用户所在小区;
根据所述流量、所述用户所在省市、所述用户所在地市、所述用户所在小区以及业务类别,计算出小区业务流量;
根据所述小区业务流量、所述用户所在省市、所述用户所在地市以及业务类别,计算出地市业务流量;
根据所述地市业务流量、所述用户所在省市以及业务类别,计算出省市业务流量。
可选地,所述区域业务流量包括业务流量大小和业务流量速率;
所述方法还包括:
根据获取的每个所述区域业务流量的业务流量大小以及所述区域业务流量对应的所述时延,计算出每个区域业务流量的业务流量速率。
可选地,所述用户信令数据包括用户号码,所述区域包括省市、地市以及小区,且每个所述区域用于存储具有包含指定范围的后四位号码的用户号码;
所述根据获取的用户号码计算区域用户数,包括:
根据所述用户号码的后四位,将所述用户号码划分至对应区域,以确定出每个区域用户数。
可选地,还包括:
按照设定时间将所述用户号码与历史用户号码进行匹配,若所述用户号码不存在,则在多个存储设备中同步存储所述用户号码。
另一方面,本发明实施例提供了一种区域用户流量监控装置,所述装置包括:
采集模块,用于采集用户信令数据;
清洗模块,用于通过流计算引擎接收及清洗所述用户信令数据;
处理模块,用于根据所述用户信令数据计算出区域业务流量,所述区域业务流量用于指示在该区域的所有业务中,该区域用户所使用流量;根据获取的用户号码计算区域用户数;基于获取的业务类别、所述区域用户数以及所述区域业务流量,确定出多个所述区域用户流量,所述区域用户流量用于指示在该区域中的某一业务中,该区域用户所使用的流量;
监控分析模块,用于基于多个所述区域用户流量,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
另一方面,本发明实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述的区域用户流量监控方法。
另一方面,本发明实施例提供了一种计算机设备,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,所述程序指令被处理器加载并执行上述的区域用户流量监控方法的步骤。
本发明实施例提供的技术方案中,采集用户信令数据;通过流计算引擎接收及清洗用户信令数据,并根据用户信令数据计算出区域业务流量;根据获取的用户号码计算区域用户数;基于获取的业务类别、区域用户数以及区域业务流量,确定出多个区域用户流量;基于多个区域用户流量,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警,能够降低资源消耗以及延迟,提高了对区域用户流量分析监控的实时性。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一实施例所提供的一种区域用户流量监控系统的架构图;
图2是本发明一实施例所提供的一种区域用户流量监控方法的流程图;
图3是本发明一实施例所提供的一种区域用户流量监控装置的结构示意图;
图4为本发明一实施例提供的一种计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在对本发明实施例所提供的一种区域用户流量监控系统介绍之前,先对本发明涉及的相关技术进行简要介绍:
(1)Flink技术
ApacheFlink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架,它基于同一个Flink流式执行模型,能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的服务等级协议是完全不相同,流处理一般需要支持低延迟、精确一次保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分别给出两套实现方法,或者通过一个独立的开源框架来实现其中每一种处理方案。
(2)Kafka技术
Kafka是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统,常见可以用于web/nginx日志、访问日志,消息服务等等。主要应用场景是:日志收集系统和消息系统。
(3)Codis技术
Codis是一个分布式内存数据库解决方案,对于上层的应用来说,连接到CodisProxy处理流程和连接原生的RedisServer没有明显的区别,上层应用可以像使用单机的内存数据库一样使用,Codis底层会处理请求的转发,不停机的数据迁移等工作,所有后边的一切事情,对于前面的客户端来说是透明的,可以简单的认为后边连接的是一个内存无限大的Redis服务。
基于上述技术,图1为本发明一实施例提供的一种区域用户流量监控系统的架构图,如图1所示,该系统包括:数据采集模块10,数据清洗模块20、数据处理模块30以及分析预警模块40。
其中,数据采集模块10,用于采集用户信令数据。此外,数据采集模块10还用于将用户信令数据发送至消息队列,并通过消息队列中,将用户信令数据发送至所述流计算引擎,以使流计算引擎能够接收该用户信令数据。其中,数据采集模块10可包括分布式数据采集模块,通过分布式数据采集模块可实现数据采集的高吞吐量、高可扩展性。
进一步地,数据清洗模块20,用于通过流计算引擎接收及清洗所述用户信令数据。
数据处理模块30,用于根据所述用户信令数据计算出区域业务流量,区域业务流量用于指示在该区域的所有业务中,该区域用户所使用流量;根据获取的用户号码计算区域用户数;基于获取的业务类别、区域用户数以及区域业务流量,确定出多个区域用户流量,区域用户流量用于指示在该区域中的某一业务中,该区域用户所使用的流量。
分析预警模块40,用于基于多个区域用户流量,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警。具体地,分析预警模块40具体用于从每个区域用户流量中确定出区域用户的流量大小、流量时延以及流量速率;根据多个区域用户的流量大小、流量时延以及流量速率,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警。
可选地,流量区域业务流量包括小区业务流量、地市业务流量或者省市业务流量,数据处理模块30具体用于从用户信息数据中提取字段信息,字段信息包括流量、时延、业务类别、用户所在省市、用户所在地市以及用户所在小区;根据流量、用户所在省市、用户所在地市、用户所在小区以及业务类别,计算出小区业务流量;根据流量、用户所在省市、用户所在地市以及业务类别,计算出地市业务流量;根据流量、用户所在省市以及业务类别,计算出省市业务流量。
可选地,所述区域业务流量包括业务流量大小和业务流量速率。数据处理模块30还用于根据获取的每个区域业务流量的业务流量大小以及区域业务流量对应的时延,计算出每个区域业务流量的业务流量速率。
可选地,用户信令数据包括用户号码,区域包括省市、地市以及小区,且每个区域用于存储具有包含指定范围的后四位号码的用户号码。数据处理模块30还用于根据用户号码的后四位,将用户号码划分至对应区域,以确定出每个区域用户数。
进一步地,数据处理模块30还用于按照设定时间将用户号码与历史用户号码进行匹配,若用户号码不存在,则在多个存储设备中同步存储用户号码。
基于上述的一种区域用户流量监控系统,能够解决解决现有方法对资源消耗过大延迟过高的情况,下面通过步骤101-步骤106对本发明提供的一种区域用户流量监控方法进行详细介绍:
图2为本发明一实施例提供的一种区域用户流量监控方法的流程图,如图2所示,该方法包括:
步骤101、采集用户信令数据。
在该步骤中,用户信令数据可理解为用户在通信过程中产生的信息,例如,用户信令信息中包括但不限于所使用的业务信息、用户地址信息、流量等。
本发明实施例中,通过采集用户信令数据,以便后续从用户信息数据中确定出区域用户流量,从而对区域用户流量进行监控。
进一步地,在步骤101之后,还包括:
步骤102、将用户信令数据发送至预先建立的消息队列,并通过消息队列中,将用户信令数据发送至流计算引擎。
在该步骤中,消息队列可包括kafka消息队列,流计算引擎可包括Flink流计算引擎。通过采用Flink流计算引擎,相对于其他计算框架有更灵活的窗口,能够解决现有方法对资源消耗过大延迟过高的情况,还能够达到低延迟、流量控制、高吞吐量,容错机制无开销的效果,此外Flink架构还能够将应用程序开发与流量控制和吞吐量控制分开,更改快照间隔对流作业的结果完全没有影响,因此下游应用程序可以放心地依赖于接收到的正确结果。
本发明实施例中,在执行步骤102的过程中,系统需要部署对应的zookeeper集群,并搭建kafka消息流处理平台,从而才能够将用户信令数据发送至kafka消息队列,并通过kafka消息队列中,将用户信令数据发送至Flink流计算引擎。其中,ZooKeeper是Apache的一个顶级项目,为分布式应用提供高效、高可用的分布式协调服务,提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务。
步骤103、通过流计算引擎接收及清洗用户信令数据,并根据用户信令数据计算出区域业务流量。
在该步骤中,清洗用户信令数据的目的在于删除重复信息、纠正存在的错误,并提供数据一致性。通过清洗用户信令数据,能够保证在计算区域业务流量的准确性。
本发明实施例中,流计算引擎接收用户信令数据的过程,采用Flink流计算引擎接收并清洗来自kafka接受到的用户信令数据,并根据区域等信息及业务分类汇总求和,计算区域业务流量大小及速率。接收信令数据并传入kafka消息队列的Producer中,创建并启动consumer组件发送数据到Flink计算引擎中。
进一步地,在该步骤中,区域可包括省市、地市以及小区。区域业务流量用于指示在该区域的所有业务中,该区域用户所使用流量。例如,以区域包括小区为例,则统计该小区的所有业务中,小区用户所使用流量作为区域业务流量。
本发明实施例中,根据用户信令数据计算出区域业务流量的过程可包括:
步骤1031、从用户信息数据中提取字段信息。
在该步骤中,字段信息包括流量、时延、业务类别、用户所在省市、用户所在地市以及用户所在小区。
本发明实施例中,步骤1031的执行过程可通过启动Flink集群中的Flink作业管理器,由客户端提交一个清洗信令数据的任务,任务用于提取出用户信令数据的字段信息,字段信息包括但不限于流量、时延、业务类别、用户号码、用户所在地市、用户所在小区等。其中,流量可包括上行流量和下行流量,时延可包括上行时延和下行时延。
步骤1032、根据流量、用户所在省市、用户所在地市、用户所在小区以及业务类别,计算出小区业务流量。
在该步骤中,通过获取业务类别能够对业务分类汇总求和。例如,业务类别可包括应用软件A、应用软件B以及应用软件C时,则将应用软件A、应用软件B以及应用软件C汇总求和,得到3个应用软件以及这3个应用软件对应的数据信息,以便于结合根据流量、用户所在省市、用户所在地市以及用户所在小区,计算出小区业务流量。进一步地,可通过将用户所在省市、用户所在地市、用户所在小区作为一个联合键位。
本发明实施例中,步骤1032的执行过程可根据全省-地市-小区联合键位、流量以及业务类别,计算出小区业务流量,其中,小区业务流量可包括小区业务流量大小以及小区业务时延,其中,小区业务流量大小可包括上行流量大小和下行流量大小,小区业务时延可包括上行时延以及下行时延。
进一步地,在步骤1032之后,还包括:在多个存储设备中同步存储小区业务流量。例如,多个存储设备包括缓存设备和codis存储设备。通过将小区业务流量存储至缓存中,以便步骤1033,调用小区业务流量以及用户所在省市、用户所在地市以及业务类别,计算出地市业务流量。
步骤1033、根据小区业务流量、用户所在省市、用户所在地市以及业务类别,计算出地市业务流量。
本发明实施例中,基于上述步骤1032,用户所在省市、用户所在地市为一个联合键位,因此在执行步骤1033时,通过调用前面存入缓存中的小区业务流量,并根据全省-地市联合键位及业务分类汇总求和,计算地市业务流量,其中,地市业务流量可包括地市业务流量大小以及地市业务时延,其中,地市业务流量大小可包括上行流量大小和下行流量大小,地市业务时延可包括上行时延以及下行时延。
进一步地,在步骤1033之后,还包括:在多个存储设备中同步存储地市业务流量。例如,多个存储设备包括缓存设备和codis存储设备。通过将地市业务流量存储至缓存中,以便步骤1034,调用地市业务流量以及用户所在省市以及业务类别,计算出省市业务流量。
步骤1034、根据地市业务流量、用户所在省市以及业务类别,计算出省市业务流量。
本发明实施例中,在执行步骤1034时,通过调用前面存入缓存中的地市业务流量,并用户所在省市以及业务类别,计算出省市业务流量,其中,省市业务流量可包括省市业务流量大小以及省市业务时延,其中,省市业务流量大小可包括上行流量大小和下行流量大小,省市业务时延可包括上行时延以及下行时延。
进一步地,在步骤1034之后,还包括:在多个存储设备中同步存储省市业务流量。例如,多个存储设备包括缓存设备和codis存储设备。
此外,在步骤1031-步骤1034的基础上,以区域业务流量包括业务流量大小和业务延时,还包括:
步骤1035、根据获取的每个区域业务流量的业务流量大小以及区域业务流量对应的业务时延,计算出每个区域业务流量的业务流量速率。
其中,步骤1035可包括:将省市业务流量的业务流量大小除以省市业务流量对应的业务时延,计算出省市业务流量的业务流量速率;或者,将地市业务流量的业务流量大小除以地市业务流量对应的业务时延,计算出地市业务流量的业务流量速率;或者,将小区业务流量的业务流量大小除以小区业务流量对应的业务时延,计算出小区业务流量的业务流量速率。
步骤104、根据获取的用户号码计算出区域用户数。
本发明实施例中,步骤104可包括:根据用户号码的后四位,将用户号码划分至对应区域,以确定出每个区域用户数。
在该步骤中,用户信令数据包括用户号码,可就是说,在采集用户信令数据之后,即可通过提取用户信令数据中的字段信息获取用户号码。区域用户数用于指示某一指定时间点在某一区域内的用户数量。区域包括省市、地市以及小区,且每个区域用于存储具有包含指定范围的后四位号码的用户号码。
本发明实施例中,例如,以区域1用于存储具有包含指定范围为1000-2000的后四位号码的用户号码,而获取的用户号码A为13011221595时,由于用户号码A的后四位处于区域1的指定范围的后四位号码,因此将用户号码A划分至区域1。
进一步地,在步骤104之后,还包括:在多个存储设备中同步存储区域用户数。例如,多个存储设备包括缓存设备和codis存储设备。也就是说,需要对用户信令数据进行清洗,将每分钟去重用户号码根据号码后四位进行分区,同步将去每分钟重用户数结果存入codis中,并将用户号码存入缓存中。
进一步地,在步骤104之后,还包括:按照设定时间将用户号码与历史用户号码进行匹配,若用户号码不存在,则在多个存储设备中同步存储用户号码。
本发明实施例中,需要后续每分钟将用户号码进行匹配,如果号码不存在则往缓存中插入对应新增用户号码,并将天累计用户数加1,将每分钟累计结果同步到codis中。需要说明的是,在该步骤中,存储用户号码包括存储在数据以及缓存,即通过etl的方式将Flink存入codis中数据同到关系型数据库中,实现键值型数据库到关系型数据库之间数据流通。
步骤105、基于获取的业务类别、区域用户数以及区域业务流量,确定出多个区域用户流量。
在该步骤中,区域用户流量用于指示在该区域中的某一业务中,该区域用户所使用的流量。
本发明实施例中,通过获取的业务类别、区域用户数以及区域业务流量,能够计算在该区域中,对于该区域用户而言,每个业务类别所使用的流量,即在该区域中的某一业务中,该区域用户所使用的流量。
步骤106、基于多个区域用户流量,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警。
在该步骤中,通过ETL组件将数据从codis将指定key数据存入关系型数据库中,通过分析预警模块得到实时区域用户流量、时延、速率等信息,可查询区域流量速率变化情况,对重点区域网络情况进行实时监控预警。
需要说明的是,通过采用ETL组件,实现了分布式键值型数据库与关系型数据库拉通,实现了可通过配置化界面配置数据传输工作,减少了开发用户的代码量,提高了维护效率以及开发效率。
本发明实施例中,具体地,步骤106可包括:
步骤1061、从每个区域用户流量中确定出区域用户的流量大小、流量时延以及流量速率。
在该步骤中,区域用户流量包括但不限于区域用户的流量大小、流量时延以及流量速率,其中,区域用户的流量大小可包括上行流量大小和下行流量大小,流量时延可包括上行时延以及下行时延。进一步地,可通过区域用户的流量大小以及流量时延,计算出流量速率。
本发明实施例中,具体地,可将数据存入数据库中,并通过分析预警模块调用数据集,得到区域用户的流量大小、流量时延、流量速率等信息。
步骤1062、根据多个区域用户的流量大小、流量时延以及流量速率,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警。
在该步骤中,区域流量变化信息可包括该区域的用户所使用的流量大小变化信息、流量时延变化信息以及流量速率变化信息。获取的区域流量变化信息可为上述三种变化信息的其一或者任一组合。
本发明实施例中,步骤1062的执行过程,例如,以区域流量变化信息包括流量速率变化信息为例,若根据多个区域用户的流量大小、流量时延以及流量速率,确定出流量速率发生变化,则统计流量速率的变化量,并检查该流量速率的变化量是否大于预设范围值,若检查出该流量速率的变化量大于预设范围值则执行相应的操作,从而实现了区域流量变化信息的实时监控预警。
需要说明的是,上述例子仅作为举例说明,除此之外还可以通过其他方式进行基于所述区域流量变化信息进行实时监控预警,对于重点保障区域可通过实时监控其网络质量及流量及时发现问题,本发明实施例对此不做限定。
本发明实施例提供的技术方案中,采集用户信令数据;通过流计算引擎接收及清洗用户信令数据,并根据用户信令数据计算出区域业务流量;根据获取的用户号码计算区域用户数;基于获取的业务类别、区域用户数以及区域业务流量,确定出多个区域用户流量;基于多个区域用户流量,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警,能够降低资源消耗以及延迟,提高了对区域用户流量分析监控的实时性。
图3是本发明一实施例所提供的一种区域用户流量监控装置的结构示意图,如图3所示,所述装置包括:
采集模块11,用于采集用户信令数据;
清洗模块12,用于通过流计算引擎接收及清洗所述用户信令数据;
处理模块13,用于根据所述用户信令数据计算出区域业务流量,所述区域业务流量用于指示在该区域的所有业务中,该区域用户所使用流量;根据获取的用户号码计算区域用户数;基于获取的业务类别、所述区域用户数以及所述区域业务流量,确定出多个所述区域用户流量,所述区域用户流量用于指示在该区域中的某一业务中,该区域用户所使用的流量;
监控分析模块14,用于基于多个所述区域用户流量,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
本发明实施例中,监控分析模块14具体用于从每个所述区域用户流量中确定出区域用户的流量大小、流量时延以及流量速率;根据多个所述区域用户的流量大小、流量时延以及流量速率,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
本发明实施例中,该装置还包括:发送模块15。
发送模块15,用于将所述用户信令数据发送至预先建立的消息队列,并通过所述消息队列中,将所述用户信令数据发送至所述流计算引擎。
本发明实施例中,所述区域业务流量包括小区业务流量、地市业务流量或者省市业务流量;
该装置的处理模块13还用于从所述用户信息数据中提取字段信息,所述字段信息包括流量、时延、业务类别、用户所在省市、用户所在地市以及用户所在小区;根据所述流量、所述用户所在省市、所述用户所在地市、所述用户所在小区以及业务类别,计算出小区业务流量;
根据所述小区业务流量、所述用户所在省市、所述用户所在地市以及业务类别,计算出地市业务流量;根据所述地市业务流量、所述用户所在省市以及业务类别,计算出省市业务流量。
本发明实施例中,所述区域业务流量包括业务流量大小和业务流量速率;
该装置的处理模块13还用于根据获取的每个所述区域业务流量的业务流量大小以及所述区域业务流量对应的所述时延,计算出每个区域业务流量的业务流量速率。
本发明实施例中,所述用户信令数据包括用户号码,所述区域包括省市、地市以及小区,且每个所述区域用于存储具有包含指定范围的后四位号码的用户号码;
该装置的处理模块13还用于所述根据获取的用户号码计算区域用户数,包括:
根据所述用户号码的后四位,将所述用户号码划分至对应区域,以确定出每个区域用户数。
本发明实施例中,该装置的处理模块13还用于按照设定时间将所述用户号码与历史用户号码进行匹配,若所述用户号码不存在,则在多个存储设备中同步存储所述用户号码。
本发明实施例提供的技术方案中,采集用户信令数据;通过流计算引擎接收及清洗用户信令数据,并根据用户信令数据计算出区域业务流量;根据获取的用户号码计算区域用户数;基于获取的业务类别、区域用户数以及区域业务流量,确定出多个区域用户流量;基于多个区域用户流量,确定出区域流量变化信息,并基于区域流量变化信息进行实时监控预警,能够降低资源消耗以及延迟,提高了对区域用户流量分析监控的实时性。
本发明实施例提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述区域用户流量监控方法的实施例的各步骤,具体描述可参见上述区域用户流量监控方法的实施例。
本发明实施例提供了一种计算机设备,包括存储器和处理器,存储器用于存储包括程序指令的信息,处理器用于控制程序指令的执行,程序指令被处理器加载并执行时实现上述区域用户流量监控方法的步骤。具体描述可参见上述区域用户流量监控方法的实施例。
图4为本发明实施例提供的一种计算机设备的示意图。如图4所示,该实施例的计算机设备4包括:处理器41、存储器42以及存储在存储42中并可在处理器41上运行的计算机程序43,该计算机程序43被处理器41执行时实现实施例中的应用于区域用户流量监控方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器41执行时实现实施例中应用于区域用户流量监控装置中各模型/单元的功能,为避免重复,此处不一一赘述。
计算机设备4包括,但不仅限于,处理器41、存储器42。本领域技术人员可以理解,图4仅仅是计算机设备4的示例,并不构成对计算机设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备4还可以包括输入输出设备、网络接入设备、总线等。
所称处理器41可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器42可以是计算机设备4的内部存储单元,例如计算机设备4的硬盘或内存。存储器42也可以是计算机设备4的外部存储设备,例如计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。进一步地,存储器42还可以既包括计算机设备4的内部存储单元也包括外部存储设备。存储器42用于存储计算机程序以及计算机设备4所需的其他程序和数据。存储器42还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (10)
1.一种区域用户流量监控方法,其特征在于,包括:
采集用户信令数据;
通过流计算引擎接收及清洗所述用户信令数据,并根据所述用户信令数据计算出区域业务流量,所述区域业务流量用于指示在该区域的所有业务中,该区域用户所使用流量;
根据获取的用户号码计算区域用户数;
基于获取的业务类别、所述区域用户数以及所述区域业务流量,确定出多个所述区域用户流量,所述区域用户流量用于指示在该区域中的某一业务中,该区域用户所使用的流量;
基于多个所述区域用户流量,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
2.根据权利要求1所述的方法,其特征在于,所述基于多个所述区域用户流量,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警,包括:
从每个所述区域用户流量中确定出区域用户的流量大小、流量时延以及流量速率;
根据多个所述区域用户的流量大小、流量时延以及流量速率,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
3.根据权利要求1所述的方法,其特征在于,在所述通过流计算引擎接收及清洗所述用户信令数据之前,还包括:
将所述用户信令数据发送至预先建立的消息队列,并通过所述消息队列中,将所述用户信令数据发送至所述流计算引擎。
4.根据权利要求1所述的方法,其特征在于,所述区域业务流量包括小区业务流量、地市业务流量或者省市业务流量;
所述根据所述用户信令数据计算出区域业务流量,包括:
从所述用户信息数据中提取字段信息,所述字段信息包括流量、时延、业务类别、用户所在省市、用户所在地市以及用户所在小区;
根据所述流量、所述用户所在省市、所述用户所在地市、所述用户所在小区以及业务类别,计算出小区业务流量;
根据所述小区业务流量、所述用户所在省市、所述用户所在地市以及业务类别,计算出地市业务流量;
根据所述地市业务流量、所述用户所在省市以及业务类别,计算出省市业务流量。
5.根据权利要求4所述的方法,其特征在于,所述区域业务流量包括业务流量大小和业务流量速率;
所述方法还包括:
根据获取的每个所述区域业务流量的业务流量大小以及所述区域业务流量对应的所述时延,计算出每个区域业务流量的业务流量速率。
6.根据权利要求1所述的方法,其特征在于,所述用户信令数据包括用户号码,所述区域包括省市、地市以及小区,且每个所述区域用于存储具有包含指定范围的后四位号码的用户号码;
所述根据获取的用户号码计算区域用户数,包括:
根据所述用户号码的后四位,将所述用户号码划分至对应区域,以确定出每个区域用户数。
7.根据权利要求6所述的方法,其特征在于,还包括:
按照设定时间将所述用户号码与历史用户号码进行匹配,若所述用户号码不存在,则在多个存储设备中同步存储所述用户号码。
8.一种区域用户流量监控装置,其特征在于,包括:
采集模块,用于采集用户信令数据;
清洗模块,用于通过流计算引擎接收及清洗所述用户信令数据;
处理模块,用于根据所述用户信令数据计算出区域业务流量,所述区域业务流量用于指示在该区域的所有业务中,该区域用户所使用流量;根据获取的用户号码计算区域用户数;基于获取的业务类别、所述区域用户数以及所述区域业务流量,确定出多个所述区域用户流量,所述区域用户流量用于指示在该区域中的某一业务中,该区域用户所使用的流量;
监控分析模块,用于基于多个所述区域用户流量,确定出区域流量变化信息,并基于所述区域流量变化信息进行实时监控预警。
9.一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行1至7任意一项所述的区域用户流量监控方法。
10.一种图像形成装置,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,其特征在于:所述程序指令被处理器加载并执行时实现权利要求1至7任意一项所述的区域用户流量监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011194727.XA CN114531706B (zh) | 2020-10-30 | 2020-10-30 | 区域用户流量监控方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011194727.XA CN114531706B (zh) | 2020-10-30 | 2020-10-30 | 区域用户流量监控方法、装置、存储介质和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114531706A true CN114531706A (zh) | 2022-05-24 |
CN114531706B CN114531706B (zh) | 2023-11-10 |
Family
ID=81620063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011194727.XA Active CN114531706B (zh) | 2020-10-30 | 2020-10-30 | 区域用户流量监控方法、装置、存储介质和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114531706B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0961445A2 (en) * | 1998-05-27 | 1999-12-01 | Matsushita Electric Industrial Co., Ltd. | Flow control method, and communication element and communication terminal executing the same |
US20170373950A1 (en) * | 2015-01-27 | 2017-12-28 | Nokia Solutions And Networks Oy | Traffic flow monitoring |
CN109495317A (zh) * | 2018-12-13 | 2019-03-19 | 中国南方电网有限责任公司 | 数据网流量预测方法及装置 |
CN110121189A (zh) * | 2018-02-05 | 2019-08-13 | 大唐移动通信设备有限公司 | 一种网络监控方法和装置 |
CN110708706A (zh) * | 2019-10-12 | 2020-01-17 | 中国联合网络通信集团有限公司 | 区域评估方法、设备及存储介质 |
CN111274340A (zh) * | 2020-01-15 | 2020-06-12 | 中国联合网络通信集团有限公司 | 人流密度的监控处理方法、设备及存储介质 |
-
2020
- 2020-10-30 CN CN202011194727.XA patent/CN114531706B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0961445A2 (en) * | 1998-05-27 | 1999-12-01 | Matsushita Electric Industrial Co., Ltd. | Flow control method, and communication element and communication terminal executing the same |
US20170373950A1 (en) * | 2015-01-27 | 2017-12-28 | Nokia Solutions And Networks Oy | Traffic flow monitoring |
CN110121189A (zh) * | 2018-02-05 | 2019-08-13 | 大唐移动通信设备有限公司 | 一种网络监控方法和装置 |
CN109495317A (zh) * | 2018-12-13 | 2019-03-19 | 中国南方电网有限责任公司 | 数据网流量预测方法及装置 |
CN110708706A (zh) * | 2019-10-12 | 2020-01-17 | 中国联合网络通信集团有限公司 | 区域评估方法、设备及存储介质 |
CN111274340A (zh) * | 2020-01-15 | 2020-06-12 | 中国联合网络通信集团有限公司 | 人流密度的监控处理方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114531706B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992398B (zh) | 一种业务系统的监控方法和监控系统 | |
JP2022160405A (ja) | アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体 | |
Logothetis et al. | In-situ {MapReduce} for Log Processing | |
CN107689953A (zh) | 一种面向多租户云计算的容器安全监控方法及系统 | |
CN110245158A (zh) | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 | |
US11570078B2 (en) | Collecting route-based traffic metrics in a service-oriented system | |
CN107943668A (zh) | 计算机服务器集群日志监控方法及监控平台 | |
CN107508722B (zh) | 一种业务监控方法和装置 | |
KR20170106648A (ko) | 대용량 네트워크 데이터의 처리 기법 | |
CN103401698B (zh) | 用于服务器集群运算中对服务器状况报警的监控系统 | |
WO2017092582A1 (zh) | 一种数据处理方法和装置 | |
CN106982356B (zh) | 一种分布式大规模视频流处理系统 | |
CN112751726B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
CN111459986A (zh) | 数据计算系统及方法 | |
CN108880934B (zh) | 一种基于区块链的数据流量统计方法和装置 | |
CN108492150B (zh) | 实体热度的确定方法及系统 | |
CN107729219A (zh) | 基于超融合存储系统的资源监控方法、装置及终端 | |
CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
CN111522786A (zh) | 日志处理系统及方法 | |
CN108574645B (zh) | 一种队列调度方法及装置 | |
CN110784377A (zh) | 一种多云环境下的云监控数据统一管理的方法 | |
CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
CN116932148B (zh) | 一种基于ai的问题诊断系统及方法 | |
Pienta et al. | On the parallel simulation of scale-free networks | |
CN115914064A (zh) | 网络系统服务性能评估方法、装置、计算设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |