CN111506469B - 基于通信xdr的重点区域监控方法、系统和存储介质 - Google Patents

基于通信xdr的重点区域监控方法、系统和存储介质 Download PDF

Info

Publication number
CN111506469B
CN111506469B CN202010157644.7A CN202010157644A CN111506469B CN 111506469 B CN111506469 B CN 111506469B CN 202010157644 A CN202010157644 A CN 202010157644A CN 111506469 B CN111506469 B CN 111506469B
Authority
CN
China
Prior art keywords
xdr
order
module
data
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010157644.7A
Other languages
English (en)
Other versions
CN111506469A (zh
Inventor
李秀海
黄永
池仲柏
刘启波
陈满明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yitong Lianyun Intelligent Information Co.,Ltd.
Original Assignee
Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yitong Century Internet Of Things Research Institute Guangzhou Co ltd filed Critical Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Priority to CN202010157644.7A priority Critical patent/CN111506469B/zh
Publication of CN111506469A publication Critical patent/CN111506469A/zh
Application granted granted Critical
Publication of CN111506469B publication Critical patent/CN111506469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于通信XDR的重点区域监控方法、系统和存储介质，系统包括应用客户端、控制中心模块、XDR消费模块、XDR过滤模块和KPI统计模块；控制中心模块，用于接收应用客户端发送的重点区域监控订单；所述应用客户端的数量为一个或多个；接收将所述订单发送给负载压力最小的KPI统计模块，生成订单统计任务并开通数据接收管道；将所述订单和数据接收管道的信息发送给XDR过滤模块以及XDR消费模块，得到订单确认信息；将所述订单确认信息发送至应用客户端；本发明能够同时对多个重点区域进行监控，并能够提升扩容灵活性并有效提升硬件资源的利用率，可广泛应用于互联网技术领域。

Description

基于通信XDR的重点区域监控方法、系统和存储介质
技术领域
本发明涉及互联网技术领域，尤其是一种基于通信XDR的重点区域监控方法、系统和存储介质。
背景技术
随着通信网络的不断发展和用户规模的不断扩大，各种APP应用层出不穷，数据流量呈现指数级增长，对全网数据实时监控需要消耗大量的硬件资源，把重点区域的XDR数据过滤出来后再进行关键指标的统计监控才是最经济的做法，可以把人员密集型的区域列为重点区域，例如各种展览会、体育赛事、节假日景区范围等。如果要更好地完成对重点区域的实时监控和实时保障，需要保证监控系统使用部署的灵活性、监控指标输出的实时性、监控指标的多样性(包含用户数指标、网络性能指标和数据业务指标)以及硬件资源的高效利用。要达成这些目标，需要对系统架构、部署方案和统计模型进行精细的设计。
发明内容
有鉴于此，本发明实施例提供一种基于通信XDR的重点区域监控方法、系统和存储介质，以完成对重点区域的实时监控和实时保障。
本发明的第一方面提供了一种基于通信XDR的重点区域监控方法，包括：
接收应用客户端发送的重点区域监控订单；所述应用客户端的数量为一个或多个；
接收将所述订单发送给负载压力最小的KPI统计模块，生成订单统计任务并开通数据接收管道；
将所述订单和数据接收管道的信息发送给XDR过滤模块以及XDR消费模块，得到订单确认信息；
将所述订单确认信息发送至应用客户端。
进一步，还包括：
实时接收各个XDR过滤模块和KPI统计模块上报的CPU、内存和订单任务数；
根据CPU-Memory负载均衡算法计算各个进程的负载值；
根据各个进程的负载值，确定负载压力最小的KPI统计模块。
进一步，还包括XDR消费模块的处理步骤，具体为：
获取各个XDR过滤模块的进程的负载值以及用于数据接收的端口资源；
从KAFKA集群消费XDR数据；
根据各个XDR过滤模块的进程的负载值，按网元进行XDR数据分流。
进一步，还包括XDR过滤模块的处理步骤，具体为：
接收XDR消费单元按网元分流过来的XDR数据；
接收订单信息和数据接收管道的信息；
根据订单信息中的过滤条件进行XDR数据的过滤；
将过滤得到的XDR数据添加上订单标识和监控区域标识后，发送给KPI统计模块；
定时上报XDR过滤模块的CPU、内存和订单任务数。
进一步，还包括KPI统计模块的处理步骤，具体为：
接收订单信息，对所述订单信息进行解析，得到订单指定的统计模型名称和统计粒度；
根据所述统计模型名称和统计粒度创建KPI统计任务；
接收XDR过滤模块发送的XDR数据；
根据所述XDR数据中的订单标识，将XDR数据分配给对应的KPI统计任务进行维度字段提取和指标实时统计；
每完成一个统计粒度的统计，实时输出KPI统计数据，并通过Socket实时推送给应用层；
定时上报KPI统计模块的CPU、内存和订单任务数。
进一步，所述KPI统计模块包括场景性能统计模型和场景业务统计模型；
所述场景性能统计模块包括小区维度和网络性能的指标，用于实现针对小区的实时网络监控和实时网络保障；
所述场景业务统计模型包括业务维度和数据业务的指标，用于实现针对APP的实时业务监控和实时业务保障。
进一步，所述小区维度包括但不限于统计时间、网络识别、场景区域ID、4GECI、4GEnode ID、2G/3G的位置区以及2G/3G/4G小区；
所述网络性能的指标包括但不限于EXTENDED SERVICE_MO_csfb请求数、EXTENDEDSERVICE_MO_csfb请求成功数、EXTENDED SERVICE_MO_csfb请求过程时延总数、EXTENDEDSERVICE_Mt_csfb请求数、EXTENDED SERVICE_Mt_csfb请求成功数、EXTENDED SERVICE_Mt_csfb请求过程时延总数、EPS附着请求次数、EPS附着成功次数、EPS附着拒绝次数、EPS附着总时延、联合附着请求次数、联合附着成功次数、联合附着拒绝次数、联合附着总时延、TAU请求次数、TAU成功次数、TAU拒绝次数、TAU过程总时延、EPS TAU请求次数、EPS TAU成功次数、EPS TAU拒绝次数、EPS TAU过程总时延、激活默认承载请求次数、激活默认承载成功次数、激活默认承载拒绝次数、激活默认承载总时延、E-RAB建立请求数、E-RAB建立成功数、Attach request会话数、Attach成功数、Attach总时延、sgsn内RAU请求会话数、sgsn内RAU成功会话数、sgsn内RAU总时延、sgsn间RAU请求会话数、sgsn间RAU成功会话数以及sgsn间RAU总时延；
所述业务维度包括但不限于统计时间、网络识别、场景区域ID、业务组ID和业务ID；
所述数据业务的指标包括但不限于总流量、会话数、用户数、TCP连接请求次数、TCP三步握手成功建立会话数、TCP链接成功总时长、HTTP的Get请求次数、HTTP的Get成功次数、HTTP的Get成功响应总时延、HTTP的Post请求次数、HTTP的Post成功次数、HTTP的Post成功响应总时延、HTTP请求次数、HTTP成功次数、HTTP成功响应总时延、下行流量大于500KB总流量、下行流量大于500KB总时长、下行流量小于30KB次数、下行流量小于30KB总时长、DNS请求次数、DNS成功次数、DNS总时延、DNS失败次数、DNS请求次数、DNS成功次数、DNS总时延、TCP连接请求次数、TCP三步握手成功建立会话数、TCP链接成功总时长、TCP建链第一步总时延、TCP建链第一步成功会话数、TCP建链第二步总时延、SYN+ACK次数、TCP建链第二步成功会话数、HTTP请求次数、HTTP的Get请求次数、HTTP的Post请求次数、HTTP成功次数、HTTP的Get成功次数、HTTP的Post成功次数、HTTP会话成功总时长、HTTP的Get成功响应总时延以及HTTP的Post成功响应总时延。
本发明的第二方面提供了一种基于通信XDR的重点区域监控方法，包括：
编写重点区域的监控订单；
向控制中心模块发送所述监控订单；
接收订单确认信息，根据订单确认信息中的IP和端口号，与KPI统计模块建立socket连接；
根据建立的socket接收订单数据；
对接收到的订单数据进行提取分析后通过显示界面进行展示。
本发明的第三方面提供了一种基于通信XDR的重点区域监控系统，包括应用客户端、控制中心模块、XDR消费模块、XDR过滤模块和KPI统计模块；
所述应用客户端用于：
编写重点区域的监控订单；
向控制中心模块发送所述监控订单；
接收订单确认信息，根据订单确认信息中的IP和端口号，与KPI统计模块建立socket连接；
根据建立的socket接收订单数据；
对接收到的订单数据进行提取分析后通过显示界面进行展示；
所述控制中心模块，用于：
接收应用客户端发送的重点区域监控订单；所述应用客户端的数量为一个或多个；
接收将所述订单发送给负载压力最小的KPI统计模块，生成订单统计任务并开通数据接收管道；
将所述订单和数据接收管道的信息发送给XDR过滤模块以及XDR消费模块，得到订单确认信息；
将所述订单确认信息发送至应用客户端；
所述XDR消费模块，用于：
获取各个XDR过滤模块的进程的负载值以及用于数据接收的端口资源；
从KAFKA集群消费XDR数据；
根据各个XDR过滤模块的进程的负载值，按网元进行XDR数据分流；
所述XDR过滤模块，用于：
接收XDR消费单元按网元分流过来的XDR数据；
接收订单信息和数据接收管道的信息；
根据订单信息中的过滤条件进行XDR数据的过滤；
将过滤得到的XDR数据添加上订单标识和监控区域标识后，发送给KPI统计模块；
定时上报XDR过滤模块的CPU、内存和订单任务数；
所述KPI统计模块，用于：
接收订单信息，对所述订单信息进行解析，得到订单指定的统计模型名称和统计粒度；
根据所述统计模型名称和统计粒度创建KPI统计任务；
接收XDR过滤模块发送的XDR数据；
根据所述XDR数据中的订单标识，将XDR数据分配给对应的KPI统计任务进行维度字段提取和指标实时统计；
每完成一个统计粒度的统计，实时输出KPI统计数据，并通过Socket实时推送给应用层；
定时上报KPI统计模块的CPU、内存和订单任务数。
本发明的第四方面提供了一种存储介质，其中存储有处理器可执行的指令，所述计算机可读存储介质存储有程序，所述程序被处理器执行完成如本发明第一方面或第二方面中所述的方法。
本发明的实施例能够同时接收多个应用客户端的监控订单，能够同时对多个重点区域进行监控；然后选用负载压力最小的KPI统计模块来进行订单统计任务，采用以进程为最小单位的部署方案，能够提升扩容灵活性并有效提升硬件资源的利用率。
进一步，本发明还通过在场景性能统计模型添加小区维度和各种网络性能相关指标，实现针对小区的实时网络监控和实时网络保障；通过在场景业务统计模型添加业务ID维度和各种数据业务相关的指标，实现针对APP的实时业务监控和实时业务保障。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的装置模块的处理流程图；
图2为本发明实施例的控制中心模块的处理流程示意图；
图3为本发明实施例的订单提交及数据推送协作流程示意图；
图4为本发明实施例的状态信息上报及获取协作流程示意图；
图5为本发明实施例的订单变动协作流程示意图；
图6为本发明实施例的XDR消费模块的处理流程图；
图7为本发明实施例的XDR过滤模块的处理流程图；
图8为本发明实施例的KPI统计模块的处理流程图；
图9为本发明实施例的系统部署架构图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参见图1，本方案的系统部署架构主要由应用客户端(Client)、控制中心模块(ControlCenter)、XDR消费模块(XdrConsumer)、XDR过滤模块(XdrFilter)和KPI统计模块(KpiRouter)组成，其中，各个模块的处理流程如图1所示。
具体地，应用客户端(Client)：负责编写重点区域监控订单，然后向ControlCenter提交提单。下单成功后，根据WebService返回的IP和端口号与KPI统计服务器建立socket连接，准备接收订单数据。最后，根据接收到的KPI数据，进行一定的提取分析后进行界面展示。ControlCenter可以支持一个或多个客户端同时连接，其中订单内容设计如表1所示：
表1
在一个实施例中，订单的XML格式如下：
<table name＝"stbAREA_APP"SubOrderId＝"订单ID"
timing_output＝"粒度(单位分钟)"
filter＝"场景区域ID＝xxxx and小区in(xxx,yyy,zzz,...)">
</table>
控制中心模块(ControlCenter)的具体算法逻辑如图2所示：通过WebService接口接收应用客户端下发的重点区域监控订单，并实时接收各个XdrFilter和KpiRouter模块上报的CPU、MEM和订单任务数，利用CPU-Memory负载均衡算法计算出各个进程的负载值F。控制中心通过对比所有的KpiRouter进程的负载值F，把订单分配给负载压力最小的KpiRouter使其生成订单统计任务并开通数据接收管道，然后把订单和管道信息分派给各个XdrFilter进行XDR过滤输出，最后向应用客户端发送订单确认信息(包含统计数据的推送IP和端口)。
其中，本发明实施例的CPU-Memory负载均衡算法算法根据CPU和内存使用率作为进程的关键负载能力指标，来计算进程的负载值F，利用CPU-Memory算法可以更准确地判断进程实际负载。能够改善目前常用的最少连接数(任务数)算法无法解决因不同任务请求消耗资源差异大而导致的进程实际负载不均衡的问题。
其中，CPU利用率和内存使用率的计算方法如下：
CPU利用率是根据/proc/stat文件中读取的信息计算得来的。获取的信息分别包括用户占用CPU的时间、系统内核占用时间和空闲进程占用时间，可通过空闲进程时间计算出CPU的未利用率，并因此计算得出CPU的使用率。
选取两个时刻t1、t2，用Ii表示ti时刻的空闲进程，Ci表示ti时刻的CPU。
空闲进程占用的百分比，即CPU未利用率：
I＝(I2-I1)/(C2-C1)*100％
CPU的利用率Fcpu:
Fcpu＝(1-I)*100％
内存的使用信息是从Linux系统中的/proc/meminfo中读取。内存利用率是通过Memtotal和Memfree两项来计算的。
内存利用率Fm的计算公式：
Fm＝(Memtotal-Memfree)/Memtotal*100％
F为进程的负载值，qi为个负载能力指标的比重系数(各个指标比重系数相加之和为1)。其中Fcpu表示CPU利用率，Fm表示内存使用率。则F的计算公式为：
F＝q1*Fcpu+q2*Fm。
由此，则可计算出各个进程的负载值。
控制中心作为调度中心，负责各模块的状态及资源信息的收集并协调各模块高效运行，主要包含以下几个关键协作流程：
(1)订单提交及数据推送协作流程；
具体地，如图3所示，应用客户端提交订单给控制中心模块，此时，XDR消费模块根据进程负载按网元对XDR数据进行分流；控制中心模块根据进程负载将订单分配给对应的KPI统计模块，KPI统计模块确认订单后，控制中心模块将KPI统计模块的管道信息和订单信息一起分配给各个进程，由XDR过滤模块向控制中心模块发送订单确认信息；XDR过滤模块按指定的管道信息将XDR数据推送给KPI统计模块；控制中心待KPI统计模块和XDR过滤模块对订单进行确认后，附上统计数据推送的IP和端口号一起将订单确认信息发回给应用客户端；应用客户端根据IP和端口号从KPI统计模块中获取KPI数据。
(2)状态信息上报及获取协作流程；
具体地，如图4所示，XDR过滤模块和KPI统计模块均定时向控制中心模块上报CPU、内存(MEM)和正在处理的订单数，同时，XDR过滤模块向控制中心模块报告监听的端口资源，KPI统计模块向控制中心模块报告数据接收和推送的端口资源；最终由XDR消费模块获取XDR过滤模块的负载值和端口资源。
(3)订单变动协作流程
具体地，如图5所示，KPI统计模块向控制中心模块发送应用客户端接入超时通知；控制中心模块向KPI统计模块反馈确认信息；控制中心模块向XDR过滤模块发送删除订单的指令；XDR过滤模块向控制中心模块反馈确认删除的信息；控制中心模块向KPI统计模块发送关闭订单统计任务和管道的指令；KPI统计模块向控制中心模块反馈确认关闭的信息。
参见图6，XDR消费模块(XdrConsumer)的处理流程为：从ControlCenter获取各个XdrFilter进程的负载值F以及用于数据接收的端口资源；从KAFKA集群消费XDR数据，根据各个XdrFilter进程的负载压力情况，按网元进行XDR数据分流。
参见图7，XDR过滤模块(XdrFilter)的处理流程为：接收XdrConsumer按网元分流过来的XDR数据；接收ControlCenter提交的订单信息(包含KpiRouter数据接收管道)，根据订单里的过滤条件进行XDR过滤；将过滤出来的XDR添加上订单ID和区域ID推送给KpiRouter；定时上报自身的CPU、MEM和订单任务数给ControlCenter。
参见图8，KPI统计模块(KpiRouter)的处理流程为：接收ControlCenter提交的订单并解释订单，根据订单指定的统计模型名称和统计粒度创建相应的KPI统计任务；接收从XdrFilter推送过来的XDR数据，并根据XDR里的订单ID将XDR分配给对应的KPI统计任务进行维度字段提取和指标实时统计；每完成一个统计粒度的统计，实时输出KPI统计数据，并通过Socket实时推送给应用层；定时上报自身的CPU、MEM和订单任务数给ControlCenter。
优选地，本发明实施例的KPI统计模块包含两种统计模型，分别是“场景性能统计模型”和“场景业务统计模型”。“场景性能统计模型”包含小区维度和各种网络性能相关指标，因此可以实现针对小区的实时网络监控和实时网络保障；“场景业务统计模型”包含业务ID(APP ID)维度和各种数据业务相关的指标，因此可以实现针对APP的实时业务监控和实时业务保障。
其中，场景性能统计模型的设计如表2所示：
表2
场景业务统计模型的设计如表3所示：
表3
/>
另外，本发明实施例的KPI统计模块推送给应用客户端的数据包称为DP包，其格式设计如下：
订单ID \n 统计模型名称 \n 数据大小 \n 统计数据 \n
其中，包头字段采用文本格式存储，"\n"为字段分隔符。
如图9所示，本发明实施例采用分布式部署架构，根据XDR流量规模，支持灵活调整XDR过滤模块的进程数，利用改进的负载均衡算法实现动态负载均衡，从而实现海量XDR实时过滤。根据应用客户端接入数量和重点区域监控订单数量，部署架构也支持灵活调整KPI统计模块的进程数，以满足实时统计和实时数据推送的性能要求。
系统部署架构以控制中心(ControlCenter)作为调度中心，控制下属的XDR消费进程(XdrConsumer)、XDR过滤进程(XdrFilter)和KPI统计进程(KpiRouter)的调度工作，关键功能的实现方法描述如下：
(1)收到重点区域监控订单后，控制中心(ControlCenter)选取负载压力较小的统计和过滤进程为该订单服务(以CPU-Memory负载均衡算法计算进程负载值)；
(2)某下属进程(过滤或统计进程)超时无响应，控制中心(ControlCenter)判定该进程故障，然后在后备进程中选取空闲者，把该进程的工作分派给空闲进程；
(3)动态扩容。要提高系统整体处理能力，只需增加设备，加建过滤或统计进程，并将其接入到控制中心(ControlCenter)。控制中心自动把新建进程添加到下属进程列表，扩大控制中心可调度下属进程数量，从而提高系统吞吐率。
本发明实施例还提供了一种基于通信XDR的重点区域监控方法，包括：
编写重点区域的监控订单；
向控制中心模块发送所述监控订单；
接收订单确认信息，根据订单确认信息中的IP和端口号，与KPI统计模块建立socket连接；
根据建立的socket接收订单数据；
对接收到的订单数据进行提取分析后通过显示界面进行展示。
本发明还提供了一种基于通信XDR的重点区域监控系统，包括应用客户端、控制中心模块、XDR消费模块、XDR过滤模块和KPI统计模块；
所述应用客户端用于：
编写重点区域的监控订单；
向控制中心模块发送所述监控订单；
接收订单确认信息，根据订单确认信息中的IP和端口号，与KPI统计模块建立socket连接；
根据建立的socket接收订单数据；
对接收到的订单数据进行提取分析后通过显示界面进行展示；
所述控制中心模块，用于：
接收应用客户端发送的重点区域监控订单；所述应用客户端的数量为一个或多个；
接收将所述订单发送给负载压力最小的KPI统计模块，生成订单统计任务并开通数据接收管道；
将所述订单和数据接收管道的信息发送给XDR过滤模块以及XDR消费模块，得到订单确认信息；
将所述订单确认信息发送至应用客户端；
所述XDR消费模块，用于：
获取各个XDR过滤模块的进程的负载值以及用于数据接收的端口资源；
从KAFKA集群消费XDR数据；
根据各个XDR过滤模块的进程的负载值，按网元进行XDR数据分流；
所述XDR过滤模块，用于：
接收XDR消费单元按网元分流过来的XDR数据；
接收订单信息和数据接收管道的信息；
根据订单信息中的过滤条件进行XDR数据的过滤；
将过滤得到的XDR数据添加上订单标识和监控区域标识后，发送给KPI统计模块；
定时上报XDR过滤模块的CPU、内存和订单任务数
所述KPI统计模块，用于：
接收订单信息，对所述订单信息进行解析，得到订单指定的统计模型名称和统计粒度；
根据所述统计模型名称和统计粒度创建KPI统计任务；
接收XDR过滤模块发送的XDR数据；
根据所述XDR数据中的订单标识，将XDR数据分配给对应的KPI统计任务进行维度字段提取和指标实时统计；
每完成一个统计粒度的统计，实时输出KPI统计数据，并通过Socket实时推送给应用层；
定时上报KPI统计模块的CPU、内存和订单任务数。
本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述计算机可读存储介质存储有程序，所述程序被处理器执行完成如本发明第一方面或第二方面中所述的方法。
综上所述，本发明的基于通信XDR的重点区域监控方法、系统和存储介质，弥补了现有技术中的区域监控方法只能针对特定的单个区域进行终端数量或人流量监控，实时性也无法保证。本方案采用松耦合的架构设计、改进的负载均衡算法、巧妙的KPI统计模型和易扩容的部署方案，保证了对海量XDR按场景区域的高效实时过滤和重点区域监控订单统计数据的实时输出，节约硬件资源的同时也实现了对重点区域的场景性能和场景业务秒级时延的真正实时监控。主要的技术优点如下：
1.通过在订单中指定场景区域与小区的对应关系，实现监控区域的自由切换，实现一个订单对多个重点区域的同时监控；采用提交订单的方式对重点区域进行监控激活，灵活控制重点区域监控的开始和结束。
2.基于CPU-Memory负载均衡算法实现动态负载均衡，解决了目前常用的最少连接数(任务数)算法因不同任务请求消耗资源差异大而导致的进程实际负载不均衡的问题。
3.采用控制中心统一进行信息收集和调度的架构设计方法，实现对下属模块(消费、过滤和统计)的动态负载均衡，保证系统监控调度智能化以及扩容部署灵活性。
4.采用XDR消费功能、XDR过滤功能和KPI统计功能模块分离的架构设计方法，并采用以进程为最小单位的部署方案，可通过新增性能瓶颈模块的处理进程来实现精准扩容，提升扩容灵活性并有效提升硬件资源利用率。
5.因为采用了以上高性能的架构设计方法，可实现对过滤后的XDR进行极小时间粒度(最小能支持1分钟粒度。限于数据量的压力，传统指标统计粒度为15分钟以上，“小区维度+业务ID维度”的指标统计为60分钟粒度)的指标统计。
6.通过在“场景性能统计模型”添加小区维度和各种网络性能相关指标，实现针对小区的实时网络监控和实时网络保障；通过在“场景业务统计模型”添加业务ID(APP ID)维度和各种数据业务相关的指标，实现针对APP的实时业务监控和实时业务保障。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于通信XDR的重点区域监控方法，其特征在于，包括：
接收应用客户端发送的重点区域监控订单；所述应用客户端的数量为一个或多个；
将所述订单发送给负载压力最小的KPI统计模块，生成订单统计任务并开通数据接收管道；
将所述订单和数据接收管道的信息发送给XDR过滤模块以及XDR消费模块，得到订单确认信息；
将所述订单确认信息发送至应用客户端。
2.根据权利要求1所述的一种基于通信XDR的重点区域监控方法，其特征在于，还包括：
实时接收各个XDR过滤模块和KPI统计模块上报的CPU、内存和订单任务数；
根据CPU-Memory负载均衡算法计算各个进程的负载值；
根据各个进程的负载值，确定负载压力最小的KPI统计模块。
3.根据权利要求1所述的一种基于通信XDR的重点区域监控方法，其特征在于，还包括XDR消费模块的处理步骤，具体为：
获取各个XDR过滤模块的进程的负载值以及用于数据接收的端口资源；
从KAFKA集群消费XDR数据；
根据各个XDR过滤模块的进程的负载值，按网元进行XDR数据分流。
4.根据权利要求3所述的一种基于通信XDR的重点区域监控方法，其特征在于，还包括XDR过滤模块的处理步骤，具体为：
接收XDR消费单元按网元分流过来的XDR数据；
接收订单信息和数据接收管道的信息；
根据订单信息中的过滤条件进行XDR数据的过滤；
将过滤得到的XDR数据添加上订单标识和监控区域标识后，发送给KPI统计模块；
定时上报XDR过滤模块的CPU、内存和订单任务数。
5.根据权利要求4所述的一种基于通信XDR的重点区域监控方法，其特征在于，还包括KPI统计模块的处理步骤，具体为：
接收订单信息，对所述订单信息进行解析，得到订单指定的统计模型名称和统计粒度；
根据所述统计模型名称和统计粒度创建KPI统计任务；
接收XDR过滤模块发送的XDR数据；
根据所述XDR数据中的订单标识，将XDR数据分配给对应的KPI统计任务进行维度字段提取和指标实时统计；
每完成一个统计粒度的统计，实时输出KPI统计数据，并通过Socket实时推送给应用层；
定时上报KPI统计模块的CPU、内存和订单任务数。
6.根据权利要求1-5任一项所述的一种基于通信XDR的重点区域监控方法，其特征在于，所述KPI统计模块包括场景性能统计模型和场景业务统计模型；
所述场景性能统计模型包括小区维度和网络性能的指标，用于实现针对小区的实时网络监控和实时网络保障；
所述场景业务统计模型包括业务维度和数据业务的指标，用于实现针对APP的实时业务监控和实时业务保障。
7.根据权利要求6所述的一种基于通信XDR的重点区域监控方法，其特征在于，
所述小区维度包括统计时间、网络识别、场景区域ID、4GECI、4G Enode ID、2G/3G的位置区以及2G/3G/4G小区；
所述网络性能的指标包括EXTENDED SERVICE_MO_csfb请求数、EXTENDED SERVICE_MO_csfb请求成功数、EXTENDED SERVICE_MO_csfb请求过程时延总数、EXTENDED SERVICE_Mt_csfb请求数、EXTENDED SERVICE_Mt_csfb请求成功数、EXTENDED SERVICE_Mt_csfb请求过程时延总数、EPS附着请求次数、EPS附着成功次数、EPS附着拒绝次数、EPS附着总时延、联合附着请求次数、联合附着成功次数、联合附着拒绝次数、联合附着总时延、TAU请求次数、TAU成功次数、TAU拒绝次数、TAU过程总时延、EPS TAU请求次数、EPS TAU成功次数、EPS TAU拒绝次数、EPS TAU过程总时延、激活默认承载请求次数、激活默认承载成功次数、激活默认承载拒绝次数、激活默认承载总时延、E-RAB建立请求数、E-RAB建立成功数、Attach request会话数、Attach成功数、Attach总时延、sgsn内RAU请求会话数、sgsn内RAU成功会话数、sgsn内RAU总时延、sgsn间RAU请求会话数、sgsn间RAU成功会话数以及sgsn间RAU总时延；
所述业务维度包括统计时间、网络识别、场景区域ID、业务组ID和业务ID；
所述数据业务的指标包括总流量、会话数、用户数、TCP连接请求次数、TCP三步握手成功建立会话数、TCP链接成功总时长、HTTP的Get请求次数、HTTP的Get成功次数、HTTP的Get成功响应总时延、HTTP的Post请求次数、HTTP的Post成功次数、HTTP的Post成功响应总时延、HTTP请求次数、HTTP成功次数、HTTP成功响应总时延、下行流量大于500KB总流量、下行流量大于500KB总时长、下行流量小于30KB次数、下行流量小于30KB总时长、DNS请求次数、DNS成功次数、DNS总时延、DNS失败次数、DNS请求次数、DNS成功次数、DNS总时延、TCP连接请求次数、TCP三步握手成功建立会话数、TCP链接成功总时长、TCP建链第一步总时延、TCP建链第一步成功会话数、TCP建链第二步总时延、SYN+ACK次数、TCP建链第二步成功会话数、HTTP请求次数、HTTP的Get请求次数、HTTP的Post请求次数、HTTP成功次数、HTTP的Get成功次数、HTTP的Post成功次数、HTTP会话成功总时长、HTTP的Get成功响应总时延以及HTTP的Post成功响应总时延。
8.一种基于通信XDR的重点区域监控方法，其特征在于，包括：
通过应用客户端编写重点区域的监控订单；
由所述应用客户端向控制中心模块发送所述监控订单；
通过所述控制中心模块将所述监控订单发送给负载压力最小的KPI统计模块，生成订单统计任务并开通数据接收管道；
通过所述控制中心模块将所述订单和数据接收管道的信息发送给XDR过滤模块以及XDR消费模块，得到订单确认信息；
通过所述应用客户端接收所述订单确认信息，根据所述订单确认信息中的IP和端口号，与所述KPI统计模块建立socket连接；
由所述应用客户端根据建立的socket接收订单数据；
通过所述应用客户端对接收到的订单数据进行提取分析后通过显示界面进行展示。
9.一种基于通信XDR的重点区域监控系统，其特征在于，包括应用客户端、控制中心模块、XDR消费模块、XDR过滤模块和KPI统计模块；
所述应用客户端用于：
编写重点区域的监控订单；
向控制中心模块发送所述监控订单；
接收订单确认信息，根据订单确认信息中的IP和端口号，与KPI统计模块建立socket连接；
根据建立的socket接收订单数据；
对接收到的订单数据进行提取分析后通过显示界面进行展示；
所述控制中心模块，用于：
接收应用客户端发送的重点区域监控订单；所述应用客户端的数量为一个或多个；
将所述订单发送给负载压力最小的KPI统计模块，生成订单统计任务并开通数据接收管道；
将所述订单和数据接收管道的信息发送给XDR过滤模块以及XDR消费模块，得到订单确认信息；
将所述订单确认信息发送至应用客户端；
所述XDR消费模块，用于：
获取各个XDR过滤模块的进程的负载值以及用于数据接收的端口资源；
从KAFKA集群消费XDR数据；
根据各个XDR过滤模块的进程的负载值，按网元进行XDR数据分流；
所述XDR过滤模块，用于：
接收XDR消费单元按网元分流过来的XDR数据；
接收订单信息和数据接收管道的信息；
根据订单信息中的过滤条件进行XDR数据的过滤；
将过滤得到的XDR数据添加上订单标识和监控区域标识后，发送给KPI统计模块；
定时上报XDR过滤模块的CPU、内存和订单任务数；
所述KPI统计模块，用于：
接收订单信息，对所述订单信息进行解析，得到订单指定的统计模型名称和统计粒度；
根据所述统计模型名称和统计粒度创建KPI统计任务；
接收XDR过滤模块发送的XDR数据；
根据所述XDR数据中的订单标识，将XDR数据分配给对应的KPI统计任务进行维度字段提取和指标实时统计；
每完成一个统计粒度的统计，实时输出KPI统计数据，并通过Socket实时推送给应用层；
定时上报KPI统计模块的CPU、内存和订单任务数。
10.一种计算机可读存储介质，其中存储有处理器可执行的指令，其特征在于，所述计算机可读存储介质存储有指令，所述指令被处理器执行完成如权利要求1-7或8中任一项所述的方法。
CN202010157644.7A 2020-03-09 2020-03-09 基于通信xdr的重点区域监控方法、系统和存储介质 Active CN111506469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010157644.7A CN111506469B (zh) 2020-03-09 2020-03-09 基于通信xdr的重点区域监控方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010157644.7A CN111506469B (zh) 2020-03-09 2020-03-09 基于通信xdr的重点区域监控方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN111506469A CN111506469A (zh) 2020-08-07
CN111506469B true CN111506469B (zh) 2023-07-21

Family

ID=71868993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010157644.7A Active CN111506469B (zh) 2020-03-09 2020-03-09 基于通信xdr的重点区域监控方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN111506469B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151193B (zh) * 2023-04-13 2023-10-24 北京瀚博网络科技有限公司 基于大数据和数字化工厂的数据管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536405A (zh) * 2014-12-16 2015-04-22 珠海格力电器股份有限公司 空调机组的远程监控系统
WO2015126469A1 (en) * 2014-02-21 2015-08-27 Dell Products L.P. Generic transcoding service
CN110233870A (zh) * 2019-04-26 2019-09-13 福州慧校通教育信息技术有限公司 一种班牌系统客户端长连接处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10333780B2 (en) * 2011-03-28 2019-06-25 Telefonaktiebolaget Lm Ericsson (Publ) Method, apparatus and computer program product for updating load balancer configuration data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126469A1 (en) * 2014-02-21 2015-08-27 Dell Products L.P. Generic transcoding service
CN104536405A (zh) * 2014-12-16 2015-04-22 珠海格力电器股份有限公司 空调机组的远程监控系统
CN110233870A (zh) * 2019-04-26 2019-09-13 福州慧校通教育信息技术有限公司 一种班牌系统客户端长连接处理方法及装置

Also Published As

Publication number Publication date
CN111506469A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
US9307016B2 (en) Mobile device workload management for cloud computing using SIP and presence to control workload and method thereof
EP2661020B1 (en) Adaptive monitoring of telecommunications networks
CN103369601B (zh) 为手机客户端提供大并发处理及流量控制的方法
CN109819057A (zh) 一种负载均衡方法及系统
CN109714648A (zh) 一种视频流负载均衡方法和装置
US20230239227A1 (en) User Plane Function Selection Based on Per Subscriber CPU and Memory Footprint for Packet Inspection
CN105007337A (zh) 集群系统负载均衡的方法和系统
US20090201824A1 (en) Estimating endpoint performance in unified communication systems
CN106791889A (zh) 一种视频处理方法及系统、分布式对象存储系统
CN109656685A (zh) 容器资源调度方法和系统、服务器及计算机可读存储介质
JP2006202218A (ja) 配信サービスにおける品質情報提供方法及びシステム
US11330112B2 (en) Charging and collection function in microservices
CN110944061A (zh) 内容分发网络调度方法、装置、计算机设备及存储介质
CN111506469B (zh) 基于通信xdr的重点区域监控方法、系统和存储介质
CN111796935B (zh) 调用日志信息的消费实例分配方法及系统
CN106789853A (zh) 一种转码器的动态调度方法及装置
CN106209990A (zh) 一种分布异地云数据中心下成本可感知的请求调度方法
CN103442034B (zh) 一种基于云计算技术的流媒体服务方法和系统
Gao et al. Minimizing resource cost for camera stream scheduling in video data center
CN109413117A (zh) 分布式数据计算方法、装置、服务器及计算机存储介质
WO2013189421A2 (zh) 分布式的话单统计方法、装置以及系统
US20180039672A1 (en) Method and apparatus for answering queries based on partial aggregations of a continuous data stream
Nicolaescu et al. Edge data repositories-the design of a store-process-send system at the edge
WO2022001480A1 (zh) 热门应用识别方法、网络系统、网络设备及存储介质
CN111737297B (zh) 链路聚合调用信息的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 510630 room 1101, building 1, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province (office use only)

Patentee after: Guangdong Yitong Lianyun Intelligent Information Co.,Ltd.

Address before: 510630 building 1101, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: YITONG CENTURY INTERNET OF THINGS RESEARCH INSTITUTE (GUANGZHOU) Co.,Ltd.

CP03 Change of name, title or address