CN113328906A - 一种流量实时监控方法、装置、存储介质及电子设备 - Google Patents

一种流量实时监控方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113328906A
CN113328906A CN202110436429.5A CN202110436429A CN113328906A CN 113328906 A CN113328906 A CN 113328906A CN 202110436429 A CN202110436429 A CN 202110436429A CN 113328906 A CN113328906 A CN 113328906A
Authority
CN
China
Prior art keywords
time
flow
node
service
preset unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110436429.5A
Other languages
English (en)
Other versions
CN113328906B (zh
Inventor
罗伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Oppo Communication Technology Co ltd
Original Assignee
Chengdu Oppo Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Oppo Communication Technology Co ltd filed Critical Chengdu Oppo Communication Technology Co ltd
Priority to CN202110436429.5A priority Critical patent/CN113328906B/zh
Publication of CN113328906A publication Critical patent/CN113328906A/zh
Application granted granted Critical
Publication of CN113328906B publication Critical patent/CN113328906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开了一种流量实时监控方法、装置、存储介质及电子设备,其中,方法包括:分布式网络平台控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据,基于同一上报时间点接收各所述服务节点上报的所述节点流量数据,将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。采用本申请实施例,可以提高流量监控的准确性。

Description

一种流量实时监控方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种流量实时监控方法、装置、存储介质及电子设备。
背景技术
随着网络时代特别是宽带时代的到来,网络中用户越来越多,用户的需求也多种多样,对网络的要求产生巨大的压力;而分布式网络的产生具有极大的意义,分布式网络是由分布在不同地点且具有多个服务节点互连而成,分布式网络具有更高的效率及安全性。
在基于分布式网络的业务服务(如语音翻译服务、音频服务)场景中,常会涉及到对分布式网络中的网络流量进行监控,网络流量是网络业务的最直接的能够直接反映网络性能的好坏。
发明内容
本申请实施例提供了一种流量实时监控方法、装置、存储介质及电子设备,所述技术方案如下:
第一方面,本申请实施例提供了一种流量实时监控方法,所述方法包括:
控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据;
基于同一上报时间点接收各所述服务节点上报的所述节点流量数据;
将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
第二方面,本申请实施例提供了一种流量实时监控装置,所述装置包括:
数据统计模块,用于控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据;
数据接收模块,用于基于同一上报时间点接收各所述服务节点上报的所述节点流量数据;
流量综合模块,用于将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,分布式网络平台通过控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据并立即上报,这样可基于同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据,将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。在本申请中基于预设单位级时间为基准,采用每个预设单位级时间分别上报或统计在一个预设单位级时间内所对应的流量的方式在每个预设单位级时间服务节点完成统计就立即上报流量,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量监控更精准,可以实现及时反馈分布式网络平台内部节点流量状态。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种流量实时监控方法的流程示意图;
图2是本申请实施例提供的另一种流量实时监控方法的流程示意图;
图3是本申请实施例提供的另一种流量实时监控方法的流程示意图;
图4是本申请实施例提供的一种用于流量实时监控的分布式网络系统的架构示意图;
图5是本申请实施例提供的一种流量实时监控装置的结构示意图;
图6是本申请实施例提供的一种数据统计模块的结构示意图;
图7是本申请实施例提供的一种数据统计单元的结构示意图;
图8是本申请实施例提供的另一种流量实时监控装置的结构示意图;
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中,如图1所示,特提出了一种流量实时监控方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的流量实时监控装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
具体的,该流量实时监控方法包括:
S101:控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据。
在本申请中,分布式网络平台包含至少一个服务节点,并通过通信网络与各服务节点相关联,分布式网络平台对应的服务节点的数量基于实际业务环境下的业务服务需求确定;分布式网络平台对外提供多种网络业务服务,客户端可以访问分布式网络平台来请求所提供的网络业务服务;
实际实施中,分布式网络平台所包含的的任一服务节点均可为客户端上的用户提供特定的服务(如语音助手服务、云计算服务、视频服务等等),客户端通常可通过访问服务节点来获取分布式网络平台的网络业务服务,在这个请求网络业务服务的过程中,就会随之产生当前访问的网络业务服务的业务请求流,业务请求流的请求类型可以是上行业务数据、下行业务数据等类型。
网络业务服务可以为客户端上自动触发或由用户所触发的一种特定的意向服务,具体服务类型可根据实际应用环境中分布式网络平台或客户端的开发者开发并确定,此处不作具体限定。
在一种具体的实施场景中,用户通过操作客户端(如操作手机上的智能语音助手),在客户端上针对智能语音服务发起服务请求操作,如呼叫智能语音助手查询今天的天气,此时客户端监测到服务请求操作,针对智能语音服务生成业务服务请求,基于客户端与分布式网络平台之间的通信连接向分布式网络发起业务服务请求,分布式网络平台可以基于一定的请求分配策略(如随机分配、定向分配等等),由分布式网络平台上的某一服务节点对业务服务请求进行处理,所述“某一服务节点”即响应该请求的业务节点,其中,所述请求分配策略可参考相关技术中的有关内容,此处不再赘述。此时,分布式网络上的“某一服务节点”接收客户端针对智能语音服务的业务服务请求,对业务服务请求求进行响应,生成业务服务数据发送至客户端;前述业务服务请求、业务服务数据均承载与业务请求流,也即以业务数据流的形式流转于分布式网络平台和客户端之间。
进一步的,业务请求流可以理解为与通信网络协议相关的由多个数据包构成的数据流,如业务请求流可以是完整的一次TCP\IP链接所对应的包含多个数据包,在实际应用中,从开始的SYN包到最后断开连接的第四次握手的ACK包,从TCP\IP链接建立链接释放(关闭),在这个过程中所产生的所有数据包集合统称为一条数据请求流,通常数据请求流的负载也就是除去所有的协议头所剩下的数据,是描述完整的一次动作(服务器server和客户端client交互的数据),从方向上来说,同方向的数据包的IP和端口都是一致的。
所述预设单位级时间可以理解为流量量化的时间单位,在本申请中常见的单位级时间至少可以是单位秒对应的秒级时间、单位毫秒对应的毫秒、单位微秒对应的微秒时间等等。而预设单位级时间可以理解为本申请中用于实时流量监测所涉及预设的流量统计时间单位,假设实时流量监测以一个单位毫秒所流经的流量来量化,则预设单位级时间即为毫秒级时间,可以理解为一个毫秒的时间。假设实时流量监测以一个单位秒所流经的流量来量化,则预设单位级时间即为秒级时间,可以理解为一秒的时间。在本申请中不采用相关技术中区间性流量统计方式,如统计一段时间来求平均值,而是基于预设单位级时间的技术构思,采用每个预设单位级时间分别上报或统计在一个预设单位级时间内所对应的流量的方式进行流量统计;进一步的,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量计算更精准。在一些实施方式中,所述预设单位级时间通常可以是秒级。
所述流量可以理解为基于业务请求的业务过程中流量统计对象(如服务节点)数据发送和数据接收的数据量总和,常用统计单位为字节(Byte)。
具体的,分布式网络平台中的服务节点可采用原子计数的方式对流经当前服务节点至少一条业务请求流进行监测以及对各条业务请求流进行流量统计。进一步的,分布式网络平台可控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据
其中,原子计数方式包括原子递增和原子递减计数方式,具体可基于实际应用环境确定。
在本申请中,每当服务节点接收到一条业务请求,则采用原子计数的方式通过预先创建的计数器进行一次累加操作或累减操作;其中,累加操作即为对流量进行正向统计,每接收到一条业务请求,对应的流量值加1,相当于对接收到的业务请求进行累加计数;累减操作,示意性地,可以适用于目标业务场景,例如,客户购买了10万的流量,那么会初始设置10万的数值,每接收到一条业务请求,对应的流量值减1,直到购买的流量消耗完毕。
在本申请中,常以预设单位级时间为基准,在服务节点上每个预设单位级时间均对应一个流量监测任务,在预设单位级时间内服务节点对访问接口的业务请求流进行流量监测,并在流量监测过程中通过预先创建的计数器对访问接口的业务请求流进行流量统计,这样可对应确定在每个预设单位级时间内流经服务节点的业务请求流的节点流量数据。进一步的,在本申请中在每个预设单位级时间对应的时间结束之后服务节点将各自统计的节点流量数据进行流量数据上报。
在实际应用中,流量可以为每单位级时间查询率、也可以是每单位级时间事务数。每单位级时间查询率即服务节点在当前单位级时间内接受到的业务查询请求的数量,事务则是客户端向服务节点发送请求且服务节点根据请求做出相应的过程。
在一种具体的实施方式中,以预设单位级时间为基准,在服务节点上每个预设单位级时间均对应一个流量监测任务,服务节点统计所述业务请求流的节点流量,也即在一个预设单位级时间内所流经服务节点的业务请求流的节点流量,并确定当前所述预设单位级时间对应的数据时间戳,然后生成包含所述数据时间戳以及所述节点流量的节点流量数据。数据时间戳作为一个数据电子凭证,用于对预设单位级时间内统计的数据流量的统计时间进行认证。进一步的,节点流量数据携带数据时间戳可方便后续分布式网络平台的流量数据管理、流量数据存储,
S102:基于同一上报时间点接收各所述服务节点上报的所述节点流量数据。
具体的,分布式网络平台所包含的至少一个服务节点在预设单位级时间内对访问接口的业务请求流进行流量监测,并在流量监测过程中通过预先创建的计数器对访问接口的业务请求流进行流量统计,得到在当前预设单位级时间内流经服务节点的业务请求流的节点流量数据之后,各服务节点将节点流量数据上报至分布式网络平台,这样分布式网络平台就会就收到内部各服务节点上报的节点流量数据。进一步的,由于在本申请中,采用预设单位级时间进行流量监测,且在每个预设单位级时间结束之后,各服务节点立即同时上传当前统计的节点流量数据,这样对于分布式网络平台而言,通常可在同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据。例如,分布式网络平台在时间点t0同时接收到各服务节点同时上报(在当前预设单位级时间结束各服务节点同时上报)的所述节点流量数据。
S103:将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
所述平台综合流量反馈整个分布式网络平台的流量速率,也即以预设单位级时间为基准,分布式网络平台的流量速率(并非分布式网络平台的总流量值)。
具体的,各服务节点以预设单位级时间为基准进行流量统计,实时流量上报,在本申请中不采用相关技术中区间性流量统计方式,如统计一段时间来求平均值,而是基于预设单位级时间的技术构思,采用每个预设单位级时间控制各服务节点分别上报或统计在一个预设单位级时间内所对应的流量的方式进行流量统计上报;进一步的,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量计算更精准。在一些实施方式中,所述预设单位级时间通常可以是秒级。实际实施方式中,由于节点流量数据采集以预设单位级时间为基准,则分布式网络平台可直接对各节点流量数据进行流量加和即可,从而实现对各所述节点流量数据进行流量综合,加和的总流量即当前分布式网络平台的在预设单位级时间内的平台综合流量。平台综合流量时间细腻度精准到一个预设单位级时间,整个流量统计流量综合不需要进行统计等待,且通常可在同一上报时间点接收到内部服务节点上报的节点流量数据,从而可快速精准的算出平台综合流量。
在一些实施场景中,随着时间推移,分布式网络平台可对内部各服务节点的流量数据进行存储,基于一段时间的多个节点流量数据,可生成针对服务节点或平台的一条完整的实时流量统计链路。并且可以对这些节点流量数据以及平台综合流量进行数据汇总,形成完整的数据流量图表。
在本申请实施例中,分布式网络平台通过控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据并立即上报,这样可基于同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据,将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。在本申请中基于预设单位级时间为基准,采用每个预设单位级时间分别上报或统计在一个预设单位级时间内所对应的流量的方式在每个预设单位级时间服务节点完成统计就立即上报流量,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量监控更精准,可以实现及时反馈分布式网络平台内部节点流量状态。
请参见图2,图2是本申请提出的一种流量实时监控方法的另一种实施例的流程示意图。具体的:
S201:在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间。
根据一些实施例中,分布式网络平台以预设单位级时间为基准,在服务节点上每个预设单位级时间均对应设置一个流量定时上报任务,流量定时上报任务可具备流量监测、流量统计、流量上报、定时触发等功能,并设置所述流量定时上报任务对应的预设单位级时间;
在一些实施方式中,可将流量定时上报任务生存周期设置为至少大于一个预设单位时间对应的时间,并具体对流量定时上报任务对应的任务参数-预设单位级时间进行配置,本申请中预设单位级时间可用于实时流量监测所涉及预设的流量统计时间单位,假设实时流量监测以一个单位毫秒所流经的流量来量化,则预设单位级时间即为毫秒级时间,可以理解为一个毫秒的时间。假设实时流量监测以一个单位秒所流经的流量来量化,则预设单位级时间即为秒级时间,可以理解为一秒的时间。服务节点通过执行流量定时上报任务,在预设单位级时间内服务节点对访问接口的业务请求流进行流量监测,并在流量监测过程中通过预先创建的计数器对访问接口的业务请求流进行流量统计,这样可对应确定在每个预设单位级时间内流经服务节点的业务请求流的节点流量数据。
进一步的,在本申请中在每个预设单位级时间对应的时间结束之后服务节点基于定时上报任务可将各自统计的节点流量数据进行流量数据上报。
具体的,分布式网络平台可向平台内部各服务节点发送任务创建指令,任务创建指令携带预设单位级时间(如预设单位级时间为秒、毫秒等),平台内部各服务节点接收并响应任务创建指令,在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间之后,流量定时上报任务的基本参数-预设单位级时间之后,服务节点可确定所述流量定时上报任务的统计时间段。
其中,统计时间段可理解为流量定时上报任务的任务生存周期,流量定时上报任务生存周期通常为至少大于一个预设单位时间对应的时间,具体可进一步基于实际环境确定。可参见S202。
S202:确定所述流量定时上报任务的参考统计时间段,以及分别获取各所述服务节点的差异上报时间;
所述参考统计时间段的统计时间等于所述预设单位级时间指示的单位统计时间。
在实际应用中,会存在由于各服务节点的性能、负载存在个体差异,以及内部服务节点与分布式网络服务平台之间通信网络存在网络抖动等因素,为了各服务节点统计完在所述预设单位级时间内针对所述业务请求流的节点流量数据之后,在节点流量数据上报过程中,减低上报延迟,本申请中还可对流量定时上报任务的统计时间段进行适当延长,以缓解服务节点上报任务的迫切度,并且还能保证分布式网络平台接收到各服务节点同时上报的节点流量数据的时间点一致或时间误差在可接收到的范围内。
具体的,分布式网络平台在控制服务节点创建每个预设单位级时间对应的流量定时上报任务的过程中,流量定时上报任务对应的默认流量统计时间段即前述涉及到的参考统计时间段,由于流量定时上报任务设置为一个预设单位级时间,因此,流量定时上报任务对应的默认流量统计时间段(也即参考统计时间段)通常为一个预设单位级时间指示的时间段,如1秒。
所述差异上报时间可以理解为某一服务节点在历次流量上报过程中相对于其他服务节点的差异时间,通常为反馈个体相对于个体所处整体的时间差异程度,如相对于其他服务节点上报的时间均差值等,在一些实施方式中,差异上报时间的确定可以是:当前“某一服务节点”相对于内部其他服务节点的时间均差,确定方式可以是分布式网络平台统计所有服务节点的上报时间值确定上报时间平均值,然后将当前“某一服务节点”的实际上报时间值与上报时间平均值的差值作为差异上报时间。
在本申请中,将差异上报时间纳入对参考统计时间段的时间范围调节的参考,考虑到服务器性能或网络导致上报时间存在差异性,这样预期为上报t0时间统计的流量就会来不及统计或完成上报,基于此本申请对参考统计时间段进行时间补偿;具体可参见步骤S203。
S203:基于所述差异上报时间对所述参考统计时间段进行时间补偿处理,得到针对所述流量定时上报任务的统计时间段;
其中,经时间补偿处理,流量定时上报任务的统计时间段的统计时长通常至少大于一个预设单位级时间指示的单位时长,如大于1s。假设参考统计时间段对应的统计起始点为t0,参考统计时间段对应的统计结束点为t1。
一种时间补偿处理方式可以是基于差异上报时间,保持统计起始点为t0不变,将统计结束点t1延迟,如在统计结束点t1上基于差异上报时间加上一个时间偏移值,从而使得统计时间段的统计时长大于所述预设单位级时间指示的单位时长。
一种时间补偿处理方式可以是基于差异上报时间,保持统计结束点t1不变,将统计起始点t0推前,如在统计起始点为t0上基于差异上报时间减去一个时间偏移值,从而使得统计时间段的统计时长大于所述预设单位级时间指示的单位时长。另外,在此种补偿处理方式中,统计起始点t0推前可理解为服务节点将历史统计的流量数据纳入参考,由于本申请中流量实时监控精确到一个预设单位级时间,平台综合流量的确定时间较短,精度也较高,将之前的少量历史统计流量数据纳入参考并不会大幅影响到平台综合流量的误差,误差程度处于可控制范围内。
一种时间补偿处理方式可以是基于差异上报时间,将统计结束点t1延迟,将统计起始点t0推前,如在统计起始点为t0上基于差异上报时间减去一个时间偏移值,在统计结束点t1上基于差异上报时间加上一个时间偏移值。
另外,在本申请中,经时间补偿处理后的统计时间段虽然流量统计会超过一个预设单位级时间,但是在最后流量上报阶段仅从统计时间段选取预设单位级时间指示的目标时间段上报,如统计时间段是1.8秒、2秒、3秒,但是目标时间段只选取预设单位级时间指示的1秒。
另外,时间补偿处理过程,基于差异上报时间确定时间偏移值,按照上述方式进行时间补偿,实际实施中,差异上报时间可与时间偏移值存在预设映射关系,一个差异上报时间对应一个时间偏移值,则基于预设映射关系可快速确定时间偏移值;实际实施中,差异上报时间可与时间偏移权重拟合,如差异上报时间乘以一个时间偏移权重,乘积即为时间偏移值。其中,时间偏移权重基于实际应用环境采用大量样本数据确定。
在一种具体的实施方式中:分布式网络服务平台在历次流量上报过程中获取到针对服务节点的差异上报时间之后,可对差异上报时间进行时间差异判决,判决差异上报时间的偏离是否过高,具体实施中可设置针对差异上报时间的时间阈值,通过将差异上报时间和时间阈值进行比较,当差异上报时间大于时间阈值时,认为时间偏离高,此时确定所述差异上报时间大于时间阈值的同时,执行下一步基于所述差异上报时间确定时间偏移值的步骤,通过确定时间偏移值来对参考统计时间段进行时间点偏移处理,得到偏移处理后的的目标时间段,此时该目标时间段即为所述流量定时上报任务的统计时间段;
可选的,前述确定统计时间段的过程可以是在分布式网络平台确定后,分布式网络平台将统计时间段下发至相应的服务节点,以指示服务节点设置流量定时上报任务的统计时间段,以便后续基于该统计时间段的时间进行流量统计。
可选的,分布式网络平台基于所述差异上报时间确定时间偏移值之后,将时间偏移值下发至相应的服务节点,以指示服务节点设置流量定时上报任务的统计时间段,以便后续基于该统计时间段的时间进行流量统计。
通常统计时间段的统计时长大于所述预设单位级时间指示的单位时长。
S204:控制各所述服务节点获取在所述统计时间段内的业务请求流,并基于所述预设单位级时间统计所述业务请求流的节点流量数据。
具体的,分布式服务平台经执行步骤S201-S203完成指示内部各服务节点创建流量定时上报任务并配置成功后,则获取在所述统计时间段内的业务请求流,并统计所述统计时间段内的业务请求流所对应的参考流量;经时间补偿处理后的统计时间段虽然流量统计得到的参考流量会超过一个预设单位级时间的流量,但是在最后流量上报阶段仅从统计时间段选取预设单位级时间指示的目标流量上报,如统计时间段是1.8秒、2秒、3秒,但是目标时间段只选取预设单位级时间指示的1秒的流量进行上报。
选取方式可以是在统计时间段对应的时间轴上,任意确定两个选取时间点,只要两个选取时间点对应的时间差值等于一个预设单位级时间即可。然后从所述统计时间段的所述参考流量中确定一个所述预设单位级时间指示的目标流量,也就是从统计时间段的所述参考流量中截取前述“两个选取时间点”对应的时间段内的流量,即为目标流量。
分布式服务平台内部的服务节点然后基于所述目标流量确定所述业务请求流的节点流量数据。实际实施中,完成统计在所述预设单位级时间内针对所述业务请求流的节点流量的过程中,可获取当前所述预设单位级时间对应的数据时间戳,生成包含所述数据时间戳以及所述节点流量的节点流量数据。
S205:基于同一上报时间点接收各所述服务节点上报的所述节点流量数据;将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
具体可参见步骤S101-S103,此处不再赘述。
在本申请实施例中,分布式网络平台通过控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据并立即上报,这样可基于同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据,将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。在本申请中基于预设单位级时间为基准,采用每个预设单位级时间分别上报或统计在一个预设单位级时间内所对应的流量的方式在每个预设单位级时间服务节点完成统计就立即上报流量,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量监控更精准,可以实现及时反馈分布式网络平台内部节点流量状态。
请参见图3,图3是本申请提出的一种流量实时监控方法的另一种实施例的流程示意图。具体的:
S301:在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间。
具体可参见S201,此处不再赘述。
S302:确定所述流量定时上报任务的统计时间段,控制各所述服务节点获取在所述统计时间段内的业务请求流,并基于所述预设单位级时间统计所述业务请求流的节点流量数据。
其中,所述统计时间段可以是流量定时上报任务的默认时间段,也可以是通过执行步骤S202-S203确定的统计时间段。
S303:确定各所述服务节点对应的差异上报时间。
根据一些实施例中,所述差异上报时间可以理解为某一服务节点在历次流量上报过程中相对于其他服务节点的差异时间,通常为反馈个体相对于个体所处整体的时间差异程度,如相对于其他服务节点上报的时间均差值等,在一些实施方式中,差异上报时间的确定可以是:当前“某一服务节点”相对于内部其他服务节点的时间均差,确定方式可以是分布式网络平台统计所有服务节点的上报时间值确定上报时间平均值,然后将当前“某一服务节点”的实际上报时间值与上报时间平均值的差值作为差异上报时间。
在本申请中,将差异上报时间纳入对默认上传时间点调节的参考,考虑到服务器性能或网络导致上报时间存在差异性,这样预期为上报t0时间统计的流量就会来不及统计或完成上报,基于此本申请对默认上传时间点进行修正,以便分布式网络平太可同时在同一上报时间点接收各所述服务节点上报的所述节点流量数据。
S304:基于各所述服务节点对应的差异上报时间,对所述服务节点上的流量定时上报任务所对应的默认上传时间点进行修正处理,得到所述服务节点对应的数据上传时间点。
默认上传时间点基于流量定时上报任务的预设单位级时间确定,通常流量定时上报任务的任务结束点即为默认上传时间点,考虑到服务器性能或网络导致上报时间存在差异性,因此需基于默认上传时间点进行时间点修正;
在一些实施方式中,通常修正后的时间点可滞后于默认上传时间点,修正处理过程可基于差异上报时间确定一个时间点偏移值,修正即为在默认上传时间点的基础上加上一个时间点偏移值;
在一些实施方式中,通常修正后的时间点可在默认上传时间点之前,修正处理过程可基于差异上报时间确定一个时间点偏移值,修正即为在默认上传时间点的基础上减去一个时间点偏移值;
可选的,步骤S303-S304与步骤S302可以是并行执行的。
实际实施中,差异上报时间可与时间点偏移值存在预设映射关系,一个差异上报时间对应一个时间点偏移值,则基于预设映射关系可快速确定时间点偏移值;实际实施中,差异上报时间可与时间点偏移权重拟合,如差异上报时间乘以一个时间点偏移权重,乘积即为时间点偏移值。其中,时间偏移点权重基于实际应用环境采用大量样本数据确定。
S305:控制各所述服务节点在所述数据上传时间点上报所述节点流量数据,所述数据上传时间点用于所述分布式网络平台在同一上报时间点同时接收到每个所述服务节点上报的所述节点流量数据。
具体的,各服务节点分别确定数据上传时间点通常不一样,在不一样的数据上传时间点,分布式网络平台内部的所有服务节点进行节点流量数据上报,这样可保障分布式网络平台在同一上报时间点同时接收到每个所述服务节点上报的所述节点流量数据。
S306:基于同一上报时间点接收各所述服务节点上报的所述节点流量数据;将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
在一种具体的实施方式中,分布式网络平台在确定平台综合流量之后,可以基于所述平台综合流量和各所述服务节点上报的节点流量数据,制定调度分配策略,在当前所述预设单位级时间对应的下一时间段内将流经所述分布式网络平台的服务请求总流量进行调度分配。
在一种可行的实施方式中,可基于所述平台综合流量和各所述服务节点上报的节点流量数据重新确定流经各服务节点的流量占比,基于流量占比进行流量调度分配。
在本申请实施例中,分布式网络平台通过控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据并立即上报,这样可基于同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据,将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。在本申请中基于预设单位级时间为基准,采用每个预设单位级时间分别上报或统计在一个预设单位级时间内所对应的流量的方式在每个预设单位级时间服务节点完成统计就立即上报流量,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量监控更精准,可以实现及时反馈分布式网络平台内部节点流量状态。
请参见图4,为本申请实施例提供的一种用于流量实时监控的分布式网络系统的架构示意图。所述分布式网络系统1000可以包括分布式网络平台110和分布式网络平台110所包含的服务节点集群构成,所述服务节点集群包括多个服务节点,如图4所示,具体包括服务节点1、服务节点2...服务节点n,n为大于0的整数。
所述分布式网络平台110以及服务节点集群中的各服务节点可以是单独的服务器设备,例如:机架式、刀片、塔式、或者机柜式的服务器设备,也可以采用工作站、大型计算机、等具备较强计算能力硬件设备,也可以采用多个服务器组成的服务器集群,所述服务集群中的各服务器可以是以对称方式组成的,其中每台服务器在业务链路中功能等价、地位等价,各服务器均可单独对外提供服务,所述单独提供服务可以理解为无需另外的服务器的辅助。
所述服务节点集群中的各服务节点通过网络与分布式网络平台110进行通信,网络可以是无线网络,也可以是有线网络,无线网络包括但不限于蜂窝网络、无线局域网、红外网络或蓝牙网络,有线网络包括但不限于以太网、通用串行总线(universal serialbus,USB)或控制器局域网络。
分布式网络平台110对外提供多种网络业务服务,分布式网络系统1000外的客户端可以访问分布式网络平台1100来请求所提供的网络业务服务;
实际实施中,分布式网络平台110所包含的的任一服务节点i(i为不大于n的整数)均可为客户端上的用户提供特定的服务(如语音助手服务、云计算服务、视频服务等等),客户端通常可通过访问服务节点i来获取分布式网络平台110的网络业务服务,在这个请求网络业务服务的过程中,就会随之产生当前访问的网络业务服务的业务请求流,业务请求流的请求类型可以是上行业务数据、下行业务数据等类型。
在一种具体的实施场景中,用户通过操作客户端(如操作手机上的智能语音助手),在客户端上针对语音翻译服务发起服务请求操作,如呼叫语音翻译助手查询翻译,此时客户端监测到服务请求操作,针对语音翻译服务生成业务服务请求,基于客户端与分布式网络平台110之间的通信连接向分布式网络110发起业务服务请求,分布式网络平台可以基于一定的请求分配策略(如随机分配、定向分配等等),由分布式网络平台上的服务节点i对业务服务请求进行处理,所述服务节点i即响应该请求的业务节点,其中,所述请求分配策略可参考相关技术中的有关内容,此处不再赘述。此时,分布式网络上的服务节点i接收客户端针对智能语音服务的业务服务请求,对业务服务请求求进行响应,生成业务服务数据发送至客户端;前述业务服务请求、业务服务数据均承载与业务请求流,也即以业务数据流的形式流转于分布式网络平台110和客户端之间。
在实施场景中,所述分布式网络平台110可以控制所包含的至少一个服务节点(如服务节点1...服务节点n)监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据;
分布式网络平台110所包含的各个服务节点(如服务节点1...服务节点n)在预设单位级时间内对访问接口的业务请求流进行流量监测,并在流量监测过程中通过预先创建的计数器对访问接口的业务请求流进行流量统计,得到在当前预设单位级时间内流经服务节点的业务请求流的节点流量数据之后,各服务节点(如服务节点1...服务节点n)将节点流量数据上报至分布式网络平台110,这样分布式网络平台110就会就收到内部各服务节点(如服务节点1...服务节点n)上报的节点流量数据。进一步的,由于在本申请中,采用预设单位级时间进行流量监测,且在每个预设单位级时间结束之后,各服务节点(如服务节点1...服务节点n)立即同时上传当前统计的节点流量数据,这样对于分布式网络平台1100而言,通常可在同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据。例如,分布式网络平台110在时间点t0同时接收到各服务节点(如服务节点1...服务节点n)同时上报(在当前预设单位级时间结束各服务节点同时上报)的所述节点流量数据。
分布式网络平台110将各所述节点流量数据进行流量综合处理,就可以得到当前所述预设单位级时间内的平台综合流量。
需要说明的是,本实施例与前述至少一个方法实施例为同一技术构思,在本实施例仅对涉及到的用于流量实时监控的分布式网络系统的架构场景进行释义,其余未涉及部分可参考本申请的至少一个方法实施例获悉,此处不再进行赘述。
请参见图5,其示出本申请实施例的流量实时监控装置的结构示意图。该流量实时监控装置1可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。根据一些实施例,该流量实时监控装置1包括数据统计模块11、数据接收模块12和流量综合模块13,具体用于:
数据统计模块11,用于控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据;
数据接收模块12,用于基于同一上报时间点接收各所述服务节点上报的所述节点流量数据;
流量综合模块13,用于将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
可选的,如图6所示,所述数据统计模块11,包括:
任务创建单元111,用于在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间;
数据统计单元112,用于确定所述流量定时上报任务的统计时间段,控制各所述服务节点获取在所述统计时间段内的业务请求流,并基于所述预设单位级时间统计所述业务请求流的节点流量数据。
可选的,如图7所示,所述数据统计单元112,包括:
数据获取子单元1121,用于确定所述流量定时上报任务的参考统计时间段,以及分别获取各所述服务节点的差异上报时间;所述参考统计时间段的统计时间等于所述预设单位级时间指示的单位统计时间;
时间补偿子单元1122,用于基于所述差异上报时间对所述参考统计时间段进行时间补偿处理,得到针对所述流量定时上报任务的统计时间段。
可选的,所述时间补偿子单元1122,具体用于:
确定所述差异上报时间大于时间阈值,基于所述差异上报时间确定时间偏移值;
根据所述时间偏移值对参考统计时间段进行时间点偏移处理,得到偏移处理后的的目标时间段,将所述目标时间段作为所述流量定时上报任务的统计时间段;
其中,所述统计时间段的统计时长大于所述预设单位级时间指示的单位时长。
可选的,所述数据统计单元112,具体用于:
控制各所述服务节点获取在所述统计时间段内的业务请求流,并统计所述统计时间段内的业务请求流所对应的参考流量;
从所述统计时间段的所述参考流量中确定一个所述预设单位级时间指示的目标流量,基于所述目标流量确定所述业务请求流的节点流量数据。
可选的,所述数据统计模块11,具体用于:
统计在所述预设单位级时间内针对所述业务请求流的节点流量,获取当前所述预设单位级时间对应的数据时间戳;
生成包含所述数据时间戳以及所述节点流量的节点流量数据。
可选的,所述数据统计模块11,具体用于:
确定各所述服务节点对应的差异上报时间;
基于各所述服务节点对应的差异上报时间,对所述服务节点上的流量定时上报任务所对应的默认上传时间点进行修正处理,得到所述服务节点对应的数据上传时间点;
控制各所述服务节点在所述数据上传时间点上报所述节点流量数据,所述数据上传时间点用于所述分布式网络平台在同一上报时间点同时接收到每个所述服务节点上报的所述节点流量数据。
可选的,如图8所示,所述装置1还包括:
调度分配模块14,用于基于所述平台综合流量和各所述服务节点上报的节点流量数据,在当前所述预设单位级时间对应的下一时间段内将流经所述分布式网络平台的服务请求总流量进行调度分配。
需要说明的是,上述实施例提供的流量实时监控装置在执行流量实时监控方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的流量实时监控装置与流量实时监控方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,分布式网络平台通过控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据并立即上报,这样可基于同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据,将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。在本申请中基于预设单位级时间为基准,采用每个预设单位级时间分别上报或统计在一个预设单位级时间内所对应的流量的方式在每个预设单位级时间服务节点完成统计就立即上报流量,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量监控更精准,可以实现及时反馈分布式网络平台内部节点流量状态。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1~图4所示实施例的所述流量实时监控方法,具体执行过程可以参见图1~图4所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1~图4所示实施例的所述流量实时监控方法,具体执行过程可以参见图1~图4所示实施例的具体说明,在此不进行赘述。
请参见图9,为本申请实施例提供了一种电子设备的结构示意图。如图9所示,所述电子设备1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行服务器1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及流量实时监控应用程序。
在图9所示的电子设备1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的流量实时监控应用程序,并具体执行以下操作:
控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据;
基于同一上报时间点接收各所述服务节点上报的所述节点流量数据;
将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
所述控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据,包括:
在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间;
确定所述流量定时上报任务的统计时间段,控制各所述服务节点获取在所述统计时间段内的业务请求流,并基于所述预设单位级时间统计所述业务请求流的节点流量数据。
在一个实施例中,所述处理器1001在执行所述确定所述流量定时上报任务的统计时间段时,具体还执行以下步骤:
确定所述流量定时上报任务的参考统计时间段,以及分别获取各所述服务节点的差异上报时间;所述参考统计时间段的统计时间等于所述预设单位级时间指示的单位统计时间;
基于所述差异上报时间对所述参考统计时间段进行时间补偿处理,得到针对所述流量定时上报任务的统计时间段。
在一个实施例中,所述处理器1001在执行所述基于所述差异上报时间对所述参考统计时间段进行时间补偿处理,得到针对所述流量定时上报任务的统计时间段时,具体还执行以下步骤:
确定所述差异上报时间大于时间阈值,基于所述差异上报时间确定时间偏移值;
根据所述时间偏移值对参考统计时间段进行时间点偏移处理,得到偏移处理后的的目标时间段,将所述目标时间段作为所述流量定时上报任务的统计时间段;
其中,所述统计时间段的统计时长大于所述预设单位级时间指示的单位时长。
在一个实施例中,所述处理器1001在执行所述控制各所述服务节点获取在所述统计时间段内的业务请求流,并基于所述预设单位级时间统计所述业务请求流的节点流量数据时,具体还执行以下步骤:
控制各所述服务节点获取在所述统计时间段内的业务请求流,并统计所述统计时间段内的业务请求流所对应的参考流量;
从所述统计时间段的所述参考流量中确定一个所述预设单位级时间指示的目标流量,基于所述目标流量确定所述业务请求流的节点流量数据。
在一个实施例中,所述处理器1001在执行所述统计在所述预设单位级时间内针对所述业务请求流的节点流量数据,包括:
统计在所述预设单位级时间内针对所述业务请求流的节点流量,获取当前所述预设单位级时间对应的数据时间戳;
生成包含所述数据时间戳以及所述节点流量的节点流量数据。
在一个实施例中,所述处理器1001在执行所述在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间之后,还执行以下步骤:
确定各所述服务节点对应的差异上报时间;
基于各所述服务节点对应的差异上报时间,对所述服务节点上的流量定时上报任务所对应的默认上传时间点进行修正处理,得到所述服务节点对应的数据上传时间点;
控制各所述服务节点在所述数据上传时间点上报所述节点流量数据,所述数据上传时间点用于所述分布式网络平台在同一上报时间点同时接收到每个所述服务节点上报的所述节点流量数据。
在一个实施例中,所述处理器1001在执行所述流量实时监控方法方法时,还执行以下步骤:
基于所述平台综合流量和各所述服务节点上报的节点流量数据,在当前所述预设单位级时间对应的下一时间段内将流经所述分布式网络平台的服务请求总流量进行调度分配。
在本申请实施例中,分布式网络平台通过控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据并立即上报,这样可基于同一上报时间点接收到各所述服务节点同时上报的所述节点流量数据,将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。在本申请中基于预设单位级时间为基准,采用每个预设单位级时间分别上报或统计在一个预设单位级时间内所对应的流量的方式在每个预设单位级时间服务节点完成统计就立即上报流量,分布式网络平台在接收到所包含的各服务节点主动上报的流量之后,只需对各流量进行流量综合处理即可,可快速得到当前平台的平台综合流量,且流量监测的细粒度精确到一个单位级时间,流量监控更精准,可以实现及时反馈分布式网络平台内部节点流量状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (10)

1.一种流量实时监控方法,其特征在于,应用于分布式网络平台,所述方法包括:
控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据;
基于同一上报时间点接收各所述服务节点上报的所述节点流量数据;
将各所述节点流量数据进行流量综合处理,得到当前所述预设单位级时间内的平台综合流量。
2.根据权利要求1所述的方法,其特征在于,所述控制所包含的至少一个服务节点监测在每个预设单位级时间对应的业务请求流,并统计在所述预设单位级时间内针对所述业务请求流的节点流量数据,包括:
在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间;
确定所述流量定时上报任务的统计时间段,控制各所述服务节点获取在所述统计时间段内的业务请求流,并基于所述预设单位级时间统计所述业务请求流的节点流量数据。
3.根据权利要求2所述的方法,其特征在于,所述确定所述流量定时上报任务的统计时间段,包括:
确定所述流量定时上报任务的参考统计时间段,以及分别获取各所述服务节点的差异上报时间;所述参考统计时间段的统计时间等于所述预设单位级时间指示的单位统计时间;
基于所述差异上报时间对所述参考统计时间段进行时间补偿处理,得到针对所述流量定时上报任务的统计时间段。
4.根据权利要求3所述的方法,其特征在于,所述基于所述差异上报时间对所述参考统计时间段进行时间补偿处理,得到针对所述流量定时上报任务的统计时间段,包括:
确定所述差异上报时间大于时间阈值,基于所述差异上报时间确定时间偏移值;
根据所述时间偏移值对参考统计时间段进行时间点偏移处理,得到偏移处理后的的目标时间段,将所述目标时间段作为所述流量定时上报任务的统计时间段;
其中,所述统计时间段的统计时长大于所述预设单位级时间指示的单位时长。
5.根据权利要求4所述的方法,其特征在于,所述控制各所述服务节点获取在所述统计时间段内的业务请求流,并基于所述预设单位级时间统计所述业务请求流的节点流量数据,包括:
控制各所述服务节点获取在所述统计时间段内的业务请求流,并统计所述统计时间段内的业务请求流所对应的参考流量;
从所述统计时间段的所述参考流量中确定一个所述预设单位级时间指示的目标流量,基于所述目标流量确定所述业务请求流的节点流量数据。
6.根据权利要求2所述的方法,其特征在于,所述在所包含的至少一个服务节点上创建每个预设单位级时间对应的流量定时上报任务,并设置所述流量定时上报任务对应的预设单位级时间之后,还包括:
确定各所述服务节点对应的差异上报时间;
基于各所述服务节点对应的差异上报时间,对所述服务节点上的流量定时上报任务所对应的默认上传时间点进行修正处理,得到所述服务节点对应的数据上传时间点;
控制各所述服务节点在所述数据上传时间点上报所述节点流量数据,所述数据上传时间点用于所述分布式网络平台在同一上报时间点同时接收到每个所述服务节点上报的所述节点流量数据。
7.根据权利要求1所述的方法,其特征在于,所述统计在所述预设单位级时间内针对所述业务请求流的节点流量数据,包括:
统计在所述预设单位级时间内针对所述业务请求流的节点流量,获取当前所述预设单位级时间对应的数据时间戳;
生成包含所述数据时间戳以及所述节点流量的节点流量数据。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述平台综合流量和各所述服务节点上报的节点流量数据,在当前所述预设单位级时间对应的下一时间段内将流经所述分布式网络平台的服务请求总流量进行调度分配。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~8任意一项的方法步骤。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~8任意一项的方法步骤。
CN202110436429.5A 2021-04-22 2021-04-22 一种流量实时监控方法、装置、存储介质及电子设备 Active CN113328906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436429.5A CN113328906B (zh) 2021-04-22 2021-04-22 一种流量实时监控方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436429.5A CN113328906B (zh) 2021-04-22 2021-04-22 一种流量实时监控方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113328906A true CN113328906A (zh) 2021-08-31
CN113328906B CN113328906B (zh) 2023-01-06

Family

ID=77414996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436429.5A Active CN113328906B (zh) 2021-04-22 2021-04-22 一种流量实时监控方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113328906B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760221A (zh) * 2022-03-31 2022-07-15 深信服科技股份有限公司 一种业务监控方法、系统和存储介质
CN116866219A (zh) * 2023-08-31 2023-10-10 广州尚航信息科技股份有限公司 一种用于idc数据中心的网络数据监控方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1204248A1 (en) * 2000-11-06 2002-05-08 Agilent Technologies, Inc. (a Delaware corporation) Monitoring traffic in telecommunications networks
WO2003084134A1 (en) * 2002-03-29 2003-10-09 Network Genomics, Inc. Systems and methods for end-to-end quality of service measurements in a distributed network environment
US6970924B1 (en) * 1999-02-23 2005-11-29 Visual Networks, Inc. Methods and apparatus for monitoring end-user experience in a distributed network
WO2015113036A1 (en) * 2014-01-27 2015-07-30 Vencore Labs, Inc. System and method for network traffic profiling and visualization
CN105791144A (zh) * 2014-12-19 2016-07-20 中兴通讯股份有限公司 链路流量分担的方法和装置
CN106921584A (zh) * 2017-03-31 2017-07-04 武汉绿色网络信息服务有限责任公司 一种分布式网络流量控制方法
CN109150740A (zh) * 2018-08-01 2019-01-04 武汉绿色网络信息服务有限责任公司 一种分布式网络流量控制方法和装置
WO2019006746A1 (en) * 2017-07-07 2019-01-10 Alibaba Group Holding Limited SYSTEM AND METHOD FOR MANAGING TRAFFIC IN AN ONLINE PLATFORM
CN109660467A (zh) * 2019-02-26 2019-04-19 北京百度网讯科技有限公司 用于控制流量的方法和装置
CN110138756A (zh) * 2019-04-30 2019-08-16 网宿科技股份有限公司 一种限流方法及系统
CN110224870A (zh) * 2019-06-19 2019-09-10 腾讯云计算(北京)有限责任公司 接口监控方法、装置、计算设备及存储介质
US20190281009A1 (en) * 2018-03-06 2019-09-12 Afilias Public Limited Company Determining traceability of network traffic over a communications network
WO2019223553A1 (zh) * 2018-05-22 2019-11-28 华为技术有限公司 一种网络流量识别方法及相关设备
CN111726303A (zh) * 2019-03-22 2020-09-29 阿里巴巴集团控股有限公司 一种流量控制方法、装置以及计算设备
CN112073329A (zh) * 2020-08-25 2020-12-11 北京五八信息技术有限公司 分布式限流方法、装置、电子设备和存储介质
CN112118188A (zh) * 2020-08-25 2020-12-22 北京五八信息技术有限公司 一种流量限速方法、装置、电子设备及存储介质
CN112437018A (zh) * 2020-11-19 2021-03-02 百度在线网络技术(北京)有限公司 分布式集群的流量控制方法、装置、设备和存储介质
CN112615790A (zh) * 2020-12-22 2021-04-06 苏州思必驰信息科技有限公司 多服务端的限流、流量监测系统及方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970924B1 (en) * 1999-02-23 2005-11-29 Visual Networks, Inc. Methods and apparatus for monitoring end-user experience in a distributed network
EP1204248A1 (en) * 2000-11-06 2002-05-08 Agilent Technologies, Inc. (a Delaware corporation) Monitoring traffic in telecommunications networks
WO2003084134A1 (en) * 2002-03-29 2003-10-09 Network Genomics, Inc. Systems and methods for end-to-end quality of service measurements in a distributed network environment
WO2015113036A1 (en) * 2014-01-27 2015-07-30 Vencore Labs, Inc. System and method for network traffic profiling and visualization
CN105791144A (zh) * 2014-12-19 2016-07-20 中兴通讯股份有限公司 链路流量分担的方法和装置
CN106921584A (zh) * 2017-03-31 2017-07-04 武汉绿色网络信息服务有限责任公司 一种分布式网络流量控制方法
WO2019006746A1 (en) * 2017-07-07 2019-01-10 Alibaba Group Holding Limited SYSTEM AND METHOD FOR MANAGING TRAFFIC IN AN ONLINE PLATFORM
US20190281009A1 (en) * 2018-03-06 2019-09-12 Afilias Public Limited Company Determining traceability of network traffic over a communications network
WO2019223553A1 (zh) * 2018-05-22 2019-11-28 华为技术有限公司 一种网络流量识别方法及相关设备
CN110224944A (zh) * 2018-08-01 2019-09-10 武汉绿色网络信息服务有限责任公司 一种分布式网络流量控制方法和装置
CN109150740A (zh) * 2018-08-01 2019-01-04 武汉绿色网络信息服务有限责任公司 一种分布式网络流量控制方法和装置
CN109660467A (zh) * 2019-02-26 2019-04-19 北京百度网讯科技有限公司 用于控制流量的方法和装置
CN111726303A (zh) * 2019-03-22 2020-09-29 阿里巴巴集团控股有限公司 一种流量控制方法、装置以及计算设备
CN110138756A (zh) * 2019-04-30 2019-08-16 网宿科技股份有限公司 一种限流方法及系统
CN110224870A (zh) * 2019-06-19 2019-09-10 腾讯云计算(北京)有限责任公司 接口监控方法、装置、计算设备及存储介质
CN112073329A (zh) * 2020-08-25 2020-12-11 北京五八信息技术有限公司 分布式限流方法、装置、电子设备和存储介质
CN112118188A (zh) * 2020-08-25 2020-12-22 北京五八信息技术有限公司 一种流量限速方法、装置、电子设备及存储介质
CN112437018A (zh) * 2020-11-19 2021-03-02 百度在线网络技术(北京)有限公司 分布式集群的流量控制方法、装置、设备和存储介质
CN112615790A (zh) * 2020-12-22 2021-04-06 苏州思必驰信息科技有限公司 多服务端的限流、流量监测系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
T. MUROOKA等: "Real-time traffic shape monitoring system for video/audio streaming systems", 《2005 ASIA-PACIFIC CONFERENCE ON COMMUNICATIONS》 *
范硕: "分布式环境下的实时网络流量检测与分析", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
赵新波: "IP网络中流量的测量与预测", 《应用科技》 *
邵恩等: "基于事件驱动的MapReduce类流量产生方法与网络评测", 《计算机学报》 *
黄晓波: "IPTV网络性能和流量监控分析系统的实现", 《信息通信》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760221A (zh) * 2022-03-31 2022-07-15 深信服科技股份有限公司 一种业务监控方法、系统和存储介质
CN114760221B (zh) * 2022-03-31 2024-02-23 深信服科技股份有限公司 一种业务监控方法、系统和存储介质
CN116866219A (zh) * 2023-08-31 2023-10-10 广州尚航信息科技股份有限公司 一种用于idc数据中心的网络数据监控方法及系统
CN116866219B (zh) * 2023-08-31 2023-11-24 广州尚航信息科技股份有限公司 一种用于idc数据中心的网络数据监控方法及系统

Also Published As

Publication number Publication date
CN113328906B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN108513271B (zh) 基于多个短信通道的短信分发方法和设备
EP3451614B1 (en) Dispatching method and device in content delivery network
CN109819057B (zh) 一种负载均衡方法及系统
WO2017000728A1 (zh) 流量控制方法、装置和服务器
US9100854B2 (en) Quality of service application controller and user equipment application profiler
CN113328906B (zh) 一种流量实时监控方法、装置、存储介质及电子设备
CN110417650A (zh) 多链路数据分配方法、装置及电子设备
CN108566408A (zh) 一种业务处理方法、装置及存储介质
WO2011097837A1 (zh) 实现接入网关业务接入的方法、设备及系统
US20230032235A1 (en) Energy efficiency evaluation method and related device
CN113395671B (zh) 消息推送速率的调节方法、装置和服务器
US9077735B2 (en) Method and related device for controlling service charging
US20170013083A1 (en) Data processing method and apparatus used for terminal application
WO2024088079A1 (zh) 请求处理方法以及系统
CN111897659B (zh) 业务处理频率的控制方法、系统、装置、电子设备
CN108076443B (zh) 一种在线计费系统中流量的分配方法及在线计费系统
CN110995802A (zh) 任务的处理方法和装置、存储介质及电子装置
CN114745338B (zh) 流量控制方法、装置、存储介质以及服务器
CN108667873B (zh) 一种分流方法、分流装置、电子设备和可读存储介质
CN115776510A (zh) 心跳包的控制方法和装置、处理器及电子设备
CN108388475A (zh) 一种基于终端类型配置api资源的方法及系统
KR20130109410A (ko) 통신 시스템을 통한 푸시 알림 서비스의 푸시 알림 메시지 전송주기 조절 방법 및 장치
CN114936089A (zh) 资源调度方法、系统、设备及存储介质
CN109963260A (zh) 一种确定业务终止的方法及装置
CN114024913A (zh) 一种网络性能优化方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant