CN116866214B - 一种基于统计级会话的地域网络质量分析系统 - Google Patents

一种基于统计级会话的地域网络质量分析系统 Download PDF

Info

Publication number
CN116866214B
CN116866214B CN202310750643.7A CN202310750643A CN116866214B CN 116866214 B CN116866214 B CN 116866214B CN 202310750643 A CN202310750643 A CN 202310750643A CN 116866214 B CN116866214 B CN 116866214B
Authority
CN
China
Prior art keywords
module
analysis
data
session
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310750643.7A
Other languages
English (en)
Other versions
CN116866214A (zh
Inventor
张新波
沈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Boyixun Information Technology Co ltd
Original Assignee
Wuhan Boyixun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Boyixun Information Technology Co ltd filed Critical Wuhan Boyixun Information Technology Co ltd
Priority to CN202310750643.7A priority Critical patent/CN116866214B/zh
Publication of CN116866214A publication Critical patent/CN116866214A/zh
Application granted granted Critical
Publication of CN116866214B publication Critical patent/CN116866214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于统计级会话的地域网络质量分析系统,包括:流处理模块、统计模块、业务分析模块和话单模块;流处理模块用于接收前端分流传输过来的网络流量数据包,基于网络流量数据包的会话信息新建并更新流的信息;统计模块,基于流的信息构建各个自定义的维度的hash表,各个hash表保存有关联hash key的会话信息;业务分析模块,基于各个维度从hash表结点中提取会话信息相关的数据进行统计分析,得到反映网络质量的各种参数数据后保存在新hash表中;话单模块用于对业务分析模块中统计好的数据进行输出展示,依次遍历所有维度的新hash表,对每个hash结点的数据进行话单输出;解决地域网络质量分析技术的门槛高的问题。

Description

一种基于统计级会话的地域网络质量分析系统
技术领域
本发明涉及互联网技术领域,尤其涉及一种基于统计级会话的地域网络质量分析系统。
背景技术
随着互联网的高速发展,现行庞大的网络系统架构下,网络设备结点繁杂,如何基于地域和会话场景下进行网络质量分析显得尤为重要。
现有的地域网络质量分析技术虽然可以检测和诊断网络问题,但仍存在不足。许多地域网络质量分析技术依赖于用户反馈或人为干预来确定网络问题,这可能会导致主观因素的干扰。此外,它们也可能受到网络拓扑、设备限制和其他因素的影响。某些测试方法需要较长的时间来收集数据,并且可能需要多次测试才能达到准确的结果。实时监控和快速响应网络问题是至关重要的,但并非所有地域网络质量分析技术都可以满足这些要求。某些地域网络质量分析技术需要专业知识和技能,使得普通用户无法使用。这限制了这些技术的可用性和覆盖范围。同时,将测试结果转化为实际网络问题的识别和解决方案需要高水平的技能和经验,这也增加了使用地域网络质量分析技术的门槛。
发明内容
本发明针对现有技术中存在的技术问题,提供一种基于统计级会话的地域网络质量分析系统,解决地域网络质量分析技术的门槛高的问题。
根据本发明的第一方面,提供了一种基于统计级会话的地域网络质量分析系统,包括:流处理模块、统计模块、业务分析模块和话单模块;
所述流处理模块用于接收前端分流传输过来的网络流量数据包,基于所述网络流量数据包的会话信息新建并更新流的信息;
所述统计模块,基于所述流的信息构建各个自定义的维度的hash表,各个所述hash表保存有关联hash key的所述会话信息;
所述业务分析模块,基于各个维度从hash表结点中提取所述会话信息相关的数据进行统计分析,得到反映网络质量的各种参数数据后保存在新hash表中;
所述话单模块用于对所述业务分析模块中统计好的数据进行输出展示,依次遍历所有维度的新hash表,对每个hash结点的数据进行话单输出。
在上述技术方案的基础上,本发明还可以作出如下改进。
可选的,所述流处理模块更新所述流信息的过程包括:
对于超过设定时间没有数据包过来的流进行流老化,并将老化后的流信息进行保存,作为原始分析数据。
可选的,所述统计模块在程序初始化阶段,注册各个维度的统计任务,所述统计任务通过构建所述hash表来实现基于不同场景进行统计分析;
所述统计模块在流老化阶段,调用同步任务,所述同步任务依据初始化阶段注册的各个维度的hash表中的hash key键值,分别填充到不同的hash表中。
可选的,各个所述维度包括:地域、运营商和应用类型。
可选的,所述业务分析模块基于各个维度从hash表结点中提取所述会话信息相关的数据进行统计分析的过程包括:
提取源IP地址和目的IP地址,进行IP地址库的查询,得到会话来源省份/地市和目的省份/地市,得到基于地域的流量分析;
提取VLAN ID,查询VLAN映射表,得到会话来源运营商编码和目的运营商编码,得到基于链路以及运营商的流量分析;
提取识别的协议类型和应用类型,得到会话对应的应用大类和应用小类分析,得到基于协议和应用的流量分析。
可选的,所述业务分析模块保存在新hash表的反映网络质量的各种参数数据包括:计算得到的tcp三次握手时延,响应时延,会话访问次数,访问成功次数,乱序包数量,数据包重传数量,syn请求次数,tcp窗口值,各类协议的上传下载速率,跨省流量,跨市流量,不同应用大类与小类流量。
可选的,所述业务分析模块还包括:针对统计出来的信息,选取自定义的hash key字段,进行细分维度的数据汇总,输出直观的网络质量分析数据。
本发明提供的一种基于统计级会话的地域网络质量分析系统,基于地域和会话级的网络流量和网络质量监测,根据对输入的数据包进行采集分析,以会话为基本分析粒度,对握手时延/响应时延/乱序/重传等数据进行分析,对上传下载速率进行统计,在设定的统计周期内,基于自定义的维度(支持通过运营商/地域/应用类型等),进行网络分析数据的输出和上报。
附图说明
图1为本发明提供的一种基于统计级会话的地域网络质量分析系统的实施例的交互示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
图1为本发明提供的一种基于统计级会话的地域网络质量分析系统的实施例的交互示意图,如图1所示,该分析系统包括:流处理模块、统计模块、业务分析模块和话单模块。
流处理模块用于接收前端分流传输过来的网络流量数据包,基于网络流量数据包的会话信息新建并更新流的信息,用于拿到客户端和服务端会话相关的信息。
统计模块,基于流的信息构建各个自定义的维度的hash表,各个hash表保存有关联hash key的会话信息。
业务分析模块,基于各个维度从hash表结点中提取会话信息相关的数据进行统计分析,得到反映网络质量的各种参数数据后保存在新hash表中。
话单模块用于对业务分析模块中统计好的数据进行输出展示,依次遍历所有维度的新hash表,对每个hash结点的数据进行话单输出。
本发明提供的一种基于统计级会话的地域网络质量分析系统,解决地域网络质量分析技术的门槛高的问题。
实施例1
本发明提供的实施例1为本发明提供的一种基于统计级会话的地域网络质量分析系统的实施例,结合图1可知,该分析系统的实施例包括:流处理模块、统计模块、业务分析模块和话单模块。
流处理模块用于接收前端分流传输过来的网络流量数据包,基于网络流量数据包的会话信息新建并更新流的信息,用于拿到客户端和服务端会话相关的信息。
在一种可能的实施例方式中,流处理模块更新流信息的过程包括:
对于超过设定时间没有数据包过来的流,认为该会话已经结束,已采集到该会话的所需信息,进行流老化,并将老化后的流信息进行保存,作为原始分析数据。
统计模块,基于流的信息构建各个自定义的维度的hash表,各个hash表保存有关联hash key的会话信息。
在一种可能的实施例方式中,述统计模块在程序初始化阶段,注册各个维度的统计任务,统计任务通过构建hash表来实现基于不同场景进行统计分析。
统计模块在流老化阶段,调用同步任务,同步任务依据初始化阶段注册的各个维度的hash表中的hash key键值,分别填充到不同的hash表中。
具体实施中,统计任务的回调函数注册如下:
FA_PARAMS params;
memset(&params,0,sizeof(FA_PARAMS));
params.key_cb=net_stat_key_cb;
params.key_size=sizeof(NET_STAT_KEY);
params.node_cb=net_stat_node_cb;
params.node_size=sizeof(NET_STATS_NODE);
params.log_cb=net_stat_log_cb;
统计任务的添加如下:
fa_stats_init(&params)。
在一种可能的实施例方式中,各个维度包括:地域、运营商和应用类型。
业务分析模块,基于各个维度从hash表结点中提取会话信息相关的数据进行统计分析,得到反映网络质量的各种参数数据后保存在新hash表中。
在一种可能的实施例方式中,业务分析模块基于各个维度从hash表结点中提取会话信息相关的数据进行统计分析的过程包括:
提取源IP地址和目的IP地址,进行IP地址库的查询,得到会话来源省份/地市和目的省份/地市,得到基于地域的流量分析。
提取VLAN ID,查询VLAN映射表,得到会话来源运营商编码和目的运营商编码,得到基于链路以及运营商的流量分析。
提取识别的协议类型和应用类型,得到会话对应的应用大类和应用小类分析,得到基于协议和应用的流量分析。
在一种可能的实施例方式中,业务分析模块保存在新hash表的反映网络质量的各种参数数据包括:计算得到的tcp三次握手时延,响应时延,会话访问次数,访问成功次数,乱序包数量,数据包重传数量,syn请求次数,tcp窗口值,各类协议的上传下载速率,跨省流量,跨市流量,不同应用大类与小类流量等。
具体实施中,对于特殊的单边流的情况,会话统计条件如下:
(pkts_up>=2||pkts_down>1||up_payload_count||down_payload_count)
会话访问成功条件如下(数据包有负载):
(up_payload_count||down_payload_count)
在一种可能的实施例方式中,业务分析模块还包括:针对统计出来的信息,选取自定义的hash key字段,进行细分维度的数据汇总,输出直观的网络质量分析数据。
话单模块用于对业务分析模块中统计好的数据进行输出展示,依次遍历所有维度的新hash表,对每个hash结点的数据进行话单输出。
本发明实施例提供的一种基于统计级会话的地域网络质量分析系统,基于地域和会话级的网络流量和网络质量监测,根据对输入的数据包进行采集分析,以会话为基本分析粒度,对握手时延/响应时延/乱序/重传等数据进行分析,对上传下载速率进行统计,在设定的统计周期内,基于自定义的维度(支持通过运营商/地域/应用类型等),进行网络分析数据的输出和上报。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其它实施例的相关描述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (5)

1.一种基于统计级会话的地域网络质量分析系统,其特征在于,所述分析系统包括:流处理模块、统计模块、业务分析模块和话单模块;
所述流处理模块用于接收前端分流传输过来的网络流量数据包,基于所述网络流量数据包的会话信息新建并更新流的信息;
所述统计模块,基于所述流的信息构建各个自定义的维度的hash表,各个所述hash表保存有关联hashkey的所述会话信息;
所述业务分析模块,基于各个维度从hash表结点中提取所述会话信息相关的数据进行统计分析,得到反映网络质量的各种参数数据后保存在新hash表中;
所述话单模块用于对所述业务分析模块中统计好的数据进行输出展示,依次遍历所有维度的新hash表,对每个hash表结点的数据进行话单输出;
各个所述维度包括:地域、运营商和应用类型;
所述业务分析模块基于各个维度从hash表结点中提取所述会话信息相关的数据进行统计分析的过程包括:
提取源IP地址和目的IP地址,进行IP地址库的查询,得到会话来源省份/地市和目的省份/地市,得到基于地域的流量分析;
提取VLAN ID,查询VLAN映射表,得到会话来源运营商编码和目的运营商编码,得到基于链路以及运营商的流量分析;
提取识别的协议类型和应用类型,得到会话对应的应用大类和应用小类分析,得到基于协议和应用的流量分析。
2.根据权利要求1所述的分析系统,其特征在于,所述流处理模块更新所述流信息的过程包括:
对于超过设定时间没有数据包过来的流进行流老化,并将老化后的流信息进行保存,作为原始分析数据。
3.根据权利要求1所述的分析系统,其特征在于,所述统计模块在程序初始化阶段,注册各个维度的统计任务,所述统计任务通过构建所述hash表来实现基于不同场景进行统计分析;
所述统计模块在流老化阶段,调用同步任务,所述同步任务依据初始化阶段注册的各个维度的hash表中的hash key键值,将所述hash key键值分别填充到不同的hash表中。
4.根据权利要求1所述的分析系统,其特征在于,所述业务分析模块保存在新hash表的反映网络质量的各种参数数据包括:计算得到的tcp三次握手时延、响应时延、会话访问次数、访问成功次数、乱序包数量、数据包重传数量、syn请求次数、tcp窗口值、各类协议的上传下载速率、跨省流量、跨市流量以及不同应用大类与小类流量。
5.根据权利要求1所述的分析系统,其特征在于,所述业务分析模块还包括:针对统计出来的信息,选取自定义的hashkey字段,进行细分维度的数据汇总后输出。
CN202310750643.7A 2023-06-21 2023-06-21 一种基于统计级会话的地域网络质量分析系统 Active CN116866214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310750643.7A CN116866214B (zh) 2023-06-21 2023-06-21 一种基于统计级会话的地域网络质量分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310750643.7A CN116866214B (zh) 2023-06-21 2023-06-21 一种基于统计级会话的地域网络质量分析系统

Publications (2)

Publication Number Publication Date
CN116866214A CN116866214A (zh) 2023-10-10
CN116866214B true CN116866214B (zh) 2024-04-23

Family

ID=88233204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310750643.7A Active CN116866214B (zh) 2023-06-21 2023-06-21 一种基于统计级会话的地域网络质量分析系统

Country Status (1)

Country Link
CN (1) CN116866214B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103038A (ko) * 2010-03-12 2011-09-20 고려대학교 산학협력단 네트워크 트래픽 분석 장치 및 방법
CN103581044A (zh) * 2013-11-04 2014-02-12 汉柏科技有限公司 一种流量统计方法和装置
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN111181798A (zh) * 2019-08-28 2020-05-19 腾讯科技(深圳)有限公司 网络时延测量方法、装置、电子设备及存储介质
CN111314179A (zh) * 2020-02-25 2020-06-19 广州市百果园信息技术有限公司 网络质量检测方法、装置、设备和存储介质
CN112948460A (zh) * 2021-02-24 2021-06-11 山石网科通信技术股份有限公司 网络流量数据的筛选方法及装置、计算机可读存储介质
CN113904950A (zh) * 2021-12-06 2022-01-07 广东睿江云计算股份有限公司 基于流的网络监测方法、装置、计算机设备及存储介质
CN114490521A (zh) * 2021-12-24 2022-05-13 中国电信股份有限公司 一种数据缓存方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103038A (ko) * 2010-03-12 2011-09-20 고려대학교 산학협력단 네트워크 트래픽 분석 장치 및 방법
CN103581044A (zh) * 2013-11-04 2014-02-12 汉柏科技有限公司 一种流量统计方法和装置
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN111181798A (zh) * 2019-08-28 2020-05-19 腾讯科技(深圳)有限公司 网络时延测量方法、装置、电子设备及存储介质
CN111314179A (zh) * 2020-02-25 2020-06-19 广州市百果园信息技术有限公司 网络质量检测方法、装置、设备和存储介质
CN112948460A (zh) * 2021-02-24 2021-06-11 山石网科通信技术股份有限公司 网络流量数据的筛选方法及装置、计算机可读存储介质
CN113904950A (zh) * 2021-12-06 2022-01-07 广东睿江云计算股份有限公司 基于流的网络监测方法、装置、计算机设备及存储介质
CN114490521A (zh) * 2021-12-24 2022-05-13 中国电信股份有限公司 一种数据缓存方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116866214A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
US11121947B2 (en) Monitoring and analysis of interactions between network endpoints
US7840664B2 (en) Automated characterization of network traffic
US9565076B2 (en) Distributed network traffic data collection and storage
US11258719B1 (en) Methods, systems and computer readable media for network congestion control tuning
US10621075B2 (en) Performance testing of a network segment between test appliances
US8761757B2 (en) Identification of communication devices in telecommunication networks
US20120182891A1 (en) Packet analysis system and method using hadoop based parallel computation
JP5487322B2 (ja) ランダムなデータストリームのサンプリング
JP2012075149A (ja) 分散型トラフィック分析
US10511505B2 (en) Systems and methods to recreate real world application level test packets for network testing
US20140365634A1 (en) Programmable Network Analytics Processing via an Inspect/Apply-Action Applied to Physical and Virtual Entities
CN107967488B (zh) 一种服务器的分类方法及分类系统
US20170207948A1 (en) Multi cause correlation in wireless protocols
CN111953552B (zh) 数据流的分类方法和报文转发设备
CN111431758A (zh) 云网络设备的测试方法、装置、存储介质和计算机设备
CN111222019B (zh) 特征提取的方法和装置
US10523549B1 (en) Method and system for detecting and classifying networked devices
US9917747B2 (en) Problem detection in a distributed digital network through distributed packet analysis
JPWO2018186242A1 (ja) 監視装置、監視方法および監視プログラム
CN116866214B (zh) 一种基于统计级会话的地域网络质量分析系统
CN111224891A (zh) 一种基于动态学习三元组的流量应用识别系统及方法
CN110798857A (zh) 一种5g切片网络对业务影响的仿真方法
Lv et al. Network encrypted traffic classification based on secondary voting enhanced random forest
CN114095383A (zh) 网络流量采样方法、系统和电子设备
Wehner et al. On learning hierarchical embeddings from encrypted network traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant