CN113242158B - 一种基于交换机硬件时间戳的实时监控方法和系统 - Google Patents
一种基于交换机硬件时间戳的实时监控方法和系统 Download PDFInfo
- Publication number
- CN113242158B CN113242158B CN202110507233.0A CN202110507233A CN113242158B CN 113242158 B CN113242158 B CN 113242158B CN 202110507233 A CN202110507233 A CN 202110507233A CN 113242158 B CN113242158 B CN 113242158B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- module
- switch
- data packet
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
- H04L43/106—Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于交换机硬件时间戳的实时监控方法及系统,包括:步骤S1:选择并确定网络链路上监控节点;步骤S2:将选择的监控节点的网络数据包接入监控交换机;步骤S3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;步骤S4:监控分析系统的上传模块实时读取并解析监控交换机输出的数据包;步骤S5:监控分析系统的分析模块对读取的数据包进行分析,得到网络链路上全部应用系统的时延和流量情况;步骤S6:监控分析系统的展示模块将分析得到的网络链路上全部应用系统的时延和流量情况进行实时展示。
Description
技术领域
本发明涉及数据处理技术领域,具体地,涉及一种基于交换机硬件时间戳的实时监控方法和系统。
背景技术
在证券和期货量化交易市场,交易柜台系统和行情解码系统的处理时延已经达到微秒us甚至纳秒ns级别,现有的分析工具常基于服务器操作系统自带软件时间戳(微秒us到毫秒ms级别,抖动大)进行标记,且均为事后数据分析,已经无法精准和及时地监测出交易柜台系统和行情解码系统在网络层面的真实处理时延。
本发明利用自带晶振的FPGA可编程交换机(以下通称监控交换机),将需监控的网络链路上数据包镜像至此监控交换机,由监控交换机添加硬件时间戳标记字段(皮秒ps级别)后实时送至监控分析系统,监控分析系统根据特定的模型和算法分析数据包后以可视化的方式将网络链路上全部应用系统的时延和流量情况实时展现给用户。
专利文献CN112601133A(申请号:202011439860.7)公开了一种基于网卡硬件时间戳的IP码流分析方法。它具体包括如下步骤:(1)设置接收媒体流udp地址以及计算间隔;(2)初始化虚拟缓冲区VB,开始接收媒体流数据;(3)解析数据包PCR,根据PCR计算流媒体码率,开始DF计算过程;(4)收到数据包,获取硬件时间戳,计算VB(i,pre)和VB(i,post),判断是否到设定的计算间隔,如果没有到则继续步骤(4);否则计算DF。该专利基于网卡硬件时间戳,能够同时分析的IP码流数量有限;分析的IP码流仅为为UDP媒体流,不适用于证券期货行业交易及行情数据流。
专利文献CN109656574A(申请号:201811423638.0)公开了一种交易时延度量方法、装置、计算机设备及存储介质,其中所述方法包括若接收到时延监控插件安装请求,控制交易系统中的至少一个功能服务器安装时延监控插件;当交易系统接收到交易请求时,通过控制所述时延监控插件调用预设抓包工具以获取相应的功能服务器所接收到的网络数据包以及发送出去的网络数据包;通过控制所有的时延监控插件解析所获取的网络数据包,以生成相应的时间戳;将获取的每个网络数据包的时间戳存储在预设配置文件中;根据预设规则调用配置文件的时间戳以计算得到相应的交易时延数据。该专利基于在应用系统上安装时延监控插件的方式,对应用系统本身有变动和影响,且分析的时延数据为应用软件内部处理时延,并非应用系统在网络层面真实处理时延;基于在应用系统上安装时延监控插件的方式,时间戳仍然采用的是软件操作系统本身的,精度不高且系统时间抖动大;该专利仅限于事后分析,无法实现实时监控分析的功能;该专利仅限于分析应用系统时延,无法分析链路中网络设备转发时延。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于交换机硬件时间戳的实时监控方法及系统。
根据本发明提供的一种基于交换机硬件时间戳的实时监控方法,包括:
步骤S1:选择并确定网络链路上监控节点;
步骤S2:将选择的监控节点的网络数据包接入监控交换机;
步骤S3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;
步骤S4:监控分析系统的上传模块实时读取并解析监控交换机输出的网络数据包;
步骤S5:监控分析系统的分析模块对读取的数据包进行分析,得到网络链路上全部应用系统的时延和流量情况;
步骤S6:监控分析系统的展示模块将分析得到的网络链路上全部应用系统的时延和流量情况进行实时展现。
优选地,所述步骤S2包括:将选择的监控节点的网络数据包通过镜像或分光的方式接入监控交换机;
所述将选择的监控节点数据包通过镜像的方式接入监控交换机包括:确认需监控的节点上联的网络交换机端口,通过交换机镜像的方式将当前网络交换机端口流量镜像至监控交换机;
所述将选择的监控节点数据包通过分光的方式接入监控交换机包括:当监控的节点为光纤上联的监控节点时,通过分光器,将光纤一分为二,一路接入上联网络交换机,一路接至监控交换机。
优选地,所述步骤S3包括:
步骤S3.1:监控交换机端口识别接收到的网络数据包;
步骤S3.2:监控交换机的FPGA模块程序在每个接收到的网络数据包的尾部上添加时间戳字段;
步骤S3.3:监控交换机的FPGA模块程序在添加完成时间戳字段后,对数据包进行FCS校验与封装;
步骤S3.4:监控交换机将所有端口的数据包进行汇集后,输出至与监控分析系统互联的端口;当转发的数据流量大于交换机端口带宽时,则会出现端口拥塞,监控交换机会将数据包缓存至内存共享缓存中,等待端口拥塞情况消失后再转发;
所述时间戳字段包括:接口端口号portid、数据包序号no、日期data、时间戳timestamp以及标志位flag。
优选地,所述步骤S4包括:
步骤S4.1:监控分析系统的上传模块通过高带宽网卡实时读取监控交换机输出的数据包;
步骤S4.2:监控分析系统的上传模块解析读取的网络数据包,提取数据包尾部的时间戳字段内接口端口号portid,数据包序号no,日期data,时间戳timestamp以及标志位flag,并提取网络层以及传输层头部字段TCP/UDP协议,协议端口以及源目IP地址;
步骤S4.3:监控分析系统的上传模块根据接口端口号portid字段、源目IP地址、协议端口,将数据进行标记与分组;
步骤S4.4:监控分析系统的上传模块将不同分组的数据实时推送至监控分析系统的分析模块。
优选地,所述步骤S5包括:
步骤S5.1:监控分析系统的分析模块将不同分组的数据根据相应的七层协议解析库,对不同分组数据的payload内部内容进行解析,得到关键内容字段,并将关键内容字段存入数据库;
步骤S5.2:监控分析系统的分析模块将各分组的流量数据根据硬件时间戳进行单位时间段内数据包数量及长度汇总分析统计,并将单位时间段内数据包流量大小存入数据库待查询展示;
步骤S5.3:监控分析系统的分析模块根据预设的监控节点的关联模型,对关联的分组数据包的关键字段数据进行比对和匹配,将比对和匹配的结果存入数据库待查询展示;
所述监控节点的关联模型是根据预设的监控节点关联关系,监控节点的业务上下游逻辑建立监控节点的关联模型,利用监控节点的关联模型正确匹配数据包的关键字段。
根据本发明提供的一种基于交换机硬件时间戳的实时监控系统,包括:
模块M1:选择并确定网络链路上监控节点;
模块M2:将选择的监控节点的网络数据包接入监控交换机;
模块M3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;
模块M4:监控分析系统的上传模块实时读取并解析监控交换机输出的网络数据包;
模块M5:监控分析系统的分析模块对读取的数据包进行分析,得到网络链路上全部应用系统的时延和流量情况;
模块M6:监控分析系统的展示模块将分析得到的网络链路上全部应用系统的时延和流量情况进行实时展现。
优选地,所述模块M2包括:将选择的监控节点的网络数据包通过镜像或分光的方式接入监控交换机;
所述将选择的监控节点数据包通过镜像的方式接入监控交换机包括:确认需监控的节点上联的网络交换机端口,通过交换机镜像的方式将当前网络交换机端口流量镜像至监控交换机;
所述将选择的监控节点数据包通过分光的方式接入监控交换机包括:当监控的节点为光纤上联的监控节点时,通过分光器,将光纤一分为二,一路接入上联网络交换机,一路接至监控交换机。
优选地,所述模块M3包括:
模块M3.1:监控交换机端口识别接收到的网络数据包;
模块M3.2:监控交换机的FPGA模块程序在每个接收到的网络数据包的尾部上添加时间戳字段;
模块M3.3:监控交换机的FPGA模块程序在添加完成时间戳字段后,对数据包进行FCS校验与封装;
模块M3.4:监控交换机将所有端口的数据包进行汇集后,输出至与监控分析系统互联的端口;当转发的数据流量大于交换机端口带宽时,则会出现端口拥塞,监控交换机会将数据包缓存至内存共享缓存中,等待端口拥塞情况消失后再转发;
所述时间戳字段包括:接口端口号portid、数据包序号no、日期data、时间戳timestamp以及标志位flag。
优选地,所述模块M4包括:
模块M4.1:监控分析系统的上传模块通过高带宽网卡实时读取监控交换机输出的数据包;
模块M4.2:监控分析系统的上传模块解析读取的网络数据包,提取数据包尾部的时间戳字段内接口端口号portid,数据包序号no,日期data,时间戳timestamp以及标志位flag,并提取网络层以及传输层头部字段TCP/UDP协议,协议端口以及源目IP地址;
模块M4.3:监控分析系统的上传模块根据接口端口号portid字段、源目IP地址、协议端口,将数据进行标记与分组;
模块M4.4:监控分析系统的上传模块将不同分组的数据实时推送至监控分析系统的分析模块。
优选地,所述模块M5包括:
模块M5.1:监控分析系统的分析模块将不同分组的数据根据相应的七层协议解析库,对不同分组数据的payload内部内容进行解析,得到关键内容字段,并将关键内容字段存入数据库;
模块M5.2:监控分析系统的分析模块将各分组的流量数据根据硬件时间戳进行单位时间段内数据包数量及长度汇总分析统计,并将单位时间段内数据包流量大小存入数据库待查询展示;
模块M5.3:监控分析系统的分析模块根据预设的监控节点的关联模型,对关联的分组数据包的关键字段数据进行比对和匹配,将比对和匹配的结果存入数据库待查询展示;
所述监控节点的关联模型是根据预设的监控节点关联关系,监控节点的业务上下游逻辑建立监控节点的关联模型,利用监控节点的关联模型正确匹配数据包的关键字段。
与现有技术相比,本发明具有如下的有益效果:
1、本发明通过监控交换机自带的晶振和FPGA模块,标识网络数据包的精准硬件时间戳(皮秒级别),解决了现有被监控系统处理时延低,现有通过软件时间戳的分析工具时间精度不足准确度不高的问题;
2、本发明通过监控交换机,能够对网络全链路上的节点数据进行旁路抓取与标记,不影响现有应用系统运行,解决了现有被监控系统节点多,需要同时分析的问题;
3、本发明通过监控分析平台实现实时地读取数据流并分析展示,解决了用户现有分析工具分析普遍滞后的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为一种基于交换机硬件时间戳的实时监控方法和系统的流程图;
图2为一种基于交换机硬件时间戳的实时监控方法和系统的应用场景示意图;
图3为一种基于交换机硬件时间戳的实时监控方法和系统的另一种应用场景示意图;
图4为一种基于交换机硬件时间戳的实时监控方法和系统的技术方案步骤3实现流程图;
图5为本发明提供的监控分析系统实现流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
本发明利用自带晶振的FPGA可编程交换机(以下通称监控交换机),将需监控的网络链路上数据包镜像至此监控交换机,由监控交换机添加硬件时间戳标记字段(皮秒ps级别)后实时送至监控分析系统,监控分析系统根据特定的模型和算法分析数据包后以可视化的方式将网络链路上全部应用系统的时延和流量情况实时展现给用户。
本发明提供的一种基于交换机硬件时间戳的实时监控方法,包括:
步骤1:选择并确定网络链路上监控节点;
步骤2:将需监控的节点数据包通过镜像或分光的方式接入监控交换机;
步骤3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;
步骤4:监控分析系统的上传模块实时读取并解析监控交换机输出的数据包;
步骤5:监控分析系统的分析模块对读取的数据包根据特定模型和算法进行分析;
步骤6:监控分析系统的展示模块将分析的网络链路上全部应用系统的时延和流量情况实时展现给用户;
所述步骤2包括如下步骤:
步骤2.1:情况1,确认需监控的节点上联的网络交换机端口,通过交换机镜像的方式将此端口流量镜像至监控交换机;
步骤2.2:情况2,如果是光纤上联的监控的节点,可以通过分光器,将光纤一分二,一路接入上联网络交换机,一路接至监控交换机;
所述步骤3包括如下步骤:
步骤3.1:监控交换机端口识别入向网络数据包;
步骤3.2:监控交换机的FPGA模块程序在每个入向网络数据包的尾部上添加时间戳字段,时间戳字段内容包括:接口端口号portid,数据包序号no,日期data,时间戳timestamp,标志位flag;
步骤3.3:监控交换机的FPGA模块程序在添加完成时间戳字段后,对数据包进行FCS校验和重新计算与封装;
步骤3.4:监控交换机将所有端口的数据包进行汇集后,输出至与监控分析系统互联的端口;
步骤3.5:如果转发的数据流量大于交换机端口带宽则会出现端口拥塞,监控交换机会将数据包缓存至内置共享缓存中,等待端口拥塞情况消失后再转发;
所述步骤4包括如下步骤:
步骤4.1:监控分析系统的上传模块通过高带宽网卡实时读取监控交换机输出的数据包;
步骤4.2:监控分析系统的上传模块解析读取的网络数据包,将数据包尾部的时间戳字段内接口端口号portid,数据包序号no,日期data,时间戳timestamp,标志位flag提取,将网络层及传输层头部字段TCP/UDP协议,协议端口,源目IP地址提取;
步骤4.3:监控分析系统的上传模块根据接口端口号portid字段、源目IP地址、协议及端口,将数据进行标记与分组;
步骤4.4:监控分析系统的上传模块将不同分组的数据实时推送至监控分析系统的分析模块;
所述步骤5包括如下步骤:
步骤5.1:监控分析系统的分析模块将不同分组的数据根据不同的七层协议解析库,对payload内部内容进行解析,并将关键内容字段存入数据库;
步骤5.2:监控分析系统的分析模块将各分组的流量数据根据硬件时间戳进行分析统计,并将结果存入数据库待查询展示;
步骤5.3:监控分析系统的分析模块根据预设的监控节点的关联模型,对关联的分组数据包的关键字段数据进行比对和匹配,将比对和匹配的结果存入数据库待查询展示;
本发明提供的一种基于交换机硬件时间戳的实时监控系统,如图1至5所示,包括:
模块1:选择并确定网络链路上监控节点;
模块2:将需监控的节点数据包通过镜像或分光的方式接入监控交换机;
模块3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;
模块4:监控分析系统的上传模块实时读取并解析监控交换机输出的数据包;
模块5:监控分析系统的分析模块对读取的数据包根据特定模型和算法进行分析;
模块6:监控分析系统的展示模块将分析的网络链路上全部应用系统的时延和流量情况实时展现给用户;
所述模块2包括如下模块:
模块2.1:情况1,确认需监控的节点上联的网络交换机端口,通过交换机镜像的方式将此端口流量镜像至监控交换机;
模块2.2:情况2,如果是光纤上联的监控的节点,可以通过分光器,将光纤一分二,一路接入上联网络交换机,一路接至监控交换机;
所述模块3包括如下模块:
模块3.1:监控交换机端口识别入向网络数据包;
模块3.2:监控交换机的FPGA模块程序在每个入向网络数据包的尾部上添加时间戳字段,时间戳字段内容包括:接口端口号portid,数据包序号no,日期data,时间戳timestamp,标志位flag;
模块3.3:监控交换机的FPGA模块程序在添加完成时间戳字段后,对数据包进行FCS校验和重新计算与封装;
模块3.4:监控交换机将所有端口的数据包进行汇集后,输出至与监控分析系统互联的端口;
模块3.5:如果转发的数据流量大于交换机端口带宽则会出现端口拥塞,监控交换机会将数据包缓存至内置共享缓存中,等待端口拥塞情况消失后再转发;
所述模块4包括如下模块:
模块4.1:监控分析系统的上传模块通过高带宽网卡实时读取监控交换机输出的数据包;
模块4.2:监控分析系统的上传模块解析读取的网络数据包,将数据包尾部的时间戳字段内接口端口号portid,数据包序号no,日期data,时间戳timestamp,标志位flag提取,将网络层及传输层头部字段TCP/UDP协议,协议端口,源目IP地址提取;
模块4.3:监控分析系统的上传模块根据接口端口号portid字段、源目IP地址、协议及端口,将数据进行标记与分组;
模块4.4:监控分析系统的上传模块将不同分组的数据实时推送至监控分析系统的分析模块;
所述模块5包括如下模块:
模块5.1:监控分析系统的分析模块将不同分组的数据根据不同的七层协议解析库,对payload内部内容进行解析,并将关键内容字段存入数据库;
模块5.2:监控分析系统的分析模块将各分组的流量数据根据硬件时间戳进行分析统计,并将结果存入数据库待查询展示;
模块5.3:监控分析系统的分析模块根据预设的监控节点的关联模型,对关联的分组数据包的关键字段数据进行比对和匹配,将比对和匹配的结果存入数据库待查询展示。
本发明通过监控交换机自带的晶振和FPGA模块,标识网络数据包的精准硬件时间戳(皮秒级别),解决了现有被监控系统处理时延低,现有通过软件时间戳的分析工具时间精度不足准确度不高的问题;
本发明通过监控交换机,能够对网络全链路上的节点数据进行旁路抓取与标记,不影响现有应用系统运行,解决了现有被监控系统节点多,需要同时分析的问题;
本发明通过监控分析平台实现实时地读取数据流并分析展示,解决了用户现有分析工具分析普遍滞后的问题。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于交换机硬件时间戳的实时监控方法,其特征在于,包括:
步骤S1:选择并确定网络链路上监控节点;
步骤S2:将选择的监控节点的网络数据包接入监控交换机;
步骤S3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;
步骤S4:监控分析系统的上传模块实时读取并解析监控交换机输出的网络数据包;
步骤S5:监控分析系统的分析模块对读取的数据包进行分析,得到网络链路上全部应用系统的时延和流量情况;
步骤S6:监控分析系统的展示模块将分析得到的网络链路上全部应用系统的时延和流量情况进行实时展现;
所述步骤S3包括:
步骤S3.1:监控交换机端口识别接收到的网络数据包;
步骤S3.2:监控交换机的FPGA模块程序在每个接收到的网络数据包的尾部上添加时间戳字段;
步骤S3.3:监控交换机的FPGA模块程序在添加完成时间戳字段后,对数据包进行FCS校验与封装。
2.根据权利要求1所述的基于交换机硬件时间戳的实时监控方法,其特征在于,所述步骤S2包括:将选择的监控节点的网络数据包通过镜像或分光的方式接入监控交换机;
所述将选择的监控节点数据包通过镜像的方式接入监控交换机包括:确认需监控的节点上联的网络交换机端口,通过交换机镜像的方式将当前网络交换机端口流量镜像至监控交换机;
所述将选择的监控节点数据包通过分光的方式接入监控交换机包括:当监控的节点为光纤上联的监控节点时,通过分光器,将光纤一分为二,一路接入上联网络交换机,一路接至监控交换机。
3.根据权利要求1所述的基于交换机硬件时间戳的实时监控方法,其特征在于,所述步骤S3还包括:监控交换机将所有端口的数据包进行汇集后,输出至与监控分析系统互联的端口;当转发的数据流量大于交换机端口带宽时,则会出现端口拥塞,监控交换机会将数据包缓存至内存共享缓存中,等待端口拥塞情况消失后再转发;
所述时间戳字段包括:接口端口号portid、数据包序号no、日期data、时间戳timestamp以及标志位flag。
4.根据权利要求1所述的基于交换机硬件时间戳的实时监控方法,其特征在于,所述步骤S4包括:
步骤S4.1:监控分析系统的上传模块通过高带宽网卡实时读取监控交换机输出的数据包;
步骤S4.2:监控分析系统的上传模块解析读取的网络数据包,提取数据包尾部的时间戳字段内接口端口号portid,数据包序号no,日期data,时间戳timestamp以及标志位flag,并提取网络层以及传输层头部字段TCP/UDP协议,协议端口以及源目IP地址;
步骤S4.3:监控分析系统的上传模块根据接口端口号portid字段、源目IP地址、协议端口,将数据进行标记与分组;
步骤S4.4:监控分析系统的上传模块将不同分组的数据实时推送至监控分析系统的分析模块。
5.根据权利要求1所述的基于交换机硬件时间戳的实时监控方法,其特征在于,所述步骤S5包括:
步骤S5.1:监控分析系统的分析模块将不同分组的数据根据相应的七层协议解析库,对不同分组数据的payload内部内容进行解析,得到关键内容字段,并将关键内容字段存入数据库;
步骤S5.2:监控分析系统的分析模块将各分组的流量数据根据硬件时间戳进行单位时间段内数据包数量及长度汇总分析统计,并将单位时间段内数据包流量大小存入数据库待查询展示;
步骤S5.3:监控分析系统的分析模块根据预设的监控节点的关联模型,对关联的分组数据包的关键字段数据进行比对和匹配,将比对和匹配的结果存入数据库待查询展示;
所述监控节点的关联模型是根据预设的监控节点关联关系,监控节点的业务上下游逻辑建立监控节点的关联模型,利用监控节点的关联模型正确匹配数据包的关键字段。
6.一种基于交换机硬件时间戳的实时监控系统,其特征在于,包括:
模块M1:选择并确定网络链路上监控节点;
模块M2:将选择的监控节点的网络数据包接入监控交换机;
模块M3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;
模块M4:监控分析系统的上传模块实时读取并解析监控交换机输出的网络数据包;
模块M5:监控分析系统的分析模块对读取的数据包进行分析,得到网络链路上全部应用系统的时延和流量情况;
模块M6:监控分析系统的展示模块将分析得到的网络链路上全部应用系统的时延和流量情况进行实时展现;
所述模块M3包括:
模块M3.1:监控交换机端口识别接收到的网络数据包;
模块M3.2:监控交换机的FPGA模块程序在每个接收到的网络数据包的尾部上添加时间戳字段;
模块M3.3:监控交换机的FPGA模块程序在添加完成时间戳字段后,对数据包进行FCS校验与封装。
7.根据权利要求6所述的基于交换机硬件时间戳的实时监控系统,其特征在于,所述模块M2包括:将选择的监控节点的网络数据包通过镜像或分光的方式接入监控交换机;
所述将选择的监控节点数据包通过镜像的方式接入监控交换机包括:确认需监控的节点上联的网络交换机端口,通过交换机镜像的方式将当前网络交换机端口流量镜像至监控交换机;
所述将选择的监控节点数据包通过分光的方式接入监控交换机包括:当监控的节点为光纤上联的监控节点时,通过分光器,将光纤一分为二,一路接入上联网络交换机,一路接至监控交换机。
8.根据权利要求6所述的基于交换机硬件时间戳的实时监控系统,其特征在于,所述模块M3还包括:监控交换机将所有端口的数据包进行汇集后,输出至与监控分析系统互联的端口;当转发的数据流量大于交换机端口带宽时,则会出现端口拥塞,监控交换机会将数据包缓存至内存共享缓存中,等待端口拥塞情况消失后再转发;
所述时间戳字段包括:接口端口号portid、数据包序号no、日期data、时间戳timestamp以及标志位flag。
9.根据权利要求6所述的基于交换机硬件时间戳的实时监控系统,其特征在于,所述模块M4包括:
模块M4.1:监控分析系统的上传模块通过高带宽网卡实时读取监控交换机输出的数据包;
模块M4.2:监控分析系统的上传模块解析读取的网络数据包,提取数据包尾部的时间戳字段内接口端口号portid,数据包序号no,日期data,时间戳timestamp以及标志位flag,并提取网络层以及传输层头部字段TCP/UDP协议,协议端口以及源目IP地址;
模块M4.3:监控分析系统的上传模块根据接口端口号portid字段、源目IP地址、协议端口,将数据进行标记与分组;
模块M4.4:监控分析系统的上传模块将不同分组的数据实时推送至监控分析系统的分析模块。
10.根据权利要求6所述的基于交换机硬件时间戳的实时监控系统,其特征在于,所述模块M5包括:
模块M5.1:监控分析系统的分析模块将不同分组的数据根据相应的七层协议解析库,对不同分组数据的payload内部内容进行解析,得到关键内容字段,并将关键内容字段存入数据库;
模块M5.2:监控分析系统的分析模块将各分组的流量数据根据硬件时间戳进行单位时间段内数据包数量及长度汇总分析统计,并将单位时间段内数据包流量大小存入数据库待查询展示;
模块M5.3:监控分析系统的分析模块根据预设的监控节点的关联模型,对关联的分组数据包的关键字段数据进行比对和匹配,将比对和匹配的结果存入数据库待查询展示;
所述监控节点的关联模型是根据预设的监控节点关联关系,监控节点的业务上下游逻辑建立监控节点的关联模型,利用监控节点的关联模型正确匹配数据包的关键字段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110507233.0A CN113242158B (zh) | 2021-05-10 | 2021-05-10 | 一种基于交换机硬件时间戳的实时监控方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110507233.0A CN113242158B (zh) | 2021-05-10 | 2021-05-10 | 一种基于交换机硬件时间戳的实时监控方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113242158A CN113242158A (zh) | 2021-08-10 |
CN113242158B true CN113242158B (zh) | 2022-11-29 |
Family
ID=77133051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110507233.0A Active CN113242158B (zh) | 2021-05-10 | 2021-05-10 | 一种基于交换机硬件时间戳的实时监控方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113242158B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114710424B (zh) * | 2022-03-10 | 2024-05-14 | 福州大学 | 基于软件定义网络的主机侧数据包处理延时测量方法 |
CN115766521A (zh) * | 2022-12-02 | 2023-03-07 | 中科亿海微电子科技(苏州)有限公司 | 基于fpga的全链路延时测量方法及测量系统 |
CN115801530B (zh) * | 2023-01-06 | 2023-04-21 | 深圳市拓普泰克技术股份有限公司 | 一种模块化设计的网管型环网交换机 |
CN115865759A (zh) * | 2023-02-27 | 2023-03-28 | 科来网络技术股份有限公司 | 基于流量镜像协议的网络设备时延获取方法及系统 |
CN116633808B (zh) * | 2023-07-19 | 2023-10-03 | 成都成电光信科技股份有限公司 | 一种时间触发光纤通道网络下的数据监控系统及其方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011100480A1 (en) * | 2010-02-10 | 2011-08-18 | Brian Lamb | Automatic motion tracking, event detection and video image capture and tagging |
CN109039825A (zh) * | 2018-08-30 | 2018-12-18 | 湖北微源卓越科技有限公司 | 一种网络数据保护设备及方法 |
CN109672583A (zh) * | 2018-09-25 | 2019-04-23 | 平安科技(深圳)有限公司 | 网络监控方法、设备、存储介质及装置 |
CN111756596A (zh) * | 2020-06-02 | 2020-10-09 | 深圳供电局有限公司 | 一种基于sdn的链路质量探测系统及方法 |
CN112491652A (zh) * | 2020-11-18 | 2021-03-12 | 国家计算机网络与信息安全管理中心 | 一种用于测试的网络流量样本处理方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110009159A1 (en) * | 2009-07-10 | 2011-01-13 | Hrvoje Muzina | Method for capturing files with a portable electronic device |
WO2011025746A1 (en) * | 2009-08-25 | 2011-03-03 | Semtech Corporation | Measurement and adjustment of real-time values according to residence time in networking equipment without access to real time |
CN102387045B (zh) * | 2011-09-30 | 2015-07-08 | 北京信息科技大学 | 嵌入式p2p流量监控系统及方法 |
US20130177296A1 (en) * | 2011-11-15 | 2013-07-11 | Kevin A. Geisner | Generating metadata for user experiences |
CN104836705A (zh) * | 2015-05-13 | 2015-08-12 | 国家电网公司 | 对智能变电站时延标定交换机进行标定时延误差测试方法 |
CN105357075B (zh) * | 2015-11-20 | 2019-02-05 | 武汉邮电科学研究院 | 基于软件定义网络的流量监测系统和方法 |
US10530560B2 (en) * | 2016-06-20 | 2020-01-07 | Nxp B.V. | Integrated circuit and method for processing synchronized network frames using a hardware synchronization circuit |
CN108809752B (zh) * | 2018-04-27 | 2020-09-08 | 广州西麦科技股份有限公司 | 一种网络流量的自适应监控方法、装置、npb设备及介质 |
WO2019220173A1 (en) * | 2018-05-16 | 2019-11-21 | Pratik Sharma | Distributed snapshot of rack |
US20200410841A1 (en) * | 2020-07-15 | 2020-12-31 | Dustin Richard Grzegorzewski | Wireless device hub assisting users in adjustable timed hand wash sequences with visual and audible indicators with a method of collecting and reporting data |
CN112491661B (zh) * | 2020-12-11 | 2022-12-13 | 苏州浪潮智能科技有限公司 | 数据中心交换机的时延探测方法、装置、设备及介质 |
-
2021
- 2021-05-10 CN CN202110507233.0A patent/CN113242158B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011100480A1 (en) * | 2010-02-10 | 2011-08-18 | Brian Lamb | Automatic motion tracking, event detection and video image capture and tagging |
CN109039825A (zh) * | 2018-08-30 | 2018-12-18 | 湖北微源卓越科技有限公司 | 一种网络数据保护设备及方法 |
CN109672583A (zh) * | 2018-09-25 | 2019-04-23 | 平安科技(深圳)有限公司 | 网络监控方法、设备、存储介质及装置 |
CN111756596A (zh) * | 2020-06-02 | 2020-10-09 | 深圳供电局有限公司 | 一种基于sdn的链路质量探测系统及方法 |
CN112491652A (zh) * | 2020-11-18 | 2021-03-12 | 国家计算机网络与信息安全管理中心 | 一种用于测试的网络流量样本处理方法及装置 |
Non-Patent Citations (2)
Title |
---|
Intrusion Detection Methods Based on Incomplete RFID Traces;LI Peng等;《Chinese Journal of Electronics》;20170715(第04期);全文 * |
基于IEEE1588频率漂移补偿算法研究与实现;陈金凤等;《时间频率学报》;20130715(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113242158A (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113242158B (zh) | 一种基于交换机硬件时间戳的实时监控方法和系统 | |
Basu et al. | Statistical abstraction and model-checking of large heterogeneous systems | |
CN109787833B (zh) | 网络异常事件感知方法和系统 | |
CN109656574B (zh) | 交易时延度量方法、装置、计算机设备及存储介质 | |
CN110417612B (zh) | 一种基于网元的网络流量监测系统及方法 | |
CN103765823A (zh) | 用于开放流的控制器激励的oam | |
US20130346377A1 (en) | System and method for aligning data frames in time | |
CN107465690B (zh) | 一种基于流量分析的被动式异常端口实时检测方法及系统 | |
CN111835588A (zh) | 一种带内网络遥测承载流选取方法及系统 | |
Sukhov et al. | Generating a function for network delay | |
CN115378847B (zh) | 证券行情时延测量系统和方法 | |
CN115776449B (zh) | 列车以太网通信状态监测方法及系统 | |
CN112565338A (zh) | 一种以太网报文捕获、过滤、存储、实时解析方法及系统 | |
CN110677327A (zh) | 一种基于芯片的rtp流量故障实时检测方法 | |
CN112565232B (zh) | 一种基于模板和流量状态的日志解析方法及系统 | |
CN105530137A (zh) | 流量数据分析方法及流量数据分析系统 | |
CN116032789A (zh) | 时间戳获取方法及装置、计算机可读存储介质、终端 | |
CN101453454B (zh) | 网络攻击检测内部追踪方法 | |
CN114285769B (zh) | 共享上网检测方法、装置、设备及存储介质 | |
CN112822067B (zh) | 测量网络时延和抖动的系统和方法 | |
CN115344455A (zh) | 日志处理方法、装置、电子设备及存储介质 | |
US11025519B2 (en) | Systems, methods and computer-readable media for external non-intrusive packet delay measurement | |
CN113242151A (zh) | 基于海量网络数据的特定数据提取方法和系统 | |
US20220407917A1 (en) | Shared data management system | |
CN118075207B (zh) | 一种基于fpga的超高清jpeg-xs的ip数据包处理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |