CN116582468B - 互联网流量监测方法、装置、设备及存储介质 - Google Patents

互联网流量监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116582468B
CN116582468B CN202310466629.4A CN202310466629A CN116582468B CN 116582468 B CN116582468 B CN 116582468B CN 202310466629 A CN202310466629 A CN 202310466629A CN 116582468 B CN116582468 B CN 116582468B
Authority
CN
China
Prior art keywords
flow
flow data
port allocation
monitoring
internet traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310466629.4A
Other languages
English (en)
Other versions
CN116582468A (zh
Inventor
杨琳军
曾宇
杨玲霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunzhimeng Technology Co ltd
Original Assignee
Hangzhou Yunzhimeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yunzhimeng Technology Co ltd filed Critical Hangzhou Yunzhimeng Technology Co ltd
Priority to CN202310466629.4A priority Critical patent/CN116582468B/zh
Publication of CN116582468A publication Critical patent/CN116582468A/zh
Application granted granted Critical
Publication of CN116582468B publication Critical patent/CN116582468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种互联网流量监测方法、装置、设备及存储介质,所述互联网流量监测方法包括:获取业务需求信息;基于所述业务需求信息,确定流量监测方案;基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。本申请属于流量远程监测技术领域,通过用户的业务需求信息,自动对交换机端口进行编排,无需用户花费大量时间自行根据业务需求逐一操作或者编排,以此提高流量监测的效率。

Description

互联网流量监测方法、装置、设备及存储介质
技术领域
本申请涉及流量远程监测技术领域,尤其涉及一种互联网流量监测方法、装置、设备及存储介质。
背景技术
网络流量监测服务可以根据用户/企业需求监测其网络的实时变化及整体状况,使得用户/企业对网络带宽使用情况一目了然,更深入了解应用程序及用户使用量。
目前行业内主要采用开源的Cacti系统,该系统是一套基于PHP、MySQL、SNMP及RRDTool开发的网络流量监测图形分析工具。Cacti通过snmp服务获取数据,然后用rrdtool储存和更新数据,当用户需要查看数据的时候用rrdtool生成图表呈现给用户。但是当企业的业务需求复杂时,需要相关人员在该系统上采取大量的操作和时间去满足相应的业务需求,导致流量监测的效率低下。
发明内容
本申请的主要目的在于提供一种互联网流量监测方法、装置、设备及存储介质,旨在解决现有技术中流量监测的效率低下的技术问题。
为实现以上目的,本申请提供一种互联网流量监测方法,所述互联网流量监测方法包括:
获取业务需求信息;
基于所述业务需求信息,确定流量监测方案;
基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
可选地,所述基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据的步骤之后,所述方法包括:
确定所述流量数据的价值;
将价值更高的流量数据存储至覆盖周期更长的资源池中,将价值更低的流量数据存储至覆盖周期更短的资源池中。
可选地,所述确定所述流量数据的价值的步骤,包括:
确定所述流量数据的变化量信息;
基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据;
基于所述变化量信息,对每段所述分段后的流量数据进行价值分类,得到所述流量数据的价值。
可选地,所述基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据的步骤之前,所述方法包括:
确定所述流量数据的时间标签;
所述基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据的步骤,包括:
基于所述变化量信息和所述时间标签,对所述流量数据进行分段,得到分段后的流量数据。
可选地,所述基于所述业务需求信息,确定流量监测方案的步骤,包括:
将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案;
其中,所述端口分配模型是基于历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
可选地,所述将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案的步骤之前,所述方法包括:
获取历史业务信息样本和所述历史业务信息样本的流量监测方案标签;
基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
可选地,所述基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型的步骤,包括:
将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案;
将所述预测流量监测方案与所述历史业务信息样本的流量监测方案标签进行差异计算,得到误差结果;
基于所述误差结果,判断所述误差结果是否满足预设误差阈值范围指示的误差标准;
若所述误差结果未满足所述预设误差阈值范围指示的误差标准,返回将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案的步骤,直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练,得到具有满足精度条件的端口分配模型。
本申请还提供一种互联网流量监测装置,所述互联网流量监测装置包括:
获取模块,用于获取业务需求信息;
确定模块,用于基于所述业务需求信息,确定流量监测方案;
编排模块,用于基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
本申请还提供一种互联网流量监测设备,所述互联网流量监测设备包括:存储器、处理器以及存储在存储器上的用于实现所述互联网流量监测方法的程序,
所述存储器用于存储实现互联网流量监测方法的程序;
所述处理器用于执行实现所述互联网流量监测方法的程序,以实现所述互联网流量监测方法的步骤。
本申请还提供一种存储介质,所述存储介质上存储有实现互联网流量监测方法的程序,所述实现互联网流量监测方法的程序被处理器执行以实现所述互联网流量监测方法的步骤。
本申请提供的一种互联网流量监测方法、装置、设备及存储介质,与相关技术中当企业的业务需求复杂时,需要相关人员在该系统上采取大量的操作和时间去满足相应的业务需求,导致流量监测的效率低下相比,在本申请中,获取业务需求信息;基于所述业务需求信息,确定流量监测方案;基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。即在本申请中,通过用户的业务需求信息,自动对交换机端口进行编排,无需用户花费大量时间自行根据业务需求逐一操作或者编排,以此提高流量监测的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本申请互联网流量监测方法第一实施例的流程示意图;
图3为本申请互联网流量监测装置的模块示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
如图1所示,图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端可以是PC,也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及互联网流量监测程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的互联网流量监测程序。
参照图2,本申请实施例提供一种互联网流量监测方法,所述互联网流量监测方法包括:
步骤S100,获取业务需求信息;
步骤S200,基于所述业务需求信息,确定流量监测方案;
步骤S300,基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
在本实施例中,针对的应用场景是:
作为一种示例,互联网流量监测的场景可以为,企业需要了解企业内部网络的实时变化及整体状况。目前行业内主要采用开源的Cacti系统,该系统是一套基于PHP、MySQL、SNMP及RRDTool开发的网络流量监测图形分析工具。Cacti通过snmp服务获取数据,然后用rrdtool储存和更新数据,当用户需要查看数据的时候用rrdtool生成图表呈现给用户。但是当企业的业务需求复杂时,需要相关人员在该系统上采取大量的操作和时间去满足相应的业务需求,导致流量监测的效率低下。针对此场景,本实施例的互联网流量监测方法通过用户的业务需求信息,自动对交换机端口进行编排,无需用户花费大量时间自行根据业务需求逐一操作或者编排,以此提高流量监测的效率。
作为一种示例,互联网流量监测的应用场景不仅为上述的企业根据需求监测其网络的实时变化及整体状况,还包括各种互联网流量监测场景中,在此不做具体限制。
本实施例旨在:提高流量监测的效率。
在本实施例中,互联网流量监测方法应用于互联网流量监测装置。
具体步骤如下:
步骤S100,获取业务需求信息;
在本实施例中,所述业务需求信息是用户/企业自身需求所制定的业务的信息,可以是特定对某区域的交换机进行流量监测,也可以是特定时间对交换机进行流量监测,还可以是特定时间对某特定区域的交换机进行流量监测,在此不做具体限定。
装置获取业务需求信息的方式可以是基于用户上传的业务需求信息得到的。
步骤S200,基于所述业务需求信息,确定流量监测方案;
在本实施例中,所述流量监测方案是表明各交换机的流量监测详情的方案,具体地,表明需要监测的区域的交换机,以及其中某几个交换机的叠加流量监测等,例如,A公司的流量监测方案为对A公司的X、Y、Z区域进行流量监测,对Y、Z区域进行叠加的流量监测。
在本实施例中,装置基于所述业务需求信息,确定流量监测方案的方式包括:在复杂的业务需求下,可以根据预训练好的深度网络学习模型,对其业务需求信息进行匹配,得到相应的流量监测方案;在简单的业务需求下,可以根据业务需求信息中指定的交换机的映射,确定流量监测方案。
具体地,所述步骤S200,包括以下步骤S210:
步骤S210,将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案;
其中,所述端口分配模型是基于历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
在本实施例中,所述端口分配模型为预训练完成的深度网络学习模型,该模型是基于历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型,以此提高流量监测方案的准确性。
在本实施例中,所述历史业务信息为企业历史实行的相应业务的信息,包括在实行业务时硬件设备信息,所述硬件设备信息执行时的流量信息,所述历史业务信息的流量监测方案为企业历史实行的相应业务时对设备(交换机)的流量监控信息。
在本实施例中,装置基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理的具体过程为所述端口分配模型提取所述业务需求信息中的特征信息,例如,A公司的业务需求信息为监测X部门的设备流量信息,相应的特征信息为X部门中设备数量、交换机数量以及其他设备信息等,根据该特征信息,端口分配模型对其选择相应的端口监测,形成流量监测方案。
具体地,所述步骤S210,包括以下步骤S211-S212:
步骤S211,获取历史业务信息样本和所述历史业务信息样本的流量监测方案标签;
在本实施例中,所述历史业务信息为企业历史实行的相应业务的信息,包括在实行业务时硬件设备信息,所述硬件设备信息执行时的流量信息,所述历史业务信息的流量监测方案为企业历史实行的相应业务时对设备的流量监控信息,装置获取历史业务信息样本和所述历史业务信息样本的流量监测方案标签的方式可以是接收用户上传的历史业务信息样本和所述历史业务信息样本的流量监测方案标签。
步骤S212,基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
在本实施例中,装置基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型,其中,所述待训练模型是预设的具备基本处理历史业务信息样本,预测流量监测方案的初始模型,与端口分配模型相比只存在精度的区别。
具体地,所述步骤S212,包括以下步骤S2121-S2124:
步骤S2121,将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案;
在本实施例中,装置将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案,其中,所述待训练模型是预设的具备基本处理历史业务信息样本,预测流量监测方案的初始模型,所述预测流量监测方案是待训练模型对历史业务信息预测的流量监测方案结果。
步骤S2122,将所述预测流量监测方案与所述历史业务信息样本的流量监测方案标签进行差异计算,得到误差结果;
在本实施例中,装置将所述预测流量监测方案与所述历史业务信息样本的流量监测方案标签进行差异计算,得到误差结果,其中,该方法也可以是通过损失函数收敛得到误差结果。
步骤S2123,基于所述误差结果,判断所述误差结果是否满足预设误差阈值范围指示的误差标准;
在本实施例中,装置基于所述误差结果,判断所述误差结果是否满足预设误差阈值范围指示的误差标准,其中,所述预设误差阈值包括预设均方误差阈值,本领域技术人员知晓的是,均方误差阈值越小,则代表模型越精准,所述判断所述训练误差结果是否满足预设误差阈值指示的误差标准包括:判断所述均方误差结果是否小于预设均方误差阈值。
步骤S2124,若所述误差结果未满足所述预设误差阈值范围指示的误差标准,返回将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案的步骤,直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练,得到具有满足精度条件的端口分配模型。
在本实施例中,若所述误差结果未满足所述预设误差阈值范围指示的误差标准,装置返回将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案的步骤,直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练,得到具有满足精度条件的端口分配模型,即在本实施例中,通过迭代训练,对待训练模型进行收敛,直到训练误差结果满足预设误差阈值范围指示的误差标准,完成迭代训练。
在另一实施例中,还可以在步骤S210,将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案后,获取用户对所述流量监测方案的评价值,并基于所述评价值,指导差异计算中的收敛loss,重新对端口分配模型进行迭代训练,直至所述训练误差结果满足更新后的loss所指示的误差标准后停止训练,得到具有满足精度条件的端口分配模型,以此更新模型,提高流量监测方案预测的准确性。
步骤S300,基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
在本实施例中,装置基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测,例如,A公司的流量监测方案为对A公司的X、Y、Z区域进行流量监测,对Y、Z区域进行叠加的流量监测,则对区域Y和Z的交换机进行流量重叠排列,区域X的交换机进行单独流量监测。
在本实施例中,装置还提供流量定时采集模块,该模块使用定时器触发流量采集动作。流量采集使用SNMP协议查询交换机端口上当前字节数,在每次查询之后用后一次的字节数减去前一次的字节数,作为一次查询到的流量结果予以保存,在第一次查询时由于没有上一次的端口字节数,故第一次查询成功后不进行计算,把当前查询字节数保存做上一次查询,这样从第二次查询开始后就可以在每次查询时计算出当前端口流量,在一个5分钟周期内,可进行多次查询,采取多次查询取平均值的计算方法作为这一个5分钟周期内的最终端口流量值。定时周期可自定义,即可以指定每隔多少时间进行一次流量采集,时间设置范围:10秒至290秒之间;流量数据维护模块,负责流量数据的日常维护工作,周期性的对月度流量查询任务进行提前查询、缓存,根据所设置的数据保留天数删除历史旧数据;交换机信息动态发现模块,使用SNMP协议的相关请求,周期性对交换机信息进行请求更新,无需人工干预,自动采集新端口、新VLAN流量数据。产生以下有益效果:添加采集对象更加简洁高效,只需添加交换机IP、读取团体名即可自动开启获取交换机端口,开始对各个端口进行流量采集记录;快速方便的流量查询、流量图生成功能,可快速根据实际业务对多个端口进行组织合并,对多端口的流量进行叠加,并可以查询、生成流量图;快速、高效、冗余的流量采集策略。在流量采集时使用并发执行的策略,同时对多个交换机进行流量采集,每个端口在每一单位时间(5分钟)内采集多次,用以确保端口流量采集成功率;可长期保存完整的流量数据,同类主流流量采集软件使用RRDTool存储数据,对原始老旧数据会进行合并收缩,在查询老数据时产生“失真”现象,本申请的装置设计采用企业级关系型数据库可长期保存完整流量数据,也可以对数据保存时间灵活配置自动删除旧数据。
本申请提供的一种互联网流量监测方法,与相关技术中当企业的业务需求复杂时,需要相关人员在该系统上采取大量的操作和时间去满足相应的业务需求,导致流量监测的效率低下相比,在本申请中,获取业务需求信息;基于所述业务需求信息,确定流量监测方案;基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。即在本申请中,通过用户的业务需求信息,自动对交换机端口进行编排,无需用户花费大量时间自行根据业务需求逐一操作或者编排,以此提高流量监测的效率。
基于上述的第一实施例,本申请还提供另一实施例,所述互联网流量监测方法包括:
在所述步骤S300,基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据的步骤之后,所述方法包括以下步骤A100-A200:
步骤A100,确定所述流量数据的价值;
在本实施例中,由于所述流量数据中具有不同价值,例如,变化量大的流量数据比变化量小的流量数据价值更高,价值更高的流量数据应保存更久,价值低的流量数据应及时清理,充分利用资源空间,若将不同价值的流量数据保存至同一资源池,流量数据无差别进行同一周期覆盖,会造成大量存储空间不合理使用,浪费有限的存储资源,因此在本申请中装置将所述流量数据进行价值分类。
具体地,所述步骤A100,包括以下步骤A110-A130:
步骤A110,确定所述流量数据的变化量信息;
在本实施例中,所述流量数据的变化量信息是指某一时刻的流量数据与上一时刻的流量数据相比的差值,装置确定所述流量数据的变化量信息的方式为实时计算监测中的流量数据。
步骤A120,基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据;
在本实施例中,装置基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据,具体地,装置根据变化量的大小对所述流量数据进行分级/分类/分段,例如,对变化量未超过X1的流量数据,选取从起始时间至变化量未超过X1的流量数据的流量尾端时间,将该段流量数据标记为无流量变化的Y1变化级别;对变化量超过X2,但未超过X3的流量数据,选取从变化量超过X2的时刻作为起始时间,直至变化量超过X3的流量数据的流量的尾端时间,将该段流量数据标记为第二流量变化的Y2变化级别;对变化量超过X3,但未超过X4的流量数据,选取从变化量超过X3的时刻作为起始时间,直至变化量超过X4的流量数据的流量的尾端时间,将该段流量数据标记为第三流量变化的Y3变化级别……。
步骤A130,基于所述变化量信息,对每段所述分段后的流量数据进行价值分类,得到所述流量数据的价值。
在本实施例中,装置基于所述变化量信息,对每段所述分段后的流量数据进行价值分类,得到所述流量数据的价值,具体地,将变化量越大的流量数据段标记价值更高,将变化量越小的流量数据段标记价值更低。
步骤A200,将价值更高的流量数据存储至覆盖周期更长的资源池中,将价值更低的流量数据存储至覆盖周期更短的资源池中。
在本实施例中,装置将价值更高的流量数据存储至覆盖周期更长的资源池中,将价值更低的流量数据存储至覆盖周期更短的资源池中,根据流量数据价值可动态将数据存入不同存储资源池,能更加灵活的管理同一交换机下不同类型数据的生命周期,实现数据按照价值自动化分配不同生命周期存储,以此提高存储的灵活性。
所述步骤A100,还包括以下步骤B100-B400:
步骤B100,确定所述流量数据的变化量信息;
在本实施例中,参照上述步骤A110,在此不再赘述。
步骤B200,确定所述流量数据的时间标签;
在本实施例中,装置确定所述流量数据的时间标签,即装置采集流量树的时间/时刻的标签,该时间标签代表获取该流量数据的时间/时刻。
步骤B300,基于所述变化量信息和所述时间标签,对所述流量数据进行分段,得到分段后的流量数据;
在本实施例中,装置基于所述变化量信息和所述时间标签,对所述流量数据进行分段,得到分段后的流量数据,具体地,装置对所述流量数据进行分级/分类/分段,在考虑所述变化量信息的基础上还考虑流量数据当前的获取时间,比如,夜晚时间所监测得到的流量数据价值小,上午/下午时间所监测得到的流量数据价值大,因此同一变化量信息级别的流量数据,在不同时间也会对最终的价值评价产生相应的影响,例如,Q1段流量数据和Q2段流量数据都是Y2变化级别,但是Q1段流量数据是白天时间标签,Q2段流量数据是夜晚时间标签,因此Q1段流量数据的价值为Z3,Q2段流量数据的价值为Z2,其中,Z3>Z2。
步骤B400,基于所述变化量信息,对每段所述分段后的流量数据进行价值分类,得到所述流量数据的价值。
在本实施例中,参照上述步骤A130,在此不再赘述。
在本实施例中,通过对采集后的流量数据进行价值分类保存,根据流量数据价值可动态将数据存入不同存储资源池,能更加灵活的管理同一交换机下不同类型数据的生命周期,实现数据按照价值自动化分配不同生命周期存储,以此提高存储的灵活性。
本申请还提供一种互联网流量监测装置,参照图3,所述互联网流量监测装置包括:
获取模块10,用于获取业务需求信息;
确定模块20,用于基于所述业务需求信息,确定流量监测方案;
编排模块30,用于基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
可选地,所述互联网流量监测装置还包括:
价值确定模块,用于确定所述流量数据的价值;
存储模块,用于将价值更高的流量数据存储至覆盖周期更长的资源池中,将价值更低的流量数据存储至覆盖周期更短的资源池中。
可选地,所述价值确定模块,包括:
变化量信息确定模块,用于确定所述流量数据的变化量信息;
第一分段模块,用于基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据;
价值分类模块,用于基于所述变化量信息,对每段所述分段后的流量数据进行价值分类,得到所述流量数据的价值。
可选地,所述互联网流量监测装置还包括:
时间标签确定模块,用于确定所述流量数据的时间标签;
第二分段模块,用于基于所述变化量信息和所述时间标签,对所述流量数据进行分段,得到分段后的流量数据。
可选地,所述确定模块20,包括:
分配模块,用于将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案;
其中,所述端口分配模型是基于历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
可选地,所述分配模块,包括:
样本获取模块,用于获取历史业务信息样本和所述历史业务信息样本的流量监测方案标签;
训练模块,用于基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
可选地,所述训练模块,包括:
预测模块,用于将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案;
差异计算模块,用于将所述预测流量监测方案与所述历史业务信息样本的流量监测方案标签进行差异计算,得到误差结果;
判断模块,用于基于所述误差结果,判断所述误差结果是否满足预设误差阈值范围指示的误差标准;
迭代训练模块,用于若所述误差结果未满足所述预设误差阈值范围指示的误差标准,返回将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案的步骤,直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练,得到具有满足精度条件的端口分配模型。
本申请互联网流量监测装置具体实施方式与上述互联网流量监测方法各实施例基本相同,在此不再赘述。
参照图1,图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,该互联网流量监测设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard),可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图1中示出的互联网流量监测设备结构并不构成对互联网流量监测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块以及互联网流量监测程序。操作系统是管理和控制互联网流量监测设备硬件和软件资源的程序,支持互联网流量监测程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与互联网流量监测系统中其它硬件和软件之间通信。
在图1所示的互联网流量监测设备中,处理器1001用于执行存储器1005中存储的互联网流量监测程序,实现上述任一项所述的互联网流量监测方法的步骤。
本申请互联网流量监测设备具体实施方式与上述互联网流量监测方法各实施例基本相同,在此不再赘述。
本申请还提供一种存储介质,所述存储介质上存储有实现互联网流量监测方法的程序,所述实现互联网流量监测方法的程序被处理器执行以实现如下所述互联网流量监测方法:
获取业务需求信息;
基于所述业务需求信息,确定流量监测方案;
基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
可选地,所述基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据的步骤之后,所述方法包括:
确定所述流量数据的价值;
将价值更高的流量数据存储至覆盖周期更长的资源池中,将价值更低的流量数据存储至覆盖周期更短的资源池中。
可选地,所述确定所述流量数据的价值的步骤,包括:
确定所述流量数据的变化量信息;
基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据;
基于所述变化量信息,对每段所述分段后的流量数据进行价值分类,得到所述流量数据的价值。
可选地,所述基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据的步骤之前,所述方法包括:
确定所述流量数据的时间标签;
所述基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据的步骤,包括:
基于所述变化量信息和所述时间标签,对所述流量数据进行分段,得到分段后的流量数据。
可选地,所述基于所述业务需求信息,确定流量监测方案的步骤,包括:
将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案;
其中,所述端口分配模型是基于历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
可选地,所述将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案的步骤之前,所述方法包括:
获取历史业务信息样本和所述历史业务信息样本的流量监测方案标签;
基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型。
可选地,所述基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到具有满足精度条件的端口分配模型的步骤,包括:
将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案;
将所述预测流量监测方案与所述历史业务信息样本的流量监测方案标签进行差异计算,得到误差结果;
基于所述误差结果,判断所述误差结果是否满足预设误差阈值范围指示的误差标准;
若所述误差结果未满足所述预设误差阈值范围指示的误差标准,返回将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案的步骤,直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练,得到具有满足精度条件的端口分配模型。
本申请存储介质具体实施方式与上述互联网流量监测方法各实施例基本相同,在此不再赘述。
本申请还提供一种计算机程序产品、包括计算机程序,该计算机程序被处理器执行时实现上述的互联网流量监测方法的步骤。
本申请计算机程序产品的具体实施方式与上述互联网流量监测方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种互联网流量监测方法,其特征在于,所述互联网流量监测方法包括:
获取历史业务信息样本和所述历史业务信息样本的流量监测方案标签;
基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到满足精度条件的端口分配模型;
获取业务需求信息;
基于所述业务需求信息,确定流量监测方案;
所述基于所述业务需求信息,确定流量监测方案的步骤,包括:
将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案;
获取用户对所述流量监测方案的评价值,基于所述评价值,对所述端口分配模型中的收敛loss进行更新,得到更新后的收敛loss,并基于所述更新后的收敛loss,重新对所述端口分配模型进行迭代训练,得到更新后的端口分配模型,其中,所述更新后的端口分配模型用于预测下一周期的流量监测方案;
基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
2.如权利要求1所述的互联网流量监测方法,其特征在于,所述基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据的步骤之后,所述方法包括:
确定所述流量数据的价值;
将价值更高的流量数据存储至覆盖周期更长的资源池中,将价值更低的流量数据存储至覆盖周期更短的资源池中。
3.如权利要求2所述的互联网流量监测方法,其特征在于,所述确定所述流量数据的价值的步骤,包括:
确定所述流量数据的变化量信息;
基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据;
基于所述变化量信息,对每段所述分段后的流量数据进行价值分类,得到所述流量数据的价值。
4.如权利要求3所述的互联网流量监测方法,所述基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据的步骤之前,所述方法包括:
确定所述流量数据的时间标签;
所述基于所述变化量信息,对所述流量数据进行分段,得到分段后的流量数据的步骤,包括:
基于所述变化量信息和所述时间标签,对所述流量数据进行分段,得到分段后的流量数据。
5.如权利要求1所述的互联网流量监测方法,其特征在于,所述基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到满足精度条件的端口分配模型的步骤,包括:
将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案;
将所述预测流量监测方案与所述历史业务信息样本的流量监测方案标签进行差异计算,得到误差结果;
基于所述误差结果,判断所述误差结果是否满足预设误差阈值范围指示的误差标准;
若所述误差结果未满足所述预设误差阈值范围指示的误差标准,返回将所述历史业务信息样本输入至预设的待训练模型,得到预测流量监测方案的步骤,直到所述误差结果满足所述预设误差阈值范围指示的误差标准后停止训练,得到满足精度条件的端口分配模型。
6.一种互联网流量监测装置,其特征在于,所述互联网流量监测装置包括:
样本获取模块,用于获取历史业务信息样本和所述历史业务信息样本的流量监测方案标签;
训练模块,用于基于所述历史业务信息样本和所述历史业务信息样本的流量监测方案标签,对预设的待训练模型进行迭代训练,得到满足精度条件的端口分配模型;
获取模块,用于获取业务需求信息;
预测模块,用于将所述业务需求信息输入至预设的端口分配模型,基于所述端口分配模型,对所述业务需求信息进行端口分配的分析处理,得到流量监测方案;
重训练模块, 用于获取用户对所述流量监测方案的评价值,基于所述评价值,对所述端口分配模型中的收敛loss进行更新,得到更新后的收敛loss,并基于所述更新后的收敛loss,重新对所述端口分配模型进行迭代训练,得到更新后的端口分配模型,其中,所述更新后的端口分配模型用于预测下一周期的流量监测方案;
编排模块,用于基于所述流量监测方案,对交换机端口进行编排,并采集编排后的所述交换机端口的流量数据,以实现监测平台对所述交换机端口的流量数据的监测。
7.一种互联网流量监测设备,其特征在于,所述互联网流量监测设备包括:存储器、处理器以及存储在存储器上的用于实现所述互联网流量监测方法的程序,
所述存储器用于存储实现互联网流量监测方法的程序;
所述处理器用于执行实现所述互联网流量监测方法的程序,以实现如权利要求1至5中任一项所述互联网流量监测方法的步骤。
8.一种存储介质,其特征在于,所述存储介质上存储有实现互联网流量监测方法的程序,所述实现互联网流量监测方法的程序被处理器执行以实现如权利要求1至5中任一项所述互联网流量监测方法的步骤。
CN202310466629.4A 2023-04-26 2023-04-26 互联网流量监测方法、装置、设备及存储介质 Active CN116582468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310466629.4A CN116582468B (zh) 2023-04-26 2023-04-26 互联网流量监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310466629.4A CN116582468B (zh) 2023-04-26 2023-04-26 互联网流量监测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116582468A CN116582468A (zh) 2023-08-11
CN116582468B true CN116582468B (zh) 2024-01-16

Family

ID=87535119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310466629.4A Active CN116582468B (zh) 2023-04-26 2023-04-26 互联网流量监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116582468B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817275A (zh) * 2016-12-16 2017-06-09 江苏省未来网络创新研究院 一种自动化预防和编排处理策略冲突的系统和方法
CN108388503A (zh) * 2018-02-13 2018-08-10 中体彩科技发展有限公司 数据库性能监控方法、系统、设备及计算机可读存储介质
WO2020194509A1 (ja) * 2019-03-26 2020-10-01 三菱電機株式会社 信頼性評価装置および信頼性評価方法
CN112231210A (zh) * 2020-10-13 2021-01-15 中移(杭州)信息技术有限公司 网络功能虚拟化环境下的测试方法、设备及存储介质
CN113626333A (zh) * 2021-08-20 2021-11-09 新华三大数据技术有限公司 一种接口自动化测试方法及装置
CN114666162A (zh) * 2022-04-29 2022-06-24 北京火山引擎科技有限公司 一种流量检测方法、装置、设备及存储介质
CN114693087A (zh) * 2022-03-16 2022-07-01 国网福建省电力有限公司经济技术研究院 城市能源系统多尺度能耗模型及其能流监测方法
US11616799B1 (en) * 2022-07-12 2023-03-28 Netskope, Inc. Training a model to detect malicious command and control cloud
WO2023056696A1 (zh) * 2021-10-08 2023-04-13 南威软件股份有限公司 基于循环神经网络的城市轨道交通短时客流预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817275A (zh) * 2016-12-16 2017-06-09 江苏省未来网络创新研究院 一种自动化预防和编排处理策略冲突的系统和方法
CN108388503A (zh) * 2018-02-13 2018-08-10 中体彩科技发展有限公司 数据库性能监控方法、系统、设备及计算机可读存储介质
WO2020194509A1 (ja) * 2019-03-26 2020-10-01 三菱電機株式会社 信頼性評価装置および信頼性評価方法
CN112231210A (zh) * 2020-10-13 2021-01-15 中移(杭州)信息技术有限公司 网络功能虚拟化环境下的测试方法、设备及存储介质
CN113626333A (zh) * 2021-08-20 2021-11-09 新华三大数据技术有限公司 一种接口自动化测试方法及装置
WO2023056696A1 (zh) * 2021-10-08 2023-04-13 南威软件股份有限公司 基于循环神经网络的城市轨道交通短时客流预测方法
CN114693087A (zh) * 2022-03-16 2022-07-01 国网福建省电力有限公司经济技术研究院 城市能源系统多尺度能耗模型及其能流监测方法
CN114666162A (zh) * 2022-04-29 2022-06-24 北京火山引擎科技有限公司 一种流量检测方法、装置、设备及存储介质
US11616799B1 (en) * 2022-07-12 2023-03-28 Netskope, Inc. Training a model to detect malicious command and control cloud

Also Published As

Publication number Publication date
CN116582468A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN108337358B (zh) 应用清理方法、装置、存储介质及电子设备
CA3048140C (en) Method and apparatus for generating a search pattern for an incident scene
CN107567083B (zh) 进行省电优化处理的方法和装置
CN101208879A (zh) 用于移动计算设备的移动性策略管理器
CN112187512B (zh) 一种基于流量监控的端口自动扩容方法、装置和设备
CN112272239A (zh) 边缘计算方法、装置、智能终端及计算机可读存储介质
CN107729143B (zh) 应用控制方法、装置、存储介质及电子设备
CN110119307B (zh) 数据处理请求的处理方法、装置、存储介质及电子装置
CN107402808B (zh) 进程管理方法、装置、存储介质及电子设备
CN110968712B (zh) Bim族模型获取的方法、装置及系统
CN105468161A (zh) 指令执行方法和装置
CN106209412B (zh) 资源监控系统与其方法
CN113822460A (zh) 一种交通流量预测方法、装置、电子设备和存储介质
CN111797288A (zh) 数据筛选方法、装置、存储介质及电子设备
CN109428929A (zh) 目标对象的位置信息的确定方法、服务器及用户客户端
CN108363947A (zh) 基于大数据的滞留人员统计预警方法和装置
CN116582468B (zh) 互联网流量监测方法、装置、设备及存储介质
CN117435306A (zh) 集群容器扩缩容方法、装置、设备及存储介质
CN111314177B (zh) 一种基于无线信号的作息时段识别方法以及相关装置
CN105432038A (zh) 应用排名计算装置和使用信息收集装置
CN113378768A (zh) 垃圾桶状态识别方法、装置、设备以及存储介质
CN115729996A (zh) 标签信息采集方法、设备及存储介质
CN116487016A (zh) 联网护理机的报修匹配方法、装置、设备及存储介质
CN115899991A (zh) 空调运行控制方法、装置、电子设备及存储介质
CN112883291B (zh) 目的地位置的推荐方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant