CN117201410A - 用于物联网的流量管理方法及系统 - Google Patents
用于物联网的流量管理方法及系统 Download PDFInfo
- Publication number
- CN117201410A CN117201410A CN202311179399.XA CN202311179399A CN117201410A CN 117201410 A CN117201410 A CN 117201410A CN 202311179399 A CN202311179399 A CN 202311179399A CN 117201410 A CN117201410 A CN 117201410A
- Authority
- CN
- China
- Prior art keywords
- network
- time sequence
- consistency
- feature
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 60
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims description 130
- 239000011159 matrix material Substances 0.000 claims description 99
- 238000012549 training Methods 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 20
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 15
- 238000012098 association analyses Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 15
- 238000013468 resource allocation Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种用于物联网的流量管理方法及系统,其通过实时采集待测地区的网络流量值,并在后端引入数据处理和分析算法来进行该地区的网络流量时序分布特征分析以进行流量的短时变化趋势判断,以此来预测流量需求和高峰,为网络运营商和服务提供商优化网络资源分配提供帮助,以满足不同时间段和地点的流量需求。这样,通过合理分配带宽和网络容量,可以提高网络的效率和性能,避免资源浪费和拥塞现象。并且,还可以避免资源短缺或过剩,提高网络的可靠性和稳定性。
Description
技术领域
本申请涉及智能化管理技术领域,并且更具体地,涉及一种用于物联网的流量管理方法及系统。
背景技术
物联网(Internet of Things,简称IoT)是指通过互联网将各种物理设备连接起来,实现设备之间的信息交互和数据传输。随着物联网设备数量的不断增加,对网络流量管理的需求也越来越重要。流量管理方法可以帮助网络运营商和服务提供商更好地分析和预测物联网设备在不同时间段和地点的流量需求,以优化网络资源的分配。
然而,传统的流量管理方案往往基于简单的统计方法或规则,对未来的流量需求进行预测,这种方法可能无法准确地捕捉到复杂的流量模式和趋势,导致预测结果不够准确。此外,传统的流量管理方案通常是基于历史数据进行分析和预测,无法及时响应实时的流量变化。在物联网环境中,流量需求可能会发生突然的变化,需要具备实时性的流量管理方案。
因此,期望一种优化的用于物联网的流量管理方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于物联网的流量管理方法及系统,通过实时采集待测地区的网络流量值,并在后端引入数据处理和分析算法来进行该地区的网络流量时序分布特征分析以进行流量的短时变化趋势判断,以此来预测流量需求和高峰,为网络运营商和服务提供商优化网络资源分配提供帮助,以满足不同时间段和地点的流量需求。这样,通过合理分配带宽和网络容量,可以提高网络的效率和性能,避免资源浪费和拥塞现象。并且,还可以避免资源短缺或过剩,提高网络的可靠性和稳定性。
第一方面,提供了一种用于物联网的流量管理方法,其包括:
获取待测地区在预定时间段内多个预定时间点的网络流量值;
将所述多个预定时间点的网络流量值按照时间维度排列为网络流量时序输入向量;
对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列;
对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵;
对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征;以及
基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值。
第二方面,提供了一种用于物联网的流量管理系统,其包括:
数据获取模块,用于获取待测地区在预定时间段内多个预定时间点的网络流量值;
向量排列模块,用于将所述多个预定时间点的网络流量值按照时间维度排列为网络流量时序输入向量;
时序特征分析模块,用于对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列;
相似关联分析模块,用于对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵;
关联编码模块,用于对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征;以及
网络流量需确定模块,用于基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的用于物联网的流量管理方法的流程图。
图2为根据本申请实施例的用于物联网的流量管理方法的架构示意图。
图3为根据本申请实施例的用于物联网的流量管理系统的框图。
图4为根据本申请实施例的用于物联网的流量管理方法的场景示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。
在本申请实施例记载中,需要说明的是,除非另有说明和限定,术语“连接”应做广义理解,例如,可以是电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
物联网(Internet of Things,简称IoT)是指通过互联网将各种物理设备连接起来,实现设备之间的信息交互和数据传输的概念。物联网的目标是将传感器、设备、网络和数据分析技术相互连接,使得物理世界与数字世界相融合,实现智能化、自动化和实时化的应用。
物联网的核心思想是让物理设备能够通过互联网进行通信,并能够相互协作。这些物理设备可以是各种智能传感器、执行器、嵌入式系统、智能家居设备、工业设备、交通工具、医疗设备等。通过将这些设备连接到互联网,它们可以收集和共享数据,进行远程控制和监测,实现智能化的功能和服务。
物联网的应用非常广泛,涵盖了各个领域。在智能家居领域,物联网可以实现家庭设备的互联互通,如智能家电、安防系统、环境监测等。在工业领域,物联网可以实现设备的远程监控和管理,提高生产效率和安全性。在农业领域,物联网可以用于农田的智能灌溉、环境监测和精准农业等。在城市管理领域,物联网可以用于智能交通系统、智能能源管理、环境监测和智慧城市建设等。
物联网的技术基础包括传感器技术、网络通信技术、云计算和大数据分析技术。传感器可以感知和采集物理世界的各种数据,网络通信技术可以实现设备之间的连接和通信,云计算可以提供存储和计算能力,大数据分析技术可以对海量的数据进行处理和分析,提取有价值的信息。
然而,物联网也面临着一些挑战,如安全和隐私问题、标准和互操作性、数据管理和分析等。解决这些挑战需要综合运用技术、法律和政策等多种手段,以确保物联网的可持续发展和安全可靠运行。
流量管理方法是指在网络中对流量进行控制和管理的技术和策略,可以帮助网络运营商和服务提供商更好地分析和预测网络流量的需求,以优化网络资源的分配,提高网络的效率和性能。
流量管理方法包括:流量监测和测量,通过在网络中部署流量监测器和测量工具,实时监测和测量网络中的流量情况,这可以帮助运营商了解网络的负载情况、流量分布和流量类型等信息。流量控制和调度,基于流量监测和测量的结果,运营商可以采取控制和调度措施,如流量限速、流量分流、流量优先级调整等,以避免网络拥塞和资源浪费,提高网络的质量和性能。流量优化和压缩,通过使用流量优化和压缩技术,可以减少数据传输的大小和带宽占用,从而降低网络流量的消耗,这包括数据压缩、缓存技术、内容分发网络(CDN)等。流量预测和调整,通过分析历史流量数据和趋势,可以预测未来的流量需求,并相应地调整网络资源的分配。这可以帮助运营商合理规划网络扩容和带宽分配,以满足不同时间段和地点的流量需求。QoS(Quality of Service)管理,QoS管理是指根据不同应用和用户的需求,对流量进行优先级和服务质量的管理。通过设定不同的服务等级和策略,可以确保关键应用和用户的流量得到优先处理和保障。流量分析和策略制定,通过对流量数据进行分析和挖掘,可以了解用户行为、应用需求和网络瓶颈等信息,从而制定相应的流量管理策略和优化措施。传统的流量管理方案往往基于简单的统计方法或规则,对未来的流量需求进行预测,这种方法可能无法准确地捕捉到复杂的流量模式和趋势,导致预测结果不够准确。此外,传统的流量管理方案通常是基于历史数据进行分析和预测,无法及时响应实时的流量变化。在物联网环境中,流量需求可能会发生突然的变化,需要具备实时性的流量管理方案。
因此,在本申请中,提供一种优化的用于物联网的流量管理方案。
图1为根据本申请实施例的用于物联网的流量管理方法的流程图。图2为根据本申请实施例的用于物联网的流量管理方法的架构示意图。如图1和图2所示,所述用于物联网的流量管理方法,包括:110,获取待测地区在预定时间段内多个预定时间点的网络流量值;120,将所述多个预定时间点的网络流量值按照时间维度排列为网络流量时序输入向量;130,对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列;140,对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵;150,对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征;以及,160,基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值。
在所述步骤110中,确保准确地获取待测地区的网络流量值。可以通过网络监测设备、传感器、流量统计数据等手段来获取数据,确保数据的准确性和完整性对后续的分析和预测非常重要。这样,可以获得待测地区在不同时间点的网络流量数据,为后续的分析和预测提供基础。在所述步骤120中,按照时间维度对网络流量值进行排序和组织,形成时序输入向量,确保时间的连续性和正确的排序对后续的时序特征分析和建模非常重要。以将多个时间点的网络流量值整合为时序输入向量,为后续的分析和建模提供数据结构。在所述步骤130中,对网络流量时序输入向量进行特征分析,提取局部时序特征。特征分析方法包括滑动窗口、傅里叶变换、小波变换等,通过选择合适的特征分析方法,可以捕捉到网络流量的时序变化规律。这样,可以得到网络流量的局部时序特征向量序列,为后续的一致性相似关联分析提供基础。在所述步骤140中,对局部时序特征向量序列进行一致性相似关联分析,可以使用相关性分析、聚类分析、时序模式挖掘等方法来寻找特征向量之间的关联关系,并构建网络流量的一致性拓扑特征矩阵。这样,可以得到网络流量的一致性拓扑特征矩阵,反映了不同特征向量之间的关联关系,为后续的全局时序特征提取提供基础。在所述步骤150中,将局部时序特征向量序列和一致性拓扑特征矩阵进行关联编码。可以使用图神经网络、图嵌入等方法,将局部特征和拓扑关系结合起来,得到一致性拓扑网络流量的全局时序特征。这样,可以获得一致性拓扑网络流量的全局时序特征,综合考虑了局部特征和拓扑关系,为网络流量的需求预测提供基础。在所述步骤160中,利用一致性拓扑网络流量的全局时序特征进行网络流量需求预测。可以使用时间序列分析、机器学习、深度学习等方法来建立预测模型,并根据全局时序特征进行预测。这样,可以通过全局时序特征,对待测地区的网络流量需求进行预测,帮助网络运营商和服务提供商做出合理的资源规划和决策。
针对上述技术问题,本申请的技术构思为通过实时采集待测地区的网络流量值,并在后端引入数据处理和分析算法来进行该地区的网络流量时序分布特征分析以进行流量的短时变化趋势判断,以此来预测流量需求和高峰,为网络运营商和服务提供商优化网络资源分配提供帮助,以满足不同时间段和地点的流量需求。这样,通过合理分配带宽和网络容量,可以提高网络的效率和性能,避免资源浪费和拥塞现象。并且,还可以避免资源短缺或过剩,提高网络的可靠性和稳定性。
具体地,在本申请的技术方案中,首先,获取待测地区在预定时间段内多个预定时间点的网络流量值。接着,考虑到由于所述待测地区的网络流量值在时间维度上是不断变化的,其在时序上具有着动态性的变化规律,也就是说,所述待测地区在多个预定时间点的网络流量值之间具有着时序的关联关系。因此,在本申请的技术方案中,需要将所述多个预定时间点的网络流量值按照时间维度排列为网络流量时序输入向量,以此来整合所述待测地区的网络流量值在时间维度上的时序分布信息,以便于后续进行该地区的网络流量时序变化趋势分析,从而进行网络流量需求的预测。
在本申请的一个实施例中,对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列,包括:对所述网络流量时序输入向量进行基于线性插值的上采样以得到上采样网络流量时序输入向量;对所述上采样网络流量时序输入向量进行向量切分以得到网络流量局部时序输入向量的序列;以及,通过基于深度神经网络模型的流量时序特征提取器分别对所述网络流量局部时序输入向量的序列中的各个网络流量局部时序输入向量进行特征提取以得到所述网络流量局部时序特征向量的序列。
其中,所述基于深度神经网络模型的流量时序特征提取器为基于一维卷积层的流量时序特征提取器。
然后,为了能够进一步提高对所述待测地区的网络流量值在预定时间段内的时序细微变化特征的捕捉能力,在本申请的技术方案中,进一步对所述网络流量时序输入向量进行基于线性插值的上采样以得到上采样网络流量时序输入向量,以增加数据的密度和平滑度,从而便于后续更好地表示网络流量的时序变化特征。应可以理解,通过线性插值的上采样,可以将原始的所述网络流量时序输入向量中的数据点进行插值,生成更多的数据点。这样,有助于增加时间维度上的分辨率,使得网络流量的时序变化更加细致可见。同时,线性插值可以在采样点之间进行平滑插值,减少噪声和突变的影响,提高数据的连续性和稳定性。也就是说,上采样后的所述上采样网络流量时序输入向量可以提供更详细和准确的网络流量变化信息,为后续的网络流量时序特征提取和网络流量的需求预测提供更丰富的数据。
继而,在对于所述网络流量值的时序变化特征进行提取时,为了能够更充分和细致地捕捉到所述网络流量值在时间维度上的时序变化特征信息,进一步需要对所述上采样网络流量时序输入向量进行向量切分以得到网络流量局部时序输入向量的序列,以便于后续更好地提取出不同时间段内的网络流量局部时序细节变化特征信息。
进一步地,将所述网络流量局部时序输入向量的序列通过基于一维卷积层的流量时序特征提取器中进行特征提取,以提取出所述网络流量值在时间维度上的各个局部时间片段内的局部时序细节变化特征信息,从而得到网络流量局部时序特征向量的序列。这样,有利于后续更为准确地进行所述网络流量值的时序变化趋势分析和所述待测地区的网络流量需求检测。
在本申请的一个实施例中,对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵,包括:计算所述网络流量局部时序特征向量的序列中任意两个网络流量局部时序特征向量之间的余弦相似度以得到网络流量一致性拓扑矩阵;以及,将所述网络流量一致性拓扑矩阵通过基于卷积神经网络模型的一致性拓扑特征提取器以得到所述网络流量一致性拓扑特征矩阵。
接着,还考虑到由于所述网络流量值在各个局部时间片段中的时序细微变化特征之间在整个所述预定时间段中具有着基于时序整体的关联关系,并且,在实际进行网络流量的时序分布和变化趋势的特征表达以进行网络流量需求的预测时,关键在于对于所述各个局部时间片段中的网络流量变化模式进行一致性对比分析,从而更好地进行预测和调控。因此,在本申请的技术方案中,进一步计算所述网络流量局部时序特征向量的序列中任意两个网络流量局部时序特征向量之间的余弦相似度以得到网络流量一致性拓扑矩阵。值得一提的是,这里,通过计算所述各个网络流量局部时序特征向量之间的余弦相似度,能够捕捉到所述各个局部时序片段之间有关于网络流量的时序变化模式的一致性关联特征信息,以便于后续的网络流量时序变化模式对比分析和需求预测。
然后,将所述网络流量一致性拓扑矩阵通过基于卷积神经网络模型的一致性拓扑特征提取器中进行特征提取,以提取出所述各个局部时间片段中有关于网络流量时序变化模式的一致性拓扑全局关联特征信息,从而得到网络流量一致性拓扑特征矩阵。
在本申请的一个实施例中,对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征,包括:将所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵通过图神经网络模型以得到一致性拓扑网络流量全局时序特征矩阵作为所述一致性拓扑网络流量全局时序特征。
进而,以所述网络流量局部时序特征向量的序列中的各个网络流量局部时序特征向量作为节点的特征表示,而以所述网络流量一致性拓扑特征矩阵作为节点与节点之间的边的特征表示,将由所述多个网络流量局部时序特征向量经二维排列得到的网络流量全局时序特征矩阵和所述网络流量一致性拓扑特征矩阵通过图神经网络模型以得到一致性拓扑网络流量全局时序特征矩阵。具体地,所述图神经网络模型通过可学习的神经网络参数对所述网络流量全局时序特征矩阵和所述网络流量一致性拓扑特征矩阵进行图结构数据编码以得到包含不规则的网络流量局部时序模式一致性拓扑关联特征和所述各个局部时序片段中的网络流量时序特征信息的所述一致性拓扑网络流量全局时序特征矩阵。
在本申请的一个实施例中,基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值,包括:将所述一致性拓扑网络流量全局时序特征矩阵通过解码器以得到解码值,所述解码值用于表示短时的待测地区的网络流量需求预测值。
继而,再将所述一致性拓扑网络流量全局时序特征矩阵通过解码器以得到解码值,所述解码值用于表示短时的待测地区的网络流量需求预测值。也就是说,利用所述网络流量的局部时序特征和所述网络流量局部时序特征之间的一致性拓扑关联特征的基于图结构的关联性特征信息来进行解码回归,从而基于对所述待测地区的流量短时变化趋势判断来预测流量需求和高峰,为网络运营商和服务提供商优化网络资源分配提供帮助,以满足不同时间段和地点的流量需求。
在本申请的一个实施例中,所述用于物联网的流量管理方法,还包括训练步骤:用于对所述基于一维卷积层的流量时序特征提取器、所述基于卷积神经网络模型的一致性拓扑特征提取器、所述图神经网络模型和所述解码器进行训练。所述训练步骤,包括:获取训练数据,所述训练数据包括待测地区在预定时间段内多个预定时间点的训练网络流量值,以及,所述短时的待测地区的网络流量需求预测值的真实值;将所述多个预定时间点的训练网络流量值按照时间维度排列为训练网络流量时序输入向量;对所述训练网络流量时序输入向量进行基于线性插值的上采样以得到训练上采样网络流量时序输入向量;对所述训练上采样网络流量时序输入向量进行向量切分以得到训练网络流量局部时序输入向量的序列;将所述训练网络流量局部时序输入向量的序列通过所述基于一维卷积层的流量时序特征提取器以得到训练网络流量局部时序特征向量的序列;计算所述训练网络流量局部时序特征向量的序列中任意两个训练网络流量局部时序特征向量之间的余弦相似度以得到训练网络流量一致性拓扑矩阵;将所述训练网络流量一致性拓扑矩阵通过所述基于卷积神经网络模型的一致性拓扑特征提取器以得到训练网络流量一致性拓扑特征矩阵;将所述训练网络流量局部时序特征向量的序列和所述训练网络流量一致性拓扑特征矩阵通过所述图神经网络模型以得到训练一致性拓扑网络流量全局时序特征矩阵;将所述训练一致性拓扑网络流量全局时序特征矩阵通过所述解码器以得到解码损失函数值;基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于一维卷积层的流量时序特征提取器、所述基于卷积神经网络模型的一致性拓扑特征提取器、所述图神经网络模型和所述解码器进行训练,其中,在所述训练的每次权重矩阵迭代时,对所述训练一致性拓扑网络流量全局时序特征矩阵展开后得到的训练一致性拓扑网络流量全局时序特征向量进行基于类度矩阵正则化的权重空间探索约束优化。
特别地,在本申请的技术方案中,所述网络流量局部时序特征向量的序列中的每个网络流量局部时序特征向量表示局部时域下的网络流量值的时序关联特征,由此,将其与所述网络流量一致性拓扑特征矩阵通过图神经网络模型后,可以进一步进行基于全局时域下的局部时域将时序特征相似度拓扑的拓扑关联,也就是,所述一致性拓扑网络流量全局时序特征矩阵同时包括网络流量值在局部时域和全局时域对应的多样化时域空间上下文下的不同时序关联维度的特征表示,这样,在提升了所述一致性拓扑网络流量全局时序特征矩阵在全时域空间内的时序特征表示的同时,也会导致所述一致性拓扑网络流量全局时序特征矩阵在通过解码器进行解码回归时,其在解码值的概率分布域内的与特征分布多样化对应的标签分布富化,从而影响在解码过程中所述解码器的权重矩阵的收敛效果。
基于此,本申请的申请人在将所述一致性拓扑网络流量全局时序特征矩阵通过分类器进行分类时,在每次权重矩阵的迭代时,对所述一致性拓扑网络流量全局时序特征矩阵展开后得到的一致性拓扑网络流量全局时序特征向量进行基于类度矩阵正则化的权重空间探索约束,具体表示为:以如下优化公式对所述训练一致性拓扑网络流量全局时序特征矩阵展开后得到的训练一致性拓扑网络流量全局时序特征向量进行基于类度矩阵正则化的权重空间探索约束优化以得到优化训练一致性拓扑网络流量全局时序特征矩阵;其中,所述优化公式为:
其中V是所述训练一致性拓扑网络流量全局时序特征矩阵展开后得到的训练一致性拓扑网络流量全局时序特征向量,V′是所述优化训练一致性拓扑网络流量全局时序特征矩阵展开后得到的优化训练一致性拓扑网络流量全局时序特征向量,且V为列向量,V′是行向量,Mt∈RL×L为可学习的域转移矩阵,M表示上一次迭代的权重矩阵,M′表示迭代后的权重矩阵,(·)T表示向量或矩阵的转置向量或转置矩阵,表示矩阵乘法。
这里,考虑到权重矩阵的权重空间域与所述一致性拓扑网络流量全局时序特征向量V的分类结果的概率分布域之间的域差异(domain gap),通过权重矩阵M相对于所述一致性拓扑网络流量全局时序特征向量V的类度矩阵正则化表示来作为域间迁移代理(inter-domain transferring agent),来将有价值的标签约束的概率分布转移到权重空间内,从而避免在基于权重空间的分类过程中,富标签化的(rich labeled)概率分布域对于权重空间内的权重分布进行过度探索(over-exploit),提升了权重矩阵的收敛效果,也就提升了所述一致性拓扑网络流量全局时序特征矩阵在通过解码器进行解码回归的训练效果。这样,能够基于待测地区的流量短时变化趋势来预测流量需求和高峰,为网络运营商和服务提供商优化网络资源分配提供帮助,以满足不同时间段和地点的流量需求,通过这样的方式,能够合理分配带宽和网络容量,提高网络的效率和性能,避免资源浪费和拥塞现象。并且,还可以避免资源短缺或过剩,提高网络的可靠性和稳定性。
综上,基于本申请实施例的用于物联网的流量管理方法被阐明,通过实时采集待测地区的网络流量值,并在后端引入数据处理和分析算法来进行该地区的网络流量时序分布特征分析以进行流量的短时变化趋势判断,以此来预测流量需求和高峰,为网络运营商和服务提供商优化网络资源分配提供帮助,以满足不同时间段和地点的流量需求。
在本申请的一个实施例中,图3为根据本申请实施例的用于物联网的流量管理系统的框图。如图3所示,根据本申请实施例的用于物联网的流量管理系统200,包括:数据获取模块210,用于获取待测地区在预定时间段内多个预定时间点的网络流量值;向量排列模块220,用于将所述多个预定时间点的网络流量值按照时间维度排列为网络流量时序输入向量;时序特征分析模块230,用于对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列;相似关联分析模块240,用于对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵;关联编码模块250,用于对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征;以及,网络流量需确定模块260,用于基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值。
这里,本领域技术人员可以理解,上述用于物联网的流量管理系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图2的用于物联网的流量管理方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的用于物联网的流量管理系统200可以实现在各种终端设备中,例如用于物联网的流量管理的服务器等。在一个示例中,根据本申请实施例的用于物联网的流量管理系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该用于物联网的流量管理系统200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该用于物联网的流量管理系统200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该用于物联网的流量管理系统200与该终端设备也可以是分立的设备,并且用于物联网的流量管理系统200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图4为根据本申请实施例的用于物联网的流量管理方法的场景示意图。如图4所示,在该应用场景中,首先,获取待测地区在预定时间段内多个预定时间点的网络流量值(例如,如图4中所示意的C);然后,将获取的网络流量值输入至部署有用于物联网的流量管理算法的服务器(例如,如图C中所示意的S)中,其中所述服务器能够基于用于物联网的流量管理算法对所述网络流量值进行处理,以确定短时的待测地区的网络流量需求预测值。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种用于物联网的流量管理方法,其特征在于,包括:
获取待测地区在预定时间段内多个预定时间点的网络流量值;
将所述多个预定时间点的网络流量值按照时间维度排列为网络流量时序输入向量;
对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列;
对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵;
对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征;以及
基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值。
2.根据权利要求1所述的用于物联网的流量管理方法,其特征在于,对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列,包括:
对所述网络流量时序输入向量进行基于线性插值的上采样以得到上采样网络流量时序输入向量;
对所述上采样网络流量时序输入向量进行向量切分以得到网络流量局部时序输入向量的序列;以及
通过基于深度神经网络模型的流量时序特征提取器分别对所述网络流量局部时序输入向量的序列中的各个网络流量局部时序输入向量进行特征提取以得到所述网络流量局部时序特征向量的序列。
3.根据权利要求2所述的用于物联网的流量管理方法,其特征在于,所述基于深度神经网络模型的流量时序特征提取器为基于一维卷积层的流量时序特征提取器。
4.根据权利要求3所述的用于物联网的流量管理方法,其特征在于,对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵,包括:
计算所述网络流量局部时序特征向量的序列中任意两个网络流量局部时序特征向量之间的余弦相似度以得到网络流量一致性拓扑矩阵;以及
将所述网络流量一致性拓扑矩阵通过基于卷积神经网络模型的一致性拓扑特征提取器以得到所述网络流量一致性拓扑特征矩阵。
5.根据权利要求4所述的用于物联网的流量管理方法,其特征在于,对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征,包括:将所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵通过图神经网络模型以得到一致性拓扑网络流量全局时序特征矩阵作为所述一致性拓扑网络流量全局时序特征。
6.根据权利要求5所述的用于物联网的流量管理方法,其特征在于,基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值,包括:将所述一致性拓扑网络流量全局时序特征矩阵通过解码器以得到解码值,所述解码值用于表示短时的待测地区的网络流量需求预测值。
7.根据权利要求6所述的用于物联网的流量管理方法,其特征在于,还包括训练步骤:用于对所述基于一维卷积层的流量时序特征提取器、所述基于卷积神经网络模型的一致性拓扑特征提取器、所述图神经网络模型和所述解码器进行训练。
8.根据权利要求7所述的用于物联网的流量管理方法,其特征在于,所述训练步骤,包括:
获取训练数据,所述训练数据包括待测地区在预定时间段内多个预定时间点的训练网络流量值,以及,所述短时的待测地区的网络流量需求预测值的真实值;
将所述多个预定时间点的训练网络流量值按照时间维度排列为训练网络流量时序输入向量;
对所述训练网络流量时序输入向量进行基于线性插值的上采样以得到训练上采样网络流量时序输入向量;
对所述训练上采样网络流量时序输入向量进行向量切分以得到训练网络流量局部时序输入向量的序列;
将所述训练网络流量局部时序输入向量的序列通过所述基于一维卷积层的流量时序特征提取器以得到训练网络流量局部时序特征向量的序列;
计算所述训练网络流量局部时序特征向量的序列中任意两个训练网络流量局部时序特征向量之间的余弦相似度以得到训练网络流量一致性拓扑矩阵;
将所述训练网络流量一致性拓扑矩阵通过所述基于卷积神经网络模型的一致性拓扑特征提取器以得到训练网络流量一致性拓扑特征矩阵;
将所述训练网络流量局部时序特征向量的序列和所述训练网络流量一致性拓扑特征矩阵通过所述图神经网络模型以得到训练一致性拓扑网络流量全局时序特征矩阵;
将所述训练一致性拓扑网络流量全局时序特征矩阵通过所述解码器以得到解码损失函数值;
基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于一维卷积层的流量时序特征提取器、所述基于卷积神经网络模型的一致性拓扑特征提取器、所述图神经网络模型和所述解码器进行训练,其中,在所述训练的每次权重矩阵迭代时,对所述训练一致性拓扑网络流量全局时序特征矩阵展开后得到的训练一致性拓扑网络流量全局时序特征向量进行基于类度矩阵正则化的权重空间探索约束优化。
9.根据权利要求8所述的用于物联网的流量管理方法,其特征在于,在所述训练的每次权重矩阵迭代时,以如下优化公式对所述训练一致性拓扑网络流量全局时序特征矩阵展开后得到的训练一致性拓扑网络流量全局时序特征向量进行基于类度矩阵正则化的权重空间探索约束优化以得到优化训练一致性拓扑网络流量全局时序特征矩阵;
其中,所述优化公式为:
其中V是所述训练一致性拓扑网络流量全局时序特征矩阵展开后得到的训练一致性拓扑网络流量全局时序特征向量,V′是所述优化训练一致性拓扑网络流量全局时序特征矩阵展开后得到的优化训练一致性拓扑网络流量全局时序特征向量,且V为列向量,V′是行向量,Mt∈RL×L为可学习的域转移矩阵,M表示上一次迭代的权重矩阵,M′表示迭代后的权重矩阵,(·)T表示向量或矩阵的转置向量或转置矩阵,表示矩阵乘法。
10.一种用于物联网的流量管理系统,其特征在于,包括:
数据获取模块,用于获取待测地区在预定时间段内多个预定时间点的网络流量值;
向量排列模块,用于将所述多个预定时间点的网络流量值按照时间维度排列为网络流量时序输入向量;
时序特征分析模块,用于对所述网络流量时序输入向量进行局部时序特征分析以得到网络流量局部时序特征向量的序列;
相似关联分析模块,用于对所述网络流量局部时序特征向量的序列进行一致性相似关联分析以得到网络流量一致性拓扑特征矩阵;
关联编码模块,用于对所述网络流量局部时序特征向量的序列和所述网络流量一致性拓扑特征矩阵进行基于图结构的关联编码以得到一致性拓扑网络流量全局时序特征;以及
网络流量需确定模块,用于基于所述一致性拓扑网络流量全局时序特征,确定短时的待测地区的网络流量需求预测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311179399.XA CN117201410B (zh) | 2023-09-12 | 2023-09-12 | 用于物联网的流量管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311179399.XA CN117201410B (zh) | 2023-09-12 | 2023-09-12 | 用于物联网的流量管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117201410A true CN117201410A (zh) | 2023-12-08 |
CN117201410B CN117201410B (zh) | 2024-03-19 |
Family
ID=88995742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311179399.XA Active CN117201410B (zh) | 2023-09-12 | 2023-09-12 | 用于物联网的流量管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117201410B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117675622A (zh) * | 2024-01-15 | 2024-03-08 | 广东云百智联科技有限公司 | 一种物联网设备流量可视化展示系统 |
CN117892252A (zh) * | 2024-03-18 | 2024-04-16 | 浙江威星电子系统软件股份有限公司 | 基于大数据的智慧园区运营管理平台 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190014048A1 (en) * | 2017-07-05 | 2019-01-10 | Wipro Limited | Method and system for processing data in an internet of things (iot) environment |
CN110730099A (zh) * | 2019-10-21 | 2020-01-24 | 电子科技大学 | 基于历史流量数据时间序列的流量预测方法 |
CN112333046A (zh) * | 2020-11-09 | 2021-02-05 | 北京邮电大学 | 物联网节点流量预测系统及方法 |
CN113794695A (zh) * | 2021-08-26 | 2021-12-14 | 浙江工业大学 | 一种基于gru的网络异常流量检测识别方法 |
CN114422381A (zh) * | 2021-12-14 | 2022-04-29 | 西安电子科技大学 | 通信网络流量预测方法、系统、存储介质及计算机设备 |
CN115695216A (zh) * | 2022-10-10 | 2023-02-03 | 广西壮族自治区公众信息产业有限公司 | 一种互联网流量流向的大数据分析的方法 |
CN116032845A (zh) * | 2023-02-13 | 2023-04-28 | 杭银消费金融股份有限公司 | 数据中心网络开销管理方法及系统 |
CN116311880A (zh) * | 2022-11-22 | 2023-06-23 | 湖北工业大学 | 基于局部-全局时空特征融合的交通流量预测方法及设备 |
CN116647411A (zh) * | 2023-07-17 | 2023-08-25 | 厦门巴掌互动科技有限公司 | 游戏平台网络安全的监测预警方法 |
-
2023
- 2023-09-12 CN CN202311179399.XA patent/CN117201410B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190014048A1 (en) * | 2017-07-05 | 2019-01-10 | Wipro Limited | Method and system for processing data in an internet of things (iot) environment |
CN110730099A (zh) * | 2019-10-21 | 2020-01-24 | 电子科技大学 | 基于历史流量数据时间序列的流量预测方法 |
CN112333046A (zh) * | 2020-11-09 | 2021-02-05 | 北京邮电大学 | 物联网节点流量预测系统及方法 |
CN113794695A (zh) * | 2021-08-26 | 2021-12-14 | 浙江工业大学 | 一种基于gru的网络异常流量检测识别方法 |
CN114422381A (zh) * | 2021-12-14 | 2022-04-29 | 西安电子科技大学 | 通信网络流量预测方法、系统、存储介质及计算机设备 |
CN115695216A (zh) * | 2022-10-10 | 2023-02-03 | 广西壮族自治区公众信息产业有限公司 | 一种互联网流量流向的大数据分析的方法 |
CN116311880A (zh) * | 2022-11-22 | 2023-06-23 | 湖北工业大学 | 基于局部-全局时空特征融合的交通流量预测方法及设备 |
CN116032845A (zh) * | 2023-02-13 | 2023-04-28 | 杭银消费金融股份有限公司 | 数据中心网络开销管理方法及系统 |
CN116647411A (zh) * | 2023-07-17 | 2023-08-25 | 厦门巴掌互动科技有限公司 | 游戏平台网络安全的监测预警方法 |
Non-Patent Citations (1)
Title |
---|
李巧: "《物联网流量特性分析与预测》", 《中国优秀硕士学位论文全文数据库》, 12 May 2021 (2021-05-12) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117675622A (zh) * | 2024-01-15 | 2024-03-08 | 广东云百智联科技有限公司 | 一种物联网设备流量可视化展示系统 |
CN117892252A (zh) * | 2024-03-18 | 2024-04-16 | 浙江威星电子系统软件股份有限公司 | 基于大数据的智慧园区运营管理平台 |
Also Published As
Publication number | Publication date |
---|---|
CN117201410B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Big-data-based intelligent spectrum sensing for heterogeneous spectrum communications in 5G | |
CN117201410B (zh) | 用于物联网的流量管理方法及系统 | |
CN110647900B (zh) | 基于深度神经网络的安全态势智能预测方法、装置及系统 | |
Sayed et al. | Deep and transfer learning for building occupancy detection: A review and comparative analysis | |
Nie et al. | Network traffic prediction based on deep belief network and spatiotemporal compressive sensing in wireless mesh backbone networks | |
Zhang et al. | Blockchain-based collaborative edge intelligence for trustworthy and real-time video surveillance | |
CN113705959B (zh) | 网络资源分配方法及电子设备 | |
CN111294812A (zh) | 一种资源扩容规划的方法及系统 | |
Wu et al. | EdgeLSTM: Towards deep and sequential edge computing for IoT applications | |
Mahajan et al. | Prediction of network traffic in wireless mesh networks using hybrid deep learning model | |
CN112801411B (zh) | 一种基于生成对抗网络的网络流量预测方法 | |
Deng et al. | Fog computing architecture-based data reduction scheme for WSN | |
Liu et al. | A SDN-based intelligent prediction approach to power traffic identification and monitoring for smart network access | |
Hussein et al. | Distributed energy‐efficient data reduction approach based on prediction and compression to reduce data transmission in IoT networks | |
Zhan et al. | Cell traffic prediction based on convolutional neural network for software‐defined ultra‐dense visible light communication networks | |
Gao et al. | A deep learning framework with spatial-temporal attention mechanism for cellular traffic prediction | |
Yang | A SDN-based traffic estimation approach in the internet of vehicles | |
Ramya et al. | QoS in multimedia application for IoT devices through edge intelligence | |
Costa et al. | Intelligent resource sharing to enable quality of service for network clients: the trade-off between accuracy and complexity | |
Kalra et al. | RETRACTED ARTICLE: Enduring data analytics for reliable data management in handling smart city services | |
Lockhart et al. | Scission: Context-aware and performance-driven edge-based distributed deep neural networks | |
CN116804964A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
Liu et al. | Method for multi-task learning fusion network traffic classification to address small sample labels | |
Zaitseva et al. | Application of ordered fuzzy decision trees in construction of structure function of multi-state system | |
Yaseen et al. | Graph signal processing-based network health estimation for next generation wireless systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |