CN112333046B - 物联网节点流量预测系统及方法 - Google Patents
物联网节点流量预测系统及方法 Download PDFInfo
- Publication number
- CN112333046B CN112333046B CN202011241259.7A CN202011241259A CN112333046B CN 112333046 B CN112333046 B CN 112333046B CN 202011241259 A CN202011241259 A CN 202011241259A CN 112333046 B CN112333046 B CN 112333046B
- Authority
- CN
- China
- Prior art keywords
- access
- flow
- data
- access node
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 32
- 238000013480 data collection Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 17
- 238000003860 storage Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/149—Network analysis or design for prediction of maintenance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0882—Utilisation of link capacity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/067—Generation of reports using time frame reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Environmental & Geological Engineering (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本说明书提供了一种物联网节点流量预测系统和方法,包括:至少一个接入节点、传输网以及云平台;其中,接入节点用于收集自身的流量数据;将流量数据按照其中的路径信息进行聚类,得到接入流量数据和网络流量数据;将接入流量数据输入自身配置的接入流量预测模型,输出下一个时刻的接入流量预测结果;以及将网络流量数据以及下一时刻的接入流量预测结果通过传输网上传至云平台;云平台用于将至少一个接入节点上传的网络流量数据输入自身配置的网络流量预测模型,输出各接入节点下一个时刻的网络流量预测结果;以及根据各接入节点下一个时刻的网络流量预测结果和下一时刻的接入流量预测结果分别得到各节点的流量预测结果。
Description
技术领域
本说明书一个或多个实施例涉及网络控制技术领域,尤其涉及一种物联网节点流量预测系统以及物联网节点流量预测方法。
背景技术
物联网应用技术的发展催生了大量新兴的人机交互方式,任何需要被监控、连接、互动的物体都将通过物联网接入节点接入网络。这些终端接入设备所产生的流量特性千变万化,给接入节点带来了极大挑战。在这种情形下,对接入节点的流量进行实时动态预测,可以提早发现接入流量的异常潮汐,并根据预测结果合理规划网络资源,进而实时地调整路由、调制以及频谱分配策略,保证物联网系统的稳定性和可靠性,从而提高网络资源平衡和抗风险能力。出于以上目的,研究人员研发了各种流量预测技术来合理规划网络资源,同时为网络实时控制提供依据。然而,从目前的研究来看,流量预测技术所面临的主要问题主要有预测角度单一、边缘节点损耗快、传输信道压力大等等。
发明内容
有鉴于此,本说明书一个或多个实施例提出一种物联网节点流量预测系统,包括:至少一个接入节点、传输网以及云平台;其中,
所述至少一个接入节点分别用于收集自身的流量数据;将所述流量数据按照其中的路径信息进行聚类,得到接入流量数据和网络流量数据;将所述接入流量数据输入自身配置的接入流量预测模型,输出下一个时刻的接入流量预测结果;以及将所述网络流量数据以及所述下一时刻的接入流量预测结果通过所述传输网上传至所述云平台;以及
所述云平台用于将所述至少一个接入节点上传的网络流量数据输入自身配置的网络流量预测模型,输出所述至少一个接入节点中各接入节点下一个时刻的网络流量预测结果;以及根据预测得到的所述各接入节点下一个时刻的网络流量预测结果以及所述各接入节点上报的下一时刻的接入流量预测结果分别得到所述各接入节点的流量预测结果。
其中,所述接入节点包括:数据收集模块、数据聚类模块、接入流量预测模型以及信息上传模块;其中,
所述数据收集模块用于收集对应接入节点的流量数据;
所述数据聚类模块用于将所述流量数据按其路径信息进行聚类,分解为所述接入流量数据和所述网络流量数据;
所述接入流量预测模型用于以所述接入流量数据作为输入,并输出下一时刻的接入流量预测结果;以及
所述信息上传模块用于将所述下一时刻的接入流量预测结果以及网络流量上传至云平台。
其中,所述信息上传模块将所述下一时刻的接入流量预测结果与所述接入节点对应当前时刻t的流量阈值进行比较,在所述下一时刻的接入流量预测结果小于时,将所述下一时刻的接入流量预测结果以及所述网络流量数据上传至所述云平台;而在所述下一时刻的接入流量预测结果大于或等于时,将所述网络流量数据进行本地备份,将所述下一时刻的接入流量预测结果以及上述网络流量数据的大小上传至所述云平台。
其中,所述接入节点进一步包括:数据清洗模块,用于将所述数据收集模块收集的流量数据信息中不完整的数据记录、重复的数据记录、漫游到本地的记录进行清理,然后再将清理后的流量数据信息发送至上述数据聚类模块。
所述接入节点进一步包括:
数据转换模块,用于将所述接入流量数据转换为接入流量预测模型的训练样本的数据格式;以及
所述接入流量预测模型进一步将所述接入流量数据加入自身的训练样本,并进行实时训练,完成接入流量预测模型的更新。
其中,所述云平台包括:数据接收模块、网络流量预测模型以及流量预测模块;其中,
所述数据接收模块用于通过所述传输网接收各接入节点上报的网络流量数据以及下一时刻的接入流量预测结果;
所述网络流量预测模型用于以所述网络流量数据作为输入,得到下一个时刻的所述至少一个接入节点中各接入节点的网络流量预测结果;以及
所述流量预测模块用于根据各接入节点下一时刻的接入流量预测结果、下一时刻的网络流量预测结果以及下一时刻需要上传至云平台的数据大小分别确定各接入节点下一时刻的流量预测结果并输出。
其中,所述云平台进一步包括:流量阈值确定模块以及参数下发模块;其中,
所述流量阈值确定模块用于根据所述各接入节点的网络流量预测结果分别确定各接入节点对应下一时刻的流量阈值;以及
所述参数下发模块用于将各接入节点对应下一时刻的流量阈值分别下发至对应的接入节点。
其中,所述网络流量预测模型进一步将所述网络流量数据加入自身的训练样本,并进行实时训练,完成所述网络流量预测模型的更新。
其中,m0是接入节点的物理最大承载流量限度;I为与端口n具有路径相关性的各端口的集合;
其次,根据上述接入节点p的端口n对应下一时刻的流量阈值,并利用如下计算式,计算接入节点p对应下一时刻的流量阈值:
其中,N是接入节点p所有端口的集合。
对应上述物联网节点流量预测系统,本说明书的实施例还提供了一种物联网节点流量预测方法,包括:
各接入节点分别收集流量数据;
所述各接入节点分别将所述流量数据按其路径信息进行聚类,分解为接入流量数据和网络流量数据;
所述各接入节点分别将所述接入流量数据输入在自身配置的接入流量预测模型,得到所述流量预测模型输出的下一时刻的接入流量预测结果;
所述各接入节点分别将所述下一时刻的接入流量预测结果以及所述网络流量上传至云平台;
所述云平台接收所述各接入节点上报的网络流量数据以及下一时刻的接入流量预测结果;
所述云平台将所述网络流量数据输入自身配置的网络流量预测模型,得到所述网络流量预测模型输出的下一个时刻的各接入节点的网络流量预测结果;以及
所述云平台根据所述各接入节点下一时刻的接入流量预测结果和下一时刻的网络流量预测结果确定所述各接入节点下一时刻的流量预测结果并输出。
可以看出,上述物联网节点流量预测系统可以利用云平台预测相对长期的网络流量趋势,利用接入节点预测相对短期的接入流量变化,并将二者结合,从而避免了将预测模块放置在单一网络位置、设置单一时间粒度带来的片面性与局限性,进而提高了系统流量预测精度。
更进一步,上述接入流量预测模型以及网络流量预测模型具有很好的循环稳定性,在多次测试实验中后,其性能无明显变化。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例所述的物联网节点流量预测系统的内部结构示意图;
图2为本说明书实施例所述的接入节点的内部结构示意图;
图3为本说明书实施例所述的云平台的内部结构示意图;
图4为本说明书实施例所述的物联网节点流量预测方法流程图;
图5为本说明书实施例所述的物联网节点流量预测方法示例流程图;
图6为本说明书实施例所述的物联网节点流量预测方法的实现效果图
图7为本说明书实施例所述的电子设备内部结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
为了解决现有流量预测方法中预测角度单一、边缘节点损耗快以及传输信道压力大等等问题,本说明书的实施例给出了一种物联网节点流量预测系统。图1显示了本说明书实施例所述的物联网流量预测系统100的内部结构。如图1所示,本说明书实施例所述的物联网流量预测系统100可以包括:云平台110、至少一个接入节点120、传输网130以及至少一个终端接入设备140。
在本说明书的一些实施例中,在物联网中,上述的云平台110是指对物联网底层基础设施的抽象,其资源与服务可以通过传输网被网络中的各部件以按需、易扩展的方式,例如网络虚拟化技术获得。
上述接入节点120是提供无线工作站和有线局域网之间的互相访问的网络节点。
上述云平台110和接入节点120通过传输网130连接。上述传输网130是为各种专业网提供透明传输通道的传输网络,其上的交换设备可以被称为传输网节点,其作用是通过以太网口在传输通道上进行数据流的交换,包括分发与接收数据业务。因此,在本说明书的实施例中,上述接入节点120连接到上述传输网130中的至少一个传输网节点;上述云平台110也连接到上述传输网30中的至少一个传输网节点。
通常,上述传输网130可以是采用光纤作为传输媒介的,也即接入节点120和传输网节点之间采用传输网光纤相互连接,而云平台110和传输网节点之间也采用传输网光纤相互连接。
上述终端接入设备140即为物联网架构的感知层的构成部分,可以包括:温湿度传感器、二维码标签、射频识别(RFID)标签和读写器、摄像头、全球定位系统(GPS)等感知终端。
上述终端接入设备140可以通过接入网无线信道连接到上述至少一个接入节点130。
上述云平台110、至少一个接入节点120、传输网130以及至少一个终端接入设备140也构成了一个物联网系统。为了实现上述物联网系统内各节点的流量预测,图1所示的物联网节点流量预测系统可以综合利用物联网系统中云平台110与接入节点120的存储、计算资源与流量数据信息,达到优化流量预测过程,提升流量预测精度的目的。
具体地,为了完成物联网节点的流量预测,上述至少一个接入节点120首先要收集自身的流量数据。其中,上述流量数据可以包含流量的日期、时间、持续时间、大小、路径信息以及收集该信息的节点标识(ID)。其中,上述的路径信息可以包含流量的源/目的节点的IP地址以及端口信息。
在收集到自身的流量数据后,上述接入节点120会进一步将流量数据按照其中的路径信息进行聚类,得到接入流量数据和网络流量数据。其中,接入流量数据是指接入节点120与终端接入设备140之间的流量数据,可以记为而网络流量数据是指接入节点120与传输网中相关的传输网节点以及与其他各相关的接入节点之间的流量数据,可以记为
此外,上述接入节点120上还将设置有接入流量预测模型,其输入为历史的接入流量数据,其输出为更新的接入流量预测模型以及下一个时刻的接入流量预测结果。
在本说明书的实施例中,上述接入流量预测模型可以由长短期记忆网络(LSTM)、循环神经网络(RNN)或门控循环单元(GRU)实现。
更进一步,上述接入节点120还会将自身收集的网络流量数据以及自身预测得到的下一时刻的接入流量预测结果通过传输网130上传至云平台110。
上述云平台110上设置有网络流量预测模型,其输入为各接入节点历史网络流量数据,输出为更新的网络流量预测模型以及各接入节点下一个时刻的网络流量预测结果。此外,上述云平台110还将根据预测得到的各接入节点下一个时刻的网络流量预测结果以及各接入节点上报的下一时刻的接入流量预测结果分别得到各节点的流量预测结果,从而完成物联网节点的流量预测。
在本说明书的实施例中,上述网络流量预测模型可以由LSTM、RNN或GRU实现。
需要说明的是,如无特殊说明,本说明书所述流量的大小均未超过传输网光纤、接入网无线信道的信道容量,亦未超过云、传输网节点及终端接入设备的最大承载限度。
下面将结合附图详细说明上述物联网节点流量预测系统100中各设备的具体结构。
图2显示了本说明书实施例所述的接入节点120的内部结构示意图。如图2所示,在本说明书的实施例中,每个接入节点120可以包括:数据收集模块210、数据聚类模块220、接入流量预测模型230以及信息上传模块240。
具体地,上述数据收集模块222用于收集对应接入节点的流量数据。
如前所述,在本说明书的实施例中,上述流量数据信息可以包含流量的日期、时间、持续时间、大小、路径信息以及收集该信息的节点ID。其中,上述的路径信息可以包含流量的源/目的节点的IP地址以及端口信息。
在收集到当前接入节点的流量数据后可以以多元组<流量的日期、时间、持续时间、大小、源节点IP、目的节点IP、源节点端口、目的节点端口、收集节点ID>的格式存储到自身数据库中
在本说明书的实施例中,上述数据收集模块210可以通过NetFlow技术采集时间序列数据,并将其作为上述流量数据。
此外,由于终端设备的数量并没有确定的范围,无线信道也会频繁地建立并消失,这些因素都导致产生于终端接入设备与接入节点之间的路径信息无法满足作为一个稳定输入维度的要求,因此无法被利用。因此,在本说明书的另一些实施例中,若流量数据信息产生于接入节点和传输网中的传输网节点或者产生于接入节点之间,则需记录其路径信息;而若流量数据信息产生于终端接入设备与接入节点之间,则路径信息可以直接标记为接入流量,例如,记为Nan,而无需记录流量的源/目的节点的IP地址以及端口信息,从而可以达到节省存储空间的目的。
上述数据聚类模块220用于将上述数据收集模块210收集的流量数据按其路径信息进行聚类,分解为上述接入流量数据和上述网络流量数据。具体地,上述数据聚类模块220可以根据流量数据的路径信息中的源节点IP、目的节点IP来确定该流量数据是接入流量数据还是网络流量数据。
上述接入流量预测模型230用于以上述接入流量数据作为输入,并输出下一时刻的接入流量预测结果需要说明的是,在上述表达式中以及后面的表达式中,t代表当前时刻;t+1代表下一时刻;access代表接入流量;network代表网络流量;p代表当前的接入节点p。
进一步,在本说明书的一些实施例中,上述接入流量预测模型230还可以进一步将上述接入流量数据加入自身的训练样本,并进行实时训练,从而完成接入流量预测模型230的更新。
在本说明书的另一些实施例中,还可以先衡量各个接入节点120的转发数据量,对于转发任务不重的接入节点120可以将上述网络流量数据上传至云平台110;而对于转让任务较重的接入节点120,则可以暂缓将上述网络流量数据上传至云平台110,从而保障其转发任务的优先执行。具体地,在这些实施例中,上述信息上传模块240可以先将上述接入流量预测模型230输出的下一时刻的接入流量预测结果与该接入节点对应当前时刻t的流量阈值ht进行比较,在时,认为当前接入节点120的转发任务不重,从而将上述下一时刻的接入流量预测结果以及上述网络流量数据上传至云平台210;而在时,则认为当前接入节点120的转发任务较重,从而将上述网络流量数据先进行本地备份,将上述下一时刻的接入流量预测结果以及上述网络流量数据的大小上传至云平台110。通过这样的操作,可以有效利用云平台110的存储资源优势,将转发任务不重的接入节点120的存储任务移交至云平台110,从而释放了接入节点120有限的边缘计算资源,进而降低了网络运维成本。需要说明的是,上述接入节点120对应当前时刻t的流量阈值ht是云平台110根据各个接入节点120的物理最大承载流量限度以及前一时刻t-1的网络流量预测结果确定并下发给各个接入节点120的。
进一步,上述信息上传模块240还可以进一步用于根据云平台110下发的下一时刻需要上传至云平台的本地数据大小将本地备份的网络流量数据按照时间顺序上传至云平台110。
在本说明书的一些实施例中,在上述数据收集模块210和数据聚类模块220之间,上述接入节点120还可以进一步包括:数据清洗模块,用于将上述数据收集模块210收集的流量数据信息中不完整的数据记录、重复的数据记录、漫游到本地的记录进行清理,然后再将清理后的流量数据信息发送至上述数据聚类模块220。在上述方案中,由接入节点120采集的流量数据信息经样本剪辑后再上传至云平台110,可以在保留有效信息的情况下,大大减少传输信道的负担。
在本说明书的一些实施例中,在上述数据聚类模块220和上述接入流量预测模型230之间,上述接入节点220还可以进一步包括:数据转换模块,用于将上述接入流量数据转换为接入流量预测模型的训练样本的数据格式。具体地,上述接入流量预测模型的训练样本的数据格式可以为pandas.DataFrame格式、csv或xlsx格式。
图3显示了本说明书实施例所述的云平台110的内部结构示意图。如图3所示,在本说明书的实施例中,上述云平台110可以包括:数据接收模块310、网络流量预测模型320以及流量预测模块330。
其中,在本说明书的实施例中,上述数据接收模块310用于通过传输网接收各接入节点上报的网络流量数据以及下一时刻的接入流量预测结果。
上述网络流量预测模型320用于以上述网络流量数据作为输入,得到下一个时刻的各接入节点的网络流量预测结果。例如,对于节点p,可以将其端口n下一时刻将转发的流量值预测结果记为也即将节点p端口n下一时刻网络流量预测结果记为而可以将其下一时刻将转发的流量值预测结果记为也即将节点p下一时刻网络流量预测结果记为
进一步,在本说明书的一些实施例中,上述网络流量预测模型320可以进一步将上述网络流量数据加入自身的训练样本,并进行实时训练,从而完成网络流量预测模型320的更新。
上述流量预测模块330用于根据各接入节点下一时刻的接入流量预测结果、下一时刻的网络流量预测结果以及下一时刻需要上传至云平台的数据大小分别确定各接入节点下一时刻的流量预测结果并输出。
在本说明书的实施例中,接入节点p下一时刻的流量预测结果可以通过下面的算式确定。
更进一步,在本说明书的另一些实施例中,上述云平台110还可以进一步包括:流量阈值确定模块340和参数下发模块350。
其中,流量阈值确定模块340用于根据上述各接入节点的网络流量预测结果分别确定各接入节点对应下一时刻的流量阈值。
下面以接入节点p为例,具体说明上述流量阈值确定模块340确定接入节点p对应下一时刻的流量阈值的方法。
其中,m0是接入节点的物理最大承载流量限度;I为与端口n具有路径相关性的各端口的集合。
接下来,根据上述接入节点p的端口n对应下一时刻的流量阈值,并利用如下计算式,计算接入节点p对应下一时刻的流量阈值。
其中,N是接入节点p所有端口的集合。
上述参数下发模块350用于将各接入节点对应下一时刻的流量阈值分别下发至对应的接入节点。
更进一步,上述参数下发模块350还可以进一步用于确定各接入节点下一时刻需要上传至云平台的本地数据大小,并将各接入节点下一时刻需要上传至云平台的本地数据大小分别下发至对应的接入节点。
具体地,在本说明书的实施例中,上述参数下发模块350可以通过如下方法确定接入节点p下一时刻需要上传至云平台的数据大小。
在时,设定接入节点下一时刻需要上传至云平台的本地数据大小也就是说,在时,接入节点下一时刻需要上传至云平台的本地数据大小是在t-1到t时刻新收集到的数据量。当接入节点把这一部分数据上传之后,其需要本地存储的数据量仍然保持不变,不会因为新收集到了数据,而有新增值。
需要说明的是,在这种情况下,上述流量预测模块330将根据如下表达式确定接入节点p下一时刻的流量预测结果:
在确定了上述各接入节点下一时刻的流量预测结果后,可以以此结果为基础,对物联网系统进行网络负载均衡度的动态优化。具体地,在节点层面,可以根据自身下一时刻将要处理的接入流量与网络流量占比,进行有针对性的资源预留;可以调整终端设备的接入准入机制,避免接入拥塞。在网络层面,可以根据各节点的流量预测结果,实时地调整路由、调制与频谱分配策略,使数据流的交换与分发向网络整体最优的方向发展。
可以看出,上述物联网节点流量预测系统可以利用云平台110预测相对长期的网络流量趋势,利用接入节点预测相对短期的接入流量变化,并将二者结合,从而避免了将预测模块放置在单一网络位置、设置单一时间粒度带来的片面性与局限性,进而提高了系统流量预测精度。更进一步,上述接入流量预测模型以及网络流量预测模型具有很好的循环稳定性,在多次测试实验中后,其性能无明显变化。
此外,可以看出,上述流量预测系统需要云平台110与接入节点120(又可称为边缘节点)之间的存储、计算资源与流量数据信息的共享及协同,在本说明书的实施例中,这种协同可称为边云协同。
需要说明的是,上述方案对于物联网系统所用的网络拓扑、节点数量及终端设备数量没有特别限制;对其接入机理、接入时间亦无明确限制。且附图中图示均为简化的计算机网络部件示意图,仅展示各部件的逻辑位置与基本功能。
对应上述物联网节点流量预测系统,本说明书还公开了一种物联网流量预测方法。图4显示了本说明书实施例所述的物联网流量预测方法的流程。如图4所示,该方法主要包括如下步骤:
在步骤402,各接入节点分别收集流量数据。
如前所述,在本说明书的实施例中,上述流量数据信息可以包含流量的日期、时间、持续时间、大小、路径信息以及收集该信息的节点ID。其中,上述的路径信息可以包含流量的源/目的节点的IP地址以及端口信息。
在收集到当前接入节点的流量数据后可以以多元组<流量的日期、时间、持续时间、大小、源节点IP、目的节点IP、源节点端口、目的节点端口、收集节点ID>的格式存储到自身数据库中。
在本说明书的实施例中,各接入节点可以通过NetFlow技术采集时间序列数据,并将其作为流量数据。
此外,在本说明书的另一些实施例中,为了节省存储空间,若流量数据信息产生于接入节点和传输网中的传输网节点或者产生于接入节点之间,则需记录其路径信息;而若流量数据信息产生于终端接入设备与接入节点之间,则路径信息可以直接标记为接入流量,例如记为Nan。
在步骤404,各接入节点分别将收集的流量数据按其路径信息进行聚类,分解为上述接入流量数据和上述网络流量数据。具体地,各接入节点可以根据流量数据的路径信息中的源节点IP、目的节点IP来确定该流量数据是接入流量数据还是网络流量数据。
在本说明书的另一些实施例中,在步骤402和步骤404之间,上述方法还可以进一步包括:将收集的流量数据信息中不完整的数据记录、重复的数据记录、漫游到本地的记录进行清理。在该方案中,由接入节点采集的流量数据信息经样本剪辑后再上传至云平台,可以在保留有效信息的情况下,大大减少传输信道的负担。
进一步,在本说明书的一些实施例中,在上述步骤406中,还可以进一步将上述接入流量数据加入上述流量预测模型的训练样本,并对上述流量预测模型进行实时训练,从而完成上述接入流量预测模型的更新。
在本说明书的另一些实施例中,各接入节点在将上述接入流量数据输入在自身配置的接入流量预测模型之前,还可以进一步先将上述接入流量数据转换为接入流量预测模型的训练样本的数据格式。具体地,上述接入流量预测模型的训练样本的数据格式可以为pandas.DataFrame格式、csv或xlsx格式。
在本说明书的另一些实施例中,接入节点p还可以先将上述接入流量预测模型输出的下一时刻的接入流量预测结果与接入节点p对应当前时刻t的流量阈值进行比较,在时,将上述下一时刻的接入流量预测结果以及上述网络流量上传至云平台;而在时,将上述网络流量进行本地备份,将上述下一时刻的接入流量预测结果以及上述流量数据的大小上传至云平台。通过这样的操作,可以有效利用云的存储资源优势,将转发任务不重的接入节点的存储任务移交至云平台,从而释放了接入节点有限的边缘计算资源,进而降低了网络运维成本。
在步骤410,云平台接收各接入节点上报的网络流量数据以及下一时刻的接入流量预测结果。
在本说明书的实施例中,云平台可以通过传输网接收上述信息。
在步骤412,云平台将上述网络流量数据输入网络流量预测模型,得到上述网络流量预测模型输出的下一个时刻的各接入节点的网络流量预测结果。
进一步,在本说明书的一些实施例中,云平台可以进一步将上述网络流量数据加入上述网络流量预测模型的训练样本,并进行实时训练,从而完成上述网络流量预测模型的更新。
在步骤414,云平台根据各接入节点下一时刻的接入流量预测结果和下一时刻的网络流量预测结果确定各接入节点下一时刻的流量预测结果并输出。
在本说明书的一些实施例中,云平台可以通过如下表达式确定接入节点p下一时刻的流量预测结果:
在本说明书的另一些实施例中,上述云平台根据各接入节点下一时刻的接入流量预测结果和下一时刻的网络流量预测结果确定各接入节点下一时刻的流量预测结果可以包括:
在步骤4142,根据上述各接入节点的网络流量预测结果分别确定各接入节点对应下一时刻的流量阈值。
其中,m0是接入节点的物理最大承载流量限度;I为与端口n具有路径相关性的各端口的集合。
接下来,根据上述接入节点p的端口n对应下一时刻的流量阈值,并利用如下计算式,计算接入节点p对应下一时刻的流量阈值。
其中,N是接入节点p所有端口的集合。
在步骤4144,确定各接入节点下一时刻需要上传至云平台的本地数据大小。
具体地,在本说明书的实施例中,上述参数下发模块340可以通过如下方法确定接入节点p下一时刻需要上传至云平台的数据大小。
在步骤4146,将各接入节点下一时刻需要上传至云平台的本地数据大小以及各接入节点对应下一时刻的流量阈值分别下发至对应的接入节点。
在步骤4148,根据各接入节点下一时刻的接入流量预测结果、下一时刻的网络流量预测结果以及下一时刻需要上传至云平台的数据大小分别确定各接入节点下一时刻的流量预测结果。
在本说明书的实施例中,接入节点p下一时刻的流量预测结果可以通过下面的算式确定。
可以看出,上述物联网节点流量预测方法可以利用云平台预测相对长期的网络流量趋势,利用接入节点预测相对短期的接入流量变化,并将二者结合,从而避免了将预测模块放置在单一网络位置、设置单一时间粒度带来的片面性与局限性,进而提高了系统流量预测精度。更进一步,上述接入流量预测模型以及网络流量预测模型具有很好的循环稳定性,在多次测试实验中后,其性能无明显变化。
下面将结合附图和具体的示例对本说明书的方法作进一步的详细说明。图5显示了本说明书一个实施例所述的物联网节点流量预测过程,在这一示例中,物联网节点流量预测系统的具体可以按照如下要求配置:时间粒度设置为5ms,部署于各接入节点的短期流量预测模型可以设置为基于TensorFlow 1.2.1in Python 2.6的RNN,部署于云平台的长期流量预测模型可以设置为基于TensorFlow 1.2.1in Python 2.6的LSTM。基于如此配置的物联网节点流量预测系统可以通过如下过程完成物联网节点的流量预测。
过程502,接入节点完成数据收集与预处理。
在上述过程502中,各接入节点利用自身的数据收集模块,收集当前接入节点与终端接入设备、各相关传输网节点、各相关接入节点之间的流量数据信息,并以多元组<流量日期、时间、持续时间、大小、源节点IP、目的节点IP、源节点端口、目的节点端口、收集节点ID>的格式存储到数据库中。
进一步,各接入节点还可以进一步将自身数据库中不完整的数据记录、重复的数据记录、漫游到本地的记录进行清理。
接下来,每个接入节点进一步将收集到的流量数据信息按路径信息聚类,分解为接入流量和网络流量;其中,接入流量是接入节点与终端接入设备之间的流量数据信息,记为网络流量是接入节点与各相关传输网节点、各相关接入节点之间的流量数据信息,记为
过程504:接入节点训练接入流量预测模型。
在该过程504中,各接入节点将上述接入流量作为训练样本,输入自身的接入流量预测模型进行训练。在训练接入流量预测模型时,使用前t-1个时刻的接入流量预测下一时刻(也即前t个时刻)的接入流量得到各时刻的接入流量预测结果,并根据各时刻的接入流量预测结果和实际的接入流量之间的误差调整接入流量预测模型的参数,从而实现模型的训练。
也就是说,在本说明书的方案中,对于物联网系统中每个不同的接入节点需要分别训练一个RNN接入流量预测模型。
过程506:接入节点通过流量预测模型预测下一时刻的接入流量。
过程508:接入节点进行异常潮汐判定。
在t时刻,接入节点Pi,比较判断上述接入流量预测结果与自身对应t时刻的流量阈值ht。在时,接入节点Pi将自身获取的网络流量上传至云平台;而在时,将上述网络流量进行本地备份,并将上述网络流量的大小st上传至云平台。
例如,在本说明书的一些实施例中,在1835ms时刻,接入节点P7对应流量阈值ht=h1835=2.4Mb/s,且接入流量预测模型输出的接入流量预测结果如此,经判定得出则接入节点P7将自身与各相关传输网节点、各相关接入节点之间的流量数据信息,也即网络流量,分别经样本清洗与剪辑后,上传至云平台,总大小为2Mb。此外,还可以将上述接入流量加入1840ms时刻的训练样本集中。
又例如,在本说明书的另一些实施例中,在2790ms时刻,接入节点P19对应流量阈值ht=h2790=3.3Mb/s,且接入流量预测模型输出的接入流量预测结果如此,经判定得出则接入节点将上述接入流量和网络流量进行本地备份,仅将网络流量数据信息的大小信息st=s2790=13kb上传至云平台。此外,还可以将上述接入流量加入2795ms时刻的训练样本集中。
过程510:云平台训练网络流量预测模型。
在上述过程510中,云平台将各接入节点上报的网络流量作为训练样本,输入至网络流量预测模型进行训练。在训练网络流量预测模型时,使用前t-1个时刻的网络流量预测下一时刻(也即前t个时刻)的网络流量得到各时刻的网络流量预测结果,并根据各时刻的网络流量预测结果和实际的网络流量之间的误差调整网络流量预测模型的参数,从而实现模型的训练。
过程512:云平台通过网络流量预测模型预测下一时刻的网络流量。
过程514:云平台确定各接入节点对应下一时刻的流量阈值。
其中,m0是接入节点的物理最大承载流量限度。
例如,在本说明书的一些实施例中,接入节点P7具有物理最大承载流量限度m0=15Mb/s。则在1835ms时刻,预测得到接入节点P7在1840ms时刻的网络流量预测结果为此时,经云平台计算可以得到接入节点P7对应下一时刻的流量阈值为
又例如,在本说明书的另一些实施例中,接入节点P19具有物理最大承载流量限度m0=15Mb/s。则在2790ms时刻,预测得到接入节点P19在2795ms时刻的网络流量预测结果为此时,经云平台计算可以得到接入节点P19对应下一时刻的流量阈值为
过程516:上传云平台数据量计算。
在t时刻,对于接入节点Pi,云平台比较接入节点Pi上传的流量数据信息大小信息st与计算的接入节点Pi对应下一时刻的流量阈值ht+1。
在ht+1>0,则设定接入节点Pi下一时刻需要上传至云平台的本地数据大小kt+1=st-st-1,并将kt+1与阈值ht+1共同下发至该接入节点Pi。
若ht+1≤0,则设定接入节点Pi下一时刻需要上传至云平台的本地数据大小kt+1=0,向该接入节点Pi发出告警信息,并建立备用链路,将接入该节点的设备尽可能分流至其他节点。
例如,在本说明书的一些实施例中,在1835ms时刻,接入节点P7对应下一时刻的流量阈值满足ht+1=h1840=5.6Mb/s>0,则可以设定其在1840ms时刻需要上传至云平台的本地数据大小kt+1=st-st-1=0。
又例如,在本说明书的另一些实施例中,在2790ms时刻,接入节点P19对应下一时刻的流量阈值满足ht+1=h1840=9.2Mb/s>0,则可以设定其在2795ms时刻需要上传至云平台的本地数据大小kt+1=st-st-1=0.004Mb,也即,上传所需的流量为0.8Mb/s。
过程518:云平台确定物联网接入节点流量预测结果。
例如,在本说明书的一些实施例中,在1835ms时刻,接入节点P7的流量预测结果为可见并未超过其物理最大承载流量限度,且释放了存储资源。又例如,在本说明书的另一实施例中,在2790ms时刻,接入节点P19的流量预测结果为
实际的1840ms时刻,接入节点P7的流量观测值为11.3Mb/s。实际的2795ms时刻,接入节点P19的流量观测值为11.0Mb/s。
在本说明书的实施例中,还可以将节点的流量数据分为训练集和测试集两个部分,采用交叉验证的方法进行训练。
此外,为验证本说明书实施例所提供物联网节点流量预测方案的表现,特将本说明书的实施例与目前已有方法,包括仅在云平台处部署LSTM流量预测模块、仅在接入节点处部署RNN流量预测模块两种方法进行对比。对比的评估测度为流量预测结果与真实流量值之间的SMAPE值。显然地,SMAPE值越小,则代表结果越准确,也就是流量预测方法的效果越好。对比结果显示,本发明实施例的SMAPE值在多次实验中均小于其他两种方法,证明了其有更高的流量预测准确率。图6展示了本发明实施例提供的物联网节点流量预测方法的预测效果。其中,图6中x轴为时间,纵轴为节点流量预测结果的真实值。从图6中可以看到本说明书实施例提供的方法具有较高的流量预测准确率。
需要说明的是,本说明书一个或多个实施例中的接入节点以及云平台可以由单个设备执行,例如一台计算机或服务器等。本说明书实施例中的接入节点以及云平台的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成上述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
图7为本说明书实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器710、存储器720、输入/输出接口730、通信接口740和总线750。其中处理器710、存储器720、输入/输出接口730和通信接口740通过总线750实现彼此之间在设备内部的通信连接。上述电子设备可以用于实现上述接入节点或者云平台的功能。
处理器710可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的物联网节点流量预测方法。
存储器720可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器720可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的物联网节点流量预测方法时,相关的程序代码保存在存储器720中,并由处理器710来调用执行。
输入/输出接口730用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口740用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线750包括一通路,在设备的各组件(例如处理器710、存储器720、输入/输出接口730和通信接口740)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器710、存储器720、输入/输出接口730、通信接口740以及总线750,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种物联网节点流量预测系统,包括:至少一个接入节点、传输网以及云平台;其中,
所述至少一个接入节点分别用于收集自身的流量数据;将所述流量数据按照其中的路径信息进行聚类,得到接入流量数据和网络流量数据;将所述接入流量数据输入自身配置的接入流量预测模型,输出下一个时刻的接入流量预测结果;以及将所述网络流量数据以及所述下一时刻的接入流量预测结果通过所述传输网上传至所述云平台;以及
所述云平台用于将所述至少一个接入节点上传的网络流量数据输入自身配置的网络流量预测模型,输出所述至少一个接入节点中各接入节点下一个时刻的网络流量预测结果;以及根据预测得到的所述各接入节点下一个时刻的网络流量预测结果以及所述各接入节点上报的下一时刻的接入流量预测结果分别得到所述各接入节点的流量预测结果。
2.根据权利要求1所述的系统,其中,所述接入节点包括:数据收集模块、数据聚类模块、接入流量预测模型以及信息上传模块;其中,
所述数据收集模块用于收集对应接入节点的流量数据;
所述数据聚类模块用于将所述流量数据按其路径信息进行聚类,分解为所述接入流量数据和所述网络流量数据;
所述接入流量预测模型用于以所述接入流量数据作为输入,并输出下一时刻的接入流量预测结果;以及
所述信息上传模块用于将所述下一时刻的接入流量预测结果以及网络流量上传至云平台。
4.根据权利要求2所述的系统,其中,所述接入节点进一步包括:
数据清洗模块,用于将所述数据收集模块收集的流量数据信息中不完整的数据记录、重复的数据记录、漫游到本地的记录进行清理,然后再将清理后的流量数据信息发送至上述数据聚类模块。
5.根据权利要求2所述的系统,其中,所述接入节点进一步包括:
数据转换模块,用于将所述接入流量数据转换为接入流量预测模型的训练样本的数据格式;以及
所述接入流量预测模型进一步将所述接入流量数据加入自身的训练样本,并进行实时训练,完成接入流量预测模型的更新。
6.根据权利要求1所述的系统,其中,所述云平台包括:数据接收模块、网络流量预测模型以及流量预测模块;其中,
所述数据接收模块用于通过所述传输网接收各接入节点上报的网络流量数据以及下一时刻的接入流量预测结果;
所述网络流量预测模型用于以所述网络流量数据作为输入,得到下一个时刻的所述至少一个接入节点中各接入节点的网络流量预测结果;以及
所述流量预测模块用于根据各接入节点下一时刻的接入流量预测结果、下一时刻的网络流量预测结果以及下一时刻需要上传至云平台的数据大小分别确定各接入节点下一时刻的流量预测结果并输出。
7.根据权利要求6所述的系统,其中,所述云平台进一步包括:流量阈值确定模块以及参数下发模块;其中,
所述流量阈值确定模块用于根据所述各接入节点的网络流量预测结果分别确定各接入节点对应下一时刻的流量阈值;以及
所述参数下发模块用于将各接入节点对应下一时刻的流量阈值分别下发至对应的接入节点。
8.根据权利要求6所述的系统,其中,所述网络流量预测模型进一步将所述网络流量数据加入自身的训练样本,并进行实时训练,完成所述网络流量预测模型的更新。
10.一种物联网节点流量预测方法,包括:
各接入节点分别收集流量数据;
所述各接入节点分别将所述流量数据按其路径信息进行聚类,分解为接入流量数据和网络流量数据;
所述各接入节点分别将所述接入流量数据输入在自身配置的接入流量预测模型,得到所述接入 流量预测模型输出的下一时刻的接入流量预测结果;
所述各接入节点分别将所述下一时刻的接入流量预测结果以及所述网络流量上传至云平台;
所述云平台接收所述各接入节点上报的网络流量数据以及下一时刻的接入流量预测结果;
所述云平台将所述网络流量数据输入自身配置的网络流量预测模型,得到所述网络流量预测模型输出的下一个时刻的各接入节点的网络流量预测结果;以及
所述云平台根据所述各接入节点下一时刻的接入流量预测结果和下一时刻的网络流量预测结果确定所述各接入节点下一时刻的流量预测结果并输出。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011241259.7A CN112333046B (zh) | 2020-11-09 | 2020-11-09 | 物联网节点流量预测系统及方法 |
US17/114,772 US11296963B1 (en) | 2020-11-09 | 2020-12-08 | System and method of traffic prediction for IoT nodes |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011241259.7A CN112333046B (zh) | 2020-11-09 | 2020-11-09 | 物联网节点流量预测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112333046A CN112333046A (zh) | 2021-02-05 |
CN112333046B true CN112333046B (zh) | 2022-02-11 |
Family
ID=74316956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011241259.7A Active CN112333046B (zh) | 2020-11-09 | 2020-11-09 | 物联网节点流量预测系统及方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11296963B1 (zh) |
CN (1) | CN112333046B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705959B (zh) * | 2021-05-11 | 2023-08-15 | 北京邮电大学 | 网络资源分配方法及电子设备 |
CN115174557B (zh) * | 2022-07-01 | 2024-03-01 | 济南浪潮数据技术有限公司 | 一种日志下载的调度方法、装置以及介质 |
CN115396981B (zh) * | 2022-10-28 | 2023-01-17 | 吉林信息安全测评中心 | 一种基于大数据技术的智能监测系统 |
WO2024128945A1 (en) * | 2022-12-14 | 2024-06-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Systems and methods for artificial intelligence-assisted scheduling of operational maintenance in a telecommunications network |
CN117201410B (zh) * | 2023-09-12 | 2024-03-19 | 广东云百科技有限公司 | 用于物联网的流量管理方法及系统 |
CN117762344B (zh) * | 2023-12-27 | 2024-05-24 | 北京珞安科技有限责任公司 | 一种工业数据存储引流系统及其引流方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107770084A (zh) * | 2016-08-19 | 2018-03-06 | 华为技术有限公司 | 一种数据流量的管理方法及装置 |
CN107872457A (zh) * | 2017-11-09 | 2018-04-03 | 北京明朝万达科技股份有限公司 | 一种基于网络流量预测进行网络操作的方法及系统 |
CN108737130A (zh) * | 2017-04-14 | 2018-11-02 | 国家电网公司 | 基于神经网络的网络流量预测装置及方法 |
CN110322037A (zh) * | 2018-03-28 | 2019-10-11 | 普天信息技术有限公司 | 基于推理模型的流量预测方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10070328B2 (en) * | 2015-08-20 | 2018-09-04 | International Business Mahcines Corporation | Predictive network traffic management |
EP3412052A1 (en) * | 2016-02-05 | 2018-12-12 | Telefonaktiebolaget LM Ericsson (PUBL) | Monitor and predict wi-fi utilization patterns for dynamic optimization of the operating parameters of nearby enbs using the same unlicensed spectrum |
CN114980221A (zh) * | 2016-12-30 | 2022-08-30 | 英特尔公司 | 用于无线电通信的方法和设备 |
CN115633363A (zh) * | 2017-01-20 | 2023-01-20 | 无线通信与技术公司 | 云受控网状联网 |
US20210345134A1 (en) * | 2018-10-19 | 2021-11-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Handling of machine learning to improve performance of a wireless communications network |
US11212188B2 (en) * | 2020-02-07 | 2021-12-28 | Facebook, Inc. | Communication network out-of-capacity predictions |
US11864221B2 (en) * | 2020-06-01 | 2024-01-02 | At&T Mobility Ii Llc | Apparatuses and methods for facilitating a management of network resources in accordance with priority classes |
WO2022005939A1 (en) * | 2020-06-28 | 2022-01-06 | Ambeent Inc. | Optimizing utilization and performance of wi-fi networks |
US11540199B2 (en) * | 2020-06-30 | 2022-12-27 | Arris Enterprises Llc | Discovery of a network topology from a client perspective |
US11588735B2 (en) * | 2020-07-29 | 2023-02-21 | Micron Technology, Inc. | Edge processing of sensor data using a neural network to reduce data traffic on a communication network |
-
2020
- 2020-11-09 CN CN202011241259.7A patent/CN112333046B/zh active Active
- 2020-12-08 US US17/114,772 patent/US11296963B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107770084A (zh) * | 2016-08-19 | 2018-03-06 | 华为技术有限公司 | 一种数据流量的管理方法及装置 |
CN108737130A (zh) * | 2017-04-14 | 2018-11-02 | 国家电网公司 | 基于神经网络的网络流量预测装置及方法 |
CN107872457A (zh) * | 2017-11-09 | 2018-04-03 | 北京明朝万达科技股份有限公司 | 一种基于网络流量预测进行网络操作的方法及系统 |
CN110322037A (zh) * | 2018-03-28 | 2019-10-11 | 普天信息技术有限公司 | 基于推理模型的流量预测方法及装置 |
Non-Patent Citations (2)
Title |
---|
基于机器学习的SDN网络流量预测与负载均衡;姚骞;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20181015;全文 * |
网络流量的非线性组合预测模型应用研究;赵岩等;《计算机仿真》;20120615(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112333046A (zh) | 2021-02-05 |
US11296963B1 (en) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112333046B (zh) | 物联网节点流量预测系统及方法 | |
US11375250B2 (en) | Dynamic load balancing for video analytics pipelines | |
US10848459B2 (en) | Technologies for scheduling time sensitive cyclical network traffic in real-time | |
CN114286413B (zh) | Tsn网络联合路由选择与流分配方法及相关设备 | |
CN113705959B (zh) | 网络资源分配方法及电子设备 | |
US10528293B2 (en) | Grouping devices as a virtual device for providing better quality of device data | |
US11929888B2 (en) | Technologies for thermal and power awareness and management in a multi-edge cloud networking environment | |
KR102646697B1 (ko) | 데이터 통신 최적화 시스템 | |
CN111966289A (zh) | 基于Kafka集群的分区优化方法和系统 | |
Zeb et al. | Edge intelligence in softwarized 6G: Deep learning-enabled network traffic predictions | |
US20210329354A1 (en) | Telemetry collection technologies | |
CN112187859A (zh) | 物联网业务与边缘网络能力动态映射的方法及电子设备 | |
CN113328953B (zh) | 网络拥塞调整的方法、装置和存储介质 | |
Dahiya et al. | Efficient green solution for a balanced energy consumption and delay in the iot-fog-cloud computing | |
CN113301126B (zh) | 一种适用于异构组网网关的边缘计算方法 | |
EP3884732A1 (en) | Method and node for handling sensor nodes and fog nodes in a communications system | |
CN116109058A (zh) | 一种基于深度强化学习的变电站巡视管理方法和装置 | |
WO2024062273A1 (en) | Method and system for resource allocation using reinforcement learning | |
CN111641969B (zh) | 基于边缘计算的无线多跳自组网数据分发方法及装置 | |
CN113115072A (zh) | 一种基于端云协同的视频目标检测跟踪调度方法及系统 | |
US11212344B1 (en) | Systems and methods for utilities-based workload management in a communication network | |
JP6736858B2 (ja) | データ表示システムおよびデータ表示方法 | |
CN115600478B (zh) | 软件定义广域网分析系统及其操作方法 | |
CN115776445B (zh) | 面向流量迁移的节点识别方法、装置、设备及存储介质 | |
CN114338400B (zh) | Sdn网络动态控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |