CN113762485B - 一种基于注意力机制的多数据集联合预测方法 - Google Patents
一种基于注意力机制的多数据集联合预测方法 Download PDFInfo
- Publication number
- CN113762485B CN113762485B CN202111155973.9A CN202111155973A CN113762485B CN 113762485 B CN113762485 B CN 113762485B CN 202111155973 A CN202111155973 A CN 202111155973A CN 113762485 B CN113762485 B CN 113762485B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- anomaly detection
- amount
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 230000001413 cellular effect Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 7
- 208000025174 PANDAS Diseases 0.000 claims description 3
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 claims description 3
- 235000016496 Panda oleosa Nutrition 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 240000000220 Panda oleosa Species 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 240000004718 Panda Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于注意力机制的多数据集联合预测方法，包括以下步骤：1)对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测，剔除异常的活动数据，再将各类型的活动数据分别放入相同结构的循环神经网络中；2)将各循环神经网络的输出结果输入到注意力单元中，再将注意力单元的输出结果输入到用于流量数据预测的循环神经网络中；3)将用于流量数据预测的循环神经网络的输出作为蜂窝流量的预测结果，该方法准确预测未来时刻的流量数据。
Description
技术领域
本发明涉及一种预测方法，具体涉及一种基于注意力机制的多数据集联合预测方法。
背景技术
流量预测是无线网络数据分析和管理中的重要任务之一。无线网络中的流量预测是时间序列预测问题，根据历史流量数据序列预估未来一段时间内单位时刻上的流量值。流量预测对服务提供商而言非常有价值。预测未来时刻的流量数据可为网络运营商提供更多热点区域相关信息，审视已有资源分配方案的合理性、指导网络资源的动态分配和调整，然而现有技术并没有给出类似的公开。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于注意力机制的多数据集联合预测方法，该方法准确预测未来时刻的流量数据。
为达到上述目的，本发明所述的基于注意力机制的多数据集联合预测方法包括以下步骤：
1)对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测，剔除异常的活动数据，再将各类型的活动数据分别放入相同结构的循环神经网络中；
2)将各循环神经网络的输出结果输入到注意力单元中，再将注意力单元的输出结果输入到用于流量数据预测的循环神经网络中；
3)将用于流量数据预测的循环神经网络的输出作为蜂窝流量的预测结果。
步骤1)中活动数据的类型包括互联网活动量、短消息发送量、短消息接收量、电话接听量及电话拨出量。
步骤1)之前还包括：根据城市基站分布，将所关注的城市区域划分为M×N的网格区域，其中，M及N均为正整数，使用pandas聚合每个网格区域的蜂窝流量值，得以小时为单位的蜂窝流量总值，然后将所检测时间段划分为K个时隙，形成一个高维的时间序列向量，将所述时间序列向量作为原始蜂窝流量向量，任意网格j中，原始蜂窝流量向量xj＝[xj[1],xj[2]L xj[p]L xj[K]]T，xj[p]表示网格j在第p小时内的手机流量总值。
步骤2)中，对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测。
对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测的具体操作为：
将原始蜂窝流量放入LSTM自编码器中提取流量特征，在特征空间中将离群点对应的网格标记为异常网格，然后对异常网格中的数据使用K-means聚类检测异常出现的具体时刻，最后剔除异常网格中异常时刻的数据。
步骤2)中，将各循环神经网络的输出结果进行归一化后再输入到注意力单元中。
步骤2)中，注意力单元对流量向量生成查询张量，对短消息发送量、短消息接受量、电话接听量及电话拨出量均生成键张量及值张量。
CDR数据集内存储有前168h的流量数据，利用前168h的流量数据预测未来24小时的流量数据。
本发明具有以下有益效果：
本发明所述的基于注意力机制的多数据集联合预测方法在具体操作时，利用循环神经网络预测不同活动数据，再引入注意力机制学习不同业务间的相关性，从而对不同活动数据的预测结果进行聚合，以提高未来时刻数据流量的预测准确性，有助于服务提供商来管理和控制网络以及优化网络资源分配。
附图说明
图1为LSTM自编码器的示意图；
图2为特征空间样本的分布图；
图3a为异常网格3667内的蜂窝流量分布图；
图3b为异常网格3983内的蜂窝流量分布图；
图3c为异常网格4181内的蜂窝流量分布图；
图3d为异常网格4621内的蜂窝流量分布图；
图4a为异常网格3667内流量异常检测结果图；
图4b为异常网格3983内流量异常检测结果图；
图4c为异常网格4181内流量异常检测结果图；
图4d为异常网格4621内流量异常检测结果图；
图5为预测模型的结构图；
图6为注意力机制内部的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在附图中示出了根据本发明公开实施例的结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
参考图1至图6，本发明所述的基于注意力机制的多数据集联合预测方法包括以下步骤：
1)对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测，剔除异常的活动数据，再将各类型的活动数据分别放入相同结构的循环神经网络中；
2)将各循环神经网络的输出结果输入到注意力单元中，再将注意力单元的输出结果输入到用于流量数据预测的循环神经网络中；
3)将用于流量数据预测的循环神经网络的输出作为蜂窝流量的预测结果。
步骤1)中活动数据的类型包括互联网活动量、短消息发送量、短消息接收量、电话接听量及电话拨出量。
步骤1)之前还包括：根据城市基站分布，将所关注的城市区域划分为M×N的网格区域，其中，M及N均为正整数，使用pandas聚合每个网格区域的蜂窝流量值，得以小时为单位的蜂窝流量总值，然后将所检测时间段划分为K个时隙，形成一个高维的时间序列向量，将所述时间序列向量作为原始蜂窝流量向量，任意网格j中，原始蜂窝流量向量xj＝[xj[1],xj[2]L xj[p]L xj[K]]T，xj[p]表示网格j在第p小时内的手机流量总值。
步骤2)中，对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测。
对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测的具体操作为：
将原始蜂窝流量放入LSTM自编码器中提取流量特征，在特征空间中将离群点对应的网格标记为异常网格，然后对异常网格中的数据使用K-means聚类检测异常出现的具体时刻，最后剔除异常网格中异常时刻的数据，参考表1。
表1
步骤2)中，将各循环神经网络的输出结果进行归一化后再输入到注意力单元中。
步骤2)中，注意力单元对流量向量生成查询张量，对短消息发送量、短消息接受量、电话接听量及电话拨出量均生成键张量及值张量。
CDR数据集内存储有前168h的流量数据，利用前168h的流量数据预测未来24小时的流量数据。
参考图1，编码部分每步输入24维流量向量，共输入28步，隐藏层设置为3层；编码所得流量特征为2维向量；将特征向量逐步输入解码器中，共输入28步，解码器隐藏层设置为3层，得重构数据；将输入自编码器的流量数据与自编码器输出的重构数据的均方误差作为优化目标训练LSTM自编码器，最后得到新空间的流量特征。
Claims (4)
1.一种基于注意力机制的多数据集联合预测方法，其特征在于，包括以下步骤：
1)对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测，剔除异常的活动数据，再将各类型的活动数据分别放入相同结构的循环神经网络中；
2)将各循环神经网络的输出结果输入到注意力单元中，再将注意力单元的输出结果输入到用于流量数据预测的循环神经网络中；
3)将用于流量数据预测的循环神经网络的输出作为蜂窝流量的预测结果；
步骤1)中活动数据的类型包括互联网活动量、短消息发送量、短消息接收量、电话接听量及电话拨出量；
步骤1)之前还包括：根据城市基站分布，将所关注的城市区域划分为M×N的网格区域，其中，M及N均为正整数，使用pandas聚合每个网格区域的蜂窝流量值，得以小时为单位的蜂窝流量总值，然后将所检测时间段划分为K个时隙，形成一个高维的时间序列向量，将所述时间序列向量作为原始蜂窝流量向量，任意网格j中，原始蜂窝流量向量xj＝[xj[1],xj[2]…xj[p]…xj[K]]T，xj[p]表示网格j在第p小时内的手机流量总值；
步骤2)中，对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测；
对CDR数据集内不同类型的活动数据采用基于特征提取的移动网络异常检测方法进行异常检测的具体操作为：
将原始蜂窝流量放入LSTM自编码器中提取流量特征，在特征空间中将离群点对应的网格标记为异常网格，然后对异常网格中的数据使用K-means聚类检测异常出现的具体时刻，最后剔除异常网格中异常时刻的数据。
2.根据权利要求1所述的基于注意力机制的多数据集联合预测方法，其特征在于，步骤2)中，将各循环神经网络的输出结果进行归一化后再输入到注意力单元中。
3.根据权利要求1所述的基于注意力机制的多数据集联合预测方法，其特征在于，步骤2)中，注意力单元对流量向量生成查询张量，对短消息发送量、短消息接受量、电话接听量及电话拨出量均生成键张量及值张量。
4.根据权利要求1所述的基于注意力机制的多数据集联合预测方法，其特征在于，CDR数据集内存储有前168h的流量数据，利用前168h的流量数据预测未来24小时的流量数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111155973.9A CN113762485B (zh) | 2021-09-29 | 2021-09-29 | 一种基于注意力机制的多数据集联合预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111155973.9A CN113762485B (zh) | 2021-09-29 | 2021-09-29 | 一种基于注意力机制的多数据集联合预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762485A CN113762485A (zh) | 2021-12-07 |
| CN113762485B true CN113762485B (zh) | 2024-04-02 |
Family
ID=78798330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111155973.9A Active CN113762485B (zh) | 2021-09-29 | 2021-09-29 | 一种基于注意力机制的多数据集联合预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762485B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860785A (zh) * | 2020-07-24 | 2020-10-30 | 中山大学 | 基于注意力机制循环神经网络的时间序列预测方法及系统 |
| AU2020104133A4 (en) * | 2020-12-16 | 2021-03-04 | Anjanamma, Chappidi MRS | Expected conditional clustered regressive deep multilayer precepted neural learning for iot based cellular network traffic prediction with big data |
| CN112532439A (zh) * | 2020-11-24 | 2021-03-19 | 山东科技大学 | 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法 |
-
2021
- 2021-09-29 CN CN202111155973.9A patent/CN113762485B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860785A (zh) * | 2020-07-24 | 2020-10-30 | 中山大学 | 基于注意力机制循环神经网络的时间序列预测方法及系统 |
| CN112532439A (zh) * | 2020-11-24 | 2021-03-19 | 山东科技大学 | 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法 |
| AU2020104133A4 (en) * | 2020-12-16 | 2021-03-04 | Anjanamma, Chappidi MRS | Expected conditional clustered regressive deep multilayer precepted neural learning for iot based cellular network traffic prediction with big data |
Non-Patent Citations (1)
| Title |
|---|
| 郭佳 ; 余永斌 ; 杨晨阳 ; .基于全注意力机制的多步网络流量预测.信号处理.2019,(第05期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762485A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10931700B2 (en) | Method and system for anomaly detection and network deployment based on quantitative assessment | |
| EP3644581B1 (en) | Edge-cloud collaboration system for analyzing internet of things data and operating method thereof | |
| CN111867049B (zh) | 定位方法、装置及存储介质 | |
| CN110267292B (zh) | 基于三维卷积神经网络的蜂窝网络流量预测方法 | |
| CN111405585B (zh) | 一种基于卷积神经网络的邻区关系预测方法 | |
| CN113709779B (zh) | 一种蜂窝网络故障诊断方法 | |
| CN113382477B (zh) | 应用于无线网络用户间上行干扰建模的方法 | |
| CN110062410B (zh) | 一种基于自适应谐振理论的小区中断检测定位方法 | |
| CN111294812A (zh) | 一种资源扩容规划的方法及系统 | |
| CN108900980A (zh) | 一种在异构网络中基于移动性预测的资源分配优化方法 | |
| CN113779247A (zh) | 基于意图驱动的网络故障诊断方法及系统 | |
| CN117082547A (zh) | 小区异常检测方法、装置、电子设备和可读存储介质 | |
| Ouyang et al. | Application behaviors driven self-organizing network (SON) for 4G LTE networks | |
| Nabi et al. | Deep learning based fusion model for multivariate LTE traffic forecasting and optimized radio parameter estimation | |
| Rajesh et al. | Achieving QoS in GSM Network by Efficient Anomaly Mitigation and Data Prediction Model | |
| Wang et al. | Cellular traffic prediction using deep convolutional neural network with attention mechanism | |
| Gao et al. | A deep learning framework with spatial-temporal attention mechanism for cellular traffic prediction | |
| He et al. | Network traffic prediction method based on multi-channel spatial-temporal graph convolutional networks | |
| CN113762485B (zh) | 一种基于注意力机制的多数据集联合预测方法 | |
| Peng et al. | Hmm-lstm for proactive traffic prediction in 6g wireless networks | |
| Ma et al. | Cellular traffic prediction via deep state space models with attention mechanism | |
| CN112581177B (zh) | 结合自动特征工程及残差神经网络的营销预测方法 | |
| CN113301585B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| Zhang et al. | Cellular QoE prediction for video service based on causal structure learning | |
| CN113747441A (zh) | 一种基于特征降维的移动网络流量异常检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |