CN114039871B - 一种蜂窝流量预测的方法、系统、装置及介质 - Google Patents

一种蜂窝流量预测的方法、系统、装置及介质 Download PDF

Info

Publication number
CN114039871B
CN114039871B CN202111241195.5A CN202111241195A CN114039871B CN 114039871 B CN114039871 B CN 114039871B CN 202111241195 A CN202111241195 A CN 202111241195A CN 114039871 B CN114039871 B CN 114039871B
Authority
CN
China
Prior art keywords
global
correlation
cellular
time
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111241195.5A
Other languages
English (en)
Other versions
CN114039871A (zh
Inventor
古博
束嘉乐
姚阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202111241195.5A priority Critical patent/CN114039871B/zh
Publication of CN114039871A publication Critical patent/CN114039871A/zh
Application granted granted Critical
Publication of CN114039871B publication Critical patent/CN114039871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种蜂窝流量预测的方法、系统、装置及介质，其中方法包括：获取蜂窝流量数据；依次从全局空间视角、全局时间视角以及局部时空视角三个视角对蜂窝流量数据进行特征提取；根据提取的特征对蜂窝流量进行预测；其中，采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性；采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性；采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性。本发明从全局空间视角，全局时间视角和局部时空视角全面捕捉蜂窝流量的时空相关性，实现了对蜂窝流量时空特性的完整建模，可广泛应用于通信技术领域。

Description

一种蜂窝流量预测的方法、系统、装置及介质
技术领域
本发明涉及通信技术领域，尤其涉及一种蜂窝流量预测的方法、系统、装置及介质。
背景技术
蜂窝流量预测是以及时满足用户需求、动态优化网络资源分配、提高网络服务管理水平为导向，基于城市蜂窝流量历史数据，借助先进的数据分析方案，实现对未来时刻城市移动通信网络蜂窝流量的实时准确预测。蜂窝流量预测在构建高标准、高质量的移动通信网络中扮演着至关重要的角色，是实现智慧城市、智慧5G通信技术以及万物互联的重要支撑。然而，由于城市蜂窝流量具有复杂的时空特性，实时准确的蜂窝流量预测面临着巨大挑战。以往的预测模型对蜂窝流量的时空特性建模不充分，导致无法全面捕捉蜂窝流量中的时空相关性。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种蜂窝流量预测的方法、系统、装置及介质。
本发明所采用的技术方案是：
一种蜂窝流量预测的方法，包括以下步骤：
获取蜂窝流量数据；
依次从全局空间视角、全局时间视角以及局部时空视角三个视角对所述蜂窝流量数据进行特征提取；
根据提取的特征对蜂窝流量进行预测；
其中，在所述全局空间视角中，采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性；在所述全局时间视角中，采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性；在所述局部时空视角中，采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性。
进一步地，所述采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性，包括包括：
设计节点级空间注意力模块和趋势级空间注意力模块；
通过注意力机制，实现对蜂窝流量图
Figure BDA0003319282630000011
中每两点中每两点
Figure BDA0003319282630000012
之间的相关矩阵
Figure BDA0003319282630000013
赋值，以及完成每两个点之间的连接边缘的集合的加权；其中，所述相关矩阵
Figure BDA0003319282630000021
表示两点之间的特征相似性，衡量两个蜂窝流量单元之间的空间相关性；
蜂窝流量的特征通过两点之间的加权边传播和聚合，实现特征的更新；
对两种级别的特征进行加权后求和，实现对两种级别全局相关性的重要性评价，并做出选择性捕捉和融合两种级别的全局相关性；
其中，所述节点级空间注意力模块用于获取不同蜂窝单元在同一单个时刻的数据状态相似性，所述趋势级空间注意力模块用于获取不同蜂窝单元在同一连续时间段内的数据变化趋势相似性。
进一步地，所述节点级空间注意力模块获得的特征的表示公式为：
Figure BDA0003319282630000022
其中，
Figure BDA0003319282630000023
表示线性变换中的可学习矩阵；
Figure BDA0003319282630000024
和
Figure BDA0003319282630000025
表示线性变换中的可学习的偏置参数；
Figure BDA0003319282630000026
表示节点级的顶点特征；
所述趋势级空间注意力模块获得的特征的表示公式为：
Figure BDA0003319282630000027
其中，
Figure BDA0003319282630000028
Figure BDA0003319282630000029
表示所有顶点的趋势级特征的维度；τ＝P-1表示P-1个历史时刻。
进一步地，所述采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性，包括：
设计了全局时间注意力模块；
通过注意力机制，实现对蜂窝流量图
Figure BDA00033192826300000210
中同一点
Figure BDA00033192826300000211
的历史数据
Figure BDA00033192826300000212
之间的相关矩阵
Figure BDA00033192826300000213
的赋值，以及完成对同一点
Figure BDA00033192826300000214
不同历史时刻的数据之间的连接边缘集合
Figure BDA00033192826300000215
的加权；其中，相关矩阵
Figure BDA00033192826300000216
表示同一点不同历史时刻数据之间的特征相似性，衡量同一个蜂窝流量单元不同历史时刻数据之间的时间相关性；
蜂窝流量的特征通过两个历史时刻之间的加权边传播和聚合，实现特征的更新，完成同一点不同历史时刻之间的交互；
通过信息整合操作整合来自不同历史时刻的特征，实现对来自不同历史时刻特征的融合，并完成全局时间相关性的捕捉。
进一步地，采用以下公式嵌入全局时间相关性信息：
Figure BDA0003319282630000031
其中，
Figure BDA0003319282630000032
表示顶点vl在m时刻的特征，
Figure BDA0003319282630000033
表示正则化后的注意力权重，
Figure BDA0003319282630000034
表示可学习矩阵将
Figure BDA0003319282630000035
映射到高维空间s，Wfc∈RSd×D表示多头注意力操作后加入的可学习矩阵；最终嵌入全局时间相关性的P个时刻的顶点特征可以表示为
Figure BDA0003319282630000036
其中gt表示全局时间相关性，gs表示全局空间相关性。
进一步地，所述采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性，包括：
设计密集连接卷积模块，所述密集连接卷积模块的输入为嵌入全局时空特性的蜂窝流量特征；
通过卷积核在蜂窝流量特征图上进行迭代的卷积操作，实现对局部特征的挖掘；
所述密集连接卷积模块的输出特征嵌入了蜂窝流量的多尺度局部空间聚集特性，使预测对不同蜂窝流量单元的局部空间依赖关系敏感；
其中，局部时空视角输出的特征用于进行蜂窝流量的预测。
进一步地，所述密集连接卷积模块中每个卷积层都与其它层连接，其中，第l个卷积层将所有前面卷积层的输出作为输入，表示为：
Figure BDA0003319282630000037
其中，f(·)表示模块中的一系列操作，包括批量归一化，ReLU激活函数和卷积操作，这些操作将按顺序被依次执行；
Figure BDA0003319282630000038
是对
Figure BDA0003319282630000039
进行维度变换操作后，由蜂窝流量网络图中所有顶点组成的特征图。
本发明所采用的另一技术方案是：
一种蜂窝流量预测的系统，包括：
数据获取模块，用于获取蜂窝流量数据；
特征提取模块，用于依次从全局空间视角、全局时间视角以及局部时空视角三个视角对所述蜂窝流量数据进行特征提取；
流量预测模块，用于根据提取的特征对蜂窝流量进行预测；
其中，在所述全局空间视角中，采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性；在所述全局时间视角中，采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性；在所述局部时空视角中，采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性。
本发明所采用的另一技术方案是：
一种蜂窝流量预测的装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明分别从全局空间视角，全局时间视角和局部时空视角全面捕捉蜂窝流量的时空相关性，实现了对蜂窝流量时空特性的完整建模，提升其对蜂窝流量预测的精准度。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中基于多视角的全时空图神经网络MVSTGN的整体架构示意图；
图2是本发明实施例中网格化蜂窝流量数据结构示意图；
图3是本发明实施例中蜂窝流量时间相关性系数可视化结果示意图；
图4是本发明实施例中空间相关性系数可视化结果示意图；
图5是本发明实施例中多头注意力机制的实现，以及特征在注意力层的传递过程示意图；
图6是本发明实施例中门控融合模块示意图；
图7是本发明实施例中三种注意力模块获取特征间注意力权重的过程示意图；
图8是本发明实施例中密集连接卷积模块的工作方式示意图；
图9是本发明实施例中一种蜂窝流量预测的方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
现有蜂窝经典流量预测模型，包括差分自回归移动平均模型ARIMA，支持向量回归模型SVR以及基于序列的深度学习模型LSTM，都未能从时空中完整地提取特征，因此这些模型的预测能力具有一定的局限性。为此，本实施例提供一种基于多视角的全时空图神经网络(MVSTGN)旨在从多种时空视角出发实现对蜂窝流量特性的完整建模。
如图1所示，基于多视角的全时空图神经网络MVSTGN是一个融合注意力机制和卷积操作的图神经网络，依次从三个视角对输入蜂窝流量数据进行特征提取，其中在全局空间和全局时间视角应用注意力机制，在局部时空视角应用卷积操作。
首先，从全局空间视角出发，MVSTGN中分别设计了节点级(node-level)空间注意力模块和趋势级(trend-level)空间注意力模块。两个空间注意力模块分别关注不同蜂窝单元在同一单个时刻的数据状态相似性和不同蜂窝单元在同一连续时间段内的数据变化趋势相似性。通过注意力机制，MVSTGN实现对蜂窝流量图
Figure BDA0003319282630000051
中每两点v之间的相关矩阵
Figure BDA0003319282630000052
的赋值，并完成对ε的加权。这里相关矩阵
Figure BDA0003319282630000053
表示两点之间的特征相似性，衡量两个蜂窝流量单元之间的空间相关性。之后，蜂窝流量的特征通过两点之间的加权边传播和聚合，实现特征的更新。这样每个顶点都获得了上下文(context)信息，完成了两点之间的交互。经过上述操作，特征相似性高的两点的特征趋于一致，最后模型倾向输出相似的预测结果。在分别捕捉节点级全局空间相关性和趋势级全局空间相关性之后，蜂窝流量分别实现了特征更新。之后MVSTGN通过门控融合模块整合来自两种级别注意力模块的输出特征。该门控融合模块通过门控选择机制对两种级别的特征进行加权后求和，实现了对两种级别全局相关性的重要性评价，并做出了选择性捕捉和融合两种级别的全局相关性。
其次，从全局时间视角出发，MVSTGN设计了全局时间注意力模块。全局时间注意力模块关注同一蜂窝单元在不同历史时刻的数据状态相似性。通过注意力机制，MVSTGN实现对蜂窝流量图
Figure BDA0003319282630000061
中同一点v的历史数据
Figure BDA0003319282630000062
之间的相关矩阵
Figure BDA0003319282630000063
的赋值，并完成对
Figure BDA0003319282630000064
的加权。这里相关矩阵
Figure BDA0003319282630000065
表示同一点不同历史时刻数据之间的特征相似性，衡量同一个蜂窝流量单元不同历史时刻数据之间的时间相关性。之后，蜂窝流量的特征通过两个历史时刻之间的加权边传播和聚合，实现特征的更新，此时特征获得了上下文信息，完成了同一点不同历史时刻之间的交互。经过上述操作，特征相似性高的两个历史时刻的特征趋于一致，对最后未来时刻的预测产生相似的影响。最后MVSTGN通过信息整合操作整合来自不同历史时刻的特征，实现了对来自不同历史时刻特征的融合，并完成全局时间相关性的捕捉。
最后，从局部时空视角出发，MVSTGN设计了密集连接卷积模块。密集连接卷积模块关注蜂窝流量网络在不同时刻表现较为稳定的空间聚集特性，这种空间聚集特性是局部的。这一模块的输入是已经嵌入全局时空特性的蜂窝流量特征。通过卷积核在紧密排列的蜂窝流量特征图上进行迭代的卷积操作，实现了对局部特征的挖掘。通过变化卷积核的尺寸以及堆叠卷积层的操作，使模型感受野扩大，实现了对多尺度局部特征的挖掘。通过卷积层密集连接的方式增强了特征在卷积层之间的传递，同时一定程度地减少了参数量。经过上述操作，模块的输出特征嵌入了蜂窝流量的多尺度局部空间聚集特性，使最后未来时刻的预测对不同蜂窝流量单元的局部空间依赖关系敏感。
MVSTGN将利用局部时空视角输出的特征给出最终的预测。MVSTGN的多视角整体架构如图1所示。
在MVSTGN学习过程中，
Figure BDA0003319282630000066
作为输入首先被送入一个前向传播块进行特征变换。输入端的前向传播块包含两个全连接层，全连接层中间加入一个激活函数整流线性单元(ReLU)。经过前向传播块后，每个点v在t时刻的特征维度由1变为D，在MVSTGN的设置中，D＝12。之后数据将被依次送入三个视角进行特征学习。在MVSTGN的输出端，将计算t+1时刻模型对所有蜂窝单元的流量预测值
Figure BDA0003319282630000068
和真实观测值的平均绝对误差(MAE)，即：
Figure BDA0003319282630000067
其中θ表示MVSTGN模型中所有可学习的参数。MVSTGN将通过端到端(end-to-end)的训练模式，通过反向传播的方法进行参数的梯度更新，得到最优化模型。
以下结合附图对上述MVSTGN进行详细地解释说明。
1、蜂窝流量数据和分析
1.1、蜂窝流量数据集
本实施例中使用的数据来自意大利电信大数据挑战数据集(“Big DataChallenge”Dataset，BDC)。选择该数据集主要基于以下两点原因：
(1)BDC数据集在蜂窝流量预测任务中被广泛使用，并且现有公开的蜂窝流量数据集较少。以方便进行实验并开展广泛对比为目的，BDC数据集作为高质量数据集成为首选；
(2)BDC数据集具有数据统计规范，数据丰富等优点。BDC数据集统计了意大利米兰城市数据，该市是极具代表性的发达城市，其城市功能齐全信息丰富，数据极具代表性，在该数据集上开展研究具有较高价值。BDC数据集包含米兰两个月(2013年11月1日-2013年12月31日)的蜂窝流量数据，可以充分满足实验需求，有利于开展大数据分析。除了米兰的移动网络数据，BDC还包含米兰天气、新闻、社交网络和电力数据，多源的数据组合可以满足跨域数据对蜂窝流量的影响。
针对本文使用的蜂窝流量数据，BDC数据集主要有以下几项特征：
(1)数据内容：短信服务数据(SMS)、呼叫服务数据(Call)和网络服务数据(Internet)三种蜂窝流量数据；
(2)数据存储形式：数据存储为100×100的网格形式，网格代表平均划分为100×100个地理单元的米兰城市，其中每个单元代表235m×235m的地理区域，每个单元有唯一ID，如图2所示，其中图2中的数字为单元ID；
(3)数据统计时长：每个地理单元内每10分钟统计一次数据，统计时间范围为2013年11月1日0时-2013年12月31日24时；
(4)数据统计方式：统计数据为单元每10分钟内生成呼叫详细记录(CDR)数。针对SMS和Call流量，每次单元内产生一次接收或发出数据均会被记录。针对Internet流量，每次单元内互联网连接启动或结束会被记录。
1.2、蜂窝流量数据分析
为了验证城市蜂窝流量在时间维度和空间维度上均存在相关性，分别采用下列两种方法：
(1)时间维度数据相关性：我们通过自相关系数(autocorrelation coefficient)评价单元(h,w)连续T时刻数据的相关性，可以表示为：
Figure BDA0003319282630000081
其中，
Figure BDA0003319282630000082
表示0到T时刻单元(h,w)的流量数据平均值。所有SMS蜂窝流量数据自相关性计算结果通过图3表示，如图3所示，蜂窝流量在时间维度上表现出非零的自相关性，这表明通过历史蜂窝流量数据对未来流量的预测具有研究价值。其中，图3中横坐标代表时延，纵坐标表示自相关系数。
(2)空间维度数据相关性：我们通过计算皮尔逊相关系数ρ(Pearson correlationcoeffi-cient)评价单元(h,w)和单元(h′,w′)在某时刻的数据相关性。皮尔逊相关系数被广泛应用评价空间相关性，可以表示为：
Figure BDA0003319282630000083
其中，cov()表示求协方差操作，σ表示求标准差操作。对部分单元SMS蜂窝流量数据求解皮尔逊相关系数后如图4所示，可以看到，不同单元内的蜂窝流量数据确实存在空间相关性，而且空间相关性不与空间距离保持一致。其中，图4中目标单元为(4，4)，单元内代表相关系数。
2、蜂窝流量预测问题描述
针对某一特定类型的蜂窝数据(SMS，Call，Internet)，将T个时刻的全市域流量数据表示为长度为T的时空矩阵序列
Figure BDA0003319282630000084
其中
Figure BDA0003319282630000085
可以进一步表示为：
Figure BDA0003319282630000086
其中，
Figure BDA0003319282630000087
表示为全市域流量单元的集和,
Figure BDA0003319282630000088
表示蜂窝单元v(i,j)在t时刻统计的流量数据。矩阵
Figure BDA0003319282630000089
是对图2的公式化表示。
在本实施例中，我们会将
Figure BDA00033192826300000810
进一步定义为一个在t时刻蜂窝流量图
Figure BDA00033192826300000811
其中每个蜂窝单元被表示为一个点(vertex),对于任意一个
Figure BDA00033192826300000812
其中
Figure BDA00033192826300000813
M＝N×N。每个v包含一个长度为T的序列数据
Figure BDA00033192826300000814
其中vl＝v(i,j),l＝(i-1)×N+j,这种表示是因为图结构中忽略了点相对位置关系:
Figure BDA00033192826300000815
表示每两个点之间的连接边缘(edge)的集和；
Figure BDA0003319282630000091
表示相关矩阵,
Figure BDA0003319282630000092
对ε中每条边缘加权，衡量两点之间的相关性。此外，我们还定义了对于同一点v不同历史时刻的数据
Figure BDA0003319282630000093
之间的连接边缘集和
Figure BDA0003319282630000094
其中τ表示任意时刻长度；定义了在εt的相关矩阵
Figure BDA0003319282630000095
衡量同一点不同时刻的相关性。在本实施例中，MVSTGN实现全市域蜂窝流量预测的目标为，给定t时刻前,连续P个时刻观察到的历史全市域蜂窝流量数据，输出t+1时刻的蜂窝流量预测值。蜂窝流量预测基于对蜂窝流量网络时空特性的完整建模，因此蜂窝流量预测问题可以公式化表示为：
Figure BDA0003319282630000096
其中
Figure BDA0003319282630000097
表示蜂窝流量单元v(i,j)在过去P个时刻的历史数据，包含单元v(i,j)不同历史时刻数据间的时间相关特征；
Figure BDA0003319282630000098
表示全市域所有蜂窝流量单元的在过去P个时刻的历史数据，包含在同时间维度上所有单元之间的空间相关特征；f表示MVSTGN中的特征提取操作，实现对蜂窝流量网络时空特性的捕捉。
3、MVSTGN结构
3.1、全局空间视角
在蜂窝流量中，全局空间相关性可以表示为每两个顶点之间的加权连接(即加权边)，这种连接是随两点的特征动态变化的。显然，一个固定权重的全连通图不适合对随时间发生变化的全局空间相关性进行建模，因此MVSTGN采用注意机制来动态地为连接分配不同的权重。特别地，全局空间视角内包含两个精心设计的注意力模块，用于分别从节点级和趋势级捕捉全局空间相关性。此外，全局空间视角还包含一个门控融合模块，用于选择性整合不同级别的空间相关性。
选择注意力机制确定顶点之间的连接，主要基于注意力机制以下几个优点：
(1)相比多层感知机(MLP)逐点独立提取特征的方式，注意力机制实现了点之间的交互。注意力机制通过计算两点特征在高维空间的欧氏距离确定两点特征的亲和力，获得注意力权重，并通过注意力权重对点的特征进行聚合，这样点之间发生了交互，两点之间确定了连接。
(2)相比卷积(convolution)操作提取特征时，对卷积核内不同位置的点赋予相同权重的方式，注意力机制根据特征亲和力动态地分配权重，使相似特征互相注意程度更高，避免了噪声的干扰。此外，注意力机制通过最后的softmax操作，保证了所有点之间的交互均被保留。并且，相比卷积操作受限在局部感受野内提取特征，注意力机制可以方便获取全局的相关性。
(3)相比多层感知机以及卷积操作按位计算学习参数的特点，注意力机制根据输入信息的特征计算参数。当同一输入信息的位置发生改变时，注意力权重不会发生改变，这显然适合对随时间变化的两个蜂窝流量单元之间相关性的确定。
(4)注意力机制可以通过平行叠加的方式构造多头注意力(multi-headattention)，关注特征中多种不同的信息，使得两点之间的相关性具有更多可能，提升模型的鲁棒性。
3.1.1、节点级注意力模块
在本实施例中，我们将由单一时刻的流量状态相似性确定的全局空间相关性命名为节点级全局空间相关性。一般来说，节点级的全局空间相关性是随时间动态变化的。例如，城市商业区和住宅区可能在夜间某时刻出现一致的蜂窝流量高峰，但在白天因为用户密集程度不同存在较大的差异。这种节点级的空间相关性显然不受单元之间距离约束，是全局范围存在的。因此，我们在本节设计了节点级注意力模块来捕捉不同蜂窝单元之间因流量状态相似性而出现的全局相关性。
如图5所示，首先通过可学习的线性变换矩阵
Figure BDA0003319282630000101
和
Figure BDA0003319282630000102
将输入
Figure BDA0003319282630000103
映射到多个d维空间,分别生成线性变换后的特征
Figure BDA0003319282630000104
和
Figure BDA0003319282630000105
其中s∈{1,…,S}代表不同的d维映射空间，S是多维空间的总数。之后通过计算每个
Figure BDA0003319282630000106
与所有
Figure BDA0003319282630000107
的独立尺度点积(scaledot-product)得到不同映射空间内每两个顶点之间边上的权重
Figure BDA0003319282630000108
上述操作可以表示为：
Figure BDA0003319282630000109
其中，
Figure BDA00033192826300001010
表示在空间s中顶点n对顶点l的重要性。然后，我们通过应用softmax函数对权重进行正则化，并获得空间s中每两个顶点特征
Figure BDA00033192826300001011
之间的自我注意力(selfattention)矩阵
Figure BDA00033192826300001012
即：
Figure BDA00033192826300001013
其中，
Figure BDA00033192826300001014
是自注意力矩阵
Figure BDA00033192826300001015
的元素，
Figure BDA00033192826300001016
是正则化后的注意力权重,数值范围为(0,1)。来自S个映射空间的自注意力
Figure BDA00033192826300001017
通过串联操作(concatenation)构成了多头注意力At,这确保了捕获各种隐藏的相关性并稳定了学习过程。通过上面的操作，顶点之间边的权重呈现出动态多样的分布。然后,通过计算顶点特征与
Figure BDA0003319282630000111
的线性组合,并添加残差连接(residualconnection)，使顶点特征
Figure BDA0003319282630000112
聚合其它点的特征并实现更新，即：
Figure BDA0003319282630000113
其中，
Figure BDA0003319282630000114
代表将顶点特征
Figure BDA0003319282630000115
映射到空间s的可学习矩阵；Wfc∈RSd×D是一个可学习的矩阵；()表示元素相乘操作，||表示串联操作。通过公式(3-3)，每个顶点都捕捉到了来自其他点的相关性信息，并实现了特征更新，相关性高的顶点特征趋于一致。
在进行上面注意力操作后，顶点特征将输入一个按位前馈网络(position-wisefeed-forward network)，对每个位置的顶点特征向量进行相同的操作，实现对顶点特征的纠正。按位前馈网络包含两个线性变换，线性变换中间包含一个ReLU激活函数操作。之后另一个残差连接操作被加入到了顶点特征中。最终，每个顶点的特征从节点级编码了全局空间相关性，可以最终表示为：
Figure BDA0003319282630000116
其中，
Figure BDA0003319282630000117
表示线性变换中的可学习矩阵，
Figure BDA0003319282630000118
和
Figure BDA0003319282630000119
表示线性变换中的可学习的偏置(bias)参数。最后，上面的操作将被视作一个注意力层，MVSTGN通过堆砌多个注意力层实现相关性的稳定捕捉。以上过程如图5所示。
3.1.2、趋势级注意力模块
蜂窝流量在时间序列上通常波动较大，因此节点级的全局空间相关性在不同的时间间隔上变化很大。同时，我们观察到不同蜂窝单元的流量在一段连续时间内可能保持相似的趋势。例如，城市不同区域的商业区在同一时间段内往往表现出相似的变化趋势，这意味着在蜂窝流量网络中存在着更为丰富的全局空间相关性。出于这种观察，我们将由不同蜂窝单元在连续时间内流量变化模式的相似性而出现的全局空间相关性称为趋势级的全局空间相关性。为此，我们提出了一个趋势级注意力模块，用于捕捉蜂窝流量图中每个顶点的趋势级特征和趋势级特征之间的相似性。
具体地说，每个顶点的趋势级特征可以通过串联顶点在Р个历史时刻上的流量数据来获得，如下所示：
Figure BDA00033192826300001110
其中，
Figure BDA00033192826300001111
类似于节点级注意力模块中的操作，趋势级注意力模块通过采用相同的多头注意力操作，从全局空间视角聚合和更新所有顶点的趋势级特征
Figure BDA00033192826300001112
最后，
Figure BDA0003319282630000121
将被平均拆分为P个时刻上的趋势级顶点特征
Figure BDA0003319282630000122
这也是趋势级注意力模块的最终输出。以上过程可见图1。
3.1.3、门控融合模块
在通过两个注意力模块分别捕捉蜂窝流量的节点级和趋势级全局相关性之后，我们设计了一个门控融合模块，自适应地选择和融合节点级和趋势级注意力模块输出的信息流，实现对两种级别的全局相关性的选择性捕捉和融合。门控融合过程可以公式化为：
Figure BDA0003319282630000123
其中,gs表示全局空间相关性,Z学习到的分配权重。Z通过以下公式获得,
Figure BDA0003319282630000124
其中，σ(·)表示sigmoid激活函数，
Figure BDA0003319282630000125
和
Figure BDA0003319282630000126
表示可学习矩阵。门控融合模块如图6所示。通过以上过程，MVSTGN完成了从全局空间视角对蜂窝流量的全局相关性的捕捉，输出为放入了全局相关性的顶点特征。
4、全局时间视角
与其他类型的流量不同，蜂窝流量在时间维度上表现出显著的突发性特征。例如，在城市道路交通中，前一时刻的拥堵情况会影响下一时刻的交通流量，即道路交通流量具有迟滞特点，这就导致时刻接近的道路交通流量依赖性较高。但是蜂窝流量不具备这一特点，蜂窝流量沿时间维度的曲线突变明显。这说明，旨在捕捉时间依赖性的基于序列的深度学习模型RNN、LSTM和GRU等不能很好地对蜂窝流量在时间上的特性建模。注意力机制忽略了数据之间的位置关系，根据数据特征动态确定不同数据之间的相关性。因此，通过注意力机制可以减弱临近时刻数据突变的干扰。鉴于以上分析，我们从全局时间视角出发，设计了全局时间注意力模块以捕捉不同时刻流量数据之间的全局时间相关性。
4.1、全局时间注意力模块
对于顶点
Figure BDA0003319282630000127
其在t时刻前P个时刻的历史数据
Figure BDA0003319282630000128
作为全局时间注意力模块的输入，其中，
Figure BDA0003319282630000129
已经从全局空间视角竗一大入了全局空间相关性信息。接下来，如图5所示的多头注意力机制被应用以获取相关矩阵
Figure BDA00033192826300001210
用以表示在m时刻的流量数据对n时刻流量数据的重要性，其中m,n∈{t-|τ＝P-1,P-2,…,0}。之后,顶点vl在n时刻的特征按照相关性权重聚合其它时刻的特征，实现全局时间相关性信息的嵌入，如下所示：
Figure BDA0003319282630000131
其中，
Figure BDA0003319282630000132
表示顶点vl在m时刻的特征，
Figure BDA0003319282630000133
表示可学习矩阵将
Figure BDA0003319282630000134
映射到高维空间s,Wfc∈RSd×D表示多头注意力操作后加入的可学习矩阵。最终嵌入全局时间相关性的P个时刻的顶点特征可以表示为
Figure BDA0003319282630000135
其中gt表示全局时间相关性。
进一步地，MVSTGN将上述三种类型的注意力模块进行多层叠加,完成全局空间和时间相关性的嵌入，每层的输出维度与原始的输入维度保持一致。最后，在全局时间视角内，通过时间信息整合操作整合来自不同历史时刻的特征。时间信息整合操作包含两个全连接层，全连接层中间加入一个ReLU激活函数，如下所示：
Figure BDA0003319282630000136
其中，
Figure BDA0003319282630000137
表示时间信息整合后的输出,该输出特征已经放入了全局时空相关性信息，
Figure BDA0003319282630000138
表示v在时刻t-P+1到t已煤十欠入全局时空相关性的特征,
Figure BDA0003319282630000139
表示可学习矩阵。之后，
Figure BDA00033192826300001310
将被送入局部时空视角，通过密集连接卷积模块捕捉蜂窝流量的局部时空相关性。三个全局时空注意力模块获取注意力操作范围和过程如图7所示。
5、局部时空视角
我们提到蜂窝流量具有明显的局部聚集特性，这表明在蜂窝流量单元之间存在显著的局部依赖关系。这种局部依赖性和流量单元的位置直接相关，并在不同时刻保持相对一致。卷积神经网络(CNN)通过核(kernel)的卷积操作能够实现在局部感受野范围内对特征的提取，其优越的性能已经获得了深度学习领域广泛的认可。因此，我们采用密集连接卷积模块进一步捕捉蜂窝流量网络中的局部时空相关性。
5.1、密集连接卷积模块
全局时空注意力模块的输出
Figure BDA00033192826300001311
首先经过维度转罝变化操作,并按照3.1提到的单元ID
Figure BDA00033192826300001313
密排列，生成密集连接卷积模块的输入特征
Figure BDA00033192826300001312
如图8所示,密集连接卷积模块中每个卷积层都与其它层连接，其中，图8中方块表示不同尺度的卷积操作，以提取蜂窝流量网络的局部空间依赖关系。因此,第l个卷积层将所有前面卷积层的输出作为输入，可以表示为：
Figure BDA0003319282630000141
其中，f(·)表示模块中的一系列操作,包括批量归一化(BatchNormalization)，ReLU激活函数和卷积操作，这些操作将按顺序被依次执行。
Figure BDA0003319282630000142
是对
Figure BDA0003319282630000143
进行维度变换操作后，由蜂窝流量网络图中所有顶点组成的特征图，它已经在注意力模块中编码了时空相关性。通过创建从靠近输入的卷积层到靠近输出的卷积层的较短路径，密集连接卷积模块中的连接方式有效地加强了特征传播，降低了梯度消失的可能，有效利用了数据的早期特征，并且相比其他类型的卷积网络参数较少。最终密集连接卷积模块的输出将通过sigmoid激活函数获得最终的预测结果
Figure BDA0003319282630000144
6、预测结果与分析
表1、表2和表3分别展示了MVSTGN在三种类型蜂窝流量数据(SMS，Call,Internet>上的预测效果，评价采用了RMSE，MAE和R2三种指标。实验数据证明，MVSTGN的预测性能在所有指标上都优于对比模型，并且取得了显著的提升。特别地，在没有额外信息(跨域数据或元数据)参与预测的公平比较中，MVSTGN相比最先进模型STCNet，分别在SMS流量上取得了RMSE:15％，MAE:23％，在Call流量上取得了RMSE:23％，MAE:17％，在Internet流量上取得了RMSE:5％，MAE:6％的显著提升。此外，在STCNet加入额外信息参与预测时，MVSTGN仍然取得了更好的预测效果。MVSTGN优秀的预测性能并不意外，这是因为相比其它先进模型，MVSTGN的设计建立在对蜂窝流量时空特性的全面准确分析之上，并分别从多个时空视角全面捕捉蜂窝流量的时空相关性，实现了对蜂窝流量网络的完整建模。
表1
Figure BDA0003319282630000145
注：MVSTGN与对比模型针对SMS蜂窝流量的预测能力。评价指标采用了RMSE，MAE和R2。wlo表示“without”，w/表示“with"，“cross”表示跨域数据，“meta”表示元数据。表中数据表明MVSTGN达到了最优的预测效果。
表2
Figure BDA0003319282630000151
注：MVSTGN与对比模型针对Call蜂窝流量的预测能力。评价指标采用了RMSE，MAE和R2。wlo表示“without"，w/表示“with"，“cross”表示跨域数据，“meta”表示元数据。表中数据表明MVSTGN达到了最优的预测效果。
表3
Figure BDA0003319282630000152
注：MVSTGN与对比模型针对Internet蜂窝流量的预测能力。评价指标采用了RMSE，MAE和R2。wlo表示“without"，w/表示“with”，“cross”表示跨域数据，“meta”表示元数据。表中数据表明MVSTGN达到了最优的预测效果。
更进一步地，我们还进行了更广泛和有趣的比较，我们将最新的道路网络流量预测模型GMAN应用到蜂窝流量预测任务中。GMAN模型具有基于注意力的时空编码解码器结构(encoder-decoder)。针对道路网络流量，GMAN设计了时间和空间的注意力模块，在道路流量预测任务中取得了领先的效果。我们从公开资源库中获得GMAN的实现代码，并在和本实验相同配置下开展实验。GMAN在SMS流量预测任务中获得了结果RMSE:170.7145，MAE:112.5746。实验结果说明，在道路交通流量预测任务中取得领先效果的GMAN模型在蜂窝流量预测中表现不佳。这是因为与道路交通流量不同，蜂窝流量具有更复杂的动态时间相关性和不明确的空间相关性。例如，道路流量在时间上具有明显的迟滞现象，使得交通流量数据的时间依赖关系明显，同时道路因为存在连接关系，彼此的空间相关性更加明确。因此，GMAN无法在蜂窝流量预测任务中取得领先的效果，这进一步证明了建立在对蜂窝流量时空特性全面分析基础上的MVSTGN具有先进性。
如图9所示，本实施例提供一种蜂窝流量预测的方法，包括以下步骤：
S1、获取蜂窝流量数据；
S2、依次从全局空间视角、全局时间视角以及局部时空视角三个视角对所述蜂窝流量数据进行特征提取；
S3、根据提取的特征对蜂窝流量进行预测；
其中，在所述全局空间视角中，采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性；在所述全局时间视角中，采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性；在所述局部时空视角中，采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性。
本实施例提供一种蜂窝流量预测的系统，包括：
数据获取模块，用于获取蜂窝流量数据；
特征提取模块，用于依次从全局空间视角、全局时间视角以及局部时空视角三个视角对所述蜂窝流量数据进行特征提取；
流量预测模块，用于根据提取的特征对蜂窝流量进行预测；
其中，在所述全局空间视角中，采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性；在所述全局时间视角中，采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性；在所述局部时空视角中，采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性。
本实施例提供一种蜂窝流量预测的装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图9所示方法。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图9所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种蜂窝流量预测的方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种蜂窝流量预测的方法，其特征在于，包括以下步骤：
获取蜂窝流量数据；
依次从全局空间视角、全局时间视角以及局部时空视角三个视角对所述蜂窝流量数据进行特征提取；
根据提取的特征对蜂窝流量进行预测；
其中，在所述全局空间视角中，采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性；在所述全局时间视角中，采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性；在所述局部时空视角中，采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性。
2.根据权利要求1所述的一种蜂窝流量预测的方法，其特征在于，所述采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性，包括：
设计节点级空间注意力模块和趋势级空间注意力模块；
通过注意力机制，实现对蜂窝流量图
Figure FDA0003848080070000016
中每两点中每两点
Figure FDA0003848080070000017
之间的相关矩阵
Figure FDA0003848080070000018
赋值，以及完成每两个点之间的连接边缘的集合的加权；其中，所述相关矩阵
Figure FDA0003848080070000019
表示两点之间的特征相似性，衡量两个蜂窝流量单元之间的空间相关性；
蜂窝流量的特征通过两点之间的加权边传播和聚合，实现特征的更新；
对两种级别的特征进行加权后求和，实现对两种级别全局相关性的重要性评价，并做出选择性捕捉和融合两种级别的全局相关性；
其中，所述节点级空间注意力模块用于获取不同蜂窝单元在同一单个时刻的数据状态相似性，所述趋势级空间注意力模块用于获取不同蜂窝单元在同一连续时间段内的数据变化趋势相似性。
3.根据权利要求2所述的一种蜂窝流量预测的方法，其特征在于，所述节点级空间注意力模块获得的特征的表示公式为：
Figure FDA0003848080070000011
其中，
Figure FDA0003848080070000012
表示线性变换中的可学习矩阵；
Figure FDA0003848080070000013
和
Figure FDA0003848080070000014
表示线性变换中的可学习的偏置参数；
Figure FDA0003848080070000015
表示节点级的顶点特征；
所述趋势级空间注意力模块获得的特征的表示公式为：
Figure FDA0003848080070000021
其中，
Figure FDA0003848080070000022
Figure FDA0003848080070000023
表示所有顶点的趋势级特征的维度；τ＝P-1表示P-1个历史时刻。
4.根据权利要求1所述的一种蜂窝流量预测的方法，其特征在于，所述采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性，包括：
设计了全局时间注意力模块；
通过注意力机制，实现对蜂窝流量图
Figure FDA0003848080070000024
中同一点
Figure FDA0003848080070000025
的历史数据
Figure FDA0003848080070000026
之间的相关矩阵
Figure FDA0003848080070000027
的赋值，以及完成对同一点
Figure FDA0003848080070000028
不同历史时刻的数据之间的连接边缘集合
Figure FDA0003848080070000029
的加权；其中，相关矩阵
Figure FDA00038480800700000210
表示同一点不同历史时刻数据之间的特征相似性，衡量同一个蜂窝流量单元不同历史时刻数据之间的时间相关性；
蜂窝流量的特征通过两个历史时刻之间的加权边传播和聚合，实现特征的更新，完成同一点不同历史时刻之间的交互；
通过信息整合操作整合来自不同历史时刻的特征，实现对来自不同历史时刻特征的融合，并完成全局时间相关性的捕捉。
5.根据权利要求4所述的一种蜂窝流量预测的方法，其特征在于，采用以下公式嵌入全局时间相关性信息：
Figure FDA00038480800700000211
其中，
Figure FDA00038480800700000212
表示顶点vl在m时刻的特征，
Figure FDA00038480800700000213
表示正则化后的注意力权重，
Figure FDA00038480800700000214
表示可学习矩阵将
Figure FDA00038480800700000215
映射到高维空间s，Wfc∈RSd×D表示多头注意力操作后加入的可学习矩阵；最终嵌入全局时间相关性的P个时刻的顶点特征可以表示为
Figure FDA00038480800700000216
其中gt表示全局时间相关性，gs表示全局空间相关性。
6.根据权利要求1所述的一种蜂窝流量预测的方法，其特征在于，所述采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性，包括：设计密集连接卷积模块，所述密集连接卷积模块的输入为嵌入全局时空特性的蜂窝流量特征；
通过卷积核在蜂窝流量特征图上进行迭代的卷积操作，实现对局部特征的挖掘；
所述密集连接卷积模块的输出特征嵌入了蜂窝流量的多尺度局部空间聚集特性，使预测对不同蜂窝流量单元的局部空间依赖关系敏感；
其中，局部时空视角输出的特征用于进行蜂窝流量的预测。
7.根据权利要求6所述的一种蜂窝流量预测的方法，其特征在于，所述密集连接卷积模块中每个卷积层都与其它层连接，其中，第l个卷积层将所有前面卷积层的输出作为输入，表示为：
Figure FDA0003848080070000031
其中，f(·)表示模块中的一系列操作，包括批量归一化，ReLU激活函数和卷积操作，这些操作将按顺序被依次执行；
Figure FDA0003848080070000032
是对
Figure FDA0003848080070000033
进行维度变换操作后，由蜂窝流量网络图中所有顶点组成的特征图。
8.一种蜂窝流量预测的系统，其特征在于，包括：
数据获取模块，用于获取蜂窝流量数据；
特征提取模块，用于依次从全局空间视角、全局时间视角以及局部时空视角三个视角对所述蜂窝流量数据进行特征提取；
流量预测模块，用于根据提取的特征对蜂窝流量进行预测；
其中，在所述全局空间视角中，采用注意力机制获取不同蜂窝流量单元的节点级全局空间相关性和趋势级全局空间相关性，并融合两种级别的全局空间相关性；在所述全局时间视角中，采用注意力机制获取同一蜂窝流量单元在不同历史时刻数据的全局相关性；在所述局部时空视角中，采用卷积操作在全局时空相关性捕捉完成后，继续捕捉局部的时空相关性。
9.一种蜂窝流量预测的装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
CN202111241195.5A 2021-10-25 2021-10-25 一种蜂窝流量预测的方法、系统、装置及介质 Active CN114039871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111241195.5A CN114039871B (zh) 2021-10-25 2021-10-25 一种蜂窝流量预测的方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111241195.5A CN114039871B (zh) 2021-10-25 2021-10-25 一种蜂窝流量预测的方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN114039871A CN114039871A (zh) 2022-02-11
CN114039871B true CN114039871B (zh) 2022-11-29

Family

ID=80141871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111241195.5A Active CN114039871B (zh) 2021-10-25 2021-10-25 一种蜂窝流量预测的方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN114039871B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862010A (zh) * 2022-04-28 2022-08-05 京东城市(北京)数字科技有限公司 一种基于时空数据的流量确定方法、装置、设备和介质
CN115580547A (zh) * 2022-11-21 2023-01-06 中国科学技术大学 基于网络数据流间时空相关性的网站指纹识别方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776796A (zh) * 2018-06-26 2018-11-09 内江师范学院 一种基于全局时空注意力模型的动作识别方法
WO2020113886A1 (zh) * 2018-12-07 2020-06-11 中国科学院自动化研究所 基于时空频域混合学习的行为特征提取方法、系统、装置
CN112071065A (zh) * 2020-09-16 2020-12-11 山东理工大学 一种基于全局扩散卷积残差网络的交通流预测方法
CN113450568A (zh) * 2021-06-30 2021-09-28 兰州理工大学 一种基于时空注意力机制的卷积网络交通流预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532439B (zh) * 2020-11-24 2022-08-23 山东科技大学 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776796A (zh) * 2018-06-26 2018-11-09 内江师范学院 一种基于全局时空注意力模型的动作识别方法
WO2020113886A1 (zh) * 2018-12-07 2020-06-11 中国科学院自动化研究所 基于时空频域混合学习的行为特征提取方法、系统、装置
CN112071065A (zh) * 2020-09-16 2020-12-11 山东理工大学 一种基于全局扩散卷积残差网络的交通流预测方法
CN113450568A (zh) * 2021-06-30 2021-09-28 兰州理工大学 一种基于时空注意力机制的卷积网络交通流预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DeepSTD: Mining Spatio-Temporal Disturbances of Multiple Context Factors for Citywide Traffic Flow Prediction;Zheng Chuanpan等;《IEEE Transactions on Intelligent Transportation Systems》;20190809;第3744-3755页 *
基于时空多图卷积网络的交通站点流量预测;荣斌等;《计算机工程》;20200531(第05期);第26-33页 *

Also Published As

Publication number Publication date
CN114039871A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
Han et al. Dynamic and multi-faceted spatio-temporal deep learning for traffic speed forecasting
CN110263280B (zh) 一种基于多视图的动态链路预测深度模型及应用
Li et al. Autost: Efficient neural architecture search for spatio-temporal prediction
CN114039871B (zh) 一种蜂窝流量预测的方法、系统、装置及介质
CN112714032B (zh) 无线网络协议知识图谱构建分析方法、系统、设备及介质
WO2023280065A1 (zh) 一种面向跨模态通信系统的图像重建方法及装置
CN113905391A (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN110428614B (zh) 一种基于非负张量分解的交通拥堵热度时空预测方法
CN112863180A (zh) 交通速度预测方法、装置、电子设备及计算机可读介质
CN113868474A (zh) 一种基于自注意力机制和动态图的信息级联预测方法
CN113191530B (zh) 一种具有隐私保护的区块链节点可靠性预测方法及系统
CN114565053A (zh) 基于特征融合的深层异质图嵌入模型
CN114202120A (zh) 一种针对多源异构数据的城市交通行程时间预测方法
Xia et al. SW-BiLSTM: a Spark-based weighted BiLSTM model for traffic flow forecasting
CN115964568A (zh) 一种基于边缘缓存的个性化推荐方法
Wang et al. TF-SOD: a novel transformer framework for salient object detection
Qi et al. An efficient pruning scheme of deep neural networks for Internet of Things applications
CN115115647A (zh) 一种融合注意力机制和残差aspp的遥感影像语义分割方法
Gao et al. A deep learning framework with spatial-temporal attention mechanism for cellular traffic prediction
CN116662656A (zh) 一种基于协同增强和图注意力神经网络的电影推荐方法
CN117116048A (zh) 基于知识表示模型和图神经网络的知识驱动交通预测方法
CN114758285B (zh) 基于锚自由和长时注意力感知的视频交互动作检测方法
CN112581177B (zh) 结合自动特征工程及残差神经网络的营销预测方法
CN115861664A (zh) 基于局部特征融合与自注意力机制的特征匹配方法及系统
CN115034478A (zh) 一种基于领域自适应与知识迁移的交通流量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant