CN112560946B - 一种线上线下关联推理的边缘服务器热点预测方法 - Google Patents

一种线上线下关联推理的边缘服务器热点预测方法 Download PDF

Info

Publication number
CN112560946B
CN112560946B CN202011474802.8A CN202011474802A CN112560946B CN 112560946 B CN112560946 B CN 112560946B CN 202011474802 A CN202011474802 A CN 202011474802A CN 112560946 B CN112560946 B CN 112560946B
Authority
CN
China
Prior art keywords
offline
online
vector
edge server
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011474802.8A
Other languages
English (en)
Other versions
CN112560946A (zh
Inventor
曾园园
周蜀杰
江昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011474802.8A priority Critical patent/CN112560946B/zh
Publication of CN112560946A publication Critical patent/CN112560946A/zh
Application granted granted Critical
Publication of CN112560946B publication Critical patent/CN112560946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Abstract

本发明提供了一种线上线下关联推理的边缘服务器热点预测方法，在边缘计算的背景下、通过城市各主要区域的线下人口流动量以及线上访问流量，采用卷积神经网络和长短期记忆网络提取相关特征，并由基于图注意力机制进行线上特征和线下特征的关联推理，同时综合城市主要区域边缘服务器的图嵌入表达，预测各区域边缘服务器的热点程度。本发明能根据用户活动的线上线下信息，很好的预测城市区域的边缘服务器服务热点，从而为调配边缘服务器资源提供依据。

Description

一种线上线下关联推理的边缘服务器热点预测方法
技术领域
本发明涉及边缘计算应用相关的边缘服务器热点预测技术、以及城市大数据分析、深度神经网络技术领域，具体涉及一种线上线下关联推理的边缘服务器热点预测方法。
背景技术
近年来，随着物联网应用和5G移动通信技术的发展，计算架构模型的趋势开始从集中式的云计算向边缘计算发展。边缘计算的特征在于将移动计算、网络控制和存储等服务从云推动到更接近移动设备的网络边缘，从而使得移动设备的资源增强和任务紧急的应用成为可能。边缘计算计算架构有效填补了设备和后端计算架构之间的延时空缺，形成了“设备-边缘服务器-云”的层次架构。
边缘服务器提供边缘计算架构模型下的边缘弹性基础设施服务，包括：有效分发各类型计算、缓存任务到网络边缘节点进行处理，提供边缘计算和缓存等服务功能，从而降低任务响应时延、减轻核心网络压力。现有边缘计算框架中的边缘服务器主要为通信网络中的专用固定设备，如：基站和无线接入点等，并由专门机构如：电信机构、边缘服务供应商、企业等提供统一规划部署。由于部署和维护成本代价等问题，专门部署的边缘服务器数量通常有限、且不支持多次重复部署和移动性。因此，通常并不能很好的适应动态变化的用户需求，例如：因大型集会活动等所导致的特定时间区域的、即时的高需求任务。当前随着城市规模的实时数据处理、站点加速、点播、直播、虚拟现实等一系列应用的广泛普及，亟待有效预测边缘服务器的热点，从而为解决因分布、带宽、服务器性能带来的访问延迟问题提供解决方案。
目前尚缺乏边缘计算框架下边缘服务器热点预测技术和方法。
发明内容
本发明提出一种线上线下关联推理的边缘服务器热点预测方法，用于预测边缘计算框架下、边缘服务器因服务能力不满足动态变化的用户需求，而导致局部区域出现的服务“热点”，从而为进一步调整和部署移动边缘服务器提供依据。
为了解决上述技术问题，本发明提供了一种线上线下关联推理的边缘服务器热点预测方法，包括：
S1：构建基于卷积神经网络和长短期记忆网络的线下人群移动量分布特征提取模块，从人群移动的空间和时间两个维度进行处理，得到线下人群移动特征；
S2：构建基于卷积神经网络和长短期记忆网络的线上访问流量特征提取模块，从用户线上访问的空间相关性和时间相关性进行处理，得到线上访问流量特征；
S3：构建线上线下关联推理模块，采用图注意力机制融合线下人群移动特征和线上访问流量特征，通过一个k层前馈神经网络进行交互关联，形成线上线下特征的关联表达向量；
S4：采用分布式的多层图神经网络，构建城市主要区域边缘服务器的图嵌入表达向量；
S5：将S3得到的线上线下特征关联表达向量和S4的边缘服务器的图嵌入表达向量进行匹配。
S6：匹配结果经一个softmax多分类器，得到各边缘服务器的热点程度，获取前K个最高热点程度的边缘服务器，即为预测的服务“热点”。
在一种实施方式中，S1中捕获的线下人群移动特征为向量形式，通过下述方式得到：
根据地理位置对城市区域进行网格划分，具体划分粒度由预测所需精度和应用需求决定。统计单位时间间隔下各网格区域内移动人数，构建二维人群移动量矩阵，连续多个时间间隔上的人群移动矩阵形成时间序列。
在一种实施方式中，线下特征提取模块是基于卷积神经网络和长短期记忆网络，S1具体包括：
将连续多个时间间隔上的人群移动矩阵作为输入，针对各单位时间间隔的人群移动矩阵通过卷积神经网络学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v1,...,vn}，再将该特征向量序列通过长短期记忆网络学习时间上的依赖关系，输出线下特征序列{u1,...un}。
类似的，在一种实施方式中，S2中捕获的线上访问量特征为向量形式，通过统计单位时间间隔下各网格区域内边缘服务器的线上总访问流量，构建二维线上访问流量矩阵，连续多个时间间隔上的线上访问流量矩阵形成时间序列。线上特征提取模块是基于卷积神经网络和长短期记忆网络，S2具体包括：
将连续多个时间间隔上的线上访问流量矩阵作为输入，针对各单位时间间隔的线上访问流量矩阵通过卷积神经网络学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v'1,...,v'n}，再将该特征向量序列通过长短期记忆网络学习时间上的依赖关系，输出线上特征序列{u'1,...u'n}。
在一种实施方式中，步骤S3包括具体包括：
S3.1：构建一个k层的前馈神经网络；
S3.2：将S1和S2得到的线下特征向量和线上特征向量平均后进行点乘，输入到k层前馈神经网络，具体如下，
Figure BDA0002834939380000031
m(0)＝u(0)⊙u'(0)
其中，线下特征平均化向量标记为u(0),线上特征平均化向量输入标记为u'(0),分别由n个连续时间间隔的线下和线上特征向量求平均值得到。m(0)表示输入层上的线上线下交互的记忆向量。
S3.3：线上线下交互的记忆初始向量通过k层前馈神经网络进行了k次交互关联，在每一层网络的交互过程中，对线上特征向量和线下特征向量分别赋予不同的关注程度，该关注程度由基于注意力机制的注意力系数计算方式得到，经过k层前馈神经网络交互后，使用tanh函数激活并作点乘，然后采用softmax做归一化，分别得到基于注意力的线下关注向量和线上关注向量，具体如下，
Figure BDA0002834939380000032
Figure BDA0002834939380000033
Figure BDA0002834939380000034
Figure BDA0002834939380000035
Figure BDA0002834939380000036
Figure BDA0002834939380000037
其中，k代表当前前馈神经网络的层数，
Figure BDA0002834939380000038
为训练得到的前馈神经网络权重参数，hu,i (k),hu',i (k)为前馈神经网络各层上的隐藏层向量，其中i为当前向量在向量序列中的序号，其取值范围为1到n个时间间隔。
Figure BDA0002834939380000039
为注意力系数即：特征的关注程度。u(k),u'(k)为根据注意力系数加权后计算得到的该层网络上的线下和线上特征关注向量。
在此基础上，各层前馈神经网络得到的该层网络上的线下和线上特征关注向量进行合并，得到该层线上线下关联向量m(k)。具体如下,
m(k)＝m(k-1)+u(k)⊙u'(k)
其中，第k层得到的线下关注向量为u(k)，线上关注向量为u'(k)。m(k-1)为上一层网络得到的线上线下关联向量，特殊的，m(0)为输入层上的线上线下交互的记忆向量。
在一种实施方式中，步骤S4包括具体包括：
S4.1：提取需要监测的城市区域地形图和获取该区域的边缘服务器信息，根据边缘服务器定位，构建边缘服务器的邻接关系，据此形成图结构，其中图节点为边缘服务器，边表示边缘服务器的邻接关系。获取各边缘服务器的上行和下行流量，构建图节点的初始向量。
S4.2：将图节点初始向量输入到一个多层全连接网络，并采用ReLU函数激活并进行局部聚合池化，得到聚合邻居向量he,具体如下，
he←POOL({ReLU(Qxe'+q)|e'∈Neighbor(e)}
其中e为当前边缘服务器，e'为其邻接的边缘服务器，xe'为邻居边缘服务器的节点初始向量。POOL为池化操作函数。Q和q为全连接网络的权重和偏置，通过训练得到。
S4.3：将聚合邻居向量与当前边缘服务器嵌入向量进行连接，并输入一个全连接网络进行训练，由ReLU函数激活，得到嵌入向量，具体如下，
ze←ReLU(W·CONCAT(xe,he)+b)
其中，he为聚合邻居向量，xe为当前边缘服务器嵌入向量，CONCAT为向量连接操作函数，W和b为全连接网络的权重和偏置，通过训练得到。
S4.4：进行基于L2范式的规划化操作，得到规范化的嵌入向量ze'具体如下，
ze'←ze/||ze||2
在一种实施方式中，步骤S5包括具体包括：
根据前述S3得到的线上线下特征关联表达向量m(2)和S4的边缘服务器的图嵌入表达向量ze，通过计算两个向量的内积，从而完成匹配。
在一种实施方式中，步骤S6包括具体包括：
将匹配结果经一个softmax多分类器，输出得到各边缘服务器的热点程度Phot，具体如下，
Figure BDA0002834939380000041
其中，exp为指数函数，m(k)表示线上线下关联表达向量，ze表示边缘服务器的图嵌入表达向量，e'为其邻接的边缘服务器，S为当前边缘服务器的邻居边缘服务器集合。
获取前K个最高热点程度的边缘服务器，即为预测的下一时间间隔的服务“热点”。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种线上线下关联推理的边缘服务器热点预测方法，首先构建预测模型的各个模块，然后对预测模型进行训练；再利用训练好的边缘服务器热点预测模型对城市区域的服务热点进行预测。预测模型主要包括基于卷积神经网络和长短期记忆网络的线上线下特征提取模块，线上线下关联推理模块，边缘服务器图嵌入表达模块和热点预测模块。城市区域的线下人群流动量和线上访问流量具有空间和时间二个维度的特征，特征提取模块采用卷积神经网络提取空间上的相关性、采用长短期记忆网络提取时间上的依赖关系，从而有效的进行线上和线下的特征抽取。线上线下关联推理模块有效融合线下人群流动特征和线上访问特征，采用注意力机制分别对线下和线上特征在交互过程中赋予不同的关注程度，通过一个2层前馈神经网络不断迭代交互，最终形成线上线下关联表达向量。边缘服务器嵌入表达模块采用分布式的多层图神经网络，通过对边缘服务器局部邻居进行归纳学习，不断迭代和小批量训练，从而实现对城市区域大规模的、边缘服务器的图结构的嵌入表达。热点预测模块通过将线上线下关联特征和边缘服务器的图嵌入表达匹配后，经一个softmax多分类器进行热点程度输出，从而预测各边缘服务器热点程度，并获取前K个最大热度的边缘服务器，即：服务热点。
该技术能根据用户活动的线上线下信息，很好的预测城市区域的边缘服务器服务热点，从而为调配边缘服务器资源提供依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种线上线下关联推理的边缘服务器热点预测方法的流程框图；
图2为本发明实施例中线上线下特征提取流程框图；
图3为本发明实施例中线上线下关联推理流程框图。
具体实施方式
本发明实施例提供了一种线上线下关联推理的边缘服务器热点预测算法，在边缘计算的背景下，根据城市各主要区域的线下人口流动量以及线上访问流量，采用卷积神经网络和长短期记忆网络提取相关特征，并由基于图注意力机制的方法进行线上特征和线下特征的关联推理，同时综合城市主要区域边缘服务器的嵌入表达，预测各区域边缘服务器的热点程度。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种线上线下关联推理的边缘服务器热点预测方法，包括：
S1：构建基于卷积神经网络和长短期记忆网络的线下人群移动量分布特征提取模块，从人群移动的空间和时间两个维度进行处理，得到线下人群移动特征；
S2：构建基于卷积神经网络和长短期记忆网络的线上访问流量特征提取模块，从用户线上访问的空间相关性和时间相关性进行处理，得到线上访问流量特征；
S3：构建线上线下关联推理模块，采用图注意力机制融合线下人群移动特征和线上访问流量特征，通过一个两层前馈神经网络进行交互关联，形成线上线下特征的关联表达向量；
S4：采用分布式的多层图神经网络，构建城市主要区域边缘服务器的图嵌入表达向量；
S5：将S3得到的线上线下特征关联表达向量和S4的边缘服务器的图嵌入表达向量进行匹配。
S6：匹配结果经一个softmax多分类器，得到各边缘服务器的热点程度，获取前K个最高热点程度的边缘服务器，即为预测的服务“热点”。
具体来说，S1可以通过下述方式来实现：根据地理位置和应用需求对城市区域进行符合粒度要求的网格划分，将时间按照一定时间间隔进行划分，统计单位时间间隔、各网格区域的移动人数具体包括进入和离开人数之和，据此构建二维人群移动量矩阵。矩阵的行和列为网格编号，矩阵元素为对应网格区域的人群移动量，连续多个时间间隔上的人群移动矩阵形成时间序列张量。将连续多个时间间隔的人群移动矩阵序列作为输入，针对各单位时间间隔的人群移动矩阵通过卷积神经网络学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v1,...,vn}，再将该特征向量序列通过长短期记忆网络学习时间上的依赖关系，输出线下特征序列{u1,...un}。
类似的，S2可以通过下述方式来实现：统计单位时间间隔、各网格区域的线上访问流量，据此构建二维线上访问流量矩阵，矩阵的行和列为网格编号，矩阵元素为对应网格区域的线上访问流量，连续多个时间间隔上的线上访问流量矩阵形成时间序列张量。将连续多个时间间隔的线上访问流量矩阵序列作为输入，针对各单位时间间隔的线上访问流量矩阵通过卷积神经网络学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v'1,...,v'n}，再将该特征向量序列通过长短期记忆网络学习时间上的依赖关系，输出线上特征序列{u'1,...u'n}。
S3构建一个2层的前馈神经网络，将线下特征向量和线上特征向量平均后进行点乘作为网络输入。通过2层前馈神经网络进行了2次交互关联，在每一层网络的交互过程中，对线上特征向量和线下特征向量分别赋予不同的关注程度，该关注程度由基于注意力机制的注意力系数计算方式得到，经过前馈神经网络交互后进行激活和归一化，分别得到第k层上基于注意力的n维线下关注向量u(k)和n维线上关注向量u'(k)，合并后得到线上线下关联向量m(k)，经过2层前馈神经网络最终输出线上线下关联向量m(2)。
S4可以通过下述方式来实现：提取需要监测的城市区域地形图和获取该区域的边缘服务器信息，根据边缘服务器定位，构建边缘服务器的邻接关系，据此形成图结构G(V,E)，其中图节点集合V为边缘服务器集合，边集合E则表示边缘服务器的邻接关系，如两个边缘服务器在位置上直接可达，则具有一条边。获取各边缘服务器的上行和下行流量，构建图节点的初始向量xe。将图节点的初始向量输入到一个全连接网络，采用ReLU函数激活并进行局部聚合池化，得到聚合邻居向量he,将聚合邻居向量he与当前边缘服务器嵌入向量xe进行连接，并输入一个全连接网络进行训练，由ReLU函数激活，采用基于L2范式的规划化操作，得到规范化的嵌入向量ze。
S5可以通过下述方式来实现：根据得到的线上线下特征关联表达向量m(2)和S4的边缘服务器的图嵌入表达向量ze，计算两个向量的内积，得到其相似度m(2)ze，从而完成匹配。
S6可以通过下述方式来实现：将匹配结果经一个softmax多分类器，输出得到各边缘服务器的热点程度，获取前K个最高热点程度的边缘服务器，即为：预测的下一时间间隔的服务“热点”。
本发明主要技术特点包括：1)设计了线上线下特征提取模块，如图1中所示的线上线下特征提取模块，捕捉线上访问流量和线下人群移动量在空间和时间两个维度上的特征，用于进一步帮助预测服务热点。2)设计了线上线下关联模块，如图1所示的线上线下关联推理模块。通过将线上和线下特征采用基于注意力机制的交互，从而进行特征的关联表达，用于进一步帮助预测服务热点。3)设计了边缘服务器图嵌入表达模块，如图1所示的边缘服务器图嵌入表达模块。对城市区域的边缘服务器及其邻接关系建模为图，并采用多层图神经网络对其进行嵌入表达。4)设计了服务热点预测模块，如图1所示的热点预测模块。对线上线下关联表达和边缘服务器图嵌入表达进行匹配和分类，得到对于各边缘服务器下一时间间隔的热点程度预测结果。
在一种实施方式中，S1中捕获的线下人群移动特征为向量形式，通过下述方式得到：
根据地理位置对城市区域进行网格划分，具体划分粒度由预测所需精度和应用需求决定。统计单位时间间隔下各网格区域内移动人数，构建二维人群移动量矩阵，连续多个时间间隔上的人群移动矩阵形成时间序列张量。
具体实施过程中，城市区域根据地理位置和应用相关的预测景点划分成多个网格子区域，各网格子区域采用类似坐标的方式进行标记，如：(i,j)。将时间按照一定时间间隔进行划分，具体划分的时间间隔长度由应用需求决定，如：本实施例中取每5分钟作为一个单位时间间隔。统计单位时间间隔、各网格区域的移动人数，具体包括：该时段、该区域进入和离开的人数之和。据此构建二维人群移动量矩阵，矩阵的行和列对应网格编号(i,j)，矩阵元素为对应网格区域的移动人数，连续多个时间间隔上的人群移动矩阵形成时间序列张量。
在一种实施方式中，线下特征提取模块是基于卷积神经网络和长短期记忆网络，S1具体包括：
将连续多个时间间隔的人群移动矩阵序列作为输入，针对各单位时间间隔的人群移动矩阵通过卷积神经网络(CNN)学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v1,...,vn}，再将该特征向量序列通过长短期记忆网络(LSTM)学习时间上的依赖关系，输出线下特征序列{u1,...un}。
请参见图2中本发明实施例中线下特征提取模块的流程。
类似的，在一种实施方式中，S2中捕获的线上访问流量特征为向量形式，通过统计单位时间间隔下各网格区域内边缘服务器的线上总访问流量，构建二维线上访问流量矩阵，连续多个时间间隔上的线上访问流量矩阵形成时间序列张量。线上特征提取模块是基于卷积神经网络和长短期记忆网络，S2具体包括：
将连续多个时间间隔上的线上访问流量矩阵序列作为输入，针对各单位时间间隔的线上访问流量矩阵通过卷积神经网络(CNN)学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v'1,...,v'n}，再将该特征向量序列通过长短期记忆网络(LSTM)学习时间上的依赖关系，输出线上特征序列{u'1,...u'n}。
请参见图2中本发明实施例中线上特征提取模块的流程。
在一种实施方式中，步骤S3进行线上线下关联推理，具体包括：
S3.1：构建一个2层的前馈神经网络，如图3所示。
S3.2：将S1和S2得到的线下特征向量和线上特征向量平均后进行点乘，输入到2层前馈神经网络，具体如下，
Figure BDA0002834939380000091
m(0)＝u(0)⊙u'(0)
其中，线下特征平均化向量标记为u(0),线上特征平均化向量输入标记为u'(0),分别由n个连续时间间隔的线下和线上特征向量求平均值得到。m(0)表示输入层上的线上线下交互的记忆向量。
如图3中所示，m(0)为网络系统的输入，即：初始的交互向量。
S3.3：线上线下交互的记忆初始向量通过2层前馈神经网络进行了2次交互关联，在每一层网络的交互过程中，对线上特征向量和线下特征向量分别赋予不同的关注程度，该关注程度由基于注意力机制的注意力系数计算方式得到，经过2层前馈神经网络交互后，使用tanh函数激活并作点乘，然后采用softmax做归一化，分别得到基于注意力的n维线下关注向量u(k)和n维线上关注向量u'(k)，具体如下，
Figure BDA0002834939380000092
Figure BDA0002834939380000093
Figure BDA0002834939380000094
Figure BDA0002834939380000095
Figure BDA0002834939380000096
Figure BDA0002834939380000097
其中，k代表当前前馈神经网络的层数，
Figure BDA0002834939380000098
为训练得到的前馈神经网络权重参数，hu,i (k),hu',i (k)为前馈神经网络各层上的隐藏层向量，其中i为当前向量在向量序列中的序号，其取值范围为1到n个时间间隔。
Figure BDA0002834939380000099
为注意力系数即：特征的关注程度。u(k),u'(k)为根据注意力系数加权后计算得到的该层网络上的线下和线上特征关注向量。
在此基础上，各层前馈神经网络得到的该层网络上的线下和线上特征关注向量进行合并，得到该层线上线下关联向量m(k)，经过2层前馈神经网络最终输出线上线下关联向量m(2)。
具体如下,
m(k)＝m(k-1)+u(k)⊙u'(k)
其中，第k层得到的线下关注向量为u(k)，线上关注向量为u'(k)。m(k-1)为上一层网络得到的线上线下关联向量，特殊的，m(0)为输入层上的线上线下交互的记忆向量。
如图3所示，m(0)为网络系统的输入，本实施例经过第一层前馈神经网络后，线上和线下特征通过交互得到m(1)，上述交互过程中线上和线下特征具有不同的注意力系数(本专利中也称作关注程度)，从而表达在交互过程中线上线下特征的关注的不同权重。本实施例经过第二层前馈神经网络后，线上和线下特征通过交互得到m(2)，上述交互过程中线上和线下特征也具有不同的注意力系数(本专利中也称作关注程度)。这里的注意力系数通过反向传播和梯度下降法训练2层的前馈神经网络，获得优化的网络参数，据此计算注意力系数和线上线下交互向量。
在一种实施方式中，步骤S4包括具体包括：
S4.1：提取需要监测的城市区域地形图和获取该区域的边缘服务器信息，根据边缘服务器定位，构建边缘服务器的邻接关系，据此形成图结构G(V,E)，其中图节点集合V为边缘服务器集合，边集合表示边缘服务器的邻接关系，即：如果地理位置上两个边缘服务器可达即存在一条边。获取各边缘服务器的上行流量upflow和下行流量downflow，构建边缘节点e的初始向量，本实施例初始向量为：xe(upflow,downflow)。
S4.2：将图节点初始向量xe输入到一个多层全连接网络，采用ReLU函数激活并进行局部聚合池化，得到聚合邻居向量he,具体如下，
he←POOL({ReLU(Qxe'+q)|e'∈Neighbor(e)}
其中e为当前边缘服务器，e'为其邻接的边缘服务器，xe'为邻居边缘服务器的节点初始向量。POOL为池化操作函数。Q和q为全连接网络的权重和偏置，通过训练得到。
本实施例中选用了一个2层全连接网络，得到聚合2跳范围内的邻居向量he,其中e'为当前2跳范围的邻居边缘服务器。
S4.3：将聚合邻居向量he与当前边缘服务器嵌入向量xe进行向量的连接，并输入一个全连接网络进行训练，由ReLU函数激活，得到嵌入向量，具体如下，
ze←ReLU(W·CONCAT(xe,he)+b)
其中，CONCAT为向量连接操作函数，W和b为全连接网络的权重和偏置，通过不断迭代训练得到。
S4.4：进行基于L2范式的规划化操作，得到规范化的嵌入向量ze'具体如下，
ze'←ze/||ze||2
具体来说，在一种实施方式中，在构建的图结构基础上，采用全连接的多层神经网络进行不断迭代和训练，采用反向传播和梯度下降训练得到优化的网络参数，据此得到各边缘节点xe的图嵌入向量表达ze。
在一种实施方式中，步骤S5包括具体包括：
根据前述S3得到的线上线下特征关联表达向量m(2)和S4的边缘服务器的图嵌入表达向量ze，通过计算两个向量的内积m(2)ze，其内积的结果表示两个向量的相似度，从而完成匹配。
在一种实施方式中，步骤S6包括具体包括：
将匹配结果经一个softmax多分类器，输出得到各边缘服务器的热点程度(即:概率)向量Phot，具体如下，
Figure BDA0002834939380000111
其中，exp为指数函数，e'为各邻居边缘服务器，S为当前边缘服务器的邻居边缘服务器集合。
获取前K个最高热点程度的边缘服务器，例如：前5个最高热点程度的边缘服务器，即为预测的下一时间间隔的服务“热点”。
本发明提供的方法具有如下优点或者有益技术效果：
本发明提出了一种线上线下关联推理的边缘服务器热点预测方法，考虑边缘计算框架的应用背景，通过城市各主要区域的线下人口流动量以及线上访问流量，采用卷积神经网络和长短期记忆网络提取相关特征，并由基于图注意力机制的方法进行线上特征和线下特征的关联推理，同时综合城市主要区域边缘服务器的嵌入表达，预测下一时间间隔各区域边缘服务器的热点程度该方法针对边缘计算框架下、边缘服务器因服务能力不满足动态变化的用户需求，而导致局部区域出现的服务“热点”，从而为进一步调整和部署移动边缘服务器提供依据。
本发明中所描述的具体实施的例子仅仅是对本发明的方法和步骤的举例说明。本发明所述技术领域的技术人员可以对所描述的具体实施步骤做相应的修改或补充或变形(即采用类似的替代方式)，但是不会背离本发明的原理和实质或者超越所附权利要求书所定义的范围。本发明的范围仅由所附权利要求书限定。

Claims (7)

1.一种线上线下关联推理的边缘服务器热点预测方法，其特征在于，包括如下步骤：
步骤S1：构建基于卷积神经网络和长短期记忆网络的线下人群移动量分布特征提取模块，从人群移动的空间和时间两个维度进行处理，得到线下人群移动特征；
步骤S2：构建基于卷积神经网络和长短期记忆网络的线上访问流量特征提取模块，从用户线上访问的空间相关性和时间相关性进行处理，得到线上访问流量特征；
步骤S3：构建线上线下关联推理模块，采用图注意力机制融合线下人群移动特征和线上访问流量特征，通过一个k层前馈神经网络进行交互关联，形成线上线下特征的关联表达向量；
步骤S4：采用分布式的多层图神经网络，构建城市主要区域边缘服务器的图嵌入表达向量；
步骤S5：将步骤S3得到的线上线下特征关联表达向量和步骤S4的边缘服务器的图嵌入表达向量进行匹配；
步骤S6：匹配结果经一个softmax多分类器，得到各边缘服务器的热点程度，获取前K个最高热点程度的边缘服务器，即为预测的服务“热点”。
2.如权利要求1所述的一种线上线下关联推理的边缘服务器热点预测方法，其特征在于：步骤S1的具体实现方式如下；
根据地理位置和应用需求对城市区域进行符合粒度要求的网格划分，将时间按照一定时间间隔进行划分，统计单位时间间隔、各网格区域的移动人数具体包括进入和离开人数之和，据此构建二维人群移动量矩阵；矩阵的行和列为网格编号，矩阵元素为对应网格区域的人群移动量，连续多个时间间隔上的人群移动矩阵形成时间序列张量；将连续多个时间间隔的人群移动矩阵序列作为输入，针对各单位时间间隔的人群移动矩阵通过卷积神经网络学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v1,...,vn}，再将该特征向量序列通过长短期记忆网络学习时间上的依赖关系，输出线下特征序列{u1,...un}。
3.如权利要求1所述的一种线上线下关联推理的边缘服务器热点预测方法，其特征在于：步骤S2的具体实现方式如下；
统计单位时间间隔、各网格区域的线上访问流量，据此构建二维线上访问流量矩阵，矩阵的行和列为网格编号，矩阵元素为对应网格区域的线上访问流量，连续多个时间间隔上的线上访问流量矩阵形成时间序列张量；将连续多个时间间隔的线上访问流量矩阵序列作为输入，针对各单位时间间隔的线上访问流量矩阵通过卷积神经网络学习空间依赖关系、并输出该时间间隔的特征向量，从而形成连续n个时间间隔上的特征向量，标记为：{v'1,...,v'n}，再将该特征向量序列通过长短期记忆网络学习时间上的依赖关系，输出线上特征序列{u'1,...u'n}。
4.如权利要求1所述的一种线上线下关联推理的边缘服务器热点预测方法，其特征在于：步骤S3的具体实现方式如下；
S3.1：构建一个k层的前馈神经网络；
S3.2：将步骤S1和步骤S2得到的线下特征向量和线上特征向量平均后进行点乘，输入到k层前馈神经网络，具体如下，
Figure FDA0003549892020000021
m(0)＝u(0)⊙u'(0)
其中，线下特征序列{u1,...un}，线上特征序列{u'1,...u'n}，线下特征平均化向量标记为u(0)，线上特征平均化向量输入标记为u'(0)，分别由n个连续时间间隔的线下和线上特征向量求平均值得到，m(0)表示输入层上的线上线下交互的记忆向量；
S3.3：线上线下交互的记忆初始向量通过k层前馈神经网络进行了k次交互关联，在每一层网络的交互过程中，对线上特征向量和线下特征向量分别赋予不同的关注程度，该关注程度由基于注意力机制的注意力系数计算方式得到，经过k层前馈神经网络交互后，使用tanh函数激活并作点乘，然后采用softmax做归一化，分别得到基于注意力的n维线下关注向量u(k)和n维线上关注向量u'(k)，具体如下，
Figure FDA0003549892020000022
Figure FDA0003549892020000023
Figure FDA0003549892020000024
Figure FDA0003549892020000025
Figure FDA0003549892020000026
Figure FDA0003549892020000027
其中，k代表当前前馈神经网络的层数，
Figure FDA0003549892020000028
为训练得到的前馈神经网络权重参数，hu,i (k),hu',i (k)为前馈神经网络各层上的隐藏层向量，其中i为当前向量在向量序列中的序号，其取值范围为1到n个时间间隔；
Figure FDA0003549892020000031
为注意力系数即：特征的关注程度；u(k),u'(k)为根据注意力系数加权后计算得到的该层网络上的线下和线上特征关注向量；
各层前馈神经网络得到的该层网络上的线下和线上特征关注向量进行合并，得到该层线上线下关联向量m(k)；具体如下：
m(k)＝m(k-1)+u(k)⊙u'(k)
其中，第k层得到的线下关注向量为u(k)，线上关注向量为u'(k)，m(k-1)为上一层网络得到的线上线下关联向量。
5.如权利要求1所述的一种线上线下关联推理的边缘服务器热点预测方法，其特征在于：步骤S4的具体实现方式如下；
S4.1：提取需要监测的城市区域地形图和获取该区域的边缘服务器信息，根据边缘服务器定位，构建边缘服务器的邻接关系，据此形成图结构，其中图节点为边缘服务器，边表示边缘服务器的邻接关系；获取各边缘服务器的上行和下行流量，构建图节点的初始向量；
S4.2：将图节点初始向量输入到一个多层全连接网络，并采用ReLU函数激活并进行局部聚合池化，得到聚合邻居向量he；
S4.3：将聚合邻居向量he与当前边缘服务器嵌入向量xe进行连接，并输入一个多层全连接网络进行训练，由ReLU函数激活，得到嵌入向量，具体如下，
ze←ReLU(W·CONCAT(xe,he)+b)
其中，CONCAT为向量连接操作函数，W和b为全连接网络的权重和偏置，通过训练得到；
S4.4：进行基于L2范式的规划化操作，得到规范化的嵌入向量ze'具体如下，
ze'←ze/||ze||2。
6.如权利要求1所述的一种线上线下关联推理的边缘服务器热点预测方法，其特征在于：步骤S5的具体实现方式如下；
根据得到的线上线下特征关联表达向量和边缘服务器的图嵌入表达向量，通过计算两个向量的内积，从而完成匹配。
7.如权利要求1所述的一种线上线下关联推理的边缘服务器热点预测方法，其特征在于：步骤S6的具体实现方式如下；
将匹配结果经一个softmax多分类器，输出得到各边缘服务器的热点程度Phot，获取前K个最高热点程度的边缘服务器，即为预测的下一时间间隔的服务“热点”，具体如下，
Figure FDA0003549892020000041
其中，exp为指数函数，m(k)表示线上线下关联表达向量，ze表示边缘服务器的图嵌入表达向量，e'为其邻接的边缘服务器，S为当前边缘服务器的邻居边缘服务器集合。
CN202011474802.8A 2020-12-14 2020-12-14 一种线上线下关联推理的边缘服务器热点预测方法 Active CN112560946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011474802.8A CN112560946B (zh) 2020-12-14 2020-12-14 一种线上线下关联推理的边缘服务器热点预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011474802.8A CN112560946B (zh) 2020-12-14 2020-12-14 一种线上线下关联推理的边缘服务器热点预测方法

Publications (2)

Publication Number Publication Date
CN112560946A CN112560946A (zh) 2021-03-26
CN112560946B true CN112560946B (zh) 2022-04-29

Family

ID=75063465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011474802.8A Active CN112560946B (zh) 2020-12-14 2020-12-14 一种线上线下关联推理的边缘服务器热点预测方法

Country Status (1)

Country Link
CN (1) CN112560946B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996616B1 (en) * 2000-04-17 2006-02-07 Akamai Technologies, Inc. HTML delivery from edge-of-network servers in a content delivery network (CDN)
CN105407004A (zh) * 2015-12-08 2016-03-16 清华大学深圳研究生院 基于边缘无线热点进行内容分发的方法及装置
CN109040298A (zh) * 2018-08-31 2018-12-18 中国科学院计算机网络信息中心 基于边缘计算技术的数据处理方法及装置
CN110569233A (zh) * 2019-06-30 2019-12-13 华为技术有限公司 一种热点数据的管理方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996616B1 (en) * 2000-04-17 2006-02-07 Akamai Technologies, Inc. HTML delivery from edge-of-network servers in a content delivery network (CDN)
CN105407004A (zh) * 2015-12-08 2016-03-16 清华大学深圳研究生院 基于边缘无线热点进行内容分发的方法及装置
CN109040298A (zh) * 2018-08-31 2018-12-18 中国科学院计算机网络信息中心 基于边缘计算技术的数据处理方法及装置
CN110569233A (zh) * 2019-06-30 2019-12-13 华为技术有限公司 一种热点数据的管理方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Intelligent task prediction and computation offloading based on mobile-edge cloud computing》;YimingMiao等;《Future Generation Computer Systems》;20190924;全文 *
《移动性感知的边缘服务迁移策略》;吴大鹏 等;《通信学报》;20200414;全文 *

Also Published As

Publication number Publication date
CN112560946A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
He et al. Graph attention spatial-temporal network with collaborative global-local learning for citywide mobile traffic prediction
CN111931903B (zh) 一种基于双层图注意力神经网络的网络对齐方法
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
Ullah et al. Short-term prediction of residential power energy consumption via CNN and multi-layer bi-directional LSTM networks
Li et al. A deep learning method based on an attention mechanism for wireless network traffic prediction
US11270579B2 (en) Transportation network speed foreeasting method using deep capsule networks with nested LSTM models
Zhang et al. Long-term mobile traffic forecasting using deep spatio-temporal neural networks
Jiang et al. User preference learning-based edge caching for fog radio access network
CN110263280B (zh) 一种基于多视图的动态链路预测深度模型及应用
CN112291808B (zh) 基于深度学习的区域网络流量预测方法
CN108287904A (zh) 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法
Jin et al. Automated dilated spatio-temporal synchronous graph modeling for traffic prediction
CN114817663B (zh) 一种基于类别感知图神经网络的服务建模与推荐方法
He et al. Graph attention spatial-temporal network for deep learning based mobile traffic prediction
Wang et al. A multitask learning-based network traffic prediction approach for SDN-enabled industrial internet of things
CN115544239A (zh) 一种基于深度学习模型的布局偏好预测方法
Chen et al. Deep-broad learning system for traffic flow prediction toward 5G cellular wireless network
CN114780866A (zh) 一种基于时空上下文兴趣学习模型的个性化智能推荐方法
Ling et al. An edge server placement algorithm based on graph convolution network
Liu et al. Multilevel Federated Learning based Intelligent Traffic Flow Forecasting for Transportation Network Management
Zhang et al. Locational marginal price forecasting using convolutional long-short term memory-based generative adversarial network
Zhang et al. Graph-based traffic forecasting via communication-efficient federated learning
CN112560946B (zh) 一种线上线下关联推理的边缘服务器热点预测方法
Zhang et al. A novel approach of tensor‐based data missing estimation for Internet of Vehicles
CN112926517B (zh) 一种人工智能监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant