CN115081516A - 一种基于生物连接组时变卷积网络的物联网流量预测方法 - Google Patents

Abstract

本发明提供了一种基于生物连接组时变卷积网络的物联网流量预测方法，属于物联网和神经网络领域。该方法包括如下步骤：步骤1：对物联网流量数据进行处理，构建数据集；步骤2：将生物连接组数据转换为以邻接矩阵表示的多个有向无环图；步骤3：根据连接组对应的有向无环图构造卷积模块；步骤4：引入GRU模块并与卷积模块整合，构造完整的生物连接组时变卷积网络；步骤5：通过垂直形变映射对损失曲面变形；步骤6：训练所构建的神经网络，并进行物联网流量预测。本发明通过垂直形变映射对损失曲面变形以提升泛化性能；通过根据生物连接组构建卷积模块增强模型的性能；通过将时序信息编码，构造了新的神经网络结构。

Description

一种基于生物连接组时变卷积网络的物联网流量预测方法

技术领域

本发明涉及一种基于生物连接组时变卷积网络的物联网流量预测方法，属于物联网和神经网络领域。

背景技术

物联网技术被广泛应用于医疗保健、公共安全、交通和智能城市等领域，并促进了这些领域的发展。物联网流量预测可以为路由策略、频谱分配、准入控制、拥塞避免和基站建设等提供有价值的参考。单个区域的物联网流量预测问题在一定程度上可被视为输出是一维非线性时间序列的预测问题。然而，由于各区域的流量之间往往是耦合的，它们的空间相互作用关系也需要被考虑。另外，物联网流量预测问题具有长期依赖特性，可能会出现以年为跨度的依赖，例如，每年的双十一期间物联网流量一般会相对较高。与传统的互联网相比，物联网具有一些显著不同的特性，例如，上传链路占优、单次通信数据量小且持续时间短、终端数量大和通信距离通常较短等。这些特性使得物联网流量预测与传统互联网流量预测具有差异。

泛化性能对于评价神经网络模型的性能至关重要；如何提升泛化性能是神经网络训练中的重要议题。现有的理论和实验研究表明，神经网络的泛化性能与其极小值的尖锐程度有关：在一定条件下，越平坦的极小值意味着其对应的模型的泛化性能越好，而尖锐的极值往往导致过拟合。本发明通过对损失曲面变形，诱导优化器进入平坦极值，进而能够显著提升神经网络的泛化性能。

连接组是生物神经系统中神经连接的映射图。经由漫长的自然选择机制，连接组在宏观上往往呈现出小世界网络的结构特征，使用较少的连接就能实现任意两个结点之间的连通。虽然大部分生物神经系统的连接组均是小世界网络，但不同生物的智能程度截然不同。不同生物神经元的不同连接特性与该生物的智慧程度可能存在密切关联，这暗示了连接组的重要性。2019年7月3日，爱因斯坦医学院的Scott W.Emmons研究组在Nature杂志上发表题为“Whole-animal connectomes of both Caenorhabditis elegans sexes”的论文，公开了秀丽隐杆线虫的神经连接组。这为本专利依据生物连接组构建神经网络提供了数据基础。

2019年10月27日，Saining Xie等人在Proceedings of the IEEE/CVFInternational·Conference on Computer Vision(ICCV)发表题为“Exploring randomlywired neural networks for image recognition”的论文，提出了基于随机连接图构建的卷积神经网络，并发现具有小世界网络性质的模型具有出色的表现。与本发明依据生物连接组生成有向无环图不同，该论文中的有向无环图是随机生成的，且该论文并不能处理时变问题。中国专利文献号CN 112333046 A，公开/公告日2020年11月09日，发明名称为“物联网结点流量预测系统及方法”中公开了一种针对结点的物联网流量预测系统，其配备的结点和云计算平台均可对网络流量作出预测。然而，该发明并未考虑结点之间的空间耦合关系。中国专利文献号CN 110995520 B，公开/公告日2020年06月30日，发明名称为“网络流量预测方法、装置、计算机设备及可读存储介质”中公开了一种针对互联网流量的预测方法。该发明使用图卷积网络对流量数据处理后，利用卷积神经网络进行空间特征提取，同时使用与卷积神经网络并行的长短期记忆神经网络进行时间特征提取。该发明未能对神经网络训练中容易出现的过拟合现象作出改善。而本发明通过对损失曲面变形，诱导优化器进入更平坦的区域，这有助于提高模型的泛化性能。另外，一方面，本发明根据生物连接组构建拓扑连接为有向图的卷积模块，而这些卷积模块中的结点本身是一个包含了卷积层的模块(与对结点做图卷积运算的图卷积网络不同)；另一方面，本发明对多个卷积模块和门控循环单元(gated recurrent unit，GRU)在深度上进行堆叠。以上提及的特性可增强神经网络对物联网流量预测时空信息的处理能力。

发明内容

针对现有物联网预测技术和方法中存在的网络训练容易过拟合、时空耦合信息学习能力不足等缺陷，本发明提供一种基于生物连接组时变卷积网络的物联网流量预测方法，通过垂直形变映射对损失曲面进行变形，在一定程度上解决神经网络训练时容易过拟合的问题；通过构建基于生物连接组的时变卷积模块，进而增强模型对时空信息的处理能力。

为达到上述目的，本发明提供如下技术方案。

步骤1：对物联网流量数据进行处理，构建数据集。关于该步骤的详细描述如下。将待预测地区划分为

行

列的网格区域，每个网格对应的流量数据为该区域内结点流量之和。将时刻t对应的网格化流量数据记为X_t，其中

对总共

个时刻的待预测地区物联网流量数据X_t进行上述处理并进行归一化。假设预测任务为根据t_h个历史数据预测t_f个未来数据，则第s个样本对应的输入为

输出为

其中，

stack(·)表示对张量的堆叠操作。假设经过堆叠操作共获得

个样本，则神经网络的输入张量为

输出张量为

上述操作将不同时序的流量网格数据按照通道顺序堆叠得到单个样本，再对不同样本进行堆叠，以获得由

构成的数据集。

步骤2：将生物连接组数据转换为以邻接矩阵表示的多个有向无环图。生物连接组构成的有向图中一般有环，这使得神经网络网络结构不易构建。为了方便构建神经网络，将生物连接组构成的有向图转换为无向图，再转换为有向无环图(注意，不同的转换方式常常可获得不同的转换结果)。将上述转换过程进行

次，获得

个有向无环图G_c，其中

为卷积模块的个数。

步骤3：根据连接组对应的有向无环图构造卷积模块。每个有向无环图G_c对应一个卷积模块K_c，即K_c中卷积结点之间的连接拓扑关系来自G_c。将有向无环图G_c的结点作为卷积结点，并将其边作为卷积结点之间的连接。随机选定G_c中一个入度为零的结点作为整个图的输入结点v_in；随机选定一个出度为零的结点作为整个图的输出结点v_out。每个卷积结点u接收指向u的其它卷积结点的输出，加权求和后作为u的输入(假设u的入度为i_u，则产生i_u个可训练一维权重)。输入在卷积结点u内依次经过ReLU层、3x3 depthwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)、1x1 pointwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)以及批归一化层(包含由ReLU层到批归一化层的恒等跨层连接)，得到与输入特征图尺寸相等的输出特征图。将该输出特征图作为被卷积结点u所指向的各卷积结点的输入。根据以上方法，对共

个G_c进行操作，构造共

个卷积模块。

步骤4：引入GRU模块并与卷积模块整合，构造完整的生物连接组时变卷积网络。生物连接组时变卷积网络由

个卷积模块和

个GRU模块组成。将相邻两个卷积模块用GRU模块连接，并建立从每个卷积模块的输入到最末一个GRU模块的恒等映射，以作为跨层连接。GRU模块内部的计算过程遵循以下公式：

R_t＝σ(W_nrA_i+B_nr+W_hrH_t-1+B_hr)， (1)

Z_i＝σ(W_nzA_t+B_nz+W_hzH_t-1+B_bz)， (2)

S_t＝tanh(W_anA_t+B_an+W_hs(H_t-1⊙R_t)+B_hs)， (3)

H_t＝Z_t⊙S_t+H_t-1⊙(1-Z_t)， (4)

F_t＝W_fhH_t+B_fh， (5)

其中，R表示重置门，σ(·)表示Sigmoid函数，W表示权重，A表示输入，B表示偏置，H表示隐藏状态，Z表示更新门，S表示候选集，1表示元素全为1的矩阵，F表示输出，⊙表示哈达马积，下标t表示t时刻，下标ar表示从输入到重置门，下标hr表示从隐藏状态到重置门，下标的记法依此类推。GRU模块接收和输出按时序排列的数据，而卷积模块将有关时刻的数据统一考虑，二者运算过程和维度不匹配。为解决这个问题，本发明提供了针对GRU模块与卷积模块之间的连接问题的解决方案。考虑第s个样本，假设GRU模块之前的卷积模块的输出为

并将序列

作为GRU模块的输入，其中split(·)表示对张量按照第一个维度拆分，

将GRU模块的输出

堆叠后的结果(即

作为下一个卷积模块的输入。这种将时序编码到通道的策略使得GRU模块与卷积模块可以自然地衔接。卷积模块与GRU模块交替排列，进而构成了完整的神经网络。

步骤5：通过垂直形变映射对损失曲面变形。两类垂直形变映射δ：

被用来对损失曲面变形。第一类为log-exp(LE)型垂直形变映射：

其中，

为损失函数，e₁＞0为用于控制形变方式的标量。公式(6)又被记为LE(e₁)。第二类为arctan-power(AP)型垂直形变映射：

其中，a₁，a₂，a₃＞0为用于控制形变方式的标量。公式(7)又被记为AP(a₁，a₂，a₃)。LE和AP两类垂直形变映射均倾向于将损失曲面上较低的区域变得更陡峭，而对较高的区域影响不大。这种形变方式使得优化器在损失值低的区域附近的步长(这里表示相邻两步的参数变化量的绝对值)变大，有利于促使优化器从尖锐极值区域逃离；平坦极值区域则能容忍更大的步长，不容易被跳过。

步骤6：训练所构建的神经网络，并进行物联网流量预测。根据经过垂直形变映射作用的带动量的小批量梯度下降公式对参数进行更新：

ρ_k＝μρ_k-1-ηg_k， (9)

θ_k+1＝θ_k+ρ_k， (10)

其中，g是

个样本的平均梯度，下标k代表第k步迭代，

代表δ对参数θ的梯度，μ为动量因子，η为学习率。θ表示神经网络(包括卷积模块和GRU模块)中的任意可训练参数。利用公式(8)-(10)对所得神经网络进行训练。使用训练所得神经网络进行物联网流量预测。完成模型训练后，使用神经网络预测得到未来t_f个时刻的物联网流量数据Y₁，…，Y_t。

与现有技术相比，本发明的有益效果在于：通过垂直形变映射对损失曲面变形，诱导优化器逃离尖锐极值，进而提升神经网络的泛化性能；通过根据生物连接组构建卷积结点之间的拓扑连接关系，利用自然选择留下的连接组结构增强模型的性能；通过将时序信息编码在通道中并进行stack与split操作，可以在现有二维卷积框架下将GRU模块与卷积模块整合并构造更多样的结构。这些优势能够提升模型性能，进而提升物联网流量数据预测精度，并为路由策略、频谱分配、准入控制、拥塞避免和基站建设等提供有价值的参考。

附图说明

为了说明本发明的目的、技术方案，本发明提供如下附图说明：

图1为本发明的执行流程图；

图2为本发明的优选实施例的神经网络结构示意图；

图3为本发明的优选实施例的神经网络中卷积结点的结构图；

图4为本发明的优选实施例的神经网络中卷积模块与GRU模块的连接示意图；

图5为本发明所涉及的LE垂直形变映射的一阶导数图，横坐标代表函数，纵坐标代表垂直形变映射函数对损失函数的导数；

图6为本发明所涉及的AP垂直形变映射的一阶导数图，横坐标代表函数，纵坐标代表垂直形变映射函数对损失函数的导数；

图7为本发明中待形变的原始损失曲面示意图，横坐标和纵坐标分别代表神经网络的两个参数，竖坐标代表损失函数；

图8为本发明中经过形变后的损失曲面示意图，横坐标和纵坐标分别代表神经网络的两个参数，竖坐标代表垂直形变映射函数。

具体实施方式

下面结合附图对本发明的优选实施例进行详细描述。

如图1所示，本发明：一种基于生物连接组时变卷积网络的物联网流量预测方法，包括以下步骤：

步骤1：对物联网流量数据进行处理，构建数据集；

步骤2：将生物连接组数据转换为以邻接矩阵表示的多个有向无环图；

步骤3：根据连接组对应的有向无环图构造卷积模块；

步骤4：引入GRU模块并与卷积模块整合，构造完整的生物连接组时变卷积网络；

步骤5：通过垂直形变映射对损失曲面变形；

步骤6：训练所构建的神经网络，并进行物联网流量预测。

本发明可以由下述所限定的和覆盖的多种不同方式实施。

步骤1：对兰州市榆中县物联网流量数据进行处理，构建数据集。具体地，将待预测地区划分为

行

列的网格区域，每个网格对应的流量数据为该区域内物联网流量之和，此处

数据点代表了某天的平均流量。将第t天对应的网格化流量数据记为X_t，其中

取

对总共

个时刻的待预测地区物联网流量数据X_t进行上述处理并进行归一化。预测任务为根据t_h个历史数据预测t_f个未来数据(t_h＝365，t_f＝16)，则第s个样本对应的输入为

输出为

其中，

stack(·)表示对张量的堆叠操作。假设经过堆叠操作共获得

个样本，则神经网络的输入张量为

输出张量为

上述操作将不同时序的流量网格数据按照通道顺序堆叠得到单个样本，再对不同样本进行堆叠，以获得由

构成的数据集。

步骤2：将秀丽隐杆线虫连接组构成的有向图转换为无向图，再转换为有向无环图。为了方便构建神经网络，将秀丽隐杆线虫连接组构成的有向图转换为无向图，再转换为有向无环图(注意，不同的转换方式常常可获得不同的转换结果)。将上述转换过程进行

次，获得

个不同的有向无环图G_c，其中

为卷积模块的个数。

步骤3：根据秀丽隐杆线虫连接组对应的有向无环图构造卷积模块。每个有向无环图G_c对应一个卷积模块K_c，即K_c中卷积结点之间的连接拓扑关系来自G_c。将有向无环图G_c的结点作为卷积结点，并将其边作为卷积结点之间的连接。卷积模块1、2、3的拓扑结构均来自G_c。随机选定G_c中一个入度为零的结点作为整个图的输入结点v_in；随机选定一个出度为零的结点作为整个图的输出结点v_out。如图3所示，每个卷积结点u接收指向u的其它卷积结点的输出，加权求和后作为u的输入(若u的入度为i_u，则产生i_u个可训练一维权重)。输入在卷积结点u内依次经过ReLU层、3x3depthwise卷积(输入通道数与输出通道数均为t_h＝365，采用same模式，stride＝1)、1x1 pointwise卷积(输入通道数与输出通道数均为t_h＝365，采用same模式，stride＝1)以及批归一化层(包含由ReLU层到批归一化层的恒等跨层连接)，得到与输入特征图尺寸相等的输出特征图。将该输出特征图作为被卷积结点u所指向的各卷积结点的输入。根据以上方法，对共

个G_c进行操作，构造共

个卷积模块，如图2中的卷积模块1、2、3所示。

步骤4：引入GRU模块并与卷积模块整合，构造完整的生物连接组时变卷积网络。假设神经网络由

个卷积模块和

个GRU模块组成

如图2所示，将相邻两个卷积模块用GRU模块连接，并建立从每个卷积模块的输入到最末一个GRU模块的恒等映射，以作为跨层连接。GRU模块内部的计算过程遵循以下公式：

R_t＝σ(W_nrA_i+B_ar+W_hrH_t-1+B_hr)， (11)

Z_i＝σ(W_azA_t+B_nz+W_haH_t-1+B_hz)， (12)

S_t＝tanh(W_asA_i+B_as+W_hs(H_t-1⊙R_t)+B_hs)， (13)

H_t＝Z_t⊙S_t+H_t-1⊙(1-Z_t)， (14)

F_t＝W_fhH_t+B_fh， (15)

其中，R表示重置门，σ(·)表示Sigmoid函数，W表示权重，A表示输入，B表示偏置，H表示隐藏状态，Z表示更新门，S表示候选集，1表示元素全为1的矩阵，F表示输出，⊙表示哈达马积，下标t表示t时刻，下标ar表示从输入到重置门，下标hr表示从隐藏状态到重置门，依此类推。GRU模块接收和输出按时序排列的数据，而卷积模块将有关时刻的数据统一考虑，二者运算过程和维度不匹配。为解决这个问题，下面结合图4，描述针对GRU模块与卷积模块之间连接问题的方案。如图4所示，对第s个样本，假设GRU模块之前的卷积模块的输出为

并将序列

作为GRU模块的输入，其中split(·)表示对张量按照第一个维度拆分，

将GRU模块的输出

堆叠后的结果(即

作为下一个卷积模块的输入。这种将时序编码到通道的策略使得GRU模块与卷积模块可以自然地衔接。卷积模块与GRU模块交替排列，进而构成了如图2所示的完整的神经网络。

步骤5：通过垂直形变映射对损失曲面变形。Log-exp(LE)型垂直形变映射为

其中，

为损失函数，e₁＞0为用于控制形变方式的标量。公式(6)又被记为LE(e₁)。Arctan-power(AP)型垂直形变映射为

其中，a₁，a₂，a₃＞0为用于控制形变方式的标量。公式(7)又被记为AP(a₁，a₂，a₃)。因

直接作用于梯度，在图5和图6中展示了

(而不是δ)关于损失函数

的变化情况。图5和图6分别对应LE(e₁)和AP(a₁，a₂，a₃)。在该实施例中，垂直形变映射取为LE(0.99)，它倾向于将损失曲面上损失值较低的区域变得更陡峭，而对损失值较高的区域影响不大。图7为原始的损失曲面示意图，图8为使用LE(0.99)垂直形变映射进行变形后的损失曲面。这种形变方式使得优化器在损失值低的区域附近的步长(这里表示相邻两步的参数变化量的绝对值)变大，有利于促使优化器从尖锐极值区域逃离；平坦极值区域则能容忍更大的步长，不容易被跳过。

步骤6：训练所构建的神经网络，并进行物联网流量预测。根据经过垂直形变映射作用的带动量的小批量梯度下降公式对参数进行更新：

ρ_k＝μρ_k-1-ηg_k， (19)

θ_k+1＝θ_k+ρ_k， (20)

其中，g是

个样本的平均梯度，下标k代表第k步迭代，

代表δ对参数θ的梯度，μ为动量因子，η为学习率。θ表示神经网络(包括卷积模块和GRU模块)中的任意可训练参数。利用公式(8)-(10)对所得神经网络训练300个迭代次数(epoch)；批大小为128；初始学习率为0.1；采用余弦退火学习率下降策略；weight decay取0.0005。使用训练所得神经网络进行物联网流量预测。完成模型训练后，即可使用所得神经网络预测未来t_f＝16个时刻的物联网流量数据Y₁，…，Y_k。

综上所述，本发明通过垂直形变映射对损失曲面变形，进而提升神经网络的泛化性能；通过根据生物连接组构建卷积结点之间的拓扑连接关系来增强模型的性能；通过将时序信息编码在通道中并进行stack与split操作，在现有二维卷积框架下将GRU模块与卷积模块整合并构造了新的网络结构。这些优势能够提升模型性能，进而提升物联网流量数据预测精度，并为路由策略、频谱分配、准入控制、拥塞避免和基站建设等提供有价值的参考。

以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，该方法包含以下步骤：

步骤1：对物联网流量数据进行处理，构建数据集；

步骤2：将生物连接组数据转换为以邻接矩阵表示的多个有向无环图；

步骤3：根据连接组对应的有向无环图构造卷积模块；

步骤4：引入门控循环单元(gated recurrent unit，GRU)模块并与卷积模块整合，构造完整的生物连接组时变卷积网络；

步骤5：通过垂直形变映射对损失曲面变形；

步骤6：训练所构建的神经网络，并进行物联网流量预测。

2.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤1具体如下：

将待预测地区划分为

行

列的网格区域，每个网格对应的流量数据为该区域内结点流量之和；将时刻t对应的网格化流量数据记为X_t，其中

对总共

个时刻的待预测地区物联网流量数据X_t进行上述处理并进行归一化；假设预测任务为根据t_h个历史数据预测t_f个未来数据，则第s个样本对应的输入为

输出为

其中，

stack(·)表示对张量的堆叠操作；假设经过堆叠操作共获得

个样本，则神经网络的输入张量为

输出张量为

上述操作将不同时序的流量网格数据按照通道顺序堆叠得到单个样本，再对不同样本进行堆叠，以获得由

构成的数据集。

3.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤2具体如下：

将生物连接组构成的有向图转换为无向图，再转换为有向无环图；将上述转换过程进行

次，获得

个不同的有向无环图G_c，其中

为卷积模块的个数。

4.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤3具体如下：

根据连接组对应的有向无环图构造卷积模块；每个有向无环图G_c对应一个卷积模块K_c，即K_c中卷积结点之间的连接拓扑关系来自G_c；将有向无环图G_c的结点作为卷积结点，并将其边作为卷积结点之间的连接；随机选定G_c中一个入度为零的结点作为整个图的输入结点v_in；随机选定一个出度为零的结点作为整个图的输出结点v_out；每个卷积结点u接收指向u的其它卷积结点的输出，加权求和后作为u的输入(假设u的入度为i_u，则产生i_u个可训练的一维权重)；输入在卷积结点u内依次经过ReLU层、3x3 depthwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)、1x1 pointwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)以及批归一化层(包含由ReLU层到批归一化层的恒等跨层连接)，得到与输入特征图尺寸相等的输出特征图；将该输出特征图作为被卷积结点u所指向的各卷积结点的输入：根据以上方法，对共

个G_c进行操作，构造共

个卷积模块。

5.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤4具体如下：

用

个卷积模块和

个GRU模块构建生物连接组时变卷积网络；将相邻两个卷积模块用GRU模块连接，并建立从每个卷积模块的输入到最末一个GRU模块的恒等映射，以作为跨层连接；GRU模块内部的计算过程遵循以下公式：

R_i＝σ(W_arA_i+B_ar+W_hrH_i-1+B_hr)， (1)

Z_i＝σ(W_azA_i+B_az+W_hzH_i-1+B_hz)， (2)

S_i＝tanh(W_asA_i+B_as+W_hs(H_i-1⊙R_i)+B_hs)， (3)

H_i＝Z_i⊙S_i+H_i-1⊙(1-Z_i)， (4)

F_i＝W_fhH_i+B_fh， (5)

其中，R表示重置门，σ(·)表示Sigmoid函数，W表示权重，A表示输入，B表示偏置，H表示隐藏状态，Z表示更新门，S表示候选集，1表示元素全为1的矩阵，F表示输出，⊙表示哈达马积，下标i表示t时刻，下标ar表示从输入到重置门，下标hr表示从隐藏状态到重置门，下标的记法依此类推；考虑第s个样本，假设GRU模块之前的卷积模块的输出为

并将序列

作为GRU模块的输入，其中split(·)表示对张量按照第一个维度拆分，

k∈[s+1，s+t_h]；将GRU模块的输出

堆叠后的结果(即

作为下一个卷积模块的输入；卷积模块与GRU模块交替排列，进而构成了完整的神经网络。

6.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤5具体如下：

通过垂直形变映射

对损失曲面变形；第一类垂直形变映射为log-exp(LE)型垂直形变映射：

其中，

为损失函数，e₁＞0为用于控制形变方式的标量；公式(6)又被记为LE(e₁)；第二类垂直形变映射为arctan-power(AP)型垂直形变映射：

其中，a₁，a₂，a₃＞0为用于控制形变方式的标量；公式(7)又被记为AP(a₁，a₂，a₃)。

7.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤6具体如下：

根据经过垂直形变映射作用的带动量的小批量梯度下降公式对神经网络待训练参数进行更新：

ρ_k＝μρ_k-1-ηg_k， (9)

θ_k+1＝θ_k+ρ_k， (10)

其中，g是

个样本的平均梯度，下标k代表第k步迭代，

代表δ对参数θ的梯度，μ为动量因子，η为学习率；θ表示生物连接组时变卷积网络(包含卷积模块和GRU模块)中的任意可训练参数；利用公式(8)-(10)对所得神经网络进行训练；使用训练所得神经网络进行物联网流量预测；完成模型训练后，使用神经网络预测得到未来t_f个时刻的物联网流量数据

Images