CN117081941A - 基于注意力机制的流量预测方法及其装置、电子设备 - Google Patents
基于注意力机制的流量预测方法及其装置、电子设备 Download PDFInfo
- Publication number
- CN117081941A CN117081941A CN202310754160.4A CN202310754160A CN117081941A CN 117081941 A CN117081941 A CN 117081941A CN 202310754160 A CN202310754160 A CN 202310754160A CN 117081941 A CN117081941 A CN 117081941A
- Authority
- CN
- China
- Prior art keywords
- state vector
- preset
- data
- vector
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000007246 mechanism Effects 0.000 title claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 335
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 105
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 28
- 230000000737 periodic effect Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000009954 braiding Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于注意力机制的流量预测方法及其装置、电子设备，涉及大数据技术领域或其他相关领域，其中，该流量预测方法包括：接收目标流量数据集合，并提取集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，其中，时间序列中包含N个时间点，N为正整数；基于预设注意力机制对每一时间点对应的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量；基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合；基于N个状态向量集合，生成指定时间段的流量预测结果。本发明解决了相关技术中所考虑的流量特征单一，导致流量预测结果的准确率较低的技术问题。
Description
技术领域
本发明涉及大数据技术领域，具体而言，涉及一种基于注意力机制的流量预测方法及其装置、电子设备。
背景技术
随着互联网的发展，网络流量呈现出爆炸式增长，流量预测技术的研究变得非常重要，流量预测方法通过研究历史流量的总体趋势和特性规律来合理获取未来一段时间的流量，便于企业与商家提前布局产品计划等。
相关技术中，在进行流量分析时，尤其是进行流量预测时，使用的模型往往仅考虑单一的流量特征，导致流量预测结果准确率较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于注意力机制的流量预测方法及其装置、电子设备，以至少解决相关技术中所考虑的流量特征单一，导致流量预测结果的准确率较低的技术问题。
根据本发明实施例的一个方面，提供了一种基于注意力机制的流量预测方法，包括：接收目标流量数据集合，并提取所述目标流量数据集合中的时间序列以及所述时间序列中每一时间点对应的特征数据集合，其中，所述目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，所述特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，所述时间序列中包含N个所述时间点，N为正整数；基于预设注意力机制对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合，按照所述时间序列输出N个加权特征向量；基于预设神经网络对所述N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合；基于所述N个状态向量集合，生成指定时间段的流量预测结果。
可选地，基于预设神经网络对所述N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合的步骤，包括：步骤1，将第M个所述加权特征向量输入至所述预设神经网络，获取所述预设神经网络中隐藏层的第M-1个隐藏状态向量以及记忆层的第M-1个记忆状态向量，其中，M为小于等于N的正整数；步骤2，基于第一预设公式对第M个所述加权特征向量、第M-1个所述隐藏状态向量、第M-1个所述记忆状态向量进行计算，得到第M个所述记忆状态向量；步骤3，基于第二预设公式对第M个所述加权特征向量、第M-1个所述隐藏状态向量、第M-1个所述记忆状态向量进行计算，得到第M个所述隐藏状态向量；步骤4，将第M个所述记忆状态向量和第M个所述隐藏状态向量整合为第M个状态向量集合；重复执行步骤1至步骤4，直到所述N个加权特征向量全部输入完毕，得到N个状态向量集合。
可选地，基于预设注意力机制对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合，按照所述时间序列输出N个加权特征向量的步骤，包括：接收所有所述特征数据集合，获取第L-1个所述隐藏状态向量以及第L-1个所述记忆状态向量，其中，L为小于等于N的正整数；基于所述预设注意力机制、第L-1个所述隐藏状态向量、第L-1个所述记忆状态向量，对第L个所述特征数据集合中的各个特征数据进行权重计算，得到对应每个所述特征数据的权重矩阵；对每个所述权重矩阵进行归一化处理，得到对应每个所述特征数据的贡献权值；基于每个所述特征数据的所述贡献权值，对第L个所述特征数据集合中各个所述特征数据进行加权求和，并按照所述时间序列输出所述N个加权特征向量。
可选地，所述预设神经网络包括：输入层，利用预设编码门中的编码公式对所述加权特征向量进行编码，得到编码向量，其中，所述预设编码门包括：输入门、遗忘门、输出门，所述编码向量包括：输入门编码向量it、遗忘门编码向量ft、输出门编码向量ot；记忆层，在预设时间段内存储所述预设神经网络中产生的所有状态向量，并基于所述第一预设公式计算当前时间点的所述记忆状态向量；隐藏层，基于所述第二预设公式计算当前时间点的所述隐藏状态向量；全连接层，将其它层的计算结果映射到样本标记空间，其中，所述其它层包括：所述输入层、所述记忆层和所述隐藏层，所述计算结果包括：所述编码向量、所述记忆状态向量和所述隐藏状态向量；输出层，从所述样本标记空间中获取当前时间点的所述记忆状态向量和所述隐藏状态向量，并将所述记忆状态向量和所述隐藏状态向量集成为所述当前时间点的所述状态向量集合，输出所述状态向量集合。
可选地，所述预设编码门中的编码公式包括：输入门编码公式，it＝σ[Wi(ht-1,xt)+bi]，其中，σ是sigmoid激活函数，Wi是预设输入门权重矩阵，ht-1是上一时间点的所述隐藏状态向量，xt是当前时间点的所述加权特征向量，bi是预设输入门偏移向量，t为当前时间点，t-1为上一时间点；遗忘门编码公式，ft＝σ[Wf(ht-1,xt)+bf]，其中，Wf是预设遗忘门权重矩阵，bf是预设遗忘门偏移向量；输出门编码公式，ot＝σ[Wo(ht-1,xt)+bo]，其中，Wo是预设输出门权重矩阵，bo是预设输出门偏移向量。
可选地，提取所述时间序列中每一时间点对应的特征数据集合的步骤，包括：将所述时间序列进行分段，并提取分段得到的每个分段序列中的流量数据，比较每两个所述分段序列中的所述流量数据之间的相关性，得到所述数据流量的自相似特征数据；对所述时间序列中所有时间点的所述流量数据进行聚类处理，得到聚类簇，查询所有所述流量数据中与所述聚类簇中的聚类中心之间距离最远的所述流量数据，基于查询结果确定所述数据流量的突发性特征数据；按照预设切割时长对所述时间序列进行切割，并提取切割后的各子时间序列对应的流量数据变化状态，基于所述各子时间序列对应的所述流量数据变化状态确定所述数据流量的周期性特征数据。
可选地，在对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合之前，还包括：对所述特征数据集合中的各个特征数据进行分支预处理，其中，所述分支预处理包括下述至少之一：去梯度化、一维化、格式转换。
根据本发明实施例的另一方面，还提供了一种基于注意力机制的流量预测装置，包括：接收单元，用于接收目标流量数据集合，并提取所述目标流量数据集合中的时间序列以及所述时间序列中每一时间点对应的特征数据集合，其中，所述目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，所述特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，所述时间序列中包含N个所述时间点，N为正整数；融合单元，用于基于预设注意力机制对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合，按照所述时间序列输出N个加权特征向量；计算单元，用于基于预设神经网络对所述N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合；生成单元，用于基于所述N个状态向量集合，生成指定时间段的流量预测结果。
可选地，所述计算单元包括：输入模块，用于执行步骤1，将第M个所述加权特征向量输入至所述预设神经网络，获取所述预设神经网络中隐藏层的第M-1个隐藏状态向量以及记忆层的第M-1个记忆状态向量，其中，M为小于等于N的正整数；第一计算模块，用于执行步骤2，基于第一预设公式对第M个所述加权特征向量、第M-1个所述隐藏状态向量、第M-1个所述记忆状态向量进行计算，得到第M个所述记忆状态向量；第二计算模块，用于执行步骤3，基于第二预设公式对第M个所述加权特征向量、第M-1个所述隐藏状态向量、第M-1个所述记忆状态向量进行计算，得到第M个所述隐藏状态向量；整合模块，用于执行步骤4，将第M个所述记忆状态向量和第M个所述隐藏状态向量整合为第M个状态向量集合；重复模块，用于重复执行步骤1至步骤4，直到所述N个加权特征向量全部输入完毕，得到N个状态向量集合。
可选地，所述融合单元包括：接收所有所述特征数据集合，获取第L-1个所述隐藏状态向量以及第L-1个所述记忆状态向量，其中，L为小于等于N的正整数；基于所述预设注意力机制、第L-1个所述隐藏状态向量、第L-1个所述记忆状态向量，对第L个所述特征数据集合中的各个特征数据进行权重计算，得到对应每个所述特征数据的权重矩阵；对每个所述权重矩阵进行归一化处理，得到对应每个所述特征数据的贡献权值；基于每个所述特征数据的所述贡献权值，对第L个所述特征数据集合中各个所述特征数据进行加权求和，并按照所述时间序列输出所述N个加权特征向量。
可选地，所述预设神经网络包括：输入层，利用预设编码门中的编码公式对所述加权特征向量进行编码，得到编码向量，其中，所述预设编码门包括：输入门、遗忘门、输出门，所述编码向量包括：输入门编码向量it、遗忘门编码向量ft、输出门编码向量ot；记忆层，在预设时间段内存储所述预设神经网络中产生的所有状态向量，并基于所述第一预设公式计算当前时间点的所述记忆状态向量；隐藏层，基于所述第二预设公式计算当前时间点的所述隐藏状态向量；全连接层，将其它层的计算结果映射到样本标记空间，其中，所述其它层包括：所述输入层、所述记忆层和所述隐藏层，所述计算结果包括：所述编码向量、所述记忆状态向量和所述隐藏状态向量；输出层，从所述样本标记空间中获取当前时间点的所述记忆状态向量和所述隐藏状态向量，并将所述记忆状态向量和所述隐藏状态向量集成为所述当前时间点的所述状态向量集合，输出所述状态向量集合。
可选地，所述预设编码门中的编码公式包括：输入门编码公式，it＝σ[Wi(ht-1,xt)+bi]，其中，σ是sigmoid激活函数，Wi是预设输入门权重矩阵，ht-1是上一时间点的所述隐藏状态向量，xt是当前时间点的所述加权特征向量，bi是预设输入门偏移向量，t为当前时间点，t-1为上一时间点；遗忘门编码公式，ft＝σ[Wf(ht-1,xt)+bf]，其中，Wf是预设遗忘门权重矩阵，bf是预设遗忘门偏移向量；输出门编码公式，ot＝σ[Wo(ht-1,xt)+bo]，其中，Wo是预设输出门权重矩阵，bo是预设输出门偏移向量。
可选地，所述接收单元包括：比较模块，用于将所述时间序列进行分段，并提取分段得到的每个分段序列中的流量数据，比较每两个所述分段序列中的所述流量数据之间的相关性，得到所述数据流量的自相似特征数据；查询模块，用于对所述时间序列中所有时间点的所述流量数据进行聚类处理，得到聚类簇，查询所有所述流量数据中与所述聚类簇中的聚类中心之间距离最远的所述流量数据，基于查询结果确定所述数据流量的突发性特征数据；提取模块，用于按照预设切割时长对所述时间序列进行切割，并提取切割后的各子时间序列对应的流量数据变化状态，基于所述各子时间序列对应的所述流量数据变化状态确定所述数据流量的周期性特征数据。
可选地，所述流量预测装置还包括：分支预处理模块，用于对所述特征数据集合中的各个特征数据进行分支预处理，其中，所述分支预处理包括下述至少之一：去梯度化、一维化、格式转换。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的基于注意力机制的流量预测方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项所述的基于注意力机制的流量预测方法。
本公开中，提出一种基于注意力机制的流量预测方法，先接收目标流量数据集合，并提取目标流量数据集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，特征数据集合中至少包括：自相似特征数据、突发性特征数据、周期性特征数据，时间序列中包含N个时间点，N为正整数，再基于预设注意力机制对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量，然后基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合，最后基于N个状态向量集合，生成指定时间段的流量预测结果。
本公开中，按照时间序列提取了目标流量数据的至少三个流量特征数据：自相似特征数据、突发性特征数据、周期性特征数据，并利用注意力机制计算所有流量特征数据的权重，并对所有流量特征数据加权融合，得到可以更加客观和准确的表征目标流量数据的加权特征向量，然后利用预设神经网络对加权特征向量进行计算，输出目标流量数据的状态向量集合，且该状态向量集合中的状态向量均与时间序列中的时间点一一对应，基于所有状态向量来生成指定时间段的流量预测结果，由此得到的流量预测结果由于考虑更多数量的流量特征数据，能够显著提升准确率，进而解决了相关技术中所考虑的流量特征单一，导致流量预测结果的准确率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的基于注意力机制的流量预测方法的流程图；
图2是根据本发明实施例的一种可选的基于流量特性的带有注意力机制LSTM流量预测模型的示意图；
图3是根据本发明实施例的一种可选的LSTM内部计算逻辑的示意图；
图4是根据本发明实施例的一种可选的基于注意力机制的流量预测装置的示意图；
图5是根据本发明实施例的一种用于基于注意力机制的流量预测方法的电子设备(或移动设备)的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：
FARIMA模型，Fractionally Integrated Autoregressive Moving Average，一种时间序列模型，用于描述具有长记忆性质的时间序列数据，能够捕捉时间序列数据中的长期依赖和非线性特征。
alpha-stable分布模型，一种概率分布模型，用于描述具有长尾性质的随机变量。
Attention机制，通过对输入序列中不同位置的信息进行加权，将重要的信息集中关注，从而提高模型的性能和泛化能力，Attention机制还能够帮助模型解决长距离依赖的问题，使得模型能够更好地处理输入序列中的长距离关系。
LSTM，long short-term memory，长短期记忆网络，在RNN的基础上引入了一个特殊的单元结构，称为LSTM单元，用于解决传统RNN中的梯度消失和梯度爆炸问题，以及更好地处理长期依赖关系。
Sigmoid函数，神经网络中的激活函数，用于引入非线性特征，增强网络的表达能力。
需要说明的是，本公开中的基于注意力机制的流量预测方法及其装置可用于大数据领域在对目标业务进行流量预测的情况下，也可用于除大数据领域之外的任何领域在对目标业务进行流量预测的情况下，本公开中对基于注意力机制的流量预测方法及其装置的应用领域不做限定。
需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
本发明下述各实施例可应用于各种需要进行目标业务的流量预测的系统/应用/设备中，使用注意力机制对目标流量的多个流量特征数据进行加权特征融合，然后使用具有时序记忆功能的神经网络对融合后的加权特征向量进行状态计算，用神经网络计算的状态向量表征目标流量的变化趋势，能够更好捕捉目标流量的复杂特性，同时增强与流量特征相关的权重系数，使流量预测模型具有更高的准确率。
下面结合各个实施例来详细说明本发明。
实施例一
根据本发明实施例，提供了一种基于注意力机制的流量预测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的基于注意力机制的流量预测方法的流程图，如图1所示，该流量预测方法包括如下步骤：
步骤S101，接收目标流量数据集合，并提取目标流量数据集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，其中，目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，时间序列中包含N个时间点，N为正整数。
步骤S102，基于预设注意力机制对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量。
步骤S103，基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合。
步骤S104，基于N个状态向量集合，生成指定时间段的流量预测结果。
通过上述步骤，可以先先接收目标流量数据集合，并提取目标流量数据集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，特征数据集合中至少包括：自相似特征数据、突发性特征数据、周期性特征数据，时间序列中包含N个时间点，N为正整数，再基于预设注意力机制对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量，然后基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合，最后基于N个状态向量集合，生成指定时间段的流量预测结果。
本发明实施例中，按照时间序列提取了目标流量数据的至少三个流量特征数据：自相似特征数据、突发性特征数据、周期性特征数据，并利用注意力机制计算所有流量特征数据的权重，并对所有流量特征数据加权融合，得到可以更加客观和准确的表征目标流量数据的加权特征向量，然后利用预设神经网络对加权特征向量进行计算，输出目标流量数据的状态向量集合，且该状态向量集合中的状态向量均与时间序列中的时间点一一对应，基于所有状态向量来生成指定时间段的流量预测结果，由此得到的流量预测结果由于考虑更多数量的流量特征数据，能够显著提升准确率，进而解决了相关技术中所考虑的流量特征单一，导致流量预测结果的准确率较低的技术问题。
下面结合上述各步骤对本发明实施例进行详细说明。
本发明实施例的实施主体为流量预测模型或者使用该流量预测模型的流量分析系统/设备，可以接收需要进行预测的目标业务的流量数据包/流量数据集合并按照以下步骤评估目标业务或目标平台的变化趋势及规律，并按照此种趋势及规律合理预测目标时间段内的流量变化状态。
步骤S101，接收目标流量数据集合，并提取目标流量数据集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，其中，目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，时间序列中包含N个时间点，N为正整数。
需要说明的是，待评估对象指的是需要进行流量预测的目标业务或目标平台，目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量/流量数据包/流量数据集合，流量数据包的来源包括：页面点击访问、广告投放、搜索引擎引流、社交媒体引流、网址访问、网络设备、应用程序等。
其中，本实施例中的页面访问指用户在平台上的各个页面进行浏览、点击、搜索等操作时产生相应的流量数据包/流量数据集合；
本实施例中的广告投放指平台上的广告投放活动会吸引用户点击广告从而产生的流量数据包/流量数据集合；
本实施例中的社交媒体引流指平台通过在社交媒体上发布内容、推广活动等方式，吸引用户点击链接访问平台，产生流量数据包/流量数据集合；
本实施例中的网址访问指用户直接输入平台的网址或使用书签等方式访问平台，产生流量数据包/流量数据集合；
本实施例中的网络设备，例如路由器、交换机等会对流量数据包进行处理和转发，同时也会生成相应的流量数据包用于网络管理和监控。
本实施例中的应用程序指一些特定的网络应用程序会生成自己的数据包用于实现特定的功能，如实时音视频传输、文件传输等。
需要说明的是，本实施例提及的时间序列中包含的所有时间点是目标流量数据集合中的每一数据流量产生时的实时时间点或者当前时间点。
可选地，步骤S101中提取时间序列中每一时间点对应的特征数据集合的步骤，包括：将时间序列进行分段，并提取分段得到的每个分段序列中的流量数据，比较每两个分段序列中的流量数据之间的相关性，得到数据流量的自相似特征数据；对时间序列中所有时间点的流量数据进行聚类处理，得到聚类簇，查询所有流量数据中与聚类簇中的聚类中心之间距离最远的流量数据，基于查询结果确定数据流量的突发性特征数据；按照预设切割时长对时间序列进行切割，并提取切割后的各子时间序列对应的流量数据变化状态，基于各子时间序列对应的流量数据变化状态确定数据流量的周期性特征数据。
需要说明的是，流量的自相似特征是指流量数据在时间尺度上存在一定的重复性，某几个时间段内的流量变化趋势具有相似性，称为自相似性，用以表征流量变化趋势在过去和将来之间存在的相关性。本发明实施例可以将目标流量数据包/目标流量数据集合注入FARIMA模型，通过FARIMA模型基于时间序列对流量数据进行观测和拟合，拆分出具有自相似性的流量数据并保留流量数据的自相似特征。
需要说明的是，流量的突发性特征是指流量在某些时刻由于某中情况会出现剧烈而不规则的波动，这些突发性波动可能会对网络带宽造成严重影响，例如，在业务高峰期，用户数量增加导致网络拥堵，引起流量数据包丢失的问题。本发明实施例可以将目标流量数据包/目标流量数据集合注入alpha-stable分布模型，通过计算流量变化的概率分布捕捉目标流量数据的极端值和异常值，保留长尾数据作为流量数据的突发性特征。
需要说明的是，流量的周期性特征是指流量表现出明显的周期性变化，并且随着时间推移，这种周期性变化会越来越稳定，例如，商业网站中，周末的交易申请单普遍多于工作日，基于此种流量的周期性特征，需要适当调整服务器资源分配策略。
步骤S102，基于预设注意力机制对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量。
需要说明的是，本实施例中提及的预设注意力机制指的是Attention机制/或者Attention模型，将一个特征数据集合输入Attention处理层，Attention处理层会根据特征数据集合中各特征数据的相关性和重要性计算每个特征数据的权重或权重矩阵，该权重或权重矩阵表示对应的特征数据对于当前任务的重要性，将每个特征数据与其对应的权重或权重矩阵相关联并计算出各特征数据的加权和，作为加权特征向量。
本申请中的加权特征向量可以根据时间的变化不停调整每个特征数据的对应权重，可以使得本申请的流量预测模型更加关注对当前流量预测任务更重要和更具相关性的特征数据，提高模型对输入的处理能力，提高了模型的性能。
可选地，步骤S102包括：接收所有特征数据集合，获取第L-1个隐藏状态向量以及第L-1个记忆状态向量，其中，L为小于等于N的正整数；基于预设注意力机制、第L-1个隐藏状态向量、第L-1个记忆状态向量，对第L个特征数据集合中的各个特征数据进行权重计算，得到对应每个特征数据的权重矩阵；对每个权重矩阵进行归一化处理，得到对应每个特征数据的贡献权值；基于每个特征数据的贡献权值，对第L个特征数据集合中各个特征数据进行加权求和，并按照时间序列输出N个加权特征向量。
需要说明的是，隐藏状态向量指的是本申请中选用的预设神经网络的隐藏层计算的状态向量，记忆状态向量是预设神经网络的记忆层计算的状态向量，预设神经网络与Attention处理层之间也存在一个全连接层，用于将预设神经网络各层计算的状态向量映射到样本分布空间，Attention处理层可以获取这些状态向量用于权重计算。
另外需要说明的是，在对首个特征数据集合进行权重计算时(即L＝1时)，获取的第0个隐藏状态向量和第0个记忆状态向量指的是预设神经网络在未输入任何加权特征向量进行计算之前，隐藏层的初始状态向量和记忆层的初始状态向量。
可选地，在对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合之前，还包括：对特征数据集合中的各个特征数据进行分支预处理，其中，分支预处理包括下述至少之一：去梯度化、一维化、格式转换。
本发明实施例中可以将各个特征数据注入残差块来进行去梯度化处理，残差块可以使梯度在层与层之间直接传播，梯度的传播路径变得更短会减轻梯度消失和梯度爆炸问题。
需要说明的是，本发明实施例中可以将各个特征数据注入一个压平过渡层来进行一维化的处理，压平过渡层可以将接收到的数据进行压平和拉直，
步骤S103，基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合。
需要说明的是，本发明实施例中的预设神经网络可以自行选用，例如，可以选用LSTM网络、Bi-LSTM网络、RNN网络，本实施例中以LSTM网络作为预设神经网络进行示意性说明，其中，LSTM网络具有记忆能力和长期依赖建模能力，能够从输入序列中提取有用的特征，并利用记忆单元来记住之前的信息，从而更好地理解和预测序列中的下一个元素；还可以用于时间序列预测，通过学习序列中的模式和趋势，LSTM模型可以预测未来的数值或趋势。本发明实施例中的预设神经网络还可以选用具有相似功能的双向LSTM、多层感知LSTM或门控循环单元GRU。
可选地，步骤S103包括：步骤S1031，将第M个加权特征向量输入至预设神经网络，获取预设神经网络中隐藏层的第M-1个隐藏状态向量以及记忆层的第M-1个记忆状态向量，其中，M为小于等于N的正整数；步骤S1032，基于第一预设公式对第M个加权特征向量、第M-1个隐藏状态向量、第M-1个记忆状态向量进行计算，得到第M个记忆状态向量；步骤S1033，基于第二预设公式对第M个加权特征向量、第M-1个隐藏状态向量、第M-1个记忆状态向量进行计算，得到第M个隐藏状态向量；步骤S1034，将第M个记忆状态向量和第M个隐藏状态向量整合为第M个状态向量集合；重复执行步骤S1031至步骤S1034，直到N个加权特征向量全部输入完毕，得到N个状态向量集合。
需要说明的是，在对首个加权特征向量进行计算时(即M＝1时)，获取的第0个隐藏状态向量和第0个记忆状态向量指的是预设神经网络在未输入任何加权特征向量进行计算之前，隐藏层的初始状态向量和记忆层的初始状态向量。
可选地，预设神经网络包括：输入层，利用预设编码门中的编码公式对加权特征向量进行编码，得到编码向量，其中，预设编码门包括：输入门、遗忘门、输出门，编码向量包括：输入门编码向量it、遗忘门编码向量ft、输出门编码向量ot；记忆层，在预设时间段内存储预设神经网络中产生的所有状态向量，并基于第一预设公式计算当前时间点的记忆状态向量；隐藏层，基于第二预设公式计算当前时间点的隐藏状态向量；全连接层，将其它层的计算结果映射到样本标记空间，其中，其它层包括：输入层、记忆层和隐藏层，计算结果包括：编码向量、记忆状态向量和隐藏状态向量；输出层，从样本标记空间中获取当前时间点的记忆状态向量和隐藏状态向量，并将记忆状态向量和隐藏状态向量集成为当前时间点的状态向量集合，输出状态向量集合。
需要说明的是，本实施例中的第一预设公式可以为：Ct＝ft*Ct-1+it*{tanh[Wc(ht-1,xt)+bc]}，其中，Ct是当前时刻的记忆状态向量，ft是当前时刻的遗忘门编码向量，Ct-1是上一时间点的记忆状态向量，it是当前时刻的输入门编码向量，tanh是双曲正切激活函数，Wc是记忆层的预设权值矩阵，ht-1是上一时间点的隐藏状态向量，xt是当前时间点的加权特征向量，bc是记忆层的预设偏移向量，t为当前时间点，t-1为上一时间点。
需要说明的是，本实施例中的第二预设公式可以为：ht＝ot*tanh[Ct]，其中，ht是当前时刻的隐藏状态向量，ot是当前时刻的输出门编码向量，Ct是当前时刻的记忆状态向量。
可选地，预设编码门中的编码公式包括：输入门编码公式，it＝σ[Wi(ht-1,xt)+bi]，其中，σ是sigmoid激活函数，Wi是预设输入门权重矩阵，ht-1是上一时间点的隐藏状态向量，xt是当前时间点的加权特征向量，bi是预设输入门偏移向量，t为当前时间点，t-1为上一时间点；遗忘门编码公式，ft＝σ[Wf(ht-1,xt)+bf]，其中，Wf是预设遗忘门权重矩阵，bf是预设遗忘门偏移向量；输出门编码公式，ot＝σ[Wo(ht-1,xt)+bo]，其中，Wo是预设输出门权重矩阵，bo是预设输出门偏移向量。
步骤S104，基于N个状态向量集合，生成指定时间段的流量预测结果。
需要说明的是，本实施例中提及的流量预测结果，其表现形式包括：数据曲线图、按时间段划分的数据报表、矩阵形式的流量热力图、可视化空间地图等。
本发明实施例中，利用Attention机制来对流量数据中的各个时间点的各个特征数据进行动态权重计算和加权特征融合，可以帮助模型选择最相关的特征，更准确地捕捉到关键特征，排除无关的特征，降低特征维度；还可以减少对单个特征的依赖，增加模型的鲁棒性，使模型对输入数据的变化更加稳定，提高泛化能力。
本发明实施例中，将流量数据的至少三种特征数据和Attention注意力机制、具有时序处理和记忆能力的神经网络结合起来，在保留流量变化的关键特征的同时，更加精确地预测流量，为目标平台或目标业务提供更加精准的业务决策支持。
下面结合另一种具体的实施方式来说明本发明。
图2是根据本发明实施例的一种可选的基于流量特性的带有注意力机制LSTM流量预测模型的示意图，如图2所示，该流量预测模型包括：
输入层，提取输入模型的流量数据的自相似特征数据、突发性特征数据与周期性特征数据，其中，自相似特征数据通过FARIMA模型保留提取，突发性特征数据由Alpha-stable分布式模型捕捉，周期性特征数据从原始流量数据包/流量数据集合中即可获得。
分支处理层，将自相似特征数据、突发性特征数据、周期性特征数据分别作为一个分支数据注入分支处理层，分支处理层对每个分支数据进行预处理，至少包括：去梯度化、一维化、格式整理，其中，利用残差块对特征数据进行去梯度化操作，对每个数据进行维度转化，压平为一维数据，将每个一维数据的格式整理为预设的标准格式。
注意力机制处理层(Attention层)，对各个标准格式的特征数据进行加权和聚焦，并进行加权求和计算，生成加权向量表示用户流量特征。
LSTM层，通过对加权向量进行记忆和更新，生成流量状态向量，表示用户流量状态的变化趋势。
输出层，对LSTM状态向量进行预测性计算，生成用户流量的预测结果。
需要说明的是，LSTM层中的计算单元包括：记忆子层C、隐藏子层H、输入门i、遗忘门f、输出门o。
图3是根据本发明实施例的一种可选的LSTM内部计算逻辑的示意图，如图3所示，Ct-1是上一时间点的记忆状态向量，xt是当前时间点的加权特征向量，ft是当前时刻的遗忘门编码向量，it是当前时刻的输入门编码向量，ot是当前时刻的输出门编码向量，Ct是当前时刻的记忆状态向量，ht是当前时刻的隐藏状态向量，其中，计算公式包括：
输入门i编码公式，it＝σ[Wi(ht-1,xt)+bi]，其中，σ是sigmoid激活函数，Wi是预设输入门权重矩阵，bi是预设输入门偏移向量；
遗忘门f编码公式，ft＝σ[Wf(ht-1,xt)+bf]，其中，Wf是预设遗忘门权重矩阵，bf是预设遗忘门偏移向量；
输出门o编码公式，ot＝σ[Wo(ht-1,xt)+bo]，其中，Wo是预设输出门权重矩阵，bo是预设输出门偏移向量；
记忆子层C状态计算公式，Ct＝ft*Ct-1+it*{tanh[Wc(ht-1,xt)+bc]}，其中，tanh是双曲正切激活函数，Wc是记忆层的预设权值矩阵；
隐藏子H状态计算公式，ht＝ot*tanh[Ct]，其中，*是哈马达乘积。
需要说明的是，注意力机制处理层(Attention层)中动态计算特征数据的权重，每个时间点的各个特征数据的权重由当前时间点输入的特征数据与LSTM层中上一时间点隐藏子层的状态向量以及上一时间点记忆子层的状态向量共同决定。
本发明实施例中，将流量数据的至少三种特征数据和Attention注意力机制、具有时序处理和记忆能力的神经网络结合起来，在保留流量变化的关键特征的同时，更加精确地预测流量，为目标平台或目标业务提供更加精准的业务决策支持。
本发明实施例中，考虑到业务流量在呈现周期性业务流量的周期性，流量数据经过Attention注意力机制和LSTM模型，使用前n-1个时间点的历史业务流量信息预测第n个时间点的的业务流量信息，使LSTM能够正确地进行决策，并且在不增加计算和存储的情况下提升预测的准确性。
下面结合另一种可选的实施例来说明本发明。
实施例二
本实施例中提供的一种基于注意力机制的流量预测装置包含了多个实施单元，每个实施单元对应于上述实施例一中的各个实施步骤。
图4是根据本发明实施例的一种可选的基于注意力机制的流量预测装置的示意图，如图4所示，该流量预测装置可以包括：接收单元41，融合单元42，计算单元43，生成单元44，其中，
接收单元41，用于接收目标流量数据集合，并提取目标流量数据集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，其中，目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，时间序列中包含N个时间点，N为正整数；
融合单元42，用于基于预设注意力机制对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量；
计算单元43，用于基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合；
生成单元44，用于基于N个状态向量集合，生成指定时间段的流量预测结果。
上述流量预测装置，可以先通过接收单元41接收目标流量数据集合，并提取目标流量数据集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，特征数据集合中至少包括：自相似特征数据、突发性特征数据、周期性特征数据，时间序列中包含N个时间点，N为正整数，再通过融合单元42基于预设注意力机制对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量，然后通过计算单元43基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合，最后通过生成单元44基于N个状态向量集合，生成指定时间段的流量预测结果。
在本发明实施例中，按照时间序列提取了目标流量数据的至少三个流量特征数据：自相似特征数据、突发性特征数据、周期性特征数据，并利用注意力机制计算所有流量特征数据的权重，并对所有流量特征数据加权融合，得到可以更加客观和准确的表征目标流量数据的加权特征向量，然后利用预设神经网络对加权特征向量进行计算，输出目标流量数据的状态向量集合，且该状态向量集合中的状态向量均与时间序列中的时间点一一对应，基于所有状态向量来生成指定时间段的流量预测结果，由于流量预测结果使用了多个流量特征数据，并且进行加权融合以及向量计算，使得计算得到的流量预测结果准确率大大提升，进而解决了相关技术中所考虑的流量特征单一，导致流量预测结果的准确率较低的技术问题。
可选地，计算单元包括：输入模块，用于执行步骤1，将第M个加权特征向量输入至预设神经网络，获取预设神经网络中隐藏层的第M-1个隐藏状态向量以及记忆层的第M-1个记忆状态向量，其中，M为小于等于N的正整数；第一计算模块，用于执行步骤2，基于第一预设公式对第M个加权特征向量、第M-1个隐藏状态向量、第M-1个记忆状态向量进行计算，得到第M个记忆状态向量；第二计算模块，用于执行步骤3，基于第二预设公式对第M个加权特征向量、第M-1个隐藏状态向量、第M-1个记忆状态向量进行计算，得到第M个隐藏状态向量；整合模块，用于执行步骤4，将第M个记忆状态向量和第M个隐藏状态向量整合为第M个状态向量集合；重复模块，用于重复执行步骤1至步骤4，直到N个加权特征向量全部输入完毕，得到N个状态向量集合。
可选地，融合单元包括：接收所有特征数据集合，获取第L-1个隐藏状态向量以及第L-1个记忆状态向量，其中，L为小于等于N的正整数；基于预设注意力机制、第L-1个隐藏状态向量、第L-1个记忆状态向量，对第L个特征数据集合中的各个特征数据进行权重计算，得到对应每个特征数据的权重矩阵；对每个权重矩阵进行归一化处理，得到对应每个特征数据的贡献权值；基于每个特征数据的贡献权值，对第L个特征数据集合中各个特征数据进行加权求和，并按照时间序列输出N个加权特征向量。
可选地，预设神经网络包括：输入层，利用预设编码门中的编码公式对加权特征向量进行编码，得到编码向量，其中，预设编码门包括：输入门、遗忘门、输出门，编码向量包括：输入门编码向量it、遗忘门编码向量ft、输出门编码向量ot；记忆层，在预设时间段内存储预设神经网络中产生的所有状态向量，并基于第一预设公式计算当前时间点的记忆状态向量；隐藏层，基于第二预设公式计算当前时间点的隐藏状态向量；全连接层，将其它层的计算结果映射到样本标记空间，其中，其它层包括：输入层、记忆层和隐藏层，计算结果包括：编码向量、记忆状态向量和隐藏状态向量；输出层，从样本标记空间中获取当前时间点的记忆状态向量和隐藏状态向量，并将记忆状态向量和隐藏状态向量集成为当前时间点的状态向量集合，输出状态向量集合。
可选地，预设编码门中的编码公式包括：输入门编码公式，it＝σ[Wi(ht-1,xt)+bi]，其中，σ是sigmoid激活函数，Wi是预设输入门权重矩阵，ht-1是上一时间点的隐藏状态向量，xt是当前时间点的加权特征向量，bi是预设输入门偏移向量，t为当前时间点，t-1为上一时间点；遗忘门编码公式，ft＝σ[Wf(ht-1,xt)+bf]，其中，Wf是预设遗忘门权重矩阵，bf是预设遗忘门偏移向量；输出门编码公式，ot＝σ[Wo(ht-1,xt)+bo]，其中，Wo是预设输出门权重矩阵，bo是预设输出门偏移向量。
可选地，接收单元包括：比较模块，用于将时间序列进行分段，并提取分段得到的每个分段序列中的流量数据，比较每两个分段序列中的流量数据之间的相关性，得到数据流量的自相似特征数据；查询模块，用于对时间序列中所有时间点的流量数据进行聚类处理，得到聚类簇，查询所有流量数据中与聚类簇中的聚类中心之间距离最远的流量数据，基于查询结果确定数据流量的突发性特征数据；提取模块，用于按照预设切割时长对时间序列进行切割，并提取切割后的各子时间序列对应的流量数据变化状态，基于各子时间序列对应的流量数据变化状态确定数据流量的周期性特征数据。
可选地，流量预测装置还包括：分支预处理模块，用于对特征数据集合中的各个特征数据进行分支预处理，其中，分支预处理包括下述至少之一：去梯度化、一维化、格式转换。
上述的基于注意力机制的流量预测装置还可以包括处理器和存储器，上述接收单元41，融合单元42，计算单元43，生成单元44等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来生成指定时间段的流量预测结果。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：接收目标流量数据集合，并提取目标流量数据集合中的时间序列以及时间序列中每一时间点对应的特征数据集合，其中，目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，时间序列中包含N个时间点，N为正整数；基于预设注意力机制对每一时间点对应的特征数据集合中的各个特征数据进行加权特征融合，按照时间序列输出N个加权特征向量；基于预设神经网络对N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合；基于N个状态向量集合，生成指定时间段的流量预测结果。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的基于注意力机制的流量预测方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任意一项的基于注意力机制的流量预测方法。
图5是根据本发明实施例的一种用于基于注意力机制的流量预测方法的电子设备(或移动设备)的硬件结构框图。如图5所示，电子设备可以包括一个或多个(图5中采用502a、502b，……，502n来示出)处理器502(处理器502可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器504。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于注意力机制的流量预测方法，其特征在于，包括：
接收目标流量数据集合，并提取所述目标流量数据集合中的时间序列以及所述时间序列中每一时间点对应的特征数据集合，其中，所述目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，所述特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，所述时间序列中包含N个所述时间点，N为正整数；
基于预设注意力机制对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合，按照所述时间序列输出N个加权特征向量；
基于预设神经网络对所述N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合；
基于所述N个状态向量集合，生成指定时间段的流量预测结果。
2.根据权利要求1所述的流量预测方法，其特征在于，基于预设神经网络对所述N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合的步骤，包括：
步骤1，将第M个所述加权特征向量输入至所述预设神经网络，获取所述预设神经网络中隐藏层的第M-1个隐藏状态向量以及记忆层的第M-1个记忆状态向量，其中，M为小于等于N的正整数；
步骤2，基于第一预设公式对第M个所述加权特征向量、第M-1个所述隐藏状态向量、第M-1个所述记忆状态向量进行计算，得到第M个所述记忆状态向量；
步骤3，基于第二预设公式对第M个所述加权特征向量、第M-1个所述隐藏状态向量、第M-1个所述记忆状态向量进行计算，得到第M个所述隐藏状态向量；
步骤4，将第M个所述记忆状态向量和第M个所述隐藏状态向量整合为第M个状态向量集合；
重复执行步骤1至步骤4，直到所述N个加权特征向量全部输入完毕，得到N个状态向量集合。
3.根据权利要求2所述的流量预测方法，其特征在于，基于预设注意力机制对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合，按照所述时间序列输出N个加权特征向量的步骤，包括：
接收所有所述特征数据集合，获取第L-1个所述隐藏状态向量以及第L-1个所述记忆状态向量，其中，L为小于等于N的正整数；
基于所述预设注意力机制、第L-1个所述隐藏状态向量、第L-1个所述记忆状态向量，对第L个所述特征数据集合中的各个特征数据进行权重计算，得到对应每个所述特征数据的权重矩阵；
对每个所述权重矩阵进行归一化处理，得到对应每个所述特征数据的贡献权值；
基于每个所述特征数据的所述贡献权值，对第L个所述特征数据集合中各个所述特征数据进行加权求和，并按照所述时间序列输出所述N个加权特征向量。
4.根据权利要求2所述的流量预测方法，其特征在于，所述预设神经网络包括：
输入层，利用预设编码门中的编码公式对所述加权特征向量进行编码，得到编码向量，其中，所述预设编码门包括：输入门、遗忘门、输出门，所述编码向量包括：输入门编码向量it、遗忘门编码向量ft、输出门编码向量ot；
记忆层，在预设时间段内存储所述预设神经网络中产生的所有状态向量，并基于所述第一预设公式计算当前时间点的所述记忆状态向量；
隐藏层，基于所述第二预设公式计算当前时间点的所述隐藏状态向量；
全连接层，将其它层的计算结果映射到样本标记空间，其中，所述其它层包括：所述输入层、所述记忆层和所述隐藏层，所述计算结果包括：所述编码向量、所述记忆状态向量和所述隐藏状态向量；
输出层，从所述样本标记空间中获取当前时间点的所述记忆状态向量和所述隐藏状态向量，并将所述记忆状态向量和所述隐藏状态向量集成为所述当前时间点的所述状态向量集合，输出所述状态向量集合。
5.根据权利要求4所述的流量预测方法，其特征在于，所述预设编码门中的编码公式包括：
输入门编码公式，it＝σ[Wi(ht-1,xt)+bi]，其中，σ是sigmoid激活函数，Wi是预设输入门权重矩阵，ht-1是上一时间点的所述隐藏状态向量，xt是当前时间点的所述加权特征向量，bi是预设输入门偏移向量，t为当前时间点，t-1为上一时间点；
遗忘门编码公式，ft＝σ[Wf(ht-1,xt)+bf]，其中，Wf是预设遗忘门权重矩阵，bf是预设遗忘门偏移向量；
输出门编码公式，ot＝σ[Wo(ht-1,xt)+bo]，其中，Wo是预设输出门权重矩阵，bo是预设输出门偏移向量。
6.根据权利要求1所述的流量预测方法，其特征在于，提取所述时间序列中每一时间点对应的特征数据集合的步骤，包括：
将所述时间序列进行分段，并提取分段得到的每个分段序列中的流量数据，比较每两个所述分段序列中的所述流量数据之间的相关性，得到所述数据流量的自相似特征数据；
对所述时间序列中所有时间点的所述流量数据进行聚类处理，得到聚类簇，查询所有所述流量数据中与所述聚类簇中的聚类中心之间距离最远的所述流量数据，基于查询结果确定所述数据流量的突发性特征数据；
按照预设切割时长对所述时间序列进行切割，并提取切割后的各子时间序列对应的流量数据变化状态，基于所述各子时间序列对应的所述流量数据变化状态确定所述数据流量的周期性特征数据。
7.根据权利要求1所述的流量预测方法，其特征在于，在对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合之前，还包括：
对所述特征数据集合中的各个特征数据进行分支预处理，其中，所述分支预处理包括下述至少之一：去梯度化、一维化、格式转换。
8.一种基于注意力机制的流量预测装置，其特征在于，包括：
接收单元，用于接收目标流量数据集合，并提取所述目标流量数据集合中的时间序列以及所述时间序列中每一时间点对应的特征数据集合，其中，所述目标流量数据集合包含待评估对象在进行业务操作过程中产生的多个数据流量，所述特征数据集合至少包括如下特征数据：自相似特征数据、突发性特征数据、周期性特征数据，所述时间序列中包含N个所述时间点，N为正整数；
融合单元，用于基于预设注意力机制对所述每一时间点对应的所述特征数据集合中的各个特征数据进行加权特征融合，按照所述时间序列输出N个加权特征向量；
计算单元，用于基于预设神经网络对所述N个加权特征向量进行计算，输出每一时间点对应的N个状态向量集合；
生成单元，用于基于所述N个状态向量集合，生成指定时间段的流量预测结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的基于注意力机制的流量预测方法。
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的基于注意力机制的流量预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310754160.4A CN117081941A (zh) | 2023-06-25 | 2023-06-25 | 基于注意力机制的流量预测方法及其装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310754160.4A CN117081941A (zh) | 2023-06-25 | 2023-06-25 | 基于注意力机制的流量预测方法及其装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117081941A true CN117081941A (zh) | 2023-11-17 |
Family
ID=88710362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310754160.4A Pending CN117081941A (zh) | 2023-06-25 | 2023-06-25 | 基于注意力机制的流量预测方法及其装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117081941A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373674A (zh) * | 2023-12-06 | 2024-01-09 | 四川大学华西医院 | 主动脉瓣狭窄持续性风险预测方法、系统、设备及介质 |
-
2023
- 2023-06-25 CN CN202310754160.4A patent/CN117081941A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373674A (zh) * | 2023-12-06 | 2024-01-09 | 四川大学华西医院 | 主动脉瓣狭窄持续性风险预测方法、系统、设备及介质 |
| CN117373674B (zh) * | 2023-12-06 | 2024-02-02 | 四川大学华西医院 | 主动脉瓣狭窄持续性风险预测方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598206B (zh) | 文本语义识别方法、装置、计算机设备和存储介质 | |
| CN111784348B (zh) | 账户风险识别方法及装置 | |
| CN109960761B (zh) | 信息推荐方法、装置、设备及计算机可读存储介质 | |
| CN111460294A (zh) | 消息推送方法、装置、计算机设备及存储介质 | |
| CN110889759A (zh) | 信用数据的确定方法、装置及存储介质 | |
| CN114445143A (zh) | 一种业务数据的预测方法、装置、设备及介质 | |
| CN117081941A (zh) | 基于注意力机制的流量预测方法及其装置、电子设备 | |
| CN114492978A (zh) | 一种基于多层注意力机制的时空序列预测方法及设备 | |
| CN115983497A (zh) | 一种时序数据预测方法和装置、计算机设备、存储介质 | |
| CN115695025A (zh) | 网络安全态势预测模型的训练方法及装置 | |
| CN113362852A (zh) | 一种用户属性识别方法和装置 | |
| CN115730125A (zh) | 对象识别方法、装置、计算机设备和存储介质 | |
| CN116703682B (zh) | 一种基于深度学习的政务数据平台 | |
| CN115700548A (zh) | 用户行为预测的方法、设备和计算机程序产品 | |
| CN117540336A (zh) | 时间序列预测方法、装置及电子设备 | |
| CN110162535B (zh) | 用于执行个性化的搜索方法、装置、设备以及存储介质 | |
| CN117149996A (zh) | 面向人工智能应用的人机界面数字会话挖掘方法及ai系统 | |
| CN112000873A (zh) | 基于会话的推荐系统、方法、设备及存储介质 | |
| CN114757391B (zh) | 一种面向服务质量预测的网络数据空间设计与应用方法 | |
| CN113947185B (zh) | 任务处理网络生成、任务处理方法、装置、电子设备及存储介质 | |
| CN116029422A (zh) | 一种行为序列预测方法、装置、电子设备及介质 | |
| CN115146292A (zh) | 一种树模型构建方法、装置、电子设备及存储介质 | |
| CN111552827B (zh) | 标注方法和装置、行为意愿预测模型训练方法和装置 | |
| CN114358186A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| CN114510627A (zh) | 对象推送方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |