CN113094357A - 一种基于时空注意力机制的交通缺失数据补全方法 - Google Patents
一种基于时空注意力机制的交通缺失数据补全方法 Download PDFInfo
- Publication number
- CN113094357A CN113094357A CN202110438939.6A CN202110438939A CN113094357A CN 113094357 A CN113094357 A CN 113094357A CN 202110438939 A CN202110438939 A CN 202110438939A CN 113094357 A CN113094357 A CN 113094357A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- model
- input
- completion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 20
- 230000000737 periodic effect Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 45
- 230000002441 reversible effect Effects 0.000 claims description 23
- 238000012795 verification Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000001364 causal effect Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims 1
- 230000006403 short-term memory Effects 0.000 claims 1
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000002238 attenuated effect Effects 0.000 abstract description 4
- 230000003935 attention Effects 0.000 description 43
- 210000004027 cell Anatomy 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 229940050561 matrix product Drugs 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于时空注意力机制的交通缺失数据补全方法，首先通过注意力机制的方式，捕获路网中所有的路段在当前时刻对路网交通状态的影响程度大小，并在不同时刻重新捕获空间相关性信息，提高数据补全的精度。其次，考虑交通数据的时序性，不同时刻的交通数据对当前时刻的数据影响程度是不一样的，通过时间注意力机制捕获这种不一致的时间相关性信息，在对当前缺失数据补全时保留最有效的信息，提升模型的补全效果。最后，在利用时空注意力机制捕获交通数据的时空相关性同时，考虑数据之间的相关性受到空间距离和时间间隔的增大而衰减，加入时空衰减性矩阵提高补全精度。本发明不仅大幅提高数据缺失率低的情况下补全精度，还提升在数据缺失率高的情况下的补全精度。
Description
技术领域
本发明属于交通领域，涉及一种基于时空注意力机制的交通缺失数据补全方法。
背景技术
随着互联网技术和交通信息化的快速发展，交通数据的规模越来越大，在智能交通系统中，完整有效的交通数据对交通管理的意义重大。但是实际生活中采集交通数据时，由于一些不可避免的事件的发生(如设备损坏、恶劣天气等)，会导致数据采集中断，造成部分数据的缺失，这降低了数据集的有效性，制约了智能交通建设的发展。对交通数据集中的缺失值进行有效的补全，具有重要的理论和实际的研究意义。然而交通数据的补全具有非常大的挑战性，一方面，道路交通数据随着时间的变化是非平稳的，比如早晚高峰、节假日等都会影响交通数据的变化趋势，在临近时间上，交通数据具有很强的时间依赖性，同时，交通数据还呈现出显著的长时周期相关性；另一方面，真实世界中的交通路网具有复杂的空间结构，不同路网节点之间存在着空间相关性。此外，数据的缺失模式对缺失值的补全也存在影响。现有的补全方法在处理数据缺失时，对这些特性的建模不充分。比如Li等人通过对输入向量进行分解后，结合LSTM和支持向量机(Support Vector Regression，简称SVR)通过多视角的方法来进行时间序列数据补全，忽略了数据之间时空相关性的动态变化，同时没有考虑交通数据所存在的显著周期相关性。
注意力机制被广泛地使用在自然语言处理、语音识别以及图像识别等各种不同类型的深度学习任务中，是如今深度学习技术中最值得关注与了解的核心技术之一。所以，对于使用深度学习技术进行研究的研究人员来说，熟悉注意力机制的相关知识是很有必要的。从注意力机制的命名方式来看，很明显这是借鉴了人类的注意力这一概念，在人类对事物进行观察时，通常会把注意力集中在特定的某些部分，由此来获得得到目标问题所需要的相关性更高的信息。以人类视觉的选择性注意力机制为例，视觉注意力机制是人类所特有的大脑信号处理机制。在对图像进行观测时，通过对全局图像的快速扫描，可以选择出需要更多注意力来关注的目标区域，这也就是一般所说的注意力焦点。然后对这一块区域投入更多的注意力资源来获取所需要关注的目标的更多细节信息，同时也降低注意力分配给其他无用信息的比重。这是人类利用有限的注意力资源从大量信息中快速筛选出更具有价值的信息的方式，这一机制极大地提高了视觉信息处理的效率与准确性，是人类长期进化中形成的一种生存机制。深度学习中的注意力机制的核心目标也是从众多的信息中选择出对当前任务目标更有价值的信息。
神经网络最开始是受生物神经系统的启发，为了模拟生物神经系统而出现的，由大量的节点(或称神经元)之间相互联接构成。神经网络根据输入的变化，对权值进行调整，改善系统的行为，自动学习到一个能够解决问题的模型。LSTM(长短记忆网络)是RNN(循环神经网络)的一种特殊形式，有效地解决多层神经网络训练的梯度消失和梯度爆炸问题，能够处理长时时间依赖序列。LSTM能够捕获交通数据的序列特性，使用LSTM模型能够有效提高补全精度。
LSTM网络由LSTM单元组成，LSTM单元由单元，输入门、输出门和遗忘门组成。
遗忘门：决定从上一个单元的输出状态中丢弃多少信息，公式如下：
ft＝σg(Wfxt+Ufht-1+bf)
其中，ft是遗忘门的输出，xt是输入序列，ht-1是上一个单元的输出，σg表示sigmoid函数，Wf表示输入的权重参数矩阵，Uf表示上一个单元输出的权重参数矩阵，bf表示偏差参数向量。
输入门：决定让多少新的信息加入到Cell状态中，并对单元状态C进行更新，公式如下：
it＝σg(Wixt+Uiht-1+bi)
其中，ct表示当前单元的单元状态，σg和σc表示sigmoid函数，
表示矩阵乘积，Wi表示输入的权重参数矩阵，Ui表示上一个单元输出的权重参数矩阵，bi表示偏差参数向量，ft是遗忘门的输出，ct-1是上一个单元的单元状态，
表示矩阵乘积，Wc表示输入的权重参数矩阵，Uc表示上一个单元输出的权重参数矩阵，bc表示偏差参数向量。
输出门：基于当前的单元状态输出结果。
ot＝σg(Woxt+Uoht-1+bo)
其中，ht表示当前单元的输出，σg和σh表示sigmoid函数，
表示矩阵乘积，Wo表示输入的权重参数矩阵，Uo表示上一个单元输出的权重参数矩阵，bo表示偏差参数向量。
发明内容
本发明提出了一种基于时空注意力机制的交通缺失数据补全方法，是一种针对交通数据的临近时间相关性、动态的空间相关性和长时的周期相关性建模的深度学习方法，目的在于提高交通缺失数据的补全精度。
为了达到上述目的，本发明采用的技术方案为：
一种基于时空注意力机制的交通缺失数据补全方法，步骤如下：
第一步、对原始数据进行预处理
获取所有车流量数据作为原始数据，对原始数据进行预处理，将数据按k分钟的时间间隔做聚合操作，同时去除异常值并进行数据的标准化处理。
第二步、根据数据的不同缺失模式处理数据
将通过第一步获得的预处理后的数据进行数据点丢失处理，构建带有缺失点的数据集，然后记录缺失点所在的位置信息，同时保存缺失点对应的车流量数据真实值，作为验证值，用来验证数据补全模型的补全效果。
同时，结合缺失点所在的位置信息构建时空相关性衰减矩阵。当数据中存在缺失值时，利用其它存在观测值的点的信息来对当前缺失点补全时，由于不同观测点和当前点之间时间间隔和空间距离的增大，其它观测点的信息对当前缺失点的补全产生的作用会随之衰减，这会影响最终的补全精度。通过构建时空相关性衰减矩阵来捕获相关性的衰减。时间维度影响衰减性矩阵定义如下：
其中，
表示第i个路段，t时刻的观测点和它时间上距离最近且存在观测值的点之间的时间间隔；Tt表示t时刻观测点在整个时间序列中的时刻信息。
空间维度影响衰减性矩阵定义如下：
其中，
表示第i个路段，t时刻的观测点和它空间上距离最近且存在观测值的点之间的空间距离，Li表示第i个路段在整个路网中所在的位置信息。
第三步、补全模型的输入定义
所述的补全模型的输入由周期性输入和临近性输入组成：
临近性输入序列包括正向临近性输入序列和反向临近性输入序列：
正向临近性输入序列定义为：
其中，LF表示模型需要的正向临近性输入数据时间观测窗口的长度；
表示t时刻，长度为LF的时间序列车流量观测值。
反向临近性输入序列定义为：
其中，LB表示模型需要的反向临近性输入数据时间观测窗口的长度；
表示t时刻，长度为LB的时间序列车流量观测值。
周期性输入序列包括正向周期性输入序列和反向周期性输入序列。
正向周期性输入序列定义为：
其中，LF表示模型需要的正向周期性输入数据时间观测窗口的长度；n表示模型输入所需要的周期数；ft,j表示在t时刻的周期数据集合内第j个周期的观测值。
反向周期性输入序列定义为：
其中，LB表示模型需要的正向周期性输入数据时间观测窗口的长度；n表示模型输入所需要的周期数；ft,j表示在t时刻的周期数据集合内第j个周期的观测值。
第四步、构建数据补全模型。
结合第三步获得的补全模型的输入，构建数据补全模型。整个数据补全模型包括基于空间注意力机制的编码器模块、基于时间注意力机制的解码器模块、和基于时间卷积网络的周期性特征提取模块，各个模块的结构及训练机制如下：
(1)基于空间注意力机制的编码器模块：是由全连接网络和双向长短期记忆网络组合成的模型，通过全连接网络对输入序列进行特征提取和映射，降低输入序列的维度。然后使用双向长短期记忆网络对序列进行编码，编码的同时，利用空间注意力机制捕获其它路段对目标路段的影响。
基于空间注意力机制的编码器模块的实现细节：首先将正向临近性输入FFS和反向临近性输入FBS通过全连接网络进行映射，然后将降维后的向量输入Bi-LSTM网络中，通过空间注意力机制给不同的路段分配权重系数，然后输入Bi-LSTM单元中，在更新Bi-LSTM单元的隐藏层输出时，同时加入第二步得到的空间维度影响衰减性矩阵，获取编码器的输出。
(2)基于时间注意力机制的解码器模块：由多层长短期记忆网络组合，将编码器的输出作为输入，通过解码过程获取最终的缺失数据补全值。
基于时间注意力机制的解码器模块实现细节：将编码器模块的输出作为输入，通过时间注意力机制捕获不同时间点和目标时间点的相关性程度并分配权重系数，然后输入LSTM单元中，在更新LSTM单元的隐藏层输出时，同时加入第二步得到的时间维度影响衰减性矩阵，获取解码器的输出。
(3)基于时间卷积网络的周期性特征提取模块：由多层时间卷积网络构成的模块。通过对周期性数据特征的提取，获取历史数据中、同一个传感器、同一个时间段车流量的变化规律，然后将提取到的特征输出。
实现细节：首先将正向周期性输入FFL和反向周期性输入FBL通过全连接网络进行映射，将输出的两个映射向量进行拼接，然后用基于无因果卷积的时间卷积网络对周期性特征进行提取。
第五步、对第二步处理后的数据集进行划分，按6:2:2的比例划分为训练集、验证集和测试集。在训练集上对模型进行训练获取最优的参数，在验证集上对当前最优参数组合下模型的效果进行验证，最后在测试集上测试模型最终的补全效果。使用训练集数据对数据补全模型进行预训练，对模型的参数进行初始化，提前优化基于时空注意力机制的数据补全模型的参数，避免在整体训练时将参数优化到局部最优点。
第六步、在第五步获得的带有初始化参数的模型上，使用训练集和验证集数据对第四步构建的数据补全模型同时进行整体性训练，获取数据补全模型最优的参数组合：
将预处理后的数据分别输入到数据补全模型相应的模块中，同时对所有模块进行整体性训练。计算每次训练后的补全值和车流量数据的真值的损失函数值，将模型的参数训练到目标值。根据模型在训练集、验证集上的效果，不断调试模型的超参数，在减小过拟合的条件下提高补全精度。在使用验证集时，将数据补全模型的学习率设置为0，防止数据泄露的发生。
所述的输入数据包括：正向临近性输入
(t时刻前t1个时间间隔的车流量数据)、反向临近性输入
(t时刻后t1个时间间隔的车流量数据)、正向周期性输入
(t时刻前t2天内所有同一时刻的车流量数据)、反向周期性输入
(t时刻后t2天内所有同一时刻的车流量数据)、时间维度影响衰减性矩阵
空间维度影响衰减性矩阵
缺失点位置信息矩阵
经过一次迭代后，得到的是经过一次补全操作之后的车流量数据。将这次迭代后的数据作为下一次迭代的输入，之前缺失点虽然有了补全值，但是由于标签还是表示缺失，后续迭代过程中，目标还是对这些缺失点进行数据补全，但是由于已经存在相对接近真值的数据，提供了先验知识，可以提升模型收敛的速度以及补全精度。
第七步、使用测试集利用第六步训练好的数据补全模型进行车流量数据补全。具体如下：
输入数据为：正向临近性输入
反向临近性输入
正向周期性输入
反向周期性输入
时间维度影响衰减性矩阵
空间维度影响衰减性矩阵
缺失点位置信息矩阵
通过第六步的数据补全模型得到缺失的车流量数据的补全值，和第二步进行丢失处理后得到的验证值进行对比，验证模型的补全效果。
进一步的，所述第一步中，预处理的具体过程为：
(1)时间粒度划分：将所有车流量数据按k分钟的时间粒度处理为每k分钟的车流量数据；
(2)对数据进行标准化：采用最小值和最大值对车流量数据进行标准化，公式如下：
其中，x表示原始值，xmin表示原始值的最小值，xmax表示原始值的最大值，max为归一化的上限值，min为归一化的下限值，[min,max]表示归一化后的区间，x*为标准化后的结果。
进一步的，所述第四步中，基于时空注意力机制的编码器模块、解码器模块的计算过程如下：
在基于空间注意力机制的编码器模块中，使用注意力机制提取不同路段数据之间的空间相关性，公式如下：
Zt＝ReLU(WeZS+be)
其中，ReLU是选用的激活函数，We，Wl，Ul，bl模型训练过程中不断更新的参数，“.；.”表示张量拼接操作。βt表示最终获得的包含空间关联性信息的权重系数。
然后加入空间维度影响衰减性矩阵来捕获空间距离对空间相关性的影响，公式如下：
其中，
表示t时刻的空间相关性衰减因子，ht-1表示上一时刻的隐藏层状态。
在基于时间注意力机制的解码器模块中，通过注意力机制捕获不同时刻和当前时刻之间的时间相关性，公式如下：
其中，st-1表示LSTM单元的前一时刻的隐藏状态，ct-1表示LSTM单元前一时刻的cell状态，
Wd、Ud表示的是模型在训练过程中不断学习更新的参数，.；.表示向量连接操作，
表示的就是第i个编码器状态在对当前时刻的缺失值进行补全时的权重系数，也就是在时间维度上，其他时刻与当前时刻的时间关联性强度。
进一步的，所述第六步中，计算每次迭代所得到的车流量补全值和第二步中保存的车流量数据真实值的均方误差MAE，使用Adam方法最小化MAE。
其中，x′j表示第j个缺失点的车流量数据真实值，xj表示第j个缺失点的车流量数据补全值，n表示总的缺失点个数。
与现有技术相比，本发明的有益效果：
首先，对交通数据空间相关性特征的捕获上的改进，以往的方法在利用数据的空间相关性时，通常都是考虑临近路段对当前路段的影响，同时没有考虑空间相关性随着时间的变化而动态变化，本发明通过注意力机制的方式，捕获了路网中所有的路段在当前时刻对路网交通状态的影响程度大小，并在不同时刻重新捕获空间相关性信息，大幅提高了数据补全的精度。
其次，考虑到交通数据的时序性，不同时刻的交通数据对当前时刻的数据影响程度是不一样的，本发明通过时间注意力机制捕获这种不一致的时间相关性信息，在对当前缺失数据补全时保留最有效的信息，提升了模型的补全效果。
最后，在利用时空注意力机制捕获交通数据的时空相关性同时，考虑了数据之间的相关性受到空间距离和时间间隔的增大而衰减，加入了时空衰减性矩阵，提高了补全精度。本发明的方法不仅大幅提高低缺失率车流量数据的补全精度，而且能够在数据缺失率较高的情况下达到很好的补全效果。
附图说明
图1是本发明涉及的补全模型结构图。
图2是数据缺失率为20％的缺失率补全结果与真实值的对比图。
图3是数据缺失率为50％的缺失率补全结果与真实值的对比图。
图4是数据缺失率为80％的缺失率补全结果与真实值的对比图。
具体实施方法
下面将结合具体实施例和附图对本发明的技术方案进行进一步的说明。
一种基于时空注意力机制的交通缺失数据补全方法，步骤如下：
第一步，将车流量数据预处理
(1)时间粒度划分：将所有车流量数据按5分钟的时间粒度处理为每5分钟的车流量数据；
(2)对数据进行标准化：采用最小值最大值对车流量数据进行标准化，公式如下：
其中，x表示原始值，xmin表示原始值的最小值，xmax表示原始值的最大值，max为归一化的上限值，min为归一化的下限值，[min,max]表示归一化后的区间，x*为标准化后的结果。
第二步，将预处理后的数据进行数据点丢失处理，采用随机数的方法，分别按20％、50％和80％的数据缺失率处理数据，将随机数对应的数据点设置为数据缺失点，保存缺失点对应的车流量数据真实值用来验证数据补全模型最终的补全效果。
同时，结合缺失点的位置信息构建时空相关性衰减矩阵。当序列数据中存在缺失值时，利用其它存在观测值的点的信息来对当前缺失点补全时，由于不同观测点和当前点之间时间间隔和空间距离的增大，其它观测点的信息对当前缺失点的补全产生的作用会随之衰减，这会影响最终的补全精度。通过构建时空相关性衰减矩阵来捕获相关性的衰减。
第三步、模型的输入由周期性输入和临近性输入组成：
临近性输入序列包括正向临近性输入序列和反向临近性输入序列。正向临近性输入序列定义为：
其中LF表示模型需要的正向临近性输入数据时间观测窗口的长度，
表示t时刻，长度为LF的时间序列车流量观测值。
反向临近性输入序列定义为：
其中LB表示模型需要的反向临近性输入数据时间观测窗口的长度，
表示t时刻，长度为LB的时间序列车流量观测值。
周期性输入序列包括正向周期性输入序列和反向周期性输入序列。正向周期性输入序列定义为：
其中LF表示模型需要的正向周期性输入数据时间观测窗口的长度，n表示模型输入所需要的周期数，ft,j表示在t时刻的周期数据集合内第j个周期的观测值。
反向周期性输入序列定义为：
其中LB表示模型需要的正向周期性输入数据时间观测窗口的长度，n表示模型输入所需要的周期数，ft,j表示在t时刻的周期数据集合内第j个周期的观测值。
第四步、结合第三步获得的补全模型的输入，构建数据补全模型。整个数据补全模型包括基于空间注意力机制的编码器模块、基于时间注意力机制的解码器模块、和基于时间卷积网络的周期性特征提取模块，各个模块的结构及训练机制如下：
(1)基于空间注意力机制的编码器模块：是由全连接网络和双向长短期记忆网络组合成的模型，通过全连接网络对输入序列进行特征提取和映射，降低输入序列的维度。然后使用双向长短期记忆网络对序列进行编码，编码的同时，利用空间注意力机制捕获其它路段对目标路段的影响。
基于空间注意力机制的编码器模块的实现细节：首先将正向临近性输入FFS和反向临近性输入FBS通过全连接网络进行映射，然后将降维后的向量输入Bi-LSTM网络中，通过空间注意力机制给不同的路段分配权重系数，然后输入Bi-LSTM单元中，在更新参数时，加入空间维度衰减性矩阵，获取编码器的输出。
(2)基于时间注意力机制的解码器模块：由多层长短期记忆网络组合，将编码器的输出作为输入，通过解码过程获取最终的缺失数据补全值。
基于时间注意力机制的解码器模块实现细节：将编码器模块的输出作为输入，通过时间注意力机制捕获不同时间点和目标时间点的相关性程度并分配权重系数，同时，加入时间维度衰减性矩阵，获取解码器的输出。
(3)基于时间卷积网络的周期性特征提取模块：由多层时间卷积网络构成的模块。通过对周期性数据特征的提取，获取历史数据中、同一个传感器、同一个时间段车流量的变化规律，然后将提取到的特征输出。实现细节：首先将正向周期性输入FFL和反向周期性输入FBL通过全连接网络进行映射，将输出的两个映射向量进行拼接，然后用基于无因果卷积的时间卷积网络对周期性特征进行提取。
第五步、对第二步处理后的数据集进行划分，按6:2:2的比例划分为训练集、验证集和测试集。在训练集上对模型进行训练获取最优的参数，在验证集上对当前参数组合下模型的效果进行验证，最后在测试集上测试模型最终的补全效果。使用训练集数据对模型进行预训练，提前优化基于时空注意力机制的数据补全模型的参数，避免在整体训练时将参数优化到局部最优点。
第六步、在第五步获得的带有初始化参数的模型上，使用训练集和验证集数据对第四步构建的数据补全模型进行整体性训练，获取模型最优的参数组合(在训练时，设置最大迭代次数为1000，学习率为0.001)：
将第三步获得的输入数据分别输入到相应的模块中，同时对所有模块进行整体性训练。通过每次训练后的补全值和车流量数据的真实值计算损失函数值，将模型的参数训练到目标值。根据模型在训练集、验证集上的效果，不断调试模型的超参数，在减小过拟合的条件下提高补全精度。在使用验证集时，将模型的学习率设置为0，防止数据泄露的发生。训练过程中，计算每次迭代所得到的车流量数据补全值和第二步中保存的车流量数据真值的MAE(均方误差)，使用Adam方法最小化MAE。
其中，x′j表示第j个缺失点的车流量数据真实值，xj表示第j个缺失点的车流量数据补全值，n表示总的缺失点个数。
第七步、使用测试集利用第六步训练好的模型进行车流量数据补全。
图2是数据缺失率为20％的补全结果与真实值的对比图，模型补全结果与车流量真实值的均方误差MAE是19.88。
图3是数据缺失率为50％的补全结果与真实值的对比图，模型补全结果与车流量真实值的均方误差MAE是20.87。
图4是数据缺失率为80％的补全结果与真实值的对比图，模型补全结果与车流量真实值的均方误差MAE是25.82。
以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。
Claims (4)
1.一种基于时空注意力机制的交通缺失数据补全方法，其特征在于，包括以下步骤：
第一步、对原始数据进行预处理
获取所有车流量数据作为原始数据，对原始数据进行预处理，将数据按k分钟的时间间隔做聚合操作，同时去除异常值并进行数据的标准化处理；
第二步、根据数据的不同缺失模式处理数据
对第一步预处理后的数据进行数据点丢失处理，构建带有缺失点的数据集，记录缺失点所在的位置信息，同时保存缺失点对应的车流量数据真实值，作为验证值，用来验证数据补全模型的补全效果；
同时，结合缺失点所在的位置信息构建时空相关性衰减矩阵；当数据中存在缺失值时，利用其它存在观测值的点的信息来对当前缺失点补全时，通过构建时空相关性衰减矩阵来捕获相关性的衰减，其中时空相关性衰减矩阵包括时间维度影响衰减性矩阵、空间维度影响衰减性矩阵；
时间维度影响衰减性矩阵定义如下：
其中，
表示第i个路段，t时刻的观测点和它时间上距离最近且存在观测值的点之间的时间间隔；Tt表示t时刻观测点在整个时间序列中的时刻信息；
空间维度影响衰减性矩阵定义如下：
其中，
表示第i个路段，t时刻的观测点和它空间上距离最近且存在观测值的点之间的空间距离，Li表示第i个路段在整个路网中所在的位置信息；
第三步、定义补全模型的输入，其输入由周期性输入和临近性输入组成：
所述临近性输入序列包括正向临近性输入序列和反向临近性输入序列：
正向临近性输入序列定义为：
其中，LF表示模型需要的正向临近性输入数据时间观测窗口的长度；
表示t时刻，长度为LF的时间序列车流量观测值；
反向临近性输入序列定义为：
其中，LB表示模型需要的反向临近性输入数据时间观测窗口的长度；
表示t时刻，长度为LB的时间序列车流量观测值；
所述周期性输入序列包括正向周期性输入序列和反向周期性输入序列；
正向周期性输入序列定义为：
其中，LF表示模型需要的正向周期性输入数据时间观测窗口的长度；n表示模型输入所需要的周期数；ft,j表示在t时刻的周期数据集合内第j个周期的观测值；
反向周期性输入序列定义为：
其中，LB表示模型需要的正向周期性输入数据时间观测窗口的长度；n表示模型输入所需要的周期数；ft,j表示在t时刻的周期数据集合内第j个周期的观测值；
第四步、构建数据补全模型；
结合第三步补全模型的输入，构建数据全模型；整个数据补全模型包括基于空间注意力机制的编码器模块、基于时间注意力机制的解码器模块、和基于时间卷积网络的周期性特征提取模块，各个模块的结构及训练机制如下：
(1)基于空间注意力机制的编码器模块：是由全连接网络和双向长短期记忆网络组合成的模型，通过全连接网络对输入序列进行特征提取和映射，降低输入序列的维度；使用双向长短期记忆网络对序列进行编码，编码的同时，利用空间注意力机制捕获其它路段对目标路段的影响；
基于空间注意力机制的编码器模块的实现过程：首先将正向临近性输入FFS和反向临近性输入FBS通过全连接网络进行映射，然后将降维后的向量输入Bi-LSTM网络中，通过空间注意力机制给不同的路段分配权重系数，最后输入Bi-LSTM单元中，在更新Bi-LSTM单元的隐藏层输出时，同时加入第二步得到的空间维度影响衰减性矩阵，获取编码器的输出；
(2)基于时间注意力机制的解码器模块：由多层长短期记忆网络组合，将编码器的输出作为输入，通过解码过程获取最终的缺失数据补全值；
基于时间注意力机制的解码器模块的实现过程：将编码器模块的输出作为输入，通过时间注意力机制捕获不同时间点和目标时间点的相关性程度并分配权重系数，然后输入LSTM单元中，在更新LSTM单元的隐藏层输出时，同时加入第二步得到的时间维度影响衰减性矩阵，获取解码器的输出；
(3)基于时间卷积网络的周期性特征提取模块：由多层时间卷积网络构成的模块；通过对周期性数据特征的提取，获取历史数据中、同一个传感器、同一个时间段车流量的变化规律，然后将提取到的特征输出；
基于时间卷积网络的周期性特征提取模块的实现过程：首先将正向周期性输入FFL和反向周期性输入FBL通过全连接网络进行映射，将输出的两个映射向量进行拼接，用基于无因果卷积的时间卷积网络对周期性特征进行提取；
第五步、将第二步处理后的数据集划分为训练集、验证集和测试集；在训练集上对模型进行训练获取最优参数，在验证集上对当前最优参数组合下模型的效果进行验证，在测试集上测试模型最终的补全效果；使用训练集数据对数据补全模型进行预训练，对模型的参数进行初始化；
第六步、在第五步获得的带有初始化参数的模型上，使用训练集和验证集数据对第四步构建的数据补全模型同时进行整体性训练，获取数据补全模型最优的参数组合：
将预处理后的数据分别输入到数据补全模型相应的模块中，同时对所有模块进行整体性训练；计算每次训练后的补全值和车流量数据的真值的损失函数值，将模型的参数训练到目标值；根据模型在训练集、验证集上的效果，不断调试模型的超参数，在减小过拟合的条件下提高补全精度；在使用验证集时，将数据补全模型的学习率设置为0，防止数据泄露的发生；
所述的输入数据包括：正向临近性输入
表示t时刻前t1个时间间隔的车流量数据；反向临近性输入
表示t时刻后t1个时间间隔的车流量数据；正向周期性输入
表示t时刻前t2天内所有同一时刻的车流量数据；反向周期性输入
表示t时刻后t2天内所有同一时刻的车流量数据；时间维度影响衰减性矩阵
空间维度影响衰减性矩阵
缺失点位置信息矩阵
经过一次迭代后，得到的是经过一次补全操作之后的车流量数据；将这次迭代后的数据作为下一次迭代的输入；
第七步、使用测试集利用第六步训练好的数据补全模型进行车流量数据补全；具体如下：
输入数据为：正向临近性输入
反向临近性输入
正向周期性输入
反向周期性输入
时间维度影响衰减性矩阵
空间维度影响衰减性矩阵
缺失点位置信息矩阵
通过第六步的数据补全模型得到缺失的车流量数据的补全值，和第二步进行丢失处理后得到的验证值进行对比，验证模型的补全效果。
2.根据权利要求1所述的一种基于时空注意力机制的交通缺失数据补全方法，其特征在于，所述第一步中，预处理的具体过程为：
(1)时间粒度划分：将所有车流量数据按k分钟的时间粒度处理为每k分钟的车流量数据；
(2)对数据进行标准化：采用最小值和最大值对车流量数据进行标准化，公式如下：
其中，x表示原始值，xmin表示原始值的最小值，xmax表示原始值的最大值，max为归一化的上限值，min为归一化的下限值，[min,max]表示归一化后的区间，x*为标准化后的结果。
3.根据权利要求1所述的一种基于时空注意力机制的交通缺失数据补全方法，其特征在于，所述第四步中，基于时空注意力机制的编码器模块、解码器模块的计算过程如下：
在基于空间注意力机制的编码器模块中，使用注意力机制提取不同路段数据之间的空间相关性，公式如下：
Zt＝ReLU(WeZS+be)
其中，ReLU是选用的激活函数，We，Wl，Ul，bl模型训练过程中不断更新的参数，“.；.”表示张量拼接操作；βt表示最终获得的包含空间关联性信息的权重系数；
然后加入空间维度影响衰减性矩阵来捕获空间距离对空间相关性的影响，公式如下：
其中，
表示t时刻的空间相关性衰减因子，ht-1表示上一时刻的隐藏层状态；
在基于时间注意力机制的解码器模块中，通过注意力机制捕获不同时刻和当前时刻之间的时间相关性，公式如下：
其中，st-1表示LSTM单元的前一时刻的隐藏状态，ct-1表示LSTM单元前一时刻的cell状态，
Wd、Ud表示的是模型在训练过程中不断学习更新的参数，.；.表示向量连接操作，
表示的就是第i个编码器状态在对当前时刻的缺失值进行补全时的权重系数，也就是在时间维度上，其他时刻与当前时刻的时间关联性强度。
4.根据权利要求1所述的一种基于时空注意力机制的交通缺失数据补全方法，其特征在于，所述第五步中，训练集、验证集和测试集的数据划分比例为6:2:2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110438939.6A CN113094357B (zh) | 2021-04-23 | 2021-04-23 | 一种基于时空注意力机制的交通缺失数据补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110438939.6A CN113094357B (zh) | 2021-04-23 | 2021-04-23 | 一种基于时空注意力机制的交通缺失数据补全方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113094357A true CN113094357A (zh) | 2021-07-09 |
| CN113094357B CN113094357B (zh) | 2022-05-10 |
Family
ID=76679563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110438939.6A Expired - Fee Related CN113094357B (zh) | 2021-04-23 | 2021-04-23 | 一种基于时空注意力机制的交通缺失数据补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113094357B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554105A (zh) * | 2021-07-28 | 2021-10-26 | 桂林电子科技大学 | 一种基于时空融合的物联网缺失数据补全方法 |
| CN113806349A (zh) * | 2021-11-18 | 2021-12-17 | 浙江大学 | 基于多视图学习的时空缺失数据补全方法、装置及介质 |
| CN113821760A (zh) * | 2021-11-23 | 2021-12-21 | 湖南工商大学 | 一种空气数据补全方法、装置、设备及存储介质 |
| CN114154711A (zh) * | 2021-11-30 | 2022-03-08 | 北京世纪新运交通运输科技应用研究所 | 交通信息推荐方法、装置、电子设备及计算机存储介质 |
| CN114385619A (zh) * | 2022-03-23 | 2022-04-22 | 山东省计算中心（国家超级计算济南中心） | 一种多通道海洋观测时序标量数据缺失值预测方法及系统 |
| CN115376309A (zh) * | 2022-06-29 | 2022-11-22 | 华南理工大学 | 一种基于多视角时间矩阵分解的缺失交通数据修复方法 |
| CN115796259A (zh) * | 2022-11-24 | 2023-03-14 | 北京百度网讯科技有限公司 | 模型训练方法、数据处理方法、预测方法及装置、设备 |
| CN116226911A (zh) * | 2023-01-06 | 2023-06-06 | 中电车联信安科技有限公司 | 一种基于车云通信的防轨迹泄露用信息处理方法 |
| CN116244281A (zh) * | 2022-09-28 | 2023-06-09 | 北京百度网讯科技有限公司 | 车道交通流量数据补全及其模型训练方法、装置 |
| CN117009750A (zh) * | 2023-09-28 | 2023-11-07 | 北京宝隆泓瑞科技有限公司 | 一种用于机器学习的甲烷浓度数据补全方法、装置 |
| CN117743859A (zh) * | 2024-02-21 | 2024-03-22 | 北京航空航天大学 | 工业分析模型的训练方法、使用方法及介质 |
| CN117955843A (zh) * | 2024-03-21 | 2024-04-30 | 江西省通信产业服务有限公司 | 用于建筑物hvac系统的物联网数据传输方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622880A (zh) * | 2012-01-09 | 2012-08-01 | 北京捷易联科技有限公司 | 一种交通信息数据修复方法及装置 |
| US20150006068A1 (en) * | 2013-07-01 | 2015-01-01 | Iteris, Inc. | Traffic speed estimation using temporal and spatial smoothing of gps speed data |
| CN110619430A (zh) * | 2019-09-03 | 2019-12-27 | 大连理工大学 | 一种用于交通预测的时空注意力机制方法 |
| CN110782663A (zh) * | 2019-09-30 | 2020-02-11 | 电子科技大学 | 一种结合时空特性的路网交通流量短时预测方法 |
| CN110837888A (zh) * | 2019-11-13 | 2020-02-25 | 大连理工大学 | 一种基于双向循环神经网络的交通缺失数据补全方法 |
| CN112532439A (zh) * | 2020-11-24 | 2021-03-19 | 山东科技大学 | 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法 |
-
2021
- 2021-04-23 CN CN202110438939.6A patent/CN113094357B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622880A (zh) * | 2012-01-09 | 2012-08-01 | 北京捷易联科技有限公司 | 一种交通信息数据修复方法及装置 |
| US20150006068A1 (en) * | 2013-07-01 | 2015-01-01 | Iteris, Inc. | Traffic speed estimation using temporal and spatial smoothing of gps speed data |
| CN110619430A (zh) * | 2019-09-03 | 2019-12-27 | 大连理工大学 | 一种用于交通预测的时空注意力机制方法 |
| CN110782663A (zh) * | 2019-09-30 | 2020-02-11 | 电子科技大学 | 一种结合时空特性的路网交通流量短时预测方法 |
| CN110837888A (zh) * | 2019-11-13 | 2020-02-25 | 大连理工大学 | 一种基于双向循环神经网络的交通缺失数据补全方法 |
| CN112532439A (zh) * | 2020-11-24 | 2021-03-19 | 山东科技大学 | 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHE Z等: "Recurrent neural networks for multivariate time series with missing values", 《SCIENTIFIC REPORTS》 * |
| LI L等: "Missing value imputation for traffic-related time series data based on a multi-view learning method", 《IEEE》 * |
| 邹晓芳: "城市快速路交通流故障数据修复方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554105A (zh) * | 2021-07-28 | 2021-10-26 | 桂林电子科技大学 | 一种基于时空融合的物联网缺失数据补全方法 |
| CN113554105B (zh) * | 2021-07-28 | 2023-04-18 | 桂林电子科技大学 | 一种基于时空融合的物联网缺失数据补全方法 |
| CN113806349A (zh) * | 2021-11-18 | 2021-12-17 | 浙江大学 | 基于多视图学习的时空缺失数据补全方法、装置及介质 |
| CN113821760A (zh) * | 2021-11-23 | 2021-12-21 | 湖南工商大学 | 一种空气数据补全方法、装置、设备及存储介质 |
| CN114154711A (zh) * | 2021-11-30 | 2022-03-08 | 北京世纪新运交通运输科技应用研究所 | 交通信息推荐方法、装置、电子设备及计算机存储介质 |
| CN114385619A (zh) * | 2022-03-23 | 2022-04-22 | 山东省计算中心（国家超级计算济南中心） | 一种多通道海洋观测时序标量数据缺失值预测方法及系统 |
| CN114385619B (zh) * | 2022-03-23 | 2022-07-15 | 山东省计算中心（国家超级计算济南中心） | 一种多通道海洋观测时序标量数据缺失值预测方法及系统 |
| CN115376309A (zh) * | 2022-06-29 | 2022-11-22 | 华南理工大学 | 一种基于多视角时间矩阵分解的缺失交通数据修复方法 |
| CN115376309B (zh) * | 2022-06-29 | 2024-04-26 | 华南理工大学 | 一种基于多视角时间矩阵分解的缺失交通数据修复方法 |
| CN116244281A (zh) * | 2022-09-28 | 2023-06-09 | 北京百度网讯科技有限公司 | 车道交通流量数据补全及其模型训练方法、装置 |
| CN116244281B (zh) * | 2022-09-28 | 2023-11-21 | 北京百度网讯科技有限公司 | 车道交通流量数据补全及其模型训练方法、装置 |
| CN115796259B (zh) * | 2022-11-24 | 2024-03-08 | 北京百度网讯科技有限公司 | 模型训练方法、数据处理方法、预测方法及装置、设备 |
| CN115796259A (zh) * | 2022-11-24 | 2023-03-14 | 北京百度网讯科技有限公司 | 模型训练方法、数据处理方法、预测方法及装置、设备 |
| CN116226911A (zh) * | 2023-01-06 | 2023-06-06 | 中电车联信安科技有限公司 | 一种基于车云通信的防轨迹泄露用信息处理方法 |
| CN116226911B (zh) * | 2023-01-06 | 2023-10-27 | 中电车联信安科技有限公司 | 一种基于车云通信的防轨迹泄漏用信息处理方法 |
| CN117009750A (zh) * | 2023-09-28 | 2023-11-07 | 北京宝隆泓瑞科技有限公司 | 一种用于机器学习的甲烷浓度数据补全方法、装置 |
| CN117009750B (zh) * | 2023-09-28 | 2024-01-02 | 北京宝隆泓瑞科技有限公司 | 一种用于机器学习的甲烷浓度数据补全方法、装置 |
| CN117743859A (zh) * | 2024-02-21 | 2024-03-22 | 北京航空航天大学 | 工业分析模型的训练方法、使用方法及介质 |
| CN117743859B (zh) * | 2024-02-21 | 2024-10-29 | 北京航空航天大学 | 工业分析模型的训练方法、使用方法及介质 |
| CN117955843A (zh) * | 2024-03-21 | 2024-04-30 | 江西省通信产业服务有限公司 | 用于建筑物hvac系统的物联网数据传输方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113094357B (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113094357B (zh) | 一种基于时空注意力机制的交通缺失数据补全方法 | |
| CN111899510B (zh) | 基于发散卷积和gat的智能交通系统流量短期预测方法及系统 | |
| Liu et al. | Accurate prediction scheme of water quality in smart mariculture with deep Bi-S-SRU learning network | |
| CN109255505B (zh) | 一种多模型融合神经网络的短期负荷预测方法 | |
| CN113905391B (zh) | 集成学习网络流量预测方法、系统、设备、终端、介质 | |
| Liu et al. | Time series prediction based on temporal convolutional network | |
| CN111310672A (zh) | 基于时序多模型融合建模的视频情感识别方法、装置及介质 | |
| CN111612243A (zh) | 交通速度预测方法、系统及存储介质 | |
| CN110837888A (zh) | 一种基于双向循环神经网络的交通缺失数据补全方法 | |
| CN109146156B (zh) | 一种用于预测充电桩系统充电量的方法 | |
| CN111191559B (zh) | 基于时间卷积神经网络的架空线预警系统障碍物识别方法 | |
| CN114595874B (zh) | 一种基于动态神经网络的超短期电力负荷预测方法 | |
| CN104268594A (zh) | 一种视频异常事件检测方法及装置 | |
| CN110570035B (zh) | 同时建模时空依赖性和每日流量相关性的人流量预测系统 | |
| CN112949828A (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
| CN107704924B (zh) | 同步自适应时空特征表达学习模型的构建方法及相关方法 | |
| CN116976512B (zh) | 基于图神经网络的无人机集群航迹预测方法 | |
| CN114912666A (zh) | 一种基于ceemdan算法和注意力机制的短时客流量预测方法 | |
| CN111047078A (zh) | 交通特征预测方法、系统及存储介质 | |
| CN114120637A (zh) | 一种基于连续监测器的智慧高速交通流量预测方法 | |
| CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
| CN115376103A (zh) | 一种基于时空图注意力网络的行人轨迹预测方法 | |
| CN116052254A (zh) | 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法 | |
| CN117665825A (zh) | 一种雷达回波外推预报方法、系统及存储介质 | |
| Niu et al. | ALSTM: adaptive LSTM for durative sequential data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220510 |