CN113095575B - 一种基于迁移学习的车流量预测方法和系统 - Google Patents
一种基于迁移学习的车流量预测方法和系统 Download PDFInfo
- Publication number
- CN113095575B CN113095575B CN202110408541.8A CN202110408541A CN113095575B CN 113095575 B CN113095575 B CN 113095575B CN 202110408541 A CN202110408541 A CN 202110408541A CN 113095575 B CN113095575 B CN 113095575B
- Authority
- CN
- China
- Prior art keywords
- time interval
- node
- data point
- current
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013526 transfer learning Methods 0.000 title claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 100
- 230000015654 memory Effects 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 72
- 230000007774 longterm Effects 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012512 characterization method Methods 0.000 claims description 10
- 239000004576 sand Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 3
- 238000012935 Averaging Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000003064 k means clustering Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 206010040844 Skin exfoliation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Remote Sensing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于迁移学习的车流量预测方法,包括步骤:S1、分别读取以时空图为样本的源城市数据集和目标城市数据集,进行数据点建立和任务建立操作,输出一系列源任务和一系列目标任务;S2、处理一系列源任务,通过元训练,从一系列源任务中学习结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0并输出;S3、根据输入的一系列目标任务和结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0,对每个目标任务,根据目标任务的支持集训练时空图预测网络,输出目标任务的查询集内的数据点的预测值,并最终得到目标城市数据集中所有测试样本的预测值。本发明可以得到更为精准的预测值。
Description
技术领域
本发明涉及车流量预测技术领域,特别是涉及一种基于迁移学习的车流量预测方法和系统。
背景技术
时空预测的迁移学习是科研领域的新兴问题,现有的时空预测的迁移学习方法如跨城市迁移学习(RegionTrans)以及基于元学习的时空预测(MetaST)针对网格化的时空数据,网格的一个格点对应城市的一个区域。其中,跨城市迁移学习是根据过去一段时间的训练数据或辅助数据(例如用户访问信息)计算区域匹配函数,并根据区域匹配函数引导目标城市上时空预测网络的训练。基于元学习方法的时空预测,是提取单个区域的长期信息(例如,周期模式)并存储在长期模式记忆中,再使用模型无关元学习算法(MAML),在多个源城市的时空预测任务上进行元训练,习得一组时空预测网络的初始化参数和长期模式记忆,在目标城市的时空预测任务上,从元训练习得的初始化参数出发微调时空预测网络的参数,再结合元训练习得的长期模式记忆进行预测。
以上现有技术存在如下缺点:1、没有针对时空图预测的迁移学习机制,时空图指在不同时间区间有不同图信号的图,由于时空图数据存在图结构这一重要属性,过去的时空预测的迁移学习方法忽视了迁移图结构,无法在时空图预测的迁移学习任务上取得良好结果;2、迁移知识时未考虑不同时间段的时空特性差异,已有方法都是使时空预测网络适应于不同的空间环境(如区域,城市等),但是一个地区在不同时间段存在不同的时空特性,已有方法无法使时空预测网络适应于不同的时间环境(如早晨,周末)。
发明内容
为了弥补上述现有技术的不足,本发明提出一种基于迁移学习的车流量预测方法和系统。
本发明的技术问题通过以下的技术方案予以解决:
一种基于迁移学习的车流量预测方法,包括如下步骤:
S1、读取以时空图为样本的源城市数据集,进行数据点建立和任务建立操作,输出一系列源任务;读取以时空图为样本的目标城市数据集,进行数据点建立和任务建立操作,输出一系列目标任务;
S2、处理所述一系列源任务,通过元训练,从所述一系列源任务中学习结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0并输出;
S3、根据输入的所述一系列目标任务和步骤S2输出的结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0,对每个目标任务,根据所述目标任务的支持集训练时空图预测网络,输出所述目标任务的查询集内的数据点的预测值,处理完所述所有目标任务后得到所述目标城市数据集中所有测试样本的预测值。
一种基于迁移学习的车流量预测系统,包括:
任务建立模块,用于读取以时空图为样本的源城市数据集,进行数据点建立和任务建立操作,输出一系列源任务;读取以时空图为样本的目标城市数据集,进行数据点建立和任务建立操作,输出一系列目标任务;
知识提取模块,用于处理所述一系列源任务,通过元训练,从所述一系列源任务中学习结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0并输出;
微调和预测模块,用于根据输入的所述一系列目标任务和步骤S2输出的结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0,对每个目标任务,根据所述目标任务的支持集训练时空图预测网络,输出所述目标任务的查询集内的数据点的预测值,处理完所述所有目标任务后得到所述目标城市数据集中所有测试样本的预测值。
本发明的有益效果包括:本发明针对时空图预测问题,设计了基于迁移学习的时空图预测方法,同时设计了能适应于不同时间环境的时空图预测的迁移学习机制,本发明方法的预测结果更精准。
附图说明
图1是本发明具体实施方式中的基于迁移学习的车流量预测系统示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示,一种基于迁移学习的车流量预测系统包括三个模块:任务建立模块、知识提取模块和微调与预测模块,其对车流量的预测方法包括如下步骤:
S1、读取以时空图(时空图指在不同时间区间有不同图信号的图)为样本的源城市数据集,进行数据点建立和任务建立操作,输出一系列源任务;读取以时空图为样本的目标城市数据集,进行数据点建立和任务建立操作,输出一系列目标任务;
S2、处理所述一系列源任务,通过元训练,从所述一系列源任务中学习结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0并输出;
S3、根据输入的所述一系列目标任务和步骤S2输出的结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0,对每个目标任务,根据所述目标任务的支持集训练时空图预测网络,输出所述目标任务的查询集内的数据点的预测值,处理完所述所有目标任务后得到所述目标城市数据集中所有测试样本的预测值。
整个流程的输入是源城市(一个或多个源城市均可)数据集及目标城市(一个或多个目标城市均可)数据集。对于时空图预测任务,一个样本包含图G(从一个城市抽象)以及在当前时间区间t及过去τ-1个时间区间(time interval)的图信号Xt-τ+1:t∈Rτ×N×D,其中N是图上的节点个数,D是图信号的通道个数。样本的真实值(即标签值)为未来τ′个时间区间的图信号Xt+1:t+τ′∈Rτ′×N×D,本申请设定是目标城市数据集中只有一小部分(比如前3天)样本带有真实值,其他都是待预测的测试样本,源城市数据集的所有样本都带有真实值。整个流程的输出是以上测试样本的预测值,预测精准度的评价指标是测试样本的预测值和真实值的平均绝对误差(MAE)和均方根误差(RMSE)。
以下进行详细。需要说明的是,以下表述中,若“城市”前没有“源”或“目标”的限定,则指代源城市或目标城市。
一、任务建立模块
任务建立模块读取源城市数据集,输出一系列源任务:源任务1,…,源任务M。任务建立模块读取目标城市数据集,输出一系列目标任务:目标任务1,…,目标任务M’。
任务建立模块的内部操作如下:
1、数据点建立
对于图Gc(从城市c抽象)中的节点u,在时间区间t我们建立数据点为其中,Gu表示以节点u的局部子图(节点u的1阶和2阶邻居及节点u组成的子图),表示局部子图Gu在时间区间t及过去τ-1个时间区间的图信号。
对图Gc的所有节点在所有时间区间建立数据点,形成数据点集合其中,是图Gc所有节点的集合,是城市c样本涵盖的时间区间的集合,若节点u上未来τ′个时间区间的信号Xt+1:t+τ′,u是已知的,则称数据点是带有真实值(标签值)的。
对于所有城市,产生多个数据点集合。
2、任务建立
我们把拆成其中是位于一周中的第i个小时(一周中共168个小时)的时间区间组成的集合,∩表示集合的交,若子数据集为空集,则舍弃;若子数据集为非空集,然后再将拆分为支持集和查询集拆分方法根据输入是源城市数据集还是目标城市数据集而异。
将所有建立的源任务进行编号,得到源任务1,…,源任务M,其中,在源城市数据集的所有子数据集都为非空集的条件下,M的最大可能值为168×源城市个数。
将所有建立的目标任务进行编号,得到目标任务1,…,目标任务M’,其中,在目标城市数据集的所有子数据集都为非空集的条件下,M′的最大可能值为168×目标城市个数。
至此,任务建立模块操作完成。
二、知识提取模块
知识提取模块的输入为一系列源任务:源任务1,…,源任务M,输出为元知识:结构记忆Ms(即结构记忆矩阵Ms)、长期模式记忆Mp(即长期模式记忆矩阵Mp)、时空图预测网络的初始化参数Θ0。
知识提取模块的内部操作如下:
1、生成结构类别标签:这一步的输入是所有源任务,输出结构类别标签。
对于源城市c的图Gc中的节点u,在时间区间t(属于中前80%的时间区间),考虑与其地理位置最近的Nl个邻居节点,计算节点u在时间区间t的结构特征若图信号的通道个数为1,根据皮尔逊相关系数计算结构特征第k个维度
其中τ为时间步长(本例的实验中,τ=1小时/5分钟=12),Iu(k)是节点u的第k个邻居(按照邻居与节点u的距离排序)节点的索引,和分别是节点u和节点Iu(k)在时间区间t0的信号,和分别是节点u和节点Iu(k)在时间区间t及过去τ-1个时间区间信号的平均值;
这样遍历所有原任务,得到结构特征集合,使用聚类算法(例如HAC层次凝聚聚类算法、K均值聚类算法、最大最小距离聚类算法,本例中采用K均值聚类算法),将结构特征集合中的所有结构特征分成Ks个类别,分类结果即作为结构特征对应节点在结构特征对应时间区间的结构类别标签。
2、生成长期模式类别标签(和“1、生成结构类别标签”为并列步骤):这一步的输入是所有源任务,输出长期模式类别标签。
使用聚类算法(例如HAC层次凝聚聚类算法、K均值聚类算法、最大最小距离聚类算法,本例中采用K均值聚类算法),根据长期模式特征将所有源城市的图中的所有节点分成Kp个类别,分类结果即作为该节点的长期模式类别标签。
3、随机初始化结构记忆Ms、长期模式记忆Mp、时空图预测网络的参数的初始化值Θ0,其中Ks和Kp分别是结构类别和长期模式类别数,所以Ms和Mp的每一行存的分别是每一种结构类别的信息和每一种长期模式类别的信息,Ds和Dp都是超参数(本例的实验中Ds和Dp均设置为8)。所述时空图预测网络的参数包括图卷积网络(GCN)的参数、局部结构学习卷积(local SLC)的参数、长短期记忆神经网络(LSTM)、三个用于向量变换的全连接层的参数以及输出层的参数。
4、初始化外层损失函数Lout为0。从M个源任务中随机挑选N1个任务(本例的实验中取N1为3),再取其中第一个任务。
5、初始化时空图预测网络的参数Θ为Θ0。
6、从当前任务的支持集中随机挑选N2个数据点(本例的实验中取N2为128),再取其中第一个数据点;
7.1、取时间区间t-τ+1;
7.3、计算局部子图Gu在时间区间t0的注意力权重矩阵并利用结构记忆Ms更新局部子图Gu在时间区间t0的动态局部图结构具体为:首先计算局部子图Gu在时间区间t0的注意力权重矩阵对于局部子图Gu中的节点v,设中对应节点v的行向量为则的第l个元素的计算方法为:
其中,FC3代表全连接网络,作用是将向量变换到Mp的行向量所在空间,FC3与FC1、FC2均不共享参数。Mp(m)和Mp(m′)分别是长期模式记忆的第m行和第m′行。·代表向量内积。
8、若尚未遍历完N2个数据点,则取下一个数据点,回到第7步;否则进行下一步;
9、以N2个数据点的预测值与真实值的平方误差的平均值为内层损失函数,针对内层损失函数,使用梯度下降训练一步时空图预测网络的参数Θ。
10、循环执行第6-9步Nin-1次(本实例的实验中取Nin为1)。
11、从当前任务的查询集中随机挑选N2个数据点,再取其中第一个数据点;
12、以当前数据点为输入,通过本发明所用的时空图预测网络,输出查询集中的当前数据点的预测值,当前时间区间当前局部子图中的所有节点的结构类别预测的概率分布,和当前数据点的长期模式类别预测的概率分布。具体为:设当前数据点为则本发明所用的时空图预测网络的具体操作为:
12.1、取时间区间t-τ+1;
12.3、计算局部子图Gu在时间区间t0的注意力权重矩阵并利用结构记忆Ms更新局部子图Gu在时间区间t0的动态局部图结构具体为:首先计算局部子图Gu在时间区间t0的注意力权重矩阵对于局部子图Gu中的节点v,设中对应节点v的行向量为则的第l个元素的计算方法为:
其中,FC3代表全连接网络,作用是将向量变换到Mp的行向量所在空间,FC3与FC1、FC2均不共享参数。Mp(m)和Mp(m′)分别是长期模式记忆的第m行和第m′行。·代表向量内积。
12.9以计算得到的作为当前时间区间t当前局部子图Gu中的节点v的结构类别预测的概率分布,以计算得到的注意力权重向量作为当前数据点的长期模式类别预测的概率分布,最终输出当前任务的查询集中的当前数据点的预测值当前时间区间t当前局部子图Gu中的节点v的结构类别预测的概率分布,和当前数据点的长期模式类别预测的概率分布。
12.10根据当前数据点的预测值和真实值,当前时间区间当前局部子图中的所有节点的结构类别预测的概率分布和第1步得到的结构类别标签,当前数据点的长期模式类别预测的概率分布和第2步得到的长期模式类别标签,更新外层损失函数Lout,具体操作为:
通过和第2步得到的长期模式类别标签,用交叉熵损失函数计算当前数据点的长期模式类别预测误差,对局部子图Gu中每个节点v,通过和第1步得到的结构类别标签,用交叉熵损失函数计算节点v的结构类别预测误差,并计算局部子图Gu中所有节点的结构类别预测误差的平均值,作为当前数据点的结构类别预测误差。
13、若尚未遍历完N2个数据点,则取下一个数据点,回到第12步;否则进行下一步;
14、循环执行第11-13步Nin-1次,(实验中取Nin为1);
15、若尚未遍历完N1个任务,则取下一个任务,回到第5步;否则进行下一步;
16、针对外层损失函数Lout,通过亚当优化算法(Adam optimization algorithm)训练结构记忆Ms、长期模式记忆Mp、时空图预测网络的初始化参数Θ0。
17、循环执行第4-16步Nout-1次(本例的实验中取Nout为20000)。
至此,知识提取完成,输出元知识:结构记忆Ms,长期模式记忆Mp和时空图预测网络的初始化参数Θ0。
三、微调与预测模块
微调与预测模块的输入为元知识(结构记忆Ms,长期模式记忆Mp和时空图预测网络的初始化参数Θ0)和一系列目标任务:目标任务1,…,目标任务M′,输出所有目标任务的查询集中所有数据点的预测值,即所有测试样本的预测值。
微调与预测模块的内部操作如下:
1、取目标任务1;
2、初始化时空图预测网络的参数Θ为Θ0;
3、若当前任务的支持集为空,则不训练时空图预测网络的参数,直接进行下一步;否则,从当前任务的支持集中随机挑选N2个数据点(本例的实验中取N2为128),再取其中第一个数据点;
4.1、取时间区间t-τ+1;
4.3、计算局部子图Gu在时间区间t0的注意力权重矩阵并利用结构记忆Ms更新局部子图Gu在时间区间t0的动态局部图结构具体为:首先计算局部子图Gu在时间区间t0的注意力权重矩阵对于局部子图Gu中的节点v,设中对应节点v的行向量为则的第l个元素的计算方法为:
其中FC3代表全连接网络,作用是将向量变换到Mp的行向量所在空间,FC3与FC1、FC2均不共享参数。Mp(m)和Mp(m′)分别是长期模式记忆的第m行和第m′行。·代表向量内积。
5、若尚未遍历完N2个数据点,则取下一个数据点,回到第4步;否则进行第6步;
6、以N2个数据点的预测值与真实值的平方误差的平均值为内层损失函数,针对内层损失函数,使用梯度下降训练一步时空图预测网络的参数Θ。
7、循环执行第3-6步Nin′-1次。(实验中取Nin′为30)
8、选取当前任务的查询集中的第一个数据点。
9.1、取时间区间t-τ+1;
9.3、计算局部子图Gu在时间区间t0的注意力权重矩阵并利用结构记忆Ms更新局部子图Gu在时间区间t0的动态局部图结构具体为:首先计算局部子图Gu在时间区间t0的注意力权重矩阵对于局部子图Gu中的节点v,设中对应节点v的行向量为则的第l个元素的计算方法为:
其中FC3代表全连接网络,作用是将向量变换到Mp的行向量所在空间,FC3与FC1、FC2均不共享参数。Mp(m)和Mp(m′)分别是长期模式记忆的第m行和第m′行。·代表向量内积。
10、若尚未遍历完当前任务的查询集中的所有数据点,则取当前任务的查询集中的下一个数据点,回到第9步,否则,已得到当前任务的查询集中所有样本的预测值,进行下一步。
11、若尚未遍历完M′个目标任务,则取下一个目标任务,继续执行第2-10步。否则,结束操作。
至此,已得到所有目标任务的查询集中所有数据点的预测值,即所有测试样本的预测值。
四、实验
本实验中采用“时空同步图卷积神经网络用于交通预测”(参见Song C,Lin Y,GuoS,et al.Spatial-temporal synchronous graph convolutional networks:A newframework for spatial-temporal network data forecasting[C]//Proceedings ofthe AAAI Conference on Artificial Intelligence.2020,34(01):914-921.)中收集和公开的加州高速车流数据集。该数据集包括加州4个地区(地区3,地区4,地区7,地区8)部分路段部分时间段的高速车流数据,数据特性如下表1所示:
表1:
数据来源 | 节点个数 | 边个数 | 时间区间个数 | 平均车流量 |
地区3(PEMS03) | 358 | 547 | 26208 | 179.26 |
地区4(PEMS04) | 307 | 340 | 16992 | 211.70 |
地区7(PEMS07) | 883 | 866 | 28224 | 308.52 |
地区8(PEMS08) | 170 | 295 | 17856 | 230.68 |
本发明的实验以地区3、4和7为源城市,地区8为目标城市,采用本发明上述的预测方法进行预测,并与采用现有的“时空图预测网络”和“基于元学习方法的时空预测(MetaST)(参见H.Yao,Y.Liu,Y.Wei,X.Tang,and Z.Li,“Learning from multiplecities:A meta-learning approach for spatial-temporal prediction”in The WorldWide Web Conference,2019,pp.2181–2191.)”进行对比,下表2中的结果为在目标城市所有测试样本上的预测结果和真实值的误差:
表2:
由上表2可知,本发明的预测结果比现有的“不基于迁移学习的时空图预测网络”和“基于元学习方法的时空预测(MetaST)”都要更精准。
说明:
1、表2中所有方法共有的参数都设置为一致。
2、“基于元学习方法的时空预测(MetaST)”基于其原文操作并做如下修改:其他操作遵循原文,但有两点不同,一是将原文的“卷积-长短期记忆神经网络”替换为时空图预测网络A,时空图预测网络A是本发明所用的时空图预测网络去掉和结构记忆交互的部分(即两个全连接层)后留下的部分;二是数据处理不同,原文对源城市数据集和目标城市数据集进行处理,得到的数据点是图像,这种操作处理不了时空图数据,而本发明根据任务建立模块的第一步“数据点建立”操作处理,得到的数据点是局部子图和局部子图上的信号。
3、“不基于迁移学习的时空图预测网络”,指不借助从源城市数据集中提取的元知识,直接在目标城市数据集的训练集上训练时空图预测网络B的参数,然后在目标城市数据集的测试集上用训练后的时空图预测网络B进行预测。其中时空图预测网络B是本发明所用的时空图预测网络去掉和结构记忆及长期模式记忆交互的部分(即三个全连接层),并调整输出层的参数维度后的网络。此外,我们会按照任务建立模块的第一步“数据点建立”的操作,处理每个目标城市数据集,对每个目标城市数据集产生一个数据点集合。时空图预测网络B的输入和本发明所用的时空图预测网络一样,是一个或一批数据点。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于迁移学习的车流量预测方法,其特征在于,包括如下步骤:
S1、读取以时空图为样本的源城市数据集,进行数据点建立和任务建立操作,输出一系列源任务;读取以时空图为样本的目标城市数据集,进行数据点建立和任务建立操作,输出一系列目标任务;
S2、处理所述一系列源任务,通过元训练,从所述一系列源任务中学习结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0并输出;
S3、根据输入的所述一系列目标任务和步骤S2输出的结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0,对每个目标任务,根据所述目标任务的支持集训练时空图预测网络,输出所述目标任务的查询集内的数据点的预测值,处理完所有目标任务后得到所述目标城市数据集中所有测试样本的预测值;
所述源城市数据集和所述目标城市数据集中的样本都包含图G以及在当前时间区间t及过去τ-1个时间区间的图信号Xt-τ+1:t∈Rτ×N×D,其中N是图上的节点个数,D是图信号的通道个数;所述样本的真实值为未来τ′个时间区间的图信号Xt+1:t+τ′∈Rτ′×N×D;其中,所述目标城市数据集中的一部分样本带有真实值,其他则是待预测的测试样本,所述源城市数据集的所有样本都带有真实值;
所述步骤S1具体包括:
S1.1、数据点建立:
对于所有源城市和目标城市,产生多个数据点集合;
S1.2、任务建立:
对于所有源城市和目标城市中的每个城市c,按照数据点所在时间范围将数据点集合进行拆分成一系列子数据集其中: 是位于一周中的第i个小时的时间区间组成的集合,∩表示集合的交,若子数据集为空集,则舍弃,若子数据集为非空集,则再将拆分为支持集和查询集
以优化时空图预测网络在支持集内的数据点上预测的平方误差的平均值为目标,建立所述源任务和所述目标任务,将所有建立的源任务进行编号,得到源任务1~源任务M,将所有建立的目标任务进行编号,得到目标任务1~目标任务M′;
所述步骤S2包括如下步骤:
S2.1、生成结构类别标签:对输入的所有源任务进行处理,输出结构类别标签,具体为:
遍历所有源任务,得到结构特征集合,使用聚类算法,将所述结构特征集合中的所有结构特征分成Ks个类别,分类结果即作为结构特征对应节点在结构特征对应时间区间的结构类别标签;
S2.2、生成长期模式类别标签:对输入的所有源任务进行处理,输出长期模式类别标签,具体为:
使用聚类算法,根据长期模式特征将所有源城市的图中的所有节点分成Kp个类别,分类结果即作为该节点的长期模式类别标签;
S2.4、初始化外层损失函数Lout为0,从M个源任务中随机挑选N1个任务,再取其中第一个任务;
S2.5、初始化时空图预测网络的参数Θ为Θ0;
S2.6、从当前任务的支持集中随机挑选N2个数据点,再取其中第一个数据点;
S2.7.1、取时间区间t-τ+1;
S2.8、若尚未遍历完N2个数据点,则取下一个数据点,回到第S2.7步;否则进行第S2.9步;
S2.9、以当前任务的支持集中的N2个数据点的预测值与真实值的平方误差的平均值为内层损失函数,针对所述内层损失函数,使用梯度下降训练一步时空图预测网络的参数Θ;
S2.10、循环执行第S2.6-S2.9步Nin-1次,其中Nin为≥1;
S2.11、从当前任务的查询集中随机挑选N2个数据点,再取其中第一个数据点;
S2.12.1~S2.12.8、分别采用与步骤S2.7.1-S2.7.8相同的操作;
S2.12.9、以计算得到的作为当前时间区间t当前局部子图Gu中的节点v的结构类别预测的概率分布,以计算得到的注意力权重向量作为当前数据点的长期模式类别预测的概率分布,最终输出当前任务的查询集中的当前数据点的预测值当前时间区间t当前局部子图Gu中的节点v的结构类别预测的概率分布,和当前数据点的长期模式类别预测的概率分布;
S2.12.10、根据当前数据点的预测值和真实值,当前时间区间当前局部子图中的所有节点的结构类别预测的概率分布和第S2.1步得到的结构类别标签,当前数据点的长期模式类别预测的概率分布和第S2.2步得到的长期模式类别标签,更新外层损失函数Lout;
S2.13、若尚未遍历完N2个数据点,则取下一个数据点,回到第S2.12步;否则进行第S2.14步;
S2.14、循环执行第S2.11-S2.13步Nin-1次,其中Nin≥1;
S2.15、若尚未遍历完N1个任务,则取下一个任务,执行步骤S2.5-S2.14;否则进行第S2.16步;
S2.16、针对外层损失函数Lout,通过亚当优化算法训练结构记忆Ms、长期模式记忆Mp、时空图预测网络的初始化参数Θ0;
S2.17、循环执行第S2.4-S2.16步Nout-1次,输出结构记忆Ms、长期模式记忆Mp和时空图预测网络的初始化参数Θ0。
2.如权利要求1所述的基于迁移学习的车流量预测方法,其特征在于:所述步骤S2.7.3计算局部子图Gu在时间区间t0的注意力权重矩阵并利用结构记忆Ms更新局部子图Gu在时间区间t0的动态局部图结构具体为:
4.如权利要求1所述的基于迁移学习的车流量预测方法,其特征在于:所述步骤S2.12.10根据当前数据点的预测值和真实值,当前时间区间当前局部子图中的所有节点的结构类别预测的概率分布和第S2.1步得到的结构类别标签,当前数据点的长期模式类别预测的概率分布和第S2.2步得到的长期模式类别标签,更新外层损失函数Lout,具体为:
通过和第S2.2步得到的长期模式类别标签,用交叉熵损失函数计算当前数据点的长期模式类别预测误差;对局部子图Gu中每个节点v,通过和第S2.1步得到的结构类别标签,用交叉熵损失函数计算当前时间区间t节点v的结构类别预测误差,并计算当前时间区间t当前局部子图Gu中所有节点的结构类别预测误差的平均值,作为当前数据点的结构类别预测误差;
5.如权利要求1所述的基于迁移学习的车流量预测方法,其特征在于:所述步骤S3具体包括:
S3.1、取目标任务1;
S3.2、初始化时空图预测网络的参数Θ为Θ0;
S3.3、若当前任务的支持集为空,则不训练时空图预测网络的参数,直接进行S3.4;否则,在当前任务的支持集中随机挑选N2个数据点,再取其中第一个数据点;
S3.4、以当前数据点为输入,采用与步骤S2.7.1-2.7.8相同的操作,最终输出当前目标任务的支持集中的当前数据点的预测值;
S3.5、若尚未遍历完N2个数据点,则取下一个数据点,回到第S3.4步;否则进行第S3.6步;
S3.6、以N2个数据点的预测值与真实值的平方误差的平均值为内层损失函数,针对内层损失函数,使用梯度下降训练一步时空图预测网络的参数Θ;
S3.7、循环执行第S3.3-S3.6步Nin′-1次;
S3.8、选取当前任务的查询集中的第一个数据点;
S3.9、以当前数据点为输入,采用与步骤S2.7.1-S2.7.8相同的操作,最终输出当前目标任务的查询集中的当前数据点的预测值;
S3.10、若尚未遍历完当前任务的查询集中的所有数据点,则取当前任务的查询集中的下一个数据点,回到第S3.9步,否则,已得到当前任务的查询集中所有样本的预测值,进行S3.11;
S3.11、若尚未遍历完M′个目标任务,则取下一个目标任务,执行步骤S3.2-S3.10,否则,结束操作,得到所有目标任务的查询集中所有数据点的预测值,即所有测试样本的预测值。
6.如权利要求1所述的基于迁移学习的车流量预测方法,其特征在于:还包括如下步骤:
S4、利用评价指标对步骤S3输出的所述预测值与真实值进行对比评估;其中,所述评价指标为所述预测值和真实值的平均绝对误差和均方根误差中的至少一者。
7.一种用于权利要求1-6任意一项所述的基于迁移学习的车流量预测方法的基于迁移学习的车流量预测系统,其特征在于,包括:
任务建立模块,用于读取以时空图为样本的源城市数据集,进行数据点建立和任务建立操作,输出一系列源任务;读取以时空图为样本的目标城市数据集,进行数据点建立和任务建立操作,输出一系列目标任务;
知识提取模块,用于处理所述一系列源任务,通过元训练,从所述一系列源任务中学习结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0并输出;
微调和预测模块,用于根据输入的所述一系列目标任务和步骤S2输出的结构记忆Ms、长期模式记忆Mp、以及时空图预测网络的初始化参数Θ0,对每个目标任务,根据所述目标任务的支持集训练时空图预测网络,输出所述目标任务的查询集内的数据点的预测值,处理完所述所有目标任务后得到所述目标城市数据集中所有测试样本的预测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110408541.8A CN113095575B (zh) | 2021-04-16 | 2021-04-16 | 一种基于迁移学习的车流量预测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110408541.8A CN113095575B (zh) | 2021-04-16 | 2021-04-16 | 一种基于迁移学习的车流量预测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113095575A CN113095575A (zh) | 2021-07-09 |
CN113095575B true CN113095575B (zh) | 2022-04-29 |
Family
ID=76677916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110408541.8A Active CN113095575B (zh) | 2021-04-16 | 2021-04-16 | 一种基于迁移学习的车流量预测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113095575B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705570B (zh) * | 2021-08-31 | 2023-12-08 | 长沙理工大学 | 一种基于深度学习的少样本目标检测方法 |
CN113947133B (zh) * | 2021-09-17 | 2022-11-08 | 哈尔滨工业大学 | 小样本图像识别的任务重要性感知元学习方法 |
CN113870565B (zh) * | 2021-10-26 | 2022-12-23 | 邢吉平 | 基于迁移学习模型的城市路网未知流量估计方法及系统 |
CN114202028B (zh) * | 2021-12-13 | 2023-04-28 | 四川大学 | 基于mamtl的滚动轴承寿命阶段识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754605A (zh) * | 2019-02-27 | 2019-05-14 | 中南大学 | 一种基于注意力时态图卷积网络的交通预测方法 |
CN110070226A (zh) * | 2019-04-24 | 2019-07-30 | 河海大学 | 基于卷积神经网络与元学习的光伏功率预测方法及系统 |
CN110827544A (zh) * | 2019-11-11 | 2020-02-21 | 重庆邮电大学 | 一种基于图卷积循环神经网络的短时交通流控制方法 |
CN111931978A (zh) * | 2020-06-29 | 2020-11-13 | 南京熊猫电子股份有限公司 | 一种基于时空特性的城市轨道交通客流状态预测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110148296A (zh) * | 2019-04-16 | 2019-08-20 | 南京航空航天大学 | 一种基于深度迁移学习的跨城市交通流量联合预测方法 |
CN110491129A (zh) * | 2019-09-24 | 2019-11-22 | 重庆城市管理职业学院 | 基于时空图的发散卷积循环神经网络的交通流预测方法 |
CN112288156B (zh) * | 2020-10-26 | 2023-03-31 | 哈尔滨工程大学 | 基于元学习和图注意力时空神经网络的空气质量预测方法 |
-
2021
- 2021-04-16 CN CN202110408541.8A patent/CN113095575B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754605A (zh) * | 2019-02-27 | 2019-05-14 | 中南大学 | 一种基于注意力时态图卷积网络的交通预测方法 |
CN110070226A (zh) * | 2019-04-24 | 2019-07-30 | 河海大学 | 基于卷积神经网络与元学习的光伏功率预测方法及系统 |
CN110827544A (zh) * | 2019-11-11 | 2020-02-21 | 重庆邮电大学 | 一种基于图卷积循环神经网络的短时交通流控制方法 |
CN111931978A (zh) * | 2020-06-29 | 2020-11-13 | 南京熊猫电子股份有限公司 | 一种基于时空特性的城市轨道交通客流状态预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113095575A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113095575B (zh) | 一种基于迁移学习的车流量预测方法和系统 | |
CN110675623B (zh) | 基于混合深度学习的短时交通流量预测方法、系统、装置 | |
Chen et al. | Curriculum meta-learning for next POI recommendation | |
CN113762595B (zh) | 通行时间预测模型训练方法、通行时间预测方法及设备 | |
CN111222847B (zh) | 基于深度学习与非监督聚类的开源社区开发者推荐方法 | |
Li et al. | A general framework for unmet demand prediction in on-demand transport services | |
Gammelli et al. | Predictive and prescriptive performance of bike-sharing demand forecasts for inventory management | |
CN111506835A (zh) | 一种融合用户时间特征和个性特征的数据特征提取方法 | |
CN112598165B (zh) | 基于私家车数据的城市功能区转移流量预测方法及装置 | |
CN115204478A (zh) | 一种结合城市兴趣点和时空因果关系的公共交通流量预测方法 | |
CN111052128A (zh) | 用于检测和定位视频中的对象的描述符学习方法 | |
Petrozziello et al. | Distributed neural networks for missing big data imputation | |
Dekhovich et al. | Continual prune-and-select: class-incremental learning with specialized subnetworks | |
CN117494871A (zh) | 一种考虑船舶交互影响的船舶轨迹预测方法 | |
Paliwal et al. | Traffic estimation and prediction via online variational Bayesian subspace filtering | |
CN115080795A (zh) | 一种多充电站协同负荷预测方法及装置 | |
CN118036706A (zh) | 基于图子树差异实现图联邦迁移学习的多任务处理系统 | |
Xiao et al. | A contextual master-slave framework on urban region graph for urban village detection | |
Cruz et al. | Trajectory prediction from a mass of sparse and missing external sensor data | |
Shuai et al. | Relationship analysis of short-term origin–destination prediction performance and spatiotemporal characteristics in urban rail transit | |
Cruz et al. | Location prediction: a deep spatiotemporal learning from external sensors data | |
CN113590971A (zh) | 一种基于类脑时空感知表征的兴趣点推荐方法及系统 | |
CN117436653A (zh) | 一种网约车出行需求的预测模型构建方法和预测方法 | |
CN117271899A (zh) | 一种基于时空感知的兴趣点推荐方法 | |
Ge et al. | Traffic speed prediction with missing data based on TGCN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |