CN112070263A - 基于长短期记忆网络模型的城市人群流动预测方法 - Google Patents
基于长短期记忆网络模型的城市人群流动预测方法 Download PDFInfo
- Publication number
- CN112070263A CN112070263A CN202010670050.6A CN202010670050A CN112070263A CN 112070263 A CN112070263 A CN 112070263A CN 202010670050 A CN202010670050 A CN 202010670050A CN 112070263 A CN112070263 A CN 112070263A
- Authority
- CN
- China
- Prior art keywords
- data
- crowd
- long
- prediction
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000007787 long-term memory Effects 0.000 title claims abstract description 17
- 230000006403 short-term memory Effects 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 4
- 230000000306 recurrent effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于长短期记忆网络模型的城市人群流动预测方法,包括:选择城市人群流动预测的输入参数和输出参数,考虑临近日期的人群流动数据的影响;对于节假日进行标注作为较为重要的人群流动预测影响因子;对于每一天的日期进行标注作为人群流动预测影响因子和日期标注信息;定义输入参数、级联信息以及输出参数之间的模型;运用长短期网络模型对前三年的大理城市人群流动进行训练建模,采用均方根误差计算训练时预测值与真实值的误差,并进行误差反馈;通过网络的训练,建立长短期记忆网络预测模型;载入训练好的模型,进行多步前瞻得到预测结果。本发明针对城市人群流动预测不但提高了预测结果的精度,也具有很好的稳健性。
Description
技术领域
本发明涉及时间序列预测技术领域,特别涉及一种实现周期较长的时间序列预测方法 ——长短期记忆网络
背景技术
对于云南省这种旅游热门城市,尤其是大理、昆明这种热门旅游景点经常会出现人群 “井喷”现象,在节假日期间这种现象更为显著。为防范城市流聚集场所存在的各种安全 隐患,亟需科学有效的预测方法进行人流量预测,及早发现人群流动特征,为区域管理资 源的协调提供决策依据。现有的人群预测方法大多都是利用传统时间序列预测算法或其改 进的算法,进行未来时刻的人群流动量预测,这些方法有着一定的效果,但是还是存在着 预测精度不高,对特殊节假日的预测效果不佳等等问题。
时间序列预测问题也可以称为回归预测问题。因为在进行这样的预测过程时,考虑到 事物发展的延续性,需要利用到过去和现在的时间数据对未来的数据进行拟合,进而推断 出数据的变化趋势。与此同时,通过各种各样的统计办法消除数据出于诸多因素产生的随 机性、偶然性带来的影响也是格外重要。回归预测模型主要分为两类:1)基于传统方法 的回归模型。使用数据变化的趋势来直接模拟和预测未来数据。2)基于神经网络模型方法的回归模型。通过非线性地模拟数据,使得模型能够更好的表达数据的波动和趋势。
基于传统方法的回归模型主要通过对过去数据进行模拟,然后计算预测得到的数据与 当前值进行比较。如果拟合效果很好,就将这种线性贡献权重延伸到未来,计算得到预测 结果。较为常见的传统预测模型有ARIMA模型、VAR模型等。在ARIMA模型中,一般 将在时间跨度上的一系列数据当作一个随机序列,然后需要通过一些统计方法来模拟这个 序列的波动和趋势走向。一旦数据拟合效果良好即模型被认可识别之后,就可以根据序列 的过去和现在的数据来拟合预测未来值
如前所述,非线性模型能够更好地模拟数据的波动和预测数据未来趋势。现在较为流 行的非线性方法是深度学习,因为它能够挖掘到数据深度的信息,使得序列数据的预测更 加地稳健和精准。比如循环神经网络能够很好地解决时间序列预测问题,很大程度上取决 于它具有优良的非线性动力学习特性和理解能力,所以能够很好地学习并且表示序列数据 之间的依赖关系。
长短期记忆网络(LSTM)是一种特殊的循环神经网络,通过独特的门限函数,长短期记忆网络能够很好地学习长期依赖关系。门限是有选择地让信息通过。它们由一个sigmoid神经网络层和逐点乘法运算组成。sigmoid层输出0到1之间的数字,描述了每个 成分应该通过门限的程度。0表示“不让任何成分通过”,而1表示“让所有成分通过!”。 LSTM有三种这样的门限,来保护和控制单元状态。长短期记忆网络关键点在于单元状态, 单元状态能够贯穿整个网络,只有一些小的线性相互作用。这很容易让信息以不变的方式 向下流动。所以记住信息很长一段时间几乎是它们固有的行为,而不需要像循环神经网络 一样努力去学习。
发明内容
本发明的目的在于提供一种基于长短期记忆网络并且级联多种影响因素的城市人群 流动预测方法,以解决上述现有的理论与设计上存在的缺陷或不足;该预测方法是为了考 虑城市人群流动的多种影响因素、并且提升预测方法的精度,通过一次输入一组数据来体 现数据之间的关联性(也可以称为临近性),并且对输入进行级联节假日、日期标注信息, 使得模型在学习那些节假日(春节、五一、国庆)时能够表现出较好的鲁棒性和高精度。
为了实现上述的目的,本发明采用如下技术方案:
基于长短期记忆网络模型的城市人群流动预测方法,包括以下步骤:
其中L∈{0,,0表示该天是普通日子,1表示该天是节假日; 表示观察序列人群流动量数据,i表示观察序列人群流动量数据的年份标注,j表示观察序列人群流动量数据在一年中的日期标注,n表示对观察数据按照日期的统一排序,obs+t表示对观察数据的时间标注。
其中D∈{d1,d2,…,dT},di∈[0,1],T∈{365,366};T表示一年中的天数,表示观察序 列人群流动量数据,i表示观察序列人群流动量数据的年份标注,j表示观察序列人群流 动量数据在一年中的日期标注,n表示对观察数据按照日期的统一排序,obs+t表示对观 察数据的时间标注。
步骤六:通过训练,建立长短期记忆模型W*;
步骤七:载入训练完毕的长短期记忆网络模型W*,输入k1={1,2,…,obs}天的数据以 及级联信息obs是一个常数,表示我们在网络模型之中采用的观察天数,预测第obs+1天的人群流动数量将得到的预测第obs+1天的结果与前面已知的输入数据联合起来,输入k2={2,3,…,obs+1}天的数据以及级联信息Dt、Lt,预测第obs+2天的人群流动数量重复步骤七前述操作,直到得到预测结果pred是一个常数表示我们在网络模型之中采用的预测天数。
与现有技术相比,本发明的优势如下:对于普通日子的城市人群流动预测,由于没有 那些突然改变城市人群流动数量的影响因素,所以这些普通日子的城市人群流动预测会与 前一段时间的城市人群流动量相近。我们只需要对这段时间的城市人群流动分配一定的贡 献数值,就能够很好地预测城市人群流动数量的变化。它能够体现出城市人群流动量独有 的数据性质:关联性。
本发明步骤二中选取节假日L和日期的标注信息D作为输入的级联信息,可以体现影 响城市人群流动量的变化的因素,使得模型在预测节假日问题之上较常规方法具有更强的 鲁棒性和高精度。
本发明步骤七中将得到的预测结果再次迭代入输入之中,使得预测的结果能够有着更 好的误差精度。
附图说明
图1是实现基于长短期记忆网络模型的城市人群预测方法示意图;
图2是基于长短期记忆网络模型的城市人群流动预测方法流程图;
图3是我们利用传统方法ARIMA得到的实验结果图。
图4是我们利用循环神经网络模型RNN得到的部分实验结果图,蓝色线表示真实值,橙色线表示预测的结果。
图5是我们利用长短期记忆网络模型LSTM得到的部分实验结果图,蓝色线表示 真实值,橙色线表示预测的结果。
图6是我们基于长短期记忆网络得到的实验结果误差图,预测的内容为当地和外地 人群流动数量;
具体实施方式
根据长短期记忆网络原理对本设计做进一步的详细描述。
参见图1、图2,本发明基于长短期记忆网络模型的城市人群流动预测方法分为以下 五个步骤,每个步骤具体如下:
(1a)输入参数:选择城市3年的人群流动量作为观察序列人群流动量数据并且使用min-max归一化将数据值归一化到[0,1],其中 k=i*365+j,表示该城市在第i年的第j天的当地人群流 动量量数据,表示该城市在第i年的第j天的外地人群流动量量数据,k表示 对观察数据按照日期的统一排序。将数据进行分组,一次输入的输入为:
(2a)其中L∈{0,1},0表示该天是普通日子,1表示该天是节假日; 表示观察序列人群流动量数据, i表示观察序列人群流动量数据的年份标注,j表示观察序列人群流动量数据在一年中 的日期标注,n表示对观察数据按照日期的统一排序,obs+t表示对观察数据的时间标 注。
(3a)其中D∈{d1,d2,…,dT},di∈[0,1],T∈{365,366};T表示一年中的天数,表示观察序列人 群流动量数据,i表示观察序列人群流动量数据的年份标注,j表示观察序列人群流动量 数据在一年中的日期标注,n表示对观察数据按照日期的统一排序,obs+t表示对观察数 据的时间标注。
(5b)选择网络隐含层大小为128,运用全零矩阵实现网络模型的初始化过程;
(5c)对于初始化网络,一次性输入数据的批数为8组数据,其中一组数据包含20天的输入和级联信息,对于数据集总共遍历150次;
(5d)遗忘门:在长短期记忆网络的计算过程之中,需要先确定想要“丢弃”的信息(例如,一些对于当前数据没有贡献的历史数据或者状态)。这个过程需要通过一个被称 作为遗忘门的结构完成。具体来说,使用遗忘门读取前一个隐含层的输出状态ht-1和当前 时刻的输入Xt,然后决定需要在多少程度上保留前一个细胞状态。1表示‘完全保留’, 0表示‘完全舍弃’。遗忘门计算公式如下:
ft=σ(Wf·[ht-1,Xt]+bf)
式中:ft——遗忘门限;ht-1——前一时刻单元的输出;xt——输入;Wf——遗忘门限的权重矩阵
(5e)输入门:在计算过程中需要将获得的新信息进一步确定,并且将它输入到下一 个细胞之中,参与下一个细胞的状态的形成。输入门的主要功能有两个:第一,决定本文需要更新的数值,一般由一个sigmoid层(输入门层)来实现这个功能;第二,将前一时 刻的细胞状态加入到当前时刻的细胞状态之中,一般由一个tanh层来实现这个功能。 输入门计算公式如下:
式中:Ct——表示当前时刻细胞状态(循环发生的地方)
(5f)输出门:输出门一般用来对隐含层的输出作一些变化进而能够得到本文需要的 数值,将当前时刻的细胞状态通过一个tanh层,在与sigmoid门的输出进行相乘,表示本文的输出在当前细胞状态中的取舍程度。因为在输入的时候,将输入的数据映射到高维空间,那么在输出结果的时候,也同样需要将得到的高维空间结果反映射到原来的维度空间。
输入、输出门计算公式如下:
it=σ(Wi·[ht-1,Xt]+bi)
式中:it——输出门限;ht-1——前一时刻单元的输出
ot=σ(Wo·[ht-1,Xt]+bo)
式中:ot——表示当前时刻的输出
6)通过训练,建立长短期记忆网络模型W*
(7d)在测试集测试的过程,选择观察12天的数据,然后预测接下来8天的人群流动数据。
本发明中给出了一种基于长短期记忆网络模型的城市人群流动预测方法,并利用python对该预测方法进行实验验证。从图3到图6的实验验证结果可以看到,相对于传 统预测方法ARIMA和循环神经网络模型,我们这种级联多种影响因素的长短期记忆网络 能够更好的预测节假日的人群流动变化并且具有更好的精确度和稳健性。
Claims (3)
1.基于长短期记忆网络模型的城市人群流动预测方法,其特征在于,包括以下步骤:
其中表示观察序列人群流动量数据,i表示观察序列人群流动量数据的年份标注,j表示观察序列人群流动量数据在一年中的日期标注,n表示对观察数据按照日期的统一排序,obs+t表示对观察数据的标注。一次性将数据输入,这能够准确表达临近日期的人群流动数据对真实信息的影响;
其中L∈{0,,0表示该天是普通日子,1表示该天是节假日;表示观察序列人群流动量数据,i表示观察序列人群流动量数据的年份标注,j表示观察序列人群流动量数据在一年中的日期标注,n表示对观察数据按照日期的统一排序,obs+t表示对观察数据的时间标注;
其中D∈{d1,d2,…,dT},di∈[0,1],T∈{365,366};T表示一年中的天数,表示观察序列人群流动量数据,i表示观察序列人群流动量数据的年份标注,j表示观察序列人群流动量数据在一年中的日期标注,n表示对观察数据按照日期的统一排序,obs+t表示对观察数据的标注;
步骤五:对于训练数据,采用均方根误差计算训练时预测值与真实值进行误差反馈;
均方根误差计算公式如下:
步骤六:通过训练,建立长短期记忆模型W*;
3.根据权利要求1所述的基于长短期记忆网络模型的城市人群流动预测方法,其特征在于:步骤二中选取节假日L和日期的标注信息D作为输入的级联信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010670050.6A CN112070263A (zh) | 2020-07-13 | 2020-07-13 | 基于长短期记忆网络模型的城市人群流动预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010670050.6A CN112070263A (zh) | 2020-07-13 | 2020-07-13 | 基于长短期记忆网络模型的城市人群流动预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112070263A true CN112070263A (zh) | 2020-12-11 |
Family
ID=73657227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010670050.6A Pending CN112070263A (zh) | 2020-07-13 | 2020-07-13 | 基于长短期记忆网络模型的城市人群流动预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112070263A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115983142A (zh) * | 2023-03-21 | 2023-04-18 | 之江实验室 | 基于深度生成对抗式网络的区域人口演化模型构造方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564228A (zh) * | 2018-04-26 | 2018-09-21 | 重庆大学 | 一种基于时序特征预测轨道交通od客流量的方法 |
CN109376969A (zh) * | 2018-12-14 | 2019-02-22 | 中南大学 | 基于深度学习的城市精细化人口分布动态预测方法及装置 |
US20190385055A1 (en) * | 2018-06-14 | 2019-12-19 | Electronics And Telecommunications Research Institute | Method and apparatus for artificial neural network learning for data prediction |
CN111144648A (zh) * | 2019-12-25 | 2020-05-12 | 中国联合网络通信集团有限公司 | 人流量预测设备及方法 |
-
2020
- 2020-07-13 CN CN202010670050.6A patent/CN112070263A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564228A (zh) * | 2018-04-26 | 2018-09-21 | 重庆大学 | 一种基于时序特征预测轨道交通od客流量的方法 |
US20190385055A1 (en) * | 2018-06-14 | 2019-12-19 | Electronics And Telecommunications Research Institute | Method and apparatus for artificial neural network learning for data prediction |
CN109376969A (zh) * | 2018-12-14 | 2019-02-22 | 中南大学 | 基于深度学习的城市精细化人口分布动态预测方法及装置 |
CN111144648A (zh) * | 2019-12-25 | 2020-05-12 | 中国联合网络通信集团有限公司 | 人流量预测设备及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115983142A (zh) * | 2023-03-21 | 2023-04-18 | 之江实验室 | 基于深度生成对抗式网络的区域人口演化模型构造方法 |
CN115983142B (zh) * | 2023-03-21 | 2023-08-29 | 之江实验室 | 基于深度生成对抗式网络的区域人口演化模型构造方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | A flood forecasting model based on deep learning algorithm via integrating stacked autoencoders with BP neural network | |
Ma et al. | A method for multiple periodic factor prediction problems using complex fuzzy sets | |
CN110210993B (zh) | 基于循环神经网络模型的城市短期燃气负荷预测方法 | |
CN105427138A (zh) | 基于神经网络模型的产品市场占有率分析方法及系统 | |
CN109146156B (zh) | 一种用于预测充电桩系统充电量的方法 | |
Lai et al. | Prediction stock price based on different index factors using LSTM | |
CN110110372B (zh) | 一种用户时序行为自动切分预测方法 | |
CN115017970A (zh) | 一种基于迁移学习的用气行为异常检测方法及系统 | |
Kumar et al. | Stock Price Prediction Using Machine Learning | |
CN112070263A (zh) | 基于长短期记忆网络模型的城市人群流动预测方法 | |
Wang et al. | A transformer-based multi-entity load forecasting method for integrated energy systems | |
Sri et al. | A smart adaptive LSTM technique for electrical load forecasting at source | |
Bisht et al. | Artificial neural network based predictionmodel forestimating the water quality of the river Ganga | |
Kumar et al. | Prediction of job openings in IT sector using long short-term memory model | |
Li et al. | Rainfall runoff prediction via a hybrid model of neighbourhood rough set with LSTM | |
Li et al. | Hydropower generation forecasting via deep neural network | |
Zhou et al. | Water quality prediction approach based on t-SNE and SA-BiLSTM | |
CN113537540B (zh) | 一种基于自动特征工程的供热用气量预测模型 | |
CN112257842A (zh) | 一种基于lstm的智能导税模型构建方法及装置 | |
CN111291932A (zh) | 面向投融资关系网络链路预测的方法、装置和设备 | |
Mzyece et al. | Forecasting Seasonal Rainfall Using A Feed Forward Neural Network With Back-Propagation: A Case Of Zambia | |
Lanjekar et al. | Application of deep machine learning techniques in oil production forecasting | |
CN113377422B (zh) | 一种基于深度学习识别自我承认技术债务方法 | |
Hashemifarzad | Electrical load forecasting using adaptive neuro-fuzzy inference system | |
Hoeronis | Netflix Stock Price Trend Prediction Using Recurrent Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201211 |