CN117236529B

CN117236529B - 基于大数据的大型活动人流量预测方法

Info

Publication number: CN117236529B
Application number: CN202311517405.8A
Authority: CN
Inventors: 刘世泉; 蓝永文
Original assignee: Time Channel Information Technology Co ltd
Current assignee: Time Channel Information Technology Co ltd
Priority date: 2023-11-15
Filing date: 2023-11-15
Publication date: 2024-02-27
Anticipated expiration: 2043-11-15
Also published as: CN117236529A

Abstract

本发明涉及一种基于大数据的大型活动人流量预测方法，包括以下步骤：步骤S1:获取相关大型活动的历史数据，包括历史人流量数据、天气数据、交通数据、社交媒体数据；步骤S2：对采集到的数据进行预处理；步骤S3:对预处理后的数据进行特征提取，并将不同来源的数据进行合并，得到初始数据集；步骤S4:构建时间序列模型，并基于初始数据集训练，得到人流量预测模型；步骤S5：基于人流量预测模型对未来的人流量进行预测，并实时监控和更新预测结果。本发明利用历史数据和相关因素进行建模和预测，能够更准确地预测未来的人流量。

Description

基于大数据的大型活动人流量预测方法

技术领域

本发明涉及大数据预测领域，尤其涉及一种基于大数据的大型活动人流量预测方法。

背景技术

由于大型活动的动态性和即时性，需要及时更新和处理大量的实时数据，以准确预测人流流量。然而，实时数据的获取和处理可能受到限制，导致预测的延迟或不准确。忽视复杂因素：点位流量预测需要考虑多个因素；现有技术可能无法充分考虑和处理这些复杂因素，从而影响预测结果的准确性。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于大数据的大型活动人流量预测方法，利用历史数据和相关因素进行建模和预测，能够更准确地预测未来的人流量。

为实现上述目的，本发明采用以下技术方案：

一种基于大数据的大型活动人流量预测方法，包括以下步骤：

步骤S1:获取相关大型活动的历史数据，包括历史人流量数据、天气数据、交通数据、社交媒体数据；

步骤S2：对采集到的数据进行预处理；

步骤S3:对预处理后的数据进行特征提取，并将不同来源的数据进行合并，得到初始数据集；

步骤S4:构建时间序列模型，并基于初始数据集训练，得到人流量预测模型；

步骤S5：基于人流量预测模型对未来的人流量进行预测，并实时监控和更新预测结果。

进一步的，所述预处理包括异常值处理和缺失值处理，具体如下：

使用箱线图识别和处理异常值，首先，对于每个特征，绘制其对应的箱线图，将箱线图超过上下四分位数1.5倍的观测值认定为异常值，并删除异常值；

选择多项式插值方法来填补缺失的数据，拟合数据集中已有的数据点，构建下式来估计缺失值：

f(x) = a0 + a1*x + a2*x^2

其中，a0、a1、a2是通过最小二乘法计算得到的多项式系数，x为数据集中的数据点。

进一步的，所述步骤S3具体为：

设人流量数据的时间戳字段为timestamp，特征数据的时间戳字段为feature_timestamp，人流量数据的人流量字段为traffic_volume，特征数据的特征字段为feature；

合并公式如下：

merged_data = SELECT traffic_volume, feature FROM traffic_data JOINfeature_data ON traffic_data.timestamp = feature_data.feature_timestamp；

其中，traffic_data表示人流量数据表，feature_data表示特征数据表，timestamp表示时间戳字段，traffic_volume表示人流量字段，feature_timestamp表示特征时间戳字段，feature表示特征字段；SELECT traffic_volume, feature：表示选择traffic_data表中的traffic_volume字段和feature_data表中的feature字段作为结果集。FROM traffic_data JOIN feature_data：表示从traffic_data表和feature_data表中获取数据；ON traffic_data.timestamp：表示按照traffic_data表中的timestamp字段进行连接；= feature_data.feature_timestamp：表示连接条件是traffic_data表中的timestamp字段等于feature_data表中的feature_timestamp字段。

进一步的，所述时间序列模型采用ARIMA模型，具体构建如下：

构建初始ARIMA模型：

Yt = c + ∑φi*Yt-i + ∑θi*εt-i + εt

其中，Yt表示时间t的人流量数据，c表示常数项，φi表示自回归系数，θi表示移动平均系数，εt表示时间t的误差项；

将初始数据集分为训练集和测试集；

并基于训练集训练初始ARIMA模型，得到训练后的ARIMA模型；

使用MAE作为损失函数，基于测试集对训练后的ARIMA模型进行评估：

MAE = 1/n * ∑|y_pred - y_true|

其中，n表示测试集样本数量，y_pred表示模型预测结果，y_true表示真实值；

基于贝叶斯优化，优化训练后的ARIMA模型的自回归系数φi和移动平均系数θi的数量和取值，得到最终的人流量预测模型。

进一步的，所述贝叶斯优化，具体如下：

将MAE作为目标函数，并预设φi和θi的取值范围和数量，作为参数空间；

使用贝叶斯优化库初始化一个优化器对象，并设置优化器的目标函数和参数空间；

调用优化器的optimize()方法，开始优化过程；

优化器将根据目标函数的评估结果，自动选择下一组参数进行评估；

优化器会迭代地进行参数调整和评估，直到达到指定的迭代次数或收敛条件。

进一步的，所述步骤S5具体为：

设定一个循环，每隔预设时间间隔进行以下步骤：

a.获取当前时间；

b.获取最新的观测值，通过实时监测人流量来获取；

c. 使用人流量预测模型预测未来的人流量；

d.将最新的观测值添加到训练集中，并重新训练人流量预测模型；

e. 基于重新训练人流量预测模型预测结果，包括当前时间和预测的人流量。

本发明具有如下有益效果：

1.本发明综合考虑历史人流量数据、天气数据、交通数据、社交媒体数据，并将数据进行整合，然后对ARIMA模型进行训练得到人流量预测模型，能够更准确地预测未来的人流量；

2.本发明的人流量预测模型根据实时情况对预测结果进行调整和更新，更好地适应不断变化的人流量需求，相比于传统的静态模型，预测的准确度和实时性更好。

附图说明

图1为本发明方法流程图。

具体实施方式

以下结合附图和具体实施例对本发明做进一步详细说明：

参考图1，本发明提供一种基于大数据的大型活动人流量预测方法，包括以下步骤：

步骤S2：对采集到的数据进行预处理；

在本实施例中，获取相关大型活动的历史数据，包括历史人流量数据、天气数据、交通数据、社交媒体数据，具体如下：

通过安装传感器或监控摄像头来收集历史人流量数据。例如，在一个购物中心中安装传感器，每小时记录进入和离开的人数。历史人流量数据可以表示为一个时间序列，例如：

时间人流量

2023-01-01 10000

2023-01-02 15000

2023-01-03 20000

...

天气数据：可以从气象局、气象传感器或气象网站获取天气数据。例如，获取每小时的温度和降雨量数据。天气数据可以表示为一个时间序列，例如：

时间温度(摄氏度) 降雨量(mm)

2023-01-01 20 0

2023-01-02 18 0.5

2023-01-03 15 2

...

交通数据：从交通管理部门或交通传感器获取交通数据。例如，获取每小时的道路拥堵指数或平均车速。交通数据可以表示为一个时间序列，例如：

时间道路拥堵指数平均车速(km/h)

2023-01-01 0.2 60

2023-01-02 0.5 50

2023-01-03 0.8 40

...

通过API或爬虫从社交媒体平台（如Twitter、微博）获取相关数据。例如，获取与活动相关的推文数量或评论数量。社交媒体数据可以表示为一个时间序列，例如：

时间推文数量评论数量

2023-01-01 50 2000

2023-01-02 80 3000

2023-01-03 100 5000

...

根据以上数据实例，可以使用以下公式来建立预测模型：

在本实施例中，预处理包括异常值处理和缺失值处理，具体如下：

f(x) = a0 + a1*x + a2*x^2

在本实施例中，步骤S3具体为：

设天气数据中的温度字段为temperature，使用该字段作为温度特征；天气数据中的降雨量字段为rainfall，可以直接使用该字段作为降雨量特征；交通数据中的道路拥堵指数字段为congestion_index，使用该字段作为道路拥堵指数特征；交通数据中的平均车速字段为average_speed，使用该字段作为平均车速特征；社交媒体数据中的推文数量字段为tweet_count，使用该字段作为推文数量特征；设社交媒体数据中的评论数量字段为comment_count，直接使用该字段作为评论数量特征；

合并公式如下：

在本实施例中，时间序列模型采用ARIMA模型，具体构建如下：

构建初始ARIMA模型：

Yt = c + ∑φi*Yt-i + ∑θi*εt-i + εt

将初始数据集分为训练集和测试集；

并基于训练集训练初始ARIMA模型，得到训练后的ARIMA模型；

MAE = 1/n * ∑|y_pred - y_true|

在本实施例中，贝叶斯优化，具体如下：

调用优化器的optimize()方法，开始优化过程；

具体的，本实施例中：

1. 定义目标函数：

def objective_function(params):

# 将参数解析为φi和θi

φi = params[:n_ar]

θi = params[n_ar:]

# 训练ARIMA模型，使用φi和θi作为参数

model = ARIMA(train_data, order=(p, d, q), seasonal_order=(P,D, Q, s))

model.fit()

# 进行预测

predictions = model.predict()

# 计算评估指标，如MAE或RMSE

loss = calculate_loss(predictions, true_values)

return loss

2. 定义参数空间：

φi和θi的取值范围和数量可以在0到1之间，可以使用连续的取值范围。

可以定义一个参数空间，如[(0, 1)] * (n_ar + n_ma) 表示φi和θi的数量为n_ar和n_ma。

3. 初始化贝叶斯优化器：

optimizer = BayesianOptimization(objective_function, pbounds)

4. 运行优化：

optimizer.maximize(n_iter=100)

5. 获取最佳参数组合：

best_params = optimizer.max['params']

通过贝叶斯优化，可以自动选择最佳的φi和θi的取值，从而优化ARIMA模型的预测性能。

在本实施例中，步骤S5具体为：

设定一个循环，每隔预设时间间隔进行以下步骤：

a.获取当前时间；

b.获取最新的观测值，通过实时监测人流量来获取；

c. 使用人流量预测模型预测未来的人流量；

d. 将最新的观测值添加到训练集中，并重新训练人流量预测模型；

基于重新训练人流量预测模型预测结果，包括当前时间和预测的人流量。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims

1.一种基于大数据的大型活动人流量预测方法，其特征在于，包括以下步骤：

步骤S2：对采集到的数据进行预处理；

步骤S5：基于人流量预测模型对未来的人流量进行预测，并实时监控和更新预测结果；

所述时间序列模型采用ARIMA模型，具体构建如下：

构建初始ARIMA模型：

Yt = c + ∑φi*Yt-i + ∑θi*εt-i + εt

其中，Yt表示时间t的人流量数据，c表示常数项，φi表示自回归系数，θi表示移动平均系数，εt表示时间t的误差项,i表示i个单位的时间点；

将初始数据集分为训练集和测试集；

并基于训练集训练初始ARIMA模型，得到训练后的ARIMA模型；

MAE = 1/n * ∑|y_pred - y_true|

基于贝叶斯优化，优化训练后的ARIMA模型的自回归系数φi和移动平均系数θi的数量和取值，得到最终的人流量预测模型；

所述贝叶斯优化，具体如下：

调用优化器的optimize()方法，开始优化过程；

优化器会迭代地进行参数调整和评估，直到达到指定的迭代次数或收敛条件；所述步骤S5具体为：

设定一个循环，每隔预设时间间隔进行以下步骤：

a.获取当前时间；

b.获取最新的观测值，通过实时监测人流量来获取；

c. 使用人流量预测模型预测未来的人流量；

2.根据权利要求1所述的基于大数据的大型活动人流量预测方法，其特征在于，所述预处理包括异常值处理和缺失值处理，具体如下：

f(x) = a0 + a1*x + a2*x^2

3.根据权利要求1所述的基于大数据的大型活动人流量预测方法，其特征在于，所述步骤S3具体为：

合并公式如下：

其中，traffic_data表示人流量数据表，feature_data表示特征数据表，timestamp表示时间戳字段，traffic_volume表示人流量字段，feature_timestamp表示特征时间戳字段，feature表示特征字段；SELECT traffic_volume, feature：表示选择traffic_data表中的traffic_volume字段和feature_data表中的feature字段作为结果集；FROM traffic_data JOIN feature_data：表示从traffic_data表和feature_data表中获取数据；ONtraffic_data.timestamp：表示按照traffic_data表中的timestamp字段进行连接；feature_data.feature_timestamp：表示连接条件是traffic_data表中的timestamp字段等于feature_data表中的feature_timestamp字段。