CN102184638A - 行人交通数据的数据预处理方法 - Google Patents

Abstract

本发明为一种行人交通数据的数据预处理方法，包括：步骤S1：采集行人交通数据；步骤S2：对行人交通数据进行时间尺度合成；步骤S3：对步骤S2后的行人交通数据进行丢失数据识别与修复；步骤S4：对步骤S3后的行人交通数据进行错误数据识别与修复；步骤S5：对步骤S4后的行人交通数据进行后续处理。通过本发明可以提高行人交通数据预测的精度。

Description

行人交通数据的数据预处理方法

技术领域

本发明涉及一种数据预处理方法，尤其涉及一种行人交通数据的数据预处理方法。

背景技术

人员密集场所人员密度预警系统，是依托安装在不同地点的视频设备，实时采集监测区域的视频图像，通过对视频图像中反映出的实时人群客流进行数据统计和分析，从而实现人员密集场所的人群密度预警。在实际应用中有一种行人交通拥堵预警系统，其能够智能分析行人交通数据采集设备输出的行人交通状态实时数据，并存储于数据库中，可以进行动态的查询和计算，以建立人群不同行人交通状态(畅通、渐变异常、突发异常、拥堵等)的实时判断模型，对人群密集场所的人群聚集风险达到较好的监测和控制效果。为了提高人交通数据预测的精度，还需要对行人交通数据进行预处理。

发明内容

本发明的目的在于提出一种行人交通数据的数据预处理方法，以提高行人交通数据预测的精度。

为了达到上述目的，本发明提供了一种行人交通数据的数据预处理方法，包括：步骤S1：采集行人交通数据；步骤S2：对行人交通数据进行时间尺度合成；步骤S3：对步骤S2后的行人交通数据进行丢失数据识别与修复；步骤S4：对步骤S3后的行人交通数据进行错误数据识别与修复；步骤S5：对步骤S4后的行人交通数据进行后续处理。

本发明所述的数据预处理方法，其中所述丢失数据识别与修复方法包括下述步骤：S31、识别行人交通数据是否丢失；S32、若是，则判断是否在异常行人交通阶段发生数据丢失；S33、若是，则利用横向时间序列，采用移动平均模型进行丢失数据修复；S34、若否，而是在正常行人交通阶段发生数据丢失，则利用纵向时间序列，采用移动平均模型进行丢失数据修复。

本发明所述的数据预处理方法，在步骤S33中，发生异常交通状态阶段数据丢失时，利用横向时间序列，采用移动平均模型进行丢失数据修复的公式为：

其中z(t)为当前采样时间间隔的丢失行人交通数据修复值；z(t-i)为当前采样时间间隔之前第i个采样时间间隔的行人交通数据实测值；n为丢失数据修复所选关联时间间隔数量。

本发明所述的数据预处理方法，在步骤S34中，发生正常交通状态阶段数据丢失时，利用纵向时间序列，采用移动平均模型进行丢失数据修复的公式为：其中z(t)为当前采样时间间隔的丢失行人交通数据修复值；z^K(t)为行人交通数据长期发展模式所含当天前面第K个历史数据；N为行人交通数据长期发展模式所含历史数据数量。

本发明所述的数据预处理方法，在步骤S31和步骤S32之间还包括：判断是否发生数据连续丢失，若是则不对丢失数据进行修复，而只进行设备故障报警。

本发明所述的数据预处理方法，所述步骤S4的错误数据识别与修复方法为：S41、识别行人交通错误数据；S42、利用纵向时间序列，采用移动平均模型对步骤S41识别的错误数据进行修复。

本发明所述的数据预处理方法，步骤S41的数据识别是采用正确数据的识别范围进行识别，正确数据则符合公式[max(0，μ-eσ)，μ+eσ]计算的范围，式中μ为行人交通数据长期发展模式所含历史数据的均值；σ为行人交通数据长期发展模式所含历史数据的标准差；e为倍数；如果行人交通数据长期发展模式所含历史数据均相等，即标准差为0，则将σ赋值为σ₀，σ₀＝f·μ，式中f为μ值的缩放系数。

本发明所述的数据预处理方法，所述步骤S5中的后续处理包括利用横向时间序列平滑对步骤S4的数据进行后续处理。

本发明所述的数据预处理方法，其中所述横向时间序列平滑的方法为：

采用移动平均模型对行人交通数据横向时间序列进行平滑，公式为

式中为当前采样时间间隔的行人交通数据平滑值；z(t-j)为当前采样时间间隔之前第j个时间间隔的行人交通数据实测值；m为数据平滑所选关联时间间隔数量。

本发明所述的数据预处理方法，其中所述步骤S2中时间尺度合成的方法为：采用累加的方式对流量数据进行时间尺度合成，公式为

式中q(t)为时间尺度合成之后当前采样时间间隔的流量数据实测值；q′(t-k)为时间尺度合成之前当前采样时间间隔前面第k个时间间隔的流量数据实测值；n_q为流量数据合成大小时间尺度之比；同时采用平均的方式对区域人数数据进行时间尺度合成，公式为

式中a(t)为时间尺度合成之后当前采样时间间隔的区域人数数据实测值；a′(t-k)为时间尺度合成之前当前采样时间间隔前面第k个时间间隔的区域人数数据实测值；n_a为区域人数数据合成大小时间尺度之比。

本发明通过将数据预处理方法具体分为丢失数据识别与修复、错误数据识别与修复、时间序列平滑及时间尺度合成4个环节，提高了行人交通数据预测的精度。

附图说明

图1为本发明行人交通数据的数据预处理方法的流程图。

图2为图1所示流程图的具体流程示意图；

图3为行人交通错误数据实例图。

具体实施方式

下面参照附图结合实施例对本发明进行进一步详细说明。

根据时间组织方式不同，本发明将行人交通数据的时间序列分为横向时间序列与纵向时间序列两类。其中，横向时间序列是指按任一天的时间顺序排列的数据序列；纵向时间序列是指按时间先后顺序排列特定天同一时段行人交通数据序列。

特定空间位置的行人交通数据时间序列通常具有长期趋势性、短期现势性和随机波动性三种特性。(1)长期趋势性，特定区域一般具有比较稳定的社会经济活动模式，即上班、上学、购物等活动在时间和空间的分布具有一定的规律性，导致不同星期同一日期(周一、周二……周日)的行人交通模式具有较强的相似性。本发明将同一监控位置、不同日期的同一参数数据时间序列具有相似性的特点称为长期趋势性。(2)短期现势性，由于行人交通事件等因素的影响，特定区域的行人规律短时之内可能出现偏离长期趋势的现象，本发明将其称为行人交通时间序列的短期现势性。(3)随机波动性，除了长期趋势性、短期现势性外，行人交通数据还存在明显的随机波动性，为了消除随机波动性对行人交通管理决策产生的影响，应该将其适当进行滤波。

对于某一日期，如果行人交通数据时间序列的发展过程比较符合长期发展模式，则认为是一种正常行人交通状态，否则，称为异常行人交通状态。正常行人交通状态的可预测性较强，可以对其进行预警，而异常行人交通状态的一般难以预测，只能对其进行实时报警。

如图1所示，为本发明基于行人交通数据长期发展模式的数据预处理方法流程图，包括：丢失数据识别与修复、错误数据识别与修复以及后续处理，包括横向时间序列平滑和时间尺度合成。

(1)丢失数据识别及修复

本发明采集的行人交通数据包括两类数据丢失表现：第一，数据记录丢失，即某一时间刻度没有上传任何数据；第二，字段数据丢失，即某一时间刻度数据记录的一项或多项数据丢失。

为了保证丢失数据修复的质量较高，本发明只对数据丢失的首个采样时间间隔进行修复。若在异常行人交通状态阶段发生数据丢失，则利用横向时间序列，采用移动平均模型进行丢失数据修复，如式(5-1)所示；若在正常行人交通状态阶段发生数据丢失，则利用纵向时间序列，采用移动平均模型进行丢失数据修复，如式(5-2)所示。对于数据连续丢失数的情况，由于此时数据检测设备极有可能已经发生故障，因此，本发明不对其进行修复，只是进行设备故障报警。

$z\left(t\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}z(t-i)---(5-1)$

式中：z(t)——当前采样时间间隔的丢失行人交通数据修复值；

z(t-i)——当前采样时间间隔之前第i个采样时间间隔的行人交通数据实测值；

n——丢失数据修复所选关联时间间隔数量。

$z\left(t\right)=\frac{1}{N}\underset{K=1}{\overset{N}{\mathrm{\Σ}}}{z}^K\left(t\right)---(5-2)$

式中：z(t)——当前采样时间间隔的丢失行人交通数据修复值；

z^K(t)——行人交通数据长期发展模式所含当天前面第K个历史数据；

N——行人交通数据长期发展模式所含历史数据数量。

(2)错误数据识别及修复

产生行人交通错误数据的因素较多，例如数据采集方案的漏洞、数据采集设备的故障、数据采集人员的疏忽、数据处理人员的失误等等。除了数据失真的各种情况以外，本发明还将行人的真实状态导致的较大的短期数据波动，如图3所示，视为错误数据的一种情形。错误数据容易影响数据时间序列的趋势性，因此，应对行人交通错误数据进行识别，并且将其修复。

行人交通数据的强烈波动是错误数据的主要特征，因此，本发明利用纵向时间序列构建σ原则，从而识别行人交通错误数据，正确数据的识别范围按照公式(5-3)进行计算。本发明同样利用纵向时间序列，采用移动平均模型对错误数据进行修复，具体如式(5-2)所示。

[max(0，μ-eσ)，μ+eσ]    (5-3)

式中：μ——行人交通数据长期发展模式所含历史数据的均值；

σ——行人交通数据长期发展模式所含历史数据的标准差；

e——倍数。

另外，如果行人交通数据长期发展模式所含历史数据均相等，即标准差为0，则错误数据识别方法。此时，本发明将σ赋值为σ₀，具体如式(5-4)所示。

σ₀＝f·μ    (5-4)

式中：f——μ值的缩放系数。

(3)横向时间序列平滑

降低行人交通数据横向时间序列的波动性是提高行人交通状态预警可靠度的基础，然而，错误数据的修复只能消除较大的数据波动，难以显著降低横向时间序列的整体波动性。因此，本发明对行人交通数据横向时间序列进行必要的平滑。然而，平滑过程不能改变数据时间序列的趋势性，否则将影响行人交通状态的预测效果。

本发明采用移动平均模型对行人交通数据横向时间序列进行平滑，具体如式(5-5)所示。

$\stackrel{\‾}{z}\left(t\right)=\frac{1}{m}\underset{j=0}{\overset{m-1}{\mathrm{\Σ}}}z(t-j)---(5-5)$

式中：

——当前采样时间间隔的行人交通数据平滑值；

z(t-j)——当前采样时间间隔之前第j个时间间隔的行人交通数据实测值；

m——数据平滑所选关联时间间隔数量。

经过横向时间序列平滑的数据主要用于行人交通数据长期发展模式的构建。值得注意的是，由于移动平均模型会导致行人交通数据产生一定的时间延迟，因此，构建长期发展模式之前，应该通过调整数据的时间刻度消除时间延迟，调整量需离线观察确定。

(4)时间尺度合成

除了错误数据修复和横向时间序列平滑以外，增大数据输出的时间尺度同样可以减小行人交通数据的波动性，并且选择的时间尺度越大，行人交通数据的波动性越弱。然而，时间尺度不能过大，否则将导致行人交通状态的判断结果出现明显的时间延迟。

时间尺度合成具有多种方式，可以采用较小尺度数据的平均值、累加和、中位数等作为尺度合成之后的数值。由于流量是每个采样时间间隔的累计值，而密度(区域人数)是每个时间刻度的瞬时值，因此，本发明采用累加的方式对流量数据进行时间尺度合成，同时采用平均的方式对密度(区域人数)数据进行时间尺度合成，如式(5-6)、(5-7)所示。

$q\left(t\right)=\underset{k=0}{\overset{n_q-1}{\mathrm{\Σ}}}{q}^{\′}(t-k)---(5-6)$

式中：q(t)——时间尺度合成之后当前采样时间间隔的流量数据实测值；

q′(t-k)——时间尺度合成之前当前采样时间间隔前面第k个时间间隔的流量数据实测值；

n_q——流量数据合成大小时间尺度之比。

$a\left(t\right)=\frac{1}{n_a}\underset{k=0}{\overset{n_a-1}{\mathrm{\Σ}}}{a}^{\′}(t-k)---(5-7)$

式中：a(t)——时间尺度合成之后当前采样时间间隔的区域人数数据实测值；

a′(t-k)——时间尺度合成之前当前采样时间间隔前面第k个时间间隔的区域人数数据实测值；

n_a——区域人数数据合成大小时间尺度之比。

随着时间尺度的增大，流量和区域人数数据时间序列的波动性都有明显的变弱。异常行人交通状态自动检测、行人交通拥堵状态自动识别及拥堵状态相关性研究方法的数据验证部分，一般采用5min时间尺度的行人交通数据进行验证。

以上所述仅为本发明的较佳实施例，非局限本发明的保护范围，凡运用本发明说明书及附图内容所做的等同结构变化，均包含于本发明的保护范围内。

Claims (10)

1.一种行人交通数据的数据预处理方法，其特征在于，包括：

步骤S1：采集行人交通数据；

步骤S2：对行人交通数据进行时间尺度合成；

步骤S3：对步骤S2收的行人交通数据进行丢失数据识别与修复；

步骤S4：对步骤S3后的行人交通数据进行错误数据识别与修复；

步骤S5：对步骤S4后的行人交通数据进行后续处理。

2.如权利要求1所述的行人交通数据的数据预处理方法，其特征在于，所述丢失数据识别与修复方法包括下述步骤：S31、识别行人交通是否丢失数据；S32、若是，则判断是否在异常行人交通阶段发生数据丢失；S33、若是，则利用横向时间序列，采用移动平均模型进行丢失数据修复；S34、若否，而是在正常行人交通阶段发生数据丢失，则利用纵向时间序列，采用移动平均模型进行丢失数据修复。

3.如权利要求2所述的行人交通数据的数据预处理方法，其特征在于，在步骤S33中，发生异常交通状态阶段数据丢失时，利用横向时间序列，采用移动平均模型进行丢失数据修复的公式为：

其中z(t)为当前采样时间间隔的丢失行人交通数据修复值；z(t-i)为当前采样时间间隔之前第i个采样时间间隔的行人交通数据实测值；n为丢失数据修复所选关联时间间隔数量。

4.如权利要求2所述的行人交通数据的数据预处理方法，其特征在于，在步骤S34中，发生正常交通状态阶段数据丢失时，利用纵向时间序列，采用移动平均模型进行丢失数据修复的公式为：

其中z(t)为当前采样时间间隔的丢失行人交通数据修复值；z^K(t)为行人交通数据长期发展模式所含当天前面第K个历史数据；N为行人交通数据长期发展模式所含历史数据数量。

5.如权利要求2所述的行人交通数据的数据预处理方法，其特征在于，在步骤S31和步骤S32之间还包括：判断是否发生数据连续丢失，若是则不对丢失数据进行修复，而只进行设备故障报警。

6.如权利要求1所述的行人交通数据的数据预处理方法，其特征在于，所述步骤S4的错误数据识别与修复方法为：S41、识别行人交通错误数据；S42、利用纵向时间序列，采用移动平均模型对步骤S41识别的错误数据进行修复。

7.如权利要求6所述的行人交通数据的数据预处理方法，其特征在于，步骤S41的数据识别是采用正确数据的识别范围进行识别，正确数据则符合公式[max(0，μ-eσ)，μ+eσ]计算的范围，式中μ为行人交通数据长期发展模式所含历史数据的均值；σ为行人交通数据长期发展模式所含历史数据的标准差；e为倍数；如果行人交通数据长期发展模式所含历史数据均相等，即标准差为0，则将σ赋值为σ₀，σ₀＝f·μ，式中f为μ值的缩放系数。

8.如权利要求1所述的行人交通数据的数据预处理方法，其特征在于，所述步骤S5中的后续处理包括，利用横向时间序列平滑对步骤S4的数据进行后续处理。

9.如权利要求8所述的行人交通数据的数据预处理方法，其特征在于，所述横向时间序列平滑的方法为：采用移动平均模型对行人交通数据横向时间序列进行平滑，公式为

式中为当前采样时间间隔的行人交通数据平滑值；z(t-j)为当前采样时间间隔之前第j个时间间隔的行人交通数据实测值；m为数据平滑所选关联时间间隔数量。

10.如权利要求1所述的行人交通数据的数据预处理方法，其特征在于，所述步骤S2中时间尺度合成的方法为：采用累加的方式对流量数据进行时间尺度合成，公式为

式中q(t)为时间尺度合成之后当前采样时间间隔的流量数据实测值；q′(t-k)为时间尺度合成之前当前采样时间间隔前面第k个时间间隔的流量数据实测值；n_q为流量数据合成大小时间尺度之比；同时采用平均的方式对区域人数数据进行时间尺度合成，公式为

式中a(t)为时间尺度合成之后当前采样时间间隔的区域人数数据实测值；a′(t-k)为时间尺度合成之前当前采样时间间隔前面第k个时间间隔的区域人数数据实测值；n_a为区域人数数据合成大小时间尺度之比。

Images