CN107958031A - 基于融合数据的居民出行od分布提取方法 - Google Patents

Abstract

本发明公开了一种基于融合数据的居民出行OD分布的提取方法，通过手机信令数据与传统居民调查数据进行融合实现。在对原始手机信令数据采集与预处理的基础上，通过传统居民调查数据获取的居民出行特征信息设定相关阈值，将手机信令数据中的出行轨迹信息转化为初步的出行OD分布矩阵；之后通过总量扩样，获取最终的居民出行OD分布情况。本发明在保证居民出行分布总量与现实出行特征高度一致的条件下，实现了全样本采样、样本分布均匀化等目标，所得居民出行分布结果与传统方法相比精度大大提升，将对城市交通设施的建设、公交体系的构建提供重要理论依据与支撑。

Description

基于融合数据的居民出行OD分布提取方法

技术领域

本发明涉及交通规划技术领域，特别涉及基于融合数据的居民出行OD分布提取方法。

背景技术

居民出行分布对城市空间利用、产业布局、环境保护、能源供给、交通发展有着不同程度的影响，准确的居民出行OD分布矩阵，是对城市交通设施建设、公交体系构建的重要支撑。

在现有技术中，根据数据来源构建居民出行OD分布，可以分为两类：

一类是基于传统的交通调查数据，是四阶段模型的重要组成部分；这一方法基于回归分析将调查数据统计为交通生成，再用数学模型分布到交通小区，将出行量转换成交通量；这一方法可以采集到出行者的社会经济属性，进而预测规划区域未来几年的交通需求，但其缺点也比较明显：调查工作量大、数据收集与处理耗时、采样均匀度低、样本量小、数据更新周期长、难以把握出行分布的动态变化。

另一类是利用现有交通检测器获得路段观测交通量，通过交通分配逆过程计算OD矩阵；这一方法虽然跳过了交通出行产生、分布和方式划分，直接利用路段交通量来估计OD矩阵，但难以获得全路网路段的交通量，易低估交通出行量，相较于传统的交通调查方式无法获得出行者的社会经济属性，难以在未来交通规划中应用。

因此，急需开发一种新型方法获取较高精度的居民出行OD分布，解决交通规划领域亟待解决的重问题。

发明内容

有鉴于现有技术的上述缺陷，本发明提供，实现的目的之一是基于手机信令数据作为主要分析平台，在对原始轨迹数据采集与清洗的基础上，结合传统居民调查数据，借助数据融合的方法，将轨迹数据转化为初步的出行分布矩阵，再通过总量扩样的相关步骤，获取最终的居民出行OD分布；这一居民OD分布既体现居民实际出行特征情况，亦体现手机信令数据高均匀性、大样本量的特征，具有高度可信度。

为实现上述目的，本发明公开了基于融合数据的居民出行OD分布提取方法；步骤如下：

A、对原始手机信令数据进行清洗和预处理，去掉所述原始手机信令数据中的错误数据和乒乓切换数据，形成所需要的手机信令数据；

B、对问卷式的居民出行调查数据进行处理，获取居民出行特征参数，所述居民出行特征参数至少包括出行率、出行距离、出行时间；

C、利用所述居民出行特征参数，对所述手机信令数据中的停留时间阈值进行标定和校核，获取初始居民出行OD分布矩阵；

D、通过统计学方法，对所述手机信令数据进行合理扩样，根据居民出行调查采样百分比确定扩样倍率，所述扩样倍率是所述居民出行调查采样百分比倒数，再由居民调查获取的平均出行次数，与扩样倍率、调查人数相乘，获取居民出行总量，所述居民出行总量包括主动产生数量和被吸引产生数量；

E、对从所述手机信令数据获取的所述初始居民出行OD分布矩阵，以及从居民出行调查数据获取的所述居民出行总量进行融合处理，得到最终调整后的最终居民出行OD分布情况。

优选的，在所述步骤A中，所述原始手机信令数据基于运营商对手机信令数据采集系统采集；所述原始手机信令数据依次籍由信令采集、LER服务器、安全IMSI转换后传送至交通及客流应用业务服务器。

优选的，所述安全IMSI转换后的所述原始手机信令数据籍两路并联的FTP服务器传送到所述交通及客流应用业务服务器。

优选的，在所述步骤A中，所述清洗和预处理包括数据清洗与修补、数据质量分析、数据与地图信息匹配，以及数据的出行链分析。

优选的，所述数据清洗与修补是指利用多级过滤器，对手机信令数据进行分析和筛选，去除数据噪音；若出现数据字段缺失现象，对数据做如下处理：

(a)、对于重要字段缺失的数据直接剔除；

(b)、对于可根据轨迹信息进行修补的数据进行修正，修正步骤为：

(b1)将同一用户在所述原始手机信令数据内的相关信令数据按照时间进行排序，然后根据下列情形修复：

(b1.1)如果待修正数据的前后两条数据均完整，且需修正字段一致，则该条信息补充该字段且字段内容为前后两条相一致的内容；

(b1.2)如果前后两条数据内容不一致，则根据时间差值进行判断，将与其时间差值小的一条记录作为补充内容；

(b1.3)如前、后两条中均有不完整数据，则依次往下寻找至完整的记录为止。

优选的，所述数据质量分析包括：数据时间完整性、数据空间分布完整性、事件采集触发类型完整性，以及数据采集信令数量、用户数、人均信令数各个方面。

优选的，所述数据与地图信息匹配是基于基站匹配规则，判断手机用户在地图上的移动轨迹。

优选的，所述数据的出行链分析是指依次读取所述原始手机信令数据，获取每一条记录的小区位置编号lac_cell，且根据以下不同情况分别作出处理：

a)所述记录中的手机识别号MSID是否被追踪过，否则输出相应的用户数据，并跳过后续步骤，获取下一条记录进行处理；

b)遍历对应所有所述手机识别号MSID的所述小区位置编号lac_cell系列，对每一个所述手机识别号MSID标记不重复的正整数下标i；并判断所述记录是否存在数据漂移情况，若是，执行c1)；若否，执行c2)；

c1)删除存在所述数据漂移情况的所述记录，更新判断时间，并跳过后续步骤，获取下一条记录进行处理；

c2)判断所述记录中的记录时间是否超过时间阈值，若否，执行d1)；若是，执行d2)；

d1)更新判断时间，并跳过后续步骤，获取下一条记录进行处理；

d2)增加所述记录中的记录时间超过所述时间阈值的记录，然后将所述记录加入所述手机识别号MSID追踪列表中，更新判断时间，获取下一条记录进行处理。

优选的，所述步骤C中，对所述手机信令数据中的停留时间阈值进行标定和校核的方法，步骤如下：

C1、设置一组等差时间值作为停留时间，整理基于不同停留时间的手机信令数据，获取与所述等差时间值相对应的包括出行次数和/或出行距离的分组特征参数；

C2、将获取的每一组所述分组特征参数与所述步骤B中获取的所述居民出行特征参数进行类比，选出与所述居民出行特征参数最接近的一组，该组所述分组特征参数的停留时间即为参考阈值；

C3、用所述参考阈值处理所述手机信令数据，将所述手机信令数据的轨迹数据转化为OD出行矩阵，完成第一次数据融合。

优选的，所述步骤E中，将所述居民出行OD分布矩阵与所述居民出行总量进行融合处理的方法，步骤如下：

E1、将所述步骤C得到的所述初始居民出行OD分布矩阵乘以所述步骤D得到的所述扩样倍率，使所述初始居民出行OD分布矩阵的各行、列之和等于所述步骤D中扩样后的居民出行总量；

E2、对扩样后的所述初始居民出行OD分布矩阵进行核查，核查扩样后的所述初始居民出行OD分布矩阵中各数值比例关系与扩样前一致，即完成第二次数据融合，得到最终居民出行OD矩阵。

本发明的有益效果：

1.本发明中各起讫点的交通生成总量与现状居民出行调查结果相符合，与城市人口基数、出行总量等特征一致，与现实情况高度一致；

2.本发明中各起讫点之间的出行分布更加均匀，不会产生出行生成为零的现象，较好的克服传统调查采样不均匀的缺陷，精确度大大提升；

3.本发明最终所得居民出行OD分布中主体数据来源于手机信令数据，本身样本量极大，与利用概率统计的小样本分析结果相比，可信度较高。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1示出本发明一实施例的信令数据采集系统构成示意图。

图2示出本发明一实施例的手机信令数据采集接口示意图。

图3示出本发明一实施例的数据质量分析结构示意图。

图4示出本发明一实施例的移动基站与交通网络针对第i和第j两个小区的匹配示意图。

图5示出本发明一实施例中手机信令数据出行链分析流程图。

图6示出本发明一实施例中不同停留时间阈值的两类数据下出行特征对比结果。

具体实施方式

实施例

基于融合数据的居民出行OD分布提取方法；步骤如下：

A、对原始手机信令数据进行清洗和预处理，去掉原始手机信令数据中的错误数据和乒乓切换数据，形成所需要的手机信令数据；

B、对问卷式的居民出行调查数据进行处理，获取居民出行特征参数，居民出行特征参数至少包括出行率、出行距离、出行时间；

C、利用居民出行特征参数，对手机信令数据中的停留时间阈值进行标定和校核，获取初始居民出行OD分布矩阵；

D、通过统计学方法，对手机信令数据进行合理扩样，根据居民出行调查采样百分比确定扩样倍率，扩样倍率是居民出行调查采样百分比倒数，再由居民调查获取的平均出行次数，与扩样倍率、调查人数相乘，获取居民出行总量，居民出行总量包括主动产生数量和被吸引产生数量；

E、对从手机信令数据获取的初始居民出行OD分布矩阵，以及从居民出行调查数据获取的居民出行总量进行融合处理，得到最终调整后的最终居民出行OD分布情况。

在某些实施例中，如图1所示，在步骤A中，原始手机信令数据基于运营商对手机信令数据采集系统采集；原始手机信令数据依次籍由信令采集、LER服务器、安全IMSI转换后传送至交通及客流应用业务服务器。

在某些实施例中，如图2所示，安全IMSI转换后的原始手机信令数据籍两路并联的FTP服务器传送到交通及客流应用业务服务器。

在某些实施例中，在步骤A中，清洗和预处理包括数据清洗与修补、数据质量分析、数据与地图信息匹配，以及数据的出行链分析。

在某些实施例中，数据清洗与修补是指利用多级过滤器，对手机信令数据进行分析和筛选，去除数据噪音；若出现数据字段缺失现象，对数据做如下处理：

(c)、对于重要字段缺失的数据直接剔除；

(d)、对于可根据轨迹信息进行修补的数据进行修正，修正步骤为：

(b1)将同一用户在原始手机信令数据内的相关信令数据按照时间进行排序，然后根据下列情形修复：

(b1.1)如果待修正数据的前后两条数据均完整，且需修正字段一致，则该条信息补充该字段且字段内容为前后两条相一致的内容；

(b1.2)如果前后两条数据内容不一致，则根据时间差值进行判断，将与其时间差值小的一条记录作为补充内容；

(b1.3)如前、后两条中均有不完整数据，则依次往下寻找至完整的记录为止。

在某些实施例中，如图3所示，数据质量分析包括：数据时间完整性、数据空间分布完整性、事件采集触发类型完整性，以及数据采集信令数量、用户数、人均信令数各个方面。

在某些实施例中，如图4所示，数据与地图信息匹配是基于基站匹配规则，判断手机用户在地图上的移动轨迹。

在某些实施例中，如图5所示，数据的出行链分析是指依次读取原始手机信令数据，获取每一条记录的小区位置编号lac_cell，且根据以下不同情况分别作出处理：

a)记录中的手机识别号MSID是否被追踪过，否则输出相应的用户数据，并跳过后续步骤，获取下一条记录进行处理；

b)遍历对应所有手机识别号MSID的小区位置编号lac_cell系列，对每一个手机识别号MSID标记不重复的正整数下标i；并判断记录是否存在数据漂移情况，若是，执行c1)；若否，执行c2)；

c1)删除存在数据漂移情况的记录，更新判断时间，并跳过后续步骤，获取下一条记录进行处理；

c2)判断记录中的记录时间是否超过时间阈值，若否，执行d1)；若是，执行d2)；

d1)更新判断时间，并跳过后续步骤，获取下一条记录进行处理；

d2)增加记录中的记录时间超过时间阈值的记录，然后将记录加入手机识别号MSID追踪列表中，更新判断时间，获取下一条记录进行处理。

根据上述基于融合数据的居民出行OD分布提取方法，以某市案例验证这一技术方法的可行性与技术效果。

1.手机信令数据的收集、清洗与预处理

收集一段时间的全市手机信令数据(一般为3-5个工作日、1-2个休息日)，对数据中的无效数据、干扰数据进行去除，保留有效数据。

2.居民出行调查数据的收集与处理，获取出行特征信息

通过对居民出行调查问卷的处理与统计，去除无效问卷后对问卷信息进行统计关联，可以得到以下几个关键性的居民出行特征指标，对时间阈值的选择具有指导作用：

(1)居民出行率2.39次/日；

(2)平均出行距离2.84公里；

(3)平均出行时耗26.3分钟。

同时，对出行起讫点数据化后，可获取基于居民出行调查的OD分布矩阵。

3.手机用户轨迹数据处理(阈值确定&第一次的数据融合)

基于出行特征指标，对手机信令数据的停留时间阈值进行标定：

(1)将阈值区间分成1200s、1500s、1800s、2100s、2400s五组，分别整理对应的出行OD分布矩阵，并统计相对应的出行次数、出行距离等出行特征参数；

(2)将各组手机信令数据得到的出行特征参数与居民出行调查数据进行对比，选取较为接近的一组阈值作为最终参数，如图6所示。

如图6所示，将1800s设定为停留时间阈值的统计结果与居民出行调查结果最为吻合，以此将手机信令数据的移动轨迹数据转化为对应的出行OD分布矩阵，此处完成了第一次的数据融合。

4.居民出行调查数据的扩样

此次调查抽样户数为5276户，剔除303户明显无效的家庭户数据，可用于分析的有效数据为4973户，受访人口为13707人，户均受访人口为2.76人/户。

基于3％的采样率，结合受访人数、平均出行次数等统计指标，与确定的扩样倍率相乘，可得到出行生成总量。

5.基于数据融合技术的OD矩阵扩样(第二次数据融合)

在维持手机信令数据OD分布形态不变(矩阵中各数值比例关系与扩样前一致)条件下，进行出行总量调整，完成第二次的数据融合，最终扩样后可得到基于手机信令数据的居民出行OD分布。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.基于融合数据的居民出行OD分布提取方法；步骤如下：

A、对原始手机信令数据进行清洗和预处理，去掉所述原始手机信令数据中的错误数据和乒乓切换数据，形成所需要的手机信令数据；

B、对问卷式的居民出行调查数据进行处理，获取居民出行特征参数，所述居民出行特征参数至少包括出行率、出行距离、出行时间；

C、利用所述居民出行特征参数，对所述手机信令数据中的停留时间阈值进行标定和校核，获取初始居民出行OD分布矩阵；

D、通过统计学方法，对所述手机信令数据进行合理扩样，根据居民出行调查采样百分比确定扩样倍率，所述扩样倍率是所述居民出行调查采样百分比倒数，再由居民调查获取的平均出行次数，与扩样倍率、调查人数相乘，获取居民出行总量，所述居民出行总量包括主动产生数量和被吸引产生数量；

E、对从所述手机信令数据获取的所述初始居民出行OD分布矩阵，以及从居民出行调查数据获取的所述居民出行总量进行融合处理，得到最终调整后的最终居民出行OD分布情况。

2.根据权利要求1所述的基于融合数据的居民出行OD分布提取方法，其特征在于，在所述步骤A中，所述原始手机信令数据基于运营商对手机信令数据采集系统采集；所述原始手机信令数据依次籍由信令采集、LER服务器、安全IMSI转换后传送至交通及客流应用业务服务器。

3.根据权利要求2所述的基于融合数据的居民出行OD分布提取方法，其特征在于，所述安全IMSI转换后的所述原始手机信令数据籍两路并联的FTP服务器传送到所述交通及客流应用业务服务器。

4.根据权利要求1所述的基于融合数据的居民出行OD分布提取方法，其特征在于，在所述步骤A中，所述清洗和预处理包括数据清洗与修补、数据质量分析、数据与地图信息匹配，以及数据的出行链分析。

5.根据权利要求4所述的基于融合数据的居民出行OD分布提取方法，其特征在于，所述数据清洗与修补是指利用多级过滤器，对手机信令数据进行分析和筛选，去除数据噪音；若出现数据字段缺失现象，对数据做如下处理：

(a)、对于重要字段缺失的数据直接剔除；

(b)、对于可根据轨迹信息进行修补的数据进行修正，修正步骤为：

(b1)将同一用户在所述原始手机信令数据内的相关信令数据按照时间进行排序，然后根据下列情形修复：

(b1.1)如果待修正数据的前后两条数据均完整，且需修正字段一致，

则该条信息补充该字段且字段内容为前后两条相一致的内容；

(b1.2)如果前后两条数据内容不一致，则根据时间差值进行判断，将与其时间差值小的一条记录作为补充内容；

(b1.3)如前、后两条中均有不完整数据，则依次往下寻找至完整的记录为止。

6.根据权利要求4所述的基于融合数据的居民出行OD分布提取方法，其特征在于，所述数据质量分析包括：数据时间完整性、数据空间分布完整性、事件采集触发类型完整性，以及数据采集信令数量、用户数、人均信令数各个方面。

7.根据权利要求4所述的基于融合数据的居民出行OD分布提取方法，其特征在于，所述数据与地图信息匹配是基于基站匹配规则，判断手机用户在地图上的移动轨迹。

8.根据权利要求4所述的基于融合数据的居民出行OD分布提取方法，其特征在于，所述数据的出行链分析是指依次读取所述原始手机信令数据，获取每一条记录的小区位置编号lac_cell，且根据以下不同情况分别作出处理：

a)所述记录中的手机识别号MSID是否被追踪过，否则输出相应的用户数据，并跳过后续步骤，获取下一条记录进行处理；

b)遍历对应所有所述手机识别号MSID的所述小区位置编号lac_cell系列，对每一个所述手机识别号MSID标记不重复的正整数下标i；并判断所述记录是否存在数据漂移情况，若是，执行c1)；若否，执行c2)；

c1)删除存在所述数据漂移情况的所述记录，更新判断时间，并跳过后续步骤，获取下一条记录进行处理；

c2)判断所述记录中的记录时间是否超过时间阈值，若否，执行d1)；若是，执行d2)；

d1)更新判断时间，并跳过后续步骤，获取下一条记录进行处理；

d2)增加所述记录中的记录时间超过所述时间阈值的记录，然后将所述记录加入所述手机识别号MSID追踪列表中，更新判断时间，获取下一条记录进行处理。

9.根据权利要求1所述的基于融合数据的居民出行OD分布提取方法，其特征在于，所述步骤C中，对所述手机信令数据中的停留时间阈值进行标定和校核的方法，步骤如下：

C1、设置一组等差时间值作为停留时间，整理基于不同停留时间的手机信令数据，获取与所述等差时间值相对应的包括出行次数和/或出行距离的分组特征参数；

C2、将获取的每一组所述分组特征参数与所述步骤B中获取的所述居民出行特征参数进行类比，选出与所述居民出行特征参数最接近的一组，该组所述分组特征参数的停留时间即为参考阈值；

C3、用所述参考阈值处理所述手机信令数据，将所述手机信令数据的轨迹数据转化为OD出行矩阵，完成第一次数据融合。

10.根据权利要求1所述的基于融合数据的居民出行OD分布提取方法，其特征在于，所述步骤E中，将所述居民出行OD分布矩阵与所述居民出行总量进行融合处理的方法，步骤如下：

E1、将所述步骤C得到的所述初始居民出行OD分布矩阵乘以所述步骤D得到的所述扩样倍率，使所述初始居民出行OD分布矩阵的各行、列之和等于所述步骤D中扩样后的居民出行总量；

E2、对扩样后的所述初始居民出行OD分布矩阵进行核查，核查扩样后的所述初始居民出行OD分布矩阵中各数值比例关系与扩样前一致，即完成第二次数据融合，得到最终居民出行OD矩阵。