CN110753307A - 一种基于居民调查数据获取带有标签的手机信令轨迹数据方法 - Google Patents

Abstract

本发明公开了一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，包括以下步骤：S1获取手机信令轨迹数据以及居民出行调查数据的基本属性信息；S2基于手机基站与交通小区的空间对应关系将手机出行OD转化成交通小区出行OD；S3针对不同日期提取手机信令轨迹数据以及居民出行调查数据的特征集合，对数据进行时间纬度上的初步融合；S4基于每一条居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配；S5结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据最终的特征匹配，获得带有标签的手机信令轨迹数据。实现了手机信令数据大样本与居民出行调查数据小样本的数据融合。

Description

一种基于居民调查数据获取带有标签的手机信令轨迹数据 方法

技术领域

本发明涉及大数据、小数据匹配领域，具体是一种带有标签的手机信令轨迹数据获取方法。

背景技术

通信与互联网技术的发展与普及应用，应运而生的是对其背后蕴藏的大量潜在信息的大数据的挖掘研究。据工信部统计，截止2015年底，全国手机用户已达12.86亿，手机普及率为每百人94.5部。其手机信令数据以其内涵丰富、采样率高以及时效性好等优良特性吸引了大量学者的关注。然而手机信令数据出于保护隐私以及数据采集字段自身的一些局限性的缘故，很难获取准确的带有标签的样本信息，如出行者的类型属性以及出行方式，这将阻碍交通分析、交通规划等相关专题研究的进一步推进。

从通信网络获取的手机信令数据是由运营商经过匿名处理的位置大数据，一方面得益于其不涉及用户隐私在很多宏观领域的研究中得到了广泛的应用，另一方面匿名的特性也给研究带来了一些阻碍。尤其是在颗粒度较为精细的个体出行链研究中，由于很难获取到该用户真实的出行信息，导致无法搭建数据与真实场景之间桥梁，很难检验科研结果的准确性。

传统居民调查是由当地规划部门组织，获取居民交通需求最基本的途径，尽管在大数据发展如火如荼的今天，传统抽样调查仍是不可被抛弃的交通信息获取手段。北京、上海等大城市都开展过多次综合交通调查，而且建立了长效机制，定期组织开展综合交通调查以及各种专项交通调查。一方面传统居民出行调查得到的个人属性以及出行信息的完整度较高，包含有性别、年龄、出行目的、出行方式等属性。另一方面由于居民出行调查的组织者是当地政府部门，而且采用的是分级抽样调查的方法，可以有效的避免获取的样本数据在人群和时空分布上的偏向性，更具随机性。

相比于手机信令轨迹数据，居民出行调查数据是一种属性丰富的抽样小数据，这两类数据源的融合匹配为手机轨迹样本的出行方式标签获取提供了一条新思路。

目前，对于大数据与小数据匹配结合的研究较少，相近的有张晨等人提出的一种基于多签到数据的标签匹配算法。包括以下步骤：1)基于单个用户的多种签到数据间具有时间和空间相近的时空相关性，计算多个标签之间的正负关系；2)基于标签之间的正负关系，构建面向多签到数据的符号网络；3)摒弃不适用于签到数据符号网络的分割条件，并通过增加权值分布密度来改进已有FEC社区发现算法的分割机制，以适应签到数据符号网络的特性，实现多标签的划分；4)利用仿真实验分析实现多类别的签到数据的标签匹配。该方案局限于匹配同一用户具有时空相关性的不同种类的签到数据，而由于居民调查出行数据是由人工填写获取，存在时间和空间纬度的误差。

发明内容

本发明针对背景技术中存在的问题：现有的多源数据特征标签匹配方法中，对于所匹配的数据源时空相关性要求较高。而同一用户产生的各类不同的数据中，由于误差的存在会导致数据源间时空相关性差，使得最终匹配结果精度不高。

本发明基于居民调查数据与手机信令轨迹数据，根据数据的出行特征及个体属性特征相关性的特点，从数据样本整体角度出发，提取出行者的出行相关特征以及用户基本属性信息，通过时空分类汇聚进行初步处理。然后基于每一条居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配。最后结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据最终的特征匹配，得到匹配成功的手机信令轨迹数据的扩展属性，实现手机信令数据大样本与居民出行调查数据小样本的数据融合。

技术方案：

一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，包括以下步骤：

S1、获取手机信令轨迹数据以及居民出行调查数据的基本属性信息；

S2、基于手机基站与交通小区的空间对应关系将手机出行OD转化成交通小区出行OD；

S3、针对不同日期提取手机信令轨迹数据以及居民出行调查数据的特征集合，对数据进行时间纬度上的初步融合；

S4、基于每一条居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配；

S5、结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据最终的特征匹配，得到匹配成功的手机信令轨迹数据的扩展属性，即获得带有标签的手机信令轨迹数据。

优选的，步骤S1先获取研究地区研究时间范围内的手机信令轨迹数据与居民出行调查数据，然后从运营商获取对应手机用户基本个人特征属性信息。

优选的，所述基本个人特征属性信息包括性别、年龄。

具体的，步骤S2基于手机基站与交通小区的空间对应关系将手机出行OD转化成交通小区出行OD，包括以下步骤：

S21、遍历居民出行调查数据集，对研究范围内所划分的交通小区进行统一编号；

S22、根据先验经验知识并结合研究区域实际情况，利用Arcgis的相交分析工具确定基站与交通小区对应表；

S23、根据已确定的基站与交通小区对应表，将通过手机信令数据提取出来的基于基站的出行OD汇聚成基于交通小区的出行OD。

优选的，步骤S3对所获取的研究地区研究时间范围内的手机信令数据与居民出行调查数据特征集合，从时间特征纬度上根据不同的日期进行分类汇聚，将同一日期的居民出行调查数据与手机信令轨迹数据进行初步融合。

具体的，步骤S4基于每一条居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配，包括以下步骤：

S41、遍历居民出行调查数据集，基于每一条居民出行调查数据的出行起讫点特征属性O_id与D_id对手机信令轨迹数据集进行筛选匹配，筛选出具有相同O_id与D_id特征属性的手机信令轨迹数据子集；其中：O_id表示出行起点所在交通小区编号，D_id表示出行终点所在交通小区编号；

S42、针对上一步骤中每一条居民调查出行数据及其初步筛选匹配出的手机信令轨迹数据子集，分别提取第i条居民出行调查数据特征属性中的出发时间O_time_i和到达时间D_time_i，i＝1,2,3...以及与其对应手机信令轨迹数据子集中第j条数据特征属性中的出发时间leave_time_ij和到达时间arrive_time_ij，j＝1,2,3...，对每一条手机信令轨迹数据计算与其相对应的居民出行调查数据的出发时间误差值T^O _ij与到达时间误差值T^D _ij：

T^O _ij＝|O_time_i-leave_time_ij|(i＝1,2,3...；j＝1,2,3...)

T^D _ij＝|D_time_i-arrive_time_ij|(i＝1,2,3...；j＝1,2,3...)

S43、遍历手机信令轨迹数据集，对于每一条居民出行调查数据对应的手机信令轨迹数据子集进行时间误差的阈值判别：

若第i条居民出行调查数据对应的第j条手机信令轨迹数据能够满足T^O _ij≤T₁且T^D _ij≤T₂的阈值条件，则保留，其中T₁和T₂为设定的阈值；否则，将该条手机信令轨迹数据从第i条居民出行调查数据对应的手机信令轨迹数据子集中删除；

即得到基于居民出行调查数据出行特征属性的初步匹配结果。

作为一条居民出行调查数据与手机信令轨迹数据的特征匹配规则，步骤S5结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据的特征匹配，包括根据每一条居民出行调查数据中出行者的性别特征sex，对其匹配的手机信令轨迹数据子集的用户性别特征进行筛选，仅保留其匹配子集中性别特征相同的手机信令轨迹数据。

作为一条居民出行调查数据与手机信令轨迹数据的特征匹配规则，步骤S5结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据的特征匹配，包括遍历居民出行调查数据集，基于每一条居民出行调查数据的出行者年龄特征属性age对其对应的手机信令轨迹数据子集进一步的筛选匹配：筛选出年龄相差小于等于2岁的手机信令轨迹数据进行保留；其他数据从匹配集中删除。

作为一条居民出行调查数据与手机信令轨迹数据的特征匹配规则，步骤S5结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据的特征匹配，包括遍历居民出行调查数据集，统计每一条居民出行调查数据所匹配的手机信令轨迹数据子集中元素个数，记为N，进行以下的规则判别：

若N＝0，则该条居民出行调查数据没有成功匹配的手机信令轨迹数据，将其从居民出行调查数据集中剔除；

若N＝1，则该条居民出行调查数据成功匹配了唯一一条的手机信令轨迹数据，将其保留；

若N≥1，则该条居民出行调查数据存在多条手机信令轨迹数据与其匹配，匹配未成功，将其从居民出行调查数据集中剔除。

本发明的有益效果：

在以往的研究中，获取样本数据(小数据)的主要途径是通过征集志愿者调查记录一天的出行信息，同时在征得志愿者本人同意并签署授权书的前提下从通信运营商处提取该用户的手机信令数据进行研究。尽管手机数据是一种易获取，经济性和适用性高的交通大数据源，但是研究所需的带有出行者真实出行信息(包括出行轨迹、出行时间、出行方式等)的标签样本的可获取性较差。此外，受限于研究机构的规模和性质，招募的志愿者群体可能存在倾向性导致获取的标签出行样本在出行群体上具有偏差性。比如高校性质的研究机构志愿者大多为学生群体，其活动范围、出行目的和出行方式都较为局限。

本发明基于居民出行调查数据与手机信令轨迹数据来获取带有标签的手机信令轨迹数据。具体的：居民出行调查数据中包含有居民的性别、年龄、每条出行记录的出发交通小区编号、到达交通小区编号、出发时间、到达时间。从手机信令数据中提取出来的出行基站轨迹信息中也包含每条出行轨迹的出发点和到达点(记录单元为基站)、轨迹出发时间和到达时间以及通过IMSI号对应的该用户的性别和年龄。通过这些特征属性的对应可以将手机信令数据提取出来的出行轨迹与居民出行调查数据进行匹配，当两条记录在设定的规则下匹配成功时则可得到该手机信令出行轨迹的出行方式、出行目的等个人出行信息及家庭属性信息，从而获取包含有不同人群、不同时刻、不同交通出行方式等的手机轨迹样本数据。

本发明基于居民调查数据与手机信令轨迹数据，根据数据的出行特征及个体属性特征相关性的特点，从数据样本整体角度出发，提取出行者的出行相关特征以及用户基本属性信息，通过时空分类汇聚进行初步处理。然后基于每一条居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配。最后结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据最终的特征匹配，得到匹配成功的手机信令轨迹数据的扩展属性，实现手机信令数据大样本与居民出行调查数据小样本的数据融合。

附图说明

图1是本发明的方案流程图

具体实施方式

居民出行调查数据中包含有居民的性别、年龄、每条出行记录的出发交通小区编号、到达交通小区编号、出发时间、到达时间。从手机信令数据中提取出来的出行基站轨迹信息中也包含每条出行轨迹的出发点和到达点(记录单元为基站)、轨迹出发时间和到达时间以及通过IMSI号对应的该用户的性别和年龄。通过这些特征属性的对应可以将手机信令数据提取出来的出行轨迹与居民出行调查数据进行匹配，当两条记录在设定的规则下匹配成功时则可得到该手机信令出行轨迹的出行方式、出行目的等个人出行信息及家庭属性信息，从而获取包含有不同人群、不同时刻、不同交通出行方式等的手机轨迹样本数据。

下面结合图1和具体实施例对本发明作进一步描述。

步骤S1中以2017年南京市城市与交通规划设计研究院股份有限公司与苏州规划设计研究院股份有限公司在昆山联合开展的大规模综合交通调查中居民出行调查数据结合此期间内的昆山市移动手机信令数据为例，其中居民出行调查采取家访调查的方式，由调查人员上门收发出行调查表格。该次调查中随机抽取了城市集中建设区家庭5150户，外围村镇250户，最终收集到有效的出行数据共38598条。调查中根据昆山市用地规模、土地利用性质和规划布局特点确定了交通小区边界，以村委会和居委会为基本单元将昆山市划分成531个交通小区，出行起讫点的录入均以交通小区为依据。

居民出行调查中出行者的基本属性信息如表1所示：

表1出行者基本属性信息

此期间内在昆山市出现的手机用户基本属性信息如表2所示：

表2手机用户基本属性信息

此期间内在昆山市出现的手机用户出行轨迹记录属性信息如表3所示：

表3手机用户出行轨迹记录属性信息

步骤S2中基于空间对应关系利用Arcgis相交分析工具所得到的手机基站与交通小区对应表，部分示例为对应交通小区180的所有基站ID如表4所示，基于基站的手机信令数据出行OD汇聚转化为基于交通小区的手机信令数据出行OD如表5所示。

表4基站与交通小区对应表

表5基于交通小区的手机信令数据出行OD示例

步骤S3中从时间特征纬度上根据不同的日期进行分类汇聚，将同一日期的居民出行调查数据与手机信令轨迹数据进行初步融合，案例中所选取的6月18日的居民调查数据部分示例如表6所示：

表6 6月18日居民出行调查数据示例

步骤S4中基于居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配结果，匹配规则：

S41、遍历居民出行调查数据集，基于每一条居民出行调查数据的出行起讫点特征属性O_id与D_id对手机信令轨迹数据集进行筛选匹配，筛选出具有相同O_id与D_id特征属性的手机信令轨迹数据子集。

S42、针对上一步骤中每一条居民调查出行数据及其初步筛选匹配出的手机信令轨迹数据子集，分别提取第i条居民出行调查数据特征属性中的出发时间O_time_i和到达时间D_time_i(i＝1,2,3...)以及与其对应手机信令轨迹数据子集中第j条数据特征属性中的出发时间leave_time_ij和到达时间arrive_time_ij(j＝1,2,3...)，对每一条手机信令轨迹数据计算与其相对应的居民出行调查数据的出发时间误差值T^O _ij与到达时间误差值T^D _ij：

T^O _ij＝|O_time_i-leave_time_ij|(i＝1,2,3...；j＝1,2,3...)

T^D _ij＝|D_time_i-arrive_time_ij|(i＝1,2,3...；j＝1,2,3...)

S43、遍历手机信令轨迹数据集，对于每一条居民出行调查数据对应的手机信令轨迹数据子集进行时间误差的阈值判别：

若第i条居民出行调查数据对应的第j条手机信令轨迹数据能够满足T^O _ij≤30min与T^D _ij≤30min的阈值条件，则保留；否则，将该条手机信令轨迹数据从第i条居民出行调查数据对应的手机信令轨迹数据子集中删除。

仅基于居民出行调查数据的出行特征属性条件下，根据所设定的匹配规则下筛选匹配到的手机信令轨迹数据条数记为match_num，如表7所示：

表7初步筛选匹配结果示例

步骤S5中结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据最终的特征匹配，匹配步骤为：

S51、根据每一条居民出行调查数据中出行者的性别特征sex，对其匹配的手机信令轨迹数据子集的用户性别特征进行筛选，仅保留其匹配子集中性别特征相同的手机信令轨迹数据；

S52、遍历居民出行调查数据集，基于每一条居民出行调查数据的出行者年龄特征属性age对其对应的手机信令轨迹数据子集进一步的筛选匹配：筛选出年龄相差小于等于2岁的手机信令轨迹数据进行保留；其他数据从匹配集中删除。

S53、遍历居民出行调查数据集，统计每一条居民出行调查数据所匹配的手机信令轨迹数据子集中元素个数，记为N，进行以下的规则判别：

若N＝0，则该条居民出行调查数据没有成功匹配的手机信令轨迹数据，将其从居民出行调查数据集中剔除；

若N＝1，则该条居民出行调查数据成功匹配了唯一一条的手机信令轨迹数据，将其保留；

若N≥1，则该条居民出行调查数据存在多条手机信令轨迹数据与其匹配，匹配未成功，将其从居民出行调查数据集中剔除；

经过匹配后，共得到5861条匹配成功的手机出行轨迹数据，部分示例如表8所示。id为居民出行调查数据的编号，type为出行方式的类别，1为步行、2为自行车、3为小汽车、4为公交车、5为小汽车，O_time和D_time分别表示居民出行调查数据中填写的出发时刻和到达时刻，O_id和D_id分别表示起终点所在交通小区编号，sex为该用户的性别，age为年龄，leave_time和arrive_time分别表示匹配成功的手机出行轨迹中第一个停留点(出行起点)的离开时间和第二个停留点(出行终点)的到达时间。

表8部分匹配数据示例

至此，获得高精度的带有标签的手机信令轨迹数据。

以上实施例仅用于说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的实质和范围。

Claims (9)

1.一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于包括以下步骤：

S1、获取手机信令轨迹数据以及居民出行调查数据的基本属性信息；

S2、基于手机基站与交通小区的空间对应关系将手机出行OD转化成交通小区出行OD；

S3、针对不同日期提取手机信令轨迹数据以及居民出行调查数据的特征集合，对数据进行时间纬度上的初步融合；

S4、基于每一条居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配；

S5、结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据最终的特征匹配，得到匹配成功的手机信令轨迹数据的扩展属性，即获得带有标签的手机信令轨迹数据。

2.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于步骤S1先获取研究地区研究时间范围内的手机信令轨迹数据与居民出行调查数据，然后从运营商获取对应手机用户基本个人特征属性信息。

3.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于所述基本个人特征属性信息包括性别、年龄。

4.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于步骤S2基于手机基站与交通小区的空间对应关系将手机出行OD转化成交通小区出行OD，包括以下步骤：

S21、遍历居民出行调查数据集，对研究范围内所划分的交通小区进行统一编号；

S22、根据先验经验知识并结合研究区域实际情况，利用Arcgis的相交分析工具确定基站与交通小区对应表；

S23、根据已确定的基站与交通小区对应表，将通过手机信令数据提取出来的基于基站的出行OD汇聚成基于交通小区的出行OD。

5.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于步骤S3对所获取的研究地区研究时间范围内的手机信令数据与居民出行调查数据特征集合，从时间特征纬度上根据不同的日期进行分类汇聚，将同一日期的居民出行调查数据与手机信令轨迹数据进行初步融合。

6.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于步骤S4基于每一条居民出行调查数据的出行特征属性，在所设定的匹配规则下对手机信令轨迹数据进行初步筛选匹配，包括以下步骤：

S41、遍历居民出行调查数据集，基于每一条居民出行调查数据的出行起讫点特征属性O_id与D_id对手机信令轨迹数据集进行筛选匹配，筛选出具有相同O_id与D_id特征属性的手机信令轨迹数据子集；其中：O_id表示出行起点所在交通小区编号，D_id表示出行终点所在交通小区编号；

S42、针对上一步骤中每一条居民调查出行数据及其初步筛选匹配出的手机信令轨迹数据子集，分别提取第i条居民出行调查数据特征属性中的出发时间O_time_i和到达时间D_time_i，i＝1,2,3...以及与其对应手机信令轨迹数据子集中第j条数据特征属性中的出发时间leave_time_ij和到达时间arrive_time_ij，j＝1,2,3...，对每一条手机信令轨迹数据计算与其相对应的居民出行调查数据的出发时间误差值T^O _ij与到达时间误差值T^D _ij：

T^O _ij＝|O_time_i-leave_time_ij|(i＝1,2,3...；j＝1,2,3...)

T^D _ij＝|D_time_i-arrive_time_ij|(i＝1,2,3...；j＝1,2,3...)

S43、遍历手机信令轨迹数据集，对于每一条居民出行调查数据对应的手机信令轨迹数据子集进行时间误差的阈值判别：

若第i条居民出行调查数据对应的第j条手机信令轨迹数据能够满足T^O _ij≤T₁且T^D _ij≤T₂的阈值条件，则保留，其中T₁和T₂为设定的阈值；否则，将该条手机信令轨迹数据从第i条居民出行调查数据对应的手机信令轨迹数据子集中删除；

即得到基于居民出行调查数据出行特征属性的初步匹配结果。

7.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于步骤S5结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据的特征匹配，包括根据每一条居民出行调查数据中出行者的性别特征sex，对其匹配的手机信令轨迹数据子集的用户性别特征进行筛选，仅保留其匹配子集中性别特征相同的手机信令轨迹数据。

8.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于步骤S5结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据的特征匹配，包括遍历居民出行调查数据集，基于每一条居民出行调查数据的出行者年龄特征属性age对其对应的手机信令轨迹数据子集进一步的筛选匹配：筛选出年龄相差小于等于2岁的手机信令轨迹数据进行保留；其他数据从匹配集中删除。

9.如权利要求1所述的一种基于居民调查数据获取带有标签的手机信令轨迹数据方法，其特征在于步骤S5结合出行者与手机用户的个人特征属性，完成对居民出行调查数据与手机信令轨迹数据的特征匹配，包括遍历居民出行调查数据集，统计每一条居民出行调查数据所匹配的手机信令轨迹数据子集中元素个数，记为N，进行以下的规则判别：

若N＝0，则该条居民出行调查数据没有成功匹配的手机信令轨迹数据，将其从居民出行调查数据集中剔除；

若N＝1，则该条居民出行调查数据成功匹配了唯一一条的手机信令轨迹数据，将其保留；

若N≥1，则该条居民出行调查数据存在多条手机信令轨迹数据与其匹配，匹配未成功，将其从居民出行调查数据集中剔除。

Images