CN106970945A - 一种出租车数据集的轨迹预处理方法 - Google Patents

Abstract

本发明公开了一种出租车数据集的轨迹预处理方法。首先轨迹数据获取，采样轨迹点包括经度、纬度和时间戳信息；然后轨迹数据解析，抽象存储在实体对象中，对轨迹进行编号，加入轨迹点ID；再查找轨迹缺失值，利用线性插值法或平均值法补缺缺失值；轨迹点聚类，检测出异常点，精确分析异常点并处理；检测数据冗余区，对冗余数据提取并进行轨迹压缩；搜索轨迹中处于拐角的轨迹点，生成拐点集，对拐点集进行合并和调整，按拐点集进行轨迹切割；最后轨迹信息更新和输出。本发明能够处理缺失值，对异常点进行检测和处理，并能对复杂且有重叠的轨迹进行切割。

Description

一种出租车数据集的轨迹预处理方法

技术领域

本发明属于数据预处理技术领域，特别涉及一种基于UCI机器学习库中出租车数据集的轨迹预处理的方法。

背景技术

随着传感器网络、卫星和无线通信等位置采集技术的快速发展，各类移动对象产生了大规模的轨迹数据。轨迹数据通常包括轨迹序列和轨迹点，其中：轨迹点是记录轨迹的原子数据，它由经度、纬度和时间戳组成；轨迹序列由若干包含轨迹点组成。现实生活中的数据是纷繁杂乱的，收集来的数据往往存在缺失和录入错误。在轨迹数据中有缺失值也是正常现象，若不对其进行处理，将会对计算结果有极大的干扰，故在数据读取后对轨迹数据进行缺失值预处理。且数据收集和测量过程中的有很多误差，轨迹在收集或者是录入的过程中，会有一些错误的轨迹点，其在数据预处理时应该进行数据清理。异常点的属性值明显偏离期望的或常见的属性值，会造成相似分析的误差，故对异常点的检测分析时不可缺失的。数据粒度在数据挖掘和统计分析中是一个关键参数，合适的数据粒度能在运动对象相似分析及可视化中，能提高分析计算性能。在轨迹数据中有的区域内点的分布很密集且特征相似，若不做处理首先会导致数据量大，计算速度下降，其次也会影响计算的精度。

为了便于搜索轨迹挖掘，提高分析的精确度，防止算法在轨迹点匹配时过度扭曲，在数据预处理时，需要对轨迹进行轨迹分割。

从上述一些需求中不难看出，研究轨迹挖掘的过程中，实现轨迹数据预处理是非常有意义的。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种能够处理轨迹数据中的缺失值，对于异常点进行检测和处理，并能对复杂且有重叠的轨迹进行切割的出租车数据集的轨迹预处理方法。

技术方案：为解决上述技术问题，本发明提供一种出租车数据集的轨迹预处理方法，包括如下步骤：

步骤一：对于轨迹数据进行获取，采样轨迹点包括经度、纬度和时间戳信息；

步骤二：对轨迹数据进行解析并抽象存储在实体对象中，然后对轨迹进行编号，加入轨迹点ID；

步骤三：对解析后的轨迹数据进行预处理，先进行补缺阶段分析，查找轨迹缺失值，利用线性插值法或平均值法补缺缺失值；

步骤四：对进行完成缺失值处理后的数据再进行异常值检测，先对异常值检测并处理，然后通过数据冗余检测及数据压缩；

步骤五：对检测后的数据进行切割，搜索轨迹中处于拐角的轨迹点，生成拐点集，对拐点集进行合并和调整，按拐点集进行轨迹切割；

步骤六：轨迹信息更新并进行轨迹输出。

进一步的，所述步骤三中补缺阶段分析中，轨迹基本缺失情况和缺失值处理方法对应如下，其中轨迹基本缺失情况有如下三种：

1)经、纬度同时丢失；

2)经度丢失或纬度丢失；

3)时间戳丢失；

其他复杂情况可由这三种情况进行复合，复合缺失情况可拆开由基本缺失情况进行处理；

对应的当经、纬度同时丢失时，由于其缺失数据过多，该数据在轨迹分析时不会有意义，则从轨迹中去除该点；

当经度和纬度丢失其中之一时，利用线性插值的方法来补全缺失值，线性插值是一种插值方法，指使用连接两个已知量的直线来确定在两个已知量之间的一个未知量的值的方法；

当时间丢失时，利用前后轨迹点的时间戳来计算缺失时间的平均值，补全缺失的时间戳。

进一步的，所述步骤四中异常值检测并处理的具体步骤如下：利用K-means算法实现异常点检测，利用点与点之间的欧氏距离作为轨迹点间的相似度测量标准；K-means属于划分式聚类算法，其需要预先指定聚类数目或聚类中心，通过反复迭代运算，逐步降低目标函数的误差值，当目标函数值收敛时，得到最终聚类结果；检测之后，对轨迹点时间戳进行精确分析，若是异常值，则去掉。

进一步的，所述步骤四中数据冗余检测及数据压缩的具体步骤如下：对相似轨迹点聚集到一个类群里，该群里的点有些距离很接近且相似，每次取3个点作为研究对象，若这3个点基本在一条直线上，便将其中的非拐点去掉，最多去掉其中的2个点。

与现有技术相比，本发明的优点在于：

本发明方法能100％处理缺失值；能检测和处理85％左右的异常点；能去掉的冗余点所占轨迹点的区间为(0，25％)；对于复杂且经纬度有重叠的轨迹能进行有效切割。

本发明中对于缺失值的处理，是查询出数据中的缺失值，分析缺失情况属于哪一类型，再根据具体类型利用插值法或均值法进行补缺，其中线性插值是最简洁而效率最高的缺失值处理方法。

本发明中系统异常点检测的基本思想是一个类簇内的实体是相似的，不同类簇的实体是不相似的；一个类簇是测试空间中点的会聚，同一类簇的任意两个点间的距离小于不同类簇的任意两个点间的距离；类簇可以描述为一个包含密度相对较高的点集的多维空间中的连通区域，它们借助包含密度相对较低的点集的区域与其他区域(类簇)相分离。本系统异常点检测采用K-means算法实现，利用点与点之间的欧氏距离作为轨迹点间的相似度测量标准。

本发明采用数据压缩的技术，去除冗余的点，即类似于停留点的轨迹点；本系统所指停留点则是在其基础上扩展，不影响轨迹几何特征而停留在在轨迹上轨迹点；数据压缩算法的基本思想：去掉部分冗余的点，保证把这些点去掉后不会影响原轨迹的几何特征，如斜率、长度等；从而达到减小轨迹数据的大小，提高系统性能和精确度，减小研究对象的数据粒度的目的。

本发明使用的轨迹分割方法即是处理检测的高曲率点(角)的轨迹，然后用它们作为分离点原始路径分割成一些子轨迹段；轨迹切割算法采用基于拐角的切割算法，其算法的基本思想为：在轨迹中搜寻轨迹中的曲率高于90度的拐角点，然后对拐角点进行检测，看是否适合切割，若适合，则保留；否则丢弃；再结合轨迹点个数进行轨迹切割调整。

本发明也适用于数据结构与UCI机器学习库出租车数据集相类似的轨迹数据集。

附图说明

图1为本发明的总体流程图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

UCI机器学习库的出租车数据集为出租车位置记录数据，数据采集的时间间隔为1分钟，总共包括12255辆车连续6天的定位数据。获取的原始文本数据主要包括记录关键字、车辆编号、日期时间、经度、纬度、方向、瞬时速度等主要信息。本系统基于出租车数据集研究一种轨迹预处理的构建方法。

为了便于轨迹分析和计算的工作，对轨迹数据进行预处理，本系统基于UCI机器学习库的出租车数据集，使用Eclipse开发工具，利用Java EE技术设计并实现了一个具有轨迹数据预处理的Web应用。

一种基于UCI机器学习库出租车数据集的轨迹预处理的系统使用了3种具体解决方法。在补缺阶段，轨迹基本缺失情况有如下几种：(1)经、纬度同时丢失；(2)经度丢失或纬度丢失；(3)时间戳丢失。其他复杂情况可由这三种情况进行复合，复合缺失情况可拆开由基本缺失情况进行处理；当经、纬度同时丢失时，由于其缺失数据过多，该数据在轨迹分析时不会有意义，则从轨迹中去除该点；故；当经度和纬度丢失其中之一时，利用线性插值的方法来补全缺失值，线性插值是一种插值方法，指使用连接两个已知量的直线来确定在两个已知量之间的一个未知量的值的方法；当时间丢失时，利用前后轨迹点的时间戳来计算缺失时间的平均值，补全缺失的时间戳。在检测阶段，首先，利用K-means算法实现异常点检测，利用点与点之间的欧氏距离作为轨迹点间的相似度测量标准；K-means属于划分式聚类算法，其需要预先指定聚类数目或聚类中心，通过反复迭代运算，逐步降低目标函数的误差值，当目标函数值收敛时，得到最终聚类结果；检测之后，对轨迹点时间戳进行精确分析，若是异常值，则去掉。其次，对相似轨迹点聚集到一个类群里，该群里的点有些距离很接近且相似，每次取3个点作为研究对象，若这3个点基本在一条直线上，便将其中的非拐点去掉，最多去掉其中的2个点。此操作能有效维持原轨迹的几何特征，同时又去除了冗余的点，达到数据压缩的目的。在切割阶段，寻找轨迹拐角，并保存其拐角点信息；对拐角点进行调整，如密集拐角合并；轨迹按拐角切割，对切割后子轨迹段进行保存。

主要实现步骤如下：

步骤1：获取用户提交的轨迹文件；

步骤2：解析轨迹数据且将数据抽象存储，对轨迹进行编号，加入轨迹点ID；

步骤3：查找轨迹缺失值，分析缺失类型，针对不同类型进行缺失值处理；

步骤4：采用误差平方和准则函数作为聚类准则函数，欧式距离作为相似性的评价指标，对所选择轨迹的特征进行计算和提取；

步骤5：轨迹点聚类，认为簇是由距离靠近的对象组成，因此把得到紧凑且独立的簇作为最终目标，当检测出有单独的点并不属于任何堆时且与时间戳的值不可行时，则认为是异常点，可允许去除；

步骤6：对聚类后的群里的点进行处理，每次取3个点作为研究对象，若3个点基本在一条直线上，便去掉其中的非拐点，最多去掉其中的2个点；

步骤7：寻找轨迹拐角，并保存其拐角点信息，对拐角点进行调整，生成轨迹切割点集，按切割点集进行轨迹切割并保存；

步骤8：轨迹更新并输出。

本发明中用户可从出租车数据集中获取轨迹数据文件，轨迹数据文件为.csv格式。用户将轨迹数据文件提交给服务器，系统对轨迹数据文件进行解析，并存储为抽象的轨迹实体类型。

本发明在实际操作中结合具体的设备的具体使用流程如下：点击进入应用之后，提交轨迹文件；根据用户需求，可选择数据预处理的三个阶段，进行自由自合，比如根据之后轨迹挖掘内容，轨迹切割不需要使用，则可不选择切割阶段；文件上传后，对提交的轨迹文件进行解析和存储，根据选择轨迹预处理操作来对轨迹进行处理；查找缺失值，分析缺失值类型，利用插值法或均值法可补缺；利用K-means算法实现异常点检测，以点与点之间的欧氏距离作为轨迹点间的相似度测量标准，将轨迹点划分式聚类；检测出孤立点后，结合时间戳进行分析，去掉异常点；聚类后的群里的点进行处理，检测出冗余点群，采用分样法，去除非拐点；最后搜索拐角，找到拐点集，对其进行调整，生成切割点集，进行轨迹切割；可查看在补缺阶段处理后的轨迹数据；点击可视化，可将检测阶段的轨迹显示在百度地图上；利用不同的颜色标记，在轨迹上，基于拐角轨迹切割。

以上所述仅为本发明的实施例子而已，并不用于限制本发明。凡在本发明的原则之内，所作的等同替换，均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。

Claims (4)

1.一种出租车数据集的轨迹预处理方法，其特征在于，包括如下步骤：

步骤一：对轨迹数据进行获取，采样轨迹点包括经度、纬度和时间戳信息；

步骤二：对轨迹数据进行解析并抽象存储在实体对象中，然后对轨迹进行编号，加入轨迹点ID；

步骤三：对解析后的轨迹数据进行预处理，先进行补缺阶段分析，查找轨迹缺失值，利用线性插值法或平均值法补缺缺失值；

步骤四：对完成缺失值处理后的数据再进行异常值检测并处理，然后通过数据冗余检测及数据压缩；

步骤五：对检测后的数据进行切割，搜索轨迹中处于拐角的轨迹点，生成拐点集，对拐点集进行合并和调整，按拐点集进行轨迹切割；

步骤六：轨迹信息更新并进行轨迹输出。

2.根据权利要求1所述的一种出租车数据集的轨迹预处理方法，其特征在于，所述步骤三中补缺阶段分析中，轨迹基本缺失情况和缺失值处理方法对应如下，其中轨迹基本缺失情况有如下三种：

1)经、纬度同时丢失；

2)经度丢失或纬度丢失；

3)时间戳丢失；

其他复杂情况可由这三种情况进行复合，复合缺失情况可拆开由基本缺失情况进行处理；

对应的当经、纬度同时丢失时，由于其缺失数据过多，该数据在轨迹分析时不会有意义，则从轨迹中去除该点；

当经度和纬度丢失其中之一时，利用线性插值的方法来补全缺失值，线性插值是一种插值方法，指使用连接两个已知量的直线来确定在两个已知量之间的一个未知量的值的方法；

当时间丢失时，利用前后轨迹点的时间戳来计算缺失时间的平均值，补全缺失的时间戳。

3.根据权利要求1所述的一种出租车数据集的轨迹预处理方法，其特征在于，所述步骤四中异常值检测并处理的具体步骤如下：利用K-means算法实现异常点检测，利用点与点之间的欧氏距离作为轨迹点间的相似度测量标准；

K-means属于划分式聚类算法，其需要预先指定聚类数目或聚类中心，通过反复迭代运算，逐步降低目标函数的误差值，当目标函数值收敛时，得到最终聚类结果；检测之后，对轨迹点时间戳进行精确分析，若是异常值，则去掉。

4.根据权利要求1所述的一种出租车数据集的轨迹预处理方法，其特征在于，所述步骤四中数据冗余检测及数据压缩的具体步骤如下：对相似轨迹点聚集到一个类群里，该群里的点有些距离很接近且相似，每次取3个点作为研究对象，若这3个点基本在一条直线上，便将其中的非拐点去掉，最多去掉其中的2个点。