CN102201166B - 浮动车数据预处理装置和方法 - Google Patents

Abstract

本发明提出了一种数据预处理装置及方法，对基于浮动车的交通数据进行预处理，包括：输入单元，用于输入包括多个数据点的交通数据；过滤单元，用于从所输入的交通数据中滤除临时停车数据点；以及输出单元，用于输出所述过滤单元滤除临时停车数据点之后余下的数据点，作为预处理后的交通数据。本发明能够去除临时停车数据，降低浮动车为基础的路况计算中后续计算的计算强度，提高计算的速度和精确性。

Description

浮动车数据预处理装置和方法

技术领域

本发明涉及智能交通领域，具体涉及一种数据预处理装置和方法，其能够对基于浮动车的交通数据进行预处理，从中去除临时停车数据点。

背景技术

目前，浮动车技术已广泛应用于智能路况交通领域，利用基于浮动车的交通数据能够进行路况分析、预测、监控等。在利用浮动车数据之前，通常需要对原始数据进行预处理，以去除错误和无用的数据，余下的数据才用于进一步的后续处理。这种预处理直接影响到计算的速度、强度和精确性，因此在以浮动车为基础的路况计算、分析等过程中显得十分重要。基于浮动车的原始交通数据通常包含各种不同类型的数据，例如正常行驶数据、临时停车数据、长时间停车数据、错误数据等，这些数据中只有长时间停车和正常行驶数据才是比较有用的数据，能够用于后续的路况分析、计算等处理，而其它数据会增加计算强度，减慢计算速度，并降低计算的精确性。从原始数据中去除这些其他数据并不容易。现有技术中数据预处理以全球定位系统GPS参数以及所关心的区域为基础，从原始的交通数据中去除错误的数据和所关心的区域之外的数据。专利文献1(CN200610168272.8)公开了一种浮动车数据预处理方法，该方法包括：选择一个周期内的浮动车数据，形成数据序列，逐个处理该数据序列的每一个数据；如果某一个数据不正确或者是该数据对应的位置的经度和纬度超出了所关心的区域，则从数据序列中去除该数据。

上述方法尽管能够去除错误和超出关心区域的数据，但不能去除其他干扰性的数据，例如临时停车数据。在基于浮动车的交通数据采集、路况分析中，临时停车数据是不可忽视的干扰数据，尤其在交通状况复杂的市区环境中，车辆数目较大，交通不流畅，常常由于在前车辆、路口等因素，造成车辆暂停行驶或者行驶非常缓慢。在这种情况下采集到的浮动车数据是非正常数据(在本文中称为临时停车数据)，会干扰对路况的正确计算和分析。此外，在市区环境中，这种临时停车数据出现的概率比较大，导致采集到的浮动车数据包含比较多的临时停车数据。这种数据很容易被当作正常数据，如果在进行路况计算和分析之前不从浮动车数据中滤除这种数据，而直接将其作为正常数据，就会导致计算量的增加、计算速度的减慢以及计算精度的降低。

因此，需要一种数据预处理方法，能够去除临时停车数据，降低浮动车为基础的路况计算中后续计算的计算强度，提高计算的速度和精确性。

发明内容

为解决上述问题，本发明提出了一种数据预处理装置，对基于浮动车的交通数据进行预处理，包括：

输入单元，用于输入包括多个数据点的交通数据，

过滤单元，用于从所输入的交通数据中滤除临时停车数据点，以及

输出单元，用于输出所述过滤单元滤除临时停车数据点之后余下的数据点，作为预处理后的交通数据。

优选地，过滤单元从多个数据点中作为参考点的数据点开始，逐个确定后续数据点中的每一个是否是临时停车数据点，并将确定为临时停车数据点的数据点滤除。

优选地，过滤单元根据数据点的位置信息和时间信息，确定数据点是否是临时停车数据点。

优选地，数据点的位置信息指示了该数据点对应的区域位置，数据点的时间信息指示了该数据点对应的采集时间；

过滤单元比较参考点的后一数据点与参考点的区域位置之间的距离是否小于预定距离阈值，如果是，则进一步比较后一数据点与参考点的采集时间之间的时间间隔是否大于预定时间阈值，如果是，则确定该后一数据点是临时停车数据点，

如果区域位置之间的距离不小于预定距离阈值，或者采集时间之间的时间间隔不大于预定时间阈值，则确定该后一数据点不是临时停车点。

优选地，如果确定该后一数据点是临时停车数据点，则过滤单元滤除该后一数据点，并继续利用参考点，进行后续数据点的比较。

优选地，如果确定该后一数据点不是临时停车数据点，并利用其替代参考点，进行后续数据点的比较。

优选地，多个数据点包括一个或多个预定周期内的数据点，

数据预处理装置逐周期地对数据点进行预处理。

优选地，数据预处理装置还包括：

排错单元，用于从输入单元输入的多个数据点中排除错误的数据点和所需区域之外的数据点，

其中，过滤单元对排错单元处理后的数据点进行过滤。

本发明还提出了一种数据预处理方法，对基于浮动车的交通数据进行预处理，包括：

输入步骤，用于输入包括多个数据点的交通数据，

过滤步骤，用于从所输入的交通数据中滤除临时停车数据点，以及

输出单元，用于输出在所述过滤步骤滤除临时停车数据点之后余下的数据点，作为预处理后的交通数据。

对于基于浮动车的交通数据，现有技术方法只能去除数据中错误的和所关心区域之外的数据点，而没有考虑具有干扰性的临时停车数据点。根据本发明的数据预处理装置及方法在现有技术方法的基础上，利用浮动车数据中各个数据点前后的关系，进一步滤除临时停车数据点，从而能够避免临时停车数据的干扰，减少了要处理的数据量，减轻计算强度，提高计算速度和精度。

附图说明

通过下面结合附图说明本发明的优选实施例，将使本发明的上述及其它目的、特征和优点更加清楚，其中：

图1示出了根据本发明示例实施例的数据预处理装置的框图；

图2示出了根据本发明示例实施例的数据预处理方法的流程图；

图3示出了根据本发明示例实施例的过滤单元的操作流程图；

图4是用于描述本发明具体实施例的示意图。

具体实施方式

在基于浮动车的路况计算和分析中，需要对原始浮动车数据进行预处理，以筛选出能够用于后续计算的正常数据。本发明对现有技术的方法进行了改进，提出了一种数据预处理装置和方法，其能够利用浮动车数据中各个数据点的前后关系，从原始浮动车数据中滤除容易被当作正常数据的临时停车数据点，从而避免临时停车数据点对后续路况计算和分析的干扰，降低计算强度，提高计算速度和精度。

以下参照附图，对本发明的示例实施例进行详细描述，本发明不限于下述示例实施例。为了清楚描述本发明的基本思想，附图中仅示出了与本发明的技术方案密切相关的部件、功能或步骤，并且以下描述中省略了对已知技术、功能、部件或步骤的具体描述。

图1示出了根据本发明示例实施例的数据预处理装置的框图。数据预处理装置1用于对基于浮动车的交通数据进行预处理，其包括：输入单元30，用于输入包括多个数据点的交通数据；过滤单元10，用于从所输入的交通数据中滤除临时停车数据点；以及输出单元40，用于输出所述过滤单元滤除临时停车数据点之后余下的数据点，作为预处理后的交通数据。优选地，数据预处理装置1还包括排错单元20，用于从输入单元30输入的多个数据点中排除错误的数据点和所需区域之外的数据点，过滤单元10对排错单元20处理后的数据点进行过滤。排错单元20可以采用如专利文献1中的传统技术来排除错误和所需区域之外的数据点，在此不对其操作进行详细的描述。优选地，输入单元30输入的交通数据是原始的基于浮动车数据的交通数据。

优选地，基于浮动车的交通数据可以包括一个或多个预定周期内的数据点，预定周期可以是对交通数据进行处理的处理周期，例如GPS系统中的数据处理周期，或者根据需求、应用和经验等因素设定的周期。数据预处理装置1可以逐周期地对数据点进行预处理。对于每一个周期，数据预处理装置1可以从第一个数据点或作为参考点的数据点开始，逐个地进行预处理，直到该周期中的所有数据点都处理完毕。一般而言，每一个周期中的数据点原始是按照时间或采集的顺序排列的，但是也可以在预处理之前或由数据预处理装置1对数据点重新进行排列。每一个数据点具有位置信息和时间信息，位置信息指示了该数据点对应的区域位置，时间信息指示了该数据点对应的采集时间。例如，数据点可以与地理空间中车辆的位置相对应，并且可以绘制在相应的电子地图上，如图4所示。作为示例，数据点的位置信息可以是基于GPS系统的经度和纬度信息，可以是电子地图上的坐标点信息，也可以是本领域技术人员能够设想到的任何适当的位置信息。时间信息指示的数据点对应的采集时间可以是绝对时间，也可以是相对时间。本领域技术人员可以根据需求和应用的不同，对位置信息和时间信息的内容、类型以及获取方式进行适当选择。

过滤单元10利用每一个周期中各个数据点的前后关系，从交通数据中滤除临时停车数据点。具体而言，过滤单元10可以从每一个周期中第一个数据点或作为参考点的数据点开始，根据数据点的位置信息和时间信息，比较参考点的后一数据点与参考点的区域位置之间的距离是否小于预定距离阈值，如果是，则进一步比较后一数据点与参考点的采集时间之间的时间间隔是否大于预定时间阈值，如果是，则确定该后一数据点是临时停车数据点。如果区域位置之间的距离不小于预定距离阈值，或者采集时间之间的时间间隔不大于预定时间阈值，则确定该后一数据点不是临时停车点。如果确定该后一数据点是临时停车数据点，则过滤单元10滤除该后一数据点，并继续利用参考点，进行后续数据点的比较。如果确定该后一数据点不是临时停车数据点，并利用其替代参考点，进行后续数据点的比较。按照上述方式，过滤单元10逐个确定数据点是否是临时停车数据点，并将确定为临时停车数据点的数据点滤除，直到处理完该周期中所有数据点为止。

下面结合图2，对数据预处理装置1的操作进行描述。图2示出了数据预处理装置1的数据预处理方法的流程图。在步骤200，数据预处理装置1通过输入单元30输入包括多个数据点的浮动车交通数据，这些数据点可以是一个或多个预定周期的数据点，数据预处理装置1逐周期地预处理数据点。在步骤202，排错单元20确定当前周期内的多个数据点中的错误数据点以及所关心区域之外的数据点，并将确定的数据点排除。在步骤204，过滤单元10对排错单元20处理后的数据点进行逐个过滤。在步骤206，判断是否还有数据点需要处理，即，当前周期中所有的数据点是否处理完毕，如果是，则在步骤208，输出单元40输出经过滤单元10处理后余下的数据点，作为预处理后的数据点，用于后续处理。如果还没有处理完，则流程返回步骤204。步骤206的判断可以由过滤单元10在处理完每一个数据点后进行。

通过上述步骤，数据预处理装置1对各个周期的数据点进行预处理，去除了错误的、关心区域之外的以及临时停车的数据点，得到了能够用于后续处理的数据点，包括正常行驶数据点和长时间停车数据点。

图3示出了根据本发明示例实施例的过滤单元10的操作流程图，即，图2所示步骤204中过滤单元10的具体操作。如图3所示，过滤单元10从当前周期中第一个数据点或作为参考点的数据点开始进行处理。优选地，参考点可以是车辆启动时采集的数据点或者是行驶期间的正常行驶数据点。在步骤300，过滤单元10计算参考点的后一数据点与参考点的区域位置之间的距离，并在步骤302将计算的距离与预定距离阈值相比较。例如，数据点的位置信息可以是包括经度和纬度的坐标信息，过滤单元10可以通过计算数据点的位置坐标之间的差值，得到两个数据点的位置之间的距离。预定距离阈值可以是根据需求、应用和/或经验而设定的。如果在步骤302的比较结果为计算的距离小于预定距离阈值，则过滤单元10在步骤304计算参考点的后一数据与参考点的数据采集时间之间的时间间隔，并在步骤306将计算的时间间隔与预定时间阈值相比较。预定时间阈值可以是根据需求、应用和/或经验而设定的。如果时间间隔大于预定时间阈值，则在步骤308，过滤单元10确定该后一数据点是临时停车数据点，并滤除该后一数据点。如果在步骤302的比较结果为数据点位置之间的距离不小于预定距离阈值，则流程直接前进到步骤310，在此过滤单元10确定该后一数据点不是临时停车数据点，而是作为正常数据点保留。此外，如果在步骤306的比较结果是时间间隔不大于预定时间阈值，则流程也前进到步骤310。

如果滤除该后一数据点，则过滤单元10继续利用参考点，返回到步骤300，对下一个数据进行处理。反之，如果确定该后一数据点不是临时停车数据点而将其保留，并利用该后一数据点替代参考点，返回到步骤300，对下一个数据进行处理。换言之，将该后一数据点当作参考点，进行后续数据点的过滤。

过滤单元10逐个地对数据点执行如上步骤，直到在图2的步骤206判断当前周期中所有的数据点已处理完毕。

以上描述了根据本发明示例实施例的数据预处理装置及方法。下面结合图4给出一个具体示例，以更加清楚地阐释本发明的基本思想。

图4是用于描述本发明具体实施例的示意图，如图4所示，以一个数据处理周期的浮动车数据所包括的11个数据点为例，每个数据点具有位置坐标信息和采集时间信息。同时，假定市区中车辆行驶的速度一般为35-45公里/小时。从11个数据点中选择时间信息为10:21:20的数据点为参考点，开始本发明的数据预处理方法。该参考点的后一数据点是10:21:50的数据点。从图4可以看出，该数据点相对于参考点的位移很少。通过数据预处理装置1的过滤单元10，可以计算并确定该数据点与参考点的位置之间的距离小于预定距离阈值，例如预定距离阈值可以在110-160米的范围内。过滤单元10进一步计算该数据点和参考点之间的时间间隔(即，30秒)又多于预定时间阈值，例如预定时间阈值可以在10-20秒的范围内。由此，可以确定10:21:50的数据点为临时停车点，过滤单元10将其滤除。然后，过滤单元10仍然将10:21:20的数据点作为参考点，对下一个数据点，即10:22:20的数据点进行处理。同样，该数据点相对于参考点的位置距离不大，少于预定距离阈值，并且该数据点和参考点的时间间隔多于预定时间阈值，因此该数据点也滤除掉。依次处理下去，直到10:23:50的数据点，该数据点和参考点的位置之间的距离大于预定距离阈值，过滤单元10可以确定该点是正常行驶的数据点。接着，过滤单元10利用10:23:50的数据点替代原参考点，以10:23:50的数据点作为新的参考点，进行后续数据点的处理。

从图4可以看到，当10:24:50的数据点为正常行驶的数据点时，过滤单元10以其作为参考点，对10:24:55的数据点进行处理。两个数据点的位置之间的距离小于预定距离阈值，但是时间间隔只有5秒，不大于预定时间阈值，由此过滤单元10确定10:24:55的数据点不是临时停车点，将其作为正常行驶点而保留。经过过滤后的余下数据点只有7个，减少了后续处理中的数据量，从而可以提高计算速度，减轻计算强度，并提高计算精度。

以上描述了根据本发明示例实施例的数据预处理装置和方法。在以上的描述中，仅以示例的方式，示出了本发明的优选实施例，但并不意味着本发明局限于上述步骤和单元结构。在可能的情形下，可以根据需要对步骤和单元进行调整、取舍和组合。此外，某些步骤和单元并非实施本发明的总体发明思想所必需的元素。因此，本发明所必需的技术特征仅受限于能够实现本发明的总体发明思想的最低要求，而不受以上具体实例的限制。

至此已经结合优选实施例对本发明进行了描述。应该理解，本领域技术人员在不脱离本发明的精神和范围的情况下，可以进行各种其它的改变、替换和添加。因此，本发明的范围不局限于上述特定实施例，而应由所附权利要求所限定。

Claims (8)

1.一种数据预处理装置，对基于浮动车的交通数据进行预处理，包括：

输入单元，用于输入包括多个数据点的交通数据，

过滤单元，用于从所输入的交通数据中滤除临时停车数据点，其中对于多个数据点中作为参考点的数据点，过滤单元比较参考点的后一数据点与参考点的对应区域位置之间的距离是否小于预定距离阈值，如果是，则进一步比较后一数据点与参考点的对应采集时间之间的时间间隔是否大于预定时间阈值，如果是，则确定该后一数据点是临时停车数据点，以及

输出单元，用于输出所述过滤单元滤除临时停车数据点之后余下的数据点，作为预处理后的交通数据，

其中，如果确定该后一数据点是临时停车数据点，则过滤单元滤除该后一数据点，并继续利用参考点，进行后续数据点的比较；

如果确定该后一数据点不是临时停车数据点，则过滤单元利用该后一数据点替代参考点，进行后续数据点的比较。

2.根据权利要求1所述的装置，其中，过滤单元从多个数据点中作为参考点的数据点开始，逐个确定后续数据点中的每一个是否是临时停车数据点，并将确定为临时停车数据点的数据点滤除。

3.根据权利要求2所述的装置，其中，过滤单元根据数据点的位置信息和时间信息，确定数据点是否是临时停车数据点。

4.根据权利要求3所述的装置，其中，数据点的位置信息指示了该数据点对应的区域位置，数据点的时间信息指示了该数据点对应的采集时间；

如果区域位置之间的距离不小于预定距离阈值，或者采集时间之间的时间间隔不大于预定时间阈值，则确定该后一数据点不是临时停车点。

5.根据权利要求1所述的装置，其中，多个数据点包括一个或多个预定周期内的数据点，

数据预处理装置逐周期地对数据点进行预处理。

6.根据权利要求1所述的装置，还包括：

排错单元，用于从输入单元输入的多个数据点中排除错误的数据点和所需区域之外的数据点，

其中，过滤单元对排错单元处理后的数据点进行过滤。

7.一种数据预处理方法，对基于浮动车的交通数据进行预处理，包括：

输入步骤，用于输入包括多个数据点的交通数据，

过滤步骤，用于从所输入的交通数据中滤除临时停车数据点，其中对于多个数据点中作为参考点的数据点，比较参考点的后一数据点与参考点的对应区域位置之间的距离是否小于预定距离阈值，如果是，则进一步比较后一数据点与参考点的对应采集时间之间的时间间隔是否大于预定时间阈值，如果是，则确定该后一数据点是临时停车数据点，以及

输出步骤，用于输出在所述过滤步骤滤除临时停车数据点之后余下的数据点，作为预处理后的交通数据；

其中，如果确定该后一数据点是临时停车数据点，则在过滤步骤中滤除该后一数据点，并继续利用参考点，进行后续数据点的比较；

如果确定该后一数据点不是临时停车数据点，则在过滤步骤中利用该后一数据点替代参考点，进行后续数据点的比较。

8.根据权利要求7所述的方法，其中，在过滤步骤中，

如果区域位置之间的距离不小于预定距离阈值，或者采集时间之间的时间间隔不大于预定时间阈值，则确定该后一数据点不是临时停车点。

Images