CN107895103A

CN107895103A - 一种轨迹数据清洗方法

Info

Publication number: CN107895103A
Application number: CN201711268085.1A
Authority: CN
Inventors: 皇甫伟; 张弘; 胡晓彦
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2017-12-05
Filing date: 2017-12-05
Publication date: 2018-04-10
Anticipated expiration: 2037-12-05
Also published as: CN107895103B

Abstract

本发明提供一种轨迹数据清洗方法，能够提高轨迹数据的数据质量。所述方法包括：S1，计算轨迹数据中相邻两个轨迹点之间的M阶差分，并降低M阶差分值小于第一预设阈值的相应轨迹点的可信度值；S2，每个轨迹点向其邻居点投票的同时接受来自邻居点的投票值，根据邻居点的投票值重新计算每个轨迹点的可信度值；S3，判断S2执行前后每个轨迹点的可信度值的变化值是否小于预设的可接受的最大变化值，若是，则删除所有可信度值小于第二预设阈值的轨迹点；否则，返回S2执行下一次迭代。本发明涉及大数据处理领域。

Description

一种轨迹数据清洗方法

技术领域

本发明涉及大数据处理领域，特别是指一种轨迹数据清洗方法。

背景技术

随着大数据时代的到来以及定位技术和定位服务的发展，轨迹数据现在已经受到了越来越多的关注，轨迹数据在轨迹预测、路径推断、模式挖掘以及其他相关领域发挥着重要作用。

轨迹数据是由携带GPS或者其他定位设备的移动目标所产生的一系列轨迹记录，通常用一组坐标点来表示。假设，用p(x,y)来表示一个已经记录的坐标点，那么一条轨迹可以表示为p₁(x₁,y₁)→p₂(x₂,y₂)→…p_n(x_n,y_n)。

但是由于数据丢失或者是硬件配置过低等等原因，轨迹数据中通常含有许多的伪造数据点。这些数据点虽然在一些研究领域是有益的，但是可能会影响另外一些领域中的相关研究。

现有技术中，轨迹数据的清洗方法主要有均值过滤(mean filter)、卡尔曼粒子过滤(Kalman and particle filters)以及异常值检测(heuristics-based outliersdetection)。但是，均值过滤、卡尔曼粒子过滤以及异常值检测方法都着重于清除轨迹数据中的异常值(即离群点)，而无法有效的清除掉轨迹数据中的插值数据点；其中，异常值指明显偏离轨迹运动趋势的数据点，插值数据点指两个真实轨迹点之间通过线性插值得到的数据点。

发明内容

本发明要解决的技术问题是提供一种轨迹数据清洗方法，以解决现有技术所存在的无法有效的清除掉轨迹数据中的插值数据点的问题。

为解决上述技术问题，本发明实施例提供一种轨迹数据清洗方法，包括：

S1，计算轨迹数据中相邻两个轨迹点之间的M阶差分，并降低M阶差分值小于第一预设阈值的相应轨迹点的可信度值，其中，所述可信度值用于描述一个轨迹点是非插值数据点的可能性；

S2，每个轨迹点向其邻居点投票的同时接受来自邻居点的投票值，根据邻居点的投票值重新计算每个轨迹点的可信度值；

S3，判断S2执行前后每个轨迹点的可信度值的变化值是否小于预设的可接受的最大变化值，若是，则删除所有可信度值小于第二预设阈值的轨迹点；否则，返回S2执行下一次迭代。

进一步地，所述计算轨迹数据中相邻两个轨迹点之间的M阶差分包括：

基于x坐标和/或y坐标计算轨迹数据中相邻两个轨迹点之间的M阶差分。

进一步地，M为大于等于2的正整数。

进一步地，轨迹点p的邻居点是位于以轨迹点p为圆心，投票半径r为半径的圆形区域中的所有来自其他轨迹的轨迹点。

进一步地，设轨迹点p是轨迹点q的一个邻居点，则轨迹点p对轨迹点q的投票值表示为：

vote(p→q)＝credit(p)×fac(p→q)

其中，vote(p→q)表示轨迹点p对轨迹点q的投票值；credit(p)是轨迹点p的可信度值；fac(p→q)是投票因子，表示轨迹点p对轨迹点q投的票值占轨迹点p的可信度值的百分比。

进一步地，所述投票因子表示为：

其中，fac(p→q_i)表示轨迹点p对轨迹点q_i投的票值占轨迹点p的可信度值的百分比，dist(p,q_j)表示轨迹点p和轨迹点q_j之间的欧式距离，dist(p,q_k)表示轨迹点p和轨迹点q_k之间的欧式距离，轨迹点q_i、q_j、q_k是轨迹点p的邻居点。

进一步地，重新计算得到的任一轨迹点p的可信度值等于轨迹点p自身的可信度值加上轨迹点p的邻居点对轨迹点p的投票值。

进一步地，在每个轨迹点向其邻居点投票的同时接受来自邻居点的投票值，根据邻居点的投票值重新计算每个轨迹点的可信度值之后，所述S2还包括：

记录本次迭代后所述轨迹数据中所有轨迹点的可信度值之和为ov，在保证所有轨迹点的总可信度值以及每个轨迹点的可信度值占总可信度值的比例不变的情况下，按照公式调整各轨迹点的可信度值；

其中，ovc表示初始设置的所述轨迹数据中所有轨迹点的可信度值之和，credit(p_i)表示记录的调整前的轨迹点p_i的可信度值，表示调整后p_i的可信度值。本发明的上述技术方案的有益效果如下：

上述方案中，计算轨迹数据中相邻两个轨迹点之间的M阶差分，并降低M阶差分值小于第一预设阈值的相应轨迹点的可信度值，从而达到检测轨迹数据中的可疑点并降低其可信度值的目的；再利用邻居投票的方式来进一步确定轨迹数据中的插值数据点并删除，从而达到检测并清除插值数据点，提高轨迹数据的数据质量的目的，其中，确定的插值数据点为：迭代结束时，可信度值小于第二预设阈值的所有轨迹点。

附图说明

图1为本发明实施例提供的轨迹数据清洗方法的流程示意图；

图2为本发明实施例提供的轨迹示意图一；

图3为本发明实施例提供的轨迹示意图二；

图4为本发明实施例提供的轨迹数据清洗方法的原理示意图；

图5为本发明实施例提供的插值数据点标注示意图；

图6为本发明实施例提供的二阶差分结果标注示意图；

图7为本发明实施例提供的投票半径r＝0.0015时的数据清洗结果示意图；

图8为本发明实施例提供的投票半径r＝0.0020时的数据清洗结果示意图；

图9为本发明实施例提供的原始轨迹数据示意图；

图10为本发明实施例提供的可疑点标记示意图；

图11为本发明实施例提供的数据清洗结果示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的无法有效的清除掉轨迹数据中的插值数据点的问题，提供一种轨迹数据清洗方法。

为了更好地理解本实施例所述的轨迹数据清洗方法，先对轨迹中的数据点的特点进行说明：

(1)通常任何两个相邻的插值数据点之间的距离相等。假设一个轨迹点序列中p₁→p₂→p₃→…→p_n是插值数据点，那么相邻点(p₁,p₂),(p₂,p₃)…(p_n-1,p_n)的欧式距离是相等的或者相差很小。同理，如果只考虑数据点的x坐标或者y坐标，相邻点之间的差值也是相同(或者差距很小)的。

(2)在所有的轨迹数据中，大多数的数据点是正常的(即，非插值数据点)。这是因为插值数据点通常是为了代替轨迹数据中的缺失数据点，而在多条轨迹中，缺失的数据点都位于同一块区域附近的可能性是比较小的。因此，通常情况下，插值数据点周围的轨迹点的密度比正常的轨迹点低，而且插值数据点周围的点通常是同一条轨迹中的点。

如图1所示，本发明实施例提供的轨迹数据清洗方法，包括：

本发明实施例所述的轨迹数据清洗方法，计算轨迹数据中相邻两个轨迹点之间的M阶差分，并降低M阶差分值小于第一预设阈值的相应轨迹点的可信度值，从而达到检测轨迹数据中的可疑点并降低其可信度值的目的；再利用邻居投票的方式来进一步确定轨迹数据中的插值数据点并删除，从而达到检测并清除插值数据点，提高轨迹数据的数据质量的目的，其中，确定的插值数据点为：迭代结束时，可信度值小于第二预设阈值的所有轨迹点。

本实施例中，所述预设的可接受的最大变化值可以通过大量实验分析确定，也可以通过其他方法确定，例如，根据历史经验确定。

在前述轨迹数据清洗方法的具体实施方式中，进一步地，所述计算轨迹数据中相邻两个轨迹点之间的M阶差分包括：

本实施例中，优选地，M为大于等于2的正整数。假设M＝2，则所述M阶差分为二阶差分。假设一条轨迹为p₁(x₁,y₁)→p₂(x₂,y₂)→p₃(x₃,y₃)→…→p_n(x_n,y_n)，那么基于坐标的二阶差分为：

通过式(1)，可以得到△p₁＝p₂-p₁＝(x₂-x₁,y₂-y₁)，△p₂＝p₃-p₂＝(x₃-x₂,y₃-y₂)，那么就有△²p₁＝△p₂-△p₁＝(x₃-2x₂+x₁,y₃-2y₃+y₁)。如果基于x坐标的二阶差分值△²x_i接近于0，说明△x_i+1和△x_i之间的差距很小，小于第一预设阈值，那么轨迹点p_i,p_i+1,p_i+2很可能是插值数据点，则将降低他们的可信度值，例如，可以降低至-1(-1必须小于初始设置的每个轨迹点的可信度值)。例如，△²x₁接近于0，那么轨迹点p₁,p₂,p₃的可信度值被置为-1。

本实施例中，二阶差分的执行步骤可以包括：

A11，对于所有轨迹点，可以设置初始的可信度值置为1；

A12，基于x坐标计算相邻两个轨迹点之间的二阶差分；

A13，将二阶差分值小于第一预设阈值的相应轨迹点的可信度值置为-1。

本实施例中，可以通过二阶(或者更高阶)差分的方法对轨迹点进行分析，来初步判断轨迹点是否是所要消除的插值数据点。

为了更好地理解S2所述的邻居投票方法，需对以下几个概念进行说明：

a)投票半径

投票半径是根据轨迹数据集和数据清洗要求给出的一个距离值，记为r。只有当两个轨迹点之间的距离小于投票半径时，才有可能互相进行投票。投票半径的大小将会影响数据清洗的结果。

b)邻居点

某一个轨迹点p的邻居点是位于以轨迹点p为圆心，投票半径r为半径的圆形区域中的所有来自其他轨迹的轨迹点。如图2所示，p(p₁,p₂,p₃),q(q₁,q₂,q₃)和k(k₁)分别来自不同的三条轨迹，那么轨迹点p₁的邻居点是q₁,q₂,q₃和k₁。

c)投票值

邻居点之间可以相互投票，设轨迹点p是轨迹点q的一个邻居点，轨迹点p对轨迹点q的投票值表示轨迹点p对轨迹点q的信任程度(即，轨迹点p对轨迹点q是非插值数据点有多大的把握)，轨迹点p对轨迹点q的投票值用vote(p→q)来表示，用以下公式来计算。

vote(p→q)＝credit(p)×fac(p→q) (2)

式(2)中，credit(p)是轨迹点p的可信度值；fac(p→q)是投票因子，表示轨迹点p对轨迹点q投的票值占轨迹点p的可信度值的百分比。

d)投票因子

给定一个轨迹点p以及他的邻居q₁,q₂,q₃…q_n，设定投票因子的大小和两个轨迹点之间的欧式距离有关，距离越远，投票因子越小。那么投票因子用式(3)计算：

式(3)中，fac(p→q_i)表示轨迹点p对轨迹点q_i投的票值占轨迹点p的可信度值的百分比，dist(p,q_j)表示轨迹点p和轨迹点q_j之间的欧式距离，dist(p,q_k)表示轨迹点p和轨迹点q_k之间的欧式距离，轨迹点q_i、q_j、q_k是轨迹点p的邻居点。例如，在图3中，p₁对q₁的投票因子是：

e)投票机制

投票过程是迭代进行的，在每次迭代过程中，每个轨迹点的可信度值为他本身的可信度值加上他的邻居对他的投票值。例如，在图3中，在一次迭代后轨迹点p₁的可信度值为：

在每次迭代过程中，每个轨迹点向他的邻居点投票同时接受来自邻居点的投票值，在整个迭代过程中，所有轨迹点的总可信度值不变，当轨迹点的可信度值稳定以后结束迭代。

本实施例中，如图4所示，执行二阶差分后，执行邻居投票，邻居投票方法的执行步骤可以包括：

B11，设置投票半径，初始化迭代次数i＝0；

B12，在第i次迭代过程中，每个轨迹点向其邻居点投票的同时接受来自邻居点的投票值，根据邻居点的投票值重新计算每个轨迹点的可信度值；

B13，在保证所有轨迹点的总可信度值以及每个轨迹点的可信度值占总可信度值的比例不变的情况下，重新分配各轨迹点的可信度值，具体的：

其中，ovc表示初始设置的所述轨迹数据中所有轨迹点的可信度值之和，credit(p_i)表示记录的调整前的轨迹点p_i的可信度值，表示调整后p_i的可信度值；

B14，比较第i次迭代后轨迹点的可信度值与第i次迭代前的可信度值的变化值(记为dt)是否小于预设的可接受的最大变化值(记为var)，若是，则说明所有轨迹点的可信度值趋于稳定，此时，结束迭代并输出结果，否则，执行i＝i+1后返回到步骤B12进行下一次迭代。

本实施例中，在结束迭代后，需删除所有可信度值小于第二预设阈值Γ(例如，Γ＝0)的轨迹点(即：插值数据点)，从而得到数据清洗后的结果。

本实施例中，以投票半径r＝0.0015和投票半径r＝0.0020，对数据清洗情况进行说明。图5是实验中使用的轨迹伪数据，圆圈表示的数据点为正常数据点，叉表示的数据点为根据线性插值插入的数据点，也即本算法要清除的数据点。利用二阶差分对轨迹数据进行第一次判断(预判断)，将间隔距离相等的数据点的可信度值置为-1，结果如图6所示，叉表示的数据点为二阶差分后得到的可信度较低的可疑点。接下来分别取投票半径为0.0015和0.0020，运行投票算法(取var＝10^-6)，结果如图7和图8所示。由图7和图8可以看出，当投票半径r不同时，数据清洗结果也不同，当投票半径增大时，靠近实际数据点的地方会有插值数据没有被清洗掉。这是因为在投票时，插值数据点的邻居中正常数据点增多，对插值数据点进行投票，导致插值数据点的可信度增高从而被漏判。

为了进一步说明数据清洗效果，定义漏判率(missed rate)为遗留的插值数据点个数除以总的插值数据点个数，误判率(misjudgment rate)为被清洗掉的正常点个数除以总的正常点个数。则当投票半径r＝0.0015时，有

当投票半径r＝0.0020时，有

在实际应用中，根据清洗要求的不同可以取不同的投票半径从而得到不同的结果。

本实施例中，接着基于真实数据进行实验，实验数据为来自某出租车的轨迹数据。为了便于观察，选取从东经116.33197°到东经116.38914°，北纬39.9397°到北纬39.97652°的区域进行实验。原始轨迹数据如图9所示，可以看出原始轨迹中有许多数据点是偏离真实路网的。

本实施例中，首先利用高阶差分对所有的轨迹点进行预判断，结果如图10所示(圆圈表示的为正常数据点，三角表示的为预判后的非正常点)。接着，利用邻居投票方法进行进一步处理，去掉可信度值为负值的轨迹点，数据清洗结果如图11所示。可以看出，经过数据清洗之后，数据质量得到了明显的提升。

本实施例中，基于轨迹数据中插值数据的特点，提出了用于从轨迹数据中查找插值数据并将之清除的数据清洗方法。从清洗前后伪数据的数据质量看，本实施例所述的轨迹数据清洗方法能够有效的去除轨迹数据中的插值数据。从数据清洗前后真实数据与地图上路网的匹配情况看，本实施例所述的轨迹数据清洗方法有效的减少了明显不合理的数据点。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种轨迹数据清洗方法，其特征在于，包括：

2.根据权利要求1所述的轨迹数据清洗方法，其特征在于，所述计算轨迹数据中相邻两个轨迹点之间的M阶差分包括：

3.根据权利要求1或2所述的轨迹数据清洗方法，其特征在于，M为大于等于2的正整数。

4.根据权利要求1所述的轨迹数据清洗方法，其特征在于，轨迹点p的邻居点是位于以轨迹点p为圆心，投票半径r为半径的圆形区域中的所有来自其他轨迹的轨迹点。

5.根据权利要求1所述的轨迹数据清洗方法，其特征在于，设轨迹点p是轨迹点q的一个邻居点，则轨迹点p对轨迹点q的投票值表示为：

vote(p→q)＝credit(p)×fac(p→q)

6.根据权利要求5所述的轨迹数据清洗方法，其特征在于，所述投票因子表示为：

<mrow> <mi>f</mi> <mi>a</mi> <mi>c</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>&RightArrow;</mo> <msub> <mi>q</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Pi;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>&NotEqual;</mo> <mi>i</mi> </mrow> <mi>n</mi> </munderover> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <msub> <mi>q</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mfrac> <mrow> <munderover> <mo>&Pi;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <msub> <mi>q</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <msub> <mi>q</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow> </mfrac> </mrow>

7.根据权利要求1所述的轨迹数据清洗方法，其特征在于，重新计算得到的任一轨迹点p的可信度值等于轨迹点p自身的可信度值加上轨迹点p的邻居点对轨迹点p的投票值。

8.根据权利要求1所述的轨迹数据清洗方法，其特征在于，在每个轨迹点向其邻居点投票的同时接受来自邻居点的投票值，根据邻居点的投票值重新计算每个轨迹点的可信度值之后，所述S2还包括：

其中，ovc表示初始设置的所述轨迹数据中所有轨迹点的可信度值之和，credit(p_i)表示记录的调整前的轨迹点p_i的可信度值，表示调整后p_i的可信度值。