CN109121094A - 伪码信令数据预处理与出行链识别方法 - Google Patents

Abstract

本发明公开了一种伪码信令数据预处理及出行链识别方法，包括以下步骤：(1)冗余信令记录合并与异常记录剔除；(2)根据乒乓效应记录参数特征，识别乒乓记录并删除；(3)计算用户驻留质心，设定出行发生的时间、空间阈值，识别出行开始记录点；(4)设定用户驻留时间、空间阈值，识别出行结束记录点，完成出行链识别。本发明对数据进行有效清洗过滤，提高数据精准度，并将庞杂的数据提取为有价值的出行OD信息，提高数据在交通等各个领域的可用性。本发明方法适用范围广，简单易行。

Description

伪码信令数据预处理与出行链识别方法

技术领域

本发明涉及交通行业大数据处理与分析技术领域，具体的说是从交通行业对伪码信令数据应用的角度，对伪码信令数据进行预处理及出行链识别的方法。

背景技术

随着大数据时代的到来，伪码信令数据等在交通、城市规划等诸多领域崭露头角。大数据技术的广泛研究与应用，为交通拥堵等“交通病”问题的解决带来了新的契机。

但目前对大数据的应用刚刚起步，大数据处理与分析技术仍处于发展阶段，如何从粗糙的海量数据中提取有效数据，精确识别对交通行业有价值的出行链路信息，是研究与应用人员都需要面临的一大难题。

数据清洗方面，现有技术主要沿用传统数据预处理算法对信令数据进行清洗，包括冗余数据删除、异常数据过滤等，并未考虑信令数据自身特征，如特有的乒乓效应等，进而不能够“对症下药”，达到较高的数据清洗水平，降低了数据的准确性与可信度，更大大降低了信令数据在交通领域的可用性。现有的考虑数据乒乓效应，进行乒乓记录剔除的技术中，均只针对单条记录进行过滤，对多条连续记录混杂的乒乓记录无法进行有效剔除。以上数据清洗技术的不完善，限制了大数据在交通行业应用的可信度。

出行链识别方面，现有技术主要基于用户移动速度，并通过聚类的方法识别用户所处运动状态，但由于信令数据采集受到触发机制影响的特征，所计算速度参数并不精确，仅可供参考，因而基于速度识别出行状态也有一定偏差。而基于记录间距离与时间参数特征识别出行链的现有技术中，尚未有提出驻留质心的概念，以提升出行识别的准确度。

针对现阶段伪码信令数据预处理与出行链识别方法存在的缺陷，本发明人积极加以研究创新，提出了一种新的伪码信令数据预处理与出行链识别方法。

发明内容

本发明提供了一种伪码信令数据预处理与出行链识别方法。实现上述发明目的的技术方案如下：

1.计算记录间隔时间、距离等交通特征参数，进行冗余信令记录合并与异常记录剔除；

2.根据乒乓效应记录的时间、距离、方向等参数特征，设定阈值，有效识别乒乓记录并删除；

3.计算用户驻留质心，设定出行发生的时间、空间阈值，识别出行开始记录点；

4.设定用户驻留时间、空间阈值，识别出行结束记录点，完成一次出行的识别。

作为优选，所述冗余记录与异常记录通过如下步骤识别：将各独立用户一天内的信令记录按照时间序列进行排序；根据依次计算同一用户相邻记录时间差与空间距离，进而计算用户移动速度＝空间距离/ 时间差；将短时间间隔内空间位置不变的冗余记录进行合并；将用户移动速度超过城市限速的异常记录进行删除。

作为优选，所述乒乓效应记录通过如下步骤识别：提出通过信令记录分组与分析组间闭环进而识别乒乓效应记录的算法。

a.将按时间排序后的时间序列数据中，相邻、相同经纬度的记录归为同组：

原始记录位置：xy_a,xy_a,xy_b,xy_b,…xy_a,xy_a,xy_a…

分组结果：

其中，xy_i为经纬度位置组合，为所分位置组。

b.寻找经纬度位置组形成的位置闭环，所述闭环可为两个位置组闭环或多位置组闭环：

xy_A1＝xy_A2＝xy_a

空间位置相同，则形成位置闭环。

c.计算形成一个完整闭环的时间间隔，闭环内各位置组最远空间距离，以及闭环内各位置点改变的方向角：

△t＝t_A2-start-t_A1-end

其中△α_i＝α_i-α_i-1

其中△t为形成闭环时间间隔，t_A2-start为A2组开始时间，t_A1-end为 A1组结束时间；△d_max为闭环内各组最远空间距离，f_d为计算组间距离函数，△α_i为两次记录方向改变夹角，α_i为当前方向与正北向夹角, p为方向改变角为钝角的比例，n_{△α>90°}为方向改变角为钝角的总个数， n_total为方向改变角总个数；

d.根据特定城市调研，设定时间与空间阈值及方向改变夹角为钝角的比例阈值，将小于时间、空间阈值及超过比例阈值的闭环组记录删除。

作为优选，所述驻留质心及出行出发点识别通过如下步骤进行：进行所研究城市居民出行特征调研，获得最小出行距离阈值D_min，其中最小出行距离为最大质心半径；按照各用户时间序列依次过滤信令记录，第1个记录点默认为质心点：

其中为质心，P_i(i＝0,1,…n)为各用户时间序记录点。依次计算后续记录点到质心中心点距离d：

●若距离d<＝D_min，则质心加入新点：

●若距离d>D_min，则出行开始：

P_origin＝P_i-1

依次记录出行开始位置、时间。

作为优选，所述出行结束点通过如下步骤识别：所研究城市居民出行特征调研，获得划分两次出行最小驻留时间阈值T_min；已知当前用户处于出行状态，按照时间序列顺序依次过滤后续信令记录，计算当前记录与前一条记录空间距离△d，间隔时间△t：

△d_i＝f_d(P_i-1,P_i)

△t_i＝f_t(P_i-1,P_i)

●若△d_i>D_min，则出行继续；

●若△d_i<＝D_min且△t_i>＝T_min，则出行结束：

P_destination＝P_i-1

开始计算下一个质心：

依次记录出行结束位置、时间；

循环以上过程，则可获得各用户完整的出行链。

附图说明

图1：本发明方法实现流程图；

图2：乒乓记录数据特征及剔除算法示意图；

图3：出行链识别示意图；

图4：某伪码用户一天记录清洗前后对比；

图5：出行链识别效果与真实出行行为对比。

具体实施方式：

下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

以下以北京市为例对本发明进行说明。伪码信令数据预处理与出行链识别方法，包括如下步骤：

1.冗余记录合并与异常记录剔除

冗余记录是指用户在短时间内回传同一位置的大量重复信息，冗余记录的产生，一方面大大增加了数据存储空间的需求，另一方面也增加了对后期算法实现的计算性能需求，因而应首先将冗余记录进行有效合并；异常记录是指漂移记录，伪码信令数据记录受基站与采集方式的影响，常常会发生记录瞬间漂移的现象，这种记录会造成出行链识别过程中的误判，应进行剔除，可根据时间、距离、速度等出行参数，探究剔除算法。

本发明首先按照信令数据中的采集时间信息，将各独立用户一天内的信令记录按照时间序列进行排序；根据时间信息与经纬度信息，依次计算同一用户相邻记录时间差与空间距离，进而计算用户在相邻两个基站间的移动速度＝空间距离/时间差；将短时间间隔内空间位置不变的冗余记录进行合并，例如，合并60s时间间隔内位置不变的记录；将用户移动速度超过城市限速的异常记录进行删除，北京城市内最高限速120km/h,适度放宽阈值，将所计算移动速度超过150km/h 的记录剔除。

2.乒乓效应记录识别与剔除

伪码信令数据受基站与采集方式的影响，经常出现记录在两个或多个基站之间频繁切换，而用户实际位置并未改变的现象，这种记录会对用户出行链的识别造成较大干扰，在出行链识别前应予以剔除。本发明提出了基于信令记录分组与分析组间闭环特征进而识别乒乓效应记录的算法，如图2所示。

a.将时间序列数据中，相邻、相同经纬度的记录归为同组：

原始记录位置：xy_a,xy_a,xy_b,xy_b,xy_a,xy_a

分组结果：

其中，为所分位置组，xy_a,xy_b分别为A、B组经纬度位置组合；

b.寻找经纬度位置组形成的位置闭环(图2示例为两点乒乓)：

xy_A1＝xy_A2＝xy_a

空间位置相同，则形成位置闭环；

c.根据记录时间字段计算形成闭环时间间隔，根据经纬度字段计算闭环内各组最远空间距离，根据各记录点间方向角计算改变角为钝角的比例：

△t＝t_A2-start-t_A1-end

其中△α_i＝α_i-α_i-1

d.如果在短时间内完成记录闭环，且闭环内各组距离较短，且方向角改变为钝角的比例较高，则认为是乒乓效应记录，予以删除。在北京市内，选取闭环时间阈值5min，组间最远空间阈值4km，方向改变角为钝角比例阈值30％。即：若△t<5min且△d_max<4km且 p>30％，则剔除B组记录，否则保留记录。

3.驻留质心及出行出发点识别

进行所研究城市居民出行特征调研，结合信令数据乒乓效应特征，获得最小出行距离(最大质心半径)阈值D_min，北京市选取1.5km作为最小出行距离，若质心范围超过1.5km，则认为出行开始；按照各用户时间序列依次过滤信令记录，如图3所示，第1个记录点默认为质心点：

其中为质心，P_i(i＝0,1,…n)为各用户时间序记录点。依次计算后续记录点到质心中心点距离d：

●若距离d<＝D_min，则质心加入新点，重新计算质心中心点：

图3中，P₀-P₄均满足d<＝1.5km，出行未开始，

●若距离d>D_min，则出行开始：

P_origin＝P_i-1

P₅满足d₅>1.5km，出行开始，P_origin＝P₄，依次记录出行开始位置、时间。

4.出行结束点识别与出行链获取

所研究城市居民出行特征调研，结合信令数据记录特征，获得划分两次出行最小驻留时间阈值T_min，北京市选取时间阈值30min。已知当前用户处于出行状态，按照时间序列顺序依次过滤后续信令记录，如图3，计算当前记录与前一条记录空间距离△d，间隔时间△t：

△d_i＝f_d(P_i-1,P_i)

△t_i＝f_t(P_i-1,P_i)

●若△d_i>D_min，则出行继续：

P₅-P₈均满足△d_i>1.5km，出行未停止。

●若△d_i<＝D_min且△t_i>＝T_min，则出行结束：

P_destination＝P_i-1

P₉满足△d_i<＝1.5km且△t_i>＝30min,则P_destination＝P₈。依次记录出行结束位置、时间。

则该用户此次出行起终点分别为P₄、P₈，两点之间的记录点为用户出行轨迹点，其余点为驻留位置点。

循环以上过程，则可获得各用户完整的出行链。

为了验证上述算法的可行性及准确性，下面通过对实际数据的测试，分别从数据清洗合理性、出行链识别准确性对本发明应用于复杂城市路网的性能表现作进一步说明。

对北京市加密伪码联通用户一天数据进行清洗与出行链识别。

某一用户记录清洗效果如图4所示，可以看出，清晰算法对于原始数据中的毛刺记录进行了有效过滤，而整体出行链路完好保留。数据由2617条压缩到721条，压缩率达到73％，有效降低了存储需求，节省了后续计算性能。

某一用户出行链识别结果如图5所示，虚线表示用户真实出行过程，实线为基于出行链识别算法识别结果，可以看出，出行链识别与真实出行过程基本吻合。3次出行识别率达到100％。

将北京市全部信令用户基于出行链识别结果统计的居民出行特征与综合交通调查对比：

表1信令计算居民出行特征与综合交通调查对比

参数	伪码信令计算	综合交通调查	差异
				出行距离	11.0km	11.3km(不含步行)	2.6％
出行率	2.79	2.75	1.4％

信令计算居民出行特征与综合交通调查相比，所反映出行距离、出行率等出行特征均相差不大，表现了本发明算法较高的准确度。

Claims (5)

1.伪码信令数据预处理与出行链识别方法，其特征在于，包括如下步骤：

计算记录间隔时间、距离等交通特征参数，进行冗余信令记录合并与异常记录剔除；

根据乒乓效应记录时间、距离、方向等参数特征，设定阈值，有效识别乒乓记录并删除；

计算用户驻留质心，设定出行发生的时间、空间阈值，识别出行开始记录点；

设定用户驻留时间、空间阈值，识别出行结束记录点，完成一次完整出行的识别。

2.根据权利要求1所述的伪码信令数据预处理与出行链识别方法，其特征在于：所述冗余记录与异常记录通过如下步骤识别：将各独立用户一天内的信令记录按照时间序列进行排序；依次计算同一用户相邻记录时间差与空间距离，进而计算用户移动速度＝空间距离/时间差；将短时间间隔内空间位置不变的冗余记录进行合并；将用户移动速度超过城市限速的异常记录进行剔除。

3.根据权利要求1所述的伪码信令数据预处理与出行链识别方法，其特征在于：所述乒乓效应记录通过如下步骤识别，提出通过信令记录分组与分析组间闭环进而识别乒乓效应记录的算法：

a.将按时间排序后的时间序列数据中，相邻、相同经纬度的记录归为同组：

原始记录位置：xy_a,xy_a,xy_b,xy_b,…xy_a,xy_a,xy_a…

分组结果：

其中，xy_i为经纬度位置组合，为所分位置组；

b.寻找经纬度位置组形成的位置闭环，所述闭环可为两个位置组闭环或多位置组闭环：

xy_A1＝xy_A2＝xy_a

空间位置相同，则形成位置闭环；

c.计算形成一个完整闭环的时间间隔，闭环内各位置组最远空间距离，以及闭环内各位置点改变的方向角：

△t＝t_A2-start-t_A1-end

其中△α_i＝α_i-α_i-1

其中△t为形成闭环时间间隔，t_A2-start为A2组开始时间，t_A1-end为A1组结束时间；△d_max为闭环内各组最远空间距离，d_xy为计算组间距离函数，△α_i为两次记录方向改变夹角，α_i为当前方向与正北向夹角,p为方向改变角为钝角的比例，n_△α>90o为方向改变角为钝角的总个数，n_total为方向改变角总个数；

d.根据特定城市居民出行特征调研，设定时间与空间阈值及方向改变夹角为钝角的比例阈值，将小于时间、空间阈值及超过比例阈值的闭环组记录删除。

4.根据权利要求1所述的伪码信令数据预处理与出行链识别方法，其特征在于：所述驻留质心及出行出发点识别通过如下步骤进行：进行所研究城市居民出行特征调研，获得最小出行距离阈值D_min，其中最小出行距离为最大质心半径；按照各用户时间序列依次过滤信令记录，第1个记录点默认为质心点：

其中为质心，P_i(i＝0,1,…n)为各用户时间序记录点。依次计算后续记录点到质心中心点距离d：

●若距离d<＝D_min，则质心加入新点：

●若距离d>D_min，则出行开始：

P_origin＝P_i-1

其中P_origin为出行开始点，依次记录出行开始位置、时间。

5.根据权利要求1所述的伪码信令数据预处理与出行链识别方法，其特征在于：所述出行结束点通过如下步骤识别：所研究城市居民出行特征调研，获得划分两次出行最小驻留时间阈值T_min；已知当前用户处于出行状态，按照时间序列顺序依次过滤后续信令记录，计算当前记录与前一条记录空间距离△d，间隔时间△t：

△d_i＝f_d(P_i-1,P_i)

△t_i＝f_t(P_i-1,P_i)

●若△d_i>D_min，则出行继续；

●若△d_i<＝D_min且△t_i>＝T_min，则出行结束：

P_destination＝P_i-1

开始计算下一个质心：

其中P_destination为出行结束点，依次记录出行结束位置、时间；

循环以上过程，则可获得各用户完整的出行链。