CN110991525A - 基于运营商轨迹数据的伴随模式匹配方法 - Google Patents

Abstract

本发明是一种基于运营商轨迹数据进行用户的伴随模式匹配方法，包括轨迹数据预处理、网格划分，以及相似度匹配，数据采用运营商轨迹数据，对原始数据进行预处理，数据预处理方法对于运营商数据而言非常具有针对性，并且处理方法考虑了各种特殊情况，提出了过滤漂移数据和乒乓数据，同时采用格网划分技术，大大提升算法效率，在轨迹相似度匹配算法中，采用了基于时间加位置的碰撞点轨迹匹配算法，同时引入了基于余弦距离公式计算未碰撞时的连续轨迹点的方向的匹配方式，加大轨迹匹配算法的准确度，经实际中测试，本发明所述方法结果准确，已应用于相关部门，并取得很好的效果，为有此需求的相关业务部门提供解决方案。

Description

基于运营商轨迹数据的伴随模式匹配方法

技术领域

本发明属于轨迹匹配技术领域，具体涉及一种基于运营商轨迹数据的伴随模式匹配方法。

背景技术

根据运营商数据查询和某个用户在一定时间内伴行的人员，实际中，此项技术，对于查询犯罪人员以及追踪逮捕其犯案团伙具有重要意义，可以给相关部门提供有价值的参考。也因此，对于此项技术方法，其准确性要求要高，应用性要强。

目前对于轨迹匹配有相应的专利，如：一种运营商数据的处理方法及系统和一种基于时间上的GPS轨迹相似度匹配算法，但是，对于前者来说，其运营商数据处理并没有涉及到关于运营商数据的特性问题，如我们的数据预处理方法中的漂移数据处理和乒乓数据处理等，并且我们的数据预处理中针对轨迹匹配的需求进行了一系列的额外的数据处理工作，如轨迹点合并和轨迹点填充等，这为精确地轨迹匹配奠定了基础；对于另一个专利而言，其轨迹相似度匹配算法对应数据并不是运营商数据，在没有考虑到运营商轨迹数据的特性的情况下，相应算法应用在运营商数据上准确率等不一定可靠，而本专利，在进行一系列针对运营商轨迹数据的预处理过后，提出格网划分方法，在提高了准确率的同时，也大大缩短了应用时的资源消耗，同时，本专利在原有的轨迹相似度匹配算法的基础上，针对运营商数据的特性进行了较大的改进，引入了轨迹向量的方向比较，大大提升了算法精确度。最后，虽然网络上目前对于轨迹匹配有相应的专利文章，但是并没有根据运营商数据进行伴随模式匹配的组合算法。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于运营商轨迹数据的伴随模式匹配方法，对全量运营商数据进行预处理，提出了过滤漂移数据和乒乓数据，这种针对基站本身数据特性的处理方式，同时引入了轨迹填充算法，保证最终的伴随匹配的准确度，同时采用格网划分技术提高匹配效率。

为了实现上述目的，本发明采用的技术方案是，基于运营商轨迹数据的伴随模式匹配方法，包括以下步骤：

S1，获取运营商全量用户的移动轨迹数据，并对所述轨迹数据预处理，得到完整规范的轨迹数据；

其中，轨迹数据预处理包括：去除原始移动轨迹数据中相邻重复点、过滤乒乓数据、过滤漂移数据、填充设定时间范围内相邻相同点的轨迹和填充设定时间范围内相邻不同点的轨迹；

S2，对S1得到的轨迹数据进行格网划分，得到用户所在网格；

S3，根据S1所得轨迹数据和S2格网划分结果，对某个被查询用户轨迹和相同网格下全量用户轨迹进行轨迹相似度匹配；具体如下：

步骤a，对被查询用户和全量轨迹用户中的每一个用户轨迹进行匹配，设置轨迹指针，比较格网相同的用户轨迹；被查询用户的轨迹点和全量轨迹用户的轨迹点进行碰撞，设置认定碰撞的阈值，两个轨迹点在所述阈值内，视为发生碰撞，每发生一次碰撞，碰撞点个数加1，两条轨迹指针同时向后移动；

步骤b，轨迹上出现连续两组轨迹点未碰撞时，获取由所述两组连续点分别形成的局部轨迹，计算两条所述局部轨迹之间角度的余弦值，当余弦值大于0.9，则轨迹匹配，碰撞点增加1；否则，继续移动轨迹指针，碰撞点个数置0，并执行步骤a；直至匹配完成，得到碰撞点个数；

步骤c，采用步骤b中所得碰撞点个数/轨迹A的轨迹点总个数×100％计算得到轨迹匹配相似度，轨迹匹配相似度为80％以上认定为可疑轨迹伴随用户，用于提供参考，对伴随匹配率进行排序，得到N个可疑轨迹伴随用户，N≥1。

移动轨迹数据包括，2G通话、3G通话、短信数据、位置切换数据以及4G数据；具体内容包括用户标识、开始时间、经度以及纬度；其中，用户标识为用户所携带移动设备的唯一标识，开始时间即为基站接收到包括通话、短信以及位置切换的接收时间，经度和纬度为用户当前位置所被接收基站的经纬度。

S1中，对原始数据进行短时间内的相邻相同点去除，所述短时间为十分钟；

过滤乒乓数据时，对同一位置跳基站的轨迹点，仅保留第一个点；

过滤漂移数据时，两个轨迹点之间基站切换速度出现突变，删除时间在后的轨迹点。

S1中，填充设定填充时间内相邻相同点的轨迹具体如下：相邻轨迹点的时间差超过设定的填充时间并且轨迹不变，根据第一个轨迹点的Starttime，设定一个间隔时间，填充相同轨迹数据，即用户的用户标识、Strattime、Lat以及Lon，根据Starttime累增，填充次数由当前轨迹点和下一轨迹点的时间差值除以间隔时间，间隔时间小于所述相邻轨迹点的时间差；设定的填充时间范围为30分钟。

填充设定填充时间范围内相邻不同点的轨迹具体为：在设定填充时间范围内，没有被查询用户轨迹数据，但是被查询用户的位置发生切换；

基于被查询用户的历史轨迹数据对相邻相同点轨迹进行填充；

对被查询用户进行历史轨迹数据查询，所采用数据为之前已经处理的划分格网后的数据；对被查询用户一个星期在同一网格下的历史数据进行查询，查询被查询用户在所述相邻不同点轨迹之间的轨迹切换数据，并采用出现次数最多的轨迹点进行填充，根据所述相邻不同点的轨迹中的第一个轨迹点位置数据，找到被查询用户历史数据中该轨迹点的轨迹，根据Starttime，计算接下来的设定时间间隔内的历史轨迹点，并对所述设定时间间隔内距离小于距离阈值的点进行计数，采用计数最多的点进行填充，以此类推，直到与当前轨迹所示第二个轨迹点的开始时间的时间差距在设定时间间隔内。

对S1得到的轨迹数据进行格网划分具体如下：

S21，获取查询范围的最小经纬度和最大经纬度，根据预先设置的格网划分的长和宽进行格网划分，根据输入的被查询用户的经纬度进行格网判断，返回被查询用户的轨迹点所在网格；

S22，确定被查询用户所在格网，被查询用户在设定时间范围内的轨迹点可能会返回多个网格，即出现跨网格的现象，将用户所在网格将以多网格形式存储。

S2中，按照S1所述方法对被查询用户的所需时间段内的轨迹数据进行数据预处理。

S21中，网格大小的划分需要根据实际情况为准，判定标准为尽量覆盖一个用户的所有轨迹移动变化。

，S31中阈值包括时间阈值和距离阈值，时间阈值为10分钟，距离阈值为500米。

S32中，采用余弦距离公式计算两条轨迹角度：

其中，A_i、B_i分别代表向量A和B的各分量,即两条轨迹分别对应的两个轨迹向量。

与现有技术相比，本发明至少具有以下有益效果：本发明是针对运营商数据进行的伴随模式匹配挖掘，可以针对大规模的轨迹匹配问题，其中的数据预处理方法对于运营商数据而言非常具有针对性，并且处理方法考虑了各种特殊情况，为了保证最终的伴随匹配的准确度，轨迹大数据处理更加详细且提出了过滤漂移数据和乒乓数据这种具有基站本身数据特性的处理方式，同时引入了轨迹填充算法，使得匹配的准确性大大增加，这些是在其他运营商大数据处理技术中所没有的，并且在效率方面，采用了格网划分技术，使得匹配效率大大提升，同时在轨迹匹配算法中，考虑了碰撞和非碰撞两种情况，使得轨迹匹配的准确率提升，对于相关业务部门，提供了充分且完善的实施方案，并且准确率经实际验证，本发明针对的是运营商的轨迹大数据，其具有和GPS数据不同的特点，并且，在其轨迹相似度匹配算法的基础上，增加了按方向和角度进行相似度匹配的方式，使得最终匹配出伴随人员精准而有效；经实际中测试，本发明所述方法结果准确，已应用于相关机关部门，并取得很好的效果。

附图说明

图1是本发明的方法流程图。

图2是本发明方法中的轨迹数据预处理部分的流程图。

图3是本发明方法中的格网划分部分的流程图。

图4是本发明方法中的相似轨迹匹配部分的流程图。

具体实施方式

本发明为一种基于运营商轨迹数据的伴随模式匹配方法，分为3个方法步骤，即针对运营商原始轨迹数据进行预处理、对预处理轨迹数据进行格网划分以及针对运营商轨迹数据的轨迹匹配，实现对于运营商轨迹数据的伴随模式匹配方法，可以在同一格网内的全量用户中找出与所需用户的伴随人员。

本实施方式采用hadoop集群中的MapReduce框架进行实施，这一框架对于海量数据处理具有非常大的优势。

为了加深对本发明的理解，下面将结合附图和实施实例对本发明做进一步的详细描述，结合图1、图2、图3以及图4。

S1，针对运营商原始轨迹数据进行预处理

S11，获取运营商设定时间范围内的全量用户的移动轨迹数据；其中，移动轨迹数据包括，2G通话、3G通话、短信数据、位置切换数据以及4G数据，具体内容包括用户标识、开始时间、经度和纬度，分别以IMSI、Starttime、Lat和Lon表示，其中，IMSI为用户所携带移动设备的唯一标识，开始时间即为基站接收到移动轨迹数据动态的时间，如通话、短信以及位置切换，Lat和Lon即为用户当前位置所被接收基站的经纬度，设定时间范围根据实际需要被查询用户的活动时间进行选取；

S12，对原始数据进行短时间内相邻相同点去除，本发明所述短时间为10分钟，10分钟是针对运营商原始数据探索而采取的一个最贴切可行的时间跨度；

遍历原始数据中的用户轨迹，设置轨迹指针，判断当前轨迹点与下一个轨迹点的时间差值是否在10分钟以内并且经纬度是否完全相同；若判定结果是肯定的，则删除下一个轨迹点，轨迹指针不动；若判定结果是否定的，则轨迹指针向下一个位置移动。

S13，过滤乒乓数据，即过滤同一位置跳基站的数据

遍历原始数据中的用户轨迹，设置轨迹指针移动，判断当前轨迹点与下一个轨迹点的时间差值是否在10分钟以内并且经纬度之间的距离是否在500米以内，由于基站的范围一般在千米级别，所以这里判断跳基站的情况，距离阈值设置为500米是一个比较合适的取值；若所述判断结果为“是”，则合并两个点，采取仅保留第一个点的方式，否则，轨迹指针向后移动，直到最后一个轨迹点。

S14，过滤漂移数据，即过滤预设时间段内，基站切换速度不符合常理的数据。

遍历原始数据中的用户轨迹，设置轨迹指针移动，计算当前轨迹点与下一个轨迹点的距离差值和时间差值，并计算在该时间段内的平均速度，判断该速度是否大于100米每秒，这里的100米每秒是一个非正常的速度，并且综合原始基站轨迹数据的特点进行设定，可靠性较高，若所述判断结果为“是”，则删除第二个点，否则，轨迹指针向后移动，直到最后一个轨迹点。

S15，填充设定填充时间范围内，相邻相同点的轨迹

S151，遍历原始数据中的用户轨迹，设置轨迹指针移动，判断当前轨迹点与下一个轨迹点的经纬度是否相同，若相同，则执行下一步骤，否则，轨迹指针向后移动；

S152，判断当前轨迹点和下一个轨迹点的时间差值是否大于30分钟，即设定填充时间为30分钟，若是，则执行下一步骤，否则，轨迹指针向后移动；

S153，将当前轨迹点和下一个轨迹点的时间差值除以15分钟，取整，获取需要填充的轨迹点个数，接着根据当前轨迹点的时间累加15分钟进行填充，填充Starttime、Lat和Lon，其中Lat和Lon和当前轨迹点的经纬度相同，而Starttime比当前轨迹点的时间增加15分钟，剩余的填充点以此类推，填充完成后，轨迹指针继续向后移动，并跳转到S152，继续判断，直到轨迹结束点。

S16，填充预设时间范围内，相邻不同点的轨迹。

S161，遍历原始数据中的被查询用户轨迹，设置轨迹指针移动，判断当前轨迹点与下一个轨迹点的时间差值是否大于30分钟并且经纬度不同，若所述判断结果为“是”，则计算需要填充点个数，并执行下一步骤，否则，轨迹指针向后移动。

S162，遍历前一个星期时间范围内被查询用户在同一格网下的历史数据，所述历史数据已按照进行相同点去除、乒乓数据过滤以及漂移数据过滤处理，获取被查询用户历史数据中初始轨迹点和结束轨迹点与当前轨迹点和下一轨迹点相同的轨迹；

S163，根据被查询用户相同起始轨迹点和结束轨迹点的历史轨迹数据，首先进行碰撞，将在当前轨迹点时间与15分钟后的时间内的历史轨迹点取出并计数，取出现最多的轨迹点为下一个将要填充的轨迹点，若出现多个点出现相同次数的情况，取均值填充，以此类推，每隔15分钟进行填充，直到轨迹点次数填充完成，执行S161，继续判断是否发生碰撞，直到轨迹中的最后的轨迹点。

S2，对预处理轨迹数据进行格网划分

对S1的预处理后的完整规范的轨迹数据，进行格网划分，以加速在大规模轨迹数据中的匹配速度。

S21，对S1所得轨迹数据进行格网划分，即，对被查询用户轨迹数据处理及格网划分。

S211，获取所查询城市的左下角经纬度和右上角经纬度，记为lat1,lon1,lat2,lon2，并设定所需划分格网的长和宽，以Alpha和Beta表示，这里采用的是某省全省的轨迹数据，构造格网轨迹划分格网为16×11的格网，每个格网相当于一个县级单位大小，本发明所述经纬度和格网划分的长宽均根据所需查询范围进行动态调整，但要求每个格网尽量覆盖一个被查询用户的所有轨迹移动变化；

S212，根据所给被查询用户经纬度，判断所述被查询用户经纬度是否在给定的lat1,lon1,lat2,lon2,范围之内，若此处判断结果为“是”，则执行下一步骤，否则返回0，并输出错误提示；

S213，根据lat1,lon1,lat2,lon2和给定的长宽，计算每个格网的经纬度跨度，并根据被查询用户的经纬度，循环遍历格网的Alpha，判断被查询用户纬度在哪一个纬度单元格之内，同样的方式，循环遍历格网的Beta，判断被查询用户的经度在哪一个经度单元格之内，最终返回被查询用户当前轨迹点所在格网，例如(3,4)。

S214，将S213所得被查询用户所有轨迹点，获取每一个轨迹点所对应的格网；

S22，确定被查询用户所在格网，构造格网轨迹，即，取出S214所得到的被查询用户所有轨迹点所对应的网格，并构造被查询用户的格网轨迹，例如，IMSI、格网、Starttime1、Lon1、Lat1、Strattime2、Lon2、Lat2……，一般用户所对应的格网只有一个，在划分格网时，充分考虑了将用户轨迹包括在一个格网内，但也可能出现例外，所以这里选取用户的所有格网，以防止特殊情况遗漏；

S3，针对运营商轨迹数据的轨迹匹配

S31，轨迹相似点碰撞。

S311，根据被查询用户的格网轨迹数据，与格网中全量用户中的每一个用户的轨迹数据进行匹配，先择其一作为匹配用户判断所述匹配用户与被查询用户是否有所属同一格网，若有，则进行下一步骤，否则，继续下一个匹配用户轨迹匹配；

S312，设定两个轨迹指针，第一个轨迹指针指向当前被查询用户初始轨迹点，第二个轨迹指针指向匹配用户初始轨迹点，循环遍历匹配用户轨迹，并判断两个轨迹点的时间差值是否在10分钟内，并且距离差值在500米以内，若是，则碰撞点个数加1，同时两个轨迹指针均向后移动一位；否则未碰撞点个数加1，判断未碰撞点个数是否大于等于2，若是，执行下一步骤，否则，匹配用户轨迹指针向后移动，即仅移动第二个轨迹指针；

S32，轨迹连续两点未碰撞处理时，两个轨迹点的时间差值不在10分钟内，或距离差值超过500米，将当前被查询用户的当前轨迹点和上一轨迹点组成经纬度向量，匹配用户的当前轨迹点和上一轨迹点组成经纬度向量，根据余弦公式计算被查询用户和匹配用户两点轨迹的余弦值，

其中，A_i、B_i分别代表向量A和B的各分量,即两条轨迹分别对应的两个轨迹向量，判断二者两点轨迹的余弦值，是否大于0.9，如果是，则碰撞点个数加1，同时未碰撞点个数置0，否则，继续移动轨迹指针，碰撞点个数置0，并执行S312；

S33，计算轨迹匹配相似度。

S331，匹配完成后，根据相似度匹配公式：碰撞点个数/轨迹A的轨迹点总个数×100％，计算当前用户与匹配用户轨迹的匹配相似度；

S332，重复S331，匹配当前被查询用户与同一格网下的全量用户的轨迹匹配相似度。

S334，对匹配用户的轨迹相似度进行排序，获取排名前N个的匹配用户，作为输出结果，供相关业务部门参考。

本发明针对运营商轨迹大数据的系统的组合算法的提出，为这一类问题，提供了一个从0到1的解决方案，是现有技术没有公开的。

Claims (10)

1.基于运营商轨迹数据的伴随模式匹配方法，其特征在于，包括以下步骤：

S1，获取运营商全量用户的移动轨迹数据，并对所述轨迹数据预处理，得到完整规范的轨迹数据；

其中，轨迹数据预处理包括：去除原始移动轨迹数据中相邻重复点、过滤乒乓数据、过滤漂移数据、填充设定时间范围内相邻相同点的轨迹和填充设定时间范围内相邻不同点的轨迹；

S2，对S1得到的轨迹数据进行格网划分，得到用户所在网格；

S3，根据S1所得轨迹数据和S2格网划分结果，对某个被查询用户轨迹和相同网格下全量用户轨迹进行轨迹相似度匹配；具体如下：

步骤a，对被查询用户和全量轨迹用户中的每一个用户轨迹进行匹配，设置轨迹指针，比较格网相同的用户轨迹；被查询用户的轨迹点和全量轨迹用户的轨迹点进行碰撞，设置认定碰撞的阈值，两个轨迹点在所述阈值内，视为发生碰撞，每发生一次碰撞，碰撞点个数加1，两条轨迹指针同时向后移动；

步骤b，轨迹上出现连续两组轨迹点未碰撞时，获取由所述两组连续点分别形成的局部轨迹，计算两条所述局部轨迹之间角度的余弦值，当余弦值大于0.9，则轨迹匹配，碰撞点增加1；否则，继续移动轨迹指针，碰撞点个数置0，并执行步骤a；直至匹配完成，得到碰撞点个数；

步骤c，采用步骤b中所得碰撞点个数/轨迹A的轨迹点总个数×100％计算得到轨迹匹配相似度，轨迹匹配相似度为80％以上认定为可疑轨迹伴随用户，用于提供参考，对伴随匹配率进行排序，得到N个可疑轨迹伴随用户，N≥1。

2.根据权利要求1所述的针对运营商原始轨迹数据进行预处理的方法，其特征在于，移动轨迹数据包括，2G通话、3G通话、短信数据、位置切换数据以及4G数据；具体内容包括用户标识、开始时间、经度以及纬度；其中，用户标识为用户所携带移动设备的唯一标识，开始时间即为基站接收到包括通话、短信以及位置切换的接收时间，经度和纬度为用户当前位置所被接收基站的经纬度。

3.根据权利要求1所述的针对运营商原始轨迹数据进行预处理的方法，其特征在于，S1中，对原始数据进行短时间内的相邻相同点去除，所述短时间为十分钟；

过滤乒乓数据时，对同一位置跳基站的轨迹点，仅保留第一个点；

过滤漂移数据时，两个轨迹点之间基站切换速度出现突变，删除时间在后的轨迹点。

4.根据权利要求1所述的基于运营商轨迹数据的伴随模式匹配方法，其特征在于，S1中，填充设定填充时间内相邻相同点的轨迹具体如下：相邻轨迹点的时间差超过设定的填充时间并且轨迹不变，根据第一个轨迹点的Starttime，设定一个间隔时间，填充相同轨迹数据，即用户的用户标识、Strattime、Lat以及Lon，根据Starttime累增，填充次数由当前轨迹点和下一轨迹点的时间差值除以间隔时间，间隔时间小于所述相邻轨迹点的时间差；设定的填充时间范围为30分钟。

5.根据权利要求1所述的基于运营商轨迹数据的伴随模式匹配方法，其特征在于，填充设定填充时间范围内相邻不同点的轨迹具体为：在设定填充时间范围内，没有被查询用户轨迹数据，但是被查询用户的位置发生切换；

基于被查询用户的历史轨迹数据对相邻相同点轨迹进行填充；

对被查询用户进行历史轨迹数据查询，所采用数据为之前已经处理的划分格网后的数据；对被查询用户一个星期在同一网格下的历史数据进行查询，查询被查询用户在所述相邻不同点轨迹之间的轨迹切换数据，并采用出现次数最多的轨迹点进行填充，根据所述相邻不同点的轨迹中的第一个轨迹点位置数据，找到被查询用户历史数据中该轨迹点的轨迹，根据Starttime，计算接下来的设定时间间隔内的历史轨迹点，并对所述设定时间间隔内距离小于距离阈值的点进行计数，采用计数最多的点进行填充，以此类推，直到与当前轨迹所示第二个轨迹点的开始时间的时间差距在设定时间间隔内。

6.根据权利要求1所述的基于运营商轨迹数据的伴随模式匹配方法，其特征在于，对S1得到的轨迹数据进行格网划分具体如下：

S21，获取查询范围的最小经纬度和最大经纬度，根据预先设置的格网划分的长和宽进行格网划分，根据输入的被查询用户的经纬度进行格网判断，返回被查询用户的轨迹点所在网格；

S22，确定被查询用户所在格网，被查询用户在设定时间范围内的轨迹点可能会返回多个网格，即出现跨网格的现象，将用户所在网格将以多网格形式存储。

7.根据权利要求1所述的基于运营商轨迹数据的伴随模式匹配方法，其特征在于，S2中，按照S1所述方法对被查询用户的所需时间段内的轨迹数据进行数据预处理。

8.根据权利要求1所述的基于运营商轨迹数据的伴随模式匹配方法，其特征在于，S21中，网格大小的划分需要根据实际情况为准，判定标准为尽量覆盖一个用户的所有轨迹移动变化。

9.根据权利要求1所述的基于运营商轨迹数据的伴随模式匹配方法，其特征在于，S31中阈值包括时间阈值和距离阈值，时间阈值为10分钟，距离阈值为500米。

10.根据权利要求1所述的基于运营商轨迹数据的伴随模式匹配方法，其特征在于，S32中，采用余弦距离公式计算两条轨迹角度：

其中，A_i、B_i分别代表向量A和B的各分量,即两条轨迹分别对应的两个轨迹向量。

Images