CN110471938A - 一种面向海量轨迹数据的流式处理与实时检索的方法 - Google Patents

Abstract

本发明公开了一种面向海量轨迹数据的流式处理与实时检索的方法，对人数据和关联物数据进行合并生成人员的轨迹数据；将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据；利用时间上连续的两条位置数据之间的地理差距和时间差距计算人员的移动速度，根据人员的移动速度进行异常处理；根据人员的位置数据所在的地理位置添加行为标签至该人员的位置数据中；后续可通过选择人员信息、地理位置、时间、标签中的一项或多项作为检索条件进行实时检索。本发明在数据存储时对流式的轨迹数据进行大幅压缩，节省存储空间，降低数据冗余，且在后续的数据检索时能大幅度的提高检索速度，为终端用户提供真正有效的数据决策支撑。

Description

一种面向海量轨迹数据的流式处理与实时检索的方法

技术领域

本发明涉及大数据的处理与检索的技术领域，尤其是一种面向海量轨迹数据的流式处理与实时检索的方法。

背景技术

随着科技的发展，人类在世界上的轨迹越来越多的可以被收集到，如利用GPS定位、基站、WIFI探测、车轨卡口侦测、宾馆开房、网吧上网、各种公共交通工具的搭乘等都可以获取到人类的轨迹，将尽可能多的数据汇集在一起进行流式处理并索引起来，方便具体的掌握某个人的轨迹，以分析人物行为。一方面，对于犯罪嫌疑人的追捕，为犯罪预测提供数据支撑；另一方面，基于人流轨迹的整体数据流向，对于当前城市交通状况的调整，提供决策支撑。

但是单纯的数据汇集，无法处理同一人持续出现在同一位置所产生的大量轨迹数据，这些海量的冗余数据，一方面会产生存储压力与检索性能问题，另一方面对于终端用户而言，无法提供真正有效的数据决策支撑。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种面向海量轨迹数据的流式处理与实时检索的方法，在数据存储时进行流式处理，对流式的轨迹数据进行大幅压缩，节省存储空间，降低数据冗余，且在后续的数据检索时能大幅度的提高检索速度，为终端用户提供真正有效的数据决策支撑。

为实现上述目的，本发明采用以下技术方案，包括：

所述流式处理的方法，包括以下步骤：

S11，分别获取人数据和关联物数据，并对人数据和关联物数据分别进行存储；

所述关联物是指与人员信息相绑定的物品或账号；

S12，基于关联物专题库，对关联物数据进行识别，识别出关联物所对应的人员；所述关联物专题库中存储有关联物与人员之间的对应关系；

S13，将识别后的关联物数据与其所对应的人员的人数据进行合并，得到该人员的轨迹数据；

人员的轨迹数据按时间顺序进行排列，且人员的轨迹数据为流式数据；

所述人员的轨迹数据包括：人员信息，所在地理位置，时间戳；

S14，按照下述方式，对人员的轨迹数据进行流式压缩：

将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据，压缩后该一条位置数据包括：人员信息，所在地理位置，开始时间即人员进入该位置的时间戳，结束时间即该人员离开该位置的时间戳；

S15，按照下述方式，对压缩产生的人员的位置数据进行流式异常处理：

将同一人员的因时间上连续性而相邻的两条位置数据进行对比，对比该两条位置数据的所在地理位置的位置差距，以及前一条位置数据的结束时间和后一条位置数据的开始时间的时间差距；根据地理差距和时间差距计算该人员的移动速度，判断该人员的移动速度是否超过速度阈值，若超出，则将同一人员的时间上连续压缩产生的该两条位置数据中的后一条位置数据删除；

后续的，对经步骤S11～S15处理后得到的人员的位置数据进行实时检索。

所述实时检索的方法，包括以下步骤：

S16，基于地理位置标签库，对经步骤S11～S15处理后得到的人员的位置数据进行识别，识别出人员的位置数据的所在地理位置对应的标签，并将该标签加入该人员的位置数据中；

所述地理位置标签库中存储有地理位置与标签之间的对应关系；

S17，将带有标签的人员的位置数据输入分布式搜索引擎中；

S18，用户通过选择人员信息、地理位置、时间、标签中的一项或多项作为检索条件在分布式搜索引擎中进行实时检索。

步骤S13中，对同一人员的关联物数据和人数据进行合并，其中，将时间戳相同的关联物数据与人数据合并为一条轨迹数据，将时间戳不同的关联物数据与人数据分别作为两条轨迹数据，并将轨迹数据按照时间顺序排列，得到该人员的轨迹数据。

步骤S14，将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据，所述压缩的具体方式如下所示：

针对同一人员的轨迹数据，将时间顺序上的前后相邻的两条轨迹数据进行对比，判别该两条轨迹数据的所在地理位置是否相同，若相同，则将该两条轨迹数据均删除；若不相同，则将该两条轨迹数据均保留；并且，将时间顺序上的第一条轨迹数据与最后一条轨迹数据直接保留；

对所保留的轨迹数据进行压缩，将所在地理位置相同的轨迹数据压缩为一条位置数据，压缩后该一条位置数据包括：人员信息，所在地理位置，开始时间即人员进入该位置的时间，结束时间即该人员离开该位置的时间。

步骤S16中，所述标签用于表征行为。

本发明的优点在于：

(1)本发明在数据存储时进行流式处理，将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据，压缩后该一条轨迹数据仅包括：人员信息，所在的地理位置，开始时间即人员进入该位置的时间，结束时间即该人员离开该位置的时间，从而实现对海量的轨迹数据进行大幅压缩，节省存储空间，降低数据冗余，且在后续的数据检索时能大幅度的提高检索速度，为终端用户提供真正有效的数据决策支撑。

(2)本发明根据同一人员的时间上连续压缩产生的两条位置数据的地理差距和时间差距，计算该人员的移动速度，以判断该人员的轨迹数据是否异常，一定程度上，本发明的处理方法还具备了数据质量处理的能力，提高了数据质量，从而为终端用户提供真正有效的数据决策支撑。

(3)本发明根据数据所在的地理位置添加行为标签，为数据检索提供了一个新的检索条件，例如轨迹数据所在的地理位置为旅游景点，则为该轨迹数据添加旅游的行为标签，若未添加旅游的行为标签，则只能根据单独对某个旅游景点的数据进行查询，而不能对所有旅游景点的数据进行统一查询。

(4)终端用户通过选择人员信息、地理位置、时间、标签中的一项或多项作为检索条件在分布式搜索引擎中进行实时检索，为终端用户提供真正有效的数据决策支撑。

(5)本发明将实时探测到的手机设备的数据作为人数据，用手机号码或身份证号作为人员信息；将与人员信息即手机号码相绑定的物品或账号作为关联物，例如，私家车，公交卡，银行卡等；将与人员信息即手机号码相绑定的物品所产生的实时数据作为关联物数据；并对人数据和关联物数据进行合并得到人员的轨迹数据，保证人员的轨迹数据的可靠性。

附图说明

图1为一种面向海量轨迹数据的流式处理与实时检索的方法的方法流程图。

图2为实施例的整体示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由图1所示，本发明的一种面向海量轨迹数据的流式处理与实时检索的方法，包括以下具体步骤：

S11，分别获取人数据和关联物数据，并对人数据和关联物数据分别进行存储。

所述人数据包括：人员信息，所在地理位置，时间戳。

所述关联物数据包括：与人员信息相绑定的物品或账号的信息，所在地理位置，时间戳。

本发明中，将探测到的手机设备的实时数据作为所述人数据；用手机号码或身份证号表征人员信息。所述关联物是指与人员信息相绑定的物品或账号，例如，私家车，银行卡，公交卡等。所述关联物数据即为探测到与人员信息相绑定的物品或账号的实时数据。

S12，基于关联物专题库，对关联物数据进行识别，识别出关联物所对应的人员；所述关联物专题库中存储有关联物与人员之间的对应关系。

S13，将识别后的关联物数据与其所对应的人员的人数据进行合并，其中，将时间戳相同的关联物数据与人数据合并为一条轨迹数据，将时间戳不同的关联物数据与人数据分别作为两条轨迹数据，并将轨迹数据按照时间顺序排列，得到该人员的轨迹数据。

人员的轨迹数据包括：人员信息，所在地理位置，时间戳。

人员的轨迹数据为流式数据。

S14，对人员的轨迹数据进行压缩，将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据，所述压缩的具体方式如下所示：

针对同一人员的轨迹数据，将时间顺序上的前后相邻的两条轨迹数据进行对比，判别该两条轨迹数据的所在地理位置是否相同，若相同，则将该两条轨迹数据均删除；若不相同，则将该两条轨迹数据均保留；并且，将时间顺序上的第一条轨迹数据与最后一条轨迹数据直接保留；

对所保留的轨迹数据进行压缩，将所在地理位置相同的轨迹数据压缩为一条位置数据，压缩后该一条位置数据包括：人员信息，所在地理位置，开始时间即人员进入该位置的时间，结束时间即该人员离开该位置的时间

按照上述方式，对人员的轨迹数据进行流式压缩。

S15，对压缩产生的人员的位置数据进行异常处理，将同一人员的时间上连续压缩产生的两条位置数据进行对比，对比该两条位置数据的所在地理位置的位置差距，以及前一条位置数据的结束时间和后一条位置数据的开始时间的时间差距；根据地理差距和时间差距计算该人员的移动速度，判断该人员的移动速度是否超过速度阈值，若超出，则将同一人员的时间上连续压缩产生的该两条位置数据中的后一条位置数据删除。

按照上述方式，对压缩产生的人员的位置数据进行流式异常处理。

S16，基于地理位置标签库，对经步骤S11～S15处理后得到的人员的位置数据进行识别，识别出人员的位置数据的所在地理位置对应的标签，并将该标签加入该人员的位置数据中。

所述地理位置标签库中存储有地理位置与标签之间的对应关系。

所述标签用于表征行为。

S17，将带有标签的人员的位置数据输入分布式搜索引擎中。

S18，用户通过选择人员信息、地理位置、时间、标签中的一项或多项作为检索条件在分布式搜索引擎中进行实时检索。

本发明方法中，步骤S11～S15为海量轨迹数据的流式处理方法；步骤S16～S18为海量轨迹数据的实时检索方法。

由图2所示，基于本发明的方法，提供一个具体的实施例：

S21，构建以Filebeat收集文件数据包，以Packetbeat收集网络数据包为基础的多来源、多格式的大数据收集平台1。

所述大数据收集平台1分别收集人数据和关联物数据。

S22，构建以Logstash和Kafka为基础的大数据分布式分发平台2。

所述大数据分布式分发平台2对人数据和关联物数据分别进行存储；所述大数据分布式分发平台2根据数据来源的不同，在Logstash录入Kafka时，将人数据打上人标识，将关联物数据打上关联物标识，并分别录入人标识的Topic和关联物标识的Topic中。

S23，利用Redis分布式内存数据库集群3构建关联物专题库，用于存储关联物与人之间的对应关系。

S24，将大数据分布式分发平台2中的关联物标识的Topic中的数据即关联物数据生成流式数据源，流入Flink分布式流式计算平台4中。

S25，所述Flink分布式流式计算平台4基于Redis分布式内存数据库集群3的关联物专题库对关联物数据进行交叉对比，得到关联物所对应的人员。

S26，所述Flink分布式流式计算平台4将识别后的关联物数据与大数据分布式分发平台2中的人数据合并，并重新录入到Kafka中，且并入人标识的Topic中。

S27，将合并处理后得到的人标识的Topic中的数据即人员的轨迹数据生成流式数据源，流入所述Flink分布式流式计算平台4中。

S28，所述Flink分布式流式计算平台4将经纬度地理区格化，使用Geohash算法将经纬度转换为6位编码长度Geohash字符串，且精度为0.34平方千米。

S29，所述Flink分布式流式计算平台4对人员轨迹数据进行压缩处理：

以人物唯一标识为key分区，设定时间窗口，将顺序时间上，前一条轨迹数据与后一条轨迹数据进行对比，判别两条轨迹数据的Geohash字符串是否相同，即判断两条轨迹数据的经纬度是否相同，若相同，则将该两条轨迹数据均删除；若不相同，则将该两条轨迹数据均保留；另外，时间窗口内的第一条轨迹数据与最后一条轨迹数据直接保留；

将对比处理后的得到的数据进行时间合并，最终，将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据，压缩后该一条位置数据包括：人员信息，所在的地理位置，开始时间即人员进入该位置的时间，结束时间即该人员离开该位置的时间。

例如：字母A～E分别表示不同的Geohash字符串，即不同的经纬度，即不同的位置；T1～T9代表顺序时间，在T1～T9的顺序时间内产生9条轨迹数据，分别为：

A(T1),B(T2),B(T3),C(T4),D(T5),D(T6),D(T7),D(T8),E(T9)；

对该9条轨迹数据进行对比处理：

将时间窗口内的第一条轨迹数据A(T1)与最后一条轨迹数据E(T9)直接保留；

将A(T1)与B(T2)进行对比，Geohash字符串不同，A(T1)与B(T2)保留；

将B(T2)与B(T3)进行对比，Geohash字符串相同，B(T2)与B(T3)删除；

将B(T3)与C(T4)进行对比，Geohash字符串不同，B(T3)与C(T4)保留；

以此类推，经对比处理后得到：

A(T1),A(T1),B(T2),B(T3),C(T4),C(T4),D(T5),D(T8),E(T9),E(T9)。

将对比处理后的得到的数据进行时间合并，经时间合并处理后得到：

A(T1，T1),B(T2，T3),C(T4，T4),D(T5，T8),E(T9，T9)。

S210，所述Flink分布式流式计算平台4中基于区域线路与数据来源设定有各类速度阀值，所述Flink分布式流式计算平台4对压缩产生的位置数据进行异常处理，将时间上连续压缩产生的两条位置数据进行对比，对比该两条位置数据的所在地理位置的位置差距，以及前一条位置数据的结束时间和后一条位置数据的开始时间的时间差距；根据地理差距和时间差距计算该人员的移动速度，判断该人员的移动速度是否超过速度阈值，若超出，则将时间上连续压缩产生的该两条位置数据中的后一条轨迹数据删除。

S211，利用Redis分布式内存数据库集群3构建地理位置标签库，用于存储Geohash字符串即地理位置与标签之间的对应关系。

S212，所述Flink分布式流式计算平台4基于Redis分布式内存数据库集群3的地理位置标签库，对经步骤S210处理后得到的位置数据进行交叉对比，得到轨迹数据中的Geohash字符串所对应的标签，并将该标签加入该位置数据中，为轨迹数据增加行为标签。

S213，在Elasticsearch分布式实时搜索引擎5中给轨迹数据构建索引模型，设置索引列，聚合列，展示列，全文索引列包含内容；并配置中文分词词库，停止词库；构建Analyzers，Tokenizers。

S214，将步骤S212中的所述Flink分布式流式计算平台4处理后的带有标签的位置数据入库至所述Elasticsearch分布式实时搜索引擎5中。

S215，用户通过选择人员信息、地理位置、时间、标签中的一项或多项作为检索条件在所述Elasticsearch分布式实时搜索引擎5中进行实时检索。

本实施例中，步骤S21～S212为海量轨迹数据的流式处理方法；步骤S213～S215为海量轨迹数据的实时检索方法。本实施例的各步骤之间的顺序主要用于使表述更加清晰。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (5)

1.一种面向海量轨迹数据的流式处理与实时检索的方法，其特征在于，

所述流式处理的方法，包括以下步骤：

S11，分别获取人数据和关联物数据，并对人数据和关联物数据分别进行存储；

所述关联物是指与人员信息相绑定的物品或账号；

S12，基于关联物专题库，对关联物数据进行识别，识别出关联物所对应的人员；所述关联物专题库中存储有关联物与人员之间的对应关系；

S13，将识别后的关联物数据与其所对应的人员的人数据进行合并，得到该人员的轨迹数据；

人员的轨迹数据按时间顺序进行排列，且人员的轨迹数据为流式数据；

所述人员的轨迹数据包括：人员信息，所在地理位置，时间戳；

S14，按照下述方式，对人员的轨迹数据进行流式压缩：

将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据，压缩后该一条位置数据包括：人员信息，所在地理位置，开始时间即人员进入该位置的时间戳，结束时间即该人员离开该位置的时间戳；

S15，按照下述方式，对压缩产生的人员的位置数据进行流式异常处理：

将同一人员的因时间上连续性而相邻的两条位置数据进行对比，对比该两条位置数据的所在地理位置的位置差距，以及前一条位置数据的结束时间和后一条位置数据的开始时间的时间差距；根据地理差距和时间差距计算该人员的移动速度，判断该人员的移动速度是否超过速度阈值，若超出，则将同一人员的时间上连续压缩产生的该两条位置数据中的后一条位置数据删除；

后续的，对经步骤S11～S15处理后得到的人员的位置数据进行实时检索。

2.根据权利要求1所述的一种面向海量轨迹数据的流式处理与实时检索的方法，其特征在于，

所述实时检索的方法，包括以下步骤：

S16，基于地理位置标签库，对经步骤S11～S15处理后得到的人员的位置数据进行识别，识别出人员的位置数据的所在地理位置对应的标签，并将该标签加入该人员的位置数据中；

所述地理位置标签库中存储有地理位置与标签之间的对应关系；

S17，将带有标签的人员的位置数据输入分布式搜索引擎中；

S18，用户通过选择人员信息、地理位置、时间、标签中的一项或多项作为检索条件在分布式搜索引擎中进行实时检索。

3.根据权利要求1所述的一种面向海量轨迹数据的流式处理与实时检索的方法，其特征在于，步骤S13中，对同一人员的关联物数据和人数据进行合并，其中，将时间戳相同的关联物数据与人数据合并为一条轨迹数据，将时间戳不同的关联物数据与人数据分别作为两条轨迹数据，并将轨迹数据按照时间顺序排列，得到该人员的轨迹数据。

4.根据权利要求1所述的一种面向海量轨迹数据的流式处理与实时检索的方法，其特征在于，步骤S14，将同一人员持续出现在同一位置的所产生的多条轨迹数据压缩为一条位置数据，所述压缩的具体方式如下所示：

针对同一人员的轨迹数据，将时间顺序上的前后相邻的两条轨迹数据进行对比，判别该两条轨迹数据的所在地理位置是否相同，若相同，则将该两条轨迹数据均删除；若不相同，则将该两条轨迹数据均保留；并且，将时间顺序上的第一条轨迹数据与最后一条轨迹数据直接保留；

对所保留的轨迹数据进行压缩，将所在地理位置相同的轨迹数据压缩为一条位置数据，压缩后该一条位置数据包括：人员信息，所在地理位置，开始时间即人员进入该位置的时间，结束时间即该人员离开该位置的时间。

5.根据权利要求2所述的一种面向海量轨迹数据的流式处理与实时检索的方法，其特征在于，步骤S16中，所述标签用于表征行为。