CN112995915B - 一种统计用户在预设时间内运动轨迹的方法及系统 - Google Patents
一种统计用户在预设时间内运动轨迹的方法及系统 Download PDFInfo
- Publication number
- CN112995915B CN112995915B CN202110317713.0A CN202110317713A CN112995915B CN 112995915 B CN112995915 B CN 112995915B CN 202110317713 A CN202110317713 A CN 202110317713A CN 112995915 B CN112995915 B CN 112995915B
- Authority
- CN
- China
- Prior art keywords
- user
- original data
- time window
- users
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种统计用户在预设时间内运动轨迹的方法及系统，分别获取多种类型的原始数据流，且每种类型的原始数据流包括有多条原始数据；从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息；创建时间窗口，并根据用户对每条数据进行整合，以及根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息；将经过时间窗口处理后的每条用户标志和位置结果进行关联；输出关联后的用户的信息和位置结果，并根据用户的信息和位置结果确定一个或多个用户的运动轨迹。本发明利用时间窗口对多类型数据同时处理，解决普通关联无法满足多类型数据无法处理的情况，可以实时有效的统计出每个用户五分钟内的轨迹。
Description
技术领域
本发明涉及大数据技术领域，特别是涉及一种统计用户在预设时间内运动轨迹的方法及系统。
背景技术
随着5G时代的到来，用户数据量呈指数级增长，对于数据的实时性和准确性有了更高的要求。对于海量的用户数据，可能出现有效信息较少和用户多类型数据无法同时处理的情况。针对此情况，普通的关联已无法满足多类型数据同时处理的情况，在数据量比较大的时候出现处理负载较高，处理不过来的状况。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种统计用户在预设时间内运动轨迹的方法及系统，用于解决现有技术中存在的问题。
为实现上述目的及其他相关目的，本发明提供一种统计用户在预设时间内运动轨迹的方法，包括以下步骤：
分别获取多种类型的原始数据流，且每种类型的原始数据流包括有多条原始数据；
从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息；
创建时间窗口，并根据一个或多个用户对每条数据进行整合，以及根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息；
将经过时间窗口处理后的每条用户标志和位置结果进行关联；
输出关联后的所述一个或多个用户的信息和位置结果，并根据所述一个或多个用户的信息和位置结果确定所述一个或多个用户的运动轨迹。
可选地，所述时间窗口包括5分钟时长的时间窗口。
本发明还提供一种统计用户在预设时间内运动轨迹的系统，包括有：
采集模块，用于获取多种类型的原始数据流，且每种类型的原始数据流包括有多条原始数据；
数据提取模块，用于从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息；
时间窗口模块，用于创建时间窗口，并根据一个或多个用户对每条数据进行整合，以及根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息；
关联模块，用于将经过时间窗口处理后的每条用户标志和位置结果进行关联；
运动轨迹模块，用于输出关联后的所述一个或多个用户的信息和位置结果，并确定出所述一个或多个用户的运动轨迹。
可选地，所述时间窗口包括5分钟时长的时间窗口。
如上所述，本发明提供一种统计用户在预设时间内运动轨迹的方法及系统，具有以下有益效果：本发明可以利用时间窗口对多类型数据同时处理，解决普通关联无法满足多类型数据无法处理的情况。并且经过多次大数据量的测试，可以实时有效的统计出每个用户五分钟内的轨迹。
附图说明
图1为一实施例提供的统计用户在预设时间内运动轨迹的方法的流程示意图；
图2为一实施例提供的统计用户在预设时间内运动轨迹的系统硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种统计用户在预设时间内运动轨迹的方法，包括以下步骤：
S100，分别获取多种类型的原始数据流，且每种类型的原始数据流包括有多条原始数据；
S200，从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息；
S300，创建时间窗口，并根据一个或多个用户对每条数据进行整合，以及根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息；
S400，将经过时间窗口处理后的每条用户标志和位置结果进行关联；
S500，输出关联后的所述一个或多个用户的信息和位置结果，并根据所述一个或多个用户的信息和位置结果确定所述一个或多个用户的运动轨迹。
根据上述记载，从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息。具体的提取方法按照以下两种数据源类型进行：
第一种类型原始数据为：203|0539|5|000000000705180600058012ed7ff1ab|6|460088888888888|8688888888888888|15088888888|20|1556415751205|1556415751249|0|513|65535|2|255|255|255|209789336|65535|255|4294967295|779|142|3884837796|4294967295|255.255.255.255|ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff|21.62.97.100|198.182.70.100|36412|36412|25571|92737283|65535|4294967295|ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff|255|Sun Apr 2809:42:36CST 2019；以竖线分隔，203为第1个元素，依次类推，第6个元素460088888888888即为用户标识，第33个元素25571和第34个元素92737283拼起来为位置标识，第10个元素1556415751205为时间戳信息。
第二种类型原始数据为：1094|531|0543|531|0543|4|11|fe000fd2dd4a451afd000f0000050000|6|468888888888888|8688888888888888|13888888888|1|84.254.91.100|101.186.161.10|255.255.255.255|2152|2152|65535|20378|2559113190|21689|44153230||103|1556415638370771|1556415643575932|117.96464|37.65642|1|7|22|0|0|0|100.44.57.10|ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff|44102|0|242.181.155.39|ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff|80|894|286|4|2|||0|0|0|0|0|0|0|0|0|0|350|1394|0|0|1|0|0|0|0|0|3|5|200|22840|22840|69953|stat.dc.oppomobile.com|133|http://stat.dc.oppomobile.com/v1/stat/dcs？appid＝21000&logtag＝0&nonce＝10728×tamp＝1556415637&sign＝2a325d4688dfe6e166b9233251124b19||12|ok http/3.2.0|text/json；
charset＝UTF-8|0||0||424||3|0|5205161|0|0|0||0|00000000000000000000000000000000；以竖线分隔，1094为第一个元素，依次类推，第10个元素468888888888888即为用户标识，第22个元素21689和第23个元素44153230拼起来为位置标识，第26个元素1556415638370771为时间戳信息。
创建时间窗口，根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息，并根据一个或多个用户对每条数据进行整合；
过滤的具体实施过程如下：分别对提取后的两种类型的数据进行过滤，类型1的数据取出每一条数据的时间戳信息和同一用户标识的时间戳对比，若大于则保留前者，否则保留后者，一直到窗口结束时间，保留每个用户最新时间的用户标识和位置标识信息；类型2的数据按照同样的方法进行过滤。
整合的具体实施过程如下：以用户标识为基准，将不同类型的数据整合到一行数据中，如表1所示，总共5个字段，分别为用户标识，类型1位置标识，类型1时间戳信息，类型2位置标识，类型2时间戳信息。
表1用户标识数据
根据上述记载，在一示例性实施例中，所述时间窗口包括5分钟时长的时间窗口。
将经过时间窗口处理后的每条用户的位置标识和位置结果进行关联；
关联的具体实施过程如下：以用户的位置标识作为查询主键到关系型数据库中查询对应的值即为位置结果。
以经纬度坐标数据的方式输出关联后的所述一个或多个用户的信息和位置结果，并根据所述一个或多个用户的信息和位置结果确定所述一个或多个用户的运动轨迹。
本方法可以利用时间窗口对多类型数据同时处理，解决普通关联无法满足多类型数据无法处理的情况。并且经过多次大数据量的测试，可以实时有效的统计出每个用户五分钟内的轨迹。
如图2所示，本发明还提供一种统计用户在预设时间内运动轨迹的系统，包括有：
采集模块M10，用于获取多种类型的原始数据流，且每种类型的原始数据流包括有多条原始数据；
数据提取模块M20，用于从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息；
提取方法按照以下两种数据源类型进行：
类型一原始数据为：203|0539|5|000000000705180600058012ed7ff1ab|6|460088888888888|8688888888888888|15088888888|20|1556415751205|1556415751249|0|513|65535|2|255|255|255|209789336|65535|255|4294967295|779|142|3884837796|4294967295|255.255.255.255|ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff|21.62.97.100|198.182.70.100|36412|36412|25571|92737283|65535|4294967295|ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff|255|Sun Apr 2809:42:36CST 2019；以竖线分隔，203为第1个元素，依次类推，第6个元素460088888888888即为用户标识，第33个元素25571和第34个元素92737283拼起来为位置标识，第10个元素1556415751205为时间戳信息。
类型二原始数据为：1094|531|0543|531|0543|4|11|fe000fd2dd4a451afd000f0000050000|6|468888888888888|8688888888888888|13888888888|1|84.254.91.100|101.186.161.10|255.255.255.255|2152|2152|65535|20378|2559113190|21689|44153230||103|1556415638370771|1556415643575932|117.96464|37.65642|1|7|22|0|0|0|100.44.57.10|ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff|44102|0|242.181.155.39|ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff|80|894|286|4|2|||0|0|0|0|0|0|0|0|0|0|350|1394|0|0|1|0|0|0|0|0|3|5|200|22840|22840|69953|stat.dc.oppomobile.com|133|http://stat.dc.oppomobile.com/v1/stat/dcs？appid＝21000&logtag＝0&nonce＝10728×tamp＝1556415637&sign＝2a325d4688dfe6e166b9233251124b19||12|ok http/3.2.0|text/json；
charset＝UTF-8|0||0||424||3|0|5205161|0|0|0||0|00000000000000000000000000000000；以竖线分隔，1094为第一个元素，依次类推，第10个元素468888888888888即为用户标识，第22个元素21689和第23个元素44153230拼起来为位置标识，第26个元素1556415638370771为时间戳信息。
时间窗口模块M30，用于创建时间窗口，根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息，并根据一个或多个用户对每条数据进行整合；
过滤的具体实施过程如下：分别对提取后的两种类型的数据进行过滤，类型1的数据取出每一条数据的时间戳信息和同一用户标识的时间戳对比，若大于则保留前者，否则保留后者，一直到窗口结束时间，保留每个用户最新时间的用户标识和位置标识信息；类型2的数据按照同样的方法进行过滤。
整合的具体实施过程如下：以用户标识为基准，将不同类型的数据整合到一行数据中，如表2所示，总共5个字段，分别为用户标识，类型1位置标识，类型1时间戳信息，类型2位置标识，类型2时间戳信息。
表2用户标识数据
关联模块M40，用于将经过时间窗口处理后的每条用户标志和位置结果进行关联；关联的具体实施过程如下：以用户的位置标识作为主键到关系型数据库中查询对应的值即为位置结果。
运动轨迹模块M50，用于输出关联后的所述一个或多个用户的信息和位置结果，输出类型为经纬度坐标数据，并确定出所述一个或多个用户的运动轨迹。
根据上述记载，在一示例性实施例中，所述时间窗口包括5分钟时长的时间窗口。
本系统可以利用时间窗口对多类型数据同时处理，解决普通关联无法满足多类型数据无法处理的情况。并且经过多次大数据量的测试，可以实时有效的统计出每个用户五分钟内的轨迹。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例；进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (4)
1.一种统计用户在预设时间内运动轨迹的方法，其特征在于，包括以下步骤：
分别获取多种类型的原始数据流，且每种类型的原始数据流包括有多条原始数据；
从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息；
创建时间窗口，并根据一个或多个用户对每条数据进行整合，以及根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息；
将经过时间窗口处理后的每条用户标志和位置结果进行关联；
输出关联后的所述一个或多个用户的信息和位置结果，并根据所述一个或多个用户的信息和位置结果确定所述一个或多个用户的运动轨迹。
2.根据权利要求1所述的统计用户在预设时间内运动轨迹的方法，其特征在于，所述时间窗口包括5分钟时长的时间窗口。
3.一种统计用户在预设时间内运动轨迹的系统，其特征在于，包括有：
采集模块，用于获取多种类型的原始数据流，且每种类型的原始数据流包括有多条原始数据；
数据提取模块，用于从获取的每一条原始数据中提取用户标识、位置标识以及时间戳信息；
时间窗口模块，用于创建时间窗口，并根据一个或多个用户对每条数据进行整合，以及根据时间戳对每条原始数据进行过滤，保留每个用户最新时间的用户标识和位置标识信息；
关联模块，用于将经过时间窗口处理后的每条用户标志和位置结果进行关联；
运动轨迹模块，用于输出关联后的所述一个或多个用户的信息和位置结果，并确定出所述一个或多个用户的运动轨迹。
4.根据权利要求3所述的统计用户在预设时间内运动轨迹的系统，其特征在于，所述时间窗口包括5分钟时长的时间窗口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110317713.0A CN112995915B (zh) | 2021-03-25 | 2021-03-25 | 一种统计用户在预设时间内运动轨迹的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110317713.0A CN112995915B (zh) | 2021-03-25 | 2021-03-25 | 一种统计用户在预设时间内运动轨迹的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112995915A CN112995915A (zh) | 2021-06-18 |
| CN112995915B true CN112995915B (zh) | 2022-05-13 |
Family
ID=76333533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110317713.0A Active CN112995915B (zh) | 2021-03-25 | 2021-03-25 | 一种统计用户在预设时间内运动轨迹的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112995915B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663691B (zh) * | 2022-05-24 | 2022-09-20 | 浙江大华技术股份有限公司 | 一种落脚点定位方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3032780A1 (en) * | 2014-12-12 | 2016-06-15 | Alcatel Lucent | Method and apparatus for transmitting messages to users using trajectory-based clustering |
| CN108255947A (zh) * | 2017-12-13 | 2018-07-06 | 太极计算机股份有限公司 | 刻画人员运动轨迹的方法、装置、移动终端和存储介质 |
| CN111460075A (zh) * | 2020-04-16 | 2020-07-28 | 万翼科技有限公司 | 行为轨迹的确定方法、装置、设备及可读存储介质 |
| CN112328649A (zh) * | 2020-10-09 | 2021-02-05 | 福建亿榕信息技术有限公司 | 一种多轨迹数据相似度的计算方法和存储设备 |
-
2021
- 2021-03-25 CN CN202110317713.0A patent/CN112995915B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3032780A1 (en) * | 2014-12-12 | 2016-06-15 | Alcatel Lucent | Method and apparatus for transmitting messages to users using trajectory-based clustering |
| CN108255947A (zh) * | 2017-12-13 | 2018-07-06 | 太极计算机股份有限公司 | 刻画人员运动轨迹的方法、装置、移动终端和存储介质 |
| CN111460075A (zh) * | 2020-04-16 | 2020-07-28 | 万翼科技有限公司 | 行为轨迹的确定方法、装置、设备及可读存储介质 |
| CN112328649A (zh) * | 2020-10-09 | 2021-02-05 | 福建亿榕信息技术有限公司 | 一种多轨迹数据相似度的计算方法和存储设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于移动信令数据分析的位置服务与基站定位技术的混合应用;李青等;《电信科学》;20170820(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112995915A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016177066A1 (zh) | 一种人员潜在关系分析方法和装置 | |
| WO2020259099A1 (zh) | 一种信息处理方法及装置、存储介质 | |
| CN106709622A (zh) | 数据库分析装置以及数据库分析方法 | |
| CN112995915B (zh) | 一种统计用户在预设时间内运动轨迹的方法及系统 | |
| CN109214345B (zh) | 基于相似度比对查找换牌车辆的行驶轨迹的方法 | |
| CN101510205B (zh) | 实现相片自动聚类的方法、装置及系统 | |
| CN106651027B (zh) | 一种基于社交网络的互联网班车线路优化方法 | |
| CN106255116A (zh) | 一种骚扰号码的识别方法 | |
| CN109284380A (zh) | 基于大数据分析的非法用户识别方法及装置、电子设备 | |
| CN109118766A (zh) | 一种基于交通卡口的同行车辆判别方法及装置 | |
| Winkler | Approximate string comparator search strategies for very large administrative lists | |
| CN103955703A (zh) | 一种基于朴素贝叶斯的医疗影像疾病分类方法 | |
| CN101620677A (zh) | 一种基于三角剖分与lod技术的指纹识别方法 | |
| CN107832333B (zh) | 基于分布式处理和dpi数据构建用户网络数据指纹的方法和系统 | |
| TW202101443A (zh) | 一種資訊處理方法及裝置、儲存介質 | |
| US20110150278A1 (en) | Information processing apparatus, processing method thereof, and non-transitory storage medium | |
| CN106528850A (zh) | 基于机器学习聚类算法的门禁数据异常检测方法 | |
| CN106202403A (zh) | 一种通过动态分析创建数据库索引的方法 | |
| CN106407473B (zh) | 一种基于事件相似性建模的获取事件脉络的方法及其系统 | |
| CN105095436A (zh) | 数据源数据自动建模方法 | |
| CN109815878A (zh) | 基于人脸识别的落脚点分析方法和装置 | |
| CN112434049A (zh) | 表格数据存储方法、装置、存储介质及电子装置 | |
| CN111581304B (zh) | 一种基于社会人口家族关系自动绘制家系图谱的方法 | |
| US8879805B2 (en) | Automated image identification method | |
| CN116401311B (zh) | 一种基于gis的三维可视化数据管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |