CN111435361A - 基于电信数据获取个人迁移轨迹的方法和装置 - Google Patents

基于电信数据获取个人迁移轨迹的方法和装置 Download PDF

Info

Publication number
CN111435361A
CN111435361A CN202010212700.2A CN202010212700A CN111435361A CN 111435361 A CN111435361 A CN 111435361A CN 202010212700 A CN202010212700 A CN 202010212700A CN 111435361 A CN111435361 A CN 111435361A
Authority
CN
China
Prior art keywords
data
personal
telecommunication
migration
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010212700.2A
Other languages
English (en)
Other versions
CN111435361B (zh
Inventor
王洪岭
杨志伟
肖丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Taier Zhixin Technology Co ltd
Original Assignee
Guangzhou Taier Zhixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Taier Zhixin Technology Co ltd filed Critical Guangzhou Taier Zhixin Technology Co ltd
Priority to CN202010212700.2A priority Critical patent/CN111435361B/zh
Publication of CN111435361A publication Critical patent/CN111435361A/zh
Application granted granted Critical
Publication of CN111435361B publication Critical patent/CN111435361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明实施例涉及一种基于电信数据获取个人迁移轨迹的方法和装置，包括的步骤：通过从运营商获取个人的电信数据；采用大数据对电信数据进行预处理，得到处理数据并将处理数据存储至分布式数据库中；采用搜索引擎在分布式数据库中对处理数据进行搜索，得到个人信息数据；通过显示终端对个人信息数据显示出个人迁移轨迹，政府部门能够通过该基于电信数据获取个人迁移轨迹的方法获得的个人迁移轨迹，有利于政府部门的公安人员对于案件的侦破，具有十分重要的实践意义。本申请解决了现有政府部门在了解、掌握各地区中特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性和效率不佳的技术问题。

Description

基于电信数据获取个人迁移轨迹的方法和装置
技术领域
本发明涉及人口分析技术领域，尤其涉及一种基于电信数据获取个人迁移轨迹的方法和装置。
背景技术
随着城市的不断发展以及交通工具的不断升级，个人位置迁移的频率大幅上升，掌握各个地区的人口数量、人口流动趋势等数据，国家定期会开展大规模的人口普查及统计分析工作。现有人口统计通常通过入户调查、各部门上门调研，录入使用结构化数据，对结构化数据进行统计分析，采访调方式查耗费大量人力和资源，容易遗漏且不便于收据整理和分析，而个地区人口数据数量庞大、较为分散难以完整收集和分析，导致现有人口分析的便捷性、准确性和工作效率不佳。
政府各部门因职能不同，采集特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性无法保证，并且针对具体政策制定时，各部门之间的数据互联互通及共享能力较差，从而使得相关部门不能方便快捷地实现对特定对象的追踪、管理，从而更好地保护社会的安全稳定。
发明内容
本发明实施例提供了一种基于电信数据获取个人迁移轨迹的方法和装置，用于解决现有政府部门在了解、掌握各地区中特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性和效率不佳的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于电信数据获取个人迁移轨迹的方法，包括以下步骤：
从运营商获取个人的电信数据；
采用大数据对所述电信数据进行预处理，得到处理数据并将所述处理数据存储至分布式数据库中；
采用搜索引擎在所述分布式数据库中对所述处理数据进行搜索，得到个人信息数据；
通过显示终端对所述个人信息数据显示出个人轨迹。
优选地，所述电信数据包括电信用户的语音通话数据以及流量数据。
优选地，所述语音通话数据包括含字段有用户号、时间戳、基站地理坐标和通话时长；所述流量数据包括含字段有用户号、时间戳、基站地理坐标、上行流量、下行流量和上网时长。
优选地，采用所述大数据的分析处理组件Flink对所述电信数据进行预处理。
优选地，预处理的过程包括数据清洗、一次数据筛选、数据加工和二次数据筛选；
所述数据清洗，用于去除用户号码不全、时间戳位数不全的数据信息，得到清洗后的第一数据；
所述一次数据筛选，用于对所述第一数据进行第一次筛选，得到有效字段；
所述数据加工，用于对所述有效字段根据时间顺序进行排序，得到排序后的第二数据；
所述二次数据筛选，用于对所述第二数据去除同一用户号码在相邻时间重复的数据，筛选后的处理数据；
其中，所述有效字段包括用户号码、时间戳、基站地理坐标。
优选地，所述搜索引擎用于根据用户号、起始时间、终止时间在所述分布数据库中对所述处理数据进行搜索，得到个人信息数据并将所述个人信息数据存储至所述分布式数据库中。
优选地，所述显示终端显示个人迁移轨迹的步骤包括：
对所述个人信息数据中的基站地理坐标转化为经纬度坐标；
将所述经纬度坐标按照时间顺序依次显示在地图上，得到个人迁移轨迹。
优选地，采用Logstash组件从所述运营商获取个人的电信数据。
本发明还提供一种基于电信数据获取个人迁移轨迹的装置，包括：
获取数据模块，用于从运营商获取个人的电信数据；
数据处理模块，用于采用大数据对所述电信数据进行预处理，得到处理数据并将处理数据存储至分布式数据库中；
查询模块，用于采用搜索引擎在所述分布式数据库中对所述处理数据进行搜索，得到个人信息数据；
显示模块，用于通过显示终端对所述个人信息数据显示出个人轨迹；
其中，所述电信数据包括电信用户的语音通话数据以及流量数据。
优选地，所述获取数据模块采用Logstash从所述运营商获取个人的电信数据；
所述数据处理模块采用所述大数据的分析处理组件Flink对所述电信数据进行预处理；
所述查询模块根据用户号、起始时间、终止时间在所述分布式数据库对所述处理数据进行检索，得到个人信息数据得到个人信息数据并将所述个人信息数据存储至所述分布式数据库中；
所述数据处理模块包括数据清洗、一次数据筛选、数据加工和二次数据筛选；
所述数据清洗，用于去除用户号码不全、时间戳位数不全的数据信息，得到清洗后的第一数据；
所述一次数据筛选，用于对所述第一数据进行第一次筛选，得到有效字段；
所述数据加工，用于对所述有效字段根据时间顺序进行排序，得到排序后的第二数据；
所述二次数据筛选，用于对所述第二数据去除同一用户号码在相邻时间重复的数据，筛选后的处理数据；
其中，所述有效字段包括用户号码、时间戳、基站地理坐标。
从以上技术方案可以看出，本发明实施例具有以下优点：
1.该基于电信数据获取个人迁移轨迹的方法通过从运营商获取个人的电信数据；采用大数据对电信数据进行预处理，得到处理数据并将处理数据存储至分布式数据库中；采用搜索引擎在分布式数据库中对处理数据进行搜索，得到个人信息数据；通过显示终端对个人信息数据显示出个人迁移轨迹，政府部门能够通过该基于电信数据获取个人迁移轨迹的方法获得的个人迁移轨迹，有利于政府部门的公安人员对于案件的侦破，具有十分重要的实践意义。解决了现有政府部门在了解、掌握各地区中特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性和效率不佳的技术问题；
2.该基于电信数据获取个人迁移轨迹的装置通过获取数据模块、数据处理模块、查询模块获得个人迁移轨迹信息，采用显示模块显示个人迁移轨迹。政府部门能够通过该基于电信数据获取个人迁移轨迹的装置获得的个人迁移轨迹，有利于政府部门的公安人员对于案件的侦破，具有十分重要的实践意义。解决了现有政府部门在了解、掌握各地区中特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性和效率不佳的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例所述的基于电信数据获取个人迁移轨迹的方法的步骤流程图。
图2为本发明实施例所述的基于电信数据获取个人迁移轨迹的方法中显示个人迁移轨迹的步骤流程图。
图3为本发明实施例所述的基于电信数据获取个人迁移轨迹的装置的框架图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
通信技术的进步为人们的信息交流提供了极大的便利，但通信数据除了为用户提供查询服务以及为运营商提供一定的用户使用情况外并没有得到充分的利用，通信数据的各字段信息并没有被充分挖掘；利用运营商提供的通信数据，可以为相关部门提供特定对象的个人迁移轨迹情况，使相关部门可以更方便快捷地实现对特定对象的追踪、管理，从而更好地保护社会的安全稳定。
在信息化的时代，电信数据与每个人的生活息息相关，手机的通话、上网均能在运营商服务器上生成相关记录。具体来说，运营商拥有的电信数据文件包括用户通话日志文件和用户上网日志文件等，通话和用户日志文件均包含用户号码、时间戳、基站地理位置等信息。
因此，本申请实施例提供了一种基于电信数据获取个人迁移轨迹的方法和装置，能够采用电信数据作为数据源，利用大数据进行数据预处理，并将处理后的处理数据存储到分布式数据库中，并利用搜索引擎在分布式数据库中进行搜索能够实时的筛选个人轨迹迁移信息，并传送至显示终端显示或调用显示，用于解决现有政府部门在了解、掌握各地区中特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性和效率不佳的技术问题。
实施例一：
图1为本发明实施例所述的基于电信数据获取个人迁移轨迹的方法的步骤流程图。
如图1所示，本发明实施例提供了一种基于电信数据获取个人迁移轨迹的方法，包括以下步骤：
S1.从运营商获取个人的电信数据；
S2.采用大数据对电信数据进行预处理，得到处理数据并将处理数据存储至分布式数据库中；
S3.采用搜索引擎在分布式数据库中对出处理数据进行搜索，得到个人信息数据；
S4.通过显示终端对个人信息数据显示出个人轨迹。
在本发明实施例的步骤S1中，电信数据包括电信用户的语音通话数据以及流量数据。语音通话数据包括含字段有用户号、时间戳、基站地理坐标和通话时长。流量数据包括含字段有用户号、时间戳、基站地理坐标、上行流量、下行流量和上网时长。
需要说明的是，运行商是指而中国联通、中国电信、中国移动、中国广电等。时间戳的单位为年月日时分秒毫秒。通话时长的统计单位为秒。
在本发明实施例的步骤S2中，采用大数据的分析处理组件Flink对电信数据进行清洗、加工、筛选的预处理，得到处理数据并将处理数据存储至分布式数据库。
需要说明的是，分布式数据库库通常是指使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。在本实施例中，分布式数据库优先选用为Elasticsearch。对电信数据进行预处理主要是为了将个人的电信数据中无效数据去除，得到个人的电信数据中有效数据。其中，无效数据是指电信数据中用户号的号码不全、时间戳的位数不全等数据，有效数据包括有效字段。
在本发明实施例的步骤S3中，采用搜索引擎根据个人用户号、起始时间、终止时间在分布式数据库中对处理数据进行搜索，得到个人信息数据并存储。主要是将个人的电信数据中搜索出在起始时间与终止时间之间时间段内个人的基站地理坐标。
需要说明的是，搜索引擎是指根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术；搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。
在本发明的实施例的步骤S4中，根据搜索出的个人信息数据在显示终端显示，从而得到个人的迁移轨迹。
需要说明的是，显示终端可以为手机、电脑、iPad、投影仪等终端设备。
本发明提供的一种基于电信数据获取个人迁移轨迹的方法通过从运营商获取个人的电信数据；采用大数据对电信数据进行预处理，得到处理数据并将处理数据存储至分布式数据库中；采用搜索引擎在分布式数据库中对处理数据进行搜索，得到个人信息数据；通过显示终端对个人信息数据显示出个人迁移轨迹，政府部门能够通过该基于电信数据获取个人迁移轨迹的方法获得的个人迁移轨迹，有利于政府部门的公安人员对于案件的侦破，具有十分重要的实践意义。解决了现有政府部门在了解、掌握各地区中特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性和效率不佳的技术问题。
本发明的一个实施例中，采用Logstash组件从运营商获取个人的电信数据。
需要说明的是，Logstash组件可以实现对运营商的不同服务器内获取个人的语音通话数据和流量数据，使得获得的个人电信数据齐全，为获取个人轨迹的准确性提供保证。
本发明的一个实施例的中，预处理的过程包括数据清洗、一次数据筛选、数据加工和二次数据筛选；
数据清洗主要用于去除用户号码不全、时间戳位数不全的数据信息，得到清洗后的第一数据；
一次数据筛选主要用于对第一数据进行第一次筛选，得到有效字段；
数据加工主要用于对有效字段根据时间顺序进行排序，得到排序后的第二数据；
二次数据筛选主要用于对第二数据去除同一用户号码在相邻时间重复的数据，筛选后的处理数据；
其中，有效字段包括用户号码、时间戳、基站地理坐标。
需要说明的是，有效字段是指能够实现个人迁移轨迹的有用数据，如全字段为：用户手机号+时间戳+地理位置坐标+上行流量+下行流量。其中结合用户手机号、时间戳、地理位置坐标，可以实现个人在某个时间范围内地理位置坐标的迁移，而上行流量、下行流量信息在个人轨迹迁移功能实现中没有起到作用，故称用户手机号+时间戳+地理位置坐标为有效字段，上行流量+下行流量称为无效字段。在本实施例中，预处理的过程主要是为了获取个人电信数据中有效字段，为后续步骤搜索提供便利，也是为了获取个人迁移轨迹数据准确性提供保证。
图2为本发明实施例所述的基于电信数据获取个人迁移轨迹的方法中显示个人迁移轨迹的步骤流程图。
如图2所示，在本发明的一个实施例中，显示终端显示个人迁移轨迹的步骤包括；
S41.对个人信息数据中的基站地理坐标转化为经纬度坐标；
S42.将经纬度坐标按照时间顺序依次显示在地图上，得到个人迁移轨迹。
需要说明的是，显示终端能够将该基于电信数据获取个人迁移轨迹的方法将从运营商中搜索个人信息数据的基站地理坐标进行转换，转换为地图经纬度并在地图上显示，便于查看个人迁移轨迹。
实施例二：
图3为本发明实施例所述的基于电信数据获取个人迁移轨迹的装置的框架图。
如图3所示，本发明实施例还提供了一种基于电信数据获取个人迁移轨迹的装置，包括：
获取数据模块10，用于从运营商获取个人的电信数据；
数据处理模块20，用于采用大数据对电信数据进行预处理，得到处理数据并将处理数据存储至分布式数据库中；
查询模块30，用于采用搜索引擎在分布式数据库中对处理数据进行搜索，得到个人信息数据；
显示模块40，用于通过显示终端对个人信息数据显示出个人轨迹；
其中，电信数据包括电信用户的语音通话数据以及流量数据。
需要说明的是，电信数据包括电信用户的语音通话数据以及流量数据。语音通话数据包括含字段有用户号、时间戳、基站地理坐标和通话时长。流量数据包括含字段有用户号、时间戳、基站地理坐标、上行流量、下行流量和上网时长。分布式数据库优先选用为Elasticsearch。对电信数据进行预处理主要是为了将个人的电信数据中无效数据去除，得到个人的电信数据中有效数据。显示终端可以为手机、电脑、iPad、投影仪等终端设备；显示终端能够将该基于电信数据获取个人迁移轨迹的方法将从运营商中搜索个人信息数据的基站地理坐标进行转换，转换为地图经纬度并在地图上显示，便于查看个人迁移轨迹。
在本实施例中，获取数据模块10采用Logstash从运营商获取个人的电信数据；
数据处理模块20采用大数据的分析处理组件Flink对电信数据进行预处理；
查询模块30根据用户号、起始时间、终止时间在分布式数据库对处理数据进行检索，得到个人信息数据得到个人信息数据并将个人信息数据存储至分布式数据库中；
数据处理模块20包括数据清洗、一次数据筛选、数据加工和二次数据筛选；
数据清洗主要用于去除用户号码不全、时间戳位数不全的数据信息，得到清洗后的第一数据；
一次数据筛选主要用于对第一数据进行第一次筛选，得到有效字段；
数据加工主要用于对有效字段根据时间顺序进行排序，得到排序后的第二数据；
二次数据筛选主要用于对第二数据去除同一用户号码在相邻时间重复的数据，筛选后的处理数据；
其中，有效字段包括用户号码、时间戳、基站地理坐标。
需要说明的是，Logstash组件可以实现对运营商的不同服务器内获取个人的语音通话数据和流量数据，使得获得的个人电信数据齐全，为获取个人轨迹的准确性提供保证。有效字段是指能够实现个人迁移轨迹的有用数据，如全字段为：用户手机号+时间戳+地理位置坐标+上行流量+下行流量。其中结合用户手机号、时间戳、地理位置坐标，可以实现个人在某个时间范围内地理位置坐标的迁移，而上行流量、下行流量信息在个人轨迹迁移功能实现中没有起到作用，故称用户手机号+时间戳+地理位置坐标为有效字段，上行流量+下行流量称为无效字段。在本实施例中，数据处理模块20主要是为了获取个人电信数据中有效字段，为后续步骤搜索提供便利，也是为了获取个人迁移轨迹数据准确性提供保证。
本发明提供的一种基于电信数据获取个人迁移轨迹的装置通过获取数据模块、数据处理模块、查询模块获得个人迁移轨迹信息，采用显示模块显示个人迁移轨迹。政府部门能够通过该基于电信数据获取个人迁移轨迹的装置获得的个人迁移轨迹，有利于政府部门的公安人员对于案件的侦破，具有十分重要的实践意义。解决了现有政府部门在了解、掌握各地区中特定对象的个人迁移轨迹，需要消耗大量的时间精力和财力物力，且准确性和效率不佳的技术问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于电信数据获取个人迁移轨迹的方法，其特征在于，包括以下步骤：
从运营商获取个人的电信数据；
采用大数据对所述电信数据进行预处理，得到处理数据并将所述处理数据存储至分布式数据库中；
采用搜索引擎在所述分布式数据库中对所述处理数据进行搜索，得到个人信息数据；
通过显示终端对所述个人信息数据显示出个人轨迹。
2.根据权利要求1所述的基于电信数据获取个人迁移轨迹的方法，其特征在于，所述电信数据包括电信用户的语音通话数据以及流量数据。
3.根据权利要求2所述的基于电信数据获取个人迁移轨迹的方法，其特征在于，所述语音通话数据包括含字段有用户号、时间戳、基站地理坐标和通话时长；所述流量数据包括含字段有用户号、时间戳、基站地理坐标、上行流量、下行流量和上网时长。
4.根据权利要求1所述的基于电信数据获取个人迁移轨迹的方法，其特征在于，采用所述大数据的分析处理组件Flink对所述电信数据进行预处理。
5.根据权利要求1所述的基于电信数据获取个人迁移轨迹的方法，其特征在于，预处理的过程包括数据清洗、一次数据筛选、数据加工和二次数据筛选；
所述数据清洗，用于去除用户号码不全、时间戳位数不全的数据信息，得到清洗后的第一数据；
所述一次数据筛选，用于对所述第一数据进行第一次筛选，得到有效字段；
所述数据加工，用于对所述有效字段根据时间顺序进行排序，得到排序后的第二数据；
所述二次数据筛选，用于对所述第二数据去除同一用户号码在相邻时间重复的数据，筛选后的处理数据；
其中，所述有效字段包括用户号码、时间戳、基站地理坐标。
6.根据权利要求1所述的基于电信数据获取个人迁移轨迹的方法，其特征在于，所述搜索引擎用于根据用户号、起始时间、终止时间在所述分布数据库中对所述处理数据进行搜索，得到个人信息数据并将所述个人信息数据存储至所述分布式数据库中。
7.根据权利要求1所述的基于电信数据获取个人迁移轨迹的方法，其特征在于，所述显示终端显示个人迁移轨迹的步骤包括：
对所述个人信息数据中的基站地理坐标转化为经纬度坐标；
将所述经纬度坐标按照时间顺序依次显示在地图上，得到个人迁移轨迹。
8.根据权利要求1所述的基于电信数据获取个人迁移轨迹的方法，其特征在于，采用Logstash组件从所述运营商获取个人的电信数据。
9.一种基于电信数据获取个人迁移轨迹的装置，其特征在于，包括：
获取数据模块，用于从运营商获取个人的电信数据；
数据处理模块，用于采用大数据对所述电信数据进行预处理，得到处理数据并将处理数据存储至分布式数据库中；
查询模块，用于采用搜索引擎在所述分布式数据库中对所述处理数据进行搜索，得到个人信息数据；
显示模块，用于通过显示终端对所述个人信息数据显示出个人轨迹；
其中，所述电信数据包括电信用户的语音通话数据以及流量数据。
10.根据权利要求9所述的基于电信数据获取个人迁移轨迹的装置，其特征在于，其特征在于，所述获取数据模块采用Logstash从所述运营商获取个人的电信数据；
所述数据处理模块采用所述大数据的分析处理组件Flink对所述电信数据进行预处理；
所述查询模块根据用户号、起始时间、终止时间在所述分布式数据库对所述处理数据进行检索，得到个人信息数据得到个人信息数据并将所述个人信息数据存储至所述分布式数据库中；
所述数据处理模块包括数据清洗、一次数据筛选、数据加工和二次数据筛选；
所述数据清洗，用于去除用户号码不全、时间戳位数不全的数据信息，得到清洗后的第一数据；
所述一次数据筛选，用于对所述第一数据进行第一次筛选，得到有效字段；
所述数据加工，用于对所述有效字段根据时间顺序进行排序，得到排序后的第二数据；
所述二次数据筛选，用于对所述第二数据去除同一用户号码在相邻时间重复的数据，筛选后的处理数据；
其中，所述有效字段包括用户号码、时间戳、基站地理坐标。
CN202010212700.2A 2020-03-24 2020-03-24 基于电信数据获取个人迁移轨迹的方法和装置 Active CN111435361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010212700.2A CN111435361B (zh) 2020-03-24 2020-03-24 基于电信数据获取个人迁移轨迹的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010212700.2A CN111435361B (zh) 2020-03-24 2020-03-24 基于电信数据获取个人迁移轨迹的方法和装置

Publications (2)

Publication Number Publication Date
CN111435361A true CN111435361A (zh) 2020-07-21
CN111435361B CN111435361B (zh) 2023-11-03

Family

ID=71580204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010212700.2A Active CN111435361B (zh) 2020-03-24 2020-03-24 基于电信数据获取个人迁移轨迹的方法和装置

Country Status (1)

Country Link
CN (1) CN111435361B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004202227A (ja) * 2002-12-20 2004-07-22 Koninkl Philips Electronics Nv スピーチ認識制御を用いる超音波システム用の単純化された機械的ユーザインタフェース
US20080306937A1 (en) * 2007-06-11 2008-12-11 Microsoft Corporation Using search trails to provide enhanced search interaction
US20090259632A1 (en) * 2008-04-15 2009-10-15 Yahoo! Inc. System and method for trail identification with search results
CN102789508A (zh) * 2012-07-27 2012-11-21 吴建辉 基于地理位置的分布式实况搜索引擎及聊天系统
CN104717743A (zh) * 2013-12-16 2015-06-17 蓝燕君 基于信令分析的移动终端追踪方法及系统
CN105006031A (zh) * 2015-06-18 2015-10-28 深圳市润安科技发展有限公司 监管人员活动轨迹查询方法和监管人员活动轨迹查询系统
US20180046398A1 (en) * 2016-08-12 2018-02-15 Google Inc. Repartitioning data in a distributed computing system
US20180188053A1 (en) * 2017-01-04 2018-07-05 International Business Machines Corporation Route generation based on aggregated path data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004202227A (ja) * 2002-12-20 2004-07-22 Koninkl Philips Electronics Nv スピーチ認識制御を用いる超音波システム用の単純化された機械的ユーザインタフェース
US20080306937A1 (en) * 2007-06-11 2008-12-11 Microsoft Corporation Using search trails to provide enhanced search interaction
US20090259632A1 (en) * 2008-04-15 2009-10-15 Yahoo! Inc. System and method for trail identification with search results
CN102789508A (zh) * 2012-07-27 2012-11-21 吴建辉 基于地理位置的分布式实况搜索引擎及聊天系统
CN104717743A (zh) * 2013-12-16 2015-06-17 蓝燕君 基于信令分析的移动终端追踪方法及系统
CN105006031A (zh) * 2015-06-18 2015-10-28 深圳市润安科技发展有限公司 监管人员活动轨迹查询方法和监管人员活动轨迹查询系统
US20180046398A1 (en) * 2016-08-12 2018-02-15 Google Inc. Repartitioning data in a distributed computing system
US20180188053A1 (en) * 2017-01-04 2018-07-05 International Business Machines Corporation Route generation based on aggregated path data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《中国公路学报》编辑部: "中国汽车工程学术研究综述", 《中国公路学报》, vol. 30, no. 6, pages 1 - 197 *

Also Published As

Publication number Publication date
CN111435361B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US20200350984A1 (en) Geographic information system integrated satellite management system
CN105205155B (zh) 一种大数据犯罪同伙的筛查系统和方法
CN106250424B (zh) 一种日志上下文内容的搜索方法、装置及系统
CN111177222B (zh) 模型测试方法、装置及计算设备、存储介质
Catanese et al. Forensic analysis of phone call networks
CN111191853B (zh) 风险预测方法及装置、风险查询方法及装置
CN111400376B (zh) 基于电信数据建设人口分析平台的方法和装置
CN109087132B (zh) 一种基于知识图谱的用户问题推送方法及装置
US20140114958A1 (en) Method and system for calculating number of users
CN112417274A (zh) 一种消息推送方法、装置、电子设备及存储介质
Catanese et al. A visual tool for forensic analysis of mobile phone traffic
CN112445870B (zh) 基于手机取证电子数据的知识图谱串并案分析方法
CN110765025A (zh) 测试方法、装置、计算机设备及存储介质
Martínez-Durive et al. The netmob23 dataset: A high-resolution multi-region service-level mobile data traffic cartography
TWI757638B (zh) 使用者位置確定方法、裝置、設備及電腦可讀儲存媒體
CN2796257Y (zh) 一种校园网络管理系统
CN111435361B (zh) 基于电信数据获取个人迁移轨迹的方法和装置
Benkhelifa et al. Framework for mobile devices analysis
CN102547678B (zh) 一种携号转网短消息日志获取存储方法、系统及装置
Girardin et al. Uncovering the presence and movements of tourists from user-generated content
CN114780612B (zh) 一种基于主题事件的时间关联挖掘目标人员的系统及方法
Ćamilović et al. A call detail records data mart: Data modeling and OLAP analysis
CN109377031A (zh) 一种老人陪护设备后台管理系统
CN110062409A (zh) 一种基于移动通信网络栅格化的终端性能评估方法
CN115423361A (zh) 风险视图的数据处理方法、装置、存储介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant