CN114996598B - 一种基于通信大数据的时空关联分析方法、装置及设备 - Google Patents
一种基于通信大数据的时空关联分析方法、装置及设备 Download PDFInfo
- Publication number
- CN114996598B CN114996598B CN202210913511.7A CN202210913511A CN114996598B CN 114996598 B CN114996598 B CN 114996598B CN 202210913511 A CN202210913511 A CN 202210913511A CN 114996598 B CN114996598 B CN 114996598B
- Authority
- CN
- China
- Prior art keywords
- time
- space
- grid
- mobile phone
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种基于通信大数据的时空关联分析方法、装置及设备,包括城市网格划分;时间区间划分;构建手机信令数据模型;构建时空轨迹数据模型;构建分布式数据库;实时手机信令流数据插值与入库;查询指定人员在指定时间范围内的活动过的时空轨迹与空间网格;并行查询一个空间网格中的信令到内存;计算空间网格中在内存中人员集合的时间轨迹;判断空间网格中的一条时间轨迹与指定人员的时间轨迹是否具有关联关系;对内存中人员集合的时间轨迹分块,直到寻找出所有的时空关联人员,能够实现千万级手机信令数据秒级入库,快速检索出指定人员的时空关联人员。
Description
技术领域
本发明属于移动对象数据处理领域,尤其涉及一种基于通信大数据的时空关联分析方法、装置及设备。
背景技术
随着移动通信技术、智能手机和导航定位技术的发展与普及,高密度的通讯基站产生了海量、高频的手机信令数据。信令数据由手机号、时间戳和经纬度构成,隐含了每个手机使用者的时空轨迹。快速普及的移动设备、不断升级的通信技术和定位技术,极大地扩展了移动轨迹数据的来源,为时空关联分析、轨迹数据挖掘提供了重要的有利基础。
在这些大规模通信数据的积累下,有关时空关联分析、轨迹数据挖掘拥有巨大市场。依赖时空关联分析技术,一系列应用利用人类的迁徙或活动规律、车辆、动物、大气环境等的移动特征投入运用到诸多领域,如社交网络、交通管理、科学研究等。然而,目前尚未有高效的、快速的利用通信大数据进行时空关联分析的方法,已有部分研究通过计算两条轨迹的相似性来比较两条轨迹的实体对象是否具有关联,这些方法时间和空间复杂度较大,无法在直接用于通信大数据的时空关联分析问题。这主要是由于千万级人口的特大城市在5秒采样间隔下,多天累计的信令数据规模超万亿级。在这种大数据规模下,进行时空轨迹关联分析是一个极其耗时且复杂的工作。
发明内容
本发明提供了一种基于通信大数据的时空关联分析方法、装置及设备,能够实现千万级手机信令数据秒级入库,能够快速从特大城市的万亿级信令数据中检索出与指定人员的有时间关联的人员。
本发明通过以下技术方案实现的:
一种基于通信大数据的时空关联分析方法,包括以下步骤:
步骤3、构建面向人员活动轨迹快速查找的手机信令数据模型,手机信令数据模型中包括多个手机信令数据,所有的手机信令数据按时间节点分开组织;
步骤4、构建面向快速时空关联分析的时空轨迹数据模型,时空轨迹数据模型包括多个时空轨迹点,所有的时空轨迹点按时间节点分开组织,按所述步骤1和2划分的空间网格和时间区间,每一时间节点的手机信令数据生成的时空轨迹点被组织为一系列时空单元的集合;
步骤5、对所述步骤3中的手机信令数据模型和步骤4中的时空轨迹数据模型构建分布式数据库,并对手机信令数据和时空轨迹点分别建立索引结构;
步骤6、实时手机信令流数据插值与入库;
其中,IMSI为国际移动用户识别码,TIME为UNIX时间戳,LONGITUDE为经度,LATITUDE为纬度,int64代表64位整型,double代表双精度浮点型;
其中,GRID_IX为空间网格编码,string代表字符串类型;
进一步地,在步骤5中,将步骤3中的手机信令数据模型和步骤4中的时空轨迹数据模型转换为适应于指定分布式数据库的逻辑模型Schema,基于Schema构建分布式数据库,并对步骤3中的IMSI字段和步骤4中的GRID_IX字段分别建立索引结构。
进一步地,在步骤6中,设手机产生通讯过程中手机信令数据平均采样间隔为,
手机没有产生通讯过程中信令数据平均采样间隔为,,对来自移动电话基站
的手机信令流数据,在内存中分时间段缓存,由于采集的信令数据时间间隔并不完全
一致,因此时间段内存在部分人的信令数据过少,对这些人的信令数据进行插值,若一
个人在时间段内O域数据个数小于,则对该人在时间段内O域数据进行时间插值,
使其个数等于,之后,计算每个所属的空间网格和时间区间的编码,计算每个对应的,将这些与在内存中分别
按和时空单元组织,每间隔时间,将其并行插入到步骤5中的分布式数据库中。
其中,GRID_IX为空间网格编码;
进一步地,在步骤10中,计算空间网格中与有交集的时空单元中所有人员
的时间轨迹:根据所述步骤9中的IMSI和TIME字段值,该空间网格与有交集的时空单元
中的人员数量为,中每个人员的时间轨迹为该人员在内存中所有的TIME字段
值的升序集合。
进一步地,在步骤11中,判断步骤10中的一条时间轨迹与人员a的时间轨迹是否具
有关联关系:设人员a的时间轨迹为,待判断的时间轨迹为,基于微分时间,对两条时
间轨迹求交,若相交时间大于且任意一条时间轨迹的时间长度大于,则对应的人员
为时空关联人员,计算公式为:
一种基于通信大数据的时空关联分析装置,包括:
手机信令数据模型构建模块,用于构建面向人员活动轨迹快速查找的手机信令数据模型,手机信令数据模型中包括多个手机信令数据,所有的手机信令数据按时间节点分开组织;
时空轨迹数据模型构建模块,用于构建面向快速时空关联分析的时空轨迹数据模型,时空轨迹数据模型包括多个时空轨迹点,所有的时空轨迹点按时间节点分开组织,按划分的空间网格和划分的时间区间,每一时间节点的手机信令数据生成的时空轨迹点被组织为一系列时空单元的集合;
数据库模块,用于对手机信令数据模型和时空轨迹数据模型构建分布式数据库,并对手机信令数据和时空轨迹点分别建立索引结构:
手机信令流数据插值与入库模块,用于实时手机信令流数据插值与入库;
一种电子设备,包括分布式存储器、处理器以及在存储器中并可在处理器中运行的计算机程序,所述处理器执行计算机程序时实现所述的基于通信大数据的时空关联分析方法的步骤。
与现有技术相比,本发明的优点和有益效果如下:
本发明针对目前尚未提出有效的方法用于从海量的手机信令数据中挖掘出指定人员的时空关联人员,提出一种基于通信大数据的时空关联分析方法、装置及设备,能够实现指定人员的所有时空关联人员的快速计算,能够千万级手机信令数据秒级入库,可一小时内从千万级人口特大城市的万亿级信令数据中高效查找出指定人员的所有时空关联人员。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1是本发明实施例提供的一种基于通信大数据的时空关联分析方法的流程图;
图2是本发明实施例提供的一种基于通信大数据的时空关联分析装置的结构示意图;
图3是本发明的实施例提供的基于通信大数据的时空关联分析方法与装置的分析的部分时空关联人员的轨迹示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
第一方面,本发明提供一种基于通信大数据的时空关联分析方法,包括以下步骤:
步骤3、构建面向人员活动轨迹快速查找的手机信令数据模型,手机信令数据模型中包括多个手机信令数据,所有的手机信令数据按时间节点分开组织:
步骤4、构建面向快速时空关联分析的时空轨迹数据模型,时空轨迹数据模型包括多个时空轨迹点,所有的时空轨迹点按时间节点分开组织,按所述步骤1和2划分的空间网格和时间区间,每一时间节点的手机信令数据生成的时空轨迹点被组织为一系列时空单元的集合;
步骤5、对所述步骤3中的手机信令数据模型和步骤4中的时空轨迹数据模型构建分布式数据库,并对手机信令数据和时空轨迹点分别建立索引结构;
通过步骤5构建的分布式数据库用于存储海量的信令数据与轨迹点数据,且有利于人员轨迹的快速回溯、手机信令数据与时空轨迹数据的快速时空检索。
步骤6、实时手机信令流数据插值与入库;
通过步骤6在手机信令流式数据入库过程中进行插值,有利于后续步骤的快速计算。
通过步骤7能够滤除与人员a无关的数据,大幅度减轻了后续步骤的计算量。
通过步骤8进一步缩小了后续步骤的数据量与计算量。
通过步骤9将与人员a轨迹有交集的时空单元的数据导入到内存,便于快速地执行后续步骤。
通过步骤12能够快速查找出人员a在一个空间网格中的所有时空关联人员。
通过步骤13能够快速中查找出人员a的所有时空关联人员。
本发明针对目前尚未提出有效的方法用于从海量的手机信令数据中挖掘出指定人员的时空关联人员。本发明提出一种基于通信大数据的时空关联分析方法、装置及设备,实现了指定人员的时空关联人员的快速分析。
本发明设计的基于通信大数据的时空关联分析方法、装置及设备,实现了千万级手机信令数据秒级入库,可一小时内从千万级人口特大城市的万亿级信令数据中高效查找出指定人员的时空关联人员。
所述步骤1中,时空关联人员要求的空间网格分辨率通常为800×800米。空间网
格划分方法通常采用正四边形均匀网格划分,也可选用正六边形、正三边形空间划分。编码
方法可以采用行列号编码、Geohash、Google S2、Uber H3等方式。
在本发明实施例中,在步骤3和步骤4中,时间节点为天。
其中,IMSI为国际移动用户识别码,TIME为UNIX时间戳,LONGITUDE为经度,LATITUDE为纬度,int64代表64位整型,double代表双精度浮点型;
其中,其中,GRID_IX为空间网格编码,string代表字符串类型;
在步骤5中,基于数据模型,建立分布式数据库,将步骤3中的手机信令数据模型和步骤4中的时空轨迹数据模型转换为适应于指定分布式数据库的逻辑模型Schema,基于Schema构建分布式数据库,并对所述步骤3中的IMSI字段和所述步骤4中的GRID_IX字段分别建立索引结构。
所述步骤5中,分布式数据库通常为HBase、Mongodb、Cassandra、OceanBase等NoSQL数据库,也可以为Google Spanner、CockroachDB、Couchbase、TiDB等NewSQL数据库。
所述步骤5中,将步骤3中的手机信令数据模型和步骤4中的时空轨迹数据模型转
换为适应于指定分布式数据库的Schema,具体为:针对指定的数据库特性,将步骤3中的手
机信令数据模型和步骤4中的时空轨迹数据模型转化为易于快速插入、检索的该数据库的
逻辑模式。如,若选用文档类型NoSQL,和可以文档(Document)存储,和可
以集合(Collection)存储;若选用宽列类型数据库,和以行存储,和可以
表存储。
所述步骤5中,索引结构可以选用B-tree、Hash-tree、HBase的Rowkey等结构。
在步骤6中,设手机产生通讯过程中手机信令数据平均采样间隔为,手机没有产
生通讯过程中信令数据平均采样间隔为,,对来自移动电话基站的手机信令
流数据,在内存中分时间段缓存,由于采集的信令数据时间间隔并不完全一致,因此时间段内存在部分人的信令数据过少,对这些人的信令数据进行插值,若一个人在
时间段内O域数据个数小于,则对该人在时间段内O域数据进行时间插值,使其个数
等于,之后,计算每个所属的空间网格和时间区间的编码,计算每个对应的,将这些与在内存中分别
按和时空单元组织,每间隔时间,将其并行插入到步骤5中的分布式数据库中。
具体为:采用OpenMP、POSIX THreads等多线程并行方式,或采用MPI、Hadoop、
Spark等多进程并行方式,将某一时间段内的所有和划分为指定的线程数
或进程数,并行将这些数据插入到分布式数据库中。
其中,GRID_IX为空间网格编码;
所述步骤7中,指定的时间范围通常为时空关联人员要求的时间范围,可为14天。
在步骤8中、剔除人员a短暂停留的空间网格:手机信令数据的时间分辨率为秒级,城市范围的所有信令数据可5秒内完成采集与汇聚。
步骤9,并行查询一个空间网格中与有交集的时空单元中的轨迹点数据到内
存:空间网格中所有的为,从所述步骤5中的分
布式数据库查询构成空间网格的个时空单元中的个与有交集的时空单元,采
用并行方式将个时空单元中的所有TRACKPOINTS数组中的所有IMSI和TIME字段值读取
到内存中。
所述步骤9中,并行将时空单元读取到内存,具体为:采用OpenMP、POSIX THreads
等多线程并行方式,或采用MPI、Hadoop、Spark等多进程并行方式,将个时空单元划分
为指定的线程数或进程数,并行将这些时空单元中的TIME和IMSI字段值读取到内存中以
key-value形式存储。
在步骤10中,计算空间网格中与有交集的时空单元中所有人员的时间轨
迹:根据所述步骤9中的IMSI和TIME字段值,该空间网格与有交集的时空单元中的人员
数量为,中每个人员的时间轨迹为该人员在内存中所有的TIME字段值的升
序集合;
步骤11,判断步骤10中的一条时间轨迹与人员a的时间轨迹是否具有关联关系:设
人员a的时间轨迹为,待判断的时间轨迹为,基于微分时间,对两条时间轨迹求交,
若相交时间大于且任意一条时间轨迹的时间长度大于,则对应的人员为时空关联
人员,计算公式为:
所述步骤11中,人员a或待判断者在该网格内累计停留时长通常为30小时,card(.)函数用于计算一个集合的元素。
在本发明的一个实施例中。
在步骤3中,建立分布式手机信令数据库:以文档型非关系型数据库NoSQL为例,构建分布式数据库,该数据库主要存储所有手机信令数据和基于信令数据生成的人员时空轨迹点两部分;
对于所有手机信令数据的存储,具体的,将单条手机信令数据组织
其中,IMSI为国际移动用户识别码,TIME为UNIX时间戳,LONGITUDE为经度,LATITUDE为纬度,int64代表64位整型,double代表双精度浮点型;
组织为:
其中,GRID_IX为空间网格编码,string代表字符串类型;
分别对存时空单元的GRID_IX字段和手机信令数据的IMSI字段建立索引结构,便于后续的快速数据查询;
在步骤4中,手机信令流数据实时入库:对来自武汉市移动电话基站的手机信令流
数据,计算每个所属的空间网格和时间区间的编码,计算每个对应的,将这些和在内存中分别按步骤3中的和
时空单元组织,每间隔秒时间,采用OpenMP并行方式,将该时间段内的所有和划分为指定的线程数,并行将这些数据插入到所述步骤5中所述的分布式数据库
中;
在步骤5中,查询人员a在指定时间范围内的时空轨迹和活动过的空间网格:查
询人员a在指定时间范围内的活动过的空间网格,具体的:已知人员a的IMSI为pid,在指定
的时间范围内,利用所述步骤5的分布式数据库快速寻找出人员a的时空轨迹,人员a活
动过的空间网格编码集合为;
其中,GRID_IX为空间网格编码;
在步骤7中,并行查询一个空间网格中与有交集的时空单元中的数据到内存:
并行查询中的一个空间网格中在14天内与有交集的时空单元中所有的数据到内存,从所述步骤3中的分布式数据库查询构成空间网格的
17280个时空单元document中的与有交集的455个时空单元,采用并行方式将455个时空
单元document中的所有TRACKPOINTS数组中的所有IMSI和TIME字段值读取到内存中;
在步骤8中,计算空间网格中与有交集的时空单元中所有人员的时间轨
迹:根据步骤7中的IMSI和TIME字段值,设中与有交集的时空单元中的IMSI集合为
,则的人员数量为,中每个人员的时间轨迹为该人员在中所有的TIME字
段值的升序集合;
具体的,两条时间轨迹是否有时空关联关系的方法为:设人员a的时间轨迹为,
待判断的时间轨迹为,基于微分时间,对两条时间轨迹求交,若相交时间大于10分钟且
任意一条时间轨迹的时间长度大于,则对应的人员为时空关联人员,即:
如图3所示,本申请的提供的一种基于通信大数据的时空关联分析方法,实现了千万级手机信令数据秒级入库,可一小时内从千万级人口特大城市的万亿级信令数据中高效查找出指定人员a的时空关联人员。
如图2所示,第二方面,本发明还提供了一种基于通信大数据的时空关联分析装置,应用于上述一种基于通信大数据的时空关联分析方法的步骤,所述装置包括:网格划分模块、时间划分模块、手机信令数据模型构建模块、时空轨迹数据模型构建模块、数据库模块、手机信令流数据插值与入库模块、轨迹与空间网格查询模块、空间网格筛选模块、时空单元读取模块、时间轨迹计算模块、关联关系计算模块、单网格时空关联人员计算模块、时空关联人员计算模块。
手机信令数据模型构建模块,用于构建面向人员活动轨迹快速查找的手机信令数据模型,手机信令数据模型中包括多个手机信令数据,所有的手机信令数据按时间节点分开组织。
手机信令数据模型构建模块能够根据内置的手机信令数据模型,将输入的其它格式的手机信令数据组织为装置要求的信令数据模型。
时空轨迹数据模型构建模块,用于构建面向快速时空关联分析的时空轨迹数据模型,时空轨迹数据模型包括多个时空轨迹点,所有的时空轨迹点按时间节点分开组织,按划分的空间网格和划分的时间区间,每一时间节点的手机信令数据生成的时空轨迹点被组织为一系列时空单元的集合。
时空轨迹数据模型构建模块能够根据内置的时空轨迹数据模型,将输入的其它格式的轨迹数据组织为装置要求的时空轨迹数据模型。
数据库模块,用于对手机信令数据模型和时空轨迹数据模型构建分布式数据库,并对手机信令数据和时空轨迹点分别建立索引结构。
数据库模块能够存储海量、高频的手机信令数据,以及基于手机信令数据生成的海量时空轨迹点,具备快速的时空轨迹回溯、时空查询功能。
手机信令流数据插值与入库模块,用于实时手机信令流数据插值与入库。
手机信令流数据插值与入库模块能够实时接入来自基站或者运营商的大规模、高频手机信令数据,并执行插值、轨迹点生成等操作后,调用网格划分模块和时间划分模块对信令数据和轨迹数据划分与排序,之后调用手机信令数据模型构建模块和时空轨迹数据模型构建模块将数据组织为装置要求的模型,之后调用数据库模块,实时将信令数据和轨迹数据快速入库。
轨迹与空间网格查询模块能够根据输入的IMSI和时间范围,调用数据库模块,查询IMSI对应的人员在时间范围内活动过的时空轨迹和空间网格的编码。
空间网格筛选模块能够输入空间网格编码集合,剔除该集合中人员a短暂停留的空间网格的编码。
时空单元读取模块能够输入网格编码与人员a的时空轨迹,调用数据库模块,将该空间网格中与该时空轨迹有交集的所有时空单元中的轨迹点数据读取到内存中。
时间轨迹计算模块能够输入一条时空轨迹,计算该人员的时间轨迹。
关联关系计算模块能够输入两条时间轨迹,计算两条轨迹之间是否存在关联关系。
单网格时空关联人员计算模块能够输入人员a时空轨迹和空间网格编码,调用时
空单元读取模块,将该网格中与人员a时空轨迹有交集的时空单元中的轨迹点数据读取到
内存,之后调用时间轨迹计算模块,计算人员a和这些时空单元中的所有人员的时间轨迹,
最后调用关联关系计算模块,判断时空单元中的每个人员的时间轨迹与人员a的时间轨迹
是否有关联关系,从而找出该网格内所有的时空关联人员。时空关联人员计算模块用于并
行计算人员a的所有时空关联人员,对所述步骤8中更新后的空间网格编码集合分块,采
用并行的方法迭代所述步骤9-12,直至中每个空间网格被计算完毕,以寻找出所有的时
空关联人员。
时空关联人员计算模块能够输入人员a的IMSI和时间范围,先后调用轨迹与空间网格查询模块和空间网格筛选模块,获得人员a的时空轨迹与到访过的网格编码,之后对每个网格编码,调用单网格时空关联人员计算模块,从而找出该人员a所有的时空关联人员。
第三方面,本发明实施例提供了一种电子设备,所述设备包括分布式存储器、处理器以及在存储器中并可在处理器中运行的计算机程序,所述处理器执行计算机程序时实现如本发明第一方面所述基于通信大数据的时空关联分析方法的步骤;
第四方面,本发明实施例提供了一种计算机可读存储介质,用于储存为上述第二方面所提供的基于通信大数据的时空关联分析装置所用的计算机软件指令,或存储用于执行上述第二方面为基于通信大数据的时空关联分析装置所设计的程序,实现上述基于通信大数据的时空关联分析方法的步骤。
本发明实施例中的存储器用于存储各种类型的数据以支持本发明提供的电子设备的操作。这些数据的示例包括:用于在本发明提供的电子设备上操作的任何计算机程序。
本发明实施例揭示的基于通信大数据的时空关联分析方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,基于通信大数据的时空关联分析方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP,Digital SignalProcessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成本发明实施例提供的基于通信大数据的时空关联分析方法的步骤。
在示例性实施例中,本发明提供的电子设备可以被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex ProgrammableLogicDevice)、FPGA、通用处理器、控制器、微控制器(MCU,Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现,用于执行前述方法。
在一应用示例中,本发明提供的电子设备包括笔记本电脑,笔记本电脑用于运行计算机程序时,实现前述任一实施例所述的基于通信大数据的时空关联分析方法。
可以理解,存储器可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,RandomAccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
另外,本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于通信大数据的时空关联分析方法,其特征在于,包括以下步骤:
步骤3、构建面向人员活动轨迹快速查找的手机信令数据模型,手机信令数据模型中包括多个手机信令数据,所有的手机信令数据按时间节点分开组织;
步骤4、构建面向快速时空关联分析的时空轨迹数据模型,时空轨迹数据模型包括多个时空轨迹点,所有的时空轨迹点按时间节点分开组织,按所述步骤1和2划分的空间网格和时间区间,每一时间节点的手机信令数据生成的时空轨迹点被组织为一系列时空单元的集合;
步骤5、对所述步骤3中的手机信令数据模型和步骤4中的时空轨迹数据模型构建分布式数据库,并对手机信令数据和时空轨迹点分别建立索引结构;
步骤6、实时手机信令流数据插值与入库;
其中,GRID_IX为空间网格编码,string代表字符串类型;
4.根据权利要求3所述的基于通信大数据的时空关联分析方法,其特征在于:在步骤5中,将步骤3中的手机信令数据模型和步骤4中的时空轨迹数据模型转换为适应于指定分布式数据库的逻辑模型Schema,基于Schema构建分布式数据库,并对步骤3中的IMSI字段和步骤4中的GRID_IX字段分别建立索引结构。
5.根据权利要求3所述的基于通信大数据的时空关联分析方法,其特征在于:在步骤6
中,设手机产生通讯过程中手机信令数据平均采样间隔为,手机没有产生通讯过程中信
令数据平均采样间隔为,,对来自移动电话基站的手机信令流数据,在内存
中分时间段缓存,由于采集的信令数据时间间隔并不完全一致,因此时间段内存在
部分人的信令数据过少,对这些人的信令数据进行插值,若一个人在时间段内O域数据
个数小于,则对该人在时间段内O域数据进行时间插值,使其个数等于,之后,计算
每个所属的空间网格和时间区间的编码,计算每个对应的,
将这些与在内存中分别按和时空单元组织,每间隔时间,
将其并行插入到步骤5中的分布式数据库中。
9.一种基于通信大数据的时空关联分析装置,其特征在于,包括:
手机信令数据模型构建模块,用于构建面向人员活动轨迹快速查找的手机信令数据模型,手机信令数据模型中包括多个手机信令数据,所有的手机信令数据按时间节点分开组织;
时空轨迹数据模型构建模块,用于构建面向快速时空关联分析的时空轨迹数据模型,时空轨迹数据模型包括多个时空轨迹点,所有的时空轨迹点按时间节点分开组织,按划分的空间网格和划分的时间区间,每一时间节点的手机信令数据生成的时空轨迹点被组织为一系列时空单元的集合;
数据库模块,用于对手机信令数据模型和时空轨迹数据模型构建分布式数据库,并对手机信令数据和时空轨迹点分别建立索引结构:
手机信令流数据插值与入库模块,用于实时手机信令流数据插值与入库;
10.一种电子设备,其特征在于,包括分布式存储器、处理器以及在存储器中并可在处理器中运行的计算机程序,所述处理器执行计算机程序时实现权利要求1-8任一项所述的基于通信大数据的时空关联分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210913511.7A CN114996598B (zh) | 2022-08-01 | 2022-08-01 | 一种基于通信大数据的时空关联分析方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210913511.7A CN114996598B (zh) | 2022-08-01 | 2022-08-01 | 一种基于通信大数据的时空关联分析方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114996598A CN114996598A (zh) | 2022-09-02 |
CN114996598B true CN114996598B (zh) | 2022-10-18 |
Family
ID=83021566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210913511.7A Active CN114996598B (zh) | 2022-08-01 | 2022-08-01 | 一种基于通信大数据的时空关联分析方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114996598B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115795115B (zh) * | 2023-02-11 | 2023-05-02 | 云南师范大学 | 一种基于图存储的多轨迹集合相似性搜索方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635059A (zh) * | 2018-11-23 | 2019-04-16 | 武汉烽火众智数字技术有限责任公司 | 基于轨迹相似度匹配的人车关联分析方法及系统 |
CN112181980A (zh) * | 2020-09-16 | 2021-01-05 | 武汉大学 | 一种面向大规模分析的时空大数据立方体组织方法及系统 |
CN113946575A (zh) * | 2021-09-13 | 2022-01-18 | 中国电子科技集团公司第十五研究所 | 时空轨迹数据处理方法、装置、电子设备及存储介质 |
CN114265833A (zh) * | 2021-12-24 | 2022-04-01 | 刘心亮 | 车辆轨迹引导地理时空特征可视化分析平台 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6032467B2 (ja) * | 2012-06-18 | 2016-11-30 | 株式会社日立製作所 | 時空間データ管理システム、時空間データ管理方法、及びそのプログラム |
-
2022
- 2022-08-01 CN CN202210913511.7A patent/CN114996598B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635059A (zh) * | 2018-11-23 | 2019-04-16 | 武汉烽火众智数字技术有限责任公司 | 基于轨迹相似度匹配的人车关联分析方法及系统 |
CN112181980A (zh) * | 2020-09-16 | 2021-01-05 | 武汉大学 | 一种面向大规模分析的时空大数据立方体组织方法及系统 |
CN113946575A (zh) * | 2021-09-13 | 2022-01-18 | 中国电子科技集团公司第十五研究所 | 时空轨迹数据处理方法、装置、电子设备及存储介质 |
CN114265833A (zh) * | 2021-12-24 | 2022-04-01 | 刘心亮 | 车辆轨迹引导地理时空特征可视化分析平台 |
Non-Patent Citations (1)
Title |
---|
GeoCube:面向大规模分析的多源对地观测时空立方体;高凡 等;《遥感学报》;20220625;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114996598A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649656B (zh) | 一种面向数据库的时空轨迹大数据存储方法 | |
Mahmood et al. | Spatio-temporal access methods: a survey (2010-2017) | |
Pelanis et al. | Indexing the past, present, and anticipated future positions of moving objects | |
CN107766433B (zh) | 一种基于Geo-BTree的范围查询方法及装置 | |
CN107798054B (zh) | 一种基于Trie的范围查询方法及装置 | |
CN114996598B (zh) | 一种基于通信大数据的时空关联分析方法、装置及设备 | |
Gao et al. | Efficient mutual nearest neighbor query processing for moving object trajectories | |
CN110865992A (zh) | 一种检索库管理方法、检索方法、装置及介质 | |
Ma et al. | Large-scale geo-tagged video indexing and queries | |
Whitman et al. | Spatio-temporal join on apache spark | |
CN111324781A (zh) | 一种数据分析方法、装置及设备 | |
Kipf et al. | Approximate geospatial joins with precision guarantees | |
CN110059149A (zh) | 电子地图空间关键字查询分布式索引系统和方法 | |
Abbasifard et al. | Efficient indexing for past and current position of moving objects on road networks | |
Liu et al. | Indexing Large Moving Objects from Past to Future with PCFI+-Index. | |
He et al. | Spatial query processing for location based application on Hbase | |
CN114969567B (zh) | 一种高性能时空轨迹关联分析方法、装置及设备 | |
CN111563080A (zh) | 一种空间数据索引和拓扑方法、装置及存储介质 | |
CN113868465B (zh) | 一种基于二维时间格网的可定位视频检索方法 | |
Yang et al. | Dynamic set similarity join: An update log based approach | |
Chen et al. | Detecting trajectory outliers based on spark | |
CN114491061A (zh) | 一种多维数据关联分析系统及方法 | |
Akasapu et al. | Efficient trajectory pattern mining for both sparse and dense dataset | |
Heiler et al. | Comparing implementation variants of distributed spatial join on spark | |
Teng et al. | GPU-based Real-time Contact Tracing at Scale |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |