CN115905435A - 一种基于时空聚合中间态的信令数据分析方法及装置 - Google Patents
一种基于时空聚合中间态的信令数据分析方法及装置 Download PDFInfo
- Publication number
- CN115905435A CN115905435A CN202211348188.XA CN202211348188A CN115905435A CN 115905435 A CN115905435 A CN 115905435A CN 202211348188 A CN202211348188 A CN 202211348188A CN 115905435 A CN115905435 A CN 115905435A
- Authority
- CN
- China
- Prior art keywords
- intermediate state
- mobile phone
- signaling data
- data
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于时空聚合中间态的信令数据分析方法及装置，首先基于信令数据的特征对数据进行预处理，通过经纬度计算出所属蜂窝区块编号，然后把手机号对应的所有区块编号按照时间顺序保存，同时对保存的时间进行切片划分，得出手机号在过去某段时间内去过的地理轨迹。对于区块编号可以进行手机号的聚合处理，可通过区块编号和时间组合方式进行数据存储，从而可以得出该区块历史上经过的手机号。本发明可以分析出城市人口的流动情况和人口分布情况。通过本发明的方法可以在极短时间内找出人员运行轨迹情况，有助于缩短分析时间，在犯罪侦查、医疗防疫领域有较大帮助。
Description
技术领域
本发明属于信令数据分析领域，尤其涉及一种基于时空聚合中间态的信令数据分析方法及装置。
背景技术
手机信令数据是一种新型的大数据源，与其他类型的数据相比，其具有实时性、完整性、出行时空全覆盖等其他数据源所不拥有的优势。它是由手机用户在发生通话、发短信或移动位置等事件时，被运营商的通信基站捕获并记录的数据。由此可见，信令数据只要用户开启手机，即可捕获出行信息，这些数据经过加工后可用于居民行为偏好、移动轨迹分析、城镇空间布局等研究。但是由于信令数据存在海量化的特点，运算量大，运行时间较长，尤其是在大范围、长时间的海量数据库中进行运算时，对服务器和软件的配置，以及对算法设计都有较高的要求，因此会带来工作人力、时间等各项成本的提高。同时这样的计算带来的时效性将会偏低，对于有着高时效需求的场景将无法满足。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于时空聚合中间态的信令数据分析方法及装置，以便充分发挥信令数据的特点，提高结果获取的时效性，缩短数据的分析时间。
本发明是通过以下方式来实现的：第一方面，本发明提供了一种基于时空聚合中间态的信令数据分析方法，该方法包括以下步骤：
步骤1、基于用户手机号获取信令数据并进行预处理，把用户手机号所在位置基站的经纬度数据转换成相应的蜂窝区块编号，同时剔除不符合手机号的脏数据；
步骤2、定义以手机号为顶点，区块编号为值的聚合中间态计算逻辑，同时把区块编号按间隔N分钟进行分片聚合处理，处理后的信令数据会根据该逻辑进行中间态结果的计算；
步骤3、定义以区块编号和时间组合为顶点，手机号为值的聚合中间态计算逻辑，处理后的信令数据会根据该逻辑进行中间态结果的计算；
步骤4、经由步骤2和步骤3构建的聚合中间态计算逻辑产生出以手机号、区块编号加时间的两种顶点的聚合中间态数据，用于分析城市人员的分布和活动轨迹。
进一步地，步骤(1)中，所述的信令数据为用户手机在发生通话、发短信或移动位置事件时，被运营商的通信基站捕获的通讯数据，其包括的要素有手机号、基站经纬度和上报时间。
进一步地，步骤(1)中，所述的蜂窝区块编号为在卫星地图上使用多边形网格划分出来的地理范围，每一块都有唯一的编号，每一个基站坐标点将归属于一个区块。
进一步地，步骤(2)中，以手机号为顶点的聚合中间态计算逻辑为用键值对方式存储的数据结构，其中手机号为主键，上报时间和区块编号为值列表，并且区块编号通过上报时间按分钟精度切片聚合存储。
进一步地，步骤(3)中，以区块编号和时间组合为顶点的聚合中间态计算逻辑为用键值对方式存储的数据结构，其中区块编号和精度为分钟的上报时间组合在一起形成存储数据的主键，手机号为值列表。
进一步地，步骤(4)中，所述的信令数据通过文件、消息中间件、接口方式进行获取，基于步骤(2)和(3)定义的计算逻辑得出中间态结果，对于中间态结果系统可提供服务接口供外部系统使用，通过中间态数据分析人员活动行为。
第二方面，本发明还提供了一种基于时空聚合中间态的信令数据分析装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现所述的基于时空聚合中间态的信令数据分析方法的步骤。
第三方面，本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于时空聚合中间态的信令数据分析方法的步骤。
本发明的有益效果：本发明提供的是一种针对海量信令数据处理分析的方法及装置，通过聚合中间态的结果缩短分析时间、提升分析能力，本发明对信令数据按照手机号和区块编号进行预先聚合计算，产生的中间态结果保存在分布式缓存中，支持外部系统即席查询，通过手机号、区块编号和时间窗口参数即可快速得到分析结果。而使用传统大数据平台进行批式查询往往需要花费小时级别的时间才能得到分析结果，相比之下该方法在性能上有着卓越的优势。
附图说明
图1是一个实施例的信令数据序列示意图；
图2是本发明方法聚合计算后的结果示意图；
图3是人员轨迹结果示意图；
图4是本发明方法与传统方法的实施效果对比图；
图5是本发明一种基于时空聚合中间态的信令数据分析装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明，以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明提供一种基于时空聚合中间态的信令数据分析方法，是通过把地理位置按多边形划分处理后，把手机号数据和区块编号数据分别按时间存储在手机号和区块编号为顶点的结构中的一种技术方法。传统的大数据平台分析方法，结果获取耗时随查询个数的增加呈快速线性上升趋势，当查询个数较多时性能下降明显。本发明方法基于中间态处理数据，其结果获取耗时随查询个数的增加变化不大，在查询个数较多时依然具备较好的性能。同时，该方法可以用于分析城市人员的分布和活动轨迹，用该方法可大幅度缩短数据的处理和分析时间。
本发明提出的一个具体实施例如下：
1)对于原始的信令数据进行预处理，以通过文件或消息中间件等方式进行存储，所述的信令数据为用户手机在发生通话、发短信或移动位置事件时，被运营商的通信基站捕获的通讯数据，信令数据中必须包括手机号、基站经度数据、纬度数据、上报时间四个字段的数据内容，所述预处理包括对信令数据文本内容的格式转换、经纬度转换区块编号、剔除不符合手机号格式的脏数据、异常值处理、时间格式处理。信令数据排列方式如图1所示，把经纬度数据转换成相应的蜂窝区块的编号。所述信令数据中的经纬度数据转换为蜂窝区块编号为把真实地区按六边形网格进行划分，每个区块都有唯一编号，每一个基站坐标点将归属于一个区块。信令数据结构见表1。
表1
| 序号 | 手机号 | 经度 | 纬度 | 时间 | 区块ID |
| 1 | 13666624875 | 120.091284 | 30.327957 | 2022-01-05 08:25:00 | G1 |
| 2 | 13666624875 | 120.090432 | 30.328783 | 2022-01-05 08:32:00 | G2 |
| 3 | 13666624875 | 120.089590 | 30.329609 | 2022-01-05 08:45:00 | G3 |
| 4 | 13666624875 | 120.088728 | 30.330435 | 2022-01-05 09:05:00 | G4 |
| 5 | 13666624875 | 120.089545 | 30.331261 | 2022-01-05 09:27:00 | G5 |
| 6 | 13666624875 | 120.088738 | 30.332087 | 2022-01-05 09:31:00 | G6 |
| 7 | 13666624875 | 120.089519 | 30.332913 | 2022-01-05 09:38:00 | G7 |
| 8 | 13666624875 | 120.088628 | 30.333739 | 2022-01-05 09:49:00 | G8 |
2)定义以手机号为顶点的聚合中间态计算逻辑，以手机号为顶点的聚合中间态计算逻辑为用键值对方式存储的数据结构，其中手机号为主键，上报时间和区块编号为值的列表，并且区块编号通过上报时间按分钟精度切片聚合存储。在本实施例中区块编号按时间10分钟间隔进行分片存储，处理后的信令数据会根据该逻辑进行中间态结果的计算，生成如表2所示的数据。
表2
3)定义以区块编号为顶点，手机号为存储值的聚合中间态计算逻辑，为了避免区块编号上的热点数据量存储过大，顶点除了区块编号外还需加上时间要素，即把时间按分钟为单位与区块编号一起组成顶点，以区块编号和时间组合为顶点的聚合中间态计算逻辑为用键值对方式存储的数据结构，其中区块编号和精度为分钟的上报时间组合在一起形成存储数据的主键，手机号为值的列表进行存储。处理后的信令数据会根据该逻辑进行中间态结果的计算，生成如表3所示的数据。
表3
| ... | ... |
| G1_20220830 | 13666624875,... |
| G1_20220831 | ... |
| G1_20220832 | ... |
| G1_20220833 | ... |
| ... | ... |
| G1_20220950 | ... |
| ... | ... |
4)经由步骤2和步骤3构建的聚合中间态计算逻辑产生出以手机号、区块编号加时间的两种顶点的聚合中间态数据，聚合计算后的结果示意图如图2所示，可通过关系型数据库存储或分布式缓存存储，使用分布式缓存存储性能最好。根据手机号参数获取到指定手机号历史上的运动轨迹分析结果如图3所示，也可以根据区块编号参数获取到该区块在规定时间范围内人口聚集情况。并且如图4所示，是本发明和传统方法的对比，随着查询数据个数的增加，传统方法的耗时远大于本发明方法，本发明通过聚合中间态的结果缩短分析时间、提升分析能力。
与前述基于时空聚合中间态的信令数据分析方法的实施例相对应，本发明还提供了基于时空聚合中间态的信令数据分析装置的实施例。
参见图5，本发明实施例提供的一种基于时空聚合中间态的信令数据分析装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于时空聚合中间态的信令数据分析方法。
本发明基于时空聚合中间态的信令数据分析装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明基于时空聚合中间态的信令数据分析装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于时空聚合中间态的信令数据分析方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
Claims (8)
1.一种基于时空聚合中间态的信令数据分析方法，其特征在于，该方法包括以下步骤：
步骤1、基于用户手机号获取信令数据并进行预处理，把用户手机号所在位置基站的经纬度数据转换成相应的蜂窝区块编号，同时剔除不符合手机号的脏数据；
步骤2、定义以手机号为顶点，区块编号为值的聚合中间态计算逻辑，同时把区块编号按间隔N分钟进行分片聚合处理，处理后的信令数据会根据该逻辑进行中间态结果的计算；
步骤3、定义以区块编号和时间组合为顶点，手机号为值的聚合中间态计算逻辑，处理后的信令数据会根据该逻辑进行中间态结果的计算；
步骤4、经由步骤2和步骤3构建的聚合中间态计算逻辑产生出以手机号、区块编号加时间的两种顶点的聚合中间态数据，用于分析城市人员的分布和活动轨迹。
2.根据权利要求1中所述的一种基于时空聚合中间态的信令数据分析方法，其特征在于，步骤(1)中，所述的信令数据为用户手机在发生通话、发短信或移动位置事件时，被运营商的通信基站捕获的通讯数据，其包括的要素有手机号、基站经纬度和上报时间。
3.根据权利要求1中所述的一种基于时空聚合中间态的信令数据分析方法，其特征在于，步骤(1)中，所述的蜂窝区块编号为在卫星地图上使用多边形网格划分出来的地理范围，每一块都有唯一的编号，每一个基站坐标点将归属于一个区块。
4.根据权利要求1中所述的一种基于时空聚合中间态的信令数据分析方法，其特征在于，步骤(2)中，以手机号为顶点的聚合中间态计算逻辑为用键值对方式存储的数据结构，其中手机号为主键，上报时间和区块编号为值列表，并且区块编号通过上报时间按分钟精度切片聚合存储。
5.根据权利要求1中所述的一种基于时空聚合中间态的信令数据分析方法，其特征在于，步骤(3)中，以区块编号和时间组合为顶点的聚合中间态计算逻辑为用键值对方式存储的数据结构，其中区块编号和精度为分钟的上报时间组合在一起形成存储数据的主键，手机号为值列表。
6.根据权利要求1中所述的一种基于时空聚合中间态的信令数据分析方法，其特征在于，步骤(4)中，所述的信令数据通过文件、消息中间件、接口方式进行获取，基于步骤(2)和(3)定义的计算逻辑得出中间态结果，对于中间态结果系统可提供服务接口供外部系统使用，通过中间态数据分析人员活动行为。
7.一种基于时空聚合中间态的信令数据分析装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-6中任一项所述的基于时空聚合中间态的信令数据分析方法的步骤。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，实现如权利要求1-6中任一项所述的基于时空聚合中间态的信令数据分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211348188.XA CN115905435A (zh) | 2022-10-31 | 2022-10-31 | 一种基于时空聚合中间态的信令数据分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211348188.XA CN115905435A (zh) | 2022-10-31 | 2022-10-31 | 一种基于时空聚合中间态的信令数据分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115905435A true CN115905435A (zh) | 2023-04-04 |
Family
ID=86485305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211348188.XA Pending CN115905435A (zh) | 2022-10-31 | 2022-10-31 | 一种基于时空聚合中间态的信令数据分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115905435A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094516A (zh) * | 2023-08-24 | 2023-11-21 | 中国水利水电科学研究院 | 一种基于固定效应模型的城市群月生活需水量预测方法 |
-
2022
- 2022-10-31 CN CN202211348188.XA patent/CN115905435A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094516A (zh) * | 2023-08-24 | 2023-11-21 | 中国水利水电科学研究院 | 一种基于固定效应模型的城市群月生活需水量预测方法 |
| CN117094516B (zh) * | 2023-08-24 | 2024-02-23 | 中国水利水电科学研究院 | 一种基于固定效应模型的城市群月生活需水量预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992633B (zh) | 基于用户位置的地理围栏确定方法、装置、电子设备 | |
| EP3032780B1 (en) | Method and apparatus for transmitting messages to users using trajectory-based clustering | |
| CN109408501B (zh) | 一种位置数据的处理方法、装置、服务器及存储介质 | |
| WO2017211150A1 (zh) | 指纹数据入库处理方法及装置 | |
| CN108322363A (zh) | 推送数据异常监控方法、装置、计算机设备和存储介质 | |
| CN111479321B (zh) | 一种网格构建方法、装置、电子设备和存储介质 | |
| CN110119408B (zh) | 地理空间实时流数据下移动对象连续查询方法 | |
| CN115905435A (zh) | 一种基于时空聚合中间态的信令数据分析方法及装置 | |
| CN113704342A (zh) | 一种轨迹伴随分析的方法、系统、设备和存储介质 | |
| CN105760484A (zh) | 一种人群踩踏预警方法、系统、及具有该系统的服务器 | |
| CN112465197B (zh) | 区域人口数量的预测方法、装置、计算机设备及存储介质 | |
| CN110543504A (zh) | 基于时空匹配的人口热力数据统计方法、系统及存储介质 | |
| Woods et al. | Exploring methods for mapping seasonal population changes using mobile phone data | |
| CN112887910B (zh) | 异常覆盖区域的确定方法、装置和计算机可读存储介质 | |
| CN110012436B (zh) | 用户位置确定方法、装置、设备及计算机可读存储介质 | |
| CN109768878B (zh) | 一种基于大数据的网络工单计算方法及装置 | |
| CN111143639A (zh) | 用户亲密度计算方法、装置、设备及介质 | |
| CN106372213A (zh) | 一种位置分析方法 | |
| CN113032509B (zh) | 基于分布式集群的地图切片方法、装置、设备及介质 | |
| CN112234995B (zh) | 基于时空编码的信令压缩方法及系统 | |
| CN115048593A (zh) | 空间数据的检索方法、装置、存储介质和设备 | |
| CN113536577A (zh) | 一种基于空间代表性的pm2.5观测站点优化布局方法 | |
| CN111797181B (zh) | 用户职住地的定位方法、装置、控制设备及存储介质 | |
| CN110428627B (zh) | 一种公交出行潜力区域识别方法及识别系统 | |
| CN111611337A (zh) | 终端数据处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |