CN112234995B - 基于时空编码的信令压缩方法及系统 - Google Patents
基于时空编码的信令压缩方法及系统 Download PDFInfo
- Publication number
- CN112234995B CN112234995B CN202011155713.7A CN202011155713A CN112234995B CN 112234995 B CN112234995 B CN 112234995B CN 202011155713 A CN202011155713 A CN 202011155713A CN 112234995 B CN112234995 B CN 112234995B
- Authority
- CN
- China
- Prior art keywords
- data
- compressed
- time
- space
- signaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011664 signaling Effects 0.000 title claims abstract description 115
- 238000007906 compression Methods 0.000 title claims abstract description 87
- 230000006835 compression Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 36
- 235000019580 granularity Nutrition 0.000 claims description 66
- 230000004927 fusion Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 230000000149 penetrating effect Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3057—Distributed Source coding, e.g. Wyner-Ziv, Slepian Wolf
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mobile Radio Communication Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开一种基于时空编码的信令压缩方法及系统，其中方法包括以下步骤：获取预设压缩周期内所有待压缩信令数据，每条待压缩信令数据包含经纬度数据、时间戳数据和标识数据；基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码，所述时空编码用于指示所述待压缩信令数据对应的空间范围和时间范围；基于所述标识数据和所述时空编码对各待压缩信令数据进行分组，获得若干待压缩数据组；基于预设的压缩配置数据对各待压缩数据组进行压缩，获得与所述待压缩数据组相对应的压缩数据，其中压缩配置数据包括压缩字段和各压缩字段所对应的压缩操作。本发明能够在为后续信令数据的使用提供数据支持的前提下有效减少数据量。
Description
技术领域
本发明涉及大数据处理领域，尤其涉及一种基于时空编码的信令压缩方法及系统。
背景技术
信令数据具备采集频率高、覆盖面全的优点，其在对人员的位置判定、出行轨迹等方面发挥重要作用，而人员运动轨迹在交通管理、交通规划、公共安全管理等方面具有重要参考意义，如公开号为CN110888884A的专利申请《基于geohash匹配的车码拟合方法及系统》，其通过将信令数据与卡口数据进行时空碰撞，通过对碰撞结果的分析实现对犯罪嫌疑人的追踪。
但由于信令数据的数据量和存储量过于庞大，在对该信令数据进行读取和使用时，用时较长且将消耗的大量的计算资源。
发明内容
本发明针对现有技术中的缺点，提供了一种基于时空编码的信令压缩方法及系统，其能够在为后续信令数据的使用提供数据支持的前提下，有效减少参与计算和分析的数据量。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种基于时空编码的信令压缩方法，包括以下步骤：
获取预设压缩周期内所有待压缩信令数据，每条待压缩信令数据包含经纬度数据、时间戳数据和标识数据；
基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码，所述时空编码用于指示所述待压缩信令数据对应的空间范围和时间范围；
基于所述标识数据和所述时空编码对各待压缩信令数据进行分组，获得若干待压缩数据组；
基于预设的压缩配置数据对各待压缩数据组进行压缩，获得与所述待压缩数据组相对应的压缩数据，其中压缩配置数据包括压缩字段和各压缩字段所对应的压缩操作。
作为一种可实施方式：
提取待压缩信令数据的经纬度数据和时间戳数据；
基于经纬度数据生成相对应的S2编码，并根据所述S2编码生成空间字符串，当截取所述空间字符串时，所述空间字符串的截取位数与网格粒度相映射；
基于所述时间戳数据生成相对应的时间字符串；
将所述空间字符串和所述时间字符串进行穿插拼接，获得相应的融合编码；
对所述融合编码进行截取，获得相应的时空编码，所述时空编码的位数与网格粒度和时间粒度相映射。
作为一种可实施方式，获得与所述待压缩数据组相对应的压缩数据后，还包括基站信息扩充步骤，具体为：
基于所述压缩数据获取待压缩数据组中出现次数最多的经纬度数据，获得常驻经纬度数据；基于所述常驻经纬度数据生成至少一种空间编码，并将所述空间编码添加至所述压缩数据中。
作为一种可实施方式，待压缩信令数据还包含城市代码；基于标识数据、时空编码和城市代码对各待压缩信令数据进行分组，获得若干待压缩数据组。
作为一种可实施方式：
压缩操作包括提取最大值、提取最小值、去重后合并、或统计后基于统计结果进行数据提取。
作为一种可实施方式：
待压缩信令数据还包括手机号和至少一个功能数据；压缩字段包括首次时间、末次时间、常用手机号、常驻经纬度数据和与所述功能数据一一对应的功能字段，压缩步骤为：
遍历待压缩数据组中各待压缩信令数据，提取最小时间戳数据作为首次时间、提取最大时间戳数据作为末次时间、提取出现次数最多的手机号作为常用手机号、提取出现次数最多的经纬度数据作为常驻经纬度数据、对各功能数据进行去除合并后获得相应合并字符串，并将所述合并字符串添加至对应功能字段。
本发明还提出一种基于时空编码的信令压缩系统，包括：
获取模块，用于获取预设压缩周期内所有待压缩信令数据，每条待压缩信令数据包含经纬度数据、时间戳数据和标识数据；
编码模块，用于基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码，所述时空编码用于指示所述待压缩信令数据对应的空间范围和时间范围；
分组模块，用于基于所述标识数据和所述时空编码对各待压缩信令数据进行分组，获得若干待压缩数据组；
压缩模块，用于基于预设的压缩配置数据对各待压缩数据组进行压缩，获得与所述待压缩数据组相对应的压缩数据，其中压缩配置数据包括压缩字段和各压缩字段所对应的压缩操作。
作为一种可实施方式，所述编码模块被配置为：
提取待压缩信令数据的经纬度数据和时间戳数据；
基于经纬度数据生成相对应的S2编码，并根据所述S2编码生成空间字符串，当截取所述空间字符串时，所述空间字符串的截取位数与网格粒度相映射；
基于所述时间戳数据生成相对应的时间字符串；
将所述空间字符串和所述时间字符串进行穿插拼接，获得相应的融合编码；
对所述融合编码进行截取，获得相应的时空编码，所述时空编码的位数与网格粒度和时间粒度相映射。
作为一种可实施方式，还包括扩充模块，其被配置为：
基于所述压缩数据获取待压缩数据组中出现次数最多的经纬度数据，获得常驻经纬度数据；基于所述常驻经纬度数据生成至少一种空间编码，并将所述空间编码添加至所述压缩数据中。
本发明还提出一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。
本发明由于采用了以上技术方案，具有显著的技术效果：
1、本发明通过对时空编码的设计，由时空编码指示信令出现的时段和区域范围，将同一标识数据对应的待压缩信令数据按照时空位置进行分组及压缩，从而有效降低信令数据的数据量和储存量；同时所述时空编码为一维的字符串，其作为相应压缩数据的索引将有效提高检索压缩数据的效率。
2、本发明中时空编码的位数与网格粒度和时间粒度相映射，在实际使用中可通过选择时空编码的位数确定压缩数据对应的时空粒度，使其适用于相应的信令使用场景，且当存在多种信令使用场景，仅需截取不同位数的时空编码，无需针对使用场景对各待压缩信令数据进行重复编码。
3、本发明通过利用不同地址编码方法对常驻经纬度数据进行编码，将所得空间编码补充至对应压缩数据中，从而为压缩数据增加索引，便于检索且提高了数据使用的兼容性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于时空编码的信令压缩方法的流程示意图；
图2是生成融合编码的示意图；
图3是本发明一种基于时空编码的信令压缩系统的模块连接示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1、一种基于时空编码的信令压缩方法，如图1所示，包括以下步骤：
S100、获取预设压缩周期内所有待压缩信令数据，每条待压缩信令数据包含经纬度数据、时间戳数据和标识数据；
所述经纬度数据为待压缩信令数据所对应基站的经度和纬度；本实施例中标识数据为手机号和/或SIM卡号，本实施例标识数据特指SIM卡号。
本领域技术人员可根据实际需要自行设定压缩周期，如本实施例压缩周期为1天，即，每隔一天汇总一次待压缩信令数据并对所汇总的数据进行压缩。
S200、基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码，所述时空编码用于指示所述待压缩信令数据对应的空间范围和时间范围；
S300、基于所述标识数据和所述时空编码对各待压缩信令数据进行分组，获得若干待压缩数据组；
S400、基于预设的压缩配置数据对各待压缩数据组进行压缩，获得与所述待压缩数据组相对应的压缩数据，其中压缩配置数据包括压缩字段和各压缩字段所对应的压缩操作。
本领域技术人员可根据实际需要自行设置压缩配置数据，通过所述压缩配置数据确定所得压缩数据的字段及所述字段对应的数据内容。
本实施例通过对时空编码的设计，由时空编码指示信令出现的时段和区域范围，将同一标识数据对应的待压缩信令数据按照时空位置进行分组及压缩，从而有效降低信令数据的数据量和储存量；同时所述时空编码为一维的字符串，其作为相应压缩数据的索引将有效提高检索压缩数据的效率。
进一步地，步骤S200中基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码的具体步骤如下：
S210、提取待压缩信令数据的经纬度数据和时间戳数据；
S220、基于经纬度数据生成相对应的S2编码，并根据所述S2编码生成空间字符串，当截取所述空间字符串时，所述空间字符串的截取位数与网格粒度相映射；
S2编码为基于已公开的谷歌S2算法所生成的位置编码，基于谷歌S2算法可知不同网格粒度对应的S2编码之间的转化规则，故可基于该转换规则对所得S2编码做进一步转换，使所得空间字符串的截取位数与网格粒度相映射。
S230、基于所述时间戳数据生成相对应的时间字符串；
所述时间字符串截取位数与时间粒度相映射。
S240、将所述空间字符串和所述时间字符串进行穿插拼接，获得相应的融合编码；
本领域技术人员可自行设置穿插拼接的方法，使融合编码的截取位数与网格粒度和时间粒度具有映射关系即可。
S250、对所述融合编码进行截取，获得相应的时空编码，所述时空编码的位数与网格粒度和时间粒度相映射，即，所述时空编码的位数与时空粒度相映射。
在实际使用时，可预先根据实际需要自行设置压缩数据对应时空粒度的可选范围，基于所述可选范围确定融合编码的截取位数与网格粒度及时间粒度的映射关系；在压缩过程中通过选择时空编码的位数即可确定压缩数据对应的时空粒度，使其适用于相应的信令使用场景，且当存在多种信令使用场景时能够提高数据的利用率，例如可根据步行、骑行、开车、地铁/ 火车的行动轨迹确定其相对应的时空粒度，当需对步行和骑行的行动轨迹进行区分时，仅需截取两种不同位数的时空编码，无需针对使用场景对各待压缩信令数据进行重复编码。
参照图2，以具体的案例对上述时空编码的生成方法进行详细介绍：
获取预设的粒度配置数据，其包括初始网格粒度和若干个网格粒度，还包括初始时间粒度和若干个时间粒度；
本实施例中初始网格粒度为Level＝30，基于初始网格粒度和经纬度数据生成相对应的S2 编码“344b7d87267d2a81”，将所述S2编码转换为空间字符串“344b7dc9847”；
本实施例中初始时间粒度为5分钟，基于初始时间粒度和时间戳数据(2020-05-0516:57:34)生成相对应的时间字符串“202005051657”；
将空间字符串和时间字符串进行穿插拼接，获得融合编码“202005344b705dc16958477”，该融合编码取不同位数的情况下具有不同的意义，本领域的技术人员可根据穿插拼接的方法确定与位数与时间范围和空间范围的映射关系，具体如下表所示：
表1
由上可知，可基于穿插拼接的规则，截取不同长度的融合编码，以获得不同时空粒度的时空编码；如上表所示，截取23位融合编码，即，时空编码为融合编码时，其标记的是由网格粒度level＝14和五分钟级时间切片构成的时空范围；
注，当时空编码包含完整的分钟信息时，其可基于时间粒度可为一分钟级，但为实现数据压缩，故本案例中对应时间粒度为五分钟级。
进一步地，获得与所述待压缩数据组相对应的压缩数据后，还包括基站信息扩充步骤，具体为：
基于所述压缩数据获取待压缩数据组中出现次数最多的经纬度数据，获得常驻经纬度数据；基于所述常驻经纬度数据生成至少一种空间编码，并将所述空间编码添加至所述压缩数据中。
随着定位技术发展，现今存在多种的地址编码方法，对信令数据进行使用时，与其对接的数据可能基于其他地址编码方法对空间位置进行标识确定空间位置，如GeoHash编码，且经纬度数据为二维数据，不宜进行检索；
针对上述问题，本实施例通过利用其他地址编码方法对常驻经纬度数据进行编码，将所得空间编码补充至对应压缩数据中，从而为压缩数据增加索引，便于检索且提高了数据使用的兼容性。
本实施例中基于GeoHash算法生成常驻经纬度数据对应的4位至6位的geohash编码。进一步地，待压缩信令数据还包含城市代码；
基于标识数据、时空编码和城市代码对各待压缩信令数据进行分组，获得若干待压缩数据组。
本实施例中对各待压缩信令数据进行分组的具体步骤如下：
基于标识数据对各待压缩信令数据进行分组，获得相对应的第一数据组；
基于时空编码对第一数据组中各待压缩信令数据进行分组，获得相对应的第二数据组；
基于城市代码对第二数据组中各待压缩信令数据进行分组，获得相对应的第三数据组；
基于预设的排序规则对所述第三数据组中待压缩信令数据进行排序后，生成相对应的待压缩数据组。
本领域技术人员可根据实际需要设置排序规则，本实施例中基于待压缩信令数据中的事件类型进行排序。
由于信令数据的使用往往具有地域性，如某一城市的交通规划，空间编码并不能准确的划分城市范围，基于经纬度数据进行数据筛选的效率较低，故本实施例中基于城市代码确定人员所在城市，基于城市代码对各待压缩信令数据进行做进一步分组，便于在后续使用中剔除干扰数据。
进一步地，步骤S100中获取预设压缩周期内所有待压缩信令数据的具体步骤为：
收集信令数据直至达到预设压缩周期后，基于预设的分组字段剔除分组字段为空的信令数据，获得待压缩信令数据。
进一步地，步骤S400中所述的压缩操作包括但不限于提取最大值、提取最小值、去重后合并、或统计后基于统计结果进行数据提取。
本实施例中，待压缩信令数据包括标识数据(SIM卡号)、经纬度数据、时间戳数据、城市代码、手机号、事件类型、数据来源和数据协议等数据，其中事件类型、数据来源和数据协议为功能数据，即后续信令数据使用时参与分析的数据。
压缩字段包括首次时间、末次时间、常用手机号、常驻经纬度数据和与所述功能数据一一对应的功能字段；
本实施例中通过压缩配置数据对各待压缩数据组进行压缩，将待压缩数据组中所有数据压缩为一条压缩数据，压缩数据包含后续进行分析、计算时所需的有效字段，从而在为后续工作提供数据支持的前提下，能够大幅度减少参与分析计算的数据量。
进一步地，步骤S400中基于预设的压缩配置数据对各待压缩数据组进行压缩的步骤为：
S410、遍历待压缩数据组中各待压缩信令数据；
S420、提取最小时间戳数据作为首次时间；
标识数据和城市代码相同的情况下，如时空编码对应的时间粒度为五分钟，一个压缩周期最多具有288条压缩数据，在后续使用过程中，可将首次时间作为时间索引进行高效检索；
S430、提取最大时间戳数据作为末次时间；
本实施例中通过首次时间和末次时间确定待压缩数据组中信令出现的时间范围。
S440、提取出现次数最多的手机号作为常用手机号；
随着人们对隐私的重视，生活中往往采用虚拟号保护个人信息，故曾在同一标识数据对应多个手机号的情况，本实施例中通过统计待压缩数据组中各手机号的出现次数确定常用手机号，在实现数据压缩的同时剔除虚拟号对后续分析计算的干扰。
S450、提取出现次数最多的经纬度数据作为常驻经纬度数据；
经纬度数据为基站的经纬度，但由于基站间信令接收范围有重合，故存在人员未移动但对应信令数据的经纬度数据发生变化，本实施例中通过统计待压缩数据组中各经纬度数据的出现次数确定常用经纬度数据，在实现数据压缩的同时避免此类经纬度数据对后续行动轨迹分析导致的误判。
S460、对各功能数据进行去除合并后获得相应合并字符串，并将所述合并字符串添加至对应功能字段。
基于本实施例中所公开的压缩方法，可将500亿数据量的信令数据在一小时左后完成压缩，且当时空编码位数为23(网格粒度level＝14和5分钟切片)时，压缩率能达到26％及以下。
实施例2、一种基于时空编码的信令压缩系统，如图3所示，包括：
获取模块100，用于获取预设压缩周期内所有待压缩信令数据，每条待压缩信令数据包含经纬度数据、时间戳数据和标识数据；
编码模块200，用于基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码，所述时空编码用于指示所述待压缩信令数据对应的空间范围和时间范围；
分组模块300，用于基于所述标识数据和所述时空编码对各待压缩信令数据进行分组，获得若干待压缩数据组；
压缩模块400，用于基于预设的压缩配置数据对各待压缩数据组进行压缩，获得与所述待压缩数据组相对应的压缩数据，其中压缩配置数据包括压缩字段和各压缩字段所对应的压缩操作；
扩充模块500，用于基于所述压缩数据获取待压缩数据组中出现次数最多的经纬度数据，获得常驻经纬度数据；还用于基于所述常驻经纬度数据生成至少一种空间编码，并将所述空间编码添加至所述压缩数据中。
进一步地，所述编码模块200被配置为：
提取待压缩信令数据的经纬度数据和时间戳数据；
基于经纬度数据生成相对应的S2编码，并根据所述S2编码生成空间字符串，当截取所述空间字符串时，所述空间字符串的截取位数与网格粒度相映射；
基于所述时间戳数据生成相对应的时间字符串；
将所述空间字符串和所述时间字符串进行穿插拼接，获得相应的融合编码；
对所述融合编码进行截取，获得相应的时空编码，所述时空编码的位数与网格粒度和时间粒度相映射。
本实施例通过大数据平台，利用大数据平台与各模块通过分阶段来回交互对数据进行处理与存储，从而得到所需要的数据结果。
即，待压缩信令数据、添加时空编码后的待压缩信令数据、待压缩数据组、压缩数据、添加空间编码的压缩数据对应的数据表均储存于大数据平台，由各模块从大数据平台中调取相应数据并进行处理。
实施例3、一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现实施例一中任意一项所述方法的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (8)
1.一种基于时空编码的信令压缩方法，其特征在于包括以下步骤：
获取预设压缩周期内所有待压缩信令数据，每条待压缩信令数据包含经纬度数据、时间戳数据和标识数据；
基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码，所述时空编码用于指示所述待压缩信令数据对应的空间范围和时间范围；
基于所述标识数据和所述时空编码对各待压缩信令数据进行分组，获得若干待压缩数据组；
基于预设的压缩配置数据对各待压缩数据组进行压缩，获得与所述待压缩数据组相对应的压缩数据，其中压缩配置数据包括压缩字段和各压缩字段所对应的压缩操作；
其中，基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码的具体步骤如下：
提取待压缩信令数据的经纬度数据和时间戳数据；
获取预设的粒度配置数据，其包括初始网格粒度和若干个网格粒度，还包括初始时间粒度和若干个时间粒度；
基于所述初始网格粒度和所述经纬度数据生成相对应的S2编码，并根据所述S2编码生成空间字符串，当截取所述空间字符串时，所述空间字符串的截取位数与网格粒度相映射；
基于所述初始时间粒度和所述时间戳数据生成相对应的时间字符串，所述时间字符串的截取位数与时间粒度相映射；
将所述空间字符串和所述时间字符串进行穿插拼接，获得相应的融合编码；
对所述融合编码进行截取，获得相应的时空编码，所述时空编码的位数与网格粒度和时间粒度相映射。
2.根据权利要求1所述的基于时空编码的信令压缩方法，其特征在于，获得与所述待压缩数据组相对应的压缩数据后，还包括基站信息扩充步骤，具体为：
基于所述压缩数据获取待压缩数据组中出现次数最多的经纬度数据，获得常驻经纬度数据；基于所述常驻经纬度数据生成至少一种空间编码，并将所述空间编码添加至所述压缩数据中。
3.根据权利要求1或2所述的基于时空编码的信令压缩方法，其特征在于，待压缩信令数据还包含城市代码；基于标识数据、时空编码和城市代码对各待压缩信令数据进行分组，获得若干待压缩数据组。
4.根据权利要求1或2所述的基于时空编码的信令压缩方法，其特征在于：
压缩操作包括提取最大值、提取最小值、去重后合并、或统计后基于统计结果进行数据提取。
5.根据权利要求4所述的基于时空编码的信令压缩方法，其特征在于：
待压缩信令数据还包括手机号和至少一个功能数据；压缩字段包括首次时间、末次时间、常用手机号、常驻经纬度数据和与所述功能数据一一对应的功能字段，压缩步骤为：
遍历待压缩数据组中各待压缩信令数据，提取最小时间戳数据作为首次时间、提取最大时间戳数据作为末次时间、提取出现次数最多的手机号作为常用手机号、提取出现次数最多的经纬度数据作为常驻经纬度数据、对各功能数据进行去除合并后获得相应合并字符串，并将所述合并字符串添加至对应功能字段。
6.一种基于时空编码的信令压缩系统，其特征在于包括：
获取模块，用于获取预设压缩周期内所有待压缩信令数据，每条待压缩信令数据包含经纬度数据、时间戳数据和标识数据；
编码模块，用于基于经纬度数据和时间戳数据生成各待压缩信令数据所对应的时空编码，所述时空编码用于指示所述待压缩信令数据对应的空间范围和时间范围；
分组模块，用于基于所述标识数据和所述时空编码对各待压缩信令数据进行分组，获得若干待压缩数据组；
压缩模块，用于基于预设的压缩配置数据对各待压缩数据组进行压缩，获得与所述待压缩数据组相对应的压缩数据，其中压缩配置数据包括压缩字段和各压缩字段所对应的压缩操作；
所述编码模块被配置为：
提取待压缩信令数据的经纬度数据和时间戳数据；
获取预设的粒度配置数据，其包括初始网格粒度和若干个网格粒度，还包括初始时间粒度和若干个时间粒度；
基于所述初始网格粒度和所述经纬度数据生成相对应的S2编码，并根据所述S2编码生成空间字符串，当截取所述空间字符串时，所述空间字符串的截取位数与网格粒度相映射；
基于所述初始时间粒度和所述时间戳数据生成相对应的时间字符串，所述时间字符串的截取位数与时间粒度相映射；
将所述空间字符串和所述时间字符串进行穿插拼接，获得相应的融合编码；
对所述融合编码进行截取，获得相应的时空编码，所述时空编码的位数与网格粒度和时间粒度相映射。
7.根据权利要求6所述的基于时空编码的信令压缩系统，其特征在于，还包括扩充模块，其被配置为：
基于所述压缩数据获取待压缩数据组中出现次数最多的经纬度数据，获得常驻经纬度数据；基于所述常驻经纬度数据生成至少一种空间编码，并将所述空间编码添加至所述压缩数据中。
8.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011155713.7A CN112234995B (zh) | 2020-10-26 | 2020-10-26 | 基于时空编码的信令压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011155713.7A CN112234995B (zh) | 2020-10-26 | 2020-10-26 | 基于时空编码的信令压缩方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112234995A CN112234995A (zh) | 2021-01-15 |
| CN112234995B true CN112234995B (zh) | 2023-11-03 |
Family
ID=74110726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011155713.7A Active CN112234995B (zh) | 2020-10-26 | 2020-10-26 | 基于时空编码的信令压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112234995B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114665885B (zh) * | 2022-03-29 | 2022-11-04 | 北京诺司时空科技有限公司 | 一种时序数据库自适应数据压缩方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010145327A1 (zh) * | 2009-10-20 | 2010-12-23 | 中兴通讯股份有限公司 | 一种时间戳压缩、解压缩的方法及装置 |
| CN110888884A (zh) * | 2019-11-26 | 2020-03-17 | 杭州三汇数字信息技术有限公司 | 基于geohash匹配的车码拟合方法及系统 |
| CN111615149A (zh) * | 2020-05-13 | 2020-09-01 | 和智信(山东)大数据科技有限公司 | 信令轨迹数据压缩方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577456B (zh) * | 2012-07-31 | 2016-12-21 | 国际商业机器公司 | 用于处理时序数据的方法和装置 |
| US20150355335A1 (en) * | 2014-04-15 | 2015-12-10 | Neoterra Systems Inc. | System and Method for Compressing GPS Data |
-
2020
- 2020-10-26 CN CN202011155713.7A patent/CN112234995B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010145327A1 (zh) * | 2009-10-20 | 2010-12-23 | 中兴通讯股份有限公司 | 一种时间戳压缩、解压缩的方法及装置 |
| CN110888884A (zh) * | 2019-11-26 | 2020-03-17 | 杭州三汇数字信息技术有限公司 | 基于geohash匹配的车码拟合方法及系统 |
| CN111615149A (zh) * | 2020-05-13 | 2020-09-01 | 和智信(山东)大数据科技有限公司 | 信令轨迹数据压缩方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112234995A (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107547633B (zh) | 一种用户常驻点的处理方法、装置和存储介质 | |
| CN109828967B (zh) | 一种伴随关系获取方法、系统、设备、存储介质 | |
| CN103729478B (zh) | 基于MapReduce的LBS兴趣点发现方法 | |
| CN111209261B (zh) | 基于信令大数据的用户出行轨迹提取方法和系统 | |
| CN111294742B (zh) | 基于信令cdr数据识别伴随手机号码的方法与系统 | |
| CN111629081B (zh) | 互联网协议ip地址数据处理方法、装置及电子设备 | |
| KR20190020105A (ko) | 스트리밍 데이터의 분배 처리 방법 및 디바이스 | |
| CN107832333B (zh) | 基于分布式处理和dpi数据构建用户网络数据指纹的方法和系统 | |
| CN112788524B (zh) | 对象查询方法、装置、设备及存储介质 | |
| CN106911939A (zh) | 一种视频转码方法、装置及系统 | |
| CN108389394B (zh) | 车辆初次入城分析的方法及系统 | |
| CN103678293A (zh) | 一种数据存储方法及装置 | |
| CN110471938A (zh) | 一种面向海量轨迹数据的流式处理与实时检索的方法 | |
| CN112234995B (zh) | 基于时空编码的信令压缩方法及系统 | |
| CN111125119A (zh) | 一种基于HBase的时空数据存储与索引方法 | |
| CN111479321A (zh) | 一种网格构建方法、装置、电子设备和存储介质 | |
| CN115408350A (zh) | 日志压缩、日志还原方法、装置、计算机设备和存储介质 | |
| CN104778252A (zh) | 索引的存储方法和装置 | |
| CN112100308B (zh) | 一种北斗时空轨迹的相似性查询方法 | |
| CN106372213B (zh) | 一种位置分析方法 | |
| CN106304122B (zh) | 一种业务数据分析方法及系统 | |
| CN109768878B (zh) | 一种基于大数据的网络工单计算方法及装置 | |
| CN110188160A (zh) | 数据存储方法和数据读取方法 | |
| CN114996598B (zh) | 一种基于通信大数据的时空关联分析方法、装置及设备 | |
| CN115905435A (zh) | 一种基于时空聚合中间态的信令数据分析方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |