CN117014939A - 一种基于移动通信用户的热度图数据生成方法及装置 - Google Patents
一种基于移动通信用户的热度图数据生成方法及装置 Download PDFInfo
- Publication number
- CN117014939A CN117014939A CN202311268081.9A CN202311268081A CN117014939A CN 117014939 A CN117014939 A CN 117014939A CN 202311268081 A CN202311268081 A CN 202311268081A CN 117014939 A CN117014939 A CN 117014939A
- Authority
- CN
- China
- Prior art keywords
- user
- grid
- node
- grids
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000010295 mobile communication Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000012544 monitoring process Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000009826 distribution Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011166 aliquoting Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明属于网优通信技术领域，具体涉及一种基于移动通信用户的热度图数据生成方法及装置，所述方法包括：将监控区域分为不同维度级别的网格和固定精细度网格；将监控区域内的MR数据按上报时间进行流式抽取；根据预设的推送规则，将MR数据推送到对应的分布处理节点进行处理；各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总；主节点按网格从大到小的粗粒度顺序进行统计，并与预先设定的各级阈值进行比较，逐一排除掉非热点网格区域，以得到疑似热点区域；对剩下的疑似热点区域，匹配固定精细度网格并记录用户数量，得出用户集中的具体热点位置。本发明能够解决数据刷新频率过低和展示结果延时过长问题。
Description
技术领域
本发明涉及网优通信技术领域，具体涉及一种基于移动通信用户的热度图数据生成方法及装置。
背景技术
在通信的网优（网络优化）领域中，经常需要对重点保障区域实时动态监控人员流动情况和热点，由于流动人口局部聚集不确定性、不固定性且最适用的MR（Measurementrecord，网络质量测量记录）统计数据量巨大，在面对每小时产生十亿以上数据量时，常用方案需要对统计时间内所有产生的新数据进行集中聚合分析、用户去重，内存使用巨大，且至少要3-5分钟以上时间为统计粒度，才能更新一次统计结果，无法在较短时间内就能刷新一次最新用户热度统计结果，存在数据刷新频率过低和展示结果延时过长的缺陷。
发明内容
针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种基于移动通信用户的热度图数据生成方法及装置，以克服现有技术中数据刷新频率过低和展示结果延时过长的缺陷。
为实现上述目的，第一方面，本发明实施例提供了一种基于移动通信用户的热度图数据生成方法，应用于服务端，所述服务端包括主节点以及与所述主节点分布式连接的分布处理节点；所述方法包括：
将监控区域预先分为不同维度级别的网格；其中，所述网格包括多个不同粗粒度大小的网格和一个固定精细度网格；
将所述监控区域内的MR数据按上报时间进行流式抽取，并获取所述MR数据包含的：上报时间、用户身份标识和用户位置经纬度信息；
根据预设的推送规则，将所述MR数据推送到对应的分布处理节点进行处理；
在各分布处理节点，将用户按对应的经纬度信息归属到每个维度级别的网格中；
每一个刷新周期时间到达后，各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总；
主节点按网格从大到小的粗粒度顺序进行统计，并与预先设定的各级阈值进行比较，逐一排除掉非热点网格区域，以得到疑似热点区域；
对剩下的所述疑似热点区域范围内，匹配所述固定精细度网格并记录用户数量，得出用户集中的具体热点位置。
优选地，各分布处理节点对每一个不同维度级别的网格，都配置有一个独立的用户统计容器HashMap；每条在HashMap容器被新加入的数据，产生一个Key/Value键值对象；
其中，Key为用户身份标识；
Value为被加入用户的最近活动时间；
如果被加入的用户身份标识在HashMap中已存在，且数据时间比上一次记录的时间要新，则更新用户的最后驻留的时间戳；
当每次用户的热点位置分析运算完成后，主节点通知分布处理节点对用户最后出现的时间超过预设分析粒度时间外的用户进行清理。
优选地，所述推送规则为：
将提取的用户身份标识的值与分布处理节点的数量取余，并将得到的值作为推送的分布处理节点的索引。
优选地，所述监控区域的地形边界的所有顶点，从工参数据中获取，取“最左”、“最上”、“最右”和“最下”的顶点，并计算出它的外切矩形；
然后在所述外切矩形内，预先等比分成多行列的所述不同维度级别的网格。
第二方面，本发明实施例还提供了一种基于移动通信用户的热度图数据生成装置，应用于服务端，所述服务端包括主节点以及与所述主节点分布式连接的分布处理节点；包括：
预处理模块，用于将监控区域预先分为不同维度级别的网格；其中，所述网格包括多个不同粗粒度大小的网格和一个固定精细度网格；
抽取模块，用于将所述监控区域内的MR数据按上报时间进行流式抽取，并获取所述MR数据包含的：上报时间、用户身份标识和用户位置经纬度信息；
推送模块，用于根据预设的推送规则，将所述MR数据推送到对应的分布处理节点进行处理；
节点模块，用于：
在各分布处理节点，将用户按对应的经纬度信息归属到每个维度级别的网格中；其中，用户经纬度归属到网格的方法如下：
计算用户位置与监控区域边界的外切矩形的左上角顶点X轴和Y轴距离，分别为distX和distY；
计算出归属网格的行和列索引：
Row = (distY / 网格的高度) +1；
Column = (distX / 网格的宽度)+1；
每一个刷新周期时间到达后，各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总；
主节点按网格从大到小的粗粒度顺序进行统计，并与预先设定的各级阈值进行比较，逐一排除掉非热点网格区域，以得到疑似热点区域；
生成模块，用于对剩下的所述疑似热点区域范围内，匹配所述固定精细度网格并记录用户数量，得出用户集中的具体热点位置。
实施本发明实施例，通过对MR数据按上报时间进行流式抽取，根据预设的推送规则推送到对应的分布处理节点进行处理，使得用户数据只分布式存储在各分布处理节点上，减少主节点和单个节点因存储用户数据过多而内存巨大甚至溢出问题；因为根据推送规则，所述MR是按用户身份标识和分布式服务器节点数量的余值，推送到分布处理节点处理的，同一个用户不会存在不同的分布处理节点上，所以分布节点在每个运算周期时间到达后，仅需向主节点上报每个网格下的用户总数，不必上报用户清单，从而大幅提高主从节点之间的网络交换速度，进而支持数据的快速刷新；
同时，按MR记录中的用户位置，落点到对应的各级别网格中，进行粗粒度的用户数量预统计；然后依级别逐步排除非热点区域，最后再对剩下未被排除的疑似热点区域进行重点分析；通过大幅减少分析面积，从而准确快速找出所有热点的具体区域，以便能及时将得到的热度图数据进行展示；解决数据刷新频率过低和展示结果延时过长问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种基于移动通信用户的热度图数据生成方法的流程图；
图2是本发明实施例提供的一种粗粒度等分网格的示意图；
图3是本发明实施例提供的一种固定精细度网格的示意图；
图4是本发明实施例提供的一种基于移动通信用户的热度图数据生成装置的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
MR：Measurement record，网络质量测量记录；
MMEUeS1apid：用户身份标识，用于标识一个UE(用户设备)。
第一方面，请参考图1至图3，本发明实施例提供的一种基于移动通信用户的热度图数据生成方法，应用于服务端，所述服务端包括主节点以及与所述主节点分布式连接的分布处理节点；所述方法包括：
S101，将监控区域预先分为不同维度级别的网格；其中，所述网格包括多个不同粗粒度大小的网格和一个固定精细度网格。
具体地，所述监控区域可理解为通信的重点保障区域，所述监控区域的地形边界的所有顶点，从工参数据中获取，取“最左”、“最上”、“最右”和“最下”的顶点，并计算出它的外切矩形；
然后在所述外切矩形内，预先等比分成多行列的所述不同维度级别的网格；需要说明的是，用户设备在进行移动通信时，通过连接基站，使得运营商会获取上报的MR数据和工参数据；可通过连接基站的设备服务器来获取上述数据。
本实施例中，预先等比分成“M行*N列”的不同维度粗粒度网格，即：(4行*4列（如图2）、16行*16列、64行*64列)和一个以“20米*20米（如图3）”实际距离的精粒度网格；其中，M和N均为正整数，20米*20米即为所述的一个固定精细度网格；上述取值只是举例，并不是对其进行限制。
S102，将所述监控区域内的MR数据按上报时间进行流式抽取，并获取所述MR数据包含的：上报时间、用户身份标识和用户位置经纬度信息。
即，按上报时间顺序，流式读取MR用户测量报告原始数据；获取所述MR数据的：上报时间、用户身份标识(MMEUeS1apid)和用户位置经纬度信息(Longitude、Latitude)；从而将目前的周期统计方式改为对MR数据流式实时分析，将一个用户身份标识作为一个移动通信用户。
S103，根据预设的推送规则，将所述MR数据推送到对应的分布处理节点进行处理。
具体地，所述推送规则为：
将提取的用户身份标识的值与分布处理节点的数量取余，并将得到的值作为推送的分布处理节点的索引。
按提取的用户身份标识(MMEUeS1apid)的值与分布处理节点的数量取余值，推送到对应的分布节点进行处理。即：“分布处理节点的索引”= Mod（“MMEUeS1apid”，“分布服务器的数量”）。
S104，在各分布处理节点，将用户按对应的经纬度信息归属到每个维度级别的网格中。
具体地，分布处理节点服务器收到推送的数据后，按经纬度将用户归属到对应的每个等比分割的粗粒度“M行*N列”网格和20米网格中，并把用户身份标识MMEUeS1apid加入到对应的用户聚合HashMap容器去重。每一个不同粒度级别网格，都有一个独立的用户统计HashMap容器。每条在HashMap容器被新加入的数据，产生一个 “Key/Value” 键值对象；
Key=“用户身份标识(MMEUeS1apid)”
Value=“用户的最后驻留的时间戳lastAriseTime”
如果被加入的用户身份标识在HashMap中已存在，且数据时间比上一次记录的时间要新，则更新用户的最后驻留的时间戳lastAriseTime；最后驻留的时间戳的主要作用是每次用户数统计完成后，后面能够在不变动存储结构的前提下，快速识别并清除在当前网格最近活动时间超过分析粒度的无效用户。其中，用户经纬度归属到网格的方法如下：
(1)：计算用户位置与监控区域边界外切矩形的左上角顶点X轴和Y轴距离，分别为“distX”、“distY”；即，用户位置与监控区域边界外切矩形的左上角顶点X轴的距离为distX，对应到Y轴的距离为distY；
(2)：用下列算法计算出归属网格的行和列索引：
Row = (“distY ”/ “网格的高度”) +1；
Column = (“distX”/“网格的宽度”)+1。
S105，每一个刷新周期时间到达后，各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总。
即，根据预设的刷新频率，各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总。
需要说明的是，刷新周期时间：即数据每隔X秒刷新的运算周期；本实施例以X为10进行举例说明。
分析周期：数据的分析时间范围，如5分钟，是固定预设的。
如：每10秒钟刷新统计一次最近5分钟的用户数量。则10秒为一次刷新运算周期，5分钟为分析数据范围。即:
8:00:00统计(7:55:00-8:00:00的MR数据)
8:00:10统计(7:55:10-8:00:10的MR数据)
8:00:20统计(7:55:20-8:00:20的MR数据)
8:00:30统计(7:55:30-8:00:30的MR数据)
具体地，每一个刷新周期时间到达后，所有分布处理节点，将自己节点下每个维度级别网格的用户总数，上报并汇总到主节点，而不需要将用户清单提交到主节点，主节点只存储每个网格的用户总数；从而大幅提高主从节点之间的网络交换速度，且主要的用户清单内存都均匀分布在分布处理节点上。这是因为整个分布式处理框架是按用户身份标识(MMEUeS1apid)作分布条件的，所以不存在用户被重复统计的情况，只需按同级别的网格ID累加即可。
S106，主节点按网格从大到小的粗粒度顺序进行统计，并与预先设定的各级阈值进行比较，逐一排除掉非热点网格区域，以得到疑似热点区域。
应用时，主节点，汇集完成所有分布处理节点的用户总数后，先按网格粒度从大到小顺序，首先从(4行*4列)网格中排除到用户数不能达到阀值的网格区域，再从剩下的网格区域继续按(16行*16列)网格中排除更小的网格区域，依次类推，直到确定所有未被排除保留下的（64行*64列）网格区域即为疑似用户热点区域；排除条件公式为：
K < X*(1+ ((Width/M) * (Heigth/N)/1000-1)*20%)
其中：
K：当前网格的用户总数；
X：每1000平方米属于热点人数的阀值；
Width：监控区域边界的外切矩形宽度；
Height：监控区域边界的外切矩形高度；
M：当前网格粒度的列数；
N：当前网格粒度的行数。
S107，对剩下的所述疑似热点区域范围内，匹配所述固定精细度网格并记录用户数量，得出用户集中的具体热点位置。
本实施例中，匹配所述固定精细度网格时，还将所述疑似热点区域的范围向外扩大预设距离范围后，再匹配出包含的所有固定精细度网格。
即，在被确定一个相对面积非常小的疑似热点区域范围内，然后按该区域向外扩大N米（如：N=50），找出包含的所有20米网格，结合20米网格下同时记录用户数量，得到用户集中的具体热点位置。通过大幅减少分析面积，从而大幅提高分析速度。
进一步地，当每次用户的热点位置分析运算完成后，主节点通知分布处理节点，清除各自每个网格下的过期用户数据。清除规则：“运算时间analysisTime”-“用户的最后驻留的时间戳lastAriseTime”>=“N分钟”。通过上述方法，使能在极小时间损耗内且不破坏有效用户清单数据基础上，从而快速清除掉过期的用户记录。其中：
analysisTime：每次的数据运算时间（如每10秒刷新运算一次，则analysisTime可以是：8:00:00、8:00:10、8:00:20、…）
lastAriseTime：用户在当前网格下的最后驻留的时间戳（由MR数据中获取）
N：数据的分析时间粒度(如N=5分钟)；所述运算时间为每次用户的热点位置分析运算时间，其与每次的数据运算时间含义相同；
按前述举例，这个清理的规则是:
在8:00:00的时候就清理7:55:00分(8:00:00 - 5分钟)之前的数据;
在8:00:10的时候就清理7:55:10分(8:00:10 - 5分钟)之前的数据;
在8:00:20的时候就清理7:55:20分(8:00:20 - 5分钟)之前的数据;
最后再根据刷新频率，将最新的统计结果更新到数据库，以便能及时将结果展示到相关显示设备上，得到热力图数据。
上述技术方案，通过对MR数据按上报时间进行流式抽取，并推送到对应的分布处理节点进行处理，使得用户数据只分布式存在各分布处理节点上，减少主节点和单个节点因存储用户数据过多而内存巨大甚至溢出问题，从而大幅提高主从节点之间的网络交换速度，进而支持数据的快速刷新；
同时，按MR记录中的用户位置，落点到对应的各级别网格中，进行粗粒度的用户数量预统计；然后依级别逐步排除非热点区域，最后再对剩下未被排除的疑似热点区域进行重点分析；通过大幅减少分析面积，从而准确快速找出所有热点的具体区域，以便能及时将得到的热度图数据进行展示；解决数据刷新频率过低和展示结果延时过长问题。
基于相同的发明构思，本发明实施例还提供了一种基于移动通信用户的热度图数据生成装置，应用于服务端，所述服务端包括主节点以及与所述主节点分布式连接的分布处理节点；如图4所示，包括：
预处理模块，用于将监控区域预先分为不同维度级别的网格；其中，所述网格包括多个不同粗粒度大小的网格和一个固定精细度网格；
所述监控区域的地形边界的所有顶点，从工参数据中获取，取“最左”、“最上”、“最右”和“最下”的顶点，并计算出它的外切矩形；
然后在所述外切矩形内，预先等比分成多行列的所述不同维度级别的网格。
抽取模块，用于将所述监控区域内的MR数据按上报时间进行流式抽取，并获取所述MR数据包含的：上报时间、用户身份标识和用户位置经纬度信息；
推送模块，用于根据预设的推送规则，将所述MR数据推送到对应的分布处理节点进行处理；
所述推送规则为：
将提取的用户身份标识的值与分布处理节点的数量取余，并将得到的值作为推送的分布处理节点的索引；从而将数据都均匀分布在各分布处理节点上。
节点模块，用于：
在各分布处理节点，将用户按对应的经纬度信息归属到每个维度级别的网格中；其中，用户经纬度归属到网格的方法如下：
计算用户位置与监控区域边界的外切矩形的左上角顶点X轴和Y轴距离，分别为distX和distY；
计算出归属网格的行和列索引：
Row = (distY / 网格的高度) +1；
Column = (distX / 网格的宽度)+1；
每一个运算周期时间到达后，各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总；
主节点按网格从大到小的粗粒度顺序进行统计，并与预先设定的各级阈值进行比较，逐一排除掉非热点网格区域，以得到疑似热点区域；
生成模块，用于对剩下的所述疑似热点区域范围内，匹配所述固定精细度网格并记录用户数量，得出用户集中的具体热点位置。
进一步地，各分布处理节点对每一个不同维度级别的网格，都配置有一个独立的用户统计容器；
并在容器中每条被加入的数据中，除所述用户身份标识外，同时记录该用户的最后驻留的时间戳；
当每次用户的热点位置分析运算完成后，主节点通知分布处理节点对用户最后出现的时间超过预设分析粒度时间外的用户进行清理；
其中，清理规则为：运算时间-用户的最后驻留的时间戳>=N分钟，N为分析粒度时间，所述运算时间为每次用户的热点位置分析运算时间。
匹配所述固定精细度网格时，还将所述疑似热点区域的范围向外扩大预设距离范围后，再匹配出包含的所有固定精细度网格；即，对剩下未被排除的疑似热点区域及相邻范围进行重点分析，准确快速找出所有热点具体区域。
需要说明的是，关于装置更为具体的工作流程，请参考前述方法实施例部分，在此不再赘述。
本实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如所述的一种基于移动通信用户的热度图数据生成方法实施例的步骤。
具体的，计算机可读存储介质可包括缓存（Cache）、高速随机存取存储器（RAM），例如常见的双倍数据率同步动态随机存取内存（DDR SDRAM），并且还可包括非易失性存储器（NVRAM），诸如一个或多个只读存储器（ROM）、磁盘存储设备、闪存（Flash）存储器设备、或其他非易失性固态存储器设备例如光盘（CD-ROM，DVD-ROM），软盘或数据磁带等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于移动通信用户的热度图数据生成方法，其特征在于，应用于服务端，所述服务端包括主节点以及与所述主节点分布式连接的分布处理节点；所述方法包括：
将监控区域预先分为不同维度级别的网格；其中，所述网格包括多个不同粗粒度大小的网格和一个固定精细度网格；
将所述监控区域内的MR数据按上报时间进行流式抽取，并获取所述MR数据包含的：上报时间、用户身份标识和用户位置经纬度信息；
根据预设的推送规则，将所述MR数据推送到对应的分布处理节点进行处理；
在各分布处理节点，将用户按对应的经纬度信息归属到每个维度级别的网格中；
每一个刷新周期时间到达后，各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总；
主节点按网格从大到小的粗粒度顺序进行统计，并与预先设定的各级阈值进行比较，逐一排除掉非热点网格区域，以得到疑似热点区域；
对剩下的所述疑似热点区域范围内，匹配所述固定精细度网格并记录用户数量，得出用户集中的具体热点位置。
2.根据权利要求1所述的一种基于移动通信用户的热度图数据生成方法，其特征在于，各分布处理节点对每一个不同维度级别的网格，都配置有一个独立的用户统计容器HashMap；每条在HashMap容器被新加入的数据，产生一个Key/Value键值对象；
其中，Key为用户身份标识；
Value为用户的最后驻留的时间戳；
如果被加入的用户身份标识在HashMap中已存在，且数据时间比上一次记录的时间要新，则更新用户的最后驻留的时间戳；
当每次用户的热点位置分析运算完成后，主节点通知分布处理节点对用户最后出现的时间超过预设分析粒度时间外的用户进行清理。
3.根据权利要求2所述的一种基于移动通信用户的热度图数据生成方法，其特征在于，所述推送规则为：
将提取的用户身份标识的值与分布处理节点的数量取余，并将得到的值作为推送的分布处理节点的索引。
4.根据权利要求1至3中任一所述的一种基于移动通信用户的热度图数据生成方法，其特征在于，所述监控区域的地形边界的所有顶点，从工参数据中获取，取“最左”、“最上”、“最右”和“最下”的顶点，并计算出它的外切矩形；
然后在所述外切矩形内，预先等比分成多行列的所述不同维度级别的网格。
5.一种基于移动通信用户的热度图数据生成装置，其特征在于，应用于服务端，所述服务端包括主节点以及与所述主节点分布式连接的分布处理节点；包括：
预处理模块，用于将监控区域预先分为不同维度级别的网格；其中，所述网格包括多个不同粗粒度大小的网格和一个固定精细度网格；
抽取模块，用于将所述监控区域内的MR数据按上报时间进行流式抽取，并获取所述MR数据包含的：上报时间、用户身份标识和用户位置经纬度信息；
推送模块，用于根据预设的推送规则，将所述MR数据推送到对应的分布处理节点进行处理；
节点模块，用于：
在各分布处理节点，将用户按对应的经纬度信息归属到每个维度级别的网格中；其中，用户经纬度归属到网格的方法如下：
计算用户位置与监控区域边界的外切矩形的左上角顶点X轴和Y轴距离，分别为distX和distY；
计算出归属网格的行和列索引：
Row = (distY / 网格的高度) +1；
Column = (distX / 网格的宽度)+1；
每一个刷新周期时间到达后，各分布处理节点将自己节点下每个级别网格的用户总数，上报至主节点进行汇总；
主节点按网格从大到小的粗粒度顺序进行统计，并与预先设定的各级阈值进行比较，逐一排除掉非热点网格区域，以得到疑似热点区域；
生成模块，用于对剩下的所述疑似热点区域范围内，匹配所述固定精细度网格并记录用户数量，得出用户集中的具体热点位置。
6.根据权利要求5所述的一种基于移动通信用户的热度图数据生成装置，其特征在于，各分布处理节点对每一个不同维度级别的网格，都配置有一个独立的用户统计容器；
并在容器中每条被加入的数据中，除所述用户身份标识外，同时记录该用户的最后驻留的时间戳；
当每次用户的热点位置分析运算完成后，主节点通知分布处理节点对用户最后出现的时间超过预设分析粒度时间外的用户进行清理；
其中，清理规则为：运算时间-用户的最后驻留的时间戳>=N分钟，N为分析粒度时间，所述运算时间为每次用户的热点位置分析运算时间。
7.根据权利要求5所述的一种基于移动通信用户的热度图数据生成装置，其特征在于，所述推送规则为：
将提取的用户身份标识的值与分布处理节点的数量取余，并将得到的值作为推送的分布处理节点的索引。
8.根据权利要求5所述的一种基于移动通信用户的热度图数据生成装置，其特征在于，所述监控区域的地形边界的所有顶点，从工参数据中获取，取“最左”、“最上”、“最右”和“最下”的顶点，并计算出它的外切矩形；
然后在所述外切矩形内，预先等比分成多行列的所述不同维度级别的网格。
9.根据权利要求5至8中任一所述的一种基于移动通信用户的热度图数据生成装置，其特征在于，匹配所述固定精细度网格时，还将所述疑似热点区域的范围向外扩大预设距离范围后，再匹配出包含的所有固定精细度网格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311268081.9A CN117014939B (zh) | 2023-09-28 | 2023-09-28 | 一种基于移动通信用户的热度图数据生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311268081.9A CN117014939B (zh) | 2023-09-28 | 2023-09-28 | 一种基于移动通信用户的热度图数据生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117014939A true CN117014939A (zh) | 2023-11-07 |
| CN117014939B CN117014939B (zh) | 2023-12-08 |
Family
ID=88576555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311268081.9A Active CN117014939B (zh) | 2023-09-28 | 2023-09-28 | 一种基于移动通信用户的热度图数据生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117014939B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106060920A (zh) * | 2016-05-27 | 2016-10-26 | 中国联合网络通信集团有限公司 | 热点区域确定方法和系统 |
| CN107070961A (zh) * | 2016-09-30 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 基于地理位置数据的热点区域确定方法及装置 |
| CN111654879A (zh) * | 2020-06-02 | 2020-09-11 | 中国联合网络通信集团有限公司 | 业务推送方法、装置、控制设备及存储介质 |
| CN112105047A (zh) * | 2019-06-18 | 2020-12-18 | 中国移动通信集团浙江有限公司 | 流量热度地理化方法、装置、设备及计算机存储介质 |
| CN113392338A (zh) * | 2021-06-11 | 2021-09-14 | 中国联合网络通信集团有限公司 | 热点区域定位方法、装置、设备及存储介质 |
| US20220078645A1 (en) * | 2018-12-20 | 2022-03-10 | Spatialbuzz Limited | Identifying anomalies in communications networks by defining regions |
| CN115278529A (zh) * | 2022-06-24 | 2022-11-01 | 中国电信股份有限公司 | 一种移动终端分布可视化方法及装置 |
-
2023
- 2023-09-28 CN CN202311268081.9A patent/CN117014939B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106060920A (zh) * | 2016-05-27 | 2016-10-26 | 中国联合网络通信集团有限公司 | 热点区域确定方法和系统 |
| CN107070961A (zh) * | 2016-09-30 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 基于地理位置数据的热点区域确定方法及装置 |
| US20220078645A1 (en) * | 2018-12-20 | 2022-03-10 | Spatialbuzz Limited | Identifying anomalies in communications networks by defining regions |
| CN112105047A (zh) * | 2019-06-18 | 2020-12-18 | 中国移动通信集团浙江有限公司 | 流量热度地理化方法、装置、设备及计算机存储介质 |
| CN111654879A (zh) * | 2020-06-02 | 2020-09-11 | 中国联合网络通信集团有限公司 | 业务推送方法、装置、控制设备及存储介质 |
| CN113392338A (zh) * | 2021-06-11 | 2021-09-14 | 中国联合网络通信集团有限公司 | 热点区域定位方法、装置、设备及存储介质 |
| CN115278529A (zh) * | 2022-06-24 | 2022-11-01 | 中国电信股份有限公司 | 一种移动终端分布可视化方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117014939B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106060920B (zh) | 热点区域确定方法和系统 | |
| CN107729219B (zh) | 基于超融合存储系统的资源监控方法、装置及终端 | |
| CN106547894A (zh) | 基于移动通信信令大数据挖掘职住位置标签的系统及方法 | |
| CN110874702B (zh) | 物流分拣场景下的模型训练方法、装置以及电子设备 | |
| WO2022134471A1 (zh) | 区块链节点的管理方法、装置、计算机设备和存储介质 | |
| CN109977109A (zh) | 一种轨迹数据清洗方法及伴随分析方法 | |
| CN112347652B (zh) | 基于水文气象地区线性矩频率分析的暴雨高风险区划方法 | |
| CN114611941A (zh) | 一种考虑空间危险性的滑坡灾害评价方法及系统 | |
| CN117014939B (zh) | 一种基于移动通信用户的热度图数据生成方法及装置 | |
| CN109284289A (zh) | 数据集处理方法、装置、计算机设备及存储介质 | |
| CN113297046A (zh) | 一种内存故障的预警方法及装置 | |
| CN107515807B (zh) | 一种存储监控数据的方法及装置 | |
| CN116578409A (zh) | 内存热页识别与迁移的方法、系统及介质 | |
| CN109768878B (zh) | 一种基于大数据的网络工单计算方法及装置 | |
| CN113065701B (zh) | 一种轨道交通客流量智能预测方法和装置 | |
| CN112907056B (zh) | 一种基于图神经网络的城市管理投诉事件预测方法及系统 | |
| CN116703132B (zh) | 共享车辆动态调度的管理方法、装置及计算机设备 | |
| CN112347217B (zh) | 一种基于海量数据分层的实时标绘方法 | |
| JPWO2014021069A1 (ja) | トラフィックデータ収集装置、トラフィックデータ収集方法、及びプログラム | |
| CN112541047A (zh) | 一种适用于多级网格化管理系统的海量数据聚合方法 | |
| CN113052425A (zh) | 基于大数据的复工风险指数确定方法和装置 | |
| CN116611914A (zh) | 一种基于分组统计的薪资预测方法及设备 | |
| CN106570126A (zh) | 一种收集HBase热点数据块信息的方法及系统 | |
| CN107995014B (zh) | 基于告警信息发现功能拓扑的方法及装置 | |
| Sahri et al. | Customized eager-lazy data cleansing for satisfactory big data veracity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |