CN105681768A - 一种通过通信数据实现人流实时监控的方法 - Google Patents

Abstract

本发明公开了一种通过通信数据实现人流实时监控的方法，其实现过程为：首先采集通信数据，并将通信数据结合网络资源信息、地理信息，通过数据模型分析出某个区域的人流数量、轨迹、来源、移动速度信息，通信数据包括每个人所携带手机与通信网络之间交互所产生的信令数据、经分数据、BOSS数据；再将这些有用信息清晰的呈现在视频监控设备上，供安全管理人员实时监控和引导人流。本发明的一种通过通信数据实现人流实时监控的方法与现有技术相比，通过监控区域内显示各个分区内人流量，防止出现区域内人员扎堆的情况；利用大数据处理技术结合运营商自有数据实时分析监控区域内人流，大大减少了投资，并满足大多数临时人流比较聚集场合；大大减少有安全管理人员的投入，为各种人流密集区域的保障工作节约人力投入，实用性强，易于推广。

Description

一种通过通信数据实现人流实时监控的方法

技术领域

本发明涉及通信信息技术领域，具体地说是一种通过通信数据实现人流实时监控的方法。

背景技术

以往人们对于人流监控总是停留在视频监控系统、摄像头采集、人脸识别、光纤传输等概念，然而这些固然可靠，可是对于大多数没有这些硬件条件支撑的场景，例如临时性的会议、集会、赛事、节假日人流突发增长的场景。我们就需要一种能实时监控反映人流动向的新方法，以保证安全管理人员可以及时的监控和引导人流。

通常，我们利用海量通信数据进行人流分析是都采用Hadoop、HBase等大数据处理技术，这样就不可避免的产生了“数据时延”，也就是说每个人所携带手机从与通信网络产生交互消息到数据处理完毕反映到监控设备这段时间。以往的大数据处理技术以及设备响应速率所产生的“数据时延”，远远不能够达到实时监控的要求。

目前大数据处理技术纷繁复杂，但是真正运用的我们日常生活中需要的场景的成熟案例并不多。一些大数据处理技术领先的公司也只是对数据处理，一些拥有数据的公司却又缺乏必要的大数据处理能力。基于此，现提供一种通过通信数据实现人流实时监控的方法。本方法正是利用目前流行的大数据处理技术，结合运营商的自有海量通信大数据，在人流监控领域做到了节约成本、提高收益、实时监控的效果。

发明内容

本发明的技术任务是针对以上不足之处，提供一种通过通信数据实现人流实时监控的方法。

一种通过通信数据实现人流实时监控的方法，其实现过程为：

首先采集通信数据，并将通信数据结合网络资源信息、地理信息，通过数据模型分析出某个区域的人流数量、轨迹、来源、移动速度信息，通信数据包括每个人所携带手机与通信网络之间交互所产生的信令数据、经分数据、BOSS数据；

再将这些有用信息清晰的呈现在视频监控设备上，供安全管理人员实时监控和引导人流。

对通信数据的采集通过SDTP方式实时采集，该SDTP方式用于实时通信数据接收、清洗。

该方法基于以下硬件平台完成人流实时监控，该硬件平台具体包括：

设置于监控区域指挥中心的视频监控平台，视频监控平台上呈现监控区域地理信息、监控区域内部人流量以及区域内人流轨迹；

监控区域内人流量采集系统，即通过大数据处理挖掘技术挖掘运营商自有的通信数据和通信设备资源信息，将监控区域内人流数量、流动方向、流动速度、来源分布、年龄结构、行为偏好、驻留时长信息统计出来；

监控区域内人流量预警系统，通过设置预警规则，对达到预警阀值的区域内人员自动发送预警信息。

所述视频监控平台的后台将接收到的通信数据进行大数据计算，根据数据模型在GIS地图上生成实时人流信息，然后将这些信息传递到视频接入设备，完成视频展示。

人流量采集系统顺序通过Kafka、Storm、Codis数据实时处理组件对海量数据进行实时处理，完成人流量采集，其中kafka为实时通信数据队列；storm用于实时数据处理；codis用于数据处理、内存存储。

人流量采集系统通过人流量算法实现人流量采集，该人流量算法基于客户行为轨迹信息表计算，当统计时段内存在部分沉默客户时，对于这部分客户取最近的位置记录作为客户当前的位置记录。

实时人流量信息的具体计算过程为：

取客户行为轨迹信息表当前统计时段的客户轨迹记录集合；

对于未出现在当前统计时段的客户位置记录，取上个统计时段的客户位置记录回填；

在回填过程中剔除长时间未产生位置记录的客户记录。

其具体为：

取当前统计时段Tn和上个统计时段Tn-1的客户行为轨迹表的客户记录集合；

取出现在Tn-1，未出现在Tn的客户记录，记为Recordi；

当前时间内客户Recordi的事件触发事件＜100分钟，是则进入下一步，否则返回上一步；

将客户记录Recordi回填到当前区域客户记录集合Tn中；

当记录遍历结束时，没有满足条件的记录，则取Tn的客户记录数作为当前时段的实时人流量。

所述Kafka通过Hadoop的并行加载机制来统一线上和离线的消息处理，通过集群来提供实时的消费，是一种高吞吐量的分布式发布订阅消息系统，用于处理消费者规模的网站中的所有动作流数据，这里的动作流是指包括网页浏览、搜索的行动，这些数据是由于吞吐量的要求而通过处理日志和日志聚合来解决。

所述Storm为分布式实时计算提供了一组通用原语，该数据实时处理组件应用于以下三种情况中：

用于流处理之中，实时处理消息并更新数据库；

用于连续计算，对数据流做连续查询，在计算时就将结果以流的形式输出给用户；

用于分布式RPC，以并行的方式运行运算。

本发明的一种通过通信数据实现人流实时监控的方法和现有技术相比，具有以下有益效果：

本发明使用的方法中，视频监控平台可以显示监控区域内实时的人流量以及人流量方向、轨迹等信息，显示出监控区域内是否出现超出饱和值的情况，从而警示区域内人员，并通过短消息方式提示，防止因人员爆满出现危险事故；通过监控区域内显示各个分区内人流量，防止出现区域内人员扎堆的情况；利用大数据处理技术结合运营商自有数据实时分析监控区域内人流，大大减少了投资，并满足大多数临时人流比较聚集场合；人流量预警系统也将大大减少有安全管理人员的投入，为各种人流密集区域的保障工作节约人力投入，实用性强，易于推广。

附图说明

附图1为本发明的实现示意图。

附图2为区域人流监控的设计思路图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如附图1、图2所示，本发明的一种通过通信数据实现人流实时监控的方法，其实现过程为：

首先采集通信数据，并将通信数据结合网络资源信息、地理信息，通过数据模型分析出某个区域的人流数量、轨迹、来源、移动速度信息，通信数据包括每个人所携带手机与通信网络之间交互所产生的信令数据、经分数据、BOSS数据；

再将这些有用信息清晰的呈现在视频监控设备上，供安全管理人员实时监控和引导人流。

对通信数据的采集通过SDTP方式实时采集，该SDTP方式用于实时通信数据接收、清洗。

该方法基于以下硬件平台完成人流实时监控，该硬件平台具体包括：

设置于监控区域指挥中心的视频监控平台，视频监控平台上可呈现监控区域地理信息、监控区域内部人流量、以及区域内人流轨迹；

还包括监控区域内人流量采集系统，即利用运营商自由的通信数据和通信设备资源信息结合大数据处理挖掘技术，将监控区域内人流数量、流动方向、流动速度、来源分布、年龄结构、行为偏好、驻留时长等信息统计出来；

还包括监控区域内人流量预警系统，认为设置一些预警规则，对达到预警阀值的区域内人员自动发送预警信息。

传统视频监控和预警系统建设具有投资大、技术要求高、涉及用户广、链接环节多等特点。因而在本发明中，所述视频监控平台的后台将接收到的通信数据进行大数据计算，根据数据模型在GIS地图上生成实时人流信息，然后将这些信息传递到视频接入设备，完成视频展示。

人流量采集系统顺序通过Kafka、Storm、Codis数据实时处理组件对海量数据进行实时处理，完成人流量采集，其中kafka为实时通信数据队列；storm用于实时数据处理；codis用于数据处理、内存存储。

所述Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。

Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”（continuouscomputation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Codis是一个分布式Redis解决方案，对于上层的应用来说，连接到CodisProxy和连接原生的RedisServer没有明显的区别(不支持的命令列表)，上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，不停机的数据迁移等工作，所有后边的一切事情，对于前面的客户端来说是透明的，可以简单的认为后边连接的是一个内存无限大的Redis服务。

人流量采集系统通过人流量算法实现人流量采集，该人流量算法基于客户行为轨迹信息表计算，当统计时段内存在部分沉默客户时，对于这部分客户取最近的位置记录作为客户当前的位置记录。

实时人流量信息的具体计算过程为：

取客户行为轨迹信息表当前统计时段的客户轨迹记录集合；

对于未出现在当前统计时段的客户位置记录，取上个统计时段的客户位置记录回填；

在回填过程中剔除长时间未产生位置记录的客户记录。

其具体为：

取当前统计时段Tn和上个统计时段Tn-1的客户行为轨迹表的客户记录集合；

取出现在Tn-1，未出现在Tn的客户记录，记为Recordi；

当前时间内客户Recordi的事件触发事件＜100分钟，是则进入下一步，否则返回上一步；

将客户记录Recordi回填到当前区域客户记录集合Tn中；

当记录遍历结束时，没有满足条件的记录，则取Tn的客户记录数作为当前时段的实时人流量。

实际搭建过程中，其整体架构包括：SDTP接口机：4台、kafka5台、流处理Storm：7台、codis：3台，单机硬件配置：CPU2*8，内存128G，硬盘：（2+20）*900GBSAS10K，RAID卡；网卡：2*万兆网卡。

通过本方法可以实时监控景区、会议、集会等人流分布较为密集的区域，为旅游景区、公安、交通、政府、会议组织者等管理人员提供实时人流轨迹、预警等有用信息。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (10)

1.一种通过通信数据实现人流实时监控的方法，其特征在于，其实现过程为：

首先采集通信数据，并将通信数据结合网络资源信息、地理信息，通过数据模型分析出某个区域的人流数量、轨迹、来源、移动速度信息，通信数据包括每个人所携带手机与通信网络之间交互所产生的信令数据、经分数据、BOSS数据；

再将这些有用信息清晰的呈现在视频监控设备上，供安全管理人员实时监控和引导人流。

2.根据权利要求1所述的一种通过通信数据实现人流实时监控的方法，其特征在于，对通信数据的采集通过SDTP方式实时采集，该SDTP方式用于实时通信数据接收、清洗。

3.根据权利要求1所述的一种通过通信数据实现人流实时监控的方法，其特征在于，该方法基于以下硬件平台完成人流实时监控，该硬件平台具体包括：

设置于监控区域指挥中心的视频监控平台，视频监控平台上呈现监控区域地理信息、监控区域内部人流量以及区域内人流轨迹；

监控区域内人流量采集系统，即通过大数据处理挖掘技术挖掘运营商自有的通信数据和通信设备资源信息，将监控区域内人流数量、流动方向、流动速度、来源分布、年龄结构、行为偏好、驻留时长信息统计出来；

监控区域内人流量预警系统，通过设置预警规则，对达到预警阀值的区域内人员自动发送预警信息。

4.根据权利要求3所述的一种通过通信数据实现人流实时监控的方法，其特征在于，所述视频监控平台的后台将接收到的通信数据进行大数据计算，根据数据模型在GIS地图上生成实时人流信息，然后将这些信息传递到视频接入设备，完成视频展示。

5.根据权利要求3所述的一种通过通信数据实现人流实时监控的方法，其特征在于，人流量采集系统顺序通过Kafka、Storm、Codis数据实时处理组件对海量数据进行实时处理，完成人流量采集，其中kafka为实时通信数据队列；storm用于实时数据处理；codis用于数据处理、内存存储。

6.根据权利要求5所述的一种通过通信数据实现人流实时监控的方法，其特征在于，人流量采集系统通过人流量算法实现人流量采集，该人流量算法基于客户行为轨迹信息表计算，当统计时段内存在部分沉默客户时，对于这部分客户取最近的位置记录作为客户当前的位置记录。

7.根据权利要求6所述的一种通过通信数据实现人流实时监控的方法，其特征在于，人流量算法的内容为：

取客户行为轨迹信息表当前统计时段的客户轨迹记录集合；

对于未出现在当前统计时段的客户位置记录，取上个统计时段的客户位置记录回填；

在回填过程中剔除长时间未产生位置记录的客户记录。

8.根据权利要求7所述的一种通过通信数据实现人流实时监控的方法，其特征在于，人流量算法的具体内容为：

取当前统计时段Tn和上个统计时段Tn-1的客户行为轨迹表的客户记录集合；

取出现在Tn-1，未出现在Tn的客户记录，记为Recordi；

当前时间内客户Recordi的事件触发事件＜100分钟，是则进入下一步，否则返回上一步；

将客户记录Recordi回填到当前区域客户记录集合Tn中；

当记录遍历结束时，没有满足条件的记录，则取Tn的客户记录数作为当前时段的实时人流量。

9.根据权利要求5所述的一种通过通信数据实现人流实时监控的方法，其特征在于，所述Kafka通过Hadoop的并行加载机制来统一线上和离线的消息处理，通过集群来提供实时的消费，是一种高吞吐量的分布式发布订阅消息系统，用于处理消费者规模的网站中的所有动作流数据，这里的动作流是指包括网页浏览、搜索的行动，这些数据是由于吞吐量的要求而通过处理日志和日志聚合来解决。

10.根据权利要求5所述的一种通过通信数据实现人流实时监控的方法，其特征在于，所述Storm为分布式实时计算提供了一组通用原语，该数据实时处理组件应用于以下三种情况中：

用于流处理之中，实时处理消息并更新数据库；

用于连续计算，对数据流做连续查询，在计算时就将结果以流的形式输出给用户；

用于分布式RPC，以并行的方式运行运算。