CN110475206B - 一种基于wifi日志的监控预警方法 - Google Patents
一种基于wifi日志的监控预警方法 Download PDFInfo
- Publication number
- CN110475206B CN110475206B CN201910577293.2A CN201910577293A CN110475206B CN 110475206 B CN110475206 B CN 110475206B CN 201910577293 A CN201910577293 A CN 201910577293A CN 110475206 B CN110475206 B CN 110475206B
- Authority
- CN
- China
- Prior art keywords
- key
- early warning
- wifi
- log data
- key personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于wifi日志的监控预警方法,基于用户基本信息库,对所采集的wifi日志数据进行用户识别;基于预先设定的预警条件,判断是否出现该重点人员的wifi日志数据,实现重点人员的实时监控;统计重点地区在时间周期内用户总人数是否人群密度阈值,实现重点地区的实时监控;基于逻辑回归模型库和重点人员的历史轨迹,对重点人员进行轨迹预测,预测重点人员在路口的行驶方向。本发明不仅仅是对重点地区的人群密度做实时监控,还对重点人员做实时监控,在交通和公共安全方面都有很好的适用场景。
Description
技术领域
本发明涉及监控预警技术领域,尤其是一种基于wifi日志的监控预警方法。
背景技术
近些年,随着我国移动互联网的高速发展,人类对网络的需求越来越多,随着wifi点位覆盖范围增多,通过wifi日志数据可以对城市人流集中点做实时监控预警,从而方便交通部门做交通疏导和预判。但是,对于现在公共安全方面,现有技术对重点人员的监控预警这块还属于空白阶段。
发明内容
为了克服上述现有技术中的缺陷,本发明提供一种基于wifi日志的监控预警方法,本发明不仅仅是对重点地区的人群密度做实时监控,还对重点人员做实时监控,在交通和公共安全方面都有很好的适用场景。
为实现上述目的,本发明采用以下技术方案,包括:
一种基于wifi日志的监控预警方法,包括以下步骤:
S1,采集wifi日志数据,对所采集的wifi日志数据进行解密、转码、数据清洗的处理,并对处理后的wifi日志数据进行存储;
wifi日志数据带有时间戳、位置、设备信息;
S2,基于用户基本信息库,对所存储的wifi日志数据进行识别,识别出wifi日志数据所对应的用户以及对应用户的基本信息;
所述用户基本信息库中存储有wifi日志数据与用户之间的对应关系;
S3,基于预先设定的预警条件,根据识别后的wifi日志数据对重点人员和重点地区进行实时监控,并产生预警结果;
所述预警条件包括:重点人员的基本信息,重点地区的人群密度阈值;
对重点人员的实时监控的方式为:判断经识别后的wifi日志数据所对应的用户是否为该重点人员,即是否出现该重点人员的wifi日志数据,若出现该重点人员的wifi日志数据,则产生重点人员的预警结果;
对重点地区的实时监控的方式为:统计该重点地区在时间周期内的全部wifi日志数据所对应的全部用户,得到该地区在时间周期内的用户总人数即人群密度,若该重点地区在时间周期内的人群密度超出该重点地区的人群密度阈值,则产生重点地区的预警结果。
步骤S3中,在出现重点人员的wifi日志数据后,还对重点人员进行轨迹预测,所述轨迹预测的方法,包括以下步骤:
S31,将重点人员所有的wifi日志数据按时间戳顺序进行排列,得到重点人员的历史轨迹;
S32,根据重点人员的历史轨迹,得到重点人员在历史轨迹中的每个路口的出现时间和离开时间,即得到重点人员在历史轨迹中的每个路口的出现时间段;还得到重点人员在历史轨迹中的每个路口的行驶方向,即得到重点人员在历史轨迹中的每个路口为左转、右转、直行;
S33,根据重点人员的历史轨迹,将重点人员在历史轨迹中的某个路口,该路口的出现时间段,以及出现在该路口时的周围情况作为逻辑回归模型的自变量,所述周围情况包括周围人群密度和温度;将重点人员在历史轨迹中的该路口的行驶方向作为因变量,训练逻辑回归模型A,得到逻辑回归模型A中的自变量对因变量的影响权重向量(A1,A2,A3,A4);其中,
A1是指逻辑回归模型A中,路口对该路口的行驶方向的影响权重;
A2是指逻辑回归模型A中,出现时间段对该路口的行驶方向的影响权重;
A3是指逻辑回归模型A中,周围人群密度对该路口的行驶方向的影响权重;
A4是指逻辑回归模型A中,周围温度对该路口的行驶方向的影响权重;
S34,利用逻辑回归模型A对重点人员进行轨迹预测,即分别计算出重点人员在路口的行驶方向为左转、右转、直行的概率,其中,概率最高的行驶方向作为轨迹预测的结果,将重点人员的轨迹预测的结果也作为重点人员的预警结果。
在出现该重点人员的wifi日志数据后,还对该重点人员进行轨迹预测,所述轨迹预测的方法为:
S31,将重点人员所有的wifi日志数据按时间戳顺序进行排列,得到重点人员的历史轨迹;
S32,根据重点人员的历史轨迹,得到重点人员在历史轨迹中的每个路口的出现时间和离开时间,即得到重点人员在历史轨迹中的每个路口的出现时间段;还得到重点人员在历史轨迹中的每个路口的行驶方向,即得到重点人员在历史轨迹中的每个路口为左转、右转、直行;
S33,根据重点人员的历史轨迹,将重点人员在历史轨迹中的某个路口,该路口的出现时间段,以及出现在该路口时的周围情况作为逻辑回归模型的自变量,所述周围情况包括周围人群密度和温度;将重点人员在历史轨迹中的该路口的行驶方向作为因变量,训练逻辑回归模型A,得到逻辑回归模型A中的自变量对因变量的影响权重向量(A1,A2,A3,A4);其中,
A1是指逻辑回归模型A中,路口对该路口的行驶方向的影响权重;
A2是指逻辑回归模型A中,出现时间段对该路口的行驶方向的影响权重;
A3是指逻辑回归模型A中,周围人群密度对该路口的行驶方向的影响权重;
A4是指逻辑回归模型A中,周围温度对该路口的行驶方向的影响权重;
S34,根据重点人员的最近一段时间轨迹,将重点人员在最近一段时间轨迹中的某个路口,该路口的出现时间段,以及出现在该路口时的周围情况作为逻辑回归模型的自变量,所述周围情况包括周围人群密度和温度;将重点人员在最近一段时间轨迹中的该路口的行驶方向作为因变量,训练逻辑回归模型B,得到逻辑回归模型B中的自变量对因变量的影响权重向量(B1,B2,B3,B4);其中,
B1是指逻辑回归模型B中,路口对该路口的行驶方向的影响权重;
B2是指逻辑回归模型B中,出现时间段对该路口的行驶方向的影响权重;
B3是指逻辑回归模型B中,周围人群密度对该路口的行驶方向的影响权重;
B4是指逻辑回归模型B中,周围温度对该路口的行驶方向的影响权重;
S35,利用逻辑回归模型B对逻辑回归模型A进行修正,得到修正后的逻辑回归模型A′,以及修正后的逻辑回归模型A′中的自变量对因变量的影响权重向量(A1′,A2′,A3′,A4′);其中,
A1′是指修正后的逻辑回归模型A′中,路口对该路口的行驶方向的影响权重;A1′=A1×q+B1×(1-q);q为修正系数,0≤q≤1;
A2′是指修正后的逻辑回归模型A′中,出现时间段对该路口的行驶方向的影响权重;A2′=A2×q+B2×(1-q);
A3′是指修正后的逻辑回归模型A′中,周围人群密度对该路口的行驶方向的影响权重;A3′=A3×q+B3×(1-q);
A4′是指修正后的逻辑回归模型A′中,周围温度对该路口的行驶方向的影响权重;A4′=A4×q+B4×(1-q);
S36,利用修正后的逻辑回归模型A′对重点人员进行轨迹预测,即分别计算出重点人员在路口的行驶方向为左转、右转、直行的概率,其中概率最高的行驶方向作为轨迹预测的结果,将重点人员的轨迹预测的结果也作为重点人员的预警结果。
本发明还提供了一种用于实现所述监控预警方法的监控预警系统,包括:日志层、日志收集平台、大数据日志分发平台、大数据流式计算平台;所述系统中还存储有:用户基本信息库、逻辑回归模型库、预先设定的预警条件;
日志层用于采集wifi日志数据,并将所采集的wifi日志数据实时发送至日志收集平台;
日志收集平台是由多台服务器构成的处理集群,日志收集平台根据处理集群中的各个处理节点即各台服务器的CPU、内存、IO的负载情况来分配处理节点,处理节点对wifi日志数据进行解密、转码、数据清洗的处理,并将处理后的wifi日志数据发送至大数据日志分发层;
大数据日志分发平台即kafka将不同主题类型的wifi日志数据进行分区存储,将不同主题类型的wifi日志数据分别存储至对应的topic即对应的主题中;所述不同主题类型包括:用户探测主题、用户认证主题、用户上网行为主题、设备信息主题;大数据日志分发平台将其存储的wifi日志数据生成流式数据源,流入大数据流式计算平台;
大数据流式计算平台读取流式数据源即wifi日志数据,并基于用户基本信息库、逻辑回归模型库、预先设定的预警条件对重点人员和重点地区进行实时监控,并产生预警结果;
所述系统还包括分布式搜索引擎;
大数据流式计算平台将预警结果写入分布式搜索引擎中;分布式搜索引擎中对预警结果进行存储,并为预警结果创建索引;
分布式搜索引擎根据用户需求,对预警结果进行实时展示,或将预警结果通过邮件或短信的实时发送至相关人员。
预先设定的预警条件存储有两份,一份存储至大数据流式计算平台(4)中的分布式内存数据库中,另一份存储至系统的关系数据库中。
本发明的优点在于:
(1)本发明不仅仅是对重点地区的人群密度做实时监控,还对重点人员做实时监控,在交通和公共安全方面都有很好的适用场景。
(2)本发明能够根据重点人员的历史轨迹,并基于逻辑回归模型进行训练,根据训练得到的逻辑回归模型,对重点人员在口路的行驶方向进行预测,更好的切合实际预警的需求,为公共安全服务。
(3)本发明还能够根据重点人员的近一周轨迹,对训练得到的逻辑回归模型进行修正,进一步的提升了预测结果的可靠性。
(4)本发明基于wifi日志数据进行流式计算,进行实时的监控预警,达到秒级甚至毫秒级响应,相对现有的监控预警技术而言,本发明大大提高预警的时效性。
附图说明
图1为本发明的一种基于wifi日志的监控预警方法的方法流程图。
图2为本发明的一种基于wifi日志的监控预警系统的整体示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由图1所示,一种基于wifi日志的监控预警方法,包括如下步骤:
S1,采集wifi日志数据,对所采集的wifi日志数据进行解密、转码、数据清洗的处理,以剔除重复无效的wifi日志数据,并对处理后的wifi日志数据进行存储。
wifi日志数据带有时间戳、位置、设备信息。
S2,基于用户基本信息库,对所存储的wifi日志数据进行识别,识别出wifi日志数据所对应的用户以及对应用户的基本信息。
所述用户基本信息库中存储有wifi日志数据与用户之间的对应关系。
S3,基于预先设定的预警条件,根据识别后的wifi日志数据对重点人员和重点地区进行实时监控,并产生预警结果。
所述预警条件包括:重点人员的基本信息,重点地区的人群密度阈值。
步骤S3中,对重点地区的实时监控的方式为:统计该重点地区在时间周期内的全部wifi日志数据所对应的全部用户,得到该地区在时间周期内的用户总人数即人群密度,若该重点地区在时间周期内的人群密度超出该重点地区的人群密度阈值,则产生重点地区的预警结果。
步骤S3中,对重点人员的实时监控的方式为:
判断经识别后的wifi日志数据所对应的用户是否为该重点人员时,即是否出现该重点人员的wifi日志数据,若出现该重点人员的wifi日志数据,则产生重点人员的预警结果。
在出现该重点人员的wifi日志数据后,还对该重点人员进行轨迹预测,所述轨迹预测的方法为:
S31,将重点人员所有的wifi日志数据按时间戳顺序进行排列,得到重点人员的历史轨迹;
S32,根据重点人员的历史轨迹,得到重点人员在历史轨迹中的每个路口的出现时间和离开时间,即得到重点人员在历史轨迹中的每个路口的出现时间段;还得到重点人员在历史轨迹中的每个路口的行驶方向,即得到重点人员在历史轨迹中的每个路口为左转、右转、直行;
S33,根据重点人员的历史轨迹,将重点人员在历史轨迹中的某个路口,该路口的出现时间段,以及出现在该路口时的周围情况作为逻辑回归模型的自变量,所述周围情况包括周围人群密度和温度;将重点人员在历史轨迹中的该路口的行驶方向作为因变量,训练逻辑回归模型A,得到逻辑回归模型A中的自变量对因变量的影响权重向量(A1,A2,A3,A4);其中,
A1是指逻辑回归模型A中,路口对该路口的行驶方向的影响权重;
A2是指逻辑回归模型A中,出现时间段对该路口的行驶方向的影响权重;
A3是指逻辑回归模型A中,周围人群密度对该路口的行驶方向的影响权重;
A4是指逻辑回归模型A中,周围温度对该路口的行驶方向的影响权重;
S34,根据重点人员的最近一段时间轨迹,本实施例中,最近一段时间轨迹为最近一周轨迹;将重点人员在最近一段时间轨迹中的某个路口,该路口的出现时间段,以及出现在该路口时的周围情况作为逻辑回归模型的自变量,所述周围情况包括周围人群密度和温度;将重点人员在最近一段时间轨迹中的该路口的行驶方向作为因变量,训练逻辑回归模型B,得到逻辑回归模型B中的自变量对因变量的影响权重向量(B1,B2,B3,B4);其中,
B1是指逻辑回归模型B中,路口对该路口的行驶方向的影响权重;
B2是指逻辑回归模型B中,出现时间段对该路口的行驶方向的影响权重;
B3是指逻辑回归模型B中,周围人群密度对该路口的行驶方向的影响权重;
B4是指逻辑回归模型B中,周围温度对该路口的行驶方向的影响权重;
S35,利用逻辑回归模型B对逻辑回归模型A进行修正,得到修正后的逻辑回归模型A′,以及修正后的逻辑回归模型A′中的自变量对因变量的影响权重向量(A1′,A2′,A3′,A4′);其中,
A1′是指修正后的逻辑回归模型A′中,路口对该路口的行驶方向的影响权重;A1′=A1×q+B1×(1-q);q为修正系数,0≤q≤1;
A2′是指修正后的逻辑回归模型A′中,出现时间段对该路口的行驶方向的影响权重;A2′=A2×q+B2×(1-q);
A3′是指修正后的逻辑回归模型A′中,周围人群密度对该路口的行驶方向的影响权重;A3′=A3×q+B3×(1-q);
A4′是指修正后的逻辑回归模型A′中,周围温度对该路口的行驶方向的影响权重;A4′=A4×q+B4×(1-q);
S36,利用修正后的逻辑回归模型A′对重点人员进行轨迹预测,即分别计算出重点人员在路口的行驶方向为左转、右转、直行的概率,其中概率最高的行驶方向作为轨迹预测的结果,将重点人员的轨迹预测的结果也作为重点人员的预警结果。
所述逻辑回归模型及其训练方式具体参见现有技术。
由图2所示,一种用于实现所述监控预警方法的监控预警系统,所述系统包括:日志层1、日志收集平台2、大数据日志分发平台3、大数据流式计算平台4、分布式搜索引擎5。系统中还存储有用户基本信息库、逻辑回归模型库、预先设定的预警条件。
日志层1采集wifi日志数据,并将所采集的wifi日志数据实时发送至日志收集平台2。
日志收集平台2是由多台服务器构成的处理集群,日志收集平台2根据处理集群中的各个处理节点即服务器的CPU、内存、IO的负载情况来分配处理节点,处理节点对wifi日志数据进行解密、转码、数据清洗的处理,以剔除无效或重复的数据,并将处理后的wifi日志数据发送至大数据日志分发层3。
所述解密、转码、数据清洗的处理具体参见现有技术。
大数据日志分发平台3即kafka将不同主题类型的wifi日志数据进行分区存储,将不同主题类型的wifi日志数据分别存储至对应的topic即对应的主题中。所述不同主题类型包括:用户探测主题、用户认证主题、用户上网行为主题、设备信息主题。大数据日志分发平台3将其存储的wifi日志数据生成流式数据源,流入大数据流式计算平台4。
大数据流式计算平台4读取流式数据源即wifi日志数据,并基于用户基本信息库对wifi日志数据进行识别,识别出wifi日志数据所对应的用户以及对应用户的基本信息;所述用户基本信息库中存储有wifi日志数据与用户之间的对应关系。
大数据流式计算平台4基于预先设定的预警条件,根据识别后的wifi日志数据对重点人员和重点地区进行实时监控,并产生预警结果。
所述预警条件包括:重点人员的基本信息,重点地区的人群密度阈值。且所述预先设定的预警条件存储有两份,一份存储至大数据流式计算平台4中的分布式内存数据库Alluxio中,另一份存储至系统的关系数据库中;以保证数据的安全,防止预先设定的预警条件被篡改,防止监控预警系统出现漏洞;大数据流式计算平台4时进行实时监控时直接读取分布式内存Alluxio中所存储的预先设定的预警条件。
对重点地区的实时监控的方式为:统计该重点地区在时间周期内的全部wifi日志数据所对应的全部用户,得到该地区在时间周期内的用户总人数即人群密度,若该重点地区在时间周期内的人群密度超出该重点地区的人群密度阈值,则产生重点地区的预警结果。
对重点人员的实时监控的方式为:判断经识别后的wifi日志数据所对应的用户是否为该重点人员时,即是否出现该重点人员的wifi日志数据,若出现该重点人员的wifi日志数据,则产生重点人员的预警结果。
对重点人员的实时监控的还包括:基于逻辑回归模型库,在出现该重点人员的wifi日志数据后,还对该重点人员进行轨迹预测,得到重点人员的轨迹预测的结果,并将重点人员的轨迹预测的结果也作为重点人员的预警结果。
大数据流式计算平台4将预警结果写入分布式搜索引擎5中。
分布式搜索引擎5中对预警结果进行存储,并通过分词、倒排索引等技术为预警结果创建索引。分布式搜索引擎5根据用户需求,对预警结果进行实时展示,或将预警结果通过邮件或短信的实时发送至相关人员。
基于本发明的方法和系统,提供一个具体的系统架设方式:
安装jdk环境,下载jdk8,配置对应的环境变量。
部署hadoop集群,配置主机hosts。配置集群中各个机器之间ssh互信即使ssh访问不需要密码。下载hadoop解压到相应的目录,配置对应的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh、yarn-env.sh、slaves。hadoop集群内所有机器做同样配置。
部署Alluxio集群,下载Alluxio解压到相应目录,修改配置文件alluxio_env.sh,配置环境变量,配置java软连接,然后在集群其他节点做同样的配置。Alluxio分布式内存,管理整个计算内存资源。
部署zookeeper集群,修改配置文件zoo.cfg,配置集群信息,为myid写入机器在集群中的编号,zookeeper集群内所有机器做同样配置,zookeeper分布式应用程序协调服务,为kafka集群服务。
部署kafka集群。修改配置文件server.properties,增加集群broker地址,zookeeper节点等信息,kafka集群内所有机器做同样配置。
部署spark集群。修改配置文件spark-env.sh,增加Master,log目录等配置。修改spark.conf增加spark运行参数配置。修改slaves增加slave节点。spark集群内所有机器做同样配置。
部署elasticsearch集群,修改配置文件elasticsearch.yml,配置集群信息,创建文件及log路径,配置jvm参数。elasticsearch集群内所有机器做同样配置。
以上仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。
Claims (4)
1.一种基于wifi日志的监控预警方法,其特征在于,包括以下步骤:
S1,采集wifi日志数据,对所采集的wifi日志数据进行解密、转码、数据清洗的处理,并对处理后的wifi日志数据进行存储;
wifi日志数据带有时间戳、位置、设备信息;
S2,基于用户基本信息库,对所存储的wifi日志数据进行识别,识别出wifi日志数据所对应的用户以及对应用户的基本信息;
所述用户基本信息库中存储有wifi日志数据与用户之间的对应关系;
S3,基于预先设定的预警条件,根据识别后的wifi日志数据对重点人员和重点地区进行实时监控,并产生预警结果;
所述预警条件包括:重点人员的基本信息,重点地区的人群密度阈值;
对重点人员的实时监控的方式为:判断经识别后的wifi日志数据所对应的用户是否为该重点人员,即是否出现该重点人员的wifi日志数据,若出现该重点人员的wifi日志数据,则产生重点人员的预警结果;
对重点地区的实时监控的方式为:统计该重点地区在时间周期内的全部wifi日志数据所对应的全部用户,得到该地区在时间周期内的用户总人数即人群密度,若该重点地区在时间周期内的人群密度超出该重点地区的人群密度阈值,则产生重点地区的预警结果;
步骤S3中,在出现重点人员的wifi日志数据后,还对重点人员进行轨迹预测,所述轨迹预测的方法,包括以下步骤:
S31,将重点人员所有的wifi日志数据按时间戳顺序进行排列,得到重点人员的历史轨迹;
S32,根据重点人员的历史轨迹,得到重点人员在历史轨迹中的每个路口的出现时间和离开时间,即得到重点人员在历史轨迹中的每个路口的出现时间段;还得到重点人员在历史轨迹中的每个路口的行驶方向,即得到重点人员在历史轨迹中的每个路口为左转、右转、直行;
S33,根据重点人员的历史轨迹,将重点人员在历史轨迹中的某个路口,该路口的出现时间段,以及出现在该路口时的周围情况作为逻辑回归模型的自变量,所述周围情况包括周围人群密度和温度;将重点人员在历史轨迹中的该路口的行驶方向作为因变量,训练逻辑回归模型A,得到逻辑回归模型A中的自变量对因变量的影响权重向量(A1,A2,A3,A4);其中,
A1是指逻辑回归模型A中,路口对该路口的行驶方向的影响权重;
A2是指逻辑回归模型A中,出现时间段对该路口的行驶方向的影响权重;
A3是指逻辑回归模型A中,周围人群密度对该路口的行驶方向的影响权重;
A4是指逻辑回归模型A中,周围温度对该路口的行驶方向的影响权重;
S34,利用逻辑回归模型A对重点人员进行轨迹预测,即分别计算出重点人员在路口的行驶方向为左转、右转、直行的概率,其中,概率最高的行驶方向作为轨迹预测的结果,将重点人员的轨迹预测的结果也作为重点人员的预警结果。
2.根据权利要求1所述的一种基于wifi日志的监控预警方法,其特征在于,用于实现所述监控预警方法的监控预警系统,包括:日志层(1)、日志收集平台(2)、大数据日志分发平台(3)、大数据流式计算平台(4);所述系统中还存储有:用户基本信息库、逻辑回归模型库、预先设定的预警条件;
日志层(1)用于采集wifi日志数据,并将所采集的wifi日志数据实时发送至日志收集平台(2);
日志收集平台(2)是由多台服务器构成的处理集群,日志收集平台(2)根据处理集群中的各个处理节点即各台服务器的CPU、内存、IO的负载情况来分配处理节点,处理节点对wifi日志数据进行解密、转码、数据清洗的处理,并将处理后的wifi日志数据发送至大数据日志分发层(3);
大数据日志分发平台(3)即kafka将不同主题类型的wifi日志数据进行分区存储,将不同主题类型的wifi日志数据分别存储至对应的topic即对应的主题中;所述不同主题类型包括:用户探测主题、用户认证主题、用户上网行为主题、设备信息主题;大数据日志分发平台(3)将其存储的wifi日志数据生成流式数据源,流入大数据流式计算平台(4);
大数据流式计算平台(4)读取流式数据源即wifi日志数据,并基于用户基本信息库、逻辑回归模型库、预先设定的预警条件对重点人员和重点地区进行实时监控,并产生预警结果。
3.根据权利要求2所述的一种基于wifi日志的监控预警方法,其特征在于,所述系统还包括分布式搜索引擎(5);
大数据流式计算平台(4)将预警结果写入分布式搜索引擎(5)中;分布式搜索引擎(5)中对预警结果进行存储,并为预警结果创建索引;
分布式搜索引擎(5)根据用户需求,对预警结果进行实时展示,或将预警结果通过邮件或短信的实时发送至相关人员。
4.根据权利要求2所述的一种基于wifi日志的监控预警方法,其特征在于,预先设定的预警条件存储有两份,一份存储至大数据流式计算平台(4)中的分布式内存数据库中,另一份存储至系统的关系数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910577293.2A CN110475206B (zh) | 2019-06-28 | 2019-06-28 | 一种基于wifi日志的监控预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910577293.2A CN110475206B (zh) | 2019-06-28 | 2019-06-28 | 一种基于wifi日志的监控预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110475206A CN110475206A (zh) | 2019-11-19 |
CN110475206B true CN110475206B (zh) | 2020-11-13 |
Family
ID=68507117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910577293.2A Active CN110475206B (zh) | 2019-06-28 | 2019-06-28 | 一种基于wifi日志的监控预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110475206B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241444B (zh) * | 2020-09-16 | 2023-08-01 | 四川天翼网络股份有限公司 | 一种基于铁路交通信息的重点人口管控平台 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101534995B1 (ko) * | 2011-02-05 | 2015-07-07 | 애플 인크. | 모바일 로케이션 결정을 위한 방법 및 장치 |
CA2926453C (en) * | 2013-10-07 | 2023-02-21 | Google Inc. | Visual and auditory user notification methods for smart-home hazard detector |
EP3224815A4 (en) * | 2014-11-25 | 2018-10-31 | Fynd Technologies, Inc | Geolocation bracelet, systems, and methods |
CN106790468B (zh) * | 2016-12-10 | 2020-06-02 | 武汉白虹软件科技有限公司 | 一种分析用户WiFi活动轨迹规律的分布式实现方法 |
CN108540752B (zh) * | 2017-03-01 | 2021-04-30 | 中国电信股份有限公司 | 对视频监控中目标对象进行识别的方法、装置和系统 |
CN107610464B (zh) * | 2017-08-11 | 2019-02-12 | 河海大学 | 一种基于高斯混合时间序列模型的轨迹预测方法 |
CN109413587A (zh) * | 2018-09-20 | 2019-03-01 | 广州纳斯威尔信息技术有限公司 | 基于WiFi日志的用户轨迹预测方法 |
CN109635003B (zh) * | 2018-12-07 | 2021-03-16 | 南京华苏科技有限公司 | 一种基于多数据源的社区人口信息关联的方法 |
-
2019
- 2019-06-28 CN CN201910577293.2A patent/CN110475206B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110475206A (zh) | 2019-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106992994B (zh) | 一种云服务的自动化监控方法和系统 | |
KR20050037606A (ko) | 컴퓨터 기반 방법, 컴퓨터 프로그램 제품 및 데이터 처리시스템 | |
Guo | Research on anomaly detection in massive multimedia data transmission network based on improved PSO algorithm | |
Al Zamil et al. | False-alarm detection in the fog-based internet of connected vehicles | |
CN112631725A (zh) | 一种基于云边端协同的智慧城市的管理系统及方法 | |
Zhang et al. | Mobility and dependence-aware QoS monitoring in mobile edge computing | |
Liu et al. | A DQN-based consensus mechanism for blockchain in IoT networks | |
Solmaz et al. | ALACA: A platform for dynamic alarm collection and alert notification in network management systems | |
CN110475206B (zh) | 一种基于wifi日志的监控预警方法 | |
Bai et al. | Resilience-driven quantitative analysis of vehicle platooning service | |
CN115883213A (zh) | 基于连续时间动态异质图神经网络的apt检测方法及系统 | |
Soleymani et al. | Fuzzy Rule‐Based Trust Management Model for the Security of Cloud Computing | |
CN114422271A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
Lihua | Energy‐Aware Intrusion Detection Model for Internet of Vehicles Using Machine Learning Methods | |
CN110493218B (zh) | 一种态势感知虚拟化的方法和装置 | |
Chen et al. | Mining and construction of information opportunity cooperation mode based on big data fusion Internet of Things | |
Amrit et al. | Information waste on the world wide web and combating the clutter | |
US20230325294A1 (en) | Models for detecting and managing excessive log patterns | |
CN114944942B (zh) | 一种基于有效埋点的数据上报方法、装置、计算机设备及介质 | |
CN113934862B (zh) | 社区安全风险预测方法、装置、电子设备及介质 | |
US20220405610A1 (en) | Distributing structure risk assessment using information distribution stations | |
Yin et al. | Application of key technologies of distributed storage based on the internet of things in urban fire protection | |
Iancu et al. | A smart city fighting pollution, by efficiently managing and processing big data from sensor networks | |
Aynehband et al. | Accuracy and availability modeling of social networks for Internet of Things event detection applications | |
Huang | Information dissemination control algorithm of ecological changes in the new media communication environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |