CN106874381A - 一种基于Hadoop的无线电环境地图数据处理系统 - Google Patents

一种基于Hadoop的无线电环境地图数据处理系统 Download PDF

Info

Publication number
CN106874381A
CN106874381A CN201710014370.4A CN201710014370A CN106874381A CN 106874381 A CN106874381 A CN 106874381A CN 201710014370 A CN201710014370 A CN 201710014370A CN 106874381 A CN106874381 A CN 106874381A
Authority
CN
China
Prior art keywords
data
information
map
hadoop
flume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710014370.4A
Other languages
English (en)
Other versions
CN106874381B (zh
Inventor
刘媛妮
李芳�
邹阳
赵国锋
唐红
段洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710014370.4A priority Critical patent/CN106874381B/zh
Publication of CN106874381A publication Critical patent/CN106874381A/zh
Application granted granted Critical
Publication of CN106874381B publication Critical patent/CN106874381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明请求保护一种基于Hadoop的无线电环境地图数据处理系统，属于数据处理领域。该系统主要包括数据导入模块、数据处理模块和数据可视化模块。数据导入模块利用Flume技术实时监控并上传通过移动终端设备收集到的海量无线网络环境相关数据至HDFS分布式文件系统中；数据处理模块利用Hadoop分布式数据处理集群对这些数据进行清洗过滤、融合等相关处理，并将处理之后的结果存入数据库中；数据可视化模块调用百度地图API将处理结果在地图上进行展示。本发明是一种基于Hadoop的无线电环境地图数据处理系统，能够实现对移动终端收集到的海量无线环境相关数据的处理和可视化展示，方便无线资源的管理和无线网络的优化，普通用户也能通过本系统查看感知区域内当前或历史的无线环境状态。

Description

一种基于Hadoop的无线电环境地图数据处理系统
技术领域
本发明涉及属于数据处理领域，特别涉及一种基于Hadoop的无线电环境地图数据处理系统。
背景技术
近年来，随着无线移动通信技术的发展，信息产业及相关电信、广播、导航、空间、国防等无线电业务得到快速发展。然而，随着无线电台站数量增多、密度加大、地磁环境日益复杂，加之缺乏有效的表征方式和方法，导致日常无线电频谱资源无法直观、准确地进行管理，甚至造成了无线频谱拥塞，从而制约了无线电的发展。无线环境地图(REM，RadioEnvironment Map)的出现则可以有效化解这一难题，它将收集到的无线环境相关数据进行处理和分析之后结合城市电子地图，融合时间、地理信息、频谱、幅度等相关数据，构成一个多维频谱信息地图。
无线环境地图可以直观的反映出真实的无线环境状态，让社会公众感知无线电的存在，并且可以查看某个区域内当前或历史的无线环境信息，无线环境地图还能让管理者直观、清晰地对频谱资源进行管理。同时，网络侧在进行资源重配时，可以借助REM对资源分配的范围、发射功率、天线的角度等参数进行配置，从而优化网络性能，并为无线电管理部门提供一个全新的频谱监管手段。
传统的无线电环境地图数据来源主要是基于已有的数据库或者利用专门的路测设备进行实际收集各种无线参数，这种方式具有感知节点部署成本高、扩展性不强、实时性差等缺点，构建的无线环境地图大多是针对于小范围的、某个特定应用的。而新兴的移动群智感知技术利用普通大众的移动终端设备来进行无线环境数据的收集能有限解决上述问题。在通过移动群智感知方式进行数据收集时，由于单个节点的感知能力有限，需要将感知任务分发给多种终端设备来进行，然后通过对数据的综合处理和分析，得到目标区域的无线电环境地图完整信息。由于数据来自多个不同的移动终端设备，数据规模大、类型多、关系复杂、噪声数据多，如何将这些海量的原始数据进行过滤、存储、融合、分析和可视化展示，是当前需要解决的关键问题。
现有的大数据处理技术已经得到了很多的研究，但是仍然没有一个统一的数据处理框架和单一的技术能够用于多样化的数据集，在数据处理的问题上，必须考虑数据集的特性、需要解决的问题、性能需求和其他因素来合理地选择和设计合适的数据处理方案。本发明设计并实现了一种基于Hadoop的无线电环境地图数据处理系统，实现对移动群智感知方式收集的无线电环境数据的存储、预处理、融合、统计分析以及可视化展示，既可以直观地反映出真实的无线环境状态，让普通用户可以随时查询某区域当前或历史的无线环境信息，也为运营商和无线电相关部门对无线网络资源的优化和管理提供给重要的依据。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种方便无线网络资源的优化和无线环境的管理的基于Hadoop的无线电环境地图数据处理系统。本发明的技术方案如下：
一种基于Hadoop的无线电环境地图数据处理系统，其包括：数据导入模块、数据处理模块和数据可视化模块；其中，
数据导入模块101：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；
数据处理模块102：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；
数据可视化模块103：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。
进一步的，所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。
进一步的，所述海量无线网络环境信息主要包括WiFi信号信息、LTE信号信息、GSM信号信息在内
的信息。
进一步的，所述数据导入模块(101)采用Flume实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中，包括以下步骤：
步骤201：读取配置文件，获取程序运行参数，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir；
步骤202：检查是否有参数错误，如果检测到参数错误，则结束本次数据导入，如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203；
步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化；
步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205；
步骤205：检测到新文件产生，就解析该新文件的内容，然后写入到Flume的组件Channel进行缓存，组件Sink取出Channel缓存的数据提交到Hadoop集群中的HDFS分布式文件系统中；
步骤206：对Web服务器指定目录下的已经上传的文件打上.COMPLETE后缀，标记该文件已完成上传，下一次不需要重复上传。
进一步的，所述数据处理模块(102)的具体实现步骤如下：
步骤301：利用Hadoop中的MapReduce计算模式进行编程实现，将HDFS分布式文件系统中的原始数据首先进行数据清洗和过滤，即通过Maper函数分别对各个文件进行去重和去除异常数据，再通过Reducer函数整合并再去重和去除异常数据；
步骤302：判断数据是否符合决策要求，如果不符合决策要求，则进行再一次的清洗和过滤，如果符合决策要求，则进行步骤303；
步骤303：将清洗和过滤之后的干净数据进行字段分离，将每条数据中可能包含的WiFi信息、LTE信息、GSM信息分离出来，以便后续的数据融合；
步骤304：以地理位置信息和时间信息为节点，对字段分离后的数据进行融合，得到某地理位置在某时刻的完整的无线网络环境信息。
步骤305：通过聚类算法统计分析出该感知区域内无线环境的变化情况，WiFi各信道的占用情况，各个运营商的4G网络覆盖质量对比，网络稳定性对比。
步骤306：将上述处理和分析的结果数据存入HDFS分布式文件系统中。
进一步的，所述数据可视化模块(103)通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来包括步骤；
步骤501：在百度地图API首页注册账号并获取百度地图API秘钥；
步骤502：添加百度地图的API，在网页中加入地图块，用一个id来标记它，添加需要调用的控件以及初始定位的地点；
步骤503：通过JSON读取Mysql中的相关数据，并传值给Javascript中的变量；
步骤504：根据获取到的数据内容，将这些数据中的经纬度信息和百度地图的地理位置信息进行映射；
步骤505：根据步骤504的映射关系，调用相关的函数Heatmap()，根据连接到的WiFi热点的信号强度的信息生成WiFi信号强度热力图；
步骤506：根据步骤504的映射关系，调用BMap.Marker()函数创建标注，并调用map.addOverlay()函数将标注加入到地图中，生成WiFi/GSM/LTE信号信息展示图，点击图中的标注，即可查看当前的无线网络环境状态信息；
步骤507：根据步骤504的映射关系，调用相关的函数BMap.Icon()等，生成LTE信号强度分布图，可以从图中看出感知区域内LTE的强弱分布情况，即用颜色的深浅来表征信号的强弱。
本发明的优点及有益效果如下：
本发明提出的一种基于Hadoop的无线电环境地图数据处理系统能够适应移动终端设备收集的海量的无线电环境数据的处理和分析，并调用百度地图API进行实时的可视化展示，既可以直观地反映出真实的无线环境状态，让普通用户可以随时查询某区域当前或历史的无线环境信息，也有利于运营商和无线电相关部门对无线网络资源的优化和管理。
附图说明
图1是本发明提供优选实施例本系统整体架构图；
图2 无线环境地图数据导入流程图；
图3 无线环境地图数据处理流程图；
图4 无线环境地图数据导出流程；
图5 无线环境地图数据可视化流程图；
图6 WiFi信号强度热力图；
图7 WiFi信号信息展示图；
图8 感知区域内LTE信号强度分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
参考附图1所示，基于Hadoop的无线电环境地图数据处理系统主要包括三个模块：
数据导入模块101：移动终端通过自身内嵌的传感器设备采集周围的无线环境信息(主要包括WiFi信号信息、LTE信号信息、GSM信号信息等，具体数据类型分别如表1、表2、表3所示)，采集到的信息通过WiFi/3G/4G的方式上传至Web服务器，本系统主要采用Flume海量日志收集系统将实时到达的终端设备采集到的无线环境相关数据上传至数据处理模块中的HDFS分布式文件系统中等待处理。所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。
表1 WiFi信号数据
表2 LTE信号数据
表2 GSM信号数据
数据处理模块102：这是本系统的数据处理中心，是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块。数据处理子模块将数据采集模块传来的数据进行数据融合、清洗、过滤等处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况等；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库。
数据可视化模块103：此模块主要用于无线环境数据的可视化展示。通过调用百度地图API，将处理结果中的位置信息与百度地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，方便无线资源和无线网络的性能优化，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。
下面参照附图2，具体说明数据导入模块的具体实现流程：
步骤201：读取配置文件，获取程序运行参数。在利用Flume海量日志收集系统上传文件之前需要对其进行相关配置才能实现实时监控目录并上传，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir。
步骤202：检查是否有参数错误。如果检测到参数错误，则结束本次数据导入。如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203。
步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化。
步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205。
步骤205：检测到新文件产生，就解析该新文件的内容，然后写入到Flume的组件Channel进行缓存，组件Sink取出Channel缓存的数据提交到Hadoop集群中的HDFS分布式文件系统中。
步骤206：对Web服务器指定目录下的已经上传的文件打上.COMPLETE后缀，标记该文件已完成上传，下一次不需要重复上传。
下面参照附图3，具体说明数据处理模块中利用MapReduce进行数据处理和分析的具体实现流程：
步骤301：利用Hadoop中的MapReduce计算模式进行编程实现，将HDFS分布式文件系统中的原始数据首先进行数据清洗和过滤，即通过Maper函数分别对各个文件进行去重和去除异常数据，再通过Reducer函数整合并再去重和去除异常数据。
步骤302：判断数据是否符合决策要求，如果不符合决策要求，则进行再一次的清洗和过滤，如果符合决策要求，则进行步骤303。
步骤303：将清洗和过滤之后的干净数据进行字段分离，因为一条数据中不一定同时包含所有种类的信息，所以需要将每条数据中可能包含的WiFi信息、LTE信息、GSM信息等分离出来，以便后续的数据融合。
步骤304：以地理位置信息和时间信息为节点，对字段分离后的数据进行融合，得到某地理位置在某时刻的完整的无线网络环境信息(即同时包含了WiFi信息、LTE信息、GSM信息等)。
步骤305：通过聚类算法统计分析出该感知区域内无线环境的变化情况，WiFi各信道的占用情况，各个运营商的4G网络覆盖质量对比，网络稳定性对比等等。
步骤306：将上述处理和分析的结果数据存入HDFS分布式文件系统中。
下面参照附图4，具体说明数据处理模块中数据导出子模块的具体实现流程：
步骤401：读取配置文件，获取程序运行参数。在利用Sqoop(Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具)导出HDFS中的处理结果至HBase和Mysql数据库中时，需要对Sqoop进行相关配置，即指定导出路径、分隔符、导出条件等。
步骤402：检查是否有参数错误。如果检测到参数错误，则结束本次数据导出。如果没有检测到参数错误，则继续本次数据导出，即跳转到步骤403。
步骤403：编写SH脚本封装Sqoop数据上传命令，执行该脚本将HDFS中的处理和分析的结果数据导入到Mysql数据库中和HBase中，其中Mysql作为当前数据暂存数据库，每次更新即覆盖原有内容，HBase作为数据仓库，用来存储所有的历史数据，以便后续的查询和调用。
下面参照附图5，具体说明数据可视化模块的具体实现流程：
步骤501：在百度地图API首页注册账号并获取百度地图API秘钥，本系统获取的秘钥是3YCG0jXoGMej8YWQnadiQha2GIXVwrF8，用于之后的百度地图的调用。
步骤502：添加百度地图的API，在网页中加入地图块，用一个id来标记它，添加需要调用的控件以及初始定位的地点等。
步骤503：通过JSON读取Mysql中的相关数据(WiFi数据，GSM基站数据，LTE数据，以及经过处理分析的结果)，并传值给Javascript中的变量。
步骤504：根据获取到的数据内容，将这些数据中的经纬度信息和百度地图的地理位置信息进行映射。
步骤505：根据步骤504的映射关系，调用相关的函数Heatmap()，根据连接到的WiFi热点的信号强度的信息生成WiFi信号强度热力图(如附图6所示)。
步骤506：根据步骤504的映射关系，调用BMap.Marker()函数创建标注，并调用map.addOverlay()函数将标注加入到地图中，生成WiFi/GSM/LTE信号信息展示图(如附图7所示)，点击图中的标注，即可查看当前的无线网络环境状态信息。
步骤507：根据步骤504的映射关系，调用相关的函数BMap.Icon()等，生成LTE信号强度分布图(如附图8所示)，可以从图中看出感知区域内LTE的强弱分布情况，即用颜色的深浅来表征信号的强弱。
系统的部分结果展示参照附图6，附图7，附图8。其中，附图6为WiFi信号强度热力图，附图7为WiFi信号信息展示图，附图8为感知区域内LTE信号强度分布图。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于Hadoop的无线电环境地图数据处理系统，其特征在于，包括：数据导入模块(101)、数据处理模块(102)和数据可视化模块(103)；其中，
数据导入模块(101)：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；
数据处理模块(102)：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；
数据可视化模块(103)：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。
2.根据权利要求1所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。
3.根据权利要求1或2所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述海量无线网络环境信息主要包括WiFi信号信息、LTE信号信息、GSM信号信息在内的信息。
4.根据权利要求1或2所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述数据导入模块(101)采用Flume实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中，包括以下步骤：
步骤201：读取配置文件，获取程序运行参数，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir；
步骤202：检查是否有参数错误，如果检测到参数错误，则结束本次数据导入，如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203；
步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化；
步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205；
步骤205：检测到新文件产生，就解析该新文件的内容，然后写入到Flume的组件Channel进行缓存，组件Sink取出Channel缓存的数据提交到Hadoop集群中的HDFS分布式文件系统中；
步骤206：对Web服务器指定目录下的已经上传的文件打上.COMPLETE后缀，标记该文件已完成上传，下一次不需要重复上传。
5.根据权利要求1所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述数据处理模块(102)的具体实现步骤如下：
步骤301：利用Hadoop中的MapReduce计算模式进行编程实现，将HDFS分布式文件系统中的原始数据首先进行数据清洗和过滤，即通过Maper函数分别对各个文件进行去重和去除异常数据，再通过Reducer函数整合并再去重和去除异常数据；
步骤302：判断数据是否符合决策要求，如果不符合决策要求，则进行再一次的清洗和过滤，如果符合决策要求，则进行步骤303；
步骤303：将清洗和过滤之后的干净数据进行字段分离，将每条数据中可能包含的WiFi信息、LTE信息、GSM信息分离出来，以便后续的数据融合；
步骤304：以地理位置信息和时间信息为节点，对字段分离后的数据进行融合，得到某地理位置在某时刻的完整的无线网络环境信息。
步骤305：通过聚类算法统计分析出该感知区域内无线环境的变化情况，WiFi各信道的占用情况，各个运营商的4G网络覆盖质量对比，网络稳定性对比。
步骤306：将上述处理和分析的结果数据存入HDFS分布式文件系统中。
6.根据权利要求1所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述数据可视化模块(103)通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，包括步骤如下：
步骤501：在百度地图API首页注册账号并获取百度地图API秘钥；
步骤502：添加百度地图的API，在网页中加入地图块，用一个id来标记它，添加需要调用的控件以及初始定位的地点；
步骤503：通过JSON读取Mysql中的相关数据，并传值给Javascript中的变量；
步骤504：根据获取到的数据内容，将这些数据中的经纬度信息和百度地图的地理位置信息进行映射；
步骤505：根据步骤504的映射关系，调用相关的函数Heatmap()，根据连接到的WiFi热点的信号强度的信息生成WiFi信号强度热力图；
步骤506：根据步骤504的映射关系，调用BMap.Marker()函数创建标注，并调用map.addOverlay()函数将标注加入到地图中，生成WiFi/GSM/LTE信号信息展示图，点击图中的标注，即可查看当前的无线网络环境状态信息；
步骤507：根据步骤504的映射关系，调用相关的函数BMap.Icon()，生成LTE信号强度分布图，可以从图中看出感知区域内LTE的强弱分布情况，即用颜色的深浅来表征信号的强弱。
CN201710014370.4A 2017-01-09 2017-01-09 一种基于Hadoop的无线电环境地图数据处理系统 Active CN106874381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710014370.4A CN106874381B (zh) 2017-01-09 2017-01-09 一种基于Hadoop的无线电环境地图数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710014370.4A CN106874381B (zh) 2017-01-09 2017-01-09 一种基于Hadoop的无线电环境地图数据处理系统

Publications (2)

Publication Number Publication Date
CN106874381A true CN106874381A (zh) 2017-06-20
CN106874381B CN106874381B (zh) 2020-12-22

Family

ID=59165356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710014370.4A Active CN106874381B (zh) 2017-01-09 2017-01-09 一种基于Hadoop的无线电环境地图数据处理系统

Country Status (1)

Country Link
CN (1) CN106874381B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563153A (zh) * 2017-08-03 2018-01-09 华子昂 一种基于Hadoop构建的PacBio测序平台IT架构
CN107609158A (zh) * 2017-09-26 2018-01-19 北京计算机技术及应用研究所 一种基于Flume的高可靠数据采集及存储方法
CN108399231A (zh) * 2018-02-13 2018-08-14 中体彩科技发展有限公司 一种数据采集方法及Flume数据采集客户端
CN108419256A (zh) * 2018-03-16 2018-08-17 四川长虹电器股份有限公司 wifi测试优化系统及方法
CN109195175A (zh) * 2018-09-03 2019-01-11 郑州云海信息技术有限公司 一种基于云计算的移动无线网络优化方法
CN109271437A (zh) * 2018-09-27 2019-01-25 智庭（北京）智能科技有限公司 一种海量房租信息的实时查询方法
CN110618982A (zh) * 2018-12-26 2019-12-27 北京时光荏苒科技有限公司 一种多源异构数据的处理方法、装置、介质及电子设备
CN110673886A (zh) * 2018-07-03 2020-01-10 百度在线网络技术（北京）有限公司 用于生成热力图的方法和装置
CN111737600A (zh) * 2020-05-18 2020-10-02 浙江口碑网络技术有限公司 信息提供方法、装置和设备以及展示顾客信息的系统
CN111861507A (zh) * 2020-06-30 2020-10-30 成都数之联科技有限公司 一种用于实时分析网络餐饮店铺风险的识别方法及系统
CN112540705A (zh) * 2020-11-30 2021-03-23 上海创远仪器技术股份有限公司 基于计算机软件实现Web实时移动路测功能的系统
CN113466571A (zh) * 2021-09-06 2021-10-01 中国人民解放军国防科技大学 一种用于构建电磁地图的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361110A (zh) * 2014-12-01 2015-02-18 广东电网有限责任公司清远供电局 海量用电数据分析系统及其实时计算、数据挖掘方法
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
US20160179852A1 (en) * 2014-12-18 2016-06-23 Alexis Naibo Visualizing Large Data Volumes Utilizing Initial Sampling and Multi-Stage Calculations
CN105843942A (zh) * 2016-04-01 2016-08-10 浙江大学城市学院 一种基于大数据技术的城市防汛决策支持系统
CN106130960A (zh) * 2016-06-12 2016-11-16 微梦创科网络科技（中国）有限公司 盗号行为的判断系统、负载调度方法和装置
CN106844673A (zh) * 2017-01-24 2017-06-13 山东亿海兰特通信科技有限公司 一种基于公安数据获取多维人员关系亲密度的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361110A (zh) * 2014-12-01 2015-02-18 广东电网有限责任公司清远供电局 海量用电数据分析系统及其实时计算、数据挖掘方法
US20160179852A1 (en) * 2014-12-18 2016-06-23 Alexis Naibo Visualizing Large Data Volumes Utilizing Initial Sampling and Multi-Stage Calculations
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
CN105843942A (zh) * 2016-04-01 2016-08-10 浙江大学城市学院 一种基于大数据技术的城市防汛决策支持系统
CN106130960A (zh) * 2016-06-12 2016-11-16 微梦创科网络科技（中国）有限公司 盗号行为的判断系统、负载调度方法和装置
CN106844673A (zh) * 2017-01-24 2017-06-13 山东亿海兰特通信科技有限公司 一种基于公安数据获取多维人员关系亲密度的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高远 等: "无线电环境地图技术实现与前景", 《上海信息化》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563153A (zh) * 2017-08-03 2018-01-09 华子昂 一种基于Hadoop构建的PacBio测序平台IT架构
CN107609158A (zh) * 2017-09-26 2018-01-19 北京计算机技术及应用研究所 一种基于Flume的高可靠数据采集及存储方法
CN108399231A (zh) * 2018-02-13 2018-08-14 中体彩科技发展有限公司 一种数据采集方法及Flume数据采集客户端
CN108419256A (zh) * 2018-03-16 2018-08-17 四川长虹电器股份有限公司 wifi测试优化系统及方法
CN108419256B (zh) * 2018-03-16 2020-12-15 四川长虹电器股份有限公司 wifi测试优化系统及方法
CN110673886A (zh) * 2018-07-03 2020-01-10 百度在线网络技术（北京）有限公司 用于生成热力图的方法和装置
CN110673886B (zh) * 2018-07-03 2023-10-03 百度在线网络技术（北京）有限公司 用于生成热力图的方法和装置
CN109195175B (zh) * 2018-09-03 2021-12-21 郑州云海信息技术有限公司 一种基于云计算的移动无线网络优化方法
CN109195175A (zh) * 2018-09-03 2019-01-11 郑州云海信息技术有限公司 一种基于云计算的移动无线网络优化方法
CN109271437A (zh) * 2018-09-27 2019-01-25 智庭（北京）智能科技有限公司 一种海量房租信息的实时查询方法
CN110618982A (zh) * 2018-12-26 2019-12-27 北京时光荏苒科技有限公司 一种多源异构数据的处理方法、装置、介质及电子设备
CN111737600A (zh) * 2020-05-18 2020-10-02 浙江口碑网络技术有限公司 信息提供方法、装置和设备以及展示顾客信息的系统
CN111861507A (zh) * 2020-06-30 2020-10-30 成都数之联科技有限公司 一种用于实时分析网络餐饮店铺风险的识别方法及系统
CN111861507B (zh) * 2020-06-30 2023-10-24 成都数之联科技股份有限公司 一种用于实时分析网络餐饮店铺风险的识别方法及系统
CN112540705A (zh) * 2020-11-30 2021-03-23 上海创远仪器技术股份有限公司 基于计算机软件实现Web实时移动路测功能的系统
CN113466571A (zh) * 2021-09-06 2021-10-01 中国人民解放军国防科技大学 一种用于构建电磁地图的方法和系统

Also Published As

Publication number Publication date
CN106874381B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN106874381A (zh) 一种基于Hadoop的无线电环境地图数据处理系统
Yilmaz et al. Radio environment map as enabler for practical cognitive radio networks
US9014161B2 (en) Multi-tier indexing methodology for scalable mobile device data collection
CN109964383A (zh) 使用相量测量单元数据的主电力网频率响应特性化
Difallah et al. Scalable anomaly detection for smart city infrastructure networks
CN104317918B (zh) 基于复合大数据gis的异常行为分析及报警系统
CN104348650A (zh) 网站的监控方法、业务装置及系统
CN105282758A (zh) WiFi室内定位系统指纹数据库自适应动态构建方法
CN106060773B (zh) 对象定位系统、方法及装置
CN105375995A (zh) 一种智能无线频谱在线监测的系统及其实现方法
CN106850106B (zh) 基于移动群智感知的无线电环境地图数据收集系统及方法
CN104426929A (zh) 监控管理系统
CN103258027A (zh) 基于智能终端的情境感知服务平台
Ma et al. User-driven cloud transportation system for smart driving
Yao et al. Understanding human activity and urban mobility patterns from massive cellphone data: Platform design and applications
CN102288836B (zh) 基于无线传感器网络的电磁信号监测方法
CN105354634A (zh) 一种主动配电网天线集成装置
CN105375631A (zh) 用于电网的地下电缆监控系统
CN203054567U (zh) 一种雷电监测预警系统
US11696148B2 (en) Mapping geographic areas using lidar and network data
CN114257438B (zh) 基于蜜罐的电力监控系统管理方法、装置和计算机设备
Guo et al. Distributed electromagnetic spectrum detection system based on self-organizing network
Pereira et al. Parallel computational structure and semantics for soil quality analysis based on LoRa and apache spark
CN102457860B (zh) 一种无线网络中道路黑点的定位方法及定位装置
CN108171147A (zh) 一种目标识别的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant