CN116502029A - 基于Hadoop MapReduce的智慧城市大数据分析及系统 - Google Patents

基于Hadoop MapReduce的智慧城市大数据分析及系统 Download PDF

Info

Publication number
CN116502029A
CN116502029A CN202310462408.XA CN202310462408A CN116502029A CN 116502029 A CN116502029 A CN 116502029A CN 202310462408 A CN202310462408 A CN 202310462408A CN 116502029 A CN116502029 A CN 116502029A
Authority
CN
China
Prior art keywords
waterlogging
easy
depth
point
rainfall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310462408.XA
Other languages
English (en)
Other versions
CN116502029B (zh
Inventor
秦辉
纪良文
姜涛
黄伟
邓丁华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shangrao Gaotou Zhicheng Technology Co ltd
Original Assignee
Shangrao Gaotou Zhicheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shangrao Gaotou Zhicheng Technology Co ltd filed Critical Shangrao Gaotou Zhicheng Technology Co ltd
Priority to CN202310462408.XA priority Critical patent/CN116502029B/zh
Publication of CN116502029A publication Critical patent/CN116502029A/zh
Application granted granted Critical
Publication of CN116502029B publication Critical patent/CN116502029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于Hadoop MapReduce的智慧城市大数据分析及系统，方法包括：获取入库易涝点的历史降雨量数据和历史积涝深度数据；基于MapReduce分布式计算框架对历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定入库易涝点的降雨量与积涝深度的对应关系。本发明借助MapReduce强大的分布式计算网络来从历史降雨量数据和历史积涝深度数据当中快速提取有效关键信息，并从处理结果当中确定入库易涝点的降雨量与积涝深度的对应关系，从而可以针对该对应关系来对入库易涝点未来是否发生内涝、以及发生内涝程度进行有效预测，并能够给用户提供可靠的定制化的入库易涝点是否建议通过的推送信息。

Description

基于Hadoop MapReduce的智慧城市大数据分析及系统
技术领域
本发明涉及智慧城市大数据技术领域，特别涉及一种基于Hadoop MapReduce的智慧城市大数据分析及系统。
背景技术
智慧城市起源于传媒领域，是指在城市规划、设计、建设、管理与运营等领域中，通过物联网、云计算、大数据、空间地理信息集成等智能计算技术的应用，使得城市管理、教育、医疗、房地产、交通运输、公用事业和公众安全等城市组成的关键基础设施组件和服务更互联、高效和智能，从而为市民提供更美好的生活和工作服务、为企业创造更有利的商业发展环境、为政府赋能更高效的运营与管理机制。
城市内涝一直是当下无法避免的一种城市现象，城市内涝是指由于强降水或连续性降水超过城市排水能力致使城市内产生积水灾害的现象，而容易发生内涝的地点称之为易涝点，城市内涝现象无疑会对市民生活特别是交通出行造成不可避免的影响。
现有技术当中，在目前智慧城市大数据方面，已经能够做到将城市当中的所有易涝点进行掌握，但是即便是将所有易涝点位置面向公众进行公布，由于无法对易涝点未来是否发生内涝、以及发生内涝程度进行有效预测，依然无法成功帮助市民在出行时避开内涝点，经常出现市民驾驶车辆已经到达易涝点才发现已经出现内涝现象，导致交通受阻，部分市民强行驾车通过还容易导致车辆发生涉水事故。同时目前也有通过视频监控来识别内涝的研究，但是这种技术还不成熟，并且这种研究的目的也是对已经发生的内涝现象进行图像识别，也无法做到预测效果。
发明内容
基于此，本发明的目的是提供一种基于Hadoop MapReduce的智慧城市大数据分析及系统，以解决背景技术当中的至少一技术问题。
根据本发明实施例的一种基于Hadoop MapReduce的智慧城市大数据分析方法，所述方法包括：
获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应；
基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系；
当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量；
根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度；
根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度；
根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。
另外，根据本发明上述实施例的一种基于Hadoop MapReduce的智慧城市大数据分析方法，还可以具有如下附加的技术特征：
进一步地，基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理的步骤包括：
将所述入库易涝点的历史降雨量数据和历史积涝深度数据提交到Hadoop的HDFS上，并按小时为单位对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行切分，得到若干历史小时降雨量数据和若干历史小时积涝深度数据；
通过MapReduce分布式计算框架的多个Map函数分别对每个所述历史小时降雨量数据和每个所述历史小时积涝深度数据进行Map作业，其中所述历史小时降雨量数据Map作业后输出由时间和小时降雨量组成的中间键值对，所述历史小时积涝深度数据通过Map函数作业后输出由时间和小时积涝深度组成的中间键值对；
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对。
进一步地，根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系的步骤包括：
以小时降雨量为横坐标、小时积涝深度为纵坐标，将处理得到的若干所述目标键值对映射到预设坐标系当中，以在所述预设坐标系当中得到若干目标坐标点；
对所述若干目标坐标点进行曲线拟合，得到所述入库易涝点的降雨量与积涝深度的对应关系。
进一步地，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤包括：
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组；
通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对。
进一步地，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组的步骤包括：
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按相同时间键值进行一次聚类；
通过MapReduce分布式计算框架的Shuffle函数对所述一次聚类结果按相同小时降雨量或相同小时积涝深度进行二次聚类，得到多个所述中间键值对组。
进一步地，通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤包括：
判断所述中间键值对组当中的中间键值对数量是否大于2；
若否，通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行组成，得到由小时降雨量和小时积涝深度组成的目标键值对；
若是，则通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行一级组合，得到由小时降雨量和小时积涝深度组成的多个一级键值对；
从所述多个一级键值对当中确定小时降雨量均值和小时积涝深度均值，并根据所述小时降雨量均值和所述小时积涝深度均值对所述多个一级键值对进行二级组合，得到由所述小时降雨量均值和所述小时积涝深度均值组成的目标键值对。
进一步地，所述历史积涝深度数据由布置于所述入库易涝点的预定位置处的水位传感器采集得到，根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度的步骤包括：
根据所述入库易涝点的预设路面信息和所述预定位置的高度信息，确定所述入库易涝点的每条车道的最低点与所述预定位置的高度差；
根据所述入库易涝点的每条车道的最低点与所述预定位置的高度差，确定所述入库易涝点的每条车道的水位差；
根据所述入库易涝点的每条车道的水位差和所述目标积涝深度，确定所述入库易涝点的每条车道的车道积涝深度。
进一步地，根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息的步骤包括：
根据所述目标车辆的底盘高度信息以及预设安全比例，确定所述目标车辆的目标底盘高度；
当所述入库易涝点的每条车道的车道积涝深度均小于所述目标底盘高度时，向所述目标车辆发出可以通过所述入库易涝点的第一推送信息；
当所述入库易涝点的每条车道的车道积涝深度均不小于所述目标底盘高度时，向所述目标车辆发出不可以通过所述入库易涝点的第二推送信息；
当所述入库易涝点的各条车道的车道积涝深度只有部分小于所述目标底盘高度时，确定车道积涝深度小于所述目标底盘高度的目标车道，并向所述目标车辆发出可以从所述目标车道通过所述入库易涝点的第三推送信息。
根据本发明实施例的一种基于Hadoop MapReduce的智慧城市大数据分析系统，所述系统包括：
数据获取模块，用于获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应；
数据处理模块，用于基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系；
信息获取模块，用于当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量；
信息确定模块，用于根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度；
信息分析模块，用于根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度；
信息推送模块，用于根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。
与现有技术相比：通过借助Hadoop的MapReduce分布式计算框架对入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，以借助MapReduce强大的分布式计算网络来从历史降雨量数据和历史积涝深度数据当中快速提取有效关键信息，并从处理结果当中确定入库易涝点的降雨量与积涝深度的对应关系，从而可以针对该对应关系来对入库易涝点未来是否发生内涝、以及发生内涝程度进行有效预测。此外，通过将内涝程度细化到每条车道的内涝程度，并结合目标车辆的底盘高度，这样就可以根据目标车辆的底盘高度以及每条车道的内涝程度来给用户推送可靠的定制化的是否可以通过易涝点的建议。
附图说明
图1为本发明第一实施例中的基于Hadoop MapReduce的智慧城市大数据分析方法的流程图；
图2为本发明实施例当中提供的每条车道的车道积涝深度的计算原理图；
图3为本发明实施例当中提供的MapReduce分布式计算过程示意图；
图4为本发明第三实施例中的基于Hadoop MapReduce的智慧城市大数据分析系统的结构示意图。
以下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的基于Hadoop MapReduce的智慧城市大数据分析方法，所述方法具体包括步骤S01-S06。
步骤S01，获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应。
其中，入库易涝点是指已经掌握并且已录入内涝库当中的容易发生内涝的地点，通常对应一个城市而言，一般会有若干个入库易涝点，每个入库易涝点均可采用本发明实施例当中的智慧城市大数据分析方法进行分析处理。在具体实施时，作为一种可选的实施方式，可以在入库易涝点的预定位置处(优选设置在最低点处)设置水位传感器来对发生内涝时的积涝深度进行采样监测，水位传感器例如可以设置1分钟的采样间隔(可根据实际需求进行调整)，从而每隔1分钟采样一次当前积涝深度并上传后台服务器或暂存本地存储器当中，从而得到由按时间维度排序的若干1分钟积涝深度组成的历史积涝深度数据流。同样，也可以在入库易涝点处设置雨量传感器来对入库易涝点的降雨量进行采样监测，雨量传感器例如也可以设置1分钟的采样间隔，从而每隔1分钟采样一次当前降雨量并上传后台服务器或暂存本地存储器当中，从而得到由按时间维度排序的若干1分钟降雨量组成的历史降雨量数据。需要说明的是，为了保证后续拟定的降雨量与积涝深度的对应关系的准确性和可靠性，历史降雨量数据和历史积涝深度数据需要在时间维度上对应，也即降雨量和积涝深度需要同时采集并上传，具体可以设定水位传感器和雨量传感器在数据采集和上传上保持同步，这样所获取的某一时刻的降雨量和积涝深度在时间上是完全对应的，从而保证变量在同一时间维度下进行相关性分析。
在一些其他实施例当中，也可以根据入库易涝点处的天气预报信息当中的分钟降雨量来作为其对应的历史降雨量数据，此时也应当保证天气预报信息当中的降雨量预报时间与积涝深度的采样时间保持一致。
步骤S02，基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系。
具体地，Hadoop框架的核心设计包括HDFS(Hadoop Distributed FileSystem，分布式文件系统)和MapReduce(分布式计算框架)。MapReduce部分处理流程可分为三个主要阶段：Map、Shuffle和Reduce，Map阶段在整个计算任务开始前，用户需要将待计算的数据文件提交到分布式文件系统(HDFS)上，并指定文件分片大小，每个分片对应一个Map作业。单个Map作业运行于集群的单个计算节点之上，首先根据用户配置从分片文件读入键值对，并对读入的键值对执行用户预设的Map函数，产生一系列的中间键值对；Map结束后进入Shuffle阶段，Shuffle函数对Map任务的输出执行用户预设的排序和转换动作并映射为Reduce任务的输入；Reduce阶段，执行Reduce作业的计算节点将接收中间键值对，并对具有相同键的键值对合并调用用户预设的Reduce函数，完成相关计算。Hadoop的优点在于，无论是HDFS的分片形式、亦或者是Map、Shuffle和Reduce函数都可以根据用户实际需求进行设置，从而实现最终的数据分布式处理效果。
在本实施例当中，主要是采用Hadoop的HDFS来对数据量较大的历史降雨量数据和历史积涝深度数据按分钟或小时为切分单位(可根据实际需求进行调整)进行切分，然后采用Hadoop的MapReduce分布式计算框架对切分得到的众多数据片进行Map、Shuffle和Reduce处理，以从中得到若干由时间上对应的分钟降雨量和分钟积涝深度组成的中间键值对、或者得到若干由时间上对应的小时降雨量和小时积涝深度组成的中间键值对，然后再对得到的若干中间键值对进行相关性分析，从而确定出入库易涝点的降雨量与积涝深度的对应关系。
步骤S03，当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量。
在具体实施时，具体可以跟用户端的导航软件形成关联，以能够从用户端的导航软件当中获取到用户的导航信息，从而根据用户的导航信息来预测用户的目标车辆是否会经过该入库易涝点，其中用户还可以将底盘高度等车辆信息上传到导航软件上，使得从导航软件上可以同时获取导航信息和底盘高度等车辆信息。作为一种较佳的应用场景，当用户打开导航软件开始导航时，根据导航信息自动预测用户的目标车辆是否会经过某一入库易涝点，若会经过，则从导航软件上获取底盘高度信息以及车辆从当前位置(开始导航的起始点位置)到达该入库易涝点所需要的时间，然后从天气预报信息当中获取未来的降雨量信息，从而能够确定该入库易涝点在目标车辆到达的过程当中的目标降雨量，例如根据天气预报信息知晓未来分钟降雨量为4.3mm，车辆从当前位置到达该入库易涝点所需要的时间为10分钟，则在目标车辆行程的10分钟内，该入库易涝点处会累积降雨43mm。作为另一种较佳的应用场景，还可以对用户的历史导航信息或者用户活动轨迹(可预设或者通过手机终端定位来获取)进行分析，从而对用户的活动规律进行掌握，例如掌握上下班时间以及上下班开车路线，从而在对应的规律点自动预测用户的目标车辆是否会经过入库易涝点，这样即使用户不打开导航也能够正常推送后面的是否能够通过途经的入库易涝点的推送信息。
步骤S04，根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度。
应当理解的，由于已经分析得到降雨量与积涝深度的对应关系，因此可以根据未来一段时间内的降雨量就可以预测该段时间内该入库易涝点的积涝上涨深度，然后再将预测的积涝上涨深度与入库易涝点的当前积涝深度相加即可确定、目标车辆后面到达入库易涝点时的入库易涝点的目标积涝深度。其中，所述当前积涝深度可以在预测到目标车辆会经过该入库易涝点时为时间节点获取的入库易涝点当前的积涝深度，而入库易涝点当前的积涝深度可通过布置在入库易涝点的预定位置处的水位传感器来采样得到。
步骤S05，根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度。
在具体实施时，作为一种可选的实现方式，步骤S05具体可以包括：
步骤S051、根据所述入库易涝点的预设路面信息和所述预定位置的高度信息，确定所述入库易涝点的每条车道的最低点与所述预定位置的高度差，其中水位传感器布置在所述预定位置处；
步骤S052、根据所述入库易涝点的每条车道的最低点与所述预定位置的高度差，确定所述入库易涝点的每条车道的水位差；
步骤S053、根据所述入库易涝点的每条车道的水位差和所述目标积涝深度，确定所述入库易涝点的每条车道的车道积涝深度。
应当理解的，由于前面的降雨量与积涝深度的对应关系是基于该预定位置的积涝深度为依据分析得到的，同时当前降雨量数据也是在该预定位置测量得到，因此该目标积涝深度实际是该预定位置处的积涝深度，本实施例还需要进一步将该目标积涝深度转为为入库易涝点的每条车道的车道积涝深度。在具体实施时，可以对入库易涝点的路面进行实地测算，以确定每条车道的最低点及其与该预定位置的高度差，这样就可以根据高度差来确定同一时刻下的每条车道的水位差，进而就可以根据目标积涝深度来确定入库易涝点的每条车道的车道积涝深度。
具体地，如图2所示，当已知某一车道的最低点A与预定位置B的高度差为h1时，则可以推算出最低点A与预定位置B的水位差是h1，若目标积涝深度为H，则最低点A处的积涝深度为H-h1，也即该车道的车道积涝深度为H-h1。本实施例以每条车道的最低点为基准来确定每条车道的车道积涝深度，这样可以保证后续推送结果的可靠性。
步骤S06，根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。
在具体实施时，作为一种可选的实现方式，步骤S06具体可以包括：
根据所述目标车辆的底盘高度信息以及预设安全比例，确定所述目标车辆的目标底盘高度；
当所述入库易涝点的每条车道的车道积涝深度均小于所述目标底盘高度时，向所述目标车辆发出可以通过所述入库易涝点的第一推送信息，此时代表目标车辆可以不限车道的正常通过该入库易涝点；
当所述入库易涝点的每条车道的车道积涝深度均不小于所述目标底盘高度时，向所述目标车辆发出不可以通过所述入库易涝点的第二推送信息，此时代表目标车辆走任何车道通过该入库易涝点都会可能存在涉水风险，此时可以提示用户绕行；
当所述入库易涝点的各条车道的车道积涝深度只有部分小于所述目标底盘高度时，确定车道积涝深度小于所述目标底盘高度的目标车道，并向所述目标车辆发出可以从所述目标车道通过所述入库易涝点的第三推送信息，此时代表目标车辆可以从指定的目标车道来正常通过该入库易涝点。
也即，本实施例会根据车辆底盘的具体情况以及每条车道的车道积涝深度，来给目标车辆推送定制化的是否可以通过入库易涝点的推送信息，这样就可以给用户提供直接的驾驶参考，避免原本可以通过该入库易涝点的车辆发生不必要的绕行，避免原本不可以通过该入库易涝点的车辆因抱着尝试通过的心理而导致车辆涉水事故，同时因为有大数据为依据还可以给用户通过该入库易涝点增加信心。此外，本实施例还进一步设置了安全比例，安全比例具体可以为5％-15％，优选为10％，也即预留了10％的底盘高度来保证通过安全性，同时还能够起到冗余的作用，使得即便存在一些计算误差，也能够保证在建议车辆通过的情形下保证车辆安全通过，提高可靠性和安全性。
综上，本发明上述实施例当中的基于Hadoop MapReduce的智慧城市大数据分析方法，通过借助Hadoop的MapReduce分布式计算框架对入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，以借助MapReduce强大的分布式计算网络来从历史降雨量数据和历史积涝深度数据当中快速提取有效关键信息，并从处理结果当中确定入库易涝点的降雨量与积涝深度的对应关系，从而可以针对该对应关系来对入库易涝点未来是否发生内涝、以及发生内涝程度进行有效预测。此外，通过将内涝程度细化到每条车道的内涝程度，并结合目标车辆的底盘高度，这样就可以根据目标车辆的底盘高度以及每条车道的内涝程度来给用户推送可靠的定制化的是否可以通过易涝点的建议，避免单纯考虑局部内涝程度而通盘否定所有车辆无法通过的现象发生。
需要说明的是，虽然Hadoop的HDFS和MapReduce提高了强大的函数自定义功能，但是实际研发过程当中的难点在于：如何针对本发明实施例当中的历史降雨量数据和历史积涝深度数据这种数据量大且为双重变量交叉的数据集群进行数据切片设计、Map设计、Shuffle设计和Reduce函数设计，从而能够快速、准确提取有效且为特定形式的关键信息。为此本发明进一步提出了如下实施例二的技术方案。
实施例二
本发明第二实施例中也提出了一种基于Hadoop MapReduce的智慧城市大数据分析方法，本实施例当中的基于Hadoop MapReduce的智慧城市大数据分析方法与第一实施例当中的基于Hadoop MapReduce的智慧城市大数据分析方法的不同之处在于：
其中，基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理的步骤具体包括：
将所述入库易涝点的历史降雨量数据和历史积涝深度数据提交到Hadoop的HDFS上，并按小时为单位对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行切分，得到若干历史小时降雨量数据和若干历史小时积涝深度数据；
通过MapReduce分布式计算框架的多个Map函数分别对每个所述历史小时降雨量数据和每个所述历史小时积涝深度数据进行Map作业，其中所述历史小时降雨量数据Map作业后输出由时间和小时降雨量组成的中间键值对，所述历史小时积涝深度数据通过Map函数作业后输出由时间和小时积涝深度组成的中间键值对；
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对。
在具体实施时，本实施例当中的历史降雨量数据和历史积涝深度数据均为对应的传感器以1分钟为间隔进行采样得到，也即历史降雨量数据为由按时间维度排序的若干1分钟降雨量组成的数据序列，历史积涝深度数据为由按时间维度排序的若干1分钟积涝深度组成的数据序列。针对这种数据序列可以采用例如分钟、小时或者天为单位进行切片，考虑到切片后数据量的大小和分布性，本实施例具体以1小时为单位来对历史降雨量数据和历史积涝深度数据进行切分，切片后得到若干历史小时降雨量数据和若干历史小时积涝深度数据；
之后，再通过MapReduce分布式计算框架的多个Map函数分别对每个历史小时降雨量数据和每个历史小时积涝深度数据进行Map作业，每个分片对应一个Map，为了能够提供所需要的能够服务于后续的关键数据，本实施例还对降雨量数据和积涝深度数据作出了不同的Map函数设计，具体是：在对历史小时降雨量数据进行Map作业时，先从中读取每个1分钟降雨量，每个1分钟降雨量对应为一个键值，然后对读取的所有键值执行累加求和运算，得到小时降雨量，然后将该小时降雨量和该历史小时降雨量数据对应的时间作为中间键值对输出，输出形式例如为[F,T]，其中F表示小时降雨量，T表示时间；而对历史小时积涝深度数据进行Map作业时，从中读取分别位于数据首端和数据尾端的两个1分钟积涝深度，每个1分钟积涝深度对应为一个键值，然后对从数据首端读取的键值与从数据尾端读取的键值进行差值运算，得到小时积涝深度，然后将该小时积涝深度和该历史小时积涝深度数据对应的时间作为中间键值对输出，输出形式例如为[Q,T]，其中Q表示小时积涝深度，T表示时间，因此在Map作业之后，将得到形式为[F,T]、[Q,T]的若干中间键值对。
具体地，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤具体包括：
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组；
通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对。
也即，在Map作业之后，通过Shuffle函数对形式为[F,T]、[Q,T]的若干中间键值对按键值相同聚为一组的形式进行转换，得到多个中间键值对组，然后再对每个中间键值对组采用一个Reduce函数进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对。
进一步地，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组的步骤具体包括：
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按相同时间键值进行一次聚类；
通过MapReduce分布式计算框架的Shuffle函数对所述一次聚类结果按相同小时降雨量或相同小时积涝深度进行二次聚类，得到多个所述中间键值对组。
例如如图3所示，中间键值对[F1,T1]和[Q1,T1]因时间T1相同，在一次聚类时将聚类为一组，得到同时中间键值对[F1,T2]和[Q2,T2]因时间T2相同，在一次聚类时也将聚类为一组，得到/>此时由于两个一次聚类结果当中小时降雨量F1相同，则这两个一次聚类结果还会进行二次聚类，最终得到如下的中间键值对组：
其他中间键值对的聚类过程以此类推，此外若某一个一次聚类结果与其他一次聚类结果没有相同的降雨量或积涝深度，则该一次聚类结果不进行二次聚类而直接输出为最终的中间键值对组，例如如图3当中的/>
此外，通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤具体包括：
判断所述中间键值对组当中的中间键值对数量是否大于2；
若否，通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行组成，得到由小时降雨量和小时积涝深度组成的目标键值对；
若是，则通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行一级组合，得到由小时降雨量和小时积涝深度组成的多个一级键值对；
从所述多个一级键值对当中确定小时降雨量均值和小时积涝深度均值，并根据所述小时降雨量均值和所述小时积涝深度均值对所述多个一级键值对进行二级组合，得到由所述小时降雨量均值和所述小时积涝深度均值组成的目标键值对。
具体地，中间键值对组当中的中间键值对数量具体为2或者4，当中间键值对组当中的中间键值对数量不大于2时，代表中间键值对组当中有2个中间键值对，具体对应于中间键值对组为的情况，此时Reduce函数将其组成为[F3,Q3]的目标键值对输出；当中间键值对组当中的中间键值对数量大于2时，代表中间键值对组当中有4个中间键值对，具体对应于中间键值对组为/>的情况，此时Reduce函数先将时间键值相同的中间键值对进行一级组合，得到两个一级键值对[F1,Q1]和[F1,Q2]，然后基于这两个一级键值对再进行小时降雨量均值和小时积涝深度均值的计算，最终基于均值进行二级组合，得到由小时降雨量均值和小时积涝深度均值组成的目标键值对[F1,(Q1+Q2)/2]。本实施例通过如上多级聚类和多层次组合的技术手段，能够快速、准确提取有效且为特定形式的目标键值对，该特定形式的目标键值对能够直接、更好的用于后续坐标曲线拟合当中。同时整个键值对无论是输入输出、亦或者是聚类和组合的结果均以矩阵形式来呈现，这种方式能够很直接的利于对其中键值的处理，并在最终输出的结果可以直接转化为坐标形式来服务于后续的曲线拟合当中，大大提升效率。
具体地，在本实施例当中，根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系的步骤具体包括：
以小时降雨量为横坐标、小时积涝深度为纵坐标，将处理得到的若干所述目标键值对映射到预设坐标系当中，以在所述预设坐标系当中得到若干目标坐标点；
对所述若干目标坐标点进行曲线拟合，得到所述入库易涝点的降雨量与积涝深度的对应关系。
本实施例具体是采用曲线拟合的方式来进行降雨量与积涝深度的相关性分析，具体是将目标键值对以小时降雨量为横坐标、小时积涝深度为纵坐标的方式映射到预设坐标系当中，以在预设坐标系(二维坐标系)当中得到若干目标坐标点，之后再利用曲线拟合技术对预设坐标系当中的若干目标坐标点进行曲线拟合，以拟合得到入库易涝点的降雨量与积涝深度的对应关系。
需要说明的是，以上各实施例及其特征之间，在没有冲突和特别说明的情况下可以进行任意结合，结合所得到的新技术方案依然属于本发明的保护范畴当中。
实施例三
本发明另一方面还提供一种基于Hadoop MapReduce的智慧城市大数据分析系统，请查阅图4，所示为本发明第三实施例中的基于Hadoop MapReduce的智慧城市大数据分析系统，包括：
数据获取模块11，用于获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应；
数据处理模块12，用于基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系；
信息获取模块13，用于当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量；
信息确定模块14，用于根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度；
信息分析模块15，用于根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度；
信息推送模块16，用于根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。
进一步地，在本实施例一些可选情况当中，所述数据处理模块12包括：
数据切分单元，用于将所述入库易涝点的历史降雨量数据和历史积涝深度数据提交到Hadoop的HDFS上，并按小时为单位对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行切分，得到若干历史小时降雨量数据和若干历史小时积涝深度数据；
Map处理单元，用于通过MapReduce分布式计算框架的多个Map函数分别对每个所述历史小时降雨量数据和每个所述历史小时积涝深度数据进行Map作业，其中所述历史小时降雨量数据Map作业后输出由时间和小时降雨量组成的中间键值对，所述历史小时积涝深度数据通过Map函数作业后输出由时间和小时积涝深度组成的中间键值对；
Shuffle处理单元，用于通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换；
Reduce处理单元，用于通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对。
进一步地，在本实施例一些可选情况当中，所述数据处理模块12还包括：
相关性分析单元，用于以小时降雨量为横坐标、小时积涝深度为纵坐标，将处理得到的若干所述目标键值对映射到预设坐标系当中，以在所述预设坐标系当中得到若干目标坐标点；对所述若干目标坐标点进行曲线拟合，得到所述入库易涝点的降雨量与积涝深度的对应关系。
进一步地，在本实施例一些可选情况当中，所述Shuffle处理单元还用于通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组；所述Reduce处理单元还用于通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对。
进一步地，在本实施例一些可选情况当中，所述Shuffle处理单元还用于通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按相同时间键值进行一次聚类；通过MapReduce分布式计算框架的Shuffle函数对所述一次聚类结果按相同小时降雨量或相同小时积涝深度进行二次聚类，得到多个所述中间键值对组。
进一步地，在本实施例一些可选情况当中，所述Reduce处理单元还用于判断所述中间键值对组当中的中间键值对数量是否大于2；若否，通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行组成，得到由小时降雨量和小时积涝深度组成的目标键值对；若是，则通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行一级组合，得到由小时降雨量和小时积涝深度组成的多个一级键值对；从所述多个一级键值对当中确定小时降雨量均值和小时积涝深度均值，并根据所述小时降雨量均值和所述小时积涝深度均值对所述多个一级键值对进行二级组合，得到由所述小时降雨量均值和所述小时积涝深度均值组成的目标键值对。
进一步地，在本实施例一些可选情况当中，所述信息分析模块还用于根据所述目标车辆的底盘高度信息以及预设安全比例，确定所述目标车辆的目标底盘高度；当所述入库易涝点的每条车道的车道积涝深度均小于所述目标底盘高度时，向所述目标车辆发出可以通过所述入库易涝点的第一推送信息；当所述入库易涝点的每条车道的车道积涝深度均不小于所述目标底盘高度时，向所述目标车辆发出不可以通过所述入库易涝点的第二推送信息；当所述入库易涝点的各条车道的车道积涝深度只有部分小于所述目标底盘高度时，确定车道积涝深度小于所述目标底盘高度的目标车道，并向所述目标车辆发出可以从所述目标车道通过所述入库易涝点的第三推送信息。
进一步地，在本实施例一些可选情况当中，所述信息推送模块还用于根据所述目标车辆的底盘高度信息以及预设安全比例，确定所述目标车辆的目标底盘高度；当所述入库易涝点的每条车道的车道积涝深度均小于所述目标底盘高度时，向所述目标车辆发出可以通过所述入库易涝点的第一推送信息；当所述入库易涝点的每条车道的车道积涝深度均不小于所述目标底盘高度时，向所述目标车辆发出不可以通过所述入库易涝点的第二推送信息；当所述入库易涝点的各条车道的车道积涝深度只有部分小于所述目标底盘高度时，确定车道积涝深度小于所述目标底盘高度的目标车道，并向所述目标车辆发出可以从所述目标车道通过所述入库易涝点的第三推送信息。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于Hadoop MapReduce的智慧城市大数据分析方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，所述方法包括：
获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应；
基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系；
当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量；
根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度；
根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度；
根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。
2.根据权利要求1所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理的步骤包括：
将所述入库易涝点的历史降雨量数据和历史积涝深度数据提交到Hadoop的HDFS上，并按小时为单位对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行切分，得到若干历史小时降雨量数据和若干历史小时积涝深度数据；
通过MapReduce分布式计算框架的多个Map函数分别对每个所述历史小时降雨量数据和每个所述历史小时积涝深度数据进行Map作业，其中所述历史小时降雨量数据Map作业后输出由时间和小时降雨量组成的中间键值对，所述历史小时积涝深度数据通过Map函数作业后输出由时间和小时积涝深度组成的中间键值对；
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对。
3.根据权利要求2所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系的步骤包括：
以小时降雨量为横坐标、小时积涝深度为纵坐标，将处理得到的若干所述目标键值对映射到预设坐标系当中，以在所述预设坐标系当中得到若干目标坐标点；
对所述若干目标坐标点进行曲线拟合，得到所述入库易涝点的降雨量与积涝深度的对应关系。
4.根据权利要求2所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤包括：
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组；
通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对。
5.根据权利要求4所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组的步骤包括：
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按相同时间键值进行一次聚类；
通过MapReduce分布式计算框架的Shuffle函数对所述一次聚类结果按相同小时降雨量或相同小时积涝深度进行二次聚类，得到多个所述中间键值对组。
6.根据权利要求4或5所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤包括：
判断所述中间键值对组当中的中间键值对数量是否大于2；
若否，通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行组成，得到由小时降雨量和小时积涝深度组成的目标键值对；
若是，则通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行一级组合，得到由小时降雨量和小时积涝深度组成的多个一级键值对；
从所述多个一级键值对当中确定小时降雨量均值和小时积涝深度均值，并根据所述小时降雨量均值和所述小时积涝深度均值对所述多个一级键值对进行二级组合，得到由所述小时降雨量均值和所述小时积涝深度均值组成的目标键值对。
7.根据权利要求1所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，所述历史积涝深度数据由布置于所述入库易涝点的预定位置处的水位传感器采集得到，根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度的步骤包括：
根据所述入库易涝点的预设路面信息和所述预定位置的高度信息，确定所述入库易涝点的每条车道的最低点与所述预定位置的高度差；
根据所述入库易涝点的每条车道的最低点与所述预定位置的高度差，确定所述入库易涝点的每条车道的水位差；
根据所述入库易涝点的每条车道的水位差和所述目标积涝深度，确定所述入库易涝点的每条车道的车道积涝深度。
8.根据权利要求1或7所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息的步骤包括：
根据所述目标车辆的底盘高度信息以及预设安全比例，确定所述目标车辆的目标底盘高度；
当所述入库易涝点的每条车道的车道积涝深度均小于所述目标底盘高度时，向所述目标车辆发出可以通过所述入库易涝点的第一推送信息；
当所述入库易涝点的每条车道的车道积涝深度均不小于所述目标底盘高度时，向所述目标车辆发出不可以通过所述入库易涝点的第二推送信息；
当所述入库易涝点的各条车道的车道积涝深度只有部分小于所述目标底盘高度时，确定车道积涝深度小于所述目标底盘高度的目标车道，并向所述目标车辆发出可以从所述目标车道通过所述入库易涝点的第三推送信息。
9.一种基于Hadoop MapReduce的智慧城市大数据分析系统，其特征在于，所述系统包括：
数据获取模块，用于获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应；
数据处理模块，用于基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系；
信息获取模块，用于当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量；
信息确定模块，用于根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度；
信息分析模块，用于根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度；
信息推送模块，用于根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。
CN202310462408.XA 2023-04-26 2023-04-26 基于Hadoop MapReduce的智慧城市大数据分析及系统 Active CN116502029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310462408.XA CN116502029B (zh) 2023-04-26 2023-04-26 基于Hadoop MapReduce的智慧城市大数据分析及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310462408.XA CN116502029B (zh) 2023-04-26 2023-04-26 基于Hadoop MapReduce的智慧城市大数据分析及系统

Publications (2)

Publication Number Publication Date
CN116502029A true CN116502029A (zh) 2023-07-28
CN116502029B CN116502029B (zh) 2024-06-18

Family

ID=87329737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310462408.XA Active CN116502029B (zh) 2023-04-26 2023-04-26 基于Hadoop MapReduce的智慧城市大数据分析及系统

Country Status (1)

Country Link
CN (1) CN116502029B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229742A (zh) * 2017-06-20 2017-10-03 华中科技大学 一种基于遥感大数据确定城市易涝点的方法
CN113593191A (zh) * 2021-08-10 2021-11-02 安徽嘉拓信息科技有限公司 一种基于大数据的可视化城市内涝监测预警系统
CN113887813A (zh) * 2021-10-18 2022-01-04 中国联合网络通信集团有限公司 台风灾害预警方法、装置、服务器及存储介质
CN115203889A (zh) * 2022-05-31 2022-10-18 江西省大气探测技术中心 一种内涝气象风险预警方法、系统、可读存储介质及设备
WO2023016036A1 (zh) * 2021-08-12 2023-02-16 中交第四航务工程勘察设计院有限公司 市政道路积水多因素复合型预警预报方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229742A (zh) * 2017-06-20 2017-10-03 华中科技大学 一种基于遥感大数据确定城市易涝点的方法
CN113593191A (zh) * 2021-08-10 2021-11-02 安徽嘉拓信息科技有限公司 一种基于大数据的可视化城市内涝监测预警系统
WO2023016036A1 (zh) * 2021-08-12 2023-02-16 中交第四航务工程勘察设计院有限公司 市政道路积水多因素复合型预警预报方法
CN113887813A (zh) * 2021-10-18 2022-01-04 中国联合网络通信集团有限公司 台风灾害预警方法、装置、服务器及存储介质
CN115203889A (zh) * 2022-05-31 2022-10-18 江西省大气探测技术中心 一种内涝气象风险预警方法、系统、可读存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄丹萍;白龙;: "南宁城市内涝分布特征及其监测预警系统应用分析", 防灾科技学院学报, no. 04 *

Also Published As

Publication number Publication date
CN116502029B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
Azimi et al. Aerial LaneNet: Lane-marking semantic segmentation in aerial imagery using wavelet-enhanced cost-sensitive symmetric fully convolutional neural networks
EP3997616B1 (en) Object-based change detection using a neural network
JP2022507077A (ja) 区画線属性検出方法、装置、電子機器及び可読記憶媒体
WO2021082464A1 (zh) 预测车辆的目的地的方法和装置
CN114092917B (zh) 一种基于mr-ssd的被遮挡交通标志检测方法及系统
CN112669340B (zh) 一种基于gis大数据分析的公共设施选址方法及系统
US20210271876A1 (en) Determining traffic control features based on telemetry patterns within digital image representations of vehicle telemetry data
Prastacos et al. Using the Urban Atlas dataset for estimating spatial metrics. Methodology and application in urban areas of Greece
DE112021001926T5 (de) System und verfahren zur filterlosen drosselung vonfahrzeugereignisdatenverarbeitung zum identifizieren von parkbereichen
CN114581886A (zh) 结合语义分割和频域分析的能见度判别方法、装置及介质
CN116502029B (zh) 基于Hadoop MapReduce的智慧城市大数据分析及系统
Zhang et al. Automatic identification of building structure types using unmanned aerial vehicle oblique images and deep learning considering facade prior knowledge
CN111310660B (zh) 用于adas场景的目标检测虚警抑制方法及装置
CN117788817A (zh) 一种基于边缘特征增强的遥感影像语义分割方法
CN117409569A (zh) 一种基于大数据的智慧交通系统及方法
de Mesquita et al. Street pavement classification based on navigation through street view imagery
CN106781470B (zh) 城市道路的运行速度的处理方法及装置
Khan Vehicle and pedestrian detection using YOLOv3 and YOLOv4 for self-driving cars
CN113850219B (zh) 一种数据收集方法、装置、交通工具及存储介质
CN115690787A (zh) 语义分割方法、图像处理设备以及计算机可读存储介质
Jiang et al. A deep learning-assisted mathematical model for decongestion time prediction at railroad grade crossings
CN114419018A (zh) 图像采样方法、系统、设备及介质
Li et al. A study on the tourism features extraction from photos in a tourism website by image analysis
CN115861324B (zh) 一种路面病害维修成本预测方法及系统
US20240202872A1 (en) Method, apparatus, and computer program product for image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant