CN110766214A - 一种基于边缘计算和大数据的实时防洪监测系统 - Google Patents
一种基于边缘计算和大数据的实时防洪监测系统 Download PDFInfo
- Publication number
- CN110766214A CN110766214A CN201910986290.4A CN201910986290A CN110766214A CN 110766214 A CN110766214 A CN 110766214A CN 201910986290 A CN201910986290 A CN 201910986290A CN 110766214 A CN110766214 A CN 110766214A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- monitoring
- flood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 98
- 238000004364 calculation method Methods 0.000 title claims abstract description 66
- 238000013500 data storage Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000002265 prevention Effects 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02B—HYDRAULIC ENGINEERING
- E02B1/00—Equipment or apparatus for, or methods of, general hydraulic engineering, e.g. protection of constructions against ice-strains
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Mechanical Engineering (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Alarm Systems (AREA)
Abstract
一种基于边缘计算和大数据的实时防洪监测系统,包括:实时监控单元,用于将实时获取图像传递给边缘计算模块;两个以上的边缘计算模块,每个边缘计算模块对应至少一个监测点进行单点的预计算,在网络边缘对数据进行识别和分类,识别出走势异常数据后上报;数据存储和计算中心,只接所有收边缘计算模块传回来的发生了变化的图片数据,并对总体的继续洪水走势预测和防洪规划,并将结果发送;实时监测和预警中心,用于实时接收边缘计算模块识别的单点洪水走势异常;大数据中心,用来传递告警和预测数据,并生成总体洪水实时走势和防洪安排。本发明具有能够减少终端和数据中心之间网络传输量、减少大数据中心存储成本和计算成本等优点。
Description
技术领域
本发明主要涉及到水利监测技术领域,特指一种基于边缘计算和大数据的实时防洪监测系统。
背景技术
在水文监测领域,已从以往的人工监控方式逐渐向智能化、实时性监控方向发展。随着越来越多的智能监控设备在水文监测领域应用,能够不断提高水文监控的实时性、监测效果。现有水文监测系统大部分是从传感设备的选用、功能的集成上做出创新,但是却未能从实质上满足水文监测的需求。
传统水文监测系统在工作时,其计算主要为多种采集终端将数据连续的通过网络发回给数据中心,然后数据中心统一对所有终端的数据进行统一处理和识别,最后做出相应的处理。整个过程中数据传输量大,而且随着采集终端越多、传输的数据量越大,占用大量的网络带宽,而且让数据中心不堪重负,造成更大的数据瓶颈,在网络传输过程中延迟严重。同时,由于采集终端传输了大量相似数据导致后端数据中心存储的浪费和计算的浪费。另外,由于大量数据在数据中心进行计算,导致计算能力需要不断提升,需要在本地的设备的数据平台解决方案中投入更多的成本来保障数据的存储和计算的能力。
由上可知,现有传统的水文监测系统仍然存在以下的不足:
1、目前洪水实时传感监测和实时视频监控等传输数据量大,处理滞后,告警滞后。
2、数据全部统一后台处理,处理数据量大识别难度高且处理分析时间长。
3、缺乏有效的画面识别,缺乏高效的大数据平台进行识别、数据整合和实时预警。
综上所述,传统的防洪监测系统很难做到实时监测、预测、预警效果。
发明内容
本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一种能够减少终端和数据中心之间网络传输量、减少大数据中心存储成本和计算成本的基于边缘计算和大数据的实时防洪监测系统。
为解决上述技术问题,本发明采用以下技术方案:
一种基于边缘计算和大数据的实时防洪监测系统,其包括:
实时监控单元,用于将实时获取图像传递给边缘计算模块;
两个以上的边缘计算模块,每个边缘计算模块对应至少一个监测点进行单点的预计算,在网络边缘对数据进行识别和分类,识别出走势异常数据后上报给实时监测和预警中心;
数据存储和计算中心,用于只接所有收边缘计算模块传回来的发生了变化的图片数据,并对总体的继续洪水走势预测和防洪规划,并将结果发送给实时监测和预警中心;
实时监测和预警中心,用于实时接收边缘计算模块识别的单点洪水走势异常,同时还接收大数据中心的信息;
大数据中心,用来传递告警和预测数据,并生成总体洪水实时走势和防洪安排。
作为本发明的进一步改进:所述边缘计算模块包括:
视频流程采集模块,通过图像采集装置获取并向算法输入实时监控视频流;
视频流解析模块,采用Yolo_v3 算法对图像进行快速识别并生成识别数据;
数据比对分析模块,用于将识别数据和历史数据进行对比分析,识别量化指标;按预先配置好的告警规则,如果量化指标超过相应规则,立即发送告警信息给实时监测和预警中心进行告警;
实时走势分析模块,用于将最近的数据进行量化指标变化预测,如果预测出现风险立即发送告警信息给实时监测和预警中心。
作为本发明的进一步改进:所述数据存储和计算中心采用基于hbase和spark引擎的防洪大数据平台,进行防洪大数据分析和实时监测、预测。
作为本发明的进一步改进:所述数据存储和计算中心包括:
物联网高并发网关netty,用于高并发的网络连接和数据接收;
大数据高并发消息队列kafka,用于为消息队列负责高并发数据的临时存储;
海量数据高速读取引擎hbase,用于提高高并发的读写能力;
海量数据存储引擎hdfs,用来为提高海量历史数据存储和冗余;
大数据算法引擎spark MLlib,用来为基于全量的历史数据构建算法模型;
实时数据处理引擎spark streaming ,用来进行实时预测和告警生产;
Redis,一种key-value的内存数据库,用来进行监控平台和告警推送的对接。
作为本发明的进一步改进:所述边缘计算模块将数据发送给数据存储和计算中心的物联网高并发网关netty,完成数据传递;物联网高并发网关netty将实时数据流程传递给大数据高并发消息队列kafka完成输出的临时存储;所有数据写入海量数据高速读取引擎hbase,用于所有监测点的分析和预测;监控指标计算引擎Spark sql将定期对批量历史数据进行指标计算和汇总,大数据算法引擎Spark Mllib 定期对所有监测点的数据进行分类和回归算法应用,用数据完善模型;实时数据处理引擎Spark streaming模块用来实时将所有监测点的波动数据和历史数据进行计算展示总体的实时情况,并应用spark Mllib用全量历史数据优化后的回归模型进行总体预测。
作为本发明的进一步改进:所述实时监测和预警中心采用Echars大数据可视化和地理信息GIS地图展示技术,将大数据中心和边缘计算模块传送回来的告警和预测数据进行展示,同时将告警信息通过短信和微信等告警接口下方给负责人。
作为本发明的进一步改进:所述边缘计算模块将实时传送回来的图片进行实时识别和处理,将图片结果和前一小段历史数据进行对比,识别单个监测点的洪水走势异常和实时预测走势异常;如果出现洪水走势异常或者实时预测到洪水可能走势异常,立即上报给实时监测和预警中心,同时将图片数据发送给大数据中心进行进一步的计算和预测。
作为本发明的进一步改进:所述实时监控单元包括洪水遥感监测单元和/或固定监测单元。
与现有技术相比,本发明的优点在于:
1、本发明的基于边缘计算和大数据的实时防洪监测系统,基于边缘计算和大数据的实时防洪监测系统通过图形边缘计算的方式在数据采集端直接进行识别和计算,并判断实时数据是否发生变化,通过计算指标比对来决定是否需要通过网络发回给后台服务器,并将计算结果直接进行单个监测点的实时告警和预测分析。同时结合物联网大数据实时采集架构、大数据海量数据高并发读写架构、大数据实时处理和分析挖掘等实现实时的全范围的预测和告警。
2、本发明的基于边缘计算和大数据的实时防洪监测系统,通过边缘计算,识别图片数据比在终端内部进行数据分析,如果数据变化差异合理则无须将原始大量的数据传回数据中心,变化差异较大的数据立马发送告警并同时将原始数据传回数据中心进行进一步的实时预测和分析,从而提高大大减少了终端和数据中心之间网络传输量,同时大大减少了大数据中心的存储成本和计算成本。
3、本发明的基于边缘计算和大数据的实时防洪监测系统,防洪大数据中心采用性能更好的hbase存储引擎和spark处理引擎,提高读写更快,计算更快的大数据平台,提高了大数据平台性能。
附图说明
图1是本发明防洪检测系统的结构原理示意图。
图2是本发明在具体应用实例中边缘计算模块的结构原理示意图。
图3是本发明在具体应用实例中数据存储和计算中心的结构原理示意图。
图4是本发明在具体应用实例中实时监测和预警中心的结构原理示意图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图1所示,本发明的基于边缘计算和大数据的实时防洪监测系统,包括:
实时监控单元,用于将实时获取图像传递给边缘计算模块;
两个以上的边缘计算模块,每个边缘计算模块对应至少一个监测点进行单点的预计算;即,用于将实时传送回来的图片进行实时识别和处理,将图片结果和前一小段历史数据进行对比,识别单个监测点的洪水走势异常和实时预测走势异常;如果出现洪水走势异常或者实时预测到洪水可能走势异常,立即上报给实时监测和预警中心,同时将图片数据发送给大数据中心进行进一步的计算和预测。
数据存储和计算中心,用于只接所有收边缘计算模块传回来的发生了变化的图片数据,并对总体的继续洪水走势预测和防洪规划,并将结果发送给实时监测和预警中心;
实时监测和预警中心,用于实时接收边缘计算模块识别的单点洪水走势异常,同时还接收大数据中心的总体洪水实时走势和防洪安排;
大数据中心,用来传递告警和预测数据,并生成总体洪水实时走势和防洪安排。
通过采用上述方案,实时防洪遥感监测点和实时信息采集点的数据传输方式,不再所有数据都实时传回大数据中心,而是根据边缘计算结果来判定是否传输。也就是说,通过边缘计算大大提高预警的时效性,直接通过边缘计算结果直接预警而不用等所有数据传递给大数据平台后进行计算预警。
在具体应用实例中,实时监控单元包括洪水遥感监测单元和/或固定监测单元。
在具体应用实例中,边缘计算模块为在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务;其应用程序在边缘侧发起,产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
本发明中的边缘计算模块在网络边缘对数据进行识别和分类,将部分数据放在边缘处理,减少延迟和数据传输,从而实现实时和更高效的数据量。边缘计算模块的图片智能识别框架,在网络边缘模块基于opencv对图像进行解码,然后通过Tensorflow、Yolo_v3深度学习框架进行图片识别。然后,将图片信息进行识别和提取,并和临时存储数据进行比对计算。
在具体应用实例中,如图2所示,该边缘计算模块包括:
视频流程采集模块(opencv模块),通过图像采集装置(如摄像头)获取并向算法输入实时监控视频流;其中,OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。
视频流解析模块(tensorflow模块),采用Yolo_v3 算法对图像进行快速识别并生成识别数据。在具体应用时可根据实际需要包含遥感影像分类、位置识别等。其中,Yolo_v3为基于TensorFlow的一种开源的目标检测类和速度检测的算法。TensorFlow 是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现。
数据比对分析模块(Python模块),用于将识别数据和历史数据进行对比分析,识别洪水位置变化、流速变化等量化指标。按预先配置好的告警规则(即预先设置的阈值),如果量化指标超过相应规则,立即发送告警信息给实时监测和预警中心进行告警。
实时走势分析模块,用于将最近的数据进行量化指标变化预测,如果预测出现风险立即发送告警信息给实时监测和预警中心。
如图3所示,本发明的数据存储和计算中心采用基于hbase和spark引擎的防洪大数据平台,进行防洪大数据分析和实时监测、预测。整个大数据实时架构是基于netty ,kafka,hdfs,spark Mllib,spark streaming,hbase构建高并发的实时采集,分析和预警系统。其中netty主要负责高并发的网络连接和数据接收,kafka主要功能为消息队列负责高并发数据的临时存储,hbase提高高并发的读写能力,hdfs为提高海量历史数据存储和冗余,spark MLlib主要为基于全量的历史数据构建算法模型,spark streaming 负责实时预测和告警生产,redis负责监控平台和告警推送的对接。
如图3所示,本发明中所有边缘计算模块将数据发送给物联网高并发网关netty,完成数据传递;物联网高并发网关netty无法存放数据,将实时数据流程传递给大数据高并发消息队列kafka完成输出的临时存储;所有数据写入海量数据高速读取引擎hbase,用于所有监测点的分析和预测;监控指标计算引擎Spark sql将定期对批量历史数据进行指标计算和汇总,大数据算法引擎Spark Mllib 定期对所有监测点的数据进行分类和回归算法应用,不断用数据完善模型。实时数据处理引擎Spark streaming模块用来实时将所有监测点的波动数据和历史数据进行计算展示总体的实时情况,并应用spark Mllib用全量历史数据优化后的回归模型进行总体预测。将实时总体情况结果和总体预测接口反馈给实时监测和预警中心。
在上述应用中,Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序,其广泛应用于物联网。Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写是一种高吞吐量的分布式发布订阅消息系统,它可以处理所有动作流数据。Hbase是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。Spark是专为大规模数据处理而设计的快速通用的计算引擎,spark SQL是spark的一个模块,主要用于进行结构化数据的处理。Spark MLlib是Spark提供的可扩展的机器学习库,MLlib已经集成了大量机器学习的算法。SparkStreaming是spark的一个模块,主要对实时数据流进行高通量、容错处理的流式处理系统,可以对多种数据源(如Kafka和TCP 套接字等)进行复杂操作,并将结果保存到外部文件系统、数据库或应用到实时仪表盘。
在具体应用实例中,如图4所示,实时监测和预警中心采用Echars大数据可视化和地理信息GIS地图展示技术,将大数据中心和边缘计算模块传送回来的告警和预测数据进行展示,同时将告警信息通过短信和微信等告警接口下方给负责人。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (8)
1.一种基于边缘计算和大数据的实时防洪监测系统,其特征在于,包括:
实时监控单元,用于将实时获取图像传递给边缘计算模块;
两个以上的边缘计算模块,每个边缘计算模块对应至少一个监测点进行单点的预计算,在网络边缘对数据进行识别和分类,识别出走势异常数据后上报给实时监测和预警中心;
数据存储和计算中心,用于只接所有收边缘计算模块传回来的发生了变化的图片数据,并对总体的继续洪水走势预测和防洪规划,并将结果发送给实时监测和预警中心;
实时监测和预警中心,用于实时接收边缘计算模块识别的单点洪水走势异常,同时还接收大数据中心的信息;
大数据中心,用来传递告警和预测数据,并生成总体洪水实时走势和防洪安排。
2.根据权利要求1所述的基于边缘计算和大数据的实时防洪监测系统,其特征在于,所述边缘计算模块包括:
视频流程采集模块,通过图像采集装置获取并向算法输入实时监控视频流;
视频流解析模块,采用Yolo_v3 算法对图像进行快速识别并生成识别数据;
数据比对分析模块,用于将识别数据和历史数据进行对比分析,识别量化指标;按预先配置好的告警规则,如果量化指标超过相应规则,立即发送告警信息给实时监测和预警中心进行告警;
实时走势分析模块,用于将最近的数据进行量化指标变化预测,如果预测出现风险立即发送告警信息给实时监测和预警中心。
3.根据权利要求1所述的基于边缘计算和大数据的实时防洪监测系统,其特征在于,所述数据存储和计算中心采用基于hbase和spark引擎的防洪大数据平台,进行防洪大数据分析和实时监测、预测。
4.根据权利要求3所述的基于边缘计算和大数据的实时防洪监测系统,其特征在于,所述数据存储和计算中心包括:
物联网高并发网关netty,用于高并发的网络连接和数据接收;
大数据高并发消息队列kafka,用于为消息队列负责高并发数据的临时存储;
海量数据高速读取引擎hbase,用于提高高并发的读写能力;
海量数据存储引擎hdfs,用来为提高海量历史数据存储和冗余;
大数据算法引擎spark MLlib,用来为基于全量的历史数据构建算法模型;
实时数据处理引擎spark streaming ,用来进行实时预测和告警生产;
内存数据库Redis,用来进行监控平台和告警推送的对接。
5.根据权利要求4所述的基于边缘计算和大数据的实时防洪监测系统,其特征在于,所述边缘计算模块将数据发送给数据存储和计算中心的物联网高并发网关netty,完成数据传递;物联网高并发网关netty将实时数据流程传递给大数据高并发消息队列kafka完成输出的临时存储;所有数据写入海量数据高速读取引擎hbase,用于所有监测点的分析和预测;监控指标计算引擎Spark sql将定期对批量历史数据进行指标计算和汇总,大数据算法引擎Spark Mllib 定期对所有监测点的数据进行分类和回归算法应用,用数据完善模型;实时数据处理引擎Spark streaming模块用来实时将所有监测点的波动数据和历史数据进行计算展示总体的实时情况,并应用spark Mllib用全量历史数据优化后的回归模型进行总体预测。
6.根据权利要求1-5中任意一项所述的基于边缘计算和大数据的实时防洪监测系统,其特征在于,所述实时监测和预警中心采用Echars大数据可视化和地理信息GIS地图展示技术,将大数据中心和边缘计算模块传送回来的告警和预测数据进行展示,同时将告警信息通过短信和微信等告警接口下方给负责人。
7.根据权利要求1-5中任意一项所述的基于边缘计算和大数据的实时防洪监测系统,其特征在于,所述边缘计算模块将实时传送回来的图片进行实时识别和处理,将图片结果和前一小段历史数据进行对比,识别单个监测点的洪水走势异常和实时预测走势异常;如果出现洪水走势异常或者实时预测到洪水可能走势异常,立即上报给实时监测和预警中心,同时将图片数据发送给大数据中心进行进一步的计算和预测。
8.根据权利要求1-5中任意一项所述的基于边缘计算和大数据的实时防洪监测系统,其特征在于,所述实时监控单元包括洪水遥感监测单元和/或固定监测单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910986290.4A CN110766214A (zh) | 2019-10-17 | 2019-10-17 | 一种基于边缘计算和大数据的实时防洪监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910986290.4A CN110766214A (zh) | 2019-10-17 | 2019-10-17 | 一种基于边缘计算和大数据的实时防洪监测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110766214A true CN110766214A (zh) | 2020-02-07 |
Family
ID=69332092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910986290.4A Pending CN110766214A (zh) | 2019-10-17 | 2019-10-17 | 一种基于边缘计算和大数据的实时防洪监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110766214A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112187932A (zh) * | 2020-09-29 | 2021-01-05 | 长江勘测规划设计研究有限责任公司 | 基于边缘计算的中小型水库大坝智能监测预警方法 |
CN112859700A (zh) * | 2021-01-22 | 2021-05-28 | 江苏智水智能科技有限责任公司 | 基于物联网技术的测控系统 |
CN113191252A (zh) * | 2021-04-28 | 2021-07-30 | 北京东方国信科技股份有限公司 | 一种用于生产管控的视觉识别系统及生产管控方法 |
CN113421241A (zh) * | 2021-06-23 | 2021-09-21 | 平安国际智慧城市科技股份有限公司 | 异常事件上报方法、装置、计算机设备及存储介质 |
CN113610009A (zh) * | 2021-08-10 | 2021-11-05 | 北京科技大学天津学院 | 一种洪涝灾害无人机影像信息提取系统 |
CN113726865A (zh) * | 2021-08-24 | 2021-11-30 | 浙江御安信息技术有限公司 | 基于边缘计算的数据传输与协同系统 |
WO2022007013A1 (zh) * | 2020-07-08 | 2022-01-13 | 南京东创信通物联网研究院有限公司 | 一种高压电气设备在线监测和故障预判系统 |
CN114241310A (zh) * | 2021-12-21 | 2022-03-25 | 江西省水利科学院 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
CN114401325A (zh) * | 2021-12-22 | 2022-04-26 | 上海应用技术大学 | 一种基于多链路融合的域外数据回传系统 |
CN114979224A (zh) * | 2022-04-13 | 2022-08-30 | 上海电力设计院有限公司 | 基于5g多锚点的光伏监控系统、方法、设备及介质 |
CN117591496A (zh) * | 2024-01-18 | 2024-02-23 | 中核武汉核电运行技术股份有限公司 | 一种基于云边协同的高可靠性时序数据传输与存储系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325216A (zh) * | 2012-03-23 | 2013-09-25 | 罗普特(厦门)科技集团有限公司 | 基于视频监控的水利防汛监控预警方法与系统 |
EP3454285A1 (en) * | 2017-09-11 | 2019-03-13 | Fujitsu Limited | An apparatus and method for assessing flooding behaviour and an apparatus and method for predicting a flood property |
CN110084165A (zh) * | 2019-04-19 | 2019-08-02 | 山东大学 | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 |
CN110135317A (zh) * | 2019-05-08 | 2019-08-16 | 深圳达实智能股份有限公司 | 基于协同计算体系的行为监控和管理系统和方法 |
-
2019
- 2019-10-17 CN CN201910986290.4A patent/CN110766214A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325216A (zh) * | 2012-03-23 | 2013-09-25 | 罗普特(厦门)科技集团有限公司 | 基于视频监控的水利防汛监控预警方法与系统 |
EP3454285A1 (en) * | 2017-09-11 | 2019-03-13 | Fujitsu Limited | An apparatus and method for assessing flooding behaviour and an apparatus and method for predicting a flood property |
CN110084165A (zh) * | 2019-04-19 | 2019-08-02 | 山东大学 | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 |
CN110135317A (zh) * | 2019-05-08 | 2019-08-16 | 深圳达实智能股份有限公司 | 基于协同计算体系的行为监控和管理系统和方法 |
Non-Patent Citations (1)
Title |
---|
王艳如: "基于边缘智能分析的图像识别技术在输电线路在线监测中的应用", 《电力信息与通信技术》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022007013A1 (zh) * | 2020-07-08 | 2022-01-13 | 南京东创信通物联网研究院有限公司 | 一种高压电气设备在线监测和故障预判系统 |
CN112187932A (zh) * | 2020-09-29 | 2021-01-05 | 长江勘测规划设计研究有限责任公司 | 基于边缘计算的中小型水库大坝智能监测预警方法 |
CN112859700A (zh) * | 2021-01-22 | 2021-05-28 | 江苏智水智能科技有限责任公司 | 基于物联网技术的测控系统 |
CN113191252A (zh) * | 2021-04-28 | 2021-07-30 | 北京东方国信科技股份有限公司 | 一种用于生产管控的视觉识别系统及生产管控方法 |
CN113421241A (zh) * | 2021-06-23 | 2021-09-21 | 平安国际智慧城市科技股份有限公司 | 异常事件上报方法、装置、计算机设备及存储介质 |
CN113421241B (zh) * | 2021-06-23 | 2023-08-18 | 平安国际智慧城市科技股份有限公司 | 异常事件上报方法、装置、计算机设备及存储介质 |
CN113610009A (zh) * | 2021-08-10 | 2021-11-05 | 北京科技大学天津学院 | 一种洪涝灾害无人机影像信息提取系统 |
CN113726865A (zh) * | 2021-08-24 | 2021-11-30 | 浙江御安信息技术有限公司 | 基于边缘计算的数据传输与协同系统 |
CN113726865B (zh) * | 2021-08-24 | 2023-10-17 | 浙江御安信息技术有限公司 | 基于边缘计算的数据传输与协同系统 |
CN114241310A (zh) * | 2021-12-21 | 2022-03-25 | 江西省水利科学院 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
CN114241310B (zh) * | 2021-12-21 | 2022-09-02 | 江西省水利科学院 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
CN114401325A (zh) * | 2021-12-22 | 2022-04-26 | 上海应用技术大学 | 一种基于多链路融合的域外数据回传系统 |
CN114979224A (zh) * | 2022-04-13 | 2022-08-30 | 上海电力设计院有限公司 | 基于5g多锚点的光伏监控系统、方法、设备及介质 |
CN117591496A (zh) * | 2024-01-18 | 2024-02-23 | 中核武汉核电运行技术股份有限公司 | 一种基于云边协同的高可靠性时序数据传输与存储系统 |
CN117591496B (zh) * | 2024-01-18 | 2024-05-03 | 中核武汉核电运行技术股份有限公司 | 一种基于云边协同的高可靠性时序数据传输与存储系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110766214A (zh) | 一种基于边缘计算和大数据的实时防洪监测系统 | |
Tsai et al. | Distributed analytics in fog computing platforms using tensorflow and kubernetes | |
EP3940665A1 (en) | Detection method for traffic anomaly event, apparatus, program and medium | |
CN103403699B (zh) | 估算流数据库应用中的负荷削减数据的系统和方法 | |
CN111401161A (zh) | 基于智能视频分析算法实现行为识别的智慧建筑管控系统 | |
EP3951741B1 (en) | Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform | |
CN113221677A (zh) | 一种轨迹异常检测方法、装置、路侧设备和云控平台 | |
US20180276508A1 (en) | Automated visual information context and meaning comprehension system | |
CN112114533A (zh) | 物联网数据处理方法、装置、计算机设备和存储介质 | |
US11899444B2 (en) | Real-time alerts and transmission of selected signal samples under a dynamic capacity limitation | |
CN113128686A (zh) | 模型训练方法及装置 | |
US11501200B2 (en) | Generate alerts while monitoring a machine learning model in real time | |
CN112631725A (zh) | 一种基于云边端协同的智慧城市的管理系统及方法 | |
CN111209310A (zh) | 基于流计算的业务数据处理方法、装置和计算机设备 | |
Zhang et al. | A serverless cloud-fog platform for dnn-based video analytics with incremental learning | |
Paglinawan et al. | Optimization of vehicle speed calculation on Raspberry Pi using sparse random projection | |
US10693736B2 (en) | Real time simulation monitoring | |
US20220058745A1 (en) | System and method for crowdsensing-based insurance premiums | |
CN110661999A (zh) | 一种基于大数据的视频监控系统 | |
KR20190041707A (ko) | Gpu를 사용한 실시간 빅 데이터 스트림 처리 장치 및 방법 | |
CN111199777B (zh) | 面向生物大数据的流式传输与变异实时挖掘系统及方法 | |
CN108205528A (zh) | 一种面向海量监控数据的检索分析系统 | |
Giatrakos et al. | Processing big data in motion: Core components and system architectures with applications to the maritime domain | |
Zhdanovskiy et al. | Predicting Performance of Heterogeneous AI Systems with Discrete-Event Simulations | |
Zissis et al. | Nikos Giatrakos, Antonios Deligiannakis, Konstantina Bereta, Marios Vodas, 5 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |