CN111291076B - 基于大数据的异常用水监测报警系统及其构建方法 - Google Patents
基于大数据的异常用水监测报警系统及其构建方法 Download PDFInfo
- Publication number
- CN111291076B CN111291076B CN202010045078.0A CN202010045078A CN111291076B CN 111291076 B CN111291076 B CN 111291076B CN 202010045078 A CN202010045078 A CN 202010045078A CN 111291076 B CN111291076 B CN 111291076B
- Authority
- CN
- China
- Prior art keywords
- data
- water
- monitoring
- information
- water consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 229
- 238000012544 monitoring process Methods 0.000 title claims abstract description 86
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 66
- 238000010276 construction Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 22
- 238000007405 data analysis Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 22
- 238000005065 mining Methods 0.000 claims description 18
- 238000007726 management method Methods 0.000 claims description 17
- 238000012423 maintenance Methods 0.000 claims description 10
- 238000003066 decision tree Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 241001123248 Arma Species 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000010183 spectrum analysis Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于大数据的异常用水监测报警系统及其构建方法，其采用ROLAP结构模式构建用水信息采集和数据存储的关系型数据库并进行大数据结构分析，建立用水信息采集的监测数据库；然后将所采集的用水信息作为异常用水监测报警数据源在中央处理机中通过总线调度输入关系型联机分析数据库中，用于存储关键指标和维关键字；并在报警系统物联网体系中采用数据采集层、中间层和应用层三层体系结构模型，使用RDBMS存储数据库对采集到的用水信息以及采集、监测和报警数据通过外键和主键形成“星型模型”，并通过数据ETL层向数据分析层提供异常用水监测报警所需数据，并在应用层中进行优化数据检索，实现用水信息的监测和智能派发。
Description
技术领域
本发明涉及一种用水监测报警系统及其构建方法，尤其涉及一种基于大数据的异常用水监测报警系统及其构建方法，属于互联网和水资源监测的技术领域。
背景技术
大数据是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据有五大特点：大量、高速、多样、低价值密度和真实性。大数据技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一，自2013年开始大数据技术已开始和云计算技术紧密结合，未来两者关系将更为密切。
用水监测系统是为企事业管理单位提供企事业实际用能数据，通过量化管理将原有的经验式宏观管理模式转变为精细化数字管理模式，通过运用用水监测平台，管理部门能够做到“掌握情况、摸清规律、系统诊断、合理用能”，大大提升管理水平，降低运行成本，使得节水效果和用水管理更加科学化、数据化。
近年来出现的智能水表虽然为解决管网的“跑冒滴漏”问题提供了很好的契机，但现有的监测技术无法准确地判断出用户的用水量是否发生异常，常常导致误判误报警的问题产生，给用水管理人员带来困扰。因此需要构建一种基于大数据的异常用水监测报警系统，使其能够方便用水管理人员准确判断用水量是否发生异常，克服现有用水监测技术的不足，避免出现误判误报警的现象。
发明内容
为解决上述技术问题，本发明提供了一种基于大数据的异常用水监测报警系统及其构建方法，所构建的该系统能够方便用水管理人员准确判断用水量是否发生异常，克服现有用水监测技术的不足，避免出现误判误报警的现象。
本发明的技术方案是：
本发明公开了一种基于大数据的异常用水监测报警系统的构建方法，该构建方法主要包括下述步骤：
S1：采用关系型联机分析处理结构模式，构建用水信息采集和数据存储的关系型数据库，关系型结构模型进行大数据结构分析，构成关系型联机分析数据库，建立用水信息采集的监测数据库；
S2：采集到的用水信息作为异常用水监测报警的数据源，输入到中央处理机中，通过总线调度将上述采集的用水信息输入到上述关系型联机分析数据库中，用于存储关键指标和维关键字；
S3：在该报警系统的物联网体系设计中，采用三层体系结构模型并将其设计为数据采集层、中间层和应用层，使用RDBMS存储数据库对采集到的用水信息以及采集、监测和报警数据通过外键和主键形成“星型模型”，并通过数据ETL层向数据分析层提供异常用水监测报警所需数据，并在应用层中进行优化数据检索，实现用水信息的监测和智能派发。
其进一步的技术方案是：
步骤S3中所述中间层包括数据分析层、数据处理层、数据存储层和数据ETL层。
其进一步的技术方案是：
步骤S3还包括下述步骤：
S3a：采用决策树信息融合方法进行用水信息采集后的信息融合，并采用相空间特征组合与基向量重构方法，构建用水信息采集的监测决策树模型；
S3b：采用分布式批处理方法进行用水信息的监测和信息采集，在数据分析层和数据处理层之间进行功能融合；
S3c：对用水信息采集过程中的各类异常处理时限进行自适应调度，结合多层次分布式信息挖掘方法进行用水信息的大数据特征分类；
S3d：采用关联规则挖掘算法进行用水信息的特征挖掘，对用水信息采集的异常数据进行谱分析，通过对异常数据的关联规则挖掘，进行异常用水情况的故障判断和定位；
S3e：通过多源信息特征过滤方法对采集的用水信息进行自组织神经网络映射，通过数据采集、数据清理、数据存储三层大数据处理模式，得到用水监测的关系型联机分析处理模型；
S3f：采用ARMA模型进行关联规则挖掘，构建用水信息采集的学习映射；
S3g：对用水采集信息进行Fourier变换，实现时域向频域的特征再转换，得到用水信息采集监测的关联规则时序，在决策树和自组织神经网络映射训练下，通过SQL对数据进行多层次分布式重组，得到异常用水信息的关联规则特征挖掘结果；
S3h：对挖掘到的用水信息关联规则特征进行数据分类，结合模糊C均值聚类算法进行用水信息采集监测的大数据分类处理；
S3i：对分类后的用水信息数据使用RDBMS数据库进行存储，在数据处理层采集监测多维度特征量，使用规范的接口实现大量监测数据和系统历史数据的并行调度和数据分析，实现模块之间的功能融合，完成异常用水监测报警系统的构建。
本发明还公开了一种以上述构建方法构建而成的基于大数据的异常用水监测报警系统，该监测报警系统包括
用水信息采集模块，用于按照建筑物和单位的基本信息进行分级用水信息的采集和汇总，并提供用水日历和查询功能；
用水报表查询模块，用于根据所查询的系统时间来查询相应时间段内的用水报表；
历史数据统计模块，用于根据监测的系统历史数据生成建筑物或单位用水量按照年、月的统计报表，建筑物或单位用水情况按照水的用途分类进行统计；并根据监测数据完成不同用途的用水变化趋势分析；
分析模块，用于反映用水单位与昨日同期、当月与上月同期、当年与上年同期总体用水的对比情况，并显示用水单位过去24小时、1周、1个月、半年及1年的用水情况，当年用水的对比分析、当月的分项用水饼图，为管理者对用水量趋势进行对比分析并及时调整用水设备运行计划提供参考；
报警模块，用于用水异常和/或处理设备损坏的报警；
事件记录模块，用于针对用水量大的设备和/或区域进行准确定位，为用水重点设备和/或区域建立运行记录档案，长期跟踪记录设备和/或区域运行过程中的能效分析评估结果，结合设备和/或区域的维护保养记录为其运行维护提供依据；和
分级权限管理模块，用于对具备权限的用户提供开放的信息维护接口，用户可自行对建筑物、单位和系统监测范围内计量点的信息进行增、删、改和查询。
其进一步的技术方案是：
所述用水报表查询模块默认查询柱状图和饼状图，默认查询系统时间当天的日用水量且使用条形图和/或饼状图展示数据；当以条形图展示数据时，选择日用水量则横坐标表示每个小时，选择月用水量则横坐标表示每天，选择年用水量则横坐标表示每个月且纵坐标表示用水量，单位均为立方米；当以饼状图展示数据时，不同颜色的扇形代表不同区域，扇形面积代表用水量大小，占比每天、每月或者每年的百分比。
其进一步的技术方案是：
所述报警模块包括异常用水报警模块、表具报警模块和平衡报警模块。
其进一步的技术方案是：
所述基于大数据的异常用水监测报警系统的架构包括数据源、数据ETL层、数据存储层、数据分析层和应用层，
其中所述数据源包括采集数据库、监测数据库和异常用水数据库；
其中所述数据ETL层包括任务调度模块、数据适配器和ETL工具；
其中所述数据存储层包括分布式数据库HBase、Hive数据仓库和分布式文件系统HDFS；
其中所述数据分析层包括批量计算模块、实时查询模块和分析模型；
其中所述应用层包括信息查询模块、分析模块、报警模块、事件记录模块和分级权限管理模块。
其进一步的技术方案是：所述ETL工具包括Sqoop和HTHO中的至少一种。
其进一步的技术方案是：
所述批量计算模块包括HiveQL引擎、Pig引擎和MapRed uce引擎；所述实时查询模块包括Hbase索引模块、Hive索引模块和全文检索模块；所述分析模型包括日均用水量模型、终端质量评价模型和监测质量评价模型。
其进一步的技术方案是：
所述报警模块包括异常用水报警模块、表具报警模块和平衡报警模块。
本发明的有益技术效果是：本发明公开了一种基于大数据的异常用水监测报警系统及其构建方法，其采用ROLAP结构模式构建用水信息采集和数据存储的关系型数据库并进行大数据结构分析，建立用水信息采集的监测数据库；然后将所采集的用水信息作为异常用水监测报警数据源在中央处理机中通过总线调度输入关系型联机分析数据库中，用于存储关键指标和维关键字；并在报警系统物联网体系中采用数据采集层、中间层和应用层三层体系结构模型，使用RDBMS存储数据库对采集到的用水信息以及采集、监测和报警数据通过外键和主键形成“星型模型”，并通过数据ETL层向数据分析层提供异常用水监测报警所需数据，并在应用层中进行优化数据检索，实现用水信息的监测和智能派发。以该构建方法构建而成的异常用水监测报警系统能够方便用水管理人员准确判断用水量是否发生异常，克服现有用水监测技术的不足，避免误判误报警现象的出现。
附图说明
图1是本发明所述基于大数据的异常用水监测报警系统的架构示意图。
具体实施方式
为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
下述具体实施例详细记载了一种基于大数据的异常用水监测报警系统的构建方法，该构建方法主要包括下述步骤：
S1：采用关系型联机分析处理(ROLAP)结构模式，构建用水信息采集和数据存储的关系型数据库，关系型结构模型进行大数据结构分析，构成关系型联机分析数据库，建立用水信息采集的监测数据库；
S2：采集到的用水信息作为异常用水监测报警的数据源，输入到中央处理机中，通过总线调度将上述采集的用水信息输入到上述关系型联机分析数据库中，用于存储关键指标和维关键字；其中所述总线调度所采用的方式可以是以OA邮件等方式进行；
S3：在该报警系统的物联网体系设计中，采用三层体系结构模型，分别为数据采集层、中间层和应用层，其中中间层包括数据分析层、数据处理层、数据存储层和数据ETL层，使用RDBMS存储数据库对采集到的用水信息以及采集、监测和报警数据通过外键和主键形成“星型模型”，并通过数据ETL层向数据分析层提供异常用水监测报警所需数据，并在应用层中进行优化数据检索，实现用水信息的监测和智能派发。
以上步骤S3还包括下述步骤：
S3a：采用决策树信息融合方法进行用水信息采集后的信息融合，并采用相空间特征组合与基向量重构方法，构建用水信息采集的监测决策树模型；
S3b：采用分布式批处理方法进行用水信息的监测和信息采集，在数据分析层和数据处理层之间进行功能融合；
S3c：对用水信息采集过程中的各类异常处理时限进行自适应调度，结合多层次分布式信息挖掘方法进行用水信息的大数据特征分类；
S3d：采用关联规则挖掘算法进行用水信息的特征挖掘，对用水信息采集的异常数据进行谱分析，通过对异常数据的关联规则挖掘，进行异常用水情况的故障判断和定位；
S3e：通过多源信息特征过滤方法对采集的用水信息进行自组织神经网络映射，通过数据采集、数据清理、数据存储三层大数据处理模式，得到用水监测的关系型联机分析处理模型；
S3f：采用ARMA模型进行关联规则挖掘，构建用水信息采集的学习映射；
S3g：对用水采集信息进行Fourier变换，实现时域向频域的特征再转换，得到用水信息采集监测的关联规则时序，在决策树和自组织神经网络映射训练下，通过SQL对数据进行多层次分布式重组，得到异常用水信息的关联规则特征挖掘结果；
S3h：对挖掘到的用水信息关联规则特征进行数据分类，结合模糊C均值聚类算法进行用水信息采集监测的大数据分类处理；
S3i：对分类后的用水信息数据使用RDBMS数据库进行存储，在数据处理层采集监测多维度特征量，使用规范的接口实现大量监测数据和系统历史数据的并行调度和数据分析，实现模块之间的功能融合，完成异常用水监测报警系统的构建。
下述具体实施例中还详细记载了一种以上述构建方法构建而成的基于大数据的异常用水监测报警系统，该监测报警系统包括用水信息采集模块、用水报表查询模块、历史数据统计模块、分析模块、报警模块、事件记录模块和分级权限管理模块。其中
用水信息采集模块，用于按照建筑物和单位的基本信息进行分级用水信息的采集和汇总，并提供用水日历和查询功能。
用水报表查询模块，用于根据所查询的系统时间来查询相应时间段内的用水报表；该用水报表查询模块默认查询柱状图和饼状图，默认查询系统时间当天的日用水量且使用条形图和/或饼状图展示数据；当以条形图展示数据时，选择日用水量则横坐标表示每个小时，选择月用水量则横坐标表示每天，选择年用水量则横坐标表示每个月且纵坐标表示用水量，单位均为立方米；当以饼状图展示数据时，不同颜色的扇形代表不同区域，扇形面积代表用水量大小，占比每天、每月或者每年的百分比。
历史数据统计模块，用于根据监测的系统历史数据生成建筑物或单位用水量按照年、月的统计报表，建筑物或单位用水情况按照水的用途分类进行统计；并根据监测数据完成不同用途的用水变化趋势分析。
分析模块，用于反映用水单位与昨日同期、当月与上月同期、当年与上年同期总体用水的对比情况，并显示用水单位过去24小时、1周、1个月、半年及1年的用水情况，当年用水的对比分析、当月的分项用水饼图，为管理者对用水量趋势进行对比分析并及时调整用水设备运行计划提供参考，以便节约水资源的消耗。
报警模块，用于用水异常和/或处理设备损坏的报警，包括异常用水报警模块、表具报警模块和平衡报警模块。该报警模块能够及时通知各单位此类异常事件，方便维修人员及时排查问题并解决问题；同时能够将设备故障信息化，提高各部门响应速度和解决问题的速度。
事件记录模块，用于针对用水量大的设备和/或区域进行准确定位，便于管理层指定节水绩效考核制度，推动节水工作的真正有效的执行。为用水重点设备和/或区域建立运行记录档案，长期跟踪记录设备和/或区域运行过程中的能效分析评估结果，结合设备和/或区域的维护保养记录为其运行维护提供依据。
分级权限管理模块，用于对具备权限的用户提供开放的信息维护接口，用户可自行对建筑物、单位和系统监测范围内计量点的信息进行增、删、改和查询。
上述的基于大数据的异常用水监测报警系统的架构包括数据源、数据ETL层、数据存储层、数据分析层和应用层。
其中所述数据源包括采集数据库、监测数据库和异常用水数据库。
其中所述数据ETL层包括任务调度模块、数据适配器和ETL工具，该ETL工具包括Sqoop和HTHO中的至少一种。
其中所述数据存储层包括分布式数据库HBase、Hive数据仓库和分布式文件系统HDFS。
其中所述数据分析层包括批量计算模块、实时查询模块和分析模型，其中批量计算模块包括HiveQL引擎、Pig引擎和MapRed uce引擎；实时查询模块包括Hbase索引模块、Hive索引模块和全文检索模块；分析模型包括日均用水量模型、终端质量评价模型和监测质量评价模型。
其中所述应用层包括信息查询模块、分析模块、报警模块、事件记录模块和分级权限管理模块，其中报警模块包括异常用水报警模块、表具报警模块和平衡报警模块。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (6)
1.一种基于大数据的异常用水监测报警系统的构建方法，其特征在于，包括下述步骤：
S1：采用关系型联机分析处理结构模式，构建用水信息采集和数据存储的关系型数据库，关系型结构模型进行大数据结构分析，构成关系型联机分析数据库，建立用水信息采集的监测数据库；
S2：采集到的用水信息作为异常用水监测报警的数据源，输入到中央处理机中，通过总线调度将上述采集的用水信息输入到上述关系型联机分析数据库中，用于存储关键指标和维关键字；
S3：在该报警系统的物联网体系设计中，采用三层体系结构模型并将其设计为数据采集层、中间层和应用层，使用RDBMS存储数据库对采集到的用水信息以及采集、监测和报警数据通过外键和主键形成“星型模型”，并通过数据ETL层向数据分析层提供异常用水监测报警所需数据，并在应用层中进行优化数据检索，实现用水信息的监测和智能派发；所述中间层包括数据分析层、数据处理层、数据存储层和数据ETL层；
所述步骤S3还包括下述步骤：
S3a：采用决策树信息融合方法进行用水信息采集后的信息融合，并采用相空间特征组合与基向量重构方法，构建用水信息采集的监测决策树模型；
S3b：采用分布式批处理方法进行用水信息的监测和信息采集，在数据分析层和数据处理层之间进行功能融合；
S3c：对用水信息采集过程中的各类异常处理时限进行自适应调度，结合多层次分布式信息挖掘方法进行用水信息的大数据特征分类；
S3d：采用关联规则挖掘算法进行用水信息的特征挖掘，对用水信息采集的异常数据进行谱分析，通过对异常数据的关联规则挖掘，进行异常用水情况的故障判断和定位；
S3e：通过多源信息特征过滤方法对采集的用水信息进行自组织神经网络映射，通过数据采集、数据清理、数据存储三层大数据处理模式，得到用水监测的关系型联机分析处理模型；
S3f：采用ARMA模型进行关联规则挖掘，构建用水信息采集的学习映射；
S3g：对用水采集信息进行Fourier变换，实现时域向频域的特征再转换，得到用水信息采集监测的关联规则时序，在决策树和自组织神经网络映射训练下，通过SQL对数据进行多层次分布式重组，得到异常用水信息的关联规则特征挖掘结果；
S3h：对挖掘到的用水信息关联规则特征进行数据分类，结合模糊C均值聚类算法进行用水信息采集监测的大数据分类处理；
S3i：对分类后的用水信息数据使用RDBMS数据库进行存储，在数据处理层采集监测多维度特征量，使用规范的接口实现大量监测数据和系统历史数据的并行调度和数据分析，实现模块之间的功能融合，完成异常用水监测报警系统的构建。
2.一种权利要求1所述构建方法构建而成的基于大数据的异常用水监测报警系统，其特征在于：包括
用水信息采集模块，用于按照建筑物和单位的基本信息进行分级用水信息的采集和汇总，并提供用水日历和查询功能；
用水报表查询模块，用于根据所查询的系统时间来查询相应时间段内的用水报表；
历史数据统计模块，用于根据监测的系统历史数据生成建筑物或单位用水量按照年、月的统计报表，建筑物或单位用水情况按照水的用途分类进行统计；并根据监测数据完成不同用途的用水变化趋势分析；
分析模块，用于反映用水单位与昨日同期、当月与上月同期、当年与上年同期总体用水的对比情况，并显示用水单位过去24小时、1周、1个月、半年及1年的用水情况，当年用水的对比分析、当月的分项用水饼图，为管理者对用水量趋势进行对比分析并及时调整用水设备运行计划提供参考；
报警模块，用于用水异常和/或处理设备损坏的报警；
事件记录模块，用于针对用水量大的设备和/或区域进行准确定位，为用水重点设备和/或区域建立运行记录档案，长期跟踪记录设备和/或区域运行过程中的能效分析评估结果，结合设备和/或区域的维护保养记录为其运行维护提供依据；
分级权限管理模块，用于对具备权限的用户提供开放的信息维护接口，用户可自行对建筑物、单位和系统监测范围内计量点的信息进行增、删、改和查询；
所述基于大数据的异常用水监测报警系统的架构包括数据源、数据ETL层、数据存储层、数据分析层和应用层，其中所述数据源包括采集数据库、监测数据库和异常用水数据库；其中所述数据ETL层包括任务调度模块、数据适配器和ETL工具；其中所述数据存储层包括分布式数据库HBase、Hive数据仓库和分布式文件系统HDFS；其中所述数据分析层包括批量计算模块、实时查询模块和分析模型；其中所述应用层包括信息查询模块、分析模块、报警模块、事件记录模块和分级权限管理模块。
3.根据权利要求2所述的基于大数据的异常用水监测报警系统，其特征在于：所述用水报表查询模块默认查询柱状图和饼状图，默认查询系统时间当天的日用水量且使用条形图和/或饼状图展示数据；当以条形图展示数据时，选择日用水量则横坐标表示每个小时，选择月用水量则横坐标表示每天，选择年用水量则横坐标表示每个月且纵坐标表示用水量，单位均为立方米；当以饼状图展示数据时，不同颜色的扇形代表不同区域，扇形面积代表用水量大小，占比每天、每月或者每年的百分比。
4.根据权利要求2所述的基于大数据的异常用水监测报警系统，其特征在于：所述报警模块包括异常用水报警模块、表具报警模块和平衡报警模块。
5.根据权利要求2所述的基于大数据的异常用水监测报警系统，其特征在于：所述ETL工具包括Sqoop和HTHO中的至少一种。
6.根据权利要求2所述的基于大数据的异常用水监测报警系统，其特征在于：所述批量计算模块包括HiveQL引擎、Pig引擎和MapRed uce引擎；所述实时查询模块包括Hbase索引模块、Hive索引模块和全文检索模块；所述分析模型包括日均用水量模型、终端质量评价模型和监测质量评价模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010045078.0A CN111291076B (zh) | 2020-01-16 | 2020-01-16 | 基于大数据的异常用水监测报警系统及其构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010045078.0A CN111291076B (zh) | 2020-01-16 | 2020-01-16 | 基于大数据的异常用水监测报警系统及其构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291076A CN111291076A (zh) | 2020-06-16 |
| CN111291076B true CN111291076B (zh) | 2023-09-12 |
Family
ID=71026637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010045078.0A Active CN111291076B (zh) | 2020-01-16 | 2020-01-16 | 基于大数据的异常用水监测报警系统及其构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291076B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465126B (zh) * | 2020-07-27 | 2023-12-19 | 国电内蒙古东胜热电有限公司 | 用于跑冒滴漏检测的加载预训练卷积网络检测方法及装置 |
| CN112434021A (zh) * | 2020-12-10 | 2021-03-02 | 浙江大学 | 一种基于时间序列用水数据的用户特征构造方法 |
| CN113030223A (zh) * | 2021-03-04 | 2021-06-25 | 武汉巨正环保科技有限公司 | 一种cod电化学快速在线监测系统 |
| CN112965987A (zh) * | 2021-03-31 | 2021-06-15 | 华申数科(北京)信息科技有限责任公司 | 一种数字新治理业务的带权限高效模糊检索的方法及应用 |
| CN113344399A (zh) * | 2021-06-16 | 2021-09-03 | 安徽方兴智慧水务有限公司 | 供水管理系统及管理方法 |
| CN113469428A (zh) * | 2021-06-24 | 2021-10-01 | 珠海卓邦科技有限公司 | 用水性质异常识别方法及装置、计算机装置及存储介质 |
| CN116862132A (zh) * | 2023-04-20 | 2023-10-10 | 南京田加心电子商务有限公司 | 基于大数据的资源调度方法 |
| CN117038050B (zh) * | 2023-10-10 | 2024-01-26 | 深圳华声医疗技术股份有限公司 | 生理参数异常处理方法、系统及医疗设备 |
| CN117489858B (zh) * | 2023-11-01 | 2024-05-17 | 绵阳宏博环保有限公司 | 一种基于动态参数态势的电控阀门监测系统、方法 |
| CN117972153A (zh) * | 2024-02-27 | 2024-05-03 | 京源中科科技股份有限公司 | 一种智能水表数据管控方法以及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080215576A1 (en) * | 2008-03-05 | 2008-09-04 | Quantum Intelligence, Inc. | Fusion and visualization for multiple anomaly detection systems |
| CN107146018A (zh) * | 2017-05-04 | 2017-09-08 | 北京许继电气有限公司 | 基于电网状态监测系统的数据处理分析方法和系统 |
-
2020
- 2020-01-16 CN CN202010045078.0A patent/CN111291076B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080215576A1 (en) * | 2008-03-05 | 2008-09-04 | Quantum Intelligence, Inc. | Fusion and visualization for multiple anomaly detection systems |
| CN107146018A (zh) * | 2017-05-04 | 2017-09-08 | 北京许继电气有限公司 | 基于电网状态监测系统的数据处理分析方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 饶小康.水利工程灌浆大数据平台设计与实现.长江科学院院报.2019,第36卷(第6期),第139-145、170页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291076A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291076B (zh) | 基于大数据的异常用水监测报警系统及其构建方法 | |
| CN110097297B (zh) | 一种多维度窃电态势智能感知方法、系统、设备及介质 | |
| WO2021135177A1 (zh) | 一种能源数据仓库系统构建方法及装置 | |
| CN105974869B (zh) | 一种应用于建筑环境自适应节能管理系统的节能监控中心 | |
| CN109766359B (zh) | 一种信用主体综合分析管理系统及方法 | |
| CN108959424A (zh) | 一种用于电力系统负荷监测的城市用电地图的操作方法 | |
| CN113111053A (zh) | 一种基于大数据的线损诊断与反窃电系统、方法及模型 | |
| CN106599038A (zh) | 面向电力应用的可视化统计发布系统 | |
| CN112907034B (zh) | 一种基于物联网和机器学习的分区计量漏损监控管理系统 | |
| CN106600103A (zh) | 面向规划计划决策的统计数据模型构建方法 | |
| CN113822547B (zh) | 一种精细化需求侧管理综合信息平台系统及管理方法 | |
| CN109634942A (zh) | 一种用能数据异常判断方法及装置 | |
| CN106228300A (zh) | 一种分布式电源运营管理系统 | |
| WO2021135727A1 (zh) | 一种能源数据仓库系统 | |
| CN104715156A (zh) | 一种建筑节能潜力动态评估方法 | |
| CN115798155A (zh) | 一种天然气计量分析系统 | |
| CN115965266A (zh) | 一种基于大数据的智能分析系统 | |
| CN116340437A (zh) | 一种面向大规模多源异构数据的多聚类方法 | |
| CN115358522A (zh) | 一种企业在线监测系统和方法 | |
| CN113642933A (zh) | 一种配电台区低电压诊断方法及装置 | |
| CN111489270A (zh) | 一种以线路为单元的配网停电敏感度评价方法 | |
| CN115905319B (zh) | 一种海量用户电费异常的自动识别方法及系统 | |
| CN111127186A (zh) | 一种基于大数据技术的客户信用等级评价体系的使用方法 | |
| WO2020010531A1 (zh) | 故障检测方法、设备 | |
| CN115423361A (zh) | 风险视图的数据处理方法、装置、存储介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |