CN112565440A - 一种农村污水处理设施的实时数据管理系统及方法 - Google Patents
一种农村污水处理设施的实时数据管理系统及方法 Download PDFInfo
- Publication number
- CN112565440A CN112565440A CN202011451659.0A CN202011451659A CN112565440A CN 112565440 A CN112565440 A CN 112565440A CN 202011451659 A CN202011451659 A CN 202011451659A CN 112565440 A CN112565440 A CN 112565440A
- Authority
- CN
- China
- Prior art keywords
- facility
- real
- data
- time
- sewage treatment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010865 sewage Substances 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000013523 data management Methods 0.000 title claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 67
- 230000005540 biological transmission Effects 0.000 claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 238000013500 data storage Methods 0.000 claims abstract description 34
- 238000010223 real-time analysis Methods 0.000 claims abstract description 29
- 238000007619 statistical method Methods 0.000 claims abstract description 17
- 238000012800 visualization Methods 0.000 claims abstract description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 56
- 238000012423 maintenance Methods 0.000 claims description 40
- 238000005265 energy consumption Methods 0.000 claims description 33
- 230000008901 benefit Effects 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 6
- 229910052760 oxygen Inorganic materials 0.000 claims description 6
- 239000001301 oxygen Substances 0.000 claims description 6
- 241000894006 Bacteria Species 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 claims description 3
- 239000010775 animal oil Substances 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 3
- 230000002550 fecal effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 229910052757 nitrogen Inorganic materials 0.000 claims description 3
- 230000033116 oxidation-reduction process Effects 0.000 claims description 3
- 229910052698 phosphorus Inorganic materials 0.000 claims description 3
- 239000011574 phosphorus Substances 0.000 claims description 3
- 239000010802 sludge Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 235000015112 vegetable and seed oil Nutrition 0.000 claims description 3
- 239000008158 vegetable oil Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 13
- 238000007405 data analysis Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000007261 regionalization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2219/00—Indexing scheme relating to application aspects of data processing equipment or methods
- G06F2219/10—Environmental application, e.g. waste reduction, pollution control, compliance with environmental legislation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Marketing (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种农村污水处理设施的实时数据管理系统及方法，该系统包括实时采集模块、实时存储模块、实时分析模块和图表呈现模块；实时采集模块由现场采集传输单元和平台采集传输单元构成；实时存储模块由现场数据存储单元和平台数据存储单元构成；实时分析模块调用数据信息进行实时数据的统计分析和多维分析；图表呈现模块能够在可视化平台上进行实时呈现。本发明通过数据实时采集传输和大数据量的存储管理系统，实现大规模处理设施的实时监测和管理，同时从众多农村污水处理设施中选出更需要重点监管的设施集结果，解决了处理设施数量多，信息化运行效率低、全面监管难度大、成本高的问题，提高了农村污水处理设施的区域化统筹运营管理水平。
Description
技术领域
本发明涉及污水处理技术领域，尤其涉及一种农村污水处理设施的实时数据管理系统及方法。
背景技术
农村污水治理是改善农村人居环境的重要内容，我国对农村污水治理的要求不断提高，全国各地不断加大农村污水处理设施的建设力度。
现今，全国已建成50多万座农村分散生活污水处理设施，由于数量庞大、分布分散、规模小且技术模式多样，运维和监管费人费力、存在很大难度。根据各地处理设施运行管理现状调研，由于后续运行管理跟不上，大部分设施呈现运行效率低、运行管理成本高等状态。农村污水处理设施的在线监测系统已经逐步开始纳入各地区的长效运维和监管体系，在线监测系统获取的数据信息将作为考核付费的依据。然而，一方面实时监测数据的全过程数据采集传输和数据管理难度大，另一方面实时监测数据获取后，缺乏对数据的有效利用，无法最大限度地发挥其监管效用，需求极为紧迫。
如何基于实时监测数据，进行大数据量的管理以及多维度数据分析，挖掘实时监测数据背后的监管价值，以便推动农村污水处理设施区域化统筹监管的落地实施，提高监管效率和降低成本，现有技术还没有提供系统的解决方案。
发明内容
本发明提供了一种农村污水处理设施的实时数据管理系统及方法，该系统和方法能够实现农村污水处理设施运行全过程的数据实时采集传输和大数据量的存储管理系统，从而实现面向大规模农村污水处理设施的实时监测和管理，同时提供基于统计分析和多维分析相结合的系统运行监管方法，从众多农村污水处理设施中选出更需要重点监管的设施集结果，解决了现有技术中农村污水处理设施数量多，信息化运行效率低、全面监管难度大、成本高的问题，提高了农村污水处理设施的区域化统筹运营管理水平。
具体技术方案如下：
本发明提供了一种农村污水处理设施的实时数据管理系统，包括实时采集模块、实时存储模块、实时分析模块和图表呈现模块；
实时采集模块，由现场采集传输单元和平台采集传输单元构成；
现场采集传输单元，用于现场采集农村污水处理设施的实时监测业务数据信息，并将信息传输至服务器；平台采集传输单元，用于采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息，并将信息传输至服务器；
实时存储模块，由现场数据存储单元和平台数据存储单元构成；
现场数据存储单元，与现场采集传输单元进行数据连接，用于存储现场采集传输单元获取的信息；平台数据存储单元，与平台采集传输单元进行数据连接，用于存储平台采集传输单元获取的信息；
实时分析模块，调用实时存储模块中的数据信息进行实时数据的统计分析和多维分析，获得农村污水处理设施的实时运行状态、污水处理效果以及需要重点监管的设施集结果；
图表呈现模块，根据实时分析模块获得的结果，在可视化平台上进行实时呈现。
上述模块中的实时存储模块和实时分析模块可集成于计算机系统中，该计算机系统为包括一个或多个存储指令的非临时性计算机可读存储设备。计算机可以为台式计算机、便携式计算机、工作站、云端服务器、个人数字助理或任何其他计算机系统。计算机系统包括处理器、只读存储器(ROM)、随机存取存储器(RAM)、连接外围设备(如输入设备、输出设备、存储设备等)的输入/输出适配器、连接的输入设备(如键盘、鼠标、触摸屏、语音输入)、和/或其他设备的用户界面适配器、将计算机连接至网络的通讯适配器、将计算机连接至显示器的显示器适配器等。举例说明，显示器可以通过图表来显示实时分析模块获得的结果。
进一步地，所述实时监测业务数据信息包括：农村污水处理的设施编号、监测时间、水质数据、水量数据、工艺状态数据、设备运行数据和运行能耗数据；
所述水质数据包括：进水和出水的水质监测指标数据；水质监测指标为pH值、化学需氧量、悬浮物、氨氮、总磷、粪大肠菌群、总氮、动植物油、电导率和浊度中的一种或多种；
所述工艺状态数据包括：工艺单元的运行状态监测指标数据；运行状态监测指标为液位、温度、溶解氧、氧化还原电位、污泥浓度中的一种或多种。
所述设备运行数据包括：工作泵的当前状态和远控状态，应急泵的当前状态和远控状态，风机的当前状态和远控状态；
所述运行能耗数据包括：泵和风机的电流、功率、电能。
所述基础属性数据信息包括：农村污水处理设施的行政区域、设施编号、设施名称、处理规模和处理工艺；所述行政区域包括农村污水处理设施所属的省、市、区/县、镇、村的名称；所述处理规模为农村污水处理设施的日处理水量，所述处理工艺为农村污水处理设施的工艺类型。
进一步地，所述实时分析模块的多维分析按照下述步骤实现功能：
(1)调取实时存储模块中获取的待分析农村污水处理设施的基础属性数据信息和实时监测业务数据信息；
(2)选择在线的农村污水处理设施，根据基础属性数据信息中的行政区域信息，将所有待分析农村污水处理设施进行行政区域划分，获得行政区域维度的若干区域设施集；
(3)计算步骤(2)各区域设施集的设施告警频率，根据设施告警频率，划分高频区域设施集和其他区域设施集；
划分步骤如下：
(a)根据设施告警频率的高低，计算各区域设施集的设施告警频率百分占比，按照设施告警频率百分占比将区域设施集进行排序，并从高到低将区域设施集依次定义为A1、A2、A3…An；其中，n＝区域设施集的总数量；
(b)当A1≥60％时，若A2＜30％，则A1属于高频区域设施集，否则A1和A2均属于高频区域设施集；
当A1＜60％时，若A1+A2≥60％且A3＜30％，则A1和A2均属于高频区域设施集，否则A1、A2和A3均属于高频区域设施集；
其余区域设施集均属于其他区域设施集；
(4)基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在步骤(3)获得的高频区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设备故障频率的高低，找到集合中设备故障频率较高的设施集，作为需要重点监管的设备不运行的设施集I；
(5)除步骤(4)的设施集I外，计算步骤(4)的其余设施集的吨水处理能耗，根据吨水处理能耗的高低，找到集合中吨水处理能耗较高的设施集，作为需要重点监管的设备过度运行的设施集II；
(6)先计算步骤(3)获得的其他区域设施集的运维成本效益，找到运维成本效益较低的区域设施集，再基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在运维成本效益较低的区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设施运行负荷的高低，找到集合中需要重点监管的设施运行负荷低的设施集III。
进一步地，步骤(2)中，在线的判断依据为：单位时间内农村污水处理设施在线时间占比≥90％；
步骤(3)中，设施告警频率＝单位时间内区域设施集中农村污水处理设施的总告警次数/区域设施集中农村污水处理设施的总数量；
步骤(4)中，设备故障频率＝单位时间内设施集中农村污水处理设施的总设备故障次数/设施集中农村污水处理设施的总数量；
步骤(5)中，吨水处理能耗＝单位时间内设施集中农村污水处理设施的总耗电量/设施集中农村污水处理设施的总实际处理水量；
步骤(6)中，运维成本效益＝单位时间内设施集中农村污水处理设施运行异常的总次数/设施集中农村污水处理设施的总运维成本；
设施运行负荷＝单位时间内设施集中农村污水处理设施的总实际处理水量/设施集中农村污水处理设施的总设计处理水量。
进一步地，步骤(3)中，高频区域设施集的数量为1～3个集合。
进一步地，步骤(4)中，设备故障频率较高的设施集的判断方法为：根据设备故障频率的高低，将设施集进行从高到低排序，选择前1～3个设施集，作为需要重点监管的设备不运行的设施集I。
进一步地，步骤(5)中，吨水处理能耗较高的设施集的判断方法为：根据吨水处理能耗的高低，将设施集进行从高到低排序，选择前1～3个设施集，作为需要重点监管的设备过度运行的设施集II。
进一步地，步骤(6)中，运维成本效益较低的区域设施集的判断方法为：根据运维成本效益的高低，将设施集进行从低到高排序，选择前1～3个设施集，作为运维成本效益较低的区域设施集；
设施运行负荷较低的设施集的判断方法为：根据设施运行负荷的高低，将设施集进行从低到高排序，选择前1～3个设施集，作为需要重点监管的运行负荷低的设施集III。
进一步地，所述现场采集传输单元包括依次数据连接的前端采集设备和无线终端设备；所述前端采集设备为安装于农村污水处理设施上的传感器；所述无线终端设备包括安装于农村污水处理设施上的DTU和移动式巡检终端；
所述平台采集传输单元通过RESTFul风格的HTTP接口采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息。
现场采集传输单元中，前端采集设备通过模拟输出4-20mA电流和模拟量转换来连接无线终端设备DTU，或者，通过485串口与网关连接，采用sim卡通过modbus rtu协议进行数据采集传输；此外，也可以直接连接移动式巡检终端，通过modbus tcp协议进行数据采集传输，协议中可以设置数据采集频次，如每分钟一次，主动采集。
第三方平台或第三方系统通过RESTFul风格的HTTP接口技术实现主动上传数据信息至平台采集传输单元，数据交互方式使用http post和http get发送请求。
进一步地，所述实时采集模块还包括现场数据预处理单元和平台数据预处理单元；
现场数据预处理单元，用于对现场数据的格式和内容进行校验；平台数据预处理单元，用于对第三方来源数据进行统一的校验；预处理后的数据由实时存储模块存储批量写入数据库。
现场数据预处理单元按照数据接口规范，以单一设施为单位，对数据格式和数据内容分别进行校验；数据格式校验是校验源数据是否为规范格式数据；数据内容校验是校验数据字段数量是否完整，数据值是否在正常值范围。平台数据预处理单元，按照响应数据包格式规范，以数据包为单位，对第三方来源数据进行统一的校验。
进一步地，所述实时存储模块包括时序数据库InfluxDB、关系型数据库PostgreSQL和No-SQL数据库Redis；
时序数据库InfluxDB，用于存储有time列时间戳的时序型监测数据；
关系型数据库PostgreSQL，用于存储有逻辑分类的关系类型数据；
No-SQL数据库redis，用于存储需要支持大数据量读取的缓存类型数据；
所述现场数据存储单元通过消息队列与现场采集传输单元进行数据连接。
系统实时接收大量的实时监测数据，数据量非常庞大，且为了数据完整性，系统需要保持数据传输的日志，日志的数据量更加巨大。为解决和缓解大量数据存储的压力，系统数据存储优化采用如下方法：
1)按调用需求匹配存储技术架构：先提取不活跃数据中需要长期调用的内容存储到其它数据库表中作为活跃数据使用，然后将其它数据按数据创建时间、最后访问时间、历史调用、数据访问频率、数据集关键程度、优先级别等指标进行数据迁移，经常调用的数据存储在响应速度最高的第0层，最不活跃的数据推送至第3层，再配合写回和直写的缓存技术，以保证数据放在最佳的存储层。同时，对源数据归档处理，压缩数据结构。
原因是，数据的使用集中在创建后的72小时，之后的访问频率会逐渐降低。1个月后，数据的访问量会降至谷底，访问量甚至会不足10次，这样的数据称为“不活跃数据”。大量的不活跃数据占用高速存储，这样的存储性价比不会很高，需要根据数据调用需求来匹配数据存储技术架构。
2)自动精简配置存储空间：数据存储空间的分配不再是一次性的峰值配置，而是按照“少量分配、多次补充”方法自动配置存储空间，一般以满足未来30天的存储需求为基础。当剩余空间即将耗尽时，自动精简配置会从后端的存储资源池内划分空间以满足应用。
原因是，系统投入使用前需要计算出数据的峰值存储空间，但是这个最大的存储空间或许需要几年的数据积累才能用完。如果在系统投入初期即分配全部的空间，毫无疑问会造成资源浪费，自动精简配置在不损失存储性能的前提下，保证了空间最大利用率，可降低用户扩容存储压力，同时减少管理人员运行维护压力。
3)分布式数据存储：采用MapReduce技术，通过分布式文件系统(HDFS)和分布式数据库(HBase)，自动分割需要执行的任务，拆解成Map和Reduce，Map函数用来将数据映射成不同的区块，然后分配给服务器集群进行分布式计算，计算完毕后由Reduce函数汇总结果4)其它辅助技术：采用日志数据压缩技术自动化对历史日志进行压缩；采用重复数据删除技术查找不同文件、不同位置重复或冗余的数据块，将数据块用指示符或者指针代替。
进一步地，所述实时分析模块的统计分析采用基于实时监控的定时计算分析算法；实时分析模块的多维分析运用PostgreSQL数据库，通过使用OLAP联机分析处理技术，接收到数据后，使其转化为可推导性信息，引用Group by语句，实现系统的自动化多维分析。
在进行数据分析前，先从实时存储模块中提取出所需的数据，加载到大型的分布式数据库中；再将数据转化成指定格式，统一数据名称和数据定义方式，得到满足数据分析要求的数据集；然后，将转化后的数据集进行数据数值归约，获得对应精简的数据子集。
为提升数据提取或查询的效率，包括采用数据索引技术，运用PostgreSQL数据库中SQL语句中的where子句，含有多个带有索引的字段进行索引判断，如针对设施名称、设施编号这类重复性数据字段，采用Hash索引；针对数据时间这类数据字段采用B-tree索引。还包括对响应度要求高的活跃数据，为弥补关系型数据库的不足，运用基于内存的Redis No-SQL数据库，该数据库存在键值，有缓存，以便提升查询速度。
所述实时数据管理系统还包括控制模块，根据实时分析模块获得的结果，对农村污水处理设施进行实时调控。
进一步地，所述图表呈现模块基于Canvas和WebGL技术的图表引擎ECharts3来绘制图表，主要使用JavaScript来具体实现，底层依赖轻量级的矢量图形库ZRender。
所述图表呈现模块集成多个数据分析结果在一张图中(可单指标显示，多指标显示，多批次对比显示，重叠显示)；可进行图表适应维度切换，实时联动展示；可设置平均值线，任意调整时间轴，任意增减展示项目平均值线动态更新；图表在页面范围内可随展示项目的增减自适应展示效果。除此以外，在某一个维度内，可以选择多个数据来源，进行不同时间批次的全方面对比展示。
本发明还提供一种利用如上所述的实时数据管理系统对农村污水处理设施进行运行监管的方法，包括以下步骤：
步骤(i)，利用现场采集传输单元现场采集农村污水处理设施的实时监测业务数据信息，并将信息传输至服务器；再利用现场数据存储单元存储现场采集传输单元获取的信息；
步骤(ii)，利用平台采集传输单元采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息，并将信息传输至服务器；再利用平台数据存储单元存储平台采集传输单元获取的信息；
步骤(iii)，调用实时存储模块中的数据信息进行实时数据的统计分析和多维分析，获得农村污水处理设施的实时运行状态、污水处理效果以及需要重点监管的设施集结果；
统计分析方法包括：自定义对不同监测指标数据进行分析任务的执行时间，对实时监测数据先作不同时间维度的统计分析，再从区域维度作汇总统计分析，同时生成数据报表；进一步，时间维度可按时、按月、按季度、按年进行平均值、最大值、最小值或者累计值进行分析计算；区域维度就是行政区域。
多维分析方法包括：
(1)调取实时存储模块中获取的待分析农村污水处理设施的基础属性数据信息和实时监测业务数据信息；
(2)选择在线的农村污水处理设施，根据基础属性数据信息中的行政区域信息，将所有待分析农村污水处理设施进行行政区域划分，获得行政区域维度的若干区域设施集；
(3)计算步骤(2)各区域设施集的设施告警频率，根据设施告警频率，划分高频区域设施集和其他区域设施集；
划分步骤如下：
(a)根据设施告警频率的高低，计算各区域设施集的设施告警频率百分占比，按照设施告警频率百分占比将区域设施集进行排序，并从高到低将区域设施集依次定义为A1、A2、A3…An；其中，n＝行政区域设施集的总数量；
(b)当A1≥60％时，若A2＜30％，则A1属于高频区域设施集，否则A1和A2均属于高频区域设施集；
当A1＜60％时，若A1+A2≥60％且A3＜30％，则A1和A2均属于高频区域设施集，否则A1、A2和A3均属于高频区域设施集；
其余区域设施集均属于其他区域设施集；
(4)基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在步骤(3)获得的高频区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设备故障频率的高低，找到集合中设备故障频率较高的设施集，作为需要重点监管的设备不运行的设施集I；
(5)除步骤(4)的设施集I外，计算步骤(4)的其余设施集的吨水处理能耗，根据吨水处理能耗的高低，找到集合中吨水处理能耗较高的设施集，作为需要重点监管的设备过度运行的设施集II；
(6)先计算步骤(3)获得的其他区域设施集的运维成本效益，找到运维成本效益较低的区域设施集，再基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在运维成本效益较低的区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设施运行负荷的高低，找到集合中需要重点监管的设备运行负荷低的设施集III；
步骤(iv)，根据实时分析模块获得的结果，利用图表呈现模块在可视化平台上进行实时呈现。
进一步地，上述方法还包括：步骤(vi)，根据实时分析模块获得的结果，利用控制模块对农村污水处理设施进行实时调控。
与现有技术相比，本发明具有以下有益效果：
本发明通过实现农村污水处理设施运行全过程的数据实时采集传输和大数据量的存储管理系统，从而实现面向大规模农村污水处理设施的实时监测和管理，同时提供基于统计分析和多维分析相结合的系统运行监管方法，从众多农村污水处理设施中选出更需要重点监管的设施集结果，解决了现有技术中农村污水处理设施数量多，信息化运行效率低、全面监管难度大、成本高的问题，提高了农村污水处理设施的区域化统筹运营管理水平。
附图说明
图1为实施例1中农村污水处理设施的实时数据管理系统的框架图。
图2为实施例1中实时数据管理系统实时分析模块的多维分析流程示意图。
具体实施方式
下面结合具体实施例对本发明作进一步描述，以下列举的仅是本发明的具体实施例，但本发明的保护范围不仅限于此。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
实施例1
一种农村污水处理设施的实时数据管理系统，由实时采集模块、实时存储模块、实时分析模块、图表呈现模块和实时控制模块组成；
(一)实时采集模块
实时采集模块，由现场采集传输单元和平台采集传输单元构成；现场采集传输单元，用于现场采集农村污水处理设施的实时监测业务数据信息，并将信息传输至服务器；平台采集传输单元，用于采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息，并将信息传输至服务器。
实时监测业务数据信息包括：农村污水处理的设施编号、监测时间、水质数据、水量数据、工艺状态数据、设备运行数据和运行能耗数据；水质数据包括：进水和出水的水质监测指标数据；水质监测指标为pH值、化学需氧量、悬浮物、氨氮、总磷、粪大肠菌群、总氮、动植物油、电导率和浊度中的一种或多种；工艺状态数据包括：工艺单元的运行状态监测指标数据；运行状态监测指标为液位、温度、溶解氧、氧化还原电位、污泥浓度中的一种或多种。设备运行数据包括：工作泵的当前状态和远控状态，应急泵的当前状态和远控状态，风机的当前状态和远控状态；运行能耗数据包括：泵和风机的电流、功率、电能。
基础属性数据信息包括：农村污水处理设施的行政区域、设施编号、设施名称、处理规模和处理工艺；所述行政区域包括农村污水处理设施所属的省、市、区/县、镇、村的名称；所述处理规模为农村污水处理设施的日处理水量，所述处理工艺为农村污水处理设施的工艺类型。
现场采集传输单元包括依次数据连接的前端采集设备和无线终端设备；前端采集设备为安装于农村污水处理设施上的传感器；无线终端设备包括安装于农村污水处理设施上的DTU和移动式巡检终端；平台采集传输单元通过RESTFul风格的HTTP接口采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息。
现场采集传输单元中，前端采集设备通过模拟输出4-20mA电流和模拟量转换来连接无线终端设备DTU，或者，通过485串口与网关连接，采用sim卡通过modbus rtu协议进行数据采集传输；此外，也可以直接连接移动式巡检终端，通过modbus tcp协议进行数据采集传输，协议中可以设置数据采集频次，如每分钟一次，主动采集。
第三方平台或第三方系统通过RESTFul风格的HTTP接口技术实现主动上传数据信息至平台采集传输单元，数据交互方式使用http post和http get发送请求。
实时采集模块还包括现场数据预处理单元和平台数据预处理单元；现场数据预处理单元，用于对现场数据的格式和内容进行校验；平台数据预处理单元，用于对第三方来源数据进行统一的校验；预处理后的数据由实时存储模块存储批量写入数据库。
现场数据预处理单元按照数据接口规范，以单一设施为单位，对数据格式和数据内容分别进行校验；数据格式校验是校验源数据是否为规范格式数据；数据内容校验是校验数据字段数量是否完整，数据值是否在正常值范围。平台数据预处理单元，按照响应数据包格式规范，以数据包为单位，对第三方来源数据进行统一的校验。
(二)实时存储模块
实时存储模块由现场数据存储单元和平台数据存储单元构成；
现场数据存储单元，与现场采集传输单元进行数据连接，用于存储现场采集传输单元获取的信息；平台数据存储单元，与平台采集传输单元进行数据连接，用于存储平台采集传输单元获取的信息。
实时存储模块包括时序数据库InfluxDB、关系型数据库PostgreSQL和No-SQL数据库Redis；
时序数据库InfluxDB，用于存储有time列时间戳的时序型监测数据；
关系型数据库PostgreSQL，用于存储有逻辑分类的关系类型数据；
No-SQL数据库redis，用于存储需要支持大数据量读取的缓存类型数据；
所述现场数据存储单元通过消息队列与现场采集传输单元进行数据连接。
现场数据存储单元通过消息队列与现场采集传输单元进行数据连接；
系统实时接收大量的实时监测数据，数据量非常庞大，且为了数据完整性，系统需要保持数据传输的日志，日志的数据量更加巨大。为解决和缓解大量数据存储的压力，系统数据存储优化采用如下方法：
1)按调用需求匹配存储技术架构：先提取不活跃数据中需要长期调用的内容存储到其它数据库表中作为活跃数据使用，然后将其它数据按数据创建时间、最后访问时间、历史调用、数据访问频率、数据集关键程度、优先级别等指标进行数据迁移，经常调用的数据存储在响应速度最高的第0层，最不活跃的数据推送至第3层，再配合写回和直写的缓存技术，以保证数据放在最佳的存储层。同时，对源数据归档处理，压缩数据结构。
原因是，数据的使用集中在创建后的72小时，之后的访问频率会逐渐降低。1个月后，数据的访问量会降至谷底，访问量甚至会不足10次，这样的数据称为“不活跃数据”。大量的不活跃数据占用高速存储，这样的存储性价比不会很高，需要根据数据调用需求来匹配数据存储技术架构。
2)自动精简配置存储空间：数据存储空间的分配不再是一次性的峰值配置，而是按照“少量分配、多次补充”方法自动配置存储空间，一般以满足未来30天的存储需求为基础。当剩余空间即将耗尽时，自动精简配置会从后端的存储资源池内划分空间以满足应用。
原因是，系统投入使用前需要计算出数据的峰值存储空间，但是这个最大的存储空间或许需要几年的数据积累才能用完。如果在系统投入初期即分配全部的空间，毫无疑问会造成资源浪费，自动精简配置在不损失存储性能的前提下，保证了空间最大利用率，可降低用户扩容存储压力，同时减少管理人员运行维护压力。
3)分布式数据存储：采用MapReduce技术，通过分布式文件系统(HDFS)和分布式数据库(HBase)，自动分割需要执行的任务，拆解成Map和Reduce，Map函数用来将数据映射成不同的区块，然后分配给服务器集群进行分布式计算，计算完毕后由Reduce函数汇总结果。4)其它辅助技术：采用日志数据压缩技术自动化对历史日志进行压缩；采用重复数据删除技术查找不同文件、不同位置重复或冗余的数据块，将数据块用指示符或者指针代替。
(三)实时分析模块
实时分析模块，调用实时存储模块中的数据信息进行实时数据的统计分析和多维分析，获得农村污水处理设施的实时运行状态、污水处理效果以及需要重点监管的设施集结果。实时分析模块的统计分析方法采用基于实时监控的定时计算分析算法；实时分析模块的多维分析方法运用PostgreSQL数据库，通过使用OLAP联机分析处理技术，接收到数据后，使其转化为可推导性信息，引用Group by语句，实现系统的自动化多维分析。
在进行数据分析前，先从实时存储模块中提取出所需的数据，加载到大型的分布式数据库中；再将数据转化成指定格式，统一数据名称和数据定义方式，得到满足数据分析要求的数据集；然后，将转化后的数据集进行数据数值归约，获得对应精简的数据子集。
为提升数据提取或查询的效率，包括采用数据索引技术，运用PostgreSQL数据库中SQL语句中的where子句，含有多个带有索引的字段进行索引判断，如针对设施名称、设施编号这类重复性数据字段，采用Hash索引；针对数据时间这类数据字段采用B-tree索引。还包括对响应度要求高的活跃数据，为弥补关系型数据库的不足，运用基于内存的Redis No-SQL数据库，该数据库存在键值，有缓存，以便提升查询速度。
多维分析方法按照下述步骤实现功能：
(1)调取实时存储模块中获取的待分析农村污水处理设施的基础属性数据信息和实时监测业务数据信息；
(2)选择在线的农村污水处理设施，根据基础属性数据信息中的行政区域信息，将所有待分析农村污水处理设施进行行政区域划分，获得行政区域维度的若干区域设施集；
(3)计算步骤(2)各区域设施集的设施告警频率，根据设施告警频率，划分高频区域设施集和其他区域设施集；
划分步骤如下：
(a)根据设施告警频率的高低，计算各区域设施集的设施告警频率百分占比，按照设施告警频率百分占比将区域设施集进行排序，并从高到低将区域设施集依次定义为A1、A2、A3…An；其中，n＝区域设施集的总数量；
(b)当A1≥60％时，若A2＜30％，则A1属于高频区域设施集，否则A1和A2均属于高频区域设施集；
当A1＜60％时，若A1+A2≥60％且A3＜30％，则A1和A2均属于高频区域设施集，否则A1、A2和A3均属于高频区域设施集；
其余区域设施集均属于其他区域设施集；
(4)基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在步骤(3)获得的高频区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设备故障频率的高低，找到集合中设备故障频率较高的设施集，作为需要重点监管的设备不运行的设施集I；
(5)除步骤(4)的设施集I外，计算步骤(4)的其余设施集的吨水处理能耗，根据吨水处理能耗的高低，找到集合中吨水处理能耗较高的设施集，作为需要重点监管的设备过度运行的设施集II；
(6)先计算步骤(3)获得的其他区域设施集的运维成本效益，找到运维成本效益较低的区域设施集，再基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在运维成本效益较低的区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设施运行负荷的高低，找到集合中需要重点监管的设施运行负荷低的设施集III。
进一步地，步骤(2)中，在线的判断依据为：单位时间内农村污水处理设施在线时间占比≥90％；
步骤(3)中，设施告警频率＝单位时间内区域设施集中农村污水处理设施的总告警次数/区域设施集中农村污水处理设施的总数量；
步骤(4)中，设备故障频率＝单位时间内设施集中农村污水处理设施的总设备故障次数/设施集中农村污水处理设施的总数量；
步骤(5)中，吨水处理能耗＝单位时间内设施集中农村污水处理设施的总耗电量/设施集中农村污水处理设施的总实际处理水量；
步骤(6)中，运维成本效益＝单位时间内设施集中农村污水处理设施运行异常的总次数/设施集中农村污水处理设施的总运维成本；
设施运行负荷＝单位时间内设施集中农村污水处理设施的总实际处理水量/设施集中农村污水处理设施的总设计处理水量。
步骤(3)中，高频区域设施集的数量为1～3个集合。步骤(4)中，设备故障频率较高的设施集的判断方法为：根据设备故障频率的高低，将设施集进行从高到低排序，选择前1～3个设施集，作为需要重点监管的设备不运行的设施集I。步骤(5)中，吨水处理能耗较高的设施集的判断方法为：根据吨水处理能耗的高低，将设施集进行从高到低排序，选择前1～3个设施集，作为需要重点监管的设备过度运行的设施集II。步骤(6)中，运维成本效益较低的区域设施集的判断方法为：根据运维成本效益的高低，将设施集进行从低到高排序，选择前1～3个设施集，作为运维成本效益较低的区域设施集；设施运行负荷较低的设施集的判断方法为：根据设施运行负荷的高低，将设施集进行从低到高排序，选择前1～3个设施集，作为需要重点监管的运行负荷低的设施集III。
(四)图表呈现模块
图表呈现模块根据实时分析模块获得的结果，在可视化平台上进行实时呈现。
图表呈现模块基于Canvas和WebGL技术的图表引擎ECharts3来绘制图表，主要使用JavaScript来具体实现，底层依赖轻量级的矢量图形库ZRender。
图表呈现模块集成多个数据分析结果在一张图中(可单指标显示，多指标显示，多批次对比显示，重叠显示)；可进行图表适应维度切换，实时联动展示；可设置平均值线，任意调整时间轴，任意增减展示项目平均值线动态更新；图表在页面范围内可随展示项目的增减自适应展示效果。除此以外，在某一个维度内，可以选择多个数据来源，进行不同时间批次的全方面对比展示。
(五)实时控制模块
实时控制模块根据实时分析模块获得的结果，对农村污水处理设施进行实时调控。
实施例2
一种利用实时数据管理系统对农村污水处理设施进行运行监管的方法，具体步骤如下：
步骤(i)，利用现场采集传输单元现场采集农村污水处理设施的实时监测业务数据信息，并将信息传输至服务器；再利用现场数据存储单元存储现场采集传输单元获取的信息；
步骤(ii)，利用平台采集传输单元采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息，并将信息传输至服务器；再利用平台数据存储单元存储平台采集传输单元获取的信息；
步骤(iii)，调用实时存储模块中的数据信息进行实时数据的统计分析和多维分析，农村污水处理设施的实时运行状态、污水处理效果以及需要重点监管的设施集结果；；
统计分析方法包括：自定义对不同监测指标数据进行分析任务的执行时间，对实时监测数据先作不同时间维度的统计分析，再从区域维度作汇总统计分析，同时生成数据报表；进一步，时间维度可按时、按月、按季度、按年进行平均值、最大值、最小值或者累计值进行分析计算；区域维度就是行政区域。
多维分析方法包括：
(1)调取实时存储模块中获取的待分析农村污水处理设施的基础属性数据信息和实时监测业务数据信息；
(2)选择在线的农村污水处理设施，根据基础属性数据信息中的行政区域信息，将所有待分析农村污水处理设施进行行政区域划分，获得行政区域维度的若干区域设施集；
(3)计算步骤(2)各区域设施集的设施告警频率，根据设施告警频率，划分高频区域设施集和其他区域设施集；
划分步骤如下：
(a)根据设施告警频率的高低，计算各区域设施集的设施告警频率百分占比，按照设施告警频率百分占比将区域设施集进行排序，并从高到低将区域设施集依次定义为A1、A2、A3…An；其中，n＝行政区域设施集的总数量；
(b)当A1≥60％时，若A2＜30％，则A1属于高频区域设施集，否则A1和A2均属于高频区域设施集；
当A1＜60％时，若A1+A2≥60％且A3＜30％，则A1和A2均属于高频区域设施集，否则A1、A2和A3均属于高频区域设施集；
其余区域设施集均属于其他区域设施集；
(4)基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在步骤(3)获得的高频区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设备故障频率的高低，找到集合中设备故障频率较高的设施集，作为需要重点监管的设备不运行的设施集I；
(5)除步骤(4)的设施集I外，计算步骤(4)的其余设施集的吨水处理能耗，根据吨水处理能耗的高低，找到集合中吨水处理能耗较高的设施集，作为需要重点监管的设备过度运行的设施集II；
(6)先计算步骤(3)获得的其他区域设施集的运维成本效益，找到运维成本效益较低的区域设施集，再基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在运维成本效益较低的区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设施运行负荷的高低，找到集合中需要重点监管的设备运行负荷低的设施集III；
步骤(iv)，根据实时分析模块获得的结果，利用图表呈现模块在可视化平台上进行实时呈现。
步骤(v)，根据实时分析模块获得的结果，利用控制模块对农村污水处理设施进行实时调控。
应用例1
浙江省某县级市建设有农村污水处理设施有451个，设施涉及5个乡镇。这451个处理设施的基础属性数据和实时监测业务数据均通过实时数据管理系统采集传输并存储于云端服务器。基础属性数据具体包括农村污水处理设施的行政区域(县、镇)、设施编号、设施名称、处理规模和处理工艺；实时监测业务数据具体包括监测时间、水质数据、水量数据、工艺状态数据、设备运行数据和运行能耗数据。451座设施中，其中有5座安装了在线水质监测设备，30座安装了简易水质监测设备。
451个农村污水处理设施涉及处理规模有5种为5t/d≤T<10t/d、10t/d≤T<20t/d、20t/d≤T<30t/d、30t/d≤T<50t/d、50t/d≤T<200t/d，涉及处理工艺涉及3种为生物处理工艺(AAO、SBR、MBR)、生物+生态组合处理工艺(AAO+人工湿地、AO+人工湿地、厌氧+人工湿地)、生态处理工艺(人工湿地)。
以月分析频率示例，随机选择某个月，利用实时数据管理系统对农村污水处理设施采用上述多维分析方法进行综合分析发现：
(1)451座设施，在线设施数为437座。这437座设施覆盖了5个乡镇，各乡镇设施数量分布为乡镇1(49座，占比11.2％)、乡镇2(148座，33.9％)、乡镇3(167座，占比38.2％)、乡镇4(33座，7.6％)、乡镇5(40座，占比9.1％)。对这5个乡镇区域分别计算设施告警频率，进一步计算各乡镇的设施告警频率百分占比，从高到低排序为：乡镇1(33.5％)>乡镇3(30.6％)>乡镇4(20.4％)>乡镇5(11.2％)>乡镇2(4.3％)。故乡镇1、乡镇3的216座设施属于高频区域设施集。其他乡镇属于其它区域设施集。
(2)选择对重点监管区域设施集中216座设施进行进一步处理规模和处理工艺维度分析，将216座设施的处理规模划分为10t/d≤T<20t/d，20t/d≤T<30t/d、30t/d≤T<50t/d，处理工艺类型为生物处理工艺(AAO)、生物+生态组合处理工艺(AAO+人工湿地、AO+人工湿地)，进行处理规模和处理工艺维度分析后，筛选出需要重点监管的设备不运行的设施集为67座，涉及乡镇3规模为10t/d≤T<20t/d和30t/d≤T<50t/d的AAO+人工湿地39座和乡镇1规模为20t/d≤T<30t/d的AO+人工湿地18座。
结合该县级市所有处理设施连续近6个月的历史运维台账，经分析，设备维修记录总数量为146条(451座设施)，而筛选出的67座设施(设施数量占比14.9％)的维修记录为56条(维修记录占比38.4％)。
(3)除去设备不运行的设施集外，计算步骤(2)的其余设施集的吨水处理能耗，筛选出需要重点监管的设备过度运行的设施集为34座，涉及乡镇3规模为20t/d≤T<30t/d和30t/d≤T<50t/d的AAO、AAO+人工湿地26座和乡镇1规模为30t/d≤T<50t/d的AO+人工湿地8座。
结合该月份平台系统端的提升泵每日运行时长分析，这34座设施中有25座设施的提升泵属于24小时持续运行状态，设施实际处理水量波动很大超过设计处理水量的1倍以上的天数达一半以上。
(4)选择步骤(1)的其他区域设施集，计算各设施集的运维成本效益，筛选出运维成本效益低的设施集为181座，包括乡镇4的33座、乡镇2的148座。进行进一步处理规模和处理工艺维度分析，将181座设施的处理规模划分为10t/d≤T<20t/d，20t/d≤T<30t/d、30t/d≤T<50t/d、50t/d≤T<200t/d，处理工艺类型为生物处理工艺(AAO、MBR)、生物+生态组合处理工艺(AAO+人工湿地、AO+人工湿地)，计算各设施集的设施运行负荷，筛选出需要重点监管的设施运行负荷低的设施集为49座，涉及乡镇4规模为20t/d≤T<30t/d、50t/d≤T<200t/d的AAO、AAO+人工湿地38座和乡镇2规模为20t/d≤T<30t/d、30t/d≤T<50t/d的AO+人工湿地11座。
结合该月份平台系统端的设施每日处理水量分析，181座设施的单位设施平均异常次数为3.2次，这49座设施的单位设施平均异常次数是1.4次，而且，其中有31座设施的处理水量波动很大，实际处理水量仅为设计处理水量一半以下的天数达一半以上。
总结来看，基于437座设施的实时监测业务数据，1)可以获取高频区域设施集为216座(其中：设备不运行的设施集为67座，设备过度运行的设施集为34座)；2)针对除高频区域设施集以外的其他区域设施集的221座设施，进一步获得运维成本效益低的设施集为181座(其中：设施运行负荷低的设施集为49座)。
以上分析结果，均通过现场运维台账分析和平台系统端的设备运行记录、异常记录和水量数据进行了设施运行监管方法的适用性分析。
Claims (10)
1.一种农村污水处理设施的实时数据管理系统，其特征在于，包括实时采集模块、实时存储模块、实时分析模块和图表呈现模块；
实时采集模块，由现场采集传输单元和平台采集传输单元构成；
现场采集传输单元，用于现场采集农村污水处理设施的实时监测业务数据信息，并将信息传输至服务器；平台采集传输单元，用于采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息，并将信息传输至服务器；
实时存储模块，由现场数据存储单元和平台数据存储单元构成；
现场数据存储单元，与现场采集传输单元进行数据连接，用于存储现场采集传输单元获取的信息；平台数据存储单元，与平台采集传输单元进行数据连接，用于存储平台采集传输单元获取的信息；
实时分析模块，调用实时存储模块中的数据信息进行实时数据的统计分析和多维分析，获得农村污水处理设施的实时运行状态、污水处理效果以及需要重点监管的设施集结果；
图表呈现模块，根据实时分析模块获得的结果，在可视化平台上进行实时呈现。
2.如权利要求1所述的农村污水处理设施的实时数据管理系统，其特征在于，所述实时监测业务数据信息包括：农村污水处理的设施编号、监测时间、水质数据、水量数据、工艺状态数据、设备运行数据和运行能耗数据；
所述水质数据包括：进水和出水的水质监测指标数据；水质监测指标为pH值、化学需氧量、悬浮物、氨氮、总磷、粪大肠菌群、总氮、动植物油、电导率和浊度中的一种或多种；
所述工艺状态数据包括：工艺单元的运行状态监测指标数据；运行状态监测指标为液位、温度、溶解氧、氧化还原电位、污泥浓度中的一种或多种。
所述设备运行数据包括：工作泵的当前状态和远控状态，应急泵的当前状态和远控状态，风机的当前状态和远控状态；
所述运行能耗数据包括：泵和风机的电流、功率、电能。
所述基础属性数据信息包括：农村污水处理设施的行政区域、设施编号、设施名称、处理规模和处理工艺；所述行政区域包括农村污水处理设施所属的省、市、区/县、镇、村的名称；所述处理规模为农村污水处理设施的日处理水量，所述处理工艺为农村污水处理设施的工艺类型。
3.如权利要求2所述的农村污水处理设施的实时数据管理系统，其特征在于，所述实时分析模块的多维分析按照下述步骤实现功能：
(1)调取实时存储模块中获取的待分析农村污水处理设施的基础属性数据信息和实时监测业务数据信息；
(2)选择在线的农村污水处理设施，根据基础属性数据信息中的行政区域信息，将所有待分析农村污水处理设施进行行政区域划分，获得行政区域维度的若干区域设施集；
(3)计算步骤(2)各区域设施集的设施告警频率，根据设施告警频率，划分高频区域设施集和其他区域设施集；
划分步骤如下：
(a)根据设施告警频率的高低，计算各区域设施集的设施告警频率百分占比，按照设施告警频率百分占比将区域设施集进行排序，并从高到低将区域设施集依次定义为A1、A2、A3…An；其中，n＝区域设施集的总数量；
(b)当A1≥60％时，若A2＜30％，则A1属于高频区域设施集，否则A1和A2均属于高频区域设施集；
当A1＜60％时，若A1+A2≥60％且A3＜30％，则A1和A2均属于高频区域设施集，否则A1、A2和A3均属于高频区域设施集；
其余区域设施集均属于其他区域设施集；
(4)基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在步骤(3)获得的高频区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设备故障频率的高低，找到集合中设备故障频率较高的设施集，作为需要重点监管的设备不运行的设施集I；
(5)除步骤(4)的设施集I外，计算步骤(4)的其余设施集的吨水处理能耗，根据吨水处理能耗的高低，找到集合中吨水处理能耗较高的设施集，作为需要重点监管的设备过度运行的设施集II；
(6)先计算步骤(3)获得的其他区域设施集的运维成本效益，找到运维成本效益较低的区域设施集，再基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在运维成本效益较低的区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设施运行负荷的高低，找到集合中需要重点监管的设施运行负荷低的设施集III。
4.如权利要求3所述的农村污水处理设施的实时数据管理系统，其特征在于，步骤(2)中，在线的判断依据为：单位时间内农村污水处理设施在线时间占比≥90％；
步骤(3)中，设施告警频率＝单位时间内区域设施集中农村污水处理设施的总告警次数/区域设施集中农村污水处理设施的总数量；
步骤(4)中，设备故障频率＝单位时间内设施集中农村污水处理设施的总设备故障次数/设施集中农村污水处理设施的总数量；
步骤(5)中，吨水处理能耗＝单位时间内设施集中农村污水处理设施的总耗电量/设施集中农村污水处理设施的总实际处理水量；
步骤(6)中，运维成本效益＝单位时间内设施集中农村污水处理设施运行异常的总次数/设施集中农村污水处理设施的总运维成本；
设施运行负荷＝单位时间内设施集中农村污水处理设施的总实际处理水量/设施集中农村污水处理设施的总设计处理水量。
5.如权利要求1所述的农村污水处理设施的实时数据管理系统，其特征在于，所述现场采集传输单元包括依次数据连接的前端采集设备和无线终端设备；所述前端采集设备为安装于农村污水处理设施上的传感器；所述无线终端设备包括安装于农村污水处理设施上的DTU和移动式巡检终端；
所述平台采集传输单元通过RESTFul风格的HTTP接口采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息。
6.如权利要求1所述的农村污水处理设施的实时数据管理系统，其特征在于，所述实时采集模块还包括现场数据预处理单元和平台数据预处理单元；
现场数据预处理单元，用于对现场数据的格式和内容进行校验；平台数据预处理单元，用于对第三方来源数据进行统一的校验；预处理后的数据由实时存储模块存储批量写入数据库。
7.如权利要求1所述的农村污水处理设施的实时数据管理系统，其特征在于，
所述实时存储模块包括时序数据库InfluxDB、关系型数据库PostgreSQL和No-SQL数据库Redis；
时序数据库InfluxDB，用于存储有time列时间戳的时序型监测数据；
关系型数据库PostgreSQL，用于存储有逻辑分类的关系类型数据；
No-SQL数据库redis，用于存储需要支持大数据量读取的缓存类型数据；
所述现场数据存储单元通过消息队列与现场采集传输单元进行数据连接。
8.如权利要求1所述的农村污水处理设施的实时数据管理系统，其特征在于，所述实时数据管理系统还包括控制模块，根据实时分析模块获得的结果，对农村污水处理设施进行实时调控。
9.如权利要求1所述的农村污水处理设施的实时数据管理系统，其特征在于，所述图表呈现模块基于Canvas和WebGL技术的图表引擎ECharts3来绘制图表，主要使用JavaScript来具体实现，底层依赖轻量级的矢量图形库ZRender。
10.一种利用如权利要求1～9任一项所述的实时数据管理系统对农村污水处理设施进行运行监管的方法，其特征在于，包括以下步骤：
步骤(i)，利用现场采集传输单元现场采集农村污水处理设施的实时监测业务数据信息，并将信息传输至服务器；再利用现场数据存储单元存储现场采集传输单元获取的信息；
步骤(ii)，利用平台采集传输单元采集第三方平台或第三方系统上的农村污水处理设施的基础属性数据信息和实时监测业务数据信息，并将信息传输至服务器；再利用平台数据存储单元存储平台采集传输单元获取的信息；
步骤(iii)，调用实时存储模块中的数据信息进行实时数据的统计分析和多维分析，获得农村污水处理设施的实时运行状态、污水处理效果以及需要重点监管的设施集结果；
多维分析方法包括：
(1)调取实时存储模块中获取的待分析农村污水处理设施的基础属性数据信息和实时监测业务数据信息；
(2)选择在线的农村污水处理设施，根据基础属性数据信息中的行政区域信息，将所有待分析农村污水处理设施进行行政区域划分，获得行政区域维度的若干区域设施集；
(3)计算步骤(2)各区域设施集的设施告警频率，根据设施告警频率，划分高频区域设施集和其他区域设施集；
划分步骤如下：
(a)根据设施告警频率的高低，计算各区域设施集的设施告警频率百分占比，按照设施告警频率百分占比将区域设施集进行排序，并从高到低将区域设施集依次定义为A1、A2、A3…An；其中，n＝行政区域设施集的总数量；
(b)当A1≥60％时，若A2＜30％，则A1属于高频区域设施集，否则A1和A2均属于高频区域设施集；
当A1＜60％时，若A1+A2≥60％且A3＜30％，则A1和A2均属于高频区域设施集，否则A1、A2和A3均属于高频区域设施集；
其余区域设施集均属于其他区域设施集；
(4)基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在步骤(3)获得的高频区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设备故障频率的高低，找到集合中设备故障频率较高的设施集，作为需要重点监管的设备不运行的设施集I；
(5)除步骤(4)的设施集I外，计算步骤(4)的其余设施集的吨水处理能耗，根据吨水处理能耗的高低，找到集合中吨水处理能耗较高的设施集，作为需要重点监管的设备过度运行的设施集II；
(6)先计算步骤(3)获得的其他区域设施集的运维成本效益，找到运维成本效益较低的区域设施集，再基于步骤(1)基础属性数据信息中的处理规模信息和处理工艺信息，在运维成本效益较低的区域设施集内进一步划分不同处理规模维度和/或不同处理工艺维度的若干设施集，并根据设施运行负荷的高低，找到集合中需要重点监管的设备运行负荷低的设施集III；
步骤(iv)，利用图表呈现模块根据实时分析模块获得的结果，在可视化平台上进行实时呈现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011451659.0A CN112565440B (zh) | 2020-12-10 | 2020-12-10 | 一种农村污水处理设施的实时数据管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011451659.0A CN112565440B (zh) | 2020-12-10 | 2020-12-10 | 一种农村污水处理设施的实时数据管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112565440A true CN112565440A (zh) | 2021-03-26 |
| CN112565440B CN112565440B (zh) | 2022-11-04 |
Family
ID=75061682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011451659.0A Active CN112565440B (zh) | 2020-12-10 | 2020-12-10 | 一种农村污水处理设施的实时数据管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112565440B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113494939A (zh) * | 2021-04-15 | 2021-10-12 | 浙江工商大学 | 一种农村生活污水分散式监测方法 |
| CN113934796A (zh) * | 2021-10-29 | 2022-01-14 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 用于地下水应用服务系统的数据库子系统及数据查询方法 |
| CN114415608A (zh) * | 2021-12-21 | 2022-04-29 | 蚌埠中光电科技有限公司 | 玻璃生产线工程控制中心大屏显示系统 |
| CN115438895A (zh) * | 2021-10-29 | 2022-12-06 | 江苏启德水务有限公司 | 一种智慧农污运营大数据集成管理系统及管理方法 |
| CN116862417A (zh) * | 2023-06-28 | 2023-10-10 | 北京泷涛环境科技有限公司 | 一种农村污水处理设施的水质监管方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050222933A1 (en) * | 2002-05-21 | 2005-10-06 | Wesby Philip B | System and method for monitoring and control of wireless modules linked to assets |
| US20070233502A1 (en) * | 2006-03-30 | 2007-10-04 | Richards Randall R | Integrated management system for greenhouse gas projects |
| CN104992298A (zh) * | 2015-07-16 | 2015-10-21 | 南京朗坤软件有限公司 | 能源管理系统 |
| CN105717859A (zh) * | 2016-04-14 | 2016-06-29 | 河海大学 | 一种全流程管理分散式农村污水处理设施的远程监管方法 |
| CN107145611A (zh) * | 2017-06-15 | 2017-09-08 | 阿克苏地区环境保护局 | 重点工业污染源实时监控动态管理信息平台 |
| CN109945916A (zh) * | 2017-12-21 | 2019-06-28 | 上海远动科技有限公司 | 一种农村生活污水信息管理系统 |
| CN110290023A (zh) * | 2019-06-26 | 2019-09-27 | 四川金星清洁能源装备股份有限公司 | 一种场外设备远程维护监控平台系统及监控方法 |
| CN110322027A (zh) * | 2019-07-04 | 2019-10-11 | 南京大学 | 一种农村生活污水物联网管理平台 |
| CN110790368A (zh) * | 2019-11-22 | 2020-02-14 | 浙江清华长三角研究院 | 一种农村生活污水处理设施的区域监管方法 |
| CN111813012A (zh) * | 2020-05-26 | 2020-10-23 | 广西益江环保科技股份有限公司 | 一种农村污水智能运维管理系统 |
-
2020
- 2020-12-10 CN CN202011451659.0A patent/CN112565440B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050222933A1 (en) * | 2002-05-21 | 2005-10-06 | Wesby Philip B | System and method for monitoring and control of wireless modules linked to assets |
| US20070233502A1 (en) * | 2006-03-30 | 2007-10-04 | Richards Randall R | Integrated management system for greenhouse gas projects |
| CN104992298A (zh) * | 2015-07-16 | 2015-10-21 | 南京朗坤软件有限公司 | 能源管理系统 |
| CN105717859A (zh) * | 2016-04-14 | 2016-06-29 | 河海大学 | 一种全流程管理分散式农村污水处理设施的远程监管方法 |
| CN107145611A (zh) * | 2017-06-15 | 2017-09-08 | 阿克苏地区环境保护局 | 重点工业污染源实时监控动态管理信息平台 |
| CN109945916A (zh) * | 2017-12-21 | 2019-06-28 | 上海远动科技有限公司 | 一种农村生活污水信息管理系统 |
| CN110290023A (zh) * | 2019-06-26 | 2019-09-27 | 四川金星清洁能源装备股份有限公司 | 一种场外设备远程维护监控平台系统及监控方法 |
| CN110322027A (zh) * | 2019-07-04 | 2019-10-11 | 南京大学 | 一种农村生活污水物联网管理平台 |
| CN110790368A (zh) * | 2019-11-22 | 2020-02-14 | 浙江清华长三角研究院 | 一种农村生活污水处理设施的区域监管方法 |
| CN111813012A (zh) * | 2020-05-26 | 2020-10-23 | 广西益江环保科技股份有限公司 | 一种农村污水智能运维管理系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113494939A (zh) * | 2021-04-15 | 2021-10-12 | 浙江工商大学 | 一种农村生活污水分散式监测方法 |
| CN113934796A (zh) * | 2021-10-29 | 2022-01-14 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 用于地下水应用服务系统的数据库子系统及数据查询方法 |
| CN115438895A (zh) * | 2021-10-29 | 2022-12-06 | 江苏启德水务有限公司 | 一种智慧农污运营大数据集成管理系统及管理方法 |
| CN114415608A (zh) * | 2021-12-21 | 2022-04-29 | 蚌埠中光电科技有限公司 | 玻璃生产线工程控制中心大屏显示系统 |
| CN116862417A (zh) * | 2023-06-28 | 2023-10-10 | 北京泷涛环境科技有限公司 | 一种农村污水处理设施的水质监管方法及系统 |
| CN116862417B (zh) * | 2023-06-28 | 2024-04-16 | 北京泷涛环境科技有限公司 | 一种污水处理设施的水质监管方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112565440B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112565440B (zh) | 一种农村污水处理设施的实时数据管理系统及方法 | |
| CN104820670B (zh) | 一种电力信息大数据的采集和存储方法 | |
| US20200081898A1 (en) | A Method for Constructing Electricity Transaction Index System Based on Big Data Technology | |
| CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
| CN104915456A (zh) | 一种基于数据分析系统下的海量用电数据挖掘方法 | |
| Guo et al. | Valuation of water resource green efficiency based on SBM–TOBIT panel model: Case study from Henan province, China | |
| CN107945092A (zh) | 用于审计领域的大数据综合管理方法及系统 | |
| CN114662909A (zh) | 农村土地经营权流转交易价格指数计算系统 | |
| CN112527857A (zh) | 基于智能电表的多角度线损可视化数据分析平台 | |
| Liu et al. | A three-stage hybrid model for space-time analysis of water resources carrying capacity: A case study of Jilin Province, China | |
| CN114860780A (zh) | 一种数据仓库、数据处理系统及计算机装置 | |
| CN109768878A (zh) | 一种基于大数据的网络工单计算方法及装置 | |
| CN116797108A (zh) | 一种考虑节水量的城市生活用水建模方法 | |
| CN109840844B (zh) | 一种基于fpga的金融大数据采集处理装置及系统 | |
| Jia et al. | Exploring the scaling relations between urban spatial form and infrastructure | |
| CN104111945A (zh) | 一种海量电能质量数据的存储管理方法及系统 | |
| Mazzeo et al. | Eco-Sustainable Energy Production in Healthcare: Trends and Challenges in Renewable Energy Systems | |
| CN105653523A (zh) | 能耗监管物联网络基础平台的系统构建方法 | |
| Chen et al. | Internet of things technology in ecological security assessment system of intelligent land | |
| Liu et al. | Classification of China's county administrative units based on carbon emissions from energy consumption and economic indicators | |
| CN112381415A (zh) | 一种电力经济指数体系构建和预测方法、系统及设备 | |
| CN112241428A (zh) | 一种数字化决策方法及系统 | |
| Zhou et al. | Design of big data compatible storage system based on cloud computing environment | |
| Hasyyati et al. | Digitalization: The Economic and Policy Potential of the Crucial Labor Market | |
| Wang et al. | Air quality data analysis and forecasting platform based on big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |