CN116564431B - 一种基于大数据处理的污染源在线分析系统及方法 - Google Patents
一种基于大数据处理的污染源在线分析系统及方法 Download PDFInfo
- Publication number
- CN116564431B CN116564431B CN202310650149.3A CN202310650149A CN116564431B CN 116564431 B CN116564431 B CN 116564431B CN 202310650149 A CN202310650149 A CN 202310650149A CN 116564431 B CN116564431 B CN 116564431B
- Authority
- CN
- China
- Prior art keywords
- data
- pollution
- rainfall
- pollution source
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims description 28
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 49
- 238000012544 monitoring process Methods 0.000 claims abstract description 37
- 238000013500 data storage Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 239000003344 environmental pollutant Substances 0.000 claims description 24
- 231100000719 pollutant Toxicity 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000010438 heat treatment Methods 0.000 claims description 22
- 230000007613 environmental effect Effects 0.000 claims description 18
- 239000000356 contaminant Substances 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 239000003245 coal Substances 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 5
- 238000012876 topography Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 238000011158 quantitative evaluation Methods 0.000 abstract description 3
- 238000012806 monitoring device Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108020001568 subdomains Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 150000007513 acids Chemical class 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002912 waste gas Substances 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/90—Programming languages; Computing architectures; Database systems; Data warehousing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Medical Informatics (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Development Economics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
Abstract
本发明公开了一种基于大数据处理的污染源在线分析系统及方法，属于污染监测领域，所述的污染源分析方法包括对大气污染进行分析，对水域污染进行分析。所述的在线分析系统架构包括数据采集、消息传输、数据存储、多个不同的可视化子系统等模块。本发明能够有效的对大气的污染源进行量化评估，并且对水质进行评价以及对水域的污染源进行量化评估。
Description
技术领域
本发明属于污染监测领域，更具体的说涉及一种基于大数据处理的污染源在线分析系统及方法。
背景技术
随着人类经济活动和生产的迅速发展，在大量消耗能源的同时，同时也将大量的废气、烟尘物质排入大气，严重影响了大气环境的质量，特别是在人口稠密的城市和工业区域。
现在的污染源监测分析系统缺乏针对性，很多的污染源监测系统只是对某一部分污染源进行监测，例如单独对大气污染进行监测，或者是对水域污染进行监测。
而随着计算机技术以及大数据技术的发展，对多种污染进行同时监测，并且建立一个基于大数据的污染源监测平台，能够有效的综合污染监测水平，并且提高污染监测效率的。
发明内容
本发明能够有效的对大气的污染源进行量化评估，并且对水质进行评价以及对水域的污染源进行量化评估，在结合大数据监测平台，能够有效的提高污染监测效率。通过改进后的各类污染源分析算法，能够提高污染源的分析准确度，相较于现有的污染源分析方法，本发明中提供的方法，能够根据准确的对不同类型的污染源进行分析。
为了实现上述目的，本发明是采用以下技术方案实现的：所述的污染源分析方法包括
对大气污染进行分析，选择PM2.5、PM10、SO2、NO2与CO这5种大气污染物，作为目标污染物；
对水域污染进行分析，采用单因子评价法分析监测数据评价主要污染物种类、采用内梅罗综合评价法处理监测数据对水域的污染程度进行评价，使用污染普查、环境统计数据采用输出系数模型对各区域进行污染源分析。
进一步地，所述的对大气污染进行分析；采用离散弗雷歇距离对各个目标污染物的供暖期与非供暖期的迁移变化曲线，进行二维路径的空间相似性描述；
采用24小时的供暖期均值差分累积，来计算冬季燃煤对各类污染物的贡献率，计算公式如下：
式中：i表示污染物种类，j表示小时，表示污染物冬季供暖期小时浓度，/>表示污染物非供暖期小时浓度，/>表示冬季燃煤对某种污染物贡献率。
进一步地，所述的采用单因子评价法分析监测数据评价主要污染物种类，该方法将各种具体水质参数的浓度数值和评价分析指标进行比较，将单项评估最差因子的水体类型为水样的水质类型。计算公式如下：
为单个水质质量参数污染指数，/>为污染物的实际测量污染物浓度；
当时，表示当前样品水体无超标因子，可评价为水体无污染影响；
当时，表示当前样品水体评价为已经受到污染，/>与污染程度成正比关系。
进一步地，所述的采用内梅罗综合评价法处理监测数据对水域的污染程度进行评价，计算公式如下：
其中，表示各样品中单项水质参数的评价值/>的平均值，/>为各样品中单项水质参数评分制/>的最大值，n是水质参数项数。
进一步地，所述的输出系数模型，为改进后的输出风险模型计算式如下：
式中，X降雨修正数，Y地形修正数，其他同输出系数模型公式。
再一方面，一种基于大数据处理的污染源在线分析系统，所述的系统适用于所述的方法，所述的系统包括系统架构包括数据采集、消息传输、数据存储、多个不同的可视化子系统模块；
所述的数据采集模块，用于将监控设备监控所得的环境数据进行采集并最终存储到本系统的数据库中；
所述的消息传输模块，用于在接收到监控设备以及其他数据源的数据之后，将其持久化到数据库中，以供后期的使用；
所述的数据存储模块，用于将数据进行持久化存储。需要考虑海量数据存储的情况。
进一步地，所述的数据存储模块中采用MySQL与MongoDB混合存储；不同的子系统根据是否需要使用事务操作以及是否需要支持海量数据存储，使用不同的数据库；
进一步地，所述的消息传输模块使用Kafka服务，选择Kafka作为系统的消息队列。
进一步地，所述的数据采集模块采用Netty框架，Netty框架对于单台服务器能够建立一个能够高效建立长连接的方式。
进一步地，所述的数据采集模块中的数据传输格式使用GoogleProtocolBuffer简称GPB，作为Netty框架中监控设备和服务器的通讯格式。
本发明有益效果：
本发明能够有效的对大气的污染源进行量化评估，并且对水质进行评价以及对水域的污染源进行量化评估，在结合大数据监测平台，能够有效的提高污染监测效率。
通过改进后的各类污染源分析算法，能够提高污染源的分析准确度，相较于现有的污染源分析方法，本发明中提供的方法，能够根据准确的对不同类型的污染源进行分析。
附图说明
图1为本发明方法流程图；
图2为本发明系统框图；
图3为本发明系统数据采集；
图4为本发明系统消息传输；
图5为本发明系统数据存储图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是，本发明可以以许多不同的形式来实现，并不限于本发明所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一
如图1所示，构建一种基于大数据处理的污染源在线分析方法。
所述的污染源分析方法包括
对大气污染进行分析，（1）供暖期与非供暖期的PM2.5、PM10、SO2、NO2和CO这5种主要目标污染物的24小时均值浓度分布和迁移变化，具有较高的相似性，满足背景差分的基本前提条件。（2）冬季供暖期和夏季非供暖期之间存在的最大污染源差异是供暖热力生产燃煤污染源的这一先验知识，即可将冬季供暖期和非供暖期的PM2.5、PM10、SO2、NO2和CO这5种主要目标污染物的24小时均值浓度分布和迁移变化之间的浓度差异，视为以非供暖期的分布特征为背景由于冬季供暖燃煤污染排放引发的异常变化。
所述的对大气污染进行分析；采用离散弗雷歇距离对各个目标污染物的供暖期与非供暖期的迁移变化曲线，进行二维路径的空间相似性描述；
离散弗雷歇距离的基本原理是：计算两条曲线之间各个点的相对距离，将两条曲线上的各个点按照距离以及曲线的趋势进行配对，最后根据这些配对的距离，采用使用距离集合中的最大值作为最终距离，来描述两条曲线的相似性。离散弗雷歇距离的特点在于以最小化采样方式获得离散点的最大距离，具体定义如下：
其中，和/>分别是曲线A和B的采样点，/>为最大距离。
采用24小时的供暖期均值差分累积，来计算冬季燃煤对各类污染物的贡献率，计算公式（1）如下：
（1）
式中：i表示污染物种类，j表示小时，表示污染物冬季供暖期小时浓度，/>表示污染物非供暖期小时浓度，/>表示冬季燃煤对某种污染物贡献率。
对水域污染进行分析，采用单因子评价法分析监测数据评价主要污染物种类、采用内梅罗综合评价法处理监测数据对水域的污染程度进行评价，使用污染普查、环境统计数据采用输出系数模型对各区域进行污染源分析。
所述的采用单因子评价法分析监测数据评价主要污染物种类，该方法将各种具体水质参数的浓度数值和评价分析指标进行比较，将单项评估最差因子的水体类型为水样的水质类型。计算公式如下：
（2）
为单个水质质量参数污染指数，/>为污染物的实际测量污染物浓度；
当时，表示当前样品水体无超标因子，可评价为水体无污染影响；
当时，表示当前样品水体评价为已经受到污染，/>与污染程度成正比关系。
所述的采用内梅罗综合评价法处理监测数据对水域的污染程度进行评价，内梅罗指数法是一个兼顾极值或突出最大值的计权型多因子环境质量指标法，能全面反应环境中各个污染物及其对环境的综合影响，能突出反映水质指数中的最高含量指标及其对环境的危害，从而可得到比较综合的环境评价结论。计算公式如下：
（3）
（4）
其中，表示各样品中单项水质参数的评价值/>的平均值，/>为各样品中单项水质参数评分制/>的最大值，n是水质参数项数。量化指标选取的阙值和临界值均为国际标准。
传统的输出系数模型是经验型模型，所需参数少，操作简单，避开复杂的物理发生过程，且具有一定精度，适合在缺资料流域面源负荷评估中广泛应用。但传统的输出系数模型中输出系数只反映了某流域的一般水平，并未体现某一具体年份降雨量大小对于输出负荷的影响以及地表起伏状态变化对污染物迁移过程的影响。因此，针对特定区域的降雨、地形等环境因素存在差异的问题，增加降雨及地形2个修正系数对模型进行修正。
为改进后的输出风险模型计算式如下：
（5）
式中，X降雨修正数，Y地形修正数，其他同输出系数模型公式。
降雨修正数如下公式（6）所示：
（6）
其中，通过相关分析，建立流域年降雨量p和入河量T的回归方程，计算如式：
（7）
降雨时间差异数X1计算如式(8)。降雨空间差异数X2计算如式
（8）
（9）
式中，为流域多年平均降雨量，p为流域当年降雨量，C为子单元多年平均降雨量，/>为子单元当年的降雨量。子单元分别以流域范围内涉及的7个乡镇和2个子流域进行划分，其中乡镇、子流域数据以村为单位进行统计。
坡度对于污染负荷的影响。坡度对于污染负荷的影响主要通过对于径流的影响反映，大量研究证实，坡度与地面径流量呈正相关关系，地表径流量可以表示为坡度的幂函数与常量的乘积。如（10）
（10）
式中，Q为径流量，s为坡度，a、q为常量。
地形修正数如式
（11）
式中，s为每个子单元的平均坡度；为总流域的平均坡度；q为常量，查阅相关文献可得q为0.6104。现实生活中由于单纯降雨产生的污染相对于其他污染较小，故在模型模拟中经常不计算在内。
实施例二
如图2所示，构建一种基于大数据处理的污染源在线分析系统，所述的系统适用于所述的方法，所述的系统包括系统架构包括数据采集、消息传输、数据存储、多个不同的可视化子系统模块；
如图3所述的数据采集模块，用于将监控设备监控所得的环境数据进行采集并最终存储到本系统的数据库中；监控设备部署在各监控点上，通过传感器获取包括PM2.5、PM10、噪声、风速风向等在内的当地环境信息。在设计该模块的时候，需要考虑到大量监控设备并发与后台交互的情况。
在本系统之中，数据采集进程用于接收设备或者其他数据源传来的数据，并将其发布到消息队列中。使用多个而非单个数据采集进程的作用有以下几点：
（1）负载均衡。当同一个服务器上连接的环境质量监控设备数量太多的话，会造成服务器响应变慢甚至崩溃。因此，我们需要将环境质量监控设备连接到不同的服务器上面去。
（2）由于不同地区的需求不一样，设备型号不一样，设备上的软件版本不一样，设备传输协议不一样等等原因，导致了需要部署多个不同的数据采集进程，来接收不同形式不同内容的环境质量数据。
（3）本系统除了接收环境监控设备的数据，还会接收来自于其他数据源的数据。因此需要对应的数据采集进程来接收不同来源的数据。
在本系统之中，最重要的数据来源之一就是环境监控设备的数据。环境监控设备的部署在各个诸如建筑工地、工矿企业、道路等可能产生环境污染的污染源。设备通过各种传感设备获取到诸如PM2.5、PM10、噪声、温度、湿度、风速、风向、气压等环境质量数据之后，将实时数据传输到服务器，由服务器进行后续处理。而服务器又需要向环境监控设备发送指令，让其进行云台转动、拍照、设置阈值等操作。因此环境监控设备和服务器并不是单纯的客户端-服务器模式，它们需要双向的传输数据。我们在客户端和服务端之间建立了长连接，从而达到互相传输数据、发送指令的目的。
本系统需要应对大规模监控设备并发长连接的挑战。之前已经提到了可以用多台服务器作为多个消息发布者来分流，然而对于单台服务器，寻找一个能够高效建立长连接的方式仍旧很有必要。Netty正是非常适合本系统开发的框架。Netty框架的NIO模型和零拷贝等机制，都可以使得服务端的性能大大提升。
所述的数据采集模块中的数据传输格式使用GoogleProtocolBuffer简称GPB，作为Netty框架中监控设备和服务器的通讯格式。是一种非常高效轻便的数据格式。它的优点是相比于XML和JSON，GoogleProtocolBuffer非常快，通过预先定义好的proto文件来进行定义数据的协议，GoogleProtocolBuffer可以将消息变得非常小。本系统使用GoogleProtocolBuffer作为Netty框架中监控设备和服务器的通讯格式，充分利用了其快捷高效的特性，从而减轻了服务器在网络、内存、CPU等方面的压力。
如图4所示，所述的消息传输模块，用于在接收到监控设备以及其他数据源的数据之后，将其持久化到数据库中，以供后期的使用；在设计该模块的时候，需要考虑数据传输的吞吐量大以及复杂的多子系统情况。
所述的消息传输模块使用Kafka服务，选择Kafka作为系统的消息队列。随着部署的设备量越来越大，数据来源越来越多，消息队列能否处理高吞吐量的消息传输、能否做到灵活的水平扩展、能否保证高可靠性，会对本系统是否能够有效工作产生重要影响。
（1）高吞吐量
本系统对吞吐量的要求非常高，尤其是当数据来源多的时候。因此这方面的需求将会变得尤为重要。如果消息队列的服务器无法处理如此高的吞吐量，就很有可能造成响应时间过长，甚至服务器的崩溃。
（2）水平扩展
消息队列如果能够做到动态地添加服务器来增加消息队列的负载能力，也就是水平扩展，那么就能保证本系统在接收环境质量数据的灵活调整能力了。
（3）高可用性
对于一个普通的服务器来说，宕机是一个不容忽视的情况。那么本系统的消息队列必须能够保证高可靠性，从而保证了某些个服务器的崩溃不会造成整个系统的崩溃。
选择Kafka作为本系统的消息队列，正是因为Kafka能够满足本系统对消息队列的要求。Kafka的顺序读写、SendFile系统调用等机制都为高吞吐量打下了基础，数据分片可以使得水平扩展变得非常灵活，而其数据分片的副本管理机制可以保障系统的高可用性。
所述的数据存储模块，用于将数据进行持久化存储。需要考虑海量数据存储的情况。不同的子系统根据是否需要使用事务操作以及是否需要支持海量数据存储，使用不同的数据库。在选择存储方式的时候，需要考虑到以下几方面的挑战：
（1）海量数据的存储。本系统拥有着海量的环境数据，这些数据需要能够持久化。
（2）高效的读写性能需求。在本系统中，数据的读写性能不能由于海量数据而产生大幅度的下降。
（3）多样的一致性需求。在本系统不同的子系统中，有些系统有着强一致性的需求，而有些系统并不需要严格的强一致性。
（4）多变的数据种类。本系统是一个具有发展性的系统，监控设备往往监控新的数据种类，比如由于监控设备具有了监控大气压强的能力，本系统的后台需要能够灵活地应对变化，并将大气压强数据存入数据库。
所述的数据存储模块中采用MySQL与MongoDB混合存储；某些子系统需要事务，也就是ACID的支持，而这正是关系型数据库的强项，而非关系型数据库则很难保证。例如子系统中有一个运维系统，提供对各污染源维护管理的增删改查功能。该系统本身并不会存储海量的环境质量数据，但是需要处理一些事务的操作。此时，可以使用MySQL作为该子系统的数据库。
如图5所示，这是本系统最终的数据存储的架构图。不同的子系统根据是否需要使用事务操作以及是否需要支持海量数据存储，使用了不同的数据库，有的使用了MongoDB集群作为数据存储，有的使用了MySQL数据库作为数据存储，也有的同时使用了MongoDB和MySQL作为数据存储。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (6)
1.一种基于大数据处理的污染源在线分析方法，其特征在于：所述的污染源分析方法包括
对大气污染进行分析，选择PM2.5、PM10、SO2、NO2与CO这5种大气污染物，作为目标污染物；
对水域污染进行分析，采用单因子评价法分析监测数据评价主要污染物种类、采用内梅罗综合评价法处理监测数据对水域的污染程度进行评价，使用污染普查、环境统计数据采用改进的输出系数模型对各区域进行污染源分析;
所述的对大气污染进行分析；采用离散弗雷歇距离对各个目标污染物的迁移变化曲线，进行二维路径的空间相似性描述；
采用24小时的供暖期均值差分累积，来计算冬季燃煤对各类污染物的贡献率，计算公式如下：
；
式中：i表示污染物种类，j表示小时，表示污染物冬季供暖期小时浓度，/>表示污染物非供暖期小时浓度，/>表示冬季燃煤对某种污染物贡献率；
所述的采用单因子评价法分析监测数据评价主要污染物种类，该方法将各种具体水质参数的浓度数值和评价分析指标进行比较，将单项评估最差因子的水体类型为水样的水质类型，计算公式如下：
；
为单个水质质量参数污染指数，/>为污染物的实际测量污染物浓度；
当时，表示当前样品水体无超标因子，可评价为水体无污染影响；
当时，表示当前样品水体评价为已经受到污染，/>与污染程度成正比关系；
所述的采用内梅罗综合评价法处理监测数据对水域的污染程度进行评价，计算公式如下：
；
；
其中，表示各样品中单项水质参数的评价值/>的平均值，/>为各样品中单项水质参数评分制/>的最大值，n是水质参数项数；
所述的输出系数模型，为改进后的输出风险模型计算式如下：
；
上式中，X降雨修正数，Y地形修正数，其他同输出系数模型公式；
降雨修正数如下公式所示：
；
其中，通过相关分析，建立流域年降雨量p和入河量T的回归方程，计算如式：
；
降雨时间差异数X1计算以及降雨空间差异数X2计算分别如下：
；
；
式中，为流域多年平均降雨量，p为流域当年降雨量，C为子单元多年平均降雨量，/>为子单元当年的降雨量。
2.一种基于大数据处理的污染源在线分析系统，所述的系统适用于如权利要求1所述的方法，其特征在于：所述的系统包括系统架构包括数据采集、消息传输、数据存储、多个不同的可视化子系统模块；
所述的数据采集模块，用于将监控设备监控所得的环境数据进行采集并最终存储到本系统的数据库中；
所述的消息传输模块，用于在接收到监控设备以及其他数据源的数据之后，将其持久化到数据库中，以供后期的使用；
所述的数据存储模块，用于将数据进行持久化存储，需要考虑海量数据存储的情况。
3.根据权利要求2所述的一种基于大数据处理的污染源在线分析系统，其特征在于：所述的数据存储模块中采用MySQL与MongoDB混合存储；不同的子系统根据是否需要使用事务操作以及是否需要支持海量数据存储，使用不同的数据库。
4.根据权利要求2所述的一种基于大数据处理的污染源在线分析系统，其特征在于：所述的消息传输模块使用Kafka服务，选择Kafka作为系统的消息队列。
5.根据权利要求2所述的一种基于大数据处理的污染源在线分析系统，其特征在于：所述的数据采集模块采用Netty框架，Netty框架对于单台服务器能够建立一个能够高效建立长连接的方式。
6.根据权利要求2所述的一种基于大数据处理的污染源在线分析系统，其特征在于：所述的数据采集模块中的数据传输格式使用GoogleProtocolBuffer简称GPB，作为Netty框架中监控设备和服务器的通讯格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310650149.3A CN116564431B (zh) | 2023-06-02 | 2023-06-02 | 一种基于大数据处理的污染源在线分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310650149.3A CN116564431B (zh) | 2023-06-02 | 2023-06-02 | 一种基于大数据处理的污染源在线分析系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116564431A CN116564431A (zh) | 2023-08-08 |
| CN116564431B true CN116564431B (zh) | 2024-01-09 |
Family
ID=87503526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310650149.3A Active CN116564431B (zh) | 2023-06-02 | 2023-06-02 | 一种基于大数据处理的污染源在线分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116564431B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117034041B (zh) * | 2023-10-08 | 2024-01-26 | 山东智云信息科技有限公司 | 一种基于大数据的企业污染等级评估系统及处理方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100799602B1 (ko) * | 2007-03-19 | 2008-02-01 | 주식회사 코아 에프앤티 | 통합 환경오염분석방법 |
| CN108120823A (zh) * | 2018-01-10 | 2018-06-05 | 伊犁师范学院 | 一种土壤重金属含量特征及其潜在风险评价方法及系统 |
| CN108195727A (zh) * | 2017-11-16 | 2018-06-22 | 苏州科技大学 | 基于pca模型的大气细颗粒物排放来源定位方法 |
| CN108198118A (zh) * | 2017-12-29 | 2018-06-22 | 江苏汇环环保科技有限公司 | 一种基于大数据架构的生态环境监测网格化系统 |
| US10379098B2 (en) * | 2016-05-13 | 2019-08-13 | Chinese Research Academy Of Environmental Sciences | Rating evaluation method for groundwater pollution source intensity |
| CN107609742B (zh) * | 2017-08-14 | 2020-10-30 | 环境保护部华南环境科学研究所 | 一种水环境预警综合管理平台 |
| CN112085241A (zh) * | 2019-06-12 | 2020-12-15 | 江苏汇环环保科技有限公司 | 一种基于机器学习的环境大数据分析和决策平台 |
| CN108664647B (zh) * | 2018-05-17 | 2021-07-06 | 生态环境部环境规划院 | 一种集成水环境模型的流域精细化管理系统 |
| CN110085281B (zh) * | 2019-04-26 | 2021-07-20 | 成都之维安科技股份有限公司 | 一种基于特征污染因子源解析的环境污染溯源系统及方法 |
| CN113919617A (zh) * | 2021-07-27 | 2022-01-11 | 河海大学 | 一种基于数学模型的入湖河流污染影响程度评估方法 |
| CN115188434A (zh) * | 2022-05-16 | 2022-10-14 | 浙江农林大学 | 一种流域尺度水体非点源污染分类分区识别方法 |
| CN115295086A (zh) * | 2022-08-04 | 2022-11-04 | 厦门新能汇聚智能科技有限公司 | 空气质量预测模型的建模方法、装置、设备和存储介质 |
| CN115965496A (zh) * | 2022-11-29 | 2023-04-14 | 中国环境科学研究院 | 流域水环境智慧化管理方法 |
-
2023
- 2023-06-02 CN CN202310650149.3A patent/CN116564431B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100799602B1 (ko) * | 2007-03-19 | 2008-02-01 | 주식회사 코아 에프앤티 | 통합 환경오염분석방법 |
| US10379098B2 (en) * | 2016-05-13 | 2019-08-13 | Chinese Research Academy Of Environmental Sciences | Rating evaluation method for groundwater pollution source intensity |
| CN107609742B (zh) * | 2017-08-14 | 2020-10-30 | 环境保护部华南环境科学研究所 | 一种水环境预警综合管理平台 |
| CN108195727A (zh) * | 2017-11-16 | 2018-06-22 | 苏州科技大学 | 基于pca模型的大气细颗粒物排放来源定位方法 |
| CN108198118A (zh) * | 2017-12-29 | 2018-06-22 | 江苏汇环环保科技有限公司 | 一种基于大数据架构的生态环境监测网格化系统 |
| CN108120823A (zh) * | 2018-01-10 | 2018-06-05 | 伊犁师范学院 | 一种土壤重金属含量特征及其潜在风险评价方法及系统 |
| CN108664647B (zh) * | 2018-05-17 | 2021-07-06 | 生态环境部环境规划院 | 一种集成水环境模型的流域精细化管理系统 |
| CN110085281B (zh) * | 2019-04-26 | 2021-07-20 | 成都之维安科技股份有限公司 | 一种基于特征污染因子源解析的环境污染溯源系统及方法 |
| CN112085241A (zh) * | 2019-06-12 | 2020-12-15 | 江苏汇环环保科技有限公司 | 一种基于机器学习的环境大数据分析和决策平台 |
| CN113919617A (zh) * | 2021-07-27 | 2022-01-11 | 河海大学 | 一种基于数学模型的入湖河流污染影响程度评估方法 |
| CN115188434A (zh) * | 2022-05-16 | 2022-10-14 | 浙江农林大学 | 一种流域尺度水体非点源污染分类分区识别方法 |
| CN115295086A (zh) * | 2022-08-04 | 2022-11-04 | 厦门新能汇聚智能科技有限公司 | 空气质量预测模型的建模方法、装置、设备和存储介质 |
| CN115965496A (zh) * | 2022-11-29 | 2023-04-14 | 中国环境科学研究院 | 流域水环境智慧化管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 西宁市主要空气污染物分布可视化研究;王秀英;黄志凤;许文奕;;青海气象(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116564431A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116564431B (zh) | 一种基于大数据处理的污染源在线分析系统及方法 | |
| CN104950076B (zh) | 移动互联网平台空气质量监测方法和系统 | |
| CN108595301B (zh) | 一种基于机器学习的服务器能耗预测方法和系统 | |
| CN108446807B (zh) | 基于重污染天气预警的大气污染物排放总量控制方法 | |
| Liu et al. | $ alc^{2} $: When active learning meets compressive crowdsensing for urban air pollution monitoring | |
| CN113869630B (zh) | 一种基于大数据的煤质检测信息管理系统 | |
| CN111898691A (zh) | 一种河流突发水污染预警溯源方法、系统、终端及介质 | |
| CN106932543A (zh) | 火电厂环境烟气监测预警系统 | |
| CN106327055A (zh) | 一种基于大数据技术的电力费控方法及系统 | |
| NO329798B1 (no) | System og fremgangsmate for empirisk ensemblebasert virtuell sensing av svevestovpartikler | |
| CN110610209A (zh) | 一种基于数据挖掘的空气质量预测方法及系统 | |
| US8624732B2 (en) | Providing access to quality indicators for natural resources | |
| US20210060474A1 (en) | Method for predicting the service life of a filter | |
| CN116704716B (zh) | 实验室恒温恒湿异常报警方法、装置及计算机设备 | |
| CN117372201A (zh) | 一种应用于水库的智慧水利数字孪生模型快速构建方法 | |
| CN117189309A (zh) | 一种智算中心柴油发电机组的噪声降低方法及装置 | |
| CN115511230B (zh) | 一种电能替代潜力分析预测方法 | |
| CN114814092A (zh) | 基于bp神经网络的ip指标测量方法 | |
| CN112856478A (zh) | 燃气锅炉的空燃比调节方法、装置、设备和介质 | |
| CN114235653A (zh) | 基于端云协同的大气颗粒污染物时空预测云平台 | |
| Tharani | FEMTOSAT-Based Air Quality Monitoring: Leveraging Satellite Data and LoRa Communication for Improved AQI Predictions | |
| CN114764539A (zh) | 燃气轮机的排烟含氧量确定方法、装置、设备和介质 | |
| Libuschewski et al. | Multi-objective computation offloading for mobile biosensors via LTE | |
| RU2799893C1 (ru) | Система прогнозирования пространственного распределения вредных веществ в атмосферном воздухе | |
| Choi et al. | A study on the development of a light scattering particulate matter sensor and monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |