CN117390464A - 基于kafka技术的分布式大气污染监测方法及系统 - Google Patents
基于kafka技术的分布式大气污染监测方法及系统 Download PDFInfo
- Publication number
- CN117390464A CN117390464A CN202311685986.6A CN202311685986A CN117390464A CN 117390464 A CN117390464 A CN 117390464A CN 202311685986 A CN202311685986 A CN 202311685986A CN 117390464 A CN117390464 A CN 117390464A
- Authority
- CN
- China
- Prior art keywords
- sub
- pollution
- monitoring
- block
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 282
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005516 engineering process Methods 0.000 title claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 154
- 238000009792 diffusion process Methods 0.000 claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 43
- 238000013500 data storage Methods 0.000 claims description 4
- 238000011109 contamination Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003915 air pollution Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- KRHYYFGTRYWZRS-UHFFFAOYSA-M Fluoride anion Chemical compound [F-] KRHYYFGTRYWZRS-UHFFFAOYSA-M 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 239000003546 flue gas Substances 0.000 description 1
- 239000003517 fume Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
- G01N33/0068—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display using a computer specifically programmed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Food Science & Technology (AREA)
- Combustion & Propulsion (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了基于KAFKA技术的分布式大气污染监测方法及系统，涉及污染监测技术领域，该方法包括：设置用于污染监测的多个站点，获取分布式监测区块；利用分布式消息平台接收分布式监测区块中的多个污染监测数据，以时序消息队列将多个污染监测数据存储至对应的子区块中；确定异常污染数据以及对应的第一异常子区块；按照时序顺序输出标识子区块；根据第一异常子区块和标识子区块进行扩散度识别，得到污染扩散度，若污染扩散度大于预设污染扩散度，生成预警提醒信息。本发明解决了现有技术中大气污染监测数据分析时序性差，监测结果可靠性低的技术问题，达到了有序高效的进行监测分析，提升监测质量的技术效果。
Description
技术领域
本发明涉及大气污染监测技术领域，具体涉及基于KAFKA技术的分布式大气污染监测方法及系统。
背景技术
随着环保问题受到的关注越来越多，对于工厂排放废气对大气的污染情况，也成为人们关注的焦点。目前，对工厂产生的大气污染监测时，监测数据的时间顺序对监测的影响分析较少，且监测结果滞后，无法提供可靠的污染监测结果。现有技术中大气污染监测数据分析时序性差，监测结果可靠性低的技术问题。
发明内容
本申请提供了基于KAFKA技术的分布式大气污染监测方法及系统，用于针对解决现有技术中大气污染监测数据分析时序性差，监测结果可靠性低的技术问题。
鉴于上述问题，本申请提供了基于KAFKA技术的分布式大气污染监测方法及系统。
本申请的第一个方面，提供了基于KAFKA技术的分布式大气污染监测方法，所述方法包括：
设置用于污染监测的多个站点，获取分布式监测区块，所述分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点监测多个指标；
利用分布式消息平台接收所述分布式监测区块中的多个污染监测数据，以时序消息队列将所述多个污染监测数据存储至对应的子区块中，其中，所述分布式消息平台是基于KAFKA技术构建的高吞吐量的消息平台，用于使所述分布式监测区块中的每个子区块进行并发处理；
通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块；
根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块；
根据所述第一异常子区块和所述标识子区块进行扩散度识别，得到污染扩散度，若所述污染扩散度大于预设污染扩散度，生成预警提醒信息。
本申请的第二个方面，提供了基于KAFKA技术的分布式大气污染监测系统，所述系统包括：
监测区块获取模块，用于设置用于污染监测的多个站点，获取分布式监测区块，所述分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点监测多个指标；
数据存储模块，用于利用分布式消息平台接收所述分布式监测区块中的多个污染监测数据，以时序消息队列将所述多个污染监测数据存储至对应的子区块中，其中，所述分布式消息平台是基于KAFKA技术构建的高吞吐量的消息平台，用于使所述分布式监测区块中的每个子区块进行并发处理；
第一异常子区块确定模块，用于通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块；
标识子区块输出模块，用于根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块；
预警提醒信息生成模块，用于根据所述第一异常子区块和所述标识子区块进行扩散度识别，得到污染扩散度，若所述污染扩散度大于预设污染扩散度，生成预警提醒信息。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请通过设置用于污染监测的多个站点，获取分布式监测区块，分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点监测多个指标，然后利用分布式消息平台接收分布式监测区块中的多个污染监测数据，以时序消息队列将多个污染监测数据存储至对应的子区块中，进而通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块，根据时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块，然后根据第一异常子区块和标识子区块进行扩散度识别，得到污染扩散度，若污染扩散度大于预设污染扩散度，生成预警提醒信息。达到了有序高效的进行监测分析，多方面进行监测验证，提升监测质量的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于KAFKA技术的分布式大气污染监测方法流程示意图；
图2为本申请实施例提供的基于KAFKA技术的分布式大气污染监测方法中将中心子区块标识为第一异常子区块的流程示意图；
图3为本申请实施例提供的基于KAFKA技术的分布式大气污染监测方法中输出当前时序节点下的标识子区块的流程示意图；
图4为本申请实施例提供的基于KAFKA技术的分布式大气污染监测系统结构示意图。
附图标记说明：监测区块获取模块11，数据存储模块12，第一异常子区块确定模块13，标识子区块输出模块14，预警提醒信息生成模块15。
具体实施方式
本申请通过提供了基于KAFKA技术的分布式大气污染监测方法及系统，用于针对解决现有技术中大气污染监测数据分析时序性差，监测结果可靠性低的技术问题。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
实施例一
如图1所示，本申请提供了基于KAFKA技术的分布式大气污染监测方法，其中，所述方法包括：
步骤S100：设置用于污染监测的多个站点，获取分布式监测区块，所述分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点监测多个指标；
进一步的，设置用于污染监测的多个站点，本申请实施例步骤S100还包括：
以目标监测工厂的所处位置作为中心位置，获取污染监测区域范围；
根据所述污染监测区域范围进行分析，确定多个监测站点；
其中，所述多个监测站点呈扩散型分布，包括中心监测站点以及多层边缘监测站点，所述中心监测站点设置在所述目标监测工厂处，所述多层边缘监测站点以所述中心监测站点为中心呈扩散型分布设置。
进一步的，所述多层边缘监测站点相邻两层边缘监测站点具有第一距离，每一层边缘监测站点的相邻站点之间具有第二距离，其中，所述第二距离大于等于所述第一距离；
以及设置在所述多层边缘监测站点中每一层边缘监测站点的站点数量相同。
在本申请的实施例中，在需要进行大气污染监测的目标监测工厂的污染监测区域范围内设置多个站点，其中，所述多个站点用于对设置位置处的大气污染情况进行监测，可选的，在站点内设置有多个污染监测设备，包括烟尘烟气测试仪、氟化物采样枪、油烟采样枪等设备。基于多个站点获得目标监测工厂的污染监测数据进行存储的所述分布式监测区块，所述分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点通过站内设置的多个污染监测设备监测多个指标。多个指标用于对大气污染情况进行描述，包括O2、SO2、NO、NO2、CO、CO2、H2S2等污染物含量，大气氟化物含量，大气油烟含量等。通过获取所述分布式监测区块，从而可以对多个站点的监测数据进行有序处理。达到了提高大气污染监测效率，提升监测数据时效性的技术效果。
在一个可能的实施例中，所述目标监测工厂为需要进行大气污染监测的任意一个工厂。通过以所述目标监测工厂的所处位置为中心位置，根据所述目标监测工厂的规模大小和生产类型，由本领域技术人员设定所述污染监测区域范围。其中，所述污染监测区域范围为目标监测工厂生产过程中对大气造成影响的范围。进而，根据所述污染监测区域范围进行分析，确定进行大气监测的多个监测站点。其中，所述多个监测站点呈扩散型分布，包括中心监测站点以及多层边缘监测站点。也就是说，将所述目标监测工厂作为监测中心，在此处设置中心监测站点。所述中心监测站点用于对目标监测工厂处的大气污染情况进行监测。进而，以所述中心监测站点为中心，呈扩散型分布设置多层边缘监测站点，每一层边缘监测站点内具有多个边缘监测站点，且设置在所述多层边缘监测站点中每一层边缘监测站点的站点数量相同。为了保证监测数据能够可靠反映目标监测工厂的污染监测区域范围内不同位置的大气污染情况，需要使监测站点均匀分布，因此，所述多层边缘监测站点相邻两层边缘监测站点具有第一距离，每一层边缘站点的相邻站点之间具有第二距离，且所述第二距离大于等于所述第一距离，从而在保证监测全面的情况下，避免重复监测。可选的，所述第一距离和第二距离由本领域技术人员根据所述污染监测区域的面积进行设置。通过所述分布式监测区块为有效全面的监测目标监测工厂的污染监测区域的大气污染情况做铺垫。
步骤S200：利用分布式消息平台接收所述分布式监测区块中的多个污染监测数据，以时序消息队列将所述多个污染监测数据存储至对应的子区块中，其中，所述分布式消息平台是基于KAFKA技术构建的高吞吐量的消息平台，用于使所述分布式监测区块中的每个子区块进行并发处理；
在一个实施例中，所述分布式消息平台用于接收并以时序消息队列的方式将分布式监测区块中的多个污染监测数据存储至对应的子区块中。其中，所述分布式消息平台是基于KAFKA技术构建的高吞吐量的消息平台，它可以使所述分布式监测区块中的每个子区块并发处理以及以时序消息队列的方式存储对应的多个污染监测数据。由于KAFKA是一个可以支持多分区的系统，因此基于KAFKA技术构建的分布式消息平台可以将输入的多个污染监测数据传输至不同的子区块中，从而避免数据存在延时，使不同监测站点的数据可以有序的进行存储。由此，建立起监测站点和确定异常污染数据之间的桥梁，将数据生产方和数据分析方连接起来。优选的，可以利用KAFKA的多个分区分别设立多个子区块，确定用于污染监测的多个站点，根据站点数量确定调用的子区块数量，并构建子区块与站点之间的一一映射关系。当多个站点进行大气监测后，获得多个指标的多个污染监测数据，根据一一映射关系，将采集到的多个污染监测数据分别存储至对应的多个子区块中，完成数据传递、存储的目标。
所述时序消息队列是对每个污染监测数据按照时间先后顺序，以先进先出的方式进行处理。由于时序消息队列无需进行复杂的训练，从而可以有效提高分布式消息平台的消息吞吐量，达到了提高污染监测数据处理效率的技术效果。
步骤S300：通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块；
进一步的，如图2所示，通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块，本申请实施例步骤S300还包括：
获取中心监测站点对应的中心子区块；
根据所述中心子区块中的污染监测数据进行指标变化率分析，获取第一动态变化率；
当所述第一动态变化率大于预设动态变化率，确定异常污染数据，其中，所述异常污染数据包括多个特征指标，所述特征指标为第一动态变化率大于预设动态变化率的指标；
将所述中心子区块标识为第一异常子区块。
在一个可能的实施例中，所述当前时序为当前进行监测的时间序列。通过对当前时序下中心子区块的污染监测数据进行异常分析，确定发生数据异常的异常污染数据。当确定异常污染数据后，将所述中心子区块确定为第一异常子区块。由于目标监测工厂为大气污染源头，因此，需要对当前时序下中心子区块的污染监测数据中的异常波动情况进行分析，从而确定目标监测工厂是否造成大气污染，为后续进行污染监测区域范围内的大气污染分析指明方向。
优选的，调取分布式监测区块中所述中心监测站点对应的中心子区块，然后提取当前时序下中心子区块的污染监测数据。通过将当前时序下的污染监测数据的多个指标分别与当前时序之前中心子区块的污染监测数据的多个指标进行差值计算，并将计算结果的绝对值比上当前时序之前中心子区块的污染监测数据的多个指标，从而获得对应指标的第一动态变化率。其中，第一动态变化率反映了指标的变化波动情况。所述预设动态变化率为本领域技术人员自行设定的目标监测工厂处的污染监测数据的不同指标在允许范围内的最大波动程度。当所述第一动态变化率大于所述预设动态变化率时，表明目标监测工厂处对大气的污染已经超出允许范围，将对应的污染监测数据作为异常污染数据。所述异常污染数据包括多个特征指标，所述特征指标为第一动态变化率大于预设动态变化率的指标。也就是说，将数据波动超出预设动态变化率的指标作为重点监测对象，进而对多层边缘监测站点的特殊指标进行识别，从而确定污染从目标监测工厂处向外扩散的程度，并将所述中心子区块标识为第一异常子区块。
步骤S400：根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块；
进一步的，如图3所示，根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块，本申请实施例步骤S400还包括：
根据所述时序消息队列调用每个时序节点下各个站点对应的污染监测数据集，其中，所述时序消息队列用于按照时序顺序存储对应站点在不同时间节点下的污染监测数据集，且每个站点的采集时序相同；
基于每个时序节点下，根据所述第一异常子区块对应的异常污染数据对剩余子区块进行异常相似性分析；
若当前时序节点下剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，输出当前时序节点下的标识子区块。
进一步的，根据所述第一异常子区块对应的异常污染数据对剩余子区块进行异常相似性分析，本申请实施例步骤S400还包括：
获取当前时序节点下剩余子区块对应的污染监测数据集；
对每个剩余子区块对应的污染监测数据集进行动态变化率异常分析，若动态变化率大于预设动态变化率，输出待比对子区块，其中，每个待比对子区块携带有对应的待比对异常污染数据，每个待比对异常污染数据包括存在异常变化率的污染指标；
根据所述第一异常子区块对应的异常污染数据，与所述待比对异常污染数据进行比对，输出异常相似性。
在本申请的实施例中，由于时序节点的同步性，根据所述时序消息队列可以对剩余子区块中污染监测数据与第一异常子区块的异常相似程度进行分析，并可以根据达到预设相似度时数据对应的时间，按照时序顺序对子区块进行标识，从而输出标识子区块。其中，所述标识子区块反映了异常污染从目标监测站点向外围扩散时经过的子区块情况。
优选的，根据所述时序消息队列调用每个时序节点下各个站点对应的污染监测数据集，其中，所述时序消息队列用于按照时序顺序存储对应站点在不同时间节点下的污染监测数据集，且每个站点的采集时序相同。进而，在每个时序节点下，根据所述第一异常子区块对应的异常污染数据对剩余子区块进行异常相似性分析，获得多个异常相似度。若当前时序节点下剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，输出当前时序节点下的标识子区块。优选的，通过调取当前时序节点下剩余子区块对应的污染监测数据集。基于与中心子区块同样的计算方式，确定每个剩余子区块对应的污染监测数据集的动态变化率，若动态变化率大于预设动态变化率，表明对应剩余子区块存在污染异常，将其作为待比对子区块。其中，每个待比对子区块携带有对应的待比对异常污染数据，每个待比对异常污染数据包括存在异常变化率的污染指标。进而，利用余弦相似度计算公式计算每个待比对子区块对应的待比对异常污染数据与第一异常子区块对应的异常污染数据进行相似度计算，获得多个异常相似度，从而为进行异常相似性分析提供数据支持。
步骤S500：根据所述第一异常子区块和所述标识子区块进行扩散度识别，得到污染扩散度，若所述污染扩散度大于预设污染扩散度，生成预警提醒信息。
进一步的，根据所述第一异常子区块和所述标识子区块进行扩散度识别，本申请实施例步骤S500还包括：
记录所述第一异常子区块的异常时间；
按照所述多层边缘监测站点对所述标识子区块进行分层，输出多层标识子区块；
记录所述多层标识子区块的异常时间；
根据所述第一异常子区块的异常时间和所述多层标识子区块的异常时间进行扩散度识别，得到污染扩散度。
在一个可能的实施例中，根据所述第一异常子区块和所述标识子区块进行扩散度识别，确定从目标监测工厂的大气污染向四周扩散的程度，从而获得所述污染扩散度。并将所述污染扩散度与预设污染扩散度进行比较，若所述污染扩散度大于预设污染扩散度，从而获得预警提醒信息。其中，所述预设污染扩散度为本领域技术人员确定的可以允许的最高污染扩散度。所述预警提醒信息用于提醒工作人员目标监测工厂产生的大气污染超出允许范围。从而，达到了进行高效、可靠的大气污染监测的技术效果。
在一个实施例中，根据所述第一异常子区块的异常污染数据的时序信息确定所述第一异常子区块的异常时间。进而，按照所述多层边缘监测站点对所述标识子区块进行分层，也就是说，基于所述标识子区块是否在同一个层，以及同一层标识子区块所在的层进行标识，从而获得所述多层标识子区块。分别记录所述多层标识子区块的异常时间，优选的，将多层标识子区块中多个标识子区块最先出现的异常污染数据的时间点作为该层标识子区块的异常时间。进而，计算第一异常子区块的异常时间和多层标识子区块的异常时间的异常时间发展速度作为污染扩散度。可选的，通过分别计算第一异常子区块和多层标识子区块的污染扩散速度，也就是将相邻两个子区块之间距离比上相邻两个子区块的异常时间差值。然后，根据多个污染扩散速度计算扩散加速度，将扩散加速度作为污染扩散度。
综上所述，本申请实施例至少具有如下技术效果：
本申请通过设置用于污染监测的多个站点，获取分布式监测区块，为后续进行全面大气污染监测做铺垫，然后利用分布式消息平台接收分布式监测区块中的多个污染监测数据，以时序消息队列将多个污染监测数据存储至对应的子区块中，提升数据时序性，然后确定异常污染数据以及对应的第一异常子区块，按照时序顺序输出标识子区块，并根据第一异常子区块和标识子区块进行扩散度识别，得到污染扩散度，若污染扩散度大于预设污染扩散度，生成预警提醒信息。达到了有序高效的进行监测分析，提升监测质量的技术效果。
实施例二
基于与前述实施例中基于KAFKA技术的分布式大气污染监测方法相同的发明构思，如图4所示，本申请提供了基于KAFKA技术的分布式大气污染监测系统，本申请实施例中的系统与方法实施例基于同样的发明构思。其中，所述系统包括：
监测区块获取模块11，用于设置用于污染监测的多个站点，获取分布式监测区块，所述分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点监测多个指标；
数据存储模块12，用于利用分布式消息平台接收所述分布式监测区块中的多个污染监测数据，以时序消息队列将所述多个污染监测数据存储至对应的子区块中，其中，所述分布式消息平台是基于KAFKA技术构建的高吞吐量的消息平台，用于使所述分布式监测区块中的每个子区块进行并发处理；
第一异常子区块确定模块13，用于通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块；
标识子区块输出模块14，用于根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块；
预警提醒信息生成模块15，用于根据所述第一异常子区块和所述标识子区块进行扩散度识别，得到污染扩散度，若所述污染扩散度大于预设污染扩散度，生成预警提醒信息。
进一步的，所述监测区块获取模块11用于执行如下步骤：
以目标监测工厂的所处位置作为中心位置，获取污染监测区域范围；
根据所述污染监测区域范围进行分析，确定多个监测站点；
其中，所述多个监测站点呈扩散型分布，包括中心监测站点以及多层边缘监测站点，所述中心监测站点设置在所述目标监测工厂处，所述多层边缘监测站点以所述中心监测站点为中心呈扩散型分布设置。
进一步的，所述多层边缘监测站点相邻两层边缘监测站点具有第一距离，每一层边缘监测站点的相邻站点之间具有第二距离，其中，所述第二距离大于等于所述第一距离；
以及设置在所述多层边缘监测站点中每一层边缘监测站点的站点数量相同。
进一步的，所述第一异常子区块确定模块13用于执行如下步骤：
获取中心监测站点对应的中心子区块；
根据所述中心子区块中的污染监测数据进行指标变化率分析，获取第一动态变化率；
当所述第一动态变化率大于预设动态变化率，确定异常污染数据，其中，所述异常污染数据包括多个特征指标，所述特征指标为第一动态变化率大于预设动态变化率的指标；
将所述中心子区块标识为第一异常子区块。
进一步的，所述标识子区块输出模块14用于执行如下步骤：
根据所述时序消息队列调用每个时序节点下各个站点对应的污染监测数据集，其中，所述时序消息队列用于按照时序顺序存储对应站点在不同时间节点下的污染监测数据集，且每个站点的采集时序相同；
基于每个时序节点下，根据所述第一异常子区块对应的异常污染数据对剩余子区块进行异常相似性分析；
若当前时序节点下剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，输出当前时序节点下的标识子区块。
进一步的，所述标识子区块输出模块14用于执行如下步骤：
获取当前时序节点下剩余子区块对应的污染监测数据集；
对每个剩余子区块对应的污染监测数据集进行动态变化率异常分析，若动态变化率大于预设动态变化率，输出待比对子区块，其中，每个待比对子区块携带有对应的待比对异常污染数据，每个待比对异常污染数据包括存在异常变化率的污染指标；
根据所述第一异常子区块对应的异常污染数据，与所述待比对异常污染数据进行比对，输出异常相似性。
进一步的，所述预警提醒信息生成模块15用于执行如下步骤：
记录所述第一异常子区块的异常时间；
按照所述多层边缘监测站点对所述标识子区块进行分层，输出多层标识子区块；
记录所述多层标识子区块的异常时间；
根据所述第一异常子区块的异常时间和所述多层标识子区块的异常时间进行扩散度识别，得到污染扩散度。
需要说明的是，上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本说明书和附图仅仅是本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。
Claims (8)
1.基于KAFKA技术的分布式大气污染监测方法，其特征在于，所述方法包括：
设置用于污染监测的多个站点，获取分布式监测区块，所述分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点监测多个指标；
利用分布式消息平台接收所述分布式监测区块中的多个污染监测数据，以时序消息队列将所述多个污染监测数据存储至对应的子区块中，其中，所述分布式消息平台是基于KAFKA技术构建的高吞吐量的消息平台，用于使所述分布式监测区块中的每个子区块进行并发处理；
通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块；
根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块；
根据所述第一异常子区块和所述标识子区块进行扩散度识别，得到污染扩散度，若所述污染扩散度大于预设污染扩散度，生成预警提醒信息。
2.如权利要求1所述的方法，其特征在于，设置用于污染监测的多个站点，方法包括：
以目标监测工厂的所处位置作为中心位置，获取污染监测区域范围；
根据所述污染监测区域范围进行分析，确定多个监测站点；
其中，所述多个监测站点呈扩散型分布，包括中心监测站点以及多层边缘监测站点，所述中心监测站点设置在所述目标监测工厂处，所述多层边缘监测站点以所述中心监测站点为中心呈扩散型分布设置。
3.如权利要求2所述的方法，其特征在于，所述多层边缘监测站点相邻两层边缘监测站点具有第一距离，每一层边缘监测站点的相邻站点之间具有第二距离，其中，所述第二距离大于等于所述第一距离；
以及设置在所述多层边缘监测站点中每一层边缘监测站点的站点数量相同。
4.如权利要求2所述的方法，其特征在于，通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块，方法包括：
获取中心监测站点对应的中心子区块；
根据所述中心子区块中的污染监测数据进行指标变化率分析，获取第一动态变化率；
当所述第一动态变化率大于预设动态变化率，确定异常污染数据，其中，所述异常污染数据包括多个特征指标，所述特征指标为第一动态变化率大于预设动态变化率的指标；
将所述中心子区块标识为第一异常子区块。
5.如权利要求2所述的方法，其特征在于，根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块，方法包括：
根据所述时序消息队列调用每个时序节点下各个站点对应的污染监测数据集，其中，所述时序消息队列用于按照时序顺序存储对应站点在不同时间节点下的污染监测数据集，且每个站点的采集时序相同；
基于每个时序节点下，根据所述第一异常子区块对应的异常污染数据对剩余子区块进行异常相似性分析；
若当前时序节点下剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，输出当前时序节点下的标识子区块。
6.如权利要求4所述的方法，其特征在于，根据所述第一异常子区块对应的异常污染数据对剩余子区块进行异常相似性分析，方法包括：
获取当前时序节点下剩余子区块对应的污染监测数据集；
对每个剩余子区块对应的污染监测数据集进行动态变化率异常分析，若动态变化率大于预设动态变化率，输出待比对子区块，其中，每个待比对子区块携带有对应的待比对异常污染数据，每个待比对异常污染数据包括存在异常变化率的污染指标；
根据所述第一异常子区块对应的异常污染数据，与所述待比对异常污染数据进行比对，输出异常相似性。
7.如权利要求2所述的方法，其特征在于，根据所述第一异常子区块和所述标识子区块进行扩散度识别，方法包括：
记录所述第一异常子区块的异常时间；
按照所述多层边缘监测站点对所述标识子区块进行分层，输出多层标识子区块；
记录所述多层标识子区块的异常时间；
根据所述第一异常子区块的异常时间和所述多层标识子区块的异常时间进行扩散度识别，得到污染扩散度。
8.基于KAFKA技术的分布式大气污染监测系统，其特征在于，所述系统包括：
监测区块获取模块，用于设置用于污染监测的多个站点，获取分布式监测区块，所述分布式监测区块中的每个子区块对应存储一个站点的污染监测数据，每个站点监测多个指标；
数据存储模块，用于利用分布式消息平台接收所述分布式监测区块中的多个污染监测数据，以时序消息队列将所述多个污染监测数据存储至对应的子区块中，其中，所述分布式消息平台是基于KAFKA技术构建的高吞吐量的消息平台，用于使所述分布式监测区块中的每个子区块进行并发处理；
第一异常子区块确定模块，用于通过分析当前时序下中心子区块的污染监测数据，确定异常污染数据以及对应的第一异常子区块；
标识子区块输出模块，用于根据所述时序消息队列，若剩余子区块中任一子区块的异常相似度达到预设相似度时进行标识，按照时序顺序输出标识子区块；
预警提醒信息生成模块，用于根据所述第一异常子区块和所述标识子区块进行扩散度识别，得到污染扩散度，若所述污染扩散度大于预设污染扩散度，生成预警提醒信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311685986.6A CN117390464B (zh) | 2023-12-11 | 2023-12-11 | 基于kafka技术的分布式大气污染监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311685986.6A CN117390464B (zh) | 2023-12-11 | 2023-12-11 | 基于kafka技术的分布式大气污染监测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117390464A true CN117390464A (zh) | 2024-01-12 |
| CN117390464B CN117390464B (zh) | 2024-03-08 |
Family
ID=89472467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311685986.6A Active CN117390464B (zh) | 2023-12-11 | 2023-12-11 | 基于kafka技术的分布式大气污染监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117390464B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107340364A (zh) * | 2017-05-31 | 2017-11-10 | 北京市环境保护监测中心 | 基于海量大气污染浓度数据的污染空间分析方法及装置 |
| CN108387692A (zh) * | 2018-04-25 | 2018-08-10 | 深圳森阳环保材料科技有限公司 | 一种大气污染智能监测系统 |
| CN111239338A (zh) * | 2020-01-19 | 2020-06-05 | 徐州工业职业技术学院 | 开放式空气质量监测系统 |
| US20220214322A1 (en) * | 2021-01-07 | 2022-07-07 | Tsinghua University | Air pollutants concentration forecasting method and apparatus and storage medium |
| CN114822709A (zh) * | 2022-03-16 | 2022-07-29 | 深圳中兴智坪科技有限公司 | 大气污染多粒度精准成因分析方法及装置 |
| CN116186566A (zh) * | 2023-04-27 | 2023-05-30 | 北京建工环境修复股份有限公司 | 基于深度学习的扩散预测方法及系统 |
-
2023
- 2023-12-11 CN CN202311685986.6A patent/CN117390464B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107340364A (zh) * | 2017-05-31 | 2017-11-10 | 北京市环境保护监测中心 | 基于海量大气污染浓度数据的污染空间分析方法及装置 |
| CN108387692A (zh) * | 2018-04-25 | 2018-08-10 | 深圳森阳环保材料科技有限公司 | 一种大气污染智能监测系统 |
| CN111239338A (zh) * | 2020-01-19 | 2020-06-05 | 徐州工业职业技术学院 | 开放式空气质量监测系统 |
| US20220214322A1 (en) * | 2021-01-07 | 2022-07-07 | Tsinghua University | Air pollutants concentration forecasting method and apparatus and storage medium |
| CN114822709A (zh) * | 2022-03-16 | 2022-07-29 | 深圳中兴智坪科技有限公司 | 大气污染多粒度精准成因分析方法及装置 |
| CN116186566A (zh) * | 2023-04-27 | 2023-05-30 | 北京建工环境修复股份有限公司 | 基于深度学习的扩散预测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 凌启东;袁冠;王敏;王鸿磊;: "基于信息融合的开放式空气质量监测系统的研究", 电子测量与仪器学报, no. 05, 15 May 2020 (2020-05-15) * |
| 郜涛;谢绍东;薄宇;赵越;: "正矩阵因子分解法评价北京市PM_(10)和SO_2监测网络", 环境科学, no. 03, 15 March 2010 (2010-03-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117390464B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103198010A (zh) | 软件测试方法、装置及系统 | |
| CN116975378B (zh) | 一种基于大数据的设备环境监测方法及系统 | |
| CN116128260B (zh) | 基于数据样本的重点企业环境分析方法 | |
| CN114741454A (zh) | 用于巡检数据处理的工业物联网及其控制方法 | |
| CN117390464B (zh) | 基于kafka技术的分布式大气污染监测方法及系统 | |
| CN116866512A (zh) | 一种光伏电站巡检系统及其运行方法 | |
| CN111309791A (zh) | 一种检测仪器数据自动采集方法 | |
| CN117236916B (zh) | 一种智慧电厂的综合安全巡检方法 | |
| CN113888024A (zh) | 操作监控方法、装置、电子设备及存储介质 | |
| CN114445756A (zh) | 一种生产设备自动巡查方法及系统 | |
| CN114429256A (zh) | 数据监测方法、装置、电子设备及存储介质 | |
| CN113609216A (zh) | 基于区块链的产品质量诊断方法、装置、设备及存储介质 | |
| CN117234156A (zh) | 选矿厂巡检系统及巡检方法 | |
| Galetto et al. | Robustness analysis of inspection design parameters for assembly of short-run manufacturing processes | |
| CN115659214A (zh) | 一种基于PaaS平台的能源行业数据可信评价方法 | |
| CN113096268B (zh) | 一种基于5g网络的巡检仪监测系统及方法 | |
| Lowin et al. | From physical to virtual: leveraging drone imagery to automate photovoltaic system maintenance | |
| KR101579448B1 (ko) | 불량 샘플의 결함 맵을 이용한 문제 설비 판정 방법 및 그 장치 | |
| CN112069037A (zh) | 一种云平台无阈值检测的方法和装置 | |
| CN116069892B (zh) | 一种基于海洋工程的环境数据处理方法及系统 | |
| CN112541573B (zh) | 一种神经网络的训练方法和装置 | |
| CN117499621B (zh) | 视频采集设备的检测方法、装置、设备及介质 | |
| Waheed et al. | Software emergence for need based large data processing in engineering problems | |
| CN118116100A (zh) | 一种基于数字孪生的智能巡检系统及方法 | |
| CN117424919A (zh) | 一种智慧化污水处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |