CN111414571A - 一种大气污染物监测方法 - Google Patents

一种大气污染物监测方法 Download PDF

Info

Publication number
CN111414571A
CN111414571A CN202010248497.4A CN202010248497A CN111414571A CN 111414571 A CN111414571 A CN 111414571A CN 202010248497 A CN202010248497 A CN 202010248497A CN 111414571 A CN111414571 A CN 111414571A
Authority
CN
China
Prior art keywords
monitoring
sequence
concentration
atmospheric
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010248497.4A
Other languages
English (en)
Inventor
董红召
王乐恒
郭宇进
石东豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010248497.4A priority Critical patent/CN111414571A/zh
Publication of CN111414571A publication Critical patent/CN111414571A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
    • G01N33/0068—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display using a computer specifically programmed

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Combustion & Propulsion (AREA)
  • Pathology (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Sampling And Sample Adjustment (AREA)

Abstract

一种大气污染物监测方法，首先通过大气污染监测装置获取原始大气污染物浓度监测序列，对数据进行初步处理，再通过确定样本点偏离度和序列平均偏离度，建立偏离度检测模型对各个时刻下的大气污染物浓度监测数据进行检验，实现异常值的识别和剔除，并对缺失值补全，获取准确的大气污染监测数据。本发明通过建立偏离度检测模型实现对大气污染监测数据的检测处理，并进行缺失值补全，从而获取准确的大气污染监测数据，具有准确性高、实用性强的优点。

Description

一种大气污染物监测方法
技术领域
本发明涉及一种大气污染物监测方法，属于智能环保领域。
背景技术
近年来，随着城市大气污染的逐渐加重，对大气污染物(CO、SO2、NO2、O3、PM2.5、PM10)浓度变化进行准确、有效地监测愈发重要。然而监测设备故障、恶劣环境等不利因素会导致异常值的出现，从而影响大气污染物浓度数据的准确性。目前针对大气污染物浓度的异常值剔除方法有两种，一种是人工审核的方式对异常值进行剔除，另一种采用通用的异常值检测方法(如IQR算法)进行检测。人工审核的方法主要依赖于审核员的经验，效率低下且审核准确性不高；而通用的异常值检测方法往往会将大气污染物浓度极值误报为异常值，难以实现精准识别。当异常值识别并剔除后监测数据存在缺失，难以有效地表征大气污染浓度变化的特征，因此需提出一种有效的大气污染物浓度监测方法，对大气污染物监测数据的异常值精准识别，并对缺失值进行准确补全，来获得准确度高的大气污染监测数据。
发明内容
本发明要克服现有技术的上述缺点，提供一种大气污染物监测方法。
一种大气污染物监测方法，首先通过大气污染监测装置获取原始大气污染物浓度监测序列，对数据进行初步处理，再通过确定样本点偏离度和序列平均偏离度，建立偏离度检测模型对各个时刻下的大气污染物浓度监测数据进行检验，实现异常值的识别和剔除，并对缺失值补全，获取准确的大气污染监测数据。具体步骤如下：
(1)大气污染监测数据获取；
通过大气污染监测装置对大气污染物(CO、SO2、NO2、O3、PM2.5、PM10)进行浓度数据采集，采样周期为1h，可获得原始大气污染物的监测序列为{x(i)}(i＝1,2,…,N)，x代表一种大气污染物的监测浓度，N为监测序列样本的总个数。考虑到大气污染物浓度监测数据具有显著的时序变化特征，其浓度值会随时间的推进而发生改变，因此将总监测序列划分为多个序列长度为n的子序列{x(t)}(t＝1,2,…,n)，如图1所示，n的取值大小可由监测序列时间间隔分辨率确定。
(2)数据初步处理；
对大气污染物监测数据进行初步检查，按以下方法剔除显著异常的监测数据：
1.剔除超出监测设备量程上下限的监测数据；
2.PM2.5浓度>PM10浓度的监测数据予以剔除；
3.监测浓度变化不符合实际趋势的监测数据予以剔除，例如监测数据长时间处于一个定值。
(3)偏离度确定；
在序列长度为n的子序列{x(t)}(t＝1,2,…,n)中，可将异常值认为是与其他正常值偏离度较大的值。假定要判断该子序列中某时刻的浓度监测值x(1)是否为异常值，通过式(1)计算x(1)在该序列的样本点偏离度D(x(1))：
Figure BDA0002434654000000031
确定样本点x(1)在该序列的偏离度D(x(1))后，通过式(2)确定该序列中其他样本之间的序列平均偏离度G(x(1))：
Figure BDA0002434654000000032
(4)偏离度检测模型；
确定样本点偏离度和序列平均偏离度，当
Figure BDA0002434654000000033
时，即可判定该点与整体序列的偏离度过大，为异常值，K为偏离系数。由于大气污染物监测浓度变化波动受到污染源排放和气象等因素的影响，当污染源排放稳定，气象条件较稳定时，大气污染物浓度变化幅度较小；当污染源排放变化较大或气象条件较不稳定时，大气污染物的浓度变化幅度便会再会增大。因此不同监测序列其浓度变化情况也会不同。为避免该异常值检测方法在对监测浓度波动较大的序列检测时，将高值或低值监测浓度误当做异常值剔除，同时也要保证在监测浓度波动较小的序列中可以对异常值进行识别，因此要求K值可以准确反映监测序列的波动情况，因此K值的大小由式(3)确定：
Figure BDA0002434654000000034
式中，x(t′)80％为该监测浓度序列中80％分位数；x(t′)20％为监测浓度序列中20％分位数。
(5)异常值剔除；
通过计算各个样本点偏离度和序列平均偏离度，采用偏离度检测模型对原始大气污染物监测序列中各个样本点进行检测，确定异常值并剔除。
(6)缺失值补全；
监测序列中异常值剔除导致数值缺失，利用KNN算法学习大气污染监测序列的变化趋势来对缺失值进行补全，获得准确度高的大气污染物监测数据。
(7)数据处理及输出；
重复步骤(3)至步骤(6)，分别对六种大气污染物监测序列(CO、SO2、NO2、O3、PM2.5、PM10)进行数据处理，实现异常值剔除及缺失值精准补全，输出准确度高的六种大气污染物监测数据。
本发明的优点是：通过建立偏离度检测模型实现对大气污染监测数据的检测处理，并进行缺失值补全，从而获取准确的大气污染监测数据，具有准确性高、实用性强的优点。
附图说明
图1是本发明方法的流程图。
图2为是本发明的大气污染物浓度时间序列划分图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
一种大气污染物监测方法，首先通过大气污染监测装置获取原始大气污染物浓度监测序列，对数据进行初步处理，再通过确定样本点偏离度和序列平均偏离度，建立偏离度检测模型对各个时刻下的大气污染物浓度监测数据进行检验，实现异常值的识别和剔除，并对缺失值补全，获取准确的大气污染监测数据。具体步骤如下：
(1)大气污染监测数据获取；
通过大气污染监测装置对大气污染物(CO、SO2、NO2、O3、PM2.5、PM10)进行浓度数据采集，采样周期为1h，可获得原始大气污染物的监测序列为{x(i)}(i＝1,2,…,N)，x代表一种大气污染物的监测浓度，N为监测序列样本的总个数。考虑到大气污染物浓度监测数据具有显著的时序变化特征，其浓度值会随时间的推进而发生改变，因此将总监测序列划分为多个序列长度为n的子序列{x(t)}(t＝1,2,…,n)，如图1所示，n的取值大小可由监测序列时间间隔分辨率确定。
(2)数据初步处理；
对大气污染物监测数据进行初步检查，按以下方法剔除显著异常的监测数据：
1.剔除超出监测设备量程上下限的监测数据；
2.PM2.5浓度>PM10浓度的监测数据予以剔除；
3.监测浓度变化不符合实际趋势的监测数据予以剔除，例如监测数据长时间处于一个定值。
(3)偏离度确定；
在序列长度为n的子序列{x(t)}(t＝1,2,…,n)中，可将异常值认为是与其他正常值偏离度较大的值。假定要判断该子序列中某时刻的浓度监测值x(1)是否为异常值，通过式(1)计算x(1)在该序列的样本点偏离度D(x(1))：
Figure BDA0002434654000000061
确定样本点x(1)在该序列的偏离度D(x(1))后，通过式(2)确定该序列中其他样本之间的序列平均偏离度G(x(1))：
Figure BDA0002434654000000062
(4)偏离度检测模型；
确定样本点偏离度和序列平均偏离度，当
Figure BDA0002434654000000063
时，即可判定该点与整体序列的偏离度过大，为异常值，K为偏离系数。由于大气污染物监测浓度变化波动受到污染源排放和气象等因素的影响，当污染源排放稳定，气象条件较稳定时，大气污染物浓度变化幅度较小；当污染源排放变化较大或气象条件较不稳定时，大气污染物的浓度变化幅度便会再会增大。因此不同监测序列其浓度变化情况也会不同。为避免该异常值检测方法在对监测浓度波动较大的序列检测时，将高值或低值监测浓度误当做异常值剔除，同时也要保证在监测浓度波动较小的序列中可以对异常值进行识别，因此要求K值可以准确反映监测序列的波动情况，因此K值的大小由式(3)确定：
Figure BDA0002434654000000071
式中，x(t′)80％为该监测浓度序列中80％分位数；x(t′)20％为监测浓度序列中20％分位数。
(5)异常值剔除；
通过计算各个样本点偏离度和序列平均偏离度，采用偏离度检测模型对原始大气污染物监测序列中各个样本点进行检测，确定异常值并剔除。
(6)缺失值补全；
监测序列中异常值剔除导致数值缺失，利用KNN算法学习大气污染监测序列的变化趋势来对缺失值进行补全，获得准确度高的大气污染物监测数据。
(7)数据处理及输出；
重复步骤(3)至步骤(6)，分别对六种大气污染物监测序列(CO、SO2、NO2、O3、PM2.5、PM10)进行数据处理，实现异常值剔除及缺失值精准补全，输出准确度高的六种大气污染物监测数据。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种大气污染物监测方法，首先通过大气污染监测装置获取原始大气污染物浓度监测序列，对数据进行初步处理，再通过确定样本点偏离度和序列平均偏离度，建立偏离度检测模型对各个时刻下的大气污染物浓度监测数据进行检验，实现异常值的识别和剔除，并对缺失值补全，获取准确的大气污染监测数据；具体步骤如下：
(1)大气污染监测数据获取；
通过大气污染监测装置对大气污染物(CO、SO2、NO2、O3、PM2.5、PM10)进行浓度数据采集，采样周期为1h，可获得原始大气污染物的监测序列为{x(i)}(i＝1,2,…,N)，x代表一种大气污染物的监测浓度，N为监测序列样本的总个数；考虑到大气污染物浓度监测数据具有显著的时序变化特征，，其浓度值会随时间的推进而发生改变，因此将总监测序列划分为多个序列长度为n的子序列{x(t)}(t＝1,2,…,n)，如图1所示，n的取值大小可由监测序列时间间隔分辨率确定；
(2)数据初步处理；
对大气污染物监测数据进行初步检查，按以下方法剔除显著异常的监测数据：
1.剔除超出监测设备量程上下限的监测数据；
2.PM2.5浓度>PM10浓度的监测数据予以剔除；
3.监测浓度变化不符合实际趋势的监测数据予以剔除，例如监测数据长时间处于一个定值；
(3)偏离度确定；
在序列长度为n的子序列{x(t)}(t＝1,2,…,n)中，可将异常值认为是与其他正常值偏离度较大的值；假定要判断该子序列中某时刻的浓度监测值x(1)是否为异常值，通过式(1)计算x(1)在该序列的样本点偏离度D(x(1))：
Figure FDA0002434653990000021
确定样本点x(1)在该序列的偏离度D(x(1))后，通过式(2)确定该序列中其他样本之间的序列平均偏离度G(x(1))：
Figure FDA0002434653990000022
(4)偏离度检测模型；
确定样本点偏离度和序列平均偏离度，当
Figure FDA0002434653990000023
时，即可判定该点与整体序列的偏离度过大，为异常值，K为偏离系数；由于大气污染物监测浓度变化波动受到污染源排放和气象等因素的影响，当污染源排放稳定，气象条件较稳定时，大气污染物浓度变化幅度较小；当污染源排放变化较大或气象条件较不稳定时，大气污染物的浓度变化幅度便会再会增大；因此不同监测序列其浓度变化情况也会不同；为避免该异常值检测方法在对监测浓度波动较大的序列检测时，将高值或低值监测浓度误当做异常值剔除，同时也要保证在监测浓度波动较小的序列中可以对异常值进行识别，因此要求K值可以准确反映监测序列的波动情况，因此K值的大小由式(3)确定：
Figure FDA0002434653990000031
式中，x(t′)80％为该监测浓度序列中80％分位数；x(t′)20％为监测浓度序列中20％分位数；
(5)异常值剔除；
通过计算各个样本点偏离度和序列平均偏离度，采用偏离度检测模型对原始大气污染物监测序列中各个样本点进行检测，确定异常值并剔除；
(6)缺失值补全；
监测序列中异常值剔除导致数值缺失，利用KNN算法学习大气污染监测序列的变化趋势来对缺失值进行补全，获得准确度高的大气污染物监测数据；
(7)数据处理及输出；
重复步骤(3)至步骤(6)，分别对六种大气污染物监测序列(CO、SO2、NO2、O3、PM2.5、PM10)进行数据处理，实现异常值剔除及缺失值精准补全，输出准确度高的六种大气污染物监测数据。
CN202010248497.4A 2020-04-01 2020-04-01 一种大气污染物监测方法 Withdrawn CN111414571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010248497.4A CN111414571A (zh) 2020-04-01 2020-04-01 一种大气污染物监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010248497.4A CN111414571A (zh) 2020-04-01 2020-04-01 一种大气污染物监测方法

Publications (1)

Publication Number Publication Date
CN111414571A true CN111414571A (zh) 2020-07-14

Family

ID=71493491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010248497.4A Withdrawn CN111414571A (zh) 2020-04-01 2020-04-01 一种大气污染物监测方法

Country Status (1)

Country Link
CN (1) CN111414571A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861904A (zh) * 2020-12-04 2021-05-28 生态环境部卫星环境应用中心 基于imbi指数的大气污染源监测识别方法和系统
CN113269382A (zh) * 2020-12-29 2021-08-17 生态环境部卫星环境应用中心 一种基于卫星遥感的区域大气环境质量评估方法
CN113533644A (zh) * 2021-06-26 2021-10-22 西北工业大学 基于无人机的对面源常规大气污染物的监测方法
CN113986911A (zh) * 2021-12-29 2022-01-28 中国气象局气象探测中心 一种用于赛场运行监测的信息采集方法及系统
CN116165353A (zh) * 2023-04-26 2023-05-26 江西拓荒者科技有限公司 一种工业污染物监测数据处理方法及系统
CN117313428A (zh) * 2023-11-28 2023-12-29 西安中核核仪器股份有限公司 一种火电厂污染物浓度在线监测修正方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861904A (zh) * 2020-12-04 2021-05-28 生态环境部卫星环境应用中心 基于imbi指数的大气污染源监测识别方法和系统
CN113269382A (zh) * 2020-12-29 2021-08-17 生态环境部卫星环境应用中心 一种基于卫星遥感的区域大气环境质量评估方法
CN113533644A (zh) * 2021-06-26 2021-10-22 西北工业大学 基于无人机的对面源常规大气污染物的监测方法
CN113986911A (zh) * 2021-12-29 2022-01-28 中国气象局气象探测中心 一种用于赛场运行监测的信息采集方法及系统
CN116165353A (zh) * 2023-04-26 2023-05-26 江西拓荒者科技有限公司 一种工业污染物监测数据处理方法及系统
CN117313428A (zh) * 2023-11-28 2023-12-29 西安中核核仪器股份有限公司 一种火电厂污染物浓度在线监测修正方法
CN117313428B (zh) * 2023-11-28 2024-02-23 西安中核核仪器股份有限公司 一种火电厂污染物浓度在线监测修正方法

Similar Documents

Publication Publication Date Title
CN111414571A (zh) 一种大气污染物监测方法
CN107862338B (zh) 基于双检验法的海洋环境监测数据质量管理方法及系统
CN107437113B (zh) 一种配电主设备带电检测判据知识库系统及其实现方法
CN116128260B (zh) 基于数据样本的重点企业环境分析方法
CN116975378B (zh) 一种基于大数据的设备环境监测方法及系统
CN110363339B (zh) 一种基于电机参数进行预测性维护的方法与系统
CN112288597A (zh) 一种基于层次聚类和直方图算法的能耗在线异常检测方法
CN110119397B (zh) 一种同时实现数据异常检测及数据压缩的深度学习方法
CN112883075B (zh) 一种滑坡普适型地表位移监测数据缺失及异常值处理方法
CN112418517B (zh) 一种用于冻害短临预警的预测方法
CN109584232A (zh) 基于图像识别的设备使用状态在线监测方法、系统及终端
CN114201374A (zh) 基于混合机器学习的运维时序数据异常检测方法及系统
CN116985183B (zh) 一种近红外光谱分析仪质量监测管理方法及系统
CN113918642A (zh) 一种基于电力物联网设备的数据过滤监测预警方法
CN117394337A (zh) 一种电网负荷预警方法及其系统
CN112633781A (zh) 一种基于车联网大数据的车辆能耗评价方法
CN113267601B (zh) 一种基于机器视觉和数据分析的工业生产环境远程实时监测云平台
CN114460439A (zh) 一种数字集成电路测试系统
CN112882898B (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN114330120A (zh) 一种基于深度神经网络预测24小时pm2.5浓度的方法
CN113960700B (zh) 区域数值预报结果的客观检验、统计及分析系统
CN115659271A (zh) 传感器异常检测方法、模型训练方法、系统、设备及介质
CN113408383A (zh) 基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法
CN116878728B (zh) 一种压力传感器故障检测分析处理系统
CN114781762B (zh) 一种基于寿命消耗的装备故障预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200714

WW01 Invention patent application withdrawn after publication