CN111310103A - 生态环境监测数据的稠密化处理方法 - Google Patents
生态环境监测数据的稠密化处理方法 Download PDFInfo
- Publication number
- CN111310103A CN111310103A CN202010123724.0A CN202010123724A CN111310103A CN 111310103 A CN111310103 A CN 111310103A CN 202010123724 A CN202010123724 A CN 202010123724A CN 111310103 A CN111310103 A CN 111310103A
- Authority
- CN
- China
- Prior art keywords
- data
- ecological environment
- auxiliary
- processing
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 50
- 238000000280 densification Methods 0.000 title claims abstract description 8
- 238000003672 processing method Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 6
- 239000000356 contaminant Substances 0.000 description 5
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- XTQHKBHJIVJGKJ-UHFFFAOYSA-N sulfur monoxide Chemical compound S=O XTQHKBHJIVJGKJ-UHFFFAOYSA-N 0.000 description 2
- AKEJUJNQAAGONA-UHFFFAOYSA-N sulfur trioxide Chemical compound O=S(=O)=O AKEJUJNQAAGONA-UHFFFAOYSA-N 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- BWGNESOTFCXPMA-UHFFFAOYSA-N Dihydrogen disulfide Chemical compound SS BWGNESOTFCXPMA-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种生态环境监测数据的稠密化处理方法首先对监测区域进行区域网格划分；然后采集各区域网格对应的生态环境数据和辅数据；然后确定生态环境数据、辅数据的通用关键相关因素；然后基于生态环境数据、辅数据及其通用关键相关因素，通过深度学习方法确定生态环境数据与辅数据之间的映射模型，最后通过映射模型预测只具有辅数据的区域网格的生态环境数据，实现监测区域的数据稠密化。
Description
技术领域
本发明涉及专门适用于预测目的数据处理方法，特别是涉及一种生态环境监测数据的稠密化处理方法。
背景技术
生态环境监测对于生态环境的治理尤为重要，只有了解区域内生态环境信息的分布状况，才能针对性地制定治理方案。在现有技术中，通常是采用设置监测站的方法对生态环境进行监测。如果监测站的数量够多，密度够高，采用现有方法的确能够有效地监测生态环境信息的分布状况。但是，由于各种因素的限制，各个地区现有设置的监测站数量有限，不能覆盖到所有区域，不能有效地反映出生态环境信息的分布状况。
发明内容
为解决以上技术问题，本发明提供一种生态环境监测数据的稠密化处理方法，基于地区现有的监测站采集的生态环境监测数据，预测得出该地区内没有监测站覆盖的其他区域的生态环境监测数据，从而有效地反映出地区的生态环境信息分布状况。
技术方案如下：
提供了一种生态环境监测数据的稠密化处理方法，包括：
步骤1、对监测区域进行区域网格划分；
步骤2、采集各区域网格对应的生态环境数据和辅数据；
步骤3、对采集的生态环境数据和辅数据进行数据预处理；
步骤4、基于预处理后的生态环境数据和辅数据，通过深度学习方法确定生态环境数据与辅数据之间的映射模型；
步骤5、通过映射模型预测只具有辅数据的区域网格的生态环境预测数据，实现监测区域的数据稠密化。
进一步的，所述步骤1将监测区域进行网格划分时根据深度学习处理数据的要求来进行划分。
进一步的，所述步骤3包括：
基于采集的生态环境数据和辅数据进行数据补全；
对补全得到的生态环境数据和辅数据进行去均值化处理；
对去均值化处理得到的生态环境数据和辅数据进行数据归一化，得到预处理后的生态环境数据和辅数据。
进一步的，采用线性插值算法补全生态数据和辅数据。
进一步的，所述步骤4中深度学习包括使用LSTM网络或Conv-LSTM网络进行训练，得到映射模型。
进一步的，所述辅数据包括人口信息、地理信息、气象信息。
进一步的，通过MRF模型得到气象信息。
进一步的，所述步骤5包括：
基于区域网格的生态环境数据和辅数据，通过映射模型得到区域网格的生态环境的映射数据；
对映射数据进行归一化还原和去均值化还原，得到真实的生态环境预测数据。
有益效果：
1、采用本发明的生态环境监测数据的稠密化处理方法，能够通过地区范围内有限的监测站采集的生态环境监测数据，预测该地区内监测站未能覆盖到的区域的生态环境监测数据，反映出整个地区的生态环境信息分布状况。
2、通过对采集到的数据进行预处理，能够使数据保持一致性，并且能去除重复、错误的数据，为后期的数据分析提供基础。
附图说明
图1为本发明的处理方法流程图；
图2为数据预处理的流程图；
图3为预测区域网格的生态环境数据的流程图。
具体实施方式
下面结合实施例和附图对本发明作进一步说明。
如图1所示的生态环境监测数据的稠密化处理方法的流程图，该处理方法包括：
步骤1、对监测区域进行区域网格划分；
具体而言，把监测区域作为一个整体区域，在本实施例中使用连续网格的形式对整体区域进行划分，将其划分为多个子区域，形成了以阵列形式排列的多个网格。这些网格里，有少部分网格内恰好设有固定监测站或移动监测站等可以提供生态环境数据的监测站，而大部分网格内没有固定监测站或移动监测站。
在本实施例中，优选的，所述步骤1将监测区域划分成卷积神经网络处理数据时最常用的矩阵网格，比如512*512矩阵网格或224*224矩阵网格。卷积神经网络对应着实施例1中使用的LSTM网络或Conv-LSTM网络。选择512*512矩阵网格或224*224矩阵网格，可以同时兼顾后续数据处理时计算的效率和准确度。因为如果矩阵网格的尺寸太小，那么信息就丢失太严重；如果尺寸太大，信息的抽象层次不够高，计算量也更大。
步骤2、采集各区域网格对应的生态环境数据和辅数据；
具体而言，通过固定监测站或移动监测站采集所在子区域的生态环境数据，生态环境数据主要包括：环境污染物的类型，比如是固体污染物、液体污染物或者是气体污染物；环境污染物的成分，比如大气污染物的成分主要包括PM2.5、PM10、一氧化硫、二氧化硫、三氧化硫、三氧化二硫、一氧化碳等；环境污染物的浓度。
通过其他方式采集各个区域网格的与生态环境相关的非生态数据，如地区的工厂数量、人口数据、地理数据和气象数据等，其中气象数据可以通过MRF模型得到，工厂数量、人口数据、地理数据和气象数据等可以通过和政府相关职能提供的数据信息平台，通过网络远程访问接入后获取。
步骤3、如图2所示，对采集的生态环境数据和辅数据进行数据预处理；
在本实施例中，对采集的生态环境数据和辅数据的数据预处理包括：
基于采集的生态数据和辅数据进行数据补全；
对补全得到的生态数据和辅数据进行去均值化处理；
对去均值化处理得到的生态数据和辅数据进行数据归一化，得到预处理后的生态数据和辅数据。
具体而言，通过数据接口能够快速地从物联网中采集各个监测点检测到的生态环境数据，以及各个区域网格的人口、地理等数据。通过对采集到的数据依次进行数据补全、数据去均值化，以及采用最值归一化方法对数据归一化处理。
其中，通过数据补全可以补全缺失数据和去除异常数据，可以采用线性插值算法、LSTM插值、逻辑回归和克里金插值等进行数据补全。通过去均值化和数据归一化能够统一数据量纲，使数据数值不会影响到模型的权重，并且使数据梯度更平均，有助于模型的快速收敛和准确性。
步骤4、基于预处理后的生态环境数据和辅数据，通过深度学习方法确定生态环境数据与辅数据之间的映射模型；
具体而言，因为同一个区域中存在多个既有生态环境数据、又有辅数据的这种区域网格，基于这些区域网格的生态环境数据和辅数据，使用LSTM网络或Conv-LSTM网络，就可以将某一个生态环境数据先前一段时间内的通用关键相关因素连接到当前的训练任务上，将该生态环境数据前面的通用关键相关因素信息进行记忆，并应用于生态环境数据和辅数据的映射关联中。
具体的讲，以Conv-LSTM网络为例，在训练时会把各个区域网格内各自的、在一定时间周期内的辅数据作为输入，再加上卷积操作之后，不仅能够得到时序关系，还能够像卷积层一样提取特征，提取空间特征。这样就能够得到时空特征，并且将状态与状态之间的切换也换成了卷积计算。
步骤5、如图3所示，通过映射模型预测只具有辅数据的区域网格的生态环境预测数据，实现监测区域的数据稠密化。
根据映射模型即训练好的Conv-LSTM网络，将那些没有生态环境数据的区域网格中的辅数据分别作为输入，然后通过Conv-LSTM网络计算出各区域网格的输出，然后对输出的映射数据，采用现有的归一化还原方法和去均值化还原方法，对映射数据进行归一化还原和去均值化还原，得到真实的生态环境预测数据，即为各区域网格中的生态环境数据。
这样，在整个监测区域内本来只有少量区域网格内有生态环境数据，而通过步骤1至5，就可以使整个监测区域内的所有具有辅数据的区域网格都生产相应的生态环境数据，实现了整个监测区域内的生态环境数据从稀疏化到稠密化的过程。
最后需要说明的是，上述描述仅仅为本发明的优选实施例，本领域的普通技术人员在本发明的启示下，在不违背本发明宗旨及权利要求的前提下，可以做出多种类似的表示，这样的变换均落入本发明的保护范围之内。
Claims (8)
1.一种生态环境监测数据的稠密化处理方法，其特征在于，包括：
步骤1、对监测区域进行区域网格划分；
步骤2、采集各区域网格对应的生态环境数据和辅数据；
步骤3、对采集的生态环境数据和辅数据进行数据预处理；
步骤4、基于预处理后的生态环境数据和辅数据，通过深度学习方法确定生态环境数据与辅数据之间的映射模型；
步骤5、通过映射模型预测只具有辅数据的区域网格的生态环境预测数据，实现监测区域的数据稠密化。
2.根据权利要求1所述的生态环境监测数据的稠密化处理方法，其特征在于：所述步骤1将监测区域进行网格划分时根据深度学习处理数据的要求来进行划分。
3.根据权利要求1所述的生态环境监测数据的稠密化处理方法，其特征在于：所述步骤3包括：
基于采集的生态环境数据和辅数据进行数据补全；
对补全得到的生态环境数据和辅数据进行去均值化处理；
对去均值化处理得到的生态环境数据和辅数据进行数据归一化，得到预处理后的生态环境数据和辅数据。
4.根据权利要求3生态环境监测数据的稠密化处理方法，其特征在于：采用线性插值算法补全生态数据和辅数据。
5.根据权利要求1生态环境监测数据的稠密化处理方法，其特征在于：所述步骤4中深度学习包括使用LSTM网络或Conv-LSTM网络进行训练，得到映射模型。
6.根据权利要求1所述的生态环境监测数据的稠密化处理方法，其特征在于，所述辅数据包括人口信息、地理信息、气象信息。
7.根据权利要求6所述的生态环境监测数据的稠密化处理方法，其特征在于，通过MRF模型得到气象信息。
8.根据权利要求1所述的生态环境监测数据的稠密化处理方法，其特征在于，所述步骤5包括：
基于区域网格的生态环境数据和辅数据，通过映射模型得到区域网格的生态环境的映射数据；
对映射数据进行归一化还原和去均值化还原，得到真实的生态环境预测数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123724.0A CN111310103A (zh) | 2020-02-27 | 2020-02-27 | 生态环境监测数据的稠密化处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123724.0A CN111310103A (zh) | 2020-02-27 | 2020-02-27 | 生态环境监测数据的稠密化处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111310103A true CN111310103A (zh) | 2020-06-19 |
Family
ID=71156634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010123724.0A Pending CN111310103A (zh) | 2020-02-27 | 2020-02-27 | 生态环境监测数据的稠密化处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310103A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117113089A (zh) * | 2023-10-16 | 2023-11-24 | 北京英视睿达科技股份有限公司 | 基于一氧化碳的甲烷数据补全方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063908A (zh) * | 2018-07-30 | 2018-12-21 | 浙江鸿程计算机系统有限公司 | 一种基于深度多任务学习的城市aqi预测与空间细粒度aqi等级估计方法 |
| CN110263479A (zh) * | 2019-06-28 | 2019-09-20 | 浙江航天恒嘉数据科技有限公司 | 一种大气污染因子浓度时空分布预测方法及系统 |
| CN110567510A (zh) * | 2019-07-23 | 2019-12-13 | 北京英视睿达科技有限公司 | 大气污染监测方法、系统、计算机设备和存储介质 |
| CN110598953A (zh) * | 2019-09-23 | 2019-12-20 | 哈尔滨工程大学 | 一种时空相关的空气质量预测方法 |
| US20200110019A1 (en) * | 2017-06-09 | 2020-04-09 | Sense Square S.R.L.S. | Atmospheric pollution source mapping and tracking of pollutants by using air quality monitoring networks having high space-time resolution |
-
2020
- 2020-02-27 CN CN202010123724.0A patent/CN111310103A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200110019A1 (en) * | 2017-06-09 | 2020-04-09 | Sense Square S.R.L.S. | Atmospheric pollution source mapping and tracking of pollutants by using air quality monitoring networks having high space-time resolution |
| CN109063908A (zh) * | 2018-07-30 | 2018-12-21 | 浙江鸿程计算机系统有限公司 | 一种基于深度多任务学习的城市aqi预测与空间细粒度aqi等级估计方法 |
| CN110263479A (zh) * | 2019-06-28 | 2019-09-20 | 浙江航天恒嘉数据科技有限公司 | 一种大气污染因子浓度时空分布预测方法及系统 |
| CN110567510A (zh) * | 2019-07-23 | 2019-12-13 | 北京英视睿达科技有限公司 | 大气污染监测方法、系统、计算机设备和存储介质 |
| CN110598953A (zh) * | 2019-09-23 | 2019-12-20 | 哈尔滨工程大学 | 一种时空相关的空气质量预测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117113089A (zh) * | 2023-10-16 | 2023-11-24 | 北京英视睿达科技股份有限公司 | 基于一氧化碳的甲烷数据补全方法、装置、设备及介质 |
| CN117113089B (zh) * | 2023-10-16 | 2024-01-23 | 北京英视睿达科技股份有限公司 | 基于一氧化碳的甲烷数据补全方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| CN116186566B (zh) | 基于深度学习的扩散预测方法及系统 | |
| US10725008B2 (en) | Automatic siting for air quality monitoring stations | |
| CN116363601B (zh) | 一种污染监测设备的数据采集与分析方法及系统 | |
| CN110533239B (zh) | 一种智慧城市空气品质高精度测量方法 | |
| CN115796434B (zh) | 一种用于配电网的管控方法、装置、电子设备及存储介质 | |
| CN110381515B (zh) | 基于合分模式实现小区网络流量资源指标预测的方法 | |
| CN110555551A (zh) | 一种智慧城市的空气质量大数据管理方法及系统 | |
| CN113642263B (zh) | 基于北斗网格的空气质量预警方法和装置 | |
| CN116307212B (zh) | 一种空气质量预测方法及系统 | |
| CN116862081B (zh) | 一种污染治理设备运维方法及系统 | |
| CN113011455B (zh) | 一种空气质量预测svm模型构建方法 | |
| CN116307268B (zh) | 一种基于污染场地修复过程中的碳排放预测方法及系统 | |
| Lee et al. | An efficient prediction for heavy rain from big weather data using genetic algorithm | |
| CN115542429A (zh) | 一种基于XGBoost的臭氧质量预测方法及系统 | |
| CN115438582A (zh) | 一种联合多要素和图注意力的pm2.5浓度预测方法 | |
| CN111310103A (zh) | 生态环境监测数据的稠密化处理方法 | |
| CN117391139A (zh) | 基于改进UNet神经网络的天气现象预报订正方法 | |
| CN116960962A (zh) | 一种跨区域数据融合的中长期区域负荷预测方法 | |
| CN113344290B (zh) | 基于U-Net网络的次季节降水气象预报订正方法 | |
| Shukla et al. | Comparison of spatial modelling approaches to predict urban growth of Lucknow City, India | |
| LIU et al. | A case study on intelligent operation system for wireless networks | |
| CN117910657B (zh) | 碳排因子的预测方法、模型训练方法、计算设备、存储介质及程序产品 | |
| CN117113267B (zh) | 基于大数据的预测模型训练方法、光伏发电性能检测方法 | |
| KR102704545B1 (ko) | 트리 기반 기계학습 알고리즘과 기상 예측 자료를 이용한 시정 예측 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230601 Address after: No. 705, Unit 1, Building 3, No. 15, Wuke East 1st Road, Wuhou District, Chengdu City, Sichuan Province, 610000 Applicant after: Sichuan Wansi Sida Technology Co.,Ltd. Applicant after: Xie Guojin Address before: 5-1-10-1, Shidai Jincheng, No. 699, South Section 2, zangwei Road, Shuangliu District, Chengdu, Sichuan 610200 Applicant before: Xie Guoyu Applicant before: Liu Zhongyang |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |