CN112598050A - 生态环境数据质量控制方法 - Google Patents
生态环境数据质量控制方法 Download PDFInfo
- Publication number
- CN112598050A CN112598050A CN202011510297.8A CN202011510297A CN112598050A CN 112598050 A CN112598050 A CN 112598050A CN 202011510297 A CN202011510297 A CN 202011510297A CN 112598050 A CN112598050 A CN 112598050A
- Authority
- CN
- China
- Prior art keywords
- monitoring data
- data
- ecological environment
- monitoring
- quality control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 124
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 9
- MWUXSHHQAYIFBG-UHFFFAOYSA-N nitrogen oxide Inorganic materials O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 claims description 6
- 239000003945 anionic surfactant Substances 0.000 claims description 4
- 229910001385 heavy metal Inorganic materials 0.000 claims description 4
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 claims description 3
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 claims description 3
- 229910002091 carbon monoxide Inorganic materials 0.000 claims description 3
- 230000005670 electromagnetic radiation Effects 0.000 claims description 3
- 244000005700 microbiome Species 0.000 claims description 3
- 239000002689 soil Substances 0.000 claims description 3
- 239000002910 solid waste Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Abstract
本发明提供一种生态环境数据质量控制方法，包括以下步骤采集生态环境监测数据，得到原始监测数据；使用训练好的LSTM神经网络作为分类器，对原始监测数据进行分类，得到生态环境监测质控数据。LSTM神经网络分类器的训练过程如下，将某一类指标在某一个时间点测得的原始监测数据作为神经网络的输入，将自动标注得到的标注数据作为神经网络的输出；使用贝叶斯优化的方式进行自动调参。本发明可以解决现有技术中存在的在对生态环境监测时，从监测站点直接获取的原始监测数据，数据的真实性相对较低、质量不高的技术问题。
Description
技术领域
本发明涉及数据处理方法技术领域，具体涉及一种生态环境数据质量控制方法。
背景技术
2016年3月，我国环保部发布了《生态环境大数据建设总体方案》，为环保系统开展生态环境大数据建设提供了强有力的政策支撑和技术框架。目前在对生态环境的监督管理中，大数据技术已经逐步体现出了优势。因为对生态环境的污染，其产生的原因会受到多方面的影响；环境污染涉及的过程复杂，污染成因多样化，影响污染的因素多，各种因素之间又存在相互重叠、相互交叉。因此，仅仅靠传统单因素分析的方法，采用单独或分类治理的方案，不能解决生态环境污染的根本问题。这样就需要通过采用多元数据同化、多尺度数据耦合等大数据技术，对各种生态环境的污染及其相关数据进行多因素融合分析，更为及时准确的发现产生各种生态环境污染问题的根源。
但是在实际运用中，生态环境大数据却具有相对较高的不确定性，从监测站点直接获取的原始监测数据，其真实性相对较低，质量不高。这是因为从数据的真实性来看，虽然应用于生态环境监测领域的各种传感器监测精度都很高，但这些仪器往往会顺带记录大量的周边环境数据，而我们需要的数据却可能会淹没在大量数据中。
鉴于对对生态环境大数据的数据质量要求，需要对从监测站点直接获取的原始监测数据进行预处理和质量控制，为后续的生态环境监督管理提供高质量的数据作为支撑。
发明内容
针对现有技术存在的不足，本发明提出一种生态环境数据质量控制方法，以解决现有技术中存在的在对生态环境监测时，从监测站点直接获取的原始监测数据，数据的真实性相对较低、质量不高的技术问题。
本发明采用的技术方案是，一种生态环境数据质量控制方法
在第一种可实现方式中，包括以下步骤：
采集生态环境监测数据，得到原始监测数据；
使用训练好的LSTM神经网络作为分类器，对原始监测数据进行分类，得到生态环境监测质控数据。
结合第一种可实现方式，在第二种可实现方式中，生态环境监测数据包括水质监测数据、空气质量监测数据、土壤监测数据、固体废物监测数据、微生物监测数据、噪声监测数据、电磁辐射监测数据、放射性监测数据、热监测数据、光监测数据。
结合第二种可实现方式，在第三种可实现方式中，水质监测数据包括酸碱度、重金属、阴离子表面活性剂。
结合第二种可实现方式，在第四种可实现方式中，水质监测数据包括酸碱度、重金属、阴离子表面活性剂。
空气质量监测数据包括PM2.5、PM10、一氧化碳、氮氧化物、二氧化硫、臭氧。
结合第二种可实现方式，在第五种可实现方式中，噪声监测数据包括噪声值、监测时段。
结合第一种可实现方式，在第六种可实现方式中，LSTM神经网络的训练过程如下：
将原始监测数据作为神经网络的输入，将标注数据作为神经网络的输出；
使用贝叶斯优化的方式进行自动调参。
结合第六种可实现方式，在第七种可实现方式中，使用贝叶斯优化的方式进行自动调参，具体如下：
选定需优化的超参数集合，设定LSTM通道隐藏层数、Conv1D通道隐藏层数、
各隐藏层卷积核单元数、Conv1D各隐藏层卷积步长、随机丢弃单元比例、设定分类器全连接单元数、训练批次、激活函数、权重偏离参数；
设定贝叶斯模型参数，贝叶斯模型参数包括贝叶斯模型尝试轮次、优化算法、最优化目标函数；
贝叶斯模型自动根据搜索空间选取参数组合，针对该参数组合进行训练，并求得最优化目标函数值；
比较最优化目标函数值以及深度学习预测精准度，选出并记录最优的参数组合。
结合第七种可实现方式，在第八种可实现方式中，LSTM通道隐藏层数为8-12均匀分布；
Conv1D通道隐藏层数为8-12均匀分布；
Conv1D各隐藏层卷积核单元数为256-512-1024随机分布；
Conv1D各隐藏层卷积步长为5-8随机分布；
随机丢弃单元比例为20％-40％正态分布；
分类器全连接单元数为8-256均匀分布；
训练批次为128、256或512；
激活函数为RELU或THAN；
权重偏离参数为0-0.000001随机分布。
结合第七种可实现方式，在第九种可实现方式中，贝叶斯模型尝试轮次为100-200次；
优化算法为树状结构Parzen估计方法；
最优化目标函数为深度学习测试集损失函数VAL_LOSS*-1。
由上述技术方案可知，本发明的有益技术效果如下：
1.通过LSTM神经网络分类器，可以实现对原始监测数据的分类；将符合标准规范要求的原始监测数据作为生态环境监测质控数据，将在标准规范要求之外原始监测数据剔除；使用预处理的方式解决了从监测站点直接获取的原始监测数据，数据的真实性相对较低，质量不高的问题。
2.构建X集合的过程、LSTM神经网络的超参数都使用贝叶斯算法进行优化，不需要人工不停调参、不停的进行主因子分析，这样可以大量节约人力，并且能得到更精准的超参数。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明方法流程图；
图2为本发明LSTM神经网络训练流程图；
图3为本发明贝叶斯优化调参流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
本发明提供一种生态环境数据质量控制方法
在第一种可实现方式中，包括以下步骤：
采集生态环境监测数据，得到原始监测数据；
使用训练好的LSTM神经网络作为分类器，对原始监测数据进行分类，得到生态环境监测质控数据。
以下对实施例1工作原理进行详细说明：
1、采集生态环境监测数据，得到原始监测数据
目前，环境监测的对象包括水质监测、空气质量监测、土壤监测、固体废物监测、微生物监测、噪声监测、电磁辐射监测、放射性监测、热监测、光监测等。其中最主要的监测数据如下：
空气质量监测数据，一般监测的对象为PM2.5、PM10、一氧化碳、氮氧化物、二氧化硫、臭氧等；
水质监测数据，一般监测的对象为酸碱度、重金属、阴离子表面活性剂等；
噪声监测数据，一般监测的对象为噪声值、监测时段等。
首先，对上述生态环境的监测数据进行采集，采集的方式不作限定，以现有技术能实现即可，在本实施例中举例说明。比如：对于空气质量监测，可选用空气和废气监测仪器；对于水质监测数据，可选用污染源和环境水质监测仪器，等等。采集到的数据为原始监测数据，通过通信网络传输到远程平台，远程平台不作限定，可以是一种生态环境管理系统。
对于原始监测数据，可以通过判断其真实性来衡量数据的质量高低。一般来说，原始监测数据异常，最为常见的是下述两种情况：
第一种情况是对于同一个监测点，使用了多台监测设备，但是多台监测设备各自测得的监测数据之间有冲突。比如：对于某一个监测点，同时有2台监测设备的监测范围可以覆盖该监测点。这样在同一时间段，2台监测设备就会对这一个监测点，就会采集到2个监测数据。而对于同一个指标，这2个监测数据可能是不一致，比如第1台为50，第二台为60。采用传统的人为判断，不好分辨出哪一个数据一定是对的，哪一个数据一定是错的，因为不同监测设备的精度不完全一致。但同一台设备监测得到的数据，其相对于标准值的正负误差，基本是恒定的。比如设备A的监测数据相对于标准值始终是负5～10％，单设备A的某一些监测数据，相对于标准值负20％，那就说明设备A的这一些监测数据可能有问题。
第二种情况是两种不同指标的监测数据，这两种监测数据之间的关系不符合常理。比如在同一时间同一地点，使用同一台设备测得的PM2.5的值大于PM10的值，而实际情况是因PM10中包含了PM2.5，所以PM2.5的值肯定是小于PM10的值。
2、使用训练好的LSTM神经网络作为分类器，对原始监测数据进行分类，得到生态环境监测质控数据
对于大量的原始监测数据，可以使用训练好的深度神经网络模型作为分类器，对原始监测数据进行分类，将异常的原始监测数据剔除，得到质量合格的生态环境监测质控数据，具体如下：
首先，建立一个深度神经网络模型。在本实施例中，选用LSTM神经网络(长短期记忆网络)，LSTM神经网络通过当前输入及上一时刻的输出来得到当前输出，可以利用上一时刻学习到的信息进行当前时刻的学习。选用LSTM神经网络可以将各种监测原始数据在时序上实现相关联，便于对神经网络模型进行训练。比如：对于某一类指标在某一个时间点采集到的原始监测数据，可以关联其在时序上、前后时间点的原始监测数据，判断这个数据是否偏离了监测值的正常波动范围。
在训练时，将某一类指标在某一个时间点测得的原始监测数据作为神经网络的输入，将自动标注得到的标注数据作为神经网络的输出。对于生态环境数据，因为有国家标准，所以各类生态环境数据从定义来看就会有一定的合理范围区间，而如果这个数据是偏高的、偏低的、超出范围的，则说明该数据是不合理的。对于LSTM神经网络的训练，将部分原始监测数据作为训练集，在训练时，数据是从训练集里随机取出来的，神经网络的输出Y就是对数据的结论。这个Y在训练前期需要人为打上标注，但标注时因为有一整套根据国家标准得出的判断规则，所以标注是一种根据规则的自动标注的过程。具体的，可以通过映射关系表进行自动标注。
对于深度神经网络的调参，是一个比较复杂和耗时的过程，通常情况下需要人工开展大量的工作，进行多次尝试。调参目的是为了得到神经网络本身的超参数，比如：网络有多少层，每个层上有多少个节点，每个节点的正则化参数，权重偏离，批次大小；当网络的多种X作为输入时，哪种X会对最后的输出Y会造成最大的影响。
在本实施中，使用贝叶斯优化的方式，进行自动调参。贝叶斯定理公式如下：
使用贝叶斯优化进行自动调参，是基于数据使用贝叶斯定理估计目标函数的后验分布，然后再根据分布选择下一个采样的超参数组合。它充分利用了前一个采样点的信息，其优化的工作方式是通过对目标函数形状的学习，并找到使结果向全局最大提升的参数。使用LSTM神经网络可以很好地将前一个采样点和后一个采样点之间关联起来。使用贝叶斯优化进行自动调参，具体的过程如下：
首先，选取并设定需优化的超参数集合，搜索范围如下：
设定LSTM通道隐藏层数为8-12均匀分布；
设定Conv1D通道隐藏层数为8-12均匀分布；
设定Conv1D各隐藏层卷积核单元数为256-512-1024随机分布；
设定Conv1D各隐藏层卷积步长为5-8随机分布；
设定随机丢弃单元比例为20％-40％正态分布；
设定分类器全连接单元数为8-256均匀分布；
设定训练批次为128、256或512；
设定激活函数为RELU或THAN；使用上述激活函数在训练时没有饱和区，不存在梯度消失问题；没有复杂的指数运算，计算简单、效率提高；实际收敛速度较快；
设定权重偏离参数为0-0.000001随机分布。
其次，设定贝叶斯模型参数并进行训练：
设定贝叶斯模型尝试轮次为100-200次；
设定优化算法为树状结构Parzen估计方法(TPE，Tree-structured ParzenEstimator Approach)；相较于其他贝叶斯优化算法，TPE的计算速度更快。
设定最优化目标函数为深度学习测试集损失函数VAL_LOSS*-1；损失函数VAL_LOSS*-1在训练过程中可微调，便于回归。
开始进行贝叶斯优化训练。
然后，自动选取最优化参数组合：
贝叶斯模型自动根据搜索空间选取参数组合；
针对该参数组合进行训练，并求得最优化目标函数值；
比较最优化目标函数值，以及深度学习预测精准度；
若最优化目标函数优于之前，则选择该超参数组合；
以当前的组合开始，重复本步骤(第三步)，直到选出最优的参数组合。
最后，记录选出最优的参数组合。
在本实施例中，对于生态环境数值使用LSTM神经网络作为分类器时，采用上述使用贝叶斯优化进行自动调参的技术方案对LSTM神经网络进行超参数优化，举例说明如下：
{'Activation':'relu','Conv1D_cells':11,'Conv1D_filters1':512,'Conv1D_filters10':256,'Conv1D_filters11':256,'Conv1D_filters2':256,'Conv1D_filters3':1024,'Conv1D_
filters4':512,'Conv1D_filters5':256,'Conv1D_filters6':512,'Conv1D_filters7':256,'Conv1D_filters8':256,'Conv1D_filters9':1024,'Conv1D_kernel_size1':8,'Conv1D_kernel_size10':8,'Conv1D_ke
rnel_size11':5,'Conv1D_kernel_size2':8,'Conv1D_kernel_size3':8,'Conv1D_kernel_size4':8,'Conv1D_kernel_size5':5,'Conv1D_kernel_size6':8,'Conv1D_kernel_size7':5,'Conv1D_kernel_size8':5,'
Conv1D_kernel_size9':8,'Dense1':256,'Dense2':64,'Dense3':8,'LSTM1':1024,'LSTM10':256,'LSTM11':512,'LSTM2':256,'LSTM3':256,'LSTM4':1024,'LSTM5':256,'LSTM6':256,'LSTM7':1024,'L
STM8':1024,'LSTM9':512,'LSTM_cells':8,'batch_size':128,'dropout1':0.29775878953166957,'out':3,'weight_decay':8.524963244383268e-07}
构建X集合的过程、LSTM神经网络的超参数都使用贝叶斯算法进行优化，这样可以大量节约人力，并且能得到更精准的超参数。
这样通过上述技术方案，将多个原始监测数据分为训练集和验证集，通过深度学习的方式对LSTM神经网络进行训练，得到LSTM神经网络分类器，该分类器为一个神经网络模型，可以判断出哪些生态环境数据是符合标准规范要求的，哪些是在标准规范要求之外的，可以实现对原始监测数据的分类；将符合标准规范要求的原始监测数据作为生态环境监测质控数据，将在标准规范要求之外原始监测数据剔除。剔除的原始监测数据可保留在数据库的其它空间，以备他用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (9)
1.一种生态环境数据质量控制方法，其特征在于，包括以下步骤：
采集生态环境监测数据，得到原始监测数据；
使用训练好的LSTM神经网络作为分类器，对原始监测数据进行分类，得到生态环境监测质控数据。
2.根据权利要求1所述的生态环境数据质量控制方法，其特征在于：所述生态环境监测数据包括水质监测数据、空气质量监测数据、土壤监测数据、固体废物监测数据、微生物监测数据、噪声监测数据、电磁辐射监测数据、放射性监测数据、热监测数据、光监测数据。
3.根据权利要求2所述的生态环境数据质量控制方法，其特征在于：所述水质监测数据包括酸碱度、重金属、阴离子表面活性剂。
4.根据权利要求2所述的生态环境数据质量控制方法，其特征在于：所述空气质量监测数据包括PM2.5、PM10、一氧化碳、氮氧化物、二氧化硫、臭氧。
5.根据权利要求2所述的生态环境数据质量控制方法，其特征在于：所述噪声监测数据包括噪声值、监测时段。
6.根据权利要求1所述的生态环境数据质量控制方法，其特征在于：所述LSTM神经网络的训练过程如下：
将原始监测数据作为神经网络的输入，将标注数据作为神经网络的输出；
使用贝叶斯优化的方式进行自动调参。
7.根据权利要求6所述的生态环境数据质量控制方法，其特征在于，所述使用贝叶斯优化的方式进行自动调参，具体如下：
选取并设定需优化的超参数集合，包括LSTM通道隐藏层数、Conv1D通道隐藏层数、各隐藏层卷积核单元数、Conv1D各隐藏层卷积步长、随机丢弃单元比例、设定分类器全连接单元数、训练批次、激活函数、权重偏离参数；
设定贝叶斯模型参数，所述贝叶斯模型参数包括贝叶斯模型尝试轮次、优化算法、最优化目标函数；
贝叶斯模型自动根据搜索空间选取参数组合，针对该参数组合进行训练，并求得最优化目标函数值；
比较最优化目标函数值以及深度学习预测精准度，选出并记录最优的参数组合。
8.根据权利要求7所述的生态环境数据质量控制方法，其特征在于：
所述LSTM通道隐藏层数为8-12均匀分布；
所述Conv1D通道隐藏层数为8-12均匀分布；
所述Conv1D各隐藏层卷积核单元数为256-512-1024随机分布；
所述Conv1D各隐藏层卷积步长为5-8随机分布；
所述随机丢弃单元比例为20％-40％正态分布；
所述分类器全连接单元数为8-256均匀分布；
所述训练批次为128、256或512；
所述激活函数为RELU或THAN；
所述权重偏离参数为0-0.000001随机分布。
9.根据权利要求7所述的生态环境数据质量控制方法，其特征在于：
所述贝叶斯模型尝试轮次为100-200次；
所述优化算法为树状结构Parzen估计方法；
所述最优化目标函数为深度学习测试集损失函数VAL_LOSS*-1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011510297.8A CN112598050A (zh) | 2020-12-18 | 2020-12-18 | 生态环境数据质量控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011510297.8A CN112598050A (zh) | 2020-12-18 | 2020-12-18 | 生态环境数据质量控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598050A true CN112598050A (zh) | 2021-04-02 |
Family
ID=75200081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011510297.8A Pending CN112598050A (zh) | 2020-12-18 | 2020-12-18 | 生态环境数据质量控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598050A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780891A (zh) * | 2021-09-29 | 2021-12-10 | 河北省科学院地理科学研究所 | 一种海岸带受损生态系统评估方法 |
| TWI773507B (zh) * | 2021-09-01 | 2022-08-01 | 國立陽明交通大學 | 預測系統可靠度之方法與裝置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040220892A1 (en) * | 2003-04-29 | 2004-11-04 | Ira Cohen | Learning bayesian network classifiers using labeled and unlabeled data |
| CN108712809A (zh) * | 2018-05-18 | 2018-10-26 | 浙江工业大学 | 一种基于神经网络的光环境智能控制方法 |
| US20190005353A1 (en) * | 2017-06-30 | 2019-01-03 | Axis Ab | Method and system for training a neural network to classify objects or events |
| CN110263977A (zh) * | 2019-05-24 | 2019-09-20 | 河南大学 | 基于lstm神经网络模型的优化预测pm2.5的方法及装置 |
| CN110443364A (zh) * | 2019-06-21 | 2019-11-12 | 深圳大学 | 一种深度神经网络多任务超参数优化方法及装置 |
| CN110533248A (zh) * | 2019-09-02 | 2019-12-03 | 中科格物智信(天津)科技有限公司 | 融合机器学习和lstm的大气污染物浓度预测方法 |
| CN111694962A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置 |
-
2020
- 2020-12-18 CN CN202011510297.8A patent/CN112598050A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040220892A1 (en) * | 2003-04-29 | 2004-11-04 | Ira Cohen | Learning bayesian network classifiers using labeled and unlabeled data |
| US20190005353A1 (en) * | 2017-06-30 | 2019-01-03 | Axis Ab | Method and system for training a neural network to classify objects or events |
| CN108712809A (zh) * | 2018-05-18 | 2018-10-26 | 浙江工业大学 | 一种基于神经网络的光环境智能控制方法 |
| CN111694962A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置 |
| CN110263977A (zh) * | 2019-05-24 | 2019-09-20 | 河南大学 | 基于lstm神经网络模型的优化预测pm2.5的方法及装置 |
| CN110443364A (zh) * | 2019-06-21 | 2019-11-12 | 深圳大学 | 一种深度神经网络多任务超参数优化方法及装置 |
| CN110533248A (zh) * | 2019-09-02 | 2019-12-03 | 中科格物智信(天津)科技有限公司 | 融合机器学习和lstm的大气污染物浓度预测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI773507B (zh) * | 2021-09-01 | 2022-08-01 | 國立陽明交通大學 | 預測系統可靠度之方法與裝置 |
| CN113780891A (zh) * | 2021-09-29 | 2021-12-10 | 河北省科学院地理科学研究所 | 一种海岸带受损生态系统评估方法 |
| CN113780891B (zh) * | 2021-09-29 | 2022-11-04 | 河北省科学院地理科学研究所 | 一种海岸带受损生态系统评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106874581B (zh) | 一种基于bp神经网络模型的建筑空调能耗预测方法 | |
| CN107315884B (zh) | 一种基于线性回归的建筑能耗建模方法 | |
| CN106779223B (zh) | 一种光伏系统发电功率实时预测方法及装置 | |
| CN110163429B (zh) | 一种基于相似日优化筛选的短期负荷预测方法 | |
| CN108428017B (zh) | 基于核极限学习机分位数回归的风电功率区间预测方法 | |
| CN113610243B (zh) | 基于耦合机器学习和相关性分析的大气污染物溯源方法 | |
| CN110716512A (zh) | 一种基于燃煤电站运行数据的环保装备性能预测方法 | |
| CN111539355A (zh) | 一种基于深层神经网络的光伏板异物检测系统及检测方法 | |
| CN112598050A (zh) | 生态环境数据质量控制方法 | |
| CN110263934B (zh) | 一种人工智能数据标注方法和装置 | |
| CN112819107B (zh) | 基于人工智能的燃气调压设备故障预测方法 | |
| CN112163367B (zh) | 融合萤火虫算法和元胞自动机的城市扩张模拟预测方法 | |
| CN112990558B (zh) | 一种基于深度迁移学习的气象温度、光照的预测方法 | |
| CN111814956A (zh) | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 | |
| CN115526298A (zh) | 一种高鲁棒性的大气污染物浓度综合预测方法 | |
| CN111833970B (zh) | 一种水泥熟料质量表征参数预测模型构建方法及其应用 | |
| CN115796434A (zh) | 一种用于配电网的管控方法、装置、电子设备及存储介质 | |
| CN114970926A (zh) | 一种模型训练方法、企业经营风险预测方法和装置 | |
| CN115936177A (zh) | 一种基于神经网络的光伏输出功率预测方法及系统 | |
| CN112272074A (zh) | 一种基于神经网络的信息传输速率控制方法及系统 | |
| CN116448161A (zh) | 一种基于人工智能的环境监测设备故障诊断方法 | |
| CN109214500A (zh) | 一种基于混合智能算法的变压器故障识别方法 | |
| CN113408659A (zh) | 一种基于数据挖掘的建筑能耗集成分析方法 | |
| CN110807174B (zh) | 一种基于统计分布的污水厂厂群出水分析及异常识别方法 | |
| CN117113086A (zh) | 一种储能机组负荷预测方法、系统、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |