CN110672804B - 一种城市河涌水体典型有机污染物智能检测方法 - Google Patents
一种城市河涌水体典型有机污染物智能检测方法 Download PDFInfo
- Publication number
- CN110672804B CN110672804B CN201910942058.0A CN201910942058A CN110672804B CN 110672804 B CN110672804 B CN 110672804B CN 201910942058 A CN201910942058 A CN 201910942058A CN 110672804 B CN110672804 B CN 110672804B
- Authority
- CN
- China
- Prior art keywords
- layer
- cnn
- pca
- convolution
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 73
- 239000002957 persistent organic pollutant Substances 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 83
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 61
- 210000002569 neuron Anatomy 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 7
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 230000033116 oxidation-reduction process Effects 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 210000002364 input neuron Anatomy 0.000 claims description 3
- 239000000575 pesticide Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000013441 quality evaluation Methods 0.000 abstract description 4
- 238000000513 principal component analysis Methods 0.000 description 10
- WCXDHFDTOYPNIE-RIYZIHGNSA-N (E)-acetamiprid Chemical compound N#C/N=C(\C)N(C)CC1=CC=C(Cl)N=C1 WCXDHFDTOYPNIE-RIYZIHGNSA-N 0.000 description 6
- PGOOBECODWQEAB-UHFFFAOYSA-N (E)-clothianidin Chemical compound [O-][N+](=O)\N=C(/NC)NCC1=CN=C(Cl)S1 PGOOBECODWQEAB-UHFFFAOYSA-N 0.000 description 6
- HOKKPVIRMVDYPB-UVTDQMKNSA-N (Z)-thiacloprid Chemical compound C1=NC(Cl)=CC=C1CN1C(=N/C#N)/SCC1 HOKKPVIRMVDYPB-UVTDQMKNSA-N 0.000 description 6
- 239000005875 Acetamiprid Substances 0.000 description 6
- 239000005888 Clothianidin Substances 0.000 description 6
- 239000005906 Imidacloprid Substances 0.000 description 6
- 239000005940 Thiacloprid Substances 0.000 description 6
- 239000005941 Thiamethoxam Substances 0.000 description 6
- YWTYJOPNNQFBPC-UHFFFAOYSA-N imidacloprid Chemical compound [O-][N+](=O)\N=C1/NCCN1CC1=CC=C(Cl)N=C1 YWTYJOPNNQFBPC-UHFFFAOYSA-N 0.000 description 6
- 229940056881 imidacloprid Drugs 0.000 description 6
- NWWZPOKUUAIXIW-FLIBITNWSA-N thiamethoxam Chemical compound [O-][N+](=O)\N=C/1N(C)COCN\1CC1=CN=C(Cl)S1 NWWZPOKUUAIXIW-FLIBITNWSA-N 0.000 description 6
- 230000002265 prevention Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000002917 insecticide Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000476 body water Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000001294 liquid chromatography-tandem mass spectrometry Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 150000002894 organic compounds Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
- G01N33/1826—Organic contamination in water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
- G01N33/1826—Organic contamination in water
- G01N33/184—Herbicides, pesticides, fungicides, insecticides or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种城市河涌水体典型有机污染物智能检测方法，包括以下步骤：获取水体典型有机污染物软测量建模用输入自变量和输出变量；采用迭代寻优方法获得卷积神经网络CNN各卷积层最佳卷积核数；通过PCA算法提取训练样本数据主成分，对CNN输入数据进行降维优化；改进CNN自变量输入方式，将图像分类模型变换为回归预测模型；利用主成分‑卷积神经网络构建PCA‑CNN模型并进行训练；通过训练后PCA‑CNN模型对水体典型有机污染物浓度进行软测量，获得分析结果；本发明构建PCA‑CNN模型，能有效预测河涌水体典型有机污染物浓度，准确度高，操作简便，为城市河涌水体污染快速监测及水质评价提供了一种高效方法。
Description
技术领域
本发明涉及水质检测技术研究领域，特别涉及一种城市河涌水体典型有机污染物智能检测方法。
背景技术
城市河涌水体水质状况关系到人居水环境安全和健康，由于公众环保意识缺乏，近年城市河涌水体水质不断恶化，黑臭水体不断增多，对生态环境和人体健康造成严重威胁。城市污水处理系统尾水、周边工农业活动排放水中携带的典型微、痕量有机化合物(如农药、杀虫剂等)在城市河涌水体中广泛分布、持久存在、难以降解，是河涌水体水质污染和恶化的主要原因。因此需要加强对城市河涌水体典型有机污染物的监测，掌握污染状况及时空异变规律，进而加强对河涌水体有机污染物污染监管和防控，改善城市河涌水体水环境。
城市河涌水体有机污染物一般浓度较低，检测时常常需要进行前处理，用于目标有机污染物浓缩、净化，之后借助仪器分析获得污染物浓度。常用检测仪器包括气相色谱(GC)、高效液相色谱(HPLC)、气相色谱质谱联用(GC-MS)、液相色谱串联质谱(LC-MS/MS)等，此类仪器检出限低、灵敏度高、准确度高，能够准确获得水中典型有机污染物浓度，但其价格昂贵，对操作人员要求较高，且样本前处理和分析非常耗时，难以实现水体典型有机污染物快速检测。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种城市河涌水体典型有机污染物智能检测方法，基于城市河涌水体有机污染物在线监测系统有机污染物浓度与常规水质指标、模型优化参数之间的关系，充分利用主成分分析(PCA)降维去噪和卷积神经网络(CNN)高效提取特征的能力，创建基于PCA-CNN网络的城市河涌水体有机污染物浓度预测模型，对城市河涌水体典型有机污染物浓度进行预测、监测，更好地推动城市河涌水体污染防控和水质评价，改善城市河涌水体水环境。
本发明的目的通过以下的技术方案实现：
一种城市河涌水体典型有机污染物智能检测方法，其特征在于，包括以下步骤：
S1、获取河涌水体典型有机污染物软测量建模的输入自变量和输出变量；
S2、采用迭代寻优方法获得卷积神经网络CNN各卷积层最佳卷积核数；
S3、通过PCA算法提取原始训练集和测试集的主成分，去除原始高维数据中的亢余信息和噪音信息，获取降维优化后的新训练集和新测试集；
S4、改进CNN自变量输入方式，将图像分类模型变换为回归预测模型；
S5、依据CNN各卷积层最佳卷积核数、降维去噪后训练数据、改进CNN自变量输入方式，构建主成分-卷积神经网络PCA-CNN模型；
S6、利用降维去噪后训练数据通过动量随机梯度下降法对PCA-CNN模型进行训练，得训练后PCA-CNN模型；
S7、使用训练后PCA-CNN模型对城市河涌水体典型有机污染物浓度进行在线软测量，并获得分析结果。
进一步地，所述输入自变量包括水体pH、溶解氧DO、电导率TDS、氧化还原电位ORP；所述输出变量包括典型有机杀虫剂浓度。
进一步地，所述步骤S2具体为：
S201、按照8:2比例将样本数据划分为训练集与测试集，均匀随机选取样本中80％组数据为训练集，20％组数据为测试集；
S202、获取K个卷积层卷积核候选值，将候选值的行向量设为矩阵A＝[A1,A2…AK]，所选取的卷积核数为A(i)，i为矩阵中元素的顺序；
S203、把CNN用第i个卷积核训练时输出变量的均方误差之和记为MSE(i)，设置一个初始误差值MSE_MAX，令MSE_MAX＝100；
S204、设置CNN每次迭代都会初始化状态，且初始化状态相同，开始迭代寻优；
S205、当MSE(i)＜MSE_MAX时，则把此时MSE(i)的赋值给MSE_MAX，并标记此时的A(i)为desired_A(i)；
S206、当所有卷积层卷积核候选值迭代完成，此时的MSE_MAX即为MSE(i)最小值，对应的desired_A(i)即为最佳卷积核数。
进一步地，所述步骤S3具体为：
S301、将训练集进行标准化处理，即为每组变量减去均值再除以标准差，则标准化后的训练集为：
P_train(k,:)＝(p_train(k,:)-mu)./sig，
其中，P_train为标准化后的训练集，p_train为原始的训练集，(k,:)为样本第行数据，mu为训练集平均值，sig为训练集标准差；
S302、将标准化后的训练集P_train输入pca，得到特征向量、特征值、训练集新成分：
[coeff,score,latent]＝pca(P_train)，
其中，coef为训练集特征向量，latent为每个变量中对应特征值，score为经过pca分析后新的数据成分；
S303、计算score中每一列数据的贡献率，将score中累计贡献率大于85％的前n列数据提取出来，即为训练集主成分；
S304、将测试集进行标准化处理，标准化后的测试集为：
p_test(j,:)＝(ptest(j,:)-mu)./sig，
其中，p_test为标准化后测试集，ptest为原始测试集，(j,:)为测试样本第行数据；
S305、计算出训练集标准化后的平均值，把该平均值复制x次，组成平均值矩阵，使用测试集减去平均值再乘以训练集特征向量，得到测试集新成分：
P_test＝[p_test-repmat(Mu,x,1)]*coeff，
其中，P_test为测试集新成分，p_test为标准化后的测试集，Mu为训练集平均值，repmat(Mu,x,1)为将训练集平均值复制x次，coeff为训练集特征向量；
S306、提取P_test的前n列数据为测试集主成分。
进一步地，所述步骤S4具体为：
根据训练样本主成分将CNN自变量输入方式进行改进，即将图片像素修改为1*训练样本主成分数*1，将图像分类模型变换为回归预测模型。
进一步地，所述PCA-CNN模型包含有输入层、卷积层、池化层、全连接层、回归层。
进一步地，所述PCA-CNN模型具体结构如下：
第一层为输入层，用于导入输入数据并传递给下一层网络，在输入层输入PCA算法提取的前n个自变量的主成分，其中，自变量输入方式为1*n*1，输入矩阵表示为：
X＝(X1,X2…Xn)，
其中，Xn为自变量第n个主成分；
第二层为第一卷积层，第一卷积层以1*2的步长在数据块上做卷积，每卷积一次得一个特征图，则经过第一次卷积后的输出为：
其中，
为第l层第j个神经元的输出，
为卷积层的输入神经元，
为第l层卷积核，f()为传递函数，且f()＝Relu；
第三层为池化层，用于带第一卷积层输出的特征图进行降采样，经过池化层的输出为：
其中，
为第l+1层第m个神经元的输出，
为特征图系数，down为池化函数，所述池化函数为平均池化函数；
第四层为第二卷积层，卷积输出过程与第一卷积层相同；
第五层为全连接层，全连接层的每个节点与前一层所有节点相连，全连接层的节点数设置为5，则经过全连接层的输出为：
其中，
为第l+2层第k个神经元的输出，wjk为前一层中第j个神经元与该层第k个神经元的权值，Oj为前一层中第j个神经元的输出，bk为第k个神经元阈值；
第六层为回归层，输出水体典型有机污染物浓度预测结果。
进一步地，所述步骤S6具体为：
S601、对网络权值进行随机初始化；
S602、计算实际值与预测值之间的误差ei：
ei＝di-yi，
其中，di为实际值，yi为预测值；
S603、根据增量公式计算权重更新值Δwij：
其中，xj为输入节点j的输出，α为学习率，ui为输出节点i的加权和，
为激活函数，
为
的导函数；
S604、把动量加入权重更新值，得到更新后的权重：
w＝w+m＝w+Δwij+βm-，
其中，β为常量，β取值范围是0～1，m为动量，m-为前一个动量；
S605、通过动量驱动的随机梯度下降法对整个PCA-CNN网络层依次进行训练，得到整个PCA-CNN网络权值更新值。
进一步地，所述在线检测使用固定采集时间间隔。
本发明与现有技术相比，具有如下优点和有益效果：
本发明采用PCA算法及动量随机梯度下降法优化训练卷积神经网络CNN，增强了模型预测性能与稳定性，操作简单，输入基本水质参数指标，借助模型学习训练即能够准确、高效估算城市河涌水体典型有机污染物浓度。
附图说明
图1是本发明所述一种城市河涌水体典型有机污染物智能检测方法流程图；
图2是本发明实施例中PCA-CNN模型模块结构图；
图3是本发明实施例中啶虫脒浓度预测值与真实值对比图；
图4是本发明实施例中噻虫胺浓度预测值与真实值对比图；
图5是本发明实施例中吡虫啉浓度预测值与真实值对比图；
图6是本发明实施例中噻虫啉浓度预测值与真实值对比图；
图7是本发明实施例中噻虫嗪浓度预测值与真实值对比图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例:
一种城市河涌水体典型有机污染物智能检测方法，实施流程如图1所示，基于城市河涌水体有机污染物在线监测系统有机污染物浓度与常规水质指标、模型优化参数之间的关系，充分利用主成分分析(PCA)降维去噪和卷积神经网络(CNN)高效提取特征的优势，创建基于PCA-CNN耦合网络的城市河涌水体有机污染物浓度预测模型，对城市河涌水体啶虫脒、噻虫胺、吡虫啉、噻虫啉、噻虫嗪浓度进行监测，进而促进对城市河涌水体水质污染防控及水质评价。
具体过程如下：
第一步、获取城市河涌水体典型有机污染物软测量建模的输入自变量和输出变量；即选取城市河涌水体水质污染控制系统的输入自变量包括pH、溶解氧DO、电导率TDS、氧化还原电位ORP；输出变量包括典型有机杀虫剂浓度，即啶虫脒、噻虫胺、吡虫啉、噻虫啉、噻虫嗪浓度；
第二步、采用迭代寻优方法获得卷积神经网络CNN各卷积层最佳卷积核数；如下：
S201、按照8:2比例将样本数据划分为训练集与测试集，均匀随机选取样本中80％组数据为训练集，20％组数据为测试集；
S202、获取8个卷积层卷积核候选值，(16 32 64 128 256 512 1024 2048)，将候选值的行向量设为矩阵A＝[16,32,64,128,256,512,1024,2048]；所选取的卷积核数为A(i)，i为矩阵中元素的顺序；
S203、把CNN用第i个卷积核训练时的五个输出变量的均方误差之和记为MSE(i)，设置一个初始误差值MSE_MAX，令MSE_MAX＝100；
S204、在matlab中输入rand(‘state’,0)命令，设置CNN每次迭代都保证初始化状态相同，开始迭代寻优；
S205、当MSE(i)＜MSE_MAX时，则把此时MSE(i)的赋值给MSE_MAX，并标记此时的A(i)为desired_A(i)；
S206、当所有卷积层卷积核候选值迭代完成，此时的MSE_MAX即为MSE(i)最小值，对应的desired_A(i)即为最佳卷积核数，最终确定最佳卷积核数为32。
第三步、通过PCA算法提取原始训练集和测试集的主成分，去除原始高维数据中亢余信息和噪音信息，获取降维优化后的新训练集和新测试集；
在训练之前，先用主成分分析提取训练集主成分，具体如下：
S301、将训练集进行标准化处理，即为每组变量减去均值再除以标准差，则标准化后的训练集为：
P_train(k,:)＝(p_train(k,:)-mu)./sig，
其中，P_train为标准化后的训练集，p_train为原始的训练集，(k,:)为样本第行数据，mu为训练集平均值，sig为训练集标准差；
S302、将标准化后的训练集P_train输入pca，得到特征向量、特征值、训练集新成分：
[coeff,score,latent]＝pca(P_train)，
其中，coef为训练集特征向量，latent为每个变量中对应特征值，score为经过pca分析后新的数据成分；
S303、计算score中每一列数据的贡献率，将score中累计贡献率大于85％的前n列数据提取出来，即为训练集主成分；
S304、将测试集进行标准化处理，操作与训练集标准化操作相同，标准化后的测试集为：
p_test(j,:)＝(ptest(j,:)-mu)./sig，
其中，p_test为标准化后测试集，ptest为原始测试集，(j,:)为测试样本第行数据；
S305、计算出训练集标准化后的平均值，把该平均值复制x次，组成平均值矩阵，使用测试集减去平均值再乘以训练集特征向量，得到测试集新成分：
P_test＝[p_test-repmat(Mu,x,1)]*coeff，
其中，P_test为测试集新成分，p_test为标准化后的测试集，Mu为训练集平均值，repmat(Mu,x,1)为将训练集平均值复制x次，coeff为训练集特征向量；
S306、提取P_test的前n列数据为测试集主成分。
最终，确定主成分个数为3，即n＝3。
第四步、改进CNN自变量输入方式，即将训练集和测试集的自变量输入方式由图片像素784*784*3改为1*n*1，将图像分类模型变换为回归预测模型；
第五步、依据CNN各卷积层最佳卷积核数、降维去噪后训练数据、改进CNN自变量输入方式，构建主成分-卷积神经耦合网络PCA-CNN模型；所述PCA-CNN模型如图2所示，包含有输入层、卷积层、池化层、全连接层、回归层。
进一步地，所述PCA-CNN模型具体结构如下：
第一层为输入层，用于导入输入数据并传递给下一层网络，在输入层输入PCA算法提取的前n个自变量的主成分，其中，自变量输入方式为1*n*1，输入矩阵表示为：
X＝(X1,X2…Xn)，
其中，Xn为自变量第n个主成分；
第二层为第一卷积层，第一卷积层以1*2的步长在数据块上做卷积，每卷积一次得一个特征图，则经过第一次卷积后的输出为：
其中，
为第l层第j个神经元的输出，
为卷积层的输入神经元，
为第l层卷积核，f()为传递函数，且f()＝Relu；
第三层为池化层，用于带第一卷积层输出的特征图进行降采样，经过池化层的输出为：
其中，
为第l+1层第m个神经元的输出，
为特征图系数，down为池化函数，所述池化函数为平均池化函数；
第四层为第二卷积层，卷积输出过程与第一卷积层相同；
第五层为全连接层，全连接层的每个节点与前一层所有节点相连，全连接层的节点数设置为5，则经过全连接层的输出为：
其中，
为第l+2层第k个神经元的输出，wjk为前一层中第j个神经元与该层第k个神经元的权值，Oj为前一层中第j个神经元的输出，bk为第k个神经元阈值；
第六层为回归层，输出水体典型有机污染物浓度预测结果。
第六步、利用降维去噪后训练数据通过动量随机梯度下降法对PCA-CNN模型进行训练，得训练后PCA-CNN模型；具体为：
S601、对网络权值进行随机初始化；
S602、计算实际值与预测值之间的误差ei：
ei＝di-yi，
其中，di为实际值，yi为预测值；
S603、根据增量公式计算权重更新值Δwij：
其中，xj为输入节点j的输出，α为学习率，ui为输出节点i的加权和，
为激活函数，
为
的导函数；
S604、把动量加入权重更新值，得到更新后的权重：
w＝w+m＝w+Δwij+βm-，
其中，β为常量，β取值范围是0～1，m为动量，m-为前一个动量；
S605、通过动量驱动的随机梯度下降法对整个PCA-CNN网络层依次进行训练，得到整个PCA-CNN网络权值更新值，进而得到训练后PCA-CNN模型。
第七步、使用训练后PCA-CNN模型对城市河涌水体典型有机污染物浓度进行在线检测，并获得测量结果；即对城市河涌水体电导率TDS、溶解氧DO、氧化还原电位ORP和pH用水质参数仪进行实时测量，保存所测数据，通过训练后PCA-CNN模型对城市河涌水体啶虫脒、噻虫胺、噻虫嗪、吡虫啉、噻虫啉浓度进行软测量；
固定城市河涌水体采集时间间隔，对河涌水体有机污染物进行在线监测。
此外，该智能监控方法及系统还需利用无线或有线接口与以太网连接，将所测的数据保存在进行监控的PC，利用基于PCA-CNN模型的智能监控系统对测得的数据进行处理，迅速获得河涌水体啶虫脒、吡虫啉、噻虫啉、噻虫嗪、噻虫胺浓度，促进城市河涌水体污染检测、防控和水质评价。图3-7为主成分-卷积神经网络耦合模型对城市河涌水体五种新烟碱类杀虫剂浓度的预测图，包括啶虫脒、吡虫啉、噻虫啉、噻虫嗪、噻虫胺，根据图中预测值与真实值拟合效果参数可知，基于PCA-CNN模型的城市河涌水体有机污染物智能监测方法能够高效、准确的预测监控城市河涌水体典型有机污染物浓度及污染状况。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种城市河涌水体典型有机污染物智能检测方法，其特征在于，包括以下步骤：
S1、获取河涌水体典型有机污染物软测量建模用输入自变量和输出变量；所述输入自变量包括pH、溶解氧DO、电导率TDS、氧化还原电位ORP；所述输出变量包括典型有机杀虫剂浓度；
S2、采用迭代寻优方法获得卷积神经网络CNN各卷积层最佳卷积核数；
S3、通过PCA算法提取原始训练集和原始测试集主成分，去除原始高维数据中亢余信息和噪音信息，获取降维优化后新训练集和新测试集；
S4、改进CNN自变量输入方式，将图像分类模型变换为回归预测模型；所述步骤S4具体为：
根据训练样本主成分将CNN自变量输入方式进行改进，即将图片像素修改为1*训练样本主成分数*1，将图像分类模型变换为回归预测模型；
S5、依据CNN各卷积层最佳卷积核数、降维去噪后训练数据、改进CNN自变量输入方式，构建主成分-卷积神经网络PCA-CNN模型；
S6、利用降维去噪后训练数据通过动量随机梯度下降法对PCA-CNN模型进行训练，得训练后PCA-CNN模型；
S7、使用训练后PCA-CNN模型对城市河涌水体典型有机污染物浓度进行软测量，并获得分析结果。
2.根据权利要求1所述的一种城市河涌水体典型有机污染物智能检测方法，其特征在于，所述步骤S2具体为：
S201、按照8:2比例将样本数据划分为训练集与测试集，均匀随机选取样本中80％组数据为训练集，20％组数据为测试集；
S202、获取K个卷积层卷积核候选值，将候选值的行向量设为矩阵A＝[A1,A2…AK]，所选取的卷积核数为A(i)，i为矩阵中元素的顺序；
S203、将CNN用第i个卷积核训练时输出变量的均方误差之和记为MSE(i)，设置一个初始误差值MSE_MAX，令MSE_MAX＝100；
S204、设置CNN每次迭代都会初始化状态，且初始化状态相同，开始迭代寻优；
S205、当MSE(i)＜MSE_MAX时，则把此时MSE(i)的赋值给MSE_MAX，并标记此时的A(i)为desired_A(i)；
S206、当所有卷积层卷积核候选值迭代完成，此时的MSE_MAX即为MSE(i)最小值，对应的desired_A(i)即为最佳卷积核数。
3.根据权利要求1所述的一种城市河涌水体典型有机污染物智能检测方法，其特征在于，所述步骤S3具体为：
S301、将训练集进行标准化处理，即为每组变量减去均值再除以标准差，则标准化后的训练集为：
P_train(k,:)＝(p_train(k,:)-mu)./sig，
其中，P_train为标准化后的训练集，p_train为原始的训练集，(k,:)为样本第k行数据，mu为训练集平均值，sig为训练集标准差；
S302、将标准化后的训练集P_train输入pca，得到特征向量、特征值、训练集新成分：
[coeff,score,latent]＝pca(P_train)，
其中，coeff为训练集特征向量，latent为每个变量中对应特征值，score为经过pca分析后新的数据成分；
S303、计算score中每一列数据的贡献率，将score中累计贡献率大于85％的前n列数据提取出来，即为训练集主成分；
S304、将测试集进行标准化处理，标准化后的测试集为：
p_test(j,:)＝(ptest(j,:)-mu)./sig，
其中，p_test为标准化后测试集，ptest为原始测试集，(j,:)为测试样本第j行数据；
S305、计算出训练集标准化后的平均值，把该平均值复制x次，组成平均值矩阵，使用测试集减去平均值再乘以训练集特征向量，得到测试集新成分：
P_test＝[p_test-repmat(Mu,x,1)]*coeff，
其中，P_test为测试集新成分，p_test为标准化后的测试集，Mu为训练集平均值，repmat(Mu,x,1)为将训练集平均值复制x次，coeff为训练集特征向量；
S306、提取P_test的前n列数据为测试集主成分。
4.根据权利要求1所述的一种城市河涌水体典型有机污染物智能检测方法，其特征在于，所述PCA-CNN模型包含有输入层、卷积层、池化层、全连接层、回归层。
5.根据权利要求4所述的一种城市河涌水体典型有机污染物智能检测方法，其特征在于，所述PCA-CNN模型具体结构如下：
第一层为输入层，用于导入输入数据并传递给下一层网络，在输入层输入PCA算法提取的前n个自变量的主成分，其中，自变量输入方式为1*n*1，输入矩阵表示为：
X＝(X1,X2…Xn)，
其中，Xn为自变量第n个主成分；
第二层为第一卷积层，第一卷积层以1*2的步长在数据块上做卷积，每卷积一次得一个特征图，则经过第一次卷积后的输出为：
其中，
为第l层第j个神经元的输出，
为卷积层的输入神经元，
为第l层卷积核，f()为传递函数，且f()＝Relu；
第三层为池化层，用于带第一卷积层输出的特征图进行降采样，经过池化层的输出为：
其中，
为第l+1层第m个神经元的输出，
为特征图系数，down为池化函数，所述池化函数为平均池化函数；
第四层为第二卷积层，卷积输出过程与第一卷积层相同；
第五层为全连接层，全连接层的每个节点与前一层所有节点相连，全连接层的节点数设置为5，则经过全连接层的输出为：
其中，
为第l+2层第k个神经元的输出，wjk为前一层中第j个神经元与该层第k个神经元的权值，Oj为前一层中第j个神经元的输出，bk为第k个神经元阈值；
第六层为回归层，输出水体典型有机污染物浓度预测结果。
6.根据权利要求1所述的一种城市河涌水体典型有机污染物智能检测方法，其特征在于，所述步骤S6具体为：
S601、对网络权值进行随机初始化；
S602、计算实际值与预测值之间的误差ei：
ei＝di-yi，
其中，di为实际值，yi为预测值；
S603、根据增量公式计算权重更新值Δwij：
其中，xj为输入节点j的输出，α为学习率，ui为输出节点i的加权和，
为激活函数，
为
的导函数；
S604、把动量加入权重更新值，得到更新后的权重：
w＝w+m＝w+Δwij+βm-，
其中，β为常量，β取值范围是0～1，m为动量，m-为前一个动量；
S605、通过动量驱动的随机梯度下降法对整个PCA-CNN网络层依次进行训练，得到整个PCA-CNN网络权值更新值。
7.根据权利要求1所述的一种城市河涌水体典型有机污染物智能检测方法，其特征在于，在线软测量使用固定采集时间间隔。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942058.0A CN110672804B (zh) | 2019-09-30 | 2019-09-30 | 一种城市河涌水体典型有机污染物智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942058.0A CN110672804B (zh) | 2019-09-30 | 2019-09-30 | 一种城市河涌水体典型有机污染物智能检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110672804A CN110672804A (zh) | 2020-01-10 |
| CN110672804B true CN110672804B (zh) | 2022-05-06 |
Family
ID=69078854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910942058.0A Active CN110672804B (zh) | 2019-09-30 | 2019-09-30 | 一种城市河涌水体典型有机污染物智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110672804B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553468B (zh) * | 2020-05-15 | 2023-06-06 | 南京大学 | 一种准确预测污水处理厂出水水质的方法 |
| CN112116080A (zh) * | 2020-09-24 | 2020-12-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种融合了注意力机制的cnn-gru水质预测方法 |
| CN112485399B (zh) * | 2020-12-18 | 2021-09-07 | 江南大学 | 污水毒素浓度估计方法 |
| CN113448245A (zh) * | 2021-04-14 | 2021-09-28 | 华南师范大学 | 一种基于深度学习的污水处理过程溶解氧控制方法及系统 |
| CN113469090B (zh) * | 2021-07-09 | 2023-07-14 | 王晓东 | 水质污染预警方法、装置及存储介质 |
| CN114019007B (zh) * | 2021-11-04 | 2024-01-12 | 中国能源建设集团江苏省电力设计院有限公司 | 一种有机污染物浓度测定系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488869A (zh) * | 2013-08-23 | 2014-01-01 | 上海交通大学 | 一种最小二乘支持向量机的风力发电短期负荷预测方法 |
| CN104657473A (zh) * | 2015-02-13 | 2015-05-27 | 南京邮电大学 | 一种保证质量单调性的大规模数据挖掘方法 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN108447074A (zh) * | 2018-02-02 | 2018-08-24 | 中国科学院西安光学精密机械研究所 | 基于双向自适应语义融合的水下目标识别方法 |
| CN110175416A (zh) * | 2019-05-30 | 2019-08-27 | 三峡大学 | 基于主成分分析和神经网络的三峡水库水温预测方法 |
| CN110210313A (zh) * | 2019-05-06 | 2019-09-06 | 河海大学 | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 |
-
2019
- 2019-09-30 CN CN201910942058.0A patent/CN110672804B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488869A (zh) * | 2013-08-23 | 2014-01-01 | 上海交通大学 | 一种最小二乘支持向量机的风力发电短期负荷预测方法 |
| CN104657473A (zh) * | 2015-02-13 | 2015-05-27 | 南京邮电大学 | 一种保证质量单调性的大规模数据挖掘方法 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN108447074A (zh) * | 2018-02-02 | 2018-08-24 | 中国科学院西安光学精密机械研究所 | 基于双向自适应语义融合的水下目标识别方法 |
| CN110210313A (zh) * | 2019-05-06 | 2019-09-06 | 河海大学 | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 |
| CN110175416A (zh) * | 2019-05-30 | 2019-08-27 | 三峡大学 | 基于主成分分析和神经网络的三峡水库水温预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 卷积神经网络用于近红外光谱预测土壤含水率;王璨等;《光谱学与光谱分析》;20180115(第01期);第42-47页 * |
| 基于主成分分析和卷积神经网络的入侵检测方法研究;李兆峰;《现代信息科技》;20190525(第10期);第156-159页 * |
| 采用卷积神经网络的老年人跌倒检测系统设计;吕艳等;《浙江大学学报(工学版)》;20190513(第06期);第117-125页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110672804A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110672804B (zh) | 一种城市河涌水体典型有机污染物智能检测方法 | |
| Fablet et al. | Bilinear residual neural network for the identification and forecasting of geophysical dynamics | |
| Sivakumar et al. | River flow forecasting: use of phase-space reconstruction and artificial neural networks approaches | |
| Zhu et al. | An on-line wastewater quality predication system based on a time-delay neural network | |
| Baran et al. | Stochastic models that predict trout population density or biomass on a mesohabitat scale | |
| Ramadan et al. | Application of PLS and back-propagation neural networks for the estimation of soil properties | |
| CN108268935A (zh) | 一种基于时序循环神经网络的pm2.5浓度值预测方法及系统 | |
| US6490573B1 (en) | Neural network for modeling ecological and biological systems | |
| CN113743016B (zh) | 基于自编码器和回声状态网络的发动机剩余寿命预测方法 | |
| CN107798431A (zh) | 一种基于改进Elman神经网络的中长期径流预报方法 | |
| CN110866631A (zh) | 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 | |
| CN115951014A (zh) | 一种结合气象特征的cnn-lstm-bp多模态空气污染物预测方法 | |
| CN112116137A (zh) | 一种基于混合深度神经网络的学生辍课预测方法 | |
| CN113505924A (zh) | 一种基于级联时空特征的信息传播预测方法及系统 | |
| CN113988348A (zh) | 一种网格化监测的空气质量预测方法 | |
| CN114694379B (zh) | 一种基于自适应动态图卷积的交通流预测方法及系统 | |
| CN115758125A (zh) | 基于特征结构优化和深度学习的工业污水处理软测量方法 | |
| Ruigar et al. | Prediction of precipitation in Golestan dam watershed using climate signals | |
| Zhou et al. | Functional networks and applications: A survey | |
| Lu et al. | Quality-relevant feature extraction method based on teacher-student uncertainty autoencoder and its application to soft sensors | |
| CN114154401A (zh) | 基于机器学习和观测数据的土壤侵蚀模数计算方法及系统 | |
| RU2600099C1 (ru) | Способ нейросетевого прогнозирования изменения значений функции с её предварительной вейвлет-обработкой и устройство его осуществления | |
| CN117252285A (zh) | 基于并行cnn-gru网络的多指标污水水质预测方法 | |
| CN114880490A (zh) | 一种基于图注意力网络的知识图谱补全方法 | |
| CN111045861B (zh) | 一种基于深度神经网络的传感器数据恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |