CN115389439B - 基于大数据的河流污染物监测方法及系统 - Google Patents
基于大数据的河流污染物监测方法及系统 Download PDFInfo
- Publication number
- CN115389439B CN115389439B CN202211332805.7A CN202211332805A CN115389439B CN 115389439 B CN115389439 B CN 115389439B CN 202211332805 A CN202211332805 A CN 202211332805A CN 115389439 B CN115389439 B CN 115389439B
- Authority
- CN
- China
- Prior art keywords
- water quality
- river
- data
- water
- pollutant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003344 environmental pollutant Substances 0.000 title claims abstract description 125
- 231100000719 pollutant Toxicity 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012544 monitoring process Methods 0.000 title claims abstract description 41
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 565
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000003595 spectral effect Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 82
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000001228 spectrum Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000005260 corrosion Methods 0.000 claims description 19
- 230000007797 corrosion Effects 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 13
- 238000000295 emission spectrum Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 6
- 238000002835 absorbance Methods 0.000 claims description 5
- 238000010521 absorption reaction Methods 0.000 claims description 4
- 239000000356 contaminant Substances 0.000 claims description 4
- 230000005281 excited state Effects 0.000 claims description 4
- 230000005283 ground state Effects 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 238000005530 etching Methods 0.000 claims 2
- 239000003403 water pollutant Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000008961 swelling Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003640 drug residue Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/33—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及河流污染物监测的技术领域,揭露了一种基于大数据的河流污染物监测方法及系统,方法包括:对所采集河流水体样本水质进行形式化表示;对形式化表达的水质数据进行预处理;对预处理后的水质数据进行谱特征提取得到水质特征参数;构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中;将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,得到监测河流是否存在污染物以及污染物来源。本发明实现河流水体样本水质的形式化表示,对形式化表示结果进行特征提取,实现河流水质类别的识别以及河流中是否存在污染物以及污染物来源的识别监测。
Description
技术领域
本发明涉及河流污染物监测的技术领域,尤其涉及一种基于大数据的河流污染物监测方法及系统。
背景技术
药残留和病原菌是河流中重要的微污染源,通过水体循环并经食物链的传导最终威胁人类健康,传统河流污染物监测方法需要采集河流数据并进行多轮过滤,对过滤出的物质进行污染分析,无法对河流进行实时的污染物监测。针对该问题,本专利提出一种基于大数据的河流污染物监测方法及系统,实现对河流污染物的实时精确监测。
发明内容
有鉴于此,本发明提供一种基于大数据的河流污染物监测方法,目的在于1)利用立体光谱将实时采样的河流水体样本数据转换为矩阵形式,并使用多项式滤波方法对矩阵形式的水质数据进行滤波处理,实现光谱转换过程中产生噪声的过滤,得到可用且精准的矩阵形式水质数据,并可实现河流的实时监测;2)通过对矩阵形式的水质数据进行膨胀腐蚀处理,并提取特征向量,将所提取特征向量作为水质特征向量,实现水质特征的快速提取,通过构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,基于大数据技术获取的不同水质不同污染物来源的污染水质特征参数,将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,并准确识别出污染物来源,从而针对污染物来源确定更为有效的河流治理以及防护方案。
实现上述目的,本发明提供的一种基于大数据的河流污染物监测方法,包括以下步骤:
S1:采集河流水体样本,并对河流水体样本水质进行形式化表示,其中立体光谱为所述水质形式化表达的主要方法;
S2:对形式化表达的水质数据进行预处理,得到预处理后的水质数据;
S3:对预处理后的水质数据进行谱特征提取得到水质特征参数,其中数学形态学膨胀腐蚀操作为所述谱特征提取的主要方法;
S4:构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,所述变权水质污染物识别模型以提取得到的水质特征参数为输入,以水质类别为输出;
S5:将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,否则不存在。
作为本发明的进一步改进方法:
可选地,所述S1步骤中采集河流水体样本,并对河流水体样本水质进行形式化表示,包括:
实时采集正处于污染物监测状态河流的河流水体样本,相邻河流水体样本采集时刻的间隔时间为t,利用光谱仪对采集到的河流水体样本水质进行形式化表示,在本发明实施例中,所选取的光谱仪型号为海洋Maya 2000Pro光谱仪,测量波段为200~800纳米;
所述形式化表示流程为:
S11:光谱仪向河流水体样本发生不同波长的紫外线,河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱,其中不同波长的紫外线即为不同波长的发射光谱;在本发明实施例中,所述分子为不同化学成分;
其中:
h表示普朗克常数,c表示光速;
其中:
S13:构建河流水体样本水质的立体光谱w:
其中:
n表示河流水体样本水质中分子的种类数;
S14:将立体光谱w转换为立体光谱矩阵W,将立体光谱矩阵W作为形式化表达的水质数据D,所述水质数据D为矩阵形式,矩阵的行数为,矩阵的列数为/>,其中所述立体光谱矩阵W中的行序表示紫外线发射波长序列,列序表示反射光谱对应波长的序列,矩阵中的元素表示在固定反射光谱和发射光谱下的光谱强度,即矩阵中对应波长为/>的行A,以及对应波长为/>的列B,矩阵中位置为(A,B)的元素值为/>。
可选地,所述S2步骤中对形式化表达的水质数据进行预处理,包括:
对形式化表达的水质数据D进行预处理,所述预处理流程为:
其中:
其中:
T表示转置;
可选地,所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数,包括:
其中:
表示膨胀处理,C表示膨胀矩阵,在本发明实施例中,所述膨胀处理的流程为用膨胀矩阵的中心点依次扫描待膨胀矩阵的元素,待膨胀矩阵的被扫描元素的取值为膨胀矩阵所有效覆盖的待膨胀矩阵元素的最大值,其中膨胀矩阵中元素值为1的元素可以有效覆盖待膨胀矩阵元素;
表示腐蚀处理,F表示腐蚀矩阵,在本发明实施例中,所述腐蚀处理的流程为用腐蚀矩阵的中心点依次扫描待腐蚀矩阵的元素,待腐蚀矩阵的被扫描元素的取值为腐蚀矩阵所有效覆盖的待腐蚀矩阵元素的最小值,其中腐蚀矩阵中元素值为1的元素可以有效覆盖待腐蚀矩阵元素;
其中:
I表示单位矩阵;
其中:
可选地,所述S4步骤中构建变权水质污染物识别模型,包括:
构建变权水质污染物识别模型,所述变权水质污染物识别模型包括输入层、变权聚类层以及分类层;
输入层用于接收水质特征参数,并将水质特征参数输入到变权聚类层,其中水质特征参数由多个水质特征向量组成;
变权聚类层用于对水质特征参数中的不同水质特征向量进行赋权,并基于水质特征向量的权重进行水质特征向量的聚类处理,得到若干个聚类簇,将聚类簇输入到分类层中;
分类层用于接收聚类簇,并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算,选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
在本发明实施例中,所述每个水质类别所对应河流的标准水质特征向量模板的构建流程为:采集同一水质类别的不同河流的水体样本进行混合,其中所选取河流包括不存在污染物的河流、存在较多污染物的河流,将混合数据进行形式化表示、预处理以及水质特征向量提取,并取所提取若干水质特征向量的向量均值作为该水质类别的标准水质特征向量模板。
可选地,所述S4步骤中将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,包括:
其中:
S44:计算其他非聚类簇中心到聚类簇中心的加权欧式距离,其中非聚类簇中心表示水质特征参数中不为聚类簇中心的水质特征向量,所述加权欧式距离表示在计算得到两个水质特征向量的欧式距离后,分别乘以两个水质特征向量的权重;
S45:计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值,并在簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心,返回步骤S44,直到每个聚类簇均无法选取新的聚类簇中心,得到k个聚类簇以及k个聚类簇中心,变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层;
S46:模型中的分类层接收聚类簇,并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算,选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
可选地,所述S5步骤中将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,包括:
其中:
e表示所采集河流水体样本的水质特征参数的水质类别;
表示所采集河流水体样本的水质特征参数/>与相同水质类别e的由污染物h导致的污染水质特征参数/>的相似性判别结果,/>,H表示污染物的种类数,若/>大于指定相似阈值/>,则说明所采集河流水体存在污染,污染来源为污染物h。
为了解决上述问题,本发明提供一种基于大数据的河流污染物监测系统,所述系统包括:
河流数据形式化表示装置,用于采集河流水体样本,并对河流水体样本水质进行形式化表示;
数据处理模块,用于对形式化表达的水质数据进行预处理,得到预处理后的水质数据,对预处理后的水质数据进行谱特征提取得到水质特征参数;
污染物监测装置,用于构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,并确定污染来源。
相对于现有技术,本发明提出一种基于大数据的河流污染物监测方法,该技术具有以下优势:
首先,本方案提出一种河流水体样本的形式化表示方法,通过实时采集正处于污染物监测状态河流的河流水体样本,利用光谱仪向河流水体样本发生不同波长的紫外线,河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱,其中不同波长的紫外线即为不同波长的发射光谱;对于河流水体样本水质中的任意第i种分子,所对应的紫外线波长为/>,其中所述分子/>通过吸收对应波长/>的紫外线能量实现能级跃迁,由基态跃迁为激发态;
其中:
其中:表示分子/>接收对应波长/>紫外线进行能级跃迁过程中的反射光谱,反射光谱的波长为/>;n表示河流水体样本水质中分子的种类数;/>表示波长为/>的紫外线发射光谱;将立体光谱w转换为立体光谱矩阵W,将立体光谱矩阵W作为形式化表达的水质数据D,所述水质数据D为矩阵形式,矩阵的行数为/>,矩阵的列数为/>,其中所述立体光谱矩阵W中的行序表示紫外线发射波长序列,列序表示反射光谱对应波长的序列,矩阵中的元素表示在固定反射光谱和发射光谱下的光谱强度。本方案利用立体光谱将实时采样的河流水体样本数据转换为矩阵形式,从而可以使用多项式滤波方法对矩阵形式的水质数据进行滤波处理,实现光谱转换过程中产生噪声的过滤,得到可用且精准的矩阵形式水质数据,并可实现河流的实时监测。
其中:表示水质特征向量/>的标准差;从水质特征参数/>中随机选取k个水质特征向量作为初始聚类簇中心;计算其他非聚类簇中心到聚类簇中心的加权欧式距离;计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值,并在簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心,返回步骤S44,直到每个聚类簇均无法选取新的聚类簇中心,得到k个聚类簇以及k个聚类簇中心,变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层;模型中的分类层接收聚类簇,并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算,选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值/>,则说明所采集河流水体存在污染,否则不存在污染,其中相似性判别的公式为:
其中:e表示所采集河流水体样本的水质特征参数的水质类别;表示水质类别e的污染物h导致的污染河流的污染水质特征参数;/>表示水质特征参数/>中不同水质特征向量的均值,/>表示污染水质特征参数/>中不同污染水质特征向量的均值;/>表示所采集河流水体样本的水质特征参数/>与相同水质类别e的由污染物h导致的污染水质特征参数/>的相似性判别结果,/>,H表示污染物的种类数,若/>大于指定相似阈值/>,则说明所采集河流水体存在污染,污染来源为污染物h。本方案通过对矩阵形式的水质数据进行膨胀腐蚀处理,并提取特征向量,将所提取特征向量作为水质特征向量,实现水质特征的快速提取,通过构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,基于大数据技术获取的不同水质不同污染物来源的污染水质特征参数,将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,并准确识别出污染物来源,从而针对污染物来源确定更为有效的河流治理以及防护方案。
附图说明
图1为本发明一实施例提供的一种基于大数据的河流污染物监测方法的流程示意图;
图2为本发明一实施例提供的基于大数据的河流污染物监测系统的功能模块图;
图3为本发明一实施例提供的实现基于大数据的河流污染物监测方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种基于大数据的河流污染物监测方法。所述基于大数据的河流污染物监测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述基于大数据的河流污染物监测方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1:
S1:采集河流水体样本,并对河流水体样本水质进行形式化表示,其中立体光谱为所述水质形式化表达的主要方法。
所述S1步骤中采集河流水体样本,并对河流水体样本水质进行形式化表示,包括:
实时采集正处于污染物监测状态河流的河流水体样本,相邻河流水体样本采集时刻的间隔时间为t,利用光谱仪对采集到的河流水体样本水质进行形式化表示;
所述形式化表示流程为:
S11:光谱仪向河流水体样本发生不同波长的紫外线,河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱,其中不同波长的紫外线即为不同波长的发射光谱;在本发明实施例中,所述分子为不同化学成分;
其中:
h表示普朗克常数,c表示光速;
其中:
S13:构建河流水体样本水质的立体光谱w:
其中:
n表示河流水体样本水质中分子的种类数;
S2:对形式化表达的水质数据进行预处理,得到预处理后的水质数据。
所述S2步骤中对形式化表达的水质数据进行预处理,包括:
对形式化表达的水质数据D进行预处理,所述预处理流程为:
其中:
其中:
T表示转置;
S3:对预处理后的水质数据进行谱特征提取得到水质特征参数,其中数学形态学膨胀腐蚀操作为所述谱特征提取的主要方法。
所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数,包括:
其中:
其中:
I表示单位矩阵;
其中:
S4:构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,所述变权水质污染物识别模型以提取得到的水质特征参数为输入,以水质类别为输出。
所述S4步骤中构建变权水质污染物识别模型,包括:
构建变权水质污染物识别模型,所述变权水质污染物识别模型包括输入层、变权聚类层以及分类层;
输入层用于接收水质特征参数,并将水质特征参数输入到变权聚类层,其中水质特征参数由多个水质特征向量组成;
变权聚类层用于对水质特征参数中的不同水质特征向量进行赋权,并基于水质特征向量的权重进行水质特征向量的聚类处理,得到若干个聚类簇,将聚类簇输入到分类层中;
分类层用于接收聚类簇,并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算,选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
在本发明实施例中,所述每个水质类别所对应河流的标准水质特征向量模板的构建流程为:采集同一水质类别的不同河流的水体样本进行混合,其中所选取河流包括不存在污染物的河流、存在较多污染物的河流,将混合数据进行形式化表示、预处理以及水质特征向量提取,并取所提取若干水质特征向量的向量均值作为该水质类别的标准水质特征向量模板。
所述S4步骤中将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,包括:
其中:
S44:计算其他非聚类簇中心到聚类簇中心的加权欧式距离,其中非聚类簇中心表示水质特征参数中不为聚类簇中心的水质特征向量,所述加权欧式距离表示在计算得到两个水质特征向量的欧式距离后,分别乘以两个水质特征向量的权重;
S45:计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值,并在簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心,返回步骤S44,直到每个聚类簇均无法选取新的聚类簇中心,得到k个聚类簇以及k个聚类簇中心,变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层;
S46:模型中的分类层接收聚类簇,并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算,选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
S5:将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,否则不存在。
所述S5步骤中将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,包括:
其中:
e表示所采集河流水体样本的水质特征参数的水质类别;
表示所采集河流水体样本的水质特征参数/>与相同水质类别e的由污染物h导致的污染水质特征参数/>的相似性判别结果,/>,H表示污染物的种类数,若/>大于指定相似阈值/>,则说明所采集河流水体存在污染,污染来源为污染物h。
实施例2:
如图2所示,是本发明一实施例提供的基于大数据的河流污染物监测系统的功能模块图,其可以实现实施例1中的基于大数据的河流污染物监测方法。
本发明所述基于大数据的河流污染物监测系统100可以安装于电子设备中。根据实现的功能,所述基于大数据的河流污染物监测系统可以包括河流数据形式化表示装置101、数据处理模块102及污染物监测装置103。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
河流数据形式化表示装置101,用于采集河流水体样本,并对河流水体样本水质进行形式化表示;
数据处理模块102,用于对形式化表达的水质数据进行预处理,得到预处理后的水质数据,对预处理后的水质数据进行谱特征提取得到水质特征参数;
污染物监测装置103,用于构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,并确定污染来源。
详细地,本发明实施例中所述基于大数据的河流污染物监测系统100中的所述各模块在使用时采用与上述的图1中所述的基于大数据的河流污染物监测方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
实施例3:
如图3所示,是本发明一实施例提供的实现基于大数据的河流污染物监测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card, SMC)、安全数字(SecureDigital, SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(用于实现河流污染物监测的程序12等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接,并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
采集河流水体样本,并对河流水体样本水质进行形式化表示;
对形式化表达的水质数据进行预处理,得到预处理后的水质数据;
对预处理后的水质数据进行谱特征提取得到水质特征参数;
构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别;
将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,否则不存在。
具体地,所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述,在此不赘述。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于大数据的河流污染物监测方法,其特征在于,所述方法包括:
S1:采集河流水体样本,并对河流水体样本水质进行形式化表示;
所述采集河流水体样本,并对河流水体样本水质进行形式化表示,包括:
实时采集正处于污染物监测状态河流的河流水体样本,相邻河流水体样本采集时刻的间隔时间为t,利用光谱仪对采集到的河流水体样本水质进行形式化表示;
所述形式化表示流程为:
S11:光谱仪向河流水体样本发生不同波长的紫外线,河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱,其中不同波长的紫外线即为不同波长的发射光谱;
其中:
h表示普朗克常数,c表示光速;
其中:
S13:构建河流水体样本水质的立体光谱w:
其中:
n表示河流水体样本水质中分子的种类数;
S2:对形式化表达的水质数据进行预处理,得到预处理后的水质数据,包括:
对形式化表达的水质数据D进行预处理,所述预处理流程为:
其中:
其中:
T表示转置;
S3:对预处理后的水质数据进行谱特征提取得到水质特征参数;
S4:构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别;
S5:将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,否则不存在。
2.如权利要求1所述的一种基于大数据的河流污染物监测方法,其特征在于,所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数,包括:
其中:
其中:
I表示单位矩阵;
其中:
3.如权利要求1所述的一种基于大数据的河流污染物监测方法,其特征在于,所述S4步骤中构建变权水质污染物识别模型,包括:
构建变权水质污染物识别模型,所述变权水质污染物识别模型包括输入层、变权聚类层以及分类层;
输入层用于接收水质特征参数,并将水质特征参数输入到变权聚类层,其中水质特征参数由多个水质特征向量组成;
变权聚类层用于对水质特征参数中的不同水质特征向量进行赋权,并基于水质特征向量的权重进行水质特征向量的聚类处理,得到若干个聚类簇,将聚类簇输入到分类层中;
分类层用于接收聚类簇,并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算,选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
4.如权利要求3所述的一种基于大数据的河流污染物监测方法,其特征在于,所述S4步骤中将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,包括:
其中:
S44:计算其他非聚类簇中心到聚类簇中心的加权欧式距离,所述加权欧式距离表示在计算得到两个水质特征向量的欧式距离后,分别乘以两个水质特征向量的权重;
S45:计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值,并在聚类簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心,返回步骤S44,直到每个聚类簇均无法选取新的聚类簇中心,得到k个聚类簇以及k个聚类簇中心,变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层;
S46:模型中的分类层接收聚类簇,并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算,选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
5.如权利要求4所述的一种基于大数据的河流污染物监测方法,其特征在于,所述S5步骤中将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,包括:
其中:
e表示所采集河流水体样本的水质特征参数的水质类别;
6.一种基于大数据的河流污染物监测系统,其特征在于,所述系统包括:
河流数据形式化表示装置,用于采集河流水体样本,并对河流水体样本水质进行形式化表示;
数据处理模块,用于对形式化表达的水质数据进行预处理,得到预处理后的水质数据,对预处理后的水质数据进行谱特征提取得到水质特征参数;
污染物监测装置,用于构建变权水质污染物识别模型,将水质特征参数输入到变权水质污染物识别模型中,输出水质特征参数所对应河流的水质类别,将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别,若判定结果大于指定相似阈值,则说明所采集河流水体存在污染,并确定污染来源,以实现一种如权利要求1-5任意一项所述的基于大数据的河流污染物监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211332805.7A CN115389439B (zh) | 2022-10-28 | 2022-10-28 | 基于大数据的河流污染物监测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211332805.7A CN115389439B (zh) | 2022-10-28 | 2022-10-28 | 基于大数据的河流污染物监测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115389439A CN115389439A (zh) | 2022-11-25 |
CN115389439B true CN115389439B (zh) | 2023-03-24 |
Family
ID=84115187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211332805.7A Active CN115389439B (zh) | 2022-10-28 | 2022-10-28 | 基于大数据的河流污染物监测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115389439B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115810403B (zh) * | 2023-01-30 | 2023-05-16 | 北京英视睿达科技股份有限公司 | 一种基于环境特征信息评估水质污染的方法 |
CN117195059B (zh) * | 2023-11-06 | 2024-02-27 | 上海炯测环保技术有限公司 | 一种供水管网水体污染快速检测方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105352928A (zh) * | 2015-11-14 | 2016-02-24 | 常州大学 | 一种基于三维荧光光谱的水污染快速识别和定量分析的方法 |
CN106525762A (zh) * | 2016-11-07 | 2017-03-22 | 航天恒星科技有限公司 | 一种基于自适应模型的水质监测方法和水质监测装置 |
CN109523510B (zh) * | 2018-10-11 | 2021-05-04 | 浙江大学 | 基于多光谱遥感影像的河道水质空间异常区域检测方法 |
RU2726291C1 (ru) * | 2019-10-14 | 2020-07-10 | Акционерное Общество "Концерн "Океанприбор" | Способ обнаружения и классификации гидроакустических сигналов шумоизлучения морского объекта |
CN110765941B (zh) * | 2019-10-23 | 2022-04-26 | 北京建筑大学 | 一种基于高分遥感影像的海水污染区域识别方法和设备 |
CN112381369B (zh) * | 2020-11-02 | 2022-09-23 | 河海大学 | 基于在线光谱识别的水体污染溯源和风险预测评估方法 |
CN113267462A (zh) * | 2021-04-29 | 2021-08-17 | 清华苏州环境创新研究院 | 一种应用紫外光谱对水体有机污染特征进行表征的方法 |
CN113281323B (zh) * | 2021-06-29 | 2024-01-26 | 集美大学 | 一种复杂体系中有机污染物特征信息提取方法及其快速检测方法、系统 |
CN113916847B (zh) * | 2021-07-20 | 2024-04-09 | 江苏省扬州环境监测中心 | 一种基于光谱技术和线性支持向量算法的水质检测方法 |
-
2022
- 2022-10-28 CN CN202211332805.7A patent/CN115389439B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115389439A (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115389439B (zh) | 基于大数据的河流污染物监测方法及系统 | |
Dunderdale et al. | Photovoltaic defect classification through thermal infrared imaging using a machine learning approach | |
Pan et al. | Intelligent fault identification for industrial automation system via multi-scale convolutional generative adversarial network with partially labeled samples | |
CN110717368A (zh) | 一种纺织品定性分类方法 | |
CN112712108B (zh) | 一种拉曼光谱多元数据分析方法 | |
EP3767551A1 (en) | Inspection system, image recognition system, recognition system, discriminator generation system, and learning data generation device | |
EP3798924A1 (en) | System and method for classifying manufactured products | |
CN114998838B (zh) | 一种危化品智能存储柜实时监测方法与装置 | |
CN105043998B (zh) | 一种鉴别玉米单倍体的方法 | |
CN111797396B (zh) | 恶意代码可视化及变种检测方法、装置、设备及存储介质 | |
CN115984269B (zh) | 一种非侵入式局部水生态安全检测方法与系统 | |
CN113421546A (zh) | 基于跨被试多模态的语音合成方法及相关设备 | |
CN117607120A (zh) | 基于改进型ResNext模型的食品添加剂拉曼光谱检测方法和装置 | |
Cui et al. | A novel strategy for identifying oil pollutants based on excitation-emission matrix fluorescence spectroscopy and Zernike moments | |
CN106936561B (zh) | 一种侧信道攻击防护能力评估方法和系统 | |
CN116973344A (zh) | 一种基于图神经网络模型的古陶瓷检测方法及装置 | |
CN113065403A (zh) | 基于高光谱成像的机器学习细胞分类方法及装置 | |
CN110718270B (zh) | 基因测序结果类型的检测方法、装置、设备及存储介质 | |
CN116630700A (zh) | 基于引入通道-空间注意力机制的遥感图像分类方法 | |
CN116580176A (zh) | 基于轻量化网络MobileViT的车载CAN总线异常检测方法 | |
CN115436343A (zh) | 异源激光诱导击穿光谱之间的迁移和标准化方法及系统 | |
CN115796231A (zh) | 一种时态分析的超短期风速预测方法 | |
CN112052881B (zh) | 基于多尺度近端特征拼接的高光谱图像分类模型的装置 | |
Nag et al. | CNN based approach for post disaster damage assessment | |
CN116883852B (zh) | 一种基于高光谱的岩芯数据获取方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |