CN113484257A - 基于神经网络和全光谱吸光度的水质浓度计算系统及方法 - Google Patents
基于神经网络和全光谱吸光度的水质浓度计算系统及方法 Download PDFInfo
- Publication number
- CN113484257A CN113484257A CN202110705829.1A CN202110705829A CN113484257A CN 113484257 A CN113484257 A CN 113484257A CN 202110705829 A CN202110705829 A CN 202110705829A CN 113484257 A CN113484257 A CN 113484257A
- Authority
- CN
- China
- Prior art keywords
- full
- data
- water quality
- spectrum
- spectrum absorbance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 127
- 238000001228 spectrum Methods 0.000 title claims abstract description 111
- 238000002835 absorbance Methods 0.000 title claims abstract description 97
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 45
- 238000004364 calculation method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000009412 basement excavation Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 20
- 238000010521 absorption reaction Methods 0.000 claims description 13
- 239000000126 substance Substances 0.000 claims description 11
- 239000003344 environmental pollutant Substances 0.000 claims description 9
- 231100000719 pollutant Toxicity 0.000 claims description 9
- 238000005065 mining Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 239000013618 particulate matter Substances 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 abstract description 5
- 239000003403 water pollutant Substances 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于神经网络和全光谱吸光度的水质浓度计算系统及方法，其中基于神经网络和全光谱吸光度的水质浓度计算系统，包括样本采集模块、数据预处理模块、算法训练模块和信息解析模块；本发明通过去噪和散射矫正获取最接近水体污染物的光谱数据，并利用神经网络算法对光谱数据和已测水质结果进行深度挖掘训练，搭建融合隐含层后三者之间的权重映射关系，在此基础上，将训练后的权重映射关系应用到待检水体全光谱吸光度数据的解析中，从而获得更加稳定、准确的水质成果信息解析，有效提高了结果的准确性。
Description
技术领域
本公开涉及水质监测技术领域，尤其涉及一种基于神经网络和全光谱吸光度的水质浓度计算系统及方法。
背景技术
随着水污染的日益加剧，国家对环保工作的监管和治理日益重视，水质监测行业已成为我国环保领域重点发展项目之一，这就要求检测的水质指标越来越多，而且对水质分析仪的性能提出了更高的要求。传统的化学法分析速度慢、操作复杂、稳定性差、维护费用高，特别是对附加药品依赖使其存在二次污染；全光谱水质分析仪效率高、分析速度快、检测参数多，无需化学药品，避免了二次污染。但由于水质浓度与单个波段的吸光度数据的相关性不稳定，是非线性的，监测结果可能会受监测水样所在场景复杂环境的影响，使得监测结果的准确性出现较大的不确定性。
因此，需要研究一种新的水质浓度计算系统及方法。
发明内容
有鉴于此，本发明的目的是针对现有技术的不足，提供一种基于神经网络和全光谱吸光度的水质浓度计算系统及方法，通过去噪和散射矫正获取最接近水体污染物的光谱数据，并利用神经网络算法对光谱数据和已测水质结果进行深度挖掘训练，搭建融合隐含层后三者之间的权重映射关系，在此基础上，将训练后的权重映射关系应用到待检水体全光谱吸光度数据的解析中，从而获得更加稳定、准确的水质成果信息解析，有效提高了结果的准确性。
为达到上述目的，本发明采用以下技术方案：
基于神经网络和全光谱吸光度的水质浓度计算系统，包括样本采集模块、数据预处理模块、算法训练模块和信息解析模块；其中，
样本采集模块，用于采集研究河道断面的全光谱吸光度数据和对应水质结果数据；
数据预处理模块，用于对样本全光谱吸光度数据进行去噪和散射矫正处理，降低外界因素对样本全光谱吸光度数据影响，进而生成最接近样本中污染物的全光谱吸光度数据，并将其传递给算法训练模块；
算法训练模块，利用神经网络算法对经过数据预处理模块预处理后的全光谱吸收光度数据的样本集和对应的已测水质结果数据进行线下深度挖掘训练，建立全光谱吸光度数据、水质结果信息与隐含层三者之间的权重映射关系，并将该权重映射关系以参数集的形式传递给信息解析模块；
信息解析模块，将全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系成果以参数集的形式输入到计算系统中，并对待测水体的全光谱吸光度数据进行解析，进而得到其水质成果信息。
进一步地，所述数据预处理模块包括去噪处理单元和散射矫正处理单元，所述去噪处理单元用于对全光谱吸收光度样本数据的高频噪声进行去除，所述散射矫正处理单元用于对全光谱吸收光度样本数据的低频噪声的低频基线进行矫正。
进一步地，所述高频噪声是指由光源、光路和光谱检测仪器引起的噪声。
进一步地，所述低频噪声基线是指由颗粒物散射引起的低频噪声。
进一步地，所述去噪处理单元包括数字平滑滤波单元、傅里叶变换单元和小波变换单元。
另外，本发明还提供一种基于神经网络和全光谱吸光度的水质浓度计算方法，包括以下步骤：
S1.采集研究河道断面的全光谱吸光度数据和对应水质结果数据作为样本数据；
S2.利用数据预处理模块对样本全光谱吸光度数据进行去噪和散射矫正处理，降低外界因素对样本全光谱吸光度数据影响，进而生成最接近样本中污染物的全光谱吸光度数据，并将其传递给算法训练模块；
S3.在算法训练模块中，利用神经网络算法对经过数据预处理模块预处理后的全光谱吸收光度数据的样本集和对应的已测水质结果数据进行线下深度挖掘训练，建立全光谱吸光度数据、水质结果信息与隐含层三者之间的权重映射关系，并将该权重映射关系以参数集的形式传递给信息解析模块；
S4.在信息解析模块中，将全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系成果以参数集的形式输入到计算系统中，并对待测水体的全光谱吸光度数据进行解析，进而得到其水质成果信息。
进一步地，在步骤S1中，样本数据的采集周期大于或等于一个水利年周期。
进一步地，在步骤S2中，利用神经网络算法构建研究河道断面的全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系，其中隐含层的数量设置至少为1个，对应隐含层的节点数依据水质监测结果数据的监测因子个数进行设定。
进一步地，对应隐含层的节点数设定为7个。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于神经网络和全光谱吸光度的水质浓度计算系统的框架图；
图2为本发明实施例提供的基于神经网络和全光谱吸光度的水质浓度计算系统中去噪处理单元的框架图；
图3为本发明实施例提供的基于神经网络和全光谱吸光度的水质浓度计算方法的流程图；
图4为本发明中神经网络算法训练概化图。
有益效果
本发明针对水质检测时，传统的化学法分析速度慢、操作复杂、稳定性差、维护费用高，特别是对附加药品依赖使其存在二次污染；虽然全光谱水质分析仪效率高、分析速度快、检测参数多，无需化学药品，避免了二次污染。但由于水质浓度与单个波段的吸光度数据的相关性不稳定，是非线性的，监测结果可能会受监测水样所在场景复杂环境的影响，使得监测结果的准确性出现较大的不确定性的技术问题。提供一种基于神经网络和全光谱吸光度的水质浓度计算系统及方法，本发明通过利用去噪和散射矫正技术，获得最接近待测水体中污染物的全光谱吸光度数据，在此基础上，利用神经网络算法搭建输入全光谱吸光度数据、输出水质结果信息和隐含层之间的权重映射关系，并将该权重映射关系以参数集的形式输入到计算系统中，进而应用到待测水样的全光谱吸光度数据的解析中，获得准确的水质成果信息。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
为了更好的理解本发明提供的基于神经网络和全光谱吸光度的水质浓度计算系统及方法，需对全光谱吸光度数据与水体中污染物的相关性及神经网络算法的应用进行简要说明。
待测水样中不同物质对不同波长光的吸收强度不同，大部分物质均存在相对应的光谱，如COD、BOD5等监测因子。在实际应用中，经校正后常用的全光谱光源起点波长约为200nm，终点波长约为710nm，不同波长相隔2nm，即全光谱水质监测设备可以采集监测范围内256维不同波长对应的吸收度，进而得到待测水体中不同物质的全光谱吸光度分布特征，即水质浓度。但是水质浓度与对应波段的吸光度数据相关性不稳定，因此需要深度挖掘不同波段的非线性组合关系，搭建其与水质浓度的非线性关联模型，进而提高水质浓度的监测结果的准确性。
神经网络是一种多层前馈神经网络，由输入层、隐含层和输出层组成。层与层之间采用全互连方式，同一层之间不存在相互连接，隐含层可以有一个或多个。构造一个神经网络需要确定其处理单元——神经元的特性和网络的拓扑结构。神经元是神经网络最基本的处理单元，该网络的主要特点是信号前向传递，误差反向传播。在前传过程中，输入信号从输入层经隐层逐层处理直至输出层，每一层的神经元状态只影响下一层神经元状态，如果输出层得不到期望输出，反向传播误差，按梯度下降法调整网络权值和阈值，从而神经网络预测输出不断逼近期望输出。
参阅附图1，本发明实施例提供了一种基于神经网络和全光谱吸光度的水质浓度计算系统，包括样本采集模块、数据预处理模块、算法训练模块和信息解析模块；其中，
样本采集模块，用于采集研究河道断面的全光谱吸光度数据和对应水质结果数据；
数据预处理模块，用于对样本全光谱吸光度数据进行去噪和散射矫正处理，降低外界因素对样本全光谱吸光度数据影响，进而生成最接近样本中污染物的全光谱吸光度数据，并将其传递给算法训练模块；
算法训练模块，利用神经网络算法对经过数据预处理模块预处理后的全光谱吸收光度数据的样本集和对应的已测水质结果数据进行线下深度挖掘训练，建立全光谱吸光度数据、水质结果信息与隐含层三者之间的权重映射关系，并将该权重映射关系以参数集的形式传递给信息解析模块；
信息解析模块，将全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系成果以参数集的形式输入到计算系统中，并对待测水体的全光谱吸光度数据进行解析，进而得到其水质成果信息。
如图1所示，所述数据预处理模块包括去噪处理单元和散射矫正处理单元，所述去噪处理单元用于对全光谱吸收光度样本数据的高频噪声进行去除，所述散射矫正处理单元用于对全光谱吸收光度样本数据的低频噪声的低频基线进行矫正。
其中，所述高频噪声是指由光源、光路和光谱检测仪器引起的噪声。
其中，所述低频噪声基线是指由颗粒物散射引起的低频噪声。
另外，如图2所示，所述去噪处理单元包括数字平滑滤波单元、傅里叶变换单元和小波变换单元；其中，数字平滑滤波可通过调参的形式实现噪声干扰的稳定降低，傅里叶变换对平稳信号去噪处理时效果较好，小波变换主要适用于有用信号和噪声的频带相互分离时的确定性噪声的情况。本领域技术人员可根据需要自行设置去噪方法。
算法训练模块所采用模型为神经网络算法。该方法应用前首先要结合样本数据进行网络训练，使网络具有预测能力，即通过对大量的全光谱吸光度样本数据和已测水质结果数据进行线下深度挖掘训练，构建全光谱吸光度数据、水质结果数据和已设隐含层之间的权重映射关系，并以参数集形式写入计算系统，供信息解析模块调用。
在一些具体的例子中，如图4所示，以COD的训练过程为例，整个深度挖掘训练过程及成果可分为三种数据集，即输入信息数据集、权重训练数据集和权重映射参数集，其中输入信号数据集包括全光谱吸光度样本数据和已测水质结果数据，前者整体样本数据及样式为[X1、X2…、Xn.]，不同样本的吸光度数据样式为[Xn,200、Xn,202…、Xn,710]，分别对应着研究波段范围内不同波段的吸光度数据；后者水质结果数据集样式为[X1,COD、X2,COD…、Xn,COD],分别对应着不同样本的已测COD水质结果数据；权重训练数据集分为隐含层前权重和隐含层后权重，其中前者针对不同样本的权重集样式为[Wn,200,1、Wn,200,…、Wn,200,m、Wn,202,1、Wn,…,…、Wn,710,m]，后者针对不同样本的权重集样式为[W1,n、W2,n…Wm,n]；权重映射参数集是通过对梯度下降法和损失函数进行挖掘训练条件设置，通过训练获得权重映射关系参数集，总体表达基于隐含层m个节点，从256维全光谱吸光度数据到不同指标的水质结果数据的的权重映射关系。
另外，关于已测水质结果数据，该数据为布设在研究河段附件的国控/市控站的自动化水质监测结果数据，一般而言，监测频次为4h/次。
另外，水质监测结果数据的监测因子依据实际研究需要进行设置，如COD、BOD5、TOC等。
另外，神经网络算法训练过程中所用损失函数主要是回归损失，常用的包括平均绝对误差(MAE)、均方误差(MSE)、均方根误差(RMSE)和平均偏差误差(MBE)，本领域技术人员可根据需要自行设置损失函数。
信息解析模块是将全光谱吸光度数据、水质结果数据和隐含层之间的权重映射关系成果以参数集的形式输入到计算系统中，并应用于待测水体的全光谱吸光度数据的解析，进而得到水质成果信息。
本发明实施例提供的基于神经网络和全光谱吸光度的水质浓度计算系统，通过利用去噪和散射矫正技术，获得最接近样本中污染物的全光谱吸光度数据，在此基础上，利用神经网络算法，对大量的处理过的样本全光谱吸光度和已测水质数据的非线性关系进行线下深度挖掘训练，构建全光谱吸光度数据、水质结果数据和隐含层之间的权重映射关系；进而将该权重映射关系以参数集的形式应用到待测水样的全光谱吸光度的水质信息解析中，获得更加稳定、准确的水质浓度结果。
此外，如图3所示，本发明还提供一种基于神经网络和全光谱吸光度的水质浓度计算方法，包括以下步骤：
S1.采集研究河道断面的全光谱吸光度数据和对应水质结果数据作为样本数据；
S2.利用数据预处理模块对样本全光谱吸光度数据进行去噪和散射矫正处理，降低外界因素对样本全光谱吸光度数据影响，进而生成最接近样本中污染物的全光谱吸光度数据，并将其传递给算法训练模块；
S3.在算法训练模块中，利用神经网络算法对经过数据预处理模块预处理后的全光谱吸收光度数据的样本集和对应的已测水质结果数据进行线下深度挖掘训练，建立全光谱吸光度数据、水质结果信息与隐含层三者之间的权重映射关系，并将该权重映射关系以参数集的形式传递给信息解析模块；
S4.在信息解析模块中，将全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系成果以参数集的形式输入到计算系统中，并对待测水体的全光谱吸光度数据进行解析，进而得到其水质成果信息。
另外，在步骤S1中，考虑到训练效果的可行性，样本的数量应至少涵盖研究河段汛期和非汛期一个完整水利年的全光谱吸光度和已测水质结果数据；也就是说说样本数据的采集周期大于或等于一个水利年周期。
另外，在步骤S2中，利用神经网络算法构建研究河道断面的全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系，考虑到全光谱吸光度与已测水质结果数据的相关性相对良好，即设置一个隐含层即可满足训练的精度要求，当然也可以设置更多，对应隐含层的节点数依据水质监测结果数据的监测因子个数进行设定。
另外，考虑到全光谱吸光度与已测水质结果数据的相关性相对良好，对应的隐含层节点数可依据水质监测结果数据的监测因子个数进行适当调整，相对应用成果而言，7个节点的拟合效果最佳。
本发明实施例提供的基于神经网络和全光谱吸光度的水质浓度计算系统及方法，通过利用去噪和散射矫正技术，获得最接近待测水体中污染物的全光谱吸光度数据，在此基础上，利用神经网络算法搭建输入全光谱吸光度数据、输出水质结果信息和隐含层之间的权重映射关系，并将该权重映射关系以参数集的形式输入到计算系统中，进而应用到待测水样的全光谱吸光度数据的解析中，获得准确的水质成果信息。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (9)
1.基于神经网络和全光谱吸光度的水质浓度计算系统，其特征在于：包括样本采集模块、数据预处理模块、算法训练模块和信息解析模块；其中，
样本采集模块，用于采集研究河道断面的全光谱吸光度数据和对应水质结果数据；
数据预处理模块，用于对样本全光谱吸光度数据进行去噪和散射矫正处理，降低外界因素对样本全光谱吸光度数据影响，进而生成最接近样本中污染物的全光谱吸光度数据，并将其传递给算法训练模块；
算法训练模块，利用神经网络算法对经过数据预处理模块预处理后的全光谱吸收光度数据的样本集和对应的已测水质结果数据进行线下深度挖掘训练，建立全光谱吸光度数据、水质结果信息与隐含层三者之间的权重映射关系，并将该权重映射关系以参数集的形式传递给信息解析模块；
信息解析模块，将全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系成果以参数集的形式输入到计算系统中，并对待测水体的全光谱吸光度数据进行解析，进而得到其水质成果信息。
2.根据权利要求1所述的基于神经网络和全光谱吸光度的水质浓度计算系统，其特征在于：所述数据预处理模块包括去噪处理单元和散射矫正处理单元，所述去噪处理单元用于对全光谱吸收光度样本数据的高频噪声进行去除，所述散射矫正处理单元用于对全光谱吸收光度样本数据的低频噪声的低频基线进行矫正。
3.根据权利要求2所述的基于神经网络和全光谱吸光度的水质浓度计算系统，其特征在于：所述高频噪声是指由光源、光路和光谱检测仪器引起的噪声。
4.根据权利要求2所述的基于神经网络和全光谱吸光度的水质浓度计算系统，其特征在于：所述低频噪声基线是指由颗粒物散射引起的低频噪声。
5.根据权利要求2所述的基于神经网络和全光谱吸光度的水质浓度计算系统，其特征在于：所述去噪处理单元包括数字平滑滤波单元、傅里叶变换单元和小波变换单元。
6.基于神经网络和全光谱吸光度的水质浓度计算方法，其特征在于，包括以下步骤：
S1.采集研究河道断面的全光谱吸光度数据和对应水质结果数据作为样本数据；
S2.利用数据预处理模块对样本全光谱吸光度数据进行去噪和散射矫正处理，降低外界因素对样本全光谱吸光度数据影响，进而生成最接近样本中污染物的全光谱吸光度数据，并将其传递给算法训练模块；
S3.在算法训练模块中，利用神经网络算法对经过数据预处理模块预处理后的全光谱吸收光度数据的样本集和对应的已测水质结果数据进行线下深度挖掘训练，建立全光谱吸光度数据、水质结果信息与隐含层三者之间的权重映射关系，并将该权重映射关系以参数集的形式传递给信息解析模块；
S4.在信息解析模块中，将全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系成果以参数集的形式输入到计算系统中，并对待测水体的全光谱吸光度数据进行解析，进而得到其水质成果信息。
7.根据权利要求6所述的基于神经网络和全光谱吸光度的水质浓度计算方法，其特征在于：在步骤S1中，样本数据的采集周期大于或等于一个水利年周期。
8.根据权利要求6所述的基于神经网络和全光谱吸光度的水质浓度计算方法，其特征在于：在步骤S2中，利用神经网络算法构建研究河道断面的全光谱吸光度数据、水质结果信息和隐含层之间的权重映射关系，其中隐含层的数量设置至少为1个，对应隐含层的节点数依据水质监测结果数据的监测因子个数进行设定。
9.根据权利要求8所述的基于神经网络和全光谱吸光度的水质浓度计算方法，其特征在于：对应隐含层的节点数设定为7个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110705829.1A CN113484257B (zh) | 2021-06-24 | 2021-06-24 | 基于神经网络和全光谱吸光度的水质浓度计算系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110705829.1A CN113484257B (zh) | 2021-06-24 | 2021-06-24 | 基于神经网络和全光谱吸光度的水质浓度计算系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113484257A true CN113484257A (zh) | 2021-10-08 |
| CN113484257B CN113484257B (zh) | 2023-11-14 |
Family
ID=77937605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110705829.1A Active CN113484257B (zh) | 2021-06-24 | 2021-06-24 | 基于神经网络和全光谱吸光度的水质浓度计算系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113484257B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114323105A (zh) * | 2021-12-23 | 2022-04-12 | 中山大学 | 一种光纤光栅光谱分析方法、系统、存储介质 |
| CN115144334A (zh) * | 2022-07-12 | 2022-10-04 | 安徽大学 | 一种基于可变形镜的气体多通池及控制方法 |
| CN116297251A (zh) * | 2023-05-17 | 2023-06-23 | 安徽新宇环保科技股份有限公司 | 一种多传感器组合的水质检测系统及其检测探头 |
| CN116735444A (zh) * | 2023-06-08 | 2023-09-12 | 深圳市中科云驰环境科技有限公司 | 基于红外散射光谱的水体悬浮物浓度检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070233397A1 (en) * | 2006-03-20 | 2007-10-04 | Sensis Corporation | System for detection and prediction of water quality events |
| CN109001136A (zh) * | 2018-09-20 | 2018-12-14 | 杭州绿洁水务科技股份有限公司 | 一种基于紫外—可见光吸收光谱的cod在线监测方法 |
| CN109580509A (zh) * | 2018-12-03 | 2019-04-05 | 北京英视睿达科技有限公司 | 全光谱水质监测方法和系统 |
| US20190205608A1 (en) * | 2017-12-29 | 2019-07-04 | Deep Innovations Ltd | Method and apparatus for safety monitoring of a body of water |
| CN110619418A (zh) * | 2019-07-26 | 2019-12-27 | 重庆大学 | 一种基于混合模型组合算法的多特征水质预测方法 |
| CN111766210A (zh) * | 2020-07-09 | 2020-10-13 | 中国科学院烟台海岸带研究所 | 一种近岸复杂海水硝酸盐氮多光谱测量方法 |
| WO2021028650A1 (en) * | 2019-08-13 | 2021-02-18 | University Of Hertfordshire Higher Education Corporation | Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region |
| CN112763426A (zh) * | 2020-12-23 | 2021-05-07 | 宁德卫星大数据科技有限公司 | 一种循环优化的高光谱大数据水质全天候动态监测方法 |
-
2021
- 2021-06-24 CN CN202110705829.1A patent/CN113484257B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070233397A1 (en) * | 2006-03-20 | 2007-10-04 | Sensis Corporation | System for detection and prediction of water quality events |
| US20190205608A1 (en) * | 2017-12-29 | 2019-07-04 | Deep Innovations Ltd | Method and apparatus for safety monitoring of a body of water |
| CN109001136A (zh) * | 2018-09-20 | 2018-12-14 | 杭州绿洁水务科技股份有限公司 | 一种基于紫外—可见光吸收光谱的cod在线监测方法 |
| CN109580509A (zh) * | 2018-12-03 | 2019-04-05 | 北京英视睿达科技有限公司 | 全光谱水质监测方法和系统 |
| CN110619418A (zh) * | 2019-07-26 | 2019-12-27 | 重庆大学 | 一种基于混合模型组合算法的多特征水质预测方法 |
| WO2021028650A1 (en) * | 2019-08-13 | 2021-02-18 | University Of Hertfordshire Higher Education Corporation | Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region |
| CN111766210A (zh) * | 2020-07-09 | 2020-10-13 | 中国科学院烟台海岸带研究所 | 一种近岸复杂海水硝酸盐氮多光谱测量方法 |
| CN112763426A (zh) * | 2020-12-23 | 2021-05-07 | 宁德卫星大数据科技有限公司 | 一种循环优化的高光谱大数据水质全天候动态监测方法 |
Non-Patent Citations (3)
| Title |
|---|
| NGUYEN HIEN THAN等: "The performance of classification and forecasting Dong Nai River water quality for sustainable water resources management using neural network techniques", JOURNAL OF HYDROLOGY, vol. 596, no. 126099, pages 1 - 19 * |
| 侯耀斌;冯巍巍;蔡宗岐;王焕卿;刘增东;: "基于神经网络模型的海水硝酸盐测量方法研究", 光谱学与光谱分析, no. 10, pages 229 - 234 * |
| 林春伟;郭永洪;何金龙;: "基于紫外可见吸收光谱的水质检测算法研究", 中国测试, no. 05, pages 83 - 88 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114323105A (zh) * | 2021-12-23 | 2022-04-12 | 中山大学 | 一种光纤光栅光谱分析方法、系统、存储介质 |
| CN114323105B (zh) * | 2021-12-23 | 2024-02-27 | 中山大学 | 一种光纤光栅光谱分析方法、系统、存储介质 |
| CN115144334A (zh) * | 2022-07-12 | 2022-10-04 | 安徽大学 | 一种基于可变形镜的气体多通池及控制方法 |
| CN116297251A (zh) * | 2023-05-17 | 2023-06-23 | 安徽新宇环保科技股份有限公司 | 一种多传感器组合的水质检测系统及其检测探头 |
| CN116297251B (zh) * | 2023-05-17 | 2023-08-29 | 安徽新宇环保科技股份有限公司 | 一种多传感器组合的水质检测系统及其检测探头 |
| CN116735444A (zh) * | 2023-06-08 | 2023-09-12 | 深圳市中科云驰环境科技有限公司 | 基于红外散射光谱的水体悬浮物浓度检测方法及装置 |
| CN116735444B (zh) * | 2023-06-08 | 2024-04-02 | 深圳市中科云驰环境科技有限公司 | 基于红外散射光谱的水体悬浮物浓度检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113484257B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113484257A (zh) | 基于神经网络和全光谱吸光度的水质浓度计算系统及方法 | |
| US11561169B2 (en) | Method for constructing water quality index prediction models and method for monitoring water quality indexes | |
| CN106124449B (zh) | 一种基于深度学习技术的土壤近红外光谱分析预测方法 | |
| CN107607486B (zh) | 一种土壤全氮检测方法及装置 | |
| CN113049512B (zh) | 基于全波长紫外可见吸收光谱的水质在线监测方法 | |
| CN110907375B (zh) | 一种全光谱水质在线监测装置与方法 | |
| CN112070234A (zh) | 复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法 | |
| CN111811580A (zh) | 一种水量/水质监测布点方法及预警响应系统 | |
| CN110426191B (zh) | 一种抗干扰旋转机械的故障诊断方法 | |
| CN108760642A (zh) | 全光谱实时水质分析仪 | |
| CN112504983A (zh) | 一种基于浊度色度补偿的硝酸盐浓度预测方法 | |
| CN115221927A (zh) | 一种紫外-可见光谱的溶解有机碳检测方法 | |
| CN113916808B (zh) | 一种营养盐浓度的获得方法、装置、终端设备及存储介质 | |
| CN114894725A (zh) | 一种水质多参数的光谱数据Stacking融合模型及水质多参数测量方法 | |
| US7603004B2 (en) | Neural network demodulation for an optical sensor | |
| CN111766210B (zh) | 一种近岸复杂海水硝酸盐氮多光谱测量方法 | |
| Maguire et al. | Ultraviolet‐visual spectroscopy estimation of nitrate concentrations in surface waters via machine learning | |
| Ye et al. | Water chemical oxygen demand prediction model based on the CNN and ultraviolet-visible spectroscopy | |
| Zhang et al. | Study on the Noise Reduction of Vehicle Exhaust NO X Spectra Based on Adaptive EEMD Algorithm | |
| CN111368939A (zh) | 一种基于随机森林集成的河流浊度软测量方法 | |
| Liu et al. | Retrieval of Water Parameters from Absorption Spectrum Based on Convolutional Neural Network | |
| CN116754499B (zh) | 多拓扑节点高光谱水质参数联合反演方法及相关设备 | |
| CN117420090A (zh) | 一种cod和硝氮浓度全光谱检测装置及检测方法 | |
| LU500691B1 (en) | Non-touching Real-time In-situ Water Quality Detection Method | |
| Xu et al. | The Seawater Quality Monitoring and Data Inconsistency Processing System Based on a Long-Range Sensor Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |