CN111160435B - 基于重构残差编码器的荧光光谱有机污染预警方法 - Google Patents
基于重构残差编码器的荧光光谱有机污染预警方法 Download PDFInfo
- Publication number
- CN111160435B CN111160435B CN201911329860.9A CN201911329860A CN111160435B CN 111160435 B CN111160435 B CN 111160435B CN 201911329860 A CN201911329860 A CN 201911329860A CN 111160435 B CN111160435 B CN 111160435B
- Authority
- CN
- China
- Prior art keywords
- fluorescence spectrum
- sample
- spectrum data
- dimensional fluorescence
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种基于重构残差编码器的荧光光谱有机污染预警方法。该方法先对采集到的经过散射预处理后未受有机污染的离线饮用水三维荧光光谱数据,对饮用水光谱样本进行重采样,然后使用光谱数据构建重构残差编码器模型以还原原始光谱,通过残差计算方法求出每个样本还原光谱与原始光谱的残差值,并根据离线数据的重构残差的数值分布确定判别阈值。在检测阶段,样本输入到重构残差编码器模型中,计算还原的荧光光谱与原始光谱间残差值,通过离线模型确定的阈值法对饮用水的突发性有机污染事件进行检测,以实现饮用水中有机污染的及时预警。本发明检出率较高,且误报率较低,适用于突发的、未知有机污染物造成的有机物水污染事件的检出。
Description
技术领域
本发明涉及一种饮用水有机污染事件的预警方法,尤其涉及一种重构残差编码器的饮用水受突发性有机物污染的情况下的异常检测方法。
背景技术
突发性有机水污染指因违反水资源法律法规的社会活动,以及自然灾害或意外情况等原因造成的水环境污染。突发性有机水污染的发生往往具有不确定性且短时间内难以控制与处置。有机污染事件的污染物种类繁多,且污染发生时,有机污染物的种类往往未知,水溶液在三维荧光光谱中也表现各异。此外,三维荧光光谱包含信息量大,直接对其全光谱分析会造成信息冗余,关键信息难以提取且数据处理复杂、耗时长,因此亟需一种快速有效的有机水污染事件预警方法。
发明内容
为了克服现有技术的不足,本发明的目的是提供一种基于重构残差编码器的荧光光谱有机污染预警方法。
一种基于重构残差编码器的荧光光谱有机污染预警方法,包括以下步骤:
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据,作为训练集离线数据;
S2 预处理原始三维荧光光谱数据,去除光谱散射,得到预处理后的三维荧光光谱数据;
S3对预处理后的三维荧光光谱数据进行重采样,包括以下步骤:
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心;
S3.2 遍历训练集中的每一个样本,计算该样本与样本中心之间的欧式距离;
S3.3 对每一个样本,根据与样本中心的距离差异合成一个新的样本,即完成了重采样;
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型,包括以下步骤:
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中,第一个残差编码器将数据映射至隐含层转化为编码信息,随后重构层对编码信息进行解码从而实现重构;
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入,进行编码和解码操作,反复执行直到最后一个残差编码器,得到逐层预训练后的各层网络参数;
S4.3 将逐层预训练后的各层网络参数视为一个整体模型,使用S1中的训练集离线数据对整体模型进行更新微调,得到重构残差编码器模型。
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断,包括以下步骤:
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出;
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差;
S5.3 根据重构残差的平均值和标准差确定异常判断阈值;
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中,计算待测样本的三维荧光光谱数据与重构输出的残差值,根据步骤(S5.3)中的异常判断阈值,判断待测样本是否受到有机污染。
所述步骤S3.3中饮用水荧光光谱的样本合成方法通过下式计算:
X j,new =X center +ζ· (X j - X center )
其中,X center 为样本中心,ζ∈ (0,1) 是一个随机数,X j,new 表示第j样本与样本中心合成的新样本。
所述步骤S5.2中重构残差计算步骤如下:
a. 分别遍历重采样后的三维荧光光谱数据及重构输出的每一行,对当前遍历元素,若左边元素值大于右边,则当前位置的值为1,否则为0,遍历完三维荧光光谱后,得到一个二维的二进制编码;
b. 重构残差计算方式如下:
其中,Zi为重构输出;X i 为重采样后的三维荧光光谱数据; f为步骤a中的编码运算。
本发明的有益效果是:本发明提出的基于重构残差编码器重构残差的方法对饮用水受有机污染物的污染事件检出率较高,且误报率较低。本发明的方法对于对低浓度情况下的有机污染依然能够保持较好的检出率,适用于突发的、未知有机污染物造成的有机物水污染事件的检出。
附图说明
图1为基于重构残差编码器重构残差的荧光光谱有机污染预警方法的流程框图;
图2为重构残差编码器的逐层预训练;
图3为重构残差编码器的微调。
具体实施方式
以下结合附图,对本发明的实施方案进行进一步详细说明。
一种基于重构残差编码器的荧光光谱有机污染预警方法的基本步骤如图1所示,首先预处理饮用水的三维荧光光谱数据,然后对饮用水的三维荧光光谱数据进行重采样以降低水质背景波动造成的误报率,构建离线模型,接着构建正常饮用水的重构残差编码器模型即正常水样重构模型,然后根据重构前后的光谱残差分布设定异常判断阈值,最后将在线光谱数据输入到重构模型中,根据重构前后的残差结合判断阈值进行有机污染预警,具体包括以下步骤:
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据,作为训练集离线数据;
S2 预处理原始三维荧光光谱数据,去除光谱散射,得到预处理后的三维荧光光谱数据;
S3对预处理后的三维荧光光谱数据进行重采样,包括以下步骤:
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心;
S3.2 遍历训练集中的每一个样本,计算该样本与样本中心之间的欧式距离;
S3.3 对每一个样本,根据与样本中心的距离差异合成一个新的样本,即完成了重采样;
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型,包括以下步骤:
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中,第一个残差编码器将数据映射至隐含层转化为编码信息(即进行了编码操作),随后重构层对编码信息进行解码从而实现重构(即进行了解码操作)(如图2所示);
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入,进行编码和解码操作,反复执行直到最后一个残差编码器,得到逐层预训练后的各层网络参数(如图2所示);
S4.3 将逐层预训练后的各层网络参数视为一个整体模型,使用S1中的训练集离线数据对整体模型进行更新微调,得到重构残差编码器模型(如图3所示)。
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断,包括以下步骤:
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出;
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差;
S5.3 根据重构残差的平均值和标准差确定异常判断阈值;
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中,计算待测样本的三维荧光光谱数据与重构输出的残差值,根据步骤(S5.3)中的异常判断阈值,判断待测样本是否受到有机污染。
S3.3中饮用水荧光光谱的样本合成方法通过下式计算:
X j,new =X center +ζ· (X j - X center )
其中,X center 为样本中心,ζ∈ (0,1) 是一个随机数,X j,new 表示第j样本与样本中心合成的新样本。
S5.2中重构残差通过下式计算得到:
其中,Zi为重构输出;X i 为重采样后的三维荧光光谱数据; f为步骤a中的编码运算。
S5.3中确定异常判断阈值根据3σ准则确定如下正常区间:
本领域普通技术人员可以理解,以上所述仅为发明的优选实例而已,并不用于限制发明,尽管参照前述实例对发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述实例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内,所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (3)
1.一种基于重构残差编码器的荧光光谱有机污染预警方法,其特征在于,包括以下步骤:
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据,作为训练集离线数据;
S2 预处理原始三维荧光光谱数据,去除光谱散射,得到预处理后的三维荧光光谱数据;
S3对预处理后的三维荧光光谱数据进行重采样,包括以下步骤:
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心;
S3.2 遍历训练集中的每一个样本,计算该样本与样本中心之间的欧式距离;
S3.3 对每一个样本,根据与样本中心的距离差异合成一个新的样本,即完成了重采样;
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型,包括以下步骤:
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中,第一个残差编码器将数据映射至隐含层转化为编码信息,随后重构层对编码信息进行解码从而实现重构;
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入,进行编码和解码操作,反复执行直到最后一个残差编码器,得到逐层预训练后的各层网络参数;
S4.3 将逐层预训练后的各层网络参数视为一个整体模型,使用S1中的训练集离线数据对整体模型进行更新微调,得到重构残差编码器模型;
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断,包括以下步骤:
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出;
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差;
S5.3 根据重构残差的平均值和标准差确定异常判断阈值;
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中,计算待测样本的三维荧光光谱数据与重构输出的残差值,根据步骤S5.3中的异常判断阈值,判断待测样本是否受到有机污染。
2.根据权利要求1所述的方法,其特征在于,所述步骤S3.3中饮用水荧光光谱的样本合成方法通过下式计算:
X j,new =X center +ζ· (X j - X center )
其中,X center 为样本中心,ζ ∈ (0,1) 是一个随机数,X j,new 表示第j样本与样本中心合成的新样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911329860.9A CN111160435B (zh) | 2019-12-20 | 2019-12-20 | 基于重构残差编码器的荧光光谱有机污染预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911329860.9A CN111160435B (zh) | 2019-12-20 | 2019-12-20 | 基于重构残差编码器的荧光光谱有机污染预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160435A CN111160435A (zh) | 2020-05-15 |
CN111160435B true CN111160435B (zh) | 2022-05-27 |
Family
ID=70557648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911329860.9A Active CN111160435B (zh) | 2019-12-20 | 2019-12-20 | 基于重构残差编码器的荧光光谱有机污染预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111160435B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113791055B (zh) * | 2021-08-17 | 2024-05-14 | 北京农业信息技术研究中心 | 一种鱼肉新鲜度检测方法及系统 |
CN115963092A (zh) * | 2022-12-07 | 2023-04-14 | 浙江大学 | 基于浊度补偿和散射宽度估计的自适应瑞利散射处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5822060A (en) * | 1996-03-27 | 1998-10-13 | Hewlett-Packard Company | Method of detecting sample substances and fluorescence spectrometer using the method |
CN105466893A (zh) * | 2015-11-14 | 2016-04-06 | 常州大学 | 一种基于三维荧光光谱的地表水有机污染的快速预警方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102124714B1 (ko) * | 2015-09-03 | 2020-06-19 | 미디어텍 인크. | 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치 |
-
2019
- 2019-12-20 CN CN201911329860.9A patent/CN111160435B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5822060A (en) * | 1996-03-27 | 1998-10-13 | Hewlett-Packard Company | Method of detecting sample substances and fluorescence spectrometer using the method |
CN105466893A (zh) * | 2015-11-14 | 2016-04-06 | 常州大学 | 一种基于三维荧光光谱的地表水有机污染的快速预警方法 |
Non-Patent Citations (1)
Title |
---|
基于多层正则极限学习机的煤矿突水光谱判别方法;王亚等;《光学学报》;20180328(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111160435A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Interpretable tree-based ensemble model for predicting beach water quality | |
CN111160435B (zh) | 基于重构残差编码器的荧光光谱有机污染预警方法 | |
CN111275307B (zh) | 一种水质自动在线站高频连续观测数据质量控制方法 | |
CN109034140B (zh) | 基于深度学习结构的工业控制网络信号异常检测方法 | |
Alferes et al. | Advanced monitoring of water systems using in situ measurement stations: data validation and fault detection | |
CN111966759B (zh) | 一种港池航道通航保障评估方法、系统、装置及介质 | |
CN116611013A (zh) | 针对工业时序数据的异常检测以及根因分析方法及系统 | |
CN113627532B (zh) | 食品安全检测方法、装置、设备及存储介质 | |
Rustum et al. | Applying Kohonen self‐organizing map as a software sensor to predict biochemical oxygen demand | |
Mustapha et al. | Temporal aspects of surface water quality variation using robust statistical tools | |
CN113962320A (zh) | 地下水监测数据处理方法及装置 | |
Ba-Alawi et al. | Explainable multisensor fusion-based automatic reconciliation and imputation of faulty and missing data in membrane bioreactor plants for fouling alleviation and energy saving | |
EP3942374A1 (fr) | Méthode de détection d'anomalies dans une installation de traitement des eaux | |
CN114708675A (zh) | 基于dae的电潜泵故障诊断方法、系统、终端及介质 | |
CN116738297B (zh) | 一种基于深度自编码的糖尿病分型方法和系统 | |
Jyväsjärvi et al. | Palaeolimnological validation of estimated reference values for a lake profundal macroinvertebrate metric (Benthic Quality Index) | |
Edthofer et al. | Reliable online water quality monitoring as basis for fault tolerant control | |
CN113051844A (zh) | 一种海洋及开阔水域环境污染事件识别与精准溯源方法 | |
US20230029400A1 (en) | Method of Hierarchical Machine Learning for an Industrial Plant Machine Learning System | |
Dürrenmatt et al. | Identification of industrial wastewater by clustering wastewater treatment plant influent ultraviolet visible spectra | |
CN115545112B (zh) | 一种大量地下水实时自动监测数据自动识别和处理的方法 | |
Cogranne et al. | Reliable detection of hidden information based on a non-linear local model | |
CN115019476B (zh) | 一种基于多源信息融合的滑坡时空信息监测预警方法 | |
CN116089894A (zh) | 基于半监督对抗变分自动编码的冷水机组未知故障诊断方法 | |
Yu et al. | Detection of water contamination events using fluorescence spectroscopy and alternating trilinear decomposition algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |