CN111160435A - 基于重构残差编码器的荧光光谱有机污染预警方法 - Google Patents

基于重构残差编码器的荧光光谱有机污染预警方法 Download PDF

Info

Publication number
CN111160435A
CN111160435A CN201911329860.9A CN201911329860A CN111160435A CN 111160435 A CN111160435 A CN 111160435A CN 201911329860 A CN201911329860 A CN 201911329860A CN 111160435 A CN111160435 A CN 111160435A
Authority
CN
China
Prior art keywords
fluorescence spectrum
sample
spectrum data
dimensional fluorescence
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911329860.9A
Other languages
English (en)
Other versions
CN111160435B (zh
Inventor
侯迪波
曹怿童
喻洁
时菲
施杰根
董辉
黄平捷
张光新
张宏建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911329860.9A priority Critical patent/CN111160435B/zh
Publication of CN111160435A publication Critical patent/CN111160435A/zh
Application granted granted Critical
Publication of CN111160435B publication Critical patent/CN111160435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于重构残差编码器的荧光光谱有机污染预警方法。该方法先对采集到的经过散射预处理后未受有机污染的离线饮用水三维荧光光谱数据，对饮用水光谱样本进行重采样，然后使用光谱数据构建重构残差编码器模型以还原原始光谱，通过残差计算方法求出每个样本还原光谱与原始光谱的残差值，并根据离线数据的重构残差的数值分布确定判别阈值。在检测阶段，样本输入到重构残差编码器模型中，计算还原的荧光光谱与原始光谱间残差值，通过离线模型确定的阈值法对饮用水的突发性有机污染事件进行检测，以实现饮用水中有机污染的及时预警。本发明检出率较高，且误报率较低，适用于突发的、未知有机污染物造成的有机物水污染事件的检出。

Description

基于重构残差编码器的荧光光谱有机污染预警方法
技术领域
本发明涉及一种饮用水有机污染事件的预警方法，尤其涉及一种重构残差编码器的饮用水受突发性有机物污染的情况下的异常检测方法。
背景技术
突发性有机水污染指因违反水资源法律法规的社会活动，以及自然灾害或意外情况等原因造成的水环境污染。突发性有机水污染的发生往往具有不确定性且短时间内难以控制与处置。有机污染事件的污染物种类繁多，且污染发生时，有机污染物的种类往往未知，水溶液在三维荧光光谱中也表现各异。此外，三维荧光光谱包含信息量大，直接对其全光谱分析会造成信息冗余，关键信息难以提取且数据处理复杂、耗时长，因此亟需一种快速有效的有机水污染事件预警方法。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种基于重构残差编码器的荧光光谱有机污染预警方法。
一种基于重构残差编码器的荧光光谱有机污染预警方法，包括以下步骤：
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据，作为训练集离线数据；
S2 预处理原始三维荧光光谱数据，去除光谱散射，得到预处理后的三维荧光光谱数据；
S3对预处理后的三维荧光光谱数据进行重采样，包括以下步骤：
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心；
S3.2 遍历训练集中的每一个样本，计算该样本与样本中心之间的欧式距离；
S3.3 对每一个样本，根据与样本中心的距离差异合成一个新的样本，即完成了重采样；
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型，包括以下步骤：
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中，第一个残差编码器将数据映射至隐含层转化为编码信息，随后重构层对编码信息进行解码从而实现重构；
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入，进行编码和解码操作，反复执行直到最后一个残差编码器，得到逐层预训练后的各层网络参数；
S4.3 将逐层预训练后的各层网络参数视为一个整体模型，使用S1中的训练集离线数据对整体模型进行更新微调，得到重构残差编码器模型。
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断，包括以下步骤：
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出；
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差；
S5.3 根据重构残差的平均值和标准差确定异常判断阈值；
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中，计算待测样本的三维荧光光谱数据与重构输出的残差值，根据步骤（S5.3）中的异常判断阈值，判断待测样本是否受到有机污染。
所述步骤S3.3中饮用水荧光光谱的样本合成方法通过下式计算：
X j,new =X center +ζ· (X j - X center )
其中，X center 为样本中心，ζ∈ (0,1) 是一个随机数，X j,new 表示第j样本与样本中心合成的新样本。
所述步骤S5.2中重构残差计算步骤如下：
a. 分别遍历重采样后的三维荧光光谱数据及重构输出的每一行，对当前遍历元素，若左边元素值大于右边，则当前位置的值为1，否则为0，遍历完三维荧光光谱后，得到一个二维的二进制编码；
b. 重构残差计算方式如下：
Figure DEST_PATH_IMAGE001
其中，Zi为重构输出；X i 为重采样后的三维荧光光谱数据； f为步骤a中的编码运算。
本发明的有益效果是：本发明提出的基于重构残差编码器重构残差的方法对饮用水受有机污染物的污染事件检出率较高，且误报率较低。本发明的方法对于对低浓度情况下的有机污染依然能够保持较好的检出率，适用于突发的、未知有机污染物造成的有机物水污染事件的检出。
附图说明
图1为基于重构残差编码器重构残差的荧光光谱有机污染预警方法的流程框图；
图2为重构残差编码器的逐层预训练；
图3为重构残差编码器的微调。
具体实施方式
以下结合附图，对本发明的实施方案进行进一步详细说明。
一种基于重构残差编码器的荧光光谱有机污染预警方法的基本步骤如图1所示，首先预处理饮用水的三维荧光光谱数据，然后对饮用水的三维荧光光谱数据进行重采样以降低水质背景波动造成的误报率，构建离线模型，接着构建正常饮用水的重构残差编码器模型即正常水样重构模型，然后根据重构前后的光谱残差分布设定异常判断阈值，最后将在线光谱数据输入到重构模型中，根据重构前后的残差结合判断阈值进行有机污染预警，具体包括以下步骤：
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据，作为训练集离线数据；
S2 预处理原始三维荧光光谱数据，去除光谱散射，得到预处理后的三维荧光光谱数据；
S3对预处理后的三维荧光光谱数据进行重采样，包括以下步骤：
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心；
S3.2 遍历训练集中的每一个样本，计算该样本与样本中心之间的欧式距离；
S3.3 对每一个样本，根据与样本中心的距离差异合成一个新的样本，即完成了重采样；
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型，包括以下步骤：
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中，第一个残差编码器将数据映射至隐含层转化为编码信息（即进行了编码操作），随后重构层对编码信息进行解码从而实现重构（即进行了解码操作）（如图2所示）；
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入，进行编码和解码操作，反复执行直到最后一个残差编码器，得到逐层预训练后的各层网络参数（如图2所示）；
S4.3 将逐层预训练后的各层网络参数视为一个整体模型，使用S1中的训练集离线数据对整体模型进行更新微调，得到重构残差编码器模型（如图3所示）。
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断，包括以下步骤：
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出；
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差；
S5.3 根据重构残差的平均值和标准差确定异常判断阈值；
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中，计算待测样本的三维荧光光谱数据与重构输出的残差值，根据步骤（S5.3）中的异常判断阈值，判断待测样本是否受到有机污染。
S3.3中饮用水荧光光谱的样本合成方法通过下式计算：
X j,new =X center +ζ· (X j - X center )
其中，X center 为样本中心，ζ∈ (0,1) 是一个随机数，X j,new 表示第j样本与样本中心合成的新样本。
S5.2中重构残差通过下式计算得到：
Figure 671758DEST_PATH_IMAGE002
其中，Zi为重构输出；X i 为重采样后的三维荧光光谱数据； f为步骤a中的编码运算。
S5.3中确定异常判断阈值根据3σ准则确定如下正常区间：
Figure 535809DEST_PATH_IMAGE003
其中，
Figure 350181DEST_PATH_IMAGE004
为重构残差的均值，σ为重构残差的标准差。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (3)

1.一种基于重构残差编码器的荧光光谱有机污染预警方法，其特征在于，包括以下步骤：
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据，作为训练集离线数据；
S2 预处理原始三维荧光光谱数据，去除光谱散射，得到预处理后的三维荧光光谱数据；
S3对预处理后的三维荧光光谱数据进行重采样，包括以下步骤：
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心；
S3.2 遍历训练集中的每一个样本，计算该样本与样本中心之间的欧式距离；
S3.3 对每一个样本，根据与样本中心的距离差异合成一个新的样本，即完成了重采样；
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型，包括以下步骤：
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中，第一个残差编码器将数据映射至隐含层转化为编码信息，随后重构层对编码信息进行解码从而实现重构；
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入，进行编码和解码操作，反复执行直到最后一个残差编码器，得到逐层预训练后的各层网络参数；
S4.3 将逐层预训练后的各层网络参数视为一个整体模型，使用S1中的训练集离线数据对整体模型进行更新微调，得到重构残差编码器模型；
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断，包括以下步骤：
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出；
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差；
S5.3 根据重构残差的平均值和标准差确定异常判断阈值；
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中，计算待测样本的三维荧光光谱数据与重构输出的残差值，根据步骤S5.3中的异常判断阈值，判断待测样本是否受到有机污染。
2.根据权利要求1所述的方法，其特征在于，所述步骤S3.3中饮用水荧光光谱的样本合成方法通过下式计算：
X j,new =X center +ζ· (X j - X center )
其中，X center 为样本中心，ζ ∈ (0,1) 是一个随机数，X j,new 表示第j样本与样本中心合成的新样本。
3.根据权利要求1所述的方法，其特征在于，所述步骤S5.2中重构残差计算步骤如下：
a. 分别遍历重采样后的三维荧光光谱数据及重构输出的每一行，对当前遍历元素，若左边元素值大于右边，则当前位置的值为1，否则为0，遍历完三维荧光光谱后，得到一个二维的二进制编码；
b. 重构残差计算方式如下：
Figure DEST_PATH_IMAGE002
其中，Zi为重构输出；X i 为重采样后的三维荧光光谱数据； f为步骤a中的编码运算。
CN201911329860.9A 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法 Active CN111160435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911329860.9A CN111160435B (zh) 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911329860.9A CN111160435B (zh) 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法

Publications (2)

Publication Number Publication Date
CN111160435A true CN111160435A (zh) 2020-05-15
CN111160435B CN111160435B (zh) 2022-05-27

Family

ID=70557648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911329860.9A Active CN111160435B (zh) 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法

Country Status (1)

Country Link
CN (1) CN111160435B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791055A (zh) * 2021-08-17 2021-12-14 北京农业信息技术研究中心 一种鱼肉新鲜度检测方法及系统
CN115963092A (zh) * 2022-12-07 2023-04-14 浙江大学 基于浊度补偿和散射宽度估计的自适应瑞利散射处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822060A (en) * 1996-03-27 1998-10-13 Hewlett-Packard Company Method of detecting sample substances and fluorescence spectrometer using the method
CN105466893A (zh) * 2015-11-14 2016-04-06 常州大学 一种基于三维荧光光谱的地表水有机污染的快速预警方法
US20180249158A1 (en) * 2015-09-03 2018-08-30 Mediatek Inc. Method and apparatus of neural network based processing in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822060A (en) * 1996-03-27 1998-10-13 Hewlett-Packard Company Method of detecting sample substances and fluorescence spectrometer using the method
US20180249158A1 (en) * 2015-09-03 2018-08-30 Mediatek Inc. Method and apparatus of neural network based processing in video coding
CN105466893A (zh) * 2015-11-14 2016-04-06 常州大学 一种基于三维荧光光谱的地表水有机污染的快速预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚等: "基于多层正则极限学习机的煤矿突水光谱判别方法", 《光学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791055A (zh) * 2021-08-17 2021-12-14 北京农业信息技术研究中心 一种鱼肉新鲜度检测方法及系统
CN113791055B (zh) * 2021-08-17 2024-05-14 北京农业信息技术研究中心 一种鱼肉新鲜度检测方法及系统
CN115963092A (zh) * 2022-12-07 2023-04-14 浙江大学 基于浊度补偿和散射宽度估计的自适应瑞利散射处理方法

Also Published As

Publication number Publication date
CN111160435B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Li et al. Interpretable tree-based ensemble model for predicting beach water quality
CN111160435B (zh) 基于重构残差编码器的荧光光谱有机污染预警方法
Riaz Monitoring process mean level using auxiliary information
CN111275307B (zh) 一种水质自动在线站高频连续观测数据质量控制方法
CN109034140B (zh) 基于深度学习结构的工业控制网络信号异常检测方法
KR102218734B1 (ko) 인공지능 기반 환경유해인자 고해상도 데이터 보간방법
CN116611013A (zh) 针对工业时序数据的异常检测以及根因分析方法及系统
CN111966759B (zh) 一种港池航道通航保障评估方法、系统、装置及介质
CN113627532B (zh) 食品安全检测方法、装置、设备及存储介质
Rustum et al. Applying Kohonen self‐organizing map as a software sensor to predict biochemical oxygen demand
Mustapha et al. Temporal aspects of surface water quality variation using robust statistical tools
CN113962320A (zh) 地下水监测数据处理方法及装置
EP3942374A1 (fr) Méthode de détection d'anomalies dans une installation de traitement des eaux
KR20230118442A (ko) 전자 장치 및 이상치 탐지 방법
CN114708675A (zh) 基于dae的电潜泵故障诊断方法、系统、终端及介质
CN116738297B (zh) 一种基于深度自编码的糖尿病分型方法和系统
Jyväsjärvi et al. Palaeolimnological validation of estimated reference values for a lake profundal macroinvertebrate metric (Benthic Quality Index)
Edthofer et al. Reliable online water quality monitoring as basis for fault tolerant control
CN113051844A (zh) 一种海洋及开阔水域环境污染事件识别与精准溯源方法
US20230029400A1 (en) Method of Hierarchical Machine Learning for an Industrial Plant Machine Learning System
Dürrenmatt et al. Identification of industrial wastewater by clustering wastewater treatment plant influent ultraviolet visible spectra
CN115545112B (zh) 一种大量地下水实时自动监测数据自动识别和处理的方法
Cogranne et al. Reliable detection of hidden information based on a non-linear local model
Yu et al. Detection of water contamination events using fluorescence spectroscopy and alternating trilinear decomposition algorithm
CN115019476B (zh) 一种基于多源信息融合的滑坡时空信息监测预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant