CN109612961B - 海岸环境微塑料的开集识别方法 - Google Patents

海岸环境微塑料的开集识别方法 Download PDF

Info

Publication number
CN109612961B
CN109612961B CN201811527263.2A CN201811527263A CN109612961B CN 109612961 B CN109612961 B CN 109612961B CN 201811527263 A CN201811527263 A CN 201811527263A CN 109612961 B CN109612961 B CN 109612961B
Authority
CN
China
Prior art keywords
sample
micro
model
correction
open set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811527263.2A
Other languages
English (en)
Other versions
CN109612961A (zh
Inventor
陈孝敬
陈熙
袁雷鸣
朱德华
李理敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN201811527263.2A priority Critical patent/CN109612961B/zh
Publication of CN109612961A publication Critical patent/CN109612961A/zh
Application granted granted Critical
Publication of CN109612961B publication Critical patent/CN109612961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N2021/3595Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using FTIR

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供一种海岸环境微塑料的开集识别方法,包含以下步骤:a.在海岸环境下收集微塑料样本并分离制备;b.采集微塑料样本的红外光谱信息并随机分为校正样本和预测样本;c.提取特征光谱数据矩阵;d.构建单类开集识别模型;e.利用所述多个单类模型建立单类集成多类的开集识别模型;f.利用校正样本对开集识别模型进行参数校正,得到校正模型;g.利用红外光谱仪对待测微塑料样本进行红外光谱信息采集并提取特征光谱数据矩阵;h.将特征光谱矩阵输入到校正模型中得到判别函数。i.将判别函数的平方残差进行降序排列的,去除较大残差后得剩余平方残差之和达到最小,得到最小残差。j.将最小残差输入到校正模型的判别函数中获得相应成分解析结果。

Description

海岸环境微塑料的开集识别方法
技术领域
本发明涉及光谱解析领域,特别是一种基于单类集成、多类开集模型,配合自适应最小残差判决原则的识别解析方法。
背景技术
微塑料污染对海洋生态安全构成了严重危害,建立一套准确、高效的微塑料解析技术是微塑料污染治理和海洋环境监测的重要前提,但环境微塑料解析面临两个明显的困境:
首先,微塑料样本化学成分复杂,特别是微塑料内部的添加剂,诸如塑化剂、抗氧化剂等成分不明,导致实际采集到的微塑料样本具有多样性和未知性。面对的复杂多样的环境样本,由于无法对所有类型样本光谱进行训练建模,传统的闭集识别方法无法精确识别。同时微塑料样本的数量分布不平衡,其中聚乙烯、聚丙烯等样本数量占整体样本量的70%以上,而尼龙等样本占整体样本量的3%以下。不平衡数据分布会导致严重偏离分类面,对识别效果会产生较大不良影响。
其次,海洋环境里采集到微塑料样本中含有大量疑似颗粒,如砂砾、纤维等,当前传统闭集识别中一般假定:“测试样本一定能与训练数据库的样本相匹配”,这不符合现实环境采集微塑料样本的真实情况。此外,采用闭集光谱识别技术前需要大量的人工筛选工作,对人力成本要求过高。
真实世界的识别问题本质上是一个开集问题,识别系统需要能够发现并学习未知的识别类别。因此,有必要基于上述两点困境进行技术上的改进。
发明内容
本发明为了克服现有技术存在的缺点和不足,提供了一种海岸环境下多样性微塑料样本的精准解析方法。
一种海岸环境微塑料的开集识别方法,包含以下步骤:
a.在海岸环境下收集具有不同老化程度且足够数量的,粒径1mm以上的微塑料样本,并进行分离制备。
b.利用傅里叶变换红外仪对所述微塑料样本的红外光谱信息进行快速无损采集,得到微塑料样本的红外光谱信息,将所述红外光谱信息随机分为校正样本和预测样本。
c.利用所述红外光谱信息的提取特征光谱数据矩阵。
d.利用一类样本的红外光谱信息构建基于高斯分布的单类识别模型,并将模型边界外模型拒绝识别标记为异类;根据样本种类数K分别建立K个单类识别模型。
e.利用所述K个单类识别模型拓展成单类集成多类的开集识别模型;
f.利用所述校正样本对所述开集识别模型进行参数校正,得到校正模型。
g.利用傅里叶变换红外仪对待测微塑料样本红外光谱信息进行快速无损采集。对获取的红外光谱信息提取特征光谱数据矩阵;
h.将步骤g中获取的特征光谱数据矩阵输入到步骤f的校正模型中得到判别函数;
i.将判别函数中的平方残差进行降序排列,去除由于样本多样性产生的排序较前的较大残差,使得剩余平方残差之和达到最小。利用自适应最小残差代替总残差;
j.利用所述自适应最小残差输入到判别函数中获得相应成分解析结果。
为完善上述方案,本发明进一步设置为:步骤b中还包括采用小波去噪处理并进行多元散射矫正或标准正态变量校正对原始光谱数据进行预处理,获取高精度的光谱始数据。
本发明进一步设置为,步骤b将所述红外光谱信息随机分为1/3的预测样本和2/3的校正样本。
本发明进一步设置为,步骤c采用主成分分析算法对所述红外光谱信息进行特征筛选,筛选波数处于3500cm-1—1000cm-1波段的红外光谱。
本发明进一步设置为,步骤d中所述的单类识别模型结构为:
f(x)=(x-μ)T-1(x-μ)
Figure BDA0001904769590000031
其中,μ为样本估计值,x为样本特征值,θ为误差参数。
本发明进一步设置为,步骤e中所述的开集识别模型结构为:
Figure BDA0001904769590000032
Figure BDA0001904769590000033
x为待测样本特征值,μi为其中一类样本估计均值,Pi为其中一类样本的概率密度,θ为临界值参数。
本发明进一步设置为,步骤f中所述校正模型的精度均方根误差RMSEP<0.15。
与现有技术相比,本发明具有以下优点和有益效果:
首先,利用了单类集成、多类开集识别模型。由于单类识别作为模型基本的识别单元,能够实现样本库的直接扩充,所以模型添加新类样本后无需对已建模样本再次进行聚类,从而大大降低了系统的复杂度。
其次,本发明可以避免传统多分类方法中存在的类别不平衡问题、识别中的盲区问题,以及解决小样本集的监督学习多分类问题。
再者,通过有拒识的开集识别系统,实现环境采集样本中混杂的非塑料颗粒自动拒绝识别,从而避免了大量的人工筛选工作。
最后,自适应最小残差判别原则可以有效控制:复杂基质下多样性样本的干扰信息所产生的较大残差对样本识别的影响,并且还降低了模型的复杂度、提高了识别速度。
因此,该方案可以快速有效地对复杂海岸环境下,携带未知干扰信息的多样性微塑料样本进行自适应识别。以下结合附图对本发明进行更进一步详细的说明。
附图说明
图1为本发明检测方法流程示意图;
图2为本发明具体实施方式的采集样本红外光谱图。
具体实施方式
下面,通过示例性的实施方式对本发明具体描述。然而应当理解,在没有进一步叙述的情况下,一个实施方式中的特征也可以有益地结合到其他实施方式中。
一种海岸环境微塑料的开集识别方法,包含以下步骤:
a.海岸环境下,收集具有不同老化程度、足够数量的粒径1mm以上的微塑料样本,装入密封袋后,运回实验室进行分离制备。所采集的海岸环境下的微塑料样本具体为:沿最新的高潮线采集5cm厚的沉积物,通过钢筛筛取收集具有代表性且足够数量的微塑料样本,装入密封袋后运回实验室。用去离子水对微塑料样品进行冲洗,经过玻璃微纤维滤纸过滤筛分后,将样本放入金属托盘,在60℃烘箱内进行干燥,最后装入密封袋并置于清洁避光处。
b.利用HYPERION傅里叶变换红外仪:红外仪配有红外探测器以及红外波段20X的镜头对不同微塑料样本信息进行快速无损采集。具体扫描方法为:扫描次数为20次,记录的波数范围为4000cm-1至600cm-1,光谱分辨率为4cm-1,从而得到样本的原始红外光谱信息。采用小波去噪处理,并利用多元散射矫正对原始红外光谱数据进行预处理,获取高精度的红外光谱信息。
选取聚乙烯、聚丙烯、聚苯乙烯样本的高精度红外光谱信息作为样本,随机选择样本总数的1/3作为预测样本,剩下的2/3作为校正样本。
c.筛选波数位于3500cm-1~1000cm-1范围内的聚乙烯、聚丙烯、聚苯乙烯样本的红外光谱信息,获取特征光谱数据矩阵。
d.根据采集到的聚乙烯、聚丙烯、聚苯乙烯三类样本的特征光谱数据,分别建立单类识别模型边界:f1(x),f2(x),f3(x)。单类识别模型即是指:根据一类目标样本的全部或部分光谱信息,建立基于高斯分布的单类识别模型,并将边界外模型拒绝识别标记为异类。模型结构为:
f(x)=(x-μ)T∑-1(x-μ)
Figure BDA0001904769590000051
其中,μ为样本估计值,x为样本特征值,θ为临界值参数。
e.继续利用聚乙烯、聚丙烯、聚苯乙烯样本所建立的单类识别模型f1(x),f2(x),f3(x),集成多类的开集识别模型,模型结构为:
Figure BDA0001904769590000052
Figure BDA0001904769590000053
其中,x为待测样本特征值,μi为其中一类样本估计均值,Pi为其中一类的概率密度,θ为临界值参数。该结构为:在高维特征空间中求出每一类样本的超球体中心,保证模型结构中代表一类样本的单个超球体的半径最小,同时多类样本共同组成的超球体群中各个超球体之间的距离最大。
f.利用校正样本对开集识别模型进行参数校正,得到校正模型。校正模型正则化参数由0.001调整到0.005,临界值参数由0.1调整到0.15,所建立的模型精度均方根误差RMSE P<0.15。
g.利用傅里叶变换红外仪对待测微塑料样本红外光谱信息进行快速无损采集。对获取的红外波段光谱信息,筛选位于3500cm-1~1000cm-1附近波数的样本,并提取特征光谱数据矩阵。
h.将步骤g中获取的特征光谱数据矩阵信息输入到步骤f中得到的校正模型中,得到距离函数。
i.基于自适应最小残差判决,重新获取距离误差。利用自适应最小残差判别原则重构误差,采用降序排列的平方残差代替总残差,去除由样本干扰信息产生的较大残差后,使得剩余平方残差之和达到最小。实际模型距离残差为:[0.0108 0.0115 0.0094 0.00990.0079 0.0039 0.0132 0.0025 0.0053 0.0111 0.0071 0.0030 0.0066 0.0089 0.00420.0119 0.0064 0.0044 0.0052 0.0065];
去除较大残差后的最小残差为:
[0.0025 0.0030 0.0039 0.0042 0.0044 0.0052 0.0053 0.0064 0.00650.0066];可见,较大距离误差已被剔除。
j.将步骤i中得到的“自适应最小距离残差”输入到步骤f得到校正模型中,比较数据对应的每个类别,然后判断测试样本是否落入超球体之中。对于开集识别,如果落入超球体中,则可判断测试样本属于目标类样本;否则判定其为异类样本,模型将予以拒绝。该模型解决了闭集识别对界外样本类别仍进行分类归属的困境。
在检测过程中,通过对模型的识别残差阈值进行设定,对未知样本做出拒绝识别的处理,从而实现环境样本的自动识别,避免大量的人工筛选工作。
本项目使用自适应最小残差判决作为模型判别函数,不仅可以有效控制复杂基质下干扰信息产生的较大残差对样本识别的影响,还能降低模型的复杂度、提高识别速度。
本具体实施仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (7)

1.一种海岸环境微塑料的开集识别方法,其特征在于,包含以下步骤:
a.在海岸环境下收集粒径在1mm以上的微塑料样本并进行分离制备;
b.利用傅里叶变换红外仪对所述微塑料样本进行红外光谱信息无损采集,得到微塑料样本的红外光谱信息,将所述红外光谱信息随机分为校正样本和预测样本;
c.提取所述红外光谱信息的特征光谱数据矩阵;
d.利用一类样本的红外光谱信息构建基于高斯分布的单类识别模型,并将模型边界外模型拒绝识别标记为异类;根据样本种类数K分别建立K个单类识别模型;
e.利用所述K个单类识别模型拓展成单类集成多类的开集识别模型;
f.利用所述校正样本对所述开集识别模型进行参数校正,得到校正模型;
g.利用傅里叶变换红外仪对待测微塑料样本红外光谱信息进行无损采集,对获取的红外光谱信息提取特征光谱数据矩阵;
h.将步骤g中获取的特征光谱数据矩阵输入到步骤f的校正模型中得到判别函数;
i.将判别函数中的平方残差进行降序排列,去除由于样本多样性产生的排序较前的较大残差,使得剩余平方残差之和达到最小,并利用自适应最小残差代替总残差;
j.将所述自适应最小残差输入到模型判别函数中获得相应成分解析结果。
2.根据权利要求1所述的海岸环境微塑料的开集识别方法,其特征在于:步骤b中还包括采用小波去噪处理并进行多元散射矫正或标准正态变量校正对原始光谱数据进行预处理,获取高精度的原始数据。
3.根据权利要求1所述的海岸环境微塑料的开集识别方法,其特征在于:步骤b将所述红外光谱信息随机分为1/3的预测样本和2/3的校正样本。
4.根据权利要求1所述的海岸环境微塑料的开集识别方法,其特征在于:步骤c采用主成分分析算法对所述红外光谱信息进行特征筛选,筛选波数处于3500cm-1~1000cm-1范围的特征红外光谱。
5.根据权利要求1所述的海岸环境微塑料的开集识别方法,其特征在于:步骤d中所述的单类识别模型结构为:
f(x)=(x-μ)T-1(x-μ)
Figure FDA0001904769580000021
其中,μ为样本估计值,x为样本特征值,θ为误差参数。
6.根据权利要求5所述的海岸环境微塑料的开集识别方法,其特征在于:步骤e中所述的开集识别模型结构为:
Figure FDA0001904769580000022
Figure FDA0001904769580000023
x为待测样本特征值,μi为其中一类样本估计均值,Pi为其中一类样本的概率密度,θ为临界值参数。
7.根据权利要求1所述的海岸环境微塑料的开集识别方法,其特征在于:步骤f中所述校正模型的精度均方根误差RMSE P<0.15。
CN201811527263.2A 2018-12-13 2018-12-13 海岸环境微塑料的开集识别方法 Active CN109612961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811527263.2A CN109612961B (zh) 2018-12-13 2018-12-13 海岸环境微塑料的开集识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811527263.2A CN109612961B (zh) 2018-12-13 2018-12-13 海岸环境微塑料的开集识别方法

Publications (2)

Publication Number Publication Date
CN109612961A CN109612961A (zh) 2019-04-12
CN109612961B true CN109612961B (zh) 2021-06-25

Family

ID=66008256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811527263.2A Active CN109612961B (zh) 2018-12-13 2018-12-13 海岸环境微塑料的开集识别方法

Country Status (1)

Country Link
CN (1) CN109612961B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113295835B (zh) * 2021-05-24 2022-02-11 中国科学院重庆绿色智能技术研究院 一种基于遥感的微塑料污染水域空间分布识别方法
CN113588588B (zh) * 2021-07-12 2022-05-24 华南农业大学 一种基于地物谱仪的气载微塑料快速检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930900A (zh) * 2011-11-29 2014-07-16 诺基亚公司 用于对象的分类的方法、装置和计算机程序产品
CN105654100A (zh) * 2014-10-30 2016-06-08 诺基亚技术有限公司 利用计算装置识别对象的方法、装置以及电子设备
CN106248617A (zh) * 2016-07-12 2016-12-21 上海创和亿电子科技发展有限公司 基于近红外的烟叶焦油检测方法
CN106448682A (zh) * 2016-09-13 2017-02-22 Tcl集团股份有限公司 开集说话人识别的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102014023780B1 (pt) * 2014-09-25 2023-04-18 Universidade Estadual De Campinas - Unicamp (Br/Sp) Método para classificação multiclasse em cenários abertos e usos do mesmo

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930900A (zh) * 2011-11-29 2014-07-16 诺基亚公司 用于对象的分类的方法、装置和计算机程序产品
CN105654100A (zh) * 2014-10-30 2016-06-08 诺基亚技术有限公司 利用计算装置识别对象的方法、装置以及电子设备
CN106248617A (zh) * 2016-07-12 2016-12-21 上海创和亿电子科技发展有限公司 基于近红外的烟叶焦油检测方法
CN106448682A (zh) * 2016-09-13 2017-02-22 Tcl集团股份有限公司 开集说话人识别的方法及装置

Also Published As

Publication number Publication date
CN109612961A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
US10671833B2 (en) Analyzing digital holographic microscopy data for hematology applications
CN107633255B (zh) 一种深度学习模式下的岩石岩性自动识别分类方法
CN111292305A (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN107818298B (zh) 用于机器学习物质识别算法的通用拉曼光谱特征提取方法
CN109612961B (zh) 海岸环境微塑料的开集识别方法
CN110766664B (zh) 一种基于深度学习的电子元器件外观不良品的检测方法
CN109766909B (zh) 基于谱图融合的海岸环境微塑料老化行为解析方法
CN103886332A (zh) 一种检测与识别金属网栅缺陷的方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN109859199B (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法
KR20220033940A (ko) 기계학습을 이용한 미세플라스틱 분석 방법
CN113673618A (zh) 一种融合注意力模型的烟虫目标检测方法
CN111754497B (zh) 一种基于几何代数的工业缺陷检测方法和系统
CN113435460A (zh) 一种亮晶颗粒灰岩图像的识别方法
CN115471684A (zh) 注塑工件模板匹配方法、电子设备及存储介质
CN112950566B (zh) 一种风挡破损故障检测方法
CN115082416A (zh) 镜片瑕疵检测方法、装置、设备及存储介质
CN114897863A (zh) 一种缺陷的检测方法、装置以及设备
CN115423737A (zh) 基于多块主成分分析网络的晶圆图缺陷检测方法
CN113298857A (zh) 一种基于神经网络融合策略的轴承缺陷检测方法
CN113792666A (zh) 一种基于扫描电镜图像的混凝土分类方法及系统
Yin et al. Open-set recognition for unknown organic pollutants in drinking water with three-dimensional fluorescence spectroscopy
Beljadid et al. Application of deep learning for the detection of default in fabric texture
CN111899221A (zh) 一种面向外观缺陷检测的自迁移学习方法
Ferreira et al. Robust clustering-based segmentation methods for fingerprint recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant