CN116008208A - 一种海水硝酸盐浓度特征光谱波段的选择方法 - Google Patents

一种海水硝酸盐浓度特征光谱波段的选择方法 Download PDF

Info

Publication number
CN116008208A
CN116008208A CN202310301152.4A CN202310301152A CN116008208A CN 116008208 A CN116008208 A CN 116008208A CN 202310301152 A CN202310301152 A CN 202310301152A CN 116008208 A CN116008208 A CN 116008208A
Authority
CN
China
Prior art keywords
nitrate
nitrate concentration
wavelength
concentration
absorbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310301152.4A
Other languages
English (en)
Inventor
张颖颖
耿意彬
袁达
吴丙伟
冯现东
曹璐
程岩
王茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Oceanographic Instrumentation Shandong Academy of Sciences
Original Assignee
Institute of Oceanographic Instrumentation Shandong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Oceanographic Instrumentation Shandong Academy of Sciences filed Critical Institute of Oceanographic Instrumentation Shandong Academy of Sciences
Priority to CN202310301152.4A priority Critical patent/CN116008208A/zh
Publication of CN116008208A publication Critical patent/CN116008208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20—Controlling water pollution; Waste water treatment

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明属于海水检测技术领域，涉及海水硝酸盐浓度特征光谱波段的选择方法。一种海水硝酸盐浓度特征光谱波段的选择方法，包括：对检测的硝酸盐光谱数据进行转换；根据欧式距离筛选得到硝酸盐光谱数据集；采用决策树模型剔除异常的硝酸盐浓度样品；将处理后的硝酸盐光谱数据集采用偏最小二乘回归法进行主成分的提取；采用偏最小二乘方法建模，筛选硝酸盐光谱数据的波长变量；采用迭代采样的方式继续筛选，最终得到硝酸盐浓度的特征光谱波段。本发明的方法不受海水检测变量数、海洋环境干扰的限制，能够现场、自动、实时的获得当前被检测海水硝酸盐光谱的最佳波段。

Description

一种海水硝酸盐浓度特征光谱波段的选择方法
技术领域
本发明属于海水检测技术领域，涉及一种海水硝酸盐浓度特征光谱波段的选择方法。
背景技术
海水中硝酸盐浓度高，容易造成海水环境富营养化的环境灾害，因此被列为海洋生态环境质量评价的重要评价指标。基于紫外全光谱检测海水硝酸盐浓度的方法具有快捷、无污染、连续检测等优势，成为近年来研究和实现海水硝酸盐原位自动检测的主要技术手段。但是海水中成分复杂，检测得到的全光谱并非是单一物质光谱。为了准确检测硝酸盐浓度，就需要研究建立一种特征光谱波段选择的方法。
现有的波段选择方法可分为单波长法、双波长法和连续光谱法。单波长法只适用于成分单一的水质检测，当水体污染成分较为复杂时，单波长法不能有效的反演水体中各种污染物的浓度。双波长法在单波长法基础上增加某一个波长下的吸光度作为参比波长，其目的是扣除部分干扰因素，但依赖于经验选择，不能够适应复杂多变的海洋环境。连续光谱法可以连续检测海水的全光谱范围内所有波长的吸光度。但是，连续的大范围光谱进行检测，不能够较好的分离重叠光谱，本质上未能从原始光谱中去除干扰物质的影响。
进一步讲，现有光谱法检测硝酸盐浓度的方法大多针对地下水、饮用水等淡水环境，而海水中硝酸盐的检测则是基于淡水检测标准，即把淡水模型的回归系数运用在海水数据中，检测实际海水硝酸盐的浓度大小。由于淡水水体的成分与海水不同，此方法检测得到的硝酸盐浓度与真实海水中硝酸盐浓度相比，会产生较大的误差，不能进行准确的物质检测。并且，在海水硝酸盐检测中，海水的组成成分复杂。硝酸盐只是海水中吸收紫外光的物质之一，必须考虑海水中其他吸收紫外线物质的干扰。而溴离子、浊度、有机物在紫外波段有着较高的光谱吸收，对硝酸盐的光谱进行叠加，抬高了硝酸盐的吸光度值，从而影响反演的准确性。
基于以上问题，海水硝酸盐在线监测仪器要实现海水硝酸盐浓度的自动、实时、现场的检测，必须建立一种简便而且有效的特征光谱选择方法。
发明内容
为解决现有海水中硝酸盐检测存在的技术问题，本发明提供了一种海水硝酸盐浓度特征光谱波段的选择方法，以消除实际分析数据中存在的严重共线性和冗余干扰问题。基于模型性能指标的方式，筛选出最佳建模的波长点并确定出最佳建模波段，能够适应不同海域环境的变化，以形成更加准确的海水硝酸盐紫外全光谱检测方法，为原位传感器监测技术提供可靠、高效的基础方法支撑。
本发明采用的技术方案是：一种海水硝酸盐浓度特征光谱波段的选择方法，包括以下步骤：
（1）检测
Figure SMS_1
个海水硝酸盐浓度样品的
Figure SMS_2
个波长的光谱数据，将硝酸盐光谱数据转换成（0，1）区间下的无量纲纯数值；
（2）将硝酸盐浓度样品的吸光度值作为
Figure SMS_3
向量，浓度值作为
Figure SMS_4
向量，计算
Figure SMS_5
向量和
Figure SMS_6
向量的正则化结合的欧式距离，根据该欧式距离筛选得到硝酸盐光谱数据集；
（3）对步骤（2）得到的硝酸盐光谱数据集进行平滑滤波处理；
（4）采用决策树模型，对平滑滤波后的硝酸盐光谱数据集进行分析，去除异常的硝酸盐浓度样品；
（5）对步骤（4）处理后的硝酸盐光谱数据集采用偏最小二乘回归法进行主成分的提取；
（6）利用步骤（5）处理的硝酸盐光谱数据集，采用偏最小二乘方法建模，预测硝酸盐浓度，并对硝酸盐光谱数据的波长变量进行筛选；
（7）对步骤（6）中筛选的硝酸盐光谱数据集，采用迭代采样的筛选方式继续筛选波长变量，最终得到硝酸盐浓度的特征光谱波段。
进一步地，步骤（2）中硝酸盐光谱数据集的筛选方法是：首先选取
Figure SMS_7
向量和
Figure SMS_8
向量的正则化结合的欧式距离最远的两个硝酸盐样本进入集合；然后，计算每个剩余样本与集合中每个已选样本之间的欧式距离，找到距离最大和最小的候选样本放入集合中，以此类推，直到达到所需的数量。
进一步地，步骤（3）中，平滑滤波处理方法为：
对于每一个硝酸盐浓度样品，选取波长范围内其中一个波长和其左右各
Figure SMS_9
个波长对应的吸光度作为采样点，得到以该波长的吸光度为原点的窗口阵列，共
Figure SMS_10
个采样点；将窗口阵列内的吸光度值采用最小二乘拟合为三阶多项式；当最小二乘拟合的残差最小时，拟合效果最好，得到滤波后的该波长的吸光度；连续移动窗口对其他波长的吸光度进行滤波。
进一步地，步骤（4）中，剔除异常的硝酸盐浓度样品的方法为：
每一个硝酸盐浓度样品为一颗决策树；不同波长的吸光度为树上的节点；
计算每个硝酸盐浓度样品的吸光度的期望路径长度, 及所有硝酸盐浓度样品的不成功搜索平均路径长度；
计算每个硝酸盐浓度样品的吸光度的得分：
当该硝酸盐浓度样品的吸光度的得分值接近1时，判定该浓度样品为异常；当该硝酸盐浓度样品的吸光度的得分值接近0时，判定该浓度样品为正常；
根据所有硝酸盐浓度样品的得分统计情况，确定阈值线，剔除异常的硝酸盐浓度样品。
进一步地，步骤（7）中，迭代采样的筛选方式包括以下步骤：
（a）每一次硝酸盐光谱数据的采样比例由以下公式确定：
Figure SMS_11
；
其中，
Figure SMS_12
为采样次数，
Figure SMS_16
；
Figure SMS_19
为采样总次数；约束条件为
Figure SMS_13
，
Figure SMS_15
；
Figure SMS_18
是包含在硝酸盐全光谱中的波长个数；
Figure SMS_20
为指数递减函数；
Figure SMS_14
和
Figure SMS_17
表示约束函数；
（b）根据确定的硝酸盐光谱数据的采样比例，对波长变量进行筛选，得到候选特征波长子集；
（c）对步骤（b）得到的候选特征波长子集，采用交叉验证均方根误差进行评价，计算公式如下：
Figure SMS_21
；
其中，
Figure SMS_22
为硝酸盐浓度样品的真实值，
Figure SMS_23
是硝酸盐浓度样品的预测值，
Figure SMS_24
为硝酸盐浓度样品的个数；
（d）步骤（a）-（c）重复迭代
Figure SMS_25
次，从
Figure SMS_26
个交叉验证均方根误差中选出最小的
Figure SMS_27
，
Figure SMS_28
最小时对应的那一组候选特征波长子集为最终选择的特征光谱波段。
本发明的有益效果是：本发明提供了一种海水硝酸盐浓度特征光谱波段的选择方法，不受海水检测变量数的限制，也不受海洋环境干扰的限制，能够现场、自动、实时的获得当前被检测海水光谱的最佳变量波段，符合目前海洋硝酸盐现场光谱检测仪器的检测要求。
附图说明
图1为本发明实施例中所公开的一种海水硝酸盐浓度特征光谱波段的选择方法的流程图；
图2为本发明实施例中所公开的某浓度硝酸盐样品UV吸收光谱图（1cm比色皿）原始数据；
图3为本发明实施例中所公开的经平滑滤波后的某浓度硝酸盐样品UV吸收光谱图（1cm比色皿）；
图4为本发明实施例中所公开的单一决策树模型示意图；
图5为本发明实施例中所公开的硝酸盐光谱数据经过数据集划分和异常样品剔除后再降维的可视化观测图；
图6为本发明实施例中所公开的硝酸盐光谱数据的主成分数提取示意图；
图7为本发明实施例中所公开的硝酸盐光谱数据经迭代采样后的波长变量数量选择示意图；
图8为本发明实施例中所公开的硝酸盐光谱数据经迭代采样后波长变量的交叉验证均方根误差值
Figure SMS_29
示意图；
图9为本发明实施例中所公开的硝酸盐光谱数据的波长变量选择示意图。
具体实施方式
下面将结合本发明的实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，绝不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的海水硝酸盐浓度特征光谱波段的选择方法，流程如图1所示，具体步骤如下所述：
一、对
Figure SMS_30
个不同浓度海水硝酸盐样品分别检测
Figure SMS_31
个波长的吸光度，得到海水硝酸盐光谱数据。
图2为某浓度下的海水硝酸盐光谱数据。如图2所示，横坐标表示硝酸盐光谱的波长，目前采用200nm-400nm的紫外光谱波段内共200个波长点对硝酸盐浓度的吸光度进行检测。纵坐标是当前硝酸盐浓度光谱的吸光度值，每个波长点对应一个吸光度值。现场自动检测得到的硝酸盐光谱数据具有典型的特性，适合对硝酸盐变量进行模型的建立。
在建模中，如果回归模型的自变量和因变量的量纲不一致就会导致回归系数无法直接解读，因此需要把横纵坐标的数值都缩放到了0-1之间。并且在一些涉及到距离计算的方法中，缩放是一个必要的前提。
通过缩放硝酸盐光谱数据，去除单位限制，进而把硝酸盐吸光度和其浓度值变换为（0，1）区间下的无量纲纯数值。
例如：检测获得的原始硝酸盐吸光度为
Figure SMS_32
，海水硝酸盐浓度样品
Figure SMS_33
，采用以下公式进行变换：
Figure SMS_34
；
Figure SMS_35
；
其中，
Figure SMS_36
为转换后的硝酸盐吸光度；
Figure SMS_37
为转换后的硝酸盐浓度；且都为无量纲量；
Figure SMS_38
，
Figure SMS_39
。浓度和吸光度组成矩阵。
二、经缩放处理的不同硝酸盐浓度样品的光谱数据中，样品的吸光度作为
Figure SMS_40
向量，样品的浓度值作为
Figure SMS_41
向量，计算
Figure SMS_42
向量和
Figure SMS_43
向量的正则化结合的欧式距离，计算公式如下：
Figure SMS_44
；
Figure SMS_45
；
Figure SMS_46
；
其中，
Figure SMS_49
是总的波长数；
Figure SMS_53
、
Figure SMS_57
分别为硝酸盐浓度样品
Figure SMS_47
和
Figure SMS_51
的第
Figure SMS_56
个波长对应的吸光度；
Figure SMS_59
、
Figure SMS_48
分别为硝酸盐浓度样品
Figure SMS_52
和
Figure SMS_55
的浓度值；
Figure SMS_58
为硝酸盐浓度样品
Figure SMS_60
和
Figure SMS_65
的第
Figure SMS_68
个波长对应的吸光度的欧氏距离，即
Figure SMS_70
向量欧氏距离；
Figure SMS_63
为硝酸盐浓度样品
Figure SMS_66
和
Figure SMS_67
的浓度值的欧氏距离，即
Figure SMS_69
向量欧氏距离；
Figure SMS_50
为硝酸盐浓度样品
Figure SMS_54
和
Figure SMS_61
的
Figure SMS_64
、
Figure SMS_62
向量正则化结合的欧式距离。
根据计算得出的不同硝酸盐浓度样品的
Figure SMS_71
、
Figure SMS_72
向量正则化结合的欧式距离对步骤一处理后的硝酸盐光谱数据进行筛选，具体步骤为：首先选取
Figure SMS_73
、
Figure SMS_74
向量的正则化结合的欧式距离最远（即
Figure SMS_75
值最大）的两个硝酸盐样本进入集合；然后，根据计算出的每个剩余样本与集合中每个已选样本之间的
Figure SMS_76
、
Figure SMS_77
向量正则化结合的欧式距离，找到距离最大和最小的候选样本放入集合中，以此类推，直到达到所需的数量。
经过上述步骤，将硝酸盐光谱数据集进行筛选划分，得到一个含有
Figure SMS_78
个硝酸盐浓度样品、
Figure SMS_79
个波长的吸光度数据集。例如，将硝酸盐浓度样品总数
Figure SMS_80
的80%的光谱数据筛选出来，作为后续建模分析的数据集。
三、对于硝酸盐浓度样品
Figure SMS_81
，选取波长范围内其中一个波长
Figure SMS_82
和其左右两个波长对应的吸光度作为采样点，得到以第
Figure SMS_83
个波长的吸光度
Figure SMS_84
为原点的窗口阵列，共5个采样点；将窗口阵列内的吸光度值拟合为三阶多项式：
Figure SMS_85
；
其中，
Figure SMS_86
为拟合度系数；当最小二乘拟合的残差
Figure SMS_87
最小时，拟合效果最好，得到滤波后的波长
Figure SMS_88
的吸光度值；连续移动窗口对其他波长的吸光度值进行滤波。
图3为经过缩放和平滑后的硝酸盐光谱曲线。在采集硝酸盐光谱数据的过程中，检测仪器本身的性能和温度等外界环境都会产生一定的噪声，使检测得到的硝酸盐光谱数据存在误差，体现在硝酸盐光谱曲线不够平滑，具有很多毛刺，影响模型的检测精度。本发明通过一个设定值为5的移动窗口，对窗口内部元素做3阶多项式最小二乘拟合，得到窗口中心位置处硝酸盐吸光度元素平滑后的值。由于海水物质含量复杂和噪音的影响，应当结合检测海水的实际情况进行滤波处理，根据实际检测结果对滤波窗口宽度进行调整。
四、采用决策树模型，根据路径长度对步骤三处理后的硝酸盐光谱数据集进行正常样品与异常样品的划分。如图4所示，每一个硝酸盐浓度样品为一棵树，树上的每一个点代表一个吸光度。左边的虚线代表是被孤立的异常点，即细分不下去了。右边的加黑实线代表正常值可以细分。然后通过评价标准判断这棵树是不是异常的硝酸盐浓度样品。
例如：每一个硝酸盐浓度样品是一棵树，每一个浓度样品对应的
Figure SMS_89
个波长的吸光度为树上的节点。
硝酸盐浓度样品
Figure SMS_90
的第
Figure SMS_91
个波长对应的吸光度的路径长度
Figure SMS_92
为取该棵树从根节点到叶子节点所遍历的边数。
Figure SMS_93
为单一树硝酸盐浓度样品
Figure SMS_94
的吸光度的期望路径长度，是该棵树中所有波长吸光度路径长度的平均值。
一个含有
Figure SMS_95
个硝酸盐浓度样品的光谱数据集，树的不成功搜索平均路径长度公式如下：
Figure SMS_96
；
其中，
Figure SMS_97
为谐波数，可估计为
Figure SMS_98
。
Figure SMS_99
为树的不成功搜索平均路径长度。
硝酸盐浓度样品的吸光度得分公式为：
Figure SMS_100
；
其中，当
Figure SMS_102
→
Figure SMS_105
时，
Figure SMS_106
≈0.5，即硝酸盐浓度样品的吸光度的期望路径长度接近树的不成功搜索平均路径长度，无法区分它是否异常；当
Figure SMS_103
→0时，
Figure SMS_104
→1，即硝酸盐浓度样品的吸光度得分值接近1时，判定为异常；当
Figure SMS_107
→
Figure SMS_108
时，
Figure SMS_101
→0，判定为正常。
根据
Figure SMS_109
个硝酸盐浓度样品的得分统计情况，确定阈值线，将异常的硝酸盐浓度样品剔除，得到一个含有个
Figure SMS_110
浓度、
Figure SMS_111
个波长的硝酸盐光谱数据集。
图5为本发明实施例中所公开的硝酸盐光谱数据经过异常样品剔除后再降维的可视化观测图。由于硝酸盐建模样本中可能掺杂着浓度异常的样品数据，需要把异常样品进行剔除。本发明设置决策树为100颗，设置硝酸盐子样本大小为256个，可以有效覆盖路径长度。筛选出硝酸盐异常样品后，剔除该异常样品的光谱数据，使用剩下的光谱数据进行建模。
五、随机将步骤四处理后的硝酸盐浓度样品的吸光度数据集平均分成10份相同大小且不重复的互斥子集。依次取每一份子集作验证集，剩余子集作为训练集，计算预测残差平方和（
Figure SMS_112
），使
Figure SMS_113
值最小，然后选择主成分。
每次选取第
Figure SMS_116
个观测点（子集），用偏最小二乘回归（PLSR）对其余
Figure SMS_120
个观测点（子集）建模，考虑提取
Figure SMS_123
个成分拟合的回归方程，将第
Figure SMS_115
个观测点代入拟合回归方程，得到
Figure SMS_119
在第
Figure SMS_121
个观测点上的预测值
Figure SMS_125
；
Figure SMS_114
为采用最小二乘法拟合出来的某一主成分的吸光度拟合值，
Figure SMS_118
为第
Figure SMS_122
个观测点上拟合出的吸光度值。
Figure SMS_124
和
Figure SMS_117
可通过偏最小二乘法拟合出。
对
Figure SMS_126
重复上述验证，当提取
Figure SMS_127
个成分时，第
Figure SMS_128
个因变量
Figure SMS_129
的预测误差平方和为：
Figure SMS_130
；
硝酸盐吸光度矩阵的预测误差平方和为：
Figure SMS_131
；
Figure SMS_132
是所有的主成分数量。
使用步骤四得到的所有硝酸盐浓度样品的吸光度数据建模，回归得到一个含有
Figure SMS_133
个分量的回归方程。当
Figure SMS_134
达到最小值时，
Figure SMS_135
为最优主成分数。根据该
Figure SMS_136
值，对步骤四得到的硝酸盐浓度样品的吸光度数据进行主成分提取，进一步筛选。筛选后得到一个含有
Figure SMS_137
个浓度、
Figure SMS_138
个波长的吸光度数据集。
图6是在本发明实施例中公开的硝酸盐光谱数据的主成分数提取示意图。硝酸盐光谱数据集被划分为10份，其中9份用于训练，1份用于验证。用10次结果的平均值作为算法精度的估计，以达到更加精确的效果。选取其中
Figure SMS_139
值最小对应的主成分作为最优主成分，筛选出来，用于后续步骤。
随机划分经步骤五处理的硝酸盐光谱数据集，80%用来建模，剩下的20%为预测集。采用偏最小二乘方法建模：得分矩阵由
Figure SMS_150
表示，硝酸盐吸光度矩阵用
Figure SMS_140
表示。硝酸盐吸光度矩阵
Figure SMS_146
在行中包含
Figure SMS_148
个样本，表示
Figure SMS_152
个硝酸盐样品的浓度，列中包含
Figure SMS_153
个变量，表示
Figure SMS_155
个波长，
Figure SMS_149
表示第
Figure SMS_151
个硝酸盐浓度样品的浓度预测值；
Figure SMS_143
表示权重向量；
Figure SMS_145
是
Figure SMS_142
与
Figure SMS_144
作为组合系数的线性组合，
Figure SMS_147
是
Figure SMS_154
对
Figure SMS_141
的最小二乘回归系数向量：
Figure SMS_156
；
Figure SMS_157
；其中，
Figure SMS_160
是预测误差，
Figure SMS_162
是
Figure SMS_159
维的回归系数；
Figure SMS_163
表示
Figure SMS_164
中第
Figure SMS_167
个元素的绝对值，反映了第
Figure SMS_158
个波长对
Figure SMS_161
的贡献；因此，
Figure SMS_165
越大，第
Figure SMS_166
个变量（波长）就越重要。
计算回归系数中第
Figure SMS_168
个元素的绝对值的归一化权值：
Figure SMS_169
；
Figure SMS_170
表示回归系数中第
Figure SMS_171
个元素的绝对值的归一化权值。
设置采样次数为
Figure SMS_172
，利用建立的得分矩阵
Figure SMS_173
对
Figure SMS_174
个波长进行分析，去除回归系数中绝对值权重相对较小的波长，筛选出硝酸盐光谱数据集。本实施例中，设定采样次数为1000次。
七、对步骤六中筛选得到的硝酸盐光谱数据集，采用迭代采样的方式继续筛选波长变量，具体过程为：
（a）每一次硝酸盐光谱数据的采样比例由以下公式确定：
Figure SMS_175
；
其中，
Figure SMS_176
为采样次数，
Figure SMS_177
；
Figure SMS_178
为采样总次数；约束条件为
Figure SMS_179
，
Figure SMS_180
；
Figure SMS_181
是包含在硝酸盐光谱数据中的波长个数；指数递减函数
Figure SMS_182
的参数经约束条件求得：
Figure SMS_183
；
Figure SMS_184
；
其中，
Figure SMS_185
和
Figure SMS_186
表示约束函数；
Figure SMS_187
随着采样次数的增加逐渐减少；
（b）根据确定的硝酸盐光谱数据的采样比例，对硝酸盐光谱数据的波长变量进行筛选，得到候选特征波长子集；
（c）对步骤（b）得到的候选特征波长子集，采用交叉验证均方根误差(
Figure SMS_188
）进行评价，计算公式如下：
Figure SMS_189
；
其中，
Figure SMS_190
为硝酸盐浓度样品
Figure SMS_191
的真实值，
Figure SMS_192
是硝酸盐浓度样品
Figure SMS_193
的预测值，
Figure SMS_194
为硝酸盐浓度样品的个数；
（d）步骤（a）-（c）重复迭代
Figure SMS_195
次，从
Figure SMS_196
个交叉验证均方根误差中选出最小的
Figure SMS_197
，
Figure SMS_198
最小时对应的那一组候选特征波长子集为最终选择的特征光谱波段。
递减函数分为两个阶段对硝酸盐光谱数据集进行作用。第一个阶段（
Figure SMS_199
）为快速变量选择阶段，快速剔除大量的硝酸盐波长变量；第二个阶段（
Figure SMS_200
）是波长变量的精确细分阶段，每次去除的波长变量较少。
Figure SMS_201
为第一阶段和第二阶段间的临界采样次数。
图7为本发明实施例中所公开的硝酸盐光谱数据经迭代采样后的波长变量数量选择示意图。随着硝酸盐光谱数据采样次数的增加，参与计算的波长变量数量逐渐减少。在第一个采样阶段，波长变量数量迅速减少，大量的波长变量被快速淘汰作为快速选择阶段。在采样的第二阶段，每次淘汰的波长变量较少，这是波长变量精确细分的阶段。设置硝酸盐光谱数据采样次数（即采样次数
Figure SMS_202
）为50次，随着采样次数的增加，波长变量数逐渐减少。
图8为本发明实施例中所公开的硝酸盐光谱数据经迭代采样后波长变量的交叉验证均方根误差值
Figure SMS_203
示意图。由于硝酸盐光谱数据子集随每次采样的变化而变化，因此得到的
Figure SMS_204
结果不同，呈现出先减小后增大的变化趋势。误差值的初始下降说明在初始采样阶段消除了一些无用的硝酸盐光谱信息，提高了模型的精度。误差值的后期上升说明随着采样次数的增加，波长变量的数量继续减少，导致部分有效光谱变量的消除，降低了模型的精度，应选择
Figure SMS_205
最小时所对应的采样次数和波长变量个数作为硝酸盐光谱数据的特征波段。
图9为本发明实施例中公开的硝酸盐光谱数据的波长变量选择示意图。当硝酸盐光谱数据采样次数为45次时，
Figure SMS_206
达到最小值，说明此时采样得到的候选特征波长子集是最优的波长组合。最优的波长对应的吸光度在硝酸盐原始光谱中进行标注。

Claims (5)

1.一种海水硝酸盐浓度特征光谱波段的选择方法，其特征在于，包括以下步骤：
（1）检测
Figure QLYQS_1
个海水硝酸盐浓度样品的
Figure QLYQS_2
个波长的光谱数据，将硝酸盐光谱数据转换成（0，1）区间下的无量纲纯数值；
（2）将硝酸盐浓度样品的吸光度值作为
Figure QLYQS_3
向量，浓度值作为
Figure QLYQS_4
向量，计算
Figure QLYQS_5
向量和
Figure QLYQS_6
向量的正则化结合的欧式距离，根据该欧式距离筛选得到硝酸盐光谱数据集；
（3）对步骤（2）得到的硝酸盐光谱数据集进行平滑滤波处理；
（4）采用决策树模型，对平滑滤波后的硝酸盐光谱数据集进行分析，剔除异常的硝酸盐浓度样品；
（5）对步骤（4）处理后的硝酸盐光谱数据集采用偏最小二乘回归法进行主成分的提取；
（6）利用步骤（5）处理的硝酸盐光谱数据集，采用偏最小二乘方法建模，预测硝酸盐浓度，并对硝酸盐光谱数据的波长变量进行筛选；
（7）对步骤（6）中筛选的硝酸盐光谱数据集，采用迭代采样的筛选方式继续筛选波长变量，最终得到硝酸盐浓度的特征光谱波段。
2.根据权利要求1所述的海水硝酸盐浓度特征光谱波段的选择方法，其特征在于，步骤（2）中硝酸盐样品吸光度数据集的筛选方法是：首先选取
Figure QLYQS_7
向量和
Figure QLYQS_8
向量的正则化结合的欧式距离最远的两个硝酸盐样本进入集合；然后，计算每个剩余样本与集合中每个已选样本之间的欧式距离，找到距离最大和最小的候选样本放入集合中，以此类推，直到达到所需的数量。
3.根据权利要求1所述的海水硝酸盐浓度特征光谱波段的选择方法，其特征在于，步骤（3）中，平滑滤波处理方法为：
对于每一个硝酸盐浓度样品，选取波长范围内其中一个波长和其左右各
Figure QLYQS_9
个波长对应的吸光度作为采样点，得到以该波长的吸光度为原点的窗口阵列，共
Figure QLYQS_10
个采样点；将窗口阵列内的吸光度值采用最小二乘拟合为三阶多项式；当最小二乘拟合的残差最小时，拟合效果最好，得到滤波后的该波长的吸光度；连续移动窗口对其他波长的吸光度进行滤波。
4.根据权利要求1所述的海水硝酸盐浓度特征光谱波段的选择方法，其特征在于，步骤（4）中，剔除异常的硝酸盐浓度样品的步骤为：
每一个硝酸盐浓度样品为一颗决策树；不同波长的吸光度为树上的节点；
计算每个硝酸盐浓度样品的吸光度的期望路径长度, 及所有硝酸盐浓度样品的不成功搜索平均路径长度；
计算每个硝酸盐浓度样品的吸光度的得分：
当该硝酸盐浓度样品的吸光度的得分值接近1时，判定该浓度样品为异常；当该硝酸盐浓度样品的吸光度的得分值接近0时，判定该浓度样品为正常；
根据所有硝酸盐浓度样品的得分统计情况，确定阈值线，剔除异常的硝酸盐浓度样品。
5.根据权利要求1所述的海水硝酸盐浓度特征光谱波段的选择方法，其特征在于，步骤（7）中，迭代采样的筛选方式包括以下步骤：
（a）每一次硝酸盐光谱数据的采样比例由以下公式确定：
Figure QLYQS_11
；
其中，
Figure QLYQS_12
为采样次数，
Figure QLYQS_15
；
Figure QLYQS_17
为采样总次数；约束条件为
Figure QLYQS_13
，
Figure QLYQS_16
；
Figure QLYQS_19
是包含在硝酸盐全光谱中的波长个数；
Figure QLYQS_20
为指数递减函数；
Figure QLYQS_14
和
Figure QLYQS_18
表示约束函数；
（b）根据确定的硝酸盐光谱数据的采样比例，对波长变量进行采样筛选，得到候选特征波长子集；
（c）对步骤（b）得到的候选特征波长子集，采用交叉验证均方根误差进行评价，计算公式如下：
Figure QLYQS_21
；
其中，
Figure QLYQS_22
为硝酸盐浓度样品的真实值，
Figure QLYQS_23
是硝酸盐浓度样品的预测值，
Figure QLYQS_24
为硝酸盐浓度样品的个数；
（d）步骤（a）-（c）重复迭代
Figure QLYQS_25
次，从
Figure QLYQS_26
个交叉验证均方根误差中选出最小的
Figure QLYQS_27
，
Figure QLYQS_28
最小时对应的那一组候选特征波长子集为最终选择的特征光谱波段。
CN202310301152.4A 2023-03-27 2023-03-27 一种海水硝酸盐浓度特征光谱波段的选择方法 Pending CN116008208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310301152.4A CN116008208A (zh) 2023-03-27 2023-03-27 一种海水硝酸盐浓度特征光谱波段的选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310301152.4A CN116008208A (zh) 2023-03-27 2023-03-27 一种海水硝酸盐浓度特征光谱波段的选择方法

Publications (1)

Publication Number Publication Date
CN116008208A true CN116008208A (zh) 2023-04-25

Family

ID=86030237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310301152.4A Pending CN116008208A (zh) 2023-03-27 2023-03-27 一种海水硝酸盐浓度特征光谱波段的选择方法

Country Status (1)

Country Link
CN (1) CN116008208A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002014812A1 (en) * 2000-08-10 2002-02-21 Euro-Celtique, S.A. Automated system and method for spectroscopic analysis
JP2008145297A (ja) * 2006-12-11 2008-06-26 Osaka Prefecture Univ 海水中の硝酸イオン及び亜硝酸イオンの濃度測定方法、測定システム、測定プログラム及びその記録媒体
CN105630743A (zh) * 2015-12-24 2016-06-01 浙江大学 一种光谱波数的选择方法
CN109976930A (zh) * 2017-12-28 2019-07-05 腾讯科技（深圳）有限公司 异常数据的检测方法、系统及存储介质
CN110443125A (zh) * 2019-06-27 2019-11-12 武汉大学 一种基于判别森林子空间选择的高光谱异常探测方法
CN110567937A (zh) * 2019-09-11 2019-12-13 重庆大学 一种用于绝缘油拉曼光谱分析的竞争性自适应重加权关键数据提取方法
CN110987846A (zh) * 2019-11-27 2020-04-10 中国科学院西安光学精密机械研究所 一种基于iPLS-PA算法的硝酸盐浓度预测方法
CN111239071A (zh) * 2020-02-19 2020-06-05 中国科学院烟台海岸带研究所 一种光谱法海水硝酸盐浓度检测方法
CN112485217A (zh) * 2020-12-02 2021-03-12 仲恺农业工程学院 一种应用于产地溯源的肉类鉴别模型的构建方法以及装置
CN113049507A (zh) * 2021-03-09 2021-06-29 三峡大学 多模型融合的光谱波长选择方法
CN113267466A (zh) * 2021-04-02 2021-08-17 中国科学院合肥物质科学研究院 基于光谱波长优选的水果糖度和酸度无损检测方法
CN115656074A (zh) * 2022-12-28 2023-01-31 山东省科学院海洋仪器仪表研究所 一种海水cod光谱变量特征自适应选择估计方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002014812A1 (en) * 2000-08-10 2002-02-21 Euro-Celtique, S.A. Automated system and method for spectroscopic analysis
JP2008145297A (ja) * 2006-12-11 2008-06-26 Osaka Prefecture Univ 海水中の硝酸イオン及び亜硝酸イオンの濃度測定方法、測定システム、測定プログラム及びその記録媒体
CN105630743A (zh) * 2015-12-24 2016-06-01 浙江大学 一种光谱波数的选择方法
CN109976930A (zh) * 2017-12-28 2019-07-05 腾讯科技（深圳）有限公司 异常数据的检测方法、系统及存储介质
CN110443125A (zh) * 2019-06-27 2019-11-12 武汉大学 一种基于判别森林子空间选择的高光谱异常探测方法
CN110567937A (zh) * 2019-09-11 2019-12-13 重庆大学 一种用于绝缘油拉曼光谱分析的竞争性自适应重加权关键数据提取方法
CN110987846A (zh) * 2019-11-27 2020-04-10 中国科学院西安光学精密机械研究所 一种基于iPLS-PA算法的硝酸盐浓度预测方法
CN111239071A (zh) * 2020-02-19 2020-06-05 中国科学院烟台海岸带研究所 一种光谱法海水硝酸盐浓度检测方法
CN112485217A (zh) * 2020-12-02 2021-03-12 仲恺农业工程学院 一种应用于产地溯源的肉类鉴别模型的构建方法以及装置
CN113049507A (zh) * 2021-03-09 2021-06-29 三峡大学 多模型融合的光谱波长选择方法
CN113267466A (zh) * 2021-04-02 2021-08-17 中国科学院合肥物质科学研究院 基于光谱波长优选的水果糖度和酸度无损检测方法
CN115656074A (zh) * 2022-12-28 2023-01-31 山东省科学院海洋仪器仪表研究所 一种海水cod光谱变量特征自适应选择估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ZHU XINGYUE ET AL.: "An Improved Algorithm for Measuring Nitrate Concentrations in Seawater Based on Deep-Ultraviolet Spectrophotometry: A Case Study of the Aoshan Bay Seawater and Western Pacific Seawater", 《SENSORS》, vol. 21, pages 90 - 21 *
张哲宇等: "基于IFSR异常样本剔除的落叶松木材密度近红外优化模型的研究", 《光谱学与光谱分析》, vol. 42, no. 11, pages 3395 - 3402 *
李维刚等: "数据清洗对热轧微合金钢性能预报模型的改进", 《钢铁研究学报》, vol. 31, no. 10, pages 920 - 927 *
王翠秀等: "基于近红外光谱大豆蛋白质、脂肪快速无损检测模型的优化构建", 《大豆科学》, vol. 38, no. 06, pages 968 - 976 *
黄晖等: "多元分析及其在高等教育研究中的应用", 中国统计出版社, pages: 138 *

Similar Documents

Publication Publication Date Title
CN111239071B (zh) 一种光谱法海水硝酸盐浓度检测方法
CN109034127B (zh) 一种频谱异常检测方法、装置和电子设备
CN109187392B (zh) 一种基于分区建模的锌液痕量金属离子浓度预测方法
CN108801950B (zh) 基于滑动窗多尺度主元分析的紫外光谱水质异常检测方法
CN106918567B (zh) 一种测量痕量金属离子浓度的方法和装置
CN117030654B (zh) 一种空气中痕量级二氧化硫浓度测量方法
CN113049507A (zh) 多模型融合的光谱波长选择方法
CN115420726B (zh) 一种利用重构sers光谱快速识别目标物的方法
CN115656074B (zh) 一种海水cod光谱变量特征自适应选择估计方法
Ju et al. Rapid Identification of Atmospheric Gaseous Pollutants Using Fourier‐Transform Infrared Spectroscopy Combined with Independent Component Analysis
CN117851979A (zh) 基于近红外光谱技术的氢氧化钙浓度检测方法
CN117664906B (zh) 基于光谱特征的水体抗生素污染检测方法
CN117723497A (zh) 一种智能随动水质监测系统
CN113029993A (zh) 一种基于注意力机制的紫外光谱快速总氮在线检测方法
CN116008208A (zh) 一种海水硝酸盐浓度特征光谱波段的选择方法
CN111794744A (zh) 一种井下实时监测地层水污染程度的方法
CN114354666B (zh) 基于波长频次选择的土壤重金属光谱特征提取、优化方法
CN110887798A (zh) 基于极端随机树的非线性全光谱水体浊度定量分析方法
CN114428063B (zh) 污染层光谱数据识别方法、装置、电子设备和存储介质
CN107462564B (zh) 一种基于银超晶体的黄曲霉毒素b1快速免标记检测方法
CN113686810B (zh) 一种基于卷积神经网络的近红外光谱波长选择方法
CN106483087B (zh) 一种二氧化硫检测方法及系统
CN114264626A (zh) 一种基于时间序列残差网络的织物无损定量分析方法
CN111044501A (zh) 基于拉曼光谱的酚类有机污染物快速检测方法
CN118549367B (zh) 一种基于改进最小二乘法的海水硝酸盐浓度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230425

RJ01 Rejection of invention patent application after publication