CN110208211B - 一种用于农药残留检测的近红外光谱降噪方法 - Google Patents

Abstract

本发明公开了一种用于农药残留检测的近红外光谱降噪方法，包括以下步骤：步骤一、采集目标的近红外光谱；步骤二、利用EEMD方法对近红外光谱的信号进行分解，得到若干个IMF分量；步骤三、依据IMF分量自适应获得阈值，选取出含噪声的IMF分量；步骤四、利用改进的L2正则化方法对选取的含噪声的IMF分量进行降噪处理；步骤五、将降噪后的分量与有效信息分量进行重构获得降噪信号。本发明解决近红外光谱本身所含噪声以及EEMD引入白噪的问题，提高近红外光谱的信噪比以及在农药残留检测中分类的识别精度。

Description

一种用于农药残留检测的近红外光谱降噪方法

技术领域

本发明属于近红外光谱无损检测技术领域，具体涉及一种用于农药残留检测的近红外光谱降噪方法。

背景技术

近红外光是指波长在780～2526nm范围内的电磁波，是人们在吸收光谱中发现的第一个非可见光区，其光谱区域可以反映分子中的C-H、N-H、O-H等基团的倍频、合频振动吸收情况，由此可以获得有机物与部分无机物的信息。近年来，近红外光谱(NIR)分析技术凭借效率高、精度高、成本低、无损分析等优势发展迅速，引起了社会的广泛关注。在近红外光谱范围内，不同的分子对应着表征其特征的振动频率，基于此特性，不同物质在近红外光谱中具有特定的吸收特征，这为近红外光谱的定性定量分析奠定了基础。目前，近红外光谱技术已经普遍应用于农林业、化工行业、医学界等多个领域。目前通过近红外光谱对果蔬农药残留进行分析，相比于传统的物理化学检测技术更加灵活，高效。然而，近红外光谱技术是一门弱信号技术，在采集样本的近红外光谱的过程中，不可避免地会染上噪声。此噪声会干扰到有效的光谱特征提取，将直接影响后续光谱数据分类与分析的准确性。由此，在以农药残留检测为目的的光谱数据分类中，降噪在整个过程中至关重要的一环。

在获取的近红外光谱信号中，除了由于设备元件造成的稳定噪声以外，更多的是随时间变化而变化的非稳定噪声。传统的滤波器只适用于稳定噪声处理，而无法满足非稳定噪声的消除。平均经验模态分解(EEMD)是N.E.Huang于2009年提出的一种自适应时频局部化分析方法，通过加入均匀分布在整个时频空间的高斯白噪声，使得不同尺度的信号区域自动映射到与背景白噪声相关的适当尺度上去，解决了经验模态分解(EMD)的模态混叠问题，但原有的和新加入的噪声均会被分解到各本征模函数(IMF)中，通过阈值方法选取几个IMF重建光谱的降噪方法很难有效地去除光谱中的原染噪声以及分解过程中新添加的白噪。

发明内容

本发明的目的是提供一种用于农药残留检测的近红外光谱降噪方法，以解决上述问题。

本发明提供了如下的技术方案：一种用于农药残留检测的近红外光谱降噪方法，包括以下步骤：

步骤一、利用近红外光谱仪采集被测物的近红外光谱；

步骤二、利用EEMD方法对近红外光谱的信号进行分解，得到若干个IMF分量；

步骤三、依据IMF分量，自适应获得阈值，根据阈值判断对应IMF分量中是否残留噪声，选取其中含噪声的IMF分量，剩余的IMF分量作为有效分量备用；

步骤四、利用改进的L2正则化方法对选取的含噪声的IMF分量进行降噪处理；

步骤五、将降噪后的IMF分量和有效分量进行重构获得降噪信号。

作为上述技术方案的进一步描述：

所述步骤二中，对近红外光谱的信号进行分解的分解公式为：

公式中，λ为波长，IMF_i(λ)是EEMD分解的第i个IMF分量，r_n(λ)是分解筛除n个IMF分量后的信号残余分量，得到的IMF按照频率从高到低排列，残余项r_n(λ)表征信号的趋势。

作为上述技术方案的进一步描述：

所述步骤三自适应获得阈值前，将步骤二中得到的IMF分量进行集成平均，得到最终的IMF；集成平均的计算公式为：

公式中，i表示每次分解得到的第i个IMF分量。

作为上述技术方案的进一步描述：

所述步骤三中，自适应获得阈值的公式为：

公式中，median(·)表示取中值的函数，m表示各IMF分量的维数。

作为上述技术方案的进一步描述：

所述步骤三中，是否残留噪声判断方法为：

当IMF_i(λ)中存在IMF_i(λ)＞T_i的元素时，则判断此IMF分量为含噪声的IMF分量。

作为上述技术方案的进一步描述：

所述步骤四中，利用改进的L2正则化方法进行降噪处理的方法为：

步骤(1)、构建改进L2正则化方法的代价函数公式：

公式中，

为保真项，s(λ)表示未染有噪声的近红外光谱信号，x(λ)表示有噪声的近红外光谱信号，

是正则化项，s”(λ)为s(λ)对变量λ求二阶导数，γ为正则化参数，

代表l₂范数；

步骤(2)、通过最小化所述代价函数求解，求解公式为：

作为上述技术方案的进一步描述：

所述步骤五中，信号重构的公式为：

公式中，d(λ)为波长λ处的降噪信号，IMF_i(λ)为波长λ处的所有有效分量，

为波长λ处的经l₂正则化方法处理后的所有IMF分量。

本发明的有益效果：解决近红外光谱本身所含噪声以及EEMD引入白噪的问题，提高近红外光谱的信噪比以及在农药残留检测中分类的识别精度，具体如下：

(1)、本发明的降噪方法将EEMD方法与改进的L2正则化相结合，利用信号二阶梯度的L2正则化方法处理IMF中的残留噪声，提高重构信号的信噪比，达到有效提取有用信息的目的，本发明的方法可有效去除染有噪声的近红外光谱信号中的噪声成分，提高光谱中有效信息的可提取性；

(2)、本发明的降噪方法中采取自适应阈值法，获得阈值判断各IMF分量的噪声程度，以判断各IMF分量是否需要实施进一步降噪处理，避免了人工设置处理参数的麻烦；

(3)、由于含噪光谱一般是非稳信号(近红外光谱采集的噪声是实时变化的，特别是统计特征是变化的，使得获得的含噪光谱的统计特征也变化，使得含噪呈非稳定信号)，用任何正则化方法降噪的实时性不佳，本发明可以有效分解非稳定信号，分解所得的IFM分量的信号为稳定信号，然后针对IFM分量中信号具有一定稀疏性且信号波形平滑变化的特征，再用改进L2正则化方法进一步处理，使得降噪实时性好(即降噪每条光谱的效果均比较好)；

具体的，正则化项不同能达到的目的也不同，本发明中，改进的L2正则化方法是对IMF分量的二阶导数加上约束条件，约束条件根据无噪IMF分量中信号具有一定稀疏性且信号波形平滑变化的先验知识设定，在约束条件的作用下，降噪后的IMF分量倾向于选择满足约束的梯度减少的方向，逼迫最终解倾向于符合先验知识靠近(正则化项中L2范数可控制信号的波形平滑变化，一阶导数、二阶导数控制信号的稀疏性，其中导数的阶数越大，信号的稀疏性越大)；

与其他滤波方法相比，本发明的方法不仅在去降噪的同时较好地保留了边缘信息，更具备自适应性；本发明通过改进L2正则化方法可以进一步去除重构信号中的残留噪声，消除了EEMD的弊端，使近红外光谱的信噪比提高以及后续的分类模型的分类精度，改善果蔬农药残留快速、智能检测的正确率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是未染噪的残留乐果农药的上海青的近红外光谱；

图2是模拟添噪处理后的近红外光谱的图谱；

图3是EEMD方法、本发明方法降噪后与未染噪的近红外光谱图谱。

具体实施方式

现结合说明书附图，详细说明本发明的结构特点。

实施例

本实施例中提供一种用于农药残留检测的近红外光谱降噪方法，包括以下步骤：

步骤一、数据采集

利用近红外光谱仪采集待测物(本实施例中优选为果蔬)表面的近红外光谱，此时采集得到的近红外光谱中含有噪声，将采集到的染有噪声的近红外光谱信号表示为：

x(λ)＝s(λ)+z(λ) 式(1)

式(1)中，x(λ)为波长λ处的染有噪声的近红外光谱信号，s(λ)为波长λ处的未染有噪声的近红外光谱信号，z(λ)为波长λ处的随机噪声信号；

步骤二、信号分解

利用EEMD方法对步骤一中的近红外光谱信号进行分解，得到若干个IMF分量和一个残余项，分解公式为：

式(2)中，λ为波长，IMF_i(λ)是EEMD分解的第i个IMF分量，r_n(λ)是分解筛除n个IMF分量后的信号残余分量，得到的IMF按照频率从高到低排列，残余项r_n(λ)表征信号的趋势。

步骤三、IMF分量集成平均

将步骤二中得到的IMF分量进行集成平均，得到最终的IMF；集成平均的计算公式为：

式(3)中，i表示每次分解得到的第i个IMF分量，“ave”表示不同的迭代的平均结果，j表示迭代第j次，每个IFM分量的求解是通过迭代过程，并平均迭代结果所得；

步骤四、选取含噪声的IMF分量

依据前述得到的各个IMF分量，自适应获得阈值，得到的阈值用于判断对应IMF分量中是否残留噪声，以选取含噪声的IMF分量，剩余的IMF分量作为有效分量备用；

其中，自适应获得阈值的方法为：

式(4)中，median(·)表示取中值的函数，m表示各IMF分量的维数。

其中，IMF分量中是否残留噪声判断方法：

当IMF_i(λ)中存在IMF_i(λ)＞T_i的元素时，则判断此IMF分量为含噪的IMF分量；

步骤五、降噪处理

利用改进的L2正则化方法对步骤四选取的含噪声的IMF分量进行降噪处理；改进的L2正则化方法使用的代价函数公式为：

式(5)中，

为保真项；s(λ)表示未染有噪声的近红外光谱信号；x(λ)表示有噪声的近红外光谱信号；

是正则化项，该式中包含重构信号所需的先验信息，并以此来约束重构结果，保证解的稳定性；s”(λ)为s(λ)对变量λ求二阶导数，γ为正则化参数，本实施例中，取值为50，可用来调节正则项与保真项之间的权重关系；

代表l₂范数。

上述代价函数包含两个部分，保真项和正则化项，正则化化方法即通过最小化此代价函数求解，其中，正则化相的函数部分是由L2范数构成的。

其中，改进L2正则化的最优化问题求解方法为：

式(6)中，C>0表示趋于无穷小的常数，在本实施例中优选为0.0001。

步骤六、获得降噪信号

将步骤五中降噪后的IMF分量与步骤四中无噪的IMF分量(即有效分量)进行重构获得完整的降噪信号，信号重构公式为：

式(7)中，d(λ)为波长λ处的降噪信号，IMF_i(λ)为波长λ处的所有有效分量(即步骤四中剩余的无噪的IMF分量)，

为波长λ处的经l₂正则化方法处理后的所有分量。

本发明可以有效解决近红外光谱本身所含噪声以及EEMD引入白噪的问题，提高近红外光谱的信噪比以及在农药残留检测中分类的识别精度。

本发明的降噪方法将EEMD与改进的L2正则化方法相结合，利用信号二阶梯度的L2正则化方法处理IMF中的残留噪声，提高重构信号的信噪比达到有效提取有用信息的目的，可有效去除染有噪声的近红外光谱信号中的噪声成分，完成对光谱中有效信息的提取。

进一步的，

步骤二中，若干个IMF分量的获取方法具体包括以下步骤：

步骤(1)、在含噪信号x(λ)中加入白噪声N_j(λ)，得到复合信号y_j(λ)，其中下标j代表添加噪声次数：

y_j(λ)＝x(λ)+N_j(λ) 式(8)

步骤(2)、确定信号y_j(λ)所有极值点；

步骤(3)、用三次样条函数对极大值点和极小值点分别进行拟合得到y_j(λ)的上下包络线；

步骤(4)、由信号y_j(λ)的上下包络线计算得其均值记作m₁(λ)；

步骤(5)、用信号y(λ)减去上下包络线的均值m₁(λ)得到h₁(λ)，若h₁(λ)不满足IMF的判别条件，则令h₁(λ)作为原信号继续筛选直到获得满足条件的h₁(λ)，视作第一个分量IMF₁；

步骤(6)、从原信号y_j(λ)中减去h₁(λ)，得到r₁(λ)，再将剩下的数据r₁(λ)作为原信号进行重复筛选，直到某个分量r_n(λ)小于一个预先指定值或者为单调函数时，筛选结束，完成所有IMF分量提取，前述分量提取的计算公式具体如下：

进一步的，

步骤(5)中，筛选IMF的判断准则为：在整个数据段内，数据的极值点和过零点交替出现，且数目相等或最多相差一个；当然筛选准则也不仅仅局限于这一种，还可以是：任意时刻由局部最大值和局部最小值定义的包络的均值必须是零等其他可以实现的判断准则。

对比例1

在实施例的基础上，本对比例1将EEMD方法和本发明方法进行对照试验，为便于对照，本对比例中将光谱仪获取的近红外光谱作为未染有噪声的近红外光谱信号，在其上叠加随机噪声信号得到染有噪声的近红外光谱信号，即本对比例1中，预先设置染有噪声的近红外光谱信号。数据采集的具体方法为：

首先，本实施例以残留乐果农药的上海青为处理对象，采用德国布鲁克EQUINOX55傅里叶变换型光谱仪采集实验对象的近红外光谱(该光谱仪获得的光谱信号含噪声较少，但价格过高无法普及，本实施例中将通过该光谱仪获取的近红外光谱作为未染有噪声的近红外光谱)，采集波长范围为900nm～1681nm，采样间隔为1nm，共782个波长点，得到如图1所示未染有噪声的近红外光谱；

然后，通过模拟一般近红外光谱仪的噪声特性在未染有噪声的近红外光谱信号上叠加随机噪声，得到如图2所示染有噪声的近红外光谱。本对比例1中，得到EEMD方法、本发明方法降噪后与未染噪的近红外光谱图谱如图3所示。由图3可见，相对于EEMD方法，本发明方法获得降噪后的近红外光谱曲线与未染噪声的近红外光谱曲线更接近，说明本发明方法降噪更优。

对比例2

在本对比例2中，采用德国布鲁克EQUINOX55傅立叶变换型光谱仪采集作为近红外光谱采集设备，光谱仪参数设置为：平均采样次数30次、显示波段900-1681nm、测量间隔1nm。

采集的实验样品为：喷洒了乐果(农药，C5H12NO3PS2)的上海青，实验样品先进行预处理：上海青从农贸市场购买后，分别利用小苏打和食盐浸泡后，再用自来冲洗干净晾干；农药为河南省周口市德贝尔生物化学品工程有限的40％乐果乳油，采用蒸馏水从50倍稀释到1500倍，分别喷洒在晾干的上海青上。

光谱采集环境：装有空调的恒温环境(23℃)内。

本对比例中，分别采集残留农药样本291个、未残留农药样本50个，获得近红外光谱作为训练数据集。

一方面，分别利用EEMD方法和本发明方法对上述341个样本的含噪近红外光谱进行降噪处理，比较其信噪比，得到结果如下表1所示。其中，对应方法的SNR越高表示该方法降噪效果越好，则信号中噪声含量越少理后的降噪信号进行对比。由表1的SNR数据显示，本发明方法的降噪效果优于原始的EEMD方法。

表1近红外光谱降噪后的信噪比

另一方面，在本对比例中，将上述采集的291个残留农药样本、50个未残留农药样本的近红外光谱作平均的分为两个近红外光谱数据集，即任意选择146个残留类样本和25个未残留类样本近红外光谱为训练数据集，剩余的为测试数据集。

在训练数据集和测试数据集的近红外光谱上模拟添加随机噪声，分别利用EEMD和本发明方法降噪处理，再利用PCA从选取训练数据集的中的近红外光谱数据的低维特征；然后，利用此低维特征数据训练RBF-SVM分类器，获取用于无损快速检测的分类模型；最后，利用测试数据集中近红外光谱数据测试所得分类模型的分类准确率，结果如表2所示。其中，对于分类模型而言，训练数据集下的分类准确率越高说明分类模型的拟合能力越强，测试数据集下的分类准确率越高说明分类模型的泛化能力越强，即检测未来采集近红外光谱所属类别的正确判断能力越强。

对于相同的分类方法所得分类模型而言，训练数据中近红外光谱的谱峰特征在降噪的过程保持越好(即与理想未然噪近红外光谱越相似)，所得分类模型分类准确率越接近未染噪下的数据所得结果。

因此，分类模型的分类准确率越高则说明降噪后的近红外光谱与原始未染噪近红外光谱越相似，其对应的降噪方法越好。由表2数据显示，针对分类，本发明方法的降噪效果要优于EEMD的方法。

表2农药残留类与农药未残留类的近红外光谱降噪后所获分类模型的分类准确率

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于农药残留检测的近红外光谱降噪方法，其特征在于，包括以下步骤：

步骤一、利用近红外光谱仪采集被测物的近红外光谱；

步骤二、利用EEMD方法对近红外光谱的信号进行分解，得到若干个IMF分量；

步骤三、依据IMF分量，自适应获得阈值，根据阈值判断对应IMF分量中是否残留噪声，选取其中含噪声的IMF分量，剩余的IMF分量作为有效分量备用；

步骤四、利用改进的L2正则化方法对选取的含噪声的IMF分量进行降噪处理，方法为：

步骤（1）、构建改进L2正则化方法的代价函数公式：

公式中，

为保真项，

表示未染有噪声的近红外光谱信号，

表示有噪声的近红外光谱信号，

是正则化项，

为

对变量

求二阶导数，

为正则化参数，

代表

范数；

步骤（2）、通过最小化所述代价函数求解，求解公式为：

；

步骤五、将降噪后的IMF分量和有效分量进行重构获得降噪信号。

2.根据权利要求1所述的用于农药残留检测的近红外光谱降噪方法，其特征在于：所述步骤二中，对近红外光谱的信号进行分解的分解公式为：

公式中，

为波长，

是EEMD分解的第

个IMF分量，

是分解筛除n个IMF分量后的信号残余分量，得到的IMF按照频率从高到低排列，残余项

表征信号的趋势。

3.根据权利要求1所述的用于农药残留检测的近红外光谱降噪方法，其特征在于：所述步骤三自适应获得阈值前，将步骤二中得到的IMF分量进行集成平均，得到最终的IMF；集成平均的计算公式为：

公式中，

表示每次分解得到的第

个IMF分量。

4.根据权利要求3所述的用于农药残留检测的近红外光谱降噪方法，其特征在于：所述步骤三中，自适应获得阈值的公式为：

公式中，

表示取中值的函数，

表示各IMF分量的维数。

5.根据权利要求4所述的用于农药残留检测的近红外光谱降噪方法，其特征在于：所述步骤三中，是否残留噪声判断方法为：

当

中存在

的元素时，则判断此IMF分量为含噪声的IMF分量。

6.根据权利要求1所述的用于农药残留检测的近红外光谱降噪方法，其特征在于：所述步骤五中，信号重构的公式为：

公式中，

为波长

处的降噪信号，

为波长

处的所有有效分量，

为波长

处的经

正则化方法处理后的所有IMF分量。

Images