CN113538361A

CN113538361A - 一种提升小波与sg滤波结合的近红外光谱去噪方法

Info

Publication number: CN113538361A
Application number: CN202110783857.5A
Authority: CN
Inventors: 顾雯雯; 尹欣慧
Original assignee: Southwest University
Current assignee: Southwest University
Priority date: 2021-07-12
Filing date: 2021-07-12
Publication date: 2021-10-22

Abstract

本发明涉及一种提升小波与SG滤波结合的近红外光谱去噪方法，属于近红外光谱信号预处理技术领域。对含噪近红外光谱信号进行提升小波分解得到多层小波系数；对每层高频系数进行硬阈值去噪得到去噪后的小波系数；对去噪后的小波系数进行提升小波逆变换重构得到初步去噪后的近红外光谱信号；最后，再对重构的近红外光谱信号进行Savitzky‑Golay滤波(SG滤波)得到最终去噪后的近红外光谱信号。本发明去噪后的近红外光谱与原始光谱信噪比高，均方根误差低；去噪效果彻底且没有明显的信号失真，提高了近红外光谱分析精度。

Description

一种提升小波与SG滤波结合的近红外光谱去噪方法

技术领域

本发明属于近红外光谱信号预处理技术领域，涉及一种提升小波与SG滤波结合的近红外光谱去噪方法。

背景技术

近红外光谱是介于780-2526nm的电磁波谱，主要是由于分子振动的非谐振性使分子振动从基态向高能级跃迁时产生的，具有较强的穿透能力。该谱区频率与有机分子主要基团(CH、NH、OH等含氢基团)各振动频率的倍频与合频相符，因此可以用于对大部分含氢键的有机物分子进行定性分析、识别。使用近红外光谱技术进行样品检测，信息量丰富，而且具有无损、快速、方便、高效等特点，适合多种物态分析，因此被广泛应用于农业、食品、烟草、医药等多个领域。

但是，原始光谱数据不仅包括被测样品的近红外特征光谱，也包含了诸如高频随机噪声、基线漂移等噪声，噪声的存在对定量分析模型的预测精度有着较大的影响，为提高近红外光谱分析精度，需要对近红外光谱数据进行去噪处理。目前常用的单一去噪方法如中值滤波、小波去噪、均值滤波很难获得较高信噪比、较低均方根误差，去噪效果不佳。因此本专利提出将提升小波变换结合Savitzky-Golay滤波方法用于近红外光谱去噪，能够提升信噪比、减少均方根误差，从而提高去噪效果。

发明内容

有鉴于此，本发明的目的在于提供一种提升小波与SG滤波结合的近红外光谱去噪方法。来解决目前近红外光谱去噪信噪比低、均方根误差高的问题。并且通过了相关的对比试验，证明了该方法去噪效果比单一小波变换、提升小波变换、Savitzky-Golay滤波等效果好。

为达到上述目的，本发明提供如下技术方案：

一种提升小波与SG滤波结合的近红外光谱去噪方法，该方法包括以下步骤：

步骤1：选取合适的小波基函数，获取该小波基函数的提升方案；

步骤2：对含噪近红外光谱信号进行提升小波分解得到多层小波系数；

步骤3：对多层提升小波系数中高频系数进行硬阈值去噪得到去噪后多层小波系数；

步骤4：将去噪后的小波系数进行提升小波逆变换重构得到去噪后的近红外光谱信号；

步骤5：将重构的近红外光谱信号用Savitzky-Golay滤波进行去噪。

可选的，所述步骤1中，选取的小波基函数为sym3，使用函数liftwave获取该小波基的提升方案，用小波提升方案lifting scheme提升小波。

可选的，所述步骤2中，对含噪近红外光谱信号进行提升小波分解，分解层数选4层，将近红外光谱信号分解为4层小波系数，提升小波分解过程分为分裂、预测、和更新三个环节，通过预测和更新两个环节实现信号的高低频分离；其中分裂环节将近红外信号s_i分为两个互不相交子集s_i-1和d_i-1，按奇偶性分为2组，即

s_i-1＝s[2n]；d_i-1＝s[2n-1]

预测环节中，用偶信号s_i-1的预测值P(s_i-1)去预测或者内插奇信号d_i-1，也就是使用滤波器P对偶信号进行处理得到了奇信号的预测值。即

d_i-1＝d_i-1-P(s_i-1)

d_i-1比之前包含更少的信息。经过n次重复进行分裂和预测的过程，原信号用{s_n，d_n，s_n-1，d_n-1，.....，s₁，d₁}表示；

更新环节是使子集s_i-1中保持原信号集的某些全局特性，利用已经得到的小波子集d_i-1对s_i-1进行更新，从而使得s_i-1保持原信号集的某一标量特性Q(x)。构造一个更新算子U去更新s_i-1，即

s_i-1＝s_i-1+U(d_i-1)

可选的，所述步骤3中，对多层小波系数高频系数进行硬阈值去噪为：

对每一层小波系数高频系数进行硬阈值去噪，硬阈值的计算公式为：

其中，θ为每层的小波去噪阈值，ω为含噪近红外光谱信号的高频系数，D_λ为去噪后的高频系数，θ的计算公式为

其中i为硬阈值去噪时的层数，l第i层高频系数长度，sigma_i为其公式为

sigma_i＝|v|/0.6745

其中，v为i层高频系数从小到大排列后，高频系数长度为奇取中间系数的值，长度为偶取中间两系数的平均值。

可选的，所述步骤4中，对去噪的提升小波系数进行提升小波逆变换与步骤2中提升小波分解近红外光谱信号三个环节相反。

可选的，所述步骤5中，Savitzky-Golay滤波的计算方法为

其中，平滑窗口宽度为2m+1，A为归一化常数，s′_i为近红外光谱数据x_i平滑后的数据，w_j为相应的权重系数，在窗口宽度确定后，w_j就确定了；，使用Savitzky-Golay滤波选取得拟合阶次和窗口宽度分别为2和45。

本发明的有益效果在于：本发明使用提升小波变换分解近红外光谱信号，对每层小波高频系数使用硬阈值去噪，再使用提升小波逆变换重构得到去噪后的近红外光谱信号，最后，通过Savitzky-Golay滤波对已经经过提升小波去噪的近红外光谱信号再次去噪，实现光谱的去噪过程。相较于单一的提升小波去噪、小波去噪、Savitzky-Golay滤波等去噪方法，信噪比高、均方根误差小；不存在明显的信号失真；该方法去噪效果彻底且能保留光谱有效特性，基本适用于近红外光谱仪的去噪过程，提高近红外光谱分析精度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明方法流程图；

图2为1467nm窄带滤色片近红外光谱原始信号图；

图3为用本发明方法对含噪1467nm窄带滤色片近红外光去噪后光谱图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图3，为一种提升小波与SG滤波结合的近红外光谱去噪方法，具体为：

步骤1：选取合适的小波基函数，获取该小波基函数提升方案；

步骤1中选取的小波基为sym3，使用函数liftwave获取该小波基的提升方案，用小波提升方案lifting scheme提升小波；

步骤2：对含噪近红外光谱信号进行提升小波分解得到多层提升小波系数；

步骤2中对近红外含噪信号进行提升小波分解，分解层数选4层，将近红外光谱信号分解为4层小波系数，提升小波分解过程分为分裂、预测和更新三个环节，通过预测和更新两个环节可以实现信号的高低频分离；其中分裂环节将近红外信号s_i分为两个互不相交子集s_i-1和d_i-1，按奇偶性分为2组，即

s_i-1＝s[2n]；d_i-1＝s[2n-1]

预测环节中，由于原始数据的相关性，在此基础上，用偶信号s_i-1的预测值P(s_i-1)去预测或者内插奇信号d_i-1，也就是使用滤波器P对偶信号进行处理得到了奇信号的预测值。即

d_i-1＝d_i-1-P(s_i-1)

此时d_i-1比之前包含更少的信息。经过n次重复进行分裂和预测的过程，原信号可用{s_n，d_n，s_n-1，d_n-1，.....，s₁，d₁}表示。

更新环节是使子集s_i-1中保持原信号集的某些全局特性，可以利用已经得到的小波子集d_i-1对s_i-1进行更新，从而使得s_i-1保持原信号集的某一标量特性Q(x)。即构造一个更新算子U去更新s_i-1，即

s_i-1＝s_i-1+U(d_i-1)

步骤3：对多层提升小波高频系数进行硬阈值去噪得到去噪后多层提升小波系数；

步骤3中所述对每层小波高频系数进行硬阈值去噪为：

对每一层小波系数进行硬阈值去噪，硬阈值的计算公式为：

其中i为硬阈值去噪时的层数，l第i层高频小波系数长度，sigma_i为其公式为

sigma_i＝|v|/0.6745

步骤4：将去噪后的提升小波系数进行提升小波逆变换重构得到去噪后的近红外光谱信号；

步骤4中所述的对去噪的提升小波系数进行提升小波逆变换与步骤2中提升小波分解近红外光谱信号三个环节相反。

步骤5：将重构的近红外光谱信号用Savitzky-Golay滤波进行去噪；

步骤5中Savitzky-Golay滤波的计算方法为

其中，平滑窗口宽度为2m+1，A为归一化常数，x′_i为近红外光谱数据x_i平滑后的数据，w_j为相应的权重系数，在窗口宽度确定后，w_j就确定了。步骤5中，使用Savitzky-Golay滤波选取得拟合阶次和窗口宽度分别为2，45。

图1是本发明方法的流程图，具体步骤如上所述。

图2是1467nm窄带滤色片近红外光谱原始信号。

图3是用本发明对含噪1467nm窄带滤色片近红外光谱信号去噪后的图像，图3与图2对比可得，本发明去噪效果彻底，不存在明显的信号失真，实验结果能基本反应光谱信号的基本特征。

结合表格，同时参阅图2和图3，单一的小波去噪、提升小波去噪和Savitzky-Golay滤波去噪方法不能得到高信噪比、低均方根误差的去噪效果。本发明的提升小波结合SG滤波的近红外光谱去噪方法比单一去噪方法信噪比高、均方根误差低，并且去噪效果彻底，不存在明显的信号失真，能保留光谱有效特性，从而能提高近红外光谱分析精度。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种提升小波与SG滤波结合的近红外光谱去噪方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的一种提升小波与SG滤波结合的近红外光谱去噪方法，其特征在于：所述步骤1中，选取的小波基函数为sym3，使用函数liftwave获取该小波基的提升方案，用小波提升方案lifting scheme提升小波。

3.根据权利要求2所述的一种提升小波与SG滤波结合的近红外光谱去噪方法，其特征在于：所述步骤2中，对含噪近红外光谱信号进行提升小波分解，分解层数选4层，将近红外光谱信号分解为4层小波系数，提升小波分解过程分为分裂、预测、和更新三个环节，通过预测和更新两个环节实现信号的高低频分离；其中分裂环节将近红外信号s_i分为两个互不相交子集s_i-1和d_i-1，按奇偶性分为2组，即

s_i-1＝s[2n]；d_i-1＝s[2n-1]

预测环节中，用偶信号s_i-1的预测值P(s_i-1)去预测或者内插奇信号d_i-1，也就是使用滤波器P对偶信号进行处理得到了奇信号的预测值，即

d_i-1＝d_i-1-P(s_i-1)

d_i-1比之前包含更少的信息；经过n次重复进行分裂和预测的过程，原信号用{s_n，d_n，s_n-1，d_n-1，.....，s₁，d₁}表示；

更新环节是使子集s_i-1中保持原信号集的某些全局特性，利用已经得到的小波子集d_i-1对s_i-1进行更新，从而使得s_i-1保持原信号集的某一标量特性Q(x)；构造一个更新算子U去更新s_i-1，即

s_i-1＝s_i-1+U(d_i-1)。

4.根据权利要求3所述的一种提升小波与SG滤波结合的近红外光谱去噪方法，其特征在于：所述步骤3中，对多层小波系数高频系数进行硬阈值去噪为：

其中i为硬阈值去噪时的层数，/第i层高频系数长度，sigma_i为其公式为

sigma_i＝|ν|/0.6745

5.根据权利要求4所述的一种提升小波与SG滤波结合的近红外光谱去噪方法，其特征在于：所述步骤4中，对去噪的提升小波系数进行提升小波逆变换与步骤2中提升小波分解近红外光谱信号三个环节相反。

6.根据权利要求5所述的一种提升小波与SG滤波结合的近红外光谱去噪方法，其特征在于：所述步骤5中，Savitzky-Golay滤波的计算方法为

其中，平滑窗口宽度为2m+1，A为归一化常数，x′_i为近红外光谱数据x_i平滑后的数据，w_j为相应的权重系数，在窗口宽度确定后，w_j就确定了；，使用Savitzky-Golay滤波选取得拟合阶次和窗口宽度分别为2和45。