CN105005978A - 一种基于Savitzky-Golay滤波器参数优化的光谱实时滤波方法 - Google Patents

Abstract

本发明涉及一种基于Savitzky-Golay滤波器参数优化的光谱实时滤波方法，涉及多波长光谱数据的预处理领域，目的在于对含有随机的、未知频率、未知强度的噪声的光谱曲线进行滤波，去除噪声，保留光谱曲线的特征。本发明可根据光谱数据的特征优化滤波器的参数，使滤波器可以适应不同的噪声情况，实现较宽的频率、幅度范围的噪声滤除。采用本发明，还可以用于光谱仪器在不同的现场、不同的光噪声、不同的电噪声等干扰下测得的同一对象的光谱实时数据处理，经滤波后减小光谱数据的差异，提高信噪比。

Description

一种基于Savitzky-Golay滤波器参数优化的光谱实时滤波方法

技术领域

本发明涉及一种基于Savitzky-Golay滤波器参数优化的光谱实时滤波方法，可动态优化滤波器的参数，尤其适用于噪声变化较大情况下实时光谱数据的去噪处理。

背景技术

Savitzky-Golay滤波(简称S-G滤波)是上世纪60年代由Savitzky和Golay提出，具有在滤除噪声时确保信号的形状和宽度不变的优点，广泛地运用于数据流平滑除噪，是一种在时域内基于局域多项式最小二乘法拟合的滤波方法。由光谱仪直接获取的光谱经常由于温度、湿度、仪器稳定性等因素的干扰，存在噪声影响，最终导致结果不准确，因此需要对光谱数据进行去噪。

目前对光谱曲线降噪的方法主要有：线性拟合法、均值法、小波算法、超分辨率重建法。线性拟合法虽然能初步滤除单种液体测量光谱的噪声，但易受异常值的影响，且需多次测量，很不方便；均值法除了要求多次测量外，不能保证降低光谱中的突变噪声；小波算法则基于Fourier变换从频域对信号进行分析，能有效滤除多种噪声，但处理速度慢；超分辨率重建法适合于多组平移的光谱之间的噪声滤除，而无法单次对某种液体的光谱曲线进行处理。对光谱曲线的降噪处理主要是为了提取特征信息，这要求滤波算法能够准确反映曲线走势，保留峰值，不丢失细节信息，Savitzky-Golay滤波器则具备该特点。

本发明采用S-G自适应滤波的方法，根据均方误差最小得到最优参数，计算方便，通过嵌入实时采集软件，实现对于实时信号进行处理，克服了以往S-G滤波只能应用于光谱数据采集后再分析处理的缺陷。而其他自适应的滤波器在反映曲线走势和保留峰值和细节信息处，没有S-G滤波处理光谱数据的效果好。因此，本文提出的是一种根据光谱曲线自适应的S-G滤波方法。

发明内容

本发明目的在于解决对于含有随机出现且实时变化的未知频率、未知强度的噪声的光谱曲线进行滤波的光谱曲线的降噪处理，提取特征信息，能够准确反映曲线走势，保留峰值，不丢失细节信息，提出了一种自适应的S-G滤波方法。

本发明是一种基于Savitzky-Golay滤波器参数优化的光谱滤波方法，可选择最优的滤波器参数，最终实现不同噪声情况下均可以达到最优的滤波效果。具体实施步骤为：

1)光谱仪采集任意时刻光谱数据y，y作为输入信号，所述y由光谱信号x与噪声信号b组成；

y＝x+b

将输入信号y输入至初步设定滤波参数的Savitzky-Golay自适应滤波器中，得到滤波后的输出信号

$\hat{x}=f_{\mathrm{\λ}}\left(y\right)$

f_λ代表Savitzky-Golay滤波器运算，即输入y值到估计值的一种映射，λ代表Savitzky-Golay滤波器参数；

对于Savitzky-Golay滤波器来说，可以调节的参数是拟合阶次和窗口大小的两个参数单独或同时调节；

2)Savitzky-Golay自适应滤波器通过计算所有波长下光谱滤波前后的均方误差(MSE)的Stein无偏风险估计值(SURE)不断调整滤波器参数，使得无偏风险估计值最小，此时滤波器的输出则为纯净的光谱信号x′。

均方误差MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。根据Stein理论，η(f_λ(y))是真正MSE的一个无偏估计。即是 $E\{\frac{1}{N}\left|\right|x-$

$f_{\mathrm{\λ}}\left(y\right)\left|{|}^2\right\}=E\left\{\mathrm{\η}\left(f_{\mathrm{\λ}}\right(y\left)\right)\right\}$

$MSE=\frac{1}{N}\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(y_i-{\hat{x}}_i)}^2},$ i为波长编号，N个波长

$SURE\left(\mathrm{\λ}\right)=\mathrm{\η}\left(f_{\mathrm{\λ}}\right(y\left)\right)=\frac{1}{N}\left|\right|y-f_{\mathrm{\λ}}\left(y\right)|{|}^2-{\mathrm{\σ}}^2+\frac{2{\mathrm{\σ}}^2}{N}{\mathrm{div}}_y\{f_{\mathrm{\λ}}\left(y\right)\}$

其中：

${\mathrm{div}}_y\left\{f_{\mathrm{\λ}}\left(y\right)\right\}=\underset{k=0}{\overset{N}{\Σ}}\frac{\∂f_{\mathrm{\λ}k}\left(y\right)}{\∂y_k}$

方差σ²采用中位数进行估计，公式为：

$\widehat{\mathrm{\σ}}=\frac{\left\{median\left(\right|y_n-y_{n-1}|;n=2,3,\mathrm{...},N)\right\}}{0.6745}$

SURE计算公式中的div_y{f_λ(y)}可采用Monte-Carlo算法，在输入y上加入一扰动b′(高斯白噪声，均值为0，方差为ε²)。

z＝y+b′

然后计算出新的输出f_λ(y)，通过下面公式可以求解：

${\mathrm{div}}_y\left\{f_{\mathrm{\λ}}\left(y\right)\right\}=\underset{\mathrm{\ϵ}\→0}{\lim }\frac{1}{{\mathrm{\ϵ}}^2}{E}_{b^{\′}}\left\{b^{\′T}\left(f_{\mathrm{\λ}}\right(z)-f_{\mathrm{\λ}}(y\left)\right)\right\}$

3)采用滤波前后的均方根误差MSE的无偏风险估计值SURE来调整滤波器的参数，是指对Savitzky-Golay滤波器的阶次和窗宽进行调整，以使SURE值最小，或者处于不大于最小值10％以内的范围。

上述的根据SURE值调整参数的方法，可采用快速搜索的方法，需根据经验确定常用的滤波器参数范围，然后分别计算出SURE值后进行优选。快速搜索的方法包括一些常见的最优化方法的快速实现算法。

通过对于窗宽和阶数两个参数的变化，获得最小的MSE，这时的参数即为最优参数。

本发明的有益效果是：该方法通过一种基于光谱数据的Savitzky-Golay自适应滤波方法，改变滤波器的参数和结构，实现实时光谱去噪，解决对于未知干扰下光谱曲线去噪，并保留光谱曲线的形状和峰的细节特征的问题。

附图说明

图1S-G自适应滤波器的数据处理示意图；

图2基于SURE的滤波器参数优化的模型示意图；

图3基于SURE的滤波器参数优化的流程图；

图4对水的光谱信号x加噪声b₁后的光谱曲线；

图5对水的光谱信号x加噪声b₂后的光谱曲线；

图6对水的光谱信号x加噪声b₃后的光谱曲线；

图7对3组水的光谱信号分别用本发明去除噪声后得到的曲线的对比图；

图8对乙醇的光谱信号x₂加噪声b₄后的光谱曲线；

图9对乙醇的光谱信号x₂加噪声b₅后的光谱曲线；

图10对乙醇的光谱信号x₂加噪声b₆后的光谱曲线；

图11对3组乙醇光谱信号分别用本发明去除噪声后得到的曲线的对比图。

具体实施方式

如图1所示，本发明是一种基于光谱数据的S-G自适应滤波器光谱处理方法，首先由光谱仪实时输入噪声干扰下的光谱数据，然后S-G滤波器根据实时收到的信号通过最小均方差进行自适应的参数调整，最后即可得到实时的去噪后的光谱曲线。滤波器参数的优化过程如图2所示，先输入理想信号x，误差信号b，得到实际滤波器收到的信号y，输入滤波器中，就可以根据计算得到S-G滤波的最佳参数，进而获得去噪之后的光谱曲线。

本发明基于光谱数据的S-G滤波器参数的动态优化方法，具体实施步骤(如图3所示)为：

1)应用光谱仪采集任意时刻光谱数据y，并将y作为输入信号，y由光谱信号x与噪声信号b组成。

2)定义一个算法运算符f_λ为输入y值到估计值的一种映射：

其中λ代表算法中可调节的参数，调节参数会改变输出，以此来寻找最佳的估计对于S-G滤波器来说，可调节的参数是拟合阶次和窗口大小。

3)MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。在MSE最小时，取到MSE的求得需要知道输入数据y，估计值f_λ(y)，而在实际中，无噪声信号x是未知，这就需要我们寻求别的办法来对MSE进行准确的估计。

4)SURE便提供了一个准确估计真正MSE的方法，它可以解决S-G滤波器的参数优化的问题，滤波效果的评价转化为寻求使得SURE取得最小值的拟合阶次和窗口大小，这时的参数即是S-G滤波器的优化参数。SURE具体计算过程为：

${\mathrm{div}}_y\left\{f_{\mathrm{\λ}}\left(y\right)\right\}=\underset{k=0}{\overset{N}{\Σ}}\frac{\∂f_{\mathrm{\λ}k}\left(y\right)}{\∂y_k}$

$SURE\left(\mathrm{\λ}\right)=\mathrm{\η}\left(f_{\mathrm{\λ}}\right(y\left)\right)=\frac{1}{N}\left|\right|y-f_{\mathrm{\λ}}\left(y\right)|{|}^2-{\mathrm{\σ}}^2+\frac{2{\mathrm{\σ}}^2}{N}{\mathrm{div}}_y\{f_{\mathrm{\λ}}\left(y\right)\}---\left(2\right)$

这里使用Monte-Carlo算法，在输入y上加入人为扰动b′(高斯白噪声，均值为0，方差为ε²)，z＝y+b′，然后计算出新的输出f_λ(z)，通过计算公式：

${\mathrm{div}}_y\left\{f_{\mathrm{\λ}}\left(y\right)\right\}=\underset{\mathrm{\ϵ}\→0}{\lim }\frac{1}{{\mathrm{\ϵ}}^2}{E}_{b^{\′}}\left\{b^{\′T}\left(f_{\mathrm{\λ}}\right(z)-f_{\mathrm{\λ}}(y\left)\right)\right\}---\left(5\right)$

将(5)代入(2)就可以得到MSE的无偏估计。

通过对于S-G滤波器的参数的变化获得最小的SURE值，进而获得最小的MSE值，这时的参数即为最优参数。

5)为了验证本发明可以对于光谱仪器在不同的现场、不同的光噪声、不同的电噪声等干扰下测得的同一对象的静态光谱数据进行处理，经滤波后光谱数据的差异减小，信噪比提高。对于同一个水吸光度的理想信号x加入不同的噪声信号b₁，b₂，b₃，得到滤波器输入信号y₁，y₂，y₃，分别如图4、图5和图6所示，从图中可以看出不同的噪声信号对吸收度信号有不同程度的影响，但是吸光度信号在0-300、400-500和波峰出都有较大的波动，尤其是图4，噪声干扰非常严重，在0-200和400-500的两个区域噪声甚至掩盖了正常的波动趋势。再对乙醇吸光度的理想信号x₂加入噪声b₄，b₅，b₆，得到输入信号y₄，y₅，y₆，分别如图8、图9和图10所示，从图中可以看出b₄、b₅和b₆的噪声信号对0-50、110-250和270-300区段的吸收信号都有非常严重的干扰，尤其是图8，在整个吸收波段内小尖峰都非常多。

用本发明的方法对水和乙醇吸光度的3组曲线分别作参数优化。在每一组吸光度数据处理中，先将实际吸光度数据作为y带入到SURE的计算公式中，通过计算得到最小的SURE值，此时得到的窗宽和阶数，也对应了最小的MSE值。将每组吸光度数据和计算得到的窗宽和阶数值带入即可得到滤波优化之后的吸光度数据，图7和图11为滤波前后的对比图。图7为对水的吸收信号滤波后的吸收曲线，从图上可以看出，加了不同噪声信号的吸光度曲线经过滤波之后基本重合，在噪声干扰严重的区段，如0-300、400-500和波峰处，都获得了较好的滤波效果，曲线平滑波动趋势明显。图11为对乙醇的吸收信号滤波后的吸光度曲线，从图上可以看出，滤波之后曲线整体平滑波峰明显，而小尖峰也基本都被去除，三条加了不同噪声信号的吸光度曲线基本重合。综合水和乙醇滤波前后的吸光度曲线，可以看到对于理想光谱进行不同程度的噪声处理后再滤波，可以得到几乎一致的光谱，因此本发明也可以对于光谱仪器在不同的现场、不同的光噪声、不同的电噪声等干扰下测得的同一对象的静态光谱数据进行处理。

本发明公开和提出的一种基于Savitzky-Golay滤波器参数优化的光谱实时滤波方法，本领域技术人员可通过借鉴本文内容，适当改变条件等环节实现，尽管本发明的方法和已通过较佳实施例子进行了描述，相关技术人员明显能在不脱离本发明内容、精神和范围内对本文所述的方法和技术进行改动或重新组合，来实现最终的制备技术。特别需要指出的是，所有相类似的替换和改动对本领域技术人员来说是显而易见的，他们都被视为包括在本发明精神、范围和内容中。

Claims (4)

1.一种基于Savitzky-Golay滤波器参数优化的光谱实时滤波方法；其特征是包括以下步骤：

1)光谱仪采集任意时刻光谱数据y，y作为输入信号，所述y由光谱信号x与噪声信号b组成；

y＝x+b

将输入信号y输入至初步设定滤波参数的Savitzky-Golay自适应滤波器中，得到滤波后的输出信号

f_λ代表Savitzky-Golay滤波器运算，即输入y值到估计值的一种映射，λ代表Savitzky-Golay滤波器参数；对于Savitzky-Golay滤波器来说，调节的参数是拟合阶次和窗口大小的两个参数单独或同时调节；

2)Savitzky-Golay自适应滤波器通过计算所有波长下光谱滤波前后的均方误差(MSE)的Stein无偏风险估计值(SURE)不断调整滤波器参数，使得无偏风险估计值最小，此时滤波器的输出则为纯净的光谱信号x′。

2.如权利要求1所述的滤波方法，其特征是均方误差MSE的评价方法如下：

根据Stein理论，η(f_λ(y))是真正MSE的一个无偏估计；即是

i为波长编号，N个波长 。

3.如权利要求1所述的滤波方法，其特征是上述SURE值调整参数的方法：

其计算公式中的div_y{f_λ(y)}可采用Monte-Carlo算法，在输入y上加入一扰动b′(高斯白噪声，均值为0，方差为ε²)。

z＝y+b′

然后计算出新的输出f_λ(y)，通过下面公式可以求解：

4.根据权利要求1所述的方法,其特征在于所述的SURE调整滤波器的参数，是指对Savitzky-Golay滤波器的阶次和窗宽进行调整，以使SURE处于不大于最小值10％以内的范围。