CN110470396B - 光谱平滑降噪的处理方法 - Google Patents

Abstract

一种光谱平滑降噪的处理方法，涉及一种光谱降噪方法，包括以下步骤：S1.连续采集n次光谱；S2.将每次光谱序列值为一列，n次测量的光谱构成矩阵M；S3.将矩阵M重新构成一个一维数组V；S4.对数组V作平滑滤波，输出数组V _O ；S5.将数组V _O 重排为平滑降噪后的矩阵M _O 输出；S6.把矩阵M _O 的各列累加或者平均，累加值代表了n次连续采集的累积积分时间对应的光谱；平均值代表了n次连续采集的单位测量时间对应的光谱。本发明解决了降噪和保真的矛盾问题，其方法简便，成本比较低。

Description

光谱平滑降噪的处理方法

技术领域

本发明涉及一种光谱降噪的处理方法，特别是一种光谱平滑降噪的处理方法。

背景技术

检测信号永远受到噪声的干扰，因此降噪也是优化仪器性能的长久选题；尤其是对于拉曼光谱这样的弱响应，噪声直接关系到信号的检出与否。

需要指出的是各种降噪方式，从直观上看都是改善了输出信号的视觉效果，而从严格意义上可分成降低信号中随机干扰和低通平滑滤波等两类。对于降低信号中随机干扰这类方式，主要是通过改善检测器硬件随机干扰幅度、多次均值（或累积）降低随机干扰方差等，这类方法可以实际降低随机干扰的影响，但随着程度提高，会显著提升成本；而低通平滑滤波这类实际是采用不同设计的带通滤波器，如移动平均滤波、高斯滤波等等，在光谱信号处理的应用中，Savitzky和Golay提出的多项式最小二乘平滑滤波颇受关注。

带通滤波实质是滤除光谱中一定频率的信号，达到平滑和提高有效信号占比的目的，但是光谱信号尤其是拉曼、中红外等分辨率高的谱线，不满足理想带限假设，滤波方法伴随平滑效果而来的就是谱线失真，降噪和保真的矛盾也是这类研究的持续话题。低通或者带通平滑滤波，其原理是限制高频信号通过，实现输出信号平滑。输出信号失真的关键在于光谱达到一定分辨率后，反映细节的信号也处于高频率范围，以频率带限作为限制指标，在原理上，必然产生失真。

信号中的高频部分，既是信号的细节，也是噪声在感官上最显著的部分，既要降噪显著又要保证信号真实，这是一个矛盾。各种滤波方法中，Savitzky-Golay从理论上的最小二乘解得到，尽管近年来提出了频率自适应等改进，但是面对分辨率较高的光谱如拉曼光谱中光谱细节与噪声高频存在重合的信号，还是不得不作矛盾取舍。因此更准确、简单、高效的平滑滤波方法一直为人期待。

发明内容

本发明要解决的技术问题是：提供一种光谱平滑降噪的处理方法，以解决现有技术存在的显著提升成本、降噪和保真需作矛盾取舍的不足之处。

本发明的技术方案是：一种光谱平滑降噪的处理方法，该方法包括以下步骤：

S1. 连续采集n次光谱；

S2. 将每次光谱序列值为一列，n次测量的光谱构成矩阵M；

S3. 将矩阵M重新构成一个一维数组V；

S4. 对数组V作平滑滤波，输出数组V _O ；

S5. 将数组V _O 重排为平滑降噪后的矩阵M _O 输出；

S6. 把矩阵M _O 的各列累加或者平均，累加值代表了n次连续采集的累积积分时间对应的降噪后光谱；平均值代表了n次连续采集的单位测量时间对应的降噪后光谱。

本发明的进一步技术方案是：所述的步骤S1包括的具体过程为：

按照光谱信噪比和分辨率的实际情况，连续采集n次光谱，n大于10次。

本发明的进一步技术方案是：所述的步骤S2包括的具体过程为：

将每次光谱序列值为一列，n次测量的光谱构成矩阵M={m_ij}，矩阵M的元素m_ij代表第i个波长下第j次测量的读数。

本发明的进一步技术方案是：所述的步骤S3包括的具体过程为：

将矩阵M重排为序列V={V₁₁，V₁₂，……，V_1j，……，V_i1，V_i2，……，V_ij，……}，即将矩阵M中各行首尾相接，重新构成一个一维数组V。

本发明的进一步技术方案是所述的步骤S4包括的具体过程为：

选用合适的滤波器，设定带限参数，对数组V作平滑滤波，输出数组V _O 。

本发明的进一步技术方案是：所述的步骤S5包括的具体过程为：

将数组V _O 按照矩阵M的ij排列，重排为平滑降噪后的矩阵M _O 并输出，矩阵M _O 的每一列也对应了各次测量的光谱。

由于采用上述技术方案，本发明之光谱平滑降噪的处理方法与现有技术相比，具有以下有益效果：

1.可解决降噪和保真的矛盾问题

由于光谱信号和噪声的本质差别在于确定性，真实光谱信号是确定的，而噪声不确定，如果利用确定性来降低光谱信号频率，那么就能将噪声高频与光谱细节频带区别开，降低信号输出失真。图1是叠加了噪声的高斯峰对比示意图，当峰宽接近最小采样间隔时，真值的峰宽与噪声起伏峰宽无法区别，噪声势必会对平滑造成较大影响。如果相同的高斯峰多次重复获取，重排构成新的序列，那么构成的序列是确定，而噪声不确定，重新绘制新的序列于图2，噪声由于随机，其频率不会因为重排而降低，真值是确定的，重排后频率随着重复次数降低，因此，真值信号的频率已经与噪声有了显著差异。通过确定信号重复获取重排后频率降低的性质，可以用来扩大其与噪声的差异，降低滤波失真。本发明正是利用了这一发明原理，通过将n次测量的光谱构成矩阵M，并将矩阵M重新构成一个一维数组V；对数组V作平滑滤波，输出数组V _O ；再将数组V _O 重排为平滑降噪后的矩阵M _O 输出，把矩阵M _O 的各列累加或者平均，累加值代表了n次连续采集的累积积分时间对应的降噪后光谱；平均值代表了n次连续采集的单位测量时间对应的降噪后光谱。因此，本发明可解决降噪和保真的矛盾问题。

2.方法简便，成本低

本发明无需增加硬件成本，同时计算量小，可以降低软件运算时间和成本。

下面，结合附图和实施例对本发明之光谱平滑降噪的处理方法的技术特征作进一步的说明。

附图说明

图1：本发明原理中叠加噪声前后的高斯峰对比示意图，

图2：本发明原理中多次相同的高斯峰重排构成新的序列效果图，

图3：实施例一所述模拟叠加强度4%的噪声前后高斯峰效果图，

图4：实施例一所述50组叠加随机噪声信号矩阵重排效果图，

图5：实施例一所述数组V作平滑滤波后得到的数组V _O 效果图，

图6：实施例一所述平滑降噪后的信号效果图，

图7：图6中最窄峰的局部放大图，

图8：20次1秒采集光谱的平均值、S-G对单根1秒光谱及本发明方法处理结果比较效果图，

图9：图8 的局部放大图。

在上述附图中，各标号说明如下：

S_g-本发明原理中叠加噪声前后的高斯峰，S_z-本发明原理中叠加的噪声，

S_g1-实施例一中叠加强度4%的噪声前后的高斯峰，S_z1- 4%强度的噪声，

S₁-实施例一中本发明最终输出平滑降噪后的信号，

S₀-实施例一中实际真值信号，

S_S-G1-实施例一中采用最小失真Savitzky-Golay滤波处理后平均的结果,

S₂-实施例二中本发明最终输出平滑降噪后的累积值，

S_S-G2-实施例二中采用S-G对单根1秒光谱的处理结果，

S_J-实施例二中20次1秒采集光谱的平均值。

具体实施方式

一种光谱平滑降噪的处理方法，该方法包括以下步骤：

S1. 连续采集n次光谱：

按照光谱信噪比和分辨率的实际情况，连续采集n次光谱，一般情况下，n大于10次；

S2. 将每次光谱序列值为一列，n次测量的光谱构成矩阵M：

将每次光谱序列值为一列，n次测量的光谱构成矩阵M={m_ij}，矩阵M的元素m_ij代表第i个波长下第j次测量的读数；

S3. 将矩阵M重新构成一个一维数组V：

将矩阵M重排为序列V={V₁₁，V₁₂，……，V_1j，……，V_i1，V_i2，……，V_ij，……}，即将矩阵M中各行首尾相接，重新构成一个一维数组V；

S4. 对数组V作平滑滤波，输出数组V _O ：

选用合适的滤波器，设定带限参数，对数组V作平滑滤波，输出数组V _O ；例如选择移动平均平滑，窗口宽度一般可在0.5n～2n范围内选取；

S5. 将数组V _O 重排为平滑降噪后的矩阵M _O 输出：

将数组V _O 按照矩阵M的ij排列，重排为平滑降噪后的矩阵M _O 并输出，矩阵M _O 的每一列也对应了各次测量的光谱；

S6. 把矩阵M _O 的各列累加或者平均，累加值代表了n次连续采集的累积积分时间对应的光谱；平均值代表了n次连续采集的单位测量时间对应的光谱。

以下是本发明的具体实施案例：

实施例一:

本实施例一是选用模拟不同峰宽的高斯峰添加噪声后，展示本发明方法的实施过程，同时比对Savitzky-Golay滤波的效果。

图3是模拟的一组不同峰宽的高斯峰，叠加强度4%的噪声前后的信号。

本发明方法的具体步骤如下：

S1. 连续采集n次光谱：

连续采集n=50次随机噪声的光谱；

S2. 将每次光谱序列值为一列，n次测量的光谱构成矩阵M：

将每次光谱序列值为一列，n=50次测量的光谱构成矩阵M={m_ij}，矩阵M的元素m_ij代表第i个波长下第j次测量的读数；

S3. 将矩阵M重新构成一个一维数组V：

将矩阵M重排为序列V={V₁₁，V₁₂，……，V_1j，……，V_i1，V_i2，……，V_ij，……}，即将矩阵M中各行首尾相接，重新构成一个一维数组V；图4是数组V的信号情况，可以看出数组V信号中小峰宽真值和噪声高频出现显著差异。

S4. 对数组V作平滑滤波，输出数组V _O ：

采用移动平均滤波，选择窗口宽度为80，对数组V作平滑滤波，得到数组V _O，图5是平滑滤波后得到的数组V _O ；

S5. 将数组V _O 重排为平滑降噪后的矩阵M _O 输出：

将数组V _O 按照矩阵M的ij排列，重排为平滑降噪后的矩阵M _O 并输出，矩阵M _O 的每一列也对应了各次测量的光谱；

S6. 把矩阵M _O 的各列平均，平均值代表了n次连续采集的单位测量时间对应的光谱，输出平滑降噪后的信号S₁，见图6。

为了清晰表达本发明的效果，图7是最窄峰的局部放大图，该图7中可见本发明输出平滑降噪后的信号S₁与实际真值信号S₀几乎重合，而每组信号采用最小失真Savitzky-Golay滤波（2阶，窗口尺寸5）处理后平均的结果S_S-G1，见图7中虚线，出现了较明显失真，峰宽增加，幅度下降。

实施例二：

选用对乙酰氨基酚的拉曼谱图采用本发明方法进行平滑处理。

本发明方法的具体步骤如下：

S1. 连续采集n次光谱：

将积分时间1秒的测量，分解成20次50ms测量，即在积分时间50ms下，连续采集20次对乙酰氨基酚的拉曼光谱，获取到20组光谱；

S2. 将每次光谱序列值为一列，n次测量的光谱构成矩阵M：

将每次光谱序列值为一列，20次测量的光谱构成矩阵M={m_ij}，矩阵M的元素m_ij代表第i个波长下第j次测量的读数；

S3. 将矩阵M重新构成一个一维数组V：

将矩阵M重排为序列V={V₁₁，V₁₂，……，V_1j，……，V_i1，V_i2，……，V_ij，……}，即将矩阵M中各行首尾相接，重新构成一个一维数组V；

S4. 对数组V作平滑滤波，输出数组V _O ：

采用移动平均滤波，选择窗口宽度为50，对数组V作平滑滤波，输出数组V _O ；

S5. 将数组V _O 重排为平滑降噪后的矩阵M _O 输出：

将数组V _O 按照矩阵M的ij排列，重排为平滑降噪后的矩阵M _O 并输出，同样的，矩阵M _O 的每一列也对应了各次测量的光谱；

S6. 把矩阵M _O 的各列累加，累加值代表了n次连续采集的累积积分时间对应的光谱，即对20次50ms光谱降噪平滑后的累积值。

采用本发明所述步骤，本发明处理结果与20次原始数据平均和S-G平滑效果进行比对，结果见图8。

图8中3根谱线，分别是20次1秒采集光谱的平均值S_J、S-G对单根1秒光谱的处理结果S_S-G2、本发明对20次50ms光谱降噪平滑后的累积值S₂。对图8进行局部放大如图9，可以看出本发明对细节的保留效果很好，因为20次1秒平均值没有带宽滤波失真，因此，与之相比本发明得到的谱线失真小于S-G平滑；而从在图8的整体上也能看出，本发明的平滑降噪得到了很好的效果，与20次1秒平均值相比，光谱更为平滑。

Claims (4)

1.一种光谱平滑降噪的处理方法，其特征在于：该方法包括以下步骤：

S1. 连续采集n次光谱；

S2. 将每次光谱序列值为一列，n次测量的光谱构成矩阵M；

S3. 将矩阵M重新构成一个一维数组V：将矩阵M重排为序列V={V₁₁，V₁₂，……，V_1j，……，V_i1，V_i2，……，V_ij，……}，即将矩阵M中各行首尾相接，重新构成一个一维数组V；

S4. 对数组V作平滑滤波，输出数组V _O ；

S5. 将数组V _O 重排为平滑降噪后的矩阵M _O 输出：将数组V _O 按照矩阵M的ij排列，重排为平滑降噪后的矩阵M _O 并输出，矩阵M _O 的每一列也对应了各次测量的光谱；

S6. 把矩阵M _O 的各列累加或者平均，累加值代表了n次连续采集的累积积分时间对应的降噪后光谱；平均值代表了n次连续采集的单位测量时间对应的降噪后光谱。

2.根据权利要求1所述的光谱平滑降噪的处理方法，其特征在于：所述的步骤S1包括的具体过程为：

按照光谱信噪比和分辨率的实际情况，连续采集n次光谱，n大于10次。

3.根据权利要求1所述的光谱平滑降噪的处理方法，其特征在于：所述的步骤S2包括的具体过程为：

将每次光谱序列值为一列，n次测量的光谱构成矩阵M={m_ij}，矩阵M的元素m_ij代表第i个波长下第j次测量的读数。

4.根据权利要求1所述的光谱平滑降噪的处理方法，其特征在于：所述的步骤S4包括的具体过程为：

选用合适的滤波器，设定带限参数，对数组V作平滑滤波，输出数组V _O 。

Images