CN113505703A - 一种用于噪声分布不均匀的光谱信号去噪方法 - Google Patents

Abstract

本发明涉及一种用于噪声分布不均匀的光谱信号去噪方法，主要步骤为：根据原始光谱信号中噪声含量的高低对光谱信号x进行分段；将分段的信号分别进行左右扩展，得到分段扩展信号；采用局部均值分解对分段扩展信号分别分解，每个分段扩展信号都得到一定数目的PF分量和1个u_k分量；将不含噪的PF分量和u_k分量重构得到去噪后的分段扩展信号；截取每个去噪后的分段扩展信号的中间部分为去噪后的分段信号；将去噪后的分段信号按照原分段顺序连接为去噪后的光谱信号。本发明通过信号拓展的方法还能有效改善局部均值分解的端点效应，分段局部均值分解去噪能够有效的处理噪声分布不均匀的信号。本发明适用于紫外‑可见光谱、荧光光谱、红外光谱、近红外光谱和拉曼光谱信号的去噪。

Description

一种用于噪声分布不均匀的光谱信号去噪方法

技术领域

本方法发明属于分析化学信号处理领域，具体涉及一种用于噪声分布不均匀的光谱信号去噪方法。

背景技术

光谱仪器在测量的过程中会受到周围环境、样品背景及仪器本身误差的影响，其不仅可以采集到有用信号，还会采集与有用信号叠加在一起无法分辨的噪声信号，而噪声会影响光谱中的一些有用信息的提取，降低信号分辨率，掩盖有效信号，从而影响光谱分析的准确性。所以在光谱分析之前，最重要的是去除尽可能多的噪声，同时又不过分降低有用信号的质量。

目前有许多去噪方法被开发出来，而常用的去噪方法大致分为两种，一种是基于平滑的去噪方法，一种是基于分解的去噪方法。其中基于分解的去噪方法通常要优于基于平滑的去噪方法。傅里叶变换(Fourier transform，FT)、小波变换(wavelettransformation，WT)、经验模态分解(Empirical mode decomposition，EMD)是常用的基于分解的去噪法。但傅里叶变换只能处理线性平稳信号，小波变换只能处理线性非平稳信号，经验模态分解的方法虽然能很好地处理非线性非平稳信号(卞希慧，李明，李淑娟，魏俊富，赵俊，一种基于希尔伯特-黄变换的光谱信号去噪方法，中国发明专利，2019，ZL105203495A)，但存在模态混叠效应。局部均值分解(Local mean decomposition，LMD)可以自适应的将信号分解成若干个PF分量和一个u_k分量，其中PF是由包络信号和纯调频信号相乘得到的乘积函数，可直接提取瞬时幅值和瞬时频率(Smith，J S，The local meandecomposition and its application to EEG perception data，Journal of The RoyalSociety Interface，2005，2，443-454)。所以局部均值分解的方法能够很好的分离噪声。已有研究应用局部均值分解的方法进行信号去噪再将去噪后信号的应用于旋转机械的故障分析(林近山，窦春红，一种基于局部均值分解滤波的包络分析方法，中国发明专利，2016，CN106198010A)但是局部均值分解在进行信号去噪时存在端点效应(窦春红，一种旋转机械的ELMD和平滑迭代包络分析方法，中国发明专利，2016，CN106124200A)。

由于光谱仪器波长范围较宽，有时需要不同光源的转换，在不同波长范围内噪声的程度往往不同。传统的局部均值分解是在全波段范围内对光谱进行噪声处理，没有考虑到不同波长范围内噪声的特点和差异，不仅导致噪声无法完全去除，还会导致有用信号的失真。

发明内容

本发明的目的是针对上述存在问题，提供一种用于噪声分布不均匀的光谱信号去噪方法，该方法结合了分段、扩展和局部均值分解的优势，不仅克服了端点效应，而且可以有效去除噪声分布不均匀的光谱信号中的噪声。

为实现本发明所提供的技术方案包括以下步骤：

1)根据原始光谱信号中噪声含量的高低对光谱信号x进行分段；

2)将分段的信号分别进行左右扩展，得到分段扩展信号；

分段信号进行扩展的方法为：将1×m的分段信号[x₁，x₂，……x_m]翻转，得到[x_m，x_m-1，……，x₁]，将翻转后的信号连接在原分段信号的左边和右边，组成1×3m的扩展信号[x_m，x_m-1，……，x₁，x₁，x₂，……x_m，x_m，x_m-1，……，x₁]。

3)采用局部均值分解(LMD)对分段扩展信号分别分解，每个分段扩展信号都得到一定数目的PF分量和1个u_k分量；

局部均值分解通过以下步骤实现：

①找出信号中所有的极值点，计算连续的两个极值n_i和n_i+1的局部均值m_i和包络估计a_i，其中

②利用移动平均法对局部均值m_i和包络估计a_i进行平滑，形成平滑变化的连续局部均值函数m₁₁和连续包络估计函数a₁₁；

④从原始数据中m₁₁，得到信号h₁₁，即：h₁₁＝x-m₁₁；

⑤用h₁₁除以a₁₁得到解调信号s₁₁，即：

⑥求出解调信号s₁₁的包络估计函数a₁₂；并判断是否a₁₂≈1，如果不满足条件，则重复上述迭代过程n次，直至得到一个纯调频信号s_1n，它的包络估计a_1n+1≈1，即：

式中：

迭代终止条件是：a_1n≈1

⑦把上述迭代过程中产生的所有包络估计相乘得到包络信号a₁，即：

⑧将a₁与s_1n相乘得到第一个调幅-调频信号PF₁，即：

PF₁＝a₁×s_1n

⑨从原始数据中减去第一个PF分量PF₁得到一个新的信号u₁，即：

u₁＝x-PF₁

⑩判断u₁是否是一个单调函数，如果不满足条件则重复上述步骤k次，即：

原始信号被分解为k个PF分量和一个u_k函数，即：

4)将不含噪的PF分量和u_k分量重构得到去噪后的分段扩展信号；

5)截取每个去噪后的分段扩展信号的中间部分为去噪后的分段信号；

6)将去噪后的分段信号按照原分段顺序连接为去噪后的光谱信号。

本发明的优点是：该去噪方法根据噪声分布特点进行分段，减少噪声处理对蕴含重要信息波段范围内信息损耗的影响，从图6中可以看出整体去噪不仅不能完全去除噪声而且还会导致信号严重失真，而分段去噪可以有效去除噪声而且不会导致信号失真；对每段去噪前进行信号扩展，避免了端点效应；采用局部均值分解对信号进行分解，噪声得到了有效分离。

附图说明

图1是噪声分布不均匀的原始近红外光谱信号

图2是分段扩展的近红外光谱信号(a)12000-8914.4cm^-1波段(b)8916.3-7563.2cm^-1波段(c)7561.3-4000cm^-1波段

图3是12000-8914.4cm^-1波段的局部均值分解结果

图4是8916.3-7563.2cm^-1波段的局部均值分解结果

图5是7561.3-4000cm^-1波段的局部均值分解结果

图6是分段去噪与整体去噪后的光谱信号

具体实施方式

为更好理解本发明，下面结合实施例对本发明做进一步地详细说明，但是本发明要求保护的范围并不局限于实施例表示的范围。

实施例1：

本例实施对噪声分布不均匀的三七四元掺伪样品的红外光谱信号进行去噪。该信号是采用VERTEX70近红外光谱仪扫描的混有莪术、姜黄和高良姜的三七四元掺伪样品的近红外光谱。采样波数范围12000-4000cm^-1，采样点间隔为1.9cm^-1，包含4148个变量。

1)根据原始光谱信号中噪声含量的高低对光谱信号x进行分段。图1显示了三七四元掺伪样品的近红外光谱。可以看出，12000-8914.4cm^-1波段噪声较高，8912.5-7563.2cm^-1波段噪声较低，7561.3-4000cm^-1波段几乎观察不到噪声，因此原始光谱信号划分为12000-8914.4cm^-1、8912.5-7563.2cm^-1、7561.3-4000cm^-1共3个波段；

2)将分段的信号分别进行左右扩展，得到分段扩展信号；

分段信号进行扩展的方法为：将1×m的分段信号[x₁，x₂，……x_m]翻转，得到[x_m，x_m-1，……，x₁]，将翻转后的信号连接在原分段信号的左边和右边，组成1×3m的扩展信号[x_m，x_m-1，……，x₁，x₁，x₂，……x_m，x_m，x_m-1，……，x₁]。其中，1×1600的12000-8914.4cm^-1波段的扩展信号如图2(a)所示。1×700的8912.5-7563.2cm^-1波段的扩展信号如图2(b)所示。1×1848的7561.3-4000cm^-1波段的扩展信号如图2(c)所示。

3)采用局部均值分解(LMD)分别对12000-8914.4cm^-1、8912.5-7563.2cm^-1、7561.3-4000cm^-1波段的扩展信号进行分解。其中，12000-8914.4cm^-1波段的扩展信号分解得到5个PF分量和1个u₆分量，如图3所示；8912.5-7563.2cm^-1波段的扩展信号分解得到3个PF分量和1个u₄分量，如图4所示；7561.3-4000cm^-1波段的扩展信号分解得到3个PF分量和1个u₄分量，如图5所示。

局部均值分解通过以下步骤实现：

①找出信号中所有的极值点，计算连续的两个极值n_i和n_i+1的局部均值m_i和包络估计a_i，其中

②利用移动平均法对局部均值m_i和包络估计a_i进行平滑，形成平滑变化的连续局部均值函数m₁₁和连续包络估计函数a₁₁。

④从原始数据中m₁₁，得到信号h₁₁，即：h₁₁＝x-m₁₁；

⑤用h₁₁除以a₁₁得到解调信号s₁₁，即：

⑥求出解调信号s₁₁的包络估计函数a₁₂；并判断是否a₁₂≈1，如果不满足条件，则重复上述迭代过程n次，直至得到一个纯调频信号s_1n，它的包络估计a_1n+1≈1，即：

式中：

迭代终止条件是：a_1n≈1

⑦把上述迭代过程中产生的所有包络估计相乘得到包络信号，即：

⑧将a₁与s_1n相乘得到第一个调幅-调频信号PF₁，即：

PF₁＝a₁×s_1n

⑨从原始数据中减去第一个PF分量PF₁得到一个新的信号u₁，即：

u₁＝x-PF₁

⑩判断u₁是否是一个单调函数，如果不满足条件则重复上述步骤k次，即：

原始信号被分解为k个PF分量和一个u_k函数，即：

从图3-5每段扩展信号的局部均值分解结果中都可以看出，每个PF分量左翻转信号的左端，右翻转信号的右端都出现严重失真，而中间段并无影响，所以左右翻转形成扩展信号的方法可以有效改善局部均值分解的端点效应。

4)将不含噪的PF分量和u_k分量重构得到去噪后的分段扩展信号，对于12000-8914.4cm^-1波段，从图3中可以看出PF1分量和PF2分量为噪声分量，所以加和PF3分量、PF4分量和u₅分量作为该波段去噪后的扩展信号；对于8912.5-7563.2cm^-1波段，从图4中可以看出PF1分量为噪声分量，所以加和PF2分量、PF3分量和u₄分量作为该波段去噪后的扩展信号；对于7561.3-4000cm^-1波段，从图5中可以看出并无噪声分量，所以加和PF1分量、PF2分量、PF3分量和u₄分量作为该波段去噪后的扩展信号。

5)截取每个去噪后的分段扩展信号的中间部分为去噪后的分段信号；

6)将去噪后的分段信号按照原分段顺序连接为去噪后的光谱信号。图6显示了分段局部均值分解去噪后的信号。为了进行对比，原始信号和整体局部均值分解去噪的信号也显示在图6中，为了显示清楚，每个信号的纵坐标进行了整体上移。可以看出，分段局部均值分解去噪效果良好，而整体局部均值分解去噪导致7561.3-4000cm^-1波段信号严重失真。

Claims (4)

1.一种用于噪声分布不均匀的光谱信号去噪方法，其特征在于包含以下步骤：根据原始光谱信号中噪声含量的高低对光谱信号x进行分段；将分段的信号分别进行左右扩展，得到分段扩展信号；采用局部均值分解(LMD)对分段扩展信号分别分解，每个分段扩展信号都得到一定数目的PF分量和1个u_k分量；将不含噪的PF分量和u_k分量重构得到去噪后的分段扩展信号；截取每个去噪后的分段扩展信号的中间部分为去噪后的分段信号；将去噪后的分段信号按照原分段顺序连接为去噪后的光谱信号。

2.根据权利要求1所述的一种用于噪声分布不均匀的光谱信号去噪方法，其特征在于：分段信号进行扩展的方法为：将1×m的分段信号[x₁，x₂，……x_m]翻转，得到[x_m，x_m-1，……，x₁]，将翻转后的信号连接在原分段信号的左边和右边，组成1×3m的扩展信号[x_m，x_m-1，……，x₁，x₁，x₂，……x_m，x_m，x_m-1，……，x₁]。

3.根据要求1所述的一种用于噪声分布不均匀的光谱信号去噪方法，其特征在于：局部均值分解的步骤为：

①找出信号中所有的极值点，计算连续的两个极值n_i和n_i+1的局部均值m_i和包络估计a_i，其中

②利用移动平均法对局部均值m_i和包络估计a_i进行平滑，形成平滑变化的连续局部均值函数m₁₁和连续包络估计函数a₁₁；

④从原始数据中m₁₁，得到信号h₁₁，即：h₁₁＝x-m₁₁；

⑤用h₁₁除以a₁₁得到解调信号s₁₁，即：

⑥求出解调信号s₁₁的包络估计函数a₁₂；并判断是否a₁₂≈1，如果不满足条件，则重复上述迭代过程n次，直至得到一个纯调频信号s_1n，它的包络估计a_1n+1≈1，即：

式中：

迭代终止条件是：a_1n≈1

⑦把上述迭代过程中产生的所有包络估计相乘得到包络信号，即：

⑧将包络信号a₁与纯调频信号s_1n相乘得到第一个调幅-调频信号PF₁，即：

PF₁＝a₁×s_1n

⑨从原始数据中减去第一个PF分量PF₁得到一个新的信号u₁，即：

u₁＝x-PF₁

⑩判断u₁是否是一个单调函数，如果不满足条件则重复上述步骤k次，即：

原始信号被分解为k个PF分量和一个u_k函数，即：

4.根据要求1所述的一种用于噪声分布不均匀的光谱信号去噪方法，其特征在于：所述的光谱信号，包含紫外-可见光谱、荧光光谱、红外光谱、近红外光谱和拉曼光谱信号。

Images