CN110763913B - 一种基于信号分段分类的导数谱平滑处理方法 - Google Patents
一种基于信号分段分类的导数谱平滑处理方法 Download PDFInfo
- Publication number
- CN110763913B CN110763913B CN201910971794.9A CN201910971794A CN110763913B CN 110763913 B CN110763913 B CN 110763913B CN 201910971794 A CN201910971794 A CN 201910971794A CN 110763913 B CN110763913 B CN 110763913B
- Authority
- CN
- China
- Prior art keywords
- signal
- segment
- segments
- formula
- derivative spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R23/00—Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
- G01R23/16—Spectrum analysis; Fourier analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/148—Wavelet transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
Landscapes
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Complex Calculations (AREA)
Abstract
本发明提出一种基于信号分段分类的导数谱平滑处理方法,能够在去噪的同时,进一步保护峰的特征。本发明通过对含噪导数谱信号进行分段处理、分类匹配、硬阈值去噪、小波变换、维纳滤波得到得到最终去噪结果。在对导数谱信号处理前,增加了对信号分段分类匹配的步骤,利用信号的相似性,更有利于提高信噪比。该平滑方法对导数谱具有更好的保峰去噪效果;该方法应用简便,节约大量的计算过程,峰形保护效果更佳,具有更好的应用前景。
Description
技术领域:
本发明涉及一种导数谱平滑保峰的方法,尤其涉及一种基于信号分段分类匹配的保峰平滑处理方法。
背景技术:
导数法是信号分析应用中比较常用的一种方法,最初,导数谱被用于增强信号。随着研究的深入,导数法在谱峰识别、谱分辨率提高上得到了广泛的应用。近年来人们对于导数谱的研究越来越多,在生物、医学等分析应用中,导数谱具有对复杂样品检测组分可不经分离而直接测定的特点,可快速准确地对样品进行定性和定量分析。在化学样品分析中,峰位置是化合物的特征,峰移可以指示两种化合物的相互作用或吸收物的化学性质。然而导数谱对噪声及其敏感,带有噪声的谱数据根本无法使用。因此,对导数谱的保峰平滑处理的研究十分必要。
随着研究的深入,问题复杂度的加深,传统的导数谱平滑方法已不能满足高精度的要求。谱峰信号各段特征变化较大,采取统一的处理方法必定造成平坦区平滑而峰被严重削弱,若将峰特征保护得好,则平坦区会依然存有大量噪声。典型的滑动均值滤波法,虽然能在一定程度上能够去除噪声,但它容易破坏导数谱谱峰的特征;高斯滤波是对滑动均值滤波平滑窗口的改进方法,使用高斯函数作为平滑窗口,类似的,Kaiser提出了Kaiser滤波,使用Kaiser窗作为平滑窗口,这两种方法效率较高,然而其对峰的保护效果不强。频谱分析是信号平滑中的另一类方法,这类方法需要先将信号转换到频域,再对其作频谱分析。小波方法是目前最常用的频谱分析方法,该方法可以较好的保护信号特征,然而选择不同的小波基和尺度,信号处理的结果也会大相径庭。
在导数谱的平滑方法上,统一的处理方法都有一定的缺陷。因此,如何进一步提高平滑效果是导数谱去噪中的一个重要问题。
发明内容:
针对现有技术导数谱的平滑方法存在的不足,本发明提出一种基于信号分段分类的导数谱平滑处理方法,能够在去噪的同时,进一步保护峰的特征。
本发明的具体技术方案如下:
为实现本发明的目的,本发明所采用的具体技术方案如下:
一种基于信号分段分类的导数谱平滑处理方法,具体步骤如下:
(1)输入待处理的含噪导数谱信号s(x)=y(x)+n(x),x∈X,其中,x是信号s(x)中的一个数据点,y(x)表示干净的信号,n(x)表示噪声,X表示数据点x的集合;
(2)对上述含噪导数谱信号进行分段处理,分成若干长度相等的信号段;分段长度范围取5-15个数据点,分段间隔大于1个数据点且小于信号段的长度;
(3)对分段得到的若干个信号段进行分类匹配,各类中的信号段按照相似性的大小排列成了一个二维数组,提取每类中信号段对应的相似数据矩阵:
(4)通过变换系数的收缩对每类中信号段对应的相似数据矩阵进行硬阈值去噪,得到去噪后的相似数据矩阵系数:
利用该系数设计的维纳滤波器对导数谱信号进行滤波,得到最终去噪结果。
进一步地,步骤(3)的具体过程如下:
第一,随机选择其中一个信号段作为参考段,在一个大小固定为n,的搜索窗口内搜索与参考段相似的信号段,如果两段之间的欧式距离小于规定的参数Tmatch,则视为同一类;其中,n取大于信号段长度且小于200的整数;参数Tmatch范围为0.01~0.05之间;
第二,在剩下不相似的信号段中再随机选择一个信号段作为参考段,重复上述过程,直到所有信号段都参与分类过程;
其中,欧式距离如式(1)所示:
进一步地,步骤(3)第一步中,所述参数选取0.05。
进一步地,步骤(4)的具体体过程如下:
首先对所述相似数据矩阵进行二维离散余弦变换,然后对变换后相似数据矩阵的系数λ进行阈值收缩去噪,得到去噪后相似数据矩阵的系数γ(λ,λthr),公式如下:
式中,λthr为阈值参数,取值范围可在0.10到0.15之间。
与现有技术相比,本发明具有以下有益技术效果:
1、本发明方法通过对含噪导数谱信号进行分段处理、分类匹配、硬阈值去噪、小波变换、维纳滤波得到得到最终去噪结果。
2、本发明在对导数谱信号处理前,增加了对信号分段分类匹配的步骤,利用信号的相似性,更有利于提高信噪比。
3、本发明设计了一种新的平滑方法,该平滑方法对导数谱具有更好的保峰去噪效果;
4、本发明的方法应用简便,节约大量的计算过程,峰形保护效果更佳,具有更好的应用前景。
附图说明
图1为本发明的整体流程图(也作摘要附图);
图2为信号分段结果示意图;
图3为信号分类结果示意图;
图4为对含噪导数谱平滑的效果示意图;
图5为维纳滤波器的设计原理图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
实施例一:
如图1所示,本发明基于信号分段分类的导数谱平滑处理方法,具体步骤如下:
(1)输入待处理的含噪导数谱信号s(x)=y(x)+n(x),x∈X,其中,x是信号s(x)中的一个数据点,y(x)表示干净的信号,n(x)表示噪声,X表示数据点x的集合;
(2)对上述含噪导数谱信号进行分段处理,分成若干长度相等的信号段;分段长度范围取5-15个数据点,分段间隔大于1个数据点且小于信号段的长度,以保证每个点都进行了平滑;
(3)对分段得到的若干个信号段进行分类匹配,各类中的信号段按照相似性的大小排列成了一个二维数组,提取每类中信号段对应的相似数据矩阵:
随机选择其中一个信号段作为参考段,在一个大小固定为n的搜索窗口内搜索与参考段相似的信号段,如果两段之间的欧式距离小于规定的参数Tmatch,则视为同一类;其中,其中,n取大于信号段长度且小于200的整数;参数Tmatch范围为0.01~0.05之间,本发明选取的参数值是0.05;
在剩下不相似的信号段中再随机选择一个信号段作为参考段,重复上述过程,直到所有信号段都参与分类过程;
其中,欧式距离如式(1)所示:
(4)通过变换系数的收缩对每类中信号段对应的相似数据矩阵进行硬阈值去噪,得到去噪后的相似数据矩阵系数:
首先对所述相似数据矩阵进行二维离散余弦变换,然后对变换后相似数据矩阵的系数λ进行阈值收缩去噪,得到去噪后相似数据矩阵的系数γ(λ,λthr),公式如下:
式中,λthr为阈值参数,取值范围可在0.10到0.15之间;
(5)将上述去噪后的相似数据矩阵系数逆变换后返回到原来的位置,通过加权平均求和获得导数谱信号每个数据点的初步估计值:
(6)对上述得到导数谱信号的初步估计结果进行小波变换得到变换后的小波系数,该小波系数用于维纳滤波器系数Wwie的构成,如公式(3)所示。利用系数Wwie设计的维纳滤波器对导数谱信号进行滤波,得到最终去噪结果。
本发明维纳滤波器的设计原理如图5所示,其中,输入信号为导数谱信号,T1和T2分别表示使用两种不同小波基的小波变换操作,T1 -1和分别表示对应的逆小波变换操作。γ表示硬阈值滤波操作,Wwie表示维纳滤波操作,θ1表示纯净信号经过T1变换后的小波系数,η1表示噪声信号经过T1变换后的小波系数。表示经过γ处理后纯净信号估计值的小波系数,表示对经过T1 -1处理后得到的信号估计值,表示信号估计值经过T2变换后的小波系数,可以使用设计经验维纳滤波器。
应用实例一:
基于实施例一,本发明基于信号分段分类的导数谱平滑处理方法,将本发明使用的数据存入使用text文本中,该数据组成了有平坦区且含有多个峰的信号。在MATLAB软件中读取信号,得到其导数谱信号并作为输入信号。
(1)将本发明使用的数据存入使用text文本中,该数据组成了有平坦区且含有多个峰的信号。在MATLAB软件中读取信号,得到其导数谱信号并作为输入信号。
(2)由于信号具有相似性,因此对输入信号作分段处理。分段长度的大小决定信号的去噪结果,适宜的长度可以提高信号的信噪比。多次实验结果表明,长度为15个数据点,数据分段间隔为1的信号段最后具有最好的信噪比。得到分段结果,如附图2所示。
(3)得到分段结果后,进行分类处理。分类的目的是将所有相似的信号段放在一起,可很多大程度地提高信噪比。以距离作为衡量信号段之间相似的标准,本发明计算的是信号段间的欧式距离,欧式距离是一个通常采用的距离定义,它是在m维空间中两个点之间的真实距离,dist函数就是欧氏距离的加权函数。以距离作为分类标准,直观且易于理解,达到了分类的目标。分类结果如附图3所示(给出了部分几类分类结果,3类)。
(4)首先使用硬阈值去噪对各类新号段进行去噪,得到的初步估计结果用于设计维纳滤波器。再将导数谱信号通过维纳滤波器进行滤波,得到最终去噪结果。维纳滤波与硬阈值去噪在小波变换域能够找到相通的关系,因此使用维纳滤波方法更为便捷有效。
(5)最后我们给出本发明使用的数据的导数谱信号去噪结果图,如附图4所示,最上面部分是不含噪声的原信号,中间部分是最终得到的平滑的结果,最下面的信号是应用本发明提出的新方法处理后的结果。
Claims (2)
1.一种基于信号分段分类的导数谱平滑处理方法,其特征在于,具体步骤如下:
(1)输入待处理的含噪导数谱信号s(x)=y(x)+n(x),x∈X,其中,x是信号s(x)中的一个数据点,y(x)表示干净的信号,n(x)表示噪声,X表示数据点x的集合;
(2)对上述含噪导数谱信号进行分段处理,分成若干长度相等的信号段;分段长度范围取5-15个数据点,分段间隔大于1个数据点且小于信号段的长度;
(3)对分段得到的若干个信号段进行分类匹配,各类中的信号段按照相似性的大小排列成了一个二维数组,提取每类中信号段对应的相似数据矩阵,具体包括:
第一,随机选择其中一个信号段作为参考段,在一个大小固定为n的搜索窗口内搜索与参考段相似的信号段,如果两段之间的欧式距离小于规定的参数Tmatch,则视为同一类;其中,n取大于信号段长度且小于200的整数;所述参数Tmatch范围为0.01~0.05之间;
第二,在剩下不相似的信号段中再随机选择一个信号段作为参考段,重复上述过程,直到所有信号段都参与分类过程;
其中,欧式距离如式(1)所示:
(4)通过变换系数的收缩对每类中信号段对应的相似数据矩阵进行硬阈值去噪,得到去噪后的相似数据矩阵系数,具体过程如下:
首先对所述相似数据矩阵进行二维离散余弦变换,然后对变换后相似数据矩阵的系数λ进行阈值收缩去噪,得到去噪后相似数据矩阵的系数γ(λ,λthr),公式如下:
式中,λthr为阈值参数,取值范围可在0.10到0.15之间;
(5)对上述去噪后的相似数据矩阵系数进行二维离散余弦逆变换,得到去噪后的各类信号段对应的相似数据矩阵将每类相似数据矩阵中的信号段返回到原来的位置,通过加权平均求和获得到导数谱信号的初步估计值公式如下:
利用该维纳滤波器系数设计维纳滤波器,对导数谱信号进行滤波,得到最终去噪结果。
2.根据权利要求1所述基于信号分段分类的导数谱平滑处理方法,其特征在于,步骤(3)第一步中,所述参数Tmatch取0.05。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910971794.9A CN110763913B (zh) | 2019-10-14 | 2019-10-14 | 一种基于信号分段分类的导数谱平滑处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910971794.9A CN110763913B (zh) | 2019-10-14 | 2019-10-14 | 一种基于信号分段分类的导数谱平滑处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110763913A CN110763913A (zh) | 2020-02-07 |
CN110763913B true CN110763913B (zh) | 2022-02-01 |
Family
ID=69331911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910971794.9A Active CN110763913B (zh) | 2019-10-14 | 2019-10-14 | 一种基于信号分段分类的导数谱平滑处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110763913B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112052902B (zh) * | 2020-04-16 | 2023-05-23 | 北京信息科技大学 | 滚动轴承故障诊断方法、系统、计算机程序及存储介质 |
CN113040784B (zh) * | 2021-04-21 | 2022-07-05 | 福州大学 | 一种心电信号的肌电噪声滤波方法 |
CN112882115B (zh) * | 2021-04-30 | 2021-07-27 | 湖南师范大学 | 基于gwo优化小波阈值的大地电磁信号去噪方法及系统 |
CN114674352B (zh) * | 2022-03-31 | 2023-09-15 | 天津大学 | 基于瑞利散射光谱非相似性的分布式扰动传感和解调方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217398A (zh) * | 2013-02-22 | 2013-07-24 | 威海出入境检验检疫局检验检疫技术中心 | 傅立叶变换红外光谱技术对13种致病菌的分类鉴定 |
CN105067650A (zh) * | 2015-08-03 | 2015-11-18 | 东南大学 | 一种利用小波计算导数检测谱特征峰的方法 |
CN109271913A (zh) * | 2018-09-05 | 2019-01-25 | 南京信息工程大学 | 一种基于偏微分方程的maldi质谱峰检测方法 |
CN109522801A (zh) * | 2018-10-17 | 2019-03-26 | 中国船舶重工集团公司第七〇九研究所 | 飞行时间质谱仪的重叠峰分离方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2708585A1 (en) * | 2007-12-10 | 2009-06-18 | Novartis Ag | Analysis of mixtures including proteins |
-
2019
- 2019-10-14 CN CN201910971794.9A patent/CN110763913B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217398A (zh) * | 2013-02-22 | 2013-07-24 | 威海出入境检验检疫局检验检疫技术中心 | 傅立叶变换红外光谱技术对13种致病菌的分类鉴定 |
CN105067650A (zh) * | 2015-08-03 | 2015-11-18 | 东南大学 | 一种利用小波计算导数检测谱特征峰的方法 |
CN109271913A (zh) * | 2018-09-05 | 2019-01-25 | 南京信息工程大学 | 一种基于偏微分方程的maldi质谱峰检测方法 |
CN109522801A (zh) * | 2018-10-17 | 2019-03-26 | 中国船舶重工集团公司第七〇九研究所 | 飞行时间质谱仪的重叠峰分离方法及系统 |
Non-Patent Citations (2)
Title |
---|
A review of applying second-generation wavelets for noise removal from remote sensing data;Ladan Ebadi 等;《 Environ Earth Sci》;20130303;第2679-2690页 * |
基于广义Whittaker平滑器的拉曼光谱基线校正方法;杨桂燕 等;《中国激光》;20150930(第9期);第368-376页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110763913A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110763913B (zh) | 一种基于信号分段分类的导数谱平滑处理方法 | |
US7519488B2 (en) | Signal processing method and system for noise removal and signal extraction | |
CN110243806B (zh) | 拉曼光谱下基于相似度的混合物组分识别方法 | |
Liu et al. | Nonwhite noise reduction in hyperspectral images | |
Cai et al. | Enhanced chemical classification of Raman images using multiresolution wavelet transformation | |
WO2021232757A1 (zh) | 利用已知混合物拉曼光谱改善混合物成分识别精度的方法 | |
CN108444954B (zh) | 光谱信号峰值检测方法、装置以及系统 | |
CN110503060B (zh) | 一种光谱信号去噪方法及其系统 | |
CN116127288B (zh) | 基于独立成分分析的纳米孔传感信号噪声去除方法及装置 | |
CN104182946A (zh) | 基于指数软硬择中阈值函数的光谱去噪方法 | |
Satya et al. | Stripe noise removal from remote sensing images | |
Parthasarathy et al. | Robust periodicity detection algorithms | |
CN109271913A (zh) | 一种基于偏微分方程的maldi质谱峰检测方法 | |
CN114820351A (zh) | 高光谱噪声滤波方法、装置、设备和存储介质 | |
CN101799916A (zh) | 基于贝叶斯估计的生物芯片图像小波去噪方法 | |
KR101332717B1 (ko) | 초분광 영상 분석을 위한 적분이중분광 위상 기반 분광 차원수 축소 방법 | |
CN112730712A (zh) | 提高lc-ms数据信噪比的方法 | |
CN107727634B (zh) | 一种激光拉曼光谱解谱处理方法 | |
CN102880861A (zh) | 基于线性预测倒谱系数的高光谱图像分类方法 | |
Tripathi et al. | De-noising Raman spectra using total variation de-noising with iterative clipping algorithm | |
CN111814727B (zh) | 一种基于高光谱的潜在指纹检测方法 | |
Rezaei et al. | A new algorithm for lane detection and tracking on pulsed field gel electrophoresis images | |
CN102831587A (zh) | 一种基于独立成分分析的自然场景图像去噪方法 | |
Ma et al. | Random noise suppression algorithm for seismic signals based on principal component analysis | |
WO2024212357A1 (zh) | 一种光谱信息分离聚合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |