CN105203495B - 一种基于希尔伯特-黄变换的光谱信号去噪方法 - Google Patents

一种基于希尔伯特-黄变换的光谱信号去噪方法 Download PDF

Info

Publication number
CN105203495B
CN105203495B CN201510581660.8A CN201510581660A CN105203495B CN 105203495 B CN105203495 B CN 105203495B CN 201510581660 A CN201510581660 A CN 201510581660A CN 105203495 B CN105203495 B CN 105203495B
Authority
CN
China
Prior art keywords
signal
denoising
imf
hilbert
instantaneous frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510581660.8A
Other languages
English (en)
Other versions
CN105203495A (zh
Inventor
卞希慧
李明
张彩霞
魏俊富
李淑娟
赵俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Anhao Zhongtai Technology Co.,Ltd.
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201510581660.8A priority Critical patent/CN105203495B/zh
Publication of CN105203495A publication Critical patent/CN105203495A/zh
Application granted granted Critical
Publication of CN105203495B publication Critical patent/CN105203495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及一种基于希尔伯特‑黄变换的光谱信号去噪方法,主要步骤为:将原始光谱信号通过经验模态分解分解得到一系列的本征模态函数(IMF)分量;对每个IMF分量进行希尔伯特变换,得到每个IMF对应的瞬时频率;计算瞬时频率的平均值,采用t检验确定信号区和噪声区的分界点为k;最后将k之后的IMF进行加和重构,得到去噪后的光谱信号。本发明提出的方法不需要设置参数,能够完全自适应地对信号进行去噪,而且对非线性、非平稳的光谱信号去噪效果良好。本发明适用于石油、烟草、中药、食品等复杂物质光谱信号的去噪。

Description

一种基于希尔伯特-黄变换的光谱信号去噪方法
技术领域
本方法发明属于分析化学信号处理领域,具体涉及一种基于希尔伯特-黄变换的光谱信号去噪方法。
背景技术
光谱分析技术因其具有快速、无损、低成本、安全可靠等优势而广泛应用于中药、食品、环境等领域。但由于受温度、湿度、电噪声等外界环境的影响,光谱仪器所采集的数据除了有用信号外,不可避免得会得到许多无关的噪声信号。在光谱分析中,这些不相关的噪声假如不被消除,将会影响甚至掩盖真实信号,从而影响校正模型的质量以及预测未知样品的准确性。所以在进行信号分析之前,消除光谱数据中的无关噪声对改善分析信号的性能具有重要意义。
传统的光谱信号去噪方法有平滑、傅里叶变换和小波变换等。平滑的方法可有效地平滑高频噪声,提高信噪比,但是它对有效信号也进行了平滑,容易造成信号失真,降低光谱分辨率。倘若待分析信号稳定而又与噪声频谱特征有着明显区别时,依据傅立叶变换的去噪途径效果相对较好。只是实际光谱信号往往都是非平稳信号,从而导致傅立叶变换只可获得全部信号频谱,不易得到信号局部特征。小波变换由于具有多分辨特征,对非平稳信号具有很好的去噪效果。但光谱信号不可避免地会受到光散射等影响而存在一定的非线性,对非线性非平稳信号的去噪,小波变换还是无能为力。另外小波分解算法需要设定小波基、分解层数和阈值等参数,参数的选择直接影响去噪效果,对于不同的数据,都要重新选择与之适用的最佳小波参数,这使得小波分析的去噪缺少了自适应性。
希尔伯特-黄变换(Hilbert-Huang Transform,HHT)是Huang等(N.E.Huang,Z.Shen,S.R.Long,M.C.Wu,H.H.Shih,Q.Zheng,The empirical mode decomposition andthe Hilbert spectrum for nonlinear and non-stationary time series analysis,P.Roy.Soc.A-Math.Phy.,Series A,1998,454:903-995)于1998年提出的一种自适应地处理非平稳信号的全新方法。该方法不需要设定任何参数,只需根据信号自身的特点,首先将信号经验模态分解(Empirical Mode Decomposition,EMD),.得到多个本征模态函数(Intrinsic Mode Function,IMF)分量,再对这些分量进行希尔伯特(Hilbert)变换,从而完成在时频域内对信号的局部特征描述,因此非常适合非线性非平稳的光谱信息的去噪分析。已有研究将HHT用于风廓线雷达信息的去噪(张银胜,单慧琳,李家强,周杰,董月霞,一种基于希尔伯特黄变换的风廓线雷达去噪方法,中国发明专利,2012,CN 201210239606),说明了HHT用于信号去噪的可行性。本研究提出一种新型的基于HHT的光谱信号去噪方法,并用于光谱信号去噪研究。
发明内容
本发明的目的为针对上述现有信号去噪技术的不足,提供一种基于希尔伯特-黄变换的光谱信号去噪方法,具体技术方案如下:
(1)对原始信号进行经验模态分解,得到n个IMF分量;
(2)对n个IMF分量分别进行希尔伯特变换,得到n个瞬时频率f分量;
(3)对每个瞬时频率f求平均,得到平均瞬时频率;
(4)利用相邻的平均瞬时频率依次进行t检验,找到第一个开始不具有显著性差异的点k,该点为信号区与噪声区的分界点;
(5)将IMFk……IMFn加和重构为去噪后信号。
附图说明
图1:燃油紫外光谱信号的去噪过程,其中(a)燃油原始光谱,(b)原始信号经验模态分解得到的IMF分量,(c)IMF分量经过希尔伯特变换得到的瞬时频率f分量,(d)平均瞬时频率曲线,(e)为用于重构信号的IMF分量,(f)去噪后的紫外光谱信号。
图2:牛奶近红外光谱信号的去噪过程,其中(a)牛奶原始光谱,(b)原始信号经验模态分解得到的IMF分量,(c)IMF分量经过希尔伯特变换得到的瞬时频率f,(d)平均瞬时频率曲线,(e)为用于重构信号的IMF分量,(f)去噪后的近红外光谱信号。
图3:橘汁近红外光谱信号的去噪过程,其中(a)橘汁原始光谱,(b)原始信号经验模态分解得到的IMF分量,(c)IMF分量经过希尔伯特变换得到的瞬时频率f,(d)平均瞬时频率曲线,(e)为用于重构信号的IMF分量,(f)去噪后的近红外光谱信号。
具体实施方式
为更好理解本发明,下面结合实施例对本发明做进一步地详细说明,但是本发明要求保护的范围并不局限于实施例表示的范围。
实施例1:
本实施例对燃油紫外光谱信号进行去噪,该数据由Wentzell等人提供,下载网址:http://myweb.dal.ca/pdwentze/downloads.html。紫外光谱采用Cary 3 UV-visible分光光度计(Varian Instruments,San Fernando,Calif.)测定,波长范围为200-400nm,采样间隔约为0.35nm,共572个波长点,原始光谱如图1(a)所示,从图中可以看出,该信号具有明显的噪声信息。
(1)对原始信号进行经验模态分解,得到7个IMF分量,如图1(b)所示;
(2)对7个IMF分量分别进行希尔伯特变换,得到7个瞬时频率f分量,如图1(c)所示;
(3)对每个瞬时频率f求平均,得到平均瞬时频率,7个平均瞬时频率值如图1(d)所示;
(4)利用相邻的平均瞬时频率依次进行t检验,找到第一个开始不具有显著性差异的点k,该实施例中信号区和噪声区的分界点k为4;
(5)将IMF4……IMF7(如图1(e)所示)加和重构为去噪后信号,如图1(f)所示。
比较原始紫外光谱信号与去噪重构信号后的光谱信号,可以看出去噪效果比较明显,处理后信号光滑,有效信息被保留,信噪比较高。
实施例2:
本实施例对牛奶的近红外光谱信号进行去噪,样品为天津海河牌纯牛奶,近红外光谱采用便携式激光近红外光谱仪(XL-410,美国Axsun科技公司)测定,波长范围1350-1800nm,采样间隔0.5nm,变量数为901,原始光谱如图2(a)所示。
(1)对原始信号进行经验模态分解(EMD),得到7个IMF分量,如图2(b)所示;
(2)对7个IMF分量分别进行希尔伯特(Hilbert)变换,得到7个瞬时频率f分量,如图2(c)所示;
(3)对每个瞬时频率f求平均,得到平均瞬时频率,7个平均瞬时频率值如图2(d)所示;
(4)利用相邻的平均瞬时频率依次进行t检验,找到第一个开始不具有显著性差异的点k,该实施例中信号区和噪声区的分界点k为4;
(5)将IMF4……IMF7(如图2(e)所示)加和重构为去噪后信号,如图2(f)所示。
实施例3:
本例实施对橘汁近红外光谱信号进行去噪,该数据由Marc Meurens提供,下载网址:http://www.ucl.ac.be/mlg。近红外反射光谱的波长范围为1000-2498nm,采样间隔2nm,包括700个波长点,原始光谱图如图3(a)所示。
(1)将原始信号进行经验模态分解,得到5个IMF分量,如图3(b)所示;
(2)对5个IMF分量分别进行希尔伯特变换,得到5个瞬时频率f分量,如图3(c)所示;
(3)对每个瞬时频率f求平均,得到平均瞬时频率,5个平均瞬时频率值如图3(d)所示;
(4)利用相邻的平均瞬时频率依次进行t检验,找到第一个开始不具有显著性差异的点k,该实施例中信号区和噪声区的分界点k为2;
(5)将IMF2……IMF5(如图3(e)所示)加和重构为去噪后信号,如图3(f)所示。

Claims (3)

1.一种基于希尔伯特-黄变换的光谱信号去噪方法,其特征在于包含以下步骤:
(1)对原始信号进行经验模态分解,得到一系列IMF分量;
(2)对每个IMF分量分别进行希尔伯特变换,得到瞬时频率f分量;
(3)对每个瞬时频率f求平均,得到平均瞬时频率;
(4)利用相邻的平均瞬时频率依次进行t检验确定信号区和噪声区的分界点k;
(5)将IMFk......IMFn加和重构为去噪后信号。
2.根据权利要求1所述的一种基于希尔伯特-黄变换的光谱信号去噪方法,其特征在于:所述信号区和噪声区的分界点k确定方法为:利用相邻的平均瞬时频率依次进行t检验,找到第一个开始不具有显著性差异的点k,该点为信号区与噪声区的分界点。
3.根据权利要求1所述的一种基于希尔伯特-黄变换的光谱信号去噪方法,其特征在于:所述的光谱信号去噪方法,适用于紫外、荧光、红外、近红外光谱和拉曼光谱。
CN201510581660.8A 2015-09-11 2015-09-11 一种基于希尔伯特-黄变换的光谱信号去噪方法 Active CN105203495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510581660.8A CN105203495B (zh) 2015-09-11 2015-09-11 一种基于希尔伯特-黄变换的光谱信号去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510581660.8A CN105203495B (zh) 2015-09-11 2015-09-11 一种基于希尔伯特-黄变换的光谱信号去噪方法

Publications (2)

Publication Number Publication Date
CN105203495A CN105203495A (zh) 2015-12-30
CN105203495B true CN105203495B (zh) 2018-05-29

Family

ID=54951290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510581660.8A Active CN105203495B (zh) 2015-09-11 2015-09-11 一种基于希尔伯特-黄变换的光谱信号去噪方法

Country Status (1)

Country Link
CN (1) CN105203495B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007916B (zh) * 2017-03-16 2020-08-04 黑龙江八一农垦大学 希尔伯特黄法建立稻株氮含量的共聚焦显微拉曼测量模型
CN107368804B (zh) * 2017-07-17 2020-08-07 河南工业大学 一种小麦自发生物光子辐射信号的分析方法及装置
CN107632326B (zh) * 2017-08-10 2019-09-10 武汉市工程科学技术研究院 地球物理信号去噪方法
CN109029739A (zh) * 2018-03-26 2018-12-18 天津工业大学 一种基于希尔伯特变换的光纤干涉条纹图像相位提取方法
CN111189817B (zh) * 2020-01-09 2021-09-03 中国原子能科学研究院 激光诱导击穿光谱真假信号分辨数据分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101972148A (zh) * 2010-11-19 2011-02-16 哈尔滨工业大学 基于经验模态分解的近红外脑功能检测的扰动消除方法
CN102819750A (zh) * 2012-08-02 2012-12-12 哈尔滨航控博创科技有限公司 基于快速集合经验模态分解的高光谱图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956761B2 (en) * 2007-05-29 2011-06-07 The Aerospace Corporation Infrared gas detection and spectral analysis method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101972148A (zh) * 2010-11-19 2011-02-16 哈尔滨工业大学 基于经验模态分解的近红外脑功能检测的扰动消除方法
CN102819750A (zh) * 2012-08-02 2012-12-12 哈尔滨航控博创科技有限公司 基于快速集合经验模态分解的高光谱图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Application of the Empirical Mode Decomposition to the Analysis of Esophageal Manometric Data in Gastroesophageal Reflux Disease;Hualou Liang et al.;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20051031;第52卷(第10期);第II节C部分 *
ECG Denoising Based on the Empirical Mode Decomposition;Binwei Weng et al.;《Proceedings of the 28th IEEE EMBS Annual International Conference》;20060903;第III节C部分 *
NIRS中联用 EEMD与SPA 建立变压器油中微水的 LS-SVM 回归模型;苏迪 等;《分析试验室》;20130831;第32卷(第8期);第1节及第2.1-2.2小节 *
基于EMD的拉曼光谱去噪方法研究;李卿 等;《光谱学与光谱分析》;20090131;第29卷(第1期);第1-3节 *

Also Published As

Publication number Publication date
CN105203495A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
CN105203495B (zh) 一种基于希尔伯特-黄变换的光谱信号去噪方法
Li et al. Determination of hemicellulose, cellulose and lignin in moso bamboo by near infrared spectroscopy
Sheng et al. Model development for soluble solids and lycopene contents of cherry tomato at different temperatures using near-infrared spectroscopy
Carlomagno et al. Non-destructive grading of peaches by near-infrared spectrometry
Ye et al. Non-destructive prediction of protein content in wheat using NIRS
Li et al. A simple and nondestructive approach for the analysis of soluble solid content in citrus by using portable visible to near‐infrared spectroscopy
Li et al. Rapid detection of talcum powder in tea using FT-IR spectroscopy coupled with chemometrics
CN102636454A (zh) 近红外光谱快速测定食用油中低碳数脂肪酸含量的方法
Chen et al. Simultaneous measurement of total acid content and soluble salt‐free solids content in Chinese vinegar using near‐infrared spectroscopy
CN104749132A (zh) 一种测定面粉中偶氮甲酰胺的含量的方法
Zheng-Feng et al. Outlier detection for multivariate calibration in near infrared spectroscopic analysis by model diagnostics
ElMasry et al. Prediction of meat spectral patterns based on optical properties and concentrations of the major constituents
CN105628675B (zh) 一种功率敏感物质的拉曼荧光干扰的消除方法
RU2473917C2 (ru) Способ и устройство для измерения электромагнитной волны
Li et al. A novel method to determine total sugar of Goji berry using FT-NIR spectroscopy with effective wavelength selection
Fu et al. Application of wavelet transforms to improve prediction precision of near infrared spectra
Xia et al. Simultaneous, rapid and nondestructive determination of moisture, fat content and storage time in leisure dried tofu using LF-NMR
Jiang et al. Molecular spectroscopic wavelength selection using combined interval partial least squares and correlation coefficient optimization
Yang et al. Determination of 10-HDA in royal jelly by ATR-FTMIR and NIR spectral combining with data fusion strategy
Monakhova et al. Transfer of multivariate regression models between high‐resolution NMR instruments: application to authenticity control of sunflower lecithin
Kokalj et al. Commonly applied smoothing of IR spectra showed unappropriate for the identification of plant leaf samples
CN104792705A (zh) 用于光声光谱测量的激光功率波动监测和补偿装置及方法
Lemos et al. Leveraging multiple linear regression for wavelength selection
Ma et al. A TFA-CNN method for quantitative analysis in infrared spectroscopy
Ning et al. Study on apple damage detecting method based on relaxation single-wavelength laser and convolutional neural network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Bian Xihui

Inventor after: Li Ming

Inventor after: Zhang Caixia

Inventor after: Wei Junfu

Inventor after: Li Shujuan

Inventor after: Zhao Jun

Inventor before: Bian Xihui

Inventor before: Li Ming

Inventor before: Li Shujuan

Inventor before: Wei Junfu

Inventor before: Zhao Jun

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210827

Address after: 621000 floor 3, plant 102, Mianyang export processing zone, No. 261, east section of Feiyun Avenue, Mianyang high tech Zone, Mianyang City, Sichuan Province

Patentee after: Sichuan Anhao Zhongtai Technology Co.,Ltd.

Address before: No. 399 Bingshui Road, Xiqing District, Tianjin, Tianjin

Patentee before: TIANJIN POLYTECHNIC University

TR01 Transfer of patent right