CN105203495B - 一种基于希尔伯特-黄变换的光谱信号去噪方法 - Google Patents
一种基于希尔伯特-黄变换的光谱信号去噪方法 Download PDFInfo
- Publication number
- CN105203495B CN105203495B CN201510581660.8A CN201510581660A CN105203495B CN 105203495 B CN105203495 B CN 105203495B CN 201510581660 A CN201510581660 A CN 201510581660A CN 105203495 B CN105203495 B CN 105203495B
- Authority
- CN
- China
- Prior art keywords
- signal
- denoising
- imf
- hilbert
- instantaneous frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Complex Calculations (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种基于希尔伯特‑黄变换的光谱信号去噪方法，主要步骤为：将原始光谱信号通过经验模态分解分解得到一系列的本征模态函数(IMF)分量；对每个IMF分量进行希尔伯特变换，得到每个IMF对应的瞬时频率；计算瞬时频率的平均值，采用t检验确定信号区和噪声区的分界点为k；最后将k之后的IMF进行加和重构，得到去噪后的光谱信号。本发明提出的方法不需要设置参数，能够完全自适应地对信号进行去噪，而且对非线性、非平稳的光谱信号去噪效果良好。本发明适用于石油、烟草、中药、食品等复杂物质光谱信号的去噪。
Description
技术领域
本方法发明属于分析化学信号处理领域，具体涉及一种基于希尔伯特-黄变换的光谱信号去噪方法。
背景技术
光谱分析技术因其具有快速、无损、低成本、安全可靠等优势而广泛应用于中药、食品、环境等领域。但由于受温度、湿度、电噪声等外界环境的影响，光谱仪器所采集的数据除了有用信号外，不可避免得会得到许多无关的噪声信号。在光谱分析中，这些不相关的噪声假如不被消除，将会影响甚至掩盖真实信号，从而影响校正模型的质量以及预测未知样品的准确性。所以在进行信号分析之前，消除光谱数据中的无关噪声对改善分析信号的性能具有重要意义。
传统的光谱信号去噪方法有平滑、傅里叶变换和小波变换等。平滑的方法可有效地平滑高频噪声，提高信噪比，但是它对有效信号也进行了平滑，容易造成信号失真，降低光谱分辨率。倘若待分析信号稳定而又与噪声频谱特征有着明显区别时，依据傅立叶变换的去噪途径效果相对较好。只是实际光谱信号往往都是非平稳信号，从而导致傅立叶变换只可获得全部信号频谱，不易得到信号局部特征。小波变换由于具有多分辨特征，对非平稳信号具有很好的去噪效果。但光谱信号不可避免地会受到光散射等影响而存在一定的非线性，对非线性非平稳信号的去噪，小波变换还是无能为力。另外小波分解算法需要设定小波基、分解层数和阈值等参数，参数的选择直接影响去噪效果，对于不同的数据，都要重新选择与之适用的最佳小波参数，这使得小波分析的去噪缺少了自适应性。
希尔伯特-黄变换(Hilbert-Huang Transform，HHT)是Huang等(N.E.Huang，Z.Shen，S.R.Long，M.C.Wu，H.H.Shih，Q.Zheng，The empirical mode decomposition andthe Hilbert spectrum for nonlinear and non-stationary time series analysis，P.Roy.Soc.A-Math.Phy.，Series A，1998，454：903-995)于1998年提出的一种自适应地处理非平稳信号的全新方法。该方法不需要设定任何参数，只需根据信号自身的特点，首先将信号经验模态分解(Empirical Mode Decomposition，EMD)，.得到多个本征模态函数(Intrinsic Mode Function，IMF)分量，再对这些分量进行希尔伯特(Hilbert)变换，从而完成在时频域内对信号的局部特征描述，因此非常适合非线性非平稳的光谱信息的去噪分析。已有研究将HHT用于风廓线雷达信息的去噪(张银胜，单慧琳，李家强，周杰，董月霞，一种基于希尔伯特黄变换的风廓线雷达去噪方法，中国发明专利，2012，CN 201210239606)，说明了HHT用于信号去噪的可行性。本研究提出一种新型的基于HHT的光谱信号去噪方法，并用于光谱信号去噪研究。
发明内容
本发明的目的为针对上述现有信号去噪技术的不足，提供一种基于希尔伯特-黄变换的光谱信号去噪方法，具体技术方案如下：
(1)对原始信号进行经验模态分解，得到n个IMF分量；
(2)对n个IMF分量分别进行希尔伯特变换，得到n个瞬时频率f分量；
(3)对每个瞬时频率f求平均，得到平均瞬时频率；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该点为信号区与噪声区的分界点；
(5)将IMFk……IMFn加和重构为去噪后信号。
附图说明
图1：燃油紫外光谱信号的去噪过程，其中(a)燃油原始光谱，(b)原始信号经验模态分解得到的IMF分量，(c)IMF分量经过希尔伯特变换得到的瞬时频率f分量，(d)平均瞬时频率曲线，(e)为用于重构信号的IMF分量，(f)去噪后的紫外光谱信号。
图2：牛奶近红外光谱信号的去噪过程，其中(a)牛奶原始光谱，(b)原始信号经验模态分解得到的IMF分量，(c)IMF分量经过希尔伯特变换得到的瞬时频率f，(d)平均瞬时频率曲线，(e)为用于重构信号的IMF分量，(f)去噪后的近红外光谱信号。
图3：橘汁近红外光谱信号的去噪过程，其中(a)橘汁原始光谱，(b)原始信号经验模态分解得到的IMF分量，(c)IMF分量经过希尔伯特变换得到的瞬时频率f，(d)平均瞬时频率曲线，(e)为用于重构信号的IMF分量，(f)去噪后的近红外光谱信号。
具体实施方式
为更好理解本发明，下面结合实施例对本发明做进一步地详细说明，但是本发明要求保护的范围并不局限于实施例表示的范围。
实施例1：
本实施例对燃油紫外光谱信号进行去噪，该数据由Wentzell等人提供，下载网址：http：//myweb.dal.ca/pdwentze/downloads.html。紫外光谱采用Cary 3 UV-visible分光光度计(Varian Instruments，San Fernando，Calif.)测定，波长范围为200-400nm，采样间隔约为0.35nm，共572个波长点，原始光谱如图1(a)所示，从图中可以看出，该信号具有明显的噪声信息。
(1)对原始信号进行经验模态分解，得到7个IMF分量，如图1(b)所示；
(2)对7个IMF分量分别进行希尔伯特变换，得到7个瞬时频率f分量，如图1(c)所示；
(3)对每个瞬时频率f求平均，得到平均瞬时频率，7个平均瞬时频率值如图1(d)所示；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该实施例中信号区和噪声区的分界点k为4；
(5)将IMF4……IMF7(如图1(e)所示)加和重构为去噪后信号，如图1(f)所示。
比较原始紫外光谱信号与去噪重构信号后的光谱信号，可以看出去噪效果比较明显，处理后信号光滑，有效信息被保留，信噪比较高。
实施例2：
本实施例对牛奶的近红外光谱信号进行去噪，样品为天津海河牌纯牛奶，近红外光谱采用便携式激光近红外光谱仪(XL-410，美国Axsun科技公司)测定，波长范围1350-1800nm，采样间隔0.5nm，变量数为901，原始光谱如图2(a)所示。
(1)对原始信号进行经验模态分解(EMD)，得到7个IMF分量，如图2(b)所示；
(2)对7个IMF分量分别进行希尔伯特(Hilbert)变换，得到7个瞬时频率f分量，如图2(c)所示；
(3)对每个瞬时频率f求平均，得到平均瞬时频率，7个平均瞬时频率值如图2(d)所示；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该实施例中信号区和噪声区的分界点k为4；
(5)将IMF4……IMF7(如图2(e)所示)加和重构为去噪后信号，如图2(f)所示。
实施例3：
本例实施对橘汁近红外光谱信号进行去噪，该数据由Marc Meurens提供，下载网址：http：//www.ucl.ac.be/mlg。近红外反射光谱的波长范围为1000-2498nm，采样间隔2nm，包括700个波长点，原始光谱图如图3(a)所示。
(1)将原始信号进行经验模态分解，得到5个IMF分量，如图3(b)所示；
(2)对5个IMF分量分别进行希尔伯特变换，得到5个瞬时频率f分量，如图3(c)所示；
(3)对每个瞬时频率f求平均，得到平均瞬时频率，5个平均瞬时频率值如图3(d)所示；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该实施例中信号区和噪声区的分界点k为2；
(5)将IMF2……IMF5(如图3(e)所示)加和重构为去噪后信号，如图3(f)所示。
Claims (3)
1.一种基于希尔伯特-黄变换的光谱信号去噪方法，其特征在于包含以下步骤：
(1)对原始信号进行经验模态分解，得到一系列IMF分量；
(2)对每个IMF分量分别进行希尔伯特变换，得到瞬时频率f分量；
(3)对每个瞬时频率f求平均，得到平均瞬时频率；
(4)利用相邻的平均瞬时频率依次进行t检验确定信号区和噪声区的分界点k；
(5)将IMFk......IMFn加和重构为去噪后信号。
2.根据权利要求1所述的一种基于希尔伯特-黄变换的光谱信号去噪方法，其特征在于：所述信号区和噪声区的分界点k确定方法为：利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该点为信号区与噪声区的分界点。
3.根据权利要求1所述的一种基于希尔伯特-黄变换的光谱信号去噪方法，其特征在于：所述的光谱信号去噪方法，适用于紫外、荧光、红外、近红外光谱和拉曼光谱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510581660.8A CN105203495B (zh) | 2015-09-11 | 2015-09-11 | 一种基于希尔伯特-黄变换的光谱信号去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510581660.8A CN105203495B (zh) | 2015-09-11 | 2015-09-11 | 一种基于希尔伯特-黄变换的光谱信号去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105203495A CN105203495A (zh) | 2015-12-30 |
| CN105203495B true CN105203495B (zh) | 2018-05-29 |
Family
ID=54951290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510581660.8A Active CN105203495B (zh) | 2015-09-11 | 2015-09-11 | 一种基于希尔伯特-黄变换的光谱信号去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105203495B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108007916B (zh) * | 2017-03-16 | 2020-08-04 | 黑龙江八一农垦大学 | 希尔伯特黄法建立稻株氮含量的共聚焦显微拉曼测量模型 |
| CN107368804B (zh) * | 2017-07-17 | 2020-08-07 | 河南工业大学 | 一种小麦自发生物光子辐射信号的分析方法及装置 |
| CN107632326B (zh) * | 2017-08-10 | 2019-09-10 | 武汉市工程科学技术研究院 | 地球物理信号去噪方法 |
| CN109029739A (zh) * | 2018-03-26 | 2018-12-18 | 天津工业大学 | 一种基于希尔伯特变换的光纤干涉条纹图像相位提取方法 |
| CN111189817B (zh) * | 2020-01-09 | 2021-09-03 | 中国原子能科学研究院 | 激光诱导击穿光谱真假信号分辨数据分析方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101972148A (zh) * | 2010-11-19 | 2011-02-16 | 哈尔滨工业大学 | 基于经验模态分解的近红外脑功能检测的扰动消除方法 |
| CN102819750A (zh) * | 2012-08-02 | 2012-12-12 | 哈尔滨航控博创科技有限公司 | 基于快速集合经验模态分解的高光谱图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7956761B2 (en) * | 2007-05-29 | 2011-06-07 | The Aerospace Corporation | Infrared gas detection and spectral analysis method |
-
2015
- 2015-09-11 CN CN201510581660.8A patent/CN105203495B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101972148A (zh) * | 2010-11-19 | 2011-02-16 | 哈尔滨工业大学 | 基于经验模态分解的近红外脑功能检测的扰动消除方法 |
| CN102819750A (zh) * | 2012-08-02 | 2012-12-12 | 哈尔滨航控博创科技有限公司 | 基于快速集合经验模态分解的高光谱图像分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| Application of the Empirical Mode Decomposition to the Analysis of Esophageal Manometric Data in Gastroesophageal Reflux Disease;Hualou Liang et al.;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20051031;第52卷(第10期);第II节C部分 * |
| ECG Denoising Based on the Empirical Mode Decomposition;Binwei Weng et al.;《Proceedings of the 28th IEEE EMBS Annual International Conference》;20060903;第III节C部分 * |
| NIRS中联用 EEMD与SPA 建立变压器油中微水的 LS-SVM 回归模型;苏迪 等;《分析试验室》;20130831;第32卷(第8期);第1节及第2.1-2.2小节 * |
| 基于EMD的拉曼光谱去噪方法研究;李卿 等;《光谱学与光谱分析》;20090131;第29卷(第1期);第1-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105203495A (zh) | 2015-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105203495B (zh) | 一种基于希尔伯特-黄变换的光谱信号去噪方法 | |
| Sheng et al. | Model development for soluble solids and lycopene contents of cherry tomato at different temperatures using near-infrared spectroscopy | |
| Carlomagno et al. | Non-destructive grading of peaches by near-infrared spectrometry | |
| Ye et al. | Non-destructive prediction of protein content in wheat using NIRS | |
| Li et al. | A simple and nondestructive approach for the analysis of soluble solid content in citrus by using portable visible to near‐infrared spectroscopy | |
| Li et al. | Rapid detection of talcum powder in tea using FT-IR spectroscopy coupled with chemometrics | |
| Yu et al. | Nondestructive determination of SSC in Korla fragrant pear using a portable near-infrared spectroscopy system | |
| CN102636454A (zh) | 近红外光谱快速测定食用油中低碳数脂肪酸含量的方法 | |
| Chen et al. | Simultaneous measurement of total acid content and soluble salt‐free solids content in Chinese vinegar using near‐infrared spectroscopy | |
| CN103033481A (zh) | 基于fft的激光分析仪二次谐波滤波方法 | |
| CN104749132A (zh) | 一种测定面粉中偶氮甲酰胺的含量的方法 | |
| Zheng-Feng et al. | Outlier detection for multivariate calibration in near infrared spectroscopic analysis by model diagnostics | |
| ElMasry et al. | Prediction of meat spectral patterns based on optical properties and concentrations of the major constituents | |
| Dinovitser et al. | Terahertz time-domain spectroscopy of edible oils | |
| RU2473917C2 (ru) | Способ и устройство для измерения электромагнитной волны | |
| Li et al. | A novel method to determine total sugar of Goji berry using FT-NIR spectroscopy with effective wavelength selection | |
| Fu et al. | Application of wavelet transforms to improve prediction precision of near infrared spectra | |
| Xia et al. | Simultaneous, rapid and nondestructive determination of moisture, fat content and storage time in leisure dried tofu using LF-NMR | |
| Jiang et al. | Molecular spectroscopic wavelength selection using combined interval partial least squares and correlation coefficient optimization | |
| Yang et al. | Determination of 10-HDA in royal jelly by ATR-FTMIR and NIR spectral combining with data fusion strategy | |
| Monakhova et al. | Transfer of multivariate regression models between high‐resolution NMR instruments: application to authenticity control of sunflower lecithin | |
| CN105628675A (zh) | 一种功率敏感物质的拉曼荧光干扰的消除方法 | |
| CN104792705A (zh) | 用于光声光谱测量的激光功率波动监测和补偿装置及方法 | |
| Lemos et al. | Leveraging multiple linear regression for wavelength selection | |
| Ma et al. | A TFA-CNN method for quantitative analysis in infrared spectroscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Bian Xihui Inventor after: Li Ming Inventor after: Zhang Caixia Inventor after: Wei Junfu Inventor after: Li Shujuan Inventor after: Zhao Jun Inventor before: Bian Xihui Inventor before: Li Ming Inventor before: Li Shujuan Inventor before: Wei Junfu Inventor before: Zhao Jun |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210827 Address after: 621000 floor 3, plant 102, Mianyang export processing zone, No. 261, east section of Feiyun Avenue, Mianyang high tech Zone, Mianyang City, Sichuan Province Patentee after: Sichuan Anhao Zhongtai Technology Co.,Ltd. Address before: No. 399 Bingshui Road, Xiqing District, Tianjin, Tianjin Patentee before: TIANJIN POLYTECHNIC University |
|
| TR01 | Transfer of patent right |