CN105203495A - 一种基于希尔伯特-黄变换的光谱信号去噪方法 - Google Patents
一种基于希尔伯特-黄变换的光谱信号去噪方法 Download PDFInfo
- Publication number
- CN105203495A CN105203495A CN201510581660.8A CN201510581660A CN105203495A CN 105203495 A CN105203495 A CN 105203495A CN 201510581660 A CN201510581660 A CN 201510581660A CN 105203495 A CN105203495 A CN 105203495A
- Authority
- CN
- China
- Prior art keywords
- signal
- imf
- hilbert
- denoising
- instantaneous frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种基于希尔伯特-黄变换的光谱信号去噪方法，主要步骤为：将原始光谱信号通过经验模态分解得到一系列的本征模态函数(IMF)分量；对每个IMF分量进行希尔伯特变换，得到每个IMF对应的瞬时频率；计算瞬时频率的平均值，采用t检验确定信号区和噪声区的分界点为k；最后将k之后的IMF进行加和重构，得到去噪后的光谱信号。本发明提出的方法不需要设置参数，能够完全自适应地对信号进行去噪，而且对非线性、非平稳的光谱信号去噪效果良好。本发明适用于石油、烟草、中药、食品等复杂物质光谱信号的去噪。
Description
技术领域
本方法发明属于分析化学信号处理领域，具体涉及一种基于希尔伯特-黄变换的光谱信号去噪方法。
背景技术
光谱分析技术因其具有快速、无损、低成本、安全可靠等优势而广泛应用于中药、食品、环境等领域。但由于受温度、湿度、电噪声等外界环境的影响，光谱仪器所采集的数据除了有用信号外，不可避免得会得到许多无关的噪声信号。在光谱分析中，这些不相关的噪声假如不被消除，将会影响甚至掩盖真实信号，从而影响校正模型的质量以及预测未知样品的准确性。所以在进行信号分析之前，消除光谱数据中的无关噪声对改善分析信号的性能具有重要意义。
传统的光谱信号去噪方法有平滑、傅里叶变换和小波变换等。平滑的方法可有效地平滑高频噪声，提高信噪比，但是它对有效信号也进行了平滑，容易造成信号失真，降低光谱分辨率。倘若待分析信号稳定而又与噪声频谱特征有着明显区别时，依据傅立叶变换的去噪途径效果相对较好。只是实际光谱信号往往都是非平稳信号，从而导致傅立叶变换只可获得全部信号频谱，不易得到信号局部特征。小波变换由于具有多分辨特征，对非平稳信号具有很好的去噪效果。但光谱信号不可避免地会受到光散射等影响而存在一定的非线性，对非线性非平稳信号的去噪，小波变换还是无能为力。另外小波分解算法需要设定小波基、分解层数和阈值等参数，参数的选择直接影响去噪效果，对于不同的数据，都要重新选择与之适用的最佳小波参数，这使得小波分析的去噪缺少了自适应性。
希尔伯特-黄变换(Hilbert-HuangTransform，HHT)是Huang等(N.E.Huang，Z.Shen，S.R.Long，M.C.Wu，H.H.Shih，Q.Zheng，TheempiricalmodedecompositionandtheHilbertspectrumfornonlinearandnon-stationarytimeseriesanalysis，P.Roy.Soc.A-Math.Phy.，SeriesA，1998，454：903-995)于1998年提出的一种自适应地处理非平稳信号的全新方法。该方法不需要设定任何参数，只需根据信号自身的特点，首先将信号经验模态分解(EmpiricalModeDecomposition，EMD)，.得到多个本征模态函数(IntrinsicModeFunction，IMF)分量，再对这些分量进行希尔伯特(Hilbert)变换，从而完成在时频域内对信号的局部特征描述，因此非常适合非线性非平稳的光谱信息的去噪分析。已有研究将HHT用于风廓线雷达信息的去噪(张银胜，单慧琳，李家强，周杰，董月霞，一种基于希尔伯特黄变换的风廓线雷达去噪方法，中国发明专利，2012，CN201210239606)，说明了HHT用于信号去噪的可行性。本研究提出一种新型的基于HHT的光谱信号去噪方法，并用于光谱信号去噪研究。
发明内容
本发明的目的为针对上述现有信号去噪技术的不足，提供一种基于希尔伯特-黄变换的光谱信号去噪方法，具体技术方案如下：
(1)对原始信号进行经验模态分解，得到n个IMF分量；
(2)对n个IMF分量分别进行希尔伯特变换，得到n个瞬时频率f分量；
(3)对每个瞬时频率f求平均，得到平均瞬时频率；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该点为信号区与噪声区的分界点；
(5)将IMFk……IMFn加和重构为去噪后信号。
附图说明
图1：燃油紫外光谱信号的去噪过程，其中(a)燃油原始光谱，(b)原始信号经验模态分解得到的IMF分量，(c)IMF分量经过希尔伯特变换得到的瞬时频率f分量，(d)平均瞬时频率曲线，(e)为用于重构信号的IMF分量，(f)去噪后的紫外光谱信号。
图2：牛奶近红外光谱信号的去噪过程，其中(a)牛奶原始光谱，(b)原始信号经验模态分解得到的IMF分量，(c)IMF分量经过希尔伯特变换得到的瞬时频率f，(d)平均瞬时频率曲线，(e)为用于重构信号的IMF分量，(f)去噪后的近红外光谱信号。
图3：橘汁近红外光谱信号的去噪过程，其中(a)橘汁原始光谱，(b)原始信号经验模态分解得到的IMF分量，(c)IMF分量经过希尔伯特变换得到的瞬时频率f，(d)平均瞬时频率曲线，(e)为用于重构信号的IMF分量，(f)去噪后的近红外光谱信号。
具体实施方式
为更好理解本发明，下面结合实施例对本发明做进一步地详细说明，但是本发明要求保护的范围并不局限于实施例表示的范围。
实施例1：
本实施例对燃油紫外光谱信号进行去噪，该数据由Wentzell等人提供，下载网址：http：//myweb.dal.ca/pdwentze/downloads.html。紫外光谱采用Cary3UV-visible分光光度计(VarianInstruments，SanFernando，Calif.)测定，波长范围为200-400nm，采样间隔约为0.35nm，共572个波长点，原始光谱如图1(a)所示，从图中可以看出，该信号具有明显的噪声信息。
(1)对原始信号进行经验模态分解，得到7个IMF分量，如图1(b)所示；
(2)对7个IMF分量分别进行希尔伯特变换，得到7个瞬时频率f分量，如图1(c)所示；
(3)对每个瞬时频率f求平均，得到平均瞬时频率，7个平均瞬时频率值如图1(d)所示；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该实施例中信号区和噪声区的分界点k为4；
(5)将IMF4……IMF7(如图1(e)所示)加和重构为去噪后信号，如图1(f)所示。
比较原始紫外光谱信号与去噪重构信号后的光谱信号，可以看出去噪效果比较明显，处理后信号光滑，有效信息被保留，信噪比较高。
实施例2：
本实施例对牛奶的近红外光谱信号进行去噪，样品为天津海河牌纯牛奶，近红外光谱采用便携式激光近红外光谱仪(XL-410，美国Axsun科技公司)测定，波长范围1350-1800nm，采样间隔0.5nm，变量数为901，原始光谱如图2(a)所示。
(1)对原始信号进行经验模态分解(EMD)，得到7个IMF分量，如图2(b)所示；
(2)对7个IMF分量分别进行希尔伯特(Hilbert)变换，得到7个瞬时频率f分量，如图2(c)所示；
(3)对每个瞬时频率f求平均，得到平均瞬时频率，7个平均瞬时频率值如图2(d)所示；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该实施例中信号区和噪声区的分界点k为4；
(5)将IMF4……IMF7(如图2(e)所示)加和重构为去噪后信号，如图2(f)所示。
实施例3：
本例实施对橘汁近红外光谱信号进行去噪，该数据由MarcMeurens提供，下载网址：http：//www.ucl.ac.be/mlg。近红外反射光谱的波长范围为1000-2498nm，采样间隔2nm，包括700个波长点，原始光谱图如图3(a)所示。
(1)将原始信号进行经验模态分解，得到5个IMF分量，如图3(b)所示；
(2)对5个IMF分量分别进行希尔伯特变换，得到5个瞬时频率f分量，如图3(c)所示；
(3)对每个瞬时频率f求平均，得到平均瞬时频率，5个平均瞬时频率值如图3(d)所示；
(4)利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该实施例中信号区和噪声区的分界点k为2；
(5)将IMF2……IMF5(如图3(e)所示)加和重构为去噪后信号，如图3(f)所示。
Claims (3)
1.一种基于希尔伯特-黄变换的光谱信号去噪方法，其特征在于包含以下步骤：
(1)对原始信号进行经验模态分解，得到一系列IMF分量；
(2)对每个IMF分量分别进行希尔伯特变换，得到瞬时频率f分量；
(3)对每个瞬时频率f求平均，得到平均瞬时频率；
(4)根据平均瞬时频率确定信号区和噪声区的分界点k；
(5)将IMFk……IMFn加和重构为去噪后信号。
2.根据权利要求1所述的一种基于希尔伯特-黄变换的光谱信号去噪方法，其特征在于：所述信号区和噪声区的分界点k确定方法为：利用相邻的平均瞬时频率依次进行t检验，找到第一个开始不具有显著性差异的点k，该点为信号区与噪声区的分界点。
3.根据权利要求1所述的一种基于希尔伯特-黄变换的光谱信号去噪方法，其特征在于：所述的光谱分析技术，适用于紫外、荧光、红外、近红外光谱和拉曼光谱等。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510581660.8A CN105203495B (zh) | 2015-09-11 | 2015-09-11 | 一种基于希尔伯特-黄变换的光谱信号去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510581660.8A CN105203495B (zh) | 2015-09-11 | 2015-09-11 | 一种基于希尔伯特-黄变换的光谱信号去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105203495A true CN105203495A (zh) | 2015-12-30 |
| CN105203495B CN105203495B (zh) | 2018-05-29 |
Family
ID=54951290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510581660.8A Active CN105203495B (zh) | 2015-09-11 | 2015-09-11 | 一种基于希尔伯特-黄变换的光谱信号去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105203495B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368804A (zh) * | 2017-07-17 | 2017-11-21 | 河南工业大学 | 一种小麦自发生物光子辐射信号的分析方法及装置 |
| CN107632326A (zh) * | 2017-08-10 | 2018-01-26 | 武汉市工程科学技术研究院 | 地球物理信号去噪方法 |
| CN108007916A (zh) * | 2017-03-16 | 2018-05-08 | 黑龙江八农垦大学 | 希尔伯特黄法建立稻株氮含量的共聚焦显微拉曼测量模型 |
| CN109029739A (zh) * | 2018-03-26 | 2018-12-18 | 天津工业大学 | 一种基于希尔伯特变换的光纤干涉条纹图像相位提取方法 |
| CN111189817A (zh) * | 2020-01-09 | 2020-05-22 | 中国原子能科学研究院 | 激光诱导击穿光谱真假信号分辨数据分析方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100090845A1 (en) * | 2007-05-29 | 2010-04-15 | Mark Leon Polak | Infrared gas detection and spectral analysis method |
| CN101972148A (zh) * | 2010-11-19 | 2011-02-16 | 哈尔滨工业大学 | 基于经验模态分解的近红外脑功能检测的扰动消除方法 |
| CN102819750A (zh) * | 2012-08-02 | 2012-12-12 | 哈尔滨航控博创科技有限公司 | 基于快速集合经验模态分解的高光谱图像分类方法 |
-
2015
- 2015-09-11 CN CN201510581660.8A patent/CN105203495B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100090845A1 (en) * | 2007-05-29 | 2010-04-15 | Mark Leon Polak | Infrared gas detection and spectral analysis method |
| CN101972148A (zh) * | 2010-11-19 | 2011-02-16 | 哈尔滨工业大学 | 基于经验模态分解的近红外脑功能检测的扰动消除方法 |
| CN102819750A (zh) * | 2012-08-02 | 2012-12-12 | 哈尔滨航控博创科技有限公司 | 基于快速集合经验模态分解的高光谱图像分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| BINWEI WENG ET AL.: "ECG Denoising Based on the Empirical Mode Decomposition", 《PROCEEDINGS OF THE 28TH IEEE EMBS ANNUAL INTERNATIONAL CONFERENCE》 * |
| HUALOU LIANG ET AL.: "Application of the Empirical Mode Decomposition to the Analysis of Esophageal Manometric Data in Gastroesophageal Reflux Disease", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
| 李卿 等: "基于EMD的拉曼光谱去噪方法研究", 《光谱学与光谱分析》 * |
| 苏迪 等: "NIRS中联用 EEMD与SPA 建立变压器油中微水的 LS-SVM 回归模型", 《分析试验室》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108007916A (zh) * | 2017-03-16 | 2018-05-08 | 黑龙江八农垦大学 | 希尔伯特黄法建立稻株氮含量的共聚焦显微拉曼测量模型 |
| CN108007916B (zh) * | 2017-03-16 | 2020-08-04 | 黑龙江八一农垦大学 | 希尔伯特黄法建立稻株氮含量的共聚焦显微拉曼测量模型 |
| CN107368804A (zh) * | 2017-07-17 | 2017-11-21 | 河南工业大学 | 一种小麦自发生物光子辐射信号的分析方法及装置 |
| CN107368804B (zh) * | 2017-07-17 | 2020-08-07 | 河南工业大学 | 一种小麦自发生物光子辐射信号的分析方法及装置 |
| CN107632326A (zh) * | 2017-08-10 | 2018-01-26 | 武汉市工程科学技术研究院 | 地球物理信号去噪方法 |
| CN107632326B (zh) * | 2017-08-10 | 2019-09-10 | 武汉市工程科学技术研究院 | 地球物理信号去噪方法 |
| CN109029739A (zh) * | 2018-03-26 | 2018-12-18 | 天津工业大学 | 一种基于希尔伯特变换的光纤干涉条纹图像相位提取方法 |
| CN111189817A (zh) * | 2020-01-09 | 2020-05-22 | 中国原子能科学研究院 | 激光诱导击穿光谱真假信号分辨数据分析方法 |
| CN111189817B (zh) * | 2020-01-09 | 2021-09-03 | 中国原子能科学研究院 | 激光诱导击穿光谱真假信号分辨数据分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105203495B (zh) | 2018-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105203495A (zh) | 一种基于希尔伯特-黄变换的光谱信号去噪方法 | |
| Liu et al. | Efficient blind signal reconstruction with wavelet transforms regularization for educational robot infrared vision sensing | |
| EP3455936B1 (en) | Systems, methods and programs for denoising signals using wavelets | |
| Viscarra Rossel et al. | Improved analysis and modelling of soil diffuse reflectance spectra using wavelets | |
| Eriksson et al. | Orthogonal signal correction, wavelet analysis, and multivariate calibration of complicated process fluorescence data | |
| Barnhart et al. | Analysis of sunspot variability using the Hilbert–Huang transform | |
| Li et al. | A simple and nondestructive approach for the analysis of soluble solid content in citrus by using portable visible to near‐infrared spectroscopy | |
| Li et al. | Applications of wavelet transform to quantum cascade laser spectrometer for atmospheric trace gas measurements | |
| Tripathi et al. | Practical method to estimate the standard deviation in absorption coefficients measured with THz time-domain spectroscopy | |
| Yang et al. | Determination of 10-HDA in royal jelly by ATR-FTMIR and NIR spectral combining with data fusion strategy | |
| CN105628675A (zh) | 一种功率敏感物质的拉曼荧光干扰的消除方法 | |
| Ling et al. | A piecewise mirror extension local mean decomposition method for denoising of near-infrared spectra with uneven noise | |
| Monakhova et al. | Transfer of multivariate regression models between high‐resolution NMR instruments: application to authenticity control of sunflower lecithin | |
| Cai et al. | Wavelet transformation coupled with CARS algorithm improving prediction accuracy of soil moisture content based on hyperspectral reflectance | |
| Liu et al. | An EMD-SG algorithm for spectral noise reduction of FBG-FP static strain sensor | |
| CN111157115B (zh) | 一种水下布里渊散射光谱获取方法及装置 | |
| CN109670531A (zh) | 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法 | |
| Zaytsev et al. | An approach for automatic construction of the wavelet-domain de-noising procedure for THz pulsed spectroscopy signal processing | |
| Zhang et al. | Coupling discrete wavelet packet transformation and local correlation maximization improving prediction accuracy of soil organic carbon based on hyperspectral reflectance | |
| CN106970042B (zh) | 一种卡拉胶杂质、水分含量检测方法 | |
| Baykut et al. | Multiscale zero-crossing statistics of intrinsic mode functions for white Gaussian noise | |
| Wang et al. | Research on meat species and freshness identification method based on spectral characteristics | |
| Cai et al. | Combining the least correlation design, wavelet packet transform and correlation coefficient test to reduce the size of calibration set for NIR quantitative analysis in multi-component systems | |
| Han et al. | New insights to improve resolution and reliability of Raman spectral analysis using higher-density multiscale regression | |
| CN109324017B (zh) | 一种提高近红外光谱分析技术建模光谱质量的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Bian Xihui Inventor after: Li Ming Inventor after: Zhang Caixia Inventor after: Wei Junfu Inventor after: Li Shujuan Inventor after: Zhao Jun Inventor before: Bian Xihui Inventor before: Li Ming Inventor before: Li Shujuan Inventor before: Wei Junfu Inventor before: Zhao Jun |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210827 Address after: 621000 floor 3, plant 102, Mianyang export processing zone, No. 261, east section of Feiyun Avenue, Mianyang high tech Zone, Mianyang City, Sichuan Province Patentee after: Sichuan Anhao Zhongtai Technology Co.,Ltd. Address before: No. 399 Bingshui Road, Xiqing District, Tianjin, Tianjin Patentee before: TIANJIN POLYTECHNIC University |
|
| TR01 | Transfer of patent right |