CN109670531A - 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法 - Google Patents

一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法 Download PDF

Info

Publication number
CN109670531A
CN109670531A CN201811404251.0A CN201811404251A CN109670531A CN 109670531 A CN109670531 A CN 109670531A CN 201811404251 A CN201811404251 A CN 201811404251A CN 109670531 A CN109670531 A CN 109670531A
Authority
CN
China
Prior art keywords
near infrared
infrared spectrum
hodrick
spectrum signal
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811404251.0A
Other languages
English (en)
Inventor
谢德红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN201811404251.0A priority Critical patent/CN109670531A/zh
Publication of CN109670531A publication Critical patent/CN109670531A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于Hodrick‑Prescott滤波器的近红外光谱信号的去噪方法,依据Hodrick‑Prescott滤波器构建光谱信号的分解公式,分解公式的输入值包括正则化参数和染有噪声的近红外光谱信号,分解公式的输出值为未染有噪声的近红外光谱信号。本发明相对于现有近红外光谱去噪而言,具有更佳的去噪效果,为果蔬农药残留的分析检测,能够提供更好的依据。

Description

一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪 方法
技术领域
本发明属于近红外光谱信号处理技术领域,具体涉及一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法。
背景技术
近红外光谱是指吸收光谱造波长780nm-2500nm范围内的近红外波段,其可有效反映出样品中有机分子含氢基团(C-H、O-H、N-H等)的特征信息,基于此,近红外光谱分析技术可用于含C-H、O-H、N-H等氢基团的化合物的定性、定量分析与检测,具有无破坏、无污染、分析重复性好、简单、快速等优点,在食品检测领域中得到广泛应用。
然而,近红外光谱仪实测得光谱信号通常既包含有用的化学基团光谱信号,又叠加有随机噪声(或称随机误差)。随机噪声会对C-H、O-H、N-H等氢基团的光谱特征信息产生干扰。特别在果蔬农药残留的检测中,果蔬本身含大量氢基团,而农药残留量较低,对应的农药成分的光谱信号比较微弱,此时噪声去除效果对能否分析检测到农药残留成分至关重要。因此,在实测光谱中或进行光谱信号分析前,消除光谱数据中无关噪声对改善化学成分的分析具有重要意义。
现有技术中,为了减少噪声对光谱仪精度、以及分析化学成分的影响,通常通过多次采样的平均值作为实测样本的最终光谱。这导致采样次数难抉择的境况:实测时采样次数过少,光谱受采样时的随机影响大,光谱精度低;实测时采样次数多,获得最终光谱的时间长,仪器产生的系统误差(系统误差是无法利用取平均值的方法去除的)也随之增大,这不但牺牲时间,也无法保证光谱精度。近年,小波阈值去噪方法(如中国发明专利CN104020136B)被用于近红外光谱信号的去噪,但此方法在非连续点区域容易产生吉布斯震荡现象,造成光谱信号失真,破坏光谱的几何特征,影响了化学基团的分析与识别。
20世纪20年代Whittaker提出了Hodrick-Prescott分解方法,从90年代起被广泛用于分离经济学中经济数据中经济趋势和各时间点的震荡波,该方法在近红外光谱信号处理领域还鲜有研究。
发明内容
本发明的目的是提供一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,相对于现有近红外光谱去噪而言,具有更佳的去噪效果,为果蔬农药残留的分析检测,能够提供更好的依据。
本发明提供了如下的技术方案:一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,依据Hodrick-Prescott滤波器构建近红外光谱信号的分解公式,分解公式的输入值包括正则化参数和染有噪声的近红外光谱信号,分解公式的输出值为未染有噪声的近红外光谱信号。
作为上述技术方案的进一步描述:
所述分解公式的数学表达式为:
其中,λ为波长,κ为所述正则化参数且κ≥0,yλ为波长λ处测量得到的染有噪声的近红外光谱信号,xλ为波长λ处未染有噪声的近红外光谱信号。
作为上述技术方案的进一步描述:
所述分解公式的矩阵表达式为:
(1/2)||y-x||2+κ||Dx||2
表示向量欧几里德距离或范数;
D为二阶差分矩阵,D∈R(n-2)×n
作为上述技术方案的进一步描述:
求解分解公式的方法为:
(1)、实测样品染有噪声的近红外光谱信号向量y=(yi,L,yj)T∈Rn,分解计算所得去除噪声的近红外光谱信号向量x=(xi,L,xj)T∈Rn,下标i和j表示波长,n为波长范围内的波长点的数量;
(2)、最小化处理分解公式的矩阵表达式,获得最优向量xhp即为所述未染有噪声的近红外光谱信号,xhp表示为:
xhp=(I+2κDTD)-1y
其中,I表示n×n维的单位矩阵,DT表示D的转置矩阵。
作为上述技术方案的进一步描述:
所述正则化参数κ根据L-曲线求解得到。
作为上述技术方案的进一步描述:
所述L-曲线为:
表示在某个正则化参数κ处获得的最优解。
作为上述技术方案的进一步描述:
所述正则化参数的求解方法为:
计算L-曲线的最大曲率,获得最优正则化参数κ,计算公式为:
其中,ψ'、ψ”、φ'、φ”分别为ψ和φ的一阶和二阶导数。
本发明的有益效果:提出利用Hodrick-Prescott滤波器将样品染有噪声的近红外光谱把的分解成样品本身光谱信号和噪声信号,实现近红外光谱信号去噪,具体如下:
(1)、本发明依据Hodrick-Prescott分解方法的特点将其用于具有相似数据特征的近红外光谱信号与噪声的分解中,利用Hodrick-Prescott滤波器将样品染有噪声的近红外光谱分解成样品本身的光谱信号和噪声信号,实现近红外光谱信号去噪,相对于现有近红外光谱去噪而言,具有更加好的去噪效果,为果蔬农药残留的分析检测,能够提供更好的依据;
(2)、本发明方法具有自适应性,分解公式中参数κ可依据每条具体光谱信息通过L-曲线方法获得最优参数后,在此基础上分解公式获得最优解。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是实施例中采用德国布鲁克EQUINOX55傅立叶变换型傅立叶近红外光谱仪采集纯的残留乐果农药的上海青的近红外光谱;
图2是实施例中染有噪声的残留乐果农药的上海青的近红外光谱;
图3是实施例中求解最优正则化参数的L-曲线图;
图4是实施例中依据本发明对染有噪声的残留乐果农药的上海青的近红外光谱处理后的对比效果图,其中,虚线为未染有噪声的近红外光谱,实线为本发明方法得到的近红外光谱图;
图5是实施例中小波阈值方法对染有噪声的残留乐果农药的上海青的近红外光谱处理后的对比效果图,其中,虚线为未染有噪声的近红外光谱,实线为小波阈值方法得到的近红外光谱图
图6是图5中1400~1500nm波段光谱信号截取放大图;
图7是图5中1000~1200nm左右的波段光谱信号截取放大图。
具体实施方式
现结合说明书附图,详细说明本发明的结构特点。
实施例
本实施例中,提出利用Hodrick-Prescott滤波器将样品染有噪声的近红外光谱分解成样品本身的光谱信号和噪声信号,实现近红外光谱信号去噪。本实施例对上海青残留乐果农药的近红外光谱信号进行去噪。开始前,先做如下准备:
(1)、采用德国布鲁克EQUINOX55傅立叶变换型光谱仪采集近红外光谱信号(该光谱仪获得的光谱信号含噪声越少,无限接近0,但是价格过高无法普及,本实施例中将该光谱仪采集的近红外光谱信号作为纯的残留乐果农药的上海青的近红外光谱,采集波长范围为900~1700nm,采样的间隔为1nm,共801个波长点,得到如图1所示未染有噪声的近红外光谱;
(2)、模拟一般近红外光谱仪的噪声特性在其上叠加随机噪声,得到如图2所示的染有噪声的近红外光谱,作为一般光谱仪实测的染有噪声的近红外光谱。
假设yλ为波长λ处实测染有噪声的近红外光谱信号,xλ为波长λ处未染有噪声的近红外光谱信号,eλ为波长λ处随机噪声信号,三者之间的关系如下式(1):
yλ=xλ+eλ 式(1)
本实施例中的去噪方法就是从染有噪声的光谱信号yλ中把光谱信号xλ和噪声eλ分解开,去噪方法包括以下步骤:
步骤(1)、构建近红外光谱信号分解公式
依据Hodrick-Prescott滤波器构建光谱信号的分解公式,分解公式的输入值包括正则化参数和染有噪声的近红外光谱信号yλ,分解公式的输出值为未染有噪声的近红外光谱信号xλ,分解公式的数学表达式为:
其中,λ为波长,κ≥0为正则化参数。对于样品的近红外光谱而言,由于实测的通常为一个波段范围(900~1700nm)的光谱信号,因此,式(2)可表示为矩阵表达式以便于求解:
(1/2)||y-x||2+κ||Dx||2 式(3)
其中,分解计算所得去除噪声的近红外光谱信号向量x=(x900,L,x1700)T∈Rn,实测样品染有噪声的近红外光谱信号向量y=(y900,L,y1700)T∈Rn
n表示一定采样间隔下900~1700nm波段范围内的波长点的数量;
表示向量欧几里德距离或范数,其计算公式为
D∈R(n-2)×n为二阶差分矩阵:
步骤(2)、求解Hodrick-Prescott分解公式
求解Hodrick-Prescott分解公式,对染有噪声的近红外光谱信号进行分解:最小化式(3)获得最优向量x=(x900,L,x1700)T∈Rn(可表示为xhp),可表示为:
通过求解得到分解出样品有效光谱信号:
xhp=(I+2κDTD)-1y 式(6)
其中,I表示n×n维的单位矩阵,DT表示D的转矩矩阵。
进一步说,
前述步骤(2)中κ值的计算方法为:
(1)、求得最优正则化参数的L-曲线
利用如下式(7)构建L曲线,求得最优正则化参数的L-曲线,如图3所示,L-曲线上的各点对应不同κ值。
其中,表示在某个正则化参数k下,式(7)获得的最优解。
(2)、求解L-曲线最大曲率处的κ值
依据如下式(8),计算L-曲线最大曲率,由此获得最优正则化参数κ,如图3中所示,
其中,ψ'、ψ”、φ'、φ”分别为ψ和φ的一阶和二阶导数。
将步骤(4)得到的κ值代入式(6)中,从而获得去除噪声的近红外光谱信号如图4所示。
对比例
在实施例的基础上,本对比例的不同之处在于:去噪方法采用小波阈值方法(采用sym8小波基,5层小波分解),对染有噪声的残留乐果农药的上海青的近红外光谱处理后,得到如图5所示的近红外光谱图。
对比未染有噪声的近红外光谱信号和去噪后的近红外光谱信息,对比例的去噪能力则略有不足,图5中光谱信号变化平缓波段出添加可不少小的波峰和波谷、原峰波出现波点的迁移,这均会影响农药残留成分的正确检测。
由图4可以看出本发明的方法去噪效果比较明显,与原始未染有噪声的近红外光谱的重合度比较高。
采用信噪比(SNR)和均方根差(RMSE)值分别对实施例和对比例进行客观评价,得到如下表1所示的评价结果:
表1
综上所述,根据本发明所述的染有噪声的近红外光谱信号的去噪方法的去噪效果更佳,并且根据发明所述的染有噪声的近红外光谱信号的去噪方法去噪后的近红外光谱更贴近未染有噪声的近红外光谱信号,为果蔬农药残留成分的检测和分析能提供更好的依据。本发明可以用于光谱仪的软件系统中,去除光谱仪硬件本身和采集过程产生的噪声,也可以用于光谱仪中采集时已经去噪后光谱。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,其特征在于,依据Hodrick-Prescott滤波器构建近红外光谱信号的分解公式,分解公式的输入值包括正则化参数和染有噪声的近红外光谱信号,分解公式的输出值为未染有噪声的近红外光谱信号。
2.根据权利要求1所述的基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,其特征在于:所述分解公式的数学表达式为:
其中,λ为波长,κ为所述正则化参数且κ≥0,yλ为波长λ处测量得到的染有噪声的近红外光谱信号,xλ为波长λ处未染有噪声的近红外光谱信号。
3.根据权利要求1或2所述的基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,其特征在于:所述分解公式的矩阵表达式为:
(1/2)||y-x||2+κ||Dx||2
表示向量欧几里德距离或l2范数;
D为二阶差分矩阵,D∈R(n-2)×n
4.根据权利要求3所述的基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,其特征在于:求解分解公式的方法为:
(1)、实测样品染有噪声的近红外光谱信号向量y=(yi,L,yj)T∈Rn,分解计算所得去除噪声的近红外光谱信号向量x=(xi,L,xj)T∈Rn,下标i和j表示波长,n为波长范围内的波长点的数量;
(2)、最小化处理分解公式的矩阵表达式,获得最优向量xhp即为最接近所述未染有噪声的近红外光谱信号,xhp表示为:
xhp=(I+2κDTD)-1y
其中,I表示n×n维的单位矩阵,DT表示D的转置矩阵。
5.根据权利要求4所述的基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,其特征在于:所述正则化参数κ根据L-曲线求解得到。
6.根据权利要求5所述的基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,其特征在于:所述L-曲线为:
表示在某个正则化参数κ处获得的最优解。
7.根据权利要求6所述的基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法,其特征在于:所述正则化参数的求解方法为:计算L-曲线的最大曲率,获得最优正则化参数κ,计算公式为:
其中,ψ'、ψ”、φ'、φ”分别为ψ和φ的一阶和二阶导数。
CN201811404251.0A 2018-11-23 2018-11-23 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法 Pending CN109670531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811404251.0A CN109670531A (zh) 2018-11-23 2018-11-23 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811404251.0A CN109670531A (zh) 2018-11-23 2018-11-23 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法

Publications (1)

Publication Number Publication Date
CN109670531A true CN109670531A (zh) 2019-04-23

Family

ID=66142175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811404251.0A Pending CN109670531A (zh) 2018-11-23 2018-11-23 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法

Country Status (1)

Country Link
CN (1) CN109670531A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118749A (zh) * 2019-06-06 2019-08-13 南京林业大学 一种基于近红外光谱的果蔬农药残留检测方法
CN110208211A (zh) * 2019-07-03 2019-09-06 南京林业大学 一种用于农药残留检测的近红外光谱降噪方法
CN118010649A (zh) * 2024-04-09 2024-05-10 西安大业食品有限公司 用于食品的污染检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721663A (zh) * 2012-05-28 2012-10-10 中国科学院长春光学精密机械与物理研究所 一种基于自适应滤波的近红外土壤光谱去噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721663A (zh) * 2012-05-28 2012-10-10 中国科学院长春光学精密机械与物理研究所 一种基于自适应滤波的近红外土壤光谱去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GABRIEL THOMAS: "Image De-noising Based on Hodrick-Prescott Filtering", 《2012 IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES PROCEEDINGS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118749A (zh) * 2019-06-06 2019-08-13 南京林业大学 一种基于近红外光谱的果蔬农药残留检测方法
CN110118749B (zh) * 2019-06-06 2021-06-22 南京林业大学 一种基于近红外光谱的果蔬农药残留检测方法
CN110208211A (zh) * 2019-07-03 2019-09-06 南京林业大学 一种用于农药残留检测的近红外光谱降噪方法
CN110208211B (zh) * 2019-07-03 2021-10-22 南京林业大学 一种用于农药残留检测的近红外光谱降噪方法
CN118010649A (zh) * 2024-04-09 2024-05-10 西安大业食品有限公司 用于食品的污染检测方法

Similar Documents

Publication Publication Date Title
CN116701845B (zh) 基于数据处理的水产品品质评价方法及系统
CN109670531A (zh) 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法
CN116738153B (zh) 基于光谱分析的有机肥利用效果评价方法
CN110503060B (zh) 一种光谱信号去噪方法及其系统
CN108444954B (zh) 光谱信号峰值检测方法、装置以及系统
CN110208211B (zh) 一种用于农药残留检测的近红外光谱降噪方法
CN114417937A (zh) 一种基于深度学习的拉曼光谱去噪方法
CN116883720A (zh) 基于空谱注意力网络的果蔬农药残留检测方法及系统
CN109724693B (zh) 一种基于平稳小波的融合光谱去噪方法
Fan et al. A reconstruction algorithm based on sparse representation for Raman signal processing under high background noise
Liu et al. Estimation of chlorophyll content in maize canopy using wavelet denoising and SVR method
CN108489917B (zh) 一种去除太赫兹吸收光谱中低频误差和高频噪声的方法
CN116380869A (zh) 一种基于自适应稀疏分解的拉曼光谱去噪方法
CN115979989A (zh) 一种太赫兹检测方法、装置以及计算机可读存储介质
CN114998708A (zh) 一种基于图谱信号的茶叶种类识别方法和装置
CN110118749B (zh) 一种基于近红外光谱的果蔬农药残留检测方法
CN113592743A (zh) 基于复数小波变换的光谱高频信息与低频信息分离与耦合方法
CN113344051A (zh) 一种基于太赫兹数据的神经网络分类方法
Zhang et al. The Handling Approach of Near-Infrared Spectroscopy for Apple Quality Prediction Based on Digital Signal Processing
CN110659629A (zh) 一种基于双谱和深度卷积神经网络的微弱x射线脉冲星信号辨识方法
CN109558843B (zh) 基于小波包分析的近红外光谱信号处理方法及系统
Christopoulou et al. Time series analysis of sunspot oscillations using the wavelet transform
Li Noise removal of Raman spectra using interval thresholding method
Kumar Standardising the chromatographic denoising procedure
CN109632761A (zh) 一种拉曼光谱数据的处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423

RJ01 Rejection of invention patent application after publication