CN110208211A - 一种用于农药残留检测的近红外光谱降噪方法 - Google Patents
一种用于农药残留检测的近红外光谱降噪方法 Download PDFInfo
- Publication number
- CN110208211A CN110208211A CN201910594592.7A CN201910594592A CN110208211A CN 110208211 A CN110208211 A CN 110208211A CN 201910594592 A CN201910594592 A CN 201910594592A CN 110208211 A CN110208211 A CN 110208211A
- Authority
- CN
- China
- Prior art keywords
- noise
- near infrared
- imf
- infrared spectrum
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 61
- 239000000575 pesticide Substances 0.000 title claims abstract description 28
- 230000009467 reduction Effects 0.000 claims abstract description 21
- 238000011946 reduction process Methods 0.000 claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims description 27
- 239000000470 constituent Substances 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000000052 comparative effect Effects 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 240000008100 Brassica rapa Species 0.000 description 5
- 235000011292 Brassica rapa Nutrition 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004566 IR spectroscopy Methods 0.000 description 4
- MCWXGJITAZMZEV-UHFFFAOYSA-N dimethoate Chemical compound CNC(=O)CSP(=S)(OC)OC MCWXGJITAZMZEV-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000005947 Dimethoate Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- UIIMBOGNXHQVGW-UHFFFAOYSA-M Sodium bicarbonate Chemical compound [Na+].OC([O-])=O UIIMBOGNXHQVGW-UHFFFAOYSA-M 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 239000006101 laboratory sample Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000447 pesticide residue Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- -1 C5H12NO3PS2) Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012153 distilled water Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004495 emulsifiable concentrate Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000005416 organic matter Substances 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 229910000030 sodium bicarbonate Inorganic materials 0.000 description 1
- 235000017557 sodium bicarbonate Nutrition 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种用于农药残留检测的近红外光谱降噪方法,包括以下步骤:步骤一、采集目标的近红外光谱;步骤二、利用EEMD方法对近红外光谱的信号进行分解,得到若干个IMF分量;步骤三、依据IMF分量自适应获得阈值,选取出含噪声的IMF分量;步骤四、利用改进的L2正则化方法对选取的含噪声的IMF分量进行降噪处理;步骤五、将降噪后的分量与有效信息分量进行重构获得降噪信号。本发明解决近红外光谱本身所含噪声以及EEMD引入白噪的问题,提高近红外光谱的信噪比以及在农药残留检测中分类的识别精度。
Description
技术领域
本发明属于近红外光谱无损检测技术领域,具体涉及一种用于农药残留检测的近红外光谱降噪方法。
背景技术
近红外光是指波长在780~2526nm范围内的电磁波,是人们在吸收光谱中发现的第一个非可见光区,其光谱区域可以反映分子中的C-H、N-H、O-H等基团的倍频、合频振动吸收情况,由此可以获得有机物与部分无机物的信息。近年来,近红外光谱(NIR)分析技术凭借效率高、精度高、成本低、无损分析等优势发展迅速,引起了社会的广泛关注。在近红外光谱范围内,不同的分子对应着表征其特征的振动频率,基于此特性,不同物质在近红外光谱中具有特定的吸收特征,这为近红外光谱的定性定量分析奠定了基础。目前,近红外光谱技术已经普遍应用于农林业、化工行业、医学界等多个领域。目前通过近红外光谱对果蔬农药残留进行分析,相比于传统的物理化学检测技术更加灵活,高效。然而,近红外光谱技术是一门弱信号技术,在采集样本的近红外光谱的过程中,不可避免地会染上噪声。此噪声会干扰到有效的光谱特征提取,将直接影响后续光谱数据分类与分析的准确性。由此,在以农药残留检测为目的的光谱数据分类中,降噪在整个过程中至关重要的一环。
在获取的近红外光谱信号中,除了由于设备元件造成的稳定噪声以外,更多的是随时间变化而变化的非稳定噪声。传统的滤波器只适用于稳定噪声处理,而无法满足非稳定噪声的消除。平均经验模态分解(EEMD)是N.E.Huang于2009年提出的一种自适应时频局部化分析方法,通过加入均匀分布在整个时频空间的高斯白噪声,使得不同尺度的信号区域自动映射到与背景白噪声相关的适当尺度上去,解决了经验模态分解(EMD)的模态混叠问题,但原有的和新加入的噪声均会被分解到各本征模函数(IMF)中,通过阈值方法选取几个IMF重建光谱的降噪方法很难有效地去除光谱中的原染噪声以及分解过程中新添加的白噪。
发明内容
本发明的目的是提供一种用于农药残留检测的近红外光谱降噪方法,以解决上述问题。
本发明提供了如下的技术方案:一种用于农药残留检测的近红外光谱降噪方法,包括以下步骤:
步骤一、利用近红外光谱仪采集被测物的近红外光谱;
步骤二、利用EEMD方法对近红外光谱的信号进行分解,得到若干个IMF分量;
步骤三、依据IMF分量,自适应获得阈值,根据阈值判断对应IMF分量中是否残留噪声,选取其中含噪声的IMF分量,剩余的IMF分量作为有效分量备用;
步骤四、利用改进的L2正则化方法对选取的含噪声的IMF分量进行降噪处理;
步骤五、将降噪后的IMF分量和有效分量进行重构获得降噪信号。
作为上述技术方案的进一步描述:
所述步骤二中,对近红外光谱的信号进行分解的分解公式为:
公式中,λ为波长,IMFi(λ)是EEMD分解的第i个IMF分量,rn(λ)是分解筛除n个IMF分量后的信号残余分量,得到的IMF按照频率从高到低排列,残余项rn(λ)表征信号的趋势。
作为上述技术方案的进一步描述:
所述步骤三自适应获得阈值前,将步骤二中得到的IMF分量进行集成平均,得到最终的IMF;集成平均的计算公式为:
公式中,i表示每次分解得到的第i个IMF分量。
作为上述技术方案的进一步描述:
所述步骤三中,自适应获得阈值的公式为:
公式中,median(·)表示取中值的函数,m表示各IMF分量的维数。
作为上述技术方案的进一步描述:
所述步骤三中,是否残留噪声判断方法为:
当IMFi(λ)中存在IMFi(λ)>Ti的元素时,则判断此IMF分量为含噪声的IMF分量。
作为上述技术方案的进一步描述:
所述步骤四中,利用改进的L2正则化方法进行降噪处理的方法为:
步骤(1)、构建改进L2正则化方法的代价函数公式:
公式中,为保真项,s(λ)表示未染有噪声的近红外光谱信号,x(λ)表示有噪声的近红外光谱信号,是正则化项,s”(λ)为s(λ)对变量λ求二阶导数,γ为正则化参数,代表l2范数;
步骤(2)、通过最小化所述代价函数求解,求解公式为:
作为上述技术方案的进一步描述:
所述步骤五中,信号重构的公式为:
公式中,d(λ)为波长λ处的降噪信号,IMFi(λ)为波长λ处的所有有效分量,为波长λ处的经l2正则化方法处理后的所有IMF分量。
本发明的有益效果:解决近红外光谱本身所含噪声以及EEMD引入白噪的问题,提高近红外光谱的信噪比以及在农药残留检测中分类的识别精度,具体如下:
(1)、本发明的降噪方法将EEMD方法与改进的L2正则化相结合,利用信号二阶梯度的L2正则化方法处理IMF中的残留噪声,提高重构信号的信噪比,达到有效提取有用信息的目的,本发明的方法可有效去除染有噪声的近红外光谱信号中的噪声成分,提高光谱中有效信息的可提取性;
(2)、本发明的降噪方法中采取自适应阈值法,获得阈值判断各IMF分量的噪声程度,以判断各IMF分量是否需要实施进一步降噪处理,避免了人工设置处理参数的麻烦;
(3)、由于含噪光谱一般是非稳信号(近红外光谱采集的噪声是实时变化的,特别是统计特征是变化的,使得获得的含噪光谱的统计特征也变化,使得含噪呈非稳定信号),用任何正则化方法降噪的实时性不佳,本发明可以有效分解非稳定信号,分解所得的IFM分量的信号为稳定信号,然后针对IFM分量中信号具有一定稀疏性且信号波形平滑变化的特征,再用改进L2正则化方法进一步处理,使得降噪实时性好(即降噪每条光谱的效果均比较好);
具体的,正则化项不同能达到的目的也不同,本发明中,改进的L2正则化方法是对IMF分量的二阶导数加上约束条件,约束条件根据无噪IMF分量中信号具有一定稀疏性且信号波形平滑变化的先验知识设定,在约束条件的作用下,降噪后的IMF分量倾向于选择满足约束的梯度减少的方向,逼迫最终解倾向于符合先验知识靠近(正则化项中L2范数可控制信号的波形平滑变化,一阶导数、二阶导数控制信号的稀疏性,其中导数的阶数越大,信号的稀疏性越大);
与其他滤波方法相比,本发明的方法不仅在去降噪的同时较好地保留了边缘信息,更具备自适应性;本发明通过改进L2正则化方法可以进一步去除重构信号中的残留噪声,消除了EEMD的弊端,使近红外光谱的信噪比提高以及后续的分类模型的分类精度,改善果蔬农药残留快速、智能检测的正确率。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是未染噪的残留乐果农药的上海青的近红外光谱;
图2是模拟添噪处理后的近红外光谱的图谱;
图3是EEMD方法、本发明方法降噪后与未染噪的近红外光谱图谱。
具体实施方式
现结合说明书附图,详细说明本发明的结构特点。
实施例
本实施例中提供一种用于农药残留检测的近红外光谱降噪方法,包括以下步骤:
步骤一、数据采集
利用近红外光谱仪采集待测物(本实施例中优选为果蔬)表面的近红外光谱,此时采集得到的近红外光谱中含有噪声,将采集到的染有噪声的近红外光谱信号表示为:
x(λ)=s(λ)+z(λ) 式(1)
式(1)中,x(λ)为波长λ处的染有噪声的近红外光谱信号,s(λ)为波长λ处的未染有噪声的近红外光谱信号,z(λ)为波长λ处的随机噪声信号;
步骤二、信号分解
利用EEMD方法对步骤一中的近红外光谱信号进行分解,得到若干个IMF分量和一个残余项,分解公式为:
式(2)中,λ为波长,IMFi(λ)是EEMD分解的第i个IMF分量,rn(λ)是分解筛除n个IMF分量后的信号残余分量,得到的IMF按照频率从高到低排列,残余项rn(λ)表征信号的趋势。
步骤三、IMF分量集成平均
将步骤二中得到的IMF分量进行集成平均,得到最终的IMF;集成平均的计算公式为:
式(3)中,i表示每次分解得到的第i个IMF分量,“ave”表示不同的迭代的平均结果,j表示迭代第j次,每个IFM分量的求解是通过迭代过程,并平均迭代结果所得;
步骤四、选取含噪声的IMF分量
依据前述得到的各个IMF分量,自适应获得阈值,得到的阈值用于判断对应IMF分量中是否残留噪声,以选取含噪声的IMF分量,剩余的IMF分量作为有效分量备用;
其中,自适应获得阈值的方法为:
式(4)中,median(·)表示取中值的函数,m表示各IMF分量的维数。
其中,IMF分量中是否残留噪声判断方法:
当IMFi(λ)中存在IMFi(λ)>Ti的元素时,则判断此IMF分量为含噪的IMF分量;
步骤五、降噪处理
利用改进的L2正则化方法对步骤四选取的含噪声的IMF分量进行降噪处理;改进的L2正则化方法使用的代价函数公式为:
式(5)中,为保真项;s(λ)表示未染有噪声的近红外光谱信号;x(λ)表示有噪声的近红外光谱信号;是正则化项,该式中包含重构信号所需的先验信息,并以此来约束重构结果,保证解的稳定性;s”(λ)为s(λ)对变量λ求二阶导数,γ为正则化参数,本实施例中,取值为50,可用来调节正则项与保真项之间的权重关系;代表l2范数。
上述代价函数包含两个部分,保真项和正则化项,正则化化方法即通过最小化此代价函数求解,其中,正则化相的函数部分是由L2范数构成的。
其中,改进L2正则化的最优化问题求解方法为:
式(6)中,C>0表示趋于无穷小的常数,在本实施例中优选为0.0001。
步骤六、获得降噪信号
将步骤五中降噪后的IMF分量与步骤四中无噪的IMF分量(即有效分量)进行重构获得完整的降噪信号,信号重构公式为:
式(7)中,d(λ)为波长λ处的降噪信号,IMFi(λ)为波长λ处的所有有效分量(即步骤四中剩余的无噪的IMF分量),为波长λ处的经l2正则化方法处理后的所有分量。
本发明可以有效解决近红外光谱本身所含噪声以及EEMD引入白噪的问题,提高近红外光谱的信噪比以及在农药残留检测中分类的识别精度。
本发明的降噪方法将EEMD与改进的L2正则化方法相结合,利用信号二阶梯度的L2正则化方法处理IMF中的残留噪声,提高重构信号的信噪比达到有效提取有用信息的目的,可有效去除染有噪声的近红外光谱信号中的噪声成分,完成对光谱中有效信息的提取。
进一步的,
步骤二中,若干个IMF分量的获取方法具体包括以下步骤:
步骤(1)、在含噪信号x(λ)中加入白噪声Nj(λ),得到复合信号yj(λ),其中下标j代表添加噪声次数:
yj(λ)=x(λ)+Nj(λ) 式(8)
步骤(2)、确定信号yj(λ)所有极值点;
步骤(3)、用三次样条函数对极大值点和极小值点分别进行拟合得到yj(λ)的上下包络线;
步骤(4)、由信号yj(λ)的上下包络线计算得其均值记作m1(λ);
步骤(5)、用信号y(λ)减去上下包络线的均值m1(λ)得到h1(λ),若h1(λ)不满足IMF的判别条件,则令h1(λ)作为原信号继续筛选直到获得满足条件的h1(λ),视作第一个分量IMF1;
步骤(6)、从原信号yj(λ)中减去h1(λ),得到r1(λ),再将剩下的数据r1(λ)作为原信号进行重复筛选,直到某个分量rn(λ)小于一个预先指定值或者为单调函数时,筛选结束,完成所有IMF分量提取,前述分量提取的计算公式具体如下:
进一步的,
步骤(5)中,筛选IMF的判断准则为:在整个数据段内,数据的极值点和过零点交替出现,且数目相等或最多相差一个;当然筛选准则也不仅仅局限于这一种,还可以是:任意时刻由局部最大值和局部最小值定义的包络的均值必须是零等其他可以实现的判断准则。
对比例1
在实施例的基础上,本对比例1将EEMD方法和本发明方法进行对照试验,为便于对照,本对比例中将光谱仪获取的近红外光谱作为未染有噪声的近红外光谱信号,在其上叠加随机噪声信号得到染有噪声的近红外光谱信号,即本对比例1中,预先设置染有噪声的近红外光谱信号。数据采集的具体方法为:
首先,本实施例以残留乐果农药的上海青为处理对象,采用德国布鲁克EQUINOX55傅里叶变换型光谱仪采集实验对象的近红外光谱(该光谱仪获得的光谱信号含噪声较少,但价格过高无法普及,本实施例中将通过该光谱仪获取的近红外光谱作为未染有噪声的近红外光谱),采集波长范围为900nm~1681nm,采样间隔为1nm,共782个波长点,得到如图1所示未染有噪声的近红外光谱;
然后,通过模拟一般近红外光谱仪的噪声特性在未染有噪声的近红外光谱信号上叠加随机噪声,得到如图2所示染有噪声的近红外光谱。本对比例1中,得到EEMD方法、本发明方法降噪后与未染噪的近红外光谱图谱如图3所示。由图3可见,相对于EEMD方法,本发明方法获得降噪后的近红外光谱曲线与未染噪声的近红外光谱曲线更接近,说明本发明方法降噪更优。
对比例2
在本对比例2中,采用德国布鲁克EQUINOX55傅立叶变换型光谱仪采集作为近红外光谱采集设备,光谱仪参数设置为:平均采样次数30次、显示波段900-1681nm、测量间隔1nm。
采集的实验样品为:喷洒了乐果(农药,C5H12NO3PS2)的上海青,实验样品先进行预处理:上海青从农贸市场购买后,分别利用小苏打和食盐浸泡后,再用自来冲洗干净晾干;农药为河南省周口市德贝尔生物化学品工程有限的40%乐果乳油,采用蒸馏水从50倍稀释到1500倍,分别喷洒在晾干的上海青上。
光谱采集环境:装有空调的恒温环境(23℃)内。
本对比例中,分别采集残留农药样本291个、未残留农药样本50个,获得近红外光谱作为训练数据集。
一方面,分别利用EEMD方法和本发明方法对上述341个样本的含噪近红外光谱进行降噪处理,比较其信噪比,得到结果如下表1所示。其中,对应方法的SNR越高表示该方法降噪效果越好,则信号中噪声含量越少理后的降噪信号进行对比。由表1的SNR数据显示,本发明方法的降噪效果优于原始的EEMD方法。
表1近红外光谱降噪后的信噪比
另一方面,在本对比例中,将上述采集的291个残留农药样本、50个未残留农药样本的近红外光谱作平均的分为两个近红外光谱数据集,即任意选择146个残留类样本和25个未残留类样本近红外光谱为训练数据集,剩余的为测试数据集。
在训练数据集和测试数据集的近红外光谱上模拟添加随机噪声,分别利用EEMD和本发明方法降噪处理,再利用PCA从选取训练数据集的中的近红外光谱数据的低维特征;然后,利用此低维特征数据训练RBF-SVM分类器,获取用于无损快速检测的分类模型;最后,利用测试数据集中近红外光谱数据测试所得分类模型的分类准确率,结果如表2所示。其中,对于分类模型而言,训练数据集下的分类准确率越高说明分类模型的拟合能力越强,测试数据集下的分类准确率越高说明分类模型的泛化能力越强,即检测未来采集近红外光谱所属类别的正确判断能力越强。
对于相同的分类方法所得分类模型而言,训练数据中近红外光谱的谱峰特征在降噪的过程保持越好(即与理想未然噪近红外光谱越相似),所得分类模型分类准确率越接近未染噪下的数据所得结果。
因此,分类模型的分类准确率越高则说明降噪后的近红外光谱与原始未染噪近红外光谱越相似,其对应的降噪方法越好。由表2数据显示,针对分类,本发明方法的降噪效果要优于EEMD的方法。
表2农药残留类与农药未残留类的近红外光谱降噪后所获分类模型的分类准确率
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种用于农药残留检测的近红外光谱降噪方法,其特征在于,包括以下步骤:
步骤一、利用近红外光谱仪采集被测物的近红外光谱;
步骤二、利用EEMD方法对近红外光谱的信号进行分解,得到若干个IMF分量;
步骤三、依据IMF分量,自适应获得阈值,根据阈值判断对应IMF分量中是否残留噪声,选取其中含噪声的IMF分量,剩余的IMF分量作为有效分量备用;
步骤四、利用改进的L2正则化方法对选取的含噪声的IMF分量进行降噪处理;
步骤五、将降噪后的IMF分量和有效分量进行重构获得降噪信号。
2.根据权利要求1所述的用于农药残留检测的近红外光谱降噪方法,其特征在于:所述步骤二中,对近红外光谱的信号进行分解的分解公式为:
公式中,λ为波长,IMFi(λ)是EEMD分解的第i个IMF分量,rn(λ)是分解筛除n个IMF分量后的信号残余分量,得到的IMF按照频率从高到低排列,残余项rn(λ)表征信号的趋势。
3.根据权利要求1所述的用于农药残留检测的近红外光谱降噪方法,其特征在于:所述步骤三自适应获得阈值前,将步骤二中得到的IMF分量进行集成平均,得到最终的IMF;集成平均的计算公式为:
公式中,i表示每次分解得到的第i个IMF分量。
4.根据权利要求3所述的用于农药残留检测的近红外光谱降噪方法,其特征在于:所述步骤三中,自适应获得阈值的公式为:
公式中,median(·)表示取中值的函数,m表示各IMF分量的维数。
5.根据权利要求4所述的用于农药残留检测的近红外光谱降噪方法,其特征在于:所述步骤三中,是否残留噪声判断方法为:
当IMFi(λ)中存在IMFi(λ)>Ti的元素时,则判断此IMF分量为含噪声的IMF分量。
6.根据权利要求1所述的用于农药残留检测的近红外光谱降噪方法,其特征在于:所述步骤四中,利用改进的L2正则化方法进行降噪处理的方法为:
步骤(1)、构建改进L2正则化方法的代价函数公式:
公式中,为保真项,s(λ)表示未染有噪声的近红外光谱信号,x(λ)表示有噪声的近红外光谱信号,是正则化项,s”(λ)为s(λ)对变量λ求二阶导数,γ为正则化参数,代表l2范数;
步骤(2)、通过最小化所述代价函数求解,求解公式为:
7.根据权利要求1或6所述的用于农药残留检测的近红外光谱降噪方法,其特征在于:所述步骤五中,信号重构的公式为:
公式中,d(λ)为波长λ处的降噪信号,IMFi(λ)为波长λ处的所有有效分量,为波长λ处的经l2正则化方法处理后的所有IMF分量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910594592.7A CN110208211B (zh) | 2019-07-03 | 2019-07-03 | 一种用于农药残留检测的近红外光谱降噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910594592.7A CN110208211B (zh) | 2019-07-03 | 2019-07-03 | 一种用于农药残留检测的近红外光谱降噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110208211A true CN110208211A (zh) | 2019-09-06 |
CN110208211B CN110208211B (zh) | 2021-10-22 |
Family
ID=67796032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910594592.7A Active CN110208211B (zh) | 2019-07-03 | 2019-07-03 | 一种用于农药残留检测的近红外光谱降噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110208211B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688981A (zh) * | 2019-10-14 | 2020-01-14 | 江西理工大学 | 一种振动信号去噪的模态混叠消除方法 |
CN116129281A (zh) * | 2023-04-18 | 2023-05-16 | 中国人民解放军战略支援部队航天工程大学 | 一种用于高光谱影像的亚像元目标检测系统 |
CN117405622A (zh) * | 2023-12-14 | 2024-01-16 | 广东伊茗药业有限公司 | 一种燕窝中亚硝酸盐含量智能检测方法 |
Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001079816A1 (en) * | 2000-04-14 | 2001-10-25 | Stora Enso Aktiebolag | Method in connection with the production of pulp, paper or paperboard |
EP2255173A2 (en) * | 2008-03-18 | 2010-12-01 | Balter, Inc. | Optical method for determining morphological parameters and physiological properties of tissue |
US20110151576A1 (en) * | 2008-07-18 | 2011-06-23 | Lux Innovate Limited | Method to assess multiphase fluid compositions |
CN102147915A (zh) * | 2011-05-06 | 2011-08-10 | 重庆大学 | 一种权重的稀疏边缘正则化图像复原方法 |
EP2382230A2 (en) * | 2009-01-16 | 2011-11-02 | Sederma | Kxk-peptide compositions for cosmetic and dermo-pharmaceutic uses |
EP2466547A1 (en) * | 2010-12-20 | 2012-06-20 | General Electric Company | System and method for soft-field reconstruction |
US20120232402A1 (en) * | 2011-03-02 | 2012-09-13 | Macfarlane Duncan | Functional Near Infrared Spectroscopy Imaging System and Method |
CN103472008A (zh) * | 2013-08-30 | 2013-12-25 | 黑龙江八一农垦大学 | 孵化前期近红外种蛋内鸡胚性别识别方法 |
US20160018378A1 (en) * | 2013-03-07 | 2016-01-21 | Siemens Aktiengesellschaft | Systems and methods for boosting coal quality measurement statement of related cases |
CN105275833A (zh) * | 2015-10-30 | 2016-01-27 | 北京航空航天大学 | 一种基于CEEMD-STFT时频信息熵和multi-SVM的离心泵故障诊断方法 |
CN105372198A (zh) * | 2015-10-28 | 2016-03-02 | 中北大学 | 基于集成l1正则化的红外光谱波长选择方法 |
CN106254720A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种基于联合正则化的视频超分辨率重建方法 |
CN106485209A (zh) * | 2016-09-23 | 2017-03-08 | 北京航空航天大学 | 基于eemd特征提取和pnn的非平稳电磁干扰信号模式识别方法 |
US20170079538A1 (en) * | 2015-09-17 | 2017-03-23 | National Central University | Method for Identifying Images of Brain Function and System Thereof |
CN106780605A (zh) * | 2016-12-20 | 2017-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于深度学习机器人的目标物抓取位置的检测方法 |
CN107024446A (zh) * | 2016-01-29 | 2017-08-08 | 九芝堂股份有限公司 | 一种六味地黄丸小蜜丸生药粉多指标快速检测方法 |
CN107037001A (zh) * | 2017-06-15 | 2017-08-11 | 中国科学院半导体研究所 | 一种基于近红外光谱技术的玉米单倍体籽粒鉴别方法 |
CN107958267A (zh) * | 2017-11-21 | 2018-04-24 | 东南大学 | 一种基于光谱线性表示的油品性质预测方法 |
CN108814550A (zh) * | 2018-04-16 | 2018-11-16 | 北京工业大学 | 一种基于神经网络的近红外光谱断层成像重建方法 |
CN109255773A (zh) * | 2018-09-13 | 2019-01-22 | 武汉大学 | 基于全变分的异分辨率红外与可见光图像融合方法及系统 |
CN109493287A (zh) * | 2018-10-10 | 2019-03-19 | 浙江大学 | 一种基于深度学习的定量光谱数据分析处理方法 |
US20190107888A1 (en) * | 2017-10-06 | 2019-04-11 | Holland Bloorview Kids Rehabilitation Hospital | Brain-computer interface platform and process for classification of covert speech |
CN109670531A (zh) * | 2018-11-23 | 2019-04-23 | 南京林业大学 | 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法 |
CN109883990A (zh) * | 2019-02-28 | 2019-06-14 | 吉林大学 | 一种药用真菌近红外光谱分析方法 |
-
2019
- 2019-07-03 CN CN201910594592.7A patent/CN110208211B/zh active Active
Patent Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001079816A1 (en) * | 2000-04-14 | 2001-10-25 | Stora Enso Aktiebolag | Method in connection with the production of pulp, paper or paperboard |
EP2255173A2 (en) * | 2008-03-18 | 2010-12-01 | Balter, Inc. | Optical method for determining morphological parameters and physiological properties of tissue |
US20110151576A1 (en) * | 2008-07-18 | 2011-06-23 | Lux Innovate Limited | Method to assess multiphase fluid compositions |
EP2382230A2 (en) * | 2009-01-16 | 2011-11-02 | Sederma | Kxk-peptide compositions for cosmetic and dermo-pharmaceutic uses |
EP2466547A1 (en) * | 2010-12-20 | 2012-06-20 | General Electric Company | System and method for soft-field reconstruction |
US20120232402A1 (en) * | 2011-03-02 | 2012-09-13 | Macfarlane Duncan | Functional Near Infrared Spectroscopy Imaging System and Method |
CN102147915A (zh) * | 2011-05-06 | 2011-08-10 | 重庆大学 | 一种权重的稀疏边缘正则化图像复原方法 |
US20160018378A1 (en) * | 2013-03-07 | 2016-01-21 | Siemens Aktiengesellschaft | Systems and methods for boosting coal quality measurement statement of related cases |
CN103472008A (zh) * | 2013-08-30 | 2013-12-25 | 黑龙江八一农垦大学 | 孵化前期近红外种蛋内鸡胚性别识别方法 |
US20170079538A1 (en) * | 2015-09-17 | 2017-03-23 | National Central University | Method for Identifying Images of Brain Function and System Thereof |
CN105372198A (zh) * | 2015-10-28 | 2016-03-02 | 中北大学 | 基于集成l1正则化的红外光谱波长选择方法 |
CN105275833A (zh) * | 2015-10-30 | 2016-01-27 | 北京航空航天大学 | 一种基于CEEMD-STFT时频信息熵和multi-SVM的离心泵故障诊断方法 |
CN107024446A (zh) * | 2016-01-29 | 2017-08-08 | 九芝堂股份有限公司 | 一种六味地黄丸小蜜丸生药粉多指标快速检测方法 |
CN106254720A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种基于联合正则化的视频超分辨率重建方法 |
CN106485209A (zh) * | 2016-09-23 | 2017-03-08 | 北京航空航天大学 | 基于eemd特征提取和pnn的非平稳电磁干扰信号模式识别方法 |
CN106780605A (zh) * | 2016-12-20 | 2017-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于深度学习机器人的目标物抓取位置的检测方法 |
CN107037001A (zh) * | 2017-06-15 | 2017-08-11 | 中国科学院半导体研究所 | 一种基于近红外光谱技术的玉米单倍体籽粒鉴别方法 |
US20190107888A1 (en) * | 2017-10-06 | 2019-04-11 | Holland Bloorview Kids Rehabilitation Hospital | Brain-computer interface platform and process for classification of covert speech |
CN107958267A (zh) * | 2017-11-21 | 2018-04-24 | 东南大学 | 一种基于光谱线性表示的油品性质预测方法 |
CN108814550A (zh) * | 2018-04-16 | 2018-11-16 | 北京工业大学 | 一种基于神经网络的近红外光谱断层成像重建方法 |
CN109255773A (zh) * | 2018-09-13 | 2019-01-22 | 武汉大学 | 基于全变分的异分辨率红外与可见光图像融合方法及系统 |
CN109493287A (zh) * | 2018-10-10 | 2019-03-19 | 浙江大学 | 一种基于深度学习的定量光谱数据分析处理方法 |
CN109670531A (zh) * | 2018-11-23 | 2019-04-23 | 南京林业大学 | 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法 |
CN109883990A (zh) * | 2019-02-28 | 2019-06-14 | 吉林大学 | 一种药用真菌近红外光谱分析方法 |
Non-Patent Citations (7)
Title |
---|
HSUAN REN.ET: "Ensemble Empirical Mode Decomposition Parameters Optimization for Spectral Distance Measurement in Hyperspectral Remote Sensing Data", 《REMOTE SENS》 * |
LOTFI SAIDI.ET: "Bi-Spectrum Based-EMD Applied to the Non-Stationary Vibration Signals for Bearing Faults", 《INTERNATIONAL CONFERENCE OF SOFT COMPUTING AND PATTERN RECOGNITION》 * |
NIMA HEMMATI BERIVANLOU.ET: "Evoked hemodynamic response estimation using ensemble empirical mode decomposition based adaptive algorithm applied to dual channel functional near infrared spectroscopy (fNIRS)", 《JOURNAL OF NEUROSCIENCE METHODS》 * |
ZHANG RUI.ET: "A novel ensemble L1 regularization based variable selection framework with an application in near infrared spectroscopy", 《CHEMOMETRICS AND INTELLIGENT LABORATORY SYSTEMS》 * |
张晓娟等: "结合Tikhonov正则化方法的近红外漫射光血流成像技术", 《中国医疗设备》 * |
赵肖宇: "基于EMD和EEMD的自适应光谱预处理方法及其应用研究", 《中国博士学位论文全文数据库 基础科学辑》 * |
赵肖宇等: "EMD时频分析拉曼光谱和近红外光谱", 《光谱学与光谱分析》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688981A (zh) * | 2019-10-14 | 2020-01-14 | 江西理工大学 | 一种振动信号去噪的模态混叠消除方法 |
CN110688981B (zh) * | 2019-10-14 | 2023-06-09 | 江西理工大学 | 一种振动信号去噪的模态混叠消除方法 |
CN116129281A (zh) * | 2023-04-18 | 2023-05-16 | 中国人民解放军战略支援部队航天工程大学 | 一种用于高光谱影像的亚像元目标检测系统 |
CN117405622A (zh) * | 2023-12-14 | 2024-01-16 | 广东伊茗药业有限公司 | 一种燕窝中亚硝酸盐含量智能检测方法 |
CN117405622B (zh) * | 2023-12-14 | 2024-03-22 | 广东伊茗药业有限公司 | 一种燕窝中亚硝酸盐含量智能检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110208211B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110208211A (zh) | 一种用于农药残留检测的近红外光谱降噪方法 | |
Karimi et al. | Detection and quantification of food colorant adulteration in saffron sample using chemometric analysis of FT-IR spectra | |
CN106295684B (zh) | 一种基于微多普勒特征的动态连续/非连续手势识别方法 | |
Carlomagno et al. | Non-destructive grading of peaches by near-infrared spectrometry | |
CN108387887A (zh) | 一种水声信号的混合降噪方法 | |
CN116701845B (zh) | 基于数据处理的水产品品质评价方法及系统 | |
Prasad et al. | Plant leaf species identification using curvelet transform | |
CN115326783B (zh) | 拉曼光谱预处理模型生成方法、系统、终端及存储介质 | |
CN110068544B (zh) | 物质识别网络模型训练方法及太赫兹光谱物质识别方法 | |
CN110503060B (zh) | 一种光谱信号去噪方法及其系统 | |
CN110672582B (zh) | 一种基于改进主成分分析的拉曼特征谱峰提取方法 | |
CN107121407B (zh) | 基于pso-ricaelm的近红外光谱分析鉴别翠冠梨成熟度的方法 | |
CN110702656A (zh) | 一种基于三维荧光光谱技术的植物油农药残留检测方法 | |
CN108594177A (zh) | 基于改进hht的雷达信号调制方式分析方法、信号处理系统 | |
CN115700544A (zh) | 一种联合经验模态分解及小波软阈值的色谱信号去噪方法 | |
He et al. | Fast discrimination of apple varieties using Vis/NIR spectroscopy | |
Cheng et al. | Classification of two species of Bidens based on discrete stationary wavelet transform extraction of FTIR spectra combined with probability neural network | |
CN102988041B (zh) | 心磁信号噪声抑制中的信号选择性平均方法 | |
CN112998704A (zh) | 一种可穿戴设备血氧饱和度计算方法 | |
CN109883990A (zh) | 一种药用真菌近红外光谱分析方法 | |
KR20110081764A (ko) | 전자파의 측정 방법 및 측정 장치 | |
Fan et al. | A reconstruction algorithm based on sparse representation for Raman signal processing under high background noise | |
CN109670531A (zh) | 一种基于Hodrick-Prescott滤波器的近红外光谱信号的去噪方法 | |
CN106204490A (zh) | 一种太赫兹脉冲图像去噪方法 | |
CN107886115A (zh) | 一种自适应可能c均值聚类的茶叶中红外光谱分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |