CN116388733A - 一种适用于近红外水果无损检测的光谱预处理方法及装置 - Google Patents

一种适用于近红外水果无损检测的光谱预处理方法及装置 Download PDF

Info

Publication number
CN116388733A
CN116388733A CN202310604351.2A CN202310604351A CN116388733A CN 116388733 A CN116388733 A CN 116388733A CN 202310604351 A CN202310604351 A CN 202310604351A CN 116388733 A CN116388733 A CN 116388733A
Authority
CN
China
Prior art keywords
interval
point
data
noise
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310604351.2A
Other languages
English (en)
Other versions
CN116388733B (zh
Inventor
刘鸿飞
黄晓晓
阮曲星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aopu Tiancheng Chengdu Information Technology Co ltd
Original Assignee
Optosky Xiamen Optoelectronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optosky Xiamen Optoelectronic Co ltd filed Critical Optosky Xiamen Optoelectronic Co ltd
Priority to CN202310604351.2A priority Critical patent/CN116388733B/zh
Publication of CN116388733A publication Critical patent/CN116388733A/zh
Application granted granted Critical
Publication of CN116388733B publication Critical patent/CN116388733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00—Adaptive networks
    • H03H21/0012—Digital adaptive filters
    • H03H21/0043—Adaptive algorithms
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00—Adaptive networks
    • H03H21/0012—Digital adaptive filters
    • H03H2021/0085—Applications
    • H03H2021/0094—Interference Cancelling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请公开一种适用于近红外水果无损检测的光谱预处理方法及装置，其方法包括：使用二阶差分计算其光谱数据的总体噪音分布；根据噪音分布对光谱数据进行自适应阈值分割，形成多个分割区间，在每个分割区间内计算各自区间的噪音，以残差小于噪音阈值为优化目标对原始光谱各区间进行循环自适应参数SG滤波，找到最优滤波参数；使用最优滤波参数在各自区间内对光谱数据进行滑动多项式拟合，对每个点的拟合多项式在当前点处求导。本发明根据水果近红外无损检测的光谱数据特点，提出分段自适应参数滤波方法，在不同信噪比区间找到不同的最优滤波参数，减少现有滤波方法的欠拟合和过拟合问题，有效降低了微分求导增加的噪音，提高了数据质量。

Description

一种适用于近红外水果无损检测的光谱预处理方法及装置
技术领域
本发明涉及近红外光谱信号的预处理技术领域，具体是一种适用于近红外水果无损检测的光谱预处理方法及装置。
背景技术
近红外光谱（NIR）是指波长在780纳米至2526纳米区间的电磁波。其中780纳米至1100纳米区间为短波近红外，1100纳米至2526纳米区间为长波近红外。当一束近红外光通过具有近红外吸收的物质时，物质分子吸收不相同的能量，形成近红外区域的吸收光谱，这是近红外光谱分析方法的基础。由于近红外光穿透能力强，对检测物没有损伤性，使用近红外漫透射的方法可以获取水果内部深层的品质信息，所以近红外光谱分析方法在水果无损分选、品质检测上已有大量运用。
光谱仪在采集水果样本近红外光谱得到的信号包含了噪声和各种外界不利因素干扰，噪音主要包括光谱仪本底噪音和暗电流，不利干扰包括由于样本不均匀、光散射和光程不同导致的基线平移和基线漂移。因此使用近红外光谱分析技术来分析样品的物质成分，就必需要先对光谱进行预处理，以降噪和减少各种干扰的影响，提高后续建模准确度。
现有技术中，对近红外光谱信号进行预处理的方案多为：使用移动平均平滑法和SG卷积平滑去掉高频噪音，使用一阶、二阶微分处理扣除基线平移和漂移。其中，SG卷积平滑法详细见褚小立主编的《化学计量学方法与分子光谱分析技术》一书。而现有的移动平均平滑法和SG卷积平滑法需要确定平滑窗口大小，窗口过大会造成过平滑，窗口过小会造成欠平滑，并且普通光栅光谱仪在近红外区间灵敏度低于可见光区间，导致光谱在不同区间信噪比不同，如果使用同样的滤波参数，可能导致有的波段欠拟合，有些波段过拟合的情况；一阶二阶微分法在处理基线平移和漂移的过程中会加入噪音，使用多点差分和使用滤波后数据差分可以减少噪音，但是仍然无法得到十分满意的效果。
发明内容
在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
为解决上述技术问题，本申请提供一种适用于近红外水果无损检测的光谱预处理方法，根据水果近红外无损检测的光谱数据特点，提出分段自适应参数滤波方法，在不同信噪比区间找到不同的最优滤波参数，减少现有滤波方法的欠拟合和过拟合问题；针对微分法处理基线平移和漂移增加的噪音问题，直接求取多项式拟合后的函数在数据点处的导数，将滤波和求导过程统一到一步完成，有效降低了微分求导增加的噪音，提高了数据质量，为后续建模提供了良好的基础。
根据本申请的一方面，提供一种适用于近红外水果无损检测的光谱预处理方法，包括：
步骤1：测定吸光度，使用二阶差分计算其光谱数据的总体噪音分布；
步骤2：根据噪音分布对光谱数据进行自适应阈值分割，形成多个分割区间，在每个分割区间内计算各自区间的噪音，以残差小于噪音阈值为优化目标对原始光谱各区间进行循环自适应参数SG滤波，找到最优滤波参数；
步骤3：使用最优滤波参数在各自区间内对光谱数据进行滑动多项式拟合，对每个点的拟合多项式在当前点处求导；
步骤4：逐点计算吸光度数据所有点的导数。
本发明通过对SG滤波进行改进，对光谱数据进行自适应阈值分割以划分分割区间，并寻找各分割区间的最优滤波参数，再和导数融合在一起一步完成，从而有效提高求导后的数据质量。
进一步的，所述步骤1中测定吸光度包括如下过程：关闭光源，分别放入标定白球和水果样本，打开光谱仪采集白球和水果样本背面光谱数据iw和i0作为光谱仪的本底信号，再开灯预热预设时间后分别采集白球和水果样本透射近红外光谱Iw和I0，计算吸光度序列A，其计算公式为：
Figure SMS_1
。w为自然数。
进一步的，所述步骤1中使用二阶差分计算其光谱数据的总体噪音分布，包括如下过程：
对吸光度序列A做区间截取，取预设区间波段生成新的吸光度序列A0；对A0执行二阶差分操作，二阶差分操作是使用[1,-2,1]算子对A0进行滑动卷积，生成吸光度二阶差分序列A″，A″用以反映吸光度序列A0的噪音分布；
进一步的，所述步骤2具体包括如下过程：
根据吸光度二阶差分序列A″找到噪音最佳区间分割，根据水果近红外透射光谱数据特点，预设两个分割点t1：650nm和t2：870nm，形成三个分割区间；
三个分割区间内的光谱点数分别记为n1、n2、n3，三个分割区间内的光谱平均值分别记为m1、m2、m3,总体光谱平均值为m0，计算此时的区间类间方差f(t1,t2)=
Figure SMS_2
，类间方差/>
Figure SMS_3
的算术平方根为标准差/>
Figure SMS_4
,类间方差/>
Figure SMS_5
的计算过程为：
光谱落入三个区间的概率分别记为q1、q2和q3，则：
Figure SMS_6
；
满足以下关系：
Figure SMS_7
；
类间方差
Figure SMS_8
的表达式为：
Figure SMS_9
；
设立循环次数上限，反复随机调整分割点t1、t2(580<t1<t2<1000)，循环计算新的f(t1,t2)，循环结束找到的最大的类间方差对应的(t1,t2)：
Figure SMS_10
；
Figure SMS_11
；
此时的分割点t1、t2即为最优分割点，将吸光度二阶差分序列A″分割为A1″、A2″、A3″三部分；
分别计算A1″、A2″、A3″的平均噪音s1、s2、s3，计算方法为：
以A1″为例，将A1″等分为L个区间Segi(i=0,1,2...L-1)，每个区间内数据点数为n，计算每个区间内数据的平均值v和标准差σ，找到其中标准差最小的那个区间Segi，平均值为vi，标准差为σi，以一个宽度为n的窗口覆盖Segi区间，向右滑动检测，每次移动一个数据点，计算这个数据点是否属于[vi-3σi,vi+3σi]区间，如果是，则保持该点不变，如果不是，则将该点用当前窗口内数据的平均值代替，重复上述步骤，直至右边所有数据全部检测完毕，用同样的方法检测左侧数据，最后计算处理后的A1″的标准差σA1,同样的方法计算A2″、A3″的标准差σA2、σA3；
Figure SMS_12
,/>
Figure SMS_13
,/>
Figure SMS_14
；
用分割点t1、t2将吸光度序列A0分割成区间A1、A2、A3，三个区间内光谱点数分别为n1、n2、n3，分别在各个区间内使用SG滤波，初始参数为窗口w=5，阶数g=3，滤波后数据分别为
Figure SMS_15
、/>
Figure SMS_16
、/>
Figure SMS_17
,残差ε1、ε2、ε3；其中，残差计算公式如下：
Figure SMS_18
；
Figure SMS_19
；
Figure SMS_20
；
遍历参数，先固定阶数，遍历窗口，窗口w1(5≦w1≦n1/2,w1= 2i+1,i∈Z)每次加2，阶数g1(3≦g1，g1∈Z)每次加1，反复迭代计算新的残差，直至ε1大于s1，停止迭代，此时得到参数w1、g1即为SG滤波最优参数，同样的方法得到w2、g2、w3、g3；
进一步的，所述步骤3具体包括如下过程：使用步骤2得到的最优参数在对应的A1、A2、A3区间内执行滑动窗口多项式拟合，每个点的拟合系数为p[p0、p1...pg-2、pg-1]，即：
Figure SMS_21
；
其中，
Figure SMS_22
；
根据拟合系数计算此多项式在窗口中心点处的一阶、二阶导数，计算公式为：
Figure SMS_23
；
Figure SMS_24
；
在窗口中心处i=0；
Figure SMS_25
，/>
Figure SMS_26
；
按照上述公式，滑动窗口逐点计算窗口中心点导数值，直接得到滤波后的一阶导数
Figure SMS_27
和二阶导数/>
Figure SMS_28
。
根据本申请的另一方面，还提供一种适用于近红外水果无损检测的光谱预处理装置，其包括：
吸光度计算模块，用于测定吸光度；
噪音分布计算模块，用于使用二阶差分计算其光谱数据的总体噪音分布；
最优滤波参数计算模块：用于根据噪音分布对光谱数据进行自适应阈值分割，形成多个分割区间，在每个分割区间内计算各自区间的噪音，以残差小于噪音阈值为优化目标对原始光谱各区间进行循环自适应参数SG滤波，以获得最优滤波参数；
多项式拟合模块：用于使用最优滤波参数在各自区间内对光谱数据进行滑动多项式拟合，对每个点的拟合多项式在当前点处求导；
所有点导数计算模块：用于逐点计算吸光度数据所有点的导数。
根据本申请的再一方面，还提供一种计算机可读介质，该计算机可读介质存储有处理器可执行的程序代码，所述程序代码使所述处理器执行如权利要求1-6任一所述的光谱预处理方法。
本发明根据水果近红外无损检测的光谱数据特点，提出分段自适应参数滤波方法，在不同信噪比区间找到不同的最优滤波参数，减少现有滤波方法的欠拟合和过拟合问题；针对微分法处理基线平移和漂移增加的噪音问题，直接求取多项式拟合后的函数在数据点处的导数，将滤波和求导过程统一到一步完成，有效降低了微分求导增加的噪音，提高了数据质量，为后续建模提供了良好的基础。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：
图1为本发明实施例的光谱预处理方法的流程图；
图2为反映吸光度序列A0的噪音分布的A″示意图。
具体实施方式
下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
本发明实施例提供一种适用于近红外水果无损检测的光谱预处理方法，其流程图如图1所示，包括：
过程1：测定待测样本的吸光度；
过程1：计算吸光度的二阶差分；
过程2：根据二阶差分结果选取最优区间分割；
过程3：计算各区间总体噪音；
过程4：以噪音为阈值搜寻最优滤波参数；
过程5：对吸光度数据使用最优参数在滑动窗口内拟合多项式函数；
过程6：根据多项式系数求取函数在窗口中心点处的导数；
过程7：逐点计算吸光度数据所有点导数；
过程8：结束。
其中，过程2-过程4的根据二阶差分结果选取最优区间分割，计算各区间总体噪音，以噪音为阈值搜寻最优滤波参数，具体是：根据噪音分布对光谱数据进行自适应阈值分割，形成多个分割区间，在每个分割区间内计算各自区间的噪音，以残差小于噪音阈值为优化目标对原始光谱各区间进行循环自适应参数SG滤波，找到最优滤波参数；
其中，过程5具体是使用最优滤波参数在各自区间内对光谱数据进行滑动多项式拟合，对每个点的拟合多项式在当前点处求导。
通过划分区间和寻找最优参数的方法是对现有SG滤波改进，并将SG滤波和导数融合在一起一步完成，有效提高求导后的数据质量。
具体的，作为一个具体的实施例，其光谱预处理具体包括如下步骤：
步骤1：关闭光源，分别放入标定白球和水果样本，打开光谱仪采集白球和水果样本背面光谱数据iw和i0作为光谱仪的本底信号，再开灯预热30分钟后分别采集白球和水果样本透射近红外光谱Iw和I0，执行计算吸光度A操作，计算公式为：
Figure SMS_29
；
步骤2：对吸光度序列A做区间截取，取580nm-1000nm区间波段生成新的吸光度序列A0，对A0执行二阶差分操作，方法为使用[1,-2,1]算子对A0滑动卷积，生成吸光度二阶差分序列A″，A″可以反映吸光度序列A0的噪音分布(如图2所示)；
步骤3：根据吸光度二阶差分序列A″找到噪音最佳区间分割，根据水果近红外透射光谱数据特点，预设两个分割点t1：650nm和t2：870nm，分成三个分割区间。由于光栅型近红外光谱仪特点是在近红外区间灵敏度低于可见光区间，因此本申请创新性的分区间进行计算噪音。此外，由于水果主要成分吸收波段在800-950区间，所以尤其需要在这个区间提高信号质量。设置区间时，可以设置多个，鉴于区间越多计算量越大，根据水果近红外光谱特点，本申请人根据大量实验，设置3个区间最为适合，并分别设置两个分割点为t1：650nm和t2：870nm。当然，t1和t2的数值不一定是650nm和870nm，t1可以选取范围650nm±50nm，t2可以选取范围为870nm±50nm。
分成的三个区间内光谱点数分别为n1、n2、n3，三个区间内的光谱平均值分别为m1、m2、m3,总体光谱平均值为m0，计算此时的区间类间方差f(t1,t2)=
Figure SMS_30
，类间方差/>
Figure SMS_31
的算术平方根为类间标准差/>
Figure SMS_32
,类间方差/>
Figure SMS_33
的计算过程为：
光谱落入三个区间的概率分别记为q1、q2和q3，则：
Figure SMS_34
；
满足以下关系：
Figure SMS_35
；
类间方差
Figure SMS_36
的表达式为：
Figure SMS_37
；
使用优化算法(例如模拟退火算法)，设立循环次数上限1000次，反复随机调整分割点t1、t2(580<t1<t2<1000)，计算新的f(t1,t2)，循环结束找到的最大的类间方差对应的(t1,t2)：
Figure SMS_38
；
Figure SMS_39
；
此时的分割点t1、t2即为最优分割点，将吸光度二阶差分序列A″分割为A1″、A2″、A3″三部分；
步骤4：分别计算A1″、A2″、A3″的平均噪音s1、s2、s3，计算方法为：
以A1″为例，将A1″等分为L个区间Segi(i=0,1,2...L-1)，每个区间内数据点数为n，计算每个区间内数据的平均值v和标准差σ，找到其中标准差最小的那个区间Segi，平均值为vi，标准差为σi，以一个宽度为n的窗口覆盖Segi区间，向右滑动检测，每次移动一个数据点，计算这个数据点是否属于[vi-3σi,vi+3σi]区间，如果是，则保持该点不变，如果不是，则将该点用当前窗口内数据的平均值代替，重复上述步骤，直至右边所有数据全部检测完毕，用同样的方法检测左侧数据，最后计算处理后的A1″的标准差σA1,同样的方法计算A2″、A3″的标准差σA2、σA3；
Figure SMS_40
,/>
Figure SMS_41
,/>
Figure SMS_42
；
步骤5：用分割点t1、t2将吸光度序列A0分割成区间A1、A2、A3，三个区间内光谱点数分别为n1、n2、n3，分别在各个区间内使用SG滤波，初始参数为窗口w=5，阶数g=3，滤波后数据分别为
Figure SMS_43
、/>
Figure SMS_44
、/>
Figure SMS_45
,残差ε1、ε2、ε3，残差按下式计算：
Figure SMS_46
；
Figure SMS_47
；
Figure SMS_48
；
遍历参数，先固定阶数，遍历窗口，窗口w1(5≦w1≦n1/2,w1= 2i+1,i∈Z)每次加2，阶数g1(3≦g1，g1∈Z)每次加1，反复迭代计算新的残差，直至ε1大于s1，停止迭代，此时得到参数w1、g1为SG滤波最优参数，同样的方法得到w2、g2、w3、g3；
步骤6：使用步骤5得到的最优参数在对应的A1、A2、A3区间内执行滑动窗口多项式拟合，每个点的拟合系数为p[p0、p1...pg-2、pg-1]，即：
Figure SMS_49
；
其中，
Figure SMS_50
；
根据拟合系数计算此多项式在窗口中心点处的一阶、二阶导数，计算公式为：
Figure SMS_51
；
Figure SMS_52
；
在窗口中心处i=0；
Figure SMS_53
，/>
Figure SMS_54
；
按照上述公式，滑动窗口逐点计算窗口中心点导数值，直接得到滤波后的一阶导数
Figure SMS_55
和二阶导数/>
Figure SMS_56
。
本发明通过上述方案，具有如下优点：1、结合水果透射光谱特性按信噪比划分最优区间，在各区间内以区间平均噪音为阈值限制寻找最优滤波参数，从而取得信噪比的一、二阶导数，从而可有效减少微分求导增加的噪音，进而提高数据质量。现有技术中，SG滤波是一种很常用的滤波方法，本发明通过对SG滤波进行优化，增加最优区间分割步骤，计算每段区间噪音，以噪音为优化阈值调整滤波参数，这样能保证各区间使用的都是最优参数；2、现有技术中的方案一般是直接差分求导，而直接差分求导会增加噪音，每增加一阶导数都会增加一次噪音，导致二阶导信噪比很低，本发明采用拟合函数求导代替差分运算，从而进一步减少微分求导增加的噪音；3、本发明将优化后的SG滤波和求导融合，有效减少常用的差分求导格外附加的噪音，提高了数据质量，为后续建模提供了良好的基础。
本发明实施例还提供一种计算机可读介质，该计算机可读介质存储有处理器可执行的程序代码，所述程序代码使所述处理器执行上述光谱预处理方法。
本发明实施例还提供一种适用于近红外水果无损检测的光谱预处理装置，其包括：
吸光度计算模块，用于测定吸光度；
噪音分布计算模块，用于使用二阶差分计算其光谱数据的总体噪音分布；
最优滤波参数计算模块：用于根据噪音分布对光谱数据进行自适应阈值分割，形成多个分割区间，在每个分割区间内计算各自区间的噪音，以残差小于噪音阈值为优化目标对原始光谱各区间进行循环自适应参数SG滤波，以获得最优滤波参数；
多项式拟合模块：用于使用最优滤波参数在各自区间内对光谱数据进行滑动多项式拟合，对每个点的拟合多项式在当前点处求导；
所有点导数计算模块：用于逐点计算吸光度数据所有点的导数。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (8)

1.一种适用于近红外水果无损检测的光谱预处理方法，其特征在于：包括：
步骤1：测定吸光度，使用二阶差分计算其光谱数据的总体噪音分布；
步骤2：根据噪音分布对光谱数据进行自适应阈值分割，形成多个分割区间，在每个分割区间内计算各自区间的噪音，以残差小于噪音阈值为优化目标对原始光谱各区间进行循环自适应参数SG滤波，找到最优滤波参数；
步骤3：使用最优滤波参数在各自区间内对光谱数据进行滑动多项式拟合，对每个点的拟合多项式在当前点处求导；
步骤4：逐点计算吸光度数据所有点的导数。
2.根据权利要求1所述的光谱预处理方法，其特征在于：所述步骤1中测定吸光度包括如下过程：关闭光源，分别放入标定白球和水果样本，打开光谱仪采集白球和水果样本背面光谱数据iw和i0作为光谱仪的本底信号，再开灯预热预设时间后分别采集白球和水果样本透射近红外光谱Iw和I0，计算吸光度序列A，其计算公式为：
Figure QLYQS_1
。
3.根据权利要求2所述的光谱预处理方法，其特征在于：所述步骤1中使用二阶差分计算其光谱数据的总体噪音分布，包括如下过程：
对吸光度序列A做区间截取，取预设区间波段生成新的吸光度序列A0；对A0执行二阶差分操作，二阶差分操作是使用[1,-2,1]算子对A0进行滑动卷积，生成吸光度二阶差分序列A″，A″用以反映吸光度序列A0的噪音分布。
4.根据权利要求3所述的光谱预处理方法，其特征在于：所述步骤2具体包括如下过程：
根据吸光度二阶差分序列A″找到噪音最佳区间分割，根据水果近红外透射光谱数据特点，预设两个分割点t1：650nm和t2：870nm，形成三个分割区间；
三个分割区间内的光谱点数分别记为n1、n2、n3，三个分割区间内的光谱平均值分别记为m1、m2、m3,总体光谱平均值为m0，计算此时的区间类间方差f(t1,t2)=
Figure QLYQS_2
，类间方差/>
Figure QLYQS_3
的算术平方根为类间标准差/>
Figure QLYQS_4
,类间方差/>
Figure QLYQS_5
的计算过程为：
光谱落入三个区间的概率分别记为q1、q2和q3，则：
Figure QLYQS_6
；
满足以下关系：
Figure QLYQS_7
；
类间方差
Figure QLYQS_8
的表达式为：
Figure QLYQS_9
；
设立循环次数上限，反复随机调整分割点t1、t2(580<t1<t2<1000)，循环计算新的f(t1,t2)，循环结束找到的最大的类间方差对应的(t1,t2)：
Figure QLYQS_10
；
Figure QLYQS_11
；
此时的分割点t1、t2即为最优分割点，将吸光度二阶差分序列A″分割为A1″、A2″、A3″三部分；
分别计算A1″、A2″、A3″的平均噪音s1、s2、s3；
用分割点t1、t2将吸光度序列A0分割成区间A1、A2、A3，三个区间内光谱点数分别为n1、n2、n3，分别在各个区间内使用SG滤波，初始参数为窗口w=5，阶数g=3，滤波后数据分别为
Figure QLYQS_12
、
Figure QLYQS_13
、/>
Figure QLYQS_14
,残差ε1、ε2、ε3；其中，残差计算公式如下：
Figure QLYQS_15
；
Figure QLYQS_16
；
Figure QLYQS_17
；
遍历参数，先固定阶数，遍历窗口，窗口w1(5≦w1≦n1/2,w1 = 2i+1,i∈Z)每次加2，阶数g1(3≦g1，g1∈Z)每次加1，反复迭代计算新的残差，直至ε1大于s1，停止迭代，此时得到参数w1、g1即为SG滤波最优参数，同样的方法得到w2、g2、w3、g3。
5.根据权利要求4所述的光谱预处理方法，其特征在于：所述分别计算A1″、A2″、A3″的平均噪音s1、s2、s3，具体计算方法为：
以A1″为例，将A1″等分为L个区间Segi(i=0,1,2...L-1)，每个区间内数据点数为n，计算每个区间内数据的平均值v和标准差σ，找到其中标准差最小的那个区间Segi，平均值为vi，标准差为σi，以一个宽度为n的窗口覆盖Segi区间，向右滑动检测，每次移动一个数据点，计算这个数据点是否属于[vi-3σi,vi+3σi]区间，如果是，则保持该点不变，如果不是，则将该点用当前窗口内数据的平均值代替，重复上述步骤，直至右边所有数据全部检测完毕，用同样的方法检测左侧数据，最后计算处理后的A1″的标准差σA1,同样的方法计算A2″、A3″的标准差σA2、σA3；
Figure QLYQS_18
,/>
Figure QLYQS_19
,/>
Figure QLYQS_20
。
6.根据权利要求5所述的光谱预处理方法，其特征在于：所述步骤3具体包括如下过程：使用步骤2得到的最优参数在对应的A1、A2、A3区间内执行滑动窗口多项式拟合，每个点的拟合系数为p[p0、p1...pg-2、pg-1]，即：
Figure QLYQS_21
；
其中
Figure QLYQS_22
；
根据拟合系数计算此多项式在窗口中心点处的一阶、二阶导数，计算公式为：
Figure QLYQS_23
；
Figure QLYQS_24
；
在窗口中心处i=0；
Figure QLYQS_25
，/>
Figure QLYQS_26
；
按照上述公式，滑动窗口逐点计算窗口中心点导数值，直接得到滤波后的一阶导数
Figure QLYQS_27
和二阶导数/>
Figure QLYQS_28
。
7.一种适用于近红外水果无损检测的光谱预处理装置，其特征在于：包括：
吸光度计算模块，用于测定吸光度；
噪音分布计算模块，用于使用二阶差分计算其光谱数据的总体噪音分布；
最优滤波参数计算模块：用于根据噪音分布对光谱数据进行自适应阈值分割，形成多个分割区间，在每个分割区间内计算各自区间的噪音，以残差小于噪音阈值为优化目标对原始光谱各区间进行循环自适应参数SG滤波，以获得最优滤波参数；
多项式拟合模块：用于使用最优滤波参数在各自区间内对光谱数据进行滑动多项式拟合，对每个点的拟合多项式在当前点处求导；
所有点导数计算模块：用于逐点计算吸光度数据所有点的导数。
8.一种计算机可读介质，其特征在于：该计算机可读介质存储有处理器可执行的程序代码，所述程序代码使所述处理器执行如权利要求1-6任一所述的光谱预处理方法。
CN202310604351.2A 2023-05-26 2023-05-26 一种适用于近红外水果无损检测的光谱预处理方法及装置 Active CN116388733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310604351.2A CN116388733B (zh) 2023-05-26 2023-05-26 一种适用于近红外水果无损检测的光谱预处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310604351.2A CN116388733B (zh) 2023-05-26 2023-05-26 一种适用于近红外水果无损检测的光谱预处理方法及装置

Publications (2)

Publication Number Publication Date
CN116388733A true CN116388733A (zh) 2023-07-04
CN116388733B CN116388733B (zh) 2023-08-22

Family

ID=86965958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310604351.2A Active CN116388733B (zh) 2023-05-26 2023-05-26 一种适用于近红外水果无损检测的光谱预处理方法及装置

Country Status (1)

Country Link
CN (1) CN116388733B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117059188A (zh) * 2023-10-12 2023-11-14 中国空气动力研究与发展中心计算空气动力研究所 一种化学非平衡气体热力学平衡能量体系改进方法及系统
CN117556246A (zh) * 2024-01-09 2024-02-13 电信科学技术第五研究所有限公司 一种从载波混合信号中分离出单波信号的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110071807A1 (en) * 2008-05-28 2011-03-24 Philippe Hubert Analysing spectral data for the selection of a calibration model
KR20130021905A (ko) * 2011-08-24 2013-03-06 강원대학교산학협력단 근적외 분광분석법을 이용한 녹차 데아닌, 가바 및 글루탐산의 개별 함량 동시 측정방법
CN103217409A (zh) * 2013-03-22 2013-07-24 重庆绿色智能技术研究院 一种拉曼光谱预处理方法
CN107132198A (zh) * 2017-04-18 2017-09-05 浙江中烟工业有限责任公司 一种近红外光谱数据预处理方法
CN112669915A (zh) * 2020-11-06 2021-04-16 西安理工大学 一种基于神经网络与近红外光谱的梨无损检测方法
CN115754184A (zh) * 2022-09-20 2023-03-07 浙江省农业科学院 一种鲑鱼土腥味快速检测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110071807A1 (en) * 2008-05-28 2011-03-24 Philippe Hubert Analysing spectral data for the selection of a calibration model
KR20130021905A (ko) * 2011-08-24 2013-03-06 강원대학교산학협력단 근적외 분광분석법을 이용한 녹차 데아닌, 가바 및 글루탐산의 개별 함량 동시 측정방법
CN103217409A (zh) * 2013-03-22 2013-07-24 重庆绿色智能技术研究院 一种拉曼光谱预处理方法
CN107132198A (zh) * 2017-04-18 2017-09-05 浙江中烟工业有限责任公司 一种近红外光谱数据预处理方法
CN112669915A (zh) * 2020-11-06 2021-04-16 西安理工大学 一种基于神经网络与近红外光谱的梨无损检测方法
CN115754184A (zh) * 2022-09-20 2023-03-07 浙江省农业科学院 一种鲑鱼土腥味快速检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘志宏;邓波;周玉荣;庞小峰;张晓春;: "红外光谱预处理中去噪的研究", 光谱实验室, vol. 23, no. 04, pages 815 - 819 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117059188A (zh) * 2023-10-12 2023-11-14 中国空气动力研究与发展中心计算空气动力研究所 一种化学非平衡气体热力学平衡能量体系改进方法及系统
CN117059188B (zh) * 2023-10-12 2024-01-23 中国空气动力研究与发展中心计算空气动力研究所 一种化学非平衡气体热力学平衡能量体系改进方法及系统
CN117556246A (zh) * 2024-01-09 2024-02-13 电信科学技术第五研究所有限公司 一种从载波混合信号中分离出单波信号的方法
CN117556246B (zh) * 2024-01-09 2024-03-19 电信科学技术第五研究所有限公司 一种从载波混合信号中分离出单波信号的方法

Also Published As

Publication number Publication date
CN116388733B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN116388733B (zh) 一种适用于近红外水果无损检测的光谱预处理方法及装置
He et al. Baseline correction for Raman spectra using an improved asymmetric least squares method
Koch et al. Iterative morphological and mollifier‐based baseline correction for Raman spectra
US7620674B2 (en) Method and apparatus for enhanced estimation of an analyte property through multiple region transformation
CN108844939B (zh) 基于非对称加权最小二乘的拉曼光谱检测基线校正方法
Člupek et al. Noise reduction in Raman spectra: Finite impulse response filtration versus Savitzky–Golay smoothing
US20060017923A1 (en) Analyte filter method and apparatus
CN107796777A (zh) 一种低浓度紫外差分气体分析仪的数据处理方法
Zhao et al. The parameters optimization selection of Savitzky-Golay filter and its application in smoothing pretreatment for FTIR spectra
CN108802002B (zh) 一种快速无损鉴别解除滞育的蚕卵拉曼光谱模型构建方法
CN116818739A (zh) 一种基于光学的吲哚菁绿检测方法
Gebrekidan et al. Vector casting for noise reduction
CN111157484A (zh) 用于水果糖度检测设备的近红外光谱模型传递方法
Foca et al. Minimisation of instrumental noise in the acquisition of FT-NIR spectra of bread wheat using experimental design and signal processing techniques
Chen et al. Removal of major interference sources in aqueous near-infrared spectroscopy techniques
CN117194902A (zh) 一种光谱测量过程中噪声数据滤除方法
Chen et al. Elimination of interference information by a new hybrid algorithm for quantitative calibration of near infrared spectra
US10627289B1 (en) Raman signal position correction using relative integration parameters
CN117007184A (zh) 一种光谱的全自动光谱基线校正方法
CN115950827A (zh) 一种降低开放光路光谱检测信号噪声影响的方法
CN115146219A (zh) 基于导数光谱和三次平滑的拉曼光谱尖峰去除方法和系统
Zhu et al. Improved Savitzky-Golay filtering algorithm for measuring a pharmaceutical vial’s oxygen content based on wavelength modulation spectroscopy
CN109324017B (zh) 一种提高近红外光谱分析技术建模光谱质量的方法
CN110567932B (zh) 气体拉曼光谱的处理方法及处理装置
CN117007577B (zh) 一种污染物毒性智能检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231225

Address after: Building 2, No.1 Wuxian East Road, Zhihe Street, Pengzhou City, Chengdu City, Sichuan Province

Patentee after: Aopu Tiancheng (Chengdu) Information Technology Co.,Ltd.

Address before: 361000, 5th Floor, Building 02, Zone F, Software Park Phase III, Jimei District, Xiamen City, Fujian Province

Patentee before: OPTOSKY (XIAMEN) OPTOELECTRONIC CO.,LTD.