CN109558843B - 基于小波包分析的近红外光谱信号处理方法及系统 - Google Patents
基于小波包分析的近红外光谱信号处理方法及系统 Download PDFInfo
- Publication number
- CN109558843B CN109558843B CN201811456920.9A CN201811456920A CN109558843B CN 109558843 B CN109558843 B CN 109558843B CN 201811456920 A CN201811456920 A CN 201811456920A CN 109558843 B CN109558843 B CN 109558843B
- Authority
- CN
- China
- Prior art keywords
- matrix
- wavelet packet
- spectrum
- frequency band
- groups
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 17
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000001228 spectrum Methods 0.000 claims description 92
- 239000011159 matrix material Substances 0.000 claims description 60
- 239000007787 solid Substances 0.000 claims description 48
- 230000003595 spectral effect Effects 0.000 claims description 31
- 238000000354 decomposition reaction Methods 0.000 claims description 24
- 239000006185 dispersion Substances 0.000 claims description 17
- 235000013399 edible fruits Nutrition 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 241000220225 Malus Species 0.000 description 21
- 235000021016 apples Nutrition 0.000 description 12
- 238000001514 detection method Methods 0.000 description 7
- 235000010724 Wisteria floribunda Nutrition 0.000 description 6
- 238000009659 non-destructive testing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012372 quality testing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 244000061176 Nicotiana tabacum Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 239000012153 distilled water Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000015203 fruit juice Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005360 mashing Methods 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 150000007524 organic acids Chemical class 0.000 description 1
- 235000005985 organic acids Nutrition 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 235000010987 pectin Nutrition 0.000 description 1
- 229920001277 pectin Polymers 0.000 description 1
- 239000001814 pectin Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本公开提供了一种基于小波包分析的近红外光谱信号处理方法及系统,先采集样品光谱,然后运用小波包阈值去噪法对原始光谱矩阵处理,运用马氏距离计算离群样本并剔除,运用小波包分解对每个频段的光谱信息进行离散度分析找出无关变量并剔除,最后通过偏最小二乘法计算光谱的主成分,对光谱进行小波包分解计算底层结点小波包系数的重构系数方差,主成分与方差组合作为光谱特征,运用特征进行建模。本公开减少了冗余变量,提高了建模速度与精度。
Description
技术领域
本公开涉及一种基于小波包分析的近红外光谱信号处理方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
近年来近红外无损检测凭借其快速、高效、简便、无损伤及准确性高等特点在水果内部无损检测等方面得到广泛应用,因此,运用近红外技术对红富士苹果内部品质检测具有可行性。
在快速无损检测中,由于仪器扫描速度快、外部环境等对光源、机器的使得所得的近红外光谱混有噪声干扰,并由于检测环境或检测仪器的影响存在异常样本,又因为波长变量繁多,部分波长与可溶性固形物含量没有线性关系,以上原因大大影响了光谱数据分析的准确性,因此需要对光谱数据进行预处理、提取光谱特征以提高建模精度。选择合适有效的方法对光谱进行预处理对数据模型的建立至关重要。现国内外对的可溶性固形物含量的预测研究并没有针对水果,因此对水果的糖度含量的预测不具备通用性。
发明内容
本公开为了解决上述问题,提出了一种基于小波包分析的近红外光谱信号处理方法及系统,本公开特别面向于水果,克服了由于检测环境、检测仪器自身等其他原因产生的光谱干扰,剔除了无关光谱变量,提取光谱特征值使得建模效果达到了较高的水平。
根据一些实施例,本公开采用如下技术方案:
一种基于小波包分析的近红外光谱信号处理方法,采集样品光谱,然后运用小波包阈值去噪法对原始光谱矩阵处理,运用马氏距离计算离群样本并剔除,运用小波包分解对每个频段的光谱信息进行离散度分析找出无关变量并剔除,最后通过偏最小二乘法计算光谱的主成分,对光谱进行小波包分解计算底层结点小波包系数的重构系数方差,主成分与方差组合作为光谱特征,运用特征进行建模。
一种基于小波包分析的近红外光谱信号处理方法,包括以下步骤:
(1)分别采集多次水果赤道的不同位置的光谱,并取平均光谱,得到光谱矩阵,获取对应水果的可溶性固形物含量,得到可溶性固形物含量矩阵;
(2)选择p组可溶性固形物含量相同的光谱,分别进行小波包分解,得到多频带的光谱信息,对每个频带的小波系数进行重构,对各组数据在每个频带进行离散度分析;
(3)选择m组可溶性固形物含量不同的平均光谱,对m组光谱数据进行小波包分解,对各个频带内的光谱进行离散度分析;
(4)提取步骤(2)和步骤(3)中离散后的波长中的重复波长,将样品光谱对应重复波长中的波长剔除;
(5)运用偏最小二乘回归法计算剔除了重复波长的光谱矩阵中前z个成分得到成分矩阵g,对每一条光谱进行小波包分解,并对底层节点进行系数重构,计算重构系数的方差,得到特征矩阵;
(6)运用偏最小二乘,通过特征矩阵与可溶性固形物含量矩阵,建立水果可溶性固形物含量预测模型。
作为进一步的限定,所述步骤(1)中,对每条光谱数据进行小波包阈值去噪,得到经过去噪处理的光谱矩阵,利用马氏距离计算离群样本并剔除算得的异常样本。
作为进一步的限定,所述步骤(2)中,对每个频带的小波系数进行重构,对p组数据在每个频带进行离散度分析,即计算p组数据在每一频带的标准差,取各频带标准差最大的点所对应的波长,得到2^n个波长。
作为进一步的限定,所述步骤(2)中,选择多组可溶性固形物含量不同的平均光谱,在测试号的样本中,选择可溶性固形物含量不同的多个光谱各若干组,分别计算平均光谱,得到多组可溶性固形物含量相差超过设定值的光谱,再进行小波包分析,采用shannon熵标准来确定最优小波包基,进而对光谱进行n层小波包分解,得到2^n个频带,分别对这2^n个频带的小波系数进行重构,得到2^n个频带的光谱信息。
作为进一步的限定,所述步骤(2)中,每一个频带的标准差,标准差越大说明数据越离散,标准差越小说明数据的离散度越小。
作为进一步的限定,所述步骤(3)中,计算每一频带内的标准差,取各频带标准差最小的点所对应的波长,得到2^n个波长。
作为进一步的限定,所述步骤(5)中,对矩阵D中的每一条光谱进行小波包分解,并对底层多个节点进行系数重构,计算重构系数的方差,到矩阵y,将成分矩阵g和矩阵y组合在一起即得到特征矩阵。
一种基于小波包分析的近红外光谱信号处理系统,运行于处理器或存储器上,被配置为执行以下步骤:
(1)分别采集多次水果赤道的不同位置的光谱,并取平均光谱,得到光谱矩阵,获取对应水果的可溶性固形物含量,得到可溶性固形物含量矩阵;
(2)选择p组可溶性固形物含量相同的光谱,分别进行小波包分解,得到多频带的光谱信息,对每个频带的小波系数进行重构,对各组数据在每个频带进行离散度分析;
(3)选择m组可溶性固形物含量不同的平均光谱,对m组光谱数据进行小波包分解,对各个频带内的光谱进行离散度分析;
(4)提取步骤(2)和步骤(3)中离散后的波长中的重复波长,将样品光谱对应重复波长中的波长剔除;
(5)运用偏最小二乘回归法计算剔除了重复波长的光谱矩阵中前z个成分得到成分矩阵g,对每一条光谱进行小波包分解,并对底层节点进行系数重构,计算重构系数的方差,得到特征矩阵;
(6)运用偏最小二乘,通过特征矩阵与可溶性固形物含量矩阵,建立水果可溶性固形物含量预测模型。
与现有技术相比,本公开的有益效果为:
本公开采用的是小波包分析的方法首先对光谱进行阈值消噪,然后在不同频段内对光谱进行分析,计算与可溶性固形物含量无关的波长变量,并将样品光谱所对应的变量剔除,既减少了变量数,又增加了模型的预测精度,对于近红外光谱预处理,建立预测精度高的模型,提高近红外水果品质预测技术具有重要意义。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为原始光谱矩阵;
图2为光谱对应化学值分布;
图3为离群样本;
图4为剔除异常样本的光谱矩阵;
图5为小波包分解后某一频段的离散度分析;
图6为原始数据建模效果;
图7为光谱矩阵经过预处理和无关变量剔除后建模效果;
图8为本申请的流程图。
具体实施方式:
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中,术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,只是为了便于叙述本公开各部件或元件结构关系而确定的关系词,并非特指本公开中任一部件或元件,不能理解为对本公开的限制。
本公开中,术语如“固接”、“相连”、“连接”等应做广义理解,表示可以是固定连接,也可以是一体地连接或可拆卸连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员,可以根据具体情况确定上述术语在本公开中的具体含义,不能理解为对本公开的限制。
在本实施例中,以苹果为例进行说明。
苹果中含有丰富的糖类、有机酸、果胶及维生素等营养物质,其具有营养价值高,耐贮性好且环境适应强等优点,已成为我国国民膳食结构中的重要组成部分。在保证苹果产量和质量的同时,加强苹果的采后商品化处理,提升产品附加值。这是提高苹果产业乃至整个水果生产业国际竞争力的重要手段,也是开发国际市场的关键。可溶性固形物含量是反映苹果内部品质的重要指标,因此可以通过对苹果可溶性固形物含量的检测来判定苹果的内部品质。红富士苹果是占苹果产量比重最大的果品之一,也是主要的苹果出口品种,因此对红富士的内部品质研究具有重要意义。近年来近红外无损检测凭借其快速、高效、简便、无损伤及准确性高等特点在水果内部无损检测等方面得到广泛应用,因此,运用近红外技术对红富士苹果内部品质检测具有可行性。
本实施例提供一种面向红富士苹果的近红外光谱预处理及波长筛选流程,方法克服了由于检测环境、检测仪器自身等其他原因产生的光谱干扰,剔除了无关光谱变量,提取光谱特征值使得建模效果达到了较高的水平。
如图8所示,具体技术方案包括:
1)近红外光谱仪采集苹果样品的近红外光谱,采集方法:分别采集三次苹果赤道的不同位置的光谱,并取平均光谱,得到光谱矩阵A;
2)获取对应苹果的可溶性固形物含量,得到可溶性固形物含量矩阵S;
3)每个样本的近红外光谱数据为x(1*m),m为波长变量数;
4)首先对每条光谱数据进行小波包阈值去噪,得到经过去噪处理的光谱矩阵B;
5)其次利用马氏距离计算离群样本并剔除算得的异常样本,得到矩阵C;
6)选择p组可溶性固形物含量相同的光谱,p组光谱信号进行n层小波包分解,得到2^n个频带的光谱信息,对每个频带的小波系数进行重构,对p 组数据在每个频带进行离散度分析,即计算p组数据在每一频带的标准差,取各频带标准差最大的点所对应的波长,得到2^n个波长a=[a1,a2,...,a2^n];
7)选择12组可溶性固形物含量不同的平均光谱,同样的方法对12组光谱数据进行n层小波包分解,对内个频带内的光谱进行离散度分析。即计算每一频带内的标准差,取各频带标准差最小的点所对应的波长,得到2^n个波长 b=[b1,b2,...,b2^n];
8)提取a,b所得波长的重复波长r=[x1,x2,…],认为r为与可溶性固形物无线性关系的波长变量矩阵;
9)根据8)所算得的重复波长r,将样品光谱对应的r中的波长剔除,进而得到筛除无关变量的矩阵D;
10)运用偏最小二乘回归法计算矩阵D的前z个成分得到成分矩阵g;
11)对矩阵D中的每一条光谱进行3层小波包分解,并对底层8个节点进行系数重构,计算重构系数的方差,到矩阵y;
12)将矩阵g和y组合在一起即得到特征矩阵E;
13)最后运用偏最小二乘,通过矩阵E与S,建立红富士苹果可溶性固形物含量预测模型,对处理过程进行评价;
进一步的步骤6),具体为:
选择九组可溶性固形物含量不同的平均光谱,于测好的苹果样品中,选择可溶性固形物含量不同的九个光谱各十组,分别计算平均光谱,得到九组可溶性固形物含量相差较大的光谱。
进一步的对九组光谱数据进行小波包分析,采用shannon熵标准来确定最优小波包基,进而对光谱进行n层小波包分解,得到2^n个频带,分别对这2^n 个频带的小波系数进行重构,得到2^n个频带的光谱信息。
进一步的计算9组光谱数据在每一个频带的标准差,标准差越大说明数据越离散,标准差越小说明数据的离散度越小。由于9组平均光谱数据的可溶性固形物含量差距较大,所以认为每一频段内最小的标准差所对应的波长为无关量。
与步骤5)计算的无关量对比,确定重复的光谱为无关波长变量。
小波包分析的方法首先对光谱进行阈值消噪,然后在不同频段内对光谱进行分析,计算与可溶性固形物含量无关的波长变量,并将样品光谱所对应的变量剔除,既减少了变量数,又增加了模型的预测精度,对于近红外光谱预处理,建立预测精度高的模型,提高近红外水果品质预测技术具有重要意义。
步骤10)的具体计算方法为:
首先将数据做标准化处理。X经标准化处理后的数据矩阵记为 E0=(E01,…,E0p)n×p,Y的相应矩阵记为F0=(F01,…,F0q)n×q。
M=E0’*F0*F0’*E0;
计算M的特征值VEC和特征向量VAL,提取最大特征值对应的特征向量W, 第一个主成分为:t1=E0*W
alpha=E0'*t1/(t1'*t1);
chg=chg*(eye(1557)-W*alpha');(chg初始值为eye(1557))
E=E0-t1*alpha';
E0=E;
第二个,第三个...主成分循环以上步骤;
具体的,本实例采用400个山东烟台栖霞生产的红富士为实验对象,对新的近红外光谱的预处理方法进行详细说明。
1)采集样品的近红外光谱数据,具体过程:我们使用Thermo Fisher的 antarisII的近红外检测仪,采集波数范围为4000-10000cm-1的样品光谱,分辨率为8.0cm-1。将洁净的样品的赤道部位置于窗片上,采用积分球漫反射采样模块,对样品进行32次扫描,每个样品采集3次赤道不同部位的光谱并求平均光谱,以此作为样品光谱。光谱图见图1
2)利用折射仪法检测样品的可溶性固形物含量,具体过程:样品洗净,取可食部分切碎、混匀,立即放入研钵中进行捣碎。在20℃条件下用蒸馏水校准折射仪,将可溶性固形物含量读数调整至0。保持测定温度稳定用柔软绒布擦净棱镜表面,胶头滴管取果汁,滴在折光仪的棱镜上,轻轻合上盖板,避免气泡产生,使溶液遍布棱镜表面。将仪器进光板对准光源和明亮处,眼睛通过目镜观察视场,转动目镜调节手轮,使视场的蓝白分界线清晰。分界线的刻度值即为溶液的浓度。
3)对400条样本光谱数据进行sqtwolog阈值去噪。根据实验比对选择 db4作为基函数,分解层数为3,采用采用shannon熵标准来确定最优小波包基。比较默认阈值和Rigrsure,sqtwolog,Heursure,Manimax四种常用的阈值选取规则进行阈值去噪,发现sqtwolog长度对数准则更适合本次所研究的苹果近红外光谱的去噪。对比结果如下表:
y1 | y2 | y3 | |
原SNR | 44.5933 | 44.5933 | 44.5933 |
heursure | 44.8018 | 48.8120 | 47.1257 |
rigrsure | 44.7976 | 48.8111 | 47.1229 |
sqtwolog | 44.8517 | 48.9069 | 47.2010 |
minimax | 44.8446 | 48.9136 | 47.1993 |
默认阈值 | 44.7588 | 48.6933 | 47.0569 |
4)通过对近红外光谱矩阵的主成分分析得分与马氏距离相结合检测由于检测环境、样本自身等原因产生的异常样本,通过计算检测到9组异常样本,将计算出的9组光谱剔除。
5)计算无关变量。选择了三十组可溶性固形物含量均为13的光谱,以db4小波为基函数,对三十组光谱信号进行7层小波包分解,得到128个频带的光谱信息,对每个频带的小波系数进行重构,计算三十组光谱数据在每一频带的标准差,标准差越大说明数据越离散,而数据样本对应的可溶性固形物相同,所以认为离散度最大的点对应的波长变量为无关量,记为 p1=[x1,x2,…,x64]。选择可溶性固形物含量分别为10,10.5,11,11.5,12, 12.5,13,13.5,14,单位为0Brix.的光谱各十组,分别计算平均光谱,得到九组可溶性固形物含量相差较大的光谱,同样的方法计算每一频带内的标准差,由于样本可溶性固形物含量差距较大,所以认为每一频段内标准差最小的波长为无关量,记为p2=[s1,s2,…,s64]。p1,p2中有62个重叠波长,认为这本光谱中这62个波长变量为无关变量,剔除400组样本光谱这62个变量,剩下的光谱变量组成新的光谱矩阵D。30组光谱图在同一频带内各点的离散度分析见图2。
6)运用偏最小二乘回归法计算矩阵D的前15个成分得到成分矩阵g;
7)对矩阵D中的每一条光谱进行3层小波包分解,并对底层8个节点进行系数重构,计算重构系数的方差,到矩阵y;
8)将矩阵g和y组合在一起即得到特征矩阵E;
9)将未处理的光谱,和经过上述步骤处理后的光谱,通过偏最小二乘与对应的可溶性固形物含量建立模型,建模方法为偏最小二乘(PLS),选择前274条光谱作为建模集后117条光谱作为验证集,PLS的参数选择成份数为15。
10)外部验证对比表:
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (7)
1.一种基于小波包分析的近红外光谱信号处理方法,其特征是:包括以下步骤:
(1)分别采集多次水果赤道的不同位置的光谱,并取平均光谱,得到光谱矩阵,获取对应水果的可溶性固形物含量,得到可溶性固形物含量矩阵;
(2)选择p组可溶性固形物含量相同的光谱,分别进行小波包分解,得到多频带的光谱信息,对每个频带的小波系数进行重构,对各组数据在每个频带进行离散度分析;
(3)选择m组可溶性固形物含量不同的平均光谱,对m组光谱数据进行小波包分解,对各个频带内的光谱进行离散度分析;
(4)提取步骤(2)和步骤(3)中离散后的波长中的重复波长,将样品光谱对应重复波长中的波长剔除;具体为,运用马氏距离计算离群样本并剔除,运用小波包分解对每个频段的光谱信息进行离散度分析找出无关变量并剔除;
(5)运用偏最小二乘回归法计算剔除了重复波长的光谱矩阵中前z个成分得到成分矩阵g,对每一条光谱进行小波包分解,并对底层节点进行系数重构,计算重构系数的方差,得到特征矩阵;
(6)运用偏最小二乘,通过特征矩阵与可溶性固形物含量矩阵,建立水果可溶性固形物含量预测模型。
2.如权利要求1所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是:所述步骤(1)中,对每条光谱数据进行小波包阈值去噪,得到经过去噪处理的光谱矩阵,利用马氏距离计算离群样本并剔除算得的异常样本。
3.如权利要求1所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是:所述步骤(2)中,对每个频带的小波系数进行重构,对p组数据在每个频带进行离散度分析,即计算p组数据在每一频带的标准差,取各频带标准差最大的点所对应的波长,得到2^n个波长。
4.如权利要求1所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是:所述步骤(2)中,选择多组可溶性固形物含量不同的平均光谱,在测试号的样本中,选择可溶性固形物含量不同的多个光谱各若干组,分别计算平均光谱,得到多组可溶性固形物含量相差超过设定值的光谱,再进行小波包分析,采用shannon熵标准来确定最优小波包基,进而对光谱进行n层小波包分解,得到2^n个频带,分别对这2^n个频带的小波系数进行重构,得到2^n个频带的光谱信息。
5.如权利要求1所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是:所述步骤(2)中,每一个频带的标准差,标准差越大说明数据越离散,标准差越小说明数据的离散度越小。
6.如权利要求1所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是:所述步骤(3)中,计算每一频带内的标准差,取各频带标准差最小的点所对应的波长,得到2^n个波长。
7.如权利要求1所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是:所述步骤(5)中,对矩阵D中的每一条光谱进行小波包分解,并对底层多个节点进行系数重构,计算重构系数的方差,到矩阵y,将成分矩阵g和矩阵y组合在一起即得到特征矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811456920.9A CN109558843B (zh) | 2018-11-30 | 2018-11-30 | 基于小波包分析的近红外光谱信号处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811456920.9A CN109558843B (zh) | 2018-11-30 | 2018-11-30 | 基于小波包分析的近红外光谱信号处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109558843A CN109558843A (zh) | 2019-04-02 |
CN109558843B true CN109558843B (zh) | 2020-11-06 |
Family
ID=65868290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811456920.9A Active CN109558843B (zh) | 2018-11-30 | 2018-11-30 | 基于小波包分析的近红外光谱信号处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109558843B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102175775A (zh) * | 2011-01-14 | 2011-09-07 | 河南工业大学 | 基于激光超声融蚀机制的粮食品质检测系统及方法 |
CN102830080A (zh) * | 2011-06-14 | 2012-12-19 | 福建中烟工业有限责任公司 | 一种评判烟用接装纸内在质量稳定性的近红外光谱方法 |
CN103389281A (zh) * | 2012-05-09 | 2013-11-13 | 云南天士力帝泊洱生物茶集团有限公司 | 一种基于近红外光谱技术的普洱茶聚类分析方法 |
CN107219184A (zh) * | 2017-04-24 | 2017-09-29 | 仲恺农业工程学院 | 一种应用于产地溯源的肉类鉴别方法及装置 |
-
2018
- 2018-11-30 CN CN201811456920.9A patent/CN109558843B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102175775A (zh) * | 2011-01-14 | 2011-09-07 | 河南工业大学 | 基于激光超声融蚀机制的粮食品质检测系统及方法 |
CN102830080A (zh) * | 2011-06-14 | 2012-12-19 | 福建中烟工业有限责任公司 | 一种评判烟用接装纸内在质量稳定性的近红外光谱方法 |
CN103389281A (zh) * | 2012-05-09 | 2013-11-13 | 云南天士力帝泊洱生物茶集团有限公司 | 一种基于近红外光谱技术的普洱茶聚类分析方法 |
CN107219184A (zh) * | 2017-04-24 | 2017-09-29 | 仲恺农业工程学院 | 一种应用于产地溯源的肉类鉴别方法及装置 |
Non-Patent Citations (1)
Title |
---|
The Handling Approach of Near-Infrared Spectroscopy for Apple;Ning Zhang 等;《the 37th Chinese Control Conference(CCC)》;20180727;第1-6节 * |
Also Published As
Publication number | Publication date |
---|---|
CN109558843A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
McGlone et al. | Vis/NIR estimation at harvest of pre-and post-storage quality indices for ‘Royal Gala’apple | |
Wang et al. | Comparison of detection modes in terms of the necessity of visible region (VIS) and influence of the peel on soluble solids content (SSC) determination of navel orange using VIS–SWNIR spectroscopy | |
US20210247318A1 (en) | Non-Destructive Detection of Egg Freshness Based on Raman Spectroscopy | |
CN109030407B (zh) | 一种混合模糊c均值聚类的苹果品种分类方法 | |
Gao et al. | Hyperspectral image information fusion-based detection of soluble solids content in red globe grapes | |
CN104280349A (zh) | 一种基于高光谱图像对白萝卜糠心鉴定的方法 | |
Zhang et al. | Uninformative biological variability elimination in apple soluble solids content inspection by using Fourier transform near-infrared spectroscopy combined with multivariate analysis and wavelength selection algorithm | |
CN110715918A (zh) | 单籽粒玉米淀粉含量拉曼高光谱分级方法 | |
CN110308111A (zh) | 一种应用近红外光谱技术快速预测远安黄茶闷黄时间的方法 | |
CN109558843B (zh) | 基于小波包分析的近红外光谱信号处理方法及系统 | |
CN113484278A (zh) | 一种基于光谱和主成分分析的番茄综合品质无损检测方法 | |
XIA et al. | Application of wavelet transform in the prediction of navel orange vitamin C content by near-infrared spectroscopy | |
CN113267458A (zh) | 甘薯可溶性蛋白质含量定量预测模型的建立方法 | |
Subedi et al. | Assessment of titratable acidity in fruit using short wave near infrared spectroscopy. Part B: intact fruit studies | |
Wang et al. | Application of visible/near-infrared spectroscopy combined with machine vision technique to evaluate the ripeness of melons (Cucumis melo L.) | |
CN106872396A (zh) | 一种不同近红外仪器测定葡萄糖度模型转换的方法 | |
CN112924410B (zh) | 发芽葵花籽的太赫兹光谱快速识别方法 | |
Zhan et al. | Determination of SSC and TA content of pear by Vis-NIR spectroscopy combined CARS and RF algorithm | |
Zhang et al. | The Handling Approach of Near-Infrared Spectroscopy for Apple Quality Prediction Based on Digital Signal Processing | |
CN112763448A (zh) | 一种基于atr-ftir技术的米糠中多糖含量的快速检测方法 | |
CN104568770B (zh) | 无监督可能模糊学习矢量量化的生菜品种光谱鉴别方法 | |
Zhang | Shatang mandarin sugar degree detection based on near infrared spectrum | |
AU2021102544A4 (en) | Rapid evaluation of Rosa roxburghii fruit quality by near-infrared spectroscopy | |
查启明 et al. | Hyperspectral detection of soluble solids content on apple based on GA-SVR | |
CN112304921B (zh) | 一种基于拉曼光谱技术检测桑椹中花色素苷的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |