CN109558843A - 基于小波包分析的近红外光谱信号处理方法及系统 - Google Patents
基于小波包分析的近红外光谱信号处理方法及系统 Download PDFInfo
- Publication number
- CN109558843A CN109558843A CN201811456920.9A CN201811456920A CN109558843A CN 109558843 A CN109558843 A CN 109558843A CN 201811456920 A CN201811456920 A CN 201811456920A CN 109558843 A CN109558843 A CN 109558843A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- wavelet packet
- frequency band
- matrix
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 40
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000001228 spectrum Methods 0.000 claims abstract description 110
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 29
- 239000006185 dispersion Substances 0.000 claims abstract description 20
- 230000003595 spectral effect Effects 0.000 claims abstract description 20
- 239000007787 solid Substances 0.000 claims description 54
- 235000013399 edible fruits Nutrition 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 19
- 238000004611 spectroscopical analysis Methods 0.000 claims description 14
- 239000004615 ingredient Substances 0.000 claims description 9
- 238000010238 partial least squares regression Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000009659 non-destructive testing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 239000012153 distilled water Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000015203 fruit juice Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 230000000050 nutritive effect Effects 0.000 description 1
- 150000007524 organic acids Chemical class 0.000 description 1
- 235000010987 pectin Nutrition 0.000 description 1
- 229920001277 pectin Polymers 0.000 description 1
- 239000001814 pectin Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本公开提供了一种基于小波包分析的近红外光谱信号处理方法及系统，先采集样品光谱，然后运用小波包阈值去噪法对原始光谱矩阵处理，运用马氏距离计算离群样本并剔除，运用小波包分解对每个频段的光谱信息进行离散度分析找出无关变量并剔除，最后通过偏最小二乘法计算光谱的主成分，对光谱进行小波包分解计算底层结点小波包系数的重构系数方差，主成分与方差组合作为光谱特征，运用特征进行建模。本公开减少了冗余变量，提高了建模速度与精度。
Description
技术领域
本公开涉及一种基于小波包分析的近红外光谱信号处理方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
近年来近红外无损检测凭借其快速、高效、简便、无损伤及准确性高等特点在水果内部无损检测等方面得到广泛应用，因此，运用近红外技术对红富士苹果内部品质检测具有可行性。
在快速无损检测中，由于仪器扫描速度快、外部环境等对光源、机器的使得所得的近红外光谱混有噪声干扰，并由于检测环境或检测仪器的影响存在异常样本，又因为波长变量繁多，部分波长与可溶性固形物含量没有线性关系，以上原因大大影响了光谱数据分析的准确性，因此需要对光谱数据进行预处理、提取光谱特征以提高建模精度。选择合适有效的方法对光谱进行预处理对数据模型的建立至关重要。现国内外对的可溶性固形物含量的预测研究并没有针对水果，因此对水果的糖度含量的预测不具备通用性。
发明内容
本公开为了解决上述问题，提出了一种基于小波包分析的近红外光谱信号处理方法及系统，本公开特别面向于水果,克服了由于检测环境、检测仪器自身等其他原因产生的光谱干扰，剔除了无关光谱变量，提取光谱特征值使得建模效果达到了较高的水平。
根据一些实施例，本公开采用如下技术方案：
一种基于小波包分析的近红外光谱信号处理方法,采集样品光谱，然后运用小波包阈值去噪法对原始光谱矩阵处理，运用马氏距离计算离群样本并剔除，运用小波包分解对每个频段的光谱信息进行离散度分析找出无关变量并剔除，最后通过偏最小二乘法计算光谱的主成分，对光谱进行小波包分解计算底层结点小波包系数的重构系数方差，主成分与方差组合作为光谱特征，运用特征进行建模。
一种基于小波包分析的近红外光谱信号处理方法,包括以下步骤:
(1)分别采集多次水果赤道的不同位置的光谱，并取平均光谱，得到光谱矩阵，获取对应水果的可溶性固形物含量，得到可溶性固形物含量矩阵；
(2)选择p组可溶性固形物含量相同的光谱，分别进行小波包分解，得到多频带的光谱信息，对每个频带的小波系数进行重构，对各组数据在每个频带进行离散度分析；
(3)选择m组可溶性固形物含量不同的平均光谱，对m组光谱数据进行小波包分解，对各个频带内的光谱进行离散度分析；
(4)提取步骤(2)和步骤(3)中离散后的波长中的重复波长，将样品光谱对应重复波长中的波长剔除；
(5)运用偏最小二乘回归法计算剔除了重复波长的光谱矩阵中前z个成分得到成分矩阵g，对每一条光谱进行小波包分解，并对底层节点进行系数重构，计算重构系数的方差，得到特征矩阵；
(6)运用偏最小二乘,通过特征矩阵与可溶性固形物含量矩阵，建立水果可溶性固形物含量预测模型。
作为进一步的限定，所述步骤(1)中，对每条光谱数据进行小波包阈值去噪，得到经过去噪处理的光谱矩阵,利用马氏距离计算离群样本并剔除算得的异常样本。
作为进一步的限定，所述步骤(2)中，对每个频带的小波系数进行重构，对p组数据在每个频带进行离散度分析，即计算p组数据在每一频带的标准差，取各频带标准差最大的点所对应的波长，得到2^n个波长。
作为进一步的限定，所述步骤(2)中，选择多组可溶性固形物含量不同的平均光谱，在测试号的样本中，选择可溶性固形物含量不同的多个光谱各若干组，分别计算平均光谱，得到多组可溶性固形物含量相差超过设定值的光谱，再进行小波包分析，采用shannon熵标准来确定最优小波包基，进而对光谱进行n层小波包分解，得到2^n个频带，分别对这2^n个频带的小波系数进行重构，得到2^n个频带的光谱信息。
作为进一步的限定，所述步骤(2)中，每一个频带的标准差，标准差越大说明数据越离散，标准差越小说明数据的离散度越小。
作为进一步的限定，所述步骤(3)中，计算每一频带内的标准差，取各频带标准差最小的点所对应的波长，得到2^n个波长。
作为进一步的限定，所述步骤(5)中，对矩阵D中的每一条光谱进行小波包分解，并对底层多个节点进行系数重构，计算重构系数的方差，到矩阵y，将成分矩阵g和矩阵y组合在一起即得到特征矩阵。
一种基于小波包分析的近红外光谱信号处理系统，运行于处理器或存储器上，被配置为执行以下步骤:
(1)分别采集多次水果赤道的不同位置的光谱，并取平均光谱，得到光谱矩阵，获取对应水果的可溶性固形物含量，得到可溶性固形物含量矩阵；
(2)选择p组可溶性固形物含量相同的光谱，分别进行小波包分解，得到多频带的光谱信息，对每个频带的小波系数进行重构，对各组数据在每个频带进行离散度分析；
(3)选择m组可溶性固形物含量不同的平均光谱，对m组光谱数据进行小波包分解，对各个频带内的光谱进行离散度分析；
(4)提取步骤(2)和步骤(3)中离散后的波长中的重复波长，将样品光谱对应重复波长中的波长剔除；
(5)运用偏最小二乘回归法计算剔除了重复波长的光谱矩阵中前z个成分得到成分矩阵g，对每一条光谱进行小波包分解，并对底层节点进行系数重构，计算重构系数的方差，得到特征矩阵；
(6)运用偏最小二乘,通过特征矩阵与可溶性固形物含量矩阵，建立水果可溶性固形物含量预测模型。
与现有技术相比，本公开的有益效果为：
本公开采用的是小波包分析的方法首先对光谱进行阈值消噪，然后在不同频段内对光谱进行分析，计算与可溶性固形物含量无关的波长变量，并将样品光谱所对应的变量剔除，既减少了变量数，又增加了模型的预测精度,对于近红外光谱预处理，建立预测精度高的模型，提高近红外水果品质预测技术具有重要意义。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为原始光谱矩阵；
图2为光谱对应化学值分布；
图3为离群样本；
图4为剔除异常样本的光谱矩阵；
图5为小波包分解后某一频段的离散度分析；
图6为原始数据建模效果；
图7为光谱矩阵经过预处理和无关变量剔除后建模效果；
图8为本申请的流程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
在本实施例中，以苹果为例进行说明。
苹果中含有丰富的糖类、有机酸、果胶及维生素等营养物质,其具有营养价值高，耐贮性好且环境适应强等优点，已成为我国国民膳食结构中的重要组成部分。在保证苹果产量和质量的同时，加强苹果的采后商品化处理，提升产品附加值。这是提高苹果产业乃至整个水果生产业国际竞争力的重要手段，也是开发国际市场的关键。可溶性固形物含量是反映苹果内部品质的重要指标，因此可以通过对苹果可溶性固形物含量的检测来判定苹果的内部品质。红富士苹果是占苹果产量比重最大的果品之一，也是主要的苹果出口品种，因此对红富士的内部品质研究具有重要意义。近年来近红外无损检测凭借其快速、高效、简便、无损伤及准确性高等特点在水果内部无损检测等方面得到广泛应用，因此，运用近红外技术对红富士苹果内部品质检测具有可行性。
本实施例提供一种面向红富士苹果的近红外光谱预处理及波长筛选流程，方法克服了由于检测环境、检测仪器自身等其他原因产生的光谱干扰，剔除了无关光谱变量，提取光谱特征值使得建模效果达到了较高的水平。
如图8所示，具体技术方案包括：
1)近红外光谱仪采集苹果样品的近红外光谱，采集方法：分别采集三次苹果赤道的不同位置的光谱，并取平均光谱，得到光谱矩阵A；
2)获取对应苹果的可溶性固形物含量，得到可溶性固形物含量矩阵S；
3)每个样本的近红外光谱数据为x(1*m),m为波长变量数；
4)首先对每条光谱数据进行小波包阈值去噪，得到经过去噪处理的光谱矩阵B；
5)其次利用马氏距离计算离群样本并剔除算得的异常样本，得到矩阵C；
6)选择p组可溶性固形物含量相同的光谱，p组光谱信号进行n层小波包分解，得到2^n个频带的光谱信息，对每个频带的小波系数进行重构，对p组数据在每个频带进行离散度分析，即计算p组数据在每一频带的标准差，取各频带标准差最大的点所对应的波长，得到2^n个波长a＝[a1,a2,...,a2^n]；
7)选择12组可溶性固形物含量不同的平均光谱，同样的方法对12组光谱数据进行n层小波包分解，对内个频带内的光谱进行离散度分析。即计算每一频带内的标准差，取各频带标准差最小的点所对应的波长，得到2^n个波长b＝[b1,b2,...,b2^n]；
8)提取a，b所得波长的重复波长r＝[x1,x2,…]，认为r为与可溶性固形物无线性关系的波长变量矩阵；
9)根据8)所算得的重复波长r，将样品光谱对应的r中的波长剔除，进而得到筛除无关变量的矩阵D；
10)运用偏最小二乘回归法计算矩阵D的前z个成分得到成分矩阵g；
11)对矩阵D中的每一条光谱进行3层小波包分解，并对底层8个节点进行系数重构，计算重构系数的方差，到矩阵y；
12)将矩阵g和y组合在一起即得到特征矩阵E；
13)最后运用偏最小二乘,通过矩阵E与S，建立红富士苹果可溶性固形物含量预测模型，对处理过程进行评价；
进一步的步骤6)，具体为：
选择九组可溶性固形物含量不同的平均光谱，于测好的苹果样品中，选择可溶性固形物含量不同的九个光谱各十组，分别计算平均光谱，得到九组可溶性固形物含量相差较大的光谱。
进一步的对九组光谱数据进行小波包分析，采用shannon熵标准来确定最优小波包基，进而对光谱进行n层小波包分解，得到2^n个频带，分别对这2^n个频带的小波系数进行重构，得到2^n个频带的光谱信息。
进一步的计算9组光谱数据在每一个频带的标准差，标准差越大说明数据越离散，标准差越小说明数据的离散度越小。由于9组平均光谱数据的可溶性固形物含量差距较大，所以认为每一频段内最小的标准差所对应的波长为无关量。
与步骤5)计算的无关量对比，确定重复的光谱为无关波长变量。
小波包分析的方法首先对光谱进行阈值消噪，然后在不同频段内对光谱进行分析，计算与可溶性固形物含量无关的波长变量，并将样品光谱所对应的变量剔除，既减少了变量数，又增加了模型的预测精度,对于近红外光谱预处理，建立预测精度高的模型，提高近红外水果品质预测技术具有重要意义。
步骤10)的具体计算方法为：
首先将数据做标准化处理。X经标准化处理后的数据矩阵记为E0＝(E01,…,E0p)n×p，Y的相应矩阵记为F0＝(F01,…,F0q)n×q。
M＝E0’*F0*F0’*E0；
计算M的特征值VEC和特征向量VAL，提取最大特征值对应的特征向量W,第一个主成分为:t1＝E0*W
alpha＝E0'*t1/(t1'*t1)；
chg＝chg*(eye(1557)-W*alpha')；(chg初始值为eye(1557))
E＝E0-t1*alpha'；
E0＝E；
第二个，第三个...主成分循环以上步骤；
具体的，本实例采用400个山东烟台栖霞生产的红富士为实验对象，对新的近红外光谱的预处理方法进行详细说明。
1)采集样品的近红外光谱数据，具体过程：我们使用Thermo Fisher的antaris II的近红外检测仪，采集波数范围为4000-10000cm-1的样品光谱，分辨率为8.0cm-1。将洁净的样品的赤道部位置于窗片上，采用积分球漫反射采样模块，对样品进行32次扫描，每个样品采集3次赤道不同部位的光谱并求平均光谱，以此作为样品光谱。光谱图见图1
2)利用折射仪法检测样品的可溶性固形物含量，具体过程：样品洗净，取可食部分切碎、混匀，立即放入研钵中进行捣碎。在20℃条件下用蒸馏水校准折射仪，将可溶性固形物含量读数调整至0。保持测定温度稳定用柔软绒布擦净棱镜表面，胶头滴管取果汁，滴在折光仪的棱镜上，轻轻合上盖板，避免气泡产生，使溶液遍布棱镜表面。将仪器进光板对准光源和明亮处，眼睛通过目镜观察视场，转动目镜调节手轮，使视场的蓝白分界线清晰。分界线的刻度值即为溶液的浓度。
3)对400条样本光谱数据进行sqtwolog阈值去噪。根据实验比对选择db4作为基函数，分解层数为3，采用采用shannon熵标准来确定最优小波包基。比较默认阈值和Rigrsure，sqtwolog，Heursure，Manimax四种常用的阈值选取规则进行阈值去噪，发现sqtwolog长度对数准则更适合本次所研究的苹果近红外光谱的去噪。对比结果如下表：
| y1 | y2 | y3 | |
| 原SNR | 44.5933 | 44.5933 | 44.5933 |
| heursure | 44.8018 | 48.8120 | 47.1257 |
| rigrsure | 44.7976 | 48.8111 | 47.1229 |
| sqtwolog | 44.8517 | 48.9069 | 47.2010 |
| minimax | 44.8446 | 48.9136 | 47.1993 |
| 默认阈值 | 44.7588 | 48.6933 | 47.0569 |
4)通过对近红外光谱矩阵的主成分分析得分与马氏距离相结合检测由于检测环境、样本自身等原因产生的异常样本，通过计算检测到9组异常样本，将计算出的9组光谱剔除。
5)计算无关变量。选择了三十组可溶性固形物含量均为13的光谱，以db4小波为基函数，对三十组光谱信号进行7层小波包分解，得到128个频带的光谱信息，对每个频带的小波系数进行重构，计算三十组光谱数据在每一频带的标准差，标准差越大说明数据越离散，而数据样本对应的可溶性固形物相同，所以认为离散度最大的点对应的波长变量为无关量，记为p1＝[x1,x2,…,x64]。选择可溶性固形物含量分别为10，10.5，11，11.5，12，12.5，13，13.5，14，单位为0Brix.的光谱各十组，分别计算平均光谱，得到九组可溶性固形物含量相差较大的光谱，同样的方法计算每一频带内的标准差，由于样本可溶性固形物含量差距较大，所以认为每一频段内标准差最小的波长为无关量，记为p2＝[s1,s2,…,s64]。p1,p2中有62个重叠波长，认为这本光谱中这62个波长变量为无关变量，剔除400组样本光谱这62个变量，剩下的光谱变量组成新的光谱矩阵D。30组光谱图在同一频带内各点的离散度分析见图二。
6)运用偏最小二乘回归法计算矩阵D的前15个成分得到成分矩阵g；
7)对矩阵D中的每一条光谱进行3层小波包分解，并对底层8个节点进行系数重构，计算重构系数的方差，到矩阵y；
8)将矩阵g和y组合在一起即得到特征矩阵E；
9)将未处理的光谱,和经过上述步骤处理后的光谱，通过偏最小二乘与对应的可溶性固形物含量建立模型，建模方法为偏最小二乘(PLS)，选择前274条光谱作为建模集后117条光谱作为验证集，PLS的参数选择成份数为15。
10)外部验证对比表：
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (9)
1.一种基于小波包分析的近红外光谱信号处理方法,其特征是：采集样品光谱，然后运用小波包阈值去噪法对原始光谱矩阵处理，运用马氏距离计算离群样本并剔除，运用小波包分解对每个频段的光谱信息进行离散度分析找出无关变量并剔除，最后通过偏最小二乘法计算光谱的主成分，对光谱进行小波包分解计算底层结点小波包系数的重构系数方差，主成分与方差组合作为光谱特征，运用特征进行建模。
2.一种基于小波包分析的近红外光谱信号处理方法,其特征是：包括以下步骤:
(1)分别采集多次水果赤道的不同位置的光谱，并取平均光谱，得到光谱矩阵，获取对应水果的可溶性固形物含量，得到可溶性固形物含量矩阵；
(2)选择p组可溶性固形物含量相同的光谱，分别进行小波包分解，得到多频带的光谱信息，对每个频带的小波系数进行重构，对各组数据在每个频带进行离散度分析；
(3)选择m组可溶性固形物含量不同的平均光谱，对m组光谱数据进行小波包分解，对各个频带内的光谱进行离散度分析；
(4)提取步骤(2)和步骤(3)中离散后的波长中的重复波长，将样品光谱对应重复波长中的波长剔除；
(5)运用偏最小二乘回归法计算剔除了重复波长的光谱矩阵中前z个成分得到成分矩阵g，对每一条光谱进行小波包分解，并对底层节点进行系数重构，计算重构系数的方差，得到特征矩阵；
(6)运用偏最小二乘,通过特征矩阵与可溶性固形物含量矩阵，建立水果可溶性固形物含量预测模型。
3.如权利要求2所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是：所述步骤(1)中，对每条光谱数据进行小波包阈值去噪，得到经过去噪处理的光谱矩阵,利用马氏距离计算离群样本并剔除算得的异常样本。
4.如权利要求2所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是：所述步骤(2)中，对每个频带的小波系数进行重构，对p组数据在每个频带进行离散度分析，即计算p组数据在每一频带的标准差，取各频带标准差最大的点所对应的波长，得到2^n个波长。
5.如权利要求2所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是：所述步骤(2)中，选择多组可溶性固形物含量不同的平均光谱，在测试号的样本中，选择可溶性固形物含量不同的多个光谱各若干组，分别计算平均光谱，得到多组可溶性固形物含量相差超过设定值的光谱，再进行小波包分析，采用shannon熵标准来确定最优小波包基，进而对光谱进行n层小波包分解，得到2^n个频带，分别对这2^n个频带的小波系数进行重构，得到2^n个频带的光谱信息。
6.如权利要求2所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是：所述步骤(2)中，每一个频带的标准差，标准差越大说明数据越离散，标准差越小说明数据的离散度越小。
7.如权利要求2所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是：所述步骤(3)中，计算每一频带内的标准差，取各频带标准差最小的点所对应的波长，得到2^n个波长。
8.如权利要求2所述的一种基于小波包分析的近红外光谱信号处理方法,其特征是：所述步骤(5)中，对矩阵D中的每一条光谱进行小波包分解，并对底层多个节点进行系数重构，计算重构系数的方差，到矩阵y，将成分矩阵g和矩阵y组合在一起即得到特征矩阵。
9.一种基于小波包分析的近红外光谱信号处理系统，其特征是：运行于处理器或存储器上，被配置为执行以下步骤:
(1)分别采集多次水果赤道的不同位置的光谱，并取平均光谱，得到光谱矩阵，获取对应水果的可溶性固形物含量，得到可溶性固形物含量矩阵；
(2)选择p组可溶性固形物含量相同的光谱，分别进行小波包分解，得到多频带的光谱信息，对每个频带的小波系数进行重构，对各组数据在每个频带进行离散度分析；
(3)选择m组可溶性固形物含量不同的平均光谱，对m组光谱数据进行小波包分解，对各个频带内的光谱进行离散度分析；
(4)提取步骤(2)和步骤(3)中离散后的波长中的重复波长，将样品光谱对应重复波长中的波长剔除；
(5)运用偏最小二乘回归法计算剔除了重复波长的光谱矩阵中前z个成分得到成分矩阵g，对每一条光谱进行小波包分解，并对底层节点进行系数重构，计算重构系数的方差，得到特征矩阵；
(6)运用偏最小二乘,通过特征矩阵与可溶性固形物含量矩阵，建立水果可溶性固形物含量预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811456920.9A CN109558843B (zh) | 2018-11-30 | 2018-11-30 | 基于小波包分析的近红外光谱信号处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811456920.9A CN109558843B (zh) | 2018-11-30 | 2018-11-30 | 基于小波包分析的近红外光谱信号处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109558843A true CN109558843A (zh) | 2019-04-02 |
| CN109558843B CN109558843B (zh) | 2020-11-06 |
Family
ID=65868290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811456920.9A Active CN109558843B (zh) | 2018-11-30 | 2018-11-30 | 基于小波包分析的近红外光谱信号处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109558843B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175775A (zh) * | 2011-01-14 | 2011-09-07 | 河南工业大学 | 基于激光超声融蚀机制的粮食品质检测系统及方法 |
| CN102830080A (zh) * | 2011-06-14 | 2012-12-19 | 福建中烟工业有限责任公司 | 一种评判烟用接装纸内在质量稳定性的近红外光谱方法 |
| CN103389281A (zh) * | 2012-05-09 | 2013-11-13 | 云南天士力帝泊洱生物茶集团有限公司 | 一种基于近红外光谱技术的普洱茶聚类分析方法 |
| CN107219184A (zh) * | 2017-04-24 | 2017-09-29 | 仲恺农业工程学院 | 一种应用于产地溯源的肉类鉴别方法及装置 |
-
2018
- 2018-11-30 CN CN201811456920.9A patent/CN109558843B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175775A (zh) * | 2011-01-14 | 2011-09-07 | 河南工业大学 | 基于激光超声融蚀机制的粮食品质检测系统及方法 |
| CN102830080A (zh) * | 2011-06-14 | 2012-12-19 | 福建中烟工业有限责任公司 | 一种评判烟用接装纸内在质量稳定性的近红外光谱方法 |
| CN103389281A (zh) * | 2012-05-09 | 2013-11-13 | 云南天士力帝泊洱生物茶集团有限公司 | 一种基于近红外光谱技术的普洱茶聚类分析方法 |
| CN107219184A (zh) * | 2017-04-24 | 2017-09-29 | 仲恺农业工程学院 | 一种应用于产地溯源的肉类鉴别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| NING ZHANG 等: "The Handling Approach of Near-Infrared Spectroscopy for Apple", 《THE 37TH CHINESE CONTROL CONFERENCE（CCC）》 * |
| 郭志明: "《中国博士学位论文全文数据库 农业科技辑》", 15 July 2015 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109558843B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Recent advances in nondestructive analytical techniques for determining the total soluble solids in fruits: a review | |
| Cen et al. | Assessing multiple quality attributes of peaches using optical absorption and scattering properties | |
| CN108956545B (zh) | 一种水果内部品质无损检测模型建立方法及系统 | |
| Wold et al. | Near-infrared spectroscopy detects woody breast syndrome in chicken fillets by the markers protein content and degree of water binding | |
| Qin et al. | Prediction of apple internal quality using spectral absorption and scattering properties | |
| CN107064047A (zh) | 一种基于近红外光谱的富士苹果品质无损检测方法 | |
| Yue et al. | A smart data-driven rapid method to recognize the strawberry maturity | |
| CN111157511B (zh) | 一种基于拉曼光谱技术的鸡蛋新鲜度无损检测方法 | |
| CN104062263A (zh) | 光物性相近水果品质指标的近红外通用模型检测方法 | |
| CN105548070B (zh) | 一种苹果可溶性固形物近红外检测部位补偿方法及系统 | |
| CN104280349A (zh) | 一种基于高光谱图像对白萝卜糠心鉴定的方法 | |
| Zhaoyong et al. | Detection of moldy core in apples and its symptom types using transmittance spectroscopy | |
| Si et al. | Quality assessment of fruits and vegetables based on spatially resolved spectroscopy: A review | |
| Mu et al. | Non‐destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning | |
| Ekramirad et al. | Application of Hyperspectral imaging and acoustic emission techniques for apple quality prediction | |
| Zhang et al. | Non-destructive evaluation of the edible rate for pomelo using X-ray imaging method | |
| Peng et al. | Application of near-infrared spectroscopy for assessing meat quality and safety | |
| CN109558843A (zh) | 基于小波包分析的近红外光谱信号处理方法及系统 | |
| Xia et al. | Prediction and comparison of models for soluble solids content determination in ‘Ya’pears using optical properties and diffuse reflectance in 900–1700 nm spectral region | |
| CN105158178B (zh) | 基于高光谱透射技术谱峰面积的脐橙糖度检测快速建模法 | |
| CN106729798A (zh) | 一种中药材灭菌系统 | |
| CN106872396A (zh) | 一种不同近红外仪器测定葡萄糖度模型转换的方法 | |
| Nielsen et al. | Supercontinuum light sources for hyperspectral subsurface laser scattering: Applications for food inspection | |
| CN109238973A (zh) | 一种检测苹果可溶性固形物含量和含水量的方法 | |
| Torricelli et al. | Optical coherence tomography (OCT), space-resolved reflectance spectroscopy (SRS) and time-resolved reflectance spectroscopy (TRS): principles and applications to food microstructures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |