CN116432051A - 一种近红外光谱数据微弱差异信号的评价方法 - Google Patents
一种近红外光谱数据微弱差异信号的评价方法 Download PDFInfo
- Publication number
- CN116432051A CN116432051A CN202310560109.XA CN202310560109A CN116432051A CN 116432051 A CN116432051 A CN 116432051A CN 202310560109 A CN202310560109 A CN 202310560109A CN 116432051 A CN116432051 A CN 116432051A
- Authority
- CN
- China
- Prior art keywords
- near infrared
- speca
- specb
- infrared spectrum
- spectrum data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 148
- 238000011156 evaluation Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000001228 spectrum Methods 0.000 claims abstract description 67
- 230000003595 spectral effect Effects 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 238000009795 derivation Methods 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 7
- 238000009826 distribution Methods 0.000 claims abstract description 5
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000002835 absorbance Methods 0.000 claims description 33
- 239000004973 liquid crystal related substance Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 10
- 238000011426 transformation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 241000208125 Nicotiana Species 0.000 description 27
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 27
- 239000002994 raw material Substances 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 12
- 235000019504 cigarettes Nutrition 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 238000004677 spark ionization mass spectrometry Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种近红外光谱数据微弱差异信号的评价方法，即SSMS(Standard normal variate transform+Savitzky golay+Min max+Spectral similarity)方法。该方法采用标准正态变量变换对近红外光谱数据进行散射校正，消除由于样品分布不均匀所导致的散射影响；采用一阶求导去除光谱中噪声，提高光谱信噪比增强重叠峰区分度；采用最大最小规则方法，消除光谱量纲和增强数据可比性；最终综合欧式距离、相关系数、散度等评价信息近红外光谱数据相似性。本发明能有效识别近红外光谱建的微弱信号差异，进而对不同类别检测样本进行精准区分，可作为采用近红外技术精准辨识检测样本间差异的有效工具。
Description
技术领域
本发明属于近红外光谱定性分析领域，尤其涉及一种近红外光谱数据微弱差异信号的评价方法。
背景技术
近红外技术以其快速、低成本、高精度等优势，得到了广泛应用。但受谱峰重叠、背景噪声、基线漂移等影响，近红外光谱需进行适当预处理，才能有效识别表征烟叶的多种化学成分整体信息，诠释烟叶整体差异和相似性。
如果所选择的预处理方式不当，那么无法挖掘近红外光谱间的细微差异；如果计算近红外光谱间相似度值的算法不合适，那么最终的近红外相似度值也无法体现近红外光谱建的细微差异。
发明内容
本发明发展一种近红外光谱数据微弱差异信号的评价方法，即SSMS方法。该方法采用标准正态变量变换对近红外光谱数据进行散射校正，消除由于样品分布不均匀所导致的散射影响；采用一阶求导去除光谱中噪声，提高光谱信噪比增强重叠峰区分度；采用最大最小规则方法，消除光谱量纲和增强数据可比性；最终结合欧式距离、相关系数、散度等信息评价近红外光谱数据相似性。本发明能有效识别近红外光谱间的微弱信号差异，进而对不同类别检测样本进行精准区分，可作为采用近红外技术精准辨识检测样本间差异的有效工具。
为实现上述目的，本发明采用如下技术方案：
一种近红外光谱数据微弱差异信号的评价方法，包括以下步骤：
步骤1：对样本A和样本B分别进行红外光谱测定，得到两条近红外光谱数据；
步骤2：采用标准正态变量变换分别对两条近红外光谱数据进行散射校正，消除由于样品分布不均匀所导致的散射影响；
步骤3：采用一阶求导方法分别对完成散射校正的两条近红外光谱数据进行噪声处理，去除光谱中噪声，提高光谱信噪比增强重叠峰区分度；
步骤4：采用最大最小规则方法，分别对去除光谱中噪声的两条近红外光谱数据进行规范化处理，增强数据可比性；
步骤5：结合欧式距离、相关系数、信息散度计算两条近红外光谱数据相似度。
进一步地，步骤1具体方法如下：
分别采集样本A和样本B的近红外光谱数据并记为SpecA和SpecB，分别表示如式(1)与式(2)所示：
其中，m为波长点数，
表示样本A的近红外光谱数据SpecA的第i个波长点的吸光度，/>
表示样本B的近红外光谱数据SpecB的第i个波长点的吸光度。
进一步地，步骤2具体方法如下：
采用标准正态变量变换方法消除近红外光谱采集过程中，因为样本颗粒表面散射与光程变化对近红外漫反射光谱的影响，与标准化算法不同之处在于，标准正态变量变换方法可对一条光谱进行单独处理；
其中，样本A的近红外光谱数据SpecA的标准正态变量变换处理方法如下：
其中，
表示样本A的近红外光谱数据SpecA的第i个波长点的吸光度，/>
表示近红外光谱数据SpecA经过标准正态变量变换处理后的值，
为近红外光谱数据SpecA的所有波长点吸光度的平均值，m为波长点数。
样本A的近红外光谱数据SpecA经过标准正态变量变换处理的光谱数据表示如下式所示：
按照同样的流程，对样本B的近红外光谱数据SpecB经过标准正态变量变换处理的光谱数据表示如下式所示：
进一步地，步骤3具体方法如下：
对于使用标准正态变量变换消除了近红外漫反射影响的近红外数据，采用一阶求导方法对近红外光谱数据进行平滑滤波，降低噪声数据的干扰，所采用的一阶求导方法是基于移动平滑算法的改进；
其中，样本A的近红外光谱数据SpecA在经过标准正态变量变换处理方法后的数据SpecA1的去噪具体流程如下：
设置滤波窗口长度2k+1(k为常数，一般光谱中的波长点数m≤2000，取值k＝5；当光谱中的波长点数m＞2000，取值k＝8)，对于近红外光谱数据SpecA1中的波长点吸光度
其滤波窗口中表示为
其中，a＝min(i-k,0)，b＝min(i+k,m)，l＝b-a表示滤波窗口
的光谱测量点数；
采用如式(7)所示的k-1次多项式对这l个数据点进行拟合：
其中，j＝(a,a+1,…,b)；
针对滤波窗口
内的每个光谱测量点基于式(7)构造方程，最终构成了由l个方程组成的k元线性方程组，通过最小二乘法拟合对这k元线性方程组进行拟合后，确定多项式的参数A＝{a'0,a'1,…,a'k-1}，并由下式对SpecA1中的波长点的吸光度/>
进行滤波处理：
对于近红外光谱数据SpecA1中的波长点的吸光度
均经过上述处理后，得到近红外光谱数据SpecA1经过平滑滤波后的光谱数据如下式所示。
至此，SpecA2为样本A近红外光谱数据SpecA在经过标准正态变量变换处理方法后再进行噪声处理后的近红外光谱数据；
通过上述同样的流程，对SpecB1进行去噪后，得到近红外光谱数据SpecB2。
进一步地，步骤4具体方法如下：
对于使用标准正态变量变换消除了近红外漫反射影响，并使用一阶求导去除了光谱中噪声后的近红外光谱数据，再使用最大最小规则，消除光谱的量纲以增强光谱间的可比性；
使用标准正态变量变化消除了近红外漫反射影响，并使用一阶求导去除了光谱中噪声后的近红外光谱数据SpecA2为例，其最大最小规则消除光谱量纲的具体处理过程如下式所示：
其中，
为SpecA2中经过最大最小规则消除了光谱量纲的第i(i＝1,2,…,m)个波长点的吸光度，，/>
为SpecA2中第SpecA2中第i(i＝1,2,…,m)个波长点的吸光度，m为SpecA2的波长点数；
SpecA3为样本A近红外光谱数据SpecA在经过标准正态变量变化处理方法、一阶求导去噪操作和最大最小规则消除量纲后的近红外光谱数据；
通过上述同样的流程，对SpecB2进行去量纲处理后，得到近红外光谱数据SpecB3；
进一步地，步骤5具体方法如下：
结合欧式距离、相关系数、信息散度计算近红外光谱数据相似度的具体方法如下所示：
其中，SpecA3为样本A近红外光谱数据SpecA在经过标准正态变量变换处理方法、一阶求导去噪操作和最大最小规则消除量纲后的近红外光谱数据，SpecB3为样本B近红外光谱数据SpecB在经过标准正态变量变换处理方法、一阶求导去噪操作和最大最小规则消除量纲后的近红外光谱数据；
首先，在计算两条近红外光谱SpecA3和SpecB3的欧氏距离时，在欧氏空间中，按照下述的公式计算两个近红外光谱向量的距离大小：
其中：EDM(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3的欧式距离值，
表示近红外光谱数据SpecA3的第i(i＝1,2,…,m)个波长点的吸光度，
表示近红外光谱数据SpecB3的第i(i＝1,2,…,m)个波长点的吸光度，m为近红外光谱数据SpecA3和SpecB3的波长点数；
其次，在计算两条近红外光谱的相关系数时，通过如下述的公式计算两条近红外光谱向量的相关性；
其中：SCM(SpecA3,SpecB3)为近红外光谱数据SpecA3和SpecB3的相关系数，
表示近红外光谱数据SpecA3的第i(i＝1,2,…,m)个波长点的吸光度，
表示近红外光谱数据SpecB3的第i(i＝1,2,…,m)个波长点的吸光度，m为近红外光谱数据SpecA3和SpecB3的波长点数，/>
分别为近红外光谱数据SpecA3和SpecB3吸光度平均值；
然后，在计算SpecA3和SpecB3两条近红外光谱的散射度信息时，基于信息测度理论，将SpecA3和SpecB3两条近红外光谱分别看成是具有概率统计特征的信息元，并按照如下的公式来描述两条光谱中各波数的吸光度概率：
其中，
为SpecA3中第i(i＝1,2,…,m)个波长点的吸光度概率值，/>
为SpecB3中第i(i＝1,2,…,m)个波长点的吸光度概率值，
据此，SpecA3和SpecB3两条近红外光谱的相对熵计算公式表达如下：
其中，D(SpecA3||SpecB3)为SpecA3相对于SpecB3的相对熵，D(SpecB3||SpecA3)为SpecB3相对于SpecA3的相对熵。
根据SpecA3和SpecB3两条近红外光谱的相对熵，按照如下的公式计算两条光谱的信息散度：
SID(SpecA3,SpecB3)＝D(SpecA3||SpecB3)+D(SpecB3||SpecA3) (17)；
其中，SID(SpecA3,SpecB3)表示SpecA3和SpecB3两条近红外光谱的信息散度；
如上，EDM(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3欧氏距离，SCM(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3相关系数，SID(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3的信息散度，按照下述的公式，用以最终表征近红外光谱数据SpecA3和SpecB3的相似性：
其中，SS(SpecA3,SpecB3)为本发明所描述的两条近红外光谱数据SpecA3和SpecB3的相似性，用以表征样本A与样本B的相似度。
进一步地，EDM(SpecA3,SpecB3)值越小、SCM(SpecA3,SpecB3)越大、SID(SpecA3,SpecB3)越小，表明近红外光谱数据SpecA3和SpecB3表征的样本相似度就会越高。
本发明的有益效果：
采用标准正态变量变换可消除实验过程中由于样品分布不均匀所导致的散射影响，采用一阶求导进可有效去除去除光谱数据中所存在的高频噪声，采用最大最小规则消除光谱量纲和增强数据可比性，通过标准正态变量变换、一阶求导与最大最小规则的处理，可消除光谱中的噪声，排除近红外光谱中的基线、散射等干扰因素，增强近红外光谱建的可对比性，有利于挖掘近红外光谱间的细微差异；同时，全面考虑了近红外光谱在光谱幅度、光谱形态、光谱信息散度等多个方面相似度，较之仅单一差异信息的相似度计算方法(例如皮尔逊相似度仅考虑了光谱形态上的差异)，本发明提供的一种近红外光谱数据微弱差异信号的评价方法更能体现近红外光谱间的细微差异。
附图说明
图1为本发明近红外光谱数据相似度的评价方法的步骤；
图2为实施例1的近红外光谱相似性评价方法研究方案；
图3为实施例1中实验所采集到的近红外光谱数据情况；
图4为实施例1中采用标准正态变量变换、一阶求导和最大最小规则方法进行预处理后的近红外光谱数据情况；
图5为实施例1中不同光谱相似性评价方法的实验结果，图中仅展示了352中实验结果中，同类别样本平均相似度＞0.9，并且不同类别间样本平均相似度＜0.7的实验方案；
图6为未进行预处理之前的两条近红外光谱数据示例；
图7为依次采用标准正态变量变换、一阶求导和最大最小规则方法对光谱进行处理后的结果光谱数据，用于与未进行处理的近红外光谱进行对比，图形化展示本发明研究预处理方法对于光谱细微差异的挖掘效果。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明：
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语″包含″和/或″包括″时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
收集云南省不同产地品种部位的复烤烟样本51个，按照产地、品种与部分，将实验样本划分为如下表所示。
表1实验样本分类
| 类别 | 产地、品种、部位 | 样本数量 |
| 类别1 | 保山、K326、中部 | 4 |
| 类别2 | 保山、红大、上部 | 3 |
| 类别3 | 红河、K326、中部 | 6 |
| 类别4 | 红河、云87、上部 | 5 |
| 类别5 | 红河、云87、中部 | 10 |
| 类别6 | 昆明、红大、上部 | 3 |
| 类别7 | 昆明、红大、中部 | 8 |
| 类别8 | 曲靖、K326、中部 | 4 |
| 类别9 | 曲靖、云系列、中部 | 4 |
| 类别10 | 曲靖、云系列、下部 | 4 |
采用热电antarisⅡ近红外光谱仪，在相同的实验环境下采集51个实验样本的近红外光谱数据，其具体的制样方法与实验环境情况如表2所示。
表2近红外光谱采集制样规范与实验条件
采用如图2所示实验方案，采集到的数据情况如图3所示。结合如表3所示的目前常用的散射校正、去噪、数据增强近红外光谱预处理方法，对所采集到的数据进行预处理，总计的近红外光谱数据预处理方案为2×4×4＝32种。
表3常用的近红外光谱预处理方法
其中，采用标准正态变量变换、一阶求导、最大最小规则结合的近红外数据预处理方案(SNV+SG1D+MM)进行预处理后的近红外光谱数据情况如图4所示。
在光谱数据预处理的基础上，再采用如表4所示的不同的光谱相似度计算方法，总计32×11＝352种近红外光谱相似性评价方法进行对比分析，以验证本发明方法的先进性。
表4近红外光谱相似度计算方法
针对光谱相似性评价方法Simi(i＝1,2,...,352)，其类别内相似度与类别间相似度的计算方法分别如下所示：
其中，Within_Categoryi为光谱相似性评价方法Simi对所有类别内样本光谱相似度计算值的均值，用于评价Simi对相似烟叶样本光谱的评价结果；Between_Categoriesi为光谱相似性评价方法Simi对所有类别间样本光谱的相似度计算均值，用于评价Simi对不相似烟叶样本光谱的评价结果；CLASS表示所有的10个样本类别，P,Q为样本p和样本q对应的光谱数据，n,m分别表示计算的类别内与类别间相似度计算个数的数量。
通过上述方式对每种光谱相似性评价方法，并选取能够较好区分同类别中的相似性样本(Within_Category＞0.9)，和不同各类别间的非相似性样本(Between_Categories＜0.7)的相似性计算方案，如表5与图5所示。
表5不同光谱相似性评价方法的实验结果
| 分析方案 | Between_Categories | Within_Category | Sim_Estimate |
| SNV+SG1D+MM+SS | 0.6073 | 0.9051 | 0.6489 |
| SG1D+MM+SS | 0.6188 | 0.9027 | 0.6420 |
| SG+MM+ED/COD | 0.6744 | 0.9051 | 0.6154 |
| MM+ED/COD | 0.6744 | 0.9051 | 0.6154 |
| MC+ED/COD | 0.6926 | 0.9125 | 0.6100 |
| SG+MC+ED/COD | 0.6926 | 0.9125 | 0.6100 |
其中，Sim_Estimate的计算公式如下所示，表示光谱相似性评价方法的最终评价结果。
Sim_Estimate＝(Within_Category+(1-Between_Categories))/2 (3)
如表5与图5所示，在Within_Category＝＞0.9，且Between_Categories＜0.7可较好区分同类型样本烟叶的相似性分析方案中，本发明所研究的方法(即采用标准正态变量变换、一阶求导、最大最小规则进行光谱预处理，并综合欧式距离、相关系数、散度等评价信息进行相似度评价的“SNV+SG1D+MM+SS”方案)的Sim_Estimate值最大(0.6489)，表明本发明所研究的方法方案的综合性能更好，同类别样本的相似度更高，而不同类别间样本的相似度更小，可有效进行不同类别样本的相似度评价。
实施例2
实施例数据：采用实际卷烟配方样本记为A，样本A中包含17种烟叶原料；烟叶原料样本B1、B2、B3和C4、C5、C6，A中不包含B1、B2、B3和C4、C5、C6烟叶原料，且B1与C4为同产地、同类别、同部位的烟叶原料，B2与C5为同产地、同类别、同部位的烟叶原料，B3和C6为不同产地、不同类别、不同部位的烟叶原料，将卷烟样本A分别与B1、B2、B3、C1、C2、C3按不同比例混合后，得到混合样本A1、A2、A3、A4、A5、A6，其具体的混配关系如表6所示。
表6烟叶样本混配方案
| 混配样本编号 | 混配样本构成 |
| A1 | 卷烟样本A与烟叶原料样本B1按照95:5的比例混配。 |
| A2 | 卷烟样本A与烟叶原料样本C4按照95:5的比例混配。 |
| A3 | 卷烟样本A与烟叶原料样本B2按照75:25的比例混配。 |
| A4 | 卷烟样本A与烟叶原料样本C5按照75:25的比例混配。 |
| A5 | 卷烟样本A与烟叶原料样本B3按照95:5的比例混配。 |
| A6 | 卷烟样本A与烟叶原料样本C6按照95:5的比例混配。 |
分别取样烟叶原料样本B1、B2、B3、C4、C5、C6，和混配样本混合样本A1、A2、A3、A4、A5、A6各100克，采用热电antarisⅡ近红外光谱仪按照表2所示的实验条件，采集各样本的光谱数据，分别记为Spec_B1、Spec_B2、Spec_B3、Spec_C4、Spec_C5、Spec_C6，和Spec_A1、Spec_A2、Spec_A3、Spec_A4、Spec_A5、Spec_A6。
采用标准正态变量变换方法、一阶求导方法、最大最小规则方法组成的近红外数据预处理方案，分别所采集到的Spec_B1_Before、Spec_B2_Before、Spec_B3_Before、Spec_C4_Before、Spec_C5_Before、Spec_C6_Before，和Spec_A1_Before、Spec_A2_Before、Spec_A3_Before、Spec_A4_Before、Spec_A5_Before、Spec_A6_Before光谱数据进行预处理，得到相应的预处理后的光谱数据，分别记为：Spec_B1_Behind、Spec_B2_Behind、Spec_B3_Behind、Spec_C4_Behind、Spec_C5_Behind、Spec_C6_Behind，和Spec_A1_Behind、Spec_A2_Behind、Spec_A3_Behind、Spec_A4_Behind、Spec_A5_Behind、Spec_A6_Behind。
其中，图6为实验采集所得到的Spec_B1_Before光谱数据与Spec_C4_Before光谱数据数据的图形绘制，图7为采用“SNV+SG1D+MM”预处理方案处理之后的Spec_B1_Behind光谱数据与Spec_C4_Behind光谱数据数据的图形绘制，在图6中两条形状和距离都较为接近的两条光谱数据，在经过标准正态变量变换方法、一阶求导方法、最大最小规则的预处理后，在形状和距离两个方面都产生了较大差异，表明本发明中的标准正态变量变换方法、一阶求导方法、最大最小规则的光谱预处理方法，能很好的挖掘光谱数据间的细微差异。
对于处理后的12条近红外光谱，采用本发明结合了欧式距离、相关系数、散度等信息的近红外光谱数据相似度计算方法，计算光谱间的相似性，其结果如表7所示。
表7近红外光谱相似性计算实验结果
实施例中，两个使用相似的烟叶(相似度：0.9606)进行小比例(5％)配方烟叶替换时，替换后的配方相似度仍非常相似(相似度：0.9975)；使用相似烟叶(相似度：0.9790)进行大比例(25％)配方烟叶进行替换时，替换后的配方相似度仍较高，但与小比率高相似度烟叶的替换相比，有较为明显下降(相似度：0.9846)；使用不相似烟叶(相似度：0.1358)进行小比例(5％)配方烟叶进行替换时，替换后的配方相似度有较为明显下降(相似度：0.9202)。
上述实施例，不仅介绍了本发明的具体应用流程，也验证了本发明提供的一种近红外光谱数据微弱差异信号的评价方法，可识别近红外光谱建的微弱信号差异，可不同类别检测样本进行精准区分。
Claims (7)
1.一种近红外光谱数据微弱差异信号的评价方法，其特征在于，包括以下步骤：
步骤1：对样本A和样本B分别进行红外光谱测定，得到两条近红外光谱数据；
步骤2：采用标准正态变量变换分别对两条近红外光谱数据进行散射校正，消除由于样品分布不均匀所导致的散射影响；
步骤3：采用一阶求导方法分别对完成散射校正的两条近红外光谱数据进行噪声处理，去除光谱中噪声，提高光谱信噪比增强重叠峰区分度；
步骤4：采用最大最小规则方法，分别对去除光谱中噪声的两条近红外光谱数据进行规范化处理，增强数据可比性；
步骤5：结合欧式距离、相关系数、信息散度计算两条近红外光谱数据相似度。
2.根据权利要求1所述的近红外光谱数据微弱差异信号的评价方法，其特征在于，步骤1具体方法如下：
分别采集样本A和样本B的近红外光谱数据并记为SpecA和SpecB，分别表示如式(1)与式(2)所示：
其中，m为波长点数，
表示样本A的近红外光谱数据SpecA的第i个波长点的吸光度，/>
表示样本B的近红外光谱数据SpecB的第i个波长点的吸光度。
3.根据权利要求1所述的近红外光谱数据微弱差异信号的评价方法，其特征在于，步骤2具体方法如下：
采用标准正态变量变换方法消除近红外光谱采集过程中，因为样本颗粒表面散射与光程变化对近红外漫反射光谱的影响，与标准化算法不同之处在于，标准正态变量变换方法可对一条光谱进行单独处理；
其中，样本A的近红外光谱数据SpecA的标准正态变量变换处理方法如下：
其中，
表示样本A的近红外光谱数据SpecA的第i个波长点的吸光度，
表示近红外光谱数据SpecA经过标准正态变量变换处理后的值，/>
为近红外光谱数据SpecA的所有波长点吸光度的平均值，m为波长点数；
样本A的近红外光谱数据SpecA经过标准正态变量变换处理的光谱数据表示如下式所示：
按照同样的流程，对样本B的近红外光谱数据SpecB经过标准正态变量变换处理的光谱数据表示如下式所示：
4.根据权利要求1所述的近红外光谱数据微弱差异信号的评价方法，其特征在于，步骤3具体方法如下：
对于使用标准正态变量变换消除了近红外漫反射影响的近红外数据，采用一阶求导方法对近红外光谱数据进行平滑滤波，降低噪声数据的干扰，所采用的一阶求导方法是基于移动平滑算法的改进；
其中，样本A的近红外光谱数据SpecA在经过标准正态变量变换处理方法后的数据SpecA1的去噪具体流程如下：
设置滤波窗口长度2k+1(k为常数，一般光谱中的波长点数m≤2000，取值k＝5；当光谱中的波长点数m＞2000，取值k＝8)，对于近红外光谱数据SpecA1中的波长点吸光度
其滤波窗口中表示为
其中，a＝min(i-k,0)，b＝min(i+k,m)，l＝b-a表示滤波窗口
的光谱测量点数；
采用如式(7)所示的k-1次多项式对这l个数据点进行拟合：
其中，j＝(a,a+1,…,b)；
针对滤波窗口
内的每个光谱测量点基于式(7)构造方程，最终构成了由l个方程组成的k元线性方程组，通过最小二乘法拟合对这k元线性方程组进行拟合后，确定多项式的参数A＝{a'0,a′1,…,a'k-1}，并由下式对SpecA1中的波长点的吸光度/>
进行滤波处理：
对于近红外光谱数据SpecA1中的波长点的吸光度
均经过上述处理后，得到近红外光谱数据SpecA1经过平滑滤波后的光谱数据如下式所示。
至此，SpecA2为样本A近红外光谱数据SpecA在经过标准正态变量变换处理方法后再进行噪声处理后的近红外光谱数据；
通过上述同样的流程，对SpecB1进行去噪后，得到近红外光谱数据SpecB2。
5.根据权利要求4所述的近红外光谱数据微弱差异信号的评价方法，其特征在于，步骤4具体方法如下：
对于使用标准正态变量变换消除了近红外漫反射影响，并使用一阶求导去除了光谱中噪声后的近红外光谱数据，再使用最大最小规则，消除光谱的量纲以增强光谱间的可比性；
使用标准正态变量变化消除了近红外漫反射影响，并使用一阶求导去除了光谱中噪声后的近红外光谱数据SpecA2为例，其最大最小规则消除光谱量纲的具体处理过程如下式所示：
其中，
为SpecA2中经过最大最小规则消除了光谱量纲的第i(i＝1,2,…,m)个波长点的吸光度，，/>
为SpecA2中第SpecA2中第i(i＝1,2,…,m)个波长点的吸光度，m为SpecA2的波长点数；
SpecA3为样本A近红外光谱数据SpecA在经过标准正态变量变化处理方法、一阶求导去噪操作和最大最小规则消除量纲后的近红外光谱数据；
通过上述同样的流程，对SpecB2进行去量纲处理后，得到近红外光谱数据SpecB3。
6.根据权利要求1所述的近红外光谱数据微弱差异信号的评价方法，其特征在于，步骤5具体方法如下：
结合欧式距离、相关系数、信息散度计算近红外光谱数据相似度的具体方法如下所示：
其中，SpecA3为样本A近红外光谱数据SpecA在经过标准正态变量变换处理方法、一阶求导去噪操作和最大最小规则消除量纲后的近红外光谱数据，SpecB3为样本B近红外光谱数据SpecB在经过标准正态变量变换处理方法、一阶求导去噪操作和最大最小规则消除量纲后的近红外光谱数据；
首先，在计算两条近红外光谱SpecA3和SpecB3的欧氏距离时，在欧氏空间中，按照下述的公式计算两个近红外光谱向量的距离大小：
其中：EDM(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3的欧式距离值，
表示近红外光谱数据SpecA3的第i(i＝1,2,…,m)个波长点的吸光度，
表示近红外光谱数据SpecB3的第i(i＝1,2,…,m)个波长点的吸光度，m为近红外光谱数据SpecA3和SpecB3的波长点数；
其次，在计算两条近红外光谱的相关系数时，通过如下述的公式计算两条近红外光谱向量的相关性；
其中：SCM(SpecA3,SpecB3)为近红外光谱数据SpecA3和SpecB3的相关系数，
表示近红外光谱数据SpecA3的第i(i＝1,2,…,m)个波长点的吸光度，/>
表示近红外光谱数据SpecB3的第i(i＝1,2,…,m)个波长点的吸光度，m为近红外光谱数据SpecA3和SpecB3的波长点数，/>
分别为近红外光谱数据SpecA3和SpecB3吸光度平均值；
然后，在计算SpecA3和SpecB3两条近红外光谱的散射度信息时，基于信息测度理论，将SpecA3和SpecB3两条近红外光谱分别看成是具有概率统计特征的信息元，并按照如下的公式来描述两条光谱中各波长点的吸光度概率：
其中，
为SpecA3中第i(i＝1,2,…,m)个波长点的吸光度概率值，/>
为SpecB3中第i(i＝1,2,…,m)个波长点的吸光度概率值，
据此，SpecA3和SpecB3两条近红外光谱的相对熵计算公式表达如下：
其中，D(SpecA3||SpecB3)为SpecA3相对于SpecB3的相对熵，D(SpecB3||SpecA3)为SpecB3相对于SpecA3的相对熵。
根据SpecA3和SpecB3两条近红外光谱的相对熵，按照如下的公式计算两条光谱的信息散度：
SID(SpecA3,SpecB3)＝D(SpecA3||SpecB3)+D(SpecB3||SpecA3) (17)；
其中，SID(SpecA3,SpecB3)表示SpecA3和SpecB3两条近红外光谱的信息散度；
如上，EDM(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3欧氏距离，SCM(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3相关系数，SID(SpecA3,SpecB3)表示近红外光谱数据SpecA3和SpecB3的信息散度，按照下述的公式，用以最终表征近红外光谱数据SpecA3和SpecB3的相似性：
其中，SS(SpecA3,SpecB3)为本发明所描述的两条近红外光谱数据SpecA3和SpecB3的相似性，用以表征样本A与样本B的相似度。
7.根据权利要求6所述的近红外光谱数据微弱差异信号的评价方法，其特征在于，EDM(SpecA3,SpecB3)值越小、SCM(SpecA3,SpecB3)越大、SID(SpecA3,SpecB3)越小，表明近红外光谱数据SpecA3和SpecB3表征的样本相似度就会越高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310560109.XA CN116432051A (zh) | 2023-05-18 | 2023-05-18 | 一种近红外光谱数据微弱差异信号的评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310560109.XA CN116432051A (zh) | 2023-05-18 | 2023-05-18 | 一种近红外光谱数据微弱差异信号的评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116432051A true CN116432051A (zh) | 2023-07-14 |
Family
ID=87087361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310560109.XA Pending CN116432051A (zh) | 2023-05-18 | 2023-05-18 | 一种近红外光谱数据微弱差异信号的评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116432051A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116660198A (zh) * | 2023-08-02 | 2023-08-29 | 中珀(北京)新材料科技有限公司 | 基于光谱分析的碳纳米材料浆料性能测试方法 |
| CN116881705A (zh) * | 2023-09-07 | 2023-10-13 | 佳木斯大学 | 一种锦灯笼宿萼的近红外光谱数据处理系统 |
-
2023
- 2023-05-18 CN CN202310560109.XA patent/CN116432051A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116660198A (zh) * | 2023-08-02 | 2023-08-29 | 中珀(北京)新材料科技有限公司 | 基于光谱分析的碳纳米材料浆料性能测试方法 |
| CN116660198B (zh) * | 2023-08-02 | 2023-09-29 | 中珀(北京)新材料科技有限公司 | 基于光谱分析的碳纳米材料浆料性能测试方法 |
| CN116881705A (zh) * | 2023-09-07 | 2023-10-13 | 佳木斯大学 | 一种锦灯笼宿萼的近红外光谱数据处理系统 |
| CN116881705B (zh) * | 2023-09-07 | 2023-11-21 | 佳木斯大学 | 一种锦灯笼宿萼的近红外光谱数据处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116432051A (zh) | 一种近红外光谱数据微弱差异信号的评价方法 | |
| Ye et al. | Non-destructive prediction of protein content in wheat using NIRS | |
| CN109324015B (zh) | 基于光谱相似的烟叶替代方法 | |
| Bin et al. | A modified random forest approach to improve multi-class classification performance of tobacco leaf grades coupled with NIR spectroscopy | |
| CN116842326B (zh) | 一种基于光学手段的畜牧养殖水质监测系统 | |
| CN108844941B (zh) | 一种基于拉曼光谱和pca-hca的不同品位磷矿的鉴别和分类方法 | |
| US20220390374A1 (en) | Method for extracting raman characteristic peaks employing improved principal component analysis | |
| CN112557332B (zh) | 一种基于光谱分峰拟合的光谱分段和光谱比对方法 | |
| CN108489929A (zh) | 人参、三七和西洋参三种法定基源人参属多糖的鉴别方法 | |
| CN110749565A (zh) | 一种快速鉴别普洱茶存储年份的方法 | |
| WO2020248961A1 (zh) | 一种无参考值的光谱波数选择方法 | |
| CN111272686B (zh) | 铁矿石选矿粉铁品位的高光谱检测方法 | |
| CN116698680A (zh) | 一种生物气溶胶自动监测方法及系统 | |
| Tan et al. | Improvement of a standard-free method for near-infrared calibration transfer | |
| CN109283153B (zh) | 一种酱油定量分析模型的建立方法 | |
| CN102042967A (zh) | 一种基于近红外光谱技术的葡萄糖水溶液快速识别方法 | |
| CN104076003B (zh) | 一种矿物光谱吸收特征参数的提取方法 | |
| CN116136518B (zh) | 色谱仪 | |
| CN109270045A (zh) | 一种用于拉曼光谱的快速荧光背景抑制方法 | |
| CN117194902A (zh) | 一种光谱测量过程中噪声数据滤除方法 | |
| CN113484275B (zh) | 基于中红外光谱采用分峰分析技术快速预测新鲜烟叶中油分含量的方法 | |
| Rammal et al. | Optimal preprocessing and FCM clustering of MIR, NIR and combined MIR-NIR spectra for classification of maize roots | |
| Sahu et al. | Tracing overlapping biological signals in mid-infrared using colonic tissues as a model system | |
| CN109324017B (zh) | 一种提高近红外光谱分析技术建模光谱质量的方法 | |
| CN114018856A (zh) | 光谱校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |