CN115561193A - 一种傅里叶红外光谱仪数据处理和分析系统 - Google Patents
一种傅里叶红外光谱仪数据处理和分析系统 Download PDFInfo
- Publication number
- CN115561193A CN115561193A CN202211205581.3A CN202211205581A CN115561193A CN 115561193 A CN115561193 A CN 115561193A CN 202211205581 A CN202211205581 A CN 202211205581A CN 115561193 A CN115561193 A CN 115561193A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- module
- data
- peak
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000001228 spectrum Methods 0.000 claims abstract description 82
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 58
- 230000003595 spectral effect Effects 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000002068 genetic effect Effects 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims abstract description 9
- 230000008030 elimination Effects 0.000 claims abstract description 4
- 238000003379 elimination reaction Methods 0.000 claims abstract description 4
- 238000002835 absorbance Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004445 quantitative analysis Methods 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013144 data compression Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 4
- 229910004283 SiO 4 Inorganic materials 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004451 qualitative analysis Methods 0.000 description 3
- 210000000349 chromosome Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 229910052834 spessartine Inorganic materials 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- -1 chemical engineering Substances 0.000 description 1
- 238000003889 chemical engineering Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Biochemistry (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Analytical Chemistry (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明属于光谱仪信息处理和信息分析技术领域，具体涉及一种傅里叶红外光谱仪数据处理和分析系统，数据预处理模块、曲线变换及峰值定位模块和特征提取模块与傅里叶红外光谱仪电性连接实现数据交互，通过数据预处理模块，完成基本光谱变换、光谱滤波去噪、多元散射校正以及异常数据剔除；通过曲线变换及峰值定位模块，根据光谱数据实现红外光谱的多项式拟合和峰值自动定位以及坐标变换；通过特征提取模块，利用连续投影法和遗传算法，筛选携带相关信息的波长，计算光谱的特征变量，有效提取和优化光谱信息；利用人机交互模块，进行红外光谱的自动处理和分析。本发明能够根据用户个性化需求完成光谱信息的预处理、峰值定位、特征提取等功能。
Description
技术领域
本发明属于光谱仪信息处理和信息分析技术领域，具体涉及一种傅里叶红外光谱仪数据处理和分析系统，实现了对傅里叶红外光谱仪测试数据的数据预处理、峰值定位以及特征优选等信息处理和分析功能。
背景技术
傅里叶红外光谱仪能够对样品进行定性及定量分析，被广泛应用于石油、化工、医学等领域。由于物质的发射和吸收光谱都是由其自身的结构特点和相应的物理机制唯一确定的，因此，通过光谱可对物质的种类和含量进行识别。
光谱仪工作时，光源发出的光由分束器分成两束，分别经过定镜和动镜反射后形成光程差，从而产生干涉。通过对干涉光信号进行傅里叶变换等处理，最终得到红外吸收光谱图，而原始光谱的处理和分析技术将直接影响光谱仪进行样品定性及定量分析的精度。
传统傅里叶红外光谱仪，存在以下技术缺陷：1、仅对原始光谱进行简单的处理，需要用户使用其它软件或工具进行光谱的进一步处理。2、在红外光谱信号采集过程中，可能受到光谱仪器的状态、采集背景、检测条件等因素的影响，导致所测光谱中存在干扰，如噪声干扰。与此同时，由于每采集一个样本光谱都要采集背景，背景的变化使得光谱出现基线漂移的现象。此外，异常样本干扰和光的散射等因素也会降低光谱采集的精度和稳定性。因此，对红外光谱数据进行预处理是保证后续工作质量的关键步骤。3、由于红外光谱的特征频率区以及指纹区对于区别结构类似的化合物有重要作用，对光谱峰值的定位精度直接影响着后续样品分析的性能，现有的傅里叶红外光谱仪对光谱峰值的定位精度有待进一步提高。4、此外，进行红外光谱定性和定量研究时，有时需要建立稳定可靠的分析模型，现有的傅里叶红外光谱仪缺少相应的分析模型。
发明内容
本发明的目的在于，改进现有的傅里叶红外光谱仪的上述技术缺陷，设计用于傅里叶红外光谱仪测试数据的光谱信息处理和分析系统，使得用户可在多个全面且有效的功能模块间进行自定义选择，在采集光谱的同时实现个性化的光谱处理和分析。本发明所采用的技术方案如下：
一种傅里叶红外光谱仪数据处理和分析系统，包括：数据预处理模块、曲线变换及峰值定位模块、特征提取模块和人机交互模块，数据预处理模块、曲线变换及峰值定位模块和特征提取模块与傅里叶红外光谱仪电性连接实现数据交互、接收傅里叶红外光谱仪的测试数据；通过数据预处理模块，完成基本光谱变换、光谱滤波去噪、多元散射校正以及异常数据剔除；通过曲线变换及峰值定位模块，根据光谱数据实现红外光谱的多项式拟合和峰值自动定位以及坐标变换；通过特征提取模块，利用连续投影法和遗传算法，筛选携带相关信息的波长，计算光谱的特征变量，有效提取和优化光谱信息；利用人机交互模块，实现根据用户的自定义需求进行红外光谱的自动处理和分析。
本发明提出的傅里叶红外光谱仪处理和分析系统，上述软件功能模块可以安装在上位机中，通过上位机与傅里叶红外光谱仪电性连接，实现光谱信息的处理和分析；如果傅里叶红外光谱仪自身的处理器的计算功能足够强大，上述软件功能模块也可以直接集成安装在傅里叶红外光谱仪中。
优选的，所述的数据预处理模块包括四个子模块：红外光谱基本变换子模块、红外光谱滤波去噪子模块、多元散射校正子模块和异常样本剔除子模块。
优选的，红外光谱基本变换子模块采用直接差分法，通过消除基线漂移、提高光谱分辨率；将红外光谱的纵坐标进行归一化，便于红外光谱的定量分析；通过中心化完成红外光谱的平移，将其整体移动到以0为中心点的位置；通过标准化，把数据映射到服从均值为0、标准差为1的标准正态分布；红外光谱滤波去噪子模块，通过小波包变换将光谱信息分解为背景信息、组分信息和噪音，实现小波包阈值去噪；利用移动平滑滤波，通过将数据点及其邻近点取平均或者加权重新分配得到更平滑的曲线，有效减少光谱噪声；利用Savitzky-Golay卷积平滑滤波法，将简单的均值计算改进为通过多项式对移动窗口内的数据进行多项式最小二乘拟合；多元散射校正子模块，将每个样品的原始光谱都以平均光谱为参考量，与回归常数和回归系数做运算以修正光谱的漂移和偏移现象；异常样本剔除子模块，结合具有数据压缩能力的主成分分析与马氏距离检测异常样本并且将其剔除。
优选的，曲线变换及峰值定位模块包括：光谱曲线的多项式拟合子模块、红外光谱峰值定位与标记子模块和坐标变换子模块。
优选的，光谱曲线的多项式拟合子模块，给定n+1个光谱数据构成的序列(ti,pi),i＝0,...,n，利用分段五次多项式插值，使得分段多项式经过所有点序列，实现光谱曲线的拟合；红外光谱峰值定位与标记子模块，根据用户设定的峰值最小距离，实现峰值的定位和标记；坐标变换子模块，选择以透射率或吸光度为纵坐标，以波长或波数为横坐标，在显示光谱时，根据需要对透射率和吸光度、波长和波数进行转换。
优选的，特征提取模块包括连续投影子模块和遗传子模块。
优选的，连续投影子模块使用连续投影算法，利用向量投影优选出冗余度低、共线性小又能反映样本光谱关键信息的有效特征波段；遗传子模块使用遗传算法，选定特征波长。
优选的，人机交互模块根据用户对红外光谱分辨率的要求以及所需光谱数据的自定义参数，实现红外光谱的自动处理。
本发明的有益效果：
本发明在传统的傅里叶红外光谱仪的基本功能基础上，设置光谱信息处理和分析系统，通过设计实现多个光谱分析处理的功能模块，使傅里叶红外光谱仪能够在采集光谱的同时，根据用户个性化需求完成光谱信息的预处理、峰值定位、特征提取等功能。
(1)本发明的数据预处理模块，主要实现红外光谱的基本变换，并对光谱中冗余噪声干扰及其他不规则影响因素进行滤除，解决采集时的背景干扰造成的基线漂移、仪器及检测环境的噪声干扰、检测异常造成的离群光谱等问题。通过对光谱的适当处理，减弱和消除各种非目标因素对光谱的影响，净化谱图信息，为未知样品组成或性质的预测以及模型的建立奠定基础。
(2)为了实现红外光谱的峰值定位，本发明提出一种基于分段多项式拟合的方法实现光谱数据的拟合，并在此基础上设计了基于求导的峰值定位方法。
(3)本发明筛选携带相关信息的波长，计算光谱的特征变量，从而有效提取和优化光谱的信息，提高模型的精度和运算效率。提取与研究样品性质相关的光谱特征是建立高精准度和稳定性模型的关键，针对样品的特性选取合适的特征不仅可以大大地降低变量的维度和冗余性，提高建模效率，而且可以增加变量与因变量的线性关系，提高模型的精度。
(4)本发明提出的傅里叶红外光谱仪数据处理和分析系统具备功能的全面性，并能够根据用户需求，实现红外光谱的自动处理和分析。本发明提出的红外光谱预处理算法、光谱峰值定位算法以及特征筛选算法，能够为基于红外光谱的样品定性和定量分析提供精确稳定的数据支持。
附图说明
图1为本发明实施例的傅里叶红外光谱仪的原理示意图；
图2为本发明实施例的Mn3Al2(SiO4)3光谱预处理(S-G平滑滤波)示意图；
图3为本发明实施例的Mn3Al2(SiO4)3红外光谱的分段多项式拟合示意图；
图4为本发明实施例的Mn3Al2(SiO4)3红外光谱的峰值定位示意图；
图5为本发明实施例的Mn3Al2(SiO4)3红外光谱的遗传算法特征提取示意图；
图6为本发明实施例的人机交互模块的展示图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
本发明实施例，以Mn3Al2(SiO4)3为例，说明使用本发明的新型傅里叶红外光谱仪对Mn3Al2(SiO4)3进行光谱分析的过程和结果。
如图1所示，为本发明实施例的傅里叶红外光谱仪数据处理和分析系统的原理示意图。一种傅里叶红外光谱仪数据处理和分析系统，包括：数据预处理模块、曲线变换及峰值定位模块、特征提取模块和人机交互模块。本发明采用的技术方案为包含红外光谱预处理、光谱峰值定位与标记、特征筛选以及人机交互模块在内的信息处理和分析方法，各功能模块的具体实施方式如下：
1、数据预处理模块。
数据预处理模块能够实现对傅里叶红外光谱仪的红外光谱进行求导、中心化、归一化等基本变换，以及基线漂移校正、异常样本检测等处理，用户可根据需求选择具体预处理操作及其先后顺序。
1.1红外光谱基本变换子模块。
1.1.1光谱求导。
通过光谱求导消除基线漂移、提高光谱分辨率。采用直接差分法，对于离散光谱xi，i＝1,...,n，分别按下述方法计算波长i处、差分宽度为g的一阶导数和二阶导数光谱。其中一阶导数公式为：
二阶导数公式为：
1.1.2归一化。
将光谱的纵坐标进行归一化，便于红外光谱的定量分析。具体计算公式如下，其中x为某个波长对应的吸光度，xmin为吸光度在光谱所有吸光度数值中的最小值，xmax为吸光度在光谱所有吸光度数值中的最大值，x*为经过归一化处理后的吸光度，取值在[0,1]之间。
1.1.3中心化。
完成光谱的平移，将其整体移动到以0为中心点的位置。具体计算公式如(4)式所示，其中x为某个波长对应的纵坐标数值，μ为光谱全部波长对应纵坐标的均值。
x*＝x-μ (4)
1.1.4标准化。
把数据映射到服从均值为0、标准差为1的标准正态分布。具体计算如(5)式所示，其中x为光谱原始数据，μ为所有光谱数据的平均值，σ为所有光谱数据的标准差，x*为经过标准化处理后的数值，服从标准正态分布x*～N(0,1)。
1.2红外光谱的滤波去噪子模块。
1.2.1小波包滤波去噪。
通过小波包变换将光谱信息分解为背景信息、组分信息和噪音，实现小波包阈值去噪：
①信号的小波包分解。根据信号选择合适的小波函数和分解尺度，并给定熵标准计算最佳小波基；
②小波包分解系数的阈值量化。根据经验选择合适的阈值规则，选定恰当的阈值，对分解后的小波包系数进行处理；
③小波包重构。由第N层小波包分解系数及处理后的系数重构回原来的光谱信号。
阈值计算公式如下：
1.2.2移动平滑滤波。
通过将数据点及其邻近点取平均或者加权重新分配得到更平滑的曲线，有效减少光谱噪声。取窗口内奇数个数据点的平均值，用此平均数来代替窗口内数据的中心点，移动窗口从而得到新的数据。
其中窗口宽度为n，窗口中心波长点t的数据值为x(t)，平滑后的新数据点为y(t)。
1.2.3Savitzky-Golay卷积平滑滤波法。
将简单的均值计算改进为通过多项式对移动窗口内的数据进行多项式最小二乘拟合。平滑窗口宽度n＝2m+1，对窗口内的原始数据点用k-1次多项式进行拟合，即：
yi＝a0+a1i+a2i2+…+ak-1ik-1 (8)
其中：i＝(-m,-m+1,···,0,1,···,m-1,m)。求解超定方程组
Y(2m+1)×1＝X(2m+1)×k·Ak×1+E(2m+1)×1 (9)
解得滤波值Y的计算公式如下
其中B＝X(XTX)-1XT为滤波系数矩阵，由且仅由X矩阵决定，B矩阵为(2m+1)×(2m+1)阶矩阵，根据系数矩阵即可获得S-G平滑拟合方程。根据前述S-G平滑滤波方法对Mn3Al2(SiO4)3红外光谱进行预处理，滤波结果如图2所示，原始光谱的毛刺得到滤除。
1.3多元散射校正子模块。
每个样品的原始光谱都以平均光谱为参考量，与回归常数和回归系数做运算以修正光谱的漂移和偏移现象。
求取所有样品光谱的平均光谱，其中A为n×p维的光谱矩阵，即共有n组样品光谱，每条光谱含有p个波长数据。
通过一元线性回归运算得到各光谱相对于标准光谱的回归系数mi和回归常数bi，计算公式为：
将样品的原始光谱与其倾斜平移量做差，同时除以其线性偏移量，修正光谱的基线平移和偏移现象
1.4异常样本剔除子模块。
结合具有数据压缩能力的主成分分析与马氏距离检测异常样本。计算每个样品的主成分，样品的主成分代替样本的光谱数据，计算马氏距离，其中X为样本数据，CX为样本数据的协方差，
为数据的平均值。
设定阈值区分异常样本，阈值的设定如下：
其中，
是马氏距离的均值，δD是马氏距离的标准差，e是一个权值系数，用来调整判别异常值的阈值。
2、曲线变换及峰值定位模块。
曲线变换及峰值定位模块能够实现红外光谱曲线的多项式拟合、峰值定位和坐标变换等功能，用户可根据需求从中进行选择，对原始光谱或预处理后的光谱进行处理。
2.1光谱曲线的多项式拟合子模块。
给定n+1个光谱数据构成的序列(ti,pi),i＝0,...,n，利用分段五次多项式插值，使得分段多项式经过所有点序列。
①对起点、终点以及中间点处的一阶导数进行估计；
②对起点、终点以及中间点处的二阶导数进行估计；
③设五次多项式的表达式为
p(t)＝a0+a1(t-ts)+a2(t-ts)2+a3(t-ts)3+a4(t-ts)4+a5(t-ts)5 (16)
对于每一段五次多项式，利用其端点处的约束条件求得拟合多项式的系数。Mn3Al2(SiO4)3红外光谱的分段多项式拟合结果如图3所示，本发明方法能够有效实现光谱曲线的拟合。
2.2红外光谱峰值定位与标记子模块。
峰值定位的具体步骤如下：
①获取原始光谱的一阶差分dy，以及差分为0的下标位置zeros；
②对zeros进行差分，以判断当前波形是否为水平的，并对zeros中的下标进行分组；
③对每一个水平波进行处理，使得每一个水平波中仅具有一个峰值转向点；
④在峰值点检测时，处于水平波中的各个点表现相同，因此选取水平波中的中值点作为唯一的峰值点，由此对dy进行修正；
·若某一水平波处于信号起始位置，则dy在信号起始位置向前填充；
·若某一水平波处于信号结束位置，则dy在信号结束位置向后填充；
·若某一水平波处于信号中间位置，则dy分别以中值为界，向前向后填充；
⑤获得符合峰值检测的峰值点，峰值点的判断依据为：
dy[i]>0,dy[i+1]<0,y[i]>threshold则i为信号的峰值点位置；
⑥使用峰值检测距离，筛除无效的峰值点。对上述峰值点，按照其幅值进行从高到低，逐点提取峰值点，并以其为中心，正负最小距离为区间，将这一区间内的所有点均视为非峰值点；
⑦最终输出峰值点的指示矩阵。
图4为Mn3Al2(SiO4)3红外光谱的峰值定位结果，根据用户设定的峰值最小距离，实现峰值的定位和标记。
2.3坐标变换子模块。
红外光谱可以选择以透射率或吸光度为纵坐标，以波长或波数为横坐标。在显示光谱时，根据需要对透射率和吸光度、波长和波数进行转换。
3、特征提取模块。
用户能够选择连续投影算法、遗传算法等方法对红外光谱进行特征提取，筛选有效波段。
3.1连续投影子模块。
连续投影子模块使用连续投影算法，利用向量投影来优选出冗余度低、共线性小又能反映样本光谱关键信息的有效特征波段。光谱特征波长筛选的具体步骤如下：
①初始化，设定循环次数H首次执行算法，即n＝1，在XM×N(N个样本，每个样本有M个波长数据)的矩阵中任意选取一行向量xj进行第一次迭代，记为xk(0)(即k(0)＝j)；
②定义集合K＝{j,1≤j≤K,j∈{k(0),...k(n-1)}}，包含其他没有被选择的行向量，计算xj对集合K中所有行向量的投影向量
③输出步骤②计算的最大的投影向量的序列号
k(n)＝argmax(|Pxj|)，j∈K (18)
将此行向量作为初始向量重复步骤②；
④以最大投影作为下次循环的投影向量：
xj＝Pxj,j∈K (19)
⑤n＝n+1，若n<H，则继续投影，反之则停止。
3.2遗传子模块。
遗传子模块使用遗传算法，遗传算法步骤主要包括：
①随机产生初始种群；
②根据策略判断个体的适应度是否符合优化准则，若符合则输出最佳个体及其最优解，结束算法，否则进行下一步；
③依据适应度选择父母，适应度高的个体被选中的概率高，适应度低的个体被淘汰；
④用父母的染色体按照一定的方法进行交叉，生成子代；
⑤对子代染色体进行变异；
⑥由交叉和变异产生新一代种群，返回步骤②，直到产生最优解停止循环。
采用遗传算法对Mn3Al2(SiO4)3红外光谱进行特征提取，结果如图5所示。其中选择结果为1代表对应波长被选定为特征波长。
4、人机交互模块。
通过图6所示的人机交互模块，根据用户对红外光谱分辨率的要求以及所需光谱数据的自定义参数，实现红外光谱的自动处理。
傅里叶红外光谱仪数据处理和分析系统的总体功能主要包括光谱数据的导入和导出以及前文所述的红外光谱预处理、光谱峰值定位与标记、坐标变换以及特征筛选等。综上所述，本发明对红外光谱仪进行改进，设计用于光谱预处理、峰值定位、特征提取等功能的多个模块，用户可以借助人机交互根据需求自行选择其中一个或多个功能模块对光谱仪的原始光谱进行处理和分析。
本发明实施例中，所涉及到的没有详细描述的技术内容，均为现有技术。
Claims (8)
1.一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，包括：数据预处理模块、曲线变换及峰值定位模块、特征提取模块和人机交互模块，数据预处理模块、曲线变换及峰值定位模块和特征提取模块与傅里叶红外光谱仪电性连接实现数据交互、接收傅里叶红外光谱仪的测试数据；通过数据预处理模块，完成基本光谱变换、光谱滤波去噪、多元散射校正以及异常数据剔除；通过曲线变换及峰值定位模块，根据光谱数据实现红外光谱的多项式拟合和峰值自动定位以及坐标变换；通过特征提取模块，利用连续投影法和遗传算法，筛选携带相关信息的波长，计算光谱的特征变量，有效提取和优化光谱信息；利用人机交互模块，实现根据用户的自定义需求进行红外光谱的自动处理和分析。
2.根据权利要求1所述的一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，所述的数据预处理模块包括四个子模块：红外光谱基本变换子模块、红外光谱滤波去噪子模块、多元散射校正子模块和异常样本剔除子模块。
3.根据权利要求2所述的一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，红外光谱基本变换子模块采用直接差分法，通过消除基线漂移提高光谱分辨率；将红外光谱的纵坐标进行归一化，便于红外光谱的定量分析；通过中心化完成红外光谱的平移，将其整体移动到以0为中心点的位置；通过标准化，把数据映射到服从均值为0、标准差为1的标准正态分布；
红外光谱滤波去噪子模块，通过小波包变换将光谱信息分解为背景信息、组分信息和噪音，实现小波包阈值去噪；利用移动平滑滤波，通过将数据点及其邻近点取平均或者加权重新分配得到更平滑的曲线，有效减少光谱噪声；利用Savitzky-Golay卷积平滑滤波法，将简单的均值计算改进为通过多项式对移动窗口内的数据进行多项式最小二乘拟合；
多元散射校正子模块，将每个样品的原始光谱都以平均光谱为参考量，与回归常数和回归系数做运算以修正光谱的漂移和偏移现象；
异常样本剔除子模块，结合具有数据压缩能力的主成分分析与马氏距离检测异常样本并且将其剔除。
4.根据权利要求1所述的一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，曲线变换及峰值定位模块包括：光谱曲线的多项式拟合子模块、红外光谱峰值定位与标记子模块和坐标变换子模块。
5.根据权利要求4所述的一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，光谱曲线的多项式拟合子模块，给定n+1个光谱数据构成的序列(ti,pi),i＝0,...,n，利用分段五次多项式插值，使得分段多项式经过所有点序列，实现光谱曲线的拟合；
红外光谱峰值定位与标记子模块，根据用户设定的峰值最小距离，实现峰值的定位和标记；
坐标变换子模块，选择以透射率或吸光度为纵坐标，以波长或波数为横坐标，在显示光谱时，根据需要对透射率和吸光度、波长和波数进行转换。
6.根据权利要求1所述的一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，特征提取模块包括连续投影子模块和遗传子模块。
7.根据权利要求6所述的一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，连续投影子模块使用连续投影算法，利用向量投影优选出冗余度低、共线性小又能反映样本光谱关键信息的有效特征波段；
遗传子模块使用遗传算法，选定特征波长。
8.根据权利要求1所述的一种傅里叶红外光谱仪数据处理和分析系统，其特征在于，人机交互模块根据用户对红外光谱分辨率的要求以及所需光谱数据的自定义参数，实现红外光谱的自动处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211205581.3A CN115561193A (zh) | 2022-09-29 | 2022-09-29 | 一种傅里叶红外光谱仪数据处理和分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211205581.3A CN115561193A (zh) | 2022-09-29 | 2022-09-29 | 一种傅里叶红外光谱仪数据处理和分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115561193A true CN115561193A (zh) | 2023-01-03 |
Family
ID=84743757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211205581.3A Pending CN115561193A (zh) | 2022-09-29 | 2022-09-29 | 一种傅里叶红外光谱仪数据处理和分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115561193A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118009914A (zh) * | 2024-04-08 | 2024-05-10 | 上海中医药大学附属岳阳中西医结合医院 | 基于红外光谱的智能艾灸机器人部件温度变形监测方法 |
-
2022
- 2022-09-29 CN CN202211205581.3A patent/CN115561193A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118009914A (zh) * | 2024-04-08 | 2024-05-10 | 上海中医药大学附属岳阳中西医结合医院 | 基于红外光谱的智能艾灸机器人部件温度变形监测方法 |
| CN118009914B (zh) * | 2024-04-08 | 2024-06-11 | 上海中医药大学附属岳阳中西医结合医院 | 基于红外光谱的智能艾灸机器人部件温度变形监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Piskunov et al. | New algorithms for reducing cross-dispersed echelle spectra | |
| CN115326783B (zh) | 拉曼光谱预处理模型生成方法、系统、终端及存储介质 | |
| CN111678599B (zh) | 基于深度学习优化s-g滤波的激光光谱降噪方法及装置 | |
| CN105158200B (zh) | 一种提高近红外光谱定性分析准确度的建模方法 | |
| CN110243806A (zh) | 拉曼光谱下基于相似度的混合物组分识别方法 | |
| CN113109317B (zh) | 基于背景扣除提取峰面积的拉曼光谱定量分析方法及系统 | |
| CN113008805A (zh) | 基于高光谱成像深度分析的白芷饮片质量预测方法 | |
| CN115561193A (zh) | 一种傅里叶红外光谱仪数据处理和分析系统 | |
| CN111855608A (zh) | 基于融合特征波长选择算法的苹果酸度近红外无损检测方法 | |
| CN109409350A (zh) | 一种基于pca建模反馈式载荷加权的波长选择方法 | |
| CN110110789A (zh) | 一种基于多谱图信息融合技术的中草药品质鉴别方法 | |
| CN114971259A (zh) | 一种利用近红外光谱分析配方产品质量一致性的方法 | |
| CN114216877B (zh) | 茶叶近红外光谱分析中谱峰自动检测与重构方法及系统 | |
| CN113686811A (zh) | 一种基于双传感器的光谱数据处理方法 | |
| CN117556245A (zh) | 一种四甲基氢氧化铵生产过滤杂质检测方法 | |
| Wang et al. | SVM classification method of waxy corn seeds with different vitality levels based on hyperspectral imaging | |
| CN116380869A (zh) | 一种基于自适应稀疏分解的拉曼光谱去噪方法 | |
| CN114062306B (zh) | 一种近红外光谱数据分段预处理方法 | |
| CN113435115B (zh) | 一种荧光光谱特征波长筛选方法、装置、计算机设备及可读储存介质 | |
| CN114364971B (zh) | 用于确定样品中存在的组分的光谱装置和方法 | |
| CN115909324A (zh) | 一种广陈皮陈化年份高光谱鉴别方法及系统 | |
| CN115471750A (zh) | 基于超像素引导判别森林的高光谱异常检测方法 | |
| CN116660207B (zh) | 一种油品快检中特征谱段确定方法和辛烷含量检测系统 | |
| CN108414462B (zh) | 一种基于模板匹配的低分辨率恒星连续谱自动拟合方法 | |
| Ren¹ et al. | Check for updates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |