CN105334186A - 一种近红外光谱分析方法 - Google Patents
一种近红外光谱分析方法 Download PDFInfo
- Publication number
- CN105334186A CN105334186A CN201510925209.3A CN201510925209A CN105334186A CN 105334186 A CN105334186 A CN 105334186A CN 201510925209 A CN201510925209 A CN 201510925209A CN 105334186 A CN105334186 A CN 105334186A
- Authority
- CN
- China
- Prior art keywords
- model
- qualitative
- quantitative
- spectrum
- characteristic wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000010183 spectrum analysis Methods 0.000 title abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 230000003595 spectral effect Effects 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 244000287680 Garcinia dulcis Species 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010187 selection method Methods 0.000 abstract 1
- 238000002329 infrared spectrum Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Abstract
一种近红外光谱分析方法，包括步骤如下：1)预处理操作；2)提取特征波长；3)建立定性识别模型；4)建立定量回归模型：包括偏最小二乘定量回归方法和BP神经网络定量回归方法。本发明提出了新的特征波长选择方法和定性模式识别方法，抛弃了传统的适用于专业技术人员使用的繁琐的光谱解析内容。本发明提取特征光谱波长效率高，能高效准确建立数学分析模型。本发明界面简洁、操作简单、通用性强，易于非专业人员快速上手并掌握。
Description
技术领域：
本发明涉及一种近红外光谱分析方法，属于光谱分析的技术领域。
技术背景：
近年来，近红外光谱测量技术与化学计量学学科的有机结合，诞生了现代近红外光谱分析技术，它是上世纪90年代以来发展最为迅速的光谱分析技术，被誉为分析的巨人。近红外光谱分析技术因其快速分析、无损检测、精确度高等一系列特点而在石油化工、过程控制、环境科学、精细农业等领域展现出了强大的应用前景。
稳定可靠的近红外光谱分析仪器与功能全面的近红外光谱分析方法相结合是现代近红外光谱分析技术的重要标志。单纯的近红外光谱数据对于普通分析人员没有任何实用价值，必须借助近红外光谱分析方法和软件才能从光谱数据中提取出分析人员所需要的样品性质属性和理化成分信息。当前市面上的近红外光谱分析软件多为用于科学研究的光谱解析软件，系统复杂、界面繁琐，对于非专业人员难以上手，因此需要浓缩不必要的光谱解析过程，简化近红外光谱分析流程，开发一套适用于大众群体的近红外光谱分析方法和软件，有利于促进近红外光谱技术的发展。
发明内容：
针对现有技术的不足，本发明提出一种近红外光谱分析方法。该方法能有效简化近红外光谱分析流程，准确提取特征光谱波长，建立最优定性、定量数学模型，操作简单、窗口简洁、通用性强。
本发明的技术方案如下：
一种近红外光谱分析方法，该方法用到以下模块：预处理模块、特征波长选择模块、定性识别模块和定量回归模块；所述近红外光谱分析方法，包括步骤如下：
1)预处理操作：分别对建模样本和建模光谱进行预处理；
2)提取特征波长：针对定性识别模型和定量回归模型的不同，提取特征波
长的方法分为定性模型特征波长方法和定量模型特征波长方法，其中定性模型特征波长方法包括MW-BP-ANN和平均影响值，定量模型特征波长方法包括MW-PLS、MW-BP-ANN和平均影响值；
3)建立定性识别模型：包括主成分分析定性识别方法、偏最小二乘定性识别方法、BP神经网络定性识别方法和支持向量机定性识别方法；
4)建立定量回归模型：包括偏最小二乘定量回归方法和BP神经网络定量回归方法。
根据本发明优选的，所述步骤2)中所述提取特征波长的方法，包括以下具体步骤如下：
a.设置一宽为k的窗口，置于原始光谱的最左侧；
b.利用窗口所覆盖的光谱建立定性、定量数学模型，或等比例改变窗口所覆盖的光谱值，然后利用全光谱建立定性、定量数学模型；
c.针对步骤b中所建立的定性、定量数学模型，分别以正确识别率和相关系数R作为评价该模型优劣的指标；
d.设定模型指标阈值，对符合要求的模型所对应窗口的光谱进行保留，反则舍弃；
e.向右移动窗口，重复步骤a-d操作，直至扫描完全部光谱。
根据本发明优选的，所述步骤3)中，所述偏最小二乘定性识别方法、BP神经网络定性识别方法和支持向量机定性识别方法用于定性模式识别的方法，包括以下具体步骤：
i)对样本属性给予一伪码，用于类别标识；例如1、2等分别代表其不同的类别属性；
ii)用训练集样本光谱和对应的训练集样本标识码建立定性数学模型；
iii)将预测集样本光谱导入步骤ii)中建立好的定性数学模型，定性数学模型将给出其预测标识码，将所述预测标识码进行四舍五入判断其类别属性。例如，0.5≤预测标识码<1.5，视为第1类样本。
本发明的有益效果：
本发明所述一种近红外光谱分析方法按照近红外光谱分析流程将分析方法分成四个模块，提出了新的特征波长选择方法和定性模式识别方法，抛弃了传统的适用于专业技术人员使用的繁琐的光谱解析内容。本发明提取特征光谱波长效率高，能高效准确建立数学分析模型。本发明界面简洁、操作简单、通用性强，易于非专业人员快速上手并掌握。
附图说明
图1为本发明所述一种近红外光谱分析方法的流程框图；
图2为本发明中提取特征光谱波长的流程框图；
图3为本发明中所述定性识别效果图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明，但不限于此。
如图1-3所示。
实施例、
一种近红外光谱分析方法，该方法用到以下模块：预处理模块、特征波长选择模块、定性识别模块和定量回归模块；所述近红外光谱分析方法，包括步骤如下：
1)预处理操作：分别对建模样本和建模光谱进行预处理；
2)提取特征波长：针对定性识别模型和定量回归模型的不同，提取特征波长的方法分为定性模型特征波长方法和定量模型特征波长方法，其中定性模型特征波长方法包括MW-BP-ANN和平均影响值，定量模型特征波长方法包括MW-PLS、MW-BP-ANN和平均影响值；
3)建立定性识别模型：包括主成分分析定性识别方法、偏最小二乘定性识别方法、BP神经网络定性识别方法和支持向量机定性识别方法；
4)建立定量回归模型：包括偏最小二乘定量回归方法和BP神经网络定量回归方法。
根据本发明优选的，所述步骤2)中所述提取特征波长的方法，包括以下具体步骤如下：
a.设置一宽为k的窗口，置于原始光谱的最左侧；
b.利用窗口所覆盖的光谱建立定性、定量数学模型，或等比例改变窗口所覆盖的光谱值，然后利用全光谱建立定性、定量数学模型；
c.针对步骤b中所建立的定性、定量数学模型，分别以正确识别率和相关系数R作为评价该模型优劣的指标；
d.设定模型指标阈值，对符合要求的模型所对应窗口的光谱进行保留，反则舍弃；
e.向右移动窗口，重复步骤a-d操作，直至扫描完全部光谱。
根据本发明优选的，所述步骤3)中，所述偏最小二乘定性识别方法、BP神经网络定性识别方法和支持向量机定性识别方法用于定性模式识别的方法，包括以下具体步骤：
i)对样本属性给予一伪码，用于类别标识；例如1、2等分别代表其不同的类别属性；
ii)用训练集样本光谱和对应的训练集样本标识码建立定性数学模型；
将预测集样本光谱导入步骤ii)中建立好的定性数学模型，定性数学模型将给出其预测标识码，将所述预测标识码进行四舍五入判断其类别属性。例如，0.5≤预测标识码<1.5，视为第1类样本。
Claims (3)
1.一种近红外光谱分析方法，其特征在于，该方法用到以下模块：预处理模块、特征波长选择模块、定性识别模块和定量回归模块；所述近红外光谱分析方法，包括步骤如下：
1)预处理操作：分别对建模样本和建模光谱进行预处理；
2)提取特征波长：针对定性识别模型和定量回归模型的不同，提取特征波长的方法分为定性模型特征波长方法和定量模型特征波长方法，其中定性模型特征波长方法包括MW-BP-ANN和平均影响值，定量模型特征波长方法包括MW-PLS、MW-BP-ANN和平均影响值；
3)建立定性识别模型：包括主成分分析定性识别方法、偏最小二乘定性识别方法、BP神经网络定性识别方法和支持向量机定性识别方法；
4)建立定量回归模型：包括偏最小二乘定量回归方法和BP神经网络定量回归方法。
2.根据权利要求1所述的一种近红外光谱分析方法，其特征在于，所述步骤2)中所述提取特征波长的方法，包括以下具体步骤如下：
a.设置一宽为k的窗口，置于原始光谱的最左侧；
b.利用窗口所覆盖的光谱建立定性、定量数学模型，或等比例改变窗口所覆盖的光谱值，然后利用全光谱建立定性、定量数学模型；
c.针对步骤b中所建立的定性、定量数学模型，分别以正确识别率和相关系数R作为评价该模型优劣的指标；
d.设定模型指标阈值，对符合要求的模型所对应窗口的光谱进行保留，反则舍弃；
e.向右移动窗口，重复步骤a-d操作，直至扫描完全部光谱。
3.根据权利要求1所述的一种近红外光谱分析方法，其特征在于，所述步骤3)中，所述偏最小二乘定性识别方法、BP神经网络定性识别方法和支持向量机定性识别方法用于定性模式识别的方法，包括以下具体步骤：
i)对样本属性给予一伪码，用于类别标识；
ii)用训练集样本光谱和对应的训练集样本标识码建立定性数学模型；
将预测集样本光谱导入步骤ii)中建立好的定性数学模型，定性数学模型将给出其预测标识码，将所述预测标识码进行四舍五入判断其类别属性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510925209.3A CN105334186A (zh) | 2015-12-10 | 2015-12-10 | 一种近红外光谱分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510925209.3A CN105334186A (zh) | 2015-12-10 | 2015-12-10 | 一种近红外光谱分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105334186A true CN105334186A (zh) | 2016-02-17 |
Family
ID=55284839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510925209.3A Pending CN105334186A (zh) | 2015-12-10 | 2015-12-10 | 一种近红外光谱分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105334186A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106067065A (zh) * | 2016-06-07 | 2016-11-02 | 宁波检验检疫科学技术研究院 | 基于径向基神经网络的光谱分析模型转移技术 |
| CN106596456A (zh) * | 2016-04-01 | 2017-04-26 | 南京理工大学 | 基于可变移动窗口选择溶液近红外光谱谱区的方法 |
| CN107014756A (zh) * | 2017-04-17 | 2017-08-04 | 成都曙光光纤网络有限责任公司 | 一种光谱测试系统光源设计方法 |
| CN107255625A (zh) * | 2017-06-19 | 2017-10-17 | 山东大学 | 一种基于嵌入式的茶叶产地鉴别装置及其应用 |
| CN108844917A (zh) * | 2018-09-29 | 2018-11-20 | 山东大学 | 一种基于显著性假设检验和偏最小二乘法的近红外光谱数据分析方法 |
| CN109632690A (zh) * | 2018-12-04 | 2019-04-16 | 孙彤 | 非侵入式尿液在线检测系统及建立预测模型的方法 |
| CN111060497A (zh) * | 2019-12-31 | 2020-04-24 | 西安交通大学 | 基于svm级联模型的混合种类飞灰未燃碳含量libs测量方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1657907A (zh) * | 2005-03-23 | 2005-08-24 | 江苏大学 | 基于间隔偏最小二乘法的农产品、食品近红外光谱谱区选择方法 |
| CN101101257A (zh) * | 2006-07-06 | 2008-01-09 | 中国农业科学院饲料研究所 | 饲料级粉状添加剂品质近红外光谱监控方法 |
| CN101275912A (zh) * | 2008-05-08 | 2008-10-01 | 中国农业大学 | 一种液体食品褐变检测方法 |
| CN101995389A (zh) * | 2009-08-27 | 2011-03-30 | 中国石油化工股份有限公司 | 一种由近红外光谱快速识别原油种类的方法 |
| CN102768194A (zh) * | 2012-06-29 | 2012-11-07 | 杭州中美华东制药有限公司 | 一种虫草菌粉腺苷含量快速检测方法 |
| CN103543123A (zh) * | 2013-10-08 | 2014-01-29 | 江南大学 | 一种掺假牛奶的红外光谱识别方法 |
| CN103776777A (zh) * | 2014-01-09 | 2014-05-07 | 北京中医药大学 | 一种用近红外光谱技术识别不同生长方式人参及对人参中组分含量测定的方法 |
| CN104062263A (zh) * | 2014-07-11 | 2014-09-24 | 中国农业大学 | 光物性相近水果品质指标的近红外通用模型检测方法 |
| CN104316489A (zh) * | 2014-08-18 | 2015-01-28 | 浙江百山祖生物科技有限公司 | 一种近红外光谱检测灵芝提取物掺假的方法 |
| CN104792652A (zh) * | 2015-05-02 | 2015-07-22 | 浙江大学 | 一种黄芪药材多指标快速检测方法 |
| CN105092512A (zh) * | 2015-08-21 | 2015-11-25 | 广东省粮食科学研究所 | 一种基于傅里叶变换红外光谱技术检测油茶籽油的方法 |
-
2015
- 2015-12-10 CN CN201510925209.3A patent/CN105334186A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1657907A (zh) * | 2005-03-23 | 2005-08-24 | 江苏大学 | 基于间隔偏最小二乘法的农产品、食品近红外光谱谱区选择方法 |
| CN101101257A (zh) * | 2006-07-06 | 2008-01-09 | 中国农业科学院饲料研究所 | 饲料级粉状添加剂品质近红外光谱监控方法 |
| CN101275912A (zh) * | 2008-05-08 | 2008-10-01 | 中国农业大学 | 一种液体食品褐变检测方法 |
| CN101995389A (zh) * | 2009-08-27 | 2011-03-30 | 中国石油化工股份有限公司 | 一种由近红外光谱快速识别原油种类的方法 |
| CN102768194A (zh) * | 2012-06-29 | 2012-11-07 | 杭州中美华东制药有限公司 | 一种虫草菌粉腺苷含量快速检测方法 |
| CN103543123A (zh) * | 2013-10-08 | 2014-01-29 | 江南大学 | 一种掺假牛奶的红外光谱识别方法 |
| CN103776777A (zh) * | 2014-01-09 | 2014-05-07 | 北京中医药大学 | 一种用近红外光谱技术识别不同生长方式人参及对人参中组分含量测定的方法 |
| CN104062263A (zh) * | 2014-07-11 | 2014-09-24 | 中国农业大学 | 光物性相近水果品质指标的近红外通用模型检测方法 |
| CN104316489A (zh) * | 2014-08-18 | 2015-01-28 | 浙江百山祖生物科技有限公司 | 一种近红外光谱检测灵芝提取物掺假的方法 |
| CN104792652A (zh) * | 2015-05-02 | 2015-07-22 | 浙江大学 | 一种黄芪药材多指标快速检测方法 |
| CN105092512A (zh) * | 2015-08-21 | 2015-11-25 | 广东省粮食科学研究所 | 一种基于傅里叶变换红外光谱技术检测油茶籽油的方法 |
Non-Patent Citations (7)
| Title |
|---|
| MOEIN NAVVAB KASHANI, ET AL: "Dynamic crude oil fouling prediction in industrial preheaters using optimized ANN based moving window technique", 《CHEMICAL ENGINEERING RESEARCH AND DESIGN》 * |
| ROMAN M. BALABIN,ET AL: "Variable selection in near-infrared spectroscopy: Benchmarking of feature selection methods on biodiesel data", 《ANALYTICA CHIMICA ACTA》 * |
| 万文标 等: "近红外光谱分析及其在药物原辅料分析中的应用", 《医药导报》 * |
| 史智佳 等: "移动窗口偏最小二乘法优选猪油丙二醛近红外光谱波段", 《中国食品学报》 * |
| 李振庆 等: "改进偏最小二乘法在近红外牛奶成分测量中的应用", 《光学技术》 * |
| 邹小波 等: "基于间隔偏最小二乘法的农产品近红外光谱谱区选择方法", 《现代科学仪器》 * |
| 郭伟良: "近红外光谱分析技术在发酵工艺中的应用研究", 《中国博士学位论文全文数据库 工程科技I辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106596456A (zh) * | 2016-04-01 | 2017-04-26 | 南京理工大学 | 基于可变移动窗口选择溶液近红外光谱谱区的方法 |
| CN106067065A (zh) * | 2016-06-07 | 2016-11-02 | 宁波检验检疫科学技术研究院 | 基于径向基神经网络的光谱分析模型转移技术 |
| CN107014756A (zh) * | 2017-04-17 | 2017-08-04 | 成都曙光光纤网络有限责任公司 | 一种光谱测试系统光源设计方法 |
| CN107255625A (zh) * | 2017-06-19 | 2017-10-17 | 山东大学 | 一种基于嵌入式的茶叶产地鉴别装置及其应用 |
| CN108844917A (zh) * | 2018-09-29 | 2018-11-20 | 山东大学 | 一种基于显著性假设检验和偏最小二乘法的近红外光谱数据分析方法 |
| CN109632690A (zh) * | 2018-12-04 | 2019-04-16 | 孙彤 | 非侵入式尿液在线检测系统及建立预测模型的方法 |
| CN111060497A (zh) * | 2019-12-31 | 2020-04-24 | 西安交通大学 | 基于svm级联模型的混合种类飞灰未燃碳含量libs测量方法 |
| CN111060497B (zh) * | 2019-12-31 | 2020-11-17 | 西安交通大学 | 基于svm级联模型的混合种类飞灰未燃碳含量libs测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105334186A (zh) | 一种近红外光谱分析方法 | |
| CN104677875B (zh) | 一种三维荧光光谱结合平行因子鉴别不同品牌白酒的方法 | |
| CN108392213B (zh) | 基于绘画心理学的心理分析方法及装置 | |
| CN112712108B (zh) | 一种拉曼光谱多元数据分析方法 | |
| CN105424641A (zh) | 一种原油种类的近红外光谱识别方法 | |
| CN113779260B (zh) | 一种基于预训练模型的领域图谱实体和关系联合抽取方法及系统 | |
| CN109472287A (zh) | 基于二维Gabor小波的三维荧光光谱特征提取方法 | |
| CN105158200A (zh) | 一种提高近红外光谱定性分析准确度的建模方法 | |
| CN110702648A (zh) | 基于非下采样轮廓波变换的荧光光谱污染物分类方法 | |
| Lei et al. | Geographic origin identification of coal using near-infrared spectroscopy combined with improved random forest method | |
| CN115905881A (zh) | 黄珍珠分类的方法以及装置、电子设备、存储介质 | |
| Omayio et al. | Historical manuscript dating: traditional and current trends | |
| CN111259929A (zh) | 基于随机森林的食源性致病菌的分类模型训练方法 | |
| CN106971073A (zh) | 一种矿井突水水源的非线性识别方法 | |
| CN116858822A (zh) | 一种基于机器学习和拉曼光谱的水体中磺胺嘧啶定量分析方法 | |
| CN103234923A (zh) | 一种黄酒发酵过程中总糖含量的在线监控方法 | |
| CN107045633A (zh) | 一种基于st‑mser的能源计量表具的数字定位分割方法 | |
| CN113916817B (zh) | 用于城镇生活饮用水的光谱法色度在线测量方法 | |
| CN103076387A (zh) | 一种基于dart-tof技术的书写时间鉴别方法 | |
| Wang et al. | Raman spectrum model transfer method based on Cycle-GAN | |
| CN110887798A (zh) | 基于极端随机树的非线性全光谱水体浊度定量分析方法 | |
| CN110749575A (zh) | 一种中药多糖二维红外光谱鉴别预测模型及其构建方法和应用 | |
| CN114186625A (zh) | 一种基于图像特征融合的木材鉴定方法及系统 | |
| CN104181125A (zh) | 快速测定啤酒麦芽中库尔巴哈值的方法 | |
| CN115078327A (zh) | 一种基于神经网络架构搜索的危险化学品快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160217 |