CN110161013A - 基于机器学习的激光诱导击穿光谱数据处理方法和系统 - Google Patents

基于机器学习的激光诱导击穿光谱数据处理方法和系统 Download PDF

Info

Publication number
CN110161013A
CN110161013A CN201910398915.5A CN201910398915A CN110161013A CN 110161013 A CN110161013 A CN 110161013A CN 201910398915 A CN201910398915 A CN 201910398915A CN 110161013 A CN110161013 A CN 110161013A
Authority
CN
China
Prior art keywords
model
spectroscopic data
broad sense
training
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910398915.5A
Other languages
English (en)
Other versions
CN110161013B (zh
Inventor
孙琛
俞进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910398915.5A priority Critical patent/CN110161013B/zh
Publication of CN110161013A publication Critical patent/CN110161013A/zh
Application granted granted Critical
Publication of CN110161013B publication Critical patent/CN110161013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/71Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light thermally excited
    • G01N21/718Laser microanalysis, i.e. with formation of sample plasma
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Plasma & Fusion (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明提供一种基于机器学习的激光诱导击穿光谱数据处理方法和系统,对钢铁中碳元素进行定量分析,对碳元素含量已知的标准样品在给定实验条件下进行光谱采集,光谱数据在其范围内可以不包括碳元素和碳分子(C2)的主要发射谱线。通过训练建立定量分析模型,用于预测待测样品中碳元素浓度。机器学习算法深入挖掘光谱数据和相应样品中碳元素浓度的相关性,通过映射关系表现,突破经典光谱学通过实验测量待分析元素或相应分子发射谱线强度来确定元素浓度的传统做法。对待测钢铁样品中碳元素浓度测量的精确度、准确度以及检出限都达到定量分析要求,所需计算时间达到工业在线检测和分析要求。在合适的条件下,该方法和系统可推广至其它元素和材料。

Description

基于机器学习的激光诱导击穿光谱数据处理方法和系统
技术领域
本发明涉及光谱数据处理领域,具体地,涉及一种基于机器学习的激光诱导击穿光谱数据处理方法和系统,尤其是涉及一种基于机器学习的用于定量分析钢铁中碳元素含量的激光诱导击穿光谱数据处理方法。在合适的条件下,该方法和系统可推广至其它元素和材料的检测分析。
背景技术
钢铁中碳元素含量对钢铁的性能有着至关重要的影响,是钢铁生产过程中的重要检测指标之一。目前,检测钢铁中碳含量的方法主要有红外吸收法、气体容量法、滴定法、电感耦合等离子体(ICP)法、质谱法等,这些方法都需要复杂的样品处理过程,而且分析周期冗长,操作繁琐,样品处理所用到的化学溶剂会对环境造成污染,这些缺点制约了钢铁生产流程及产品质量监控中对于碳含量所需进行的检测和分析。特别要指出的是,应用于对生产流程实时控制的钢铁中碳元素含量的现场或在线的检测和定量分析是一种非常迫切的需求。激光诱导击穿光谱(LIBS)技术在这方面的应用有着众多的优势,特别是在线、实时、现场对元素浓度的检测和分析。
然而,目前使用LIBS技术检测钢铁中碳元素还含量存在着一些问题:1)碳原子主要发射谱线在193.09nm处,此波长在紫外波段,空气和一般的光学材料对其吸收严重,其有效检测需要对实验装置抽真空或填充非吸收气体及特殊光学元器件和光电检测设备,这样的工作条件和设备要求尤其在在线检测和现场检测中难以实现。受到实验条件的限制,实际上有相当大的一部分LIBS光谱无法包括200nm以下的紫外光谱频段,也就是说将上述碳原子的主要发射线排除在检测范围之外;2)碳原子另一条较强的发射线在247.85nm处,与数条铁原子/离子谱线基本重合,由于钢铁中铁元素为基体元素,导致对上述碳线被极大地干扰,用它的强度来做的定标曲线所展现的数据相关性较差。因此,这条线所对应的波段虽然还能被常规的光谱设备检测,但也不能用它的强度直接来建立碳元素浓度定标模型;3)碳分子(C2)的发射线的强度普遍较弱,并由于激光诱导等离子体中的复杂化学反应,使其易受测量环境气体的影响,不能用于灵敏、精密的碳元素含量测定。
与本申请相关的现有技术是专利文献CN103792215A,公开了一种快速测量钢铁中碳元素含量的方法,基于激光诱导击穿光谱(LIBS)技术。首先选定一组碳含量已知的钢铁样品作为定标样品。对于每个定标样品,用LIBS系统得到其光谱,从光谱中计算得到碳原子谱线的强度和碳分子(C2)谱线带的强度。以碳含量为因变量,以碳原子谱线的强度和碳分子(C2)谱线带的强度为自变量,拟合得到定标模型。对于碳含量未知的待测钢铁样品,先用LIBS系统得到其光谱,并求出待测钢铁样品的光谱中碳原子谱线的强度和碳分子(C2)谱线带的强度,然后代入定标模型中即可得到待测钢铁样品中碳元素的含量。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于机器学习的激光诱导击穿光谱数据处理方法和系统。
该方法和系统在优化地解决钢铁中碳元素的检测分析问题之外还可以在合适的条件下,可推广至其它元素和材料的检测分析。
根据本发明提供的一种基于机器学习的激光诱导击穿光谱数据处理方法,包括:
定量分析模型建立步骤:对碳元素含量已知的标准样品在实验条件下进行测量,得到第一光谱数据,记录第一实验条件,将第一光谱数据与第一实验条件融合,得到第一广义光谱强度矢量,基于第一广义光谱强度矢量,通过训练过程建立定量分析模型;
待测样品检测步骤:对碳元素含量未知的待测样品在第二实验条件下进行测量,得到第二光谱数据,记录第二实验条件,将第二光谱数据与第二实验条件融合,得到第二广义光谱强度矢量,将第二广义光谱强度矢量作为定量分析模型的输入变量,通过运算得到待测样品的碳元素含量。优选地,第二实验条件和第一实验条件保持相同。
优选地,所述定量分析模型建立步骤包括:
标准样品分组和光谱采集步骤:标准样品分为训练样品集和测试样品集,并进行激光诱导击穿光谱采集,获得第一广义光谱数据集,包括训练样品广义光谱数据集和测试样品广义光谱数据集。将第一广义光谱数据集和对应的碳元素含量集作为定量分析模型的建立过程的输入变量;
模型初始化步骤:选择定量分析模型所依托的机器学习算法,确定算法外部的可调参数,进行定量分析模型的初始化,得到初始模型;
模型训练步骤:通过训练样品广义光谱数据集和对应的碳元素含量,对初始模型进行训练并交叉验证,将训练样品广义光谱数据集分解为训练数据集、验证数据集,通过训练数据集训练机器学习算法,得到训练模型,计算相应定标误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,使得定标误差小于百分之三,产生测试模型;
模型验证步骤:通过验证数据集和对应的碳元素含量对测试模型进行验证和优化训练,计算得到预测误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,使得预测误差小于百分之三,产生定标模型;
模型测试步骤:通过测试样品广义光谱数据集和对应的碳元素含量对定标模型进行测试,计算得到测试误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,优化定标模型,使得测试误差小于百分之六,得到检测模型,所述检测模型记为定量分析模型。
优选地,所述第一光谱数据和第二光谱数据中中包括第一发射线或者不包括第一发射线,所述第一发射线中包括碳元素的C I 193.1nm和C I 247.9nm发射线;
所述第一光谱数据和第二光谱数据中中包括第二发射线或者不包括第二发射线,所述第二发射线中包括碳分子C2的470nm和515nm波段附近的谱带。
优选地,所述选择定量分析模型所依托的机器学习能够采用反向传播神经网络。
优选地,所述算法外部调用参数是反向传播神经网络的隐藏层数n_layer和隐藏层的神经元个数n_nodes。
优选地,所述标准样品的个数与训练样品集的个数之比满足以下条件:
NTn/N∈[0.7,0.9]
其中,N表示碳元素浓度已知的标准样品的个数,标准样品的碳元素浓度分别记为Co1,Co2,…,Con,…CoN,其中n为整数,并且1≤n≤N;NTn表示训练样品集的个数,训练样品集对应的浓度系列分别为nTn为整数,并且1≤nTn≤NTn
优选地,所述对训练模型、测试模型、定标模型进行优化均采用循环迭代方式。
根据本发明提供的一种基于机器学习的激光诱导击穿光谱数据处理系统,包括:
定量分析模型建立模块:对碳元素含量已知的标准样品在实验条件下进行测量,得到第一光谱数据,记录第一实验条件,将第一光谱数据与第一实验条件融合,得到第一广义光谱强度矢量,基于第一广义光谱强度矢量,通过训练过程建立定量分析模型;
待测样品检测模块:对碳元素含量未知的待测样品在第二实验条件下进行测量,得到第二光谱数据,记录第二实验条件,将第二光谱数据与第二实验条件融合,得到第二广义光谱强度矢量,将第二广义光谱强度矢量作为定量分析模型的输入变量,通过运算得到待测样品的碳元素含量。
优选地,所述定量分析模型建立采集模块包括:
标准样品分组和光谱采集模块:标准样品分为训练样品集和测试样品集,并进行激光诱导击穿光谱采集,获得第一广义光谱数据集,包括训练样品广义光谱数据集和测试样品广义光谱数据集。将第一广义光谱数据集和对应的碳元素含量集作为定量分析模型的建立过程的输入变量;
模型初始化模块:选择定量分析模型所依托的机器学习算法,确定算法外部的可调参数,进行定量分析模型的初始化,得到初始模型;
模型训练模块:通过训练样品广义光谱数据集和对应的碳元素含量,对初始模型进行训练并交叉验证,将训练样品广义光谱数据集分解为训练数据集、验证数据集,通过训练数据集训练机器学习算法,得到训练模型,计算相应定标误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,使得定标误差小于百分之三,产生测试模型;
模型验证模块:通过验证数据集和对应的碳元素含量对测试模型进行验证和优化训练,计算得到预测误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,使得预测误差小于百分之三,产生定标模型;
模型测试模块:通过测试样品广义光谱数据集和对应的碳元素含量对定标模型进行测试,计算得到测试误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,优化定标模型,使得测试误差小于百分之六,得到检测模型,所述检测模型记为定量分析模型。
优选地,所述第一光谱数据中不包括碳元素的第一发射线,所述第一发射线包括CI 193.1nm和C I 247.9nm;
所述第一光谱数据中不包括碳分子(C2)的第二发射线,所述第二发射线包括470nm和515nm波段附近的谱带。
与现有技术相比,本发明具有如下的有益效果:
本发明提供了一种基于机器学习的激光诱导击穿光谱数据处理方法和系统。对碳元素含量已知的标准样品在给定实验条件下进行激光诱导击穿光谱采集,所采集的光谱数据在其范围内可以不包括碳元素的主要发射线(C I 193.1nm和C I 247.9nm线),也可以不包括碳分子(C2)的主要发射线(470nm和515nm波段附近的谱带),有效地降低了对实验设备的要求和放宽了对实验条件的限制,有利于进行在线或现场的应用。同时,建立定量分析模型所用的机器学习算法深入挖掘实验探测到的光谱数据和相应样品中待分析元素浓度的相关性,并将它通过映射关系表达。突破了经典光谱学通过实验测量待测元素给定发射谱线强度来确定该元素浓度的传统做法。本发明所提供的方法和系统在合适的条件下,可推广至其它元素和材料的检测分析。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的框架流程示意图;
图2为通过经典单变量定标方法的定标模型结果示意图;
图3为通过本发明的方法的定标模型结果示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明突破经典光谱学通过实验测量待测元素给定发射谱线强度来确定该元素浓度的传统做法,提出了在实验光谱数据不包含待测元素及其分子可被检测到的主要发射线,或在可被检测到的主要发射线被严重干扰的情况下,建立模型来预测样品中的待测元素的浓度。这样的预测模型建立的基本原理依赖于待测元素与样品中其它元素发射线之间的物理或/和化学相关性,机器学习则用来在实验探测到的光谱数据中挖掘这样的相关性。具体地来说,使用标准样品,通过一个训练过程,将实验数据,包括光谱数据和实验条件,和相应的待测元素浓度之间的相关性落实为一种数学映射关系。从而建立定标模型,用于通过待测样品LIBS光谱来预测其碳元素含量。
本发明的方法中所采集的光谱数据在其范围内可以不包括碳元素的主要发射线(C I 193.1nm和C I 247.9nm线),也可以不包括碳分子(C2)的主要发射线(470nm和515nm波段附近的谱带)。本发明所处理的光谱数据在其范围内可以不包括C I 193.1nm线,也可以不包括C I 247.9nm线,也可以两者都不包括,也就是说限制光谱范围波长大于250nm,甚至更长的波长。上述两条碳原子的、通常用来确定碳元素浓度的发射谱线经常在实际测量中,因受到实验条件的限制(如光谱仪波长范围或背景气体的吸收)或铁元素及其它元素的干扰而无法被用来进行碳元素的定量分析。所处理的光谱数据在其范围内也可以不包括碳分子(C2)的主要发射线(470nm和515nm波段附近的谱带),这些分子发射谱带对于含碳量不是特别高的样品来说只能呈现难以探测到的弱光强,因此无法被用来进行碳元素的定量分析。
方法的实施包括如下步骤:使用一组碳含量不同但已知的钢铁标准样品,将其按一定比例分成训练样品集和测试样品集,通过实验获取上述标准样品的光谱数据以及相应实验条件。对每一个标准样品,通过格式化定义广义光谱,包括光谱强度和相应的实验条件。由训练样品集获得的广义光谱数据集(训练样品集广义光谱矢量)和对应的碳元素含量作为定量分析模型建立过程输入变量。选择定量分析模型所依托的机器学习算法,确定其外部可调参数,模型初始化。对初始模型通过训练样品集广义光谱矢量数据集进行训练和交叉验证。为此,该数据集动态地分解成训练数据集和验证数据集,用前者针对相应的碳元素浓度通过选定的机器学习算法对模型进行训练,产生训练模型,计算其对应定标误差(REC:relative error of calibration)。上述过程进行循坏,优化算法外部可调参数,动态分解训练样品集广义光谱矢量数据集,优化训练模型,直至REC<3%,产生测试模型。用验证数据集针对相应的碳元素浓度对测试模型进行验证,计算其对应预测误差(REP:relative error of prediction)。上述过程进行循坏,优化算法外部可调参数,动态分解训练样品集广义光谱矢量数据集,优化训练模型,优化测试模型,直至REP<3%,产生定标模型。用由测试样品集获得的广义光谱数据集(测试样品集广义光谱矢量)针对相应的碳元素浓度对定标模型进行测试,计算其对应检测误差(RET:elative error oftest)。进行循坏,优化可调参数,动态分解训练样品集广义光谱矢量数据集,优化训练模型,优化测试模型,优化定标模型,直至RET<6%,产生检测模型。同样实验条件下产生未知碳元素含量待测钢铁样品广义光谱,作为输入变量进入检测模型,输出待测钢铁样品中的碳元素含量。本发明对待测钢铁样品中碳元素浓度的测量精确度、准确度达到定量分析的要求,所需的计算时间达到工业在线监测的要求。
如图1所示,本发明包括如下步骤:
步骤1:使用一碳元素浓度已知的钢铁标准样品系列,在给定的、特别是具有上述特性的实验条件下采集标准样品光谱数据并记录实验条件,两者融合产生标准样品广义光谱强度矢量,作为建立定量分析模型的输入变量,通过训练过程建立钢铁样品中碳元素含量检测模型;
步骤2:在相同的实验条件下采集待测钢铁样品光谱数据并记录实验条件,两者融合产生待检测样品广义光谱强度矢量,作为上述检测模型输入变量,通过运算得出待测样品碳元素含量。
上述技术方案中,步骤1具体包括如下步骤:
步骤S1:使用一组碳元素含量不同但已知的钢铁标准样品,将其按一定比例分成训练样品集和测试样品集,通过实验获取上述标准样品的光谱数据,并记录相应实验条件。对上述的每一个标准样品,通过格式化定义广义光谱,包括光谱强度和相应的实验条件。其中由训练样品集获得的广义光谱数据集(训练样品集广义光谱矢量集)和相应的碳元素含量作为定量分析模型建立过程输入变量;
步骤S2:选择定量分析模型所依托的机器学习算法,确定其外部可调参数,进行模型初始化;
步骤S3:对初始模型通过训练样品集广义光谱矢量数据集进行训练并交叉验证,将该数据集动态地分解成训练数据集和验证数据集,用前者针对相应的碳元素浓度通过选定的机器学习算法对模型进行训练,产生训练模型,计算其相应定标误差(REC:relativeerror of calibration)。进行循坏,优化算法外部可调参数,优化训练样品集广义光谱矢量数据集分解,优化训练模型,直至REC<3%,产生测试模型;
步骤S4:用验证数据集针对相应的碳元素浓度对测试模型进行验证和优化训练,计算其相应预测误差(REP:relative error of prediction)。进行循坏,优化算法外部可调参数,动态分解训练样品集广义光谱矢量数据集,优化训练模型,优化测试模型,直至REP<3%,产生定标模型;
步骤S5:用由测试样品集获得的广义光谱数据集(测试样品集广义光谱矢量集)针对相应的碳元素浓度对定标模型进行测试和优化训练,计算其相应测试误差(RET:relative error of test)。进行循坏,优化算法外部可调参数,动态分解训练样品集广义光谱矢量集,优化训练模型,优化测试模型,优化定标模型,直至RET<6%,产生检测模型。
上述技术方案中,步骤2具体包括如下步骤:
步骤S6:通过实验获取碳元素含量未知的待测钢铁样品的光谱数据并记录相应实验条件,通过格式化定义待测样品广义光谱矢量,包括光谱强度和实验条件。
步骤S7:待测样品广义光谱作为检测模型输入变量,通过计算得到待测钢铁样品中的碳元素含量。
上述技术方案中,所述步骤S1具体包括如下步骤:
步骤S101:准备N个碳元素浓度已知的钢铁标准样品,其碳元素浓度分别记为Co1,Co2,…,Con,…CoN,其中n为整数,并且1≤n≤N;
步骤S102:将上述样品分解为训练样品集和测试样品集,分别包含NTn和NTe个样品,对应的浓度系列分别为其中NTn+NTe=N,nTn和nTe为整数,并且1≤nTn≤NTn,1≤nTe≤NTe。一般来说NTn/N∈[0.7,0.9]。为方便起见,以下可以把nTn及nTe和NTn及NTe统一分别记为nT和NT
步骤S103:对于上述的每一个标准样品进行实验数据采集,包括实验条件和光谱数据两部分。实验条件可以包括实验室坏境参数,如温度、压强、湿度,所使用的设备参数,如激光波长、激光脉冲能量、脉宽、光谱检测设备的延时和曝光门宽宽度、检测器增益等,以及关于样品的信息等。这些实验条件记录后进行数值化,组成实验条件信息向量其中ME正整数,为实验条件信息参数总数,所有这些参数组成一套实验条件。用正整数K来表示实验条件套的总数,1≤k≤K则代表某一特定实验条件套,所有可能的实验条件套的集合可记为
步骤S104:光谱数据的采集在给定的实验条件套下针对上述钢铁标准样品中的每一个样品进行,其碳元素浓度记为Con。对给定样品单次测量采集到的光谱强度向量 正整数MS为实验测得光谱强度的总数,它可以是原始光谱的像素数也可以是经过预处理后的光谱数据中所含的光谱强度数。正整数J为对一给定样品光谱测量重复采集总数,1≤j≤J来代表其中某一次的重复光谱采集,则采集到的某一光谱强度向量可记为而对于一给定样品的所有重复测量所得光谱数据集可记为
步骤S105:在一个维度为M=ME+MS的超空间中定义一个由光谱强度向量和实验条件信息向量融合构成的广义光谱强度矢量,即在超空间中的分量表示式为:
其中训练样品集所对应的广义光谱强度矢量集和对应的碳元素含量作为定量分析模型建立输入变量。测试样品集所对应的广义光谱强度矢量集和对应的碳元素含量用来测试所建立的定标模型。
步骤S106:定义广义光谱强度矢量的广义模长:对于在超空间中一给定的广义光谱强度矢量存在一个标量与其对应,被称为其广义模长,矢量的广义模长对应于其碳元素浓度目标值Con,用映射表示为:
上述技术方案中,所述步骤S2具体包括如下步骤:
步骤S201:选择定量分析模型所依托的机器学习算法,记为fs,如但不限制于反向传播神经网络(BPNN);
步骤S202:确定上述算法外部可变参数,并设相应初始值,进行模型初始化。
上述技术方案中,所述步骤S3具体包括如下步骤:
步骤S301:训练样品集广义光谱强度矢量集,作为训练模型所依托的机器学习算法输入数据,对算法针对其相应的目标碳元素浓度进行训练;
步骤S302:训练过程中,动态地将训练样品集广义光谱强度矢量集分解为训练数据集和验证数据集对训练模型进行训练并交叉验证;
步骤S303:训练过程以算法fs通过设定的初始状态作为初始训练模型,计算出训练广义光谱强度矢量的广义模长开始,对应于碳元素浓度的模型预测值,表示为
步骤S304:采用循环迭代,训练优化训练模型fs,优化算法外部可调参数,使其给出的碳元素浓度的模型预测值在数值上逐步地逼近相应的目标碳元素浓度: 循环中计算相应的定标误差(REC)直至REC<3%,产生测试模型。
上述技术方案中,所述步骤S4具体包括如下步骤:
步骤S401:用验证数据集针对其相应的目标碳元素浓度对测试模型进行验证和优化训练;
步骤S402:进行循坏迭代,训练优化测试模型,优化算法外部可调参数,动态分解训练样品集广义光谱矢量集,优化训练模型,优化测试模型,循环中计算相应预测误差(REP),直至REP<3%,产生定标模型。
上述技术方案中,所述步骤S5具体包括如下步骤:
步骤S501:用测试样品集广义光谱矢量集集针对其相应的碳元素浓度对定标模型进行测试和优化训练;
步骤S502:进行循坏迭代,训练优化定标模型,优化算法外部可调参数,动态分解训练样品集广义光谱矢量集,优化训练模型,优化测试模型,优化定标模型,循环中计算对应检测误差(RET)。直至RET<6%,产生检测模型。
本发明的适用范围不限于使用LIBS光谱检测、分析钢铁中的碳元素含量,也不限于LIBS光谱,在合适的条件下,可推广至其它元素和材料的检测分析。
在具体的实施方式中,取一组8个不同的钢铁标准样品,钢铁标样的含碳浓度如下表1所示:
表1
对每个样品进行112次重复的LIBS光谱数据采集,共获得896个光谱。
未使用本发明的方法,通过经典单变量定标方法得到的样品的LIBS光谱中CI247.9nm谱线强度和标准样品已知碳浓度关系,如图2所示,实验所测得光谱强度的标准偏差较大,并且线性回归确定系数r2=0.8121,不能充分地满足在钢铁材料中精确和准确地定量检测碳元素含量的要求。
用本发明方法对光谱数据进行处理,获得优化的检测模型。得到的模型预测碳浓度和标准样品已知碳浓度的关系,如下图3所示,显示满意的线性回归确定系数r2=0.9997,同时,数据的标准偏差有效地减小。用测试样品的LIBS光谱数据导入定标模型,在小于1秒钟的时间内,输出相应碳浓度预测值,相应测试误差(RET)在6%以下。
本实施方式中,具体实施步骤如下:
1、使用8块碳元素含量不同但已知的钢铁标准样品如表1所示,将序号为4的样品作测试集样品,其余作为训练集样品,通过实验获取上述标准样品的光谱数据以及相应实验条件。对上述的每一个标准样品,通过格式化定义广义光谱,包括光谱强度和相应的实验条件。其中由训练样品集获得的广义光谱数据集(训练样品集广义光谱矢量集)和对应的碳元素浓度作为定量分析模型建立输入变量;
2、选择反向传播神经网络(BPNN)作为定量分析模型所依托的机器学习算法,将神经网络的隐藏层数n_layer和隐藏层的神经元个数n_nodes作为算法外部可调参数,模型初始化;
3、对初始模型通过训练样品集广义光谱矢量集针对相应的目标碳元素浓度进行训练和交叉验证,产生训练模型,计算其相应的定标误差(REC:relative error ofcalibration)。
测试训练模型是否满足评估标准(REC<3%):
(1)满足,则得到测试模型。
(2)未满足,优化算法外部可调参数,继续训练优化和交叉验证,计算REC。
最终获得REC=2.13%。
4、用验证数据集针对相应的碳元素浓度对测试模型进行验证,计算其对应的预测误差(REP:relative error of prediction)。
测试测试模型是否满足评估标准(REP<3%):
(1)满足,则得到定标模型。
(2)未满足,则返回3,优化算法外部可调参数,继续训练,优化训练模型,优化测试模型。
最终获得REP=2.15%。
5、用由测试样品集获得的广义光谱数据集针对相应的碳元素浓度对定标模型进行测试,计算其相应测试误差(RET:relative error of test)。
测试定标模型是否满足评估标准(RET<6%):
(1)满足,则得到检测模型。
(2)未满足,则返回3,优化算法外部可调参数,继续训练,优化训练模型,优化测试模型,优化定标模型。
最终获得RET=5.68%。
6、模型的使用
训练好的检测模型可以用来预测未知钢铁样品中的碳浓度。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于机器学习的激光诱导击穿光谱数据处理方法,其特征在于,包括:
定量分析模型建立步骤:对碳元素含量已知的标准样品在实验条件下进行测量,得到第一光谱数据,记录第一实验条件,将第一光谱数据与第一实验条件融合,得到第一广义光谱强度矢量,基于第一广义光谱强度矢量,通过训练过程建立定量分析模型;
待测样品检测步骤:对碳元素含量未知的待测样品在第二实验条件下进行测量,得到第二光谱数据,记录第二实验条件,将第二光谱数据与第二实验条件融合,得到第二广义光谱强度矢量,将第二广义光谱强度矢量作为定量分析模型的输入变量,通过运算得到待测样品的碳元素含量。
2.根据权利要求1所述的基于机器学习的激光诱导击穿光谱数据处理方法,其特征在于,所述定量分析模型建立步骤包括:
标准样品分组和光谱采集步骤:标准样品分为训练样品集和测试样品集,并进行激光诱导击穿光谱采集,获得第一广义光谱数据集,包括训练样品广义光谱数据集和测试样品广义光谱数据集;将第一广义光谱数据集和对应的碳元素含量集作为定量分析模型的建立过程的输入变量;
模型初始化步骤:选择定量分析模型所依托的机器学习算法,确定算法外部可调参数,进行定量分析模型的初始化,得到初始模型;
模型训练步骤:通过训练样品广义光谱数据集和对应的碳元素含量,对初始模型进行训练并交叉验证,将训练样品广义光谱数据集分解为训练数据集、验证数据集,通过训练数据集训练机器学习算法,得到训练模型,计算相应定标误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,使得定标误差小于百分之三,产生测试模型;
模型验证步骤:通过验证数据集和对应的碳元素含量对测试模型进行验证和优化训练,计算得到预测误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,使得预测误差小于百分之三,产生定标模型;
模型测试步骤:通过测试样品广义光谱数据集和对应的碳元素含量对定标模型进行测试,计算得到测试误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,优化定标模型,使得测试误差小于百分之六,得到检测模型,所述检测模型记为定量分析模型。
3.根据权利要求1所述的基于机器学习的激光诱导击穿光谱数据处理方法,其特征在于,所述第一光谱数据和第二光谱数据中包括第一发射线或者不包括第一发射线,所述第一发射线中包括碳元素的C I 193.1nm和C I 247.9nm发射线;
所述第一光谱数据和第二光谱数据中包括第二发射线或者不包括第二发射线,所述第二发射线中包括碳分子C2的470nm和515nm波段附近的谱带。
4.根据权利要求2所述的基于机器学习的激光诱导击穿光谱数据处理方法,其特征在于,所述选择定量分析模型所依托的机器学习能够采用反向传播神经网络。
5.根据权利要求4所述的基于机器学习的激光诱导击穿光谱数据处理方法,其特征在于,所述算法外部可调参数是反向传播神经网络的隐藏层数n_layer和隐藏层的神经元个数n_nodes。
6.根据权利要求2所述的基于机器学习的激光诱导击穿光谱数据处理方法,其特征在于,所述标准样品的个数与训练样品集的个数之比满足以下条件:
NTn/N∈[0.7,0.9]
其中,N表示碳元素浓度已知的标准样品的个数,标准样品的碳元素浓度分别记为Co1,Co2,…,Con,…CoN,其中n为整数,并且1≤n≤N;NTn表示训练样品集的个数,训练样品集对应的浓度系列分别为nTn为整数,并且1≤nTn≤NTn
7.根据权利要求2所述的基于机器学习的激光诱导击穿光谱数据处理方法,其特征在于,所述对训练模型、测试模型、定标模型进行优化均采用循环迭代方式。
8.一种基于机器学习的激光诱导击穿光谱数据处理系统,其特征在于,包括:
定量分析模型建立模块:对碳元素含量已知的标准样品在实验条件下进行测量,得到第一光谱数据,记录第一实验条件,将第一光谱数据与第一实验条件融合,得到第一广义光谱强度矢量,基于第一广义光谱强度矢量,通过训练过程建立定量分析模型;
待测样品检测模块:对碳元素含量未知的待测样品在第二实验条件下进行测量,得到第二光谱数据,记录第二实验条件,将第二光谱数据与第二实验条件融合,得到第二广义光谱强度矢量,将第二广义光谱强度矢量作为定量分析模型的输入变量,通过运算得到待测样品的碳元素含量。
9.根据权利要求8所述的基于机器学习的激光诱导击穿光谱数据处理系统,其特征在于,所述定量分析模型建立模块包括:
标准样品分组和光谱采集模块:标准样品分为训练样品集和测试样品集,并进行激光诱导击穿光谱采集,获得第一广义光谱数据集,包括训练样品广义光谱数据集和测试样品广义光谱数据集;将第一广义光谱数据集和对应的碳元素含量集作为定量分析模型的建立过程的输入变量;
模型初始化模块:选择定量分析模型所依托的机器学习算法,确定算法外部的可调参数,进行定量分析模型的初始化,得到初始模型;
模型训练模块:通过训练样品广义光谱数据集和对应的碳元素含量,对初始模型进行训练并交叉验证,将训练样品广义光谱数据集分解为训练数据集、验证数据集,通过训练数据集训练机器学习算法,得到训练模型,计算相应定标误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,使得定标误差小于百分之三,产生测试模型;
模型验证模块:通过验证数据集和对应的碳元素含量对测试模型进行验证和优化训练,计算得到预测误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,使得预测误差小于百分之三,产生定标模型;
模型测试模块:通过测试样品广义光谱数据集和对应的碳元素含量对定标模型进行测试,计算得到测试误差,优化算法外部可调参数,优化训练样品广义光谱数据集动态分解,优化训练模型,优化测试模型,优化定标模型,使得测试误差小于百分之六,得到检测模型,所述检测模型记为定量分析模型。
10.根据权利要求8所述的基于机器学习的激光诱导击穿光谱数据处理系统,其特征在于,所述第一光谱数据和第二光谱数据中包括第一发射线或者不包括第一发射线,所述第一发射线中包括碳元素的C I 193.1nm和C I 247.9nm发射线;
所述第一光谱数据和第二光谱数据中包括第二发射线或者不包括第二发射线,所述第二发射线中包括碳分子C2的470nm和515nm波段附近的谱带。
CN201910398915.5A 2019-05-14 2019-05-14 基于机器学习的激光诱导击穿光谱数据处理方法和系统 Active CN110161013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398915.5A CN110161013B (zh) 2019-05-14 2019-05-14 基于机器学习的激光诱导击穿光谱数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398915.5A CN110161013B (zh) 2019-05-14 2019-05-14 基于机器学习的激光诱导击穿光谱数据处理方法和系统

Publications (2)

Publication Number Publication Date
CN110161013A true CN110161013A (zh) 2019-08-23
CN110161013B CN110161013B (zh) 2020-12-29

Family

ID=67634750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398915.5A Active CN110161013B (zh) 2019-05-14 2019-05-14 基于机器学习的激光诱导击穿光谱数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN110161013B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823862A (zh) * 2019-11-18 2020-02-21 天津大学 基于图像辅助原子发射光谱的油液元素检测方法及装置
CN111504981A (zh) * 2020-04-26 2020-08-07 上海交通大学 测定粉末物质中化学组分和水分含量的方法
CN111965167A (zh) * 2020-08-20 2020-11-20 天津大学 预测固体废弃物元素组成及热值的方法及装置
CN112051256A (zh) * 2020-07-22 2020-12-08 中国地质大学(武汉) 基于cnn模型的待测元素含量libs测量方法、系统
CN112858260A (zh) * 2021-02-05 2021-05-28 广东海洋大学 一种基于信息化平台的便携式试剂定量检测系统及方法
CN113570147A (zh) * 2021-07-30 2021-10-29 华中科技大学 一种薄壁件多工况加工误差快速预测方法及设备
CN114118309A (zh) * 2022-01-28 2022-03-01 津海威视技术(天津)有限公司 基于卷积神经网络的样本分类识别方法
WO2022127391A1 (en) * 2020-12-17 2022-06-23 Agilent Technologies, Inc. Spectral data processing for chemical analysis
NL2032786A (en) * 2021-09-08 2023-03-14 Li Xinzhong Cold-rolled pipe surface carburization depth detection device and detection method thereof
EP4073523A4 (en) * 2019-12-10 2023-05-10 Perkinelmer Health Sciences Canada, Inc SYSTEMS AND METHODS FOR ANALYZING UNKNOWN SAMPLE COMPOSITIONS USING A PREDICTION MODEL BASED ON OPTICAL EMISSION SPECTRA
CN116183535A (zh) * 2023-04-23 2023-05-30 中国科学技术大学 分析高分子溶液陈化过程光谱的方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101915753A (zh) * 2010-07-30 2010-12-15 浙江师范大学 基于遗传神经网络的激光诱导击穿光谱定量分析方法
CN104251846A (zh) * 2014-09-04 2014-12-31 清华大学 一种结合判别分析的激光诱导击穿光谱定量分析方法
CN109557080A (zh) * 2018-07-25 2019-04-02 上海交通大学 一种基于机器学习的光谱数据回归方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101915753A (zh) * 2010-07-30 2010-12-15 浙江师范大学 基于遗传神经网络的激光诱导击穿光谱定量分析方法
CN104251846A (zh) * 2014-09-04 2014-12-31 清华大学 一种结合判别分析的激光诱导击穿光谱定量分析方法
CN109557080A (zh) * 2018-07-25 2019-04-02 上海交通大学 一种基于机器学习的光谱数据回归方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823862A (zh) * 2019-11-18 2020-02-21 天津大学 基于图像辅助原子发射光谱的油液元素检测方法及装置
CN110823862B (zh) * 2019-11-18 2023-05-26 天津大学 基于图像辅助原子发射光谱的油液元素检测方法及装置
EP4073523A4 (en) * 2019-12-10 2023-05-10 Perkinelmer Health Sciences Canada, Inc SYSTEMS AND METHODS FOR ANALYZING UNKNOWN SAMPLE COMPOSITIONS USING A PREDICTION MODEL BASED ON OPTICAL EMISSION SPECTRA
CN111504981A (zh) * 2020-04-26 2020-08-07 上海交通大学 测定粉末物质中化学组分和水分含量的方法
CN111504981B (zh) * 2020-04-26 2021-10-22 上海交通大学 测定粉末物质中化学组分和水分含量的方法
CN112051256A (zh) * 2020-07-22 2020-12-08 中国地质大学(武汉) 基于cnn模型的待测元素含量libs测量方法、系统
CN111965167A (zh) * 2020-08-20 2020-11-20 天津大学 预测固体废弃物元素组成及热值的方法及装置
WO2022127391A1 (en) * 2020-12-17 2022-06-23 Agilent Technologies, Inc. Spectral data processing for chemical analysis
CN112858260A (zh) * 2021-02-05 2021-05-28 广东海洋大学 一种基于信息化平台的便携式试剂定量检测系统及方法
CN113570147A (zh) * 2021-07-30 2021-10-29 华中科技大学 一种薄壁件多工况加工误差快速预测方法及设备
CN113570147B (zh) * 2021-07-30 2023-10-10 华中科技大学 一种薄壁件多工况加工误差快速预测方法及设备
NL2032786A (en) * 2021-09-08 2023-03-14 Li Xinzhong Cold-rolled pipe surface carburization depth detection device and detection method thereof
CN114118309B (zh) * 2022-01-28 2022-04-01 津海威视技术(天津)有限公司 基于卷积神经网络的样本分类识别方法
CN114118309A (zh) * 2022-01-28 2022-03-01 津海威视技术(天津)有限公司 基于卷积神经网络的样本分类识别方法
CN116183535A (zh) * 2023-04-23 2023-05-30 中国科学技术大学 分析高分子溶液陈化过程光谱的方法、系统、设备及介质
CN116183535B (zh) * 2023-04-23 2023-08-29 中国科学技术大学 分析高分子溶液陈化过程光谱的方法、系统、设备及介质

Also Published As

Publication number Publication date
CN110161013B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN110161013A (zh) 基于机器学习的激光诱导击穿光谱数据处理方法和系统
US7251037B2 (en) Method to reduce background noise in a spectrum
US7248370B2 (en) Method to reduce background noise in a spectrum
Bakar et al. A new method to detect dissolved gases in transformer oil using NIR-IR spectroscopy
US10557792B2 (en) Spectral modeling for complex absorption spectrum interpretation
CN101413884B (zh) 近红外光谱分析仪及其分辨率的校正方法
EP0307082B1 (en) Method of measuring multicomponent constituency of gas emission flow
US11592398B2 (en) Augmented Raman analysis of a gas mixture
GB2561879A (en) Spectroscopic analysis
Gao et al. Quantitative Detection of Multicomponent SF 6 Decomposition Products Based on Fourier Transform Infrared Spectroscopy Combined With CARS-ELM Algorithm
Yu et al. Prediction of soil properties based on characteristic wavelengths with optimal spectral resolution by using Vis-NIR spectroscopy
CN107966499B (zh) 一种由近红外光谱预测原油碳数分布的方法
Wu et al. Geographical origin traceability and authenticity detection of Chinese red wines based on excitation-emission matrix fluorescence spectroscopy and chemometric methods
JP7150373B2 (ja) 可視近赤外分光分析装置及び可視近赤外分光分析方法
Li et al. A hard modeling approach to determine methanol concentration in methanol gasoline by Raman spectroscopy
CN105784629B (zh) 利用中红外光谱快速检测土壤的稳定碳同位素比值的方法
Zhou et al. Narrow-band multi-component gas analysis based on photothermal spectroscopy and partial least squares regression method
CN113295674B (zh) 一种基于s变换的激光诱导击穿光谱特征非线性处理方法
Escobar et al. Flour concentration prediction using GAPLS and GAWLS focused on data sampling issues and applicability domain
CN102980871B (zh) 光学气体分析装置
CN109521002A (zh) 一种固体燃料颗粒流的燃料特性测量方法
Zhou et al. An augmented classical least squares method for quantitative Raman spectral analysis against component information loss
Chen et al. Quantitative prediction of aging state of oil-paper insulation based on Raman spectroscopy
CN115060681A (zh) Ftir结合cars-elm的sf6分解物检测方法
Bulubasa et al. New method for calibration of a quadrupole mass spectrometer for hydrogen isotopes measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant