CN117238392A - 基于Transformer-CNN的XRF元素定量分析方法 - Google Patents
基于Transformer-CNN的XRF元素定量分析方法 Download PDFInfo
- Publication number
- CN117238392A CN117238392A CN202311193431.XA CN202311193431A CN117238392A CN 117238392 A CN117238392 A CN 117238392A CN 202311193431 A CN202311193431 A CN 202311193431A CN 117238392 A CN117238392 A CN 117238392A
- Authority
- CN
- China
- Prior art keywords
- transducer
- cnn
- xrf
- spectral
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004445 quantitative analysis Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 238000005065 mining Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 21
- 239000002689 soil Substances 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 229910001385 heavy metal Inorganic materials 0.000 claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 230000003595 spectral effect Effects 0.000 claims description 68
- 238000001228 spectrum Methods 0.000 claims description 51
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000010987 Kennard-Stone algorithm Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 238000013210 evaluation model Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000002189 fluorescence spectrum Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 5
- 229910052802 copper Inorganic materials 0.000 description 5
- 229910052748 manganese Inorganic materials 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 229910052720 vanadium Inorganic materials 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000219000 Populus Species 0.000 description 1
- 238000000441 X-ray spectroscopy Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012625 in-situ measurement Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000004856 soil analysis Methods 0.000 description 1
- 238000003900 soil pollution Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004876 x-ray fluorescence Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Transformer‑CNN的XRF元素定量分析方法，属于X荧光光谱元素检测技术领域，包括以下步骤，步骤1：获取XRF谱图，确定元素含量；步骤2：通道截取和数据标准化处理；步骤3：划分训练集和测试集；步骤4：构建特征挖掘协调模块；步骤5：搭建Transformer‑CNN深度学习模型；步骤6：训练集训练Transformer‑CNN模型；步骤7：测试集预测目标元素含量；步骤8：评价指标评价模型预测效果。本发明无需对XRF谱图进行复杂预处理，能够准确、无损、有效地检测土壤中重金属元素的含量。
Description
技术领域
本发明属于X荧光光谱元素检测技术领域，具体涉及基于Transformer-CNN的XRF元素定量分析方法。
背景技术
一种准确、有效的分析方法测量土壤中重金属元素的含量，对治理土壤污染和修复生态系统具有重要意义。X射线荧光光谱因其无损、快速和原位测量的优点被看作土壤分析的热点手段。然而，土壤的XRF存在复杂的基体效应和谱线重叠现象，同时，仪器测量和传输也会引入背景噪声，这严重干扰了分析精度。为了解决这些问题，T.Tavares等人(Agronomy,10(2020)787-808)利用康普顿归一化和多元回归以克服土壤基质效应，从而提高关键土壤性质的预测精度；杨等人(Analytical methods,14(2022)3944-3952)引入迭代自适应窗口经验小波变换作为背景扣除方法提取特征峰的有效计数，以获得“干净的特征峰”；鲁等人(Chemo metrics and Intelligent Laboratory Systems,15(2023)104842-104854)针对土壤XRF光谱中的连续背景干扰，提出了一种迭代变分模态分解框架。校正后的光谱用于重金属的定量分析；R.O.Bastos等人(X-Ray Spectrometry,41(2012)304-307)还提出了一种使用低能量背景校正土壤湿度对原位XRF分析的影响的方法；以上方法虽然有效缓解了基体效应和谱线重叠问题，但整个前处理非常复杂且需要较多的先验知识，智能化程度不高，工程应用性不强。可见，我们需要一种智能且有效的元素定量分析方法，以缓解XRF光谱存在的基体效应、谱线重叠和噪声问题，进而提高元素含量的分析精度。因此，本发明结合XRF无损检测技术提出了一种有效的深度学习方法来准确测定土壤中的重金属元素。
发明内容
针对上述现有技术存在的问题，本发明提出了一种特征挖掘协调模块，它由全局光谱注意模块和局部多尺度特征提取模块组成，可以同时实现谱图的整体关注和局部特征建模。基于特征挖掘协调模块提出了一种Transformer-CNN深度光谱预测模型，以实现对土壤中重金属元素含量的准确预测。
本发明采用的技术方案如下：
基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，包括以下步骤：
步骤1：获取XRF谱图，确定元素含量；
步骤2：通道截取和数据标准化处理；
步骤3：划分训练集和测试集；
步骤4：构建特征挖掘协调模块；
步骤5：搭建Transformer-CNN深度学习模型；
步骤6：训练集训练Transformer-CNN模型；
步骤7：测试集预测目标元素含量；
步骤8：评价指标评价模型预测效果。
进一步地，步骤1中获取XRF谱图，确定元素含量包括以下内容：选取P个标准土壤样品作为目标样本，实验得到P组含有2048个通道的光谱数据xoriginal＝[x1,x2,...,x2048]和目标元素的标准含量数据y＝[y1,y2,...,y270]。
进一步地，步骤2中通道截取和数据标准化处理的方法，包括以下步骤：
首先对光谱数据进行通道截取，选择1-800通道的光谱数据作为研究对象，即x＝[x1,x2,...,x800]；
然后对光谱数据进行预处理，原始光谱数据存在量级差异，因此通过标准化处理消除光谱强度值之间的量级差，这里选择Z-score标准化，计算公式如式(1)、式(2)：
对于原始光谱序列x＝[x1,x2,...,x800]，通过式(1)进行标准化处理，其中xi代表第i个光谱通道对应的强度值，为对应的xi经标准化后的光谱强度值，μ和σ分别为原始光谱序列x的平均值和标准差，因此，经过标准化后的光谱数据为/>
进一步地，步骤3中划分训练集和测试集包括以下内容：
通过KS算法按照8：2的比例将光谱数据划分为训练集和测试集；KS算法把所有的样本都看作训练集候选样本，依次从中挑选样本进训练集；首先选择欧氏距离最远的两个样本进入训练集，其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离，找到距已选样本最远以及最近的两个样本，并将这两个样本选入训练集，重复上述步骤直到样本数量达到要求。
进一步地，步骤4中构建特征挖掘协调模块包括以下内容：
基于Pytorch框架设计特征挖掘协调模块，特征挖掘协调模块包括全局光谱注意模块和局部多尺度特征提取模块，该模块采用并行结构提高计算效率，同时实现局部特征提取和全局依赖建模，以挖掘深层次的光谱特征。
进一步地，步骤5中搭建Transformer-CNN深度学习模型包括以下内容：
输入数据为一维光谱序列首先经过卷积层1和卷积层2实现特征的初步提取以及空间维度的控制，维度分别为8和8，得到光谱特征I；
其次，在进行初步特征提取后，光谱特征向量I被送入特征挖掘协调模块中实现深度特征挖掘和特征补偿，通过全局光谱注意模块的全局关注和局部多尺度特征提取模块的局部有效特征提取实现，得到深度光谱特征Ioutput；
第三，增强后的光谱特征被送入卷积层3和卷积层4实现维度进一步扩张和光谱特征向量压缩；
最后经过三个全连接层(FC1，FC2和FC3)实现土壤重金属元素含量的精准预测。
进一步地，三个全连接层为FC1，FC2和FC3，FC1的神经元个数为128，FC2的神经元个数为32，FC3的神经元个数为1。
进一步地，步骤6中训练集训练Transformer-CNN模型包括以下内容：
将训练数据送入Transformer-CNN回归模型进行训练，模型通过Adam优化器进行参数优化，损失函数为SmoothL1 Loss，计算公式为：
其中e为元素含量真实值y与预测值之间的差异，即/>
进一步地，步骤7中测试集预测目标元素含量包括以下内容：
将测试数据输入训练好的回归模型，输出目标元素的预测含量
进一步地，步骤8中评价指标评价模型预测效果包括以下内容：
选择决定系数平均绝对误差MAE和均方根误差RMSE评估预测效果，以上指标的计算公式如下：
其中yi为第i个样本目标元素含量的真实值，为第i个样本目标元素含量预测值，/>是测试集中所有样本目标元素真实含量的平均值，k为测试集的样本个数。
本发明的有益效果为：
本发明提出了基于Transformer-CNN神经网络的XRF元素定量分析方法，通过全局注意机制和局部特征提取的并行结构，深度挖掘光谱特征，进而提高预测精度和稳定性；本发明是一种端到端的基于深度学习的光谱预测模型，具有简单、有效的特点，无需对光谱数据进行去噪等复杂预处理，可以高效率地提取出光谱信息与元素含量的复杂关联，简便有效地对待测物所含元素进行定量预测。
附图说明
图1是本发明的基于Transformer-CNN神经网络的XRF元素定量分析方法流程图；
图2是特征挖掘协调模块的结构图；
图3是Transformer-CNN深度学习模型的结构图；
图4为本发明实施例1的元素含量预测结果图。
具体实施方式
为使本发明的目的、过程和优势更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
在本发明实施例中，所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，包括以下步骤：
步骤1：获取XRF谱图，确定元素含量。选取P个标准土壤样品作为目标样本，实验得到P组含有2048个通道的光谱数据xoriginal＝[x1,x2,...,x2048]和目标元素的标准含量数据y＝[y1,y2,...,y270]。
步骤2：通道截取和数据标准化处理。
首先对光谱数据进行通道截取，原始光谱数据含有2048个通道，800以后的通道的光谱计数无实际物理意义，也没有元素的特征峰。综合考虑下，选择1-800通道的光谱数据作为研究对象，即x＝[x1,x2,...,x800]；
然后对光谱数据进行预处理。原始光谱数据存在量级差异，因此通过标准化处理消除光谱强度值之间的量级差，这里我们选择Z-score标准化，计算公式如式(1)、(2)：
对于原始光谱序列x＝[x1,x2,...,x800]，通过式(1)进行标准化处理，其中xi代表第i个光谱通道对应的强度值，为对应的xi经标准化后的光谱强度值，μ和σ分别为原始光谱序列x的平均值和标准差。因此，经过标准化后的光谱数据为/>
步骤3：划分训练集和测试集。通过kennard-stone(KS)算法按照8：2的比例将光谱数据划分为训练集和测试集。KS算法把所有的样本都看作训练集候选样本，依次从中挑选样本进训练集。首先选择欧氏距离最远的两个样本进入训练集，其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离，找到距已选样本最远以及最近的两个样本，并将这两个样本选入训练集，重复上述步骤直到样本数量达到要求。
步骤4：构建特征挖掘协调模块。基于Pytorch框架设计了特征挖掘协调模块，特征挖掘协调模块包括全局光谱注意模块和局部多尺度特征提取模块。该模块采用并行结构提高计算效率，可以同时实现局部特征提取和全局依赖建模，以挖掘深层次的光谱特征。
对于全局光谱注意模块，首先对输入长度为L，通道数为C的光谱特征I∈RL×1×C进行分割操作。分割后的特征块大小为p×1×C(在本发明中p被设定为16)，因此N＝L/p为有效的光谱序列长度。XRF光谱数据具有高维性，直接计算将引入更多的参数量和计算复杂度。因此，将输入光谱数据分割成一系列特征块能加快推理效率。然后将特征块平展成一维向量并经过线性映射以便进行光谱位置嵌入，位置嵌入的目的是保证光谱信息的空间连续性，这可以通过随机初始化的一维向量嵌入实现。以上操作可归纳为：
I'＝PE(LP(Spilt(I))) (3)
其中I是全局光谱注意模块的输入，Split为分割操作，LP代表线性映射，PE是对展开的特征向量进行位置编码。通过以上操作会得到带有位置信息的光谱特征I'。
带有位置信息的光谱特征被送入特征编码器以计算光谱特征的全局相关性。I'首先经过层归一化来稳定参数的分布，然后通过线性变换分别生成了查询矩阵Q，键矩阵K和值矩阵V。基于Q，K，V，多头自注意力机制利用这些矩阵向量来计算每个光谱特征向量与其它光谱特征向量的相似性得分，然后通过规范化方法生成光谱特征的新表示。具体来说，首先通过Q矩阵和K矩阵的点积得到光谱特征的相似度矩阵，然后通过归一化指数函数将特征归一化为概率分布，最终加权到V矩阵中得到输出注意图。以上操作可表示为：
其中d为尺度因子，用来稳定梯度分布。它由特征块的维度与注意力头个数的比值得到。KT代表K矩阵的转置，Attention(Q,K,V)是多头自注意力的输出，Softmax是归一化指数函数，公式为：
式中N＝L/p为有效的光谱序列长度。
输出注意力图通过残差学习与输入向量连接，这可以有效防止特征退化。由此可以得到中间输出I*：
I*＝I'+Attention(Q,K,V) (6)
中间输出经过一个多层感知器(MLP)实现特征的进一步交互，这有利于光谱特征建立更深层次的依赖关系。最后将输出向量重构为输入大小相同的形状，以便后续处理。这一步骤可归纳为：
Ioutput1＝Reshape(MLP(I*)) (7)
其中，I*∈Rp×1×N，Ioutput∈RL×1×C。MLP是含有一个隐含层的三层网络结构，隐含层神经元个数为输入神经元个数的2倍。Reshape是Python内置函数，可以将输出向量重构为和输入大小相同的形状，以得到最终输出Ioutput1。
局部多尺度特征提取模块主要由两个不同尺度的一维卷积层构成，卷积核大小分别为7×1和5×1。对于输入长度为L，通道数为C的光谱序列I∈RL×1×C，第一个大核卷积层在提取局部大尺度特征的同时将光谱特征映射到更高维度2C。第二个小核卷积层在更高维度上提取更丰富的局部特征，然后将维度映射到输入大小。每一个卷积后都紧跟着批量归一化和ReLU激活函数操作，批量归一化可以规范化卷积参数，ReLU激活函数用以增加非线性。最后，残差连接整合多尺度特征，防止有效特征丢失。以上操作可以表示为：
Ioutput2＝Conv1D5×1(Conv1D7×1(I))+I (8)
其中，Conv1D7×1表示卷积核大小为7×1的一维卷积操作。Conv1D5×1表示卷积核大小为5×1的一维卷积操作，Ioutput2是局部多尺度特征提取模块输出。
特征挖掘协调模块的输出Ioutput是全局光谱注意模块和局部多尺度特征提取模块的输出沿通道方向的拼接：
Ioutput＝Concatenate(Ioutput1,Ioutput2) (9)
其中Concatenate代表沿通道方向拼接的操作。
步骤5：搭建Transformer-CNN深度学习模型。输入数据为一维光谱序列首先经过卷积层1和卷积层2实现特征的初步提取以及空间维度的控制，维度分别为8和8，得到光谱特征I。一个卷积操作、一个批量归一化层、一个ReLU激活函数层和一个池化层共同组成了一个卷积层。其次，在进行了初步特征提取后，光谱特征向量I被送入特征挖掘协调模块中实现深度特征挖掘和特征补偿，它通过全局光谱注意模块的全局关注和局部多尺度特征提取模块的局部有效特征提取实现，得到深度光谱特征Ioutput，它的维度是16。第三，增强后的光谱特征被送入卷积层3和卷积层4实现维度进一步扩张和光谱特征向量压缩，维度分别为32和64。最后经过三个全连接层(FC1，FC2和FC3)实现土壤重金属元素含量的精准预测，FC1的神经元个数为128，FC2的神经元个数为32，FC3的神经元个数为1，即目标元素的含量预测值，其中FC1还添加了Dropout层防止过拟合。卷积层1的卷积核大小为1，步长为1，卷积层2，卷积层3和卷积层4的卷积核大小为3*1，步长为1。
步骤6：训练集训练Transformer-CNN模型。将训练数据送入Transformer-CNN回归模型进行训练，训练过程的批次大小为15，迭代次数为300。模型通过Adam优化器进行参数优化。损失函数为SmoothL1 Loss。计算公式为：
其中e为元素含量真实值y与预测值之间的差异，即/>
步骤7：测试集预测目标元素含量。将测试数据输入训练好的回归模型，输出目标元素的预测含量
步骤8：评价指标评价模型预测效果。选择了决定系数平均绝对误差(MAE)和均方根误差(RMSE)评估预测效果。/>是预测值与真实值之间的相关性的平方，代表模型中自变量对因变量变化的解释能力。/>越接近1，说明模型的拟合效果越好。MAE更直观反映了真实值和预测值之间的差异，RMSE反映了预测值与真实值的偏差程度，RMSE的值越小，说明模型的预测精度越高。以上指标的计算公式如下：
其中yi为第i个样本目标元素含量的真实值，为第i个样本目标元素含量预测值，y是测试集中所有样本目标元素真实含量的平均值，k为测试集的样本个数。
下面通过更具体实施例加以说明。
实施例1
如图1所示，基于Transformer-CNN神经网络的XRF元素定量分析方法，包括以下步骤：
步骤1：获取XRF谱图，确定元素含量。以预测Mn和Cu元素为例，选取270个标准土壤样品作为目标样本，实验得到270组含有2048个通道的光谱数据xoriginal＝[x1,x2,...,x2048]和Mn和Cu元素的标准含量数据y＝[y1,y2,...,y270]。
步骤2：通道截取和数据标准化处理。对于原始光谱数据原始光谱序列xoriginal＝[x1,x2,...,x2048]，选择1-800通道的光谱数据作为研究对象，即x＝[x1,x2,...,x800]，并对光谱数据进行标准化处理，得到标准化后的光谱数据
步骤3：划分训练集和测试集。通过kennard-stone(KS)算法按照8：2的比例将光谱数据划分为训练集和测试集。训练集共216个样本，测试集共54个样本。
步骤4：构建特征挖掘协调模块。基于Pytorch框架设计了特征挖掘协调模块，特征挖掘协调模块(见图2)包括全局光谱注意模块(见图2(a))和局部多尺度特征提取模块(见图2(b))。该模块采用并行结构提高计算效率，可以同时实现局部特征提取和全局依赖建模，以挖掘深层次的光谱特征。
步骤5：搭建Transformer-CNN深度学习模型，见图3。输入数据为一维光谱序列首先经过卷积层1和卷积层2实现特征的初步提取以及空间维度的控制，维度分别为8和8，得到光谱特征I。一个卷积操作、一个批量归一化层、一个ReLU激活函数层和一个池化层共同组成了一个卷积层。其次，在进行了初步特征提取后，光谱特征向量I被送入特征挖掘协调模块中实现深度特征挖掘和特征补偿，它通过全局光谱注意模块的全局关注和局部多尺度特征提取模块的局部有效特征提取实现，得到深度光谱特征Ioutput，它的维度是16。第三，增强后的光谱特征被送入卷积层3和卷积层4实现维度进一步扩张和光谱特征向量压缩，维度分别为32和64。最后经过三个全连接层(FC1，FC2和FC3)实现土壤重金属元素含量的精准预测，FC1的神经元个数为128，FC2的神经元个数为32，FC3的神经元个数为1，即目标元素的含量预测值，其中FC1还添加了Dropout层防止过拟合。卷积层1的卷积核大小为1，步长为1，卷积层2，卷积层3和卷积层4的卷积核大小为3*1，步长为1。
步骤6：训练集训练Transformer-CNN模型。将训练数据送入Transformer-CNN回归模型进行训练，训练过程的批次大小为15，迭代次数为300。模型通过Adam优化器进行参数优化。损失函数为SmoothL1 Loss。
步骤7：测试集预测目标元素含量。将测试数据送入训练好的回归模型，分别输出目标元素Mn和Cu的预测含量
步骤8：评价指标评价模型预测效果。选择了决定系数平均绝对误差(MAE)和均方根误差(RMSE)评估预测效果。
本例实施得到了土壤Mn和Cu元素的预测结果如图4所示：对于Mn元素，为0.9627，MAE为0.6837，RMSE为0.9679。对于Cu元素，/>为0.9658，MAE为0.0754，RMSE为0.1088。
对比例1
采用PLSR、ANN和1D-CNN神经网络算法对相同待测土壤样本进行Mn和Cu元素预测，预测结果如表1所示，对比可知，PLSR模型效果最差，原因在于PLSR是统计学方法，不能从具有谱线干扰和基体效应的原始数据中很好地拟合非线性特征，ANN和1D-CNN作为深度学习模型，能从复杂地输入数据中建立非线性关系，因此他们的效果要优于PLSR模型，但是ANN和1D-CNN缺乏对重要信息的关注，也没有建立长程依赖性和局部相关性。最后，Transformer-CNN基于全局注意机制与CNN局部特征提取的并行结构，预测的准确性和精度提高，说明Transformer-CNN神经网络算法有效解决了谱线干扰和土壤复杂的基体效应的问题，提高了元素定量分析的准确性和精度，体现了本发明方法的优越性。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (10)
1.基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，包括以下步骤：
步骤1：获取XRF谱图，确定元素含量；
步骤2：通道截取和数据标准化处理；
步骤3：划分训练集和测试集；
步骤4：构建特征挖掘协调模块；
步骤5：搭建Transformer-CNN深度学习模型；
步骤6：训练集训练Transformer-CNN模型；
步骤7：测试集预测目标元素含量；
步骤8：评价指标评价模型预测效果。
2.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤1中获取XRF谱图，确定元素含量包括以下内容：选取P个标准土壤样品作为目标样本，实验得到P组含有2048个通道的光谱数据xoriginal＝[x1,x2,...,x2048]和目标元素的标准含量数据y＝[y1,y2,...,y270]。
3.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤2中通道截取和数据标准化处理的方法，包括以下步骤：
首先对光谱数据进行通道截取，选择1-800通道的光谱数据作为研究对象，即x＝[x1,x2,...,x800]；
然后对光谱数据进行预处理，原始光谱数据存在量级差异，因此通过标准化处理消除光谱强度值之间的量级差，这里选择Z-score标准化，计算公式如式(1)、式(2)：
对于原始光谱序列x＝[x1,x2,...,x800]，通过式(1)进行标准化处理，其中xi代表第i个光谱通道对应的强度值，为对应的xi经标准化后的光谱强度值，μ和σ分别为原始光谱序列x的平均值和标准差，因此，经过标准化后的光谱数据为/>
4.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤3中划分训练集和测试集包括以下内容：
通过KS算法按照8：2的比例将光谱数据划分为训练集和测试集；KS算法把所有的样本都看作训练集候选样本，依次从中挑选样本进训练集；首先选择欧氏距离最远的两个样本进入训练集，其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离，找到距已选样本最远以及最近的两个样本，并将这两个样本选入训练集，重复上述步骤直到样本数量达到要求。
5.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤4中构建特征挖掘协调模块包括以下内容：
基于Pytorch框架设计特征挖掘协调模块，特征挖掘协调模块包括全局光谱注意模块和局部多尺度特征提取模块，该模块采用并行结构提高计算效率，同时实现局部特征提取和全局依赖建模，以挖掘深层次的光谱特征。
6.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤5中搭建Transformer-CNN深度学习模型包括以下内容：
输入数据为一维光谱序列首先经过卷积层1和卷积层2实现特征的初步提取以及空间维度的控制，维度分别为8和8，得到光谱特征I；
其次，在进行初步特征提取后，光谱特征向量I被送入特征挖掘协调模块中实现深度特征挖掘和特征补偿，通过全局光谱注意模块的全局关注和局部多尺度特征提取模块的局部有效特征提取实现，得到深度光谱特征Ioutput；
第三，增强后的光谱特征被送入卷积层3和卷积层4实现维度进一步扩张和光谱特征向量压缩；
最后经过三个全连接层(FC1，FC2和FC3)实现土壤重金属元素含量的精准预测。
7.根据权利要求6所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，三个全连接层为FC1，FC2和FC3，FC1的神经元个数为128，FC2的神经元个数为32，FC3的神经元个数为1。
8.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤6中训练集训练Transformer-CNN模型包括以下内容：
将训练数据送入Transformer-CNN回归模型进行训练，模型通过Adam优化器进行参数优化，损失函数为SmoothL1 Loss，计算公式为：
其中e为元素含量真实值y与预测值之间的差异，即/>
9.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤7中测试集预测目标元素含量包括以下内容：
将测试数据输入训练好的回归模型，输出目标元素的预测含量
10.根据权利要求1所述的基于Transformer-CNN神经网络的XRF元素定量分析方法，其特征在于，步骤8中评价指标评价模型预测效果包括以下内容：
选择决定系数平均绝对误差MAE和均方根误差RMSE评估预测效果，以上指标的计算公式如下：
其中yi为第i个样本目标元素含量的真实值，为第i个样本目标元素含量预测值，/>是测试集中所有样本目标元素真实含量的平均值，k为测试集的样本个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311193431.XA CN117238392A (zh) | 2023-09-15 | 2023-09-15 | 基于Transformer-CNN的XRF元素定量分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311193431.XA CN117238392A (zh) | 2023-09-15 | 2023-09-15 | 基于Transformer-CNN的XRF元素定量分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117238392A true CN117238392A (zh) | 2023-12-15 |
Family
ID=89094235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311193431.XA Pending CN117238392A (zh) | 2023-09-15 | 2023-09-15 | 基于Transformer-CNN的XRF元素定量分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117238392A (zh) |
-
2023
- 2023-09-15 CN CN202311193431.XA patent/CN117238392A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767997A (zh) | 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法 | |
| CN113095409A (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
| Zhang et al. | An efficient lightweight convolutional neural network for industrial surface defect detection | |
| CN105424641A (zh) | 一种原油种类的近红外光谱识别方法 | |
| CN113257357B (zh) | 蛋白质残基接触图预测方法 | |
| Zhang et al. | CNN-transformer based generative adversarial network for copy-move source/target distinguishment | |
| CN115496100A (zh) | 一种基于GAF-ConvNeXt-TF的周界安防扰动识别算法 | |
| CN108827909B (zh) | 基于可见近红外光谱与多目标融合的土壤快速分类方法 | |
| Jin et al. | An innovative approach for integrating two-dimensional conversion of Vis-NIR spectra with the Swin Transformer model to leverage deep learning for predicting soil properties | |
| CN113959974A (zh) | 一种普适性近红外光谱模型的传递方法 | |
| CN113640871A (zh) | 一种基于重加权l1范数稀疏约束的地震波阻抗反演方法 | |
| CN117238392A (zh) | 基于Transformer-CNN的XRF元素定量分析方法 | |
| CN116975123A (zh) | 结合图结构学习与图注意力网络的多维时序异常检测方法 | |
| CN114330114B (zh) | 基于量子支持向量机的铍青铜合金腐蚀速率预测方法 | |
| Al-Bazzaz et al. | Permeability modeling using neural-network approach for complex Mauddud-Burgan carbonate reservoir | |
| Li et al. | One-dimensional convolutional neural network for mapping mineral prospectivity: A case study in changba ore concentration area, Gansu province | |
| CN115525697A (zh) | 一种基于中药生产数据挖掘的工艺优化方法 | |
| CN105866040A (zh) | 基于测线图的水稻白叶枯病高光谱图像降维方法 | |
| Vasudevan et al. | Efficacy of data fusion using convolved multi-output Gaussian processes | |
| Tang et al. | A deep learning based sensor fusion method to diagnose tightening errors | |
| CN109740636B (zh) | 基于AdaBoost结合GRU的地层油水层识别方法 | |
| CN116484921B (zh) | 多物理量特征融合卷积神经网络的裂纹尺寸精准量化方法 | |
| CN117114105B (zh) | 基于科研大数据信息的目标对象推荐方法和系统 | |
| Li et al. | A review of spectral feature extraction and multi-feature fusion methods in predicting soil organic carbon | |
| Zamyatin et al. | Approach to the analysis of land cover dynamics using change detection and spatial stochastic modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |