CN107179291B - 基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法 - Google Patents
基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法 Download PDFInfo
- Publication number
- CN107179291B CN107179291B CN201710325019.7A CN201710325019A CN107179291B CN 107179291 B CN107179291 B CN 107179291B CN 201710325019 A CN201710325019 A CN 201710325019A CN 107179291 B CN107179291 B CN 107179291B
- Authority
- CN
- China
- Prior art keywords
- encoder
- automatic encoder
- soil
- layer
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002689 soil Substances 0.000 title claims abstract description 72
- 238000001228 spectrum Methods 0.000 title claims abstract description 47
- 229910001385 heavy metal Inorganic materials 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000006835 compression Effects 0.000 claims abstract description 68
- 238000007906 compression Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000010276 construction Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000007605 air drying Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004090 dissolution Methods 0.000 claims description 3
- 238000001035 drying Methods 0.000 claims description 3
- 238000000227 grinding Methods 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000007789 sealing Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000003756 stirring Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003321 atomic absorption spectrophotometry Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 238000004993 emission spectroscopy Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009616 inductively coupled plasma Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
- G01N21/3586—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation by Terahertz time domain spectroscopy [THz-TDS]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，与现有技术相比解决了无法对土壤成分进行大批量综合分析概括的缺陷。本发明包括以下步骤：土壤样本的获取和预处理；构造基于深度自动编码器的预测模型,在模型构造上采用去噪自动编码器和压缩编码器堆叠形成深度自动编码器预测模型；深度自动编码器预测模型的训练，将训练样本的太赫兹光谱数据输入深度自动编码器预测模型，完成对深度自动编码器预测模型的训练；土壤重金属元素含量的预测。本发明通过深度自动编码器的结构模型并结合太赫兹光谱来进行土壤重金属元素成分分析预测。
Description
技术领域
本发明涉及土壤成份分析技术领域，具体来说是基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法。
背景技术
人类的工农业生产活动将大量的重金属元素带入土壤，造成土壤重金属元素污染，进而影响耕地质量，严重危害人类的健康。现有的土壤重金属元素检测方法主要有火焰原子吸收分光光度法、电感耦合等离子发射光谱法等，所需仪器均较为复杂，土壤样本需要消解等前期处理。针对大面积土壤还需要采集大量土壤样本进行具体分析，检测速度慢、周期长，而实现土壤重金属元素快速检测，对农业生产、耕地保护等具有重要的意义。
太赫兹光谱技术是能够对土壤重金属元素进行现场快速检测的技术之一，其能够针对土壤样本快速检测出重金属含量，但其也需要分析采集大量土壤样本，才能保证分析概括的准确性。因此，如何利用太赫兹光谱技术，将其结合在相关的预测分析技术上，以实现土壤重金属元素含量的准确预测，取代传统的大批量样本分析已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中无法对土壤成分进行大批量综合分析概括的缺陷，提供一种基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，包括以下步骤：
土壤样本的获取和预处理，获取土壤样本并划分为训练样本和测试样本，使用光谱仪获取土壤样本的太赫兹光谱数据；
构造基于深度自动编码器的预测模型,在模型构造上采用去噪自动编码器和压缩编码器堆叠形成深度自动编码器预测模型；
深度自动编码器预测模型的训练，将训练样本的太赫兹光谱数据输入深度自动编码器预测模型，完成对深度自动编码器预测模型的训练；
土壤重金属元素含量的预测，将测试样本的太赫兹光谱数据输入训练后的深度自动编码器预测模型，完成对测试样本的土壤重金属元素含量的分析预测。
所述的使用光谱仪获取土壤样本的太赫兹光谱数据包括以下步骤：
将采集的土壤均经过去杂、风干处理后依次编号；经过计算、称取、混合、溶解、搅拌、干燥、研磨工序后，装袋密封保存；
将土壤样本通过压片处理，获得厚度均匀的压片样本；
使用太赫兹时域光谱仪采集压片样本的太赫兹光谱数据，利用飞秒激光器提供激光，在室温下进行操作；
将压片样本放入太赫兹测量平台的立式光学元件的槽内，测量波段范围为0.1～2.0THz，每个压片样本重复采集3次太赫兹光谱曲线，求取3次测量的平均值代表该压片样本的太赫兹光谱数据。
所述的构造基于深度自动编码器的预测模型包括以下步骤：
分别构造去噪自动编码器和压缩编码器，将去噪自动编码器的输出层和压缩编码器的输出层均去掉，去噪自动编码器和压缩编码器均利用其隐藏表示层传递；
设去噪自动编码器为包括编码部分和解码部分两部分的三层神经网络模型；
设压缩编码器为包括编码部分和解码部分两部分的三层神经网络模型；
将去噪自动编码器和压缩编码器堆叠形成深度自动编码器预测模型，去噪自动编码器作为深度自动编码器预测模型的底层，压缩编码器作为深度自动编码器预测模型的上层，深度自动编码器预测模型的最后一层为有监督人工神经网络层。
所述的深度自动编码器预测模型的训练包括以下步骤：
训练去噪自动编码器，通过去噪自动编码器的代价函数J(W,b)训练去噪自动编码器；
训练压缩编码器，将去噪自动编码器的编码输出作为压缩编码器的输入，通过压缩编码器的代价函数JCAE(W,b)训练压缩编码器；
将压缩编码器中隐藏层的输出作为有监督人工神经网络层的输入，保持已预训练层的参数固定，初始化整个网络的参数；
将压缩编码器的输出作为提取的特征，联同训练样本对应的土壤重金属元素含量，输入深度自动编码器预测模型最后一层的有监督人工神经网络层，按照有监督的学习方法，对深度自动编码器预测模型的所有层进行有监督的微调。
所述的土壤重金属元素含量的预测包括以下步骤：
将测试样本的太赫兹光谱数据输入深度自动编码器预测模型的去噪自动编码器和压缩编码器提取特征；
将提取的特征输入深度自动编码器预测模型的有监督人工神经网络层，完成对测试样本土壤重金属元素含量的成分分析预测。
所述的训练去噪自动编码器包括以下步骤：
训练去噪自动编码器的编码部分，
将具有统计特性的噪声加入到原始输入光谱数据x中，利用去噪自动编码器的编码部分对加入噪声后的数据
进行编码，
设h表示隐藏层的神经单元激活，则其数学表达式为
其中：W表示连接在输入层与隐藏层之间的dh×dx权值矩阵，sf表示激活函数，
训练去噪自动编码器的解码部分，
利用去噪自动编码器的编码部分的隐藏层重构出原始输入数据，其解码函数表示如下：
y＝g(h)＝sg(W'h+by)，
其中：y表示解码部分对加入干扰噪声后输入数据的重构，sg表示解码部分的激活函数，偏置by∈Rdx是连接在隐藏层与输出层之间的dx×dh权值矩阵；
通过最小化重构与原始输入数据之间的误差代价提取特征，采用梯度下降法更新层与层之间的权值，获得最终特征，其代价函数为
其中L是重构误差，形式为平方差重构误差L(x,y)＝||x-y||2或交叉熵代价
所述的训练压缩编码器包括以下步骤：
将去噪自动编码器解码部分的隐藏层输出数据作为压缩编码器的输入，其表达式如下：
h＝f(x)＝sf(Wx+bh)，
其中：W表示连接在输入层与隐藏层之间的dh×dx权值矩阵，sf表示激活函数，
利用压缩编码器编码得到的隐藏层重构出压缩编码器的输入数据，其解码函数表示如下
y＝g(h)＝sg(W'h+by)，
其中y是指解码器对输入数据的重构，sg表示解码部分的激活函数，偏置by∈Rdx是连接在隐藏层与输出层之间的dx×dh权值矩阵；
通过惩罚输入数据的敏感性来保持中间层表示，该惩罚因子为压缩编码器编码部分的Jacobian矩阵的Frobenius范数，压缩编码器的代价函数为：
其中
Dn表示训练样本集。
有益效果
本发明的基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，与现有技术相比通过深度自动编码器的结构模型并结合太赫兹光谱来进行土壤重金属元素成分分析预测。本发明通过去噪自动编码器、压缩编码器和深度网络模型的堆叠构造出深度自动编码器预测模型，保证了土壤中重金属元素分析预测的精度，其中，去噪自动编码器用于提高噪声干扰并提取低层特征，压缩编码器用于提取高层特征，使得深度网络模型的预测更准确，保证了样本分析概括的准确性。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，包括以下步骤：
第一步，土壤样本的获取和预处理。获取土壤样本并随机将其划分为训练样本和测试样本，使用光谱仪获取土壤样本的太赫兹光谱数据。使用光谱仪获取土壤样本的太赫兹光谱数据步骤如下：
(1)将采集的土壤均经过去杂、风干处理后依次编号；经过计算、称取、混合、溶解、搅拌、干燥、研磨工序后，装袋密封保存。由于土壤样本是颗粒状，需要将土壤样本固定成特定厚度的薄层进行太赫兹实验。
(2)将土壤样本通过压片处理，获得厚度均匀的压片样本。在此，使用压片法对样本进行处理，将土壤样本通过压片处理，获得厚度均匀的压片样本，用于后续光谱测量。
(3)使用太赫兹时域光谱仪采集压片样本的太赫兹光谱数据，利用飞秒激光器提供激光，在室温下进行操作。将压片样本放入太赫兹测量平台的立式光学元件的槽内，测量波段范围为0.1～2.0THz，每个压片样本重复采集3次太赫兹光谱曲线，求取3次测量的平均值代表该压片样本的太赫兹光谱数据。
第二步，构造基于深度自动编码器的预测模型。在模型构造上采用去噪自动编码器和压缩编码器堆叠形成深度自动编码器预测模型。
在深度自动编码器预测模型的构建上，采用了两种不同的自动编码器(去噪自动编码器和压缩编码器)堆叠形成深度自动编码器，在底层使用去噪自动编码器，在上层(去噪自动编码器的上一层)使用压缩编码器堆叠起来。由于去噪自动编码器提取到的特征对输入有一定情况下的噪声扰动具有鲁棒性，且对于高层特征而言，噪声的比例会影响到特征提取的过程，所以采用去噪自动编码器提取低层特征，压缩编码器提取用于预测的高层特征，再配上顶层的有监督人工神经网络层堆叠形成深度自动编码器模型。
其具体步骤如下：
(1)分别构造去噪自动编码器和压缩编码器。将去噪自动编码器的输出层和压缩编码器的输出层均去掉，去噪自动编码器和压缩编码器均利用其隐藏表示层传递。隐藏层在编码部分可以获得并保存输入的有效信息，然后利用解码恢复出原始的加入干扰噪声之前的数据形式，达到消除噪声的目的，利用误差反向传播的方法不断调整网络层与层之间的权值来达到最小化输入与输出误差的办法来重构原始输入，由此可提取出隐藏层特征作为数据的新特征。
设去噪自动编码器为包括编码部分和解码部分两部分的三层神经网络模型；
设压缩编码器为包括编码部分和解码部分两部分的三层神经网络模型。
(2)将去噪自动编码器和压缩编码器堆叠形成深度自动编码器预测模型，去噪自动编码器作为深度自动编码器预测模型的底层，压缩编码器作为深度自动编码器预测模型的上层，深度自动编码器预测模型的最后一层为有监督人工神经网络层，去噪自动编码器、压缩编码器和有监督人工神经网络层共同组成深度自动编码器预测模型。
这样在网络训练时，通过去噪自动编码器获得低层特征，再供给压缩编码器获得高层特征，再将高层特征作为有监督人工神经网络层(分类器)的输入，通过有监督的学习，利用预训练去噪自动编码器和压缩编码器得到的网络权值将有标签的训练样本进行正向传播，然后利用随机梯度下降法对整个网络进行有监督BP反向微调，使整个深度自动编码器预测模型收敛到全局最优。
第三步，深度自动编码器预测模型的训练。将训练样本的太赫兹光谱数据输入深度自动编码器预测模型，完成对深度自动编码器预测模型的训练。其具体步骤如下：
(1)训练去噪自动编码器，通过去噪自动编码器的代价函数J(W,b)训练去噪自动编码器。
A、训练去噪自动编码器的编码部分。
将具有统计特性的噪声加入到原始输入光谱数据x中，利用去噪自动编码器的编码部分对加入噪声后的数据
进行编码(将输入数据通过非线性映射函数映射到隐藏层单元)。
设h表示隐藏层的神经单元激活，则其数学表达式为
其中：W表示连接在输入层与隐藏层之间的dh×dx权值矩阵，sf表示激活函数，
B、训练去噪自动编码器的解码部分。
利用去噪自动编码器的编码部分的隐藏表示层重构出原始输入数据，其解码函数表示如下：
y＝g(h)＝sg(W'h+by)，
其中：y表示解码部分对加入干扰噪声后输入数据的重构，sg表示解码部分的激活函数，偏置by∈Rdx是连接在隐藏层与输出层之间的dx×dh权值矩阵。
C、通过最小化重构与原始输入数据之间的误差代价提取特征，采用梯度下降法更新层与层之间的权值，获得最终特征(低层特征)，其代价函数为
其中L是重构误差，形式为平方差重构误差L(x,y)＝||x-y||2或交叉熵代价
(2)训练压缩编码器，将去噪自动编码器的编码输出作为压缩编码器的输入，通过压缩编码器的代价函数JCAE(W,b)训练压缩编码器。
A、将去噪自动编码器解码部分的隐藏层输出数据(低层特征)作为压缩编码器的输入，其表达式如下：
h＝f(x)＝sf(Wx+bh)，
其中：W表示连接在输入层与隐藏层之间的dh×dx权值矩阵，sf表示激活函数，
B、利用压缩编码器编码得到的隐藏层重构出压缩编码器的输入数据，其解码函数表示如下
y＝g(h)＝sg(W'h+by)，
其中y是指解码器对输入数据的重构，sg表示解码部分的激活函数，偏置by∈Rdx是连接在隐藏层与输出层之间的dx×dh权值矩阵。
C、通过惩罚输入数据的敏感性来保持中间层表示，该惩罚因子为压缩编码器编码部分的Jacobian矩阵的Frobenius范数，压缩编码器的代价函数为：
其中
Dn表示训练样本集。
惩罚因子的限制提高了压缩编码器对于输入数据中的微小扰动的鲁棒性，数据表示的准确性较高，且重构特征并不受惩罚因子的影响。
(3)将压缩编码器中隐藏层的输出(高层特征)作为有监督人工神经网络层的输入，保持已预训练层的参数固定，初始化整个网络的参数；
将压缩编码器的输出作为提取的特征，联同训练样本对应的土壤重金属元素含量，输入深度自动编码器预测模型最后一层的有监督人工神经网络层，按照有监督的学习方法，对深度自动编码器预测模型的所有层进行有监督的微调。
第四步，土壤重金属元素含量的预测。将测试样本的太赫兹光谱数据输入训练后的深度自动编码器预测模型，完成对测试样本的土壤重金属元素含量的分析预测。其具体步骤如下：
(1)将测试样本的太赫兹光谱数据输入深度自动编码器预测模型的去噪自动编码器和压缩编码器提取特征，测试样本的太赫兹光谱数据通过去噪自动编码器提取出低层特征，再输入压缩编码器提取出高层特征。
(2)将提取的特征(高层特征)输入深度自动编码器预测模型的有监督人工神经网络层，完成对测试样本土壤重金属元素含量的成分分析预测。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (5)
1.一种基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，其特征在于，包括以下步骤：
11)土壤样本的获取和预处理，获取土壤样本并划分为训练样本和测试样本，使用光谱仪获取土壤样本的太赫兹光谱数据；
12)构造基于深度自动编码器的预测模型,在模型构造上采用去噪自动编码器和压缩编码器堆叠形成深度自动编码器预测模型；
13)深度自动编码器预测模型的训练，将训练样本的太赫兹光谱数据输入深度自动编码器预测模型，完成对深度自动编码器预测模型的训练；所述的深度自动编码器预测模型的训练包括以下步骤：
131)训练去噪自动编码器，通过去噪自动编码器的代价函数J(W,b)训练去噪自动编码器；所述的训练去噪自动编码器包括以下步骤：
1311)训练去噪自动编码器的编码部分，
将具有统计特性的噪声加入到原始输入光谱数据x中，利用去噪自动编码器的编码部分对加入噪声后的数据
进行编码，
设h表示隐藏层的神经单元激活，则其数学表达式为
其中：W表示连接在输入层与隐藏层之间的dh×dx权值矩阵，sf表示激活函数，
1312)训练去噪自动编码器的解码部分，
利用去噪自动编码器的编码部分的隐藏层重构出原始输入数据，其解码函数表示如下：
y＝g(h)＝sg(W'h+by)，
其中：y表示解码部分对加入干扰噪声后输入数据的重构，sg表示解码部分的激活函数，偏置by∈Rdx是连接在隐藏层与输出层之间的dx×dh权值矩阵；
1313)通过最小化重构与原始输入数据之间的误差代价提取特征，采用梯度下降法更新层与层之间的权值，获得最终特征，其代价函数为
其中L是重构误差，形式为平方差重构误差L(x,y)＝||x-y||2或交叉熵代价
132)训练压缩编码器，将去噪自动编码器的编码输出作为压缩编码器的输入，通过压缩编码器的代价函数JCAE(W,b)训练压缩编码器；
133)将压缩编码器中隐藏层的输出作为有监督人工神经网络层的输入，保持已预训练层的参数固定，初始化整个网络的参数；
将压缩编码器的输出作为提取的特征，联同训练样本对应的土壤重金属元素含量，输入深度自动编码器预测模型最后一层的有监督人工神经网络层，按照有监督的学习方法，对深度自动编码器预测模型的所有层进行有监督的微调；
14)土壤重金属元素含量的预测，将测试样本的太赫兹光谱数据输入训练后的深度自动编码器预测模型，完成对测试样本的土壤重金属元素含量的分析预测。
2.根据权利要求1所述的基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，其特征在于，所述的使用光谱仪获取土壤样本的太赫兹光谱数据包括以下步骤：
21)将采集的土壤均经过去杂、风干处理后依次编号；经过计算、称取、混合、溶解、搅拌、干燥、研磨工序后，装袋密封保存；
22)将土壤样本通过压片处理，获得厚度均匀的压片样本；
23)使用太赫兹时域光谱仪采集压片样本的太赫兹光谱数据，利用飞秒激光器提供激光，在室温下进行操作；
将压片样本放入太赫兹测量平台的立式光学元件的槽内，测量波段范围为0.1～2.0THz，每个压片样本重复采集3次太赫兹光谱曲线，求取3次测量的平均值代表该压片样本的太赫兹光谱数据。
3.根据权利要求1所述的基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，其特征在于，所述的构造基于深度自动编码器的预测模型包括以下步骤：
31)分别构造去噪自动编码器和压缩编码器，将去噪自动编码器的输出层和压缩编码器的输出层均去掉，去噪自动编码器和压缩编码器均利用其隐藏表示层传递；
设去噪自动编码器为包括编码部分和解码部分两部分的三层神经网络模型；
设压缩编码器为包括编码部分和解码部分两部分的三层神经网络模型；
32)将去噪自动编码器和压缩编码器堆叠形成深度自动编码器预测模型，去噪自动编码器作为深度自动编码器预测模型的底层，压缩编码器作为深度自动编码器预测模型的上层，深度自动编码器预测模型的最后一层为有监督人工神经网络层。
4.根据权利要求1所述的基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，其特征在于，所述的土壤重金属元素含量的预测包括以下步骤：
41)将测试样本的太赫兹光谱数据输入深度自动编码器预测模型的去噪自动编码器和压缩编码器提取特征；
42)将提取的特征输入深度自动编码器预测模型的有监督人工神经网络层，完成对测试样本土壤重金属元素含量的成分分析预测。
5.根据权利要求1所述的基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法，其特征在于，所述的训练压缩编码器包括以下步骤：
51)将去噪自动编码器解码部分的隐藏层输出数据作为压缩编码器的输入，其表达式如下：
h＝f(x)＝sf(Wx+bh)，
其中：W表示连接在输入层与隐藏层之间的dh×dx权值矩阵，sf表示激活函数，
52)利用压缩编码器编码得到的隐藏层重构出压缩编码器的输入数据，其解码函数表示如下
y＝g(h)＝sg(W'h+by)，
其中y是指解码器对输入数据的重构，sg表示解码部分的激活函数，偏置by∈Rdx是连接在隐藏层与输出层之间的dx×dh权值矩阵；
53)通过惩罚输入数据的敏感性来保持中间层表示，惩罚因子为压缩编码器编码部分的Jacobian矩阵的Frobenius范数，压缩编码器的代价函数为：
其中
Dn表示训练样本集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710325019.7A CN107179291B (zh) | 2017-05-10 | 2017-05-10 | 基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710325019.7A CN107179291B (zh) | 2017-05-10 | 2017-05-10 | 基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107179291A CN107179291A (zh) | 2017-09-19 |
| CN107179291B true CN107179291B (zh) | 2020-02-14 |
Family
ID=59832729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710325019.7A Active CN107179291B (zh) | 2017-05-10 | 2017-05-10 | 基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107179291B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107844870B (zh) * | 2017-12-07 | 2020-06-02 | 中国科学院合肥物质科学研究院 | 基于Elman神经网络模型的土壤重金属含量预测方法 |
| CN108535200B (zh) * | 2018-01-23 | 2021-02-12 | 江苏大学 | 叶菜类蔬菜叶片重金属镉的检测装置及方法 |
| CN108760668B (zh) * | 2018-06-01 | 2019-10-29 | 南京林业大学 | 基于加权自动编码器的马尾松苗木根部水分快速测量方法 |
| CN110867221B (zh) * | 2019-11-08 | 2022-09-16 | 北京农业信息技术研究中心 | 基于太赫兹光谱的土壤含铅量预测模型确定方法及装置 |
| CN111639763B (zh) * | 2020-06-03 | 2023-08-11 | 三一重机有限公司 | 一种液压油污染度的检测模型训练方法、检测方法及装置 |
| CN111931747B (zh) * | 2020-10-10 | 2021-01-29 | 中南大学 | 一种适于多任务迭代学习记忆的遥感图像分类方法 |
| CN112598130B (zh) * | 2020-12-09 | 2024-04-09 | 华东交通大学 | 基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质 |
| CN114088657B (zh) * | 2021-10-09 | 2024-05-14 | 池明旻 | 基于深度编解码器的纺织纤维成分分析方法 |
| CN116297304B (zh) * | 2023-03-10 | 2024-01-26 | 广东建研环境监测股份有限公司 | 基于化工环境的土壤重金属检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104034689A (zh) * | 2014-06-04 | 2014-09-10 | 北京农业智能装备技术研究中心 | 基于压片法的土壤重金属含量的检测方法及装置 |
| CN104866596A (zh) * | 2015-05-29 | 2015-08-26 | 北京邮电大学 | 一种基于自动编码器的视频分类方法及装置 |
| CN106295906A (zh) * | 2016-08-22 | 2017-01-04 | 万马联合新能源投资有限公司 | 一种基于深度学习的城市公交线路查询方法 |
| CN106295199A (zh) * | 2016-08-15 | 2017-01-04 | 中国地质大学（武汉） | 基于自动编码器和多目标优化的自动历史拟合方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8209080B2 (en) * | 2009-04-27 | 2012-06-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System for determining most probable cause of a problem in a plant |
-
2017
- 2017-05-10 CN CN201710325019.7A patent/CN107179291B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104034689A (zh) * | 2014-06-04 | 2014-09-10 | 北京农业智能装备技术研究中心 | 基于压片法的土壤重金属含量的检测方法及装置 |
| CN104866596A (zh) * | 2015-05-29 | 2015-08-26 | 北京邮电大学 | 一种基于自动编码器的视频分类方法及装置 |
| CN106295199A (zh) * | 2016-08-15 | 2017-01-04 | 中国地质大学（武汉） | 基于自动编码器和多目标优化的自动历史拟合方法及系统 |
| CN106295906A (zh) * | 2016-08-22 | 2017-01-04 | 万马联合新能源投资有限公司 | 一种基于深度学习的城市公交线路查询方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Gabor特征与深度自动编码器的笑脸识别方法;梁湘群;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115(第01期);第8-16、21-30页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107179291A (zh) | 2017-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107179291B (zh) | 基于太赫兹光谱与深度自动编码器的土壤重金属元素含量预测方法 | |
| Bielby et al. | The WIRCam Deep Survey-I. Counts, colours, and mass-functions derived from near-infrared imaging in the CFHTLS deep fields | |
| Sauzède et al. | Retrieving the vertical distribution of chlorophyll a concentration and phytoplankton community composition from in situ fluorescence profiles: A method based on a neural network with potential for global‐scale applications | |
| CN107478580B (zh) | 基于高光谱遥感的土壤重金属含量估算方法及装置 | |
| CN108152235B (zh) | 一种联合土壤室内外光谱的重金属含量反演方法 | |
| Wang et al. | A back propagation neural network model optimized by mind evolutionary algorithm for estimating Cd, Cr, and Pb concentrations in soils using Vis-NIR diffuse reflectance spectroscopy | |
| Guo et al. | Performance of deep learning in mapping water quality of Lake Simcoe with long-term Landsat archive | |
| Xu et al. | Hyperspectral imaging for high-resolution mapping of soil carbon fractions in intact paddy soil profiles with multivariate techniques and variable selection | |
| CN101915744A (zh) | 物质成分含量的近红外光谱无损检测方法及装置 | |
| CN110991064B (zh) | 土壤重金属含量反演模型生成方法、系统及反演方法 | |
| CN113866102B (zh) | 一种基于光谱的土壤健康调查监测方法 | |
| Tan et al. | Estimation of arsenic contamination in reclaimed agricultural soils using reflectance spectroscopy and ANFIS model | |
| CN107844870B (zh) | 基于Elman神经网络模型的土壤重金属含量预测方法 | |
| CN110907393A (zh) | 植物盐碱胁迫程度检测方法及装置 | |
| CN103712923A (zh) | 土壤野外原位测量光谱中去除水分影响因素的方法 | |
| CN108573105A (zh) | 基于深度置信网络的土壤重金属含量检测模型的建立方法 | |
| CN113436153A (zh) | 一种基于高光谱成像和支持向量机技术的原状土壤剖面碳组分预测方法 | |
| Chen et al. | Hyperspectral detection of sugar content for sugar-sweetened apples based on sample grouping and SPA feature selecting methods | |
| Zhao et al. | Estimation of Pb content using reflectance spectroscopy in farmland soil near metal mines, central China | |
| CN114357891A (zh) | 一种土壤镉元素含量的高光谱遥感定量反演方法 | |
| Zhou et al. | Spectral response feature bands extracted from near standard soil samples for estimating soil Pb in a mining area | |
| Wan et al. | MAE-NIR: A masked autoencoder that enhances near-infrared spectral data to predict soil properties | |
| CN117629971A (zh) | 一种提高激光诱导击穿光谱测量页岩中碳元素精度的方法 | |
| CN117491293A (zh) | 一种基于高光谱的高陡岸坡碳酸盐岩体溶蚀快速评估方法 | |
| Li et al. | Salinity monitoring at saline sites with visible–near-infrared spectral data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |