CN111564188B - 一种基于变分自编码矿物信息定量分析方法 - Google Patents
一种基于变分自编码矿物信息定量分析方法 Download PDFInfo
- Publication number
- CN111564188B CN111564188B CN202010356591.1A CN202010356591A CN111564188B CN 111564188 B CN111564188 B CN 111564188B CN 202010356591 A CN202010356591 A CN 202010356591A CN 111564188 B CN111564188 B CN 111564188B
- Authority
- CN
- China
- Prior art keywords
- neural network
- layer
- spectrum
- coding
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910052500 inorganic mineral Inorganic materials 0.000 title claims abstract description 72
- 239000011707 mineral Substances 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004445 quantitative analysis Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 187
- 238000001228 spectrum Methods 0.000 claims abstract description 155
- 238000012549 training Methods 0.000 claims abstract description 116
- 239000013598 vector Substances 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000011160 research Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 210000002569 neuron Anatomy 0.000 claims description 21
- 230000003595 spectral effect Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 10
- 238000002310 reflectometry Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 28
- 229910021532 Calcite Inorganic materials 0.000 description 6
- YGANSGVIUGARFR-UHFFFAOYSA-N dipotassium dioxosilane oxo(oxoalumanyloxy)alumane oxygen(2-) Chemical compound [O--].[K+].[K+].O=[Si]=O.O=[Al]O[Al]=O YGANSGVIUGARFR-UHFFFAOYSA-N 0.000 description 6
- 229910000514 dolomite Inorganic materials 0.000 description 6
- 239000010459 dolomite Substances 0.000 description 6
- 229910052627 muscovite Inorganic materials 0.000 description 6
- 239000010433 feldspar Substances 0.000 description 5
- 210000002364 input neuron Anatomy 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910001919 chlorite Inorganic materials 0.000 description 1
- 229910052619 chlorite group Inorganic materials 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- GUJOJGAPFQRJSV-UHFFFAOYSA-N dialuminum;dioxosilane;oxygen(2-);hydrate Chemical compound O.[O-2].[O-2].[O-2].[Al+3].[Al+3].O=[Si]=O.O=[Si]=O.O=[Si]=O.O=[Si]=O GUJOJGAPFQRJSV-UHFFFAOYSA-N 0.000 description 1
- 229910052598 goethite Inorganic materials 0.000 description 1
- 239000010440 gypsum Substances 0.000 description 1
- 229910052602 gypsum Inorganic materials 0.000 description 1
- 229910052595 hematite Inorganic materials 0.000 description 1
- 239000011019 hematite Substances 0.000 description 1
- AEIXRCIKZIZYPM-UHFFFAOYSA-M hydroxy(oxo)iron Chemical compound [O][Fe]O AEIXRCIKZIZYPM-UHFFFAOYSA-M 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 229910000049 iron hydride Inorganic materials 0.000 description 1
- LIKBJVNGSGBSGK-UHFFFAOYSA-N iron(3+);oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Fe+3].[Fe+3] LIKBJVNGSGBSGK-UHFFFAOYSA-N 0.000 description 1
- 229910052935 jarosite Inorganic materials 0.000 description 1
- NLYAJNPCOHFWQQ-UHFFFAOYSA-N kaolin Chemical compound O.O.O=[Al]O[Si](=O)O[Si](=O)O[Al]=O NLYAJNPCOHFWQQ-UHFFFAOYSA-N 0.000 description 1
- 229910052622 kaolinite Inorganic materials 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052901 montmorillonite Inorganic materials 0.000 description 1
- 229910052609 olivine Inorganic materials 0.000 description 1
- 239000010450 olivine Substances 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 229910021646 siderite Inorganic materials 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Crystallography & Structural Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明属于地质勘查技术领域，具体涉及一种基于变分自编码矿物信息定量分析方法，包括以下步骤：步骤一：采集研究区高光谱数据，读取多种矿物混合的光谱作为训练样本光谱；步骤二：根据光谱波段数、矿物种类、构建五层全连接神经网络；步骤三：将每一条样本光谱转化为一个列向量，并进行光谱归一化处理；输入到全连接神经网络进行训练，获得矿物端元光谱的初始值；步骤四：构建变分自编码神经网络；步骤五：训练变分自编码神经网络，将变分自编码神经网络第二隐含层映射到变分自编码神经网络重构样本输出层的权重系数矩阵参数设置为步骤三中矿物端元光谱的初始值。
Description
技术领域
本发明属于地质勘查技术领域，具体涉及一种基于变分自编码矿物信息定量分析方法。
背景技术
大量观测地球系统的高光谱数据已经变得可用，这些数据来自于多平台传感器，包括从地球上几米-几百米的地面光谱仪、无人机高光谱测量系统到几千米-几百公里的航空及卫星遥感系统，我国高五卫星的成功发射也推动了高光谱可用数据的进一步扩展。矿物填图是高光谱技术最成功的,也是最能发挥其优势的应用领域。在地质调查、矿产勘查和行星探测中，存在许多复杂地质应用场景，一个关键的挑战是从这些复杂地质背景的高光谱数据中定量反演矿物信息。
限于目前的卫星高光谱分辨率和地质场景中矿物的紧致、非线性混合，混合光谱分解是高光谱矿物定量分析的重要方法。为此，需要提出一种基于变分深度自编码的矿物混合光谱定量分析方法，实现对地表矿物定量信息的获取，及提升高光谱遥感地质应用定量化研究的意义。
发明内容
本发明针对上述现有技术的不足，提供一种基于变分自编码矿物信息定量分析方法，用于解决原有技术中高光谱数据处理定量反演矿物信息较弱的技术问题，确定地表岩石土壤矿物含量技术问题。
本发明的技术方案：
一种基于变分自编码矿物信息定量分析方法，包括以下步骤：
步骤一：采集研究区高光谱数据，读取多种矿物混合的光谱作为训练样本光谱；
步骤二：根据光谱波段数、矿物种类、构建五层全连接神经网络；所述五层全连接神经网络，包括：全连接神经网络输入层、全连接神经网络第一隐含层、全连接神经网络第二隐含层、全连接神经网络第三隐含层和全连接神经网络输出层；
步骤2.1：计算每条训练样本光谱对应的全连接神经网络第一隐含层特征；
步骤2.2：计算全连接神经网络第二隐含层特征；
步骤2.3：计算每个训练样本光谱对应的全连接神经网络重构样本光谱；
步骤2.4：构建全连接神经网络的损失函数；
步骤三：将每一条样本光谱转化为一个列向量，并进行光谱归一化处理；输入到全连接神经网络进行训练，获得矿物端元光谱的初始值；
步骤四：构建变分自编码神经网络；变分自编码神经网络包括：变分自编码神经网络输入层、变分自编码神经网络第一隐含层、变分自编码神经网络特征层、变分自编码神经网络第二隐含层和变分自编码神经网络输出层；
步骤4.1：计算步骤一中每条训练样本光谱对应特征的均值；
步骤4.2：计算步骤一中每条训练样本光谱对应特征的标准差；
步骤4.3：计算步骤一中每条训练样本光谱对应的特征值；
步骤4.4：计算步骤一中每条训练样本光谱对应的重构样本光谱；
步骤4.5：构建变分自编码神经网络的损失函数；
步骤五：训练变分自编码神经网络，将变分自编码神经网络第二隐含层映射到变分自编码神经网络重构样本输出层的权重系数矩阵参数设置为步骤三中矿物端元光谱的初始值；
步骤5.1：对变分自编码神经网络的参数初始化赋值，隐含层映射到重构样本输出层的权重系数矩阵参数设置为步骤3获得的矿物端元光谱的初始值；
步骤5.2：将步骤一中每一条训练样本光谱转化为一个列向量输入到对变分自编码神经网络进行训练，获得更新后的对变分自编码神经网络参数；
步骤5.3：判断循环次数是否为50次，如果循环次数为是，则执行步骤5.4，如果循环次数为否，则训练次数加1次后执行步骤5.2；
步骤5.4：获得变分自编码神经网络隐含层映射到重构样本输出层的权重系数矩阵为矿物端元光谱，获得变分自编码神经网络特征层为矿物含量值。
所述步骤一中还包括：从高光谱数据中，读取10000条以上多种矿物混合的光谱作为训练样本光谱。
所述步骤二中全连接神经网络输入层的神经元个数为光谱波段数，每个波段的反射率为全连接神经网络输入层的神经元；设置全连接神经网络第三隐含层神经元数为矿物种类数，全连接神经网络输出层为重构光谱；
所述步骤2.1中，计算每条训练样本光谱对应的全连接神经网络第一隐含层特征公式如下：
其中，为第i个训练样本光谱对应的第一隐含层特征，Relu表示修正线性单元Rectified linear Units，W1为输入层映射到第一隐含层的权重系数矩阵，b1为输入层映射到第一隐含层的偏置向量；xi为第i个训练样本光谱；
所述的步骤2.2中，计算全连接神经网络第二隐含层特征的公式如下式(2)：
其中，为第i个训练样本光谱对应的第二层隐含层特征，W2为第一隐含层映射到第二隐含层的权重系数矩阵，b2为第一隐含层映射到第二隐含层的偏置向量；/>为第i个训练样本光谱对应的第一隐含层特征；
所述的步骤2.3中，计算每个训练样本光谱对应的全连接神经网络重构样本光谱，计算公式如下式(3)：
其中，为第i个训练样本光谱对应的重构样本，sigmoid为输出层激活函数，W 3为第二隐含层映射到第三隐含层的权重系数矩阵，b3为第二隐含层映射到第三隐含层的偏置向量；/>为第i个训练样本光谱对应的第二隐含层特征，W4为第三隐含层映射到重构样本输出层的权重系数矩阵，b4为第三隐含层映射到重构样本输出层的偏置向量；
所述的步骤2.4中，构建全连接神经网络的损失函数如下式(4)：
其中，L为全连接神经网络的损失函数，||||表示取模值操作，arccos表示的是反三角函数中的反余弦，为第i个训练样本光谱对应的重构样本；xi为第i个训练样本光谱。
所述步骤三还包括：
步骤3.1:对全连接神经网络的参数初始化赋值；
步骤3.2：将每一条步骤一中的训练样本光谱转化为一个列向量输入到全连接神经网络进行训练，获得更新后的全连接神经网络参数；
步骤3.3：判断循环次数是否为50次，如果循环次数为是，则执行步骤3.4；如果循环次数为否，则训练次数加1次后执行步骤3.2；
步骤3.4：获得全连接神经网络隐含层映射到全连接神经网络重构样本输出层的权重系数矩阵为矿物端元光谱的初始值。
所述步骤四还包括：变分自编码神经网络输入层神经元个数为光谱的波段数，每个波段的反射率为变分自编码神经网络输入层的神经元；变分自编码神经网络特征层计算出每个样本的特征的均值和标准差，并进行重参数处理，变分自编码神经网络输出层为重构光谱。
所述步骤4.1中，计算步骤一中每条训练样本光谱变分自编码神经网络特征层对应特征的均值的公式，如下式(5)：
μi＝Relu(w1v*xi+b1v)*w2v+b2v………………(5)
其中，μi为第i个训练样本光谱对应的特征的均值，Relu表示修正线性单元Rectified linear Units，w1v为输入层映射到第一隐含层的权重系数矩阵，b1v为输入层映射到第一隐含层的偏置向量；w2v为第一隐含层到特征层均值的权重系数矩阵，b2v为第一隐含层映射到特征层均值的偏置向量；xi为第i个训练样本光谱。
所述步骤4.2中，计算步骤一中每条训练样本光谱变分自编码神经网络特征层对应特征的标准差的公式，如下式(6)：
σi＝Relu(w1v*xi+b1v)*w3v+b3v………………(6)
其中，σi为第i个训练样本光谱对应的特征的标准差，Relu表示修正线性单元Rectified linear Units，w1v为输入层映射到第一隐含层的权重系数矩阵，b1v为输入层映射到第一隐含层的偏置向量；w3v为第一隐含层到特征层标准差的权重系数矩阵，b2v为第一隐含层映射到特征层标准差的偏置向量；xi为第i个训练样本光谱。
所述步骤4.3中，计算步骤一中每个训练样本光谱变分自编码神经网络特征层对应的特征值的公式如下式(7)：
Zi＝μi+ε*σi…………………………(7)
其中，Zi为第i个训练样本光谱对应的特征值，ε为服从标准正态分布的一个采样值。
所述步骤4.4中，计算步骤一中每个训练样本光谱变分自编码神经网络输出层对应的重构样本光谱的公式如下式(8)：
其中，为第i个训练样本光谱对应的重构样本，sigmoid为输出层激活函数，w4v为变分自编码特征层映射到第二隐含层的权重系数矩阵，b4v为变分自编码特征层映射到第二隐含层的偏置向量；w5v为第二隐含层映射到重构样本输出层的权重系数矩阵，b5v第二隐含层映射到重构样本输出层的偏置向量。
所述步骤4.5中，构建变分自编码神经网络的损失函数，如下式(9)：
其中，L为全连接神经网络的损失函数，||||表示取模值操作，arccos表示的是反三角函数中的反余弦，log表示以自然对数为底的取对数操作，为第i个训练样本光谱对应的重构样本；xi为第i个训练样本光谱。
本发明的有益效果：
本发明提出的基于变分自编码矿物信息定量分析方法，针对热液环境常见矿物，如：橄榄石、黄钾铁矾、赤铁矿、针铁矿、铁氢化物、白云母、蒙脱石、高岭石、绿泥石、石膏、菱铁矿、白云石、方解石均做过大量实验研究，能够有效提取上述矿物的端元光谱和含量，适用性较强，对于其他矿物的识别和分析工作也具有借鉴意义。
具体实施方式
一种基于变分自编码矿物信息定量分析方法，包括以下步骤：
步骤一：采集研究区高光谱数据，读取多种矿物混合的光谱作为训练样本光谱；从高光谱数据中，读取10000条以上多种矿物混合的光谱作为训练样本光谱。
步骤二：根据光谱波段数、矿物种类、构建五层全连接神经网络；所述五层全连接神经网络，包括：全连接神经网络输入层、全连接神经网络第一隐含层、全连接神经网络第二隐含层、全连接神经网络第三隐含层和全连接神经网络输出层；
全连接神经网络输入层的神经元个数为光谱波段数，每个波段的反射率为全连接神经网络输入层的神经元；设置全连接神经网络第三隐含层神经元数为矿物种类数，全连接神经网络输出层为重构光谱；
步骤2.1：计算每条训练样本光谱对应的全连接神经网络第一隐含层特征，公式如下式(1)：
其中，为第i个训练样本光谱对应的第一隐含层特征，Relu表示修正线性单元Rectified linear Units，W1为输入层映射到第一隐含层的权重系数矩阵，b1为输入层映射到第一隐含层的偏置向量；xi为第i个训练样本光谱；
步骤2.2：计算全连接神经网络第二隐含层特征；
计算全连接神经网络第二隐含层特征的公式如下式(2)：
其中，为第i个训练样本光谱对应的第二层隐含层特征，W2为第一隐含层映射到第二隐含层的权重系数矩阵，b2为第一隐含层映射到第二隐含层的偏置向量；/>为第i个训练样本光谱对应的第一隐含层特征；
步骤2.3：计算每个训练样本光谱对应的全连接神经网络重构样本光谱；计算每个训练样本光谱对应的全连接神经网络重构样本光谱，计算公式如下式(3)：
其中，为第i个训练样本光谱对应的重构样本，sigmoid为输出层激活函数，W3为第二隐含层映射到第三隐含层的权重系数矩阵，b3为第二隐含层映射到第三隐含层的偏置向量；/>为第i个训练样本光谱对应的第二隐含层特征，W4为第三隐含层映射到重构样本输出层的权重系数矩阵，b4为第三隐含层映射到重构样本输出层的偏置向量；
步骤2.4：构建全连接神经网络的损失函数；
构建全连接神经网络的损失函数如下式(4)：
其中，L为全连接神经网络的损失函数，||||表示取模值操作，arccos表示的是反三角函数中的反余弦，为第i个训练样本光谱对应的重构样本；xi为第i个训练样本光谱。
步骤三：将每一条样本光谱转化为一个列向量，并进行光谱归一化处理；输入到全连接神经网络进行训练，获得矿物端元光谱的初始值；
步骤3.1:对全连接神经网络的参数初始化赋值；
步骤3.2：将每一条步骤一中的训练样本光谱转化为一个列向量输入到全连接神经网络进行训练，获得更新后的全连接神经网络参数；
步骤3.3：判断循环次数是否为50次，如果循环次数为是，则执行步骤3.4；如果循环次数为否，则训练次数加1次后执行步骤3.2；
步骤3.4：获得全连接神经网络隐含层映射到全连接神经网络重构样本输出层的权重系数矩阵为矿物端元光谱的初始值。
步骤四：构建变分自编码神经网络；变分自编码神经网络包括：变分自编码神经网络输入层、变分自编码神经网络第一隐含层、变分自编码神经网络特征层、变分自编码神经网络第二隐含层和变分自编码神经网络输出层；
变分自编码神经网络输入层神经元个数为光谱的波段数，每个波段的反射率为变分自编码神经网络输入层的神经元；变分自编码神经网络特征层计算出每个样本的特征的均值和标准差，并进行重参数处理，变分自编码神经网络输出层为重构光谱。
步骤4.1：计算步骤一中每条训练样本光谱对应特征的均值；
计算步骤一中每条训练样本光谱变分自编码神经网络特征层对应特征的均值的公式，如下式(5)：
μi＝Relu(w1v*xi+b1v)*w2v+b2v………………(5)
其中，μi为第i个训练样本光谱对应的特征的均值，Relu表示修正线性单元Rectified linear Units，w1v为输入层映射到第一隐含层的权重系数矩阵，b1v为输入层映射到第一隐含层的偏置向量；w2v为第一隐含层到特征层均值的权重系数矩阵，b2v为第一隐含层映射到特征层均值的偏置向量；xi为第i个训练样本光谱。
步骤4.2：计算步骤一中每条训练样本光谱对应特征的标准差；
计算步骤一中每条训练样本光谱变分自编码神经网络特征层对应特征的标准差的公式，如下式(6)：
σi＝Relu(w1v*xi+b1v)*w3v+b3v………………(6)
其中，σi为第i个训练样本光谱对应的特征的标准差，Relu表示修正线性单元Rectified linear Units，w1v为输入层映射到第一隐含层的权重系数矩阵，b1v为输入层映射到第一隐含层的偏置向量；w3v为第一隐含层到特征层标准差的权重系数矩阵，b2v为第一隐含层映射到特征层标准差的偏置向量；xi为第i个训练样本光谱。
步骤4.3：计算步骤一中每条训练样本光谱对应的特征值；
计算步骤一中每个训练样本光谱变分自编码神经网络特征层对应的特征值的公式如下式(7)：
Zi＝μi+ε*σi…………………………(7)
其中，Zi为第i个训练样本光谱对应的特征值，ε为服从标准正态分布的一个采样值。
步骤4.4：计算步骤一中每条训练样本光谱对应的重构样本光谱；
计算步骤一中每个训练样本光谱变分自编码神经网络输出层对应的重构样本光谱的公式如下式(8)：
其中，为第i个训练样本光谱对应的重构样本，sigmoid为输出层激活函数，w4v为变分自编码特征层映射到第二隐含层的权重系数矩阵，b4v为变分自编码特征层映射到第二隐含层的偏置向量；w5v为第二隐含层映射到重构样本输出层的权重系数矩阵，b5v第二隐含层映射到重构样本输出层的偏置向量。
步骤4.5：构建变分自编码神经网络的损失函数；
构建变分自编码神经网络的损失函数，如下式(9)：
其中，L为全连接神经网络的损失函数，||||表示取模值操作，arccos表示的是反三角函数中的反余弦，log表示以自然对数为底的取对数操作，为第i个训练样本光谱对应的重构样本；Xi为第i个训练样本光谱。
步骤五：训练变分自编码神经网络，将变分自编码神经网络第二隐含层映射到变分自编码神经网络重构样本输出层的权重系数矩阵参数设置为步骤三中矿物端元光谱的初始值；
步骤5.1：对变分自编码神经网络的参数初始化赋值，隐含层映射到重构样本输出层的权重系数矩阵参数设置为步骤3获得的矿物端元光谱的初始值；
步骤5.2：将步骤一中每一条训练样本光谱转化为一个列向量输入到对变分自编码神经网络进行训练，获得更新后的对变分自编码神经网络参数；
步骤5.3：判断循环次数是否为50次，如果循环次数为是，则执行步骤5.4，如果循环次数为否，则训练次数加1次后执行步骤5.2；
步骤5.4：获得变分自编码神经网络隐含层映射到重构样本输出层的权重系数矩阵为矿物端元光谱，获得变分自编码神经网络特征层为矿物含量值。
实施例：下面结合实施例对本发明设计的一种基于变分自编码矿物信息定量分析方法进一步进行详细说明：
本实施例中选择白云母、方解石、白云石、长石四种矿物进行含量反演，其它矿物可参考此方法。
步骤一：选择白云母、方解石、白云石、长石四种矿物进行试验，端元光谱取自美国地质勘探局光谱库。根据Dirichlet分布生成随机丰度。模拟出10000条四种矿物混合的光谱。
步骤二：根据样本数量、矿物种类、初始化一个五层的全连接神经网络，全连接神经网络输入神经元为波段数420，全连接神经网络第一层隐含层神经元为100个，全连接神经网络第二层隐含层神经元为25个，全连接神经网络第三层隐含层神经元为4个(矿物种类)，全连接神经网络输出层重建样本光谱输出神经元为420。
全连接神经网络输入层和全连接神经网络隐含层激活函数为Relu，全连接神经网络输出层激活函数为sigmoid，学习率为0.001。
步骤三：将本实施例中10000条样本光谱转化为列向量，输入到全连接神经网络，设置最大迭代次数为50，通过最小化全连接神经网络的损失函数，采用梯度下降算法，不断迭代更新全连接神经网络系数，存储获取白云母、方解石、白云石、长石四种矿物端元光谱初始值。
步骤四：构建变分自编码神经网络，变分自编码神经网络输入神经元为波段数420，变分自编码神经网络第一层隐含层神经元为100个，变分自编码神经网络特征层神经元为4个，变分自编码神经网络第二隐含层神经元为4个，计算出每个样本的特征的均值和标准差，并进行重参数处理，变分自编码神经网络输出层为重构光谱。
变分自编码神经网络输入层和变分自编码神经网络隐含层激活函数为Relu，变分自编码神经网络输出层激活函数为sigmoid，学习率为0.001。
步骤五：将10000条样本光谱列向量，输入到变分自编码神经网络，设置最大迭代次数为50，通过最小化变分自编码神经网络的损失函数，采用梯度下降算法，不断迭代更新神经网络系数，变分自编码神经网络第二隐含层映射到变分自编码神经网络重构样本输出层的权重系数矩阵为获取的白云母、方解石、白云石、长石矿物端元光谱。特征层为白云母、方解石、白云石、长石矿物的含量值。
上面对本发明的实施例作了详细说明，本发明并不限于上述实例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (8)
1.一种基于变分自编码矿物信息定量分析方法，其特征在于：包括以下步骤：
步骤一：采集研究区高光谱数据，读取多种矿物混合的光谱作为训练样本光谱；
步骤二：根据光谱波段数、矿物种类构建五层全连接神经网络；所述五层全连接神经网络，包括：全连接神经网络输入层、全连接神经网络第一隐含层、全连接神经网络第二隐含层、全连接神经网络第三隐含层和全连接神经网络输出层；
步骤2.1：计算每条训练样本光谱对应的全连接神经网络第一隐含层特征；
步骤2.2：计算全连接神经网络第二隐含层特征；
步骤2.3：计算每个训练样本光谱对应的全连接神经网络重构样本光谱；
步骤2.4：构建全连接神经网络的损失函数；
所述步骤二中全连接神经网络输入层的神经元个数为光谱波段数，每个波段的反射率为全连接神经网络输入层的神经元；设置全连接神经网络第三隐含层神经元数为矿物种类数，全连接神经网络输出层为重构光谱；
所述步骤2.1中，计算每条训练样本光谱对应的全连接神经网络第一隐含层特征公式如下：
其中，为第i个训练样本光谱对应的第一隐含层特征，Relu表示修正线性单元RectifiedlinearUnits，W1为输入层映射到第一隐含层的权重系数矩阵，b1为输入层映射到第一隐含层的偏置向量；xi为第i个训练样本光谱；
所述的步骤2.2中，计算全连接神经网络第二隐含层特征的公式如下式(2)：
其中，为第i个训练样本光谱对应的第二层隐含层特征，W2为第一隐含层映射到第二隐含层的权重系数矩阵，b2为第一隐含层映射到第二隐含层的偏置向量；/>为第i个训练样本光谱对应的第一隐含层特征；
所述的步骤2.3中，计算每个训练样本光谱对应的全连接神经网络重构样本光谱，计算公式如下式(3)：
其中，为第i个训练样本光谱对应的重构样本，sigmoid为输出层激活函数，W3为第二隐含层映射到第三隐含层的权重系数矩阵，b3为第二隐含层映射到第三隐含层的偏置向量；/>为第i个训练样本光谱对应的第二隐含层特征，W4为第三隐含层映射到重构样本输出层的权重系数矩阵，b4为第三隐含层映射到重构样本输出层的偏置向量；
所述的步骤2.4中，构建全连接神经网络的损失函数如下式(4)：
其中，L为全连接神经网络的损失函数，|| ||表示取模值操作，arccos表示的是反三角函数中的反余弦，为第i个训练样本光谱对应的重构样本；xi为第i个训练样本光谱；
步骤三：将每一条样本光谱转化为一个列向量，并进行光谱归一化处理；输入到全连接神经网络进行训练，获得矿物端元光谱的初始值；
步骤四：构建变分自编码神经网络；变分自编码神经网络包括：变分自编码神经网络输入层、变分自编码神经网络第一隐含层、变分自编码神经网络特征层、变分自编码神经网络第二隐含层和变分自编码神经网络输出层；
步骤4.1：计算步骤一中每条训练样本光谱对应特征的均值；
步骤4.2：计算步骤一中每条训练样本光谱对应特征的标准差；
步骤4.3：计算步骤一中每条训练样本光谱对应的特征值；
步骤4.4：计算步骤一中每条训练样本光谱对应的重构样本光谱；
步骤4.5：构建变分自编码神经网络的损失函数；
所述步骤四还包括：变分自编码神经网络输入层神经元个数为光谱的波段数，每个波段的反射率为变分自编码神经网络输入层的神经元；变分自编码神经网络特征层计算出每个样本的特征的均值和标准差，并进行重参数处理，变分自编码神经网络输出层为重构光谱；
步骤五：训练变分自编码神经网络，将变分自编码神经网络第二隐含层映射到变分自编码神经网络重构样本输出层的权重系数矩阵参数设置为步骤三中矿物端元光谱的初始值；
步骤5.1：对变分自编码神经网络的参数初始化赋值，隐含层映射到重构样本输出层的权重系数矩阵参数设置为步骤三获得的矿物端元光谱的初始值；
步骤5.2：将步骤一中每一条训练样本光谱转化为一个列向量输入到对变分自编码神经网络进行训练，获得更新后的对变分自编码神经网络参数；
步骤5.3：判断循环次数是否为50次，如果循环次数为是，则执行步骤5.4，如果循环次数为否，则训练次数加1次后执行步骤5.2；
步骤5.4：获得变分自编码神经网络隐含层映射到重构样本输出层的权重系数矩阵为矿物端元光谱，获得变分自编码神经网络特征层为矿物含量值。
2.根据权利要求1所述的一种基于变分自编码矿物信息定量分析方法，其特征在于：所述步骤一中还包括：从高光谱数据中，读取10000条以上多种矿物混合的光谱作为训练样本光谱。
3.根据权利要求2所述的一种基于变分自编码矿物信息定量分析方法，其特征在于：所述步骤三还包括：
步骤3.1:对全连接神经网络的参数初始化赋值；
步骤3.2：将每一条步骤一中的训练样本光谱转化为一个列向量输入到全连接神经网络进行训练，获得更新后的全连接神经网络参数；
步骤3.3：判断循环次数是否为50次，如果循环次数为是，则执行步骤3.4；如果循环次数为否，则训练次数加1次后执行步骤3.2；
步骤3.4：获得全连接神经网络隐含层映射到全连接神经网络重构样本输出层的权重系数矩阵为矿物端元光谱的初始值。
4.根据权利要求3所述的一种基于变分自编码矿物信息定量分析方法，其特征在于；所述步骤4.1中，计算步骤一中每条训练样本光谱变分自编码神经网络特征层对应特征的均值的公式，如下式(5)：
μi＝Relu(w1v*xi+b1v)*w2v+b2v………………(5)
其中，μi为第i个训练样本光谱对应的特征的均值，Relu表示修正线性单元Rectifiedlinear Units，w1v为输入层映射到第一隐含层的权重系数矩阵，b1v为输入层映射到第一隐含层的偏置向量；w2v为第一隐含层到特征层均值的权重系数矩阵，b2v为第一隐含层映射到特征层均值的偏置向量；xi为第i个训练样本光谱。
5.根据权利要求4所述的一种基于变分自编码矿物信息定量分析方法，其特征在于：所述步骤4.2中，计算步骤一中每条训练样本光谱变分自编码神经网络特征层对应特征的标准差的公式，如下式(6)：
σi＝Relu(w1v*xi+b1v)*w3v+b3v………………(6)
其中，σi为第i个训练样本光谱对应的特征的标准差，Relu表示修正线性单元Rectifiedlinear Units，w1v为输入层映射到第一隐含层的权重系数矩阵，b1v为输入层映射到第一隐含层的偏置向量；w3v为第一隐含层到特征层标准差的权重系数矩阵，b3v为第一隐含层映射到特征层标准差的偏置向量；xi为第i个训练样本光谱。
6.根据权利要求5所述的一种基于变分自编码矿物信息定量分析方法，其特征在于：所述步骤4.3中，计算步骤一中每个训练样本光谱变分自编码神经网络特征层对应的特征值的公式如下式(7)：
Zi＝μi+ε*σi…………………………(7)
其中，Zi为第i个训练样本光谱对应的特征值，ε为服从标准正态分布的一个采样值。
7.根据权利要求6所述的一种基于变分自编码矿物信息定量分析方法，其特征在于：所述步骤4.4中，计算步骤一中每个训练样本光谱变分自编码神经网络输出层对应的重构样本光谱的公式如下式(8)：
其中，为第i个训练样本光谱对应的重构样本，sigmoid为输出层激活函数，w4v为变分自编码特征层映射到第二隐含层的权重系数矩阵，b4v为变分自编码特征层映射到第二隐含层的偏置向量；w5v为第二隐含层映射到重构样本输出层的权重系数矩阵，b5v第二隐含层映射到重构样本输出层的偏置向量。
8.根据权利要求7所述的一种基于变分自编码矿物信息定量分析方法，其特征在于：所述步骤4.5中，构建变分自编码神经网络的损失函数，如下式(9)：
其中，L为全连接神经网络的损失函数，|| ||表示取模值操作，arccos表示的是反三角函数中的反余弦，log表示以自然对数为底的取对数操作，为第i个训练样本光谱对应的重构样本；Xi为第i个训练样本光谱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356591.1A CN111564188B (zh) | 2020-04-29 | 2020-04-29 | 一种基于变分自编码矿物信息定量分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356591.1A CN111564188B (zh) | 2020-04-29 | 2020-04-29 | 一种基于变分自编码矿物信息定量分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111564188A CN111564188A (zh) | 2020-08-21 |
| CN111564188B true CN111564188B (zh) | 2023-09-12 |
Family
ID=72074494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010356591.1A Active CN111564188B (zh) | 2020-04-29 | 2020-04-29 | 一种基于变分自编码矿物信息定量分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111564188B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597826A (zh) * | 2020-12-08 | 2021-04-02 | 核工业北京地质研究院 | 一种对高光谱sasi数据进行岩性分类的方法 |
| CN113707331B (zh) * | 2021-07-30 | 2023-04-07 | 电子科技大学 | 一种中医辨证数据生成方法与系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609579A (zh) * | 2017-08-25 | 2018-01-19 | 西安电子科技大学 | 基于稳健变分自编码器的雷达目标分类方法 |
| CN109886388A (zh) * | 2019-01-09 | 2019-06-14 | 平安科技（深圳）有限公司 | 一种基于变分自编码器的训练样本数据扩充方法和装置 |
| CN110008948A (zh) * | 2019-04-15 | 2019-07-12 | 西安电子科技大学 | 基于变分自编码网络的高光谱图像目标检测方法 |
-
2020
- 2020-04-29 CN CN202010356591.1A patent/CN111564188B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609579A (zh) * | 2017-08-25 | 2018-01-19 | 西安电子科技大学 | 基于稳健变分自编码器的雷达目标分类方法 |
| CN109886388A (zh) * | 2019-01-09 | 2019-06-14 | 平安科技（深圳）有限公司 | 一种基于变分自编码器的训练样本数据扩充方法和装置 |
| CN110008948A (zh) * | 2019-04-15 | 2019-07-12 | 西安电子科技大学 | 基于变分自编码网络的高光谱图像目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Deep Learning With Grouped Features for Spatial Spectral Classification of Hyperspectral Images;Xichuan Zhou等;IEEE;第16卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111564188A (zh) | 2020-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10329900B2 (en) | Systems and methods employing cooperative optimization-based dimensionality reduction | |
| Kang et al. | Bayesian inference for the spatial random effects model | |
| Cheng | Generalized binomial multiplicative cascade processes and asymmetrical multifractal distributions | |
| CN111564188B (zh) | 一种基于变分自编码矿物信息定量分析方法 | |
| EP2310880B1 (en) | Systems and methods employing cooperative optimization-based dimensionality reduction | |
| Alnahwi et al. | Mineralogical composition and total organic carbon quantification using x-ray fluorescence data from the Upper Cretaceous Eagle Ford Group in southern Texas | |
| Sousa et al. | The spectral mixture residual: A source of low‐variance information to enhance the explainability and accuracy of surface biology and geology retrievals | |
| Theiling et al. | Science autonomy for ocean worlds astrobiology: A perspective | |
| Zhao et al. | Fast stratification of geological cross-section from CPT results with missing data using multitask and modified Bayesian compressive sensing | |
| CN114139819A (zh) | 基于地统计加权随机森林的地球化学变量空间预测方法 | |
| Hoffman et al. | Multivariate Spatio-Temporal Clustering (MSTC) as a data mining tool for environmental applications | |
| Thannoun | Mapping lithological and mineralogical units using hyperspectral imagery | |
| Braverman et al. | Semi-streaming quantization for remote sensing data | |
| Guyodo et al. | Effects of variable sedimentation rates and age errors on the resolution of sedimentary paleointensity records | |
| CN109978162A (zh) | 一种基于深度神经网络的矿物含量光谱反演方法 | |
| Ciampalini et al. | Co-kriging of soil properties with Vis-NIR hyperspectral covariates in the Cap Bon region (Tunisia) | |
| Wong et al. | The Use Of Fuzzy Artmap For Lithofacies Classification: A Comparison Study | |
| Van Der Meer | Geophysical inversion of imaging spectrometer data for geologic modelling | |
| Yang et al. | Guidelines for Enhancing the Signature of Multi-element Mineralization Using Principal Component Analysis: Part 1—Monte Carlo Simulation | |
| CN111141708B (zh) | 一种岩石高光谱图像数据增强方法 | |
| Filzmoser | Robust statistics | |
| Baghi et al. | Uncovering stochastic gravitational-wave backgrounds with LISA | |
| Gokee et al. | Spatial approaches in African archaeology | |
| Fraser et al. | Data mining geoscientific data sets using self organizing maps | |
| Driba et al. | Predicting wetland soil properties using machine learning, geophysics, and soil measurement data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |