CN111539447B - 一种基于高光谱与太赫兹数据深度融合的分类方法 - Google Patents

一种基于高光谱与太赫兹数据深度融合的分类方法 Download PDF

Info

Publication number
CN111539447B
CN111539447B CN202010187221.XA CN202010187221A CN111539447B CN 111539447 B CN111539447 B CN 111539447B CN 202010187221 A CN202010187221 A CN 202010187221A CN 111539447 B CN111539447 B CN 111539447B
Authority
CN
China
Prior art keywords
terahertz
hyperspectral
fusion
sample
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010187221.XA
Other languages
English (en)
Other versions
CN111539447A (zh
Inventor
刘忆森
周松斌
刘伟鑫
邱泽帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202010187221.XA priority Critical patent/CN111539447B/zh
Publication of CN111539447A publication Critical patent/CN111539447A/zh
Application granted granted Critical
Publication of CN111539447B publication Critical patent/CN111539447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于高光谱与太赫兹数据深度融合的分类方法，包括以下步骤：S1：对样本进行高光谱成像数据采集；S2：对样本进行太赫兹成像数据采集；S3：高光谱与太赫兹数据分割，得到每个样本的高光谱与太赫兹数据，并构建样本训练集与测试集；S4：构建高光谱与太赫兹深度融合分类网络；S5：构建高光谱与太赫兹深度融合分类网络损失函数：S6：采用梯度下降方法训练高光谱与太赫兹深度融合分类网络；S7：利用训练好的高光谱与太赫兹深度融合分类网络，采用输出融合策略对测试集进行预测。本发明采用深度卷积网络进行高光谱成像与太赫兹成像传感数据融合、多分支交叉融合、特征与输出双重融合，提升了分类模型的精度与健壮性。

Description

一种基于高光谱与太赫兹数据深度融合的分类方法
技术领域
本发明涉及高光谱及太赫兹成像无损检测技术领域，具体涉及一种基于高光谱与太赫兹数据深度融合的分类方法。
背景技术
基于高光谱的定量分析技术应用场景极其广泛，包括食品掺假检测、水果糖度检测、药品成分分析及假药鉴定、微生物含量检测、有机质含量检测等；然而在一些应用场景中，高光谱的应用存在局限，例如样本内部的成分分析及缺陷识别。反射式高光谱只能检测光源反射表面或近表面的光谱响应，而透射式高光谱存在着光源难以穿透厚度大、透光性差的物品的问题，而增大透射光源功率会带来灼伤被测物品的风险。因此，对于基于内部成分分析的分类问题，例如胶囊、包衣片剂的药品分类，农产品内部病虫害的识别等应用场景，高光谱需要与其他传感手段结合，才能达到好的分类效果。
太赫兹波兼具光波和微波的特性，具备安全、透视性、有光谱分辨能力的优势，能够反映出被测物品的内部成分信息，恰好可以解决高光谱的透过性问题，形成信息互补。太赫兹成像设备不仅可提供不同波段的太赫兹谱响应，与高光谱相同，还可提供丰富的空间信息。但是目前太赫兹成像设备存在信噪比较低、波段数量较少的问题。
在发明专利“一种无人机载的太赫兹波及高光谱遥感农作物检测系统”(申请号：201811089358.0)中公开了一种兼有太赫兹成像与高光谱成像的农作物检测设备，但并未涉及两种传感数据的融合方式。在发明专利“基于可见光、近红外、太赫兹融合光谱技术的大米新陈品质检测装置及检测方法”(专利号：2016105117638.1)中公开了一种结合可见光、近红外、太赫兹谱的大米品质分析装置与方法，但此发明专利采用的硬件装置是近红外光谱及太赫兹谱，因此没有图像信息，该专利在数据融合方面采用支持向量机进行两种谱特征的融合，并未涉及空间信息与谱信息的融合问题。
发明内容
有鉴于此，有必要针对上述的问题，提供一种基于高光谱与太赫兹数据深度融合的分类方法，该方法通过深度卷积神经网络，对高光谱与太赫兹空间信息、高光谱与太赫兹谱信息、高光谱空间与谱信息、太赫兹空间与谱信息进行交叉融合，并进行特征与预测结果两个层级的融合，从而提升分类模型的精度与健壮性。
为实现上述目的，本发明是根据以下技术方案实现的：
一种基于高光谱与太赫兹数据深度融合的分类方法，包括以下步骤：
步骤S1：对样本进行高光谱成像数据采集；
步骤S2：对样本进行太赫兹成像数据采集；
步骤S3：高光谱与太赫兹数据分割，得到每个样本的高光谱与太赫兹数据，并构建样本训练集与测试集；
步骤S4：构建高光谱与太赫兹深度融合分类网络；
步骤S5：构建高光谱与太赫兹深度融合分类网络损失函数：
L＝α*L1+β*L2+γ*L3+δ*L4+Lfusion
其中，L1、L2、L3、L4分别为四个交叉融合分支输出分类结果的交叉熵损失函数，Lfusion为总体融合分支输出分类结果的交叉熵损失函数，α、β、γ、δ为取值于[0,1]之间的常系数；
步骤S6：采用梯度下降方法训练高光谱与太赫兹深度融合分类网络；
步骤S7：利用训练好的高光谱与太赫兹深度融合分类网络，采用输出融合策略对测试集进行预测。
进一步地，在步骤S3中，所述构建样本训练集与测试集具体包括以下步骤：
步骤S31：采用分水岭算法对高光谱和太赫兹数据进行分割，得到每个样本的有效像素；
步骤S32：根据样本的大小，将步骤S31中样本的高光谱有效像素置于尺寸为n×n的背景中，得到高光谱三维数据块；将步骤S31中样本的太赫兹有效像素置于尺寸为m×m大小的背景中，得到太赫兹三维数据块；其中，n与m为正整数，n为m的整数倍；
步骤S33：将步骤S31中样本的高光谱有效像素在光谱维求平均，得到平均光谱；将步骤S31中样本的太赫兹有效像素在太赫兹谱维求平均，得到平均太赫兹谱；
步骤S34：高光谱三维数据块、平均光谱、太赫兹三维数据块、平均太赫兹谱作为一个样本的数据，并将所有样本划分为训练集与测试集。
进一步地，在步骤S4中，所述网络由特征提取模块及特征融合模块两部分组成，所述特征提取模块由二维卷积层、二维池化层、全连接层组成，所述特征融合模块由三维卷积层、三维池化层、全连接层、输出层组成；
所述特征提取模块具有四个分支，分别为高光谱空间信息分支、高光谱谱信息分支、太赫兹空间信息分支、太赫兹谱信息分支。
进一步地，所述高光谱空间信息分支以高光谱三维数据块为输入，并由二维卷积层和k个1/2下采样二维池化层叠加构成，k为1到6之间的正整数；
所述太赫兹空间信息分支以太赫兹三维数据块为输入，并由二维卷积层和l个1/2下采样二维池化层叠加构成，l为1到6之间的正整数；
其中
Figure BDA0002414621160000031
从而保证经过卷积特征提取后，高光谱空间特征图与太赫兹空间特征图在空间维具有相同的尺寸。
进一步地，所述高光谱谱信息分支以平均光谱为输入，并由两个全连接层构成；
所述太赫兹谱信息分支以平均太赫兹谱为输入，并由两个全连接层构成。
进一步地，所述步骤S4具体包括以下步骤：
分别提取所述特征提取模块的四个分支的特征后进行包括高光谱与太赫兹空间信息融合、高光谱与太赫兹谱信息融合、高光谱空间与谱信息融合、太赫兹空间与谱信息融合的特征交叉融合，四种交叉融合特征分别经过softmax函数后，各得到一个分类输出，四种交叉融合特征进行总体融合后，经过softmax函数，得到总体分类输出。
进一步地，所述高光谱与太赫兹空间信息融合的具体方式为：将高光谱空间信息分支及太赫兹空间分支得到的空间尺寸相同的高光谱特征图与太赫兹特征图以拼接方式连接，并采用三维卷积层和三维池化层进行融合特征提取。
进一步地，所述高光谱与太赫兹谱信息融合、所述高光谱空间与谱信息融合、所述太赫兹空间与谱信息融合、所述四种交叉融合特征的总体融合皆采用全连接层进行。
进一步地，在步骤S5中，各输出的损失函数皆为与分类标签的交叉熵，具体为：
Figure BDA0002414621160000041
进一步地，在步骤S7中，所述预测的预测类别为：
Figure BDA0002414621160000042
其中，argmax函数表示取概率最大的类别，i为类别数，P1、P2、P3、P4分别为四个交叉融合特征输出的各类预测概率值，Pfusion为总体融合特征输出的各类预测概率值，α′、β′、γ′、δ′为取值于[0,1]之间的常系数。
与现有技术相比，本发明的优点和积极效果至少包括：
(1)本发明采用深度卷积网络进行高光谱成像与太赫兹成像传感数据融合，相对于单一传感手段，多模态融合扩展了两种传感手段原本的应用场景，提升了分类精度；
(2)采用多分支交叉融合网络结构，实现了高光谱与太赫兹空间信息、高光谱与太赫兹谱信息、高光谱空间与谱信息、太赫兹空间与谱信息的特征交叉融合，与现有技术相比，充分利用了高光谱与太赫兹成像中的图像信息，同时采用特征与输出双重融合策略，提升了分类模型的精度与健壮性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于高光谱与太赫兹数据深度融合的分类方法的流程示意图；
图2是本发明一种基于高光谱与太赫兹数据深度融合的分类方法所采用的深度融合分类网络结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本发明提供了一种基于高光谱与太赫兹数据深度融合的分类方法，包括以下步骤：
步骤S1：对样本进行高光谱成像数据采集；
步骤S2：对样本进行太赫兹成像数据采集；
步骤S3：高光谱与太赫兹数据分割，得到每个样本的高光谱与太赫兹数据，并构建样本训练集与测试集；
步骤S4：构建高光谱与太赫兹深度融合分类网络；
步骤S5：构建高光谱与太赫兹深度融合分类网络损失函数：
L＝α*L1+β*L2+γ*L3+δ*L4+Lfusion
其中，L1、L2、L3、L4分别为四个交叉融合分支输出分类结果的交叉熵损失函数，Lfusion为总体融合分支输出分类结果的交叉熵损失函数，α、β、γ、δ为取值于[0,1]之间的常系数；
步骤S6：采用梯度下降方法训练高光谱与太赫兹深度融合分类网络；
步骤S7：利用训练好的高光谱与太赫兹深度融合分类网络，采用输出融合策略对测试集进行预测。
进一步地，在步骤S3中，所述构建样本训练集与测试集具体包括以下步骤：
步骤S31：采用分水岭算法对高光谱和太赫兹数据进行分割，得到每个样本的有效像素；
步骤S32：根据样本的大小，将步骤S31中样本的高光谱有效像素置于尺寸为n×n的背景中，得到高光谱三维数据块；将步骤S31中样本的太赫兹有效像素置于尺寸为m×m大小的背景中，得到太赫兹三维数据块；其中，n为m的整数倍；
步骤S33：将步骤S31中样本的高光谱有效像素在光谱维求平均，得到平均光谱；将步骤S31中样本的太赫兹有效像素在太赫兹谱维求平均，得到平均太赫兹谱；
步骤S34：高光谱三维数据块、平均光谱、太赫兹三维数据块、平均太赫兹谱作为一个样本的数据，并将所有样本划分为训练集与测试集。
如图2所示，具体地，在步骤S4中，所述网络由特征提取模块及特征融合模块两部分组成，所述特征提取模块由二维卷积层、二维池化层、全连接层组成，所述特征融合模块由三维卷积层、三维池化层、全连接层、输出层组成；
所述特征提取模块具有四个分支，分别为高光谱空间信息分支、高光谱谱信息分支、太赫兹空间信息分支、太赫兹谱信息分支。
进一步地，所述高光谱空间信息分支以高光谱三维数据块为输入，并由二维卷积层和k个1/2下采样二维池化层叠加构成，k为1到6之间的正整数；
所述太赫兹空间信息分支以太赫兹三维数据块为输入，并由二维卷积层和l个1/2下采样二维池化层叠加构成，l为1到6之间的正整数；
其中
Figure BDA0002414621160000071
从而保证经过卷积特征提取后，高光谱空间特征图与太赫兹空间特征图在空间维具有相同的尺寸。
进一步地，所述高光谱谱信息分支以平均光谱为输入，并由两个全连接层构成；
所述太赫兹谱信息分支以平均太赫兹谱为输入，并由两个全连接层构成。
进一步地，所述步骤S4具体包括以下步骤：
分别提取所述输入端的四个分支的特征后进行包括高光谱与太赫兹空间信息融合、高光谱与太赫兹谱信息融合、高光谱空间与谱信息融合、太赫兹空间与谱信息融合的特征交叉融合，四种交叉融合特征分别经过softmax函数后，各得到一个分类输出，四种交叉融合特征进行总体融合后，经过softmax函数，得到总体分类输出。
进一步地，所述高光谱与太赫兹空间信息融合的具体方式为：将高光谱空间信息分支及太赫兹空间分支得到的空间尺寸相同的高光谱特征图与太赫兹特征图以拼接方式连接，并采用三维卷积层和三维池化层进行融合特征提取。
进一步地，所述高光谱与太赫兹谱信息融合、所述高光谱空间与谱信息融合、所述太赫兹空间与谱信息融合、所述四种交叉融合特征的总体融合皆采用全连接层进行。
进一步地，在步骤S5中，各输出的损失函数皆为与分类标签的交叉熵，具体为：
Figure BDA0002414621160000072
进一步地，在步骤S7中，所述预测的预测类别为：
Figure BDA0002414621160000081
其中，argmax函数表示取概率最大的类别，i为类别数，P1、P2、P3、P4分别为四个交叉融合特征输出的各类预测概率值，Pfusion为总体融合特征输出的各类预测概率值，α′、β′、γ′、δ′为取值于[0,1]之间的常系数。
实施例2
为对本发明内容进行具体说明，本实施例结合高光谱与太赫兹成像传感进行两个品牌枸橼酸铋钾胶囊的分类。
需要说明的是，本实施例中所使用具体样本数目、高光谱具体波段、太赫兹具体波段、尺寸具体大小、卷积核数目、节点数目、训练次数等具体数字，仅仅是本实施例中所使用的一组可能的搭配，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。
如图1所示，本发明所述的一种基于高光谱与太赫兹数据深度融合的分类方法，具体步骤如下：
步骤S1：对样本进行高光谱成像数据采集：采集共300个对枸橼酸铋钾胶囊的高光谱图像数据，其中每个品牌各150个；将两种胶囊的粉体灌注于相同的胶囊外壳，以保证分类只关注内部药品信息；高光谱波段为900-1700nm，其中前后100nm由于噪声高去除，1000-1600nm的共180个波段用于数据分析。
步骤S2：对样本进行太赫兹成像数据采集：采集300个对枸橼酸铋钾胶囊的太赫兹图像数据；太赫兹波段为100GHz，180GHz及280GHz，共3个波段。
步骤S3：高光谱与太赫兹数据分割，得到每个样本的高光谱与太赫兹数据，并构建训练集与测试集，具体步骤为：
采用分水岭算法对高光谱和太赫兹数据胶囊样本进行分割，得到每个样本的有效像素；
将高光谱有效像素置于尺寸为40×40的背景中，得到高光谱三维数据块，并将高光谱有效像素求平均得到平均近红外光谱；将样本的太赫兹有效像素置于尺寸为20×20大小的背景中，得到太赫兹三维数据块，并将太赫兹有效像素求平均，得到平均太赫兹谱；
高光谱数据块、平均光谱、太赫兹数据块、平均太赫兹谱作为一个样本的数据；300个样本中随机抽取150个作为训练集，剩余150个作为测试集。
步骤S4：构建高光谱与太赫兹深度融合分类网络，所述网络由特征提取模块及特征融合模块两部分组成，所述特征提取模块由二维卷积层、二维池化层、全连接层组成，所述特征融合模块由三维卷积层、三维池化层、全连接层、输出层组成；
所述特征提取模块具有四个分支，分别为高光谱空间信息分支、高光谱谱信息分支、太赫兹空间信息分支、太赫兹谱信息分支。
其中高光谱空间信息分支以高光谱三维数据块为输入，依次由二维卷积层-二维池化层-二维卷积层-二维池化层-二维卷积层构成；二维池化层为1/2下采样，二维卷积层卷积核尺寸为3*3，卷积核个数为16，非线性激励函数为ReLU；得到的高光谱空间特征图尺寸为16*10*10；
太赫兹空间信息分支以太赫兹三维数据块为输入，依次由二维卷积层-二维池化层-二维卷积层-二维卷积层构成。二维池化层为1/2下采样，二维卷积层卷积核尺寸为3*3，卷积核个数为16，非线性激励函数为ReLU。得到的太赫兹空间特征图尺寸为16*10*10；
高光谱谱信息分支以平均光谱为输入，并由两个全连接层构成，隐含节点数分别为25和15，非线性激励函数为tanh；
太赫兹谱信息分支以平均太赫兹谱为输入，并由两个全连接层构成，两个全连接层隐含节点数都是10，非线性激励函数为tanh；
四个分支分别提取特征后进行包括高光谱与太赫兹空间信息融合、高光谱与太赫兹谱信息融合、高光谱空间与谱信息融合、太赫兹空间与谱信息融合的特征交叉融合；
其中高光谱与太赫兹空间信息融合方式为：将尺寸相同的高光谱特征图与太赫兹特征图以拼接方式连接，得到尺寸为32*10*10的特征图，依次由三维卷积层-三维池化层-三维卷积层-三维池化层-三维卷积层进行融合特征提取；三维卷积层卷积核尺寸为3*3*5，卷积核个数为16，三维池化层为1/2下采样；
高光谱与太赫兹谱信息融合、高光谱空间与谱信息融合、太赫兹空间与谱信息融合、四种交叉融合特征的总体融合皆采用全连接层进行；三个全连接层的隐含节点数为32，非线性激励函数为tanh函数。
四种交叉特征分别经过softmax函数后，各得到一个分类输出(P1、P2、P3、P4)；四种交叉融合特征经过节点数为32的全连接层进行总体融合后，经过softmax函数，得到总体分类输出(Pfusion)。
步骤S5：构建高光谱与太赫兹深度融合分类网络损失函数：
Figure BDA0002414621160000101
其中，L1、L2、L3、L4分别为四个交叉融合分支输出的交叉熵损失函数，Lfusion为总体融合分支输出的交叉熵损失函数；
步骤S6：采用梯度下降方法训练高光谱与太赫兹深度融合分类网络。优化器采用“Adam”优化器，学习率为0.0005，训练步数达到1000时停止；
步骤S7：利用训练好的高光谱与太赫兹深度融合分类网络，采用输出融合策略对测试集进行预测，预测类别为：
Figure BDA0002414621160000102
其中，argmax函数表示取概率最大的类别，i为类别数，
Figure BDA0002414621160000103
分别为四个交叉融合特征输出的各类预测概率值，
Figure BDA0002414621160000104
为总体融合特征输出的各类预测概率值。
进行10次随机抽样及相应的训练，分类结果取平均值用于模型评价；采用高光谱平均光谱作为输入的支持向量机(记为SVMhyperspectral)及采用高光谱平均光谱合并平均太赫兹谱作为输入的支持向量机(记为SVMhyperspectral-terahertz)作为两种对比方法；10次建模计算的结果对比如下表1：
表1采用支持向量机与本发明所述方法得到的分类结果对比
方法 总体正确率 A类正确率 B类正确率
SVM<sub>hyperspectral</sub> 88.6％ 83.9％ 92.8％
SVM<sub>hyperspectral-terahertz</sub> 93.9％ 91.7％ 96.6％
本发明方法 98.2％ 96.8％ 99.1％
由计算结果可见，本发明所述方法对于该数据集的平均总体正确率为98.2％，相比SVMhyperspectral分类方法提升了9.6％，相比SVMhyperspectral-terahertz分类方法提升了4.3％，分类精度显著提升。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，包括以下步骤：
步骤S1：对样本进行高光谱成像数据采集；
步骤S2：对样本进行太赫兹成像数据采集；
步骤S3：高光谱与太赫兹数据分割，得到每个样本的高光谱与太赫兹数据，并构建样本训练集与测试集；
步骤S4：构建高光谱与太赫兹深度融合分类网络；具体为：分别提取输入端的四个分支的特征后进行信息融合，包括四个交叉融合分支：高光谱与太赫兹空间信息融合分支、高光谱与太赫兹谱信息融合分支、高光谱空间与谱信息融合分支、太赫兹空间与谱信息融合的特征融合分支，四种交叉融合分支分别经过softmax函数后，各得到一个分类输出，四种交叉融合特征在总体融合分支中进行进一步的特征融合，经过softmax函数，得到总体分类输出；
步骤S5：构建高光谱与太赫兹深度融合分类网络损失函数：
L＝α*L1+β*L2+γ*L3+δ*L4+Lfusion
其中，L1、L2、L3、L4分别为四个交叉融合分支输出分类结果的交叉熵损失函数，Lfusjon为总体融合分支输出分类结果的交叉熵损失函数，α、β、γ、δ为取值于[0,1]之间的常系数；
步骤S6：采用梯度下降方法训练高光谱与太赫兹深度融合分类网络；
步骤S7：利用训练好的高光谱与太赫兹深度融合分类网络，采用输出融合策略对测试集进行预测。
2.根据权利要求1所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，在步骤S3中，所述构建样本训练集与测试集具体包括以下步骤：
步骤S31：采用分水岭算法对高光谱和太赫兹数据进行分割，得到每个样本的有效像素；
步骤S32：根据样本的大小，将步骤S31中样本的高光谱有效像素置于尺寸为n×n的背景中，得到高光谱三维数据块；将步骤S31中样本的太赫兹有效像素置于尺寸为m×m大小的背景中，得到太赫兹三维数据块；其中，n与m为正整数，n为m的整数倍；
步骤S33：将步骤S31中样本的高光谱有效像素在光谱维求平均，得到平均光谱；将步骤S31中样本的太赫兹有效像素在太赫兹谱维求平均，得到平均太赫兹谱；
步骤S34：高光谱三维数据块、平均光谱、太赫兹三维数据块、平均太赫兹谱作为一个样本的数据，并将所有样本划分为训练集与测试集。
3.根据权利要求2所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，在步骤S4中，所述网络由特征提取模块及特征融合模块两部分组成，所述特征提取模块由二维卷积层、二维池化层、全连接层组成，所述特征融合模块由三维卷积层、三维池化层、全连接层、输出层组成；
所述特征提取模块具有四个分支，分别为高光谱空间信息分支、高光谱谱信息分支、太赫兹空间信息分支、太赫兹谱信息分支。
4.根据权利要求3所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，所述高光谱空间信息分支以高光谱三维数据块为输入，并由二维卷积层和k个1/2下采样二维池化层叠加构成，k为1到6之间的正整数；
所述太赫兹空间信息分支以太赫兹三维数据块为输入，并由二维卷积层和l个1/2下采样二维池化层叠加构成，l为1到6之间的正整数；
其中
Figure FDA0003374976190000021
从而保证经过卷积特征提取后，高光谱空间特征图与太赫兹空间特征图在空间维具有相同的尺寸。
5.根据权利要求3所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，所述高光谱谱信息分支以平均光谱为输入，并由两个全连接层构成；
所述太赫兹谱信息分支以平均太赫兹谱为输入，并由两个全连接层构成。
6.根据权利要求1所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，所述高光谱与太赫兹空间信息融合的具体方式为：将高光谱空间信息分支及太赫兹空间分支得到的空间尺寸相同的高光谱特征图与太赫兹特征图以拼接方式连接，并采用三维卷积层和三维池化层进行融合特征提取。
7.根据权利要求1所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，所述高光谱与太赫兹谱信息融合、所述高光谱空间与谱信息融合、所述太赫兹空间与谱信息融合、所述四种交叉融合特征的总体融合皆采用全连接层进行。
8.根据权利要求1所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，在步骤S5中，各输出的损失函数皆为与分类标签的交叉熵，具体为：
Figure FDA0003374976190000031
其中yi为第i类的样本标签值，
Figure FDA0003374976190000032
分别为四个交叉融合特征输出的第i类预测概率值，
Figure FDA0003374976190000033
为总体融合特征输出的第i类预测概率值。
9.根据权利要求1所述的基于高光谱与太赫兹数据深度融合的分类方法，其特征在于，在步骤S7中，所述预测的预测类别为：
Figure FDA0003374976190000034
其中，argmax函数表示取概率最大的类别，α′、β′、γ′、δ′为取值于[0,1] 之间的常系数。
CN202010187221.XA 2020-03-17 2020-03-17 一种基于高光谱与太赫兹数据深度融合的分类方法 Active CN111539447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010187221.XA CN111539447B (zh) 2020-03-17 2020-03-17 一种基于高光谱与太赫兹数据深度融合的分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010187221.XA CN111539447B (zh) 2020-03-17 2020-03-17 一种基于高光谱与太赫兹数据深度融合的分类方法

Publications (2)

Publication Number Publication Date
CN111539447A CN111539447A (zh) 2020-08-14
CN111539447B true CN111539447B (zh) 2022-04-22

Family

ID=71974878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010187221.XA Active CN111539447B (zh) 2020-03-17 2020-03-17 一种基于高光谱与太赫兹数据深度融合的分类方法

Country Status (1)

Country Link
CN (1) CN111539447B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762333B (zh) * 2021-07-20 2023-02-28 广东省科学院智能制造研究所 一种基于双流联合密度估计的无监督异常检测方法和系统
CN114758170B (zh) * 2022-04-02 2023-04-18 内蒙古农业大学 一种结合d3d的三分支三注意力机制高光谱图像分类方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903007A (zh) * 2014-03-10 2014-07-02 哈尔滨工程大学 一种基于空-谱信息的高光谱半监督分类方法
CN104851099A (zh) * 2015-05-21 2015-08-19 周口师范学院 一种基于表示学习的图像融合方法
CN104897605A (zh) * 2015-06-16 2015-09-09 中国人民解放军国防科学技术大学 一种基于改进支持向量机的太赫兹谱分类识别方法
CN106124435A (zh) * 2016-07-04 2016-11-16 江苏大学 基于可见光、近红外、太赫兹融合光谱技术的大米新陈品质检测装置及检测方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN109187417A (zh) * 2018-09-18 2019-01-11 深圳市奥谱太赫兹技术研究院 一种无人机载的太赫兹波及高光谱遥感农作物监测系统
CN109374572A (zh) * 2018-12-10 2019-02-22 西安电子科技大学 基于神经网络的太赫兹时域光谱物品分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011094564A2 (en) * 2010-01-29 2011-08-04 Massachusetts Institute Of Technology Terahertz sensing system and method
CN107798348B (zh) * 2017-10-27 2020-02-18 广东省智能制造研究所 基于邻域信息深度学习的高光谱图像分类方法
CN109871830A (zh) * 2019-03-15 2019-06-11 中国人民解放军国防科技大学 基于三维深度残差网络的空谱融合高光谱图像分类方法
CN110084159B (zh) * 2019-04-15 2021-11-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903007A (zh) * 2014-03-10 2014-07-02 哈尔滨工程大学 一种基于空-谱信息的高光谱半监督分类方法
CN104851099A (zh) * 2015-05-21 2015-08-19 周口师范学院 一种基于表示学习的图像融合方法
CN104897605A (zh) * 2015-06-16 2015-09-09 中国人民解放军国防科学技术大学 一种基于改进支持向量机的太赫兹谱分类识别方法
CN106124435A (zh) * 2016-07-04 2016-11-16 江苏大学 基于可见光、近红外、太赫兹融合光谱技术的大米新陈品质检测装置及检测方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN109187417A (zh) * 2018-09-18 2019-01-11 深圳市奥谱太赫兹技术研究院 一种无人机载的太赫兹波及高光谱遥感农作物监测系统
CN109374572A (zh) * 2018-12-10 2019-02-22 西安电子科技大学 基于神经网络的太赫兹时域光谱物品分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Convolutional neural network for hyperspectral data analysis and effective wavelengths selection;Yisen Liu et al.;《Analytica Chimica Acta》;20190817;第46-54页 *
Multi-branch fusion network for hyperspectral image classification;Hongmin Gao et al.;《Knowledge-Based Systems 》;20190118;第11-25页 *
基于深度学习的太赫兹危险物品检测算法的研究;余奕晨;《中国优秀硕士学位论文全文数据库 基础科学辑》;20200315;第2020年卷(第3期);第A005-288页 *
基于空谱融合特征主动学习的高光谱图像分类;王琰 等;《上海航天》;20191231;第36卷(第5期);第50-56页 *

Also Published As

Publication number Publication date
CN111539447A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Guidici et al. One-Dimensional convolutional neural network land-cover classification of multi-seasonal hyperspectral imagery in the San Francisco Bay Area, California
Chen et al. Identification of plant disease images via a squeeze‐and‐excitation MobileNet model and twice transfer learning
Wang et al. Automatic image‐based plant disease severity estimation using deep learning
Sarker et al. Flood mapping with convolutional neural networks using spatio-contextual pixel information
Liu et al. Monitoring wheat fusarium head blight using unmanned aerial vehicle hyperspectral imagery
Liu et al. Multiscale Dense Cross‐Attention Mechanism with Covariance Pooling for Hyperspectral Image Scene Classification
CN111539447B (zh) 一种基于高光谱与太赫兹数据深度融合的分类方法
CN108460391A (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN113657294B (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
Oishi et al. A new Landsat 8 cloud discrimination algorithm using thresholding tests
CN112766161B (zh) 基于集成约束多示例学习的高光谱目标检测方法
Xin et al. Image recognition of crop diseases and insect pests based on deep learning
Liu et al. Rapid identification of chrysanthemum teas by computer vision and deep learning
Kim et al. Deep learning-based monitoring of overshooting cloud tops from geostationary satellite data
Huang et al. Smart agriculture: real‐time classification of green coffee beans by using a convolutional neural network
CN113865859A (zh) 多尺度多源异构信息融合的齿轮箱状态故障诊断方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN114529462A (zh) 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统
Zhu et al. Identifying carrot appearance quality by an improved dense CapNet
CN114937206A (zh) 基于迁移学习和语义分割的高光谱图像目标检测方法
Sarkar et al. Supervised learning aided multiple feature analysis for freshness class detection of Indian gooseberry (Phyllanthus emblica)
Monigari et al. Plant leaf disease prediction
Teimouri et al. Fusion of time-series optical and SAR images using 3D convolutional neural networks for crop classification
Mu et al. Non‐destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510070 Building No. 15, compound 100, martyrs Road, Guangzhou, Guangdong

Applicant after: Institute of intelligent manufacturing, Guangdong Academy of Sciences

Address before: 510070 15 building, 100 martyrs Road, Yuexiu District, Guangzhou, Guangdong.

Applicant before: GUANGDONG INSTITUTE OF INTELLIGENT MANUFACTURING

GR01 Patent grant
GR01 Patent grant