CN112052881B - 基于多尺度近端特征拼接的高光谱图像分类模型的装置 - Google Patents
基于多尺度近端特征拼接的高光谱图像分类模型的装置 Download PDFInfo
- Publication number
- CN112052881B CN112052881B CN202010816542.1A CN202010816542A CN112052881B CN 112052881 B CN112052881 B CN 112052881B CN 202010816542 A CN202010816542 A CN 202010816542A CN 112052881 B CN112052881 B CN 112052881B
- Authority
- CN
- China
- Prior art keywords
- feature
- layer
- classification
- characteristic
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于多尺度近端特征拼接的高光谱图像分类模型的装置,其中,模型包括多尺度近端特征拼接模块和分类模块,多尺度近端特征拼接模块包括多个串接的多尺度近端特征拼接单元;多尺度近端特征拼接单元包括第一特征提取支路、第二特征提取支路、输入特征传递支路、特征拼接层和平均池化层;第一特征提取支路与第二特征提取支路并联后与特征拼接层及平均池化层依次串接;第一特征提取支路包括串接的第一空洞卷积层和第二空洞卷积层;第二特征提取支路包括第三空洞卷积层;输入特征传递支路用于传递原始空谱特征。本申请装置中的模型引入相邻近端特征上下文信息,利用各特征图的空间多样性与特征相关性,提升分类精度。
Description
技术领域
本发明涉及高光谱图像分类方法,具体涉及一种基于多尺度近端特征拼接的高光谱图像分类模型的装置。
背景技术
高光谱遥感图像具有强大的对地目标区分能力,可以从上百条连续的光谱波段中提取地物信息,在军事目标探测、海洋监测、灾害防治等方面均发挥了重要作用。高光谱图像的识别与分类始终是高光谱图像分析的一个关键问题,关系着高光谱遥感技术的推进和发展。因此,研究高效实用的高光谱遥感图像(Hyperspectral image,HSI)分类方法,对充分挖掘高光谱遥感技术的应用潜力具有重要意义。
迄今为止,研究者已经提出形形色色的方法将高光谱图像的像元划分为特定的土地覆盖类。在早期的分类方法中,诸如k临近分类器和支持向量机等光谱分类器被广泛使用,而后为了更好的应对高光谱图像复杂的空间分布和光谱分布,将空间和光谱特征纳入分类方法的也得到了广泛关注。但是这些方法大多属于浅层模型,这种模型中的非线性变换层数不足以表示高光谱图像复杂的空间和光谱特征,泛化能力较弱。同时,由于其往往基于手工特征,高度依赖个人经验。
为了克服这些缺点,深度学习被引入高光谱分类中,它可以自动的从原始输入数据中由低到高的学习层次特征,进而充分挖掘高光谱图像中更具代表性的显著特征。作为深度学习的代表算法之一,卷积神经网络具有出色的表征学习能力,这使得其在提取高光谱图像空间特征信息方面拥有巨大的优势。目前,为了进一步提升各级卷积利用率,获取更多更有效的判别特征,密集网络,多尺度滤波器被应用于算法模型中,但前者需要大量的跳跃结构参与,这会导致训练参数大幅增加,而后者为了获取更多的局部空间相关性,也会增大卷积核尺寸,进而导致计算代价增大,且现有的多尺度滤波器往往没有考虑近端特征间的上下文联系。
发明内容
发明目的:本申请的目的在于提供一种基于多尺度近端特征拼接的高光谱图像分类模型的装置,解决高光谱图像分类精度低,训练代价大,分类效率低的缺陷。
技术方案:本发明一方面提供了一种基于多尺度近端特征拼接的高光谱图像分类模型的装置,装置包括基于多尺度近端特征拼接的高光谱图像分类模型,模型包括多尺度近端特征拼接模块和分类模块,输入的原始空谱特征图经过依次经过多尺度近端特征拼接模块和分类模块后得到分类结果;其中,多尺度近端特征拼接模块包括多个串接的多尺度近端特征拼接单元;
多尺度近端特征拼接单元包括第一特征提取支路、第二特征提取支路、输入特征传递支路、特征拼接层和平均池化层;第一特征提取支路与第二特征提取支路并联后与特征拼接层及平均池化层依次串接;
第一特征提取支路包括串接的第一空洞卷积层和第二空洞卷积层;第二特征提取支路包括第三空洞卷积层;输入特征传递支路为一条将原始空谱特征图传输至特征拼接层的超链接。
进一步地,第一空洞卷积层、第二空洞卷积层和第三空洞卷册层的卷积核设置为32,3*3;其中,第一空洞卷积层的空洞率为1,得到的特征图相对于原始空谱特征图的感受野为3;第二空洞卷积层的空洞率为2,得到的特征图相对于原始空谱特征图的感受野为7;第三空洞卷积层的空洞率为2,得到的特征图相对于原始空谱特征图的感受野为5。
进一步地,分类模块包括Flatten层、全局平均池化层和softmax函数,多尺度近端特征拼接模块的输出特征图由Flatten层压缩至一维,而后传递给全局平均池化层来融合所学到的光谱特征,最后利用softmax函数进行目标分类。
进一步地,softmax函数的单元数量为类别总数。
本申请另一方面公开了一种利用上述装置中的模型进行高光谱图像分类的方法,包括:
(1)对采集的高光谱图像进行归一化处理;
(2)采用PCA算法对归一化后的高光谱图像进行降维,提取包含信息量最多的前三个光谱波段作为降维后的高光谱图像;
(3)针对降维后的高光谱图像,提取以待分类像元以及以其为中心的预设数量的邻域像素作为原始空谱特征,得到标记样本集并统计出标记样本的总数;
(4)从标记样本集中随机选取预设比例的标记样本作为训练集;
(5)训练模型:基于训练集利用训练算法训练待训练模型得到训练好的分类模型;
(6)利用训练好的分类模型对待测目标高光谱图像进行类别预测,得到分类结果。
进一步地,训练算法采用mini-batch训练法,将训练集中的样本批量输入至待训练模型中,以标注的类别为指导信息,利用梯度下降算法对网络参数进行训练,直至模型训练精度收敛。
本申请还公开了一种计算机可读存储介质,介质中包括计算机可执行指令,指令被执行时用于实现上述分类方法。
有益效果:与现有技术相比,本申请的装置和分类方法提出通过拼接相邻特征图引入相邻近端特征上下文信息,进而丰富所提取到的光谱判别信息,提升分类精度,构建了一种多层级多尺度滤波器进一步利用各特征图的空间多样性与特征相关性,从而获得更加细致全面的高光谱图像特征表达;将空洞卷积引入整体模型,维持了较低的训练参数,更好的应对高光谱图像的‘小样本’问题。
附图说明
图1为本申请装置中的分类模型结构示意图;
图2为多尺度近端特征拼接单元结构图;
图3为本申请的高光谱图像分类方法流程图;
图4为Indian Pines数据集真实地物图与各类样本总数统计图;
图5为利用本申请装置和方法得到的Indian Pines分类结果图。
具体实施方式
下面结合附图和实施例对本发明做进一步描述:
本发明一方面提供了一种基于多尺度近端特征拼接的高光谱图像分类模型的装置,装置包括基于多尺度近端特征拼接的高光谱图像分类模型,如图1所示该模型包括多尺度近端特征拼接模块101和分类模块102,输入的原始空谱特征图经过依次经过多尺度近端特征拼接模块和分类模块后得到分类结果;其中,多尺度近端特征拼接模块包括多个串接的多尺度近端特征拼接单元,通过拼接相邻特征图引入相邻近端特征上下文信息,进而丰富所提取到的光谱判别信息,提升分类精度。
如图2所示,多尺度近端特征拼接单元包括第一特征提取支路、第二特征提取支路、输入特征传递支路、特征拼接层和平均池化层;第一特征提取支路与第二特征提取支路及输入特征传递支路并联后与特征拼接层及平均池化层依次串接。第一特征提取支路包括串接的第一空洞卷积层和第二空洞卷积层;第二特征提取支路包括第三空洞卷积层;输入特征传递支路为一条超链接,用于将输入的原始空谱特征图传输至特征拼接层。输入的原始空谱特征输入模型后,分别传递给第一空洞卷积层和第三空洞卷积层,第二空洞卷积层负责提取第一空洞卷积层传递来的特征图,最后,分别将由第一、二、三空洞卷积处理后得到的特征图与输入原始空谱特征图拼接在一起,传递给平均池化层。利用各特征图的空间多样性与特征相关性,从而获得更加细致全面的高光谱图像特征表达。具体地,第一空洞卷积层、第二空洞卷积层和第三空洞卷册层的卷积核设置为32,3*3;其中,每个空洞卷积均配置了批量归一化层(BN层)与ReLU激活函数。第一空洞卷积层的空洞率为1,得到的特征图相对于原始空谱特征图的感受野为3;第二空洞卷积层的空洞率为2,得到的特征图相对于原始空谱特征图的感受野为7;第三空洞卷积层的空洞率为2,得到的特征图相对于原始空谱特征图的感受野为5。将空洞卷积引入整体模型,维持了较低的训练参数,更好的应对高光谱图像的‘小样本’问题。
分类模块包括Flatten层、全局平均池化层和softmax函数,多尺度近端特征拼接模块的输出特征图由Flatten层压缩至一维,而后传递给全局平均池化层来融合所学到的光谱特征,最后利用softmax函数进行目标分类。softmax函数的单元数量为类别总数。
本申请另一方面公开了一种利用上述装置中的模型进行高光谱图像分类的方法,如图3所示,包括:
301对采集的高光谱图像进行归一化处理;具体地,通过以下公式进行归一化处理:
其中,xij为原始高光谱图像输入数据,xmax和xmin分别为原始高光谱图像输入数据中的最大值和最小值,x′ij为归一化后的结果。
302采用PCA算法对归一化后的高光谱图像进行降维,提取包含信息量最多的前三个光谱波段作为降维后的高光谱图像。
303针对降维后的高光谱图像,提取以待分类像元以及以其为中心的预设数量的邻域像素作为原始空谱特征,得到标记样本集并统计出标记样本的总数。本实施例中,提取以待分类像元以及以其为中心的26的邻域像素(共计27个像素向量)作为原始空谱特征,其尺寸为(n,27,27,3),n表示标记样本的总个数, 3为PCA降维后的光谱段数。
304从标记样本集中随机选取预设比例的标记样本作为训练集。具体地,训练集的预设比例不超过10%。
305训练模型:基于训练集利用训练算法训练待训练模型得到训练好的分类模型。具体地,训练算法采用mini-batch训练法,将训练集中的样本批量输入至待训练模型中,以标注的类别为指导信息,利用梯度下降算法对网络参数进行训练,直至模型训练精度收敛。将每次训练样本数量设置为32,训练过程遍历整个训练集一次称为一轮训练,整个训练过程共计200轮,学习率设置为0.01,训练精度收敛至1则可获得训练好的模型。
306利用训练好的分类模型对待测目标高光谱图像进行类别预测,得到分类结果。
本申请还公开了一种计算机可读存储介质,介质中包括计算机可执行指令,指令被执行时用于实现上述分类方法。
仿真实验:
1.实验设置:
为了说明基于多尺度近端特征拼接网络的高光谱图像分类方法的有效性,设计参数实验来进行验证。验证结果均基于python语言与keras深度学习框架下,随机选取10%的训练样本实施的。高光谱图像采用由AVIRIS传感器获取的在印第安纳州西北部的印第安松树试验场上空收集的,它在空间域上是由145X145像素构成,而在光谱域上则是由224个光谱反射率波段组成,其波长范围在0.4到 2.45μm之间。这幅图像中,可用的地面真相为16个类。实验中去掉20个吸水带,最终图像大小为145*145*200。具体样本总数如图4所示。在训练过程中将每次训练样本数量设置为32,训练过程遍历整个训练集一次称为一轮训练,整个训练过程共计200轮,学习率设置为0.01,训练精度收敛至1则可获得训练好的模型。
2.实验结果分析:
如图5所示,利用本发明的基于多尺度近端特征拼接的高光谱图像分类模型的装置所获得的IP地物分类灰度图具有极好的视觉效果,分类结果的边缘细节信息表现力强,各类别中几乎没有噪音,非常贴近图4中的真实地物灰度图。由此可见,本申请的装置中的模型引入多尺度近端特征拼接网络在空谱特征信息提取上加入了相邻近端特征上下文信息,提升了整体所提取特征信息的丰富度,优化了特征信息细节表达。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (7)
1.一种基于多尺度近端特征拼接的高光谱图像分类模型的装置,其特征在于,所述装置包括基于多尺度近端特征拼接的高光谱图像分类模型,所述模型包括多尺度近端特征拼接模块和分类模块,输入的原始空谱特征图经过依次经过所述多尺度近端特征拼接模块和所述分类模块后得到分类结果;其中,所述多尺度近端特征拼接模块包括多个串接的多尺度近端特征拼接单元;
所述多尺度近端特征拼接单元包括第一特征提取支路、第二特征提取支路、输入特征传递支路、特征拼接层和平均池化层;所述第一特征提取支路与所述第二特征提取支路及输入特征传递支路并联后与所述特征拼接层及所述平均池化层依次串接;
所述第一特征提取支路包括串接的第一空洞卷积层和第二空洞卷积层;所述第二特征提取支路包括第三空洞卷积层;所述输入特征传递支路为一条将所述原始空谱特征图传输至所述特征拼接层的超链接。
2.根据权利要求1所述的装置,其特征在于,所述第一空洞卷积层、第二空洞卷积层和第三空洞卷册层的卷积核设置为32,3*3;其中,所述第一空洞卷积层的空洞率为1,得到的特征图相对于原始空谱特征图的感受野为3;所述第二空洞卷积层的空洞率为2,得到的特征图相对于原始空谱特征图的感受野为7;所述第三空洞卷积层的空洞率为2,得到的特征图相对于原始空谱特征图的感受野为5。
3.根据权利要求1所述的装置,其特征在于,所述分类模块包括Flatten层、全局平均池化层和softmax函数,所述多尺度近端特征拼接模块的输出特征图由所述Flatten层压缩至一维,而后传递给全局平均池化层来融合所学到的光谱特征,最后利用softmax函数进行目标分类。
4.根据权利要求3所述的装置,其特征在于,所述softmax函数的单元数量为类别总数。
5.一种利用权利要求1~4中任一项所述的装置中的模型进行高光谱图像分类的方法,其特征在于,包括:
(1)对采集的高光谱图像进行归一化处理;
(2)采用PCA算法对归一化后的高光谱图像进行降维,提取包含信息量最多的前三个光谱波段作为降维后的高光谱图像;
(3)针对降维后的高光谱图像,提取以待分类像元以及以其为中心的预设数量的邻域像素作为原始空谱特征,得到标记样本集并统计出标记样本的总数;
(4)从所述标记样本集中随机选取预设比例的标记样本作为训练集;
(5)训练模型:基于所述训练集利用训练算法训练待训练模型得到训练好的分类模型;
(6)利用训练好的分类模型对待测目标高光谱图像进行类别预测,得到分类结果。
6.根据权利要求5所述的方法,其特征在于,所述训练算法采用mini-batch训练法,将训练集中的样本批量输入至待训练模型中,以标注的类别为指导信息,利用梯度下降算法对网络参数进行训练,直至模型训练精度收敛。
7.一种计算机可读存储介质,其特征在于,所述介质中包括计算机可执行指令,所述指令被执行时用于实现权利要求5或6所述的分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010816542.1A CN112052881B (zh) | 2020-08-14 | 2020-08-14 | 基于多尺度近端特征拼接的高光谱图像分类模型的装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010816542.1A CN112052881B (zh) | 2020-08-14 | 2020-08-14 | 基于多尺度近端特征拼接的高光谱图像分类模型的装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112052881A CN112052881A (zh) | 2020-12-08 |
CN112052881B true CN112052881B (zh) | 2022-07-29 |
Family
ID=73599033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010816542.1A Active CN112052881B (zh) | 2020-08-14 | 2020-08-14 | 基于多尺度近端特征拼接的高光谱图像分类模型的装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112052881B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822209B (zh) * | 2021-09-27 | 2023-11-14 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035251A (zh) * | 2018-06-06 | 2018-12-18 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180034853A (ko) * | 2016-09-28 | 2018-04-05 | 에스케이하이닉스 주식회사 | 합성곱 신경망의 연산 장치 및 방법 |
-
2020
- 2020-08-14 CN CN202010816542.1A patent/CN112052881B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035251A (zh) * | 2018-06-06 | 2018-12-18 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112052881A (zh) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111914907B (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
CN111414942B (zh) | 一种基于主动学习和卷积神经网络的遥感图像分类方法 | |
CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
Mathur et al. | Crosspooled FishNet: transfer learning based fish species classification model | |
CN107016405A (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
CN108171136A (zh) | 一种多任务卡口车辆以图搜图的系统及方法 | |
CN107451614A (zh) | 基于空间坐标与空谱特征融合的高光谱分类方法 | |
CN110276248B (zh) | 一种基于样本权值分配和深度学习的人脸表情识别方法 | |
CN109657551B (zh) | 一种基于上下文信息增强的人脸检测方法 | |
CN110765954A (zh) | 一种车辆重识别方法、设备及存储装置 | |
CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
CN109472733A (zh) | 基于卷积神经网络的图像隐写分析方法 | |
CN111914916B (zh) | 基于双路卷积融合神经网络的高光谱图像分类模型及方法 | |
CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
CN108154183A (zh) | 一种基于局部和深度特征集合的目标分类方法 | |
CN116012653A (zh) | 一种注意力残差单元神经网络高光谱图像分类方法及系统 | |
CN111639697A (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN113177528B (zh) | 基于多任务学习策略训练网络模型的车牌识别方法及系统 | |
CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
CN112052881B (zh) | 基于多尺度近端特征拼接的高光谱图像分类模型的装置 | |
Li et al. | Incremental learning of infrared vehicle detection method based on SSD | |
Nag et al. | CNN based approach for post disaster damage assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |