CN114972864A - 一种基于混洗特征增强的高光谱和激光雷达融合分类方法 - Google Patents

一种基于混洗特征增强的高光谱和激光雷达融合分类方法 Download PDF

Info

Publication number
CN114972864A
CN114972864A CN202210577495.9A CN202210577495A CN114972864A CN 114972864 A CN114972864 A CN 114972864A CN 202210577495 A CN202210577495 A CN 202210577495A CN 114972864 A CN114972864 A CN 114972864A
Authority
CN
China
Prior art keywords
hyperspectral
features
laser radar
enhancement
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577495.9A
Other languages
English (en)
Inventor
邓鑫洋
沈欣欣
蒋雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210577495.9A priority Critical patent/CN114972864A/zh
Publication of CN114972864A publication Critical patent/CN114972864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种基于混洗特征增强的高光谱和激光雷达融合分类方法，包括以下步骤：步骤一获取高光谱图像和激光雷达图像数据集并进行预处理；步骤二构建自特征提取模块，提取高光谱与激光雷达数据的自特征；步骤三构建混洗特征增强模块A；步骤四构建混洗特征增强模块B，实现高光谱与激光雷达特征的互补增强；步骤五构建跨层、跨模态的跳跃连接模块；步骤六构建混洗特征融合模块；步骤七构建交叉融合模块，采用损失函数优化得到训练完备的网络；步骤八采用训练好的模型预测测试集数据，得到分类结果。本发明提出了混洗特征增强与融合方法，缩小了异构数据特征的语义差异对协同分类的影响，充分利用了异构数据的互补性，提升了高光谱和激光雷达协同分类的精度。

Description

一种基于混洗特征增强的高光谱和激光雷达融合分类方法
技术领域
本发明属于遥感图像智能解译领域，具体涉及一种基于混洗特征增强的高光谱和激光雷达融合分类方法。
背景技术
随着遥感成像技术的发展，不同类型的传感器数据可以更容易地获取。高光谱数据有精细的光谱分辨率，在区分不同材料的地物具有很大的潜力，但是具有光谱混叠现象，严重影响了复杂场景的地物分类精度。激光雷达数据提供了场景的高程信息，可以区分相同光谱，不同高度的地物。在复杂场景下，单一传感器获得的数据不可避免地会遇到分类瓶颈，因此，如何充分利用高光谱和激光雷达数据信息的互补性，研究相关的信息协同处理技术，以提高分类的精确性和可靠性，具有重要价值。
高光谱与激光雷达融合分类根据层次划分有三种：像素级的融合分类，特征级的融合分类和决策级的融合分类，其中，特征级融合的计算量小，且经过特征提取后的分类结果准确率高，因此特征级融合一度成为研究的热门。特征级融合策略一般可分为三种：早期融合，中期融合以及晚期融合。尽管这些基于级联的融合方式在特征表示方面取得了令人满意的性能，但是其融合异构数据的能力仍然有限。
因此，本申请基于混洗特征增强，逐步减小异构数据特征空间的语义差异，一方面可以更充分地利用异构数据的互补性，另一方面又可以更紧凑地实现异构数据的特征融合及分类。
发明内容
针对上述技术问题，本发明提供一种基于混洗特征增强的高光谱和激光雷达融合分类方法，该方法解决了异构数据特征融合时语义差异大的问题，充分利用了异构数据的互补性，缩小了异构数据特征的语义差异，提高了多源数据协同分类的精度。
本发明采用的技术方法是：一种基于混洗特征增强的高光谱和激光雷达融合分类方法，其特征在于，包括以下步骤：
步骤一、获取高光谱图像和激光雷达图像数据集并进行预处理；
步骤101：获取覆盖相同地理区域的高光谱图像
Figure BDA0003660899160000021
和激光雷达图像
Figure BDA0003660899160000022
其中，C1为高光谱图像的通道数，A1×B1为高光谱图像的像素数，A2×B2为激光雷达图像的像素数；
步骤102：将步骤101中得到的高光谱与激光雷达图像进行配准、裁剪、标注的预处理操作，得到像素点数为N的高光谱图像
Figure BDA0003660899160000023
激光雷达图像
Figure BDA0003660899160000024
以及标签
Figure BDA0003660899160000025
其中，N＝a×b；
步骤103：将步骤102得到的高光谱与激光雷达数据划分为训练集、测试集；
步骤二、构建自特征提取模块，提取高光谱与激光雷达数据的自特征；
步骤201：高光谱的自特征提取模块包括三个卷积块：Conv1_H,Conv2_H,Conv3_H,激光雷达的自提取模块包括三个卷积块：Conv1_L,Conv2_L,Conv3_L；
步骤202：将高光谱与激光雷达数据输入步骤201中构建的自特征提取模块，得到高光谱数据的自特征
Figure BDA0003660899160000026
与激光雷达自特征
Figure BDA0003660899160000027
步骤三、构建混洗特征增强模块A；
步骤301：将高光谱自特征
Figure BDA0003660899160000031
与激光雷达自特征
Figure BDA0003660899160000032
沿通道方向分为G组，得到G个子特征：
Figure BDA0003660899160000033
与
Figure BDA0003660899160000034
将子特征
Figure BDA0003660899160000035
与
Figure BDA0003660899160000036
分割，得到维度为
Figure BDA0003660899160000037
的分割子特征：
Figure BDA0003660899160000038
步骤302：根据
Figure BDA0003660899160000039
提取高光谱分割子特征
Figure BDA00036608991600000310
的通道掩膜，其中GAP为全局平均池化函数，
Figure BDA00036608991600000311
为待优化的维度为
Figure BDA00036608991600000312
的参数，σ为sigmoid函数。根据
Figure BDA00036608991600000313
提取激光雷达分割子特征
Figure BDA00036608991600000314
的空间掩膜，其中，GN为组归一化函数，
Figure BDA00036608991600000315
Figure BDA00036608991600000316
为待优化的维度为
Figure BDA00036608991600000317
的参数；
步骤303：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱空间增强特征：
Figure BDA00036608991600000318
高光谱通道增强特征
Figure BDA00036608991600000319
激光雷达通道增强特征
Figure BDA00036608991600000320
激光雷达空间增强特征
Figure BDA00036608991600000321
所述增强方式如下：
Figure BDA00036608991600000322
Figure BDA00036608991600000323
步骤304：拼接步骤303中得到的分割子特征，得到增强后的子特征：
Figure BDA00036608991600000324
步骤305：将高光谱与激光雷达互补增强后的G个子特征
Figure BDA00036608991600000325
分别进行通道混洗操作，得到混洗特征增强模块A增强后的高光谱与激光雷达特征XH(L)-A，XL(H)-A，所述通道混洗操作为：将特征图
Figure BDA00036608991600000326
与
Figure BDA00036608991600000327
的维度由
Figure BDA00036608991600000328
转置为
Figure BDA00036608991600000329
改组特征得到维度为
Figure BDA00036608991600000330
的：XH(L)-A，XL(H)-A；
步骤四、构建混洗特征增强模块B，实现高光谱与激光雷达特征的互补增强；
步骤401：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱通道增强特征
Figure BDA0003660899160000041
高光谱空间增强特征：
Figure BDA0003660899160000042
激光雷达空间增强特征
Figure BDA0003660899160000043
激光雷达空间增强特征
Figure BDA0003660899160000044
所述增强方式如下：
Figure BDA0003660899160000045
Figure BDA0003660899160000046
步骤402：拼接步骤401得到的分割子特征，得到增强后的子特征：
Figure BDA0003660899160000047
步骤403：将高光谱与激光雷达的G个子特征
Figure BDA0003660899160000048
分别进行通道混洗操作，得到混洗特征增强模块B增强后的高光谱与激光雷达特征XH(L)-B，XL(H)-B；
步骤404：将步骤305及步骤403得到的混洗特征增强模块A,B增强后的高光谱与激光雷达特征，完成浅层特征增强：XH(L)＝[XH(L)-A,XH(L)-B]，XL(H)＝[XL(H)-A,XL(H)-B]；
步骤五、构建跨层、跨模态的跳跃连接模块；
步骤501：将XH(L)，XL(H)输入到两个参数共享的卷积块Conv4_HL,Conv5_HL，通过交互式更新参数的方式，使得高光谱与激光雷达信息充分交流，得到卷积块Conv4_HL的输出特征：
Figure BDA0003660899160000049
Conv5_HL的输出特征：
Figure BDA00036608991600000410
Figure BDA00036608991600000411
步骤502：将步骤501得到的高光谱与激光雷达特征分别进行跨层拼接得到：
Figure BDA00036608991600000412
跨模态、跨层的特征拼接得到：
Figure BDA00036608991600000413
步骤六、构建混洗特征融合模块；
步骤601：将高光谱特征XHH与激光雷达特征XLL沿通道方向分为G组，得到G个子特征：
Figure BDA0003660899160000051
与
Figure BDA0003660899160000052
步骤602：根据
Figure BDA0003660899160000053
提取高光谱特征
Figure BDA0003660899160000054
的通道掩膜，其中，WHH，bHH为待优化的维度为
Figure BDA0003660899160000055
的参数，根据
Figure BDA0003660899160000056
提取激光雷达特征XLL的空间掩膜，其中，WLL，bLL为待优化的维度为
Figure BDA0003660899160000057
的参数；
步骤603：将步骤602中得到的通道、空间掩膜，用于增强高光谱与激光雷达子特征，得到高光谱空间增强子特征：
Figure BDA0003660899160000058
激光雷达通道增强子特征
Figure BDA0003660899160000059
所述特征增强方式如下：
Figure BDA00036608991600000510
步骤604：采用特征相加的方式，融合高光谱与激光雷达互增强后的子特征，得到：
Figure BDA00036608991600000511
将所有融合后的子特征拼接，得到：
Figure BDA00036608991600000512
通过通道混洗，加强融合特征通道之间的通信，促进融合，得到混洗特征融合后特征
Figure BDA00036608991600000513
步骤七、构建交叉融合模块，采用损失函数优化得到训练完备的网络；
步骤701：采用两个共享参数的卷积块Conv6_HL,Conv7_HL，进一步通过交互式更新参数的方式，得到融合特征
Figure BDA00036608991600000514
的可分类的特征后，经过两层共享参数的全连接层FC1,FC2，完成分类，得到：yHL-1，yHL-2，yHL-3；
步骤702：输入训练集数据，根据训练集的预测值与训练集标签，调节网络参数，优化损失函数Loss，得到训练完备的混洗特征互补增强的高光谱和激光雷达分类网络，所述损失函数的计算方式为：Loss＝L1+L2+L3，其中，L1，L2为预测值yHL-3与yHL-1，yHL-2之间的平方损失函数：
Figure BDA0003660899160000061
Figure BDA0003660899160000062
L1为预测值yHL-3与真实标签Y的交叉熵损失：
Figure BDA0003660899160000063
步骤八、采用训练好的模型预测测试集数据，得到分类结果。
本发明与现有技术相比具有以下有益效果：
1、本发明的步骤简单、设计合理，实现及使用操作方便。
2、本发明采用混洗特征增强模块1与混洗特征增强模块2处理浅层的高光谱及激光雷达特征，实现了单模态各自特征的增强，以及异构特征的互补增强，通过通道混洗的操作，加强了通道之间的通信，能够有效缩小异构特征之间的语义差异，进而有助于数据的融合及分类；
3、本发明通过将中层次特征跨层以及跨模态拼接，输入共享参数的交叉融合基线网络，能够使得不同层的信息得到充分利用，跨模态的参数共享使得网络交互式更新参数，促进特征融合；
4、本发明提出了混洗特征融合，通过将高光谱以及激光雷达的特征分组，特征互补增强后融合，对融合后的子特征进行通道混洗操作，有效促进了高层特征的融合，进而提升分类精度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图
图2为本发明中混洗特征增强模块A示意图
图3为本发明中混洗特征增强模块B示意图
图4为本发明中混洗特征融合模块示意图
具体实施方式
下面结合附图及本发明的实施例对本发明的方法做进一步的详细说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的属性可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是，这里所使用的术语仅仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
如图1所示，本发明包括以下步骤：
步骤一、获取高光谱图像和激光雷达图像数据集并进行预处理；
步骤101：获取覆盖相同地理区域的高光谱图像
Figure BDA0003660899160000081
和激光雷达图像
Figure BDA0003660899160000082
其中，C1为高光谱图像的通道数，A1×B1为高光谱图像的像素数，A2×B2为激光雷达图像的像素数；
步骤102：将步骤101中得到的高光谱与激光雷达图像进行配准、裁剪、标注的预处理操作，得到像素点数为N的高光谱图像
Figure BDA0003660899160000083
激光雷达图像
Figure BDA0003660899160000084
以及标签
Figure BDA0003660899160000085
其中，N＝a×b；
步骤103：将步骤102得到的高光谱与激光雷达数据划分为训练集、测试集；
步骤二、构建自特征提取模块，提取高光谱与激光雷达数据的自特征；
步骤201：高光谱的自特征提取模块包括三个卷积块：Conv1_H,Conv2_H,Conv3_H,激光雷达的自提取模块包括三个卷积块：Conv1_L,Conv2_L,Conv3_L；
步骤202：将高光谱与激光雷达数据输入步骤201中构建的自特征提取模块，得到高光谱数据的自特征
Figure BDA0003660899160000091
与激光雷达自特征
Figure BDA0003660899160000092
步骤三、构建混洗特征增强模块A；
步骤301：将高光谱自特征
Figure BDA0003660899160000093
与激光雷达自特征
Figure BDA0003660899160000094
沿通道方向分为G组，得到G个子特征：
Figure BDA0003660899160000095
与
Figure BDA0003660899160000096
将子特征
Figure BDA0003660899160000097
与
Figure BDA0003660899160000098
分割，得到维度为
Figure BDA0003660899160000099
的分割子特征：
Figure BDA00036608991600000910
步骤302：根据
Figure BDA00036608991600000911
提取高光谱分割子特征
Figure BDA00036608991600000912
的通道掩膜，其中GAP为全局平均池化函数，
Figure BDA00036608991600000913
为待优化的维度为
Figure BDA00036608991600000914
的参数，σ为sigmoid函数。根据
Figure BDA00036608991600000915
提取激光雷达分割子特征
Figure BDA00036608991600000916
的空间掩膜，其中，GN为组归一化函数，
Figure BDA00036608991600000917
Figure BDA00036608991600000918
为待优化的维度为
Figure BDA00036608991600000919
的参数；
步骤303：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱空间增强特征：
Figure BDA00036608991600000920
高光谱通道增强特征
Figure BDA00036608991600000921
激光雷达通道增强特征
Figure BDA00036608991600000922
激光雷达空间增强特征
Figure BDA00036608991600000923
所述增强方式如下：
Figure BDA00036608991600000924
Figure BDA00036608991600000925
步骤304：拼接步骤303中得到的分割子特征，得到增强后的子特征：
Figure BDA00036608991600000926
步骤305：将高光谱与激光雷达互补增强后的G个子特征
Figure BDA00036608991600000927
分别进行通道混洗操作，得到混洗特征增强模块A增强后的高光谱与激光雷达特征XH(L)-A，XL(H)-A，所述通道混洗操作为：将特征图
Figure BDA0003660899160000101
与
Figure BDA0003660899160000102
的维度由
Figure BDA0003660899160000103
转置为
Figure BDA0003660899160000104
改组特征得到维度为
Figure BDA0003660899160000105
的：XH(L)-A，XL(H)-A；
步骤四、构建混洗特征增强模块B，实现高光谱与激光雷达特征的互补增强；
步骤401：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱通道增强特征
Figure BDA0003660899160000106
高光谱空间增强特征：
Figure BDA0003660899160000107
激光雷达空间增强特征
Figure BDA0003660899160000108
激光雷达空间增强特征
Figure BDA0003660899160000109
所述增强方式如下：
Figure BDA00036608991600001010
Figure BDA00036608991600001011
步骤402：拼接步骤401得到的分割子特征，得到增强后的子特征：
Figure BDA00036608991600001012
步骤403：将高光谱与激光雷达的G个子特征
Figure BDA00036608991600001013
分别进行通道混洗操作，得到混洗特征增强模块B增强后的高光谱与激光雷达特征XH(L)-B，XL(H)-B；
步骤404：将步骤305及步骤403得到的混洗特征增强模块A,B增强后的高光谱与激光雷达特征，完成浅层特征增强：XH(L)＝[XH(L)-A,XH(L)-B]，XL(H)＝[XL(H)-A,XL(H)-B]；
步骤五、构建跨层、跨模态的跳跃连接模块；
步骤501：将XH(L)，XL(H)输入到两个参数共享的卷积块Conv4_HL,Conv5_HL，通过交互式更新参数的方式，使得高光谱与激光雷达信息充分交流，得到卷积块Conv4_HL的输出特征：
Figure BDA00036608991600001014
Conv5_HL的输出特征：
Figure BDA00036608991600001015
Figure BDA0003660899160000111
步骤502：将步骤501得到的高光谱与激光雷达特征分别进行跨层拼接得到：
Figure BDA0003660899160000112
跨模态、跨层的特征拼接得到：
Figure BDA0003660899160000113
步骤六、构建混洗特征融合模块；
步骤601：将高光谱特征XHH与激光雷达特征XLL沿通道方向分为G组，得到G个子特征：
Figure BDA0003660899160000114
与
Figure BDA0003660899160000115
步骤602：根据
Figure BDA0003660899160000116
提取高光谱特征
Figure BDA0003660899160000117
的通道掩膜，其中，WHH，bHH为待优化的维度为
Figure BDA0003660899160000118
的参数，根据
Figure BDA0003660899160000119
提取激光雷达特征XLL的空间掩膜，其中，WLL，bLL为待优化的维度为
Figure BDA00036608991600001110
的参数；
步骤603：将步骤602中得到的通道、空间掩膜，用于增强高光谱与激光雷达子特征，得到高光谱空间增强子特征：
Figure BDA00036608991600001111
激光雷达通道增强子特征
Figure BDA00036608991600001112
所述特征增强方式如下：
Figure BDA00036608991600001113
步骤604：采用特征相加的方式，融合高光谱与激光雷达互增强后的子特征，得到：
Figure BDA00036608991600001114
将所有融合后的子特征拼接，得到：
Figure BDA00036608991600001115
通过通道混洗，加强融合特征通道之间的通信，促进融合，得到混洗特征融合后特征
Figure BDA00036608991600001116
步骤七、构建交叉融合模块，采用损失函数优化得到训练完备的网络；
步骤701：采用两个共享参数的卷积块Conv6_HL,Conv7_HL，进一步通过交互式更新参数的方式，得到融合特征
Figure BDA0003660899160000121
的可分类的特征后，经过两层共享参数的全连接层FC1,FC2，完成分类，得到：yHL-1，yHL-2，yHL-3；
步骤702：输入训练集数据，根据训练集的预测值与训练集标签，调节网络参数，优化损失函数Loss，得到训练完备的混洗特征互补增强的高光谱和激光雷达分类网络，所述损失函数的计算方式为：Loss＝L1+L2+L3，其中，L1，L2为预测值yHL-3与yHL-1，yHL-2之间的平方损失函数：
Figure BDA0003660899160000122
Figure BDA0003660899160000123
L1为预测值yHL-3与真实标签Y的交叉熵损失：
Figure BDA0003660899160000124
步骤八、采用训练好的模型预测测试集数据，得到分类结果。
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (1)

1.一种基于混洗特征增强的高光谱和激光雷达融合分类方法，其特征在于，包括以下步骤：
步骤一、获取高光谱图像和激光雷达图像数据集并进行预处理；
步骤101：获取覆盖相同地理区域的高光谱图像
Figure FDA0003660899150000011
和激光雷达图像
Figure FDA0003660899150000012
其中，C1为高光谱图像的通道数，A1×B1为高光谱图像的像素数，A2×B2为激光雷达图像的像素数；
步骤102：将步骤101中得到的高光谱与激光雷达图像进行配准、裁剪、标注的预处理操作，得到像素点数为N的高光谱图像
Figure FDA0003660899150000013
激光雷达图像
Figure FDA0003660899150000014
以及标签
Figure FDA0003660899150000015
其中，N＝a×b；
步骤103：将步骤102得到的高光谱与激光雷达数据划分为训练集、测试集；
步骤二、构建自特征提取模块，提取高光谱与激光雷达数据的自特征；
步骤201：高光谱的自特征提取模块包括三个卷积块：Conv1_H,Conv2_H,Conv3_H,激光雷达的自提取模块包括三个卷积块：Conv1_L,Conv2_L,Conv3_L；
步骤202：将高光谱与激光雷达数据输入步骤201中构建的自特征提取模块，得到高光谱数据的自特征
Figure FDA0003660899150000016
与激光雷达自特征
Figure FDA0003660899150000017
步骤三、构建混洗特征增强模块A；
步骤301：将高光谱自特征
Figure FDA0003660899150000018
与激光雷达自特征
Figure FDA0003660899150000019
沿通道方向分为G组，得到G个子特征：
Figure FDA00036608991500000110
与
Figure FDA00036608991500000111
将子特征
Figure FDA00036608991500000112
与
Figure FDA00036608991500000113
分割，得到维度为
Figure FDA00036608991500000114
的分割子特征：
Figure FDA00036608991500000115
Figure FDA0003660899150000021
步骤302：根据
Figure FDA0003660899150000022
提取高光谱分割子特征
Figure FDA0003660899150000023
Figure FDA0003660899150000024
的通道掩膜，其中GAP为全局平均池化函数，Wr H，
Figure FDA0003660899150000025
为待优化的维度为
Figure FDA0003660899150000026
的参数，σ为sigmoid函数。根据
Figure FDA0003660899150000027
s＝1,2，提取激光雷达分割子特征
Figure FDA0003660899150000028
的空间掩膜，其中，GN为组归一化函数，Ws L，
Figure FDA0003660899150000029
为待优化的维度为
Figure FDA00036608991500000210
的参数；
步骤303：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱空间增强特征：
Figure FDA00036608991500000211
高光谱通道增强特征
Figure FDA00036608991500000212
激光雷达通道增强特征
Figure FDA00036608991500000213
激光雷达空间增强特征
Figure FDA00036608991500000214
所述增强方式如下：
Figure FDA00036608991500000215
步骤304：拼接步骤303中得到的分割子特征，得到增强后的子特征：
Figure FDA00036608991500000216
步骤305：将高光谱与激光雷达互补增强后的G个子特征
Figure FDA00036608991500000217
，分别进行通道混洗操作，得到混洗特征增强模块A增强后的高光谱与激光雷达特征XH(L)-A，XL(H)-A，所述通道混洗操作为：将特征图
Figure FDA00036608991500000218
与
Figure FDA00036608991500000219
的维度由
Figure FDA00036608991500000220
转置为
Figure FDA00036608991500000221
改组特征得到维度为
Figure FDA00036608991500000222
的：XH(L)-A，XL(H)-A；
步骤四、构建混洗特征增强模块B，实现高光谱与激光雷达特征的互补增强；
步骤401：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱通道增强特征
Figure FDA0003660899150000031
高光谱空间增强特征：
Figure FDA0003660899150000032
激光雷达空间增强特征
Figure FDA0003660899150000033
激光雷达空间增强特征
Figure FDA0003660899150000034
所述增强方式如下：
Figure FDA0003660899150000035
步骤402：拼接步骤401得到的分割子特征，得到增强后的子特征：
Figure FDA0003660899150000036
步骤403：将高光谱与激光雷达的G个子特征
Figure FDA0003660899150000037
分别进行通道混洗操作，得到混洗特征增强模块B增强后的高光谱与激光雷达特征XH(L)-B，XL(H)-B；
步骤404：将步骤305及步骤403得到的混洗特征增强模块A,B增强后的高光谱与激光雷达特征，完成浅层特征增强：XH(L)＝[XH(L)-A,XH(L)-B]，XL(H)＝[XL(H)-A,XL(H)-B]；
步骤五、构建跨层、跨模态的跳跃连接模块；
步骤501：将XH(L)，XL(H)输入到两个参数共享的卷积块Conv4_HL,Conv5_HL，通过交互式更新参数的方式，使得高光谱与激光雷达信息充分交流，得到卷积块Conv4_HL的输出特征：
Figure FDA0003660899150000038
Conv5_HL的输出特征：
Figure FDA0003660899150000039
步骤502：将步骤501得到的高光谱与激光雷达特征分别进行跨层拼接得到：
Figure FDA00036608991500000310
跨模态、跨层的特征拼接得到：
Figure FDA00036608991500000311
步骤六、构建混洗特征融合模块；
步骤601：将高光谱特征XHH与激光雷达特征XLL沿通道方向分为G组，得到G个子特征：
Figure FDA0003660899150000041
与
Figure FDA0003660899150000042
步骤602：根据
Figure FDA0003660899150000043
提取高光谱特征
Figure FDA0003660899150000044
的通道掩膜，其中，WHH，bHH为待优化的维度为
Figure FDA0003660899150000045
的参数，根据
Figure FDA0003660899150000046
提取激光雷达特征XLL的空间掩膜，其中，WLL，bLL为待优化的维度为
Figure FDA0003660899150000047
的参数；
步骤603：将步骤602中得到的通道、空间掩膜，用于增强高光谱与激光雷达子特征，得到高光谱空间增强子特征：
Figure FDA0003660899150000048
激光雷达通道增强子特征
Figure FDA0003660899150000049
所述特征增强方式如下：
Figure FDA00036608991500000410
步骤604：采用特征相加的方式，融合高光谱与激光雷达互增强后的子特征，得到：
Figure FDA00036608991500000411
将所有融合后的子特征拼接，得到：
Figure FDA00036608991500000412
通过通道混洗，加强融合特征通道之间的通信，促进融合，得到混洗特征融合后特征
Figure FDA00036608991500000413
步骤七、构建交叉融合模块，采用损失函数优化得到训练完备的网络；
步骤701：采用两个共享参数的卷积块Conv6_HL，进一步通过交互式更新参数的方式，得到融合特征
Figure FDA00036608991500000414
的可分类的特征后，经过两层共享参数的全连接层FC1,FC2，完成分类，得到：yHL-1，yHL-2，yHL-3；
步骤702：输入训练集数据，根据训练集的预测值与训练集标签，调节网络参数，优化损失函数Loss，得到训练完备的混洗特征互补增强的高光谱和激光雷达分类网络，所述损失函数的计算方式为：Loss＝L1+L2+L3，其中，L1，L2为预测值yHL-3与yHL-1，yHL-2之间的平方损失函数：
Figure FDA0003660899150000051
L1为预测值yHL-3与真实标签Y的交叉熵损失：
Figure FDA0003660899150000052
步骤八、采用训练好的模型预测测试集数据，得到分类结果。
CN202210577495.9A 2022-05-25 2022-05-25 一种基于混洗特征增强的高光谱和激光雷达融合分类方法 Pending CN114972864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577495.9A CN114972864A (zh) 2022-05-25 2022-05-25 一种基于混洗特征增强的高光谱和激光雷达融合分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577495.9A CN114972864A (zh) 2022-05-25 2022-05-25 一种基于混洗特征增强的高光谱和激光雷达融合分类方法

Publications (1)

Publication Number Publication Date
CN114972864A true CN114972864A (zh) 2022-08-30

Family

ID=82955181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577495.9A Pending CN114972864A (zh) 2022-05-25 2022-05-25 一种基于混洗特征增强的高光谱和激光雷达融合分类方法

Country Status (1)

Country Link
CN (1) CN114972864A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908852A (zh) * 2023-09-06 2023-10-20 中国人民解放军国防科技大学 一种雷达目标语义信息快速标注方法、系统及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908852A (zh) * 2023-09-06 2023-10-20 中国人民解放军国防科技大学 一种雷达目标语义信息快速标注方法、系统及装置
CN116908852B (zh) * 2023-09-06 2023-12-08 中国人民解放军国防科技大学 一种雷达目标语义信息快速标注方法、系统及装置

Similar Documents

Publication Publication Date Title
CN110298262B (zh) 物体识别方法及装置
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN114708585B (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN110569779B (zh) 基于行人局部和整体属性联合学习的行人属性识别方法
CN111625608B (zh) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN112154451A (zh) 提取图像中对象的代表性特征的方法、设备和计算机程序
CN112434745A (zh) 基于多源认知融合的遮挡目标检测识别方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN115082674A (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN112464766A (zh) 一种农田地头自动识别方法及系统
Meng et al. Investigation and evaluation of algorithms for unmanned aerial vehicle multispectral image registration
CN115457396B (zh) 一种基于遥感影像的地表目标地物检测方法
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN115049640B (zh) 一种基于深度学习的道路裂缝检测方法
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN115019043A (zh) 基于交叉注意力机制的图像点云融合三维目标检测方法
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN114972864A (zh) 一种基于混洗特征增强的高光谱和激光雷达融合分类方法
CN110793529A (zh) 一种快速匹配星图识别方法
Harbaš et al. Detection of roadside vegetation using Fully Convolutional Networks
CN112529828B (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN109101977A (zh) 一种基于无人机的数据处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication