CN117876890B - 一种基于多级特征融合的多源遥感图像分类方法 - Google Patents
一种基于多级特征融合的多源遥感图像分类方法 Download PDFInfo
- Publication number
- CN117876890B CN117876890B CN202410272406.9A CN202410272406A CN117876890B CN 117876890 B CN117876890 B CN 117876890B CN 202410272406 A CN202410272406 A CN 202410272406A CN 117876890 B CN117876890 B CN 117876890B
- Authority
- CN
- China
- Prior art keywords
- representing
- pixel
- features
- super
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 67
- 230000006870 function Effects 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001788 irregular Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000009849 deactivation Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 7
- 230000000295 complement effect Effects 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 235000019587 texture Nutrition 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多级特征融合的多源遥感图像分类方法，属于多源遥感图像分类技术领域，包括以下步骤：采集高光谱图像和激光雷达图像，生成多源遥感图像数据；对多源遥感图像数据进行特征提取，得到局部像素级特征；采用简单线性迭代聚类对高光谱图像和激光雷达图像进行超像素分割，得到超像素集合；对超像素集合进行特征提取，得到全局超像素级特征；将局部像素级特征和全局超像素级特征进行融合，得到融合输出特征，并通过融合输出特征进行多源遥感图像分类，得到多源遥感图像分类结果。本发明解决了现有多源遥感图像特征融合时存在异质图像特征提取困难、信息冗余、噪声干扰，不同源数据的兼容性低以及传感器和气候造成分布差异的问题。
Description
技术领域
本发明属于多源遥感图像分类技术领域，具体涉及一种基于多级特征融合的多源遥感图像分类方法。
背景技术
随着遥感技术的发展，光学、激光雷达和高光谱等大量不同卫星传感器对地观测的应用与日俱增，获得了大量的多源遥感数据，遥感信息的应用分析也已从单一遥感资料向多时相、多数据源的复合分析过渡，因此如何协同利用多源的遥感数据实现有效融合已逐渐成为当前研究热点。多源遥感数据融合指利用从同一地区获取的不同空间分辨率、不同时间分辨率或不同光谱分辨率的遥感数据，并根据其各自具有的不同数据特性，融合出能够综合多源数据互补特征的方法，对提高遥感数据利用效率和应用效果都具有重要的意义。
多源遥感数据包含丰富的互补信息，比如高光谱图像可以提供丰富的光谱信息，但通常空间分辨率不高，且易受云雨遮挡影响，导致难以精细刻画地物的分布情况；激光雷达图像可以提供地表物体高度和形状的高程信息，且不易受天气和云层遮挡的干扰。因此，协同利用高光谱数据与激光雷达数据中的互补信息可以降低某一信源数据噪声的影响，提供更强的地物解译能力和可靠的分类结果。考虑到不同特征能从多种角度描述多源遥感图像的特性，如何有效的利用多源数据的各自数据特点，融合局部/全局特征和多尺度特征以便更好地利用其互补性，是多源遥感融合技术亟需解决的核心问题。
多源遥感图像数据现有的分类方法，在面对数据分布差异、特征空间差异等问题时，刻画非线性高阶相关性信息的能力不足，难以对多种不同类型特征的互补性信息进行充分利用，导致信息冗余特征判别性不高。同时，现有的分类方法，难以有效兼顾多源数据间的局部信息与全局信息，导致其易受噪声影响，对复杂场景的泛化能力较差，从而无法提供令人满意的分类结果。
发明内容
本发明提供了一种基于多级特征融合的多源遥感图像分类方法，解决了现有多源遥感图像特征融合时存在异质图像特征提取困难、信息冗余、噪声干扰，不同源数据的兼容性低以及传感器和气候造成分布差异的问题。
为了解决上述技术问题，本发明的技术方案为：一种基于多级特征融合的多源遥感图像分类方法，包括以下步骤：
S1、采集高光谱图像和激光雷达图像，通过滑动窗口生成多源遥感图像数据；
S2、通过像素级特征提取模块对多源遥感图像数据进行特征提取，得到局部像素级特征；
S3、根据不同分割尺度，采用简单线性迭代聚类分别对高光谱图像和激光雷达图像进行超像素分割，得到不规则的超像素集合；
S4、通过超像素级特征提取模块对超像素集合进行特征提取，得到全局超像素级特征；
S5、通过多模门控特征融合模块将局部像素级特征和全局超像素级特征进行融合，得到融合输出特征，并通过融合输出特征进行多源遥感图像的分类，得到多源遥感图像分类结果。
进一步地，所述S1中的多源遥感图像数据包括高光谱图像生成指定像素给定邻域范围内的立方体和激光雷达图像生成的与高光谱图像在相同空间位置的图像矩形块。
进一步地，所述S2的具体步骤为：
S21、通过卷积层提取多源遥感图像数据的交叉通道特征；
S22、通过不同尺度的卷积核或池化操作对交叉通道特征进行多尺度局部空间提取，得到多尺度局部空间特征；
S23、通过轻量级神经网络学习得到一组权值系数，并通过权值系数赋予各个特征通道不同的权重；
S24、将多尺度局部空间特征通过不同权重的特征通道进行加权融合，得到加权后特征；
S25、通过通道注意力机制对交叉通道特征和加权后特征进行级联融合，得到局部像素级特征。
进一步地，所述S21中交叉通道特征的表达式为：
其中，表示第一交叉通道特征，表示LeakyReLU激活函数，表示平均池化操作，表示批归一化操作，表示输入数据，表示第一卷积核权重，表示卷积操作，表示偏置参数，表示第二交叉通道特征，表示第二卷积核权重，表示中间特征，表示第三交叉通道特征；
所述S22中多尺度局部空间特征的表达式为：
其中，表示多尺度局部空间特征，表示第个交叉通道特征，表示第个交叉通道特征的第个卷积或池化操作；
所述S24中加权后特征的表达式为：
其中，表示第个通道的加权后特征，表示第个通道上的权重，表示特征的通道个数；
所述S25中进行级联融合的表达式为：
其中，表示局部像素级特征，表示第1个通道的加权后特征，表示级联操作，表示通道注意函数。
进一步地，所述S2中像素级特征提取模块的结构相似度损失函数表达式为：
其中，表示像素级特征提取模块的结构相似度损失函数，表示中间函数，表示局部像素级特征的均值，表示输入数据的均值，和均表示常数参数，表示局部像素级特征与输入数据的协方差。
进一步地，所述S31中超像素集合的表达式为：
其中，表示超像素集合，表示分割尺度，表示分割尺度为的第1个超像素，表示分割尺度为的第2个超像素，表示分割尺度为的第个超像素。
进一步地，所述S4的具体步骤为：
S41、计算超像素集合中每个超像素的平均特征，并作为高光谱图像和激光雷达图像的超像素节点特征矩阵；
S42、将超像素集合中的每个超像素作为中心，生成边来连接中心超像素和在空间位置上的相邻超像素块，构建高光谱图像的空间关联矩阵；
S43、将每个超像素作为质心，使用k最近邻算法在特征空间中选择质心相邻邻域区域，构建激光雷达图像的高程空间特征关联矩阵；
S44、串联空间关联矩阵与高程空间特征关联矩阵，得到邻接矩阵；
S45、将邻接矩阵通过度矩阵进行计算，得到图拉普拉斯矩阵；
S46、通过多级残差图卷积子网对图拉普拉斯矩阵和超像素节点特征矩阵进行传播和聚合，得到得多源遥感数据的多级拓扑图特征；
S47、将多级拓扑图特征输入到多头分组注意融合子模块，得到全局超像素级特征。
进一步地，所述S41中超像素的平均特征的表达式为：
其中，表示第个超像素的平均特征，表示第个超像素中的像素个数，表示第个超像素在第个像素的特征；
所述S42中空间关联矩阵的表达式为：
其中，表示超像素与超像素的空间关联矩阵，表示指数函数，表示范数，表示相对于超像素的中心位置，表示相对于超像素的中心位置，表示第一超参数，表示第个超像素，表示第个超像素，表示超像素块是否相邻；
所述S43中高程空间特征关联矩阵的表达式为：
其中，表示超像素和超像素的高程空间特征关联矩阵，表示超像素的激光雷达图像的空间特征，表示超像素的激光雷达图像的空间特征，表示第二超参数，表示使用最近邻算法聚类后是否在其邻域区域内，表示第个超像素，表示第个超像素；
所述S45中图拉普拉斯矩阵的表达式为：
其中，表示图拉普拉斯矩阵，表示单位矩阵，表示度矩阵，表示串联和得到的邻接矩阵；
所述S46中多级拓扑图特征的表达式为：
其中，表示第层的输出特征，表示随机失活函数，表示LeakyReLU激活函数，表示第层的权重，表示第层偏置值，表示第层的输出特征，表示第层的权重，表示第层偏置值，表示多级拓扑图特征的第层；
所述S47中全局超像素级特征的表达式为：
其中，表示多头分组注意融合后的第层特征，表示Softmax激活函数，、和均表示内核权重，表示转置操作，表示矩阵的通道维度，表示多级拓扑图特征，表示全局超像素级特征，表示第1层特征，表示多头分组注意融合后的第2层特征，表示多头分组注意融合后的第层特征，表示级联操作。
进一步地，所述S5的具体步骤为：
S51、定义复位门和更新门；
S52、通过复位门和更新门对局部像素级特征和全局超像素级特征进行融合，得到融合输出特征；
S53、使用全连接层和Softmax分类器对融合输出特征进行分类，得到多源遥感图像分类结果。
进一步地，所述S51中复位门和更新门的计算公式为：
其中，表示复位门，表示更新门，表示sigmoid激活函数，表示局部像素级特征，表示全局超像素级特征，、、和均表示权重。
进一步地，所述S52中融合输出特征的表达式为：
其中，表示融合输出特征，表示LeakyReLU激活函数，表示批归一化操作，表示卷积操作，表示双曲正切激活函数，表示第次更新的权重，表示哈达玛积运算符。
本发明的有益效果是：（1）以多模态数据的融合特征学习为核心，基于多尺度像素级和超像素级特征融合进行多源遥感图像分类，解决了由云或雨等极端天气等原因造成的噪声影响；
（2）通过像素级特征提取模块，并行学习多尺度下不同源遥感图像的局部空间特征，充分利用了空间的局部光滑性信息，缓解局部低分辨率空间像素造成的负影响；
（3）通过超像素级特征提取模块，以超像素构图来提取多尺度的全局拓扑结构信息，同时引入多头分组注意融合模块实现不同分割尺度下的全局特征有效融合，提高不同源数据的兼容性，并且消除了不同源数据因传感器及气候造成的分布差异；
（4）通过多模门控特征融合模块，对不同尺度的全局和局部信息进行自适应融合，共同挖掘多源遥感数据的非线性高阶相关性信息，并利用其互补性信息消除冗余信息和降低数据噪声的影响，以获得更具可分性、鲁棒性和判别性的优质特征，从而提供更强的地物解译能力和可靠的识别结果。
附图说明
图1为本发明基于多级特征融合的多源遥感图像分类方法的流程图。
具体实施方式
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
实施例
如图1所示，本发明提供了一种基于多级特征融合的多源遥感图像分类方法，包括以下步骤：
S1、采集高光谱图像和激光雷达图像，通过滑动窗口生成多源遥感图像数据；
S2、通过像素级特征提取模块对多源遥感图像数据进行特征提取，得到局部像素级特征；
S3、根据不同分割尺度，采用简单线性迭代聚类分别对高光谱图像和激光雷达图像进行超像素分割，得到不规则的超像素集合；
S4、通过超像素级特征提取模块对超像素集合进行特征提取，得到全局超像素级特征；
S5、通过多模门控特征融合模块将局部像素级特征和全局超像素级特征进行融合，得到融合输出特征，并通过融合输出特征进行多源遥感图像的分类，得到多源遥感图像分类结果。
本实施例中，像素级特征提取模块、超像素级特征提取模块和多模门控特征融合模块共同组成了多源遥感图像分类模型，其中，像素级特征提取模块与超像素级特征提取模块分别与多模门控特征融合模块连接。
所述S1中的多源遥感图像数据包括高光谱图像生成指定像素给定邻域范围内的立方体和激光雷达图像生成的与高光谱图像在相同空间位置的图像矩形块。
所述S2的具体步骤为：
S21、通过卷积层提取多源遥感图像数据的交叉通道特征；
S22、通过不同尺度的卷积核或池化操作对交叉通道特征进行多尺度局部空间提取，得到多尺度局部空间特征；
S23、通过轻量级神经网络学习得到一组权值系数，并通过权值系数赋予各个特征通道不同的权重；
S24、将多尺度局部空间特征通过不同权重的特征通道进行加权融合，得到加权后特征；
S25、通过通道注意力机制对交叉通道特征和加权后特征进行级联融合，得到局部像素级特征。
本实施例中，由于高光谱图像HSI的空间信息在不同的谱段中是不同的，卷积核大小对不同谱段的影响也不同，因此，为了更好地挖掘空间光谱和跨通道特征，使用卷积层提取交叉通道特征和多尺度局部空间特征，对多源遥感图像数据分别在不同尺度（大-中-小）的卷积操作下获得不同感知野的空间信息特征，其中，每个卷积层由卷积操作、批处理归一化、平均池化和ReLU激活函数组成。
所述S21中交叉通道特征的表达式为：
其中，表示第一交叉通道特征，表示LeakyReLU激活函数，表示平均池化操作，表示批归一化操作，表示输入数据，表示第一卷积核权重，表示卷积操作，表示偏置参数，表示第二交叉通道特征，表示第二卷积核权重，表示中间特征，表示第三交叉通道特征；
所述S22中多尺度局部空间特征的表达式为：
其中，表示多尺度局部空间特征，表示第个交叉通道特征，表示第个交叉通道特征的第个卷积或池化操作。
本实施例中，和是不同尺度大小的卷积核权重。通过对同一位置的像素分别提取交叉通道特征、和后，通过跳转链路学习输入和输出之间的残差，并允许一些低级特征直接通过网络。因此可以减少信息丢失并提高融合质量，然后使用不同尺度卷积核（大、中、小）或池化操作（平均、最大）进行多尺度局部空间提取，获得同一像素位置的不同感受野范围的局部空间特征即，不仅保留了更多的纹理信息，从而加强了空间特征的语境（语义）关系。
同时，考虑到高光谱图像具有较高的光谱维度，使得提取空间信息相应也会生成具有较多的通道维度的空间特征，由此产生对计算资源和性能带来了巨大挑战。为了缓解融合特征时信息过大以及数据冗余问题，避免信息噪声产生并缓解计算压力，在网络层次中引入通道注意力机制，即改进压缩和激励残差网络（SENet），通过一个轻量级神经网络学习得到一组权值系数，然后根据其重要程度赋予各个特征通道合适的权重，用于各个特征通道的加权。
所述S24中加权后特征的表达式为：
其中，表示第个通道的加权后特征，表示第个通道上的权重，表示特征的通道个数。
本实施例中，利用通道注意力机制，对重要信息进行更大的权重处理，有助于揭示数据中光谱特征的更多判别细节，抑制混合像元的干扰。而目前在特征融合策略(如逐元素添加或特征拼接)中使用的特征权重系数是相同的，它们相对简单粗暴，没有考虑到实际遥感地形对两种输入通道的偏好不同，这通常会导致输出特征不能很好地继承输入特征的判别特性。
所述S25中进行级联融合的表达式为：
其中，表示局部像素级特征，表示第1个通道的加权后特征，表示级联操作，表示通道注意函数。
本实施例中，通过通道注意力机制对交叉通道特征和加权后特征进行级联融合，其中，交叉通道特征包括第一交叉通道特征，第二交叉通道特征和第三交叉通道特征，即通过通道注意力机制，将第一交叉通道特征、第二交叉通道特征、第三交叉通道特征和所有通道上的加权后特征进行级联融合。
因此，本实施例通过将多尺度下的HSI和激光雷达图像的局部空间特征进行融合，以充分利用空间的局部光滑性，生成更精细的融合特征，使其专注于对地物分类更重要的波段和空间信息。融合过程还应用正则化技术Dropout和平滑滤波，最小化融合过程中堆积的噪声，充分保留图像间的互补信息。因此，不仅消除了局部的低分辨率空间像素的影响，还解决了特征融合时存在空间和光谱上部分失真的问题。
所述S2中像素级特征提取模块的结构相似度损失函数表达式为：
其中，表示像素级特征提取模块的结构相似度损失函数，表示中间函数，表示局部像素级特征的均值，表示输入数据的均值，和均表示常数参数，表示局部像素级特征与输入数据的协方差。
本实施例设计了结构相似度损失函数来计算模块的输出与输入之间的结构性差异。同时，为了更好地勾画图像轮廓，引入边缘检测和统计权重等模块，用来充分学习空间特征，例如边缘、角落、纹理等更抽象的形状。在最大限度提取和利用观测图像内的高分辨率的空间特征和光谱特征基础上，有效降低模型的计算负担，提升了模型的泛化能力，为多源遥感图像的快速融合提供良好基础。
像素级特征提取模块虽然使用了多尺度卷积等操作获取不同尺度下的空间信息，但由于卷积算法对窗口形状的固定和计算复杂度考虑，仅能获取图像中局部的空间信息，难以对全局的空间信息考虑和处理。因此，超像素级特征提取模块采用超像素提取全局的空间结构信息，利用超像素构图来关注（全局）拓扑空间特征，并通过残差图卷积子网进行全局特征传播和聚合，可以在处理多源遥感图像数据时更好地考虑整个场景的拓扑结构和关联关系，然后引入多头分组注意融合子模块，实现全局超像素级特征的提取，对重要信息进行更大的权重处理，消除传感器及气候造成的分布差异，提高不同源数据的兼容性。
所述S3中超像素集合的表达式为：
其中，表示超像素集合，表示分割尺度，表示分割尺度为的第1个超像素，表示分割尺度为的第2个超像素，表示分割尺度为的第个超像素。
本实施例中，的取值一般不是连续的，是根据不同数据集场景大小通过经验来确定的，比如50、100、150或者200等。
所述S4的具体步骤为：
S41、计算超像素集合中每个超像素的平均特征，并作为高光谱图像和激光雷达图像的超像素节点特征矩阵；
S42、将超像素集合中的每个超像素作为中心，生成边来连接中心超像素和在空间位置上的相邻超像素块，构建高光谱图像的空间关联矩阵；
S43、将每个超像素作为质心，使用k最近邻算法在特征空间中选择质心相邻邻域区域，构建激光雷达图像的高程空间特征关联矩阵；
S44、串联空间关联矩阵与高程空间特征关联矩阵，得到邻接矩阵；
S45、将邻接矩阵通过度矩阵进行计算，得到图拉普拉斯矩阵；
S46、通过多级残差图卷积子网对图拉普拉斯矩阵和超像素节点特征矩阵进行传播和聚合，得到得多源遥感数据的多级拓扑图特征；
S47、将多级拓扑图特征输入到多头分组注意融合子模块，得到全局超像素级特征。
本实施例中，首先采用简单线性迭代聚类（SLIC）分别对高光谱图像和激光雷达图像进行超像素分割，其通过构造特征向量的距离度量来对图像像素进行局部聚类并将图像过分割成数百个紧凑的分区，以获得不规则的超像素块。同时，由于空间域中各种土地覆盖类型的尺度通常彼此完全不同，单个超像素尺度难以全面捕获的非局部（全局）相似性特征且不足以适应不同的地面分布。因此，通过设置不同的分割尺度，即超像素分割数量，进行从细到粗的多尺度超像素分割，即在分割尺度下得到超像素集合，而超像素内的平均特征可以视为图中的顶点特征，得到高光谱图像和激光雷达图像的超像素节点（顶点）特征矩阵。
所述S41中超像素的平均特征的表达式为：
其中，表示第个超像素的平均特征，表示第个超像素中的像素个数，表示第个超像素在第个像素的特征。
本实施例中，通过不同粒度（尺度）生成的超像素表示不仅包含更全面的空间结构信息，还具有边界粘附性、紧凑性等良好特性。此后，分别对高光谱图像和激光雷达图像，在不同尺度下的超像素块进行构图，并利用GCN对图数据进行全局特征传播和聚合，从而更好地处理数据的拓扑结构和关联关系，以应对具复杂多样的遥感图像场景。
为了构造高光谱图像的空间关联矩阵，将集合中的每个超像素作为中心，然后生成边来连接中心超像素及其在空间位置上的相邻超像素块，其中，超像素块作为一个节点来构建一个图像G（V，E），其中V和E分别表示顶点集和边集。
所述S42中空间关联矩阵的表达式为：
其中，表示超像素与超像素的空间关联矩阵，表示指数函数，表示范数，表示相对于超像素的中心位置，表示相对于超像素的中心位置，表示第一超参数，表示第个超像素，表示第个超像素，表示超像素块是否相邻；
所述S43中高程空间特征关联矩阵的表达式为：
其中，表示超像素和超像素的高程空间特征关联矩阵，表示超像素的激光雷达图像的空间特征，表示超像素的激光雷达图像的空间特征，表示第二超参数，表示使用最近邻算法聚类后是否在其邻域区域内，表示第个超像素，表示第个超像素；
所述S45中图拉普拉斯矩阵的表达式为：
其中，表示图拉普拉斯矩阵，表示单位矩阵，表示度矩阵，表示串联和得到的邻接矩阵。
本实施例中，串联和得到的邻接矩阵，考虑了不同源数据间的空间相关性关系。
所述S46中多级拓扑图特征的表达式为：
其中，表示第层的输出特征，表示随机失活函数，表示LeakyReLU激活函数，表示第层的权重，表示第层偏置值，表示第层的输出特征，表示第层的权重，表示第层偏置值，表示多级拓扑图特征的第层；
所述S47中全局超像素级特征的表达式为：
其中，表示多头分组注意融合后的第层特征，表示Softmax激活函数，、和均表示内核权重，表示转置操作，表示矩阵的通道维度，表示多级拓扑图特征，表示全局超像素级特征，表示第1层特征，表示多头分组注意融合后的第2层特征，表示多头分组注意融合后的第层特征，表示级联操作。
本实施例中，通过多头分组注意融合，使不同级别的图在网络中进行协作融合，通过组合来不同尺度的特征来补充更多来自现有模态（高光谱/激光雷达）的相关信息，并对重要信息赋予更大的权重，缓解因传感器及气候造成的噪声和光谱变异性影响，避免造成分类（分割）边界模糊、错分等情况，从而能够有效处理具有许多小尺度和不规则物体的遥感数据场景。
所述S5的具体步骤为：
S51、定义复位门和更新门；
S52、通过复位门和更新门对局部像素级特征和全局超像素级特征进行融合，得到融合输出特征；
S53、使用全连接层和Softmax分类器对融合输出特征进行分类，得到多源遥感图像分类结果。
所述S51中复位门和更新门的计算公式为：
其中，表示复位门，表示更新门，表示sigmoid激活函数，表示局部像素级特征，表示全局超像素级特征，、、和均表示权重。
所述S52中融合输出特征的表达式为：
其中，表示融合输出特征，表示LeakyReLU激活函数，表示批归一化操作，表示卷积操作，表示双曲正切激活函数，表示第次更新的权重，表示哈达玛积运算符。
本实施例中，由于不同模态特征在每个尺度上的特异性，以及它们对目标模态（不同数据源）综合的不同贡献，设计了多模门控特征融合模块对全局超像素级特征和局部像素级特征进行融合，通过自学习矩阵，自适应地调整各个位置的每个模态的权重，共同挖掘多源数据的互补信息。
其中，更新门同时实现了遗忘门和输出门的功能，复位门的功能与LSTM的输入门相近。为了去除像素级特征提取模块和超像素级特征提取模块提取特征中存在的冗余信息和噪声，通过利用更新门和复位门来确定哪些信息被传递和保留，实现了对局部像素级特征和全局超像素级特征的选择性存储和筛选。
在复位门中，选择信息较多的全局超像素级特征乘以复位权值，然后加入到局部像素级特征中，获得局部像素级特征的补充信息以缓解噪声影响。在更新门中，将重置门的初始融合结果乘以更新门权值，进一步消除信息冗余。因此，全局超像素级特征的信息已经自适应地去冗余了两次，再自适应地增强有价值的信息(如边缘、纹理)的同时，抑制来自不同模态的不相关信息(如噪声)。最后，通过全连接层和Softmax分类器对融合输出特征进行分类，获得多源遥感图像的精准地物分类结果。
Claims (10)
1.一种基于多级特征融合的多源遥感图像分类方法，其特征在于，包括以下步骤：
S1、采集高光谱图像和激光雷达图像，通过滑动窗口生成多源遥感图像数据；
S2、通过像素级特征提取模块对多源遥感图像数据进行特征提取，得到局部像素级特征；
S3、根据不同分割尺度，采用简单线性迭代聚类分别对高光谱图像和激光雷达图像进行超像素分割，得到不规则的超像素集合；
S4、通过超像素级特征提取模块对超像素集合进行特征提取，得到全局超像素级特征；
S5、通过多模门控特征融合模块将局部像素级特征和全局超像素级特征进行融合，得到融合输出特征，并通过融合输出特征进行多源遥感图像的分类，得到多源遥感图像分类结果。
2.根据权利要求1所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S1中的多源遥感图像数据包括高光谱图像生成指定像素给定邻域范围内的立方体和激光雷达图像生成的与高光谱图像在相同空间位置的图像矩形块。
3.根据权利要求1所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S2的具体步骤为：
S21、通过卷积层提取多源遥感图像数据的交叉通道特征；
S22、通过不同尺度的卷积核或池化操作对交叉通道特征进行多尺度局部空间提取，得到多尺度局部空间特征；
S23、通过轻量级神经网络学习得到一组权值系数，并通过权值系数赋予各个特征通道不同的权重；
S24、将多尺度局部空间特征通过不同权重的特征通道进行加权融合，得到加权后特征；
S25、通过通道注意力机制对交叉通道特征和加权后特征进行级联融合，得到局部像素级特征。
4.根据权利要求3所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S21中交叉通道特征的表达式为：
其中，表示第一交叉通道特征，表示LeakyReLU激活函数，表示平均池化操作，表示批归一化操作，表示输入数据，表示第一卷积核权重，表示卷积操作，表示偏置参数，表示第二交叉通道特征，表示第二卷积核权重，表示中间特征，表示第三交叉通道特征；
所述S22中多尺度局部空间特征的表达式为：
其中，表示多尺度局部空间特征，表示第个交叉通道特征，表示第个交叉通道特征的第个卷积或池化操作；
所述S24中加权后特征的表达式为：
其中，表示第个通道的加权后特征，表示第个通道上的权重，表示特征的通道个数；
所述S25中进行级联融合的表达式为：
其中，表示局部像素级特征，表示第1个通道的加权后特征，表示级联操作，表示通道注意函数。
5.根据权利要求1所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S2中像素级特征提取模块的结构相似度损失函数表达式为：
其中，表示像素级特征提取模块的结构相似度损失函数，表示中间函数，表示局部像素级特征的均值，表示输入数据的均值，和均表示常数参数，表示局部像素级特征与输入数据的协方差。
6.根据权利要求1所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S3中超像素集合的表达式为：
其中，表示超像素集合，表示分割尺度，表示分割尺度为的第1个超像素，表示分割尺度为的第2个超像素，表示分割尺度为的第个超像素。
7.根据权利要求1所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S4的具体步骤为：
S41、计算超像素集合中每个超像素的平均特征，并作为高光谱图像和激光雷达图像的超像素节点特征矩阵；
S42、将超像素集合中的每个超像素作为中心，生成边来连接中心超像素和在空间位置上的相邻超像素块，构建高光谱图像的空间关联矩阵；
S43、将每个超像素作为质心，使用k最近邻算法在特征空间中选择质心相邻邻域区域，构建激光雷达图像的高程空间特征关联矩阵；
S44、串联空间关联矩阵与高程空间特征关联矩阵，得到邻接矩阵；
S45、将邻接矩阵通过度矩阵进行计算，得到图拉普拉斯矩阵；
S46、通过多级残差图卷积子网对图拉普拉斯矩阵和超像素节点特征矩阵进行传播和聚合，得到得多源遥感数据的多级拓扑图特征；
S47、将多级拓扑图特征输入到多头分组注意融合子模块，得到全局超像素级特征。
8.根据权利要求7所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S41中超像素的平均特征的表达式为：
其中，表示第个超像素的平均特征，表示第个超像素中的像素个数，表示第个超像素在第个像素的特征；
所述S42中空间关联矩阵的表达式为：
其中，表示超像素与超像素的空间关联矩阵，表示指数函数，表示范数，表示相对于超像素的中心位置，表示相对于超像素的中心位置，表示第一超参数，表示第个超像素，表示第个超像素，表示超像素块是否相邻；
所述S43中高程空间特征关联矩阵的表达式为：
其中，表示超像素和超像素的高程空间特征关联矩阵，表示超像素的激光雷达图像的空间特征，表示超像素的激光雷达图像的空间特征，表示第二超参数，表示使用最近邻算法聚类后是否在其邻域区域内，表示第个超像素，表示第个超像素；
所述S45中图拉普拉斯矩阵的表达式为：
其中，表示图拉普拉斯矩阵，表示单位矩阵，表示度矩阵，表示串联和得到的邻接矩阵；
所述S46中多级拓扑图特征的表达式为：
其中，表示第层的输出特征，表示随机失活函数，表示LeakyReLU激活函数，表示第层的权重，表示第层偏置值，表示第层的输出特征，表示第层的权重，表示第层偏置值，表示多级拓扑图特征的第层；
所述S47中全局超像素级特征的表达式为：
其中，表示多头分组注意融合后的第层特征，表示Softmax激活函数，、和均表示内核权重，表示转置操作，表示矩阵的通道维度，表示多级拓扑图特征，表示全局超像素级特征，表示第1层特征，表示多头分组注意融合后的第2层特征，表示多头分组注意融合后的第层特征，表示级联操作。
9.根据权利要求1所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S5的具体步骤为：
S51、定义复位门和更新门；
S52、通过复位门和更新门对局部像素级特征和全局超像素级特征进行融合，得到融合输出特征；
S53、使用全连接层和Softmax分类器对融合输出特征进行分类，得到多源遥感图像分类结果。
10.根据权利要求9所述的基于多级特征融合的多源遥感图像分类方法，其特征在于，所述S51中复位门和更新门的计算公式为：
其中，表示复位门，表示更新门，表示sigmoid激活函数，表示局部像素级特征，表示全局超像素级特征，、、和均表示权重；
所述S52中融合输出特征的表达式为：
其中，表示融合输出特征，表示LeakyReLU激活函数，表示批归一化操作，表示卷积操作，表示双曲正切激活函数，表示第次更新的权重，表示哈达玛积运算符。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410272406.9A CN117876890B (zh) | 2024-03-11 | 2024-03-11 | 一种基于多级特征融合的多源遥感图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410272406.9A CN117876890B (zh) | 2024-03-11 | 2024-03-11 | 一种基于多级特征融合的多源遥感图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876890A CN117876890A (zh) | 2024-04-12 |
| CN117876890B true CN117876890B (zh) | 2024-05-07 |
Family
ID=90594998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410272406.9A Active CN117876890B (zh) | 2024-03-11 | 2024-03-11 | 一种基于多级特征融合的多源遥感图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876890B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118279167B (zh) * | 2024-05-31 | 2024-08-13 | 四川开物信息技术有限公司 | 一种基于多源数据的矿山图层管理系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889449A (zh) * | 2019-11-27 | 2020-03-17 | 中国人民解放军国防科技大学 | 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法 |
| CN111291826A (zh) * | 2020-02-25 | 2020-06-16 | 西安电子科技大学 | 基于相关性融合网络的多源遥感图像的逐像素分类方法 |
| CN112329887A (zh) * | 2020-11-26 | 2021-02-05 | 深圳大学 | 基于尺度自适应滤波的高光谱和LiDAR联合分类方法 |
| CN114581773A (zh) * | 2022-02-28 | 2022-06-03 | 西安电子科技大学 | 基于图卷积网络的多模态遥感数据分类方法 |
| CN114694039A (zh) * | 2022-04-15 | 2022-07-01 | 湖南大学 | 一种遥感高光谱与激光雷达图像融合分类方法及装置 |
| CN116843845A (zh) * | 2023-06-07 | 2023-10-03 | 福州华仁拾宝网络科技有限公司 | 一种应用于数字孪生城市的空间数据集成方法及系统 |
| CN116863247A (zh) * | 2023-08-22 | 2023-10-10 | 南京信息工程大学 | 一种融合全局和局部信息的多模态遥感数据分类方法 |
| CN117292274A (zh) * | 2023-11-22 | 2023-12-26 | 成都信息工程大学 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
| CN117475216A (zh) * | 2023-11-01 | 2024-01-30 | 哈尔滨工程大学 | 一种基于aglt网络的高光谱与激光雷达数据融合分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612389B (zh) * | 2022-02-21 | 2022-09-06 | 浙江大学 | 基于多源多尺度特征融合的眼底图像质量评价方法和装置 |
-
2024
- 2024-03-11 CN CN202410272406.9A patent/CN117876890B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889449A (zh) * | 2019-11-27 | 2020-03-17 | 中国人民解放军国防科技大学 | 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法 |
| CN111291826A (zh) * | 2020-02-25 | 2020-06-16 | 西安电子科技大学 | 基于相关性融合网络的多源遥感图像的逐像素分类方法 |
| CN112329887A (zh) * | 2020-11-26 | 2021-02-05 | 深圳大学 | 基于尺度自适应滤波的高光谱和LiDAR联合分类方法 |
| CN114581773A (zh) * | 2022-02-28 | 2022-06-03 | 西安电子科技大学 | 基于图卷积网络的多模态遥感数据分类方法 |
| CN114694039A (zh) * | 2022-04-15 | 2022-07-01 | 湖南大学 | 一种遥感高光谱与激光雷达图像融合分类方法及装置 |
| CN116843845A (zh) * | 2023-06-07 | 2023-10-03 | 福州华仁拾宝网络科技有限公司 | 一种应用于数字孪生城市的空间数据集成方法及系统 |
| CN116863247A (zh) * | 2023-08-22 | 2023-10-10 | 南京信息工程大学 | 一种融合全局和局部信息的多模态遥感数据分类方法 |
| CN117475216A (zh) * | 2023-11-01 | 2024-01-30 | 哈尔滨工程大学 | 一种基于aglt网络的高光谱与激光雷达数据融合分类方法 |
| CN117292274A (zh) * | 2023-11-22 | 2023-12-26 | 成都信息工程大学 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
Non-Patent Citations (7)
| Title |
|---|
| Deep multi-level fusion network for multi-source image pixel-wiseclassification;Xu Liu等;《Knowledge-Based Systems》;20210319;第221卷;1-11 * |
| Hyperspectral and LiDAR Data Fusion Classification Using Superpixel Segmentation-Based Local Pixel Neighborhood Preserving Embedding;Yunsong Li等;《remote sensing》;20190306;1-17 * |
| Multiple Feature-Based Superpixel-LevelDecision Fusion for Hyperspectraland LiDAR Data Classification;Sen Jia等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20210228;第59卷(第2期);1437-1452 * |
| 图文联合表征与检索研究及应用;乔森;《万方》;20230706;1-95 * |
| 基于深度学习的高光谱图像融合分类技术研究;张蒙蒙;《万方》;20201117;1-134 * |
| 基于高光谱图像的多源遥感图像融合研究;葛驰汝;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20200715(第07期);C028-6 * |
| 高光谱影像和LiDAR数据的特征融合分类方法;张萌;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20210115(第01期);C028-174 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876890A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Deep learning for hyperspectral image classification: An overview | |
| CN111462126B (zh) | 一种基于边缘增强的语义图像分割方法及系统 | |
| CN117876890B (zh) | 一种基于多级特征融合的多源遥感图像分类方法 | |
| CN104182772B (zh) | 一种基于深度学习的手势识别方法 | |
| Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
| CN111553837B (zh) | 一种基于神经风格迁移的艺术文本图像生成方法 | |
| CN112991350B (zh) | 一种基于模态差异缩减的rgb-t图像语义分割方法 | |
| CN111080678B (zh) | 一种基于深度学习的多时相sar图像变化检测方法 | |
| Zhang et al. | Unsupervised spatial-spectral cnn-based feature learning for hyperspectral image classification | |
| CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
| CN103914705B (zh) | 一种基于多目标免疫克隆的高光谱图像分类和波段选择的方法 | |
| Ma et al. | Hyperspectral image classification based on spatial and spectral kernels generation network | |
| CN113920468B (zh) | 一种基于跨尺度特征增强的多分支行人检测方法 | |
| Zhu et al. | Multiscale short and long range graph convolutional network for hyperspectral image classification | |
| CN113920442A (zh) | 一种结合图结构与卷积神经网络的高光谱分类方法 | |
| CN113592894A (zh) | 一种基于边界框和同现特征预测的图像分割方法 | |
| Guo et al. | Dual graph U-Nets for hyperspectral image classification | |
| Liu et al. | Hyperspectral image classification based on convolutional neural network and dimension reduction | |
| Hua et al. | Polarimetric SAR image classification based on ensemble dual-branch CNN and superpixel algorithm | |
| Ji et al. | Semisupervised hyperspectral image classification using spatial-spectral information and landscape features | |
| CN116843975A (zh) | 结合空间金字塔注意力机制的高光谱图像分类方法 | |
| CN115272670A (zh) | 一种基于掩膜注意交互的sar图像舰船实例分割方法 | |
| CN118154971A (zh) | 一种基于全卷积-动态图网络的sar图像分类方法 | |
| CN118135209A (zh) | 一种基于形状块语义关联度的弱监督语义分割方法 | |
| CN117253093A (zh) | 一种基于深度特征和图注意力机制的高光谱影像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |