CN116543191A - 一种多源遥感数据自适应融合地物分类方法 - Google Patents
一种多源遥感数据自适应融合地物分类方法 Download PDFInfo
- Publication number
- CN116543191A CN116543191A CN202310040195.1A CN202310040195A CN116543191A CN 116543191 A CN116543191 A CN 116543191A CN 202310040195 A CN202310040195 A CN 202310040195A CN 116543191 A CN116543191 A CN 116543191A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- features
- remote sensing
- feature
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000013145 classification model Methods 0.000 claims abstract description 27
- 238000007499 fusion processing Methods 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract description 17
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于遥感数据处理与应用技术领域，具体涉及一种多源遥感数据自适应融合地物分类方法。获取同一地区同一时间的遥感影像和LiDAR点云，输入至构建的地物分类模型中，得到地物分类结果；其中，地物分类模型包括二维网络、三维网络、采样重构模块、特征融合模块和分类器；二维网络用于对输入的遥感影像进行特征提取得到二维特征，三维网络用于对输入的LiDAR点云进行特征提取得到三维特征；采样重构模块用于实现二维特征和三维特征的对齐；特征融合模块用于将对齐后的二维特征和三维特征进行融合处理。本发明突破了现有融合方法大多基于影像而对三维信息利用不够充分的问题，为异源数据融合提供了新的思路，在实际应用中具有重要意义。
Description
技术领域
本发明属于遥感数据处理与应用技术领域，具体涉及一种多源遥感数据自适应融合地物分类方法。
背景技术
基于遥感数据的地物精确分类是对地观测的重要研究内容之一，随着遥感影像光谱分辨率和时间分辨率的提高，大量基于深度学习的地物分类方法被陆续提出，将卷积神经网络应用于遥感影像可以显著提高深度特征的提取能力。然而单一数据源由于缺乏丰富多样的信息，仍面临某些地物类别难以实现准确分类的情况，联合利用多源遥感数据是突破这一瓶颈的重要解决途径。激光雷达(Light Detection And Ranging,LiDAR)技术具有快速、主动、可穿透性强的特点，其获取的点云数据结构稳定，能够客观真实地表达场景的复杂几何信息，成为高精度地面三维信息的重要数据源。目前，已有研究通过融合多源遥感数据的光谱和空间特性实现地物分类，但受限于不同传感器及数据结构差异，多模态的遥感数据融合研究仍有很多挑战。
对影像和点云的融合分类研究主要分为在输入层的前期融合、特征层的中间融合和决策层的后期融合三类。在特征层对多模态数据进行交互是更为合理和灵活的融合策略，也是目前采用最多的融合方法，大多以影像为基准，通过将点云转化为数字地面模型(Digital Surface Model,DSM)，从影像和DSM中提取空间特征，然后采用分类器对叠加的空间和光谱特征进行联合分类。近些年，研究多利用深度学习模型在海量数据中强大的特征提取能力，在深度特征层上对特征的深度概括提取和数据结构信息的重构耦合，从而使多源数据在特征级层次融合取得可观的解译精度。然而，同样大多以二维影像为基准，忽略了点云的三维空间信息，独有的三维优势结构信息由于在特征输入前被投影至二维平面造成了严重的丢失。同时，由于多模态数据间的高度信息耦合及数据结构差异，现有以特征串联的融合方式会导致信息融合不够充分，甚至破坏单模态的特征学习过程，分类精度仍有待提高。
发明内容
本发明的目的在于提供一种多源遥感数据自适应融合地物分类方法，用以解决现有技术中地物分类精度较低的问题。
为解决上述技术问题，本发明提供了一种多源遥感数据自适应融合地物分类方法，获取同一地区同一时间的遥感影像和LiDAR点云，输入至构建的地物分类模型中，得到地物分类结果；其中，所述地物分类模型包括二维网络、三维网络、采样重构模块、特征融合模块和分类器；所述二维网络用于对输入的遥感影像进行特征提取得到二维特征，所述三维网络用于对输入的LiDAR点云进行特征提取得到三维特征；所述采样重构模块用于实现二维特征和三维特征的对齐；所述特征融合模块用于将对齐后的二维特征和三维特征进行融合处理；所述分类器用于依据特征融合处理结果得到LiDAR点云中每个点云的地物分类结果。
其有益效果为：本发明能够融合输入的遥感影像和LiDAR点云，利用二维网络和三维网络提取相应的特定于遥感影像的空谱特征和LiDAR点云的几何特征，保证网络学习到的特征不限于模态学习到的共同信息，避免了独有信息的丢失，进而通过非线性的自适应融合方法有效实现异源特征的充分融合，突破了现有融合方法大多基于影像而对三维信息利用不够充分的问题，为异源数据融合提供了新的思路，在实际应用中具有重要意义。
进一步地，所述特征融合模块用于采用如下方法进行特征融合处理：将对齐后的二维特征和三维特征进行元素求和得到聚合特征；利用逐点卷积实现每个点的跨通道信息融合，并通过瓶颈结构计算局部通道特征和全局通道特征；根据局部通道特征和全局通道特征计算得到二维特征的注意力权重和三维特征的注意力权重；根据二维特征的注意力权重和三维特征的注意力权重，以及二维特征和三维特征，得到特征融合处理结果。
其有益效果为：该自适应融合处理方式将二维语义特征采样重构至三维点集上实现异源特征对齐，自适应的特征融合方法使网络在训练中自适应地动态优化异源特征的融合过程，从而具备更强的泛化能力。
进一步地，所述局部通道特征和全局通道特征分别表示为：
式中，L(F)和G(F)分别表示局部通道特征和全局通道特征；g(·)表示全局平均池操作；δ(·)表示ReLU激活函数；表示批标准化处理；PConvi(·)表示各层具有不同输入输出通道数的逐点卷积运算，i＝1,2,3,4。
进一步地，所述二维特征的注意力权重表示为：
式中，M(F)表示二维特征的注意力权重，且1-M(F)表示三维特征的注意力权重；表示逐元素相加运算；L(F)和G(F)分别表示局部通道特征和全局通道特征；σ(·)表示Sigmoid激活函数。
进一步地，特征融合处理结果为：
式中，表示逐元素乘法运算；X2D和X3D分别表示二维特征和三维特征；Z表示融合的特征映射。
进一步地，进行二维特征和三维特征的对齐时，LiDAR点云上任一三维点ti(xi,yi,zi)在遥感影像上的像素位置ts(xs,ys)为：
xs＝INT((xi-x0)/dp)
ys＝INT((yi-y0)/dp)
式中，x0和y0表示影像所在区域的平面方向最小几何坐标；dp表示像素分辨率；INT(·)表示取整函数。
其有益效果为：采用将图像的二维特征采样至三维点集上的方式实现特征的对齐，使二维特征和三维特征能够实现融合。
进一步地，训练所述地物分类模型时，若存在遥感影像的二维标签，将二维标签作为增强地物分类模型训练的辅助信息，且对于分成C个类别的三维点云的二维监督分类损失函数表示为：
式中，LSeg 2D(ts,ts′2D)表示二维监督分类损失函数；ts′2D (n,c)表示经采样得到点所在像素的真实二维标签；表示地物分类模型预测点ts属于类别c的概率；N表示点的总个数。
其有益效果为：存在遥感影像的二维标签，将其应用于影像语义分割网络的监督分类，作为增强三维网络训练的辅助信息，可以提高分类精度。
进一步地，训练所述地物分类模型时，对于LiDAR点云的三维标签，相应的三维监督分类损失函数表示为：
式中，LSeg 3D(t,t′3D)表示三维监督分类损失函数；t′3D (n,c)表示经采样得到点t的真实三维标签；Pt (n,c)表示地物分类模型预测点t属于类别c的概率；N表示点的总个数。
进一步地，所述二维网络为FCN-8s网络。
其有益效果为：FCN-8s能够接受任意尺寸的图像输入，并采用全卷积化、上采样和跳跃结构实现逐像素的图像分类，其中跳跃结构实现了不同层次特征图的融合，能够更好地兼顾图像低层次的细节局部特征和高层次的语义特征，从而采用FCN-8s作为二维网络进行特征提取使得分类效果较佳。
附图说明
图1是本发明的多源遥感数据自适应融合地物分类的网络结构图；
图2是本发明的自适应融合模块的结构图；
图3是本发明的三维网络的结构图；
图4(a)是本发明方法实施例中训练区域图；
图4(b)是本发明方法实施例中测试区域图；
图5(a)是仅采用三维网络DGCNN方法对测试区域分类的实验结果图；
图5(b)是采用本发明方法对测试区域分类的实验结果图；
图5(c)是测试区域的标准分割结果图。
具体实施方式
本发明提出了一种采用独立分支网络结构的多源遥感数据自适应融合地物分类方法，该方法构建了一个采用独立分支的多源遥感数据自适应融合网络用于典型地物分类。其中二、三维独立分支网络能够对影像和点云两个模态充分提取对应的空间几何特征和语义特征，交叉模态采样的步骤能够得到逐点的多源特征，构建的一种基于注意力机制的非线性特征融合方法能够实现二、三维语义特征的自适应融合。为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明进行进一步详细说明。
方法实施例：
本发明构建了一个采用独立分支的多源遥感数据自适应融合网络用于典型地物分类，下面称该网络模型为地物分类模型，其网络结构图如图1所示，该地物分类模型包括二维网络、三维网络、采样重构模块、特征融合模块和分类器，各部分具体介绍如下：
1)二维网络用于对输入的遥感影像进行特征提取得到二维特征。遥感影像普遍存在的同物异谱和异物同谱的特点，本发明采用了改进的多尺度特征融合全卷积神经网络(Fully Convolutional Networks，FCN)用于遥感影像的特征提取。基础的FCN网络能够接受任意尺寸的图像输入，并采用全卷积化、上采样和跳跃结构实现逐像素的图像分类。其中跳跃结构实现了不同层次特征图的融合，能够更好地兼顾图像低层次的细节局部特征和高层次的语义特征。本实施例采用在三种不同分辨率的融合方法中，分类效果最好的FCN-8s网络作为二维语义特征提取网络。当然，作为其他实施方式，还可选择其他网络。
2)三维网络用于对输入的LiDAR点云进行特征提取得到三维特征。针对大尺度的机载LiDAR点云，最近很多研究通过网络的改进探索局部结构来学习其多层次特征表示。同样，本发明在现有研究的基础上，采用一种融合几何卷积的神经网络用于机载LiDAR点云的特征提取。该网络的具体结构可参考作者为戴莫凡、邢帅等在《中国图象图形学报》2022年2月月公开的《多特征融合与几何卷积的机载LiDAR点云地物分类》中的介绍，结构如图3所示，模型主要由两个模块组成，分别为APD模块和FGC模块，APD模块对大区域、低密度的机载LiDAR点云数据进行点云分区等处理和浅层特征的提取与融合输入维度，FGC模块包括两个分支，顶部分支基于3维坐标对机载点云的几何结构进行局部和全局信息的提取，底部分支利用PointNet++的逐点深度语义特征提取模块对浅层特征进行特征编码，最终与顶部分支获得的几何深度特征进行聚合及空间上采样获得逐点的多尺度深度特征，即三维特征。该网络通过层次化卷积编码点的空间几何结构，并与全局信息聚合能够提取多尺度逐点深度特征，实现对于大区域点云复杂几何结构的获取。同时，采用点云分区、类别均衡等处理方法，增强模型对机载点云的适用性，在数据输入层面保留原始的三维空间结构并直接输出逐点的地物提取结果。当然，作为其他实施方式，还可选择现有技术中的其他网络。
3)采样重构模块用于实现二维特征和三维特征的对齐。首先，在二维网络和三维网络输出概率前，将两个分支网络的语义特征输出保持相同的维度，通过建立最后一个线性层的联系来对齐语义特征。其次，考虑到尽管使用了独立分支网络用于多模态的特征提取，但由于点云和影像位于不同的度量空间，直接融合3D点云与2D图像仍然困难：LiDAR点云的三维坐标准确，包含更多的结构信息，但点密度低；遥感影像覆盖范围广，光谱信息丰富，但地物分辨率有限，几何结构信息不足，如建筑物侧面等，因此在两类数据特征融合时，考虑三维信息和三维特征对二维具有较好的兼容性，尤其是植被的三维坐标，采用将图像的二维特征采样至三维点集上的方式实现特征的对齐。具体的，在影像上对点云进行采样可得到三维点云集可得任一三维点ti所在的像素位置ts(xs,ys)，如下式所示：
xs＝INT((xi-x0)/dp)ys＝INT((yi-y0)/dp)
式中，x0和y0表示影像所在区域的平面方向最小几何坐标；dp表示像素分辨率；INT(·)表示取整函数。
4)特征融合模块用于将对齐后的二维特征和三维特征进行融合处理。在特征融合策略上简单的拼接或相加的融合方法仅是对特征映射的固定线性聚合，当场景改变时，无法保证模型的泛化能力。而受人类视觉系统视觉感知的启发，注意力机制能够根据目标的重要性自适应分配相应的权重，因此点云和影像提取的语义特征的权重也应按照对分类性能的贡献重新分配。本发明受图像中注意力特征融合方法(Attention Feature Fusion,AFF)的启发，提出了一种面向异源特征的自适应融合方法，能够依据点云的三维标签，动态学习并以非线性的方式优化点云二、三维特征的融合过程。具体的特征融合模块的结构如图2所示，过程如下：
①给定要融合的点云二维和三维特征X2D,通过元素求和操作得到聚合特征X。
②利用逐点卷积实现每个点的跨通道信息融合，并通过瓶颈结构计算局部通道特征和全局通道特征/>
式中，L(F)和G(F)分别表示局部通道特征和全局通道特征；g(·)表示全局平均池操作；δ(·)表示ReLU激活函数；表示批标准化处理(Batch Normalization,BN)；PConvi(·)表示各层具有不同输入输出通道数的逐点卷积运算，i＝1,2,3,4。
③两个特征均与初始特征具有相同的维度，可以保留和突出底层特征中的细微细节，而后计算得到两类特征的注意力权重M(F)：
式中，表示逐元素相加运算；σ(·)表示Sigmoid激活函数。
④融合的特征映射表示为：
式中，表示逐元素乘法运算，融合权重M(F)和1-M(F)均由0到1之间的实数组成。此时网络能够对X2D和X3D的权重软选择或加权平均，在训练过程中实现动态优化，确保异源特征有效融合，从而得到对数据噪声更鲁棒的软标签，使模型具备更强的泛化能力。
5)分类器用于依据特征融合处理结果得到LiDAR点云中每个点云的地物分类结果。
至此便完成地物分类模型各部分结构介绍，利用训练数据对该地物分类模型进行训练，训练完成后便可利用该训练完成的地物分类模型进行地物分类。假定实验数据ISPRS提供的Vaihingen多源数据集，包括分辨率为0.09m的原始正射遥感影像数据和平均点云密度为6.7pts/m2的机载LiDAR点云数据。试验前对同时具有点云和影像的两块数据进行配准，得到两幅尺寸分别为2006×3007和1919×2569的训练影像和测试影像，以及相应分别包含348702个点的训练点云和174145个点的测试点云，试验区域如图4(a)和图4(b)所示。同时，由于原始点云和影像数据的类别标注不统一，需对其进行类别分级及类别对齐。
步骤一，构建如图1所示的地物分类模型。
步骤二，利用训练数据对地物分类模型进行训练，训练完成后将训练得到的参数值赋予网络，从而得到训练好的地物分类模型。
当影像的二维标签存在时，其可用于影像语义分割网络的监督分类，作为增强三维网络训练的辅助信息。对于分成C个类别的三维点云的二维监督分类损失函数表示为：
式中，LSeg 2D(ts,ts′2D)表示二维监督分类损失函数；ts′2D (n,c)表示经采样得到点所在像素的真实二维标签；表示地物分类模型预测点ts属于类别c的概率；N表示点的总个数。
针对经过采样后得到的训练点云，在三维分支下能够通过三维监督训练得到三维监督分类损失函数：
式中，LSeg 3D(t,t′3D)表示三维监督分类损失函数；t′3D (n,c)表示经采样得到点t的真实三维标签；Pt (n,c)表示地物分类模型预测点t属于类别c的概率；N表示点的总个数。
步骤三，获取同一地区同一时间的遥感影像和LiDAR点云，输入至构建的地物分类模型中，得到地物分类结果。
下面通过如下的仿真实验，对本发明的效果进行验证和说明。
1)仿真条件：硬件采用英特尔酷睿i9-7900中央处理器，Nvidia GeForce RTX3090Ti图形处理器，128GB内存，软件采用Pytorch库来实现本发明。
2)参数设置：输入批次设置为16，迭代次数设置为200，初始学习率为0.005，学习率衰减系数为0.5，衰减步长为20000，选择随机梯度下降和L2正则化的优化方法。
3)仿真结果：在ISPRS多源数据集的训练区域进行训练，在测试区域进行测试。采用精确度(Accuracy)、总体精度(Overall Accuracy，OA)和平均交并比(meanIntersection over Union，mIoU)作为评价指标。将本发明的融合方法与四个三维语义分割网络PointNet++、PointSIFT、DGCNN和RandLA-Net进行对比实验。其中，图5(a)为仅采用三维网络DGCNN方法对测试区域分类的实验结果；图5(b)为本发明方法对测试区域分类的实验结果；图5(c)为测试区域的标准分割结果。表1为各种方法的最终分类结果对比表。同时，将本发明的自适应融合方法与其他两种线性融合方法进行对比，表2为三种融合方法对比结果。实验结果表明：①本发明相较单独对点云分类的方法，通过独立分支网络引入影像数据特征极大丰富了网络的可用信息，显著提高了对植被和建筑物的提取能力；②针对典型地物，本发明能够取得比其他先进的点云分类方法更好的分类结果，在影像支持下，显著提高了复杂点云分布区域的分类精度；③与上述方法相比，本发明有效缓解了复杂场景中其他方法中存在的混杂错分现象，更精细准确地划分了细节目标，并且很好地保留了地物的边界信息。
表1
表2
综上，本发明具有如下特点：1)本发明设计了一种能够同时输入影像和点云，具有2D和3D分支的双流架构，用于分别提取特定于遥感影像的空谱特征和LiDAR点云的几何特征，保证网络学习到的特征不限于模态学习到的共同信息，避免了独有信息的丢失。2)本发明设计了一种基于注意力的非线性特征融合方法，在对齐二、三维语义特征基础上，将二维语义特征采样重构至三维点集上实现异源特征对齐，自适应的特征融合方法使网络在训练中自适应地动态优化异源特征的融合过程，从而具备更强的泛化能力。
以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围。
Claims (9)
1.一种多源遥感数据自适应融合地物分类方法，其特征在于，获取同一地区同一时间的遥感影像和LiDAR点云，输入至构建的地物分类模型中，得到地物分类结果；
其中，所述地物分类模型包括二维网络、三维网络、采样重构模块、特征融合模块和分类器；所述二维网络用于对输入的遥感影像进行特征提取得到二维特征，所述三维网络用于对输入的LiDAR点云进行特征提取得到三维特征；所述采样重构模块用于实现二维特征和三维特征的对齐；所述特征融合模块用于将对齐后的二维特征和三维特征进行融合处理；所述分类器用于依据特征融合处理结果得到LiDAR点云中每个点云的地物分类结果。
2.根据权利要求1所述的多源遥感数据自适应融合地物分类方法，其特征在于，所述特征融合模块用于采用如下方法进行特征融合处理：
将对齐后的二维特征和三维特征进行元素求和得到聚合特征；
利用逐点卷积实现每个点的跨通道信息融合，并通过瓶颈结构计算局部通道特征和全局通道特征；
根据局部通道特征和全局通道特征计算得到二维特征的注意力权重和三维特征的注意力权重；
根据二维特征的注意力权重和三维特征的注意力权重，以及二维特征和三维特征，得到特征融合处理结果。
3.根据权利要求2所述的多源遥感数据自适应融合地物分类方法，其特征在于，所述局部通道特征和全局通道特征分别表示为：
式中，L(F)和G(F)分别表示局部通道特征和全局通道特征；g(·)表示全局平均池操作；δ(·)表示ReLU激活函数；表示批标准化处理；PConvi(·)表示各层具有不同输入输出通道数的逐点卷积运算，i＝1,2,3,4。
4.根据权利要求2所述的多源遥感数据自适应融合地物分类方法，其特征在于，所述二维特征的注意力权重表示为：
式中，M(F)表示二维特征的注意力权重，且1-M(F)表示三维特征的注意力权重；表示逐元素相加运算；L(F)和G(F)分别表示局部通道特征和全局通道特征；σ(·)表示Sigmoid激活函数。
5.根据权利要求4所述的多源遥感数据自适应融合地物分类方法，其特征在于，特征融合处理结果为：
式中，表示逐元素乘法运算；X2D和X3D分别表示二维特征和三维特征；Z表示融合的特征映射。
6.根据权利要求1所述的多源遥感数据自适应融合地物分类方法，其特征在于，进行二维特征和三维特征的对齐时，LiDAR点云上任一三维点ti(xi,yi,zi)在遥感影像上的像素位置ts(xs,ys)为：
xs＝INT((xi-x0)/dp)
ys＝INT((yi-y0)/dp)
式中，x0和y0表示影像所在区域的平面方向最小几何坐标；dp表示像素分辨率；INT(·)表示取整函数。
7.根据权利要求1所述的多源遥感数据自适应融合地物分类方法，其特征在于，训练所述地物分类模型时，若存在遥感影像的二维标签，将二维标签作为增强地物分类模型训练的辅助信息，且对于分成C个类别的三维点云的二维监督分类损失函数表示为：
式中，LSeg 2D(ts,t′s2D)表示二维监督分类损失函数；t′s2D (n,c)表示经采样得到点所在像素的真实二维标签；表示地物分类模型预测点ts属于类别c的概率；N表示点的总个数。
8.根据权利要求1所述的多源遥感数据自适应融合地物分类方法，其特征在于，训练所述地物分类模型时，对于LiDAR点云的三维标签，相应的三维监督分类损失函数表示为：
式中，LSeg 3D(t,t′3D)表示三维监督分类损失函数；t′3D (n,c)表示经采样得到点t的真实三维标签；Pt (n,c)表示地物分类模型预测点t属于类别c的概率；N表示点的总个数。
9.根据权利要求1～8任一项所述的多源遥感数据自适应融合地物分类方法，其特征在于，所述二维网络为FCN-8s网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310040195.1A CN116543191A (zh) | 2023-01-11 | 2023-01-11 | 一种多源遥感数据自适应融合地物分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310040195.1A CN116543191A (zh) | 2023-01-11 | 2023-01-11 | 一种多源遥感数据自适应融合地物分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543191A true CN116543191A (zh) | 2023-08-04 |
Family
ID=87447761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310040195.1A Pending CN116543191A (zh) | 2023-01-11 | 2023-01-11 | 一种多源遥感数据自适应融合地物分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543191A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778104A (zh) * | 2023-08-16 | 2023-09-19 | 江西省国土资源测绘工程总院有限公司 | 一种动态遥感监测的测绘方法及系统 |
-
2023
- 2023-01-11 CN CN202310040195.1A patent/CN116543191A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778104A (zh) * | 2023-08-16 | 2023-09-19 | 江西省国土资源测绘工程总院有限公司 | 一种动态遥感监测的测绘方法及系统 |
| CN116778104B (zh) * | 2023-08-16 | 2023-11-14 | 江西省国土资源测绘工程总院有限公司 | 一种动态遥感监测的测绘方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798475B (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
| CN111832655B (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
| CN110097553A (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| CN113902897A (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
| CN111753698A (zh) | 一种多模态三维点云分割系统和方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN114758337A (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN114092697A (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
| CN114120067A (zh) | 一种物体识别方法、装置、设备及介质 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN115330940A (zh) | 一种三维重建方法、装置、设备和介质 | |
| CN116385902A (zh) | 一种遥感大数据处理方法、系统及云平台 | |
| CN116543191A (zh) | 一种多源遥感数据自适应融合地物分类方法 | |
| Liu et al. | A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image | |
| JP2023131117A (ja) | 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体 | |
| CN112257496A (zh) | 一种基于深度学习的输电通道周围环境分类方法及系统 | |
| CN116563466A (zh) | 一种基于深度学习的三维单木点云的补全方法 | |
| Buyukdemircioglu et al. | Deep learning for 3D building reconstruction: A review | |
| CN115100741A (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
| CN115019163A (zh) | 基于多源大数据的城市要素识别方法 | |
| CN114037836A (zh) | 一种将人工智能识别技术应用于三维输变电工程测算的方法 | |
| CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |