CN116258970B - 一种融合遥感图像与点云数据的地理要素识别方法 - Google Patents

一种融合遥感图像与点云数据的地理要素识别方法 Download PDF

Info

Publication number
CN116258970B
CN116258970B CN202310539805.2A CN202310539805A CN116258970B CN 116258970 B CN116258970 B CN 116258970B CN 202310539805 A CN202310539805 A CN 202310539805A CN 116258970 B CN116258970 B CN 116258970B
Authority
CN
China
Prior art keywords
point cloud
feature
image
shared
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310539805.2A
Other languages
English (en)
Other versions
CN116258970A (zh
Inventor
赵薛强
陈洋波
刘俊
孙怀张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202310539805.2A priority Critical patent/CN116258970B/zh
Publication of CN116258970A publication Critical patent/CN116258970A/zh
Application granted granted Critical
Publication of CN116258970B publication Critical patent/CN116258970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种融合遥感图像与点云数据的地理要素识别方法，涉及图像数据处理的技术领域，首先采集图像数据和点云数据并进行类别标注，构建为样本数据集，再构建融合图像与点云数据的语义分割模型，提取图像数据的2D特征和点云数据的3D特征并融合得到图像和点云的分割预测值，利用样本数据集训练融合图像与点云数据的语义分割模型，最后将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果，利用不同的色彩对不同类别的点云分割结果进行标记，实现地理要素的识别，充分利用了2D图像信息的有序性以及3D点云数据的空间性，提高了地理要素的分割识别精度。

Description

一种融合遥感图像与点云数据的地理要素识别方法
技术领域
本发明涉及地理图像信息处理的技术领域，更具体地，涉及一种融合遥感图像与点云数据的地理要素识别方法。
背景技术
随着遥感技术、深度学习技术的快速发展，对地理要素的智能识别一般采用图像的语义分割算法，利用图像分割算法提取图像中的语义信息，对不同的地理要素进行标记分类，达到识别的目的。但由于图像数据缺少3D空间信息，基于图像的语义分割算法，在地理要素识别中无法识别地理要素的高度、坡度等空间信息，导致地理要素分割不完整。
随着遥感技术、深度学习技术的快速发展，为获得空间距离信息，可采用激光雷达扫描地形地貌，获得3D点云数据，对3D点云数据采用分割算法实现地理要素的识别，常用的点云分割算法有PointNet、PointNet++、PointTransformer等算法。使用点云数据的分割算法能够较好地区分地形高低、坡度，获得丰富的3D空间信息，但3D点云数据是无序的，缺少空间上的联系，使得分割算法收敛困难，分割精度较低。
现有技术公开了一种地图要素生成方法，结合了图像数据与视觉三维重建技术，通过图像获得地图要素的形状点的坐标，再通过视觉三维重建得到形状点的初始地理坐标，最后通过激光点拟合函数表达式，确定地图要素的位置点地理坐标。然而，该方案虽然结合了图像数据和三维重建技术，但无法充分融合2D图像信息的有序性以及3D信息的空间性的优势，识别精度较低。
发明内容
为解决当前地理要素识别方法无法充分利用2D图像信息的有序性以及3D点云数据的空间性，导致地理要素的分割识别精度较低的问题，本发明提供一种融合遥感图像与点云数据的地理要素识别方法，利用二维图像的有序性和三维点云的空间性，训练阶段通过投影方法将三维点云投影到对应的二维图像中，进行知识蒸馏学习，采用了多数据源融合的方式，提高了地理要素的分割识别精度。
为了达到上述技术效果，本发明的技术方案如下：
一种融合遥感图像与点云数据的地理要素识别方法，包括：
S1.采集图像数据和点云数据，对图像数据和点云数据分别进行类别标注，分别作为图像数据和点云数据的真实标签，将带有类别标注的图像数据和点云数据构建为样本数据集，将样本数据集划分为训练集、验证集、测试集；
S2.构建融合图像与点云数据的语义分割模型，融合图像与点云数据的语义分割模型包括用于提取图像数据的2D特征的2D分支2D Branch、用于提取点云数据的3D特征的3D分支3D Branch及融合结构Feature Fusion，2D分支2D Branch的输出端及3D分支3DBranch的输出端均连接融合结构Feature Fusion，融合结构Feature Fusion将2D特征和3D特征融合，利用2D特征优化3D特征，得到图像分割预测值和点云分割预测值；
S3.利用训练集对融合图像与点云数据的语义分割模型进行训练，训练过程中分别计算图像分割预测值和点云分割预测值与真实标签图之间的损失值，根据损失值调整融合图像与点云数据的语义分割模型的参数，直到融合图像与点云数据的语义分割模型收敛，然后利用验证集对训练过程中的融合图像与点云数据的语义分割模型进行评估，得出训练好的融合图像与点云数据的语义分割模型，并利用测试集测试融合图像与点云数据的语义分割模型的预测准确度；
S4.将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果；
S5.利用不同的色彩对不同类别的点云分割结果进行标记，展示分割结果，实现地理要素的识别。
本技术方案使用多数据源融合的方法，将2D图像分割结果用于辅助3D点云分割，提高了地理要素的分割识别精度。
优选地，所述2D分支2D Branch包括2D图像分割模块Fast SCNN，所述2D图像分割模块FastSCNN包括依次连接的主干网络特征编码器、双分支全局特征提取器、特征融合器；
所述双分支全局特征提取器包括两个分支：第一个分支由Bottleneck卷积块、SE注意力模块、Pyramid Pooling池化组成，提取图像数据的全局特征；第二个分支保留图像数据的原始特征信息，两个分支分别与特征融合器连接；特征融合器将全局特征提取器的两个分支的输出特征相加融合并调整通道数量，输出2D特征。
优选地，所述3D分支3D Branch包括3D点云数据分割模块PFTransformer；所述3D点云数据分割模块PFTransformer包括3D点云特征编码器Encoding和3D点云特征解码器Decoding；
所述3D点云特征编码器Encoding包括依次连接的非下采样特征编码块和四层下采样特征编码块，输出编码后的点云特征；所述3D点云特征解码器Decoding包括依次连接的非上采样特征解码块和四层上采样特征解码块，对点云特征解码后得到3D特征。
优选地，所述2D分支2D Branch还包括2D分类器2D Classfier，用于在融合结构Feature Fusion对2D特征和3D特征融合后进行分类，输出2D点云的图像语义分割预测值；
所述3D分支3D Branch还包括3D分类器3D Classfier，用于在融合结构FeatureFusion将2D特征和3D特征融合后进行分类，输出3D点云的点云语义分割预测值。
优选地，所述的融合结构Feature Fusion将2D特征和3D特征融合，其特征在于，过程如下：
3D点云数据分割模块PFTransformer输出的3D特征经过第一共享感知机Shared MLP1后，输出为3D共享特征/>，令/>与2D图像分割模块FastSCNN输出的2D特征通过Concat函数进行拼接，将拼接后的特征通过第二共享感知机Shared MLP2进行特征融合，得到融合特征/>；
将融合特征通过第三共享感知机Shared MLP3后进行Sigmoid函数计算，得到注意力权重，注意力权重与融合特征/>进行Hadamard乘积，再以残差的方式与2D特征按位置相加，并通过共享感知机Shared MLP组成的2D分类器2D Classfier，获得2D特征的图像语义分割预测值；
3D点云数据分割模块PFTransformer输出的3D特征与经过第一共享感知机Shared MLP1的得到的3D共享特征/>进行融合，再通过3D分支3D Branch的3D分类器3DClassfier，获得3D点云的点云语义分割预测值。
在此，通过知识蒸馏的方法，令3D点云数据分割模块PFTransformer学习2D图像分割模块FastSCNN的预测分布，间接使用图像数据的2D特征来优化点云数据的3D特征，让3D点云数据分割模块PFTransformer学习到图像中的更多信息。
优选地，所述非下采样特征编码块包括共享感知机Shared MLP和特征自注意力块PFTransformer Block，每一层下采样特征编码块包括下采样结构Transition Down和特征自注意力块PFTransformer Block；
所述非上采样特征解码块包括共享感知机Shared MLP和特征自注意力块PFTransformer Block，每一层上采样特征解码块包括上采样结构Transition UP和特征自注意力块PFTransformer Block。
优选地，所述特征自注意力块PFTransformer Block由n组循环结构构成，每组循环结构包含上层Shared MLP、位置与特征自注意力层PFTransformerLayer和下层SharedMLP。
优选地，所述下采样结构Transition Down基于点云特征的空间位置进行最远点采样，然后通过K近邻算法对采样点进行分组，利用共享感知机Shared MLP对每个点的组内特征进行特征提取，通过局部最大池化提取组内最大特征点，得到下采样特征；
所述上采样结构Transition UP利用共享感知机Shared MLP对输入的点云特征维度进行降维，然后根据点云特征的空间位置，使用三线性插值的方法对点云特征进行上采样，得到上采样特征。
优选地，所述位置与特征自注意力层PFTransformerLayer用于提取点云特征，过程如下：
基于欧式空间位置的自注意力机制，利用3个共享感知机Shared MLP对N个点云特征进行提取并分别记作，基于欧式空间距离对N个点云特征进行提取并分别记作/>，其中，N是点云的数量，D是点云的特征维度；使用共享感知机Shared MLP对位置特征进行编码后获得特征/>；最后计算特征/>，/>的计算表达公式如下：
其中，、/>表示共享感知机Shared MLP，Xi表示N个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，/>表示Hadamard乘积；
基于特征空间的子注意力机制，利用3个共享感知机Shared MLP对N个点云特征进行提取并分别记作，基于欧式空间距离对N个点云特征进行提取并分别记作；使用Shared MLP对提取的点云特征进行编码后获得特征；最后计算特征/>，/>的计算表达公式如下：
其中，、/>表示共享感知机Shared MLP，Xi表示N个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，/>表示Hadamard乘积；
使用Shared MLP将特征、/>融合，获得提取后的点云特征/>，/>的计算公式如下：
其中，表示语义特征空间的特征提取、/>表示欧式空间的特征提取。
优选地，在步骤S4中，对2D图像分割模块FastSCNN进行训练，过程如下：
将训练集中的图像数据输入2D图像分割模块FastSCNN，输出图像语义分割预测值，采用交叉熵损失函数计算预测值与样本图片特征真值/>之间的损失/>，计算公式如下：
其中，B为输入2D图像分割模块FastSCNN的图像的个数，i表示B中的第i个图像，C为类别数，j表示C中的第j个类别，表示对数函数；
对3D点云数据分割模块进行训练，过程如下：
将训练集中的图像数据输入3D点云数据分割模块，输出点云语义分割预测值，采用交叉熵损失函数计算预测值与点云特征真值/>之间的损失/>，计算公式如下：
其中，B为输入3D点云数据分割模块的数据的个数，i表示B中的第i个图像，C为类别数，j表示C中的第j个类别，表示对数函数；
训练3D点云数据分割模块，令3D点云数据分割模块输出的预测结果分布学习2D图像分割模块FastSCNN的预测结果分布，具体过程如下：
利用知识蒸馏的方法，采用KL散度计算2D图像分割模块FastSCNN的预测结果分布U与3D点云数据分割模块的预测结果分布V的损失，计算公式如下：
其中，表示分布中具体某一类别，U表示2D图像分割模块FastSCNN的预测结果分布，V表示3D点云数据分割模块的预测结果分布，/>表示对数函数；
构建融合图像与点云数据的语义分割模型的总损失函数，/>的表达式如下：
最后，对总损失函数进行优化，使损失值达到最小。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种融合遥感图像与点云数据的地理要素识别方法，首先采集图像数据和点云数据并进行类别标注，构建为样本数据集，再构建融合图像与点云数据的语义分割模型，提取图像数据的2D特征和点云数据的3D特征，将2D特征和3D特征融合得到图像分割预测值和点云分割预测值，利用样本数据集训练融合图像与点云数据的语义分割模型，最后将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果，利用不同的色彩对不同类别的点云分割结果进行标记，实现地理要素的识别，充分利用了2D图像信息的有序性以及3D点云数据的空间性，提高了地理要素的分割识别精度。
附图说明
图1表示本发明实施例1中提供的融合遥感图像与点云数据的地理要素识别方法流程示意图；
图2表示本发明实施例1中提供的融合图像与点云数据的语义分割模型总结构图；
图3表示本发明实施例1中提供的2D图像分割模块Fast SCNN结构图；
图4表示本发明实施例1中提供的3D点云数据分割模块PFTransformer结构图；
图5表示本发明实施例1中提供的3D点云数据分割模块的位置与特征自注意力块PFTransformerBlock；
图6表示本发明实施例2中提供的3D点云数据分割模块的下采样结构TransitionDown和上采样结构Transition Up示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制。
实施例1 如图1所示，本实施例提供一种融合遥感图像与点云数据的地理要素识别方法，所述方法包括以下步骤：
S1.采集图像数据和点云数据，对图像数据和点云数据分别进行类别标注，分别作为图像数据和点云数据的真实标签图，将带有类别标注的图像数据和点云数据构建为样本数据集，将样本数据集划分为训练集、验证集、测试集；
在本实施例中，步骤S1还包括：对类别标注后的图像数据和点云数据进行预处理，对图像数据和点云数据进行增强处理，并在增强过程中，更新标注位置；通过像素映射对齐图像数据和点云数据；
如图2所示，定义输入图像数据为I(Image)，点云数据为P(point cloud)；定义真实标签图中图像数据的样本图片特征真值为，点云数据的点云特征真值为/>。
在实际操作时，对图像数据的预处理的包括：对标注好的图像数据进行几何变换，包括翻转、旋转、裁剪、变形、缩放；对标注好的图像数据进行几何变换进行颜色变换，包括噪声、模糊、擦除、填充；再应用Mosaic数据增强方法，将多张图片进行随机裁剪、缩放后，随机排列拼接形成一张图片，丰富图像特征信息，并在增强过程中更新标注位置；
对点云数据的预处理包括：基于点云空间位置的随机缩放、扰动、平移、镜像、旋转，基于色彩的对比度调整、色彩平移、色彩随机抖动、色彩随机丢失，获得经过预处理增强后的点云数据。
S2.构建融合图像与点云数据的语义分割模型，如图2所示，融合图像与点云数据的语义分割模型包括用于提取图像数据的2D特征的2D分支2D Branch（如图2所示的虚线分支部分）、用于提取点云数据的3D特征的3D分支3D Branch（如图2所示的实线单线分支部分）及融合结构Feature Fusion（如图2所示的空心箭头指示部分），2D分支2D Branch的输出端及3D分支3D Branch的输出端均连接融合结构Feature Fusion，融合结构FeatureFusion将2D特征和3D特征融合，利用2D特征优化3D特征，得到图像分割预测值和点云分割预测值；
参见图3，所述的步骤S2中的2D分支2D Branch由2D图像分割模块Fast SCNN及2D分类器2D Classfier，其中2D图像分割模块 FastSCNN包括依次连接的主干网络特征编码器、双分支全局特征提取器、特征融合器；
如图3所示，所述主干网络特征编码器由两个DSconv卷积块组成，进行下采样操作；双分支全局特征提取器包括两个分支：第一个分支由多个Bottleneck卷积块、SE注意力模块、Pyramid Pooling池化组成，提取图像数据的全局特征，第二个分支保留图像数据的原始特征信息，两个分支分别与特征融合器连接；特征融合器由Unsample上采样、DWConv卷积块、Conv2D卷积块组成，将全局特征提取器的两个分支的输出特征相加融合并调整通道数量，输出2D特征。
如图4所示，所述的3D分支3D Branch由3D点云数据分割模块PFTransformer 和3D分类器3D Classfier组成，其中3D点云数据分割模块PFTransformer包括3D点云特征编码器Encoding和3D点云特征解码器Decoding；在本实施例中，3D点云分割模块输入6维的点云数据P，输出32维度的3D特征E3D；
所述3D点云特征编码器Encoding包括依次连接的五个编码块Encoder Block，分别为非下采样特征编码块和四层下采样特征编码块，参见图4，非下采样特征编码块包括共享感知机Shared MLP和特征自注意力块PFTransformer Block；每一个下采样特征编码块包括下采样结构Transition Down和特征自注意力块PFTransformer Block；
点云数据进入非下采样特征编码块，由共享感知机Shared MLP提取共享特征，共享特征经过特征自注意力块PFTransformer Block进行自注意力增强，然后依次输入至第一层下采样特征编码块~第四层下采样特征解码块中，由各层的下采样结构TransitionDown得到采样特征，再由特征自注意力块PFTransformer Block对采样特征进行进一步特征强化，依次完成3D点云特征编码器Encoding中第一层下采样特征编码块~第四层下采样特征解码块的特征编码，输出编码后的点云特征；
所述3D点云特征解码器Decoding包括依次连接的五个解码块Decoder Block，分别为非上采样特征解码块和四层上采样特征解码块，参见图4，非上采样特征解码块包括共享感知机Shared MLP和特征自注意力块PFTransformer Block，所述上采样特征解码块包括上采样结构Transition UP和特征自注意力块PFTransformer Block；
3D点云特征编码器Encoding输出的点云特征进入3D点云特征解码器Decoding，输入至非上采样特征解码块，首先由共享感知机Shared MLP进行特征解码，再经过特征自注意力块PFTransformer Block进行自注意力增强，增强后的点云特征依次输入至第一层上采样特征解码块~第四层上采样特征解码块中，经上采样结构Transition UP进行上采样，并融合，获得融合后的特征，然后该特征进入特征自注意力块PFTransformer Block中，由特征自注意力块PFTransformer Block进行进一步特征强化；依次完成3D点云特征解码器中Decoding中第一层上采样特征解码块~第四层上采样特征解码块的特征解码，得到3D特征；
所述特征自注意力块PFTransformer Block由n组循环结构构成，如图5所示，每组循环结构包含上层Shared MLP、位置与特征自注意力层PFTransformerLayer、下层SharedMLP和位置相加层Add，在本实施例中，第一层下采样特征编码块~第四层下采样特征解码块中的特征自注意力块PFTransformer Block的循环结构数量n分别为[2,3,3,6,4]，第一层上采样特征解码块~第四层上采样特征解码块中的特征自注意力块PFTransformer Block的循环结构的数量n分别为[2,3,3,6,4]；将特征自注意力块PFTransformer Block的输入特征设为，坐标为/>，经过循环结构获得输出特征。
如图6所示，所述下采样结构Transition Down基于点云特征的空间位置进行最远点采样（如图6所示的Farthest point sample部分），然后通过K近邻算法对采样点进行分组（如图6所示的KNN部分），利用共享感知机Shared MLP对每个点的组内特征进行特征提取，通过局部最大池化（如图6所示的Max Pooling部分）提取组内最大特征点，得到下采样特征；
如图6所示，所述上采样结构Transition UP利用共享感知机Shared MLP对输入的点云特征维度进行降维，然后根据点云特征的空间位置，使用三线性插值Trilinearinterpolation的方法对点云特征进行上采样，得到上采样特征。
所述位置与特征自注意力层PFTransformerLayer用于提取点云特征，过程如下：
基于欧式空间位置的自注意力机制，利用3个共享感知机Shared MLP对N个点云特征进行提取并分别记作，基于欧式空间距离对N个点云特征进行提取并分别记作/>，其中，N是点云的数量，D是点云的特征维度；使用共享感知机Shared MLP对位置特征进行编码后获得特征/>；最后计算特征/>，/>的计算表达公式如下：
其中，、/>表示共享感知机Shared MLP，Xi表示N个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，/>表示Hadamard乘积；
基于特征空间的子注意力机制，利用3个共享感知机Shared MLP对N个点云特征进行提取并分别记作，基于欧式空间距离对N个点云特征进行提取并分别记作；使用Shared MLP对提取的点云特征进行编码后获得特征；最后计算特征/>，/>的计算表达公式如下：
其中，、/>表示共享感知机Shared MLP，Xi表示N个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，/>表示Hadamard乘积；
使用Shared MLP将特征、/>融合，获得提取后的点云特征/>，计算公式如下：
其中，表示语义特征空间的特征提取、/>表示欧式空间的特征提取。
利用融合结构Feature Fusion将2D特征和3D特征融合，如图3所示，过程如下：
3D点云数据分割模块PFTransformer输出的3D特征经过第一共享感知机Shared MLP1后，输出为3D共享特征/>，令/>与2D图像分割模块FastSCNN输出的2D特征通过Concat函数进行拼接，将拼接后的特征通过第二共享感知机Shared MLP2进行特征融合，得到融合特征/>；
将通过第三共享感知机Shared MLP3后再进行Sigmoid函数计算得到注意力权重，注意力权重与融合特征/>进行Hadamard乘积，再以残差的方式与/>利用add函数按位置相加，并通过共享感知机Shared MLP组成的2D分类器2D Classfier，获得2D特征的图像语义分割预测值；
3D点云数据分割模块PFTransformer输出的3D特征与经过第一共享感知机Shared MLP1得到的/>进行融合，再通过3D分类器3D Classfier，获得3D点云的点云语义分割预测值；
S3.利用训练集对融合图像与点云数据的语义分割模型进行训练，训练过程中分别计算图像分割预测值和点云分割预测值与真实标签图之间的损失值，根据损失值调整融合图像与点云数据的语义分割模型的参数，直到融合图像与点云数据的语义分割模型收敛，然后利用验证集对训练过程中的融合图像与点云数据的语义分割模型进行评估，得出训练好的融合图像与点云数据的语义分割模型，并利用测试集测试融合图像与点云数据的语义分割模型的预测准确度；
S4.将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果；
S5.利用不同的色彩对不同类别的点云分割结果进行标记，展示分割结果，实现地理要素的识别。
实施例2 在本实施例中，如图6所示，所述下采样结构Transition Down通过最远点采样FPS算法（Farthest point sample）对输入的点云特征根据空间位置分别利用欧氏空间下采样和语义特征空间下采样进行最远点采样，具体过程如下；
输入特征，坐标为/>，分别在/>个点中寻找欧式空间中距离最远的/>个点和语义特征空间中距离最远的/>个点，对每个点使用/>算法，在欧式空间和特征空间中分别寻找距离最近的K个点，分别得到的K个点组成集合/>和集合/>，对集合/>和集合/>内的每个点使用两组共享感知机Shared MLP分别集合特征进行提取；然后利用Max Pooling分别提取集合/>和集合/>的最大特征，并将两个集合的最大特征以相加的方式进行融合，得到采样点的上采样特征，/>的计算表达式如下：
其中，表示共享感知机Shared MLP，/>表示特征相加，/>表示最大池化；
所述上采样结构Transition UP根据点云特征的空间位置，使用三线性插值Trilinear interpolation的方法对点云特征进行上采样，并使用三线性插值的方法计算语义特征空间距离以加强同一空间中距离较远的同类物体的特征，具体过程如下：
如图6所示，上采样结构Transition UP的输入特征设为，坐标为，上采样结构Transition UP上采样前点云的数量为/>，采样后点云的数量为/>，/>、/>数量与同级的Transition Down的采样点云的数量一致，i表示/>个采样点中的第i个采样点，以/>的第i个点为中心点，在/>中使用KNN算法根据欧式距离寻找距离中心点最近的3个点，记作每个点的特征为/>，其中j=1,2,3，/>乘以欧式距离权重/>，作为的第i个点的上采样特征/>，/>的计算表达式如下：
其中，、/>表示/>个采样点的第i个点的空间坐标，/>、/>、/>表示/>中距离中心点最近的第j个点的空间坐标，参见图4和图6，将与3D点云特征编码器Encoding中同层的特征/>通过Shared MLP后得到的/>与上采样特征进行按位置相加（如图6所示的Add部分），获得输出特征/>。
实施例3 在本实施例中，对2D图像分割模块FastSCNN进行训练，过程如下：
将训练集中的图像数据输入2D图像分割模块FastSCNN，输出图像语义分割预测值，采用交叉熵损失函数计算预测值与样本图片特征真值/>之间的损失/>，计算公式如下：
其中，B为输入2D图像分割模块FastSCNN的图像的个数，i表示B中的第i个图像，C为类别数，j表示C中的第j个类别，表示对数函数；
对3D点云数据分割模块进行训练，过程如下：
将训练集中的图像数据输入3D点云数据分割模块，输出点云语义分割预测值，采用交叉熵损失函数计算预测值与点云特征真值/>之间的损失/>，计算公式如下：
其中，B为输入3D点云数据分割模块的数据的个数，i表示B中的第i个图像，C为类别数，j表示C中的第j个类别，表示对数函数；
训练3D点云数据分割模块，令3D点云数据分割模块输出的预测结果分布学习2D图像分割模块FastSCNN的预测结果分布，具体过程如下：
利用知识蒸馏（如图2所示的Knowledge Distillation部分）的方法，采用KL散度计算2D图像分割模块FastSCNN的预测结果分布U与3D点云数据分割模块的预测结果分布V的损失，计算公式如下：
其中，表示分布中具体某一类别，U表示2D图像分割模块FastSCNN的预测结果分布，V表示3D点云数据分割模块的预测结果分布，/>表示对数函数；
构建融合图像与点云数据的语义分割模型的总损失函数，/>的表达式如下：
最后，利用 SGD[1]优化器对总损失函数进行优化，使损失值达到最小。
此外，利用训练集和验证集对融合图像与点云数据的语义分割模型进行训练后，利用测试集测试融合图像与点云数据的语义分割模型的预测准确度，具体过程如下：
将测试集的点云数据输入融合图像与点云数据的语义分割模型，仅用3D分支3DBranch完成模型的推理过程，得到3D点云的点云语义分割预测值，计算/>与点云特征真值/>的交并比/>，计算公式如下：
其中，表示进行点云语义分割类别数量，/>表示预测为/>类正确的点，/>表示标签为/>类的点；
将作为融合图像与点云数据的语义分割模型的预测准确度，直到所有测试集测试完成，得到点云分割与预测的预测准确度。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种融合遥感图像与点云数据的地理要素识别方法，其特征在于，包括：
S1.采集图像数据和点云数据，对图像数据和点云数据分别进行类别标注，分别作为图像数据和点云数据的真实标签，将带有类别标注的图像数据和点云数据构建为样本数据集，将样本数据集划分为训练集、验证集、测试集；
S2.构建融合图像与点云数据的语义分割模型，融合图像与点云数据的语义分割模型包括用于提取图像数据的2D特征的2D分支2D Branch、用于提取点云数据的3D特征的3D分支3D Branch及融合结构Feature Fusion，所述2D分支2D Branch包括2D图像分割模块FastSCNN，输出2D特征E2D；所述3D分支3D Branch包括3D点云数据分割模块PFTransformer，输出3D特征E3D；融合结构Feature Fusion连接2D分支和3D分支，将2D特征和3D特征融合，过程如下：
3D点云数据分割模块PFTransformer输出的3D特征E3D经过第一共享感知机SharedMLP1后，输出为3D共享特征E3D′，令E3D′与2D图像分割模块FastSCNN输出的2D特征E2D通过Concat函数进行拼接，将拼接后的特征通过第二共享感知机Shared MLP2进行特征融合，得到融合特征E2D3D；
将融合特征E2D3D通过第三共享感知机Shared MLP3后进行Sigmoid函数计算，得到注意力权重，注意力权重与融合特征E2D3D进行Hadamard乘积，再以残差的方式与2D特征E3D按位置相加，并通过共享感知机Shared MLP组成的2D分类器2D Classfier，获得2D特征的图像语义分割预测值；
3D点云数据分割模块PFTransformer输出的3D特征E3D与经过第一共享感知机SharedMLP1的得到的3D共享特征E3D′进行融合，再通过3D分支3D Branch的3D分类器3DClassfier，获得3D点云的点云语义分割预测值；利用2D特征优化3D特征，得到图像分割预测值和点云分割预测值；
S3.利用训练集对融合图像与点云数据的语义分割模型进行训练，训练过程中分别计算图像分割预测值和点云分割预测值与真实标签图之间的损失值，根据损失值调整融合图像与点云数据的语义分割模型的参数，直到融合图像与点云数据的语义分割模型收敛，然后利用验证集对训练过程中的融合图像与点云数据的语义分割模型进行评估，得出训练好的融合图像与点云数据的语义分割模型，并利用测试集测试融合图像与点云数据的语义分割模型的预测准确度；
S4.将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果；
S5.利用不同的色彩对不同类别的点云分割结果进行标记，展示分割结果，实现地理要素的识别。
2.根据权利要求1所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述2D图像分割模块FastSCNN包括依次连接的主干网络特征编码器、双分支全局特征提取器、特征融合器；
所述双分支全局特征提取器包括两个分支：第一个分支由Bottleneck卷积块、SE注意力模块、Pyramid Pooling池化组成，提取图像数据的全局特征；第二个分支保留图像数据的原始特征信息，两个分支分别与特征融合器连接；特征融合器将全局特征提取器的两个分支的输出特征相加融合并调整通道数量，输出2D特征E2D。
3.根据权利要求2所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述3D点云数据分割模块PFTransformer包括3D点云特征编码器Encoding和3D点云特征解码器Decoding；
所述3D点云特征编码器Encoding包括依次连接的非下采样特征编码块和四层下采样特征编码块，输出编码后的点云特征；所述3D点云特征解码器Decoding包括依次连接的非上采样特征解码块和四层上采样特征解码块，对点云特征解码后得到3D特征E3D。
4.根据权利要求3所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述2D分支2D Branch还包括2D分类器2D Classfier，用于在融合结构Feature Fusion对2D特征和3D特征融合后进行分类，输出2D点云的图像语义分割预测值；
所述3D分支3D Branch还包括3D分类器3D Classfier，用于在融合结构FeatureFusion将2D特征和3D特征融合后进行分类，输出3D点云的点云语义分割预测值。
5.根据权利要求3所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述非下采样特征编码块包括共享感知机Shared MLP和特征自注意力块PFTransformerBlock，每一层下采样特征编码块包括下采样结构Transition Down和特征自注意力块PFTransformer Block；
所述非上采样特征解码块包括共享感知机Shared MLP和特征自注意力块PFTransformer Block，每一层上采样特征解码块包括上采样结构Transition UP和特征自注意力块PFTransformer Block。
6.根据权利要求5所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述特征自注意力块PFTransformer Block由n组循环结构构成，每组循环结构包含上层Shared MLP、位置与特征自注意力层PFTransformerLayer和下层Shared MLP。
7.根据权利要求5所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述下采样结构Transition Down基于点云特征的空间位置进行最远点采样，然后通过K近邻算法对采样点进行分组，利用共享感知机Shared MLP对每个点的组内特征进行特征提取，通过局部最大池化提取组内最大特征点，得到下采样特征；
所述上采样结构Transition UP利用共享感知机Shared MLP对输入的点云特征维度进行降维，然后根据点云特征的空间位置，使用三线性插值的方法对点云特征进行上采样，得到上采样特征。
8.根据权利要求6所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述位置与特征自注意力层PFTransformerLayer用于提取点云特征，过程如下：
基于欧式空间位置的自注意力机制，利用3个共享感知机Shared MLP对N个点云特征进行提取并分别记作ψp、αp，基于欧式空间距离对N个点云特征进行提取并分别记作qp、kp、vp，qp、kp、vp∈RN×D，其中，N是点云的数量，D是点云的特征维度；使用共享感知机Shared MLP对位置特征进行编码后获得特征δp；最后计算特征/>的计算表达公式如下：
其中，γp、ρp均表示共享感知机Shared MLP，即：共享感知机γp和共享感知机ρp，Xi表示N个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，⊙表示Hadamard乘积；
基于特征空间的子注意力机制，利用3个共享感知机Shared MLP对N个点云特征进行提取并分别记作ψf、αf，基于欧式空间距离对N个点云特征进行提取并分别记作qf、kf、vf，qf、kf、vf∈RN×D；使用Shared MLP对提取的点云特征进行编码后获得特征δf；最后计算特征的计算表达公式如下：
其中，γf、ρf均表示共享感知机Shared MLP，即：共享感知机γf和共享感知机ρf，Xi表示N个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，⊙表示Hadamard乘积；
使用Shared MLP将特征融合，获得提取后的点云特征yi，yi的计算公式如下：
其中，f表示语义特征空间的特征提取、p表示欧式空间的特征提取。
9.根据权利要求1所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，在步骤S4中，对2D图像分割模块FastSCNN进行训练，过程如下：
将训练集中的图像数据输入2D图像分割模块FastSCNN，输出图像语义分割预测值Z2D，采用交叉熵损失函数计算预测值与样本图片特征真值GtI之间的损失Loss2D，计算公式如下：
其中，B为输入2D图像分割模块FastSCNN的图像的个数，i表示B中的第i个图像，C为类别数，j表示C中的第j个类别，log表示对数函数；
对3D点云数据分割模块进行训练，过程如下：
将训练集中的图像数据输入3D点云数据分割模块，输出点云语义分割预测值Z3D，采用交叉熵损失函数计算预测值与点云特征真值GtP之间的损失Loss3D，计算公式如下：
其中，B为输入3D点云数据分割模块的数据的个数，i表示B中的第i个图像，C为类别数，j表示C中的第j个类别，log表示对数函数；
训练3D点云数据分割模块，令3D点云数据分割模块输出的预测结果分布学习2D图像分割模块FastSCNN的预测结果分布，具体过程如下：
利用知识蒸馏的方法，采用KL散度计算2D图像分割模块FastSCNN的预测结果分布与3D点云数据分割模块的预测结果分布的损失LossKL，计算公式如下：
其中，M表示进行点云语义分割类别数量，ci表示分布中具体某一类别，U表示2D图像分割模块FastSCNN的预测结果分布，V表示3D点云数据分割模块的预测结果分布，log表示对数函数；
构建融合图像与点云数据的语义分割模型的总损失函数Losstotal，Losstotal的表达式如下：
Losstotal＝Loss2D(Z2D,GtI)+Loss3D(Z3D,GtP)+LossKL(U,V)
最后，对总损失函数Losstotal进行优化，使损失值达到最小。
CN202310539805.2A 2023-05-15 2023-05-15 一种融合遥感图像与点云数据的地理要素识别方法 Active CN116258970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539805.2A CN116258970B (zh) 2023-05-15 2023-05-15 一种融合遥感图像与点云数据的地理要素识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539805.2A CN116258970B (zh) 2023-05-15 2023-05-15 一种融合遥感图像与点云数据的地理要素识别方法

Publications (2)

Publication Number Publication Date
CN116258970A CN116258970A (zh) 2023-06-13
CN116258970B true CN116258970B (zh) 2023-08-08

Family

ID=86684705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539805.2A Active CN116258970B (zh) 2023-05-15 2023-05-15 一种融合遥感图像与点云数据的地理要素识别方法

Country Status (1)

Country Link
CN (1) CN116258970B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257637A (zh) * 2020-10-30 2021-01-22 福州大学 一种融合点云和多视图的车载激光点云多目标识别方法
CN114255238A (zh) * 2021-11-26 2022-03-29 电子科技大学长三角研究院(湖州) 一种融合图像特征的三维点云场景分割方法及系统
CN116071747A (zh) * 2022-12-30 2023-05-05 北京理工大学 一种基于3d点云数据和2d图像数据融合匹配语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264572B (zh) * 2019-06-21 2021-07-30 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257637A (zh) * 2020-10-30 2021-01-22 福州大学 一种融合点云和多视图的车载激光点云多目标识别方法
CN114255238A (zh) * 2021-11-26 2022-03-29 电子科技大学长三角研究院(湖州) 一种融合图像特征的三维点云场景分割方法及系统
CN116071747A (zh) * 2022-12-30 2023-05-05 北京理工大学 一种基于3d点云数据和2d图像数据融合匹配语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fusion of images and point clouds for the semantic segmentation of large-scale 3D scenes based on deep learning;Rui Zhang等;《ISPRS Journal of Photogrammetry and Remote Sensing》;第85-96页 *

Also Published As

Publication number Publication date
CN116258970A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN111915627B (zh) 语义分割方法、网络、设备及计算机存储介质
CN112052839B (zh) 图像数据处理方法、装置、设备以及介质
US20180231871A1 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN110738697A (zh) 基于深度学习的单目深度估计方法
CN110175986B (zh) 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN111127538B (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN112926396A (zh) 一种基于双流卷积注意力的动作识别方法
CN110705566B (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
CN112613343B (zh) 一种基于改进YOLOv4的河道废弃物监测方法
CN112560831A (zh) 一种基于多尺度空间校正的行人属性识别方法
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN116309536A (zh) 一种路面裂缝检测方法及存储介质
CN116258970B (zh) 一种融合遥感图像与点云数据的地理要素识别方法
CN116485860A (zh) 一种基于多尺度渐进交互和聚合交叉注意力特征的单目深度预测算法
CN115861948A (zh) 车道线检测方法、设备及预警方法、系统、介质
CN116137043A (zh) 一种基于卷积和Transformer的红外图像彩色化方法
CN114332496A (zh) 一种静态目标分割方法和系统
CN111931689B (zh) 一种在线提取视频卫星数据鉴别特征的方法
CN111898671B (zh) 激光成像仪和彩色相机编码融合目标识别方法及系统
CN114926882A (zh) 一种基于detr的人脸检测方法
CN107832727A (zh) 一种室内商场店铺特征提取方法
Yuan et al. Graph neural network based multi-feature fusion for building change detection
CN113450366B (zh) 基于AdaptGAN的低照度语义分割方法
CN114429524B (zh) 单目视觉下的三维目标检测模型的构建方法及检测方法
CN116503737B (zh) 基于空间光学图像的船舶检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant