CN114387505A - 一种高光谱与激光雷达多模态遥感数据分类方法及系统 - Google Patents

一种高光谱与激光雷达多模态遥感数据分类方法及系统 Download PDF

Info

Publication number
CN114387505A
CN114387505A CN202111507974.5A CN202111507974A CN114387505A CN 114387505 A CN114387505 A CN 114387505A CN 202111507974 A CN202111507974 A CN 202111507974A CN 114387505 A CN114387505 A CN 114387505A
Authority
CN
China
Prior art keywords
hyperspectral
remote sensing
layer
sensing data
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111507974.5A
Other languages
English (en)
Inventor
王晶晶
张波
孙增钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111507974.5A priority Critical patent/CN114387505A/zh
Publication of CN114387505A publication Critical patent/CN114387505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，提供了一种高光谱与激光雷达多模态遥感数据分类方法及系统。该方法包括，获取高光谱图像和激光雷达图像；采用CNN分别提取高光谱图像的特征图和激光雷达图像的特征图；基于所述高光谱图像的特征图和激光雷达图像的特征图，采用交叉特征重构模块，得到融合后的多模态特征；基于所述多模态特征，采用分类器，得到分类结果。

Description

一种高光谱与激光雷达多模态遥感数据分类方法及系统
技术领域
本发明属于图像处理领域，尤其涉及一种高光谱与激光雷达多模态遥感数据分类方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
高光谱遥感图像指的是通过高光谱成像仪获取的图像，具有十分丰富的空间信息和光谱信息。此外，高光谱图像还具备更多的波段数以及极高的分辨率，因此，对其进行光谱特征和空间特征分析，就可以得到详细的地物特征。激光雷达用激光器作为发射光源，采用光电探测技术手段的主动遥感设备。激光雷达是激光技术与现代光电探测技术结合的先进探测方式。与普通微波雷达相比，激光雷达由于使用的是激光束，工作频率较微波高了许多，因此带来了很多优点，主要有：(1)分辨率高(2)隐蔽性好、抗有源干扰能力强(3)低空探测性能好(4)体积小、质量轻，在刻绘物体3D外形轮廓具有很大的优势。目前，高光谱和激光雷达成像技术已经应用十分广泛，包括精准农业、大气监测、海洋检测等领域。随着高光谱和激光雷达成像技术在越来越多的领域被广泛应用，如何更快速准确的识别物体及快速准确地将物质分类就成了急需待解决的问题。
对于高光谱图像和激光雷达图像的多模态遥感数据分类任务，形态学轮廓和基于子空间学习的方法是多模态遥感数据特征提取和分类的两大类主要方法，尽管这些传统的浅层模型取得了令人满意的性能，但由于不同模式之间存在较大的差距，特征表示能力仍然有限。受最近各种深度网络在从数据中提取更多鉴别特征方面取得成功的启发，比如卷积神经网络(CNN)、递归神经网络(RNN)、图卷积网络(GCN)和深度相似网络等，这些已经提出了一些初步的多模式网络，并将其用于遥感图像，获得了比仅使用单一模式更好的分类结果。但是，融合策略是决定多模态网络性能的关键因素，可大致分为两组：基于级联的融合和基于对准的融合。一般来说，前者直接堆叠早期、中期或晚期阶段的图像或特征，分别导致早期融合、中期融合和晚期融合，而后者，顾名思义，通过相似性度量或约束对齐不同的模式，并有效地实现融合过程。这些新开发的方法已被证明是融合多个遥感数据源的有效方法，但这些现有方法在处理多模态数据，特别是异构数据(例如HS和SAR数据、HS和激光雷达)方面的能力仍然有限。这可能是因为缺乏更先进的融合策略来更好地消除不同模式之间的差距并获得特征。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题
不同数据模式之间存在较大的差距，使用形态学轮廓和基于子空间学习的方法来表示特征仍然有限。
(2)常用的直接堆叠早期、中期或晚期阶段的图像或特征，这些现有方法在处理多模态数据，特别是异构数据(例如HS和SAR数据、HS和激光雷达)方面的能力仍然有限。
(3)由于高光谱数据集训练样本有限，随着网络深度增加，可能会出现梯度消失的现象。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种高光谱与激光雷达多模态遥感数据分类方法及系统，其获得的图像分类结果更加精确，有助于后续地物研究、林业监测等，具有一定的实用性。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种高光谱与激光雷达多模态遥感数据分类方法。
一种高光谱与激光雷达多模态遥感数据分类方法，包括：
获取高光谱图像和激光雷达图像；
采用CNN分别提取高光谱图像的特征图和激光雷达图像的特征图；
基于所述高光谱图像的特征图和激光雷达图像的特征图，采用交叉特征重构模块，得到融合后的多模态特征；
基于所述多模态特征，采用分类器，得到分类结果。
本发明的第二个方面提供一种高光谱与激光雷达多模态遥感数据分类系统。
一种高光谱与激光雷达多模态遥感数据分类系统，包括：
获取模块，其被配置为：获取高光谱图像和激光雷达图像；
特征提取模块，其被配置为：采用CNN分别提取高光谱图像的特征图和激光雷达图像的特征图；
融合模块，其被配置为：基于所述高光谱图像的特征图和激光雷达图像的特征图，采用交叉特征重构模块，得到融合后的多模态特征；
分类模块，其被配置为：基于所述多模态特征，采用分类器，得到分类结果。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的高光谱与激光雷达多模态遥感数据分类方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的高光谱与激光雷达多模态遥感数据分类方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明采用卷积神经网络进行特征提取，可以充分准确地提取到特征图像。
本发明采用高光谱和激光雷达图像融合的方式，可以充分结合二者的优势，可以更精确地识别物体，从而更精确的实现分类。
本发明采用一种新型编码器-解码器网络即交叉特征重构模型(CFR)，比传统的早期融合，中期融合，晚期融合能更紧密的融合特征，CFR模块中的这种交叉重建模式可以在特征级实现有效的信息交换和更紧凑的融合，从而提高分类精度，使分类结果更加准确清晰。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明示出的高光谱与激光雷达多模态遥感数据分类方法的网络架构图；
图2是本发明示出的CNN进行图像特征图提取的网络框架图；
图3展示了早期融合，中期融合，晚期融合及CFR融合之间的差异对比图；
图4是本发明示出的CFR模块的结构图；
图5(a)是本发明示出的不使用CFR模块的情况时下特征图的可视化视觉图一；
图5(b)是本发明示出的使用CFR模块的情况时下特征图的可视化视觉图一；
图5(c)是本发明示出的不使用CFR模块的情况时下特征图的可视化视觉图二；
图5(d)是本发明示出的使用CFR模块的情况时下特征图的可视化视觉图二；
图6是本发明示出的融合策略的消融实验研究结果对比图；
图7是本发明示出的评估效果与目前先进的分类模型对比效果图；
图8是本发明示出的高光谱与激光雷达多模态遥感数据分类方法的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
如图8所示，本实施例提供了一种高光谱与激光雷达多模态遥感数据分类方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取高光谱图像和激光雷达图像；
采用CNN分别提取高光谱图像的特征图和激光雷达图像的特征图；
基于所述高光谱图像的特征图和激光雷达图像的特征图，采用交叉特征重构模块，得到融合后的多模态特征；
基于所述多模态特征，采用分类器，得到分类结果。
本实施例所提供的基于卷积神经网络的高光谱与激光雷达的多模态遥感数据分类方法网络整体架构如图1所示，交叉特征重构(CFR)模块如图4所示。图7展示了本实施例的评估效果与目前先进的分类模型对比效果图。具体步骤如下：
如图1所示，首先将高光谱图像和激光雷达图像同时送入CNN进行图像特征图提取，双路CNN中为每个模态提供特征提取模块，如图2所示；因为卷积神经网络的输入层可以处理多维数据，而且在网络在计算机视觉领域应用较广，因此许多研究在介绍其结构时预先假设了三维输入数据，即平面上的二维像素点和RGB通道。近年来，CNN已被证明在提取遥感数据的鉴别特征表示上是一种有效的工具。在本实施例中，提取器由每个模态流中的两个CNN块组成，每个块具有3×3卷积层、批处理归一化(BN)层、2×2max池化层和ReLU激活层。
构建Cross-Feature Reconstruction(CFR)交叉特征重构模块。以前的多模态特征融合方法通常遵循基于级联的融合策略，比如早期融合、中期融合、后期融合等。编码器-解码器体系结构是一种相对较新的融合方式，经过编码器-解码器架构可以产生更紧凑的特征表示。此外，本实施例构建Cross-Feature Reconstruction(CFR)交叉特征重构模块通过交叉通道预测遵循编码器体系结构，以便使从不同模态提取的特征以更充分的方式融合。更具体地说，CFR模块中的这种交叉重建模式可以在特征级实现有效的信息交换和更紧凑的融合。图3展示出了早期融合，中期融合，晚期融合，以及本实施例提出的交叉融合策略之间的差异。CFR模块中的融合过程可表述为
Figure BDA0003403991280000081
其中
Figure BDA0003403991280000082
表示第l层中的像素级融合特征。gen函数在CFR中定义为编码器网络，
Figure BDA0003403991280000083
表示CNN的第p层的输出，
Figure BDA0003403991280000084
表示在编码器中第p层CNN的权重和CNN中第l层的权重，
Figure BDA0003403991280000085
表示在编码器中CNN中第l层的偏移量；l表示CNN第几层；p表示CNN层数；m表示一个无穷量，实质代指一个数。
而解码器部分可表述为：
Figure BDA0003403991280000086
其中
Figure BDA0003403991280000087
表示第l层中的像素级重建特征，Vi (m)表示第m层中像素级融合的特征；
Figure BDA0003403991280000088
表示在解码器中CNN中第l层的权重；
Figure BDA0003403991280000089
表示在解码器中偏移量；l表示CNN第几层；m表示一个无穷量，实质代指一个数；为了执行交叉特征重构模块，要学习从输入特征
Figure BDA00034039912800000810
到输出重构特征
Figure BDA00034039912800000811
网络的映射。CFR模块如图4所示。
本实施例提到的Cross-Feature Reconstruction(CFR)模块中的网络参数可以通过联合优化以下总体损耗函数来更新：
L＝Ll+αLrec
在我们的例子中，参数α通过实验和经验确定为1，从而产生相对稳定的性能。Ll是融合特征Vi (m)和一个标签Yi之间的交叉熵损失，可表示为：
Figure BDA00034039912800000812
其中Lrec是CFR的损失函数：
Figure BDA00034039912800000813
其中
Figure BDA0003403991280000091
表示输出重构特征，Lrec是通过L2-norm计算重建特征
Figure BDA0003403991280000092
和交叉信道特征
Figure BDA0003403991280000093
之间的损耗正则化范数。
本实施例除了研究定量分类精度之外，还从可视化视觉角度验证了CFR模块在融合多模态特征方面的有效性，在高光谱图像的感兴趣区域中可视化有和没有CFR模块的特征映射，如图5(a)-图(d)所示。通过CFR模块生成的特征图的边缘和结构上比没有CFR模块的特征更清晰，产生了更详细和精细的融合特征图。此外，我们还做了融合策略的消融实验研究。早期融合、中期融合和晚期融合是多模态融合网络中三种主要融合策略，CFR模型是中期融合的衍生模型。为了验证CFR模块的有效性，在HS LiDAR Houston 2013数据集上对早期融合、中期融合、晚期融合和CFR融合进行了定量比较，结果如图6所示，早期融合的性能较差，因为多模态遥感数据耦合发生在初始阶段，而晚期融合策略侧重于决策层，在一定程度上忽略了特征层的信息交换。作为一种权衡，中间融合倾向于获得更好的融合效果。
本实施例在HS LiDAR Houston 2013数据集上进行了大量实验。将模型得到的结果，与数据集的Ground Truth进行比较，并分别三种评价指标
Figure BDA0003403991280000094
(整体精度)、
Figure BDA0003403991280000095
(平均精度)、
Figure BDA0003403991280000096
系数进行分类结果评估，评估效果与目前先进的分类模型对比，如图7所示，表明本实施例分类精度更高，分类效果更好，具有一定的实用性。
实施例二
本实施例提供了一种高光谱与激光雷达多模态遥感数据分类系统。
一种高光谱与激光雷达多模态遥感数据分类系统，包括：
获取模块，其被配置为：获取高光谱图像和激光雷达图像；
特征提取模块，其被配置为：采用交叉特征重构模块分别提取高光谱图像的特征图和激光雷达图像的特征图；
融合模块，其被配置为：基于所述高光谱图像的特征图和激光雷达图像的特征图，采用交叉特征重构模块，得到融合后的多模态特征；
分类模块，其被配置为：基于所述多模态特征，采用分类器，得到分类结果。
此处需要说明的是，上述获取模块、特征提取模块、融合模块和分类模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的高光谱与激光雷达多模态遥感数据分类方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的高光谱与激光雷达多模态遥感数据分类方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高光谱与激光雷达多模态遥感数据分类方法，其特征在于，包括：
获取高光谱图像和激光雷达图像；
采用CNN分别提取高光谱图像的特征图和激光雷达图像的特征图；
基于所述高光谱图像的特征图和激光雷达图像的特征图，采用交叉特征重构模块，得到融合后的多模态特征；
基于所述多模态特征，采用分类器，得到分类结果。
2.根据权利要求1所述的高光谱与激光雷达多模态遥感数据分类方法，其特征在于，采用双路所述CNN提取特征，每一路的CNN包括卷积层、批处理归一化层、池化层和ReLU激活层。
3.根据权利要求1所述的高光谱与激光雷达多模态遥感数据分类方法，其特征在于，所述交叉特征重构模块包括编码器模块和解码器模块。
4.根据权利要求3所述的高光谱与激光雷达多模态遥感数据分类方法，其特征在于，所述编码器模块被配置为：
Figure FDA0003403991270000011
其中，Vi (l)表示第l层中的像素级融合特征，gen函数在CFR中定义为编码器网络，
Figure FDA0003403991270000012
表示CNN的第p层的输出，
Figure FDA0003403991270000013
表示在编码器中第p层CNN的权重和CNN中第l层的权重，
Figure FDA0003403991270000014
表示在编码器中CNN中第l层的偏移量；l表示CNN第几层；p表示CNN层数；m表示一个无穷量，实质代指一个数。
5.根据权利要求4所述的高光谱与激光雷达多模态遥感数据分类方法，其特征在于，所述解码器模块被配置为：
Figure FDA0003403991270000015
其中
Figure FDA0003403991270000016
表示第l层中的像素级重建特征，Vi (m)表示第m层中像素级融合的特征；Wu (l)表示在解码器中CNN中第l层的权重；
Figure FDA0003403991270000021
表示在解码器中偏移量；l表示CNN第几层；m表示一个无穷量，实质代指一个数；为了执行交叉特征重构模块，要学习从输入特征
Figure FDA0003403991270000022
到输出重构特征
Figure FDA0003403991270000023
网络的映射。
6.根据权利要求1所述的高光谱与激光雷达多模态遥感数据分类方法，其特征在于，采用损失函数优化所述交叉特征重构模块的网络参数。
7.根据权利要求6所述的高光谱与激光雷达多模态遥感数据分类方法，其特征在于，所述损失函数为：
Figure FDA0003403991270000024
其中
Figure FDA0003403991270000025
表示输出重构特征，Lrec是通过L2-norm计算重建特征
Figure FDA0003403991270000026
和交叉信道特征
Figure FDA0003403991270000027
之间的损耗正则化范数。
8.一种高光谱与激光雷达多模态遥感数据分类系统，其特征在于，包括：
获取模块，其被配置为：获取高光谱图像和激光雷达图像；
特征提取模块，其被配置为：采用CNN分别提取高光谱图像的特征图和激光雷达图像的特征图；
融合模块，其被配置为：基于所述高光谱图像的特征图和激光雷达图像的特征图，采用交叉特征重构模块，得到融合后的多模态特征；
分类模块，其被配置为：基于所述多模态特征，采用分类器，得到分类结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的高光谱与激光雷达多模态遥感数据分类方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的高光谱与激光雷达多模态遥感数据分类方法中的步骤。
CN202111507974.5A 2021-12-10 2021-12-10 一种高光谱与激光雷达多模态遥感数据分类方法及系统 Pending CN114387505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111507974.5A CN114387505A (zh) 2021-12-10 2021-12-10 一种高光谱与激光雷达多模态遥感数据分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111507974.5A CN114387505A (zh) 2021-12-10 2021-12-10 一种高光谱与激光雷达多模态遥感数据分类方法及系统

Publications (1)

Publication Number Publication Date
CN114387505A true CN114387505A (zh) 2022-04-22

Family

ID=81195969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111507974.5A Pending CN114387505A (zh) 2021-12-10 2021-12-10 一种高光谱与激光雷达多模态遥感数据分类方法及系统

Country Status (1)

Country Link
CN (1) CN114387505A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984655A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 一种基于跨域共享的多模态遥感数据融合方法
CN117092612A (zh) * 2023-10-18 2023-11-21 湘潭大学 基于激光雷达的自动驾驶导航方法
CN117312612A (zh) * 2023-10-07 2023-12-29 广东鼎尧科技有限公司 一种基于多模态的远程会议数据记录方法、系统和介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984655A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 一种基于跨域共享的多模态遥感数据融合方法
CN115984655B (zh) * 2022-12-19 2023-06-13 中国科学院空天信息创新研究院 一种基于跨域共享的多模态遥感数据融合方法
CN117312612A (zh) * 2023-10-07 2023-12-29 广东鼎尧科技有限公司 一种基于多模态的远程会议数据记录方法、系统和介质
CN117312612B (zh) * 2023-10-07 2024-04-02 广东鼎尧科技有限公司 一种基于多模态的远程会议数据记录方法、系统和介质
CN117092612A (zh) * 2023-10-18 2023-11-21 湘潭大学 基于激光雷达的自动驾驶导航方法
CN117092612B (zh) * 2023-10-18 2024-01-26 湘潭大学 基于激光雷达的自动驾驶导航方法

Similar Documents

Publication Publication Date Title
CN111797653B (zh) 基于高维图像的图像标注方法和装置
CN114387505A (zh) 一种高光谱与激光雷达多模态遥感数据分类方法及系统
CN111723693B (zh) 一种基于小样本学习的人群计数方法
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN112686331B (zh) 伪造图像识别模型训练方法及伪造图像识别方法
Peeples et al. Histogram layers for texture analysis
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
Feng et al. A color image segmentation method based on region salient color and fuzzy c-means algorithm
Alaei et al. Image quality assessment based on regions of interest
Mu et al. Salient object detection using a covariance-based CNN model in low-contrast images
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
Grigorev et al. Depth estimation from single monocular images using deep hybrid network
Lee A Study on Classification and Detection of Small Moths Using CNN Model.
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
Fu et al. Robust multi-kernelized correlators for UAV tracking with adaptive context analysis and dynamic weighted filters
Bose et al. In-situ recognition of hand gesture via Enhanced Xception based single-stage deep convolutional neural network
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
Ju et al. A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation
CN113297964A (zh) 基于深度迁移学习的视频目标识别模型及方法
Xue et al. Automatic identification of butterfly species based on gray-level co-occurrence matrix features of image block
CN117523626A (zh) 伪rgb-d人脸识别法
CN114581475A (zh) 基于多尺度显著性特征的激光条纹分割方法
Li et al. Superpixel-based adaptive salient region analysis for infrared and visible image fusion
Rimavičius et al. Automatic benthic imagery recognition using a hierarchical two-stage approach
Sara et al. MC-CDPNet: multi-channel correlated detail preserving network for X-Ray-based baggage screening

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination