CN111582363B - 一种基于多视点深度特征融合SENet网络的分类方法 - Google Patents

一种基于多视点深度特征融合SENet网络的分类方法 Download PDF

Info

Publication number
CN111582363B
CN111582363B CN202010373506.2A CN202010373506A CN111582363B CN 111582363 B CN111582363 B CN 111582363B CN 202010373506 A CN202010373506 A CN 202010373506A CN 111582363 B CN111582363 B CN 111582363B
Authority
CN
China
Prior art keywords
pan
fusion
component
senet
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010373506.2A
Other languages
English (en)
Other versions
CN111582363A (zh
Inventor
朱浩
马梦茹
洪世宽
马文萍
张俊
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010373506.2A priority Critical patent/CN111582363B/zh
Publication of CN111582363A publication Critical patent/CN111582363A/zh
Application granted granted Critical
Publication of CN111582363B publication Critical patent/CN111582363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

本发明公开了一种基于多视点深度特征融合SENet网络的分类方法，将强度‑色调‑饱和度(IHS)和离散小波变换相结合，将PAN和MS的块对交互融合，从而减小它们之间的信息分布差异；基于SENets中特征通道的注意机制模块，将多视点接受域信息嵌入到网络结构中，可以从大目标和小目标中提取出重要的、鲁棒的特征。本发明网络适用于大场景中包含许多不同尺寸物体的遥感图像的分类，提高了分类的性能，可用于多源遥感图像的分类或逐像素的分类。实验结果表明，MDFF‑SENet具有良好的竞争性能。

Description

一种基于多视点深度特征融合SENet网络的分类方法
技术领域
本发明属于计算机视觉图像处理技术领域，具体涉及一种基于多视点深度特征融合SENet网络的分类方法，可用于土地利用分析、环境监测、植被覆盖、城市建设等遥感图像地物分类相关领域中。
背景技术
随着传感器技术以及设施的不断发展，我们可以获取到更多种类的遥感图像，且单一类型的遥感图像已经完全不能满足人们日益增长的应用需求，为了提取出多种遥感图像的不同特征，进而对其进行分类，因此，我们需要将具有不同优势的遥感图像进行融合，充分利用多源遥感图像之间的差异性和互补性，进而获取高质量的图像，充分发挥多源遥感图像之间的各种优势。
近年来，在先进设备技术的支持下，许多地球观测卫星(如Landsat、IKONOS、高分一号、QuickBird)可以在相同的覆盖区域内获取全色(PAN)图像和多光谱(MS)图像。全色(PAN)图为单通道，但相比于MS图含有丰富的空间分辨率，而MS图为4通道的多光谱图像，分别是RGB和近红外通道，含有丰富的光谱信息。但是，由于反射率值随着光谱波段和地表覆盖的不同而不同，MS图像比PAN图像可以记录更多的地表信息。然而，由于较小的信噪比和传感器约束，MS图像的空间分辨率通常小于PAN图像。因此，PAN数据中较细的空间信息与MS数据中较丰富的光谱信息之间的这种内在互补性为多分辨率遥感图像分类提供了重要的发展潜力。
目前，深度学习作为计算机视觉领域的一个非常热门的研究方向，也被引入到多分辨率的遥感分类中。这些研究通常在原始数据上直接进行处理，并巧妙地设计网络的输入和输出。其输入是来自同一场景的一对MS和PAN图块，网络通常包括一个PAN分支和一个MS分支来提取各自的特征，然后融合向量化的特征进行分类。
传统的融合方式主要分为两种，一种是对应位置像素值直接进行相加，一种是直接将向量特征拼接在一起，这种通过元素(加)或者向量(叠)的融合方式，直接简单粗暴地合并两个分支的不同属性的特性。事实上，这相当于需要让网络自己学会一种强大的映射关系，而这种映射关系又不能很好地将矢量化的特征与不同的属性合并在一起。我们希望通过采用深度学习的视角，找到更好的解决方案。为此，我们提出了一种针对多分辨率遥感图像分类的深度学习框架。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多视点深度特征融合SENet网络的分类方法，在MS和PAN图像在提取特征阶段之前，首先需要将MS和PAN的图像块进行提前混合，然后设计相应的网络SQUEEZE-AND-EXCITATION实现特征的逐渐融合。
本发明采用以下技术方案：
一种基于多视点深度特征融合SENet网络的分类方法，包括以下步骤：
S1、从数据集中读入多光谱影像，包括配准后的PAN和MS图像数据以及对应的只有部分区域的类标ground truth图；
S2、利用读入的MS和PAN图像进而构造MS_fusion和PAN_fusion；
S3、构造多视点深度特征融合的SQUEEZE-AND-EXCITATION分类网络；从PAN和MS图像中提取一对对应的图像块作为输入，PAN的大小为64*64*1，MS的大小为16*16*4，利用切片的方式进行截取，对数据进行预处理；使用三个模块提取融合特征，每个模块的输出是下一个模块的输入，进行特征提取；将获得的特性经过池化后，转换为一个特征向量，并经过三个完全连接的层，最终估计出PAN和MS块对的每一类概率；
S4、使用交叉熵损失构造网络的损失函数；
S5、超参数的调整；
S6、用训练数据集对分类模型进行训练，得到训练好的分类模型；
S7、将测试数据集的样本块作为训练好的分类模型的输入，利用训练好的分类模型对测试数据集进行分类。
具体的，步骤S2具体为：
S201、利用MS data制作MS_fusion为：
MS_fusion＝IIHS{I_fusion，H,S}
其中，IIHS为反色彩空间变换，I_fusion为MS的融合分量亮度的颜色，H为色度，S为饱和度；
S202、利用PAN data制作PAN_fusion为：
Figure BDA0002479248450000031
其中，LLPAN为PAN图经过离散小波变换之后的的低频分量，LHPAN为PAN图的水平高频分量，HLPAN为PAN图的垂直高频分量，HHPAN为PAN图的对角高频分量，
Figure BDA0002479248450000032
为色度分量的水平高频部分，
Figure BDA0002479248450000033
为色度分量的垂直高频部分，
Figure BDA0002479248450000034
为色度分量的对角高频部分。
进一步的，步骤S201具体为：
S2011、保留MS的原始分辨率，将PAN采样到与MS相同的大小并表示为PAN1，然后将MS从RGB空间分解为IHS空间；
S2012、对PAN1和MS的I分量分别进行离散小波变换；
S2013、保留MS原有的低频平滑分量，将PAN对应的高频分量加入到其他三个高频分量中看，通过反离散小波变换得到融合分量I_fusion；
S2014、将得到的I_fusion分量与原H、S分量反变换为RGB空间。
进一步的，步骤S2013中，融合分量I_fusion为：
Figure BDA0002479248450000041
其中，
Figure BDA0002479248450000042
为下采样PAN图之后的水平高频分量，
Figure BDA0002479248450000043
为下采样PAN图之后的垂直高频分量，
Figure BDA0002479248450000044
为下采样PAN图之后的对角高频分量，DWT(I)为对I分量求解离散小波变换。
进一步的，步骤S202具体为：
S2021、将MS的光谱信息加入PAN，将MS图的I分量向上采样到与PAN相同的大小，表示为I1，然后用DWT分别对PAN和I1进行变换；
S2022、保留原PAN的低频平滑(LL)分量，将I1对应的高频分量加入到其他三个高频分量中，最后通过IDWT得到融合分量PAN_fusion。
具体的，步骤S3中，预处理具体为：
S3011、混入PAN和MS得到PAN_fusion和MS_fusion，PAN和MS块都经过两个卷积层，PAN特征图与MS特征图具有相同的维数；
S3012、采用串联方式融合PAN和MS。
7.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S3中特征提取具体为：
S3021、通过一个SENet块通过学习的方式自动获取每个特征通道的重要度，然后根据重要度对有用特征进行增强；
S3022、将SENet块的输出特征加入到SENet块的输入特征中，补偿SENet过程中全局池化导致的有用信息的丢失；
S3023、用三种不同大小的卷积核对特征进行卷积运算。
具体的，步骤S4中，网络的损失函数H(p,q)为：
Figure BDA0002479248450000051
其中，p(x)为分类的真实概率分布，q(x)为分类的预测概率分布。
具体的，步骤S5中，训练样本数为总数据集的20％；初始的学习率为0.002；迭代的总次数为60000；每次输入的样本数为1200。
具体的，步骤S6中，将训练数据集的样本块对作为分类器的输入，MS和PAN图相对应的一对同时输入两个网络的两个支路，训练数据集中每个像素点的类别作为分类模型的输出，通过求解类别与地面实况图上所对应的真实类别之间的误差，然后通过反向传播使误差最小，优化分类模型的网络参数，得到训练好的分类模型。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于多视点深度特征融合SENet网络的分类方法，对于所提网络的输入，考虑PAN和MS之间的数据差异，将强度、色调饱和度(IHS)变换和离散小波变换算法相结合，分别混入PAN和MS块。这样，PAN和MS都包含了对方的信息，使得后续的特征级融合在网络中不会太突然，这有利于网络的稳定性；在网络结构方面，针对大场景遥感图像中包含不同分辨率目标的情况，提出了一种基于SE的多视点深度特征融合网络MDFF-SENets。该网络可以从较大和较小的目标中提取出重要和健壮的特征。
进一步的，利用读入的MS和PAN图像进而构造MS_fusion和PAN_fusion，能够减少不同源数据之间的差异，减轻网络学习的压力。
进一步的，在特征融合方面，通过网络将PAN降至与MS相同的特征映射维数，然后将其融合为一个特征映射维数，目标是允许网络从合并的特性中提取更深层的特性，而不是PAN或MS分别的特性。
进一步的，使用交叉熵损失构造网络的损失函数，能够在训练网络的过程中，不断地优化模型参数。
进一步的，对超参数进行调整，保存最优的模型，促进分类的准确率。
进一步的，通过训练数据集对分类模型进行训练能够提取更多的有用特征。
综上所述，本发明可以从大目标和小目标中提取出重要的、鲁棒的特征，适用于大场景中包含许多不同尺寸物体的遥感图像的分类。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的PAN和MS的混合策略图；
图2为本发明的多视点深度特征融合SQUEEZE-AND-EXCITATION网络(MDFF-SENet)的流程图；
图3为用本发明对西安市区待分类图像的分类结果图，其中，(a)是MS图像(RGB通道显示)；(b)是PAN图像；(c)是groundtruth；(d)是MRF-based方法；(e)是DMIL方法；(f)是SML-CNN方法；(g)是本发明MDFF-SENet方法。
具体实施方式
本发明提供了一种基于多视点深度特征融合SENet(SQUEEZE-AND-EXCITATION)网络的分类方法，将强度-色调-饱和度(IHS)和离散小波变换相结合，将PAN和MS的块对交互融合，从而减小它们之间的信息分布差异。基于SENets中特征通道的注意机制模块，将多视点接受域信息嵌入到网络结构中，可以从大目标和小目标中提取出重要的、鲁棒的特征。本发明网络适用于大场景中包含许多不同尺寸物体的遥感图像的分类，提高了分类的性能，可用于多源遥感图像的分类或逐像素的分类。实验结果表明，MDFF-SENet具有良好的竞争性能。
本发明一种基于多视点深度特征融合SENet网络的分类方法，包括以下步骤：
S1、从数据集中读入多光谱影像，其中包括西安已配准后的PAN和MS图像数据以及对应的只有部分区域的类标ground truth图；
S2、利用读入的MS和PAN图像进而构造MS_fusion和PAN_fusion；
S201、利用MS data制作MS_fusion；
S2011、对于MS，为了保证其原始光谱波段不失真，保留了MS的原始分辨率，并且没有将MS向上采样到与PAN相同的大小，而是将PAN采样到与MS相同的大小，并将其表示为PAN1。然后将MS从RGB空间分解为IHS空间
{I,H,S}＝IHS{MSRGB}
S2012、不是直接将IHS空间中的I分量替换为PAN，因为直接替换会丢失原始的MS图的空间信息。因此，首先对PAN1和MS的I分量分别进行离散小波变换(DWT)
{LLI,LHI,HLI,HHI}＝DWT(I)
Figure BDA0002479248450000071
其中，LL，LH，HL，HH分别表示低频、水平高频、垂直高频和对角高频分量。
S2013、保留MS原有的低频平滑分量，将PAN对应的高频分量加入到其他三个高频分量中，通过反离散小波变换(IDWT)得到融合分量I_fusion：
Figure BDA0002479248450000081
S2014、将得到的I_fusion分量与原H、S分量反变换为RGB空间
MS_fusion＝IIHS{I_fusion，H,S}
S202、利用PAN data制作PAN_fusion；
S2021、于PAN，还需要将MS的光谱信息加入其中。将MS图的I分量向上采样到与PAN相同的大小，表示为I1，然后与上述操作类似，用DWT分别对PAN和I1进行变换。
Figure BDA0002479248450000082
Figure BDA0002479248450000083
S2022、保留了原PAN的低频平滑(LL)分量，将I1对应的高频分量加入到其他三个高频分量中，最后通过IDWT得到融合分量PAN_fusion；
Figure BDA0002479248450000084
请参阅图1，首先对PAN和MS的数据进行处理，首先做数据融合，有利于将PAN中对MS有利的特征部分融入MS，或者将MS中的有利部分融入到PAN中，同时可以减少网络对不同源特征学习的压力。又因为传统的强度-色调-饱和度(IHS)变换容易出现颜色失真现象，而小波融合虽然能使融合图像在获得高空间分辨率的同时较好地保持原始光谱信息，但由于舍弃了高分辨率图像的低频分量，故很容易出现分块模糊现象，因此，使用了一种基于IHS和小波变换融合的改进方法。
S3、构造多视点深度特征融合的SQUEEZE-AND-EXCITATION分类网络，如图2所示；
S301、预处理
从PAN和MS图像中提取一对对应的图像块作为输入，PAN的大小为64*64*1，MS的大小为16*16*4，利用切片的方式进行截取；
S3011、混入PAN和MS后，得到PAN_fusion和MS_fusion；PAN和MS块都经过两个卷积层(PAN块需要经过一个额外的池化层来减少它的维数)。因此，PAN特征图与MS特征图具有相同的维数；
S3012、直接将PAN特征和MS特征串联起来。双支模式只允许每个卷积核独立更新PAN和MS的特征映射的权值参数。而串联方式可以自适应地融合卷积核每次权值更新时的PAN和MS信息。因此，采用串联方式来融合PAN和MS。
S302、特征提取
使用三个模块来提取融合特征。每个模块的输出是下一个模块的输入。对于每个模块，做以下操作：
S3021、通过一个SENet块，使用SENet是因为它主要关注特征通道之间的注意机制，旨在明确建模特征通道之间的相互依赖关系。该模型通过学习的方式自动获取每个特征通道的重要度，然后根据该重要度对有用特征进行增强，抑制对分类任务影响较小的特征
S3022、将SENet块的输出特征加入到SENet块的输入特征中，以补偿SENet过程中全局池化导致的有用信息的丢失，从而增加了学习特征表示的可信度
S3023、用三种不同大小的卷积核对特征进行卷积运算。
考虑训练样本是来自一个非常高分辨率的大型遥感场景的PAN或MS块，在大型场景中通常会有许多不同大小的对象和目标。在块的邻域信息是固定的情况下，这要求网络从较大和较小的目标中提取重要和健壮的特征。三种不同大小的卷积核相当于提供三种不同大小的局部接受域，从而在网络结构中嵌入多尺度信息。尺寸越小的卷积核获得的接受域信息越少，有利于较小目标的特征提取；尺寸越大的卷积核获得的接受域信息越多，有利于较大目标的特征提取。然后将这些不同尺度的特征串联起来，并与后续的SEnet块相结合，自适应增强当前样本有用的特征通道，获得性能增益。在这里，还将原始的特征串接起来，完全保留原始的特征信息，在反向传播阶段增加了层间梯度信息的流动。
S303、特征分类
以上所获得的特性经过池化之后，将其转换为一个特征向量，并经过三个完全连接的层，最终估计出PAN和MS块对的每一类概率。
S4、构造网络的损失函数：使用交叉熵损失；
Figure BDA0002479248450000101
S5、超参数的调整；
训练样本数：总数据集的20％；初始的学习率：0.002；迭代的总次数：60000；每次输入的样本数：1200。
S6、用训练数据集对分类模型进行训练，得到训练好的分类模型；
将训练数据集的样本块对作为分类器的输入，其中MS和PAN图相对应的一对同时输入两个网络的两个支路，训练数据集中每个像素点的类别作为分类模型的输出，通过求解上述类别与地面实况图上所对应的真实类别之间的误差，然后通过反向传播使得误差最小，来优化分类模型的网络参数，得到训练好的分类模型。
S7、利用训练好的分类模型对测试数据集进行分类，用于土地利用分析、环境监测、植被覆盖、城市建设。
将测试数据集的样本块作为训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
仿真条件
硬件平台为：HP-Z840工作站，TITAN-X-12GB-GPU，64GB RAM。
软件平台为：Python，Caffe深度学习框架。
仿真内容与结果
本发明仿真实验的图像是西安市区遥感图像。其中PAN图像由3200*3320像素组成，MS图像由800*830*4像素组成。带标签的分类场景有建筑、道路、树木、土壤、平地、水和阴影共七类。
请参阅图3，(a)表示MS图像(RGB通道显示)，(b)表示PAN图像，(c)是地面真理，(d)是利用MRFbased的分类结果，(e)是DMIL方法的分类结果，(f)S是ML-CNN的分类结果，(g)是提议的MDFF-SENet的分类结果。由图3可知，提出的分类方法有效的提高了分类的精度。
表1和表2分别是西安市市区和郊区使用传统方法(MRF、DMIL、SML-CNN)和本发明(使用多源遥感图像逐像素分类的融合网络模型，但使用传统交叉熵损失函数)的测试结果，统计了每个方法的总体精度(OA)、平均精度(AA)和kappa系数。
表1本发明与传统方法在西安市区的地貌分类性能比较
Figure BDA0002479248450000121
表2本发明与传统方法在西安郊区的地貌分类性能比较
Figure BDA0002479248450000122
从表1和表2两组对比实验中可以看出，用本发明方法相比于传统方法，在特征提取阶段首先对源数据进行交互融合确实有助于分类性能的提升。
综上所述，本发明一种基于多视点深度特征融合SENet网络的分类方法，IHS和离散小波变换可以更好地减小PAN和MS之间的信息分布差异，为后续网络的特征融合提供了保证。此外，通过特征通道的注意机制和多视点局部接受域的聚合，该网络可以在大场景下对不同类别大小的遥感图像提取稳定而显著的特征，从而提高整体的分类性能。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于多视点深度特征融合SENet网络的分类方法，其特征在于，包括以下步骤：
S1、从数据集中读入多光谱影像，包括配准后的PAN和MS图像数据以及对应的只有部分区域的类标ground truth图；
S2、利用读入的MS和PAN图像进而构造MS_fusion和PAN_fusion，具体为：
S201、利用MS data制作MS_fusion为：
MS_fusion＝IIHS{I_fusion，H,S}
其中，IIHS为反色彩空间变换，I_fusion为MS的融合分量亮度的颜色，H为色度，S为饱和度，具体为：
S2011、保留MS的原始分辨率，将PAN采样到与MS相同的大小并表示为PAN1，然后将MS从RGB空间分解为IHS空间；
S2012、对PAN1和MS的I分量分别进行离散小波变换；
S2013、保留MS原有的低频平滑分量，将PAN对应的高频分量加入到其他三个高频分量中看，通过反离散小波变换得到融合分量I_fusion；
S2014、将得到的I_fusion分量与原H、S分量反变换为RGB空间；
S202、利用PAN data制作PAN_fusion为：
Figure FDA0004041939990000011
其中，LLPAN为PAN图经过离散小波变换之后的的低频分量，LHPAN为PAN图的水平高频分量，HLPAN为PAN图的垂直高频分量，HHPAN为PAN图的对角高频分量，
Figure FDA0004041939990000014
为色度分量的水平高频部分，
Figure FDA0004041939990000012
为色度分量的垂直高频部分，
Figure FDA0004041939990000013
为色度分量的对角高频部分，具体为：
S2021、将MS的光谱信息加入PAN，将MS图的I分量向上采样到与PAN相同的大小，表示为I1，然后用DWT分别对PAN和I1进行变换；
S2022、保留原PAN的低频平滑(LL)分量，将I1对应的高频分量加入到其他三个高频分量中，最后通过IDWT得到融合分量PAN_fusion；
S3、构造多视点深度特征融合的SQUEEZE-AND-EXCITATION分类网络；从PAN和MS图像中提取一对对应的图像块作为输入，PAN的大小为64*64*1，MS的大小为16*16*4，利用切片的方式进行截取，对数据进行预处理；使用三个模块提取融合特征，每个模块的输出是下一个模块的输入，进行特征提取；将获得的特性经过池化后，转换为一个特征向量，并经过三个完全连接的层，最终估计出PAN和MS块对的每一类概率；
S4、使用交叉熵损失构造网络的损失函数；
S5、超参数的调整；
S6、用训练数据集对分类模型进行训练，得到训练好的分类模型；
S7、将测试数据集的样本块作为训练好的分类模型的输入，利用训练好的分类模型对测试数据集进行分类。
2.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S2013中，融合分量I_fusion为：
Figure FDA0004041939990000021
其中，
Figure FDA0004041939990000022
为下采样PAN图之后的水平高频分量，
Figure FDA0004041939990000023
为下采样PAN图之后的垂直高频分量，
Figure FDA0004041939990000024
为下采样PAN图之后的对角高频分量，DWT(I)为对I分量求解离散小波变换。
3.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S3中，预处理具体为：
S3011、混入PAN和MS得到PAN_fusion和MS_fusion，PAN和MS块都经过两个卷积层，PAN特征图与MS特征图具有相同的维数；
S3012、采用串联方式融合PAN和MS。
4.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S3中特征提取具体为：
S3021、通过一个SENet块通过学习的方式自动获取每个特征通道的重要度，然后根据重要度对有用特征进行增强；
S3022、将SENet块的输出特征加入到SENet块的输入特征中，补偿SENet过程中全局池化导致的有用信息的丢失；
S3023、用三种不同大小的卷积核对特征进行卷积运算。
5.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S4中，网络的损失函数H(p,q)为：
Figure FDA0004041939990000031
其中，p(x)为分类的真实概率分布，q(x)为分类的预测概率分布。
6.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S5中，训练样本数为总数据集的20％；初始的学习率为0.002；迭代的总次数为60000；每次输入的样本数为1200。
7.根据权利要求1所述的基于多视点深度特征融合SENet网络的分类方法，其特征在于，步骤S6中，将训练数据集的样本块对作为分类器的输入，MS和PAN图相对应的一对同时输入两个网络的两个支路，训练数据集中每个像素点的类别作为分类模型的输出，通过求解类别与地面实况图上所对应的真实类别之间的误差，然后通过反向传播使误差最小，优化分类模型的网络参数，得到训练好的分类模型。
CN202010373506.2A 2020-05-06 2020-05-06 一种基于多视点深度特征融合SENet网络的分类方法 Active CN111582363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010373506.2A CN111582363B (zh) 2020-05-06 2020-05-06 一种基于多视点深度特征融合SENet网络的分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010373506.2A CN111582363B (zh) 2020-05-06 2020-05-06 一种基于多视点深度特征融合SENet网络的分类方法

Publications (2)

Publication Number Publication Date
CN111582363A CN111582363A (zh) 2020-08-25
CN111582363B true CN111582363B (zh) 2023-04-07

Family

ID=72124724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010373506.2A Active CN111582363B (zh) 2020-05-06 2020-05-06 一种基于多视点深度特征融合SENet网络的分类方法

Country Status (1)

Country Link
CN (1) CN111582363B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101467A (zh) * 2020-09-17 2020-12-18 哈尔滨理工大学 一种基于深度学习的高光谱图像分类方法
CN112396089B (zh) * 2020-10-20 2023-04-07 中国地质大学（武汉） 基于lfgc网络和压缩激励模块的图像匹配方法
CN114511470B (zh) * 2022-04-06 2022-07-08 中国科学院深圳先进技术研究院 一种基于注意力机制的双分支全色锐化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650806B (zh) * 2016-12-16 2019-07-26 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及系统
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
倪翠 ; 关泽群 ; 林怡 ; .基于传感器光谱特性与分类的遥感图像融合.同济大学学报(自然科学版).2011,(12),全文. *
陈清江 ; 李毅 ; 柴昱洲 ; .结合深度学习的非下采样剪切波遥感图像融合.应用光学.2018,(05),全文. *

Also Published As

Publication number Publication date
CN111582363A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111582363B (zh) 一种基于多视点深度特征融合SENet网络的分类方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN107492070B (zh) 一种双通道卷积神经网络的单图像超分辨率计算方法
Liu et al. A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution
Zhu et al. A spatial-channel progressive fusion ResNet for remote sensing classification
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN110197468A (zh) 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN108399362A (zh) 一种快速行人检测方法及装置
CN111523521A (zh) 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN114254715B (zh) 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
Xiao et al. A dual-UNet with multistage details injection for hyperspectral image fusion
Zheng et al. Separable-spectral convolution and inception network for hyperspectral image super-resolution
Zhang et al. Preprocessing and fusion analysis of GF-2 satellite Remote-sensed spatial data
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN116485934A (zh) 一种基于CNN和ViT的红外图像彩色化方法
CN111340895A (zh) 一种基于金字塔多尺度融合的影像色彩一致化方法
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN111967516B (zh) 一种逐像素分类方法、存储介质及分类设备
CN112883908A (zh) 一种基于空频特征一致性的sar图像到光学图像映射的方法
Kahraman et al. Review and performance comparison of pansharpening algorithms for RASAT images
Dong et al. Shoot high-quality color images using dual-lens system with monochrome and color cameras
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant