CN112070070B - 一种用于城市遥感场景识别的lw-cnn方法和系统 - Google Patents

一种用于城市遥感场景识别的lw-cnn方法和系统 Download PDF

Info

Publication number
CN112070070B
CN112070070B CN202011248497.0A CN202011248497A CN112070070B CN 112070070 B CN112070070 B CN 112070070B CN 202011248497 A CN202011248497 A CN 202011248497A CN 112070070 B CN112070070 B CN 112070070B
Authority
CN
China
Prior art keywords
feature
remote sensing
layer
deep
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011248497.0A
Other languages
English (en)
Other versions
CN112070070A (zh
Inventor
夏景明
丁悦
谈玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YANCHENG XINFENG MICROELECTRONICS Co.,Ltd.
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202011248497.0A priority Critical patent/CN112070070B/zh
Publication of CN112070070A publication Critical patent/CN112070070A/zh
Application granted granted Critical
Publication of CN112070070B publication Critical patent/CN112070070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于城市遥感场景识别的LW‑CNN方法，包括：输入原始城市遥感图像至LW‑CNN场景识别网络，采用多通道模块对城市遥感图像进行多视野特征提取；采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整其中部分通道的卷积核和卷积步长，以统一输出固定尺寸的特征图；基于深层特征提取模块，采用深度可分离卷积方式，对调整尺寸后的多视野特征图进行深层特征提取；采用跳跃连接方式对深层特征提取块输出的多层特征进行融合；对融合得到的特征进行全局平均池化处理，以提取遥感图像全局特征。本发明能够在保证网络层深度的情况下，减小网络参数，且图像输入尺寸不受限制，提升遥感场景识别的精度。

Description

一种用于城市遥感场景识别的LW-CNN方法和系统
技术领域
本发明涉及计算机视觉技术领域，具体而言涉及一种用于城市遥感场景识别的LW-CNN方法和系统。
背景技术
城市的快速发展导致城市土地覆盖变化，人员密集和土地覆盖率高是城市的主要特点，因此合理的城市区域识别是城市管理和规划的前提，了解城市土地利用情况是城市发展的必要因素。遥感技术和神经网络是两种广泛应用于城市土地利用率变化预测是实用工具，由于对土地利用进行标注和规划需要消耗大量的人工成本，深度学习的出现推进了图像识别、时间序列等多个研究领域的发展，图像场景分类、语义标记、目标检测和图像检索等许多任务都有了显著的改进。深度学习的方法的主要优点是能够从大量的数据中自动的学习高级特征，对图像中的特征进行提取。利用深度学习来识别城市中的场景，不仅节省大量人工成本，并且提升识别准确率。
由于光学遥感图像的空间分辨率有限，以像素为中心的光谱方法是传统LULC分类工作的主流。高空间分辨率遥感图像的快速发展为挖掘更复杂的空间模式带来了机遇，基于地理对象的图像分析（GEOBIA）因此成为LULC分类的新范式。它首先将图像分割为多个分割对象，然后对其进行分类。随着遥感技术的快速发展和数据量的不断增加，可以将更多可用的数据引入到模型中来识别城市土地利用率的变化。基于深度学习的土地利用和土地覆盖分类在像素级、对象级和场景级进行了探索。深层CNN模型通常在包含数百万图像的ImageNet上训练，而NWPU-RESISC45数据集（用于遥感场景分类的最大数据集之一）包含的图像不到35000张。另外，在ImageNet上预先训练的CNN模型在不同的任务（如目标检测和语义分割）上表现出强大的泛化能力。在这种情况下，使用现成的预训练CNN模型（如AlexNet、VGG16和GoogleNet）作为一种通用的特征抽取器，已经成为遥感场景分类的一种的方法。然而上述提出的方法都存在弊端，输入网络的图像尺寸固定，且网络参数过大，不适用于移动端。
跳跃融合可以针对多尺度特征图进行有效特征融合，然而，目前的跳跃融合多是应用于小目标精准检测、复杂图像处理时获取高质量图像、图像边界处理困难等场景下。例如专利号为CN110378398A的发明中提出一种基于多尺度特征图跳跃融合的深度学习网络改进方法，通过多尺度特征图层间的跳跃连接进行特征融合，通过融合高层语义和低层位置信息使网络能够充分利用高低层特征，提高模型对小目标的敏感性和感知度，同时提升了模型总体检测性能。其次通过多视角多分类策略，实现了高动态场景下目标类别的精准检测。目前尚无将跳跃连接方式应用于城市遥感场景下，在保证网络层深度的情况下减少网络参数的相关技术内容。另外，现有技术中针对多通道采集到的多尺寸特征图，通常是在网络结构设计初始即确定了每个通道尺寸特征图的尺寸调节方式，实际上，最初采集到的多尺寸特征图虽然相互之间的尺寸不一致，但仍受到网络结构的限制，并不能实现不受限制的图像输入尺寸。
发明内容
本发明针对现有技术中的不足，提供一种用于城市遥感场景识别的LW-CNN方法和系统，在保证网络层深度的情况下，减小网络参数，且图像输入尺寸不受限制，提升遥感场景识别的精度，可应用于无人机50-100m航拍场景识别，有效的克服了遥感图像密集给场景识别带来的困难。
为实现上述目的，本发明采用以下技术方案：
一种用于城市遥感场景识别的LW-CNN方法，所述方法包括以下步骤：
S1，构建LW-CNN场景识别网络，所述LW-CNN场景识别网络包括多通道模块、自适应池化层、深层特征提取模块、深层特征和浅层特征融合模块、全局平均池化层和softmax层；
S2，输入原始城市遥感图像至LW-CNN场景识别网络，采用多通道模块对城市遥感图像进行多视野特征提取；
S3，采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整其中部分通道的卷积核和卷积步长，以统一输出固定尺寸的特征图；
S4，基于深层特征提取模块，采用深度可分离卷积方式，对步骤S3中调整尺寸后的多视野特征图进行深层特征提取；
S5，构建深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合；
S6，对步骤S5中融合得到的特征进行全局平均池化处理，以提取遥感图像全局特征。
S7，根据损失函数对LW-CNN场景识别网络进行优化。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S2中，所述输入原始城市遥感图像，采用多通道模块对城市遥感图像进行多视野特征提取的过程包括以下步骤：
S21，将原始城市遥感图像输入LW-CNN场景识别网络的多通道模块，经过三个分支对原始城市遥感图像进行多视野特征提取；
S22，采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整第二通道和第三通道的卷积核和步长，使第二通道和第三通道输出的特征图调整至与第一通道输出的特征图尺寸一致；
S23，将三个分支所提取的特征进行堆叠，加入BN层。
进一步地，步骤S22中，设第一通道卷积核为3×3，第二通道卷积核为5×5，第三通道卷积核为7×7；通过1×1卷积核和步长来调整第二通道和第三通道输出的特征尺寸，使第二通道和第三通道输出的特征图调整至与第一通道输出的特征图尺寸相同。
进一步地，步骤S3中，所述采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整其中部分通道的卷积核和卷积步长，以统一输出固定尺寸的特征图的过程包括以下步骤：
S31，将多通道提取特征输入自适应池化层，设定固定输出特征图尺寸；
S32，根据固定的特征图尺寸，自适应池化层自动调整卷积核以及卷积步长，输出固定尺寸的特征图。
进一步地，步骤S4中，所述深层特征提取模块采用交替连接的DW卷积层和PW卷积层，共计包括24层特征提取卷积层，每个特征提取卷积层的卷积核个数随着网络层数的加深增多；其中，每个特征提取卷积层后加入BN层，使用卷积步长以缩小特征图。
进一步地，步骤S5中，所述构建深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合的过程包括以下步骤：
S51，在深层特征提取模块中，当输出特征图大小分别为56和28两层时，分别将特征图提取出来并加入自适应池化层，以强化最终提取的特征图的边缘信息及显著特征；其中，输出特征图大小分别为56和28两层时提取的特征特性对比如下：当输出特征图为56时，城市遥感场景的浅层特征分辨率高且包含较多城市建筑的浅层边缘特征；当特征图大小为28时，城市遥感场景的浅层特征分辨率低且具有更强的语义信息；即，当输出特征图为56时，城市遥感场景的浅层特征分辨率高且包含更多位置、细节信息，即遥感图像中城市建筑的浅层边缘特征；当特征图大小为28时，深层特征具有更强的语义信息，此时，特征分辨率低；遥感城市场景图像分辨率且及复杂性高，场景密集也是城市场景的特点。城市商业区的遥感场景图像中通常还会包含公路，住宅区中通常还会包括停车场、树木等特征。深层与浅层特征融合有效的解决了遥感城市图像中场景复杂的问题，融合两个尺度的特征提升场景识别的有效性；
S52，通过自适应池化层自动调整步骤S51中两个输出特征图尺寸与最后一个特征提取卷积层输出的特征图尺寸一致；
S53，将前两个调整尺寸后的输出特征图与最后一个特征提取卷积层输出的特征图通过concatenate融合。
进一步地，步骤S7中，所述损失函数
Figure 144268DEST_PATH_IMAGE001
为：
Figure 45097DEST_PATH_IMAGE002
式中，i表示样本序号，n表示样本数量，m表示分类数，
Figure 559255DEST_PATH_IMAGE003
表示预测值，
Figure 688885DEST_PATH_IMAGE004
表示真实值，LOSS表示真实值与预测值之间的差异，值越小表示结果越好。
基于前述方法，本发明还提及用于城市遥感场景识别的LW-CNN系统，所述LW-CNN系统包括LW-CNN场景识别网络和优化模块；
所述LW-CNN场景识别网络包括多通道模块、自适应池化层、深层特征提取模块、深层特征和浅层特征融合模块、全局平均池化层和softmax层；
所述多通道模块用于对输入的原始城市遥感图像进行多视野特征提取；所述自适应池化层用于自动调整卷积核以及卷积步长，以输出固定尺寸的特征图；所述多通道模块输出的多视野特征图经自适应池化层处理后，所有分支统一输出固定尺寸的特征图；所述深层特征提取模块，采用深度可分离卷积方式，对调整尺寸后的多视野特征图进行深层特征提取；所述深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合；
所述优化模块用于根据损失函数对LW-CNN场景识别网络进行优化。
本发明还提及一种无人机，所述无人机包括无人机本体、拍摄装置、存储器和处理器；
所述拍摄装置、存储器和处理器搭载在无人机本体上；所述拍摄装置用于根据外部控制指令以实时拍摄城市遥感图像，并且将拍摄得到的城市遥感图像发送至处理器；
所述存储器内存储有计算机程序，所述处理器执行存储器中存储的计算机程序，采用如前所述LW-CNN方法对拍摄装置发送的城市遥感图像进行处理，以提取遥感图像全局特征。
本发明的有益效果是：
（1）在网络中采用多种特征提取模块，多视野提取图像初级特征，跳跃连接融合深层特征与浅层特征，全局平均池化提取全局特征，有效的提升图像识别准确率。
（2）采用深度可分离卷积方式，在增加网络深度的同时，有效的卷积方式最大程度的减少了网络的参数，使得模型较小，适用于各种环境。
（3）加入了自适应池化，增强网络的自适应性，不限制网络输入图像尺寸大小，经过自适应池化层，输入深层特征提取模块的图像尺寸为固定值。
（4）全局平均池化层提取全局特征，将最后的提取的7×7张量转化为1×1张量，便于最后进行场景分类和识别。
附图说明
图1是本发明的用于城市遥感场景识别的LW-CNN方法流程图。
图2是本发明的多视野特征提取流程图。
图3是本发明的用于城市遥感场景识别的LW-CNN系统的结构示意图。
图4是本发明所述LW-CNN方法与目前常用的几种城市遥感场景识别方法在NWPU-RESISC45数据集上识别准确率示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
结合图1，本发明提及一种用于城市遥感场景识别的LW-CNN方法，所述方法包括以下步骤：
S1，构建LW-CNN场景识别网络，所述LW-CNN场景识别网络包括多通道模块、自适应池化层、深层特征提取模块、深层特征和浅层特征融合模块、全局平均池化层和softmax层。
S2，输入原始城市遥感图像至LW-CNN场景识别网络，采用多通道模块对城市遥感图像进行多视野特征提取。
S3，采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整其中部分通道的卷积核和卷积步长，以统一输出固定尺寸的特征图。
S4，基于深层特征提取模块，采用深度可分离卷积方式，对步骤S3中调整尺寸后的多视野特征图进行深层特征提取。
S5，构建深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合。
S6，对步骤S5中融合得到的特征进行全局平均池化处理，以提取遥感图像全局特征。
S7，根据损失函数对LW-CNN场景识别网络进行优化。
图1 是对本发明提供一种用于提升场景识别效果的LW-CNN方法的示意图。
下面通过其中一个例子对本发明所提及方法的具体步骤进行详细阐述。
步骤一，将数据集中的图像输入网络，提取目标图像多重特征，采用多通道模块对图像进行多视野特征提取，如图2所示，包括以下子步骤：
步骤1-1，将NWPU-RESISC45数据集的遥感图像输入网络，设图像像素为256×256，经过三个分支对图像进行多视野特征提取。
步骤1-2，假设第一通道卷积核为3×3，第二通道卷积核为5×5，第三通道卷积核为7×7，步长分别为2，4，6，卷积核为64。
步骤1-3，得到三个通道输出的特征图，其中，第一通道的特征图尺寸为127×127，第二通道的特征图尺寸为64×64，第三通道的特征图尺寸为42×42，将通道特征图通过1×1通道调整为127*127。
步骤1-4，将三个分支所提取的特征进行堆叠，加入BN层。
步骤1-5，输入下一张遥感图像，重复步骤S11至S14，直至遍历数据集中所有的图片。
步骤一将图像特征进行多通道提取，对图像进行多视野提取，提取的多视野图像特征给后续图像深层特征提取提供了图像更多细节特征。
步骤二、采用自适应池化层，解决网络对图片输入尺寸的大小的限制。例如，多特征提取通道输入的是数据集中原图像尺寸的大小，为了解决图像尺寸对后续深层特征提取网络的影响，可以设定输出图像尺寸为112×112，作为后续深层特征提取网络中输入合适的图像尺寸。
步骤三、减小网络模型，降低模型参数，采用深度可分离卷积方式对网络处理，深层特征提取模块如图3所示。
步骤3-1）深层特征提取网络采用DW卷积和PW卷积，共24层特征提取卷积层，DW+PW两层为一组，卷积核数量相同，每个特征提取卷积层的卷积核个数随着网络层数的加深增多。设卷积核个数分别为16，32，32，64，64，64，128，256，256，256，256，512，DW卷积层卷积核大小为3×3，PW卷积层卷积核大小为1×1。
步骤3-2）在每层卷积层后加入BN层，且使用卷积步长缩小特征图，避免参数过大，在特征提取后不使用flatten层和dense层，最大限度的减少网络参数。
步骤四、构建深层特征和浅层特征融合模型，采用跳跃连接方式对多层特征融合，跳跃连接模块如图3所示。
步骤4-1）在深层特征提取模块中，当输出特征图大小分别为56，28两层时，分别将特征图提取出来。
步骤4-2）在提取出的网络特征后分别加入自适应池化层，将特征图尺寸大小设置为7×7。
步骤4-3）将前两个尺寸特征图调整尺寸后与最后深层特征提取的特征图通过concatenate融合，增强网络提取的特征。
步骤四将网络的深层特征和浅层特征进行融合，防止在卷积过程中网络丢失细节特征对网络造成影响。
步骤五、对融合过后的特征采用全局平均池化，提取遥感图像全局特征。
步骤六、通过损失函数categorical_crossentropy对网络模型进行优化。
在本步骤中，损失函数categorical_crossentropy的公式如下:
Figure 503257DEST_PATH_IMAGE002
式中，i表示样本序号，n表示样本数量，m表示分类数，
Figure 60140DEST_PATH_IMAGE003
表示预测值，
Figure 61595DEST_PATH_IMAGE004
表示真实值，LOSS表示真实值与预测值之间的差异，值越小表示结果越好。
本发明的LW-CNN场景识别网络通过不断的减小
Figure 994915DEST_PATH_IMAGE001
值来优化网络模型。
结合图3，基于前述方法，本发明还提及用于城市遥感场景识别的LW-CNN系统，所述LW-CNN系统包括LW-CNN场景识别网络和优化模块。
所述LW-CNN场景识别网络包括多通道模块、自适应池化层、深层特征提取模块、深层特征和浅层特征融合模块、全局平均池化层和softmax层。
所述多通道模块用于对输入的原始城市遥感图像进行多视野特征提取，例如通过前述三通道对原始图像进行多视野特征提取等。应当理解，多通道模块的通道数根据具体需求设定，不局限于前述三通道这一种。
所述自适应池化层用于自动调整卷积核以及卷积步长，以输出固定尺寸的特征图。所述自适应池化层用于解决图像尺寸限制问题。例如，深层特征提取模块需要固定输入图像尺寸，通过在自适应池化层中设定固定大小的输出特征图尺寸，网络自动对卷积核大小以及步长进行调整，使多通道模块输出的多视野特征图经自适应池化层处理后，所有分支统一输出符合深层特征提取模块需求的固定尺寸的特征图。
所述深层特征提取模块，采用深度可分离卷积方式，对调整尺寸后的多视野特征图进行深层特征提取。所述深层特征提取模块将卷积方式融入LW-CNN网络，减小网络模型，不采用最大池化层，以免池化过程中丢失细节特征，使用卷积步长缩小特征图，避免参数过大。
所述深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合，通过将深层特征与浅层特征进行融合，提高图像识别准确率。
所述优化模块用于根据损失函数对LW-CNN场景识别网络进行优化。
表1和图4是本发明所述LW-CNN方法与目前常用的几种城市遥感场景识别方法的比较结果。可以发现，本发明的LW-CNN场景识别网络在保证网络层深度的情况下，减小网络参数，且图像输入尺寸不受限制，可应用于无人机50-100m航拍场景识别，有效的克服了遥感图像密集给场景识别带来的困难。基于此原理，本发明还提及一种无人机，所述无人机包括无人机本体、拍摄装置、存储器和处理器。所述拍摄装置、存储器和处理器搭载在无人机本体上；所述拍摄装置用于根据外部控制指令以实时拍摄城市遥感图像，并且将拍摄得到的城市遥感图像发送至处理器。所述存储器内存储有计算机程序，所述处理器执行存储器中存储的计算机程序，采用如前所述LW-CNN方法对拍摄装置发送的城市遥感图像进行处理，以提取遥感图像全局特征。
表1 本发明所述LW-CNN方法与目前常用的几种城市遥感场景识别方法的比较结果
Figure 663794DEST_PATH_IMAGE006
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种用于城市遥感场景识别的LW-CNN方法，其特征在于，所述方法包括以下步骤：
S1，构建LW-CNN场景识别网络，所述LW-CNN场景识别网络包括多通道模块、自适应池化层、深层特征提取模块、深层特征和浅层特征融合模块、全局平均池化层和softmax层；
S2，输入原始城市遥感图像至LW-CNN场景识别网络，采用多通道模块对城市遥感图像进行多视野特征提取；
S2，采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整其中部分通道的卷积核和卷积步长，以统一输出固定尺寸的特征图；
S3，基于深层特征提取模块，采用深度可分离卷积方式，对步骤S2中调整尺寸后的多视野特征图进行深层特征提取；
S4，构建深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合；
S5，对步骤S4中融合得到的特征进行全局平均池化处理，以提取遥感图像全局特征；
S6，根据损失函数对LW-CNN场景识别网络进行优化；
步骤S5中，所述构建深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合的过程包括以下步骤：
S51，在深层特征提取模块中，当输出特征图大小分别为56和28两层时，分别将特征图提取出来并加入自适应池化层，以强化最终提取的特征图的边缘信息及显著特征；其中，输出特征图大小分别为56和28两层时提取的特征特性对比如下：当输出特征图为56时，城市遥感场景的浅层特征分辨率高且包含较多城市建筑的浅层边缘特征；当特征图大小为28时，城市遥感场景的浅层特征分辨率低且具有更强的语义信息；
S52，通过自适应池化层自动调整前述两个输出特征图尺寸与最后一个特征提取卷积层输出的特征图尺寸一致；
S53，将前两个调整尺寸后的输出特征图与最后一个特征提取卷积层输出的特征图通过concatenate融合。
2.根据权利要求1所述的用于城市遥感场景识别的LW-CNN方法，其特征在于，步骤S2中，所述输入原始城市遥感图像，采用多通道模块对城市遥感图像进行多视野特征提取的过程包括以下步骤：
S21，将原始城市遥感图像输入LW-CNN场景识别网络的多通道模块，经过三个分支对原始城市遥感图像进行多视野特征提取；
S22，采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整第二通道和第三通道的卷积核和步长，使第二通道和第三通道输出的特征图调整至与第一通道输出的特征图尺寸一致；
S23，将三个分支所提取的特征进行堆叠，加入BN层。
3.根据权利要求1所述的用于城市遥感场景识别的LW-CNN方法，其特征在于，步骤S22中，设第一通道卷积核为3×3，第二通道卷积核为5×5，第三通道卷积核为7×7；通过1×1卷积核和步长来调整第二通道和第三通道输出的特征尺寸，使第二通道和第三通道输出的特征图调整至与第一通道输出的特征图尺寸相同。
4.根据权利要求1所述的用于城市遥感场景识别的LW-CNN方法，其特征在于，步骤S3中，所述采用自适应池化层，根据提取得到的多视野特征图尺寸，自动调整其中部分通道的卷积核和卷积步长，以统一输出固定尺寸的特征图的过程包括以下步骤：
S31，将多通道提取特征输入自适应池化层，设定固定输出特征图尺寸；
S32，根据固定的特征图尺寸，自适应池化层自动调整卷积核以及卷积步长，输出固定尺寸的特征图。
5.根据权利要求1所述的用于城市遥感场景识别的LW-CNN方法，其特征在于，步骤S4中，所述深层特征提取模块采用交替连接的DW卷积层和PW卷积层，共计包括24层特征提取卷积层，每个特征提取卷积层的卷积核个数随着网络层数的加深增多；其中，每个特征提取卷积层后加入BN层，使用卷积步长以缩小特征图。
6.根据权利要求1所述的用于城市遥感场景识别的LW-CNN方法，其特征在于，步骤S7中，所述损失函数LOSS为：
Figure FDA0002855766650000021
式中，i表示样本序号，n表示样本数量，m表示分类数，
Figure FDA0002855766650000022
表示预测值，yim表示真实值，LOSS表示真实值与预测值之间的差异，值越小表示预测结果越好。
7.一种基于权利要求1所述方法的用于城市遥感场景识别的LW-CNN系统，其特征在于，所述LW-CNN系统包括LW-CNN场景识别网络和优化模块；
所述LW-CNN场景识别网络包括多通道模块、自适应池化层、深层特征提取模块、深层特征和浅层特征融合模块、全局平均池化层和softmax层；
所述多通道模块用于对输入的原始城市遥感图像进行多视野特征提取；所述自适应池化层用于自动调整卷积核以及卷积步长，以输出固定尺寸的特征图；所述多通道模块输出的多视野特征图经自适应池化层处理后，所有分支统一输出固定尺寸的特征图；所述深层特征提取模块，采用深度可分离卷积方式，对调整尺寸后的多视野特征图进行深层特征提取；所述深层特征和浅层特征融合模块，采用跳跃连接方式对深层特征提取块输出的多层特征进行融合；
所述优化模块用于根据损失函数对LW-CNN场景识别网络进行优化。
8.一种无人机，其特征在于，所述无人机包括无人机本体、拍摄装置、存储器和处理器；
所述拍摄装置、存储器和处理器搭载在无人机本体上；所述拍摄装置用于根据外部控制指令以实时拍摄城市遥感图像，并且将拍摄得到的城市遥感图像发送至处理器；
所述存储器内存储有计算机程序，所述处理器执行存储器中存储的计算机程序，采用权利要求1所述LW-CNN方法对拍摄装置发送的城市遥感图像进行处理，以提取遥感图像全局特征。
CN202011248497.0A 2020-11-10 2020-11-10 一种用于城市遥感场景识别的lw-cnn方法和系统 Active CN112070070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011248497.0A CN112070070B (zh) 2020-11-10 2020-11-10 一种用于城市遥感场景识别的lw-cnn方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011248497.0A CN112070070B (zh) 2020-11-10 2020-11-10 一种用于城市遥感场景识别的lw-cnn方法和系统

Publications (2)

Publication Number Publication Date
CN112070070A CN112070070A (zh) 2020-12-11
CN112070070B true CN112070070B (zh) 2021-02-09

Family

ID=73655856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011248497.0A Active CN112070070B (zh) 2020-11-10 2020-11-10 一种用于城市遥感场景识别的lw-cnn方法和系统

Country Status (1)

Country Link
CN (1) CN112070070B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560864A (zh) * 2020-12-22 2021-03-26 苏州超云生命智能产业研究院有限公司 图像语义分割方法、装置及图像语义分割模型的训练方法
CN113111735A (zh) * 2021-03-25 2021-07-13 西安电子科技大学 一种复杂环境下的快速场景识别方法及装置
CN113343953B (zh) * 2021-08-05 2021-12-21 南京信息工程大学 一种用于遥感场景识别的fgr-am方法和系统
CN115908592A (zh) * 2021-09-29 2023-04-04 华为技术有限公司 特征图的处理方法和相关设备
CN114565053B (zh) * 2022-03-10 2023-05-19 天津大学 基于特征融合的深层异质图嵌入模型

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220657B (zh) * 2017-05-10 2018-05-18 中国地质大学（武汉） 一种面向小数据集的高分辨率遥感影像场景分类的方法
CN107463948A (zh) * 2017-07-13 2017-12-12 西安电子科技大学 基于双通道多特征融合网络的多光谱图像分类方法
CN108052911B (zh) * 2017-12-20 2021-12-07 上海海洋大学 基于深度学习的多模态遥感影像高层特征融合分类方法
CN110378398B (zh) * 2019-06-27 2023-08-25 东南大学 一种基于多尺度特征图跳跃融合的深度学习网络改进方法
CN110728192B (zh) * 2019-09-16 2022-08-19 河海大学 一种基于新型特征金字塔深度网络的高分遥感图像分类方法

Also Published As

Publication number Publication date
CN112070070A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112070070B (zh) 一种用于城市遥感场景识别的lw-cnn方法和系统
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110110599B (zh) 一种基于多尺度特征融合的遥感图像目标检测方法
CN111626128A (zh) 一种基于改进YOLOv3的果园环境下行人检测方法
CN115205264A (zh) 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN113052006B (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN112016512A (zh) 基于反馈式多尺度训练的遥感图像小目标检测方法
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
Meng et al. A block object detection method based on feature fusion networks for autonomous vehicles
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN115527133A (zh) 一种基于目标密度信息的高分图像背景优化方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN113177956A (zh) 一种面向无人机遥感影像的语义分割方法
CN111126303B (zh) 一种面向智能停车的多车位检测方法
Li et al. Pillar‐based 3D object detection from point cloud with multiattention mechanism
CN114882490B (zh) 一种基于点引导定位的无受限场景车牌检测分类方法
CN117152790A (zh) 一种复杂场景的牛脸检测方法及其检测系统
CN115690770A (zh) 基于空间注意力特征的非受限场景下的车牌识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220127

Address after: 224014 room 1601, 16th floor, Yanlong Street innovation center, Yandu District, Yancheng City, Jiangsu Province (d)

Patentee after: YANCHENG XINFENG MICROELECTRONICS Co.,Ltd.

Address before: 210044 No. 219 Ning six road, Jiangbei new district, Nanjing, Jiangsu

Patentee before: NANJING University OF INFORMATION SCIENCE & TECHNOLOGY

TR01 Transfer of patent right