CN111582101A - 一种遥感图像检测方法及系统 - Google Patents
一种遥感图像检测方法及系统 Download PDFInfo
- Publication number
- CN111582101A CN111582101A CN202010349935.6A CN202010349935A CN111582101A CN 111582101 A CN111582101 A CN 111582101A CN 202010349935 A CN202010349935 A CN 202010349935A CN 111582101 A CN111582101 A CN 111582101A
- Authority
- CN
- China
- Prior art keywords
- layer
- remote sensing
- sensing image
- network
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 61
- 238000000605 extraction Methods 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 21
- 238000003745 diagnosis Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000013140 knowledge distillation Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000004821 distillation Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种遥感图像检测方法及系统，所述方法包括：获取待检测遥感图像；将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果；本发明提供的技术方案面向高分辨率遥感图像，实现了模型参数量小、泛化能力好、检测召回率高、对多尺度物体检测准确等优点。
Description
技术领域
本发明涉及遥感图像处理技术领域，具体涉及一种遥感图像检测方法及系统。
背景技术
近年来，深度学习的跨越式发展推动了计算机视觉领域的巨大进步，使得很多计算机视觉的任务的性能达到了一个前所未有的高度。尽管深度网络模型在许多任务上都取得了不俗表现，但这仅仅是在科研层面上进行的实验与尝试，如果考虑到实际应用将其移植到嵌入式或者移动设备上，它将会受到多方面约束：1)模型参数量巨大；2)模型计算量大；3)电能消耗大。
对于硬件资源有限的嵌入式或者移动设备来说，深度神经网络直接应用在时间与空间上都受到巨大约束。因此，如何在保证模型效果的前提下对模型进行压缩已经成为了一个热点问题，这使得深度网络模型压缩快速地发展起来。
发明内容
针对现有技术的不足，本发明的目的是提供一种面向高分辨率遥感图像，能够实现模型参数量小、泛化能力好、检测召回率高、对多尺度物体检测准确等优点的遥感图像检测方法。
本发明的目的是采用下述技术方案实现的：
本发明提供了一种遥感图像检测方法，其改进之处在于，所述方法包括：
获取待检测遥感图像；
将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；
将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果。
优选的，所述预先建立的检测网络的建立过程包括：
步骤1.对遥感图像数据中的遥感图像进行人工语义标注，并将所述遥感图像数据划分为训练数据、验证数据和测试数据；
步骤2.对所述训练数据进行数据增强；
步骤3.将所述训练数据、验证数据和测试数据切片为512x512；
步骤4.利用所述训练数据、验证数据和测试数据对预先建立的教师网络进行训练；
步骤5.基于训练完成的教师网络，采用知识蒸馏算法对预先建立的学生网络进行训练，并将训练完成的学生网络作为所述预先建立的检测网络。
进一步的，所述预先建立的教师网络包括：ResNet152网络、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述ResNet152网络，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述ResNet152网络中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
进一步的，所述预先建立的学生网络包括：特诊提取模块、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述特诊提取模块，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述特诊提取模块中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
进一步的，所述特诊提取模块为改进的ShuffleNet网络，其中，ShuffleNet网络的改进过程包括：
利用预先建立的替换单元替换Shufflenet网络中的瓶颈单元，并去掉Shufflenet网络中输出端侧的全连接层以及全局池化模块；
所述预先建立的替换单元包括依次连接的通道分割层、可分离卷积层、跳跃连接层和通道混洗层；
所述通道分割层，用于将输入特征图分为第一分支和第二分支；
所述可分离卷积层，用于将所述第一分支依次经过1*1卷积降维、3*3可分离卷积和1*1卷积升维；
所述跳跃连接层，用于将所述第二分支与所述可分离卷积层输出的特征图进行合并拼接；
所述通道混洗层，用于对所述跳跃连接层输出的特征图进行转置操作。
进一步的，所述多尺度特征融合模块，包括：1*1卷积层、第一3*3卷积层、第二3*3卷积层、第三3*3卷积层、第四3*3卷积层、第一合并连接层、第二合并连接层和第三合并连接层；
所述1*1卷积层的输出端分别与所述第一3*3卷积层、第二3*3卷积层、第三3*3卷积层和第四3*3卷积层的输入端连接；第三3*3卷积层和第四3*3卷积层的输出端连接第三合并连接层的输入端，第二3*3卷积层和第三3*3卷积层的输出端连接第二合并连接层的输入端，第一3*3卷积层和第三3*3卷积层的输出端连接第一合并连接层的输入端；
其中，所述第一合并连接层的输出端输出P2、第二合并连接层的输出端输出P3、第三合并连接层的输出端输出P4、第四3*3卷积层的输出端输出P5。
进一步的，所述像素点对应的锚框为9个，每个锚框的尺寸和长宽比分别为128*128和1：1、128*128和1：2、128*128和2：1、256*256和1：1、256*256和1：2、256*256和2：1、512*512和1：1、512*512和1：2以及512*512和2：1。
进一步的，所述分类回归模块具体用于：
将所述各锚框中的RoI连接起来获得特征Fea；
将特征Fea输入至以训练数据中物体的类别为准的分类层，获取分类层输出的得分向量Score；
将特征Fea输入至以训练数据中物体的位置为准的回归层，获取回归层输出的位置向量Loc。
所述步骤2包括：对所述训练数据依次按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。
基于同一发明构思，本发明还提供了一种遥感图像检测系统，其改进之处在于，所述系统包括：
获取模块，用于获取待检测遥感图像；
检测模块，用于将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；
采样模块，用于将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果。
与最接近的现有技术相比，本发明具有的有益效果：
本发明提供了一种遥感图像检测方法及系统，所述方法包括：获取待检测遥感图像；将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果；本发明提供的技术方案面向高分辨率遥感图像，实现了模型参数量小、泛化能力好、检测召回率高、对多尺度物体检测准确等优点；
进一步的，本发明提供发技术方案中，通过手工建立的检测网络使得检测网络有较好的泛化能力，实现了轻量级网络架构的设计，并且在边缘计算设备上实现面向高分辨率遥感图像的目标检测网络。
附图说明
图1是本发明一种遥感图像检测方法的流程图；
图2是本发明实施例中基于知识蒸馏训练的原理示意图；
图3是本发明实施例中预先建立的替换单元的结构示意图；
图4是本发明实施例中多尺度特征融合模块的结构示意图；
图5是本发明一种遥感图像检测系统的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了解决现有技术中所存在的对计算、存储、能源消耗较大的问题，本发明提供了一种遥感图像检测方法，如图1所示，包括：
101获取待检测遥感图像；
102将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；
103将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果。
具体的，所述预先建立的检测网络的建立过程包括：
步骤1.对遥感图像数据中的遥感图像进行人工语义标注，并将所述遥感图像数据划分为训练数据、验证数据和测试数据；
步骤2.对所述训练数据进行数据增强；
本发明提供的最优实施例中，所述步骤2具体包括：对所述训练数据依次按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。
步骤3.将所述训练数据、验证数据和测试数据切片为512x512，间隔步长为200；
步骤4.利用所述训练数据、验证数据和测试数据对预先建立的教师网络进行训练；
步骤5.基于训练完成的教师网络，采用知识蒸馏算法对预先建立的学生网络进行训练，并将训练完成的学生网络作为所述预先建立的检测网络。
对于检测网络的训练过程中，本发明借鉴知识蒸馏算法的思想，使用一个精度较高参数量较大的教师网络来指导轻量化网络的训练过程。
当前的目标检测网络训练过程，大多都是由真实标签(物体坐标、物体类型)来指导网络训练，以物体分类为例，在训练过程中真实标签通常使用one-hot编码的形式，然后最小化用网络预测结果与真实标签计算交叉熵来完成分类任务的训练。然而，使用one-hot编码虽然简洁，但是one-hot编码中忽略了类别之间的相似性，而在知识蒸馏算法中，通过用教师网络指导学生网络的方式，轻量化网络学习到更多的不同物体类间差异性的信息，因此可以增强轻量化模型的泛化性能。
网络蒸馏或者知识蒸馏的主要思想可以形象的理解为，学生(轻量化网络)从老师(高精度大参数量网络)那里学习知识的一个过程。通过从一个已经训练好的教师网络那里得到额外的(除真实标签之外的)信息，可以使得轻量化网络获得更高的精度；
本发明提供的最优实施例中，将预先建立的教师网络提前在数据集上训练，得到训练好的教师模型。知识蒸馏的方法主要分为输出蒸馏、中间层蒸馏以及关系蒸馏三种，图2是本发明的基于知识蒸馏训练的原理示意图。输出蒸馏方法：使用教师网络的最终的经过参数T软化的softmax输出对学生模型的经过同样的参数T软化的softmax的输出进行监督，使得教师模型的信息可以传递到学生模型中。中间层蒸馏的方法：将教师模型的中间层的输出作为对学生模型的中级监督信息，使得两者中间层的响应尽可能一致。关系知识蒸馏方法：首先对样本间要进行蒸馏表达的关系知识用数学公式进行严格的定义，对于教师网络和学生网络中的样本的输出层，使用同样的关系的准则对各自的输出提取关系，并使得学生网络提取出来的关系表达尽可能的与教师网络所表达的关系达到一致
其中，所述预先建立的教师网络包括：ResNet152网络、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述ResNet152网络，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述ResNet152网络中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
本发明提供的最优实施例个，所述像素点对应的锚框为9个，每个锚框的尺寸和长宽比分别为128*128和1：1、128*128和1：2、128*128和2：1、256*256和1：1、256*256和1：2、256*256和2：1、512*512和1：1、512*512和1：2以及512*512和2：1。
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
所述预先建立的学生网络包括：特诊提取模块、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述特诊提取模块，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述特诊提取模块中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
本发明提供的最优实施例个，所述像素点对应的锚框为9个，每个锚框的尺寸和长宽比分别为128*128和1：1、128*128和1：2、128*128和2：1、256*256和1：1、256*256和1：2、256*256和2：1、512*512和1：1、512*512和1：2以及512*512和2：1。
在Selective Search中，使用基于低等级的特征来聚合成超像素的方法来生成建议区域，需要很大的计算量并且很费时间。本发明中使用候选区域生成模块，通过共享在检测中整张图片的卷积特征，来减小区域建议的计算量，从而使得区域建议的时间缩短。在通用目标检测算法中，卷积输出的特征图，也可以用来产生区域建议。所以，在这些卷积特征上面建立候选区域生成模块，通过增加一些额外的卷积层，可以同时计算bbox和类别score在网格中每个位置。候选区域生成模块就是这样的一个全卷积网络，可以端到端的训练，被用来产生检测的建议区域。可以同时预测物体的边界和每个位置物体的置信度。候选区域生成模块高效地预测不同大小和不同尺度的建议区域。这样的模型在训练和测试阶段表现的都很好，并且可以使速度得到提升。
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
进一步的，所述特诊提取模块为改进的ShuffleNet网络，其中，ShuffleNet网络的改进过程包括：
利用预先建立的替换单元替换Shufflenet网络中的瓶颈单元，并去掉Shufflenet网络中输出端侧的全连接层以及全局池化模块；
所述预先建立的替换单元，如图3所示，包括依次连接的通道分割层、可分离卷积层、跳跃连接层和通道混洗层；
所述通道分割层，用于将输入特征图分为第一分支和第二分支；
所述可分离卷积层，用于将所述第一分支依次经过1*1卷积降维、3*3可分离卷积和1*1卷积升维；
所述跳跃连接层，用于将所述第二分支与所述可分离卷积层输出的特征图进行合并拼接；
所述通道混洗层，用于对所述跳跃连接层输出的特征图进行转置操作。
本发明使用通道混洗技术来增强特征之间的流动性。通道混洗技术的一种有代表性的轻量化网络结构，主要思路是通过分组卷积和通道混合改进残差网络单元。该网络结构最重要的操作是通道混合层，在两个分组卷积之间改变通道的顺序，实现分组卷积的信息交换机制。
进一步的，所述多尺度特征融合模块，如图4所示，包括：1*1卷积层、第一3*3卷积层、第二3*3卷积层、第三3*3卷积层、第四3*3卷积层、第一合并连接层、第二合并连接层和第三合并连接层；
所述1*1卷积层的输出端分别与所述第一3*3卷积层、第二3*3卷积层、第三3*3卷积层和第四3*3卷积层的输入端连接；第三3*3卷积层和第四3*3卷积层的输出端连接第三合并连接层的输入端，第二3*3卷积层和第三3*3卷积层的输出端连接第二合并连接层的输入端，第一3*3卷积层和第三3*3卷积层的输出端连接第一合并连接层的输入端；
其中，所述第一合并连接层的输出端输出P2、第二合并连接层的输出端输出P3、第三合并连接层的输出端输出P4、第四3*3卷积层的输出端输出P5。
进一步的，所述分类回归模块具体用于：
将所述各锚框中的RoI连接起来获得特征Fea；
将特征Fea输入至以训练数据中物体的类别为准的分类层，获取分类层输出的得分向量Score；
将特征Fea输入至以训练数据中物体的位置为准的回归层，获取回归层输出的位置向量Loc。
基于同一发明构思，本发明还提供了一种遥感图像检测系统，如图5所示，所述系统包括：
获取模块，用于获取待检测遥感图像；
检测模块，用于将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；
采样模块，用于将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果。
其中，所述预先建立的检测网络的建立过程包括：
步骤1.对遥感图像数据中的遥感图像进行人工语义标注，并将所述遥感图像数据划分为训练数据、验证数据和测试数据；
步骤2.对所述训练数据进行数据增强；
步骤3.将所述训练数据、验证数据和测试数据切片为512x512；
步骤4.利用所述训练数据、验证数据和测试数据对预先建立的教师网络进行训练；
步骤5.基于训练完成的教师网络，采用知识蒸馏算法对预先建立的学生网络进行训练，并将训练完成的学生网络作为所述预先建立的检测网络。
所述预先建立的教师网络包括：ResNet152网络、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述ResNet152网络，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述ResNet152网络中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
所述预先建立的学生网络包括：特诊提取模块、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述特诊提取模块，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述特诊提取模块中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
所述特诊提取模块为改进的ShuffleNet网络，其中，ShuffleNet网络的改进过程包括：
利用预先建立的替换单元替换Shufflenet网络中的瓶颈单元，并去掉Shufflenet网络中输出端侧的全连接层以及全局池化模块；
所述预先建立的替换单元包括依次连接的通道分割层、可分离卷积层、跳跃连接层和通道混洗层；
所述通道分割层，用于将输入特征图分为第一分支和第二分支；
所述可分离卷积层，用于将所述第一分支依次经过1*1卷积降维、3*3可分离卷积和1*1卷积升维；
所述跳跃连接层，用于将所述第二分支与所述可分离卷积层输出的特征图进行合并拼接；
所述通道混洗层，用于对所述跳跃连接层输出的特征图进行转置操作。
所述多尺度特征融合模块，包括：1*1卷积层、第一3*3卷积层、第二3*3卷积层、第三3*3卷积层、第四3*3卷积层、第一合并连接层、第二合并连接层和第三合并连接层；
所述1*1卷积层的输出端分别与所述第一3*3卷积层、第二3*3卷积层、第三3*3卷积层和第四3*3卷积层的输入端连接；第三3*3卷积层和第四3*3卷积层的输出端连接第三合并连接层的输入端，第二3*3卷积层和第三3*3卷积层的输出端连接第二合并连接层的输入端，第一3*3卷积层和第三3*3卷积层的输出端连接第一合并连接层的输入端；
其中，所述第一合并连接层的输出端输出P2、第二合并连接层的输出端输出P3、第三合并连接层的输出端输出P4、第四3*3卷积层的输出端输出P5。
所述像素点对应的锚框为9个，每个锚框的尺寸和长宽比分别为128*128和1：1、128*128和1：2、128*128和2：1、256*256和1：1、256*256和1：2、256*256和2：1、512*512和1：1、512*512和1：2以及512*512和2：1。
所述分类回归模块具体用于：
将所述各锚框中的RoI连接起来获得特征Fea；
将特征Fea输入至以训练数据中物体的类别为准的分类层，获取分类层输出的得分向量Score；
将特征Fea输入至以训练数据中物体的位置为准的回归层，获取回归层输出的位置向量Loc。
所述步骤2包括：对所述训练数据依次按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种遥感图像检测方法，其特征在于，所述方法包括：
获取待检测遥感图像；
将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；
将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果。
2.如权利要求1所述的方法，其特征在于，所述预先建立的检测网络的建立过程包括：
步骤1.对遥感图像数据中的遥感图像进行人工语义标注，并将所述遥感图像数据划分为训练数据、验证数据和测试数据；
步骤2.对所述训练数据进行数据增强；
步骤3.将所述训练数据、验证数据和测试数据切片为512x512；
步骤4.利用所述训练数据、验证数据和测试数据对预先建立的教师网络进行训练；
步骤5.基于训练完成的教师网络，采用知识蒸馏算法对预先建立的学生网络进行训练，并将训练完成的学生网络作为所述预先建立的检测网络。
3.如权利要求2所述的方法，其特征在于，所述预先建立的教师网络包括：ResNet152网络、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述ResNet152网络，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述ResNet152网络中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
4.如权利要求2所述的方法，其特征在于，所述预先建立的学生网络包括：特诊提取模块、多尺度特征融合模块、候选区域生成模块、候选区域提取模块和分类回归模块；
所述特诊提取模块，用于提取训练数据的特征{C2,C3,C4,C5}，其中，C2,C3,C4,C5分别为所述特诊提取模块中各最大池化层的输出特征；
所述多尺度特征融合模块，用于对{C2,C3,C4,C5}进行特征融合，并输出尺寸分别为训练数据1/4、1/8、1/16、1/32的特征图{P2,P3,P4,P5}；
所述候选区域生成模块，用于分别生成P2,P3,P4,P5中每个像素点对应的锚框；
所述候选区域提取模块，用于提取各锚框中的RoI；
所述分类回归模块，用于将所述各锚框中的RoI连接起来获得特征Fea，并基于特征Fea获取得分向量Score和位置向量Loc。
5.如权利要求4所述的方法，其特征在于，所述特诊提取模块为改进的ShuffleNet网络，其中，ShuffleNet网络的改进过程包括：
利用预先建立的替换单元替换Shufflenet网络中的瓶颈单元，并去掉Shufflenet网络中输出端侧的全连接层以及全局池化模块；
所述预先建立的替换单元包括依次连接的通道分割层、可分离卷积层、跳跃连接层和通道混洗层；
所述通道分割层，用于将输入特征图分为第一分支和第二分支；
所述可分离卷积层，用于将所述第一分支依次经过1*1卷积降维、3*3可分离卷积和1*1卷积升维；
所述跳跃连接层，用于将所述第二分支与所述可分离卷积层输出的特征图进行合并拼接；
所述通道混洗层，用于对所述跳跃连接层输出的特征图进行转置操作。
6.如权利要求3或4所述的方法，其特征在于，所述多尺度特征融合模块，包括：1*1卷积层、第一3*3卷积层、第二3*3卷积层、第三3*3卷积层、第四3*3卷积层、第一合并连接层、第二合并连接层和第三合并连接层；
所述1*1卷积层的输出端分别与所述第一3*3卷积层、第二3*3卷积层、第三3*3卷积层和第四3*3卷积层的输入端连接；第三3*3卷积层和第四3*3卷积层的输出端连接第三合并连接层的输入端，第二3*3卷积层和第三3*3卷积层的输出端连接第二合并连接层的输入端，第一3*3卷积层和第三3*3卷积层的输出端连接第一合并连接层的输入端；
其中，所述第一合并连接层的输出端输出P2、第二合并连接层的输出端输出P3、第三合并连接层的输出端输出P4、第四3*3卷积层的输出端输出P5。
7.如权利要求3或4所述的方法，其特征在于，所述像素点对应的锚框为9个，每个锚框的尺寸和长宽比分别为128*128和1：1、128*128和1：2、128*128和2：1、256*256和1：1、256*256和1：2、256*256和2：1、512*512和1：1、512*512和1：2以及512*512和2：1。
8.如权利要求3或4所述的方法，其特征在于，所述分类回归模块具体用于：
将所述各锚框中的RoI连接起来获得特征Fea；
将特征Fea输入至以训练数据中物体的类别为准的分类层，获取分类层输出的得分向量Score；
将特征Fea输入至以训练数据中物体的位置为准的回归层，获取回归层输出的位置向量Loc。
9.如权利要求2所述的方法，其特征在于，所述步骤2包括：对所述训练数据依次按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。
10.一种遥感图像检测系统，其特征在于，所述系统包括：
获取模块，用于获取待检测遥感图像；
检测模块，用于将所述待检测遥感图像输入至预先建立的检测网络，获取所述预先建立的检测网络输出的待检测遥感图像的初始预测结果；
采样模块，用于将所述待检测遥感图像的初始预测结果上采样至所述待检测遥感图像的影像大小，获取所述待检测遥感图像的最终预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010349935.6A CN111582101B (zh) | 2020-04-28 | 2020-04-28 | 一种基于轻量化蒸馏网络的遥感图像目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010349935.6A CN111582101B (zh) | 2020-04-28 | 2020-04-28 | 一种基于轻量化蒸馏网络的遥感图像目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582101A true CN111582101A (zh) | 2020-08-25 |
| CN111582101B CN111582101B (zh) | 2021-10-01 |
Family
ID=72124535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010349935.6A Active CN111582101B (zh) | 2020-04-28 | 2020-04-28 | 一种基于轻量化蒸馏网络的遥感图像目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582101B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055420A (zh) * | 2020-09-10 | 2020-12-08 | 深圳鸿祥源科技有限公司 | 一种基于5g网络通信连接的遥感试验观测处理终端 |
| CN112329751A (zh) * | 2021-01-06 | 2021-02-05 | 北京道达天际科技有限公司 | 一种基于深度学习的多尺度遥感影像目标识别系统及方法 |
| CN115100175A (zh) * | 2022-07-12 | 2022-09-23 | 南京云创大数据科技股份有限公司 | 一种基于小样本目标检测的轨道交通检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247989A (zh) * | 2017-06-15 | 2017-10-13 | 北京图森未来科技有限公司 | 一种神经网络训练方法及装置 |
| CN107341517A (zh) * | 2017-07-07 | 2017-11-10 | 哈尔滨工业大学 | 一种基于深度学习层级间特征融合的多尺度小物体检测方法 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109800821A (zh) * | 2019-01-31 | 2019-05-24 | 北京市商汤科技开发有限公司 | 训练神经网络的方法、图像处理方法、装置、设备和介质 |
| CN110245754A (zh) * | 2019-06-14 | 2019-09-17 | 西安邮电大学 | 一种基于位置敏感图的知识蒸馏方法 |
| CN110287962A (zh) * | 2019-05-20 | 2019-09-27 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置及介质 |
| CN110532878A (zh) * | 2019-07-26 | 2019-12-03 | 中山大学 | 一种基于轻量化卷积神经网络的驾驶员行为识别方法 |
| CN110674880A (zh) * | 2019-09-27 | 2020-01-10 | 北京迈格威科技有限公司 | 用于知识蒸馏的网络训练方法、装置、介质与电子设备 |
| CN110751214A (zh) * | 2019-10-21 | 2020-02-04 | 山东大学 | 一种基于轻量级可变形卷积的目标检测方法及系统 |
-
2020
- 2020-04-28 CN CN202010349935.6A patent/CN111582101B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247989A (zh) * | 2017-06-15 | 2017-10-13 | 北京图森未来科技有限公司 | 一种神经网络训练方法及装置 |
| CN107341517A (zh) * | 2017-07-07 | 2017-11-10 | 哈尔滨工业大学 | 一种基于深度学习层级间特征融合的多尺度小物体检测方法 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109800821A (zh) * | 2019-01-31 | 2019-05-24 | 北京市商汤科技开发有限公司 | 训练神经网络的方法、图像处理方法、装置、设备和介质 |
| CN110287962A (zh) * | 2019-05-20 | 2019-09-27 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置及介质 |
| CN110245754A (zh) * | 2019-06-14 | 2019-09-17 | 西安邮电大学 | 一种基于位置敏感图的知识蒸馏方法 |
| CN110532878A (zh) * | 2019-07-26 | 2019-12-03 | 中山大学 | 一种基于轻量化卷积神经网络的驾驶员行为识别方法 |
| CN110674880A (zh) * | 2019-09-27 | 2020-01-10 | 北京迈格威科技有限公司 | 用于知识蒸馏的网络训练方法、装置、介质与电子设备 |
| CN110751214A (zh) * | 2019-10-21 | 2020-02-04 | 山东大学 | 一种基于轻量级可变形卷积的目标检测方法及系统 |
Non-Patent Citations (7)
| Title |
|---|
| GEOFFREY HINTON等: "Distilling the Knowledge in a Neural Network", 《ARXIV:1503.02531V1 [STAT.ML] 》 * |
| NINGNING MA等: "ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design", 《ARXIV:1807.11164V1 [CS.CV]》 * |
| XIAOJING HUANG等: "Automatic Ship Detection in SAR Images Using Multi-Scale Heterogeneities and an A Contrario Decision", 《REMOTE SENSING》 * |
| XUE YANG等: "Position Detection and Direction Prediction for Arbitrary-Oriented Ships via Multitask Rotation Region Convolutional Neural Network", 《IEEEACESS》 * |
| 任瑞龙: "高分辨率遥感图像中飞机目标自动检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 刘然: "基于卷积网络的遥感图像目标检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 董冲: "基于多尺度特征融合的目标检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055420A (zh) * | 2020-09-10 | 2020-12-08 | 深圳鸿祥源科技有限公司 | 一种基于5g网络通信连接的遥感试验观测处理终端 |
| CN112329751A (zh) * | 2021-01-06 | 2021-02-05 | 北京道达天际科技有限公司 | 一种基于深度学习的多尺度遥感影像目标识别系统及方法 |
| CN115100175A (zh) * | 2022-07-12 | 2022-09-23 | 南京云创大数据科技股份有限公司 | 一种基于小样本目标检测的轨道交通检测方法 |
| CN115100175B (zh) * | 2022-07-12 | 2024-07-09 | 南京云创大数据科技股份有限公司 | 一种基于小样本目标检测的轨道交通检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582101B (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898696B (zh) | 伪标签及标签预测模型的生成方法、装置、介质及设备 | |
| Jiang et al. | Self-supervised relative depth learning for urban scene understanding | |
| CN111582101B (zh) | 一种基于轻量化蒸馏网络的遥感图像目标检测方法及系统 | |
| Yun et al. | Selfreformer: Self-refined network with transformer for salient object detection | |
| CN111274994B (zh) | 漫画人脸检测方法、装置、电子设备及计算机可读介质 | |
| CN111696110B (zh) | 场景分割方法及系统 | |
| CN113822314A (zh) | 图像数据处理方法、装置、设备以及介质 | |
| CN113704531A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110852256A (zh) | 时序动作提名的生成方法、装置、设备及存储介质 | |
| CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
| Erdem et al. | Comparison of different U-net models for building extraction from high-resolution aerial imagery | |
| CN113011320B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN112163596A (zh) | 复杂场景文本识别方法、系统、计算机设备及存储介质 | |
| CN112734803A (zh) | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 | |
| CN115222750A (zh) | 基于多尺度融合注意力的遥感图像分割方法及系统 | |
| Zou et al. | 360° image saliency prediction by embedding self-supervised proxy task | |
| CN114996495A (zh) | 一种基于多原型和迭代增强的单样本图像分割方法及装置 | |
| CN116977712B (zh) | 基于知识蒸馏的道路场景分割方法、系统、设备及介质 | |
| CN113537187A (zh) | 文本识别方法、装置、电子设备及可读存储介质 | |
| CN113570509A (zh) | 数据处理方法以及计算机设备 | |
| Wang et al. | Lightweight bilateral network for real-time semantic segmentation | |
| Castillo et al. | Object detection in digital documents based on machine learning algorithms | |
| Wu et al. | Spirit distillation: Precise real-time semantic segmentation of road scenes with insufficient data | |
| CN113807354A (zh) | 图像语义分割方法、装置、设备和存储介质 | |
| Liu et al. | Text detection based on bidirectional feature fusion and sa attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |