CN112464717B - 一种遥感图像目标检测方法、系统、电子设备和存储介质 - Google Patents
一种遥感图像目标检测方法、系统、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112464717B CN112464717B CN202011145576.9A CN202011145576A CN112464717B CN 112464717 B CN112464717 B CN 112464717B CN 202011145576 A CN202011145576 A CN 202011145576A CN 112464717 B CN112464717 B CN 112464717B
- Authority
- CN
- China
- Prior art keywords
- feature
- remote sensing
- sensing image
- prediction
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000005070 sampling Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 22
- 230000007704 transition Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011835 investigation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 101100112467 Rattus norvegicus Cblc gene Proteins 0.000 description 1
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012826 global research Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种遥感图像目标检测方法、系统、电子设备和存储介质，方法包括：获取包含待检测目标的待检测遥感图像；对待检测遥感图像进行特征提取，得到多个不同尺度的特征图；将多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；将每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在待检测遥感图像中位置。本发明的方案，对提取的特征图采用密集连接的方式进行特征融合，有助于提高检测的精度，有效减少特征的损失，且减少需要运算的参数量，加速预测。
Description
技术领域
本发明属于目标检测方法技术领域，具体涉及一种遥感图像目标检测方法、系统、电子设备和存储介质。
背景技术
遥感图像具有宏观、客观、综合、实时、动态、快速等特点，为地球资源调查与开发，国土整治，环境监测，以及全球性研究，提供了一种新的探测手段，广泛用于测绘、动态监测、地球资源调查、地质灾害调查与救治、军事侦查等领域。
目前目标检测可以多种神经网络检测方法，比如当前热门的YOLO系列网络模型，但是YOLO网络模型对于大部分被遮挡的物体，或者是本身体积就比较小的物体的检测和定位精度任然较差。尤其是在遥感检测技术领域，遥感图像通常具有背景信息过多，以及存在相邻非常近的数目较多的小目标等特点，采用现有的YOLO网络模型相比其它神经网络模型虽然能提高一定的精度，但对于细小目标物体的检测仍存在识别精度不够的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种遥感图像目标检测方法、系统、电子设备和存储介质。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供了一种遥感图像目标检测方法，包括：
获取包含待检测目标的待检测遥感图像；
对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图；
将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；
将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
在本发明的一个实施例中，所述对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图，包括：
将所述待检测遥感图像输入所述遥感主干网络进行特征提取，得到由浅至深多个不同尺度的特征层的特征图；所述由浅至深多个不同尺度的特征层的特征图形成自底向上的金字塔结构。
在本发明的一个实施例中，所述将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果，包括：
将所述多个不同特征层的特征图输入所述密集连接的FPN网络进行特征融合；所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；
每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果。
在本发明的一个实施例中，所述每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；包括：
对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；
对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2i倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；
将所有上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。
在本发明的一个实施例中，所述将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置，包括：
将所述每个尺度的遥感图像预测结果输入分类网络，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置的初步分类结果；
将所述初步分类结果输入非极大值抑制模块进行去重操作，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
第二方面，本发明提供了一种遥感图像目标检测系统，包括：
获取模块，用于获取包含待检测目标的待检测遥感图像；
特征提取模块，对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图；
特征融合模块，将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；
分类模块，将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
在本发明的一个实施例中，将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果，包括：
将所述多个不同特征层的特征图输入所述密集连接的FPN网络进行特征融合；所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；
每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果。
在本发明的一个实施例中，所述每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；包括：
对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；
对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2i倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；
将所有上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。
第三方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上面任一所述的方法步骤。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上面任一所述的方法步骤。
本发明的有益效果：本发明实施例所提供的方案中，对提取的特征图采用密集连接的方式进行特征融合，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸；将这些特征图和浅层的特征图通过串联的方式融合起来，可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与，有助于提高检测的精度；同时，通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效的减少特征的损失，并且可以减少需要运算的参数量，加速预测。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种遥感图像目标检测方法的流程示意图；
图2是本发明实施例提供的现有FPN网络的结构示意图；
图3是本发明实施例提供的一种密集连接的FPN网络的结构示意图；
图4是本发明实施例提供的一种遥感图像目标检测网络结构示意图；
图5是本发明实施例提供的另一种遥感图像目标检测网络结构示意图；
图6是本发明实施例提供的过渡模块的结构示意图；
图7是本发明实施例提供的一种遥感图像目标检测系统；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
请参见图1，图1是本发明实施例提供的一种遥感图像目标检测方法的流程示意图，如图1所示的遥感图像目标检测方法，包括：
S1、获取包含待检测目标的待检测遥感图像。
本发明实施例的遥感图像为航空遥感或卫星遥感图像，包括对地面、海洋、森林等不同对象的遥感图像；比如，待检测遥感图像为地面某道路的遥感图像时，待检测目标可以为可以为大型目标，如高楼、树、建筑等，还可以为小型目标，如人、车、动物等；待检测遥感图像为海洋的遥感图像时，待检测目标可以为可以为舰船、海岸线、鱼群等。
分别选取不同天气、不同季节、不同时间段的遥感图像，进行标注，构建遥感图像训练样本，作为目标检测过程中使用到的网络模型的训练使用。
S2、对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图。
具体的，将所述待检测遥感图像输入所述遥感主干网络进行特征提取，得到由浅至深多个不同尺度的特征层的特征图；所述由浅至深多个不同尺度的特征层的特征图形成自底向上的金字塔结构。
可选的第一种实施方式中，遥感主干网络可以包括卷积模块和多个残差模块，且卷积模块和多个残差模块依次串接。
可选的第二种实施方式中，遥感主干网络可以是包括多个间隔串接的密集连接模块和过渡模块；所述密集连接模块包括串行连接的卷积网络模块和密集连接网络组；所述卷积网络模块包括串行连接的卷积层、批量归一化BN层、激活函数Leaky relu层；所述密集连接网络组包括N个密集连接网络；每个密集连接网络中包括多个采用密集连接形式连接、并采用级联方式融合多个卷积网络模块输出的特征图；N为大于0的自然数。
需要说明的是，改进的主干网络中的过渡模块可以是卷积网络模块，也可以是改进的过渡模块，改进的过渡模块包括卷积网络模块和最大池化层，所述卷积网络模块和所述最大池化层并行连接，并采用级联的方式进行融合。
S3、将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果。
为了便于理解，先将现有FPN网络的结构进行介绍，FPN网络(Feature PyramidNetworks,特征金字塔网络)是一种自顶向下的特征融合方法，目的是利用CNN结构中，特征图随着特征提取，尺寸更小、维度更高的特点，创建一个形状类似金字塔的结构来融合不同维度的语义信息。FPN网络将深层网络中输出的高维的特征图反馈到浅层的网络，并且通过横向连接的方式，将不同层次不同强度的特征图相融合。
请参见图2，图2是本发明实施例提供的现有FPN网络的结构示意图，现有FPN网络是通过横向连接将上采样后的高维特征图和低维特征图融合，该融合方式在将深层和较浅层网络特征相加后，要通过卷积层提取特征图，这样的操作会破坏一些原始的特征信息，造成最终检测的精度下降。
为此，本发明实施例提出密集连接的FPN网络，采用密集连接的方式对经过主干网络提取的特征图进行特征融合。
密集连接的方式可以有多种，本发明实施例提出一种优选的密集连接方式。
请参见图3，图3是本发明实施例提供的一种密集连接的FPN网络的结构示意图。
所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果。
具体的，密集连接的融合方式可以是：对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2i倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；将所述卷积结果和所述上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。
下面结合图3对密集连接的FPN网络的具体融合方式进行详细说明：
左边从图片中提取的特征层的特征图由下至上依次为F1、F2、F3、F4，其中，F4为包含最深层语义的特征层的特征图；右边的预测层的特征图由下至上依次为P1、P2、P3、P4。
P1与F1横向连接，将F1经过1×的卷积结果作为P1的预测结果；
P2与F2横向连接，并同时向上与F1连接，将F2经过1×的卷积结果，以及F1的2×上采样结果进行级联融合并进行卷积后输出P2的预测结果；
P3与F3横向连接，并同时向上与F1、F2分别连接，将F3经过1×的卷积结果、F2的2×上采样结果，以及F1的4×上采样结果进行级联融合并进行卷积后输出P3的预测结果；
P4与F4横向连接，并同时向上与F1、F2、F3分别连接，将F4经过1×的卷积结果、F3的2×上采样结果，F2的4×上采样结果，以及F1的8×上采样结果进行级联融合并进行卷积后输出P4的预测结果。
如果提取的特征层的特征图还有多个，则对应的预测层的特征图按照上述方法以此类推，输出每一预测层的预测结果。
需要说明的是，上述对横向连接的预测层的特征图进行卷积的过程也可以视为是一种上采样过程。也可以说是对特征层的特征图采取1倍、2倍、4倍、8倍等不同倍数的上采样。之所以采取不同倍数的上采样，目的是为了同一预测层对不同特征层采样得到的特征图具有相同的尺寸，以便于级联融合。
将所有上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。每一预测层的特征图具有不同的尺度，每一预测层的特征图即为每个尺度的遥感图像预测结果。
S4、将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
具体的，该步骤可以包括：
将所述每个尺度的遥感图像预测结果输入分类网络，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置的初步分类结果。分类网络可以是Softmax分类器。
将所述初步分类结果输入非极大值抑制模块进行去重操作，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。非极大值抑制模块用于进行NMS(non_max_suppression，非极大值抑制)处理。用于在重复框选同一目标的多个检测框中，排除置信度相对较小的检测框。
下面结合本发明实施例的遥感图像目标检测方法用到的网络具体结构对遥感图像目标检测方法进一步说明。
(1)构建遥感图像目标检测网络
遥感图像目标检测网络包括主干网络、密集连接的FPN网络、分类网络和非极大值抑制网络。
请参见图4，图4是本发明实施例提供的一种遥感图像目标检测网络结构示意图；其中，点划线框内的部分为主干网络；其余部分为密集连接的FPN网络，密集连接的FPN网络又分为Y1预测支路、Y2预测支路和Y3预测支路，Y1、Y 2、Y3表示不同尺度的预测结果。
主干网络由CBL模块和多个resn模块串接构成。CBL模块为卷积网络模块，包括串行连接的conv层(Convolutional layer，卷积层，简称conv层)、BN(Batch Normalization，批量归一化)层和激活函数Leaky relu对应的Leaky relu层，CBL即表示conv+BN+Leakyrelu。resn模块为残差模块，n代表自然数，有res1、res2，…，res8等等，resn模块包括串行连接的zero padding(零填充)层、CBL模块和残差单元组，残差单元组用Res unit*n表示，含义是包括n个残差单元Res unit，每个残差单元包括采用残差网络(Residual Network，简称为ResNets)连接形式连接的多个CBL模块，特征融合方式采用并行方式，即add方式。
密集连接的FPN网络的各个预测支路中均包括卷积网络模块组，具体包括k个卷积网络模块，即图4中的CBL*k。另外，US(up sampling，上采样)模块为上采样模块；concat模块表示特征融合采用级联方式，concat为concatenate的简称。每个预测支路的卷积网络模块组中的k的数值可以进行调整，将k从原有的5减少为4或3，也就是将原有的CBL*5改为CBL*4或者CBL*3；这样也可以减少FPN网络中卷积层的数量，在不影响网络精度的情况下，整体实现网络层数精简，提升网络处理速度。
请参见图5，图5是本发明实施例提供的另一种遥感图像目标检测网络结构示意图；其中，点划线框内的部分为改进的主干网络；其余部分为密集连接的FPN网络，密集连接的FPN网络又分为Y1预测支路、Y2预测支路和Y3预测支路，Y1、Y 2、Y3表示不同尺度的预测结果。
改进的主干网络包括多个间隔串接的密集连接模块和过渡模块；密集连接模块表示为denm。密集连接模块包括串行连接的卷积网络模块(如前所述，表示为CBL模块)和密集连接单元组；其中，密集连接单元组表示为den unit*m，其含义是，所述密集连接单元组包括m个密集连接单元，m为大于等于4的自然数；密集连接模块的m取值优选为4，在不影响网络精度的情况下，减少主干网络中卷积层的数量，减少运算量。每个密集连接单元表示为den unit；其包括多个采用密集连接形式连接的所述卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；concat含义为张量拼接，该操作和残差模块中的add的操作是不一样的，concat会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。
改进的主干网络在进行特征提取时，利用密集连接模块，将特征融合方式从并行改为了串行，能够直接将早期的特征图作为后面每一层的输入，强化特征的传递，并通过复用浅层网络的特征图参数来减少参数的数量以及运算量。
对于一般的密集卷积网络DenseNet结构，会包含密集连接之间的过渡层，用来对密集连接的特征图进行调整。因此，在本发明实施例中，对于加入的密集连接模块之间也可以设置过渡模块。
可选的第一种实施方式中，所述过渡模块为所述卷积网络模块。也就是使用CBL模块作为过渡模块。那么，在搭建改进的主干网络时，仅需要将残差模块更换为密集连接模块，再将密集连接模块和原有的CBL模进行串联即可得到，网络搭建过程较为快速，所得到的网络结构较为简单。但这样的过渡模块可能会使得特征图中的信息丢失较多。
可选的第二种实施方式中，所述过渡模块包括所述卷积网络模块和最大池化层；所述卷积网络模块的输入和所述最大池化层的输入共用，所述卷积网络模块输出的特征图和所述最大池化层输出的特征图采用级联方式融合。该种实施方式中过渡模块的结构请参见图6，图6是本发明实施例提供的过渡模块的结构示意图。该种实施方式中，用tran模块表示该种过渡模块，MP层为最大池化层(Maxpool，缩写MP，含义为最大池化)。进一步的，MP层的步长可以选择为2。在该种实施方式中，引入MP层可以更好的保留主要特征，同时使用的参数比较少，不会过多地增加计算量，同时能够防止过拟合，提高网络模型的泛化能力。并且，结合原有的CBL模块，可以更多地保留特征图的原始信息。
图5中的密集连接PFN网络部分与图4相同，在此不再赘述。
在上述构建完主干网络和密集连接的FPN网络后，在密集连接的FPN网络后连入分类网络进行分类，也可以进一步接入非极大值抑制网络对重复框选的同一目标进行去重，至此，遥感图像目标检测网络构建完成。
(2)训练遥感图像目标检测网络
训练过程可以分为以下步骤：
步骤1，获得若干样本图像，以及所述样本图像对应目标的属性信息；
在该过程中，各样本图像的属性信息是已知的，确定各样本图像的属性信息的方式可以是：通过人工识别，或者通过其他图像识别工具识别等等。之后，需要对样本图像进行标记，可以采用人工标记方式，当然也可以利用其余人工智能方法进行非人工标记。
并且由于网络训练需要使用VOC格式或者COCO格式的数据，并将标记数据存储在文本文档当中。所以需要用Python脚本进行数据集标注格式的转换。
步骤2，利用各样本图像，以及各样本图像对应目标的属性信息，训练构建的遥感图像目标检测网络，得到训练完成的遥感图像目标检测网络。具体的：
1)将每一样本图像对应的属性信息作为该样本图像对应的真值，将各样本图像和对应的真值，通过遥感图像目标检测网络进行训练，获得各样本图像的训练结果。
2)将每一样本图像的训练结果与该样本图像对应的真值进行比较，得到该样本图像对应的输出结果。
3)根据各个样本图像对应的输出结果，计算网络的损失值。
4)根据所述损失值，调整网络的参数，并重新进行1)-3)步骤，直至网络的损失值达到了一定的收敛条件，也就是所述损失值达到最小，这时，意味着每一样本图像的训练结果与该样本图像对应的真值一致，从而完成网络的训练，获得训练完成的遥感图像目标检测网络。
(3)遥感图像目标检测
将包含待检测目标的待检测遥感图像输入预先训练的遥感图像目标检测网络进行目标检测，具体的：
1)待检测遥感图像输入主干网络进行特征提取，得到多个不同尺度的特征图；
2)将所述多个不同尺度的特征图输入密集连接的FPN网络，并采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；
3)将所述每个尺度的遥感图像预测结果输入分类网络进行分类，或进一步输入非极大值抑制模块进行去重，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
为了便于进一步理解，下面结合图4的遥感图像目标检测网络的结构对本发明的遥感图像目标检测方法进行说明。
待检测遥感图像(尺寸为416×416×3)输入主干网络，经依次串接的CBL模块、res1模块、res2模块、res8模块、res8模块、res4模块后进行特征提取，由res4模块提取后的特征图对应密集连接FPN网络中的预测支路Y1，由沿输入方向第二个res8模块提取后的特征图对应密集连接FPN网络中的预测支路Y2，由沿输入方向第一个res8模块提取后的特征图对应密集连接FPN网络中的预测支路Y3。
预测支路Y1的预测结果来自经res4模块提取的特征图经CBL模块进行1倍的卷积，并经CBL*k模块、CBL模块、conv模块卷积后得到；预测支路Y2的预测结果来自沿输入方向第二个res8模块提取后的特征图经CBL模块进行1倍的卷积结果，与经res4模块提取的特征图经CBL模块后再进行2倍上采样结果级联融合并经CBL*k模块、CBL模块、conv模块卷积后得到；预测支路Y3的预测结果来自沿输入方向第一个res8模块提取后的特征图经过CBL模块进行1倍的卷积结果，与沿输入方向第二个res8模块提取后的特征图的2倍上采样结果，以及与经res4模块提取的特征图4倍上采样结果级联融合并经CBL*k模块、CBL模块、conv模块卷积后得到。三个预测支路分别输出13×13×255、26×26×255、52×52×255三个不同尺寸的特征图，最小的13×13×255的特征图上由于其感受野最大，适合较大的目标检测；中等的26×26×255特征图上由于其具有中等感受野，适合检测中等大小的目标；较大的52×52×255特征图上由于其具有较小的感受野故适合检测较小的目标。
将预测支路Y1、预测支路Y2、预测支路Y3的预测结果一起输入分类网络和非极大值抑制模块进行处理，得到遥感图像的检测结果，包括目标的位置和类别。
针对每一目标，检测结果的形式为一向量，包含预测框的位置、预测框内物体的置信度、预测框内物体的类别。预测框的位置用来表征目标在所述目标图像中的位置；具体的，每个预测框的位置用bx,by,bw,bh四个值表示，bx,by用于预测bounding box的中心点位置，bw,bh为bounding box的宽和高。目标的类别为目标所属物体的种类，比如人、动物、建筑物、车辆、标志牌等等。
本发明实施例的遥感图像目标检测方法，对提取的特征图采用密集连接的方式进行特征融合，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸；将这些特征图和浅层的特征图通过串联的方式融合起来，对融合的结果再次提取特征来消除里面的噪声，保留主要信息，然后进行预测，这样可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与。因此，这样可以发挥密集连接网络保留更多特征图原始语义特征的优势，只不过对于自顶向下的方法来讲，保留的原始语义是更加高维的语义信息，这样可以对于物体的分类有帮助。通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效的减少特征的损失，并且可以减少需要运算的参数量，加速预测。
请参见图7，图7是本发明实施例提供的一种遥感图像目标检测系统，包括：获取模块701、特征提取模块702、特征融合模块703和分类模块704，其中，
获取模块701用于获取包含待检测目标的待检测遥感图像；特征提取模块702对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图；特征融合模块703用于将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；分类模块704用于将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
遥感图像目标检测系统各模块的具体内容对应前述检测方法的相应内容，在此不再赘述。
本发明实施例提供的遥感图像目标检测系统，对提取的特征图采用密集连接的方式进行特征融合，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸；将这些特征图和浅层的特征图通过串联的方式融合起来，可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与，有助于提高检测的精度；同时，通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效的减少特征的损失，并且可以减少需要运算的参数量，加速预测。
请参见图8，图8是本发明实施例提供的一种电子设备的结构示意图，本发明实施例提供的电子设备，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801、通信接口802、存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现前述任意一种遥感图像目标检测方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的电子设备，对提取的特征图采用密集连接的方式进行特征融合，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸；将这些特征图和浅层的特征图通过串联的方式融合起来，可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与，有助于提高检测的精度；同时，通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效的减少特征的损失，并且可以减少需要运算的参数量，加速预测。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现前述任意一种遥感图像检测方法的步骤。
本发明实施例提供的计算机可读存储介质，对提取的特征图采用密集连接的方式进行特征融合，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸；将这些特征图和浅层的特征图通过串联的方式融合起来，可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与，有助于提高检测的精度；同时，通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效的减少特征的损失，并且可以减少需要运算的参数量，加速预测。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (8)
1.一种遥感图像目标检测方法，其特征在于，包括：
获取包含待检测目标的待检测遥感图像；
对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图；
将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果，包括：
将所述多个不同特征层的特征图输入所述密集连接的FPN网络进行特征融合；所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；
每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果；
每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；包括：
对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；
对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2i倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；
将所述卷积结果和所述上采样结果进行级联融合并进行卷积，得到所述预测层的特征图；
将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
2.根据权利要求1所述的遥感图像目标检测方法，其特征在于，对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图，包括：
将所述待检测遥感图像输入遥感主干网络进行特征提取，得到由浅至深多个不同尺度的特征层的特征图；所述由浅至深多个不同尺度的特征层的特征图形成自底向上的金字塔结构。
3.根据权利要求1所述的遥感图像目标检测方法，其特征在于，所述将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置，包括：
将所述每个尺度的遥感图像预测结果输入分类网络，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置的初步分类结果；
将所述初步分类结果输入非极大值抑制模块进行去重操作，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
4.一种遥感图像目标检测系统，其特征在于，包括：
获取模块，用于获取包含待检测目标的待检测遥感图像；
特征提取模块，对所述待检测遥感图像进行特征提取，得到多个不同尺度的特征图；
特征融合模块，将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；
分类模块，将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。
5.根据权利要求4所述的遥感图像目标检测系统，其特征在于，将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果，包括：
将多个不同特征层的特征图输入所述密集连接的FPN网络进行特征融合；所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；
每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果。
6.根据权利要求5所述的遥感图像目标检测系统，其特征在于，所述每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；包括：
对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；
对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2i倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；
将所述卷积结果和所述上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011145576.9A CN112464717B (zh) | 2020-10-23 | 2020-10-23 | 一种遥感图像目标检测方法、系统、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011145576.9A CN112464717B (zh) | 2020-10-23 | 2020-10-23 | 一种遥感图像目标检测方法、系统、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464717A CN112464717A (zh) | 2021-03-09 |
| CN112464717B true CN112464717B (zh) | 2024-04-02 |
Family
ID=74835427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011145576.9A Active CN112464717B (zh) | 2020-10-23 | 2020-10-23 | 一种遥感图像目标检测方法、系统、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464717B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505627A (zh) * | 2021-03-31 | 2021-10-15 | 北京苍灵科技有限公司 | 遥感数据处理方法、装置、电子设备和存储介质 |
| CN113076877B (zh) * | 2021-04-02 | 2023-08-22 | 华南理工大学 | 基于地面采样距离的遥感图像目标检测方法、系统和介质 |
| CN113065511B (zh) * | 2021-04-21 | 2024-02-02 | 河南大学 | 基于深度学习的遥感图像飞机检测模型及方法 |
| TWI762365B (zh) * | 2021-06-29 | 2022-04-21 | 晶睿通訊股份有限公司 | 影像辨識方法及其影像監控設備 |
| CN113554092B (zh) * | 2021-07-23 | 2022-11-08 | 大连海洋大学 | 基于R2Net的水下鱼类目标检测方法、装置及存储介质 |
| CN117593514A (zh) * | 2023-12-08 | 2024-02-23 | 耕宇牧星(北京)空间科技有限公司 | 一种基于深层主成分分析辅助的图像目标检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| WO2020051776A1 (en) * | 2018-09-11 | 2020-03-19 | Intel Corporation | Method and system of deep supervision object detection for reducing resource usage |
| CN111462050A (zh) * | 2020-03-12 | 2020-07-28 | 上海理工大学 | 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质 |
| CN111626176A (zh) * | 2020-05-22 | 2020-09-04 | 中国科学院空天信息创新研究院 | 一种遥感图像的地物目标检测方法及系统 |
-
2020
- 2020-10-23 CN CN202011145576.9A patent/CN112464717B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020051776A1 (en) * | 2018-09-11 | 2020-03-19 | Intel Corporation | Method and system of deep supervision object detection for reducing resource usage |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111462050A (zh) * | 2020-03-12 | 2020-07-28 | 上海理工大学 | 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质 |
| CN111626176A (zh) * | 2020-05-22 | 2020-09-04 | 中国科学院空天信息创新研究院 | 一种遥感图像的地物目标检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘思远 ; 程良伦 ; .基于深度卷积神经网络的遥感图像目标检测方法.工业控制计算机.2020,(第05期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464717A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112464717B (zh) | 一种遥感图像目标检测方法、系统、电子设备和存储介质 | |
| CN112580439B (zh) | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 | |
| US11126862B2 (en) | Dense crowd counting method and apparatus | |
| CN110472483B (zh) | 一种面向sar图像的小样本语义特征增强的方法及装置 | |
| CN110084281B (zh) | 图像生成方法、神经网络的压缩方法及相关装置、设备 | |
| CN112380921A (zh) | 一种基于车联网的道路检测方法 | |
| CN112364719A (zh) | 一种遥感图像目标快速检测方法 | |
| CN113469088B (zh) | 一种无源干扰场景下的sar图像舰船目标检测方法及系统 | |
| CN111027576B (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN106651887A (zh) | 一种基于卷积神经网络的图像像素分类方法 | |
| CN110728295B (zh) | 半监督式的地貌分类模型训练和地貌图构建方法 | |
| CN109522970B (zh) | 图像分类方法、装置及系统 | |
| CN108932455B (zh) | 遥感图像场景识别方法及装置 | |
| CN113743417B (zh) | 语义分割方法和语义分割装置 | |
| US11836572B2 (en) | Quantum inspired convolutional kernels for convolutional neural networks | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| US20220051103A1 (en) | System and method for compressing convolutional neural networks | |
| CN110909748A (zh) | 应用多馈送的图像编码方法和装置 | |
| CN115797781A (zh) | 农作物识别方法、装置、计算机设备和存储介质 | |
| Kaul et al. | Focusnet++: Attentive aggregated transformations for efficient and accurate medical image segmentation | |
| CN115292538A (zh) | 一种基于深度学习的地图线要素提取方法 | |
| CN112966815A (zh) | 基于脉冲神经网络的目标检测方法、系统及设备 | |
| CN112380919A (zh) | 一种车辆类别统计方法 | |
| CN112288701A (zh) | 一种智慧交通图像检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |