CN113963274A - 基于改进ssd算法的卫星影像目标智能识别系统与方法 - Google Patents
基于改进ssd算法的卫星影像目标智能识别系统与方法 Download PDFInfo
- Publication number
- CN113963274A CN113963274A CN202111576323.1A CN202111576323A CN113963274A CN 113963274 A CN113963274 A CN 113963274A CN 202111576323 A CN202111576323 A CN 202111576323A CN 113963274 A CN113963274 A CN 113963274A
- Authority
- CN
- China
- Prior art keywords
- module
- layer
- feature
- convolution
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 89
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000007704 transition Effects 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 30
- 230000001629 suppression Effects 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉技术领域，特别涉及一种基于改进SSD算法的卫星影像目标智能识别系统与方法。基于改进SSD算法的卫星影像目标智能识别系统，包括依次连接的预处理模块、特征提取模块、特征融合模块和检测模块；预处理模块用于将图像切割为尺寸一致的样本图像；特征提取模块用于接收样本图像、提取特征，构成多尺度特征图集合；特征融合模块用于将浅层特征图和深层特征图进行特征融合，构建五层特征金字塔；检测模块用于预测目标的类别和目标预测框的坐标值。本发明通过设置过渡层进行特征降维，构建五层特征金字塔实现多尺度特征融合，采用自上而下和自下而上相结合的特征提取和融合方式实现了对卫星影像小目标的精确识别。
Description
技术领域
本发明属于计算机视觉技术领域，特别涉及一种基于改进SSD算法的卫星影像目标智能识别系统与方法。
背景技术
随着高分辨率卫星的快速发展与高分辨率遥感图像数据急剧增加，研究在大数据下的遥感图像目标识别算法成为当前迫切需求。与传统的全局和局部特征提取方法相比，近年来发展火热的深度学习能够自主提取特征，且提取到的特征具有良好的自适应性，避免了人工设计和提取特征的复杂过程。
在实际应用中，遥感影像相对于常规自然场景图片具有幅面大、分辨率低等特点，在此情况下，目标大小在影像中常表现为中小型特征，而现有SSD（Single Shot MultiboxDetector）等一系列智能识别算法对典型小幅员目标的识别精度较差。
发明内容
针对上述技术问题，本发明提供一种基于改进SSD算法的卫星影像目标智能识别系统与方法。
为了实现上述目的，本发明采用如下技术方案：
基于改进SSD算法的卫星影像目标智能识别系统，包括依次连接的预处理模块、特征提取模块、特征融合模块和检测模块；
所述预处理模块用于将遥感图像切割为尺寸一致的样本图像；
所述特征提取模块用于接收样本图像，提取样本图像的特征，构成多尺度特征图集合；所述特征提取模块采用稠密卷积神经网络结构，包括1个过渡层，4个密集块，自上而下依次为第一密集块、第二密集块、第三密集块、第四密集块模块，3个转换层，自上而下依次为第一转换层、第二转换层、第三转换层；
所述过渡层包括1个卷积层和1个池化层；用于对样本图像进行特征提取和降维；
所述密集块包括多层，采用稠密连接的highway模式，用于加强特征的传播并且减少模型参数；其中，第一密集块为6层，每层之间有21个highway稠密连接数；第二密集块为12层，每层之间有78个highway稠密连接数；第三密集块为24层，每层之间有300个highway稠密连接数；第四密集块为16层，每层之间有136个highway稠密连接数；
所述转换层用于所述密集块的连接，具有压缩模型的功能；第一转换层、第二转换层和第三转换层均包括1个卷积层和1个池化层；
第一密集块的一端通过所述过渡层与所述预处理模块相连，另一端与第一转换层一端相连，所述密集块与所述转换层依次交错连接，直至第四密集块为最后一个密集块，与所述特征融合模块相连；
所述特征融合模块包括2个横向连接模块和3个卷积层，用于将所述特征提取模块提取的浅层特征图和深层特征图进行特征融合，生成融合特征图集合，构建五层特征金字塔；所述横向连接模块用于接收密集块生成的特征图，所述卷积层用于提取特征；所述2个横向连接模块和3个卷积层分别为横向连接模块1、横向连接模块2和卷积层1、卷积层2、卷积层3；其连接方式自下而上依次为卷积层1与卷积层2串联设置在最底层，向上依次为卷积层3、横向连接模块1、横向连接模块2；
卷积层1输入端与特征提取模块的第四密集块的输出端相连，输出端与卷积层2输入端相连；卷积层3的输入端与第四密集块模块的输出端相连，输出端与横向连接模块1相连，横向连接模块1的输入端与第三密集块模块的输出端相连，输出端与横向连接模块2相连，横向连接模块2的输入端与第二密集块模块的输出端相连；横向连接模块1、横向连接模块2、卷积层1、卷积层2、卷积层3的输出端均与检测块相连，生成融合特征图集合，发送给所述检测模块；
所述检测模块包括分类模块、定位模块和非极大值抑制模块；用于接收特征融合模块生成的融合特征图集合，预测目标的类别和目标预测框的坐标值；
所述分类模块为卷积网络，分别与所述特征融合模块和所述非极大值抑制模块相连，用于对融合特征图集合中的每一个特征图做卷积处理，向所述非极大值抑制模块输出预测目标的类别；
所述定位模块为卷积网络，分别与所述特征融合模块和所述非极大值抑制模块相连，用于对融合特征图集合中的每一个特征图做卷积处理，向非极大值抑制模块输出目标预测框的坐标值；
所述非极大值抑制模块分别与所述分类模块和所述定位模块相连，用于去除重复预测的目标类别和预测框坐标值，获得最佳预测目标的类别和预测框的坐标值。
优选地，所述过渡层包括1个步长为2的7*7*64卷积层和1个步长为2的3*3池化层；
所述密集块的每一层包括1个1*1*128卷积层和1个3*3*32卷积层；
第一转换层包括1个步长为1的1*1*128卷积层和1个步长为2的2*2池化层；第二转换层包括1个步长为1的1*1*1024卷积层和1个步长为2的2*2池化层；第三转换层包含1个步长为1的1*1*512卷积层和1个步长为2的2*2池化层；
所述卷积层1是1个步长为2的3*3*256卷积层；卷积层2是1个步长为2的3*3*256卷积层；卷积层3是1个步长为2的1*1*256卷积层；横向连接模块1和横向连接模块2均包括1个1*1*256卷积层、1个2倍最近邻上采样操作、1个连接融合；
所述分类模块是一个由4*k个3*3大小的卷积核构成的卷积网络，其中，4表示需要4个坐标值表示目标预测框的位置信息，k为图片上每个位置预定义框的数量；
所述定位模块是一个由E*k个3*3大小的卷积核构成的卷积网络，其中，E为训练数据集中包含目标的类别数量，取正整数。
本发明还提供一种利用上述基于改进SSD算法的卫星影像目标智能识别系统的卫星影像目标智能识别方法，包括以下步骤：
S1：遥感图像预处理；
由所述预处理模块将遥感图像尺寸划分为800*800像素，得到样本图像，分为训练数据集和测试数据集I；
S2：选取训练数据集，训练预处理模型；
S3：通过训练的预处理模型进行目标识别；
S31：获取测试数据集I；
S32：所述特征提取模块对测试数据集I进行特征提取及降维，得到多尺度特征图集合S(I)，将S(I)发送给所述特征融合模块；其中，多尺度特征图集合S(I)包含五个尺度的特征图，分别为S1(I)、S2(I)、S3(I)、S4(I)、S5(I)，分别由过渡层、第一密集块、第二密集块、第三密集块、第四密集块输出给其下一层，同时，第二密集块、第三密集块、第四密集块生成的特征图也发送给所述特征融合模块；
S33：特征融合模块进行多尺度特征融合，生成融合特征图集合F(I)，构建五层特征金字塔，自上而下依次为D3(I)、D4(I)、D5(I)、D1(I)、D2(I)；
S5(I)经卷积层1处理得到特征图D1(I)，S5(I)经卷积层3处理得到特征图D5(I)，D1(I)经卷积层3调整后，得到特征图D2(I)；
横向连接模块1接收特征图S4(I)和D5(I)，S4(I)经横向连接模块1的卷积层降维后得到中间变量B4(I)；对D5(I)进行2倍最近邻上采样得到中间变量C4(I)；将B4(I)与C4(I)进行连接融合，得到特征图D4(I)；
横向连接模块2接收特征图S3(I)和D4(I)，S3(I)经横向连接模块2的卷积层降维后得到中间变量B3(I)；对D4(I)进行2倍最近邻上采样得到中间变量C3(I)；将B3(I)与C3(I)进行连接融合得到特征图D3(I)；
S34：将融合特征图集合F(I)分别发送给检测模块的分类模块和定位模块，预测目标的类别和目标预测框的坐标值；
分类模块对F(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出预测目标类型；
定位模块对F(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出目标预测框位置信息，包括预测框中心的坐标以及预测框的长、宽；
非极大值抑制模块采用非极大值抑制方法去除重复预测的目标类型和预测框坐标值，获得最佳预测目标的类别和预测框的坐标值。
进一步地，S32的具体步骤为：特征提取模块的过渡层接收经预处理模块处理后的测试数据集I，并提取测试数据集I的特征，经过卷积和池化处理后得到特征图S1(I)，将S1(I)输出给第一密集块；特征图S1(I)经过第一密集块模块处理后得到特征图S2(I)，将S2(I)传给第一转换层；S2(I)经过第一转换层处理后得到A1(I)，A1(I)经第二密集块处理后得到特征图S3(I)，将S3(I)分别传给第二转换层以及特征融合模块的横向连接模块2；S3(I)经第二转换层处理后得到A2(I)，A2(I)经第三密集块处理后得到特征图S4(I)，将S4(I)分别传给第三转换层以及特征融合模块的横向连接模块1；S4(I)经过第三转换层处理后得到A3(I)，A3(I)经第四密集块处理后得到特征图S5(I)，将S5(I)分别传给特征融合模块的卷积层1和卷积层3；
优选地，特征图S1(I)、S2(I)、S3(I)、S4(I)、S5(I)的尺寸分别为200*200*64、200*200*256、100*100*512、50*50*1024、25*25*1024。
优选地，特征图D1(I)、D2(I)、D3(I)、D4(I)、D5(I)的尺寸分别为13*13*256、7*7*256、100*100*256、50*50*256、25*25*256。
优选地，中间变量B3(I)和C3(I)的尺寸相同，均为100*100*256；中间变量B4(I)和C4(I)的尺寸相同，均为50*50*256。
进一步地，S2中，训练预处理模型的具体步骤是：
S21：参数设置：设置迭代次数、初始学习率、反向传播方法、训练批尺寸为b、每一次迭代批尺寸为iter_size、分类IOU阈值、初始迭代次数为0；
S22：迭代次数加1；
S23：从训练数据集中选取b张训练数据至识别系统；
S24：由所述特征提取模块提取训练数据的特征信息；
S25：所述特征提取模块提取的特征经所述特征融合模块进行多尺度特征融合，形成特征金字塔；
S26：由所述检测模块对特征金字塔进行分类和位置回归，计算损失函数；
S27：判断是否完成iter_size次b张训练数据的迭代；如果是，则转到S28；否则，转到S23；
S28：将iter_size次b张训练数据训练所得损失的平均值作为每一次总迭代的损失，利用随机梯度下降法进行反向传播，更新所述特征提取模块和所述特征融合模块的参数；
S29：判定是否达到迭代次数；如果是，则保存最终训练好的参数，结束预处理模型的训练；否则，返回S22继续训练。
优选地，S24中，特征提取模块提取训练数据的特征信息的具体步骤与S32一致。
优选地，S25中，形成特征金字塔的具体步骤与S33一致。
本发明的有益效果：
本发明采用自上而下和自下而上相结合的特征提取和融合方式识别卫星影像，通过在特征提取模块设置过渡层进行特征降维，以缓解梯度消失，加强特征传播，鼓励特征复用；在特征融合模块构建五层特征金字塔，实现多尺度特征融合，对样本图像进行深层次的挖掘，实现了对卫星影像图中小幅员目标的精确识别。
附图说明
图1为本发明的系统原理图；
图2为本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步具体的说明。
如图1所示，基于改进SSD算法的卫星影像目标智能识别系统，包括依次连接的预处理模块、特征提取模块、特征融合模块和检测模块；
预处理模块用于将遥感图像切割为尺寸一致的样本图像；
特征提取模块用于接收样本图像，提取样本图像的特征，构成多尺度特征图集合S(I)；特征提取模块采用稠密卷积神经网络结构，包括1个过渡层，4个密集块，自上而下依次为第一密集块、第二密集块、第三密集块、第四密集块模块，3个转换层，自上而下依次为第一转换层、第二转换层、第三转换层；
过渡层包括1个步长为2的7*7*64卷积层和1个步长为2的3*3池化层；用于对样本图像进行特征提取和降维；
密集块包括多层，采用稠密连接的highway模式，用于加强特征的传播并且减少模型参数；密集块的每一层包括1个1*1*128卷积层和1个3*3*32卷积层；其中，第一密集块为6层，每层之间有21个highway稠密连接数；第二密集块为12层，每层之间有78个highway稠密连接数；第三密集块为24层，每层之间有300个highway稠密连接数；第四密集块为16层，每层之间有136个highway稠密连接数；
转换层用于密集块的连接，具有压缩模型的功能；第一转换层包括1个步长为1的1*1*128卷积层和1个步长为2的2*2池化层；第二转换层包括1个步长为1的1*1*1024卷积层和1个步长为2的2*2池化层；第三转换层包含1个步长为1的1*1*512卷积层和1个步长为2的2*2池化层；
第一密集块的一端通过过渡层与预处理模块相连，另一端与第一转换层一端相连，密集块与转换层依次交错连接，直至第四密集块为最后一个密集块，与特征融合模块相连；
特征融合模块包括2个横向连接模块和3个卷积层，用于将特征提取模块提取的低层特征图和高层特征图进行特征融合，生成融合特征图集合，构建五层特征金字塔；横向连接模块用于接收密集块生成的特征图，卷积层用于提取特征；2个横向连接模块和3个卷积层分别为横向连接模块1、横向连接模块2和卷积层1、卷积层2、卷积层3；其连接方式自下而上依次为卷积层1与卷积层2串联设置在最底层，向上依次为卷积层3、横向连接模块1、横向连接模块2；
卷积层1是1个步长为2的3*3*256卷积层；卷积层2是1个步长为2的3*3*256卷积层；卷积层3是1个步长为2的1*1*256卷积层；横向连接模块1和横向连接模块2均包括1个1*1*256卷积层、1个2倍最近邻上采样操作、1个连接融合；
卷积层1输入端与特征提取模块的第四密集块的输出端相连，输出端与卷积层2输入端相连；卷积层3的输入端与第四密集块模块的输出端相连，输出端与横向连接模块1相连，横向连接模块1的输入端与第三密集块模块的输出端相连，输出端与横向连接模块2相连，横向连接模块2的输入端与第二密集块模块的输出端相连；横向连接模块1、横向连接模块2、卷积层1、卷积层2、卷积层3的输出端均与检测块相连，生成融合特征图集合F(I)，发送给检测模块；
检测模块包括分类模块、定位模块和非极大值抑制模块；用于接收特征融合模块生成的融合特征图集合，预测目标的类别和目标预测框的坐标值；
分类模块分别与特征融合模块和非极大值抑制模块相连，用于对融合特征图集合中的每一个特征图做卷积处理，向非极大值抑制模块输出预测目标的类别；分类模块是一个由4*k个3*3大小的卷积核构成的卷积网络，其中，4表示需要4个坐标值表示目标预测框的位置信息，k为图片上每个位置预定义框的数量；
定位模块分别与特征融合模块和非极大值抑制模块相连，用于对融合特征图集合中的每一个特征图做卷积处理，向非极大值抑制模块输出目标预测框的坐标值；定位模块是一个由E*k个3*3大小的卷积核构成的卷积网络，其中，E为训练数据集中包含目标的类别数量，取正整数；
非极大值抑制模块分别与分类模块和定位模块相连，用于去除重复预测的目标类别和预测框坐标值，获得最佳预测目标的类别和预测框的坐标值。
如图2所示，一种利用上述基于改进SSD算法的卫星影像目标智能识别系统的卫星影像目标智能识别方法，包括以下步骤：
S1：遥感图像预处理；
由所述预处理模块将遥感图像尺寸划分为800*800像素，得到样本图像，分为训练数据集和测试数据集I；
S2：选取训练数据集，训练预处理模型；
S21：参数设置：设置迭代次数、初始学习率、反向传播方法、训练批尺寸为b、每一次迭代批尺寸为iter_size、分类IOU阈值、初始迭代次数为0；
S22：迭代次数加1；
S23：从训练数据集中选取b张训练数据至识别系统；
S24：由所述特征提取模块提取训练数据的特征信息；
S25：所述特征提取模块提取的特征经所述特征融合模块进行多尺度特征融合，形成特征金字塔；
S26：由所述检测模块对特征金字塔进行分类和位置回归，计算损失函数；
S27：判断是否完成iter_size次b张训练数据的迭代；如果是，则转到S28；否则，转到S23；
S28：将iter_size次b张训练数据训练所得损失的平均值作为每一次总迭代的损失，利用随机梯度下降法进行反向传播，更新所述特征提取模块和所述特征融合模块的参数；
S29：判定是否达到迭代次数；如果是，则保存最终训练好的参数，结束预处理模型的训练；否则，返回S22继续训练。
S3：通过训练的预处理模型进行目标识别；
S31：获取测试数据集I；
S32：所述特征提取模块对测试数据集I进行特征提取及降维，得到多尺度特征图集合S(I)，将S(I)发送给所述特征融合模块；其中，多尺度特征图集合S(I)包含五个尺度的特征图，分别为S1(I)、S2(I)、S3(I)、S4(I)、S5(I)，分别由过渡层、第一密集块、第二密集块、第三密集块、第四密集块输出给其下一层，同时，第二密集块、第三密集块、第四密集块生成的特征图也发送给所述特征融合模块；
特征提取模块的过渡层接收经预处理模块处理后的测试数据集I，并提取测试数据集I的特征，经过卷积和池化处理后得到特征图S1(I)，将S1(I)输出给第一密集块；特征图S1(I)经过第一密集块模块处理后得到特征图S2(I)，将S2(I)传给第一转换层；S2(I)经过第一转换层处理后得到A1(I)，A1(I)经第二密集块处理后得到特征图S3(I)，将S3(I)分别传给第二转换层以及特征融合模块的横向连接模块2；S3(I)经第二转换层处理后得到A2(I)，A2(I)经第三密集块处理后得到特征图S4(I)，将S4(I)分别传给第三转换层以及特征融合模块的横向连接模块1；S4(I)经过第三转换层处理后得到A3(I)，A3(I)经第四密集块处理后得到特征图S5(I)，将S5(I)分别传给特征融合模块的卷积层1和卷积层3；
S33：所述特征融合模块进行多尺度特征融合，生成融合特征图集合F(I)，构建五层特征金字塔，自上而下依次为D3(I)、D4(I)、D5(I)、D1(I)、D2(I)，其尺寸分别为13*13*256、7*7*256、100*100*256、50*50*256、25*25*256；
S5(I)经卷积层1处理得到特征图D1(I)，S5(I)经卷积层3处理得到特征图D5(I)，D1(I)经卷积层3调整后，得到特征图D2(I)；
横向连接模块1接收特征图S4(I)和D5(I)，S4(I)经横向连接模块1的卷积层降维后得到中间变量B4(I)；对D5(I)进行2倍最近邻上采样得到中间变量C4(I)；将B4(I)与C4(I)进行连接融合，得到特征图D4(I)；所述中间变量B4(I)和C4(I)的尺寸相同，均为50*50*256；
横向连接模块2接收特征图S3(I)和D4(I)，S3(I)经横向连接模块2的卷积层降维后得到中间变量B3(I)；对D4(I)进行2倍最近邻上采样得到中间变量C3(I)；将B3(I)与C3(I)进行连接融合得到特征图D3(I)；所述中间变量B3(I)和C3(I)的尺寸相同，均为100*100*256；
S34：将融合特征图集合F(I)分别发送给所述检测模块的分类模块和定位模块，预测目标的类别和目标预测框的坐标值；
分类模块对F(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出预测目标类型；
定位模块对F(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出目标预测框位置信息，包括预测框中心的坐标以及预测框的长、宽；
非极大值抑制模块采用非极大值抑制方法去除重复预测的目标类型和预测框坐标值，获得最佳预测目标的类别和预测框的坐标值。
以上关于本发明的具体描述，仅用于说明本发明而非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。
Claims (10)
1.基于改进SSD算法的卫星影像目标智能识别系统，其特征在于，包括依次连接的预处理模块、特征提取模块、特征融合模块和检测模块；
所述预处理模块用于将遥感图像切割为尺寸一致的样本图像；
所述特征提取模块用于接收样本图像，提取样本图像的特征，构成多尺度特征图集合；所述特征提取模块采用稠密卷积神经网络结构，包括1个过渡层，4个密集块，自上而下依次为第一密集块、第二密集块、第三密集块、第四密集块模块，3个转换层，自上而下依次为第一转换层、第二转换层、第三转换层；
所述过渡层包括1个卷积层和1个池化层；用于对样本图像进行特征提取和降维；
所述密集块包括多层，采用稠密连接的highway模式，用于加强特征的传播并且减少模型参数；其中，第一密集块为6层，每层之间有21个highway稠密连接数；第二密集块为12层，每层之间有78个highway稠密连接数；第三密集块为24层，每层之间有300个highway稠密连接数；第四密集块为16层，每层之间有136个highway稠密连接数；
所述转换层用于所述密集块的连接，具有压缩模型的功能；第一转换层、第二转换层和第三转换层均包括1个卷积层和1个池化层；
第一密集块的一端通过所述过渡层与所述预处理模块相连，另一端与第一转换层一端相连，所述密集块与所述转换层依次交错连接，直至第四密集块为最后一个密集块，与所述特征融合模块相连；
所述特征融合模块包括2个横向连接模块和3个卷积层，用于将所述特征提取模块提取的浅层特征图和深层特征图进行特征融合，生成融合特征图集合，构建五层特征金字塔；所述横向连接模块用于接收密集块生成的特征图，所述卷积层用于提取特征；所述2个横向连接模块和3个卷积层分别为横向连接模块1、横向连接模块2和卷积层1、卷积层2、卷积层3；其连接方式自下而上依次为卷积层1与卷积层2串联设置在最底层，向上依次为卷积层3、横向连接模块1、横向连接模块2；
卷积层1输入端与特征提取模块的第四密集块的输出端相连，输出端与卷积层2输入端相连；卷积层3的输入端与第四密集块模块的输出端相连，输出端与横向连接模块1相连，横向连接模块1的输入端与第三密集块模块的输出端相连，输出端与横向连接模块2相连，横向连接模块2的输入端与第二密集块模块的输出端相连；横向连接模块1、横向连接模块2、卷积层1、卷积层2、卷积层3的输出端均与检测块相连，生成融合特征图集合，发送给所述检测模块；
所述检测模块包括分类模块、定位模块和非极大值抑制模块；用于接收特征融合模块生成的融合特征图集合，预测目标的类别和目标预测框的坐标值；
所述分类模块为卷积网络，分别与所述特征融合模块和所述非极大值抑制模块相连，用于对融合特征图集合中的每一个特征图做卷积处理，向所述非极大值抑制模块输出预测目标的类别；
所述定位模块为卷积网络，分别与所述特征融合模块和所述非极大值抑制模块相连，用于对融合特征图集合中的每一个特征图做卷积处理，向非极大值抑制模块输出目标预测框的坐标值；
所述非极大值抑制模块分别与所述分类模块和所述定位模块相连，用于去除重复预测的目标类别和预测框坐标值，获得最佳预测目标的类别和预测框的坐标值。
2.根据权利要求1所述的系统，其特征在于，所述过渡层包括1个步长为2的7*7*64卷积层和1个步长为2的3*3池化层；
所述密集块的每一层包括1个1*1*128卷积层和1个3*3*32卷积层；
第一转换层包括1个步长为1的1*1*128卷积层和1个步长为2的2*2池化层；第二转换层包括1个步长为1的1*1*1024卷积层和1个步长为2的2*2池化层；第三转换层包含1个步长为1的1*1*512卷积层和1个步长为2的2*2池化层；
所述卷积层1是1个步长为2的3*3*256卷积层；卷积层2是1个步长为2的3*3*256卷积层；卷积层3是1个步长为2的1*1*256卷积层；横向连接模块1和横向连接模块2均包括1个1*1*256卷积层、1个2倍最近邻上采样操作、1个连接融合；
所述分类模块是一个由4*k个3*3大小的卷积核构成的卷积网络，其中，4表示需要4个坐标值表示目标预测框的位置信息，k为图片上每个位置预定义框的数量；
所述定位模块是一个由E*k个3*3大小的卷积核构成的卷积网络，其中，E为训练数据集中包含目标的类别数量，取正整数。
3.利用如权利要求1或2所述的基于改进SSD算法的卫星影像目标智能识别系统的卫星影像目标智能识别方法，其特征在于，包括以下步骤：
S1：遥感图像预处理；
由所述预处理模块将遥感图像尺寸划分为800*800像素，得到样本图像，分为训练数据集和测试数据集I；
S2：选取训练数据集，训练预处理模型；
S3：通过训练的预处理模型进行目标识别；
S31：获取测试数据集I；
S32：所述特征提取模块对测试数据集I进行特征提取及降维，得到多尺度特征图集合S(I)，将S(I)发送给所述特征融合模块；其中，多尺度特征图集合S(I)包含五个尺度的特征图，分别为S1(I)、S2(I)、S3(I)、S4(I)、S5(I)，分别由过渡层、第一密集块、第二密集块、第三密集块、第四密集块输出给其下一层，同时，第二密集块、第三密集块、第四密集块生成的特征图也发送给所述特征融合模块；
S33：所述特征融合模块进行多尺度特征融合，生成融合特征图集合F(I)，构建五层特征金字塔，自上而下依次为D3(I)、D4(I)、D5(I)、D1(I)、D2(I)；
S5(I)经卷积层1处理得到特征图D1(I)，S5(I)经卷积层3处理得到特征图D5(I)，D1(I)经卷积层3调整后，得到特征图D2(I)；
横向连接模块1接收特征图S4(I)和D5(I)，S4(I)经横向连接模块1的卷积层降维后得到中间变量B4(I)；对D5(I)进行2倍最近邻上采样得到中间变量C4(I)；将B4(I)与C4(I)进行连接融合，得到特征图D4(I)；
横向连接模块2接收特征图S3(I)和D4(I)，S3(I)经横向连接模块2的卷积层降维后得到中间变量B3(I)；对D4(I)进行2倍最近邻上采样得到中间变量C3(I)；将B3(I)与C3(I)进行连接融合得到特征图D3(I)；
S34：将融合特征图集合F(I)分别发送给所述检测模块的分类模块和定位模块，预测目标的类别和目标预测框的坐标值；
分类模块对F(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出预测目标类型；
定位模块对F(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出目标预测框位置信息，包括预测框中心的坐标以及预测框的长、宽；
非极大值抑制模块采用非极大值抑制方法去除重复预测的目标类型和预测框坐标值，获得最佳预测目标的类别和预测框的坐标值。
4.根据权利要求3所述的方法，其特征在于，S32的具体步骤为：特征提取模块的过渡层接收经预处理模块处理后的测试数据集I，并提取测试数据集I的特征，经过卷积和池化处理后得到特征图S1(I)，将S1(I)输出给第一密集块；特征图S1(I)经过第一密集块模块处理后得到特征图S2(I)，将S2(I)传给第一转换层；S2(I)经过第一转换层处理后得到A1(I)，A1(I)经第二密集块处理后得到特征图S3(I)，将S3(I)分别传给第二转换层以及特征融合模块的横向连接模块2；S3(I)经第二转换层处理后得到A2(I)，A2(I)经第三密集块处理后得到特征图S4(I)，将S4(I)分别传给第三转换层以及特征融合模块的横向连接模块1；S4(I)经过第三转换层处理后得到A3(I)，A3(I)经第四密集块处理后得到特征图S5(I)，将S5(I)分别传给特征融合模块的卷积层1和卷积层3。
5.根据权利要求4所述的方法，其特征在于，所述特征图S1(I)、S2(I)、S3(I)、S4(I)、S5(I)的尺寸分别为200*200*64、200*200*256、100*100*512、50*50*1024、25*25*1024。
6.根据权利要求3所述的方法，其特征在于，所述特征图D1(I)、D2(I)、D3(I)、D4(I)、D5(I)的尺寸分别为13*13*256、7*7*256、100*100*256、50*50*256、25*25*256。
7.根据权利要求3所述的方法，其特征在于，所述中间变量B3(I)和C3(I)的尺寸相同，均为100*100*256；所述中间变量B4(I)和C4(I)的尺寸相同，均为50*50*256。
8.根据权利要求3所述的方法，其特征在于，S2中，所述训练预处理模型的具体步骤是：
S21：参数设置：设置迭代次数、初始学习率、反向传播方法、训练批尺寸为b、每一次迭代批尺寸为iter_size、分类IOU阈值、初始迭代次数为0；
S22：迭代次数加1；
S23：从训练数据集中选取b张训练数据至识别系统；
S24：由所述特征提取模块提取训练数据的特征信息；
S25：所述特征提取模块提取的特征经所述特征融合模块进行多尺度特征融合，形成特征金字塔；
S26：由所述检测模块对特征金字塔进行分类和位置回归，计算损失函数；
S27：判断是否完成iter_size次b张训练数据的迭代；如果是，则转到S28；否则，转到S23；
S28：将iter_size次b张训练数据训练所得损失的平均值作为每一次总迭代的损失，利用随机梯度下降法进行反向传播，更新所述特征提取模块和所述特征融合模块的参数；
S29：判定是否达到迭代次数；如果是，则保存最终训练好的参数，结束预处理模型的训练；否则，返回S22继续训练。
9.根据权利要求8所述的方法，其特征在于，S24中，所述特征提取模块提取训练数据的特征信息的具体步骤与S32一致。
10.根据权利要求8所述的方法，其特征在于，S25中，所述形成特征金字塔的具体步骤与S33一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111576323.1A CN113963274B (zh) | 2021-12-22 | 2021-12-22 | 基于改进ssd算法的卫星影像目标智能识别系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111576323.1A CN113963274B (zh) | 2021-12-22 | 2021-12-22 | 基于改进ssd算法的卫星影像目标智能识别系统与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113963274A true CN113963274A (zh) | 2022-01-21 |
| CN113963274B CN113963274B (zh) | 2022-03-04 |
Family
ID=79473465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111576323.1A Active CN113963274B (zh) | 2021-12-22 | 2021-12-22 | 基于改进ssd算法的卫星影像目标智能识别系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963274B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN111461110A (zh) * | 2020-03-02 | 2020-07-28 | 华南理工大学 | 一种基于多尺度图像和加权融合损失的小目标检测方法 |
| CN111666836A (zh) * | 2020-05-22 | 2020-09-15 | 北京工业大学 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
| US20200327679A1 (en) * | 2019-04-12 | 2020-10-15 | Beijing Moviebook Science and Technology Co., Ltd. | Visual target tracking method and apparatus based on deeply and densely connected neural network |
| CN112767251A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多尺度细节特征融合神经网络的图像超分辨率方法 |
-
2021
- 2021-12-22 CN CN202111576323.1A patent/CN113963274B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200327679A1 (en) * | 2019-04-12 | 2020-10-15 | Beijing Moviebook Science and Technology Co., Ltd. | Visual target tracking method and apparatus based on deeply and densely connected neural network |
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN111461110A (zh) * | 2020-03-02 | 2020-07-28 | 华南理工大学 | 一种基于多尺度图像和加权融合损失的小目标检测方法 |
| CN111666836A (zh) * | 2020-05-22 | 2020-09-15 | 北京工业大学 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
| CN112767251A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多尺度细节特征融合神经网络的图像超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113963274B (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340814B (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN113936256A (zh) | 一种图像目标检测方法、装置、设备以及存储介质 | |
| CN113780211A (zh) | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 | |
| CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
| CN110826428A (zh) | 一种高速的sar图像中船只检测方法 | |
| CN111310666A (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
| CN115862066A (zh) | 一种改进YOLOv5的轻量化社区场景下行人检测方法 | |
| CN112561796A (zh) | 基于自注意生成对抗网络的激光点云超分辨率重建方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN117037004B (zh) | 基于多尺度特征融合和上下文增强的无人机影像检测方法 | |
| CN109002771B (zh) | 一种基于递归神经网络的遥感图像分类方法 | |
| CN115830596A (zh) | 基于融合金字塔注意力的遥感图像语义分割方法 | |
| CN115170985B (zh) | 一种基于阈值注意力的遥感图像语义分割网络及分割方法 | |
| CN114782798A (zh) | 一种基于注意力融合的水下目标检测方法 | |
| CN114170526A (zh) | 基于轻量化网络的遥感影像多尺度目标检测识别方法 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN109508639A (zh) | 基于多尺度带孔卷积神经网络的道路场景语义分割方法 | |
| CN111898671B (zh) | 激光成像仪和彩色相机编码融合目标识别方法及系统 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN113963274B (zh) | 基于改进ssd算法的卫星影像目标智能识别系统与方法 | |
| CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| CN116935249A (zh) | 一种无人机场景下三维特征增强的小目标检测方法 | |
| CN115761552A (zh) | 面向无人机机载平台的目标检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |