CN110009010B - 基于兴趣区域重检测的宽幅光学遥感目标检测方法 - Google Patents

基于兴趣区域重检测的宽幅光学遥感目标检测方法 Download PDF

Info

Publication number
CN110009010B
CN110009010B CN201910211183.4A CN201910211183A CN110009010B CN 110009010 B CN110009010 B CN 110009010B CN 201910211183 A CN201910211183 A CN 201910211183A CN 110009010 B CN110009010 B CN 110009010B
Authority
CN
China
Prior art keywords
detection
target
remote sensing
wide
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910211183.4A
Other languages
English (en)
Other versions
CN110009010A (zh
Inventor
杨淑媛
胡滔
冯志玺
王敏
刘志
徐光颖
王俊骁
孟会晓
郝晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910211183.4A priority Critical patent/CN110009010B/zh
Publication of CN110009010A publication Critical patent/CN110009010A/zh
Application granted granted Critical
Publication of CN110009010B publication Critical patent/CN110009010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，主要解决宽幅光学遥感目标检测中对小尺度目标检测精度低及重叠滑窗检测时效性慢的问题。具体步骤有：制作多尺度训练样本；设计检测网络模型结构；对混合重检测网络模型进行训练；宽幅影像候选兴趣区域提取与重检测。本发明设计的检测网络模型，能拟合不同尺度目标的检测；基于兴趣区域检测不需重叠检测，降低了宽幅遥感图像候选区域提取的时间，采用对候选区域基于目标的尺度先验性进行重检测，改善了小目标的检测效果，检测精度更高。可应用于任何宽幅像素分辨率大小的光学遥感图像的检测。

Description

基于兴趣区域重检测的宽幅光学遥感目标检测方法
技术领域
发明属于光学遥感图像处理技术领域，更进一步涉及智能宽幅光学遥感目标检测，具体是一种基于兴趣区域重检测的宽幅光学遥感目标检测方法。本发明可用于星载、机载光学宽幅光学遥感图像场景下进行目标准确定位、目标跟踪、行人重识别、违章车辆检测等诸多应用。
背景技术
随着现代航天遥感技术的发展，卫星对地观测能力大幅提升，光学遥感数据分析与处理在军用和民用上都发挥重要的作用。在军事方面，光学遥感数据分析与处理方便收集情报和侦察，进而调整作战计划、军事部署；在民用方面，可以用于灾情监测、农业估产调查、土地利用规划、城市交通监测等诸多应用，遥感图像目标检测与识别是遥感图像处理中非常重要的内容，对遥感图像进行高效和精准的检测与识别在实际军事和民用应中发挥着重要的作用。现阶段的光学遥感技术，已经达到了高分辨率、大幅宽、高速以及多谱段探测的水平，导致获取的光学遥感数据量不断增大；高效的遥感图像处理方式在如此庞大的数据量中变得至关重要。
中科院大学Wang W等人其发表论文[A novel method of aircraft detectionbased on high-resolution panchromatic optical remote sensing images[J].Sensors,2017,17(5):1047.]，其中以直线段加权密度显著模型为基础设计改进了机场区域检测算法，主要针对大幅宽低分辨率复杂场景光学遥感图像中进行机场目标的快速搜索与定位，得到目标的候选区域，提高目标识别效率，但是该设计方法将宽幅遥感大图基于传统的特征。文献[Liu G,Zhang Y,Zheng X,et al.A new method on inshore shipdetection in high-resolution satellite images using shape and contextinformation[J].IEEE Geoscience and Remote Sensing Letters,2014,11(3):617-621.]采用一种基于能量的轮廓模型，在候选区域提取阶段加入了基于传统人工特征进行关键点检测，并结合船只的先验性尺度比例分布来去除虚假候选区域。
现有的宽幅遥感检测技术存在以下几个问题：1、光学遥感图像受光照、天气、成像条件等因素影响，采用传统人工设计的特征很难准确表示目标信息，导致图像检测精度下降；2、传统的候选区域提取基于传统特征提取，时效性慢；3、基于滑窗重叠的宽幅遥图像检测方法速度慢。
发明内容
本发明针对上述方法的不足，提出一种快速、检测精度高的兴趣区域重检测的宽幅光学遥感目标检测方法。
本发明是一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，包括有以下步骤：
(1)制作多尺度训练样本：输入宽幅光学遥感大图，将宽幅遥感图像切块分割成多尺度小图，制作成检测网络模型训练样本；
(2)构造混合重检测网络模型：网络模型主要包括特征提取网络、反卷积模块、侧连接融合模块和预测网络结构四部分；
(2a)通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取；
(2b)在特征提取层后面加入反卷积层，提取分辨率高的、语义信息丰富的特征；
(2c)将浅层特征与深层特征通过侧连接模块进行特征拼接融合方式，得到融合特征；
(2d)将融合特征进行预测，设置6个不同尺度的融合特征进行预测；
(2e)将6个不同尺度融合特征每个位置点设定其预测锚框anchors的数量、尺度和比例；
(2f)对6个不同尺度融合特征分别加入位置回归金字塔网络和分类预测回归金字塔网络。
(3)对混合重检测网络模型进行训练：反卷积模块、侧连接融合模块和预测网络结构参数随机初始化，采用反向传播算法进行检测网络模型参数反复迭代更新；检测网络模型训练到最大迭代次数，模型更新结束，得到训练好的检测网络模型；
(4)宽幅影像候选兴趣区域提取与重检测：通过训练好的检测网络模型对输入宽幅光学遥感大图先进行滑窗候选兴趣区域提取，不重叠检测，再对候选兴趣区域进行重检测，得到重检测后的整张光学遥感大图的检测结果；
本发明提高了宽幅遥感图像的检测速度，同时提高了检测精度。
本发明与现有技术相比，具有以下优点：
第一，提高宽幅遥感图像小目标的检测效果；本发明结合深层特征预测大目标和浅层特征预测小目标的原理，构造深度回归网络将网络浅层卷积特征和深层卷积特征相结合，防止小目标信息丢失；同时，基于兴趣区域目标重检测算法根据候选区域目标类型，从而以先验性尺度兴趣区域进行重检测，使得小目标在新的重检测区域比例放大，小目标的检测率提高。
第二，检测精度更高；本发明构造的基于兴趣区域目标重检测算法，以粗检检测框为中心进行先验性尺度兴趣区域重检测，模拟了训练数据的分布；
第三，本发明检测速度更快；传统的宽幅遥感目标检测方式需要重叠滑窗检测，消耗了大量的时间，但基于兴趣区域目标重检测算法利用遥感宽幅图像数据目标稀疏分布的特点，无须带有重叠检测，减少了检测时间。
附图说明
图1为本发明的流程图；
图2为本发明设计的检测网络模型示意图；
图3为本发明设计的宽幅遥感图像兴趣区域重检测的流程图；
图4为本发明实验结果，其中图4(a)为本发明与其它测试方法在宽幅遥感大图平均精度对比结果，图4(b)为本发明与其它测试方法在测试宽幅遥感大图速度对比结果；
图5为本发明检测网络模型与现有的检测模型实验对比结果。
具体实施方式
下面结合附图对本发明的具体步骤描述如下：
实施例1
遥感图像目标检测其基本任务是确定遥感图像中是否存在感兴趣的候选目标，并对其进行精准定位，同时提取目标相关属性和状态参数；该问题的解决综合利用了数学、物理、计算机、信息科学等方法，涉及到遥感、模式识别、视觉原理等多方面的内容，是一个涉及多学科的问题。光学遥感影像目标检测面临极大挑战，包括遥感视角改变、遮挡、背景、图像目标发生畸变、噪声干扰、光照等引起的目标外形上的变化，同时遥感影像在分辨率上的提高、重访周期的增加，遥感图像在数量和质量上爆炸性增长对遥感目标检测算法的实时性要求越来越高。但现有的遥感图像检测基于传统的人工特征提取方式，特征的鲁棒性比较差，同时传统的宽幅遥感检测方式基于滑窗重叠检测，检测速度慢，检测缺乏认知先验性，导致检测精度低。
本发明经过研究和探讨，提出了一种基于兴趣区域重检测的宽幅光学遥感目标检测方法。参见图1，本发明的基于兴趣区域重检测的宽幅光学遥感目标检测方法包括有如下步骤：
(1)制作多尺度训练样本：输入宽幅光学遥感大图，将宽幅遥感图像切块分割成多尺度小图，制作成检测网络模型训练样本。
(2)构造混合重检测网络模型：参见图2，混合检测网络模型主要包括特征提取网络、反卷积模块、侧连接融合模块和预测网络结构四部分。混合检测网络模型通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取，在预训练模型ResNet-50输出层后面加入反卷积层，提取分辨率高的、语义信息丰富的特征，然后将浅层特征与深层特征通过侧连接模块进行特征拼接融合。将整个混合检测网络模型设置6个不同尺度的特征进行预测，最后对6个不同尺度特征分别加入位置回归网络结构和分类预测网络结构。具体也可以通过以下步骤表述。
(2a)通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取；模型输入图像大小最短边resize到600，即双线性插值到600大小分辨率，最长边的大小按照与最短边的比例resize，然后基于ImageNet的ResNet-50模型进行特征提取。本例中采用残差网络因为残差网络融合了多层尺度信息，同时残差网络的训练可以防止梯度消失，相比ResNet-101等残差网络，ResNet-50预训练模型层数更少，特征提取速度更快。但也可以选取其它预训练模型，例如VGG、DenseNet等其它预训练模型。
(2b)在预训练模型ResNet-50输出层后面加入反卷积层；目的是得到分辨率高的、语义信息丰富的特征；每个反卷积层得到的特征分辨率增大2倍，反卷积层提高了特征的空间位置信息，有利于目标的位置检测。
(2c)将浅层特征与深层特征通过侧连接模块进行特征拼接融合，得到融合特征；深层特征具有丰富的语义分类信息，浅层特征空间位置信息丰富。本发明中把预训练模型中提取的浅层特征和反卷积得到的深层语义特征进行拼接融合，使得融合特征具有丰富的空间位置信息的同时，还具有丰富的语义分类信息。
(2d)将检测网络模型设定多层不同尺度的特征进行预测；本发明设置多层不同尺度的特征进行预测，目的为了检测网络模型能够检测到不同尺度的目标。因为遥感大图不同类别的目标尺度差异性比较大，为了实现对不同尺度的目标进行精准检测，所以本发明采用不同尺度的特征来进行预测。本例中，为了考虑小目标的尺度分布，同时结合对预测特征的感受野进行分析，本发明采用6层特征来对遥感小尺度目标进行检测。
(2e)将多个不同尺度特征每个位置点设定其预测锚框anchors的数量、尺度和比例；因为遥感大图基于俯视角度，目标的比例分布差异性比较大，本例中，设计了多种尺度、多种比例的预测锚框anchors，使预测锚框anchors考虑了各种尺度比例目标的可能性分布。
(2f)对6个不同尺度融合特征分别加入位置回归金字塔网络和分类预测回归金字塔网络。本例中，对多层不同尺度预测特征的每个特征后面加入两个网络，一个为回归网络，另一个为分类预测网络。位置回归网络负责检测网络模型anchors的位置预测，分类预测网络负责检测网络模型anchors的类别预测。
(3)对混合重检测网络模型进行训练：反卷积模块、侧连接融合模块和预测网络结构参数随机初始化，采用反向传播算法进行检测网络模型参数反复迭代更新；混合检测网络模型训练到最大迭代次数，模型更新结束，得到训练好的混合检测网络模型。
(4)宽幅影像候选兴趣区域提取与重检测：通过训练好的混合重检测网络模型对输入宽幅光学遥感大图进行不重叠检测，提取图像的候选兴趣区域，再对候选兴趣区域进行重检测，得到重检测后的整张光学遥感大图的检测结果。
实现本发明的具体思路是：本发明在宽幅遥感图构造检测网络模型训练数据集的时候，会以目标的标签为中心在宽幅遥感大图切割两种不同尺度大小的图像作为训练样本；构建深度卷积多层预测网络，将深层卷积特征和浅层卷积特征结合进行多尺度预测，提高小目标检测效果；同时根据训练数据分布特点进行模型参数空间设计，保证训练数据同模型参数大小匹配。测试过程将整张宽幅遥感大图送入内存当中进行测试，以快速滑窗方式快速找到目标存在的感兴趣区域，然后对初次检测到的候选检测区域框判断其检测类别和检测置信度，以候选区域为中心选择新的尺度区域进行先验性尺度重检测，目的是模拟训练数据目标的分布。本发明用重检测得到的良性框来替换原来的初次检测的粗框，降低模型的虚警率，同时利用兴趣区域重检测算法可以不采用重叠滑窗检测，减少了宽幅遥感数据检测时间。
实施例2
基于兴趣区域重检测的宽幅光学遥感目标检测方法的总体技术方案同实施例1，步骤(1)中所述的制作多尺度训练样本，具体包括有如下步骤：
1.1输入一张宽幅光学RGB遥感图像；
1.2先对宽幅光学RGB遥感图像分别进行飞机、舰船目标进行人工标注，得到宽幅大图数据的标签文件；如果有每个宽幅遥感数据的标签文件，则跳过此步骤。
1.3将宽幅光学遥感图像以600*600大小滑窗分块切割成小图，切块顺序为从左至右，从上往下；再以宽幅遥感数据的每个目标的标注为中心，分别以两个固定区域大小448*448和600*600切块成多尺度小图；这样得到每个多尺度小图以及每个多尺度小图的标签文件。切割大小以600*600是为了符合模型的输入大小。
1.4对每张小图的每个目标进行判断，如果目标在某个多尺度小图的面积比例大于目标在原来宽幅光学RGB遥感大图面积的25％，则将该多尺度小图中的目标标记为真实目标，否则作为虚警目标。
1.5判断每张切块多尺度小图是否包含真实目标，如果不包含真实目标，则将多尺度小图作为为负类样本，不作为检测模型的训练数据。
本发明一开始就对遥感大图进行多尺度分割，使得分割之后的小图目标具有多尺度性，同时设定真实目标和虚警目标的阈值，降低了测试过程中的虚警率和漏检率。
实施例3
基于兴趣区域重检测的宽幅光学遥感目标检测方法的总体技术方案同实施例1-2，步骤(2e)中所述对多个不同尺度融合特征设定其预测锚框anchors的数量、尺度和比例，具体包括有如下步骤：
2e.1为了考虑遥感数据小目标的分布，模型设定6个预测层特征，分别命名为P7，P6，P5，P4，P3，P2；6个预测层特征锚框anchors基准尺度设定分别为[16，32，64，128，256，512]。
2e.2每个预测层上每个位置锚框anchors设定的数量为9，9个锚框anchors由3个不同scales和3个不同的比例组合而成；3个比例设定为：锚框anchors的长宽比分别为[0.5，1，2]；3个不同的尺度分别设定为：基准尺度*[20,21/3,22/3]。
本发明的优点在于：锚框anchors的设计根据大的特征map检测小目标，小的特征map检测大目标的原则，每个锚框anchors设计基于预测特征的感受野。同时考虑了遥感俯视角度目标分布的旋转多样性，所以设置多个锚框anchors，使锚框anchors的比例更能够接近目标的尺度比例分布。本发明设计多层特征进行预测，通过实验和分析证明，检测模型通过6层特征进行预测，检测精度更高。
实施例4
基于兴趣区域重检测的宽幅光学遥感目标检测方法的总体技术方案同实施例1-3，步骤(2f)所述对6个不同尺度融合特征分别加入位置回归金字塔网络和分类预测金字塔网络，具体步骤如下：
2f.1将训练集所有目标按照最短边像素尺度进行统计，按照[0-16，16-32，32-64，64-128，128-256，>256]6个区间进行直方图统计目标个数；将所有切割之后的训练数据保证短边resize到600，长边按照同短边的比例进行resize，得到resize之后的训练小图数据，然后对reisze之后的训练小图数据所有的标签信息最短边像素进行统计，统计区间个数为6，分别是[0-16，16-32，32-64，64-128，128-256，>256]，得到每个区间的统计个数。
2f.2按照每个区间统计个数，如果统计个数<1000，分类和回归参数空间设置为1层；如果统计个数范围为1000-2000，设定分类和回归参数空间都设置为2层；如果统计个数范围为2000-3000，设定分类和回归参数空间都设置为3层；统计个数范围为1000-2000>3000，设定分类和回归参数空间都设置为4层；分类和回归参数空间每层为卷积层，卷积核大小为3*3，卷积核通道数为256，卷积方式为same卷积方式。
本发明该设计的优点在于，设计6个不同尺度融合特征分别加入位置回归网络和分类预测网络，不同的层负责不同尺度大小目标的预测，由于以往网络检测模型在训练的过程中，缺乏对训练数据尺度分布的先验性，不同层设计不同大小的预测参数空间是一致的，这样会导致预测参数空间数量与训练数据大小不匹配，容易导致模型过拟合。该设计加入了训练数据目标尺度分布的先验性，使得预测参数空间数量与训练数据大小匹配，进一步可以防止模型过拟合。
实施例5
基于兴趣区域重检测的宽幅光学遥感目标检测方法的总体技术方案同实施例1-4，参见图3，步骤(4)中所述的宽幅影像候选兴趣区域提取与重检测，具体步骤如下：
5.1将整张宽幅光学遥感测试大图载入内存。
5.2设置混合重检测网络检测的置信度为0.15，采用600*600大小对大图进行滑窗切块，不采用重叠滑窗，得到切块小图，并送入混合重检测网络进行检测，得到目标感兴趣候选区域B1以及目标感兴趣区域类别C1。本例中检测置信度设置为0.15，是比网络正常检测置信度要小点，为了防止模型漏检，得到感兴趣候选区域。由于不同的检测网络模型，检测的置信度大小不一致，根据具体的检测网络模型来设计。本例中采用600*600是因为训练数据采用滑窗大小为600*600。
5.3以目标感兴趣候选区域B1为中心裁剪一个重检测图像区域R1，通过目标感兴趣区域类别C1进行判断，如果判断是舰船小尺度目标，则裁剪出448*448的区域，否则裁剪600*600图像区域；这里重检测区域设置成448*448是为了增大小尺度目标在重检测区域的比例，从而减缓小目标通过下采样网络结构而导致信息丢失问题；本发明设置重采样区域大小分别为448和600，其中448为小目标重检测区域大小，主要是针对舰船等小目标，600为大尺度目标重检测区域大小，以上设置均是为了模拟训练数据集的分布。
5.4将裁剪得到的重检测图像区域R1重新送入混合重检测网络模型，以正常置信度0.3进行重检测，得到重检测目标框B'j，j＝1,2...n，n表示重检测图像区域R1检测到了n个目标。本发明设计的检测网络模型正常置信度大致为0.3，其它检测网络模型可能大致不一样，不同的网络模型应该设计其正常检测置信度阈值。
5.5定义重检测图像区域R1中重检测目标框B'j相对目标框B1的重叠率指标IOUS(B1,B'j)；得到重检测目标框B'j中与B1的IOUS指标最大的重检测目标框B'fine，如果B'fine和B1是同一目标类别，则舍弃B1，将B'fine代替B1，如果不满足条件，舍弃B1框和B'fine框。重叠率指标IOUS(B1,B'j)，其定义如下：
Figure BDA0002000567780000091
Intersection(B1,B'j)为两个框B1，B'j的重叠面积，B'j为重检测区域的第j个检测目标，Intersection(B1,B1)为B1的面积。
本发明首先通过低置信度检测到宽幅大图区域的候选区域以及候选区域的类别，根据候选区域的类别然后以候选区域为中心切割一个新的尺度区域进行重检测，具有对候选区域的判别认知先验性，增加了模型的检测精度；同时滑窗方式不需要重叠，减少了光学遥感大图的检测速度。
综上所述，本发明构建的深度多尺度卷积网络，通过将深层卷积特征和浅层卷积特征结合，根据训练数据分布特点进行模型参数空间设计，加入训练数据的分布先验性，保证训练数据同模型参数大小匹配，提高检测精度。同时提出的兴趣区域重检测算法，以快速滑窗不重叠检测方式，快速定位目标的感兴趣区域，然后对以候选兴趣区域为中心选择新的尺度区域进行先验性尺度重检测，加快了检测速度，同时提高了检测精度。
下面给出一个更加详细的例子以及实验数据结果，对本发明进一步说明；
实施例6
基于兴趣区域重检测的宽幅光学遥感目标检测方法的总体技术方案同实施例1-5。
本发明是一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，参见图1，包括有以下详细步骤：
步骤1：制作模型训练数据。
第1步，输入宽幅光学RGB遥感大图，先对宽幅光学RGB遥感图像进行人工标注，得到宽幅大图数据的标签文件。
第2步，将宽幅光学遥感图像以600*600大小滑窗分块切割成小图；再以宽幅遥感数据的每个目标的标注为中心，分别以两个固定区域大小448*448和600*600切块成多尺度小图；这样得到每个多尺度小图以及每个多尺度小图的标签文件；
第3步，对每张小图的每个目标进行判断，如果目标在某个多尺度小图的面积比例大于目标在原来宽幅光学RGB遥感大图面积的25％，则将该多尺度小图中的目标标记为真实目标，否则作为虚警目标。
第4步，判断每张切块多尺度小图是否包含真实目标，如果不包含真实目标，则将多尺度小图作为为负类样本，不作为检测模型的训练数据。最后得到多尺度小图训练数据与小图标签。
步骤2：设计检测网络模型。
第1步，模型输入图像大小最短边resize到600，最长边按照与最短边的比例resize，例如输入短边为900像素大小，长边为1200，将短边resize到600，长边则resize到1200*(600/900)＝800，首先通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取；定义提取的预训练特征为P5，预训练特征P5为2048个通道，特征空间分辨率为原图的32倍下采样大小。
第2步，在特征提取层后面加入反卷积层，反卷积层由卷积核大小为1*1、通道数为256的same卷积层和双线性2倍上采样层构成，每次反卷积将特征的分辨率增大2倍，通过3次反卷积层，得到3个反卷积特征分别定义为[P'4,P'3,P'2]，P'4的特征分辨率是原图的16倍下采样大小，P'3的特征分辨率是原图的16倍下采样大小，P'2的特征分辨率是原图的16倍下采样大小，在预训练特征P5加入两个下采样层，下采样层结构为：1x1通道数为256的same卷积层和步长为2的最大池化层组成，得到2个下采样特征分别定义为[P6,P7]。
第3步，将浅层特征与深层特征通过侧连接模块进行特征拼接融合方式，将特征[P'4,P'3,P'2]与预训练模型中间层的特征进行拼接融合，P'4与C4层特征进行融合得到融合特征P4，P'3与C3层特征进行融合得到融合特征P3，P'2与C2层特征进行融合得到融合特征P2。C2，C3，C4为预训练模型ResNet-50中间层。
第4步，将检测网络模型设置6个不同尺度的融合特征进行预测，分别是上述第1步、第2步、第3步提到的[P7，P6，P5，P4，P3，P2]。6个预测层特征锚框anchors基准尺度设定分别为[16，32，64，128，256，512]；每个预测层上每个位置锚框anchors设定的数量为9，9个锚框anchors由3个不同scales和3个不同的比例组合而成；3个比例设定为：锚框anchors的长宽比分别为[0.5，1，2]；3个不同的尺度分别设定为：基准尺度*[20,21/3,22/3]。
第5步，对6个不同尺度融合特征分别加入位置回归金字塔网络和分类预测回归金字塔网络。将训练集所有目标按照最短边像素尺度进行统计，按照[0-16，16-32，32-64，64-128，128-256，>256]6个区间进行直方图统计目标个数；将所有切割之后的训练数据保证短边resize到600，长边按照同短边的比例进行resize，得到resize之后的训练小图数据，然后对resize之后的训练小图数据所有的标签信息最短边像素进行统计，统计区间个数为6，分别是[0-16，16-32，32-64，64-128，128-256，>256]，得到每个区间的统计个数。按照每个区间统计个数，如果统计个数<1000，分类和回归参数空间设置为1层；如果统计个数范围为1000-2000，设定分类和回归参数空间都设置为2层；如果统计个数范围为2000-3000，设定分类和回归参数空间都设置为3层；统计个数范围为1000-2000>3000，设定分类和回归参数空间都设置为4层；分类和回归参数空间每层为卷积层，卷积核大小为3*3，卷积核通道数为256，卷积方式为same卷积方式。
第6步，在位置回归网络和分类预测网络后面加入卷积编码层；分类预测网络的卷积编码层：卷积核大小为1*1，卷积核个数为m*9；其中m为检测类别数，9为预测锚框anchors的个数；回归卷积编码层卷积核大小为1*1，卷积核个数为4*9，其中4为预测的4个位置信息，9为预测锚框anchors的个数。
第7步，设置网络模型的损失函数；分类损失采用多分类交叉熵损失，回归采用smooth L1损失。
第8步，设置模型的损失函数公式为：
Figure BDA0002000567780000121
其中Ncls为anchors的数量，Nreg为正类anchors的数量，λ＝0.5；其中回归损失函数Lreg为smooth L1，分类损失Lcls为softmax多类交叉熵损失。
第9步，设定检测网络模型训练参数，模型的初始学习率设置为0.01，学习优化器为adam优化方式，训练batch size大小为4，最大迭代次数为50。
步骤3：对重检测网络模型进行训练。
第1步，基于ImageNet的预训练模型ResNet-50权重参数选择更新，反卷积模块、侧连接融合模块和预测网络结构参数随机初始化；
第2步，采用反向传播算法进行重检测网络模型参数反复迭代优化；直到重检测网络模型训练到最大迭代次数，模型更新学习结束，得到训练好的重检测网络模型。
步骤4：宽幅影像候选兴趣区域提取与重检测。
第1步，将整张宽幅光学遥感测试大图载入内存。
第2步，设置网络检测置信度为0.15，采用600*600大小对大图进行滑窗切块，不采用重叠滑窗，得到切块小图，并送入网络进行检测，得到目标感兴趣区域B1以及目标感兴趣区域类别C1。
第3步，以目标感兴趣区域B1为中心裁剪一个重检测图像区域R1，如果判断是舰船小尺度目标，则裁剪出448*448的区域，否则裁剪600*600图像区域。
第4步，将裁剪得到的重检测图像区域R1重新送入检测网络模型，以正常置信度0.3进行重检测，得到重检测目标框B'j，j＝1,2...n，n表示重检测图像区域R1检测到了n个目标。
第5步，定义重检测图像区域R1中重检测目标框B'j相对目标框B1的重叠率指标IOUS(B1,B'j)；得到重检测目标框B'j中与B1的IOUS指标最大的重检测目标框B'fine，如果B'fine和B1是同一目标类别，则舍弃B1，将B'fine代替B1，如果不满足条件，舍弃B1框，因为B1为虚警。得到宽幅遥感大图兴趣区域重检测的结果。其中IOUS(B1,B'j)定义如下：
Figure BDA0002000567780000131
Intersection(B1,B'j)为两个框B1，B'j的重叠面积，B'j为重检测区域的第j个检测目标，Intersection(B1,B1)为目标检测框B1的面积。
第6步，对整张光学遥感大图的检测结果进行非极大值抑制(NMS)。根据遥感图像目标分布，本例中设置非极大值抑制NMS的阈值为0.45。本发明中NMS阈值的设定，是根据测试遥感大图数据各目标之间的密集程度确定的，设定合适的NMS阈值，能够提高检测模型的检测精度。
下面结合仿真实验对本发明的效果做进一步的说明：
仿真条件与数据说明：
本发明的训练数据为IPIU遥感大图数据集，其中7张宽幅遥感大图作为训练，另外6张宽幅遥感大图作为测试数据；训练和测试仿真环境为：系统：Ubuntu 16.04；处理器为主频2.40GHz*16的Intel(R)Xeon(R)E5-2630 CPU，8G内存；显卡为GTX 1070ti，8G显存大小；GCC编译环境。
仿真内容与结果分析
采用本发明的基于兴趣区域重检测的宽幅光学遥感目标检测方法和现有技术中的宽幅大图重叠检测方法，在上述仿真条件下，按照本发明的步骤进行仿真实验，在测试集上通过两种评价指标进行评估：检测平均精度(mAP)和所有宽幅遥感大图测试数据的检测时间；基于两种基准检测模型Yolov2和SSD512，得到兴趣区域重检测和滑窗重叠检测两种方法的mAP和检测速度结果，滑窗重叠检测方法切块大小为600*600，重叠的大小为200像素分辨率。
参照图4，图4(a)显示了本发明与其它测试方法在宽幅遥感大图平均精度对比结果，对于不同的检测模型，基于兴趣区域重检测算法相比滑窗重检测算法检测的精度更高，图4(b)显示了本发明与其它测试方法在测试宽幅遥感大图速度对比结果，本发的兴趣区域重检测相比传统的滑窗重叠检测，在测试集的检测时间更短，检测效率更高。
图5是本发明检测网络模型与现有的检测模型实验对比结果，即均采用相同的宽幅遥感大图检测方法，都是针对宽幅遥感大图采用本发明提出的基于兴趣区域重检测方式进行检测，只是参与对比的方法其中各自的检测模型不一样，结果表明，本发明设计的检测网络模型同其它检测模型Yolov2和SSD512的检测mAP，相比Yolov2检测网络提高了4.7％，相比SSD512检测网络提高了1.6％，实验证明本发明设计的网络模型同其他检测网络模型的检测精度更高。
简而言之，本发明公开了一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，主要解决宽幅光学遥感目标检测中对小尺度目标检测精度低及重叠滑窗检测时效性慢的问题。具体步骤有：制作多尺度训练样本；设计检测网络模型结构；对混合重检测网络模型进行训练；宽幅影像候选兴趣区域提取与重检测。本发明设计的检测网络模型，能拟合不同尺度目标的检测；基于兴趣区域检测不需重叠检测，降低了宽幅遥感图像候选区域提取的时间，采用对候选区域基于目标的尺度先验性进行重检测，改善了小目标的检测效果，检测精度更高。可应用于任何宽幅像素分辨率大小的光学遥感图像的检测。

Claims (5)

1.一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，包括有以下步骤：
(1)制作多尺度训练样本：输入宽幅光学遥感大图，将宽幅遥感图像切块分割成多尺度小图，制作成检测网络模型训练样本；
(2)构造混合重检测网络模型：检测网络模型主要包括特征提取网络、反卷积模块、侧连接融合模块和预测网络结构四部分；
(2a)通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取；
(2b)在特征提取层后面加入反卷积层，提取分辨率高的、语义信息丰富的特征；
(2c)将浅层特征与深层特征通过侧连接模块进行特征拼接融合，得到融合特征；
(2d)将检测网络模型设置多个不同尺度的融合特征进行预测；
(2e)对多个不同尺度特征每个位置点设定其预测锚框anchors的数量、尺度和比例；
(2f)对多个不同尺度特征分别加入位置回归金字塔网络和分类金字塔预测网络；
(3)对混合重检测网络模型进行训练：反卷积模块、侧连接融合模块和预测网络参数随机初始化，采用反向传播算法进行重检测网络模型参数反复迭代更新；重检测网络模型训练到最大迭代次数，模型更新结束，得到训练好的重检测网络模型；
(4)宽幅影像候选兴趣区域提取与重检测：通过训练好的重检测网络模型对输入宽幅光学遥感大图先进行滑窗候选兴趣区域提取，不重叠检测，再对候选兴趣区域通过重检测模型进行重检测，得到重检测后的整张光学遥感大图的检测结果。
2.根据权利要求1所述的基于兴趣区域重检测的宽幅光学遥感目标检测方法，其特征在于，步骤(1)中所述的制作多尺度训练样本，具体包括有如下步骤：
1.1输入一张宽幅光学RGB遥感图像；
1.2先对宽幅光学RGB遥感图像分别进行飞机、舰船目标进行人工标注，得到宽幅大图数据的标签文件；
1.3将宽幅光学遥感图像以600*600大小滑窗分块切割成小图，切块顺序为从左至右，从上往下；再以宽幅遥感数据的每个目标的标注为中心，分别以两个固定区域大小448*448和600*600切块成多尺度小图；
1.4对每张小图的每个目标进行判断，如果目标在某个多尺度小图的面积比例大于目标在原来宽幅光学RGB遥感大图面积的25％，则将该多尺度小图中的目标标记为真实目标，否则作为虚警目标；
1.5判断每张切块多尺度小图是否包含真实目标，如果不包含真实目标，则将多尺度小图作为负类样本，不作为检测模型的训练数据。
3.根据权利要求1所述的基于兴趣区域重检测的宽幅光学遥感目标检测方法，其特征在于，步骤(2e)中所述对多个不同尺度融合特征每个位置点设定其预测锚框anchors的数量、尺度和比例，具体包括有如下步骤：
2e.1为了考虑遥感数据小目标的分布，设定6个预测层，分别为P7，P6，P5，P4，P3，P2；6个预测层锚框anchors基准尺度设定分别为[16，32，64，128，256，512]；
2e.2考虑遥感俯视角度目标分布的旋转多样性，每个预测层上每个位置锚框anchors设定的数量为9，9个锚框anchors由3个不同scales和3个不同的比例组合而成；3个比例设定为：锚框anchors的长宽比分别为[0.5，1，2]；3个不同的尺度分别设定为：基准尺度*[20,21/3,22/3]。
4.根据权利要求1所述的基于兴趣区域重检测的宽幅光学遥感目标检测方法，其特征在于，步骤(2f)所述对多个不同尺度融合特征分别加入位置回归网络和分类预测网络，具体步骤如下：
2f.1将训练集所有目标按照最短边像素尺度进行统计，按照[0-16，16-32，32-64，64-128，128-256，>256]6个区间进行直方图统计目标个数；
2f.2按照统计个数，如果统计个数<1000，分类和回归参数空间设置为1层；如果统计个数范围为1000-2000，设定分类和回归参数空间都设置为2层；如果统计个数范围为2000-3000，设定分类和回归参数空间都设置为3层；统计个数范围为1000-2000>3000，设定分类和回归参数空间都设置为4层；
分类和回归参数空间每层为卷积层，卷积核大小为3*3，卷积核个数为256，卷积方式为same卷积方式。
5.根据权利要求1所述的基于兴趣区域重检测的宽幅光学遥感目标检测方法，其特征在于，步骤(4)中所述的宽幅影像候选兴趣区域提取与重检测，具体步骤如下：
5.1将整张宽幅光学遥感测试大图载入内存；
5.2设置网络检测置信度为0.15，采用600*600大小对大图进行滑窗切块，不采用重叠滑窗，得到切块小图，并送入网络进行检测，得到目标感兴趣区域B1以及目标感兴趣区域类别C1；
5.3以目标感兴趣区域B1为中心裁剪一个重检测图像区域R1，如果判断是舰船小尺度目标，则裁剪出448*448的区域，否则裁剪600*600图像区域；
5.4将裁剪得到的重检测图像区域R1重新送入检测网络模型，以正常置信度0.3进行重检测，得到重检测目标框B′j，j＝1,2...n，n表示重检测图像区域R1检测到了n个目标；
5.5定义重检测图像区域R1中重检测目标框B′j相对目标框B1的重叠率指标IOUS(B1,B′j)；得到重检测目标框B′j中与B1的IOUS指标最大的重检测目标框B′fine，如果B′fine和B1是同一目标类别，则舍弃B1，将B′fine代替B1，如果不满足条件，舍弃B1框，因为B1为虚警，所述的重叠率指标IOUS(B1,B′j)，其定义如下：
Figure FDA0003937029160000031
Intersection(B1,B′j)为两个框B1，B′j的重叠面积，B′j为重检测区域的第j个检测目标，Intersection(B1,B1)为B1的面积。
CN201910211183.4A 2019-03-20 2019-03-20 基于兴趣区域重检测的宽幅光学遥感目标检测方法 Active CN110009010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910211183.4A CN110009010B (zh) 2019-03-20 2019-03-20 基于兴趣区域重检测的宽幅光学遥感目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910211183.4A CN110009010B (zh) 2019-03-20 2019-03-20 基于兴趣区域重检测的宽幅光学遥感目标检测方法

Publications (2)

Publication Number Publication Date
CN110009010A CN110009010A (zh) 2019-07-12
CN110009010B true CN110009010B (zh) 2023-03-24

Family

ID=67167470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910211183.4A Active CN110009010B (zh) 2019-03-20 2019-03-20 基于兴趣区域重检测的宽幅光学遥感目标检测方法

Country Status (1)

Country Link
CN (1) CN110009010B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378297B (zh) * 2019-07-23 2022-02-11 河北师范大学 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN111008603B (zh) * 2019-12-08 2023-04-18 中南大学 面向大尺度遥感图像的多类目标快速检测方法
CN111582062B (zh) * 2020-04-21 2022-10-14 电子科技大学 一种基于YOLOv3的目标跟踪中的重检测方法
CN112102234B (zh) * 2020-08-06 2022-05-20 复旦大学 基于目标检测神经网络的耳硬化病灶检测及诊断系统
CN112084865A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 目标检测方法、装置、电子设备和存储介质
CN112287899A (zh) * 2020-11-26 2021-01-29 山东捷讯通信技术有限公司 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN112883880B (zh) * 2021-02-25 2022-08-19 电子科技大学 基于人体结构多尺度分割的行人属性识别方法、存储介质和终端
CN112907486B (zh) * 2021-03-18 2022-12-09 国家海洋信息中心 一种基于深度学习和色彩映射的遥感影像调色方法
CN113256607B (zh) * 2021-06-17 2021-10-19 常州微亿智造科技有限公司 缺陷检测方法和装置
CN114187313B (zh) * 2021-11-10 2022-09-06 泰瑞数创科技(北京)股份有限公司 基于滑动边缘检测的人工神经网络建筑物轮廓提取方法
CN114004835B (zh) * 2021-12-31 2022-03-18 深圳科亚医疗科技有限公司 对医学图像进行对象分析的方法、装置和存储介质
CN116994116B (zh) * 2023-08-04 2024-04-16 北京泰策科技有限公司 基于自注意力模型与yolov5的目标检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017139927A1 (en) * 2016-02-17 2017-08-24 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017139927A1 (en) * 2016-02-17 2017-08-24 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法

Also Published As

Publication number Publication date
CN110009010A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110009010B (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN112396002B (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
Wu et al. Vehicle detection of multi-source remote sensing data using active fine-tuning network
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
Chen et al. Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature
CN111080629A (zh) 一种图像拼接篡改的检测方法
CN107274416B (zh) 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法
CN109409263A (zh) 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN110246141B (zh) 一种基于联合角点池化的复杂交通场景下车辆图像分割方法
Asokan et al. Machine learning based image processing techniques for satellite image analysis-a survey
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
CN113111727A (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN113408398B (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN114612835A (zh) 一种基于YOLOv5网络的无人机目标检测模型
CN104766065A (zh) 基于多视角学习的鲁棒性前景检测方法
CN112395958A (zh) 基于四尺度深浅层特征融合的遥感图像小目标检测方法
KR101941043B1 (ko) 고화질 항공 이미지에서의 물체 검출 방법
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
Patil et al. Semantic Segmentation of Satellite Images using Modified U-Net
CN115761667A (zh) 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法
Usmani et al. Towards global scale segmentation with OpenStreetMap and remote sensing
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant