CN111126205A - 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 - Google Patents
一种基于旋转定位网络的光学遥感图像飞机目标检测方法 Download PDFInfo
- Publication number
- CN111126205A CN111126205A CN201911273523.2A CN201911273523A CN111126205A CN 111126205 A CN111126205 A CN 111126205A CN 201911273523 A CN201911273523 A CN 201911273523A CN 111126205 A CN111126205 A CN 111126205A
- Authority
- CN
- China
- Prior art keywords
- frame
- network
- feature
- target
- rotating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
一种基于旋转定位网络的光学遥感图像飞机目标检测方法,包括如下步骤,步骤S1、将图片输入ResNet特征网络,提取出多维度特征信息,获取用多维数组表示的特征图;步骤S2、特征图输入累积特征金字塔网络中,将高层语义与底层语义相融合,将高层语义的接收域和上下文信息与底层语义的目标位置信息提炼在一起;步骤S3、RPN子网络在累积特征金字塔网络输出的特征中产生锚框,并对锚框进行边界回归和前景分类,获取水平提议框;步骤S4、将水平提议框送入旋转区域定位网络进行旋转和缩放,生成旋转目标框,最终输出飞机目标旋转检测框。本发明利用累积特征金字塔网络进行特征融合,还采用旋转矩形包围框,减少框定目标后的背景冗余,在密集场景下,使检测结果更准确。
Description
技术领域
本发明属于图像检测技术领域,具体涉及一种基于旋转定位网络的光学遥感图像飞机目标检测方法。
背景技术
飞机目标检测是评估机场功能与重要程度、掌握敌情动态的重要途径。随着遥感影像技术日趋成熟,遥感图像分辨率变高,包含的信息量增多,因此飞机目标检测方法越来越多的使用遥感图像作为检测的基础结构。在这种趋势下,近些年大热的机器学习方法也被广泛运用于这一领域。
虽然技术日益成熟,但是飞机目标检测方法仍然存在许多的困难和挑战:1、机场停机坪上的飞机往往是密集排布的,遥感卫星图像拍摄的图片中,飞机目标距离较近,使用传统的水平检测框会存在检测框重叠的情况,并且在包围框内会存在大量地冗余,在选取前景和背景的筛选过程中,也会将部分正确的目标框误删,导致检测效果不好;2、目前,主流的机器学习方法主要通过复杂的特征提取过程以及具有针对性的参数选取实现飞机目标的检测,这种方法过于依赖人工,在复杂场景下的鲁棒性不强,无法推广应用。即使是鲁棒性较强的深度网络,仅考虑特征提取网络最后一层包含高级语义的feature map,会失去很多飞机目标位置信息;3、飞机目标检测大部分使用的是网络上的公共数据集,其图片来源是网上爬取的一些飞机图片,并未有针对性地考虑拍摄视角、飞机地点分布、是否具有多样性等特点,由公共数据集训练出来的网络模型性能层次不齐,且普遍检测效果不佳,检测网络不具有普适性。
飞机目标识别是基于所给影像信息进行飞机物体检测,并将目标在影像上框定出来。它不仅仅依赖于所给图像信息的完备与否,还依赖于检测算法的选取、训练方式以及应用的具体场景。飞机目标检测往往存在所给数据信息不足、训练效果不佳和密集场景检测效果不好等问题。
发明内容
本发明所要解决的技术问题是克服现有技术的不足,提供一种基于旋转定位网络的光学遥感图像飞机目标检测方法,利用累积特征金字塔网络进行特征融合,该方法还采用旋转矩形包围框,减少框定目标后的背景冗余,在密集场景下,使检测结果更准确。
本发明提供一种基于旋转定位网络的光学遥感图像飞机目标检测方法,包括如下步骤,
步骤S1、将图片输入ResNet特征网络,提取出多维度特征信息,获取用多维数组表示的特征图;
步骤S2、特征图输入累积特征金字塔网络中,将高层语义与底层语义相融合,将高层语义的接收域和上下文信息与底层语义的目标位置信息提炼在一起;
步骤S3、RPN子网络在累积特征金字塔网络输出的特征中产生锚框,并对锚框进行边界回归和前景分类,获取水平提议框;
步骤S4、将水平提议框送入旋转区域定位网络进行旋转和缩放,生成旋转目标框,最终输出飞机目标旋转检测框。
作为本发明的进一步技术方案,步骤S2中,累积特征金字塔网络从最高语义层开始,对本层以上每一个feature map进行最近邻上采样,获取与本层大小相同的featuremap,再进行拼接合并,拼接合并的feature map和本层的feature map分别经过1*1的卷积核处理,处理后的两个feature map对应元素相加,获取的结果再通过3*3卷积核处理,获取一个单层多维度feature map。
进一步的,步骤S3中,采用置信度排序的方法减少RPN子网络产生的锚框数量,保留高置信度的水平提议框;水平提议框作为负样本需满足背景与标签框的交并比值在[0.1,0.3]之间或具有高置信度值,并且与标签框无交集。
本发明的有益效果如下:
1、本发明使用旋转矩形框表示飞机目标,在飞机目标密集的场景下,能够无重叠地框出飞机目标位置。旋转矩形框内的冗余背景少,目标更精确,也减少网络训练时,背景特征对目标特征的干扰,使网络的学习效率更高。
2、本发明采用累积特征金字塔网络,能显著提高小目标物体的检测准确率。在大尺寸光学遥感图像中,飞机目标相对较小,累积特征金字塔网络将底层语义的飞机目标位置信息进行了加权融合,提高了飞机目标特征提取中位置信息的比重,定位更精确。
3、本发明使用的数据集更为健全,本发明使用的飞机数据库综合多各方面考虑,具有时空范围广、覆盖的尺度范围多样、飞机种类多和视角多样化的优点。对深度网络训练起到关键性作用,深度网络能够学习到飞机目标更多的特征,从而提高网络最终的检测准确率和召回率。
附图说明
图1为累积特征金字塔网络对feature map进行处理的示意图;
图2为旋转矩形框及其向量表示方式中的参数含义示意图;
图3为飞机目标检测流程图。
具体实施方式
对本实施例中的使用的数据集进行划分,其中20%划分为测试集,80%为训练集,为了使训练时超参设置得更加准确,故将训练集的20%划分为验证集,保证网络模型的鲁棒性较好。
在做好数据集划分后,如图3所示所示,开始将图片送入网络。
本方法包括如下步骤,
步骤1:先初始化除特征提取网络以外的参数,然后将数据集图片按批次送入特征提取网络ResNet,特征提取网络ResNet使用官方权重值。图片的三维数组经过ResNet网络的残差模块提取,变为一个更深维度的数组,这个数组表示图片中的特征信息,包含了上下文信息、接受域信息和飞机目标位置信息。
步骤2:在步骤1中,Resnet网络中每个残差模块的最后一层得到的feature map具有不同的卷积步长,并且每一层feature map的大小也不一样,最上层的feature map尺寸最小,具有高级语义,包含更多的接受域、上下文信息和较少的飞机目标位置信息,最下层的feature map尺寸最大,包含较少的接受域、上下文信息和更多的飞机目标位置信息。累积特征金字塔网络由这些多层feature map构成一种塔状结构,金字塔的每层由上往下呈现逐层变化的趋势。将各层的feature map信息进行融合,得到一个包含丰富的接受域、上下文信息和较多飞机目标位置信息的多维feature map。
步骤2-1:由图1可知,累积特征金字塔网络信息融合过程如下:对上面的每一个feature map进行最近邻上采样处理,得到大小相同的feature map,然后进行拼接合并。拼接合并的feature map和本层的feature map分别经过一个的卷积核处理,减小他们的通道维度大小。将两个经过的卷积核处理的feature map对应元素相加,得到的结果通过一个3的卷积核处理,减少上采样的混叠效应。最终得到一个单层多维度feature map送入下面的步骤。
步骤3:累积特征金字塔网络的输出送入RPN子网络,通过在累积特征金字塔网络的输出特征中产生锚框anchors,并对锚框进行边界回归和前景背景分类,得到水平提议框,因为本发明是单目标检测问题,仅需检测飞机这一类,所以RPN网络输出的前景框就不用再进行多类别区分。在产生的背景中,选择一些作为负样本进行训练。负样本选择条件如下:
(1)背景与标签框ground truth的交并比IoU值在[0.1,0.3]之间;
(2)作为背景类的置信度值很高,并且与标签框ground truth无交集。
满足上述任意一个条件,都作为负样本,参与网络的训练。跨越图像边界的锚框可直接忽略。
本发明不采取非极大值抑制方法策略(NMS)来减少RPN网络产生的锚框数量,因为NMS对于旋转矩形框的选取并无优势。取而代之,本发明采用置信度排序的方法,将高置信度的提议框保留。最后,RPN网络产生了一些列水平检测框和对应的标签,送入下一步处理。
步骤4:步骤3最终得到的飞机目标水平检测框向量,作为输入,送入旋转区域定位网络。旋转区域定位网络对检测框进行回归预测,主要是将水平检测框进行旋转,旋转的角度为,同时还将矩形框的宽和高()进行微调以适应飞机目标,同时对飞机目标中心点位置微调。旋转边界框参数化坐标回归有两个附加变量和。参数化坐标定义如下:
通过RRLN网络的旋转定位,最终确定矩形包围框的坐标和大小,输出飞机目标在图片中的位置。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解,本发明不受上述具体实施例的限制,上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理,在不脱离本发明精神范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。
Claims (4)
1.一种基于旋转定位网络的光学遥感图像飞机目标检测方法,其特征在于,包括如下步骤,
步骤S1、将图片输入ResNet特征网络,提取出多维度特征信息,获取用多维数组表示的特征图;
步骤S2、特征图输入累积特征金字塔网络中,将高层语义与底层语义相融合,将高层语义的接收域和上下文信息与底层语义的目标位置信息提炼在一起;
步骤S3、RPN子网络在累积特征金字塔网络输出的特征中产生锚框,并对锚框进行边界回归和前景分类,获取水平提议框;
步骤S4、将水平提议框送入旋转区域定位网络进行旋转和缩放,生成旋转目标框,最终输出飞机目标旋转检测框。
2.根据权利要求1 所述的一种基于旋转定位网络的光学遥感图像飞机目标检测方法,其特征在于,所述步骤S2中,累积特征金字塔网络从最高语义层开始,对本层以上每一个feature map进行最近邻上采样,获取与本层大小相同的feature map,再进行拼接合并,拼接合并的feature map和本层的feature map分别经过1*1的卷积核处理,处理后的两个feature map对应元素相加,获取的结果再通过3*3卷积核处理,获取一个单层多维度feature map。
3.根据权利要求1 所述的一种基于旋转定位网络的光学遥感图像飞机目标检测方法,其特征在于,所述步骤S3中,采用置信度排序的方法减少RPN子网络产生的锚框数量,保留高置信度的水平提议框;水平提议框作为负样本需满足背景与标签框的交并比值在[0.1,0.3]之间或具有高置信度值,并且与标签框无交集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911273523.2A CN111126205A (zh) | 2019-12-12 | 2019-12-12 | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911273523.2A CN111126205A (zh) | 2019-12-12 | 2019-12-12 | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111126205A true CN111126205A (zh) | 2020-05-08 |
Family
ID=70499914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911273523.2A Withdrawn CN111126205A (zh) | 2019-12-12 | 2019-12-12 | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126205A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783523A (zh) * | 2020-05-19 | 2020-10-16 | 中国人民解放军93114部队 | 一种遥感影像旋转目标检测方法 |
CN112329756A (zh) * | 2020-09-25 | 2021-02-05 | 武汉光谷信息技术股份有限公司 | 一种印章提取及文字识别的方法及装置 |
CN112417958A (zh) * | 2020-10-16 | 2021-02-26 | 武汉大学 | 一种遥感影像旋转目标检测方法 |
CN112464704A (zh) * | 2020-10-12 | 2021-03-09 | 浙江理工大学 | 一种基于特征融合与旋转目标检测器的遥感图像识别方法 |
CN112488061A (zh) * | 2020-12-18 | 2021-03-12 | 电子科技大学 | 一种联合ads-b信息的多航空器检测与跟踪方法 |
CN113536986A (zh) * | 2021-06-29 | 2021-10-22 | 南京逸智网络空间技术创新研究院有限公司 | 一种基于代表特征的遥感图像中的密集目标检测方法 |
CN115641510A (zh) * | 2022-11-18 | 2023-01-24 | 中国人民解放军战略支援部队航天工程大学士官学校 | 一种遥感影像舰船检测识别方法 |
-
2019
- 2019-12-12 CN CN201911273523.2A patent/CN111126205A/zh not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783523A (zh) * | 2020-05-19 | 2020-10-16 | 中国人民解放军93114部队 | 一种遥感影像旋转目标检测方法 |
CN111783523B (zh) * | 2020-05-19 | 2022-10-21 | 中国人民解放军93114部队 | 一种遥感影像旋转目标检测方法 |
CN112329756A (zh) * | 2020-09-25 | 2021-02-05 | 武汉光谷信息技术股份有限公司 | 一种印章提取及文字识别的方法及装置 |
CN112464704A (zh) * | 2020-10-12 | 2021-03-09 | 浙江理工大学 | 一种基于特征融合与旋转目标检测器的遥感图像识别方法 |
CN112464704B (zh) * | 2020-10-12 | 2023-10-31 | 浙江理工大学 | 一种基于特征融合与旋转目标检测器的遥感图像识别方法 |
CN112417958A (zh) * | 2020-10-16 | 2021-02-26 | 武汉大学 | 一种遥感影像旋转目标检测方法 |
CN112417958B (zh) * | 2020-10-16 | 2022-05-06 | 武汉大学 | 一种遥感影像旋转目标检测方法 |
CN112488061A (zh) * | 2020-12-18 | 2021-03-12 | 电子科技大学 | 一种联合ads-b信息的多航空器检测与跟踪方法 |
CN113536986A (zh) * | 2021-06-29 | 2021-10-22 | 南京逸智网络空间技术创新研究院有限公司 | 一种基于代表特征的遥感图像中的密集目标检测方法 |
CN115641510A (zh) * | 2022-11-18 | 2023-01-24 | 中国人民解放军战略支援部队航天工程大学士官学校 | 一种遥感影像舰船检测识别方法 |
CN115641510B (zh) * | 2022-11-18 | 2023-08-08 | 中国人民解放军战略支援部队航天工程大学士官学校 | 一种遥感影像舰船检测识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126205A (zh) | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 | |
Michieli et al. | Adversarial learning and self-teaching techniques for domain adaptation in semantic segmentation | |
WO2021254205A1 (zh) | 一种目标检测方法及装置 | |
Kim et al. | High-speed drone detection based on yolo-v8 | |
CN102507592A (zh) | 表面缺陷仿蝇视觉在线检测装置及检测方法 | |
CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
CN110427797B (zh) | 一种基于几何条件限制的三维车辆检测方法 | |
CN104217459B (zh) | 一种球面特征提取方法 | |
CN110109465A (zh) | 一种自导引车以及基于自导引车的地图构建方法 | |
US20230177822A1 (en) | Large scene neural view synthesis | |
CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
CN114117614A (zh) | 一种建筑物立面纹理自动生成方法和系统 | |
KR20210032678A (ko) | 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템 | |
CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
CN116935332A (zh) | 一种基于动态视频的渔船目标检测与跟踪方法 | |
Liu et al. | A survey on autonomous driving datasets | |
CN113570540A (zh) | 一种基于检测-分割架构的图像篡改盲取证方法 | |
Chen et al. | Coupled Global–Local object detection for large VHR aerial images | |
CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
CN112347967A (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 | |
CN113628349B (zh) | 基于场景内容自适应的ar导航方法、设备及可读存储介质 | |
Wang et al. | TL-GAN: improving traffic light recognition via data synthesis for autonomous driving | |
CN115880659A (zh) | 用于路侧系统的3d目标检测方法、装置及电子设备 | |
CN117011722A (zh) | 基于无人机实时监控视频的车牌识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200508 |