CN110991305B - 一种遥感图像下的飞机检测方法及存储介质 - Google Patents
一种遥感图像下的飞机检测方法及存储介质 Download PDFInfo
- Publication number
- CN110991305B CN110991305B CN201911183503.6A CN201911183503A CN110991305B CN 110991305 B CN110991305 B CN 110991305B CN 201911183503 A CN201911183503 A CN 201911183503A CN 110991305 B CN110991305 B CN 110991305B
- Authority
- CN
- China
- Prior art keywords
- samples
- stage
- remote sensing
- neural network
- output result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种遥感图像下的飞机检测方法及存储介质，所述方法包括以下步骤：根据输入待检测遥感图像，构造图像金字塔；将图像金字塔的每一层依次作为第一阶段神经网络的输入，得到每一层对应的输出结果；对于每一层对应的输出结果，将其区域置信度低于第一预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制；将所有层的输出结果进行合并后，执行非极大值抑制，得到第一阶段输出结果；将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段输出结果；将第二阶段输出结果中的区域置信度小于第二预设阈值的区域忽略，对剩下的区域进行非极大值抑制，得到最终输出结果。达到与深层神经网络相同的检测精度，将检测速度提升2‑3倍。
Description
技术领域
本发明涉及遥感图像技术领域，特别涉及一种遥感图像下的飞机检测方法及存储介质。
背景技术
遥感图像是人类获取空间信息的一种重要方式，在军事和民用领域都有着很大的应用价值，如机场管理、空中交通管制、国土资源检测等。飞机是遥感图像中的一类重要目标，对遥感图像中的飞机进行实时检测具有重要且具有实际意义的需求。但现状是：现有的主流检测算法虽然取得了不错的检测效果，但它们大多是针对自然场景图像下的目标检测而提出的，在针对遥感图像进行检测时，通常直接将这些检测算法迁移到遥感场景下进行训练。目前并没有专门针对遥感图像的特点进行目标检测的方法。
现有基础技术包括两种：2014年卷积神经网络(Convolutional NeuralNetworks)得到快速发展，随之出现两阶段(Two-stage)检测技术。该技术将检测分为两个阶段，第一个阶段利用卷积神经网络对输入图像进行特征提取，并根据特征筛选出大量可能包含所需目标的候选区域(大约2000个)，第二阶段则对这些候选区域进行更进一步的分类，判断它们是否含有目标以及目标的类别，最终输出目标的类别以及位置坐标。该类技术的特点是检测精度高，但速度较慢。2016年出现了单阶段(One-stage)检测技术，该技术利用卷积神经网络提取图像特征，并直接输出目标的类别以及位置坐标。该类技术具有检测速度快，但不够准确的特点。
现有的检测技术，无论是两阶段检测技术还是单阶段检测技术，均是针对多类别检测任务设计的，这使得提取图像特征的卷积神经网络必须足够复杂才能应对目标的多样性，而过于复杂的检测模型难以部署到一些存储空间或计算资源有限的嵌入式设备中。
发明内容
为此，需要提供一种遥感图像下的飞机检测方法及存储介质，解决现有的检测技术中，均是针对多类别检测任务设计而造成的卷积网络必须足够复杂才能应对目标的多样性及过于复杂的检测模型难以部署到一些存储空间或计算资源有限的嵌入式设备中。
为实现上述目的，发明人提供了一种遥感图像下的飞机检测方法，包括以下步骤：
第一阶段神经网络模型推理：
根据输入待检测遥感图像，构造图像金字塔；
将图像金字塔的每一层依次作为第一阶段神经网络的输入，得到图像金字塔的每一层对应的输出结果，所述输出结果包括区域坐标及区域置信度；
对于每一层对应的输出结果，将其区域置信度低于第一预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制；
将所有层的输出结果进行合并后，再次执行非极大值抑制，得到第一阶段输出结果；
第二阶段神经网络模型推理：
将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段输出结果；
将第二阶段输出结果中的区域置信度小于第二预设阈值的区域忽略，然后对剩下的区域进行非极大值抑制，得到最终输出结果，所述第一预设值小于第二预设值。
进一步优化，所述“根据输入待检测遥感图像，构造图像金字塔”具体包括以下步骤：
根据输入待检测遥感图像，以scale为下采样因子，通过先验信息的下采样尺寸确定技术构造图像金字塔；
所述先验信息的下采样尺寸确定技术具体包括：
获取遥感图像拍摄时的参数，所述参数包括拍摄高度、成像参数及拍摄分辨率；
根据获取的参数计算得到拍摄得到的遥感图像与实际场景之间的比例尺；
根据现有飞机的实际尺寸，确定现有飞机在遥感图像上的尺寸；
选择现有飞机的最小尺寸作为图像金字塔的顶层尺寸的阈值。
进一步优化，还包括以下步骤：
第一阶段神经网络的训练：
依次遍历历史数据集中的所有遥感图片，在每个遥感图片的每个飞机实例周围随机剪裁出N个区域，根据区域与飞机实例之间的交并比将区域分为正样本、部分样本及负样本，得到第一阶段训练样本；
第一阶段神经网络的训练：
每次从第一阶段训练样本中选取K个样本，所述K个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；
直至第一阶段训练样本的所有样本训练完成后，得到第一阶段神经网络模型；
对历史数据集中的所有遥感图片执行第一阶段神经网络模型推理，得到第一阶段训练结果；
将第一阶段训练结果与飞机实例的真实标注计算交并比，将第一阶段训练结果分为正样本、部分样本及负样本；
第二阶段神经网络的训练：
从第一阶段训练结果中选取L个样本，所述L个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数。
进一步优化，还包括以下步骤：
从历史遥感图像中选择出若干个具有不同旋转角度的飞机实例；
通过使用图像风格迁移技术，将大量与机场、飞机相关的自然场景图像转换成遥感图像；
将选择的飞机实例复制粘贴到转换后的遥感图像上的随机位置，得到处理后的遥感图像；
将历史遥感图像及处理后的遥感图像共同构成历史数据集。
进一步优化，所述K个样本之间的正样本、部分样本及负样本之间的比例为1：2：3；
所述L个样本之间的正样本、部分样本及负样本之间的比例为1：2：3。
发明人还提供了另一个技术方案：一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器运行时执行以下步骤：
第一阶段神经网络模型推理：
根据输入待检测遥感图像，构造图像金字塔；
将图像金字塔的每一层依次作为第一阶段神经网络的输入，得到图像金字塔的每一层对应的输出结果，所述输出结果包括区域坐标及区域置信度；
对于每一层对应的输出结果，将其区域置信度低于第一预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制；
将所有层的输出结果进行合并后，再次执行非极大值抑制，得到第一阶段输出结果；
第二阶段神经网络模型推理：
将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段输出结果；
将第二阶段输出结果中的区域置信度小于第二预设阈值的区域忽略，然后对剩下的区域进行非极大值抑制，得到最终输出结果。
进一步优化，所述步骤“根据输入待检测遥感图像，构造图像金字塔”被处理器运行时，具体执行以下步骤：
根据输入待检测遥感图像，以scale为下采样因子，通过先验信息的下采样尺寸确定技术构造图像金字塔；
所述先验信息的下采样尺寸确定技术具体包括：
获取遥感图像拍摄时的参数，所述参数包括拍摄高度、成像参数及拍摄分辨率；
根据获取的参数计算得到拍摄得到的遥感图像与实际场景之间的比例尺；
根据现有飞机的实际尺寸，确定现有飞机在遥感图像上的尺寸；
选择现有飞机的最小尺寸作为图像金字塔的顶层尺寸的阈值。
进一步优化，所述计算机程序被处理器运行时还执行以下步骤：
依次遍历历史数据集中的所有遥感图片，在每个遥感图片的每个飞机实例周围随机剪裁出N个区域，根据区域与飞机实例之间的交并比将区域分为正样本、部分样本及负样本，得到第一阶段训练样本；
第一阶段神经网络的训练：
每次从第一阶段训练样本中选取K个样本，所述K个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；
直至第一阶段训练样本的所有样本训练完成后，得到第一阶段神经网络模型；
对历史数据集中的所有遥感图片执行第一阶段神经网络模型推理，得到第一阶段训练结果；
将第一阶段训练结果与飞机实例的真实标注计算交并比，将第一阶段训练结果分为正样本、部分样本及负样本；
第二阶段神经网络的训练：
从第一阶段训练结果中选取L个样本，所述L个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数。
进一步优化，所述计算机程序被处理器运行时还执行以下步骤：
从历史遥感图像中选择出若干个具有不同旋转角度的飞机实例；
通过使用图像风格迁移技术，将大量与机场、飞机相关的自然场景图像转换成遥感图像；
将选择的飞机实例复制粘贴到转换后的遥感图像上的随机位置，得到处理后的遥感图像；
将历史遥感图像及处理后的遥感图像共同构成历史数据集。
进一步优化，所述K个样本之间的正样本、部分样本及负样本之间的比例为1：2：3；
所述L个样本之间的正样本、部分样本及负样本之间的比例为1：2：3。
区别于现有技术，通过对输入的待检测遥感图像进行构造金字塔图像，然后将金字塔图像的每一层作为第一阶段神经网络的输入，得到每一层对应的输出结果，然后对于每一层对应的输出结果，将其区域置信度低于预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制，然后对经过非极大值抑制后的所有层的输出结果进行合并，然后再次执行非极大值抑制得到第一阶段输出结果，然后将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段的输出结果，然后将第二阶段输出结果中的区域置信度低于预设阈值的区域忽略，对剩下的区域进行非极大值抑制后，得到最终输出结果，实现在遥感图像下的飞机检测。第一阶段神经网络及第二神经网络均采用浅层的卷积神经网络，两个网络的层数之和不大于9。通过级联两个简单的神经网络，可以达到与深层神经网络相同的检测精度，同时将检测速度提升2-3倍；而采用浅层的神经网络，可以部署到存储空间或计算资源有限的嵌入式设备中。
附图说明
图1为具体实施方式所述遥感图像下的飞机检测方法的一种流程示意图；
图2为具体实施方式所述两阶段神经网络训练的一种流程示意图；
图3为具体实施方式所述存储介质的一种结构示意图。
附图标记说明：
310、存储介质。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，本实施例提供了一种遥感图像下的飞机检测方法，包括以下步骤：
第一阶段神经网络模型推理：
步骤S110：根据输入待检测遥感图像，构造图像金字塔；在模型推理时，需要构造金字塔图像，其中由于金字塔顶层的图像尺寸往往难以确定，可以通过基于先验信息的下采样尺寸确定技术进行确定图像金字塔顶层的图像尺寸，具体的，所述“根据输入待检测遥感图像，构造图像金字塔”具体包括以下步骤：
根据输入待检测遥感图像，以scale为下采样因子，通过先验信息的下采样尺寸确定技术构造图像金字塔；
所述先验信息的下采样尺寸确定技术具体包括：
获取遥感图像拍摄时的参数，所述参数包括拍摄高度、成像参数及拍摄分辨率；
根据获取的参数计算得到拍摄得到的遥感图像与实际场景之间的比例尺；
根据现有飞机的实际尺寸，确定现有飞机在遥感图像上的尺寸；
选择现有飞机的最小尺寸作为图像金字塔的顶层尺寸的阈值。
通过基于先验信息的下采样尺寸确定技术，可以计算得到拍摄的遥感图像与实际场景之间的比例尺，然后通过常见的民用客机、各类军事飞机等现有飞机的实际尺寸确定这些现有飞机子遥感图像上的尺寸大小，然后将现有的飞机在遥感图像上的最小尺寸作为图像金字塔的顶层图像的尺寸阈值，进而确定图像金字塔的顶层图像的尺寸。其中，scale为介于0到1的比值，以scale为下采样因子是指对遥感图像经过下采样后，下采用后的图片的宽度或者高度与原图的宽或高的比值为scale。
步骤S120：将图像金字塔的每一层依次作为第一阶段神经网络的输入，得到图像金字塔的每一层对应的输出结果，所述输出结果包括区域坐标及区域置信度；
步骤S130：对于每一层对应的输出结果，将其区域置信度低于第一预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制；非极大值抑制(Non-MaximumSuppression，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。现有的目标检测方法通常对每一个目标都给出若干个检测结果，但实际上每一个目标都只需要一个检测结果。非极大值抑制就是在每个目标的若干个检测结果中仅保留置信度最高的，将其余的检测结果视为冗余并删除。
步骤S140：将所有层的输出结果进行合并后，再次执行非极大值抑制，得到第一阶段输出结果；
第二阶段神经网络模型推理：
步骤S150：将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段输出结果，通过将第一阶段输出结果中的所有图像区域全部归一化到相同的尺寸，进行作为第二阶段神经网络的输入，进而得到第二阶段输出结果，其中，第一阶段输出结果同样包括区域坐标及区域置信度。
步骤S160：将第二阶段输出结果中的区域置信度小于第二预设阈值的区域忽略，然后对剩下的区域进行非极大值抑制，得到最终输出结果，所述第一预设值小于第二预设值。
基于上述的两个阶段的神经网络模型推理，可以采用第一阶段神经网络及第二神经网络均采用浅层的卷积神经网络，两个网络的层数之和不大于9。通过级联两个简单的神经网络，可以达到与深层神经网络相同的检测精度，同时将检测速度提升2-3倍；而采用浅层的神经网络，可以部署到存储空间或计算资源有限的嵌入式设备中。
其中，通过级联两个简单的神经网络，而不同阶段的神经网络对于区域置信度采用不同的预设阈值，可以在不同阶段过滤不同的样本。负样本可以分成容易的负样本和困难的负样本，容易的负样本为神经网络判断该样本为负样本的置信度比较高，即神经网络比较容易确定该样本为负样本。困难的负样本为神经网络判断该样本为负样本的置信度不高，即神经网络没有很高的把握确定该样本为负样本。在实际训练中，容易的负样本占了负样本的绝大多数。但是容易的负样本对神经网络的训练贡献非常小，真正有作用的是困难的负样本。如果使用单独的神经网络进行训练，神经网络需要同时学习容易的负样本和困难的负样本，且由于困难的负样本数量较少，单个的神经网络需要足够复杂才能同时过滤掉两种负样本。在采用级联的方式下，第一阶段神经网络只负责学习如何过滤掉容易的负样本，这使用一个简单的神经网络就可以做到不错的效果。第二阶段神经网络只需要过滤掉困难的负样本，由于大量的容易的负样本已经在第一阶段神经网络过滤掉，第二阶段神经网络的训练难度大大降低，使得第二阶段网络神经网络不需要复杂也能够得到非常好的效果。
请参阅图2，在本实施例中，采用了不同于主流两阶段检测方法的训练技术，具体的，本实施例中采用的两阶段神经网络训练包括以下步骤：
步骤S210：依次遍历历史数据集中的所有遥感图片，在每个遥感图片的每个飞机实例周围随机剪裁出N个区域，根据区域与飞机实例之间的交并比将区域分为正样本、部分样本及负样本，得到第一阶段训练样本；
第一阶段神经网络的训练：
步骤S220：每次从第一阶段训练样本中选取K个样本，所述K个样本包括正样本、部分样本及负样本；
步骤S230：将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；
步骤S240：直至第一阶段训练样本的所有样本训练完成后，得到第一阶段神经网络模型；
步骤S250：对历史数据集中的所有遥感图片执行第一阶段神经网络模型推理，得到第一阶段训练结果；
步骤S260：将第一阶段训练结果与飞机实例的真实标注计算交并比，将第一阶段训练结果分为正样本、部分样本及负样本；
第二阶段神经网络的训练：
步骤S270：从第一阶段训练结果中选取L个样本，所述L个样本包括正样本、部分样本及负样本；
步骤S280：将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数。
其中，所述K个样本之间的正样本、部分样本及负样本之间的比例为1：2：3；
所述L个样本之间的正样本、部分样本及负样本之间的比例为1：2：3。
通过依次遍历历史数据集中的所有遥感图像，在每张的遥感图像的每个飞机实例周围都随机裁剪出N个区域，根据区域与飞机实例之间的交并比(Intersection overUnion，IOU)将区域分为正样本、部分样本、负样本三类，得到第一阶段训练样本，然后将所有样本保存到硬盘上。然后训练第一阶段神经网络，每次从第一阶段训练样本中选取K个样本，将每个样本的尺寸重新调整至指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数及更新参数，其中L为6的倍数，样本之间的比例大致满足正样本：部分样本：负样本＝1：2：3；直至所有的第一阶段训练样本的所有样本训练完成，得到训练完毕的第一阶段神经网络模型，然后将历史数据集中的所有图像执行第一阶段神经网络模型推理，得到第一阶段输出结果，同样对第一阶段输出结果与飞机实例的真实标注计算交并比，将第一阶段输出结果分为正样本、部分样本及负样本，并将第一阶段输出结果保存到硬盘上；然后进行第二阶段神经网络的训练，具体是，从第一阶段输出结果中选出L个样本，将每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；其中，神经网络的输出包括分类和回归两个分支，分类分支采用交叉熵损失函数，回归分支采用L2损失函数，总损失函数为交叉熵损失函数和L2损失函数的加权和C，得到损失函数后，按照误差逆传播算法更新参数。交并比为[0,1]区间内的小数，而根据样本的差异在于其与实际标注的交并比不同，将样本分为正样本、部分样本及负样本，如设置两个交并比阈值A、B满足0<A<B<1，若样本与真实标注的交并比大于B，则为正样本，若样本与真实标注的交并比在A和B之间，则样本为部分样本，若样本与真实标注的交并比小于A，则样本为负样本；而较于现有的目标检测方法中在训练的过程中仅使用正样本和负样本，且两者的比例通常为1：3；而通过引入部分样本可以增大训练集的规模，提升检测效果。在实际的样本生成过程中，部分样本的数量高于正样本的数量而低于负样本的数量，故在样本训练的过程中，也应该按照实际情况进行样本训练，即部分样本所占的比例高于正样本而低于负样本。优选的，L为6的倍数，样本之间的比例大致满足正样本：部分样本：负样本＝1：2：3。
而对于现有神经网络的训练需要大量的数据，而遥感图像的获取难度较大，因此数据量很少。现有的检测技术通常在自然场景下的自然场景图像数据集上进行预训练，然后在遥感图像上进行微调(fine-tuning)，但这种做法忽略了遥感图像与自然场景图像之间的差异性。而在本实施例中，为解决该问题，通过对遥感图像的数据增强，解决遥感图像与自然场景图像之间的差异性，以及在较少的遥感图像上进行神经网络的训练，具体的对遥感图像的数据增强具体包括以下步骤：
从历史遥感图像中选择出若干个具有不同旋转角度的飞机实例；
通过使用图像风格迁移技术，将大量与机场、飞机相关的自然场景图像转换成遥感图像；
将选择的飞机实例复制粘贴到转换后的遥感图像上的随机位置，得到处理后的遥感图像；
将历史遥感图像及处理后的遥感图像共同构成历史数据集。
请参阅图3，在另一个实施例中，一种存储介质310，所述存储介质310内存储有计算机程序，所述计算机程序被处理器运行时执行以下步骤：
第一阶段神经网络模型推理：
根据输入待检测遥感图像，构造图像金字塔；在模型推理时，需要构造金字塔图像，其中由于金字塔顶层的图像尺寸往往难以确定，可以通过基于先验信息的下采样尺寸确定技术进行确定图像金字塔顶层的图像尺寸，具体的，所述“根据输入待检测遥感图像，构造图像金字塔”具体包括以下步骤：
根据输入待检测遥感图像，以scale为下采样因子，通过先验信息的下采样尺寸确定技术构造图像金字塔；
所述先验信息的下采样尺寸确定技术具体包括：
获取遥感图像拍摄时的参数，所述参数包括拍摄高度、成像参数及拍摄分辨率；
根据获取的参数计算得到拍摄得到的遥感图像与实际场景之间的比例尺；
根据现有飞机的实际尺寸，确定现有飞机在遥感图像上的尺寸；
选择现有飞机的最小尺寸作为图像金字塔的顶层尺寸的阈值。
通过基于先验信息的下采样尺寸确定技术，可以计算得到拍摄的遥感图像与实际场景之间的比例尺，然后通过常见的民用客机、各类军事飞机等现有飞机的实际尺寸确定这些现有飞机子遥感图像上的尺寸大小，然后将现有的飞机在遥感图像上的最小尺寸作为图像金字塔的顶层图像的尺寸阈值，进而确定图像金字塔的顶层图像的尺寸。其中，scale为介于0到1的比值，以scale为下采样因子是指对遥感图像经过下采样后，下采用后的图片的宽度或者高度与原图的宽或高的比值为scale。
将图像金字塔的每一层依次作为第一阶段神经网络的输入，得到图像金字塔的每一层对应的输出结果，所述输出结果包括区域坐标及区域置信度；
对于每一层对应的输出结果，将其区域置信度低于第一预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制；非极大值抑制(Non-Maximum Suppression，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。
将所有层的输出结果进行合并后，再次执行非极大值抑制，得到第一阶段输出结果；
第二阶段神经网络模型推理：
将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段输出结果；通过将第一阶段输出结果中的所有图像区域全部归一化到相同的尺寸，进行作为第二阶段神经网络的输入，进而得到第二阶段输出结果，其中，第一阶段输出结果同样包括区域坐标及区域置信度。
将第二阶段输出结果中的区域置信度小于第二预设阈值的区域忽略，然后对剩下的区域进行非极大值抑制，得到最终输出结果。
基于上述的两个阶段的神经网络模型推理，可以采用第一阶段神经网络及第二神经网络均采用浅层的卷积神经网络，两个网络的层数之和不大于9。通过级联两个简单的神经网络，可以达到与深层神经网络相同的检测精度，同时将检测速度提升2-3倍；而采用浅层的神经网络，可以部署到存储空间或计算资源有限的嵌入式设备中。
其中，通过级联两个简单的神经网络，而不同阶段的神经网络对于区域置信度采用不同的预设阈值，可以在不同阶段过滤不同的样本。负样本可以分成容易的负样本和困难的负样本，容易的负样本为神经网络判断该样本为负样本的置信度比较高，即神经网络比较容易确定该样本为负样本。困难的负样本为神经网络判断该样本为负样本的置信度不高，即神经网络没有很高的把握确定该样本为负样本。在实际训练中，容易的负样本占了负样本的绝大多数。但是容易的负样本对神经网络的训练贡献非常小，真正有作用的是困难的负样本。如果使用单独的神经网络进行训练，神经网络需要同时学习容易的负样本和困难的负样本，且由于困难的负样本数量较少，单个的神经网络需要足够复杂才能同时过滤掉两种负样本。在采用级联的方式下，第一阶段神经网络只负责学习如何过滤掉容易的负样本，这使用一个简单的神经网络就可以做到不错的效果。第二阶段神经网络只需要过滤掉困难的负样本，由于大量的容易的负样本已经在第一阶段神经网络过滤掉，第二阶段神经网络的训练难度大大降低，使得第二阶段网络神经网络不需要复杂也能够得到非常好的效果。
在本实施例中，采用了不同于主流两阶段检测方法的训练技术，具体的，所述计算机程序被处理器运行时还执行以下步骤：
依次遍历历史数据集中的所有遥感图片，在每个遥感图片的每个飞机实例周围随机剪裁出N个区域，根据区域与飞机实例之间的交并比将区域分为正样本、部分样本及负样本，得到第一阶段训练样本；
第一阶段神经网络的训练：
每次从第一阶段训练样本中选取K个样本，所述K个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；
直至第一阶段训练样本的所有样本训练完成后，得到训练完毕的第一阶段神经网络模型；
对历史数据集中的所有遥感图片执行第一阶段神经网络模型推理，得到第一阶段训练结果；
将第一阶段训练结果与飞机实例的真实标注计算交并比，将第一阶段训练结果分为正样本、部分样本及负样本；
第二阶段神经网络的训练：
从第一阶段训练结果中选取L个样本，所述L个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数。
其中，所述K个样本之间的正样本、部分样本及负样本之间的比例为1：2：3；
所述L个样本之间的正样本、部分样本及负样本之间的比例为1：2：3。
通过依次遍历历史数据集中的所有遥感图像，在每张的遥感图像的每个飞机实例周围都随机裁剪出N个区域，根据区域与飞机实例之间的交并比(Intersection overUnion，IOU)将区域分为正样本、部分样本、负样本三类，得到第一阶段训练样本，然后将所有样本保存到硬盘上。然后训练第一阶段神经网络，每次从第一阶段训练样本中选取K个样本，将每个样本的尺寸重新调整至指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数及更新参数，其中L为6的倍数，样本之间的比例大致满足正样本：部分样本：负样本＝1：2：3；直至所有的第一阶段训练样本的所有样本训练完成，得到训练完毕的第一阶段神经网络模型，然后将历史数据集中的所有图像执行第一阶段神经网络模型推理，得到第一阶段输出结果，同样对第一阶段输出结果与飞机实例的真实标注计算交并比，将第一阶段输出结果分为正样本、部分样本及负样本，并将第一阶段输出结果保存到硬盘上；然后进行第二阶段神经网络的训练，具体是，从第一阶段输出结果中选出L个样本，将每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；其中，神经网络的输出包括分类和回归两个分支，分类分支采用交叉熵损失函数，回归分支采用L2损失函数，总损失函数为交叉熵损失函数和L2损失函数的加权和C，得到损失函数后，按照误差逆传播算法更新参数。交并比为[0,1]区间内的小数，而根据样本的差异在于其与实际标注的交并比不同，将样本分为正样本、部分样本及负样本，如设置两个交并比阈值A、B满足0<A<B<1，若样本与真实标注的交并比大于B，则为正样本，若样本与真实标注的交并比在A和B之间，则样本为部分样本，若样本与真实标注的交并比小于A，则样本为负样本；而较于现有的目标检测方法中在训练的过程中仅使用正样本和负样本，且两者的比例通常为1：3；而通过引入部分样本可以增大训练集的规模，提升检测效果。在实际的样本生成过程中，即随机裁剪出N个区域，部分样本的数量高于正样本的数量而低于负样本的数量，故在样本训练的过程中，也应该按照实际情况进行样本训练，即部分样本所占的比例高于正样本而低于负样本。优选的，L为6的倍数，样本之间的比例大致满足正样本：部分样本：负样本＝1：2：3。
而对于现有神经网络的训练需要大量的数据，而遥感图像的获取难度较大，因此数据量很少。现有的检测技术通常在自然场景下的自然场景图像数据集上进行预训练，然后在遥感图像上进行微调(fine-tuning)，但这种做法忽略了遥感图像与自然场景图像之间的差异性。而在本实施例中，为解决该问题，通过对遥感图像的数据增强，解决遥感图像与自然场景图像之间的差异性，以及在较少的遥感图像上进行神经网络的训练，具体的，所述计算机程序被处理器运行时还执行以下步骤：
从历史遥感图像中选择出若干个具有不同旋转角度的飞机实例；
通过使用图像风格迁移技术，将大量与机场、飞机相关的自然场景图像转换成遥感图像；
将选择的飞机实例复制粘贴到转换后的遥感图像上的随机位置，得到处理后的遥感图像；
将历史遥感图像及处理后的遥感图像共同构成历史数据集。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
Claims (6)
1.一种遥感图像下的飞机检测方法，其特征在于，包括以下步骤：
第一阶段神经网络模型推理：
根据输入待检测遥感图像，构造图像金字塔；
将图像金字塔的每一层依次作为第一阶段神经网络的输入，得到图像金字塔的每一层对应的输出结果，所述输出结果包括区域坐标及区域置信度；
对于每一层对应的输出结果，将其区域置信度低于第一预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制；
将所有层的输出结果进行合并后，再次执行非极大值抑制，得到第一阶段输出结果；
第二阶段神经网络模型推理：
将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段输出结果；
将第二阶段输出结果中的区域置信度小于第二预设阈值的区域忽略，然后对剩下的区域进行非极大值抑制，得到最终输出结果，所述第一预设阈值小于第二预设阈值；
所述根据输入待检测遥感图像，构造图像金字塔具体包括以下步骤：
根据输入待检测遥感图像，以scale为下采样因子，通过先验信息的下采样尺寸确定技术构造图像金字塔；
所述先验信息的下采样尺寸确定技术具体包括：
获取遥感图像拍摄时的参数，所述参数包括拍摄高度、成像参数及拍摄分辨率；
根据获取的参数计算得到拍摄得到的遥感图像与实际场景之间的比例尺；
根据现有飞机的实际尺寸，确定现有飞机在遥感图像上的尺寸；
选择现有飞机的最小尺寸作为图像金字塔的顶层尺寸的阈值；
还包括以下步骤：
依次遍历历史数据集中的所有遥感图片，在每个遥感图片的每个飞机实例周围随机剪裁出N个区域，根据区域与飞机实例之间的交并比将区域分为正样本、部分样本及负样本，得到第一阶段训练样本；
第一阶段神经网络的训练：
每次从第一阶段训练样本中选取K个样本，所述K个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；
直至第一阶段训练样本的所有样本训练完成后，得到第一阶段神经网络模型；
对历史数据集中的所有遥感图片执行第一阶段神经网络模型推理，得到第一阶段训练结果；
将第一阶段训练结果与飞机实例的真实标注计算交并比，将第一阶段训练结果分为正样本、部分样本及负样本；
第二阶段神经网络的训练：
从第一阶段训练结果中选取L个样本，所述L个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数。
2.根据权利要求1所述遥感图像下的飞机检测方法，其特征在于，还包括以下步骤：
从历史遥感图像中选择出若干个具有不同旋转角度的飞机实例；
通过使用图像风格迁移技术，将大量与机场、飞机相关的自然场景图像转换成遥感图像；
将选择的飞机实例复制粘贴到转换后的遥感图像上的随机位置，得到处理后的遥感图像；
将历史遥感图像及处理后的遥感图像共同构成历史数据集。
3.根据权利要求1所述遥感图像下的飞机检测方法，其特征在于，所述K个样本之间的正样本、部分样本及负样本之间的比例为1：2：3；
所述L个样本之间的正样本、部分样本及负样本之间的比例为1：2：3。
4.一种存储介质，所述存储介质内存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行以下步骤：
第一阶段神经网络模型推理：
根据输入待检测遥感图像，构造图像金字塔；
将图像金字塔的每一层依次作为第一阶段神经网络的输入，得到图像金字塔的每一层对应的输出结果，所述输出结果包括区域坐标及区域置信度；
对于每一层对应的输出结果，将其区域置信度低于第一预设阈值的区域全部忽略，然后对剩下的区域进行执行非极大值抑制；
将所有层的输出结果进行合并后，再次执行非极大值抑制，得到第一阶段输出结果；
第二阶段神经网络模型推理：
将第一阶段输出结果作为第二阶段神经网络的输入，得到第二阶段输出结果；
将第二阶段输出结果中的区域置信度小于第二预设阈值的区域忽略，然后对剩下的区域进行非极大值抑制，得到最终输出结果，所述第一预设阈值小于第二预设阈值；
所述步骤根据输入待检测遥感图像，构造图像金字塔被处理器运行时，具体执行以下步骤：
根据输入待检测遥感图像，以scale为下采样因子，通过先验信息的下采样尺寸确定技术构造图像金字塔；
所述先验信息的下采样尺寸确定技术具体包括：
获取遥感图像拍摄时的参数，所述参数包括拍摄高度、成像参数及拍摄分辨率；
根据获取的参数计算得到拍摄得到的遥感图像与实际场景之间的比例尺；
根据现有飞机的实际尺寸，确定现有飞机在遥感图像上的尺寸；
选择现有飞机的最小尺寸作为图像金字塔的顶层尺寸的阈值；
所述计算机程序被处理器运行时还执行以下步骤：
依次遍历历史数据集中的所有遥感图片，在每个遥感图片的每个飞机实例周围随机剪裁出N个区域，根据区域与飞机实例之间的交并比将区域分为正样本、部分样本及负样本，得到第一阶段训练样本；
第一阶段神经网络的训练：
每次从第一阶段训练样本中选取K个样本，所述K个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数；
直至第一阶段训练样本的所有样本训练完成后，得到第一阶段神经网络模型；
对历史数据集中的所有遥感图片执行第一阶段神经网络模型推理，得到第一阶段训练结果；
将第一阶段训练结果与飞机实例的真实标注计算交并比，将第一阶段训练结果分为正样本、部分样本及负样本；
第二阶段神经网络的训练：
从第一阶段训练结果中选取L个样本，所述L个样本包括正样本、部分样本及负样本；
将选取的每个样本的尺寸都重新调整为指定大小，将调整后的样本作为神经网络的输入，得到输出结果，计算损失函数并更新参数。
5.根据权利要求4所述存储介质，其特征在于，所述计算机程序被处理器运行时还执行以下步骤：
从历史遥感图像中选择出若干个具有不同旋转角度的飞机实例；
通过使用图像风格迁移技术，将大量与机场、飞机相关的自然场景图像转换成遥感图像；
将选择的飞机实例复制粘贴到转换后的遥感图像上的随机位置，得到处理后的遥感图像；
将历史遥感图像及处理后的遥感图像共同构成历史数据集。
6.根据权利要求4所述存储介质，其特征在于，所述K个样本之间的正样本、部分样本及负样本之间的比例为1：2：3；
所述L个样本之间的正样本、部分样本及负样本之间的比例为1：2：3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911183503.6A CN110991305B (zh) | 2019-11-27 | 2019-11-27 | 一种遥感图像下的飞机检测方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911183503.6A CN110991305B (zh) | 2019-11-27 | 2019-11-27 | 一种遥感图像下的飞机检测方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991305A CN110991305A (zh) | 2020-04-10 |
| CN110991305B true CN110991305B (zh) | 2023-04-07 |
Family
ID=70087412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911183503.6A Active CN110991305B (zh) | 2019-11-27 | 2019-11-27 | 一种遥感图像下的飞机检测方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991305B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505627A (zh) * | 2021-03-31 | 2021-10-15 | 北京苍灵科技有限公司 | 遥感数据处理方法、装置、电子设备和存储介质 |
| CN113361413A (zh) * | 2021-06-08 | 2021-09-07 | 南京三百云信息科技有限公司 | 一种里程显示区域检测方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022237A (zh) * | 2016-05-13 | 2016-10-12 | 电子科技大学 | 一种端到端的卷积神经网络的行人检测方法 |
| CN106485230A (zh) * | 2016-10-18 | 2017-03-08 | 中国科学院重庆绿色智能技术研究院 | 基于神经网络的人脸检测模型的训练、人脸检测方法及系统 |
| CN107871101A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 一种人脸检测方法及装置 |
| CN109145854A (zh) * | 2018-08-31 | 2019-01-04 | 东南大学 | 一种基于级联卷积神经网络结构的人脸检测方法 |
| WO2019099805A1 (en) * | 2017-11-17 | 2019-05-23 | Facebook, Inc. | Machine-leaning models based on non-local neural networks |
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
-
2019
- 2019-11-27 CN CN201911183503.6A patent/CN110991305B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022237A (zh) * | 2016-05-13 | 2016-10-12 | 电子科技大学 | 一种端到端的卷积神经网络的行人检测方法 |
| CN107871101A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 一种人脸检测方法及装置 |
| CN106485230A (zh) * | 2016-10-18 | 2017-03-08 | 中国科学院重庆绿色智能技术研究院 | 基于神经网络的人脸检测模型的训练、人脸检测方法及系统 |
| WO2019099805A1 (en) * | 2017-11-17 | 2019-05-23 | Facebook, Inc. | Machine-leaning models based on non-local neural networks |
| CN109145854A (zh) * | 2018-08-31 | 2019-01-04 | 东南大学 | 一种基于级联卷积神经网络结构的人脸检测方法 |
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数据流和精确定位的多线程行人探测系统;朱峰;《电视技术》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991305A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210183022A1 (en) | Image inpainting method and apparatus, computer device, and storage medium | |
| CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
| CN113567984A (zh) | 一种sar图像中人造小目标的检测方法及系统 | |
| CN111126472A (zh) | 一种基于ssd改进的目标检测方法 | |
| JP2018514852A (ja) | 逐次画像サンプリングおよび微調整された特徴の記憶 | |
| CN111126278B (zh) | 针对少类别场景的目标检测模型优化与加速的方法 | |
| CN110991305B (zh) | 一种遥感图像下的飞机检测方法及存储介质 | |
| KR102349854B1 (ko) | 표적 추적 시스템 및 방법 | |
| CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN115862066A (zh) | 一种改进YOLOv5的轻量化社区场景下行人检测方法 | |
| CN111914843A (zh) | 文字检测方法、系统、设备及存储介质 | |
| CN112464930A (zh) | 目标检测网络构建方法、目标检测方法、装置和存储介质 | |
| CN113538347A (zh) | 基于高效双向路径聚合注意力网络的图像检测方法及系统 | |
| CN114596340A (zh) | 一种监控视频的多目标跟踪方法及系统 | |
| CN113011398A (zh) | 一种针对多时相遥感图像的目标变化检测方法及装置 | |
| CN115995042A (zh) | 一种视频sar运动目标检测方法及装置 | |
| Li et al. | A deep learning method based on SRN-YOLO for forest fire detection | |
| CN114782859A (zh) | 一种目标行为时空感知定位模型的建立方法及应用 | |
| Nagaraj et al. | Edge-based street object detection | |
| CN111652288B (zh) | 一种基于稠密特征金字塔的改进型ssd小目标检测方法 | |
| CN113177956A (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| CN113256546A (zh) | 一种基于彩色图指导的深度图补全方法 | |
| CN112819100A (zh) | 无人机平台多尺度目标检测方法和装置 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |