CN111797676A - 一种高分辨率遥感图像目标在轨轻量化快速检测方法 - Google Patents

一种高分辨率遥感图像目标在轨轻量化快速检测方法 Download PDF

Info

Publication number
CN111797676A
CN111797676A CN202010368406.0A CN202010368406A CN111797676A CN 111797676 A CN111797676 A CN 111797676A CN 202010368406 A CN202010368406 A CN 202010368406A CN 111797676 A CN111797676 A CN 111797676A
Authority
CN
China
Prior art keywords
target
prediction
remote sensing
lightweight
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010368406.0A
Other languages
English (en)
Other versions
CN111797676B (zh
Inventor
白宏阳
郭宏伟
周育新
郑浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010368406.0A priority Critical patent/CN111797676B/zh
Publication of CN111797676A publication Critical patent/CN111797676A/zh
Application granted granted Critical
Publication of CN111797676B publication Critical patent/CN111797676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高分辨率遥感图像目标在轨轻量化快速检测方法，包含以下步骤：获取原始高分辨率可见光遥感图像，建立包含目标位置、大小、类别和航向角信息的遥感图像数据集；搭建轻量化深度学习网络模型；在深度学习框架下训练并评估搭建的轻量化深度学习网络模型；使用训练完成的轻量化深度学习网络模型在测试集上进行测试。该方法在Combricon 1H8、NVIDIA Jetson TX2等嵌入式平台下具有网络规模小、模型参数少、检测精度高、推理速度快等优点，适用于在资源受限的嵌入式平台上的部署，为遥感平台上的在轨目标检测与识别任务提供一种有效的解决方案。

Description

一种高分辨率遥感图像目标在轨轻量化快速检测方法
技术领域
本发明涉及遥感图像处理、深度学习技术领域，具体涉及一种高分辨率遥感图像目标在轨轻量化快速检测方法。
背景技术
随着计算机视觉技术和图像并行处理技术的发展，深度学习在军事领域和航空航天、科学探测、天文观测以及视频监控等民用领域具有越来越广泛的应用。世界上著名的高分辨率卫星成像系统都已达到亚米级甚至0.1m分辨率的高精度级别，吉林一号轻型高分辨率遥感卫星光学成像系统每天能获取15万平方公里的高分辨率遥感图像数据，Digitalglobe公司的WorldView商业卫星系统的星载大容量全色成像系统每天能够拍摄多达50万平方公里的0.5米分辨率图像。卫星平台和无人机平台积累的遥感图像数据在不断积累，星载或机载平台的目标检测与识别任务亟需一种适用于移动平台、占用资源少、计算效率高的轻量化深度学习模型处理遥感图像数据。
目前用于目标检测与识别的深度学习方法一般分为两种：双阶段深度神经网络模型(如Faster R-CNN)和单阶段深度神经网络模型(如YOLO、SSD)。双阶段模型首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类识别。但是这种识别方法存在的两个主要问题：一个是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余，给使用人员带来较大困难；单阶段模型，利用整张图作为网络的输入，直接在输出层输出回归框的位置和所属的类别，虽然在GPU平台的加速下达到了较高的处理速度，但计算成本高、单位时间功耗大，不适用于嵌入式等移动端。且无论是单阶段或是双阶段模型都面临占用内存大的问题，且在嵌入式平台上的表现难以达到实时性的要求。
发明内容
为实现目标检测在无人机或卫星平台的在线快速检测，本发明提出一种高分辨率遥感图像目标在轨轻量化快速检测方法，利用所设计的轻量化深度神经网络和目标航向角预测方法实现无人机或卫星平台下的目标快速在线检测。
本发明提出一种高分辨率遥感图像目标在轨轻量化快速检测方法，该方法具体包含以下步骤：
第一步：建立包含目标位置、大小、类别和航向角信息的遥感图像数据集。从原始数据中通过人工筛选得到包含感兴趣目标的高分辨率可见光遥感图像，将得到的高分辨率可见光遥感图像切分为边长为W的方形图像切片。对图像分块时采用固定步长的重叠切分方法，即在水平方向和竖直方向均以W/2的切片边长为步长对图像进行滑动切分，用于保证在图像边界处的目标的完整性。对获取的图像切片进行人工筛选，获取包含目标的正样本切片。然后，对正样本切片通过{45°，90°，135°，180°，225°，270°，315°}7个方向的旋转、水平镜像、竖直镜像、色彩抖动、随机裁剪、按256×256Pixels、128×128Pixels两个尺寸进行缩放、加椒盐、条带和高斯噪声的操作对数据集进行扩充并重命名，命名方式为“原始图像名_分块号_处理方式_处理时间”。随机对数据集进行划分，训练集、测试集和验证集的比例为6:2:2。
人工对获取的全部分块图像进行筛选，对包含感兴趣目标的分块采用矩形旋转标注框进行标注，标注参数为水平标注框中心点坐标(Xc,Yc)、矩形标注框宽度w、矩形标注框高度h、目标类别号，目标航向角θ并保存为XML文件。其中，目标航向角θ为目标朝向与水平向右方向的夹角，范围为
Figure BDA0002477298240000021
第二步：搭建轻量化深度学习网络模型
所构建的轻量化深度学习网络模型为深度学习卷积神经网络模型，由5个池化层、5个标准卷积层和10个DepthFire卷积网络模块组成，并使用改进的SSD检测器作为目标检测过程的解码器，用于对目标位置、大小做出预测；
所述的待检测图像作为第一层标准卷积层的输入；第一池化层、第一DepthFire模块、第二DepthFire模块、第二池化层、第三DepthFire模块、第四DepthFire模块、第三池化层、第五DepthFire模块、第六DepthFire模块、第七DepthFire模块、第八DepthFire模块、第四池化层、第九DepthFire模块、第五池化层、第十DepthFire模块、第二标准卷积层、第三标准卷积层、第四标准卷积层、第五标准卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小信息。
DepthFire模块分别用1×1、3×3、1×1的卷积核构建，该卷积模块由四个卷积层构成，其块结构分为两个分支：1)输入层→1×1扩张卷积层→3×3深度分离卷积层→1×1点分离卷积层→通道融合；2)1×1扩张卷积层→1×1压缩卷积层→通道融合。两个分支从1×1扩张卷积层输出的特征图开始分离，最后通过通道融合形成一个多通道特征图输出。
第三步：在深度学习框架下训练并评估搭建的轻量化深度学习网络模型
(a)模型综合使用6个不同尺度的特征图进行预测，实现对不同尺度遥感目标的检测与识别，6个特征图尺寸分别设置为38×38、19×19、10×10、5×5、3×3、1×1；
(b)在更注重定位和分类精度的前提下，结合对于目标航向角度的预测，在训练过程中所使用的损失函数如下：
Figure BDA0002477298240000022
其中L为损失函数，N为先验框的正样本数量，x是匹配状态，c是类别标签输出，l是预测框的定位信息和角度信息，g是真值的定位信息和角度信息，α为权重项。Lcls(x,c)为置信度损失，如下所示：
Figure BDA0002477298240000023
Figure BDA0002477298240000024
其中，ci是类别标签信息的输出，
Figure BDA0002477298240000025
是置信度得分，
Figure BDA0002477298240000026
是预测框内存在目标的可能性，
Figure BDA0002477298240000027
是预测框内没有目标的可能性。
Lloc(x,l.g)为定位损失，包含检测框定位信息的损失和角度信息的损失，表达式如下所示：
Figure BDA0002477298240000031
Figure BDA0002477298240000032
其中，l是预测的五个定位参数的偏移量向量{cx,cy,w,h,θ}，
Figure BDA0002477298240000033
是第i个先验框di和第j个真值框gj之间的偏移量，如下所示：
Figure BDA0002477298240000034
Figure BDA0002477298240000035
(c)对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5。筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出；
(d)搭建深度学习框架Caffe，根据权利要求书3所述的网络结构及参数配置深度神经网络模型，模型使用ImageNet数据集进行预训练，使用达到预训练要求后得到的预训练模型结合步骤(1)中建立的遥感图像数据集进行训练：初始化并设定好网络参数及超参数，输入训练数据在网络中进行前向传播，计算预测结果和损失函数，再通过反向传播过程调整网络权重等参数以减小损失函数，反复迭代训练直到达到最大迭代次数或损失函数达到训练要求，并通过验证集对网络性能及模型在硬件平台上结合模型规模、计算量和推理时间进行评估。
第四步：利用已训练好的网络模型对包含目标的测试样本进行测试验证：
利用已训练好的网络模型对包含目标的测试样本进行测试验证，得到检测目标的位置、预测框尺寸、目标类别、目标航向、平均预测时间，考虑到在线检测时大图像不适合直接作为深度神经网络模型的输入，本发明将在获取到的原始遥感大图进行分块，分块为方形，边长为W，水平分块步长和竖直分块步长均为W/2，以保证相互重叠的四张切片中至少有一张分块中含有完整的待检测目标。然后将分块图像输入步骤(3)中训练好的深度神经网络，得到初步的预测框位置、大小、类别和目标航向角信息，对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5。筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出，在预测结果图上根据预测框位置、大小、类别和目标航向角信息绘制旋转检测框。
本发明旨在轻量化深度学习目标检测模型和目标航向角信息提取方法，实现在无人机平台或卫星平台上目标的精确快速识别。
本发明与现有技术相比，其显著优势为：(1)多尺度特征图参与预测，有效提高了弱小目标的识别精度；(2)设计了轻量化的深度学习目标检测模型，具有较小的网络规模、计算量和较高的检测精度，有利于在嵌入式移动平台上的部署；(3)提供了一种基于深度学习的旋转目标检测方法，可以获取传统水平检测框无法获取的角度信息。
附图说明
图1是本发明的步骤流程图。
图2是本发明所设计的轻量化深度学习目标检测模型的结构图。
具体实施方式
如图1所示，一种高分辨率遥感图像目标在轨轻量化快速检测方法，针对光学遥感图像在线检测任务的感兴趣目标，建立光学遥感图像数据集，并提出一种基于多尺度特征图预测、端对端的轻量化深度卷积神经网络模型的目标在线快速检测方法，包括以下步骤：
(1)获取原始高分辨率可见光遥感图像，建立包含目标位置、大小、类别和航向角信息的遥感图像数据集；
(2)搭建轻量化深度学习网络模型，并使用改进的SSD检测器作为目标检测过程的检测器，构成轻量化目标快速检测网络；
(3)在深度学习框架下训练并评估搭建的轻量化深度学习网络模型；
(4)使用训练完成的轻量化深度学习网络模型在测试集上进行测试；
进一步的，步骤(1)从原始数据中通过人工筛选得到包含感兴趣目标的高分辨率可见光遥感图像，将得到的高分辨率可见光遥感图像切分为边长为W的方形图像切片。对图像分块时采用固定步长的重叠切分方法，即在水平方向和竖直方向均以W/2的切片边长为步长对图像进行滑动切分，用于保证在图像边界处的目标的完整性。对获取的图像切片进行人工筛选，获取包含目标的正样本切片。然后，对正样本切片通过{45°，90°，135°，180°，225°，270°，315°}7个方向的旋转、水平镜像、竖直镜像、色彩抖动、随机裁剪、按256×256Pixels、128×128Pixels两个尺寸进行缩放、加椒盐、条带和高斯噪声的操作对数据集进行扩充并重命名，命名方式为“原始图像名_分块号_处理方式_处理时间”。随机对数据集进行划分，训练集、测试集和验证集的比例为6:2:2。
人工对获取的全部分块图像进行筛选，对包含感兴趣目标的分块采用矩形旋转标注框进行标注，标注参数为水平标注框中心点坐标(Xc,Yc)、矩形标注框宽度w、矩形标注框高度h、目标类别号，目标航向角θ并保存为XML文件。其中，目标航向角θ为目标朝向与水平向右方向的夹角，范围为
Figure BDA0002477298240000041
进一步的，步骤(2)中所构建的轻量化深度学习网络模型为深度学习卷积神经网络模型，由5个池化层、5个标准卷积层和10个DepthFire卷积网络模块组成，并使用改进的SSD检测器作为目标检测过程的解码器，用于对目标位置、大小做出预测；
所述的待检测图像作为第一层标准卷积层的输入；第一池化层、第一DepthFire模块、第二DepthFire模块、第二池化层、第三DepthFire模块、第四DepthFire模块、第三池化层、第五DepthFire模块、第六DepthFire模块、第七DepthFire模块、第八DepthFire模块、第四池化层、第九DepthFire模块、第五池化层、第十DepthFire模块、第二标准卷积层、第三标准卷积层、第四标准卷积层、第五标准卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小信息。
DepthFire模块分别用1×1、3×3、1×1的卷积核构建，该卷积模块由四个卷积层构成，其块结构分为两个分支：1)输入层→1×1扩张卷积层→3×3深度分离卷积层→1×1点分离卷积层→通道融合；2)1×1扩张卷积层→1×1压缩卷积层→通道融合。两个分支从1×1扩张卷积层输出的特征图开始分离，最后通过通道融合形成一个多通道特征图输出。
进一步的，步骤(3)中模型搭建与训练的过程如下：
(a)模型综合使用6个不同尺度的特征图进行预测，实现对不同尺度遥感目标的检测与识别，6个特征图尺寸分别设置为38×38、19×19、10×10、5×5、3×3、1×1；
(b)在更注重定位和分类精度的前提下，结合对于目标航向角度的预测，在训练过程中所使用的损失函数如下：
Figure BDA0002477298240000051
其中L为损失函数，N为先验框的正样本数量，x是匹配状态，c是类别标签输出，l是预测框的定位信息和角度信息，g是真值的定位信息和角度信息，α为权重项。Lcls)x,c)为置信度损失，如下所示：
Figure BDA0002477298240000052
Figure BDA0002477298240000053
其中，ci是类别标签信息的输出，
Figure BDA0002477298240000054
是置信度得分，
Figure BDA0002477298240000055
是预测框内存在目标的可能性，
Figure BDA0002477298240000056
是预测框内没有目标的可能性。
Lloc(x,l.g)为定位损失，包含检测框定位信息的损失和角度信息的损失，表达式如下所示：
Figure BDA0002477298240000057
Figure BDA0002477298240000058
其中，l是预测的五个定位参数的偏移量向量{cx,cy,w,h,θ}，
Figure BDA0002477298240000059
是第i个先验框di和第j个真值框gj之间的偏移量，如下所示：
Figure BDA00024772982400000510
Figure BDA0002477298240000061
(c)对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5。筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出；
(d)搭建深度学习框架Caffe，根据权利要求书3所述的网络结构及参数配置深度神经网络模型，模型使用ImageNet数据集进行预训练，使用达到预训练要求后得到的预训练模型结合步骤(1)中建立的遥感图像数据集进行训练：初始化并设定好网络参数及超参数，输入训练数据在网络中进行前向传播，计算预测结果和损失函数，再通过反向传播过程调整网络权重等参数以减小损失函数，反复迭代训练直到达到最大迭代次数或损失函数达到训练要求，并通过验证集对网络性能及模型在硬件平台上结合模型规模、计算量和推理时间进行评估。
进一步的，步骤(4)利用已训练好的网络模型对包含目标的测试样本进行测试验证，得到检测目标的位置、预测框尺寸、目标类别、目标航向、平均预测时间，考虑到在线检测时大图像不适合直接作为深度神经网络模型的输入，本发明将在获取到的原始遥感大图进行分块，分块为方形，边长为W，水平分块步长和竖直分块步长均为W/2，以保证相互重叠的四张切片中至少有一张分块中含有完整的待检测目标。然后将分块图像输入步骤(3)中训练好的深度神经网络，得到初步的预测框位置、大小、类别和目标航向角信息，对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5。筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出，在预测结果图上根据预测框位置、大小、类别和目标航向角信息绘制旋转检测框。
本发明为一种基于多尺度特征图、端对端的深度卷积神经网络模型结构，设计了DepthFire模块对网络进行优化，减少了计算量和模型体积；同时，将目标航向预测作为回归问题引入网络模型直接进行预测。该方法在NVIDIA Jetson TX1/2等嵌入式平台下具有检测精度高、检测速度快、低成本、低功耗等优点，为无人机机载平台或卫星在线目标检测与识别任务提供一种有效的解决方案。
下面结合实施例对本发明进行详细说明。
实施例
一种高分辨率遥感图像目标在轨轻量化快速检测方法，包括以下步骤：
第一步：建立包含目标位置、大小、类别和航向角信息的遥感图像数据集。从原始数据中通过人工筛选得到包含感兴趣目标的高分辨率可见光遥感图像，将得到的高分辨率可见光遥感图像切分为边长为W的方形图像切片。对图像分块时采用固定步长的重叠切分方法，即在水平方向和竖直方向均以W/2的切片边长为步长对图像进行滑动切分，用于保证在图像边界处的目标的完整性。对获取的图像切片进行人工筛选，获取包含目标的正样本切片。然后，对正样本切片通过{45°，90°，135°，180°，225°，270°，315°}7个方向的旋转、水平镜像、竖直镜像、色彩抖动、随机裁剪、按256×256Pixels、128×128Pixels两个尺寸进行缩放、加椒盐、条带和高斯噪声的操作对数据集进行扩充并重命名，命名方式为“原始图像名_分块号_处理方式_处理时间”。随机对数据集进行划分，训练集、测试集和验证集的比例为6:2:2。
人工对获取的全部分块图像进行筛选，对包含感兴趣目标的分块采用矩形旋转标注框进行标注，标注参数为水平标注框中心点坐标(Xc,Yc)、矩形标注框宽度w、矩形标注框高度h、目标类别号，目标航向角θ并保存为XML文件。其中，目标航向角θ为目标朝向与水平向右方向的夹角，范围为
Figure BDA0002477298240000071
第二步：搭建轻量化深度学习网络模型
如图2，所构建的轻量化深度学习网络模型为深度学习卷积神经网络模型，由5个池化层、5个标准卷积层和10个DepthFire卷积网络模块组成，并使用改进的SSD检测器作为目标检测过程的解码器，用于对目标位置、大小做出预测；
所述的待检测图像作为第一层标准卷积层的输入；第一池化层、第一DepthFire模块、第二DepthFire模块、第二池化层、第三DepthFire模块、第四DepthFire模块、第三池化层、第五DepthFire模块、第六DepthFire模块、第七DepthFire模块、第八DepthFire模块、第四池化层、第九DepthFire模块、第五池化层、第十DepthFire模块、第二标准卷积层、第三标准卷积层、第四标准卷积层、第五标准卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小信息。
DepthFire模块分别用1×1、3×3、1×1的卷积核构建，该卷积模块由四个卷积层构成，其块结构分为两个分支：1)输入层→1×1扩张卷积层→3×3深度分离卷积层→1×1点分离卷积层→通道融合；2)1×1扩张卷积层→1×1压缩卷积层→通道融合。两个分支从1×1扩张卷积层输出的特征图开始分离，最后通过通道融合形成一个多通道特征图输出。
第三步：在深度学习框架下训练并评估搭建的轻量化深度学习网络模型
(a)模型综合使用6个不同尺度的特征图进行预测，实现对不同尺度遥感目标的检测与识别，6个特征图尺寸分别设置为38×38、19×19、10×10、5×5、3×3、1×1；
(b)在更注重定位和分类精度的前提下，结合对于目标航向角度的预测，在训练过程中所使用的损失函数如下：
Figure BDA0002477298240000076
其中L为损失函数，N为先验框的正样本数量，x是匹配状态，c是类别标签输出，l是预测框的定位信息和角度信息，g是真值的定位信息和角度信息，α为权重项。Lcls(x,c)为置信度损失，如下所示：
Figure BDA0002477298240000072
Figure BDA0002477298240000073
其中，ci是类别标签信息的输出，
Figure BDA0002477298240000074
是置信度得分，
Figure BDA0002477298240000075
是预测框内存在目标的可能性，
Figure BDA0002477298240000081
是预测框内没有目标的可能性。
Lloc（x,l.g）为定位损失，包含检测框定位信息的损失和角度信息的损失，表达式如下所示：
Figure BDA0002477298240000082
Figure BDA0002477298240000083
其中，l是预测的五个定位参数的偏移量向量{cx,cy,w,h,θ}，
Figure BDA0002477298240000084
是第i个先验框di和第j个真值框gj之间的偏移量，如下所示：
Figure BDA0002477298240000085
Figure BDA0002477298240000086
(c)对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5。筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出；
(d)搭建深度学习框架Caffe，根据权利要求书3所述的网络结构及参数配置深度神经网络模型，模型使用ImageNet数据集进行预训练，使用达到预训练要求后得到的预训练模型结合步骤(1)中建立的遥感图像数据集进行训练：初始化并设定好网络参数及超参数，输入训练数据在网络中进行前向传播，计算预测结果和损失函数，再通过反向传播过程调整网络权重等参数以减小损失函数，反复迭代训练直到达到最大迭代次数或损失函数达到训练要求，并通过验证集对网络性能及模型在硬件平台上结合模型规模、计算量和推理时间进行评估。
第四步：利用已训练好的网络模型对包含目标的测试样本进行测试验证：利用已训练好的网络模型对包含目标的测试样本进行测试验证，得到检测目标的位置、预测框尺寸、目标类别、目标航向、平均预测时间，考虑到在线检测时大图像不适合直接作为深度神经网络模型的输入，本发明将在获取到的原始遥感大图进行分块，分块为方形，边长为W，水平分块步长和竖直分块步长均为W/2，以保证相互重叠的四张切片中至少有一张分块中含有完整的待检测目标。然后将分块图像输入步骤(3)中训练好的深度神经网络，得到初步的预测框位置、大小、类别和目标航向角信息，对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5。筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出，在预测结果图上根据预测框位置、大小、类别和目标航向角信息绘制旋转检测框。

Claims (6)

1.一种高分辨率遥感图像目标在轨轻量化快速检测方法，其特征在于，包括以下步骤：
(1)获取原始高分辨率可见光遥感图像，建立包含目标位置、大小、类别和航向角信息的遥感图像数据集；
(2)搭建轻量化深度学习网络模型，并使用改进的SSD检测器作为目标检测过程的检测器，构成轻量化目标快速检测网络；
(3)在深度学习框架下训练并评估搭建的轻量化深度学习网络模型；
(4)使用训练完成的轻量化深度学习网络模型在测试集上进行测试。
2.根据权利要求1所述的高分辨率遥感图像目标在轨轻量化快速检测方法，其特征在于：步骤(1)从原始数据中通过人工筛选得到包含感兴趣目标的高分辨率可见光遥感图像，将得到的高分辨率可见光遥感图像切分为边长为W的方形图像切片；对图像分块时采用固定步长的重叠切分方法，即在水平方向和竖直方向均以W/2的切片边长为步长对图像进行滑动切分；对获取的图像切片进行人工筛选，获取包含目标的正样本切片；然后，对正样本切片通过{45°，90°，135°，180°，225°，270°，315°}7个方向的旋转、水平镜像、竖直镜像、色彩抖动、随机裁剪、按256×256Pixels、128×128Pixels两个尺寸进行缩放、加椒盐、条带和高斯噪声的操作对数据集进行扩充并重命名；随机对数据集进行划分，训练集、测试集和验证集的比例为6:2:2；
对获取的全部分块图像进行筛选，对包含感兴趣目标的分块采用矩形旋转标注框进行标注，标注参数为水平标注框中心点坐标(Xc,Yc)、矩形标注框宽度w、矩形标注框高度h、目标类别号、目标航向角θ，并保存为XML文件；其中，目标航向角θ为目标朝向与水平向右方向的夹角，范围为
Figure FDA0002477298230000011
3.根据权利要求2所述的高分辨率遥感图像目标在轨轻量化快速检测方法，其特征在于：数据集重命名的命名方式为“原始图像名_分块号_处理方式_处理时间”。
4.根据权利要求1所述的高分辨率遥感图像目标在轨轻量化快速检测方法，其特征在于：步骤(2)中所构建的轻量化深度学习网络模型为深度学习卷积神经网络模型，由5个池化层、5个标准卷积层和10个DepthFire卷积网络模块组成，并使用改进的SSD检测器作为目标检测过程的解码器，用于对目标位置、大小做出预测；
所述的待检测图像作为第一层标准卷积层的输入；第一池化层、第一DepthFire模块、第二DepthFire模块、第二池化层、第三DepthFire模块、第四DepthFire模块、第三池化层、第五DepthFire模块、第六DepthFire模块、第七DepthFire模块、第八DepthFire模块、第四池化层、第九DepthFire模块、第五池化层、第十DepthFire模块、第二标准卷积层、第三标准卷积层、第四标准卷积层、第五标准卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小信息；
DepthFire模块分别用1×1、3×3、1×1的卷积核构建，该卷积模块由四个卷积层构成，其块结构分为两个分支：1)输入层→1×1扩张卷积层→3×3深度分离卷积层→1×1点分离卷积层→通道融合；2)1×1扩张卷积层→1×1压缩卷积层→通道融合；两个分支从1×1扩张卷积层输出的特征图开始分离，最后通过通道融合形成一个多通道特征图输出。
5.根据权利要求1所述的高分辨率遥感图像目标在轨轻量化快速检测方法，其特征在于：模型搭建与训练的过程如下：
(a)模型综合使用6个不同尺度的特征图进行预测，实现对不同尺度遥感目标的检测与识别，6个特征图尺寸分别设置为38×38、19×19、10×10、5×5、3×3、1×1；
(b)结合对于目标航向角度的预测，在训练过程中所使用的损失函数如下：
Figure FDA0002477298230000021
其中L为损失函数，N为先验框的正样本数量，x是匹配状态，c是类别标签输出，l是预测框的定位信息和角度信息，g是真值的定位信息和角度信息，α为权重项。Lcls(x,c)为置信度损失，如下所示：
Figure FDA0002477298230000022
Figure FDA0002477298230000023
其中，ci是类别标签信息的输出，
Figure FDA0002477298230000024
是置信度得分，
Figure FDA0002477298230000025
是预测框内存在目标的可能性，
Figure FDA0002477298230000026
是预测框内没有目标的可能性。；
Lloc(x,l.g)为定位损失，包含检测框定位信息的损失和角度信息的损失，表达式如下所示：
Figure FDA0002477298230000027
Figure FDA0002477298230000028
其中，l是预测的五个定位参数的偏移量向量{cx,cy,w,h,θ}，
Figure FDA0002477298230000029
是第i个先验框di和第j个真值框gj之间的偏移量，如下所示：
Figure FDA00024772982300000210
Figure FDA00024772982300000211
(c)对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5。筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出；
(d)搭建深度学习框架Caffe，根据权利要求书3所述的网络结构及参数配置深度神经网络模型，模型使用ImageNet数据集进行预训练，使用达到预训练要求后得到的预训练模型结合步骤(1)中建立的遥感图像数据集进行训练：初始化并设定好网络参数及超参数，输入训练数据在网络中进行前向传播，计算预测结果和损失函数，再通过反向传播过程调整网络权重等参数以减小损失函数，反复迭代训练直到达到最大迭代次数或损失函数达到训练要求，并通过验证集对网络性能及模型在硬件平台上结合模型规模、计算量和推理时间进行评估。
6.根据权利要求1所述的高分辨率遥感图像目标在轨轻量化快速检测方法，其特征在于：利用已训练好的网络模型对包含目标的测试样本进行测试验证，得到检测目标的位置、预测框尺寸、目标类别、目标航向、平均预测时间；将获取到的原始遥感大图进行分块，分块为方形，边长为W，水平分块步长和竖直分块步长均为W/2，以保证相互重叠的四张切片中至少有一张分块中含有完整的待检测目标；然后将分块图像输入步骤(3)中训练好的深度神经网络，得到初步的预测框位置、大小、类别和目标航向角信息，对预测得到的预测框先经过置信度阈值的筛选，置信度阈值设置为0.5；筛选得到的候选框通过非极大值抑制的方法进行整合：对剩余的预测框按照分数值进行从高到低排序,选择得分最高的预测框作为输出，在预测结果图上根据预测框位置、大小、类别和目标航向角信息绘制旋转检测框。
CN202010368406.0A 2020-04-30 2020-04-30 一种高分辨率遥感图像目标在轨轻量化快速检测方法 Active CN111797676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368406.0A CN111797676B (zh) 2020-04-30 2020-04-30 一种高分辨率遥感图像目标在轨轻量化快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368406.0A CN111797676B (zh) 2020-04-30 2020-04-30 一种高分辨率遥感图像目标在轨轻量化快速检测方法

Publications (2)

Publication Number Publication Date
CN111797676A true CN111797676A (zh) 2020-10-20
CN111797676B CN111797676B (zh) 2022-10-28

Family

ID=72806711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368406.0A Active CN111797676B (zh) 2020-04-30 2020-04-30 一种高分辨率遥感图像目标在轨轻量化快速检测方法

Country Status (1)

Country Link
CN (1) CN111797676B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395958A (zh) * 2020-10-29 2021-02-23 中国地质大学（武汉） 基于四尺度深浅层特征融合的遥感图像小目标检测方法
CN112529095A (zh) * 2020-12-22 2021-03-19 合肥市正茂科技有限公司 一种基于卷积区域重配准的单阶段目标检测方法
CN112581430A (zh) * 2020-12-03 2021-03-30 厦门大学 一种基于深度学习的航空发动机无损检测方法、装置、设备及存储介质
CN112580554A (zh) * 2020-12-25 2021-03-30 北京环境特性研究所 基于cnn的mstar数据噪声强度控制的分类识别方法
CN112668536A (zh) * 2021-01-06 2021-04-16 北京理工大学 一种基于机载光电视频的轻量化旋转目标检测识别方法
CN112699914A (zh) * 2020-12-02 2021-04-23 中山大学 一种基于异构复合主干的目标检测方法及系统
CN112861720A (zh) * 2021-02-08 2021-05-28 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN112906658A (zh) * 2021-03-30 2021-06-04 航天时代飞鸿技术有限公司 一种无人机侦查地面目标的轻量化自动检测方法
CN112946684A (zh) * 2021-01-28 2021-06-11 浙江大学 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN112966558A (zh) * 2021-02-03 2021-06-15 华设设计集团股份有限公司 基于优化ssd目标检测模型的港口自动识别方法及系统
CN113159051A (zh) * 2021-04-27 2021-07-23 长春理工大学 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN113408423A (zh) * 2021-06-21 2021-09-17 西安工业大学 适用于tx2嵌入式平台的水产品目标实时检测方法
CN113504728A (zh) * 2021-07-22 2021-10-15 北京微纳星空科技有限公司 一种任务指令的生成方法、装置、设备及存储介质
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN113689399A (zh) * 2021-08-23 2021-11-23 长安大学 一种用于电网识别遥感图像处理方法及系统
CN113837185A (zh) * 2021-11-23 2021-12-24 深圳比特微电子科技有限公司 目标检测方法、系统、装置及存储介质
CN113951834A (zh) * 2021-11-30 2022-01-21 湖南应超智能计算研究院有限责任公司 基于视觉Transformer算法的阿尔兹海默症分类预测方法
CN114005028A (zh) * 2021-07-30 2022-02-01 北京航空航天大学 一种抗干扰的遥感图像目标检测轻量模型及其方法
CN114187606A (zh) * 2021-10-21 2022-03-15 江阴市智行工控科技有限公司 一种采用分支融合网络轻量化的车库行人检测方法及系统
CN114299290A (zh) * 2021-12-24 2022-04-08 腾晖科技建筑智能(深圳)有限公司 裸土识别方法、装置、设备及计算机可读存储介质
CN114842315A (zh) * 2022-05-07 2022-08-02 无锡雪浪数制科技有限公司 轻量化高铁轮毂垫片防松识别方法及装置
CN115239557A (zh) * 2022-07-11 2022-10-25 河北大学 轻量化的x光图像超分辨率重建方法
CN115984846A (zh) * 2023-02-06 2023-04-18 山东省人工智能研究院 一种基于深度学习的高分辨率图像中小目标的智能识别方法
CN116524348A (zh) * 2023-03-14 2023-08-01 中国人民解放军陆军军事交通学院镇江校区 一种基于角度周期表示的航空图像检测方法及系统
CN113689399B (zh) * 2021-08-23 2024-05-31 国网宁夏电力有限公司石嘴山供电公司 一种用于电网识别遥感图像处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080006698A1 (en) * 2003-11-13 2008-01-10 Metrologic Instruments, Inc. Method of and apparatus for dynamically and adaptively controlling system control parameters in a digital image capture and processing system
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110189304A (zh) * 2019-05-07 2019-08-30 南京理工大学 基于人工智能的光学遥感图像目标在线快速检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080006698A1 (en) * 2003-11-13 2008-01-10 Metrologic Instruments, Inc. Method of and apparatus for dynamically and adaptively controlling system control parameters in a digital image capture and processing system
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110189304A (zh) * 2019-05-07 2019-08-30 南京理工大学 基于人工智能的光学遥感图像目标在线快速检测方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395958A (zh) * 2020-10-29 2021-02-23 中国地质大学（武汉） 基于四尺度深浅层特征融合的遥感图像小目标检测方法
CN112699914A (zh) * 2020-12-02 2021-04-23 中山大学 一种基于异构复合主干的目标检测方法及系统
CN112699914B (zh) * 2020-12-02 2023-09-22 中山大学 一种基于异构复合主干的目标检测方法及系统
CN112581430A (zh) * 2020-12-03 2021-03-30 厦门大学 一种基于深度学习的航空发动机无损检测方法、装置、设备及存储介质
CN112529095A (zh) * 2020-12-22 2021-03-19 合肥市正茂科技有限公司 一种基于卷积区域重配准的单阶段目标检测方法
CN112580554A (zh) * 2020-12-25 2021-03-30 北京环境特性研究所 基于cnn的mstar数据噪声强度控制的分类识别方法
CN112580554B (zh) * 2020-12-25 2024-01-05 北京环境特性研究所 基于cnn的mstar数据噪声强度控制的分类识别方法
CN112668536A (zh) * 2021-01-06 2021-04-16 北京理工大学 一种基于机载光电视频的轻量化旋转目标检测识别方法
CN112668536B (zh) * 2021-01-06 2023-08-25 北京理工大学 一种基于机载光电视频的轻量化旋转目标检测识别方法
CN112946684B (zh) * 2021-01-28 2023-08-11 浙江大学 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN112946684A (zh) * 2021-01-28 2021-06-11 浙江大学 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN112966558A (zh) * 2021-02-03 2021-06-15 华设设计集团股份有限公司 基于优化ssd目标检测模型的港口自动识别方法及系统
CN112861720B (zh) * 2021-02-08 2024-05-14 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN112861720A (zh) * 2021-02-08 2021-05-28 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN112906658A (zh) * 2021-03-30 2021-06-04 航天时代飞鸿技术有限公司 一种无人机侦查地面目标的轻量化自动检测方法
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN113159051A (zh) * 2021-04-27 2021-07-23 长春理工大学 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN113408423B (zh) * 2021-06-21 2023-09-05 西安工业大学 适用于tx2嵌入式平台的水产品目标实时检测方法
CN113408423A (zh) * 2021-06-21 2021-09-17 西安工业大学 适用于tx2嵌入式平台的水产品目标实时检测方法
CN113504728A (zh) * 2021-07-22 2021-10-15 北京微纳星空科技有限公司 一种任务指令的生成方法、装置、设备及存储介质
CN113504728B (zh) * 2021-07-22 2022-04-05 北京微纳星空科技有限公司 一种任务指令的生成方法、装置、设备及存储介质
CN114005028A (zh) * 2021-07-30 2022-02-01 北京航空航天大学 一种抗干扰的遥感图像目标检测轻量模型及其方法
CN114005028B (zh) * 2021-07-30 2023-02-17 北京航空航天大学 一种抗干扰的遥感图像目标检测轻量系统及其方法
CN113689399B (zh) * 2021-08-23 2024-05-31 国网宁夏电力有限公司石嘴山供电公司 一种用于电网识别遥感图像处理方法及系统
CN113689399A (zh) * 2021-08-23 2021-11-23 长安大学 一种用于电网识别遥感图像处理方法及系统
CN114187606A (zh) * 2021-10-21 2022-03-15 江阴市智行工控科技有限公司 一种采用分支融合网络轻量化的车库行人检测方法及系统
CN113837185A (zh) * 2021-11-23 2021-12-24 深圳比特微电子科技有限公司 目标检测方法、系统、装置及存储介质
CN113951834A (zh) * 2021-11-30 2022-01-21 湖南应超智能计算研究院有限责任公司 基于视觉Transformer算法的阿尔兹海默症分类预测方法
CN114299290A (zh) * 2021-12-24 2022-04-08 腾晖科技建筑智能(深圳)有限公司 裸土识别方法、装置、设备及计算机可读存储介质
CN114842315A (zh) * 2022-05-07 2022-08-02 无锡雪浪数制科技有限公司 轻量化高铁轮毂垫片防松识别方法及装置
CN114842315B (zh) * 2022-05-07 2024-02-02 无锡雪浪数制科技有限公司 轻量化高铁轮毂垫片防松识别方法及装置
CN115239557A (zh) * 2022-07-11 2022-10-25 河北大学 轻量化的x光图像超分辨率重建方法
CN115239557B (zh) * 2022-07-11 2023-10-24 河北大学 轻量化的x光图像超分辨率重建方法
CN115984846A (zh) * 2023-02-06 2023-04-18 山东省人工智能研究院 一种基于深度学习的高分辨率图像中小目标的智能识别方法
CN115984846B (zh) * 2023-02-06 2023-10-10 山东省人工智能研究院 一种基于深度学习的高分辨率图像中小目标的智能识别方法
CN116524348B (zh) * 2023-03-14 2023-11-07 中国人民解放军陆军军事交通学院镇江校区 一种基于角度周期表示的航空图像检测方法及系统
CN116524348A (zh) * 2023-03-14 2023-08-01 中国人民解放军陆军军事交通学院镇江校区 一种基于角度周期表示的航空图像检测方法及系统

Also Published As

Publication number Publication date
CN111797676B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN111797676B (zh) 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN110189304B (zh) 基于人工智能的光学遥感图像目标在线快速检测方法
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN110009010B (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN111860175B (zh) 一种基于轻量化网络的无人机影像车辆检测方法及装置
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN113408398B (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN111798417A (zh) 一种基于ssd遥感图像目标检测的方法及装置
CN116579992A (zh) 一种用于无人机巡检的小目标螺栓缺陷检测方法
CN114266805A (zh) 一种用于无人机目标跟踪的孪生区域建议网络模型
CN114612803A (zh) 一种改进CenterNet的输电线路绝缘子缺陷检测方法
Wilk et al. Semantic urban mesh segmentation based on aerial oblique images and point clouds using deep learning
CN112766108B (zh) 基于上下文信息的sar图像目标检测方法
Ozaki et al. DNN-based self-attitude estimation by learning landscape information
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
Liu Learning-based defect recognitions for autonomous uav inspections
Pei et al. Small target detection with remote sensing images based on an improved YOLOv5 algorithm
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN115272412B (zh) 一种基于边缘计算的低小慢目标检测方法及跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant