CN113435384A - 中低分辨率光学遥感图像的目标检测方法、装置及设备 - Google Patents

中低分辨率光学遥感图像的目标检测方法、装置及设备 Download PDF

Info

Publication number
CN113435384A
CN113435384A CN202110769568.XA CN202110769568A CN113435384A CN 113435384 A CN113435384 A CN 113435384A CN 202110769568 A CN202110769568 A CN 202110769568A CN 113435384 A CN113435384 A CN 113435384A
Authority
CN
China
Prior art keywords
resolution
super
image
target detection
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110769568.XA
Other languages
English (en)
Other versions
CN113435384B (zh
Inventor
邹焕新
贺诗甜
李润林
曹旭
李美霖
成飞
魏娟
孙丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110769568.XA priority Critical patent/CN113435384B/zh
Publication of CN113435384A publication Critical patent/CN113435384A/zh
Application granted granted Critical
Publication of CN113435384B publication Critical patent/CN113435384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种中低分辨率光学遥感图像的目标检测方法、装置及设备。所述方法包括：通过搭建一个目标检测神经网络，可以更加有效的解决中低分辨率遥感图像舰船目标检测任务。目标检测神经网络包括图像超分辨模块和目标检测模块，其中，两个模块之间的连接除超分辨图像之外还包括超分辨的特征表示。超分辨特征的利用使目标检测模块可以提取信息更丰富的特征用于舰船检测。

Description

中低分辨率光学遥感图像的目标检测方法、装置及设备
技术领域
本申请涉及光学遥感图像目标检测技术领域，特别是涉及一种中低分辨率光学遥感图像的目标检测方法、装置及设备。
背景技术
光学遥感图像船只目标检测对港口管理、海上救援和军事侦查具有重要的应用价值。随着深度学习的发展，近年来多利用深度神经网络进行遥感图像船只目标检测，并且相较传统方法获得了极大地性能提升。分辨率是遥感图像船只目标检测的重要因素，与中低分辨率图像相比(GSD(地面采样距离)<10m/pixel，高分辨率图像(GSD>10m/pixel)可以提供更加丰富的图像信息从而促进目标检测，但是高分辨率图像的获取对遥感卫星的要求更高，从而获取成本更高。相比之下，中低分辨率图像的获取更容易，获取成本也更低，但是中低分辨率图像包含的细节信息更少，不利于舰船检测。为平衡检测精度与资源成本损耗，通过引入图像超分辨恢复中低分辨率图像中丢失的细节信息进而增强目标检测成为研究热点，近年来得到了广泛关注。
但是基于引入图像超分辨方法都时利用了图像超分辨，提升目标检测的性能，但仅将超分的结果图像送入目标检测网络，而具有更加丰富的信息的超分辨特征表示没有得到充分的利用。这使得图像超分辨带来的细节信息没有被目标检测网络完全利用，从而限制了图像超分辨带来的性能增益。
发明内容
基于此，有必要针对上述技术问题，提供一种能够充分利用超分辨特诊的中低分辨率光学遥感图像的目标检测方法、装置及设备。
一种中低分辨率光学遥感图像的目标检测方法，所述方法包括：
获取待检测的中低分辨率光学遥感图像；
将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
在其中一个实施例中，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征包括：
所述超分辨模块包括依次连接的第一卷积层、8个RDB层、全局融合层、亚像素层以及第二卷积层；
所述中低分辨率光学遥感图像通过所述第一卷积层提取初始特征；
所述初始特征依次通过8个RDB层分别进行特征提取，再将提取后的多个特征通过所述全局融合层进行融合得到融合后的特征；
所述融合后的特征与初始特征进行相加后通过所述亚像素层得到所述超分辨特征；
所述超分辨特征通过所述第二卷积层得到残差预测图像，对所述中低分辨率光学遥感图像进行上采样，将上采样得到结果与所述残差预测图像相加得到所述超分辨图像。
在其中一个实施例中，对所述目标检测神经网络进行训练包括：
分别对所述超分辨模块以及目标检测模块进行预训练得到预训练的超分辨模块以及预训练的目标检测模块；
对所述预训练的超分辨模块以及预训练的目标检测模块同时进行训练得到所述已训练的目标检测神经网络。
在其中一个实施例中，对所述超分辨模块进行预训练时包括：
获取训练样本集，所述训练样本集中包括有多张原始高分频率图像；
将所述训练样本集中各张所述原始高分频率图像均进行八倍下采样得到相应的中低分辨率图像；
将各所述原始高分辨率图像与相应的中低分辨率图像组成图像组对所述超分辨模块进行预训练。
在其中一个实施例中，对所述目标检测模块进行预训练时包括：
将各所述中低分辨率图像进行上采样得到上采样数据；
将所述上采样数据对所述目标检测模块进行预训练。
在其中一个实施例中，所述目标检测模块采用Faster-RCNN神经网络，或SDD神经网络；
其中，所述Faster-RCNN神经网络中骨干网络采用包括ResNet50、ResNet101、HRNet、ResNeXt101中任意一种。
本申请还提供了中低分辨率光学遥感图像的目标检测装置，所述装置包括：
待检测图像获取模块，用于获取待检测的中低分辨率光学遥感图像；
目标检测模块，用于将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测的中低分辨率光学遥感图像；
将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测的中低分辨率光学遥感图像；
将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
上述中低分辨率光学遥感图像的目标检测方法、装置及设备，通过搭建一个目标检测神经网络，可以更加有效的解决中低分辨率遥感图像舰船目标检测任务。目标检测神经网络包括图像超分辨模块和目标检测模块，其中，两个模块之间的连接除超分辨图像之外还包括超分辨的特征表示。超分辨特征的利用使目标检测模块可以提取信息更丰富的特征用于舰船检测。
附图说明
图1为一个实施例中目标检测方法的流程示意图；
图2为一个实施例中目标检测神经网络的结构示意图；
图3为一个实施例中基于梯度的类激活映射图进行特征可视化示意图；
图4为一个实施例中三个场景中不同目标检测方法的检测结果示意图；
图5为一个实施例中目标检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，提供了一种中低分辨率光学遥感图像的目标检测方法，包括以下步骤：
步骤S100，获取待检测的中低分辨率光学遥感图像；
步骤S110，将中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测。
其中，目标检测神经网络包括超分辨模块以及目标检测模块，中低分辨率光学遥感图像输入图像超分辨模块后输出与中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将超分辨图像以及超分辨特征输入目标检测模块进行处理，通过目标检测模块提取超分辨图像的图像特征，再对图像特征与超分辨特征进行融合得到融合特征，图标检测模块根据融合特征进行目标检测。
在本实施例中，搭建了一个目标检测神经网络也就是一个实现对中低分辨率光学遥感图像进行目标检测的框架。该目标检测框架包括将中低分辨率光学遥感图像转换成超分辨图像以及提取对应的超分辨特征的超分辨模块，以及同时利用超分辨图像以及超分辨特征进行目标检测的目标检测模块。
在本实施例中，中低分辨率光学遥感图像包括中分辨率光学遥感图像以及低分辨率光学遥感图像。
在本实施例中，中低分辨率光学遥感图像可以是以船只，或车辆为目标的图像，在本文中以船只为例对本方法进行说明。
如图2所示，超分辨模块包括依次连接的第一卷积层、8个RDB层、全局融合层、亚像素层以及第二卷积层。
在将中低分辨率光学遥感图像输入图像超分辨模块后输出与中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征包括：中低分辨率光学遥感图像通过第一卷积层提取初始特征，初始特征依次通过8个RDB层分别进行特征提取，再将提取后的多个特征通过全局融合层进行融合得到融合后的特征，融合后的特征与初始特征进行相加后通过亚像素层得到超分辨特征，超分辨特征通过所述第二卷积层得到残差预测图像，对中低分辨率光学遥感图像进行上采样，将上采样得到结果与残差预测图像相加得到超分辨图像。
对图像超分辨模块输入中低分辨率光学遥感图像ILR最终输出超分辨图像ISR和超分过程中产生的超分辨特征FSR。
具体的，输入的中低分辨率光学遥感图像ILR首先经过一个3*3卷积层产生初始特征F0，F0依次经过8个RDB层进行特征提取，8个RDB层的输出连接后进入全局融合层中进行融合，融合后的特征与初始特征F0相加后经过一个亚像素层产生超分辨特征FSR。FSR经过另一个3*3卷积产生残差预测图IRES，将残差预测图IRES与中低分辨率光学遥感图像ILR上采样结果进行相加得到最终的超分辨图像ISR。
在本实施例中，目标检测框架中检测模块可采用多种神经网络包括但不限于Faster-RCNN神经网络，或SDD神经网络。并且，在采用Faster-RCNN神经网络作为目标检测模块时，其中的骨干网络采用包括ResNet50、ResNet101、HRNet、ResNeXt101中任意一种。在本文中以采用Faster-RCNN神经网络作为目标检测模块对本方法进行说明。
具体的，为在检测过程中充分利用超分辨特征提供的信息，超分辨图像ISR与超分辨特征FSR同时输入骨干网络进行特征提取。由于超分辨特征与检测模块的尺寸不同，超分辨特征送入目标检测模块时需通过一个3*3卷积进行尺寸自适应。其中，3*3卷积进行0初始化并在端到端微调时完成参数优化。同时输入超分辨图像ISR和超分辨特征FSR进行检测特征提取，可以更充分利用超分模块提供的信息，在目标检测模块中，由其中的骨干网络对超分辨图像ISR进行特征提取后，将提到特征与超分辨特征FSR进行相加后得到融合特征，并将该融合特征作为骨干网络提取到的Fbackbone特征，该Fbackbone特征经过RPN产生区域建议框(proposals)，将区域建议框(proposals)与Fbackbone送入ROIpooling层后，最终由预测层产生最终的对低分辨率光学遥感图像ILR中目标类别和位置的预测结果。
在本实施例中，对目标检测神经网络进行训练包括：先分别对所述超分辨模块以及目标检测模块进行预训练得到预训练的超分辨模块以及预训练的目标检测模块；对预训练的超分辨模块以及预训练的目标检测模块同时进行训练得到已训练的目标检测神经网络。
其中，对超分辨模块进行预训练时包括：获取训练样本集，训练样本集中包括有多张原始高分频率图像。将训练样本集中各张原始高分频率图像均进行八倍下采样得到相应的中低分辨率图像。将各原始高分辨率图像与相应的中低分辨率图像组成图像组对所述超分辨模块进行预训练。
其中，对目标检测模块进行预训练时包括：将各中低分辨率图像进行上采样得到上采样数据，将上采样数据对所述目标检测模块进行预训练。
在之后的实验中将会对目标检测神经网络进行训练这一部分进行进一步的说明。
接下来，通过消融实验和特征可视化对本申请中提出的目标检测框架(也就是目标检测神经网络)的有效性进行验证，最后还基于三个公开的数据集将本文中提出的方法与其他主流目标检测算法进行对比。
实验基于HRSC2016、DOTA和NWPU VHR-10三个公开数据集进行。HRSC2016是公开的遥感图像舰船检测数据集，包括617幅训练图像和438幅测试图像。实验中将所有图像调整到800*512尺寸作为实验高分辨率图像。DOTA是拥有15个类别的遥感图像目标检测数据集。实验将图像裁剪为512*512尺寸，并选取包含舰船目标的图像作为实验数据集，包括4163幅训练图像和1411幅测试图像。NWPU VHR-10是包含10类目标的遥感图像目标检测数据集，对该数据集的处理与DOTA一样，处理后的数据集包括249幅训练图像和52幅测试图像。
实验中将上述数据作为原始高分辨率图像，对图像进行八倍下采样作为中低分辨率图像。对训练数据进行的数据增强有：随机翻转、随机旋转、颜色变换以及亮度和对比度变化。
本方法中，对目标检测框架进行训练过程分三个阶段。第一阶段用原始高分辨率数据集与下采样生成的中低分辨率数据集构成图像组训练超分辨模块，用中低分辨率图像上采样得到的上采样数据集训练目标检测模块。超分辨模块训练时使用L1损失函数，批尺寸为4，初始学习率为1e-4，训练共经历1.2e6次迭代，学习率经过5e5次迭代后减半。
在第二阶段，将预训练好的超分辨模块和检测模块进行连接，超分辨模块输出超分辨图像作为目标检测模块输入，并进行端到端微调。微调共进行24轮训练，初始学习率为0.0001，十轮训练后减为1/10。
第三阶段在第二阶段的基础上增加超分辨特征连接，加载第二阶段模型为预训练模型，训练设置与第二阶段相同。测试时选用mAP50和mAP75作为评测指标。当检测框和真值框的面积交并比(IOU)大于0.5或0.75时判断为检测正确，mAP50和mAP75指的是当IOU设置为0.5和0.75时的检测准确率。
在进行消融实验时，引入以下实验模型变体以证明本方法中提出的目标检测神经网络的有效性。
模型0：直接将中低分辨率图像作为目标检测模块的输入。此模型变体用于展示中低分辨率舰船目标检测的挑战性。
模型1：将中低分辨率图像进行上采样，将上采样图像作为目标检测模块输入。此模型变体作为基线模型。
模型2：用预训练好的超分辨模块处理输入的中低分辨率图像，将得到的超分辨图像作为目标检测模块的输入。
模型3：将超分辨模块与检测模块连接进行端到端微调，验证端到端微调带来的性能增益。
模型4：模型4是本文所提的方法，其在模型3的基础上进行超分辨特征连接并进行端到端微调。
模型5：直接将高分辨率图像作为目标检测模块的输入，此模型变体与模型1相对应，作为模型上界。
在进行消融实验时，每一种模型中的目标检测模型采用了SSD网络和Faster-RCNN网络，其中Faster-RCNN网络又以ResNet50、ResNet101、HRNet、ResNeXt101作为骨干网络进行实验，其中消融实验结果如表1所示：
表1消融实验结果
Figure BDA0003152371910000091
从表1中可以看出模型0检测性能很差，这是由于目标检测模块无法从中低分辨率图像中提取足够的信息。与模型0相比，模型1以上采样后的图像作为输入，获得了性能提升。以模型1为基础，引入超分辨模块和特征连接，模型检测性能得到了进一步的提升。以Faster-RCNN为例，当骨干网络为ResNet101时，模型2在模型1的基础上mAP50提升了3.5％，mAP75提升了6.2％，说明超分辨模块可以恢复中低分辨率图像中丢失的图像细节，进而提升检测性能。模型3在模型2的基础上进行了端到端的微调并获得了进一步的性能增益(mAP50提升了0.8％，mAP75提升了2.4％)，说明模型进行端到端微调可以使超分辨模块朝向更有利于舰船检测的方向进行，验证了端到端微调的有效性。与模型3相比，本申请中的方法(模型4)取得了进一步的增益(mAP50提升了1.3％，mAP75提升了3.2％)，同时模型4的性能也更加接近由高分辨率图像送入检测模型得到的上界(模型上界mAP50为91.0％，mAP75为76.9％)。模型4的性能增益也说明了使用超分辨特征进行舰船目标检测的有效性。
表1验证了本方法中所提框架的通用性：本方法中的目标检测框架可以适用于不同的目标检测模块和骨干网络，并取得一致的性能提升。
为定性分析超分辨特征对舰船目标检测的增益，使用基于梯度的类激活映射图(Grad-CAM)进行特征可视化。Grad-CAM是深度神经网络学习中普遍使用的可视化分析工具，可以将给定特征中对最终预测结果有影响的区域通过热力图展示。
实验中选用进行超分辨特征连接的特征层FSR进行分析。图3展示了两个不同的场景分析结果(其中图3(a)和图3(b)展示了两种不同场景)。从图中可以看出超分辨图像ISR和上采样图像Ibic的区别主要存在于边缘区域，即超分辨图像ISR可以提供比上采样图像Ibic更多的边缘信息。而根据Grad-CAM的热力图分布结果可以看出，FSR的边缘区域的热度更高，即这些边缘区域对检测结果的贡献更大。上述分析表明超分辨特征主要通过提供更多的边缘信息促进检测性能提升。
在对比实验中，根据本方提供的提框架构建目标检测神经网络(ShipSR-Faster-RCNN)，其中目标检测模块采用Faster-RCNN神经网络。并将其与一些主流的目标检测算法进行比较。对比算法包括：HTC，DetectoRS，Reppoints和GFL。所有对比算法的输入为低分辨率图像的上采样图像，以确保与本文所提方法送入检测模块的图像尺寸一致。表2为对比实验结果：
表2对比实验结果
Figure BDA0003152371910000101
注：推理时间在HRSC2016数据集上取平均值，输入大小为100×64的中低分辨率图像。
通过表2对各方法的数值结果进行对比，可以看出ShipSR-Faster-RCNN相比原始的Faster-RCNN取得了显著地性能提升，参数量仅增加了17.7M且每张图像仅增加了8.19ms的推理时间。同时本方法同时在三个数据集上超越了其他的对比算法，取得了最佳性能。例如，本方法仅用不到其一半的参数量和推理时间取得了高于DetectoRS的性能。其中，对比算法HTC和DetectoRS与ShipSR-Faster-RCNN都基于Faster-RCNN进行改进，但由于上采样图像中细节信息的缺失，HTC和DetectoRS无法取得更优越的性能，而ShipSR-Faster-RCNN通过利用超分辨图像和超分辨特征可以解决这一问题，取得最佳性能。
如图4所示，展示了不同算法对三幅典型场景的检测结果，其中每一行对应一种景点场景，每一列为各种算法的目标检测结果，在图4中，“HR”表示高分辨率图像和“GT”代表真实标签，并采用边界框来标记检测结果。
三幅场景展示了舰船检测的三个挑战：多尺度、排列紧密和背景复杂。
场景A中舰船排列紧密，大多数检测器无法准确检测所有舰船，HTC，DetectoRS，Reppoints和GFL会产生漏检，Faster-RCNN会产生虚惊。这是由于上采样图像中不充足的边缘信息使得舰船目标边界模糊，以致于只有最显著的目标可以被识别。通过引入超分辨图像和超分辨特征，ShipSR-Faster-RCNN可以准确检测所有舰船目标。
场景B中一些检测背景(如场景中被圆形圈出的区域)与检测目标相似，这些背景区域会被对比算法错误检测为舰船。
场景C的舰船对人类视觉来说很显著，但仍然无法被对比算法检测，这也是由于上采样图像中信息不足导致的。值得注意的是，场景A和场景C中的小尺寸舰船无法被大多数对比算法检测。相比之下ShipSR-Faster-RCNN可以准确检测这些小尺寸目标，因为其从超分辨图像及特征中获得了有益的细节信息可以促进检测。
上述中低分辨率光学遥感图像的目标检测方法中，通过搭建一个目标检测神经网络，可以更加有效的解决中低分辨率遥感图像舰船目标检测任务。目标检测神经网络包括图像超分辨模块和目标检测模块，其中，两个模块之间的连接除超分辨图像之外还包括超分辨的特征表示。超分辨特征的利用使目标检测模块可以提取信息更丰富的特征用于舰船检测。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种中低分辨率光学遥感图像的目标检测装置，包括：待检测图像获取模块200和目标检测模块210，其中：
待检测图像获取模块200，用于获取待检测的中低分辨率光学遥感图像；
目标检测模块210，用于将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
关于中低分辨率光学遥感图像的目标检测装置的具体限定可以参见上文中对于中低分辨率光学遥感图像的目标检测方法的限定，在此不再赘述。上述中低分辨率光学遥感图像的目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种中低分辨率光学遥感图像的目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待检测的中低分辨率光学遥感图像；
将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征包括：
所述超分辨模块包括依次连接的第一卷积层、8个RDB层、全局融合层、亚像素层以及第二卷积层；
所述中低分辨率光学遥感图像通过所述第一卷积层提取初始特征；
所述初始特征依次通过8个RDB层分别进行特征提取，再将提取后的多个特征通过所述全局融合层进行融合得到融合后的特征；
所述融合后的特征与初始特征进行相加后通过所述亚像素层得到所述超分辨特征；
所述超分辨特征通过所述第二卷积层得到残差预测图像，对所述中低分辨率光学遥感图像进行上采样，将上采样得到结果与所述残差预测图像相加得到所述超分辨图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述目标检测神经网络进行训练包括：
分别对所述超分辨模块以及目标检测模块进行预训练得到预训练的超分辨模块以及预训练的目标检测模块；
对所述预训练的超分辨模块以及预训练的目标检测模块同时进行训练得到所述已训练的目标检测神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述超分辨模块进行预训练时包括：
获取训练样本集，所述训练样本集中包括有多张原始高分频率图像；
将所述训练样本集中各张所述原始高分频率图像均进行八倍下采样得到相应的中低分辨率图像；
将各所述原始高分辨率图像与相应的中低分辨率图像组成图像组对所述超分辨模块进行预训练。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述目标检测模块进行预训练时包括：
将各所述中低分辨率图像进行上采样得到上采样数据；
将所述上采样数据对所述目标检测模块进行预训练。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述目标检测模块采用Faster-RCNN神经网络，或SDD神经网络；
其中，所述Faster-RCNN神经网络中骨干网络采用包括ResNet50、ResNet101、HRNet、ResNeXt101中任意一种。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测的中低分辨率光学遥感图像；
将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征包括：
所述超分辨模块包括依次连接的第一卷积层、8个RDB层、全局融合层、亚像素层以及第二卷积层；
所述中低分辨率光学遥感图像通过所述第一卷积层提取初始特征；
所述初始特征依次通过8个RDB层分别进行特征提取，再将提取后的多个特征通过所述全局融合层进行融合得到融合后的特征；
所述融合后的特征与初始特征进行相加后通过所述亚像素层得到所述超分辨特征；
所述超分辨特征通过所述第二卷积层得到残差预测图像，对所述中低分辨率光学遥感图像进行上采样，将上采样得到结果与所述残差预测图像相加得到所述超分辨图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述目标检测神经网络进行训练包括：
分别对所述超分辨模块以及目标检测模块进行预训练得到预训练的超分辨模块以及预训练的目标检测模块；
对所述预训练的超分辨模块以及预训练的目标检测模块同时进行训练得到所述已训练的目标检测神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述超分辨模块进行预训练时包括：
获取训练样本集，所述训练样本集中包括有多张原始高分频率图像；
将所述训练样本集中各张所述原始高分频率图像均进行八倍下采样得到相应的中低分辨率图像；
将各所述原始高分辨率图像与相应的中低分辨率图像组成图像组对所述超分辨模块进行预训练。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述目标检测模块进行预训练时包括：
将各所述中低分辨率图像进行上采样得到上采样数据；
将所述上采样数据对所述目标检测模块进行预训练。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述目标检测模块采用Faster-RCNN神经网络，或SDD神经网络；
其中，所述Faster-RCNN神经网络中骨干网络采用包括ResNet50、ResNet101、HRNet、ResNeXt101中任意一种。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.中低分辨率光学遥感图像的目标检测方法，其特征在于，所述方法包括：
获取待检测的中低分辨率光学遥感图像；
将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
2.根据权利要求1所述的目标检测方法，其特征在于，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征包括：
所述超分辨模块包括依次连接的第一卷积层、8个RDB层、全局融合层、亚像素层以及第二卷积层；
所述中低分辨率光学遥感图像通过所述第一卷积层提取初始特征；
所述初始特征依次通过8个RDB层分别进行特征提取，再将提取后的多个特征通过所述全局融合层进行融合得到融合后的特征；
所述融合后的特征与初始特征进行相加后通过所述亚像素层得到所述超分辨特征；
所述超分辨特征通过所述第二卷积层得到残差预测图像，对所述中低分辨率光学遥感图像进行上采样，将上采样得到结果与所述残差预测图像相加得到所述超分辨图像。
3.根据权利要求1所述的目标检测方法，其特征在于，对所述目标检测神经网络进行训练包括：
分别对所述超分辨模块以及目标检测模块进行预训练得到预训练的超分辨模块以及预训练的目标检测模块；
对所述预训练的超分辨模块以及预训练的目标检测模块同时进行训练得到所述已训练的目标检测神经网络。
4.根据权利要求3所述的目标检测方法，其特征在于，对所述超分辨模块进行预训练时包括：
获取训练样本集，所述训练样本集中包括有多张原始高分频率图像；
将所述训练样本集中各张所述原始高分频率图像均进行八倍下采样得到相应的中低分辨率图像；
将各所述原始高分辨率图像与相应的中低分辨率图像组成图像组对所述超分辨模块进行预训练。
5.根据权利要求4所述的目标检测方法，其特征在于，对所述目标检测模块进行预训练时包括：
将各所述中低分辨率图像进行上采样得到上采样数据；
将所述上采样数据对所述目标检测模块进行预训练。
6.根据权利要求1-5任一项所述的目标检测方法，其特征在于，所述目标检测模块采用Faster-RCNN神经网络，或SDD神经网络；
其中，所述Faster-RCNN神经网络中骨干网络采用包括ResNet50、ResNet101、HRNet、ResNeXt101中任意一种。
7.低分辨率光学遥感图像的目标检测装置，其特征在于，所述装置包括：
待检测图像获取模块，用于获取待检测的中低分辨率光学遥感图像；
目标检测模块，用于将所述中低分辨率光学遥感图像输入已训练的目标检测神经网络，进行目标检测；
其中，所述目标检测神经网络包括超分辨模块以及目标检测模块，所述中低分辨率光学遥感图像输入图像超分辨模块后输出与所述中低分辨率光学遥感图像对应的超分辨图像以及超分辨特征；
将所述超分辨图像以及超分辨特征输入目标检测模块进行处理，通过所述目标检测模块提取超分辨图像的图像特征，再对所述图像特征与超分辨特征进行融合得到融合特征，所述图标检测模块根据融合特征进行目标检测。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6所述方法的步骤。
CN202110769568.XA 2021-07-07 2021-07-07 中低分辨率光学遥感图像的目标检测方法、装置及设备 Active CN113435384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110769568.XA CN113435384B (zh) 2021-07-07 2021-07-07 中低分辨率光学遥感图像的目标检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110769568.XA CN113435384B (zh) 2021-07-07 2021-07-07 中低分辨率光学遥感图像的目标检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113435384A true CN113435384A (zh) 2021-09-24
CN113435384B CN113435384B (zh) 2023-05-23

Family

ID=77759708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110769568.XA Active CN113435384B (zh) 2021-07-07 2021-07-07 中低分辨率光学遥感图像的目标检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113435384B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726656A (zh) * 2024-02-08 2024-03-19 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
CN110443172A (zh) * 2019-07-25 2019-11-12 北京科技大学 一种基于超分辨率和模型压缩的目标检测方法及系统
CN110598724A (zh) * 2019-01-17 2019-12-20 西安理工大学 一种基于卷积神经网络的细胞低分辨率图像融合方法
CN111260557A (zh) * 2020-01-21 2020-06-09 中国工程物理研究院激光聚变研究中心 一种基于深度学习的远距离目标超分辨成像方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112507997A (zh) * 2021-02-08 2021-03-16 之江实验室 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
CN110598724A (zh) * 2019-01-17 2019-12-20 西安理工大学 一种基于卷积神经网络的细胞低分辨率图像融合方法
CN110443172A (zh) * 2019-07-25 2019-11-12 北京科技大学 一种基于超分辨率和模型压缩的目标检测方法及系统
CN111260557A (zh) * 2020-01-21 2020-06-09 中国工程物理研究院激光聚变研究中心 一种基于深度学习的远距离目标超分辨成像方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112507997A (zh) * 2021-02-08 2021-03-16 之江实验室 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANXIN ZOU等: "ShipSRDet: An End-to-End Remote Sensing Ship Detector Using Super-Resolved Feature Representation", 《IGARSS 2021，HTTPS://DOI.ORG/10.48550/ARXIV.2103.09699》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726656A (zh) * 2024-02-08 2024-03-19 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质
CN117726656B (zh) * 2024-02-08 2024-06-04 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质

Also Published As

Publication number Publication date
CN113435384B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
US11030471B2 (en) Text detection method, storage medium, and computer device
CN113688813B (zh) 多尺度特征融合遥感影像分割方法、装置、设备和存储器
CN109886077B (zh) 图像识别方法、装置、计算机设备和存储介质
WO2021217857A1 (zh) 切片缺陷检测方法、装置、电子设备及可读存储介质
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN111401472B (zh) 基于深度卷积神经网络的红外目标分类方法和装置
CN113159143B (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN110211046B (zh) 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN113673530B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN111310758A (zh) 文本检测方法、装置、计算机设备和存储介质
CN113496150B (zh) 密集目标检测方法、装置、存储介质及计算机设备
CN111667030A (zh) 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN115019370A (zh) 一种基于双细粒度伪影的深度伪造视频检测方法
CN111832561B (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
KR102427884B1 (ko) 객체 검출 모델 학습 장치 및 방법
CN113421276A (zh) 一种图像处理方法、装置及存储介质
CN113705532B (zh) 基于中低分辨率遥感图像的目标检测方法、装置及设备
CN113435384B (zh) 中低分辨率光学遥感图像的目标检测方法、装置及设备
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN115223012A (zh) 一种去遮罩人脸恢复的方法、装置、计算机设备和介质
CN110728680A (zh) 行车记录仪检测方法、装置、计算机设备和存储介质
CN114022752A (zh) 基于注意力特征精细化及对齐的sar目标检测方法
CN114022751A (zh) 基于特征细化可变形网络的sar目标检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant