CN112580439A - 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 - Google Patents
小样本条件下的大幅面遥感图像舰船目标检测方法及系统 Download PDFInfo
- Publication number
- CN112580439A CN112580439A CN202011380333.3A CN202011380333A CN112580439A CN 112580439 A CN112580439 A CN 112580439A CN 202011380333 A CN202011380333 A CN 202011380333A CN 112580439 A CN112580439 A CN 112580439A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- remote sensing
- module
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000002372 labelling Methods 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000013526 transfer learning Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000013434 data augmentation Methods 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种小样本条件下的大幅面遥感图像舰船目标检测方法及系统，其通过在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络；构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。该方法可以利用小批量图像目标样本完成网络模型的有效训练和大幅面图像快速检测，并保持舰船目标检测的准确性和鲁棒性。
Description
技术领域
本发明涉及图像目标识别技术领域，尤其是涉及一种小样本条件下的大幅面遥感图像舰船目标检测方法及系统。
背景技术
舰船目标检测对于国家海洋安全、监管非法捕捞、打击非法走私等领域具有突出作用。在过去的几年里，随着数据量的快速增长以及计算能力的不断提升，深度学习在目标检测领域取得了一系列的突破，例如YOLO系列目标检测算法获得持续的发展和应用，最新版本为YOLO v5，已经在发布https://github.com/ultralytics/yolov5，其网络结构主要由Focus、Conv、Bottleneck、BottleneckCSP、Upsampling、concat、CSP、SPP、Conv2d模块组成。但是，将YOLO等深度学习算法直接用于遥感图像舰船目标检测中，会面临各种各样的问题和考验。首先，深度学习依赖于大数据的支撑，在大数据的驱动下，机器才能够进行有效的学习。遥感图像领域中构造一个能够覆盖完整样本分布的数据集，往往需要耗费大量的人力、物力去搜集和标记数据，且训练集和测试集来自与同一个域，在遇到新的目标时，模型的检测性能就会大大降低，出现过拟合问题。此外，遥感图像的大小一般超过1万像素*1万像素，超过常用计算机的处理能力。因此如何利用少量样本数据有效训练一个遥感目标智能检测模型，实现快速准确的处理，对于海上目标检测识别应用具有重要价值和意义。
发明内容
本发明的目的在于克服上述技术不足，提出一种小样本条件下的大幅面遥感图像舰船目标检测方法及系统，解决在真实舰船目标训练样本较少情况下的大幅面遥感图像快速、准确的目标检测问题。
为达到上述技术目的，本发明的技术方案第一方面提供一种小样本条件下的大幅面遥感图像舰船目标检测方法，其包括如下步骤：
在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络；
构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；
对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。
本发明第二方面提供一种基于小样本的遥感图像舰船目标检测系统，其包括如下功能模块：
网络构建模块，用于在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络；
模型训练模块，用于构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；
目标检测模块，用于对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。
本发明第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种小样本条件下的大幅面遥感图像舰船目标检测方法的步骤。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种小样本条件下的大幅面遥感图像舰船目标检测方法的步骤。
与现有技术相比，本发明通过在YOLO v5网络中的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络；构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。采用本发明所述基于小样本的遥感图像舰船目标检测方法进行舰船目标检测具有如下有益效果：
(1)本发明通过在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，为目标区域赋予更多的权重，可以提取出更具判别行性的特征，提高了目标检测网络检测的准确性。
(2)本发明在YOLO v5网络中新增一个检测层，运用特征金字塔算法(FeaturePyramid Network,FPN)将低层特征高分辨率低语义的特征和高层特征的高语义信息进行结合，将深层信息上采样，与浅层信息逐元素地相加，通过融合这些不同层的特征可以达到更好的检测效果，提高了目标检测网络的精度。
(3)本发明在制作预训练数据集、标注数据集中对大幅面遥感图像进行矩形框迭代切割之后在输入到目标检测网络中，能够大大降低最小目标像素的检测下限。再对切割后的遥感图像进行数据增广处理，有效扩充样本数据，可以让目标检测网络学习到更多新的特征，提高检测的精度，增强网络的泛化能力。
(4)本发明在利用目标检测网络进行训练时，先利用预训练集进行训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习。在预训练的基础上进行再次训练，可以更快的收敛，降低训练时间；同时也可以获得更加准确的权重参数，可以有效的解决过拟合问题。
附图说明
图1是本发明所述的一种小样本条件下的大幅面遥感图像舰船目标检测方法的流程框图；
图2是发明所述的一种小样本条件下的大幅面遥感图像舰船目标检测方法中所述Bottleneck模块引入SENet注意力机制模块的网络图；
图3是发明所述的一种小样本条件下的大幅面遥感图像舰船目标检测方法中所述目标检测网络图；
图4是图1中步骤S2的分步骤流程框图；
图5是本发明所述的一种基于小样本的大幅面遥感图像舰船目标检测系统的模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种小样本条件下的大幅面遥感图像舰船目标检测方法，其包括如下步骤：
S1、在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络。
本发明以YOLO v5网络作为基础模型，为提高YOLO v5网络的特征提取能力，在YOLO v5网络中引入SENet模块，具体如图2所示，在YOLO v5网络的每一个Bottleneck模块中引入SENet模块。SENet模块主要分为三个部分：squeeze操作，excitation操作，reweight操作。squeeze操作采用的是全局平均池化；excitation操作采用的是串联两个全连接神经网络FC，其中激活函数分别采用Relu函数和Sigmoid函数；reweight操作采用的是Scale操作，具体网络结构见图2。
同时，为增强网络对于大幅面遥感图像下的小目标检测能力，在YOLO v5网络中新增一个检测层。即在YOLO v5网络中的Bottleneck模块和SPP模块之间增加一个BottleneckCSP模块，所述BottleneckCSP模块依次网络连接Upsampling、concat、Conv、BottleneckCSP、Conv 2d模块，同时该BottleneckCSP模块的特征图与下一检测层中最后一个BottleneckCSP输出的特征图进行特征融合，运用特征金字塔算法(Feature PyramidNetwork,FPN)将低层特征高分辨率的低语义特征和高层特征的高语义信息进行结合，将深层信息上采样，与浅层信息逐元素地相加，通过融合这些不同层的特征达到更好的检测效果，得到改进后的YOLO v5网络，即目标检测网络。输入目标检测网络中的图像尺寸为640*640*3，经过卷积池化、张量拼接等过程，最终可以得到四种不同尺寸10*10*18，20*20*18，40*40*18，80*80*18的特征图，四种尺寸的特征图可以让目标检测网络学习浅层和深层特征，达到更好的识别效果。本发明的目标检测网络及各模块输出参数变化见图3。
S2、构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型。
其中，如图4所示，所述步骤S2包括如下分步骤：
S21、搜集包含船只目标的公开数据集制作预训练数据集，利用采集的舰船目标遥感图像制作标注数据集，对预训练数据集和标注数据集进行数据预处理；
具体的，使用采集到的待识别舰船目标遥感图像制作标注数据集时，若图像大小超过1024像素*1024像素，所述数据预处理包括如下内容：
利用LabelImg标注真实目标的类别和标注框，生成xml格式的标签文件，其中，标签文件中最重要的信息为标签类别names，标注框的左上角和右下角的坐标(xmin,ymin)、(xmax,ymax)，标注框的宽和高width和height。
将xml格式的标签转换为YOLO格式的txt标签文件；转换公式为：
上式中，x、y分别表示YOLO格式的标注框的中心点横纵坐标，w、h分别表示YOLO格式的标注框的长和宽，x_center和y_center分别表示YOLO坐标归一化之前中心点的横纵坐标。
大幅面遥感图像进行矩形框迭代切割之后再输入到目标检测网络中，能够大大降低最小目标像素的检测下限。本发明中，对大幅面遥感图像进行矩形框迭代切割，所述矩形框的大小优选为640*640。为了避免目标物被两张小图像切割截断，在对遥感图像进行矩形框迭代切割时，相邻切割边缘部分重叠覆盖切割，重叠厚度为矩形框边长的20％，当遥感图像边缘部分的切割长度小于640时，则对遥感图像边缘部分进行填充，填充部分为黑色。在切割的同时，每一个遥感小图像会相应生成一个标签，遥感小图像和标签一一对应，其中，所述标签中包含坐标的为正样本，标签中未包含坐标的为负样本，将遥感小图像进行整理，分离出负样本。
针对样本数量较少而容易出现过拟合的问题，利用imgaug库对正样本进行数据增广，通过对图像进行水平翻转、裁剪填充、添加高斯噪声、像素加法增强的操作扩充数据集。水平翻转操作采用的是以中轴线进行水平翻转，其中翻转比例为0.5，即随机选取50％的图像进行水平翻转；裁剪填充操作中裁剪比例为10％，即在图像边缘裁剪10％，填充最近边缘处的像素值；添加高斯噪声的操作是将高斯噪声加到图像中，每个像素从正态分布N(0,s)采样一次，s在0到0.05*255之间随机变化；像素加法增强操作采用的是是为图像中的所有像素添加-40到40之间的随机值。
将正样本按比例划分训练集和测试集，训练集：测试集的比例为2：1。同时，为增加网络的泛化能力，随机挑选负样本放入训练集中，挑选的负样本数量为训练集中正样本数量的30％。将训练集和测试集图像的地址分别写入txt文件中，分别建立训练集地址文件和测试集地址文件。
本实例中，采用的公开数据集DOTA、NWPU VHR-10、HRSC2016中包含舰船目标的数据，制作预训练数据集，对预训练数据集进行数据预处理。所述预训练数据集的数据预处理过程中，不需要再利用LabelImg对预训练数据集进行人工标注标签和类别，同时预训练集中图像的大小不超过1024像素*1024像素时，不需要对其进行切割，其余数据预处理部分与标注数据集的数据预处理过程一致，处理得到预训练数据集的训练集和测试集，以及训练集地址和测试集地址。
S22、采用预处理后的公开数据集对目标训练模型进行一次训练，获得一次训练后的权重；
具体是，采用数据预处理之后的预训练数据集对目标检测网络进行一次训练，首先配置预训练数据文件，在data目录下新建预训练配置文件pretrain.yaml，将配置文件中的数据集地址设为预训练数据集的训练集地址和测试集地址，类别数nc为1,类别名names为预训练的类别boat；加载权重文件yolov5s.pt和网络配置文件yolov5s.yaml，并将yolov5s.yaml中的类别数nc改为1。
设定预配置参数：学习率设置为0.01，权重衰减为0.0005，迭代次数为1000，批量大小为12。激活函数采用Leaky ReLUs：
上式中，a表示负半轴的斜率的倒数，将其设置为2，x为自变量，y为因变量。
其中预设锚定框anchors的初始值为[10,13,16,30,33,23]，[30,61,62,45,59,119]，[116,90,156,198,373,326]。训练网络过程会自动按照预训练数据集的标签labels自动学习预设锚定框anchors，采用k均值和遗传算法来对预训练数据集进行分析，获得预训练数据集的预设锚定框。
采用预训练数据集对目标检测网络进行训练，获得预训练后的权重文件pretrain.pt。
S23、采用预处理后的标注数据集对目标训练模型进行二次训练，获得二次训练后的权重；
具体是，在使用标注数据集对目标检测网络进行二次训练时，首先配置训练数据，在data目录下新建boat.yaml配置文件，将配置文件中的数据集地址改为训练集地址和测试集地址，类别数nc为1,类别名names为训练的类别boat。加载预训练后的pretrain.pt权重和yolov5s.yaml网络配置文件，将yolov5s.yaml中的类别数nc改为1。
设定配置参数：学习率设置为0.01，权重衰减为0.0005，迭代次数为1000，批量大小为12。激活函数采用Leaky ReLUs：
上式中，a表示负半轴的斜率的倒数，将其设置为2，x为自变量，y为因变量。
其中，预设锚定框anchors的初始值设置为[10,13,16,30,33,23]，[30,61,62,45,59,119]，[116,90,156,198,373,326]。训练网络过程会自动按照新的数据集的labels自动学习预设锚定框anchors的尺寸，采用k均值和遗传算法来对训练数据集进行分析，获得训练数据集的预设锚定框。
采用预处理后的标注数据集对目标训练模型进行二次训练，获得二次训练后的权重文件best.pt；
S3、对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。具体如下：
将待识别的大幅面遥感图像进行矩形框迭代切割，所述矩形框的大小优选为640*640，相邻切割边缘部分重叠覆盖切割，重叠厚度为矩形框边长的20％，当待识别的大幅面遥感图像边缘部分的切割长度小于640时，则对待识别的大幅面遥感图像边缘部分进行填充，填充部分为黑色。记录每一个小图像在待识别的大幅面遥感图像上所对应的左上角坐标，记为(xk,yk)，其中k表示第k个小图像。
将小图像输入到已经训练好的测试模型中，并加载二次训练后的权重文件best.pt，从而输出得到舰船目标在小图像中的坐标位置以及置信度。
对输出得到舰船目标在小图像中的坐标位置按照如下公式进行转换，得到舰船预测框在原始遥感图像中的坐标信息：
bx＝2σ(tx)-0.5+cx+xk
by＝2σ(ty)-0.5+cy+yk
bw＝pw(2σ(tw))2
bh＝ph(2σ(th))2
上式中，bx和by分别对应坐标转换后的预测框在原始遥感大图中的中心点横纵坐标，bw和bh分别对应坐标转换后的预测框的宽和高，tx和ty分别对应坐标变化前YOLO格式的预测框的中心点横纵坐标，tw和th分别对应坐标变化前YOLO格式的预测框的宽和高，cx和cy分别表示对应网格单元的左上角的横纵坐标，σ(tx)和σ(ty)分别表示坐标转换前预测框中心点坐标相对于网格单元中心的横纵坐标的偏移量，σ(tw)和σ(th)分别表示预测框与预设锚定框anchors之间的长宽缩放比例，pw和ph分别表示预设锚定框anchors的宽和高。xk和yk分别表示切割后的第k个图像在原始大图所对应的左上角坐标。
最后剔除置信度低于指定阈值的舰船检测窗口，此处阈值优选设置为0.5。对剩余的检测窗口进行非极大值抑制NMS剔除重叠框，最终得到得分高的舰船检测框。
如图5所示，本发明实施例还公开了一种基于小样本的遥感图像舰船目标检测系统，其包括如下功能模块：
网络构建模块10，用于在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络；
模型训练模块20，构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；
目标检测模块30，对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。
本实施例一种基于小样本的遥感图像舰船目标检测系统的执行方式与上述小样本条件下的大幅面遥感图像舰船目标检测方法基本相同，故不作详细赘述。
本实施例服务器为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个消费者使用的计算机。该实施例的服务器包括：存储器、处理器以及系统总线，所述存储器包括存储其上的可运行的程序，本领域技术人员可以理解，本实施例的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、数值计算功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如图像数据、文本数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在存储器上包含一种小样本条件下的大幅面遥感图像舰船目标检测方法的可运行程序，所述可运行程序可以被切割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由处理器执行，以完成信息的获取及实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述服务器中的执行过程。例如，所述计算机程序可以被切割为网络构建模块、模型训练模块、目标检测模块。
处理器是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和图形处理器GPU，其中，应用处理器主要处理操作系统、应用程序等，图形处理器GPU主要用于深度学习模型并行计算加速。可以理解的是，上述图形处理器GPU也可以不集成到处理器中。
系统总线是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器的指令通过总线传递至存储器，存储器反馈数据给处理器，系统总线负责处理器与存储器之间的数据、指令交互。当然系统总线还可以接入其他设备，例如网络接口、显示设备等。
所述服务器应至少包括CPU、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。
在本发明实施例中，该终端所包括的处理器执行的可运行程序具体为：一种小样本条件下的大幅面遥感图像舰船目标检测方法，其包括如下步骤：
在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络；
构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；
对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种小样本条件下的大幅面遥感图像舰船目标检测方法，其特征在于，包括如下步骤：
在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并增加一个检测层，形成目标检测网络；
构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；
对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。
2.根据权利要求1所述小样本条件下的大幅面遥感图像舰船目标检测方法，其特征在于，所述在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，包括：
在YOLO v5网络的每一个Bottleneck模块中引入SENet模块，SENet模块主要分为三个部分：squeeze操作，excitation操作，reweight操作。squeeze操作采用的是全局平均池化；excitation操作采用的串联两个全连接神经网络FC，其中激活函数分别采用Relu函数和Sigmoid函数；reweight操作采用的是Scale操作。
3.根据权利要求1所述小样本条件下的大幅面遥感图像舰船目标检测方法，其特征在于，所述在YOLO v5网络中新增一个检测层，包括：
在YOLO v5网络中的Bottleneck模块和SPP模块之间增加一个BottleneckCSP模块，所述BottleneckCSP模块依次网络连接Upsampling、concat、Conv、BottleneckCSP、Conv 2d模块，同时该BottleneckCSP模块的特征图与下一检测层中最后一个BottleneckCSP模块输出的特征图进行特征融合；运用特征金字塔算法将低层特征高分辨率的低语义特征和高层特征的高语义信息进行结合，将深层信息上采样，与浅层信息逐元素地相加，融合不同层的特征，得到改进后的YOLO v5网络，即目标检测网络；输入目标检测网络中的图像尺寸为640*640*3，经过卷积池化、张量拼接等过程，最终可以得到四种不同尺寸18*10*10，18*20*20，18*40*40，18*80*80的特征图。
4.根据权利要求1所述小样本条件下的大幅面遥感图像舰船目标检测方法，其特征在于，所述构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；包括：
搜集包含船只目标的公开数据集制作预训练数据集，利用采集的舰船目标遥感图像制作标注数据集，对预训练数据集和标注数据集进行数据预处理；
采用预处理后的公开数据集对目标训练模型进行一次训练，获得一次训练后的权重；
采用预处理后的标注数据集对目标训练模型进行二次训练，获得二次训练后的权重。
5.根据权利要求4所述小样本条件下的大幅面遥感图像舰船目标检测方法，其特征在于，所述数据预处理包括如下步骤：
利用LabelImg对图像中的舰船目标进行类别和标注框的标注；
将图像原始标签文件格式转换为YOLO格式的标签文件；
对图像大小大于1024*1024的图像进行矩形框迭代切割，根据小图像中是否存在目标标注框将小图像分为正、负样本；
将正样本中的标签和图像进行数据增广，增广方式为水平翻转、裁剪填充、添加高斯噪声、像素加法增强；
将正样本按照设定2：1比例分为训练数据集和测试数据集；
将正样本按照设定比例分为训练数据集和测试数据集之后，按比例随机挑选负样本放入训练数据集中。
6.根据权利要求1所述小样本条件下的大幅面遥感图像舰船目标检测方法，其特征在于，所述对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果，包括：
对待识别的大幅面遥感图像进行迭代切割时，相邻切割边缘部分重叠覆盖切割，之后将切割后的小图像输入到已经训练好的测试模型中，加载二次训练后的权重，输出得到舰船目标在小图像中的坐标位置以及置信度。
7.根据权利要求6所述小样本条件下的大幅面遥感图像舰船目标检测方法，其特征在于，在对待识别的遥感图像进行矩形框迭代切割时，记录每一个切割后的图像在原始大图所对应的左上角坐标，根据左上角坐标计算舰船目标在原始遥感图像中的坐标位置；包括：
bx＝2σ(tx)-0.5+cx+xk
by＝2σ(ty)-0.5+cy+yk
bw＝pw(2σ(tw))2
bh＝ph(2σ(th))2
式中，bx和by分别对应坐标转换后的预测框在原始遥感大图中的中心点横纵坐标，bw和bh分别对应坐标转换后的预测框的宽和高，tx和ty分别对应坐标变化前YOLO格式的预测框的中心点横纵坐标，tw和th分别对应坐标变化前YOLO格式的预测框的宽和高，cx和cy分别表示对应网格单元的左上角的横纵坐标，σ(tx)和σ(ty)分别表示坐标转换前预测框中心点坐标相对于网格单元中心的横纵坐标的偏移量，σ(tw)和σ(th)分别表示预测框与预设锚定框anchors之间的长宽缩放比例，pw和ph分别表示预设锚定框anchors的宽和高，xk和yk分别表示切割后的第k个图像在原始大图所对应的左上角坐标。
8.一种基于小样本的大幅面遥感图像舰船目标检测系统，其特征在于，包括如下功能模块：
网络构建模块，用于在YOLO v5网络的Bottleneck模块中引入SENet注意力机制模块，并新增一个检测层，形成目标检测网络；
模型训练模块，用于构建预训练数据集对目标检测网络进行预训练，再利用预处理后的舰船目标标注数据集对目标检测网络进行迁移学习，得到测试模型；
目标检测模块，用于对待识别的大幅面遥感图像进行迭代切割得到小图像，用测试模型分别进行目标检测和目标坐标转换，输出目标检测结果。
9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述小样本条件下的大幅面遥感图像舰船目标检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述小样本条件下的大幅面遥感图像舰船目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380333.3A CN112580439B (zh) | 2020-12-01 | 2020-12-01 | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380333.3A CN112580439B (zh) | 2020-12-01 | 2020-12-01 | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580439A true CN112580439A (zh) | 2021-03-30 |
| CN112580439B CN112580439B (zh) | 2024-03-19 |
Family
ID=75128068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011380333.3A Active CN112580439B (zh) | 2020-12-01 | 2020-12-01 | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580439B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111803A (zh) * | 2021-04-20 | 2021-07-13 | 复旦大学 | 一种小样本字符与手绘草图识别方法及装置 |
| CN113177456A (zh) * | 2021-04-23 | 2021-07-27 | 西安电子科技大学 | 基于单阶段全卷积网络和多特征融合的遥感目标检测方法 |
| CN113256568A (zh) * | 2021-05-09 | 2021-08-13 | 长沙长泰智能装备有限公司 | 一种基于深度学习的机器视觉板材计数通用系统及方法 |
| CN113269073A (zh) * | 2021-05-19 | 2021-08-17 | 青岛科技大学 | 一种基于yolo v5算法的船舶多目标追踪方法 |
| CN113298767A (zh) * | 2021-05-19 | 2021-08-24 | 南京大学 | 一种能克服反光现象的围棋图谱可靠识别方法 |
| CN113408549A (zh) * | 2021-07-14 | 2021-09-17 | 西安电子科技大学 | 基于模板匹配和注意力机制的少样本弱小目标检测方法 |
| CN113435282A (zh) * | 2021-06-18 | 2021-09-24 | 南京农业大学 | 基于深度学习的无人机影像麦穗识别方法 |
| CN113449691A (zh) * | 2021-07-21 | 2021-09-28 | 天津理工大学 | 一种基于非局部注意力机制的人形识别系统及方法 |
| CN113486973A (zh) * | 2021-07-20 | 2021-10-08 | 清华大学深圳国际研究生院 | 一种图像内容识别方法及应用 |
| CN113569702A (zh) * | 2021-07-23 | 2021-10-29 | 闽江学院 | 基于深度学习的货车单双胎识别方法 |
| CN113724219A (zh) * | 2021-08-27 | 2021-11-30 | 重庆大学 | 基于卷积神经网络的建筑物表面病害检测方法及系统 |
| CN113762266A (zh) * | 2021-09-01 | 2021-12-07 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
| CN113780272A (zh) * | 2021-07-02 | 2021-12-10 | 北京建筑大学 | Sar图像舰船检测方法、装置、电子设备及存储介质 |
| CN114022787A (zh) * | 2022-01-04 | 2022-02-08 | 江苏思远集成电路与智能技术研究院有限公司 | 一种基于大尺度遥感图像机库识别方法 |
| CN114037684A (zh) * | 2021-11-08 | 2022-02-11 | 南京信息工程大学 | 一种基于yolov5和注意力机制模型的疵点检测方法 |
| CN114140428A (zh) * | 2021-11-30 | 2022-03-04 | 东北林业大学 | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 |
| CN114354880A (zh) * | 2021-11-26 | 2022-04-15 | 国电南瑞南京控制系统有限公司 | 基于注意力bp神经网络的电缆老化寿命预测方法及系统 |
| CN114677596A (zh) * | 2022-05-26 | 2022-06-28 | 之江实验室 | 一种基于注意力模型的遥感图像船舶检测方法和装置 |
| CN114707005A (zh) * | 2022-06-02 | 2022-07-05 | 浙江建木智能系统有限公司 | 一种舰船装备的知识图谱构建方法和系统 |
| CN115273017A (zh) * | 2022-04-29 | 2022-11-01 | 桂林电子科技大学 | 基于Yolov5交通标志检测识别模型训练方法及系统 |
| CN116580056A (zh) * | 2023-05-05 | 2023-08-11 | 武汉理工大学 | 一种船舶检测与跟踪方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180052224A1 (en) * | 2014-12-15 | 2018-02-22 | Airbus Singapore Private Limited | Automated method for selecting training areas of sea clutter and detecting ship targets in polarimetric synthetic aperture radar imagery |
| CN111428550A (zh) * | 2019-11-29 | 2020-07-17 | 长沙理工大学 | 一种基于改进YOLOv3的车辆检测方法 |
-
2020
- 2020-12-01 CN CN202011380333.3A patent/CN112580439B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180052224A1 (en) * | 2014-12-15 | 2018-02-22 | Airbus Singapore Private Limited | Automated method for selecting training areas of sea clutter and detecting ship targets in polarimetric synthetic aperture radar imagery |
| CN111428550A (zh) * | 2019-11-29 | 2020-07-17 | 长沙理工大学 | 一种基于改进YOLOv3的车辆检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李希;徐翔;李军;: "面向航空飞行安全的遥感图像小目标检测", 航空兵器, no. 03 * |
| 王浩君;周斌;潘玉良;: "基于YOLOv3网络的高分光学遥感影像海上舰船分类检测", 科技通报, no. 03 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111803A (zh) * | 2021-04-20 | 2021-07-13 | 复旦大学 | 一种小样本字符与手绘草图识别方法及装置 |
| CN113111803B (zh) * | 2021-04-20 | 2022-03-22 | 复旦大学 | 一种小样本字符与手绘草图识别方法及装置 |
| CN113177456A (zh) * | 2021-04-23 | 2021-07-27 | 西安电子科技大学 | 基于单阶段全卷积网络和多特征融合的遥感目标检测方法 |
| CN113177456B (zh) * | 2021-04-23 | 2023-04-07 | 西安电子科技大学 | 基于单阶段全卷积网络和多特征融合的遥感目标检测方法 |
| CN113256568A (zh) * | 2021-05-09 | 2021-08-13 | 长沙长泰智能装备有限公司 | 一种基于深度学习的机器视觉板材计数通用系统及方法 |
| CN113269073B (zh) * | 2021-05-19 | 2022-11-15 | 青岛科技大学 | 一种基于yolo v5算法的船舶多目标追踪方法 |
| CN113269073A (zh) * | 2021-05-19 | 2021-08-17 | 青岛科技大学 | 一种基于yolo v5算法的船舶多目标追踪方法 |
| CN113298767A (zh) * | 2021-05-19 | 2021-08-24 | 南京大学 | 一种能克服反光现象的围棋图谱可靠识别方法 |
| CN113435282A (zh) * | 2021-06-18 | 2021-09-24 | 南京农业大学 | 基于深度学习的无人机影像麦穗识别方法 |
| CN113435282B (zh) * | 2021-06-18 | 2021-12-21 | 南京农业大学 | 基于深度学习的无人机影像麦穗识别方法 |
| CN113780272A (zh) * | 2021-07-02 | 2021-12-10 | 北京建筑大学 | Sar图像舰船检测方法、装置、电子设备及存储介质 |
| CN113408549B (zh) * | 2021-07-14 | 2023-01-24 | 西安电子科技大学 | 基于模板匹配和注意力机制的少样本弱小目标检测方法 |
| CN113408549A (zh) * | 2021-07-14 | 2021-09-17 | 西安电子科技大学 | 基于模板匹配和注意力机制的少样本弱小目标检测方法 |
| CN113486973A (zh) * | 2021-07-20 | 2021-10-08 | 清华大学深圳国际研究生院 | 一种图像内容识别方法及应用 |
| CN113449691A (zh) * | 2021-07-21 | 2021-09-28 | 天津理工大学 | 一种基于非局部注意力机制的人形识别系统及方法 |
| CN113569702A (zh) * | 2021-07-23 | 2021-10-29 | 闽江学院 | 基于深度学习的货车单双胎识别方法 |
| CN113569702B (zh) * | 2021-07-23 | 2023-10-27 | 闽江学院 | 基于深度学习的货车单双胎识别方法 |
| CN113724219A (zh) * | 2021-08-27 | 2021-11-30 | 重庆大学 | 基于卷积神经网络的建筑物表面病害检测方法及系统 |
| CN113762266B (zh) * | 2021-09-01 | 2024-04-26 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
| CN113762266A (zh) * | 2021-09-01 | 2021-12-07 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
| CN114037684A (zh) * | 2021-11-08 | 2022-02-11 | 南京信息工程大学 | 一种基于yolov5和注意力机制模型的疵点检测方法 |
| CN114354880A (zh) * | 2021-11-26 | 2022-04-15 | 国电南瑞南京控制系统有限公司 | 基于注意力bp神经网络的电缆老化寿命预测方法及系统 |
| CN114140428A (zh) * | 2021-11-30 | 2022-03-04 | 东北林业大学 | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 |
| CN114022787A (zh) * | 2022-01-04 | 2022-02-08 | 江苏思远集成电路与智能技术研究院有限公司 | 一种基于大尺度遥感图像机库识别方法 |
| CN114022787B (zh) * | 2022-01-04 | 2022-04-15 | 江苏思远集成电路与智能技术研究院有限公司 | 一种基于大尺度遥感图像机库识别方法 |
| CN115273017A (zh) * | 2022-04-29 | 2022-11-01 | 桂林电子科技大学 | 基于Yolov5交通标志检测识别模型训练方法及系统 |
| CN114677596A (zh) * | 2022-05-26 | 2022-06-28 | 之江实验室 | 一种基于注意力模型的遥感图像船舶检测方法和装置 |
| CN114707005B (zh) * | 2022-06-02 | 2022-10-25 | 浙江建木智能系统有限公司 | 一种舰船装备的知识图谱构建方法和系统 |
| CN114707005A (zh) * | 2022-06-02 | 2022-07-05 | 浙江建木智能系统有限公司 | 一种舰船装备的知识图谱构建方法和系统 |
| CN116580056A (zh) * | 2023-05-05 | 2023-08-11 | 武汉理工大学 | 一种船舶检测与跟踪方法、装置、电子设备及存储介质 |
| CN116580056B (zh) * | 2023-05-05 | 2023-11-17 | 武汉理工大学 | 一种船舶检测与跟踪方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580439B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580439B (zh) | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 | |
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN111160335B (zh) | 基于人工智能的图像水印处理方法、装置及电子设备 | |
| US20190147582A1 (en) | Adversarial learning of photorealistic post-processing of simulation with privileged information | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN108681746A (zh) | 一种图像识别方法、装置、电子设备和计算机可读介质 | |
| CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
| CN112070135A (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| CN114037907A (zh) | 输电线路的检测方法、装置、计算机设备、存储介质 | |
| CN112163496A (zh) | 一种基于语义分割的嵌入式终端水库水位预警方法 | |
| CN116310718A (zh) | 一种基于YOLOv5模型的害虫目标检测方法、系统及设备 | |
| CN114429577B (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
| CN113011295B (zh) | 基于遥感影像识别光伏发电站的方法、计算机设备和介质 | |
| EP4220552A1 (en) | Image processing method and system | |
| CN115205855A (zh) | 融合多尺度语义信息的车辆目标识别方法、装置及设备 | |
| CN116719031B (zh) | 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统 | |
| CN112801109A (zh) | 一种基于多尺度特征融合的遥感图像分割方法及系统 | |
| CN116778335B (zh) | 一种基于交叉域师生互训的倒塌建筑物检测方法和系统 | |
| CN112966815A (zh) | 基于脉冲神经网络的目标检测方法、系统及设备 | |
| CN116758432A (zh) | 基于改进Resnet神经网络的自然地质灾害分类识别方法及系统 | |
| CN116452900A (zh) | 一种基于轻量级神经网络的目标检测方法 | |
| CN116824291A (zh) | 一种遥感图像学习方法、装置以及设备 | |
| CN114882252A (zh) | 半监督遥感影像变化检测方法、装置和计算机设备 | |
| CN115359468A (zh) | 一种目标网站识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |