CN117152625A - 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质 - Google Patents

一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN117152625A
CN117152625A CN202310983129.8A CN202310983129A CN117152625A CN 117152625 A CN117152625 A CN 117152625A CN 202310983129 A CN202310983129 A CN 202310983129A CN 117152625 A CN117152625 A CN 117152625A
Authority
CN
China
Prior art keywords
remote sensing
training
coordconv
yolov5
small target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310983129.8A
Other languages
English (en)
Other versions
CN117152625B (zh
Inventor
周绥平
李晨阳
郭天翔
余航
张文杰
高继琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310983129.8A priority Critical patent/CN117152625B/zh
Priority claimed from CN202310983129.8A external-priority patent/CN117152625B/zh
Publication of CN117152625A publication Critical patent/CN117152625A/zh
Application granted granted Critical
Publication of CN117152625B publication Critical patent/CN117152625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Astronomy & Astrophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质，方法包括：将获取的遥感数据集进行预处理，得到训练集、验证集和测试集，使用K‑means聚类算法对训练集进行聚类，得到最优锚框尺寸；构建基于CoordConv和YOLOv5的遥感小目标识别网络；根据设置的网络训练参数，使用训练集和训练集的最优锚框尺寸对构建的基于CoordConv和YOLOv5的遥感小目标识别网络进行训练，每一轮训练结束后，得到一个训练权重文件；通过验证集对训练权重文件进行验证，选取最优权重文件；将测试集和最优权重文件输入到步骤四训练好的网络进行目标识别，得到目标识别结果；系统、设备及介质，用于实现该方法；本发明能够提高遥感密集小目标的识别精度，具有目标识别精度高和算法鲁棒性高的优点。

Description

一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、 设备及介质
技术领域
本发明属于深度学习遥感目标识别技术领域，具体涉及一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质。
背景技术
遥感目标检测是当前目标检测中的一个前沿和热点，它在车辆检测、远程目标跟踪、无人驾驶、空中侦察、军事、航海、打捞等方面有着重要的意义和应用。遥感图像受高度、光照强度、阴影等因素影响，以及遥感图像中目标分布密集、尺度较小和背景复杂等特点，使得遥感目标检测困难。因此提高遥感目标检测效果十分重要，同时也是后续进行视频识别和轨迹跟踪等高级视觉任务的基础。
随着科技、遥感技术的快速发展，获取到的遥感图像数量和质量不断提高，使遥感目标检测得到了有力的数据支持。遥感图像的目标检测研究在军用和民用方面都属于关键技术，具有工程应用价值，因此，如何在复杂的遥感图像中准确、快速、有效地提取有用的信息变得尤为重要，使得对于遥感图像中特定目标的检测技术成为近年的研究热点。
传统目标检测主要采用机器学习中的方向梯度直方图(Histogram of OrientedGradient，HOG)、AdaBoost算法框架和支持向量机(Support Vector Machine，SVM)等方法，它通过选取图像候选区域，使用滑动窗口来框住检测图像的一部分，然后使用人工预设计的特征提取框完成特征提取，最后通过支持向量机、可变形组件模型(Deformable PartModel，DP M)等方法进行分类检测。由于传统算法提取的特征信息大部分是浅层的，它表达的信息量少，鲁棒性和泛化性较弱，并且检测时间复杂度高。基于深度学习的目标检测算法可以分为双阶段和单阶段两个大类，双阶段目标检测算法需要先经过算法生成大量的候选框的阶段后再进入候选框修正及筛选的检测目标阶段，优点是检测精度高，但相对单阶段算法速度较慢；单阶段目标检测算法则只需要一次计算来定位目标进行检测，优点是检测速度快，但相对于双阶段算法精度较低，单阶段目标检测算法中YOLO系列算法应用最为广泛。
目前，已经提出了基于YOLO遥感目标识别方法。公布号为CN114998756A的专利申请中，公开了名称为“一种基于yolov5的遥感图像检测方法、装置及存储介质”，该方法首先获取统一尺寸的遥感图像构成遥感图像数据集，获取每幅遥感图像的检测目标标注结果图像，从而获得遥感图像样本集，所述遥感图像样本集中的样本包括遥感图像和与遥感图像匹配的检测目标标注结果图像；对所述遥感图像样本集中的样本按照预设比例随机划分为训练集和测试集；然后基于训练集和测试集中的样本数据对改进的yo lov5模型的进行模型训练，所述改进的yolov5模型包括特征提取模块、CBAM模块、特征融合模块以及分类输出模块；最后基于训练完成的改进的yolov5模型对遥感图像进行目标检测。该发明通过将YOLOv5与CBAM模块相结合，提高了遥感图像目标检测精度；但是该方法没有针对小目标的检测头，因此对于小且密集的目标检测精度依然较低。
公布号为CN115497005A的专利申请中，公开了名称为“一种融合特征转移与注意力机制的YOLOV4遥感目标检测方法”，该方法通过Mosaic数据增强方法预处理遥感图像数据；构建融合特征转移与注意力机制的YOLOV4遥感目标检测模型；将所述的遥感数据输入到所述的模型进行训练；获取待检测的遥感图像，将遥感图像预处理至统一大小；将处理后的遥感图像输入到训练好的目标检测模型进行检测，输出检测结果即待检测图像中遥感目标的边界框位置以及目标类别，该发明通过将YOLOv4与注意力机制相结合，提高了遥感目标检测精度；但是该方法在提取特征时没有考虑到特征的空间位置信息，因此目标检测精度依然较低。
综上所述，现有技术存在以下缺陷和不足：
1、由于遥感图像中的小目标像素比普通图像更少，且现有技术主要针对的是遥感大目标检测，没有适用于小目标检测的是检测头，导致遥感小目标的检测出现漏检、误检等情况；
2、现有技术基于YOLO系列，通过增加注意力模块以及特征融合模块，实现小目标的检测，但是没有考虑到特征的空间位置信息，导致目标检测精度依然较低。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质，首先在YOLOv5网络增加针对小目标检测的检测头，提高小目标的检测识别率；基于坐标卷积(CoordConv)提出了一种Coord_C3模块，可以在提取特征语义信息的同时，获取特征的空间位置信息，提高了模型的目标识别精度；本发明经过融合Coord_C3模块的深度学习遥感目标识别方法，有效获取了特征的空间位置信息，提高了遥感密集小目标的识别精度。
为了实现上述目的，本发明采取的技术方案是：
一种基于CoordConv和YOLOv5的遥感小目标识别方法，包括以下步骤：
步骤一：获取遥感数据集；将遥感数据集进行预处理，得到训练集、验证集和测试集，使用K-means聚类算法对训练集进行聚类，得到最优锚框尺寸；
步骤二：构建基于CoordConv和YOLOv5的遥感小目标识别网络；
步骤三：设置网络训练参数；
步骤四：根据步骤三设置的网络训练参数，使用步骤一得到的训练集和训练集的最优锚框尺寸对步骤二构建的基于CoordConv和YOLOv5的遥感小目标识别网络进行训练，每一轮训练结束后，得到一个训练权重文件；通过步骤一得到的验证集对训练权重文件进行验证，选取精度最高的训练权重文件作为最优权重文件；
步骤五：将步骤一得到的测试集和步骤四得到的最优权重文件输入到步骤四训练好的基于CoordConv和YOLOv5的遥感小目标识别网络进行目标识别，得到目标识别结果。
所述步骤一的实现方法包括：
步骤101：获取遥感数据集：从卫星中获取遥感影像数据集I，遥感影像数据集I包括原始遥感影像数据集R和遥感影像标签数据集L，I＝{R,L}；
步骤102：划分数据集：将步骤101得到的遥感影像数据集I划分为训练集Itrain＝{Rtrain,Ltrain}、验证集Ival＝{Rval,Lval}和测试集Itest＝{Rtest,Ltest}；
步骤103：数据集增强：对步骤102中的训练集Itrain＝{Rtrain,Ltrain}进行图像的尺寸调整和数据增强操作，得到增强训练集
步骤104：锚框优化：使用K-means聚类算法对步骤103中的增强训练集中的/>的锚框进行优化，获得最优锚框尺寸。
所述步骤二中的基于CoordConv和YOLOv5遥感小目标识别网络，包括主干网络Backbone、颈部网络Neck和检测头Head；
所述主干网络Backbone，以CSPDarket53作为基础网络，包括串联的CBS结构、Coord_C3结构和空间金字塔池化结构SPPF，CBS结构包括一层卷积层conv、批量归一化BN和激活函数SiLU；Coord_C3结构包括坐标特征提取CoordCBS和残差结构，残差结构有一层卷积层conv1*1、批量归一化操作BN和激活函数Leaky-relu；空间金字塔池化结构SPPF包括三个不同核大小的最大池化MaxPool2d和两个CBS结构；
所述颈部网络Neck，通过上采样和拼接Concat将不同层的特征进行融合，提取有效的结构信息；
所述检测头Head，增加检测头，在基于CoordConv和YOLOv5遥感小目标网络的第23层增加一个检测头，用于检测小目标。
所述构建Coord_C3模块包括：
步骤201：构建CoordCBS模块：将坐标卷积模块CoorConv，批量归一化操作BN和激活函数SiLU进行串联，构建CoordCBS模块，CoordCBS模块表示为下式：
CoordCBS＝CoordConv+BN+SiLU
步骤202：构建Coord_C3模块：将步骤201得到的CoordCBS模块与瓶颈层n个瓶颈层Bottleneck进行串并联，构建Coord_C3模块，其中，n≥3，Coord_C3模块表示为下式：
Coord_C3＝Concat((CoordCBS+BottleNeck),CoordCBS)+CoordCBS其中，Concat(·)表示两个及以上的特征图的拼接，BottleNeck＝Concat((CoordCBS+CoordCBS),CoordCBS)
所述检测头为四个不同尺度的小目标检测头，用于检测不同尺度大小的目标。
所述步骤三中设置：训练轮次epoch≥300，批次大小batch_size≥16，学习率≤10-5，损失阈值≤0.001，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
所述步骤五中设置：批次大小batch_size≥8，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
本发明还提供了一种基于CoordConv和YOLOv5的遥感小目标识别系统，包括：
数据集模块：用于获取遥感数据集；将遥感数据集进行预处理，得到训练集、验证集和测试集，使用K-means聚类算法对训练集进行聚类，得到最优锚框尺寸；
网络构建模块：用于构建基于CoordConv和YOLOv5的遥感小目标识别网络，并在检测头Head增加小目标检测头；
网络训练模块：用于使用训练集和训练集的最优锚框尺寸对构建的基于CoordConv和YOLOv5的遥感小目标识别网络进行训练，每一轮训练结束后，得到一个训练权重文件；通过验证集对训练权重文件进行验证，选取精度最高的训练权重文件作为最优权重文件。
本发明还提供了一种基于CoordConv和YOLOv5的遥感小目标识别设备，包括：
存储器，存储上述一种基于CoordConv和YOLOv5的遥感小目标识别方法的计算机程序，为计算机可读取的设备；
处理器，用于执行所述计算机程序时实现所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法。
与现有技术相比，本发明的有益效果为：
1、本发明通过在YOLOv5网络增加了用于小目标检测的检测头，因此，扩展了网络的多尺度目标检测能力，提高了小目标的检测精度。
2、本发明将YOLOv5原有的C3结构替换为带有空间位置信息Coord_C3结构，CoorConv给卷积加上了坐标信息，从而使其具备了空间感知能力，使改进后的网络，在特征语义信息的基础上增加了空间位置信息，提高了目标的识别精度。
综上所述，本发明通过在YOLOv5网络增加针对小目标检测的检测头，提高小目标的检测识别率；基于坐标卷积(CoordConv)提出了一种Coord_C3模块，可以在提取特征语义信息的同时，获取特征的空间位置信息，提高了模型的目标识别精度；本发明经过融合Coord_C3模块的深度学习遥感目标识别方法，有效获取了特征的空间位置信息，提高了遥感密集小目标的识别精度，具有目标识别精度高和算法鲁棒性高的优点。
附图说明
图1是本发明实施例的原理流程示意图。
图2是现有技术中YOLOv5网络结构图。
图3是本发明改进的YOLOv5网络结构图。
图4是本发明的Coord_C3结构图。
图5是本发明的仿真图；其中，图5(a)是原始遥感图像，图5(b)为采用本发明对原始影像5(a)目标识别后的影像。
具体实施方式
下面结合附图对本发明技术方案进一步详细说明。
如图1所示，一种基于CoordConv和YOLOv5的遥感小目标识别方法，包括以下步骤：
步骤一：读入遥感图像数据集；
将遥感图像数据集进行数据的预处理，划分为训练集、验证集和测试集，同时包括图像的尺寸调整和数据增强操作，得到完备样本数据集，并通过K-means聚类算法对训练集进行聚类，获取锚框的最优尺寸大小；
步骤101：获取遥感数据集：从卫星中获取遥感影像数据集I，遥感影像数据集I包括原始遥感影像数据集R＝{R1,R2,……Rn}和遥感影像标签数据集L＝{L1,L2,……Ln}，n＞6000，I＝{R,L}，其中，n表示第n幅遥感影像，R中的每幅遥感影像尺寸大小为512×512；
步骤102：划分数据集：将步骤101得到的遥感影像数据集I划分为训练集Itrain＝{Rtrain,Ltrain}、验证集Ival＝{Rval,Lval}和测试集Itest＝{Rtest,Ltest}。
步骤103：数据集增强：对步骤102中的训练集Itrain＝{Rtrain,Ltrain}进行图像的尺寸调整和数据增强操作，得到增强训练集
步骤104：锚框优化：使用K-means聚类算法对步骤103增强训练集中的/>的锚框进行优化，获得最优的锚框尺寸。
其中，K-means算法的具体步骤为：
初始化操作：选择K个数据点作为初始质心(centroid)，这些质心可以是随机选择的，也可以是通过其他方法选定的；
分配操作：将每个数据点分配到离它最近的质心所代表的簇中；
更新操作：重新计算每个簇的质心，方法是将簇内所有数据点的均值作为新的质心；
重复上述分配操作和更新操作，直到质心不再发生显著变化或达到迭代次数上限。
步骤二：构建基于CoordConv和YOLOv5的遥感小目标识别网络；
所述的基于CoordConv和YOLOv5的遥感小目标识别网络，包括主干网络Backbone、颈部网络Neck和检测头Head；
所述主干网络Backbone，以CSPDarket53作为基础网络，包括串联的CBS结构、Coord_C3结构和空间金字塔池化结构SPPF(Spatial Pyramid Pooling-Fast)，CBS结构包括一层卷积层conv、批量归一化BN和激活函数SiLU；Coord_C3结构包括坐标特征提取CoordCBS和残差结构，残差结构有一层卷积层conv1*1、批量归一化操作BN和激活函数Leaky-relu；空间金字塔池化结构SPPF包括三个不同核大小的最大池化MaxPool2d和两个CBS结构；
所述颈部网络Neck，通过上采样和拼接Concat将不同层的特征进行融合，提取有效的结构信息；
所述检测头Head，增加检测头，在基于CoordConv和YOLOv5遥感小目标网络的第23层增加一个检测头，用于检测小目标。
所述构建Coord_C3模块包括：
步骤201：构建CoordCBS模块：如图4所示，将坐标卷积模块CoorConv，批量归一化操作BN和激活函数SiLU进行串联，构建CoordCBS模块，CoordCBS模块表示为下式：
CoordCBS＝CoordConv+BN+SiLU
步骤202：构建Coord_C3模块：将步骤201得到的CoordCBS模块与瓶颈层n个瓶颈层Bottleneck进行串并联，构建Coord_C3模块，其中，n≥3，Coord_C3模块表示为下式：
Coord_C3＝Concat((CoordCBS+BottleNeck),CoordCBS)+CoordCBS其中，Concat(·)表示两个及以上的特征图的拼接，BottleNeck＝Concat((CoordCBS+CoordCBS),CoordCBS)
所述检测头为四个不同尺度的小目标检测头，用于检测不同尺度大小的目标，提高模型泛化能力和目标检测识别精度。
步骤三：设置网络训练参数；
设置训练轮次epoch≥300，批次大小batch_size≥16，学习率≤10-5，损失阈值≤0.001，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
步骤四：根据步骤三设置的网络训练参数，使用步骤103的增强训练集和步骤104得到的训练集的最优锚框尺寸对步骤二构建的基于CoordConv和YOLOv5的遥感小目标识别网络进行训练，每一轮训练结束后，得到一个权重文件pti，其中，i表示训练的轮数；通过步骤102得到的验证集Ival＝{Rval,Lval}对训练权重文件pti进行验证，选取验证精度最高的权重文件为最优权重文件pt；
步骤五：将步骤102得到的测试集Itest＝{Rtest,Ltest}和步骤四得到的最优权重文件pt输入到步骤四练好的基于CoordConv和YOLOv5的遥感小目标识别网络进行目标识别，得到目标识别结果。
设置网络测试参数：设置批次大小batch_size≥8，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
如图3所示，本发明还提供了一种基于CoordConv和YOLOv5的遥感小目标识别系统，包括：
数据集模块：用于实现步骤一中获取遥感数据集；将遥感数据集进行预处理，得到训练集、验证集和测试集，使用K-means聚类算法对训练集进行聚类，得到最优锚框尺寸；
网络构建模块：用于实现步骤二中构建基于CoordConv和YOLOv5的遥感小目标识别网络，并在检测头Head增加小目标检测头；
网络训练模块：用于实现步骤四中使用训练集和训练集的最优锚框尺寸对构建的基于CoordConv和YOLOv5的遥感小目标识别网络进行训练，每一轮训练结束后，得到一个训练权重文件；通过验证集对训练权重文件进行验证，选取精度最高的训练权重文件作为最优权重文件。
本发明还提供了一种基于CoordConv和YOLOv5的遥感小目标识别设备，包括：
存储器，存储上述一种基于CoordConv和YOLOv5的遥感小目标识别方法的计算机程序，为计算机可读取的设备；
处理器，用于执行所述计算机程序时实现所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法。
如图2所示，现有技术中的YOLOv5网络由三个部分组成，第一部分为输入端，输入图片通过数据增强、自适应锚框计算以及自适应图片缩放，得到640×640大小的图片；第二部分为主干网络，其使用的是CSPDarknet53网络，通过Conv层和C3层来对图像进行缩放和特征提取，从而获得更丰富的信息特征；第三部分为颈部，采用多尺度检测的方法，将特征金字塔网络结构(FPN)与自上而下的路径聚集网络结构(PAN)相结合，达到对20×20、40×40和80×80这三个不同尺度的特征图进行融合以及预测的目的；该网络仅包含深层特征的三个检测头，同时在提取特征时，仅获取特征的语义信息，因此对小目标的检测精度依然较低。
如图3所示，本发明改进的YOLOv5网络由三个部分组成，第一部分为输入端，包括数据增强、K-means自适应锚框计算，得到512×512大小的图片；第二部分为主干网络，其使用的是CSPDarknet53网络，通过CoordCBS层和Coord_C3层来对图像进行缩放和特征提取，从而获得更丰富的语义信息特征和空间信息特征；第三部分为颈部，采用多尺度检测的方法，在网络的浅层特征部分增加针对小目标的检测头，达到对10×10、20×20、40×40和80×80这四个不同尺度的特征图进行融合以及预测的目的，提高小目标的检测精度。
下面结合仿真实验对本发明的效果进一步说明：
1.仿真实验条件
本发明的仿真实验的实验的硬件平台为：处理器为Intel i5-10400F，主频为2.9GHz，16G运行内存。
本发明的仿真实验平台的软件平台为：Windows 11操作系统和PyCharm、PyTorch1.11、CUDA11.3。
2.仿真步骤
将遥感图像的训练集和验证集Ival＝{Rval,Lval}输入到基于CoordConv和YOLOv5的遥感小目标识别网络模型中进行优化训练，训练的过程是：通过K-means聚类算法对训练集进行聚类，获取锚框的最优尺寸大小；输入图像会通过特征提取网络进行特征提取，得到不同尺度的特征图，然后将这些特征图进行分类和回归，将回归结果进行特征重建操作，会得到更加精细的特征图，在此基础上再次进行分类和回归操作，计算损失，完成基于本发明的小目标检测。所有检测中均采用单尺度训练，图像输入大小为512×512像素，迭代次数epoch设置为300。
3.仿真内容及其结果分析
本发明仿真实验是采用本发明对一张含有小目标的遥感影像进行目标识别处理，其结果如图5所示。
下面结合图5对本发明的仿真效果做进一步的描述。
图5(a)为原始遥感影像，图5(b)为采用本发明的方法对原始影像5(a)目标检测识别后的影像。
如图5(b)所示，可以看出，本发明能够以矩形方框的形式清晰准确地标注出图片中的小目标位置和小目标大小范围，证明本发明提出的基于坐标卷积CoordConv的Coord_C3模块的有效性；对于图像中右上角处的汽车以及上方停车处的汽车，本发明也能准确的识别，并且没有出现错误识别以及遗漏识别的情况，证明本发明在YOLOv5网络中增加小目标检测头的有效性。综上，实验结果表明，本发明提出的基于CoordConv和YOLOv5的遥感小目标识别方法能够准确无误的识别遥感图像中的小目标。

Claims (10)

1.一种基于CoordConv和YOLOv5的遥感小目标识别方法，其特征在于：包括以下步骤：
步骤一：获取遥感数据集；将遥感数据集进行预处理，得到训练集、验证集和测试集，使用K-means聚类算法对训练集进行聚类，得到最优锚框尺寸；
步骤二：构建基于CoordConv和YOLOv5的遥感小目标识别网络；
步骤三：设置网络训练参数；
步骤四：根据步骤三设置的网络训练参数，使用步骤一得到的训练集和训练集的最优锚框尺寸对步骤二构建的基于CoordConv和YOLOv5的遥感小目标识别网络进行训练，每一轮训练结束后，得到一个训练权重文件；通过步骤一得到的验证集对训练权重文件进行验证，选取精度最高的训练权重文件作为最优权重文件；
步骤五：将步骤一得到的测试集和步骤四得到的最优权重文件输入到步骤四训练好的基于CoordConv和YOLOv5的遥感小目标识别网络进行目标识别，得到目标识别结果。
2.根据权利要求1所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法，其特征在于：所述步骤一的实现方法为：
步骤101：获取遥感数据集：从卫星中获取遥感影像数据集I，遥感影像数据集I包括原始遥感影像数据集R和遥感影像标签数据集L，I＝{R,L}；
步骤102：划分数据集：将步骤101得到的遥感影像数据集I划分为训练集Itrain＝{Rtrain,Ltrain}、验证集Ival＝{Rval,Lval}和测试集Itest＝{Rtest,Ltest}；
步骤103：数据集增强：对步骤102中的训练集Itrain＝{Rtrain,Ltrain}进行图像的尺寸调整和数据增强操作，得到增强训练集
步骤104：锚框优化：使用K-means聚类算法对步骤103中的增强训练集中的/>的锚框进行优化，获得最优锚框尺寸。
3.根据权利要求1所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法，其特征在于：所述步骤二中的基于CoordConv和YOLOv5遥感小目标识别网络，包括主干网络Backbone、颈部网络Neck和检测头Head；
所述主干网络Backbone，以CSPDarket53作为基础网络，包括串联的CBS结构、Coord_C3结构和空间金字塔池化结构SPPF，CBS结构包括一层卷积层conv、批量归一化BN和激活函数SiLU；Coord_C3结构包括坐标特征提取CoordCBS和残差结构，残差结构有一层卷积层conv1*1、批量归一化操作BN和激活函数Leaky-relu；空间金字塔池化结构SPPF包括三个不同核大小的最大池化MaxPool2d和两个CBS结构；
所述颈部网络Neck，通过上采样和拼接Concat将不同层的特征进行融合，提取有效的结构信息；
所述检测头Head，增加检测头，在基于CoordConv和YOLOv5遥感小目标网络的第23层增加一个检测头，用于检测小目标。
4.根据权利要求3所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法，其特征在于：所述构建Coord_C3模块包括：
步骤201：构建CoordCBS模块：将坐标卷积模块CoorConv，批量归一化操作BN和激活函数SiLU进行串联，构建CoordCBS模块，CoordCBS模块表示为下式：
CoordCBS＝CoordConv+BN+SiLU
步骤202：构建Coord_C3模块：将步骤201得到的CoordCBS模块与瓶颈层n个瓶颈层Bottleneck进行串并联，构建Coord_C3模块，其中，n≥3，Coord_C3模块表示为下式：
Coord_C3＝Concat((CoordCBS+BottleNeck),CoordCBS)+CoordCBS其中，Concat(·)表示两个及以上的特征图的拼接，BottleNeck＝Concat((CoordCBS+CoordCBS),CoordCBS)。
5.根据权利要求3所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法，其特征在于：所述检测头为四个不同尺度的小目标检测头，用于检测不同尺度大小的目标。
6.根据权利要求1所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法，其特征在于：所述步骤三中设置：训练轮次epoch≥300，批次大小batch_size≥16，学习率≤10-5，损失阈值≤0.001，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
7.根据权利要求1所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法，其特征在于：所述步骤五中设置：批次大小batch_size≥8，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
8.一种基于CoordConv和YOLOv5的遥感小目标识别系统，其特征在于：包括：
数据集模块：用于获取遥感数据集；将遥感数据集进行预处理，得到训练集、验证集和测试集，使用K-means聚类算法对训练集进行聚类，得到最优锚框尺寸；
网络构建模块：用于构建基于CoordConv和YOLOv5的遥感小目标识别网络，并在检测头Head增加小目标检测头；
网络训练模块：用于使用训练集和训练集的最优锚框尺寸对构建的基于CoordConv和YOLOv5的遥感小目标识别网络进行训练，每一轮训练结束后，得到一个训练权重文件；通过验证集对训练权重文件进行验证，选取精度最高的训练权重文件作为最优权重文件。
9.一种基于CoordConv和YOLOv5的遥感小目标识别设备，其特征在于：包括：
存储器，存储权利要求1-7任一项所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法的计算机程序，为计算机可读取的设备；
处理器，用于执行所述计算机程序时实现权利要求1-7任一项所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-7任一项所述的一种基于CoordConv和YOLOv5的遥感小目标识别方法。
CN202310983129.8A 2023-08-07 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质 Active CN117152625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310983129.8A CN117152625B (zh) 2023-08-07 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310983129.8A CN117152625B (zh) 2023-08-07 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN117152625A true CN117152625A (zh) 2023-12-01
CN117152625B CN117152625B (zh) 2024-10-22

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671504A (zh) * 2023-12-11 2024-03-08 华东师范大学 一种基于yolo算法的海上风电识别方法及系统
CN118172714A (zh) * 2024-05-15 2024-06-11 中国石油大学(华东) 油田井下作业环境下的多尺度施工装备鲁棒性识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914839A (zh) * 2020-07-28 2020-11-10 三峡大学 基于YOLOv3的同步端到端车牌定位与识别方法
CN114170196A (zh) * 2021-12-07 2022-03-11 浙江工业大学 基于CenterNet2的SAR图像小目标识别方法
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN114677602A (zh) * 2022-01-29 2022-06-28 中国人民解放军战略支援部队信息工程大学 一种基于YOLOv5的前视声呐图像目标检测方法和系统
WO2022147965A1 (zh) * 2021-01-09 2022-07-14 江苏拓邮信息智能技术研究院有限公司 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统
CN115439744A (zh) * 2022-08-29 2022-12-06 华南农业大学 基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法
CN115457395A (zh) * 2022-09-22 2022-12-09 南京信息工程大学 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
CN115797970A (zh) * 2022-11-29 2023-03-14 杭州电子科技大学 基于YOLOv5模型的密集行人目标检测方法及系统
CN116091946A (zh) * 2022-12-06 2023-05-09 重庆邮电大学 一种基于YOLOv5的无人机航拍图像目标检测方法
CN116266387A (zh) * 2021-11-28 2023-06-20 北京工商大学 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914839A (zh) * 2020-07-28 2020-11-10 三峡大学 基于YOLOv3的同步端到端车牌定位与识别方法
WO2022147965A1 (zh) * 2021-01-09 2022-07-14 江苏拓邮信息智能技术研究院有限公司 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN116266387A (zh) * 2021-11-28 2023-06-20 北京工商大学 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统
CN114170196A (zh) * 2021-12-07 2022-03-11 浙江工业大学 基于CenterNet2的SAR图像小目标识别方法
CN114677602A (zh) * 2022-01-29 2022-06-28 中国人民解放军战略支援部队信息工程大学 一种基于YOLOv5的前视声呐图像目标检测方法和系统
CN115439744A (zh) * 2022-08-29 2022-12-06 华南农业大学 基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法
CN115457395A (zh) * 2022-09-22 2022-12-09 南京信息工程大学 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
CN115797970A (zh) * 2022-11-29 2023-03-14 杭州电子科技大学 基于YOLOv5模型的密集行人目标检测方法及系统
CN116091946A (zh) * 2022-12-06 2023-05-09 重庆邮电大学 一种基于YOLOv5的无人机航拍图像目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YITING LI: "Research on a Product Quality Monitoring Method Based on Multi Scale PP-YOLO", 《IEEE ACCESS》, 2 June 2021 (2021-06-02) *
朱福珍: "改进的PP-YOLO网络遥感图像目标检测", 《高技术通讯》, 25 May 2022 (2022-05-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671504A (zh) * 2023-12-11 2024-03-08 华东师范大学 一种基于yolo算法的海上风电识别方法及系统
CN118172714A (zh) * 2024-05-15 2024-06-11 中国石油大学(华东) 油田井下作业环境下的多尺度施工装备鲁棒性识别方法

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN109325418A (zh) 基于改进YOLOv3的道路交通环境下行人识别方法
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN111582339B (zh) 一种基于深度学习的车辆检测与识别的方法
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
CN111738090A (zh) 行人重识别模型训练方法、装置及行人重识别方法、装置
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN101996308A (zh) 人脸认证方法及系统、人脸模型训练方法及系统
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN112861785B (zh) 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN112163530B (zh) 基于特征增强和样本选择的ssd小目标检测方法
CN115620393A (zh) 一种面向自动驾驶的细粒度行人行为识别方法及系统
CN104715266A (zh) 基于src-dp与lda相结合的图像特征提取方法
CN116416503A (zh) 一种基于多模态融合的小样本目标检测方法、系统及介质
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN114550134A (zh) 基于深度学习的交通标志检测与识别方法
CN114882204A (zh) 船名自动识别方法
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN117152625B (zh) 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质
CN106909936B (zh) 一种基于双车辆可变形部件模型的车辆检测方法
CN117152625A (zh) 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant